JP2003346130A

JP2003346130A - ３次元情報処理装置および３次元情報処理方法

Info

Publication number: JP2003346130A
Application number: JP2002148144A
Authority: JP
Inventors: Eiji Kawamura; 英二川村; Hironobu Onishi; 啓修大西
Original assignee: SAIBUAASU KK; Mitsubishi Precision Co Ltd
Current assignee: SAIBUAASU KK; Mitsubishi Precision Co Ltd
Priority date: 2002-05-22
Filing date: 2002-05-22
Publication date: 2003-12-05

Abstract

(57)【要約】【課題】遠方の対象物体であっても計測し易くなる３次
元情報処理装置を実現する。【解決手段】単一チップ上に形成された撮像素子の撮像
面に撮像した複数の視点の画像情報を用いて三角測量の
原理で撮像物体の３次元情報を取得する３次元情報処理
装置である。基準画像以外の他の画像中の予め決められ
たエピポーラ線上で、複数の予め決められた探索位置に
おける画像領域の画像特徴の類似度に加えて、エピポー
ラ線上の探索範囲を最大視差探索点から視差零点へ向か
う方向の、視差零点を越えた画像領域の画像特徴の類似
度を調べる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、３次元情報処理装
置および３次元情報処理方法に関し、特に、単一チップ
に構成される撮像素子の撮像面に撮像した複数の視点の
画像の情報を用いて三角測量の原理で撮像物体の３次元
情報を取得する３次元情報処理装置および３次元情報処
理方法に関する。

【０００２】

【従来の技術】一つの撮像素子上に複数の像が撮像され
る画像センサが考案されている。そのセンサは、ステレ
オ視の原理を用いて、視点の異なる複数の画像を同時に
取得して、対象物体までの距離等を計測するためのもの
である。

【０００３】ステレオ視の原理は、人間が左右両眼の間
に生じる視差によって立体感を得ていることに基づいて
いる。ステレオ視（ステレオビジョン、ステレオ立体視
などと呼ばれることもある）は、視覚の処理を２台のカ
メラで行う手法である。

【０００４】図１０は、２眼ステレオ視による距離計測
の原理を示す図である。計測対象の撮影の際、対応の探
索を簡単にするため、左右の画像センサ（以下、単にカ
メラと記す場合もある）を、水平軸と光軸（Optical ax
es）Ｌ、Ｒが左右でそれぞれ平行となるように設置され
ているものとする。このとき、３次元空間中の対象表面
上の点P(X,Y,Z)は、カメラレンズの焦点（focal poin
t）(O_L,O_R)から距離Ｆ（焦点距離（focal length））の
位置にある２枚の画像平面上の点P_L (x_l,y_l)と点P_R
(x_r,y_r)に投影される。このとき、カメラの焦点距離Ｆ
と基線長（ベースライン）Ｂ（カメラ間距離）が既知で
あれば、画像平面上の点P_L (x_l,y_l)と、点P_R (x_r,y_r)の
対応関係を求めることにより、対象表面上の点P(X,Y,Z)
の空間座標は、下式（１）に示す三角測量の原理から求
めることができる。

【０００５】 X = Ｂ (x_l + x_r) ／ 2 (x_l - x_r) Y = Ｂ (y_l + y_r) ／ 2 (y_l - y_r) Z = ＢＦ／ (x_l - x_r) ・・・式（１）ここでは、簡単のため対象物体までの距離Zについてだ
け考える。カメラは左右に平行に配置されているので、
各点は画像平面上でX軸方向にずれる。対応する点のズ
レ（x_l - x_r）、すなわち視差をｄ＝(x_l - x_r)で表す
と、距離Zは、 Z＝ＢＦ／ｄ・・・式（２）となる。

【０００６】対応点が求まり視差が分かれば、式（２）
から、対応物体までの距離（奥行き）を計算して求める
ことができる。よって、ステレオ視の処理は、如何に正
確にカメラ間の画像の対応点を抽出できるかにある、と
言うことができる。この点に関し、例えば、従来より、
階層的に対応点を絞り込んでいく方法、ダイナミック・
プログラミングにより対応点の抽出を行う方法、面や曲
線等の高次の特徴に注目する方法、照明等のばらつきを
補正する方法等、多様なステレオ視の改善方法が研究さ
れている。

【０００７】しかしながら、これらの工夫により処理が
複雑化するが、必ずしも、それに見合う結果が得られて
いるとは限らなかった。最近は、処理の複雑化を避け、
単純に複数台のカメラを使用し、使える情報量を増やす
ことにより、対応点を正確に求める方法が、より実用的
な方法として認識されている。

【０００８】この複数台のカメラを使用してステレオ視
を行う方法は、「多眼ステレオ」と呼ばれる。ステレオ
視の処理において、距離を計測する対象物の基準カメラ
の画像における位置と、その点の距離が与えられると、
基準カメラに対する他のカメラの配置及び光学系につい
ての情報があれば、他の画像のどの位置に写るかが決定
する。多眼ステレオの処理では仮定する距離を変えて各
カメラで写る点を調べ、全てのカメラで総合的に最も確
からしい対応点を抽出する。

【０００９】図１１は多眼ステレオの原理を用いて、類
似度の計算に基づき距離を推定する手順を説明するため
の図である。図１１に示すように、複数のカメラが水平
に配置されているものとする。そして、この複数のカメ
ラの前に、対象物体（この図では車両と樹木）があると
する。各カメラには出てくる位置は異なるが、この対象
物体が写っている。例えば、最も左にあるカメラ（＃
１）の画像を基準にすると、カメラの位置が右に移動す
るに従って、対象物体が写る位置は画面の左に寄ってく
る。このズレ量は、遠くのものは少なく、近くのものは
大きくずれる。左のカメラの画像を基準として、その中
の画像座標(I,J)に対して、対象物体までの距離Zを仮定
するとカメラの配置関係から、他のカメラで写る物体の
座標（ここでは対応候補点と呼ぶことにする）が事前に
決定できる。同じ対象物体を見ているなら、各カメラの
画像で仮定する物体の座標に同じ物が写るはずである。

【００１０】よって、これらの物体の座標の明度（対応
候補点群の明度）の類似度を調べれば、実際に仮定する
距離Zに物体があるかどうかを調べることができる。仮
定する距離Zを逐次変え、対応候補点群の類似度を調
べ、最も類似度が高い仮定距離Zを物体までの距離の推
定値とすることができる。ここでは、水平にカメラを配
置したが、対応候補点の座標が予め計算できれば、垂直
や任意の向きのカメラ配置の場合でも距離推定を行うこ
とができる。ここでは、あるチャンネルの基準画像と他
のどれか１画像の間で決まる視差を基準に、視差ｄと定
義することとする。

【００１１】多眼ステレオでは、複数のカメラの情報を
融合して対応を評価するため、より的確に正しい対応点
を抽出することができる。例えば、カメラが水平に配置
され、水平のエッジの対象物体を見ているとする。この
場合、カメラ間での視差の方向は、エッジの方向と同じ
水平方向なので、どこに移動したか、その位置を正確に
求めることができない。逆に、カメラを垂直に配置した
場合、エッジの方向と垂直に視差を生じるので、どこに
ずれたか容易に検出できる。水平のエッジに対しては、
垂直に配置したカメラを使用すると、対応点の検出が正
確になる。また、垂直のエッジの対しては、水平に配置
したカメラの組合せが良い。

【００１２】このことから、複数のカメラを配置してお
くと、いろいろな形状のエッジの場合でも、適切に対処
できる。例えば、中心を基準カメラとし３×３の格子状
に９台、カメラを配置するようなことができる。このよ
うに、多眼ステレオでは、対応の評価に複数のカメラを
使うだけであり、比較的簡単なアルゴリズムで頑健な対
応点の抽出が可能となる。

【００１３】しかし、多眼ステレオ処理に、通常の画像
センサを単に複数まとめて使用する場合、（１）レンズ
の取付スペースが必要で装置全体が大きくなる、（２）
取付に手間がかかり、調整が大変である、（３）複数の
撮像素子を使うため装置の価格が高い、等の問題があっ
た。これらを解決するものとして、特許第２９５８４５
８号「多眼画像センサ」が提案されている。

【００１４】この特許は、一つの部材で構成されるレン
ズ取り付け部品を使用することにより、複数のレンズ又
は複数の複合レンズを、簡単な構造で取り付けるように
したことを一つの特長としている。また、複数の画像を
撮像するために一つの画像撮像素子を共有することも特
長としている。

【００１５】図１２と図１３により、その構造を示す。
図１２は、一つの部材で構成されるレンズを固定する部
材２を用いることにより、それに複数の光学レンズ１を
取り付け、複数の画像を撮像するために一つの撮像素子
を共有する構成を示す図である。図１３は、図１２の構
成をより具体的にした図である。図１２では、一つの固
定部材２によって複数の光学レンズ１が固定されて、複
数の画像が、撮像するために共有された一つの画像撮像
素子３上で受光されて、複合画像の画像信号５を出力す
る。

【００１６】図１３は、ワンチップ化した３眼画像セン
サ１５の外観と構造を示す。撮像素子１２及び周辺信号
処理回路１３が、固定部材４上に設けられ、電極１４を
介して信号等の入出力が行われる。集光手段としてレン
ズ固定部材２にピンホールレンズ８が形成された部材７
を使用している。撮像光は、一つの撮像素子１２に複数
のカメラ像を形成するが、遮光板１１をスペーサ部材６
に取り付けることによって、各カメラの光が他のカメラ
に影響を与えないようにしている。

【００１７】

【発明が解決しようとする課題】しかし、上述した多眼
画像センサ１５では、単一チップに構成される撮像素子
１２の撮像面に複数の視点の画像を撮像する場合、画像
間のベースラインＢが短くなるので、短距離の範囲しか
計測することができない。また、使用可能な光学レンズ
１の直径は小さいものに限定され、選択可能な焦点距離
Ｆも比較的短くなるので、短距離の範囲しか計測するこ
とができない。従って、実用上の利用範囲が制限されて
しまうという問題があった。

【００１８】例えば、画素数が６４０×４８０の撮像素
子を用いた場合を考えると、巾が４．８ｍｍの撮像素子
において、横方向が６４０画素とすると、撮像素子の一
つのピクセルサイズは、７．５マイクロメートル（μ
ｍ）となる。そして、上記式（２）を用いて、例えば、
焦点距離Ｆが４ｍｍで、ベースラインＢが２．４ｍｍと
して、光学レンズ１から対象物体までの距離ｚが変化し
た場合に、それに応じてどれぐらい視差ｄが変化するか
を計算してみる。すると、距離ｚが２０ｃｍのときは、
視差ｄは４８μｍ（画素数にして6．4画素、以下同様に
画素数を表示する）で、距離ｚが５０ｃｍのときは、視
差ｄは１９．２μｍ（２．５画素）で、距離ｚが１００
ｃｍのときは、視差ｄは９．６μｍ（１．２画素）で、
距離ｚが２００ｃｍのときは、視差ｄは４．８μｍ
（０．６画素）で、距離ｚが５００ｃｍのときは、視差
ｄは１．９２μｍ（０．２画素）で、距離ｚが１０００
ｃｍのときは、視差ｄは０．９６μｍ（０．１画素）と
なる。

【００１９】この場合、撮像素子の画素間の距離は、
７．５μｍであるため、対象物体の移動距離ｚの短い、
すなわち、近距離の移動については、１ｍから５０ｃｍ
以上近づくと、対応画素が一つ移動するので検出でき、
さらに、近づいても検出をすることができる。

【００２０】ところが、１ｍから２ｍへ移動した場合、
対応画素が一つ分移動しないので、対象物体の移動を検
出することができない。１ｍ以上においては、約５ｍ近
く移動しない限り、対象物体の移動は、撮像素子上の対
応画素で一つ分移動しないことになる。従って、応用例
によっては、距離を計測、あるいは検出するには、精度
が不十分な場合がある。

【００２１】そこで、この精度の向上を図るための改善
策として、サブピクセル補間法を利用することが出来
る。図１４から図１７を用いてその方法を説明する。ま
ず図１４は2台のカメラを利用したステレオ視におけ
る、類似度の計算の方法を説明するための図である。以
下では左右の画像を画像１、画像２とし、画素の座標を
（I,J）で表現する。

【００２２】距離を測定する対象物が、画像１上の座標
（I,J）に存在すると仮定する。図１４に示すように、
座標（I,J）を含むウインドウW₁を定義する。視差がｄ
である場合、これに対応する画像２の対応画素の座標は
（I,J-d）となる。同様に（I,J-d）を含むウインドウW₂
を定義する。このウインドウW₁とW₂の各画素の明度情報
を比較することにより、仮定視差がｄの場合の座標（I,
J）における類似度を計算することが出来る。

【００２３】画像１における座標（I,J）での明度値をF
₁ (I,J)とし、同様に画像２の明度値をF₂（I,J）とす
る。このとき仮定視差ｄにおける座標（I,J）での類似
度として、例えば式（３）のD_ADを使用することが出来
る。

【００２４】 D_AD (I,J,ｄ)＝｜F₁ (I,J)−F₂ (I,J-ｄ)｜・・・式（３） D_ADをウインドウW₁とW₂の各画素で行い、和をとったも
のをＱ_SADとすると、Ｑ_SA _Dは次の式（４）で表される。

【００２５】

【式４】ここで、ウインドウW₁とW₂は同じ形状のウインドウなの
で、Wとして表現し、l,mはウインドウW内のオフセット
座標である。

【００２６】Q_SADは、ウインドウW₁とW₂の内容が類似し
ていると低い値をとり、異なっていると高い値になるた
め、Q_SADは類似度の逆数に比例する。従ってステレオ処
理において、距離を測定するということは、Q_SADが最小
となる、仮定視差ｄを探索することになる。

【００２７】図１５は、仮定視差とQ_SADとの関係をグラ
フにした図である。d-1，d，d+1は仮定視差で、画像１
上の1画素の刻みに対応しているため、値が１づつ増え
ている。ｈ(ｄ-１)，ｈ(ｄ) ｈ(ｄ+１)は、それぞれの
仮定視差におけるQ_SADの計算結果である。

【００２８】この3つの仮定視差と、対応するQ_SADの値
から、多項式の補間曲線を利用して3点補間を行い、Q
_SADが最小となる視差値を求めた結果がｄ^*となってい
る。

【００２９】ｄ^*は次の式で求められる。

【００３０】ｄ^*＝d+{h(d+1)-h(d-1) }／{2・(2・h(d)-h(d-1)-h(d+1))} ・・・式（５）この式により、1画素の刻みよりも細かい精度で、Q_SAD
が最小となる視差値を求めることが可能であるが、求め
る視差値がゼロに近い場合、3点補間が適切に機能しな
い場合がある。図１６はこのような場合を示している。
図１６では、視差値０、１、２に対応するQ_SAD値ｈ
(0)、ｈ(1)、ｈ(2)が順次増加しており、多項式曲線の
谷底部分が3点の内部に存在していない。このような場
合、補間結果は必ずしも正しいQ_SAD最小の視差値にはな
らない可能性が高い。

【００３１】そこで図１７のように、Q_SADを計算する視
差の刻みをより細かくする方法が考えられる。この方法
では、仮定視差を1/2画素づつ、あるいは1/4画素づつず
らし、Q_SADを計算することにより、より正確にQ_SAD最小
の視差値を求めようとしている。しかしこの方法では、
計算処理が増加する一方で、安定してQ_SAD最小の視差値
を求めることが出来ず、実用的でないという報告がなさ
れている。

【００３２】

【課題を解決するための手段】本発明は、上記の問題を
解決することを目的とし、遠方の対象物体であっても計
測し易くなる３次元情報処理装置を提供することを目的
とする。

【００３３】本発明の３次元情報処理装置は、単一チッ
プ上に形成された撮像素子の撮像面に撮像した複数の視
点の画像情報を用いて三角測量の原理で撮像物体の３次
元情報を取得し、複数の視点のうちの一つにおいて撮像
した画像、あるいは予め設定した視点の画像のいずれか
を基準画像として、その基準画像中の撮像物体が、他の
視点で撮像された他の画像中のどこにあるかを、画像間
の撮像物体の対応位置を画像領域の画像特徴の類似度を
調べることによって、決定する対応点探索処理機能を有
する３次元情報処理装置である。３次元情報処理装置
は、他の画像中の予め決められたエピポーラ線上で、視
差零点を撮像物体が無限遠点に存在すると仮定した場合
に対応するエピポーラ線上の点とし、最大視差探索点を
撮像物体が撮像素子の直前にある場合に対応するエピポ
ーラ線上の点として、視差零点と最大視差探索点を結ん
だエピポーラ線上の両点を含む２点間のどこに対応点が
存在するかということを、視差零点と最大視差探索点の
間における複数の予め決められた探索位置において、画
像領域の画像特徴の類似度を調べることによって対応点
探索処理が画像間の撮像物体の対応位置を探索する場合
に、対応点探索処理は、複数の予め決められた探索位置
における画像領域の画像特徴の類似度に加えて、エピポ
ーラ線上の探索範囲を最大視差探索点から視差零点へ向
かう方向の、視差零点を越えた画像領域の画像特徴の類
似度を調べ、または、エピポーラ線上だけでなく視差零
点の周りの２次元的な近傍の画像領域の画像特徴の類似
度を調べ、撮像物体の対応位置を決定する機能を具備す
る。

【００３４】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。

【００３５】図１から図９は、本発明の実施の形態を示
す。

【００３６】まず図１に基づき、本実施の形態に係わる
３次元情報処理装置の構成を説明する。本実施の形態に
係る３次元情報処理装置および方法は、1個のチップ撮
像素子を用いて複数の視点の画像情報を取得し、このス
テレオ視を多眼に拡張して実施する装置および方法であ
る。図１は、本発明の実施の形態に係わる３次元情報処
理装置２０の構成の例を示すブロック図である。

【００３７】図１において、２１は、単一チップ（以
下、ワンチップともいう）の多眼センサである。ワンチ
ップセンサ２１では、単一チップ上に形成された撮像素
子の撮像面上に複数の視点からの画像が受光され、それ
ぞれの画像データが出力されるように構成される。ここ
では、ワンチップセンサ２１は、３つの視点からの画像
データが得られるように、３つのピンホールの光学レン
ズを有する後述するセンサ構造を有する。２２は、Ａ／
Ｄ変換器であり、２３は、ワンチップセンサ２１で撮像
された画像データをストアする画像保持手段であり、３
つの画像データｃｈ１、ｃｈ２、ｃｈ３を保持するメモ
リ装置である。ここでは基準画像を取り出すｃｈを、ｃ
ｈ１とする。

【００３８】２４は基準画像抽出手段であり、画像保持
手段２３からｃｈ１の画像データを取り出す回路であ
る。２５及び、２６は対応候補点抽出手段であり、画像
保持手段２３からｃｈ２、ｃｈ３の画像における対応候
補点の画素データを取り出す回路である。

【００３９】２７は正及び零仮定視差発生手段であり、
後述する対応点探索処理において、視差零点から正の方
向に対応点を探索する場合に、探索単位としての仮定視
差情報を発生する回路である。２８は負の仮定視差発生
手段であり、後述する対応点探索処理において、視差零
点から負の方向に対応点を探索する場合に仮定視差情報
を発生する回路である。２９は負の視差に対応した対応
候補点位置算出手段であり、正及び零仮定視差発生手段
２７及び負の仮定視差発生手段２８からの視差情報に基
いて対応候補点位置情報を算出して出力する回路であ
る。３０は基準画像座標生成手段であり、基準画像位置
情報を発生する回路である。ここで生成した基準画像位
置情報は、負の視差に対応した対応候補点位置算出手段
２９により、画像保持手段２３の座標系にそった位置情
報に変換されてから、基準画像抽出手段２４に与えられ
る。

【００４０】３１は対応候補点の類似度計算手段であ
り、基準画像の明度値と他の画像の明度値に基づいて、
後述するように類似度を計算する回路である。３２は負
の視差に対応した視差推定手段であり、負の視差情報を
含めて視差を推定し、視差画像を出力する回路である。
視差画像３３は、視差推定手段３２の視差出力に応じた
視差画像である。視差画像は、各点で計算された視差値
を明度情報として表した画像である。

【００４１】次に、図１に示す構成を有する３次元情報
処理装置における対応点探索処理について説明する。図
２は、ステレオカメラ４１の使用状況の例を示す図であ
る。ステレオカメラ４１は、図２に示すように、ピンホ
ールレンズ部を撮像対象物体（この図では車両と樹木）
に向けて設置される。

【００４２】図３は、本実施の形態に係る対応点探索処
理を説明するための図である。

【００４３】図３に示すように、対象物体（車両と樹
木）をステレオカメラ４１で撮像すると、撮像素子の画
面上に撮像された画像は、撮像面上に３つの画像として
現れる。なお、ピンホールを用いた光学レンズなので、
実際は反転画像であるが、説明のし易さのために反転し
ていない像を用いて説明する。また、単一チップに構成
される撮像素子の撮像面に撮影する複数の視点の画像情
報の数に制限はないが、ここでは簡単のため３つの視点
の画像を同時に撮像している場合で説明する。さらに、
実際の対応点の探索は画像面上で行うため、各点で視差
ｄを仮定し、探索単位としての仮定視差が画面上でほぼ
等間隔になるように、対応点を探索する。光学レンズの
配置の関係によっては、実際に画像平面上で生じる視差
の大きさや方向は異なる。

【００４４】なお、距離ｚと視差ｄは式（２）で関係付
けられている。また、撮像素子からは、通常、ラスタ走
査でビデオ信号（ディジタルカメラの場合もあるので、
このときはディジタル信号であっても良い）が出力さ
れ、そのビデオ信号は、Ａ／Ｄ変換（入力がディジタル
信号の場合は必要ない）され、各画像の画像バッファに
記録される。以下の処理は、各画像が画像バッファに記
録された後、開始される。

【００４５】図３では、単一の撮像素子に複数の視点の
画像が結像している様子が示されている。基準画像であ
るｃｈ１の画像に対し、ｃｈ２、ｃｈ３の画像はそれぞ
れ視差分だけずれた姿で得られている。この視差は対象
物までの距離に応じて増減し、視差あるいはずれる方向
は、各視点の関係、すなわち光学レンズの配置関係によ
って決まる。理想的なステレオ視の場合、視差によるず
れは必ず同一線上での移動になり、この線をエピポーラ
線と呼ぶ。図３では、ｃｈ２及びｃｈ３の基準画像に対
する視差方向はエピポーラ線上の矢印として表現してい
る。

【００４６】本実施の形態に係る３次元情報処理装置で
は、単一チップ２１上に形成された撮像素子の撮像面に
撮像した複数の視点の画像情報を用いて三角測量の原理
で撮像物体の３次元情報を取得する。そのとき、複数の
視点のうちの一つにおいて撮像した画像の一つを基準画
像として、その基準画像中の撮像物体が、他の視点で撮
像された他の画像中のどこにあるかを、画像間の撮像物
体の対応位置を画像領域の画像特徴の類似度を調べるこ
とによって、決定する対応点探索処理機能を有する。な
お、基準画像としては、予め設定した視点の画像でもよ
い。

【００４７】特に、他の画像中の予め決められたエピポ
ーラ線上で、視差零点を撮像物体が無限遠点に存在する
と仮定した場合に対応するエピポーラ線上の点とし、最
大視差探索点を撮像物体が撮像素子の直前にある場合に
対応する前記エピポーラ線上の点とする。そして、視差
零点と最大視差探索点を結んだエピポーラ線上の両点を
含む２点間のどこに対応点が存在するかということを、
視差零点と最大視差探索点の間における複数の予め決め
られた探索位置において、画像領域の画像特徴の類似度
を調べることによって、対応点探索処理が画像間の撮像
物体の前記対応位置を探索する。

【００４８】その場合に、対応点探索処理は、複数の予
め決められた探索位置における画像領域の画像特徴の類
似度に加えて、エピポーラ線上の探索範囲を最大視差探
索点から視差零点へ向かう方向の、視差零点を越えた画
像領域の画像特徴の類似度を調べ、または、エピポーラ
線上だけでなく視差零点の周りの２次元的な近傍の画像
領域の画像特徴の類似度を調べる。それによって、撮像
物体の対応位置を決定する。

【００４９】より具体的には、対応点探索処理におい
て、対応点の探索は、基準画像ｃｈ１における予め決め
られた基準画素と、基準画像ｃｈ１の基準画素に対応す
る他の画像ｃｈ２、ｃｈ３の視差零点の画素とを基準と
して行われる。基準画像でない他の撮像画像ｃｈ２、ｃ
ｈ３における視差零点は、撮像物体が無限遠点に存在す
るとした場合における対応する点である。そして、最大
視差探索点を撮像物体が撮像素子の直前にある場合の対
応する点とする。そして、他の撮像画像ｃｈ２、ｃｈ３
上において、予め決められたエピポーラ線上の視差零点
と最大視差探索点の間を、予め決められた刻み幅で（例
えば、１仮定視差ずつずらして）、対応点が探索され
る。

【００５０】また、他の画像におけるエピポーラ線上の
対応点の画素データを用いるだけでなく視差零点の周り
の２次元的な近傍の画像領域の画像特徴の類似度を調
べ、撮像物体の対応位置を決定するようにしてもよい。

【００５１】以下、図４を用いて本実施例における類似
度の計算手順、視差推定及びステレオカメラの遮蔽板に
ついて説明する。図４は、本実施の形態に係わる対応点
探索処理の方法の例をさらに詳細に説明するための図で
ある。

【００５２】（基準座標）最初に基準画像であるｃｈ１
における座標値が、基準座標生成手段３０において生成
される。生成する座標値(I,J)はｃｈ１内部のローカル
な座標系における座標値である。複数の画像が結像して
いる全体画像（以下Fと呼ぶ）でのグローバルな座標系
における、座標値(I,J)に対応する座標値を(P₁,Q₁)とす
る。

【００５３】基準座標生成手段３０は、ステレオ処理を
実行する時の各画素の座標を逐次発生させるための座標
発生手段である。この基準座標値(I,J)を元に、複数の
画像が撮像された画像上における、ｃｈ１、ｃｈ２、ｃ
ｈ３の各画像に対応する画素点の座標を計算する。ｃｈ
２及び、ｃｈ３における、ｃｈ１に対応する画素点を対
応候補点と呼ぶ。対応候補点は、仮定する視差値、ｃｈ
１の光学系に対する位置関係によってその座標値が決定
する。以下では、基準座標(I,J)から対応候補点の抽出
までの過程を説明する。

【００５４】（対応点座標算出）仮定視差は、正及び零
仮定視差発生手段２７および、負の仮定視差発生手段２
８により発生する。正及び零仮定視差発生手段２７は、
仮定する視差値を、ゼロおよび、１、２、・・・のよう
に整数値として発生する仮定視差発生手段である。同様
に、負の仮定視差発生手段２８は、仮定する視差値を、
−１、−２、・・・のように負の整数値として発生する
仮定視差発生手段である。以下では仮定視差値をd_kと表
わすこととし、値として例えば−１、０、１、２、とい
った整数値を取るものとする。

【００５５】前記手段により発生した仮定視差値d_kと、
基準座標(I,J)を基に、負の視差に対応した対応候補点
位置算出手段２９はｃｈ１、ｃｈ２、ｃｈ３それぞれの
画像における対応点の座標位置を算出する。すなわち図
４における、座標値(P₁,Q₁)、(P₂,Q₂)、(P₃,Q₃)をそれ
ぞれ算出する。このとき、(P₁,Q₁)は基準座標(I,J)から
一意に算出されるが、(P₂,Q₂)及び、(P₃,Q₃)は、(I,J)
と仮定視差d_kの関数になっている。従って各座標値はそ
れぞれ、(P₁ (I,J),Q₁ (I,J))、(P₂ (I,J,d_k),Q₂ (I,J,
d_k))、(P₃ (I,J,d_k),Q₃ (I,J,d_k)) と表すことが出来
る。

【００５６】（負視差の座標値）ｃｈ２上の点(P₂ (I,
J,d_k),Q₂ (I,J,d_k))に関し、仮定視差d_kを０、１、２と
変化させると、ｃｈ２の光学系にレンズ歪がない場合
は、当該点の軌跡は直線になる。この直線がエピポーラ
線である。仮定視差d_kが−１、−２のように、負の整数
値である場合も、点(P₂ (I,J,d_k),Q₂ (I,J,d_k))はこの
直線上に載り、仮定視差d_kが０である点を挟んで、正の
仮定視差d_kとちょうど反対側に負の仮定視差d_kの対応候
補点が位置することになる。

【００５７】（対応点抽出）基準画像抽出手段２４は、
座標値(P₁ (I,J),Q₁ (I,J))を基に、画像保持手段２３
に保持されている全体画像Fを読み出すことにより、ｃ
ｈ１の画素の明度値情報を抽出する。この明度値をF(P₁
(I,J),Q₁ (I,J))と表すこととする。

【００５８】同様に対応候補点抽出手段２５，２６によ
り、ｃｈ２及び、ｃｈ３の対応候補点の画素明度情報を
抽出する。この場合、座標値(P₂ (I,J,d_k),Q₂ (I,J,
d_k)) 及び、(P₃ (I,J,d_k),Q₃ (I,J,d_k))を利用して全体
画像Fより画素を抽出する。このときの明度値をそれぞ
れ、F (P₂ (I,J,d_k),Q₂ (I,J,d_k)) 及び、F (P₃ (I,J,d
_k),Q₃ (I,J,d_k))と表すこととする。

【００５９】以上の手順により基準座標(I,J)より、ｃ
ｈ１、ｃｈ２、ｃｈ３の対応する画素の明度情報F(P₁
(I,J),Q₁ (I,J))、F(P₂ (I,J,d_k),Q₂ (I,J,d_k))及び、F
(P₃(I,J,d_k),Q₃ (I,J,d_k))が抽出されたことになる。

【００６０】（類似度計算）次に基準座標(I,J)に対応
する、ｃｈ１、ｃｈ２、ｃｈ３の対応候補点を含む周辺
画像間の類似度の計算を行う。基準座標(I,J)、仮定視
差d_kに対応するｃｈ１とｃｈ２の画素間の類似度をD
_AD,2とすると、D_AD,2は以下の式（６）で表される。

【００６１】 D_AD,2 (I,J,d_k)＝｜F(P₁ (I,J),Q₁ (I,J))−F(P₂ (I,J,d_k),Q₂ (I,J,d_k))｜・・・式（６）同様にｃｈ１とｃｈ３の類似度をD_AD,3とし、ｃｈ１、
ｃｈ２、ｃｈ３の間での類似度をD_SADとすると、D_SADは
以下の式（７）で表される。

【００６２】 D_SAD (I,J,d_k)＝D_AD,2 (I,J,d_k) +D_AD,3 (I,J,d_k)・・・式（７）更に基準座標(I,J)を含む基準画像ｃｈ１上の矩形領域W
₁上の各点に対してD_SA _Dを求め、総和を計算したものをQ
_SSADとすると、Q_SSADは以下の式（８）で表される。

【００６３】

【式８】このように矩形領域内の画素に関して類似度の総和をと
ることを、ウインドウ加算と呼ぶ。

【００６４】基準座標(I,J)において仮定視差がd_kであ
るとき、基準画像上の矩形領域W₁に対応するｃｈ２及
び、ｃｈ３の矩形領域W₂、W₃との相互の類似度高い場合
は、Q_S _SADは低い値になり、逆に類似度が低い場合は、Q
_SSADは高い値になる。従ってQ_S _SADは類似度と反比例の
関係になる。

【００６５】（重付ウインドウ加算）ウインドウ加算を
おなう場合に、矩形領域内の各画素について、それぞれ
の画素の類似度に重み付けをして加算することも可能で
ある。重み付け係数をC_lmとした場合のQ' _SSADは、以下
の式（９）で表される。

【００６６】

【式９】以下の処理では、Q_SSADを前提として説明するが、Q_SSAD
の変わりにQ' _SSADを使用しても良い。

【００６７】（視差推定）負の視差に対応した視差推定
手段３２では、類似度が最大となる対応候補点の探索を
行う。仮定視差d_kを変化させたときに、これに対応する
対応候補点の類似度が増減する。このとき類似度が最も
大きくなる、すなわちQ_SSADが最も小さくなるd_kが、求
める視差値となる。

【００６８】図５は負の仮定視差d_kに対応するQ_SSADの
算出結果を含めて、Q_SSADが最も小さくなるd_kを補間推
定する原理を説明している。図５は、対応点探索処理の
方法において、サブピクセル補間法を用いてQ_SSADを計
算した結果の例を示すグラフである。仮定視差d_kがそれ
ぞれ、−１、０、１、２である時に対応するQ_SSADの算
出結果を、それぞれh(-1)、h(0)、h(1)、h(2)とする。
通常はh(0)、h(1)、h(2)の3点に関して多項式の補間曲
線をあてはめて補間推定を行うが、図５のようにh(0)が
最小値になっている場合は、最小値を正しく補間推定す
ることができない。これに対し、h(-1)、h(0)、h(1)の3
点を利用して補間曲線を当てはめると、正しい補間推定
を行うことが可能となる。補間式は以下のようになる。

【００６９】ｄ^*＝{h(1)-h(-1)}／{2・(2・h(0)-h(-1)-h(1))} ・・・式（10）なお、仮定視差d_kが−２の場合のQ_SSADの算出結果をh(-
2)とした場合、h(-2)、h(-1)、h(0)、h(1)、h(2)の5点
を利用して補間推定を行うことも可能であり、3点の場
合よりも高い精度で補間推定を行うことが可能である。

【００７０】（補間を確実にするため、2次元的近傍も
探索する）一般に極大点を探索する場合、直線状を探索
するより2次元平面的に探索するほうが安定して探索す
ることが可能となる。したがって類似度が最大となる極
大点を探索する場合も、エピポーラ線上での探索ではな
く、仮定視差d_kが０である対応候補点の2次元的近傍に
おいて、探索をするとより安定して極大点を求めること
が可能となる。具体的には仮定視差d_kが０である対応候
補点の2次元的近傍の点について類似度を算出し、これ
ら点全ての類似度情報を基に、類似度が最も高い対応点
を探索する。ここでの視差値は、類似度が最も高い対応
点と、仮定視差d_kが０である対応候補点の位置関係から
決定することが出来る。この方法により類似度最大の点
があいまいである場合や、対応候補点を算出するときに
前提とするエピポーラ線の位置が正確でない場合、レン
ズ歪が大きい場合などでも、安定して類似度最大の対応
候補点を探索することが可能となり、より正しい視差値
の推定が可能となる。

【００７１】（特徴量として、グラジエント、ＬｏＧな
どを利用可）以上において、類似度を算出するにあたっ
て利用した明度情報F(P_i,Q_i)は、画素に関する別の情
報、例えば画素の明度勾配値G(P_i,Q_i)や、Laplacian of
Gaussianフィルタ処理をした結果の画素値L(P_i,Q_i)な
どの特徴量を利用してもよい。これらのフィルタ処理結
果を利用することにより、画像間の明度のばらつきの影
響を低減することが可能である。この場合、類似度の計
算においてF(P_i,Q_i)の代わりにG(P_i,Q_i)や、L(P_i,Q_i)を
利用することなる。

【００７２】（類似度として相関を利用）また、画素間
の類似としてD_AD,2の代わりに、以下の式のような相関
値を利用する方法も可能である。

【００７３】 D_M,2(I,J,d_k)＝F(P₁ (I,J),Q₁ (I,J))・F(P₂ (I,J,d_k),Q₂ (I,J,d_k))・・・式（1 1）（遮蔽板について）３次元情報処理装置２０は、例え
ば、図６に示すようになステレオカメラ４１として利用
される。図６は、本実施の形態に係わるステレオカメラ
としての３次元情報処理装置の概観構成の例を示す図で
ある。ステレオカメラ４１は、図１に示した３次元情報
処理装置２０がワンチップ化されたセンサとして、筐体
４３内に搭載される。３次元情報処理装置２０のピンホ
ールレンズ部の前面、すなわち撮像面と反対の側である
撮像物体側には、遮蔽物としてのレンズフード４２が設
けられている。レンズフード４２は、後述するように、
レンズ部を通過する光の一部を遮蔽する機能を有する。
筐体４３は、軸部４４を介して台座４５により、支持さ
れるようになっている。ステレオカメラ４１を、撮像し
たい対象物体に向けて所望の場所に設置することによっ
て、対象物体の３次元情報を得ることができる。

【００７４】図７及び図８は、ステレオカメラ４１のレ
ンズフード４２の機能を説明するための図である。図７
において、撮像対象範囲からの光は、レンズフード４２
の前部の縁部４２ａ、４２ｂにより遮光される。撮像素
子の撮像面には、左右２つの視野範囲の画像が投影され
るが、左側視野の左側の光は、４２ａの縁部によって遮
断され、右側の撮像素子面には影響を与えない。同様
に、右側視野の右側の光は、４２ｂの縁部によって遮断
され、左側の撮像素子面には影響を与えない。このよう
に、各撮像素子の撮像面に、隣の撮像素子の撮像面への
光が入らないように、光学レンズの外側、すなわち対象
物体側に遮光部材としてのレンズフードが設けられてい
る。

【００７５】単一の撮像素子に複数の画像を結像させる
場合、撮像面を有効に使用するために、同一の画素に対
し、設置された複数個の光学レンズのうち、ただ１つの
レンズからの光が結像する必要がある。上述した特許第
２９５８４５８号にも、光学レンズと撮像素子の間に光
を遮蔽する遮蔽板を設置している様子が示されている
（図１３参照）。

【００７６】しかし、撮像面が小さいためにその遮蔽板
は取り付けのための機構が複雑になりがちであるととも
に、撮像素子に取り付けられた保護ガラスなどの制約に
より、完全な遮蔽が困難な場合がある。また、光学レン
ズの焦点距離が短い場合、光学レンズと撮像素子が接近
し、遮蔽板を挿入する空間を確保することが不可能な場
合がある。

【００７７】それに対して、図７に示す構成によれば、
容易にフードの製造及び位置調整が容易にでき、かつ確
実に遮光をすることができる。

【００７８】図８及び図９に、その遮蔽物としてのレン
ズフードの他の例を示す。図８は、そのレンズフードの
例の機能を説明するための図である。図９は、図８のレ
ンズフードを有するステレオカメラの構造を説明するた
めの図である。図８において、レンズフード５１は、撮
像素子の撮像面からレンズの焦点距離の位置にあるレン
ズ５２、５３を囲うように、その断面が矩形状の筒状体
である。筒状体の先端部は、その先端部のある側とは反
対側にある撮像面の受光部へ余分な光が入り込まないよ
うに、光を遮断する。図９は、図８の構成を有するセン
サチップの構成を示す側面図である。撮像素子５４がパ
ッケージ５５にパッケージングされ、そのパッケージ５
５の表面にレンズフード５１が設けられる。なお、レン
ズフード５１の各寸法は光学レンズ、撮像面の構造によ
り、最適になるよう調整する。図７及び図８における縁
部の４辺の長さは同じでも、異なっていても良い。さら
に、寸法が異なったり、縁部あるいはレンズフード部の
ない面が存在しても良い。

【００７９】要約すれば、予め決められた視野範囲を有
する各光学レンズ１に対応する撮像素子５４の撮像面に
隣接する撮像面へ光が入り込まないように、光学レンズ
１の対象物体側であって、その光学レンズ１に対応する
撮像素子とは反対側の位置に、レンズを囲むように遮蔽
板が設けられる。

【００８０】以上説明したように、上記の構成によれ
ば、単一チップに構成される撮像素子の撮像面に撮像し
た複数の視点の画像の情報を用いて撮像物体の３次元情
報を取得する３次元情報処理装置において、1チップ方
式であっても比較的遠くの距離に対しても計測を行うこ
とが出来るようになる。

【００８１】さらに、遮蔽物としてのフードを付加すれ
ば、撮像面上での画像の重なりが防止され、限られた撮
像面をより有効に利用することが可能となる。特に、本
発明の如く遮蔽物を撮像モジュールの外部に取り付けれ
ば、取付のための機構を単純にすることが可能となると
ともに、撮像素子の保護ガラスの影響も受けない。ま
た、使用する光学レンズの焦点距離が短い場合でも、設
置位置を確保することができる。

【００８２】本発明は、上述した実施の形態に限定され
るものではなく、本発明の要旨を変えない範囲におい
て、種々の変更、改変等が可能である。

【００８３】

【発明の効果】以上説明したように、本発明によれば、
遠方の対象物体であっても計測し易くなる３次元情報処
理装置を実現することができる。

【図面の簡単な説明】

【図１】本発明の実施の形態に係わる３次元情報処理装
置の構成の例を示すブロック図である。

【図２】本発明の実施の形態に係わるステレオカメラの
使用状況の例を示す図である。

【図３】本発明の実施の形態に係る対応点探索処理の例
を説明するための図である。

【図４】本発明の実施の形態に係わる対応点探索処理の
方法の例をさらに詳細に説明するための図である。

【図５】本発明の実施の形態に係わる対応点探索処理の
方法において、サブピクセル補間法を用いてQ_SSADが最
小となる仮定視差を計算した結果の例を示すグラフであ
る。

【図６】本発明の実施の形態に係わるレンズフードを取
り付けた３次元情報処理装置の概観構成の例を示す図で
ある。

【図７】本発明の実施の形態に係わるレンズフードの機
能を説明するための図である。

【図８】本発明の実施の形態に係わるステレオカメラの
他のレンズフードの例の機能を説明するための図であ
る。

【図９】図８の構成を有するセンサチップの側面図の例
である。

【図１０】２眼ステレオ視による距離計測の原理を示す
図である。

【図１１】多眼ステレオの原理を用いて、類似度の計算
に基づき距離を推定する手順を説明するための図であ
る。

【図１２】複数の画像を撮像するために一つの撮像素子
を共有する構成を示す図である。

【図１３】ワンチップ化した３眼画像センサの外観と構
造を示す。

【図１４】２台のカメラを利用した類似度計算の方法を
説明した図である。

【図１５】サブピクセル補間法を説明するための図であ
る。

【図１６】極めて遠方にある対象物体についてQ_SADを計
算した場合におけるQ_SADと視差の関係を示す図である。

【図１７】１／４画素に画素を仮想的に分割してQ_SADを
計算した場合におけるQ_S _ADと視差の関係を示す図であ
る。

【符号の説明】

２０・・・３次元情報処理装置２１・・・光学レンズ２２・・・Ａ／Ｄ変換器２３・・・画像保持手段２４・・・基準画像抽出手段２５、２６・・・対応候補点抽出手段２７・・・正及び零仮定視差発生手段２８・・・負の仮定視差発生手段２９・・・対応候補点位置算出手段３０・・・基準画像座標生成手段３１・・・類似度計算手段３２・・・視差推定手段４１・・・ステレオカメラ４２・・・レンズフード４３・・・筐体

フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｇ０６Ｔ 7/60 １５０Ｇ０１Ｂ 11/24 Ｋ (72)発明者大西啓修神奈川県鎌倉市上町屋345番地三菱プレシジョン株式会社内Ｆターム(参考） 2F065 AA06 AA53 BB05 FF05 FF09 JJ03 QQ00 UU05 5B057 CA13 CA16 CB13 CB16 DA07 DB03 DC32 5L096 AA09 CA05 FA69 GA17 HA07 JA03

Claims

【特許請求の範囲】

【請求項１】単一チップ上に形成された撮像素子の撮像
面に撮像した複数の視点の画像情報を用いて三角測量の
原理で撮像物体の３次元情報を取得し、前記複数の視点
のうちの一つにおいて撮像した画像、あるいは予め設定
した視点の画像のいずれかを基準画像として、その基準
画像中の前記撮像物体が、他の視点で撮像された他の画
像中のどこにあるかを、画像間の前記撮像物体の対応位
置を画像領域の画像特徴の類似度を調べることによっ
て、決定する対応点探索処理機能を有する３次元情報処
理装置において、前記他の画像中の予め決められたエピポーラ線上で、視
差零点を前記撮像物体が無限遠点に存在すると仮定した
場合に対応する前記エピポーラ線上の点とし、最大視差探索点を前記撮像物体が撮像素子の直前にある
場合に対応する前記エピポーラ線上の点として、前記視
差零点と前記最大視差探索点を結んだ前記エピポーラ線
上の両点を含む２点間のどこに対応点が存在するかとい
うことを、前記視差零点と前記最大視差探索点の間にお
ける複数の予め決められた探索位置において、前記画像
領域の画像特徴の類似度を調べることによって前記対応
点探索処理が画像間の前記撮像物体の前記対応位置を探
索する場合に、前記対応点探索処理は、前記複数の予め決められた探索
位置における前記画像領域の画像特徴の類似度に加え
て、前記エピポーラ線上の探索範囲を前記最大視差探索
点から前記視差零点へ向かう方向の、前記視差零点を越
えた画像領域の画像特徴の類似度を調べ、または、前記
エピポーラ線上だけでなく前記視差零点の周りの２次元
的な近傍の画像領域の画像特徴の類似度を調べ、前記撮
像物体の対応位置を決定する機能を具備したことを特徴
とする３次元情報処理装置。
【請求項２】前記視差零点を越えた画像領域の画像特徴
の類似度は、前記エピポーラ線上の探索範囲を前記最大
視差探索点から前記視差零点へ向かう方向において、予
め決められた探索単位を単位として探索した場合に、零
及び−１の探索単位についての画像特徴の類似度である
ことを特徴とする請求項１に記載の３次元情報処理装
置。
【請求項３】さらに、前記画像情報を前記撮像素子の撮
像面に得るための光学レンズに対して、その撮像面と反
対の側である撮像物体側に、前記光学レンズを通過する
光の一部を遮蔽するための遮蔽部材を有することを特徴
とする請求項１または請求項２に記載の３次元情報処理
装置。
【請求項４】前記遮蔽部材は、前記光学レンズのそれぞ
れの視野範囲外の光を遮蔽するために、前記撮像素子面
を囲むように、設けられていることを特徴とする請求項
３に記載の３次元情報処理装置。
【請求項５】単一チップ上に形成された撮像素子の撮像
面に撮像した複数の視点の画像情報を用いて三角測量の
原理で撮像物体の３次元情報を取得し、前記複数の視点
のうちの一つにおいて撮像した画像、あるいは予め設定
した視点の画像のいずれかを基準画像として、その基準
画像中の前記撮像物体が、他の視点で撮像された他の画
像中のどこにあるかを、画像間の前記撮像物体の対応位
置を画像領域の画像特徴の類似度を調べることによっ
て、決定する３次元情報処理方法において、前記他の画像中の予め決められたエピポーラ線上で、視
差零点を前記撮像物体が無限遠点に存在すると仮定した
場合に対応する前記エピポーラ線上の点とし、最大視差探索点を前記撮像物体が撮像素子の直前にある
場合に対応する前記エピポーラ線上の点として、前記視
差零点と前記最大視差探索点を結んだ前記エピポーラ線
上の両点を含む２点間のどこに対応点が存在するかとい
うことを、前記視差零点と前記最大視差探索点の間にお
ける複数の予め決められた探索位置において、前記画像
領域の画像特徴の類似度を調べることによって画像間の
前記撮像物体の前記対応位置を探索する場合に、前記複数の予め決められた探索位置における前記画像領
域の画像特徴の類似度に加えて、前記エピポーラ線上の
探索範囲を前記最大視差探索点から前記視差零点へ向か
う方向の、前記視差零点を越えた画像領域の画像特徴の
類似度を調べ、または、前記エピポーラ線上だけでなく
前記視差零点の周りの２次元的な近傍の画像領域の画像
特徴の類似度を調べ、前記撮像物体の対応位置を決定す
ることを特徴とする３次元情報処理方法。
【請求項６】前記視差零点を越えた画像領域の画像特徴
の類似度は、前記エピポーラ線上の探索範囲を前記最大
視差探索点から前記視差零点へ向かう方向において、予
め決められた探索単位を単位として探索した場合に、零
及び−１の探索単位についての画像特徴の類似度である
ことを特徴とする請求項５に記載の３次元情報処理方
法。