JP2001109879A - 画像処理装置および方法、並びに媒体 - Google Patents

Abstract

(57)【要約】 【課題】 画像間の対応付けが高精度に行なえるように
する。 【解決手段】 テンプレート変形部５５は、テンプレー
ト設定部５３より入力されたテンプレートから、線形補
間により複数個の変形テンプレートを生成し、マッチン
グ演算部５４−１乃至５４−ｎに入力する。マッチング
演算部５４−１乃至５４−ｎは、画像メモリ５２−１乃
至５２−ｎに記憶されている参照画像のうちのエピポー
ララインの画像と、変形テンプレートを用いて、エピポ
ーラライン上のテンプレートマッチングを行なう。選択
部５６−１乃至５６−ｎは、テンプレートマッチングの
結果から、類似度が最も高くなる変形テンプレートを決
定し、そのときの座標値を視差とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理装置およ
び方法、並びに媒体に関し、特に、ステレオ法に基づい
て距離測定を行なう場合、複数の変形テンプレートを用
いるようにすることで、より高精度に画像間の対応付け
を行なうようにした画像処理装置および方法、並びに媒
体に関する。

【０００２】

【従来の技術】人間が物体の形状やその物体までの距離
を感知する原理と同様に、対象となる物体までの距離を
測定する方法として、一般的に、ステレオ法が知られて
いる。ステレオ法によれば、視点の異なる複数台のカメ
ラで観測された画像を用いて、三角測量の原理により、
対象となる物体の形状またはその物体までの距離を計測
することができる。

【０００３】図１は、ステレオ法の原理を説明する図で
ある。基準カメラ１と参照カメラ２の２台のカメラは、
互いに異なる視点に配置されており、それぞれのカメラ
から測定しようとする対象点Ｑの３次元空間における位
置が求められる。すなわち、対象点Ｑが基準カメラ１の
画像面１Ａにより観察される観察点ｎbと、参照カメラ
２の画像面２Ａにより観察される観察点ｎrとが求めら
れる。そして、これらの観察点ｎb，ｎrから対象点Ｑの
３次元空間内の位置を求めることができる。

【０００４】観察点ｎbに対応する観察点ｎrを検出する
手法としては、エピポーラライン（Epipolar Line）上
で対応点を探索する方法が提案されている。例えば、基
準カメラ１で観察された画像面１Ａ（以下、そこにおけ
る画像を、図２に示すように、基準画像１ａと略記す
る）上にある観察点ｎbに対して、その対応点である参
照カメラ２の観察点ｎrは、両カメラの光学中心（光
軸）と基準カメラ１の観察点ｎbにより決まる平面（画
像面）と、参照カメラ２で観察された画像面２Ａ（以
下、そこにおける画像を、図２に示すように、参照画像
２ａと略記する）が交わる直線LP上に存在する。この直
線LPは、エピポーララインと称される。そして、基準カ
メラ１と参照カメラ２の位置関係が既知であれば、異な
る投影位置にある同一の対象を見つけることができるの
で、基準カメラ１の各観察点毎に参照画像２ａ上のエピ
ポーラライン（直線ＬＰ）上で対応点を検索することに
より、所望の対応点を検出することができる。

【０００５】対応点を検索する手法として、「Pixel−B
asedマッチング」、「Feature−Basedマッチング」、ま
たは、「Area−Basedマッチング」などが知られてお
り、次のような特徴がある。

【０００６】Pixel−Basedマッチングは、各々の画素間
の濃淡値を用いて対応点を探索するため、演算速度が速
いが、対応付け精度が低い。

【０００７】Feature−Basedマッチングは、画像から濃
淡エッジなどの特徴を抽出し、画像間の特徴だけを用い
て対応点を探索するため、得られた距離画像の情報は疎
である。

【０００８】Area−Basedマッチングは、一種の相関演
算を行なうため、演算コストがかかるが、対象の対応点
を高精度に探索し、全ての画素の距離値を算出すること
ができるため、一般的によく使われる。

【０００９】図２は、Area−Basedマッチングの原理を
表わしている。基準カメラ１で観察された画像（基準画
像１ａ）のうち、任意に設定された注目点（注目画素）
１１の周りに局所的なウィンドウ（領域）Ｗを設定し、
それをテンプレート１２とする。図２（Ａ）では、例え
ば、テンプレート１２は、縦５個×横５個の画素で構成
されている。

【００１０】そして、図２（Ｂ）に示すように、参照カ
メラ２で観察された画像（参照画像２ａ）のエピポーラ
ライン１３上に、テンプレート１２がテンプレート１２
Ａとして配置され、設定された探索範囲内でマッチング
が行なわれ、次式（１）に従って、一致度Ｒ（ｘ，ｙ）
が演算される。次に、テンプレート１２がエピポーララ
イン１３に沿って移動され、テンプレート１２Ｂとして
配置され、テンプレート１２Ａと同様に、式（１）に従
って、一致度Ｒ（ｘ，ｙ）が演算される。さらに、テン
プレート１２がエピポーラライン１３に沿って移動さ
れ、テンプレート１２Ｃとして配置され、テンプレート
１２Ａ，１２Ｂと同様に、式（１）に従って、一致度Ｒ
（ｘ，ｙ）が演算される。式（１）において、Im１
（ｘ，ｙ）は、基準画像１ａの画素を表わし、Im２（ｘ
＋Δｘ，ｙ＋Δｙ）は、参照画像２ａの画素を表わして
いる。また、Δｘ，Δｙは、テンプレート１２のエピポ
ーラライン１３上での移動量を表わしている。

【００１１】

【数１】

【００１２】上記式（１）に従って求められた３個の一
致度Ｒ（ｘ，ｙ）のうち、その値が最小となるとき、基
準画像１ａと参照画像２ａの間の一致度（類似度）が最
も高くなる。従って、一致度Ｒ（ｘ，ｙ）が最小になっ
たときのテンプレート１２の移動量Δｘ，Δｙを、その
注目点１１の視差とし、三角測量の原理により、その注
目点１１の３次元空間における形状または奥行きを算出
することができる。

【００１３】このように、Area-Basedマッチングでは、
各画素ごとにマッチング（対応付け）処理を繰り返すこ
とにより、全ての画素に対応する３次元形状データを得
ることができる。なお、図２では、３つのテンプレート
１２Ａ乃至１２Ｃの一致度Ｒ（ｘ，ｙ）を上記式（１）
に従って演算したが、実際には、テンプレート１２は、
エピポーラライン１３上を、設定された探索範囲内で、
所定の値ずつ移動され、式（１）に従って、各位置の一
致度Ｒ（ｘ，ｙ）が演算される。

【００１４】

【発明が解決しようとする課題】しかしながら、上記の
いずれの手法においても、画像間の対応付けに「曖昧
さ」が存在するため、画像上の全ての対応点を正確に求
めることが困難であった。

【００１５】例えば、Area−Basedマッチングを用い
て、図３に示すように、３次元空間に斜めに配置されて
いる平面２１上のテクスチャパターン２２の対応付けを
行なう場合、基準カメラ１および参照カメラ２の２台の
カメラが観察したテクスチャパターン２２は、図４に示
すようになる。図４（Ａ）は、図３の平面２１と、そこ
に配置されているテクスチャパターン２２を示し、図４
（Ｂ）は、基準カメラ１から平面２１を観察したときの
観察画像（基準画像１ａ）を示し、図４（Ｃ）は、参照
カメラ２から平面２１を観察したときの観察画像（参照
画像２ａ）を示している。これらの図からも判るよう
に、左右のカメラ（基準カメラ１と参照カメラ２）は、
同一の対象パターン（テクスチャパターン２２）を観察
しているにもかかわらず、そのテクスチャパターン２２
の画像間に幾何学的な歪みが生じ、異なる対象として認
識されることがあり、対応付けが困難になる課題があっ
た。

【００１６】そこで、より正確に対応点を求めるため
に、「ローカルサポート」、「高次特徴を使ったマッチ
ング」、または、「マルチベースラインステレオ」など
の手法が提案されている。しかしながら、その正確性
は、まだ充分ではない。

【００１７】本発明はこのような状況に鑑みてなされた
ものであり、テンプレートを変形して、変形テンプレー
トを生成し、より正確に対応点を見つけることができる
ようにするものである。

【００１８】

【課題を解決するための手段】請求項１に記載の画像処
理装置は、複数の撮像装置により撮像された画像のうち
少なくとも１つを基準画像として入力する第１の入力手
段と、撮像装置により撮像された画像のうち、基準画像
以外を参照画像として入力する第２の入力手段と、基準
画像の各画素に基づいて、対象画素とその周辺画素をテ
ンプレートとして設定する設定手段と、設定手段により
設定されたテンプレートから、複数の変形テンプレート
を生成する生成手段と、複数の変形テンプレートを用い
て、参照画像における対応点を求めることにより、基準
画像に対する参照画像の対応関係を算定する算定手段と
を備えることを特徴とする。

【００１９】請求項４に記載の画像処理方法は、複数の
撮像装置により撮像された画像のうち少なくとも１つを
基準画像として入力する第１の入力ステップと、撮像装
置により撮像された画像のうち、基準画像以外を参照画
像として入力する第２の入力ステップと、基準画像の各
画素に基づいて、対象画素とその周辺画素をテンプレー
トとして設定する設定ステップと、設定ステップの処理
により設定されたテンプレートから、複数の変形テンプ
レートを生成する生成ステップと、複数の変形テンプレ
ートを用いて、参照画像における対応点を求めることに
より、基準画像に対する参照画像の対応関係を算定する
算定ステップとを含むことを特徴とする。

【００２０】請求項５に記載の媒体のプログラムは、複
数の撮像装置により撮像された画像のうち少なくとも１
つを基準画像として入力する第１の入力ステップと、撮
像装置により撮像された画像のうち、基準画像以外を参
照画像として入力する第２の入力ステップと、基準画像
の各画素に基づいて、対象画素とその周辺画素をテンプ
レートとして設定する設定ステップと、設定ステップの
処理により設定されたテンプレートから、複数の変形テ
ンプレートを生成する生成ステップと、複数の変形テン
プレートを用いて、参照画像における対応点を求めるこ
とにより、基準画像に対する参照画像の対応関係を算定
する算定ステップとを含むことを特徴とする。

【００２１】請求項１に記載の画像処理装置、請求項４
に記載の画像処理方法、および請求項５に記載の媒体に
おいては、複数の変形テンプレートが生成され、変形テ
ンプレートに基づいて、基準画像に対する参照画像の対
応関係が算定される。

【００２２】

【発明の実施の形態】以下、本発明に係わる画像処理装
置の構成例について、図面を参照しながら説明する。な
お、従来の場合と対応する部分には同一の符号を付して
あり、その説明は適宜省略する。最初に、本発明の原理
について図５を参照して説明する。

【００２３】図５は、２台のカメラ（基準カメラ１と参
照カメラ２）から対象パターンを観察したとき、基準画
像１ａの所定の小領域（テンプレート１２）に基づき、
複数の変形テンプレート３１−１，３１−２，３１−３
・・・を生成し、カメラキャリブレーションにより求め
られたパラメータを用いて参照画像２ａを射影変換し、
奥行き方向にｓ分割して得られた参照画像２ａ1乃至２
ａSとのテンプレートマッチングを行う原理を表してい
る。基準カメラ１で観察された基準画像１ａからテンプ
レート１２が設定され、さらに、そのテンプレート１２
が変形される。

【００２４】例えば、図５の例では、縦９個×横９個の
画素（以下、９×９と適宜略記する）で構成されている
テンプレート１２が、３×９，５×９，７×９，９×
９，１１×９，１３×９，１５×９の７種類の変形テン
プレート３１−１乃至３１−７に変形される（簡単のた
め、変形テンプレート３１−４乃至３１−７の図示は省
略されている）。そして、参照画像２ａ1乃至２ａSのエ
ピポーラライン１３（図示せず）上で、それぞれの変形
テンプレート３１−１乃至３１−７を用いて、テンプレ
ートマッチングが行なわれる（その具体例については後
述する）。

【００２５】なお、カメラキャリブレーションと、１枚
の参照画像２ａから、射影変換により、奥行き方向にｓ
枚の参照画像２ａ1乃至２ａSを生成する原理の詳細は、
例えば、特開平１１−５３５４８号公報、特開平１１−
５３５４９号公報等に開示されている。

【００２６】次に、本発明を適用した画像処理装置の構
成について、図６を参照して説明する。基準カメラ１、
並びに基準カメラ１と異なる視点に設置されたｎ台の参
照カメラ２−１乃至２−ｎ（以下、これらを個々に区別
する必要がない場合、単に参照カメラ２と称する。他の
装置においても同様とする）は、テクスチャパターン２
２をそれぞれ同時に撮像し、撮像された観察画像（基準
画像１ａ、または参照画像２ａ−１乃至２ａ−ｎ）を電
気信号（画像信号）に変換する。

【００２７】画像処理装置４１は、例えば、パーソナル
コンピュータにより構成されており、基準カメラ１と参
照カメラ２−１乃至２−ｎから入力された画像信号に対
して所定の処理を実行する。画像メモリ５１は、基準カ
メラ１より入力された画像信号を記憶し、画像メモリ５
２−１乃至５２−ｎは、参照カメラ２−１乃至２−ｎよ
り入力された画像信号をそれぞれ記憶する。

【００２８】テンプレート設定部５３は、画像メモリ５
１に記憶されている基準画像１ａのうち、任意の注目点
１１を決定し、その注目点１１の周りに局所的な領域
（テンプレート１２）を設定し、テンプレート変形部５
５に入力する。テンプレート変形部５５は、入力された
テンプレート１２の形状に基づいて、例えば、線形補間
により複数個の変形テンプレート３１−１乃至３１−ｒ
を生成し、マッチング演算部５４−１乃至５４−ｎに入
力する。

【００２９】マッチング演算部５４−１乃至５４−ｎ
は、画像メモリ５２−１乃至５２−ｎに記憶されている
参照画像２ａ−１乃至２ａ−ｎのうちのエピポーラライ
ン１３上の画像と、テンプレート変形部５５より入力さ
れた変形テンプレート３１−１乃至３１−ｒを用いて、
エピポーラライン１３上のテンプレートマッチングを行
なう。選択部５６−１乃至５６−ｎは、テンプレートマ
ッチングの結果に基づいて、変形テンプレート３１−１
乃至３１−ｒの中から、類似度が最も高くなるものを決
定し、図示せぬメモリに保存する。また、選択部５６−
１乃至５６−ｎは、類似度が最も高くなるときの座標位
置を視差とし、距離画像演算部５７にその座標値を入力
する。距離画像演算部５７は、三角測量の原理に基づい
て、入力された座標値から距離値（奥行き）を演算し、
さらに、入力された座標値とメモリに保存されている変
形テンプレート３１に基づいて、画像を生成する。

【００３０】次に、本発明の実施の形態の動作を説明す
る前に、左右のカメラで観察された画像の形状が変形す
る一般的な原理を説明する。図７は、基準カメラ１と参
照カメラ２を水平方向に設置し、それぞれのカメラから
斜面上にある線分Ｌを観察した場合において、観察画像
の形状が視点により変化する原理を表わしている。左右
に配置された基準カメラ１と参照カメラ２は、３次元空
間に置かれた斜面上にある線分Ｌを観察する。このと
き、線分Ｌ上の４点ａ，ｂ，ｃ，ｄは、参照カメラ２か
ら観察した場合、それぞれ、基準カメラ１と参照カメラ
２を結んだ直線と平行な線分Ｌ´上の点ａ´，ｂ´，ｃ
´，ｄ´に投影される。また、これらの線分Ｌ，Ｌ´を
観察する基準カメラ１の視点ｉ、および参照カメラ２の
視点ｊは、線分Ｌ，Ｌ´と同一平面上に配置されてい
る。

【００３１】この図からも判るように、基準カメラ１で
観察された基準画像１ａ上の直線Ｌの長さＰ1と、参照
カメラ２で観察された参照画像２ａ上の直線Ｌの長さＰ
2とは、必ずしも同一とはならない。ここで、基準カメ
ラ１と参照カメラ２のレンズの焦点距離をＦとし、基準
カメラ１と参照カメラ２の間の距離（ベースラインの距
離と称する）をｇｈ（ｉｊ）＝Ｂとし、左右のカメラの
視点ｉ，ｊから線分Ｌまでの直線距離をＺとする。ま
た、基準カメラ１が撮像した線分Ｌは、線分Ｌ´上に線
分ｂ´ｃ´＝Ｌ1として投影されているものとし、さら
に参照カメラ２が撮像した線分Ｌは直線Ｌ´に線分ａ´
ｄ´＝Ｌ2として投影されているものとすると、次式
（２）に従って、基準カメラ１で観察された基準画像１
ａと参照カメラ２で観察された参照画像２ａの画像間の
差Ｐ1−Ｐ2を演算することができる。

【００３２】 Ｐ2−Ｐ1＝（Ｆ／Ｚ）・（Ｌ2−Ｌ1） ・・・（２）

【００３３】ここで、ｅｂ´＝ΔＬ1，ａ´ｅ＝ΔＬ2，
ｃ´ｆ＝ΔＬ3，ｆｄ´＝ΔＬ4とおくと、上記式（２）
は、以下のように表わされる。

【００３４】 Ｐ2−Ｐ1＝（Ｆ／Ｚ）・（ΔＬ1＋ΔＬ2＋ΔＬ3＋ΔＬ4） ・・・（３）

【００３５】さらに、ｇｉｂ´＝α1，ｇｉｃ´＝α2，
ａ´ｊｈ＝β1，ｄ´ｊｈ＝β2とすると、ΔＬ1乃至Δ
Ｌ4は、以下の式（４）乃至式（７）のように表わされ
る。なお、これらの式において、Ｄは、点ａと点ｄの奥
行き方向の距離を表わす。

【００３６】 ΔＬ1＝（Ｄ／２）・ｔａｎα1 ・・・（４）

【００３７】

【数２】

【００３８】 ΔＬ3＝（Ｄ／２）・ｔａｎα2 ・・・（６）

【００３９】

【数３】

【００４０】さらにまた、ｔａｎα1，ｔａｎα2は、以
下の式（８）と式（９）のように表わされる。ここで、
ｘ11は、点ｉから基準画像１ａ上に垂らした垂線と基準
画像１ａとの交点ｐから、点ａと点ｉを結ぶ直線と基準
画像１ａとの交点までの距離を表わす。また、ｘ12は、
点ｐから、点ｄと点ｉを結ぶ直線と基準画像１ａとの交
点までの距離を表わす。

【００４１】 ｔａｎα1＝ｘ11／Ｆ ・・・（８） ｔａｎα2＝ｘ12／Ｆ ・・・（９）

【００４２】従って、式（４）乃至式（９）を式（３）
に代入することにより、次式（１０）を得ることがで
き、基準カメラ１で観察された基準画像１ａと参照カメ
ラ２で観察された参照画像２ａの画像間の差Ｐ2−Ｐ1を
求めることができる。

【００４３】 Ｐ2−Ｐ1＝（Ｆ／Ｚ）・{（４ＺＤＢ）／（４Ｚ2−Ｄ2）} ・・・（１０）

【００４４】上記式（１０）で求められた画像間の差Ｐ
2−Ｐ1の単位は、例えば、mmである。ここで、基準画像
１ａの横方向の画素数をｍ（pixel）とし、基準カメラ
１と参照カメラ２のCCDチップの横方向の長さをｋ（m
m）とすると、以下のように基準カメラ１で観察された
基準画像１ａと参照カメラ２で観察された参照画像２ａ
の画像間の画素数の差（Ｐ2−Ｐ1）Pは、式（１１）に
示すように求めることができる。

【００４５】 （Ｐ2−Ｐ1）P＝{（４ＦＤＢ）／（４Ｚ2−Ｄ2）}・（ｍ／ｋ） ・・・（１１）

【００４６】また、線分Ｌの奥行き（距離値）Ｄは、線
分Ｌの角度φなどと関連し、次式（１２）により表わす
ことができる。

【００４７】 Ｄ＝Ｌ・sinφ ・・・（１２）

【００４８】図８は、線分Ｌが観察され、参照画像２ａ
のエピポーラライン１３上でテンプレートマッチングが
行なわれる場合、画素数の差（Ｐ2−Ｐ1）Pを、上記式
（１１）に従って演算した例を示している。ここで、レ
ンズの焦点距離Ｆ＝８（mm）、カメラ間の距離Ｂ＝８０
（mm）、カメラの視点ｉ，ｊから線分Ｌまでの距離Ｚ＝
５００（mm）、基準画像１ａの画素数ｍ＝７２０（pixe
l）、CCDチップの横方向の長さｋ＝４．８（mm）とされ
ている。また、テンプレート１２のウィンドウサイズ
は、３×３，５×５，７×７，９×９，１１×１１，１
３×１３，１５×１５，１７×１７，１９×１９とされ
る。

【００４９】例えば、線分Ｌの角度φが１５（度）の場
合、用いられるテンプレート１２のサイズが３×３のと
き、画素数の差（Ｐ2−Ｐ1）Pは０．１３２（pixel）と
なり、また、用いられるテンプレート１２のサイズが９
×９のとき、画素数の差（Ｐ2−Ｐ1）Pは０．３９５（p
ixel）となり、さらにまた、用いられるテンプレート１
２のサイズが１５×１５のとき、画素数の差（Ｐ2−Ｐ
1）Pは０．６５９（pixel）となる。

【００５０】また、例えば、線分Ｌの角度φが４５
（度）の場合、用いられるテンプレート１２のサイズが
５×５のとき、画素数の差（Ｐ2−Ｐ1）Pは０．８７５
（pixel）となり、また、用いられるテンプレート１２
のサイズが１１×１１のとき、画素数の差（Ｐ2−Ｐ1）
Pは１．９３（pixel）となり、さらにまた、用いられる
テンプレート１２のサイズが１７×１７のとき、画素数
の差（Ｐ2−Ｐ1）Pは２．９９（pixel）となる。

【００５１】さらにまた、例えば、線分Ｌの角度φが７
５（度）の場合、用いられるテンプレート１２のサイズ
が７×７のとき、画素数の差（Ｐ2−Ｐ1）Pは６．１６
４（pixel）となり、また、用いられるテンプレート１
２のサイズが１３×１３のとき、画素数の差（Ｐ2−Ｐ
1）Pは１１．６０７（pixel）となり、さらにまた、用
いられるテンプレート１２のサイズが１９×１９のと
き、画素数の差（Ｐ2−Ｐ1）Pは１７．２０４（pixel）
となる。

【００５２】この結果からも判るように、同一の対象
（線分Ｌ）を観察しているにもかかわらず、テンプレー
ト１２のサイズにより、また、線分Ｌの角度φにより、
画像上の線分の長さが異なる。従って、基準カメラ１と
異なる視点にある参照カメラ２が観察した参照画像２ａ
に対して、縦横比が同じである１枚のテンプレート１２
を用いてテンプレートマッチングを行なう場合、また、
角度φが大きい線分Ｌを観察してテンプレートマッチン
グを行なう場合（奥行きが大きくなる場合）、必ずしも
正しい距離値を得ることができない。

【００５３】そこで、本発明では、正しい距離値を得る
ために、基準カメラ１で観察された基準画像１ａからテ
ンプレート１２が設定され、さらに、複数個の変形テン
プレート３１が生成され、複数個の変形テンプレート３
１を用いて、参照画像２ａのうちのエピポーラライン１
３の画像とテンプレートマッチングが行なわれるように
するものである。

【００５４】次に、本発明の実施の形態において、異な
るカメラで観察された画像の距離画像計算処理を行なう
場合の動作について、図９のフローチャートを参照して
説明する。ステップＳ１において、基準カメラ１は、観
測した基準画像１ａの画素をIm1（ｘ，ｙ）として画像
メモリ５１に入力し、記憶させる。ステップＳ２におい
て、テンプレート設定部５３は、画像メモリ５１に記憶
されている基準画像１ａの画素Im１（ｘ，ｙ）のうち、
任意の注目点１１を決定し、その注目点１１の周りにテ
ンプレートＴ（ｘ，ｙ）を設定する。

【００５５】ステップＳ３において、テンプレート変形
部５５は、ステップＳ２で設定されたテンプレートＴ
（ｘ，ｙ）を、線形補間により変形し、変形テンプレー
トＴj（ｊ＝１，２・・・Ｊ）を生成する。例えば、図
１０に示すように、縦９個×横９個の画素（以下、９×
９と適宜略記する）で構成されているテンプレートＴ
（ｘ，ｙ）の大きさと形状が任意の方向に変形される。
図１０（Ａ）は、９×９で構成されているテンプレート
Ｔ（ｘ，ｙ）を、線形補間により水平方向（ｘ方向）
に、９×３，９×５，９×７，９×９，９×１１，９×
１３，９×１５の７種類に変形させた変形テンプレート
Ｔ1乃至Ｔ7を表わしている。同図において、Ｊ＝７であ
る。

【００５６】また、テンプレートＴ（ｘ，ｙ）は、垂直
方向（ｙ方向）に変形させてもよい。この場合、例え
ば、図１０（Ｂ）に示すように、３×９，５×９，７×
９，９×９，１１×９，１３×９，１５×９の７種類の
変形テンプレートＹ1乃至Ｙ7が生成される。

【００５７】図９に戻って、ステップＳ１，Ｓ２，Ｓ３
の処理と平行して、ステップＳ４乃至Ｓ７の処理が行な
われる。ステップＳ４において、参照カメラ２−１は、
観測した参照画像２ａ−１の画素Im２（ｘ，ｙ）を画像
メモリ５２−１に入力する。ステップＳ５において、マ
ッチング演算部５４−１は、カメラキャリブレーション
により求められたパラメータを用いて参照画像２ａ−１
を射影変換し、奥行き方向にｓ分割した、参照画像２ａ
1乃至２ａSを生成する。

【００５８】ステップＳ６において、変数ｉに０が初期
設定される。ステップＳ７において、変数ｉが１だけイ
ンクリメントされ、いまの場合、ｉ＝１とされる。

【００５９】ステップＳ８において、マッチング演算部
５４−１は、第ｉ番目（いまの場合、ｉ＝１）の参照画
像２ａiの画素Im２i（ｘi，ｙi）と、ステップＳ３で生
成された変形テンプレートＴjを用いて、エピポーララ
イン１３上のテンプレートマッチングを行ない、最大マ
ッチングスコアを算出する。

【００６０】ここで、図１１を参照して、マッチング演
算部５４−１の変形テンプレートＴjを用いた最大マッ
チングスコア算出処理について説明する。ステップＳ２
１において、変形テンプレートＴjの変数ｊと、最大マ
ッチングスコア値Ｍiに、それぞれ０が初期設定され
る。ステップＳ２２において、変数ｊが１だけインクリ
メントされ、いまの場合、ｊ＝１とされる。

【００６１】ステップＳ２３において、マッチング演算
部５４−１は、テンプレート変形部５５で変形された変
形テンプレートＴj（ｊ＝１）と、第ｉ番目（ｉ＝１）
の参照画像２ａiの画素Im２i（ｘi，ｙi）における同一
領域とのマッチングスコア値Ｍj（テンプレートと参照
画像の相関が高い程、大きくなる値であり、例えば、式
（１）で示す一致度Ｒ（ｘ，ｙ）の逆数として求められ
る）を計算する。

【００６２】ステップＳ２４において、マッチング演算
部５４−１は、ステップＳ２３で計算されたマッチング
スコア値Ｍjの値が、メモリに保存されている最大マッ
チングスコア値Ｍiの値より大きいか否かを判定し、マ
ッチングスコア値Ｍjの値が、最大マッチングスコア値
Ｍi（いまの場合、Ｍi＝０）の値より大きいと判定され
た場合、ステップＳ２５に進み、マッチング演算部５４
−１は、マッチングスコア値Ｍjの値を、最大マッチン
グスコア値Ｍiに代入し、ステップＳ２６に進む。ステ
ップＳ２４において、マッチングスコア値Ｍjの値が、
最大マッチングスコア値Ｍiの値より小さいと判定され
た場合、ステップＳ２５の処理はスキップされ、処理は
ステップＳ２６に進む。

【００６３】ステップＳ２６において、マッチング演算
部５４−１は、全ての変形テンプレートＴjを用いて、
第ｉ番目の参照画像２ａiの画素Im２i（ｘi，ｙi）との
マッチング処理が終了したか否かを判定し、処理が終了
していないと判定された場合、ステップＳ２２に戻り、
変数ｊの値を１だけインクリメントし、いまの場合、ｊ
＝２とする。これにより、第２番目の変形テンプレート
が選択され、以下、同様の処理が繰り返される。

【００６４】ステップＳ２６において、全ての変形テン
プレートＴjを用いて、第ｉ番目の参照画像２ａiの画素
Im２i（ｘi，ｙi）とのマッチング処理が終了したと判
定されるまで上述した処理が繰り返される。

【００６５】図９に戻って、ステップＳ９において、マ
ッチング演算部５４−１は、第ｉ番目の参照画像２ａi
における全ての画素Im２i（ｘi，ｙi）との最大マッチ
ングスコアの算出処理が終了したか否かを判定し、終了
していないと判定された場合、ステップＳ２に戻り、ス
テップＳ９において、第ｉ番目の参照画像２ａiにおけ
る全ての画素Im２i（ｘi，ｙi）との最大マッチングス
コアの算出処理が終了したと判定されるまで、上述した
処理を繰り返す。

【００６６】ステップＳ９において、第ｉ番目（いまの
場合、ｉ＝１）の参照画像２ａiにおける全ての画素Im
２i（ｘi，ｙi）との最大マッチングスコアの算出処理
が終了したと判定されると、マッチング演算部５４−１
は、さらに、ステップＳ１０において、全ての参照画像
２ａ1乃至２ａSとのマッチング処理が終了したか否かを
判定し、終了していないと判定された場合、ステップＳ
７に戻り、変数ｉの値を１だけインクリメントし、ｉ＝
２とする。その後、ステップＳ８に進み、同様の処理
が、ステップＳ１０において、全ての参照画像２ａ1乃
至２ａSとのマッチング処理が終了したと判定されるま
で繰り返される。

【００６７】そして、ステップＳ１０において、全ての
参照画像２ａ1乃至２ａSとのマッチング処理が終了した
と判定されると、選択部５６−１は、最大マッチングス
コア値Ｍiから、類似度が最も高くなる（最大マッチン
グスコア値Ｍiの値が最大となる）変形テンプレートＴj
を決定し、図示せぬメモリに保存する。また、選択部５
６−１は、類似度が最も高くなるときの参照画像２ａ−
１の画素Im２（ｘ，ｙ）を選択し、距離画像演算部５７
に入力する。

【００６８】図１２は、上述したような最大マッチング
スコア算出処理により、各変形テンプレートＴjを用い
て、最大マッチングスコア値Ｍiが算出された結果を示
している。同図において、横軸は変形テンプレートＴj
を表わし、縦軸は類似度を表わしている。例えば、図１
２では、変形テンプレートＴ6において、最も類似度が
高くなるため、変形テンプレートＴ6がメモリに保存さ
れ、そのときの参照画像２ａ−１の画素Im２（ｘ，ｙ）
が距離画像演算部５７に入力される。

【００６９】図９に戻って、ステップＳ１１において、
距離画像演算部５７は、最大マッチングスコア値Ｍiが
得られたときの変形テンプレートの移動量を、それぞれ
の注目画素点の視差とし、三角測量の原理により、距離
画像が生成され、処理を終了する。

【００７０】以上においては、変形テンプレートＴjを
長方形に変形させる方法を例として説明したが、例え
ば、台形などのその他の形状に変形しても適用できる。
また、テンプレート１２の縦横比を決める基準として、
式（１１）を用いたが、次式（１３）を用いることも可
能である。

【００７１】

【数４】

【００７２】また、基準カメラ１で観察された基準画像
１ａと参照カメラ２で観察された参照画像２ａの画像間
の差Ｐ1−Ｐ2を求めるだけでなく、次式（１４）に従っ
て、画像間の比Ｐ1／Ｐ2を求めることにより、テンプレ
ート１２の縦横比を決定することもできる。

【００７３】

【数５】

【００７４】上述したように、テンプレート１２から複
数個の変形テンプレート３１（元のテンプレート１２を
含む）を生成し、その変形テンプレートを用いてテンプ
レートマッチングを行なうようにしたので、画像間の対
応付けの曖昧さを低減し、ミスマッチングの発生頻度が
大きく抑えられ、より信頼性の高い距離値を得ることが
できる。

【００７５】従って、複雑な３次元形状のうち、特に奥
行き方向の形状が複雑な対象に対しても、高精度に距離
値を測定することができる。

【００７６】上述した一連の処理は、ハードウエアによ
り実行させることもできるが、ソフトウエアにより実行
させることもできる。一連の処理をソフトウエアにより
実行させる場合には、そのソフトウエアを構成するプロ
グラムが、専用のハードウエアとしての画像処理装置４
１に組み込まれているコンピュータ、または、各種のプ
ログラムをインストールすることで、各種の機能を実行
することが可能な、例えば汎用のパーソナルコンピュー
タなどにインストールされる。

【００７７】次に、図１３を参照して、上述した一連の
処理を実行するプログラムをコンピュータにインストー
ルし、コンピュータによって実行可能な状態とするため
に用いられる媒体について、そのコンピュータが汎用の
パーソナルコンピュータである場合を例として説明す
る。

【００７８】プログラムは、図１３（Ａ）に示すよう
に、パーソナルコンピュータ６１に内蔵されている記録
媒体としてのハードディスク６２や半導体メモリ６３に
予めインストールした状態でユーザに提供することがで
きる。

【００７９】あるいはまた、プログラムは、図１３
（Ｂ）に示すように、フロッピー（登録商標）ディスク
７１、CD-ROM（CD-Read Only Memory）７２、MO（Magne
to-Optical）ディスク７３、DVD（Digital Versatile D
isc）７４、磁気ディスク７５、または半導体メモリ７
６などの記録媒体に、一時的あるいは永続的に格納し、
パッケージソフトウエアとして提供することができる。

【００８０】さらに、プログラムは、図１３（Ｃ）に示
すように、ダウンロードサイト８１から、デジタル衛星
放送用の人工衛星８２を介して、パーソナルコンピュー
タ６１に無線で転送したり、ローカルエリアネットワー
ク、インターネットといったネットワーク９１を介し
て、パーソナルコンピュータ６１に有線で転送し、パー
ソナルコンピュータ６１おいて、内蔵するハードディス
ク６２などに格納させることができる。

【００８１】本明細書における媒体とは、これら全ての
媒体を含む広義の概念を意味するものである。

【００８２】パーソナルコンピュータ６１は、例えば、
図１４に示すように、CPU１０２を内蔵している。CPU１
０２にはバス１０１を介して入出力インタフェース１０
５が接続されており、CPU１０２は、入出力インタフェ
ース１０５を介して、ユーザから、キーボード、マウス
などよりなる入力部１０７から指令が入力されると、そ
れに対応して、図１３（Ａ）の半導体メモリ６３に対応
するROM１０３に格納されているプログラムを実行す
る。あるいはまた、CPU１０２は、ハードディスク６２
に予め格納されているプログラム、人工衛星８２もしく
はネットワーク９１から転送され、通信部１０８により
受信され、さらにハードディスク６２にインストールさ
れたプログラム、またはドライブ１０９に装着されたフ
ロッピーディスク７１、CD-ROM７２、MOディスク７３、
DVD７４、もしくは磁気ディスク７５から読み出され、
ハードディスク６２にインストールされたプログラム
を、RAM１０４にロードして実行する。さらに、CPU１０
２は、その処理結果を、例えば、入出力インタフェース
１０５を介して、LCD（Liquid Crystal Display）など
よりなる表示部１０６に必要に応じて出力する。

【００８３】なお、本明細書において、媒体により提供
されるプログラムを記述するステップは、記載された順
序に沿って時系列的に行われる処理はもちろん、必ずし
も時系列的に処理されなくとも、並列的あるいは個別に
実行される処理をも含むものである。

【００８４】

【発明の効果】以上のように、請求項１に記載の画像処
理装置、請求項４に記載の画像処理方法、および請求項
５に記載の媒体によれば、複数の変形テンプレートに基
づいて、基準画像に対する参照画像の対応関係を算定
し、対象点までの距離を求めるようにしたので、より高
精度に画像の対応付けを行なうことができる。

【図面の簡単な説明】

【図１】ステレオ法の原理を説明する図である。

【図２】Area−Basedマッチングの原理を説明する図で
ある。

【図３】ステレオ法を用いた基準カメラ１と参照カメラ
２の対応付けを説明する図である。

【図４】図３のカメラで観察された画像を説明する図で
ある。

【図５】本発明の原理を説明する図である。

【図６】本発明を適用した画像処理装置の構成を示すブ
ロック図である。

【図７】カメラの視点により観察画像の形状が変形する
原理を説明する図である。

【図８】距離値Ｄを演算した結果を説明する図である。

【図９】図６の画像処理装置の動作を説明するフローチ
ャートである。

【図１０】変形テンプレートを説明する図である。

【図１１】図９のステップＳ８の最大マッチングスコア
算出処理を説明するフローチャートである。

【図１２】類似度を説明する図である。

【図１３】媒体を説明する図である。

【図１４】図１３のパーソナルコンピュータ６１の構成
を示すブロック図である。

【符号の説明】

１ 基準カメラ， １ａ 基準画像， ２−１乃至２−
ｎ 参照カメラ， ２ａ1乃至２ａS 参照画像， １１
Ａ乃至１１Ｃ 注目点， １２Ａ乃至１２Ｃテンプレー
ト， ２１ 平面， ２２ テクスチャパターン， ３
１−１乃至３１−３ 変形テンプレート， ４１ 画像
処理装置， ５１，５２−１乃至５２−ｎ 画像メモ
リ， ５３ テンプレート設定部， ５４−１乃至５４
−ｎ マッチング演算部， ５５ テンプレート変形
部， ５６−１乃至５６−ｎ 選択部， ５７ 距離画
像演算部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 芦ヶ原 隆之 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 横山 敦 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 Ｆターム(参考） 2F065 AA06 FF05 FF09 FF61 JJ03 JJ05 JJ19 JJ26 QQ00 QQ24 QQ25 QQ26 QQ28 QQ32 QQ38 QQ41 2F112 AC03 AC06 BA06 CA12 FA03 FA21 FA36 FA38 5B057 DA07 DB03 DC02 DC34 DC39

Claims (5)

【特許請求の範囲】
1. 【請求項１】 複数の撮像装置により撮像された画像の
   うち少なくとも１つを基準画像として入力する第１の入
   力手段と、 前記撮像装置により撮像された画像のうち、前記基準画
   像以外を参照画像として入力する第２の入力手段と、 前記基準画像の各画素に基づいて、対象画素とその周辺
   画素をテンプレートとして設定する設定手段と、 前記設定手段により設定された前記テンプレートから、
   複数の変形テンプレートを生成する生成手段と、 前記複数の変形テンプレートを用いて、前記参照画像に
   おける対応点を求めることにより、前記基準画像に対す
   る参照画像の対応関係を算定する算定手段とを備えるこ
   とを特徴とする画像処理装置。
2. 【請求項２】 前記生成手段は、前記テンプレートの縦
   横比を変えることにより、複数の変形テンプレートを生
   成することを特徴とする請求項１に記載の画像処理装
   置。
3. 【請求項３】 前記算定手段は、前記複数の変形テンプ
   レートに対して、前記参照画像の各画素における類似度
   を算出し、算出された前記類似度のうち、最も相関が高
   くなる座標を抽出して対応点とすることを特徴とする請
   求項１に記載の画像処理装置。
4. 【請求項４】 複数の撮像装置により撮像された画像の
   うち少なくとも１つを基準画像として入力する第１の入
   力ステップと、 前記撮像装置により撮像された画像のうち、前記基準画
   像以外を参照画像として入力する第２の入力ステップ
   と、 前記基準画像の各画素に基づいて、対象画素とその周辺
   画素をテンプレートとして設定する設定ステップと、 前記設定ステップの処理により設定された前記テンプレ
   ートから、複数の変形テンプレートを生成する生成ステ
   ップと、 前記複数の変形テンプレートを用いて、前記参照画像に
   おける対応点を求めることにより、前記基準画像に対す
   る参照画像の対応関係を算定する算定ステップとを含む
   ことを特徴とする画像処理方法。
5. 【請求項５】 複数の撮像装置により撮像された画像の
   うち少なくとも１つを基準画像として入力する第１の入
   力ステップと、 前記撮像装置により撮像された画像のうち、前記基準画
   像以外を参照画像として入力する第２の入力ステップ
   と、 前記基準画像の各画素に基づいて、対象画素とその周辺
   画素をテンプレートとして設定する設定ステップと、 前記設定ステップの処理により設定された前記テンプレ
   ートから、複数の変形テンプレートを生成する生成ステ
   ップと、 前記複数の変形テンプレートを用いて、前記参照画像に
   おける対応点を求めることにより、前記基準画像に対す
   る参照画像の対応関係を算定する算定ステップとを含む
   ことを特徴とするプログラムをコンピュータに実行させ
   る媒体。