JP2001194126A - 三次元形状計測装置および三次元形状計測方法、並びにプログラム提供媒体 - Google Patents

Abstract

(57)【要約】 【課題】 ステレオ画像法における画像間対応付け処理
におけるミスマッチングを減少させる画像処理装置およ
び方法を提供する。 【解決手段】 異なる視点から計測対象画像を撮り込ん
で画像間のマッチング処理を行なう距離画像生成におい
て、基準画像に設定したテンプレート画像を評価してマ
ッチング処理用のテンプレートの大きさを変更する。評
価は、変化率、行列固有値、分散値等の特徴量をテンプ
レート画像から算出し、閾値と比較する。特徴量が閾値
より大となるまでテンプレートの拡大を行ない、十分な
閾値を有するテンプレートを用いてマッチング処理を実
行する。本構成によりミスマッチングの発生か抑制され
高精度な距離画像の生成が可能となる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、物体の三次元形状
を求めるための三次元形状計測装置および三次元形状計
測方法、並びにプログラム提供媒体に関する。特に三次
元空間上である距離範囲に存在する物体を複数の異なる
位置から撮影した画像を用いて被写体表面の三次元形状
を計測する方法、すなわちステレオ画像法において好適
な三次元形状計測装置および三次元形状計測方法、並び
にプログラム提供媒体に関する。

【０００２】

【従来の技術】物体の三次元形状を求める従来手法とし
て、大きく分けて能動的手法（アクティブ手法）と受動
的手法（パッシブ手法）がある。能動的手法としては、
光を投射して、その光が反射して帰ってくるまでの時間
を測定することで各計測対象物体までの距離を求める方
法や、計測対象にスリット状のパターン光をあてて計測
対象に投影されたパターン光の形状を調べることによっ
て三次元形状を計測する光切断法といった方法がある。

【０００３】また、受動的手法として代表的なものは、
三角測量の原理を利用したステレオ画像法であり、これ
は２台以上のカメラを使って、その画像間の対応点を見
つけることで視差を求め、距離を計測する方法である。

【０００４】ステレオ画像法について、その原理を簡単
に説明する。ステレオ画像法は複数のカメラを用いて２
つ以上の視点（異なる視線方向）から同一対象物を撮影
して得られる複数の画像における画素同士を対応づける
ことで計測対象物の三次元空間における位置を求めよう
とするものである。例えば基準カメラと参照カメラによ
り異なる視点から同一対象物を撮影して、それぞれの画
像内の計測対象物の距離を三角測量の原理により測定す
る。

【０００５】図１は、ステレオ画像法の原理を説明する
図である。基準カメラ（Ｃａｍｅｒａ １）と参照カメ
ラ（Ｃａｍｅｒａ ２）は異なる視点から同一対象物を
撮影する。基準カメラによって撮影された画像中の「ｍ
ｂ」というポイントの奥行きを求めることを考える。

【０００６】基準カメラによる撮影画像中のポイント
「ｍｂ」に見える物体は、異なる視点から同一物体を撮
影している参照カメラによって撮影された画像におい
て、「ｍ１」、「ｍ２」、「ｍ３」のようにある直線上
に展開されることになる。この直線をエピポーラライン
（Ｅｐｉｐｏｌａｒ ｌｉｎｅ）Ｌｐと呼ぶ。

【０００７】基準カメラにおけるポイント「ｍｂ」の位
置は、参照カメラによる画像中では「エピポーラ・ライ
ン」と呼ばれる直線上に現れる。撮像対象となる点Ｐ
（Ｐ１，Ｐ２，Ｐ３を含む直線上に存在する点）は、基
準カメラの視線上に存在する限り、奥行きすなわち基準
カメラとの距離の大小に拘らず、基準画像上では同じ観
察点「ｍｂ」に現れる。これに対し、参照カメラによる
撮影画像上における点Ｐは、エピポーラ・ライン上に基
準カメラと観察点Ｐとの距離の大小に応じた位置にあら
われる。

【０００８】図１には、エピポーラ・ラインと、参照画
像中における観察点「ｍｂ」の対応を図解している。同
図に示すように、観察点Ｐの位置がＰ１，Ｐ２，Ｐ３へ
と変化するに従って、参照画像中の観察点は「ｍ１」、
「ｍ２」、「ｍ３」へとシフトする。

【０００９】以上の幾何光学的性質を利用して、観察点
「ｍｂ」をエピポーラ・ライン上で探索することによ
り、点Ｐの距離を同定することができる。これが「ステ
レオ画像法」の基本的原理である。このような方法で画
面上のすべての画素についての三次元情報を取得する。
取得した三次元情報は画素ごとに対応した画素属性デー
タとして使用することが可能となる。

【００１０】上述のステレオ画像法は１台の基準カメラ
と１台の参照カメラとを用いた構成としたが、参照カメ
ラを複数用いたマルチベースラインステレオ（Ｍｕｌｔ
ｉＢａｓｅｌｉｎｅ Ｓｔｅｒｅｏ）法によって評価値
を求めて、該評価値に基づいて画素ごとの三次元情報を
取得するように構成してもよい。マルチベースラインス
テレオ画像法は、１つの基準カメラと複数の参照カメラ
によって撮影される画像を用い、複数の参照カメラ画像
それぞれについて基準カメラ画像との相関を表す評価値
を求め、それぞれの評価値を加算し、その加算値を最終
的な評価値とするものである。このマルチベースライン
ステレオ画像法の詳細は、例えば「複数の基線長を利用
したステレオマッチング」、電子情報通信学会論文誌Ｄ
−１１Ｖｏｌ．Ｊ７５−Ｄ−ＩＩ Ｎｏ．８ ｐｐ．１
３１７−１３２７ １９９２年８月、に記載されてい
る。

【００１１】上述のように、ステレオ画像法は、複数の
カメラを用いて２つ以上の視点（異なる視線方向）から
同一対象物を撮影して得られる複数の画像における画素
同士を対応づけること、すなわち「対応点付け（マッチ
ング）」を実施することで計測対象物の三次元空間にお
ける位置を求めようとするものである。

【００１２】従来、よく使われている「対応点付け」の
手法は、Ｐｉｘｅｌ−ｂａｓｅｄマッチング、Ａｒｅａ
−ｂａｓｅｄマッチングとＦｅａｔｕｒｅ−ｂａｓｅｄ
マッチングに大別される。Ｐｉｘｅｌ−ｂａｓｅｄマッ
チングとは、一方の画像における点の対応を、他方の画
像でそのまま探索する方法である（Ｃ．Ｌａｗｒｅｎｃ
ｅ Ｚｉｔｎｉｃｋ ａｎｄ Ｊｏｎ Ａ． Ｗｅｂ
ｂ： Ｍｕｌｔｉ−ｂａｓｅｌｉｎｅ Ｓｔｅｒｅｏ
Ｕｓｉｎｇ Ｓｕｒｆａｃｅ Ｅｘｔｒａｃｔｉｏｎ，
Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ， ＣＭＵ−ＣＳ
−９６−１９６，（１９９６）参照）。

【００１３】Ａｒｅａ−ｂａｓｅｄマッチングとは、一
方の画像における点の対応を、他方の画像で探す時、そ
の点の周りの局所的な画像パターンを用いて探索する方
法である（奥富、金出： 複数の基線長を利用したステ
レオマッチング、電子情報通信学会論文誌Ｄ−ＩＩ、Ｖ
ｏｌ．Ｊ７５−Ｄ−ＩＩ， Ｎｏ．８， ｐｐ．１３１
７−１３２７， （１９９２）、横山、三輪、芦ヶ原、
小柳津、林、後： Ｓｔｅｒｅｏ Ｃａｍｅｒａ Ｓｙ
ｓｔｅｍ ａｎｄ Ｉｔｓ Ａｐｐｌｉｃａｔｉｏｎ、
ＳＲＦ’９７、（１９９７）、金出、木村： ビデオ
レート・ステレオマシン、日本ロボット学会誌、Ｖｏ
ｌ．１３， Ｎｏ．３， ｐｐ．３２２〜３２６，
（１９９５）、金出、蚊野、木村、川村、吉田、織田：
ビデオレートステレオマシンの開発、日本ロボット学
会誌、Ｖｏｌ．１５， Ｎｏ．２，ｐｐ．２６１〜２６
７， （１９９７）、山口、高地、井口： 適応ウィン
ドウ法を用いた石像計測のためのステレオ対応付け、人
文科学とコンピュータ、Ｖｏｌ．３２， Ｎｏ．１０，
ｐｐ．５５〜６０， （１９９６）、横矢： 最近の
信号処理総合特集号 コンピュータビジョンの最近の話
題、システム／制御／情報、Ｖｏｌ．３８， Ｎｏ．
８， ｐｐ．４３６〜４４１， （１９９４）参照）。

【００１４】Ｆｅａｔｕｒｅ−ｂａｓｅｄマッチングと
は、画像から濃淡エッジなどの特徴を抽出し、画像間の
特徴だけを用いて対応付けを行う方法である（Ｈ．Ｈ．
Ｂａｋｅｒ ａｎｄ Ｔ．Ｏ．Ｂｉｎｆｏｒｄ： Ｄｅ
ｐｔｈ ｆｒｏｍ ｅｄｇｅａｎｄ ｉｎｔｅｎｓｉｔ
ｙ ｂａｓｅｄ ｓｔｅｒｅｏ， Ｉｎ Ｐｒｏｃ．
ＩＪＣＡＩ’８１， （１９８１）、石山、角保、河
井、植芝、富田： セグメントベーストステレオにおけ
る対応候補探索、信学技報、Ｖｏｌ．９６，Ｎｏ．１３
６， （１９９７）、Ｗ．Ｅ．Ｌ．Ｇｒｉｍｓｏｎ：
Ｃｏｍｐｕｔａｔｉｏｎａｌ ｅｘｐｅｒｉｍｅｎｔｓ
ｗｉｔｈ ａ ｆｅａｔｕｒｅ ｂａｓｅｄ ｓｔｅ
ｒｅｏ ａｌｇｏｒｉｔｈｍ， ＩＥＥＥ Ｔｒａｎ
ｓ． ＰＡＭＩ， Ｖｏｌ．７， Ｎｏ．１， ｐｐ．
１７〜３４， （１９８５））。

【００１５】上記の各手法の特徴を整理すると、次のよ
うになる。 （１）Ｐｉｘｅｌ−ｂａｓｅｄマッチングとＡｒｅａ−
ｂａｓｅｄマッチングは各々の画素に対して、対応点を
探索するので、求められた距離画像は密である。一方、
Ｆｅａｔｕｒｅ−ｂａｓｅｄマッチングは、特徴点だけ
に対して、対応付けを行うので、得られた距離画像は疎
である。

【００１６】（２）Ａｒｅａ−ｂａｓｅｄマッチング
は、一種の相関演算を行うため、Ｐｉｘｅｌ−ｂａｓｅ
ｄマッチングとＦｅａｔｕｒｅ−ｂａｓｅｄマッチング
に比べて、計算コストがかかるが、アルゴリズムの高速
化によって、必ずしも解決できない問題ではない。

【００１７】（３）Ｐｉｘｅｌ−ｂａｓｅｄマッチング
は、画素間の対応付けだけを行うため、計算速度がかな
り速いが、左右カメラ間の特性の違いによって、画素間
の濃淡値を用いる対応付けが容易ではない。

【００１８】上述の特徴から、一般的に、高精度で対象
の３次元形状（または奥行き）を画素毎に求めるための
手法としてＡｒｅａ−ｂａｓｅｄマッチングは有効であ
り、よく使われている。

【００１９】一般的なＡｒｅａ−ｂａｓｅｄマッチング
によるステレオ視の対応点の求め方について図２を用い
て説明する。図２（ａ）は、基準カメラの観測画像Ｉｍ
１（ｘ，ｙ）であり、図２（ｂ）は参照カメラによる観
測画像Ｉｍ２（ｘ，ｙ）である。基準カメラによる観測
画像Ｉｍ１（ｘ，ｙ）において、ある局所的なウィンド
ウＷを設定し、これをテンプレートとして他方のカメ
ラ、すなわち参照カメラで観測された画像Ｉｍ２（ｘ，
ｙ）のエピポーラライン上で位置を変えながら設定され
た探索範囲内でマッチング処理（テンプレートマッチン
グ）を実行する。マッチング処理における一致度の算出
には、例えば下式が用いられる。

【００２０】

【数１】

【００２１】ここで、Δｘ，Δｙは、エピポーラライン
上での位置の移動量である。Ｒ（ｘ，ｙ）が最小となる
場合を、ウィンドウ間の一致度が最も高い領域とし、そ
の時のテンプレートの移動量Δｘ，Δｙをその注目点の
視差とし、三角測量方式に従って、その注目点の三次元
形状または奥行きを算出する。このようなマッチング処
理を各測定点の画素について繰り返し求めることによ
り、全ての画素に対する三次元形状データを得ることが
できる。

【００２２】しかしながら、実際には、基準カメラ画像
と参照カメラ画像から全ての画素対応付け処理を正確に
行なうことは困難である。白い壁や人間の顔などの特徴
（濃淡、形状、色等）のほとんどない対象におけるマッ
チング処理には、本質的に曖昧さ（Ａｍｂｉｇｕｉｔ
ｙ）が存在するからである。

【００２３】図２の例においても、画像全体から見れば
非常に小さい領域でテンプレートマッチング処理を行
い、最もシーン一致度の高い部分を探索する処理を実行
するのであるが、マッチング処理に用いるテンプレート
に含まれるシーンによっては、似たようなパターンが様
々な異なる場所で存在する可能性がある。また、シーン
中の同じ対象物であっても、異なる視点でその対象物を
観察した場合に生じる幾何学的な歪、カメラの特性の違
いなどによって、基準カメラと参照カメラで撮影した左
右の画像上のパターンが完全に一致することはない。

【００２４】このようなマッチング処理における問題点
を解決し、画像間の対応付けを効果的に行なうための手
法として様々な方法が提案されている。代表的な処理に
は以下のものがある。（１）ローカルサポート、これは
検出対象画素の回りの画素の特徴を用いる手法である。
（２）高次特徴を用いたマッチング処理、これは例えば
エッジ等の画像の特徴部分を検出することによる処理で
ある。さらに、（３）マルチベースラインステレオ法、
これは３以上の画像を用いてマッチング処理を実行する
手法である。これらの手法を用いることにより、ステレ
オ視の対応付け処理における曖昧さが低減され、画像間
の対応をより正確に求めることが可能になる。

【００２５】

【発明が解決しようとする課題】しかしながら、上述し
た従来手法では、対応付け処理におけるエラー、すなわ
ちミスマッチングの完全な除去を達成することはできな
かった。また、３台以上のカメラを用いるマルチベース
ラインステレオマシンにおいては、ミスマッチング領域
減少に対して効果が期待されるが構成が複雑になり、ま
た対応付けの処理において取り扱う画像の数が増加し、
処理ステップが増加するという問題も発生する。

【００２６】本発明は、上述の問題点に鑑みてなされた
ものであり、ステレオ画像法に従った距離画像生成方法
におけるマッチング処理を精度よく実行することを可能
とした三次元形状計測装置および三次元形状計測方法、
並びにプログラム提供媒体を提供するものである。

【００２７】

【課題を解決するための手段】本発明は、上記課題を参
酌してなされたものであり、その第１の側面は、計測対
象を異なる方向から撮影した画像を用いて前記計測対象
の三次元形状を計測し、距離画像を生成する三次元形状
計測装置において、前記計測対象の基準画像を撮り込む
基準カメラと、前記基準カメラと異なる方向から前記計
測対象画像の参照画像を撮り込む参照カメラと、前記基
準カメラによって撮り込まれた基準画像と、前記参照カ
メラによって撮り込まれた参照画像との画像間対応付け
処理に適用するテンプレートサイズを、テンプレートに
よって規定されるウィンドウに含まれる基準画像の評価
処理により選択するテンプレートサイズ選択手段と、前
記テンプレートサイズ選択手段において選択されたサイ
ズのテンプレートを適用して前記基準画像と前記参照画
像との画像間対応付け処理を実行する画像間対応付け手
段と、前記画像間対応付け手段における画像間対応付け
処理結果に基づいて距離画像を生成する距離画像生成手
段と、を有することを特徴とする三次元形状計測装置に
ある。

【００２８】さらに、本発明の三次元形状計測装置の一
実施態様において、前記テンプレートサイズ選択手段に
おいて実行する画像の評価処理は、テンプレートによっ
て規定されるウィンドウに含まれる基準画像の特徴量を
算出し、算出した特徴量を予め定めた閾値と比較するこ
とにより、画像間対応付け処理に適したテンプレートサ
イズであるか否かを判定する処理であることを特徴とす
る。

【００２９】さらに、本発明の三次元形状計測装置の一
実施態様において、前記テンプレートサイズ選択手段に
おいて実行する画像の評価処理は、異なるテンプレート
サイズを順次、基準画像に適用して各テンプレートサイ
ズにおける特徴量を繰り返し評価する処理であることを
特徴とする。

【００３０】さらに、本発明の三次元形状計測装置の一
実施態様において、前記特徴量は、テンプレートによっ
て規定されるウィンドウに含まれる基準画像の画素値に
基づく変化率であることを特徴とする。

【００３１】さらに、本発明の三次元形状計測装置の一
実施態様において、前記特徴量は、テンプレートによっ
て規定されるウィンドウに含まれる基準画像の画素値に
基づく特徴行列の固有値に基づいて求められる特徴量で
あることを特徴とする。

【００３２】さらに、本発明の三次元形状計測装置の一
実施態様において、前記特徴量は、テンプレートによっ
て規定されるウィンドウに含まれる基準画像の画素値に
基づいて算出される分散値であることを特徴とする。

【００３３】さらに、本発明の三次元形状計測装置の一
実施態様は、さらに、計測対象に対して非周期パターン
を投光照射するランダムパターン投光手段を有し、前記
基準カメラと、前記参照カメラはランダムパターン投光
手段から非周期パターンを照射された像を撮り込む構成
であることを特徴とする。

【００３４】さらに、本発明の第２の側面は、計測対象
を異なる方向から撮影した画像を用いて前記計測対象の
三次元形状を計測し、距離画像を生成する三次元形状計
測方法において、前記計測対象の基準画像を基準カメラ
によって撮り込む基準画像撮り込みステップと、前記基
準カメラと異なる方向から前記計測対象画像の参照画像
を参照カメラによって撮り込む参照画像撮り込みステッ
プと、前記基準カメラによって撮り込まれた基準画像
と、前記参照カメラによって撮り込まれた参照画像との
画像間対応付け処理に適用するテンプレートサイズを、
テンプレートによって規定されるウィンドウに含まれる
基準画像の評価処理により選択するテンプレートサイズ
選択ステップと、前記テンプレートサイズ選択ステップ
において選択されたサイズのテンプレートを適用して前
記基準画像と前記参照画像との画像間対応付け処理を実
行する画像間対応付けステップと、前記画像間対応付け
ステップにおける画像間対応付け処理結果に基づいて距
離画像を生成する距離画像生成ステップと、を有するこ
とを特徴とする三次元形状計測方法にある。

【００３５】さらに、本発明の三次元形状計測方法の一
実施態様において、前記テンプレートサイズ選択ステッ
プにおいて実行される前記評価処理は、テンプレートに
よって規定されるウィンドウに含まれる基準画像の特徴
量を算出する特徴量算出ステップと、前記特徴量算出ス
テップにおいて算出した特徴量を予め定めた閾値と比較
して画像間対応付け処理に適したテンプレートサイズで
あるか否かを判定する判定ステップとを含む処理である
ことを特徴とする。

【００３６】さらに、本発明の三次元形状計測方法の一
実施態様において、前記テンプレートサイズ選択ステッ
プにおいて実行する前記評価処理は、異なるテンプレー
トサイズを順次、基準画像に適用して各テンプレートサ
イズにおける特徴量を繰り返し評価する処理として実行
することを特徴とする。

【００３７】さらに、本発明の三次元形状計測方法の一
実施態様において、前記特徴量は、テンプレートによっ
て規定されるウィンドウに含まれる基準画像の画素値に
基づく変化率であることを特徴とする。

【００３８】さらに、本発明の三次元形状計測方法の一
実施態様において、前記特徴量は、テンプレートによっ
て規定されるウィンドウに含まれる基準画像の画素値に
基づく特徴行列の固有値に基づいて求められる特徴量で
あることを特徴とする。

【００３９】さらに、本発明の三次元形状計測方法の一
実施態様において、前記特徴量は、テンプレートによっ
て規定されるウィンドウに含まれる基準画像の画素値に
基づいて算出される分散値であることを特徴とする。

【００４０】さらに、本発明の三次元形状計測方法の一
実施態様は、さらに、計測対象に対して非周期パターン
を投光照射するランダムパターン投光ステップを有し、
前記基準カメラと、前記参照カメラは非周期パターンを
照射された像を撮り込むことを特徴とする。

【００４１】さらに、本発明の第３の側面は、計測対象
を異なる方向から撮影した画像を用いて前記計測対象の
三次元形状を計測し、距離画像を生成する三次元形状計
測処理をコンピュータ・システム上で実行せしめるコン
ピュータ・プログラムを提供するプログラム提供媒体で
あって、前記コンピュータ・プログラムは、前記計測対
象の基準画像を基準カメラによって撮り込む基準画像撮
り込みステップと、前記基準カメラと異なる方向から前
記計測対象画像の参照画像を参照カメラによって撮り込
む参照画像撮り込みステップと、前記基準カメラによっ
て撮り込まれた基準画像と、前記参照カメラによって撮
り込まれた参照画像との画像間対応付け処理に適用する
テンプレートサイズを、テンプレートによって規定され
るウィンドウに含まれる基準画像の評価処理により選択
するテンプレートサイズ選択ステップと、前記テンプレ
ートサイズ選択ステップにおいて選択されたサイズのテ
ンプレートを適用して前記基準画像と前記参照画像との
画像間対応付け処理を実行する画像間対応付けステップ
と、前記画像間対応付けステップにおける画像間対応付
け処理結果に基づいて距離画像を生成する距離画像生成
ステップと、を有することを特徴とするプログラム提供
媒体にある。

【００４２】本発明の第３の側面に係るプログラム提供
媒体は、例えば、様々なプログラム・コードを実行可能
な汎用コンピュータ・システムに対して、コンピュータ
・プログラムをコンピュータ可読な形式で提供する媒体
である。媒体は、ＣＤやＦＤ、ＭＯなどの記憶媒体、あ
るいは、ネットワークなどの伝送媒体など、その形態は
特に限定されない。

【００４３】このようなプログラム提供媒体は、コンピ
ュータ・システム上で所定のコンピュータ・プログラム
の機能を実現するための、コンピュータ・プログラムと
提供媒体との構造上又は機能上の協働的関係を定義した
ものである。換言すれば、該提供媒体を介してコンピュ
ータ・プログラムをコンピュータ・システムにインスト
ールすることによって、コンピュータ・システム上では
協働的作用が発揮され、本発明の他の側面と同様の作用
効果を得ることができるのである。

【００４４】本発明のさらに他の目的、特徴や利点は、
後述する本発明の実施例や添付する図面に基づくより詳
細な説明によって明らかになるであろう。

【００４５】

【発明の実施の形態】まず、図３に本発明の画像生成装
置の構成ブロック図を示す。図３は、画像パターンの投
光によって計測対象の三次元形状または距離画像の計測
を行なう装置である。投光用画像パターン生成装置によ
って、ランダムテクスチャ（例えば二値または濃淡のラ
ンダム点群）からなる画像パターンを生成し、これを投
光器によって計測対象に投光する。計測対象にランダム
テクスチャを投光することにより、計測対象が白い壁や
人間の顔などの特徴（濃淡、形状、色等）のほとんどな
い対象である場合も、画像間のマッチング処理がより正
確に実行できる。

【００４６】図３に示す画像生成装置の概要について説
明する。画像生成装置は、先に説明したステレオ画像法
を適用して計測対象の三次元形状を計測するものであ
り、立体形状を持つ、例えば人の顔等の被計測対象物に
対して角度の異なる位置に配置した２つのカメラ、いわ
ゆる基準カメラと参照カメラを用いて像を撮り込み、こ
れら２つのカメラの撮影する画像に基づいて図１で説明
したステレオ画像法に基づいて被計測対象物の表面形状
を計測するものである。

【００４７】投光パターン生成手段３１２によって生成
されたランダムパターンは、投光パターン照射手段３１
１によって照射される。この投光パターンは一様乱数や
正規乱数に基づく非周期的投光パターンである。投光さ
れる非周期投光パターンは、例えばドットのサイズ、線
の長さ、太さ、位置、濃度等に周期性を持たないパター
ンであり、例えば図４（ａ）、（ｂ）に示すようなパタ
ーンである。

【００４８】非周期的パターンは例えば予めスライド等
に形成され、例えばフラッシュ光をスライドを介して照
射することによって計測対象に対してパターンの投影が
可能となる。あるいは、透過型液晶表示素子等を用いて
動的にランダムパターンを生成して投影してもよい。計
測対象３００の表面に形成された非周期パターンを計測
対象とともに撮像することにより、距離画像生成時の基
準カメラと参照カメラの撮像データの対応付けを容易に
することができる。

【００４９】なお、図３の構成のように計測対象３００
にランダムテクスチャ投光パターンを照射するのは、計
測対象が例えば壁、人の顔等のように表面の各部を区別
する特徴が少なく、基準カメラ画像と参照カメラ画像の
画像間対応付けが困難である場合に、撮影画像にランダ
ムパターンを付与して画像間対応付け処理を実行しやす
くするためのものである。従って、計測対象の表面が各
部分において十分特徴的である場合には、投光パターン
を照射することなく画像間対応付け処理が可能であり、
このような場合にはランダムパターンの投光構成は省略
することが可能である。ランダムパターンの照射は計測
対象に基づいてその必要性を判断して実行すればよい。
本実施例中では、ランダムパターンを照射した構成につ
いて説明する。

【００５０】基準カメラ３０１と参照カメラ３０２は、
計測対象３００に対して異なる視線方向に配置されて、
各視線方向の画像、すなわちランダムパターンの投影さ
れた計測対象３００を撮影する。基準カメラ３０１、参
照カメラ３０２によって撮影される画像は、同期したタ
イミングで撮り込まれる。基準カメラ３０１、参照カメ
ラ３０２から撮り込まれた画像はそれぞれＡ／Ｄ変換部
を介してフレームメモリ３０３、３０４に格納される。

【００５１】画像間対応付け手段３０５は、フレームメ
モリ１ａ，３０３とフレームメモリ２ａ，３０４の基準
カメラ及び参照カメラ各々の投光パターン画像間の対応
付け処理を行なう。すなわち、基準カメラ３０１の撮影
した画像の各画素に対する参照カメラ３０２の撮影した
参照画像の画素の対応付け処理を行ない、基準画像に対
する参照画像の視差データを距離画像生成手段３０７に
出力する。画像間対応付け手段３０５における画像間の
対応付け処理においては、各画像の補正値等を設定した
キャリブレーションパラメータ３０６を用いて行われ
る。

【００５２】投光パターン照射手段３１１の照射する投
光パターンは、先に説明したように非周期的なパターン
であり、各カメラによって撮影した画像の対応付けが比
較的容易に行われる。距離画像生成手段３０７は、画像
間対応付け手段３０５の生成した視差データに基づいて
距離画像を生成する。

【００５３】本発明の三次元形状計測装置では、画像間
対応付け手段３０５にテンプレートサイズ選択手段３０
５１が設けられている。これは、画像間対応付け手段３
０５において実行される画像間対応付け処理においてミ
スマッチング、すなわち対応付けの誤りを最も少なくす
る最適なテンプレートサイズを選択する手段である。画
像間対応付け手段３０５における画像間対応付け処理
は、テンプレートサイズ選択手段３０５１によって選択
された最適なサイズのテンプレートに基づいて実行され
る。この詳細については、後段で説明する。

【００５４】なお、図３に示す構成の各ブロックにおけ
る処理、およびブロック間データ転送制御等は、図示し
ない制御手段によって制御され、所定のメモリ、例えば
ＲＡＭ，ＲＯＭ等の半導体メモリ、磁気ディスク、光デ
ィスク等の記憶媒体に記録された制御プログラムによっ
て制御することができる。また、図示しない入力手段に
よってユーザがコマンド、パラメータ等を入力して各制
御態様を変更することが可能である。

【００５５】図３に示す三次元形状計測装置において、
基準カメラ３０１と参照カメラ３０２の２つのカメラに
よって得られる２つの画像を用いて、画像間対応付け手
段３０５において、先に図２で説明したテンプレートマ
ッチング処理が実行される。

【００５６】本発明の画像間対応付け手段３０５におけ
るテンプレートマッチング処理は、上述したようにテン
プレートサイズ選択手段３０５１においてテンプレート
サイズを自動的に変更選択して、最も画像間対応付け処
理に適したテンプレートサイズを用いてマッチング処理
を実行する。

【００５７】従来のテンプレートマッチング処理は、画
像間対応付けに用いるテンプレートのサイズが固定され
た一定サイズであり、先に説明したように、基準カメラ
で撮影した画像のテンプレート領域に含まれるシーンの
特徴と似たような画像が参照カメラの検索範囲であるエ
ピポーラライン上にいくつも存在する事態が発生する。
このような場合には、画像の対応付けが困難となる。投
光パターンの密度、形状、あるいは計測対象に投光パタ
ーンを照射した際に発生する画像コントラストの低下な
どによってこのような対応付け困難な領域が数多く発生
することがある。

【００５８】従来の固定的なサイズのテンプレートを用
いた構成におけるマッチング処理において発生しがちな
画像間対応付けの困難な状況を図５を用いて説明する。
図５は、上述した投光用画像パターンを計測対象に投光
し、観測された２枚の画像から距離画像を求めた例を示
した図である。図５（ａ）は、ランダム点群からなる投
光用画像パターンを示す。図５（ｂ）（ｃ）は、そのパ
ターンを計測対象に投光し、それぞれカメラ１とカメラ
２（例えば、基準カメラと参照カメラ）により観測され
た画像である。

【００５９】図５（ｄ）は、結果として得られる計測対
象の距離画像である。この距離画像は、基準カメラ画像
における固定された大きさであるＮｘ×Ｎｙのテンプレ
ートウィンドウ内のパターンを用いて、参照カメラ画像
におけるエピポーラライン上の対応付け、すなわち基準
カメラ画像におけるＮｘ×Ｎｙの大きさのウィンドウ内
のパターンと同様のパターンが参照カメラ画像のエピポ
ーラライン上のどの部分に表れるかを求めることによっ
て視差データを取得し、その視差データに基づいて得ら
れる距離画像である。

【００６０】図５（ｃ）のカメラ２（参照カメラ）にお
けるエピポーライン上には、基準カメラ画像における固
定された大きさであるＮｘ×Ｎｙのテンプレートウィン
ドウ内のパターンと同様であると判定されるウィンドウ
が複数存在する。このようにエピポーラライン上に複数
の類似パターンを持つウィンドウが存在する場合、マッ
チング処理は正確に実行することができず、探索された
複数のウィンドウから予め定められた処理アルゴリズム
に従っていずれかのウィンドウを一致ウィンドウとして
選択することになる。その後、選択されたウィンドウに
従って距離が求めるられる。従って、実際の対応ウィン
ドウと異なるウィンドウ部分が対応画像であるとして選
択される可能性も多くあり、正確な距離画像が得られな
いことになる。

【００６１】本発明の画像間対応付け手段３０５は、こ
のような場合にテンプレートサイズを自動的に変更し
て、異なるサイズのテンプレートを用いて対応付け処理
を実行する。

【００６２】図６に本発明の画像間対応付け手段３０５
におけるテンプレートのサイズの自動決定、およびテン
プレートマッチング処理、並びに距離画像生成手段３０
７における距離画像生成処理の手順をまとめた処理フロ
ー例を示す。

【００６３】ステップ６０１は、カメラ１（基準カメ
ラ）によってイメージサイズＸｓｉｚｅ×Ｙｓｉｚｅの
イメージＩｍ１（ｘ，ｙ）を撮り込むステップである。
Ｉｍ１（ｘ，ｙ）は撮り込み画像を構成する画像の各座
標における二値画像データ、濃淡画像データ等の画素値
によって構成されるデータである。

【００６４】ステップ６０２は、測定ポイント（画素座
標値）およびテンプレートウィンドウサイズの初期値を
設定するステップである。測定ポイント画素（ｉ，ｊ）
を（Ｎｘ，Ｎｙ）とし、さらに、テンプレートとして用
いるウィンドウサイズは、Ｎｘ×Ｎｙ、例えば１画素×
１画素に設定される。初期値は任意の設定値としてよ
く、例えば５画素×５画素等としてもよい。

【００６５】次にステップ６０３において、カメラ１
（基準カメラ）の撮り込み画像における画像の座標値
（ｉ，ｊ）を中心として、テンプレートＴｍ（ｉ，ｊ）
を設定する。ｍは初期値１とし、ｍ＝１〜ｎで順次大き
さの異なるテンプレートとして設定可能なテンプレート
を示す。初期設定時のテンプレートウィンドウサイズ
は、ステップ６０２で設定した初期値、Ｎｘ×Ｎｙ、例
えば１画素×１画素である。すなわち、Ｔ１（ｉ，ｊ）
は一例として１画素×１画素に設定される。テンプレー
トＴｍ（ｉ，ｊ）はｍ（ｍ＝１〜ｎ）番目の大きさのテ
ンプレートウィンドウ画像の二値画像、濃淡画像データ
等の画素値によって構成される画像データである。

【００６６】次にステップ６０４において、ステップ６
０３で設定した座標値（ｉ，ｊ）を中心として設定され
たテンプレートＴｍ（ｉ，ｊ）の特徴量γｍを計算す
る。特徴量γｍは、テンプレートウィンドウ内の画像が
距離画像を生成するための画像として適正であるか否
か、すなわち画像が十分なランダム性を有する画像であ
るかを判定する指標値である。初期設定時のテンプレー
トウィンドウサイズのテンプレートＴ１（ｉ，ｊ）の特
徴量はγ１として求められる。特徴量γｍは、例えば、
以下の式に基づいて求められる変化率が使用可能であ
る。

【００６７】

【数２】

【００６８】なお、上記式においてＡは、正規化係数で
ある。ｘｍ，ｙｍは、ｘ座標値：ｘｍ＝Ｎｘ／２、ｙ座
標値：ｙｍ＝Ｎｙ／２として設定される座標値であり、
ｆ（ｘｍ，ｙｍ）は座標（ｘｍ，ｙｍ）における画素値
（例えば濃度値）を示す。上記式において、特徴量γｍ
は生成された画像が濃淡値変化が激しい場合、値が大き
くなり、濃淡変化が少ない場合、値が低下する。すなわ
ち、特徴量γｍは距離画像生成のためのマッチングプレ
ートとして適正であるか否かを判定する適性度指標値で
ある。

【００６９】次に、ステップ６０５において、特徴量γ
ｍと、予め定めた閾値との比較処理が行なわれ、特徴量
γｍが閾値より大であれば、距離画像の生成に適した十
分なランダム性を有する画像（テンプレート）であると
判定される。

【００７０】ステップ６０５において、特徴量γｍが閾
値より大でないと判定されると、そのテンプレートウィ
ンドウの画像パターンは距離画像の生成に適した十分な
ランダム性を有するものでないと判定され、ステップ６
０９に進み、テンプレートウィンドウサイズの更新処理
が実行される。

【００７１】ステップ６０９のテンプレートウィンドウ
サイズの更新処理は、テンプレートウィンドウサイズを
ｘ軸、ｙ軸において、１画素づつ大きくする処理として
実行される。例えばテンプレートウィンドウサイズの初
期設定値が１画素×１画素であれば、２画素×２画素に
テンプレートの大きさが変更される。すなわち、初期設
定テンプレートＴ１（ｉ，ｊ）が１画素×１画素であれ
ば、更新処理によって得られる次のテンプレートＴ２
（ｉ，ｊ）が２画素×２画素として設定される。なお、
この図６で示す処理フローは一例であり、更新処理にお
いては例えば２画素づつ大きくしたり、その他の間隔で
変更する構成としてもよい

【００７２】ステップ６０９におけるテンプレートウィ
ンドウサイズの更新処理によって変更された画像（テン
プレート）について、さらにステップ６０４で特徴量γ
ｍ（ｍ＝２）が計算され、さらにステップ６０５におけ
る閾値との比較処理が実行される。

【００７３】このステップ６０４，６０５，６０９の処
理は、新たに設定されたテンプレートによって得られる
画像から求められる特徴量γｍが閾値より大となるまで
繰り返し実行される。

【００７４】ステップ６０５における特徴量γｍと閾値
との比較処理において、特徴量γｍが閾値より大である
と判定されると、ステップ６０６に進み、テンプレート
Ｔｍ（ｉ，ｊ）を用いてカメラ２（参照カメラ）によっ
て撮り込まれた画像（ステップ６１１参照）を用いて、
画像カメラＩｍ２（ｘ，ｙ）のエピポーラライン上での
マッチング画像の探索処理を実行する。さらに、探索処
理の結果一致する画像パターンを対応画像として選択
し、前述したように三角測量の原理に従って距離を求め
る。

【００７５】次に、ステップ６０７において、カメラ１
（基準カメラ）で撮り込まれた画像の全画素についての
距離算出が終了したか否かを判定し、まだ算出していな
い画素がある場合は、ステップ６１０において、画素の
更新を実行して、ステップ６０３以降の処理を繰り返し
実行する。これらの処理を画像内のすべての画素につい
て終了すると、ステップ６０７の判定がＹｅｓとなり、
ステップ６０８で距離画像の計算を終了する。

【００７６】図７は、カメラ１によって撮り込まれた画
像から設定される異なる大きさを持つテンプレートウィ
ンドウの例を示した図である。図７の左に示す画像がカ
メラ１（基準カメラ）の撮り込み画像、すなわち基準画
像であり、図７の右側に示す３つの画像が３種類の大き
さの異なるテンプレートＴｍ（ｉ，ｊ）である。例えば
初期設定のテンプレートＴ１（ｉ，ｊ）が図７右側の上
段のテンプレートであり、中段がテンプレートＴ２
（ｉ，ｊ）、下段が、テンプレートＴ３（ｉ，ｊ）であ
る。このように本発明の三次元形状計測装置における画
像間対応付け手段３０５において実行されるマッチング
処理において使用されるテンプレートは、そのテンプレ
ートウィンドウの持つ特徴量γが予め定められた閾値と
比較され、閾値より大となる特徴量γを有する大きさの
テンプレートとなるまで拡大処理が実行される。

【００７７】マッチング処理に適用されるテンプレート
は特徴量γが予め定められた閾値より大であることが保
証されたものであり、距離画像の生成に適した十分なラ
ンダム性を有するパターン画像であることが保証された
ものとなる。従って参照画像のエピポーラライン上に同
じパターンを有する画像領域が複数個表れる可能性は減
少することになり、唯一の一致するパターン画像をエピ
ポーラライン上で選択することが容易となり、マッチン
グ処理における曖昧さが低減される。

【００７８】図８に本発明の三次元形状計測装置におい
て、テンプレートサイズを変更、すなわち拡大して閾値
以上の特徴量を持つテンプレートを用いて距離画像を生
成した例を示す。

【００７９】図８は、先に説明した図５と同様の対応で
示す図であり、投光用画像パターンを計測対象に投光
し、観測された２枚の画像から距離画像を求めた例を示
した図である。図８（ａ）は、ランダム点群からなる投
光用画像パターンを示す。図８（ｂ）（ｃ）は、そのパ
ターンを計測対象に投光し、それぞれカメラ１とカメラ
２（例えば、基準カメラと参照カメラ）により観測され
た画像である。

【００８０】図８（ｄ）は、結果として得られる計測対
象の距離画像である。この距離画像は、基準カメラ画像
における拡大された大きさを持つＮｘ×Ｎｙのテンプレ
ートウィンドウ内のパターンを用いて、参照カメラ画像
におけるエピポーラライン上の対応付け、すなわち基準
カメラ画像における拡大されたテンプレートサイズ：Ｎ
ｘ×Ｎｙの大きさのウィンドウ内のパターンと同様のパ
ターンが参照カメラ画像のエピポーラライン上のどの部
分に表れるかを求めることによって視差データを取得
し、その視差データに基づいて得られる距離画像であ
る。

【００８１】図８（ｃ）のカメラ２（参照カメラ）にお
けるエピポーライン上には、基準カメラ画像における拡
大されたテンプレートサイズ：Ｎｘ×Ｎｙのテンプレー
トウィンドウ内のパターンと同様であると判定されるウ
ィンドウが唯一探索される。

【００８２】本発明の構成における三次元形状計測装置
なおいて設定されるテンプレートウィンドウは、その特
徴量が予め定めた閾値より大であることが保証されたウ
ィンドウであり、参照カメラ画像に設定されるエピポー
ラライン上に複数の類似パターンが表れる可能性は低減
される。

【００８３】従って、２つの画像間のマッチング処理が
正確に実行することが可能となり、正確な距離画像が得
られる。すなわち、図８（ｄ）に示すエラー領域の少な
い正確な距離画像を得ることが容易になる。

【００８４】なお、上述の図６において説明した特徴量
γは、距離画像を生成するための画像として適正である
か否か、すなわち画像が十分なランダム性を有する画像
であるかを判定する指標値であり、上述の実施例では、
［数２］によって求められる変化率を用いた例について
説明したが、本発明の三次元形状計測装置においては、
［数２］で求められる変化率以外にも、例えば以下に説
明する様々な指標値を用いることも可能である。

【００８５】［特徴行列Ｒを用いる例］テンプレートウ
ィンドウの位置を設定する座標ｘｍ，ｙｍを設定する。
これらの座標は、ｘ座標値：ｘｍ＝Ｎｘ／２、ｙ座標
値：ｙｍ＝Ｎｙ／２として設定する。次に、（ｘｍ，ｙ
ｍ）によって定義されるテンプレートウィンドウ内の画
像の特徴行列Ｒを以下の式に従って求める。

【００８６】

【数３】

【００８７】上記式において、ｆ（ｘ，ｙ）は座標
（ｘ，ｙ）における画素値（例えば濃度値）を示す。上
記式において求めた特徴行列Ｒの固有値：λｍ１、λｍ
２を求め、（ｘｍ，ｙｍ）によって定義されるテンプレ
ートウィンドウの特徴行列Ｒの固有値：λｍ１、λｍ２
から求められる指標値としての特徴量：λ＝ｍｉｎ（λ
ｍ１，λｍ２）と予め定めた閾値λＴとの比較を実行し
て、特徴量：λが閾値λＴより大であれば、そのテンプ
レートウィンドウは十分なランダム性を有する画像であ
ると判定する。上記式から求められるλ＝ｍｉｎ（λｍ
１，λｍ２）は生成された画像が濃淡変化が大きい場
合、値が大きくなり、濃淡変化が少ない場合に低下する
値である。

【００８８】上記式を用いて得られる特徴量：λが閾値
λＴより大でない場合は、そのテンプレートウィンドウ
は十分なランダム性を有する画像でないと判定し、テン
プレートの大きさを変更して、大きさを変更したテンプ
レートウィンドウの特徴行列Ｒの固有値：λｍ１、λｍ
２を求め、閾値λＴとの比較処理を繰り返す。

【００８９】［分散σを用いる例］テンプレートウィン
ドウの位置を設定する座標ｘｍ，ｙｍを設定する。これ
らの座標は、ｘ座標値：ｘｍ＝Ｎｘ／２、ｙ座標値：ｙ
ｍ＝Ｎｙ／２として設定する。次に、（ｘｍ，ｙｍ）に
よって定義されるテンプレートウィンドウ内の画像の分
散値σｍを以下の式に従って求める。

【００９０】

【数４】

【００９１】上記式において、ｆ（ｘ，ｙ）は座標
（ｘ，ｙ）における画素値（例えば濃度値）を示す。上
記式において求めた指標値としての分散値σｍと予め定
めた閾値σＴとの比較を実行して、分散値σｍが閾値σ
Ｔより大であれば、そのウィンドウは十分なランダム性
を有する濃淡画像であると判定する。上記式から求めら
れる分散値σｍは生成された画像が濃淡変化が大きい場
合、値が大きくなり、濃淡変化が少ない場合に低下する
値である。

【００９２】上記式を用いて得られる特徴量である分散
値σｍが閾値σＴより大でない場合は、そのテンプレー
トウィンドウは十分なランダム性を有する画像でないと
判定し、テンプレートの大きさを変更して、大きさを変
更したテンプレートウィンドウの分散値σｍを求めて閾
値σＴとの比較処理を繰り返す。

【００９３】このように、各種の指標値を用いてテンプ
レートウィンドウ画像の評価が可能である。テンプレー
トウィンドウの画像評価は、図３に示す画像間対応付け
手段３０５における画像間対応付け処理においてマッチ
ングエラーが発生しないテンプレートサイズを選択する
ことを目的とするものであり、基準カメラ３０１から撮
り込まれた画像において設定されたテンプレートの特徴
を上述の各種の方法で評価することで、テンプレートウ
ィンドウ画像に判別可能な特徴的な構成を見出せるか否
かを判定するものである。

【００９４】上述したように、本発明の三次元形状計測
装置および三次元形状計測方法は、距離画像生成におけ
る画像間対応付け処理に適用するテンプレートのサイズ
を可変とするとともに、テンプレートウィンドウ画像を
評価して、最適なサイズのテンプレートを選択する構成
としたので、対応付け困難な類似パターンが対応画像探
索範囲中に複数発生する可能性が低減され、画像間対応
付け処理が正確に実行され高精度な距離画像が得られ
る。

【００９５】また、非周期パターン（ランダムパター
ン）を照射して計測対象の像を撮影する場合、ランダム
パターンによっては、計測対象のオリジナルパターンと
の合成により部分的に周期的なパターンが撮影されてし
まうことが発生するが、本発明の三次元形状計測装置お
よび三次元形状計測方法によれば、このような場合にお
いても、テンプレートウィンドウ画像を評価してテンプ
レートサイズを変更することにより、撮像画像の周期性
を消滅または低減させることができるので、照射するラ
ンダムパターンに対する制限、依存性がなくなる。

【００９６】次に、本発明の三次元形状計測装置におい
て実行される最適テンプレートサイズ選択処理を伴う距
離画像生成処理によって生成される距離画像と、従来の
固定サイズテンプレートによって生成される距離画像と
における差異を具体的な処理例を示して説明する。

【００９７】図９に本発明の三次元形状計測装置を用い
た距離画像の生成手法を説明する図を示す。図９（ａ）
は、上述したランダムパターンからなる投光用画像パタ
ーンを示す。図９（ｂ）は、そのパターンを計測対象で
ある顔に投光した模式図である。

【００９８】図９（ｃ）（ｄ）は、計測対象である顔に
投光用画像パターン投光し、それぞれ基準カメラと参照
カメラにより観測された画像である。

【００９９】図９（ｅ）は、結果として得られる計測対
象である顔の距離画像であり、濃淡によって距離の差異
を示す画像である。この距離画像は、説明のために抽象
的に示す概念図であり、実際のものとは異なるが本発明
のテンプレートウィンドウ画像評価処理、およびテンプ
レートサイズ選択処理を経て選択されたマッチング処理
に適する特徴量を持つテンプレートを用いて生成される
は距離画像を示している。

【０１００】本発明のテンプレートウィンドウ画像評価
処理を実行して選択されたテンプレートによって画像間
対応付け処理を実行した場合は、対応点付け処理におい
てミスマッチングの発生可能性が低減され、計測対象の
ほぼ全ての面で正確な距離が求められる。すなわち基準
カメラから計測対象である顔の各部位までの距離に応じ
た濃淡が示される精度の高い距離画像が得られる。本発
明のランダムパターン生成方法を用いることにより、計
測対象が人の顔のような特徴がはっきりしない対象であ
っても、基準カメラ画像と参照カメラ画像との対応点付
け処理においてミスマッチングが発生する可能性が低減
され、距離画像（または３次元形状）を高精度に生成す
ることができる。

【０１０１】図１０は、従来の固定サイズのテンプレー
トを用いて生成した距離画像と、本発明のテンプレート
画像評価処理、最適テンプレートサイズ選択を実行して
最適なテンプレートサイズを用いて画像間対応付け処理
を実行した場合の距離画像を模式的に示した図である。

【０１０２】図１０（ａ）（ｂ）は、計測対象である顔
に投光用画像パターン投光し、それぞれ基準カメラと参
照カメラにより観測された画像である。

【０１０３】図１０中央には、複数の異なるサイズのテ
ンプレートが示されている。従来は、固定サイズの１つ
のテンプレートを用いて画像間対応付け処理を実行して
おり、特徴の少ない画像においては、先に図５で説明し
たように参照カメラによる撮り込み画像中の対応画像探
索範囲であるエピポーラライン上に複数の類似するパタ
ーンが発生する場合がある。このような場合、画像間対
応付け手段は誤って対応画像を選択する可能性がある。
これが、いわゆる距離画像生成におけるマッチングミス
であり、結果として得られる距離画像、すなわち図１０
（ｃ）には、本来ほぼ同一距離にある部分に異なる濃
度、すなわち異なる距離データが示される。このように
明らかに誤った距離データが含まれる距離画像が生成さ
れる可能性がある。

【０１０４】一方、本発明の三次元形状計測装置におい
ては、図３に示す画像間対応付け手段３０５におけるテ
ンプレートサイズ選択手段３０５１において、基準カメ
ラ３０１によって撮り込まれた画像においてテンプレー
トを設定する際に、テンプレートウィンドウの画像の評
価を実行し、その画像が対応付け処理を行なうに十分な
特徴を有するか否かを判定する。具体的には、例えば画
像の変化率、画像に基づいて求められる特徴行列Ｒの固
有値、あるいは画像に基づいて求められる分散値を算出
し、これを予め定めた閾値と比較して十分な特徴を有す
ると判定されたテンプレートサイズを選択して、選択さ
れたサイズのテンプレートに基づいて画像間対応付け手
段３０５において基準カメラ画像と、参照カメラ画像の
対応付け処理を実行する。

【０１０５】例えば図１０の中央に示すように、複数種
のテンプレートウィンドウ画像の評価を例えば図６に示
すフローに従って実行し、特徴量が十分であるテンプレ
ートによって対応付け処理を実行する。このようにテン
プレートサイズの評価、選択処理を実行することによ
り、先に図８で説明したように、参照カメラによる撮り
込み画像中の対応画像探索範囲であるエピポーラライン
上に複数の類似するパターンが発生する可能性が低減さ
れ、正確な画像間対応付け処理が実行される。

【０１０６】その結果として得られる距離画像は、例え
ば図１０（ｄ）に示すように誤った距離データを含まな
い正確な距離画像となる。

【０１０７】なお、図９，１０ではランダム投光パター
ンを計測対象である顔に照射して距離画像を生成する例
について示したが、先にも延べた通り、ランダム投光パ
ターンを用いない場合、例えば太陽光、蛍光灯、白熱
灯、フラッシュ等のみのいわゆる自然光、環境光のみに
よる撮影画像においても、本発明のテンプレートウィン
ドウ画像評価、およびテンプレートサイズ選択処理によ
り、画像間対応付け処理におけるミスマッチングは低減
される。

【０１０８】なお、上述の実施例では、画像撮り込みを
行なうカメラを２台として、２つの投光パターン画像か
ら距離画像を求める構成について説明したが、さらに３
台以上のカメラを用いたマルチベースラインステレオシ
ステムにおいて本発明を適用することも可能である。

【０１０９】以上、特定の実施例を参照しながら、本発
明について詳解してきた。しかしながら、本発明の要旨
を逸脱しない範囲で当業者が該実施例の修正や代用を成
し得ることは自明である。すなわち、例示という形態で
本発明を開示してきたのであり、限定的に解釈されるべ
きではない。また、上述の実施例を適宜組み合わせて構
成したものも、本発明の範囲に含まれるものであり、本
発明の要旨を判断するためには、冒頭に記載した特許請
求の範囲の欄を参酌すべきである。

【０１１０】

【発明の効果】以上詳記したように、本発明によれば、
距離画像生成における画像間対応付け処理に適用するテ
ンプレートのサイズを可変とし、テンプレートウィンド
ウ画像を評価して、最適なサイズのテンプレートを選択
する構成としたので、画像間対応付け処理が正確に実行
可能となり、高精度な距離画像が得られる。

【０１１１】また、本発明の三次元形状計測装置および
三次元形状計測方法によれば、テンプレートウィンドウ
画像を評価において、画像の変化率、画像に基づいて求
められる特徴行列Ｒの固有値、あるいは画像に基づいて
求められる分散値を算出し、これを予め定めた閾値と比
較して十分な特徴を有すると判定されたテンプレートサ
イズを選択して、選択されたサイズのテンプレートに基
づいて画像間対応付けを実行する構成としたので、画像
間対応付けにおいて、対応付け困難な類似パターンが対
応画像探索範囲中に複数発生する可能性が低減され、正
確な距離画像を得ることが可能となる。

【０１１２】また、本発明の三次元形状計測装置および
三次元形状計測方法によれば、非周期パターン（ランダ
ムパターン）を照射して計測対象の像を撮影時に、ラン
ダムパターンと計測対象のオリジナルパターンとの合成
により部分的に周期的なパターンが形成されてしまうよ
うな場合であっても、テンプレートウィンドウ画像を評
価し、テンプレートサイズを変更することにより、撮像
画像の周期性を消滅または低減させることができるの
で、照射するランダムパターンに対する依存性、すなわ
ち適用する照射パターンの制限が排除される。

【図面の簡単な説明】

【図１】本発明において使用される三次元情報取得構成
として適用可能なステレオ画像法について説明した図で
ある。

【図２】距離画像生成において行われる画像間対応付け
処理について説明する図である。

【図３】本発明の三次元形状計測装置の構成を示す図で
ある。

【図４】本発明の三次元形状計測装置において適用され
る投光パターンの例を示す図である。

【図５】画像間対応付け処理において、参照画像中に複
数の対応画像が観測される例を説明する図である。

【図６】本発明の三次元形状計測装置におけるテンプレ
ートの評価、テンプレートサイズの選択処理について説
明するフローチャートを示す図である。

【図７】本発明の三次元形状計測装置において適用され
る複数のテンプレートについて説明する図である。

【図８】本発明の三次元形状計測装置における画像間対
応付け処理の例を説明する図である。

【図９】本発明の三次元形状計測装置において生成した
距離画像例を示す図である。

【図１０】本発明の三次元形状計測装置において最適テ
ンプレートサイズを適用して生成した距離画像と、従来
の固定テンプレートによる距離画像を模式的に比較した
図である。

【符号の説明】

３０１ 基準カメラ ３０２ 参照カメラ ３０３，３０４ フレームメモリ ３０５ 画像間対応付け手段 ３０５１ テンプレートサイズ選択手段 ３０６ キャリブレーションパラメータ ３０７ 距離画像生成手段 ３１１ 投光パターン照射手段 ３１２ 投光パターン生成手段

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） // Ｈ０４Ｎ 13/02 Ｇ０６Ｆ 15/62 ４１５ Ｆターム(参考） 2F065 AA53 EE00 FF05 HH01 JJ03 JJ05 JJ26 LL25 QQ03 QQ04 QQ13 QQ21 QQ24 QQ25 QQ36 QQ39 QQ41 QQ42 2F112 AC06 CA08 FA03 FA07 FA08 FA21 FA36 FA38 FA39 FA41 FA45 5B057 BA02 BA26 CD05 CD14 DA07 DA20 DB03 DC09 DC33 5C061 AA29 AB04 AB08

Claims (15)

【特許請求の範囲】
1. 【請求項１】計測対象を異なる方向から撮影した画像を
   用いて前記計測対象の三次元形状を計測し、距離画像を
   生成する三次元形状計測装置において、 前記計測対象の基準画像を撮り込む基準カメラと、 前記基準カメラと異なる方向から前記計測対象画像の参
   照画像を撮り込む参照カメラと、 前記基準カメラによって撮り込まれた基準画像と、前記
   参照カメラによって撮り込まれた参照画像との画像間対
   応付け処理に適用するテンプレートサイズを、テンプレ
   ートによって規定されるウィンドウに含まれる基準画像
   の評価処理により選択するテンプレートサイズ選択手段
   と、 前記テンプレートサイズ選択手段において選択されたサ
   イズのテンプレートを適用して前記基準画像と前記参照
   画像との画像間対応付け処理を実行する画像間対応付け
   手段と、 前記画像間対応付け手段における画像間対応付け処理結
   果に基づいて距離画像を生成する距離画像生成手段と、 を有することを特徴とする三次元形状計測装置。
2. 【請求項２】前記テンプレートサイズ選択手段において
   実行する画像の評価処理は、テンプレートによって規定
   されるウィンドウに含まれる基準画像の特徴量を算出
   し、算出した特徴量を予め定めた閾値と比較することに
   より、画像間対応付け処理に適したテンプレートサイズ
   であるか否かを判定する処理であることを特徴とする請
   求項１に記載の三次元形状計測装置。
3. 【請求項３】前記テンプレートサイズ選択手段において
   実行する画像の評価処理は、 異なるテンプレートサイズを順次、基準画像に適用して
   各テンプレートサイズにおける特徴量を繰り返し評価す
   る処理であることを特徴とする請求項２に記載の三次元
   形状計測装置。
4. 【請求項４】前記特徴量は、 テンプレートによって規定されるウィンドウに含まれる
   基準画像の画素値に基づく変化率であることを特徴とす
   る請求項２に記載の三次元形状計測装置。
5. 【請求項５】前記特徴量は、 テンプレートによって規定されるウィンドウに含まれる
   基準画像の画素値に基づく特徴行列の固有値に基づいて
   求められる特徴量であることを特徴とする請求項２に記
   載の三次元形状計測装置。
6. 【請求項６】前記特徴量は、 テンプレートによって規定されるウィンドウに含まれる
   基準画像の画素値に基づいて算出される分散値であるこ
   とを特徴とする請求項２に記載の三次元形状計測装置。
7. 【請求項７】前記三次元形状計測装置は、さらに、 計測対象に対して非周期パターンを投光照射するランダ
   ムパターン投光手段を有し、 前記基準カメラと、前記参照カメラはランダムパターン
   投光手段から非周期パターンを照射された像を撮り込む
   構成であることを特徴とする請求項１に記載の三次元形
   状計測装置。
8. 【請求項８】計測対象を異なる方向から撮影した画像を
   用いて前記計測対象の三次元形状を計測し、距離画像を
   生成する三次元形状計測方法において、 前記計測対象の基準画像を基準カメラによって撮り込む
   基準画像撮り込みステップと、 前記基準カメラと異なる方向から前記計測対象画像の参
   照画像を参照カメラによって撮り込む参照画像撮り込み
   ステップと、 前記基準カメラによって撮り込まれた基準画像と、前記
   参照カメラによって撮り込まれた参照画像との画像間対
   応付け処理に適用するテンプレートサイズを、テンプレ
   ートによって規定されるウィンドウに含まれる基準画像
   の評価処理により選択するテンプレートサイズ選択ステ
   ップと、 前記テンプレートサイズ選択ステップにおいて選択され
   たサイズのテンプレートを適用して前記基準画像と前記
   参照画像との画像間対応付け処理を実行する画像間対応
   付けステップと、 前記画像間対応付けステップにおける画像間対応付け処
   理結果に基づいて距離画像を生成する距離画像生成ステ
   ップと、 を有することを特徴とする三次元形状計測方法。
9. 【請求項９】前記テンプレートサイズ選択ステップにお
   いて実行される前記評価処理は、 テンプレートによって規定されるウィンドウに含まれる
   基準画像の特徴量を算出する特徴量算出ステップと、 前記特徴量算出ステップにおいて算出した特徴量を予め
   定めた閾値と比較して画像間対応付け処理に適したテン
   プレートサイズであるか否かを判定する判定ステップ
   と、 を含む処理であることを特徴とする請求項８に記載の三
   次元形状計測方法。
10. 【請求項１０】前記テンプレートサイズ選択ステップに
    おいて実行する前記評価処理は、 異なるテンプレートサイズを順次、基準画像に適用して
    各テンプレートサイズにおける特徴量を繰り返し評価す
    る処理として実行することを特徴とする請求項９に記載
    の三次元形状計測方法。
11. 【請求項１１】前記特徴量は、 テンプレートによって規定されるウィンドウに含まれる
    基準画像の画素値に基づく変化率であることを特徴とす
    る請求項９に記載の三次元形状計測方法。
12. 【請求項１２】前記特徴量は、 テンプレートによって規定されるウィンドウに含まれる
    基準画像の画素値に基づく特徴行列の固有値に基づいて
    求められる特徴量であることを特徴とする請求項９に記
    載の三次元形状計測方法。
13. 【請求項１３】前記特徴量は、 テンプレートによって規定されるウィンドウに含まれる
    基準画像の画素値に基づいて算出される分散値であるこ
    とを特徴とする請求項９に記載の三次元形状計測方法。
14. 【請求項１４】前記三次元形状計測方法において、さら
    に、 計測対象に対して非周期パターンを投光照射するランダ
    ムパターン投光ステップを有し、 前記基準カメラと、前記参照カメラは非周期パターンを
    照射された像を撮り込むことを特徴とする請求項８に記
    載の三次元形状計測方法。
15. 【請求項１５】計測対象を異なる方向から撮影した画像
    を用いて前記計測対象の三次元形状を計測し、距離画像
    を生成する三次元形状計測処理をコンピュータ・システ
    ム上で実行せしめるコンピュータ・プログラムを提供す
    るプログラム提供媒体であって、前記コンピュータ・プ
    ログラムは、 前記計測対象の基準画像を基準カメラによって撮り込む
    基準画像撮り込みステップと、 前記基準カメラと異なる方向から前記計測対象画像の参
    照画像を参照カメラによって撮り込む参照画像撮り込み
    ステップと、 前記基準カメラによって撮り込まれた基準画像と、前記
    参照カメラによって撮り込まれた参照画像との画像間対
    応付け処理に適用するテンプレートサイズを、テンプレ
    ートによって規定されるウィンドウに含まれる基準画像
    の評価処理により選択するテンプレートサイズ選択ステ
    ップと、 前記テンプレートサイズ選択ステップにおいて選択され
    たサイズのテンプレートを適用して前記基準画像と、前
    記参照画像との画像間対応付け処理を実行する画像間対
    応付けステップと、 前記画像間対応付けステップにおける画像間対応付け処
    理結果に基づいて距離画像を生成する距離画像生成ステ
    ップと、 を有することを特徴とするプログラム提供媒体。