JP2001208522A - 距離画像生成装置および距離画像生成方法、並びにプログラム提供媒体 - Google Patents

Abstract

(57)【要約】 【課題】 ステレオ法による距離画像生成におけるオク
ルージョン領域の判別を可能として高精度な距離画像を
生成可能とする。 【解決手段】 計測対象に対して異なる視線方向に配置
したカメラの撮り込み画像の対応付け処理により距離デ
ータを求めるステレオ法において、カメラ２側に配置し
た投光手段の照射画像をカメラ１（基準カメラ）で撮り
込む。この投光パターン照射画像、あるいは投光パター
ン照射画像と投光パターン非照射画像に基づいて照射領
域を求め、これを可測領域として識別する。画像間対応
付け、距離画像生成は可測領域について実行されオクル
ージョン領域における誤った距離データが距離画像に含
まれず高精度な距離画像が得られる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、物体の三次元形状
を求め、距離画像を生成する距離画像生成装置および距
離画像生成方法、並びにプログラム提供媒体に関する。
特に三次元空間上で、ある距離範囲に存在する物体を複
数の異なる位置から撮影した画像を用いて被写体表面の
三次元形状を計測して距離画像を生成するステレオ画像
法において好適な距離画像生成装置および距離画像生成
方法、並びにプログラム提供媒体に関する。

【０００２】

【従来の技術】物体の三次元形状を求める従来手法とし
て、大きく分けて能動的手法（アクティブ手法）と受動
的手法（パッシブ手法）がある。能動的手法としては、
光を投射して、その光が反射して帰ってくるまでの時間
を測定することで各計測対象物体までの距離を求める方
法や、計測対象にスリット状のパターン光をあてて計測
対象に投影されたパターン光の形状を調べることによっ
て三次元形状を計測する光切断法といった方法がある。

【０００３】また、受動的手法として代表的なものは、
三角測量の原理を利用したステレオ法であり、これは２
台以上のカメラを使って、その画像間での各画素の対応
点を見つけることで、その位置関係（視差）を求め、計
測対象までの距離を計測する方法である。

【０００４】ステレオ法について、その原理を簡単に説
明する。ステレオ法は複数のカメラを用いて２つ以上の
視点（異なる視線方向）から同一対象物を撮影して得ら
れる複数の画像における画素同士を対応づけることで計
測対象物の三次元空間における位置を求めようとするも
のである。例えば基準カメラと検出カメラにより異なる
視点から同一対象物を撮影して、それぞれの画像内の計
測対象物の距離を三角測量の原理により測定する。

【０００５】図１は、ステレオ法の原理を説明する図で
ある。基準カメラ（Ｃａｍｅｒａ１）と検出カメラ（Ｃ
ａｍｅｒａ ２）は異なる視点から同一対象物を撮影す
る。基準カメラによって撮影された画像中の「ｍｂ」と
いうポイントの奥行きを求めることを考える。

【０００６】基準カメラによる撮影画像中のポイント
「ｍｂ」に見える物体は、異なる視点から同一物体を撮
影している検出カメラによって撮影された画像におい
て、「ｍ１」、「ｍ２」、「ｍ３」のようにある直線上
に展開されることになる。この直線をエピポーラライン
（Ｅｐｉｐｏｌａｒ ｌｉｎｅ）Ｌｐと呼ぶ。

【０００７】基準カメラにおけるポイント「ｍｂ」の位
置は、検出カメラによる画像中では「エピポーラ・ライ
ン」と呼ばれる直線上に現れる。撮像対象となる点Ｐ
（Ｐ１，Ｐ２，Ｐ３を含む直線上に存在する点）は、基
準カメラの視線上に存在する限り、奥行きすなわち基準
カメラとの距離の大小に拘らず、基準画像上では同じ観
察点「ｍｂ」に現れる。これに対し、検出カメラによる
撮影画像上における点Ｐは、エピポーラ・ライン上に基
準カメラと観察点Ｐとの距離の大小に応じた位置にあら
われる。

【０００８】図１には、エピポーラ・ラインと、検出カ
メラ画像中における観察点「ｍｂ」の対応を図解してい
る。同図に示すように、観察点Ｐの位置がＰ１，Ｐ２，
Ｐ３へと変化するに従って、検出カメラ画像中の観察点
は「ｍ１」、「ｍ２」、「ｍ３」へとシフトする。

【０００９】以上の幾何光学的性質を利用して、観察点
「ｍｂ」をエピポーラ・ライン上で探索することによ
り、点Ｐの距離を同定することができる。これが「ステ
レオ画像法」の基本的原理である。このような方法で画
面上のすべての画素についての三次元情報を取得する。
取得した三次元情報は画素ごとに対応した画素属性デー
タとして使用することが可能となる。

【００１０】上述のステレオ画像法は１台の基準カメラ
と１台の検出カメラとを用いた構成としたが、検出カメ
ラを複数用いたマルチベースラインステレオ（Ｍｕｌｔ
ｉＢａｓｅｌｉｎｅ Ｓｔｅｒｅｏ）法によって評価値
を求めて、該評価値に基づいて画素ごとの三次元情報を
取得するように構成してもよい。マルチベースラインス
テレオ画像法は、１つの基準カメラと複数の検出カメラ
によって撮影される画像を用い、複数の検出カメラ画像
それぞれについて基準カメラ画像との相関を表す評価値
を求め、それぞれの評価値を加算し、その加算値を最終
的な評価値とするものである。このマルチベースライン
ステレオ画像法の詳細は、例えば「複数の基線長を利用
したステレオマッチング」、電子情報通信学会論文誌Ｄ
−１１Ｖｏｌ．Ｊ７５−Ｄ−ＩＩ Ｎｏ．８ ｐｐ．１
３１７−１３２７ １９９２年８月、に記載されてい
る。

【００１１】上述のように、ステレオ法は、複数のカメ
ラを用いて２つ以上の視点（異なる視線方向）から同一
対象物を撮影して得られる複数の画像における画素同士
を対応づけること、すなわち「対応点付け（マッチン
グ）」を実施することで計測対象物の三次元空間におけ
る位置を求めようとするものである。

【００１２】従来から、よく使われている「対応点付
け」の手法は、Ｐｉｘｅｌ−ｂａｓｅｄマッチング、Ａ
ｒｅａ−ｂａｓｅｄマッチングとＦｅａｔｕｒｅ−ｂａ
ｓｅｄマッチングに大別される。Ｐｉｘｅｌ−ｂａｓｅ
ｄマッチングとは、一方の画像における点の対応を、他
方の画像でそのまま探索する方法である（Ｃ．Ｌａｗｒ
ｅｎｃｅ Ｚｉｔｎｉｃｋ ａｎｄ Ｊｏｎ Ａ． Ｗ
ｅｂｂ： Ｍｕｌｔｉ−ｂａｓｅｌｉｎｅ Ｓｔｅｒｅ
ｏ Ｕｓｉｎｇ Ｓｕｒｆａｃｅ Ｅｘｔｒａｃｔｉｏ
ｎ， Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ， ＣＭＵ−
ＣＳ−９６−１９６， （１９９６）参照）。

【００１３】Ａｒｅａ−ｂａｓｅｄマッチングとは、一
方の画像における点の対応を、他方の画像で探す時、そ
の点の周りの局所的な画像パターンを用いて探索する方
法である（奥富、金出： 複数の基線長を利用したステ
レオマッチング、電子情報通信学会論文誌Ｄ−ＩＩ、Ｖ
ｏｌ．Ｊ７５−Ｄ−ＩＩ， Ｎｏ．８， ｐｐ．１３１
７−１３２７， （１９９２）、横山、三輪、芦ヶ原、
小柳津、林、後： Ｓｔｅｒｅｏ Ｃａｍｅｒａ Ｓｙ
ｓｔｅｍ ａｎｄ Ｉｔｓ Ａｐｐｌｉｃａｔｉｏｎ、
ＳＲＦ’９７、（１９９７）、金出、木村： ビデオ
レート・ステレオマシン、日本ロボット学会誌、Ｖｏ
ｌ．１３， Ｎｏ．３， ｐｐ．３２２〜３２６，
（１９９５）、金出、蚊野、木村、川村、吉田、織田：
ビデオレートステレオマシンの開発、日本ロボット学
会誌、Ｖｏｌ．１５， Ｎｏ．２，ｐｐ．２６１〜２６
７， （１９９７）、山口、高地、井口： 適応ウィン
ドウ法を用いた石像計測のためのステレオ対応付け、人
文科学とコンピュータ、Ｖｏｌ．３２， Ｎｏ．１０，
ｐｐ．５５〜６０， （１９９６）、横矢： 最近の
信号処理総合特集号 コンピュータビジョンの最近の話
題、システム／制御／情報、Ｖｏｌ．３８， Ｎｏ．
８， ｐｐ．４３６〜４４１， （１９９４）参照）。

【００１４】Ｆｅａｔｕｒｅ−ｂａｓｅｄマッチングと
は、画像から濃淡エッジなどの特徴を抽出し、画像間の
特徴だけを用いて対応付けを行う方法である（Ｈ．Ｈ．
Ｂａｋｅｒ ａｎｄ Ｔ．Ｏ．Ｂｉｎｆｏｒｄ： Ｄｅ
ｐｔｈ ｆｒｏｍ ｅｄｇｅａｎｄ ｉｎｔｅｎｓｉｔ
ｙ ｂａｓｅｄ ｓｔｅｒｅｏ， Ｉｎ Ｐｒｏｃ．
ＩＪＣＡＩ’８１， （１９８１）、石山、角保、河
井、植芝、富田： セグメントベーストステレオにおけ
る対応候補探索、信学技報、Ｖｏｌ．９６，Ｎｏ．１３
６， （１９９７）、Ｗ．Ｅ．Ｌ．Ｇｒｉｍｓｏｎ：
Ｃｏｍｐｕｔａｔｉｏｎａｌ ｅｘｐｅｒｉｍｅｎｔｓ
ｗｉｔｈ ａ ｆｅａｔｕｒｅ ｂａｓｅｄ ｓｔｅ
ｒｅｏ ａｌｇｏｒｉｔｈｍ， ＩＥＥＥ Ｔｒａｎ
ｓ． ＰＡＭＩ， Ｖｏｌ．７， Ｎｏ．１， ｐｐ．
１７〜３４， （１９８５））。

【００１５】上記の各手法の特徴を整理すると、次のよ
うになる。 （１）Ｐｉｘｅｌ−ｂａｓｅｄマッチングとＡｒｅａ−
ｂａｓｅｄマッチングは各々の画素に対して、対応点を
探索するので、求められた距離画像は密である。一方、
Ｆｅａｔｕｒｅ−ｂａｓｅｄマッチングは、特徴点だけ
に対して、対応付けを行うので、得られた距離画像は疎
である。

【００１６】（２）Ａｒｅａ−ｂａｓｅｄマッチング
は、一種の相関演算を行うため、Ｐｉｘｅｌ−ｂａｓｅ
ｄマッチングとＦｅａｔｕｒｅ−ｂａｓｅｄマッチング
に比べて、計算コストがかかるが、アルゴリズムの高速
化によって、必ずしも解決できない問題ではない。

【００１７】（３）Ｐｉｘｅｌ−ｂａｓｅｄマッチング
は、画素間の対応付けだけを行うため、計算速度がかな
り速いが、左右カメラ間の特性の違いによって、画素間
の濃淡値を用いる対応付けが容易ではない。

【００１８】上述の特徴から、一般的に、高精度で対象
の３次元形状（または奥行き）を画素毎に求めるための
手法としてＡｒｅａ−ｂａｓｅｄマッチングは有効であ
り、よく使われている。

【００１９】一般的なＡｒｅａ−ｂａｓｅｄマッチング
によるステレオ視の対応点の求め方について図２を用い
て説明する。図２（ａ）は、基準カメラの観測画像であ
り、図２（ｂ）は検出カメラによる観測画像である。基
準カメラによる観測画像上の点ｍｂの周辺の小領域Ｗを
テンプレートとして、検出カメラ画像のエピポーラライ
ン上の数点における画像相関値を求める。この図に示す
例の場合は、距離分解能はｍ１〜ｍ６の６点で、この距
離番号１〜６が例えば撮影した基準カメラから１ｍ、２
ｍ、３ｍ、４ｍ、５ｍ、６ｍの距離に対応しているとす
る。

【００２０】各点の画像相関値は、例えば以下に示す式
を用いて求める評価値を用いることができる。なお、以
下に示す式中のＩ（ｘ）は基準カメラで撮影した基準画
像における輝度値、Ｉ’（ｘ’）は検出カメラで撮影し
た検出カメラ画像の輝度値を示している。

【００２１】

【数１】

【００２２】上記式を用いて得られる図２のｍ１〜ｍ６
の６点での評価値中、最も低いところを対応点とする。
これを示したのが図２の下段のグラフである。図２に示
す例の場合は、ｍ３の位置、すなわちカメラから３ｍの
位置を距離データとする。なお、さらにサンプリングデ
ータ間の補間処理を実行してサンプルデータ以外の部分
において最も低い点を求めることも可能である。この補
間処理を行なった場合、図２のグラフのｍ３とｍ４の間
にある点が最小の評価値であり、この場合、計測対象は
カメラから約３．３ｍの距離であるとされる。なお、エ
ピポーラライン、およびエピポーラライン上の位置と物
体との距離との関係は、予めキャリブレーションによっ
て求めておく。例えば基準カメラ画像上のすべての画素
に対して、各距離に応じた検出カメラ画像上の対応点の
座標をテーブルにして保持しておく。

【００２３】このように、基準カメラ画像と検出カメラ
画像とのマッチング処理を各測定点の画素について繰り
返し実行することにより、全ての画素に対する三次元形
状データを得ることができる。

【００２４】

【発明が解決しようとする課題】しかしながら、実際に
は、基準カメラ画像と検出カメラ画像から全ての画素の
対応付け処理を正確に行なうことは困難である。これ
は、ステレオ法は上述したように２つ以上のカメラを用
いて異なる視点から計測対象画像を撮り込む構成である
ので、一方のカメラで観察されている計測対象の領域
が、他方のカメラでは観察されない領域となる場合があ
るからである。この領域をオクルージョン領域という。
このオクルージョンの発生はステレオ法を用いた距離計
測における問題点である。

【００２５】このオクルージョン領域の発生は、計測対
象に凹凸がある場合に顕著に表れる。このオクルージョ
ンの発生メカニズムについて図３を用いて説明する。

【００２６】図３の上段に示す計測対象３０１の距離を
ステレオ法により算出しようとする場合、計測対象３０
１に対して異なる方向から、基準カメラ３０２と検出カ
メラ３０３を用いて像を撮り込む。図３下段に示す
（ａ）が基準カメラ３０２で撮り込んだ計測対象の画像
である。（ｂ）は、検出カメラ３０３で撮り込んだ計測
対象の画像である。

【００２７】ステレオ法においては、前述の図２で説明
したように基準カメラ画像と検出カメラ画像の２つの画
像について画像間対応付け処理を実行する。具体的に
は、図３（ａ）に示す基準カメラ画像の各画素につい
て、（ｂ）に示す検出カメラ画像の対応点を探索するこ
とになる。図３（ａ）、（ｂ）から理解されるように、
計測対象の面Ａ、Ｂは、両画像において観察されてい
る。しかし、面Ｃは、図３（ａ）の基準カメラ画像では
観察されているが、図３（ｂ）の検出カメラ画像には観
察されていない。このように、ステレオ法では計測対象
を異なる視点から観察するために、一方のカメラでは観
察されている面が他方のカメラでは観察されない領域が
発生する。この領域がオクルージョン領域であり、この
オクルージョン領域では、画像間の対応付け処理が正確
に行なえない。

【００２８】ステレオ法における画像間対応付け処理
は、先に図２を用いて説明したように、画像間の相関が
最大になる点を探索して、その点を対応点とする処理で
あるので、基準カメラ画像に実際に対応する点が検出画
像上に存在しない場合であっても、相関の最大点を対応
点として処理することになる。従って、オクルージョン
領域においては誤った対応点に基づく視差データが生成
され、結果として誤った距離画像が出力されることにな
る。

【００２９】本発明は、上述の従来技術の問題点に鑑み
てなされたものであり、上述のようなオクルージョン領
域での誤った画像間対応付け処理および誤った距離画像
の生成を回避する構成を提供する。すなわち、基準カメ
ラで撮り込まれた画像上において、対応付け処理が可能
な領域（可測領域）と対応付けが不可能な領域（測定不
可領域：オクルージョン領域）とを識別して、誤った距
離画像の生成を回避することを可能とした距離画像生成
装置および距離画像生成方法、並びにプログラム提供媒
体を提供するものである。

【００３０】

【課題を解決するための手段】本発明は、上記課題を参
酌してなされたものであり、その第１の側面は、計測対
象を異なる方向から撮影した画像を用いて計測対象の三
次元形状を求め、距離画像を生成する距離画像生成装置
であり、前記計測対象の画像を撮り込む第１カメラと、
前記第１カメラと異なる方向から前記計測対象の画像を
撮り込む第２カメラと、前記第２カメラと同軸または近
傍位置に配置され、前記計測対象に光を照射する投光手
段と、前記投光手段により光照射がなされた計測対象を
前記第１カメラによって撮り込んだ光照射基準画像に基
づいて、距離データの算出可能な可測領域を抽出する可
測領域抽出手段と、前記第１カメラによって撮り込まれ
た第１画像と、前記第２カメラによって撮り込まれた第
２画像との画像間対応付け処理により視差データを生成
して、該視差データに基づいて前記可測領域抽出手段の
抽出した可測領域のみの距離画像を出力する距離画像生
成手段とを有することを特徴とする距離画像生成装置に
ある。

【００３１】さらに、本発明の距離画像生成装置の一実
施態様において、前記可測領域抽出手段は、前記計測対
象の前記投光手段による光照射領域と、光非照射領域と
を前記光照射基準画像に基づいて判別し、光照射領域を
可測領域として抽出する構成であることを特徴とする。

【００３２】さらに、本発明の距離画像生成装置の一実
施態様において、前記可測領域抽出手段は、前記投光手
段により光照射がなされた計測対象を前記第１カメラに
よって撮り込んだ光照射基準画像と、前記投光手段によ
り光照射がなされていない計測対象を前記第１カメラに
よって撮り込んだ光非照射基準画像との両画像に基づい
て、距離データの算出可能な可測領域を抽出する構成を
有することを特徴とする。

【００３３】さらに、本発明の距離画像生成装置の一実
施態様において、前記可測領域抽出手段は、前記光照射
基準画像の輝度値を示す画素値のヒストグラムを生成し
て、前記ヒストグラムの最大値に対応する最多画素値を
有する画素と、その近傍であって、かつ前記最多画素値
に対して差が予め定めた閾値以下である画素値を有する
画素の領域を可測領域に属さない領域であると判定する
構成を有することを特徴とする。

【００３４】さらに、本発明の距離画像生成装置の一実
施態様において、前記可測領域抽出手段は、前記光照射
基準画像の輝度値を示す画素値と、前記投光手段により
光照射がなされていない計測対象を前記第１カメラによ
って撮り込んだ光非照射基準画像の輝度値を示す画素値
との２つの画素値の差を示す差分画像のヒストグラムを
生成して、前記ヒストグラムの最大値に対応する最多画
素値を有する画素と、その近傍であって、かつ前記最多
画素値に対して差が予め定めた閾値以下である画素値を
有する画素の領域を可測領域に属さない領域であると判
定する構成を有することを特徴とする。

【００３５】さらに、本発明の距離画像生成装置の一実
施態様において、前記投光手段の照射する光は、ランダ
ムパターンからなるパターン光であり、前記距離画像生
成手段は、前記第１カメラによって撮り込まれたパター
ン光の付与された第１画像と、前記第２カメラによって
撮り込まれたパターン光の付与された第２画像に基づい
て距離画像を生成する構成を有することを特徴とする。

【００３６】さらに、本発明の距離画像生成装置の一実
施態様において、前記距離画像生成手段は、前記カメラ
１の撮り込み画像と、前記カメラ２の撮り込み画像の２
つの画像間の対応付けを実行する画像間対応付け手段を
有し、前記画像間対応付け手段は、前記可測領域抽出手
段の抽出した可測領域のみの画素に関する画像間対応付
け処理を実行する構成を有することを特徴とする。

【００３７】さらに、本発明の第２の側面は、計測対象
を異なる方向から撮影した画像を用いて計測対象の三次
元形状を求め距離画像を生成する距離画像生成方法であ
り、計測対象の画像を第１カメラと、前記第１カメラと
異なる方向に配置した第２カメラによって同時に撮り込
む画像撮り込みステップであり、前記第２カメラと同軸
または近傍位置に配置された投光手段により光照射がな
された前記計測対象の像を撮り込む画像撮り込みステッ
プと、前記第１カメラによって撮り込んだ光照射基準画
像に基づいて、距離データの算出可能な可測領域を抽出
する可測領域抽出ステップと、前記第１カメラによって
撮り込まれた第１画像と、前記第２カメラによって撮り
込まれた第２画像との画像間対応付け処理により視差デ
ータを生成して、該視差データに基づいて前記可測領域
抽出手段の抽出した可測領域のみの距離画像を出力する
距離画像生成ステップとを有することを特徴とする距離
画像生成方法にある。

【００３８】さらに、本発明の距離画像生成方法の一実
施態様において、前記可測領域抽出ステップは、前記計
測対象の前記投光手段による光照射領域と、光非照射領
域とを前記光照射基準画像に基づいて判別し、光照射領
域を可測領域として抽出することを特徴とする。

【００３９】さらに、本発明の距離画像生成方法の一実
施態様において、前記可測領域抽出ステップは、前記投
光手段により光照射がなされた計測対象を前記第１カメ
ラによって撮り込んだ光照射基準画像と、前記投光手段
により光照射がなされていない計測対象を前記第１カメ
ラによって撮り込んだ光非照射基準画像との両画像に基
づいて、距離データの算出可能な可測領域を抽出するこ
とを特徴とする。

【００４０】さらに、本発明の距離画像生成方法の一実
施態様において、前記可測領域抽出ステップは、前記光
照射基準画像の輝度値を示す画素値のヒストグラムを生
成して、前記ヒストグラムの最大値に対応する最多画素
値を有する画素と、その近傍であって、かつ前記最多画
素値に対して差が予め定めた閾値以下である画素値を有
する画素の領域を可測領域に属さない領域であると判定
することを特徴とする。

【００４１】さらに、本発明の距離画像生成方法の一実
施態様において、前記可測領域抽出ステップは、前記光
照射基準画像の輝度値を示す画素値と、前記投光手段に
より光照射がなされていない計測対象を前記第１カメラ
によって撮り込んだ光非照射基準画像の輝度値を示す画
素値との２つの画素値の差を示す差分画像のヒストグラ
ムを生成して、前記ヒストグラムの最大値に対応する最
多画素値を有する画素と、その近傍であって、かつ前記
最多画素値に対して差が予め定めた閾値以下である画素
値を有する画素の領域を可測領域に属さない領域である
と判定することを特徴とする。

【００４２】さらに、本発明の距離画像生成方法の一実
施態様において、前記投光手段の照射する光は、ランダ
ムパターンからなるパターン光であり、前記距離画像生
成ステップは、前記第１カメラによって撮り込まれたパ
ターン光の付与された第１画像と、前記第２カメラによ
って撮り込まれたパターン光の付与された第２画像に基
づいて距離画像を生成することを特徴とする。

【００４３】さらに、本発明の距離画像生成方法の一実
施態様において、前記距離画像生成ステップは、前記カ
メラ１の撮り込み画像と、前記カメラ２の撮り込み画像
の２つの画像間の対応付けを実行する画像間対応付けス
テップを有し、前記画像間対応付けステップは、前記可
測領域抽出ステップにおいて抽出された可測領域のみの
画素に関する画像間対応付け処理を実行することを特徴
とする。

【００４４】さらに、本発明の第３の側面は、計測対象
を異なる方向から撮影した画像を用いて計測対象の三次
元形状を求め距離画像を生成する距離画像生成処理をコ
ンピュータ・システム上で実行せしめるコンピュータ・
プログラムを提供するプログラム提供媒体であって、前
記コンピュータ・プログラムは、計測対象の画像を第１
カメラと、前記第１カメラと異なる方向に配置した第２
カメラによって同時に撮り込む画像撮り込みステップで
あり、前記第２カメラと同軸または近傍位置に配置され
た投光手段により光照射がなされた前記計測対象の像を
撮り込む画像撮り込みステップと、前記第１カメラによ
って撮り込んだ光照射基準画像に基づいて、距離データ
の算出可能な可測領域を抽出する可測領域抽出ステップ
と、前記第１カメラによって撮り込まれた第１画像と、
前記第２カメラによって撮り込まれた第２画像との画像
間対応付け処理により視差データを生成して、該視差デ
ータに基づいて前記可測領域抽出手段の抽出した可測領
域のみの距離画像を出力する距離画像生成ステップとを
有することを特徴とするプログラム提供媒体にある。

【００４５】本発明の第３の側面に係るプログラム提供
媒体は、例えば、様々なプログラム・コードを実行可能
な汎用コンピュータ・システムに対して、コンピュータ
・プログラムをコンピュータ可読な形式で提供する媒体
である。媒体は、ＣＤやＦＤ、ＭＯなどの記憶媒体、あ
るいは、ネットワークなどの伝送媒体など、その形態は
特に限定されない。

【００４６】このようなプログラム提供媒体は、コンピ
ュータ・システム上で所定のコンピュータ・プログラム
の機能を実現するための、コンピュータ・プログラムと
提供媒体との構造上又は機能上の協働的関係を定義した
ものである。換言すれば、該提供媒体を介してコンピュ
ータ・プログラムをコンピュータ・システムにインスト
ールすることによって、コンピュータ・システム上では
協働的作用が発揮され、本発明の他の側面と同様の作用
効果を得ることができるのである。

【００４７】本発明のさらに他の目的、特徴や利点は、
後述する本発明の実施例や添付する図面に基づくより詳
細な説明によって明らかになるであろう。

【００４８】

【発明の実施の形態】まず、図４に本発明の距離画像生
成装置の構成ブロック図を示す。図４は、画像パターン
の投光によって計測対象の三次元形状または距離画像の
計測を行なう装置である。例えば二値または濃淡のラン
ダム点群によって構成されるランダムテクスチャからな
るパターンを生成し、これをカメラ２と同軸の投光器に
よって計測対象に投光する。計測対象にランダムパター
ンを投光することにより、計測対象が白い壁や人間の顔
などの特徴（濃淡、形状、色等）のほとんどない対象で
ある場合も、パターン付き画像を用いた画像間対応付け
処理が可能になり、画像間のマッチング処理がより正確
に実行できる。

【００４９】図４に示す距離画像生成装置の概要につい
て説明する。距離画像生成装置は、先に説明したステレ
オ法を適用して計測対象の三次元形状を計測するもので
あり、立体形状を持つ、例えば人の顔等の被計測対象物
に対して角度の異なる位置に配置した２つのカメラ、い
わゆる基準カメラ（カメラ１，４０１）と検出カメラ
（カメラ２，４０２）を用いて画像を撮り込み、これら
２つのカメラの撮影する画像に基づいて図１で説明した
ステレオ法に基づいて被計測対象物の表面形状を計測す
るものである。

【００５０】本発明の距離画像生成装置において、ラン
ダムパターンは、カメラ２，４０２と同軸、または近傍
に構成された投光手段によって照射される。この投光パ
ターンは一様乱数や正規乱数に基づく非周期的投光パタ
ーンである。投光されるパターンは例えば非周期投光パ
ターンであり、例えばドットのサイズ、線の長さ、太
さ、位置、濃度等に周期性を持たないパターンである。

【００５１】非周期的パターンは例えば予めスライド等
に形成され、スライドを介して光照射することによって
計測対象に対してパターンを投影する。あるいは、透過
型液晶表示素子等を用いて動的にランダムパターンを生
成して、これを投影してもよい。計測対象４００の表面
に形成された非周期パターンを計測対象とともに撮像す
ることにより、距離画像生成時の基準カメラと検出カメ
ラの撮像データの対応付けを容易にすることができる。

【００５２】なお、図４の構成のように計測対象４００
にランダムテクスチャ投光パターンを照射するのは、計
測対象が例えば壁、人の顔等のように表面の各部を区別
する特徴が少なく、基準カメラ画像と検出カメラ画像の
画像間対応付けが困難である場合に、撮影画像にランダ
ムパターンを付与して画像間対応付け処理を実行しやす
くするためのものである。従って、計測対象が十分特徴
的なものである場合は、必ずしもパターン照射が必要と
なるものではない。

【００５３】本発明の目的とする可測領域の抽出のため
には、パターン光を用いることが必須となるものではな
く、例えば、パターンの無い光、例えばフラッシュ光を
検出カメラ（カメラ２，４０２）側から投光してもよ
い。すなわち、距離計測用の基準カメラ（カメラ１，４
０１）と検出カメラの双方において、検出カメラ側から
の投光領域を基準カメラ画像に基づいて判定し、この領
域を距離検出可能な領域、すなわち測定可能領域として
抽出するものである。従って、基準カメラ画像に基づい
て検出カメラ側からの投光領域、すなわち光照射領域が
検出されればよく、パターンが必須となるものではな
い。従って、計測対象が十分特徴的なものである場合
は、パターンを伴わない光照射とすることも可能であ
る。ただし以下に説明する実施例では、より一般的な例
としてパターン光を計測対象４００に投光した例につい
て説明する。

【００５４】図４の構成について説明する。カメラ１，
４０１とカメラ２，４０２は、計測対象４００に対して
異なる視線方向に配置されて、各視線方向からランダム
パターンの投影された計測対象４００を撮影する。各カ
メラによって撮影される画像は、同期したタイミングで
撮り込まれる。カメラ１，４０１、カメラ２，４０２か
ら撮り込まれる画像は、この例ではランダムパターンの
付加された画像であり、距離画像の生成、すなわち画像
間対応付け処理が高精度に実行可能な画像である。カメ
ラ１，４０１、カメラ２，４０２から撮り込まれた画像
は、それぞれＡ／Ｄ変換器を介してフレームメモリ１
ａ，４０３，フレームメモリ２ａ，４０４に格納され
る。

【００５５】フレームメモリ１ａ，４０３に格納された
画像データは、可測領域抽出手段４０５に出力され、可
測領域抽出手段４０５において、基準カメラ画像中の距
離画像検出可能な領域、いわゆる可測領域が抽出され
る。この可測領域は、基準カメラ画像領域の中で、カメ
ラ２，４０２によっても撮り込まれていると判定される
画像領域である。この可測領域抽出手段４０５における
可測領域抽出方法については、後段で詳細に説明する。

【００５６】可測領域抽出手段４０５において抽出され
た可測領域データは、カメラ１，４０１によって撮り込
まれた画像データとともに、画像対応付け手段４０６に
出力される。なお、図中では、可測領域抽出手段４０５
と、画像対応付け手段４０６は説明のために別構成とし
て示してあるが、画像対応付け手段４０６が可測領域抽
出手段４０５の機能、すなわちカメラ１，４０１の撮り
込み画像に基づく可測領域抽出処理を併せて実行する構
成であってもよい。

【００５７】画像対応付け手段４０６は、さらにフレー
ムメモリ２ａ，４０４に格納されたカメラ２，４０２の
撮り込み画像を入力し、可測領域抽出手段４０５の抽出
した可測領域について画像間の対応付け処理を実行す
る。画像対応付け手段４０６は、カメラ１，４０１の撮
影した画像の各画素に対するカメラ２，４０２の撮影し
た検出画像の画素の対応付け処理を行ない、基準画像に
対する検出画像の視差データを距離画像生成手段４０７
に出力する。

【００５８】画像間対応付け手段４０６は、可測領域抽
出手段４０５の抽出した可測領域にある画素についての
み前述の対応点探索を行なう構成してもよいが、あるい
は、カメラ１，４０１の撮り込み画像全体について、画
像間対応付け処理を行なって、その後、可測領域にある
データのみを取り出す構成としてもよい。

【００５９】距離画像生成手段４０７は、画像対応付け
手段４０６における画像間対応付け処理によって得られ
る視差データに基づいて距離画像を生成する。なお、距
離画像とは、各画素に、その画素が示す計測対象表面の
カメラ座標系を基準とした距離情報が保持された画像で
ある。例えば距離に応じた濃淡データを画素毎に割り当
てた画像である。なお、可測領域の抽出処理を距離画像
生成後において行なう構成としてもよい。距離画像の生
成は各画像の補正値等を設定したキャリブレーションパ
ラメータを用いて行われる。距離画像生成手段４０７の
生成した距離画像は画像メモリ４０８を介して出力手段
４０９に出力される。

【００６０】なお、図４に示す構成の各ブロックにおけ
る処理、およびブロック間データ転送制御等は、図示し
ない制御手段によって制御され、所定のメモリ、例えば
ＲＡＭ，ＲＯＭ等の半導体メモリ、磁気ディスク、光デ
ィスク等の記憶媒体に記録された制御プログラムによっ
て制御することができる。また、図示しない入力手段に
よってユーザがコマンド、パラメータ等を入力して各制
御態様を変更することが可能である。

【００６１】図５に具体的な計測対象の可測領域と、そ
の抽出処理構成を説明する図を示す。図５において計測
対象５０１は、２つの異なる方向からカメラ１，５０
２、カメラ２，５０３によって撮影される。カメラ２，
５０３はランダムパターン５０４を計測対象に投影する
投光手段を撮影手段としてのカメラと同軸に有してい
る。カメラ２，５０３は同じレンズを介して画像を撮影
する第１の機能と、パターン光を照射する第２の機能を
実行可能な構成を有する。すなわち、レンズを通してパ
ターン光を計測対象５０１に結像させる系と、レンズを
通して外部から入射された光が撮像面に結像される系の
光学中心、すなわちレンズによって集光される点が一致
している。

【００６２】ハーフミラーを用いてパターン投光手段と
撮影カメラとを同軸構成とした例を図６に示す。投光パ
ターン６０３を計測対象６０１に投影する例えばスライ
ドプロジェクタによって構成される投光手段６０２と、
計測対象の像を撮り込むカメラ６０４とを各々の光軸が
直角に交わるように配置し、その光軸の交点：Ｏにハー
フミラー６０５を配置する。ハーフミラー６０５で反射
された投光手段６０２の光軸をカメラ６０４の光軸と一
致させ、交点：Ｏから投光手段６０２の光学中心までの
距離と、すなわち交点：Ｏからカメラ６０４の光学中心
までの距離とを同じに設定、すなわち投光手段６０２と
カメラ６０４の光学中心を一致させる。

【００６３】投光手段６０２から発せられた照射光（パ
ターン光）６１１は、ハーフミラー６０５を介して反射
され、計測対象６０１に投影される。照射光（パターン
光）を投影された計測対象６０１の像は、ハーフミラー
６０５を介してカメラ６０４によって撮り込まれる。な
お、図６は、ハーフミラーを用いた例を示しているが、
本発明の距離画像生成装置では、同軸、あるいは近傍に
おいて投光および撮像が可能な構成であればよい。

【００６４】図５に戻って可測領域抽出について説明を
続ける。カメラ１，５０２によって撮り込まれた画像は
可測領域抽出部５０５において、パターン光照射部分と
非照射部分を識別する処理によって可測領域が抽出され
る。さらに、画像間対応付け及び距離画像生成部５０６
において、可測領域についての距離画像が生成される。

【００６５】図５の下段に示す図は、カメラ１，５０２
によって撮り込まれた画像（ａ）と、カメラ２，５０３
によって撮り込まれた画像（ｂ）を示している。この例
の場合、図５（ａ）のグレー部分：Ｃが（ｂ）のカメラ
２，５０３の撮影画像には含まれない領域となる。この
領域がオクルージョン領域であり、測定不可能領域であ
る。可測領域抽出部５０５は、図５（ａ）の基準カメラ
画像から可測領域としてＡの面とＢの面を抽出する。可
測領域抽出方法については、図８乃至図１１を用いて後
段で説明する。

【００６６】図５、図６においては、投光パターン投光
手段と、計測対象の像を撮り込むカメラとを同軸構成と
した例を説明したが、これらの２つの手段を同軸にする
ことなく、それぞれの手段を近接した位置に配置する構
成としても、ほぼ同様の効果を得ることができる。この
構成例を図７に示す。

【００６７】図７から理解されるように、カメラ２，５
０３に隣接して投光パターン５０４を投光するための投
光手段５１１が配置される。カメラ２，５０３と投光手
段５１１は同軸構成ではないが、それぞれの手段は近接
して配置されており、カメラ１，５０１によって撮り込
まれる画像中の投光パターン照射部は、ほぼカメラ２に
よって撮り込まれる画像部分に一致することになる。こ
のように投光パターン投光手段と、像を撮り込むカメラ
とを近接して配置する構成としても同様の効果が得られ
る。

【００６８】次に、図８乃至図１１を用いて、本発明の
距離画像生成装置における処理フロー、特に可測領域抽
出手段における可測領域抽出処理の詳細を説明する。

【００６９】図８、図９は、本発明の距離画像生成装置
において、投影パターン付き基準画像のみから距離検出
可能領域、すなわち可測領域を抽出する構成例を説明す
るフローであり、図１０、図１１は、投影パターン付き
基準画像と、投影パターンを付けない基準画像との両画
像から可測領域を抽出する構成例を説明するフローであ
る。

【００７０】まず、図８、図９の処理フローについて図
４の構成図に基づいて説明する。図８のステップＳ８０
１は、パターン光を照射するステップであり、図４にお
けるカメラ２，４０２と同軸または近傍の照射手段から
計測対象４００に対してランダムパターンを照射する。

【００７１】ステップＳ８０２において、カメラ１，４
０１と、カメラ２，４０２は、計測対象４００について
の投影パターン付き画像を撮影し、それぞれフレーム・
メモリ４０３，４０４に格納する。ここで、計測対象４
００において投影パターンの照射された部分は、明るく
明瞭な領域となり、照射光の到達しない部分は、暗い領
域となる。

【００７２】ステップＳ８０３において、可測領域抽出
手段４０５は、フレーム・メモリ４０３に格納されたカ
メラ１，４０１の撮影した投影パターン付き画像に基づ
いて可測領域の抽出処理を実行する。このステップＳ８
０３の可測領域抽出処理についての詳細を図９のフロー
を用いて説明する。

【００７３】なお、図９のフローにおいて、カメラ１，
４０１の撮影したパターン付き画像は、基準画像Ｇ１１
とする。図９のステップＳ９０１において、可測領域抽
出手段４０５は、基準画像Ｇ１１を構成する画素値のヒ
ストグラムＨ（ｋ）を生成する。ステップＳ９０２にお
いて、可測領域抽出手段４０５は、ヒストグラムＨ
（ｋ）を最大とする（最も出現頻度が高い）画素値をＫ
ｂとする。

【００７４】ステップＳ９０３において、可測領域抽出
手段４０５は、ラベリング未処理画素数ｒを０に初期化
する。また、可測領域抽出手段４０５は、内蔵する座標
記憶用バッファｘ［ｒ］，ｙ［ｒ］を初期化する。ステ
ップＳ９０４において、可測領域抽出手段４０５は、基
準画像Ｇ１１の中で画素値Ｋｂを有する画素を１つ検出
し、その座標を注目画素の座標（ｉ，ｊ）に代入する。

【００７５】ステップＳ９０５において、可測領域抽出
手段４０５は、基準画像Ｇ１１の注目画素の画素値ｇ
（ｉ，ｊ）を取得する。ステップＳ９０６において、可
測領域抽出手段４０５は、注目画素に隣接する８つの画
素のうちの１つの画素値ｇ（ｉ＋ｍ，Ｊ＋ｎ）（ｍ，ｎ
＝−１，０，１）を取得する。

【００７６】ステップＳ９０７において、可測領域抽出
手段４０５は、注目する画素（座標（ｉ，ｊ））にラベ
ルＬ０が付与されているか否かを判定し、さらに注目す
る画素の画素値ｇ（ｉ，ｊ）と、隣接する画素の画素値
ｇ（ｉ＋ｍ，ｊ＋ｎ）の差の絶対値が所定の閾値（例え
ば２）よりも小さいか否かを判定する。注目する画素に
ラベルＬ０が付与されておらず、かつ隣接する画素の画
素値ｇ（ｉ＋ｍ，ｊ＋ｎ）と画素値ｇ（ｉ，ｊ）との差
の絶対値が所定の値よりも小さいと判定された場合、ス
テップＳ９０８に進む。

【００７７】ステップＳ９０８において、可測領域抽出
手段４０５は、ラベリング未処理画素数ｒを１だけイン
クリメントし、隣接する画素のｘ座標（＝ｉ＋ｍ）を座
標記憶用バッファｘ［ｒ］に記録し、ｙ座標（＝ｊ＋
ｎ）を座標記憶用バッファｙ［ｒ］に記録する。

【００７８】ステップＳ９０９において、可測領域抽出
手段４０５は、注目する画素に隣接する８つ全ての画素
に対してステップＳ９０６、Ｓ９０７の処理を施したか
否かを判定し、隣接する画素にステップＳ９０６，Ｓ９
０７の処理を施していないものが存在すると判定した場
合、ステップＳ９０６に戻り、それ以降の処理を繰り返
す。その後、ステップＳ９０９で隣接する８つの画素に
ステップＳ９０６，Ｓ９０７の処理を施したと判定され
た場合、ステップＳ９１０に進む。

【００７９】ステップＳ９１０において、可測領域抽出
手段４０５は、注目画素（座標（ｉ，ｊ））にラベルＬ
０を付与する。ここで、ラベルＬ０は最も出現頻度が高
い画素値を有する画素、すなわち、背景領域と、カメラ
２と同軸または近傍に配置された投光手段からの光が照
射されない部分に対応する画素に付与されることとな
る。投光手段からの光が照射されない部分は、オクルー
ジョン領域に対応する、従って、ラベルＬ０の付与され
た領域を距離計測不可能な領域として判別することで、
可測領域を抽出することができる。

【００８０】ステップＳ９１１において、可測領域抽出
手段４０５は、ラベリング未処理画素数ｒが０であるか
否かを判定し、ラベリング未処理画素数ｒが０ではない
と判定した場合、ステップＳ９１２に進む。

【００８１】ステップＳ９１２において、可測領域抽出
手段４０５は、座標記憶用バッファｘ［ｒ］に記録され
ている値を注目画素のｘ座標とし、座標記憶用バッファ
ｙ［ｒ］に記録されている値を注目画素のｙ座標とす
る。これにより、先ほどまでの注目画素に隣接し、かつ
画素値がほぼ等しい画素が新たな注目画素とされる。そ
の後、可測領域抽出手段４０５は、ラベリング未処理画
素数ｒを１だけデクリメントして、ステップＳ９０５に
戻る。

【００８２】その後、ステップＳ９０５乃至Ｓ９１２の
処理が、ステップＳ９１１においてラベリング未処理画
素数ｒが０であると判定されるまで、繰り返され、ステ
ップＳ９１１において、ラベリング未処理画素数ｒが０
であると判定された場合、ステップＳ９１３に進む。ス
テップＳ９１３において、可測領域抽出手段４０５は、
基準画像Ｇ１１の中でラベルＬ０が付与されていない画
素からなる領域であって、かつ最も大きい領域を可測領
域として抽出する。

【００８３】図９で示す可測領域抽出処理により、カメ
ラ１，４０１の撮影したパターン付き画像である基準画
像Ｇ１１に基づいて、可測領域が抽出される。図９で示
す可測領域抽出処理は、カメラ２，４０２方向からの投
光パターン照射領域と、非照射領域とを、各々の画素値
の差異に基づいて識別し、この識別処理により抽出され
た投光パターン照射領域を可測領域として求める処理で
ある。

【００８４】この処理フローから理解されるように、カ
メラ２，４０２と同軸、あるいは近傍から投光される投
光パターンはランダム投光パターンであっても、パター
ンを持たない光であってもよい。すなわちカメラ２，４
０２側からの投光領域と非投光領域がカメラ１，４０１
の撮影した基準画像（Ｇ１１）において、その画素値に
基づいて判別可能であればよい。

【００８５】図８に戻る。ステップＳ８０４において、
画像間対応付け手段４０６は、可測領域抽出手段４０５
の抽出した可測領域のみについて、カメラ１，４０１
と、カメラ２，４０２が撮影した投影パターン付き画像
の対応付け処理を実行する。

【００８６】ステップＳ８０５において、距離画像生成
手段４０７は、画像間対応付け手段４０６における対応
付け処理の結果に基づいて、予め格納された視差と距離
との対応テーブルを使用して各画素の距離データを導出
し、各画素毎に距離データを対応付けた距離画像を出力
する。

【００８７】このように、本発明の距離画像生成装置で
は、カメラ２，４０２と同軸または近傍から投光照射さ
れた計測対象画像に基づいて、計測対象の投光領域と非
投光領域とを区別し、投光領域を距離データを算出可能
な可測領域として抽出し、画像間対応付け手段４０６に
おいて可測領域についてのみ画像間対応付け処理を実行
するように構成したので、画像間対応付けが不可能な領
域を予め排除して画像間対応付け処理を実行することが
できるので、正確な距離画像を得ることが可能となる。

【００８８】次に、図１０、図１１を用いて、投影パタ
ーン付き基準画像と、投影パターンを付けない基準画像
との両画像から距離検出可能領域を抽出する処理態様を
説明する。

【００８９】図１０のステップＳ１００１は、パターン
光を照射するステップであり、図４におけるカメラ２，
４０２と同軸または近傍の照射手段から計測対象４００
に対してランダムパターンを照射する。

【００９０】ステップＳ１００２において、カメラ１，
４０１と、カメラ２，４０２は、計測対象４００につい
ての投影パターン付き画像を撮影し、それぞれフレーム
・メモリ４０３，４０４に格納する。カメラ１，４０１
の撮影した計測対象４００についての投影パターン付き
画像をＧ１１とし、カメラ２，４０２の撮影した計測対
象４００についての投影パターン付き画像をＧ１２とす
る。ここで、計測対象４００において投影パターンの照
射された部分は、明るく明瞭な領域となり、照射光の到
達しない部分は、暗い領域となる。

【００９１】次にステップＳ１００３において、パター
ン光の照射を停止し、ステップＳ１００４において、投
影パターンのないカメラ１，４０１による撮影画像を撮
り込み、フレーム・メモリ４０３に格納する。この投影
パターンの付与されていないカメラ１，４０１による撮
影画像をＧ２１とする。

【００９２】ステップＳ１００５において、可測領域抽
出手段４０５は、フレーム・メモリ４０３に格納された
カメラ１，４０１の撮影した投影パターン付き画像Ｇ１
１と、投影パターン無しの基準画像Ｇ２１とに基づいて
可測領域の抽出処理を実行する。このステップＳ１００
５の可測領域抽出処理についての詳細を図１１のフロー
を用いて説明する。

【００９３】図１１のステップＳ１１０１において、可
測領域抽出手段４０５は、パラメータにより変動する強
調関数Ｔ［ｇ］を用いて基準画像Ｇ１１の画素値を強調
し、例えば計測対象４００における投光パターンが照射
された領域の明るさ（画素値）を強調した強調画像Ｔ
［Ｇ１１］を生成する。ステップＳ１１０２において、
可測領域抽出手段４０５は、強調画像Ｔ［Ｇ１１］とパ
ターンなしの基準画像Ｇ２１の対応画素の画素値の差分
を示す差分画像Ｅを生成する。ステップＳ１１０３にお
いて、可測領域抽出手段４０５は、差分画像Ｅを構成す
る画素の画素値の総和ＳＵＭ＿Ｅ（現ＳＵＭ＿Ｅとす
る）を算出する。

【００９４】ステップＳ１１０４において、可測領域抽
出手段４０５は、記憶しているＳＵＭ＿Ｅと現ＳＵＭ＿
Ｅとを比較して小さい方のＳＵＭ＿Ｅと、対応する強調
関数Ｔ［ｇ］を記憶する。なお、１回目のステップＳ１
１０４の処理においては、現ＳＵＭ＿Ｅが記憶される。

【００９５】ここで画素値ｇを変数とする強調関数Ｔ
［ｇ］について説明する。強調関数Ｔ［ｇ］としては、
次式（１）に示す第１の例、または次式（２）に示す第
２の例が用いられる。

【００９６】

【数２】

【００９７】ただし、ｇｍａｘは、基準画像Ｇ１１の中
の画素値の最大値である。ｇｋ、ＴｋおよびＴｍａｘ
は、パラメータであり、パラメータが変更されることに
より強調関数Ｔ［ｇ］が変動する。

【００９８】

【数３】

【００９９】ただし、ｇｍａｘは、基準画像Ｇ１１の中
の画素値の最大値である。ｇｋ、ＴｋおよびＴｍａｘ
は、パラメータであり、パラメータが変更されることに
より強調関数Ｔ［ｇ］が変動する。

【０１００】図１１に戻り可測領域抽出処理の説明を続
ける。ステップＳ１１０５において、可測領域抽出手段
４０５は、変動可能な範囲のすべての強調関数Ｔ［ｇ］
を、ステップＳ１１０１の処理で適用したか否か（強調
関数Ｔ［ｇ］のパラメータを十分に変化させたか否か）
を判定し、全ての強調関数Ｔ［ｇ］を適用していないと
判定した場合、ステップＳ１１０６に進む。ステップＳ
１１０６において、可測領域抽出手段４０５は、強調関
数Ｔ［ｇ］のパラメータを所定の量だけ変化させて強調
関数Ｔ［ｇ］を変動させた後、ステップＳ１１０１に戻
る。

【０１０１】その後、ステップＳ１１０１以降の処理が
実行され、ステップＳ１１０５において、すべての強調
関数Ｔ［ｇ］が適用された場合、ステップＳ１１０７に
進む。なお、ステップＳ１１０１乃至Ｓ１１０６の処理
が繰り返される間のステップＳ１１０４の処理により、
差分画像Ｅを構成する画素の画素値の総和ＳＵＭ＿Ｅの
最小値と、それに対応する強調関数Ｔｍｉｎ［ｇ］が記
憶されることになる。

【０１０２】ステップＳ１１０７において、可測領域抽
出手段４０５は、強調関数Ｔｍｉｎ［ｇ］に対応する差
分画像Ｅの画素値のヒストグラムを生成する。ステップ
Ｓ１１０８において、可測領域抽出手段４０５は、ステ
ップＳ１１０７において生成したヒストグラムを用い、
図９のステップＳ９０２乃至Ｓ９１３の処理と同様にし
て、差分画像Ｅの中の可測領域を抽出する。

【０１０３】図１１で示す可測領域抽出処理により、カ
メラ１，４０１の撮影したパターン付き画像である基準
画像Ｇ１１と、カメラ１，４０１の撮影したパターンな
し画像である基準画像Ｇ２１とに基づいて、可測領域が
抽出される。図１１で示す可測領域抽出処理は、カメラ
２，４０２方向からの投光パターン照射領域と、非照射
領域とを、カメラ１，４０１の撮影したパターン付き基
準画像Ｇ１１とパターンなし基準画像Ｇ２１各々の画素
値の差異に基づいて識別し、この識別処理により抽出さ
れた投光パターン照射領域を可測領域として求める処理
である。

【０１０４】この処理フローから理解されるように、カ
メラ２，４０２と同軸、あるいは近傍から投光される投
光パターンはランダム投光パターンであっても、パター
ンを持たない光であってもよい。すなわちカメラ２，４
０２側からの投光領域と非投光領域がカメラ１，４０１
の撮影した２つの基準画像（Ｇ１１、Ｇ２１）の画素値
に基づいて判別可能であればよい。

【０１０５】図１０に戻る。ステップＳ１００６におい
て、画像間対応付け手段４０６は、可測領域抽出手段４
０５の抽出した可測領域のみについて、カメラ１，４０
１と、カメラ２，４０２が撮影した投影パターン付き画
像の対応付け処理を実行する。

【０１０６】ステップＳ１００７において、距離画像生
成手段４０７は、画像間対応付け手段４０６における対
応付け処理の結果に基づいて、予め格納された視差と距
離との対応テーブルを使用して各画素の距離データを導
出し、各画素毎に距離データを対応付けた距離画像を出
力する。

【０１０７】この例においても、カメラ２，４０２と同
軸または近傍から投光照射された計測対象画像に基づい
て、計測対象の投光領域と非投光領域とを区別し、投光
領域を距離データを算出可能な可測領域として抽出し、
画像間対応付け手段４０６において可測領域についての
み画像間対応付け処理を実行するように構成したので、
画像間対応付けが不可能な領域を予め排除して画像間対
応付け処理を実行することができるので、正確な距離画
像を得ることが可能となる。

【０１０８】このように、本発明の距離画像生成装置お
よび距離画像生成方法では、２つの異なる位置からの計
測対象撮影画像に基づく画像間対応付けを実行して距離
画像を求める構成において、基準カメラの撮影した投光
パターン照射画像、あるいは投光パターン照射画像と投
光パターン非照射画像に基づいて投光パターン照射領域
を求め、この領域を画像間対応付けの可能な領域、すな
わち可測領域として設定し、距離画像を求めて出力する
構成としたものである。

【０１０９】なお、上述の実施例では、画像撮り込みを
行なうカメラを２台として、２つの投光パターン画像か
ら距離画像を求める構成について説明したが、さらに３
台以上のカメラを用いたマルチベースラインステレオシ
ステムにおいて本発明を適用することも可能である。ま
た、前述したように、パターンを持たない光照射によっ
て照射領域を求めて、これを可測領域としてもよい。

【０１１０】以上、特定の実施例を参照しながら、本発
明について詳解してきた。しかしながら、本発明の要旨
を逸脱しない範囲で当業者が該実施例の修正や代用を成
し得ることは自明である。すなわち、例示という形態で
本発明を開示してきたのであり、限定的に解釈されるべ
きではない。また、上述の実施例を適宜組み合わせて構
成したものも、本発明の範囲に含まれるものであり、本
発明の要旨を判断するためには、冒頭に記載した特許請
求の範囲の欄を参酌すべきである。

【０１１１】

【発明の効果】以上、詳記したように、本発明の距離画
像生成装置および距離画像生成方法によれば、カメラ２
（検出カメラ）側に配置した投光手段の照射画像をカメ
ラ１（基準カメラ）で撮り込み、基準カメラの撮影した
投光パターン照射画像、あるいは投光パターン照射画像
と投光パターン非照射画像に基づいて投光パターン照射
領域を求め、これを画像間対応付けの可能な領域、すな
わち可測領域として設定し、距離画像を求めて出力する
構成としたので、画像間の対応付けが困難な領域、いわ
ゆるオクルージョン領域を排除して距離画像を生成する
ことが可能となり、誤った距離データを持った距離画像
の生成を回避できる。

【０１１２】さらに、本発明の距離画像生成装置および
距離画像生成方法によれば、画像間の対応付けが困難な
領域、いわゆるオクルージョン領域を排除して距離画像
を生成する構成したので、画像間対応付け処理および距
離画像生成処理においてオクルージョン領域を除いた可
測領域についてのみの処理が可能となり処理量、計算量
の削減が達成される。

【図面の簡単な説明】

【図１】本発明において使用される三次元情報取得構成
として適用可能なステレオ法について説明した図であ
る。

【図２】ステレオ法を適用した距離画像生成において行
われる画像間対応付け処理について説明する図である。

【図３】ステレオ法を適用した距離画像生成におけるオ
クルージョン領域の発生について説明する図である。

【図４】本発明の距離画像生成装置の構成を示す図であ
る。

【図５】撮影手段であるカメラと投光手段とを同軸構成
とした本発明の距離画像生成装置の構成例と計測対象の
可測領域の具体例を説明する図である。

【図６】本発明の距離画像生成装置におけるカメラ部と
投光手段とを同軸構成とした例を説明する図である。

【図７】撮影手段であるカメラと投光手段とを近傍に配
置した構成とした本発明の距離画像生成装置の構成例と
計測対象の可測領域の具体例を説明する図である。

【図８】本発明の距離画像生成装置における距離画像生
成処理フロー（例１）を示す図である。

【図９】本発明の距離画像生成装置における可測領域抽
出処理フロー（例１）を示す図である。

【図１０】本発明の距離画像生成装置における距離画像
生成処理フロー（例２）を示す図である。

【図１１】本発明の距離画像生成装置における可測領域
抽出処理フロー（例２）を示す図である。

【符号の説明】

３０１ 計測対象 ３０２ 基準カメラ ３０３ 検出カメラ ４００ 計測対象 ４０１ カメラ１ ４０２ カメラ２ ４０３ フレームメモリ１ａ ４０４ フレームメモリ２ａ ４０５ 可測領域抽出手段 ４０６ 画像間対応付け手段 ４０７ 距離画像生成手段 ４０８ 画像メモリ ４０９ 出力手段 ５０１ 計測対象 ５０２ カメラ１ ５０３ カメラ２ ５０４ 投光パターン ５０５ 可測領域抽出部 ５０６ 画像間対応付け及び距離画像生成部 ５１１ 投光手段 ６０１ 計測対象 ６０２ 投光手段 ６０３ 投光パターン ６０４ カメラ ６０５ ハーフミラー ６１１ 照射光 ６１２ 入射光

フロントページの続き Ｆターム(参考） 2F065 AA54 BB05 BB28 DD03 FF05 FF09 GG01 HH02 HH07 JJ05 LL00 QQ03 QQ21 QQ24 QQ32 QQ38 QQ43 RR03 5B047 AA07 BC09 BC12 CB23 DC04 5B057 BA15 DA07 DB03 DC02 DC23 DC32

Claims (15)

【特許請求の範囲】
1. 【請求項１】計測対象を異なる方向から撮影した画像を
   用いて計測対象の三次元形状を求め、距離画像を生成す
   る距離画像生成装置であり、 前記計測対象の画像を撮り込む第１カメラと、 前記第１カメラと異なる方向から前記計測対象の画像を
   撮り込む第２カメラと、 前記第２カメラと同軸または近傍位置に配置され、前記
   計測対象に光を照射する投光手段と、 前記投光手段により光照射がなされた計測対象を前記第
   １カメラによって撮り込んだ光照射基準画像に基づい
   て、距離データの算出可能な可測領域を抽出する可測領
   域抽出手段と、 前記第１カメラによって撮り込まれた第１画像と、前記
   第２カメラによって撮り込まれた第２画像との画像間対
   応付け処理により視差データを生成して、該視差データ
   に基づいて前記可測領域抽出手段の抽出した可測領域の
   みの距離画像を出力する距離画像生成手段とを有するこ
   とを特徴とする距離画像生成装置。
2. 【請求項２】前記可測領域抽出手段は、 前記計測対象の前記投光手段による光照射領域と、光非
   照射領域とを前記光照射基準画像に基づいて判別し、光
   照射領域を可測領域として抽出する構成であることを特
   徴とする請求項１に記載の距離画像生成装置。
3. 【請求項３】前記可測領域抽出手段は、 前記投光手段により光照射がなされた計測対象を前記第
   １カメラによって撮り込んだ光照射基準画像と、 前記投光手段により光照射がなされていない計測対象を
   前記第１カメラによって撮り込んだ光非照射基準画像と
   の両画像に基づいて、距離データの算出可能な可測領域
   を抽出する構成を有することを特徴とする請求項１に記
   載の距離画像生成装置。
4. 【請求項４】前記可測領域抽出手段は、 前記光照射基準画像の輝度値を示す画素値のヒストグラ
   ムを生成して、前記ヒストグラムの最大値に対応する最
   多画素値を有する画素と、その近傍であって、かつ前記
   最多画素値に対して差が予め定めた閾値以下である画素
   値を有する画素の領域を可測領域に属さない領域である
   と判定する構成を有することを特徴とする請求項１に記
   載の距離画像生成装置。
5. 【請求項５】前記可測領域抽出手段は、 前記光照射基準画像の輝度値を示す画素値と、 前記投光手段により光照射がなされていない計測対象を
   前記第１カメラによって撮り込んだ光非照射基準画像の
   輝度値を示す画素値との２つの画素値の差を示す差分画
   像のヒストグラムを生成して、前記ヒストグラムの最大
   値に対応する最多画素値を有する画素と、その近傍であ
   って、かつ前記最多画素値に対して差が予め定めた閾値
   以下である画素値を有する画素の領域を可測領域に属さ
   ない領域であると判定する構成を有することを特徴とす
   る請求項１に記載の距離画像生成装置。
6. 【請求項６】前記投光手段の照射する光は、ランダムパ
   ターンからなるパターン光であり、前記距離画像生成手
   段は、 前記第１カメラによって撮り込まれたパターン光の付与
   された第１画像と、前記第２カメラによって撮り込まれ
   たパターン光の付与された第２画像に基づいて距離画像
   を生成する構成を有することを特徴とする請求項１に記
   載の距離画像生成装置。
7. 【請求項７】前記距離画像生成手段は、前記カメラ１の
   撮り込み画像と、前記カメラ２の撮り込み画像の２つの
   画像間の対応付けを実行する画像間対応付け手段を有
   し、 前記画像間対応付け手段は、 前記可測領域抽出手段の抽出した可測領域のみの画素に
   関する画像間対応付け処理を実行する構成を有すること
   を特徴とする請求項１に記載の距離画像生成装置。
8. 【請求項８】計測対象を異なる方向から撮影した画像を
   用いて計測対象の三次元形状を求め距離画像を生成する
   距離画像生成方法であり、 計測対象の画像を第１カメラと、前記第１カメラと異な
   る方向に配置した第２カメラによって同時に撮り込む画
   像撮り込みステップであり、前記第２カメラと同軸また
   は近傍位置に配置された投光手段により光照射がなされ
   た前記計測対象の像を撮り込む画像撮り込みステップ
   と、 前記第１カメラによって撮り込んだ光照射基準画像に基
   づいて、距離データの算出可能な可測領域を抽出する可
   測領域抽出ステップと、 前記第１カメラによって撮り込まれた第１画像と、前記
   第２カメラによって撮り込まれた第２画像との画像間対
   応付け処理により視差データを生成して、該視差データ
   に基づいて前記可測領域抽出手段の抽出した可測領域の
   みの距離画像を出力する距離画像生成ステップとを有す
   ることを特徴とする距離画像生成方法。
9. 【請求項９】前記可測領域抽出ステップは、 前記計測対象の前記投光手段による光照射領域と、光非
   照射領域とを前記光照射基準画像に基づいて判別し、光
   照射領域を可測領域として抽出することを特徴とする請
   求項８に記載の距離画像生成方法。
10. 【請求項１０】前記可測領域抽出ステップは、 前記投光手段により光照射がなされた計測対象を前記第
    １カメラによって撮り込んだ光照射基準画像と、 前記投光手段により光照射がなされていない計測対象を
    前記第１カメラによって撮り込んだ光非照射基準画像と
    の両画像に基づいて、距離データの算出可能な可測領域
    を抽出することを特徴とする請求項８に記載の距離画像
    生成方法。
11. 【請求項１１】前記可測領域抽出ステップは、 前記光照射基準画像の輝度値を示す画素値のヒストグラ
    ムを生成して、前記ヒストグラムの最大値に対応する最
    多画素値を有する画素と、その近傍であって、かつ前記
    最多画素値に対して差が予め定めた閾値以下である画素
    値を有する画素の領域を可測領域に属さない領域である
    と判定することを特徴とする請求項８に記載の距離画像
    生成方法。
12. 【請求項１２】前記可測領域抽出ステップは、 前記光照射基準画像の輝度値を示す画素値と、 前記投光手段により光照射がなされていない計測対象を
    前記第１カメラによって撮り込んだ光非照射基準画像の
    輝度値を示す画素値との２つの画素値の差を示す差分画
    像のヒストグラムを生成して、前記ヒストグラムの最大
    値に対応する最多画素値を有する画素と、その近傍であ
    って、かつ前記最多画素値に対して差が予め定めた閾値
    以下である画素値を有する画素の領域を可測領域に属さ
    ない領域であると判定することを特徴とする請求項８に
    記載の距離画像生成方法。
13. 【請求項１３】前記投光手段の照射する光は、ランダム
    パターンからなるパターン光であり、 前記距離画像生成ステップは、 前記第１カメラによって撮り込まれたパターン光の付与
    された第１画像と、前記第２カメラによって撮り込まれ
    たパターン光の付与された第２画像に基づいて距離画像
    を生成することを特徴とする請求項８に記載の距離画像
    生成方法。
14. 【請求項１４】前記距離画像生成ステップは、 前記カメラ１の撮り込み画像と、前記カメラ２の撮り込
    み画像の２つの画像間の対応付けを実行する画像間対応
    付けステップを有し、 前記画像間対応付けステップは、 前記可測領域抽出ステップにおいて抽出された可測領域
    のみの画素に関する画像間対応付け処理を実行すること
    を特徴とする請求項８に記載の距離画像生成方法。
15. 【請求項１５】計測対象を異なる方向から撮影した画像
    を用いて計測対象の三次元形状を求め距離画像を生成す
    る距離画像生成処理をコンピュータ・システム上で実行
    せしめるコンピュータ・プログラムを提供するプログラ
    ム提供媒体であって、前記コンピュータ・プログラム
    は、 計測対象の画像を第１カメラと、前記第１カメラと異な
    る方向に配置した第２カメラによって同時に撮り込む画
    像撮り込みステップであり、前記第２カメラと同軸また
    は近傍位置に配置された投光手段により光照射がなされ
    た前記計測対象の像を撮り込む画像撮り込みステップ
    と、 前記第１カメラによって撮り込んだ光照射基準画像に基
    づいて、距離データの算出可能な可測領域を抽出する可
    測領域抽出ステップと、 前記第１カメラによって撮り込まれた第１画像と、前記
    第２カメラによって撮り込まれた第２画像との画像間対
    応付け処理により視差データを生成して、該視差データ
    に基づいて前記可測領域抽出手段の抽出した可測領域の
    みの距離画像を出力する距離画像生成ステップとを有す
    ることを特徴とするプログラム提供媒体。