JP2006221603A - ３次元情報復元装置、３次元情報復元方法および３次元情報復元プログラム - Google Patents

Abstract

【課題】 撮影された複数の物体の画像から、物体の形状や位置などの３次元情報を高速に復元する。
【解決手段】 画像入力部１０１で撮影された複数の画像を用いて探索空間計算部１０３で、画像間の視差候補を探索する範囲を計算する。次に、類似度計算部１０４ａで、任意の視差候補に対して、探索空間計算部１０３で定まる探索範囲内で、基準画像上の投影点と別画像上の投影点との間の類似度を計算する。その際、類似度計算部１０４ａは自身で計算した基準画像上の画素と別画像上の画素の輝度の積和をメモリ１０４ｃに記憶しておき、これを用いて別の基準画像上の投影点とそれに対応する別画像上の投影点の間の類似度を求める。次に視差検出部１０４ｂで、基準画像上の投影点ごとに類似度が最大となる視差を求め、これを用いて３次元位置計算部１０５で物体の３次元位置を計算する。
【選択図】 図１

Description

本発明は、３次元情報復元装置および３次元情報復元方法に係り、特に複数の撮影手段により撮影された画像から、撮影された物体の各画像上における視差を求めることにより、物体の３次元形状や物体までの距離といった３次元情報を復元する３次元情報復元装置
、３次元情報復元方法および３次元情報復元プログラムに関する。

従来から、自律作業ロボットや自動走行車を実現するために不可欠な技術として、物体の３次元形状や障害物の３次元位置を計測する３次元情報復元装置の技術が開発されてきた。特に、複数のＴＶカメラを用いて対象空間の３次元情報をステレオ視に基づいて復元する３次元情報復元装置は、取得する画像の解像度を高くできることや計測精度の点で優れていること、また比較的安価に実現できることなどから有効な方法として広く利用されている。

例えば、複数のカメラにより取得された複数の画像から選択された１枚の基準画像上の任意の投影点と、他の画像上における対応する投影点との間の視差を求めることにより３次元情報を復元する方法として、撮影された各画像に表れた基準面（例えば、道路や床など）よりも物体が上に存在することを利用して視差の探索範囲を制限し、高速に３次元情報を復元する方法が知られている（例えば、特許文献１を参照。）。

ここで、各画像間における対応点の探索を正確に行うためには、真の対応点と類似した輝度パターンを持つ投影点との間で誤った対応づけが生じることを防ぐために、類似度を計算するためのウィンドウを大きく設定する必要がある。しかし、このような場合に類似度計算を効率的に行うことにより、高速に３次元情報を復元する方法については、これまで十分な検討が行われていなかった。

また、自律作業ロボットや自動走行車への応用のためには、複数のカメラから時系列で静止画像データを受け取り、実時間で３次元情報を復元していく機能が必要となる。しかし、このような実時間処理が可能な３次元情報復元装置については、これまで十分な検討が行われていなかった。
特開２００２−１６３６３９号公報（頁７、図４）

上述したように、従来の３次元情報復元装置には、基準画像上の投影点と別画像上の対応する投影点の間の類似度を効率的に計算するものは存在しなかった。

また上述したように、従来の３次元情報復元装置では、カメラから時系列で送られる静止画像データを実時間で処理して３次元情報を復元するものは存在しなかった。

本発明は、上記従来の要望に鑑みてなされたものであって、任意の視差候補に対して基準画像上の投影点と別画像上の対応する投影点との間の類似度を計算する場合に、すでに計算した基準画像上の画素と別画像上の対応する画素との間の輝度の積和を記憶しておき、これを用いて別の基準画像上の投影点と別画像上の対応する投影点との間の類似度を計算することにより、高速に３次元情報を復元することを可能とする３次元情報復元装置、３次元情報復元方法および３次元情報復元プログラムを提供することを目的とする。

また、本発明は、過去に撮影された画像から復元された３次元情報に基づいて、視差探索の細かさを定めることにより、高速に３次元情報を復元することを可能とする３次元情報復元装置、３次元情報復元方法および３次元情報復元プログラムを提供することを目的とする。

上記目的を達成するために、本発明の３次元情報復元装置は、３次元空間中の物体を撮影する撮影手段により撮影された基準画像上の任意の投影点（ｘ，ｙ）と前記撮影手段もしくは他の撮影手段によって撮影された別画像上における対応する投影点（ｘ´，ｙ´）との間の視差Ｄを、前記基準画像上の投影点（ｘ，ｙ）と視差候補ｄの３つの変数によって構成される（ｘ−ｙ−ｄ）３次元空間内で、前記基準画像上の投影点（ｘ，ｙ）と前記別画像上の投影点（ｘ´，ｙ´）との間の類似度Ｃ（ｘ，ｙ，ｄ）から求める３次元情報復元装置であって、前記物体と３次元空間中の基準面との幾何学的関係に基づいて、前記（ｘ−ｙ−ｄ）３次元空間内における視差探索範囲を定める探索範囲計算手段と、前記探索範囲計算手段で定めた前記視差探索範囲内で、前記基準画像上の投影点（ｘ，ｙ）を含むウィンドウと、前記別画像上の対応する投影点（ｘ´，ｙ´）を含む同じ大きさのウィンドウとの間で、それぞれ対応する画素間の輝度の積和を用いて、視差候補ごとに前記類似度Ｃ（ｘ，ｙ，ｄ）を計算する類似度計算手段と、前記基準画像上の投影点（ｘ，ｙ）について、前記類似度計算手段で算出した前記類似度Ｃ（ｘ，ｙ，ｄ）に基づいて視差Ｄを求める視差検出手段とを備え、前記類似度計算手段は、前記基準画像上の投影点（ｘ，ｙ）と前記別画像上の投影点（ｘ´，ｙ´）との間の前記類似度Ｃ（ｘ，ｙ，ｄ）を計算する際に得られる前記基準画像上の画素と前記別画像上の対応する画素の間の輝度の積和をメモリに記憶しておき、前記基準画像上の新たな投影点と前記別画像上の対応する新たな投影点との間で前記類似度Ｃ（ｘ，ｙ，ｄ）を計算する場合には、前記メモリに記憶された前記輝度の積和を用いて前記類似度Ｃ（ｘ，ｙ，ｄ）を計算することを特徴とする。

また、本発明の３次元情報復元方法は、３次元空間中の物体を撮影する撮影手段により撮影された基準画像上の任意の投影点（ｘ，ｙ）と前記撮影手段もしくは他の撮影手段により撮影された別画像上における対応する投影点（ｘ´，ｙ´）との間の視差Ｄを、前記基準画像上の投影点（ｘ，ｙ）と視差候補ｄの３つの変数によって構成される（ｘ−ｙｄ）３次元空間内で、前記基準画像上の投影点（ｘ，ｙ）と前記別画像上の投影点（ｘ´，ｙ´）との間の類似度Ｃ（ｘ，ｙ，ｄ）から求める３次元情報復元方法であって、前記物体と３次元空間中の基準面との幾何学的関係に基づいて、前記（ｘ−ｙ−ｄ）３次元空間内における視差探索範囲を定める探索範囲計算ステップと、前記探索範囲計算ステップで定めた前記視差探索範囲内で、前記基準画像上の投影点（ｘ，ｙ）を含むウィンドウと、前記別画像上の対応する投影点（ｘ´，ｙ´）を含む同じ大きさのウィンドウとの間で、それぞれ対応する画素間の輝度の積和を用いて、視差候補ごとに前記類似度Ｃ（ｘ，ｙ，ｄ）を計算する類似度計算ステップと、前記基準画像上の投影点（ｘ，ｙ）について、前記類似度計算ステップで算出した前記類似度Ｃ（ｘ，ｙ，ｄ）に基づいて視差Ｄを求める視差検出ステップとを有し、前記類似度計算ステップでは、前記基準画像上の投影点（ｘ，ｙ）と前記別画像上の投影点（ｘ´，ｙ´）との間の前記類似度Ｃ（ｘ，ｙ，ｄ）を計算する際に得られる前記基準画像上の画素と前記別画像上の対応する画素の間の輝度の積和をメモリに記憶しておき、前記基準画像上の新たな投影点と前記別画像上の対応する新たな投影点との間で前記類似度Ｃ（ｘ，ｙ，ｄ）を計算する場合には、前記メモリに記憶された前記輝度の積和を用いて前記類似度Ｃ（ｘ，ｙ，ｄ）を計算することを特徴とする。

また、本発明の３次元情報復元プログラムは、コンピュータに、３次元空間中の物体を撮影する撮影手段により撮影された基準画像上の任意の投影点（ｘ，ｙ）と前記撮影手段もしくは他の撮影手段により撮影された別画像上における対応する投影点（ｘ´，ｙ´）との間の視差Ｄを、前記基準画像上の投影点（ｘ，ｙ）と視差候補ｄの３つの変数によって構成される（ｘ−ｙ−ｄ）３次元空間内で、前記基準画像上の投影点（ｘ，ｙ）と前記別画像上の対応する投影点（ｘ´，ｙ´）との間の類似度Ｃ（ｘ，ｙ，ｄ）から求めさせる３次元情報復元プログラムであって、前記物体と３次元空間中の基準面との幾何学的関係に基づいて、前記（ｘ−ｙ−ｄ）３次元空間内における視差探索範囲を定める探索範囲計算機能と、前記探索範囲計算機能で定めた前記視差探索範囲内で、前記基準画像上の投影点（ｘ，ｙ）を含むウィンドウと、前記別画像上の投影点（ｘ´，ｙ´）を含む同じ大きさのウィンドウとの間で、それぞれ対応する画素間の輝度の積和を用いて、視差候補ごとに前記類似度Ｃ（ｘ，ｙ，ｄ）を計算する類似度計算機能と、前記基準画像上の投影点（ｘ，ｙ）について、前記類似度計算機能で算出した前記類似度Ｃ（ｘ，ｙ，ｄ）に基づいて視差Ｄを求める視差検出機能とを備え、前記類似度計算機能は、前記基準画像上の投影点（ｘ，ｙ）と前記別画像上の投影点（ｘ´，ｙ´）との間の前記類似度Ｃ（ｘ，ｙ，ｄ）を計算する際に得られる前記基準画像上の画素と前記別画像上の対応する画素の間の輝度の積和をメモリに記憶しておき、前記基準画像上の新たな投影点と前記別画像上の対応する新たな投影点との間で前記類似度Ｃ（ｘ，ｙ，ｄ）を計算する場合には、前記メモリに記憶された前記輝度の積和を用いて前記類似度Ｃ（ｘ，ｙ，ｄ）を計算することを特徴とする。

本発明によれば、任意の視差候補に対して基準画像上の投影点と別画像上の対応する投影点との間の類似度を計算する場合に、一度計算した基準画像上の画素と別画像上の対応する画素との間の輝度の積和をメモリに記憶しておき、基準画像上の新たな投影点と別画像上の対応する新たな投影点との間の類似度を、メモリに記憶した輝度の積和を用いて計算することにより、高速に３次元情報を復元することが可能となる。

以下、本発明の実施形態について説明する。

はじめに、ステレオ視に基づく３次元情報の復元方法について、図３を用いて簡単に説明する。ここでは簡単のため、図３（ａ）に示すように２つのカメラを左右に配置して３次元空間を撮影し、カメラから得られた左右の画像情報から、各画像に表れた３次元空間中の物体などの存在位置（Ｘ，Ｙ，Ｚ）を求めるものとする。

図３（ａ）のように左右に配置されたカメラで３次元空間を撮影すると、３次元空間中の同一点であっても、２つのカメラから得られる左右の画像上では、図３（ｂ）に示すように、その投影点は各画像上の異なった位置に表れる。このような３次元空間中の同一点の各画像間における表示位置のズレを視差と呼ぶ。ここで、左右の画像間に表れる視差は、その点の３次元空間中の存在位置により異なる。そこで、撮影された一方の画像を基準画像とし、基準画像上に表れた各投影点に対応する投影点を他方の画像上から探索して、その視差を求めれば、三角測量の原理に基づいて、基準画像上に表れた各投影点の３次元空間中の存在位置（Ｘ，Ｙ，Ｚ）を求めることが可能となる。そして、基準画像上に表れたすべての投影点について、その３次元空間中の存在位置を求めることにより、３次元空間中の物体などの存在位置を復元することが可能となる。

このように、三角測量の原理に基づいて基準画像上に表れた各投影点の３次元空間中の存在位置（Ｘ，Ｙ，Ｚ）を求めるためには、まず基準画像上の各投影点について、他方の画像上で対応する投影点を探索し、その視差を求める必要がある。ここで、ステレオ画像上においては、図４に示すように左側カメラからの左画像を基準画像とすると、その基準画像上の投影点Ｐの右側カメラからの右画像上における対応する投影点Ｐ´は、同図に示すエピポーララインと呼ばれる線上にある。そのため基準画像上の投影点Ｐに対して、エピポーラライン上で対応する投影点Ｐ´を探索し、投影点Ｐと投影点Ｐ´から視差を求めれば、基準画像上における任意の点について３次元情報を復元することが可能になる。

ここで、上述した基準画像上の投影点Ｐに対応する別画像上における投影点Ｐ´の探索は、基準画像上の投影点Ｐと右画像上のエピポーラライン上の各投影点との間で類似度を計算し、その類似度が最大となる点を求めることにより行うことができる。具体的には、図５に示すように、投影点Ｐを中心とする一定の範囲（ウィンドウ）内の各画素における輝度と、エピポーラライン上の各点を中心とするウィンドウ内の各画素における輝度との間で類似度を求め、この類似度が最大となる投影点Ｐ´を対応点とすればよい。

（第１の実施形態）
図１は、本発明の第１の実施形態に係わる３次元情報復元装置を示すブロック図である。この第１の実施形態に係わる３次元情報復元装置は、画像入力部１０１、画像蓄積部１０２、探索空間計算部１０３、視差計算部１０４、３次元位置計算部１０５、出力部１０６などによって構成されている。また、視差計算部１０４は、類似度計算部１０４ａ、視差検出部１０４ｂおよびメモリ１０４ｃによって構成されている。

画像入力部１０１は、３次元空間中に存在する物体を撮影する機能を有する複数のカメラによって構成される。ここでは簡単のため、画像入力部１０１は図６に示すように、左右に平行に設置された２台のカメラによって構成されているものとする。すなわち、３次元空間の座標系の原点を左右カメラの視点（レンズ中心）にとり、左右のカメラの視点を結ぶ直線をＸ軸、上下方向にＹ軸（下方向が正方向）、カメラ光軸方向にＺ軸を設定すると、左右のカメラの位置はそれぞれ（−Ｂ，０，０）、（Ｂ，０，０）と表すことができるものとする。また、道路や床といった基準面は、このようにして定められた３次元座標上ではＹ＝Ｙ_０と表されるものとする。

画像蓄積部１０２は、画像入力部１０１で撮影された画像データを記憶する機能を有し、例えば、半導体メモリ、ハードディスク、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＡＭ，ＤＶＤ−Ｒなどが用いられる。

探索空間計算部１０３は、画像蓄積部１０２に記憶された複数の画像データから視差の探索範囲を計算する機能を有する。

視差計算部１０４は、類似度計算部１０４ａ、視差検出部１０４ｂおよびメモリ１０４ｃによって構成される。類似度計算部１０４ａは、すべての視差候補ｄに対して、左（第１）カメラから得られた左画像（以下、基準画像と称する）上の投影点（ｘ，ｙ）と右（第２）カメラから得られた右画像（以下、別画像と称する）上の対応する投影点（ｘ´，ｙ´）との間の類似度を計算する機能を有する。視差検出部１０４ｂは、類似度計算部１０４ａで計算された類似度から、基準画像上の投影点ごとに視差を検出する機能を有する。メモリ１０４ｃは、類似度計算部１０４ａで計算された基準画像上の画素と別画像上の対応する画素の間の輝度の積和を記憶する機能を有する。

３次元位置計算部１０５は、視差計算部１０４で計算された視差に基づいて、画像上に表れた３次元空間中の物体などの存在位置を計算する機能を有する。

出力部１０６は、３次元位置計算部１０５で計算された物体などの３次元位置を表示する機能を有する。例えば、ＣＲＴディスプレイや液晶ディスプレイなどが用いられる。

次に、第１の実施形態に係る３次元情報復元装置の動作について、図１および図２を用いて説明する。図２は、第１の実施形態の動作を示すフローチャートである。

まず、画像入力部１０１において、２台のカメラによって３次元空間中の物体などの画像が撮影され、左右２台のカメラから得られた複数の画像は画像蓄積部１０２に送られる（ステップＳ１０１）。

画像入力部１０１から送られた複数の画像は、画像蓄積部１０２において記憶される（ステップＳ１０２）。

探索空間計算部１０３は、３次元空間中の物体が基準面よりも上方に存在することを利用して、画像蓄積部１０２に記憶された複数の画像データから視差の探索範囲を計算する（ステップＳ１０３）。以下、左右２台のカメラと基準面との幾何学的関係に基づいて、視差探索範囲を定める方法について説明する。

図６に示す実空間上の存在位置（Ｘ，Ｙ，Ｚ）の左右画像への投影点をそれぞれ（ｘ，ｙ）および（ｘ´，ｙ´）、レンズの焦点距離をＦとすると、（１）式の関係式が成り立つ。

ここで本実施形態では、上述したように２台のカメラは左右に平行に設置しているため、基準画像上の任意の投影点に対する別画像上におけるエピポーララインはｙ＝ｙ´と仮定している。

これらを連立させて存在位置（Ｘ，Ｙ，Ｚ）について解くと、（２）式の関係が成り立つ。

ここで、ｄ＝ｘ−ｘ´であり、ｄは左右画像上の対応する投影点の表示位置のズレ、すなわち視差候補を表す。また、３次元空間中の物体がカメラの前方にあることから、（３）式が成り立つ。

この（３）式と（２）式より、（４）式が成り立つ。

また、３次元空間中の物体が基準面Ｙ＝Ｙ_０より上方にあることを考慮すれば、（５）式が成り立つ。

この(５)式と（２）式より、（６）式が成り立つ。

ここで、図７（ａ）に示すような基準画像上の投影点（ｘ，ｙ）と視差候補ｄで構成される（ｘ−ｙ−ｄ）３次元空間Ｖを考えると、（６）式で表される領域は、図７（ａ）に示す平面π：ｙ＝Ｙ_０ｄ／２Ｂによって分割される２つの空間のうち、上側の空間（すなわち、カメラが存在する空間）を表す。図７（ｂ）は、（ｘ−ｙ−ｄ）３次元空間Ｖをｙ−ｄ平面に平行な面で切ったときにできる断面を表したものである。この場合、図７（ｂ）に斜線で示された部分が（６）式を満たす領域である。

そして、（ｘ−ｙ−ｄ）３次元空間Ｖの中で（６）式を満たさない領域は、実空間では床や道路などの基準面よりも下側の空間、すなわち物体が存在しない空間であるので、この空間は、視差の探索空間から排除することができる。一方、（ｘ−ｙ−ｄ）３次元空間Ｖの中で（６）式を満たす領域は、実空間では基準面よりも上側の空間となるため、この領域を視差の探索空間とすればよい。

探索空間計算部１０３は、このようにして定まる視差を求めるための探索空間情報を視差計算部１０４に送る。

視差計算部１０４では、まず類似度計算部１０４ａが、すべての視差候補ｄに対して、基準画像上の投影点（ｘ，ｙ）と別画像上の対応する投影点（ｘ´，ｙ´）との間の類似度を計算する（ステップＳ１０４）。

ここで視差候補ｄは、ｄ＝０（すなわち視差なし）から、あらかじめ定めた視差の最大値ｄＭａｘまでの間を、適当な間隔Δｄで分割することによって定める。視差候補の間隔Δｄを小さく設定すれば、視差を詳細に探索することが可能になり、例えば、Δｄを１とすれば、視差を１画素単位で求めることが可能になる。

また、ここでは類似度として、正規化相互相関（例えば、浅田：「ダイナミックシーンの理解」、電子情報通信学会、ｐｐ．１２−１４参照）を用いるものとする。以下、正規化相互相関により、基準画像上の投影点（ｘ，ｙ）と別画像上の対応する投影点（ｘ´，ｙ´）との間の類似度を計算する方法について説明する。

まず、図８に示すように、基準画像上の投影点Ｐ（ｘ，ｙ）と別画像上の投影点Ｐ´（ｘ´，ｙ´）のそれぞれを中心とする（２ｗ＋１）×（２ｗ＋１）サイズの２つのウィンドウを考える。ここで、基準画像上の投影点Ｐ（ｘ，ｙ）における画素の輝度をｆ（ｘ，ｙ）、別画像上の投影点Ｐ´（ｘ´，ｙ´）における画素の輝度をｇ（ｘ´，ｙ´）とする。このとき類似度である正規化相互相関Ｃ（ｘ，ｙ，ｄ）は、ｄ＝ｘ−ｘ´およびｙ＝ｙ´であることを用いて、（７）式により求めることができる。

ここで、Ｎはウィンドウ内の画素数を表し、Ｎ＝（２ｗ＋１）^２で表される。また、σ_１、σ_２は各ウィンドウ内における各画素の輝度の分散を表し、（８）式により求められる。

ここでＳ_１、Ｓ_２、Ｓ_１１、Ｓ_２２、Ｓ_１２を（９）式にように定義すると、類似度である正規化相互相関Ｃ（ｘ，ｙ，ｄ）は（１０）式のように表すことができる。

ここでＳ_１およびＳ_２は、それぞれ、各画像におけるウィンドウ内の画素の輝度ｆおよび輝度ｇの総和を表し、Ｓ_１１およびＳ_２２は、それぞれ、各画像におけるウィンドウ内の画素の輝度ｆおよび輝度ｇの自乗の総和を表す。これらＳ_１、Ｓ_２、Ｓ_１１、Ｓ_２２は、視差候補ｄによらず計算しておき、類似度計算部１０４ａにおいて、各ウィンドウについてあらかじめ計算してメモリ１０４ｃに記憶しておけば、視差候補ｄを変化させた場合に再度計算する必要がなく、高速な類似度の計算が可能となる。

一方、Ｓ_１２は各画像のウィンドウ内の対応する画素間の輝度の積和であるため、ウィンドウ内の各画素の輝度のみならず、視差候補ｄにも依存する値となる。

ここで視差候補ｄに対する投影点（ｘ，ｙ）のＳ_１２をＳ_１２（ｘ，ｙ，ｄ）とおくと、Ｓ_１２（ｘ，ｙ，ｄ）は（９）式を変形して、（１１）式のように表すことができる。

ただし、Ｍ（ｘ，ｙ，ｄ）は、（１２）式のように定義した。すなわち、Ｍ（ｘ，ｙ，
ｄ）は、各画像におけるウィンドウ内で、ｘを固定して、ｙについて対応する画素間の輝
度の積和を求めたものである。

ここで、（１２）式で定義したＭ（ｘ，ｙ，ｄ）を用いると、投影点（ｘ，ｙ）の１画素隣の投影点（ｘ−１，ｙ）のＳ１２（ｘ−１，ｙ，ｄ）は、（１３）式のようになる。

すなわち、（１１）式と（１３）式から、Ｓ_１２（ｘ，ｙ，ｄ）とＳ_１２（ｘ−１，ｙ，ｄ）は、Ｍ（ｘ−ｗ，ｙ，ｄ）からＭ（ｘ−１＋ｗ，ｙ，ｄ）の項が共通していることがわかる。これらの共通した項は、図９に示すように、投影点（ｘ，ｙ）と投影点（ｘ−１，ｙ）との間のウィンドウが重複した部分に由来するものである。

したがって、類似度計算部１０４ａにおいてＳ_１２（ｘ−１，ｙ，ｄ）を計算した際に求めた、Ｍ（ｘ−ｗ，ｙ，ｄ）からＭ（ｘ−１＋ｗ，ｙ，ｄ）の値をメモリ１０４ｃに記憶しておけば、次にＳ_１２（ｘ，ｙ，ｄ）を計算する際に、あらたにＭ（ｘ＋ｗ，ｙ，ｄ）のみを計算して、その値と先にメモリ１０４ｃに記憶した値を（１３）式に代入することによってＳ_１２（ｘ，ｙ，ｄ）を求めることができ、効率的な計算が可能になる。

また、（１１）式で表されるＳ_１２（ｘ，ｙ，ｄ）は、Ｓ_１２（ｘ−１，ｙ，ｄ）を用いると、（１４）式のように求めることもできる。

したがって、類似度計算部１０４ａにおいてＳ_１２（ｘ−１，ｙ，ｄ）を計算した際に、既に計算してあるＭ（ｘ−１−ｗ，ｙ，ｄ）とＳ_１２（ｘ−１，ｙ，ｄ）をメモリ１０４ｃに記憶しておけば、次にＳ_１２（ｘ，ｙ，ｄ）を計算する際に、あらたにＭ（ｘ＋ｗ，ｙ，ｄ）のみを計算して、その値と先にメモリ１０４ｃに記憶した値を（１４）式に代入することによってもＳ_１２（ｘ，ｙ，ｄ）を求めることが可能である。

そして、さらにＳ_１２（ｘ，ｙ，ｄ）を計算した際に求めた、Ｓ_１２（ｘ，ｙ，ｄ）と既に計算してあるＭ（ｘ−ｗ，ｙ，ｄ）をメモリ１０４ｃに記憶しておけば、さらに１画素だけ隣の投影点（ｘ＋１，ｙ）についてＳ_１２（ｘ＋１，ｙ，ｄ）を計算する際に、Ｍ（ｘ＋１＋ｗ，ｙ，ｄ）のみを計算すればよいことになる。そして、その値と先にメモリ１０４ｃに記憶した値を（１０）式に代入すれば、視差候補ｄにおける投影点（ｘ＋１，ｙ）の正規化相互相関Ｃ（ｘ＋１，ｙ，ｄ）を求めることが可能になる。

このように、類似度計算部１０４ａにおいて、Ｓ_１２（ｘ，ｙ，ｄ）が計算されるたびに、Ｓ_１２（ｘ，ｙ，ｄ）およびＭ（ｘ＋ｗ，ｙ，ｄ）をメモリ１０４ｃに記憶すれば、一度計算された画素間の輝度の積和を再度計算する必要がなくなるため、効率的に類似度の計算を行うことが可能になる。

そこで、図１０に示すフローチャートを用いて、類似度計算部１０４ａにおいて、すべての視差候補ｄに対して正規化相互相関Ｃ（ｘ，ｙ，ｄ）を効率的に求める方法について説明する。

まず、ステップＳ２０１では、視差候補ｄによらず計算することができるＳ_１、Ｓ_２、Ｓ_１１、Ｓ_２２を求め、メモリ１０４ｃに記憶する。

次に、ステップＳ２０２では、視差候補ｄとして一定の初期値ｄ_０が設定される。初期値は、例えば、ｄ_０＝０とすればよい。

ステップＳ２０３では、基準画像上の一定の投影点（ｘ，ｙ）＝（ｘ_０，ｙ_０）が初期値として設定される。初期値は、例えば（ｘ，ｙ）＝（０，０）とすればよい。

次に、ステップＳ２０４では、（１４）式に基づいて、Ｓ_１２（ｘ，ｙ，ｄ）が計算される。ここで、上述したように、Ｓ_１２（ｘ−１，ｙ，ｄ）およびＭ（ｘ−１−ｗ，ｙ，ｄ）が、すでにメモリ１０４ｃに記憶されていれば、あらたにＭ（ｘ＋ｗ，ｙ，ｄ）のみを計算し、これらを（１４）式に代入してＳ_１２（ｘ，ｙ，ｄ）を求める。

ステップＳ２０４で求められたＳ_１２（ｘ，ｙ，ｄ）およびＭ（ｘ＋ｗ，ｙ，ｄ）は、ステップ２０５でメモリ１０４ｃに記憶される。

次に、ステップＳ２０６では、メモリ１０４ｃに記憶されたＳ_１、Ｓ_２、Ｓ_１１、Ｓ_２２およびＳ_１２（ｘ，ｙ，ｄ）を（１０）式に代入して正規化相互相関Ｃ（ｘ，ｙ，ｄ）が求められる。このように、すでに一度計算されたウィンドウ間の画素間の輝度の積和をメモリ１０４ｃに記憶しておき、これを用いて正規化相互相関を計算することにより、効率的に類似度を計算していくことが可能になる。

次にステップＳ２０７では、基準画像上の投影点（ｘ，ｙ）が１画素だけシフトされる。

次にステップＳ２０８では、投影点が１画素だけシフトした新たな基準画像上の投影点（例えば、ｘ＋１，ｙ）が、探索空間計算部１０３で求められた（６）式を満たす探索空間に含まれているか否かが判定される。すなわち、視差候補がｄである場合、図１１に斜線で示される領域が探索空間Φとなるため、基準画像上の投影点（ｘ＋１，ｙ）が図１２（ａ）に示すように探索空間Φの外にあればステップＳ２０９に進み、図１２（ｂ）に示すように探索空間Φの内にあれば、ステップＳ２０４に戻る。そして、ステップＳ２０４では、１画素だけシフトした投影点間の正規化相互相関Ｃが計算される。このステップＳ２０４〜Ｓ２０８による計算は、視差候補がｄである探索空間Φにおいて繰り返し実行される。

次にステップＳ２０９では、視差候補ｄに対して、基準画像上のすべての投影点について正規化相互相関Ｃが計算されたか否かが判定される。そして、視差候補ｄについて、すべての投影点についての計算が完了した場合にはステップＳ２１０に進み、計算が完了していなければステップＳ２０７に戻る。

次にステップＳ２１０では、すべての視差候補についての処理が完了したか否かが判定される。すなわち、視差候補ｄが、あらかじめ定めた視差候補の最大値ｄＭＡＸに達したか否かが判定される。視差候補ｄがｄＭＡＸに達していない、すなわち、すべての視差候補についての処理が完了していなければステップＳ２１１へ進む。逆に、視差候補ｄがｄＭＡＸに達している、すなわち、すべての視差候補についての処理が完了していれば処理を終了する。

次にステップＳ２１１では、視差候補ｄが１画素だけシフトされ（すなわちｄ＝ｄ＋１）、ステップＳ２０３に戻る。そして、視差候補が１画素だけシフトした時の各投影点間の正規化相互相関Ｃが上述した同じ手順により計算される。このステップＳ２０３〜Ｓ２１１による計算は、すべての視差候補に対して繰り返し実行される。

以上のようなフローチャートにしたがって、類似度計算部１０４ａにおいて、すべての視差候補ｄに対して正規化相互相関Ｃを求めれば、基準画像上の隣り合う投影点について、ウィンドウが重複する部分で基準画像上の投影点の画素と、対応する別画像上の投影点の画素の間で輝度の積和を繰り返して計算する必要がなくなり、効率的で高速な類似度の計算を実現することが可能になる。さらに、探索空間計算部１０３で求まる視差探索範囲に基づいて、探索範囲外の基準画像上の投影点については類似度の計算を行わないため、高速な処理を実現することが可能になる。

視差検出部１０４ｂは、類似度計算部１０４ａで得られた視差候補ごとの類似度を用いて、基準画像上の各投影点における視差Ｄを決定する（ステップＳ１０５）。基準画像上の投影点（ｘ，ｙ）についての視差Ｄは、類似度計算部１０４ａで得られた正規化相互相関Ｃ（ｘ，ｙ，ｄ）が、視差候補ｄについて最大となる視差とすればよい。すなわち視差Ｄは、正規化相互相関Ｃ（ｘ，ｙ，ｄ）から、（１５）式によって求めることができる。

この（１５）式により得られた基準画像上の各投影点の視差Ｄは、次に３次元位置計算部１０５に送られる。

３次元位置計算部１０５では、視差計算部１０４で得られた基準画像上の各投影点の視差Ｄから、基準画像上に表れた物体などの３次元空間中の存在位置（Ｘ，Ｙ，Ｚ）を計算する（ステップＳ１０６）。３次元空間中の存在位置（Ｘ，Ｙ，Ｚ）は、基準画像上の投影点（ｘ，ｙ）および視差計算部１０４で得られた視差Ｄを用いて、（２）式によって求めることができる。

出力部１０６では、３次元位置計算部１０５で得られた画像上の各点の３次元位置が出力される（ステップＳ１０７）。出力部１０６としては、例えばＣＲＴディスプレイや液晶ディスプレイを用いることができる。

このように第１の実施形態に係る３次元情報復元装置によれば、基準画像上の任意の投影点と別画像上における対応する投影点との間の類似度を計算する際に、基準画像上の点を含む一定の大きさのウィンドウと、別画像上における対応する投影点を含む同じ大きさのウィンドウとの間の対応する各画素間の輝度の積和をメモリ１０４ｃに記憶しておき、視差探索範囲における新たに基準画像上の別の投影点と、別画像上における対応する投影点との間の類似度を計算する場合に、前記メモリ１０４ｃに記憶された各画素間の輝度の積和を用いて類似度を計算することにより、高速に視差の探索を行うことが可能となる。

なお、上述した実施形態では、類似度として正規化相互相関を用いたが、類似度は（１６）式に示すように、基準画像上の画素と別画像上の対応する画素の間の輝度の差の絶対値の総和Ｄ_ｓａｄであってもよく、（１７）式に示すように、輝度の差の自乗の総和Ｄ_ｓｓｄであってもよい。

これらの類似度を用いる場合であっても、基準画像上の任意の投影点と別画像上における対応する投影点との間の類似度を計算する際に、基準画像上の画素と別画像上の対応する画素の間の輝度の積和をメモリ１０４ｃに記憶しておき、新たに基準画像上の別の投影点と、別画像上における対応する投影点との間の類似度を計算する場合に、前記メモリ１０４ｃに記憶された各画素間の輝度の積和を用いて類似度を計算することにより、再度、各ウィンドウ内の対応する画素の輝度の積和を計算する必要がなくなり、効率的に類似度の計算をすることが可能になる。

また、上述した実施形態では、左右に平行に設置された２台のカメラを用いて左右の画像を撮影しているが、１台のカメラのみを用いてこれらの画像を撮影することも可能である。この場合、まず図６において（−Ｂ，０，０）の位置にカメラを配置して左画像（基準画像）を撮影し、次に、このカメラを（Ｂ，０，０）の位置に移動させて右画像を撮影すればよい。このようにすることで、１台のカメラをのみを用いて２台のカメラを用いた場合と同様の画像を撮影することが可能になる。

また、上述した実施形態では、基準面の方程式（Ｙ＝Ｙ_０）が既知であるとして説明したが、基準面の方程式は撮影された画像から求めることが可能であり、その求めた方程式から視差Ｄの探索範囲を計算することも可能である。

以下では、撮影された画像から基準面の方程式を求める方法の一例として、２台のカメラを用いて撮影された画像上において、基準面上に表れた２本の線（例えば、道路面上の白線）から基準面の方程式を算出する方法について説明する。

図１３に示すように、左右の画像上に２本の線が表れており、左画像（基準画像）上の２つの線をそれぞれＬ_１およびＬ_２、右画像（別画像）上の２つの線をそれぞれＬ_１´およびＬ_２´とする。また、線Ｌ_１およびＬ_１´の各画像上における方程式を、それぞれｘ＝ａ_１ｙ＋ｂ_１およびｘ´＝ａ_１´ｙ´＋ｂ_１´とする。ここで、前述したように左右のカメラが平行に設置されている場合には、（１）式に示すようにｙ＝ｙ´という関係が成り立つので、線Ｌ１上の任意点は（ｘ，ｙ）＝（ａ_１ｔ＋ｂ_１，ｔ）および線Ｌ１´上の対応する任意点（ｘ´，ｙ´）＝（ａ_１´ｔ＋ｂ_１´，ｔ）とすることができる。ただし、ｔは任意のパラメータである。

これらの任意点と（１）式を用いれば、基準面の方程式αＸ＋βＹ＋γＺ＝１から（１８）式が得られる。

ただし、Δａ_１＝ａ_１−ａ_１´およびΔｂ_１＝ｂ_１−ｂ_１´である。（１８）式は、任意のｔについて成り立つので、（１９）式が得られる。

同様に、線Ｌ_２とＬ_２´についての各画像上における方程式を、それぞれｘ＝ａ_２ｙ＋ｂ_２およびｘ´＝ａ_２´ｙ´＋ｂ_２´とすれば、（２０）式が得られる。

（１９）式と（２０）式を（α，β，γ）について解けば、基準面の方程式を求めることができる。

ここで３次元空間中の物体は、この基準面よりも上方（すなわち、左右２台のカメラが存在する空間）に存在するので、（２１）式が視差を探索する空間を示す方程式となる。

上述した第１の実施形態によれば、基準面の方程式を撮影された画像から求めることができるため、例えば撮影している複数のカメラが外部からの振動などによって動き、基準面が時々刻々と変化する場合であっても、視差の探索範囲を正確に求めることが可能になる。

また、上述した第１の実施形態では基準面をＹ軸に垂直な平面としたが、基準面は平面である必要はなく、曲面であっても同様の方法によって高速に３次元情報を復元することが可能である。

なお、この３次元情報復元装置は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることで実現することも可能である。すなわち、探索空間計算部１０３、類似度計算部１０４ａ、視差検出部１０４ｂおよび３次元位置計算部１０５は、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、３次元情報復元装置は、上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。また、画像蓄積部１０２およびメモリ１０４ｃは、上記のコンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスクもしくはＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒなどの記憶媒体などを適宜利用して実現することができる。

（第２の実施形態）
第１の実施形態では、類似度計算部１０４ａにおいて、すべての視差候補について、探索範囲内の基準画像上の投影点と別画像上の対応する投影点との間の類似度を計算していた。しかし、撮影された画像に表れた物体の３次元位置や３次元形状を復元することを目的とする場合には、物体部分では視差を正確に探索する一方、背景部分では視差を荒く探索することで、視差の探索のために必要となる計算量を減らすことができ、より高速な３次元情報の復元が可能となる。

ここで、複数のカメラから時系列で画像入力部１０１に静止画像データが入力され、各時刻ごとに静止画像データから３次元情報を復元する場合を考える。この場合、複数のカメラで撮影された画像に移動物体がまったく含まれていなければ、各時刻の静止画像データを用いて得られる基準画像上の投影点と別画像上の対応する投影点との間の視差は、時刻によらず一定となる。また、撮影された画像に移動物体が含まれている場合であっても、連続する静止画像データ間では、その移動物体の静止画像上の表示位置は近いと考えられるため、各時刻の静止画像データを用いて得られる基準画像上の投影点と別画像上の対応する投影点との間の視差も、連続する時刻では近いものとなる。

そこで、まずある時刻（ｔ）の静止画像データを用いて基準画像上の投影点と別画像上の対応する投影点との間の視差を求め、次にその視差から静止画像データに表れた物体の３次元空間中の存在位置を求める。そして、次の時刻（ｔ＋１）の静止画像データから基準画像上の投影点と別画像上の対応する投影点との間の視差を求める場合に、過去の時刻の静止画像データから求められた移動物体の存在位置の周辺では視差を正確に探索し、一方、それ以外の部分では視差を荒く探索する。このようにすることで、移動物体についての視差が正確に求められ、かつ視差探索のための計算量も削減することができ、高速な３次元情報の復元が可能となる。

図１４は、本発明の第２の実施形態に係わる３次元情報復元装置を示すブロック図である。

この第２の実施形態に係わる３次元情報復元装置は、画像入力部２０１、画像蓄積部２０２、探索空間計算部２０３、探索評価値計算部２０４、視差計算部２０５、３次元位置計算部２０６、出力部２０７などから構成されている。また、視差計算部２０５は、類似度計算部２０５ａ、視差検出部２０５ｂおよびメモリ２０５ｃから構成されている。

探索評価値計算部２０４は、過去に視差計算部２０５で求められた視差から物体の存在位置を求め、これに基づいて視差探索の評価値（視差探索の細かさ、視差探索の精度）を決定する機能を有する。その他の各部の構成については、第１の実施形態の対応するものと同じであるので説明を省略する。

次に、第２の実施形態に係る３次元情報復元装置の動作について図１４を用いて説明する。なお、探索空間計算部２０３、３次元位置計算部２０６、出力部２０７の動作については、第１の実施形態と同じであるので説明を省略する。

まず、画像入力部２０１において、左右２台のカメラによって３次元空間中の物体などの画像が一定の時間間隔で撮影され、撮影された複数の画像は画像蓄積部２０２に送られる。

画像入力部２０１から送られた複数の画像は、時系列データとして画像蓄積部２０２において記憶される。

探索評価値計算部２０４は、過去に視差計算部２０５で求められた視差から物体の存在位置を求め、これに基づいて視差探索の評価値を決定する。以下、図１５乃至図１８を用いて、過去に求められた視差から視差探索の評価値を決定する方法について説明する。ここでは簡単のため、２台のカメラに対して図１５に示すように斜め方向に歩行者が歩いている画像が撮影されているものとする。

図１５に示すように、平行に設置された左右２台のカメラで３次元空間を撮影する場合、３次元座標中の２点（Ｘ，Ｙ，Ｚ）と（Ｘ，Ｙ＋ΔＹ，Ｚ）は、図１６に示すように、左右の画像上では、その視差は等しくなる。したがって、歩行者が図１５に示すようにＹ−Ｚ平面に対して垂直方向に立っていれば、左右２台のカメラで撮影された画像上では、歩行者に対応する基準画像上の投影点における視差はほぼ等しくなると考えられる。そのため、歩行者が含まれている撮影画像について視差を探索した場合には、撮影された画像上に歩行者が含まれていることによって、歩行者に対応する特定の視差が多く検出されることになる。そこで、ある時刻（ｔ）の基準画像上の各投影点における視差の頻度分布を求めると、図１７に示すように、歩行者に対応する視差の頻度が高くなる。したがって、この頻度分布を用いれば、頻度の高い視差に対応する位置に歩行者が存在すると知ることが可能になる。

そこで、次の時刻（ｔ＋１）の静止画像から視差を探索する場合には、前の時刻（ｔ）の視差の頻度分布を用いて、視差の頻度の高い視差候補については詳細に視差の探索を行い、これ以外の部分については荒く視差の探索を行うことで、視差探索のための計算量を削減しながら、歩行者が存在する部分については正確に視差を求めることができる。

具体的には、前の時刻（ｔ）の基準画像の各投影点に対する視差から、まず視差の頻度分布を求める。ここで視差ｄに対する頻度をＰ（ｄ）とする。次に、図１８に示すように、視差の頻度Ｐ（ｄ）について適切な閾値Ｐ_ＴＨを設定し、（２２）式を満たす範囲では視差探索の評価値を荒く、それ以外の部分では視差探索の評価値を細かくして計算するように制御する。

以上のようにして求めた視差探索の評価値の情報は、視差計算部２０５に送られる。具体的には、各視差候補ｄに対して（２２）式を満たすか否かの判定を行い、視差候補ごとに（２２）式を満たす場合には「１」、満たさない場合には「０」とする情報を視差計算部１０４に送る。

視差計算部２０５では、まず類似度計算部２０５ａで、視差候補ｄに対して、基準画像上の投影点（ｘ，ｙ）と別画像上の対応する投影点（ｘ´，ｙ´）との間の類似度が計算される。以下では、図１９に示すフローチャートを用いて、類似度計算部２０５ａにおいて、探索評価値計算部２０４で求まる視差探索の評価値Ｋに基づいて類似度を計算する方法を説明する。ここでは類似度として、上述した正規化相互相関Ｃを用いるものとする。なお、図１９に示すフローチャートは、第１の実施形態における図１０に示すフローチャートと、Ｓ３１１において、視差探索の評価値Ｋに基づいて視差候補ｄをシフトする点が異なる。そこで、以下では、図１０に示すフローチャートと共通するステップ（Ｓ３０１〜Ｓ３１０）については説明を省略する。

ステップＳ３１１では、まず視差候補ｄの探索の評価値Ｋが調べられる。視差候補ｄに対して探索評価値計算部２０４から送られる探索の評価値Ｋが「０」、すなわち細かい評価値で探索する必要がある場合には、ｄを１画素だけシフトする（すなわちｄ＝ｄ＋１）。一方、探索評価値計算部２０４から送られる探索の評価値Ｋが「１」、すなわち荒い評価値で探索する場合には、ｄをあらかじめ定めたＮ画素だけシフトする（すなわちｄ＝ｄ＋Ｎ）。そして、視差候補が１画素又はＮ画素だけシフトした時の各投影点間の正規化相互相関Ｃが上述した同じ手順により計算される。ステップＳ３０３〜Ｓ３１１による計算は、探索の評価値Ｋに応じてすべての視差候補に対して繰り返し実行される。

このようにすることで、探索評価値計算部２０４において、物体の存在する可能性が高いと判定された視差候補については正確に視差が探索され、一方、それ以外の視差候補については、荒い評価値で視差が探索されることになり、視差の探索のための計算量を削減することができる。

次に視差検出部２０５ｂは、類似度計算部２０５ａで求められた視差候補ごとの類似度を用いて、基準画像上の各投影点における視差を決定する。基準画像上の投影点（ｘ，ｙ）についての視差Ｄは、類似度計算部２０５ａで得られた正規化相互相関Ｃ（ｘ，ｙ，ｄ）が、視差候補ｄについて最大となる視差とすればよい。すなわち視差Ｄは、正規化相互相関Ｃ（ｘ，ｙ，ｄ）から、（１５）式によって求めることができる。なお、視差の検出は類似度計算部２０５ａで探索された視差候補についてのみ行えばよい。

以上が視差計算部２０５の動作であり、視差計算部２０５で計算された最新の視差の情報は、３次元位置計算部２０６に送られるとともに、探索評価値計算部２０４にも送られる。

このように第２の実施形態に係る３次元情報復元装置によれば、過去の時刻の静止画像データから求められた物体の存在位置の周辺では視差を正確に探索し、一方、それ以外の部分では視差を荒く探索することで、物体についての視差が正確に求められ、かつ視差探索のための計算量も削減することができ、高速な３次元情報の復元が可能となる。

（第３の実施形態）
第１の実施形態では、類似度計算部１０４ａにおける基準画像上の投影点（ｘ，ｙ）と別画像上の投影点（ｘ´，ｙ´）との間の類似度は、基準画像上の投影点（ｘ，ｙ）を含むあらかじめ定めた一定の大きさのウィンドウと、別画像上の投影点（ｘ´，ｙ´）を含む同じ大きさのウィンドウとの間で正規化相互相関Ｃ（ｘ，ｙ，ｄ）を計算することにより求めていた。

ここで、基準画像上の投影点（ｘ，ｙ）に対応する別画像上の投影点（ｘ´，ｙ´）を正確に求めるためには、より大きなウィンドウを用いたほうが、より多くの情報に基づいて投影点間の対応づけをすることが可能になるため望ましい。しかし一方で、ウィンドウ内に異なる視差を有する領域が多くなると、投影点間の対応づけを誤る場合がある。したがって、基準画像上の投影点（ｘ，ｙ）に対応する別画像上の投影点（ｘ´，ｙ´）を正確に求めるためには、投影点ごとに適切な大きさのウィンドウを設定することが望ましい。すなわち、例えば、平坦な画像領域では大きなウィンドウを設定し、凹凸の多い画像領域では小さなウィンドウを設定するとよい。

そこで第３の実施形態では、基準画像上の投影点ごとに、その投影点を含む一定の範囲内の画素の輝度変動に基づいてウィンドウの大きさを決定し、そのウィンドウを用いて投影点間の類似度を求める実施の形態について説明する。

図２０は、本発明の第３の実施形態に係わる３次元情報復元装置を示すブロック図である。この第３の実施形態に係わる３次元情報復元装置は、画像入力部３０１、画像蓄積部３０２、探索空間計算部３０３、ウィンドウ決定部３０４、視差計算部３０５、３次元位置計算部３０６、出力部３０７などによって構成されている。また、視差計算部３０５は、類似度計算部３０５ａ、視差検出部３０５ｂおよびメモリ３０５ｃによって構成されている。

つまり、第１の実施形態とは、ウィンドウ決定部３０４を備える点が異なる。したがって、第１の実施形態に係わる３次元情報復元装置と共通の動作を行なう部分（画像入力部３０１、画像蓄積部３０２、探索空間計算部３０３、３次元位置計算部３０６および出力部３０７）については、説明を省略する。

次に図２０および図２１を用いて、本発明の第３の実施形態に係わる３次元情報復元装置の動作について説明する。なお、図２１は、本発明の第３の実施形態に係わる３次元情報復元装置の動作を示すフローチャートである。

ウィンドウ決定部３０４は、基準画像上の投影点（ｘ，ｙ）ごとに、その点を含む一定の範囲内の画素の輝度変動から、基準画像上の投影点（ｘ，ｙ）と別画像上の投影点（ｘ´，ｙ´）との間の類似度Ｃ（ｘ，ｙ，ｄ）を計算するためのウィンドウの大きさを決定する（ステップＳ４０４）。

基準画像上の投影点（ｘ，ｙ）の輝度変動は、例えば、基準画像上の投影点（ｘ，ｙ）を中心とする（２ｗ＋１）×（２ｗ＋１）のウィンドウ内の画素の輝度の分散として、（２３）式によって求めればよい。

ここで、Ｎはウィンドウ内の画素数であり、Ｎ＝（２ｗ＋１）２で表される。また、Ｓ０（ｘ，ｙ）は、ウィンドウ内の輝度の総和であり、（２４）式によって求められる。

ウィンドウ決定部３０４は、（２３）式によって得られた基準画像上の投影点（ｘ，ｙ）の輝度変動σ（ｘ，ｙ）^２に基づいて、投影点（ｘ，ｙ）ごとに、類似度Ｃ（ｘ，ｙ，ｄ）を計算するためのウィンドウの大きさを決定する。ウィンドウの決定は、例えば、あらかじめ大きさの異なる複数のウィンドウを用意しておき、輝度変動σ（ｘ，ｙ）^２の大きさに応じて適切なウィンドウを選択することによって行えばよい。例えば、大きさの異なる３種類のウィンドウW_１、W_２およびW_３（W_１＞W_２＞W_３）に対して、（２５）式に基づいてひとつのウィンドウを選択する。

ここで、ＴＨ_１およびＴＨ_２は、あらかじめ定めた輝度変動σ（ｘ，ｙ）^２に対する閾値である。

このようにしてウィンドウ決定部３０４で基準画像上の投影点（ｘ，ｙ）ごとに得られたウィンドウは、次に、視差計算部３０５に送られる。

視差計算部３０５では、まず類似度計算部３０５ａで、ウィンドウ決定部３０４から送られるウィンドウを用いて、すべての視差候補ｄに対して、基準画像上の投影点（ｘ，ｙ）と別画像上の投影点（ｘ´，ｙ´）との間の類似度が計算され（ステップＳ４０５）、視差検出部３０５ｂで、類似度計算部３０５ａで得られた視差候補ごとの類似度を用いて、基準画像上の各投影点における視差Ｄが決定される（ステップＳ４０６）。

このように第３の実施形態に係わる３次元情報復元装置によれば、基準画像上の投影点ごとに、その点を含む一定の範囲内の画素の輝度変動に基づいて適切な大きさのウィンドウを設定し、そのウィンドウを用いて基準画像上の投影点と別画像上の投影点との間の対応づけを行うことができるため、より正確な投影点間の対応づけを行うことが可能になる。

（第４の実施形態）
第３の実施形態では、ウィンドウ決定部３０４において、基準画像上の投影点（ｘ，ｙ）を含む一定の範囲内の画素の輝度変動から、その投影点における類似度Ｃ（ｘ，ｙ，ｄ）を計算するためのウィンドウの大きさを決定した。

第４の実施形態では、さらに、視差計算部３０５ｂにおいて視差Ｄを求めた後に、基準画像上の投影点（ｘ，ｙ）ごとに、その点を含む一定の範囲内の視差Ｄの変動に基づいて、類似度Ｃ（ｘ，ｙ，ｄ）を計算するためのウィンドウの大きさを修正し、その修正後のウィンドウを用いて類似度Ｃ（ｘ，ｙ，ｄ）を再計算する実施の形態について説明する。

図２２は、本発明の第４の実施形態に係わる３次元情報復元装置を示すブロック図である。この第４の実施形態に係わる３次元情報復元装置は、画像入力部４０１、画像蓄積部４０２、探索空間計算部４０３、ウィンドウ決定部４０４、視差計算部４０５、３次元位置計算部４０６、出力部４０７などによって構成されている。また、視差計算部４０５は、類似度計算部４０５ａ、視差検出部４０５ｂ、メモリ４０５ｃおよびウィンドウ修正部４０５ｄによって構成されている。

つまり、第３の実施形態とは、視差計算部４０５において、ウィンドウ修正部４０５ｄを備える点が異なる。したがって、第３の実施形態に係わる３次元情報復元装置と共通の動作を行なう部分（画像入力部４０１、画像蓄積部４０２、探索空間計算部４０３、ウィンドウ決定部４０４、３次元位置計算部４０６および出力部４０７）については、説明を省略する。

次に図２２および図２３を用いて、本発明の第４の実施形態に係わる３次元情報復元装置の動作について説明する。なお、図２３は、本発明の第４の実施形態に係わる３次元情報復元装置の動作を示すフローチャートである。

視差検出部４０５ｂは、類似度計算部４０５ａで得られた視差候補ごとの類似度を用いて、基準画像上の各投影点（ｘ，ｙ）における視差Ｄ（ｘ，ｙ）を決定する（ステップＳ５０６）。基準画像上の投影点（ｘ，ｙ）ごとの視差Ｄ（ｘ，ｙ）は、次に、ウィンドウ修正部４０５ｄに送られる。

ウィンドウ修正部４０５ｄは、視差検出部４０５ｂから送られた基準画像上の投影点（ｘ，ｙ）ごとの視差Ｄ（ｘ，ｙ）から、それらの投影点ごとに類似度Ｃ（ｘ，ｙ，ｄ）を計算するためのウィンドウの大きさを修正する（ステップＳ５０７）。

ここで、上述したように、基準画像上の投影点（ｘ，ｙ）と別画像上の投影点（ｘ´，ｙ´）との間の対応づけを精度よく行うためには、平坦な画像領域、すなわち、視差変動の小さな領域では大きなウィンドウを設定し、凹凸の多い画像領域、すなわち、視差変動の大きな領域では小さなウィンドウを設定して類似度を求めればよい。そこで、ウィンドウ修正部４０５ｄは、視差検出部４０５ｂで得られた各投影点の視差Ｄ（ｘ，ｙ）を用いて、基準画像上の投影点（ｘ，ｙ）ごとに、その点の視差変動を求め、その視差変動に基づいて、ウィンドウの大きさを修正する。

基準画像上の投影点（ｘ，ｙ）の視差変動は、例えば、基準画像上の投影点（ｘ，ｙ）を中心とする（２ｗ＋１）×（２ｗ＋１）のウィンドウ内の視差Ｄ（ｘ，ｙ）の分散として、（２６）式によって求めればよい。

ここで、Ｎはウィンドウ内の画素数であり、Ｎ＝（２ｗ＋１）^２で表される。また、Ｓ_Ｄ（ｘ，ｙ）は、ウィンドウ内の視差の総和であり、（２７）式によって求められる。

ウィンドウ修正部４０５ｄは、（２６）式によって得られた基準画像上の投影点（ｘ，ｙ）の視差変動σ_Ｄ（ｘ，ｙ）^２に基づいて、投影点（ｘ，ｙ）ごとに、類似度Ｃ（ｘ，ｙ，ｄ）を計算するためのウィンドウの大きさを決定する。ウィンドウの決定は、例えば、あらかじめ大きさの異なる複数のウィンドウを用意しておき、視差変動σ_Ｄ（ｘ，ｙ）^２の大きさに応じて適切なウィンドウを選択することによって行えばよい。例えば、大きさの異なる３種類のウィンドウW_１、W_２およびW_３（W_１＞W_２＞W_３）に対して、（２８）式に基づいてひとつのウィンドウを選択する。

ここで、ＴＨ_Ｄ１およびＴＨ_Ｄ２は、あらかじめ定めた視差変動σ_Ｄ（ｘ，ｙ）^２に対する閾値である。

ウィンドウ修正部４０５ｄは、このようにして新たに得られた基準画像上の投影点ごとのウィンドウを類似度計算部４０５ａに送る。

類似度計算部４０５ａは、ウィンドウ修正部４０５ｄから送られる基準画像上の投影点（ｘ，ｙ）ごとのウィンドウを用いて、再度、すべての視差候補ｄに対して、基準画像上の投影点（ｘ，ｙ）と別画像上の対応する投影点（ｘ´，ｙ´）との間の類似度を計算する（ステップＳ５０８）。視差候補ｄごとの類似度の再計算は、例えば、上述した第１の実施形態と同様に、図１０に示すフローチャートにしたがって行えばよい。

視差検出部４０５ｂは、このように類似度計算部４０５ａで再計算された視差候補ｄごとの類似度を用いて、再度、基準画像上の投影点ごとの視差Ｄ（ｘ，ｙ）を求める（ステップＳ５０９）。そして、３次元位置計算部４０６では、視差検出部４０５ｂで新たに求められた視差Ｄ（ｘ，ｙ）を用いて、基準画像上に表れた物体などの３次元空間中の存在位置（Ｘ，Ｙ，Ｚ）を計算する（ステップＳ５１０）。

このように第４の実施形態に係わる３次元情報復元装置によれば、まず、画素の輝度変動に基づいて適切に定められたウィンドウを用いて基準画像上の投影点と別画像上の投影点との間の対応づけを行って基準画像上の投影点ごとの視差が求められる。そして、さらに、求められた視差から、基準画像上の投影点ごとに、その点を含む一定の範囲内の視差変動が求められ、その視差変動に基づいてウィンドウが修正される。そしてその修正されたウィンドウを用いて、再度、基準画像上の投影点と別画像上の投影点との間の対応づけが行われるため、より正確な投影点間の対応づけが可能になる。

なお、上述した実施形態では、ウィンドウ修正部４０５ｄにおけるウィンドウの修正を１度だけ行うこととしていたが、ウィンドウ修正部４０５ｄにおいて修正したウィンドウを用いて新たに検出された視差に基づいて、再度ウィンドウを修正することも可能である。このように、視差の検出とウィンドウの修正を反復して行うことにより、より正確な投影点間の対応づけを行うことが可能になるため、より精度よく視差を検出することが可能になる。

また、上述した実施形態では、ウィンドウ修正部４０５ｄにおいて、ウィンドウの大きさのみを修正していたが、視差検出部４０５ｂにおいて検出された視差に基づいて、ウィンドウの形状を変更することも可能である。この場合、例えば、形状の異なる複数のウィンドウをあらかじめ用意しておき、基準画像上の各投影点（ｘ，ｙ）に対して、ウィンドウごとに、視差検出部４０５ｂで得られた視差に基づいて視差変動を求め、その視差変動が最も小さくなるウィンドウを選択することによって、ウィンドウの形状を変更するようにすればよい。すなわち、例えば、ウィンドウが（２ｗ_１＋１）×（２ｗ_２＋１）で表される場合に、基準画像上の投影点（ｘ，ｙ）に対して（２９）式に基づいて視差変動σ_Ｄ（ｘ，ｙ）^２を求め、σ_Ｄ（ｘ，ｙ）^２が最も小さくなるウィンドウを新たなウィンドウとして選択すればよい。

ここで、Ｎはウィンドウ内の画素数であり、Ｎ＝（２ｗ_１＋１）×（２ｗ_２＋１）で表される。また、Ｓ_Ｄ（ｘ，ｙ）は、ウィンドウ内の視差の総和であり、（３０）式によって求められる。

このようにウィンドウ修正部４０５ｄにおいて、ウィンドウの大きさのみならず、ウィンドウの形状をも修正できるようにすることにより、より精度よく視差の検出を行うことが可能となる。

また、上述した実施形態では、ウィンドウ修正部４０５ｄにおいて、視差検出部４０５ｂで得られた視差Ｄ（ｘ，ｙ）に基づいてウィンドウの修正を行っていたが、ウィンドウ修正部４０５ｄにおいて、視差Ｄ（ｘ，ｙ）を（２）式のｄに代入し、まず基準画像上の投影点（ｘ，ｙ）の３次元空間における奥行きＺ（ｘ，ｙ）を求め、その奥行きＺ（ｘ，ｙ）の変動に基づいてウィンドウの修正を行うことも可能である。この場合、（２６）式のＤ（ｘ，ｙ）の代わりに、基準画像上の投影点（ｘ，ｙ）の奥行きＺ（ｘ，ｙ）を用いて、基準画像上の投影点（ｘ，ｙ）の奥行きの変動を求めればよい。

また、上述した実施形態では、類似度Ｃ（ｘ，ｙ，ｄ）を（１０）式に基づいて計算する場合、Ｓ_１およびＳ_２を（９）式を用いて計算することとしていた。しかし、ウィンドウのサイズおよび形状を変更して反復して視差の検出を行う場合、これらのＳ_１およびＳ_２の再計算は簡易に行えることが望ましい。そこで、基準画像上の各投影点（ｘ，ｙ）について、図２４に示すような、原点（０，０）と投影点（０，ｙ）、（ｘ，０）および（ｘ，ｙ）で囲まれる領域の画素の輝度ｆ（ｘ，ｙ）の総和Ｆ（ｘ，ｙ）を（３１）式によって、あらかじめ求めておく。

そして、図２５に示すような、投影点（ｘ_１，ｙ_１）、（ｘ_１，ｙ_２）、（ｘ_２，ｙ_１）および（ｘ_２，ｙ_２）で囲まれる領域の画素の輝度の総和をＳ_１として求める場合には、上記あらかじめ求められたＦ（ｘ，ｙ）を用いて（３２）式にしたがって求める。

このように、基準画像上の各投影点に対して、あらかじめＦ（ｘ，ｙ）を求めて記憶しておけば、基準画像上の任意の領域について画素の輝度の総和Ｓ_１を簡易に計算することが可能になるため、ウィンドウの大きさや形状を変更した場合に、類似度Ｃ（ｘ，ｙ，ｄ）を計算するための計算量を削減することが可能になる。なお、Ｓ_２についても同様である。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の第１の実施形態に係わる３次元情報復元装置の構成を示すブロック図。 第１の実施形態の動作を示すフローチャート。 ステレオ視に基づく３次元情報復元方法を説明するための図。 エピポーララインと視差の関係を示す図。 投影点間の類似度を計算するためのウィンドウを示す図。 第１の実施形態に係わるステレオカメラと基準面の関係を示す図。 第１の実施形態に係わる（ｘ−ｙ−ｄ）３次元空間Ｖと視差探索範囲を示す図。 第１の実施形態に係わる類似度を計算するためのウィンドウを示す図。 第１の実施形態に係わる類似度を計算するためのウィンドウの重複を示す図。 第１の実施形態に係わる類似度計算部の動作を示すフローチャート。 第１の実施形態に係わる視差の探索範囲の一例を示す図。 第１の実施形態に係わる投影点の位置と視差の探索範囲との関係示す図。 第１の実施形態に係わる基準面に現れた２本の線の様子を示す図。 本発明の第２の実施形態に係わる３次元情報復元装置の構成を示すブロック図。 第２の実施形態に係わるステレオカメラと歩行者の関係を示す図。 第２の実施形態に係わる視差が等しい３次元空間中の点の関係を示す図。 第２の実施形態に係わる視差の頻度分布の一例を示す図。 第２の実施形態に係わる視差の頻度分布と視差の探索評価値の関係を示す図。 第２の実施形態に係わる類似度計算部の動作を示すフローチャート。 本発明の第３の実施形態に係わる３次元情報復元装置の構成を示すブロック図。 第３の実施形態の動作を示すフローチャート。 本発明の第４の実施形態に係わる３次元情報復元装置の構成を示すブロック図。 第４の実施形態の動作を示すフローチャート。 第４の実施形態の任意の画像領域の輝度の総和を求める方法を説明する図。 第４の実施形態の任意の画像領域の輝度の総和を求める方法を説明する図。

符号の説明

１０１、２０１、３０１、４０１・・・画像入力部
１０２、２０２、３０２、４０２・・・画像蓄積部
１０３、２０３、３０３、４０３・・・探索空間計算部
１０４、２０５、３０５，４０５・・・視差計算部
１０４ａ、２０５ａ、３０５ａ、４０５ａ・・・類似度計算部
１０４ｂ、２０５ｂ、３０５ｂ、４０５ｂ・・・視差検出部
１０４ｃ、２０５ｃ、３０５ｃ、４０５ｃ・・・メモリ
１０５、２０６、３０６、４０６・・・３次元位置計算部
１０６、２０７、３０７、４０７・・・出力部
２０４・・・探索評価値計算部
３０４、４０４・・・ウィンドウ決定部
４０５ｄ・・・ウィンドウ修正部

Claims (17)

1. ３次元空間中の物体を撮影する撮影手段により撮影された基準画像上の任意の投影点（ｘ，ｙ）と前記撮影手段もしくは他の撮影手段によって撮影された別画像上における対応する投影点（ｘ´，ｙ´）との間の視差Ｄを、前記基準画像上の投影点（ｘ，ｙ）と視差候補ｄの３つの変数によって構成される（ｘ−ｙ−ｄ）３次元空間内で、前記基準画像上の投影点（ｘ，ｙ）と前記別画像上の投影点（ｘ´，ｙ´）との間の類似度Ｃ（ｘ，ｙ，ｄ）から求める３次元情報復元装置であって、
   前記物体と３次元空間中の基準面との幾何学的関係に基づいて、前記（ｘ−ｙ−ｄ）３次元空間内における視差探索範囲を定める探索範囲計算手段と、
   前記探索範囲計算手段で定めた前記視差探索範囲内で、前記基準画像上の投影点（ｘ，ｙ）を含むウィンドウと、前記別画像上の対応する投影点（ｘ´，ｙ´）を含む同じ大きさのウィンドウとの間で、それぞれ対応する画素間の輝度の積和を用いて、視差候補ごとに前記類似度Ｃ（ｘ，ｙ，ｄ）を計算する類似度計算手段と、
   前記基準画像上の投影点（ｘ，ｙ）について、前記類似度計算手段で算出した前記類似度Ｃ（ｘ，ｙ，ｄ）に基づいて視差Ｄを求める視差検出手段とを備え、
   前記類似度計算手段は、前記基準画像上の投影点（ｘ，ｙ）と前記別画像上の投影点（ｘ´，ｙ´）との間の前記類似度Ｃ（ｘ，ｙ，ｄ）を計算する際に得られる前記基準画像上の画素と前記別画像上の対応する画素の間の輝度の積和をメモリに記憶しておき、前記基準画像上の新たな投影点と前記別画像上の対応する新たな投影点との間で前記類似度Ｃ（ｘ，ｙ，ｄ）を計算する場合には、前記メモリに記憶された前記輝度の積和を用いて前記類似度Ｃ（ｘ，ｙ，ｄ）を計算する
   ことを特徴とする３次元情報復元装置。
2. 前記探索範囲計算手段は、前記（ｘ−ｙ−ｄ）３次元空間に含まれる前記基準面を境界とする２つの空間のうち、前記物体が存在する空間を前記視差探索範囲と定めることを特徴とする請求項１に記載の３次元情報復元装置。
3. 前記探索範囲計算手段は、前記基準画像および前記別画像における前記基準面上の特徴から前記基準面の方程式を計算し、その計算した前記基準面の方程式から前記視差探索範囲を定めることを特徴とする請求項１または請求項２に記載の３次元情報復元装置。
4. 前記視差検出手段は、前記基準画像上の投影点（ｘ，ｙ）について、前記類似度計算手段で算出した前記類似度Ｃ（ｘ，ｙ，ｄ）が最大となる前記視差候補ｄを視差Ｄとして求めることを特徴とする請求項１に記載の３次元情報復元装置。
5. 前記撮影された基準画像および前記別画像のうち過去に撮影された前記基準画像および前記別画像から復元された３次元情報に基づいて、前記（ｘ−ｙ−ｄ）３次元空間内における視差探索の細かさを定める探索精度計算手段をさらに備えることを特徴とする請求項１に記載の３次元情報復元装置。
6. 前記類似度Ｃ（ｘ，ｙ，ｄ）が、前記基準画像上の投影点（ｘ，ｙ）を含む一定の大きさのウィンドウと、前記別画像上の対応する投影点（ｘ´，ｙ´）を含む同じ大きさのウィンドウとの間の、正規化相互相関であることを特徴とする請求項１に記載の３次元情報復元装置。
7. 前記類似度Ｃ（ｘ，ｙ，ｄ）が、前記基準画像上の投影点（ｘ，ｙ）を含む一定の大きさのウィンドウと、前記別画像上の対応する投影点（ｘ´，ｙ´）を含む同じ大きさのウィンドウとの間の、対応する画素間の輝度の差の絶対値の総和であることを特徴とする請求項１に記載の３次元情報復元装置。
8. 前記類似度Ｃ（ｘ，ｙ，ｄ）が、前記基準画像上の投影点（ｘ，ｙ）を含む一定の大きさのウィンドウと、前記別画像上の対応する投影点（ｘ´，ｙ´）を含む同じ大きさのウィンドウとの間の、対応する画素間の輝度の差の自乗の総和であることを特徴とする請求項１に記載の３次元情報復元装置。
9. 前記探索範囲計算手段で定めた前記視差探索範囲内で、前記基準画像上の投影点（ｘ，ｙ）ごとに前記類似度Ｃ（ｘ，ｙ，ｄ）を計算するためのウィンドウを定めるウィンドウ決定手段をさらに備えることを特徴とする請求項１に記載の３次元情報復元装置。
10. 前記ウィンドウ決定手段は、前記基準画像上の投影点（ｘ，ｙ）ごとに、その点を含む一定の範囲内の画素の輝度変動に基づいてウィンドウの大きさを決定することを特徴とする請求項９に記載の３次元情報復元装置。
11. 前記基準画像上の投影点（ｘ，ｙ）ごとに前記視差検出手段で求められた視差Ｄに基づいて前記類似度Ｃ（ｘ，ｙ，ｄ）を計算するためのウィンドウを修正するウィンドウ修正手段をさらに備え、
    前記類似度計算手段は、前記修正したウィンドウを用いて前記類似度Ｃ（ｘ，ｙ，ｄ）を再計算することを特徴とする請求項１に記載の３次元情報復元装置。
12. 前記ウィンドウ修正手段は、前記基準画像上の投影点（ｘ，ｙ）ごとに、その点を含む一定の範囲内の投影点の視差Ｄの変動に基づいて前記類似度Ｃ（ｘ，ｙ，ｄ）を計算するためのウィンドウの大きさと形状のうち少なくとも一方を修正することを特徴とする請求項１１に記載の３次元情報復元装置。
13. 前記ウィンドウ修正手段は、前記基準画像上の投影点（ｘ，ｙ）ごとに前記視差検出手段で求められた視差Ｄから前記基準画像上の投影点（ｘ，ｙ）の３次元空間における奥行きを求め、前記基準画像上の投影点（ｘ，ｙ）ごとに、その点を含む一定の範囲内の投影点の奥行きの変動に基づいて前記類似度Ｃ（ｘ，ｙ，ｄ）を計算するためのウィンドウの大きさと形状のうち少なくとも一方を修正することを特徴とする請求項１１に記載の３次元情報復元装置。
14. ３次元空間中の物体を撮影する撮影手段により撮影された基準画像上の任意の投影点（ｘ，ｙ）と前記撮影手段もしくは他の撮影手段により撮影された別画像上における対応する投影点（ｘ´，ｙ´）との間の視差Ｄを、前記基準画像上の投影点（ｘ，ｙ）と視差候補ｄの３つの変数によって構成される（ｘ−ｙ−ｄ）３次元空間内で、前記基準画像上の投影点（ｘ，ｙ）と前記別画像上の投影点（ｘ´，ｙ´）との間の類似度Ｃ（ｘ，ｙ，ｄ）から求める３次元情報復元方法であって、
    前記物体と３次元空間中の基準面との幾何学的関係に基づいて、前記（ｘ−ｙ−ｄ）３次元空間内における視差探索範囲を定める探索範囲計算ステップと、
    前記探索範囲計算ステップで定めた前記視差探索範囲内で、前記基準画像上の投影点（ｘ，ｙ）を含むウィンドウと、前記別画像上の対応する投影点（ｘ´，ｙ´）を含む同じ大きさのウィンドウとの間で、それぞれ対応する画素間の輝度の積和を用いて、視差候補ごとに前記類似度Ｃ（ｘ，ｙ，ｄ）を計算する類似度計算ステップと、
    前記基準画像上の投影点（ｘ，ｙ）について、前記類似度計算ステップで算出した前記類似度Ｃ（ｘ，ｙ，ｄ）に基づいて視差Ｄを求める視差検出ステップとを有し、
    前記類似度計算ステップでは、前記基準画像上の投影点（ｘ，ｙ）と前記別画像上の投影点（ｘ´，ｙ´）との間の前記類似度Ｃ（ｘ，ｙ，ｄ）を計算する際に得られる前記基準画像上の画素と前記別画像上の対応する画素の間の輝度の積和をメモリに記憶しておき、前記基準画像上の新たな投影点と前記別画像上の対応する新たな投影点との間で前記類似度Ｃ（ｘ，ｙ，ｄ）を計算する場合には、前記メモリに記憶された前記輝度の積和を用いて前記類似度Ｃ（ｘ，ｙ，ｄ）を計算する
    ことを特徴とする３次元情報復元方法。
15. 前記探索範囲計算ステップで定めた前記視差探索範囲内で、前記基準画像上の投影点（ｘ，ｙ）ごとに前記類似度Ｃ（ｘ，ｙ，ｄ）を計算するためのウィンドウを定めるウィンドウ決定ステップをさらに有することを特徴とする請求項１４に記載の３次元情報復元方法。
16. コンピュータに、３次元空間中の物体を撮影する撮影手段により撮影された基準画像上の任意の投影点（ｘ，ｙ）と前記撮影手段もしくは他の撮影手段により撮影された別画像上における対応する投影点（ｘ´，ｙ´）との間の視差Ｄを、前記基準画像上の投影点（ｘ，ｙ）と視差候補ｄの３つの変数によって構成される（ｘ−ｙ−ｄ）３次元空間内で、前記基準画像上の投影点（ｘ，ｙ）と前記別画像上の対応する投影点（ｘ´，ｙ´）との間の類似度Ｃ（ｘ，ｙ，ｄ）から求めさせる３次元情報復元プログラムであって、
    前記物体と３次元空間中の基準面との幾何学的関係に基づいて、前記（ｘ−ｙ−ｄ）３次元空間内における視差探索範囲を定める探索範囲計算機能と、
    前記探索範囲計算機能で定めた前記視差探索範囲内で、前記基準画像上の投影点（ｘ，ｙ）を含むウィンドウと、前記別画像上の投影点（ｘ´，ｙ´）を含む同じ大きさのウィンドウとの間で、それぞれ対応する画素間の輝度の積和を用いて、視差候補ごとに前記類似度Ｃ（ｘ，ｙ，ｄ）を計算する類似度計算機能と、
    前記基準画像上の投影点（ｘ，ｙ）について、前記類似度計算機能で算出した前記類似度Ｃ（ｘ，ｙ，ｄ）に基づいて視差Ｄを求める視差検出機能とを備え、
    前記類似度計算機能は、前記基準画像上の投影点（ｘ，ｙ）と前記別画像上の投影点（ｘ´，ｙ´）との間の前記類似度Ｃ（ｘ，ｙ，ｄ）を計算する際に得られる前記基準画像上の画素と前記別画像上の対応する画素の間の輝度の積和をメモリに記憶しておき、前記基準画像上の新たな投影点と前記別画像上の対応する新たな投影点との間で前記類似度Ｃ（ｘ，ｙ，ｄ）を計算する場合には、前記メモリに記憶された前記輝度の積和を用いて前記類似度Ｃ（ｘ，ｙ，ｄ）を計算する
    ことを特徴とする３次元情報復元プログラム。
17. 前記探索範囲計算機能で定めた前記視差探索範囲内で、前記基準画像上の投影点（ｘ，ｙ）ごとに前記類似度Ｃ（ｘ，ｙ，ｄ）を計算するためのウィンドウを定めるウィンドウ決定機能をさらに備えることを特徴とする請求項１６に記載の３次元情報復元プログラム。

Images