JP2010139288A - ステレオカメラユニット及びステレオマッチング方法 - Google Patents

Abstract

【課題】ステレオマッチングにおける相関演算を高速処理できるステレオカメラユニット及びステレオマッチング方法を提供する。
【解決手段】このステレオカメラユニット１０は、ｋ（ｋ＞１）の基線長比を持つ少なくとも２組の基準画像及び参照画像を取得する複数台のカメラと、基線長の短い組の基準画像及び参照画像にウインドウをそれぞれ設定し、両ウインドウで相関演算を実行することで基線長の短い組における視差ｄｓ（ｕ，ｖ）を算出する予備相関実行部１２と、予備相関実行部１２からの視差ｄｓ（ｕ，ｖ）をｋ倍したｋ×ｄｓ（ｕ，ｖ）の視差を生じる条件で制限される範囲の相関演算を短い組と同じ画像位置の基線長の長い組の基準画像及び参照画像に対して実行する相関実行部１４と、を備え、相関実行部の相関演算結果から導き出される視差ｄｌ（ｕ，ｖ）を出力する。
【選択図】図１

Description

本発明は、ステレオカメラユニット及びステレオマッチング方法に関する。

ステレオマッチング法は、２台のカメラを左右に配置し、２台のカメラで物体を撮影した１組の画像を用いて、一方のカメラによる画像と他方のカメラによる画像との対応関係を相関演算により求め、その対応関係から得た視差から三角測量の原理に基づいて物体の各点の位置や距離等を計測する公知の方法である。

特許文献１は、ピラミッド画像を使った基本的なステレオマッチング法を開示し、物体までの距離分布を高速に算出する相関演算方法を提供するために、１対の撮像装置で物体を撮像し、その画像をピラミッド構造の多重解像度画像にしてから、各層間でステレオ照合を行うが、このとき、先ず低解像度画像である上層の画像間でそれを行い概略の視差を求め、その視差より次層のステレオ照合に対する照合領域と探索領域を設定することを繰り返すことにより、最終層までステレオ照合を行うものである。かかる相関演算方法は、例えば車輌に搭載され車輌周囲の物体までの距離分布を算出する距離分布検出装置に適用可能である。
特開２００１−３１９２２９号公報（要約、図１，図３参照）

しかし、上述の従来技術により、距離計測において大きな視差を要するステレオカメラシステムを構成すると、多重解像度画像からなるピラミッド構造におけるピラミッド段数を増やす必要が生じてしまう。そうすると、ピラミッド段数が増えることで演算回数が増えてしまい、高速処理の妨げとなってしまう。

本発明は、上述のような従来技術の問題に鑑み、ステレオマッチングにおける相関演算を高速処理できるステレオカメラユニット及びステレオマッチング方法を提供することを目的とする。

上記目的を達成するために、本実施形態によるステレオカメラユニットは、ｋ（ｋ＞１）の基線長比を持つ少なくとも２組の基準画像及び参照画像を取得する複数台のカメラと、前記基線長の短い組の基準画像及び参照画像にウインドウをそれぞれ設定し、前記両ウインドウで相関演算を実行することで前記基線長の短い組における視差ｄｓ（ｕ，ｖ）を算出する予備相関実行部と、前記予備相関実行部からの視差ｄｓ（ｕ，ｖ）をｋ倍したｋ×ｄｓ（ｕ，ｖ）の視差に基づいて参照画像のウインドウを設定し、前記短い組と同じ画像位置の前記基線長の長い組の基準画像及び参照画像に対して相関演算を実行する相関実行部と、を備え、前記相関実行部の相関演算結果から導き出される視差ｄｌ（ｕ，ｖ）を出力することを特徴とする。

このステレオカメラユニットによれば、予備相関実行部と相関実行部とで各１回ずつの相関演算で視差を算出し出力できるので、ステレオマッチングにおける相関演算を高速処理することができる。予備相関実行部で基線長の短い組の基準画像及び参照画像による相関演算により視差算出を行い、基線長が短いため、視差が少なく、基準画像と参照画像の各ウインドウを同じ座標に設定しても視差を得ることができるので、ウインドウの設定が容易である。また、相関実行部では、基線長がｋ（ｋ＞１）倍と長いため視差が大きいが、予備相関実行部で得た視差のｋ倍の視差を生じる条件で制限された範囲内で基線長の長い組の参照画像のウインドウを設定可能であるので、ウインドウの設定が容易となるとともに、基線長の長い組で相関結果を得るので分解能が高くなる。

上記ステレオカメラユニットにおいて前記相関演算は１画素毎に行われることが好ましい。

また、前記相関演算は、基準画像の１つのウインドウと参照画像の１つのウインドウとの相関演算を１度行うことで最大相関を示す視差が算出可能な相関演算方法により行われることが好ましい。かかる相関演算方法として位相限定相関法（ＰＯＣ）がある。

また、前記少なくとも２組の基準画像及び参照画像の各基準画像を取得するカメラが同一であることで、同一のカメラで得た基準画像を各組で共用できるので、必要なカメラ台数を少なくできる。

また、本実施形態によるステレオマッチング方法は、ｋ（ｋ＞１）の基線長比を持つ少なくとも２組の基準画像及び参照画像を取得するステップと、前記基線長の短い組の基準画像及び参照画像にウインドウをそれぞれ設定し、前記両ウインドウで相関演算を実行することで前記基線長の短い組における視差ｄｓ（ｕ，ｖ）を算出するステップと、前記視差ｄｓ（ｕ，ｖ）をｋ倍したｋ×ｄｓ（ｕ，ｖ）の視差に基づいて参照画像のウインドウを設定し、前記短い組と同じ画像位置の前記基線長の長い組の基準画像及び参照画像に対して相関演算を実行するステップと、を含み、前記相関演算結果から導き出される視差ｄｌ（ｕ，ｖ）を出力することを特徴とする。

このステレオマッチング方法によれば、基線長の短い組と長い組の基準画像、参照画像とで各１回ずつの相関演算で視差を出力できるので、ステレオマッチングにおける相関演算を高速処理することができる。基線長の短い組の基準画像及び参照画像による相関演算により視差算出を行い、基線長が短いため、視差が少なく、基準画像と参照画像の各ウインドウを同じ座標に設定しても視差を得ることができるので、ウインドウの設定が容易である。また、基線長の長い組の基準画像及び参照画像による相関演算では、基線長がｋ（ｋ＞１）倍と長いため視差が大きいが、基線長の短い組で得た視差のｋ倍の視差を生じる条件で制限された範囲内で基線長の長い組の参照画像のウインドウを設定可能であるので、ウインドウの設定が容易となるとともに、基線長の長い組で相関結果を得るので分解能が高くなる。

上記ステレオマッチング方法において前記相関演算を１画素毎に行うことが好ましい。

また、前記相関演算を、基準画像の１つのウインドウと参照画像の１つのウインドウとの相関演算を１度行うことで最大相関を示す視差が算出可能な相関演算方法により行うことが好ましい。かかる相関演算方法として位相限定相関法（ＰＯＣ）がある。

本発明のステレオカメラユニット及びステレオマッチング方法によれば、ステレオマッチングにおける相関演算を高速処理できる。

以下、本発明を実施するための最良の形態について図面を用いて説明する。

〈第１の実施形態〉

図１は第１の実施形態によるステレオカメラユニットの概略的構成を示すブロック図である。図２は図１のステレオカメラユニットにおける第１のステレオカメラの概略的構成（ａ）、第２のステレオカメラの概略的構成（ｂ）、及び両者の相対的位置関係を示す平面図である。

図１に示すように、ステレオカメラユニット１０は、物体を撮像し基線長の短い組の基準画像と参照画像を得る第１のステレオカメラ１と、同じく基線長の長い組の基準画像と参照画像を得る第２のステレオカメラ２と、を備える。

また、ステレオカメラユニット１０は、第１のステレオカメラ１から基線長の短い組の基準画像と参照画像が入力する画像入力部１１と、第２のステレオカメラ２から基線長の長い組の基準画像と参照画像が入力する画像入力部１３と、を備える。

さらに、ステレオカメラユニット１０は、基線長の短い組の基準画像と参照画像により予備的に相関演算処理を行う予備相関実行部１２と、予備相関実行部１２からの演算結果を用いて基線長の長い組の基準画像と参照画像により相関演算処理を行う相関実行部１４と、相関実行部１４からの視差演算結果を外部に出力する出力部１５と、を備える。

図２（ａ）のように、第１のステレオカメラ１は、一対のカメラ１ａ，１ｂを有し、カメラ１ａの撮像素子の中心位置とカメラ１ｂの撮像素子の中心位置とが基線ｃ上にあり、各中心位置の間隔である基線長ｇは短く設定され例えば１０ｃｇである。カメラ１ａで撮像した画像を基準画像とし、カメラ１ｂで撮像した画像を参照画像とし、これらを基線長の短い組の基準画像、参照画像とする。

また、図２（ｂ）のように、第２のステレオカメラ２は、一対のカメラ２ａ，２ｂを有し、カメラ２ａの撮像素子の中心位置とカメラ２ｂの撮像素子の中心位置とが基線ｄ上にあり、各中心位置の間隔である基線長ｈは上記基線長ｇよりも長く設定され例えば４０ｃｍである。カメラ２ａで撮像した画像を基準画像とし、カメラ２ｂで撮像した画像を参照画像とし、これらを基線長の長い組の基準画像、参照画像とする。

各カメラ１ａ，１ｂ，２ａ，２ｂは、ＣＣＤやＣＭＯＳセンサから構成された撮像素子を備え、撮像素子は、多数の受光素子からなり光電変換機能を有し、各画素毎に画像信号を出力する。

ここで、図２において基線長比ｋは次式（１）で表される。
ｋ＝ｈ／ｇ （１）
基線長ｈ＞基線長ｇであるから、ｋ＞１である。上述の例では、ｋ＝４０／１０＝４である。

図２のステレオカメラ１，２の基線ｃ、ｄは平行であり、基線ｃ、ｄに直交する線ｐ上に基準画像を得るカメラ１ａ，２ａの各中心位置が位置する。すなわち、第１のステレオカメラ１の基線長ｇ及び第２のステレオカメラ２の基線長ｈの各始点は、基線ｃ、ｄに直交する同一線ｐ上に位置する。

第１のステレオカメラ１は、その基線長ｇが第２のステレオカメラ２の基線長ｈよりも短いから、得られる視差も小さく、分解能が低い。一方、第２のステレオカメラ２は、第１のステレオカメラ１と比べて得られる視差がｋ（基線長比）倍（ｋ＞１）と大きく、分解能が高い。

図１の予備相関実行部１２，相関実行部１４について図３を参照して説明する。図３は、図１，図２の第１のステレオカメラ１で得てウインドウを設定した基準画像（ａ）、同じく参照画像（ｂ）、第２のステレオカメラ２で得てウインドウを設定した基準画像（ｃ）、同じく参照画像（ｄ）を概略的に示す図である。

予備相関実行部１２は、ステレオカメラ１のカメラ１ａ、１ｂで得た基線長の短い組の基準画像、参照画像を用いて視差を予備的に算出する。

すなわち、予備相関実行部１２では、図３（ａ）のように視差を演算させる基線長の短い組の基準画像上の点Ｏ１を設定し、その設定点Ｏ１を中心にｎ×ｎのウインドウＷ１を設定し、一方、図３（ｂ）のように基線長の短い組の参照画像上に図３（ａ）の基準画像に設定したウインドウＷ１と同位置（点Ｏ２）にウインドウＷ１と同じサイズのｎ×ｎのウインドウＷ２を設定し、次に、両ウインドウＷ１，Ｗ２で相関演算処理を行う。その演算結果が基線長の短い組における視差ｄｓ（ｕ，ｖ）であり、相関実行部１４に出力する。この演算結果は、例えば図３（ｂ）のように「視差＝１０」である。

上記相関演算処理には、例えば、ＰＯＣ（Phase Only Correlation／位相限定相関）法を用いることができ、予備相関実行部１２は、かかる演算処理をハードウエア的に実行可能な集積素子を備える。位相限定相関法は、位相情報を用いた公知のステレオマッチング法で、基準画像の１つのウインドウと参照画像の１つのウインドウとの相関演算を１度行うことで最大相関を示す視差が算出可能である。

相関実行部１４は、図３（ａ）、（ｂ）のステレオカメラ２のカメラ２ａ，２ｂで得た基線長の長い組の基準画像、参照画像を用いて視差を算出するが、このとき、参照画像のウインドウを予備相関実行部１２で得た視差演算結果に基づいて設定する。

すなわち、相関実行部１４では、図３（ｃ）のように基線長の長い組の基準画像上に対して図３（ａ）の基準画像に設定したウインドウＷ１と同位置（点Ｏ３）にｎ×ｎのウインドウＷ３を設定し、一方、予備相関実行部１２で得た視差ｄｓ（ｕ，ｖ）をｋ倍し、図３（ｄ）のように基線長の長い組の参照画像上に対して、そのｋ倍の視差（上述の例では、４×１０＝４０）に対応する点Ｏ４を中心にウインドウＷ３と同じサイズのｎ×ｎのウインドウＷ４を設定し、次に、所定の視差範囲について両ウインドウＷ３，Ｗ４の相関演算処理を行う。その演算結果である視差ｄｌ（ｕ，ｖ）を出力部１５に出力し、出力部１５からステレオカメラユニット１０の出力として外部に出力する。この演算結果は、例えば図３（ｄ）のように「視差＝４１」である。

上記相関演算処理には、例えば、ＰＯＣ（Phase Only Correlation／位相限定相関）法を用いることができ、相関実行部１４は、かかる演算処理をハードウエア的に実行可能な集積素子を備える。位相限定相関法は、位相情報を用いた公知のステレオマッチング法で、基準画像の１つのウインドウと参照画像の１つのウインドウとの相関演算を１度行うことで最大相関を示す視差が算出可能である。

上述のように、図１の予備相関実行部１２では、図３（ｂ）の基線長の短い組の参照画像のウインドウＷ２は、第１のステレオカメラ１の基線長が短く視差が小さいために、図３（ａ）の基線長の短い基準画像に設定したウインドウＷ１と同じ点を中心にして設定できる。このため、参照画像に対するウインドウＷ２の設定が容易である。

また、図３（ｄ）の基線長の長い組の参照画像のウインドウＷ４は、第２のステレオカメラ２の基線長が長く視差が大きいために、図３（ｃ）の基線長の長い基準画像に設定したウインドウＷ３と同じ点を中心に設定することはできず、その点を探し難いため設定し難いのであるが、図１の相関実行部１４では、予備相関実行部１２で得た視差に基づいて基線長の長い組の参照画像のウインドウＷ４を設定するので、基線長の長い組の参照画像のウインドウＷ４の設定が容易である。

また、ステレオカメラ１，２で得られる視差は画素単位の「１」単位で得られるが、第２のステレオカメラ２は、基線長が長く得られる視差が大きいので、分解能が向上し、例えば、得られた視差は、４（基線長比）×１０（基線長の短い組で得られた視差）＝４０ではなく、４１であり、分解能が向上することを理解できる。

次に、図１〜図３のステレオカメラユニット１０の動作（ステップＳ０１〜Ｓ０９）について図４のフローチャートを参照して説明する。

ステレオカメラユニット１０でフレーム処理が開始されると、ステレオカメラ１で取得した基線長の短い組の基準画像に対して、図３（ａ）のように、視差を演算させる基準画像上の点Ｏ１を設定する（Ｓ０１）。そして、その設定された点Ｏ１を中心に基準画像上にｎ×ｎのウインドウＷ１を設定する（Ｓ０２）。

次に、同じくステレオカメラ１で取得した基線長の短い組の参照画像に対して、図３（ｂ）のように、基準画像に設定したウインドウＷ１と同位置Ｏ２にウインドウＷ２を設定する（Ｓ０３）。

次に、図３（ａ）、（ｂ）の基線長の短い組の基準画像のウインドウＷ１と参照画像のウインドウＷ２とにおいて図１の予備相関実行部１２が相関演算処理を行い、その結果得られた視差ｄｓ（ｕ，ｖ）が相関実行部１４に出力する（Ｓ０４）。

次に、ステレオカメラ２で取得した基線長の長い組の基準画像に対して、図３（ｃ）のように、基線長の短い組の基準画像に設定したウインドウＷ１と同位置Ｏ３にウインドウＷ３を設定する（Ｓ０５）。

また、図１の予備相関実行部１２で得られた視差ｄｓ（ｕ，ｖ）をｋ（基線長比）倍し、ステレオカメラ２で取得した基線長の長い組の参照画像に対して、図３（ｄ）のように、ｋ倍した視差に対応する点Ｏ４を中心にウインドウＷ４を設定する（Ｓ０６）。

次に、図３（ｃ）、（ｄ）の基線長の長い組の基準画像のウインドウＷ３と参照画像のウインドウＷ４とにおいて図１の相関実行部１４が相関演算処理を行い、得られた視差ｄｌ（ｕ，ｖ）が相関実行部１４から出力し（Ｓ０７）、出力部１５からステレオカメラユニット１０の出力として出力する（Ｓ０８）。

上述のウインドウＷ１，Ｗ２，Ｗ３，Ｗ４における視差を演算させる画素を図３のｕ方向、ｖ方向に移動させて各ステップＳ０１〜Ｓ０８を実行し、全処理点数が完了するまで上記各ステップを繰り返す（Ｓ０９）。

図１〜図４のステレオカメラユニット１０によれば、ステレオマッチングにおける基準画像と参照画像との対応関係の相関演算をピラミッド構造のピラミッド画像を用いた場合よりも高速処理することができる。

すなわち、従来、２^P画素おきでＳｕ×Ｓｖの出力の距離データを得るために、例えば、位相限定相関法（ＰＯＣ）を用いてピラミッド構造のピラミッド画像でステレオ演算を行う場合に算出視差範囲が０〜Ｌ画素までの場合、
Ｌ＜２×２^(t-1)でピラミッド段数ｔ（ｔ≧１）が決定され、ＰＯＣの相関演算回数Ｎは、例えばｐ＝３の場合（８画素に１つ出力されるような場合）、第１段の演算回数Ｎ１，第２段の演算回数Ｎ２，第３段の演算回数Ｎ３は、変わらずにＳｕ×Ｓｖ回の相関演算を行う必要があり、以降の段でその１／４回ずつ相関演算を行う必要があり、次式（２）のようになる。
Ｎ＝Ｎ１＋Ｎ２＋Ｎ３＋・・・＋Ｎｔ＝３×Ｓｕ×Ｓｖ＋（１／４）×Ｓｕ×Ｓｖ＋・・・ （２）

これに対し、本実施形態では、予備相関実行部１２で基線長の短い組の基準画像・参照画像について各画素毎に１回の演算処理、及び、相関実行部１４で基線長の長い組の基準画像・参照画像について各画素ごとに１回の演算処理を行うから、計２回の演算処理を行うだけでよく、相関演算回数Ｍは次式（３）のようになる。
Ｍ＝２×Ｓｕ×Ｓｖ （３）

上記式（２）と（３）から、Ｍ≪Ｎであり、本実施形態による相関演算回数Ｍは、ピラミッド画像を用いる場合の相関演算回数Ｎよりもかなり小さく、相関演算を高速処理できることが分かる。

〈第２の実施形態〉

図５は第２の実施形態によるステレオカメラユニットの概略的構成を示すブロック図である。図６は図５のステレオカメラユニットにおける各カメラの相対的位置関係を示す平面図である。

図５に示すように、ステレオカメラユニット３０は、物体を撮像し基準画像を得るカメラ１ｃと、同じく基線長の短い組の参照画像を得るカメラ２ｃと、同じく基線長の長い組の参照画像を得るカメラ３ｃと、を備える。

また、ステレオカメラユニット３０は、カメラ１ｃからの基準画像とカメラ２ｃからの基線長の短い組の参照画像とが入力する画像入力部２１と、カメラ１ｃからの基準画像とカメラ３ｃからの基線長の長い組の参照画像とが入力する画像入力部２３と、を備える。

さらに、ステレオカメラユニット３０は、基線長の短い組の基準画像と参照画像により予備的に相関演算処理を行う予備相関実行部２２と、予備相関実行部２２からの演算結果を用いて基線長の長い組の基準画像と参照画像により相関演算処理を行う相関実行部２４と、相関実行部２４からの視差演算結果を外部に出力する出力部２５と、を備える。

図６のように、カメラ１ｃ，２ｃ，３ｃは、それぞれＣＣＤやＣＭＯＳセンサからなる撮像素子を有し、カメラ１ｃ，２ｃ，３ｃの各撮像素子の各中心位置が同一の基線ｅ上にあり、所定間隔で配置されている。すなわち、カメラ２ｃは、カメラ１ｃから間隔ｇの位置に配置され、カメラ３ｃは、カメラ１ｃから間隔ｈの位置に配置されている。

カメラ１ｃとカメラ２ｃの各中心位置の間隔ｇは、基線長を構成し、短く設定され、例えば１０ｃｍである。同じくカメラ１ｃとカメラ３ｃの各中心位置の間隔ｈは、基線長を構成し、長く設定され、例えば４０ｃｍである。

カメラ１ｃとカメラ２ｃとで第１のステレオカメラを構成し、カメラ１ｃで撮像した画像を基準画像とし、カメラ２ｃで撮像した画像を参照画像とし、これらを基線長の短い組の基準画像、参照画像とする。

また、カメラ１ｃとカメラ３ｃとで第２のステレオカメラを構成し、カメラ１ｃで撮像した画像を基準画像とし、カメラ３ｃで撮像した画像を参照画像とし、これらを基線長の長い組の基準画像、参照画像とする。なお、図６において基線長比ｋは上記式（１）と同様に定義できる。

カメラ１ｃ、２ｃにより得た基線長の短い組の基準画像、参照画像によれば、その基線長ｇが基線長ｈよりも短いから、得られる視差も小さく、分解能が低い。一方、カメラ１ｃ、３ｃにより得た基線長の長い組の基準画像、参照画像によれば、基線長の短い組の場合と比べて得られる視差が大きく、分解能が高い。かかる関係は図２の場合と同様である。

図５のステレオカメラユニット３０における予備相関実行部２２，相関実行部２４及び出力部２５は、図１，図３と同様に構成されるが、上述のように、カメラ１ｃで撮像した画像を基線長の短い組と基線長の長い組とにおいて共通の基準画像として用いるようにした点が図１，図３と相違する構成である。

次に、図５，図６のステレオカメラユニット３０の動作（ステップＳ１１〜Ｓ１８）について図７のフローチャート及び図３を参照して説明する。

ステレオカメラユニット３０でフレーム処理が開始されると、図３（ａ）のように、カメラ１ｃで取得した、視差を演算させる基準画像上の点Ｏ１を設定する（Ｓ１１）。そして、その設定された点Ｏ１を中心に基準画像上にｎ×ｎのウインドウＷ１を設定する（Ｓ１２）。

次に、カメラ２ｃで取得した基線長の短い組の参照画像に対して、図３（ｂ）のように、基準画像に設定したウインドウＷ１と同位置Ｏ２にｎ×ｎのウインドウＷ２を設定する（Ｓ１３）。

次に、図３（ａ）、（ｂ）の基線長の短い組の基準画像のウインドウＷ１と参照画像のウインドウＷ２とにおいて図５の予備相関実行部２２が相関演算処理を行い、その結果得られた視差ｄｓ（ｕ，ｖ）が相関実行部２４に出力する（Ｓ１４）。

次に、図５の予備相関実行部２２で得られた視差ｄｓ（ｕ，ｖ）をｋ（基線長比）倍し、カメラ３ｃで取得した基線長の長い組の参照画像に対して、図３（ｄ）のように、ｋ倍した視差に対応する点Ｏ４を中心にｎ×ｎのウインドウＷ４を設定する（Ｓ１５）。

次に、上述のステップＳ１１，Ｓ１２における基準画像のウインドウＷ１と基線長の長い組の参照画像のウインドウＷ４とにおいて図５の相関実行部２４が相関演算処理を行い、得られた視差ｄｌ（ｕ，ｖ）が相関実行部２４から出力し（Ｓ１６）、出力部２５からステレオカメラユニット３０の出力として出力する（Ｓ１７）。

上述のウインドウＷ１，Ｗ２，Ｗ４における視差を演算させる画素を図３のｕ方向、ｖ方向に移動させて各ステップＳ１１〜Ｓ１７を実行し、全処理点数が完了するまで上記各ステップを繰り返す（Ｓ１８）。

図５〜図７のステレオカメラユニット３０によれば、図１〜図４の場合と同様に、ステレオマッチングにおける基準画像と参照画像との対応関係の相関演算をピラミッド構造のピラミッド画像を用いた場合よりも高速処理することができる。

また、カメラ１ｃで撮像した基準画像を基線長の短い組と基線長の長い組とにおいて共通に用いるので、図３（ｃ）のように基線長の長い組の基準画像にウインドウを設定する必要がない。また、カメラ１ｃを共用するので、図１，図２と比べてカメラの台数が少なくてすむ。

以上のように本発明を実施するための最良の形態について説明したが、本発明はこれらに限定されるものではなく、本発明の技術的思想の範囲内で各種の変形が可能である。例えば、図１，図５の予備相関実行部１２，２２及び相関実行部１４，２４ではＰＯＣ法の代わりに、フーリエ変換や離散コサイン変換(DCT:Discrete cosine Transform)やウェーブレット変換を用いてもよい。また、予備相関実行部１２，２２，相関実行部１４，２４における相関演算をＣＰＵ（中央演算処理装置）によりソフトウエア的に実行するようにしてもよい。

また、図１，図２においてさらに基線長の異なるステレオカメラを備えてもよく、また、図５，図６において図６の基線ｅ（その延長線も含めて）上の異なる位置にさらにカメラを配置し、さらに別のステレオカメラを構成してもよい。

なお、本明細書において、基線とは、正確な座標を有する二点を結ぶ直線であり、基線長とは、具体的には、図２，図６のようにステレオカメラのカメラ間の間隔ｇ，ｈであり、三角測量による距離計算に用いられる。

第１の実施形態によるステレオカメラユニットの概略的構成を示すブロック図である。 図１のステレオカメラユニットにおける第１のステレオカメラの概略的構成（ａ）、第２のステレオカメラの概略的構成（ｂ）、及び両者の相対的位置関係を示す平面図である。 図１，図２の第１のステレオカメラ１で得てウインドウを設定した基準画像（ａ）、同じく参照画像（ｂ）、第２のステレオカメラ２で得てウインドウを設定した基準画像（ｃ）、同じく参照画像（ｄ）を概略的に示す図である。 図１〜図３のステレオカメラユニット１０の動作（ステップＳ０１〜Ｓ０９）を説明するためのフローチャートである。 第２の実施形態によるステレオカメラユニットの概略的構成を示すブロック図である。 図５のステレオカメラユニットにおける各カメラの相対的位置関係を示す平面図である。 図５，図６のステレオカメラユニット３０の動作（ステップＳ１１〜Ｓ１８）を説明するためのフローチャートである。

符号の説明

１，２ ステレオカメラ
１ａ，１ｂ，２ａ，２ｂ カメラ
１ｃ，２ｃ，３ｃ カメラ
１０ ステレオカメラユニット
１２ 予備相関実行部
１４ 相関実行部
３０ ステレオカメラユニット
２２ 予備相関実行部
２４ 相関実行部
Ｗ１，Ｗ２，Ｗ３，Ｗ４ ウインドウ
ｃ，ｄ，ｅ 基線
ｇ，ｈ 基線長、間隔

Claims (9)

1. ｋ（ｋ＞１）の基線長比を持つ少なくとも２組の基準画像及び参照画像を取得する複数台のカメラと、
   前記基線長の短い組の基準画像及び参照画像にウインドウをそれぞれ設定し、前記両ウインドウで相関演算を実行することで前記基線長の短い組における視差ｄｓ（ｕ，ｖ）を算出する予備相関実行部と、
   前記予備相関実行部からの視差ｄｓ（ｕ，ｖ）をｋ倍したｋ×ｄｓ（ｕ，ｖ）の視差に基づいて参照画像のウインドウを設定し、前記短い組と同じ画像位置の前記基線長の長い組の基準画像及び参照画像に対して相関演算を実行する相関実行部と、を備え、
   前記相関実行部の相関演算結果から導き出される視差ｄｌ（ｕ，ｖ）を出力することを特徴とするステレオカメラユニット。
2. 前記相関演算は１画素毎に行われることを特徴とする請求項１に記載のステレオカメラユニット。
3. 前記相関演算は、基準画像の１つのウインドウと参照画像の１つのウインドウとの相関演算を１度行うことで最大相関を示す視差が算出可能な相関演算方法により行われることを特徴とする請求項１または２に記載のステレオカメラユニット。
4. 前記相関演算方法が位相限定相関法であることを特徴とする請求項３に記載のステレオカメラユニット。
5. 前記少なくとも２組の基準画像及び参照画像の各基準画像を取得するカメラが同一であることを特徴とする請求項１乃至４のいずれか１項に記載のステレオカメラユニット。
6. ｋ（ｋ＞１）の基線長比を持つ少なくとも２組の基準画像及び参照画像を取得するステップと、
   前記基線長の短い組の基準画像及び参照画像にウインドウをそれぞれ設定し、前記両ウインドウで相関演算を実行することで前記基線長の短い組における視差ｄｓ（ｕ，ｖ）を算出するステップと、
   前記視差ｄｓ（ｕ，ｖ）をｋ倍したｋ×ｄｓ（ｕ，ｖ）の視差に基づいて参照画像のウインドウを設定し、前記短い組と同じ画像位置の前記基線長の長い組の基準画像及び参照画像に対して相関演算を実行するステップと、を含み、
   前記相関演算結果から導き出される視差ｄｌ（ｕ，ｖ）を出力することを特徴とするステレオマッチング方法。
7. 前記相関演算を１画素毎に行うことを特徴とする請求項６に記載のステレオマッチング方法。
8. 前記相関演算を、基準画像の１つのウインドウと参照画像の１つのウインドウとの相関演算を１度行うことで最大相関を示す視差が算出可能な相関演算方法により行うことを特徴とする請求項６または７に記載のステレオマッチング方法。
9. 前記相関演算方法が位相限定相関法であることを特徴とする請求項８に記載のステレオマッチング方法。

Images