JP2011164905A

JP2011164905A - 対応点探索装置

Info

Publication number: JP2011164905A
Application number: JP2010026638A
Authority: JP
Inventors: Hiroshi Yamato; 宏大和
Original assignee: Konica Minolta Inc
Current assignee: Konica Minolta Inc
Priority date: 2010-02-09
Filing date: 2010-02-09
Publication date: 2011-08-25
Anticipated expiration: 2030-02-09
Also published as: JP5381768B2

Abstract

【課題】ステレオカメラを用いて得られた２つの画像についての対応点探索処理において、遠近競合を抑制した対応点探索装置を提供する。
【解決手段】ステレオカメラＳＣで得られた画像データが入力される画像入力部１１と、画像入力部１１から出力される画像データに対して、解像度変換を行う解像度変換部１２と、解像度変換された画像データに対して対応点探索を行うためのポイント設定を行うポイント設定部１３と、ポイント設定された画像データに対して多重解像度処理のための視差を設定するための視差設定部１４と、ポイント設定された画像データに対して、ウインドウを設定するウインドウ設定部１５と、ウインドウが設定された画像データに対して対応点探索処理を実行する対応点探索処理部１６とを備えている。
【選択図】図１１

Description

本発明は、２以上の画像の間で対応点を探索する対応点探索技術に関する。

近年、自走可能な移動体、例えば自動車において、車載カメラを用いて、前方を含めた周辺の画像を撮像し、車載表示装置に表示させる周辺表示装置が開発されている。

このような周辺表示装置において、車載カメラとしてステレオカメラを用いて３次元画像を表示させる場合、同一の被写体が異なる視点から撮影されることで得られる２つの画像の間で、相互に画素の対応付けを行う対応点探索処理が行われる。

このような対応点探索処理では、一般に２つの画像の間における２次元領域の相関を用いたエリアベースの探索処理が行われる。

このエリアベースの探索処理では次のような処理が行われる。一方の画像が基準とされ、該一方の画像に対して基準点を重心位置とするウインドウが設定されるとともに、他方の画像に対して同サイズのウインドウが設定される。そして、２つのウインドウに係る画像領域の間における相関に基づき、基準点に対応する他方の画像の対応点を求めると言った処理が、一方の画像の全画素を順次に基準点としながら実施される。このようなエリアベースの探索処理の一例は特許文献１に開示されている。

特開２００９−１８７１３８号公報

このようなエリアベースの対応点探索処理を上述した周辺表示装置で使用する場合、設定するウインドウの形状によっては対応点探索処理において遠近競合が起きる可能性がある。ここで、遠近競合とは、設定ウインドウ内に遠距離の被写体と近距離の被写体との両方を含んでいる状態のことである。

すなわち、対応点探索では、ウインドウの形状は正方形のような等方的な形状に設定されることが多いが、このような等方ウインドウの場合、路面のようにウインドウ内の距離が緩やかに変化するような位置に設定された場合や、路面と路面上の物体の両方を含むような位置に設定された場合は、ウインドウ内に複数の遠近情報を含み、遠近競合が起こりやすいという問題がある。

本発明は上記のような問題点を解消するためになされたもので、ステレオカメラを用いて得られた２つの画像についての対応点探索処理において、遠近競合を抑制した対応点探索装置を提供することを目的とする。

本発明に係る対応点探索装置の第１の態様は、ステレオカメラからの第１および第２の画像を受け、２つの画像間で、相互に画素の対応付けを行う対応点探索装置であって、前記第１の画像に対して解像度を低下させた関係にある第１の低解像度画像および、前記第２の画像に対して解像度を低下させた関係にある第２の低解像度画像を階層的に生成する解像度変換部と、前記第１の画像に対して第１の基準点を設定する第１の基準点設定部と、前記第１の低解像度画像に対して、前記第１の基準点に対応する第２の基準点を設定する第２の基準点設定部と、前記第２の低解像度画像を対象として前記第２の基準点に対応する第２の対応点を探索する第１の探索処理、および、前記第１の画像に対して前記第１の探索処理による探索結果を利用して、前記第２の画像を対象として前記第１の基準点に対応する第１の対応点を探索する第２の探索処理を行う対応点探索部と、前記第１および第２の探索処理のためのウインドウを設定するウインドウ設定部と、を備え、前記ウインドウ設定部においては、前記第１および第２の探索処理の少なくとも一方に際して、事前の探索処理による探索結果を利用して前記ウインドウの形状を設定する。

本発明に係る対応点探索装置の第２の態様は、前記ウインドウ設定部が、前記探索結果の信頼度を表す値についての閾値判定に基づいて前記ウインドウの形状を設定する。

本発明に係る対応点探索装置の第３の態様は、前記ウインドウ設定部が、前記第１の探索処理に際して、前記第１および前記第２の低解像度画像のどの領域においても等方的な形状のウインドウを設定し、前記第２の探索処理に際して、前記第１の探索処理による前記探索結果の前記信頼度を表す値が所定の閾値より高い領域においては、等方的な形状のウインドウを設定し、前記所定の閾値以下の領域においては、遠近方向の長さが短く、該遠近方向に垂直な方向の長さが長い長方形状のウインドウを設定する。

本発明に係る対応点探索装置の第４の態様は、前記対応点探索部が、前記第１の探索処理で得られた、前記第２の基準点と前記第２の対応点との視差を基準視差として前記第２の探索処理を行い、前記ウインドウ設定部は、前記第２の探索処理に際してのウインドウの設定において、前記基準視差と、前記第１の対応点より前に対応付けられた前記第２の画像上の画素の視差との比較結果に基づいて前記ウインドウの形状を設定する。

本発明に係る対応点探索装置の第５の態様は、前記ウインドウ設定部が、前記画素の前記視差と前記基準視差とが等しい領域においては、等方的な形状のウインドウを設定し、前記画素の前記視差と前記基準視差とに違いがある場合には、遠近方向の長さが短く、該遠近方向に垂直な方向の長さが長い長方形状のウインドウを設定する。

本発明に係る対応点探索装置の第６の態様は、前記ウインドウ設定部が、前記第１の探索処理に際して、前記第１および前記第２の低解像度画像のどの領域においても前記ステレオカメラの撮像レンズの縦横の倍率比と同じ縦横比の第１のウインドウを設定し、前記第２の探索処理に際して、前記第１の探索処理による前記探索結果の前記信頼度を表す値が所定の閾値より高い領域においては、等方的な形状の第２のウインドウを設定し、前記所定の閾値以下の領域においては、遠近方向の長さが短く、該遠近方向に垂直な方向の長さが長い長方形状の第３のウインドウを設定する。

本発明に係る対応点探索装置の第７の態様は、前記撮像レンズは変倍レンズで構成され、前記ウインドウ設定部は、前記第１のウインドウを物体面に適用した場合に、物体面での縦横比が等方となるように前記第１のウインドウの縦横比を設定する。

本発明に係る対応点探索装置の第８の態様は、前記変倍レンズとしてアナモフィックレンズを用いる。

本発明に係る対応点探索装置の第９の態様は、前記ウインドウ設定部が、前記第１のウインドウの縦横比を決める前記変倍レンズの縦横の倍率比の情報をテーブル情報として有する。

本発明に係る対応点探索装置の第１０の態様は、前記第１および第２の探索処理に、位相限定相関法を使用し、前記探索結果の信頼度を表す前記値は、ＰＯＣ値のピークの値を用いる。

本発明に係る対応点探索装置の第１の態様によれば、第１および第２の探索処理の少なくとも一方に際して、事前の探索処理による探索結果を利用してウインドウの形状を設定するので、例えば、自動車の周辺表示装置に適用した場合、路面と、路面上の物体などのように、対象物に応じて遠近競合が起こりにくい形状にウインドウを設定することができ、遠近競合を抑制することができる。

本発明に係る対応点探索装置の第２の態様によれば、探索結果の信頼度を表す値についての閾値判定に基づいてウインドウの形状を設定するので、ウインドウの設定に信頼性を有することとなる。

本発明に係る対応点探索装置の第３の態様によれば、例えば、自動車の周辺表示装置に適用した場合、路面上の物体については等方的な形状のウインドウを設定し、遠近競合の起きやすい路面については遠近方向の長さが短い長方形状のウインドウを設定することで、遠近競合を抑制することができる。

本発明に係る対応点探索装置の第４の態様によれば、例えば、基準視差と第１の対応点より前に対応付けられた第２の画像上の画素の視差との比較結果が一致するのであれば、正確に対応点探索が行われており、遠近競合が起きていないと判断できるので、ウインドウの設定に信頼性を有することとなる。

本発明に係る対応点探索装置の第５の態様によれば、例えば、自動車の周辺表示装置に適用した場合、路面上の物体については等方的な形状のウインドウを設定し、遠近競合の起きやすい路面については遠近方向の長さが短い長方形状のウインドウを設定することで、遠近競合を抑制することができる。

本発明に係る対応点探索装置の第６の態様によれば、例えば、ステレオカメラの撮像レンズの縦横の倍率比が異なるような場合でも、遠近競合を抑制することができる。

本発明に係る対応点探索装置の第７の態様によれば、撮像レンズが変倍レンズで構成される場合に遠近競合を抑制することができる。

本発明に係る対応点探索装置の第８の態様によれば、撮像レンズがアナモフィックレンズで構成される場合に遠近競合を抑制することができる。

本発明に係る対応点探索装置の第９の態様によれば、変倍レンズの種類が決まれば、自動的に、ウインドウの縦横比を決定することができる。

本発明に係る対応点探索装置の第１０の態様によれば、第１および第２の探索処理に位相限定相関法を用いるので、画像の振幅成分を除去し画像の位相成分のみで相関演算が行われるため、輝度変動やノイズの影響を抑制して対応点を精度良く探索できる。

ステレオカメラが前方を撮像する状態を模式的に示す図である。ステレオカメラを構成する２つのカメラのうち、一方で得られた画像を示す図である。Ｙ方向が長辺となった長方形のウインドウを設定した場合に得られる、遠近競合が起こりにくい領域を模式的に表す図である。Ｙ方向が長辺となった長方形のウインドウのサイズを示す図である。Ｘ方向が長辺となった長方形のウインドウを設定した場合に得られる、遠近競合が起こりにくい領域を模式的に表す図である。Ｘ方向が長辺となった長方形のウインドウのサイズを示す図である。正方形のウインドウを設定した場合に得られる、遠近競合が起こりにくい領域を模式的に表す図である。正方形のウインドウのサイズを示す図である。路面に正方形のウインドウを設定した場合を模式的に示す図である。路面にＸ方向が長辺となった長方形のウインドウを設定した場合を模式的に示す図である。本発明に係る対応点探索装置の構成を示すブロック図である。撮像画像を例示する模式図である。縮小された低解像度の画像を例示する模式図である。縮小された低解像度の画像を例示する模式図である。縮小された低解像度の画像を例示する模式図である。対応点探索を説明する模式図である。最下層画像に設定した基準点を示す図である。最下層画像に設定したウインドウを示す図である。縮小された参照画像に設定した処理対象点を示す図である。縮小された参照画像に設定した処理対象点を示す図である。参照画像に設定した処理対象点を示す図である。多重解像度処理の概念図である。位相限定相関法を用いた対応点探索処理を説明するための図である。位相限定相関法を用いた処理結果を示す図である。本発明に係る対応点探索装置の動作を示すフローチャートである。ウインドウ設定の具体例を説明する図である。ウインドウ設定の具体例を説明する図である。アナモフィックレンズの特性を模式的に示す図である。撮影対象となる物体面を表す図である。アナモフィックレンズを介して撮影された画像面を表す図である。物体面に対して等方的なウインドウを設定した図である。アナモフィックレンズを介して撮影された画像面に発明に係るウインドウを設定した図である。アナモフィックレンズを介して撮影された画像面に等方的なウインドウを設定した図である。物体面に対して非等方的なウインドウを設定した図である。変倍レンズを用いて撮像した画像に対するウインドウ設定の具体例を説明する図である。変倍レンズを用いて撮像した画像に対するウインドウ設定の具体例を説明する図である。

＜序＞
実施の形態の説明に先立って、ウインドウ形状による遠近競合の状態の違いと、発明の概要について説明する。

図１は、車両ＭＶの進行方向（Ｚ方向）の前方を撮像するステレオカメラＳＣが、前方を撮像する状態を模式的に示しており、車両ＭＶの前方の路面ＲＳ上に物体ＯＢが存在している状況を模式的に示している。なお、図１においてＸ方向が路面ＲＳを横断する方向であり、路面ＲＳに対して垂直な方向がＹ方向である。

図２は、ステレオカメラＳＣを構成する２つのカメラのうち、一方で得られた画像を示す図である。このような画像を取得した場合、形状の異なる３種類のウインドウによってそれぞれ得られる遠近競合が起こりにくい領域を図３〜図８を用いて模式的に表す。

図３は、Ｙ方向が長辺となった長方形のウインドウＷＤ１を設定した場合に得られる、遠近競合が起こりにくい領域を模式的に表す図であり、図２に示す物体ＯＢが占める矩形領域を物体領域ＯＢＲ１として示し、物体領域ＯＢＲ１の周辺を周辺領域ＰＲ２として示し、物体領域ＯＢＲ１の周辺のうち、物体領域ＯＢＲ１の近傍領域であって、遠近競合が起きる可能性のある領域を周辺競合領域ＰＲ１として示し、物体領域ＯＢＲ１内の遠近競合が起こりにくい領域を非競合物体領域ＯＢＲ２として示している。なお、図３には、物体領域ＯＢＲ１のサイズも示しており、物体領域ＯＢＲ１はＸ方向に沿った長辺の長さがｍ、Ｙ方向に沿った短辺の長さがｎとなっている。

また、図４にはウインドウＷＤ１のサイズを示しており、ウインドウＷＤ１はＹ方向に沿った長辺の長さが２ａ、Ｘ方向に沿った短辺の長さが２ｂとなっている。

図５は、Ｘ方向が長辺となった長方形のウインドウＷＤ２を設定した場合に得られる、遠近競合が起こりにくい領域を模式的に表す図であり、図５に示す物体ＯＢが占める矩形領域を物体領域ＯＢＲ１として示し、物体領域ＯＢＲ１の周辺を周辺領域ＰＲ２として示し、物体領域ＯＢＲ１の周辺のうち、物体領域ＯＢＲ１の近傍領域であって、遠近競合が起きる可能性のある領域を周辺競合領域ＰＲ１として示し、物体領域ＯＢＲ１内の遠近競合が起こりにくい領域を非競合物体領域ＯＢＲ２として示している。なお、図５には、物体領域ＯＢＲ１のサイズも示しており、物体領域ＯＢＲ１は、Ｘ方向に沿った長辺の長さがｍ、Ｙ方向に沿った短辺の長さがｎとなっている。

また、図６にはウインドウＷＤ２のサイズを示しており、ウインドウＷＤ２はＸ方向に沿った長辺の長さが２ａ、Ｙ方向に沿った短辺の長さが２ｂとなっている。

図７は、正方形のウインドウＷＤ３を設定した場合に得られる、遠近競合が起こりにくい領域を模式的に表す図であり、図７に示す物体ＯＢが占める矩形領域を物体領域ＯＢＲ１として示し、物体領域ＯＢＲ１の周辺を周辺領域ＰＲ２として示し、物体領域ＯＢＲ１の周辺のうち、物体領域ＯＢＲ１の近傍領域であって、遠近競合が起きる可能性のある領域を周辺競合領域ＰＲ１として示し、物体領域ＯＢＲ１内の遠近競合が起こりにくい領域を非競合物体領域ＯＢＲ２として示している。なお、図７には、物体領域ＯＢＲ１のサイズも示しており、物体領域ＯＢＲ１は、Ｘ方向に沿った長辺の長さがｍ、Ｙ方向に沿った短辺の長さがｎとなっている。

また、図８にはウインドウＷＤ３のサイズを示しており、ウインドウＷＤ３は一辺の長さが２ｃとなっている。

図３、図５および図７の比較により、非競合物体領域ＯＢＲ２が最も広いのは、図７の正方形のウインドウＷＤ３を設定した場合であることが判る。

ここで、図３、図５および図７のそれぞれの非競合物体領域ＯＢＲ２の面積は、以下の数式（１）〜（６）を用いて算出することができる。

すなわち、非競合物体領域ＯＢＲ２は、設定したウインドウの領域に物体領域と周辺領域とを同時に含まない領域で定義することができ、これに従えば、ウインドウＷＤ１を設定した図３の場合の非競合物体領域ＯＢＲ２の面積Ｓ１は下記の数式（１）で表される。

同様に、ウインドウＷＤ２を設定した図５の場合の非競合物体領域ＯＢＲ２の面積Ｓ２は下記の数式（２）で表される。

また、ウインドウＷＤ３を設定した図７の場合の非競合物体領域ＯＢＲ２の面積Ｓ３は下記の数式（３）で表される。

なお、ウインドウＷＤ１〜ＷＤ３の面積は何れも等しいものとし、４ａｂ＝４ｃ²であるものとする。

ここで、各サイズに数値を入れ、ｍ＝２００、ｎ＝１５０、２ａ＝３２、２ｂ＝８、２ｃ＝１６とする。なお、各数値は、画素数であり上述した面積Ｓ１〜Ｓ３も、正確には画素数を指しているが、便宜的に面積としている。

上記各サイズを、数式（１）〜（３）に代入すると、面積Ｓ１〜Ｓ３は、それぞれ下記の数式（４）〜（６）で表され、正方形のウインドウＷＤ３を設定した場合の非競合物体領域ＯＢＲ２が最も広いことが判る。

しかし、ウインドウＷＤ３のような等方ウインドウの場合、先に説明したように、路面のようにウインドウ内の距離が緩やかに変化するような位置に設定された場合や、路面と路面上の物体の両方を含むような位置に設定された場合は、ウインドウ内に複数の遠近情報を含み、遠近競合が起こりやすい。

図９の(ａ)部には、路面ＲＳにウインドウＷＤ３を設定した場合を模式的に示しており、視差値の大きな手前側と、視差値の小さな奥側とで距離情報が異なり、遠近競合が起こりやすいことが判る。

また、図９の(ｂ)部には、路面ＲＳと路面上の物体ＯＢの両方を含むようにウインドウＷＤ３を設定した場合を模式的に示しており、複数の遠近情報が混在して遠近競合が起こりやすいことを示している。

一方、図１０の(ａ)部には、路面ＲＳを横断する方向（Ｘ方向）に長いウインドウＷＤ２を設定した場合を模式的に示しており、ウインドウ内での視差の変化が小さく、距離情報が混在せず、遠近競合が起こりにくいことが判る。

また、図１０の(ｂ)部には、路面ＲＳと路面上の物体ＯＢとで、設定するウインドウの形状を変更した場合を模式的に示しており、物体ＯＢ近傍の路面ＲＳには、路面ＲＳを横断する方向（Ｘ方向）に長いウインドウＷＤ２を設定し、物体ＯＢ上には等方ウインドウであるウインドウＷＤ３を設定している。

物体ＯＢ近傍の路面ＲＳに設定したウインドウＷＤ２内では、視差の変化が小さく、遠近競合が起こりにくく、また物体ＯＢ上に設定した等方ウインドウでは、視差の変化が小さく、ほぼ同じ距離情報となるので遠近競合が起こりにくく、また、先に説明したように、非競合物体領域も広くできる。

従って、路面と、路面上の物体などのように、対象物に応じて遠近競合が起こりにくい形状にウインドウを設定することで、遠近競合を抑制するというのが、本願発明の概要である。

＜実施の形態＞
＜装置構成＞
図１１は、本発明に係る対応点探索装置１０の構成を示すブロック図である。図１１に示すように対応点探索装置１０は、基準画像を撮影するカメラ１ａと、参照画像を撮影するカメラ１ｂとで構成されるステレオカメラＳＣで得られた画像データが入力される画像入力部１１と、画像入力部１１から出力される画像データに対して、解像度変換を行って多重解像度処理のための多重解像度画像を生成する解像度変換部１２と、解像度変換された全ての層の画像データについての対応点探索が終了したか否かを判定する残層判定部２１と、基準画像の全画素についての対応点探索が終了したか否かを判定する残画素判定部２２と、解像度変換された画像データに対して対応点探索を行うためのポイント設定を行うポイント設定部１３と、ポイント設定された画像データに対して多重解像度処理のための視差を設定するための視差設定部１４と、ポイント設定された画像データに対して、ウインドウを設定するウインドウ設定部１５と、ウインドウが設定された画像データに対して対応点探索処理を実行する対応点探索処理部１６とを備えている。

カメラ１ａで撮影された基準画像の画像データ（基準画像データ）は、画像入力部１１内の基準画像入力部１１ａに画素単位で与えられ、カメラ１ｂで撮影された参照画像の画像データ（参照画像データ）は、画像入力部１１内の参照画像入力部１１ｂに画素単位で与えられる。

解像度変換部１２の基準画像解像度変換部１２ａにおいては、基準画像をベースとして、該基準画像に対して解像度を段階的に低下させた関係にある画像（低解像度基準画像）を生成し、参照画像解像度変換部１２ｂにおいては、参照画像をベースとして、該参照画像に対して解像度を段階的に低下させた関係にある画像（低解像度参照画像）を生成する。

解像度変換部１２の基準画像解像度変換部１２ａおよび参照画像解像度変換部１２ｂのそれぞれからは、解像度変換された基準画像データおよび参照画像データが、ポイント設定部１３の基準点設定部１３ａおよび比較点設定部１３ｂに与えられる。基準点設定部１３ａでは、対応点探索を行うための基準点が設定され、比較点設定部１３ｂでは基準点に対応する比較点が設定される。

視差設定部１４の基準画像視差設定部１４ａおよび参照画像視差設定部１４ｂでは、対応点の探索の基準となる所定の視差（ここでは初期視差）を含むように、基準画像においては基準点を仮に設定し、参照画像においては比較点を仮に設定する。所定の初期視差としては、例えば、ゼロ等が設定される。

ウインドウ設定部１５の基準点ウインドウ設定部１５ａおよび比較点ウインドウ設定部１５ｂでは、それぞれ、基準点および比較点を中心として包含するウインドウを設定する。

ウインドウが設定された画像データは、対応点探索処理部１６に与えられて、対応点探索処理が実行される。なお、対応点探索処理については後に説明する。

対応点探索処理が終了した後は、算出された対応点に対して、平行化、歪補正、３次元再構成等の処理を行うことで３次元情報を取得し、当該３次元情報に基づいて３次元画像データを算出する。なお、これらの処理を行う構成については従来的なものであれば良く、本願発明との関係が薄いので、図示および説明は省略する。

次に、各構成について以下にさらに説明する。

＜画像入力部＞
画像入力部１１は、ステレオカメラＳＣによって撮像された同一の被写体を同じタイミングでとらえた第１撮像画像Ｇ１および第２撮像画像Ｇ２を取得する。

図１２は、第１および第２撮像画像Ｇ１およびＧ２の形態をそれぞれ例示する模式図である。第１および第２撮像画像Ｇ１およびＧ２では、多数の画素がマトリックス状に配列される。具合的には、縦方向（Ｙ方向）に第１所定数（ここでは、４８０個）の画素が配列されるとともに、横方向（Ｘ方向）に第２所定数（ここでは、６４０個）の画素が配列される。

なお、第１および第２撮像画像Ｇ１およびＧ２では、左上の位置が原点とされ、第１および第２撮像画像Ｇ１およびＧ２を構成する各画素の横方向における位置がＸ座標で示され、縦方向における位置がＹ座標で示される。つまり、第１および第２撮像画像Ｇ１およびＧ２では、各画素の位置がＸＹの座標（ｘ，ｙ）で示され、例えば、右方向（Ｘ方向）に１画素ずれるとＸ座標の値が１つ増加し、下方向（Ｙ方向）に１画素ずれるとＹ座標の値が１つ増加する。

また、対応点探索動作では、第１撮像画像Ｇ１が基準となる画像（基準画像）となり、第２撮像画像Ｇ２が参照される画像（参照画像）となる。以下では、第１撮像画像Ｇ１を基準画像Ｇ１と称し、第２撮像画像Ｇ２を参照画像Ｇ２と称し、それぞれ、基準画像入力部１１ａおよび参照画像入力部１１ｂによって取得される。なお、画像取得部１１では、厳密には、基準画像Ｇ１および参照画像Ｇ２を示すデータが取得されるが、本明細書では、基準画像Ｇ１を示すデータおよび基準画像Ｇ１そのものを基準画像Ｇ１と総称し、参照画像Ｇ２を示すデータおよび参照画像Ｇ２そのものを参照画像Ｇ２と総称する。

＜解像度変換部＞
解像度変換部１２は、基準画像Ｇ１をベースとして、該基準画像Ｇ１に対して解像度を段階的に低下させた関係にある画像（低解像度基準画像）を基準画像解像度変換部１２ａで生成するとともに、参照画像Ｇ２をベースとして、該参照画像Ｇ２に対して解像度を段階的に低下させた関係にある画像（低解像度参照画像）を参照画像解像度変換部１２ｂで生成する。

より詳細には、基準画像解像度変換部１２ａでは、基準画像Ｇ１を構成する複数の縦方向の画素の列（垂直ライン）および複数の横方向の画素の行（水平ライン）のうち、１列おきの垂直ラインおよび１行おきの水平ラインがそれぞれ間引かれることで、縮小された低解像度の基準画像（第１縮小基準画像）Ｇ１１（図１３）が生成される。なお、第１縮小基準画像Ｇ１１は、縦方向に３２０個および横方向に２４０個の画素がマトリックス状に配列されている。

そして、基準画像解像度変換部１２ａでは、第１縮小基準画像Ｇ１１のうち、１列おきの垂直ラインおよび１行おきの水平ラインがそれぞれ間引かれることで、更に縮小された低解像度の基準画像（第２縮小基準画像）Ｇ１２（図１４）が生成される。なお、第２縮小基準画像Ｇ１２は、縦方向に１６０個および横方向に１２０個の画素がマトリックス状に配列されている。

さらに、基準画像解像度変換部１２ａでは、第２縮小基準画像Ｇ１２のうち、１列おきの垂直ラインおよび１行おきの水平ラインがそれぞれ間引かれることで、更に縮小された低解像度の基準画像（第３縮小基準画像）Ｇ１３（図１５）が生成される。なお、第３縮小基準画像Ｇ１３は、縦方向に８０個および横方向に６０個の画素がマトリックス状に配列されている。

また、参照画像解像度変換部１２ｂでは、参照画像Ｇ２を構成する複数の垂直ラインおよび複数の水平ラインのうち、１列おきの垂直ラインおよび１行おきの水平ラインがそれぞれ間引かれることで、縮小された低解像度の参照画像（第１縮小参照画像）Ｇ２１（図１３）が生成される。なお、第１縮小参照画像Ｇ２１は、縦方向に３２０個および横方向に２４０個の画素がマトリックス状に配列されている。

そして、参照画像解像度変換部１２ｂでは、第１縮小参照画像Ｇ２１のうち、１列おきの垂直ラインおよび１行おきの水平ラインがそれぞれ間引かれることで、更に縮小された低解像度の参照画像（第２縮小参照画像）Ｇ２２（図１４）が生成される。なお、第２縮小参照画像Ｇ２２は、縦方向に１６０個および横方向に１２０個の画素がマトリックス状に配列されている。

さらに、参照画像解像度変換部１２ｂでは、第２縮小参照画像Ｇ２２のうち、１列おきの垂直画素ラインおよび１行おきの水平ラインがそれぞれ間引かれることで、更に縮小された低解像度の参照画像（第３縮小参照画像）Ｇ２３（図１５）が生成される。なお、第３縮小参照画像Ｇ２３では、縦方向に８０個および横方向に６０個の画素がマトリックス状に配列されている。

このように、解像度変換部１２によって、基準画像Ｇ１と参照画像Ｇ２の組が基準とされ、１段階解像度が低減された第１縮小基準画像Ｇ１１と第１縮小参照画像Ｇ２１との組が１層目の高解像度の画像の組として生成される。また、２段階解像度が低減された第２縮小基準画像Ｇ１２と第２縮小参照画像Ｇ２２との組が、２層目の低解像度の画像の組として形成される。更に、３段階解像度が低減された第３縮小基準画像Ｇ１３と第３縮小参照画像Ｇ２３との組が、３層目（最下層）の低解像度の画像の組として形成される。

＜ポイント設定部＞
ポイント設定部１３の、基準点設定部１３ａは、基準画像Ｇ１に対して、図１６に示すように対応点探索の基準となる点（基準点）Ｓｐ１を設定する。

具体的には、まず、基準画像Ｇ１のうちの左上の画素が基準点Ｓｐ１として設定される。そして、基準点Ｓｐ１に対しての対応点探索により参照画像Ｇ２から対応点が検出される度に、新たな基準点Ｓｐ１が設定される。より詳細には、基準画像Ｇ１に対して、図１６の矢印で示されるように、基準点Ｓｐ１が、上方向（＋Ｙ方向）から順に、左から右方向（Ｘ方向）に沿って所定画素（ここでは、１画素）ずつずらされながら（スキャンされながら）時間順次に設定され、各基準点Ｓｐ１に対応する対応点を、参照画像Ｇ２上で検出する。

換言すれば、基準画像Ｇ１については、−Ｙ方向から＋Ｙ方向に向けて並んだＸ方向に平行な各水平ラインに沿って、基準点Ｓｐ１が時間順次に設定される。そして、Ｘ方向に平行な１つの水平ラインに沿った基準点Ｓｐ１の設定が完了すると、１画素分＋Ｙ方向に位置するＸ方向に平行な次の水平ラインに沿って基準点Ｓｐ１が時間順次に設定される。

また、ポイント設定部１３の、比較点設定部１３ｂは、基準点設定部１３ａで基準点Ｓｐ１を設定する動作と平行して、基準点設定部１３ａと同様のスキャン動作により、参照画像Ｇ２におけるウインドウ設定のための中心点（比較点）を設定する。

＜視差設定部＞
視差設定部１４の基準画像視差設定部１４ａでは、図１７で示されるように、基準点設定部１３ａによって設定された基準点Ｓｐ１に対応する点（基準点）Ｓｐ１３を最下層画像である第３縮小基準画像Ｇ１３に対して設定し、参照画像視差設定部１４ｂでは、最下層画像である第３縮小参照画像Ｇ２３に対して、演算処理の対象となる点（処理対象点）Ｐｐ２３を設定する。ここでは、第３縮小基準画像Ｇ１３における基準点Ｓｐ１３の位置と、第３縮小参照画像Ｇ２３における処理対象点Ｐｐ２３の位置との間におけるＸ座標のずれ量が、予め定めた初期視差に相当する。

＜ウインドウ設定部＞
ウインドウ設定部１５の基準点ウインドウ設定部１５ａでは、図１８で示されるように、第３縮小基準画像Ｇ１３に対して基準点Ｓｐ１３を中心として包含するウインドウ（基準領域）Ｗ１３を設定し、比較点ウインドウ設定部１５ｂでは、図１８で示されるように、第３縮小参照画像Ｇ２３に対して処理対象点Ｐｐ２３を中心として包含するウインドウ（比較領域）Ｗ２３を設定する。なお、基準領域Ｗ１３および比較領域Ｗ２３は、同一サイズの領域である。

＜対応点探索処理部＞
対応点探索処理部１６は、第３縮小参照画像Ｇ２３を対象として基準点Ｓｐ１３に対応する対応点を探索する。この下層対応点探索処理部３６７では、後述する位相限定相関法（ＰＯＣ法）を用いて得られる基準領域Ｗ１３と比較領域Ｗ２３との相関に基づいて、対応点の探索が行われる。

このように、多重解像度処理においては、まず、視差設定部１４、ウインドウ設定部１５、および対応点探索処理部１６によって、第３縮小基準画像Ｇ１３に対して基準点Ｓｐ１３が設定されるとともに、第３縮小参照画像Ｇ２３を対象として基準点Ｓｐ１３に対応する対応点を探索する処理が行われる。

そして、対応点探索処理部１６による探索結果を示す情報は、適宜、次層である第２縮小基準画像Ｇ１２および第２縮小参照画像Ｇ２２を用いての対応点探索のためにフィードバックされる。

すなわち、対応点探索処理部１６による第３縮小基準画像Ｇ１３および第３縮小参照画像Ｇ２３に対する探索結果に応じて得られる基準視差に基づいて、第２縮小参照画像Ｇ２２における演算処理の対象となる点（処理対象点）が設定される。

より詳細には、対応点探索処理部１６で得られた基準視差は視差設定部１４に与えられ、視差設定部１４では、図１９で示されるように、第２縮小参照画像Ｇ２２に対して、処理対象点Ｐｐ２２を設定する。このとき、第２縮小基準画像Ｇ１２における基準点（図示せず）の位置と、第２縮小参照画像Ｇ２２における処理対象点Ｐｐ２２の位置との間におけるＸ座標のずれ量が、基準視差に相当する。なお、図１９では、比較点ウインドウ設定部１５ｂで設定されるウインドウ（比較領域）Ｗ２２も併せて示している。

また、第２縮小基準画像Ｇ１２および第２縮小参照画像Ｇ２２を用いての対応点探索の後は、対応点探索処理部１６による探索結果を示す情報は、次層である第１縮小基準画像Ｇ１１および第１縮小参照画像Ｇ２１を用いての対応点探索のためにフィードバックされる。

すなわち、対応点探索処理部１６による第２縮小基準画像Ｇ１２および第２縮小参照画像Ｇ２２に対する探索結果に応じて得られる基準視差に基づいて、第１縮小参照画像Ｇ２１における処理対象点が設定される。

より詳細には、対応点探索処理部１６で得られた基準視差は視差設定部１４に与えられ、視差設定部１４では、図２０で示されるように、第１縮小参照画像Ｇ２１に対して、処理対象点Ｐｐ２１を設定する。このとき、第１縮小基準画像Ｇ１１における基準点（図示せず）の位置と、第１縮小参照画像Ｇ２１における処理対象点Ｐｐ２１の位置との間におけるＸ座標のずれ量が、基準視差に相当する。なお、図２０では、比較点ウインドウ設定部１５ｂで設定されるウインドウ（比較領域）Ｗ２１も併せて示している。

さらに、第１縮小基準画像Ｇ１１および第１縮小参照画像Ｇ２１を用いての対応点探索の後は、対応点探索処理部１６による探索結果を示す情報は、最上層である基準画像Ｇ１および参照画像Ｇ２を用いての対応点探索のためにフィードバックされる。

すなわち、対応点探索処理部１６による第１縮小基準画像Ｇ１１および第２縮小参照画像Ｇ２１に対する探索結果に応じて得られる基準視差に基づいて、第１縮小参照画像Ｇ２における処理対象点が設定される。

より詳細には、対応点探索処理部１６で得られた基準視差は視差設定部１４に与えられ、視差設定部１４では、図２１で示されるように、参照画像Ｇ２に対して、処理対象点Ｐｐ２を設定する。このとき、基準画像Ｇ１における基準点（図示せず）の位置と、参照画像Ｇ２における処理対象点Ｐｐ２の位置との間におけるＸ座標のずれ量が、基準視差に相当する。なお、図２１では、比較点ウインドウ設定部１５ｂで設定されるウインドウ（比較領域）Ｗ２も併せて示している。

なお、上述したように、対応点探索処理部１６では、ＰＯＣ法により対応点の探索が行われ、得られた対応点と基準点との視差に関する情報を視差設定部１４に与えるとともに、ＰＯＣ値のピークの情報をウインドウ設定部１５に与える構成となっている。これについては、後に説明する。

また、対応点探索処理が終了した後は、算出された対応点に対して、平行化、歪補正、３次元再構成等の処理を行うことで３次元情報を取得し、当該３次元情報に基づいて３次元画像データを算出する。なお、これらの処理を行う構成については従来的ものであれば良く、本願発明との関係が薄いので、図示および説明は省略する。

図２２には、以上説明した多重解像度処理の概念図を示す。図２２において、第１縮小基準画像Ｇ１１、第２縮小基準画像Ｇ１２および第３縮小基準画像Ｇ１３が階層的に示されており、低解像度側から高解像度側に向けて対応点探索処理部１６による探索結果、すなわち「解」の情報が与えられることが示されている。

＜残層判定部＞
残層判定部２１は、探索処理の対象とすべき画像の組（層）の全てに対して処理が終わったか否かを判定し、処理が終わっていない画像の組が存在していれば、その旨を示す信号が、解像度変換された基準画像データおよび参照画像データとともにとともに残画素判定部２２に与えられる。一方、探索処理の対象とすべき画像の組が存在しない場合には、対応点探索の結果を出力する。

＜残画素判定部＞
残画素判定部２２は、基準点設定部１３ａによって基準画像Ｇ１の全画素が基準点Ｓｐ１として設定されたか否かを判定する。ここでは、基準画像Ｇ１の全画素が基準点Ｓｐ１として設定されていなければ、その旨を示す信号が、解像度変換された基準画像データおよび参照画像データとともにポイント設定部１３に与えられる。一方、基準画像Ｇ１の全画素が基準点Ｓｐ１として既に設定されていれば、基準画像Ｇ１と参照画像Ｇ２との間における対応点探索動作を終了する。

＜対応点探索処理＞
次に、図２３および図２４を用いて、対応点探索処理部１６での対応点探索処理について説明する。対応点探索処理部１６では、対応点探索処理に位相限定相関法（ＰＯＣ：Phase Only Correlation)を用いる。

図２３は、位相限定相関法を用いた対応点探索処理を説明するための図である。位相限定相関法を用いた対応点探索処理では、まず基準画像上のウインドウ内の画像と、参照画像上のウインドウ内の画像とが抽出される。これらの画像については、次の数式のように表されるものとする。

ここで、上記の数式におけるｆ(ｎ₁,ｎ₂)およびｇ(ｎ₁,ｎ₂)は、基準画像上のウインドウ内の画像および参照画像上のウインドウ内の画像を示している。また、Ｎ₁およびＮ₂は、例えばＮ₁＝２Ｍ₁＋１、Ｎ₂＝２Ｍ₂＋１と設定されている。

次に、基準画像および参照画像のウインドウ内の各画像に対し、次の数式に示す演算式を用いた２次元のフーリエ変換処理Ｔ１ａ、Ｔ１ｂを行う。

なお、上記の数式のただし書におけるＷの添字Ｐには、Ｎ₁、Ｎ₂が代入され、またｋの添字ｓには、１、２が代入される。

このようなフーリエ変換処理Ｔ１ａ、Ｔ１ｂが施された各画像に対しては、次の数式に示す演算式を用いて、画像の振幅成分を除去するための規格化処理Ｔ２ａ、Ｔ２ｂが行われる。

規格化処理Ｔ２ａ、Ｔ２ｂが完了すると、次の数式に示す演算式を用いた合成処理Ｔ３が行われる。

合成処理Ｔ３とともに、次の数式に示す演算式を用いた２次元の逆フーリエ変換処理Ｔ４が行われる。これにより、各画像間の相関演算が実施されることとなり、その結果(ＰＯＣ値)が出力される。

以上の位相限定相関法を用いた処理により、例えば図２４に示すような結果が得られる。この図２４においては、ウインドウ(Ｎ₁×Ｎ₂)内で相関が高い箇所のＰＯＣ値が大きくなっており、ＰＯＣ値のピークＪｃに対応する参照画像上のウインドウ内の位置が、基準画像上のウインドウの中心点(指定点)に対応した参照画像上の対応点に相当することとなる。

以上のような位相限定相関法を用いた対応点探索処理によれば、画像の振幅成分を除去し画像の位相成分のみで相関演算が行われるため、輝度変動やノイズの影響を抑制して参照画像上の対応点を精度良く探索できる。

なお、本願では、先に説明したように、ウインドウの設定に特徴を有しており、このウインドウの設定に際しては、ＰＯＣ値のピークＪｃを用いてウインドウの設定変更を行う。すなわち、ＰＯＣ値のピークＪｃ（規格化されたもの）が１および１に近い値であれば信頼度の高い数値であり、物体領域であると判断され、路面であればピークＪｃが１より小さくなり、また、遠近競合が起こって信頼度が低下していればピークＪｃがさらに小さくなるので、遠近競合部と判断される。このように、物体領域、路面、遠近競合部で適宜、閾値を設定することで、物体領域、路面および遠近競合部の何れであるかを判定することができ、それぞれに合わせたウインドウの設定が可能となる。なお、ウインドウの設定の例については後に説明する。

＜対応点探索動作＞
次に、図２５に示すフローチャートを用いて、図１１を参照しつつ本実施形態に係る対応点探索動作について説明する。

ステレオカメラＳＣにより基準画像および参照画像が撮像され対応点探索処理が開始されると、画像入力部１１の基準画像入力部１１ａおよび参照画像入力部１１ｂが、それぞれ基準画像および参照画像を取得する（ステップＳ１）。

次に、解像度変換部１２によって、基準画像Ｇ１（図１２）をベースとして、該基準画像Ｇ１から解像度が段階的に低減された関係にある第１〜３層目の第１〜３縮小基準画像Ｇ１１〜Ｇ１３（図１３〜図１５）がそれぞれ生成されるとともに、参照画像Ｇ２（図１２）をベースとして、該参照画像Ｇ２から解像度が段階的に低減された関係にある第１〜３層目の第１〜３縮小参照画像Ｇ２１〜２３（図１３〜図１５）がそれぞれ生成される（ステップＳ２）。

次に、残層判定部２１において、探索処理の対象とすべき画像の組（層）全てに対して処理が終わったか否かを判定し（ステップＳ３）、処理が終わっていない画像の組が存在していれば、その旨を示す信号が、解像度変換された基準画像データおよび参照画像データとともに残画素判定部２２に与えられる。一方、探索処理の対象とすべき画像の組が存在しない場合には、対応点探索の結果を出力する（ステップＳ９）。

ここで、多重解像度処理では、最下層側から最上層に向けて探索処理が実行され、本実施の形態では、第３縮小基準画像Ｇ１３および第３縮小参照画像Ｇ２３が最初に探索処理の対象となる画像の組として指定され、次いで、第２縮小基準画像Ｇ１２および第２縮小参照画像Ｇ２２、第１縮小基準画像Ｇ１１および第１縮小参照画像Ｇ２１の順で指定され、最後に基準画像Ｇ１および参照画像Ｇ２が探索処理の対象となる。従って、残層判定部２２では、最上層の基準画像Ｇ１および参照画像Ｇ２の処理が終わっていれば、探索処理の対象とすべき画像の組は存在しないという判定を行う。なお、以下の説明では、第３縮小基準画像Ｇ１３および第３縮小参照画像Ｇ２３に対する探索処理を実行する場合を中心に説明する。

残画素判定部２２では、処理すべき画素が基準画像Ｇ１に残っているか否か、すなわち基準点設定部１３ａによって基準画像Ｇ１の全画素が基準点Ｓｐ１（図１６）として設定されたか否かを判定し（ステップＳ４）、処理すべき画素が残っていればその旨を示す信号が、解像度変換された基準画像データおよび参照画像データとともにポイント設定部１３に与えられる。一方、処理すべき画素が残っていない場合には、対応点探索動作を終了する。

次に、ポイント設定部１３の基準点設定部１３ａにおいて、基準画像Ｇ１に対して、基準点Ｓｐ１を設定し、比較点設定部１３ｂでは、基準点設定部１３ａで基準点Ｓｐ１を設定する動作と平行して、基準点設定部１３ａと同様のスキャン動作により、参照画像Ｇ２におけるウインドウ設定のための中心点（比較点）を設定する（ステップＳ５）。

次に、視差設定部１４において、第３縮小基準画像Ｇ１３と第３縮小参照画像Ｇ２３との間における所定の初期視差が仮に設定される（ステップＳ６）。

具体的には、基準画像視差設定部１４ａにおいて、ステップＳ５で設定された基準点Ｓｐ１に対応する基準点Ｓｐ１３が第３縮小基準画像Ｇ１３に対して設定される。また、参照画像視差設定部１４ｂにおいて、第３縮小参照画像Ｇ２３に対して、演算処理の対象となる点（処理対象点）Ｐｐ２３を設定する。ここでは、第３縮小基準画像Ｇ１３における基準点Ｓｐ１３の位置に対して、予め定めた初期視差に基づいて第３縮小参照画像Ｇ２３における処理対象点Ｐｐ２３の位置を設定するが、初期視差はゼロに設定する場合が多い。

次に、ウインドウ設定部１５の基準点ウインドウ設定部１５ａにおいて、第３縮小基準画像Ｇ１３に対して基準点Ｓｐ１３を中心として包含するウインドウＷ１３（図１８）を設定し、比較点ウインドウ設定部１５ｂでは、第３縮小参照画像Ｇ２３に対して処理対象点Ｐｐ２３を中心として包含するウインドウＷ２３を設定する（ステップＳ７）。なお、基準領域Ｗ１３および比較領域Ｗ２３は、同一サイズの領域である。

ここで、基準領域Ｗ１３および比較領域Ｗ２３の形状は、対応点探索に使用されるＰＯＣ値のピークＪｃ（図２５）を用いてウインドウ設定部１５で決定する。すなわち、ＰＯＣ法ではＰＯＣ値のピークＪｃに対応する参照画像上のウインドウ内の位置が、基準画像上のウインドウの中心点に対応した参照画像上の対応点に相当することとなるが、このＰＯＣ値のピークＪｃ（規格化されたもの）が１および１に近い値であれば物体領域であると判断され、路面であればピークＪｃが１より小さくなり、遠近競合が起こっていればピークＪｃがさらに小さくなるので、予め、路面、遠近競合部で適宜、閾値を設定しておき、それに基づいて、現在着目している部分が物体領域であるか、路面であるか、あるいは遠近競合部の何れであるかを判定する。なお、判定のための閾値としては、ピークＪｃが１であるか、それ以外であるかによって判定しても良いし、１に近い値を閾値として設定し、それ以上であるか否かで判定しても良い。

そして、路面であると判定した場合は、次にウインドウを設定する際には、図５に示したように、Ｘ方向が長辺、Ｙ方向（２次元画像上で遠近方向）が短辺となった長方形のウインドウＷＤ２を設定する。また、物体領域あるいは遠近競合部であると判定した場合は、次にウインドウを設定する際には、図７に示したように、正方形のウインドウＷＤ３を設定する。このとき、ウインドウＷＤ２とＷＤ３とで面積が同じとなるように設定することで、特徴量を同等とすることができる。なお、解像度の低い層においては、ウインドウの形状は変更せず、例えば、最上層である基準画像Ｇ１の基準点に対応する参照画像Ｇ２上の対応点を探索する際にのみ、ウインドウの形状を変更するようにしても良い。

このように、対応点探索に使用されるＰＯＣ値のピークＪｃを用いてウインドウの形状を決定するので、対応点探索処理部１６での探索結果は、視差設定部１４に基準視差を定めるための情報としてフィードバックされるだけでなく、ウインドウ設定部１５にＰＯＣ値のピークＪｃの情報をフィードバックする構成となっている。

なお、ウインドウ設定部１５では、探索処理の対象となっている画像の組（層）に対して、最初にウインドウを設定する際は、デフォルトで正方形のウインドウを設定するものとし、２回目以降のウインドウの設定に対してフィードバック結果を反映させる。

最後に、対応点探索処理部１６において、第３縮小参照画像Ｇ２３を対象として基準点Ｓｐ１３に対応する対応点が探索される（ステップＳ８）。

ステップＳ５〜Ｓ８を経て、第３縮小参照画像Ｇ２３を対象として基準点Ｓｐ１３に対応する対応点を探索した後は、次に、ステップＳ５〜Ｓ８を経て第２縮小参照画像Ｇ２２を対象として基準点に対応する対応点を探索し、第２縮小参照画像Ｇ２２を対象として基準点に対応する対応点を探索した後は、次に、ステップＳ５〜Ｓ８を経て第１縮小参照画像Ｇ２１を対象として基準点に対応する対応点を探索し、第１縮小参照画像Ｇ２１を対象として基準点に対応する対応点を探索した後は、次に、ステップＳ５〜Ｓ８を経て基準画像Ｇ１の基準点Ｓｐ１に対応する参照画像Ｇ２上の対応点を探索する。そして、参照画像Ｇ２上の対応点を決定した後は、基準画像Ｇ１の新たな基準点を設定し、再び、同様の対応点探索処理を繰り返す。これを、基準画像Ｇ１上に処理すべき画素がなくなるまで繰り返す。

＜ウインドウ設定の具体例＞
次に、図２６および図２７を用いて、ウインドウ設定の具体例について説明する。図２４および図２５においては、解像度変換を行って得られた解像度の異なる複数の画像を示しており、図２６の(ａ)部には、基準画像Ｇ１と参照画像Ｇ２の組に対応する層（レイヤー０）の画像に対してウインドウＷＤ３を設定した例を示しており、図２６の(ｂ)部には、基準画像Ｇ１１と参照画像Ｇ２１の組に対応する層（レイヤー１）の画像に対してウインドウＷＤ３を設定した例を示しており、図２６の(ｃ)部には、基準画像Ｇ１２と参照画像Ｇ２２の組に対応する層（レイヤー２）の画像に対してウインドウＷＤ３を設定した例を示している。

このように、図２６においては、路面ＲＳ上の物体ＯＢに対してウインドウを設定する場合には、等方的なウインドウＷＤ３を設定する例を示しているが、これにより、先に説明したように非競合物体領域の面積を広くすることができる。

また、図２７の(ａ)部には、基準画像Ｇ１と参照画像Ｇ２の組に対応する層（レイヤー０）の画像に対してウインドウＷＤ２を設定した例を示しており、図２７の(ｂ)部には、基準画像Ｇ１１と参照画像Ｇ２１の組に対応する層（レイヤー１）の画像に対してウインドウＷＤ３を設定した例を示しており、図２７の(ｃ)部には、基準画像Ｇ１２と参照画像Ｇ２２の組に対応する層（レイヤー２）の画像に対してウインドウＷＤ３を設定した例を示している。

図２７においては、路面ＲＳと、路面ＲＳ上の物体ＯＢとの境界部分に対してウインドウを設定する場合には、レイヤーによってウインドウの形状を変更する例を示している。すなわち、レイヤー１およびレイヤー２の画像に対しては、遠近競合が起きやすい路面ＲＳと、路面ＲＳ上の物体ＯＢとの境界部分においても等方的なウインドウを設定するが、レイヤー０の画像に対しては、路面ＲＳ上では、路面ＲＳを横断する方向に長いウインドウＷＤ２を設定することで、ウインドウ内での視差の変化が小さく、距離情報が混在せず、遠近競合を抑制することができる。

このように、路面と、路面上の物体などのように、対象物に応じて遠近競合が起こりにくい形状にウインドウを設定することで、遠近競合を抑制することができる。

＜ウインドウ設定の変形例＞
図２６を用いて示したように、物体領域では、画像面上のウインドウは等方的な形状であることが望ましいが、画像面上でのウインドウ形状は、物体面上で等方的な形状となるように設定しないと、画像面上の縦横で周波数特性が大きく変わってしまうことから、被写体パターンの姿勢依存性が大きく現れ、傾きなどの姿勢変動による方向性を持つこととなる。この結果、対応点探索の精度低下に繋がる可能性があるが、これに対する対策として物体面上で等方的となるようなウインドウ設定を画像面上で行うことが考えられる。

しかし、レンズの種類によっては、物体面上で等方的となるようなウインドウ設定を画像面上で行っても、必ずしも等方的なウインドウにできない場合がある。

例えば、横方向に画角が広く、縦方向は画角が狭いアナモフィックレンズのような縦横比の異なるレンズを用いてステレオカメラを構成する場合、レンズの特性から、物体面上で等方的となる画像面上でのウインドウは、縦方向に伸びたウインドウ形状となる。

このようなウインドウの場合は、画像面上での等方的なウインドウ設定と同様に、路面と車両との両方を含む位置での設定では、遠近の情報を含みやすいため、出力結果の遠近競合が起こりやすい。このような場合にも、本願発明によるウインドウ形状の変更は有効である。

以下、ステレオカメラの撮像レンズにアナモフィックレンズを用いた場合のウインドウ形状の変更例について説明する。

図２８に示すアナモフィックレンズＡＬは、円筒の軸（Ｙ軸方向）と垂直な方向（Ｘ軸方向）に画像を圧縮するように構成されており、被写体Ａ１をアナモフィックレンズＡＬを通して撮影することで、画面ＰＮ上にはＸ軸方向に圧縮された画像Ａ２が映されることになる。

図２９は、撮影対象となる物体面を表しており、自車両ＭＶの運転席から見た前方を見た状態を表している。

図３０は、図２９に示す物体面のうち、枠線で囲まれた領域ＲＩについてアナモフィックレンズを介して撮影された画像面を表しており、水平方向が圧縮されて、垂直方向に伸長していることが判る。

ここで、対応点探索を行うために、図３１に示すように、物体面に対して演算の周波数特性が等方となるように等方的なウインドウＷ１を設定した場合、アナモフィックレンズを介して得られた画像面上では、物体面と同様の周波数特性を含むように演算領域を設定するために、図３２に示すウインドウＷ２のように垂直方向に伸長したウインドウサイズとすることが望ましい。このときに、先に説明した、ウインドウ設定部１５では、アナモフィックレンズのレンズ特性に基づいてウインドウの縦横比を設定することで、対応付け精度の低下を防止することができる。

一方、図３３に示すように、図３２に示したウインドウＷ２と同じ面積（画素数）を有し、等方的に設定されたウインドウＷ３を画像面上に設定した場合、ウインドウＷ２と同レベルの情報量を含んでいるため、図３２の場合と同精度での対応点探索が可能となるが、画像面上で等方的なウインドウを設定すると、物体面上でのウインドウは図３４に示すウインドウＷ４のように、縦横比が大きく変わり、算出可能な周波数特性が大きく異なることとなる。この結果、対応点算出領域における被写体パターンの姿勢依存性が大きくなることとなり、望ましくはない。

また、図３３に示すウインドウＷ３のように、水平方向に長いウインドウを設定すると、水平方向に圧縮された画像面では、遠近競合が生じ、遠近の判別が難しくなるという問題もある。

ここで、多重解像度処理により対応付けを行う場合、下層の低解像度画像では、上層の高解像度画像での基準視差を決定することが目的であるので、低解像度画像ではウインドウは等方的な形状に設定し、上層の高解像度画像で使用する基準視差を取得する。

そして、最終的な対応点探索結果を算出する階層、すなわち最上層の画像においては、遠近競合を軽減するために、遠近競合の起きやすい領域では、遠近競合を抑制する形状のウインドウ設定を行う。

以下、図３５および図３６を用いて、変倍レンズ（アナモフィックレンズ）を用いて撮像した画像に対するウインドウ設定の具体例について説明する。図３５および図３６においては、解像度変換を行って得られた解像度の異なる複数の画像を示しており、図３５の(ａ)部には、基準画像Ｇ１と参照画像Ｇ２の組に対応する層（レイヤー０）の画像に対してウインドウＷＤ３を設定した例を示しており、図３５の(ｂ)部には、基準画像Ｇ１１と参照画像Ｇ２１の組に対応する層（レイヤー１）の画像に対してウインドウＷＤ１を設定した例を示しており、図３５の(ｃ)部には、基準画像Ｇ１２と参照画像Ｇ２２の組に対応する層（レイヤー２）の画像に対してウインドウＷＤ１を設定した例を示している。

このように、図３５においては、解像度の高いレイヤー０の画像においては、路面ＲＳ上の物体ＯＢに対してウインドウを設定する場合には、等方的なウインドウＷＤ３を設定するが、解像度の低いレイヤー１および２の画像においては、変倍レンズの縦横の倍率比に従って、縦方向（路面ＲＳを横断する方向とは垂直な方向）が長辺となった長方形のウインドウＷＤ１を設定している。これにより、非競合物体領域の面積を広くすることができる。

また、図３６の(ａ)部には、基準画像Ｇ１と参照画像Ｇ２の組に対応する層（レイヤー０）の画像に対してウインドウＷＤ２を設定した例を示しており、図３６の(ｂ)部には、基準画像Ｇ１１と参照画像Ｇ２１の組に対応する層（レイヤー１）の画像に対してウインドウＷＤ１を設定した例を示しており、図３６の(ｃ)部には、基準画像Ｇ１２と参照画像Ｇ２２の組に対応する層（レイヤー２）の画像に対してウインドウＷＤ１を設定した例を示している。

図３６においては、路面ＲＳと、路面ＲＳ上の物体ＯＢとの境界部分に対してウインドウを設定する場合には、レイヤーによってウインドウの形状を変更する例を示している。すなわち、レイヤー１およびレイヤー２の画像に対しては、遠近競合が起きやすい路面ＲＳと、路面ＲＳ上の物体ＯＢとの境界部分においては、変倍レンズの縦横の倍率比に従って、縦方向（路面ＲＳを横断する方向とは垂直な方向）が長辺となった長方形のウインドウＷＤ１を設定し、レイヤー０の画像に対しては、路面ＲＳ上では、路面ＲＳを横断する方向に長いウインドウＷＤ２を設定することで、ウインドウ内での視差の変化が小さく、距離情報が混在せず、遠近競合を抑制することができる。

ここで、変倍レンズの縦横の倍率比に従ってウインドウの形状を設定する具体例としては、例えば、垂直方向に対する水平方向の比率（圧縮比）が１／４となるレンズを使用する場合は、ウインドウＷＤの縦（Ｙ軸方向）横（Ｘ軸方向）の比率を４対１となるように設定し、垂直方向に対する水平方向の比率が１／２となるレンズを使用する場合は、ウインドウＷＤの縦横の比率が２対１となるように設定する。これは、基準画像においてもSN昭画像においても同様である。

また、レンズ特性については、予め種々のカメラ（変倍率率レンズを含んだ）に対するレンズ特性を対応点探索装置１０内のデータテーブル等に記憶させておき、ステレオカメラＳＣ（図１１）と対応点探索装置１０とを接続したときに、対応点探索装１０がステレオカメラＳＣを構成するカメラの種類を判別して、上記データテーブルからレンズ特性を読み出してウインドウ設定部１５に情報を与えるようにすれば良い。また、ステレオカメラＳＣを構成するカメラから、レンズ特性を対応点探索装置１０に与えるような構成であれば、ウインドウ設定部１５で、その情報を受けるようにすれば良い。

なお、上記のようにアナモフィックレンズの特性が判明している場合は、それに合わせてウインドウの縦横比を設定すれば良いが、特性が判らない場合は、縦方向が長くなるようなウインドウサイズ、例えば縦横の比率を２対１に一律に設定する構成を採れば、精度低下を軽減できる。

また、図３５および図３６を用いた説明では、低解像度画像では、変倍レンズの縦横の倍率比に従って、縦方向が長辺となった長方形のウインドウＷＤ１を設定するものとして説明したが、このウインドウＷＤ１は、物体面にウインドウを設定した場合の形状が等方的となるように縦横の寸法を設定するようにしても、同様の効果が得られる。このとき、物体面のウインドウと画像面のウインドウとで同じ面積となるように設定することが望ましい。

＜ウインドウ変更のための判定方法の他の例＞
以上の説明においてはウインドウ変更のための判定は、ＰＯＣ値のピークを信頼度の指標として用いて判定するものとして説明したが、他の方法としては、低解像度画像での対応点探索で得られた基準視差に基づいて得られた、より上層の画像での対応点の周辺情報に基づいて判定を行っても良い。

すなわち、得られた対応点の周辺（この場合は当該対応点より前に対応付けられた画素）での視差と、上記基準視差とが同じ値であるなら、その近傍では正確に対応点探索が行われていると考えられ、遠近競合が起きていないと考えられる。このような場合は物体領域を探索しているものと判断して、等方的なウインドウを設定する。一方、視差に違いがある場合は、遠近競合が起きている可能性が高く、路面を探索しているものと判断して、ウインドウＷＤ２（図６）のような、横方向（路面を横断する方向）が長辺となった長方形のウインドウを設定する。このような判定方法でも、それぞれのシーンに適したウインドウ形状の設定が可能となる。

１１画像入力部
１２解像度変換部
１３ポイント設定部
１４視差設定部
１５ウインドウ設定部
１６対応点探索処理部
ＳＣステレオカメラ

Claims

ステレオカメラからの第１および第２の画像を受け、２つの画像間で、相互に画素の対応付けを行う対応点探索装置であって、
前記第１の画像に対して解像度を低下させた関係にある第１の低解像度画像および、前記第２の画像に対して解像度を低下させた関係にある第２の低解像度画像を階層的に生成する解像度変換部と、
前記第１の画像に対して第１の基準点を設定する第１の基準点設定部と、
前記第１の低解像度画像に対して、前記第１の基準点に対応する第２の基準点を設定する第２の基準点設定部と、
前記第２の低解像度画像を対象として前記第２の基準点に対応する第２の対応点を探索する第１の探索処理、および、前記第１の画像に対して前記第１の探索処理による探索結果を利用して、前記第２の画像を対象として前記第１の基準点に対応する第１の対応点を探索する第２の探索処理を行う対応点探索部と、
前記第１および第２の探索処理のためのウインドウを設定するウインドウ設定部と、を備え、
前記ウインドウ設定部においては、前記第１および第２の探索処理の少なくとも一方に際して、事前の探索処理による探索結果を利用して前記ウインドウの形状を設定する、対応点探索装置。
前記ウインドウ設定部は、
前記探索結果の信頼度を表す値についての閾値判定に基づいて前記ウインドウの形状を設定する、請求項１記載の対応点探索装置。
前記ウインドウ設定部は、
前記第１の探索処理に際して、前記第１および前記第２の低解像度画像のどの領域においても等方的な形状のウインドウを設定し、
前記第２の探索処理に際して、前記第１の探索処理による前記探索結果の前記信頼度を表す値が所定の閾値より高い領域においては、等方的な形状のウインドウを設定し、前記所定の閾値以下の領域においては、遠近方向の長さが短く、該遠近方向に垂直な方向の長さが長い長方形状のウインドウを設定する、請求項２記載の対応点探索装置。
前記対応点探索部は、
前記第１の探索処理で得られた、前記第２の基準点と前記第２の対応点との視差を基準視差として前記第２の探索処理を行い、
前記ウインドウ設定部は、
前記第２の探索処理に際してのウインドウの設定において、
前記基準視差と、前記第１の対応点より前に対応付けられた前記第２の画像上の画素の視差との比較結果に基づいて、前記ウインドウの形状を設定する、請求項１記載の対応点探索装置。
前記ウインドウ設定部は、
前記画素の前記視差と前記基準視差とが等しい領域においては、等方的な形状のウインドウを設定し、
前記画素の前記視差と前記基準視差とに違いがある場合には、遠近方向の長さが短く、該遠近方向に垂直な方向の長さが長い長方形状のウインドウを設定する、請求項４記載の対応点探索装置。
前記ウインドウ設定部は、
前記第１の探索処理に際して、前記第１および前記第２の低解像度画像のどの領域においても前記ステレオカメラの撮像レンズの縦横の倍率比と同じ縦横比の第１のウインドウを設定し、
前記第２の探索処理に際して、前記第１の探索処理による前記探索結果の前記信頼度を表す値が所定の閾値より高い領域においては、等方的な形状の第２のウインドウを設定し、前記所定の閾値以下の領域においては、遠近方向の長さが短く、該遠近方向に垂直な方向の長さが長い長方形状の第３のウインドウを設定する、請求項２記載の対応点探索装置。
前記撮像レンズは変倍レンズで構成され、
前記ウインドウ設定部は、
前記第１のウインドウを物体面に適用した場合に、物体面での縦横比が等方となるように前記第１のウインドウの縦横比を設定する、請求項６記載の対応点探索装置。
前記変倍レンズとしてアナモフィックレンズを用いる、請求項７記載の対応点探索装置。
前記ウインドウ設定部は、
前記第１のウインドウの縦横比を決める前記変倍レンズの縦横の倍率比の情報をテーブル情報として有する、請求項５記載の対応点探索装置。
前記第１および第２の探索処理に、位相限定相関法を使用し、
前記探索結果の信頼度を表す前記値は、ＰＯＣ値のピークの値を用いる、請求項２記載の対応点探索装置。