JP2006038578A - 物体検出装置 - Google Patents

Abstract

【課題】 演算量を低減する物体検出装置を提供することを課題とする。
【解決手段】 互いに視点の異なる複数の撮像画像を出力する撮像手段と、互いに視点の異なる画像間の対応付けを行う対応付手段とを備え、対応付けによって得られる視差から物体を検出する物体検出装置において、撮像画像を低解像度画像に変換する解像度変換手段と、画像上における撮像手段からの距離に応じて遠方側と近傍側の少なくとも２つの領域に画像を分割する画像分割手段と、分割した領域毎に画像上における撮像手段からの距離に基づいて高解像度画像における対応付けを行うか否かを判定する判定手段とを備え、対応付手段により各領域の低解像度画像における対応付けを行い、判定手段により高解像度画像における対応付けを行うと判定した領域に対しては低解像度画像における対応付けによって得られた視差に基づいて対応付けを行う探索領域を設定して対応付けを行うことを特徴とする。
【選択図】 図６

Description

本発明は、ステレオ画像を用いて物体を検出する物体検出装置に関する。

物体検出装置には、左右一対のカメラで撮像したステレオ画像間で相関演算を行い、その演算結果から得られた視差を用いて物体までの距離等を算出し、物体を検出するものがある。ステレオ画像による物体検出装置は、様々な技術分野で利用されており、自動車に搭載されて前方の歩行者等を検出するための手段としても開発が進められている。自動車で利用する場合、リアルタイム処理が要求されるので、演算量を極力抑える必要がある。そこで、物体検出装置には、ステレオ画像の撮像画像（原画像）から解像度の低い画像を生成し、この低解像度画像間による相関演算によって概略の視差を求め、その概略の視差の付近でのみ次層の高解像度画像間による相関演算によって視差を求め、これを繰り返すことにより演算量を削減しているものがある（特許文献１参照）。
特開２００１−３１９２２９号公報

しかしながら、従来の物体検出装置では、低解像度画像から求めた視差付近でのみ高解像度画像による相関演算を行うが、画像全体を対象としているので、高解像度画像による相関演算を行う領域は画像全体にわたって分布する。また、高解像度画像による演算量は、低解像度画像による演算量に比べて極めて多い。したがって、全ての画像対して高解像度画像（例えば、ステレオ画像の原画像）による相関演算を行う場合に比べて演算量は削減するが、依然として相当な量の演算を行わなければならない。そのため、処理時間が制限される自動車等の場合、目標の処理時間内に演算を行えない可能性がある。

そこで、本発明は、演算量を低減する物体検出装置を提供することを課題とする。

本発明に係る物体検出装置は、互いに視点の異なる複数の撮像画像を出力する撮像手段と、互いに視点の異なる画像間の対応付けを行う対応付手段とを備え、当該対応付手段による対応付けによって得られる視差から物体を検出する物体検出装置において、撮像手段から出力された撮像画像を低解像度画像に変換する解像度変換手段と、画像上における撮像手段からの距離に応じて遠方側の領域と近傍側の領域の少なくとも２つの領域に画像を分割する画像分割手段と、画像分割手段で分割した領域毎に画像上における撮像手段からの距離に基づいて高解像度画像における対応付けを行うか否かを判定する判定手段とを備え、対応付手段により各領域の低解像度画像における対応付けを行い、判定手段により高解像度画像における対応付けを行うと判定した領域に対しては低解像度画像における対応付けによって得られた視差に基づいて対応付けを行う探索領域を設定して対応付手段により高解像度画像における対応付けを行うことを特徴とする。

この物体検出装置では、撮像手段により異なる視点でそれぞれ撮像し、複数の撮像画像を出力する。そして、物体検出装置では、解像度変換手段により各撮像画像を解像度の低い低解像度画像に変換する。また、物体検出装置では、領域分割手段により画像上における撮像手段からの距離に応じて画像を複数の領域に分割する。この際、分割によって画像が少なくとも２つの領域に分けられ、撮像手段からの距離に応じて分割するのでこの２つの領域としては撮像手段からの遠方側と近傍側の領域となる。通常、撮像画像では、画像上の上下方向において下側ほど撮像手段に対して近傍側のものが撮像されており、上側ほど撮像手段に対して遠方側のものが撮像されている。また、検出対象の物体の背が高いほど、その物体の上側は画像上においては上側に位置することになるので、撮像手段から近い位置に存在する物体でもその物体の上側ほど遠方側の領域に含まれることになる。物体検出装置では、判定手段により分割した各領域のうち画像上における撮像手段からの距離に基づいてどの領域において高解像度画像での対応付けを行う否かを判定する。画像内において検出対象の物体の存在する領域がある程度限定されており、その物体の存在する確率が高い領域については高解像度画像による対応付けによって精度の高い視差を求める必要がある。また、撮像手段から近傍側ほど、１画素当たりの距離が短く、画像上での距離精度が高いので、低解像度画像による対応付けでもある程度精度の高い視差を求めることができる。そこで、この物体検出装置では、情報として必要な物体が存在する確率が高い領域であり、高解像度画像による精度が必要な領域に対しては高解像度画像による対応付けを行うようにしている。そして、物体検出装置では、対応付手段により分割した各領域の低解像度画像での対応付けを行い、その対応付けの結果から視差を求める。さらに、物体検出装置では、判定手段で高解像度画像での対応付けを行うと判定した領域に対してのみ、低解像度画像での対応付け結果から得られた視差に基づいて高解像度画像における対応付けを行う探索領域を設定し、対応付手段によりその探索領域に対して高解像度画像での対応付けを行い、その対応付けの結果から視差を求める。そして、物体検出手段では、求めた視差から物体との距離等を求め、物体を検出する。このように、物体検出装置では、画像を複数の領域に分割し、情報として必要な物体の存在確率が高くかつ検出精度が必要な領域に対してのみ高解像度画像による対応付けを行い、その他の領域に対しては低解像度画像による対応付けを行う。そのため、この物体検出装置では、演算量の多い高解像度画像に対する演算を極力抑制でき、全体の演算量を低減することができるとともに、物体の検出精度も確保している。このように、この物体検出装置は、演算量を極力低減できるので、処理時間を制限される自動車等における物体検出に好適である。

なお、解像度変換では、撮像画像に対して一層だけ解像度の異なる低解像度画像に変換してもよいしあるいは撮像画像に対して複数層解像度の異なる複数の低解像度画像に変換してもよい。ちなみに、最も解像度の高い高解像度画像は、撮像画像である。低解像度画像における対応付けでは、分割した全ての領域に対して低解像度画像における対応付けを行う場合と分割した全ての領域から検出対象の物体が全く存在しないあるいは殆ど存在しない領域を除いた各領域に対して低解像度画像における対応付けを行う場合がある。

本発明の上記物体検出装置では、判定手段は、遠方側の領域に対しては低解像度画像における対応付けによって得られた視差が所定の視差以上の場合に高解像度画像における対応付けを行うと判定する構成としてもよい。

この物体検出装置では、物体検出装置では、判定手段により、分割した各領域のうち遠方側の領域に対してはその領域の低解像度画像による対応付けによって得られた視差が所定の視差以上か否かを判定し、所定の視差以上の場合にのみ高解像度画像による対応付けを行うと判定し、所定の視差未満の場合には高解像度画像による対応付けを行わないと判定する。視差が小さいほど撮像手段から遠くに物体が存在する可能性が高いので、遠方側の領域の中で遠くに存在する物体は情報として必要な物体である可能性が低く、その物体を高精度に検出する必要が低い。一方、視差が大きいほど撮像手段から近くに物体が存在する可能性が高いので、情報として必要な物体である可能性が高く、その物体を高精度に検出する必要が高い。また、撮像手段から近くに存在する物体でも、背が高い物体はその物体の上側は遠方側の領域に存在し、その遠方側の領域において小さい視差が発生するので、その物体を高精度に検出する必要が高い。そこで、画像上では遠方側の領域でも撮像手段から近くに存在する可能性のある物体については高解像度画像によって視差を求める。

本発明の上記物体検出装置では、画像分割手段は、遠方側の領域と近傍側の領域とその中間の領域の少なくとも３つの領域に画像を分割し、判定手段は、中間の領域に対しては高解像度画像における対応付けを行うと判定する構成としてもよい。

この物体検出装置では、画像分割手段により遠方側の領域と近傍側の領域とその中間の領域の少なくとも３つの領域に画像を分割する。そして、物体検出装置では、判定手段によりこの中間の領域に対しては高解像度画像による対応付けを行うと判定する。この中間の領域は、情報として必要な物体が存在する確率が高い領域であり、撮像手段からある程度離れているので画像上での距離精度がそれほど高くない。そこで、中間の領域に対しては高解像度画像によって視差を求め、物体を高精度に検出する。

本発明の上記物体検出装置では、判定手段は、近傍側の領域に対しては高解像度画像における対応付けを行わないと判定する構成としてもよい。

この物体検出装置では、判定手段により、分割した各領域のうち近傍側の領域に対しては高解像度画像による対応付けを行わないと判定する。近傍側の領域では低解像度画像による対応付けでも十分な精度が得られるので、高解像度画像による対応付けを禁止し、演算量を更に低減する。

本発明の上記物体検出装置では、判定手段は、近傍側の領域に対しては低解像度画像における対応付けによって得られた各視差において同じ値の視差が連続する場合には高解像度画像を低い解像度に変換した画像における対応付けを行うと判定する構成としてもよい。

この物体検出装置では、判定手段により、低解像度画像によって得られた各視差において同じ値が連続するか否かを判定し、同じ値が連続する場合に高解像度画像を低い解像度に変換した画像における対応付けを行うと判定する。同じ値の視差が集まっているところは情報が集まっているので、高解像度から解像度を多少落としても十分な精度が得られる。そこで、高解像度画像から間引いた画像によって視差を求め、演算量を更に低減する。

本発明に係る物体検出装置は、互いに視点の異なる複数の撮像画像を出力する撮像手段と、互いに視点の異なる画像間の対応付けを行う対応付手段とを備え、当該対応付手段による対応付けによって得られる視差から物体を検出する物体検出装置において、撮像手段から出力された撮像画像を低解像度画像に変換する解像度変換手段と、低解像度画像における対応付けによって得られた視差に基づいて高解像度画像における対応付けを行うか否かを判定する判定手段とを備え、判定手段により高解像度画像における対応付けを行うと判定した対応点に対しては低解像度画像における対応付けによって得られた視差に基づいて対応付けを行う探索領域を設定して対応付手段により高解像度画像における対応付けを行い、判定手段により高解像度画像における対応付けを行わないと判定した対応点に対しては高解像度画像における対応付けを禁止することを特徴とする。

この物体検出装置では、撮像手段により異なる視点でそれぞれ撮像し、複数の撮像画像を出力する。そして、物体検出装置では、解像度変換手段により各撮像画像を解像度の低い低解像度画像に変換する。さらに、物体検出装置では、対応付手段により低解像度画像における対応付けを行い、その対応付けの結果から各対応点の視差を求める。続いて、物体検出装置では、判定手段により、低解像度画像による対応付けによって得られた各対応点の視差に基づいて高解像度画像による対応付けを行うか否かを判定する。視差が小さいほど撮像手段から遠くに物体が存在する可能性が高いので、遠くに存在する物体は情報として必要な物体である緊急度が低く、その物体を高精度に検出する必要性が低い。一方、視差が大きいほど撮像手段から近くに物体が存在する可能性が高いので、情報として必要な物体である緊急度が高く、その物体を高精度に検出する必要性が高い。そこで、物体検出装置では、判定手段で高解像度画像での対応付けを行うと判定した各対応点に対してのみ、低解像度画像での対応付け結果から得られた視差に基づいて高解像度画像における対応付けを行う探索領域を設定し、対応付手段によりその探索領域に対して高解像度画像での対応付けを行い、その対応付けの結果から視差を求める。一方、物体検出装置では、判定手段で高解像度画像での対応付けを行わないと判定した各対応点に対しては、高解像度画像における対応付けを禁止する。そして、物体検出手段では、求めた視差から物体との距離等を求め、物体を検出する。このように、物体検出装置では、各対応点の視差により撮像手段から遠方側か近傍側かを判定し、情報として必要な近傍側の対応点に対してのみ高解像度画像による対応付けを行い、遠方側に対しては低解像度画像による対応付けのみを行う。そのため、この物体検出装置では、演算量の多い高解像度画像に対する演算を極力抑制でき、全体の演算量を低減することができる。このように、この物体検出装置も、演算量を極力低減できるので、処理時間を制限される自動車等における物体検出に好適である。

本発明の上記物体検出装置の判定手段では、低解像度画像における対応付けによって得られた視差が所定の視差以上の場合に高解像度画像における対応付けを行うと判定し、低解像度画像における対応付けによって得られた視差が所定の視差より小さい場合には高解像度画像における対応付けを行わないと判定するように構成してもよい。

この物体検出装置では、判定手段により、低解像度画像による対応付けによって得られた各対応点の視差が所定の視差以上か否かを判定し、所定の視差以上の場合にのみ高解像度画像による対応付けを行うと判定し、所定の視差未満の場合には高解像度画像による対応付けを行わないと判定する。このように、所定の視差と比較することにより、高解像度画像による演算を行うか否かを簡単に判断できる。

本発明によれば、演算量の多い高解像度画像における対応付けを行うか否かを判定し、高解像度画像に対する演算を極力抑制することにより、演算量を低減することができ、処理時間を短縮できる。

以下、図面を参照して、本発明に係る物体検出装置の実施の形態を説明する。

本実施の形態では、本発明に係る物体検出装置を、自動車に搭載される物体検出装置に適用する。本実施の形態に係る物体検出装置は、ドライバにとって必要な情報である自動車の前方に存在する歩行者や障害物等の物体を検出する。本実施の形態に係る物体検出装置は、粗画像及び密画像による相関演算によって物体を検出するが、密画像による相関演算を極力抑制し、処理全体の演算を大幅に削減する。本実施の形態には、密画像による相関演算を行う否かの判断方法の違いにより２つの形態があり、第１の実施の形態が画像全体を領域分割して各領域に応じて密画像による相関演算を行うか否かを判断する形態であり、第２の実施の形態が粗画像相関演算による各対応点の視差に基づいて密画像による相関演算を行うか否かを判断する形態である。第１の実施の形態では、同じ画像を３つの領域に分割した例と５つの領域に分割した例を示す。

図１〜図５を参照して、第１の実施の形態に係る物体検出装置１の構成について説明する。図１は、本実施の形態に係る物体検出装置の構成図である。図２は、撮像画像を３つの領域に分割した場合の一例である。図３は、図２の３つの領域に分割した場合の領域毎の相関処理の対応表である。図４は、撮像画像を５つの領域に分割した場合の一例である。図５は、図４の５つの領域に分割した場合の領域毎の相関処理の対応表である。

物体検出装置１は、自動車の前方の所定距離以内に存在する歩行者や障害物等の物体を検出し、その検出した情報を警報装置等の他の装置に送信する。自動車は、所定の速度で前方に向かって走行しているので、短時間で前方の物体まで到達する。そのため、物体検出装置１では、物体を検出するための目標処理時間が規定されている。そこで、物体検出装置１は、密画像である撮像画像（原画像）による相関演算を極力抑制し、処理時間を極力短縮している。物体検出装置１は、ステレオカメラを構成する２台のカメラ２，３及びＥＣＵ[Electronic Control Unit]４からなる。なお、本実施の形態では、カメラ２，３が特許請求の範囲に記載する撮像手段に相当する。

カメラ２，３は、自動車の左右に配置され、自動車の前方を撮影するステレオカメラである。カメラ２，３は、水平線が撮像画像の上下方向の中央付近にくるように、所定の高さ位置（例えば、地面から１ｍ数１０ｃｍ）に所定の俯角（例えば、下向きに数°）で設置される。カメラ２，３は、ＣＣＤ［Charge coupled device］等の撮像素子を備えるデジタルカメラであり、デジタル画像データからなる撮像画像を画像信号としてＥＣＵ４に送信する。この撮像画像は、自動車の前方の左右方向の情報を幅広く取得するために比較的横長の画像であり、左右方向（ｘ方向）が６４０画素、上下方向（ｙ方向）が２４０画像である。各画素のデジタル画像データは、画像上の位置（ｘ，ｙ）とＲＧＢの各階調のデータ等からなる。

ＥＣＵ４は、ステレオ画像処理用のＥＣＵであり、ＣＰＵ[Central Processing Unit]、ＲＯＭ[Read Only Memory]、ＲＡＭ[Random Access Memory]等からなる。ＥＣＵ４では、物体検出装置１が起動されると、ＲＯＭに記憶されている専用のプログラムをＲＡＭにロードし、ＣＰＵによってプログラムに記述された各処理を実行する。ＥＣＵ４では、カメラ２，３から撮像画像（ステレオ画像）をそれぞれ取り入れ、各撮像画像を領域分割する。さらに、ＥＣＵ４では、領域毎に、各撮像画像（密画像）から粗画像を生成する。そして、ＥＣＵ４では、相関演算を行わない領域、粗画像による相関演算のみを行う領域、密画像による相関演算まで行う領域を決定し、各領域における相関演算から得られた視差に基づいて物体を検出する。なお、第１実施の形態では、特許請求の範囲に記載する対応付手段、解像度変換手段、画像分割手段、判定手段はＥＣＵ４においてプログラム（ソフトウエア）が実行されることによってそれぞれ構成される。

ＥＣＵ４では、カメラ２，３から送信される各画像信号を受信し、左右の撮像画像（密画像）のデジタル画像データをフレームメモリにそれぞれ記憶させる。フレームメモリは、複数のＲＡＭから構成され、撮像画像の各画素に対応した６４０×２４０個のＲＡＭからなる。

ＥＣＵ４では、予め設定されている上下方向のライン数により、左右の撮像画像を複数の領域にそれぞれ分割する。この領域分割するライン数は、カメラ２，３の設置高さや俯角で決まる撮像画像における水平線の位置等を考慮して、予め決められる。

撮像画像は、上下方向において下側ほどカメラ２，３から近傍側のものが撮像されており、上側ほどカメラ２，３から遠方側のものが撮像されている。つまり、撮像画像の上下方向の位置は、カメラ２，３から前方方向への距離に対応している。したがって、撮像画像における水平線の位置が決まると、撮像画像における下端からのライン数によりカメラ２，３（自車）からのおおよその距離が判る。また、ドライバに知らせる必要がある情報としては自車から数１０ｍ（例えば、５０ｍ）以内に存在する歩行者等の情報であり、自車が到達するまで時間を要するかなり遠方に存在する歩行者等の情報までは必要ない。そこで、この自車前方に存在する歩行者等の物体が存在する確率が高い領域を撮像画像の下端からのライン数で規定し、その物体が存在する確率が高い領域を基準として他の領域のライン数を規定する。例えば、図２に示す例では、３つの領域Ａ，Ｂ，Ｃに分割される。この場合、歩行者等が存在する確率が高い領域は、水平線を含む領域Ｂである。その下側の領域Ａは、主に自車のボンネットを含む極近傍の領域であり、歩行者が存在しても足等の一部分だけである。その上側の領域Ｃは、主に空を含む最遠方の領域である。

さらに、殆ど空やボンネットを含む領域については、ドライバに知らせる必要がある情報が入っている可能性は殆どないので、これらの領域のライン数を規定する。この最上端の領域と最下端の領域に挟まれる領域は、自車前方に存在する歩行者等の物体が存在する可能性がある領域である。この領域の中でも、存在確率が高くかつ検出精度も必要な領域を撮像画像の下端からのライン数で規定し、その領域を基準として他の領域のライン数を規定する。例えば、図４に示す例では、５つの領域ａ，ｂ，ｃ，ｄ，ｅに分割される。この場合、殆ど空を含む領域は、領域ａである。殆どボンネットを含む領域は、領域ｅである。存在確率が高くかつ検出精度も必要な領域は、水平線を含む領域ｃである。領域ｃの上側の領域ｂは、自車から遠方の領域であり、歩行者が存在しても頭等の一部分だけである。領域ｃより下側の領域ｄは、自車から近傍の領域であり、歩行者が存在しても足等の一部分だけである。

ＥＣＵ４では、分割した領域毎に、高解像度である撮像画像（密画像）を低い解像度の粗画像に変換し、粗画像のデジタル画像データをフレームメモリにそれぞれ記憶させる。ここでは、撮像画像の各画素のデジタルの階調データを用いて、平均化法、ガウシアンピラミッド、ウエーブレット変換等によって低解像度変換する。粗画像は、例えば、密画像に対して上下方向及び左右方向に画素数が１／４、１／８等に間引かれ、面積（画素数）が１／１６、１／６４等に圧縮された画像である。したがって、粗画像は、ぼやかした画像であり、大きなメッシュ画像である。なお、粗画像による相関演算を行わない領域については、低解像度変換を行わなくもよい。また、低解像度変換は、領域毎に行うのでなく、撮像画像全体に行ってもよい。

ＥＣＵ４では、ドライバに知らせる必要がある情報が入っている可能性がある領域か否かを判定し、可能性のある領域の場合には粗画像による相関演算を行うと判定し、可能性のないあるいは殆どない領域の場合には粗画像による相関演算を行わないと判定する。つまり、空やボンネットを含む領域については、ドライバにとって必要な情報である歩行者等の情報は得られないので、粗画像による相関演算も行わない。図２の例では、領域Ａは、主に空を含む領域なので、粗画像による相関演算も行われない。図４の例では、領域ａ，ｅは、殆ど空またはボンネットを含む領域なので、粗画像による相関演算も行われない。

ＥＣＵ４では、粗画像による相関演算を行うと判定した領域毎に、粗画像の領域全体を探索領域とし、ｘ方向に１画素単位でずらしながら対応点探索を行う。そして、ＥＣＵ４では、各対応点の相関値を算出し、相関値が最小の点から視差を求める。この最小の点に、検出対象の物体が存在する。視差は、その最小の点におけるｘ方向のずれ量である。そして、ＥＣＵ４では、この求めた視差から、粗画像による視差画像を生成する。粗画像による視差は、相関演算を行う際の情報量が少ないので、密画像による視差に比べて精度が低い。しかし、カメラ２，３から近傍の画像（すなわち、下端側の画像）ほど、１画素当たりの距離のずれ量が少ないので、粗画像による視差でも十分な精度が得られる。ちなみに、画像の下端近傍では１画素当たりのずれ量が数ｃｍ程度であり、上端近傍では１画素当たりのずれ量が数ｍ程度もある。

さらに、ＥＣＵ４では、粗画像による相関演算を行うと判定した領域毎に、画像内の上下方向において中間の領域か否かを判定し、中間の領域の場合には密画像による相関演算を行うあるいは密画像による相関演算を行う対象と判定し、中間の領域でない場合には密画像による相関演算を行わないと判定する。つまり、中間の領域については、ドライバにとって必要な情報である歩行者等の情報が入っている可能性が高く、カメラ２，３から離れているために粗画像による視差の精度が低いので、密画像による相関演算も行う。一方、中間の領域より下側の領域については、ドライバにとって必要な情報が入っている可能性があるが、カメラ２，３から近いために粗画像による視差の精度がある程度高いので、密画像による相関演算を行わない。図２の例では、領域Ｂは、中間の領域なので、密画像による相関演算も行うが、領域Ｃは、中間より下側の領域で自車から近傍の領域なので、密画像による相関演算が行われない。図４の例では、領域ｂ，ｃ，ｄは、中間の領域なので、密画像による相関演算を行う対象である。

特に、ＥＣＵ４では、密画像による相関演算を行う対象と判定した領域については、更に、密画像による相関演算を行うか否かの判定及び密画像から間引いた画像による相関演算を行うか否かの判定を行う。

具体的には、ＥＣＵ４では、粗画像による相関演算から得られた視差が所定視差（α）以上か否かを判定し、所定視差（α）以上の場合には密画像による相関演算を行うと判定し、所定視差（α）未満の場合には密画像による相関演算を行わないと判定する。つまり、視差が小さいほどその物体がカメラ２，３（自車）から離れているので、その検出した時点ではドライバにとっては必要な情報ではないので、密画像による相関演算を行わない。所定視差（α）は、ドライバにとって情報として必要な物体が存在する範囲を示す視差であり、自車からの距離が数１０ｍ（例えば、５０ｍ）に相当する視差が設定される。図４の例では、領域ｂは、中間の領域であるが、その中でも遠方側の領域なので、密画像による相関演算が行われない。

さらに、ＥＣＵ４では、粗画像の１ライン内での対応点の数を積算し、その積算した対応点数が所定対応点数（β）より多いか否かを判定し、所定対応点数より多い場合には間引いた密画像による相関演算を行うと判定する。つまり、１ライン内の対応点数が多いほど、相関演算における演算回数が増加するので、処理時間が長くなる。そこで、対応点数が多い場合には、密画像を間引いて処理する画素数（対応点数）を低減し、演算回数を削減する。所定対応点数（β）は、処理時間が目標処理時間を超えないようするために、１ライン内で処理可能な最大の対応点数であり、ＥＣＵ４の処理能力を考慮して設定される。

１ライン内の対応点数が所定対応点数以下の場合、ＥＣＵ４では、粗画像による相関演算で得られた各対応点の視差が隣接した対応点の視差と同じ値か否かを判定し、同じ値の視差が連続する場合には密画像を間引いた画像による相関演算を行うと判定し、同じ値の視差が連続しない場合には間引かない密画像による相関演算を行うと判定する。つまり、同じ値の視差が連続して集まっているところは、情報量が多いので、画素（対応点）を間引いて相関演算を行っても十分な精度が得られる。図４の例では、領域ｄは、中間の領域であるが、その中でも近傍側の領域であり、情報量が多いので、１／２に間引いた密画像による相関演算が行われる。また、領域ｃは、中間の領域の中でも中央の領域であり、ドライバにとって必要な情報が入っている可能性が高くかつカメラ２，３から離れていくために粗画像による視差の精度が低いので、密画像による相関演算も行われる。

ＥＣＵ４では、密画像による相関演算を行うと判定した領域毎に、粗画像による相関演算によって得られた視差を用いて、その視差付近に密画像における探索領域を設定する。粗画像によっておおよそ視差が存在する箇所（つまり、物体が存在する位置）が得られているので、その箇所（探索領域）に絞って密画像により精度の高い視差を得る。そして、ＥＣＵ４では、各領域の密画像において設定した探索領域だけを対象として、ｘ方向に１画素単位でずらしながら対応点探索を行う。そして、ＥＣＵ４では、各対応点の相関値を算出し、相関値が最小の点から視差を求める。そして、ＥＣＵ４では、この求めた視差から、密画像による視差画像を生成する。密画像による視差は、相関演算を行う際の情報量が多いので、精度が非常に高い。

特に、ＥＣＵ４では、間引きした密画像による相関演算を行うと判定した場合、その領域の密画像を上下方向及び左右方向に画素数を１／２に間引いて圧縮した画像を生成する。そして、ＥＣＵ４では、この間引いた画像を用いて、上記した密画像による相関演算と同様の処理を行う。この間引きした画像は密画像に比べて画素数が１／４になるので、密画像による相関演算に比べて演算量が低減する。

ＥＣＵ４では、粗画像による視差画像のみが得られた領域についてはその視差画像を用い、密画像又は間引きした画像による視差画像も得られた領域についてはその視差画像を用いて、カメラ２，３から物体の各点までの距離をそれぞれ求める。さらに、ＥＣＵ４では、３点以上の物体までの距離情報から物体を形成する面を求め、物体を検出する。この物体検出では、画像上のｘ方向の位置が同じでｙ方向の位置が異なる対応点の各視差が同じ値の場合、その対応点のところに物体が存在すると判定している。そして、ＥＣＵ４では、検出した物体の情報（例えば、物体までの距離や位置、物体の形状）を検出信号として警報装置等に送信する。

図２及び図４に示す撮像画像の分割例について説明する。この撮像画像は、画像のほぼ中央に歩行者が存在し、上端付近に空を含み、下端付近にボンネットを含む画像である。この撮像画像の分割では、カメラ２，３が設置された高さと俯角によって決まる撮像画像の撮像範囲（撮像画像における水平線の位置）に基づいて、分割するライン数が予め設定されている。ラインは、撮像画像の上端から１ライン〜２４０ラインである。

図２の撮像画像では３つの領域Ａ，Ｂ，Ｃに分割され、図３に示すように領域毎に相関処理が異なる。領域Ａは、１ラインから４８ラインまでの４８ライン数であり、主に空が撮像される領域である。したがって、ドライバにとって必要な歩行者等の情報が領域Ａ内に入る可能性はないので、粗画像及び密画像による相関演算を行わない。領域Ｂは、４９ラインから１７６ラインまでの１２８ライン数であり、遠方まで自車の走行路が撮像される領域である。したがって、ドライバにとって必要な情報が領域Ｂ内に入る可能性が高いので、粗画像及び密画像による相関演算を行う。また、自車からある程度離れたところから遠方まで含む領域なので、密画像による精度も必要である。領域Ｃは、１７７ラインから２４０ラインまでの６４ラインであり、ボンネット及び自車の近傍からを含む領域である。したがって、ドライバにとって必要な情報が領域Ｃ内に入る可能性があるが、自車から近傍なので、密画像による精度は必要なく、粗画像による相関演算のみを行う。また、領域Ｃには歩行者の足の部分等の物体の下側が入る可能性があるが、歩行者の上半身等の物体の大部分は領域Ｂに入るので、領域Ｃではそれほど精度が要求されない。領域Ｃでの粗画像による相関演算では、精度を向上させるために、１画素単位ではなく、１／２画素単位等のサブピクセルによる相関演算を行ってもよい。

図４の撮像画像では５つの領域ａ，ｂ，ｃ，ｄ，ｅに分割され、図５に示すように領域毎に相関処理が異なる。領域ａは、１ラインから１６ラインまでの１６ライン数であり、空が撮像される領域である。したがって、ドライバにとって必要な情報が領域ａ内に入る可能性はないので、粗画像及び密画像による相関演算を行わない。領域ｂは、１７ラインから８０ラインまでの６４ライン数の領域であり、遠方の高い物体（煙突、鉄塔、工場等）が撮像される領域である。したがって、ドライバにとって必要な情報が領域ｂ内に入る可能性は殆どないが、走行路上の背の高い物体が領域ｂ内に入る可能性があるので、視差が所定視差（α）以上の物体（つまり、自車から所定距離以内の物体）が存在するか否かを判定し、密画像による相関演算を行うか否かを判断する。領域ｃは、８１ラインから１４４ラインまでの６４ライン数であり、遠方まで自車の走行路が撮像される領域である。したがって、ドライバにとって必要な情報が領域ｃ内に入る可能性が高くかつ密画像による精度も必要なので、粗画像及び密画像による相関演算を行う。領域ｄは、１４５ラインから２０８ラインまでの６４ライン数であり、自車の近傍の走行路が撮像される領域である。したがって、ドライバにとって必要な情報が領域ｄ内に入る可能性があるが、近傍なので精度がある程度確保されているので、粗画像及び密画像を１／２間引いた画像による相関演算を行う。領域ｅは、２０９ラインから２４０ラインまでの３２ライン数であり、ボンネットが撮像される領域である。したがって、ドライバにとって必要な情報が領域ｅ内に入る可能性はないので、粗画像及び密画像による相関演算を行わない。ちなみに、領域ａ，ｅは、自車がピッチングしても必要な情報が入らない領域であり、この物体検出装置１にとっては不必要な領域である。

図１を参照して、物体検出装置１の動作について説明する。特に、ＥＣＵ４におけるメイン処理については図６のフローチャートに沿って説明し、ＥＣＵ４における密画像処理については図７のフローチャートに沿って説明する。図６は、第１の実施の形態に係るＥＣＵにおけるメイン処理の流れを示すフローチャートである。図７は、第１の実施の形態に係るＥＣＵにおける密画像処理の流れを示すフローチャートである。

カメラ２，３では、左右から自車の前方を撮影し、その各撮像画像を画像信号としてＥＣＵ４に送信する。

ＥＣＵ４では、カメラ２，３から各画像信号を受信し、左右の撮像画像を取り入れる（Ｓ１）。そして、ＥＣＵ４では、各撮像画像をフレームメモリにそれぞれ記憶させる。

ＥＣＵ４では、予め設定されているライン数により、左右の撮像画像をそれぞれ領域分割する（Ｓ２）。さらに、ＥＣＵ４では、領域毎に、密画像から低解像度に変換した粗画像を生成する（Ｓ３）。

ＥＣＵ４では、全ての領域に対して、ドライバにとって必要な情報が入る可能性がある領域か否かを判定する（Ｓ４）。Ｓ４にて情報が入る可能性のない領域と判定された領域（例えば、図２の領域Ａ、図４の領域ａ，ｅ）に対しては、ＥＣＵ４では、粗画像及び密画像による相関演算を行わない。この領域は物体検出の対象外の領域であり、相関演算を全く行わないでよいので、演算量を削減できる。

ＥＣＵ４では、Ｓ４にて情報が入る可能性のある領域と判定された領域に対して、領域毎に粗画像による相関演算を行い、左右の粗画像の対応点を探索する（Ｓ５）。そして、ＥＣＵ４では、その相関結果から視差を求め、粗画像による視差画像を生成する。

ＥＣＵ４では、粗画像相関演算を行った各領域に対して、領域毎に画像内での中間領域か否かを判定する（Ｓ６）。Ｓ６にて中間領域でないと判定された領域（例えば、図２の領域Ｃ）については、密画像による相関演算を行わないので、Ｓ８の処理に移行する。ドライバにとって必要な情報が入ってくる可能性のある領域であるが、カメラ２，３から近傍なので粗画像による精度で十分な領域であり、密画像による相関演算を行わないでもよいので、演算量を削減できる。

Ｓ６にて中間領域であると判定された領域（例えば、図２の領域Ｂ、図４の領域ｂ，ｃ，ｄ）に対しては、ＥＣＵ４では、領域毎に密画像処理を行い、密画像による視差画像を生成する（Ｓ７）。この密画像処理では、中間領域に判定された領域に対して密画像による相関演算を行う場合（例えば、図２に示す３つの領域に分割する場合）と図７のフローチャートに示す処理を行う場合（例えば、図４に示す５つの領域に分割する場合）がある。密画像による相関演算を行う場合、ＥＣＵ４では、粗画像相関演算によって得られた視差付近に探索領域を設定し、その探索領域内で密画像による相関演算を行い、左右の密画像の対応点を探索する。そして、ＥＣＵ４では、その相関結果から視差を求め、密画像による視差画像を生成する。なお、図７に示す密画像処理については後で詳細に説明する。

ＥＣＵ４では、密画像又は間引きした密画像による視差画像がある領域についてその視差画像を用いるとともに粗画像による視差画像しかない領域についてはその視差画像を用いて、歩行者等の物体を検出する（Ｓ８）。そして、物体検出装置１では、その検出した物体の情報を警報装置等に送信する。

ＥＣＵ４における密画像処理について説明する。この密画像処理は、Ｓ６で中間領域と判定された各領域についてそれぞれ行われる。

ＥＣＵ４では、粗画像相関演算によって得られた視差が所定視差（α）以上か否かを判定する（Ｓ１０）。Ｓ１０にて所定視差（α）未満と判定した領域（例えば、図４の領域ｂ）に対しては、ＥＣＵ４では、密画像による相関演算を禁止し、処理を終了する。この領域で検出される物体が遠方に位置する場合には情報としては必要なく、密画像による相関演算を行わないのでよいので、演算量を削減できる。

Ｓ１０にて所定視差（α）以上と判定した領域に対しては、ＥＣＵ４では、粗画像相関演算によって探索した対応点を１ライン毎に積算する（Ｓ１１）。そして、ＥＣＵ４では、ライン毎に、積算した対応点数が所定対応点数（β）より多いか否かを判定する（Ｓ１２）。Ｓ１２にて所定対応点数より多いラインがあると判定した領域に対しては、ＥＣＵ４では、Ｓ１４の処理に移行する。

Ｓ１２にて全てのラインが所定対応点数以下と判定した領域に対しては、ＥＣＵ４では、粗画像相関演算によって得られた各対応点の視差とその対応点に隣接する対応点の視差が同じ値か否かを判定する（Ｓ１３）。Ｓ１３にて隣接した対応点の視差が同じ値でないと判定した領域（例えば、図４の領域ｃ）に対しては、ＥＣＵ１４では、Ｓ１５の処理に移行する。ＥＣＵ４での処理能力で十分に目標処理時間内に処理可能でありかつ情報があまり集中していないので、間引かない密画像による相関演算を行う。

Ｓ１２にて所定対応点数より多いと判定した領域又はＳ１３にて隣接した対応点の視差が同じ値と判定した領域（例えば、図４の領域ｄ）に対して、ＥＣＵ４では、密画像を１／２間引いた画像を生成する（Ｓ１４）。密画像では対応点数が多いためにＥＣＵ４（プロセッサ）での処理能力では目標処理時間内に処理不能である場合、密画像を間引いて処理する対応点を減らし、処理時間を短縮する。あるいは、カメラ２，３から近傍で同じ視差が連続して情報が多く集まっている場合、処理する点を減らしても十分な精度が得られるので、密画像を間引き、演算量を削減できる。

ＥＣＵ４では、粗画像相関演算によって得られた視差付近に探索領域を設定し、その探索領域内で密画像自体あるいは１／２間引いた密画像による相関演算を行い、視差画像を生成する（Ｓ１５）。このように、ドライバにとって必要な情報の入る可能性のある中間の領域でも、密画像による精度が必要な領域を更に絞り、演算量を抑える。

この物体検出装置１によれば、画像を複数の領域に分割し、各領域における画像上におけるカメラ２，３からの距離に基づいて密画像（撮像画像）による相関演算まで行う領域を限定しているので、物体の検出精度を確保しつつ全体の演算量を低減でき、処理時間も短縮できる。そのため、自動車に搭載されて目標処理時間が設定されているが、その目標処理時間内に処理を行うことができ、十分に実用条件を満たす。

特に、物体検出装置１では、ドライバにとって必要な情報が入ってくる可能性のない領域については粗画像による相関演算も禁止するので、演算量を極力低減できる。また、物体検出装置１では、所定距離内に存在する物体を含まない領域については密画像による相関演算を禁止するので、演算量を極力低減できる。また、物体検出装置１では、近傍のため物体の情報を多く含む領域については密画像を間引くので、演算量を極力低減できる。また、物体検出装置１では、対応点数が多くＥＣＵ４の処理能力を超える場合には密画像を間引くので、必ず目標処理時間内に処理を行うことができる。

図１を参照して、第２の実施の形態に係る物体検出装置１１の構成について説明する。物体検出装置１１では、第１の実施の形態に係る物体検出装置１と同様の構成については同一の符号を付し、その説明を省略する。

物体検出装置１１は、物体検出装置１と同様の物体検出装置であるが、密画像である撮像画像（原画像）による相関演算を行うか否かの判断方法が異なる。したがって、物体検出装置１１は、物体検出装置１と比較すると、ＥＣＵ１４における処理が異なる。

ＥＣＵ１４では、カメラ２，３から撮像画像（ステレオ画像）をそれぞれ取り入れ、左右の各撮像画像（密画像）から粗画像を生成する。そして、ＥＣＵ１４では、粗画像における相関演算を行い、その相関演算から得られた視差に基づいて密画像における相関演算を行う否かを判断する。さらに、ＥＣＵ１４では、粗画像又は密画像における相関演算から得られた視差に基づいて物体を検出する。なお、第２の実施の形態では、特許請求の範囲に記載する対応付手段、解像度変換手段、判定手段はＥＣＵ１４においてプログラム（ソフトウエア）が実行されることによってそれぞれ構成される。

ＥＣＵ１４では、ＥＣＵ４と同様に、カメラ２，３から各画像信号を受信し、左右の撮像画像（デジタル画像データ）をフレームメモリにそれぞれ記憶させる。そして、ＥＣＵ１４では、左右の撮像画像毎に、高解像度である撮像画像（密画像）を低い解像度の粗画像に変換し、粗画像のデジタル画像データをフレームメモリにそれぞれ記憶させる。

ＥＣＵ１４では、左右の粗画像を用いて画像全体を探索領域として対応点探索を行い、各対応点の相関値を算出し、相関値が最小の点から視差を求める。

ＥＣＵ１４では、各対応点の視差が所定視差（γ）以上か否かを判定し、所定視差（γ）以上の場合には密画像による相関演算を行うと判定し、所定視差（γ）未満の場合には密画像による相関演算を行わないと判定する。つまり、視差が小さいほどその対応点における物体がカメラ２，３（自車）から離れており、遠方に存在する物体についてはドライバにとっては緊急度の低い情報なので、高精度な情報は必要なく、密画像による相関演算を行わない。所定視差（γ）は、ドライバにとって情報として必要な物体が存在する範囲を示す視差である（言い換えれば、ドライバにとって情報として必要のない遠方の物体か否かを判断するための閾値である）。なお、所定視差（γ）としては、自車からの距離が数１０ｍに相当する視差を設定してもよいし、あるいは、遠方の物体であることを示す視差０の対応点に対する密画像相関演算を行わないために１を設定してもよい。

ＥＣＵ１４では、密画像による相関演算を行うと判定した対応点に対しては、粗画像による相関演算によって得られたその対応点の視差を用いて、その視差付近に密画像における探索領域を設定する。そして、ＥＣＵ１４では、各対応点に対して設定した探索領域だけを対象として、ｘ方向に１画素単位でずらしながら対応点探索を行う。さらに、ＥＣＵ１４では、各対応点の相関値を算出し、相関値が最小の点から視差を求める。

ＥＣＵ１４では、各対応点において粗画像による相関演算によって求めた視差又は密画像による相関演算によって求めた視差から視差画像を生成する。そして、ＥＣＵ１４では、その視差画像を用いて、カメラ２，３から物体の各点までの距離をそれぞれ求め、物体を検出する。そして、ＥＣＵ１４では、検出した物体の情報を検出信号として警報装置等に送信する。

図１を参照して、物体検出装置１１の動作について説明する。特に、ＥＣＵ１４における処理については図８のフローチャートに沿って説明する。図８は、第２の実施の形態に係るＥＣＵにおける処理の流れを示すフローチャートである。

カメラ２，３では、左右から自車の前方を撮影し、その各撮像画像を画像信号としてＥＣＵ１４に送信する。

ＥＣＵ１４では、カメラ２，３から各画像信号を受信し、左右の撮像画像を取り入れ、（Ｓ２０）、各撮像画像をフレームメモリにそれぞれ記憶させる。そして、ＥＣＵ１４では、撮像画像（密画像）から低解像度に変換した粗画像を生成する（Ｓ２１）。

ＥＣＵ１４では、生成した粗画像による相関演算を行い、左右の粗画像の対応点を探索する（Ｓ２２）。そして、ＥＣＵ１４では、その相関結果から各対応点の視差を求める。ＥＣＵ１４では、求めた各対応点の視差が所定視差（γ）以上か否かを判定し、所定視差（γ）以上の対応点に対しては密画像による相関演算を行うと判定し、所定視差（γ）未満の対応点に対しては密画像による相関演算を行わないと判定する（Ｓ２３）。

そして、ＥＣＵ１４では、密画像による相関演算を行うと判定した対応点に対してのみ、粗画像相関演算によって得られた視差付近に探索領域を設定し、その探索領域内で密画像による相関演算を行い、左右の密画像の対応点を探索する（Ｓ２４）。さらに、ＥＣＵ１４では、その相関結果から視差を求める。

ＥＣＵ１４では、粗画像相関演算又は密画像相関演算によって求めた各対応点の視差から視差画像を生成する。そして、ＥＣＵ１４では、その生成した視差画像を用いて、歩行者等の物体を検出する（Ｓ２５）。そして、物体検出装置１では、その検出した物体の情報を警報装置等に送信する。

この物体検出装置１１によれば、粗画像相関演算による視差に基づいて密画像（撮像画像）による相関演算まで行う対応点を判断しているので、密画像相関演算を行う対応点の数を大幅に削減でき、物体の検出精度を確保しつつ全体の演算量を低減でき、処理時間も短縮できる。そのため、自動車に搭載されて目標処理時間が設定されているが、その目標処理時間内に処理を行うことができ、十分に実用条件を満たす。

以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。

例えば、本実施の形態では自動車に搭載し、歩行者等を検出する物体検出装置に適用したが、侵入者を検出するセキュリティ装置や障害物を検出するロボット等の他の装置に適用してもよい。

また、第１の実施の形態では密画像（撮像画像）と粗画像の２層の解像度画像（間引いた密画像を含めると３層の解像度画像）を用いる構成としたが、３層以上の解像度画像を用いてもよく、この場合にも領域毎にいずれの層の解像度画像によって相関演算を行うか否かを判定する。

また、第１の実施の形態では３つの領域あるいは５つの領域に分割する例を示したが、少なくとも２つの領域に分割し、各領域に適した解像度の画像で相関演算を行うようにすればよいので、分割する領域数については適宜の数でよい。

また、第１の実施の形態では粗画像による相関演算も行わない領域もある構成としたが、必要な情報が入る可能性のあるエリアのみを撮像できるカメラ（例えば、空やボンネットを含まない横長のエリアを撮像できるカメラ）を用いた場合、全ての領域に対して相関演算を行う構成としてもよい。

また、第１の実施の形態では１ライン内の対応点数が所定対応点数より多いか否かを判定し、多い場合には密画像を間引いた画像によって相関演算を行う構成としたが、間引かないで目標処理時間内に処理を行うことができる処理能力の高いプロセッサを使用した場合にはこのような判定及び間引きを行わなくてもよい。

また、第２の実施の形態では密画像（撮像画像）と粗画像の２層の解像度画像を用いる構成としたが、３層以上の解像度画像を用いてもよい。この場合、所定視差を複数段階（層数−１の段階）の値で設定し、解像度画像毎に異なる値の所定視差で次層の解像度画像による相関演算を行うか否かを判定するようにしてもよい。

本実施の形態に係る物体検出装置の構成図である。 撮像画像を３つの領域に分割した場合の一例である。 図２の３つの領域に分割した場合の領域毎の相関処理の対応表である。 撮像画像を５つの領域に分割した場合の一例である。 図４の５つの領域に分割した場合の領域毎の相関処理の対応表である。 第１の実施の形態に係るＥＣＵにおけるメイン処理の流れを示すフローチャートである。 第１の実施の形態に係るＥＣＵにおける密画像処理の流れを示すフローチャートである。 第２の実施の形態に係るＥＣＵにおける処理の流れを示すフローチャートである。

符号の説明

１，１１…物体検出装置、２，３…カメラ、４，１４…ＥＣＵ

Claims (7)

1. 互いに視点の異なる複数の撮像画像を出力する撮像手段と、互いに視点の異なる画像間の対応付けを行う対応付手段とを備え、当該対応付手段による対応付けによって得られる視差から物体を検出する物体検出装置において、
   前記撮像手段から出力された撮像画像を低解像度画像に変換する解像度変換手段と、
   画像上における撮像手段からの距離に応じて遠方側の領域と近傍側の領域の少なくとも２つの領域に画像を分割する画像分割手段と、
   前記画像分割手段で分割した領域毎に画像上における撮像手段からの距離に基づいて高解像度画像における対応付けを行うか否かを判定する判定手段と
   を備え、
   前記対応付手段により各領域の低解像度画像における対応付けを行い、前記判定手段により高解像度画像における対応付けを行うと判定した領域に対しては低解像度画像における対応付けによって得られた視差に基づいて対応付けを行う探索領域を設定して前記対応付手段により高解像度画像における対応付けを行うことを特徴とする物体検出装置。
2. 前記判定手段は、前記遠方側の領域に対しては低解像度画像における対応付けによって得られた視差が所定の視差以上の場合に高解像度画像における対応付けを行うと判定することを特徴とする請求項１に記載する物体検出装置。
3. 前記画像分割手段は、遠方側の領域と近傍側の領域とその中間の領域の少なくとも３つの領域に画像を分割し、
   前記判定手段は、前記中間の領域に対しては高解像度画像における対応付けを行うと判定することを特徴とする請求項１または請求項２に記載する物体検出装置。
4. 前記判定手段は、前記近傍側の領域に対しては高解像度画像における対応付けを行わないと判定することを特徴とする請求項１〜請求項３のいずれか１項に記載する物体検出装置。
5. 前記判定手段は、前記近傍側の領域に対しては低解像度画像における対応付けによって得られた各視差において同じ値の視差が連続する場合には高解像度画像を低い解像度に変換した画像における対応付けを行うと判定することを特徴とする請求項１〜請求項３のいずれか１項に記載する物体検出装置。
6. 互いに視点の異なる複数の撮像画像を出力する撮像手段と、互いに視点の異なる画像間の対応付けを行う対応付手段とを備え、当該対応付手段による対応付けによって得られる視差から物体を検出する物体検出装置において、
   前記撮像手段から出力された撮像画像を低解像度画像に変換する解像度変換手段と、
   低解像度画像における対応付けによって得られた視差に基づいて高解像度画像における対応付けを行うか否かを判定する判定手段と
   を備え、
   前記判定手段により高解像度画像における対応付けを行うと判定した対応点に対しては低解像度画像における対応付けによって得られた視差に基づいて対応付けを行う探索領域を設定して前記対応付手段により高解像度画像における対応付けを行い、前記判定手段により高解像度画像における対応付けを行わないと判定した対応点に対しては高解像度画像における対応付けを禁止することを特徴とする物体検出装置。
7. 前記判定手段では、低解像度画像における対応付けによって得られた視差が所定の視差以上の場合に高解像度画像における対応付けを行うと判定し、低解像度画像における対応付けによって得られた視差が所定の視差より小さい場合には高解像度画像における対応付けを行わないと判定することを特徴とする請求項６に記載する物体検出装置。

Images