JP2013178664A - 車外環境認識装置 - Google Patents

Abstract

【課題】処理負荷を不要に増やすことなく、近距離の特定物も安定的に検出する。
【解決手段】
車外環境認識装置１２０は、一方の画像データに基づく画像における任意のブロックと相関の高いブロックを、他方の画像データに基づく画像における探索範囲から抽出し視差を求める視差導出部１６２と、視差から相対距離を導出する位置情報導出部１６４と、相対距離の差分が所定範囲に含まれるブロックをグループ化して特定物を特定するグループ化部１６８と、特定物を選択する特定物選択部１７０と、選択特定物の相対距離が予め定められた閾値未満になると、相対距離に応じてオフセット量を導出するオフセット量導出部１７２と、画像をオフセット量だけオフセットするオフセット実行部１６０と、を備え、位置情報導出部は、オフセット量が０以外であれば、選択特定物に相当する画像範囲以外の画像について相対距離の導出を制限する。
【選択図】図８

Description

本発明は、自車両外の環境を認識する車外環境認識装置に関する。

従来、自車両の前方に位置する車両や障害物等の特定物を検出し、検出した特定物との衝突を回避したり（衝突回避制御）、先行車両との車間距離を安全な距離に保つように制御する（クルーズコントロール）技術が知られている（例えば、特許文献１）。

こうした衝突回避制御やクルーズコントロール等を行うために、先行車両等、自車両の前方に位置する特定物の自車両に対する相対距離が求められる。かかる相対距離は、例えば、撮像軸が異なる２つの撮像装置（ステレオカメラ）それぞれで特定物を撮像し、その２つの画像間の相関を求め、同一特定物に対する視差、２つの撮像装置の取り付け位置、および、焦点距離等のカメラパラメータを用い、ステレオ法（三角測量法）を通じて求められる。

ステレオ法において視差を求めるためには、画像間のパターンマッチングを行って同一特定物を示す対応点を正しく検出する必要がある。このパターンマッチングとしては、一般的に、一方の撮像装置で撮像した画像を基準画像とし、他方の撮像装置で撮像した画像を比較画像とした対応点探索法が採用されている。かかる対応点探索法では、基準画像内における１または複数の画素からなる任意のブロック（ウィンドウとも呼ばれる）を設定し、比較画像内において、そのブロックと相関の高いブロック（対応点）を探索する。そして、相関が最も高いブロックを対応点とし、ブロック同士の座標の視差（ズレ量）を相対距離に対応させ、衝突回避制御やクルーズコントロール等を行うための各処理が実行される。

また、パターンマッチングにおける処理負荷を軽減すべく、パターンマッチングにおいて、対象となる画像の縦横サイズをいずれも１／２に縮小し、縮小画像においてステレオ処理を行い、演算量を抑える技術が開示されている（例えば、特許文献２）。また、物体の距離に応じてその視差の範囲を推定し、パターンマッチングにおける探索範囲を、推定した範囲に限定することで、探索時間を削減する技術も知られている（例えば、特許文献３）。

特許第３３４９０６０号 特開２００８−３９４９１号公報 特開平１０−１１７３３９号公報

しかし、特許文献２に記載された技術を用いたとしても、近距離から遠距離までの全ての特定物を対象とすると、遠距離の特定物を検出するための画像と近距離の特定物を検出するための縦横サイズを１／２に縮小した画像との２つの画像が必要になり、結局、画像認識に費やす処理負荷は１．２５倍に増える。また、特許文献３に記載された技術では、特定物までの距離に応じて探索範囲の大きさが変わるものの、特定物が近距離に存在する場合には処理負荷は低減されず、定期的に同一の処理を繰り返すループ処理において、その処理負荷分の時間を確保しなくてはならない。したがって、処理負荷を抜本的に低減することはできなかった。

そこで、本願発明者は、特定物までの距離に応じて対応点の探索範囲の大きさを変えず、その探索範囲の位置（オフセット量）のみを変えさえすれば、処理負荷を維持したまま近距離の特定物も安定的に検出できることに想到した。しかし、探索範囲のオフセット量を変えるために比較画像における探索範囲をオフセット量分オフセットすると、遠距離の特定物の視差が左右で反転する場合があり、本来検出可能であった遠距離の特定物を検出できなくなる。このようにオフセットすることで検出不能な領域が生じることが予め想定されている状況下で、その領域のパターンマッチングを行うと、誤検出や処理の長時間化を招き、処理負荷が徒に増大してしまう。

本発明は、このような課題に鑑み、処理負荷を不要に増やすことなく、近距離の特定物も安定的に検出可能な、車外環境認識装置を提供することを目的としている。

上記課題を解決するために、本発明の車外環境認識装置は、撮像軸が同一面上で位置を異にする２の撮像部で生成された２の画像データを取得する画像データ取得部と、２の画像データを比較し、一方の画像データに基づく画像における、１または複数の画素からなる任意のブロックと相関の高いブロックを、他方の画像データに基づく画像における予め大きさが定められた探索範囲から抽出し、両ブロックの視差を求める視差導出部と、視差からブロックの相対距離を導出する位置情報導出部と、相対距離の差分が所定範囲に含まれるブロックをグループ化し、１または複数の特定物を特定するグループ化部と、１または複数の特定物から追跡対象となる特定物を選択する特定物選択部と、選択された特定物である選択特定物の相対距離が予め定められた閾値未満になると、相対距離に応じて、探索範囲をオフセットするためのオフセット量を導出するオフセット量導出部と、２の画像データのいずれか一方に基づく探索範囲をオフセット量だけオフセットするオフセット実行部と、を備え、位置情報導出部は、オフセット量が０以外であれば、選択特定物に相当する画像範囲以外の画像について相対距離の導出を制限することを特徴とする。

オフセット実行部は、選択特定物の相対距離に拘わらず、画像データに基づく画像の水平方向両端の予め定められた領域において、予め定められたオフセット量だけオフセットしてもよい。

オフセット実行部は、特定物である選択特定物の相対距離に拘わらず、予め定められた周期毎に、予め定められたオフセット量だけ探索範囲をオフセットしてもよい。

オフセット実行部は、画像データに基づく画像のうち選択特定物に相当する画像範囲のみ探索範囲をオフセットしてもよい。

オフセット量導出部は、撮像時が異なる２の画像データから選択特定物の相対速度を導出し、該相対速度および選択特定物の相対距離に基づいてオフセット量を導出してもよい。

位置情報導出部は、選択特定物に相当する画像範囲以外の画像について、特定物の相対距離がオフセット量未満となる場合にのみ相対距離の導出を制限してもよい。

本発明によれば、画像をオフセットすることによって生じうる不要な処理負荷を回避し、遠距離の特定物も近距離の特定物も安定的に検出することが可能となる。

環境認識システムの接続関係を示したブロック図である。 輝度画像と距離画像を説明するための説明図である。 探索範囲と対応点との関係を説明するための説明図である。 探索範囲と対応点との関係を説明するための説明図である。 探索範囲と対応点との関係を説明するための説明図である。 探索範囲と対応点との関係を説明するための説明図である。 探索範囲と対応点との関係を説明するための説明図である。 車外環境認識装置の概略的な機能を示した機能ブロック図である。 オフセット実行部の処理について説明した説明図である。 位置情報導出部による三次元の位置情報への変換を説明するための説明図である。 位置情報導出部の処理を説明するための説明図である。 分割領域と代表距離とを説明するための説明図である。 分割領域群を説明するための説明図である。 グループ化部の処理を説明するための説明図である。 オフセット量導出部の処理を説明するための説明図である。 車外環境認識方法の全体的な処理の流れを示したフローチャートである。 視差導出処理の流れを示したフローチャートである。 位置情報導出処理の流れを示したフローチャートである。 代表距離導出処理の流れを示したフローチャートである。 グループ化処理の流れを示したフローチャートである。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

（環境認識システム１００）
図１は、環境認識システム１００の接続関係を示したブロック図である。環境認識システム１００は、自車両１内に設けられた、複数（本実施形態では２つ）の撮像装置（撮像部）１１０と、車外環境認識装置１２０と、車両制御装置１３０とを含んで構成される。

撮像装置１１０は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成され、モノクロ画像の輝度を取得することができる。ここでは、撮像装置１１０で撮像されたモノクロ画像を輝度画像と呼び、後述する距離画像と区別する。

また、撮像装置１１０は、自車両１の進行方向側において２つの撮像装置１１０それぞれの撮像軸（光軸）が、同一の水平面上で位置を異にし、略平行になるように離隔して配置される。撮像装置１１０は、自車両１の前方の検出領域に存在する特定物を撮像した画像データを、例えば１／６０秒毎（６０ｆｐｓ）に連続して生成する。以下の実施形態における各機能部は、このような画像データの更新を契機として各処理を遂行する。したがって、各機能部は、フレーム単位で処理を繰り返すこととなり、「前回のフレーム」または「次回のフレーム」と表現しているところは１フレーム前または１フレーム後の処理時点を示す。ここで、特定物は、車両、道路、ガードレールといった独立して存在する物である。

車外環境認識装置１２０は、２つの撮像装置１１０それぞれから画像データを取得し、一方の画像データに基づく画像から任意に抽出したブロック（ここでは水平４画素×垂直４画素の配列で構成される）に対応するブロックを他方の画像データに基づく画像から検出する、所謂パターンマッチングを用いて視差を導き出す。ここで、ブロックの説明に用いられた「水平」は、撮像した画像の画面横方向を示し、実空間上の水平方向に相当する。また、「垂直」は、撮像した画像の画面縦方向を示し、実空間上の鉛直方向に相当する。

このパターンマッチングとしては、２つの画像データ間において、任意の画像位置を示すブロック単位で輝度値を比較することが考えられる。例えば、輝度値の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度値から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等の手法がある。本実施形態では、特に画像のテクスチャに基づいて輝度値を比較する。車外環境認識装置１２０は、このようなブロック単位の視差導出処理を検出領域（例えば６００画素×２００画素）に映し出されている全てのブロックについて行う。ここでは、ブロックを４画素×４画素としているが、ブロック内の画素数は任意に設定することができる。かかるパターンマッチングによる視差の導出手順は、後ほど詳述する。

ところで、車外環境認識装置１２０では、パターンマッチングを通じて検出分解能単位であるブロック毎に視差を導出することはできるが、そのブロックがどのような特定物の一部であるかを認識できない。したがって、視差情報は、特定物単位ではなく、検出領域における検出分解能単位（例えばブロック単位）で独立して導出されることとなる。ここでは、このようにして導出された視差情報（後述する相対距離に相当）を画像データに対応付けた画像を距離画像という。

図２は、輝度画像１２４と距離画像１２６を説明するための説明図である。例えば、２つの撮像装置１１０を通じ、検出領域１２２について図２（ａ）のような輝度画像（画像データ）１２４が生成されたとする。ただし、ここでは、理解を容易にするため、２つの輝度画像１２４の一方のみを模式的に示している。車外環境認識装置１２０は、このような輝度画像１２４からブロック毎の視差を求め、図２（ｂ）のような距離画像１２６を形成する。距離画像１２６における各ブロックには、そのブロックの視差が関連付けられている。ここでは、説明の便宜上、視差が導出されたブロックを黒のドットで表している。

視差は、画像のエッジ部分（隣り合う画素間で明暗の差分が大きい部分）で特定され易いので、距離画像１２６において黒のドットが付されている、視差が導出されたブロックは、輝度画像１２４においてもエッジとなっていることが多い。したがって、図２（ａ）に示す輝度画像１２４と図２（ｂ）に示す距離画像１２６とは各特定物の輪郭について似たものとなる。

そして、車外環境認識装置１２０は、距離画像１２６に基づく自車両１との相対距離を用いて検出領域１２２に表示されている特定物がどのような種類の特定物に対応するかを特定する。例えば、所定の相対距離を維持している（自車両と同速度で走行する）特定物を先行車両と認識する。

尚、上記距離画像１２６に基づく自車両１との相対距離は、距離画像１２６におけるブロック毎の視差情報を、所謂ステレオ法を用いて三次元の位置情報に変換することで求められる。ここで、ステレオ法は、三角測量法を用いることで、特定物の視差からその特定物の撮像装置１１０に対する相対距離を導出する方法である。かかる車外環境認識装置１２０の処理に関しては、後ほど詳述する。

車両制御装置１３０は、車外環境認識装置１２０で特定された特定物との衝突を回避したり、先行車両との車間距離を安全な距離に保つ制御を実行する。具体的に、車両制御装置１３０は、操舵の角度を検出する舵角センサ１３２や自車両１の速度を検出する車速センサ１３４等を通じて現在の自車両１の走行状態を取得し、アクチュエータ１３６を制御して先行車両との車間距離を安全な距離に保つ。ここで、アクチュエータ１３６は、ブレーキ、スロットルバルブ、舵角等を制御するために用いられる車両制御用のアクチュエータである。また、車両制御装置１３０は、特定物との衝突が想定される場合、運転者の前方に設置されたディスプレイ１３８にその旨警告表示（報知）を行うと共に、アクチュエータ１３６を制御して自車両１を自動的に制動する。かかる車両制御装置１３０は、車外環境認識装置１２０と一体的に形成することもできる。

（パターンマッチングについて）
ところで、上述したように、車外環境認識装置１２０は、パターンマッチングを行って所定の探索範囲から対応点となるブロックを探索している。

図３〜図７は、探索範囲と対応点との関係を説明するための説明図である。図３（ａ）には、自車両１の右側に位置する撮像装置１１０から得られた画像データに基づく画像を示し、図３（ｂ）には、自車両１の左側に位置する撮像装置１１０から得られた画像データに基づく輝度画像１２４を示す。ここでは、前者を基準画像、後者を比較画像とする。

撮像軸が異なる２つの撮像装置１１０では、同一の特定物が水平方向の異なる位置に表示される。例えば、図３（ａ）の基準画像に表示されたブロック２１０と相関性が高い比較画像（図３（ｂ））のブロック（対応点）２１２は、ブロック２１０に相当する位置より水平方向右側に位置することとなる。したがって、対応点を探索する探索範囲２１４は、ブロック２１０に相当する位置より右側に絞ることができる。本実施形態では、検出領域１２２を水平６００画素×垂直２００画素とし、処理負荷を不要に増大させないため、例えば、水平方向の探索範囲２１４を１２８画素、垂直方向の探索範囲２１４を４画素としている。

仮に、本実施形態における２つの撮像装置１１０のカメラパラメータが、２つの撮像装置１１０間の距離＝３５０ｍｍ、撮像装置１１０のレンズの焦点距離＝８ｍｍ、１画素あたりのズレ量＝０．００６ｍｍであった場合、探索範囲２１４の最大値１２８画素で検出できる相対距離は３５０ｍｍ×８ｍｍ／１２８画素／０．００６ｍｍ＝３６４６ｍｍ≒３．６ｍとなる。したがって、本実施形態のように探索範囲２１４を１２８画素に制限したとしても、３．６ｍ以上離れた特定物であれば全て検出できることとなる。

しかし、特定物が相対距離３．６ｍ未満に存在する可能性がない訳ではない。そこで、相対距離３．６ｍ未満の特定物を検出するために、探索範囲２１４を２倍、または、画像自体を１／２として、３．６ｍ未満の特定物のみを別途検出することも考えられるが、処理負荷が増大することとなる。本実施形態では、探索範囲２１４や画像自体の大きさを変更することなく、探索範囲２１４自体を移動させて近距離に存在する特定物を検出する。

例えば、図４（ａ）および図４（ｂ）は、図３（ａ）および図３（ｂ）同様、自車両１の右側および左側に位置する撮像装置１１０から得られた画像データに基づく画像を示している。ただし、図４は、図３と異なり、特定物が相対距離３．６ｍ未満に位置している状態を示している。したがって、図４（ａ）の基準画像に表示されたブロック２１０と相関性が高い図４（ｂ）に示す比較画像のブロック（対応点）２１２は、ブロック２１０に相当する位置より１２８画素を超えて（例えば１６０画素）右側に位置している。

かかる状況下において、パターンマッチングを遂行すると、図５に示すような距離画像１２６が得られる。ここでは、画像内のほとんどの画素が１２８画素以上の視差を有するため、探索範囲２１４内に対応点を検出できず、相関性が乏しい他のブロックが対応点として誤検出され、相対距離がランダムに表される。

本実施形態では、特定物の追跡機能により予め把握されている特定物の相対距離を用い、特定物が１６０画素程度の視差を有するであろうことを予測する。そして、対応点を例えば９６画素付近で検出できるように、１６０−９６＝６４画素分、図４（ｂ）の比較画像の探索範囲を左方向にオフセットして図６のような対応関係にする。

ここで、対応点の出現位置の目標値を９６画素としたのは、目標値が高すぎると、対応点が探索範囲２１４の上限である１２８画素を超えてしまう可能性が生じ、目標値が低すぎると、本実施形態によるオフセットの適用が早くなりすぎて（特定物がそれほど近距離にないのにオフセットされてしまい）不要に遠距離を検知できなくなるからである。そこで、本実施形態では、目標値を、探索範囲２１４の上限である１２８画素の３／４にあたる９６画素としている。９６画素は、上記のカメラパラメータ下で相対距離４．９ｍに相当する。

このように、特定物の相対距離を勘案して比較画像の探索範囲をオフセットすることで、図４（ｂ）に示した比較画像は図６（ｂ）のようになる。図６（ａ）の基準画像に表示されたブロック２１０と相関性が高い図６（ｂ）に示す比較画像のブロック（対応点）２１２は、ブロック２１０に相当する位置から１２８画素未満（例えば９６画素）右側に位置する。

そして、対応点を例えば９６画素の位置に特定した後、オフセット量分（例えば６４画素）を加算することで、その対応点の真の視差（ズレ量）は９６＋６４＝１６０画素となり、対応点の視差を正しく導出することが可能となる。こうして、図７に示すような、距離が比較的明確に把握できる距離画像１２６を得ることができる。以下、車外環境認識装置１２０の具体的な構成を述べ、その中で、このようなパターンマッチングを実現するための具体的な処理を説明する。

（車外環境認識装置１２０）
図８は、車外環境認識装置１２０の概略的な機能を示した機能ブロック図である。図８に示すように、車外環境認識装置１２０は、Ｉ／Ｆ部１５０と、データ保持部１５２と、中央制御部１５４とを含んで構成される。

Ｉ／Ｆ部（画像データ取得部）１５０は、撮像装置１１０や車両制御装置１３０との双方向の情報交換を行うためのインターフェースであり、例えば、２の撮像装置１１０で生成された２の画像データを取得する。データ保持部１５２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、以下に示す各機能部の処理に必要な様々な情報を保持すると共に、撮像装置１１０から受信した輝度画像１２４を一時的に保持する。

中央制御部１５４は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成され、システムバス１５６を通じて、Ｉ／Ｆ部１５０やデータ保持部１５２を制御する。また、本実施形態において、中央制御部１５４は、オフセット実行部１６０、視差導出部１６２、位置情報導出部１６４、代表距離導出部１６６、グループ化部１６８、特定物選択部１７０、オフセット量導出部１７２としても機能する。

オフセット実行部１６０は、後述するオフセット量導出部１７２が前回のフレームで導出したオフセット量に相当する画素数だけ、撮像装置１１０から取得した２の画像データに基づく画像における探索範囲のいずれか一方を、水平の視差が低減する方向にオフセットする。本実施形態では、２の画像データに基づく画像のうち、比較画像全体を、後述する特定物選択部１７０に選択された特定物（選択特定物）に合わせて画面左方向にオフセットする。例えば、上記の例では、左方向に６４画素オフセットしている。

かかるオフセット実行部１６０によって、探索対象となる探索範囲２１４が維持されるので処理負荷を不要に増やすことなく、近距離の特定物も安定的に検出することが可能となる。

ここで、オフセット実行部１６０は、画像全体をオフセットしているが、選択特定物に相当する画像範囲のみ探索範囲（本実施形態では比較画像全体）をオフセットするとしてもよい。こうすることで、近距離に位置する選択特定物を適切に検出しつつ、その他の範囲の特定物を検出することができる。

ただし、オフセット量導出部１７２は、特定物の相対距離が予め定められた閾値未満となって（特定物が近距離に位置するようになって）初めて有意な（０以外の）オフセット量を導出するので、それまではオフセット量として０が採用される。したがって、オフセット実行部１６０は、特定物の相対距離が閾値未満となるまで、０だけオフセットする、即ち、実質的に比較画像のオフセットを行わない。

上述したように、特定物の相対距離が閾値未満になると、オフセット実行部１６０が比較画像をオフセットすることで、その特定物（選択特定物）を検出し続けることができる。しかし、自車両１の前方に唐突に出現した特定物については、車外環境認識装置１２０自体がその存在を認識していないので、オフセット量導出部１７２がオフセット量を導出することができず、オフセット実行部１６０もオフセットすることができない。即ち、自車両１の前方の特定物を検出できない。

そこで、オフセット実行部１６０は、選択特定物の相対距離に拘わらず、画像データに基づく画像の水平方向両端の予め定められた所定領域において、予め定められたオフセット量だけ探索範囲（本実施形態では比較画像全体）を固定的にオフセットする。

図９は、オフセット実行部１６０の処理について説明した説明図である。図９（ａ）に示すように、距離画像１２６において、中央の領域２２０には、オフセット量導出部１７２が前回のフレームで導出したオフセット量に応じて比較画像をオフセットした距離画像１２６が表示される。それと並行して、距離画像１２６の水平方向の両端の所定領域２２２では、予め定められたオフセット量（例えば、１２８画素）だけオフセットした場合の距離画像１２６が表示される。

このように距離画像１２６の水平方向の両端の所定領域２２２のみ１２８画素オフセットすることで、検出できる範囲は、図９（ｂ）のようになり、所定領域２２２においては相対距離１．８ｍ〜３．６ｍに位置する近距離の特定物を検出することが可能となる。したがって、自車両１の前方に特定物が唐突に出現した場合であっても、その特定物を検出して適切な処理を遂行することができる。

上記の構成において、水平方向左右の所定領域２２２のみ固定的なオフセットの対象としたのは、道路を走行する上で、地面に支持または固定される特定物が、画像上方や下方から唐突に出現することはなく、上下（鉛直）方向を考慮する必要がないからである。ここで、画像上方や下方からの出現が想定される場合、垂直方向の端部にも同様に所定領域２２２を設けてもよいし、以下のように時系列的に対処することもできる。

例えば、オフセット実行部１６０は、特定物である選択特定物の相対距離に拘わらず、予め定められた周期毎、例えば、６０フレーム毎に１回、予め定められたオフセット量だけ探索範囲（本実施形態では比較画像全体）をオフセットしてもよい。こうして、画像における特定物の全方向からの唐突な出現に対応することができる。

視差導出部１６２は、オフセット実行部１６０によって一方（ここでは比較画像）がオフセットされた２の画像データを比較し、一方の画像データに基づく画像（基準画像）における、１または複数の画素からなる任意のブロック２１０と相関の高いブロック２１２を、他方の画像データに基づく画像（比較画像）における予め大きさが定められた探索範囲２１４から抽出する。そして、両ブロックの視差を求め、視差情報とする。

位置情報導出部１６４は、距離画像１２６における検出領域１２２内のブロック毎の視差情報を、上述したステレオ法を用いて、水平距離ｘ、高さｙおよび相対距離ｚを含む三次元の位置情報に変換する。ここで、視差情報が、距離画像１２６における各ブロックの視差を示すのに対し、三次元の位置情報は、実空間における各ブロックの相対距離の情報を示す。また、視差情報が画素単位ではなくブロック単位、即ち複数の画素単位で導出されている場合、その視差情報はブロックに属する全ての画素の視差情報とみなして、画素単位の計算を実行することができる。

図１０は、位置情報導出部１６４による三次元の位置情報への変換を説明するための説明図である。位置情報導出部１６４は、まず、距離画像１２６を図１０の如く画素単位の座標系として認識する。ここでは、図１０中、左下隅を原点（０，０）とし、横方向をｉ座標軸、縦方向をｊ座標軸とする。したがって、視差を有する画素は、画素位置ｉ、ｊと視差を示す視差情報ｄｐとによって（ｉ，ｊ，ｄｐ）のように表すことができる。

本実施形態における実空間上の三次元座標系を、自車両１を中心とした相対座標系で考える。ここでは、自車両１の進行方向右側方をＸ軸の正方向、自車両１の上方をＹ軸の正方向、自車両１の進行方向（前方）をＺ軸の正方向、２つの撮像装置１１０の中央を通る鉛直線と道路表面との交点を原点（０，０，０）とする。このとき、道路を平面と仮定すると、道路表面がＸ−Ｚ平面（ｙ＝０）と一致することとなる。位置情報導出部１６４は、以下の（数式１）〜（数式３）によって距離画像１２６上のブロック（ｉ，ｊ，ｄｐ）を、実空間上の三次元の点（ｘ，ｙ，ｚ）に座標変換する。
ｘ＝ＣＤ／２＋ｚ・ＰＷ・（ｉ−ＩＶ） …（数式１）
ｙ＝ＣＨ＋ｚ・ＰＷ・（ｊ−ＪＶ） …（数式２）
ｚ＝ＫＳ／ｄｐ …（数式３）
ここで、ＣＤは撮像装置１１０同士の間隔（基線長）であり、ＰＷは１画素当たりの視野角であり、ＣＨは撮像装置１１０の道路表面からの配置高さであり、ＩＶ、ＪＶは自車両１の真正面における無限遠点の画像上の座標（画素）であり、ＫＳは距離係数（ＫＳ＝ＣＤ／ＰＷ）である。ここで、オフセット実行部１６０によって有意なオフセット量のオフセットが実行された場合、即ち、オフセット量が０以外であれば、相対距離に相当するｚにオフセット量を加算して、新たな相対距離とする。

また、位置情報導出部１６４は、ブロックの相対距離と、ブロックと同相対距離にある道路表面上の点とブロックとの距離画像１２６上の検出距離（例えば画素数）とに基づいて、道路表面からの高さを導出していることとなる。

ただし、位置情報導出部１６４は、オフセット実行部１６０によって有意なオフセット量のオフセットが実行された場合、選択特定物に相当する画像範囲以外の画像について相対距離の導出を制限する（実行しないもしくは所定の条件下でないと実行しない）。

図１１は、位置情報導出部１６４の処理を説明するための説明図である。オフセットを施していない図１１（ａ）の距離画像１２６では、選択特定物に相当する領域２３０の相対距離が不明確であったが、オフセットを施すことで図１１（ｂ）のように選択特定物に相当する領域２３０の相対距離が明確になった。しかし、オフセットを施すことにより、オフセットを施す前には相対距離が明確であった、視差がオフセット量以下となる遠距離の特定物に相当する領域２３２の相対距離が不明確となる。

そこで、位置情報導出部１６４は、相対距離を導出する際、画像をオフセットすることによって相対距離を正しくとることができないことが予め把握されている場合に、その領域２３２の相対距離を敢えて導出しないこととし、処理負荷の不要な増大を回避する。

また、このとき、位置情報導出部１６４は、選択特定物に相当する画像範囲以外の画像について、その中に含まれる特定物の前回のフレームにおける相対距離がオフセット量未満となる場合にのみ相対距離の導出を制限してもよい。

例えば、選択特定物に相当する画像範囲以外であっても、その中に含まれる特定物が比較的近距離に存在し、その視差がオフセット量以上であれば、オフセット量分オフセットされたとしても視差を正しく導出することができる。そこで、選択特定物に相当する画像範囲以外の画像について、特定物の相対距離がオフセット量未満となる場合には相対距離の導出を制限し、オフセット量以上となる場合には、そのまま相対距離の導出を行う。こうして、広い範囲で正しい相対距離を導出することが可能となる。

代表距離導出部１６６は、まず、距離画像１２６の検出領域１２２を、水平方向に対して複数の分割領域に分割する。続いて、代表距離導出部１６６は、道路表面より上方に位置するブロックを対象に、位置情報に基づいて分割領域毎に、複数に区分した所定距離それぞれに含まれる相対距離を積算してヒストグラムを生成する。そして、代表距離導出部１６６は、積算した距離分布のピークに相当する代表距離を導出する。ここで、ピークに相当するとは、ピーク値またはピーク近傍で任意の条件を満たす値をいう。

図１２は、分割領域２４６と代表距離２５０とを説明するための説明図である。図１０に示した距離画像１２６を水平方向に複数分割すると、分割領域２４６は図１２（ａ）のような短冊形状になる。このような短冊形状の分割領域２４６は、本来、例えば、水平幅４画素のものが１５０列配列してなるが、ここでは、説明の便宜上、検出領域１２２を１６等分したもので説明する。

続いて、代表距離導出部１６６は、各分割領域２４６において、全てのブロックの相対距離を参照し、ヒストグラム（図１２（ｂ）中、横長の四角（バー）で示す）を作成すると、図１２（ｂ）のような距離分布２４８が得られる。ここで、縦方向は、区分した所定距離を、横方向は、区分した所定距離それぞれに相対距離が含まれるブロックの個数を示している。ただし、図１２（ｂ）は計算を行う上での仮想的な画面であり、実際には視覚的な画面の生成を伴わない。そして、代表距離導出部１６６は、このようにして導出された距離分布２４８を参照し、ピークに相当する相対距離である代表距離（図６（ｂ）中、黒で塗りつぶした四角で示す）２５０を特定する。

グループ化部１６８は、まず、隣接する分割領域２４６同士の代表距離２５０を順次比較し、代表距離２５０が近接する（例えば、１ｍ以下に位置する）分割領域２４６をグループ化して１または複数の分割領域群を生成する。このとき、３以上の分割領域２４６で代表距離２５０が近接していた場合にも、連続する全ての分割領域２４６を分割領域群として纏める。

図１３は、分割領域群２５２を説明するための説明図である。グループ化部１６８は、分割領域２４６同士を比較し、図１３に示すように代表距離２５０をグループ化する（グループ化後の仮想的なグループ２５４）。かかるグループ化によって、グループ化部１６８は、道路表面より上方に位置する特定物を特定することができる。また、グループ化部１６８は、そのグループ化された分割領域群２５２中における水平方向および鉛直方向の相対距離の推移に基づいて、グループ２５４が、先行車両の後部、側部、またはガードレール等の道路に沿った構造物等のいずれであるかを認識することが可能となる。

続いて、グループ化部１６８は、自車両１との相対的な位置関係に応じ、先行車両等の特定物を特定し、その特定物の外縁に従って、画像の検出領域を１または複数の特定領域に分割する。

図１４は、グループ化部１６８の処理を説明するための説明図である。特定領域は、外縁を収容する予め定められた様々な形状で表すことができるが、ここでは図１４のように、四角形の枠２５６で表すこととする。具体的に、まず、グループ化部１６８は、グループ化部１６８が生成した分割領域群２５２内における、相対距離ｚが代表距離２５０に相当するブロックを基点として、そのブロックと、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分が予め定められた範囲（例えば０．１ｍ）内にあるブロックとを、同一の特定物に対応すると仮定してグループ化する。上記の範囲は実空間上の距離で表され、製造者や搭乗者によって任意の値に設定することができる。また、グループ化部１６８は、グループ化により新たに追加されたブロックに関しても、そのブロックを基点として、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分が所定範囲内にあるブロックをさらにグループ化する。結果的に、同一の特定物と仮定可能なブロック全てがグループ化されることとなる。

また、ここでは、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分をそれぞれ独立して判定し、全てが所定範囲に含まれる場合のみ同一のグループとしているが、他の計算によることもできる。例えば、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分の二乗平均√（（水平距離ｘの差分）^２＋（高さｙの差分）^２＋（相対距離ｚの差分）^２）が所定範囲に含まれる場合に同一のグループとしてもよい。かかる計算により、ブロック同士の実空間上の正確な距離を導出することができるので、グループ化精度を高めることができる。

続いて、グループ化部１６８は、グループ化したブロック群が予め定められた所定の条件を満たしていれば、そのブロック群を特定物として決定する。例えば、グループ化部１６８は、グループ化されたブロック群が道路上に位置する場合、そのブロック群全体の大きさが、特定物「車両」の大きさに相当するか否か判定し、特定物「車両」の大きさに相当すると判定されれば、そのブロック群を特定物「車両」と特定する。そして、グループ化部１６８は、特定物「車両」と特定されたブロック群が画面上占有する領域（枠２５６）を車両の特定領域とする。

特定物選択部１７０は、グループ化部１６８が特定した１または複数の特定物から追跡対象となる特定物（選択特定物）を選択する。そして、特定物選択部１７０は、選択した選択特定物を追跡する。本実施形態では、衝突の可能性が他と比較して高くなる、自車両１の前方に位置する車両（先行車両）を選択特定物としている。このような選択特定物の選択手段や追跡手段は既存の様々な手法を用いることができるので、ここでは、その詳細な説明を省略する。

オフセット量導出部１７２は、特定物選択部１７０によって選択された選択特定物の相対距離が閾値未満、例えば、４．９ｍ未満になると、相対距離に応じて、探索範囲のオフセット量を導出する。

図１５は、オフセット量導出部１７２の処理を説明するための説明図である。上述したように、パターンマッチングでは、比較画像において、探索範囲２１４のうち９６画素付近に対応点を検出できるように、相対距離が４．９ｍ未満になると、有意なオフセット量を導出し始める。かかるオフセット量は、選択特定物の次回のフレームにおける相対距離の予想値に相当する画素数から９６画素を減算して求められる。例えば、次回のフレームにおける相対距離の予想値に相当する画素数を１６０画素とした場合、オフセット量は、１６０−９６＝６４画素となる。したがって、選択特定物の相対距離とオフセット量との関係を示した図１５のグラフでは、選択特定物の相対距離が４．９ｍ（９６画素に相当）以上である間は、オフセット量は０であり、選択特定物の相対距離が４．９ｍ未満になると、その相対距離が短くなるに連れオフセット量が増加する。このように導出されたオフセット量は、次回のフレームにおいて、オフセット実行部１６０の処理に用いられる。

このように、選択特定物の相対距離が閾値未満となった場合に、その相対距離に応じてオフセット量を導出し、その分、オフセット実行部１６０が画像をオフセットすることで、処理負荷を不要に増やすことなく、近距離の特定物も安定的に検出することが可能となる。

また、選択特定物の次回のフレームにおける相対距離は、今回のフレームにおける相対距離をそのまま次回のフレームの予想値として用いることもできるが、選択特定物の挙動に応じ、次回のフレームにおける選択特定物の相対距離を予想し、その値を用いることもできる。

例えば、オフセット量導出部１７２は、撮像時が異なる２つの画像データ、例えば、前回のフレームと今回のフレームにおける画像データから選択特定物の相対速度を導出し、相対速度および選択特定物の今回のフレームにおける相対距離に基づいて、相対速度による選択特定物の変位を選択特定物の今回のフレームにおける相対距離に加算し、次回のフレームにおける探索範囲２１４のオフセット量を導出してもよい。

例えば、自車両１が４０ｋｍ／ｈで走行している場合において、先行車両が３０ｋｍ／ｈで走行しているとする。これは、相対速度１０ｋｍ／ｈで先行車両が自車両１に接近していることになり、１フレームあたり約４６ｍｍ接近する換算となる。したがって、かかる相対速度による変位（４６ｍｍ）を選択特定物の今回のフレームにおける相対距離に減算することで次回のフレームにおけるオフセット量を予測することができる。

こうして、選択特定物の次回のフレームにおける相対距離を高精度に予測することができ、かかる相対距離に基づくオフセット量で画像をオフセットすることで、選択特定物の次回のフレームにおける相対距離を閾値（ここでは９６画素）の近傍に検出することが可能となる。

（車外環境認識方法）
以下、車外環境認識装置１２０の具体的な処理を図１６〜図２０のフローチャートに基づいて説明する。図１６は、車外環境認識装置１２０から輝度画像１２４および距離画像１２６が送信されたときの割込処理に関する全体的な流れを示し、図１７〜図２０は、その中の個別のサブルーチンを示している。また、ここでは、処理の対象部位としてブロックまたは画素を挙げており、輝度画像１２４や距離画像１２６の左下隅を原点とし、ブロックでは、画像水平方向に１〜１５０ブロック、垂直方向に１〜５０ブロックの範囲で、画素では、画像水平方向に１〜６００画素、垂直方向に１〜２００画素の範囲で当該車外環境認識方法による処理を遂行する。

当該車外環境認識方法による割込が発生すると、オフセット実行部１６０は、比較画像を、オフセット量導出部１７２が前回のフレームで導出したオフセット量に相当する画素数だけオフセットする（Ｓ３００）。そして、視差導出部１６２は、２の画像データを比較し、基準画像における任意のブロックと相関の高いブロックを、比較画像における探索範囲２１４から抽出し、両ブロックの視差を求める（Ｓ３０２）。

続いて、位置情報導出部１６４は、検出領域１２２内のブロック毎の視差情報を三次元の位置情報に変換する（Ｓ３０４）。代表距離導出部１６６は、分割領域２４６毎の代表距離２５０を導出し（Ｓ３０６）、グループ化部１６８は、かかる代表距離２５０に基づいてブロックをグループ化する（Ｓ３０８）。

そして、特定物選択部１７０は、グループ化部１６８が特定した１または複数の特定物から追跡対象となる特定物（選択特定物）を選択して、その選択特定物を追跡する（Ｓ３１０）。オフセット量導出部１７２は、選択特定物の相対距離が閾値未満、例えば、４．９ｍ未満になると、相対距離に基づき、図１５で示したように探索範囲のオフセット量を導出する（Ｓ３１２）。以下、上記の処理を具体的に説明する。

（視差導出処理Ｓ３０２）
図１７を参照すると、視差導出部１６２は、ブロックを特定するための垂直変数ｊを初期化（「０」を代入）する（Ｓ４００）。続いて、視差導出部１６２は、垂直変数ｊに「１」を加算すると共に水平変数ｉを初期化（「０」を代入）する（Ｓ４０２）。次に、視差導出部１６２は、水平変数ｉに「１」を加算する（Ｓ４０４）。

視差導出部１６２は、基準画像のブロック（ｉ，ｊ）と１画素ずつ画面右方向にずらした比較画像のブロック（ｉ，ｊ）との相関値を導出する（Ｓ４０６）。かかる相関値の導出は、探索範囲２１４が完了するまで繰り返される（Ｓ４０８におけるＮＯ）。探索範囲２１４が完了すると（Ｓ４０８におけるＹＥＳ）、視差導出部１６２は、基準画像のブロック（ｉ，ｊ）との相関値が最も大きい比較画像のブロック（ｉ，ｊ）を抽出し、両ブロックの距離（視差）を示す視差情報ｄｐを導出する（Ｓ４１０）。

続いて、視差導出部１６２は、水平変数ｉが水平ブロックの最大値である１５０を超えたか否か判定し（Ｓ４１２）、水平変数ｉが最大値を超えていなければ（Ｓ４１２におけるＮＯ）、ステップＳ４０４からの処理を繰り返す。また、水平変数ｉが最大値を超えていれば（Ｓ４１２にけるＹＥＳ）、視差導出部１６２は、垂直変数ｊが垂直ブロックの最大値である５０を超えたか否か判定する（Ｓ４１４）。そして、垂直変数ｊが最大値を超えていなければ（Ｓ４１４におけるＮＯ）、ステップＳ４０２からの処理を繰り返す。また、垂直変数ｊが最大値を超えていれば（Ｓ４１４におけるＹＥＳ）、当該視差導出処理Ｓ３０２を終了する。こうして、距離画像１２６のブロック（ｉ，ｊ）は、視差情報ｄｐが加わったブロック（ｉ，ｊ，ｄｐ）となる。

（位置情報導出処理Ｓ３０４）
図１８を参照すると、位置情報導出部１６４は、ブロックを特定するための垂直変数ｊを初期化（「０」を代入）する（Ｓ４５０）。続いて、位置情報導出部１６４は、垂直変数ｊに「１」を加算すると共に水平変数ｉを初期化（「０」を代入）する（Ｓ４５２）。次に、位置情報導出部１６４は、水平変数ｉに「１」を加算する（Ｓ４５４）。

次に、位置情報導出部１６４は、オフセット量が０以外であり、かつ、ブロック（ｉ，ｊ，ｄｐ）が選択特定物に相当する画像範囲以外のブロックであるか否か判定する（Ｓ４５６）。オフセット量が０以外であり、かつ、ブロック（ｉ，ｊ，ｄｐ）が選択特定物に相当する画像範囲以外のブロックであれば（Ｓ４５６におけるＹＥＳ）、座標変換処理を省略してステップＳ４６２に移行する。オフセット量が０、または、ブロック（ｉ，ｊ，ｄｐ）が選択特定物に相当する画像範囲内のブロックであれば（Ｓ４５６におけるＮＯ）、位置情報導出部１６４は、距離画像１２６のブロック（ｉ，ｊ，ｄｐ）から視差情報ｄｐを取得する（Ｓ４５８）。そして、位置情報導出部１６４は、視差情報ｄｐを含むブロック（ｉ，ｊ，ｄｐ）を、上記数式１〜３を用い、実空間上の点（ｘ，ｙ，ｚ）に座標変換して、ブロック（ｉ，ｊ，ｄｐ，ｘ，ｙ，ｚ）とする（Ｓ４６０）。このとき、オフセット量が０以外であれば、相対距離ｚにオフセット量を加算して、新たな相対距離ｚとする。

続いて、位置情報導出部１６４は、水平変数ｉが水平ブロックの最大値である１５０を超えたか否か判定し（Ｓ４６２）、水平変数ｉが最大値を超えていなければ（Ｓ４６２におけるＮＯ）、ステップＳ４５４からの処理を繰り返す。また、水平変数ｉが最大値を超えていれば（Ｓ４６２にけるＹＥＳ）、位置情報導出部１６４は、垂直変数ｊが垂直ブロックの最大値である５０を超えたか否か判定する（Ｓ４６４）。そして、垂直変数ｊが最大値を超えていなければ（Ｓ４６４におけるＮＯ）、ステップＳ４５２からの処理を繰り返す。また、垂直変数ｊが最大値を超えていれば（Ｓ４６４におけるＹＥＳ）、当該位置情報導出処理Ｓ３０４を終了する。こうして、距離画像１２６の視差情報ｄｐが三次元の位置情報に変換される。

（代表距離導出処理Ｓ３０６）
図１９を参照すると、代表距離導出部１６６は、道路形状パラメータを読み込み（Ｓ５００）、検出領域１２２を、水平方向に対して例えば４画素単位で１５０個の分割領域２４６に分割する（Ｓ５０２）。次に、代表距離導出部１６６は、分割した１５０個の分割領域２４６から１の分割領域２４６を、例えば水平方向左側から順次抽出して、その分割領域２４６内に存在する任意のブロック（ｉ，ｊ，ｄｐ，ｘ，ｙ，ｚ）を設定する（Ｓ５０４）。

代表距離導出部１６６は、ブロックの実空間上の座標ｚにおける道路表面の高さｙｒを算出し（Ｓ５０６）、ブロックの実空間上の座標ｙが道路表面の高さｙｒ以上となるブロックであれば、所定距離間隔で区分したヒストグラムにその相対距離を積算（投票）する（Ｓ５０８）。ここで、ブロックの実空間上の座標ｙが道路表面の高さｙｒ以上であったとしても、道路表面から高さ０．１ｍ以下のブロックは、道路上の白線や汚れ、影等であるとみなして処理対象から除外する。また、自車両１の高さより上方に位置するブロックも、歩道橋や標識等であるとみなして処理対象から除外する。

代表距離導出部１６６は、抽出された１の分割領域２４６内のブロック全てに関し、当該ヒストグラムへの積算処理を遂行したか判定する（Ｓ５１０）。ここで、ブロック全てが完了していなければ（Ｓ５１０におけるＮＯ）、ヒストグラムへの積算処理を遂行していないブロックに関してステップＳ５０４からの処理を繰り返す。

ブロック全てが完了していれば（Ｓ５１０におけるＹＥＳ）、代表距離導出部１６６は、このようにして生成されたヒストグラムを参照し、ヒストグラムの度数（相対距離の個数）が閾値（適宜設定される）以上となる区間が存在したら当該分割領域２４６には特定物が存在すると判定する。そして、代表距離導出部１６６は、ピークに相当する相対距離を代表距離２５０とする（Ｓ５１２）。

そして、代表距離導出部１６６は、複数の分割領域２４６全てに関して、当該代表距離２５０の導出処理を遂行したか判定する（Ｓ５１４）。ここで、分割領域２４６全てが完了していると判定されなければ（Ｓ５１４におけるＮＯ）、新たな分割領域２４６を設定し（Ｓ５１６）、新たな分割領域２４６に関してステップＳ５０４からの処理を繰り返す。一方、代表距離２５０の導出処理が全て完了していれば（Ｓ５１４におけるＹＥＳ）、当該代表距離導出処理Ｓ３０６を終了する。

（グループ化処理Ｓ３０８）
図２０を参照すると、グループ化部１６８は、複数の分割領域２４６から任意の分割領域２４６を、例えば水平方向左側から順次特定し、その任意の分割領域２４６の水平方向右側に隣接する分割領域２４６も特定する（Ｓ５５０）。そして、グループ化部１６８は、両分割領域２４６に代表距離２５０が存在するか否か判定する（Ｓ５５２）。ここで、両分割領域２４６に代表距離２５０が存在していなければ（Ｓ５５２におけるＮＯ）、分割領域の完了判定ステップＳ５５８に処理を移す。一方、両分割領域２４６に代表距離２５０が存在していれば（Ｓ５５２におけるＹＥＳ）、両分割領域２４６の代表距離２５０同士を比較する（Ｓ５５４）。

ここで、両代表距離２５０の差分が予め定められた閾値（同一の特定物とみなせる値）以下であれば、両代表距離２５０は近接しているとみなされ、グループ化部１６８は、分割領域２４６同士をグループ化して分割領域群２５２とする（Ｓ５５６）。このとき、一方の分割領域２４６が既に分割領域群２５２として設定されている場合、他方の分割領域２４６は、その分割領域群２５２に統合される。

そして、グループ化部１６８は、複数の分割領域２４６全てに関して、当該分割領域群２５２の設定処理Ｓ５５２、Ｓ５５４、Ｓ５５６を遂行したか判定する（Ｓ５５８）。ここで、全てが完了していなければ（Ｓ５５８におけるＮＯ）、新たな分割領域２４６を設定し（Ｓ５６０）、新たな分割領域２４６に関してステップＳ５５０からの処理を繰り返す。一方、分割領域群２５２の設定処理が全て完了していれば（Ｓ５５８におけるＹＥＳ）、次のステップＳ５６２に移行する。

続いて、グループ化部１６８は、グループ化された複数の分割領域群２５２から１の分割領域群２５２を、例えば水平方向左側から順次抽出して、その分割領域群２５２内に存在する任意のブロック（ｉ，ｊ，ｄｐ，ｘ，ｙ，ｚ）を設定する（Ｓ５６２）。

グループ化部１６８は、設定されたブロック（ｉ，ｊ，ｄｐ，ｘ，ｙ，ｚ）と、分割領域群２５２内における、相対距離ｚが代表距離２５０に相当するブロックとを比較し、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分が予め定められた範囲（例えば０．１ｍ）内にあるか否か判定する（Ｓ５６４）。予め定められた範囲内にある場合（Ｓ５６４におけるＹＥＳ）、そのブロックを、同一の特定物に対応すると仮定してグループ化する（Ｓ５６６）。予め定められた範囲内にない場合（Ｓ５６４におけるＮＯ）、ブロックの完了判定ステップＳ５６８に処理を移す。

グループ化部１６８は、抽出された１の分割領域群２５２内のブロック全てに関し、当該グループ化処理を遂行したか判定する（Ｓ５６８）。ここで、ブロック全てのグループ化処理が完了していなければ（Ｓ５６８におけるＮＯ）、グループ化処理を遂行していないブロックに関してステップＳ５６２からの処理を繰り返す。

ブロック全てのグループ化処理が完了していれば（Ｓ５６８におけるＹＥＳ）、グループ化部１６８は、グループ化したブロック群全体の大きさが、特定物「車両」の大きさに相当するか否か判定する（Ｓ５７０）。特定物「車両」の大きさに相当すると判定すれば（Ｓ５７０におけるＹＥＳ）、そのブロック群を特定物「車両」と特定する（Ｓ５７２）。特定物「車両」の大きさに相当すると判定しなければ（Ｓ５７０におけるＮＯ）、分割領域群２５２の完了判定ステップＳ５７４に処理を移す。

そして、グループ化部１６８は、複数の分割領域群２５２全てに関して、当該特定物特定処理Ｓ５７０、Ｓ５７２を遂行したか判定する（Ｓ５７４）。ここで、分割領域群２５２全てが完了していると判定されなければ（Ｓ５７４におけるＮＯ）、新たな分割領域群２５２を設定し（Ｓ５７６）、新たな分割領域群２５２に関してステップＳ５６２からの処理を繰り返す。一方、特定物特定処理Ｓ５７０、Ｓ５７２が全て完了していれば（Ｓ５７４におけるＹＥＳ）、当該グループ化処理Ｓ３０８を終了する。

上記グループ化においては、さらに、複数のグループに対して相互の位置関係が判定される。例えば、同種類の特定物のグループ間で、端点の位置が接近し、かつ、特定物中における水平方向および鉛直方向の相対距離の推移がほぼ等しい（連続する）場合には、同一特定物の同一の面であると判断されて、それらのグループが一つのグループに統合される。このとき特定物中における水平方向および鉛直方向の相対距離の推移は、ハフ変換あるいは最小二乗法による近似直線によって特定することができる。また、先行車両であれば、ｚ座標に対する相対移動速度が等しいことによっても複数のグループを一つのグループに統合することができる。

また、ここまでの処理がブロック単位で行われている場合、そのブロック内全ての画素に同一の情報を設定することで、画素単位の処理を行うことが可能となる。

以上、説明したような、車外環境認識装置１２０や車外環境認識方法によれば、画像をオフセットすることによって生じうる不要な処理負荷を回避し、処理時間を一定に維持しつつ、遠距離の特定物も近距離の特定物も安定的に検出することが可能となる。

また、コンピュータを、車外環境認識装置１２０として機能させるプログラムや当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、上述した実施形態においては、撮像装置１１０がモノクロ画像を取得することを前提としているが、かかる場合に限られず、３つの色相（Ｒ（赤）、Ｇ（緑）、Ｂ（青））からなるカラー画像を取得することでも本実施形態を遂行することができる。

また、上述した実施形態においては、オフセット実行部１６０、視差導出部１６２、位置情報導出部１６４、代表距離導出部１６６、グループ化部１６８、特定物選択部１７０、オフセット量導出部１７２は中央制御部１５４によってソフトウェアで動作するように構成している。しかし、上記の機能部をハードウェアによって構成することも可能である。

なお、本明細書の車外環境認識方法の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。

本発明は、自車両外の環境を認識する車外環境認識装置に利用することができる。

１ …自車両
１１０ …撮像装置
１２０ …車外環境認識装置
１２２ …検出領域
１２４ …輝度画像
１２６ …距離画像
１６０ …オフセット実行部
１６２ …視差導出部
１６４ …位置情報導出部
１６６ …代表距離導出部
１６８ …グループ化部
１７０ …特定物選択部
１７２ …オフセット量導出部

Claims (6)

1. 撮像軸が同一面上で位置を異にする２の撮像部で生成された２の画像データを取得する画像データ取得部と、
   前記２の画像データを比較し、一方の画像データに基づく画像における、１または複数の画素からなる任意のブロックと相関の高いブロックを、他方の画像データに基づく画像における予め大きさが定められた探索範囲から抽出し、両ブロックの視差を求める視差導出部と、
   前記視差から前記ブロックの相対距離を導出する位置情報導出部と、
   前記相対距離の差分が所定範囲に含まれるブロックをグループ化し、１または複数の特定物を特定するグループ化部と、
   前記１または複数の特定物から追跡対象となる特定物を選択する特定物選択部と、
   選択された前記特定物である選択特定物の相対距離が予め定められた閾値未満になると、前記相対距離に応じて、前記探索範囲をオフセットするためのオフセット量を導出するオフセット量導出部と、
   前記２の画像データのいずれか一方に基づく探索範囲を前記オフセット量だけオフセットするオフセット実行部と、
   を備え、
   前記位置情報導出部は、前記オフセット量が０以外であれば、前記選択特定物に相当する画像範囲以外の画像について相対距離の導出を制限することを特徴とする車外環境認識装置。
2. 前記オフセット実行部は、前記選択特定物の相対距離に拘わらず、前記画像データに基づく画像の水平方向両端の予め定められた領域において、予め定められたオフセット量だけオフセットすることを特徴とする請求項１に記載の車外環境認識装置。
3. 前記オフセット実行部は、前記特定物である選択特定物の相対距離に拘わらず、予め定められた周期毎に、予め定められたオフセット量だけ前記探索範囲をオフセットすることを特徴とする請求項１または２に記載の車外環境認識装置。
4. 前記オフセット実行部は、前記画像データに基づく画像のうち前記選択特定物に相当する画像範囲のみ前記探索範囲をオフセットすることを特徴とする請求項１から３のいずれか１項に記載の車外環境認識装置。
5. 前記オフセット量導出部は、撮像時が異なる前記２の画像データから前記選択特定物の相対速度を導出し、該相対速度および前記選択特定物の相対距離に基づいて前記オフセット量を導出することを特徴とする請求項１から４のいずれか１項に記載の車外環境認識装置。
6. 前記位置情報導出部は、前記選択特定物に相当する画像範囲以外の画像について、特定物の相対距離が前記オフセット量未満となる場合にのみ相対距離の導出を制限することを特徴とする請求項１から５のいずれか１項に記載の車外環境認識装置。