JP2014096005A - 物体検出装置及び物体検出方法 - Google Patents

Abstract

【課題】距離画像に基づくグループ化の誤りを抑制できる、物体検出装置及び物体検出方法を提供する。
【解決手段】一対の濃淡画像に基づいて距離画像を生成し（S603）、距離画像において距離データが近い隣接領域をグループ化する（S604）。一方、前記濃淡画像における、物体の接地面よりも下方の縦ラインにおける輝度と、前記接地面よりも上方の縦ラインにおける輝度との差を演算し、前記輝度の差に基づき、前記グループ化された領域を左右に分割する（S605）。更に、前記濃淡画像に基づいて分割した領域の左右領域のいずれかで垂直エッジに途切れがあるか否かを判定し、垂直エッジの途切れがあった側で隣接する領域どうしをマージする（S607）。
【選択図】図６

Description

本発明は、一対の濃淡画像に基づいて生成した距離画像に基づいて物体を検出する物体検出装置及び物体検出方法に関する。

特許文献１には、ステレオ画像処理によって生成される距離画像に基づいて物体を検出する物体検出装置において、距離画像の距離データの信頼性を評価して、有効距離データと無効距離データとを抽出し、これら有効距離データ及び無効距離データに基づき、同一物体とみなすグループ化を行うことが開示されている。

特開２００８−０６５６３４号公報

しかし、距離画像における有効距離データ及び無効距離データに基づくグループ化では、有効距離データが物体の左右エッジに集中するために十分な情報が得られず、同距離に並ぶ複数の物体を同一物体とみなしてしまうことを防ぐことが難しかった。
そして、車両周辺の監視を行う場合であって、先行車の他に、歩行者やバイクなどが存在する場合に、例えば、車両と歩行者とをひとまとめにしてしまうグループ化の誤りが生じると、歩行者に対しては十分に減速し、先行車に対しては追従させたり発進警報を発したりといった、車両と歩行者との違いに応じた車両制御が行えなくなってしまう。

そこで、本発明は、距離画像に基づくグループ化の誤りを抑制できる、物体検出装置及び物体検出方法を提供することを目的とする。

そのため、本願発明の物体検出装置は、一対の濃淡画像に基づいて距離画像を生成する距離画像生成部と、前記距離画像において距離データが近い隣接領域をグループ化するグループ化部と、前記グループ化された領域を前記濃淡画像に基づいて分割する分割部と、を備えるようにした。

また、本願発明の物体検出方法は、一対の濃淡画像に基づいて距離画像を生成するステップと、前記距離画像において距離データが近い隣接領域をグループ化するステップと、前記グループ化された領域を前記濃淡画像に基づいて分割するステップと、を含むようにした。

本発明によれば、距離画像に基づくグループ化の誤りを抑制できる。

本発明の実施の形態における車両運転支援システムの構成を示すブロック図である。 本発明の実施の形態におけるカメラユニット及び画像信号処理ユニットの構成図である。 本発明の実施の形態におけるカラーフィルタの配置例を示す図である。 本発明の実施の形態におけるステレオカメラによる測距原理を説明するための図である。 本発明の実施の形態における先行車の濃淡画像及び距離画像を示す図である。 本発明の実施の形態におけるグルーピング処理の流れを示すフローチャートである。 本発明の実施の形態における複数歩行者に対する処理結果を示す図である。 本発明の実施の形態における歩行者及び先行車に対する処理結果を示す図である。 本発明の実施の形態における濃度画像に基づく分割処理を示す図である。 本発明の実施の形態における垂直エッジによるマージ処理を説明するための図である。

以下に、本発明の実施の形態を、図面を用いて説明する。
図１は、本願発明に係る物体検出装置及び方法の一例として、前方衝突警告（ＦＣＷ：Forward Collision Warning）と車間距離制御（ＡＣＣ：Adaptive Cruise Control）とを実施する車両運転支援システムの構成を示すブロック図である。

この図１において、カメラユニット（ステレオカメラ）１０１は、車両１０７の前方の視界を捕えるように、自車に設置される。
カメラユニット１０１が撮像した車両前方画像は、画像信号処理ユニット１０２に入力され、画像信号処理ユニット１０２は、車両前方画像に基づいて先行車までの距離や相対速度を計算し、先行車までの距離や相対速度などの情報を、制御ユニット１０３に送信する。

制御ユニット１０３は、先行車までの距離や相対速度から衝突の危険度を判定し、危険度に応じて、スピーカ１０４で警告音（前方衝突警告）を出したり、ブレーキ１０６で減速したりするなどの指令を出力する。
また、車両１０７のドライバーがＡＣＣ機能を有効にしている場合、制御ユニット１０３は、アクセル１０５及びブレーキ１０６を制御して自車を先行車に一定の車間距離を保ちながら追従させたり、先行車がいない場合は設定車速まで加速させたりする制御（車間距離制御）を行う。

次に、上記の車両運転支援システムにおいて、カメラユニット１０１の撮像画像に基づき先行車などを検出する方法を説明する。
図２は、カメラユニット１０１及び画像信号処理ユニット１０２の内部構成を示すブロック図である。

カメラユニット１０１は、左右一対のカメラ１０１ａ、１０１ｂからなり、カメラ１０１ａ、１０１ｂは、それぞれＣＭＯＳ（Complementary Metal Oxide Semiconductor）２０１ａ、２０１ｂ及びＤＳＰ（Digital Signal Processor）２０２ａ、２０２ｂを備えている
ＣＭＯＳ２０１ａ、２０１ｂは、光を電荷に変換するフォトダイオードが格子状に並んだ撮像素子である。

ここで、ＣＭＯＳ２０１がカラー素子である場合、ＣＭＯＳ２０１のＲＡＷ画像（カラー画像）をＤＳＰ２０２に転送して、ＤＳＰ２０２において濃淡画像に変換する。
一方、ＣＭＯＳ２０１がモノクロ素子である場合、濃淡画像をそのまま画像信号処理ユニット１０２の画像入力Ｉ／Ｆ２０５に送信する。

画像信号はカメラユニット１０１から画像入力Ｉ／Ｆ２０５に対して連続的に送信されるが、その先頭には同期信号が含まれており、画像入力Ｉ／Ｆ２０５で必要なタイミングの画像のみを取り込むことができるようになっている。
画像入力Ｉ／Ｆ２０５を介して画像信号処理ユニット１０２内に取り込まれた左右一対の濃淡画像は、メモリ２０６に書き込まれ、画像処理ユニット２０４は、メモリ２０６に格納された画像に基づき視差計算処理や解析処理などを行う。

画像処理ユニット２０４における一連の処理は、フラッシュＲＯＭに予め書き込まれたプログラム２０７に従って行われる。
ＣＰＵ２０３は、画像入力Ｉ／Ｆ２０５による画像の取り込みや、画像処理ユニット２０４で画像処理を行わせたりするための制御、及び、必要な計算を行う。

ＣＭＯＳ２０１ａ、２０１ｂは、露光制御を行うための露光制御ユニットと露光時間を設定するレジスタを内蔵しており、ＣＭＯＳ２０１ａ、２０１ｂはレジスタに設定された露光時間で撮像する。
レジスタに設定される露光時間は、ＣＰＵ２０３によって書き換えることが可能で、ＣＰＵ２０３によって書き換えられた露光時間は、次フレーム或いは次フィールド以降の撮像時に反映される。

露光時間は電子制御可能で、露光時間によってＣＭＯＳ２０１ａ、２０１ｂに当たる光の量が制限される。
露光時間制御は、前記のような電子シャッター方式によって実現できるが、メカニカルシャッターを開閉させる方式を用いても同様に実現可能である。また、絞りを調整することで露光量を変化させることができる。また、インターレースのように１ラインおきに走査する場合、奇数ラインと偶数ラインとで露光量を変化させることができる。

画像信号処理ユニット１０２は、先行車までの距離や相対速度などの情報を、ＣＡＮＩ／Ｆ２０８を介して制御ユニット１０３に送信し、制御ユニット１０３は、送信された情報に基づき前方衝突警告や車間距離制御などを実施する。

以下では、ＤＳＰ２０２ａ、２０２ｂが行う濃淡画像変換処理を説明する。
ＣＭＯＳ２０１ａ、２０１ｂがカラー素子である場合、各画素は赤（Ｒ）、緑（Ｇ）、青（Ｂ）のいずれか１色の強度を測定するため、それ以外の色は周囲の色を参照して推定する。例えば、図３（ａ）の中央のＧ２２の画素のＲＧＢはそれぞれ数１のようにして算出することができる。

同様に、図３（ｂ）の中央のＲ２２の画素のＲＧＢはそれぞれ数２のようにして算出することができる。

Ｇ２２、Ｒ２２以外の画素についても、同様にしてＲＧＢの値を求めることができ、全ての画素でＲＧＢの３原色の強度を計算して、カラー画像を得る。そして、全画素での明度Ｙを数３に従って算出してＹ画像を作成し、当該Ｙ画像を濃淡画像とする。

左右一対のカメラ１０１ａ、１０１ｂで撮像された左右一対の画像から、カメラと対象物（障害物）の表面までの距離データを、画素毎の距離データとして画像形式で出力することができ、この画像形式の距離データを距離画像と呼ぶ。
図４は、左右一対のカメラ１０１ａ、１０１ｂを用いた測距原理（三角測量）を説明するための図である。

図４において、被写体である車両４０２（先行車）の背面におけるある点Ｐは、右カメラ画像（基準画像）上では点Ｐrに写り、左カメラ画像（参照画像）上では点Ｐlに写る。
カメラの焦点距離をｆ、レンズ４０１ａ、４０１ｂの主点から車両４０２までの距離をＺ、右カメラと左カメラの基線長をＢ、点Ｐrと点Ｐlの位置ズレ量、すなわち視差をｄとすると、距離Ｚは三角形の相似比から数４のようにして計算できる。

ここで、基線長Ｂ及び焦点距離ｆは一定値であるため、距離Ｚを求めることと、視差ｄを求めることは等価である。
視差ｄを求めるためには、右カメラ画像（基準画像）上の点Ｐrに対応する左カメラ画像（参照画像）の点Ｐlを求める。点Ｐrと点Ｐlとは被写体の同じ部位であるため、画像上でも両点の周辺はほぼ同じ形状、輝度になる。
そこで、基準画像のm×nのブロックに対して、類似度を計算するパターンマッチングを用いて、参照画像の対応するブロックを求めるブロックマッチングと呼ばれる手法を用いる。

ここで、ｍ，ｎは２以上の整数であり、値が大きいほどブロックの特徴量が大きくなるため誤マッチングは防止できロバストにはなるが、ブロックよりも小さな対象の距離は正確に出ないため、遠方の対象物まで考慮して最適な値に設定される。
具体的には、ブロックの大きさが、検知したい最遠方の立体物の大きさよりも十分小さくなるように、例えば、ｍ＝ｎ＝５に設定する。

ブロックマッチングのアルゴリズムとしては、ブロック間における画素ごとの輝度差の絶対値の総和ＳＡＤ（Sum of Absolute Difference）を計算し、係るＳＡＤ値が最も小さいブロックを選ぶ方法を用いることができる。
ＳＡＤ値は数５のようにして求めることができ、ＳＡＤの値が小さいほどより形状が一致している（類似度が高い）ことになる。

エピポーラ線上に探索を行って、ＳＡＤの値が最も小さい場所を視差として距離データに換算する。この処理を画像全領域で行うことで距離画像（画素毎の距離データからなる画像）を生成することができる。
ここで、全ての基準画像のブロックにおいて最適な視差が求まるわけではなく、たとえばブロック内の画素の輝度差がほとんど無い場合、その周辺も同じようになだらかで平坦なパターンが続いていることが多い。このような場合は、一様な領域内であればどこでも高い類似度を示すことになるため、最適な距離データを求めることができない。

そこで、このような特徴量の少ないブロックに関しては、ブロックマッチングの結果を無視する無効領域（無効距離データ）とする。逆に、輝度差があるエッジ上の箇所など、特徴量の多いブロックに関しては、ブロックマッチングの結果を信頼できるので、ブロックマッチングの結果を採用する有効領域（有効距離データ）とする。
左右に配置されたステレオカメラの場合は、左右方向にブロックマッチングを行って視差計算をするため、水平方向に輝度差がある垂直エッジ付近に有効な距離データが集まりやすい。

図５（ａ）は、先行車５０１の映像（濃淡画像）の一例で、図５（ｂ）は、図５（ａ）の先行車の映像に対応する距離画像における有効領域（有効距離データ）を表したものである。
図５（ｂ）に示す黒い線領域は、垂直エッジの部分であると同時に距離データの有効領域でもあり、黒い線領域では距離データの信頼性が高い。

ブロックマッチングの結果（視差）の有効領域と無効領域とは、数６に従って算出される指標値Ｔを用いて判定される。

数６に従って演算される指標値Ｔは、ブロック内で横方向に隣接する画素同士の輝度差の平均を表す。そして、指標値Ｔが、所定の値（例えば５）以上である場合は、ブロックの特徴量が大きいため距離（視差）の信頼値が高い、つまり、距離データの有効領域（有効距離データ）であると判定し、逆に、指標値Ｔが所定の値よりも小さい場合は、ブロックの特徴量が小さいため、距離データの無効領域（無効距離データ）であると判定する。
ここで、対象物が先行車両の場合、車両の背面は一般になだらかで平坦な輝度パターンが続いていて距離データが無効となることが多いので、図５（ｂ）の先行車５０２のように、有効領域（有効距離データ）は、車両の左右に分断されてしまうことが多い。

図６は、有効領域のグルーピング処理を含む物体検出処理の流れを示すフローチャートである。
図６のフローチャートに示す物体検出処理では、左右一対の濃淡画像に基づき、画素毎の距離データ（視差データ）からなる距離画像を生成し、距離画像の有効領域のなかで距離が近い隣接する領域をひとまとめにするグルーピングを行う。次いで、濃淡画像（輝度データ）に基づく物体領域の切り出しに応じて、距離画像に基づきグルーピングした領域の分割を行い、更に、前記分割によって、同一物体領域が分離されたか否かを、濃淡画像における垂直エッジに基づき判定し、同一物体領域が分離されていれば、当該領域をマージする処理を行う。

図７及び図８は、図６のフローチャートに示す手順によって処理を行った結果の実例を示す図である。
図７は、３名の歩行者が自車から略等距離の位置に並んで立っている例であり、３名が並んでいる幅が、同程度の距離の車間で先行する車両の幅と同程度であるため、誤ったグルーピングを行い易いシーンである。
また、図８は、車両の近傍に歩行者が居る場合の例である。障害物が車両である場合よりも歩行者である場合にブレーキをより早いタイミングで（より遠い距離から）作動させる設定の場合、図８のようなシーンでは、車両と歩行者とを早期に分離しておかないと、歩行者に対するブレーキの作動が遅れることになる。

以下、図６のフローチャートに従って、物体検出処理を詳述する。
まず、ステップＳ６０１、ステップＳ６０２では、左右のカメラ１０１ａ、１０１ｂで撮像された画像からそれぞれに濃淡画像を取得する。
カメラ１０１ａ、１０１ｂが、モノクロの撮像素子を備える場合には、そのままの画像形式で濃淡画像を取得できるが、カラー撮像素子を備える場合には、前述した数１、数２、数３に従って、３原色の信号を輝度Ｙの信号、即ち、濃淡形式に変換して、濃淡画像を取得する。

次のステップＳ６０３（距離画像生成部）では、左右一対の濃淡画像に基づくブロックマッチングによって同一物体に対する視差を求めて、距離画像を生成する。
更にステップＳ６０４（グループ化部）では、距離画像において距離データが近い隣接する有効領域をひとまとめにするグルーピングを行う。

図７（ａ）及び図８（ａ）は、ステップＳ６０４におけるグルーピングの結果の一例を示す図である。
距離データが近い有効領域をグルーピングすることで、自車から異なる距離に位置する物体を分離して検出することができるが、同程度の距離に異なる複数の物体（複数名の歩行者や、歩行者と車両など）が並んで位置している場合に、これらを同一物体として誤ってグルーピングしてしまう可能性がある。

図７（ａ）に示す例では、３名の歩行者が略同距離で横に並んでいて、これら３名の歩行者を含む矩形領域にグルーピングされ、図８（ａ）に示す例では、一人の歩行者と車両とが略同距離で横に並んでいて、これら１名の歩行者と車両とを含む矩形領域にグルーピングされている。
例えば、図８（ａ）に示す例のようにグルーピングされると、車両と歩行者とを分離検出できず、歩行者に対するブレーキの作動が遅れることになる。

そこで、次のステップＳ６０５（分割部）では、距離画像に基づき同一物体としてグルーピングした領域が分割可能であるか否かを、濃淡画像に基づく物体領域の切り出しに基づいて判定し、分割可能である場合、つまり、グルーピングした１つ領域に複数の異なる物体が含まれている場合には、グルーピングした領域を濃淡画像に基づく物体領域の切り出しに応じて分割する。
これにより、距離データに基づくグルーピング処理の誤りを修正し、同程度の距離に並んで位置している複数の物体を分離して検出することが可能となる。

ここで、図９を参照して、ステップＳ６０５における分割処理を詳細に説明する。
ステップＳ６０５では、グルーピングされた領域が分割可能であるか否かを、濃淡画像の縦方向における輝度差に基づいて判定し、分割可能であれば分割を行う。
まず、図９（ａ）に示すように、濃淡画像において、物体の接地面９０１よりも下にある縦ライン９０３における輝度平均（路面平均輝度）を求め、接地面９０１より上の縦ライン９０２における輝度と上記の路面平均輝度との差分の絶対値の累積を演算する。

即ち、接地面９０１のＹ座標を０としたときに、数７に従って、接地面９０１は挟んだ上下での輝度差Ｄを縦ライン毎に演算する。

ここで、数７における「ｈ」は、画像中における物体（立体物）の見かけ上の高さ（pixel）である。
尚、輝度差Ｄを演算する縦ラインを、画像の横方向において間引いて設定することができ、また、縦ラインの幅は１画素或いは複数画素とすることができる。また、接地面９０１とは、歩行者の場合は足元位置であり、車両ではタイヤの接地面であり、例えば、距離画像上でグルーピングした領域の下端に連続的に繋がる略水平の面を接地面９０１とすることができる。

路面と路面上の物体との間には一般的に輝度差が生じる一方、接地面９０１よりも下の領域には路面が撮像されているものと推定できるので、接地面９０１よりも下の領域（路面）に対して輝度差が大きい、接地面９０１よりも上の領域は、物体領域（歩行者や車両など）であるものと推定でき、逆に、接地面９０１よりも下の領域に対して輝度差が小さい、接地面９０１よりも上の領域は、路面の延長上の領域であると推定できる。

上記の輝度差Ｄの演算を、濃淡画像の縦ライン毎に行った結果を、図９（ｂ）に示してある。
図９の場合、図９（ａ）に示したように、３名の歩行者が横に並んでいるシーンであり、図９（ｂ）に示すように、３名の歩行者の間隔部分では、接地面９０１を挟んだ上下が共に路面となるため、輝度差Ｄが小さくなる一方、３名の歩行者の立ち位置部分では、接地面９０１よりも下方が路面であるのに対し、同じ縦ライン上の接地面９０１よりも上方が歩行者であるため、上下が路面である場合に比べて輝度差Ｄが大きくなる。

その結果、輝度差Ｄは、横方向において、歩行者の位置で大きくなって凸状をなし、歩行者の間で小さくなって凹状をなすことになり、係る輝度差Ｄの横方向での変化に基づき、横方向での物体領域（歩行者領域）を切り出すことが可能である。
そこで、例えば、輝度差Ｄの横方向での変化における変曲点を通る縦ライン、つまり、輝度差Ｄが大きい領域と小さい領域の境界ラインを、物体領域の境界ラインとして設定し、係る境界ラインで挟まれる輝度差Ｄが凸状をなす領域を、物体領域（歩行者領域）として検出し、前記境界ラインで挟まれる輝度差Ｄが凹状をなす領域を、非物体領域（路面領域）として検出する。
そして、距離データに基づきグルーピングした領域に、前記輝度差Ｄに基づく境界ライン（非物体領域、路面領域）が含まれる場合には、分割可能と判定し、縦方向に延びる非物体領域を挟んで左右に分割する。

図７（ｂ）及び図８（ｂ）は、ステップＳ６０５における分割処理の結果を示す。
図７に示す例では、距離画像に基づくグルーピングで、図７（ａ）に示すように３名の歩行者が一括りにグルーピングされた領域が、濃淡画像に基づく分割によって、図７（ｂ）に示すように、３名の歩行者毎に分割される。
これにより、障害物を歩行者として検知して、当該歩行者との距離に応じた車両制御（ブレーキ制御、警告制御）を行える。

また、図８に示す例では、距離画像に基づくグルーピングで、図８（ａ）に示すように１名の歩行者と車両とが一括りにグルーピングされた領域から、濃淡画像に基づく分割によって、図８（ｂ）に示すように、１名の歩行者を分離でき、歩行者に対して距離に応じた車両制御（ブレーキ制御、警告制御）を行える。
また、距離画像に基づきグルーピングされた領域から、濃淡画像に基づく分割によって車両領域を正しく切り出すことが可能であるが、車両の場合、車両背面のパターンや状況によっては、図８（ｂ）に示すように、濃淡画像に基づく分割によって車両領域が左右に分離されてしまう可能性がある。

例えば、輝度差Ｄの演算において、先行車背面の中央寄りで、接地面９０１よりも下にある縦ライン９０３が、路面上の影の領域に設定され、かつ、車両の色が濃色である場合には、接地面９０１の上下での輝度差Ｄが大きくならず、非物体領域であると誤検出してしまう可能性がある。この場合、先行車背面の中央寄りの縦領域が非物体領域として検出されることで、図８（ｂ）に示すように、先行車背面の左側部分と右側部分とに分割されてしまい、先行車背面が同一物体として検出されなくなってしまう。
そこで、ステップＳ６０６（マージ部）では、距離画像に基づくグルーピング領域を濃淡画像に基づき分割した結果が、正しく同一物体領域を切り出したか否かを、垂直エッジに基づいて判定し、同一物体領域を正しく切り出していない場合には、誤って分割した領域をマージ（併合）する処理を行う。

ステップＳ６０６では、まず、ステップＳ６０５で分割した各領域内に、図７（ｃ）及び図８（ｃ）に示すように、右領域と左領域とを設け、左右それぞれの領域に含まれる垂直エッジ成分の累積を求める。尚、右領域、左領域とは、ステップＳ６０５で分割した各領域の幅方向の中心付近を境に右側及び左側にそれぞれ設定した所定幅の領域である。
ステップＳ６０５で分割した各領域が１つの物体を包含する場合には、左右それぞれに物体の輪郭が存在することになるので、実際に物体の左右の輪郭が含まれているか否かを、垂直エッジ成分の累積値に基づいて判断する。

例えば、車両背面の中央寄りの領域に含まれる垂直エッジは、平坦であるバンパー付近で少なくなるという特徴がある。このため、図８（ｃ）に示すように、先行車の背面領域を左側と右側とに誤って分割した場合、背面左側の領域８０１に設定した左右領域ＬＥ、ＲＥのうちの中央寄りである右領域ＲＥでは、バンパーの高さ付近で垂直エッジの途切れが生じ、同様に、背面右側の領域８０２に設定した左右領域ＬＥ、ＲＥのうちの中央寄りである左領域ＬＥでは、バンパーの高さ付近で垂直エッジの途切れが生じる。

そこで、左右領域ＬＥ、ＲＥについて垂直エッジの量や分布を解析して、上記の垂直エッジの途切れがあるか否かを検証し、左右領域ＬＥ，ＲＥの一方に垂直エッジの途切れがあった場合には、誤った分割を行ったものと判定し、ステップＳ６０７（車両検出部）へ進んで、相互に垂直エッジの途切れがあった側で隣接する領域どうしをマージし、マージした領域の物体を先行車両として検出する。
一方、左右領域ＬＥ，ＲＥのいずれにも垂直エッジの途切れがなかった場合には、濃度画像に基づく分割に誤りがなかったものと判定し、ステップＳ６０８へ進んで、濃度画像に基づき分割した領域に従って物体検出を行う。

図１０は、上記マージ処理の一例を説明するための図である。
図１０（ａ）に示すように、濃淡画像によって分割した領域に左右領域ＬＥ，ＲＥを設定し、左右領域ＬＥ，ＲＥ毎に垂直エッジ成分の累積値を演算する。
図１０（ｂ）及び（ｃ）は、左右領域ＬＥ，ＲＥそれぞれで求めた垂直エッジ成分の累積値を、Ｙ軸に投影した結果である。

図１０（ａ）の分割領域８０１は、先行車両の左側面を含む領域であり、分割領域８０１の左領域ＬＥには、車両左側面の垂直エッジが含まれるため、図１０（ｂ）に示すように、垂直エッジ成分の累積値は、途中で急激な落ち込みを示すことなく、なだらかな変化を示す。
一方、車両の中央寄りの右領域ＲＥには、バンパーやボディー部分で垂直エッジが少ない箇所が存在するため、図１０（ｃ）に示すように、バンパーやボディー部分などの垂直エッジが少なくなる途中の領域で急激な落ち込みを示す。

そこで、垂直エッジ成分の累積値が途中で急激に落ち込んでいるか否か（垂直エッジ成分の途切れがあるか否か）を左右領域ＬＥ，ＲＥで判定し、垂直エッジ成分の落ち込み（途切れ）が認められた左領域ＬＥ又は右領域ＲＥについては、車両の輪郭部分ではなく、輪郭部分よりも中央寄りの領域であると判定する。
換言すれば、左右領域ＬＥ，ＲＥの一方に垂直エッジ成分の落ち込み（途切れ）がある場合には、濃淡画像に基づく分割に誤りがあり、車両領域を誤って左右に分割したものと判定する。

この場合、濃淡画像に基づき誤って分割したので、図８（ｄ）に示すように、相互に垂直エッジの途切れがあった側で隣接する領域どうしをマージし、マージした領域の物体を先行車両として検出する。
即ち、背面左側の領域８０１では、右領域ＲＥで垂直エッジ成分の落ち込み（途切れ）が検出され、背面右側の領域８０２では、左領域ＬＥで垂直エッジ成分の落ち込み（途切れ）が検出されるので、領域８０１、８０２は、相互に垂直エッジの途切れがあった側で隣接する領域であり、領域８０１、８０２を一括りに包含するようにマージする。
これにより、車両が濃い色であったり、濃度差Ｄの演算において路面輝度として影の部分の輝度を用いることになったりしても、車両領域を正しく切り出すことができ、検出した車両に応じて前方衝突警告や車間距離制御などを行える。

一方、図７に示すように３名の歩行者が並んでいる場合で、図７（ａ）に示す距離画像に基づくグルーピング領域を、濃度画像に基づき図７（ｂ）に示すように分割した場合には、分割した各領域の左右に歩行者の輪郭部分が含まれるので、垂直エッジ成分の落ち込み（途切れ）は、左右領域ＬＥ，ＲＥのいずれでも生じることはなく、マージを行うことなく、濃度画像に基づき分割した結果を最終的な物体領域とする。
尚、垂直エッジ成分の落ち込み（途切れ）の有無の判定は、種々の方法を用いて行うことができ、例えば、垂直エッジ成分の累積値についての左右領域ＬＥ，ＲＥ間での偏差の大きさに基づき判定したり、垂直エッジ成分の累積値と閾値との比較に基づき判定したり、垂直エッジ成分の累積値のＹ軸方向（垂直方向）での微分値に基づき判定したりすることができる。

尚、本発明は、上述の実施の形態の内容に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の変更が可能である。
例えば、上記実施形態では、本発明に係る物体検出装置及び方法を、車両運転支援システムに適用した例を示したが、車両運転支援システムに限定されるものではない。
また、距離画像に基づくグルーピング処理として、例えば特開２００８−０６５６３４号公報などに開示される公知の種々の処理方法を適用することができる。

１０１…カメラユニット、１０１ａ、１０１ｂ…カメラ、１０２…画像信号処理ユニット、１０３…制御ユニット、１０４…スピーカ、１０５…アクセル、１０６…ブレーキ、１０７…車両、２０１ａ、２０１ｂ…ＣＭＯＳ、２０２ａ、２０２ｂ…ＤＳＰ、２０３…ＣＰＵ、２０４…画像処理ユニット２０４、２０５…画像入力Ｉ／Ｆ、２０６…メモリ、２０７…プログラム

そのため、本願発明の物体検出装置は、一対の濃淡画像に基づいて距離画像を生成する距離画像生成部と、前記距離画像において距離データが近い隣接領域をグループ化するグループ化部と、前記グループ化された領域を前記濃淡画像に基づいて分割する分割部と、を備え、前記分割部は、前記濃淡画像における、物体の接地面よりも下方の縦ラインにおける輝度と、前記接地面よりも上方の縦ラインにおける輝度との差に基づいて、前記グループ化された領域を左右に分割するようにした。

また、本願発明の物体検出方法は、一対の濃淡画像に基づいて距離画像を生成するステップと、前記距離画像において距離データが近い隣接領域をグループ化するステップと、前記グループ化された領域を前記濃淡画像に基づいて分割するステップと、を含み、前記分割するステップは、前記濃淡画像における、物体の接地面よりも下方の縦ラインにおける輝度と、前記接地面よりも上方の縦ラインにおける輝度との差を演算するステップと、前記輝度の差に基づき、前記グループ化された領域を左右に分割するステップと、を含むようにした。

Claims (11)

1. 一対の濃淡画像に基づいて距離画像を生成する距離画像生成部と、
   前記距離画像において距離データが近い隣接領域をグループ化するグループ化部と、
   前記グループ化された領域を前記濃淡画像に基づいて分割する分割部と、
   を備えた、物体検出装置。
2. 前記分割部が、前記濃淡画像に基づき切り出した物体領域に基づいて、前記グループ化された領域を分割する、請求項１記載の物体検出装置。
3. 前記分割部が、前記濃淡画像の縦方向における輝度差に基づいて、前記グループ化された領域を左右に分割する、請求項１又は２記載の物体検出装置。
4. 前記分割部が、前記濃淡画像における、物体の接地面よりも下方の縦ラインにおける輝度と、前記接地面よりも上方の縦ラインにおける輝度との差に基づいて、前記グループ化された領域を左右に分割する、請求項１から３のいずれか１つに記載の物体検出装置。
5. 前記分割部が、前記輝度差が大きい領域と小さい領域との境界に基づき、前記グループ化された領域を左右に分割する、請求項３又は４記載の物体検出装置。
6. 前記濃淡画像に基づいて分割した領域の垂直エッジに基づき、前記濃淡画像に基づいて分割した領域をマージするマージ部を備えた、請求項１から５のいずれか１つに記載の物体検出装置。
7. 前記マージ部が、前記濃淡画像に基づいて分割した領域の左右領域のいずれかで垂直エッジに途切れがある場合に、垂直エッジの途切れがあった側で隣接する領域どうしをマージする、請求項６記載の物体検出装置。
8. 前記一対の濃淡画像が、車両に搭載された一対の撮像部で撮像された画像に基づく濃淡画像であり、
   前記マージ部がマージした領域の物体を車両として検出する車両検出部を備えた、請求項６又は７記載の物体検出装置。
9. 一対の濃淡画像に基づいて距離画像を生成するステップと、
   前記距離画像において距離データが近い隣接領域をグループ化するステップと、
   前記グループ化された領域を前記濃淡画像に基づいて分割するステップと、
   を含む、物体検出方法。
10. 前記分割を行うステップが、
    前記濃淡画像における、物体の接地面よりも下方の縦ラインにおける輝度と、前記接地面よりも上方の縦ラインにおける輝度との差を演算するステップと、
    前記輝度の差に基づき、前記グループ化された領域を左右に分割するステップと、
    を含む、請求項９記載の物体検出方法。
11. 前記濃淡画像に基づいて分割した領域の左右領域のいずれかで垂直エッジに途切れがあるか否かを判定するステップと、
    垂直エッジの途切れがあった側で隣接する領域どうしをマージするステップと、
    を更に含む、請求項９又は１０記載の物体検出方法。