JP2009239664A - 車両用環境認識装置および先行車追従制御システム - Google Patents

Abstract

【課題】ステレオ撮像手段から出力された一対の画像中にスミアが発生しているか否かを的確に判定することが可能で、処理を簡易かつ的確に行うことが可能な車両用環境認識装置を提供する。
【解決手段】車両用環境認識装置１は、自車両Ａの周囲を撮像して基準画像Ｔ等を出力するステレオ撮像手段２と、基準画像Ｔの各画素ブロックＰＢごとにステレオマッチング処理を行って視差ｄｐ等を対応づけるステレオマッチング手段６と、視差ｄｐ等に基づいて基準画像Ｔ中から先行車両Ｖahを検出する先行車両検出手段１１と、無限遠を含む遠方距離に対応する遠方視差閾値以下の視差ｄｐ等が算出された画素ブロックＰＢが属する基準画像Ｔの縦方向の画素列Ｄｎの各画素の輝度値ｐ１ijの探索を行い、所定の輝度値Ｐth以上の輝度値の画素の数が画素列Ｄｎの全画素数の所定の割合以上存在する場合にスミアが発生していると判定するスミア判定手段１２と、を備える。
【選択図】図１

Description

本発明は、車両用環境認識装置および先行車追従制御システムに係り、特に、ステレオ撮像手段で撮像された一対の画像に対してステレオマッチング処理を行って周囲の環境を認識する車両用環境認識装置およびそれを備える先行車追従制御システムに関する。

近年、ステレオカメラからなるステレオ撮像手段により撮像された一対の画像に対して画像処理を行い、自車両の前方やその周囲の環境や先行車両を認識し、それに基づいて先行車両に対する追従走行制御を行う先行車追従機能付きクルーズコントロール（Adaptive Cruise Control。以下ＡＣＣと略称する）制御を行うＡＣＣ装置が開発されている。

ＡＣＣ装置では、先行車両が存在しない場合には自車両を設定された速度で定速走行させ、先行車両が存在する場合には自車両を先行車両に追従させるように自車両のアクセルスロットルやブレーキ機構等を自動的に適切に操作する制御が行われる。そのため、ＡＣＣ装置には先行車両を的確に検出できることが求められる。

ところで、ステレオ撮像手段としてＣＣＤ（Charge Coupled Device）イメージセンサ等を用いると、例えば逆光の環境下で撮像したような場合、画像中に、周囲より極端に明るい筋状のスミア（smear。白飛び等とも言う。）が画像の縦方向に延在するように撮像される場合がある。例えば図１５は、標高が高い場所で撮像された画像であるが、小高い山Ｍの山頂付近に沈みかけている太陽Ｓｕ（強いフレア（ハレーション）のために輪郭さえ撮像されていない。）が極端に明るく撮像され、画像中の太陽Ｓｕの下方部分に非常に大きなスミアＳｍが発生している。

このような状況では、ステレオ撮像手段で撮像された一対の画像に対するステレオマッチングがうまく行かず先行車両Ｖahが検出できなくなったり（すなわちロストしたり）、ステレオマッチングで実際とは異なる誤った距離が検出されたりする。そして、先行車両Ｖahがロストしたり先行車両Ｖahまでの距離が誤検出された状態でＡＣＣ装置を作動させ続けると、自車両が先行車両Ｖahに向かって接近して行って追突するなど、非常に危険な状況となる。

このような事態が生じないようにするためには、まず、画像中にスミアが発生しているか否かを的確に判定することが必要となる。そこで、撮像された画像の全画素の輝度値、或いは画像中に設定した監視領域内の各画素の輝度値を監視して、輝度値が飽和した状態或いはそれに近い状態になっている画素がある場合にスミアの発生を判定する装置が開発されている（例えば特許文献１〜４等参照）。
特開２０００−２０７５６３号公報 特開２００１−２８７４５号公報 特開２００１−４３３７７号公報 特開２００２−２２４３９号公報

しかしながら、全画像中或いは画像中の監視領域内の各画素の輝度値だけを監視する場合、例えば太陽光を反射するなどして白く輝く柱状の物体が画像を上から下まで貫くように撮像された場合にもスミアが発生していると誤判定されてしまう可能性があり、ＡＣＣ装置が誤作動等を起こす可能性がある。

また、たとえ全画像ではなく画像中の監視領域内だけを探索するように構成しても、監視領域内の全画素の輝度値を常時監視する処理には時間がかかり、処理時間が長くなるとともに、処理装置の負担が増大するという問題もある。

本発明は、このような事情に鑑みてなされたものであり、ステレオ撮像手段から出力された一対の画像中にスミアが発生しているか否かを的確に判定することが可能な車両用環境認識装置を提供することを目的とする。また、この処理を簡易かつ的確に行うことが可能な車両用環境認識装置を提供することを目的とする。さらに、スミアが発生している場合に適切に対処し得る先行車追従制御システムを提供することを目的とする。

前記の問題を解決するために、第１の発明は、車両用環境認識装置において、
一対のカメラで自車両の周囲の環境を撮像して基準画像と比較画像とを出力するステレオ撮像手段と、
前記基準画像を所定の画素数の画素ブロックに分割し、前記各画素ブロックごとに前記比較画像とのステレオマッチング処理を行い、前記基準画像の前記各画素ブロックに算出した視差または距離をそれぞれ対応づけるステレオマッチング手段と、
前記ステレオマッチング手段が算出した前記視差または前記距離に基づいて前記基準画像中から先行車両を検出する先行車両検出手段と、
前記距離として無限遠を含む遠方距離閾値以上の距離または前記視差として前記遠方距離閾値に対応する遠方視差閾値以下の視差が算出された前記画素ブロックが属する前記基準画像の縦方向に延在する画素列の各画素の輝度値の探索を行い、所定の輝度値以上の輝度値を有する前記画素の数が前記画素列に属する全画素数の所定の割合以上存在する場合にスミアが発生していると判定するスミア判定手段と、
を備えることを特徴とする。

第２の発明は、第１の発明の車両用環境認識装置において、前記スミア判定手段は、前記画素列に前記基準画像の縦方向に延在する１画素幅の画素列が複数含まれる場合には、前記１画素幅の画素列のそれぞれについて前記探索を行い、複数の前記１画素幅の画素列のうち、少なくとも１列の前記１画素幅の画素列において、前記所定の輝度値以上の輝度値を有する前記画素の数が前記１画素幅の画素列に属する全画素数の前記所定の割合以上存在すればスミアが発生していると判定することを特徴とする。

第３の発明は、第１または第２の発明の車両用環境認識装置において、前記スミア判定手段は、前記探索を行う際、前記画素列の前記基準画像における下端の画素から上方に所定個数の画素の前記輝度値の探索を行い、前記所定の輝度値以上の輝度値を有する前記画素の数が前記所定個数の画素の画素数の所定の割合以上存在する場合にスミアが発生していると判定することを特徴とする。

第４の発明は、第１から第３のいずれかの発明の車両用環境認識装置において、
前記先行車両検出手段は、前記ステレオマッチング手段により前記視差または前記距離が前記各画素ブロックにそれぞれ対応づけられた前記基準画像を、縦方向に延在する複数の区分に分割し、前記各区分ごとにヒストグラムを作成し、前記各区分に属する前記画素ブロックの前記視差または前記距離を当該区分に対応する前記ヒストグラムに投票して代表視差または代表距離を抽出し、前記各区分ごとの前記代表視差または前記代表距離に基づいて前記先行車両を検出し、
前記スミア判定手段は、前記各区分ごとに前記ヒストグラムへの投票結果を監視し、前記ヒストグラムにおける前記遠方距離閾値以上の距離または前記遠方視差閾値以下の視差の投票数が所定の閾値以上である区分について、前記探索を行うことを特徴とする。

第５の発明は、先行車追従制御システムにおいて、
第１から第４のいずれかの発明の車両用環境認識装置と、
自車両に対して、前記先行車両検出手段により検出された前記先行車両の情報に基づいて先行車追従制御を行う先行車追従制御装置と、を備え、
前記先行車追従制御装置は、前記車両用環境認識装置の前記スミア判定手段によりスミアが発生していると判定された場合には、自車両に対する前記先行車追従制御を一時停止することを特徴とする。

第６の発明は、第５の発明の先行車追従制御システムにおいて、前記先行車追従制御装置は、前記スミア判定手段により所定数のフレームで連続してスミアが発生していると判定された場合に、自車両に対する前記先行車追従制御を一時停止することを特徴とする。

第７の発明は、第５の発明の先行車追従制御システムにおいて、前記先行車追従制御装置は、前記スミア判定手段によりスミアが発生していると判定されたフレームではカウント数を増加させ、前記スミア判定手段によりスミアが発生していると判定されなかったフレームではカウント数を減少させるカウンタを備え、前記カウンタのカウント数が所定の閾値以上である場合に、自車両に対する前記先行車追従制御を一時停止することを特徴とする。

第８の発明は、第５から第７のいずれかの発明の先行車追従制御システムにおいて、前記先行車追従制御装置は、自車両に対する前記先行車追従制御を一時停止した場合に、自車両のドライバに対して前記先行車追従制御を停止したことを報知することを特徴とする。

第１の発明によれば、スミア判定手段は、ステレオマッチング処理により、距離として無限遠を含む遠方距離閾値以上の距離、または視差として前記遠方距離閾値に対応する遠方視差閾値以下の視差が算出された画素ブロックが属する基準画像の縦方向に延在する画素列についてスミアの発生の有無を判定する。そのため、前述したように、例えば太陽光を反射するなどして白く輝く柱状の物体が画像を上から下まで貫くように撮像された場合には、その物体に対しては、ステレオマッチング処理により無限遠を含む遠方距離に対応する視差または距離の値は算出されず、スミア判定手段は、このような物体をスミアであると誤判定することが的確に防止して、スミアの発生の有無を的確に判定することが可能となる。

また、画像上の縦方向に延在する単数または複数の画素列において上から下まで貫くように発生するというスミアの特徴により、無限遠を含む遠方距離に対応する値が算出された画素ブロックが属する基準画像の縦方向に延在する画素列についてスミアの発生の有無を判定することで、十分的確にスミアの発生の有無を判定することが可能となる。

さらに、スミア判定手段は、ステレオマッチング処理により画素ブロックの視差または距離として無限遠を含む遠方距離に対応する値が算出された場合にのみ、スミアの発生の有無を判定する。しかも、その画素ブロックが属する基準画像上の画素列についてのみ、各画素の輝度値の探索を行う。そのため、基準画像の全画像や、基準画像中の監視領域内を常時探索する場合に比べて、スミアの発生の有無を判定する判定処理の負担が格段に軽減されて処理が簡易化されるとともに、処理時間を短縮することが可能となる。

第２の発明によれば、スミアの上記特徴により、画素の輝度値を探索する基準画像の縦方向に延在する画素列に１画素幅の画素列が複数含まれる場合には、そのうちの１列の画素列が上記の条件を満たせばスミアが発生しているといえるため、１画素幅の各画素列についてそれぞれ探索を行い、少なくとも１列の画素列において上記の条件が満たされた場合にスミアが発生していると判定することで、前記発明の効果がより的確に発揮される。

第３の発明によれば、基準画像や比較画像の上方部分には、自車両前方の車両等よりもさらに高い位置にある物体が撮像されるため、基準画像の上方部分の画素ブロックでは、スミアが発生していない場合でも、ステレオマッチング処理により視差または距離として無限遠を含む遠方距離に対応する値が算出される場合がある。一方、スミアは上記のように画像を上から下まで貫くように発生するという特徴を有する。そのため、画素列の上方部分を除く部分のみについて探索を行うように構成することで、上記のような基準画像の上方部分の悪影響を回避することが可能となり、前記各発明の効果がより的確に発揮される。

第４の発明によれば、スミア判定手段は、先行車両検出手段で行われる視差や距離の情報の各区分のヒストグラムへの投票状況を監視し、ヒストグラムにおける無限遠を含む遠方距離に相当する視差や距離の投票数が所定の閾値以上である場合にのみ、かつ当該区分についてのみ、前記探索を行うため、前記各発明の効果がより効果的に発揮される。

第５の発明によれば、上記のように車両用環境認識装置のスミア判定手段が的確にスミアが発生しているか否かを判定するため、先行車追従制御システムの先行車追従制御装置は、それに基づいてスミアが発生している場合に適切に先行車追従制御を一時停止させることが可能となり、スミアの発生時に適切に対処することが可能となる。

第６の発明によれば、スミアが数フレームで連続して発生していると判定された場合に自車両に対する先行車追従制御を一時停止するようにすることで、車両用環境認識装置のスミア判定手段が万が一スミアの発生を誤判定したとしても、スミア判定手段の判定を十分に確認したうえで自車両に対する先行車追従制御を一時停止させることが可能となり、前記各発明の効果がより的確に発揮される。

第７の発明によれば、スミアが発生していると判定されたフレームのカウント数を増減させてそのカウント数が所定の閾値以上である場合に、自車両に対する先行車追従制御を一時停止するようにすることで、車両用環境認識装置のスミア判定手段が万が一スミアの発生を誤判定したとしても、スミア判定手段の判定を十分に確認したうえで自車両に対する先行車追従制御を一時停止させることが可能となり、前記各発明の効果がより的確に発揮される。

第８の発明によれば、前記各発明の効果に加え、自車両のドライバが先行車追従制御が一時停止されたことに気づかないと、先行車追従制御が作動していると誤信して例えば自車両に対する制動操作を怠り、先行車両に追突する等の事態が生じる可能性があるが、先行車追従制御装置の制御手段が自車両に対する先行車追従制御を一時停止した場合に、ドライバに対して例えば音声を発声させたり画面上に表示させたりランプを点灯させるなどして先行車追従制御が一時停止されたことをドライバに報知することで、ドライバの注意を喚起することが可能となり、上記の事態の発生を回避することが可能となる。

以下、本発明に係る車両用環境認識装置および先行車追従制御システムの実施の形態について、図面を参照して説明する。

［車両用環境認識装置］
本実施形態に係る車両用環境認識装置１は、図１に示すように、主にステレオ撮像手段２や変換手段３、ステレオマッチング手段６、処理手段９等で構成されている。

本実施形態では、ステレオ撮像手段２からステレオマッチング手段６までの構成は、本願出願人により先に提出された特開平５−１１４０９９号公報、特開平５−２６５５４７号公報、特開平６−２６６８２８号公報、特開平１０−２８３４６１号公報、特開平１０−２８３４７７号公報、特開２００６−７２４９５号公報等に記載された車外監視装置等をベースに構成されている。以下、簡単に説明する。

ステレオ撮像手段２は、車幅方向に一定の距離をあけて配置された一対の撮像手段であるメインカメラ２ａおよびサブカメラ２ｂを備えて構成されており、自車両の周囲の環境を撮像して一対の画像（基準画像および比較画像）を撮像するようになっている。本実施形態では、ステレオ撮像手段２として、互いに同期が取られたＣＣＤイメージセンサが内蔵されたステレオカメラが用いられている。

ステレオ撮像手段２で撮像され出力された一対の画像は、変換手段３であるＡ／Ｄコンバータ３ａ、３ｂでアナログ画像からそれぞれ画素ごとに例えば０〜２５５のグレースケール等の所定の輝度階調の輝度値を有するデジタル画像にそれぞれ変換され、画像補正部４でずれやノイズの除去、輝度値の補正等の画像補正が行われて、画像データメモリ５に格納されるとともに、処理手段９に送信されるようになっている。

また、画像補正が行われた一対の撮像画像は、ステレオマッチング手段６にも送信されるようになっている。ステレオマッチング手段６は、イメージプロセッサ７と距離データメモリ８とを備えており、イメージプロセッサ７では、ステレオマッチング処理が行われるようになっている。

具体的には、イメージプロセッサ７は、図２に示すように、基準画像Ｔ上に例えば３×３画素や４×４画素等の所定の画素数の基準画素ブロックＰＢを設定し、基準画素ブロックＰＢに対応する比較画像Ｔｃ中のエピポーララインＥＰＬ上の基準画素ブロックＰＢと同形の各比較画素ブロックＰＢｃについて下記（１）式に従って当該基準画素ブロックＰＢとの輝度パターンの差異であるＳＡＤ値を算出し、ＳＡＤ値が最小の比較画素ブロックＰＢｃを特定するようになっている。

なお、ｐ１stは基準画素ブロックＰＢ中の各画素の輝度値を表し、ｐ２stは比較画素ブロックＰＢｃ中の各画素の輝度値を表す。また、上記の総和は、基準画素ブロックＰＢや比較画素ブロックＰＢｃが例えば３×３画素の領域として設定される場合には１≦ｓ≦３、１≦ｔ≦３の範囲、４×４画素の領域として設定される場合には１≦ｓ≦４、１≦ｔ≦４の範囲の全画素について計算される。

イメージプロセッサ７は、このようにして基準画像Ｔの各基準画素ブロックＰＢについて、特定した比較画素ブロックＰＢｃの比較画像Ｔｃ上の位置と当該基準画素ブロックＰＢの基準画像Ｔ上の位置から視差ｄｐを算出するようになっている。本実施形態では、イメージプロセッサ７は、例えば図３に例示する基準画像Ｔの各基準画素ブロックＰＢに上記のようにして算出した視差ｄｐをそれぞれ対応づけるようになっている。

以下、視差ｄｐが各基準画素ブロックＰＢにそれぞれ対応づけられた基準画像Ｔを距離画像Ｔｚという。例えば図３の基準画像Ｔの各基準画素ブロックＰＢに視差ｄｐがそれぞれ対応づけられて形成された距離画像Ｔｚは図４に示すような画像となる。イメージプロセッサ７は、このようにして形成した距離画像Ｔｚのデータを距離データメモリ８に送信して格納するとともに、処理手段９に送信するようになっている。

なお、この視差ｄｐおよび距離画像Ｔｚ上の座標（ｉ，ｊ）と、実空間上の位置（Ｘ，Ｙ，Ｚ）とは、三角測量の原理に基づいて以下のように対応づけられる。具体的には、実空間上においてメインカメラ２ａおよびサブカメラ２ｂの中央真下の道路面上の点を原点とし、自車両の車幅方向すなわち左右方向にＸ軸、車高方向にＹ軸、車長方向すなわち距離方向にＺ軸を取ると、実空間上の点（Ｘ，Ｙ，Ｚ）と、視差ｄｐと距離画像Ｔｚ上の座標（ｉ，ｊ）との関係は、
Ｘ＝ＣＤ／２＋Ｚ×ＰＷ×（ｉ−ＩＶ） …（２）
Ｙ＝ＣＨ＋Ｚ×ＰＷ×（ｊ−ＪＶ） …（３）
Ｚ＝ＣＤ／（ＰＷ×（ｄｐ−ＤＰ）） …（４）
と表すことができ、（ｉ，ｊ，ｄｐ）と（Ｘ，Ｙ，Ｚ）とは１対１に対応づけられる。

ここで、ＣＤはメインカメラ２ａとサブカメラ２ｂとの間隔、ＰＷは１画素当たりの視野角、ＣＨはメインカメラ２ａとサブカメラ２ｂの取り付け高さ、ＩＶおよびＪＶは自車両正面の無限遠点のｉ座標およびｊ座標、ＤＰは消失点視差を表す。

また、上記のように、視差ｄｐと実空間上の距離Ｚとは上記（４）式を介して１対１に対応づけられる。そのため、本実施形態では、上記のように、基準画像Ｔの各基準画素ブロックＰＢに視差ｄｐをそれぞれ対応づけて距離画像Ｔｚを形成するが、距離画像Ｔｚを形成する時点で、各基準画素ブロックＰＢごとの視差ｄｐを距離Ｚの情報に変換し、基準画像Ｔの各基準画素ブロックＰＢにそれぞれ距離Ｚの情報を対応づけて距離画像Ｔｚを形成するように構成することも可能である。

処理手段９（図１参照）は、図示しないＣＰＵやＲＯＭ、ＲＡＭ、入出力インターフェース等がバスに接続されて構成されるコンピュータに構成されている。また、処理手段９には、車速センサやヨーレートセンサ、ステアリングホイールの舵角を測定する舵角センサ等のセンサ類Ｑが接続されている。なお、ヨーレートセンサの代わりに自車両の車速等からヨーレートを推定する装置等を用いることも可能である。

処理手段９は、物体検出手段１０と、先行車両検出手段１１と、スミア判定手段１２とを備えており、さらに図示しないメモリを備えている。また、例えば車線検出手段等の他の機能を備えるように構成することも可能である。処理手段９の各手段には、センサ類Ｑから必要なデータが入力されるようになっている。

物体検出手段１０は、ステレオ撮像手段２により撮像された基準画像Ｔ中から物体を検出するようになっている。本実施形態では、物体検出手段１０における処理は、前記各公報に記載された車外監視装置等における処理をベースに構成されている。以下、簡単に説明する。

物体検出手段１０は、例えば図４に示した距離画像Ｔｚを図５に示すように縦方向に延在する所定幅の短冊状の区分Ｄｎに分割する。そして、図６に示すように、各区分ＤｎごとにヒストグラムＨｎを作成し、各区分Ｄｎに属する各基準画素ブロックＰＢの視差ｄｐのうち道路面より上方に存在する視差ｄｐをヒストグラムＨｎに投票し、例えばその最頻値ｄｐｎをその区分の代表視差として抽出する。これを全区分についてそれぞれ行う。

そして、物体検出手段１０は、各区分Ｄｎの代表視差に基づいて前記（２）〜（４）式から物体の実空間上の座標（Ｘ，Ｙ，Ｚ）を算出するようになっている。算出された物体の座標を実空間上にプロットすると、各物体の座標は図７に示すように前方の物体の自車両Ａに面した部分に対応する部分に多少ばらつきを持って各点としてプロットされる。

物体検出手段１０は、このようにプロットされる各点について、実空間上の各点の隣接する点とのＸ軸方向の距離やＺ軸方向の距離、グループ化した場合の左端の点から右端の点までのＸ軸方向の全長等を検索しながら、それらの値がそれぞれ設定された閾値以内である点をそれぞれグループにまとめ、図８に示すようにそれぞれのグループ内の各点を直線近似して物体を検出するようになっている。

また、本実施形態では、物体検出手段１０は、このようにして検出した各物体を図９に示すように基準画像Ｔ上で矩形状の枠線で包囲するようにして検出するようになっている。なお、図８や図９において、ラベルＯやラベルＳは物体の自車両Ａに対向する面の種別を表し、ラベルＯは物体の背面、ラベルＳは物体の側面が検出されていることを表す。

物体検出手段１０は、このようにして検出した各物体の情報をメモリに保存するとともに、必要に応じて外部に出力するようになっている。

先行車両検出手段１１は、図１０に示すように自車両Ａの挙動に基づいて自車両Ａが今後進行するであろう軌跡を走行軌跡Ｌestとして推定し、その走行軌跡Ｌestを中心とする自車両Ａの車幅分の領域を自車両Ａの進行路Ｒestとして算出するようになっている。

自車両Ａの走行軌跡Ｌestは、自車両Ａの車速Ｖやヨーレートγ、ステアリングホイールの舵角δ等に基づいて下記（５）式または下記（６）、（７）式に従って算出される自車両Ａの旋回曲率Ｃuaに基づいて算出することができる。なお、下記の各式におけるＲｅは旋回半径、Ａsfは車両のスタビリティファクタ、Ｌwbはホイールベースである。
Ｃua＝γ／Ｖ …（５）
Ｒｅ＝（１＋Ａsf・Ｖ^２）・（Ｌwb／δ） …（６）
Ｃua＝１／Ｒｅ …（７）

先行車両検出手段１１は、続いて、自車両Ａの進行路Ｒest上に存在する物体の中で自車両Ａに最も近接する物体を自車両Ａの前方を走行する先行車両Ｖahとして検出するようになっている。例えば図９や図１０では、車両Ｏ３が先行車両Ｖahとして検出される。

先行車両検出手段１１は、このようにして検出した先行車両Ｖahの自車両からの距離Ｚやその他必要な情報をメモリに保存するとともに、後述する先行車追従制御装置２１に送信するようになっている。

なお、本実施形態では、先行車両検出手段１１は、前回のサンプリング周期で検出した先行車両と今回のサンプリング周期で先行車両として検出した物体とが同一の立体物である確率を算出するなどして、整合性を保ちながら先行車両を追跡するようになっている。また、先行車両検出手段１１は、検出した先行車両が自車両の前方から離脱してさらにその前方の車両が新たに先行車両となったり、自車両と先行車両との間に他の車両が割り込んできて当該他の車両が新たな先行車両となることによる先行車両の交替を検出できるようになっている。

また、上記の説明では、物体検出手段１０と先行車両検出手段１１とを分けて説明したが、物体検出手段１０における物体検出処理と先行車両検出手段１１における先行車両検出処理は一連の処理として常時行われるようになっている。

スミア判定手段１２は、本実施形態では、物体検出手段１０における距離画像Ｔｚを分割する各区分Ｄｎに属する各基準画素ブロックＰＢの視差ｄｐの、ヒストグラムＨｎへの投票状況を監視し、当該ヒストグラムＨｎにおける無限遠を含む遠方距離に相当する視差ｄｐの投票数を監視するようになっている。

これは、前述した例えば太陽光を反射するなどして白く輝く柱状の物体が画像を上から下まで貫くように撮像された場合には、ステレオマッチング処理で自車両から数ｍや数十ｍ等の有限の距離に対応する視差ｄｐの値が算出されるのに対し、逆光におけるスミアの場合には、ステレオマッチング処理で自車両から無限遠を含む遠方距離に対応する視差ｄｐの値が算出されるという知見に基づくものである。これは、スミアが自車両から無限遠の距離にあると同視できる太陽光を反映しているためである。

また、自車両から無限遠を含む遠方距離に対応する視差ｄｐの値とは、上記（４）式の左辺の距離Ｚに無限大∞を代入して変形すると、
∞＝ＣＤ／（ＰＷ×（ｄｐ−ＤＰ））
ｄｐ−ＤＰ＝ＣＤ／（ＰＷ×∞）＝０
すなわち、
ｄｐ＝ＤＰ
となることからも分かるように、消失点視差ＤＰやそれに近い値のことである。

このことから、本実施形態では、ステレオマッチング処理により算出された視差ｄｐの値に、無限遠を含む遠方距離に対応する遠方視差閾値を設け、遠方視差閾値を例えば無限遠に対応する視差ＤＰに近い値であるＤＰ＋１に設定し、視差ｄｐが遠方視差閾値であるＤＰ＋１以下である基準画素ブロックＰＢを、無限遠を含む遠方距離に対応する視差ｄｐの値が算出された基準画素ブロックＰＢとして検出するようになっている。

なお、前述したように、基準画像Ｔの各基準画素ブロックＰＢにそれぞれ距離Ｚの情報を対応づけて距離画像Ｔｚを形成する場合には、無限遠を含む遠方距離を規定する距離Ｚの閾値として遠方距離閾値を設定し、距離Ｚが遠方距離閾値以上である基準画素ブロックＰＢを、無限遠を含む遠方距離に対応する距離Ｚの値が算出された基準画素ブロックＰＢとして検出するように構成する。この場合、遠方距離閾値は、例えば前述した遠方視差閾値として設定される視差ＤＰ＋１に対応する距離の値が設定される。

本実施形態では、具体的には、スミア判定手段１２は、図６に示したように視差ｄｐの投票が行われる各ヒストグラムＨｎにおける投票状況を監視し、図１１に示すように、ヒストグラムＨｎにおいて視差ｄｐの値がＤＰ＋１以下の範囲の視差ｄｐの投票数を監視して、当該範囲の視差ｄｐの投票数の合計値が所定の閾値以上になった場合に、当該ヒストグラムＨｎに対応する距離画像Ｔｚ上の区分Ｄｎをスミア候補とするようになっている。

なお、遠方視差閾値や遠方距離閾値をどのような値に設定するか、或いは投票数の合計値に関する上記の所定の閾値をどのような値に設定するかは、車両用環境認識装置１に用いられるステレオ撮像手段２のＣＣＤイメージセンサ等の性能等に依存するため、適宜、適切な値がそれぞれ設定される。

スミア判定手段１２は、続いて、上記の条件が満たされてスミア候補とされた距離画像Ｔｚの当該区分Ｄｎと同じ基準画像Ｔ上の領域に画素列に設定するようになっている。距離画像Ｔｚ上の区分Ｄｎが縦方向に延在する４画素幅の画素列であれば、図１２に示すように、基準画像Ｔの同じ位置に４画素幅の画素列Ｄｎをあてはめて設定する。なお、図１２では、１画素幅が実際より大きく表現されている。

ここで、４画素幅の画素列Ｄｎ全体を対象としてスミアが発生しているか否かの判定を行うように構成することも可能である。しかし、本実施形態では、スミア判定手段１２は、４画素幅の画素列Ｄｎに含まれる１画素幅の各画素列Ｄｎ１〜Ｄｎ４（図１２参照）についてスミアが発生しているか否かの判定を行うように構成されている。

具体的には、スミア判定手段１２は、１画素幅の各画素列Ｄｎ１〜Ｄｎ４について、それぞれ画素列の各画素の輝度値ｐ１ijの探索を行い、所定の輝度値ｐth以上の輝度値を有する高輝度の画素の数が、当該１画素幅の画素列に属する全画素数の所定の割合以上存在するか否かを検出するようになっている。

ここで、前述したように基準画像Ｔの各画素の輝度値ｐ１ijが０〜２５５のグレースケールで設定される場合には、上記の所定の輝度値ｐthは例えば輝度値の飽和状態に近い２４０等の高い値に設定される。また、上記の所定の割合は例えば７５％等に設定される。

そして、スミア判定手段１２は、４画素幅の画素列Ｄｎ中の１画素幅の各画素列Ｄｎ１〜Ｄｎ４のうち、少なくとも１列の画素列で上記の条件が満たされる場合に、スミアが発生していると判定するようになっている。

スミア判定手段１２は、このようにしてスミアが発生していると判定した場合には、後述する先行車追従制御装置２１に対してスミア発生信号を送信するようになっている。

［先行車追従制御システム］
本実施形態に係る先行車追従制御システム２０は、図１３に示すように、上記の車両用環境認識装置１と、先行車追従制御装置２１と、報知装置２４とで構成されている。

先行車追従制御装置２１は、マイクロコンピュータ等からなる制御手段２２と、制御手段２２からの指示に基づいて自車両のアクセルスロットルやブレーキ機構等を操作するアクチュエータ等からなる応動部２３とで構成されている。

先行車追従制御装置２１の制御手段２２は、車両用環境認識装置１の先行車両検出手段１１から先行車両Ｖahの自車両からの距離Ｚの情報等が送信されてくると、それに基づいて応動部２３を指示して自車両を先行車両Ｖahに追従させるようになっている。その際、自車両と先行車両Ｖahとが走行中であれば、先行車両Ｖahとの車間距離を保つ状態で自車両を先行車両Ｖahに追従させ、先行車両Ｖahが停止した場合には、先行車両Ｖahの後方の先行車両Ｖahから所定の距離だけ離れた位置で自車両を停止させる。

制御手段２２は、このように、車両用環境認識装置１の先行車両検出手段１１から送信されてくる先行車両Ｖahの情報に基づいて、自車両に対して、上記の処理を含む公知の先行車追従制御を行うようになっている。

一方、先行車追従制御装置２１の制御手段２２は、車両用環境認識装置１のスミア判定手段１２から前述したスミア発生信号が送信されてくると、上記の自車両に対する先行車追従制御を一時的に停止するようになっている。

その際、スミア判定手段１２がスミアの発生を誤判定してスミア発生信号を送信している可能性がないとは言い切れないため、例えば、スミア判定手段１２から所定数のフレーム（すなわち所定数のサンプリング周期）で連続してスミア発生信号が送信されてきた場合に自車両に対する先行車追従制御を一時的に停止するように制御手段２２を構成することが可能である。

しかし、逆に、基準画像Ｔ中にスミアが発生している状況であるにもかかわらず、スミア判定手段１２がスミアは発生していないと判定する可能性がないとも言い切れない。その場合、それまでにスミア発生信号が連続して送信されてきても、前述した所定数のフレームに達しないうちに上記の事態が生じてスミア発生信号の送信が途絶えてしまえば、連続フレーム数がリセットされてしまう。そのため、再度所定数のフレームに達するまで先行車追従制御が一時停止されず、スミアが発生しているにもかかわらず先行車追従制御が少なくともしばらくの間一時停止されない事態が生じることになる。

本実施形態では、このような事態を回避するため、先行車追従制御装置２１の制御手段２２が、スミア発生信号が送信されてきたフレームではカウント数を増加させ、スミア発生信号が送信されなかったフレームではカウント数を減少させる図示しないカウンタを備えるように構成されている。そして、制御手段２２は、図１４に示すように、カウンタのカウント数Ｃが所定の閾値Ｃth以上である場合に、自車両に対する先行車追従制御を一時停止するようになっている。

また、自車両のドライバが、先行車追従制御が一時停止されたことに気づかないと、先行車追従制御が作動していると誤信して例えば自車両に対する制動操作を怠り、先行車両Ｖahに追突する等の事態が生じる可能性がある。そのため、本実施形態では、先行車追従制御装置２１の制御手段２２は、自車両に対する先行車追従制御を一時停止した場合には、例えば報知装置２４の図示しないスピーカから音声を発声させたり図示しない画面上に表示させたり或いは図示しない所定のランプを点灯させるなどして、先行車追従制御が一時停止されたことをドライバに報知するようになっている。

［作用］
次に、本実施形態に係る車両用環境認識装置１および先行車追従制御システム２０の作用について説明する。

車両用環境認識装置１では、メインカメラ２ａとサブカメラ２ｂ等で構成されるステレオ撮像手段２で自車両の周囲の環境が撮像され、出力された基準画像Ｔおよび比較画像Ｔｃに基づいてステレオマッチング手段６のイメージプロセッサ７でステレオマッチング処理が行われる。

そして、ステレオマッチング処理により得られた距離画像Ｔｚに基づいて処理手段９の物体検出手段１０と先行車両検出手段１１で基準画像Ｔ中から物体や先行車両Ｖahが検出される。この物体検出や先行車両検出は、スミアの発生の有無にかかわらず常時行われ、それらの情報が先行車追従制御装置２１の制御手段２２や必要に応じて他のＥＣＵ等の装置に常時送信される。

また、スミア判定手段１２は、上記のように、物体検出手段１０で行われる距離画像Ｔｚを分割する各区分Ｄｎに属する各基準画素ブロックＰＢの視差ｄｐの、ヒストグラムＨｎへの投票状況を監視する。

そして、ヒストグラムＨｎ中に無限遠を含む遠方距離に相当する遠方視差閾値ＤＰ＋１以下の範囲の視差ｄｐの投票数の合計値が所定の閾値以上にならなければ、何らの処理も行わない。すなわち、スミア発生信号は送信されない。

一方、図１１に示したように、ヒストグラムＨｎ中の遠方視差閾値ＤＰ＋１以下の範囲の視差ｄｐの投票数の合計値が所定の閾値以上になった場合に、初めてスミア判定手段１２は当該ヒストグラムＨｎに対応する距離画像Ｔｚ上の区分Ｄｎをスミア候補とする。

そして、当該区分Ｄｎと同じ基準画像Ｔ上の領域に画素列Ｄｎを設定し、その画素列Ｄｎ中の１画素幅の各画素列Ｄｎ１〜Ｄｎ４（図１２参照）について、今度は、各画素の輝度値ｐ１ijに着目し、所定の輝度値ｐth以上の輝度値を有する高輝度の画素の数が当該１画素幅の画素列に属する全画素数の所定の割合以上存在するか否かを検出する。

そして、スミア判定手段１２は、４画素幅の画素列Ｄｎ中の１画素幅の各画素列Ｄｎ１〜Ｄｎ４のうち、少なくとも１列の画素列で上記の条件が満たされる場合にスミアが発生していると判定し、先行車追従制御装置２１の制御手段２２にスミア発生信号を送信する。

このように、スミア判定手段１２は、通常の状態すなわちスミアが発生していないような状態ではヒストグラムＨｎへの投票状況を監視するだけであり、スミアが発生している可能性がある状態すなわちヒストグラムＨｎへの無限遠を含む遠方距離に相当する遠方視差閾値以下の視差ｄｐの投票数が増えてきた段階で、初めて基準画像Ｔにあてはめて設定した画素列Ｄｎの領域についてのみ、画素の輝度値ｐ１ijを探索する。

ところで、スミアは、図１５や図１２に示したスミアＳｍは非常に太く大きく撮像されているが、基準画像Ｔ上で１画素幅や２、３画素幅程度に撮像される場合もある。また、スミアは、被写体の発光とほぼ同じ幅の直線状に発生し、しかも画像を上から下まで貫くように発生するという特徴がある。なお、図１５や図１２に示したスミアＳｍの上方の幅広になっている部分は、太陽Ｓｕの非常に強い光によるフレア（ハレーション）である。

従って、本実施形態のように、基準画像Ｔ上にあてはめて設定された画像の縦方向に延在する画素列Ｄｎの領域や、その中の１画素幅の各画素列Ｄｎ１〜Ｄｎ４の画素の輝度値ｐ１ijを探索すれば、十分的確にスミアの発生の有無を判定することができる。

一方、先行車追従制御システム２０の先行車追従制御装置２１では、車両用環境認識装置１のスミア判定手段１２から前述したスミア発生信号が送信されてくると、自車両に対する先行車追従制御を一時的に停止する。

その際、スミアが数フレームで連続して発生していると判定された場合や、スミアが発生していると判定されたフレームのカウント数を増減させてそのカウント数Ｃが所定の閾値Ｃth以上である場合に、自車両に対する先行車追従制御を一時停止するようにすれば、車両用環境認識装置１のスミア判定手段１２のスミア発生の判定を十分に確認したうえで自車両に対する先行車追従制御を一時的に停止することが可能となる。

［効果］
以上のように、本実施形態に係る車両用環境認識装置１によれば、スミア判定手段１２は、ステレオマッチング処理により視差ｄｐまたは距離Ｚとして、無限遠を含む遠方距離に相当する遠方距離閾値以上の距離または遠方距離閾値に対応する遠方視差閾値以下の視差が算出された基準画素ブロックＰＢが属する基準画像Ｔの縦方向に延在する画素列Ｄｎ（または画素列Ｄｎ１〜Ｄｎ４）についてスミアの発生の有無を判定する。

そのため、前述したように、例えば太陽光を反射するなどして白く輝く柱状の物体が画像を上から下まで貫くように撮像された場合には、その物体に対してはステレオマッチング処理により無限遠を含む遠方距離に対応する視差ｄｐの値が算出されず、スミア判定手段１２は、このような物体をスミアであると誤判定することが的確に防止して、スミアの発生の有無を的確に判定することが可能となる。

また、画像上に発生したスミアの上記の特徴により、無限遠を含む遠方距離に対応する値が算出された基準画素ブロックＰＢが属する基準画像Ｔの縦方向に延在する画素列Ｄｎ（または画素列Ｄｎ１〜Ｄｎ４）についてスミアの発生の有無を判定することで、十分的確にスミアの発生の有無を判定することが可能となる。

さらに、スミア判定手段１２は、ステレオマッチング処理により基準画素ブロックＰＢの視差ｄｐ（または距離Ｚ）として無限遠を含む遠方距離に対応する値が算出された場合にのみ、スミアの発生の有無を判定する。しかも、その基準画素ブロックＰＢが属する基準画像Ｔ上の画素列についてのみ、各画素の輝度値の探索を行う。

そのため、基準画像Ｔの全画像や、基準画像Ｔ中の監視領域内を常時探索する場合に比べて、スミアの発生の有無を判定する判定処理の負担が格段に軽減されて処理が簡易化されるとともに、処理時間を短縮することが可能となる。

また、本実施形態に係る先行車追従制御システム２０によれば、上記のようにスミアの発生の有無を的確に判定することができる車両用環境認識装置１のスミア判定手段１２から、スミアが発生している場合に的確にスミア発生信号が送信されてくるため、それに基づいてスミアが発生している場合に適切に先行車追従制御を一時停止することが可能となる。

また、その際、スミアが数フレームで連続して発生していると判定された場合や、スミアが発生していると判定されたフレームのカウント数を増減させてそのカウント数Ｃが所定の閾値Ｃth以上である場合に、自車両に対する先行車追従制御を一時停止するようにすることで、車両用環境認識装置１のスミア判定手段１２が万が一スミアの発生を誤判定しても、スミア判定手段１２の判定を十分に確認したうえで自車両に対する先行車追従制御を一時停止して、適切に対処することが可能となる。

なお、基準画像Ｔや比較画像Ｔｃの上方部分には、自車両前方の車両等よりもさらに高い位置にある物体が撮像される。そのため、基準画像Ｔの上方部分の基準画素ブロックＰＢでは、スミアが発生していない場合でも、ステレオマッチング処理により視差ｄｐ（または距離Ｚ）として無限遠を含む遠方距離に対応する値が算出される場合がある。一方、前述したように、スミアは画像を上から下まで貫くように発生するという特徴を有する。

そこで、このような基準画像Ｔの上方部分の悪影響を回避するために、車両用環境認識装置１のスミア判定手段１２で、基準画像Ｔにあてはめて設定した画素列Ｄｎや１画素幅の各画素列Ｄｎ１〜Ｄｎ４の領域について各画素の輝度値ｐ１ijを探索する際、それらの画素列の基準画像Ｔにおける下端の画素から上方に所定個数（縦方向の全画素数の例えば８０％に相当する個数）の画素について輝度値ｐ１ijの探索を行い、上方部分の画素については輝度値ｐ１ijの探索を行わない。そして、前述した例えば２４０等の値に設定される輝度値ｐth以上の輝度値を有する画素の数が、上記の所定個数の画素の画素数の所定の割合（例えば９０％）以上存在する場合にスミアが発生していると判定するように構成することも可能である。

本実施形態に係る車両用環境認識装置の構成を示すブロック図である。 イメージプロセッサにおけるステレオマッチング処理の手法を説明する図である。 基準画像の一例を示す図である。 図３の基準画像等に基づいて形成された距離画像を示す図である。 距離画像を分割する各区分を示す図である。 図５の各区分ごとに作成されるヒストグラムの一例を示す図である。 区分ごとの代表視差に基づく実空間上の座標をプロットした図である。 図７の各点に基づいて実空間上に検出された物体を表す図である。 基準画像上に枠線で包囲されて検出された各物体および先行車両を表す図である。 実空間上の自車両の走行軌跡、進行路および先行車両を表す図である。 スミアが発生している場合のヒストグラムへの投票状況の一例を表す図である。 基準画像にあてはめられて設定された画素列を説明する図である。 本実施形態に係る先行車追従制御システムの構成を示すブロック図である。 カウンタのカウント数のフレームごとの増減および閾値を表すグラフである。 スミアが発生している画像の一例を示す図である。

符号の説明

１ 車両用環境認識装置
２ ステレオ撮像手段
２ａ、２ｂ 一対のカメラ（メインカメラ、サブカメラ）
６ ステレオマッチング手段
１１ 先行車両検出手段
１２ スミア判定手段
２０ 先行車追従制御システム
２１ 先行車追従制御装置
Ａ 自車両
Ｃ カウント数
Ｃth 閾値
Ｄｎ 画素列、区分
Ｄｎ１〜Ｄｎ４ １画素幅の画素列
ｄｐ 視差
ｄｐｎ 代表視差
Ｈｎ ヒストグラム
ｐ１ij 輝度値
ＰＢ 画素ブロック
ｐth 所定の輝度値
Ｔ 基準画像
Ｔｃ 比較画像
Ｔｚ 視差または距離が各画素ブロックに対応づけられた基準画像（距離画像）
Ｖah 先行車両
Ｚ 距離

Claims (8)

1. 一対のカメラで自車両の周囲の環境を撮像して基準画像と比較画像とを出力するステレオ撮像手段と、
   前記基準画像を所定の画素数の画素ブロックに分割し、前記各画素ブロックごとに前記比較画像とのステレオマッチング処理を行い、前記基準画像の前記各画素ブロックに算出した視差または距離をそれぞれ対応づけるステレオマッチング手段と、
   前記ステレオマッチング手段が算出した前記視差または前記距離に基づいて前記基準画像中から先行車両を検出する先行車両検出手段と、
   前記距離として無限遠を含む遠方距離閾値以上の距離または前記視差として前記遠方距離閾値に対応する遠方視差閾値以下の視差が算出された前記画素ブロックが属する前記基準画像の縦方向に延在する画素列の各画素の輝度値の探索を行い、所定の輝度値以上の輝度値を有する前記画素の数が前記画素列に属する全画素数の所定の割合以上存在する場合にスミアが発生していると判定するスミア判定手段と、
   を備えることを特徴とする車両用環境認識装置。
2. 前記スミア判定手段は、前記画素列に前記基準画像の縦方向に延在する１画素幅の画素列が複数含まれる場合には、前記１画素幅の画素列のそれぞれについて前記探索を行い、複数の前記１画素幅の画素列のうち、少なくとも１列の前記１画素幅の画素列において、前記所定の輝度値以上の輝度値を有する前記画素の数が前記１画素幅の画素列に属する全画素数の前記所定の割合以上存在すればスミアが発生していると判定することを特徴とする請求項１に記載の車両用環境認識装置。
3. 前記スミア判定手段は、前記探索を行う際、前記画素列の前記基準画像における下端の画素から上方に所定個数の画素の前記輝度値の探索を行い、前記所定の輝度値以上の輝度値を有する前記画素の数が前記所定個数の画素の画素数の所定の割合以上存在する場合にスミアが発生していると判定することを特徴とする請求項１または請求項２に記載の車両用環境認識装置。
4. 前記先行車両検出手段は、前記ステレオマッチング手段により前記視差または前記距離が前記各画素ブロックにそれぞれ対応づけられた前記基準画像を、縦方向に延在する複数の区分に分割し、前記各区分ごとにヒストグラムを作成し、前記各区分に属する前記画素ブロックの前記視差または前記距離を当該区分に対応する前記ヒストグラムに投票して代表視差または代表距離を抽出し、前記各区分ごとの前記代表視差または前記代表距離に基づいて前記先行車両を検出し、
   前記スミア判定手段は、前記各区分ごとに前記ヒストグラムへの投票結果を監視し、前記ヒストグラムにおける前記遠方距離閾値以上の距離または前記遠方視差閾値以下の視差の投票数が所定の閾値以上である区分について、前記探索を行うことを特徴とする請求項１から請求項３のいずれか一項に記載の車両用環境認識装置。
5. 請求項１から請求項４のいずれか一項に記載の車両用環境認識装置と、
   自車両に対して、前記先行車両検出手段により検出された前記先行車両の情報に基づいて先行車追従制御を行う先行車追従制御装置と、を備え、
   前記先行車追従制御装置は、前記車両用環境認識装置の前記スミア判定手段によりスミアが発生していると判定された場合には、自車両に対する前記先行車追従制御を一時停止することを特徴とする先行車追従制御システム。
6. 前記先行車追従制御装置は、前記スミア判定手段により所定数のフレームで連続してスミアが発生していると判定された場合に、自車両に対する前記先行車追従制御を一時停止することを特徴とする請求項５に記載の先行車追従制御システム。
7. 前記先行車追従制御装置は、前記スミア判定手段によりスミアが発生していると判定されたフレームではカウント数を増加させ、前記スミア判定手段によりスミアが発生していると判定されなかったフレームではカウント数を減少させるカウンタを備え、前記カウンタのカウント数が所定の閾値以上である場合に、自車両に対する前記先行車追従制御を一時停止することを特徴とする請求項５に記載の先行車追従制御システム。
8. 前記先行車追従制御装置は、自車両に対する前記先行車追従制御を一時停止した場合に、自車両のドライバに対して前記先行車追従制御を停止したことを報知することを特徴とする請求項５から請求項７のいずれか一項に記載の先行車追従制御システム。

Images