JP2014231301A - 画像処理装置 - Google Patents

Abstract

【課題】対向車の識別精度の向上を図る。
【解決手段】撮像画像から抽出した対象画像部分の輝度（対象グループの最大輝度値）と、対象画像部分についての自車両からの距離（Ｑｚ）と距離閾値関係情報とに基づき設定した輝度閾値とを比較した結果に基づいて、対象画像部分が対向車部分であるか否かを識別する。このとき、距離閾値関係情報として自車両のライト照射状態に対応した複数種の情報（４Ａ，４Ｂ）を記憶しておき、自車両のライト照射状態に応じて選択した距離閾値関係情報を用いて対向車の識別を行う。自車両からの距離と共に自車両のライト照射状態も考慮して対向車であるか否かの識別が行われる。従って、自車両からの距離のみを考慮した場合よりも、対向車の識別精度の向上を図ることができる。
【選択図】図１１

Description

本発明は、自車両の前方を撮像して得られる撮像画像についての画像処理を行う画像処理装置の技術分野に関する。

特許第４８５３１６０号公報

ヘッドライト配光制御として、いわゆるＡＨＢ（Auto High Beam）やＡＤＢ（Adaptive Driving Beam）が知られている。これらのヘッドライト配光制御を行うにあたっては、自車両の前方に存在する先行車、対向車を認識・識別することが要求される。仮に、先行車、対向車に対してハイビームが照射されてしまうと、先行車、対向車の運転者が眩惑されて運転に支障を来す虞があり、これを防止するためである。

対向車の認識・識別を行うにあたっては、先ず、撮像画像中から対向車のヘッドライトを検出する。具体的に、ヘッドライト検出は、画像中から一定以上の輝度値を有する画素を二値化処理により抽出して行われる。
二値化処理で検出された画素の各集団をヘッドライト領域としてグループ化（要素グループ化）し、グループ化された各ヘッドライト領域についてそれらの位置関係や自車両からの距離の情報等から対向車領域をグループ化（対象グループ化）して、対向車を認識する。そして、認識した領域内に存在する物体が対向車であるか否かを識別する。このように対向車の認識・識別は、二値化、要素グループ化、及び対象グループ化の各処理を経て実現される。

撮像画像中においてはヘッドライト以外にも輝度を持つものが多く存在し、特に道路上の反射板（リフレクター）やガードレールの反射などが誤って対向車として抽出されてしまう虞がある。このため、対向車としての対象と対象以外の物体とを識別することが重要とされている。

上記特許文献１には、対象と対象以外の物体とを識別する技術が開示されている。具体的に、該特許文献１では、識別の対象となる各物体（例えばヘッドライトと反射板など）の撮像画像中における輝度値が自車両からの距離によって異なる点を利用して識別を行っている。

しかしながら、対向車（ヘッドライト）とその類似物体とを識別する場合において、類似物体の輝度値は、自車両からの距離以外の他の要素によっても異なり得るものである。従って、この点も考慮しなければ、対象の識別を誤る虞がある。

そこで、本発明では上記した問題点を克服し、自車両の前方を撮像した撮像画像に基づき画像処理を行う画像処理装置において、対向車の識別精度の向上を図ることを目的とする。

第１に、本発明の画像処理装置は、自車両の前方を撮像した撮像画像を得る撮像部と、自車両からの距離と輝度閾値との関係を定めた距離閾値関係情報が記憶された記憶部と、前記撮像画像から抽出した対象画像部分の輝度と、前記対象画像部分についての自車両からの距離と前記距離閾値関係情報とに基づき設定した輝度閾値とを比較した結果に基づいて、前記対象画像部分が対向車部分であるか否かを識別する画像処理部とを備え、前記記憶部には、前記距離閾値関係情報として、自車両のライト照射状態に対応した複数種の情報が記憶され、前記画像処理部は、自車両のライト照射状態に応じて選択した前記距離閾値関係情報を用いて前記識別を行うものである。

これにより、自車両からの距離と共に自車両のライト照射状態も考慮して対向車であるか否かの識別が行われる。

第２に、上記した本発明に係る画像処理装置においては、前記距離閾値関係情報は、所定距離以上の領域で輝度閾値が一定となるように距離と輝度閾値との関係が定められていることが望ましい。
これにより、自車両から所定距離以上離れた物体についての識別で用いられるべき輝度閾値が、距離に関わらず一定とされる。

第３に、上記した本発明に係る画像処理装置においては、前記画像処理部は、前記対象画像部分が前記撮像画像の中心又は無限遠点から離れている場合は、前記中心又は前記無限遠点に近い場合よりも前記識別で用いる輝度閾値を小さくすることが望ましい。
これにより、対向車が自車両に正対していない場合に対応して識別で用いる輝度閾値を低くすることが可能とされる。

第４に、上記した本発明に係る画像処理装置においては、前記撮像部が所定のフレームレートで撮像を行い、前記画像処理部は、前記対象画像部分が一定回数以上連続して対向車部分であると識別されたか否かを判別し、その結果を前記識別に用いることが望ましい。
これにより、対象画像部分が過剰に長い時間にわたって対向車であると識別されたか否か、すなわち非対向車である可能性が高いか否かの判別結果が現フレームでの識別に反映される。

本発明によれば、自車両の前方を撮像した撮像画像に基づき画像処理を行う画像処理装置において、対向車の識別精度の向上を図ることができる。

実施の形態の車両制御システムの構成を示した図である。 実施の形態で実行される画像処理について説明するための図である。 明画像、暗画像の例を示した図である。 テールランプ検出範囲、ヘッドライト検出範囲、及び街灯検出範囲についての説明図である。 実施の形態に係る各処理の全体的な流れを示したフローチャートである。 要素グループと対象グループの説明図である。 対象認識・識別処理の全体的な流れを説明するためのフローチャートである。 対象領域算出処理の流れを示したフローチャートである。 対象グループトラッキング処理の流れを示したフローチャートである。 対象識別処理の流れを示したフローチャートである。 ロービーム時距離閾値関係情報、ハイビーム時距離閾値関係情報でそれぞれ定められる距離と輝度閾値との関係を示した図である。 ヘッドライト検出範囲と撮像画像の中心又は無限遠点を含む画像範囲との関係を例示した図である。 制御情報算出処理の内容を示したフローチャートである。 対象以外ハイビームＯＮを表す制御情報に応じて実現されるハイビームの照射態様についての説明図である。 近接時における対向車とヘッドライト検出範囲との関係の説明図である。

＜１．システム全体構成＞
図１は、本発明に係る実施の形態としての画像処理装置を備えた車両制御システム１の構成を示している。なお、図１では、車両制御システム１の構成のうち主に本発明に係る要部の構成のみを抽出して示している。
車両制御システム１は、自車両に対して設けられた撮像部２、画像処理部３、メモリ４、運転支援制御部５、表示制御部６、エンジン制御部７、トランスミッション制御部８、ブレーキ制御部９、ライト制御部１０、表示部１１、エンジン関連アクチュエータ１２、トランスミッション関連アクチュエータ１３、ブレーキ関連アクチュエータ１４、ヘッドライト１５、ＡＤＢ（Adaptive Driving Beam）アクチュエータ１６、センサ・操作子類１７、及びバス１８を備えている。

撮像部２は、車両において進行方向（前方）を撮像可能に設置された第１カメラ部２Ａ、第２カメラ部２Ｂを備えている。第１カメラ部２Ａ、第２カメラ部２Ｂは、いわゆるステレオ法による測距が可能となるように、例えば自車両のフロントガラスの上部付近において車幅方向に所定間隔を空けて配置されている。第１カメラ部２Ａ、第２カメラ部２Ｂの光軸は平行とされ、焦点距離はそれぞれ同値とされる。また、フレーム周期は同期し、フレームレートも一致している。撮像素子の画素数は例えば６４０×４８０程度である。

第１カメラ部２Ａ，第２カメラ部２Ｂの各撮像素子で得られた電気信号（撮像画像信号）はそれぞれＡ／Ｄ変換され、画素単位で所定階調による輝度値を表すデジタル画像信号（撮像画像データ）とされる。本実施の形態の場合、これらの撮像画像データはカラー画像データとされ、従って１画素につきＲ（赤）、Ｇ（緑）、Ｂ（青）の３つのデータ（輝度値）が得られる。輝度値の階調は、例えば２５６階調とされる。
以下、第１カメラ部２Ａで得られた撮像画像データを「第１撮像画像データ」、第２カメラ部２Ｂで得られた撮像画像データを「第２撮像画像データ」と表記する。

本例における撮像部２は、第１カメラ部２Ａ、第２カメラ部２Ｂのシャッタースピードやゲイン（ＩＳＯ感度）についての自動調整機能を有している。また、撮像部２は、画像処理部３からの指示に基づき第１カメラ部２Ａ、第２カメラ部２Ｂのシャッタースピードやゲインを調整することも可能とされている。

画像処理部３は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びワークエリアとしてのＲＡＭ（Random Access Memory）を備えたマイクロコンピュータで構成され、ＲＯＭに格納されたプログラムに従った各種の処理を実行する。
画像処理部３は、撮像部２が自車両の前方を撮像して得た第１撮像画像データ、第２撮像画像データとしての各フレーム画像データをメモリ部４に格納していく。そして各フレームの第１撮像画像データ、第２撮像画像データに基づき、外部環境として車両前方に存在する物体を認識・識別するための各種処理を実行する。
なお、画像処理部３が実行する具体的な処理の詳細については後述する。

運転支援制御部５は、例えばマイクロコンピュータで構成され、画像処理部３による画像処理の結果やセンサ・操作子類１７で得られる検出情報や操作入力情報等に基づき、運転支援のための各種の制御処理を実行する。
運転支援制御部５は、同じくマイクロコンピュータで構成された表示制御部６、エンジン制御部７、トランスミッション制御部８、ブレーキ制御部９、及びライト制御部１０の各制御部とバス１８を介して接続されており、これら各制御部との間で相互にデータ通信を行うことが可能とされる。運転支援制御部５は、上記の各制御部のうち必要な制御部に対して指示を行って運転支援に係る動作を実行させる。
本実施の形態の場合、運転支援制御部５は、ヘッドライト１５についての配光制御を行う。図中では、運転支援制御部５が有する配光制御のための処理機能を、「配光制御処理部５Ａ」としての機能ブロックにより表している。配光制御処理部５Ａは、画像処理部３が対向車や先行車、街灯等の認識・識別結果から生成した制御情報に基づき、ライト制御部１０にＡＤＢ制御のための指示を行う。

センサ・操作子類１７は、自車両に設けられた各種のセンサや操作子を包括的に表している。センサ・操作子類１７が有するセンサとしては、例えばエンジン回転数センサ、吸入空気量を検出する吸入空気量センサ、アクセルペダルの踏込み量からアクセル開度を検出するアクセル開度センサ、吸気通路に介装されてエンジンの各気筒に供給する吸入空気量を調整するスロットル弁の開度を検出するスロットル開度センサ、エンジン温度を示す冷却水温を検出する水温センサ、車外の気温を検出する外気温センサ等がある。
また、操作子としては、エンジンの始動／停止を指示するためのイグニッションスイッチや、ＡＴ（オートマティックトランスミッション）車における自動変速モード／手動変速モードの選択や手動変速モード時におけるシフトアップ／ダウンの指示を行うためのセレクトレバーや、後述する表示部１１に設けられたＭＦＤ（Multi Function Display）における表示情報の切り換えを行うための表示切換スイッチなどがある。
特に本実施の形態の場合、センサ・操作子類１７においては、車速センサ１７Ａ、舵角センサ１７Ｂ、アクセル開度センサ１７Ｃ、ヘッドライトスイッチ１７Ｄ、ウィンカースイッチ１７Ｅが設けられている。ヘッドライトスイッチ１７Ｄは、ヘッドライト１５のロービームのＯＮ／ＯＦＦやハイビームのＯＮ／ＯＦＦの指示を行うための操作子を表す。ここで、本例の場合、ハイビームのＯＮ／ＯＦＦ操作に応じてＡＤＢ機能もＯＮ／ＯＦＦされる。

表示部１１は、運転者の前方に設置されたメータパネル内に設けられるスピードメータやタコメータ等の各種メータやＭＦＤ、及びその他運転者に情報提示を行うための表示デバイスを包括的に表す。ＭＦＤには、自車両の総走行距離や外気温、瞬間燃費等といった各種の情報を同時又は切り換えて表示可能とされる。

表示制御部６は、センサ・操作子類１７における所定のセンサからの検出信号や操作子による操作入力情報等に基づき、表示部１１による表示動作を制御する。

エンジン制御部７は、センサ・操作子類１７における所定のセンサからの検出信号や操作子による操作入力情報等に基づき、エンジン関連アクチュエータ１２として設けられた各種アクチュエータを制御する。エンジン関連アクチュエータ１２としては、例えばスロットル弁を駆動するスロットルアクチュエータや燃料噴射を行うインジェクタ等のエンジン駆動に係る各種のアクチュエータが設けられる。
例えばエンジン制御部７は、前述したイグニッションスイッチの操作に応じてエンジンの始動／停止制御を行う。また、エンジン制御部７は、エンジン回転数センサやアクセル開度センサ等の所定のセンサからの検出信号に基づき、燃料噴射タイミング、燃料噴射パルス幅、スロットル開度等の制御も行う。

トランスミッション制御部８は、センサ・操作子類１７における所定のセンサからの検出信号や操作子による操作入力情報等に基づき、トランスミッション関連アクチュエータ１３として設けられた各種のアクチュエータを制御する。トランスミッション関連アクチュエータ１３としては、例えば自動変速機の変速制御を行うコントロールバルブや、ロックアップクラッチをロックアップ動作させるロックアップアクチュエータ等のトランスミッション関連の各種アクチュエータが設けられる。
例えばトランスミッション制御部８は、前述したセレクトレバーによって自動変速モードが選択されている際には、所定の変速パターンに従い変速信号をコントロールバルブに出力して変速制御を行う。また、トランスミッション制御部８は、手動変速モードの設定時には、セレクトレバーによるシフトアップ／ダウン指示に従った変速信号をコントロールバルブに出力して変速制御を行う。

ブレーキ制御部９は、センサ・操作子類１７における所定のセンサからの検出信号や操作子による操作入力情報等に基づき、ブレーキ関連アクチュエータ１４として設けられた各種のアクチュエータを制御する。ブレーキ関連アクチュエータ１４としては、例えばブレーキブースターからマスターシリンダへの出力液圧やブレーキ液配管内の液圧をコントロールするための液圧制御アクチュエータ等、ブレーキ関連の各種のアクチュエータが設けられる。
例えばブレーキ制御部９は、運転支援制御部５よりブレーキをＯＮする指示が為された場合に上記の液圧制御アクチュエータを制御して自車両を制動させる。またブレーキ制御部９は、所定のセンサ（例えば車軸の回転速度センサや車速センサ）の検出情報から車輪のスリップ率を計算し、スリップ率に応じて上記の液圧制御アクチュエータにより液圧を加減圧させることで、所謂ＡＢＳ（Antilock Brake System）制御を実現する。

ライト制御部１０は、センサ・操作子類１７における所定のセンサからの検出信号や操作子による操作入力情報等に基づき、ヘッドライト１５の点消灯制御やＡＤＢアクチュエータ１６の制御を行う。
具体的に、ライト制御部１０は、照度センサ等の所定のセンサによる検出信号に基づきヘッドライト１５の点消灯を行うオートヘッドライト制御等を行う。また、ライト制御部１０は、前述したヘッドライトスイッチ１７Ｄによる操作入力情報に基づきヘッドライト１５のロービーム、ハイビームのＯＮ／ＯＦＦ制御も行う。また、特に本実施の形態のライト制御部１０は、運転支援制御部５における配光制御処理部５Ａからの指示に基づきＡＤＢアクチュエータ１６を制御することで、ＡＤＢ機能を実現する。本例におけるＡＤＢアクチュエータ１６は、例えば遮光板を駆動するアクチュエータとされ、ライト制御部１０からの制御に基づき遮光板を駆動することで、ハイビームの配光領域の一部に遮光領域を形成するか、或いは遮光領域を非形成（つまりハイビームを全照状態）とする。

＜２．本実施の形態で実行される処理の概要＞
図２により、本実施の形態で実行される各種処理の概要について説明する。
なお、図２においては、画像処理部３が第１撮像画像データ、第２撮像画像データに基づき実行する各種の画像処理を機能ごとに分けてブロック化して示している。また、図２では、運転支援制御部５が有する配光制御処理部５Ａ、及びメモリ４も併せて示している。

図のように画像処理部３は、機能ごとに大別すると、距離画像生成処理部３Ａ、車線検出処理部３Ｂ、車線モデル形成処理部３Ｃ、テールランプ検出処理部３Ｄ、ヘッドライト検出処理部３Ｅ、街灯検出処理部３Ｆ、対象認識・識別処理部３Ｇ、シーン判定処理部３Ｈ、及び制御情報算出処理部３Ｉを有していると表すことができる。

画像処理部３において、距離画像生成処理部３Ａが実行する距離画像生成処理は、メモリ４に保持された第１撮像画像データ、第２撮像画像データに基づき距離画像を生成する処理となる。具体的に、距離画像生成処理は、第１撮像画像データと第２撮像画像データ（つまりステレオ撮像された一対の画像データ）の間の対応点をパターンマッチングにより検出し、検出された対応点間の座標のずれを視差Ｍとして算出し、該視差Ｍを用いて三角測量の原理により実空間上における対応点までの距離を画像上に表した距離画像データを生成する処理である。

車線検出処理部３Ｂが実行する車線検出処理は、基準画像（つまり第１撮像画像データ又は第２撮像画像データのうち予め設定された方の画像データ）と、上記の距離画像生成処理で生成された距離画像データ（対応点としての画素ごとの距離情報）とに基づき、自車両が走行する路面上に形成された車線を検出する処理となる。具体的に、車線検出処理では、先ず基準画像の各画素の輝度値と各画素の実空間における距離とに基づいて基準画像上に車線候補点を検出し、検出した車線候補点に基づいて自車両の左右の車線位置を検出する。例えば、基準画像上の１画素幅の水平ライン上を左右方向に１画素ずつオフセットしながら探索し、基準画像の各画素の輝度値に基づいて各画素の輝度微分値（＝エッジ強度）が閾値以上に大きく変化する条件を満たす画素を車線候補点として検出する。この処理を、上記探索の対象とする水平ラインを基準画像の例えば下側から上向きに１画素幅ずつオフセットさせながら順次行う。これにより、自車両の右側領域及び左側領域のそれぞれに車線候補点を検出する。

車線モデル形成処理部３Ｃが実行する車線モデル形成処理は、上記の車線検出で検出された左右の車線候補点の情報に基づき、Ｘ，Ｙ，Ｚの各軸（Ｘ軸は左右方向、Ｙ軸は高さ方向、Ｚ軸は車両進行方向）で定義される三次元空間上における車線モデルを形成する処理である。具体的には、車線検出部で検出された車線候補点の実空間上の位置（Ｘ，Ｙ，Ｚ）を例えば最小二乗法等で直線近似して、三次元空間上における車線モデルを形成する。
このように形成された車線モデルにより、自車両が走行する路面の高さ情報も得られたことになる。
なお、上記の距離画像生成処理、車線検出処理、及び車線モデル形成処理の手法は、特開２００８−３３７５０号公報に開示された手法と同様であり、詳しくは該文献を参照されたい。

テールランプ検出処理部３Ｄ、ヘッドライト検出処理部３Ｅ、街灯検出処理部３Ｆ、対象認識・識別処理部３Ｇ、シーン判定処理部３Ｈ、及び制御情報算出処理部３Ｉがそれぞれ実行するテールランプ検出処理、ヘッドライト検出処理、街灯検出処理、対象認識・識別処理、シーン判定処理、及び制御情報算出処理は、特に本実施の形態に係る処理となる。これら実施の形態に係る各処理については後に改めて説明する。

ここで、メモリ４には、ロービーム時距離閾値関係情報４Ａ、及びハイビーム時距離閾値関係情報４Ｂが記憶されている。これらの情報は、対象認識・識別処理において用いられるものであるが、その詳細については後述する。

＜３．明画像・暗画像及び検出範囲について＞
先ず、実施の形態に係る各処理の説明に先立ち、各処理で扱う２種の撮像画像（フレーム画像）、及び各対象の検出範囲について説明しておく。

後述するように、本実施の形態では、ハイビームを照射すべきではない対象として先行車と対向車とを認識・識別する。先行車の認識・識別は、テールランプの検出結果に基づき行い、対向車の認識・識別はヘッドライトの検出結果に基づき行う。
ここで、ヘッドライトとテールランプはそれぞれ光量が大きく異なるため、同一のシャッタースピードで撮像された画像を用いてしまうと両者とも鮮明な像を検出できないという問題がある。例えば、テールランプに合わせたシャッタースピードで撮像された画像では、ヘッドライトの輝度が飽和して適正な検出ができなくなる。

そこで、本実施の形態では、シャッタースピードをフレームごとに変更し、テールランプに合わせたシャッタースピード、ヘッドライトに合わせたシャッタースピードでそれぞれ撮像した画像によって各対象の検出処理を行う。以下、テールランプ用のシャッタースピード（ヘッドライト用よりも遅いシャッタースピード）で撮像して得られた撮像画像データを「明画像Ｇ１」、ヘッドライト用のシャッタースピード（テールランプ用よりも速いシャッタースピード）で撮像して得られた撮像画像データを「暗画像Ｇ２」と表記する。
同一シーンについて撮像された明画像Ｇ１、暗画像Ｇ２の例を図３Ａ、図３Ｂにそれぞれに示す。

画像処理部３は、第１カメラ部２Ａ、第２カメラ部２Ｂがそれぞれ明画像Ｇ１、暗画像Ｇ２を交互に出力するように撮像部２に指示を行う。これにより、第１カメラ部２Ａにより得られる第１撮像画像データ、及び第２カメラ部２Ｂにより得られる第２撮像画像データとしては、それぞれ明画像Ｇ１、暗画像Ｇ２が１フレーム期間ごとに交互に切り替わることになる。このとき、明画像Ｇ１については、前述した自動調整機能で設定されたシャッタースピードで撮像させる。また、暗画像Ｇ２については、明画像Ｇ１のシャッタースピードに所定のオフセットを与えたシャッタースピードで撮像させる。
なお、前述した距離画像は、明画像Ｇ１に基づき生成される。

ここで、本例の場合、暗画像Ｇ２は、ヘッドライト検出に用いられると共に、街灯検出処理部３Ｆによる街灯検出処理にも用いられる。この点を考慮し、本例における暗画像Ｇ２は明画像Ｇ１よりも上方向にオフセットされた画像とされている。
なお、撮像画像上での街灯の輝度は、テールランプとヘッドライトとの中間程度である場合が多いので、街灯検出処理は必ずしも暗画像Ｇ２に基づき行うことに限定されず、明画像Ｇ１に基づき行うこともできる。

また、本実施の形態では、テールランプ（先行車）、ヘッドライト（対向車）、街灯の各対象について検出範囲が定められている。すなわち、これらの各対象についての検出処理は明画像Ｇ１や暗画像Ｇ２の全画素を対象として行われるのではなく、テールランプ検出処理の対象範囲としてのテールランプ検出範囲Ａｓ、ヘッドライト検出処理の対象範囲としてのヘッドライト検出範囲Ａｔ、及び街灯検出処理の対象範囲としての街灯検出範囲Ａｇに対してそれぞれ行われる。

図４Ａは、明画像Ｇ１に対して定められたテールランプ検出範囲Ａｓの例を、図４Ｂは暗画像Ｇ２に対して定められたヘッドライト検出範囲Ａｔ及び街灯検出範囲Ａｇの例を示している。これら各検出範囲は、それぞれ矩形範囲として設定されている。各検出範囲の位置は、画像内で対象が存在する領域がカバーされるようにそれぞれ設定されている。

上記のようなテールランプ検出範囲Ａｓ、ヘッドライト検出範囲Ａｔ、及び街灯検出範囲Ａｇの各検出範囲を設定しておくことで、対象を検出する範囲が限定されて、処理時間の短縮化や処理負担の低減が図られると共に、本来検出対象が存在しない場所での誤検出を防止することができる。

＜４．処理の全体的な流れ＞
図５は、実施の形態に係る各処理の全体的な流れを示したフローチャートである。
なお、図５に示す一連の処理は、画像処理部３が１フレーム期間ごとに繰り返し実行するものである。

先ず、画像処理部３は、ステップＳ１０１で夜間であるか否かを判別する。夜間でない場合はそもそも各対象を検出・認識する必要性はないことから、当該ステップＳ１０１の判別処理により各対象を検出・認識する必要性があるか否かを判別している。
なお、夜間であるか否かは、撮像画像データのシャッタースピード及びゲイン値に基づき行う。或いは、夜間であるか否かの判別は、ハイビームがＯＮであるか否かを判別した結果に基づき行うこともできる。
ステップＳ１０１において、夜間ではないとの否定結果が得られた場合は現フレーム期間での処理を終了し、夜間であるとの肯定結果が得られた場合はステップＳ１０２に進む。

ステップＳ１０２では画像タイプを判別する。すなわち、現フレーム期間において撮像部２から取り込んだ撮像画像データが明画像Ｇ１か暗画像Ｇ２かを判別する。
画像タイプが明画像Ｇ１であれば、ステップＳ１０３でテールランプ検出処理を実行した後、現フレーム期間での処理を終了する。

一方、画像タイプが暗画像Ｇ２であるとされた場合は、ステップＳ１０４でヘッドライト検出処理を行った後、ステップＳ１０５で街灯検出処理を行う。

続くステップＳ１０６では、対象認識・識別処理を実行する。詳細は後述するが、対象認識・識別処理は、ステップＳ１０３で実行したテールランプ検出処理の結果と、ステップＳ１０４、Ｓ１０５でそれぞれ実行したヘッドライト検出処理、街灯検出処理の各結果とに基づき、先行車、対向車、街灯の各対象を認識・識別する処理となる。

対象認識・識別処理を実行した後は、ステップＳ１０７でシーン判定処理、ステップＳ１０８で制御情報算出処理をそれぞれ実行し、処理を終了する。

以下に、ステップＳ１０３〜Ｓ１０８として実行されるテールランプ検出処理、ヘッドライト検出処理、街灯検出処理、対象認識・識別処理、シーン判定処理、制御情報算出処理の各処理の内容を説明する。

＜５．テールランプ検出処理＞
テールランプ検出処理は、先行車のテールランプ部分と推測される領域（テールランプ領域）を検出する処理である。
テールランプ検出処理では、先ず、明画像Ｇ１に対してテールランプ検出範囲Ａｓを設定した上で、当該テールランプ検出範囲Ａｓ内の画素を対象として赤色の画素を検出する。そして、検出した画素をグループ化し、要素グループを作成する。具体的には、検出された画素間の距離がＡ１ピクセル以下となる画素同士をグループ化する。例えばＡ１＝１．５ピクセルとする。

その上で、要素グループの基本特徴量を求める。基本特徴量としては、
・要素グループの上下左右座標（要素グループを矩形で囲った場合の各辺の位置）
・要素グループ内画素数
・要素グループ内最大輝度値、最小輝度値
・要素グループの平均視差（要素グループ内の各画素の視差Ｍの平均値）
なお、視差Ｍは、前述した距離画像生成処理で得られる値を用いる。

そして、要素グループの基本特徴量の情報に基づき、要素グループの選別を行う。つまり、基本特徴量が以下の設定条件外の要素グループは削除する。
条件１）：要素グループの縦・横サイズがＢ１ピクセル以下。Ｂ１は例えば２ピクセル。
条件２）：要素グループ内画素数がＣ１ピクセル以下。Ｃ１は例えば２ピクセル。
その他、要素グループのサイズが大きすぎる場合に削除を行ってもよい。但し、その場合の閾値は距離（視差Ｍ）により変化させる。

このようなテールランプ検出処理で検出された（最終的に選別された）要素グループの模式図を図６Ａに示す。
図中の灰色で示した領域が、テールランプ検出範囲Ａｓ内における先行車に相当する領域（先行車領域）を表し、黒色で示した領域が赤色画素として検出された領域を表す。上記のテールランプ検出処理によれば、図中の破線で示す矩形状の領域が要素グループとしてグループ化される。

このようにテールランプ検出処理によれば、先行車のテールランプ部分に相当する領域が要素グループとして検出される。

なお、上記の説明から理解されるように、要素グループとは、認識すべき対象に含まれる特徴部分をグループ化したものと定義できる。後述する対象認識・識別処理では、これらの要素グループの検出結果を基に、認識すべき対象に対応する範囲が対象グループとしてグループ化される（図６Ｂを参照）。

＜６．ヘッドライト検出処理＞
ヘッドライト検出処理は、対向車のヘッドライト部分と推測される領域（ヘッドライト領域）を検出する処理である。
ヘッドライト検出処理では、先ず、輝度値についての閾値Ｄ２を用いた二値化処理を行い、その結果からテールランプ検出処理と同様に要素グループのグループ化及び要素グループの選別を行う。
基本的な処理の流れは以下の通りである。
ｉ）輝度値が閾値Ｄ２以上である画素を検出する
ii）検出した画素をグループ化し、要素グループを作成する
iii）要素グループの基本特徴量を求める
iv）要素グループ選別
なお、本例の場合、ii）〜iv）の処理はテールランプ検出処理の場合と同様の処理となる。

ここで、ｉ）の処理において用いる閾値Ｄ２は、撮像条件に応じて適応的に変化させることもできる。これにより、検出のロバスト性を向上できる。

＜７．街灯検出処理＞
街灯検出処理は、街灯と推測される領域（街灯領域）を検出する処理である。
本例の場合、街灯検出処理は、処理対象とする画素が街灯検出範囲Ａｇ内の画素となる以外はヘッドライト検出処理と同様となるため、説明は省略する。

＜８．対象認識・識別処理＞
対象認識・識別処理は、少なくとも上記のテールランプ検出処理、ヘッドライト検出処理の各処理結果に基づいて、対象（先行車、対向車）の認識・識別を行う処理である。
ここで言う「認識」とは、対象の範囲を認識することを意味する。「識別」とは、「認識」された範囲内に存在する物体が対象であるかどうかの確からしさ（例えば後述する信頼度α）を算出し、その確からしさに基づいて対象であるか否かの切り分けを行うことを意味する。

［8-1．対象認識・識別処理の全体的な流れ］
図７は、対象認識・識別処理の全体的な流れを説明するためのフローチャートである。
図７に示すように、対象認識・識別処理では、ステップＳ２０１の対象領域算出処理、ステップＳ２０２の対象グループ３次元位置算出処理、ステップＳ２０３の対象グループトラッキング処理、ステップＳ２０４の対象識別処理、及びステップＳ２０５の前回結果受け継ぎ処理が順に行われる。
これらのうち、ステップＳ２０１の対象領域算出処理が上記の「認識」の処理に相当し、ステップＳ２０４の対象識別処理が上記の「識別」の処理に相当する。

［8-2．対象領域算出処理］
先ず、ステップＳ２０１の対象領域算出処理について説明する。
対象領域算出処理は、テールランプ検出処理、ヘッドライト検出処理で求まった各要素グループを、基本特徴量の情報に基づいてそれぞれ対象グループとしてグループ化する処理である。対象領域算出処理は、テールランプ検出処理の結果に基づく処理（つまり先行車の「認識」処理）とヘッドライト検出処理の結果に基づく処理（対向車の「認識」処理）とが個別に行われるが、本例ではそれらの具体的な処理内容は共通とされることから、以下では纏めて説明を行う。

なお、街灯については、１つの発光体としての要素グループそのものが認識されるべき対象であることから、本例では街灯についての対象領域算出処理は実行せず、要素グループをそのまま対象グループとして扱う。

図８は、対象領域算出処理の流れを示したフローチャートである。
図８において、画像処理部３はステップＳ３０１で、要素グループ識別子Ｅ＝０に設定する。要素グループ識別子Ｅは、テールランプ検出処理、ヘッドライト検出処理でそれぞれ検出されて対象領域算出処理で処理対象とされる個々の要素グループを特定するための識別子である。要素グループ識別子Ｅは、テールランプ検出処理の結果に基づく対象領域算出処理とヘッドライト検出処理の結果に基づく対象領域算出処理とで個別に用いられる。

ステップＳ３０２では、グループ化条件を満たす他の要素グループがあるか否かについて判別処理を行う。すなわち、要素グループ識別子Ｅで特定される要素グループについて、対象グループのグループ化のための条件を満たす他の要素グループが存在するか否かについて判別処理を行う。
ステップＳ３０２において、グループ化条件を満たす他の要素グループが存在しないとされた場合には、ステップＳ３０３で新グループを作成する。すなわち、要素グループ識別子Ｅで特定される要素グループを含む新たな対象グループを作成する。
一方、グループ化条件を満たす他の要素グループが存在するとされた場合は、ステップＳ３０４でグループ統合処理を行う。すなわち、要素グループ識別子Ｅで特定される要素グループとグループ化条件を満たす他の要素グループとを対象グループとして統合する。

ここで、ステップＳ３０２の判別処理は、対象としての先行車又は対向車の範囲の「認識」に係る処理である。
本例では、或る要素グループと他の要素グループとが同じ対象を構成するものであるか否かを、各要素グループの上下左右方向の座標情報や平均視差の値を用いて判別する。
ここで、要素グループの平均視差の値がほぼ同値であれば、それらの要素グループは同一の対象を構成している可能性が高いと言える。また、同一の対象を構成しているのであれば、それらの要素グループの画像内での上下左右方向の離間距離は所定の範囲内にあると言える。
ステップＳ３０２の判別処理は、平均視差の値が同じであるとみなされる要素グループであって、それら要素グループの画像内での上下左右方向の離間距離が所定範囲内であるものを、対象グループとしてグループ化するための処理となる。なお、上記離間距離についての「所定範囲」は、撮像画像内での対象のサイズが自車両からの距離に応じて変わる点を考慮し、平均視差の値に応じて可変とする。

この点を踏まえて、ステップＳ３０２の判別処理について説明する。
ステップＳ３０２の判別処理では、各要素グループ間の画像上の距離、平均視差の差、最大輝度値の関係が下記条件を全て満たすか否かを判別する。

条件１）：画像上距離
実世界上での横方向、縦方向の距離が同一物体に含まれるか否かを判別する。
閾値は縦方向、横方向について個別に設定し、それぞれを縦方向閾値ＫＨ、横方向閾値ＫＷとする。縦方向閾値ＫＨ、横方向閾値ＫＷは、対象の実世界上の縦方向、横方向の大きさにそれぞれマージンを加えた値（それぞれ縦：ＬＨ、横：ＬＷとする）、視差Ｍ（どちらかのグループの平均視差を使ってもよいし、その平均を用いてもよい）、ステレオカメラの基線長をｂとすると
ＫＨ＝ＬＨ＊Ｍ／ｂ
ＫＷ＝ＬＷ＊Ｍ／ｂ
で求められる値である。当該条件１）では、各要素グループの縦方向、横方向の離間距離がそれぞれ縦方向閾値ＫＨ以下、横方向閾値ＫＷ以下であるか否かを判別する。

なお、本例の対象認識・識別処理は、撮像画像内に存在する発光体の検出結果に基づき行われるものである。
先行車や対向車としての車両における発光部分は、テールランプやハイマウントストップランプなど車両後面に配された灯具、或いはヘッドライトやフォグランプなど車両前面に配された灯具である。これらの灯具は、小型車、大型車であっても概ね或る範囲内に収まるものである。従って、ＫＨやＫＷの値は、上記のように対象の大きさに関わらず共通の値としても、対象認識・識別処理の精度に関して特に問題が生じることはない。

条件２）：平均視差の差
実世界上の奥行き方向距離が同一物体に含まれるか否かを判別する。
閾値はＫＺとする。この閾値ＫＺは、実世界上での奥行き方向の条件をＬＺ（例えば１ｍ）、処理対象とされた各要素グループの視差をＭ１、Ｍ２、カメラの１画素の横方向サイズをλｉ、焦点距離をｆとすると
ＫＺ＝λｉＭ１＊Ｍ２＊ＫＺ／（ｂ＊ｆ）
で求められる値である。当該条件２）では、視差の差の絶対値（｜Ｍ１−Ｍ２｜）が閾値ＫＺ未満であるか否かを判別する。但し、実用上は視差誤差等の影響を考慮し、閾値ＫＺにはマージンを付加することが望ましい。

条件３）：最大輝度値の関係
ここでの処理は主に同一車両の左右ランプについてのグルーピングを想定しているので、輝度が似ているか否かも判別する。処理対象とされた各要素グループの最大輝度値をＮ１、Ｎ２（但しＮ１≧Ｎ２）としたとき、
Ｎ１／Ｎ２＜Ｏ１
であるか否かを判別する。すなわち、Ｎ１とＮ２の比が一定範囲内であるか否かの判別である。このとき、Ｏ１は例えば３とする。

以上の条件１）〜条件３）の全てを満たす他の要素グループがあるとされた場合は、前述したステップＳ３０４のグループ統合処理により、各要素グループのグループ化が行われる。
これにより、先に参照した図６Ｂに示すような対象グループのグループ化が実現される。

なお、図６Ｂを参照して分かるように、本例の手法では先行車、対向車としての対象の縦方向を適切に囲うことができない。これはテールランプ、ヘッドライトの各検出処理で、先行車や対向車における発光部分のみを対象とした検出を行っているためである。
しかしながら、ＡＤＢは縦方向の配光制御ではなく横方向の配光制御であるため、最終的な配光制御に問題が生じることはない。

ここで、ステップＳ３０４で各要素グループを対象グループとして統合する際には、要素グループの基本特徴量を受け継ぐ。具体的には
・対象グループの上下左右座標
左、下の位置は各要素グループの最小値を受け継ぐ
右、上の位置は各要素グループの最大値を受け継ぐ
・対象グループ内画素数
各要素グループの和を受け継ぐ
・対象グループ内最大輝度値、最小輝度値
最大輝度値は各要素グループの最大値を受け継ぐ
最小輝度値は各要素グループの最小値を受け継ぐ
・対象グループの平均視差（距離）
平均視差は各要素グループの最大値（距離が近い方）を受け継ぐ
また、併せて、対象グループを構成する要素グループ数もカウントする。

図８において、画像処理部３は、ステップＳ３０３の作成処理又はステップＳ３０４の統合処理の何れかを実行した後、ステップＳ３０５で全要素グループについての処理が終了したか否かを判別する。すなわち、当該対象領域算出処理が先行車についての処理である場合には、テールランプ検出処理で検出された全要素グループについての処理が終了したか否かを判別する。或いは、当該対象領域算出処理が対向車についての処理である場合には、ヘッドライト検出処理で検出された全要素グループについての処理が終了したか否かを判別する。

ステップＳ３０５において、全要素グループについての処理が終了していないとの否定結果が得られた場合は、ステップＳ３０６で要素グループ識別子Ｅの値をインクリメント（Ｅ←Ｅ＋１）した後、ステップＳ３０２に戻る。これにより、次の要素グループについてステップＳ３０２〜Ｓ３０４の処理が実行される。
一方、全要素グループについての処理が終了したとの肯定結果が得られた場合は、対象領域算出処理を終了する。

［8-3．対象グループ３次元位置算出処理］
ステップＳ２０２の対象グループ３次元位置算出処理は、対象グループの実空間３次元位置を算出する処理である。
対象グループの平均視差をＰｄ、上下、左右位置の平均（対象グループを囲う矩形の中心点の座標）をＰｊ、Ｐｉ（但し、光軸中心位置の座標は（０，０）である）とおく。対象グループの奥行き方向、横方向、縦方向の各位置（それぞれＱｚ、Ｑｘ、Ｑｙとする）は、基線長ｂ、画素サイズの縦をλｊ、横をλｉ、焦点距離ｆとすると、
Ｑｚ＝ｂ＊ｆ／（λｉ＊Ｐｄ）
Ｑｘ＝λｉ＊Ｐｉ＊Ｑｚ／ｆ
Ｑｙ＝λｊ＊Ｐｊ＊Ｑｚ／ｆ
で求められる。なお、カメラが自車両に対してピッチ（前傾又は後傾）がついて設置されている場合は、上記結果にピッチに対する補正を行う。
さらに、縦方向に対しては、前述した車線検出モデル形成処理で算出される距離Ｑｚ地点での路面高さを減算し、路面からの高さとなるように変換する。

［8-4．対象グループトラッキング処理］
ステップＳ２０３の対象グループトラッキング処理は、対象グループが過去何フレームの間認識できていたか（存在回数）をカウントする処理である。なお、対象グループトラッキング処理は、前回結果受け継ぎ処理（Ｓ２０５）のために実行されるものである。

図９は、対象グループトラッキング処理の流れを示したフローチャートである。
当該対象グループトラッキング処理としても先行車、対向車の各対象について個別に行われるものであるが、処理内容は共通であるため図９により纏めて説明する。
図９において、画像処理部３はステップＳ４０１で、対象グループ識別子Ｔ＝０に設定する。対象グループ識別子Ｔは、前述した対象領域算出処理で認識された個々の対象グループを特定するための識別子である。

ステップＳ４０２では、１フレーム前に条件を満たす対象グループがあるか否かを判別する。すなわち、対象グループ識別子Ｔで特定される現フレームの対象グループに関して、１フレーム前に以下の条件を満たす対象グループがあるか否かを判別する。なお、「１フレーム前」とは、当該対象グループトラッキング処理が先行車についての処理である場合には１つ前の明画像Ｇ１を意味する。同様に、対向車についての処理である場合は１つ前の暗画像Ｇ２を意味する。
ステップＳ４０２の判別処理で用いる条件は、先のステップＳ３０２の判別処理で用いた条件と同じである。各条件で用いるパラメータについても基本的に同じ値とする。但し、自車両の走行状態（例えば旋回中であるとか走行速度）によってはトラッキングが外れてしまう虞がある点を考慮して、画像上の距離（ＫＨ、ＫＷ）については自車両のヨーレートによりマージンを調整する。また、平均視差の差については自車両の速度によりマージンを調整する。

ステップＳ４０２において、１フレーム前に条件を満たす対象グループがないとの否定結果が得られた場合は、ステップＳ４０３で存在回数＝１とした後、ステップＳ４０５に進む。一方、１フレーム前に条件を満たす対象グループがあるとの肯定結果が得られた場合は、ステップＳ４０４で存在回数を加算（＋１）した後、ステップＳ４０５に進む。

ステップＳ４０５では、全対象グループについての処理が終了したか否かを判別する。全対象グループについての処理が終了していないとの否定結果が得られた場合は、ステップＳ４０６で対象グループ識別子Ｔの値をインクリメント（Ｔ←Ｔ＋１）した後、ステップＳ４０２に戻る。
一方、全対象グループについての処理が終了したとの肯定結果が得られた場合は、対象グループトラッキング処理を終了する。

［8-5．対象識別処理］
ステップＳ２０４の対象識別処理は、各対象グループについての信頼度αを算出し、信頼度αが所定閾値以上の対象グループを抽出する処理である。
本例の場合、信頼度αはフレームごとに算出する。本例の対象識別処理では、フレームごとに信頼度αと上記所定閾値との比較を行って対象グループの抽出を行う。

図１０は、対象識別処理の流れを示したフローチャートである。
なお、当該対象識別処理についても、先行車と対向車とについて個別に行われるものである。先行車についての対象識別処理の流れと対向車についての対象識別処理の流れは共通しているため、図１０では纏めて示している。
但し、信頼度αを加算するための処理（後述する信頼度加算側処理）、及び減算するための処理（信頼度減算側処理）の内容は異なるため、この点については個別に説明を行う。

図１０において、画像処理部３は、ステップＳ５０１で対象グループ識別子Ｔ＝０に設定すると共に、ステップＳ５０２で信頼度α＝０に設定する。
そして、ステップＳ５０３で信頼度加算側処理を実行し、ステップＳ５０４で信頼度減算側処理を実行する。

続くステップＳ５０５では、識別判定処理を行う。すなわち、対象グループ識別子Ｔで特定される対象グループについて、その信頼度αの値が所定閾値以上であるとの条件を満たすか否かを判別し、該条件を満たす場合は当該対象グループが対象（先行車又は対向車）であるとの識別結果を得、満たさない場合は当該対象グループは対象以外であるとの識別結果を得る。

次のステップＳ５０６では、全対象グループについての処理が終了したか否かを判別する。全対象グループについての処理が終了していないとの否定結果が得られた場合は、ステップＳ５０７で対象グループ識別子Ｔの値をインクリメント（Ｔ←Ｔ＋１）した後、ステップＳ５０２に戻る。一方、全対象グループについての処理が終了したとの肯定結果が得られた場合は、対象識別処理を終了する。

ステップＳ５０３の信頼度加算側処理、ステップＳ５０４の信頼度減算側処理について説明する。前述のようにこれらの処理の内容は先行車、対向車の場合で異なるため、以下で個別に説明する。

なお、以下の説明における前提として、先行車の類似物体としては、主に看板などの赤色の発光体、遠方の街の明かり、自車両のライトによって反射される標識（赤色標識）が挙げられる。また、対向車の類似物体としては、主に街灯、路面に設けられたリフレクター、標識の反射が挙げられる。

（先行車についての信頼度加算側処理）
先行車についての信頼度加算側処理では、以下の条件を満たす場合にそれぞれ信頼度αを加算する。
条件１）
対象グループを構成する要素グループ数が閾値（例えば４）以下の場合。このとき、要素グループ数がそれぞれ２（テールランプが２つ）の場合、３（テールランプ２つとハイマウントストップランプ）の場合は、より先行車である可能性が高いのでさらに信頼度αを加算する
条件２）
対象グループの横サイズが一定範囲内（例えば１ｍ〜６ｍ以内でこれを画素サイズに換算）の場合。
条件３）
対象グループの縦サイズが一定範囲内（例えば０．５ｍ〜４ｍ以内でこれを画素サイズに換算）の場合。
条件４）
対象グループの縦横サイズ比が一定範囲内（例えば横が縦の０．５倍以上）の場合。

（先行車についての信頼度減算側処理）
先行車の信頼度減算側処理では、以下の条件を満たす場合にそれぞれ信頼度αを減算する。
条件１）
対象グループの路面からの高さが一定範囲外（範囲は例えば０ｍ〜４ｍ）の場合。このとき、路面からの高さは車線モデル形成処理により算出される値を用いる。但し、車線モデル形成処理による路面からの高さの値の算出精度は遠距離側で悪化する（ステレオ法による測距では遠方の距離精度が悪化する傾向を持つことに起因）ので、上記の範囲は遠方で大きくなるように距離Ｑｚに応じて可変とする。
条件２）
対象グループの横方向における位置が、画像中心を基準とした一定範囲内（範囲は例えば−３０ｍ〜３０ｍ）でない場合。これは、主に遠方の街の明かりとの識別を意図している。
条件３）
自車両がハイビーム状態の場合で対象グループの最大輝度値と最小輝度値の差が一定範囲内（範囲は最大輝度値により可変とし、例えば最大輝度値が２００以上では範囲は５０、２００未満では３０というように設定する）である場合。これは、自車両のライトによる赤色標識の反射と識別することを意図している。テールランプは自発光であるため光は拡散し、輝度分布が広くなる傾向があり、一方で標識の反射は輝度分布が狭くなる傾向になるという性質を利用したものである。当該条件３）の判別を行うことで、テールランプ（先行車）と赤色標識などの赤色類似物体との識別の精度を向上できる。なお、上記のように範囲を可変としているのは、輝度値の差は輝度値の影響を受けるためである（高輝度と低輝度では最大値と最小値との差が変わる）。
条件４）
対象グループの存在回数が設定値以下（例えば３）である場合。

（対向車についての信頼度加算側処理）
対向車の信頼度加算側処理では、以下の条件を満たす場合にそれぞれ信頼度αを加算する。
条件１）
対象グループを構成する要素グループ数が閾値（例えば４）以下の場合。このとき、グループ数が２（ヘッドライトが２つ）の場合はより対向車である可能性が高いのでさらに信頼度αを加算する。
条件２）
対象グループの横サイズが一定範囲内（例えば１ｍ〜６ｍ以内でこれを画素サイズに換算）の場合。
条件３）
対象グループの縦サイズが一定範囲内（例えば０．５ｍ〜４ｍ以内でこれを画素サイズに換算）の場合。
条件４）
対象グループの縦横サイズ比が一定範囲内（例えば横が縦の０．５倍以上）の場合。

（対向車についての信頼度減算側処理）
対向車の信頼度減算側処理では、以下の条件を満たす場合にそれぞれ信頼度αを減算する。
条件１）
対象グループの路面からの高さが一定範囲外（範囲は例えば０ｍ〜４ｍ）の場合。このとき、先の先行車についての信頼度減算側処理の場合と同様に、路面からの高さの値は斜線モデル形成処理の結果を用い、上記の範囲は遠方で大きくなるように距離Ｑｚにより可変とする。
条件２）
対象グループの横方向における位置が、画像中心を基準とした一定範囲内（範囲は例えば−３０ｍ〜３０ｍ）でない場合（主に遠方の街の明かりとの識別を意図）。
条件３）
対象グループの最大輝度値が輝度閾値以下である場合。
当該条件３）についての判別処理は、自車両のライト照射状態に応じて、先の図２に示したロービーム時距離閾値関係情報４Ａ、又はハイビーム時距離閾値関係情報４Ｂを用いて行う。「距離閾値関係情報」とは、自車両からの距離（Ｑｚ）に応じて対向車の類似物体の輝度が異なる点に鑑みて、距離と輝度閾値との関係を定めた情報である。
ここで、対向車の類似物体、つまり主に自車両のライトによって照らされたリフレクターや標識の輝度は、自車両からの距離のみではなく、自車両のライト照射状態によっても異なり得る。このため本実施の形態では、「距離閾値関係情報」として、ロービーム時距離閾値関係情報４Ａとハイビーム時距離閾値関係情報４Ｂとをそれぞれ用意している。
当該条件３）についての判別処理では、自車両のライト照射状態に応じてロービーム時距離閾値関係情報４Ａ又はハイビーム時距離閾値関係情報４Ｂのうち対応する距離閾値関係情報を選択する。そして、選択した距離閾値関係情報と対象グループの距離Ｑｚの値とに基づき設定した輝度閾値と、対象グループの最大輝度値とを比較し、対象グループの最大輝度値が輝度閾値以下であるかを判別する。

図１１は、ロービーム時距離閾値関係情報４Ａ、ハイビーム時距離閾値関係情報４Ｂでそれぞれ定められる距離と輝度閾値との関係を示している。図中の実線Ａがロービーム時距離閾値関係情報４Ａ、実線Ｂがハイビーム時距離閾値関係情報４Ｂでそれぞれ定められる距離と輝度閾値との関係を表す。
図のようにロービーム時に対応した輝度閾値、ハイビーム時に対応した輝度閾値は、共に距離Ｑｚ１までの比較的近距離の領域ではその値が最大値で一定とされ、距離Ｑｚ１から距離Ｑｚ２までの領域においては徐々にその値が低下する傾向とされている。距離Ｑｚ２以上の領域では、輝度閾値は共に最小値で一定とされている。
その上で、ハイビーム時の輝度閾値は、距離の全域にわたってロービーム時の輝度閾値よりも高い値を維持するように設定されている。

なお、距離Ｑｚ１から距離Ｑｚ２までの領域のように、距離が大きくなるに連れて輝度閾値を徐々に低くなるようにしているのは、遠方に行くほど対向車のヘッドライトを撮像した場合の輝度が低くなることに対応させるためである。

ここで、同じ距離に対するロービーム時の輝度閾値とハイビーム時の輝度閾値との差分を「Δ」とおく。上記したロービーム時距離閾値関係情報４Ａ、ハイビーム時距離閾値関係情報４Ｂの設定によると、距離Ｑｚ１までの近距離の領域での差分Δは、他の領域よりも大きくなる。このような設定としたのは、対向車の類似物体である標識等は、ロービームで照らされた場合とハイビームで照らされた場合の輝度差が近距離ほど大きくなるという性質に対応させるためである。
一方で、上記の設定によると、距離Ｑｚ１以上の領域においては差分Δが徐々に小さくなるが、このような設定としたのは、近距離から遠ざかるに連れて標識等の類似物体のロービーム照射時とハイビーム照射時での輝度差が小さくなることに対応させるためである。

なお、上述のように本実施の形態では、距離Ｑｚ２以上の遠方領域で輝度閾値が一定となるようにしているが、これは、本例のようにステレオ法により測距を行う場合には遠方で距離精度が低下する傾向となる点を考慮したものである。
本実施の形態において、距離Ｑｚ２以上の領域での一定の輝度閾値は、当該距離Ｑｚ２以上の領域で想定される対向車のヘッドライト輝度値の最小値に対応する値を設定している。これにより、遠方領域での距離精度の悪化に起因した対向車の検出漏れ（対向車が誤って非対向車と識別されてしまうこと）を防止でき、この点で識別精度の低下防止が図られる。
なお、図１１の例では、距離Ｑｚ２以上の領域での一定の輝度閾値として、ハイビーム照射時とロービーム照射時とで異なる値が設定された例を示しているが、同じ値に設定することもできる。

ここで、ロービーム時距離閾値関係情報４Ａ、ハイビーム時距離閾値関係情報４Ｂは、距離ごとに対応する輝度閾値を格納したテーブル情報であっても良いし、或いは距離を変数とした関数情報とされても良い。

また、条件３）では、対象グループの位置が撮像画像の中心又は無限遠点（自車両が直進したときに到達する画像上位置）から離れている場合は、ロービーム距離閾値関係情報４Ａ又はハイビーム時距離閾値関係情報４Ｂから取得した輝度閾値をそのまま用いるのではなく、より値を下げた輝度閾値を用いる。換言すれば、対象グループの位置が撮像画像の中心又は無限遠点から離れている場合は、前記中心又は前記無限遠点に近い場合よりも低い輝度閾値を用いる。以下、この意義について説明する。

図１２は、ヘッドライト検出範囲Ａｔと撮像画像の中心又は無限遠点を含む画像範囲Ｃｔとの関係を例示している。なお、ヘッドライト検出範囲Ａｔは、撮像画像の中心又は無限遠点を含むように設定されている。
対向車としての対象グループが画像範囲Ｃｔ内に存在している場合、当該対向車は自車両と正対しているとみなすことができる。これに対し、図中の斜線で示したような画像範囲Ｃｔの外側範囲に存在する場合には、対向車は自車両に正対していない可能性が高い。同じ距離Ｑｚに存在する対向車が自車両に正対していない場合には、正対している場合よりも輝度が低くなる。このため、上記のように対象グループの位置が撮像画像の中心又は無限遠点から離れている場合により低い輝度閾値を用いることで、対向車の識別精度の向上が図られる。特に、対向車の検出漏れの防止に効果がある。
例えば、対象グループの位置が撮像画像の中心又は無限遠点から離れている場合には、距離閾値関係情報から取得した値に９／１０を乗じた値を最大輝度値と比較する輝度閾値として用いる。

さらに、条件３）において、距離閾値関係情報から取得した輝度閾値については、カメラのシャッタースピードやゲインなどといった撮像条件に基づく補正を加える。例えば、シャッタースピードが長ければ輝度閾値を上げるといった補正を加える。

条件４）
対象グループの存在回数が設定値以下（例えば３）である場合。

条件５）
対象グループの存在回数が設定値以上（設定値は例えば２０秒をフレーム数に換算した値）である場合。先行車の場合とは異なり１台の対向車が過剰に長い時間にわたって自車両の前方に存在する可能性は非常に低い。従って、そのような場合に信頼度αを減算して対向車との識別結果が覆るように制御を行っている。これにより、識別精度の向上が図られる。
なお、当該条件５）が満たされた場合に対向車であるとの識別結果を即座にキャンセルすることもできる。その場合は、当該条件５）における信頼度αの減算量をステップＳ５０５の識別判定処理で用いる閾値よりも大きくすればよい。

［8-6．前回結果の受け継ぎ処理］
ステップＳ２０５の前回結果の受け継ぎ処理では、現フレームについて行われた要素グループの検出や対象グループの識別によって誤って未検出とされてしまった場合の対策として、前フレームでの結果の受け継ぎを行う。処理の手順は以下の通りである。
ｉ）ステップＳ２０３の対象グループトラッキング処理の結果から、前フレームでは存在したが現フレームでは存在しないとされた対象グループ（前フレームにおけるどの対象グループとも一致しないとされた対象グループ）を抽出する
ii）上記ｉ）で抽出された対象グループについて、前フレームまでの存在回数が一定値（例えば１０）以上の対象グループを抽出する
iii）上記ii）で抽出された対象グループを存在回数を減らして（例えば１／２倍）対象として存続させる。
このような受け継ぎ処理により、それまで対象として安定して存在していた対象グループは或る一定回数検出されなくても対象として存続されるようになる。すなわち、何らかの一時的な要因で対象が誤って未検出のままとされてしまうことを防止でき、この点で識別精度の向上が図られる。

＜９．シーン判定処理＞
シーン判定処理は、現在の走行シーンがそもそもハイビームが必要なシーンであるか否かを判定する処理である。本例では、ハイビームが不要なシーンとして、市街地（充分明るいため）、低速時（遠方までライトを照射する必要がないため）、右左折時（遠方までライトを照射する必要がないため）であるか否かをそれぞれ判別し、何れかが該当した場合はハイビーム不要シーンであるとの判定結果を得る。
ここで、市街地であるか否かの判別は、街灯の検出数等に基づき行う。例えば、街灯の検出数が所定の閾値以上であるか否かの判別結果に基づき行う。
また、低速時であるか否かの判別は、車速センサ１７Ａにより検出される車速が一定以下（例えば２０ｋｍ／ｈ）であるか否かを判別して行う。但し、ハンチングを防止するためヒステリシスを設ける。
右左折時であるか否かの判別は、ウィンカーが動作状態にあるか否かを判別することで行う。例えばウィンカースイッチ１７ＥがＯＮ状態であるか否かを判別する。

＜１０．制御情報算出処理＞
制御情報算出処理は、対象認識・識別処理による先行車・対向車の認識・識別結果とシーン判定処理の結果とに基づき、ＡＤＢの制御情報を算出する処理である。
具体的な処理内容を図１３のフローチャートを参照して説明する。
図１３において、画像処理部３は、ステップＳ６０１でハイビーム不要シーンか否かを上記のシーン判定処理の結果に基づき判別する。ハイビーム不要シーンであるとの肯定結果が得られた場合は、ステップＳ６０５でハイビームＯＦＦを表す制御情報を生成し、ステップＳ６０６で当該制御情報を運転支援制御部５（配光制御処理部５Ａ）に対して出力した後、処理を終了する。

一方、ハイビーム不要シーンではないとの否定結果が得られた場合は、ステップＳ６０２で先行車又は対向車が存在するか否かを判別する。すなわち、上記した対象認識・識別処理の結果に基づき、先行車又は対向車の何れかが存在するか否かを判別する。
先行車又は対向車が存在しないとの否定結果が得られた場合は、ステップ６０３で全面ハイビームＯＮを表す制御情報を生成し、ステップＳ６０６で当該制御情報を運転支援制御部５に出力した後、処理を終了する。

また、先行車又は対向車が存在するとの肯定結果が得られた場合は、ステップＳ６０４で対象以外ハイビームＯＮを表す制御情報を生成する。このとき、画像処理部３は、対象認識・識別処理の結果に基づき、ハイビームを照射可能な範囲を計算する（当該範囲の情報を以下「照射範囲情報」と表記する）。ハイビームの照射可能な範囲は、先行車、対向車の左右の座標情報を基準に算出する。
画像処理部３は、ステップＳ６０４で生成した制御情報（照射範囲情報を含む）をステップＳ６０６で運転支援制御部５に出力し、処理を終了する。

＜１１．制御情報に基づく配光制御＞
運転支援制御部５（配光制御処理部５Ａ）では、配光制御処理として、上記の制御情報に基づく配光制御を実行する。具体的に、配光制御処理では、ハイビームＯＦＦを表す制御情報に応じてはライト制御部１０に対しハイビームをＯＦＦとする指示を行う。また、全面ハイビームＯＮを表す制御情報に応じてはライト制御部１０に対しハイビームを全面ＯＮとする指示を行う。さらに、対象以外ハイビームＯＮを表す制御情報に応じては、当該制御情報に含まれる照射範囲情報に従った範囲のみハイビームが照射されるようにライト制御部１０に対する指示を行う。

図１４は、対象以外ハイビームＯＮを表す制御情報に応じて実現されるハイビームの照射態様についての説明図である。なお、図中では紙面上方向が自車両の前方方向を表す。
図１４Ａに示すように、この場合のハイビームの照射は、先行車、対向車が存在する範囲（図中斜線部）以外の範囲に対して行う。

なお、ＡＤＢとしては、ハイビームの遮光を１カ所しかできない仕様のものも考えられる。その場合において、図１４Ａと同様にハイビームを照射すべきでない対象が複数存在し且つそれらの間に対象が存在しない範囲が形成されているときは、図１４Ｂに示すように、ハイビームを照射すべきでない対象（先行車、対向車）の間の範囲もハイビームの非照射範囲とされるように配光制御を行う。このためには、例えば前述した制御情報算出処理において、ハイビームを照射すべきでない対象が複数存在する場合はそれらをグループ化し、当該グループの左右方向の最大座標を基準に照射範囲情報を計算すればよい。

ここで、ハイビームを照射すべきでない対象として、対向車は、自車に対して或る程度近接した際にはヘッドライト検出範囲Ａｔから外れる（図１５を参照）。そのため、対向車がある程度の距離まで近接（例えば５０ｍ：但しヘッドライト検出範囲Ａｔで検出できる距離内であることが条件）したことが確認された場合は、すれ違いが予想される方向へのハイビームの照射を一定期間（例えば１秒）ＯＦＦとする制御を行う。

＜１２．実施の形態のまとめ＞
上記で説明したように、本実施の形態では、撮像画像から抽出した対象画像部分の輝度（対象グループの最大輝度値）と、対象画像部分についての自車両からの距離（Ｑｚ）と距離閾値関係情報とに基づき設定した輝度閾値とを比較した結果に基づいて、対象画像部分が対向車部分であるか否かを識別するようにしている。その上で、距離閾値関係情報として自車両のライト照射状態に対応した複数種の情報（４Ａ，４Ｂ）を記憶しておき、自車両のライト照射状態に応じて選択した距離閾値関係情報を用いて対向車の識別を行うようにしている。

これにより、自車両からの距離と共に自車両のライト照射状態も考慮して対向車であるか否かの識別が行われる。従って、自車両からの距離のみを考慮した場合よりも、対向車の識別精度の向上を図ることができる。

なお、本実施の形態では、先行車（テールランプ）についての対象認識・識別処理も行っている。このため、対向車と先行車との識別（切り分け）が適正に行われている。

また、本実施の形態では、距離閾値関係情報は、所定距離以上の領域で輝度閾値が一定となるように距離と輝度閾値との関係が定められている。
これにより、自車両から所定距離以上離れた物体についての識別で用いられるべき輝度閾値が、距離に関わらず一定とされる。先の説明からも理解されるように、所定距離以上の領域における輝度閾値を距離に関わらず一定とすれば、距離センサの精度が充分でない距離範囲での輝度閾値を、その距離範囲で想定される最小の対向車ヘッドライト輝度値に対応した値で一定とすることができる。これにより、距離の算出誤差に伴う対向車の検出漏れの防止が図られる。すなわち、対向車の識別精度の向上が図られる。

さらに、本実施の形態では、対象画像部分が撮像画像の中心又は無限遠点から離れている場合は、前記中心又は前記無限遠点に近い場合よりも識別で用いる輝度閾値を小さくしている。
これにより、対向車が自車両に正対していない場合に対応して識別で用いる輝度閾値を低くすることが可能とされる。従って、特に対向車の検出漏れ防止に効果があり、この点で対向車の識別精度の向上が図られる。

さらにまた、本実施の形態では、撮像部が所定のフレームレートで撮像を行い、画像処理部は、対象画像部分が一定回数以上連続して対向車部分であると識別されたか否かを判別し、その結果を識別に用いるようにしている。
これにより、対象画像部分が過剰に長い時間にわたって対向車であると識別されたか否か、すなわち非対向車である可能性が高いか否かの判別結果が現フレームでの識別に反映される。従って、対向車の識別精度の向上が図られる。

＜１３．変形例＞
以上、本発明に係る実施の形態について説明したが、本発明は上記で例示した具体例に限定されるべきものではなく、多様な変形例が考えられる。
例えば、これまでの説明では、ライト照射状態としてロービームの照射状態とハイビームの照射状態の２つを例示したが、当該ライト照射状態としては例えばフォグランプ照射状態等も含めることができ、ロービーム、ハイビームの照射状態のみに限定されるものではない。

また、対象グループの最大輝度値が輝度閾値以下である場合に対応して信頼度を減算する例を挙げたが、逆に、最大輝度値が輝度閾値以上であるか否かを条件とし、該条件を満たす場合に信頼度を加算することもできる。

また、これまでの説明では、街灯については対象識別処理を実行しない例を挙げたが、制御仕様によっては街灯とそれ以外の物体との識別を要する場合がある。例えば、街灯検出範囲Ａｇ内で検出される街灯以外の発光体としては信号機などがあり、その切り分けが必要とされる場合には街灯／信号機の識別処理を行う。その場合には、対象グループに色情報を持たせ、色が赤、青、緑の何れかである場合は信号機、それ以外の色の場合は街灯と識別すればよい。

また、これまでの説明では、対象識別処理においてステレオ法による測距で得た距離の情報を用いる例を挙げたが、距離の情報については他の手法で測定することもできる。例えば、ミリ波レーダーを用いた手法などを採用することができる。

また、これまでの説明では、対象認識・識別処理の結果に基づきＡＤＢとしての配光制御を行う場合を例示したが、これに代えてＡＨＢ（Auto High Beam）としての配光制御を行うこともできる。その場合は、先行車又は対向車が１つでも存在する場合にはハイビームをＯＦＦとし、先行車及び対向車が存在しない場合に全面ハイビームＯＮとする制御を行えばよい。

また、これまでの説明では、カラー画像の形式としてＲＧＢ形式を例示したが、例えばＹＵＶ等別の表現形式を用いることも勿論可能である。

１…車両制御システム、２…撮像部、３…画像処理部、３Ｇ…対象認識・識別処理部、４…メモリ、４Ａ…ロービーム時距離閾値関係情報、４Ｂ…ハイビーム時距離閾値関係情報、Ａｔ…ヘッドライト検出範囲、Ａｇ…街灯検出範囲

Claims (4)

1. 自車両の前方を撮像した撮像画像を得る撮像部と、
   自車両からの距離と輝度閾値との関係を定めた距離閾値関係情報が記憶された記憶部と、
   前記撮像画像から抽出した対象画像部分の輝度と、前記対象画像部分についての自車両からの距離と前記距離閾値関係情報とに基づき設定した輝度閾値とを比較した結果に基づいて、前記対象画像部分が対向車部分であるか否かを識別する画像処理部とを備え、
   前記記憶部には、
   前記距離閾値関係情報として、自車両のライト照射状態に対応した複数種の情報が記憶され、
   前記画像処理部は、
   自車両のライト照射状態に応じて選択した前記距離閾値関係情報を用いて前記識別を行う
   画像処理装置。
2. 前記距離閾値関係情報は、
   所定距離以上の領域で輝度閾値が一定となるように距離と輝度閾値との関係が定められている
   請求項１に記載の画像処理装置。
3. 前記画像処理部は、
   前記対象画像部分が前記撮像画像の中心又は無限遠点から離れている場合は、前記中心又は前記無限遠点に近い場合よりも前記識別で用いる輝度閾値を小さくする
   請求項１又は請求項２に記載の画像処理装置。
4. 前記撮像部が所定のフレームレートで撮像を行い、
   前記画像処理部は、
   前記対象画像部分が一定回数以上連続して対向車部分であると識別されたか否かを判別し、その結果を前記識別に用いる
   請求項１乃至請求項３の何れかに記載の画像処理装置。

Images