JP2020080550A - 車載カメラ・システム、並びに画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】夜間など暗い走行環境下で車載カメラの自動露光制御を行なう。【解決手段】車載カメラ・システムは、自車両の走行進行方向の遠方道路消失点を基準にして、遠方車両が走行していると期待される遠方小枠を定義し、遠方小枠内の輝度情報に基づいて車載カメラを露光制御して、暗い走行環境下でヘッドライトを点灯する遠方車両を、オーバー露光を回避して撮影することができる。また、同システムは、遠方小枠内に限定して輝度水平プロファイルを生成することにより、少ないメモリーで効率的に、対象とする光源を優先して再現することができる。【選択図】 図１４

Description

本明細書で開示する技術は、車両に搭載されるカメラの露光制御を行なう車載カメラ・システム、並びに車載カメラの撮影画像に基づいて露光制御を行なう画像処理装置及び画像処理方法に関する。

最近、カメラを搭載する自動車が増えてきている。車載カメラが撮影した画像を用いて、走行支援や視界支援を行なうことができる。例えば、車載カメラの撮影画像を基に、車両の位置及び方向を検出して案内情報に利用したり、対向車両や先行車両、歩行者、障害物などを検出して事故防止に役立てたりすることができる。また、夜間の走行時においては、車載カメラの撮影画像を画像処理して、対向車両（又は、後続車両）のヘッドライトや先行車両のテールライトを検知して、周囲の他車両の情報を検出することができる（例えば、特許文献１、２を参照のこと）。

特開２００５−９２８５７号公報 特開２０１０−２７２０６７号公報 特開２００４−２３２２６号公報 特開２０１３−２０５８６７号公報

本明細書で開示する技術の目的は、車両に搭載されるカメラの露光制御を行なう車載カメラ・システム、並びに車載カメラの撮影画像に基づいて露光制御を行なう画像処理装置及び画像処理方法を提供することにある。

本明細書で開示する技術は、上記課題を参酌してなされたものであり、その第１の側面は、
車両に搭載され、前記車両の周辺を撮影する車載カメラと、
前記車載カメラの撮像画像内に設定した検知領域の輝度情報に基づいて前記車載カメラの露光を制御する制御部と、
を具備する車載カメラ・システムである。

但し、ここで言う「システム」とは、複数の装置（又は特定の機能を実現する機能モジュール）が論理的に集合した物のことを言い、各装置や機能モジュールが単一の筐体内にあるか否かは特に問わない。

本明細書で開示する技術の第２の側面によれば、第１の側面に係る車載カメラ・システムの前記制御部は、前記検知領域内で光源を検波した結果に応じて、前記車両とは異なる他車両の光源の分離を優先する露光制御モードに移行するように構成されている。

本明細書で開示する技術の第３の側面によれば、第２の側面に係る車載カメラ・システムの前記制御部は、前記車載カメラ・システムに対する設定に応じて前記光源の検波を実施するか否かを判定するように構成されている。

本明細書で開示する技術の第４の側面によれば、第２の側面に係る車載カメラ・システムの前記制御部は、前記車両が走行中の道路の種別に応じて前記光源の検波を実施するか否かを判定するように構成されている。

本明細書で開示する技術の第５の側面によれば、第２の側面に係る車載カメラ・システムの前記制御部は、前記車両の走行環境に応じて前記光源の検波を実施するか否かを判定するように構成されている。

本明細書で開示する技術の第６の側面によれば、第１の側面に係る車載カメラ・システムの前記制御部は、前記車両の走行進行方向の遠方道路消失点を基準に前記検知領域を設定し、前記検知領域内の輝度情報の解析結果に基づいて前記車載カメラを露光制御するように構成されている。

本明細書で開示する技術の第７の側面によれば、第６の側面に係る車載カメラ・システムの前記制御部は、前記車両の後方で、前記車両が走行してきた走行軌跡方角に基づいて前記遠方道路消失点を校正し、又は、前記車両の前方で、前記車両の予測進行方向に基づいて前記遠方道路消失点を校正するように構成されている。

本明細書で開示する技術の第８の側面によれば、第６の側面に係る車載カメラ・システムの前記制御部は、前記車両が走行してきた走行軌跡方角に所定距離だけ後方の場所を近似的な遠方道路消失点として求め、又は、前記車両が走行中の道路に沿った路面方角に所定距離だけ前方の場所を近似的な遠方道路消失点として求めるように構成されている。

本明細書で開示する技術の第９の側面によれば、第６の側面に係る車載カメラ・システムの前記制御部は、前記車載カメラの撮影画像の無限遠点に対する前記車両の走行進行方向の前記遠方道路消失点の相対位置に基づいて前記検知領域を設定するように構成されている。

本明細書で開示する技術の第１０の側面によれば、第６の側面に係る車載カメラ・システムの前記制御部は、前記検知領域内の輝度情報として、前記検知領域内で生成する輝度水平プロファイルの解析結果に基づいて前記車載カメラを露光制御するように構成されている。

本明細書で開示する技術の第１１の側面によれば、第１０の側面に係る車載カメラ・システムの前記制御部は、前記検知領域内で、少なくとも１水平ライン毎に画素の輝度値を合算して各水平ラインの重みを決定し、各垂直ラインの画素の輝度値を前記水平ラインの重みで重み付け加算して、前記輝度水平プロファイルを生成するように構成されている。

本明細書で開示する技術の第１２の側面によれば、第６の側面に係る車載カメラ・システムの前記制御部は、前記検知領域内で前記他車両のランプが存在するか否かを検出し、前記検知領域内で前記他車両のランプの存在を検出したときに、前記他車両のランプの光点分離を優先して前記車載カメラの露光を制御するように構成されている。

本明細書で開示する技術の第１３の側面によれば、第１２の側面に係る車載カメラ・システムの前記制御部は、前記輝度水平プロファイルに含まれる２つの隣接する極大値の間に存在する極小値の輝度情報に基づいて、前記検知領域内で前記他車両のランプが存在するか否かを検出するように構成されている。

本明細書で開示する技術の第１４の側面によれば、第１３の側面に係る車載カメラ・システムの前記制御部は、前記極大値の間隔が所定の範囲内で、前記極大値の平均値が前記極小値の所定倍以上又は前記極大値の平均値が所定値以上であれば、前記検知領域内で前記他車両のランプがあると判定するように構成されている。

本明細書で開示する技術の第１５の側面によれば、第６の側面に係る車載カメラ・システムの前記制御部は、前記検知領域内で前記他車両のランプを検出したか否かに基づいて、前記車載カメラの露光制御モードを決定するように構成されている。

本明細書で開示する技術の第１６の側面によれば、第１５の側面に係る車載カメラ・システムは、画像出力部又は音声出力部をさらに備えている。そして、前記制御部は、前記露光制御モードを変更するときには、画像又は音声又は振動のうち少なくとも１つを用いて事前に通知するように構成されている。

本明細書で開示する技術の第１７の側面によれば、第１の側面に係る車載カメラ・システムの前記制御部は、前記検知領域内で生成した輝度水平プロファイルに基づいて、前記他車両のランプの光点分離を優先した前記車載カメラの露光制御を行なうように構成されている。

本明細書で開示する技術の第１８の側面によれば、第１７の側面に係る車載カメラ・システムの前記制御部は、前記輝度水平プロファイルに含まれる２つの隣接する極大値の平均値を前記極大値間に存在する極小値で割って求めた評価値に基づいて、前記車載カメラの露光制御を行なうように構成されている。

本明細書で開示する技術の第１９の側面によれば、第１７の側面に係る車載カメラ・システムの前記制御部は、前記輝度水平プロファイルが所定の閾値を超える山の幅最大値に基づいて、前記車載カメラの露光制御を行なうように構成されている。

また、本明細書で開示する技術の第２０の側面は、
車両に搭載された車載カメラの撮像画像内に設定した検知領域の輝度情報に基づいて、前記車載カメラの露光を制御する、
画像処理装置である。

本明細書で開示する技術によれば、車両に搭載されるカメラの露光制御を行なう車載カメラ・システム、並びに車載カメラの撮影画像に基づいて露光制御を行なう画像処理装置及び画像処理方法を提供することができる。

なお、本明細書に記載された効果は、あくまでも例示であり、本発明の効果はこれに限定されるものではない。また、本発明が、上記の効果以外に、さらに付加的な効果を奏する場合もある。

本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

図１は、自動車１００の車室内にカメラを搭載した例を示した図である。 図２は、自動車２００の車室外にカメラを搭載した例を示した図である。 図３は、車両の前方若しくは後方の風景（夜間又はトンネル内）を例示した図である。 図４は、図３に示すような暗い走行環境下の風景を車載カメラで低照度時用の（長い）露光時間により撮影した画像４０１を例示した図である。 図５は、図３に示すような暗い走行環境下の風景を車載カメラで高照度時用の（短い）露光時間により撮影した画像５０１を例示した図である。 図６は、車載カメラ・システム６００の構成例を示した図である。 図７は、車載カメラの自動露光制御の処理手順を示したフローチャートである。 図８は、車両の走行進行方向の遠方道路消失点と基準点との位置関係を説明するための図である。 図９は、車両の走行進行方向の遠方道路消失点と基準点との位置関係を説明するための図である。 図１０は、車両の走行進行方向の遠方道路消失点と基準点との位置関係を説明するための図である。 図１１は、車両の走行進行方向の遠方道路消失点と基準点との位置関係を説明するための図である。 図１２は、車両の走行進行方向の遠方道路消失点と基準点との位置関係を説明するための図である。 図１３は、車両の走行進行方向の遠方道路消失点と基準点との位置関係を説明するための図である。 図１４は、自車両の走行進行方向の遠方道路消失点に基づいて遠方小枠を定義する例を示した図である。 図１５は、遠方小枠１５００内の１つの垂直画素位置ｖにおけるスキャン・ライン１５０１を例示した図である。 図１６は、遠方小枠内の１つのスキャン・ライン上（水平方向）の輝度分布を例示した図である。 図１７は、スキャン・ライン毎（垂直方向）の重みを例示した図である。 図１８は、遠方小枠内の輝度水平プロファイルを例示した図である。 図１９は、車両光源検波モードに移行すべきか否かを判定するための処理手順を示したフローチャートである。 図２０は、カーブする道路における遠方道路消失点を近似する方法を説明するための図である。 図２１は、傾斜が変化する道路における遠方道路消失点を近似する方法を説明するための図である。 図２２は、自車両の走行進行方向の遠方道路消失点に基づいて遠方小枠を定義する例を示した図である。 図２３は、自車両の走行進行方向の遠方道路消失点に基づいて遠方小枠を定義する例を示した図である。 図２４は、自動車のランプの検出を優先するための遠方小枠を定義する処理手順を示したフローチャートである。 図２５Ａは、遠方小枠内で輝度水平プロファイルを生成するための処理手順を示したフローチャートである。 図２５Ｂは、遠方小枠内で輝度水平プロファイルを生成するための処理手順を示したフローチャートである。 図２６Ａは、遠方小枠内で輝度水平プロファイルを生成するための他の処理手順を示した図である。 図２６Ｂは、遠方小枠内で輝度水平プロファイルを生成するための他の処理手順を示した図である。 図２７は、遠方小枠内の輝度水平プロファイルの隣接する極大値とこれらの間の極小値を示した図である。 図２８Ａは、輝度水平プロファイルに基づいて遠方小枠内に自動車のランプがあるか否かを判定するための処理手順を示したフローチャートである。 図２８Ｂは、輝度水平プロファイルに基づいて遠方小枠内に自動車のランプがあるか否かを判定するための処理手順を示したフローチャートである。 図２９は、輝度水平プロファイルの極大値及び極小値に基づいて、車載カメラの自動露光制御を行なうための処理手順を示したフローチャートである。 図３０Ａは、自動露光制御のための評価値Ｆが大きい場合の遠方小枠内の輝度水平プロファイルを示した図である。 図３０Ｂは、自動露光制御のための評価値Ｆが小さい場合の遠方小枠内の輝度水平プロファイルを示した図である。 図３１は、遠方小枠内の輝度水平プロファイル（光点分離に最適化した露光条件で撮影した場合）を示した図である。 図３２は、遠方小枠内の輝度水平プロファイル（光点分離に十分でない露光条件で撮影した場合）を示した図である。 図３３は、遠方小枠内の輝度水平プロファイルの形状に基づいて、光点分離に最適化した車載カメラの自動露光制御を行なうための処理手順を示したフローチャートである。 図３４は、暗い走行環境下の風景を車載カメラで後続車両又は対向車両を撮影したときのヘッドライト形状３４０１を示した図である。 図３５は、自車両の走行進行方向の遠方道路消失点に基づいて遠方小枠を定義する例を示した図である。 図３６は、自車両の走行進行方向の遠方道路消失点に基づいて遠方小枠を定義する例を示した図である。 図３７は、自車両の走行進行方向の遠方道路消失点に基づいて遠方小枠を定義する例を示した図である。 図３８は、自車両の走行進行方向の遠方道路消失点に基づいて遠方小枠を定義する例を示した図である。 図３９は、自車両の走行進行方向の遠方道路消失点に基づいて遠方小枠を定義する例を示した図である。 図４０は、自車両の走行進行方向の遠方道路消失点に基づいて遠方小枠を定義する例を示した図である。

以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。

図１には、自動車（普通乗用車）１００にカメラを搭載した例を示している。同図では、自動車１００の車室内に２台のカメラ１０１、１０２が搭載されている。一方のカメラ１０１は、撮像方向を自動車１００の前方（走行方向）に向けて、例えばフロント・ウィンドウ（ルームミラー）付近に設置されている。
他方のカメラ１０２は、撮像方向を自動車１００の後方に向けて、例えば車室後方のリア・ウィンドウ付近に設置されている。図１に示す例では、他方のカメラ１０２は、車室内に配置され、リア・ガラスを通して自動車１００の後方を撮影するが、図２（後述）と同様に、車室外に配置したカメラ２０２で、自動車１００の後方を撮影するようにしてもよい。各カメラ１０１、１０２の視野角をそれぞれ参照番号１１１、１１２で示している。カメラ１０１は、自車両の走行方向前方の先行車両や対向車両を撮影することができる。また、カメラ１０２は、自車両の走行方向後方の後続車両を撮影することができる。なお、各カメラ１０１、１０２の車両各部位への固定方法は任意である。

また、図２には、自動車（普通乗用車）２００にカメラを搭載した他の例を示している。同図では、自動車２００の車室外に４台のカメラ２０１〜２０４が搭載されている。カメラ２０１は、前方（走行方向）を撮影するように、自動車２００の車両前端（例えば、フロント・グリル又はフロント・バンパー・カバー付近）に設置されている。また、カメラ２０２は、後方を撮影するように、自動車２００の車両後端（例えば、リア・バンパー・カバー付近）に設置されている。また、カメラ２０３及び２０４はそれぞれ左右のドアミラーの先端付近に、撮像方向を自動車２００の後方に向けて設置されている。カメラ２０３及び２０４をそれぞれ左右のドアミラーと併用してもよい。あるいは、左右のドアミラーをカメラ２０３及び２０４で置き換えてもよい。各カメラ２０１〜２０４の視野角をそれぞれ参照番号２１１〜２１４で示している。カメラ２０１は、自車両の走行方向前方の先行車両や対向車両を撮影することができる。また、カメラ２０２〜２０４は、自車両の走行方向後方の後続車両を撮影することができる。なお、各カメラ２０１〜２０４の車両各部位への固定方法は任意である。

本明細書で開示する技術は、自動車に１台以上のカメラ（車載カメラ）が搭載されていることを前提とする。図１並びに図２に示した車載カメラの設置場所は、例示に過ぎず、車両の上記以外の部位に設置していてもよい。また、２台以上の車載カメラを組み合わせてもよい。また、車載カメラを搭載する自動車の種類は、普通乗用車に限定されず、中型自動車、大型自動車、あるいはバイクなどの２輪車であってもよい。

夜間やトンネル内など暗い走行環境下では、車載カメラの撮影画像を画像処理して、後続車両（又は対向車両）のヘッドライトや、先行車両のテールライトを検知して、周囲の他車両の情報を検出することができる（前述）。例えば、高速道路を走行中に車線変更をしようとするとき、遠方の後方車両を確認する必要がある。しかし、夜間などの暗い状況では、周辺車両の形状を鮮明に見ることは困難である。ドライバーは、一般に、視覚的に周辺車両の接近状況を判別する際は周辺車両の左右ライトなどから接近状況を認知している。そのため、その左右ライト光源の分離を視認できるようにカメラを制御する必要がある。

通常の（若しくは、一般的な）写真撮影や観賞用のビデオ映像の撮影に適用される露光制御技術は、基本的に、画面全体を平均的に露光制御するものである。例えば、画面を単純に複数領域に分割した明るさ検波枠を設け、その検波枠毎に入射する光の総和を積算して得られる光量に基づいてカメラの露光を自動制御する方法が挙げられる（例えば、特許文献３を参照のこと）。さらに、シーン毎の最適露光となるように検波枠別に光量を重み付け積算して、実際のシーンに合わせたカメラの自動露光やゲイン調整を行なう方法も挙げられる。

ところが、自車両から所定距離Ｌ（例えばＬ＝１５０メートル程度）だけ離れた後続又は先行の車両（以下、「遠方車両」とする）を車載カメラで撮影する場合、車載カメラの視野内における遠方車両のヘッドライト（若しくは、テールライト）光源の割合は小さい。このため、画面全体を平均的に露光制御する方法を適用すると、低照度時用の（長い）露光時間となってしまい、オーバー露光となり易い。例えば、画面を単純に複数領域に分割した検波枠を設けて検波枠毎の輝度値を重み付け加算する場合、検波枠に対する注目車両の占める割合が小さ過ぎるため、該当する検波枠の重み付けを大きくしても、画面の平均的明るさを表現することが優先されてしまい、安定した自動露光制御を行なうのは難しい。

図３に示すような車両の前方若しくは後方の（ドアミラーやルームミラーで視認できる）風景を、夜間やトンネル内などの暗い走行環境下で車載カメラにより撮影した場合について考察する。仮に、図示の風景を、車両後方の道路（左側車線）３０２に後続車両３０１が走行しているとみなす。暗い走行環境なので、後続車両３０１は左右２つのヘッドライトを点灯しているものとする。

図４には、図３に示すような暗い走行環境下の風景を車載カメラで低照度時用の（長い）露光時間により撮影した画像を例示している。後続車両３０１のヘッドライトは高照度であるため、オーバー露光となり、参照番号４０１で示すように周辺の画素まで白く飽和してしまう。このような場合、ヘッドライトを２つの光点として捉えることが難しい。上述した通常の自動露光制御を車載カメラに適用すると、低照度時用の（長い）露光時間で撮影しがちであり、その結果として、図４に示すようなオーバー露光になり易い。

また、図５には、図３に示すような暗い走行環境下の風景を車載カメラで高照度時用の（短い）露光時間により撮影した画像を例示している。露光を抑制することによって、参照番号５０１で示すように、後続車両３０１の高照度の左右のヘッドライトを２つの光点として捉えることができる。

図３４に示すように、暗い走行環境下の風景を車載カメラで後続車両又は対向車両を撮影したときのヘッドライト形状３４０１の横幅をＷｈ、ヘッドライトの横方向の輝度値の平均をＹｈ、最も狭くなっている箇所の縦幅をＷｖ、最も狭くなっている箇所の輝度値の平均値をＹｖとおくと、下式（１）に示すようにＷｈ・Ｙｈ／Ｗｖ・Ｙｖが２〜３程度の値になることが好ましい、と本出願人は考えている（Ａは、２〜３程度の定数）。

このように露光時間を制御することで、ルームミラーやサイドミラーがディスプレイに置き換えられた電子ミラーを搭載した車両であっても、ユーザー（ドライバー）が２つの光点から後続車両３０１の車幅及び車間距離を推測することができて、車線変更すべきかどうかを判断し易くなる。また、フロントカメラ１０１に上記露光制御を適用することで、２つの光点から先行車両３０２又は対向車両の車幅を求めることができる。なお、後続車両３０１のヘッドライトの画角情報があれば、３角測量の原理で自車両と後続車両３０１との車間距離を算出することもできる。さらに、対向車両のヘッドライトの２つの光点から対向車両との車間距離を算出することができる。これらの情報は、例えば、対向車両との車間距離に応じて、自車両のヘッドライトをハイビームとロービームとに自動的に切り替えるヘッドライト・コントロール・システムに適用することができる。

例えば高速道路を走行しているとき、自車両は先行車両にすぐ追いつき、逆に後続車両にすぐに追いつかれてしまう。このため、安全に車線変更を行なうには、遠方の視界支援が重要である。走行支援や遠方の視界支援に関わる車載カメラでは、自車両に接近し得る遠方車両をより正確に捉える必要がある。ところが、夜間やトンネル内など暗い走行環境下では、上述したように、高照度の（逆光となる）周辺車両のランプを車載カメラで撮影する際にオーバー露光になり易いという問題がある。とりわけ、遠方車両のヘッドライト光源は視野内での割合が小さいため、画面全体を平均的に露光制御する通常の自動露光制御を適用すると、オーバー露光になり易く、周辺の画素まで白く飽和するので、ヘッドライトを２つの光点として捉えることが難しい。

また、市街地での一般道路では、他車両が遠方から高速で接近することは少なく、一律に遠方車両の光源視認を優先することが望ましいとは限らないため、目的に応じた切り替えが必要である。

走行環境として、市街地、トンネル、夜間、街灯の存在しない道路、高速道路、夕暮れなど環境光源の変化や走行道の平均車両速度を以って露光制御モードを判断することが例として挙げられる。

そこで、本明細書では、夜間やトンネル内など暗い走行環境下で高照度のヘッドライトを点灯させた遠方車両を車載カメラでオーバー露光することなく好適に撮影するための露光制御技術について提案する。本明細書で開示する技術は、端的に言えば、夜間にヘッドライトを点灯させた遠方車両の波形プロファイル解析をカメラの撮影画像内に設定する小枠の中で行なうことによって、遠方車両のヘッドライトを見易くする最適な露光制御を可能にするものである。

図６には、車載カメラの自動露光制御を行なうことができる、車載カメラ・システム６００の構成例を模式的に示している。

対象とする車両には、イメージ・センサー６０１、ヨー角検出部６０２、ピッチ角検出部６０３、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｏｉｎｉｎｇ Ｓｙｓｔｅｍ）センサー６０４などの複数のセンサーが搭載されている。

イメージ・センサー６０１は、周辺車両などを撮影する目的で自車両に搭載される車載カメラに相当し、例えば図１や図２に示したいずれかの場所に設置されている。イメージ・センサー６０１は、２台以上の車載カメラを含んでいてもよい。あるいは、イメージ・センサー６０１は、車載カメラ以外のセンサーであってもよい。

ヨー角検出部６０２は、自車両のヨー回りの回転角度θを検出する。例えば、自車両がカーブを走行しているときには、ヨー角検出部６０２は、道路の曲り角度に相当する自車両のヨー回りの回転角度の時々刻々の変化δθを検出する。ヨー角検出部６０２は、例えば、ヨーレート・センサーや舵角センサーで構成される。ヨー角検出部６０２で検出されるヨー角θは、例えば自車両の直進方向に対する曲り角に相当する。

ピッチ角検出部６０３は、自車両のピッチ回りの回転角度φや角速度を検出する。例えば、自車両が上り坂又は下り坂の坂道を走行しているときには、ピッチ角検出部６０３は、坂道の傾斜の時々刻々の変化δφを検出する。ピッチ角検出部６０３は、例えば、ピッチレート・センサーやジャイロ・センサーで構成される。検出されるピッチ角φは、例えば自車両が上り坂や下り坂を走行する際の自車両の傾き、車室内の積荷などによって生じる車体の傾き、又は自車両の加減速時の慣性力によって生じる車体の傾きに相当する。

ＧＰＳセンサー６０４は、上空のＧＰＳ衛星からの電波（ＧＰＳ信号）を受信する。４つのＧＰＳ衛星からのＧＰＳ信号に基づいて測位計算することで、受信時刻と受信機座標（３次元空間上の点）を同時に求めることができる（周知）。

処理部６０５は、作業エリアとして用い、あるいはデータやプログラムを不揮発的に記憶するためのメモリー６０６を内部に備えており、各種処理を実行する。例えば、処理部６０５は、車載カメラにおける自動露光を制御するための処理を実行する。また、処理部６０５は、イメージ・センサー６０１、ヨー角検出部６０２、ピッチ角検出部６０３、ＧＰＳセンサー６０４の各検出信号に基づいて、自車両の走行履歴を記録したり、走行進行方向を判定したり、自動露光制御のモード移行を制御したりする処理を行なう。なお、メモリー６０６は、重み付け情報（後述）や各種設定値などの自動露光制御の際に使用する情報をあらかじめ格納するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）を含むものとする。

設定入力部６０７は、例えばタッチパネルや、ボタン若しくはスイッチなどの操作子からなり、処理部６０５で処理を実行するためのユーザー（例えば、自車両の運転手）からの入力操作を受け付ける。ユーザーは、設定入力部６０７を介して、車載カメラの自動露光制御のモード移行の設定を行なうことができる。

画像出力部６０８並びに音声出力部６０９は、処理部６０５による処理の実行結果を画像並びに音声でそれぞれ出力する。画像出力部６０８は、例えば自車両の運転席から観察することができるモニター画面を有しており、車載カメラの自動露光制御のモード移行を視覚的に通知したり、遠方車両の検出結果を表示したりすることができる。音声出力部６０９は、例えばスピーカーで構成され、車載カメラの自動露光制御のモード移行や、遠方車両の検出結果を音声で通知することができる。

図７には、図６に示した車載カメラ・システム６００で実行する、車載カメラの自動露光制御の処理手順をフローチャートの形式で示している。図示の自動露光制御は、車載カメラ（イメージ・センサー６０１）の電源を投入したことにより、処理部６０５が開始するものとする。

まず、処理部６０５は、車載カメラで撮影した画面全体の画像を取り込み、ラスター・スキャンする（ステップＳ７０１）。

次いで、処理部６０５は、車載カメラに対し、通常の自動露光制御を行なう（ステップＳ７０２）。通常の（若しくは、一般的な）写真撮影や観賞用のビデオ映像の撮影に適用される露光制御技術は、基本的に、画面全体を平均的に露光制御するものである。例えば、画面を単純に複数領域に分割した明るさ検波枠を設け、その検波枠毎に入射する光の総和を積算して得られる光量に基づいてカメラの露光を自動制御する方法が挙げられる（例えば、特許文献３を参照のこと）。

次いで、処理部６０５は、車両光源検波モードに移行すべきか否かを判定する（ステップＳ７０３）。ここで言う車両光源検波モードとは、夜間やトンネル内などの暗い走行環境下で、自動車のランプ（遠方車両のヘッドライトやテールライト）の存否をチェックする動作モードのことである。車両光源の検波は、後述する遠方小枠内に限定して実施する。遠方車両の２つの光点を視覚的に分離できるように最適化した（若しくは、遠方車両の光点分離を優先して露光制御する）光点分離最適化自動露光制御モード（後述）へ変更する際には、事前に遠方小枠内での車両光源検波を行なうものとする。車両光源検波モードに移行すべきか否かを判定するための処理手順の詳細については、後述に譲る。

車両光源検波モードに移行すべきでないと判定した場合には（ステップＳ７０３のＮｏ）、ステップＳ７０１に戻り、処理部６０５は、車載カメラに対する通常の自動露光制御を継続して行なう。

一方、車両光源検波モードに移行すべきであると判定した場合には（ステップＳ７０３のＹｅｓ）、処理部６０５は、続いて、車載カメラの撮影する画像内で、自車両の走行進行方向の遠方道路消失点の校正処理を行なう（ステップＳ７０４）。

消失点は、透視変換によって３次元空間中の平行線を画像上に投影した場合に、それら平行線に対応する画像上の直線が収束する点のことである（例えば、特許文献４を参照のこと）。消失点は、理論的には無限遠点である。「消失点」と言うとき、車載カメラの撮像画像の消失点（無限遠点）と、走行中の道路の稜線が遠方で交わる消失点という２種類の点が想起される。本明細書では、便宜上、車載カメラの撮像画像の消失点（無限遠点）を「基準点」と呼び、走行中の道路の稜線が遠方で交わる消失点を「走行進行方向の遠方道路消失点」（若しくは、単に「消失点」）と呼ぶことにする。なお、車載カメラの撮影画像上の基準点は、カメラ・パラメーターなどによって決まる固定値であり、メモリー（ＲＯＭ）６０６内にあらかじめ格納されているものとする。図８には、真直ぐな道路を走行中の自車両に搭載された車載カメラで後方を撮影する場合の、車両の走行進行方向の遠方道路消失点８０２と基準点８０１との位置関係を例示している。例えば、真直ぐな道路を走行中の自車両に搭載された車載カメラで後方を撮影する場合、図８に示すように光軸を道路と平行にしたカメラで車両の進行方向を捕えたカメラ画像では、車載カメラの撮像画像の消失点（無限遠点）と、走行中の道路８０３の稜線が遠方で交わる道路の平行無限遠方が重なるため、消失点はほぼ一致する。但し、車載カメラを自車両に取り付ける位置や取り付ける角度に応じて、基準点８０１と走行進行方向の遠方道路消失点８０２は多少ずれる。

また、図９に示すように、右カーブの道路９０３を通過するときに自車両に搭載された車載カメラで後方を撮影する場合、走行進行方向の遠方道路消失点９０２は基準点９０１よりも左方にずれる（あるいは、左カーブを通過するときの前方を車載カメラで撮影する場合も、走行進行方向の遠方道路消失点は基準点よりも左方にずれる）。

逆に、図１０に示すように、左カーブの道路１００３を通過するときに自車両に搭載された車載カメラで後方を撮影する場合、走行進行方向の遠方道路消失点１００２は基準点１００１よりも右方にずれる（あるいは、右カーブを通過するときの前方を車載カメラで撮影する場合も、走行進行方向の遠方道路消失点は基準点よりも右方にずれる）。

処理部６０５は、ヨー角検出部６０２で検出されるヨー角情報などの走行履歴に基づいて、走行中の道路がどれだけ左側又は右側にカーブしたかを検出することができる。あるいは、ＧＰＳセンサー６０４から得られる現在位置情報と地図情報に基づいて、走行中の道路がこれからどれだけ左側又は右側にカーブするかを予測することができる。

また、走行中の道路の傾斜が変化したときには、走行進行方向の遠方道路消失点は、基準点に対し上下方向にずれる場合がある。図１１には、自車両が走行中の道路のプロファイルを例示している（但し、紙面で左→右方向を自車両の進行方向とする）。参照番号１１０１は平坦な（若しくは、傾斜が一定の）道路のプロファイル、参照番号１１０２は地点１１１０で下り坂が終わる道路のプロファイル、参照番号１１０３は地点１１１０で上り坂が終わる道路のプロファイルである。

参照番号１１０１で示すような平坦な（若しくは、傾斜が一定の）道路を走行中に、自車両に搭載された車載カメラで後方を撮影する場合、図８に示したように、走行進行方向の遠方道路消失点は車載カメラの撮像画像の消失点（無限遠点）とほぼ一致する。

一方、参照番号１１０２で示すような下り坂を折り終えた地点１１１０で、自車両に搭載された車載カメラで道路１２０３の後方を撮影する場合、図１２に示すように、走行進行方向の遠方道路消失点１２０２は基準点１２０１よりも上方にずれる（あるいは、上り坂に差し掛かったときの前方を車載カメラで撮影する場合も、走行進行方向の遠方道路消失点は基準点よりも上方にずれる）。

また、参照番号１１０３で示すような上り坂１３０３を折り終えた地点１１１０で、自車両に搭載された車載カメラで道路１３０３後方を撮影する場合、図１３に示すように、走行進行方向の遠方道路消失点１３０２は基準点１３０１よりも下方にずれる（あるいは、下り坂に差し掛かったときの前方を車載カメラで撮影する場合も、走行進行方向の遠方道路消失点は基準点よりも下方にずれる）。

図８〜図１３で言わんとすることを要約すると、自車両の後方では、自車両が走行してきた走行軌跡方角に基づいて遠方道路消失点を校正し、自車両の前方では、自車両の予測進行方向（自車両が走行中の道路に沿った路面方角）に基づいて遠方道路消失点を校正するようにする。

処理部６０５は、ピッチ角検出部６０３で検出されるピッチ角情報などの走行履歴に基づいて、走行してきた道路の傾斜の変化を検出することができる。あるいは、ＧＰＳセンサー６０４から得られる現在位置情報と地図情報に基づいて、走行中の道路がこれから上り坂又は下り坂に差し掛かることを予測することができる。

したがって、ステップＳ７０４では、処理部６０５は、車載カメラの取り付け位置並びに取り付け角度、走行履歴（ヨー角検出部６０２から得られる自車両の進行方向の変化、ピッチ角検出部６０３から得られる自車両の車体傾き、ＧＰＳセンサー６０４から得られる現在位置情報）に基づいて、自車両の走行進行方向の遠方道路消失点を決定する（すなわち、基準点に基づいて遠方道路消失点の位置を校正する）ようにすればよい。

次いで、処理部６０５は、遠方道路消失点を校正した後の画面上で、自動車のランプ（遠方車両が点灯するヘッドライト又はテールライト）の検出を優先するための遠方小枠を定義する（ステップＳ７０５）。

例えば高速道路における遠方の視界支援に関わる車載カメラでは、自車両に接近し得る遠方車両をより正確に捉える必要がある。ところが、遠方車両のヘッドライト光源は、視野内での割合が小さいため、通常の自動露光制御を適用するとオーバー露光になり易い、これがランプ検出を優先する遠方小枠を定義する理由である。

また、自車両に接近し得る遠方車両は、自車両の後方では、自車両が走行してきた走行軌跡方角を走行し、自車両の前方では、自車両の予測進行方向（自車両が走行中の道路に沿った路面方角）を走行していると想定される。したがって、自車両の走行進行方向の遠方道路消失点を基準に遠方小枠を定義することによって、所望する遠方車両を遠方小枠内で捉えることを期待できる。

ステップＳ７０５では、先行ステップＳ７０４で校正した遠方道路消失点に基づいて、遠方小枠を定義する。図１４には、車載カメラの撮影画像内で遠方道路消失点１４０２を基準にして、遠方小枠１４０１を定義した例を示している。ランプ（遠方車両が点灯するヘッドライト又はテールライト）の検出を、遠方小枠に限定するのは、車載カメラの視野内における遠方車両のヘッドライトやテールライト光源の割合が小さいからである。また、基本的には、遠方道路消失点１４０２の下方近傍に遠方小枠１４０１を設定するが、これは路面を走行する遠方車両１４０４は撮影画像内で遠方道路消失点より下に存在するという自明の理由に依拠する。さらに、一般に、街灯は自車のカメラ配置高さより高い位置にあると想定され、且つ遠方消失点より撮影画像内で上部に存在するため、街灯などを枠に入れないようにすることも理由である。また、上記のように遠方小枠１４０１の位置と大きさを遠方道路消失点１４０２の近傍に絞り込むことで、道路１４０３の両脇の街灯１４０５などの車両以外の光源を検出対象から外すことができるというメリットもある。

遠方小枠の大きさや形状（長方形や台形など）はあらかじめ定義したものでもよい。以下の説明では、あらかじめ定義された遠方小枠の大きさや形状は、メモリー（ＲＯＭ）６０６内にあらかじめ格納されているものとする。但し、自車両が走行する道路のカーブや起伏により遠方道路消失点が基準点から移動するので（前述、並びに図８〜図１３を参照のこと）、遠方道路消失点の位置に応じて遠方小枠を設置する位置や大きさ、形状を変化させるようにしてもよい。ステップＳ７０５において実施する、遠方小枠を定義するための処理手順の詳細については、後述に譲る。

次いで、処理部６０５は、先行ステップＳ７０５で定義した遠方小枠内で、輝度水平プロファイルを生成する（ステップＳ７０６）。具体的には、遠方小枠内で、スキャン・ライン方向に各画素の輝度値を合算した値（あるいは平均値を用いてもよい）に基づいてスキャン・ライン毎の重みを決定した後、遠方小枠内の水平画素位置毎に、スキャン方向の各画素の輝度値をスキャン・ライン毎の重みで重み付け加算することによって平滑化して、遠方小枠内の輝度水平プロファイルを生成する。

図１５には、遠方小枠１５００内の１つの垂直画素位置ｖにおけるスキャン・ライン１５０１を例示している。図１６には、垂直画素位置ｖのスキャン・ライン１５０１における水平方向の輝度分布を例示している。同図中、横軸は遠方小枠内の水平画素位置ｕであり、縦軸は各水平画素位置ｕにおける輝度値Ｙ（ｕ，ｖ）である。図１７には、遠方小枠内の同じ水平位置の画素の輝度値を合計して得られるスキャン・ライン（ｖ）毎（垂直方向）の重みを例示している。同図中、縦軸は遠方小枠内のスキャン位置（垂直画素位置ｖ）であり、横軸は各スキャン位置における（画素の輝度値の合計からなる）重みＷ（ｖ）（＝ΣＹ（ｕ_i，ｖ））である。図１５に示したように、遠方小枠内にヘッドライトを点灯させた遠方車両が含まれる場合、ヘッドライトを通過するスキャン位置付近で、輝度値の合計すなわち重みが大きくなることが予測される。また、図１８には、遠方小枠内の水平画素位置（ｕ）毎に、スキャン方向の各画素の輝度値をスキャン・ライン毎の重みで重み付け加算して得られる、遠方小枠の輝度水平プロファイルを例示している。同図中、横軸は遠方小枠内の水平画素位置ｕであり、縦軸は水平画素位置ｕにおける画素の輝度値を重み付け加算した重み付け輝度合計値Ｙｓｕｍ（ｕ）である。ステップＳ７０６で実施する、遠方小枠内の輝度水平プロファイルを生成するための詳細な処理手順については、後述に譲る。

そして、処理部６０５は、先行ステップＳ７０６で生成した輝度水平プロファイルに基づいて、先行ステップＳ７０５で定義した遠方小枠内に自動車のランプ（すなわち、遠方の対向車両（又は、後続車両）のヘッドライト、若しくは、先行車両のテールライト））があるか否かをチェックする（ステップＳ７０７）。図１５に示したように、２つの光点（遠方車両のヘッドライト）を含む遠方小枠１５００の場合、図１８に示すように２つの山（極大点）を持つ輝度水平プロファイルとなることが想定される。ステップＳ７０７で実施する、遠方小枠内で自動車のランプの存否を確認するための処理手順の詳細については、後述に譲る。

遠方小枠内に自動車のランプがない場合には（ステップＳ７０７のＮｏ）、ステップＳ７０１に戻り、処理部６０５は、車載カメラに対する通常の自動露光制御を行なうようにする。但し、既に光点分離最適化自動露光制御モード（後述）に移行しており、通常の自動露光制御モードに変更するときには（ステップＳ７１１のＹｅｓ）、自車両の運転者に対して、画像出力部６０８や音声出力部６０９を通じて、モード変更の通知を事前に行なうようにする（ステップＳ７１２）。

また、遠方小枠内に自動車のランプがある場合は（ステップＳ７０７のＹｅｓ）、処理部６０５は、光点分離最適化自動露光制御モード下で、２つの光点（対向車両（又は、後続車両）の左右のヘッドライト、若しくは、先行車両の左右のテールライト））を分離できるように、車載カメラの自動露光制御を最適化処理する（ステップＳ７１０）。但し、通常の自動露光制御モードから光点分離最適化自動露光制御モードへ変更するときには（ステップＳ７０８のＹｅｓ）、自車両の運転者に対して、画像出力部６０８や音声出力部６０９を通じて、モード変更の通知を事前に行なうようにする（ステップＳ７０９）。

なお、必ずしも通常の自動露光制御モードと光点分離最適化自動露光制御モードとの２段階である必要はなく、その中間のモードを設定してもよい。例えば、通常の自動露光制御モードに基づいた露光制御×αと、光点分離最適化自動露光制御モードに基づいた露光制御×βとし（但し、α＋β＝１）、αとβを道路環境や外光光源環境に応じて制御するようにしてもよい。

また、本実施形態ではステップＳ７０７において遠方小枠内に自動車のランプがあるか否かを判別した後にステップＳ７１０で露光制御を実施しているが、逆に露光制御を実施した後に遠方小枠内に自動車のランプがあるか否かを判別するようにしてもよい。

図１９には、図７に示したフローチャートのステップＳ７０３で実行する、車両光源検波モードに移行すべきか否かを判定するための処理手順をフローチャートの形式で示している。

まず、処理部６０５は、車両光源検波モードの移行が可能か否かをチェックする（ステップＳ１９０１）。ユーザー（例えば、自車両の運転者）は、設定入力部６０７を通じてモード設定を行なうことができるものとし、設定状況などに応じて当該判定処理を行なう。車両光源検波モードの移行が可能に設定されていない場合には（ステップＳ１９０１のＮｏ）、車両光源検波モードへの移行に対して否定的な判定結果を返す（ステップＳ１９０５）。

運転者は、車載カメラによる撮影画像から遠方車両のランプを検出する必要のない場合には、設定入力部６０１を通じて車両光源検波への移行を不可に設定して、車載カメラに対して通常の自動露光制御を継続して適用するようにすればよい。例えば、車載カメラで、遠方車両に限定せず、風景全体を撮影したいときには、車両光源検波への移行を不可に設定しておく。

また、車両光源検波モードの移行が可能な場合には（ステップＳ１９０１のＹｅｓ）、処理部６０５は、自車両が現在高速道路を走行しているか否かをさらにチェックする（ステップＳ１９０２）。

処理部６０５は、例えば、ＧＰＳセンサー６０４から得られる位置情報に基づいて、自車両が現在高速道路を走行しているか否かをチェックすることができる。あるいは、イメージ・センサー６０１による撮影画像を解析して、走行している道路が高速道路であるかどうかを判定するようにしてもよい。あるいは、自車両でＥＴＣ（Ｅｌｅｃｔｒｏｎｉｃ Ｔｏｌｌ Ｃｏｌｌｅｃｔｉｏｎ Ｓｙｓｔｅｍ）による高速道路の利用料金が徴収されている状態であるかどうか（例えば、ＥＴＣ車載機が料金所アンテナで受信した入口情報を保持している状態であるかどうか）に基づいて、現在高速道路を走行しているか否かをチェックすることができる。

高速道路を走行しているとき、自車両並びに周辺車両は高速で走行していることが想定されている。また、高速道路は、直線又はカーブが緩やかであり、遠方まで見渡すことができる。例えば、自車両が夜間やトンネル内など暗い走行環境下の高速道路で車線変更しようとするとき、遠方の後続車両が自車両に急接近してくる可能性や自車両が遠方の先行車両に急接近する可能性があるので、車両光源検波や、遠方車両の光点（左右のヘッドライト）分離に最適化した（若しくは、遠方車両の光点分離を優先して露光制御する）自動露光制御が必要である。他方、一般道路や市街地を走行しているとき、自車両と遠方車両が急接近する可能性は極めて低く、むしろ近隣で走行している車両や通行人を注意する必要がある。また道路は折れ曲がりがちで遠方の見通しは良くないことが多い。したがって、高速道路以外では、車両光源検波や遠方車両の光点分離最適化自動露光制御は不要である。

自車両が現在高速道路を走行していない場合には（ステップＳ１９０２のＮｏ）、車両光源検波モードに移行する必要がないので、車両光源検波モードへの移行に対して否定的な判定結果を返す（ステップＳ１９０５）。

また、自車両が現在高速道路を走行している場合には（ステップＳ１９０２のＹｅｓ）、処理部６０５は、現在の走行環境が暗いか否かをさらにチェックする（ステップＳ１９０３）。

例えば夜間やトンネル内は暗い走行環境と言うことができる。処理部６０５は、例えばシステム時計が計時する時刻情報に基づいて、夜間か否かを判定するようにしてもよい。また、ＧＰＳセンサー６０４から得られる現在位置情報と地図情報に基づいて、自車両がトンネル内を走行しているか否かを判定するようにしてもよい。あるいは、イメージ・センサー６０１による撮影画像の輝度情報に基づいて、夜間やトンネル内などの暗い走行環境下であるか否かを判定するようにしてもよい。

自車両が暗い走行環境下で走行していない場合には（ステップＳ１９０３のＮｏ）、画面全体を平均的に露光制御する通常の自動露光制御でも精細に遠方車両をと捉えることができる。すなわち、車両光源検波モードに移行する必要がないので、車両光源検波モードへの移行に対して否定的な判定結果を返す（ステップＳ１９０５）。

他方、車両光源検波モードの移行が可能で、且つ、自車両が高速道路を、夜間やトンネル内などの暗い走行環境下で走行していると判定された場合には（ステップＳ１９０３のＹｅｓ）、車両光源検波モードへの移行に対して肯定的な判定結果を返す（ステップＳ１９０４）。

図１９に示した処理手順を経て、車両光源検波モードに移行すべきであると判定した場合には、処理部６０５は、続くステップＳ７０４で、車載カメラが撮影する、自車両の走行進行方向の遠方道路消失点の校正処理を行なう。

走行中の道路のカーブや傾斜の変化に応じて走行進行方向の遠方道路消失点を校正すべき点については、図８〜図１２を参照しながら既に説明した。本明細書で言う走行進行方向の遠方道路消失点は、道路の稜線が収束する点である。消失点は、理論的には無限遠点である。撮影画像中のオプティカルフロー（動きベクトル）を延長した直線が交わる点として遠方道路消失点を厳密に求めることができる。

現実的には、高速道路を走行中に、自車両を車線変更しようとするとき、無限遠の遠方の後続車両を確認する必要はない。自車両の後方では、自車両が走行してきた走行軌跡方角に所定距離Ｌ（例えばＬ＝１５０メートル程度）だけ後方の場所を近似的な遠方道路消失点とするようにしてもよい。同様に、自車両の前方で、自記車両の予測進行方向（前記車両が走行中の道路に沿った路面方角）に所定距離Ｌだけ前方の場所を近似的な遠方道路消失点とするようにしてもよい。

図２０を参照しながら、右方に緩やかにカーブする高速道路２０００上で、現在の自車両の位置２００１から所定距離Ｌだけ後方の車両位置２００２で近似する遠方道路消失点を算出する方法について説明する。現在の車両位置２００１から距離δｌだけ後方の地点で道路が角度δθだけ折れ曲がっているとすると、下式（２）に示すように、現在の車両位置２００１から所定距離Ｌだけ後方の車両位置２００２までの間で、角度δθを積分することによって、所定距離Ｌだけ後方の車両位置２００２から曲がった角度θ_Lを算出することができ、距離Ｌと角度θ_Lに基づいて、遠方道路消失点を近似することができる。なお、距離δｌだけ後方での道路の曲り角度δθは、例えばヨー角検出部６０２で自車両のヨーレートとして計測することができる。あるいは、走行進行方向の前方における遠方道路消失点を近似するときには、ＧＰＳセンサー５０４から得られる現在位置情報と地図情報に基づいて距離δｌだけ前方での道路の曲り角度δθを求めるようにしてもよい。

また、図２１を参照しながら、上り坂２１００が終わる地点で、現在の自車両の位置２１０１から所定距離Ｌだけ後方の車両位置２１０２で近似する遠方道路消失点を算出する方法について説明する。現在の車両位置２１０１から距離δｌだけ後方の地点で道路の傾斜角度の変化がδφであるとすると、下式（３）に示すように、現在の車両位置２１０１から所定距離Ｌだけ後方の車両位置２１０２までの間で、傾斜角度の変化δφを積分することによって、所定距離Ｌだけ後方の車両位置２１０２からの傾斜角φ_Lを算出することができ、距離Ｌと傾斜角φ_Lに基づいて、遠方道路消失点を近似することができる。なお、距離δｌだけ後方での道路の傾斜角の変化δφは、例えばピッチ角検出部６０３で自車両のピッチレートとして計測することができる。

処理部６０５は、続くステップＳ７０５で、校正した後の遠方道路消失点に基づいて、車両光源（自動車のランプ）を検波するための遠方小枠を定義する。図１４には、最も単純な場合、すなわち、真っ直ぐな道路の走行進行方向の後方に遠方小枠を定義する例を示した。図２２並びに図２３には、遠方小枠を定義する他の例を示している。カメラの像高は、その光学的投影方式によりさまざまであるが、広角のカメラで無ければ多くの場合は中心射影のいわゆるピンホール投影され、画面の像高に応じて方角が確定する。そのため、道路特定の方角は画面の像高で決まる。

図２２には、右カーブの道路を通過する際の走行進行方向の後方に遠方小枠を定義する例を示している。図９を参照しながら説明したように、この場合の走行進行方向の遠方道路消失点２２０２は基準点２２０１よりも左方にずれる。遠方車両２２０３が道路２２００に沿って右寄りになることや、道路脇の街灯（図示しない）が遠方小枠内に入らないようにすることを考慮して、遠方小枠２２０４を、遠方道路消失点２２０２の真下よりもやや右寄りの位置に定義することが好ましい。自車両の予測進行方向が左にカーブしている場合も同様である。

また、図２３には、左カーブの道路を通過する際の走行進行方向の後方に遠方小枠を定義する例を示している。図１０を参照しながら説明したように、この場合の走行進行方向の遠方道路消失点２３０２は基準点２３０１よりも右方にずれる。遠方車両２３０３が道路２３００に沿って左寄りになることや、道路脇の街灯（図示しない）が遠方小枠内に入らないようにすることを考慮して、遠方小枠２３０４を、遠方道路消失点２３０２の真下よりもやや左寄りの位置に定義することが好ましい。自車両の予測進行方向が左にカーブしている場合も同様である。

図１４、図２２、並びに図２３に示した例では、矩形の遠方小枠を定義する例を示したが、３角形や扇形、台形など他の形状の遠方小枠を定義するようにしてもよい。走行中の道路の稜線は、遠方（すなわち消失点）に向かって細くなっていくのに対して、矩形の遠方小枠を定義すると、道路以外（言い換えれば、自動車のランプが存在し得ない）無駄な領域を含んだ遠方小枠となってしまう。これに対し、３角形や扇形、台形のような先細り形状の遠方小枠を利用することで、無駄な領域を抑制することができる。

図３５には、車載カメラの撮影画像内で遠方道路消失点３５０２を基準にして、３角形の遠方小枠３５０１を定義した例を示している。まず、３角形の頂点の１つを遠方道路消失点３５０２と一致させる。そして、２辺が遠方道路消失点３５０２から道路の左右の稜線３５０３及び３５０４に沿って伸びるような３角形を、遠方小枠３５０１として定義する。ここで、道路の左右の稜線３５０３及び３５０４は、車線検出手段によって検出される。車線検出手段は、例えばエッジ検出アルゴリズムを用いて道路の稜線や、路肩付近に引かれたレーン・マーカーや白線などを検出し、これに基づいて道路の左右の稜線３５０３及び３５０４を検出する。３角形の遠方小枠３５０１を定義することで、街灯などの光源が遠方小枠３５０２内に入らないようにすることができるとともに、道路内に存在する車両のランプを確実に検出することができる。また、３角形の遠方小枠３５０１を定義することで、街灯が遠方小枠３５０２内に入らないようにしつつ、遠方小枠３５０１の面積を拡大させることができる。

また、図３６には、車載カメラの撮影画像内で遠方道路消失点３６０２を基準にして、３角形の遠方小枠３６０１を定義した他の例を示している。図３５との相違点は、車両の左側走行の地域である場合を想定して、左側車線のレーンに沿うように３角形の遠方小枠３６０１を定義している点である。まず、３角形の頂点の１つを遠方道路消失点３６０２と一致させる。そして、道路の左側の稜線（又は左側の路肩付近に引かれたレーン・マーカー）３６０３と道路の中央線３６０４を車線検出手段（前述）で検出すると、遠方道路消失点３６０２を頂点とし、２辺が道路の左側の稜線（又はレーン・マーカー）３６０３と中央線３６０４に沿って伸びるような３角形を、遠方小枠３５０１として定義する。なお、図示を省略するが、車両の右側走行の地域である場合には、遠方道路消失点を頂点にするとともに、道路の右側の稜線（又は右側の路肩付近に引かれたレーン・マーカー）と道路の中央線に沿って伸びる２辺からなる３角形を遠方小枠として定義すればよい。このように、左側（又は右側）の片側車線のみを含む３角形からなる遠方小枠を定義することで、対向車線側を走行する車両のテールライトを誤検出する（若しくは、無駄に検出する）ことを防止できるというさらなるメリットがある。

また、図３７には、車載カメラの撮影画像内で遠方道路消失点３７０２を基準にして、扇形の遠方小枠３７０１を定義した例を示している。図３７でも、図３６と同様に、車両の左側走行の地域である場合を想定している。まず、扇形の中心を遠方道路消失点３７０２と一致させる。そして、道路の左側の稜線（又は左側の路肩付近に引かれたレーン・マーカー）３７０３と道路の中央線３７０４を車線検出手段（前述）で検出すると、遠方道路消失点３７０２を中心とし、２本の半径がそれぞれ道路の左側の稜線（又はレーン・マーカー）３７０３と中央線３７０４に沿うような扇形を、遠方小枠３７０１として定義する。なお、図示を省略するが、車両の右側走行の地域である場合には、遠方道路消失点を中心にするとともに、２本の半径がそれぞれ道路の右側の稜線（又は右側の路肩付近に引かれたレーン・マーカー）と道路の中央線に沿うような扇形を遠方小枠として定義すればよい。このように、３角形ではなく扇形からなる遠方小枠を定義することで、（無駄な領域を含めることなく）遠方小枠の面積をさらに拡大させることができ、後続車両のヘッドライト（若しくは、先行車両のテールライト）の検出確率をさらに高めることができる。

また、図３８には、車載カメラの撮影画像内で遠方道路消失点３８０２を基準にして、台形の遠方小枠３８０１を定義した例を示している。まず、遠方道路消失点３８０２を基準にしてその手前の所定位置に台形の上底及び下底の各々を設定する。そして、道路の左右の稜線（若しくは、左右それぞれの路肩付近に引かれたレーン・マーカー）３８０３及び３８０４を車線検出手段（前述）で検出すると、上記の上底及び下底と、道路の左右の稜線３８０３及び３８０４に沿った１対の脚からなる台形を、遠方小枠３８０１として定義する。このように、台形からなる遠方小枠を定義することで、自車両の直後の後続車両のヘッドライトのみを検出し（若しくは、自車両の直前の先行車両のテールライトのみを検出し）、直後の後続車両より後方の車両のヘッドライト（若しくは、直前の先行車両より前方の車両のテールライト）の誤検出を防止することができる。

また、図３９には、車載カメラの撮影画像内で遠方道路消失点３９０２を基準にして、台形の遠方小枠３９０１を定義した他の例を示している。図３８との相違点は、車両の左側走行の地域である場合を想定して、左側車線のレーンに沿うように台形の遠方小枠３９０１を定義している点である。まず、遠方道路消失点３９０２を基準にしてその手前の所定位置に台形の上底及び下底の各々を設定する。そして、道路の左側の稜線（又は左側の路肩付近に引かれたレーン・マーカー）３９０３と道路の中央線３９０４を車線検出手段（前述）で検出すると、上記の上底及び下底と、道路の左側の稜線３９０３と道路の中央線３９０４に沿った１対の脚からなる台形を、遠方小枠３９０１として定義する。なお、図示を省略するが、車両の右側走行の地域である場合には、遠方道路消失点からそれぞれ所定の位置に設定された上底及び下底と、道路の右側の稜線（又は右側の路肩付近に引かれたレーン・マーカー）と道路の中央線に沿った１対の脚からなる台形を遠方小枠として定義すればよい。

また、図４０には、車載カメラの撮影画像内で遠方道路消失点４０００を基準にして定義する遠方小枠の他の例を示している。図示の例では、遠方道路消失点４０００と一致する中心を持つ扇形からなる第１の遠方小枠４００１と、第１の遠方小枠４００１と同心円となる（言い換えれば、遠方道路消失点４０００と一致する中心を持つ）環状の第２の遠方小枠４００２が定義されている。まず、扇形の中心を遠方道路消失点４０００と一致させる。そして、道路の左側の稜線（又は左側の路肩付近に引かれたレーン・マーカー）４００３と道路の中央線４００４を車線検出手段（前述）で検出すると、遠方道路消失点４０００を中心とし、２本の半径がそれぞれ道路の左側の稜線（又はレーン・マーカー）４００３と中央線４００４に沿うような扇形を、第１の遠方小枠４００１として定義する。さらに、第１の遠方小枠４００１の外側に、遠方道路消失点４０００からそれぞれ所定の間隔で設定された内周及び外周からなり、第１の遠方小枠４００１と同心円となる環状の第２の遠方小枠４００２を定義する。なお、図示を省略するが、車両の右側走行の地域である場合には、上記とは左右対象となる第１の遠方小枠及び第２の遠方小枠を定義すればよい。

図２２及び図２３、並びに図３５内示図４０で言わんとすることを要約すると、基準点（車載カメラの撮影画像の無限遠点）に対する自車両の走行進行方向の遠方道路消失点の相対位置に基づいて、遠方小枠を定義するべきということである。基準点に対する自車両の走行進行方向の遠方道路消失点の相対位置に基づいて遠方小枠の位置を調整することで、走行中の道路の両脇の街灯など余計な光源が車載カメラの視野に入ったとしても、遠方小枠から外すことができるといったメリットがある。

図２４には、図７に示したフローチャートのステップＳ７０５で実行する、自動車のランプの検出を優先するための遠方小枠を定義する処理手順をフローチャートの形式で示している。

処理部６０５は、まず、先行ステップＳ７０４で校正した遠方道路消失点を読み込む（ステップＳ２４０１）。

次いで、処理部６０５は、メモリー（ＲＯＭ）６０６内から基準点の位置を読み込む（ステップＳ２４０２）。そして、基準点と遠方道路消失点の位置を比較して（ステップＳ２４０３）、その比較結果に基づいて、遠方道路消失点の中心位置を決定する（ステップＳ２４０４）。例えば、図２２並びに図２３に示したように、遠方道路消失点が基準点よりも右側に移動している場合には、遠方小枠の中心位置を遠方道路消失点の真下よりも左寄りに決定し、逆に、遠方道路消失点が基準点よりも左側に移動している場合には、遠方小枠の中心位置を遠方道路消失点の真下よりも右寄りに決定する。

次いで、処理部６０５は、メモリー（ＲＯＭ）６０６内から遠方小枠の大きさと形状を読み込み（ステップＳ２４０５）、遠方小枠の始点（左上）と終点（右下）の位置を決定する（ステップＳ２４０６）。

遠方小枠の形状は、基本的には、横長の長方形である。但し、遠方道路消失点の位置などに応じて、３角形や扇形、台形など別の枠形状（図３５乃至図４０を参照のこと）に変更するようにしてもよい。

また、道路の両脇の街灯など、遠方車両以外の光源が枠内に入らないように、遠方小枠の範囲を設定することが好ましい。上述したように、遠方道路消失点が基準点よりも右側に移動している場合には、遠方小枠の中心位置を遠方道路消失点の真下よりも左寄りに決定し（図２３を参照のこと）、逆に、遠方道路消失点が基準点よりも左側に移動している場合には、遠方小枠の中心位置を遠方道路消失点の真下よりも右寄りに決定することで（図２２を参照のこと）、街灯が遠方小枠内に入らないようにする。また、３角形や扇形、台形など別の枠形状に変更することによって、街灯が遠方小枠内に入らないようにするようにしてもよい。

また、車載カメラの撮影画像上から厳密に決定する遠方道路消失点ではなく、図２０並びに図２１を参照しながら説明したような、自車両の走行履歴（ヨー角並びにピッチ角の変化情報など）に基づいて近似される遠方道路消失点に対して遠方小枠の中心位置を決定するようにしてもよい。

処理部６０５は、続くステップＳ７０６で、定義した遠方小枠内で輝度水平プロファイルを生成する。図１５〜図１８を参照しながら既に説明したように、遠方小枠内で、スキャン・ライン方向に各画素の輝度値を合算した値に基づいてスキャン・ライン毎の重みを決定し、遠方小枠内の水平画素位置毎に、スキャン方向の各画素の輝度値をスキャン・ライン毎の重みで重み付け加算することによって平滑化して、遠方小枠内の輝度水平プロファイルを生成する。

図２５Ａ及び図２５Ｂには、遠方小枠内で輝度水平プロファイルを生成するための処理手順をフローチャートの形式で示している。図示の処理手順は、読み出し中の１スキャン・ライン分の輝度情報をメモリーに記録し、同じスキャン・ラインの輝度合算値に基づいて重み付けして、スキャン方向に輝度値を重み付け加算する方法である。

処理部６０５は、まず、遠方小枠内の水平画素位置Ｕにおける重み付け輝度合計値を蓄積する垂直ライン輝度信号蓄積メモリーＹｓｕｍ（Ｕ）、水平１ライン輝度信号蓄積メモリーＷ、並びに、水平１ライン分メモリーＹｔｍｐ（Ｕ）の各メモリーを初期値０にリセットする（ステップＳ２５０１）。

次いで、処理部６０５は、先行ステップＳ７０１でラスター・スキャンした画素データを取り込む（ステップＳ２５０２）。

ここで、スキャン位置（Ｕ，Ｖ）が遠方小枠の範囲内であれば（ステップＳ２５０３のＹｅｓ）、処理部６０５は、そのスキャン位置における輝度Ｙ（Ｕ，Ｖ）を水平ライン輝度信号蓄積メモリーＷに逐次加算していくとともに（ステップＳ２５０４）、輝度Ｙ（Ｕ，Ｖ）を水平１ライン分メモリーＹｔｍｐ（Ｕ）に記録する（ステップＳ２５０８）。

そして、処理部６０５は、輝度Ｙ（Ｕ，Ｖ）を、垂直ライン輝度信号蓄積メモリーＹｓｕｍ（Ｕ）に重み付け加算する（ステップＳ２５０５）。

次いで、処理部６０５は、スキャン位置の水平（Ｕ）座標が遠方小枠内の水平ライン最終位置Ｕ＝Ｕｅｎｄ（Ｖ）に到達したかどうかをチェックする（ステップＳ２５０６）。

スキャン位置の水平（Ｕ）座標が遠方小枠内の水平ライン最終位置Ｕ＝Ｕｅｎｄ（Ｖ）に到達していなければ（ステップＳ２５０６のＮｏ）、そのままステップＳ２５０２に戻り、次のスキャン・データについて上記処理を繰り返し実行する。

また、スキャン位置の水平（Ｕ）座標が遠方小枠内の水平ライン最終位置Ｕ＝Ｕｅｎｄ（Ｖ）に到達したときには（ステップＳ２５０６のＹｅｓ）、水平１ライン輝度信号蓄積メモリーＷと水平１ライン分メモリーＹｔｍｐ（Ｕ）をともに初期値０にリセットしてから（ステップＳ２５０７）、ステップＳ２５０２に戻り、次のスキャン・データについて上記処理を繰り返し実行する。

一方、スキャン位置（Ｕ，Ｖ）が遠方小枠の範囲外であれば（ステップＳ２５０３のＮｏ）、処理部６０５は、その信号を吐き捨てる（ステップＳ２５０９）。そして、まだフレーム内の最終スキャン位置（Ｕｌａｓｔ，Ｖｌａｓｔ）に到達していなければ（ステップＳ２５１０のＮｏ）、そのままステップＳ２５０２に戻り、次のスキャン・データについて上記処理を繰り返し実行する。フレーム内の最終スキャン位置（Ｕｌａｓｔ，Ｖｌａｓｔ）に到達したときには（ステップＳ２５１０のＹｅｓ）、輝度水平プロファイル（図１８を参照のこと）が完成したことになるので、本処理ルーチンを終了する。

また、図２６Ａ及び図２６Ｂには、遠方小枠内で輝度水平プロファイルを生成するための他の処理手順をフローチャートの形式で示している。図示の処理手順は、図２５Ａ及び図２５Ｂに示した処理手順とは相違し、１スキャン・ライン前の輝度合算値に基づいて重み付けして、スキャン方向に輝度値を重み付け加算する方法である。１スキャン・ライン分の輝度情報を記録するメモリー容量を節約することができる。

処理部６０５は、まず、遠方小枠内の水平画素位置Ｕにおける重み付け輝度合計値を蓄積する垂直ライン輝度信号蓄積メモリーＹｓｕｍ（Ｕ）、水平１ライン輝度信号蓄積メモリーＷ並びにＷ０の各メモリーを初期値０にリセットする（ステップＳ２６０１）。

次いで、処理部６０５は、先行ステップＳ７０１でラスター・スキャンした画素データを取り込む（ステップＳ２６０２）。

ここで、スキャン位置（Ｕ，Ｖ）が遠方小枠の範囲内であれば（ステップＳ２６０３のＹｅｓ）、処理部６０５は、そのスキャン位置における輝度Ｙ（Ｕ，Ｖ）を水平ライン輝度信号蓄積メモリーＷに逐次加算していく（ステップＳ２６０４）。

そして、処理部６０５は、輝度Ｙ（Ｕ，Ｖ）を、水平１ライン輝度信号蓄積メモリーＷ０に記録されている重みで垂直ライン輝度信号蓄積メモリーＹｓｕｍ（Ｕ）に加算する（ステップＳ２６０５）。メモリーＷ０は、１スキャン・ライン前の輝度合算値に基づく重みを記録している。

次いで、処理部６０５は、スキャン位置の水平（Ｕ）座標が遠方小枠内の水平ライン最終位置Ｕ＝Ｕｅｎｄ（Ｖ）に到達したかどうかをチェックする（ステップＳ２６０６）。

スキャン位置の水平（Ｕ）座標が遠方小枠内の水平ライン最終位置Ｕ＝Ｕｅｎｄ（Ｖ）に到達していなければ（ステップＳ２６０６のＮｏ）、そのままステップＳ２６０２に戻り、次のスキャン・データについて上記処理を繰り返し実行する。

また、スキャン位置の水平（Ｕ）座標が遠方小枠内の水平ライン最終位置Ｕ＝Ｕｅｎｄ（Ｖ）に到達したときには（ステップＳ２５０６のＹｅｓ）、水平１ライン輝度信号蓄積メモリーＷの値をメモリーＷ０に代入してから初期値０にリセットした後（ステップＳ２６０７）、ステップＳ２６０２に戻り、次のスキャン・データについて上記処理を繰り返し実行する。

一方、スキャン位置（Ｕ，Ｖ）が遠方小枠の範囲外であれば（ステップＳ２６０３のＮｏ）、処理部６０５は、その信号を吐き捨てる（ステップＳ２６０８）。そして、まだフレーム内の最終スキャン位置（Ｕｌａｓｔ，Ｖｌａｓｔ）に到達していなければ（ステップＳ２６０９のＮｏ）、そのままステップＳ２６０２に戻り、次のスキャン・データについて上記処理を繰り返し実行する。フレーム内の最終スキャン位置（Ｕｌａｓｔ，Ｖｌａｓｔ）に到達したときには（ステップＳ２６０９のＹｅｓ）、輝度水平プロファイル（図１８を参照のこと）が完成したことになるので、本処理ルーチンを終了する。

処理部６０５は、続くステップＳ７０７で、輝度水平プロファイルに基づいて遠方小枠内に自動車のランプ（すなわち、遠方の対向車両（又は、後続車両）のヘッドライト、若しくは、先行車両のテールライト））があるか否かをチェックする。図１８を参照しながら既に説明したように、２つの光点（遠方車両のヘッドライト）を含む遠方小枠の輝度水平プロファイルには、２つの山（極大点）が出現することが期待される。そこで、図２７に示すように、遠方小枠内の輝度水平プロファイル２７００上の隣接する極大値２７０１及び２７０２と、これら極大値の間に存在する極小値２７０３の輝度情報や位置関係に基づいて、遠方小枠内で自動車のランプの有無を簡易に判定することができる。

図２８Ａ及び図２８Ｂには、輝度水平プロファイルに基づいて遠方小枠内に自動車のランプがあるか否かを判定するための詳細な処理手順をフローチャートの形式で示している。

処理部６０５は、まず、先行ステップＳ７０６で生成した輝度水平プロファイルを読み込む（ステップＳ２８０１）。そして、読み込んだ輝度水平プロファイルを解析して、隣接する２つの極大値と、極大値間の極小値と、これらの位置（水平画素位置）を検出する（ステップＳ２８０２）。

次いで、処理部６０５は、隣接する２つの極大値のＸ座標の間隔と平均値を算出する（ステップＳ２８０３）。そして、隣接する極大値のＸ座標の間隔が所定の範囲内かどうかをチェックする（ステップＳ２８０４）。

隣接する極大値のＸ座標の間隔が所定の範囲外である場合には（ステップＳ２８０４のＮｏ）、処理部６０５は、２つの極大値に該当する光点は遠方車両のランプ（ヘッドライトやテールライト）ではないと判定して、遠方小枠内に自動車のランプがないという結果を返す（ステップＳ２８０８）。極大値が自動車のランプでない例として、道路脇に設置された街灯や道路周辺の建物の照明を挙げることができる。

一方、隣接する極大値のＸ座標の間隔が所定の範囲内である場合には（ステップＳ２８０４のＹｅｓ）、処理部６０５は、隣接する極大値の平均値がこれらの間の極小値の所定倍以上であるかどうかをさらにチェックする（ステップＳ２８０５）。

隣接する極大値の平均値がこれらの間の極小値の所定倍以上であれば（ステップＳ２８０５のＹｅｓ）、隣接する極大値は２つの光点（ヘッドライトやテールライト）であるといえるので、処理部６０５は、遠方小枠内に自動車のランプがあるという結果を返す（ステップＳ２８０６）。

また、隣接する極大値の平均値がこれらの間の極小値の所定倍以上でない場合には（ステップＳ２８０５のＮｏ）、処理部６０５は、隣接する極大値の平均値が所定値以上であるかどうかをさらにチェックする（ステップＳ２８０７）。

隣接する極大値の平均値がこれらの間の極小値の所定倍以上でなくても、隣接する極大値の平均値が所定値以上であれば（ステップＳ２８０７のＹｅｓ）、隣接する極大値は２つの光点（ヘッドライトやテールライト）であるといえる。この場合、処理部６０５は、遠方小枠内に自動車のランプがあるという結果を返す（ステップＳ２８０６）。

隣接する極大値の平均値が所定値以上でなければ（ステップＳ２８０７のＮｏ）、処理部６０５は、２つの極大値に該当する光点は遠方車両のランプ（ヘッドライトやテールライト）ではないと判定して、遠方小枠内に自動車のランプがないという結果を返す（ステップＳ２８０８）。

処理部６０５は、遠方小枠内に自動車のランプがないという結果が返されたときには、通常の自動露光制御モードにより車載カメラの露光を制御する。また、処理部６０５は、遠方小枠内に自動車のランプがあるという結果が返されたときには、輝度水平プロファイルから２つの光点を分離できるように最適化した（若しくは、遠方車両の光点分離を優先して露光制御する）自動露光制御を車載カメラに適用する。

遠方小枠内に自動車のランプがあると判定された場合には、処理部６０５は、ステップＳ７１０における処理として、輝度水平プロファイルから２つの光点を分離できるように最適化した（若しくは、光点分離を優先した）自動露光制御を車載カメラに適用する。

光点分離最適化自動露光制御は、図２７に示す例で説明すると、遠方小枠内の輝度水平プロファイル２７００上において、隣接する極大値２７０１及び２７０２と、これら極大値の間に存在する極小値２７０３で分離し易くする処理である。

図２９には、輝度水平プロファイルの極大値及び極小値に基づいて、光点分離に最適化した（若しくは、光点分離を優先した）車載カメラの自動露光制御を行なうための処理手順をフローチャートの形式で示している。暗い走行環境下の風景を車載カメラで後続車両又は対向車両を撮影したときのヘッドライト形状が上式（１）を満たすようにすることが自動露光制御の目標である。

処理部６０５は、まず、先行ステップＳ７０６で生成した輝度水平プロファイルを読み込む（ステップＳ２９０１）。

次いで、処理部６０５は、読み込んだ輝度水平プロファイルを解析して、隣接する２つの極大値と、極大値間の極小値を検出する（ステップＳ２９０２）。なお、ステップＳ７０７で実施する遠方小枠内の処理で検出した極大値及び極小値を直接読み込むようにしてもよい。

次いで、処理部６０５は、隣接する極大値の平均値を極小値で割って、当該自動露光制御のための評価値Ｆを計算する（ステップＳ２９０３）。

そして、処理部６０５は、算出した評価値Ｆを、所定の閾値Ｆｔｈと大小比較する（ステップＳ２９０４）。閾値Ｆｔｈは、メモリー（ＲＯＭ）６０６内に格納されており、処理部６０５は、ステップＳ２９０４の処理の際にメモリー６０６から閾値Ｆｔｈを読み込むものとする。

ここで、評価値Ｆが閾値Ｆｔｈより大きいときには（ステップＳ２９０５のＹｅｓ）、図３０Ａに示すように、極小値が小さい。この場合、車載カメラの露光が少な過ぎることが原因と考えられ、撮影画像が全体的に暗く見え、遠方車両のランプ（ヘッドライトやテールライト）に相当する光点が暗く映っていることが想定される。そこで、車載カメラの露光時間又はゲインを増やす（ステップＳ２９０６）。

一方、評価値Ｆが閾値Ｆｔｈより大きくないときには（ステップＳ２９０５のＮｏ）、極小値が大きい。輝度水平プロファイル上では、図３０Ｂに示すように極大値と極小値の差が小さい。この場合、車載カメラの露光が大き過ぎることが原因と考えられ、遠方車両のランプ（ヘッドライトやテールライト）に相当する光点が潰れて見えその存在が不鮮明である。そこで、車載カメラの露光時間又はゲインを減じるようにする（ステップＳ２９０７）。

なお、閾値Ｆｔｈは固定値であってもよいし、所定の幅を持った閾値帯であってもよい。例えば、閾値Ｆｔｈ１と、閾値Ｆｔｈ１よりも小さい閾値Ｆｔｈ２とを設定し、評価値Ｆが閾値Ｆｔｈ１より大きいときには車載カメラの露光時間又はゲインを減じ、評価値Ｆが閾値Ｆｔｈ２より小さいときには車載カメラの露光時間又はゲインを増やすようにしてもよい。但し、閾値Ｆｔｈ１は１．１以上が望ましい。

図１８を参照しながら既に説明したように、２つの光点（遠方車両のヘッドライト）を含む遠方小枠の輝度水平プロファイルには、２つの山（極大点）が出現する。ここで、遠方車両の２つの光点を分離できるように最適化（又は優先）した露光条件（露光時間又はゲイン）で撮影したときには、図３１に示すように、遠方小枠内の輝度水平プロファイル３１００が所定の閾値（輝度比較パラメーター）Ｆｒｅｆを超える山の幅最大値Ｃｍａｘは所定のターゲット値より大きくなることが期待される。また、露光が足りない（露光時間又はゲインが小さい）ときには、図３２に示すように、遠方小枠内の輝度水平プロファイル３１００が所定の閾値（輝度比較パラメーター）Ｆｒｅｆを超える山の幅最大値Ｃｍａｘは所定のターゲット値よりも小さくなることが予想される。したがって、遠方小枠内の輝度水平プロファイルの形状に基づいて光点分離最適化自動露光制御を行なう方法も考えられる。

図３３には、遠方小枠内の輝度水平プロファイルの形状に基づいて、光点分離に最適化（又は優先）した車載カメラの自動露光制御を行なうための処理手順をフローチャートの形式で示している。暗い走行環境下の風景を車載カメラで後続車両又は対向車両を撮影したときのヘッドライト形状が上式（１）を満たすようにすることが自動露光制御の目標である。

処理部６０５は、まず、先行ステップＳ７０６で作成した輝度水平プロファイルを読み込む（ステップＳ３３０１）。

次いで、処理部６０５は、各メモリーを初期値にリセットする（ステップＳ３３０２）。具体的には、水平位置メモリーＸに、遠方小枠の始点水平位置Ｕｓｔａｒｔを代入する。遠方小枠の視点位置は、先行ステップＳ７０５で遠方小枠を定義した結果から読み込む。また、幅カウンターＣｐｏｒｔと山の幅最大値メモリーＣｍａｘをともに初期値０にする。

次いで、処理部６０５は、遠方小枠内の現在の水平位置Ｘにおける重み付け輝度合計値Ｆ（ｘ）を、所定の閾値（輝度比較パラメーター）Ｆｒｅｆと大小比較する（ステップＳ３３０３）。輝度比較パラメーターＦｒｅｆは、メモリー（ＲＯＭ）６０６内に格納されており、処理部６０５は、ステップＳ３３０３の処理の際にメモリー６０６から輝度比較パラメーターＦｒｅｆを読み込むものとする。

輝度比較パラメーターＦｒｅｆが輝度比較パラメーターＦｒｅｆより大きいときには（ステップＳ３３０３のＹｅｓ）、現在の水平位置Ｘは輝度水平プロファイルの山の部分に相当するので、処理部６０５は、幅カウンターＣｐｏｒｔを更新する（ステップＳ３３０４）（Ｃｐｏｒｔ＝Ｃｐｏｒｔ＋１）。そして、幅カウンターを幅最大値Ｃｍａｘと大小比較して（ステップＳ３３０５）、現在カウント中の山の幅Ｃｐｏｒｔが幅最大値Ｃｍａｘより大きければ（ステップＳ３３０５のＹｅｓ）、幅最大値ＣｍａｘをＣｐｏｒｔで更新する（ステップＳ３３０６）。

このようにして、現在の水平位置Ｘについて処理を終えると、処理部６０５は、Ｘを更新して（ステップＳ３３０７）（Ｘ＝Ｘ＋１）、遠方小枠の終点水平位置Ｕｅｎｄに到達したか、すなわち、輝度水平プロファイル全体について処理を終了したかどうかをチェックする（ステップＳ３３０８）。

まだ遠方小枠の終点水平位置Ｕｅｎｄに到達していないときには（ステップＳ３３０８のＮｏ）、ステップＳ３３０３に戻り、遠方小枠内の次の水平位置Ｘについて、上記と同様の処理を繰り返し実行する。

一方、遠方小枠の終点水平位置Ｕｅｎｄに到達したときには（ステップＳ３３０８のＹｅｓ）、処理部６０５は、輝度水平プロファイルの山の幅最大値Ｃｍａｘを所定のターゲット値Ｃｔａｒｇｅｔと大小比較する（ステップＳ３３０９）。ターゲット値Ｃｔａｒｇｅｔは、メモリー（ＲＯＭ）６０６内に格納されており、処理部６０５は、ステップＳ３３０３の処理の際にメモリー６０６からターゲット値Ｃｔａｒｇｅｔを読み込むものとする。

ここで、山の幅最大値Ｃｍａｘがターゲット値Ｃｔａｒｇｅｔより大きいときには（ステップＳ３３０９のＹｅｓ）、図３１に示したように、輝度水平プロファイル上では、遠方車両のランプ（ヘッドライトやテールライト）に相当する２つの光点が極大値としてはっきりと現れているので、むしろオーバー露光を回避するために、車載カメラの露光時間又はゲインを減じる（ステップＳ３３１０）。若しくは、アイリスや可変ＮＤフィルター、諧調補正による調整を行なうようにしてもよい。

一方、山の幅最大値Ｃｍａｘがターゲット値Ｃｔａｒｇｅｔより大きくないときには（ステップＳ３３０９のＮｏ）、図３２に示したように、輝度水平プロファイル上で極大値と極小値の差が小さく、光点の存在が不鮮明である。車載カメラの露光が少な過ぎて遠方車両のランプ（ヘッドライトやテールライト）に相当する光点が暗く映っていることが原因として考えられるので、車載カメラの露光時間又はゲインを増やすようにする（ステップＳ３３１１）。

走行支援や遠方の視界支援に関わる車載カメラでは、自車両に接近し得る遠方車両をより正確に捉える必要がある。ところが、夜間やトンネル内など暗い走行環境下で、高照度の（逆光となる）周辺車両のランプを車載カメラで撮影する場合、とりわけ遠方車両のヘッドライト光源は、視野内での割合が小さいため、画面全体を平均的に露光制御する通常の自動露光制御を適用すると、オーバー露光になり易く、周辺の画素まで白く飽和するので、ヘッドライトを２つの光点として捉えることが難しい。

ここで、自車両に接近し得る遠方車両は、自車両の後方では、自車両が走行してきた走行軌跡方角を走行し、自車両の前方では、自車両の予測進行方向（自車両が走行中の道路に沿った路面方角）を走行しているということができる。

上述したように、本明細書で開示する技術は、自車両の走行進行方向の遠方道路消失点を基準に定義する遠方小枠内の輝度情報に限定して車載カメラの自動露光制御を行なうように構成されている。自車両の後方を撮影する車載カメラは、走行軌跡方角を走行している遠方車両を遠方小枠内で捉え、自車両の前方を撮影する車載カメラは自車両の走行予測方向に走行している遠方車両を遠方小枠で捉えることが期待される。したがって、遠方小枠内に限定して輝度情報を解析して、車載カメラの露光制御を行なうことにより、暗い走行環境下でヘッドライトを点灯する遠方車両を、オーバー露光を回避して撮影することができる。

また、本明細書で開示する技術は、遠方小枠内で、１水平ライン毎に画素の輝度値を合算して各水平ラインの重みを決定し、各垂直ラインの画素の輝度値を前記水平ラインの重みで重み付け加算して輝度水平プロファイルを生成し、輝度水平プロファイルの解析結果に基づいて車載カメラを露光制御するように構成されている。したがって、遠方小枠内に限定して輝度水平プロファイルを生成することにより、少ないメモリーで効率的に、対象とする光源を優先して再現することができる。この結果、遠方小枠内でとらえる自動車のランプ（夜間に遠方車両が点灯するヘッドライトなど）を、オーバー露光を回避して好適に撮影できるようになる。

以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。

本明細書で開示する技術によれば、夜間やトンネル内など暗い走行環境下で、車載カメラの自動露光制御に適用して、遠方車両のヘッドライト若しくはテールライトなどの高照度のランプ（光点）を、オーバー露光を回避して好適に撮影することができる。

本明細書で開示する技術は、普通自動車に限らず、中型自動車、大型自動車、自動２輪車など、車載カメラを搭載するさまざまなタイプの車両に適用することができる。

要するに、例示という形態により本明細書で開示する技術について説明してきたが、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。

なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）車両に搭載され、前記車両の周辺を撮影する車載カメラと、
前記車載カメラの撮像画像内に設定した検知領域の輝度情報に基づいて前記車載カメラの露光を制御する制御部と、
を具備する車載カメラ・システム。
（１−１）前記車載カメラは、前記車両の走行方向前方又は後方を撮影するように前記車両に設置される、
上記（１）に記載の車載カメラ・システム。
（２）前記制御部は、前記検知領域内で光源を検波した結果に応じて、前記車両とは異なる他車両の光源の分離を優先する露光制御モードに移行する、
上記（１）に記載の車載カメラ・システム。
（３）前記制御部は、前記車載カメラ・システムに対する設定に応じて前記光源の検波を実施するか否かを判定する、
上記（２）に記載の車載カメラ・システム。
（４）前記制御部は、前記車両が走行中の道路の種別に応じて前記光源の検波を実施するか否かを判定する、
上記（２）に記載の車載カメラ・システム。
（４−１）前記制御部は、前記車両が高速道路を走行中であれば、前記光源の検波を実施すると判定する、
上記（４）に記載の車載カメラ・システム。
（５）前記制御部は、前記車両の走行環境に応じて前記光源の検波を実施するか否かを判定する、
上記（２）に記載の車載カメラ・システム。
（５−１）前記制御部は、暗い走行環境であれば、前記光源の検波を実施すると判定する、
上記（５）に記載の車載カメラ・システム。
（６）前記制御部は、前記車両の走行進行方向の遠方道路消失点を基準に前記検知領域を設定し、前記検知領域内の輝度情報の解析結果に基づいて前記車載カメラを露光制御する、
上記（１）に記載の車載カメラ・システム。
（７）前記制御部は、前記車両の後方で、前記車両が走行してきた走行軌跡方角に基づいて前記遠方道路消失点を校正し、又は、前記車両の前方で、前記車両の予測進行方向に基づいて前記遠方道路消失点を校正する、
上記（６）に記載の車載カメラ・システム。
（７−１）前記制御部は、前記車載カメラの取り付け位置、前記車両の車体傾き、走行履歴に基づいて、前記遠方道路消失点を決定する、
上記（７）に記載の車載カメラ・システム。
（８）前記制御部は、前記車両が走行してきた走行軌跡方角に所定距離だけ後方の場所を近似的な遠方道路消失点として求め、又は、前記車両が走行中の道路に沿った路面方角に所定距離だけ前方の場所を近似的な遠方道路消失点として求める、
上記（６）に記載の車載カメラ・システム。
（９）前記制御部は、前記車載カメラの撮影画像の無限遠点に対する前記車両の走行進行方向の前記遠方道路消失点の相対位置に基づいて前記検知領域を設定する、
上記（６）に記載の車載カメラ・システム。
（１０）前記制御部は、前記検知領域内の輝度情報として、前記検知領域内で生成する輝度水平プロファイルの解析結果に基づいて前記車載カメラを露光制御する、
上記（６）に記載の車載カメラ・システム。
（１１）前記制御部は、前記検知領域内で、少なくとも１水平ライン毎に画素の輝度値を合算して各水平ラインの重みを決定し、各垂直ラインの画素の輝度値を前記水平ラインの重みで重み付け加算して、前記輝度水平プロファイルを生成する、
上記（１０）に記載の車載カメラ・システム。
（１１−１）前記制御部は、読み出し中の１スキャン・ライン分の輝度情報をメモリーに記録し、同じスキャン・ラインの輝度合算値に基づいて重み付けして、スキャン方向に輝度値を重み付け加算する、
上記（１１）に記載の車載カメラ・システム。
（１１−２）前記制御部は、１スキャン・ライン前の輝度合算値に基づいて重み付けして、スキャン方向に輝度値を重み付け加算する、
上記（１１）に記載の車載カメラ・システム。
（１２）前記制御部は、前記検知領域内で前記他車両のランプが存在するか否かを検出し、前記検知領域内で前記他車両のランプの存在を検出したときに、前記他車両のランプの光点分離を優先して前記車載カメラの露光を制御する、
上記（６）に記載の車載カメラ・システム。
（１３）前記制御部は、前記輝度水平プロファイルに含まれる２つの隣接する極大値の間に存在する極小値の輝度情報に基づいて、前記検知領域内で前記他車両のランプが存在するか否かを検出する、
上記（１２）に記載の車載カメラ・システム。
（１４）前記制御部は、前記極大値の間隔が所定の範囲内で、前記極大値の平均値が前記極小値の所定倍以上又は前記極大値の平均値が所定値以上であれば、前記検知領域内で前記他車両のランプがあると判定する、
上記（１３）に記載の車載カメラ・システム。
（１５）前記制御部は、前記検知領域内で前記他車両のランプを検出したか否かに基づいて、前記車載カメラの露光制御モードを決定する、
上記（６）に記載の車載カメラ・システム。
（１６）画像出力部又は音声出力部をさらに備え、
前記制御部は、前記露光制御モードを変更するときには、画像又は音声又は振動のうち少なくとも１つを用いて事前に通知する、
上記（１５）に記載の車載カメラ・システム。
（１７）前記制御部は、前記検知領域内で生成した輝度水平プロファイルに基づいて、前記他車両のランプの光点分離を優先した前記車載カメラの露光制御を行なう、
上記（１）に記載の車載カメラ・システム。
（１８）前記制御部は、前記輝度水平プロファイルに含まれる２つの隣接する極大値の平均値を前記極大値間に存在する極小値で割って求めた評価値に基づいて、前記車載カメラの露光制御を行なう、
上記（１７）に記載の車載カメラ・システム。
（１９）前記制御部は、前記輝度水平プロファイルが所定の閾値を超える山の幅最大値に基づいて、前記車載カメラの露光制御を行なう、
上記（１７）に記載の車載カメラ・システム。
（２０）車両に搭載された車載カメラの撮像画像内に設定した検知領域の輝度情報に基づいて、前記車載カメラの露光を制御する、
を具備する画像処理装置。

６００…車載カメラ・システム
６０１…イメージ・センサー、６０２…ヨー角検出部
６０３…ピッチ角検出部、６０４…ＧＰＳセンサー
６０５…処理部、６０６…メモリー
６０７…設定入力部、６０８…画像出力部、６０９…音声出力部

Claims (11)

1. 車両に搭載され、前記車両の周辺を撮影する車載カメラと、
   前記車載カメラの撮像画像内に設定した検知領域において、前記車載カメラのスキャン・ライン方向の輝度値に基づいて生成された輝度水平プロファイルの解析結果に基づいて、前記車載カメラの露光を制御する制御部と、
   を具備し、
   前記制御部は、前記輝度水平プロファイルに含まれる極大値の輝度情報に基づいて、前記車載カメラを露光制御する、
   車載カメラ・システム。
2. 前記制御部は、前記輝度水平プロファイルに含まれる２つの隣接する極大値の間に存在する極小値の輝度情報に基づいて、前記車載カメラの露光を制御する、
   請求項１に記載の車載カメラ・システム。
3. 前記制御部は、前記極大値を前記極小値で割った評価値に基づいて、前記車載カメラの露光を制御する、
   請求項２に記載の車載カメラ・システム。
4. 前記制御部は、前記評価値が第１の閾値よりも大きい場合に、前記車載カメラの露光時間又はゲインを増やす、
   請求項３に記載の車載カメラ・システム。
5. 前記制御部は、前記評価値が第２の閾値よりも大きくない場合に、前記車載カメラの露光時間又はゲインを減少させる、
   請求項３に記載の車載カメラ・システム。
6. 前記制御部は、前記評価値が前記第１の閾値よりも小さい第２の閾値よりも大きくない場合に、前記車載カメラの露光時間又はゲインを減少させる、
   請求項４に記載の車載カメラ・システム。
7. 前記制御部は、前記２つの隣接する極大値の平均値と２つの隣接する極大値の間に存在する極小値の輝度情報に基づいて、前記車載カメラの露光を制御する、
   請求項２乃至４のいずれか１項に記載の車載カメラ・システム。
8. 前記制御部は、前記車載カメラの撮影画像の無限遠点に対する前記車両の走行進行方向の前記遠方道路消失点の相対位置に基づいて前記検知領域を設定する、
   請求項１乃至７のいずれか１項に記載の車載カメラ・システム。
9. 前記制御部は、前記車載カメラのスキャン・ライン毎に画素の輝度値を合算して各スキャン・ラインの重みを決定し、各垂直ラインの画素の輝度値をスキャン・ラインの重みで重み付け加算して前記輝度水平プロファイルを生成する、
   請求項１乃至８のいずれか１項に記載の車載カメラ・システム。
10. 車両に搭載された車載カメラの撮像画像内に設定した検知領域において、前記車載カメラのスキャン・ライン方向の輝度値に基づいて生成された輝度水平プロファイルに含まれる極大値の輝度情報に基づいて、前記車載カメラを露光制御する、
    画像処理装置。
11. 車両に搭載された車載カメラの撮像画像内に検知領域を設定するステップと、
    前記検知領域において、前記車載カメラのスキャン・ライン方向の輝度値に基づいて輝度水平を生成するステップと、
    前記輝度水平プロファイルに含まれる極大値の輝度情報に基づいて、前記車載カメラを露光制御するステップと、
    を有する画像処理方法。