JP2009157085A - 露出制御装置及び露出制御プログラム - Google Patents

Abstract

【課題】明るさ測定用の領域の自由度を高くしつつ、適切な露出制御を行うことが可能な露出制御装置を提供する。
【解決手段】車載カメラの撮影画像における明るさ測定領域から水平方向のライン単位で画素を抽出し（Ｓ１３１）、抽出した画素のうち最も明るい所定数の画素及び最も暗い所定数の画素の除去処理をラインごとに行う（Ｓ１３２）。そして、除去処理後の残りの画素に基づいて撮影対象の明るさを測定し（Ｓ１３３〜Ｓ１３７）、その測定値に基づいて露出制御を行う。このような露出制御装置によれば、白線等の明るい部分や補修部分等の暗い部分を含む領域を明るさ測定領域として設定しても、こうした外乱の影響を抑えて撮影対象の明るさを適切に測定することができる。このため、明るさ測定領域の自由度を高くしつつ、車両の横方向の移動に関係なく適切な露出制御を行うことができる。
【選択図】図６

Description

本発明は、自車前方を撮影する車載カメラの露出制御を行う露出制御装置に関するものである。

近年、車両の前方を撮影する車載カメラを利用して、道路の白線や、他車両等の立体物の認識処理を行い、その認識結果に基づき警報や走行制御等を行う技術が提案されている。こうした技術において、認識対象（白線や立体物）の認識精度を向上させるためには、撮影対象の明るさに応じて車載カメラの露出制御を適切に行うことが重要となる。

そこで、例えば特許文献１に記載の車線認識装置では、車載カメラの撮影画像に基づいて白線を検出するとともに、現在の車速に基づき次回白線検出を行う処理領域を撮影画像において定める。そして、その処理領域内の撮影画像の平均輝度ｂ１を算出し、今回の白線検出のための処理領域に対応する平均輝度ｂ０との差を求める。この差が所定値よりも大きい場合には、平均輝度ｂ１に基づいて次回の受光量を決定し、この受光量に基づいて車載カメラの絞り部を制御する。

このように次回の白線検出領域の平均輝度を求めることで、例えば道路全体が日向から日陰に変化する場合には、次回の白線検出領域に適した露出量（絞り量）で車載カメラを動作させることができる。

しかしながら、実際の道路環境においては、道路全体が日向から日陰に、あるいは日陰から日向に変化する等の単純な変化ばかりではなく、車載カメラの撮影範囲の明るさは種々の態様で変化する。このため、単に次回の白線検出領域の平均輝度を求めても、適切な露出制御を行うことが難しい場合がある。

そこで、特許文献２に記載の露出制御装置では、車載カメラの撮影画像において、道路上の白線を除く部分に対応する複数の領域を設定し、複数の領域の輝度に基づいて、車載カメラの露出制御を行うようにしている。
特開平６−２５３２０８号公報 特開２００５−１４８３０８号公報

前述した特許文献２に記載の露出制御装置のように、路面の明るさを適切に測定するためには、白線を含まないような領域を明るさ測定用の領域として設定する必要がある（図１７（ａ））。しかしながら、このように白線を含まない領域を設定して白線部分の影響を抑える方法では、車両の横方向の移動により明るさ測定用の領域に白線が入ってしまうことにより（図１７（ｂ））、露出制御が適切に行われなくなるという問題がある。

かといって、車両の横方向への移動を加味して明るさ測定用の領域に白線が入らないようにしようとすると、明るさ測定用の領域の自由度が極度に制限され、車幅等に応じて明るさ測定用の領域を調整しなければならなくなる。このため、車種展開や車線幅が異なる国への展開を考慮した場合、設計・適合に要する工数が大幅に増大してしまうという問題がある。

本発明は、こうした問題にかんがみてなされたものであり、明るさ測定用の領域の自由度を高くしつつ、適切な露出制御を行うことが可能な露出制御装置を提供することを目的としている。

上記目的を達成するためになされた本発明の請求項１に記載の露出制御装置は、自車前方を撮影する車載カメラの露出制御を行うものである。この露出制御装置では、抽出手段が、車載カメラの撮影画像における明るさ測定用の領域から画素を抽出し、除去手段が、抽出手段により抽出された画素のうち最も明るい所定量の画素の除去処理を行う。そして、測定手段が、除去処理後の残りの画素に基づいて撮影対象の明るさを測定し、露出制御手段が、測定手段による測定値に基づいて露出制御を行う。

このような露出制御装置によれば、例えば図１８に示すように、路面における白線等の明るい部分を含む領域を明るさ測定用の領域として設定しても、こうした外乱の影響を抑えて撮影対象の明るさを適切に測定することが可能となる。このため、明るさ測定用の領域の自由度を高くしつつ、車両の横方向の移動に関係なく適切な露出制御を行うことが可能となる。

また、請求項２に記載の露出制御装置では、除去手段は、抽出手段により抽出された画素のうち最も暗い所定量の画素についても除去処理を行う。なお、ここでいう所定量は、請求項１に記載の所定量（明るい画素の除去量）と同一である必要はない。

このような露出制御装置によれば、路面における白線等の明るい部分だけでなく、補修部分や金属継ぎ目等の暗い部分の影響を抑えて撮影対象の明るさを適切に測定することが可能となる。また、影や日向が連続するような局面でも明るさ測定結果を安定させることができる。

ここで、除去手段は、例えば、明るい画素を除去するためのしきい値を設定し、明るさがそのしきい値以上の画素を最も明るい所定量の画素として除去することができる。また、例えば、請求項２のように最も暗い画素についても除去する場合には、暗い画素を除去するためのしきい値についても設定し、明るさがそのしきい値以下の画素を最も暗い所定量の画素として除去することができる。ただし、このような方法では、抽出した画素の明るさ分布に応じて除去される画素の数が変動することになる。

そこで、請求項３に記載の露出制御装置では、除去手段は、所定量として、あらかじめ決められている数の画素を除去する。このような露出制御装置によれば、抽出した画素の明るさ分布に関係なくあらかじめ決められている数の画素を除去することができる。この結果、一定数の画素に基づき撮影対象の明るさを安定して測定することができる。

また、請求項４に記載の露出制御装置では、抽出手段は、明るさ測定用の領域から水平方向のライン単位で画素を抽出し、除去手段は、ラインごとに除去処理を行う。このような露出制御装置によれば、明るさ測定用の領域において、明るい画素をバランスよく除去することができる。

具体的には、例えば請求項５に記載のように、除去手段は、自車近傍のラインほど所定量を大きくするとよい。このような露出制御装置によれば、除去すべき画素を適切に除去することが可能となる。すなわち、自車近傍ほど、白線等の除去すべき部分が適切に区別できるのに対し、遠方になるほど適切な区別が困難となる。そこで、自車近傍ほど画素の除去量を大きくするようにしている。なお、遠方のラインは所定量を０に（つまり除去処理を行わないように）してもよい。

ここで、遠方のラインのばらつきを抑えるためには、例えば請求項６のようにするとよい。すなわち、請求項６に記載の露出制御装置では、測定手段は、ラインごとに画素の平均的な明るさを算出し、各算出値に対して時間的変化を緩和する時間フィルタ処理を施した後、それらの算出値に基づき撮影対象の明るさを測定するものであり、遠方のラインほどフィルタ効果が大きくなるように時間フィルタ処理を施す。

このような露出制御装置によれば、ばらつきが大きくなりやすい遠方ラインの算出値の時間的変化を抑えることができる。この結果、露出制御を適切に行うことができる。なお、自車近傍のラインはフィルタ効果を０に（つまり時間フィルタ処理を行わないように）してもよい。

次に、請求項７に記載の露出制御プログラムは、自車前方を撮影する車載カメラの露出制御を行う露出制御装置としてコンピュータを機能させるためのものである。そして、この露出制御プログラムは、車載カメラの撮影画像における明るさ測定用の領域から画素を抽出する抽出手段と、抽出手段により抽出された画素のうち最も明るい所定量の画素の除去処理を行う除去手段と、除去処理後の残りの画素に基づいて撮影対象の明るさを測定する測定手段と、測定手段による測定値に基づいて露出制御を行う露出制御手段としてコンピュータを機能させる。

このような露出制御プログラムによれば、請求項１の露出制御装置としてコンピュータを機能させることができ、これにより前述した効果を得ることができる。

以下、本発明が適用された実施形態について、図面を用いて説明する。
［１．全体構成］
図１は、実施形態の露出制御装置１０の構成を示すブロック図である。

この露出制御装置１０は、車両に搭載された状態で用いられるものであり、この車両に搭載されている車載カメラ（以下、単に「カメラ」という。）２１、統合判断ＥＣＵ２２、警報部２３及び操舵ＥＣＵ２４とともに、前方車両の認識に基づく警報処理及び操舵制御を実現する。

露出制御装置１０は、ＣＰＵ１１と、メモリ１２と、カメラ２１の撮影画像を入力するための画像インタフェース１３と、統合判断ＥＣＵ２２との通信を行うための通信インタフェース１４とを備えている。

カメラ２１は、車室内の所定位置、例えばルームミラーの裏側に設置され、車両の進行方向前方の道路を撮影するものである。なお、カメラ２１は、車室内の所定位置に設置されるときに、その撮影範囲が車両の進行方向に対して所定の撮影範囲となるように、その向き等が調整される。

また、カメラ２１は、公知のＣＣＤイメージセンサ、あるいはＣＭＯＳイメージセンサに加え、増幅部及びＡ／Ｄ変換部を内蔵している。これら増幅部及びＡ／Ｄ変換部は、イメージセンサによって画像を撮影したとき、その画像の各画素の明るさを示すアナログ信号を所定のゲインで増幅し、かつ増幅したアナログ値をデジタル値に変換する。そして、カメラ２１は、このデジタル値に変換した信号（画素値）を、画像信号として、画像のラインごとに出力する。

画像インタフェース１３には、カメラ２１から出力される画素値及び水平・垂直同期信号が入力される。ＣＰＵ１１は、画像インタフェース１３に入力された水平・垂直同期信号に基づいて、画像の水平ラインごとに出力される画素値が、いずれの画素位置に対応するものかを認識する。そして、認識した画素位置に対応するように、カメラ２１から出力される画素値をメモリ１２に記憶する。このようにして、カメラ２１から出力される画像信号がメモリ１２に保存される。

ＣＰＵ１１は、カメラ２１から出力された画像信号を処理することにより、認識対象物（本実施形態では前方車両）の位置の認識を行うとともに、その認識した前方車両の位置を統合判断ＥＣＵ２２に出力する。さらに、ＣＰＵ１１は、前方車両が適切に認識されるようにカメラ２１の露出制御を行う。具体的には、ＣＰＵ１１は、カメラ２１のシャッタースピード及びフレームレート、更に増幅部のゲインを調整するため、これらの調整指示値を含むカメラ制御値をカメラ２１に出力する。

通信インタフェース１４は、ＣＰＵ１１と統合判断ＥＣＵ２２との間の通信を調整するものである。本実施形態では、ＣＰＵ１１は、画像信号における前方車両の位置を認識して、この認識した前方車両の位置を統合判断ＥＣＵ２２に送信する。統合判断ＥＣＵ２２は、ＣＰＵ１１から送信された前方車両の位置に基づいて、自車が前方車両と接触する危険性があるか否かを判定し、危険性があると判定した場合には、警報部２３に対して警報を発するように指示する。また、危険性が高い場合には、単に警報を発するだけでなく、操舵ＥＣＵに対して操舵制御（操舵装置のアシスト量を調節したり、操舵装置を自動的に駆動したりして危険を回避する制御）を行うように指示する。

［２．露出制御の概要］
次に、露出制御の概要について説明する。
図２（ａ）に示すように、本実施形態の露出制御装置１０は、撮影対象の明るさ（輝度）から撮影画像の画素値への変換マップとして、複数種類の明るさ制御マップ（画素輝度変換関係）を記憶しており、状況に応じて最適なものを１つ選択して使用する。図２（ａ）の例では、明るさ測定値Ｂの撮影対象を画素値Ｖで撮影したければ、１１番の明るさ制御マップを使用する必要がある。

このように、撮影対象をどの程度の画面の明るさで撮影したいか（明るさ制御目標値Ｖ）と撮影対象の明るさ（明るさ測定値Ｂ）とに基づき、数あるゲインとシャッターの設定（明るさ制御マップ）の中から１つを選択する作業を露出制御と呼ぶ。

ここで、撮影対象の明るさは、撮影画像の画素値及び使用中の明るさ制御マップに基づき判断することができる。例えば、図２（ｂ）に示すように、７番の明るさ制御マップが使用されており、現在の画面の明るさ（撮影画像の画素値）がＫであるとすると、撮影対象の明るさ測定値はＢであることが分かる。そして、この撮影対象を明るさ制御目標値Ｖ程度の画面の明るさに制御したいのであれば、１３番の明るさ制御マップ（ゲインとシャッターの設定）を使用すればよいことが分かる。

なお、詳細については後述するが、本実施形態の露出制御装置１０は、次の（１）〜（４）の手順で露出制御を行う。
（１）明るさ制御目標値算出
明るさ制御目標値を昼夜で切り替える（図４）。また、制御状態を急変させないように、昼夜の切り替わり期間においては明るさ制御目標値を徐々に変化させるようにする。

（２）不感帯算出
制御が不安定化しないように、明るさ制御の動作に不感帯を設ける（図５）。
（３）前方明るさ測定
路面用領域と障害物（認識対象物）用領域とからなる明るさ測定用の領域から抽出した画素の明るさの平均値を求める（図７）。

（４）ゲインシャッタースピード制御
上記（３）で算出した明るさ測定値が、上記（２）で算出した不感帯を超えた場合、上記（１）で算出した明るさ制御目標値と上記（３）で算出した明るさ測定値とから、最適な明るさ制御マップを選択する（図２）。

［３．ＣＰＵが実行する処理］
次に、前述した露出制御を実現するため、あらかじめ記憶されているプログラムに従いＣＰＵ１１が定期的に（例えば１００ｍｓごとに）実行する露出制御処理について、図３のフローチャートを用いて説明する。

ＣＰＵ１１は、露出制御処理を開始すると、まず、Ｓ１１０で、明るさ制御目標値を算出する。具体的には、図４（ｃ）に示すように、明るさ制御マップの番号（横軸）に対する明るさ制御目標値（縦軸）の対応関係（実線で図示）があらかじめ記憶されており、この対応関係に基づき、現在使用中の明るさ制御マップ（前回の露出制御処理で選択したものであり、初回であればあらかじめ設定されているもの）に対応する明るさ制御目標値を参照する。

なお、図４（ｃ）に示す対応関係は、図４（ａ）に示す明るさ制御マップの番号（横軸）に対する路面用の明るさ制御目標値（縦軸）の対応関係（点線で図示）と、図４（ｂ）に示す明るさ制御マップの番号（横軸）に対する障害物（認識対象物）用の明るさ制御目標値（縦軸）の対応関係（破線で図示）とを混合（具体的には平均）したものである。つまり、認識対象物用の明るさ制御目標値だけでなく、路面の明るさ制御目標値も設定し、双方の目標値を混合した値を露出制御の明るさ制御目標値としている。

また、図４（ｃ）の対応関係から明らかなように、夜間用の明るさ制御目標値は、光源部分のふくらみを抑える理由などから、昼間（日中）用の明るさ制御目標値に比べて低く設定されている。また、朝方や夕方のように、夜間と昼間との間の期間（夜間境界と昼間境界との間の期間）は、画像の明るさの急変を防ぐために、明るさ制御目標値を徐々に変化させる。なお、本実施形態では、昼間や夜間の判断を、使用中の明るさ制御マップの番号に基づき行うようにしている。すなわち、前述した説明（図２（ｂ））から明らかなように、撮影対象の明るさ測定値が大きいほど番号の大きい明るさ制御マップが使用される傾向があり、使用中の明るさ制御マップの番号から外部の明るさを判断することができる。

続いて、Ｓ１２０では、不感帯を算出する。ここで、不感帯とは、明るさ制御状態が頻繁に変化するのを防止するため、露出制御を実行すべきか否かの判定用しきい値として利用されるものである。具体的には、図５に示すように、現在使用中のＮ番目の明るさ制御マップと、Ｓ１１０で算出した明るさ制御目標値Ｖとに基づき判断される撮影対象の明るさを基準として、その前後１段分の明るさ制御マップに相当する明るさの範囲Ｂを不感帯として算出する。つまり、Ｎ−１番目の明るさ制御マップと明るさ制御目標値Ｖとに基づき判断される撮影対象の明るさから、Ｎ＋１番目の明るさ制御マップと明るさ制御目標値Ｖとに基づき判断される撮影対象の明るさまでの範囲Ｂを、不感帯として算出する。そして、後述するように、実際の明るさ測定値が不感帯の範囲内であれば、露出制御を行わない（明るさ制御マップを切り替えない）ようにする。

続いて、Ｓ１３０では、カメラ２１から取り込んだ画像データにおける特定領域の画素値に基づき、露出制御に用いる前方の明るさ（撮影対象の明るさ）を測定する前方明るさ測定処理を行う。具体的には、図６のフローチャートに示す処理を行う。

すなわち、まず、Ｓ１３１では、撮影画像におけるあらかじめ決められた位置（固定位置）に設定された明るさ測定用の領域（以下「明るさ測定領域」という。）から、水平方向のライン単位で画素を取り込む。

ここで、明るさ測定領域は、図７に示すように、前方車両の明るさを検出するための台形状の障害物（認識対象物）用領域と、路面の明るさを検出するための長方形状の路面用領域とからなる。つまり、前方車両の明るさを測定する領域とは別に、路面の明るさを測定する領域を設定し、双方の明るさを混合した明るさを明るさ測定結果としている。

具体的には、路面用領域は、自車からの前方距離７〜２７ｍ程度をカバーする縦幅と、自車が走行する車線を区画する左右両側の２本の白線が含まれる程度の横幅とを有する長方形状の領域に設定されている。

一方、障害物用領域は、上方向の位置がカメラ２１の無限遠点（ＦＯＥ：Ｆｏｃｕｓ ｏｆ Ｅｘｐａｎｓｉｏｎ）に設定されている。また、自車前方へレーダ波をスキャンしてその反射波を検出することで前方物体の位置、速度、形状等を求めるミリ波レーダによる検知エリアの幅（±１０°）をベースに横幅が設定されている。ただし、割り込み車両などへの露出合わせを早める目的や、路面用領域とシームレスにつなげる目的などから、下方へ広がりをつけた台形状の領域に設定されている。なお、ＦＯＥよりも上方は、空や建築構造物など、認識対象とは関係のないものが多いため、それらの影響を抑えるために取り込まないようにしている。

そして、このように設定された明るさ測定領域全域から、水平方向のライン単位で画素を取り込む。本実施形態では、処理負荷軽減のため、明るさ測定領域のすべての画素を取り込むことはせず、ラインを間引いて取り込むことにより、取り込み画素数を減らすようにしている。具体的には、路面用領域については、自車からの距離がほぼ等間隔となるように（撮影画像において上方ほど間隔が狭くなるように）ライン間隔が設定されており、障害物用領域については、撮影画像においてほぼ等間隔となるようにライン間隔が設定されている。

また、図８に示すように、各ライン上においても画素を間引いて取り込むようにしている。本実施形態では、すべてのラインで同数の画素が取り込まれるように、各ラインにおいてほぼ等間隔で画素を間引くようにしている。

続いて、Ｓ１３２では、図９に示すように、ラインごとに、取り込んだ画素を明るさでソートし、最も明るい所定数の画素及び最も暗い所定数の画素を除去する。すなわち、図１０にも示すように、例えば、アスファルト路面では、高輝度の白線（路上ペイント）等が邪魔となり、コンクリート路面では、低輝度の補修部分や道路の金属継ぎ目等が邪魔となる。そこで、路面の明るさを求める際に、明るい部分及び暗い部分の画素を除去することで、外乱の影響を除去するようにしている。

ここで、自車近傍では、白線やコールタール等、明るさによって省きたいものを比較的適切に区別できるのに対し、遠方になるほど適切な区別が困難となる。このため、明るい部分や暗い部分の画素の除去量を遠方ほど少なくし、最も遠方のラインではソートによる選別（画素の除去処理）を行わないようにする。

続いて、Ｓ１３３では、Ｓ１３２で明暗部を除去した残りの中間値周辺の画素のみから、図１１に示すように、ラインごとに画素の明るさの平均値（上からｉ番目（１≦ｉ≦Ｌ）のラインの平均値をＢ_i,tと表す。）を算出する。このように中間値周辺の画素のみから平均値をとることで、平均値の時間変化を安定させるようにしている。

続いて、Ｓ１３４では、各ラインの明るさ平均値を、次のようにフィルタ用にバッファする（バッファ時間：ｔ〜ｔ−Ｔ）。
１番目のライン：Ｂ_1,t・・・Ｂ_1,t-T
ｉ番目のライン：Ｂ_i,t・・・Ｂ_i,t-T
Ｌ番目のライン：Ｂ_L,t・・・Ｂ_L,t-T
続いて、Ｓ１３５では、Ｓ１３４でバッファした各ラインの明るさ平均値をフィルタリングする。

１番目のライン：Ｂ_1,t・・・Ｂ_1,t-T→Ｆ_1,t
ｉ番目のライン：Ｂ_i,t・・・Ｂ_i,t-T→Ｆ_i,t
Ｌ番目のライン：Ｂ_L,t・・・Ｂ_L,t-T→Ｆ_L,t
すなわち、ＦＯＥ周辺など車両などによる光源が入り込みやすい領域を使用することから、明るさ測定値が不安定となるため、時間フィルタを用いて、明るさ測定値のばらつきを押さえるようにするのである。

具体的には、自車近傍のラインの平均値は、路面程度であり、ばらつきは少ないのに対し、遠方のラインの平均値は、車両のピッチングや光源の高速移動（対向車）など、もっともばらつきが大きく、ある程度長時間（例えば７００ｍｓ）データをバッファして時間平均をとる必要がある。そこで、図１２に示すように、遠方ほどノイズに強い（遅れの大きい）時間フィルタを使用し、近傍のラインでは時間フィルタ処理を行わないようにする。

ただし、トンネル出入口など、明るさが急変する場合にはすばやい追従を可能とするため、各ラインの平均値のばらつき方に応じたフィルタリングを行い、ばらつき削減と反応速度とを両立させるようにしている。具体的には、図１３に示すように、平均値の時間変化にトレンドがある（ばらつきがない）と判定した場合には、時間フィルタ処理を行わないようにする。一方、平均値の時間変化に突発的な値が入ったと判定した場合には、加重メディアンフィルタ（重みつきメディアンフィルタ）の時間フィルタ処理を行い、それ以外の場合には、平均値フィルタの時間フィルタ処理を行う。なお、ここでいう加重メディアンフィルタとは、古いデータよりも新しいデータに重みがかかるメディアンフィルタのことである。

ここで、図１３の判定方法について更に詳述する。
例えば、バッファ時間（ｔ〜ｔ−Ｔ）のＴ＝４であり、ｉ番目のラインの明るさ平均値が次のような関係にあるとする。

Ｂ_i,t-1＜Ｂ_i,t-3＜Ｂ_i,t-2＜Ｂ_i,t-4＜Ｂ_i,t-0
式（１）に示すように、バッファ内の最新値と中央値とが、不感帯幅（ＤＺＷ）／２×時間差分離れている場合には、突発的な値が入ったと判定し、加重メディアンフィルタの時間フィルタ処理を行う。

また、式（２）に示すように、バッファ内の最新値と中央値とが、不感帯幅（ＤＺＷ）×時間差分離れている場合や、式（３）に示すように、バッファ内の最新値と最旧値とが、不感帯幅（ＤＺＷ）×時間差分離れている場合には、トレンドがあると判定し、時間フィルタ処理を行わない。

それ以外の場合には、平均値フィルタの時間フィルタ処理を行う。

続いて、Ｓ１３６では、式（４）に示すように、各ラインの明るさを平均して、画面全体の明るさを求める。なお、Ｗは、ラインごとに設定されたウェイトであり、例えば次のような考え方で設定することができる。すなわち、前方車両が存在しうる領域である明るさ測定領域の明るさ平均値（第１の平均値）と、明るさの安定した領域である路面用領域の明るさ平均値（第２の平均値）とを混合（例えば平均）した値を、画面全体の明るさとして求めることが考えられる。この場合、各ラインの明るさから第１の平均値を求める際には、近傍ほど重みを減らして平均をとり、逆に、第２の平均値を求める際には、遠方ほど重みを減らして平均をとるようにすることが好ましい。

続いて、Ｓ１３７で、明るさのハンチング対策として、Ｓ１３６で算出した明るさの平均結果にローパスフィルタ（ＬＰＦ）をかけて明るさ制御に用いる明るさ測定値とした後、本前方明るさ測定処理を終了する。ただし、ローパスフィルタをかけると反応速度が低下するので、図１４に示すように、明るさの平均結果が明るさ制御の不感帯を超えて振動している（ばらついている）場合にのみローパスフィルタをかけ、それ以外の場合にはローパスフィルタをかけないようにする。

具体的には、次の［１］〜［５］の手順で処理を行う。
［１］画面明るさをバッファする（バッファ時間：ｔ〜ｔ−Ｐ）。
Ｂ_IMG#Temp,t・・・Ｂ_IMG#Temp,t-P
［２］式（５）に示すように、画面明るさの差分をバッファする（バッファ時間：０〜Ｐ−１）。

［３］変動回数をカウントする。具体的には、Ｄｉｆｆ₀・・・Ｄｉｆｆ_P-1において、隣接するＤｉｆｆ_i・・・Ｄｉｆｆ_i-1の符号が異なる回数をカウントする。

［４］不感帯（ＤＺＷ）の半値幅に対する変動の大きさを評価する。具体的には、式（６）の関係を満たす場合にはＣ＝１．０と判定し、式（７）の関係を満たす場合には図１５のグラフに基づき判定する。

［５］式（８）に従いローパスフィルタをかける。

続いて、Ｓ１４０では、Ｓ１３０で測定した前方明るさが、Ｓ１２０で算出した不感帯（図５のＢ）の範囲内であるか否かを判定する。

そして、Ｓ１４０で、前方明るさが不感帯の範囲内でないと判定した場合には、Ｓ１５０へ移行し、Ｓ１１０で算出した明るさ制御目標値と、Ｓ１３０で測定した明るさ測定値とに基づき、最適な明るさ制御マップを選択するゲイン・シャッタースピード制御を行った後、本露出制御処理を終了する。

具体的には、本実施形態では、図１６に示すように、カメラモジュールの持つハイダイナミックレンジ（ＨＤＲ）設定を用いて、画面のダイナミックレンジを拡大するようにしている。すなわち、イメージャのハイダイナミックレンジ設定を用いて、明るさ制御マップにおける画素値と輝度との相関関係に折れ目がつけられており、画面のダイナミックレンジが拡大されている。ただし、折れ線として設定できる形状は、ゲイン、シャッタースピード等により複雑な制約を受けるので、その制約下で、なるべく各明るさ制御マップ間で大きく折れ線形状が変わらないような形状算出が行われている。このような明るさ制御マップを用いることで、トンネル出口のように路面輝度が非常に大きく変化する場合であっても、カメラ２１の露出状態を適正な状態に制御するまでの時間を短縮することができる。

一方、Ｓ１４０で、前方明るさが不感帯の範囲内であると判定した場合には、Ｓ１５０をスキップして本露出制御処理を終了する。
［４．効果］
以上説明したように、本実施形態の露出制御装置１０では、カメラ２１の撮影画像における明るさ測定領域から水平方向のライン単位で画素を抽出し（Ｓ１３１）、抽出した画素のうち最も明るい所定数の画素及び最も暗い所定数の画素の除去処理をラインごとに行う（Ｓ１３２）。そして、除去処理後の残りの画素に基づいて撮影対象の明るさを測定し（Ｓ１３３〜Ｓ１３７）、その測定値に基づいて露出制御を行う（Ｓ１５０）。

このような露出制御装置１０によれば、白線等の明るい部分や補修部分等の暗い部分を含む領域を明るさ測定領域として設定しても、こうした外乱の影響を抑えて撮影対象の明るさを適切に測定することができる。このため、明るさ測定領域の自由度を高くしつつ、車両の横方向の移動に関係なく適切な露出制御を行うことができる。

特に、本実施形態の露出制御装置１０では、自車近傍のラインほど画素の除去量を大きくするようにしているため、除去すべき画素を適切に除去することが可能となる。
加えて、本実施形態の露出制御装置１０では、ラインごとの明るさ平均値に対して時間フィルタ処理を施した後、それらの平均値に基づき撮影対象の明るさを測定するようにしており、遠方のラインほどフィルタ効果が大きくなるように時間フィルタ処理を施す。このため、ばらつきが大きくなりやすい遠方ラインの平均値の時間的変化を抑えることができ、露出制御を適切に行うことができる。

［５．特許請求の範囲との対応］
なお、本実施形態の露出制御装置１０では、Ｓ１３１の処理を実行するＣＰＵ１１が抽出手段に相当し、Ｓ１３２の処理を実行するＣＰＵ１１が除去手段に相当し、Ｓ１３３〜Ｓ１３７の処理を実行するＣＰＵ１１が測定手段に相当し、Ｓ１５０の処理を実行するＣＰＵ１１が露出制御手段に相当する。

［６．他の形態］
以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されることなく、種々の形態を採り得ることは言うまでもない。

上記実施形態の露出制御装置１０では、明るさ測定領域から取り込んだ画素をラインごとにソートし、最も明るい所定数の画素及び最も暗い所定数の画素を除去するようにしているが、これに限定されるものではない。

例えば、明るい画素を除去するためのしきい値を設定し、明るさがそのしきい値以上の画素を最も明るい所定量の画素として除去するようにしてもよい。同様に、暗い画素を除去するためのしきい値についても設定し、明るさがそのしきい値以下の画素を最も暗い所定量の画素として除去することができる。ただし、上記実施形態のように、抽出した画素の明るさに関係なくあらかじめ決められている数の画素を除去するようにすれば、一定数の画素に基づき撮影対象の明るさを安定して測定することができる。

また、明るい画素の除去量に比べて暗い画素の除去量を少なくしたり、暗い画素については全く除去せずに明るい画素のみを除去したりすることも有効である。
さらに、明暗部の画素の除去は、ラインごとに行うことに限定されるものではなく、例えば、明るさ測定領域から取り込んだ全画素の明るさ分布に基づき除去することも可能である。

一方、上記実施形態では、前方車両の認識に基づく警報処理及び操舵制御を行うシステムに本発明を適用した構成を例示したが、これに限定されるものではなく、例えば、道路の白線の認識に基づく警報処理や操舵制御等を行うシステムなどに適用することも可能である。

また、上記実施形態で示した明るさ測定領域はあくまでも一例に過ぎず、実行する制御等に応じて最適な領域を設定すればよい。

実施形態の露出制御装置の構成を示すブロック図である。 明るさ制御マップの説明図である。 露出制御処理のフローチャートである。 明るさ制御目標値の設定方法の説明図である。 不感帯の設定方法の説明図である。 前方明るさ測定処理のフローチャートである。 明るさ測定領域の説明図である。 ライン上における画素の間引き方法の説明図である。 各ラインにおける画素の明暗部の除去方法の説明図である。 取り込み画素の分布例を示すグラフである。 ラインごとに画素の明るさ平均値を算出する説明図である。 ラインごとの時間フィルタの設定方法を示す説明図である。 時間フィルタ処理を行うか否かの判定方法の説明図である。 ローパスフィルタをかけるか否かの判定方法の説明図である。 不感帯の半値幅に対する変動の大きさを評価するためのグラフである。 画素値と輝度との相関関係に折れ目がつけられた明るさ制御マップの説明図である。 白線を含まないように設定した明るさ測定領域の説明図である。 白線を含むように設定した明るさ測定領域の説明図である。

符号の説明

１０…露出制御装置、１１…ＣＰＵ、１２…メモリ、１３…画像インタフェース、１４…通信インタフェース、２１…カメラ、２２…統合判断ＥＣＵ、２３…警報部、２４…操舵ＥＣＵ

Claims (7)

1. 自車前方を撮影する車載カメラの露出制御を行う露出制御装置であって、
   前記車載カメラの撮影画像における明るさ測定用の領域から画素を抽出する抽出手段と、
   前記抽出手段により抽出された画素のうち最も明るい所定量の画素の除去処理を行う除去手段と、
   前記除去処理後の残りの画素に基づいて撮影対象の明るさを測定する測定手段と、
   前記測定手段による測定値に基づいて前記露出制御を行う露出制御手段と、
   を備えることを特徴とする露出制御装置。
2. 前記除去手段は、前記抽出手段により抽出された画素のうち最も暗い所定量の画素についても除去処理を行うこと
   を特徴とする請求項１に記載の露出制御装置。
3. 前記除去手段は、前記所定量として、あらかじめ決められている数の画素を除去すること
   を特徴とする請求項１又は請求項２に記載の露出制御装置。
4. 前記抽出手段は、前記明るさ測定用の領域から水平方向のライン単位で画素を抽出し、
   前記除去手段は、前記ラインごとに前記除去処理を行うこと
   を特徴とする請求項１から請求項３までのいずれか１項に記載の露出制御装置。
5. 前記除去手段は、自車近傍のラインほど前記所定量を大きくすること
   を特徴とする請求項４に記載の露出制御装置。
6. 前記測定手段は、前記ラインごとに画素の平均的な明るさを算出し、各算出値に対して時間的変化を緩和する時間フィルタ処理を施した後、それらの算出値に基づき撮影対象の明るさを測定するものであり、遠方のラインほどフィルタ効果が大きくなるように前記時間フィルタ処理を施すこと
   を特徴とする請求項５に記載の露出制御装置。
7. 自車前方を撮影する車載カメラの露出制御を行う露出制御装置としてコンピュータを機能させるための露出制御プログラムであって、
   前記車載カメラの撮影画像における明るさ測定用の領域から画素を抽出する抽出手段と、
   前記抽出手段により抽出された画素のうち最も明るい所定量の画素の除去処理を行う除去手段と、
   前記除去処理後の残りの画素に基づいて撮影対象の明るさを測定する測定手段と、
   前記測定手段による測定値に基づいて前記露出制御を行う露出制御手段
   としてコンピュータを機能させることを特徴とする露出制御プログラム。

Images