JP2009157086A - 露出制御装置及び露出制御プログラム - Google Patents

露出制御装置及び露出制御プログラム Download PDF

Info

Publication number
JP2009157086A
JP2009157086A JP2007334935A JP2007334935A JP2009157086A JP 2009157086 A JP2009157086 A JP 2009157086A JP 2007334935 A JP2007334935 A JP 2007334935A JP 2007334935 A JP2007334935 A JP 2007334935A JP 2009157086 A JP2009157086 A JP 2009157086A
Authority
JP
Japan
Prior art keywords
brightness
exposure control
vehicle
road surface
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007334935A
Other languages
English (en)
Other versions
JP4433046B2 (ja
Inventor
Kentaro Mochida
健太郎 望田
Takayuki Kimura
貴之 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2007334935A priority Critical patent/JP4433046B2/ja
Priority to US12/318,146 priority patent/US8421909B2/en
Priority to DE102008063121.3A priority patent/DE102008063121B4/de
Publication of JP2009157086A publication Critical patent/JP2009157086A/ja
Application granted granted Critical
Publication of JP4433046B2 publication Critical patent/JP4433046B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/72Combination of two or more compensation controls
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/28Circuitry to measure or to take account of the object contrast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

【課題】認識対象物の明るさに応じた露出制御を安定して行うことのできる露出制御装置を提供する。
【解決手段】前方車両の明るさを検出するための台形状の障害物(認識対象物)用領域と、路面の明るさを検出するための長方形状の路面用領域とからなる明るさ測定領域から画素を抽出し、抽出した画素に基づいて露出制御を行う。このため、前方車両の明るさ(障害物用領域の明るさ)のみに応じて露出制御を行う場合に比べ、日照条件やトンネル等による明るさの変化に対する応答性を保ちつつ、前方車両の移動、消失、出現等の変化に対して安定した露出制御を実現することができる。しかも、明るさ測定領域を過剰に大きくする必要がないため、処理負荷の増加も抑えることができる。
【選択図】図7

Description

本発明は、自車前方を撮影する車載カメラの露出制御を行う露出制御装置に関するものである。
近年、車両の前方を撮影する車載カメラを利用して、道路の白線や、他車両等の立体物の認識処理を行い、その認識結果に基づき警報や走行制御等を行う技術が提案されている。こうした技術において、認識対象(白線や立体物)の認識精度を向上させるためには、撮影対象の明るさに応じて車載カメラの露出制御を適切に行うことが重要となる。
そこで、例えば特許文献1に記載の車線認識装置では、車載カメラの撮影画像に基づいて白線を検出するとともに、現在の車速に基づき次回白線検出を行う処理領域を撮影画像において定める。そして、その処理領域内の撮影画像の平均輝度b1を算出し、今回の白線検出のための処理領域に対応する平均輝度b0との差を求める。この差が所定値よりも大きい場合には、平均輝度b1に基づいて次回の受光量を決定し、この受光量に基づいて車載カメラの絞り部を制御する。
このように次回の白線検出領域の平均輝度を求めることで、例えば道路全体が日向から日陰に変化する場合には、次回の白線検出領域に適した露出量(絞り量)で車載カメラを動作させることができる。
しかしながら、実際の道路環境においては、道路全体が日向から日陰に、あるいは日陰から日向に変化する等の単純な変化ばかりではなく、車載カメラの撮影範囲の明るさは種々の態様で変化する。このため、単に次回の白線検出領域の平均輝度を求めても、適切な露出制御を行うことが難しい場合がある。
そこで、特許文献2に記載の露出制御装置では、車載カメラの撮影画像において、道路上の白線を除く部分に対応する複数の領域を設定し、複数の領域の輝度に基づいて、車載カメラの露出制御を行うようにしている。
特開平6−253208号公報 特開2005−148308号公報
ところで、認識対象としては白線以外にも車両等の立体物(認識対象物)が挙げられ、この場合には認識対象物の明るさに応じて車載カメラの露出制御を行う必要がある。
しかしながら、例えば認識対象物である車両と自車両との間に別の車両が割り込んだ場合のように、認識対象物の明るさは路面の明るさに比べ急激に変化しやすく、こうした変化に対して露出がすぐに適応できないという問題がある。
本発明は、こうした問題にかんがみてなされたものであり、認識対象物の明るさに応じた露出制御を安定して行うことのできる露出制御装置を提供することを目的としている。
上記目的を達成するためになされた本発明の請求項1に記載の露出制御装置は、自車前方を撮影する車載カメラにより撮影された認識対象物の明るさに応じて露出制御を行うものである。この露出制御装置では、抽出手段が、車載カメラの撮影画像における認識対象物の明るさを検出するための対象物用領域と、路面の明るさを検出するための路面用領域とから、画素を抽出する。そして、露出制御手段が、抽出手段により抽出された画素に基づいて露出制御を行う。
このような露出制御装置によれば、認識対象物の明るさのみに応じて露出制御を行う場合に比べ、露出制御を安定させることができる。すなわち、認識対象物の明るさは、認識対象物の移動、消失、出現等の変化に伴い急激に変化しやすいため、認識対象物の明るさのみに基づく露出制御は不安定になりやすいという問題がある。一方、路面の明るさは、他の部分の明るさに比べ比較的安定しており、しかも、日照条件やトンネル等による明るさの変化については反映される。このため、認識対象物の明るさと路面の明るさとに基づき露出制御を行うことで、日照条件やトンネル等による明るさの変化に対する応答性を保ちつつ、認識対象物の移動、消失、出現等の変化に対してロバストな露出制御(安定した露出制御)を実現することができる。加えて、露出制御用の明るさ測定用の領域を過剰に大きくする必要がないため、処理負荷の増加も抑えることができる。
また、請求項2に記載の露出制御装置では、撮影画像における対象物用領域及び路面用領域の位置はあらかじめ決められている。このような露出制御装置によれば、例えば認識対象物の認識処理に応じて対象物用領域の位置を可変にするような構成に比べ、認識対象物の誤認識等による露出制御のずれや不安定化を防ぐことができる。
具体的には、例えば請求項3に記載のように、対象物用領域は、撮影画像において路面用領域を上方へ拡張した領域とすることができる。
そして特に、例えば請求項4に記載のように、対象物用領域の撮影画像における上方向の位置がFOE(無限遠点)に設定されていれば、露出制御が不安定となることを防止することができる。すなわち、FOEよりも上方は、空や建築構造物など、認識対象物の明るさを検出する上で外乱となるものが多いため、こうした外乱の影響を抑えるようにしている。
次に、請求項5に記載の露出制御プログラムは、自車前方を撮影する車載カメラにより撮影された認識対象物の明るさに応じて露出制御を行う露出制御装置としてコンピュータを機能させるためのものである。そして、この露出制御プログラムは、車載カメラの撮影画像における認識対象物の明るさを検出するための対象物用領域と、路面の明るさを検出するための路面用領域とから、画素を抽出する抽出手段と、抽出手段により抽出された画素に基づいて露出制御を行う露出制御手段としてコンピュータを機能させる。
このような露出制御プログラムによれば、請求項1の露出制御装置としてコンピュータを機能させることができ、これにより前述した効果を得ることができる。
以下、本発明が適用された実施形態について、図面を用いて説明する。
[1.全体構成]
図1は、実施形態の露出制御装置10の構成を示すブロック図である。
この露出制御装置10は、車両に搭載された状態で用いられるものであり、この車両に搭載されている車載カメラ(以下、単に「カメラ」という。)21、統合判断ECU22、警報部23及び操舵ECU24とともに、前方車両の認識に基づく警報処理及び操舵制御を実現する。
露出制御装置10は、CPU11と、メモリ12と、カメラ21の撮影画像を入力するための画像インタフェース13と、統合判断ECU22との通信を行うための通信インタフェース14とを備えている。
カメラ21は、車室内の所定位置、例えばルームミラーの裏側に設置され、車両の進行方向前方の道路を撮影するものである。なお、カメラ21は、車室内の所定位置に設置されるときに、その撮影範囲が車両の進行方向に対して所定の撮影範囲となるように、その向き等が調整される。
また、カメラ21は、公知のCCDイメージセンサ、あるいはCMOSイメージセンサに加え、増幅部及びA/D変換部を内蔵している。これら増幅部及びA/D変換部は、イメージセンサによって画像を撮影したとき、その画像の各画素の明るさを示すアナログ信号を所定のゲインで増幅し、かつ増幅したアナログ値をデジタル値に変換する。そして、カメラ21は、このデジタル値に変換した信号(画素値)を、画像信号として、画像のラインごとに出力する。
画像インタフェース13には、カメラ21から出力される画素値及び水平・垂直同期信号が入力される。CPU11は、画像インタフェース13に入力された水平・垂直同期信号に基づいて、画像の水平ラインごとに出力される画素値が、いずれの画素位置に対応するものかを認識する。そして、認識した画素位置に対応するように、カメラ21から出力される画素値をメモリ12に記憶する。このようにして、カメラ21から出力される画像信号がメモリ12に保存される。
CPU11は、カメラ21から出力された画像信号を処理することにより、認識対象物(本実施形態では前方車両)の位置の認識を行うとともに、その認識した前方車両の位置を統合判断ECU22に出力する。さらに、CPU11は、前方車両が適切に認識されるようにカメラ21の露出制御を行う。具体的には、CPU11は、カメラ21のシャッタースピード及びフレームレート、更に増幅部のゲインを調整するため、これらの調整指示値を含むカメラ制御値をカメラ21に出力する。
通信インタフェース14は、CPU11と統合判断ECU22との間の通信を調整するものである。本実施形態では、CPU11は、画像信号における前方車両の位置を認識して、この認識した前方車両の位置を統合判断ECU22に送信する。統合判断ECU22は、CPU11から送信された前方車両の位置に基づいて、自車が前方車両と接触する危険性があるか否かを判定し、危険性があると判定した場合には、警報部23に対して警報を発するように指示する。また、危険性が高い場合には、単に警報を発するだけでなく、操舵ECUに対して操舵制御(操舵装置のアシスト量を調節したり、操舵装置を自動的に駆動したりして危険を回避する制御)を行うように指示する。
[2.露出制御の概要]
次に、露出制御の概要について説明する。
図2(a)に示すように、本実施形態の露出制御装置10は、撮影対象の明るさ(輝度)から撮影画像の画素値への変換マップとして、複数種類の明るさ制御マップ(画素輝度変換関係)を記憶しており、状況に応じて最適なものを1つ選択して使用する。図2(a)の例では、明るさ測定値Bの撮影対象を画素値Vで撮影したければ、11番の明るさ制御マップを使用する必要がある。
このように、撮影対象をどの程度の画面の明るさで撮影したいか(明るさ制御目標値V)と撮影対象の明るさ(明るさ測定値B)とに基づき、数あるゲインとシャッターの設定(明るさ制御マップ)の中から1つを選択する作業を露出制御と呼ぶ。
ここで、撮影対象の明るさは、撮影画像の画素値及び使用中の明るさ制御マップに基づき判断することができる。例えば、図2(b)に示すように、7番の明るさ制御マップが使用されており、現在の画面の明るさ(撮影画像の画素値)がKであるとすると、撮影対象の明るさ測定値はBであることが分かる。そして、この撮影対象を明るさ制御目標値V程度の画面の明るさに制御したいのであれば、13番の明るさ制御マップ(ゲインとシャッターの設定)を使用すればよいことが分かる。
なお、詳細については後述するが、本実施形態の露出制御装置10は、次の(1)〜(4)の手順で露出制御を行う。
(1)明るさ制御目標値算出
明るさ制御目標値を昼夜で切り替える(図4)。また、制御状態を急変させないように、昼夜の切り替わり期間においては明るさ制御目標値を徐々に変化させるようにする。
(2)不感帯算出
制御が不安定化しないように、明るさ制御の動作に不感帯を設ける(図5)。
(3)前方明るさ測定
路面用領域と障害物(認識対象物)用領域とからなる明るさ測定用の領域から抽出した画素の明るさの平均値を求める(図7)。
(4)ゲインシャッタースピード制御
上記(3)で算出した明るさ測定値が、上記(2)で算出した不感帯を超えた場合、上記(1)で算出した明るさ制御目標値と上記(3)で算出した明るさ測定値とから、最適な明るさ制御マップを選択する(図2)。
[3.CPUが実行する処理]
次に、前述した露出制御を実現するため、あらかじめ記憶されているプログラムに従いCPU11が定期的に(例えば100msごとに)実行する露出制御処理について、図3のフローチャートを用いて説明する。
CPU11は、露出制御処理を開始すると、まず、S110で、明るさ制御目標値を算出する。具体的には、図4(c)に示すように、明るさ制御マップの番号(横軸)に対する明るさ制御目標値(縦軸)の対応関係(実線で図示)があらかじめ記憶されており、この対応関係に基づき、現在使用中の明るさ制御マップ(前回の露出制御処理で選択したものであり、初回であればあらかじめ設定されているもの)に対応する明るさ制御目標値を参照する。
なお、図4(c)に示す対応関係は、図4(a)に示す明るさ制御マップの番号(横軸)に対する路面用の明るさ制御目標値(縦軸)の対応関係(点線で図示)と、図4(b)に示す明るさ制御マップの番号(横軸)に対する障害物(認識対象物)用の明るさ制御目標値(縦軸)の対応関係(破線で図示)とを混合(具体的には平均)したものである。つまり、認識対象物用の明るさ制御目標値だけでなく、路面の明るさ制御目標値も設定し、双方の目標値を混合した値を露出制御の明るさ制御目標値としている。
また、図4(c)の対応関係から明らかなように、夜間用の明るさ制御目標値は、光源部分のふくらみを抑える理由などから、昼間(日中)用の明るさ制御目標値に比べて低く設定されている。また、朝方や夕方のように、夜間と昼間との間の期間(夜間境界と昼間境界との間の期間)は、画像の明るさの急変を防ぐために、明るさ制御目標値を徐々に変化させる。なお、本実施形態では、昼間や夜間の判断を、使用中の明るさ制御マップの番号に基づき行うようにしている。すなわち、前述した説明(図2(b))から明らかなように、撮影対象の明るさ測定値が大きいほど番号の大きい明るさ制御マップが使用される傾向があり、使用中の明るさ制御マップの番号から外部の明るさを判断することができる。
続いて、S120では、不感帯を算出する。ここで、不感帯とは、明るさ制御状態が頻繁に変化するのを防止するため、露出制御を実行すべきか否かの判定用しきい値として利用されるものである。具体的には、図5に示すように、現在使用中のN番目の明るさ制御マップと、S110で算出した明るさ制御目標値Vとに基づき判断される撮影対象の明るさを基準として、その前後1段分の明るさ制御マップに相当する明るさの範囲Bを不感帯として算出する。つまり、N−1番目の明るさ制御マップと明るさ制御目標値Vとに基づき判断される撮影対象の明るさから、N+1番目の明るさ制御マップと明るさ制御目標値Vとに基づき判断される撮影対象の明るさまでの範囲Bを、不感帯として算出する。そして、後述するように、実際の明るさ測定値が不感帯の範囲内であれば、露出制御を行わない(明るさ制御マップを切り替えない)ようにする。
続いて、S130では、カメラ21から取り込んだ画像データにおける特定領域の画素値に基づき、露出制御に用いる前方の明るさ(撮影対象の明るさ)を測定する前方明るさ測定処理を行う。具体的には、図6のフローチャートに示す処理を行う。
すなわち、まず、S131では、撮影画像におけるあらかじめ決められた位置(固定位置)に設定された明るさ測定用の領域(以下「明るさ測定領域」という。)から、水平方向のライン単位で画素を取り込む。
ここで、明るさ測定領域は、図7に示すように、前方車両の明るさを検出するための台形状の障害物(認識対象物)用領域と、路面の明るさを検出するための長方形状の路面用領域とからなる。つまり、前方車両の明るさを測定する領域とは別に、路面の明るさを測定する領域を設定し、双方の明るさを混合した明るさを明るさ測定結果としている。
具体的には、路面用領域は、自車からの前方距離7〜27m程度をカバーする縦幅と、自車が走行する車線を区画する左右両側の2本の白線が含まれる程度の横幅とを有する長方形状の領域に設定されている。
一方、障害物用領域は、上方向の位置がカメラ21の無限遠点(FOE:Focus of Expansion)に設定されている。また、自車前方へレーダ波をスキャンしてその反射波を検出することで前方物体の位置、速度、形状等を求めるミリ波レーダによる検知エリアの幅(±10°)をベースに横幅が設定されている。ただし、割り込み車両などへの露出合わせを早める目的や、路面用領域とシームレスにつなげる目的などから、下方へ広がりをつけた台形状の領域に設定されている。なお、FOEよりも上方は、空や建築構造物など、認識対象とは関係のないものが多いため、それらの影響を抑えるために取り込まないようにしている。
そして、このように設定された明るさ測定領域全域から、水平方向のライン単位で画素を取り込む。本実施形態では、処理負荷軽減のため、明るさ測定領域のすべての画素を取り込むことはせず、ラインを間引いて取り込むことにより、取り込み画素数を減らすようにしている。具体的には、路面用領域については、自車からの距離がほぼ等間隔となるように(撮影画像において上方ほど間隔が狭くなるように)ライン間隔が設定されており、障害物用領域については、撮影画像においてほぼ等間隔となるようにライン間隔が設定されている。
また、図8に示すように、各ライン上においても画素を間引いて取り込むようにしている。本実施形態では、すべてのラインで同数の画素が取り込まれるように、各ラインにおいてほぼ等間隔で画素を間引くようにしている。
続いて、S132では、図9に示すように、ラインごとに、取り込んだ画素を明るさでソートし、最も明るい所定数の画素及び最も暗い所定数の画素を除去する。すなわち、図10にも示すように、例えば、アスファルト路面では、高輝度の白線(路上ペイント)等が邪魔となり、コンクリート路面では、低輝度の補修部分や道路の金属継ぎ目等が邪魔となる。そこで、路面の明るさを求める際に、明るい部分及び暗い部分の画素を除去することで、外乱の影響を除去するようにしている。
ここで、自車近傍では、白線やコールタール等、明るさによって省きたいものを比較的適切に区別できるのに対し、遠方になるほど適切な区別が困難となる。このため、明るい部分や暗い部分の画素の除去量を遠方ほど少なくし、最も遠方のラインではソートによる選別(画素の除去処理)を行わないようにする。
続いて、S133では、S132で明暗部を除去した残りの中間値周辺の画素のみから、図11に示すように、ラインごとに画素の明るさの平均値(上からi番目(1≦i≦L)のラインの平均値をBi,tと表す。)を算出する。このように中間値周辺の画素のみから平均値をとることで、平均値の時間変化を安定させるようにしている。
続いて、S134では、各ラインの明るさ平均値を、次のようにフィルタ用にバッファする(バッファ時間:t〜t−T)。
1番目のライン:B1,t・・・B1,t-T
i番目のライン:Bi,t・・・Bi,t-T
L番目のライン:BL,t・・・BL,t-T
続いて、S135では、S134でバッファした各ラインの明るさ平均値をフィルタリングする。
1番目のライン:B1,t・・・B1,t-T→F1,t
i番目のライン:Bi,t・・・Bi,t-T→Fi,t
L番目のライン:BL,t・・・BL,t-T→FL,t
すなわち、FOE周辺など車両などによる光源が入り込みやすい領域を使用することから、明るさ測定値が不安定となるため、時間フィルタを用いて、明るさ測定値のばらつきを押さえるようにするのである。
具体的には、自車近傍のラインの平均値は、路面程度であり、ばらつきは少ないのに対し、遠方のラインの平均値は、車両のピッチングや光源の高速移動(対向車)など、もっともばらつきが大きく、ある程度長時間(例えば700ms)データをバッファして時間平均をとる必要がある。そこで、図12に示すように、遠方ほどノイズに強い(遅れの大きい)時間フィルタを使用し、近傍のラインでは時間フィルタ処理を行わないようにする。
ただし、トンネル出入口など、明るさが急変する場合にはすばやい追従を可能とするため、各ラインの平均値のばらつき方に応じたフィルタリングを行い、ばらつき削減と反応速度とを両立させるようにしている。具体的には、図13に示すように、平均値の時間変化にトレンドがある(ばらつきがない)と判定した場合には、時間フィルタ処理を行わないようにする。一方、平均値の時間変化に突発的な値が入ったと判定した場合には、加重メディアンフィルタ(重みつきメディアンフィルタ)の時間フィルタ処理を行い、それ以外の場合には、平均値フィルタの時間フィルタ処理を行う。なお、ここでいう加重メディアンフィルタとは、古いデータよりも新しいデータに重みがかかるメディアンフィルタのことである。
ここで、図13の判定方法について更に詳述する。
例えば、バッファ時間(t〜t−T)のT=4であり、i番目のラインの明るさ平均値が次のような関係にあるとする。
i,t-1<Bi,t-3<Bi,t-2<Bi,t-4<Bi,t-0
式(1)に示すように、バッファ内の最新値と中央値とが、不感帯幅(DZW)/2×時間差分離れている場合には、突発的な値が入ったと判定し、加重メディアンフィルタの時間フィルタ処理を行う。
Figure 2009157086
また、式(2)に示すように、バッファ内の最新値と中央値とが、不感帯幅(DZW)×時間差分離れている場合や、式(3)に示すように、バッファ内の最新値と最旧値とが、不感帯幅(DZW)×時間差分離れている場合には、トレンドがあると判定し、時間フィルタ処理を行わない。
Figure 2009157086
それ以外の場合には、平均値フィルタの時間フィルタ処理を行う。
続いて、S136では、式(4)に示すように、各ラインの明るさを平均して、画面全体の明るさを求める。なお、Wは、ラインごとに設定されたウェイトであり、例えば次のような考え方で設定することができる。すなわち、前方車両が存在しうる領域である明るさ測定領域の明るさ平均値(第1の平均値)と、明るさの安定した領域である路面用領域の明るさ平均値(第2の平均値)とを混合(例えば平均)した値を、画面全体の明るさとして求めることが考えられる。この場合、各ラインの明るさから第1の平均値を求める際には、近傍ほど重みを減らして平均をとり、逆に、第2の平均値を求める際には、遠方ほど重みを減らして平均をとるようにすることが好ましい。
Figure 2009157086
続いて、S137で、明るさのハンチング対策として、S136で算出した明るさの平均結果にローパスフィルタ(LPF)をかけて明るさ制御に用いる明るさ測定値とした後、本前方明るさ測定処理を終了する。ただし、ローパスフィルタをかけると反応速度が低下するので、図14に示すように、明るさの平均結果が明るさ制御の不感帯を超えて振動している(ばらついている)場合にのみローパスフィルタをかけ、それ以外の場合にはローパスフィルタをかけないようにする。
具体的には、次の[1]〜[5]の手順で処理を行う。
[1]画面明るさをバッファする(バッファ時間:t〜t−P)。
IMG#Temp,t・・・BIMG#Temp,t-P
[2]式(5)に示すように、画面明るさの差分をバッファする(バッファ時間:0〜P−1)。
Figure 2009157086
[3]変動回数をカウントする。具体的には、Diff0・・・DiffP-1において、隣接するDiffi・・・Diffi-1の符号が異なる回数をカウントする。
[4]不感帯(DZW)の半値幅に対する変動の大きさを評価する。具体的には、式(6)の関係を満たす場合にはC=1.0と判定し、式(7)の関係を満たす場合には図15のグラフに基づき判定する。
Figure 2009157086
[5]式(8)に従いローパスフィルタをかける。
Figure 2009157086
続いて、S140では、S130で測定した前方明るさが、S120で算出した不感帯(図5のB)の範囲内であるか否かを判定する。
そして、S140で、前方明るさが不感帯の範囲内でないと判定した場合には、S150へ移行し、S110で算出した明るさ制御目標値と、S130で測定した明るさ測定値とに基づき、最適な明るさ制御マップを選択するゲイン・シャッタースピード制御を行った後、本露出制御処理を終了する。
具体的には、本実施形態では、図16に示すように、カメラモジュールの持つハイダイナミックレンジ(HDR)設定を用いて、画面のダイナミックレンジを拡大するようにしている。すなわち、イメージャのハイダイナミックレンジ設定を用いて、明るさ制御マップにおける画素値と輝度との相関関係に折れ目がつけられており、画面のダイナミックレンジが拡大されている。ただし、折れ線として設定できる形状は、ゲイン、シャッタースピード等により複雑な制約を受けるので、その制約下で、なるべく各明るさ制御マップ間で大きく折れ線形状が変わらないような形状算出が行われている。このような明るさ制御マップを用いることで、トンネル出口のように路面輝度が非常に大きく変化する場合であっても、カメラ21の露出状態を適正な状態に制御するまでの時間を短縮することができる。
一方、S140で、前方明るさが不感帯の範囲内であると判定した場合には、S150をスキップして本露出制御処理を終了する。
[4.効果]
以上説明したように、本実施形態の露出制御装置10では、障害物用領域と路面用領域とからなる明るさ測定領域から画素を抽出し(S131)、抽出した画素に基づいて露出制御を行う(S132〜S137、S150)。このため、前方車両の明るさ(障害物用領域の明るさ)のみに応じて露出制御を行う場合に比べ、日照条件やトンネル等による明るさの変化に対する応答性を保ちつつ、前方車両の移動、消失、出現等の変化に対して安定した露出制御を実現することができる。しかも、明るさ測定領域を過剰に大きくする必要がないため、処理負荷の増加も抑えることができる。
また、撮影画像における明るさ測定領域の位置はあらかじめ決められているため、例えば前方車両の認識処理に応じて障害物用領域の位置を可変にするような構成に比べ、前方車両の誤認識等による露出制御のずれや不安定化を防ぐことができる。
加えて、障害物用領域の撮影画像における上方向の位置がFOE(無限遠点)に設定されているため、露出制御が不安定となることを防止することができる。
[5.特許請求の範囲との対応]
なお、本実施形態の露出制御装置10では、S131の処理を実行するCPU11が抽出手段に相当し、S150の処理を実行するCPU11が露出制御手段に相当する。
[6.他の形態]
以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されることなく、種々の形態を採り得ることは言うまでもない。
例えば、上記実施形態で示した明るさ測定領域はあくまでも一例に過ぎず、実行する制御等に応じて最適な領域を設定すればよい。
実施形態の露出制御装置の構成を示すブロック図である。 明るさ制御マップの説明図である。 露出制御処理のフローチャートである。 明るさ制御目標値の設定方法の説明図である。 不感帯の設定方法の説明図である。 前方明るさ測定処理のフローチャートである。 明るさ測定領域の説明図である。 ライン上における画素の間引き方法の説明図である。 各ラインにおける画素の明暗部の除去方法の説明図である。 取り込み画素の分布例を示すグラフである。 ラインごとに画素の明るさ平均値を算出する説明図である。 ラインごとの時間フィルタの設定方法を示す説明図である。 時間フィルタ処理を行うか否かの判定方法の説明図である。 ローパスフィルタをかけるか否かの判定方法の説明図である。 不感帯の半値幅に対する変動の大きさを評価するためのグラフである。 画素値と輝度との相関関係に折れ目がつけられた明るさ制御マップの説明図である。
符号の説明
10…露出制御装置、11…CPU、12…メモリ、13…画像インタフェース、14…通信インタフェース、21…カメラ、22…統合判断ECU、23…警報部、24…操舵ECU

Claims (5)

  1. 自車前方を撮影する車載カメラにより撮影された認識対象物の明るさに応じて露出制御を行う露出制御装置であって、
    前記車載カメラの撮影画像における前記認識対象物の明るさを検出するための対象物用領域と、路面の明るさを検出するための路面用領域とから、画素を抽出する抽出手段と、
    前記抽出手段により抽出された画素に基づいて前記露出制御を行う露出制御手段と、
    を備えることを特徴とする露出制御装置。
  2. 前記撮影画像における前記対象物用領域及び前記路面用領域の位置はあらかじめ決められていること
    を特徴とする請求項1に記載の露出制御装置。
  3. 前記対象物用領域は、前記撮影画像において前記路面用領域を上方へ拡張した領域であること
    を特徴とする請求項2に記載の露出制御装置。
  4. 前記対象物用領域は、前記撮影画像における上方向の位置がFOE(無限遠点)に設定されていること
    を特徴とする請求項1から請求項3までのいずれか1項に記載の露出制御装置。
  5. 自車前方を撮影する車載カメラにより撮影された認識対象物の明るさに応じて露出制御を行う露出制御装置としてコンピュータを機能させるための露出制御プログラムであって、
    前記車載カメラの撮影画像における前記認識対象物の明るさを検出するための対象物用領域と、路面の明るさを検出するための路面用領域とから、画素を抽出する抽出手段と、
    前記抽出手段により抽出された画素に基づいて前記露出制御を行う露出制御手段
    としてコンピュータを機能させることを特徴とする露出制御プログラム。
JP2007334935A 2007-12-26 2007-12-26 露出制御装置及び露出制御プログラム Active JP4433046B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007334935A JP4433046B2 (ja) 2007-12-26 2007-12-26 露出制御装置及び露出制御プログラム
US12/318,146 US8421909B2 (en) 2007-12-26 2008-12-22 Exposure control apparatus and exposure control program for vehicle-mounted electronic camera
DE102008063121.3A DE102008063121B4 (de) 2007-12-26 2008-12-24 Belichtungssteuervorrichtung und Belichtungssteuerprogramm für elektronische Fahrzeugkamera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007334935A JP4433046B2 (ja) 2007-12-26 2007-12-26 露出制御装置及び露出制御プログラム

Publications (2)

Publication Number Publication Date
JP2009157086A true JP2009157086A (ja) 2009-07-16
JP4433046B2 JP4433046B2 (ja) 2010-03-17

Family

ID=40786059

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007334935A Active JP4433046B2 (ja) 2007-12-26 2007-12-26 露出制御装置及び露出制御プログラム

Country Status (3)

Country Link
US (1) US8421909B2 (ja)
JP (1) JP4433046B2 (ja)
DE (1) DE102008063121B4 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101241225B1 (ko) * 2011-06-27 2013-03-13 현대자동차주식회사 차량의 영상 인식 시스템 및 그 방법
JP2013157770A (ja) * 2012-01-30 2013-08-15 Clarion Co Ltd 車載カメラ用露出制御装置
JP2015028499A (ja) * 2012-07-27 2015-02-12 株式会社リコー 付着物検出装置、移動体機器制御システム、及びプログラム
JP2015162902A (ja) * 2014-02-26 2015-09-07 アクシス アーベー カメラの露出を制御するための方法および制御ユニット
JP2021141608A (ja) * 2013-05-16 2021-09-16 ソニーグループ株式会社 画像処理装置、画像処理方法およびプログラム

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4784659B2 (ja) * 2009-02-16 2011-10-05 トヨタ自動車株式会社 車両用周辺監視装置
JP6028382B2 (ja) * 2012-04-27 2016-11-16 株式会社デンソー 前方監視カメラ
JP5800288B2 (ja) * 2012-10-30 2015-10-28 株式会社デンソー 車両用画像処理装置
JP5737306B2 (ja) * 2013-01-23 2015-06-17 株式会社デンソー 露出制御装置
KR101353052B1 (ko) * 2013-07-31 2014-01-20 주식회사 피엘케이 테크놀로지 교통표지판 인식을 위한 차량용 영상인식시스템
US20150330054A1 (en) * 2014-05-16 2015-11-19 Topcon Positioning Systems, Inc. Optical Sensing a Distance from a Range Sensing Apparatus and Method
JP6657925B2 (ja) * 2015-06-04 2020-03-04 ソニー株式会社 車載カメラ・システム並びに画像処理装置
JP6644509B2 (ja) * 2015-10-01 2020-02-12 アルパイン株式会社 車両検知警報装置および車両検知警報方法
KR20180097966A (ko) * 2017-02-24 2018-09-03 삼성전자주식회사 자율 주행을 위한 영상 처리 방법 및 장치
DE102018214938A1 (de) * 2018-09-03 2020-03-05 Conti Temic Microelectronic Gmbh Die vorliegende Erfindung betrifft ein Verfahren zur Erhöhung der Verkehrssicherheit eines Ego-Fahrzeugs sowie ein Ego-Fahrzeug mit einem Fahrerassistenzsystem

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5339163A (en) * 1988-03-16 1994-08-16 Canon Kabushiki Kaisha Automatic exposure control device using plural image plane detection areas
US5255044A (en) * 1990-06-05 1993-10-19 Nikon Corporation Automatic exposure control apparatus with improved exposure value calculation for photographing a moving object
JP3412174B2 (ja) * 1992-05-21 2003-06-03 松下電器産業株式会社 自動露光制御装置
JPH06253298A (ja) 1993-02-26 1994-09-09 Matsushita Electric Ind Co Ltd 映像合成表示装置
JPH06253208A (ja) 1993-02-26 1994-09-09 Isuzu Motors Ltd 車線認識装置
JP3468428B2 (ja) 1993-03-24 2003-11-17 富士重工業株式会社 車輌用距離検出装置
US20050083428A1 (en) * 1995-03-17 2005-04-21 Hiroto Ohkawara Image pickup apparatus
JPH11337998A (ja) 1998-05-22 1999-12-10 Fujitsu Ten Ltd 画像処理装置
US6185374B1 (en) * 1998-09-01 2001-02-06 Minolta Co., Ltd. Mechanism for controlling flash light emission, camera with the mechanism, and its control method
JP2000075345A (ja) 1998-09-01 2000-03-14 Minolta Co Ltd カメラ
EP1074430B1 (en) 1999-08-04 2007-10-17 Iteris, Inc. Imaging system and method with dynamic brightness control
JP2001216520A (ja) 2000-01-31 2001-08-10 Yazaki Corp 車両用周辺監視装置
US7365779B2 (en) * 2000-09-14 2008-04-29 Fujitsu Ten Limited Image processing apparatus for selectively storing specific regions of an image
US7251056B2 (en) * 2001-06-11 2007-07-31 Ricoh Company, Ltd. Image processing apparatus, image processing method and information recording medium
JP2005148308A (ja) 2003-11-13 2005-06-09 Denso Corp 白線検出用カメラの露出制御装置
DE102004047476B4 (de) 2004-09-30 2014-05-08 Robert Bosch Gmbh Vorrichtung und Verfahren zur Einstellung einer Kamera
US20080094471A1 (en) * 2005-05-20 2008-04-24 Toyota Jidosha Kabushiki Kaisha Image Processor for Vehicles
JP4984666B2 (ja) 2006-06-12 2012-07-25 ソニー株式会社 不揮発性メモリ
JP2008028957A (ja) * 2006-07-25 2008-02-07 Denso Corp 車両用画像処理装置
KR100918701B1 (ko) * 2007-10-11 2009-09-22 한국과학기술원 강인한 자동 화이트 밸런스 방법

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101241225B1 (ko) * 2011-06-27 2013-03-13 현대자동차주식회사 차량의 영상 인식 시스템 및 그 방법
JP2013157770A (ja) * 2012-01-30 2013-08-15 Clarion Co Ltd 車載カメラ用露出制御装置
JP2015028499A (ja) * 2012-07-27 2015-02-12 株式会社リコー 付着物検出装置、移動体機器制御システム、及びプログラム
JP2021141608A (ja) * 2013-05-16 2021-09-16 ソニーグループ株式会社 画像処理装置、画像処理方法およびプログラム
JP7115593B2 (ja) 2013-05-16 2022-08-09 ソニーグループ株式会社 画像処理装置、画像処理方法およびプログラム
JP2015162902A (ja) * 2014-02-26 2015-09-07 アクシス アーベー カメラの露出を制御するための方法および制御ユニット
US9432588B2 (en) 2014-02-26 2016-08-30 Axis Ab Method and control unit for controlling exposure of a camera
TWI582527B (zh) * 2014-02-26 2017-05-11 安訊士有限公司 用於控制攝影機之曝光之方法與控制單元

Also Published As

Publication number Publication date
DE102008063121A1 (de) 2009-07-23
JP4433046B2 (ja) 2010-03-17
US20090174809A1 (en) 2009-07-09
DE102008063121B4 (de) 2022-04-28
US8421909B2 (en) 2013-04-16

Similar Documents

Publication Publication Date Title
JP4433046B2 (ja) 露出制御装置及び露出制御プログラム
JP4389999B2 (ja) 露出制御装置及び露出制御プログラム
JP4433045B2 (ja) 露出制御装置及び露出制御プログラム
JP5375814B2 (ja) 露出制御装置
EP1767960B1 (en) Front image taking device
JP4248558B2 (ja) 道路区画線検出装置
JP6750519B2 (ja) 撮像装置、撮像表示方法および撮像表示プログラム
US8373754B2 (en) Method and system for evaluating brightness values in sensor images of image-evaluating adaptive cruise control systems
EP2770478B1 (en) Image processing unit, imaging device, and vehicle control system and program
JP4990806B2 (ja) 撮像手段の調整装置および車外監視装置
JP2008110715A (ja) 車両用オートライトシステム
US10462378B2 (en) Imaging apparatus
JP4400512B2 (ja) 車載カメラ制御装置
JP2012073927A (ja) 運転支援装置
JP5246254B2 (ja) 車載カメラの露出制御値の決定方法
JP2005148308A (ja) 白線検出用カメラの露出制御装置
US20170364765A1 (en) Image processing apparatus, image processing system, vehicle, imaging apparatus and image processing method
JP2005148309A (ja) 白線検出用カメラの露出制御装置
US10587818B2 (en) Vehicle vision system with enhanced camera brightness control
JP2006060504A (ja) 白線検出用カメラの露出制御装置
JP2009038463A (ja) 露光調整方法、車両用撮像装置および自動車
JP2011228856A (ja) 車載カメラシステム、画像処理装置、画像処理方法、およびプログラム
JPH11337998A (ja) 画像処理装置
JP2014135611A (ja) カメラ露出設定装置及びカメラ露出設定プログラム
JPH0757183A (ja) 車両用環境認識装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090520

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090915

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091201

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091214

R151 Written notification of patent or utility model registration

Ref document number: 4433046

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130108

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140108

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250