JP2009038463A - 露光調整方法、車両用撮像装置および自動車 - Google Patents

露光調整方法、車両用撮像装置および自動車 Download PDF

Info

Publication number
JP2009038463A
JP2009038463A JP2007199037A JP2007199037A JP2009038463A JP 2009038463 A JP2009038463 A JP 2009038463A JP 2007199037 A JP2007199037 A JP 2007199037A JP 2007199037 A JP2007199037 A JP 2007199037A JP 2009038463 A JP2009038463 A JP 2009038463A
Authority
JP
Japan
Prior art keywords
vehicle
exposure
image
surrounding
surrounding vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007199037A
Other languages
English (en)
Inventor
Shintaro Kachi
眞太郎 加地
Migaku Takahama
琢 高浜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2007199037A priority Critical patent/JP2009038463A/ja
Publication of JP2009038463A publication Critical patent/JP2009038463A/ja
Pending legal-status Critical Current

Links

Images

Abstract

【課題】自車両側方の画像を撮影する際の露光制御をより適切に行うこと。
【解決手段】自動車1は、レーダによって検出された自車両側方の周辺車両が、自車両側方を撮影する撮影部10の撮影範囲に進入して来るまでの時間を算出する。そして、周辺車両が撮影範囲に進入するまでは、撮影範囲全体を基準として露光制御を行い、周辺車両が撮影範囲に進入する直前に、撮影範囲における周辺車両が進入して来る側の端部を基準として露光制御を行う。そのため、自車両側方の画像を撮影する際に、周辺車両が障害物となり、露光制御が乱されることを防ぐことができる。したがって、自車両側方の画像を撮影する際の露光制御をより適切に行うことが可能となる。
【選択図】図1

Description

本発明は、車両周囲の画像を撮影する際の露光調整方法、その露光調整方法を適用した車両用撮像装置およびそれを備えた自動車に関する。
従来、CCD(Charge Coupled Devices)カメラあるいはCMOS(Complementary Metal Oxide Semiconductor)センサを用いたカメラ等の撮像装置を用いて、自車両前方の画像を撮影し、撮影された画像から自車両前方の環境を認識する技術が用いられている。
このような技術においては、撮影された画像を基に車線の境界線等を認識することから、認識対象となる車線の境界線部分等に画像の白とびや黒つぶれ等が発生すると、環境の認識を正確に行うことが困難となる。
そこで、撮影画像から自車両前方の環境を認識する技術において、撮像装置の露光制御を正確に行い、適切な露光量で画像を撮影する手法が提案されている。
例えば、特許文献1には、CCDカメラによって撮影された自車両前方の画像を基に障害物(先行車両等)を検出し、検出した障害物と自車両との間の路面にあたる画像領域を、露光制御の対象の領域(処理領域)として設定する技術が開示されている。
即ち、障害物の画像は、走行環境を構成する路面等の画像に比して、輝度が大きく異なり、正確な露光制御を妨げる場合があることから、特許文献1に記載された技術においては、障害物が存在しない処理領域内の画像情報に基づいて、撮像装置における次回の露光量を演算することとしている。
これにより、障害物の画像に影響されることなく、正確な露光制御を行い、自車両前方の環境を認識するのに適した画像の撮影を図るものである。
特開平10−066060号公報
しかしながら、特許文献1に記載された技術を含め、従来の技術においては、主に自車両前方の画像を撮影することが想定されているため、これらの技術を用いた場合、自車両側方における画像を撮影しようとすると、適切な露光制御を行えない場合が生じる。
例えば、自車両の側方を比較的大きな相対速度(例えば20km/h程度)で追い越す車両がある場合、走行環境を構成する路面等の画像と輝度が大きく異なる車両の画像が、画面内を横切ることになる。すると、それにより一時的に露光制御が乱される可能性がある。
なお、自車両側方を撮影する撮像装置は、視野を比較的広く取ることから、上述の状況がより高い割合で生じ得る。
本発明の課題は、自車両側方の画像を撮影する際の露光制御をより適切に行うことである。
以上の課題を解決するため、本発明に係る露光調整方法は、
自車両側方の画像を撮影し、撮影画像を基に自車両側方の環境を認識する際に、自車両周辺を走行する周辺車両を検出し、該周辺車両が自車両側方の撮影範囲に進入する時間を予測し、撮影範囲への周辺車両の進入時に、前記撮影画像における該周辺車両が進入する部分の露光状態が環境を認識するのに適合する露光状態となるように、露光調整を行うことを特徴としている。
また、本発明に係る車両用撮像装置は、
自車両側方の画像を撮影する撮影手段と、自車両周辺を走行する周辺車両を検出する車両検出手段と、前記車両検出手段によって検出された周辺車両が、前記撮影手段の撮影範囲に進入する時間を予測し、撮影範囲への周辺車両の進入時に、撮影画像において周辺車両が進入する部分の露光状態を設定された状態へと制御する露光制御手段とを備えることを特徴としている。
また、本発明に係る自動車は、
車体と、自車両における車体側方の画像を撮影する撮影手段と、自車両周辺を走行する周辺車両を検出する車両検出手段と、前記車両検出手段によって検出された周辺車両が、前記撮影手段の撮影範囲に進入する時間を予測し、撮影範囲への周辺車両の進入時に、撮影画像において周辺車両が進入する部分の露光状態を設定された状態へと制御する露光制御手段と、前記撮影手段によって撮影された画像を基に、自車両側方の環境を認識し、その認識結果に基づく車両制御を行う車両制御手段とを備えることを特徴としている。
本発明に係る露光調整方法によれば、自車両周辺を走行する周辺車両が自車両側方の撮影範囲に進入するときに、前記撮影画像における該周辺車両が進入する部分の露光状態が環境を認識するのに適合する露光状態となるように露光調整が行われる。
したがって、自車両側方の画像を撮影する際の露光制御をより適切に行うことが可能な露光調整方法を実現できる。
また、本発明に係る車両用撮像装置によれば、検出された自車両側方の周辺車両が、自車両側方を撮影する撮影手段の撮影範囲に進入して来るまでの時間を予測する。そして、周辺車両が撮影範囲に進入するときに、撮影画像において周辺車両が進入して来る部分の露光状態を設定された状態へと制御する。
そのため、自車両側方の画像を撮影する際に、周辺車両の進入により、露光制御が乱されることを防ぐことができる。
したがって、自車両側方の画像を撮影する際の露光制御をより適切に行うことが可能な車両用撮像装置を実現できる。
また、本発明に係る自動車によれば、検出された自車両側方の周辺車両が、自車両側方を撮影する撮影手段の撮影範囲に進入して来るまでの時間を予測する。そして、周辺車両が撮影範囲に進入するときに、撮影画像において周辺車両が進入して来る部分の露光状態を設定された状態へと制御する。そして、そのように撮影された画像を基に、自車両側方の環境を認識し、車両制御を行う。
そのため、自車両側方の画像を撮影する際に、周辺車両の進入により、露光制御が乱されることを防ぐことができる。
したがって、自車両側方の画像を撮影する際の露光制御をより適切に行うことが可能な自動車を実現できる。
以下、図を参照して本発明を適用した自動車の実施の形態を説明する。
(第1実施形態)
(構成)
図1は、本発明に係る自動車1の構成を示す図である。
図1において、自動車1は、車体1Aと、撮影部10と、検出部20と、処理部30と、車両制御部40とを備えている。なお、撮影部10、検出部20および処理部30によって、車両用撮像装置1Bが構成されている。
これらのうち、撮影部10は、車体1Aの側面に設置されて、自車両の側方を撮影するものであり、レンズ11と、イメージセンサ12と、A/D(Analog to Digital)変換器13と、露光調整部14と、画像メモリ15とをさらに備えている。なお、撮影部10は、車体1Aの左右の側面それぞれに設置され、これらは同様の機能を有するものである。
レンズ11は、被写体からの光をイメージセンサ12上に結像させる。
イメージセンサ12は、CCDあるいはCMOSセンサによって構成され、レンズ11によって結像された被写体の画像をアナログ信号として出力する。また、イメージセンサ12は、電子シャッタの機能を備えており、露光調整部14によって設定された露光時間だけ光を蓄積する。
A/D変換器13は、イメージセンサ12によって出力された撮影画像のアナログ信号を量子化し、デジタルデータとして出力する。
露光調整部14は、現在の撮影画像の輝度平均値と、画像処理を行うためにより適する輝度として設定された目標値(以下、適宜「目標適正輝度値」と言う。)との差に応じて、撮影画像の輝度が目標適正輝度値となるようイメージセンサ12における露光時間の設定(電子シャッタ速度の設定)を行う。
また、露光調整部14は、領域設定部32によって露光対象領域が設定され、露光演算部31によって、その露光対象領域における輝度を設定された目標値とさせる指示が行われた場合、露光対象領域の輝度平均値をその目標値とするように露光時間の設定を行う。
画像メモリ15は、A/D変換器13によって出力された撮影画像のデータを記憶する。
次に、検出部20は、車体1Aの四隅に設置されたレーダを有し、自車両周辺の走行車両や道路環境を検出する。具体的には、検出部20は、周辺車両検出部21と、自車速度検出部22と、道路環境検出部23とを備えている。
周辺車両検出部21は、レーザレーダ、赤外線レーダあるいは超音波レーダ等によって構成され、周辺車両の位置および自車両との相対速度を検出する。
自車速度検出部22は、各車輪に設置された車輪速センサ(不図示)によって出力される車輪速を基に、自車両の車速Vを検出する。
道路環境検出部23は、GPS(Global Positioning System)機能およびVICS(Vehicle Information and Communication System)機能を備えたカーナビゲーションシステムを含んで構成され、カーナビゲーションシステムが有する地図データベースや、VICS機能によって受信される交通情報を基に、自車両が走行している道路環境(例えばトンネルやカーブの有無等)を検出する。
次に、処理部30は、撮影部10によって撮影された自車両側方の画像、および、検出部20によって検出された自車両周辺の情報を基に、自車両側方の環境を適確に認識するための露光に関する処理を行う。具体的には、処理部30は、露光演算部31と、領域設定部32と、位置相対速度算出部33とを備えている。
露光演算部31は、領域設定部32によって設定される露光対象領域(露光制御の対象領域)について、領域内の全画素における現在の輝度合計値を算出し、それを領域内の全画素数で除すことにより、領域内の画素の平均輝度値を算出する。そして、露光演算部31は、算出した平均輝度値と輝度の目標値との差を算出し、算出した輝度値の差に応じて、露光調整部14の露光調整に要する時間tを算出する。
ここで、上述の露光調整部14においては、露光制御を行う場合、撮影画像の輝度平均値と設定された目標値との差に応じて、電子シャッタ速度をフィードバック制御し、撮影画像の輝度平均値を目標値に収束させる。このとき、車速が高いほど、自車両周辺の撮影画像における輝度変化が激しくなる傾向にある(特に自車両側方の画像においては顕著である)。そのため、露光演算部31が車速の高さを判定し、車速の高さに応じて、露光調整部14におけるフィードバック制御の感度を低くさせることが可能である。
即ち、露光調整部14は、撮影画像の輝度平均値と目標値との差が、設定された閾値の範囲内である場合には、撮影画像の露光状態が目標とする露光状態に収束していると判定して電子シャッタ速度を維持する。一方、露光調整部14は、撮影画像の輝度平均値と目標値との差が、設定された閾値を超えている場合、撮影画像の輝度平均値と目標値との差が小さくなるよう電子シャッタ速度の調整を行う。そのため、撮影画像の輝度平均値と目標値との差について設定された閾値を小さくすると、フィードバック制御の感度が高くなり、反対に大きくすると、フィードバック制御の感度が低くなる。そこで、露光演算部31が車速を監視し、車速が高いほど、露光調整部14における閾値(撮影画像の輝度平均値と目標の輝度値との差について設定された閾値)を大きくさせることで、撮影画像の輝度変化が激しい場合でも、露光制御が安定しない状態となることを防ぐことができる。
領域設定部32は、撮影部10によって撮影された自車両側方の画像と、検出部20によって検出された自車両周辺の情報と、位置相対速度算出部33の算出結果(自車両と周辺車両の相対速度等)を基に、撮影範囲内のいずれの位置を露光対象領域とするかを決定する。例えば、領域設定部32は、自車両側方を他車両が追い越す場合等には、撮影範囲内の後方側端部(撮影範囲の1/3等)の領域を露光対象領域とし、自車両周辺に他車両がいない場合には、撮影範囲内全体を露光対象領域とする。
位置相対速度算出部33は、検出部20によって検出された自車両の周辺車両に関する情報から、周辺車両の位置、自車両との相対速度、撮影範囲内に進入するまでの時間TTSを算出する。
次に、車両制御部40は、撮影部10によって撮影された自車両側方の画像を基に、自車両側方の隣接車線や周辺車両等、自車両側方の環境を認識し、その認識結果に基づいて、自動車1における各種機器の制御を行う。例えば、車両制御部40は、自車両側方の認識結果に基づいて、ディスプレイあるいはスピーカーにより、周辺車両の接近を報知したり、車線変更を妨げる要因(隣接車線における周辺車両等)が存在する場合に、操舵反力を付与することにより、車線変更に対する警告を行うといった制御を行う。
(露光制御処理)
次に、自動車1が実行する露光制御処理について説明する。
図2は、自動車1が実行する露光制御処理を示すフローチャートである。
図2において、露光制御処理は、自動車1のイグニションオンと共に開始され、イグニションオフとされるまで繰り返し実行される。
露光制御処理が開始されると、処理部20は、自動車1に備えられたセンサあるいは装置から各種データを読み込む。このとき、処理部20は、撮影部10によって撮影された自車両側方の画像と、周辺車両検出部21によって検出された周辺車両の位置および自車両との相対速度を読み込む(ステップS101)。
次いで、検出部20は、自車速度検出部22によって自車両の車速Vを算出する(ステップS102)。
具体的には、自車速度検出部22は、通常の走行時であるときには、各車輪の車輪速から次式に従って従動輪の車輪速に基づき車速Vを算出する。ただし、次式において、各車輪速をVwi(i=1〜4)と表し、添え字については、右前輪:i=1、左前輪:i=2、右後輪:i=3、左後輪:i=4とする。
(前輪駆動の場合)
V=(Vw3+Vw4)/2 (1)
(後輪駆動の場合)
V=(Vw1+Vw2)/2 (2)
なお、ABS(Antilock Brake System)制御が作動しているときには、車速Vとして、ABS制御において推定された推定車体速を用いる。
次に、処理部30は、露光演算部31によって、次式に従い、露光対象領域とされ得る領域(例えば撮影画像全体および画像の後方側1/3の領域)それぞれについて、平均輝度値Enowを算出する(ステップS103)。
Enow=露光対象領域内における画素の輝度値の合計/露光対象領域内の画素数 (3)
続いて、周辺車両検出部21は、レーダによって、自車両側方の周辺車両が検出されているか否か判定する(ステップS104)。
ステップS104において、自車両側方の周辺車両が検出されていないと判定した場合、領域設定部32は、自車両側方の撮影画像全体の領域を露光対象領域に設定する(ステップS105)。このように撮影画像全体の領域を露光対象領域とした場合、画像全体を平均化した輝度を基準として電子シャッタ速度が決定されるため、画像全体として環境を認識し易いものとなる。なお、画像内に輝度の差が大きい部分が存在する場合(例えば画角内に太陽が存在する場合等)には、その部分については白とびや黒つぶれの傾向が生じる場合がある。
一方、ステップS104において、自車両側方の周辺車両が検出されていると判定した場合、位置相対速度算出部33は、その周辺車両が自車両側方の撮影範囲に進入して来るまでの時間TTSを次式に従って算出する(ステップS106)。
TTS=自車両から周辺車両までの距離/自車両と周辺車両との相対速度 (4)
次に、露光演算部31は、検出された周辺車両が進入して来る側の画像端部の領域(例えば画像の後方側1/3の領域等)における画素の平均輝度値と目標適正輝度値との差に基づいて、露光調整部14の露光調整に要する時間tを算出する(ステップS107)。
これは、ステップS104において自車両側方の周辺車両が検出されたと判定された場合に、周辺車両が進入してくる画像領域の平均輝度値を画像処理に適する目標適正輝度値Esetに露光調整するための準備に相当し、輝度Esetとして、本実施例においては、Eset=100(正規化後の値)に設定している。
露光調整を行う場合、(3)式で算出された平均輝度値Enowを、画像処理を行うために適した輝度値Esetに調整する。このとき、具体的には、電子シャッタ速度を早くするあるいは遅くする制御が行われるが、電子シャッタ速度を早くすると撮影画像がより暗くなり、電子シャッタ速度を遅くすると撮影画像がより明るくなる。そして、電子シャッタ速度を最適な値に設定し、目標とする輝度に画像を変化させるまでには制御上の限界速度Elim(単位時間当たりの明るさの変化量)が課せられることとなる。したがって、現在の平均輝度値Enowを目標の輝度値Esetに変化させるまでの時間tは、
t=(Eset−Enow)/Elim (5)
として算出できる。
次に、領域設定部32は、ステップS106において算出した時間TTSと、ステップS107において算出した時間t(平均輝度値Enowを目標適正輝度値Esetに変化させるまでの時間t)とを比較する(ステップS108)。
ステップS108において、時間TTSが時間t以上でない(周辺車両が撮影範囲に進入する直前である)と判定した場合、領域設定部32は、周辺車両が進入して来る側の画像端部の領域(例えば画像の後方側1/3の領域等)を露光対象領域に設定する(ステップS109)。
一方、ステップS108において、時間TTSが時間t以上である(周辺車両が撮影範囲に進入するまでに余裕がある)と判定した場合、領域設定部32は、ステップS105の処理に移行し、自車両側方の撮影画像全体の領域を露光対象領域に設定する。
次いで、露光調整部14は、露光対象領域における平均輝度値と目標適正輝度値との誤差を基に、輝度値の誤差に関する関数funcを参照し、次式に従って新たな電子シャッタ速度ShtSpdを算出する(ステップS110)。
Eerr=(Eset−Enow) (6)
ShtSpd=ShtSpd-z+func(Eerr) (7)
なお、Eerrは、現在の平均輝度値と目標適正輝度値との誤差、ShtSpd-zは、現在の電子シャッタ速度をそれぞれ表している。
図3は、輝度値の誤差Eerrと電子シャッタ速度の調整量との関係を示す図である。
図3においては、輝度値の誤差Eerrが大きい場合、最大の調整量で変化させ、輝度値の誤差Eerrが0の近傍一定の範囲内である場合、誤差の大きさに応じた調整量で電子シャッタ速度を変化させる特性となっている。
次に、露光調整部14は、現在の電子シャッタ速度ShtSpd-zをステップS110において算出した電子シャッタ速度ShtSpdに更新(ShtSpd-z=ShtSpd)し(ステップS111)、露光制御処理を繰り返す。
(動作)
次に、動作を説明する。
自動車1の運転者が、片側2車線の左側レーンを走行しているものとする。
このとき、自動車1は、露光制御処理を実行しており、自車両側方の画像と、周辺車両の位置および自車両との相対速度とを含む各種データを処理部20に読み込んでいる。
そして、自動車1は、検出部20において車速Vを算出し、処理部30において、露光対象領域となる可能性がある領域(撮影画像全体あるいは画像の後方側端部1/3等)内の画素の平均輝度値Enowをそれぞれ算出する。
さらに、自動車1は、検出部20において自車両側方の周辺車両が検出されているか否か判定し、自車両側方の周辺車両が検出されていないときには、撮影画像全体について平均的に適度な露光となるよう、露光対象領域を撮影画像全体に設定する。
一方、検出部20において自車両側方の周辺車両が検出されているときには、自動車1は、処理部30において周辺車両が自車両側方の撮影範囲に進入して来るまでの時間TTSを算出し、周辺車両が進入して来る側の画像端部の領域の平均輝度値を目標適正輝度値に露光調整するために要する時間tを算出する。
そして、自動車1は、処理部30において時間TTSと時間tとを比較し、周辺車両が撮影範囲に進入して来るまでに露光調整が行えるか否か、即ち、周辺車両が撮影範囲に進入する直前であるか否かを判定する。
このとき、周辺車両が撮影範囲に進入して来るまでに露光調整が行える(周辺車両が撮影範囲に進入する直前でない)と判定した場合、処理部30において露光対象領域を自車両側方の撮影画像全体に設定し、周辺車両が撮影範囲に進入して来るまでに露光調整が行えない(周辺車両が撮影範囲に進入する直前である)と判定した場合、露光対象領域を周辺車両が進入して来る側の画像端部の領域に設定する。
さらに、自動車1は、設定された露光対象領域について露光調整、即ち、電子シャッタ速度の調整を行い、現在の電子シャッタ速度を示すデータShtSpd-zを更新する。
自動車1は、このような処理を繰り返すことにより、自車両側方の画像を撮影する上で、周辺車両が存在する場合と存在しない場合それぞれに応じた領域を露光対象領域に設定し、それぞれの状況に応じた露光制御を行うことができる。
即ち、周辺車両が撮影範囲に進入するまでは撮影画像全体を平均的に適度な露光量とし、周辺車両が撮影範囲に進入する際には周辺車両が進入してくる側の画像端部を基準とした露光量とすることができる。そのため、周辺車両が撮影範囲に進入する際に、周辺車両が現れる部分の画像領域を適切な露光量とし、環境認識に適した画像を撮影することができる。
以上のように、本実施形態に係る自動車1は、レーダによって検出された自車両側方の周辺車両が、自車両側方を撮影する撮影部10の撮影範囲に進入して来るまでの時間を算出する。そして、周辺車両が撮影範囲に進入するまでは、撮影範囲全体を基準として露光制御を行い、周辺車両が撮影範囲に進入する直前に、撮影範囲における周辺車両が進入して来る側の端部を基準として露光制御を行う。
そのため、自車両側方の画像を撮影する際に、周辺車両が障害物となり、露光制御が乱されることを防ぐことができる。
したがって、自車両側方の画像を撮影する際の露光制御をより適切に行うことが可能となる。
また、周辺車両が撮影範囲に進入して来る直前であるか否かを、露光制御における制御速度を基に判定するため、周辺車両が撮影範囲に進入するタイミングに合わせて適確な露光制御に切り替えることができる。
したがって、周辺車両が撮影範囲に進入する場合にも、自車両側方の環境を適切に把握することが可能となる。
なお、本実施形態においては、撮影部10が撮影手段を構成し、検出部20が車両検出手段を構成し、処理部30が露光制御手段を構成し、車両制御部40が車両制御手段を構成する。
(第1実施形態の効果)
(1)自車両周辺を走行する周辺車両が自車両側方の撮影範囲に進入するときに、前記撮影画像における該周辺車両が進入する部分の露光状態が環境を認識するのに適合する露光状態となるように露光調整が行われる。
したがって、自車両側方の画像を撮影する際の露光制御をより適切に行うことが可能な露光調整方法を実現できる。
(2)検出された自車両側方の周辺車両が、自車両側方を撮影する撮影手段の撮影範囲に進入して来るまでの時間を予測する。そして、周辺車両が撮影範囲に進入するときに、撮影画像において周辺車両が進入して来る部分の露光状態を設定された状態へと制御する。
そのため、自車両側方の画像を撮影する際に、周辺車両の進入により、露光制御が乱されることを防ぐことができる。
したがって、自車両側方の画像を撮影する際の露光制御をより適切に行うことが可能な車両用撮像装置を実現できる。
(3)周辺車両が、撮影範囲に進入するまでの進入時間と、現在の撮影画像における露光状態から設定された露光状態とするまでに要する制御時間とを算出し、該進入時間が制御時間より短くなるときに、撮影画像において車両が進入する部分の露光状態を設定された状態に変化させる。
そのため、周辺車両が撮影範囲に進入して来る直前であるか否かを、露光制御における制御速度を基に判定するため、周辺車両が撮影範囲に進入するタイミングに合わせて適確な露光制御に切り替えることができる。
したがって、周辺車両が撮影範囲に進入する場合にも、自車両側方の環境を適切に把握することが可能となる。
(4)検出された自車両側方の周辺車両が、自車両側方を撮影する撮影手段の撮影範囲に進入して来るまでの時間を予測する。そして、周辺車両が撮影範囲に進入するときに、撮影画像において周辺車両が進入して来る部分の露光状態を設定された状態へと制御する。そして、そのように撮影された画像を基に、自車両側方の環境を認識し、車両制御を行う。
そのため、自車両側方の画像を撮影する際に、周辺車両の進入により、露光制御が乱されることを防ぐことができる。
したがって、自車両側方の画像を撮影する際の露光制御をより適切に行うことが可能な自動車を実現できる。
(第2実施形態)
次に、本発明の第2実施形態について説明する。
(構成)
本実施形態に係る自動車1は、図1に示す第1実施形態の自動車1に対し、同様の構成の下、異なる制御則によって露光制御を行うものである。
したがって、自動車1が実行する露光制御処理を主として説明する。
(露光制御処理)
図4は、本実施形態における露光制御処理を示すフローチャートである。
ここで、図4に示す露光制御処理におけるステップS201からステップS204の処理は、図2に示す露光制御処理におけるステップS101からステップS104の処理と同様である。
ステップS204において、自車両側方の周辺車両が検出されていないと判定した場合、露光調整部14は、従前の露光調整パラメータ(電子シャッタ速度や絞り値等)を記憶しているか否かを示すフラグflagAを0(露光調整パラメータを記憶していないことを示す値)に設定し、位置相対速度算出部33は、検出された周辺車両との相対速度が高いことを示すフラグflagBを0(相対速度がVth未満であることを示す値)に設定する(ステップS205)。なお、本実施形態においては、露光対象領域が切り替えられた場合、露光調整部14は、直前の露光対象領域について露光制御されていた際の露光調整パラメータ(電子シャッタ速度や絞り値等)を記憶する。
ステップS204において、自車両側方の周辺車両が検出されたと判定した場合、位置相対速度算出部33は、その周辺車両が自車両側方の撮影範囲に進入して来るまでの時間TTS1を次式に従って算出する(ステップS206)。
TTS1=自車両から周辺車両までの距離/自車両と周辺車両との相対速度 (8)
次に、位置相対速度算出部33は、検出した周辺車両が自車両側方を高い相対速度で通過するか否かの判定を行う(ステップS207)。具体的には、位置相対速度算出部33は、周辺車両と自車両との相対速度がVth以上であるか否かを判定する。
ステップS207において、周辺車両が自車両側方を高い相対速度で通過すると判定した場合(相対速度がVth以上である場合)、位置相対速度算出部33は、その周辺車両が自車両側方の撮影範囲内における前端領域(後述)に進入して来るまでの時間TTS2を次式に従って算出する(ステップS208)。
TTS2=(自車両から周辺車両までの距離+zone-dis)
/自車両と周辺車両との相対速度 (9)
図5は、自車両側方の撮影範囲と前端領域との関係を示す図である。
図5において、自車両側方の撮影範囲は、撮影部10の画角によって決まり、前端領域は、撮影範囲の前方側端部の一定幅に設定されている。例えば、本実施形態においては、前端領域の幅を1[m]に設定している。(9)式におけるzone-disは、自車両側方の撮影範囲における後端から、前端領域までの距離を表す。
なお、ステップS208においては、TTS2の算出に加えて、位置相対速度算出部33が、検出された周辺車両との相対速度が高いことを示すフラグflagBを1(相対速度がVth以上であることを示す値)に設定する。
また、ステップS207において、周辺車両が自車両側方を高い相対速度で通過しないと判定した場合(相対速度がVth未満である場合)、位置相対速度算出部33は、時間TTS2に0を代入する(ステップS209)。
なお、ステップS209においては、TTS2の設定に加えて、位置相対速度算出部33が、検出された周辺車両との相対速度が高いことを示すフラグflagBを0(相対速度がVth未満であることを示す値)に設定する。
ステップS208およびステップS209の後、露光演算部31は、検出された周辺車両が進入して来る側の画像端部の領域(例えば画像の後方側1/3の領域等)における画素の平均輝度値と目標適正輝度値との差に基づいて、露光調整部14の露光調整に要する時間tを算出する(ステップS210)。
次に、領域設定部32は、ステップS208において算出した時間TTS1と、ステップS210において算出した時間t(平均輝度値Enowを目標適正輝度値Esetに変化させるまでの時間t)とを比較する(ステップS211)。
ステップS211において、時間TTS1が時間t以上であると判定した場合、露光調整部14は、従前の露光調整パラメータ(電子シャッタ速度や絞り値等)を記憶しているか否かを示すフラグflagA=1に設定する(ステップS212)。
ステップS205およびステップS212の後、領域設定部32は、自車両側方の撮影画像全体の領域を露光対象領域に設定する(ステップS213)。
また、ステップS211において、時間TTS1が時間t未満であると判定した場合、領域設定部32は、周辺車両が進入して来る側の画像端部の領域(例えば画像の後方側1/3の領域等)を露光対象領域に設定する(ステップS214)。
ステップS213およびステップS214の後、露光調整部14は、露光対象領域における平均輝度値と目標適正輝度値との誤差を基に、輝度値の誤差に関する関数funcを参照し、(7)式に従って新たな電子シャッタ速度ShtSpdを算出する(ステップS215)。
次いで、露光調整部14は、flagA=1である場合には、ステップS215において算出した電子シャッタ速度ShtSpdを含む露光調整パラメータを記憶する(ステップS216)。
次に、位置相対速度算出部33は、flagB=1であるか否か(相対速度が大きいか否か)を判定し(ステップS217)、flagB=1である場合、時間TTS2が0以下であるか否か(周辺車両が自車両側方を高い相対速度で通過するか否か)の判定を行う(ステップS218)。
ステップS218において、時間TTS2が0以下でないと判定した場合、露光調整部14は、ステップS216において記憶した露光調整パラメータに再設定し、flagAおよびflagBを1に設定する(ステップS219)。
ステップS217においてflagB=1でないと判定した場合、ステップS218において時間TTS2が0以下であると判定した場合、および、ステップS219の後、露光調整部14は、現在の電子シャッタ速度ShtSpd-zをステップS216において算出した電子シャッタ速度ShtSpdに更新(ShtSpd-z=ShtSpd)し(ステップS220)、露光制御処理を繰り返す。
(動作)
次に、動作を説明する。
自動車1の運転者が、片側2車線の左側レーンを走行しているものとする。
このとき、自動車1は、露光制御処理を実行しており、自車両側方の画像と、周辺車両の位置および自車両との相対速度とを含む各種データを処理部20に読み込んでいる。
そして、自動車1は、検出部20において車速Vを算出し、処理部30において、露光対象領域となる可能性がある領域(撮影画像全体あるいは画像の後方側端部1/3等)内の画素の平均輝度値Enowをそれぞれ算出する。
さらに、自動車1は、自車両側方の周辺車両が検出されていないときには、従前の露光調整パラメータを記憶しているか否かを示すフラグflagAを0(露光調整パラメータを記憶していないことを示す値)に設定し、検出された周辺車両との相対速度が高いことを示すフラグflagBを0(相対速度がVth未満であることを示す値)に設定する。
また、自車両側方の周辺車両が検出されているときには、自動車1は、検出した車両が自車両側方の撮影領域に進入して来るまでの時間TTS1を算出する。
ここで、自動車1は、検出した周辺車両が自車両側方を高い相対速度で通過するか否かを判定する。
そして、周辺車両が自車両側方を高い相対速度で通過すると判定した場合には、自動車1は、自車両側方の撮影範囲における前端領域に進入して来る時間TTS2を算出する。
一方、周辺車両が自車両側方を高い相対速度で通過しないと判定した場合、時間TTS2に0を設定する。
また、自動車1は、周辺車両が自車両側方を高い相対速度で通過するか否かの判定結果に応じて、周辺車両との相対速度が高いことを示すフラグflagBの値を0または1に設定する。
そして、自動車1は、周辺車両が撮影範囲に進入するまでの時間TTS1が露出制御に要する時間tより小さい場合、周辺車両が進入して来る側の画像端部の領域に露光対象領域を設定する。
反対に、自動車1は、周辺車両が撮影範囲に進入するまでの時間TTS1が露出制御に要する時間t以上である場合、flagAを1(露光調整パラメータを記憶する状態)に設定し、撮影画像全体の領域を露光対象領域として設定する。
さらに、自動車1は、露光対象領域における平均輝度値を基に露光制御(電子シャッタ速度の調整)を行い、flagA=1に設定されている場合には、以後の露光調整を迅速に行うべく、このときの露光調整パラメータを記憶する。
また、自動車1は、周辺車両との相対速度が大きい(flagB=1)ときには、前端領域への進入時間TTS2が0より大きければ、記憶されている露光調整パラメータに再設定する。
一方、自動車1は、周辺車両との相対速度が大きくない(flagB=0)ときには、通常通りの露光制御を行い、新たに設定された電子シャッタ速度に調整する。
以上のように、本実施形態に係る自動車1は、自車両側方の画像を撮影する上で、周辺車両が存在する場合と存在しない場合それぞれに応じた領域を露光対象領域に設定し、それぞれの状況に応じた露光制御を行うことができる。
さらに、自動車1は、自車両側方を周辺車両が高い相対速度で通過することが把握された場合、その周辺車両の通過後には、撮影範囲内に周辺車両が進入する前の撮影状況に戻る可能性が高いことから、周辺車両が進入する前の露光調整パラメータ(電子シャッタ速度等)を記憶しておき、周辺車両通過後に、その露光調整パラメータに再設定する。
そのため、高い相対速度をもって通過する周辺車両によって、一時的に露光調整の状態に変化が生じた場合でも、周辺車両の通過後、迅速に適切な露光制御に戻ることが可能となる。
したがって、自車両側方の画像を撮影する際の露光制御をより適切に行うことが可能となる。
なお、本実施形態においては、露光調整パラメータを記憶する露光調整部14が記憶手段を構成する。
(第2実施形態の効果)
(1)検出された周辺車両が、設定された相対速度以上で自車両側方を通過すると予測した場合、該周辺車両が撮影範囲に進入する直前の露光調整に関する設定パラメータを記憶しておき、周辺車両が撮影範囲から離脱した場合に、記憶した露光調整に関するパラメータに再設定する。
そのため、高い相対速度をもって通過する周辺車両によって、一時的に露光調整の状態に変化が生じた場合でも、周辺車両の通過後、迅速に適切な露光制御に戻ることが可能となる。
したがって、自車両側方の画像を撮影する際の露光制御をより適切に行うことが可能となる。
(第3実施形態)
次に、本発明の第3実施形態について説明する。
(構成)
本実施形態に係る自動車1は、図1に示す第1実施形態の自動車1に対し、同様の構成の下、異なる制御則によって露光制御を行うものである。
したがって、自動車1が実行する露光制御処理を主として説明する。
(露光制御処理)
図6は、本実施形態における露光制御処理を示すフローチャートである。
ここで、図6に示す露光制御処理におけるステップS301からステップS306の処理は、図2に示す露光制御処理におけるステップS101からステップS106の処理と同様である。
また、ステップS307の処理は、図4に示す露光制御処理におけるステップS207の処理と同様である。
ステップS307において、周辺車両が自車両側方を高い相対速度で通過すると判定した場合、自動車1は、露光演算部31によって、検出された周辺車両が進入して来る側の画像端部の領域(例えば画像の後方側1/3の領域等)における画素の平均輝度値Enowと、画像処理を行う上で許容可能な輝度値として設定された目標許容輝度値Eminとの差に基づいて、露光調整部14の露光調整に要する時間tを算出する(ステップS308)。
この目標許容輝度値Eminは、現在の平均輝度値からより少ない調整量で、画像処理可能な撮影画像を得るための目標輝度値であり、本実施形態においては、以下のように設定している。
即ち、Emin<Esetであるときには、
Emin=Eset−Diff-A (10)
Emin>=Esetであるときには、
Emin=Eset+Diff-A (11)
これらEsetおよびDiff-Aは、本実施形態においては、Eset=100、Diff-A=20(いずれも正規化された値)の固定値としている。なお、Diff-Aは、イメージセンサ12の受光感度の高さとノイズの少なさに応じて定めることができる。
現在の露光対象領域における平均輝度値Enowを目標許容輝度値Eminに調整するために要する時間tは、次式により求められる。
t=|Emin−Enow|/Elim (12)
一方、ステップS307において、周辺車両が自車両側方を高い相対速度で通過しないと判定した場合、自動車1は、露光演算部31によって、検出された周辺車両が進入して来る側の画像端部の領域(例えば画像の後方側1/3の領域等)における画素の平均輝度値Enowと目標適正輝度値Esetとの差に基づいて、露光調整部14の露光調整に要する時間tを算出する(ステップS309)。
以後、ステップS310からステップS313の処理は、図2に示す露光制御処理におけるステップS108からステップS111の処理と同様である。
(動作)
次に、動作を説明する。
自動車1の運転者が、片側2車線の左側レーンを走行しているものとする。
このとき、自動車1は、露光制御処理を実行しており、自車両側方の画像と、周辺車両の位置および自車両との相対速度とを含む各種データを処理部20に読み込んでいる。
そして、自動車1は、検出部20において車速Vを算出し、処理部30において、露光対象領域となる可能性がある領域(撮影画像全体あるいは画像の後方側端部1/3等)内の画素の平均輝度値Enowをそれぞれ算出する。
さらに、自動車1は、検出部20において自車両側方の周辺車両が検出されているか否か判定し、自車両側方の周辺車両が検出されていないときには、撮影画像全体について平均的に適度な露光となるよう、露光対象領域を撮影画像全体に設定する。
一方、検出部20において自車両側方の周辺車両が検出されているときには、自動車1は、処理部30において周辺車両が自車両側方の撮影範囲に進入して来るまでの時間TTSを算出する。
そして、自動車1は、検出した周辺車両が自車両側方を高い相対速度で通過するときには、露光対象領域の平均輝度値Enowを目標許容輝度値Eminに調整するのに要する時間tを算出し、検出した周辺車両が自車両側方を高い相対速度で通過しないときには、露光対象領域の平均輝度値Enowを目標適正輝度値Esetに調整するのに要する時間tを算出する。
そして、自動車1は、処理部30において時間TTSと時間tとを比較し、周辺車両が撮影範囲に進入して来るまでに露光調整が行えるか否か、即ち、周辺車両が撮影範囲に進入する直前であるか否かを判定する。
このとき、周辺車両が撮影範囲に進入して来るまでに露光調整が行える(周辺車両が撮影範囲に進入する直前でない)と判定した場合、処理部30において露光対象領域を自車両側方の撮影画像全体に設定し、周辺車両が撮影範囲に進入して来るまでに露光調整が行えない(周辺車両が撮影範囲に進入する直前である)と判定した場合、露光対象領域を周辺車両が進入して来る側の画像端部の領域に設定する。
さらに、自動車1は、設定された露光対象領域について露光調整、即ち、電子シャッタ速度の調整を行い、現在の電子シャッタ速度を示すデータShtSpd-zを更新する。
以上のように、本実施形態に係る自動車1は、通常時には、露光対象領域の目標とする輝度値を目標適正輝度値に設定し、自車両側方を周辺車両が高い相対速度で通過することが把握されたときには、露光対象領域の目標とする輝度値を現在の平均輝度値からより少ない調整量で設定可能な目標許容輝度値Eminに設定する。
そのため、より短時間で、画像処理可能な輝度の画像を撮影することができる。
したがって、自車両側方の画像を撮影する際の露光制御をより適切に行うことが可能となる。
(第3実施形態の効果)
(1)撮影画像において周辺車両が進入する部分における平均輝度値を、画像処理に適合した目標輝度値に調整する露光制御と、画像処理を行う上で許容される範囲の輝度値であって目標輝度値よりも平均輝度値に近い輝度値である目標許容輝度値に調整する露光制御とを切り換えて実行する。
そのため、より短時間で、画像処理可能な輝度の画像を撮影することができる。
したがって、自車両側方の画像を撮影する際の露光制御をより適切に行うことが可能となる。
本発明に係る自動車1の構成を示す図である。 第1実施形態における露光制御処理を示すフローチャートである。 輝度値の誤差Eerrと電子シャッタ速度の調整量との関係を示す図である。 第2実施形態における露光制御処理を示すフローチャートである。 自車両側方の撮影範囲と前端領域との関係を示す図である。 第3実施形態における露光制御処理を示すフローチャートである。
符号の説明
1 自動車、1A 車体、1B 車両用撮像装置、10 撮影部、11 レンズ、12 イメージセンサ、13 A/D変換器、14 露光調整部、15 画像メモリ、20 検出部、21 周辺車両検出部、22 自車速度検出部、23 道路環境検出部、30 処理部、31 露光演算部31、32 領域設定部、33 位置相対速度算出部

Claims (7)

  1. 自車両側方の画像を撮影し、撮影画像を基に自車両側方の環境を認識する際に、自車両周辺を走行する周辺車両を検出し、該周辺車両が自車両側方の撮影範囲に進入する時間を予測し、撮影範囲への周辺車両の進入時に、前記撮影画像における該周辺車両が進入する部分の露光状態が環境を認識するのに適合する露光状態となるように、露光調整を行うことを特徴とする露光調整方法。
  2. 自車両側方の画像を撮影する撮影手段と、
    自車両周辺を走行する周辺車両を検出する車両検出手段と、
    前記車両検出手段によって検出された周辺車両が、前記撮影手段の撮影範囲に進入する時間を予測し、撮影範囲への周辺車両の進入時に、撮影画像において周辺車両が進入する部分の露光状態を設定された状態へと制御する露光制御手段と、
    を備えることを特徴とする車両用撮像装置。
  3. 前記露光制御手段は、前記車両検出手段によって検出された周辺車両が、前記撮影手段の撮影範囲に進入するまでの進入時間と、現在の撮影画像における露光状態から設定された露光状態とするまでに要する制御時間とを算出し、該進入時間が制御時間より短くなるときに、撮影画像において車両が進入する部分の露光状態を設定された状態に変化させることを特徴とする請求項2記載の車両用撮像装置。
  4. 前記撮影手段の露光調整に関する設定パラメータを記憶する記憶手段をさらに備え、
    前記露光制御手段は、前記車両検出手段によって検出された周辺車両が、設定された相対速度以上で自車両側方を通過すると予測した場合、該周辺車両が撮影範囲に進入する直前の露光調整に関する設定パラメータを前記記憶手段に記憶し、該周辺車両が撮影範囲から離脱した場合に、前記記憶手段に記憶した露光調整に関するパラメータに再設定することを特徴とする請求項2または3記載の車両用撮像装置。
  5. 前記露光制御手段は、撮影画像において周辺車両が進入する部分における平均輝度値を、画像処理に適合した目標輝度値に調整する第1の露光制御と、撮影画像において周辺車両が進入する部分における平均輝度値を、画像処理を行う上で許容される範囲の輝度値であって前記目標輝度値よりも平均輝度値に近い輝度値である目標許容輝度値に調整する第2の露光制御とを切り換えて実行することを特徴とする請求項2から4のいずれか1項に記載の車両用撮像装置。
  6. 前記露光制御手段は、車速が高いほど、前記撮影手段において撮影画像の平均輝度値を目標輝度値に変化させる露光制御の制御感度を低くすることを特徴とする請求項2から5のいずれか1項に記載の車両用撮像装置。
  7. 車体と、
    自車両における車体側方の画像を撮影する撮影手段と、
    自車両周辺を走行する周辺車両を検出する車両検出手段と、
    前記車両検出手段によって検出された周辺車両が、前記撮影手段の撮影範囲に進入する時間を予測し、撮影範囲への周辺車両の進入時に、撮影画像において周辺車両が進入する部分の露光状態を設定された状態へと制御する露光制御手段と、
    前記撮影手段によって撮影された画像を基に、自車両側方の環境を認識し、その認識結果に基づく車両制御を行う車両制御手段と、
    を備えることを特徴とする自動車。
JP2007199037A 2007-07-31 2007-07-31 露光調整方法、車両用撮像装置および自動車 Pending JP2009038463A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007199037A JP2009038463A (ja) 2007-07-31 2007-07-31 露光調整方法、車両用撮像装置および自動車

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007199037A JP2009038463A (ja) 2007-07-31 2007-07-31 露光調整方法、車両用撮像装置および自動車

Publications (1)

Publication Number Publication Date
JP2009038463A true JP2009038463A (ja) 2009-02-19

Family

ID=40440034

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007199037A Pending JP2009038463A (ja) 2007-07-31 2007-07-31 露光調整方法、車両用撮像装置および自動車

Country Status (1)

Country Link
JP (1) JP2009038463A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013157770A (ja) * 2012-01-30 2013-08-15 Clarion Co Ltd 車載カメラ用露出制御装置
JP2015195018A (ja) * 2014-03-18 2015-11-05 株式会社リコー 画像処理装置、画像処理方法、運転支援システム、プログラム
JP2017085381A (ja) * 2015-10-28 2017-05-18 京セラ株式会社 撮像装置、車両、および撮像方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013157770A (ja) * 2012-01-30 2013-08-15 Clarion Co Ltd 車載カメラ用露出制御装置
JP2015195018A (ja) * 2014-03-18 2015-11-05 株式会社リコー 画像処理装置、画像処理方法、運転支援システム、プログラム
JP2017085381A (ja) * 2015-10-28 2017-05-18 京セラ株式会社 撮像装置、車両、および撮像方法

Similar Documents

Publication Publication Date Title
JP4248558B2 (ja) 道路区画線検出装置
US8306700B2 (en) Vehicle travel support device, vehicle, and vehicle travel support program
EP1767960B1 (en) Front image taking device
JP4389999B2 (ja) 露出制御装置及び露出制御プログラム
US11142200B2 (en) Vehicular adaptive cruise control with enhanced vehicle control
JP4914233B2 (ja) 車外監視装置
JP4433045B2 (ja) 露出制御装置及び露出制御プログラム
JP4433046B2 (ja) 露出制御装置及び露出制御プログラム
US20120226423A1 (en) Vehicle driving support apparatus
US7638747B2 (en) Vehicular auto light system
JP2007172035A (ja) 車載画像認識装置、車載撮像装置、車載撮像制御装置、警告処理装置、画像認識方法、撮像方法および撮像制御方法
JP4084857B2 (ja) 自動車の前方監視システムにおけるイメージセンサの縦横比設定方法
JP4990806B2 (ja) 撮像手段の調整装置および車外監視装置
JP2012073927A (ja) 運転支援装置
US11039078B2 (en) Method and device for predictable exposure control of at least one first vehicle camera
JP2010239479A (ja) 撮像部制御装置、撮像部制御方法および撮像部制御プログラム
JP2009038463A (ja) 露光調整方法、車両用撮像装置および自動車
KR101601500B1 (ko) 스마트폰을 이용한 차량 운전 지원 시스템 및 방법
JP2005148308A (ja) 白線検出用カメラの露出制御装置
JP7122394B2 (ja) 撮像部制御装置
CN116419072A (zh) 车辆摄像头动态
JP4679469B2 (ja) 車載画像処理装置
JP4818027B2 (ja) 車載画像処理装置
KR102448164B1 (ko) 차량용 레이더 제어 장치 및 방법
JP2005148309A (ja) 白線検出用カメラの露出制御装置

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100917

A072 Dismissal of procedure [no reply to invitation to correct request for examination]

Free format text: JAPANESE INTERMEDIATE CODE: A072

Effective date: 20110118