JP2005079684A - カメラの露光制御方法 - Google Patents

カメラの露光制御方法 Download PDF

Info

Publication number
JP2005079684A
JP2005079684A JP2003305049A JP2003305049A JP2005079684A JP 2005079684 A JP2005079684 A JP 2005079684A JP 2003305049 A JP2003305049 A JP 2003305049A JP 2003305049 A JP2003305049 A JP 2003305049A JP 2005079684 A JP2005079684 A JP 2005079684A
Authority
JP
Japan
Prior art keywords
exposure control
value
edge
camera
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003305049A
Other languages
English (en)
Other versions
JP2005079684A5 (ja
Inventor
Keiji Kunitomo
圭司 國友
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Original Assignee
Denso Ten Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd filed Critical Denso Ten Ltd
Priority to JP2003305049A priority Critical patent/JP2005079684A/ja
Publication of JP2005079684A publication Critical patent/JP2005079684A/ja
Publication of JP2005079684A5 publication Critical patent/JP2005079684A5/ja
Pending legal-status Critical Current

Links

Images

Abstract

【課題】 カメラで捕らえた画像のエッジの抽出を最適に行い、それによりターゲットの検出を的確に行う。
【解決手段】 カメラから得られた画像からエッジ画像を抽出し、該エッジ画像に基きターゲットを検出するターゲット検出装置において、前記エッジ画像を抽出した時のカメラの露光制御値(Ep)、及び該エッジ画像を明確に抽出するために必要なカメラの露光制御値(E0)を前記抽出したエッジ画像に含まれる1つ又は複数のエッジの各々について求め、該1つ又は複数の露光制御値(E0)と前記露光制御値(Ep)の差から露光制御可変値を求め、前記露光制御値(Ep)に前記求めた露光制御可変値を加えて新たな露光制御値とする。
【選択図】 図3

Description

本発明は、カメラの露光制御方法に関し、特にエッジの抽出及びそれによるターゲットの検出を最適に行うことができる露光制御方法に関する。
カメラで捕らえた画像から、前方車両等の認識、あるいは距離の測定等が行われている。その際、前方車両等の認識をするためエッジ抽出を行い、エッジ画像を得て、前方車両等の物体の距離と角度を測定している(特許文献1)。
エッジとは画像中の濃淡の大きい部分、いわゆる輪郭線のことで、影や汚れによって濃淡が変化しても影響が少ないという利点がある。また、エッジを抽出するとき、縦エッジ又は横エッジ、あるいは両方のエッジを抽出することができる。
特開2001−101428号公報
図1はエッジを抽出して前方車両等の認識を行う場合の、従来のカメラの露光制御装置の例をブロック図で示したものである。図1において、1はカメラであり、カメラから得られた画像はエッジ抽出部2に送られ、抽出されたエッジに基き画像認識部3で前方車両等の画像が認識される。
一方、カメラ1から得られた画像は露光制御値算出部4に送られ、画像全体の信号から露光制御値が算出され、算出された露光値がカメラ1に送信されカメラの露光が制御される。
これらエッジ抽出部2、画像認識部3、露光制御値算出部4は、制御部5によって制御される。
図1に示すカメラの露光制御装置の場合、画像全体の信号に基いて露光制御値を算出している。即ち、前方車両等のターゲット以外の画像、例えば、周辺の街路樹や建物も含めた画像全体の信号に基いて露光制御値を算出しているので、ターゲットの画像に対する露光が最適な値となる露光制御値を算出できるとは限らない。
例えば、ターゲット以外の周囲の環境が変化しても露光制御値が可変され、カメラ1からエッジ抽出部2に入力した画像の濃度値も変化し、それによって抽出されるエッジの状態も異なってくる。図2はエッジ抽出部2に入力した画像の濃度値が変化することによって、抽出されるエッジの画像がどのように異なってくるかを示した図である。
図2(a)は、現時点をTとした場合、時刻T−1において抽出されたエッジ画像を示した図である。この時点ではターゲットである車両の両端部のエッジ画像(1)と(2)、及びナンバープレートの両端部のエッジ画像(3)と(4)が抽出されている。
図2(b)は、時刻T−1から周囲環境が変化した時刻Tにおいて抽出されたエッジ画像を示した図である。この時点ではターゲットである車両の左端部のエッジ画像(1)、及びナンバープレートの両端部のエッジ画像(3)と(4)が抽出されているが、車両の右端部のエッジ(2)は周囲の環境が変化したため抽出されていない。
上記のように、ターゲットはエッジ抽出部2で抽出されたエッジ画像に基いて検出されるが、カメラ1の露光制御はエッジ画像ではなく画像全体の信号に基いて行われているため、周囲環境の変化によって適切かつ安定してターゲット検出のためのエッジ画像が抽出できないことが生じる。
従って、本発明はカメラで捕らえた画像のエッジの抽出を最適に行い、それによりターゲットの検出を的確に行えるカメラの露光制御方法を提供することを目的とするものである。
本発明カメラの露光制御方法によれば、カメラから得られた画像からエッジ画像を抽出し、該エッジ画像に基きターゲットを検出するターゲット検出装置において、前記エッジ画像を抽出した時のカメラの露光制御値(Ep)、及び該エッジ画像を明瞭に抽出するために必要なカメラの露光制御値(E0)を前記抽出したエッジ画像に含まれる1つ又は複数のエッジの各々について求め、該1つ又は複数の露光制御値(E0)と前記露光制御値(Ep)の差から露光制御可変値を求め、前記露光制御値(Ep)に前記求めた露光制御可変値を加えて新たな露光制御値とする。
前記エッジ画像に含まれる1つ又は複数のエッジの各々の左右の濃度の差(│A0−B0│)を求め、該濃度差が該1つ又は複数のエッジの各々を明瞭に抽出するために必要な所定の値以上となるカメラの露光制御値(E0)をそれぞれ求め、各エッジにつき前記エッジ画像を抽出した時のカメラの露光制御値(Ep)と前記各エッジについてそれぞれ求めた各エッジを明瞭に抽出するために必要なカメラの露光制御値との差を求め、該差を各エッジの露光制御可変値(X、Y、Z)とし、該各エッジの露光制御可変値(X、Y、Z)の平均値を前記露光制御可変値とする。
エッジ部以外の画像データの濃度平均値(D0)から該画像データの露光制御可変値(V)を求め、該露光制御可変値(V)と前記各エッジの露光制御可変値(X、Y、Z)との平均値〔(X+Y+Z+V)/4〕を前記露光制御可変値とする。
前記カメラの画像を複数のエリアに分割し、前記各エッジが抽出されたエリアに基き前記各エッジの露光制御可変値(X、Y、Z)を重み付けし、該重み付けした露光制御可変値の平均値を前記露光制御可変値とする。
前記カメラの画像を複数のエリアに分割し、前記各エッジが抽出されたエリアに基き前記各エッジの露光制御可変値(X、Y、Z)を重み付けし、該重み付けした露光制御可変値の平均値(F4-2)を求め、エッジ部以外の画像データについて画像のエリア毎の濃度平均値(DI−DVI)から該画像のエリア毎の露光制御可変値(VI−VVI)をそれぞれ求め、該エリアに基き該画像のエリア毎の露光制御可変値(VI−VVI)を重み付けし、該重み付けした露光制御可変値の平均値(F4-1)を求め、前記重み付けした2つの露光制御可変値の平均値〔(F4-1+F4-2)/2〕を前記露光制御可変値とする。
前記カメラの画像を複数のエリアに分割し、特定のエリアにおいて抽出されたエッジ画像に含まれる1つ又は複数のエッジの各々について該エッジ画像を明瞭に抽出するために必要な露光制御値(E0)を求め、該1つ又は複数の露光制御値(E0)と前記露光制御値(Ep)の差の平均値を前記露光制御可変値とする。
前記カメラの画像を複数のエリアに分割し、特定のエリアにおいて抽出されたエッジ画像に含まれる1つ又は複数のエッジの各々について該エッジ画像を明瞭に抽出するために必要な露光制御値(E0)を求め、該1つ又は複数の露光制御値(E0)と前記露光制御値(Ep)の差の平均値から露光制御可変値を求め、前記特定のエリアの画像から求めたエッジ部以外の画像データの濃度平均値(D0)から露光制御可変値(V)を求め、前記2つの露光制御可変値の平均値を前記露光制御可変値とする。
上記のように本発明によるカメラの露光制御方法によれば、抽出されたエッジ画像に基いてカメラの露光制御が行われるので、エッジの抽出を最適に行うことができ、それによりターゲットを的確に検出することができる。
また、カメラで捕らえた画像を複数のエリアに分割し、エッジが抽出されたエリアに応じて露光制御可変値に重み付けをしたので、画像のうち重要な部分のエッジ画像を特に明確に表示することができる。
図3は本発明のカメラの露光制御方法に用いるカメラの露光制御装置の構成例をブロック図で示したものである。図3において、1はカメラであり、カメラから得られた画像はエッジ抽出部2に送られる。抽出されたエッジ画像の信号は画像認識部3に送られ、前方車両等のターゲットが検出される。
抽出されたエッジ画像の信号は同時に露光制御値算出部4に送られ、エッジ画像信号に基いて露光制御値が算出される。そして、算出された露光制御値はカメラに送信され、この値に基いてカメラの露光が制御される。
このように、抽出されたエッジ画像に基いてカメラの露光を制御すれば、前方車両等のターゲットはエッジ画像として抽出されるので、ターゲットの画像が最適となるように露光を制御することができる。
これらエッジ抽出部2、画像認識部3、露光制御値算出部4は、制御部5によって制御される。
本発明ではエッジ画像に基いて露光制御のための露光制御可変値を求め、カメラの露光を制御している。エッジ画像は画像の濃度差が大きいほど明瞭に現われる。図4はエッジ画像に基いてどのように露光制御可変値を求めるかについて説明するための図である。図においてeはエッジであり、エッジの左右に例えば1画素分の幅の領域(A)と(B)を規定する。そして、領域(A)の濃度と領域(B)の濃度を求める。濃度のレベルは例えば8ビットで255段階のレベルで表し、白は濃度レベル「255」とし、黒は濃度レベル「1」とする。
エッジ画像が明瞭に現われるかどうかは領域(A)と領域(B)の濃度差に依存する。例えば、濃度差が15以上でないとエッジが明瞭に抽出できないとする(「閾値」は15となる。)。領域(A)の濃度レベルが30で、領域(B)の濃度レベルが15とすると、濃度差は15となり、閾値以上の濃度差となるためエッジが明瞭に現われる。また、濃度差が15より小さい場合にはエッジが明瞭に現われない。このような場合には露光を制御することによって明瞭なエッジを抽出することができる。
例えば、領域(A)と(B)の濃度レベルが2倍となるように露光を制御すると、領域(A)の濃度レベルが60、領域(B)の濃度レベルが30となり、濃度差は30となる。このように露光を制御することによって濃度レベルを大きくし、それによって濃度差が大きくなるので明瞭なエッジを抽出することができる。反対に、濃度差が大きすぎる場合には濃度レベルを小さくし、濃度差が小さくなるように露光を制御することもできる。
上記のように、露光を制御することによって濃度レベルを変え、濃度差を大きく(又は、小さく)することができ、これによって明瞭なエッジを得ることができる。露光を制御するにはエッジ抽出部2で抽出されたエッジ画像に基いて露光制御値算出部4で露光制御値が算出され、算出された露光制御値に基いてカメラ1の露光が制御される(図3参照)。そこで、本発明では露光制御値をどのように算出するかについて以下に説明する。
先に、エッジを明瞭に抽出するために濃度レベルを大きくすることについて記載した。本発明では濃度レベルの倍率によって露光制御値を規定するようにした。例えば、濃度レベルを1倍した場合露光制御値を「1」とし、2倍にした場合露光制御値を5とする。濃度レベルの倍率と露光制御値の関係を示すテーブルの例を以下に記す。
〔濃度レベルの倍率−露光制御値対応テーブル〕
<濃度レベルの倍率> <露光制御値>
1.00 −−−−−−−−−−− 1
1.25 −−−−−−−−−−− 2
1.50 −−−−−−−−−−− 3
1.75 −−−−−−−−−−− 4
2.00 −−−−−−−−−−− 5
2.25 −−−−−−−−−−− 6
2.50 −−−−−−−−−−− 7
2.75 −−−−−−−−−−− 8
3.00 −−−−−−−−−−− 9
上記濃度レベルと露光制御値の関係は一例であり、適宜任意に設定することができる。
先に、領域(A)の濃度レベルが30で、領域(B)の濃度レベルが15であるとしたが、この濃度レベルは当初の濃度レベルをそれぞれ1.5倍した場合の濃度値であったとすると、濃度レベルをこの濃度レベルの2倍とするためには、当初の濃度レベルの3倍としなければならない。即ち、
(当初の濃度レベル)×1.5×2.0=(当初の濃度レベル)×3
となる。濃度レベルを3倍にした場合の露光制御値は「9」であり、濃度レベルを1.5倍にした場合の露光制御値は「3」である。従って、濃度レベルを1.5倍から3.0倍にするためには、露光制御値を「3」から「9」に変えなければならない。このとき、本発明において露光制御可変値は、9−3=6とする。そして、前回の露光制御値にこの露光可変値を加えて新たな露光制御値とし、この露光制御値に基いてカメラの露光を制御する。
〔実施例1〕
図5は、本発明の実施例1のフローチャートである。このフローチャートの動作の制御、及び露光制御値を求める処理は図3の露光制御値算出部4及び制御部5によって行われる。以下に述べるその他のフローチャートにおいても同様である。
図5において、エッジ画像を抽出し(S1)、エッジがあるかどうか判断し(S2)、エッジがあると判断された場合(Yes)、抽出されたエッジの露光制御値(Ep)を検出する(S3)。即ち、カメラの露光制御値がいくつのときに抽出されたエッジであるかを検出する。Epは現時点をTとしたとき時刻(T−1)における露光制御値である。
次に、エッジの左右の領域(図4の領域(A)及び(B))の濃度レベルの平均値A0及びB0を求める(S4)。そして、エッジの左右領域の濃度レベルの平均値A0及びB0の差C0=│A0−B0│を求める(S5)。C0は濃度差であり、先に記載したように濃度差が所定の値、例えば15以上でないとエッジが明瞭に抽出できないとする。この値を基準値KとしK/C0を求める(S6)。
次に、露光制御値(E0)を求める(S7)。例えば、K/C0=2であった場合、濃度差が基準値の1/2であるため、基準値以上とするためには濃度レベルの倍率を2.00とする必要がある。一方、抽出されたエッジの露光制御値(Ep)が「3」であったとすると、濃度レベルの倍率は1.50であるから、これをさらに2.00倍とすると、倍率は1.50×2.00=3.00となり、露光制御値(E0)は「9」となる。
そして、抽出されたエッジの露光制御値(Ep)と今回求めた露光制御値(E0)から露光制御可変値(E0−Ep)を求める(S8)。露光制御可変値は露光制御値の変化分を示す値であり、上記例の場合にが露光制御値が「3」から「9」に変化しているので、9−3=6が露光制御可変値となる。
露光制御可変値は各エッジ毎に求める。例えば、エッジが3本抽出された場合、各エッジについてS3−S8までの動作を行い、各エッジについての露光制御可変値(X,Y,Z)を求め、メモリに保存する(S9)。
すべてのエッジについて露光制御可変値が求め終わると、露光制御可変値を求めるエッジがなくなるため、S2においてエッジ無しと判断される(No)。次に、エッジの露光制御可変値(X,Y,Z)の平均値(F1)を以下の式により求める(S10)。
F1=(X+Y+Z)/3
そして、露光制御可変値の平均値(F1)を用い、以下の式により今回のフロー(時刻T)における露光制御値(ET)を求める(S11)。
T=ET-1+F1
(ET-1は前回(時刻T−1)の露光制御値)
この露光制御値ETによりカメラの露光を制御する(S12)。
図6は、露光制御値とこれによって制御されるカメラのシャッタースピード等の関係を例示したテーブルを示す図である。露光制御値が「3」の場合、電子シャッタースピードは1/1000sで、オートゲインコントロール(AGC)は6dBに制御される。この場合、明るさ(B3)は以下のように計算される。
3=1/1000×2倍(6dB)=0.002
また、露光制御値が「6」の場合、電子シャッタースピードは1/100sで、オートゲインコントロール(AGC)は12dBに制御される。この場合、明るさ(B6)は以下のように計算される。
6=1/100×4倍(12dB)=0.040
露光制御値が「3」の場合と「6」の場合の明るさを比較すると、
6/B3=0.040/0.002=20
となり、露光制御値を「3」から「6」にすると、20倍明るくなる。
〔実施例1の変形〕
実施例1では抽出されたエッジの長さは考慮しなかったが、エッジの長さに応じて重み付けをすることもできる。例えば、図5のS10において、露光制御可変値がX、Y、Zであるエッジの長さの比が1:1/2:1/3である場合、可変値を重み付けしてX、Y/2、Z/3とし、平均値F1を以下の式によって求めてもよい。
F1=(X+Y/2+Z/3)/3
〔実施例2〕
図7は、本発明の実施例2のフローチャートである。図7において、S1からS9までは図5と同じであり、例えば、エッジが3本抽出された場合、各エッジについての露光制御可変値(X,Y,Z)を求め、メモリに保存する(S9)。
すべてのエッジについて露光制御可変値が求め終わると、露光制御可変値を求めるエッジがなくなるため、S2においてエッジ無しと判断される(No)。次に、エッジ部以外の画像データの濃度の平均値(D0)を求める(S10)。そして、D0の値に基いてエッジ部以外の画像データの露光制御可変値(V)を求める(S11)。
露光制御可変値(V)は下記の「D0−露光制御可変値(V)対応テーブル」に基いて求める。濃度は先に記載したように255のレベルで表されているとすると、このテーブルでは255のレベルを5つの範囲に分け、D0がどの範囲に入るかによって露光制御可変値(V)を定めている。
〔D0−露光制御可変値(V)対応テーブル〕
<D0の値> <露光制御可変値V>
1≦D0≦51 −−−−−−−−−−−−(+2)
52≦D0≦102 −−−−−−−−−−−−(+1)
103≦D0≦153 −−−−−−−−−−−−( 0)
154≦D0≦204 −−−−−−−−−−−−(−1)
205≦D0≦255 −−−−−−−−−−−−(−2)
例えば、D0=60であった場合、露光制御可変値(V)は「+1」となる。そして、求めた露光制御可変値(V)をメモリに保存する(S12)。
上記テーブルによれば、エッジ部以外の画像データの濃度の平均値(D0)が中間の濃度レベルの範囲となるように設定される。なお、上記テーブルは例示であって、D0の範囲及びそれに対応する露光制御可変値Vの値は適宜任意に設定することができる。
次に、エッジの露光制御可変値(X、Y、Z)及びエッジ部以外の画像データの露光制御可変値(V)の平均値(F2)を以下の式により求める(S13)。
F2=(X+Y+Z+V)/4
そして、露光制御可変値の平均値(F2)を用い、以下の式により今回のフロー(時刻T)における露光制御値(ET)を求める(S14)。
T=ET-1+F2
(ET-1は前回(時刻T−1)の露光制御値)
この露光制御値ETによりカメラの露光を制御する(S15)。
〔実施例2の変形(1)〕
実施例2では抽出されたエッジの長さは考慮しなかったが、実施例1の変形と同様にエッジの長さに応じて重み付けをすることもできる。例えば、図7のS13において、露光制御可変値がX,Y,Zであるエッジの長さの比が1:1/2:1/3である場合、可変値を重み付けしてX、Y/2、Z/3とし、平均値F2を以下の式によって求めてもよい。
F2=(X+Y/2+Z/3+E)/4
〔実施例2の変形(2)〕
実施例2では、エッジの露光制御可変値(X,Y,Z)及びエッジ部以外の画像データの露光制御可変値(V)の平均値(F2)を以下の式により求めた。
F2=(X+Y+Z+V)/4
しかし、X、Y、Zの平均値(X+Y+Z)/3をまず求め、この平均値とエッジ部以外の画像データの露光制御可変値(V)との平均値(F2)を以下の式により求めてもよい。
F2={(X+Y+Z)/3+V}/2
〔実施例3〕
図8は、本発明の実施例3のフローチャートである。この実施例ではエッジが画像のどの領域に存在するかによって露光制御可変値に重み付けをしている。
図8において、エッジ画像を抽出し(S1)、エッジがあるかどうか判断し(S2)、エッジがあると判断された場合(Yes)、抽出されたエッジの露光制御値(Ep)を検出する(S3)。即ち、カメラの露光制御値がいくつのときに抽出されたエッジであるかを検出する。Epは現時点をTとしたとき時刻(T−1)における露光制御値である。
次に、エッジが存在するエリアを判断する(S4)。カメラの画像を、例えば図9に示されているように、エリアI、II、III 、IV、V、VIに分割する。このうちエリアI、II、III に表示されるのは遠方の画像であり、エリアIV、V、VIに表示されるのは近くの画像であるといえる。また、エリアII、Vは自車が走行している車線の画像であり、エリアI、IV及びエリアIII 、VIは隣接する車線の画像であるといえる。
エッジが存在するエリアが自車の近くの画像を表示するエリアであるエリアIV、V、VIである場合、ターゲットである前方車両等が表示されるエリアであるため、露光制御のために露光制御可変値を求めるべく処理を進める。
まず、エッジの左右の領域(図4の領域(A)及び(B))の濃度レベルの平均値A0及びB0を求める(S5)。次にエッジの左右領域の濃度レベルの平均値A0及びB0の差C0=│A0−B0│を求める(S6)。C0は濃度差であり、先に記載したように濃度差が所定の値、例えば15以上でないとエッジが明瞭に抽出できないとする。この値を基準値KとしK/C0を求める(S7)。
次に、露光制御値(E0)を求める(S8)。実施例1の説明で記載したように、例えば、K/C0=2であった場合、濃度差が基準値の1/2であるため、基準値以上とするためには濃度レベルの倍率を2.00とする必要がある。一方、抽出されたエッジの露光制御値(Ep)が「3」であったとすると、濃度レベルの倍率は1.50であるから、これをさらに2.00倍とすると、倍率は1.50×2.00=3.00となり、露光制御値(E0)は「9」となる。
そして、抽出されたエッジの露光制御値(Ep)と今回求めた露光制御値(E0)から露光制御可変値(E0−Ep)を求める(S9)。露光制御可変値は露光制御値の変化分を示す値であり、上記例の場合にが露光制御値が「3」から「9」に変化しているので、9−3=6が露光制御可変値となる。
露光制御可変値は各エッジ毎に求める。例えば、エリアIV、V、VIに存在するエッジが3本抽出された場合、各エッジについてS5−S9までの動作を行い、各エッジについての露光制御可変値(X,Y,Z)を求める。
次に、露光制御可変値を求めたエッジが存在するエリアを判断する(S10)。エッジが存在するエリアがVの場合、最も重要なエリアのエッジであるため、求めた可変値をそのままメモリに保存する(S11)。
一方、エッジのエリアがIV又はVIの場合、隣接する車線のエリアであるため、重み付けをするため求めた可変値に1/2を掛け(S13)、メモリに保存する(S14)。この場合、例えば上記露光制御可変値X、Y、ZのうちエリアIV又はVIに存在するエッジの露光制御可変値Zに1/2を掛けるものとする。
また、S4でエッジが存在するエリアがI、II、III である場合、遠方の画像を表示するエリアであり、露光制御にとってそれほど重要ではないので処理せず(S12)、露光制御可変値を求めない。なお、この場合、重み付けを小さくしてもよい。
抽出されたすべてのエッジについて露光制御可変値を求め、又は求めないとした後はS2でNoとなり、S15に進む。ここでは、重み付けされたエッジの露光制御可変値の平均値(F3)を以下の式により求める(S15)。
F3=(X+Y+Z/2)/3
(Zは重み付けによりZ/2となっている)
そして、露光制御可変値の平均値(F3)を用い、以下の式により今回のフロー(時刻T)における露光制御値(ET)を求める(S16)。
T=ET-1+F3
(ET-1は前回(時刻T−1)の露光制御値)
この露光制御値ETによりカメラの露光を制御する(S17)。
〔実施例3の変形(1)〕
実施例3ではエッジが画像のどの領域に存在するかによって露光制御可変値に重み付けをしている。実施例3の変形(1)では、エッジ部以外の画像データについても露光制御可変値を求め、かつ図9に示すエリア(I、II、III 、IV、V、VI)に基いて該可変値の重み付けを行い、重み付けを行った露光制御可変値の平均値(F4-1)を求める。また重み付けされたエッジの露光制御可変値の平均値(F4-2)を求める。そして、両者の平均値によって露光制御値を求めるようにした。
図10及び図11のフローチャートを用いて実施例3の変形(1)を説明する。図10において、S1−S14までのフローは図8の場合と同じである。
S2でNoの場合、各エリアのエッジ部以外の画像データの濃度の平均値(D0)を求め(S15)、D0の値に基いてエッジ部以外の画像データの露光制御可変値(V)を求める(S16)。露光制御可変値(V)は先に記載した「D0−露光制御可変値(V)対応テーブル」に基いて求める。
次に、求めた各エリアの露光制御可変値Vに重み付けし(S17)、重み付けした各エリアの可変値を保存する(S18)。そして、重み付けした各エリアの可変値の平均値(F4-1)を求める(S19)。
なお、図11は、図10のS15−S18を各エリア毎に示したフローである。このフローのS19において、重み付けした各エリアの露光制御可変値の平均値F4-1を下記の式により求めている。
4-1=αVI+βVII+γVIII +δVIV+εVV+ζVVI
この式において、α、β、γ、δ、ε、ζは重み付けのための数値を表している。例えば、VI、VII、VIII は遠方の画像を表示するエリアの露光制御可変値であるので重み付けを小さくし、VVについては自車線の近くの画像を表示するエリアの露光制御可変値であるので重み付けを大きくする。
一方、S11及びS14に保存されている重み付けされたエッジの露光制御可変値であるX、Y、Z/2の平均値(F4-2)を以下の式により求める(S20)。
F3=(X+Y+Z/2)/3
(Zは重み付けによりZ/2となっている)
そして、両者の平均値(F4)を以下の式により求める(S21)。
F4=(F4-1+F4-2)/2
そして、露光制御可変値の平均値(F4)を用い、以下の式により今回のフロー(時刻T)における露光制御値(ET)を求める(S22)。
T=ET-1+F4
(ET-1は前回(時刻T−1)の露光制御値)
この露光制御値ETによりカメラの露光を制御する(S23)。
〔実施例3の変形(2)〕
実施例3の変形(1)では、重み付けした各エリアの可変値の平均値(F4-1)と重み付けしたエッジの可変値の平均値(F4-2)を求め、両者の平均値(F4)を求めたが、エッジの可変値のそれぞれと重み付けした各エリアの可変値の平均値(F4-1)の平均値(F4´)を以下の式により求め、これを用いて露光制御値を求めてもよい。
F4´=(X+Y+Z/2+F4-1)/4
〔実施例3の変形(3)〕
実施例3では全てのエリアからエッジ画像を抽出している。しかし、特定のエリアからのみエッジ画像を抽出し、これに基いて露光制御可変値を求め、エッジ画像が明確に現われる露光制御値を求めることもできる。
図9で示したエリアのうち、エリアVは自車線の近くの画像を表示するエリアであり、ターゲット検出には最も重要なエリアである。そこで、実施例3のフローチャートを示す図8の(S1)において、このエリアから抽出されたエッジ画像から露光制御可変値を求める。
このように特定のエリアから露光制御可変値を求めれば、データの処理量が少なくて済む。
なお、特定のエリアとしてエリアVとしたが、エリアIV、V、VI又はエリアII、Vとしてもよく、エリアは必要に応じて任意に選択することができる。
また、エッジ部以外の画像データの濃度平均値(D0)も特定のエリアからのみ求め、求めた濃度平均値から露光制御可変値(V)を求めることもできる。
この場合も、特定のエリアからのみ濃度平均値(D0)を求めているので、データの処理量が少なくて済む。
上記実施例3及びその変形例においても、実施例1の変形と同様、エッジの長さによって重み付けをしてもよい。
また、本発明による方法は車載カメラ用だけでなく、エッジの抽出及びそれによりターゲットの検出を行う装置のカメラ一般に用いることができる。
エッジを抽出して前方車両等の認識を行う場合の、従来の車載カメラ用露光制御装置の例をブロック図で示したものである。 エッジ抽出部に入力した画像の濃度値が変化することによって、抽出されるエッジ画像がどのように異なってくるかを示した図である。 本発明の車載カメラ用露光制御方法に用いる車載カメラ用露光制御装置の構成例をブロック図で示したものである。 エッジ画像に基いてどのように露光制御可変値を求めるかについて説明するための図である。 本発明の実施例1のフローチャートである。 露光制御値とこれによって制御されるカメラのシャッタースピード等の関係を例示したテーブルを示す図である。 本発明の実施例2のフローチャートである。 本発明の実施例3のフローチャートである。 画像のエリアを示す図である。 本発明の実施例3の変形(1)のフローチャートである。 本発明の実施例3の変形(1)のフローチャートの一部である。
符号の説明
1…カメラ
2…露光制御値算出部
3…エッジ抽出部
4…画像認識部

Claims (15)

  1. カメラから得られた画像からエッジ画像を抽出し、該エッジ画像に基きターゲットを検出するターゲット検出装置において、
    前記エッジ画像を抽出した時のカメラの露光制御値(Ep)、及び該エッジ画像を明瞭に抽出するために必要なカメラの露光制御値(E0)を前記抽出したエッジ画像に含まれる1つ又は複数のエッジの各々について求め、
    該1つ又は複数の露光制御値(E0)と前記露光制御値(Ep)の差から露光制御可変値を求め、
    前記露光制御値(Ep)に前記求めた露光制御可変値を加えて新たな露光制御値とする、カメラの露光制御方法。
  2. 前記エッジ画像に含まれる1つ又は複数のエッジの各々の左右の濃度の差(│A0−B0│)を求め、
    該濃度差が該1つ又は複数のエッジの各々を明瞭に抽出するために必要な所定の値以上となるカメラの露光制御値(E0)をそれぞれ求め、
    各エッジにつき前記エッジ画像を抽出した時のカメラの露光制御値(Ep)と前記各エッジについてそれぞれ求めた各エッジを明瞭に抽出するために必要なカメラの露光制御値との差を求め、該差を各エッジの露光制御可変値(X、Y、Z)とし、
    該各エッジの露光制御可変値(X、Y、Z)の平均値を前記露光制御可変値とする、請求項1に記載のカメラの露光制御方法。
  3. 前記露光制御値は濃度レベルの倍率に基いて定められている、請求項項1又は2に記載のカメラの露光制御方法。
  4. 前記エッジ画像に含まれる1つ又は複数のエッジの各々の左右の濃度の差(│A0−B0│)を求め、
    該濃度差が該1つ又は複数のエッジの各々を明瞭に抽出するために必要な所定の値以上となるカメラの露光制御値(E0)をそれぞれ求め、
    各エッジにつき前記エッジ画像を抽出した時のカメラの露光制御値(Ep)と前記各エッジについてそれぞれ求めた各エッジを明瞭に抽出するために必要なカメラの露光制御値との差を求め、該差を各エッジの露光制御可変値(X、Y、Z)とし、
    エッジ部以外の画像データの濃度平均値(D0)から該画像データの露光制御可変値(V)を求め、該露光制御可変値(V)と前記各エッジの露光制御可変値(X、Y、Z)との平均値〔(X+Y+Z+V)/4〕を前記露光制御可変値とする、請求項1に記載のカメラの露光制御方法。
  5. 前記エッジ部以外の画像データの露光制御可変値(V)は、前記濃度平均値(D0)の値を濃度レベルに基いて複数の範囲に分割し、該分割された範囲に対応する露光制御可変値を定めたテーブルに基いて決められる、請求項4に記載のカメラの露光制御方法。
  6. 前記各エッジの長さに応じて前記各エッジの露光制御可変値(X、Y、Z)を重み付けする、請求項2又は4に記載のカメラの露光制御方法。
  7. 前記各エッジの露光制御可変値(X、Y、Z)の平均値(X+Y+Z)/3を求め、該平均値と前記エッジ部以外の画像データの露光制御可変値(V)との平均値〔{(X+Y+Z+V)/3+V}/2〕を前記露光制御可変値とする、請求項4に記載のカメラの露光制御方法。
  8. 前記エッジ画像に含まれる1つ又は複数のエッジの各々の左右の濃度の差(│A0−B0│)を求め、
    該濃度差が該1つ又は複数のエッジの各々を明瞭に抽出するために必要な所定の値以上となるカメラの露光制御値(E0)をそれぞれ求め、
    各エッジにつき前記エッジ画像を抽出した時のカメラの露光制御値(Ep)と前記各エッジについてそれぞれ求めた各エッジを明瞭に抽出するために必要なカメラの露光制御値との差を求め、該差を各エッジの露光制御可変値(X、Y、Z)とし、
    前記カメラの画像を複数のエリアに分割し、前記各エッジが抽出されたエリアに基き前記各エッジの露光制御可変値(X、Y、Z)を重み付けし、該重み付けした露光制御可変値の平均値を前記露光制御可変値とする、請求項1に記載のカメラの露光制御方法。
  9. 前記エッジ画像に含まれる1つ又は複数のエッジの各々の左右の濃度の差(│A0−B0│)を求め、
    該濃度差が該1つ又は複数のエッジの各々を明瞭に抽出するために必要な所定の値以上となるカメラの露光制御値(E0)をそれぞれ求め、
    各エッジにつき前記エッジ画像を抽出した時のカメラの露光制御値(Ep)と前記各エッジについてそれぞれ求めた各エッジを明瞭に抽出するために必要なカメラの露光制御値との差を求め、該差を各エッジの露光制御可変値(X、Y、Z)とし、
    前記カメラの画像を複数のエリアに分割し、前記各エッジが抽出されたエリアに基き前記各エッジの露光制御可変値(X、Y、Z)を重み付けし、該重み付けした露光制御可変値の平均値(F4-2)を求め、
    エッジ部以外の画像データについて画像のエリア毎の濃度平均値(DI−DVI)から該画像のエリア毎の露光制御可変値(VI−VVI)をそれぞれ求め、該エリアに基き該画像のエリア毎の露光制御可変値(VI−VVI)を重み付けし、該重み付けした露光制御可変値の平均値(F4-1)を求め、
    前記重み付けした2つの露光制御可変値の平均値〔(F4-1+F4-2)/2〕を前記露光制御可変値とする、請求項1に記載のカメラの露光制御方法。
  10. 前記各エッジの露光制御可変値(X、Y、Z)を重み付けした露光制御可変値と、前記エッジ部以外の画像データについて画像のエリア毎の露光制御可変値(VI−VVI)を重み付けした露光制御可変値の平均値(F4-1)との平均値を前記露光制御可変値とする、請求項9に記載のカメラの露光制御方法。
  11. 前記エリアに基く重み付けに加えて、前記各エッジの長さに応じて前記各エッジの露光制御可変値(X、Y、Z)をさらに重み付けする、請求項8又は9に記載のカメラの露光制御方法。
  12. 前記カメラの画像を複数のエリアに分割し、特定のエリアにおいて抽出されたエッジ画像に含まれる1つ又は複数のエッジの各々について該エッジ画像を明瞭に抽出するために必要な露光制御値(E0)を求め、該1つ又は複数の露光制御値(E0)と前記露光制御値(Ep)の差の平均値を前記露光制御可変値とする、請求項1に記載のカメラの露光制御方法。
  13. 前記カメラの画像を複数のエリアに分割し、特定のエリアにおいて抽出されたエッジ画像に含まれる1つ又は複数のエッジの各々について該エッジ画像を明瞭に抽出するために必要な露光制御値(E0)を求め、該1つ又は複数の露光制御値(E0)と前記露光制御値(Ep)の差の平均値から露光制御可変値を求め、
    前記特定のエリアの画像から求めたエッジ部以外の画像データの濃度平均値(D0)から露光制御可変値(V)を求め、前記2つの露光制御可変値の平均値を前記露光制御可変値とする、請求項1に記載のカメラの露光制御方法。
  14. 前記各エッジの長さに応じて前記各エッジの露光制御可変値(X、Y、Z)を重み付けする、請求項12又は13に記載のカメラの露光制御方法。
  15. 前記カメラは車載用カメラである、請求項1、2、4、8、9、12、又は13のいずれかに記載のカメラの露光制御方法。
JP2003305049A 2003-08-28 2003-08-28 カメラの露光制御方法 Pending JP2005079684A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003305049A JP2005079684A (ja) 2003-08-28 2003-08-28 カメラの露光制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003305049A JP2005079684A (ja) 2003-08-28 2003-08-28 カメラの露光制御方法

Publications (2)

Publication Number Publication Date
JP2005079684A true JP2005079684A (ja) 2005-03-24
JP2005079684A5 JP2005079684A5 (ja) 2006-10-12

Family

ID=34408559

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003305049A Pending JP2005079684A (ja) 2003-08-28 2003-08-28 カメラの露光制御方法

Country Status (1)

Country Link
JP (1) JP2005079684A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012138688A (ja) * 2010-12-24 2012-07-19 Denso Corp 車載カメラの露出制御値の決定方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012138688A (ja) * 2010-12-24 2012-07-19 Denso Corp 車載カメラの露出制御値の決定方法
US9307155B2 (en) 2010-12-24 2016-04-05 Denso Corporation Method of determining exposure control value for vehicle-mounted camera

Similar Documents

Publication Publication Date Title
US7215795B2 (en) Intruding object detecting method and intruding object monitoring apparatus employing the method
EP0686943B1 (en) Differential motion detection method using background image
US20150367781A1 (en) Lane boundary estimation device and lane boundary estimation method
US7646311B2 (en) Image processing for a traffic control system
EP2882187B1 (en) In-vehicle imaging device
JP4877801B2 (ja) 車両追跡方法及び装置
DE10296593T5 (de) Fahrunterstützungsvorrichtung
US8462211B2 (en) Method of detecting objects
WO1995004329A1 (fr) Dispositif et procede de detection de l'appariement d'images
US8421874B2 (en) Image processing apparatus
Halmaoui et al. Contrast restoration of road images taken in foggy weather
JP2001351193A (ja) 歩行者検知装置
EP2626835A1 (en) Object tracking apparatus and control method thereof
JPH08251474A (ja) 動きベクトル検出装置,動きベクトル検出方法,画像ぶれ補正装置,画像追尾装置及び撮像装置
US8155386B2 (en) Method and apparatus for obtaining depth information
KR101665207B1 (ko) 복수개의 검출윈도우를 통한 관심영역에서의 차량식별방법
CN110248147A (zh) 一种图像显示方法及装置
US11373327B2 (en) Image processing device and method that determine a stop position in a parking frame using images from two cameras
JP2005079684A (ja) カメラの露光制御方法
JP2010136207A (ja) 歩行者検出表示システム
JP2007141167A (ja) 車線検出装置、車線検出方法、及び車線検出プログラム
CN103927728A (zh) 一种图像的处理方法和装置
JP4259461B2 (ja) 目標検出装置
JP2009296284A (ja) 映像処理装置及びそれを用いた映像表示装置
JP2006018840A (ja) 画像中の線を検出する方法、装置、プログラム、および記憶媒体、ならびに、droとともに用いられるマスク、その使用方法、およびこれを記憶する装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060824

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060824

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081023

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081028

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090303