JP2014135613A - カメラ露出設定装置及びカメラ露出設定プログラム - Google Patents
カメラ露出設定装置及びカメラ露出設定プログラム Download PDFInfo
- Publication number
- JP2014135613A JP2014135613A JP2013002050A JP2013002050A JP2014135613A JP 2014135613 A JP2014135613 A JP 2014135613A JP 2013002050 A JP2013002050 A JP 2013002050A JP 2013002050 A JP2013002050 A JP 2013002050A JP 2014135613 A JP2014135613 A JP 2014135613A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image acquisition
- area
- evaluation value
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 claims abstract description 92
- 238000011156 evaluation Methods 0.000 claims abstract description 47
- 230000003247 decreasing effect Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 abstract description 48
- 230000007812 deficiency Effects 0.000 abstract 1
- 238000000034 method Methods 0.000 description 23
- 230000003321 amplification Effects 0.000 description 7
- 238000003199 nucleic acid amplification method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000013404 process transfer Methods 0.000 description 2
- 229910052754 neon Inorganic materials 0.000 description 1
- GKAOGPIIYCISHV-UHFFFAOYSA-N neon atom Chemical compound [Ne] GKAOGPIIYCISHV-UHFFFAOYSA-N 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005375 photometry Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
Landscapes
- Exposure Control For Cameras (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Studio Devices (AREA)
- Traffic Control Systems (AREA)
Abstract
【課題】カメラの位置や角度が変化しても適正なカメラ露出を得ることができる露出設定装置を提供する。
【解決手段】露出制御パラメータを設定可能な車載カメラ10で取得した画像中で検出対象とならない非検出対象物3の位置をミリ波レーダ20で検出し、画像処理部30において、画像中の非検出対象物の領域以外の領域に対応する複数の画像領域を設定し、各画像領域の各画素の輝度を取得し、取得した輝度に基づいて、各画像領域が露出の過不足を原因として画像処理ができないなどと推定される不適合領域であるか否かを判定するための評価値に基づいて、各画像領域が不適合領域であるかを判定する。制御部40では、各画像領域のいずれかが不適合であると判定された場合、車載カメラ10による次の画像取得時の露出制御パラメータを評価値に基づき車載カメラ10に指示することにより車載カメラ10の露出を設定する。
【選択図】図1
【解決手段】露出制御パラメータを設定可能な車載カメラ10で取得した画像中で検出対象とならない非検出対象物3の位置をミリ波レーダ20で検出し、画像処理部30において、画像中の非検出対象物の領域以外の領域に対応する複数の画像領域を設定し、各画像領域の各画素の輝度を取得し、取得した輝度に基づいて、各画像領域が露出の過不足を原因として画像処理ができないなどと推定される不適合領域であるか否かを判定するための評価値に基づいて、各画像領域が不適合領域であるかを判定する。制御部40では、各画像領域のいずれかが不適合であると判定された場合、車載カメラ10による次の画像取得時の露出制御パラメータを評価値に基づき車載カメラ10に指示することにより車載カメラ10の露出を設定する。
【選択図】図1
Description
本発明は、車両に搭載された画像処理のための画像を取得する際のカメラ露出を適正化するカメラ露出設定技術に関する。
従来、カメラの露出制御を行うためのパラメータを決定する際、カメラで取得した画像を複数の領域に分割し、分割した領域ごとの輝度を算出し、算出した領域ごとの輝度に基づいて画像全体の輝度が適正になるように、カメラの露出を制御する露出設定装置があった(例えば特許文献1参照)。
ところが、このような露出設定装置では、カメラの露出制御パラメータを決定する際に使用される画像中の領域位置については、カメラ位置の変化や光軸方向の変化、対象物の移動(画像中に映る位置)を考慮せず固定位置であった。そのために何らかの対象物(車両、歩行者、看板、標識)を検出し模様や文字の判別を実施しようとした場合に、本来、所定の評価値となるように(例えば白〜灰色〜黒色それぞれの模様が見えるように)映したい対象物(例えば標識の数字や車両・歩行者の模様)が、本来取得したい輝度値ではなく、例えば、一面真っ黒に映るような露出制御パラメータとなってしまうという問題がある。
本発明は、こうした問題に鑑みなされたもので、カメラの位置や角度が変化しても適正なカメラ露出を得ることができる露出設定技術を提供することを目的とする。
この欄においては、発明に対する理解を容易にするため、必要に応じて「発明を実施するための形態」欄において用いた符号を付すが、この符号によって請求の範囲を限定することを意味するものではない。
上記「発明が解決しようとする課題」において述べた問題を解決するためになされた発明は、画像取得手段(10)、位置検出手段(20)、領域設定手段(30,S110)、輝度取得手段(30,S115)、評価値算出手段(30,S120)、判定手段(30,S125)及び指示手段(40)を備えたカメラ露出設定装置(1)である。
画像取得手段(10)は、自車両(5)に搭載され、自車両(5)周辺の画像を取得する、露出制御パラメータを設定可能なものであり、位置検出手段(20)は、自車両(5)周辺に存在し、画像取得手段(10)で取得する画像の中で、測光領域から除外する対象である非検出対象物(3)の位置を検出するものである。
領域設定手段(30,S110)は、画像取得手段(10)で取得した画像のうち、位置検出手段(20)により検出した非検出対象物(3)の占める領域を除いた領域に対応する、画像取得手段(10)による画像取得タイミングごとに位置が可変な1又は2以上の画像領域を設定するものである。
輝度取得手段(30,S115)は、領域設定手段(30,S110)で設定した画像領域を構成する各画素の輝度を取得するものであり、評価値算出手段(30,S120)は輝度取得手段(30,S115)により取得された輝度に基づいて、1又は2以上の画像領域が露出の過不足を原因として画像処理ができない、あるいは対象物を撮影することを目的とした場合に、画像品質が悪いと推定される不適合領域であるか否かを判定するための評価値を算出するものである。
判定手段(30,S125)は、評価値算出手段(30,S120)で算出した評価値に基づいて、1又は2以上の画像領域が不適合領域であるか否かを判定するものであり、指示手段(40)は、判定手段(30,S125)により1又は2以上の画像領域のいずれかが不適合であると判定された場合、画像取得手段(10)による次の画像取得時の露出制御パラメータを評価値に基づき画像取得手段(10)に指示するものである。
ここで、「対象物を撮影することを目的とした場合の画像品質」とは、画像取得手段(10)で取得した画像において、対象物を画像処理によって識別できる容易さの程度を意味している。
例えば、画像中において、車のヘッドライトが存在している場合には、ヘッドライトの輝度が高いため、画像処理により、その近傍にある物体を識別する際に難度が高い。また、暗闇の中に輝度の差がないような物体が多数存在している場合に、その中から特定の物体を識別するような場合には、対象物と背景の間のコントラストが低く、また、対象物内部の模様のコントラストが低いために、画像処理による識別の難度が高い。このように、画像処理による対象物の識別の難度が高い場合には画像品質が悪いということになる。
逆に、画像全体の輝度分布が広く分布(分散が大)し、頻度の中央値が最低輝度値〜最高輝度値の中間値(例えば8ビット表現の場合には0〜255の中間値128))付近であり、画像中の複数の物体の模様や背景との間に適度なコントラストがあるような場合には、その中から画像処理により特定の物体を識別する際の難度が低いため、画像品質がよいということになる。
このようなカメラ露出設定装置(1)によれば、カメラの位置や角度が変化しても適正なカメラ露出を得ることができるカメラ露出設定装置(1)とすることができる。以下その理由を説明する。
画像取得手段(10)で取得した自車両(5)周辺の画像に対し、画像取得タイミング毎に位置が可変な1又は2以上の画像領域を設定し、設定した領域を構成する各画素の輝度に基づいて、画像領域が露出の過不足を原因として画像処理ができない、あるいは対象物を撮影することを目的とした場合に、画像品質が悪いと推定される不適合領域であるか否かを判定するための評価値を算出する。
そして、算出した評価値に基づいて、画像領域のいずれかが不適合であると判定された場合、次の画像取得時の露出パラメータを評価値に基づいて画像取得手段(10)に指示する。
ここで、画像領域の設定の際、位置検出手段(20)によって、画像の中で測光領域から除外する対象である非検出対象物(3)の位置を検出し、検出した非検出対象物(3)の占める領域を除いた領域に対応する画像領域を設定する。
すると、画像取得手段(10)の位置や角度が変化しても、画像中から非検出対象物(3)が常に除かれることになる。したがって、単に、画像取得手段(10)で取得した画像に1又は2以上の画像領域を設定し、その画像領域の輝度に基づいて、露出制御パラメータを画像取得手段(10)に指示する場合のように、非検出対象物、例えば、輝度の非常に低い至近距離の黒い車両背面により、画像全体の輝度が明るくなり過ぎることなどがない。あるいは前照灯を有する対向車、路側に設置されている街路灯など、周辺に輝度に比べ高い輝度を有している物体により、周辺風景が暗くなりすぎることがない。
したがって、画像取得手段(10)に対する露出パラメータの設定がより正確に行うことができるようになる、つまり、画像取得手段(10)の位置や角度が変化しても適正なカメラ露出を得ることができるカメラ露出設定装置(1)とすることができることになる。
ところで、位置検出手段(20)としては、種々のものが考えられるが、請求項2に記載のように、ミリ波レーダ、レーザレーダ、ステレオカメラのうち少なくとも1つ又は2以上の組合せにするとよい。
このようにすると、車載に適した従来の技術で容易に非検出対象物の検出を正確に行うことができる。
また、請求項3に記載のように、位置検出手段(20)を、画像取得手段(10)において取得した画像において、使用者の操作により非検出対象物(3)を指定することにより非検出対象物(3)の位置を設定するように構成してもよい。
また、請求項3に記載のように、位置検出手段(20)を、画像取得手段(10)において取得した画像において、使用者の操作により非検出対象物(3)を指定することにより非検出対象物(3)の位置を設定するように構成してもよい。
このようにすると、使用者が、画像取得手段(10)により取得した画像を見ながら、画像領域として不適切なもの、つまり、非検出対象物(3)を除外することができるので、使用者にとって使いやすいカメラ露出設定装置(1)となる。
また、画像取得手段(10)の露出制御パラメータは、請求項4に記載のように、画像取得手段(10)で取得する画像の明るさを増減させるためのパラメータであると、構成を複雑にすることなく画像取得手段(10)を構成することができる。
ここで、「画像取得手段(10)で取得する画像の明るさを増減させるためのパラメータ」とは、例えば、シャッタの絞り、露出時間及び画像信号の信号増幅率などであり、さらに、「画像信号の増幅率」とは、画像取得手段(10)から出力される信号のうち画像に関する信号を、アナログ−デジタル(AD)変換や光電変換時などに実施される信号増幅のために設定されるゲイン値を意味している。
請求項5に記載の発明は、画像取得工程(S100)、位置検出工程(S105)、領域設定工程(S110)、輝度取得工程(S115)、評価値算出工程(S120)、判定工程(S125)及び指示工程(S130)によりカメラ露出を設定するカメラ露出設定プログラムである。
画像取得工程(S100)は、自車両(5)に搭載され、自車両(5)周辺の画像を取得する、露出制御パラメータを設定可能な画像取得手段(10)から自車両(5)周辺の画像を取得する工程であり、位置検出工程(S105)は、自車両(5)周辺に存在し、前記画像取得手段(10)で取得する画像の中で、測光領域から除外する対象である非検出対象物(3)の位置を検出する位置検出手段(20)から前記非検出対象物(3)の位置を取得する工程である。
領域設定工程(S110)は、画像取得工程(S100)で取得した画像のうち、位置検出工程(S105)により検出した非検出対象物(3)の占める領域を除いた領域に対応する、画像取得手段(10)による画像取得タイミングごとに位置が可変な1又は2以上の画像領域を設定する工程である。
輝度取得工程(S115)は、領域設定工程(S110)で設定した画像領域を構成する各画素の輝度を取得する工程であり、評価値算出工程(S120)は、輝度取得工程(S115)により取得された輝度に基づいて、1又は2以上の画像領域が露光の過不足を原因として画像処理ができない、あるいは対象物を撮影することを目的とした場合に、画像品質が悪いと推定される不適合領域であるか否かを判定するための評価値を算出する工程である。
判定工程(S125)は、評価値算出工程(S120)で算出した評価値に基づいて、画像領域が不適合領域であるか否かを判定する工程であり、
指示工程(S130)は、判定工程(S125)により1又は2以上の画像領域のいずれかが不適合であると判定された場合、画像取得手段(10)による次の画像取得時の露出制御パラメータを評価値に基づき画像取得手段(10)に指示する工程である。
指示工程(S130)は、判定工程(S125)により1又は2以上の画像領域のいずれかが不適合であると判定された場合、画像取得手段(10)による次の画像取得時の露出制御パラメータを評価値に基づき画像取得手段(10)に指示する工程である。
このようなカメラ露出設定プログラムによれば、請求項1に記載のカメラ露出設定装置(1)と同じ効果を得ることができる。
以下、本発明が適用された実施形態について図面を用いて説明する。なお、本発明の実施の形態は、下記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。
[第1実施形態]
図1は、本発明が適用されたカメラ露出設定装置1の概略の構成を示すブロック図である。図1に示すように、カメラ露出設定装置1は、車載カメラ10、ミリ波レーダ20、画像処理部30及び制御部40を備えている。
[第1実施形態]
図1は、本発明が適用されたカメラ露出設定装置1の概略の構成を示すブロック図である。図1に示すように、カメラ露出設定装置1は、車載カメラ10、ミリ波レーダ20、画像処理部30及び制御部40を備えている。
車載カメラ10は、自車両5に搭載され、自車両5周辺の画像を取得する、露出制御パラメータを設定可能なカメラであり、本実施形態では、図2に示すように、自車両5のボディ7の前面に取り付けられたカメラである。
車載カメラ10の露出制御パラメータは、図示しないシャッタの絞り、露光時間及び画像信号の増幅率(以下、ゲイン値とも呼ぶ)の3つである。
ミリ波レーダ20は、自車両5周辺に存在し、車載カメラ10で取得する画像の中で、測光領域から除外する対象である非検出対象物3の位置を検出するレーダである(図2参照)。
ミリ波レーダ20は、自車両5周辺に存在し、車載カメラ10で取得する画像の中で、測光領域から除外する対象である非検出対象物3の位置を検出するレーダである(図2参照)。
なお、非検出対象物3とは、前照灯を有する対向車、路側に設置されている街路灯など、周辺に輝度に比べ高い輝度を有している物体を意味している。
ミリ波レーダ20は、60GHz帯又は76GHz帯の周波数の電波を使用するレーダであり、車載カメラ10と同様に自車両5のボディ7の前面に搭載され、自車両5前方の非検出対象物3の自車両5に対する方位と距離(及び相対速度)を検出する。
ミリ波レーダ20は、60GHz帯又は76GHz帯の周波数の電波を使用するレーダであり、車載カメラ10と同様に自車両5のボディ7の前面に搭載され、自車両5前方の非検出対象物3の自車両5に対する方位と距離(及び相対速度)を検出する。
画像処理部30は、図示しないCPU、ROM、RAM及びI/Oを備えており、以下の(ア)〜(エ)に示す画像処理を実行する。
(ア)車載カメラ10で取得した画像に、ミリ波レーダ20により検出した非検出対象物3の占める領域を除いた領域に対応する、車載カメラ10による画像取得タイミングごとに位置が可変な1又は2以上の画像領域を設定する(領域設定処理)。
(イ)領域設定処理で設定した画像領域を構成する各画素の輝度を取得する(輝度取得処理)。
(ウ)輝度取得処理により取得した輝度に基づいて、1又は2以上の画像領域が露出の過不足を原因として画像処理ができない、あるいは対象物を撮影することを目的とした場合に、画像品質が悪いと推定される不適合領域であるか否かを判定するための評価値を算出する(評価値算出処理)。
(エ)評価値算出処理で算出した評価値に基づいて、1又は2以上の画像領域が不適合領域であるかを判定する(判定処理)。
(ア)車載カメラ10で取得した画像に、ミリ波レーダ20により検出した非検出対象物3の占める領域を除いた領域に対応する、車載カメラ10による画像取得タイミングごとに位置が可変な1又は2以上の画像領域を設定する(領域設定処理)。
(イ)領域設定処理で設定した画像領域を構成する各画素の輝度を取得する(輝度取得処理)。
(ウ)輝度取得処理により取得した輝度に基づいて、1又は2以上の画像領域が露出の過不足を原因として画像処理ができない、あるいは対象物を撮影することを目的とした場合に、画像品質が悪いと推定される不適合領域であるか否かを判定するための評価値を算出する(評価値算出処理)。
(エ)評価値算出処理で算出した評価値に基づいて、1又は2以上の画像領域が不適合領域であるかを判定する(判定処理)。
制御部40は、図示しないCPU、ROM、RAM及びI/Oを備えており、画像処理部30の判定処理により1又は2以上の画像領域のいずれかが不適合であると判定された場合、車載カメラ10による次の画像取得時の露出制御パラメータを評価値に基づき車載カメラ10に指示する(指示処理)。
(画像処理の説明)
次に図3に基づき、画像処理部30でCPUが実行する画像処理について説明する。図3は、画像処理の流れを示すフローチャートである。
(画像処理の説明)
次に図3に基づき、画像処理部30でCPUが実行する画像処理について説明する。図3は、画像処理の流れを示すフローチャートである。
画像処理は、画像処理部30の電源オンとともに処理が開始され、図3に示すように、S100において、CPUが、車載カメラ10から自車両5周辺の画像を取得し、続くS105において、ミリ波レーダ20から非検出対象物3の位置、つまり、自車両5からの距離と方位を取得する。
続くS110では、S100において取得した画像とS105において取得した非検出対象物3の位置とに基づき画像を1又は2以上の画像領域を設定する。具体的には、S100で取得した画像から、S105において取得した非検出対象物3の占める領域を除外し、非検出対象物3を除いた画像を1又は2以上の画像領域に分割して画像領域を設定する。
このとき、非検出対象物3を含む画像領域は1つとは限らず、例えば、図2に示すように、非検出対象物3として、対向車と街路灯があった場合には、非検出対象物3を含む画像領域は、対向車を含む画像領域と街路灯を含む画像領域の2つとなる。
ここで、非検出対象物3の占める領域とは、ミリ波レーダ20で検出した非検出対象物3の位置において推定される、その非検出対象物3の形状の占める領域を意味する。
例えば、非検出対象物3の位置が自車両5の前方で、かつ、道路上で正面から横方向にずれている場合には、その非検出対象物3は対向車であると推定できるので、自車両5から対向車の距離を考慮した対向車の正面からみた形状の内部が非検出対象物3の占める領域となる。
例えば、非検出対象物3の位置が自車両5の前方で、かつ、道路上で正面から横方向にずれている場合には、その非検出対象物3は対向車であると推定できるので、自車両5から対向車の距離を考慮した対向車の正面からみた形状の内部が非検出対象物3の占める領域となる。
また、非検出対象物3の位置が自車両5の前方で、かつ、道路の外側の場合には、その非検出対象物3は街路灯であると推定できるので、自車両5から対向車の距離を考慮した街路灯の正面からみた形状の内部が非検出対象物3の占める領域となる。
続くS115では、S110において設定した画像領域を構成する各画素の輝度を取得する(輝度取得処置)。輝度は、例えば、画像を構成する画素ごとの輝度が8ビットの分解能を有していれば、0〜255の値となり、0が黒、255が白を表現するようになっている。
続くS120では、S115において取得した各画素の輝度に基づいて、各画像領域が露出の過不足を原因として画像処理ができない、あるいは対象物を撮影することを目的とした場合に、画像品質が悪いと推定される不適合領域であるか否かを判定するための評価値を算出する(評価値算出処理)。
例えば、各画素領域を構成する画素の輝度の平均値、各画像領域を構成する画素の最大値、各画像領域を構成する画素の最大値と最小値の中間値など、各画像領域を構成する画素の輝度から得られる値である。
続くS125では、S120において算出した評価値に基づいて、各画像領域が不適合領域であるか否かを判定する(判定処理)。
評価値が、各画像領域の平均値とした場合には、その平均値が、画像処理が可能である輝度値の範囲内に入っているか否かを判定する。例えば、輝度の平均値が200を超えているような場合には、その画像領域がほぼ真っ白な状態であることが推定され、平均値が30以下の場合には、その画像領域がほぼ真っ黒な状態であることが推定される。
評価値が、各画像領域の平均値とした場合には、その平均値が、画像処理が可能である輝度値の範囲内に入っているか否かを判定する。例えば、輝度の平均値が200を超えているような場合には、その画像領域がほぼ真っ白な状態であることが推定され、平均値が30以下の場合には、その画像領域がほぼ真っ黒な状態であることが推定される。
したがって、そのような場合には画像処理に適していないということになり不適合領域と判定する。
そして、不適合領域と判定した場合(S125:Yes)、処理をS130へ移行し、不適合領域でないと判定した場合(S125:No)、処理をS135へ移行する。
そして、不適合領域と判定した場合(S125:Yes)、処理をS130へ移行し、不適合領域でないと判定した場合(S125:No)、処理をS135へ移行する。
S130では、S120において算出した評価値を、I/Oを介して制御部40へ出力する。
S135では、S110において設定したすべての画像領域について、S115〜S125の処理を実施したか否かを判定する。そして、すべての画像領域についてS115〜S125の処理を実施したと判定した場合(S130:Yes)、処理をS100へ戻し、画像処理を繰り返し、すべての画像領域について処理を実施していないと判定した場合(S130:No)、処理をS115へ戻し、次の画像領域について処理を繰り返す。
S135では、S110において設定したすべての画像領域について、S115〜S125の処理を実施したか否かを判定する。そして、すべての画像領域についてS115〜S125の処理を実施したと判定した場合(S130:Yes)、処理をS100へ戻し、画像処理を繰り返し、すべての画像領域について処理を実施していないと判定した場合(S130:No)、処理をS115へ戻し、次の画像領域について処理を繰り返す。
なお、画像処理は、画像処理部30の電源オフとともに処理が終了となる。
(制御処理)
次に、図4に基づき、制御部40でCPUが実行する制御処理について説明する。図4は、制御処理の流れを示すフローチャートである。
(制御処理)
次に、図4に基づき、制御部40でCPUが実行する制御処理について説明する。図4は、制御処理の流れを示すフローチャートである。
制御処理は、制御部40の電源オンとともに処理が開始され、図4に示すように、S200において、CPUが、I/Oを介して画像処理部30から評価値Eoを取得する。
続くS205では、S200において取得した評価値Eo≦αであるか否かを判定し、
Eo≦αであると判定した場合(S200:Yes)、処理をS210へ移行し、Eo>αであると判定した場合(S200:No)、処理をS220へ移行する。
続くS205では、S200において取得した評価値Eo≦αであるか否かを判定し、
Eo≦αであると判定した場合(S200:Yes)、処理をS210へ移行し、Eo>αであると判定した場合(S200:No)、処理をS220へ移行する。
S210では、評価値β≦Eoであるか否かを判定し、β≦Eoであると判定した場合(S210:Yes)、処理をS215へ移行し、Eo≦βでないと判定した場合(S210:No)、処理をS200へ戻し、制御処理を繰り返す。
S215では、露出制御パラメータである、車載カメラ10のシャッタ絞りと露出時間のうちいずれか又はその両方の値を減少させる。つまり、シャッタの絞り開度を小さくしたり露出時間を短くしたりする。
S220では、車載カメラ10のシャッタ絞り、露出時間及び画像信号増幅のゲイン値のうち少なくとも1つの値を増加させる。つまり、シャッタの絞り開度を大きくしたり、露出時間を長くしたり、画像信号増幅のゲイン値を大きくしたりする。
ここでS205〜S220の処理について説明すると、前述したように、画像処理部30から出力される評価値は0〜255の値のうち、目標値(例えば輝度値の中間値である128前後の数値)ではなく、目標値の前後を除いた値と比較し判定される。つまり、その下限値をα、上限値をβとすると、出力される評価値Eoは、下記式1で判定される。
Eo<α、β<Eo ・・・ 式1
αおよびβは画像制御パラメータの増加および減少が時系列にあまりに連続して発生し、画像が明るくなったり暗くなったりするのを短い時間の間に繰り返してしまう現象を抑制するために設定される不感帯に相当する。
αおよびβは画像制御パラメータの増加および減少が時系列にあまりに連続して発生し、画像が明るくなったり暗くなったりするのを短い時間の間に繰り返してしまう現象を抑制するために設定される不感帯に相当する。
そこで、露出制御パラメータである、車載カメラ10のシャッタ絞りと露出時間のうちいずれか又はその両方を、Eo≦αの場合には、大きな値とし、β≦Eoの場合には小さくするのである。
S225では、S215又はS220において設定した露出制御パラメータをI/Oを介して、車載カメラ10へ出力した後、処理をS200へ移行し、制御処理を繰り返す。
(カメラ露出設定装置1の特徴)
以上のようなカメラ露出設定装置1によれば、図5(a)に示すように、車載カメラ10で取得した時刻tの画像を画像処理する際に、ミリ波レーダ20によって検出した非検出対象物3の位置を検出し、検出した位置に対応する1又は2以上の画像領域を設定する。
(カメラ露出設定装置1の特徴)
以上のようなカメラ露出設定装置1によれば、図5(a)に示すように、車載カメラ10で取得した時刻tの画像を画像処理する際に、ミリ波レーダ20によって検出した非検出対象物3の位置を検出し、検出した位置に対応する1又は2以上の画像領域を設定する。
そして、そのようにして設定した各画像領域の輝度に基づき、上記画像処理を行って、その画像処理の結果に基づいて、車載カメラ10の露出制御パラメータを制御することによって、車載カメラ10の露出を制御している。
また、図5(b)に示すように、時刻t+1においても時刻tにおける画像処理及び制御処理と同様な処理を実行し、図5中に矢印で示すように、このループを繰り返すことによって、露出制御パラメータを時々刻々変化させていく。
なお、時刻t+1とは、上記画像処理において、時刻tにおける画像処理から、次の処理ループまでの時間を加算した時刻を示している。
このように、車載カメラ10の露出制御の際に、非検出対象物3の位置に対応した1又は2以上の画像領域を設定するので、自車両5の走行中に自車両5の位置や角度が変化し、車載カメラ10の位置や角度が変化しても、ミリ波レーダ20で非検出対象物3の位置を検出しているので、車載カメラ10の露出が、常にその非検出対象物3の画像処理が可能となるように制御される。
このように、車載カメラ10の露出制御の際に、非検出対象物3の位置に対応した1又は2以上の画像領域を設定するので、自車両5の走行中に自車両5の位置や角度が変化し、車載カメラ10の位置や角度が変化しても、ミリ波レーダ20で非検出対象物3の位置を検出しているので、車載カメラ10の露出が、常にその非検出対象物3の画像処理が可能となるように制御される。
また、非検出対象物3の位置検出にミリ波レーダ20を用いているので 車載に適した従来の技術で容易に非検出対象物3の検出を正確に行うことができる。
さらに、車載カメラ10の露出制御パラメータとして、シャッタの絞り、露出時間及び画像信号増幅のゲイン値であると、構成を複雑にすることなく車載カメラ10を構成することができる。
[第2実施形態]
次に、図6に基づき、第1実施形態のカメラ露出設定装置1において、位置検出を異なる方式にした第2実施形態について説明する。
さらに、車載カメラ10の露出制御パラメータとして、シャッタの絞り、露出時間及び画像信号増幅のゲイン値であると、構成を複雑にすることなく車載カメラ10を構成することができる。
[第2実施形態]
次に、図6に基づき、第1実施形態のカメラ露出設定装置1において、位置検出を異なる方式にした第2実施形態について説明する。
第2実施形態のカメラ露出設定装置1は、位置検出以外は、第1実施形態のカメラ露出設定装置1と同じであるので、同じ部分には同じ符号を付して、その説明を省略し、異なる部分についてのみ説明する。
第2実施形態におけるカメラ露出設定装置1では、ミリ波レーダ20の代わりに、自車両5のボディ7の前面に取り付けたステレオカメラ22を用いている。
ステレオカメラ22では、図6に示すように、カメラ22a,22bそれぞれの撮像素子上における検出対象物3の位置から、角度(φ,θ)と取付間隔L(基線長さL)を基に、三角測量の要領で、検出対象物の位置(距離l)を検出することができる。
[第3実施形態]
次に、図7に基づき、第1実施形態のカメラ露出設定装置1において、位置検出を異なる方式にした第3実施形態について説明する。
ステレオカメラ22では、図6に示すように、カメラ22a,22bそれぞれの撮像素子上における検出対象物3の位置から、角度(φ,θ)と取付間隔L(基線長さL)を基に、三角測量の要領で、検出対象物の位置(距離l)を検出することができる。
[第3実施形態]
次に、図7に基づき、第1実施形態のカメラ露出設定装置1において、位置検出を異なる方式にした第3実施形態について説明する。
第3実施形態のカメラ露出設定装置1は、位置検出以外は、第1実施形態のカメラ露出設定装置1と同じであるので、同じ部分には同じ符号を付して、その説明を省略し、異なる部分についてのみ説明する。
第3実施形態におけるカメラ露出設定装置1では、ミリ波レーダ20の代わりに、図7(a)に示すように、車載カメラ10で取得した画像を表示する表示装置52と表示装置52の画面の表面に設置されたタッチスクリーン54から構成されている位置検出装置50を用いている。
そして、画像処理のS105において、S100で取得した自車両5周辺の画像を表示装置52に表示し、タッチスクリーン54に対する使用者の非検出対象物3の領域指定入力を待つ。
つまり、自車両5の周辺画像において、使用者が測光の検出対象としない物、部分或いは領域(非検出対象物3)を、図7(a)に示すように、タッチスクリーン54上で、指やタッチペン56などでなぞることによって入力するのを待つ。
そして、使用者による非検出対象物3の入力がなされたら、図7(b)に示すように、その物、部分或いは領域(図7(b)中「A」で示す)を非検出対象物3の位置として設定する。
すると、S110において、非検出対象物3の占める領域を除外した領域は、図7(c)中「B}で示すようになり、この領域の画像を1又は2以上の画像領域に分割して画像領域を設定することになる。
このように、使用者が非検出対象物3を指定することにより、使用者が非検出対象物3としたいものを直接設定できるので、使用者にとって使い易いカメラ露出設定装置1とすることができる。
また、使用者が画面を見ながら非検出対象物3を直接指定できるので、道路上の対向車や道路脇の街路灯などの物体のみならず、空などの領域、空と道路の境界線、ビルの窓やネオンサインなど、物体の部分や領域を自由に非検出対象物3として設定することができる。
[その他の実施形態]
以上、本発明の実施形態について説明したが、本発明は、本実施形態に限定されるものではなく、種々の態様を採ることができる。
(1)第1実施形態では、非検出対象物3の位置検出にミリ波レーダ20を用いていたがレーザレーダを用いても同様の効果を得ることができる。
(2)また、ミリ波レーダ20、レーザレーダ及びステレオカメラを2つ以上組み合わせるようにすると、非検出対象物3の検出の際に、天候や周囲の構造物の設置状況などの影響を受けにくくなり、より正確に非検出対象物3の位置を検出することができるようになる。
(3)また、車載カメラ10は、夜間撮影可能な赤外線カメラであっても同様な効果を得ることができる。
(4)また、図8のように複数の非検出対象物が画像中に同時に存在する場合には、評価値算出の際に評価値算出の対象外となる非検出対象物を時系列に切り替えながら撮影するようにしてもよい。
[その他の実施形態]
以上、本発明の実施形態について説明したが、本発明は、本実施形態に限定されるものではなく、種々の態様を採ることができる。
(1)第1実施形態では、非検出対象物3の位置検出にミリ波レーダ20を用いていたがレーザレーダを用いても同様の効果を得ることができる。
(2)また、ミリ波レーダ20、レーザレーダ及びステレオカメラを2つ以上組み合わせるようにすると、非検出対象物3の検出の際に、天候や周囲の構造物の設置状況などの影響を受けにくくなり、より正確に非検出対象物3の位置を検出することができるようになる。
(3)また、車載カメラ10は、夜間撮影可能な赤外線カメラであっても同様な効果を得ることができる。
(4)また、図8のように複数の非検出対象物が画像中に同時に存在する場合には、評価値算出の際に評価値算出の対象外となる非検出対象物を時系列に切り替えながら撮影するようにしてもよい。
つまり、図8(a)に示すように、時刻tでは、非検出対象物3を最も輝度値の大きな物体、例えば、車両とし、図8(b)に示すように、時刻t+1では、非検出対象物3を次に輝度値の大きな物体、例えば、歩行者とし、図8(c)に示すように、時刻t+2では、再び非検出対象物3を車両とするのである。
このようにすると、複数の非対称物間においても輝度値に差がある場合に、時刻tにおいては2番目に明るい非検出対称物と検出対象物共に模様が見える画像となる。また次時刻t+1においては最も明るい物体と2番目に明るい物体は真っ白に飽和した画像になってしまう反面、その他の対象領域については最も画像認識に適した、または画像品質が良い画像が取得できる。
1… カメラ露出設定装置 3… 非検出対象物 5… 自車両 7… ボディ 10… 車載カメラ 20… ミリ波レーダ 22… ステレオカメラ 22a,22b… カメラ 30… 画像処理部 40… 制御部 50… 位置検出装置 52… 表示装置 54… タッチスクリーン 56… タッチペン。
Claims (5)
- 自車両(5)に搭載され、前記自車両周辺の画像を取得する、露出制御パラメータを設定可能な画像取得手段(10)と、
前記自車両周辺に存在し、前記画像取得手段で取得する画像の中で、測光領域から除外する対象である非検出対象物(3)の位置を検出する位置検出手段(20)と、
前記画像取得手段で取得した画像のうち、前記位置検出手段により検出した前記非検出対象物の占める領域を除いた領域に対応する、前記画像取得手段による画像取得タイミングごとに位置が可変な1又は2以上の画像領域を設定する領域設定手段(30,S110)と、
前記領域設定手段で設定した前記画像領域を構成する各画素の輝度を取得する輝度取得手段(30,S115)と、
前記輝度取得手段により取得された輝度に基づいて、前記1又は2以上の画像領域が露光の過不足を原因として画像処理ができない、あるいは対象物を撮影することを目的とした場合に、画像品質が悪いと推定される不適合領域であるか否かを判定するための評価値を算出する評価値算出手段(30,S120)と、
前記評価値算出手段で算出した評価値に基づいて、前記画像領域が不適合領域であるか否かを判定する判定手段(30,S125)と、
前記判定手段により前記1又は2以上の画像領域のいずれかが不適合であると判定された場合、前記画像取得手段による次の画像取得時の前記露出制御パラメータを前記評価値に基づき前記画像取得手段に指示する指示手段(40)と、
を備えたことを特徴とするカメラ露出設定装置(1)。 - 請求項1に記載のカメラ露出設定装置において、
前記位置検出手段は、
ミリ波レーダ、レーザレーダ、ステレオカメラのうち少なくとも1つ又は2以上の組合せであることを特徴とするカメラ露出設定装置。 - 請求項1に記載のカメラ露出設定装置において、
前記位置検出手段は、
前記画像取得手段において取得した画像において、使用者の操作により前記非検出対象物を指定することにより前記非検出対象物の位置を設定するように構成されていることを特徴とするカメラ露出設定装置。 - 請求項1〜請求項3のいずれか1項に記載のカメラ露出設定装置において、
前記画像取得手段の露出制御パラメータは、
前記画像取得手段で取得する画像の明るさを増減させるためパラメータであることを特徴とするカメラ露出設定装置。 - 自車両に搭載され、前記自車両周辺の画像を取得する、露出制御パラメータを設定可能な画像取得手段から前記自車両周辺の画像を取得する画像取得工程(S100)と、
前記自車両周辺に存在し、前記画像取得手段で取得する画像の中で、測光領域から除外する対象である非検出対象物の位置を検出する位置検出手段から前記非検出対象物の位置を取得する位置検出工程(S105)と、
前記画像取得工程で取得した画像のうち、前記位置検出工程により検出した前記非検出対象物の占める領域を除いた領域に対応する、前記画像取得手段による画像取得タイミングごとに位置が可変な1又は2以上の画像領域を設定する領域設定工程(S110)と、
前記領域設定工程で設定した前記画像領域を構成する各画素の輝度を取得する輝度取得工程(S115)と、
前記輝度取得工程により取得された輝度に基づいて、前記1又は2以上の画像領域が露光の過不足を原因として画像処理ができない、あるいは対象物を撮影することを目的とした場合に、画像品質が悪いと推定される不適合領域であるか否かを判定するための評価値を算出する評価値算出工程(S120)と、
前記評価値算出工程で算出した評価値に基づいて、前記画像領域が不適合領域であるか否かを判定する判定工程(S125)と、
前記判定工程により前記1又は2以上の画像領域のいずれかが不適合であると判定された場合、前記画像取得手段による次の画像取得時の前記露出制御パラメータを前記評価値に基づき前記画像取得手段に指示する指示工程(S130)と、
によりカメラ露出を設定することを特徴とするカメラ露出設定プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013002050A JP2014135613A (ja) | 2013-01-09 | 2013-01-09 | カメラ露出設定装置及びカメラ露出設定プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013002050A JP2014135613A (ja) | 2013-01-09 | 2013-01-09 | カメラ露出設定装置及びカメラ露出設定プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014135613A true JP2014135613A (ja) | 2014-07-24 |
Family
ID=51413606
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013002050A Pending JP2014135613A (ja) | 2013-01-09 | 2013-01-09 | カメラ露出設定装置及びカメラ露出設定プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2014135613A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10708510B2 (en) | 2017-07-31 | 2020-07-07 | Samsung Electronics Co., Ltd. | Image obtaining method and apparatus |
CN116709035A (zh) * | 2023-08-07 | 2023-09-05 | 深圳市镭神智能系统有限公司 | 图像帧的曝光调节方法、装置和计算机存储介质 |
-
2013
- 2013-01-09 JP JP2013002050A patent/JP2014135613A/ja active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10708510B2 (en) | 2017-07-31 | 2020-07-07 | Samsung Electronics Co., Ltd. | Image obtaining method and apparatus |
US11272114B2 (en) | 2017-07-31 | 2022-03-08 | Samsung Electronics Co., Ltd. | Image obtaining method and apparatus |
US11792528B2 (en) | 2017-07-31 | 2023-10-17 | Samsung Electronics Co., Ltd. | Image obtaining method and apparatus |
CN116709035A (zh) * | 2023-08-07 | 2023-09-05 | 深圳市镭神智能系统有限公司 | 图像帧的曝光调节方法、装置和计算机存储介质 |
CN116709035B (zh) * | 2023-08-07 | 2023-11-21 | 深圳市镭神智能系统有限公司 | 图像帧的曝光调节方法、装置和计算机存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9639764B2 (en) | Image recognition system for vehicle for traffic sign board recognition | |
JP4725391B2 (ja) | 車両用視程測定装置、及び運転支援装置 | |
JP4389999B2 (ja) | 露出制御装置及び露出制御プログラム | |
JP5071198B2 (ja) | 信号機認識装置,信号機認識方法および信号機認識プログラム | |
JP4853437B2 (ja) | 車両周辺監視システム | |
CN114520880B (zh) | 一种曝光参数调节方法及装置 | |
JP5115792B2 (ja) | 画像処理装置および方法、並びに、プログラム | |
JP2020035443A (ja) | センシング装置 | |
US20090015683A1 (en) | Image processing apparatus, method and program, and recording medium | |
JP2016196233A (ja) | 車両用道路標識認識装置 | |
JPWO2019194256A1 (ja) | 演算処理装置、オブジェクト識別システム、学習方法、自動車、車両用灯具 | |
JP2012226513A (ja) | 検知装置、及び検知方法 | |
JP2009157085A (ja) | 露出制御装置及び露出制御プログラム | |
JP2010088045A (ja) | ナイトビューシステム、夜間歩行者表示方法 | |
JP4556133B2 (ja) | 車両 | |
JP2008028957A (ja) | 車両用画像処理装置 | |
JP4952499B2 (ja) | 画像処理装置 | |
JP2003032669A (ja) | 車載用画像処理カメラ装置 | |
JP5246254B2 (ja) | 車載カメラの露出制御値の決定方法 | |
JP2014135613A (ja) | カメラ露出設定装置及びカメラ露出設定プログラム | |
JP5328815B2 (ja) | 撮像装置及び撮像方法 | |
JP2005148308A (ja) | 白線検出用カメラの露出制御装置 | |
CN108259775B (zh) | 一种成像方法、成像装置及后视镜 | |
JP2014135612A (ja) | カメラ露出設定装置及びカメラ露出設定プログラム | |
JP2014135611A (ja) | カメラ露出設定装置及びカメラ露出設定プログラム |