JP2012226513A - 検知装置、及び検知方法 - Google Patents

Abstract

【課題】夜間においても、走行路区分線の検知、及びヘッドライト検知を適切に行うことができる検知装置、及び検知方法を提供することを目的としている。
【解決手段】撮像装置１０の露光時間を予め定められているタイミングで切り替える制御部２２と、異なる露光時間で撮像された画像データを取得する画像取得部２４と、前記画像取得部が取得した異なる露光時間の各画像データから各々対象物を検知する対象物検知部（２５、２６）と、を備える。
【選択図】図１

Description

本発明は、走行する車両に搭載された検知装置、及び検知方法に関する。

車両の走行路区分線（道路上の白線）の検知装置は、車両に搭載されている撮像装置で撮像された画像から所定の特徴点を抽出し、抽出した特徴点に基づいて走行路区分線に相当する線分を抽出する。また、検知装置は、予め記憶されている走行路区分線のモデルと、抽出した走行路区分線に相当する線分とを比較して、モデルとマッチングしている線分を選択する。そして、検知装置は、選択した線分に対応する特徴点を近似して走行路区分線を算出して対象物を検知している（例えば、特許文献１参照）。

このような検知装置では、昼間に撮像して対象物を検知する場合、撮像された画像がサチレーションしないように撮像装置の露光時間を短くして撮像している。また、夜間に撮像して対象物を検知する場合、走行路区分線である被対称物を明瞭に撮像するために、露光時間をできるだけ長くして撮像している。

特開平８−３１５１２５号公報

しかしながら、特許文献１の従来技術では、夜間に撮像して対象物を検知する場合、露光時間を長くしているため、ヘッドライトを点灯した対向車の認識において、ヘッドライトの光源の光量が強すぎて、撮像された画像サチレーションしてしまう。この撮像された画像のサチレーションを防ぐために、仮に露光時間を短くした場合、走行路区分線等の対象物の撮像された画像は、十分な輝度が得られず不鮮明な画像データしか得られない。このため、走行路区分線等の対象物を適切に認識できなくなる。

本発明は、上記の問題点に鑑みてなされたものであって、夜間においても、走行路区分線の検知、及びヘッドライト検知を適切に行うことができる検知装置、及び検知方法を提供することを目的としている。

（１）上記課題を解決するために、本発明に係る検知装置は、撮像装置の露光時間を予め定められているタイミングで切り替える制御部と、異なる露光時間で撮像された画像データを取得する画像取得部と、前記画像取得部が取得した異なる露光時間の各画像データから各々対象物を検知する対象物検知部と、を備えることを特徴としている。

（２）また、本発明に係る検知装置において、前記制御部は、前記撮像装置の増幅感度を予め定められているタイミングで切り替え、前記画像取得部は、異なる露光時間且つ異なる増幅感度で撮像された画像データを取得し、前記対象物検知部は、前記画像取得部が取得した異なる露光時間且つ異なる増幅感度の各画像データから各々対象物を検知するようにしてもよい。

（３）また、本発明に係る検知装置において、異なる露光時間で撮像された画像データから前記対象物の候補領域の画像データを抽出する領域抽出部と、前記領域抽出部が抽出した前記対象物の候補領域の画像データにおける絶対輝度を算出する絶対輝度算出部と、前記絶対輝度算出部が算出した前記対象物の候補領域の画像データにおける絶対輝度に基づき、前記露光時間と前記増幅感度の少なくとも１つを補正する補正部と、を備え、前記制御部は、前記撮像装置の露光時間または増幅感度を、前記補正部により補正された露光時間または増幅感度に切り替えるようにしてもよい。

（４）また、本発明に係る検知装置において、前記異なる２つの露光時間は、第１の露光時間と、前記第１の露光時間より短い第２の露光時間とであるようにしてもよい。

（５）また、本発明に係る検知装置において、前記第１の露光時間は、少なくとも発光する対象物の検知に用いられる露光時間であり、前記第２の露光時間は、少なくとも反射する対象物の検知に用いられる露光時間であるようにしてもよい。

（６）また、本発明に係る検知装置において、前記発光する対象物は、少なくともヘッドライトであり、前記発光しない対象物は、少なくとも前記車両の走行路面上の走行路区分線、車両、及び人のいずれか１つを含む物体であるようにしてもよい。

（７）上記課題を解決するために、本発明は、検知装置における検知方法であって、制御部が、撮像装置の露光時間を予め定められているタイミングで切り替える制御工程と、画像取得部が、異なる露光時間で撮像された画像データを取得する画像取得工程と、対象物検知部が、前記画像取得工程で取得した異なる露光時間の各画像データから各々対象物を検知する対象物検知部と、を含むことを特徴としている。

本発明によれば、異なる露光時間により撮像された画像データから対象物を検知するようにしたので、夜間においても、輝度の低い走行路区間線を検知できるとともに、サチュレーションを生じることなく、ヘッドライト検知を適切に行うことができる。

本発明に係る認識装置の構成の一例を示すブロック図である。 同実施形態に係る撮像対象と露光時間の関係を説明する図である。 同実施形態に係る検知装置において、相対的に長い露光時間Ａで撮影したフレーム画像の一例を示す模式図である。 同実施形態に係る検知装置において、相対的に短い露光時間Ｂで撮影したフレーム画像の一例を示す模式図である。 同実施形態に係る検知装置の動作を説明するためのフローチャートである。 従来の検知装置で用いられているアイリスを説明するための概念図である。 第２実施形態に係る検知装置の構成の一例を示すブロック図である。 同実施形態に係る撮像対象と露光時間及びゲインの関係を説明する図である。 同実施形態に係る検知装置の動作を説明するためのフローチャートである。

以下、図面を用いて、本発明の実施形態について説明する。なお、本発明は係る実施形態に限定されず、その技術思想の範囲内で種々の変更が可能である。また、以下の図面においては、各構成をわかりやすくするために、実際の構造と各構造における縮尺等が異なっている。

まず、本発明の検知装置の動作の概略について説明する。本発明の検知装置は、１台の撮像装置で露光時間Ａ、Ｂの２つを交互に切り替えて撮影することで、夜間、路面の走行路区分線を明るく撮像し（露光時間Ａ；露光時間長い）、同じカメラで対向車も撮影（露光時間Ｂ；露光時間短い）する。このように２つの露光時間で撮像された画像データを用いて、路上の対象物を検知する。
夜間、車両の前方に取り付けられているヘッドライトにより、前方が照らし出され、撮像装置により撮影された画像データには、走行路区分線以外にも、街灯などが照らし出されている。このような状況を撮影した画像データから、走行路区分線を抽出するには、ある程度の輝度差が必要である。特に、夜間は、輝度差が少なくなってしまうので、露光時間を長くする必要がある。また、雨の時には、全体が光ってしまい、走行路区分線との輝度差が得にくい。また、走行路区分線が引かれてから時間が経過したものは、やはり輝度差が得にくい。この場合にも、露光時間を長くする必要がある。

一方、ヘッドライトの輝度は、夜間の走行路区分線が見える程度の輝度に設定されている。他方、撮像装置がＣＭＯＳカメラの場合、ダイナミックレンジは、１２ビット、６６ｄＢ（デジベル）程度しかないので、一番明るいところと、一番暗いところを撮影できる輝度の範囲が限られている。このため、昼は、明るい輝度が測れる範囲で使用し、夜は暗いところも測れるような範囲で使用している。

［第１実施形態］
次に、本実施形態に係る認識装置の構成について、図１を用いて説明する。図１は、本実施形態に係る認識装置の構成の一例を示すブロック図である。
図１に示すように、認識装置１は、撮像装置１０、検知装置２０により構成されている。

まず、撮像装置１０の構成について説明する。撮像装置１０は、露光時間切換部１１、撮像部１３を備えている。
露光時間切換部１１は、検知装置２０が出力する露光時間を示す情報に基づき、撮像部１３の露光時間を切り替える。
撮像部１３は、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ；相補型金属酸化膜半導体）カメラである。撮像部１３は、露光時間切換部１１により切り替えられた露光時間で撮像し、撮像した画像データを検知装置２０に出力する。

次に、検知装置２０の構成について説明する。検知装置２０は、タイミング信号生成部２１、制御部２２、記憶部２３、画像取得部２４、画像処理部２５、検知部２６を備えている。
タイミング信号生成部２１は、予め定められている周期のタイミング信号を生成し、生成したタイミング信号を制御部２２と画像取得部２４に出力する。なお、予め定められている周期とは、例えば１秒である。
制御部２２は、記憶部２３に記憶されている２つの露光時間Ａと露光時間Ｂを読み出す。制御部２２は、タイミング信号生成部２１が出力するタイミング信号のタイミングで、露光時間Ａを示す情報と露光時間Ｂを示す情報を、交互に撮像装置１０に出力する。

記憶部２３には、露光時間Ａを示す情報、露光時間Ｂを示す情報が予め記憶されている。露光時間Ａは、相対的に長く設定されており、夜間の対象物（走行路区分線、車両、人などを含む）検知において、走行路区分線等を撮影する際に用いられる。一方、露光時間Ｂは、露光時間Ａに比べ短く設定されており、サチュレーションを回避して、強い光源であるヘッドライトを撮影する際に用いられる。

画像取得部２４は、タイミング生成信号生成部２１が出力するタイミング信号のタイミングで撮像装置１０が出力する画像データを取得し、取得した画像データをデジタルデータに変換する。画像取得部２４は、変換した画像データを画像処理部２５に出力する。なお、撮像装置１０が出力する画像データがデジタル信号の場合、画像取得部２４は、取得した画像データを、変換せずにそのまま画像処理部２５に出力する。

画像処理部２５は、画像取得部２４が出力する画像データに対して、予め定められた画像処理を行う。予め定められた画像処理とは、反射する対象物（走行路区分線、車両、人など）を検知する場合、参考文献１（特開平８−３１５１２５号公報）と同様の処理を行う。すなわち、画像処理部２５は、例えば、画像データに対して、まずエッジ点を検出してエッジ画像データを検出し、次にエッジ画像データに対しハフ変換を行って直線成分を検出する。次に、画像処理部２５は、検出した直線成分の中から連続している線分を走行路区分線の候補として検出する。また、ヘッドライトを検知する場合、画像処理部２５は、例えば、画像データに対して、まずエッジ点を検出してエッジ画像データを検出し、次にエッジ画像データに対しハフ変換を行って円形成分を検出する。次に、画像処理部２５は、検出した円形成分をヘッドライトの候補として検出する。
画像処理部２５は、このように検出した対象物の候補領域を示す情報を検知部２６に出力する。

検知部２６は、画像処理部２５が出力する対象物の候補領域を示す情報に基づき、発光する対象物、及び反射する対象物を検知する。検知部２６は、検知した結果を、図示しないダッシュボードに取り付けられている表示部や、図示しない車両の走行制御部等に出力する。図示しない車両の走行制御部は、検知装置２０が出力する検知結果を示す情報に基づき、車両の走行等を制御する。
なお、本実施形態において対象物検知部は、画像処理部２５と検知部２６とで構成されている。

次に、撮像対象と露光時間について、図２〜図４を用いて説明する。図２は、本実施形態に係る撮像対象と露光時間の関係を説明する図である。図３は、本実施形態に係る検知装置において、相対的に長い露光時間Ａで撮影したフレーム画像の一例を示す模式図である。また、図４は、本実施形態に係る検知装置において、相対的に短い露光時間Ｂで撮影したフレーム画像の一例を示す模式図である。
図２に示すように、撮像装置１０は、検知装置２０の制御により、時刻ｔ１〜ｔ２の期間、露光時間Ａで第１フレーム目の画像データを撮像する。この場合、長い露光時間である露光時間Ａで撮像しているため、撮像装置１０は、路面を検知するための画像を撮像していることになる。
次に、撮像装置１０は、検知装置２０の制御により、時刻ｔ２〜ｔ３の期間、短い露光時間である露光時間Ｂで第２フレーム目の画像データを撮像する。この場合、短い露光時間Ｂで撮像しているため、撮像装置１０は、ヘッドライトなどのライトを検知するための画像を撮像していることになる。以後、撮像装置１０は、露光時間Ａと露光時間Ｂを交互に繰り返して、撮像を行う。なお、撮像装置１０により撮像された画像データは、白黒の画像データであるとして説明するが、画像データはカラー画像データであってもよい。

図２の第１フレーム、第３フレーム、第５フレーム、・・・において、長い露光時間Ａで撮影した場合、図３に示すように、画像データ３００には、検出対象である走行路区分線３１０、３１５および３２０や、街灯３３０〜３５５が輝度が高いため、白く撮像される。
これに対して、図２の第２フレーム、第４フレーム、第６フレーム、・・・において、短い露光時間Ｂで撮影した場合、図４に示すように、画像データ４００には、検出対象であるヘッドライト４７０〜４８５を示す円形領域が輝度が高いため、白く撮像される。すなわち、画像データ４００は、露光時間Ｂで撮像されたため、サチュレーションを生じることなく、対向車のヘッドライトが撮影されている。

次に、本実施形態の動作について、図５を用いて説明する。図５は、本実施形態の検知装置の動作を説明するためのフローチャートである。
（ステップＳ１）検知装置２０の制御部２２は、まず、露出時間Ａ、Ｂのいずれを用いるかを振り分けるための変数ｉを「１」とする。なお、以下で説明するステップＳ２以降の処理は、１フレーム毎に実行される。ステップＳ１終了後、ステップＳ２に進む。
（ステップＳ２）制御部２２は、タイミング信号生成部２１が出力するタイミング信号を取得する。ステップＳ２終了後、ステップＳ３に進む。

（ステップＳ３）制御部２２は、変数ｉが１か否かを判別する。変数ｉが１であると判別された場合（ステップＳ３；Ｙｅｓ）、ステップＳ４に進む。変数ｉが１ではないと判別された場合（ステップＳ３；Ｎｏ）、ステップＳ５に進む。
（ステップＳ４）変数ｉが１であると判別された場合（ステップＳ３；Ｙｅｓ）、制御部２２は、記憶部２３から読み出した露光時間のうち露光時間Ａを撮像装置１０に出力する。ステップＳ４終了後、ステップＳ６に進む。
（ステップＳ５）変数ｉが１ではないと判別された場合（ステップＳ３；Ｎｏ）、制御部２２は、記憶部２３から読み出した露光時間のうち露光時間Ｂを撮像装置１０に出力する。ステップＳ５終了後、ステップＳ６に進む。

（ステップＳ６）撮像装置１０の露光時間切換部１１は、検知装置２０が出力する露光時間ＡまたはＢを示す情報を取得し、取得した露光時間を示す情報を撮像部１３に出力する。
次に、撮像部１３は、露光時間切換部１１が出力する露光時間を示す情報に基づき、撮像を行う。撮像部１３は、撮像した画像データを検知装置２０に出力する。ステップＳ６終了後、ステップＳ７に進む。

（ステップＳ７）検知装置２０の画像取得部２４は、タイミング信号生成部２１が出力するタイミング信号のタイミングに応じて、画像装置１０が出力する画像データを取得し、取得した画像データを画像処理部２５に出力する。ステップＳ６終了後、ステップＳ７に進む。
（ステップＳ８）制御部２２は、変数ｉが１か否かを判別する。変数ｉが１であると判別された場合（ステップＳ８；Ｙｅｓ）、ステップＳ９に進む。変数ｉが１ではないと判別された場合（ステップＳ８；Ｎｏ）、ステップＳ１１に進む。

（ステップＳ９）変数ｉが１であると判別された場合（ステップＳ８；Ｙｅｓ）、画像処理部２５は、走行路区分線・物体検知のための画像処理を行う。画像処理部２５は、画像データに対して、まずエッジ点を検出してエッジ画像データを検出し、次にエッジ画像データに対しハフ変換を行って直線成分を検出する。次に、画像処理部２５は、検出した直線成分の中から連続している線分を走行路区分線の候補として検出する。画像処理部２５は、このように検出した対象物の候補領域を示す情報を検知部２６に出力する。ステップＳ９終了後、ステップＳ１０に進む。
（ステップＳ１０）制御部は、変数ｉを「２」とする。ステップＳ１０終了後、ステップＳ１３に進む。

（ステップＳ１１）変数ｉが１ではないと判別された場合（ステップＳ８；Ｎｏ）、画像処理部２５は、ヘッドライト検知のための画像処理を行う。画像処理部２５は、画像データに対して、まずエッジ点を検出してエッジ画像データを検出し、次にエッジ画像データに対しハフ変換を行って円形成分を検出する。次に、画像処理部２５は、検出した円形成分をヘッドライトの候補として検出する。画像処理部２５は、このように検出した対象物の候補領域を示す情報を検知部２６に出力する。ステップＳ１１終了後、ステップＳ１２に進む。
（ステップＳ１２）制御部２２は、変数ｉを「１」とする。ステップＳ１２終了後、ステップＳ１３に進む。

（ステップＳ１３）検知部２６は、画像処理部２５が出力する対象物の候補領域を示す情報に基づき、ヘッドライトなどの発光する対象物、及び走行路区分線などの反射する対象物を検知する。検知部２６は、検知した結果を、図示しないダッシュボードに取り付けられている表示部や、図示しない車両の走行制御部等に出力する。
撮像装置１０と検知装置２０は、タイミング信号生成部２１が出力するタイミング信号のタイミングに応じて、フレーム毎に、ステップＳ２〜Ｓ１３を繰り返す。

以降、撮像装置１０と検知装置２０は、フレーム毎に２つの露光時間を交互に切り替えて撮像し、撮像された画像データから発光する対象物、または、反射する対象物を検知する。この結果、相対的に長い露光時間Ａで撮影したフレームからは、走行路区分線を検知することができ、相対的に短い露光時間Ｂで撮影したフレームからは、対向車のヘッドライトを検知することができる。

なお、撮影された画像から所定の特徴点を抽出し、該特徴点に基づいて走行路区分線を抽出する方法については、前述した参考文献１、参考文献２（特開２００９−２７１９０８号公報）、参考文献３（特開２０１０−４４４４５号公報）など公知の手法で行ってもよい。

上述した本発明の実施形態によれば、白線を撮影するために、相対的に長い露光時間Ａで撮影し、次いで、ヘッドライトを撮影するために、相対的に短い露光時間Ｂで撮影するというように、交互に切り替えるようにしたので、夜間における走行路区分線の検知、及び対向車のヘッドライト（対向ランプや、バックライト）の検知を適切に行うことができる。

また、相対的に短い露光時間Ｂで撮影することにより、夜間でも、走行路区分線と対向車のヘッドライト（対向ランプや、バックライト）が検知できるだけでなく、市街地などを走行しているとき、街灯や、商店の光、信号機の光など、本来、検出したくない光源を撮影してしまうことを防ぐことができる。

また、昼間でも、相対的に長い露光時間Ａ、及び相対的に短い露光時間Ｂを用いるようにすれば、雨天の場合や、引かれてから時間が経過している走行路区分線のように輝度差が少ない状況でも、走行路区分線を適切に検出することができる。

［第２実施形態］
第１実施形態では、撮像装置１０の露光時間を切り替えて撮像する例を説明したが、第２実施形態では、露光時間に加えて増幅感度も切り替える例について説明する。
図６は、従来の検知装置で用いられているアイリス（ＩＲＩＳ；Ｉｎｔｅｌｌｉｇｅｎｔ ｃｏｏｐｅＲａｔｉｖｅ Ｉｎｔｅｒｓｅｃｔｉｏｎ Ｓａｆｔｙ ｓｙｔｅｍ）を説明するための概念図である。なお、アイリスとは、ＳＡＦＥＳＰＯＴ統合プロジェクトの内、赤信号警告、左折支援、右折時歩行者保護、緊急車両支援を行うインフラベースの交差点安全システムである。また、ＳＡＦＥＳＰＯＴはEuropean Commission Information Society Technologiesによって共同資金を供給された統合プロジェクトであり、8種類のサブプロジェクトで構成されている。
図６に示すように、アイリスは、撮像装置で撮影した領域の中で道路面領域１００を画像判定して範囲を抽出する。そして、抽出した範囲の中の走行路区分線に相当する領域２１０と２２０を横切る領域である計算ライン１１０〜１６０の絶対輝度を算出して、その値が一定になるようにシャッター速度である露光時間と増幅感度（ゲイン）を変えてフィードバック制御していた。なお、ゲインとは、撮像装置がＣＭＯＳカメラにおいて、例えば、ＣＭＯＳカメラの電荷を増幅して撮影感度を上げる際の増幅率である。

次に、本実施形態に係る認識装置の構成について、図７を用いて説明する。図７は、本実施形態に係る認識装置の構成の一例を示すブロック図である。
図７に示すように、認識装置１ａは、撮像装置１０ａ、検知装置２０ａにより構成されている。
撮像装置１０ａは、露光時間切換部１１、ゲイン切換部１２、撮像部１３ａを備えている。検知装置２０ａは、タイミング信号生成部２１、制御部２２ａ、記憶部２３ａ、画像取得部２４ａ、画像処理部２５ａ、検知部２６、領域抽出部２７、絶対輝度算出部２８、ゲイン・露光時間補正部２９を備えている。なお、第１実施形態における認識装置１と同じ機能を有する機能部については同じ符号を用いて説明を省略する。

まず、撮像装置１０ａの構成について説明する。
ゲイン切換部１２は、検知装置２０ａが出力するゲインを示す情報に基づき、撮像部１３ａの露光時間を切り替える。
撮像部１３ａは、露光時間切換部１１により切り替えられた露光時間且つゲイン切換部１２により切り替えられたゲインで撮像し、撮像した画像データを検知装置２０ａに出力する。

次に、検知装置２０の構成について説明する。
制御部２２ａは、記憶部２３ａに記憶されている２つの露光時間と２つのゲイン値を読み出す。制御部２２は、タイミング信号生成部２１が出力するタイミング信号のタイミングで、露光時間Ａを示す情報とゲインＣを示す情報、または、露光時間Ｂを示す情報とゲインＤを示す情報を、交互に撮像装置１０ａに出力する。

記憶部２３ａには、露光時間Ａを示す情報、露光時間Ｂを示す情報、ゲインＣを示す情報、ゲインＤを示す情報が予め記憶されている。ゲインＣは、撮像装置１０ａの撮像時に、露光時間Ａとともに用いられるゲインである。また、ゲインＤは、撮像装置１０ａの撮像時に、露光時間Ｂとともに用いられるゲインである。

画像取得部２４ａは、タイミング生成信号生成部２１が出力するタイミング信号のタイミングで撮像装置１０ａが出力する画像データを取得し、取得した画像データをデジタルデータに変換する。画像取得部２４ａは、変換した画像データを画像処理部２５ａと領域抽出部２７に出力する。なお、撮像装置１０ａが出力する画像データがデジタル信号の場合、画像取得部２４ａは、取得した画像データを、変換せずにそのまま画像処理部２５ａと領域抽出部２７に出力する。

画像処理部２５ａは、画像取得部２４ａが出力する画像データに対して、予め定められた画像処理を行う。画像処理部２５ａは、予め定められた画像処理により検出した対象物の候補領域を示す情報を検知部２６と領域抽出部２７に出力する。

領域抽出部２７は、画像取得部２４ａが出力する画像データから、画像処理部２５ａが出力する対象物の候補領域を示す情報に基づき、検出する対象物候補の画像領域を抽出し、抽出した画像領域の画像データを絶対輝度算出部２８に出力する。

絶対輝度算出部２８は、画像領域の画像データの絶対輝度値（実際の輝度）を算出し、算出した絶対輝度値を示す情報をゲイン・露光時間補正部２９に出力する。

ゲイン・露光時間補正部２９（補正部）は、絶対輝度算出部２８が出力する絶対輝度値を示す情報に基づき、撮像に用いられたゲイン及び露光時間を補正し、補正したゲイン及び露光時間を記憶部２３ａに記憶させる。

次に、撮像対象と露光時間について、図８を用いて説明する。図８は、本実施形態に係る撮像対象と露光時間及びゲインの関係を説明する図である。
図８に示すように、撮像装置１０ａは、検知装置２０ａの制御により、時刻ｔ１〜ｔ２の期間、露光時間Ａ且つゲインＣで第１フレーム目の画像データを撮像する。この場合、長い露光時間である露光時間Ａで撮像しているため、撮像装置１０ａは、路面を検知するための画像を撮像していることになる。
次に、撮像装置１０ａは、検知装置２０ａの制御により、時刻ｔ２〜ｔ３の期間、短い露光時間である露光時間Ｂ且つゲインＤで第２フレーム目の画像データを撮像する。この場合、短い露光時間Ｂで撮像しているため、撮像装置１０ａは、ヘッドライトなどを検知するための画像を撮像していることになる。
撮像装置１０ａは、検知装置２０ａの制御により、時刻ｔ３〜ｔ４の期間、露光時間Ａ’且つゲインＣ’で第３フレーム目の画像データを撮像する。なお、露光時間Ａ’とは、後述するように、撮像された画像データに基づき、露光時間Ａが補正された露光時間である。また、ゲインＣ’とは、撮像された画像データに基づき、ゲインＣが補正されたゲインである。
次に、撮像装置１０ａは、検知装置２０ａの制御により、時刻ｔ４〜ｔ５の期間、短い露光時間である露光時間Ｂ’且つゲインＤ’で第４フレーム目の画像データを撮像する。なお、露光時間Ｂ’とは、後述するように、撮像された画像データに基づき、露光時間Ｂが補正された露光時間である。また、ゲインＤ’とは、撮像された画像データに基づき、ゲインＤが補正されたゲインである。
以後、撮像装置１０ａは、補正された露光時間Ａ且つゲインＣと、補正された露光時間Ｂ且つゲインＤを交互に切り替えて、撮像を行う。

次に、本実施形態の動作について、図９を用いて説明する。
図９は、本実施形態の検知装置の動作を説明するためのフローチャートである。
（ステップＳ１０１）検知装置２０ａの制御部２２ａは、まず、露出時間Ａ、Ｂ、ゲインＣ、Ｄを用いるかを振り分けるための変数ｉを「１」とする。なお、以下で説明するステップＳ１０２以降の処理は、１フレーム毎に実行される。ステップＳ１０１終了後、ステップＳ１０２に進む。
（ステップＳ１０２）制御部２２ａは、タイミング信号生成部２１が出力するタイミング信号を取得する。ステップＳ１０２終了後、ステップＳ１０３に進む。

（ステップＳ１０３）制御部２２ａは、変数ｉが１か否かを判別する。変数ｉが１であると判別された場合（ステップＳ１０３；Ｙｅｓ）、ステップＳ１０４に進む。変数ｉが１ではないと判別された場合（ステップＳ１０３；Ｎｏ）、ステップＳ１０６に進む。

（ステップＳ１０４）変数ｉが１であると判別された場合（ステップＳ１０３；Ｙｅｓ）、制御部２２ａは、記憶部２３ａから読み出したゲイン値のうちゲインＣを撮像装置１０ａに出力する。ステップＳ１０４終了後、ステップＳ１０５に進む。
（ステップＳ１０５）制御部２２ａは、記憶部２３ａから読み出した露光時間のうち露光時間Ａを撮像装置１０ａに出力する。ステップＳ１０５終了後、ステップＳ１０８に進む。

（ステップＳ１０６）変数ｉが１ではないと判別された場合（ステップＳ１０３；Ｎｏ）、制御部２２ａは、記憶部２３ａから読み出したゲイン値のうちゲインＤを撮像装置１０ａに出力する。ステップＳ１０６終了後、ステップＳ１０７に進む。
（ステップＳ１０７）制御部２２ａは、記憶部２３ａから読み出した露光時間のうち露光時間Ｂを撮像装置１０ａに出力する。ステップＳ１０７終了後、ステップＳ１０８に進む。

（ステップＳ１０８）撮像装置１０ａのゲイン切換部１２は、検知装置２０ａが出力するゲインＣまたはＤを示す情報を取得し、取得したゲイン値を示す情報を撮像部１３ａに出力する。
次に、露光時間切換部１１は、検知装置２０ａが出力する露光時間ＡまたはＢを示す情報を取得し、取得した露光時間を示す情報を撮像部１３ａに出力する。
次に、撮像部１３ａは、露光時間切換部１１が出力する露光時間を示す情報と、ゲイン切換部１２が出力するゲイン値を示す情報とに基づき、撮像を行う。撮像部１３ａは、撮像した画像データを検知装置２０ａに出力する。ステップＳ１０８終了後、ステップＳ１０９に進む。

（ステップＳ１０９）検知装置２０ａの画像取得部２４ａは、タイミング信号生成部２１が出力するタイミング信号のタイミングに応じて、画像装置１０ａが出力する画像データを取得し、取得した画像データを画像処理部２５ａに出力する。ステップＳ１０９終了後、ステップＳ１１０に進む。
（ステップＳ１１０）制御部２２ａは、変数ｉが１か否かを判別する。変数ｉが１であると判別された場合（ステップＳ１１０；Ｙｅｓ）、ステップＳ１１１に進む。変数ｉが１ではないと判別された場合（ステップＳ１１０；Ｎｏ）、ステップＳ１１７に進む。

（ステップＳ１１１）変数ｉが１であると判別された場合（ステップＳ１１０；Ｙｅｓ）、画像処理部２５ａは、走行路区分線・物体検知のための画像処理を行う。画像処理部２５ａは、対象物の候補領域を示す情報を検知部２６に出力する。ステップＳ１１１終了後、ステップＳ１１２に進む。
（ステップＳ１１２）領域抽出部２７は、画像取得部２４ａが出力する画像データと、画像処理部２５ａが出力する対象物の候補領域を示す情報とに基づき、取得した画像データから対象物の候補領域の画像データを抽出する。取得した画像データから抽出される領域は、図３の領域３１０〜３５５のように走行路区分線、街灯の形状等を示す領域である。領域抽出部２７は、抽出した画像領域の画像データを絶対輝度算出部２８に出力する。ステップＳ１１２終了後、ステップＳ１１３に進む。

（ステップＳ１１３）絶対輝度算出部２８は、領域抽出部２７が出力する画像領域の画像データにおける絶対輝度を算出し、算出した絶対輝度を示す情報をゲイン・露光時間補正部２９に出力する。ステップＳ１１３終了後、ステップＳ１１４に進む。
（ステップＳ１１４）ゲイン・露光時間補正部２９は、絶対輝度算出部２８が出力する絶対輝度を示す情報に基づき、走行路区分線や物体などの対象物の検出を行うために撮像に使用するゲイン値を補正する。ゲイン・露光時間補正部２９は、ステップＳ１０４で設定したゲインＣを補正し、補正したゲインＣ’を記憶部２３ａに記憶させる。ステップＳ１１４終了後、ステップＳ１１５に進む。
（ステップＳ１１５）ゲイン・露光時間補正部２９は、絶対輝度算出部２８が出力する絶対輝度を示す情報に基づき、走行路区分線や物体など対象物の検出行うために撮像に使用する露光時間を補正する。ゲイン・露光時間補正部２９は、ステップＳ１０５で設定した露光時間Ａを補正し、補正した露光時間Ａ’を記憶部２３ａに記憶させる。ステップＳ１１５終了後、ステップＳ１１６に進む。
（ステップＳ１１６）制御部２２ａは、変数ｉを「２」とする。ステップＳ１１６終了後、ステップＳ１２３に進む。

（ステップＳ１１７）変数ｉが１ではないと判別された場合（ステップＳ１１０；Ｎｏ）、画像処理部２５ａは、ヘッドライト検知のための画像処理を行う。画像処理部２５ａは、対象物の候補領域を示す情報を検知部２６に出力する。ステップＳ１１７終了後、ステップＳ１１８に進む。
（ステップＳ１１８）領域抽出部２７は、画像取得部２４ａが出力する画像データと、画像処理部２５ａが出力する対象物の候補領域を示す情報とに基づき、取得した画像データから候補領域の画像データを抽出する。取得した画像データから抽出される領域は、図４の領域４７０〜４８５のようにヘッドライトの形状を示す領域である。領域抽出部２７は、抽出した画像領域の画像データを絶対輝度算出部２８に出力する。ステップＳ１１８終了後、ステップＳ１１９に進む。

（ステップＳ１１９）絶対輝度算出部２８は、領域抽出部２７が出力する画像領域の画像データにおける絶対輝度を算出し、算出した絶対輝度を示す情報をゲイン・露光時間補正部２９に出力する。ステップＳ１１９終了後、ステップＳ１２０に進む。
（ステップＳ１２０）ゲイン・露光時間補正部２９は、絶対輝度算出部２８が出力する絶対輝度を示す情報に基づき、ヘッドライトなど対象物の検出行うために撮像に使用するゲイン値を補正する。ゲイン・露光時間補正部２９は、ステップＳ１０６で設定したゲインＤを補正し、補正したゲインＤ’を記憶部２３ａに記憶させる。ステップＳ１２０終了後、ステップＳ１２１に進む。
（ステップＳ１２１）ゲイン・露光時間補正部２９は、絶対輝度算出部２８が出力する絶対輝度を示す情報に基づき、ヘッドライトなど対象物の検出行うために撮像に使用する露光時間を補正する。ゲイン・露光時間補正部２９は、ステップＳ１０７で設定した露光時間Ｂを補正し、補正した露光時間Ｂ’を記憶部２３ａに記憶させる。ステップＳ１２１終了後、ステップＳ１２２に進む。
（ステップＳ１２２）制御部２２ａは、変数ｉを「１」とする。ステップＳ１２２終了後、ステップＳ１２３に進む。

（ステップＳ１２３）検知部２６は、画像処理部２５ａが出力する対象物の候補領域を示す情報に基づき、発光する対象物、及び反射する対象物を検知する。検知部２６は、検知した結果を、図示しないダッシュボードに取り付けられている表示部や、図示しない車両の走行制御部等に出力する。
撮像装置１０ａと検知装置２０ａは、タイミング信号生成部２１が出力するタイミング信号のタイミングに応じて、フレーム毎に、ステップＳ１０２〜Ｓ１２３を繰り返す。

以降、撮像装置１０ａと検知装置２０ａは、フレーム毎に２つの露光時間と２つのゲインとを交互に切り替えて撮像し、撮像された画像データにおいて検知したい対象物の含まれる領域を抽出する。そして、抽出した領域の絶対輝度に基づき、設定した露光時間とゲインを補正するようにした。この結果、適切な露光時間とゲインで撮像された画像データから検出したい対象物を検知するので、日中、夜間、雨天であっても、精度良く対象物の検知を行うことができる。

なお、本実施形態では、ステップＳ１１４、Ｓ１１５、Ｓ１２０、及びＳ１２１において、ゲインと露光時間をセットで補正する例を説明したが、ステップＳ１１３またはＳ１１９で算出した絶対輝度に応じて、ゲインのみ、または、露光時間のみを補正するようにしてもよい。
この場合、検知装置２０ａは、例えば、図８において時刻ｔ１〜ｔ２で撮像された第１フレームの画像データに基づき、露光時間Ａのみを補正し、時刻ｔ３〜ｔ４で撮像された第３フレームの画像データに基づき、ステップＳ１１３で再度、絶対輝度を算出する。ステップＳ１１３で算出された絶対輝度に基づき、検知装置２０ａのゲイン・露光時間補正部２９は、露光時間Ａの補正のみで、検出したい対象物の絶対輝度が適正であるか否かを判別する。露光時間が適正であると判別された場合、ゲイン・露光時間補正部２９は、補正された露光時間Ａ’のみ記憶部２３ａに記憶させる。一方、絶対輝度が適正でないと判別された場合、ゲイン・露光時間補正部２９は、算出された絶対輝度に基づきゲインＣも補正する。

あるいは、検知装置２０ａは、例えば、図８において時刻ｔ１〜ｔ２で撮像された第１フレームの画像データに基づき、ゲインＣのみを補正し、時刻ｔ３〜ｔ４で撮像された第３フレームの画像データに基づき、ステップＳ１１３で再度、絶対輝度を算出する。ステップＳ１１３で算出された絶対輝度に基づき、検知装置２０ａのゲイン・露光時間補正部２９は、ゲインＣの補正のみで、検出したい対象物の輝度が適正であるか否かを判別する。露光時間Ａ且つゲインＣが適正であると判別された場合、ゲイン・露光時間補正部２９は、補正されたゲインＣ’のみ記憶部２３ａに記憶させる。一方、輝度が適正でないと判別された場合、ゲイン・露光時間補正部２９は、算出された絶対輝度に基づき露光時間Ａも補正する。このように、ゲインを補正し、ゲインの補正のみでは検出したい対象物に対して適正な輝度を得られない場合に露光時間を補正することの効果は、予め定められている露光時間のシャッタースピードの変化を少なくできることにある。撮像装置１０ａが撮像する場合、例えば図８において、第１フレーム、第３フレーム、第５フレーム毎に露光時間を変えた場合、撮像された画像データの対象物（バックライトや走行路区分線など）が流れる現象委が発生する場合がある。流れ現象が生じた場合、対象物の検知精度が低下する場合もある。このため、露光時間の補正を減らすことで、このような画像データ内の対象物の流れ現象を軽減する効果がある。
また、このような画像データ内の流れ現象を軽減するために、例えば、画像処理部２５ａは、検出したい対象物の領域を検出した後、検出した領域の対象物の候補に流れ現象が生じているか否かを、パターンマッチングなどの公知の画像認識の手法を用いて判別するようにしてもよい。そして、流れ現象が発生していると判別された場合、予め定められている露光時間に設定しなおし、ステップＳ１１４またはＳ１２０ゲインを補正するようにしてもよい。

なお、本実施形態では、図２及び図８に示したように、長い露光時間Ａによる撮像と、短い露光時間Ｂによる撮像を交互に行う例を説明したが、撮像装置１０または１０ａのフレームレート等に応じて、例えば、露光時間Ａで２フレーム分撮像した後に露光時間Ｂで２フレーム分撮像するようにしてもよい。また、検知したい対象に応じて、例えば、例えば、露光時間Ａで２フレーム分撮像した後に露光時間Ｂで１フレーム分撮像するようにしてもよい。また、露光時間Ａを撮像する期間Δｔ１（＝ｔ１〜ｔ２）と、露光時間Ｂで撮像する期間Δｔ２（＝ｔ２〜ｔ３）は、同じ期間でもよく、あるいは、露光時間に応じて、期間Δｔ２を期間Δｔ１より短くするようにしてもよい。

また、本実施形態では、２つの異なる露光時間ＡとＢを交互に切り替えて撮像された画像データから、対象物を検知する例を説明したが、検知したい対象に応じて露光時間は２つに限られず３つ以上であってもよい。この場合、第１露光時間、第２露光時間、第３露光時間を順次切り替えて撮像し、撮像された各画像データから対象物を検知するようにしてもよい。また、第１露光時間、第２露光時間、第３露光時間は、第１露光時間が第２露光時間と第３露光時間より長く、第２露光時間が第３露光時間より長くてもよい。あるいは、第１露光時間、第２露光時間、第３露光時間は、第１露光時間が第２露光時間と第３露光時間より長く、第３露光時間が第２露光時間より長くてもよい。同様に、ゲイン値も２つに限られず、３つ以上であってもよい。

また、本実施形態では、撮像装置１０ａのゲイン値を切り替える例を説明したが、画像処理部２５ａが行う画像処理の際に画像データの感度を制御部２２ａの制御により切り替えるようにしてもよい。

なお、実施形態の図１または図７における検知装置２０または２０ａの各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ−ＲＯＭ等の可搬媒体、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ） Ｉ／Ｆ（インタフェース）を介して接続されるＵＳＢメモリ、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、サーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

１、１ａ・・・認識装置、１０、１０ａ・・・撮像装置、１１・・・露光時間切換部、
１２・・・ゲイン切換部、１３、１３ａ・・・撮像部、２０、２０ａ・・・検知装置、
２１・・・タイミング信号生成部、２２、２２ａ・・・制御部、
２３、２３ａ・・・記憶部、２４、２４ａ・・・画像取得部、
２５、２５ａ・・・画像処理部、２６・・・検知部、２７・・・領域抽出部、
２８・・・絶対輝度算出部、２９・・・ゲイン・露光時間補正部、
Ａ、Ｂ・・・露光時間、Ｃ、Ｄ・・・ゲイン

Claims (7)

1. 撮像装置の露光時間を予め定められているタイミングで切り替える制御部と、
   異なる露光時間で撮像された画像データを取得する画像取得部と、
   前記画像取得部が取得した異なる露光時間の各画像データから各々対象物を検知する対象物検知部と、
   を備えることを特徴とする検知装置。
2. 前記制御部は、
   前記撮像装置の増幅感度を予め定められているタイミングで切り替え、
   前記画像取得部は、
   異なる露光時間且つ異なる増幅感度で撮像された画像データを取得し、
   前記対象物検知部は、
   前記画像取得部が取得した異なる露光時間且つ異なる増幅感度の各画像データから各々対象物を検知する
   ことを特徴とする請求項１に記載の検知装置。
3. 異なる露光時間で撮像された画像データから前記対象物の候補領域の画像データを抽出する領域抽出部と、
   前記領域抽出部が抽出した前記対象物の候補領域の画像データにおける絶対輝度を算出する絶対輝度算出部と、
   前記絶対輝度算出部が算出した前記対象物の候補領域の画像データにおける絶対輝度に基づき、前記露光時間と前記増幅感度の少なくとも１つを補正する補正部と、
   を備え、
   前記制御部は、
   前記撮像装置の露光時間または増幅感度を、前記補正部により補正された露光時間または増幅感度に切り替える
   ことを特徴とする請求項２に記載の検知装置。
4. 前記異なる２つの露光時間は、
   第１の露光時間と、前記第１の露光時間より短い第２の露光時間とである
   ことを特徴とする請求項１から請求項３のいずれか１項に記載の検知装置。
5. 前記第１の露光時間は、
   少なくとも発光する対象物の検知に用いられる露光時間であり、
   前記第２の露光時間は、
   少なくとも反射する対象物の検知に用いられる露光時間である
   ことを特徴とする請求項４に記載の検知装置。
6. 前記発光する対象物は、
   少なくともヘッドライトであり、
   前記発光しない対象物は、
   少なくとも前記車両の走行路面上の走行路区分線、車両、及び人のいずれか１つを含む物体である
   ことを特徴とする請求項５に記載の検知装置。
7. 検知装置における検知方法であって、
   制御部が、撮像装置の露光時間を予め定められているタイミングで切り替える制御工程と、
   画像取得部が、異なる露光時間で撮像された画像データを取得する画像取得工程と、
   対象物検知部が、前記画像取得工程で取得した異なる露光時間の各画像データから各々対象物を検知する対象物検知部と、
   を含むことを特徴とする検知方法。

Images