以下、本発明に係る画像処理システム、画像処理システムを備えた車両、画像処理方法及びプログラムの実施形態について図面を用いて説明する。なお、各図面上の各構成の寸法比は、実際の寸法比と必ずしも一致していない。
図1は、本発明に係る画像処理システム110を備える車載機器制御システムの概略構
成を示す模式図である。本車載機器制御システムは、自動車などの車両100に搭載された撮像ユニット101で撮像した、車両100の進行方向前方領域の撮像画像データを利用して、ヘッドランプ104の配光制御、フロントガラス(透明部材)105に付着した異物を除去するためのワイパー107の駆動制御、その他の車載機器の制御を行うものである。
図1に示した車載機器制御システムは、撮像ユニット101と、画像解析ユニット(画像解析手段)102と、ヘッドランプ制御ユニット103と、ワイパー制御ユニット106と、車両走行制御ユニット108と、を主に備える。
本実施形態の画像処理システム110は、撮像ユニット101及び画像解析ユニット102を含む。画像解析ユニット102は、撮像ユニット101を制御する機能を有するとともに、撮像ユニット101から送信されてくる撮像画像データを解析する機能を有する。
画像解析ユニット102は、撮像ユニット101から送信されてくる撮像画像データを解析し、フロントガラス105に付着する雨滴などの異物を検出したり、撮像画像データに車両100の前方に存在する他車両の位置、方角、距離を算出したり、撮像範囲内に存在する路面上の白線(区画線)等の検出対象物を検出したりする。なお、以降では、車両100の前方の他車両の位置、方角、距離、並びに、路面上の白線(区画線)等の情報を車両周辺情報とも呼ぶ。他車両の検出では、他車両のテールランプを識別することで車両100と同じ進行方向へ進行する先行車両を検出し、他車両のヘッドランプを識別することで車両100とは反対方向へ進行する対向車両を検出する。
画像解析ユニット102の算出結果は、ヘッドランプ制御ユニット103に送られる。ヘッドランプ制御ユニット103は、例えば、画像解析ユニット102が算出した距離データから、車両100の車載機器であるヘッドランプ104を制御する制御信号を生成する。具体的には、例えば、先行車両や対向車両の運転者の目に車両100のヘッドランプの強い光が入射するのを避けて他車両の運転者の幻惑防止を行いつつ、車両100の運転者の視界確保を実現できるように、ヘッドランプ104のハイビーム及びロービームの切り換えを制御したり、ヘッドランプ104の部分的な遮光制御を行ったりする。
画像解析ユニット102の算出結果は、ワイパー制御ユニット106にも送られる。ワイパー制御ユニット106は、ワイパー107を制御して、車両100のフロントガラス105に付着した雨滴などの付着物を除去する。ワイパー制御ユニット106は、画像解析ユニット102が検出した異物検出結果を受けて、ワイパー107を制御する制御信号を生成する。ワイパー制御ユニット106により生成された制御信号がワイパー107に送られると、車両100の運転者の視界を確保するべく、ワイパー107を稼動させる。
また、画像解析ユニット102の算出結果は、車両走行制御ユニット108にも送られる。車両走行制御ユニット108は、画像解析ユニット102が検出した白線検出結果に基づいて、白線によって区画されている車線領域から車両100が外れている場合等に、車両100の運転者へ警告を報知したり、自車両のハンドルやブレーキを制御するなどの走行支援制御を行ったりする。
図2は、本実施形態に係る画像処理システム110が備える撮像ユニット101の概略構成を示す模式図である。図2に示すように、撮像ユニット101は、車両100内に固定されるカバー210と、撮像装置201(撮像手段)と、車両100のフロントガラス105の内壁面(一方の面)105a側からフロントガラス105に向けて光を照射する光源202と、を有する。撮像装置201及び光源202はカバー210の内部に収容さ
れる。なお、図2は、カバー210内に1つの光源202が収容された例を図示しているが、光源の個数は1つに限定されるものではなく、複数個であってもよい。
図3は、撮像ユニット101が有する撮像装置201の概略構成を示す模式図である。撮像装置201は、主に、フロントガラス105の外壁面(他方の面)105bに付着した異物(以下、異物が雨滴である場合を例に挙げて説明する。)203によって反射された光源202(図2参照)からの光、及び、車両100の外部から(外壁面105b側から)フロントガラス105を透過した光を集光する撮像レンズ204と、撮像レンズ204によって集光された光を撮像する撮像素子206と、撮像レンズ204と撮像素子206との間に配置され、有効撮像領域の所定領域において所定の波長範囲の光のみ透過させる光学フィルタ205と、撮像素子206が搭載されるセンサ基板207と、センサ基板207から出力されるアナログ電気信号(撮像素子206上の各受光素子が受光した受光量)をデジタル電気信号に変換した撮像画像データを生成して出力する信号処理部208と、から構成されている。
なお、撮像レンズ204、光学フィルタ205、撮像素子206、センサ基板207は、フロントガラス105側からこの順に配置される。また、信号処理部208は、画像解析ユニット102と電気的に接続されている。なお、図3は、撮像素子206と信号処理部208とが独立に設けられた例を示しているが、撮像装置201の構成はこれに限定されない。例えば、撮像素子206としてその各画素にA/D変換部を備えたものを用いる場合には、そのA/D変換部が信号処理部208となる。即ち、この場合には、信号処理部208は撮像素子206に内蔵されることとなる。
また、撮像素子206は、不図示のレジスタ(センサレジスタ)を備えている。後述する画素データの読み出し規則の制御は、画像解析ユニット102がセンサレジスタのパラメータ値を変更することによって実現される。
光源202は、撮像レンズ204の画角範囲と光源202の照射領域とがフロントガラス105の内壁面105aで重なるように配置される。なお、光源202としてはアイセーフ帯の波長及び光量の光源を使用する。撮像レンズ204は、例えば、複数のレンズから構成されており、焦点位置は、無限遠、又は、無限遠とフロントガラス105の外壁面105bとの間に設定されている。
光源202は、フロントガラス105の外壁面105bに付着した雨滴を検出するためのものである。フロントガラス105の外壁面105bに雨滴203が付着している場合、光源202が発した光は、雨滴203と空気の界面で反射し、その反射光は撮像装置201に入射する。一方、フロントガラス105の外壁面105bに雨滴203が付着していない場合、光源202から照射された光は、その一部がフロントガラス105を透過して外部に漏れ、残りの光がフロントガラス105の内壁面105a、あるいは、外壁面105bと外気との界面で反射し、その反射光が撮像装置201へ入射する。
光源202としては、発光ダイオード(LED)や半導体レーザ(LD)などを用いることができる。また、光源202の発光波長は、例えば可視光領域や赤外光領域の波長であるとよい。ただし、光源202の光で対向車両の運転者や歩行者等を眩惑するのを回避する場合には、可視光よりも波長が長く、撮像素子206の受光感度がおよぶ範囲の波長、例えば750nm以上1000nm以下の赤外光領域の波長を選択するのが好ましい。以降では、光源202が赤外光領域の波長の光を照射する場合を例に挙げて説明する。
なお、光源202は、連続発光(CW発光)を行うものであってもよいし、特定のタイミングでパルス発光するものであってもよい。特に、パルス発光を行う構成は、発光のタ
イミングと画像撮影のタイミングの同期させることにより、外乱光による影響をより小さくできるため好ましい。
被写体(検出対象物)を含む撮像範囲からの光は、撮像レンズ204を通り、光学フィルタ205を透過して、撮像素子206でその光強度に応じた電気信号に変換される。ここで、被写体(検出対象物)とは、車両100の前方の風景や、フロントガラス105の外壁面105bに付着した雨滴などの異物である。信号処理部208では、撮像素子206から出力される電気信号(アナログ信号)が入力されると、その電気信号から、撮像画像データとして、撮像素子206上における各画素の明るさ(輝度情報)を含むデジタル信号を、画像の水平・垂直同期信号とともに後段のユニットへ出力する。
既に述べたように、本実施形態では、撮像レンズ204の焦点位置は、無限遠、又は、無限遠とフロントガラス105の外壁面105bとの間に設定されている。これにより、フロントガラス105上に付着した雨滴203の検出を行う場合だけでなく、先行車両や対向車両の検出や白線の検出を行う場合にも、撮像装置201の撮像画像データから適切な情報を取得することができる。
例えば、フロントガラス105上に付着した雨滴203の検出を行う場合、撮像画像データ上の雨滴画像の形状は円形状であることが多いので、撮像画像データ上の雨滴候補画像が円形状であるかどうかを判断してその雨滴候補画像が雨滴画像であると識別する形状認識処理を行う。このような形状認識処理を行う場合、フロントガラス105の外壁面105b上の雨滴203に撮像レンズ204の焦点が合っているよりも、上述したように無限遠、又は、無限遠とフロントガラス105との間に焦点が合っている方が、多少のピンボケが発生することにより雨滴の形状認識率(円形状)が高くなり、雨滴検出性能が高くなる。
図4は、雨滴検出用の撮像画像データである赤外光画像データを示す説明図である。図4(a)はフロントガラス105の外壁面105b上の雨滴203に撮像レンズ204の焦点が合っている場合、図4(b)は無限遠に焦点が合っている場合における赤外光画像データをそれぞれ示している。
フロントガラス105の外壁面105b上の雨滴203に撮像レンズ204の焦点が合っている場合、図4(a)に示すように、雨滴に映り込んだ背景画像203aまでが撮像される。このような背景画像203aは雨滴203の誤検出の原因となる。また、図4(a)に示すように雨滴の一部203bだけ弓状等に輝度が大きくなる場合があり、その大輝度部分の形状、即ち雨滴画像の形状は太陽光の方向や街灯の位置などによって変化する。このような種々変化する雨滴画像の形状を形状認識処理で対応するためには処理負荷が大きくなり、また認識精度の低下を招く。
これに対し、無限遠に焦点が合っている場合には、図4(b)に示すように、多少のピンボケが発生する。そのため、背景画像203aの映り込みが撮像画像データに反映されず、雨滴203の誤検出が軽減される。また、多少のピンボケが発生することで、太陽光の方向や街灯の位置などによって雨滴画像の形状が変化する度合いが小さくなり、雨滴画像の形状は常に略円形状となる。よって、雨滴203の形状認識処理の負荷が小さく、また認識精度も高くなる。
ただし、無限遠に焦点が合っている場合、遠方を走行する先行車両のテールランプを識別する際に、撮像素子206上のテールランプの光を受光する受光素子が1個程度になることがある。この場合、テールランプの光がテールランプ色(赤色)を受光する赤色用受光素子に受光されない恐れがあり、その際にはテールランプを認識できず、先行車両の検
出ができない。このような不具合を回避しようとする場合には、撮像レンズ204の焦点を無限遠よりも手前に合わせることが好ましい。これにより、遠方を走行する先行車両のテールランプがピンボケするので、テールランプの光を受光する受光素子の数を増やすことができ、テールランプの認識精度が上がり先行車両の検出精度が向上する。
ここで、フロントガラス105で反射した光源202からの赤外波長光を撮像装置201で撮像する際、撮像装置201の撮像素子206では、光源202からの赤外波長光のほか、例えば太陽光などの赤外波長光を含む大光量の外乱光も受光される。よって、光源202からの赤外波長光をこのような大光量の外乱光と区別するためには、光源202の発光量を外乱光よりも十分に大きくする必要があるが、このような大発光量の光源202を用いることは困難である場合が多い。
そこで、本実施形態においては、例えば、光源202の発光波長よりも短い波長の光をカットするようなカットフィルタか、もしくは、透過率のピークが光源202の発光波長とほぼ一致したバンドパスフィルタを介して、光源202からの光を撮像素子206で受光するように構成する。これにより、光源202の発光波長以外の光を除去して受光できるので、撮像素子206で受光される光源202からの光量は、外乱光に対して相対的に大きくなる。その結果、大発光量の光源を用いなくても、光源からの光を外乱交と区別することが可能となる。
ただし、本実施形態においては、撮像画像データから、フロントガラス105上の雨滴203などの異物を検出するだけでなく、先行車両や対向車両の検出や白線の検出も行う。そのため、撮像画像全体について光源202が照射する赤外波長光以外の波長帯を除去してしまうと、先行車両や対向車両の検出や白線の検出に必要な波長帯の光を撮像素子206で受光できず、これらの検出に支障をきたす。そこで、本実施形態では、撮像画像データの画像領域を、フロントガラス105上の雨滴203を検出するための雨滴検出画像領域(第1の画像領域)と、先行車両や対向車両の検出や白線の検出を行うための車両周辺情報検出画像領域(第2の画像領域)と、に分割し、雨滴検出画像領域に対応する部分についてのみ光源202が照射する赤外波長光以外の波長帯を除去する構成としている。
図5は、光学フィルタ205、撮像素子206、及び、センサ基板207の光透過方向に沿った断面模式図である。
光学フィルタ205は、図5に示したように、使用帯域(本実施形態では可視光領域と赤外光領域)の光に対して透明な基板220と、基板220上の撮像レンズ204側の有効撮像領域の全面に形成され、波長λ1〜λ2、λ3〜λ4(λ1<λ2<λ3<λ4)の範囲の波長成分の光のみ透過させる分光フィルタ層(第1の分光フィルタ層)221と、基板220の撮像素子206側の面に形成される偏光フィルタ層223と、偏光フィルタ層223上に充填される充填材224と、基板220上の撮像素子206側の有効撮像領域の一部に、上記偏光フィルタ層223及び充填材224を介して形成され、波長λ3〜λ4の範囲の波長成分の光のみ透過させる分光フィルタ層(第2の分光フィルタ層)222と、を有し、分光フィルタ層222の撮像素子206側の面が撮像素子206に密着接合されてなる。
即ち、光学フィルタ205は、分光フィルタ層221と分光フィルタ層222とが光透過方向に重ね合わせられた構造となっている。
図6は、分光フィルタ層221及び分光フィルタ層222を有する光学フィルタ205の有効撮像領域の領域分割を説明するための正面模式図である。図6に示すように、有効撮像領域は、上記の車両周辺情報検出画像領域に対応する可視光透過領域211と、上記
の雨滴検出画像領域に対応する赤外光透過領域212とに、領域分割されている。
例えば、可視光透過領域211は有効撮像領域の中央部1/2の領域であり、一方、赤外光透過領域212は有効撮像領域の上部及び下部の領域であるとよい。あるいは、赤外光透過領域212は、有効撮像領域の上部、下部、または側部に設けられてもよいが、図6に示したように有効撮像領域の上部及び下部に設けられることが特に好ましい。以下、その理由について説明する。図7は、撮像画像データを例示する図である。
対向車両のヘッドランプ(不図示)及び先行車両のテールランプ並びに白線の画像は、主に撮像画像の中央部に存在することが多く、撮像画像の下部には自車両前方の直近路面の画像が存在するのが通常である。よって、対向車両のヘッドランプ(不図示)及び先行車両のテールランプ並びに白線の識別に必要な情報は撮像画像の中央部に集中しており、その識別において撮像画像の下部の情報はあまり重要ではない。一方、撮像画像の上部には空が写るのが通常であるから、撮像画像の上部の情報もあまり重要ではない。
よって、単一の撮像画像データから、対向車両や先行車両あるいは白線の検出と雨滴203の検出とを両立して行う場合には、図7に示すように、撮像画像の中央部を車両周辺情報検出画像領域213とし、撮像画像の上部及び下部をそれぞれ雨滴検出画像領域214とすることが好適である。即ち、図6に示したように、有効撮像領域の上部及び下部を雨滴検出用の赤外光透過領域212とし、残りの有効撮像領域の中央部を車両周辺情報検出用の可視光透過領域211とし、これに対応して分光フィルタ層222を領域分割するのが好適である。
なお、有効撮像領域のうち、充填材224上の分光フィルタ層222が形成されていない領域に、光源202が照射する赤外波長光をカットするフィルタが形成されていてもよい。
撮像素子206は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などを用いたイメージセンサであり、その受光素子にはフォトダイオード206Aを用いている。フォトダイオード206Aは、画素ごとに2次元的にアレイ配置されており、フォトダイオード206Aの集光効率を上げるために、各フォトダイオード206Aの入射側には、フォトダイオード206Aの各画素に対応してマイクロレンズ206Bが設けられている。この撮像素子206がワイヤボンディングなどの手法によりPWB(Printed Wiring Board)に接合されてセンサ基板207が形成されている。
図8は、分光フィルタ層221及び分光フィルタ層222の分光特性を示すグラフである。分光フィルタ層221は、図8(a)に示すように波長範囲400nm〜670nm(ここでは、λ1=400nm、λ2=670nm)のいわゆる可視光領域の光と、波長範囲940nm〜970nm(ここでは、λ3=940nm、λ4=970nm)の赤外光領域の光を透過させる。可視光領域の光は車両周辺情報検出用に用いられ、赤外光領域の光は雨滴検出用に用いられる。
ただし、本実施形態の撮像素子206を構成する各フォトダイオード206Aは、赤外波長帯の光に対しても感度を有するので、赤外波長帯を含んだ光を撮像素子206で受光すると、得られる撮像画像は全体的に赤みを帯びたものとなってしまう。その結果、テールランプに対応する赤色の画像部分を識別することが困難となる場合がある。そこで、本実施形態では、分光フィルタ層221が、波長範囲670nm〜940nmの赤外光を透過させないようになっている(透過率5%以下が望ましい)。これにより、テールランプの識別に用いる撮像画像データ部分から赤外波長帯が除外されるので、テールランプの識
別精度が向上する。
また、分光フィルタ層222は、図8(b)に示すように波長範囲940nm〜970nmの赤外光領域を透過帯としている。従って、光学フィルタ205は、分光フィルタ層222と上述の分光フィルタ層221との組合せにより、波長範囲940nm(=λ3)〜970nm(=λ4)の範囲の光のみを透過させることとなる。なお、この波長範囲λ3〜λ4における透過率のピークと光源202の発光波長が略同等であること(あるいは、発光波長が波長範囲λ3〜λ4に含まれること)が望ましい。
なお、分光フィルタ層221は、図8(a)に示す分光特性に代えて、図9(a)に示す分光特性を有するものであってもよい。また、分光フィルタ層222は、図8(b)に示す分光特性(透過率のピークが光源202の発光波長と略一致したバンドパスフィルタを含む特性)に代えて、図9(b)に示す分光特性を有するものであってもよい。つまり、分光フィルタ層222の分光特性は、光源202の発光波長よりも短波長側の光をカットする特性であってもよい。
ところで、撮像装置201の撮像方向を下方へ傾けていくと、撮像範囲内の下部に自車両のボンネットが入り込んでくる場合がある。この場合、自車両のボンネットで反射した太陽光や先行車両のテールランプなどが外乱光となり、これが撮像画像データに含まれることで対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の誤識別の原因となる。このような場合でも、本実施形態では、有効撮像領域全体に波長範囲670nm〜940nmの光を遮断する分光フィルタ層221が形成されているので、ボンネットで反射した太陽光や先行車両のテールランプなどの外乱光が除去される。よって、対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の識別精度が向上する。
なお、分光フィルタ層221及び分光フィルタ層222を光学フィルタ205の基板220の両面に形成することにより、光学フィルタ205の反りを抑制することが可能となる。例えば、基板220の片側の面にだけ分光フィルタ層を形成した場合には、基板220に応力がかかり、反りが生じる。しかしながら、図5に示したように、基板220の両面に分光フィルタ層を形成した場合には、応力の効果が相殺されるため、反りを抑制することができる。
また、図5及び図6に示したように、分光フィルタ層222を有効撮像領域の上部と下部に設けたパターンが望ましい。有効撮像領域の上部あるいは下部のいずれか一方にのみ雨滴検出用の赤外光透過領域212を設けた場合、光学フィルタ205と撮像素子206を平行に接着することが難しくなる。光学フィルタ205と撮像素子206とが傾いて接着されてしまうと有効撮像領域の上部と下部で光路長が変わってしまい、車両周辺情報、例えば白線検知を行う場合には白線座標の読み誤りなど認識精度の劣化原因となる。
なお、雨滴検出用の画素と車両周辺情報検出用の画素を市松状のパターンやストライプ状のパターンを有効撮像領域全体に形成したものであっても、光学フィルタ205と撮像素子206を平行に接着することが可能である。この場合、赤外光透過領域212を大きく取ることができるため、雨滴の検出精度をさらに上げることが可能である。
なお、偏光フィルタ層223は、光源202から照射された後、フロントガラス105の内壁面105aで反射された外乱光をカットするために形成される。一般に、このような外乱光の偏光成分は大部分がS偏光成分であることが知られている。即ち、偏光フィルタ層223の偏光軸は、フロントガラス105の内壁面105aの法線に対して直交する偏光方向成分(S偏光成分)の光を遮光するように形成されている。言い換えれば、偏光フィルタ層223は、光源202のフロントガラス105へ向かって出射する光の光軸2
2と、撮像レンズ204の光軸23との2つの光軸で形成される面に対して平行な偏光成分(P偏光成分)のみを透過させるように設計される。このように設計された偏光フィルタ層223はダッシュボードなどで反射した映りこみ光も遮断することができる。
なお、既に述べたように、撮像素子206のマイクロレンズ206B側の面には、光学フィルタ205が近接配置されている。光学フィルタ205と撮像素子206との間に空隙がある構成としてもよいが、光学フィルタ205を撮像素子206に密着させる構成とした方が、光学フィルタ205の可視光透過領域211と赤外光透過領域212の境界と、撮像素子206上のフォトダイオード206A間の境界とを一致させやすくなる。これにより、赤外光透過領域212と可視光透過領域211の境界が明確になり、雨滴の検出精度を上げることができる。
光学フィルタ205と撮像素子206は、例えば、UV接着剤で接合してもよいし、撮像に用いる有効画素範囲外でスペーサにより支持した状態で有効画素範囲外の四辺領域をUV接着や熱圧着してもよい。
また、本実施形態のように、光源が複数の場合には、複数の光源を同時に発光させてもよいし、順次発光させてもよい。順次発光させた場合は、その発光のタイミングと画像撮影のタイミングを同期させれば、外乱光による影響をより小さくできる。
ところで、図7には車両周辺情報と雨滴を同時に撮影した画像を示したが、車両周辺情報と雨滴は別々に撮影されてもよい。例えば、撮像装置201は、赤外光透過領域212において、フロントガラス105の外壁面105bに付着した雨滴などの異物を撮影するための第1の露光量(露光時間)で画像を撮影するとともに、可視光透過領域211において、フロントガラス105の外壁面105bの位置より遠方の画像を撮影するための第2の露光量(露光時間)で画像を撮影するものであってもよい。
可視光透過領域211と赤外光透過領域212とでは、撮影に必要な光量が異なるが、露光時間の異なる2枚の画像を撮影する上記の構成であれば、それぞれの画像について最適な露光で画像を撮影することが可能となる。
具体的には、遠方の画像を撮影する場合は、画像解析ユニット102が、分光フィルタ層221のみが形成された有効撮像領域(可視光透過領域211)を透過する光の光量を検出しながら自動露光調整を行い、雨滴の画像を撮影する場合は、分光フィルタ層221及び分光フィルタ層222が形成された有効撮像領域(赤外光透過領域212)を透過する光の光量を検出しながら自動露光調整すればよい。
なお、分光フィルタ層221のみが形成された有効撮像領域は光量変化が大きい。具体的には、車両周辺の照度は昼間の数万ルクスから夜間の1ルクス以下まで変化するため、その撮影シーンに応じて露光時間を調整する必要がある。これに対しては、公知の自動露光制御を行えばよい。なお、本実施形態で説明してきた撮像装置201においては、被写体は路面周辺にあるため、路面領域の画像をもとに露光制御を行うのが望ましい。
一方、分光フィルタ層221及び分光フィルタ層222が形成された有効撮像領域については、雨滴などの異物からの反射光のみを取り込むように設計されているため、周辺環境による光量の変化は小さく、固定露光時間で撮影することも可能である。
既に述べたように、車両周辺情報検出画像領域は、画像解析ユニット102で、例えば、白線検出や車両検出等の認識処理に用いられる。これらの認識処理は、入力される画像フレーム間の情報も用いるため、決められた時間間隔、または規則で撮影したフレームが
画像解析ユニット102に入力される必要がある。
また、雨滴検出の結果は、例えば、車線逸脱や前方車間距離の検出などと比較して、短時間で状況が変わることはなく、また安全性としても優先度は低い。このため、雨滴検出用のフレーム(以下、雨滴検出画像領域用フレームと記す)は、車両周辺情報検出用のフレーム(以下、車両周辺情報検出画像領域用フレームと記す)に一定間隔で挿入されることが望ましい。
図10は、本実施形態の画像処理方法の手順を示すフローチャートである。まず、撮像装置201は、車両周辺情報検出画像領域用フレーム(第2画像領域用フレーム)を撮像するための第2の露光量での撮像をn回連続して実行する(ステップS120)。次に、画像解析ユニット102は、撮像装置201で撮像された車両周辺情報検出画像領域用フレームの画素データの読み出しを行う(ステップS121)。
ここで、画素データの読み出しは、車両周辺情報検出画像領域用フレームの全域(即ち、有効撮像領域の全域)に亘って行われるのではなく、車両周辺情報検出画像領域のみに対して行われることが望ましい。これにより、センシング用途に不必要な雨滴検出画像領域の画素データを読み出す必要がなくなり、車両周辺情報検出画像領域用フレームの読み出し時間を短縮することができる(読み出しにかかるクロック数を削減することができる)。そのため、車両周辺情報検出画像領域用フレームのフレームレートを上げることができる。
そして、画像解析ユニット102は、ステップS121で読み出した車両周辺情報検出画像領域用フレームの解析を行って(ステップS122)、ヘッドランプ制御ユニット103、車両走行制御ユニット108等に各種制御を行わせるための指示信号を送出する(ステップS123)。
次に、撮像装置201は、雨滴検出画像領域用フレーム(第1画像領域用フレーム)を撮像するための第1の露光量での撮像をm回連続して実行する(ステップS124)。次に、画像解析ユニット102は、撮像装置201で撮像された雨滴検出画像領域用フレームの画素データの読み出しを行う(ステップS125)。
ここで、画素データの読み出しは、雨滴検出画像領域用フレームの全域(即ち、有効撮像領域の全域)に亘って行われるのではなく、雨滴検出画像領域のみに対して行われることが望ましい。これにより、雨滴検出の用途に不必要な車両周辺情報検出画像領域の画素データを読み出す必要がなくなり、雨滴検出画像領域用フレームの読み出し時間を短縮することができる。そのため、車両周辺情報検出画像領域用フレームのフレームレートを上げることができる。
そして、画像解析ユニット102は、ステップS125で読み出した雨滴検出画像領域用フレームの解析を行って(ステップS126)、ワイパー制御ユニット106等に各種制御を行わせるための指示信号を送出する(ステップS127)。
そして、所定の終了指示(車両100の運転者による終了指示など)があるまで、ステップS120〜S127の処理を繰り返し実行する(ステップS128)。
上記の処理において、第1の露光量での連続撮像回数mは、第2の露光量での連続撮像回数nよりも小さい回数とする。即ち、雨滴検出画像領域用フレームの数は、車両周辺情報検出画像領域用フレームの数よりも少ないものとする。例えば、n=30、m=1の場合には、車両周辺情報検出画像領域用フレーム×30→雨滴検出画像領域用フレーム×1
→車両周辺情報検出画像領域用フレーム×30→雨滴検出画像領域用フレーム×1→車両周辺情報検出画像領域用フレーム×30→・・・のような規則で撮像するフレームの切り換えが行われるとよい。
あるいは、n及びmの初期値をそれぞれn=120、m=1とし、ステップS126で雨滴が検出された場合には、n=30、m=1として、雨滴検出画像領域用フレームの撮像の頻度を上げる構成であってもよい。
以上説明したように、図10のフローチャートに示した画像処理方法においては、雨滴検出画像領域用フレームの画素データの読み出し規則が、車両周辺情報検出画像領域用フレームの読み出し規則と異なっている。具体的には、車両周辺情報検出画像領域用フレームについては、車両周辺情報検出画像領域のみに対して画素データの読み出しが行われるという規則が適用され、雨滴検出画像領域用フレームについては、雨滴検出画像領域のみに対して画素データの読み出しが行われるという規則が適用される。
次に、ステップS125における雨滴検出画像領域用フレームの画素データの読み出しについて詳細に説明する。図11は、雨滴検出画像領域用フレームの雨滴検出画像領域に対応する赤外光透過領域212に配置されるフォトダイオード206Aについて、その画素の配置を例示する説明図である。なお、図11ではフォトダイオード206Aの各画素を簡略化して描いているが、実際にはフォトダイオード206Aは2次元配置された数十万個程度の画素で構成されている。
本実施形態の構成では、撮像レンズ204(図3参照)の焦点がフロントガラス105の位置にあっていないため、雨滴検出画像領域から得られる雨滴の画像はもともとピンボケしており、雨滴検出画像領域を高解像度にする必要はない。そのため、ステップS125においては、雨滴検出画像領域に対応する全画素データが読み出されるよりも、雨滴検出画像領域に対応する画素データが画素間引きされて読み出されることが望ましい。
図12に画素間引きの例を示す。例えば、図12(a)に示すように、特定の列の画素データの読み出しが一部または全部スキップされてもよい。なお、図中の白四角はスキップされた画素を示している。あるいは、特定の行の画素データの読み出しが一部または全部スキップされてもよいし(図12(b))、特定の行及び列の画素データの読み出しが一部または全部スキップされてもよい(図12(c))。あるいは、図12(d)に示すように、画素データの読み出しが市松状にスキップされてもよい。
これにより、雨滴検出画像領域に対応する全画素データが読み出される場合と比較して、雨滴検出画像領域用フレームの読み出し時間を短縮することができる。特に、雨滴検出画像領域用フレームから雨滴検出画像領域のみに対応する画素データが読み出されるとともに、上記のように画素間引きが行われることが望ましい。この場合には、車両周辺情報検出画像領域用フレームのフレームレートをさらに上げることができる。
例えば、解像度がWXGA(1280×800ドットの画素数を持つ)の撮像素子であれば、640×400ドットに間引いて読み出すことで、読み出しに必要な時間を1/4に短縮することができる。
さらに、車両周辺情報検出画像領域用フレームのフレームレートを上げるためには、雨滴検出画像領域に対応する赤外光透過領域212(図6参照)の面積が小さいことが望ましい。このため、赤外光透過領域212の面積は、車両周辺情報検出画像領域に対応する可視光透過領域211の面積よりも小さいことが望ましい。
以降では、光学フィルタ205の各部詳細について説明する。基板220は、使用帯域(本実施形態では可視光領域と赤外光領域)の光を透過可能な透明な材料、例えば、ガラス、サファイア、水晶などで構成されている。本実施形態では、ガラス、特に、安価でかつ耐久性もある石英ガラス(屈折率1.46)やテンパックスガラス(屈折率1.51)を好適に用いることができる。
基板220上に形成される偏光フィルタ層223は、図13に示すようなワイヤグリッド構造で形成された偏光子で構成される。ワイヤグリッド構造は、アルミニウムなどの金属で構成された特定方向に延びる金属ワイヤ(導電体線)を特定のピッチで配列した構造である。ワイヤグリッド構造のワイヤピッチを、入射光の波長帯(例えば、400nm〜800nm)に比べて十分に小さいピッチ(例えば1/2以下)とすることで、金属ワイヤの長手方向に対して平行に振動する電場ベクトル成分の光をほとんど反射し、金属ワイヤの長手方向に対して直交する方向に振動する電場ベクトル成分の光をほとんど透過させるため、単一偏光を作り出す偏光子として使用できる。
ワイヤグリッド構造の偏光子は、一般に、金属ワイヤの断面積が増加すると、消光比が増加し、更に周期幅に対する所定の幅以上の金属ワイヤでは透過率が減少する。また、金属ワイヤの長手方向に直交する断面形状がテーパ形状であると、広い帯域において透過率、偏光度の波長分散性が少なく、高消光比特性を示す。
図14は、光学フィルタ205の偏光フィルタ層223におけるワイヤグリッド構造の金属ワイヤの長手方向を示す説明図である。フロントガラス105は一般に湾曲しているため、ダッシュボードからの映りこみ光などの偏光方向が、有効撮像領域の各場所で変化するため、偏光フィルタ層223はその変化に応じた偏光軸を有することが望ましい。
具体的には、図14に示すように、フロントガラス105の湾曲に応じた偏光軸を実現するために、ワイヤグリッド構造の長手方向(溝方向)を偏光フィルタ層223の各場所で変化させればよい。
本実施形態では、偏光フィルタ層223をワイヤグリッド構造で形成していることにより、以下のような効果を有する。
ワイヤグリッド構造は、広く知られた半導体製造プロセスを利用して形成することができる。具体的には、基板220上にアルミニウム薄膜を蒸着した後、パターニングを行い、メタルエッチングなどの手法によってワイヤグリッドのサブ波長凹凸構造を形成すればよい。このような製造プロセスにより、撮像素子206の撮像画素サイズ相当(数μmレベル)で金属ワイヤの長手方向、即ち偏光方向(偏光軸)を調整することが可能となる。よって、本実施形態のように、撮像画素単位で金属ワイヤの長手方向、即ち偏光方向(偏光軸)を異ならせた偏光フィルタ層223を作成することができる。
また、ワイヤグリッド構造は、アルミニウムなどの金属材料によって作製されるため、耐熱性に優れ、高温になりやすい車両室内などの高温環境下においても好適に使用できるという利点もある。
偏光フィルタ層223の積層方向上面を平坦化するために用いられる充填材224は、偏光フィルタ層223の金属ワイヤ間の凹部に充填される。この充填材224としては、基板220よりも屈折率が低いか又は同等の屈折率を有する無機材料を好適に利用できる。なお、本実施形態における充填材224は、偏光フィルタ層223の金属ワイヤ部分の積層方向上面も覆うように形成される。
充填材224の具体的な材料としては、偏光フィルタ層223の偏光特性を劣化させないように、その屈折率が空気の屈折率(屈折率=1)に極力近い低屈折率材料であることが好ましい。例えば、セラミックス中に微細な空孔を分散させて形成してなる多孔質のセラミックス材料が好ましく、具体的には、ポーラスシリカ(SiO2)、ポーラスフッ化
マグネシウム(MgF)、ポーラスアルミナ(Al2O3)などが挙げられる。また、これらの低屈折率の程度は、セラミックス中の空孔の数や大きさ(ポーラス度)によって決まる。基板220の主成分がシリカの水晶やガラスからなる場合には、ポーラスシリカ(n=1.22〜1.26)が好適に使用できる。
充填材224の形成方法としては、無機系塗布膜(SOG:Spin On Glass)法を好適
に用いることができる。具体的には、シラノール(Si(OH)4)をアルコールに溶か
した溶剤を、基板220上に形成された偏光フィルタ層223上にスピン塗布し、その後に熱処理によって溶媒成分を揮発させ、シラノール自体を脱水重合反応させるような経緯で形成される。
偏光フィルタ層223はサブ波長サイズのワイヤグリッド構造であり、機械的強度が弱く、わずかな外力によって金属ワイヤが損傷してしまう。本実施形態の光学フィルタ205は、撮像素子206に密着配置することが望まれるため、その製造段階において光学フィルタ205と撮像素子206とが接触する可能性がある。本実施形態では、偏光フィルタ層223の積層方向上面、即ち撮像素子206側の面が充填材224によって覆われているので、撮像素子206と接触した際にワイヤグリッド構造が損傷する事態が抑制される。
また、本実施形態のように充填材224を偏光フィルタ層223のワイヤグリッド構造における金属ワイヤ間の凹部へ充填することで、その凹部への異物進入を防止することができる。
なお、本実施形態では、充填材224の上に積層される分光フィルタ層222については充填材224のような保護層を設けていない。これは、本発明者らの実験によれば、撮像素子206に分光フィルタ層222が接触しても、撮像画像に影響を及ぼすような損傷が発生しなかったため、低コスト化を優先して保護層を省略したものである。また、偏光フィルタ層223の金属ワイヤ(凸部)の高さは一般に使用波長の半分以下と低い一方、分光フィルタ層222の高さは、高さ(厚み)を増すほど遮断波長での透過率特性を急峻にできるため、使用波長と同等から数倍程度の高さとしている。充填材224の厚みが増すほど、その上面の平坦性を確保することが困難になり、光学フィルタ205の特性に影響を与えるので、充填材224を厚くするにも限度がある。そのため、本実施形態では、分光フィルタ層222を充填材で覆っていない。即ち、本実施形態では、偏光フィルタ層223を充填材224で覆った後に分光フィルタ層222を形成しているため、充填材224の層を安定的に形成できる。また、充填材224の層の上面に形成される分光フィルタ層222もその特性を最適に形成することが可能である。
本実施形態の分光フィルタ層221及び分光フィルタ層222は、高屈折率の薄膜と低屈折率の薄膜とを交互に多層重ねた多層膜構造で作製されている。このような多層膜構造を採用すれば、光の干渉を利用することで分光透過率の設定自由度が高くなり、また、特定波長(例えば赤色以外の波長帯域帯)に対して100%近い反射率を実現することも可能である。
本実施形態においては、撮像画像データの使用波長範囲が略可視光から赤外光の波長帯であるため、当該使用波長範囲に感度を有する撮像素子206を採用している。分光フィルタ層222は、赤外光を透過させればよいので、多層膜部分の透過波長範囲を例えば9
40nm以上に設定し、それ以外の波長帯は反射するカットフィルタ(図9(b)参照)を形成すればよい。
このようなカットフィルタは、光学フィルタ205の積層方向下側から順に、「基板/(0.125L0.25H0.125L)p/媒質A」のような構成の多層膜を作製することで得ることができる。ここでいう「基板」は、上述した充填材224を意味する。また、「0.125L」は、低屈折率材料(例えばSiO2)の膜厚標記方法でnd/λを
1Lとしたものであり、従って「0.125L」の膜は1/8波長の光路長となるような膜厚をもつ低屈折率材料の膜であることを意味する。なお、「n」は屈折率であり、「d」は厚みであり、「λ」はカットオフ波長である。同様に、「0.25H」は、高屈折率材料(例えばTiO2)の膜厚標記方法でnd/λを1Hとしたものであり、従って「0
.25H」の膜は1/4波長の光路長となるような膜厚をもつ高屈折率材料の膜であることを意味する。また、「p」は、かっこ内に示す膜の組み合わせを繰り返す(積層する)回数を示し、「p」が多いほどリップルなどの影響を抑制できる。また、媒質Aは、空気あるいは撮像素子206との密着接合のための樹脂や接着剤を意図するものである。
既に図8(b)に示したように、分光フィルタ層222は、透過波長範囲が940nm〜970nmであるバンドパスフィルタであってもよい。このようなバンドパスフィルタであれば、赤色よりも長波長側の近赤外域と赤色領域との識別も可能となる。このようなバンドパスフィルタは、例えば、「基板/(0.125L0.5M0.125L)p(0.125L0.5H0.125L)q(0.125L0.5M0.125L)r/媒質A」のような構成の多層膜を作製することで得ることができる。なお、上記の通り、高屈折率材料として二酸化チタン(TiO2)、低屈折率材料として二酸化珪素(SiO2)などを使用すれば、対候性の高い分光フィルタ層222を実現できる。
本実施形態の分光フィルタ層222の作製方法の一例について説明すると、まず、基板220及び偏光フィルタ層223上に形成された充填材224の層上に、上述した多層膜を形成する。このような多層膜を形成する方法としては、よく知られる蒸着などの方法を用いればよい。続いて、非分光領域に対応する箇所について多層膜を除去する。この除去方法としては、一般的なリフトオフ加工法を利用すればよい。リフトオフ加工法では、目的とするパターンとは逆のパターンを、金属、フォトレジストなどで、事前に充填材224の層上に形成しておき、その上に多層膜を形成してから、非分光領域に対応する箇所の多層膜を当該金属やフォトレジストと一緒に除去する。
本実施形態では、分光フィルタ層222として多層膜構造を採用しているので、分光特性の設定自由度が高いといった利点がある。一般に、カラーセンサなどに用いられるカラーフィルタは、レジスト剤によって形成されているが、このようなレジスト剤では多層膜構造に比べて、分光特性のコントロールが困難である。本実施形態では、分光フィルタ層221及び分光フィルタ層222として多層膜構造を採用しているので、光源202の波長と赤外光透過領域212の波長帯域を略一致させることが可能となる。
図15は、撮像装置201が有する光源202からの出射光の光路を示す説明図である。光源202からの出射光のフロントガラス105への入射角度は、光源202から出射され、雨滴と空気の境界面で反射された光が撮像素子206に撮像されるように設定される。本発明者らの実験結果によれば、雨滴からの反射光が最も強くなるレイアウトとしては、撮像レンズ204と光源202の光軸とが略平行となるように光源202が配置される例、及び、撮像レンズ204の光軸23と、光源202の光軸22との交点を通るフロントガラス105の外壁面105bの法線10を挟むように、撮像レンズ204の光軸23と、光源202の光軸22とが配置される例が挙げられる。
図15は、上記の2つのレイアウトの後者を示している。以下、図15を参照しながら本実施形態の画像処理システム110がフロントガラス105の外壁面105bに付着した雨滴などの異物を検出する機能を説明する。
・光線A
フロントガラス105の外壁面105bの雨滴が付着していない箇所に向かう光線Aの光は、その一部がそのまま車両100の外部に漏れる。残りの一部は、フロントガラス105の内壁面105aで反射される(不図示)。
・光線B
上記のように、光源202からの出射光のうち、その一部はフロントガラス105の内壁面105aで反射される。既に述べたように、このような反射光の偏光成分は大部分がS偏光成分である。また、このような反射光は、本来の雨滴検出にとっては不要光であり、誤検出の原因にもなる。本発明では、光学フィルタ205内にS偏光成分をカットする偏光フィルタ層223が配置されているため、不要光を除去することが可能である。
・光線C
光源202からの出射光のうち、フロントガラス105の内壁面105aで反射されずにフロントガラス105内を透過した光の成分としては、P偏光成分がS偏光成分に比べて多くなる。このフロントガラス105内に入射した光は、フロントガラス105の外壁面105bに雨滴が付着している場合には、雨滴内部で多重反射して撮像装置201側に向けて再度フロントガラス105内を透過して、撮像装置201の光学フィルタ205に到達する。
さらに、光学フィルタ205に到達した光は、分光フィルタ層221を透過し、そのP偏光成分がワイヤグリッド構造の偏光フィルタ層223を通過する。偏光フィルタ層223を透過したP偏光成分の光(赤外光)のうち、雨滴検出用の赤外光透過領域212の分光フィルタ層222に到達した光は、分光フィルタ層222を透過して撮像素子206に入射し、図1等に示した画像解析ユニット102により、雨滴がフロントガラス105の外壁面105bに付着していることが認識される。なお、偏光フィルタ層223を透過したP偏光成分の光は、可視光透過領域211にも入射し得るが、この領域に光源202が照射する赤外波長光をカットするフィルタが形成されていれば、撮像素子206への入射を妨げることができる。
・光線D
光源202からの光ではなく、フロントガラス105の外壁面105b側から入射して撮像装置201に到達する光のうち、赤外光透過領域212に到達する光は、分光フィルタ層221及び分光フィルタ層222により、その大部分がカットされる。このように、赤外光透過領域212は、フロントガラス105の外側の外乱光もカットできる構成となっている。
・光線E
光源202からの光ではなく、フロントガラス105の外壁面105b側から入射して可視光透過領域211を通過する光の成分のうち、可視光成分及び光源202が照射する赤外波長光の波長帯の成分のみ分光フィルタ層221を透過してP偏光成分のみとなり、不要光がカットされた状態で撮像素子206に到達し、車両周辺情報検出用の信号として検出される。
図16は、本発明者らが行った実験結果の画像を示す説明図である。画像の上部及び下部に雨滴検出画像領域が設けられている。図16(a)は雨滴がフロントガラス105に
付着している場合、図16(b)は雨滴がフロントガラス105に付着していない場合の画像である。
図16中の白四角で囲んだ箇所が雨滴検出画像領域に相当し、この領域に雨滴が付着している時は光源202からのLED光が撮像素子206に入射し、画像解析ユニット102により雨滴がフロントガラス105の外壁面105bに付着していることが認識される。このとき、運転者に雨滴の付着を通知するための「Rain detected!」などの表示を画像中に示すことが好ましい。
一方、雨滴がフロントガラス105の外壁面105bに付着していないときは、光源202からのLED光は撮像素子206に入射しないため、画像解析ユニット102は雨滴の付着を認識しない。この場合には、運転者に雨滴の付着がないことを通知するための「Rain not detected」などの表示を画像中に示すことが好ましい。
画像解析ユニット102による上記の認識処理は、例えば、撮像素子206におけるLED光の受光量に対して予め設定された閾値に基づき、受光量が閾値を超えた場合には雨滴が付着したと認識し、受光量が閾値以下の場合には雨滴が付着していないと認識するものであるとよい。
なお、上記の閾値は、予め定められた一定値である必要はなく、車両周辺情報検出画像の露光調整情報などに基づいて逐次算出されるものであってもよい。具体的には、車両周辺が明るい昼間などの高照度時には、光源202の光出力パワーを上げるとともに閾値も上げてもよい。これにより、外乱光の影響を排除した雨滴検出が可能となる。
以上説明したように、本実施形態の画像処理システム、画像処理システムを備えた車両及び画像処理方法は、1つの撮像装置で異物(主に雨滴)の検出と車両周辺情報の検出とを行うシステムにおいて、車両周辺情報検出用のフレームの連続撮像と、異物検出用のフレームの連続撮像を切り換えて行って、画像解析を行っているので、消費電力を削減することができ、かつ安全性をより向上させることができる。
また、本実施形態の画像処理システム、画像処理システムを備えた車両及び画像処理方法は、異物検出用のフレームの画素データの読み出し規則を、車両周辺情報検出用のフレームの読み出し規則と異ならせることにより、異物検出用のフレームの挿入による車両周辺情報検出用のフレームの低下を抑えることができる。
なお、画像解析ユニット102(図1参照)は、CPU(不図示)と、メモリ(不図示)と、を備えており、メモリにプログラムがインストールされることにより、ソフトウェア的に構成される。この場合、プログラム自体が上述した実施形態の機能を実現することになり、そのプログラム自体、及びそのプログラムをコンピュータに供給するための手段、例えば、プログラムを格納した記憶媒体、プログラムを伝送するインターネット等の伝送媒体も本発明の構成要件となる。記憶媒体としては、CD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等を用いることができる。
本発明は、このような従来の課題を解決するためになされたものであって、1つの撮像装置で異物検出と車両周辺情報の検出とを行うシステムにおいて、低い消費電力や、安全性の向上を実現できるとともに、異物検出用のフレームの挿入によるセンシング用のフレームレートの低下を抑えることが可能な画像処理システム、画像処理システムを備えたワイパー制御システム及び車両、並びにプログラムを提供することを目的とする。
本発明は、1つの撮像装置で異物検出と車両周辺情報の検出とを行うシステムにおいて、低い消費電力や、安全性の向上を実現できるとともに、異物検出用のフレームの挿入によるセンシング用のフレームレートの低下を抑えることが可能な画像処理システム、画像処理システムを備えたワイパー制御システム及び車両、並びにプログラムを提供するものである。