以下、図面を参照して発明を実施するための形態について説明する。各図面において、同一構成部分には同一符号を付し、重複した説明を省略する場合がある。
なお、以下の実施の形態では、撮像ユニットを用いた画像処理装置を自動車等の車両に搭載し、車両のフロントガラスに付着した雨滴等の付着物や他車両のヘッドライト等の車両周辺情報を撮像する例を示す。
[第1の実施の形態]
〈画像処理装置の概略構成〉
図1は、第1の実施の形態に係る画像処理装置10の概略構成を例示する模式図である。図2は、図1の一部を拡大して例示する模式図である。図1及び図2を参照するに、画像処理装置10は、撮像ユニット20と、画像解析ユニット50とを有する。なお、101は車両のフロントガラスを、102はフロントガラス101の外壁面に付着した雨滴を示している。なお、フロントガラス101は、本発明に係る透明部材の代表的な一例である。又、雨滴102は、本発明に係る付着物の代表的な一例である。
撮像ユニット20は、例えば、車両のフロントガラス101の近傍(例えば、図示しないルームミラー付近)に設置されている。撮像ユニット20を、例えば、少なくともフロントガラス101側が透明なカバー103に収容した状態でフロントガラス101の近傍に設置してもよい。
又、フロントガラス101側が開口されたカバー103をフロントガラス101に密着させ、撮像ユニット20をフロントガラス101とカバー103で覆うように配置してもよい。この場合には、フロントガラス101の内壁面が曇るような状況であっても、カバー103で覆われた部分のフロントガラス101が曇ることを防止できる。その結果、フロントガラス101の曇りによって画像解析ユニット50が誤解析することを抑制でき、画像解析ユニット50の解析結果に基づく各種制御動作を適切に行うことができる。
但し、例えば、フロントガラス101の曇りを撮像ユニット20で検出して、自車両の空調設備を制御するような場合には、撮像ユニット20に対向するフロントガラス101の部分が他の部分と同じ状況となるように、カバー103に空気の流路を形成すればよい。
撮像ユニット20は、光源30と、撮像装置40とを有する。光源30は、フロントガラス101に付着した付着物を検出するために設けられた光源であり、フロントガラス101の一方の面側(内壁面側)からフロントガラス101に向けて照射光を照射する機能を有する。光源30は、フロントガラス101に付着した付着物を検出する付着物検出用画像領域(雨滴検出用画像領域)を少なくとも照射できる位置に配置されている。
例えば、付着物検出用画像領域がフロントガラス101の下端側であれば、光源30は、少なくともフロントガラス101の下端側を照射できる位置に配置される。又、付着物検出用画像領域がフロントガラス101の上端側及び下端側であれば、光源30は、少なくともフロントガラス101の上端側及び下端側を照射できる位置に配置される。又、付着物検出用画像領域がフロントガラス101の全面であれば、光源30は、少なくともフロントガラス101の全面を照射できる位置に配置される。なお、付着物検出用画像領域を確実に照射するため、複数の光源30を配置してもよい。
光源30としては、例えば、発光ダイオード(LED)や半導体レーザ(LD)等を用いることができる。又、光源30の発振波長としては、例えば、可視光や赤外光等を用いることができる。
但し、光源30の光で対向車両の運転者や歩行者等を眩惑するのを回避する必要がある。そのため、光源30の発振波長としては、可視光よりも波長が長く、かつ、後述の画像センサ43の受光感度が及ぶ範囲の波長(例えば800nm以上1000nm以下の赤外光領域の波長)を選択することが好ましい。以降、光源30が赤外光領域の波長を有する光を照射する場合を例に挙げて説明する。
なお、光源30の照射光は、略平行光であることが望ましい。光源30の直後にコリメートレンズ等を配置することにより略平行光を生成できる。このように、光源30は、照射光の形態を調整可能なレンズ等の構成要素を含んだものである。
撮像装置40は、フロントガラス101に対して光源30と同じ側に配置されており、光源30から雨滴102に照射された光の反射光や、車両外部からの入射光を撮像する機能を有する。本実施の形態では、撮像レンズ41の光軸が水平方向(X方向)を向くように撮像装置40を配置しているが、これに限定されることはない。光源30は、光源30から雨滴102に照射された光の反射光が撮像装置40へ入射する位置に配置されている。
撮像装置40は、撮像レンズ41と、光学フィルタ42と、画像センサ43と、センサ基板44と、信号処理部45とを有する。撮像レンズ41は、例えば、複数のレンズから構成され、焦点がフロントガラス101の位置よりも遠方に設定されている。撮像レンズ41の焦点位置は、例えば、無限遠又は無限遠とフロントガラス101との間に設定することができる。
光学フィルタ42は、撮像レンズ41の後段に配置され、画像センサ43に入射する光の波長帯域を制限する機能を有する。画像センサ43は、光学フィルタ42を透過した光を受光する2次元配置された複数の画素で構成され、画素毎に入射光を光電変換する機能を有する。画像センサ43は、センサ基板44に搭載されている。なお、後述の図6等では画像センサ43の各画素を簡略化して描いているが、実際には画像センサ43は2次元配置された数十万個程度の画素で構成されている。
画像センサ43としては、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等を用いることができる。画像センサ43の入射側に、例えば、各画素に対応するマイクロレンズ等を設け、画像センサ43への集光効率を上げてもよい。
信号処理部45は、画像センサ43で光電変換され、センサ基板44から出力されるアナログ電気信号(画像センサ43の各画素への入射光量)をデジタル電気信号に変換した撮像画像データを生成して出力する機能を有する。信号処理部45は、画像解析ユニット50と電気的に接続されている。
光源30からフロントガラス101の外壁面に付着した雨滴102に照射された光は、雨滴102と空気との界面で反射し、撮像レンズ41及び光学フィルタ42を経由して画像センサ43に入射する。画像センサ43に入射した光は、画像センサ43で光強度に応じた電気信号に変換される。
信号処理部45は、センサ基板44を経由して画像センサ43から電気信号(アナログ信号)が入力されると、入力された電気信号から、撮像画像データとして画像センサ43上における各画素の明るさ(輝度)を示すデジタル信号(撮像画像データ)を、画像の水平・垂直同期信号とともに後段の画像解析ユニット50へ出力する。
画像解析ユニット50は、撮像装置40を制御する機能や、撮像装置40から送信される撮像画像データを解析する機能を有する。具体的には、画像解析ユニット50は、撮像装置40から送信された撮像画像データから、画像センサ43の撮像領域毎の最適な露光量を算出し、画像センサ43の撮像領域毎に最適な露光量を設定する(最適な露光時間に調整する)機能を有する。
又、画像解析ユニット50は、撮像装置40から送信された撮像画像データから、フロントガラス101に付着する雨滴102や異物等の付着物を検出したり、撮像領域内に存在する路面上の白線(区画線)等の検出対象物を検出したりする機能を有する。
又、画像解析ユニット50は、撮像装置40から送信された撮像画像データから、自車両の前方に存在する他車両の位置や方角、距離等を算出する機能を有する。又、画像解析ユニット50は、撮像装置40から送信された撮像画像データから、他車両のテールランプを識別することで自車両と同じ進行方向へ進行する先行車両を検出したり、他車両のヘッドランプを識別することで自車両とは反対方向へ進行する対向車両を検出したりする機能を有する。
〈画像処理装置の詳細説明〉
ここで、画像処理装置10について、より詳しく説明する。まず、画像解析ユニット50の機能の一つである付着物の検出について、付着物が雨滴102である場合を例に挙げて詳説する。
〔撮像レンズ41の焦点〕
フロントガラス101の外壁面に雨滴102が付着していない場合、光源30から照射された光は、フロントガラス101の外壁面と外気との界面で反射し、その反射光が撮像装置40へ入射する。一方、図1に示すように、フロントガラス101の外壁面に雨滴102が付着している場合、フロントガラス101の外壁面と雨滴102との間における屈折率差は、フロントガラス101の外壁面と外気との間の屈折率差よりも小さくなる。
そのため、光源30から照射された光は、フロントガラス101の外壁面と雨滴102の界面を透過し雨滴102に入射する。そして、雨滴102に入射した光は、雨滴102と空気との界面で反射し、その反射光が撮像装置40へ入射する。雨滴102の有無によるこのような違いによって、画像解析ユニット50は、撮像装置40から送信される撮像画像データから、フロントガラス101に付着する雨滴102の有無を検出できる。
本実施の形態では、撮像レンズ41の焦点位置は、無限遠又は無限遠とフロントガラス101との間に設定している。これにより、画像解析ユニット50は、フロントガラス101の外壁面に付着した雨滴102の検出を行う場合だけでなく、先行車両や対向車両の検出や白線の検出を行う場合にも、撮像装置40の撮像画像データから適切な情報を取得できる。
例えば、フロントガラス101の外壁面に付着した雨滴102の検出を行う場合、撮像画像データ上の雨滴102の画像の形状は円形状である場合が多い。そこで、画像解析ユニット50は、撮像画像データ上の雨滴102の候補画像が円形状であるかどうかを判断することにより、雨滴102の候補画像が雨滴102の画像であることを識別する形状認識処理を行う。
このような形状認識処理を行う場合、フロントガラス101の外壁面に付着した雨滴102に撮像レンズ41の焦点が合っているよりも、上述したように無限遠又は無限遠とフロントガラス101との間に焦点が合っている方が、多少ピンボケして、雨滴102の形状認識率(円形状)が高くなり、雨滴102の検出性能が向上する。
図3は、雨滴102に撮像レンズ41の焦点が合っている場合の雨滴検出用の撮像画像データを例示する図である。図4は、無限遠に撮像レンズ41の焦点が合っている場合の雨滴検出用の撮像画像データを例示する図である。なお、図3及び図4は、光源30から雨滴102に赤外光を照射した場合の例である。
図3を参照するに、フロントガラス101の外壁面に付着した雨滴102に撮像レンズ41の焦点が合っている場合、雨滴102に映り込んだ背景画像105までが撮像される。このような背景画像105は雨滴102の誤検出の原因となる。又、雨滴102の一部分106だけが弓状等に輝度が大きくなる場合がある。その場合、輝度が大きくなった一部分106の形状は、太陽光の方向や街灯の位置等によって変化する。このような種々変化する雨滴102の画像の形状を形状認識処理で対応するためには、処理負荷が大きく、又、認識精度の低下を招く。
一方、図4を参照するに、無限遠に撮像レンズ41の焦点が合っている場合には、多少のピンボケが発生する。そのため、背景画像105の映り込みが撮像画像データに反映されず、雨滴102の誤検出が軽減される。又、多少のピンボケが発生することで、太陽光の方向や街灯の位置等によって雨滴画像の形状が変化する度合いが小さくなり、雨滴102の画像の形状は常に略円形状となる。これにより、雨滴102の形状認識処理の負荷を軽減でき、又、雨滴102の認識精度を向上できる。
但し、無限遠に撮像レンズ41の焦点が合っている場合、遠方を走行する先行車両のテールランプを識別する際に、画像センサ43において、テールランプの光を受光する画素が1個程度になる場合がある。この場合、テールランプを認識できず、先行車両の検出ができない虞がある。
このような不具合を回避するため、撮像レンズ41の焦点を無限遠よりも手前に合わせることが好ましい。これにより、遠方を走行する先行車両のテールランプがピンボケするので、テールランプの光を受光する画素の数を増やすことができる。その結果、テールランプの認識精度が上がるため、先行車両の検出精度を向上できる。
〔光学フィルタ42の構成〕
図5は、光学フィルタ42をセンサ基板44側から視た図である。図6は、画像センサ43の光学フィルタ42と対向する面をセンサ基板44側から透視した図である。図7は、第1の実施の形態に係る光学フィルタ42と画像センサ43の位置関係の対応を例示する図である。図8は、図5及び図6のA−A線に沿う断面図である。
なお、図5〜図7において、便宜上、分光フィルタ層49b、及び画像センサ43上の分光フィルタ層49bに対応する領域を梨地模様で描いている。又、図7に示す光学フィルタ42において、分光フィルタ層49bの外周部分に描いた破線は有効撮像領域を示している。
図5〜図8を参照するに、光学フィルタ42において、フィルタ基板46は、撮像レンズ41を介して光学フィルタ42に入射する入射光を透過する透明な基板である。フィルタ基板46の撮像レンズ41側の面の有効画像領域(画像センサ43を構成する全画素に対応する領域)の全部には、分光フィルタ層49aが形成されている。なお、分光フィルタ層49aは、本発明に係る第1の分光フィルタ層の代表的な一例である。
又、フィルタ基板46の画像センサ43側の面には、偏光フィルタ層47が形成されている。偏光フィルタ層47は形成しなくてもよいが、偏光フィルタ層47を形成することにより不要光を低減することができるため、雨滴検出及び車両検出の検出精度を向上できる利点がある。
偏光フィルタ層47を覆うように、更に充填材48が形成されている。そして、充填材48の画像センサ43側の面の有効画像領域の上端側及び下端側には、分光フィルタ層49bが積層形成されている。なお、分光フィルタ層49bは、本発明に係る第2の分光フィルタ層の代表的な一例である。
光学フィルタ42に入射した光のうち、分光フィルタ層49a、偏光フィルタ層47、及び分光フィルタ層49bを透過した光は、画像センサ43の画素43a1〜43b8及び43g1〜43h8に入射する。又、光学フィルタ42に入射した光のうち、分光フィルタ層49a、及び偏光フィルタ層47を透過した光(分光フィルタ層49bが形成されていない領域を透過した光)は、画像センサ43の画素43c1〜43f8に入射する。
フィルタ基板46の材料としては、使用帯域(本実施の形態では可視光域と赤外域)の光を透過可能な透明な材料、例えば、ガラス、サファイア、水晶等を用いることができる。本実施の形態では、ガラス、特に、安価でかつ耐久性もある石英ガラス(屈折率1.46)やテンパックスガラス(屈折率1.51)を用いると好適である。
偏光フィルタ層47は、光学フィルタ42に入射した光のうちのP偏光成分のみを透過するように形成されている。偏光フィルタ層47は、図9に示すような、ワイヤーグリッド構造で形成された偏光子を有し、分光フィルタ層49b側の面は凹凸面である。ワイヤーグリッド構造は、アルミニウム等の金属で構成された特定方向に延びる金属ワイヤー(導電体線)を特定のピッチで配列した構造である。図9では、溝方向の偏光方向の光が入射したときは遮光し、溝と直交する方向の偏光方向の光が入射したときは透過する。
ワイヤーグリッド構造のワイヤーピッチを、入射光の波長帯(例えば、可視光の波長400nmから800nm)に比べて十分に小さいピッチ(例えば1/2以下)とすることにより、以下の効果を奏する。すなわち、金属ワイヤーの長手方向に対して平行に振動する電場ベクトル成分の光をほとんど反射し、金属ワイヤーの長手方向に対して直交する方向に振動する電場ベクトル成分の光をほとんど透過させるため、単一偏光を作り出す偏光子として使用できる。
ワイヤーグリッド構造の偏光子は、一般に、金属ワイヤーの断面積が増加すると、消光比が増加し、更に周期幅に対する所定の幅以上の金属ワイヤーでは透過率が減少する。また、金属ワイヤーの長手方向に直交する断面形状がテーパー形状であると、広い帯域において透過率、偏光度の波長分散性が少なく、高消光比特性を示す。
偏光フィルタ層47をワイヤーグリッド構造で形成することにより、以下の効果を有する。すなわち、ワイヤーグリッド構造は、広く知られた半導体製造プロセスを利用して形成できる。具体的には、フィルタ基板46上にアルミニウム薄膜を蒸着した後、パターニングを行い、メタルエッチング等の手法によってワイヤーグリッドのサブ波長凹凸構造を形成すればよい。このような製造プロセスにより、画像センサ43の撮像画素サイズ相当(数μmレベル)で金属ワイヤーの長手方向すなわち偏光方向(偏光軸)を調整することが可能となる。
又、ワイヤーグリッド構造は、アルミニウム等の金属材料によって作製されるため、耐熱性に優れ、高温になりやすい車両室内等の高温環境下においても好適に使用できるという利点もある。
偏光フィルタ層47の凹凸面上に直接分光フィルタ層49bを形成すると、分光フィルタ層49bが偏光フィルタ層47の凹凸面に沿って形成され、分光フィルタ層49bに層厚ムラが生じて本来の分光性能が得られない場合がある。そこで、偏光フィルタ層47の積層方向上面側(分光フィルタ層49b側)を充填材48で充填して平坦化した後、充填材48の上に分光フィルタ層49bを形成している。
充填材48は、偏光フィルタ層47の金属ワイヤー間の凹部に充填される。充填材48は、フィルタ基板46よりも屈折率が低いか又は同等の屈折率を有する無機材料が好適に利用できる。なお、本実施の形態における充填材48は、偏光フィルタ層47の金属ワイヤー部分の積層方向上面も覆うように形成されている。
充填材48の材料には、偏光フィルタ層47の凹凸面を平坦化でき、かつ、偏光フィルタ層47の機能を妨げない材料を用いる必要があるため、偏光機能を有しない材料を用いることが好ましい。又、充填材48の材料には、その屈折率が空気の屈折率(屈折率=1)に極力近い低屈折率材料を用いることが好ましい。
充填材48の具体的な材料としては、例えば、セラミックス中に微細な空孔を分散させて形成してなる多孔質のセラミックス材料が好ましい。より詳しくは、ポーラスシリカ(SiO2)、ポーラスフッ化マグネシウム(MgF)、ポーラスアルミナ(Al2O3)等を挙げることができる。
又、これらの低屈折率の程度は、セラミックス中の空孔の数や大きさ(ポーラス度)によって決まる。フィルタ基板46の主成分が水晶やガラスからなる場合には、ポーラスシリカ(n=1.22〜1.26)が好適に使用できる。
充填材48の形成方法としては、これに限られるものではないが、例えば、SOG(Spin On Glass)法を好適に用いることができる。具体的には、シラノール(Si(OH)4)をアルコールに溶かした溶剤を、フィルタ基板46上に形成された偏光フィルタ層47上にスピン塗布し、その後に熱処理によって溶媒成分を揮発させ、シラノール自体を脱水重合反応させることで形成できる。
偏光フィルタ層47はサブ波長サイズのワイヤーグリッド構造であり、機械的強度が弱く、わずかな外力によって金属ワイヤーが損傷してしまう。本実施の形態の光学フィルタ42は、画像センサ43に密着配置することが望まれるため、その製造段階において光学フィルタ42と画像センサ43とが接触する可能性がある。
本実施の形態では、偏光フィルタ層47の積層方向上面(画像センサ43側の面)が充填材48によって覆われているので、画像センサ43と接触した際にワイヤーグリッド構造が損傷する事態を抑制できる。又、本実施の形態のように充填材48を偏光フィルタ層47のワイヤーグリッド構造における金属ワイヤー間の凹部へ充填することで、その凹部への異物進入を防止できる。
なお、充填材48の上に積層される分光フィルタ層49bを充填材48のような保護層で保護してもよいが、本実施の形態では、分光フィルタ層49bについては充填材48のような保護層を設けていない。これは、発明者らの実験によれば、画像センサ43に分光フィルタ層49bが接触しても、撮像画像に影響を及ぼすような損傷が発生しなかったため、低コスト化を優先して保護層を省略したものである。
又、偏光フィルタ層47の金属ワイヤー(凸部)の高さは使用波長の半分以下と低い一方、分光フィルタ層49bは使用波長と同等から数倍程度の高さとなる。充填材48の厚みが増すほど、その上面の平坦性を確保することが困難になり、光学フィルタ42の特性に影響を与えるので、充填材48を厚くするにも限度がある。そのため、本実施の形態では、分光フィルタ層49bを充填材で覆っていない。
ここで、分光フィルタ層49a及び49bの透過率特性について説明する。図10は、分光フィルタ層49aの透過率特性を例示する図である。図11は、分光フィルタ層49bの透過率特性を例示する図である。
図10を参照するに、分光フィルタ層49aは、波長範囲λ1=400nm〜λ2=670nmの所謂可視光領域の入射光及び波長範囲λ3=920〜λ4=960nmの所謂赤外光領域の入射光を透過させ、波長範囲λ2=670nm〜λ3=920nmの入射光をカットする透過率特性を有する。なお、本実施の形態では、雨滴検出用の光源30の中心波長は940nm、半値全幅は10nmである。
波長範囲λ1=400nm〜λ2=670nm及び波長範囲λ3=920〜λ4=960nmの透過率は30%以上であることが好ましく、90%以上であることがより好ましい。波長範囲λ2=670nm〜λ3=920nmの透過率は5%以下であることが好ましく、0%であることがより好ましい。
可視光領域の入射光は車両周辺情報を検出するために用い、赤外光領域の入射光は雨滴情報を検出するために用いる。波長範囲λ2=670nm〜λ3=920nmの入射光を透過させない理由は、この波長範囲を取り込んだ場合、得られる画像データは全体的に赤くなってしまい、テールランプの赤色を示す部分等を抽出することが困難となる場合があるからである。
そこで、図10に示すような赤外光領域の大部分の波長範囲(λ2=670nm〜λ3=920nm)をカットする特性をもつフィルタを形成すれば、外乱光を除去できるため、例えばテールランプの検出精度を向上させることができる。
又、外乱光を除去するという観点からは、光源30の波長範囲λ3=920〜λ4=960nmも透過しないことが望ましい。しかし、波長範囲λ3=920〜λ4=960nmは、可視光帯域に比較して帯域が狭小であること等により、受光量が十分に小さいため、テールランプの検出等への影響は無視できる。
図11を参照するに、分光フィルタ層49bは、波長範囲λ5=880〜λ6=1100nmの所謂赤外光領域の入射光を透過させ、その他の波長範囲(〜880nm)の入射光をカットする透過率特性を有する。波長範囲λ5=880〜λ6=1100nmの透過率は30%以上であることが好ましく、90%以上であることがより好ましい。その他の波長範囲(〜880nm)の透過率は5%以下であることが好ましく、0%であることがより好ましい。
図10及び図11の透過率特性より、分光フィルタ層49aのみが形成されている領域(例えば、画像センサ43の中央部1/2に対応する領域)では、分光フィルタ層49aの特性により、λ1=400nm〜λ2=670nmの所謂可視光領域の入射光及び波長範囲λ3=920〜λ4=960nmの所謂赤外光領域の入射光が透過する。
又、分光フィルタ層49a及び49bの両方が形成されている領域(例えば、画像センサ43の上下1/4に対応する領域)では、分光フィルタ層49aと分光フィルタ層49bとを組み合わせた特性により、図12にハッチングを施した範囲、すなわち波長範囲λ3=920〜λ4=960nmの入射光のみが透過する。
なお、赤外光領域での検出感度を高めるため、波長範囲λ3=920〜λ4=960nmの中心値と光源30の発振波長とを略同等にしておくのが望ましい。換言すれば、分光フィルタ層49bは、入射光のうち光源30の発振波長範囲を含む波長帯域の光を選択的に透過させる特性を有することが望ましい。
前述のように、本実施の形態では、雨滴検出用の光源30の中心波長は940nm、半値全幅は10nmであるから、光源30から照射された光の反射光は図12にハッチングを施した範囲(波長範囲λ3=920〜λ4=960nm)を透過できる。
波長範囲λ3=920〜λ4=960nmの中心値と光源30の発光波長を略同等とすることにより、光源30から照射された赤外波長光の反射光を、大光量の外乱光と区別できる。すなわち、仮に分光フィルタ層49a及び49bが存在しない場合、フロントガラス101で反射した光源30から照射された赤外波長光の反射光を撮像装置40で撮像する際、撮像装置40の画像センサ43では、光源30から照射された赤外波長光の反射光の他、例えば太陽光等の大光量の外乱光も受光される。
よって、光源30からの赤外波長光をこのような大光量の外乱光と区別するためには、光源30の発光量を外乱光よりも十分に大きくする必要があるが、このような大発光量の光源30を用いることは困難である場合が多い。
そこで、撮像装置40に入射する光路上に、図10及び図11に示す透過率特性を有する分光フィルタ層49a及び49bを設ける。これにより、分光フィルタ層49a及び49bの両方が形成されている領域(例えば、画像センサ43の上下1/4に対応する領域)では、直射日光等の外乱光成分についても波長範囲λ3=920〜λ4=960nmを透過する僅かな成分しか画像センサ43に入射しない。その結果、外乱光を大幅に低減することができ、雨滴検出の精度を向上できる。
分光フィルタ層49aのみが形成されている領域(例えば、画像センサ43の中央部1/2に対応する領域)は、対向車両のヘッドランプ及び先行車両のテールランプ並びに白線等の検出に用いる車両検出用画像領域となる。又、分光フィルタ層49a及び49bの両方が形成されている領域(例えば、画像センサ43の上下1/4に対応する領域)は、雨滴の検出に用いる雨滴検出用画像領域(付着物検出用画像領域)となる。
但し、図11に示す透過率特性(光源30の発光波長よりも短波長側の光をカットする特性)に代えて、図13に示す透過率特性を有してもよい。つまり、図13に示すように、透過率のピークが光源30の発光波長と略一致したバンドパスフィルタを含む特性にしてもよい。図13では、波長範囲λ5=925〜λ6=965nmの赤外光領域を透過帯域としており、分光フィルタ層49a(図10の透過率特性)との組み合わせにより、概ね波長範囲λ5=925〜λ6=965nmの範囲の光のみを透過させる。
図10と図13とを組み合わせた特性(波長範囲λ5=925〜λ4=960nmの光のみを透過)は、図10と図11とを組み合わせた特性(波長範囲λ3=920〜λ4=960nmの光のみを透過)よりも更に透過帯域が狭まり、直射日光等の外乱光成分を更に低減することができる。
勿論、何れの場合も光源30から照射された光の反射光は透過できる。図10〜図13の透過率特性は、撮像レンズ41から光学フィルタ42に入射する際の光束角度を考慮して設計することができる。
このように、直射日光等の外乱光成分をできるだけ低減するためには、光源30の照射光の波長は、波長範囲λ3〜λ4、波長範囲λ3〜λ6、波長範囲λ5〜λ4、及び波長範囲λ5〜λ6、のうち最も狭い波長範囲に包含されることが好ましい。
なお、本実施の形態では、分光フィルタ層49a及び49bの組み合わせによる効果を示しているが、若干の効果の低下を許容すれば、分光フィルタ層49a又は49bを単体で用いることも有効である。
なお、本実施の形態では、偏光フィルタ47を用いて光学フィルタ42への入射光のうちのP偏光成分のみを透過させ、S偏光成分をカットしている。これにより、例えば雨滴の有無を検出する際、S偏光成分が除去されているため、路面に反射した光や自車両の室内におけるダッシュボード等からの光(映りこみ光)等のようにS偏光成分の強い不要光による外乱要因を抑制できる。これにより、雨滴の識別率を向上できる。
又、例えば白線や対向車両のヘッドランプ、先行車両のテールランプ等の識別する際、S偏光成分が除去されているため、路面に反射したヘッドランプや街灯等の光や自車両の室内におけるダッシュボード等からの光(映りこみ光)等のようにS偏光成分の強い不要光による外乱要因を抑制できる。これにより、白線や対向車両のヘッドランプ、先行車両のテールランプの識別率を向上できる。
特に、雨路において、路面を覆った水面からの反射光はS偏光成分が多いことが一般に知られている。よって、S偏光成分が除去された画像を白線の識別に使用することで、雨路における水面下の白線を適切に識別することが可能となり、認識率を向上できる。
分光フィルタ層49bは、高屈折率の薄膜と低屈折率の薄膜とを交互に多層重ねた多層膜構造で作製できる。このような多層膜構造によれば、光の干渉を利用することで分光透過率の設定自由度が高く、薄膜を多層重ねることで、特定波長(例えば赤色以外の波長帯域帯)に対して100%近い反射率を実現することも可能である。
本実施の形態においては、撮像画像データの使用波長範囲が略可視光波長帯から赤外光波長帯であるため、当該使用波長範囲に感度を有する画像センサ43を選択するとともに、分光フィルタ層49a及び49bの多層膜部分の透過波長範囲を図10及び図11のように設定したフィルタを形成すればよい。
このようなフィルタは、光学フィルタ42の積層方向下側から順に、「基板/(0.5H L 0.5H)p/媒質A」のような構成の多層膜を作製することで得られる。
ここで、L及びHは、それぞれ低屈折率材料(例えばSiO2)及び高屈折率材料(例えばTiO2)の光路長標記方法で1/4波長相当を意味する。すなわち、「n」を屈折率、「d」を膜厚、「λ」をカットオフ波長とし、nd/λ=0.25となる値である。上記の「0.5H L 0.5H」は、高屈折率材料を0.125波長分、低屈折材料を0.25波長分、高屈折率材料を0.125波長分積層することを意味する。
又、「p」は、かっこ内に示す膜を複数層繰り返す(積層する)回数を示し、「p」が多いほどカットエッジが急峻な特性を得ることができる。又、リップル(透過率の波長分布における「脈動」)等の影響を抑制するために、上記1/4波長の膜厚は厳密にそれと一致させない膜厚構成としても構わない。
更に、基板に近接した層に関しては、基板との屈折率差が僅少(例えば10%未満)であれば、省略することも可能である。又、媒質Aは、空気或いは画像センサ43との密着接合のための樹脂や接着剤を意図するものである。又、「基板」は、分光フィルタ層49aの場合にはフィルタ基板46、分光フィルタ層49bの場合には充填材48である。
ここで、図10に示した特性を実現する分光フィルタ層49aの多層膜構成について説明する。図14は、図10に示した特性を実現する分光フィルタ層49aの多層膜構成を例示する図である。図14を参照するに、分光フィルタ層49aは、フィルタ基板46上に交互積層部位60a、中心層70、交互積層部位60bが順次積層された構造を有する。
交互積層部位60a及び60bは、それぞれ、低屈折率誘電体層61と高屈折率誘電体層62からなる組が複数組(図14の場合は4組ずつ)積層され、最後に低屈折率誘電体層61が積層された構造を有する。低屈折率誘電体層61の材料としては、例えば、二酸化珪素(SiO2)等の無機材料を用いることができる。高屈折率誘電体層62の材料としては、例えば、二酸化チタン(TiO2)や五酸化タンタル(Ta2O5)等の無機材料を用いることができる。
但し、交互積層部位60a及び60bを、それぞれ、高屈折率誘電体層62と低屈折率誘電体層61とからなる組を複数組積層し(つまり、フィルタ基板46上に最初に高屈折率誘電体層62を積層する)、最後に高屈折率誘電体層62が積層された構造としてもよい。
各低屈折率誘電体層61及び各高屈折率誘電体層62の厚さは、例えば、それぞれ150nm程度、100nm程度とすることができる。但し、低屈折率誘電体層61と高屈折率誘電体層62の厚さは同一でなくてもよい。又、交互積層部位60a及び60bそれぞれに含まれる各層の厚さを対応させる必要はない。
中心層70は、例えば、二酸化チタン(TiO2)や五酸化タンタル(Ta2O5)等の高屈折率誘電体材料からなる層である。中心層70の厚さは、低屈折率誘電体層61及び高屈折率誘電体層62の厚さよりも厚くされている。中心層70の厚さは、例えば、260nm程度とすることができる。
交互積層部位60a及び60b全体を通しての交互積層構成により、波長範囲λ1=400nm〜λ2=670nmの所謂可視光領域の入射光を透過させるショートパスフィルタとして機能する。又、交互積層部位60a及び60bを反射層、中心層70を共振器層とする共振器構成により、波長範囲λ3=920〜λ4=960nmの所謂赤外光領域の入射光を透過させるバンドパスフィルタとして機能する。
なお、中心層70の厚さにより、バンドパスフィルタの透過帯域を変えることができる。後述の数値例で示すように、中心層70の厚さを高屈折率誘電体層62の厚さの2〜3倍程度に設定することにより、バンドパスフィルタの透過帯域を波長範囲λ3=920〜λ4=960nmとすることができる。
図10に示した特性を実現する多層膜構成の数値例としては、以下のものを挙げることができる。すなわち、交互積層部位60a:0.55L 1.1H 1.1L 1.05H 1.05L (LH)2、中心層70:2.6H、交互積層部位60b:(LH)2 1.05L 1.05H 1.1L 1.1H 0.55L(但し、λ=850nmとしている)である。
上記数値例では、中心層70の光路長は2.6Hであり、交互積層部位60a及び60bに含まれる高屈折率誘電体層62の光路長に対し2〜3倍に収まっている。この値は、前述のショートパスフィルタとバンドパスフィルタを重複機能として利用する為に必要な数値範囲である。図15に上記数値例に対応するフィルタ特性を例示する。図15に示すように、図14に示す多層膜構成により図10に示すフィルタ特性(透過率特性)が実現できることが確認された。
次に、図11に示した特性を実現する分光フィルタ層49bの多層膜構成について説明する。図16は、図11に示した特性を実現する分光フィルタ層49bの多層膜構成を例示する図である。図16を参照するに、分光フィルタ層49bは、基板として機能する充填材48上に交互積層部位60cが形成された構造を有する。すなわち、交互積層部位60c=分光フィルタ層49bである。
交互積層部位60cは、交互積層部位60a及び60bと同様に、低屈折率誘電体層61と高屈折率誘電体層62からなる組が複数組(図16の場合は7組)積層され、最後に低屈折率誘電体層61が積層された構造を有する。
但し、交互積層部位60cを、高屈折率誘電体層62と低屈折率誘電体層61とからなる組を複数組積層し(つまり、充填材48上に最初に高屈折率誘電体層62を積層する)、最後に高屈折率誘電体層62が積層された構造としてもよい。低屈折率誘電体層61及び高屈折率誘電体層62の材料や厚さは、交互積層部位60a及び60bの場合と同様とすることができる。
交互積層部位60c全体を通しての交互積層構成により、波長範囲λ5=880〜λ6=1100nmの所謂赤外光領域の入射光を透過させるロングパスフィルタとして機能する。
図11に示した特性を実現する多層膜構成の数値例としては、以下のものを挙げることができる。すなわち、交互積層部位60c:0.29H 0.59L 0.605H (0.605L 0.605H)8 0.34L 0.75H 0.8L 0.8H (0.8L 0.8H)8 0.43L 1.1H 1.1L 1.05H (1.05L 1.05H)8 1.05L 0.52H(但し、λ=720nmとしている)である。
図17に上記数値例に対応するフィルタ特性を例示する。図17に示すように、図16に示す多層膜構成により図11に示すフィルタ特性(透過率特性)が実現できることが確認された。
次に、図13に示した特性を実現する分光フィルタ層49bの多層膜構成について説明する。図18は、図13に示した特性を実現する分光フィルタ層49bの多層膜構成を例示する図である。図18を参照するに、分光フィルタ層49bは、基板として機能する充填材48上に交互積層部位60d、金属誘電体積層部位80が順次積層された構造を有する。
交互積層部位60dは、交互積層部位60a〜60cと同様に、低屈折率誘電体層61と高屈折率誘電体層62からなる組が複数組(図18の場合は7組)積層され、最後に低屈折率誘電体層61が積層された構造を有する。
但し、交互積層部位60dを、高屈折率誘電体層62と低屈折率誘電体層61とからなる組を複数組積層し(つまり、充填材48上に最初に高屈折率誘電体層62を積層する)、最後に高屈折率誘電体層62が積層された構造としてもよい。低屈折率誘電体層61及び高屈折率誘電体層62の材料や厚さは、交互積層部位60a〜60cの場合と同様とすることができる。
金属誘電体積層部位80は、金属層81、低屈折率誘電体層82、金属層83が順次積層された構造を有する。金属層81及び82の材料としては、それぞれ、例えば、銀(Ag)、クローム(Cr)、金(Au)、チタン(Ti)等を用いることができる。金属層81及び82の厚さは、それぞれ、例えば、30nm程度とすることができる。
低屈折率誘電体層82の材料としては、例えば、二酸化珪素(SiO2)等の無機材料を用いることができる。低屈折率誘電体層82の厚さは、例えば、280nm程度とすることができる。金属誘電体積層部位80の厚さ(特に、低屈折率誘電体層82の厚さ)を変えることにより、バンドパスフィルタの透過帯域を変えることができる。
交互積層部位60dと金属誘電体積層部位80とを積層することにより、波長範囲λ5=925〜λ6=965nmの所謂赤外光領域の入射光を透過させるバンドパスフィルタとして機能する。
図13に示した特性を実現する多層膜構成の数値例としては、以下のものを挙げることができる。すなわち、交互積層部位60d:(0.27H 0.57L 0.27H)8、金属誘電体積層部位80:Mt 2L Mt(但し、λ=820nmとしている。又、Mtは膜厚30nmのAgを意味する)である。
図19に上記数値例に対応するフィルタ特性を例示する。図19に示すように、図18に示す多層膜構成により図13に示すフィルタ特性(透過率特性)が実現できることが確認された。
なお、図18に代えて、図20のような多層膜構成としても、図13に示すフィルタ特性(透過率特性)を実現できる。すなわち、図13に示すフィルタ特性を実現する分光フィルタ層49bは、充填材48上に交互積層部位60d、金属誘電体積層部位80が順次積層された構造としてもよいし、充填材48上に金属誘電体積層部位80、交互積層部位60dが順次積層された構造としてもよい。
なお、上記の通り、高屈折率材料として二酸化チタン(TiO2)等の無機材料、低屈折率材料として二酸化珪素(SiO2)等の無機材料を使用すれば、対候性の高い分光フィルタ層49bを実現できる。
本実施の形態の分光フィルタ層49bの作製方法の一例について説明すると、まず、フィルタ基板46及び偏光フィルタ層47上に形成された充填材48の層上に、上述した多層膜を形成する。このような多層膜を形成する方法としては、よく知られる蒸着等の方法を用いればよい。続いて、非分光領域(例えば、画像センサ43の中央部1/2に対応する領域)に対応する箇所について多層膜を除去する。
この除去方法としては、一般的なリフトオフ加工法を利用すればよい。リフトオフ加工法では、目的とするパターンとは逆のパターンを、金属やフォトレジスト等で事前に充填材48の層上に形成しておき、その上に多層膜を形成してから、非分光領域に対応する箇所の多層膜を当該金属やフォトレジストと一緒に除去する。
又、図5に示したように、分光フィルタ層49bが画像センサ43を構成する各画素のサイズに比べ十分に大きいサイズ(例えば、幅100μm以上のサイズ)の場合は、以下のようにしてもよい。すなわち、多層膜蒸着時に分光フィルタ層49bを形成したい領域以外を被覆するマスクを設け、マスクを介して分光フィルタ層49bを形成したい領域のみに蒸着等をすればよい。
本実施の形態では、分光フィルタ層49bとして多層膜構造を採用しているので、分光特性の設定自由度が高いといった利点がある。一般に、カラーセンサ等に用いられるカラーフィルタは、レジスト剤によって形成されているが、このようなレジスト剤では多層膜構造に比べて、分光特性のコントロールが困難である。本実施の形態では、分光フィルタ層49bとして多層膜構造を採用しているので、光源30の波長と雨滴検出エリアの波長帯域を略一致させることができる。
なお、分光フィルタ層49aも分光フィルタ層49bと同様の作製方法により作製できる。但し、リフトオフ加工法等により一部を除去する工程は不要である。
ここで、雨滴検出用画像領域を上下に設けた理由について説明する。図21は、撮像画像を例示する図である。
対向車両のヘッドランプ(図示せず)及び先行車両115のテールランプ並びに白線116の画像は、主に撮像画像中央部に存在することが多い。又、撮像画像下部には自車両前方の直近の路面117の画像が存在し、撮像画像上部には空118の画像が存在することが通常である。つまり、対向車両のヘッドランプ(図示せず)及び先行車両115のテールランプ並びに白線116の識別に必要な情報は撮像画像中央部に集中しており、その識別において撮像画像上部及び撮像画像下部の情報はあまり重要ではない。
よって、単一の撮像画像データから、対向車両や先行車両115或いは白線116の検出と雨滴102の検出とを両立して行う場合には、図21に示すように、撮像画像中央部を車両検出用画像領域111とし、撮像画像上部及び撮像画像下部をそれぞれ雨滴検出用画像領域112及び113とすることが好適である。
従って、図21の車両検出用画像領域111に対応して図8に示すような分光フィルタ層49aを設け、図21の雨滴検出用画像領域112及び113に対応して図8に示すような分光フィルタ層49a及び49bを設けている。
なお、撮像装置40の撮像方向を下方へ傾けると、撮像領域内の下部に自車両のボンネット(図21の雨滴検出用画像領域113中の破線で示した部分)が入り込んでくる場合がある。この場合、自車両のボンネットで反射した太陽光や先行車両のテールランプ等が外乱光となり、これが撮像画像データに含まれることになる。
このような場合でも、本実施の形態では、撮像画像下部に対応する箇所に分光フィルタ層49a及び49bを設けているので、ボンネットで反射した太陽光や先行車両115のテールランプ等の外乱光が除去される。よって、雨滴102の検出精度を向上できる。
なお、先行車両115を検出する際には、撮像画像上のテールランプを識別することで先行車両115の検出を行うが、テールランプは対向車両のヘッドランプと比較して光量が少なく、又、街灯等の外乱光も多く存在する。そのため、単なる輝度データのみからテールランプを高精度に検出するのは困難である。
そのため、テールランプの識別には分光情報を利用し、赤色光の受光量に基づいてテールランプを識別することが必要となる。但し、本実施の形態の画像センサ43を構成する各画素は、赤外波長帯の光に対しても感度を有するので、赤外波長帯を含んだ光を画像センサ43で受光すると、得られる撮像画像は全体的に赤みを帯びたものとなる。その結果、テールランプに対応する赤色の画像部分を識別することが困難となる場合がある。
本実施の形態では、前述のように、分光フィルタ層49aが波長範囲670nm〜920nmの入射光をカットする透過率特性を有するので、テールランプの識別に用いる撮像画像データ部分から赤外波長帯の大部分が除外され、テールランプの識別精度を向上できる。
なお、図8では、光学フィルタ42と画像センサ43との間に空隙がある構成としているが、光学フィルタ42を画像センサ43に密着させる構成とした方が好ましい。光学フィルタ42の偏光フィルタ層47と分光フィルタ層49bの各領域の境界と画像センサ43上の各画素間の境界とを一致させやすくなるからである。つまり、光学フィルタ42と画像センサ43を密着接合することにより、雨滴検出エリアと車両周辺情報を検出するエリアの境界が明確になり、雨滴有無の判別精度を上げることができる。
光学フィルタ42を画像センサ43に密着させる場合は、例えば、光学フィルタ42と画像センサ43をUV接着剤で接合してもよいし、撮像に用いる有効撮像領域外でスペーサにより支持した状態で有効撮像領域外の四辺領域をUV接着や熱圧着してもよい。
なお、分光フィルタ層49a及び49bをフィルタ基板46の両側に形成することにより、光学フィルタ42の反りを抑制することが可能となる。すなわち、フィルタ基板46の片側だけに多層膜(分光フィルタ層)を形成すると応力がかかり反りが生じる。しかしながら、図8のようにフィルタ基板46の両側に多層膜(分光フィルタ層)を形成した場合は、応力の効果が相殺されるため、反りを抑制できる。
又、分光フィルタ層49bを上下の何れか一方にのみに設けた場合、光学フィルタ42と画像センサ43を平行に接着することは難しくZ軸に対して傾いてしまう。傾いて接着してしまうと撮像画像上部と撮像画像下部とで光路長が変わってしまい車両周辺情報、例えば白線検知を行う場合には白線座標の読み誤り等の認識精度の劣化原因となる。図8に示したように、分光フィルタ層49bを上下に設けることにより、このような問題を解消できる。
但し、分光フィルタ層49a及び49bをフィルタ基板46の一方の側に形成した場合や、分光フィルタ層49bを上下の何れか一方にのみに設けた場合も、一定の効果を奏する。
なお、本実施の形態では、撮像レンズ41の特性により、撮像領域内の光景と画像センサ43上の像とでは天地が逆になる。
ここで、雨滴検出及び車両検出について、更に詳しく説明する。図22は、雨滴検出及び車両検出に関わる光線を例示する図である。
光源30は、雨滴102と空気との境界面の何れかの位置での反射光が撮像装置40で撮像されるように、フロントガラス101への入射角度が設定される。雨滴102と空気との境界面からの反射光が最も強くなるレイアウトは、撮像レンズ41の光軸と交差するフロントガラス101の法線に対して光源30が撮像レンズ41の光軸と略反対側の位置に設置された場合、及び光源30が撮像レンズ41の光軸とほぼ同じ光軸となるように設置された場合である。
又、雨滴102と空気との境界面からの反射光が最も弱くなるのは、撮像レンズ41の光軸と交差するフロントガラス101の法線と光源30の光軸とがほぼ一致した場合である。ここでは、一例として、光源30は、フロントガラス101の外壁面での正反射光が撮像レンズ41の光軸と略一致するように配置されているとする。
光線Aは、光源30から照射してフロントガラス101を通過する光線である。フロントガラス101の外壁面に雨滴102が付着していない場合、光源30からフロントガラス101に向けて照射された光は、光線Aのように、フロントガラス101を透過してそのまま自車両の外部に漏れ出る。そのため、光源30としては、その光が人間の目に当たることを考慮して、アイセーフ帯の波長・光量の光源を選択するのが好ましい。また、図22に示すように、光源30からフロントガラス101に向けて照射された光が鉛直方向上方に向かうように構成すると、その光が人間の目に当たる可能性が少なくなるので、より好ましい。
光線Bは、光源30からの照射光がフロントガラス101の内壁面で正反射して撮像装置40へ入射する光線である。光源30からフロントガラス101へ向かう光の一部はフロントガラス101の内壁面で正反射する。この正反射光(光線B)の偏光成分は、一般に、その入射面に対して直交する方向(図22の紙面に対して垂直な方向)に振動するS偏光成分が支配的であることが知られている。
光源30から照射されてフロントガラス101の内壁面で正反射した正反射光(光線B)は、フロントガラス101の外壁面に付着する雨滴102の有無によって変動しないので、雨滴検出に不要な光であるばかりか、雨滴検出の検出精度を低下させる外乱光となる。本実施の形態では、光線B(S偏光成分)が偏光フィルタ層47によってカットされるので、この光線Bによって雨滴検出精度が低下することを抑制できる。
光線Cは、光源30からの照射光がフロントガラス101の内壁面を透過し、その後、フロントガラス101の外壁面に付着する雨滴102と空気との界面で反射して撮像装置40へ入射する光線である。光源30からフロントガラス101へ向かう光の一部はフロントガラス101の内壁面を透過するが、その透過光はS偏光成分よりもP偏光成分の方が多い。
そして、フロントガラス101の外壁面に雨滴102が付着している場合、フロントガラス101の内壁面を透過した光は、上記光線Aのように外部へ漏れ出ずに、雨滴102と空気との界面で反射して撮像装置40側に向けて再度フロントガラス101内を透過し、撮像装置40に入射する。
このとき、分光フィルタ層49aは、光源30の発振波長(赤外光)を透過させるように構成されているので、光線Cは分光フィルタ層49aを透過する。又、偏光フィルタ層47は、P偏光成分を透過するようにワイヤーグリッド構造の金属ワイヤーの長手方向が形成されているため、P偏光成分を主成分とする光線Cは偏光フィルタ層47も透過する。又、分光フィルタ層49bは、光源30の発振波長(赤外光)を透過させるように構成されているので、光線Cは分光フィルタ層49bも透過する。よって、光線Cは、画像センサ43の雨滴検出用画像領域に到達し、その受光量によって雨滴102の検出を行うことができる。
光線Dは、フロントガラス101の外部からフロントガラス101を透過して撮像装置40の画像センサ43の雨滴検出用画像領域に向かって入射する光線である。光線Dは雨滴検出時の外乱光となり得るが、本実施の形態では、分光フィルタ層49a及び49bによって赤外光の一部を除く大部分がカットされ、光線Dの大部分は画像センサ43の雨滴検出用画像領域には到達しない。よって、この光線Dによって雨滴検出精度が低下することも抑制できる。
光線Eは、フロントガラス101の外部からフロントガラス101を透過して撮像装置40の画像センサ43の車両検出用画像領域に向かってに入射する光線である。光線EのP偏光成分は、分光フィルタ層49a及び49bの透過率特性により、可視光と赤外光の一部のみが分光フィルタ層49a及び49bを透過して画像センサ43の車両検出用画像領域に到達し撮像される。
この撮像画像は、対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の検出等に利用される。なお、光線EのS偏光成分は偏光フィルタ層47により除去されるため、路面に反射したヘッドランプや街灯等の光や自車両の室内におけるダッシュボード等からの光(映りこみ光)等のようにS偏光成分の強い不要光による外乱要因を抑制できる。
次に、画像処理装置10で撮像画像を取得する際の露光量調整について説明する。一例として、図6に一点鎖線で囲ったように、隣接する縦2つ横2つの合計4つの領域(画素43a1、43a2、43b1、43b2からなる領域)によって撮像画像データの1ユニットを構成する場合を考える。画素43a1、43a2、43b1、43b2には、分光フィルタ層49a、偏光フィルタ層47、及び分光フィルタ層49bを透過した光が入射する。従って、画素43a1、43a2、43b1、43b2では光学フィルタ42への入射光のうちの赤外光のP偏光成分が受光され、赤外光のP偏光成分による画像が生成される。このようにして得られる赤外光のP偏光成分の画像を用いて、例えば、雨滴の有無を検出できる。
なお、光源30は、連続発光(CW発光と称される場合もある)させてもよいし、特定のタイミングでパルス発光させてもよい。発光のタイミングと撮像のタイミングを同期してやれば、外乱光による影響をより小さくできる。又、複数の光源を設置した場合は、複数の光源を同時に発光させてもよいし、順次発光させてもよい。順次発光させた場合は、その発光のタイミングと撮像のタイミングを同期してやれば、外乱光による影響をより小さくできる。
次に、画素43c1、43c2、43d1、43d2からなる領域によって撮像画像データの1ユニットを構成する。画素43c1、43c2、43d1、43d2には、分光フィルタ層49a及び偏光フィルタ層47を透過した光が入射する。従って、画素43c1、43c2、43d1、43d2では光学フィルタ42への入射光のうちの主に可視光のP偏光成分が受光され、主に可視光のP偏光成分による画像が生成される。このようにして得られる主に可視光のP偏光成分の画像を用いて、例えば、車両周辺情報を検出できる。
なお、車両検出用画像領域を撮像するときは、光源30は消灯しても構わないし、光源30は常時点灯させていても構わない。
次に、画素43g1、43g2、43h1、43h2からなる領域によって撮像画像データの1ユニットを構成する。画素43g1、43g2、43h1、43h2からなる領域では、画素43a1、43a2、43b1、43b2からなる領域と同様に、赤外光のP偏光成分による画像が生成され、例えば、雨滴の有無を検出できる。なお、画素43a1、43a2、43b1、43b2の場合と同様に、光源30を発光させる。
同様にして、他の隣接する縦2つ横2つの合計4つの領域を1ユニットとして順次画像を生成する。これにより、画像センサ43全体の画像が生成される。但し、必ずしも、雨滴検出用画像領域と車両検出用画像領域の画像を交互に生成する必要はなく、同一領域の画像を連続して生成してもよい。
なお、ここでは、4画素を1ユニットとする例を示したが、これに限定されることはない。例えば、画像センサ43の上下に配置された雨滴検出用画像領域を撮像するときは、光源30からの反射光の画像センサ43上のスポットサイズ相当の画素領域を1ユニットとすることができるし、画像センサ43の中央に配置された車両検出用画像領域を撮像するときは、画像センサとしてモノクロセンサを用いた場合は1画素を1ユニットとすることができる。
ところで、分光フィルタ層49a、偏光フィルタ層47、及び分光フィルタ層49bが形成されている雨滴検出用画像領域(付着物検出用画像領域)と、分光フィルタ層49a及び偏光フィルタ層47が形成され分光フィルタ層49bが形成されていない車両検出用画像領域とでは、取得光量が大きく異なる。雨滴検出用画像領域には主に光源30が照射する赤外光の反射光のみが入射するが、車両検出用画像領域には主に可視光が入射するからである。
そこで、雨滴検出用画像領域を撮像する場合と車両検出用画像領域を撮像する場合で露光量を変えることが好ましい。これにより、雨滴検出用画像領域及び車両検出用画像領域それぞれについて、最適な露光量で画像を撮像できる。例えば、遠方の画像を撮像する場合は、車両検出用画像領域の部分を検出しながら車両検出用画像領域の画像情報に基づいて自動露光調整を行い、雨滴の画像を撮像する場合は、雨滴検出用画像領域の部分を検出しながら雨滴検出用画像領域の画像情報に基づいて自動露光調整を行えばよい。
露光量を変えるには、例えば、雨滴検出用画像領域を撮像する際と、車両検出用画像領域を撮像する際とで露光時間を変えてやればよい。例えば、画像解析ユニット50が、画像センサ43が入射光を電気信号に変換する時間を制御することにより、露光時間を変えることができる。又、後述の第1の実施の形態の変形例3のように、分光フィルタ層49bが形成されていない領域に画像センサ43の各画素に対応した開口制限部を設けることにより露光量を変えることもできる。
車両検出用画像領域は、周辺の光量変化が大きい。撮像装置が撮像する車両周辺の照度は昼間の数万ルクスから夜間の1ルクス以下まで変化するため、その撮像シーンに応じて露光時間を調整する必要があり、これに対しては公知の自動露光制御を行えばよい。なお、本実施の形態では、被写体は路面周辺にあるため、路面領域の画像情報に基づいて露光制御を行うのが望ましい。
一方、雨滴検出用画像領域については、光源30からの照射光に対する付着物からの反射光のみを取り込むように設定されているため、周辺環境による光量の変化は小さい。そこで、雨滴検出用画像領域については、固定露光時間で撮像する(露光量を固定として撮像する)ことも可能である。
図23は、撮像画像を例示する図である。図23(a)はフロントガラス101の外壁面に雨滴が付着しているときの撮像画像の例であり、図23(b)はフロントガラス101の外壁面に雨滴が付着していないときの撮像画像の例である。なお、本実施の形態では、撮像画像上部及び撮像画像下部に雨滴検出用画像領域を設けているが、図23は画像上部の雨滴検出用画像領域を除いた画像となっている。
図23(a)及び図23(b)の撮像画像は、図中「detected area」と記載された撮像画像下部が雨滴検出用画像領域113であり、残りが車両検出用画像領域111である。雨滴検出用画像領域113には、雨滴が付着しているときは図23(a)に示すように光源30からの光が映し出され、雨滴が付着していないときは図23(b)に示すように光源30からの光が映し出されない。
又、「Rain detected」との表示は、雨滴が認識されている状態を示しており、「Rain not detected」との表示は、雨滴が認識されていない状態を示している。このような雨滴検出用画像領域113における雨滴画像の認識処理は、光源30からの照射光に対する付着物からの反射光の受光量の閾値調整により容易に行うことができる。なお、閾値は固定値である必要はなく、撮像装置40が搭載される自車両周辺の状況変化等に応じて適宜変更するようにしてもよい。例えば、車両検出用画像領域111の露光調整情報等をもとに最適値を算出して、閾値を変更してもよい。
[第1の実施の形態の変形例1]
第1の実施の形態の変形例1では、画像センサ43側の分光フィルタ層の領域分割方法を変更した例を示す。なお、第1の実施の形態の変形例1において、既に説明した実施の形態と同一構成部品についての説明は省略する。
図24は、第1の実施の形態の変形例1に係る光学フィルタ42Aをセンサ基板44側から視た図である。図25は、第1の実施の形態の変形例1に係る光学フィルタ42Aと画像センサ43の位置関係の対応を例示する図である。図26は、図24のB−B線に沿う断面図である。図27は、図24のC−C線に沿う断面図である。
画像センサ43の光学フィルタ42Aと対向する面をセンサ基板44側から透視した図は図6と同様であるため、図示は省略する。なお、図23及び図24において、便宜上、分光フィルタ層49c及び画像センサ43上の分光フィルタ層49cに対応する領域を梨地模様で描いている。又、図24に示す光学フィルタ42Aにおいて、分光フィルタ層49cの外周部分に描いた破線は有効撮像領域を示している。
図23〜図27を参照するに、第1の実施の形態の変形例1に係る光学フィルタ42Aは、分光フィルタ層49cが画像センサ43の各画素に対応した市松状のパターンに形成されている点が、第1の実施の形態と相違する。
例えば、図6に一点鎖線で囲ったように、隣接する縦2つ横2つの合計4つの画素43a1、43a2、43b1、43b2によって撮像画像データの1ユニットを構成することができる。一点鎖線で囲った1ユニットにおいて、光源30を発光させ、発光のタイミングと撮像のタイミングを同期させることにより、画素43a2及び43b1で光学フィルタ42Aへの入射光のうちの赤外光のP偏光成分が受光され、赤外光のP偏光成分による画像が得られる。
又、光源30を消灯したタイミングで、画素43a1及び43b2で光学フィルタ42Aへの入射光のうちの主に可視光のP偏光成分が受光され、主に可視光のP偏光成分による画像が得られる。更に、一点鎖線で囲った1ユニットを順次ずらして同様の動作を繰り返すことにより、画像センサ43の全画素に対応した画像が得られる。
このようにして得られる赤外光のP偏光成分の画像や主に可視光のP偏光成分の画像を用いて、前述のように、車両のフロントガラスに付着した雨滴等の付着物や他車両のヘッドライト等の車両周辺情報を撮像できる。
なお、これらの撮像画像データでは、その画像画素の数が撮像画素数よりも少なくなるが(隣接する画素領域の情報が不足するが)、より高解像度の画像を得る際には一般に知られる画像補間技術を用いてもよい。例えば、より高い解像度で赤外光のP偏光成分の画像を得ようとする場合には、以下のようにすればよい。
すなわち、画素43a2及び43b1については赤外光のP偏光成分の情報をそのまま使用し、画素43b2については、例えばその周囲を取り囲む画素43a2、43b1、43b3、及び43c2の平均値を赤外光のP偏光成分の情報として使用すればよい。より高い解像度で主に可視光のP偏光成分の画像を得ようとする場合も同様である。
[第1の実施の形態の変形例2]
第1の実施の形態の変形例2では、画像センサ43側の分光フィルタ層の領域分割方法を変更した他の例を示す。なお、第1の実施の形態の変形例2において、既に説明した実施の形態と同一構成部品についての説明は省略する。
図28は、第1の実施の形態の変形例2に係る光学フィルタ42Bをセンサ基板44側から視た図である。図29は、第1の実施の形態の変形例2に係る光学フィルタ42Bと画像センサ43の位置関係の対応を例示する図である。図30は、図28のD−D線に沿う断面図である。図31は、図28のE−E線に沿う断面図である。
画像センサ43の光学フィルタ42と対向する面をセンサ基板44側から透視した図は図6と同様であるため、図示は省略する。なお、図28及び図29において、便宜上、分光フィルタ層49d及び画像センサ43上の分光フィルタ層49dに対応する領域を梨地模様で描いている。又、図29に示す光学フィルタ42Bにおいて、分光フィルタ層49dの外周部分に描いた破線は有効撮像領域を示している。
図28〜図31を参照するに、第1の実施の形態の変形例2に係る光学フィルタ42Bは、分光フィルタ層49dが画像センサ43の各画素に対応したストライプ状のパターンに形成されている点が、第1の実施の形態と相違する。
例えば、図6に一点鎖線で囲ったように、隣接する縦2つ横2つの合計4つの画素43a1、43a2、43b1、43b2によって撮像画像データの1ユニットを構成することができる。一点鎖線で囲った1ユニットにおいて、光源30を発光させ、発光のタイミングと撮像のタイミングを同期させることにより、画素43a1及び43b1で光学フィルタ42Bへの入射光のうちの赤外光のP偏光成分が受光され、赤外光のP偏光成分による画像が得られる。
又、光源30を消灯したタイミングで、画素43a2及び43b2で光学フィルタ42Bへの入射光のうちの主に可視光のP偏光成分が受光され、主に可視光のP偏光成分による画像が得られる。更に、一点鎖線で囲った1ユニットを順次ずらして同様の動作を繰り返すことにより、画像センサ43の全画素に対応した画像が得られる。
このようにして得られる赤外光のP偏光成分の画像や主に可視光のP偏光成分の画像を用いて、前述のように、車両のフロントガラスに付着した雨滴等の付着物や他車両のヘッドライト等の車両周辺情報を撮像できる。なお、第1の実施の形態の変形例1と同様に、画像補間技術を用いてもよい。
第1の実施の形態の変形例2に特有の効果は以下の通りである。すなわち、第1の実施の形態の変形例2では分光フィルタ層49dをストライプ状のパターンに形成することにより、第1の実施の形態の変形例1の市松状のパターンに比べ、画像センサ43の各画素と光学フィルタ42Bの分光フィルタ層49d形成部分との位置ズレ精度を緩和できる。
すなわち、第1の実施の形態の変形例1のような市松状のパターンの場合、画像センサ43の各画素と光学フィルタ42Aの分光フィルタ層49c形成部分とを一致させるためには、Y方向及びZ方向それぞれについて位置調整する必要がある。これに対して、第1の実施の形態の変形例2のようなストライプ状のパターンでは、画像センサ43の各画素と光学フィルタ42Bの分光フィルタ層49d形成部分とを一致させるためには、Y方向のみ位置調整すればよい。これにより、光学フィルタ42Bと画像センサ43とを接着する工程において、組立時間の短縮や組付装置の簡素化が可能となる。
なお、ストライプ状のパターンのストライプ方向(図28のZ方向)は、雨滴102を照射するための光源30の照射方向に合わせて設定することが望ましい。より具体的には、ストライプ状のパターンのストライプ方向(図28のZ方向)は、光源30のフロントガラス101へ向かう照射光の光軸と撮像レンズ41の光軸とで形成される面に対して平行であることが望ましい。
これは、フロントガラス101に付着した雨滴102を撮像すると、縦方向(Z方向)が圧縮された画像が得られるためである。すなわち、図28のように、縦方向(Z方向)にストライプ方向を有することにより、縦方向(Z方向)の赤外光情報を取り出す解像度が上がるため、縦方向(Z方向)が圧縮された画像からも精度よく雨滴を検出できる。
[第1の実施の形態の変形例3]
第1の実施の形態の変形例3では、分光フィルタ層の形成されていない領域に開口制限部を設けた例を示す。なお、第1の実施の形態の変形例3において、既に説明した実施の形態と同一構成部品についての説明は省略する。
図32は、第1の実施の形態の変形例3に係る光学フィルタ42Cをセンサ基板43側から視た図である。光学フィルタ42Cと画像センサ43の位置関係や断面図は第1の実施の形態の変形例1と同様であるため、図示は省略する。なお、図32において、便宜上、分光フィルタ層49bを梨地模様で描き、開口制限部49yを灰色で描いている。
図32を参照するに、第1の実施の形態の変形例3に係る光学フィルタ42Cは、分光フィルタ層49bが形成されていない領域に画像センサ43の各画素に対応した開口部49x及び開口制限部49yを設けた点が、第1の実施の形態の変形例1と相違する。
例えば、図6に一点鎖線で囲ったように、隣接する縦2つ横2つの合計4つの画素43a1、43a2、43b1、43b2によって撮像画像データの1ユニットを構成することができる。一点鎖線で囲った1ユニットにおいて、光源30を発光させ、発光のタイミングと撮像のタイミングを同期させることにより、画素43a2及び43b1で光学フィルタ42Cへの入射光のうちの赤外光のP偏光成分が受光され、赤外光のP偏光成分による画像が得られる。
又、光源30を消灯したタイミングで、画素43a1及び43b2で光学フィルタ42Cへの入射光のうちの開口制限された主に可視光のP偏光成分が受光され、開口制限された主に可視光のP偏光成分による画像が得られる。但し、画素43a1及び43b2では、開口制限された主に可視光のP偏光成分が受光されるため、主に可視光のP偏光成分による画像は、第1の実施の形態の変形例1よりも少ない受光量によって生成される。
更に、一点鎖線で囲った1ユニットを順次ずらして同様の動作を繰り返すことにより、画像センサ43の全画素に対応した画像が得られる。
このようにして得られる赤外光のP偏光成分の画像や開口制限された主に可視光のP偏光成分の画像を用いて、前述のように、車両のフロントガラスに付着した雨滴等の付着物や他車両のヘッドライト等の車両周辺情報を撮像できる。なお、第1の実施の形態の変形例1と同様に、画像補間技術を用いてもよい。
図33に、開口制限部の一例を示す。図33では、開口部49xは円形状のワイヤーグリッド構造からなり、開口部49xの周辺部にはアルミニウムのベタ膜からなる開口制限部49yが形成されている。これにより、分光フィルタ層49bが形成されていない領域の受光量を制限できる。
図33に示す構成によれば、入射光はアルミニウムのベタ膜からなる開口制限部49yで遮光されるので、ワイヤーグリッド構造からなる開口部49xの広狭(開口率)によって、分光フィルタ層49bが形成されていない領域を透過する光の受光量を制限できる。
なお、ワイヤーグリッド構造からなる開口部49xの形状は、図33に示した円形状に限らず、例えば、図34に示すような略四角形状であってもよい。図34に示すように角部を有する形状とする場合、その角部にRを持たせた方がエッチング加工等で形状寸法を出しやすい点で好適である。
開口部49x及び開口制限部49yは、例えば、偏光フィルタ層47と同時に作製できる。具体的には、フィルタ基板46上にアルミニウム膜を均一に形成後、エッチング加工等により分光フィルタ層49bを形成する領域及び開口部49xを形成する領域のアルミニウム膜を除去し、アルミニウム膜を除去した部分にワイヤーグリッド構造を形成すればよい。
このように、ワイヤーグリッド構造の周辺部にアルミニウムの遮光領域を設けて開口制限を行う場合には、ワイヤーグリッド構造の形成時にその周辺部のアルミニウム膜を残すように加工することで開口制限することができる。このワイヤーグリッド構造が開口部49xとなると共に偏光フィルタ層47ともなるため、偏光フィルタ層47とは別個に開口制限用の加工を行う場合よりも、製造工程を簡略化できる。
なお、偏光フィルタ層47とは別の層に、図35に示すような開口制限部49yを設けてもよい。この場合、開口部49x内部にはワイヤーグリッド構造が形成されない。
また、開口制限部49yは、上述したようなアルミニウム膜等の反射膜に限定されるものではなく、例えば光を吸収する膜で形成してもよい。例えば、図36に示すように、ブラックレジストのベタ膜によって開口制限部49yを形成してもよい。この場合も、開口部49xは、図36に示した円形状に限らず、例えば、図37に示すような略四角形状であってもよい。
又、分光フィルタ層49bが形成されていない領域の画像センサ43の各画素に対応した領域毎に、複数の開口部49xを設けてもよい。分光フィルタ層49bが形成されていない領域の画像センサ43の各画素に対応した領域毎に、複数の開口制限部49yを設けてもよい。又、必ずしも開口部49xの周囲に開口制限部49yを設けなくてもよく、開口部49xの中に開口制限部49yを設けてもよい。例えば、図38に示すように、ワイヤーグリッド構造からなる開口部49xの中にアルミニウムのベタ膜からなる開口制限部49yを離散的に配置してもよい。
第1の実施の形態の変形例3に特有の効果は以下の通りである。すなわち、例えば、主に可視光のP偏光成分の受光量を赤外光のP偏光成分の受光量と同等となるように開口制限部49yを作製すれば、煩雑な露光制御を行うことなく一度の露光で雨滴有無を検出する赤外光と車両周辺情報を検出する可視光の情報を得ることができる。
〈応用例〉
ここでは応用例として、本実施の形態に係る画像処理装置を用いて車載機器制御システムを構成する例について説明する。
図39は、本実施の形態に係る画像処理装置を備えた車載機器制御システムの概略構成を例示する模式図である。図39を参照するに、車載機器制御システム300は、本実施の形態に係る画像処理装置10と、ヘッドランプ制御ユニット310と、ワイパー制御ユニット320と、車両走行制御ユニット330、ヘッドランプ350と、ワイパー360とを有する。なお、図39において、400は自動車等の自車両を示している。
車載機器制御システム300は、自車両400に搭載された画像処理装置10の撮像装置40で撮像した自車両進行方向前方領域(撮像領域)の撮像画像データを利用して、ヘッドランプの配光制御、ワイパーの駆動制御、その他の車載機器の制御を行う機能を有する。
撮像装置40で撮像された撮像画像データは、画像解析ユニット50に入力される。画像解析ユニット50は、前述のように、撮像装置40から送信される撮像画像データを解析することにより、例えば、自車両400の前方に存在する他車両の位置や方角、距離等を算出する。
又、画像解析ユニット50は、前述のように、他車両のテールランプを識別することで自車両400と同じ進行方向へ進行する先行車両を検出したり、他車両のヘッドランプを識別することで自車両400とは反対方向へ進行する対向車両を検出したりする。又、画像解析ユニット50は、前述のように、フロントガラス101に付着する雨滴102や異物等の付着物を検出したり、撮像領域内に存在する路面上の白線(区画線)等の検出対象物を検出したりする。
画像解析ユニット50の解析結果は、ヘッドランプ制御ユニット310に送られる。ヘッドランプ制御ユニット310は、例えば、画像解析ユニット50が算出した距離データから、自車両400の車載機器であるヘッドランプ350を制御する制御信号を生成する。
具体的には、例えば、先行車両や対向車両の運転者の目に自車両400のヘッドランプの強い光が入射するのを避けて他車両の運転者の幻惑防止を行いつつ、自車両400の運転者の視界確保を実現できるように、ヘッドランプ350のハイビーム及びロービームの切り替えを制御したり、ヘッドランプ350の部分的な遮光制御を行ったりする。
画像解析ユニット50の解析結果は、ワイパー制御ユニット320にも送られる。ワイパー制御ユニット320は、ワイパー360を制御して、自車両400のフロントガラス101に付着した雨滴102や異物等の付着物を除去する。ワイパー制御ユニット320は、画像解析ユニット50が検出した異物検出結果を受けて、ワイパー360を制御する制御信号を生成する。ワイパー制御ユニット320により生成された制御信号がワイパー360に送られると、自車両400の運転者の視界を確保すべく、ワイパー360を稼動させる。
又、画像解析ユニット50の解析結果は、車両走行制御ユニット330にも送られる。車両走行制御ユニット330は、例えば、画像解析ユニット50が検出した白線検出結果に基づいて、白線によって区画されている車線領域から自車両400が外れている場合等に、自車両400の運転者へ警告を報知する。又、車両走行制御ユニット330は、例えば、自車両400のハンドルやブレーキを制御する等の走行支援制御を行ったりする。
このように、本実施の形態に係る画像処理装置10を用いて車載機器制御システム300を構成することができる。但し、本実施の形態に係る画像処理装置10は、車載機器制御システムに限らず、例えば、撮像画像に基づいて物体検出を行う物体検出装置を搭載したその他のシステム等にも適用できる。
以上、好ましい実施の形態及びその変形例について詳説したが、上述した実施の形態及びその変形例に制限されることはなく、特許請求の範囲に記載された範囲を逸脱することなく、上述した実施の形態及びその変形例に種々の変形及び置換を加えることができる。
例えば、上記実施の形態及びその変形例では、画像センサ43がモノクロ画像用の撮像素子であることを前提として説明した。しかし、画像センサ43は、カラー用撮像素子であってもよい。画像センサ43がカラー用撮像素子である場合、カラー用撮像素子の各画素に付属するカラーフィルタの特性に応じて、偏光フィルタ層47と分光フィルタ層49a及び49bの各領域の光透過特性を調整すればよい。
又、上記実施の形態及びその変形例では、フィルタ基板46の撮像レンズ41側の面に分光フィルタ層49aを形成し、充填材48の画像センサ43側の面に分光フィルタ層49bを形成する例を示した。しかし、フィルタ基板46の撮像レンズ41側の面に分光フィルタ層49bを形成し、充填材48の画像センサ43側の面に分光フィルタ層49aを形成してもよい。
但し、この場合も前者と同様の効果を奏するが、分光フィルタ層49aと分光フィルタ層49bの境界部分が前者よりもボケて、雨滴検出用画像領域と車両検出用画像領域との境界が不明瞭となる虞がある。よって、雨滴検出用画像領域と車両検出用画像領域との境界をより明瞭にするためには、前者の構造の方が好ましい。