以下、添付図面を参照しつつ本発明の一実施形態を説明する。
図1は一実施形態に係る自動車11を概略的に示す。自動車(車両)11の車体12には運転支援装置13が搭載される。運転支援装置13はナビゲーション装置14を備える。ナビゲーション装置14はディスプレイパネル(表示装置)を有する。ディスプレイパネルは例えば自動車11のダッシュボードに設置されることができる。ディスプレイパネルの表示画面には地図その他の情報が表示されることができる。
運転支援装置13は、ナビゲーション装置14に接続される車載カメラシステムを構成するカメラユニット16を備える。カメラユニット16は例えば車体12の前部に設置される。カメラユニット16は例えば自動車11のフロントバンパーに取り付けられる。カメラユニット16の光軸17は例えば自動車11が置かれる地面に対して平行に設定される。カメラユニット16は車体12前方の被写体を撮像する。カメラユニット16は光軸17を基準として地面と平行な水平方向に少なくとも±90°、及び地面に対し垂直方向に少なくとも±90°の範囲の撮像を行うことができる。こうした画角範囲の実現にあたってカメラユニット16では例えば魚眼レンズや広角レンズが用いられることができる。
カメラユニット16は撮像画像に基づき画像信号を生成する。ナビゲーション装置14にはカメラユニット16から画像信号が供給される。ディスプレイパネルの表示画面には画像信号に基づき車体12前方の画像が映し出されることができる。撮像画像は例えば自動車11の自動運転やブレーキ支援システム、車線逸脱防止システムなどに利用されることができる。例えば画像認識技術に基づき車体12前方の環境は把握されることができる。自動運転やブレーキ支援システム、車線逸脱防止システムなどの構築にあたって必ずしもディスプレイパネルに画像信号は供給されなくてもよい。
図2に示されるように、カメラユニット16は筐体21を備える。筐体21は前側のフロントケース21aと後側のリアケース21bとに分割される。フロントケース21aにはレンズ窓22が区画される。レンズ窓22には筐体21の内側からレンズ23が嵌め込まれる。こうしてレンズ23は筐体21に支持される。リアケース21bにはケーブル24が保持される。ケーブル24からナビゲーション装置14に画像信号は送信される。
レンズ23は光軸17回りに軸対称の形状に形成される。レンズ23の形状に対応してレンズ窓22の形状は中心軸CX回りに軸対称の形状となる。レンズ23がレンズ窓22に嵌め込まれると、レンズ23の光軸17はレンズ窓22の中心軸CXに一致する。
カメラユニット16は、レンズ23に向かってレンズ23の表面の像を反射する位置に配置される鏡25a、25b、25cを備える。鏡25a、25b、25cの光を反射する面(鏡面)はカメラユニット16に対向する側だけにあればよい。反射されたレンズ23の表面の像は、カメラユニット16に撮像画像として捉えられる。
個々の鏡25a、25b、25cは個別に支持アーム26a、26b、26cの先端に支持される。支持アーム26a、26b、26cは例えば筐体21のリアケース21bに固定される。中心軸CXとレンズ23の表面との交点を起点とした垂直線VLは鏡25aの表面中央を通りかつ鏡25aと直交している。また、中心軸CXとレンズ23の表面との交点を起点とした水平線HLは鏡25b、25cの表面中央を通りかつ鏡25b、25cと直交している。垂直線VLおよび水平線HLは仮想平面内に規定されてレンズ23の光軸17に直交する。水平線HLは光軸17との交点で垂直線VLに直交する。水平線HLは地面と平行に設定される。鏡25a、25b、25cは光軸17回りで中心角90度の間隔で配列される。
図3に示されるように、筐体21内には撮像素子アセンブリ28が収容される。撮像素子アセンブリ28は実装基板29を備える。実装基板29には撮像素子31が実装される。撮像素子31の四角形状の撮像面32には画素が配置されている。撮像面32の輪郭は例えば正方形に形成される。撮像画像の中心は撮像面32の対角線33の交点で特定されることができる。撮像画像の水平線は撮像面32の輪郭の上下二辺に平行に規定され、撮像画像の垂直線は撮像面32の輪郭の左右二辺に平行に規定される。撮像素子31には例えばCCD(電荷結合素子)イメージセンサやCMOS(相補性金属酸化膜半導体)イメージセンサ、その他の固体撮像素子イメージセンサが用いられればよい。
実装基板29はレンズホルダ34に取り付けられる。取り付けにあたってレンズホルダ34の固定面34aに実装基板29の固定片35が重ねられる。固定面34aにはねじ孔が穿たれる。ねじ孔の軸心は固定面34aに直交すればよい。固定片35にはねじ36の軸を受け入れる空間が区画される。ねじ孔にねじ36がねじ込まれると、ねじ頭は固定面34aに固定片35を押し付ける。実装基板29とレンズホルダ34との結合にあたってねじ止め以外の手法が用いられてもよい。
レンズホルダ34にレンズ23は取り付けられる。取り付けにあたってレンズ23には金属フレーム37が固定される。金属フレーム37は例えば板材から打ち抜き加工される。レンズ23は金属フレーム37に嵌め込まれる。金属フレーム37はレンズホルダ34に装着される。
レンズホルダ34には開口38が区画される。開口38は、レンズ23の光軸17回りに軸対称の形状に区画される。レンズホルダ34にレンズ23および実装基板29が結合されると、レンズ23の光軸17は、撮像面32に直交して撮像面32の対角線33の交点で撮像面32に交差する垂線39に一致する。ここでは、実装基板29およびレンズホルダ34は、撮像素子31を支持する支持体を形成する。
撮像素子アセンブリ28の収容空間は気密を保つように密閉される。密閉にあたってフロントケース21aのレンズ窓22とレンズ23との間にはパッキン41が配置される。パッキン41はレンズ窓22の隙間を塞ぐ。同様に、フロントケース21aおよびリアケース21bの間にはパッキン42が装着される。パッキン42はフロントケース21aおよびリアケース21bの間で隙間を埋める。パッキン42を装着した後リアケース21bはフロントケース21aにねじ止めされればよい。
図4に示されるように、撮像素子31には信号処理部(Image Signal Processor)45が接続される。信号処理部45には撮像素子31から撮像画像を特定する電気信号が供給される。信号処理部45は、供給された電気信号に対してゲイン処理や輪郭強調、ガンマ処理を実施する。信号処理部45には増幅部46が接続される。増幅部46は、信号処理部45で処理された電気信号を増幅する。こうして画像信号は生成される。画像信号は例えばナビゲーション装置14に供給される。
信号処理部45には、予め記録された像に鏡25から反射するレンズ23の表面の像を照らし合わせてレンズ23の表面の変化を検出する画像処理部47が接続される。画像処理部47には信号処理部45から処理後の電気信号が供給される。画像処理部47は、部分マスクに基づき撮像画像から少なくともレンズ23の表面の像を含むカメラユニット16の像以外の画像を削除する削除手段48と、残されたカメラユニット16の像のエッジ画像を生成するエッジ画像生成手段49と、予め埃や水滴等の異物の付着のない状態で撮像し、その画像からカメラユニット16の像の部分を切り出し、切り出したものからエッ画像を生成し記録した基準画像と、エッジ画像生成手段49で生成された画像を比較してエッジの変化を検出する比較算出手段51とを備える。比較算出手段51は、基準画像とエッジ画像生成手段49で生成されたエッジを比較し、予め決められた閾値よりも大きい差分を検出すると、警告信号を出力する。警告信号は、画像処理部47に接続される通信回路52から有線または無線で例えばナビゲーション装置14に送信される。
画像処理部47には記憶部53が接続される。記憶部53は例えばROM(リードオンリーメモリ)から構成されればよい。記憶部53には、比較算出手段51で使用される基準画像54と、削除手段48で使用される部分マスク55とが記録される。
次に、図5に記載のフローチャートを参照しつつカメラユニット16の処理動作を説明する。ステップS1で、画像処理部47は信号処理部45から撮像画像の画像信号を取り込む。このとき、運転支援装置13は映像を撮影し続ける。映像は、1秒あたりに指定されるフレーム数の画像で構成される。映像信号は信号処理部45および増幅部46を経てナビゲーション装置14に供給される。映像は画像認識処理に基づき解析され自動運転やブレーキ支援システム、車線逸脱防止システムに利用される。個々の画像には、図6に示されるように、鏡25に映るカメラユニット16の像が含まれる。鏡25に映るカメラユニット16は時々刻々と撮像される。
ステップS2で、削除手段48は、図7に示す部分マスク55に基づき、図8に示されるように撮像画像の画像信号からカメラユニット16の像の画像信号を抽出する。ステップS3で、エッジ画像生成手段49は、図9に示されるように、抽出されたカメラユニット16の像からエッジ画像を生成する。ステップS4で、比較算出手段51は基準画像54と前述のエッジ画像を比較する。差分が判定される。ここでは、例えば、1画素ごとに輝度値の差分が絶対値で算出される。絶対値が所定の閾値以上であれば、画像処理部47はステップS6で警告信号を出力する。絶対値の平均値が所定の閾値を下回れば、画像処理部47はそのまま処理を終了する。これら一連の処理は撮像素子31の撮像動作のたびに実施されてもよく指定の時間間隔で実施されてもよい。尚、所定の閾値とは、レンズ23に埃や水滴等の異物と付着させた状態と、異物が付着していない状態との差分を、異物の付着量を変化させながら実験的に求めることで規定すればよい。
基準画像54および部分マスク55の生成にあたってカメラユニット16では予めキャリブレーションが実施される。キャリブレーションはカメラユニット16の取り付け作業者によって実施されればよい。あるいは、本実施形態のようにレンズ23に対して鏡25が一体的に固定される場合には、製品の出荷前に予め記憶部53に記録されてもよい。
図10に示されるように、車載カメラシステムは車両としての自動車11の車体12に固定される鏡56a、56b、56cを備えてもよい。この場合には、カメラユニット16aは、自動車11の車体12に取り付けられて、レンズ23を支持するとともに、画像処理部45を収容する筐体21を備える。カメラユニット23と鏡56a、56b、56cとは個別に車体12に支持される。カメラユニット23および鏡56a、56b、56cが車体12に取り付けられて初めてレンズ23と鏡56a、56b、56cとの間で位置が固定される。鏡25a、25b、25cは前述の鏡25a、25b、25cと同様に構成され(配置され)ればよい。
なお、1つの鏡25でレンズ23の必要領域を画像として撮像できる場合には、鏡は鏡25a、25b、25cのうち1つあればよい。鏡56a、56b、56cについても同様である。