JP2010245846A

JP2010245846A - 車両の周辺監視装置

Info

Publication number: JP2010245846A
Application number: JP2009092380A
Authority: JP
Inventors: Tadahiko Kano; 忠彦加納
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2009-04-06
Filing date: 2009-04-06
Publication date: 2010-10-28
Anticipated expiration: 2029-04-06
Also published as: JP5179428B2

Abstract

【課題】車両に搭載された撮像装置を備え、該撮像装置によって撮像された撮像画像から車両の周辺の対象物を検出する車両周辺監視装置を提供する。
【解決手段】装置は、車両の周辺に対して光を投射する投光手段を備える。該投光手段は、撮像装置の撮像素子の感度が所定値より低い波長の光を投光するよう構成される。また、該装置は、該撮像装置の撮像素子の感度が所定値より低い波長の光を、撮像素子の感度が所定値より高い波長の光に波長変換する波長変換膜を備える。撮像装置は、該波長変換膜で変換された光を撮像素子で受光することにより、撮像画像を生成する。撮像素子の感度が低い波長の光を投射し、これを感度の高い波長の光に変換することにより、車両周辺の歩行者等の眩惑やハレーションを防止し、コスト高を招くことなく、対象物の検出精度を維持することができる。
【選択図】図３

Description

この発明は、投光を用いて車両の周辺を監視する装置に関する。

従来より、車両に撮像装置を搭載して、車両の周辺に存在する歩行者などの対象物を検出し、その情報を運転者に知らせることによって運転を支援することが行われている。

下記の特許文献１には、可視光および近赤外線を投光する走行用投光器と、可視光を投光するすれ違い用投光器とを設け、暗視装置が起動されたときには、両方の投光器を点灯させて車両前側近方を照明しつつ、対象物で反射した近赤外線を暗視カメラによって撮影した映像を表示装置上に表示する。ここで、走行用投光器からの可視光はフィルタにより遮断されるので、対向車や先行車の運転者を眩惑させることなく、映像を表示することができる。

特開２００５−２９０６６号公報

上記の特許文献のように、従来の近赤外線を撮像する暗視カメラには、たとえばＳｉ（シリコン）系の撮像素子が用いられている。典型的なＳｉ系の撮像素子の場合、近赤外線領域においては、波長が長くなるほど感度が低下する。そのため、より感度の高い、すなわち、より可視光領域に近い波長の近赤外光を用いて、撮像を行う。しかしながら、可視光領域に近い波長の光までを用いると、車両の周辺の歩行者や他の車両の運転者に眩惑を生じさせるおそれが出てくる。

また、撮像素子の近赤外光に対する感度は、可視光に比べて低く、通常のＣＣＤカメラにおける近赤外光に対する感度では、その撮像画像が不明瞭になるおそれがある。これを回避するためには、近赤外光に対する感度を向上させた、より高価な撮像装置を用いる必要が生じうる。

また、車両のヘッドランプなどの投光器には、上記の特許文献１にもあるように、近赤外光が含まれており、該文献１では、この近赤外光を利用して、暗視カメラでの撮像を行っている。しかしながら、撮像装置で感度を有する近赤外光と、車両の投光器からの近赤外光とが同じ波長を有すると、同じシステムを備えた対向車とすれ違うとき、一方のシステムの投光器からの近赤外光が、他方のシステムの撮像装置で感知されてしまい、これは、ハレーションを生じさせたり、ノイズとなるおそれがある。

したがって、上記のような問題を生じさせることなく、車両の周辺の対象物を検出することができる装置が所望されている。

この発明の一つの側面によると、車両に搭載された撮像装置を備え、該撮像装置によって撮像された撮像画像から車両の周辺の対象物を検出する車両周辺監視装置は、車両の周辺に対して光を投射する投光手段であって、撮像装置の撮像素子の感度が所定値より低い波長の光を投光するよう構成される投光手段と、前記撮像装置の撮像素子の感度が所定値より低い波長の光が対象物において反射された反射光を、撮像素子の感度が所定値より高い波長の光に波長変換する波長変換膜と、を備える。撮像装置は、該波長変換膜で変換された光を撮像素子で受光することにより、撮像画像を生成する。

この発明によれば、波長変換膜により、撮像素子の感度が低い波長の光が、撮像素子の感度が高い波長の光に変換されるので、投射する光を、撮像素子の感度特性によって制限されることなく選択することができ、よって、投射する光として、可視光領域から、より離れた波長の光を選択することが可能となる。これにより、投光によって車両周辺の歩行者や他の車両の運転者を眩惑するのを防止することができる。また、波長変換膜により、撮像素子の感度が低い波長の光を、撮像素子の感度が高い波長の光に変換するので、撮像装置の感度を良好に維持することができる。該感度を向上させるために、より高価な撮像装置を用いる必要はなく、Ｓｉ系の撮像素子のような既存の撮像素子を用いることができる。さらに、撮像素子の感度が低い波長の光を投射するので、同様のシステムが対向車に搭載されている場合でも、互いの撮像装置にハレーションやノイズが生じるのを抑制することができる。

この発明の一実施形態では、前記撮像装置の撮像素子の感度が所定値より低い波長の光は、非可視光であると共に、前記撮像素子は、可視光の波長領域で高い感度を有する撮像素子であり、前記撮像画像は、第１の撮像画像として生成される。さらに、前記波長変換膜を用いることなく、可視光が対象物において反射された反射光を前記撮像素子で受光することによって第２の撮像画像を生成する手段と、前記第２の撮像画像に基づいて、前記撮像素子の出力信号が飽和しているかどうかを判断する飽和判断手段と、前記飽和判断手段によって前記撮像素子の出力信号が飽和していると判断されたならば、前記第１の撮像画像を選択し、前記飽和判断手段によって前記撮像素子の出力信号が飽和していると判断されなければ、前記第２の撮像画像を選択する選択手段と、を備える。前記対象物の検出は、前記選択手段によって選択された第１または第２の撮像画像から行われる。

車両の周辺が明るい場合に、たとえば対向車がヘッドライトを点灯しているときや、対向車が近赤外光を投射しているとき、上記のような飽和が生じうるが、このような飽和は、対象物の検出を困難にする。この発明によれば、このような飽和が生じていない状態では、可視光によって撮像された画像（第２の撮像画像）を用いて対象物検出を行うが、このような飽和が生じていると判断されたときには、非可視光を波長変換することにより撮像された画像（第１の撮像画像）を用いて対象物を検出する手法に切り換えられる。したがって、車両周辺の光量に適した対象物検出が可能となるので、対象物の検出精度を良好に維持することができる。

本発明のその他の特徴及び利点については、以下の詳細な説明から明らかである。

この発明の一実施例に従う、車両周辺監視装置の構成を示すブロック図。この発明の一実施例に従う、投光機および撮像装置の取り付け位置を説明するための図。この発明の一実施例に従う、撮像装置のブロック図。この発明の一実施例に従う、撮像素子の分光感度特性を示す図。この発明の一実施例に従う、波長変換膜の構成を示す図。この発明の他の実施例に従う、撮像装置のブロック図。この発明の一実施例に従う、画像処理ユニットの機能ブロック図。この発明の一実施例に従う、画像処理ユニットによって実行される処理のフローチャート。

次に図面を参照してこの発明の実施の形態を説明する。

図１は、この発明の一実施形態に従う、車両の周辺監視装置の構成を示すブロック図である。該装置は、車両の前方に所定の光を投射するよう車両に搭載された投光機１と、車両の前方に存在する対象物を撮像するよう車両に搭載された撮像装置３と、車両の運転状態を検出する運転状態検出部５と、検出された運転状態を用いつつ、撮像装置３によって得られる画像データに基づいて車両周辺の対象物を検出するための画像処理ユニット７と、該検出結果に基づいて音声で警報を発生するスピーカ９と、撮像装置によって得られる画像を表示すると共に、運転者に車両周辺の対象物を認識させるための表示を行う表示装置１１とを備えている。

画像処理ユニット７は、入力アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路、デジタル化した画像信号を記憶する画像メモリ、各種演算処理を行う中央演算処理装置（ＣＰＵ）、ＣＰＵが演算に際してデータを記憶するのに使用するＲＡＭ（ランダムアクセスメモリ）、ＣＰＵが実行するプログラムおよび用いるデータ（テーブル、マップを含む）を記憶するＲＯＭ（リードオンリーメモリ）、スピーカ９に対する駆動信号および表示装置１１に対する表示信号などを出力する出力回路を備えている。撮像装置３の出力信号は、デジタル信号に変換されてＣＰＵに入力されるよう構成されている。

図２を参照すると、この実施例では、投光機１は、１Ｒおよび１Ｌとして示されているように、車両の前方に投光するよう、車両２１のフロントバンパー部に左右に一台ずつ、両者の路面からの高さが等しくなるよう取り付けられている。撮像装置３は、車両の前方を撮像するよう、車室内のルームミラーの裏側に取り付けられている。

投光機１は、撮像装置３の撮像素子の感度が所定値より低い波長の光を投射するよう構成されており、好ましくは、撮像装置３の撮像素子の感度が生じない波長の光を投射するよう構成されている。投光機１の光源としては、たとえばハロゲンランプ、発光ダイオード（ＬＥＤ）、レーザ等を用いることができる。

図３は、撮像装置３の概略的な構成を示す。撮像装置３は、レンズ３１と、レンズ３１を通過した光を透過するよう配置され、特定の波長の光を遮断するフィルタ３３と、フィルタ３３を通過した光を受光するよう配置され、該光の波長を変換する波長変換膜３５と、該波長変換膜３５により変換された後の光を受光するよう配置されたイメージセンサ３７と、を備える。

フィルタ３３は、投光機１が投射した光の波長以外の光を遮断するよう構成されている。したがって、フィルタ３３は、投光機１で投射した光が対象物に当たって反射した反射光を通過させることができる。

波長変換膜３５は、フィルタ３３を透過した光、すなわち投光機１からの光の反射光の波長を変換するよう構成されている。変換後の波長は、イメージセンサ３７の撮像素子において感度が生じる波長に設定され、好ましくは、イメージセンサ３７において最も高い感度が生じる波長に設定される。波長変換された光は、イメージセンサ３７に入射する。

イメージセンサ３７は、受光した光を電気に変換する光電変換素子であるフォトダイオードが二次元に配列されたアレイを有するよう構成されている。たとえば、Ｓｉ（シリコン）系の固体撮像素子である、いわゆるＣＣＤイメージセンサやＣＭＯＳイメージセンサを用いることができる。イメージセンサ３７は、二次元に配列された各フォトダイオードで該入射した光を受光することにより、撮像画像を生成する。撮像される対象物の輝度が高いほど、撮像素子から出力される信号のレベルは高くなる（すなわち、撮像画像における階調値が高くなる）。

ここで図４を参照すると、この実施例のイメージセンサ３７について使用することのできる、Ｓｉ系の固体撮像素子の分光感度特性が示されており、横軸は波長（ｎｍ）を表し、縦軸は、最大感度を基準値１とした場合の相対感度を表している。可視光は、約３８０〜７８０ｎｍの波長を有するので、該撮像素子は、可視光領域において高い感度を有することがわかる。略５５０ｎｍの波長の付近において、最も高い感度を有する。他方、この分光感度特性で示されるように、近赤外線の波長領域（約７８０ｎｍ〜）においては、その波長が長くなるほど感度が低くなり、１１００ｎｍ以上の波長領域においては、感度が生じていない。

したがって、一実施例では、撮像素子の感度が低い波長として、８００ｎｍ以上の波長を選択し、投光機１は、該波長の光（たとえば、波長８００ｎｍの近赤外光）を投射するよう構成される。フィルタ３３は、該投光機１からの光の波長以外の波長を遮断するよう、すなわち８００ｎｍより小さい波長の光を遮断するよう構成される。波長変換膜３５は、受光した８００ｎｍ以上の波長の光を、撮像素子の感度が高い可視光の波長、好ましくは、図４の分光感度特性において最も感度の高い波長である略５５０ｎｍに変換するよう構成される。

より好ましい他の実施例では、撮像素子の感度が生じない波長として、１１００ｎｍ以上の波長を選択し、投光機１は、該波長の光（たとえば、波長１１００ｎｍの近赤外光）を投射するよう構成される。フィルタ３３は、該投光機１からの光の波長以外の波長を遮断するよう、すなわち１１００ｎｍより小さい波長の光を遮断するよう構成される。波長変換膜３５は、受光した１１００ｎｍ以上の波長の光を、撮像素子の感度が高い可視光の波長、好ましくは、図４の分光感度特性において最も感度の高い波長である略５５０ｎｍに変換するよう構成される。

このように、本願発明によれば、投光機１から投射する光の波長を、イメージセンサ３７の感度に制限されることなく選択することができ、よって、人間の目には感知されない（すなわち、非可視光の）の波長領域の光を選択することができる。したがって、投光によって、車両周辺の歩行者や他の車両の運転者を眩惑させることを防止することができる。

可視光領域に近い波長、たとえば８００ｎｍより小さい波長の光を投光すると、近赤外光であっても、車両周辺の歩行者や他の車両の運転者にまぶしさを感じさせることがある。特に上記他の実施例では、可視光領域から離れた波長領域（１１００ｎｍ以上の波長）の光を投射するので、このようなまぶしさを、より確実に防止することができる。

また、波長変換膜３５の作用により、イメージセンサ３７の感度の低い波長の光を、感度の高い波長の光に変換するので、イメージセンサ３７による検出精度を良好に維持することができる。また、このような波長変換により、ＣＣＤおよびＣＭＯＳイメージセンサのような既知のイメージセンサを利用することができ、コストを低く抑えることができる。

さらに、投光機１によって投射する光の波長は、イメージセンサ３７の感度が低い、もしくは感度が生じない波長である。したがって、同様のシステムを搭載した対向車とすれ違うとき、自車両から投射される光によって、該対向車の撮像装置にハレーションやノイズが生じるのを回避することができると共に、対向車から投射される光によって、自車両の撮像装置３にハレーションやノイズが生じるのを回避することができる。

また、フィルタ３３によって、対向車のヘッドライト（近赤外光を含むことがある）や、対向車に搭載された投光システムから照射される光に対し、本願の投光機１からの光には含まれない波長の光を排除することができるので、ハレーションやノイズが発生するのを防止することができる。

さらに、検知対象物が歩行者である場合には、投光機１からの上記のように選択された波長の光は、人間の衣服や頭髪の反射率が比較的高いので、検知性能を向上させることができる。

なお、上記の８００ｎｍおよび１１００ｎｍという数値は一例であり、投射する光の波長としてどの波長を選択するかは、イメージセンサ３７として用いる撮像素子の分光感度特性に応じて調整されるのがよい。すなわち、投光機１からの光としては、非可視光であって、撮像素子の感度が所定値以下である、もしくは感度がゼロである波長の光が選択され、波長変換膜３５は、このような波長の光を、撮像素子の感度が所定値以上となる、もしくは最も高い感度となる波長に変換するよう構成される。

図５（ａ）は、波長変換膜３５の正面図を示し、図５（ｂ）は、波長変換膜３５の断面図を示す。波長変換膜３５は、垂直方向および水平方向に互いに分離され、二次元に配列された複数の空間４１を有しており、各空間４１内には、蛍光体４３が充填されている。このような構成の波長変換膜は、任意の適切な手法により作成されることができる。例えば、ガラス基板４５上に、フォトリソグラフィ法のような周知のパターン転写技術により、隔壁４７で分離された各空間４１を作成し、該作成された空間４１内に、たとえばスクリーン印刷法によって蛍光体４３を塗布（印刷）し、その後、該空間４１の開放されている側をガラス基板４９によって封止する。

ここで用いる蛍光体４３は、（近）赤外光を可視光に変換する、いわゆるアップコンバージョンと呼ばれる蛍光体であり、赤外光により励起されることによって、可視光の発光を生じる元素（たとえば希土類元素）を含有している。蛍光体４３として用いる成分（材料）は、前述したように、変換元の光の波長と変換後の光の波長に基づいて選択され、図４のような分光感度特性の撮像素子を用いる場合には、８００ｎｍ以上の波長の光を、好ましくは１１００ｎｍ以上の波長を、略５５０ｎｍの波長の光に変換するよう選択される。

たとえば、特開昭５８−５７１１４号公報や特開平７−１３３１３５号公報、特開２００４−２９２５９９号公報には、このようなアップコンバージョンの蛍光体を用いて、波長８００ｎｍ以上の近赤外光を、５５０ｎｍ程度の波長の可視光（緑）に変換することが記載されている。

図６は、本願発明の他の実施形態に従う、撮像装置３の概略的な構成を示す。図３と同じ構成要素には、同じ符号が付けられている。図３の撮像装置３は、投光機１によって投射した光の反射光を波長変換膜３５で変換することにより、イメージセンサ３７で撮像していたが、図６では、この撮像経路に加え、対象物に反射された可視光を直接イメージセンサによって受光する撮像経路が設けられている。そのため、図３の撮像装置３の構成に加え、プリズム５１と、さらなるイメージセンサ５３とが設けられている。

ここで、イメージセンサ３７を第１のイメージセンサと呼び、イメージセンサ５３を第２のイメージセンサと呼ぶ。プリズム５１は、可視光と（近）赤外光とを分離するよう構成されており、周知のプリズムを用いることができる。

レンズ３１から入射した光は、プリズム５１によって、符号Ｒ１およびＲ２に示されるように、（近）赤外光の波長領域の光と可視光の波長領域の光とに分離される。赤外光の波長領域の光は、図３を参照して説明したような構成要素によって処理される。すなわち、該光は、フィルタ３３を透過し、波長変換膜３５によって波長変換され、その後、第１のイメージセンサ３７で受光される。他方、可視光の波長領域の光は、第２のイメージセンサ５３で直接受光される。

ここで、第２のイメージセンサ５３は、第１のイメージセンサ３７と同様に、フォトダイオードが二次元に配列されたイメージセンサであり、両者のイメージセンサは、同一の構成としてもよい。代替的に、第２のイメージセンサ５３に、たとえば周知の手法でカラーフィルタを設けることにより、該第２のイメージセンサ５３によってカラー画像を生成するようにしてもよい。

このような構成を取ることにより、レンズ３１を介した１つの入力で、（近）赤外光と可視光の両方の光を別個に検出することができる。したがって、昼間のように、車両の周辺に十分な光があって、可視光を直接受光することによって撮像可能な状況においては、第２のイメージセンサ５３によって撮像された画像を用いて対象物を検出し、夜間のように、車両の周辺に十分な光が存在せず、可視光のみでは撮像することができない状況においては、第１のイメージセンサ３７によって撮像された画像を用いることにより対象物を検出することができ、いずれの状況においても対象物の検出精度を維持することができる。

図７は、図１に示す画像処理ユニット７の機能ブロック図である。この図を参照して、画像処理ユニット７の動作の概要を説明する。この実施例では、撮像装置３として、図６に示すものが用いられる。

選択部６１は、運転状態検出部５（図１）によって検出された車両の運転状態に基づいて、車両の周辺が明るいのか暗いのかを判断する。ここで、任意の適切な手法によって、該明暗を判断することができる。

一例では、運転状態検出部５によって、車両のヘッドライトが点灯しているかどうかが検出される。点灯していることが検出されたならば、車両の周辺は暗いと判断し、点灯していることが検出されなければ、車両の周辺は明るいと判断する。

他の例では、運転状態検出部５として、車両の周辺の照度を検出する照度センサを車両に取り付け、該照度センサの検出値が所定値以下（すなわち、照度が低い）ならば、車両の周辺は暗いと判断し、そうでなければ、車両の周辺は明るいと判断する。

選択部６１は、暗いと判断したならば、第１の画像取得部６３を起動する。第１の画像取得部６３は、投光機１を起動して、前述したような波長の赤外光を投射させる。第１の画像取得部６３は、その反射光に応じた、撮像装置３の第１のイメージセンサ３７の出力信号を受け取り、これをＡ／Ｄ変換して、所定の画像メモリに記憶する。記憶された画像データを、第１の撮像画像と呼ぶ。

他方、選択部６１は、明るいと判断したならば、第２の画像取得部６５を起動する。第２の画像取得部６５は、撮像装置３の第２のイメージセンサ５３の出力信号を受け取り、これをＡ／Ｄ変換して、所定の画像メモリに記憶する。記憶された画像データを、第２の撮像画像と呼ぶ。

こうして、車両の周辺が暗いかどうかの判断に応じて、赤外光を受光することによって生成された第１の撮像画像および可視光を受光することによって生成された第２の撮像画像のいずれかが取得される。

対象物検出部６７は、こうして取得された第１または第２の撮像画像から、所望の対象物を検出する。所望の対象物は、任意のものでよく、たとえば、歩行者や先行車等の物体だけでなく、道路上の走行レーン（白線）等を含めることができる。検出手法は、任意の適切なものを採用することができる。

他方、飽和判定部６９は、第２の撮像画像を画像メモリから読み出して、該撮像画像の階調値のヒストグラムを作成し、階調値が飽和を示している（たとえば、階調値が所定値以上、または所定の最大値を示している）画素数をカウントする。該飽和している画素数が所定の閾値より大きければ、第２の撮像画像ではハレーション（白光り）が生じていると判断し、飽和と判定する。このようなハレーションが生じている画像からは、対象物を良好に検出することは困難である。

対象物検出部６７は、飽和判定部６９によって飽和が判定されたならば、第２の撮像画像を用いて対象物検出を行うことを禁止すると共に、第１の画像取得部６３を起動する。こうして、対象物検出部６７は、飽和と判定されたときには、第１の画像取得部６３によって取得された第１の撮像画像を用いて、対象物検出を行う。対象物検出の結果は、前述したように、スピーカ９を介して、および（または）表示装置１１上への表示を介して、運転者に報知される。この場合、車両の周辺は明るいと判断されているので、投光機１による投光は必要とされない。投光を行わなくても、太陽光には、投光に用いる光と同じ波長帯の光が含まれているので、該光が対象物で反射した反射光を、フィルタ３３、波長変換膜３５および第１のイメージセンサ３３を介して処理することにより、第１の撮像画像を取得することができる。

このように、車両の周辺が暗い場合には、投光を行って取得した第１の撮像画像を用いて対象物を検出し、車両の周辺が明るい場合には、第２の撮像画像（前述したように、カラー画像であることができる）を用いて対象物を検出する。車両の周辺が明るい場合でも、たとえば対向車がヘッドライトをつけているときや、対向車が近赤外光を投射しているときには、第２の撮像画像について飽和が生じているおそれがあるので、第２の撮像画像に基づいて、階調の飽和した画素数をカウントし、該飽和した画素数が多い場合には、第１の撮像画像を用いて対象物検出を行う。こうして、車両の周辺が明るい場合および暗い場合のいずれにおいても、対象物の検出精度を良好に維持することができる。

図８は、画像処理ユニット７によって実行されるプロセスのフローである。このプロセスは、所定時間間隔で実行されることができる。

ステップＳ１１およびＳ１２は、車両の周辺が暗いかどうかを判断するためのステップである。ステップＳ１１では、ヘッドライトが点灯しているかどうかを判断し、ステップＳ１２では、車両周辺の照度（前述したように、照度センサによって検出されることができる）が所定値以下かどうかを判断する。ステップＳ１１およびＳ１２の両方の判断がＹｅｓならば、車両の周辺は暗いと判断し、ステップＳ１３に進む。ステップＳ１１およびＳ１２のいずれかの判断がＮｏならば、車両の周辺は明るいと判断し、ステップＳ２１に進む。

ステップＳ１３において、車速（たとえば、車両に取り付けられた車速センサにより検出されることができる）が所定値以上かどうかを判断する。これは、車速が所定値より低い場合には、投光を禁止するためである。したがって、車速が所定値以上ならば、ステップＳ１４に進む。車速が所定値より低ければ、ステップＳ２１に進む。

ステップＳ１４において、投光機１に対して起動を指示する信号を送り、投光機１を起動させる。投光機１が起動されることにより、前述したように、撮像素子の感度が低い、または感度が無い波長の赤外光が投射され、第１のイメージセンサ３７によって第１の撮像画像が生成される。ステップＳ１５において、第１のイメージセンサ３７によって生成された第１の撮像画像を取得する。ステップＳ１６において、該取得した第１の撮像画像を用いて、対象物の検出処理を行う。ステップＳ１７において、該検出結果に応じて、運転者への報知が行われる。

他方、ステップＳ２１では、第２のイメージセンサ５３により生成された第２の撮像画像を取得する。ステップＳ２２において、該第２の撮像画像の階調値のヒストグラムを作成し、該ヒストグラムに基づいて、階調値が飽和している画素数をカウントし、該カウントした画素数が所定の閾値以下かどうかを判断する。該画素数が該所定の閾値以下であれば（ステップＳ２２がＹｅｓ）、ハレーションが生じていないと判断することができるので、ステップＳ１６に進み、第２の撮像画像を用いて、対象物の検出処理を行う。ステップＳ１７において、該検出結果に応じて、運転者への報知が行われる。

また、ステップＳ２２において、該カウントした画素数が該所定の閾値より大きければ、ハレーションが生じていると判断することができるので、ステップＳ１５に進み、第１のイメージセンサ３７によって生成された第１の撮像画像を取得する。前述したように、ステップＳ２１およびＳ２２を経由しているので、車両の周辺は明るいと判断されており、よって投光機１からの投光は必要とされない。したがって、ステップＳ２２の判断がＮｏの場合には、ステップＳ１４を実行することなく、ステップＳ１５に進む。ステップＳ１６では、ステップＳ１５で取得された第１の撮像画像を用いて、対象物の検出処理を実行する。ステップＳ１７において、該検出結果に応じて、運転者への報知が行われる。なお、ステップＳ２１で取得した第２の撮像画像は、用いられることなく破棄される。

ステップＳ１４で起動した投光機１をオフするタイミング（投光を停止するタイミングであり、たとえば投光機１の電源をオフするタイミング）は、任意に設定されることができる。一例では、ステップＳ１４において投光機１が一旦起動されて光の照射が開始されたならば、該起動された状態を維持し続ける。この場合、再びステップＳ１４が実行されるとき、投光機１が既に起動されている状態にあれば、そのままの状態を維持してステップＳ１５に進む。その後、ステップＳ１１からＳ１３のいずれかの判断がＮｏとなったとき（すなわち、車両周辺が明るいと判断されたとき、または車速が所定値より低くなったとき）、投光機１の電源をオフすることができる。

また、当該プロセスでは、ヘッドライトと照度の両方に基づいて、車両の周辺が暗いかどうかを判断しているが、前述したように、いずれか一方にのみ基づいて明暗を判断してもよい。また、このプロセスでは、ヘッドライトが点灯していないこと、および照度が所定値以下であることの２つの条件が満たされたときに暗いと判断しており、これによって判断の精度を高めているが、代替的に、いずれか一方の条件が満たされた場合に、暗いと判断してもよい。

なお、上記実施形態では、１つの撮像装置を用いているが、一対の撮像装置を、車軸を中心として左右に設置し、いわゆる三角測量法によって、撮像画像の対象物までの距離を算出することができるようにしてもよい。

また、図６においては、第１のイメージセンサ３７と第２のイメージセンサ５３とを別個に配置しているが、両者は、同じ構成のイメージセンサでよいので、１つのイメージセンサを設け、第１の撮像画像を取得する場合と第２の撮像画像を取得する場合とで、撮像装置３の構成を可変にするようにしてもよい。たとえば、第１の撮像画像を取得する場合にのみ、図３に示すようにフィルタ３３と波長変換膜３５が、該１つのイメージセンサの受光側に配置されるように、該フィルタ３３および波長変換膜３５を移動するための移動機構を設けてもよい。

また、各イメージセンサに所望の光を入射させるための光学部品の配置は、図６のものに限定されるものではなく、任意の適切な形態を用いることができる。たとえば、図６の実施例では、プリズム５１によって、可視光と赤外光とが別個の光路を辿るように分離されているが、このような分離を、フィルタによって行ってもよい。たとえば、レンズからの光を、任意の光学部品を用いて第１および第２の光路に分岐し、それぞれの光路に、（近）赤外光を透過させるフィルタと可視光を透過させるフィルタを配置することができる。

以上のように、この発明の特定の実施形態について説明したが、本願発明は、これら実施形態に限定されるものではない。

１投光機
３撮像装置
７画像処理ユニット
１１表示装置
３５波長変換膜
３７第１のイメージセンサ
５３第２のイメージセンサ

Claims

車両に搭載された撮像装置を備え、該撮像装置によって撮像された撮像画像から車両の周辺の対象物を検出する、車両周辺監視装置であって、
前記車両の周辺に対して光を投射する投光手段であって、前記撮像装置の撮像素子の感度が所定値より低い波長の光を投光するよう構成される投光手段と、
前記撮像装置の撮像素子の感度が所定値より低い波長の光が対象物において反射された反射光を、前記撮像素子の感度が所定値より高い波長の光に波長変換する波長変換膜と、を備え、
前記撮像装置は、前記波長変換膜で変換された光を前記撮像素子で受光することにより、前記撮像画像を生成する、
車両周辺監視装置。
前記撮像装置の撮像素子の感度が所定値より低い波長の光は、非可視光であると共に、前記撮像素子は、可視光の波長領域で高い感度を有する撮像素子であり、前記撮像画像は、第１の撮像画像として生成され、
前記波長変換膜を用いることなく、可視光が対象物において反射された反射光を前記撮像素子で受光することによって第２の撮像画像を生成する手段と、
前記第２の撮像画像に基づいて、前記撮像素子の出力信号が飽和しているかどうかを判断する飽和判断手段と、
前記飽和判断手段によって前記撮像素子の出力信号が飽和していると判断されたならば、前記第１の撮像画像を選択し、前記飽和判断手段によって前記撮像素子の出力信号が飽和していると判断されなければ、前記第２の撮像画像を選択する選択手段と、をさらに備え、
前記対象物の検出は、前記選択手段によって選択された第１または第２の撮像画像から行われる、
請求項１に記載の車両周辺監視装置。