JP2007228208A - 車両周囲監視装置 - Google Patents

Abstract

【課題】車両周囲監視装置において、夜間等における被視認性の向上を図りつつ、それ自体が主体的に動かない障害物に対しても、乗員に適切な注意を喚起させる。
【解決手段】ＣＣＤ撮像部１０と、ＣＭＯＳ撮像部２０と、車両の周囲の被写体領域Ｏに対して、近赤外線領域の照明光Ｉを照射する補助光照射手段４０と、被写体領域Ｏの像を担持した光Ｐのうち可視光領域の第一の光Ｐ１と近赤外線領域の第二の光Ｐ２とに分割し、第一の光Ｐ１をＣＣＤ撮像部１０に、第二の光Ｐ２をＣＭＯＳ撮像部２０に、それぞれ投影させる光学系３０と、被写体領域Ｏの各部分までの距離に関する情報Ｓ３を取得する距離情報算出部５０と、第一の光Ｐ１の像信号Ｓ１と第二の光Ｐ２の像信号Ｓ２とを合成して合成像信号Ｓ４を求め、距離に関する情報Ｓ３を第一の像信号Ｓ１に重畳して重畳像信号Ｓ５を求める信号合成処理部６０とを備える。
【選択図】図１

Description

本発明は、車両周囲監視装置に関し、詳細には、詳細には、車両に搭載されて車両の周辺を撮影するカメラから得る情報に関するものである。

近年、カメラおよびモニタを車両に搭載し、カメラで撮影して得られた画像情報を可視像としてモニタに表示させ、車両乗員の運転操作を助ける車載カメラシステムが普及している。

例えば、車両の後方や側方等の車両周囲（車両の一部を含む場合も含む）を撮影し、この撮影された画像や映像を車載モニタに表示して、後退操作や幅寄せ操作等の労力を軽減する車両周囲監視装置（駐車支援システムや側方モニタシステムなど）がある。

また、夜間等可視光による照明を得るのが難しい状況下でも、像を表示できるように、可視光領域の光像に代えて近赤外線領域や赤外線領域の光像を得るようにしたものもある。

しかし、これら近赤外線領域や赤外線領域（以下、近赤外線領域等という。）の光像は、昼間においては可視光領域の光像よりも視認性が劣るため、可視光領域の光像と近赤外線領域や赤外線領域の光像とをそれぞれ別異に撮像する２つのカメラを備えた車載監視カメラ装置が提案されている。

２つのカメラを備えた監視カメラ装置は、例えば、昼間は一方のカメラで撮像された可視光領域の光像を表示させ、夜間は他方のカメラで撮像された近赤外線領域等の光像を表示させるように構成されたものであり、この監視カメラ装置では、両光像の位置関係の対応容易化のために、各カメラに光像を導く光学系を、２つのカメラで兼用した構成が採用されている（特許文献１）。

また、一方のカメラで撮像された可視光領域の光像を表示することを基本としつつ、目視で認知しにくい夜間における生物や動きのある物体を、近赤外線領域等の光像を得る他方のカメラで撮像し、この他方のカメラで撮像された生物等の位置に対応する、可視光領域の光像における部分を、強調して表示するものもある（特許文献２）。
特開２００４−０９４０５０号公報 特開２００５−１８４５２３号公報

ところで、特許文献２の技術は、生物等を検知しやすくするものであるが、実際の運転操作では、生物等以外の動かない物体であっても障害物となり得るため、それ自体が主体的に動かない障害物に対しても、乗員に適切な注意を喚起させる必要がある。

また、乗員の視認性を確保すべく、夜間等における被視認性の向上を図る必要がある点については、特許文献１，２と同様にである。

本発明は上記事情に鑑みなされたものであり、夜間等における被視認性の向上を図りつつ、それ自体が主体的に動かない障害物に対しても、乗員に適切な注意を喚起させることができる車両周囲監視装置を提供することを目的とする。

本発明に係る車両周囲監視装置は、第二の撮像手段により、近赤外線領域等の光像を撮像するだけでなく、近赤外線領域等を含む照明光の照射との関係に基づいて、被写体までの距離を検出し、主に夜間は、第一の撮像手段で得られた可視光領域の光像と第二の撮像手段で得られた近赤外線領域等の光像とを、例えば近赤外線領域等の光像に重み付けするか、あるいは第二の撮像手段として近赤外線領域等の光に対する感度の高いものを用いるか等して、両光像を合成表示可能とすることで、被視認性の向上を図り、主に夜間以外は、被写体までの距離を文字（数値等）や色などの情報にして、第一の撮像手段で得られた可視光領域の光像に重畳表示可能とし、動かない障害物に対しても、乗員が適切に注意喚起できるようにしたものである。

すなわち、本発明に係る車両周囲監視装置は、第一の撮像手段と、第二の撮像手段と、車両の周囲の被写体に対して、少なくとも近赤外線領域または赤外線領域を含む照明光を照射する補助光照射手段と、前記車両の周囲の被写体の像を担持した光が入射し、この入射した光のうち少なくとも可視光領域を含む第一の光と少なくとも近赤外線領域または赤外線領域を含む第二の光とにその進行する光路を分割し、前記第一の光を前記第一の撮像手段に投影させ、前記第二の光を前記第二の撮像手段に投影させる光学系と、前記補助光照射手段および前記第二の撮像手段により得られた情報に基づいて、前記被写体までの距離に関する情報を取得する距離情報算出手段と、前記第一の撮像手段に前記第一の光が投影して得られた第一の光像と前記第二の撮像手段に前記第二の光が投影して得られた第二の光像とを、これら両像の位置関係を対応させて合成して合成像信号を求めるとともに、前記距離情報算出手段により取得された前記距離に関する情報を、前記第一の光像を表す像信号に重畳して重畳像信号を求める信号合成手段とを備えたことを特徴とする。

ここで、第一の撮像手段と第二の撮像手段とは、互いに同一である二つの撮像手段であってもよいが、第二の撮像手段の方が第一の撮像手段よりも、第二の光に対する感度が相対的に高い特性を有するものであることが好ましい。

例えば、ＣＭＯＳ撮像手段はＣＣＤ撮像手段よりも、第二の光に対する感度が相対的に高いため、第一の撮像手段としてＣＣＤ撮像手段を適用し、第二の撮像手段としてＣＭＯＳ撮像手段を適用することにより、好ましい構成を実現することができる。

また、第一の撮像手段としてＣＭＯＳ撮像手段を適用し、第二の撮像手段として、第一の撮像手段としてのＣＭＯＳ撮像手段よりも、第二の光に対する感度が一層高いＣＭＯＳ撮像手段を適用することによっても、好ましい構成を実現することができる。

同一の二つの撮像手段とする構成においては、信号合成手段が、第一の光像を表す第一の像信号と第二の光像を表す第二の像信号とを合成して合成像信号を生成する際に、第一の像信号よりも第二の像信号に相対的に加重する重み付けを行うなど、合成像信号は、光路分割前の元の被写体の像よりも、第二の光像が相対的に強調された像を再生しうる像信号であることが必要である。

一方、第二の撮像手段の方が第一の撮像手段よりも、第二の光に対する感度が相対的に高い特性を有するものである構成によれば、第二の撮像手段は、近赤外線領域や赤外線領域の周波数帯域の光に対する受光感度が第一撮像手段よりも高くなり、第一の撮像手段に投影される光と第二の撮像手段に投影される光とが全く同一であっても、第二の撮像手段の方が、第一の撮像手段よりも高感度に、その光の中に含まれる近赤外線領域や赤外線領域の光像等を撮影することができる。

したがって、信号合成手段が、第一の像信号よりも第二の像信号に相対的に加重する重み付けを行わない場合であっても、合成像信号は、光路分割前の元の被写体の像よりも、第二の光像が相対的に強調された像を再生しうる合成像信号となる。

なお、第二の撮像手段の方が第一の撮像手段よりも、第二の光に対する感度が相対的に高い特性を有するものである構成によれば、上記光学系のうち光路を分割する手段としてプリズムやビームスプリッタなど周波数帯域に応じて光路を分ける手段を適用する必要はなく、ハーフミラーなど周波数帯域に拘わらず単純に光路を２つに分割する手段を適用することもできる。

距離情報算出手段が、補助光照射手段および第二の撮像手段により得られた情報に基づいて被写体までの距離に関する情報を取得する処理の一例としては、補助光照射手段からパルス状の近赤外光（近赤外線領域の光）を被写体領域に出射し、第二の撮像手段を構成する各受光素子が、被写体領域の各部分で反射した近赤外光を受光するまでの時間間隔を測定することにより、第二の撮像手段を構成する各受光素子の配置位置に対応した被写体領域の各部分ごとの、第二の撮像手段との離間距離を算出することができる。

なお、本発明に係る車両周囲監視装置における距離情報算出手段による距離の求め方としては、上述の例示した方法のみに限定されるものではなく、公知の種々の方法を採用することができる。

重畳像信号は、距離に関する情報を文字化して第一の光像を表す像信号に重畳したものであってもよいし、距離に関する情報に応じた彩色像を生成して、この彩色像を第一の光像を表す像信号に重畳したものであってもよいし、距離に関する情報をその他の形式に変換した上で、その変換された情報を第一の光像を表す像信号に重畳したものであってもよい。

なお、信号合成手段が求めた合成像信号および重畳像信号を両方とも出力してもよいが、単一の表示手段（車両周囲監視装置自体が備えるものではなく外部の表示手段であっても、車両周囲監視装置自体が付加的に備えるものであってもよい。）に表示されるのは通常は一つの画像に過ぎないため、合成像信号および重畳像信号のうちいずれか一方を選択して出力するようにしてもよい。

この場合、合成像信号および重畳像信号のうちいずれか一方を選択する選択手段を新たに設け、信号合成手段は、この選択手段に入力された選択の指示に応じて、合成像信号または重畳像信号を出力するものとすればよい。

選択手段は、乗員の任意の選択指示を手動で入力することができる選択スイッチや選択ボタン等のようなものであってもよいし、太陽光による日射程度を検出する日射センサ等既存の車載機器からの情報に基づいて、自動的に選択を行うコントローラのようなものであってもよい。

選択手段に対する選択の視覚的なインターフェイスとしては、「昼のマーク」等または「夜のマーク」等に直接対応させてもよく、信号合成手段は、「昼」が選択されたときは重畳像信号を出力し、「夜」が指定されたときは合成像信号を出力することで、乗員に、理解し易いインターフェイスを提供することができる。

もちろん、信号合成手段が求めた合成像信号および重畳像信号を両方とも出力して同時に表示させるようにしてもよい。すなわち、表示手段の表示領域を区割りして、合成像信号に対応した像を区割りしたうちの一つの表示領域に表示させ、重畳像信号に対応した像を他の一つの表示領域に表示させてもよい。

本発明に係る車両周囲監視装置によれば、光学系に入射した車両周囲の被写体（路面や景色等）の像を担持した光は、光学系の光路分割手段によって、少なくとも可視光領域を含む第一の光と、少なくとも近赤外線領域または赤外線領域を含む第二の光とに、その進行する光路が分割され、第一の光は第一の光像として第一の撮像手段に投影され、第二の光は第二の光像として第二の撮像手段に投影される。

これにより、第一の撮像手段には、被写体の、主として可視光領域の光の像（第一の光像）が投影され、第一の撮像手段からは、この第一の光像を表す画像信号（第一の像信号）を得ることができる。

一方、第二の撮像手段には、被写体の、主として近赤外線領域または赤外線領域の光の像（第二の光像）が投影され、第二の撮像手段からは、この第二の光像を表す画像信号（第二の像信号）を得ることができる。

ここで一般に、太陽光の照射により得られる通常の可視像は、被視認性に優れた画像であるが、第二の撮像手段に入射する前の段階で、第二の光が光路分割によって分離除去された第一の光像には、可視像の視認性の低下を招く第二の光が含まれないため、第二の光が分離除去されていない通常の可視像よりも、被視認性が高められている。

一方、太陽光の照射がない夜間等の可視像は、明度、コントラスト、彩度がいずれも低く、被視認性が悪い。

これに対して、太陽光の照射により得られる昼間の近赤外線領域または赤外線領域の光像は、第一の光像よりも被視認性に劣る画像である。

一方、太陽光の照射がない夜間等の第二の光像は、第一の光像よりも、明度やコントラストを高くすることができ、第一の光像よりも被視認性を優れたものとすることができる。

以上より、昼間の被視認性は、
第一の光像＞通常の可視像＞第二の光像
という序列となり、左側のものほど被視認性が高い。

これに対して、夜間の被視認性は、
第二の光像＞第一の光像
という序列となり、第二の光像が第一の光像よりも被視認性が高い。ただし、夜間の被視認性に関しては、完全に真っ暗である場合以外は、可視光領域の光像との対応位置関係を認識できる方が、現実感を把握するうえで好ましい。

したがって、夜間等においては、信号合成手段により、第一の光像と第二の光像とを位置関係を対応させて合成された合成像信号を、画像表示に供することで、夜間の被視認性を向上させることができる。

一方、昼間においては、信号合成手段によって、距離情報算出手段により取得された距離に関する情報を第一の光像を表す像信号に重畳した重畳像信号を、画像表示に供することで、被写体までの距離に対する注意を喚起することができる。

このように、本発明に係る車両周囲監視装置は、夜間等における被視認性の向上を図りつつ、それ自体が主体的に動かない障害物に対しても、乗員に適切な注意を喚起させる。

また、本発明に係る車両周囲監視装置は、第一の撮像手段と第二の撮像手段とに共用される光学系を備えているため、第一の撮像手段と第二の撮像手段とに対して独立した光学系をそれぞれ備えた車両周囲監視装置に比べて、構成部品点数の増加を抑制することができ、構成部品点数の増加に伴う装置サイズの大型化や装置製造のコストの上昇を抑えることができる。

さらに、光路を分割する以前に対応する光学系の部分は、第一の撮像手段と第二の撮像手段とで共用されているため、第一の光像と第二の光像とで、対応する部位同士の位置合わせを容易にすることもできる。

本発明に係る車両周囲監視装置によれば、夜間等における被視認性の向上を図りつつ、それ自体が主体的に動かない障害物に対しても、乗員に適切な注意を喚起させることができる。

以下、本発明に係る車両周囲監視装置の最良の実施形態について、図面を参照して説明する。

図１は、本発明の一実施例である車両周囲監視装置１００の構成を示すブロック図である。図示の車両周囲監視装置１００は、車両に搭載されており、ＣＣＤカメラ１１およびＣＣＤ信号処理部１２からなるＣＣＤ撮像部１０（第一の撮像手段）と、ＣＭＯＳカメラ２１およびＣＭＯＳ信号処理部２２からなるＣＭＯＳ撮像部２０（第二の撮像手段）と、車両の周囲であって例えば車両後方の主として下方の被写体領域Ｏ（被写体）に対して、近赤外線領域の照明光Ｉを照射する補助光照射手段４０と、被写体領域Ｏの像を担持した光Ｐが入射し、この入射した光Ｐのうち可視光領域の第一の光Ｐ１と、近赤外線領域の第二の光Ｐ２とに、その進行する光路を分割し、第一の光Ｐ１をＣＣＤカメラ１１に投影させ、第二の光Ｐ２をＣＭＯＳカメラ２１に投影させる光学系３０と、補助光照射手段４０およびＣＭＯＳ撮像部２０により得られた情報に基づいて、被写体領域Ｏを構成する各部分までの距離に関する情報Ｓ３を取得する距離情報算出部５０（距離情報算出手段）と、ＣＣＤ撮像部１０に第一の光Ｐ１が投影して得られた第一の光像（Ｐ１）とＣＭＯＳ撮像部２０に第二の光Ｐ２が投影して得られた第二の光像（Ｐ２）とを、これら両像Ｐ１，Ｐ２の位置関係を完全に一致させて、両像Ｐ１，Ｐ２の各像信号Ｓ１，Ｓ２を合成して合成像信号Ｓ４を求めるとともに、距離情報算出部５０により取得された距離に関する情報Ｓ３を、第一の光像Ｐ１を表す像信号Ｓ１に重畳して重畳像信号Ｓ５を求める信号合成処理部６０（信号合成手段）とを備えた構成である。

ここで、ＣＣＤカメラ１１はＣＣＤ本体であり、ＣＣＤ信号処理部１２はＣＣＤカメラ１１から出力された像信号Ｓ１に対して所定の信号処理を施したり、ＣＣＤカメラ１１から像信号Ｓ１を出力させるための転送パルスをＣＣＤカメラ１１に与えている。

ＣＭＯＳカメラ２１はＣＭＯＳ本体であり、ＣＭＯＳ信号処理部２２はＣＭＯＳカメラ２１から出力された像信号Ｓ２に対して所定の信号処理を施したり、ＣＭＯＳカメラ２１から像信号Ｓ２を出力させるための転送パルスをＣＭＯＳカメラ２１に与えている。

光学系３０は、最も被写体領域Ｏに近い側に設けられた対物レンズ３１と、被写体領域Ｏの像を担持した光Ｐのうち可視光領域の第一の光Ｐ１と、近赤外線領域の第二の光Ｐ２とに、その進行する光路を分割するビームスプリッタ３２とを備えている。

なお、ＣＣＤカメラ１１とＣＭＯＳカメラ２１とには、互いに同一の大きさで、光Ｐ１，Ｐ２の光像Ｐ１，Ｐ２が結像するように、光学系３０とＣＣＤカメラ１１，ＣＭＯＳカメラ２１とが配置されている。

補助光照射手段４０は、近赤外線領域の照明光Ｉを出射する出射部４１と、出射部４１から出射される照明光Ｉが、所定のパルス状の光となるように、この出射部４１の駆動を制御する近赤外線駆動部４２とからなる。

ここで、車両周囲監視装置１００が搭載された当該車両には、カーナビゲーションシステムが装備されており、本実施形態の車両周囲監視装置１００の信号合成処理部６０から、このカーナビゲーションシステムの一部として既に備えられているモニタに、合成像信号Ｓ４または重畳像信号Ｓ５という出力信号Ｓ６が送出されて、当該モニタに、合成像信号Ｓ４に対応した合成像または重畳像信号Ｓ５に対応した重畳像が表示される。

なお、上述したカーナビゲーションシステムのようなモニタを含むシステムが備えられていない車両に搭載する車両周囲監視装置１００にあっては、信号合成処理部６０から出力される出力信号Ｓ６に応じた像を可視的に表示するモニタ（表示手段）をさらに備えた構成とすればよい。

次に本実施形態の車両周囲監視装置１００の作用について説明する。

まず、近赤外線駆動部４２が出射部４１を駆動制御して、出射部４１から近赤外線領域のパルス状の照明光Ｉを、被写体領域Ｏに向けて出射する。また、近赤外線駆動部４２は、出射部４１からの照明光Ｉの出射タイミングに対応した制御信号を、距離情報算出部５０に入力する。

照明光Ｉが照射された被写体領域Ｏからは、この照明光Ｉによる被写体領域Ｏからの反射光（近紫外線領域）と、太陽光等可視光の照明による被写体領域Ｏからの反射光（可視光領域）とが合成された状態の、被写体領域Ｏの像を担持した光Ｐが出射され、この光Ｐが光学系３０の対物レンズ３１に入力される。

対物レンズ３１に入射された光Ｐはビームスプリッタ３２に入射し、光Ｐのうち可視光領域の第一の光Ｐ１だけがビームスプリッタ３２を透過して、ＣＣＤカメラ１１の受光面上に、その第一の光Ｐ１が担持する光像Ｐ１として結像される。

一方、ビームスプリッタ３２に入射した光Ｐのうち近赤外線領域の第二の光Ｐ２はビームスプリッタ３２で反射され、ＣＭＯＳカメラ２１の受光面上に、その第二の光Ｐ２が担持する光像Ｐ２として結像される。

ＣＣＤカメラ１１に結像された第一の光像Ｐ１は、この第一の光像Ｐ１を表す第一の像信号Ｓ１に変換され、ＣＣＤ信号処理部１２において所定の信号処理が施されて、信号合成処理部６０に入力される。

一方、ＣＭＯＳカメラ２１に結像された第二の光像Ｐ２は、この第二の光像Ｐ２を表す第二の像信号Ｓ２に変換され、ＣＭＯＳ信号処理部２２において所定の信号処理が施されて、信号合成処理部６０に入力される。

ＣＭＯＳ信号処理部２２は、さらに、ＣＭＯＳカメラ２１の各受光素子が第二の光像Ｐ２を受光したタイミングを、距離情報算出部５０に入力する。

これにより、距離情報算出部５０には、照明光Ｉが被写体領域Ｏに向けて出射されたタイミング（近赤外線駆動部４２からの入力）と、ＣＭＯＳカメラ２１の各受光素子が、照明光Ｉの被写体領域Ｏによる反射光である第二の光Ｐ２を受光したタイミング（ＣＭＯＳ信号処理部２２からの入力）とが入力され、距離情報算出部５０は、これらのタイミングに基づいて、被写体領域Ｏの各部分とＣＭＯＳカメラ２１との離間距離を、当該各部分ごとに算出する。

ここで、ＣＭＯＳカメラ２１を構成する各受光素子の配置位置と、第二の光像Ｐ２の各部分の位置とは対応関係にあり、かつ、第二の光像Ｐ２の各部分の位置と被写体領域Ｏにおける各部分の位置とは対応関係にあるため、ＣＭＯＳカメラ２１の受光素子間での受光タイミングのずれは、被写体領域Ｏの各部分とＣＭＯＳカメラ２１との離間距離の差異を表す。

したがって、距離情報算出部５０は、上述したように、近赤外線駆動部４２から制御信号が入力されたタイミングとＣＭＯＳ信号処理部２２からＣＭＯＳカメラ２１の各受光素子が第二の光Ｐ２を受光したタイミングとに基づいて、被写体領域Ｏの各部分とＣＭＯＳカメラ２１との離間距離を、当該各部分ごとに算出することができる。

この距離情報算出部５０により求められた被写体領域Ｏの各部分ごとの離間距離に関する情報Ｓ３も、信号合成処理部６０に入力される。

信号合成処理部６０は、ＣＣＤ信号処理部１２から入力された第一の光像Ｐ１を表す第一の像信号Ｓ１と、ＣＭＯＳ信号処理部２２から入力された第二の光像Ｐ２を表す第二の像信号Ｓ２とを、両光像Ｐ１，Ｐ２の位置関係を完全に一致させて、両像信号Ｓ１，Ｓ２を合成して合成像信号Ｓ４を求める。

この合成像信号Ｓ４は、両像信号Ｓ１，Ｓ２の単純な加算平均（Ｓ４＝（Ｓ１＋Ｓ２）／２）であってもよいし、いずれか一方に重みを付けた加重平均（Ｓ４＝（ｍ・Ｓ１＋ｎ・Ｓ２）／（ｍ＋ｎ））であってもよい。

夜間の場合は、第一の光像Ｐ１に対応した像信号Ｓ１が極めて小さい値となるため、単純な加算平均よりも、第二の光像Ｐ２の像信号Ｓ２に対して相対的に重みをつけた加重平均（ｍ＜ｎ）を適用するのが好ましい。

さらに、信号合成処理部６０は、距離情報算出部５０により求められた距離に関する情報Ｓ３を、第一の光像Ｐ１を表す像信号Ｓ１に重畳して重畳像信号Ｓ５を求める。

この重畳像信号Ｓ５としては、距離に関する情報Ｓ３を、その距離に対応した数値等の文字情報に変換し、この文字情報を、第一の光像Ｐ１の像信号Ｓ１に重畳したものであってもよいし、距離に関する情報Ｓ３の当該距離に応じた彩色像をまず生成し、この彩色像を第一の光像Ｐ１の像信号Ｓ１に、位置関係を対応させて重畳したものであってもよい。

距離に関する情報Ｓ３を文字情報として、第一の光像Ｐ１の像信号Ｓ１に重畳した重畳像信号Ｓ５をモニタに表示するときは、第一の光像Ｐ１に、被写体領域Ｏとの距離が文字化されて重畳表示されるため、文字の大きさや太さ、色等に差異を与えたり、点滅させる等して、表示内容にインパクトを与えることができ、乗員に対して注意を喚起させる性能をより高めることができる。

一方、距離に関する情報Ｓ３を彩色像化して、第一の光像Ｐ１の像信号Ｓ１に重畳した重畳像信号Ｓ５をモニタに表示するときは、第一の光像Ｐ１に、被写体領域Ｏとの距離に応じて色彩の差異が設定された彩色像が、位置関係が対応して重畳表示されるため、像としての表示内容にインパクトを与えることができ、乗員に対して注意を喚起させる性能をより高めることができる。

以上のようにして、信号合成処理部６０によって求められた合成像信号Ｓ４および重畳像信号Ｓ５のうち、いずれか一方の信号Ｓ４またはＳ５が信号合成処理部６０により選択されて、外部のモニタ等に出力される。

この出力信号Ｓ６として、合成像信号Ｓ４を選択するか、重畳像信号Ｓ５を選択するかは、太陽光による日射程度を検出する日射センサ等既存の車載機器からの情報に基づいて自動的に選択を行うものであってもよいし、手動で選択する選択手段を新たに設けて、信号合成処理部６０は、この選択手段に入力された選択の指示に応じて、合成像信号Ｓ４または重畳像信号Ｓ５を出力するものとすればよい。

選択手段は、乗員の任意の選択指示を入力することができる選択スイッチのようなものであってもよい。

選択手段に対する選択の入力方法としては、「昼」または「夜」に直接対応させてもよく、信号合成手段は、「昼」が選択されたときは重畳像信号Ｓ５を出力し、「夜」が指定されたときは合成像信号Ｓ４を出力することで、理解し易いインターフェイスを乗員に提供することができる。

もちろん、信号合成処理部６０が、求めた合成像信号Ｓ４および重畳像信号Ｓ５を両方とも出力して、これら２つの像信号Ｓ４，Ｓ５に対応したつの像を、モニタに同時に表示させるようにしてもよい。すなわち、モニタの表示領域を区割りして、合成像信号Ｓ４に対応した像を区割りしたうちの一つの表示領域に表示させ、重畳像信号Ｓ５に対応した像を他の一つの表示領域に表示させてもよい。

以上、詳細に説明したように、本実施形態に係る車両周囲監視装置１００によれば、夜間等においては、信号合成処理部６０により、可視光領域の光像である第一の光像Ｐ１と近赤外線領域の光像である第二の光像Ｐ２とをこれら両者の位置関係を対応して合成された合成像信号Ｓ４を、モニタへの表示用の出力信号Ｓ６として出力することで、夜間の被視認性を向上させることができる。

一方、昼間においては、信号合成処理部６０により、距離情報算出部５０により求められた距離に関する情報Ｓ３を可視光領域の光像である第一の光像Ｐ１を表す像信号Ｓ１に重畳した重畳像信号Ｓ５を、モニタへの表示用の出力信号Ｓ６として出力することで、モニタに、単なる可視像を表示する場合よりも、移動体であるか静止物であるかに拘わらず被写体までの距離に対する乗員の注意力を喚起させることができる。

なお、光学系３０の画角が小さいと、その光学系３０により光像が投影されたＣＣＤカメラからは、太陽光の高照度を受けると、一般的にはスミアや白飛びが生じた像信号が出力されるが、本実施形態におけるＣＣＤ撮像部１０には、ビームスプリッタ３２により、近赤外線領域の光（第二の光）Ｐ２が入射しないため、ＩＲカットフィルタと同様の効果を得ることができ、第一の光像Ｐ１の色再現性を向上させることができる。

本実施形態に係る車両周囲監視装置１００は、ＣＣＤ撮像部１０とＣＭＯＳ撮像部２０とに共用される光学系３０を備えているため、ＣＣＤ撮像部１０とＣＭＯＳ撮像部２０とに対して独立した光学系をそれぞれ備える構成の車両周囲監視装置に比べて、構成部品点数の増加を抑制することができ、構成部品点数の増加に伴う装置サイズの大型化や装置製造のコストの上昇を抑えることができる。

さらに、光路を分割する以前に対応する光学系３０の要素（例えば、対物レンズ３１）は、ＣＣＤ撮像部１０とＣＭＯＳ撮像部２０とで共用されているため、第一の光像Ｐ１と第二の光像Ｐ２とで、対応する部位同士の位置合わせを容易にすることもできる。

本実施形態に係る車両周囲監視装置１００においては、信号合成処理部６０が、合成像信号Ｓ４または重畳像信号Ｓ５を、これら合成像信号Ｓ４または重畳像信号Ｓ５に基づく像の表示用として出力する出力信号Ｓ６のうち、表示のブランキング期間に対応した部分に、距離に関する情報Ｓ３を付加するのが好ましい。

すなわち、例えば、合成像信号Ｓ４を出力する場合には、信号合成処理部６０は図２に示すように、出力信号Ｓ６のうちフレームごとの合成像信号Ｓ４（画素ごとのＲＧＢデータの集まり；RGB Data 1，RGB Data 2，…，RGB Data N）の他に、表示の垂直ブランキング期間に対応する部分すなわちフレーム間に設けられたコントロールデータ領域（ＤＥ信号；CNTL Data 1，CNTL Data 2，…，CNTL Data N）に、距離に関する情報Ｓ３を埋め込めばよい。

なお、垂直ブランキング期間に対応する部分に埋め込むか、水平ブランキング期間に対応する部分に埋め込むかは、距離に関する情報Ｓ３の要求度合い（頻度等）に応じて選択すればよい。

ここで、図２に示した出力信号Ｓ６は、シリアルＬＶＤＳ（Low Voltage Differential Signaling；低電圧差動伝送または小振幅差動信号）により規定されたものである。

ＬＶＤＳにより規定された出力信号Ｓ６は、外部から与えられる雑音に対する耐性を十分に確保（雑音による影響を受けにくい）しつつ、その伝送速度を高速化することができる。

例えば図２に示したＬＶＤＳの出力信号Ｓ６は、１フレーム分の合成像信号Ｓ４（重畳像信号Ｓ５であっても同様）の各画素ごとデータRGB Data 1，RGB Data 2，…，RGB Data N（Ｒ，Ｇ，Ｂの各色についてそれぞれ６bit、合計１８bit）に、コントロールデータ領域の各ＤＥ信号CNTL Data 1，CNTL Data 2，…が続いており、各ＤＥ信号CNTL Data 1，…は、それぞれ９bitのデータ長を有し、垂直同期信号Ｖ、水平同期信号ＨおよびＲＧＢ同期信号Ｅによって３bit分（C0，C1，C2）は既に使用されている。

そこで、距離に関する情報Ｓ３は、各ＤＥ信号CNTL Data 1，…の空いているデータ領域C3，C4，…，C8の６bit分に割り当てられる。

そして、コントロールデータ（CNTL Data）端子のC3〜C8の６bit分の中に、距離に関する情報Ｓ３が埋め込まれた出力信号Ｓ６は、図３に示すように、外部のコントローラ（ＥＣＵ）等に、ＬＶＤＳリンク（ＬＶＤＳ Ｌｉｎｋ）で伝送され、ＥＣＵが、出力信号Ｓ６に埋め込まれた距離に関する情報Ｓ３を読み出し（デコードし）、読み出された距離に関する情報Ｓ３が表す距離値に応じた報知や警報を発するのに用いられる。

出力信号Ｓ６には、信号合成処理部６０によって、距離情報算出部５０により取得された距離に関する情報Ｓ３が付加されているため、合成像信号Ｓ４または重畳像信号Ｓ５をモニタに供する際に、外部に別途設けた報知手段や警報手段が、出力信号Ｓ６からこの距離に関する情報Ｓ６を読み出し、この読み出された距離に関する情報Ｓ３に応じて、音やその他の知覚形式で、被写体領域Ｏにおける障害物等への接近状況を、報知または警報することもでき、乗員に対して一層の注意喚起を実現することができる。

また、距離情報算出部５０によって取得された距離に関する情報Ｓ３は、合成像信号Ｓ４または重畳像信号Ｓ５に基づく像の表示用として出力する出力信号Ｓ６のうち、表示のブランキング期間に対応した部分に埋め込まれるため、この埋め込まれた距離に関する情報Ｓ３が、合成像信号Ｓ４または重畳像信号Ｓ５に基づく像の表示内容に影響を及ぼすことがなく、しかも、出力信号Ｓ６のデータ量が増加することもない。

もちろん、この距離に関する情報Ｓ３のみを信号合成処理部６０から出力するための専用線を別途設ける必要もない。

なお、上述した実施形態は、第一の撮像手段としてＣＣＤ撮像部１０を適用し、第二の撮像手段として、ＣＣＤ撮像部１０よりも本質的に第二の光Ｐ２に対する感度が高いＣＭＯＳ撮像部２０を適用した構成であるが、第一の撮像手段としてＣＭＯＳカメラとＣＭＯＳ信号処理部とからなる構成を適用するとともに、第二の撮像手段としてもＣＭＯＳカメラとＣＭＯＳ信号処理部とからなる構成を適用することもできる。

この場合、各撮像手段としてのＣＭＯＳカメラ同士は、互いに同一の感度特性を有するものであってもよいし、上記実施形態におけるＣＣＤカメラ１１とＣＭＯＳカメラ２１との感度特性の関係と同様に、第二の撮像手段を構成するＣＭＯＳカメラの方が第一の撮像手段を構成するＣＭＯＳカメラよりも、第二の光Ｐ２に対する感度が相対的に高い特性を有するものであってもよい。

同一の感度特性を有する二つのＣＭＯＳカメラを適用する構成においては、信号合成処理部６０が、第一の光像Ｐ１を表す第一の像信号Ｓ１と第二の光像Ｐ２を表す第二の像信号Ｓ２とを合成して合成像信号Ｓ４を生成する際に、第一の像信号Ｓ１よりも第二の像信号Ｓ２に相対的に加重する重み付けを行うなど、合成像信号Ｓ４が、光路分割前の元の被写体領域Ｏの光像Ｐよりも、第二の光像Ｐ２が相対的に強調された像を再生しうる像信号とすればよい。

一方、第二の撮像手段を構成するＣＭＯＳカメラの方が第一の撮像手段を構成するＣＭＯＳカメラよりも、第二の光Ｐ２に対する感度が相対的に高い感度特性を有するものである構成においては、第一の撮像手段としてのＣＭＯＳカメラ（対応する符号として１１）に投影される光と、第二の撮像手段としてのＣＭＯＳカメラ（対応する符号として２１）に投影される光とが全く同一であっても、第二の撮像手段としてのＣＭＯＳカメラの方が、第一の撮像手段としてのＣＭＯＳカメラよりも高感度に、その光Ｐの中に含まれる近赤外線領域や赤外線領域の光像（第二の光像Ｐ２）を撮影することができる。

したがって、信号合成処理部６０が、第一の像信号Ｓ１よりも第二の像信号Ｓ２に相対的に加重する重み付けを行わない場合であっても、合成像信号Ｓ４は、光路分割前の元の被写体の光像Ｐよりも、第二の光像Ｐ２が相対的に強調された像を再生しうる合成像信号Ｓ４となる。

本発明の一実施例である車両周囲監視装置１００の構成を示すブロック図である。 シリアルＬＶＤＳにより規定された出力信号の構造の一例を示す図である。 ＬＶＤＳリンク（ＬＶＤＳ Ｌｉｎｋ）による、外部のコントローラ（ＥＣＵ）との接続を示す図である。

符号の説明

１０ ＣＣＤ撮像部（第一の撮像手段）
２０ ＣＭＯＳ撮像部（第二の撮像手段）
３０ 切替回路（入力情報切替手段）
４０ 補助光照射手段
５０ 距離情報算出部（距離情報算出手段）
６０ 信号合成処理部（信号合成手段）
１００ 車両周囲監視装置
Ｏ 被写体領域（被写体）
Ｐ 被写体領域の像を担持した光
Ｐ１ 可視光領域の第一の光，第一の光像
Ｐ２ 近赤外線領域の第二の光，第二の光像
Ｓ１ 第一の像信号
Ｓ２ 第二の像信号
Ｓ３ 距離に関する情報
Ｓ４ 合成像信号
Ｓ５ 重畳像信号
Ｓ６ 出力信号

Claims (7)

1. 第一の撮像手段と、
   第二の撮像手段と、
   車両の周囲の被写体に対して、少なくとも近赤外線領域または赤外線領域を含む照明光を照射する補助光照射手段と、
   前記車両の周囲の被写体の像を担持した光が入射し、この入射した光のうち少なくとも可視光領域を含む第一の光と、少なくとも近赤外線領域または赤外線領域を含む第二の光とに、その進行する光路を分割し、前記第一の光を前記第一の撮像手段に投影させ、前記第二の光を前記第二の撮像手段に投影させる光学系と、
   前記補助光照射手段および前記第二の撮像手段により得られた情報に基づいて、前記被写体までの距離に関する情報を取得する距離情報算出手段と、
   前記第一の撮像手段に前記第一の光が投影して得られた第一の光像と前記第二の撮像手段に前記第二の光が投影して得られた第二の光像とを、これら両像の位置関係を対応させて合成して合成像信号を求めるとともに、前記距離情報算出手段により取得された前記距離に関する情報を、前記第一の光像を表す像信号に重畳して重畳像信号を求める信号合成手段とを備えたことを特徴とする車両周囲監視装置。
2. 前記第二の撮像手段は、前記第二の光に対する感度が、前記第一の撮像手段よりも相対的に高い特性を有するものであることを特徴とする請求項１に記載の車両周囲監視装置。
3. 前記信号合成手段は、前記距離に関する情報を文字化して、前記第一の光像を表す像信号に重畳することにより、前記重畳像信号を求めることを特徴とする請求項１または２に記載の車両周囲監視装置。
4. 前記信号合成手段は、前記距離に関する情報に応じた彩色像を、前記第一の光像を表す像信号に重畳することにより、前記重畳像信号を求めることを特徴とする請求項１または２に記載の車両周囲監視装置。
5. 前記信号合成手段は、前記合成像信号または前記重畳像信号を、これら前記合成像信号または前記重畳像信号に基づく像の表示用として出力する出力信号のうち、表示のブランキング期間に対応した部分に、前記距離に関する情報を付加することを特徴とする請求項１から４のうちいずれか１項に記載の車両周囲監視装置。
6. 前記距離に関する情報が付加された前記出力信号は、ＬＶＤＳにより規定されたものであることを特徴とする請求項５に記載の車両周囲監視装置。
7. 前記信号合成手段から出力された出力信号に基づいて前記合成像信号または前記重畳像信号が表す像を表示する表示手段を備えたことを特徴とする請求項１から６のうちいずれか１項に記載の車両周囲監視装置。
   
   
   

Images