JP2010114849A - 車両周辺監視装置 - Google Patents

Abstract

【課題】解析に適した光変調画像と表示に適した画像を同一の画角で同時に取得し且つ光変調画像と選択して表示する。
【解決手段】変調光照射部１は光変調カメラ２から出力される変調信号により駆動されて対象空間（車両周辺の領域）に変調光を照射する。光変調カメラ２は、光変調画像を取得する過程で変調光以外の周囲光に対応する反射光成分のみを画素値とする第１の画像と、変調光及び周囲光の両方に対応する反射光成分を画素値とする第２の画像とを同一の画角で同時に取得する。そして、表示部５には第１の画像と第２の画像と光変調画像とを選択して表示する。
【選択図】 図１

Description

本発明は、自動車などの車両の周辺の状況を監視するための車両周辺監視装置に関するものである。

従来より、自動車に搭載されたカメラ（車載カメラ）で車両周辺を撮像し、撮像された車両周辺の画像を車内に設置されているモニタ装置に表示し、例えば、モニタ装置に表示される画像によって運転者の運転を支援したり、障害物の接近を運転者に認識させるといったことを行う車両周辺監視装置が提案されている（例えば、特許文献１参照）。

ところで本出願人は、周囲光（例えば、太陽光）の影響を受けず、パターンマッチングなどの画像処理に好適な安定した濃淡画像を取得することのできる撮像装置を既に提案している（特許文献２参照）。この撮像装置では、発光ダイオードが発する赤外光を高速変調した変調光を被写体に照射し、ＣＣＤからなる撮像素子で受光する当該変調光の反射光成分と周囲光の反射光成分とを区別して変調光の反射光成分のみからなる光変調画像を取得する。
特開２００６−１５５４２２号公報 特開２００６−１２１６１７号公報

ところで、上述した光変調画像は、変調光が被写体に反射した反射光成分の濃淡画像として形成されるため、太陽光などの周囲光が反射した反射光成分からなる通常の画像とは見え方が異なる。したがって、モニタ装置に光変調画像を表示すると車両周辺の状況が確認しづらい場合があるので、周囲光のみから得られる画像を別の撮像装置で撮像しなければならない。しかしながら、別の撮像装置で撮像する場合、光変調画像と異なる画角で撮像されるため、車両周辺の状況が確認しづらいだけでなく、複数種類の撮像装置を車両に搭載するためのスペースが確保し難いという問題があった。

本発明は上記事情に鑑みて為されたものであり、その目的は、解析に適した光変調画像と表示に適した画像を同一の画角で同時に取得し且つ光変調画像と選択して表示することができる車両周辺監視装置を提供することにある。

請求項１の発明は、上記目的を達成するために、一定周期で強度が変化する変調光を車両周辺の対象空間に照射するとともに対象空間から到来する反射光を撮像素子で受光し、当該撮像素子で受光する反射光のうちで変調光以外の周囲光に対応する反射光成分のみを画素値とする第１の画像、変調光及び周囲光の両方に対応する反射光成分を画素値とする第２の画像、変調光に対応する反射光成分のみを画素値とする光変調画像をそれぞれ取得する撮像手段と、撮像手段で撮像される光変調画像を解析する解析手段と、撮像手段で撮像される第１の画像、第２の画像、光変調画像を選択して表示する表示手段とを備えたことを特徴とする。

請求項１の発明によれば、光変調画像を取得する過程で変調光以外の周囲光に対応する反射光成分のみを画素値とする第１の画像と、変調光及び周囲光の両方に対応する反射光成分を画素値とする第２の画像とを同一の画角で同時に取得するとともに、第１の画像と第２の画像と光変調画像とを選択して表示手段に表示することができる。

請求項２の発明は、請求項１の発明において、解析手段は、光変調画像における時間的な輝度変化に基づいて対象空間に存在する物体と車両との距離の増減を判定することを特徴とする。

請求項２の発明によれば、解析手段による解析によって、光変調画像の輝度値が時間的に増大していれば物体が近付いており、反対に光変調画像の輝度値が時間的に減少していれば物体が遠離っていると判断することができる。その結果、当該判定結果を利用した運転支援（特に、駐車時の運転支援）が可能となる。

請求項３の発明は、請求項１又は２の発明において、解析手段は、光変調画像を画像処理することによって同じ車線又は隣の車線を走行する他の車両との間の距離や車線を区切るために道路に引かれた白線又は黄色線を検出することを特徴とする。

請求項３の発明によれば、光変調画像を画像処理することで周囲光の影響を受けずに同じ車線又は隣の車線を走行する他の車両との間の距離や車線を区切るために道路に引かれた白線又は黄色線を精度よく検出することができる。その結果、当該検出結果を利用した運転支援（特に、走行時の運転支援）が可能となる。

請求項４の発明は、請求項１〜３の何れか１項の発明において、解析手段は、光変調画像から車両の近傍に立つ人物の顔の特徴量を抽出し、当該特徴量を予め登録されているテンプレートと照合することでテンプレートに対応した人物の顔を認証することを特徴とする。

請求項４の発明によれば、光変調画像を解析することで周囲光の影響を受けずに人物の顔認証を精度よく行うことができる。その結果、当該顔認証を利用した車両の制御が可能となる。

請求項５の発明は、請求項１〜４の何れか１項の発明において、車両に加わる振動や車両に対する障害物の接近を検出して検出信号を出力する検出手段を備え、撮像手段は、変調光を照射して第１の画像、第２の画像、光変調画像をそれぞれ取得する通常撮像モードと、変調光を照射せずに第１の画像のみを取得する周囲光撮像モードとを有し、周囲光撮像モードで撮像している場合に検出手段から検出信号が出力されたら周囲光撮像モードから通常撮像モードに切り換わることを特徴とする。

請求項５の発明によれば、撮像手段を周囲光撮像モードとすることで電力消費を低減することができ、さらに、車両に加わる振動や車両に対する障害物の接近が検出手段で検出されると撮像手段が周囲光撮像モードから通常撮像モードに切り換わるので、解析手段による光変調画像の解析に支障を来すことがない。

本発明によれば、解析に適した光変調画像と表示に適した画像を同一の画角で同時に取得し且つ光変調画像と選択して表示することができる。

以下、図面を参照して本発明の実施形態を詳細に説明する。尚、本実施形態の車両周辺監視装置は自動車（乗用車）に搭載されるものであるが、自動車（乗用車）以外の車両、例えば、トラックなどの自動車の他、自動二輪車（オートバイ）などに搭載されるものであっても構わない。

図１に本実施形態の車両周辺監視装置Ａのブロック図を示す。本実施形態の車両周辺監視装置Ａは、車両周辺を撮像する撮像手段と、撮像手段で撮像される画像（光変調画像）を解析する解析手段と、撮像手段で撮像された画像を表示する表示手段とを備えている。さらに撮像手段は、特許文献２に記載されているものと原理的には共通のものであって、対象空間に変調光を照射する変調光照射部１と、光変調カメラ２とからなる。

変調光照射部１は、赤外光を発光する発光ダイオード（図示せず）を有し、光変調カメラ２から出力される非常に高い周波数（例えば、１０メガヘルツ）の変調信号により駆動されて対象空間（車両周辺の領域）に変調光を照射するものである。また光変調カメラ２は、赤外光及び可視光に感度を有する撮像素子（例えば、ＣＣＤ＜電荷結合素子＞イメージセンサ）を有し、変調信号による発光ダイオードの発光周期に同期して、撮像素子の各画素の出力から赤外光の反射光成分のみを取り出す処理（以下、「同期検波処理」と呼ぶ。）を行い、同期検波処理で取り出される反射光成分を画素値とする光変調画像を生成するとともに、撮像素子の各画素の出力から可視光（周囲光）の反射光成分のみを取り出して当該反射光成分のみを画素値とする第１の画像を生成し、さらに、撮像素子の各画素の出力から変調光及び可視光（周囲光）の両方の反射光成分を画素値とする第２の画像を生成するものである（図２参照）。但し、光変調カメラ２では、第１の画像と第２の画像と光変調画像の３種類の画像を択一的に選択して出力する。尚、改めて説明するまでもないが、光変調画像と第１及び第２の画像とは同一の画角で同時に撮像された画像である。

解析手段は、マイクロコンピュータを主構成要素とし、光変調カメラ２から出力される光変調画像に対して後述する画像処理を実行することで当該光変調画像を解析する画像処理部３からなる。

表示手段は、液晶ディスプレイなどの表示デバイスと当該表示デバイスを駆動する駆動回路等を有する表示部５からなり、光変調カメラ２から出力される第１及び第２の画像や光変調画像を表示デバイスに表示するものである。尚、表示部５は運転席から見やすい位置、例えば、ダッシュボード（インストルメント・パネル）の上部や計器類の近傍に設置される。

さらに車両周辺監視装置Ａは、制御部４、操作入力部６、検出手段（接近センサ７並びに振動センサ８）を備えている。制御部４はマイクロコンピュータを主構成要素とし、画像処理部３による解析結果に基づいて車両を制御したり、表示部５に表示される画像の種類を切り換えるものである。尚、制御部４は、車両に搭載されているエンジンやステアリング、ブレーキ、ドアロックなどを制御する電子制御ユニット（ＥＣＵ＜Electronic control unit＞）１０に対して制御信号を出力する。そして、当該制御信号に基づいてＥＣＵ１０がエンジンやステアリング、ブレーキ、ドアロックなどを制御する。但し、画像処理部３を構成するマイクロコンピュータを、制御部４を構成するマイクロコンピュータで兼用することも可能である。

操作入力部６は、押釦スイッチや表示部５の表示デバイスと組み合わされるタッチパネル等で構成され、車両の乗員による種々の操作入力を受け付けるとともに当該操作入力に対応した操作信号を制御部４に出力する。接近センサ７は従来周知の超音波センサからなり、車両から物体までの距離に応じた検出信号若しくは車両と物体との距離が所定距離以下であることを示す検出信号を制御部４に出力する。振動センサ８は従来周知の加速度センサからなり、所定の閾値以上の振動（加速度）が車両に加わったときに制御部４に検出信号を出力する。

次に、画像処理部３において行われる複数種類の解析処理、具体的には顔認証処理、障害物検出処理、他車及び白線検出処理の３種類の画像処理について説明する。

まず、顔認証処理について説明する。尚、画像処理部３が具備する図示しないメモリ（フラッシュメモリなどの書換可能な不揮発性半導体メモリ）には、車両を運転する人物（例えば、当該車両の使用者とその家族）について、当該人物の顔の光変調画像から抽出された特徴量（テンプレート）が予め記憶（登録）されている。

車両を運転しようとする人物が当該車両に接近すると接近センサ７から制御部４に検出信号が出力される。この検出信号を受け取った制御部４は、変調光照射部１、光変調カメラ２、画像処理部３を起動する。そして、変調光照射部１から照射される変調光が車両の側に立っている人物に照射され、変調カメラ２によって当該人物の顔の光変調画像が撮像される。画像処理部３は、光変調カメラ２から出力される光変調画像から人物の顔の特徴量を抽出するとともに、抽出した人物の顔の特徴量を、上述したように予めメモリに記憶されている複数のテンプレートと順番に照合することによって、車両の側に立っている人物が予め登録されている何れかの人物（車両の使用者又はその家族）に該当する（認証可）か否（認証不可）かを判断（認証）する。画像処理部３によって認証された（認証可）か否（認証不可）かの結果が制御部４に渡される。

制御部４は、画像処理部３で認証されれば（認証可であれば）、ＥＣＵ１０に対してドアロックの解錠並びにエンジンの始動を許可する信号（許可信号）を出力し、画像処理部３で認証されなければ（認証不可であれば）、ＥＣＵ１０に対してドアロックの解錠並びにエンジンの始動を禁止する信号（禁止信号）を出力する。ＥＣＵ１０では、制御部４から許可信号を受け取った場合はドアロックを解錠するとともに当該人物によるエンジンの始動操作に応じてエンジンを始動するが、制御部４から禁止信号を受け取った場合はドアロックを解錠せず且つエンジン始動も禁止する。つまり、車両周辺監視装置Ａによる光変調画像の解析処理（顔認証処理）によって顔認証された人物のみが車両に乗車してエンジンを始動することができ、且つ登録されていない人物には乗車及びエンジンの始動が禁止されるので、車両盗難を防ぐことができる。尚、画像処理部３で認証されなかった場合、制御部４が当該人物の顔を撮像した第１の画像又は第２の画像をメモリに記憶しておけば、不審な人物の顔画像を捜査情報として警察に提供することができる。

続いて、障害物検出処理について説明する。障害物検出処理の基本原理は、光変調カメラ２の撮像素子で受光される変調光の反射光成分が変調光を反射する障害物から変調光照射部１までの距離の自乗に比例して減少することを利用し、光変調画像における画素値（輝度値）の時間的な変化を観測することで障害物と車両の相対的な距離の増減を判定するものである。

例えば、シフトレバーがリバース（後退）ポジションにセットされると、ＥＣＵ１０から車両周辺監視装置Ａの制御部４にトリガ信号が出力される。このトリガ信号を受け取った制御部４は、画像処理部３に対して障害物検出処理を開始させる。そして、変調光照射部１から照射される変調光が車両の後方に照射され、変調カメラ２によって車両後方の光変調画像が撮像される。画像処理部３は、光変調カメラ２から一定の周期で出力される光変調画像の全画素若しくは特定領域（例えば、画面の中央領域）内における全画素の画素値の平均値を算出するとともに当該平均値の時間的な変化を求める。さらに画像処理部３は、平均値が時間の経過とともに増加していれば障害物までの距離Ｄが減少している（障害物が接近している）と判断し、反対に平均値が時間の経過とともに減少していれば障害物までの距離が増大していると判断し、それぞれの判断結果（接近又は遠離）を制御部４に出力する（図３参照）。

制御部４では、画像処理部３によって障害物が車両に接近していると判断された場合、警告音を鳴動するなどして運転者に障害物の接近を警告する。あるいは、制御部４からＥＣＵ１０へ制御信号を出力し、ＥＣＵ１０によって自動的にブレーキをかけることで障害物との接触を回避することができる。

最後に、他車及び白線検出処理について説明する。ここで、光変調カメラ２は車両前方の路面を含む領域を撮像しているものとする。シフトレバーがドライブポジションにセットされた状態でアクセルペダルが踏み込まれると、ＥＣＵ１０から車両周辺監視装置Ａの制御部４にトリガ信号が出力される。このトリガ信号を受け取った制御部４は、画像処理部３に対して他車及び白線検出処理を開始させる。そして、変調光照射部１から照射される変調光が車両の前方に照射され、変調カメラ２によって車両前方の光変調画像が撮像される。画像処理部３は、光変調カメラ２から出力される光変調画像を画像処理することで自車と同じ車線を走行している他車（先行車）若しくは自車が走行する車線の隣の車線を走行している他車（並行車）との間の距離と、車線を区切るために道路に引かれた白線（又は黄色線）とを検出し（図４参照）、その検出結果を制御部４に出力する。具体的には、例えば顔認証処理と同様に光変調画像から車両及び白線（又は黄色線）の特徴量を抽出するとともに当該特徴量の時間的な推移を観測することで検出が可能である。

制御部４では、画像処理部３によって検出される他車（例えば、先行車）との距離が縮まったときに警告音を鳴動するなどして運転者に他車への接近を警告したり、あるいは制御信号を出力することでＥＣＵ１０によって自動的にブレーキをかけることで他車との衝突を回避するような運転支援を行うことができる。また制御部４は、画像処理部３によって検出される白線との距離が所定範囲から外れるとＥＣＵ１０に制御信号を出力する。ＥＣＵ１０では、制御部４から出力される制御信号に応じて車両と白線との距離が一定に保たれるようにステアリングを制御することにより、運転支援を行うことができる。

ところで、本実施形態における撮像手段（変調光照射部１及び光変調カメラ２）は、変調光照射部１から変調光を照射して第１の画像、第２の画像、光変調画像をそれぞれ取得する通常撮像モードの他に、変調光照射部１から変調光を照射せずに第１の画像のみを取得する周囲光撮像モードを有し、これら２つの撮像モードが制御部４の指示によって択一的に切り換えられるようになっている。すなわち、車両周辺監視装置Ａは車両に搭載されているバッテリ（鉛蓄電池）を電源としているため、必要なとき以外は変調光照射部１から変調光を照射しないことで電力消費を減らしてバッテリの消耗を抑えることが望ましい。

一方、上述したように画像処理部３の解析処理は周囲光の影響を受けない光変調画像に対して行うことが望ましい。そこで制御部４は、撮像手段が周囲光撮像モードに設定されている場合において、接近センサ７又は振動センサ８から検出信号が出力されたら、撮像手段の撮像モードを周囲光撮像モードから通常撮像モードに切り換えるように指示する。つまり、通常時には撮像手段を周囲光撮像モードとすることで電力消費を低減することができ、一方、車両に加わる振動や車両に対する障害物の接近が検出手段（接近センサ７又は振動センサ８）で検出されると撮像手段が周囲光撮像モードから通常撮像モードに切り換わるので、画像処理部３による光変調画像の解析に支障を来すことがないものである。

ところで、制御部４では光変調カメラ２で取得（生成）される第１の画像、第２の画像、光変調画像のうちから１種類又は複数種類の画像を適宜メモリに記憶するとともに、何れか１種類の画像を表示部５に選択的に表示させる。例えば、車両の駐車中に接近センサ７又は振動センサ８から検出信号が出力された場合、制御部４は撮像手段を起動して光変調カメラ２から出力される１種類又は複数種類の画像をメモリに記憶する。但し、車両の駐車中においては、制御部４はメモリに画像を記憶させるだけで表示部５に画像を表示させない。つまり、不審者が駐車中の車両に近付いたり、あるいはドアをこじ開けようとして車両に振動を加えたりしたときに撮像手段で撮像される画像を記憶しておけば、車両窃盗犯や車上窃盗犯などの犯罪者の逮捕に役立つ情報を得ることができる。

また制御部４は、車両に運転者が乗車している場合において、画像処理部３が障害物検出処理、あるいは他車及び白線検出処理を実行しているとき、周囲光が十分にある昼間であれば第１の画像を選択して表示部５に表示させ、周囲光が十分でない夜間であれば第２の画像（若しくは光変調画像）を表示部５に表示させる。但し、運転者が操作入力部６の操作スイッチを操作して表示部５に表示される画像の種類を選択した場合は、操作入力部６から出力される操作入力に応じた種類の画像が選択されて表示部５に表示される。

さらに制御部４では、車両の走行中においては光変調カメラ２から出力される画像を常時又は障害物の接近等の異常が検出された時にメモリに記憶している。この場合、メモリに記憶する画像の種類は、操作入力部６で受け付ける操作入力に応じて選択することができる。

このように本実施形態によれば、光変調画像を取得する過程で変調光以外の周囲光に対応する反射光成分のみを画素値とする第１の画像と、変調光及び周囲光の両方に対応する反射光成分を画素値とする第２の画像とを同一の画角で同時に取得するとともに、第１の画像と第２の画像と光変調画像とを選択して表示部５に表示することができる。

本発明の実施形態を示すブロック図である。 同上における光変調カメラの動作説明図である。 同上における障害物検出処理の説明図である。 同上における他車及び白線検出処理の説明図である。

符号の説明

Ａ 車両周辺監視装置
１ 変調光照射部（撮像手段）
２ 光変調カメラ（撮像手段）
３ 画像処理部（解析手段）
４ 制御部
５ 表示部（表示手段）

Claims (5)

1. 一定周期で強度が変化する変調光を車両周辺の対象空間に照射するとともに対象空間から到来する反射光を撮像素子で受光し、当該撮像素子で受光する反射光のうちで変調光以外の周囲光に対応する反射光成分のみを画素値とする第１の画像、変調光及び周囲光の両方に対応する反射光成分を画素値とする第２の画像、変調光に対応する反射光成分のみを画素値とする光変調画像をそれぞれ取得する撮像手段と、撮像手段で撮像される光変調画像を解析する解析手段と、撮像手段で撮像される第１の画像、第２の画像、光変調画像を選択して表示する表示手段とを備えたことを特徴とする車両周辺監視装置。
2. 解析手段は、光変調画像における時間的な輝度変化に基づいて対象空間に存在する物体と車両との距離の増減を判定することを特徴とする請求項１記載の車両周辺監視装置。
3. 解析手段は、光変調画像を画像処理することによって同じ車線又は隣の車線を走行する他の車両との間の距離や車線を区切るために道路に引かれた白線又は黄色線を検出することを特徴とする請求項１又は２記載の車両周辺監視装置。
4. 解析手段は、光変調画像から車両の近傍に立つ人物の顔の特徴量を抽出し、当該特徴量を予め登録されているテンプレートと照合することでテンプレートに対応した人物の顔を認証することを特徴とする請求項１〜３の何れか１項に記載の車両周辺監視装置。
5. 車両に加わる振動や車両に対する障害物の接近を検出して検出信号を出力する検出手段を備え、
   撮像手段は、変調光を照射して第１の画像、第２の画像、光変調画像をそれぞれ取得する通常撮像モードと、変調光を照射せずに第１の画像のみを取得する周囲光撮像モードとを有し、周囲光撮像モードで撮像している場合に検出手段から検出信号が出力されたら周囲光撮像モードから通常撮像モードに切り換わることを特徴とする請求項１〜４の何れか１項に記載の車両周辺監視装置。

Images