JP2009015562A - 車両用物体検出装置 - Google Patents

Abstract

【課題】状況に応じて適切な頻度でステレオ画像の作成が可能な、車両用物体検出装置を提供する。
【解決手段】１台のカメラにより、調光ミラーが反射モードの時に右画像Ｒを撮影し、透過モードの時に左画像Ｌを撮影する。右画像Ｒおよび左画像Ｌの両方が更新された際にステレオ画像作成を行う第１ステレオ画像作成処理と、右画像Ｒおよび左画像Ｌの何れかが更新される毎にステレオ画像の作成を行う第２ステレオ画像作成処理とが可能である。前回撮像時に障害物が認識されている場合には、第２ステレオ画像作成処理でステレオ画像を作成する。
【選択図】図９

Description

本発明は、車両用物体検出装置に関するものである。

自動車にカメラを搭載し、そのカメラで周囲の道路環境を撮影し、撮影した画像を解析することで、自車前方の障害物を検出する装置が提案されている。障害物を検出する手段として、２台のカメラによるステレオ視を用いた手法が開示されている。この手法は、２台のカメラを所定間隔で同方向に向けて設置し、２台のカメラの視差から三角測量の原理で道路環境中の物体までの距離を算出することで、障害物を検出するものである。

近時では、車両の製造コストを低減するため、１台のカメラでステレオ視の効果を得る方法が開発されている。特許文献１には、２つの光路のうちの一方に配され、第１シャッタを所定時間開口し、第１の被写体光を撮像素子に露光・結像する第１の入射光学系と、第１の入射光学系とは異なる光路に配され、第２シャッタを所定時間開口し、第２の被写体光を、第１の入射光学系が遮光された状態で撮像素子に露光・結像する第２の入射光学系と、を備えた撮像装置が提案されている。そして、２方向からの光を１つの撮像素子の結像面に露光タイミングをずらして結像し、さらに両方のシャッタを閉じた状態で、連続撮影した画像データの処理・記憶を行うことにより、ステレオ撮影が実現するとされている。また特許文献２には、調光素子を用いて複数方向を切り替え撮像する撮像装置が提案されている。
特許第３６９１６５６号公報 特開２００５−２０４０２２号公報

しかしながら、特許文献１に記載された技術は、自車両周辺の状況または自車両自体の状況によってステレオ画像の作成頻度を変更するものではない。特許文献１のように、２方向からの光を１つのカメラによりタイミングをずらして撮像する場合には、２つのカメラにより同時に撮像する場合と比べて、ステレオ画像の作成頻度が少なくなる。そのため、自車両周辺の障害物の発見や、障害物の状況変化の把握に遅れが生じるという問題がある。
そこで本発明は、状況に応じて適切な頻度でステレオ画像の作成が可能な、車両用物体検出装置の提供を課題とする。

上記課題を解決するために、請求項１に係る発明は、所定の時間間隔で自車両周辺の画像を撮影する単一の撮像手段（例えば、実施形態におけるカメラ１２）と、複数方向からの光を調光特性の切り換えにより択一的に前記撮像手段に入射させる調光手段（例えば、実施形態における調光ミラー２０）と、前記調光特性が透過状態の時の入射光に基づく第１画像（例えば、実施形態における左画像Ｌ）および前記調光特性が反射状態の時の入射光に基づく第２画像（例えば、実施形態における右画像Ｒ）を記憶する画像記憶手段（例えば、実施形態における画像記憶部３１）と、前記第１画像および前記第２画像に基づいてステレオ画像を作成するステレオ画像作成手段（例えば、実施形態におけるステレオ画像作成部３６）と、前記ステレオ画像に基づいて自車両周辺の障害物を認識する障害物認識手段（例えば、実施形態における障害物認識部３８）と、を備えた車両用物体検出装置（例えば、実施形態における車両用物体検出装置３０）において、前記ステレオ画像作成手段は、前記第１画像及び前記第２画像の両方が更新された際にステレオ画像作成を行う第１ステレオ画像作成手段（例えば、実施形態における第１ステレオ画像作成部３６ａ）と、前記第１画像及び前記第２画像の何れかが更新される毎にステレオ画像作成を行う第２ステレオ画像作成手段（例えば、実施形態における第２ステレオ画像作成部３６ｂ）とを備え、前記ステレオ画像作成手段は、前回撮像時に障害物が認識されている場合に、前記第２ステレオ画像作成手段でステレオ画像を作成することを特徴とする。

請求項２に係る発明は、所定の時間間隔で自車両周辺の画像を撮影する単一の撮像手段と、複数方向からの光を調光特性の切り換えにより択一的に前記撮像手段に入射させる調光手段と、前記調光特性が透過状態の時の入射光に基づく第１画像および前記調光特性が反射状態の時の入射光に基づく第２画像を記憶する画像記憶手段と、前記第１画像および前記第２画像に基づいてステレオ画像を作成するステレオ画像作成手段と、自車両の車速を検出する車速検出手段（例えば、実施形態における車速検出部３７）と、を備えた車両用物体検出装置において、前記ステレオ画像作成手段は、前記第１画像及び前記第２画像の両方が更新された際にステレオ画像作成を行う第１ステレオ画像作成手段と、前記第１画像及び前記第２画像の何れかが更新される毎にステレオ画像作成を行う第２ステレオ画像作成手段とを備え、前記ステレオ画像作成手段は、前記車速が所定値（例えば、実施形態における所定値ｋ）以上の場合に、前記第２ステレオ画像作成手段でステレオ画像を作成することを特徴とする。

請求項１に係る発明によれば、前回撮像時に障害物が認識されている場合に、第２ステレオ画像作成手段でステレオ画像を作成する構成としたので、ステレオ画像の作成頻度を増加させることが可能になり、障害物の状況変化を短時間ごとに把握することができる。逆に、前回撮像時に障害物が認識されていない場合には、障害物の状況変化を短時間ごとに把握する必要がない。この場合には、第１のステレオ画像作成手段でステレオ画像を作成することにより、ステレオ画像の作成頻度を減少させることが可能になり、ステレオ画像に基づく障害物認識処理等の処理負担を軽減することができる。すなわち、状況に応じて適切な頻度でステレオ画像の作成が可能になる。

請求項２に係る発明によれば、自車両の車速が所定値以上の場合に、第２ステレオ画像作成手段でステレオ画像を作成する構成としたので、ステレオ画像の作成頻度を増加させることが可能になり、障害物を早期に発見することができる。逆に、自車両の車速が所定値未満の場合には、ステレオ画像の作成頻度を増加させなくても障害物を早期に発見することが可能である。この場合には、第１のステレオ画像作成手段でステレオ画像を作成することにより、ステレオ画像の作成頻度を減少させることが可能になり、ステレオ画像に基づく障害物認識処理等の処理負担を軽減することができる。すなわち、状況に応じて適切な頻度でステレオ画像の作成が可能になる。

以下、本発明の実施形態につき図面を参照して説明する。
（カメラユニット）
図１はカメラユニットの説明図であり、図１（ａ）は搭載車両の斜視図であり、図１（ｂ）は平面図である。カメラユニット１０は、所定の時間間隔で自車周辺を撮像する単一のカメラ（撮像手段）１２と、複数方向からの光を調光特性の切り換えにより択一的にカメラ１２に入射させる調光ミラー（調光手段）２０と、を備えている。

図１（ａ）に示すように、カメラユニット１０は、車両１のフロントガラスの内側であって、ダッシュボードの上方に取り付けられている。
図１（ｂ）に示すように、カメラユニット１０は、ケース１１の内部にＣＣＤカメラ１２を配置したものである。ケース１１の車両前方には、車両左右方向に所定間隔ｄを置いて、左レンズ１５Ｌおよび右レンズ１５Ｒが設けられている。この間隔ｄが広いほど、遠方の物体を精度よく検出することが可能である。ただし、カメラユニット１０をフロントガラスの内側に配置する場合には、ワイパーの拭き取り範囲内であって搭乗者の視界を妨げない場所に配置する必要がある。そこで間隔ｄは、例えば３５０〜４００ｍｍ程度に設定されている。

右レンズ１５Ｒの車両後方には、全反射ミラー１４が所定角度で配置されている。左レンズ１５Ｌとカメラ１２との間には、調光ミラー２０が所定角度で配置されている。
図２は、調光ミラーの断面図である。調光ミラー２０は、ガラス材料等からなる一対の基板２１，２９を備えている。一対の基板２１，２９の内面には透明導電膜２２，２８が形成され、電源２７に接続されている。第１基板２１の第１導電膜２２の内面には、金属膜（Ｍｇ−Ｎｉ合金膜およびＰｄ膜）２４が形成されている。そして、一対の基板２１，２９が周縁部のシール材２５を介して貼り合わされている。一対の基板２１，２９およびシール材２５に囲まれた領域には、水素イオンを含む電解液２６が封入されている。

調光ミラー２０は、電源２７により一対の導電膜２２，２８に極性の異なる電圧を印加して、調光特性（透過モードまたは反射モード）を切り替えるようになっている。第１導電膜２２にマイナスの電圧をかけると、電解液２６の水素イオンが金属膜２４に作用して、金属膜２４が水素化される。金属膜２４の水素化物は光透過性を有するから、調光ミラー２０は透過モードになる。一方、第１導電膜２２にプラスの電圧をかけると、金属膜２４から水素イオンが離脱して電解液に戻り、金属膜２４は脱水素化される。脱水素化された金属膜２４は光反射性を有するから、調光ミラー２０は反射モードになる。

図３は、カメラユニットの動作説明図である。図３（ａ）に示すように、調光ミラー２０を透過モードに設定した場合には、左レンズ１５Ｌから入射し調光ミラー２０を透過した左画像（第１画像）が、カメラ１２によって撮影される。図３（ｂ）に示すように、調光ミラー２０を反射モードに設定した場合には、右レンズ１５Ｒから入射し全反射ミラー１４および調光ミラー２０で反射された右画像（第２画像）が、カメラ１２によって撮影される。カメラユニット１０は、調光ミラー２０の調光特性を反射モードと透過モードとの間で交互に切り替えつつ、カメラ１２により例えば６０ｆｐｓ（frame per second）で画像を撮影する。この場合、右画像および左画像がそれぞれ３０ｆｐｓで交互に撮影されることになる。

図４は、本実施形態に係る車両用物体検出装置のブロック図である。車両用物体検出装置３０は、同期信号に基づいて画像を撮影する前記カメラユニット１０と、カメラユニット１０の内部に配置された前記調光ミラー２０とを備えている。
調光ミラー２０は調光切替部３２に接続され、調光切替部３２はタイミング調整部３４に接続されている。タイミング調整部３４は、同期信号に基づいて調光切替部３２の動作信号を出力し、調光切替部３２は、動作信号に基づいて調光ミラー２０の調光特性を切り替えるようになっている。

カメラユニット１０は、画像記憶部３１に接続されている。画像記憶部３１は、調光ミラー２０の調光特性が反射モード時の入射光に基づく右画像を記憶するメモリ領域ｍ０と、透過モード時の入射光に基づく左画像を記憶するメモリ領域ｍ１とを備えている。画像記憶部３１は、同期信号に基づいて、カメラユニット１０からの画像をメモリ領域ｍ０またはメモリ領域ｍ１に交互に記憶するようになっている。

画像記憶部３１は、右画像および左画像に基づいてステレオ画像を作成するステレオ画像作成部３６に接続されている。ステレオ画像作成部３６は、左画像および右画像の両方が更新された際にステレオ画像作成を行う第１ステレオ画像作成部３６ａと、左画像及び右画像の何れかが更新される毎にステレオ画像作成を行う第２ステレオ画像作成部３６ｂとを備えている。これらの動作については後述する。

ステレオ画像作成部３６は、自車両の車速を検出する車速検出部３７に接続されている。またステレオ画像作成部３６は、ステレオ画像に基づいて自車周辺の障害物を認識する障害物認識部３８に接続されている。この障害物認識部３８は、認識した障害物との衝突可能性を判定する衝突可能性判定部４０に接続されている。さらに衝突可能性判定部４０が、衝突可能性が高いと判定された場合に警報を出力する警報出力部や、衝突を回避するように自車両を制御する衝突回避制御部等に接続されていてもよい。

（車両用物体検出方法）
次に、本実施形態に係る車両用物体検出方法について説明する。
図５は、本実施形態に係る車両用物体検出方法のフローチャートである。まずＳ１１において、前回撮影時の障害物認識結果をメモリから読み込む。次にＳ１２において、前回撮影時に障害物を認識したか判断する。判断がＮｏの場合にはＳ１３に進み、車速検出部３７により自車両の車速が所定値ｋ以上であるか判断する。判断がＮｏの場合、すなわち障害物がない状態で低速走行中の場合には、Ｓ２０において第１ステレオ画像作成部３６ａにより第１のステレオ画像作成処理を行う。

図６は、第１のステレオ画像作成処理サブルーチンのフローチャートである。まずＳ２１において、カメラユニット１０により画像を撮影する。次にＳ２２において、調光ミラー２０の調光特性が反射モードであるか判断する。判断がＹｅｓ（反射モード）の場合にはＳ２３に進み、Ｓ２１で撮影した右画像を画像記憶部３１のメモリ領域ｍ０に記録する。Ｓ２２の判断がＮｏ（透過モード）の場合にはＳ２４に進み、Ｓ２１で撮影した左画像を画像記憶部３１のメモリ領域ｍ１に記録する。次にＳ２６において、調光切替部３２により調光ミラー２０の調光特性を反射モードと透過モードとの間で切り替える。

次にＳ２８において、両方のメモリ領域ｍ０，ｍ１の画像が更新されたか判断する。判断がＮｏの場合はＳ２１に戻り、前回撮影時とは異なる調光特性で新たな画像を撮影する。Ｓ２８の判断がＹｅｓの場合はＳ２９に進み、第１ステレオ画像作成部３６ａにより、メモリ領域ｍ０から右画像を読み込むとともに、メモリ領域ｍ１から左画像を読み込む。そして、読み込んだ右画像および左画像によりステレオ画像を作成する。

図７は、第１のステレオ画像作成処理の説明図である。時刻ｔ１で撮影された右画像ｐ１がメモリ領域ｍ０に記録され、時刻ｔ２で撮影された左画像ｐ２がメモリ領域ｍ１に記録されると、両方のメモリ領域ｍ０，ｍ１が更新されたことになる。そこで第１ステレオ画像作成部３６ａは、右画像ｐ１および左画像ｐ２によりステレオ画像Ｓ１を作成する。続けて、時刻ｔ３で撮影された右画像ｐ３がメモリ領域ｍ０に記録され、時刻ｔ４で撮影された左画像ｐ４がメモリ領域ｍ１に記録されると、両方のメモリ領域ｍ０，ｍ１が再び更新された状態になる。そこで第１ステレオ画像作成部３６ａは、右画像ｐ３および左画像ｐ４により新たなステレオ画像Ｓ２を作成する。

図５に戻り、Ｓ１２の判断がＹｅｓの場合またはＳ１３の判断がＹｅｓの場合、すなわち障害物があるかまたは高速走行中である場合には、Ｓ３０において第２ステレオ画像作成部３６ｂにより第２のステレオ画像作成処理を行う。

図８は、第２のステレオ画像作成処理サブルーチンのフローチャートである。まずＳ３１において、カメラユニット１０により画像を撮影する。次にＳ３２において、調光ミラー２０の調光特性が反射モードであるか判断する。判断がＹｅｓ（反射モード）の場合にはＳ３３に進み、Ｓ３１で撮影した右画像を画像記憶部３１のメモリ領域ｍ０に記録する。Ｓ３２の判断がＮｏ（透過モード）の場合にはＳ３４に進み、Ｓ３１で撮影した左画像を画像記憶部３１のメモリ領域ｍ１に記録する。次にＳ３６において、調光切替部３２により調光ミラー２０の調光特性を反射モードと透過モードとの間で切り替える。

次にＳ３８において、両方のメモリ領域ｍ０，ｍ１に画像データが存在するか判断する。判断がＮｏの場合（初回撮影の場合）はＳ３１に戻り、前回撮影時とは異なる調光特性で新たな画像を撮影する。Ｓ３８の判断がＹｅｓの場合はＳ３９に進み、第２ステレオ画像作成部３６ｂにより、メモリ領域ｍ０から右画像を読み込むとともに、メモリ領域ｍ１から左画像を読み込む。そして、読み込んだ右画像および左画像によりステレオ画像を作成する。

図９は、第２のステレオ画像作成処理の説明図である。時刻ｔ１において初めて撮影された右画像ｐ１がメモリ領域ｍ０に記録された段階では、両方のメモリ領域ｍ０，ｍ１に画像データが存在しない。時刻ｔ２で撮影された左画像ｐ２がメモリ領域ｍ１に記録されると、両方のメモリ領域ｍ０，ｍ１に画像データが存在する状態になる。そこで第２ステレオ画像作成部３６ｂは、右画像ｐ１および左画像ｐ２によりステレオ画像Ｓ１を作成する。続けて時刻ｔ３で撮影された右画像ｐ３がメモリ領域ｍ０に記録されると、再び両方のメモリ領域ｍ０，ｍ１に画像データが存在する状態になる。そこで第２ステレオ画像作成部３６ｂは、左画像ｐ２および右画像ｐ３により新たなステレオ画像Ｓ２を作成する。

図５に戻り、Ｓ１４において、障害物認識部３８により障害物認識処理を行う。例えば、作成されたステレオ画像に基づいて、自車両の進行方向に立体物が存在するか、その立体物が自車両から所定距離内に存在するか判断し、所定距離内に存在する立体物を障害物として認識する。次にＳ１６において、障害物認識部３８により障害物が認識されたか判断する。判断がＮｏの場合にはＳ１７に進んで障害物なしと判定する。Ｓ１６の判断がＹｅｓの場合にはＳ１８に進んで障害物ありと判定し、障害物の状況を衝突可能性判定部４０に出力する。障害物の状況として、障害物と自車両との相対関係（距離、速度、位置）等を出力すればよい。
以上により、物体検出処理を終了する。

ところで、図７に示す第１のステレオ画像作成処理では、ステレオ画像Ｓ１が作成された後に、右画像ｐ３および左画像ｐ４が撮影された時点で、新たなステレオ画像Ｓ２が作成される。これに対して、図９に示す第２のステレオ画像作成処理では、右画像ｐ３のみが撮影された時点で、新たなステレオ画像Ｓ２が作成される。すなわち、第１のステレオ画像作成処理におけるステレオ画像の作成頻度は約３０ｆｐｓであるのに対して、第２のステレオ画像作成処理におけるステレオ画像の作成頻度は約６０ｆｐｓであり、約２倍となっている。

そして本実施形態では、Ｓ１２において前回撮像時に障害物が認識されていると判断した場合に、第２ステレオ画像作成部３６ｂによりステレオ画像を作成する構成とした。これにより、ステレオ画像の作成頻度を増加させることが可能になり、障害物の状況変化に伴う自車両との相対関係（距離、速度、位置）の変化を短時間ごとに把握することができる。その結果、障害物の認識精度を向上させることが可能になり、障害物との衝突可能性を迅速に判断することができる。逆に、前回撮像時に障害物が認識されていない場合には、障害物の状況変化を短時間ごとに把握する必要がない。この場合には、第１ステレオ画像作成部３６ａでステレオ画像を作成することにより、ステレオ画像の作成頻度を減少させることが可能になり、ステレオ画像に基づく障害物認識処理等の処理負担を軽減することができる。すなわち、状況に応じて適切な頻度でステレオ画像の作成が可能になる。

また本実施形態では、Ｓ１３において自車両の車速が所定値ｋ以上である場合に、第２ステレオ画像作成部３６ｂによりステレオ画像を作成する構成とした。これにより、ステレオ画像の作成頻度を増加させることが可能になり、障害物を早期に発見することができる。その結果、障害物との衝突可能性を迅速に判断することができる。また、取得画像間の連続性の低下を防止（不検知間隔を短縮）することが可能になり、周囲の状況の変化を迅速に判定することができる。逆に、自車両の車速が所定値未満の場合には、ステレオ画像の作成頻度を増加させなくても障害物を早期に発見することが可能である。この場合には、第１ステレオ画像作成部３６ａでステレオ画像を作成することにより、ステレオ画像の作成頻度を減少させることが可能になり、ステレオ画像に基づく障害物認識処理等の処理負担を軽減することができる。すなわち、状況に応じて適切な頻度でステレオ画像の作成が可能になる。

また本実施形態では、１台のカメラにより、調光ミラーが反射モードの時に右画像を撮影し、透過モードの時に左画像を撮影して、ステレオ画像を作成する構成とした。このように、調光ミラーを用いて１台のカメラで複数方向を撮影することにより、２台のカメラを搭載する必要がなくなり、製造コストを低減することができる。

なお、この発明は上述した実施形態に限られるものではない。
例えば、上記実施形態におけるカメラユニットの構成は一例であり、他の構成を採用することも可能である。また上記実施形態のカメラユニットでは、調光ミラーが反射モードの時に右画像を撮影し透過モードの時に左画像を撮影する構成としたが、これとは逆に反射モードの時に左画像を撮影し透過モードの時に右画像を撮影する構成としてもよい。

カメラユニットの説明図である。 調光ミラーの断面図である。 カメラユニットの動作説明図である。 実施形態に係る車両用物体検出装置のブロック図である。 本実施形態に係る車両用物体検出方法のフローチャートである。 第１のステレオ画像作成処理サブルーチンのフローチャートである。 第１のステレオ画像作成処理の説明図である。 第２のステレオ画像作成処理サブルーチンのフローチャートである。 第２のステレオ画像作成処理の説明図である。

符号の説明

Ｌ…左画像 Ｒ…右画像 １…自車両 １０…カメラユニット １２…カメラ（撮像手段） ２０…調光ミラー（調光手段） ３０…車両用物体検出装置 ３１…画像記憶部（画像記憶手段） ３６…ステレオ画像作成部（ステレオ画像作成手段） ３６ａ…第１ステレオ画像作成部（第１ステレオ画像作成手段） ３６ｂ…第２ステレオ画像作成部（第２ステレオ画像作成手段） ３７…車速検出部（車速検出手段） ３８…障害物認識部（障害物認識手段）

Claims (2)

1. 所定の時間間隔で自車両周辺の画像を撮影する単一の撮像手段と、
   複数方向からの光を調光特性の切り換えにより択一的に前記撮像手段に入射させる調光手段と、
   前記調光特性が透過状態の時の入射光に基づく第１画像および前記調光特性が反射状態の時の入射光に基づく第２画像を記憶する画像記憶手段と、
   前記第１画像および前記第２画像に基づいてステレオ画像を作成するステレオ画像作成手段と、
   前記ステレオ画像に基づいて自車両周辺の障害物を認識する障害物認識手段と、
   を備えた車両用物体検出装置において、
   前記ステレオ画像作成手段は、前記第１画像及び前記第２画像の両方が更新された際にステレオ画像作成を行う第１ステレオ画像作成手段と、前記第１画像及び前記第２画像の何れかが更新される毎にステレオ画像作成を行う第２ステレオ画像作成手段とを備え、
   前記ステレオ画像作成手段は、前回撮像時に障害物が認識されている場合に、前記第２ステレオ画像作成手段でステレオ画像を作成することを特徴とする車両用物体検出装置。
2. 所定の時間間隔で自車両周辺の画像を撮影する単一の撮像手段と、
   複数方向からの光を調光特性の切り換えにより択一的に前記撮像手段に入射させる調光手段と、
   前記調光特性が透過状態の時の入射光に基づく第１画像および前記調光特性が反射状態の時の入射光に基づく第２画像を記憶する画像記憶手段と、
   前記第１画像および前記第２画像に基づいてステレオ画像を作成するステレオ画像作成手段と、
   自車両の車速を検出する車速検出手段と、
   を備えた車両用物体検出装置において、
   前記ステレオ画像作成手段は、前記第１画像及び前記第２画像の両方が更新された際にステレオ画像作成を行う第１ステレオ画像作成手段と、前記第１画像及び前記第２画像の何れかが更新される毎にステレオ画像作成を行う第２ステレオ画像作成手段とを備え、
   前記ステレオ画像作成手段は、前記車速が所定値以上の場合に、前記第２ステレオ画像作成手段でステレオ画像を作成することを特徴とする車両用物体検出装置。

Images