JP2007085773A - 車両用画像処理装置 - Google Patents

Abstract

【課題】 車両制御を最適に支援すること。
【解決手段】 車両用画像処理装置は自車両周囲のステレオ画像を取得する撮影手段と、撮影手段に取得されたステレオ画像間の対応点を検出する対応点検出手段と、対応点検出手段により検出された対応点に基づいて、自車両と自車両周囲の対象物との間の距離を算出する距離算出手段と、を備えている。また、対応点選択手段は、対応点検出手段により複数の対応点の候補が検出されたとき、自車両の制御態様に基づいて、複数の対応点の候補の中から１つの対応点を選択する。
【選択図】 図１

Description

本発明は、例えば、車載カメラにより撮影されたステレオ画像に基づいて、車両制御を最適に支援する車両用画像処理装置に関する。

従来、２つの撮像装置の光軸間平行度ずれに起因する誤差を補正して正確な視差を算出し、距離検出精度を向上させることができる距離検出装置が知られている（例えば、特許文献１参照）。上記車間距離計測装置および距離検出装置は、ステレオ画像に基づいて、対象物との距離を算出している。
特開２００１−１６９３１０号公報

しかしながら、上記特許文献１に示す従来技術において、車両周囲に同様の形状のものが複数存在した場合に、ステレオ画像における複数の対応点の候補が検出されることがある。この場合、全ての候補を不採用とし、対応点の検出を再度繰り返すことが考えられるが、対応点の検出が不能となり、対象物との距離を算出できない虞がある。一方、複数の対応点の候補に対して、相関度（類似度）を夫々算出し、相関度の大きい方を採用することが考えられるが、外乱光等のノイズの影響により、相関度の高い方を選択したとしても、必ずしも真の対応点を選択できるとは限らない。この為、対応点が誤検出され、対象物との距離が間違って算出される虞がある。したがって、算出された対象物との距離が車両制御に用いられた場合に、車両制御を最適に行うことができない虞がある。

本発明はこのような課題を解決するためのものであり、車両制御を最適に支援することを主たる目的とする。

上記目的を達成するための本発明の一態様は、
自車両周囲のステレオ画像を取得するステレオ画像取得手段と、
前記ステレオ画像取得手段により取得された前記ステレオ画像間の対応点を検出する対応点検出手段と、
該対応点検出手段により検出された前記対応点に基づいて視差を算出し、該視差に基づいて、前記自車両と前記自車両周囲の対象物との間の距離を算出する距離算出手段と、
を備える車両用画像処理装置であって、
前記対応点検出手段により複数の前記対応点の候補が検出されたとき、前記自車両の制御態様に基づいて、前記複数の対応点の候補の中から１つの該対応点を選択する対応点選択手段を備えることを特徴とする車両用画像処理装置である。

この一態様によれば、対応点選択手段は、対応点検出手段により複数の対応点の候補が検出されたとき、自車両の制御態様に基づいて、複数の対応点の候補の中から１つの対応点を選択する。これにより、例えばPCS制御、ACC制御、駐車支援制御等の制御態様に応じて、最適な対応点が選択される。したがって、車両制御を最適に支援することができる。

また、この一態様において、前記自車両の制御態様が、物体との衝突が推定されたとき、前記自車両に減速度を付加し、及び／又は乗員保護装置を作動させるプリクラッシュ（PCS）制御であるとき、前記対応点選択手段は、前記複数の対応点の候補のうち、前記自車両から遠い位置となる前記対応点を選択するのが好ましい。これにより、対応点選択手段により選択された対応点が真の対応点と一致している場合は、対象物との実際の距離に基づいて、衝突を適正に判断し、通常のPCS制御を実行することができる。一方で、例えば、対応点選択手段により選択された対応点が真の対応点ではない場合でも、自車両から遠い位置となる対応点が意図的に選択される為、対象物との距離が実際より遠く認識される。従って、乗員保護装置の作動のうち、一般的に作動の遅れや、早期の作動などで乗員が違和感などを感じる可能性が高い制御、例えばプリクラッシュ制御の制御遅れや早期の作動を確実に防止することができる。すなわち、車両制御を最適に支援することができる。

さらに、この一態様において、前記自車両の制御態様が、先行車両との間の距離を適正に維持する車間制御（ACC制御）であるとき、前記対応点選択手段は、前記複数の対応点の候補のうち、前記自車両から近い位置となる前記対応点を選択するのが好ましい。これにより、対応点選択手段により選択された対応点が真の対応点と一致している場合は、先行車両等の対象物との実際の距離に基づいて、通常のACC制御を実行することができる。一方で、例えば、対応点選択手段により選択された対応点が真の対応点ではない場合でも、自車両から近い位置となる対応点が選択される為、対象物との距離が実際より近く認識される。したがって、対象物との距離が充分確保されるようにACC制御が実行され、安全性の向上に繋がる。すなわち、車両制御を最適に支援することができる。

この一態様において、前記自車両の制御態様が、前記自車両を所定の駐車位置に導く駐車支援制御であるとき、前記対応点選択手段は、前記複数の対応点の候補のうち、前記自車両から近い位置となる前記対応点を選択するのが好ましい。これにより、対応点選択手段により選択された対応点が真の対応点と一致している場合は、駐車位置までの経路上の人、障害物等の対象物との実際の距離に基づいて、通常の駐車支援制御を実行することができる。一方で、例えば、対応点選択手段により選択された対応点が真の対応点ではない場合でも、自車両から近い位置となる対応点が選択される為、対象物との距離が実際より近く認識される。したがって、対象物との安全距離が充分確保されるように駐車支援制御が実行される。すなわち、車両制御を最適に支援することができる。

この一態様において、前記対応点選択手段は、前記自車両の走行環境に応じて、前記複数の対応点の候補の中から１つの該対応点を選択してもよい。なお、上記自車両の走行環境とは、例えば、自車両周囲の明るさ、自車両が走行中の路面の滑り易さ、車両の速度、車両の加速度等を指す。また、例えば、対応点選択手段は、自車両周囲が暗くなり、路面が滑り易い状態となり、車両の速度が増加する、及び／又は車両の加速度が増加する、と複数の対応点の候補のうち、自車両から遠い位置となる対応点を選択するようにしてもよい。

なお、この一態様において、自車両から遠い位置となる対応点とは、視差が小さい対応点を指し、自車両から近い位置となる対応点とは、視差が大きい対応点を指す。

本発明によれば、車両制御を最適に支援することができる。

以下、本発明を実施するための最良の形態について、添付図面を参照しながら実施例を挙げて説明する。なお、画像処理装置の基本概念、主要なハードウェア構成、作動原理、及び基本的な制御手法等については当業者には既知であるため、詳しい説明を省略する。

図１は、本発明の第１乃至第３の実施の形態に係る車両用画像処理装置１のシステム構成の一例を示すブロック図である。第１乃至第３の実施の形態に係る車両用画像処理装置１は、自車両周囲を撮影する２つのカメラ３Ｒ、３Ｌ等の撮影手段を備えている。

各カメラ３Ｒ、３Ｌには、各カメラ３Ｒ、３Ｌにより撮影された画像に対し、画像処理を行い、先行車両、人、障害物、白線等の自車両周囲の対象物（以下、対象物と称す）と自車両との距離等を算出する画像処理ECU（Electronic Control Unit、電子制御装置）５が接続されている。

各カメラ３Ｒ、３Ｌは、車両前部の右側および左側において、例えば車両前方を向くように配置され、両カメラ３Ｒ、３Ｌのレンズ光軸が相互に平行、かつ撮像面の水平軸又は垂直軸が同一線上に揃うようにして配置されている（図２）。

なお、撮影手段として、２つのカメラ３Ｒ、３Ｌが用いられているが、２つのレンズを有するステレオ光学系からなる１つのステレオカメラを用いてもよい。ステレオカメラは、複数視点を有する１つのカメラによりステレオ画像が取得される為、省スペース化を図る上で有利となる。

また、カメラ３Ｒ、３Ｌとして、可視光を検出するCCD（Charge Coupled Device）又はCMOS（Complementary Metal Oxide Semiconductor）カメラが用いられているが、夜間時の撮影に有効な赤外線カメラを用いてもよい。さらに、カメラ３Ｒ、３Ｌは車両前部に配設されているが、車両後部又は車両側部等の車両の任意の位置に配設されていてもよい。このような各カメラ３Ｒ、３Ｌにより撮影されたステレオ画像情報は、画像処理ECU５に送信される。

画像処理ECU５、後述の衝突対応ECU７、シートベルトECU９、エアバックECU１１、ブレーキECU１３、エンジンECU１５、トランスミッションECU１７、車間ECU１９、駐車支援ECU２１、及び操舵ECU２３は、マイクロコンピュータから構成されており、プログラムに従って各種処理を実行するとともに、当該装置の各部を制御するCPU、このCPUの実行プログラムを格納するROM、画像データ、演算結果等を格納する読書き可能なRAM（Random Access Memory）、タイマ、カウンタ、入出力インターフェイス等を有している。これらCPU、ROM、RAM、及び入出力インターフェイスは、データバスにより相互に接続されている。

また、入出力インターフェイスは、アナログ信号をデジタル信号に変換するA/D（Analog/Digital）変換器、デジタル信号をアナログ信号に変換するD/A（Digital/Analog）変換器等を含んでいる。カメラ３Ｒ、３Ｌから送信されるアナログの画像データは、入出力インターフェイスのA/D変換器により、デジタルの画像データに変換され、RAMの画像メモリに記憶される。CPUは、ROMに記憶された画像処理プログラムに従って、RAMの画像メモリに記憶された画像データを読み出し、画像処理を行う。なお、画像メモリに記憶された画像データは、輝度情報を含むグレースケール画像である。

画像処理ECU５は、画像メモリから読み出したグレースケール画像に基づいて、２値化画像を生成する。具体的には、画像処理ECU５は、グレースケール画像において、予め設定された輝度閾値よりも大きい領域（画素）を「１」とし、小さい領域（画素）を「０」として、２値化画像を生成する。画像処理ECU５は、これらグレースケール画像又は２値化画像に対して、後述する各種の画像処理を行う。

なお、画像処理ECU５、後述の衝突対応ECU７、シートベルトECU９、エアバックECU１１、ブレーキECU１３、エンジンECU１５、トランスミッションECU１７、車間ECU１９、駐車支援ECU２１、及び操舵ECU２３、は車両LAN（Local Area Network）２５に接続され、例えば、CAN（Controller Area Network）プロトコルに基づいて、双方向のデータ通信を行っている。

次に、上述のように構成された画像処理ECU５による自車両と対象物との間の距離Ｓの算出方法について、説明する。

まず、画像処理ECU５は、右側のカメラ３Ｒにより撮影された右画像と、左側のカメラ３Ｌにより撮影された左画像とにおいて、同一の対象物に対する画像上の左右方向（水平方向）のずれである視差Δｄを算出する。画像処理ECU５は、画像上の所定の領域毎（例えば複数の画素毎）に上記視差Δｄを算出する。

例えば、画像処理ECU５は、右側カメラ３Ｒにより撮影された画像（以下、基準画像と称す）上で抽出された先行車両等の対象物Ａに対して、左側カメラ３Ｌにより撮影された画像（以下、探索画像と称す）上の対応点（以下、対応画像と称す）Ｂを検出する。なお、左側カメラ３Ｌにより撮影された画像を基準画像とし、右側カメラ３Ｒにより撮影された画像を探索画像としてもよい。

具体的に、画像処理ECU５は、基準画像の対象物Ａに最も類似した探索画像上の領域を探索することで、対応画像Ｂの検出を行う。なお、画像間の類似度（相関度）は、領域内の各画素の輝度値に基づく差分処理、正規化相関処理等を用いて算出される。例えば、画像処理ECU５は、差分処理において、領域内の画素毎の輝度差の総和（輝度差分総和値）を算出する。この算出された輝度差分総和値が小さくなるほど、類似度は高くなる。なお、輝度差分総和値の算出方法は、周知の技術であることから詳細な説明は省略する。

画像処理ECU５は、基準画像における対象物Ａの重心位置と画像の中心線Ｌとの距離ａｘと、探索画像における対象画像Ｂの重心位置と画像の中心線Ｌとの距離ｂｘと、に基づいて、下記（１）式により視差Δdを算出する（図３）。

Δｄ＝ａｘ+ｂｘ （１）
このようにして、画像処理ECU５は、右側のカメラ３Ｒにより撮影された基準画像（右画像）と、左側のカメラ３Ｌにより撮影された探索画像（左画像）とにおいて、同一の対象物に対する画像上の左右方向（水平方向）のズレである視差Δｄを算出する。

さらに、画像処理ECU５は、上記算出された視差Δｄと、三角測量の原理に基づいた下記（２）式と、を用いて、対象物と自車両との間の距離（以下、車間距離と称す）Ｓを算出する。

Ｓ＝ｆ×Ｄ／（Δｄ×ｐ） （２）
上記（２）式において、ｆは左右カメラ３Ｒ、３Ｌの焦点距離であり、Ｄは左右カメラ３Ｒ、３Ｌの光軸間の距離である。また、ｐは撮像素子３ａ内の画素間隔である（図４）。なお、焦点距離ｆ、光軸間の距離Ｄ、および画素間隔ｐは、予め実験的に求められた値が画像処理ECU５のROMに設定されている。
（第１の実施の形態）
画像処理ECU５には、画像処理ECU５により算出された車間距離Ｓと、先行車両等の対象物に対する自車両の相対速度Ｖｒとに基づいて、自車両に減速度の付加を行い、乗員保護装置を作動する、等のPCS（Pre Crush Safety：プリクラッシュ）制御を行う衝突対応ECU７が接続されている。なお、画像処理ECU５は、車間距離Ｓに対して微分処理を施すことにより、上記対象物に対する自車両の相対速度Ｖｒを算出する。

より具体的には、衝突対応ECU７は、画像処理ECU５により算出された車間距離Ｓと上記相対速度Ｖｒとに基づいて、車両前方、後方又は側方の対象物と自車両との衝突が予測された場合に、自車両に減速度を付加する、及び／又は乗員保護装置を作動、制御する。なお、自車両に減速度の付加を行うには、減速度の付加の準備を行う場合も含むものとし、乗員保護装置を作動するには、作動の準備を行う場合も含むものとする。

また、乗員保護装置には、例えば、乗員を車両のシートに拘束するシートベルト装置９ａ、エアバックを展開、膨張させて乗員への衝撃を吸収するエアバック装置１１ａ、ステアリングコラムに衝撃吸収機構を内蔵したステアリング装置２３ａ、衝撃発生時に退避して、その衝撃を吸収するブレーキペダル装置、後方車両に自車両の減速（ブレーキペダルの踏込み）を知らせるブレーキランプ等の車両の安全性を確保するあらゆる装置が含まれる。

なお、衝突対応ECU７は、例えば、車間距離Ｓが短いほど、及び／又は相対速度Vrが速いほど、より早いタイミングで、乗員保護装置を作動させる等のPCS制御を開始する。逆に、衝突対応ECU７は、車間距離Ｓが長いほど、及び／又は相対速度Ｖｒが遅いほど、より遅いタイミングで乗員保護装置を作動させる等のPCS制御を開始する。

換言すれば、画像処理ECU５により算出される車間距離Ｓを実際の車間距離よりも短く算出するようにすれば、意図的に、より早いタイミングで乗員保護装置を作動させる等のPCS制御を開始させることができる。逆に、画像処理ECU５により算出される車間距離Ｓを実際の車間距離よりも長く算出するようにすれば、意図的に、より遅いタイミングで乗員保護装置を作動させる等のPCS制御を開始させることができる。

衝突対応ECU７には、シートベルト装置９ａを作動、制御するシートベルトECU９が接続されている。シートベルト装置９ａは、シートベルトに張力を付加する巻取り装置（プリテンショナ）を内蔵している。衝突対応ECU７は、画像処理ECU５からの車間距離Ｓと、相対速度Ｖｒとに基づいて、対象物と自車両とが衝突すると予測された場合、シートベルトECU９、後述のエアバックECU１１及びブレーキECU１３に衝突信号を送信する。シートベルトECU９は、衝突対応ECU７から衝突信号を受信すると、シートベルト装置９ａのプリテンショナを作動させ、シートベルトに張力を付加する。これにより、車両衝突時において、乗員がシートベルトにより確実に拘束される。

衝突対応ECU７には、エアバック装置１１ａの作動、制御を行うエアバックECU１１が接続されている。エアバックECU１１は、衝突対応ECU７から衝突信号を受信すると、エアバック装置１１ａの作動の準備を行う。これにより、自車両が対象物と衝突する前後において、エアバック装置１１ａを確実に作動させることが可能となる。

衝突対応ECU７には、自車両の液圧式等のブレーキ装置１３ａを制御するブレーキECU１３が接続されている。ブレーキECU１３は、例えばブレーキ装置１３ａの液圧を制御して、ブレーキキャリパを動作させることで、車両の減速度を制御する。ブレーキECU１３は、衝突対応ECU７から衝突信号を受信すると、ブレーキ装置１３ａの液圧を制御して、自車両に減速度を付加する。これにより、自車両が対象物と衝突したときの衝撃を緩和することができる。

なお、衝突対応ECU７は、ブレーキECU１３を介してブレーキ装置１３ａを制御することで自車両に減速度を付加しているが、エンジン１５ａの出力を低下させる、モータの発電による回生ブレーキを作動する（例えば、電気自動車、エンジンとモータを併用して走行するハイブリッド車両の場合）、トランスミッション装置１７ａの変速比を可変させる等により、又はこれらの任意の組み合わせにより、自車両に減速度を付加してもよい。

具体的に、衝突対応ECU７には、エンジン１５ａを制御するエンジンECU１５が接続され、エンジンECU１５は衝突対応ECU７から衝突信号を受信すると、電動式等のスロットルアクチュエータを制御して、エンジン１５ａの出力を低下させるようにしてもよい。また、衝突対応ECU７には、車両のトランスミッション１７ａを制御するトランスミッションECU１７が接続され、トランスミッションECU１７は、衝突信号を受信すると、変速機構の変速比を可変させて、車両に減速度を付加するようにしてもよい。

ところで、画像処理ECU５は、基準画像上の対象物に対して、例えば探索画像上において類似度が高い（輝度差分総和値が小さい、例えば０に近い値）対応画像を検出する。この場合、探索画像上において類似度が高い（輝度差分総和値が小さい）対応画像の候補が複数存在することがある。また、各対応画像の候補間において、輝度差分総和値の差が小さく（例えば、誤差の範囲内）、さらにノイズの混入した場合（例えば、外乱光、左右の撮像特性の差の影響）に、従来技術において、適正な対応画像が選択されない虞がある。

そこで、本実施例において、画像処理ECU５は、PCS制御等の自車両の制御態様に基づいて、複数存在する対応画像の候補の中から、１つの対応画像を選択する。

具体的には、画像処理ECU５は、対応画像の候補毎に、上記（１）式に基づいて、車間距離Ｓを算出する。さらに、画像処理ECU５は、対応画像の候補の中から、車間距離Ｓが大きい、自車両から遠い方の対応画像（例えば、車間距離Ｓが最大となる対応画像）を選択し、この選択された対応画像の車間距離Ｓを、PCS制御を行う衝突対応ECU７に対して、送信する。衝突対応ECU７は、この送信された自車両から遠い方の車間距離Ｓに基づいて、上述のPCS制御を行う。

なお、上記自車両から遠い方の対応画像として、車間距離Ｓが最大となる対応画像を選択する例を挙げたが、複数の対応画像の候補における車間距離Ｓの平均値を算出し、この平均値よりも大きい車間距離Ｓとなる対応画像を任意に選択してもよい。

これにより、画像処理ECU５により選択された対応画像が実際の対象物と一致している場合は、衝突対応ECU７は、実際の車間距離である車間距離Ｓに基づいて、衝突を適正に判断し、通常のPCS制御を行う。一方で、例えば、画像処理ECU５により選択された対応画像が実際の対象物と異なり、車間距離Ｓが実際の車間距離と異なる場合でも、衝突対応ECU７は、意図的に、実際の車間距離よりも大きい車間距離Ｓに基づいて、衝突を判断し、PCS制御を行う。従って、衝突対応ECU７が、実際の車間距離よりも短い車間距離Ｓに基づいて、衝突する可能性があると判断し、乗員保護装置等のうちの一般的に早期に作動することによる違和感が感じられ易いPCS制御を不必要に早期に作動させるのを防止することができる。

次に、第１の実施の形態に係る車両用画像処理装置１の処理フローについて説明する。図５は、第１の実施の形態に係る車両用画像処理装置１の処理フローの一例を示すフローチャートである。なお、図５、後述の図６、及び図７に示す処理ルーチンは所定の微小時間毎、例えば６４ｍｓ毎に繰返し実行される。

画像処理ECU５は、各カメラ３Ｒ、３Ｌから車両周囲のステレオ画像を取得する（Ｓ１００）。

次に、画像処理ECU５は、取得したステレオ画像に基づいて、基準画像上で抽出された先行車両等の対象物に対して、探索画像上の対応画像を検出する（Ｓ１１０）。

その後、画像処理ECU５は、探索画像上において複数の対応画像の候補が検出されたか否かを判断する（Ｓ１２０）。

画像処理ECU５は、複数の対応画像の候補が検出されたと判断すると（Ｓ１２０のＹｅｓ）、上記（１）に基づいて、対応画像毎に車間距離Ｓを算出する（Ｓ１３０）。一方、画像処理ECU５は、一つの対応画像の候補のみが検出されたと判断すると（Ｓ１２０のＮｏ）、上記（１）式に基づいて、この対応画像の車間距離Ｓを算出し、後述の（Ｓ１５０）の処理に移行する。

次に、画像処理ECU５は、複数の対応画像の候補のうち、車間距離Ｓが最大となる対応画像を選択し（Ｓ１４０）、選択された対応画像の車間距離Ｓを、衝突対応ECU７に対して送信する。

衝突対応ECU７は、画像処理ECU５から送信された車間距離Ｓと、相対速度Ｖｒとに基づいて、自車両が対象物と衝突するか否かを判断する（Ｓ１５０）。

衝突対応ECU７は、自車両が対象物と衝突すると判断したとき（Ｓ１５０のＹｅｓ）、シートベルトECU９、エアバックECU１１、ブレーキECU１３等に衝突信号を送信し、PCS制御を実行させる（Ｓ１６０）。例えば、シートベルトECU９は、衝突信号に基づいて、シートベルト装置９ａを作動させる。また、エアバックECU１１は、衝突信号に基づいて、エアバック装置１１ａを作動させる準備を行う。ブレーキECU１３は、衝突信号に基づいて、ブレーキ装置１３ａを作動させ、車両に減速度を付加する。

一方、衝突対応ECU７は、自車両が対象物と衝突しないと判断したとき（Ｓ１５０のＮｏ）、本処理ルーチンを終了させる。

以上、第１の実施の形態に係る車両用画像処理装置において、画像処理ECU５は、複数の対応画像の候補のうち、遠い方の対応画像（視差Δｄの小さい対応画像）を選択し、選択された対応画像の車間距離Ｓを、衝突対応ECU７に対して送信する。衝突対応ECU７は、この送信された遠い方の対応画像の車間距離Ｓに基づいて、PCS制御を実行する。これにより、画像処理ECU５により選択された対応画像が実際の対象物と一致している場合は、衝突対応ECU７は、実際の車間距離である車間距離Ｓに基づいて、衝突を適正に判断し、通常のPCS制御を実行する。一方で、例えば、画像処理ECU５により選択された対応画像が実際の対象物と異なり、車間距離Ｓが実際の車間距離と異なる場合でも、衝突対応ECU７は、意図的に、実際の車間距離よりも大きい車間距離Ｓに基づいて、衝突を判断し、PCS制御を実行する。従って、衝突対応ECU７が、実際の車間距離よりも短い車間距離Ｓに基づいて、衝突する可能性があると判断し、乗員保護装置等のうちの一般的に早期に作動することによる違和感が感じられ易いPCS制御を不必要に早期に作動させるのを防止することができる。すなわち、車両制御を最適に支援することができる。
（第２の実施の形態）
画像処理ECU５は、複数の対応画像の候補を検出したとき、対応画像の候補のうち、自車両から近い方の対応画像（例えば、車間距離Ｓが最小となる対応画像）を選択し、この選択された対応画像の車間距離Ｓを、ACC制御を行う車間ECU１９に対して、送信する。

なお、上記自車両から近い方の対応画像として、車間距離Ｓが最小となる対応画像を選択する例を挙げたが、複数の対応画像の候補における車間距離Ｓの平均値を算出し、この平均値よりも小さい車間距離Ｓとなる対応画像を任意に選択してもよい。

車間ECU１９は、画像処理ECU５から送信された車間距離Ｓと、車速センサ１５ｂにより検出された自車両の車速と、に基づいて、対象物と自車両との間の距離（車間距離、車間時間、車頭時間等）を適正に維持するACC（Adaptive Cruise Control若しくはAuto Cruise Control）制御を行う。

具体的には、車間ECU１９は、車速センサ１５ｂにより検出された自車両の車速と、予め設定された車間距離と車速との関係（例えば、マップ、テーブル等）に基づいて、適正な車間距離（車両の安全性、燃費等を考慮した最適な距離）を算出する。さらに、車間ECU１９は、画像処理ECU５から送信される車間距離Ｓが、算出された適正な車間距離となるように、車両に加速度又は減速度を付加する。

例えば、車間ECU１９はエンジンECU１５、ブレーキECU１３、トランスミッションECU１７等に制御信号を送信して、エンジン１５ａ、ブレーキ装置１３ａ、トランスミッション装置１７ａを制御することで、車両に減速度を付加する。一方、車間ECU１９はエンジンECU１５に制御信号を送信して、エンジン１５ａの出力を増加させることで、車両に加速度を付加する。

なお、車間時間とは、車間距離を車速センサ１５ｂにより検出された自車両の車速によって除算して、算出される値である。また、車頭時間とは、自車が先行車と（略）同一の速度にて追従走行している場合に、運転者が通常維持する自車両と先行車との車間距離を車速センサ１５ｂにより検出された自車両の速度で除算した値である。

他の構成は、第１の実施の形態と略同一である。第１の実施の形態と同一部分には、同一符号を付して詳細な説明は省略する。

図６は、第２の実施の形態に係る車両用画像処理装置１の処理フローの一例を示すフローチャートである。なお、図６に示す第２の実施の形態に係る処理（Ｓ２００）乃至（Ｓ２３０）は、図５に示す第１の実施の形態に係る処理（Ｓ１００）乃至（Ｓ１３０）と同一であることから、詳細な説明は省略する。

画像処理ECU５は、複数の対応画像の候補が検出されたと判断すると（Ｓ２２０のＹｅｓ）、上記（１）に基づいて、対応画像毎に車間距離Ｓを算出する（Ｓ２３０）。一方、画像処理ECU５は、一つの対応画像の候補のみが検出されたと判断すると（Ｓ２２０のＮｏ）、上記（１）式に基づいて、この対応画像の車間距離Ｓを算出し、（Ｓ２５０）の処理に移行する。

次に、画像処理ECU５は、複数の対応画像の候補のうち、車間距離Ｓが最小となる対応画像を選択し（Ｓ２４０）、選択された対応画像の車間距離Ｓを、車間ECU１９に対して送信する。

車間ECU１９は、画像処理ECU５から送信される車間距離Ｓが、算出された適正な車間距離となるように、エンジンECU１５、ブレーキECU１３、トランスミッションECU１７等に制御信号を送信して、車両の加速度又は減速度を付加し、ACC制御を実行する（Ｓ２５０）。このようにして、先行車両等の対象物と自車両との間において、適正な車間距離が維持される。

次に、第２の実施の形態に係る車両用画像処理装置１の変形例について、説明する。

画像処理ECU５は、複数の対応画像の候補を検出したとき、車両の走行環境に応じて、対応画像の候補のうち、自車両からより近い方の対応画像を選択してもよい。

例えば画像処理ECU５は、複数の対応画像の候補を検出したとき、車速センサ１５ｂからの車速、又は加速度センサからの車両加速度に応じて、対応画像の候補のうち、自車両からより近い方の対応画像を選択してもよい。これにより、車速及び車両加速度に応じて、より適正な対応画像が選択される。

以上、第２の実施の形態に係る車両用画像処理装置において、画像処理ECU５は、複数の対応画像の候補のうち、近い方の対応画像（視差Δｄが大きい方の対応画像）を選択し、選択された対応画像の車間距離Ｓを、車間ECU１９に対して送信する。車間ECU１９は、この送信された近い方の対応画像の車間距離Ｓに基づいて、ACC制御を実行する。

これにより、画像処理ECU５により選択された対応画像が実際の対象物と一致している場合は、車間ECU１９は、実際の車間距離である車間距離Ｓに基づいて、先行車両等との車間距離を適正に判断し、通常のACC制御を実行することができる。一方で、例えば、画像処理ECU５により選択された対応画像が実際の対象物と異なり、車間距離Ｓが実際の車間距離と異なる場合でも、車間ECU１９は、意図的に、実際の車間距離よりも小さい車間距離Ｓに基づいて、先行車両等との車間距離を判断し、ACC制御を実行する。この場合、車間ECU１９が、実際の車間距離よりも小さい車間距離Ｓを認識することから、先行車両等との車間距離を通常より大きくなるように車間制御を行う。したがって、先行車両等との車間距離が充分確保され得ることから、車両の安全性が向上する。すなわち、車両制御を最適に支援することができる。
（第３の実施の形態）
画像処理ECU５は、複数の対応画像の候補を検出したとき、対応画像の候補のうち、自車両から近い方の対応画像（例えば、車間距離Ｓが最小となる対応画像）を選択し、この選択された対応画像の車間距離Ｓを、駐車支援を行う駐車支援ECU２１に対して、送信する。

なお、上記自車両から近い方の対応画像として、車間距離Ｓが最小となる対応画像を選択する例を挙げたが、複数の対応画像の候補における車間距離Ｓの平均値を算出し、この平均値よりも小さい車間距離Ｓとなる対応画像を任意に選択してもよい。

駐車支援ECU２１は、画像処理ECU５から送信された自車両と障害物との間の車間距離Ｓに基づいて、操舵ECU２３、ブレーキECU１３、及びエンジンECU１５を制御して、ユーザによって設定された駐車目標位置に、自車両を導く。なお、操舵ECU２３は、ステアリング装置２３ａを制御することで、車両のステアリングの操舵角を制御する。

他の構成は、第１及び第２の実施の形態と略同一である。第１及び第２の実施の形態と同一部分には、同一符号を付して詳細な説明は省略する。

図７は、第３の実施の形態に係る車両用画像処理装置１の処理フローの一例を示すフローチャートである。なお、図７に示す、第３の実施の形態に係る処理（Ｓ３００）乃至（Ｓ３３０）は、図５に示す、第１の実施の形態に係る処理（Ｓ１００）乃至（Ｓ１３０）と同一であることから、詳細な説明は省略する。

画像処理ECU５は、複数の対応画像の候補が検出されたと判断すると（Ｓ３２０のＹｅｓ）、上記（１）に基づいて、対応画像毎に車間距離Ｓを算出する（Ｓ３３０）。一方、画像処理ECU５は、一つの対応画像の候補のみが検出されたと判断すると（Ｓ３２０のＮｏ）、上記（１）式に基づいて、この対応画像の車間距離Ｓを算出し、（Ｓ３５０）の処理に移行する。

次に、画像処理ECU５は、複数の対応画像の候補のうち、車間距離Ｓが最小となる対応画像を選択し（Ｓ３４０）、選択された対応画像の車間距離Ｓを、駐車支援ECU２１に対して送信する。

駐車支援ECU２１は、画像処理ECU５から送信された車間距離Ｓに基づいて、操舵ECU２３、ブレーキECU１３、及びエンジンECU１５を制御して、駐車目標位置に自車両を導く駐車支援制御を実行する（Ｓ３５０）。具体的には、駐車支援ECU２１は、画像処理ECU５からの車間距離Ｓに基づいて、駐車目標位置までの経路上において、人、他車両等の障害物と安全距離を維持しつつ、回避するように、操舵ECU２３、ブレーキECU１３、及びエンジンECU１５を制御する。

以上、第３の実施の形態に係る車両用画像処理装置１において、画像処理ECU５により選択された対応画像が実際の対象物と一致している場合は、駐車支援ECU２１は、実際の車間距離である車間距離Ｓに基づいて、障害物等の対象物との車間距離を適正に判断し、通常の駐車支援制御を実行することができる。一方で、例えば、画像処理ECU５により選択された対応画像が実際の対象物と異なり、車間距離Ｓが実際の車間距離と異なる場合でも、駐車支援ECU２１は、意図的に、実際の車間距離よりも小さい車間距離Ｓに基づいて、障害物等との車間距離を判断し、駐車支援制御を実行する。この場合、駐車支援ECU２１が、実際の車間距離よりも小さい車間距離Ｓを認識することから、経路上の障害物等との距離を通常より大きくなるように駐車支援制御を行う。したがって、経路上の障害物等との距離が充分確保されて駐車支援が行われることから、車両の安全性が向上する。すなわち、車両制御を最適に支援することができる。

以上、本発明を実施するための最良の形態について実施の形態を用いて説明したが、本発明はこうした実施の形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において、上述した実施の形態に種々の変形及び置換を加えることができる。

例えば、上記実施形態において、画像処理ECU５は、PCS制御、ACC制御、駐車支援制御等の自車両の制御態様に基づいて、複数存在する対応画像の候補の中から、１つの対応画像を選択してもよい。すなわち、上述した第１の実施の形態、第２の実施の形態、及び第３の実施の形態を組み合わせてもよい。

具体的には、画像処理ECU５は、複数の対応画像の候補を検出したとき、対応画像の候補のうち、自車両から遠い方の対応画像の車間距離Ｓを衝突対応ECUに対して送信し、自車両から近い方の対応画像の車間距離Ｓを車間ECU１９及び駐車支援ECU２１に対して送信してもよい。この場合、車間ECU１９に送信される対応画像の車間距離Ｓは、駐車支援ECU２１に送信される対応画像の車間距離Ｓよりも、小さくてもよい。これにより、PCS制御、ACC制御、駐車支援制御等の自車両の制御態様に応じて、対応画像が選択され、適正な車間距離Ｓが算出される。

また、上記実施の形態において、左右方向にカメラ３Ｒ、３Ｌが併設され、画像処理ECU５は左右方向の視差Δｄに基づいて、対象物と自車両との間の車間距離Ｓを算出しているが、上下方向にカメラが併設され、画像処理ECU５は、上下方向の視差に基づいて、対象物と自車両との間の車間距離Ｓを算出してもよい。

なお、上記実施の形態において、画像処理ECU５が特許請求の範囲記載の距離算出手段、及び対応点選択手段に相当する。

本発明は、例えば、PCS制御、ACC制御、駐車支援制御等に用いられる車両用画像処理装置に利用できる。搭載される車両の外観、重量、サイズ、走行性能等は問わない。

本発明の第１乃至第３の実施の形態に係る車両用画像処理装置のシステム構成の一例を示すブロック図である。 カメラが車両前部の右側および左側において、車両前方を向くように配置された状態の一例を示す図である。 右側のカメラにより撮影された基準画像と左側のカメラにより撮影された探索画像との視差の一例を示す図である。 対象物と自車両との間の距離（車間距離）の一例を示す図である。 第１の実施の形態に係る車両用画像処理装置の処理フローの一例を示すフローチャートである。 第２の実施の形態に係る車両用画像処理装置の処理フローの一例を示すフローチャートである。 第３の実施の形態に係る車両用画像処理装置の処理フローの一例を示すフローチャートである。

符号の説明

１ 車両用画像処理装置
３Ｒ、３Ｌ カメラ
５ 画像処理ECU
７ 衝突対応ECU
１９ 車間ECU
２１ 駐車支援ECU

Claims (5)

1. 自車両周囲のステレオ画像を取得するステレオ画像取得手段と、
   前記ステレオ画像取得手段により取得された前記ステレオ画像間の対応点を検出する対応点検出手段と、
   該対応点検出手段により検出された前記対応点に基づいて視差を算出し、該視差に基づいて、前記自車両と前記自車両周囲の対象物との間の距離を算出する距離算出手段と、
   を備える車両用画像処理装置であって、
   前記対応点検出手段により複数の前記対応点の候補が検出されたとき、前記自車両の制御態様に基づいて、前記複数の対応点の候補の中から１つの該対応点を選択する対応点選択手段を備えることを特徴とする車両用画像処理装置。
2. 請求項１記載の車両用画像処理装置であって、
   前記自車両の制御態様が、物体との衝突が推定されたとき、前記自車両に減速度を付加し、及び／又は乗員保護装置を作動させるプリクラッシュ制御であるとき、前記対応点選択手段は、前記複数の対応点の候補のうち、前記自車両から遠い位置となる前記対応点を選択することを特徴とする車両用画像処理装置。
3. 請求項１記載の車両用画像処理装置であって、
   前記自車両の制御態様が、先行車両との間の距離を適正に維持する車間制御であるとき、前記対応点選択手段は、前記複数の対応点の候補のうち、前記自車両から近い位置となる前記対応点を選択することを特徴とする車両用画像処理装置。
4. 請求項１記載の車両用画像処理装置であって、
   前記自車両の制御態様が、前記自車両を所定の駐車位置に導く駐車支援制御であるとき、前記対応点選択手段は、前記複数の対応点の候補のうち、前記自車両から近い位置となる前記対応点を選択することを特徴とする車両用画像処理装置。
5. 請求項１乃至４のうちいずれか１項記載の車両用画像処理装置であって、
   前記対応点選択手段は、前記自車両の走行環境に応じて、前記複数の対応点の候補の中から１つの該対応点を選択することを特徴とする車両用画像処理装置。

Images