JP2010108182A - 車両の運転支援装置 - Google Patents

Abstract

【課題】撮像手段による撮像が不能となったときに、表示画像のフリーズにより運転者に違和感を与えることを緩和した車両の運転支援装置を提供する。
【解決手段】対象物画像抽出手段２０により抽出された画像部分に対応する実空間上の対象物と、車両との相対速度を算出する相対速度算出手段２４と、赤外線カメラ２Ｒ，２Ｌによる撮像が不能となったときに、画像メモリ２８に保持された過去の画像のデータと、相対速度算出手段２４により算出された相対速度とに基づいて、赤外線カメラ２Ｒ，２Ｌによる撮像が不能な期間における対象物の画像部分の変化を推定して表した擬似画像を生成し、該擬似画像を表示装置９に表示する擬似画像表示手段２５とを備える。
【選択図】 図１

Description

本発明は、車両に搭載された撮像手段により撮像された画像を表示して、車両の周辺に存在する対象物を運転者に認識させる車両の運転支援装置に関する。

従来より、車両に搭載された赤外線カメラより撮像された車両前方の画像を、ナビゲーションシステムの表示部等に表示することによって、夜間走行時に、運転者に対して車両周辺に存在する歩行者等を認識させるようにした車両の運転支援装置が知られている（例えば、特許文献１参照）。

また、カメラの撮像素子は温度等により感度特性が変化するため、例えば、赤外線カメラにおいて、定期的に撮像素子の感度を再設定するキャリブレーションを行なうことが知られている（例えば、特許文献２参照）。キャリブレーションは、カメラのシャッターを閉じて撮像素子への入光が遮断された状態とし、この状態での撮像素子による撮像画像の輝度が一定となるように撮像素子の感度を設定して行われる。
特開２００１−６０９６号公報 米国特許第６９２９４１０Ｂ２号公報

上述したように、運転者が表示部に表示される車両前方の画像を確認しながら車両を運転しているときに、赤外線カメラのキャリブレーションが実行されると、シャッターが閉じられて赤外線カメラによる撮像ができなくなる。そして、この場合には、それまで車両の走行に応じて変化していた表示部の画像が、突然更新されない状態（フリーズ状態）となるため、運転者に違和感を与えるおそれがある。

なお、このように、赤外線カメラによる撮像が不能となる状況は、キャリブレーションが実行されたとき以外にも、例えば、赤外線カメラへの同期信号の抜けが発生した場合にも生じる。

そこで、本発明は、撮像手段による撮像が不能となったときに、表示画像のフリーズにより運転者に違和感を与えることを緩和した車両の運転支援装置を提供することを目的とする。

車両に搭載された撮像手段により撮像された車両周辺の画像を、該車両に搭載された表示手段に表示する車両の運転支援装置の改良に関する。

そして、前記撮像手段により撮像された画像のデータを保持する画像メモリと、前記撮像手段により撮像された画像から、実空間上の対象物の画像部分を抽出する対象物画像抽出手段と、前記対象物画像抽出手段により抽出された画像部分に対応する実空間上の対象物と、前記車両との相対速度を算出する相対速度算出手段と、前記撮像手段による撮像が不能となったときに、前記画像メモリに保持された過去の画像のデータと、前記相対速度算出手段により算出された相対速度とに基づいて、前記撮像手段による撮像が不能な期間における前記対象物の画像部分の変化を推定して表した擬似画像を生成し、該擬似画像を前記表示手段に表示する擬似画像表示手段とを備えたことを特徴とする。

かかる本発明によれば、前記撮像手段による撮像が不能となったときに、前記擬似画像表示手段により、前記画像メモリに保持された過去の画像のデータと、前記相対速度算出手段により算出された相対速度とに基づいて、前記撮像手段による撮像が不能な期間における前記対象物の画像部分の変化を推定して表した擬似画像が生成される。そして、このように、前記車両と対象物との相対速度に基づいて、前記対象物の画像部分の変化を推定して表した前記擬似画像は、前記撮像手段による撮像が不能とならなかったときに、前記撮像手段により撮像される画像に近似するものとなる。そのため、前記撮像手段による撮像が不能となったときに、前記擬似画像表示手段により前記擬似画像を生成して前記表示手段に表示することによって、前記撮像手段による撮像が不能である間も、前記表示手段に表示される画像を変化させて運転者に視認させることができる。そのため、前記撮像手段による撮像が不能である間に、運転者に対して、表示画像がフリーズすることによる違和感を与えることを緩和することができる。

また、前記車両の走行速度を検出する車速検出手段を備え、前記擬似画像表示手段は、前記画像メモリに保持された過去の画像のデータのうち、対象物の画像部分を前記相対速度算出手段により算出された相対速度に基づいて拡大又は縮小した第１の推定画像と、対象物の画像部分以外の背景画像の変化を前記車速検出手段により検出された前記車両の走行速度に基づいて拡大又は縮小した第２の推定画像とを合成して、前記擬似画像を生成することを特徴とする。

かかる本発明によれば、前記撮像手段により撮像される画像における前記対象物の画像部分の大きさは、前記対象物と前記車両との相対速度に応じて拡大又は縮小する。それに対して、前記対象物の画像部分以外の背景画像については、前記車両の走行速度に応じて拡大または縮小する。このように、前記対象物の画像部分とそれ以外の背景画像では、大きさの変化の仕方が相違する。

そこで、前記擬似画像表示手段は、前記対象物の画像部分については、前記対象物と前記車両との相対速度に基づいて拡大又は縮小した前記第１の推定画像を生成し、前記対象物の画像部分以外の背景画像については、前記車両の走行速度に基づいて拡大又は縮小した前記第２の推定画像を生成して、前記第１の推定画像と前記第２の推定画像とを合成して前記擬似画像を生成する。そして、これにより、前記擬似画像を、前記撮像手段による撮像が可能な場合に撮像される画像に近づけて、運転者に違和感を与えることを一層緩和することができる。

また、前記車両の水平方向の変化と鉛直方向の変化とのうちの少なくともいずれか一方を、前記車両の挙動として検出する車両挙動検出手段を備え、前記擬似画像表示手段は、前記第１の推定画像と前記第２の推定画像との合成画像における前記第１の推定画像の位置を、前記車両挙動検出手段により検出された前記車両の挙動に基づいて変更して、前記擬似画像を生成することを特徴とする。

かかる本発明によれば、前記車両挙動検出手段により検出される前記車両の挙動に応じて、前記第１の推定画像と前記第２の推定画像との合成画像における前記第１の推定画像の位置を、前記車両の挙動に応じて変更することによって、前記擬似画像を、前記撮像手段による撮像が可能な場合に撮像される実際の画像に近づけて、運転者に違和感を与えることを一層緩和することができる。

また、前記擬似画像表示手段は、前記第１の推定画像と前記第２の推定画像との合成画像における前記第２の推定画像の位置を、前記車両挙動検出手段により検出された前記車両の挙動に基づいて変更して、前記擬似画像を生成することを特徴とする。

かかる本発明によれば、前記車両挙動検出手段により検出される前記車両の挙動に応じて、前記第１の推定画像と前記第２の推定画像との合成画像における前記第２の推定画像の位置を、前記車両の挙動に応じて変更することによって、前記擬似画像を、前記撮像手段による撮像が可能な場合に撮像される実際の画像に近づけて、運転者に違和感を与えることを一層緩和することができる。

また、前記撮像手段に設けられたシャッターを閉じた状態として、前記撮像手段のキャリブレーションを行うキャリブレーション手段を備え、前記擬似画像表示手段は、前記撮像手段のキャリブレーションの実行により前記撮像手段による撮像が不能となったときに、前記擬似画像を生成して前記表示手段に表示することを特徴とする。

かかる本発明によれば、前記キャリブレーション手段により前記撮像手段のキャリブレーションが実行されている間も、前記擬似画像表示手段により前記擬似画像が生成されて前記表示手段に表示される。そのため、前記撮像手段のキャリブレーションの実行中に、前記表示手段に表示される画像がフリーズした状態となって、運転者に違和感を与えることを緩和することができる。

本発明の実施の形態について、図１〜７を参照して説明する。図１は本発明の車両の運転支援装置の構成図であり、本発明の車両の運転支援装置は、画像処理ユニット１を用いて構成されている。画像処理ユニット１には、遠赤外線を検出可能な赤外線カメラ２Ｒ，２Ｌ（本発明の撮像手段に相当する）、車両のヨーレートを検出するヨーレートセンサ３（本発明の車両挙動検出手段に相当する）、車両の走行速度を検出する車速センサ４（本発明の車速検出手段に相当する）、運転者によるブレーキの操作量を検出するブレーキセンサ５、運転者によるステアリングホイールの操舵角を検出する操舵角センサ６（本発明の車両挙動検出手段に相当する）、車両のピッチ角度を検出するピッチ角センサ７（本発明の車両挙動検出手段に相当する）、音声により注意喚起を行うためのスピーカ８、及び、赤外線カメラ２Ｒ，２Ｌにより得られた画像を表示すると共に、接触の可能性が高い対象物を運転者に視認させる表示を行うための表示装置９（本発明の表示手段に相当する）が接続されている。

図２を参照して、赤外線カメラ２Ｒ，２Ｌは、車両１０の前部に、車両１０の車幅方向の中心部に対してほぼ対象な位置に配置され、２台の赤外線カメラ２Ｒ，２Ｌの光軸を互いに平行とし、各赤外線カメラ２Ｒ，２Ｌの路面からの高さを等しくして固定されている。なお、赤外線カメラ２Ｒ，２Ｌは、撮像物の温度が高い程出力レベルが高くなる（輝度が大きくなる）特性を有している。赤外線カメラ２Ｒには、撮像素子への入光を遮断するためのシャッター３０Ｒが設けられており、同様に、赤外線カメラ２Ｌにはシャッター３０Ｌが設けられている。また、表示装置７は、車両１０のフロントウィンドウの運転者側の前方位置に画面７ａが表示されるように設けられている。

また、図１を参照して、画像処理ユニット１は、マイクロコンピュータ（図示しない）等により構成された電子ユニットであり、赤外線カメラ２Ｒ，２Ｌから出力されるアナログの映像信号をデジタルデータに変換して画像メモリ２８に取り込み、画像メモリ２８に取り込んだ車両前方の画像に対して該マイクロコンピュータにより各種演算処理を行う機能を有している。

そして、該マイクロコンピュータに、車両の運転支援用プログラムを実行させることによって、該マイクロコンピュータが、赤外線カメラ２Ｒにより撮像された画像から、実空間上の対象物の画像部分を抽出する対象物抽出手段２０、赤外線カメラ２Ｌにより撮像された画像から、対象物の画像部分と相関性を有する画像部分を抽出する対応画像抽出手段２１、対象物抽出手段２０により抽出された対象物の画像部分と対応画像抽出手段２１により抽出された画像部分との視差を算出する視差算出手段２２、視差算出手段２２により算出された視差に基づいて対象物と車両１０間の距離を算出する距離算出手段２３、対象物と車両１０間の相対速度を算出する相対速度算出手段２４、赤外線カメラ２Ｒ，２Ｌによる撮像が不能となったときに擬似画像を生成して表示装置９に表示する擬似画像表示手段２５、赤外線カメラ２Ｒ，２Ｌのキャリブレーションを行うキャリブレーション手段２６、及び、車両１０と対象物との接触可能性を判定する接触判定手段２７として機能する。

そして、このように画像処理ユニット１により構成される対象物抽出手段２０、相対速度算出手段２４、擬似画像表示手段２５、及びキャリブレーション手段２６と、画像メモリ２８と、ヨーレートセンサ３と、車速センサ４と、操舵角センサ６と、ピッチ角センサ７とにより、本発明の車両の運転支援装置が構成されている。

ここで、赤外線カメラ２Ｒ，２Ｌの撮像素子は温度等により感度特性が変化するため、定期的に撮像素子の感度を再設定するキャリブレーションを行うことで、より良好な画像を得ることができる。そして、キャリブレーション手段２６は、赤外線カメラ２Ｒ，２Ｌのシャッター３０Ｒ，３０Ｌを閉じて撮像素子への入光が遮断された状態とし、この状態で撮像した画像の輝度が一定となるように撮像素子の感度を設定して、キャリブレーションを行う。

また、キャリブレーションは、撮像素子の感度特性だけでなく、赤外線カメラ２Ｒ，２Ｌ（左右のステレオカメラ）のパン角誤差についても、例えば、赤外線カメラ２Ｒ，２Ｌからの距離が既知である対象物を基準とした補正等により、行うことができる。

このように、キャリブレーションは赤外線カメラ２Ｒ，２Ｌのシャッターを閉じて行われるため、キャリブレーションの実行中は、赤外線カメラ２Ｒ，２Ｌにより車両１０の前方を撮像することが不能となる。また、画像処理ユニット１と赤外線カメラ２Ｒ，２Ｌ間の映像同期信号の入出力が途切れたときにも、赤外線カメラ２Ｒ，２Ｌにより車両１０の前方を撮像することが不能となる。

そこで、画像処理ユニット１は、赤外線カメラ２Ｒ，２Ｌによる撮像が可能であるか否かを判断する。そして、画像処理ユニット１は、赤外線カメラ２Ｒ，２Ｌによる撮像が可能であるときは、図３に示したフローチャートに従って、赤外線カメラ２Ｒ，２Ｌにより撮像された画像に基づく車両１０の周辺の監視処理を実行する。

一方、赤外線カメラ２Ｒ，２Ｌによる撮像が不能であるときには、画像処理ユニットは、図４〜図５に示したフローチャートに従って、擬似画像を生成して表示装置９に表示する処理を実行する。

先ず、図３に示したフローチャートに従って、画像処理ユニット１による車両１０の周辺の監視処理について説明する。

画像処理ユニット１は、ＳＴＥＰ１で、赤外線カメラ２Ｒ，２Ｌから出力される赤外線画像のアナログ信号を入力し、続くＳＴＥＰ２で該アナログ信号をＡ／Ｄ変換によりデジタル化したグレースケール画像を画像メモリ２８に保持する。

なお、ＳＴＥＰ１〜ＳＴＥＰ２では、赤外線カメラ２Ｒによるグレースケール画像（以下、右画像という。）と、赤外線カメラ２Ｌによるグレースケール画像（以下、左画像という。）とが取得される。そして、右画像と左画像では、同一の対象物の画像部分の水平位置にずれ（視差）が生じるため、この視差に基づいて実空間における車両１０から該対象物までの距離を算出することができる。

続くＳＴＥＰ３で、画像処理ユニット１は、右画像を基準画像として２値化処理（輝度が閾値以上の画素を「１（白）」とし、該閾値よりも小さい画素を「０（黒）」とする処理）を行って２値画像を生成する。次のＳＴＥＰ４〜ＳＴＥＰ６は、対象物抽出手段２０による処理である。

対象物抽出手段２０は、ＳＴＥＰ４で、２値画像に含まれる各白領域の画像部分をランレングスデータ（２値画像のｘ（水平）方向に連続する白の画素のラインのデータ）化する。また、対象物抽出手段２０は、ＳＴＥＰ５で、２値画像のｙ（垂直）方向に重なる部分があるラインを一つの画像部分としてラベリングし、ＳＴＥＰ６で、ラベリングした画像部分を監視対象物の画像候補として抽出する。

次のＳＴＥＰ７で、画像処理ユニット１は、各画像候補の重心Ｇ、面積Ｓ、及び外接四角形の縦横比ＡＳＰＥＣＴを算出する。なお、具体的な算出方法については、前掲した特開２００１−６０９６号公報に詳説されているので、ここでは説明を省略する。そして、画像処理ユニット１は、続くＳＴＥＰ８〜ＳＴＥＰ９と、ＳＴＥＰ２０〜ＳＴＥＰ２２を平行して実行する。

ＳＴＥＰ８で、画像処理ユニット１は、所定のサンプリング周期毎に赤外線カメラ２Ｒ，２Ｌにより撮像された画像に基づく２値画像から抽出された画像部分について、同一性判定を行い、同一の対象物の画像であると判定された画像部分の位置（重心位置）の時系列データをメモリに格納する（時刻間追跡）。また、ＳＴＥＰ９で、画像処理ユニット１は、車速センサ４により検出される車速ＶCAR及びヨーレートセンサ３により検出されるヨーレートＹRを読み込み、ヨーレートＹRを時間積分することにより、車両１０の回頭角θrを算出する。

また、ＳＴＥＰ２０〜ＳＴＥＰ２１は対応画像抽出手段２１による処理である。対応画像抽出手段２１は、ＳＴＥＰ２０で、対象物抽出手段２０により抽出された監視対象物の画像候補の中の一つを選択して、右画像のグレースケール画像から対応する探索画像ａ（選択された候補画像の外接四角形で囲まれる領域全体の画像）を抽出する。続くＳＴＥＰ２１で、対応画像抽出手段２０は、左画像のグレースケール画像から探索画像に対応する画像を探索する探索領域を設定し、探索画像との相間演算を実行して対応画像を抽出する。

続くＳＴＥＰ２２は、視差算出手段２２による処理である。視差算出手段２２は、探索画像の重心位置と対応画像の重心位置との差を視差ｄｘとして算出し、ＳＴＥＰ１０に進む。

ＳＴＥＰ１０で、画像処理ユニット１は、探索画像及び対応画像に対応する実空間上の対象物と車両１０との距離ｚを、以下の式（１）により算出する「距離算出処理」を実行する。

但し、ｚ：対象物と車両１０との距離、ｆ：赤外線カメラ２Ｒ，２Ｌの焦点距離、ｐ：赤外線カメラ２Ｒ，２Ｌの画素ピッチ、Ｄ：赤外線カメラ２Ｒ，２Ｌの基線長、ｄｘ：視差。

続くＳＴＥＰ１１〜ＳＴＥＰ１５及びＳＴＥＰ３０は、接触判定手段２７による処理である。ＳＴＥＰ１１で、接触判定手段２７は、探索画像３０ａの座標（ｘ，ｙ）とＳＴＥＰ１０で算出された対象物と車両１０との距離ｚを、実空間座標（Ｘ，Ｙ，Ｚ）に変換して、探索画像１０ａに対応する実空間上の対象物の位置の座標を算出する。なお、実空間座標（Ｘ，Ｙ，Ｚ）は、図２に示したように、赤外線カメラ２Ｒ，２Ｌの取り付け位置の中点の位置を原点０として、Ｘを車両１０の車幅方向、Ｙを鉛直方向、Ｚを車両１０の前方向に設定されている。また、画像座標は、画像の中心を原点とし、水平方向がｘ、垂直方向がｙに設定されている。

次のＳＴＥＰ１２で、接触判定手段２７は、車両１０が回頭することによる画像上の位置ずれを補正するための回頭角補正を行う。また、ＳＴＥＰ１３で、接触判定手段２７は、所定のモニタ期間内で撮像された複数の画像から得られた回頭角補正後の同一の対象物の実空間位置の時系列データから、対象物と車両１０との相対的な移動ベクトルを算出する。

なお、対象物の実空間座標（Ｘ，Ｙ，Ｚ）及び移動ベクトルの具体的な算出方法については、前掲した特開２００１−６０９６号公報に詳説されているので、ここでは説明を省略する。

次に、ＳＴＥＰ１４で、接触判定手段２７は、車両１０と対象物との接触可能性を判断して、注意喚起を行う必要があるか否かを判定する「注意喚起判定処理」を実行する。そして、「注意喚起判定処理」により、注意喚起を行う必要があると判定されたときは、ＳＴＥＰ３０に分岐してブザー８による注意喚起音の出力と、表示装置９への注意喚起表示を行う。一方、「注意喚起判定処理」により注意喚起を行う必要がないと判定されたときにはＳＴＥＰ１に戻り、画像処理ユニット１は注意喚起を行わない。

画像処理ユニット１は、「注意喚起判定処理」において、対象物が余裕時間内に自車両１０と接触する可能性、対象物が自車両周囲に設定した接近判定領域内に存在するか否か、対象物が接近判定領域外から接近判定領域内に進入して自車両１０と接触する可能性、対象物が歩行者であるか否か、対象物が人工構造物であるか否か等を判定して、注意喚起を行う必要があるか否かを判定する。

なお、「注意喚起判定処理」の具体的な処理内容については、前掲した特開２００１−６０６９に「警報判定処理」として詳説されているので、ここでは説明を省略する。また、注意喚起表示としては、例えば、表示装置９に表示されている車両１０の前方の画像において、対象物の画像部分の輝度を高くして強調する表示を行う。

次に、図４〜図５に示したフローチャートに従って、画像処理ユニット１による擬似画像を生成して表示装置９に表示する処理について説明する。

画像処理ユニット１は、ＳＴＥＰ４０で、画像メモリ２８に保持された最新の画像データを読み出す。なお、画像メモリ２８には、現在から過去にさかのぼる数１０フレーム分の画像データを保持するようにしてもよく、赤外線カメラ２Ｒ，２Ｌにより撮像がなされた時に、最新の画像データを上書きして１フレーム分の画像データを保持するようにしてもよい。

続くＳＴＥＰ４１で、画像処理ユニット１は、車速センサ４により検出された車両１０の走行速度ＶCAR、ヨーレートセンサ３により検出された車両１０のヨーレートＹR、操舵角センサにより検出された車両１０のステアリングホールの操作角度ＳA、ピッチ角センサ７により検出された車両１０のピッチ角度ＰRを入力する。

続くＳＴＥＰ４２で、画像処理ユニット１は、ＳＴＥＰ４０で読み出した画像データについて、上述した図３のＳＴＥＰ１１で算出された対象物の実空間位置（横位置Ｘ，高さＹ，距離Ｚ）のデータを読み出し、ＳＴＥＰ４３でフレームカウンタＦctを０とする。フレームカウンタＦctは、表示する擬似画像のフレーム数を管理するためのものである。

次のＳＴＥＰ４４で、画像処理ユニット１は対象物が車両１０の前方を走行する車両（以下、前方車両という）であるか否かを判断する。画像処理ユニット１は、対象物の実空間位置（横位置Ｘ，高さＹ，距離Ｚ）が、予め設定された判定基準範囲内にあるときに、対象物が前方車両であると判断する。そして、対象物が前方車両であるときはＳＴＥＰ４５〜ＳＴＥＰ４８の処理を実行し、対象物が前方車両でないときにはＳＴＥＰ４９に分岐する。

なお、前方車両であるか否かの他の判断基準として、例えば、歩行者検出における車両除外処理で、車両であると認識されたときに、対象物は前方車両であると判断するようにしてもよい。

ＳＴＥＰ４５で、画像処理ユニット１はフレームカウンタＦctをインクリメントし、ＳＴＥＰ４６で、前方車両と判断された対象物が複数ある場合に、車両１０からの距離が最も近い対象物を抽出する。次のＳＴＥＰ４７は、相対速度算出手段２４による処理であり、相対速度算出手段２４は、車両１０の走行速度と対象物の時間あたりの距離変化量から、車両１０と対象物との相対速度を算出する。

続くＳＴＥＰ４８〜図５のＳＴＥＰ５２及びＳＴＥＰ６０は、擬似画像表示手段２５による処理である。擬似画像表示手段２５は、ＳＴＥＰ４８で対象物の画像部分に対する拡大縮小率αを、相対速度が正（車両１０に対象物が接近する状態）であるときは拡大縮小率αを拡大設定（１＜α）とし、相対速度が負（車両１０から対象物が遠ざかる状態）であるときは拡大縮小率αを縮小設定（α＜１）とする。

また、次のＳＴＥＰ４９で、擬似画像表示手段２５は、通常、大半の運転者が運転する際に前方を見ている距離（前方注視距離）を一定距離Ｚcと規定し、この一定距離Ｚcと車両の走行速度から拡大縮小率βを決定する。車両１０が前方に走行していれば、拡大縮小率βは拡大設定（１＜β）となる。

続く図５のＳＴＥＰ５０で、擬似画像表示手段２５は、図４のＳＴＥＰ４１で入力した車速ＶCAR，ヨーレートＹR，操舵角ＳA，ピッチ角ＰAから、車両１０の挙動による画像位置の補正が必要か否かを判断する。そして、画像位置の補正が必要なときはＳＴＥＰ５１に進み、画像位置の補正が必要でないときにはＳＴＥＰ６０に分岐する。

図６を参照して、擬似画像表示手段２５は、ＳＴＥＰ５１で、画像メモリ２８に保持された画像データＩm_0の対象物の画像部分（ＯＢＪ1）を拡大縮小倍率αで拡大又は縮小した画像（本発明の第１の推定画像に相当する）と、対象物の画像部分（ＯＢＪ1）以外の背景画像を拡大縮小倍率βで拡大した画像（本発明の第２の推定画像に相当する）との合成画像Ｉm_1を生成する。

また、擬似画像表示手段２５は、ヨーレートＹR及び操舵角ＳAから、車両１０の左右方向への向きの変化が観測されたときは、該左右方向への向きの変化の大きさに応じて合成画像Ｉm_1の表示装置９に表示する範囲Ｄm0を左右方向に移動させる補正を行う。例えば、図７を参照して、右方向への変化（右旋回）が観測されたときは、合成画像Ｉm_1の表示装置９に表示する範囲Ｄm0を、右方向への変化の大きさに応じたΔｈだけ移動させた範囲Ｄm1を、表示装置９に表示する擬似画像とする。

また、擬似画像表示手段２５は、ピッチ角ＰAから、車両１０の上下方向への向きの変化が観測されたときは、該上下方向への向きの向きの変化の大きさに応じて、合成画像Ｉm_1の表示装置９に表示する範囲Ｄm0を上下方向に移動させる補正を行う。例えば、図７を参照して、上方向への変化（登坂）が観測されたときは、合成画像Ｉm_1の表示装置９に表示する範囲Ｄm0を、上方向への変化の大きさに応じたΔｖだけ移動させた範囲Ｄm2を、表示装置９に表示する擬似画像とする。

そして、擬似画像表示手段２５は、このようにして生成した擬似画像のデータを画像メモリ２８に保持すると共に、擬似画像を表示装置９に表示する。一方、車両挙動による補正が必要ないと判断されたときには、ＳＴＥＰ６０で、上述した拡大縮小倍率αとβを用いた合成画像Ｉm_0が作成され、合成画像Ｉm_0に対する位置の補正は行われずに、合成画像Ｉm_0がそのまま擬似画像となる。

そして、擬似画像表示手段２５は、続くＳＴＥＰ５２でフレームカウンタＦctが予め設定されたフレーム数Ｎ以上となるまで、ＳＴＥＰ５０〜ＳＴＥＰ５１及びＳＴＥＰ６０の処理を繰り返し実行して、擬似画像を生成・更新する。

これにより、キャリブレーション手段２６による赤外線カメラ２Ｒ，２Ｌのキャリブレーションが実行された場合のように、赤外線カメラ２Ｒ，２Ｌによる撮像が不能な状況下でも、表示装置９には時間の経過に応じて変化する擬似画像が表示される。そのため、表示装置９に表示される画像がフリーズ状態となって、運転者に違和感を与えることを緩和することができる。

次に、ＳＴＥＰ５２でフレームカウンタＦctがＮ以上となったときにＳＴＥＰ５３に進み、画像処理ユニット１は、映像同期信号が入力された状態に復帰しているか否かを判断する。そして、映像同期信号が入力された状態に復帰しているときは、赤外線カメラ２Ｒ，２Ｌによる撮像が可能であるため、画像処理ユニット１は図３のフローチャートによる監視処理を実行する。

また、ＳＴＥＰ５３で、映像同期信号が復帰していなかったときには、赤外線カメラ２Ｒ，２Ｌの故障や、画像処理ユニット１の映像信号入力部の故障が生じていると考えられる。そのため、この場合はＳＴＥＰ５４に進み、画像処理ユニット１は表示装置９にエラー表示を行う。

なお、本実施の形態では、対象物の画像部分を拡大縮小倍率αで拡大又は縮小し、対象物の画像部分以外の背景画像を拡大率βで拡大して、擬似画像を生成したが、対象物の画像部分と背景画像を、同一の拡大縮小倍率で拡大又は縮小するようにしてもよい。

また、本実施の形態では、ヨーレートセンサ、舵角センサ、及びピッチ角センサにより車両の挙動変化を検出し、車両の挙動に応じて擬似画像における対象物の位置及び背景画像の位置を補正する処理を行ったが、この処理を行わない場合にも本発明の効果を得ることができる。

また、本実施の形態においては、本発明の撮像手段として赤外線カメラ２Ｒ，２Ｌを用いたが、可視画像を撮像する可視カメラを用いてもよい。

また、２台の赤外線カメラ２Ｒ，２Ｌによるステレオカメラの構成ではなく、単眼カメラによる構成に対しても、本発明の適用が可能である。この場合には、自車両から対象物までの距離は、少なくとも２つの異なる時点で撮像した画像間における統一の対象物の画像部分の大きさの変化と、自車両の走行速度等に基づいて算出することができる。

また、本実施の形態においては、キャリブレーション手段２６により、赤外線カメラ２Ｒ，２Ｌのシャッターを閉じてキャリブレーションを行うものを示したが、キャリブレーションを行わない場合でも、何らかの要因により撮像手段による撮像が不能となるおそれがあれば、本発明の効果を得ることができる。

なお、本実施の形態においては、前走車を検出対象としたが、他の検出対象として、例えば自車両への接近速度が速い車両等、接触可能性が高いと想定される対象物を検出対象としてもよい。

本発明の車両の運転支援装置の構成図。 図１に示した車両の運転支援装置の車両への取り付け態様の説明図。 赤外線カメラによる撮像が可能である場合の画像処理ユニットにおける処理手順を示したフローチャート。 赤外線カメラによる撮像が不能である場合の画像処理ユニットにおける処理手順を示したフローチャート。 赤外線カメラによる撮像が不能である場合の画像処理ユニットにおける処理手順を示したフローチャート。 画像メモリに保持された画像データに基いて、擬似画像を生成する処理の説明図。 車両の挙動に基づいて、擬似画像を生成する処理の説明図。

符号の説明

１…画像処理ユニット、２Ｒ，２Ｌ…赤外線カメラ、３…ヨーレートセンサ、４…車速センサ、５…ブレーキセンサ、６…操舵角センサ、７…ピッチ角センサ、８…スピーカ、９…表示装置、２０…対象物抽出手段、２１…対応画像抽出手段、２２…視差算出手段、２３…距離算出手段、２４…相対速度算出手段、２５…擬似画像表示手段、２６…キャリブレーション手段、２７…接触判定手段、２８…画像メモリ

Claims (5)

1. 車両に搭載された撮像手段により撮像された車両周辺の画像を、該車両に搭載された表示手段に表示する車両の運転支援装置において、
   前記撮像手段により撮像された画像のデータを保持する画像メモリと、
   前記撮像手段により撮像された画像から、実空間上の対象物の画像部分を抽出する対象物画像抽出手段と、
   前記対象物画像抽出手段により抽出された画像部分に対応する実空間上の対象物と、前記車両との相対速度を算出する相対速度算出手段と、
   前記撮像手段による撮像が不能となったときに、前記画像メモリに保持された過去の画像のデータと、前記相対速度算出手段により算出された相対速度とに基づいて、前記撮像手段による撮像が不能な期間における前記対象物の画像部分の変化を推定して表した擬似画像を生成し、該擬似画像を前記表示手段に表示する擬似画像表示手段とを備えたことを特徴とする車両の運転支援装置。
2. 請求項１記載の車両の運転支援装置において、
   前記車両の走行速度を検出する車速検出手段を備え、
   前記擬似画像表示手段は、前記画像メモリに保持された過去の画像のデータのうち、対象物の画像部分を前記相対速度算出手段により算出された相対速度に基づいて拡大又は縮小した第１の推定画像と、対象物の画像部分以外の背景画像の変化を前記車速検出手段により検出された前記車両の走行速度に基づいて拡大又は縮小した第２の推定画像とを合成して、前記擬似画像を生成することを特徴とする車両の運転支援装置。
3. 請求項１又は請求項２記載の車両の運転支援装置において、
   前記車両の水平方向の変化と鉛直方向の変化とのうちの少なくともいずれか一方を、前記車両の挙動として検出する車両挙動検出手段を備え、
   前記擬似画像表示手段は、前記第１の推定画像と前記第２の推定画像との合成画像における前記第１の推定画像の位置を、前記車両挙動検出手段により検出された前記車両の挙動に基づいて変更して、前記擬似画像を生成することを特徴とする車両の運転支援装置。
4. 請求項３記載の車両の運転支援装置において、
   前記擬似画像表示手段は、前記第１の推定画像と前記第２の推定画像との合成画像における前記第２の推定画像の位置を、前記車両挙動検出手段により検出された前記車両の挙動に基づいて変更して、前記擬似画像を生成することを特徴とする車両の運転支援装置。
5. 請求項１から請求項４のうちいずれか１項記載の車両の運転支援装置において、
   前記撮像手段に設けられたシャッターを閉じた状態として、前記撮像手段のキャリブレーションを行うキャリブレーション手段を備え、
   前記擬似画像表示手段は、前記撮像手段のキャリブレーションの実行により前記撮像手段による撮像が不能となったときに、前記擬似画像を生成して前記表示手段に表示することを特徴とする車両の運転支援装置。