JP2003306103A - 警報表示装置 - Google Patents

Abstract

(57)【要約】 【課題】 撮像手段により撮影された画像から抽出され
る対象物の移動予測位置により、運転者の正確な対象物
認識を妨げる警報表示を排除する警報表示装置を提供す
る。 【解決手段】 画像処理ユニットは、規定時間Ｔ後の対
象物の位置を推定する（Ｓ３１）。次に、該対象物の推
定移動位置が、画像表示装置に強調表示を伴う実映像と
して表示可能な範囲内か否かを判定する（Ｓ３２）。そ
して、該対象物の推定移動位置が、画像表示装置に強調
表示を伴う実映像として表示可能な範囲内であった場
合、スピーカを介して音声による警報を発すると共に、
対象物の存在を自車両の運転者に認識させるための強調
映像を画像表示装置へ出力する（Ｓ３３）。また、該対
象物の推定移動位置が、画像表示装置に強調表示を伴う
実映像として表示可能な範囲内でなかった場合、対象物
の存在を運転者に認識させるためのアイコン表示映像を
画像表示装置へ出力する（Ｓ３４）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、撮像手段により
撮影された画像から車両の走行に影響を与えそうな対象
物を検出して警報を表示する警報表示装置に関する。

【０００２】

【従来の技術】従来、赤外線カメラ等の撮像手段により
捉えられた車両周辺の画像から、車両との衝突の可能性
がある歩行者等の対象物（警報対象物）を抽出し、その
情報を車両の運転者に提供する装置としては、例えば特
開２００１−６０９６号公報に記載のものがある。この
装置では、歩行者等の対象物における車両との衝突の可
能性は、車両と対象物との相対距離や相対速度に基づい
て判定される。

【０００３】また、例えばこのように撮像手段により捉
えられた車両周辺の画像から、車両との衝突の可能性が
ある警報対象物を抽出して車両の運転者に表示するもの
には、特開２００１−２３０９１号公報や特開２００１
−１８７３８号公報に記載のもの、更には特開平８−２
６３７８４号公報に記載のものがある。例えば、特開２
００１−２３０９１号公報に記載のものでは、車両の走
行方向に対して接近しつつも、車両と衝突する等、すぐ
に車両に影響を与えるとは判断されなかった対象物につ
いては、その存在を表すアイコン等の表示を撮像手段が
捉えた画像とは別に表示する。

【０００４】また、特開２００１−１８７３８号公報に
記載のものでは、車両と衝突する可能性が高いと判定さ
れた対象物であっても、当該車両のヘッドライトの照射
範囲内に存在する対象物、あるいは所定時間内に当該車
両のヘッドライトの照射範囲内に進入すると予想される
対象物については、運転者に対して音声による通知のみ
を行い、画像の表示は行わない。更に、特開平８−２６
３７８４号公報に記載のものでは、道路領域に存在する
温度分布のみを検出し、その温度分布に異常がある場合
は、その部分を警報対象物と認識して運転者に警報を発
する。

【０００５】

【発明が解決しようとする課題】しかし、車両が走行し
ている場合、撮像手段により得られた画像は時々刻々変
化するので、表示画面内において、抽出された対象物も
その表示位置が時々刻々と変化する。特に、車両がカー
ブを走行しているような場合、撮像手段の光軸の方向が
車両の方向と共に短時間の間に大きく変化するため、撮
像手段の画角内に捉えられる物体は常に変化している。
従って、上述の従来装置のように、撮像手段により捉え
られた車両周辺の画像から、車両との衝突の可能性があ
る歩行者等の警報対象物を抽出し、その情報に基づいて
車両の運転者に音声案内や強調枠表示により警報を通知
したとしても、運転者が反応するには多少の時間がかか
るため、運転者が画面上の表示を見に行った時には捉え
られた警報対象物が撮像手段の画角外に位置してしま
い、表示上には強調表示枠等を付けられた警報対象物ま
たはその一部が存在せず、運転者には警報対象物を把握
することができない場合があるという問題があった。

【０００６】本発明は、上記課題に鑑みてなされたもの
で、撮像手段により撮影された画像から抽出される対象
物の移動予測位置により、運転者の正確な対象物認識を
妨げる警報表示を排除する警報表示装置を提供すること
を目的とする。

【０００７】

【課題を解決するための手段】上記課題を解決するため
に、請求項１の発明に係る警報表示装置は、撮像手段に
より得られた画像から、車両の走行に影響を与える可能
性のある警報対象物を検知し、該画像に加えて前記警報
対象物の位置を特定可能な警報表示を行う車両用の警報
表示装置において、前記警報対象物が、画像表示範囲内
に所定時間表示可能か否かを判断する画像表示範囲内外
判断手段（例えば実施の形態のＳ３１〜Ｓ３２）と、前
記警報対象物が、前記画像表示範囲内に所定時間表示可
能な時のみ警報表示を実施する警報対象物表示手段（例
えば実施の形態のＳ３３）とを備えたことを特徴とす
る。以上の構成を備えた警報表示装置は、画像表示範囲
内外判断手段によって、警報対象物の情報を運転者に通
知してから、運転者が反応して画面表示を確認するまで
の時間に相当する所定の時間以上、該警報対象物が撮像
手段の画像表示範囲内に存在すると判断される場合の
み、該警報対象物の警報表示を行うことで、警報対象物
に関する情報の通知に運転者が反応して画面表示を確認
した際に、運転者が確認可能な警報対象物の警報表示の
みを画像表示範囲内に行うことができる。

【０００８】請求項２の発明に係る警報表示装置は、請
求項１に記載の警報表示装置において、前記画像表示範
囲内外判断手段は、少なくともカーブ走行における前記
警報対象物の移動予測位置に基づき、前記警報対象物
が、前記画像表示範囲内に所定時間表示可能か否かを判
断することを特徴とする。以上の構成を備えた警報表示
装置は、現在の位置が撮像手段の画像表示範囲内に存在
する警報対象物で、かつカーブ走行における移動予測位
置も撮像手段の画像表示範囲内である警報対象物のみ
を、運転者が確認可能な警報対象物として、画像表示範
囲内に警報表示することができる。

【０００９】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態について説明する。図１は、本発明の一実施の
形態の警報表示装置の構成を示すブロック図である。図
１において、符号１は、本実施の形態の警報表示装置を
制御するＣＰＵ（中央演算装置）を備えた画像処理ユニ
ットであって、遠赤外線を検出可能な２つの赤外線カメ
ラ２Ｒ、２Ｌと当該車両のヨーレートを検出するヨーレ
ートセンサ３、更に、当該車両の走行速度（車速）を検
出する車速センサ４とブレーキの操作を検出するための
ブレーキセンサ５が接続される。これにより、画像処理
ユニット１は、車両の周辺の赤外線画像と車両の走行状
態を示す信号から、車両前方の歩行者や動物等の動く物
体を検出し、衝突の可能性が高いと判断したときに警報
を発する。

【００１０】また、画像処理ユニット１には、音声で警
報を発するためのスピーカ６と、赤外線カメラ２Ｒ、２
Ｌにより撮影された画像を表示し、衝突の危険性が高い
対象物を車両の運転者に認識させるための、例えば自車
両の走行状態を数字で表すメータと一体化されたメータ
一体Ｄｉｓｐｌａｙや自車両のコンソールに設置される
ＮＡＶＩＤｉｓｐｌａｙ、更にフロントウィンドウの運
転者の前方視界を妨げない位置に情報を表示するＨＵＤ
（Head Up Display ）７ａ等を含む画像表示装置７が接
続されている。

【００１１】また、画像処理ユニット１は、入力アナロ
グ信号をディジタル信号に変換するＡ／Ｄ変換回路、デ
ィジタル化した画像信号を記憶する画像メモリ、各種演
算処理を行うＣＰＵ（中央演算装置）、ＣＰＵが演算途
中のデータを記憶するために使用するＲＡＭ（Random A
ccess Memory）、ＣＰＵが実行するプログラムやテーブ
ル、マップなどを記憶するＲＯＭ（Read Only Memor
y）、スピーカ６の駆動信号、ＨＵＤ７ａ等の表示信号
などを出力する出力回路を備えており、赤外線カメラ２
Ｒ、２Ｌ及びヨーレートセンサ３、車速センサ４、ブレ
ーキセンサ５の各出力信号は、ディジタル信号に変換さ
れてＣＰＵに入力されるように構成されている。

【００１２】また、図２に示すように、赤外線カメラ２
Ｒ、２Ｌは、自車両１０の前部に、自車両１０の車幅方
向中心部に対してほぼ対称な位置に配置されており、２
つの赤外線カメラ２Ｒ、２Ｌの光軸が互いに平行であっ
て、かつ両者の路面からの高さが等しくなるように固定
されている。なお、赤外線カメラ２Ｒ、２Ｌは、対象物
の温度が高いほど、その出力信号レベルが高くなる（輝
度が増加する）特性を有している。また、ＨＵＤ７ａ
は、自車両１０のフロントウインドウの運転者の前方視
界を妨げない位置に表示画面が表示されるように設けら
れている。

【００１３】次に、本実施の形態の動作について図面を
参照して説明する。図３は、本実施の形態の警報表示装
置の画像処理ユニット１における歩行者等の対象物検出
・警報動作を示すフローチャートである。まず、画像処
理ユニット１は、赤外線カメラ２Ｒ、２Ｌの出力信号で
ある赤外線画像を取得して（ステップＳ１）、Ａ／Ｄ変
換し（ステップＳ２）、グレースケール画像を画像メモ
リに格納する（ステップＳ３）。なお、ここでは赤外線
カメラ２Ｒにより右画像が得られ、赤外線カメラ２Ｌに
より左画像が得られる。また、右画像と左画像では、同
一の対象物の表示画面上の水平位置がずれて表示される
ので、このずれ（視差）によりその対象物までの距離を
算出することができる。

【００１４】ステップＳ３においてグレースケール画像
が得られたら、次に、赤外線カメラ２Ｒにより得られた
右画像を基準画像とし、その画像信号の２値化処理、す
なわち、輝度閾値ＩＴＨより明るい領域を「１」（白）
とし、暗い領域を「０」（黒）とする処理を行う（ステ
ップＳ４）。図４（ａ）は、赤外線カメラ２Ｒにより得
られたグレースケール画像を示し、これに２値化処理を
行うことにより、図４（ｂ）に示すような画像を得る。
なお、図４（ｂ）において、例えばＰ１からＰ４の枠で
囲った物体を、表示画面上に白色として表示される対象
物（以下「高輝度領域」という）とする。赤外線画像か
ら２値化された画像データを取得したら、２値化した画
像データをランレングスデータに変換する処理を行う
（ステップＳ５）。ランレングスデータにより表される
ラインは、２値化により白となった領域を画素レベルで
示したもので、いずれもｙ方向には１画素の幅を有して
おり、またｘ方向にはそれぞれランレングスデータを構
成する画素の長さを有している。

【００１５】次に、ランレングスデータに変換された画
像データから、対象物のラベリングをする（ステップＳ
６）ことにより、対象物を抽出する処理を行う（ステッ
プＳ７）。すなわち、ランレングスデータ化したライン
のうち、ｙ方向に重なる部分のあるラインを１つの対象
物とみなすことにより、例えば図４（ｂ）に示す高輝度
領域Ｐ１からＰ４が、それぞれ対象物（２値化対象物）
として把握されることになる。対象物の抽出が完了した
ら、次に、抽出した対象物の重心Ｇ、面積Ｓ及び外接四
角形の縦横比ＡＳＰＥＣＴを算出する（ステップＳ
８）。

【００１６】ここで、面積Ｓは、ラベルＡの対象物のラ
ンレングスデータを（ｘ［ｉ］、ｙ［ｉ］、ｒｕｎ
［ｉ］、Ａ）（ｉ＝０，１，２，・・・Ｎ−１）とする
と、ランレングスデータの長さ（ｒｕｎ［ｉ］−１）を
同一対象物（Ｎ個のランレングスデータ）について積算
することにより算出する。また、対象物Ａの重心Ｇの座
標（ｘｃ、ｙｃ）は、各ランレングスデータの長さ（ｒ
ｕｎ［ｉ］−１）と各ランレングスデータの座標ｘ
［ｉ］、またはｙ［ｉ］とをそれぞれ掛け合わせ、更に
これを同一対象物について積算したものを、面積Ｓで割
ることにより算出する。更に、縦横比ＡＳＰＥＣＴは、
対象物の外接四角形の縦方向の長さＤｙと横方向の長さ
Ｄｘとの比Ｄｙ／Ｄｘとして算出する。なお、ランレン
グスデータは画素数（座標数）（＝ｒｕｎ［ｉ］）で示
されているので、実際の長さは「−１」する必要がある
（＝ｒｕｎ［ｉ］−１）。また、重心Ｇの位置は、外接
四角形の重心位置で代用してもよい。

【００１７】対象物の重心、面積、外接四角形の縦横比
が算出できたら、次に、対象物の時刻間追跡、すなわち
サンプリング周期毎の同一対象物の認識を行う（ステッ
プＳ９）。時刻間追跡は、アナログ量としての時刻ｔを
サンプリング周期で離散化した時刻をｋとし、例えば時
刻ｋで対象物Ａ、Ｂを抽出したら、時刻（ｋ＋１）で抽
出した対象物Ｃ、Ｄと対象物Ａ、Ｂとの同一性判定を行
う。そして、対象物Ａ、Ｂと対象物Ｃ、Ｄとが同一であ
ると判定されたら、対象物Ｃ、Ｄをそれぞれ対象物Ａ、
Ｂというラベルに変更することにより、時刻間追跡が行
われる。また、このようにして認識された各対象物の
（重心の）位置座標は、時系列位置データとしてメモリ
に格納され、後の演算処理に使用される。

【００１８】なお、以上説明したステップＳ４〜Ｓ９の
処理は、２値化した基準画像（本実施の形態では、右画
像）について実行する。次に、車速センサ４により検出
される車速ＶＣＡＲ及びヨーレートセンサ３より検出さ
れるヨーレートＹＲを読み込み、ヨーレートＹＲを時間
積分することにより、自車両１０の回頭角θｒを算出す
る（ステップＳ１０）。

【００１９】一方、ステップＳ９とステップＳ１０の処
理に平行して、ステップＳ１１〜Ｓ１３では、対象物と
自車両１０との距離ｚを算出する処理を行う。この演算
はステップＳ９、及びステップＳ１０より長い時間を要
するため、ステップＳ９、Ｓ１１より長い周期（例えば
ステップＳ１〜Ｓ１０の実行周期の３倍程度の周期）で
実行される。まず、基準画像（右画像）の２値化画像に
よって追跡される対象物の中の１つを選択することによ
り、右画像から探索画像Ｒ１（ここでは、外接四角形で
囲まれる領域全体を探索画像とする）を抽出する（ステ
ップＳ１１）。

【００２０】次に、左画像中から探索画像Ｒ１に対応す
る画像（以下「対応画像」という）を探索する探索領域
を設定し、相関演算を実行して対応画像を抽出する（ス
テップＳ１２）。具体的には、探索画像Ｒ１の各頂点座
標に応じて、左画像中に探索領域Ｒ２を設定し、探索領
域Ｒ２内で探索画像Ｒ１との相関の高さを示す輝度差分
総和値Ｃ（ａ，ｂ）を算出し、この総和値Ｃ（ａ，ｂ）
が最小となる領域を対応画像として抽出する。なお、こ
の相関演算は、２値化画像ではなくグレースケール画像
を用いて行う。また同一対象物についての過去の位置デ
ータがあるときは、その位置データに基づいて探索領域
Ｒ２より狭い領域Ｒ２ａを探索領域として設定する。

【００２１】ステップＳ１２の処理により、基準画像
（右画像）中に探索画像Ｒ１と、左画像中にこの対象物
に対応する対応画像Ｒ４とが抽出されるので、次に、探
索画像Ｒ１の重心位置と対応画像Ｒ４の重心位置と視差
Δｄ（画素数）を求め、これから自車両１０と対象物と
の距離ｚを算出する（ステップＳ１３）。次に、ステッ
プＳ１０における回頭角θｒの算出と、ステップＳ１３
における対象物との距離算出が完了したら、画像内の座
標（ｘ，ｙ）及び距離ｚを実空間座標（Ｘ，Ｙ，Ｚ）に
変換する（ステップＳ１４）。ここで、実空間座標
（Ｘ，Ｙ，Ｚ）は、図２に示すように、赤外線カメラ２
Ｒ、２Ｌの取り付け位置の中点の位置（自車両１０に固
定された位置）を原点Ｏとして、図示のように定め、画
像内の座標は、画像の中心を原点として水平方向をｘ、
垂直方向をｙと定めている。

【００２２】また、実空間座標が求められたら、自車両
１０が回頭することによる画像上の位置ずれを補正する
ための回頭角補正を行う（ステップＳ１５）。回頭角補
正は、時刻ｋから（ｋ＋１）までの期間中に自車両１０
が例えば左方向に回頭角θｒだけ回頭すると、カメラに
よって得られる画像上では、画像の範囲がΔｘだけｘ方
向にずれるので、これを補正する処理である。なお、以
下の説明では、回頭角補正後の座標を（Ｘ，Ｙ，Ｚ）と
表示する。

【００２３】実空間座標に対する回頭角補正が完了した
ら、次に、同一対象物について、ΔＴのモニタ期間内に
得られた、回頭角補正後のＮ個（例えばＮ＝１０程度）
の実空間位置データ、すなわち時系列データから、対象
物と自車両１０との相対移動ベクトルに対応する近似直
線ＬＭＶを求める（ステップＳ１６）。次いで、最新の
位置座標Ｐ（０）＝（Ｘ（０），Ｙ（０），Ｚ（０））
と、（Ｎ−１）サンプル前（時間ΔＴ前）の位置座標Ｐ
（Ｎー１）＝（Ｘ（Ｎ−１），Ｙ（Ｎ−１），Ｚ（Ｎ−
１））を近似直線ＬＭＶ上の位置に補正し、補正後の位
置座標Ｐｖ（０）＝（Ｘｖ（０），Ｙｖ（０），Ｚｖ
（０））及びＰｖ（Ｎ−１）＝（Ｘｖ（Ｎ−１），Ｙｖ
（Ｎ−１），Ｚｖ（Ｎ−１））を求める。

【００２４】これにより、位置座標Ｐｖ（Ｎ−１）から
Ｐｖ（０）に向かうベクトルとして、相対移動ベクトル
が得られる。このようにモニタ期間ΔＴ内の複数（Ｎ
個）のデータから対象物の自車両１０に対する相対移動
軌跡を近似する近似直線を算出して相対移動ベクトルを
求めることにより、位置検出誤差の影響を軽減して対象
物との衝突の可能性をより正確に予測することが可能と
なる。

【００２５】また、ステップＳ１６において、相対移動
ベクトルが求められたら、次に、検出した対象物との衝
突の可能性を判定し、自車両１０と衝突の可能性のある
対象物が存在する場合は、例えばスピーカ６を介して音
声による警報を発するとともに、画像表示装置７に対し
て、例えば赤外線カメラ２Ｒにより得られる画像を出力
し、接近してくる対象物を自車両１０の運転者に対する
強調映像として表示する警報判定処理を行う（ステップ
Ｓ１７）。また、ステップＳ１７の警報判定処理が終了
したら、ステップＳ１へ戻り、上述の処理を繰り返す。
なお、警報判定処理については、詳細を後述する。

【００２６】以上が、本実施の形態の警報表示装置の画
像処理ユニット１における対象物検出・警報動作である
が、次に、図５に示すフローチャートを参照して、図３
に示したフローチャートのステップＳ１７における警報
判定処理について更に詳しく説明する。図５は、本実施
の形態の警報判定処理動作を示すフローチャートであ
る。警報判定処理は、以下に示す衝突判定処理、接近判
定領域内か否かの判定処理、進入衝突判定処理、警報出
力判定処理、警報出力選択処理、及び映像入力処理によ
り、自車両１０と検出した対象物との衝突の可能性を判
定し、衝突の可能性のある対象物を運転者に対して通知
する処理である。以下、図６に示すように、自車両１０
の進行方向に対してほぼ９０°の方向から、速度Ｖｐで
進行してくる対象物２０がいる場合を例に取って説明す
る。

【００２７】図５において、まず、画像処理ユニット１
は衝突判定処理を行う（ステップＳ２１）。衝突判定処
理は、図６において、対象物２０が時間ΔＴの間に距離
Ｚｖ（Ｎ−１）から距離Ｚｖ（０）に接近した場合に、
自車両１０とのＺ方向の相対速度Ｖｓを求め、両者が高
さＨ以内で相対速度Ｖｓを維持して移動すると仮定し
て、余裕時間Ｔ以内に両者が衝突するか否かを判定する
処理である。ここで、余裕時間Ｔは、衝突の可能性を予
測衝突時刻より時間Ｔだけ前に判定することを意図した
ものである。従って、余裕時間Ｔは例えば２〜５秒程度
に設定される。またＨは、高さ方向の範囲を規定する所
定高さであり、例えば自車両１０の車高の２倍程度に設
定される。

【００２８】次に、ステップＳ２１において、余裕時間
Ｔ以内に自車両１０と対象物２０とが衝突する可能性が
ある場合（ステップＳ２１のＹＥＳ）、更に判定の信頼
性を上げるために、画像処理ユニット１は対象物２０が
接近判定領域内に存在するか否かの判定処理を行う（ス
テップＳ２２）。接近判定領域内か否かの判定処理は、
図７に示すように、赤外線カメラ２Ｒ、２Ｌで監視可能
な領域を太い実線で示す外側の三角形の領域ＡＲ０とす
ると、領域ＡＲ０内の、Ｚ１＝Ｖｓ×Ｔより自車両１０
に近い領域であって、対象物２０が自車両１０の車幅α
の両側に余裕β（例えば５０〜１００ｃｍ程度とする）
を加えた範囲に対応する領域ＡＲ１、すなわち対象物２
０がそのまま存在し続ければ自車両１０との衝突の可能
性がきわめて高い接近判定領域ＡＲ１内に存在するか否
かを判定する処理である。なお、接近判定領域ＡＲ１も
所定高さＨを有する。

【００２９】更に、ステップＳ２２において、対象物２
０が接近判定領域内に存在しない場合（ステップＳ２２
のＮＯ）、画像処理ユニット１は対象物２０が接近判定
領域内へ進入して自車両１０と衝突する可能性があるか
否かを判定する進入衝突判定処理を行う（ステップＳ２
３）。進入衝突判定処理は、上述の接近判定領域ＡＲ１
よりＸ座標の絶対値が大きい（接近判定領域の横方向外
側の）領域ＡＲ２、ＡＲ３を進入判定領域と呼び、この
領域内にある対象物２０が、移動することにより接近判
定領域ＡＲ１に進入すると共に自車両１０と衝突するか
否かを判定する処理である。なお、進入判定領域ＡＲ
２、ＡＲ３も所定高さＨを有する。

【００３０】一方、ステップＳ２２において、対象物２
０が接近判定領域内に存在している場合（ステップＳ２
２のＹＥＳ）、またはステップＳ２３において、対象物
２０が接近判定領域内へ進入して自車両１０と衝突する
可能性があると判定された場合（ステップＳ２３のＹＥ
Ｓ）、警報出力判定処理を行う（ステップＳ２４）。

【００３１】ここで、警報出力判定処理は、ブレーキセ
ンサ５の出力ＢＲから自車両１０の運転者がブレーキ操
作を行っているか否かを判別することにより、警報出力
を行うか否かの判定を行う処理であって、もし、自車両
１０の運転者がブレーキ操作を行っている場合には、そ
れによって発生する加速度Ｇｓ（減速方向を正とする）
を算出し、この加速度Ｇｓが所定閾値ＧＴＨ以下である
とき、または自車両１０の運転者がブレーキ操作を行っ
ていなければ、直ちにステップＳ２５へ進み（ステップ
Ｓ２４のＹＥＳ）、対象物２０の移動位置の予測を行
い、移動予測位置に従って、自車両１０の運転者へ通知
するための対象物２０の表示方法を選択し、対象物を適
切に画面に表示するための映像を生成する警報出力選択
処理を行う（ステップＳ２５）。

【００３２】そして、画像表示装置７に表示対象の映像
を入力する映像入力処理を行い（ステップＳ２６）、警
報判定処理を終了する。なお、所定閾値ＧＴＨは、ブレ
ーキ操作中の加速度Ｇｓがそのまま維持された場合に、
対象物２０と自車両１０との距離Ｚｖ（０）以下の走行
距離で自車両１０が停止する条件に対応する値である。
また、警報出力選択処理については、詳細を後述する。

【００３３】また、ステップＳ２１において、余裕時間
Ｔ以内に自車両１０と対象物２０とが衝突する可能性が
ない場合（ステップＳ２１のＮＯ）、またはステップＳ
２３において、対象物２０が接近判定領域内へ進入して
自車両１０と衝突する可能性がないと判定された場合
（ステップＳ２３のＮＯ）、更に、ステップＳ２４にお
いて、加速度Ｇｓが所定閾値ＧＴＨより大きく、自車両
１０の運転者のブレーキ操作により対象物２０との衝突
が回避されると判定された場合（ステップＳ２４のＮ
Ｏ）のいずれかの場合は、ステップＳ２６へ進み、画像
表示装置７に表示対象の映像を入力する映像入力処理を
行い（ステップＳ２６）、警報判定処理を終了する。

【００３４】次に、図面を参照して、図５に示したフロ
ーチャートのステップＳ２５における警報出力選択処理
について説明する。まず、警報出力選択処理の概要につ
いて説明すると、警報出力選択処理は、警報対象物と判
定された対象物２０の情報を、どのように自車両１０の
運転者に通知するかを選択する処理である。具体的に
は、例えば図８において自車両１０がａ点に存在する場
合に、上述の衝突判定処理、接近判定領域内か否かの判
定処理、進入衝突判定処理、及び警報出力判定処理によ
り、自車両１０と衝突の可能性があると判定された対象
物２０が、赤外線カメラ２Ｒ、２Ｌで監視可能な領域Ａ
Ｒ０内に存在したとする。しかし、この対象物２０は、
一度は警報対象物であると判定されるも、自車両１０が
ｂ点に移動した場合に、ｂ点に存在する自車両１０の赤
外線カメラ２Ｒ、２Ｌで監視可能な領域ＡＲ０’からは
外れることが予想できる。

【００３５】そこで、自車両１０が進行する過程におい
て、画像処理ユニット１が自車両１０と衝突の可能性が
ある対象物２０を検出してから規定時間Ｔの間、該対象
物２０を画像表示装置７に強調表示を伴う実映像として
表示可能（自車両１０に備えられた赤外線カメラ２Ｒ、
２Ｌで監視可能な領域ＡＲ０内に存在し続ける）か否か
を判定するために、規定時間Ｔ後の対象物２０の位置を
推定する。対象物の規定時間Ｔ後の移動位置推定は、実
際は図９に示すように、自車両１０に対する対象物の相
対的な挙動を推定することで、規定時間Ｔ後に対象物が
赤外線カメラ２Ｒ、２Ｌで監視可能な領域ＡＲ０とどの
ような位置関係になるかを求める処理である。

【００３６】例えば図９では、対象物２０と対象物２１
が、それぞれ対象物２０−１、対象物２１−１として示
す位置では、両方とも画像表示装置７に強調表示を伴う
実映像として表示可能な位置（領域ＡＲ０内）で、かつ
自車両１０の運転者に警報を発するべき自車両１０から
の情報提供距離Ｙ内に存在し、警報対象物であると判定
されたとする。なお、情報提供距離Ｙは、自車両１０と
対象物２０との相対速度が大きくなるほど距離が長くな
るもので、情報提供距離Ｙ以内に自車両１０と対象物２
０とが接近すると、注意を要する状態として運転者に警
報を発する境界線を示す。

【００３７】しかし、対象物２０と対象物２１を、それ
ぞれ対象物２０−１、２１−１として示した位置が、図
８において自車両がａ点に存在する場合だとすると、自
車両１０が進行するに従い、自車両１０はカーブを描く
走行路３０に沿ってその方向を変えるため、対象物２０
は対象物２０−２、２０−３と示す位置に、対象物２１
は対象物２１−２、２１−３と示す位置に、それぞれ相
対的に移動していくように見える。この時、対象物２０
−３と示す位置へ対象物２０が移動する場合、、領域Ａ
Ｒ０から外れるので対象物２０は、画像表示装置７に強
調表示を伴う実映像として表示することができなくな
る。そこで、対象物２０が警報対象物と判定されてから
規定時間Ｔ以内に自車両１０との相対位置が領域ＡＲ０
から外れるものは、運転者に警報を行うと共に画像表示
装置７に強調表示を行う警報対象物から除外する。

【００３８】この警報出力選択処理を、更に図１０に示
す本実施の形態の警報出力選択処理動作を示すフローチ
ャートを用いて詳細に説明すると、図１０において、ま
ず、画像処理ユニット１は、規定時間Ｔ後の対象物２０
の位置を推定する（ステップＳ３１）。すなわち、まず
走行路３０のカーブ曲率データと自車両１０からカーブ
までの距離データを計算する。ここで、走行路３０のカ
ーブ曲率データと自車両１０からカーブまでの距離デー
タを求める方法には、（１）画像処理ユニット１に、自
車両の走行位置（自車位置情報）を算出すると共に地図
情報を出力するナビゲーションユニットを接続し、ナビ
ゲーションユニットから取得した地図情報と自車位置情
報により計算する方法、（２）赤外線カメラ２Ｒ、２Ｌ
から取得した映像の画像処理により計算する方法、
（３）ヨーレートセンサ３から取得したヨーレートと赤
外線カメラ２Ｒ、２Ｌから取得した映像の画像処理によ
り計算する方法等がある。

【００３９】そして、図１１に示すように、計算された
カーブ曲率データや距離データと現在の自車両１０の挙
動４１と対象物２０の位置より、自車両１０に対する相
対的な対象物２０の挙動４２を計算し、規定時間Ｔ後の
対象物２０の位置（例えば図１１において、対象物２０
−４として示す位置）を推定する。なお、図１１は、図
９に円で囲って示す領域４０を拡大して記載した図であ
る。次に、該対象物２０の推定移動位置が、画像表示装
置７に強調表示を伴う実映像として表示可能な範囲内
（自車両１０に備えられた赤外線カメラ２Ｒ、２Ｌで監
視可能な領域ＡＲ０内：図１１に示す４０ｂ側の領域
内）か否か（自車両１０に備えられた赤外線カメラ２
Ｒ、２Ｌで監視可能な領域ＡＲ０外：図１１に示す４０
ａ側の領域内）を判定する（ステップＳ３２）。

【００４０】ステップＳ３２において、該対象物２０の
推定移動位置が、画像表示装置７に強調表示を伴う実映
像として表示可能な範囲内であった場合（ステップＳ３
２のＹＥＳ）、運転者に対して、例えばスピーカ６を介
して音声による警報を発すると共に、対象物２０の存在
を自車両１０の運転者に認識させるための強調映像を画
像表示装置７へ出力し（ステップＳ３３）、警報出力選
択処理を終了する。また、ステップＳ３２において、該
対象物２０の推定移動位置が、画像表示装置７に強調表
示を伴う実映像として表示可能な範囲内でなかった場合
（ステップＳ３２のＮＯ）、対象物２０の存在を自車両
１０の運転者に認識させるためのアイコン表示映像を画
像表示装置７へ出力し（ステップＳ３４）、警報出力選
択処理を終了する。なお、図１１において、情報提供距
離Ｙから対象物２０−４として示す運転者表示視認点Ｗ
の間が、画像処理ユニット１が対象物２０を警報対象物
と判定してから、自車両１０の運転者が画像表示装置７
の画面表示を確認するまでに必要な時間に対応する距離
Ｖである。

【００４１】また、図１２は、画像表示装置７の実映像
を表示する実映像表示エリア５０に対象物２０が表示で
きなくなった場合と、その時の画像表示の一例を示す図
であって、図１２（ａ）に示すように、例えば左カーブ
を描く走行路３０を走行する際に、画像表示装置７の実
映像を表示する実映像表示エリア５０に対象物２０が表
示できなくなった場合、図１２（ｂ）に示すように、実
映像表示エリア５０の左側に位置すると共に、対象物２
０が存在するはずの方向であるアイコン表示左エリア５
１に、対象物２０の代わりに対象物２０が存在すること
を示すアイコン６０を表示する。また、カーブが右カー
ブで、対象物２０が画像表示装置７の実映像を表示する
実映像表示エリア５０の右側に外れて行く場合は、図１
２（ｂ）と同様に、実映像表示エリア５０の右側に位置
すると共に、対象物２０が存在するはずの方向であるア
イコン表示右エリア５２に、対象物２０の代わりに対象
物２０が存在することを示すアイコン６０を表示する。

【００４２】なお、上述の実施の形態では、図１０のス
テップＳ３４において、規定時間Ｔ後の対象物２０の推
定位置が表示エリア内でなかった場合、対象物２０を、
図１２（ｂ）に示すように、アイコン表示することによ
り自車両１０の運転者に通知すると説明したが、必ずし
もアイコン表示を行う必要はなく、規定時間Ｔ後の対象
物２０の推定位置が表示エリア内でなかった場合（ステ
ップＳ３３のＮＯ）、ステップＳ３４を行わず、該対象
物２０の存在を自車両１０の運転者に通知しなくても良
い。

【００４３】また、本実施の形態では、画像処理ユニッ
ト１が、画像表示範囲内外判断手段と、警報対象物表示
手段とを含んでいる。より具体的には、図１０のＳ３１
〜Ｓ３２が画像表示範囲内外判断手段に相当し、図１０
のＳ３３が警報対象物表示手段に相当する。

【００４４】以上説明したように、本実施の形態の警報
表示装置は、自車両１０が進行する過程において、対象
物の移動位置を推定することにより、画像処理ユニット
１が自車両１０と衝突の可能性がある対象物２０を検出
してから規定時間Ｔの間、該対象物２０を画像表示装置
７に強調表示を伴う実映像として表示可能（自車両１０
に備えられた赤外線カメラ２Ｒ、２Ｌで監視可能な領域
ＡＲ０内に存在し続ける）か否かを判定し、対象物２０
が、一度は警報対象物であると判定されても、自車両１
０が走行するに従い、自車両１０の赤外線カメラ２Ｒ、
２Ｌで監視可能な領域ＡＲ０から外れることが予想でき
る場合は、この対象物２０の画像表示装置７における強
調表示を実行しない。これにより、警報対象物の表示の
中から車両の運転者が認識できないものを除外し、本当
に注意を払うことが必要な警報対象物の位置を正確に運
転者に把握させることができるという効果が得られる。

【００４５】また、画像表示装置７における強調表示を
実行しない代わりに、画像表示装置７の実映像を表示す
る実映像表示エリア５０に並べて、対象物２０が存在す
るはずの方向に、対象物２０の存在を示すアイコン６０
を表示して自車両１０の運転者に注意を促すことによ
り、運転者に車両周辺に対する十分な注意を払わせ、安
全な車両の走行を行わせることができるという効果が得
られる。

【００４６】

【発明の効果】以上の如く、請求項１に記載の警報表示
装置によれば、画像表示範囲内外判断手段によって、警
報対象物が所定時間以上、撮像手段の画像表示範囲内に
存在するか否かを判断し、該警報対象物の強調表示を行
うことで、運転者が確認可能な警報対象物の強調表示の
みを画像表示範囲内に行うことができる。従って、警報
対象物の表示の中から車両の運転者が認識できないもの
を除外し、本当に注意を払うことが必要な警報対象物の
位置を正確に運転者に把握させることができるという効
果が得られる。

【００４７】請求項２に記載の警報表示装置によれば、
現在位置も、カーブ走行における移動予測位置も、撮像
手段の画像表示範囲内である警報対象物のみを、画像表
示範囲内に強調表示することができる。従って、カーブ
走行時の警報対象物を精度良く予測し、運転者が確認可
能な警報対象物のみを運転者に通知して、運転者による
警報対象物の把握のし易さを向上させることができると
いう効果が得られる。

【図面の簡単な説明】

【図１】 本発明の一実施の形態の警報表示装置の構成
を示すブロック図である。

【図２】 車両における赤外線カメラやセンサ、ディス
プレイ等の取り付け位置を示す図である。

【図３】 同実施の形態の警報表示装置の対象物検出・
警報動作を示すフローチャートである。

【図４】 赤外線カメラにより得られるグレースケール
画像とその２値化画像を示す図である。

【図５】 同実施の形態の警報判定処理動作を示すフロ
ーチャートである。

【図６】 衝突が発生しやすい場合を示す図である。

【図７】 車両前方の領域区分を示す図である。

【図８】 車両がカーブを走行する場合の領域ＡＲ０の
変化を示す図である。

【図９】 車両がカーブを走行する場合の対象物の位置
の変化を、車両からの相対位置として示す図である。

【図１０】 同実施の形態の警報出力選択処理動作を示
すフローチャートである。

【図１１】 車両がカーブを走行する場合の対象物の位
置の変化を、車両からの相対位置として示す図であっ
て、図９の一部を拡大して示す図である。

【図１２】 実映像表示エリアに対象物が表示できなく
なった場合と、その時の画像表示の一例を示す図であ
る。

【符号の説明】

１ 画像処理ユニット ２Ｒ、２Ｌ 赤外線カメラ ３ ヨーレートセンサ ４ 車速センサ ５ ブレーキセンサ ６ スピーカ ７ 画像表示装置 １０ 自車両 Ｓ３１〜Ｓ３２ 画像表示範囲内外判断手段 Ｓ３３ 警報対象物表示手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者 長岡 伸治 埼玉県和光市中央１丁目４番１号 株式会 社本田技術研究所内 (72)発明者 渡辺 正人 埼玉県和光市中央１丁目４番１号 株式会 社本田技術研究所内 Ｆターム(参考） 5C054 CA05 CD03 CE15 CG02 CG07 CH01 EA01 EA05 EC07 ED07 FC12 FE28 FF06 HA30

Claims (2)

【特許請求の範囲】
1. 【請求項１】 撮像手段により得られた画像から、車両
   の走行に影響を与える可能性のある警報対象物を検知
   し、該画像に加えて前記警報対象物の位置を特定可能な
   警報表示を行う車両用の警報表示装置において、 前記警報対象物が、画像表示範囲内に所定時間表示可能
   か否かを判断する画像表示範囲内外判断手段と、 前記警報対象物が、前記画像表示範囲内に所定時間表示
   可能な時のみ警報表示を実施する警報対象物表示手段と
   を備えたことを特徴とする警報表示装置。
2. 【請求項２】 前記画像表示範囲内外判断手段は、少な
   くともカーブ走行における前記警報対象物の移動予測位
   置に基づき、前記警報対象物が、前記画像表示範囲内に
   所定時間表示可能か否かを判断することを特徴とする請
   求項１に記載の警報表示装置。