JP2003134508A - 車両用情報提供装置 - Google Patents

Abstract

(57)【要約】 【課題】 赤外線カメラにより撮影された画像の特徴か
ら、人物の存在範囲を決定して表示する車両用情報提供
装置を提供する。 【解決手段】 画像処理ユニットは、２値化及び相関演
算によって検出された第１検出エリアの大きさを基準と
した探索エリアによって、グレースケールで表された赤
外線カメラ画像領域内の輝度変化探索処理を行う（Ｓ２
１〜Ｓ３３）。そして、第１検出エリアと輝度変化のあ
る探索エリアとの視差を比較して、第１検出エリアと異
なる視差を持つ探索エリアを排除し（Ｓ３４〜Ｓ３
５）、第１検出エリアと同じ視差を持つ探索エリアを、
第１検出エリアと共に同一物体として強調表示する（Ｓ
３６〜Ｓ３７）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、例えば車両の周
辺に存在する物体を検出して表示する車両用情報提供装
置に関する。

【０００２】

【従来の技術】従来、歩行者等の走行路上の障害物を車
両の運転者に通知するために、車両の前方に搭載された
１つあるいは複数の赤外線カメラの画像を、運転席から
目視可能な位置に表示し、運転者の前方視界を補助する
ものがある。運転者に表示される画像は、例えば自車両
のコンソールに設置されるＮＡＶＩＤｉｓｐｌａｙやフ
ロントウィンドウの運転者の前方視界を妨げない位置に
情報を表示するＨＵＤ（Head Up Display ）、更には自
車両の走行状態を数字で表すメータと一体化されたメー
タ一体Ｄｉｓｐｌａｙ等の画像表示装置に表示される。
また、このように車両の周辺の環境を赤外線カメラによ
って撮影し、運転者に表示する装置としては、例えば特
開平１１−３２８３６４号公報に示すようなものが知ら
れている。この装置では、皮膚が露出している検出対象
者の頭部の温度が他の部分の温度より高く、比較的赤外
線カメラの画像として捉えやすいことを利用して、まず
検出対象者の頭部位置を判別し、判別した頭部位置の情
報に基づいて検出対象者の身体に相当する領域を決定す
る。これにより、例えば歩行者の頭部のみならず身体全
体を運転者に表示して注意を促すことができる。

【０００３】

【発明が解決しようとする課題】しかし、上述のような
従来の装置では、検出対象者を正面から撮影している場
合、顔面の皮膚は他の部分と比較して赤外線放射量が多
いため、検出対象者の頭部位置を判別しやすく、そこか
ら身体全体の領域を決定することが容易にできるもの
の、後ろから検出対象者を撮影したような場合等では、
顔面以外の部分が抜き出されることがあり、頭部位置を
判別することが難しかった。また、直射日光にさらされ
て温度が上昇している部分や、風を受けて温度が下降し
ている部分等、検出対象者の人体部位の温度は、その状
態や環境によっても変化するため、撮影された画像から
必ずしも温度の高低によって頭部位置を判別できるとは
限らず、頭部位置として認識した部分から決定した身体
に相当する領域が、実際の検出対象者が存在する領域と
は異なる可能性があった。

【０００４】本発明は、上記課題に鑑みてなされたもの
で、赤外線カメラにより撮影された画像の特徴から、人
物の存在範囲を決定して表示する車両用情報提供装置を
提供することを目的とする。

【０００５】

【課題を解決するための手段】上記課題を解決するため
に、請求項１の発明に係わる車両用情報提供装置は、赤
外線カメラにより撮影された画像を表示する車両用情報
提供装置であって、前記画像を多値化処理することによ
り検出された物体の存在領域を抽出領域（例えば実施の
形態の第１検出エリア５１）として設定する抽出領域設
定手段（例えば実施の形態のステップＳ１〜ステップＳ
１８）と、前記抽出領域の周辺に探索領域（例えば実施
の形態の探索エリア５４〜５８）を設定する探索領域設
定手段（例えば実施の形態のステップＳ２１〜ステップ
Ｓ２４）と、前記探索領域内の輝度変化を探索し、輝度
変化がある領域を前記抽出領域と共に同一物体として強
調表示する物体認識手段（例えば実施の形態のステップ
Ｓ２５〜ステップＳ３７）とを備えたことを特徴とす
る。以上の構成を備えた車両用情報提供装置は、抽出領
域設定手段が設定した抽出領域を基準にして探索領域を
設定し、抽出領域の周囲に輝度変化のある領域を探索す
ることで、抽出領域に捉えられた物体と同一の物体を捉
えているであろう領域を、抽出領域と共に強調表示する
ことができるようになる。

【０００６】請求項２の発明に係わる車両用情報提供装
置は、請求項１に記載の車両用情報提供装置において、
２つの赤外線カメラと、前記２つの赤外線カメラにより
撮影された画像の視差を求める視差算出手段（例えば実
施の形態のステップＳ３４）とを備え、前記物体認識手
段が、輝度変化があると共に、前記抽出領域と視差が同
一の領域を同一物体として強調表示することを特徴とす
る。以上の構成を備えた車両用情報提供装置は、輝度変
化があると共に抽出領域と視差が同一の領域を、抽出領
域に捉えられた物体と同一の物体を捉えているであろう
領域として認識し、抽出領域と共に強調表示することが
できるようになる。

【０００７】請求項３の発明に係わる車両用情報提供装
置は、請求項１、または請求項２に記載の車両用情報提
供装置において、前記抽出領域の上下に隣接して設定さ
れた前記探索領域（例えば実施の形態の探索エリア５
２、５３）が前記画像の範囲を越える場合に、前記物体
認識手段が、輝度変化の探索を中止することを特徴とす
る。以上の構成を備えた車両用情報提供装置は、探索領
域設定手段が抽出領域の上下に探索領域を設定すると画
像の領域を越えてしまう場合、物体認識手段が、抽出領
域に物体の大部分が捉えられていると判断して物体の探
索を行わずに抽出領域のみ強調表示を行う。

【０００８】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態について説明する。図１は、本発明の一実施の
形態の車両用情報提供装置の構成を示すブロック図であ
る。図１において、符号１は、本実施の形態の車両用情
報提供装置を制御するＣＰＵ（中央演算装置）を備えた
画像処理ユニットであって、遠赤外線を検出可能な２つ
の赤外線カメラ２Ｒ、２Ｌと当該車両のヨーレートを検
出するヨーレートセンサ３、更に、当該車両の走行速度
（車速）を検出する車速センサ４とブレーキの操作を検
出するためのブレーキセンサ５が接続される。これによ
り、画像処理ユニット１は、車両の周辺の赤外線画像と
車両の走行状態を示す信号から、車両前方の歩行者や動
物等の動く物体を検出し、衝突の可能性が高いと判断し
たときに警報を発する。

【０００９】また、画像処理ユニット１には、音声で警
報を発するためのスピーカ６と、赤外線カメラ２Ｒ、２
Ｌにより撮影された画像を表示し、衝突の危険性が高い
対象物を車両の運転者に認識させるための、例えば自車
両の走行状態を数字で表すメータと一体化されたメータ
一体Ｄｉｓｐｌａｙや自車両のコンソールに設置される
ＮＡＶＩＤｉｓｐｌａｙ、更にフロントウィンドウの運
転者の前方視界を妨げない位置に情報を表示するＨＵＤ
（Head Up Display ）７ａ等を含む画像表示装置７が接
続されている。

【００１０】また、画像処理ユニット１は、入力アナロ
グ信号をディジタル信号に変換するＡ／Ｄ変換回路、デ
ィジタル化した画像信号を記憶する画像メモリ、各種演
算処理を行うＣＰＵ（中央演算装置）、ＣＰＵが演算途
中のデータを記憶するために使用するＲＡＭ（Random A
ccess Memory）、ＣＰＵが実行するプログラムやテーブ
ル、マップなどを記憶するＲＯＭ（Read Only Memor
y）、スピーカ６の駆動信号、ＨＵＤ７ａ等の表示信号
などを出力する出力回路を備えており、赤外線カメラ２
Ｒ、２Ｌ及びヨーレートセンサ３、車速センサ４、ブレ
ーキセンサ５の各出力信号は、ディジタル信号に変換さ
れてＣＰＵに入力されるように構成されている。

【００１１】また、図２に示すように、赤外線カメラ２
Ｒ、２Ｌは、自車両１０の前部に、自車両１０の車幅方
向中心部に対してほぼ対象な位置に配置されており、２
つの赤外線カメラ２Ｒ、２Ｌの光軸が互いに平行であっ
て、かつ両者の路面からの高さが等しくなるように固定
されている。なお、赤外線カメラ２Ｒ、２Ｌは、対象物
の温度が高いほど、その出力信号レベルが高くなる（輝
度が増加する）特性を有している。また、ＨＵＤ７ａ
は、自車両１０のフロントウインドウの運転者の前方視
界を妨げない位置に表示画面が表示されるように設けら
れている。

【００１２】次に、本実施の形態の動作について図面を
参照して説明する。図３は、本実施の形態の車両用情報
提供装置の画像処理ユニット１における処理手順を示す
フローチャートである。まず、画像処理ユニット１は、
赤外線カメラ２Ｒ、２Ｌの出力信号である赤外線画像を
取得して（ステップＳ１）、Ａ／Ｄ変換し（ステップＳ
２）、グレースケール画像を画像メモリに格納する（ス
テップＳ３）。なお、ここでは赤外線カメラ２Ｒにより
右画像が得られ、赤外線カメラ２Ｌにより左画像が得ら
れる。また、右画像と左画像では、同一の対象物の表示
画面上の水平位置がずれて表示されるので、このずれ
（視差）によりその対象物までの距離を算出することが
できる。

【００１３】次に、赤外線カメラ２Ｒにより得られた右
画像を基準画像とし、その画像信号の２値化処理、すな
わち、輝度閾値ＩＴＨより明るい領域を「１」（白）と
し、暗い領域を「０」（黒）とする処理を行う（ステッ
プＳ４）。図４（ａ）は、赤外線カメラ２Ｒにより得ら
れたグレースケール画像を示し、これに２値化処理を行
うことにより、図４（ｂ）に示すような画像を得る。な
お、図４（ｂ）において、例えばＰ１からＰ４の枠で囲
った物体を、表示画面上に白色として表示される対象物
（以下「高輝度領域」という）とする。赤外線画像から
２値化された画像データを取得したら、２値化した画像
データをランレングスデータに変換する処理を行う（ス
テップＳ５）。

【００１４】図５（ａ）は、これを説明するための図で
あり、この図では２値化により白となった領域を画素レ
ベルでラインＬ１〜Ｌ８として示している。ラインＬ１
〜Ｌ８は、いずれもｙ方向には１画素の幅を有してお
り、実際にはｙ方向には隙間なく並んでいるが、説明の
ために離間して示している。またラインＬ１〜Ｌ８は、
ｘ方向にはそれぞれ２画素、２画素、３画素、８画素、
７画素、８画素、８画素、８画素の長さを有している。
ランレングスデータは、ラインＬ１〜Ｌ８を各ラインの
開始点（各ラインの左端の点）の座標と、開始点から終
了点（各ラインの右端の点）までの長さ（画素数）とで
示したものである。例えばラインＬ３は、（ｘ３，ｙ
５）、（ｘ４，ｙ５）及び（ｘ５，ｙ５）の３画素から
なるので、ランレングスデータとしては、（ｘ３，ｙ
５，３）となる。

【００１５】次に、ランレングスデータに変換された画
像データから、対象物のラベリングをする（ステップＳ
６）ことにより、対象物を抽出する処理を行う（ステッ
プＳ７）。すなわち、ランレングスデータ化したライン
Ｌ１〜Ｌ８のうち、図５（ｂ）に示すように、ｙ方向に
重なる部分のあるラインＬ１〜Ｌ３を１つの対象物１と
みなし、ラインＬ４〜Ｌ８を１つの対象物２とみなし、
ランレングスデータに対象物ラベル１、２を付加する。
この処理により、例えば図４（ｂ）に示す高輝度領域
が、それぞれ対象物１から４として把握されることにな
る。

【００１６】対象物の抽出が完了したら、次に、図５
（ｃ）に示すように、抽出した対象物の重心Ｇ、面積Ｓ
及び破線で示す外接四角形の縦横比ＡＳＰＥＣＴを算出
する（ステップＳ８）。ここで、面積Ｓは、ランレング
スデータの長さを同一対象物について積算することによ
り算出する。また、重心Ｇの座標は、面積Ｓをｘ方向に
２等分する線のｘ座標と、ｙ方向に２等分する線のｙ座
標として算出する。更に、縦横比ＡＳＰＥＣＴは、図５
（ｃ）に示すＤｙとＤｘとの比Ｄｙ／Ｄｘとして算出す
る。なお、重心Ｇの位置は、外接四角形の重心位置で代
用してもよい。

【００１７】対象物の重心、面積、外接四角形の縦横比
が算出できたら、次に、対象物の時刻間追跡、すなわち
サンプリング周期毎の同一対象物の認識を行う（ステッ
プＳ９）。時刻間追跡は、アナログ量としての時刻ｔを
サンプリング周期で離散化した時刻をｋとし、図６
（ａ）に示すように時刻ｋで対象物Ａ、Ｂを抽出した場
合、時刻（ｋ＋１）で抽出した対象物Ｃ、Ｄと、対象物
Ａ、Ｂとの同一性判定を行う。具体的には、以下の同一
性判定条件１）〜３）を満たすときに、対象物Ａ、Ｂと
対象物Ｃ、Ｄとは同一であると判定し、対象物Ｃ、Ｄを
それぞれ対象物Ａ、Ｂというラベルに変更することによ
り、時刻間追跡が行われる。

【００１８】１）時刻ｋにおける対象物ｉ（＝Ａ，Ｂ）
の画像上での重心位置座標を、それぞれ（ｘｉ（ｋ），
ｙｉ（ｋ））とし、時刻（ｋ＋１）における対象物ｊ
（＝Ｃ，Ｄ）の画像上での重心位置座標を、（ｘｊ（ｋ
＋１），ｙｊ（ｋ＋１））としたとき、｜ｘｊ（ｋ＋
１）−ｘｉ（ｋ）｜＜Δｘ｜ｙｊ（ｋ＋１）−ｙｉ
（ｋ）｜＜Δｙであること。ただし、Δｘ、Δｙは、そ
れぞれｘ方向及びｙ方向の画像上の移動量の許容値であ
る。 ２）時刻ｋにおける対象物ｉ（＝Ａ，Ｂ）の画像上での
面積をＳｉ（ｋ）とし、時刻（ｋ＋１）における対象物
ｊ（＝Ｃ，Ｄ）の画像上での面積をＳｊ（ｋ＋１）とし
たとき、Ｓｊ（ｋ＋１）／Ｓｉ（ｋ）＜１±ΔＳである
こと。ただし、ΔＳは面積変化の許容値である。 ３）時刻ｋにおける対象物ｉ（＝Ａ，Ｂ）の外接四角形
の縦横比をＡＳＰＥＣＴｉ（ｋ）とし、時刻（ｋ＋１）
における対象物ｊ（＝Ｃ，Ｄ）の外接四角形の縦横比を
ＡＳＰＥＣＴｊ（ｋ＋１）としたとき、ＡＳＰＥＣＴｊ
（ｋ＋１）／ＡＳＰＥＣＴｉ（ｋ）＜１±ΔＡＳＰＥＣ
Ｔであること。ただし、ΔＡＳＰＥＣＴは縦横比変化の
許容値である。

【００１９】例えば、図６（ａ）と（ｂ）とを対比する
と、各対象物は画像上での大きさが大きくなっている
が、対象物Ａと対象物Ｃとが上記同一性判定条件を満た
し、対象物Ｂと対象物Ｄとが上記同一性判定条件を満た
すので、対象物Ｃ、Ｄはそれぞれ対象物Ａ、Ｂと認識さ
れる。このようにして認識された各対象物の（重心の）
位置座標は、時系列位置データとしてメモリに格納さ
れ、後の演算処理に使用される。なお、以上説明したス
テップＳ４〜Ｓ９の処理は、２値化した基準画像（本実
施形態では、右画像）について実行する。次に、車速セ
ンサ４により検出される車速ＶＣＡＲ及びヨーレートセ
ンサ３より検出されるヨーレートＹＲを読み込み、ヨー
レートＹＲを時間積分することより、図７に示すように
自車両１０の回頭角θｒを算出する（ステップＳ１
０）。

【００２０】一方、ステップＳ９とステップＳ１０の処
理に平行して、ステップＳ１１〜Ｓ１３では、対象物と
自車両１０との距離ｚを算出する処理を行う。この演算
はステップＳ９、及びステップＳ１０より長い時間を要
するため、ステップＳ９、Ｓ１０より長い周期（例えば
ステップＳ１〜Ｓ１０の実行周期の３倍程度の周期）で
実行される。まず、基準画像（右画像）の２値化画像に
よって追跡される対象物の中の１つを選択することによ
り、図８（ａ）に示すように右画像から探索画像Ｒ１
（ここでは、外接四角形で囲まれる領域全体を探索画像
とする）を抽出する（ステップＳ１１）。

【００２１】次に、左画像中から探索画像に対応する画
像（以下「対応画像」という）を探索する探索領域を設
定し、相関演算を実行して対応画像を抽出する（ステッ
プＳ１２）。具体的には、図８（ｂ）に示すように、探
索画像Ｒ１の各頂点座標に応じて、左画像中に探索領域
Ｒ２を設定し、探索領域Ｒ２内で探索画像Ｒ１との相関
の高さを示す輝度差分総和値Ｃ（ａ，ｂ）を下記式
（１）により算出し、この総和値Ｃ（ａ，ｂ）が最小と
なる領域を対応画像として抽出する。なお、この相関演
算は、２値化画像ではなくグレースケール画像を用いて
行う。また同一対象物についての過去の位置データがあ
るときは、その位置データに基づいて探索領域Ｒ２より
狭い領域Ｒ２ａ（図８（ｂ）に破線で示す）を探索領域
として設定する。

【数１】 ここで、ＩＲ（ｍ，ｎ）は、図９に示す探索画像Ｒ１内
の座標（ｍ，ｎ）の位置の輝度値であり、ＩＬ（ａ＋ｍ
−Ｍ，ｂ＋ｎ−Ｎ）は、探索領域内の座標（ａ，ｂ）を
基点とした、探索画像Ｒ１と同一形状の局所領域Ｒ３内
の座標（ｍ，ｎ）の位置の輝度値である。基点の座標
（ａ，ｂ）を変化させて輝度差分総和値Ｃ（ａ，ｂ）が
最小となる位置を求めることにより、対応画像の位置が
特定される。

【００２２】ステップＳ１２の処理により、図１０に示
すように探索画像Ｒ１と、この対象物に対応する対応画
像Ｒ４とが抽出されるので、次に、探索画像Ｒ１の重心
位置と、画像中心線ＬＣＴＲとの距離ｄＲ（画素数）及
び対応画像Ｒ４の重心位置と画像中心線ＬＣＴＲとの距
離ｄＬ（画素数）を求め、下記式（２）に適用して、自
車両１０と、対象物との距離ｚを算出する（ステップＳ
１３）。

【数２】 ここで、Ｂは基線長、赤外線カメラ２Ｒの撮像素子の中
心位置と、赤外線カメラ２Ｌの撮像素子の中心位置との
水平方向の距離（両赤外線カメラの光軸の間隔）、Ｆは
赤外線カメラ２Ｒ、２Ｌのレンズの焦点距離、ｐは赤外
線カメラ２Ｒ、２Ｌの撮像素子内の画素間隔であり、Δ
ｄ（＝ｄＲ＋ｄＬ）が視差量である。

【００２３】ステップＳ１０における回頭角θｒの算出
と、ステップＳ１３における対象物との距離算出が完了
したら、画像内の座標（ｘ，ｙ）及び式（２）により算
出した距離ｚを下記式（３）に適用し、実空間座標
（Ｘ，Ｙ，Ｚ）に変換する（ステップＳ１４）。ここ
で、実空間座標（Ｘ，Ｙ，Ｚ）は、図２に示すように、
赤外線カメラ２Ｒ、２Ｌの取り付け位置の中点の位置
（自車両１０に固定された位置）を原点Ｏとして、図示
のように定め、画像内の座標は、画像の中心を原点とし
て水平方向をｘ、垂直方向をｙと定めている。

【数３】 ここで、（ｘｃ，ｙｃ）は、右画像上の座標（ｘ，ｙ）
を、赤外線カメラ２Ｒの取り付け位置と、実空間原点Ｏ
との相対位置関係に基づいて、実空間原点Ｏと画像の中
心とを一致させた仮想的な画像内の座標に変換したもの
である。またｆは、焦点距離Ｆと画素間隔ｐとの比であ
る。

【００２４】また、実空間座標が求められたら、自車両
１０が回頭することによる画像上の位置ずれを補正する
ための回頭角補正を行う（ステップＳ１５）。回頭角補
正は、図７に示すように、時刻ｋから（ｋ＋１）までの
期間中に自車両１０が例えば左方向に回頭角θｒだけ回
頭すると、カメラによって得られる画像上では、図１１
に示すようにΔｘだけｘ方向にずれるので、これを補正
する処理である。具体的には、下記式（４）に実空間座
標（Ｘ，Ｙ，Ｚ）を適用して、補正座標（Ｘｒ，Ｙｒ，
Ｚｒ）を算出する。算出した実空間位置データ（Ｘｒ，
Ｙｒ，Ｚｒ）は、対象物毎に対応づけてメモリに格納す
る。なお、以下の説明では、回頭角補正後の座標を
（Ｘ，Ｙ，Ｚ）と表示する。

【数４】

【００２５】実空間座標に対する回頭角補正が完了した
ら、次に、同一対象物について、ΔＴのモニタ期間内に
得られた、回頭角補正後のＮ個の実空間位置データ（例
えばＮ＝１０程度）、すなわち時系列データから、対象
物と自車両１０との相対移動ベクトルに対応する近似直
線ＬＭＶを求める（ステップＳ１６）。具体的には、近
似直線ＬＭＶの方向を示す方向ベクトルＬ＝（ｌｘ，ｌ
ｙ，ｌｚ）（｜Ｌ｜＝１）とすると、下記式（５）で表
される直線を求める。

【数５】 ここでｕは、任意の値をとる媒介変数であり、Ｘａｖ、
Ｙａｖ、及びＺａｖは、それぞれ実空間位置データ列の
Ｘ座標の平均値、Ｙ座標の平均値、及びＺ座標の平均値
である。なお、式（５）は媒介変数ｕを消去すれば下記
式（５ａ）のようになる。 （Ｘ−Ｘａｖ）／ｌｘ＝（Ｙ−Ｙａｖ）／ｌｙ＝（Ｚ−Ｚａｖ）／ｌｚ ・・・（５ａ）

【００２６】また、例えばＰ（０），Ｐ（１），Ｐ
（２），…，Ｐ（Ｎ−２），Ｐ（Ｎ−１）が回頭角補正
後の時系列データを示す場合、近似直線ＬＭＶは、この
時系列データの平均位置座標Ｐａｖ＝（Ｘａｖ，Ｙａ
ｖ，Ｚａｖ）を通り、各データ点からの距離の２乗の平
均値が最小となるような直線として求められる。ここ
で、各データ点の座標を示すＰに付した（）内の数値は
その値が増加するほど過去のデータであることを示す。
例えば、Ｐ（０）は最新の位置座標、Ｐ（１）は１サン
プル周期前の位置座標、Ｐ（２）は２サンプル周期前の
位置座標を示す。

【００２７】次いで、最新の位置座標Ｐ（０）＝（Ｘ
（０），Ｙ（０），Ｚ（０））と、（Ｎ−１）サンプル
前（時間ΔＴ前）の位置座標Ｐ（Ｎー１）＝（Ｘ（Ｎ−
１），Ｙ（Ｎ−１），Ｚ（Ｎ−１））を近似直線ＬＭＶ
上の位置に補正する。具体的には、前記式（５ａ）にＺ
座標Ｚ（０）、Ｚ（Ｎ−１）を適用することにより、す
なわち下記式（６）により、補正後の位置座標Ｐｖ
（０）＝（Ｘｖ（０），Ｙｖ（０），Ｚｖ（０））及び
Ｐｖ（Ｎ−１）＝（Ｘｖ（Ｎ−１），Ｙｖ（Ｎ−１），
Ｚｖ（Ｎ−１））を求める。

【数６】

【００２８】式（６）で算出された位置座標Ｐｖ（Ｎ−
１）からＰｖ（０）に向かうベクトルとして、相対移動
ベクトルが得られる。このようにモニタ期間ΔＴ内の複
数（Ｎ個）のデータから対象物の自車両１０に対する相
対移動軌跡を近似する近似直線を算出して相対移動ベク
トルを求めることにより、位置検出誤差の影響を軽減し
て対象物との衝突の可能性をより正確に予測することが
可能となる。また、ステップＳ１６において、相対移動
ベクトルが求められたら、次に、検出した対象物との衝
突の可能性を判定する警報判定処理を行う（ステップＳ
１７）。

【００２９】警報判定処理（ステップＳ１７）は、以下
に示す衝突判定処理、接近判定領域内か否かの判定処
理、侵入衝突判定処理のいずれかにより、自車両１０と
検出した対象物との衝突の可能性を判定する処理であ
る。以下、図１２に示すように、自車両１０の進行方向
に対してほぼ９０°の方向から、速度Ｖｐで進行してく
る動物２０がいる場合を例に取って説明する。

【００３０】＜衝突判定処理＞まず、画像処理ユニット
１は、動物２０が時間ΔＴの間に距離Ｚｖ（Ｎ−１）か
ら距離Ｚｖ（０）に接近したことにより、下記式（７）
を用いてＺ方向の相対速度Ｖｓを算出し、衝突判定処理
を行う。衝突判定処理は、下記式（８）及び（９）が成
立するとき、衝突の可能性があると判定する処理であ
る。 Ｖｓ＝（Ｚｖ（Ｎ−１）−Ｚｖ（０））／ΔＴ ・・・（７） Ｚｖ（０）／Ｖｓ≦Ｔ ・・・（８） ｜Ｙｖ（０）｜≦Ｈ ・・・（９） ここで、Ｚｖ（０）は最新の距離検出値（ｖは近似直線
ＬＭＶによる補正後のデータであることを示すために付
しているが、Ｚ座標は補正前と同一の値である）であ
り、Ｚｖ（Ｎ−１）は、時間ΔＴ前の距離検出値であ
る。またＴは、余裕時間であり、衝突の可能性を予測衝
突時刻より時間Ｔだけ前に判定することを意図したもの
である。従って、Ｔは例えば２〜５秒程度に設定され
る。またＨは、Ｙ方向、すなわち高さ方向の範囲を規定
する所定高さであり、例えば自車両１０の車高の２倍程
度に設定される。

【００３１】＜接近判定領域内か否かの判定処理＞ここ
では、対象物が接近判定領域内に存在するか否かを判定
する。例えば、図１３は、赤外線カメラ２Ｒ、２Ｌで監
視可能な領域を太い実線で示す外側の三角形の領域ＡＲ
０で示し、更に領域ＡＲ０内の、Ｚ１＝Ｖｓ×Ｔより自
車両１０に近い領域ＡＲ１、ＡＲ２、ＡＲ３を、警報判
定領域としている。ここで、領域ＡＲ１は、自車両１０
の車幅αの両側に余裕β（例えば５０〜１００ｃｍ程度
とする）を加えた範囲に対応する領域、換言すれば自車
両１０の車幅方向中心部の軸の両側に（α／２＋β）の
幅を有する領域であって、対象物がそのまま存在し続け
れば衝突の可能性がきわめて高いので、接近判定領域と
呼ぶ。領域ＡＲ２、ＡＲ３は、接近判定領域よりＸ座標
の絶対値が大きい（接近判定領域の横方向外側の）領域
であり、この領域内にある対象物については、後述する
侵入衝突判定を行うので、侵入判定領域と呼ぶ。なおこ
れらの領域は、前記式（９）に示したようにＹ方向に
は、所定高さＨを有する。

【００３２】＜侵入衝突判定処理＞侵入衝突判定処理
は、具体的には、画像上での最新のｘ座標であるｘｃ
（０）（文字ｃは前述したように画像の中心位置を実空
間原点Ｏに一致させる補正を行った座標であることを示
すために付している）と、時間ΔＴ前のｘ座標であるｘ
ｃ（Ｎ−１）との差が下記式（１０）を満たすか否かを
判別し、満たす場合に衝突の可能性が高いと判定する。

【数７】 なお、図１２に示すように、自車両１０の進行方向に対
してほぼ９０°の方向から進行してくる動物２０がいた
場合、Ｘｖ（Ｎー１）／Ｚｖ（Ｎ−１）＝Ｘｖ（０）／
Ｚｒ（０）であるとき、換言すれば動物の速度Ｖｐと相
対速度Ｖｓの比Ｖｐ／Ｖｓ＝Ｘｒ（Ｎー１）／Ｚｒ（Ｎ
−１）であるとき、自車両１０から動物２０を見る方位
角θｄは一定となり、衝突の可能性が高い。式（１０）
は、この可能性を自車両１０の車幅αを考慮して判定す
るものである。

【００３３】警報判定処理（ステップＳ１７）において
衝突判定処理、接近判定領域内か否かの判定処理、侵入
衝突判定処理のいずれにおいても、自車両１０と検出し
た対象物との衝突の可能性がないと判定された場合（ス
テップＳ１７のＮＯ）、ステップＳ１へ戻り、上述の処
理を繰り返す。また、警報判定処理（ステップＳ１７）
において衝突判定処理、接近判定領域内か否かの判定処
理、侵入衝突判定処理のいずれかにより、自車両１０と
検出した対象物との衝突の可能性があると判定された場
合（ステップＳ１７のＹＥＳ）、ステップＳ１８の警報
出力判定処理へ進む。

【００３４】ステップＳ１８では、以下のようにして警
報出力判定処理、すなわち警報出力を行うか否かの判定
を行う（ステップＳ１８）。警報出力判定処理は、まず
ブレーキセンサ５の出力ＢＲから自車両１０の運転者が
ブレーキ操作を行っているか否かを判別する。もし、自
車両１０の運転者がブレーキ操作を行っている場合に
は、それによって発生する加速度Ｇｓ（減速方向を正と
する）を算出し、この加速度Ｇｓが所定閾値ＧＴＨより
大きいときは、ブレーキ操作により衝突が回避されると
判定して警報出力判定処理を終了し（ステップＳ１８の
ＮＯ）、ステップＳ１へ戻り、上述の処理を繰り返す。
これにより、適切なブレーキ操作が行われているとき
は、警報を発しないようにして、運転者に余計な煩わし
さを与えないようにすることができる。

【００３５】また、加速度Ｇｓが所定閾値ＧＴＨ以下で
あるとき、または自車両１０の運転者がブレーキ操作を
行っていなければ、直ちにステップＳ１９の処理へ進み
（ステップＳ１８のＹＥＳ）、対象物と接触する可能性
が高いので、スピーカ３を介して音声による警報を発す
る（ステップＳ１９）とともに、画像表示装置７に、例
えば赤外線カメラ２Ｒにより得られるグレースケール画
像を表示し、接近してくる対象物に強調表示枠を設定す
ることで、自車両１０の運転者に対して、対象物を強調
映像として表示する（ステップＳ２０）。なお、所定閾
値ＧＴＨは、下記式（１１）のように定める。これは、
ブレーキ操作中の加速度Ｇｓがそのまま維持された場合
に、距離Ｚｖ（０）以下の走行距離で自車両１０が停止
する条件に対応する値である。

【数８】

【００３６】次に、図１４と図１８に示すフローチャー
ト、及び図１５から図１７に示す図面を参照して、図３
に示したフローチャートのステップＳ２０における強調
映像出力処理について説明する。 （第１の実施例）図１４は、第１の実施例による強調映
像出力処理の全体動作を示すフローチャートである。図
１４において、まず、画像処理ユニット１は２値化及び
相関演算によって検出された対象物のエリア（以下、
「第１検出エリア」という）の大きさを基準として、第
１検出エリアの上下方向の領域を第１検出エリアの大き
さと同一の大きさに分割して複数のエリアを設定し、こ
れを探索エリアとする（ステップＳ２１）。また、第１
検出エリアの上下方向の領域を分割して複数の探索エリ
アを設定するにあたっては、分割した探索エリアが基準
画像（右画像）の領域内にあるか否かの判定を行い（ス
テップＳ２２）、探索エリアが基準画像からはみ出るま
でステップＳ２１へ戻り、領域のエリア分割（探索エリ
アの設定）を繰り返す（ステップＳ２２のＹＥＳ）。

【００３７】一方、探索エリアが基準画像からはみ出た
ら（ステップＳ２２のＮＯ）、基準画像内の分割された
エリア数を計数する（ステップＳ２３）。そして、基準
画像領域内にあるエリアの数が１個より多いか否かを判
定する（ステップＳ２４）。ステップＳ２４において、
基準画像領域内にあるエリアの数が１個の場合（エリア
の数が基準画像領域内にある第１検出エリア１個とその
上下に基準画像領域をはみ出す探索エリア２個の合計３
個の場合）（ステップＳ２４のＮＯ）、第１検出エリア
を強調表示エリアに設定する（ステップＳ２５）。図１
５は、対象物３０が人間であると共に基準画像領域５０
内にあるエリアの数が１個の場合の画像例を示す。図１
５（ａ）は、第１検出エリア５１に対象物３０の全身が
捉えられている場合で、対象物３０のエリアサイズと距
離により判断できる。一方、図１５（ｂ）は、対象物３
０の身体の一部が第１検出エリア５１に捉えられている
場合である。どちらの場合も、基準画像領域５０内にあ
る第１検出エリア５１とその上下に基準画像領域５０か
らはみ出す探索エリア５２、５３が設定され、合計３個
のエリアから構成されている。

【００３８】また、ステップＳ２４において、基準画像
領域内にあるエリアの数が１個より多い場合（ステップ
Ｓ２４のＹＥＳ）、第１検出エリア５１を含む列を基準
として探索エリア設定を行うために、列を区別するため
のレジスタｊをリセット（ｊ＝０）する（ステップＳ２
６）。そして、探索エリア内の画像に輝度変化が認めら
れるか否か、レジスタｊにより指定された列の中の探索
エリアを探索エリア毎に縦方向に判定し、画像に輝度変
化が認められる探索エリアにはフラグを設定する輝度変
化探索処理を行う（ステップＳ２７）。なお、輝度変化
探索処理の詳細は後述する。図１６（ａ）は、対象物３
０が人間であると共に基準画像領域５０内にあるエリア
の数が１個より多い場合の画像例を示す。例えば、図１
６（ａ）は、第１検出エリア５１とその上下方向に存在
し基準画像領域５０からはみ出す探索エリア５４、５
５、更には基準画像領域５０内に存在する複数の探索エ
リア５６の合計Ｍ個のエリアからなる列を構成してい
る。また、この列を基準とするために、この列を「ｊ＝
０」の列とする。

【００３９】次に、レジスタｊにより指定された列の中
の探索エリア内の画像に、輝度変化が認められることを
示すフラグがあるか否かを判定する（ステップＳ２
８）。ステップＳ２８において、指定された列の中の探
索エリア内の画像に、輝度変化が認められることを示す
フラグがある場合（ステップＳ２８のＹＥＳ）、ｊを１
つ増やす（ｊ＝ｊ＋１）ことで今探索した隣の列を指定
し（ステップＳ２９）、ステップＳ２７へ戻り、新しい
列に対する輝度変化探索処理を行う（ステップＳ２
７）。また、ステップＳ２８において、指定された列の
中の探索エリア内の画像に、輝度変化が認められること
を示すフラグがない場合（ステップＳ２８のＮＯ）、ｊ
をリセット（ｊ＝０）し（ステップＳ３０）、ｊを１つ
減らす（ｊ＝ｊ−１）ことで、上述の探索とは反対側の
列を指定する（ステップＳ３１）。そして、上述のステ
ップＳ２７と同様に、輝度変化探索処理を行う（ステッ
プＳ３２）。

【００４０】次に、上述のステップＳ２８と同様に、レ
ジスタｊにより指定された列の中の探索エリア内の画像
に、輝度変化が認められることを示すフラグがあるか否
かを判定する（ステップＳ３３）。ステップＳ３３にお
いて、指定された列の中の探索エリア内の画像に、輝度
変化が認められることを示すフラグがある場合（ステッ
プＳ３３のＹＥＳ）、ステップＳ３１へ戻り、ｊを１つ
減らす（ｊ＝ｊ−１）ことで今探索した隣の列を指定
し、ステップＳ３２において新しい列に対する輝度変化
探索処理を行う（ステップＳ３２）。図１６（ｂ）は、
ｊ＝２まで探索して輝度変化の認められる探索エリアが
存在しなかったため、ｊ＝０に対して反対側のｊ＝−１
を探索する場合を示した図である。

【００４１】また、ステップＳ３３において、指定され
た列の中の探索エリア内の画像に、輝度変化が認められ
ることを示すフラグがない場合（ステップＳ３３のＮ
Ｏ）、基準画像領域５０内の探索が終了したと判断し
て、次に、フラグが設定された探索エリアに対する視差
計算を行う（ステップＳ３４）。そして、第１検出エリ
ア５１と視差が異なる（自車両１０からの距離が異な
る）探索エリアのフラグを解除する（ステップＳ３
５）。また、視差の異なる探索エリアを排除したら、第
１検出エリア５１及びフラグの設定された探索エリアを
包含するように強調表示出力を行う（ステップＳ３
６）。なお、ステップＳ２５において設定された強調表
示出力、及びステップＳ３６において設定された強調表
示出力は、画像表示装置７へ出力され（ステップＳ３
７）、強調表示出力処理は終了する。図１７（ａ）は、
図１６（ａ）、（ｂ）を基に、第１検出エリア５１及び
輝度変化の認められる探索エリアを内包する強調表示枠
５９を設定した状態を表す。また、画像表示装置７に出
力される際には、図１７（ｂ）に示すように、対象物形
状が認識しやすい対象物全てを内包する強調表示枠５９
が、表示されるグレースケール画像上に設定されること
になる。

【００４２】次に、図１８に示すフローチャートを用い
て、輝度変化探索処理について説明する。輝度変化探索
処理は、探索エリア内の画像に輝度変化が認められるか
否かを、レジスタｊにより指定された列の中の探索エリ
ア毎に判定し、画像に輝度変化が認められる探索エリア
にはフラグを設定する処理であって、指定された列に対
して列内の探索エリアを行の方向（縦方向）に探索す
る。まず、行の方向に探索を行うために、行を区別する
ためのレジスタｉをリセット（ｉ＝１）する（ステップ
Ｓ４１）。次に、レジスタｉにより指定された行の探索
エリアについて、探索エリアのグレースケール画像に輝
度変化が認められるか否かを探索する（ステップＳ４
２）。そして、指定された探索エリアのグレースケール
画像の輝度変化が大きいか否かを判定し（ステップＳ４
３）、輝度変化が大きい場合（ステップＳ４３のＹＥ
Ｓ）、該当する探索エリアにフラグを設定する（ステッ
プＳ４４）。

【００４３】輝度変化の大きい探索エリアにフラグが設
定されたら、次の行の探索を行うためにｉを１つ増やす
（ｉ＝ｉ＋１）ことで今探索した次の行を指定する（ス
テップＳ４５） また、指定された探索エリアのグレースケール画像の輝
度変化が大きくない場合（ステップＳ４３のＮＯ）、何
もせずにステップＳ４５へ進む。なお、図１６（ａ）、
（ｂ）に示すように、各列の第１検出エリア５１と探索
エリアの合計数はＭ個であるので、レジスタｉの値を判
定し（ステップＳ４６）、輝度変化探索処理はｉの値が
Ｍより大きくなるまで、ステップＳ４２へ戻り、上述の
処理を繰り返す（ステップＳ４６のＮＯ）。従って、図
１４に示すフローチャートのステップＳ２４において、
基準画像領域５０内にあるエリアの数が１個より多い場
合（ステップＳ２４のＹＥＳ）は、基準画像領域５０か
らはみ出した各列内の探索エリア（ｊ＝０の列では探索
エリア５４、５５）についても輝度変化探索処理が実行
される。また、ステップＳ４６において、ｉの値がＭよ
り大きくなったら（ｉ＞Ｍ）（ステップＳ４６のＹＥ
Ｓ）、輝度変化探索処理を終了する。

【００４４】次に、図１９（ａ）、（ｂ）、図２０に示
す図面を参照し、強調映像出力処理について、特にエリ
アの分割方法及び探索方法における別の実施例を説明す
る。 （第２の実施例）図１９（ａ）は、強調映像出力処理の
第２の実施例について説明した図である。第１の実施例
が列方向へ探索エリアを拡張する場合に、上下方向にＭ
個含まれている探索エリア全てを対象にして列方向の拡
張を行うのに対して、第２の実施例では、左右ｊ＝±１
より外の列に対しては、フラグの設定された探索エリア
が存在する行のエリアのみ拡張して探索を行う。図１９
（ａ）では、ｊ＝１、またはｊ＝−１において輝度変化
が認められたｉ＝２、３、４の探索エリア５７について
のみ、ｊ＝２、またはｊ＝−２の列において輝度変化探
索処理が行われる。

【００４５】具体的には、下記のように探索エリアをＡ
（ｉ、ｊ）と表現し、輝度変化ありを○、輝度変化なし
を×で表現する場合、 A( 1,-1):×、A( 1, 0):×、A( 1, 1):× → エリア拡大無し A( 2,-1):×、A( 2, 0):○、A( 2, 1):× → エリア拡大無し A( 3,-1):○、A( 3, 0):○、A( 3, 1):○ → エリア拡大有り A( 4,-1):○、A( 4, 0):○、A( 4, 1):○ → エリア拡大有り A( 5,-1):○、A( 5, 0):○、A( 5, 1):○ → エリア拡大有り A( 6,-1):×、A( 6, 0):×、A( 6, 1):× → エリア拡大無し ・ ・ ・ A( M,-1):×、A( M, 0):×、A( M, 1):× → エリア拡大無し のように輝度変化処理が行われる。これにより、１つ前
の列において輝度変化が認められなかった行では、その
外側も輝度変化が認められる可能性が少ないので、無駄
な輝度変化探索処理を省くことで、画像処理ユニット１
の処理負荷が軽減される。

【００４６】（第３の実施例）図１９（ｂ）は、強調映
像出力処理の第３の実施例について説明した図である。
第３の実施例では、第１検出エリア５１の大きさを基準
に、探索エリアを横方向に広げたエリアを設定し、列方
向へ探索エリアを拡張する場合は、第１検出エリア５１
と同じ列において輝度変化の認められた行を対象に行
う。図１９（ｂ）では、第１検出エリア５１の大きさを
基準に、探索エリアを横方向に広げたエリアをｊ＝０と
して示し、ｊ＝１、またはｊ＝−１の列においては、ｊ
＝０のエリアにおいて輝度変化の認められたｉ＝１から
ｉ＝６の探索エリア５８を対象に輝度変化探索処理が行
われる。これにより、輝度変化の有無により輝度変化探
索処理の対象の行を決定する処理を、列方向の拡張を行
うたびに判定する処理が不要となるため、更に画像処理
ユニット１の処理負荷が軽減される。

【００４７】（第４の実施例）図２０は、強調映像出力
処理の第４の実施例について説明した図である。第４の
実施例では、第１検出エリア５１の大きさに係わらず、
所定の大きさの探索エリアによって基準画像領域５０を
分割し、輝度変化探索処理を行う。図２０では、第１検
出エリア５１より大きめの探索エリアによって、輝度変
化探索処理が実行される。但し、これにより、第１検出
エリア５１の大きさに係わらず基準画像領域５０内の輝
度変化探索処理を実行できるので、画像処理ユニット１
の処理負荷が大幅に軽減されるものの、探索エリアの大
きさと対象物３０の大きさとの差が大きい場合は、検出
精度の低下や検出速度の低下を招く場合があることを考
慮する必要がある。

【００４８】なお、更に上述の第１から第４の実施例に
付け加えるならば、探索エリアを拡張する場合に、２台
の赤外線カメラ２Ｒ、２Ｌの画像同士の視差計算を先に
行い、同一の視差を持つ探索エリアの部分のみ拡張する
ようにしても良い。また、同じ物体であっても所定値以
上の輝度変化がない部分もあるので、この部分を上下に
包含するように広げても良い。また、第１検出エリア５
１と視差の異なるエリアのフラグを解除して区別するこ
とで、対象物が重なっている場合でも、対象物を区別し
て抽出することができる。例えば、車両等の後ろに対象
物が存在する場合の隠蔽を検出した場合、探索エリア内
には輝度変化があると共に、該探索エリアは第１検出エ
リア５１とは異なる視差値を有し、このような視差値を
有する探索エリアが複数個存在する。そこで視差値より
エリアの距離が求まり、人物が車両等の物体の後ろに存
在すると考えられる場合は、隠蔽されているエリアを除
いた部分を強調表示するようにしても良い。

【００４９】次に、探索エリアの分割例について、その
他の分割例を図面を参照して説明する。図２１（ａ）
は、上述の第１から第４の実施例において説明した対象
物３０の頭部と同様に、対象物３０の腹部を検出した第
１検出エリア５１に基づいて設定された中間サイズの探
索エリアによる基準画像の分割例である。図２１（ｂ）
は、対象物３０の手の先部分を検出した第１検出エリア
５１に基づいて設定された小さいサイズの探索エリアに
よる基準画像の分割例である。図２２は、対象物３０の
両肩から胸部を検出した第１検出エリア５１に基づいて
設定された横に大きいサイズの探索エリアによる基準画
像の分割例である。図２２に示すように、第１検出エリ
ア５１の横方向のサイズが大きい場合には、画像の視差
から求められる対象物との距離によって、探索エリアの
横方向サイズを調整するようにしても良い。

【００５０】なお、上述した実施の形態では、自車両の
前方を監視する例を示したが、自車両の後方など、いず
れの方向を監視するようにしてもよい。また、上述した
実施の形態では、赤外線カメラ２Ｒ、２Ｌを用意し、視
差により対象物との距離も同一物体を抽出するための判
断材料として利用したが、赤外線カメラは１台でも良
く、この場合、同一物体を抽出するための判断材料から
対象物までの距離は除外するものとする。

【００５１】また、本実施の形態では、画像処理ユニッ
ト１が、抽出領域設定手段と、探索領域設定手段と、物
体認識手段と、視差算出手段とを含んでいる。より具体
的には、図３のＳ１〜Ｓ１８が抽出領域設定手段に相当
し、図１４のＳ２１〜Ｓ２４が探索領域設定手段に相当
し、図１４のＳ２５〜Ｓ３７が物体認識手段に相当す
る。更に、図１４のＳ３４が視差算出手段に相当する。

【００５２】以上説明したように、本実施の形態の車両
用情報提供装置は、最初の検出された第１検出エリア５
１を基準にして、その周囲に探索エリアを設定し、探索
エリア内の画像に輝度変化が認められ、かつ２台の赤外
線カメラを用いる場合は、第１検出エリア５１と同じ視
差を持つ探索エリアを第１検出エリア５１と同一物体の
画像と判定することで、確実に対象物全体を捉えた画像
エリアを抽出することができる。従って、従来は人間の
身体部位の中で一番表面温度が高いであろう頭部が抽出
されたとして処理を行うために、直射日光にさらされて
温度が上昇している部分や、風を受けて温度が下降して
いる部分等、検出対象者の人体部位の温度の変化によっ
て発生する誤検出が問題とされていたが、これにより身
体のどの部分が最初に検出されても、必ず対象物の全体
（検出対象者の全身）を捉えることができるようになる
という効果が得られる。

【００５３】

【発明の効果】以上の如く、請求項１に記載の車両用情
報提供装置によれば、抽出領域設定手段が設定した抽出
領域を基準にして探索領域を設定し、抽出領域の周囲に
輝度変化のある領域を探索することで、抽出領域に捉え
られた物体と同一の物体を捉えているであろう領域を、
抽出領域と共に強調表示することができるようになる。
従って、抽出領域の大きさに基づいて探索領域を設定す
ると、対象物の大きさに比例する抽出領域の大きさによ
って、探索領域の大きさが対象物に対して適切に設定さ
れるので、画像領域内を探索領域により探索して物体全
体を検出する検出速度が向上するという効果が得られ
る。

【００５４】請求項２に記載の車両用情報提供装置によ
れば、輝度変化があると共に抽出領域と視差が同一の領
域を、抽出領域に捉えられた物体と同一の物体を捉えて
いるであろう領域として認識し、抽出領域と共に強調表
示することができるようになる。従って、複数の物体が
重なるような状態にあっても、２台のカメラの画像の視
差（物体までの距離）が同じ領域を選択することによっ
て、複数の物体を分離して表示できるという効果が得ら
れる。

【００５５】請求項３に記載の車両用情報提供装置によ
れば、探索領域設定手段が抽出領域の上下に探索領域を
設定すると画像の領域を越えてしまう場合、物体認識手
段が、抽出領域に物体の大部分が捉えられていると判断
して物体の探索を行わずに抽出領域のみ強調表示を行
う。従って、抽出領域に物体の大部分が捉えられている
と判断して物体の探索を中止することで、不要な計算の
実行を回避することができるという効果が得られる。

【図面の簡単な説明】

【図１】 本発明の一実施の形態の車両用情報提供装置
の構成を示すブロック図である。

【図２】 車両における赤外線カメラやセンサ、ディス
プレイ等の取り付け位置を示す図である。

【図３】 同実施の形態の車両用情報提供装置の全体動
作を示すフローチャートである。

【図４】 赤外線カメラにより得られるグレースケール
画像とその２値化画像を示す図である。

【図５】 ランレングスデータへの変換処理及びラベリ
ングを示す図である。

【図６】 対象物の時刻間追跡を示す図である。

【図７】 対象物画像の回頭角補正を示す図である。

【図８】 右画像中の探索画像と、左画像に設定する探
索領域を示す図である。

【図９】 探索領域を対象とした相関演算処理を示す図
である。

【図１０】 対象物の距離算出における対象物視差の算
出方法を示す図である。

【図１１】 車両の回頭により発生する画像上の対象物
位置のずれを示す図である。

【図１２】 衝突が発生しやすい場合を示す図である。

【図１３】 車両前方の領域区分を示す図である。

【図１４】 同実施の形態の第１の実施例による強調映
像出力処理動作を示すフローチャートである。

【図１５】 同実施の形態の画像内エリア分割結果の一
例を示す図面である。

【図１６】 同実施の形態の第１の実施例による画像内
の領域探索手順を示す図面である。

【図１７】 同実施の形態の第１の実施例による画像内
の領域探索手順を示す図面である。

【図１８】 同実施の形態の車両用情報提供装置の輝度
変化探索処理動作を示すフローチャートである。

【図１９】 同実施の形態の第２、第３の実施例による
画像内の領域探索手順を示す図面である。

【図２０】 同実施の形態の第４の実施例による画像内
の領域探索手順を示す図面である。

【図２１】 同実施の形態の画像内エリア分割結果の一
例を示す図面である。

【図２２】 同実施の形態の画像内エリア分割結果の一
例を示す図面である。

【符号の説明】

１ 画像処理ユニット ２Ｒ、２Ｌ 赤外線カメラ ３ ヨーレートセンサ ４ 車速センサ ５ ブレーキセンサ ６ スピーカ ７ 画像表示装置 １０ 自車両 Ｓ１〜Ｓ１８ 抽出領域設定手段 Ｓ２１〜Ｓ２４ 探索領域設定手段 Ｓ２５〜Ｓ３７ 物体認識手段 Ｓ３４ 視差算出手段

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０８Ｇ 1/16 Ｇ０８Ｇ 1/16 Ｃ (72)発明者 渡辺 正人 埼玉県和光市中央１丁目４番１号 株式会 社本田技術研究所内 (72)発明者 辻 孝之 埼玉県和光市中央１丁目４番１号 株式会 社本田技術研究所内 Ｆターム(参考） 5B057 AA16 BA08 DA07 DA15 DB03 DB05 DB09 DC02 DC32 5C054 AA01 CA05 EA01 FA00 FC03 FC12 FE09 FF03 HA30 5H180 CC02 CC04 LL01 LL02 5L096 AA03 AA06 BA04 CA05 DA01 DA03 EA43 FA18 FA59 FA60 FA64 FA66 GA08 GA34 GA36 HA04

Claims (3)

【特許請求の範囲】
1. 【請求項１】 赤外線カメラにより撮影された画像を表
   示する車両用情報提供装置であって、 前記画像を多値化処理することにより検出された物体の
   存在領域を抽出領域として設定する抽出領域設定手段
   と、 前記抽出領域の周辺に探索領域を設定する探索領域設定
   手段と、 前記探索領域内の輝度変化を探索し、輝度変化がある領
   域を前記抽出領域と共に同一物体として強調表示する物
   体認識手段とを備えたことを特徴とする車両用情報提供
   装置。
2. 【請求項２】 ２つの赤外線カメラと、 前記２つの赤外線カメラにより撮影された画像の視差を
   求める視差算出手段とを備え、 前記物体認識手段が、輝度変化があると共に、前記抽出
   領域と視差が同一の領域を同一物体として強調表示する
   ことを特徴とする請求項１に記載の車両用情報提供装
   置。
3. 【請求項３】 前記抽出領域の上下に隣接して設定され
   た前記探索領域が前記画像の範囲を越える場合に、 前記物体認識手段が、輝度変化の探索を中止することを
   特徴とする請求項１、または請求項２に記載の車両用情
   報提供装置。