JP2007241740A - 車両周辺監視装置 - Google Patents

Abstract

【課題】対象物の種別を高い信頼性で区別して判定することができる車両周辺監視装置、特に、対象物の中から歩行者と歩行者以外の対象物とを高い信頼性で区別して判定することができる車両周辺監視装置を提供する。
【解決手段】車両に搭載された撮像手段によって得られる画像から、車両の周辺に存在する物体を検出する車両周辺監視装置であって、前記画像から対象物を抽出する対象物抽出手段と、前記対象物抽出手段により抽出された対象物に対して、該対象物の上下方向に間隔を有する複数の高さ位置での該対象物の幅を算出する幅算出手段（ＳＴＥＰ１０１〜１０４）と、前記幅算出手段により算出された幅に基づいて、前記対象物の種別を判定する対象物種別判定手段（ＳＴＥＰ１０５）とを備える。
【選択図】図５

Description

本発明は、自車両の走行に影響を与える対象物を認識する車両周辺監視装置に関する。

従来、この種の車両周辺監視装置としては、赤外線カメラにより捉えられた車両周辺の画像から、自車両との衝突の可能性がある歩行者等の対象物を抽出し、その情報を自車両の運転者に視覚的に提供する表示処理装置が提案されている（例えば特許文献１参照）。この装置は、赤外線画像を２値化処理して高輝度領域を探し、該領域の赤外線画像内の重心位置、面積比、実面積などの頭部判定条件から、該領域が歩行者の頭部であるか否かを判定する。そして、歩行者の頭部の領域を決定した後、歩行者の身体を包含する領域を設定し、これらの領域を他の領域と区分して表示する。これにより、赤外線画像上の歩行者の身体全体の位置を特定し、この情報を車両の運転者に対して表示することで視覚補助を行う。

しかしながら、例えば、車両周辺に存在する樹木の赤外線画像を２値化処理した際に、該樹木の葉などの影響で、その高輝度領域の高さ（上下方向の長さ）が歩行者と同程度となる場合がある。そのため、該樹木が、その赤外線画像内の重心位置、面積比、実面積などから前記頭部判定条件を満たし、該樹木が歩行者であると誤って判定される場合がある。

このように、従来の車両周辺監視装置では、対象物の種別を正しく区別して判定することができない場合が多々ある。
特開平１１−３２８３６４号公報

本発明は、以上の不都合な点に鑑み、対象物の種別を高い信頼性で区別して判定することができる車両周辺監視装置、特に、対象物の中から歩行者と歩行者以外の対象物とを高い信頼性で区別して判定することができる車両周辺監視装置を提供することをその課題としている。

本発明者は、対象物の上下方向での幅に着目し、対象物の種別によって、該対象物の上下方向で該対象物の幅が特徴的な変化を呈するとの知見を得た。例えば、対象物が人であれば、一般に、該対象物の上部の高さ位置での幅に対して、中央部の高さ位置での幅が大きくなり、かつ、中央部の高さ位置での幅に対して、下部の高さ位置での幅が小さくなる。一方、対象物が樹木であれば、一般に、上部の高さ位置での幅と中央部の高さ位置での幅と下部の高さ位置での幅とが変化がないか、上部から下部へ向かって各高さ位置の幅が大きくなる。

そこで、上記課題を解決するために、本発明の車両周辺監視装置は、車両に搭載された撮像手段によって得られる画像から、車両の周辺に存在する物体を検出する車両周辺監視装置であって、前記画像から対象物を抽出する対象物抽出手段と、前記対象物抽出手段により抽出された対象物に対して、該対象物の上下方向に間隔を有する複数の高さ位置での該対象物の幅を算出する幅算出手段と、前記幅算出手段により算出された幅に基づいて、前記対象物の種別を判定する対象物種別判定手段とを備えることを特徴とする。

かかる本発明の車両周辺監視装置によれば、対象物抽出手段によって画像の中から抽出された対象物に対して、該対象物の上下方向の複数の高さ位置での該対象物の幅が算出され、算出された該複数の高さ位置での該対象物の幅に基づいて、該対象物の種別を判定する。このとき、該複数の高さ位置での幅は、該対象物の種類によって特徴的なものとなる。そのため、本発明の車両周辺監視装置では、該複数の高さ位置での幅の特徴に基づいて、対象物の種別を判定することで、対象物の種別を高い信頼性で判定することができる。

また、本発明の車両周辺監視装置において、前記幅算出手段は、対象物の画像において前記各高さ位置での輝度値が所定値以上となる高輝度部分の幅を該高さ位置での対象物の幅として算出することを特徴とする。

かかる本発明の車両周辺監視装置によれば、前記幅算出手段によって算出される前記複数の高さ位置での対象物の幅は、各高さ位置における輝度値が所定値以上となる高輝度部分の幅として算出される。ここで、各高さ位置における輝度値の所定値は、例えば、該高さ位置における輝度値の平均値など、輝度値の強度分布に基づいて相対的に定まる値を用いることができる。これにより、該高さ位置の輝度分布に応じた所定値を定め、該所定値に基づいて、該所定値以上となる高輝度部分の幅を対象物の幅として検出することができるため、該対象物の幅を容易かつ一定の確実性をもって算出することができる。

あるいは、本発明の車両周辺監視装置において、前記幅算出手段は、対象物の画像において前記各高さ位置での該対象物の一対の縦エッジを検出し、該縦エッジ間の幅を該高さ位置での対象物の幅として算出することを特徴とする。

かかる本発明の車両周辺監視装置によれば、前記幅算出手段によって算出される前記複数の高さ位置での対象物の幅は、各高さ位置における該対象物の縦エッジ間の幅として算出される。これにより、例えば、いずれかの高さ位置で該対象物が前記所定値よりも低輝度部分として検出される場合にも、各幅算出位置ｈ１，ｈ２，ｈ３における該対象物の幅を正確に算出することができる。

さらに、本発明の車両周辺監視装置において、前記対象物種別判定手段は、歩行者と歩行者以外の対象物とを区別して該対象物の種別を判定する手段であって、前記幅算出手段により算出された前記各高さ位置での幅が、高さ位置が低くなる程、大きくなる場合、若しくは、各高さ位置での幅が互いに略同一である場合には、該対象物を歩行者以外の対象物と判定することを特徴とする。

かかる本発明の車両周辺監視装置によれば、前記対象物算出手段によって算出された対象物の上下方向の各高さ位置での該対象物の幅が、高さ位置が低くなる程、大きくなる場合、若しくは、各高さ位置での幅が互いに略同一の場合には、該対象物を歩行者以外の対象物と判断する。ここで、各高さ位置での幅が互いに略同一の場合とは、各高さ位置での幅の相互の差が、所定の範囲内に収まっており実質的に同一とみなされる場合をいう。対象物の上下方向の各高さ位置での該対象物の幅が、高さ位置が低くなる程、大きくなる対象物、若しくは、各高さ位置での幅が互いに略同一である対象物（例えば、車両周辺に存在する樹木や電柱など）を歩行者以外の対象物であると判定することにより、画像から抽出された対象物の中から歩行者と歩行者以外の対象物とを高い信頼性で区別して判定することができる。

また、本発明の車両周辺監視装置において、前記複数の高さ位置は、少なくとも対象物の上部、中央部および下部の３つの高さ位置を含み、前記対象物種別判定手段は、歩行者と歩行者以外の対象物とを区別して該対象物の種別を判定する手段であって、前記幅算出手段により算出された幅のうち、前記対象物の上部の高さ位置での幅および下部の高さ位置での幅よりも中央部の高さ位置での幅が大きい場合に、該対象物を歩行者と判定することを特徴とする。

かかる本発明の車両周辺監視装置によれば、前記各高さ位置として、少なくとも対象物の上部、中央部および下部の３つの位置を含む場合に、該複数の高さ位置での該対象物の幅のうち、該対象物の上部の高さ位置での幅および下部の高さ位置での幅よりも中央部の高さ位置での幅が大きい場合には、該対象物は歩行者としての特徴を有するものとして、該対象物を歩行者であると判定する。これにより、画像から抽出された対象物の中から歩行者を高い信頼性で区別して判定することができる。

さらに、本発明の車両周辺監視装置において、前記対象物種別判定手段は、前記幅算出手段により算出された幅のうち、前記対象物の上部の高さ位置での幅および下部の高さ位置での幅よりも中央部の高さ位置での幅が大きいことを該対象物が歩行者であると判定するための必要条件として、該必要条件が満たされない場合に、該対象物を歩行者以外の対象物と判定することを特徴とする。

かかる本発明の車両周辺監視装置によれば、前記複数の高さ位置での該対象物の幅のうち、該対象物の上部の高さ位置での幅および下部の高さ位置での幅よりも中央部の高さ位置での幅が大きいことを該対象物が歩行者であると判定するための必要条件として、該対象物が歩行者以外の対象物であるか否かを判定する。該必要条件を満たさない対象物を歩行者以外の対象物とすることにより、画像から抽出された対象物の中から歩行者と歩行者以外の対象物とを高い信頼性で区別して判定することができる。

また、本発明の車両周辺監視装置において、前記対象物抽出手段により抽出された前記対象物から警報対象を決定し、該警報対象に関する警報を前記車両の運転者に行う警報手段を備え、前記警報手段は、前記対象物種別判定手段により前記対象物が歩行者以外の対象物と判定された場合に、該対象物を警報対象から除外することを特徴とする。

かかる本発明によれば、前記車両周辺監視装置が警報手段を備え、前記対象物判定手段によって、画像の中から抽出された対象物が歩行者以外の対象物であると判定された場合に、該対象物を警報手段の警報対象から除外する。これにより、警報手段は、対象物が歩行者以外の場合に、不要な警報の出力を抑制することができる。

本発明の一実施形態を以下に図１〜図７を参照して説明する。

まず、図１および図２を参照して、本実施形態の車両の周辺監視装置のシステム構成を説明する。図１は該周辺監視装置の全体構成を示すブロック図、図２は該周辺監視装置を搭載した車両（自車両）の外観を示す斜視図である。なお、図２では、周辺監視装置の一部の構成要素の図示を省略している。

図１および図２を参照して、本実施形態の周辺監視装置は、画像処理ユニット１を備える。この画像処理ユニット１には、自車両１０の前方の画像を撮像する撮像装置としての２つの赤外線カメラ２Ｒ，２Ｌが接続されると共に、自車両１０の走行状態を検出するセンサとして、自車両１０のヨーレートを検出するヨーレートセンサ３と、自車両１０の走行速度（車速）を検出する車速センサ４と、自車両１０のブレーキ操作（詳しくはブレーキペダルが操作されているか否か）を検出するブレーキセンサ５とが接続されている。さらに、画像処理ユニット１には、音声などによる聴覚的な警報情報を出力するためのスピーカ６と、前記赤外線カメラ２Ｒ，２Ｌにより撮像された画像や視覚的な警報情報を表示するための表示装置７とが接続されている。

画像処理ユニット１は、詳細な図示は省略するが、Ａ／Ｄ変換回路、マイクロコンピュータ（ＣＰＵ、ＲＡＭ、ＲＯＭ）、画像メモリなどを含む電子回路により構成され、前記赤外線カメラ２Ｒ，２Ｌ、ヨーレートセンサ３、車速センサ４およびブレーキセンサ５の出力（アナログ信号）はＡ／Ｄ変換回路を介してデジタル化されて入力される。そして、画像処理ユニット１は、入力されたデータを基に、人（歩行者）などの対象物を検出する処理や、その検出した対象物に関する所定の警報発生要件が満たされるか否かを判定し、該警報発生要件が満たされる場合に前記スピーカ６や表示装置７を介して運転者に警報を発する処理などをマイクロコンピュータにより実行する。

なお、画像処理ユニット１は、本発明における対象物抽出手段、幅算出手段、対象物種別判定手段、警報手段としての機能を備えている。

図２に示すように、前記赤外線カメラ２Ｒ，２Ｌは、自車両１０の前方を撮像するために、自車両１０の前部（図ではフロントグリルの部分）に取り付けられている。この場合、赤外線カメラ２Ｒ，２Ｌは、それぞれ、自車両１０の車幅方向の中心よりも右寄りの位置、左寄りの位置に配置されている。それら位置は、自車両１０の車幅方向の中心に対して左右対称である。そして、該赤外線カメラ２Ｒ，２Ｌは、それらの光軸が互いに平行に自車両１０の前後方向に延在し、且つ、それぞれの光軸の路面からの高さが互いに等しくなるように自車両１０の前部に固定されている。なお、各赤外線カメラ２Ｒ，２Ｌは、遠赤外域に感度を有する撮像装置であり、それにより撮像される物体の温度が高いほど、その物体の画像の出力信号のレベルが高くなる（該物体の画像の輝度が高くなる）特性を有している。

また、前記表示装置７は、本実施形態では、例えば自車両１０のフロントウィンドウに画像などの情報を表示するヘッド・アップ・ディスプレイ７ａ（以下、ＨＵＤ７ａという）を備えている。なお、表示装置７は、ＨＵＤ７ａの代わりに、もしくは、ＨＵＤ７ａと共に、自車両１０の車速などの走行状態を表示するメータに一体的に設けられたディスプレイ、あるいは、車載ナビゲーション装置に備えられたディスプレイを含んでもよい。

次に、本実施形態の周辺監視装置の全体的動作を図３および図４のフローチャートを参照して説明する。なお、図３および図４のフローチャートの処理のうちの多くの処理は、例えば本出願人による特開２００１−６０９６号の図３および図４に記載されている処理と同じであるので、その同じ処理については、本明細書での詳細な説明は省略する。

まず、画像処理ユニット１は、赤外線カメラ２Ｒ，２Ｌのそれぞれの出力信号である赤外線画像を取得して（ＳＴＥＰ１）、Ａ／Ｄ変換し（ＳＴＥＰ２）、それぞれの画像を画像メモリに格納する（ＳＴＥＰ３）。これにより、各赤外線カメラ２Ｒ，２Ｌにより撮像された画像が画像処理ユニット１に取り込まれる。以降、赤外線カメラ２Ｒから得られた画像を右画像、赤外線カメラ２Ｌから得られた画像を左画像という。これらの右画像および左画像は、いずれもグレースケール画像である。

次いで、画像処理ユニット１は、前記右画像および左画像のうちの一方を基準画像とし、この基準画像を２値化する（ＳＴＥＰ４）。基準画像は、本実施形態では右画像である。この２値化処理は、基準画像の各画素の輝度値を所定の輝度閾値と比較し、基準画像のうちの、該所定の輝度閾値よりも高い輝度値を有する領域（比較的明るい領域）を「１」（白）とし、該輝度閾値よりも低い輝度値を有する領域（比較的暗い領域）を「０」（黒）とする処理である。以降、この２値化処理により得られる画像（白黒画像）を２値化画像という。そして、この２値化画像のうちの、「１」とされる領域を高輝度領域という。なお、この２値化画像は、グレースケール画像（右画像および左画像）とは別に画像メモリに記憶される。

次いで、画像処理ユニット１は、前記２値化画像に対してＳＴＥＰ５〜７の処理を実行し、該２値化画像から対象物（より正確には対象物に対応する画像部分）を抽出する。すなわち、前記２値化画像の高輝度領域を構成する画素群を、基準画像の縦方向（ｙ方向）に１画素分の幅を有して横方向（ｘ方向）延在するラインに分類し、その各ラインを、その位置（基準画像上での２次元位置）の座標と長さ（画素数）とからなるランレングスデータに変換する（ＳＴＥＰ５）。そして、このランレングスデータにより表されるラインのうちの、基準画像の縦方向に重なりを有するライン群のそれぞれにラベル（識別子）を付し（ＳＴＥＰ６）、そのライン群のそれぞれを対象物として抽出する（ＳＴＥＰ７）。

なお、ＳＴＥＰ５〜７の処理により抽出される対象物には、一般には、人（歩行者）だけでなく、他車両などの人工構造物なども含まれる。また、同一の物体の複数の局所部分が対象物として抽出される場合もある。

次いで、画像処理ユニット１は、上記の如く抽出した各対象物の重心の位置（基準画像上での位置）と面積と外接四角形の縦横比とを求める（ＳＴＥＰ８）。なお、各対象物の重心の位置は、該対象物に含まれるランレングスデータの各ラインの位置（各ラインの中心位置）の座標に該ラインの長さを乗じたものを、該対象物に含まれるランレングスデータの全てのラインについて加算し、その加算結果を該対象物の面積により除算することにより求められる。また、各対象物の重心の代わりに、該対象物の外接四角形の重心（中心）の位置を求めてもよい。

次いで、画像処理ユニット１は、前記ＳＴＥＰ７で抽出した対象物の時刻間追跡、すなわち、画像処理ユニット１の演算処理周期毎の同一対象物の認識を行なう（ＳＴＥＰ９）。この処理では、ある演算処理周期の時刻（離散系時刻）ｋにおけるＳＴＥＰ７の処理により対象物Ａが抽出され、次の演算処理周期の時刻ｋ＋１におけるＳＴＥＰ７の処理により対象物Ｂが抽出されたとしたとき、それらの対象物Ａ，Ｂの同一性が判定される。この同一性の判定は、例えば、それらの対象物Ａ，Ｂの２値化画像上での形状やサイズ、基準画像（グレースケール画像）上での輝度分布の相関性などに基づいて行なえばよい。そして、それらの対象物Ａ，Ｂが互いに同一であると判定された場合に、時刻ｋ＋１で抽出した対象物Ｂのラベル（ＳＴＥＰ６で付したラベル）が対象物Ａのラベルと同じラベルに変更される。

なお、ＳＴＥＰ１〜９の処理により、本発明における対象物抽出手段が構成される。

次いで、画像処理ユニット１は、前記車速センサ４およびヨーレートセンサ５の出力（車速の検出値およびヨーレートの検出値）を読み込む（ＳＴＥＰ１０）。なお、このＳＴＥＰ１０では、読込んだヨーレートの検出値を積分することにより、自車両１０の回頭角（方位角）の算出も行なわれる。

一方、画像処理ユニット１は、ＳＴＥＰ９，１０の処理と並行して、ＳＴＥＰ１１〜１３の処理を実行する。このＳＴＥＰ１１〜１３の処理は、ＳＴＥＰ７で抽出した各対象物の自車両１０からの距離を求める処理である。その処理を概略的に説明すると、まず、右画像（基準画像）のうち、各対象物に対応する領域（例えば該対象物の外接四角形の領域）を探索画像Ｒ１として抽出する（ＳＴＥＰ１１）。

次いで、左画像中で、右画像の探索画像Ｒ１に含まれる対象物と同じ対象物を探索するための領域である探索領域Ｒ２が左画像に設定され、その探索領域Ｒ２内で、探索画像Ｒ１との相関性が最も高い領域が、探索画像Ｒ１に対応する画像（探索画像Ｒ１と同等の画像）である対応画像Ｒ３として抽出される（ＳＴＥＰ１２）。この場合、左画像の探索領域Ｒ２のうち、右画像の探索画像Ｒ１の輝度分布に最も一致する輝度分布を有する領域が対応画像Ｒ３として抽出される。なお、ＳＴＥＰ１２の処理は、２値化画像ではなく、グレースケール画像を使用して行なわれる。

次いで、右画像における前記探索画像Ｒ１の重心の横方向位置（ｘ方向位置）と、左画像における前記対応画像Ｒ３の重心の横方向位置（ｘ方向位置）との差分の画素数を視差Δｄとして算出し、その視差Δｄを用いて、対象物の自車両１０からの距離ｚ（自車両１０の前後方向における距離）が算出される（ＳＴＥＰ１３）。距離ｚは、次式（１）により算出される。

ｚ＝（ｆ×Ｄ）／（Δｄ×ｐ） ……（１）

なお、ｆは赤外線カメラ２Ｒ，２Ｌの焦点距離、Ｄは赤外線カメラ２Ｒ，２Ｌの基線長（光軸の間隔）、ｐは画素ピッチ（１画素分の長さ）である。

以上がＳＴＥＰ１１〜１３の処理の概要である。なお、ＳＴＥＰ１１〜１３の処理は、前記ＳＴＥＰ７で抽出された各対象物に対して実行される。

前記ＳＴＥＰ１０およびＳＴＥＰ１３の処理の終了後、画像処理ユニット１は、次に、各対象物の実空間上での位置（自車両１０に対する相対位置）である実空間位置を算出する（ＳＴＥＰ１４）。ここで、実空間位置は、図２に示すように、赤外線カメラ２Ｒ，２Ｌの取り付け位置の中点を原点として設定された実空間座標系（ＸＹＺ座標系）での位置（Ｘ，Ｙ，Ｚ）である。実空間座標系のＸ方向およびＹ方向は、それぞれ自車両１０の車幅方向、上下方向であり、これらのＸ方向およびＹ方向は、前記右画像および左画像のｘ方向（横方向）、ｙ方向（縦方向）と同方向である。また、実空間座標系のＺ方向は、自車両１０の前後方向である。そして、対象物の実空間位置（Ｘ，Ｙ，Ｚ）は次式（２）、（３）、（４）により算出される。

Ｘ＝ｘ×ｚ×ｐ／ｆ ……（２）
Ｙ＝ｙ×ｚ×ｐ／ｆ ……（３）
Ｚ＝ｚ ……（４）

なお、ｘ、ｙは基準画像上での対象物のｘ座標、ｙ座標である。

次いで、画像処理ユニット１は、自車両１０の回頭角の変化の影響を補償して、対象物の実空間位置の精度を高めるために、対象物の実空間位置（Ｘ，Ｙ，Ｚ）のうちのＸ方向の位置Ｘを上記式（２）により求めた値から、前記ＳＴＥＰ１０で求めた回頭角の時系列データに応じて補正する（ＳＴＥＰ１５）。これにより、最終的に対象物の実空間位置が求められる。以降の説明では、「対象物の実空間位置」は、この補正を施した対象物の実空間位置を意味する。

次に、画像処理ユニット１は、対象物の自車両１０に対する移動ベクトルを求める（ＳＴＥＰ１６）。具体的には、同一対象物についての実空間位置の、所定期間（現在時刻から所定時間前までの期間）における時系列データを近似する直線を求め、所定時間前の時刻での該直線上の対象物の位置（点）から、現在時刻における該直線上の対象物の位置（点）に向かうベクトルを対象物の移動ベクトルとして求める。この移動ベクトルは、対象物の自車両１０に対する相対速度ベクトルに比例する。

次いで、ＳＴＥＰ１６において、相対移動ベクトルが求められたら、検出した対象物との衝突の可能性を判定する警報判定処理を行う（ＳＴＥＰ１７）。なお、警報判定処理については、詳細を後述する。

そして、画像処理ユニット１は、ＳＴＥＰ１７の警報判定処理において、いずれの対象物も警報発生要件を満たさない（警報発生要件に該当する対象物が存在しない）と判断した場合（ＳＴＥＰ１７の判断結果がＮＯとなる場合）には、前記ＳＴＥＰ１からの処理を再開する。また、ＳＴＥＰ１７で、いずれかの対象物が警報発生要件を満たすと判断した場合（ＳＴＥＰ１７の判断結果がＹＥＳとなる場合）には、ＳＴＥＰ１８に進んで、警報発生要件を満たす対象物に関する実際の警報を行なうべきか否かの判定を行なう警報出力判定処理を実行する（ＳＴＥＰ１８）。この警報出力判定処理では、前記ブレーキセンサ５の出力から、運転者による自車両１０のブレーキ操作がなされていることが確認され、且つ、自車両１０の減速加速度（車速の減少方向の加速度を正とする）が所定の閾値（＞０）よりも大きいときには、警報を行なわないと判定される。また、運転者によるブレーキ操作が行なわれていない場合、あるいは、ブレーキ操作が行なわれていても、自車両１０の減速加速度が所定の閾値以下である場合には、警報を行なうべきと判定される。

そして、画像処理ユニット１は、警報を行なうべきと判定した場合（ＳＴＥＰ１８の判断結果がＹＥＳとなる場合）には、前記スピーカ６を介して音声による警報を発するとともに（ＳＴＥＰ１９）、画像表示装置７の基準画像の中に前記警報発生要件を満たす対象物の画像を強調的に表示する（ＳＴＥＰ２０）。これにより、該対象物に対する運転者の注意が喚起される。なお、運転者に対する警報は、スピーカ６および表示装置７のいずれか一方だけで行なうようにしてもよい。

また、ＳＴＥＰ１８で警報を行なわないと判断したとき（全ての対象物について警報を行なわないと判断したとき）には、ＳＴＥＰ１８の判断結果がＮＯとなり、この場合には、そのままＳＴＥＰ１からの処理が再開される。

以上が本実施形態の周辺監視装置の全体的作動である。

次に、図４に示すフローチャートを参照して、図３に示したフローチャートのＳＴＥＰ１７における警報判定処理についてさらに詳しく説明する。

図４は、本実施の形態の警報判定処理動作を示すフローチャートであり、警報判定処理は、以下に示す衝突判定処理、接近判定領域内か否かの判定処理、進入衝突判定処理、歩行者判定処理、および人工構造物判定処理により、自車両１０と検出した対象物との衝突の可能性を判定する処理である。

まず、画像処理ユニット１は、衝突判定処理を行う（ＳＴＥＰ３１）。衝突判定処理は、対象物が所定時間の間に自車両１０に接近した距離から、自車両１０とのＺ方向の相対速度Ｖｓを求め、両者が相対速度Ｖｓを維持して移動すると仮定して、余裕時間Ｔ（例えば２〜５秒）以内に両者が衝突する可能性があるか否かを判定する処理である。具体的には、自車両１０と対象物との距離が、相対速度Ｖｓと余裕時間Ｔとを乗じた値以下の場合に、衝突の可能性があるものとして判定する。

次に、ＳＴＥＰ３１において、余裕時間Ｔ以内に自車両１０と対象物とが衝突する可能性がある場合（ＳＴＥＰ３１の判断結果がＹＥＳとなる場合）、さらに判定の信頼性を上げるために、画像処理ユニット１は対象物が接近判定領域内に存在するか否かの判定処理を行う（ＳＴＥＰ３２）。接近判定領域内か否かの判定処理は、赤外線カメラ２Ｒ、２Ｌで監視可能な領域内で、自車両１０の車幅の両側に余裕（例えば５０〜１００ｃｍ程度とする）を加えた幅を有する範囲に対応する領域、すなわち対象物がそのまま存在し続ければ自車両１０との衝突の可能性がきわめて高い接近判定領域内に存在するか否かを判定する処理である。

さらに、ＳＴＥＰ３２において、対象物が接近判定領域内に存在しない場合（ＳＴＥＰ３２の判断結果がＮＯとなる場合）、画像処理ユニット１は対象物が接近判定領域内へ進入して自車両１０と衝突する可能性があるか否かを判定する進入衝突判定処理を行う（ＳＴＥＰ３３）。進入衝突判定処理は、カメラの撮像領域内のうち、上述の接近判定領域よりＸ座標の絶対値が大きい（接近判定領域の横方向外側の）領域を進入判定領域と呼び、この領域内にある対象物が、移動することにより接近判定領域に進入すると共に自車両１０と衝突するか否かを判定する処理である。具体的には、接近判定領域に存在している対象物の移動ベクトル（ＳＴＥＰ１６参照）が自車両１０に向かっているときに、衝突する可能性が高いと判定する。

一方、ＳＴＥＰ３２において、対象物が接近判定領域内に存在している場合（ＳＴＥＰ３２の判断結果がＹＥＳとなる場合）、画像処理ユニット１は対象物が歩行者の可能性があるか否かを判定する歩行者判定処理を行う（ＳＴＥＰ３４）。歩行者判定処理は、グレースケール画像上で対象物画像の形状や大きさ、輝度分散等の特徴から、対象物が歩行者か否かを判定する処理である。なお、この歩行者判定処理では、対象物が樹木の場合にも、該樹木が歩行者と判定される場合がある。

次に、ＳＴＥＰ３４において、対象物は歩行者の可能性があると判定された場合（ＳＴＥＰ３４の判断結果がＹＥＳとなる場合）、さらに判定の信頼性を上げるために、対象物が人工構造物であるか否かを判定する人工構造物判定処理を行う（ＳＴＥＰ３５）。人工構造物判定処理は、ＳＴＥＰ３４において歩行者の可能性があると判定された対象物画像に、歩行者にはあり得ない特徴が検出された場合、該対象物を人工構造物と判定し、警報の対象から除外する処理である。人工構造物判定処理は、対象物画像に、例えば下記（ａ）〜（ｅ）に示す条件のように、歩行者にはあり得ない特徴が検出された場合、該対象物を人工構造物と判定し、警報の対象から除外する処理である。詳細については後述するが、下記（ａ）〜（ｅ）のうち（ｅ）の条件が本発明に関連する条件である。
（ａ）対象物の画像に直線エッジを示す部分が含まれる場合。
（ｂ）対象物の画像の角が直角である場合。
（ｃ）対象物の画像に同じ形状のものが複数含まれている場合。
（ｄ）対象物の画像が予め登録された人工構造物の形状と一致する場合。
（ｅ）対象物の画像における複数の高さ位置の幅が所定の関係となる場合。

従って、上述のＳＴＥＰ３３において、対象物が接近判定領域内へ進入して自車両１０と衝突する可能性がある場合（ＳＴＥＰ３３の判断結果がＹＥＳとなる場合）、およびＳＴＥＰ３５において、歩行者の可能性があると判定された対象物が人工構造物でなかった場合（ＳＴＥＰ３５の判断結果がＮＯとなる場合）、画像処理ユニット１は、検出した対象物を警報対象として決定し（ＳＴＥＰ３６）、図３に示すＳＴＥＰ１７の判断結果がＹＥＳの場合としてＳＴＥＰ１８へ進み、警報出力判定処理（ＳＴＥＰ１８）を行う。

一方、上述のＳＴＥＰ３１において、余裕時間Ｔ以内に自車両１０と対象物とが衝突する可能性がない場合（ＳＴＥＰ３１の判断結果がＮＯとなる場合）、あるいはＳＴＥＰ３３において、対象物が接近判定領域内へ進入して自車両１０と衝突する可能性がない場合（ＳＴＥＰ３３の判断結果がＮＯとなる場合）、あるいはＳＴＥＰ３４において、対象物は歩行者の可能性がないと判定された場合（ＳＴＥＰ３４の判断結果がＮＯとなる場合）、さらにはＳＴＥＰ３５において、歩行者の可能性があると判定された対象物が人工構造物であった場合（ＳＴＥＰ３５の判断結果がＹＥＳとなる場合）のいずれかであった場合は、画像処理ユニット１は、検出した対象物は警報対象ではないと判定し（ＳＴＥＰ３７）、図３に示すＳＴＥＰ１７の判断結果がＮＯの場合としてＳＴＥＰ１へ戻り、歩行者等の対象物検出・警報動作を繰り返す。

なお、ＳＴＥＰ１７〜ＳＴＥＰ２０の処理は、本発明の車両周辺監視装置における警報手段に相当するものである。

次に、図５〜７を参照して、本発明に関連する上記条件（ｅ）の処理について、図５に示すフローチャートを参照して説明する。

まず、画像処理ユニット１は、対象物として抽出された各対象物に対し、前記基準画像（グレースケール画像）上で、同一距離となる各対象物又はその部分を包含する外接四角形からなる判定領域ＡＲＥを設定する（ＳＴＥＰ１０１）。すなわち、判定領域ＡＲＥは、それぞれの対象物毎に自車両１０との距離が同一となる対象物又はその部分を算出して、該同一距離部分を包含するように設定される。

例えば、基準画像（グレースケール画像）上に対象物として樹木の幹の部分が映っている場合には、図６（ａ）に示すように、該樹木の同一距離部分である幹の部分を包含するように判定領域ＡＲＥが設定される。また、基準画像（グレースケール画像）上に対象物として歩行者が映っている場合には、図６（ｂ）に示すように、該歩行者全体が同一距離部分として包含されるように判定領域ＡＲＥが設定される。なお、図６（ａ）で、樹木の上部が見えないものとなっている。これは、該樹木が有する葉の影響で、該樹木の幹の部分だけが比較的高輝度な部分として映し出されているためである。また、この例では、該樹木の幹の部分の高さが、一般的な歩行者の高さと同等となっている。

次いで、画像処理ユニット１は、基準画像（グレースケール画像）上で、各判定領域ＡＲＥにおいて上下方向に所定間隔を隔てた複数の高さ位置を幅算出位置ｈ１，ｈ２，ｈ３として設定する（ＳＴＥＰ１０２）。各幅算出位置ｈ１，ｈ２，ｈ３は、各判定領域ＡＲＥの上端又は下端からの間隔が、各判定領域ＡＲＥの上下方向の全長に対して、所定の割合となるような位置に設定される。すなわち、幅算出位置ｈ１，ｈ２，ｈ３は、前記所定の割合となるような位置として、判定領域ＡＲＥに包含される対象物が歩行者である場合に、該歩行者の頭部、胴部および脚部がほぼ存する位置に設定される。

具体的には、図６（ａ）および図６（ｂ）に示す各判定領域ＡＲＥに対して、各判定領域ＡＲＥに包含される対象物が歩行者である場合に、該歩行者の頭部、胴部および脚部が位置すると推定される位置に、それぞれ上部幅算出位置ｈ１，中央部幅算出位置ｈ２および下部幅算出位置ｈ３が設定される。

このとき、幅算出位置ｈ１，ｈ２，ｈ３は、前述したように、各判定領域ＡＲＥの上下方向の全長に対して、所定の割合となるような位置に設定されるため、自車両１０と対象物との距離に関わらず、それぞれ歩行者の頭部、胴部および脚部が位置すると推定される位置に設定することができる。

すなわち、判定領域ＡＲＥに包含される対象物と自車両１０との距離が小さい場合（対象物が自車両１０に接近している場合）には、各判定領域に包含される対象物と自車両１０との距離が大きい場合（対象物が自車両１０に接近していない場合）に比べて、該対象物の画像および判定領域ＡＲＥが大きくなるが、この場合にも、各判定領域ＡＲＥに包含される対象物が歩行者である場合に、該歩行者の頭部、胴部および脚部が位置すると推定される位置に、それぞれ上部幅算出位置ｈ１，中央部幅算出位置ｈ２および下部幅算出位置ｈ３が設定される。一方、各判定領域ＡＲＥに包含される対象物と自車両１０との距離が大きい場合（対象物が自車両１０に接近していない場合）には、判定領域ＡＲＥに包含される対象物と自車両１０との距離が小さい場合（対象物が自車両１０に接近している場合）に比べて、該対象物の画像および判定領域ＡＲＥが小さくなるが、この場合も同様にして、各判定領域ＡＲＥに包含される対象物が歩行者である場合に、該歩行者の頭部、胴部および脚部が位置すると推定される位置に、それぞれ上部幅算出位置ｈ１，中央部幅算出位置ｈ２および下部幅算出位置ｈ３が設定される。

なお、本実施形態では、同一距離となる対象物又はその部分を包含する判定領域ＡＲＥを設定し（ＳＴＥＰ１０１）、各判定領域ＡＲＥの上下方向の全長に対して、所定の割合となるような位置に、幅算出位置ｈ１，ｈ２，ｈ３を設定しているが（ＳＴＥＰ１０２）、対象物の下端からの間隔が、自車両１０と対象物との距離に応じて所定の間隔となる高さ位置に幅算出位置を設定するようにしてもよい。

また、本実施形態では、幅算出位置を、上部幅算出位置ｈ１，中央部幅算出位置ｈ２および下部幅算出位置ｈ３の３つに設定しているが、少なくともこれら３つの位置を含めば、４つ以上の位置を幅算出位置として設定してもよい。

そして、画像処理ユニット１は、基準画像（グレースケール画像）上で、上部幅算出位置ｈ１，中央部幅算出位置ｈ２および下部幅算出位置ｈ３におけるそれぞれの輝度平均値ａｖ１，ａｖ２，ａｖ３を求める（ＳＴＥＰ１０３）。ここで、基準画像は、遠赤外画像であるので、各幅算出位置ｈ１，ｈ２，ｈ３における輝度平均値ａｖ１，ａｖ２，ａｖ３は、各幅算出位置ｈ１，ｈ２，ｈ３に存在する対象物の温度（平均温度）に応じたものとなり、該温度が高いほど、輝度平均値も高くなる。

次いで、画像処理ユニット１は、上記各幅算出位置ｈ１，ｈ２，ｈ３における各輝度平均値ａｖ１，ａｖ２，ａｖ３を所定値として、基準画像（グレースケール画像）上で、該所定値よりも高輝度となる部分の幅Ｈ，Ｂ，Ｌを該対象物の幅として算出する（ＳＴＥＰ１０４）。ここで、輝度平均値ａｖ１，ａｖ２，ａｖ３は、上述のように、各幅算出位置ｈ１，ｈ２，ｈ３に存在する対象物の温度（平均温度）に応じたものとなっているため、各幅算出位置ｈ１，ｈ２，ｈ３の対象物の温度にばらつきがある場合であっても、各幅算出位置ｈ１，ｈ２，ｈ３における対象物の幅を、輝度値が各輝度平均値ａｖ１，ａｖ２，ａｖ３以上となる部分の幅として、一定の確実性をもって算出することができる。

具体的には、図６（ａ）および図６（ｂ）の画像が得られた場合に、上部幅算出位置ｈ１，中央部幅算出位置ｈ２および下部幅算出位置ｈ３における対象物の上部幅Ｈ、中央部幅Ｂおよび下部幅Ｌが、図７（ａ）および図７（ｂ）に示すように、それぞれの輝度平均値ａｖ１，ａｖ２およびａｖ３以上となる高輝度部分の幅として算出される。

なお、本実施形態においては、前記所定値として各幅算出位置ｈ１，ｈ２，ｈ３における各輝度平均値ａｖ１，ａｖ２，ａｖ３を用いたが、これらに限られるものではなく、輝度値の強度分布に基づいて相対的に定まる値であればよい。

また、本実施形態では、輝度平均値を前記所定値として、該所定値よりも高輝度となる部分の幅を該対象物の幅として算出しているが、例えば、該対象物の温度に対して外気温が高く、該対象物が該所定値よりも低輝度部分として検出される場合には、連続する該低輝度部分の幅を該対象物の幅として算出するようにしてもよい。

さらに、本実施形態では、上述のように輝度値に基づいて対象物の幅を算出しているが、それに加えて、または代えて、判定領域ＡＲＥ内の一対の縦エッジを微分フィルタ等により検出し、各幅算出位置ｈ１，ｈ２，ｈ３における縦エッジ間の幅を、該対象物の幅として算出するようにしてもよい。これにより、例えば、外気温が対象物の温度よりも高く、該対象物が前記所定値よりも低輝度部分として検出される場合にも、各幅算出位置ｈ１，ｈ２，ｈ３における該対象物の幅を正確に算出することができる。

次に、画像処理ユニット１は、各判定領域ＡＲＥに対して、幅算出位置ｈ１，ｈ２，ｈ３において算出された各対象物の上部幅Ｈ、中央部幅Ｂ、下部幅Ｌが、次の条件式（５）を満たす場合には、該対象物を歩行者以外の対象物と判定する（ＳＴＥＰ１０５）。

（Ｈ≦Ｂ）かつ（Ｂ≦Ｌ） ……（５）

これは、各幅算出位置ｈ１，ｈ２，ｈ３において算出された各対象物の上部幅Ｈ、中央部幅Ｂ、下部幅Ｌが、上記条件式（５）を満たす場合には、該対象物は、自車両１０周辺に存在する樹木や電柱などの歩行者以外の対象物である可能性が高いことから、該対象物を歩行者以外の対象物と判定するものである。すなわち、各幅算出位置ｈ１，ｈ２，ｈ３において算出された各対象物の上部幅Ｈ、中央部幅Ｂ、下部幅Ｌが、高さ位置が低くなる程、大きくなる場合、若しくは、各高さ位置での幅が互いに同一である場合（上記条件式（５）を満たす場合）には、該対象物が歩行者である場合の幅の特徴を有さず、該対象物は歩行者以外の対象物である可能性が高いことから、該対象物は歩行者以外の対象物と判定される。

なお、上記条件式（５）に代えて、又は、上記条件式（５）に加えて、幅算出位置ｈ１，ｈ２，ｈ３において算出された各対象物の上部幅Ｈ、中央部幅Ｂ、下部幅Ｌが、次の条件式（６）を満たすことを該対象物が歩行者であると判定するための必要条件として、該必要条件が満たされない場合に、該対象物を歩行者以外の対象物と判定するようにしてもよい。

（Ｈ＜Ｂ）かつ（Ｂ＞Ｌ） …（６）

これは、各幅算出位置ｈ１，ｈ２，ｈ３において算出された各対象物の上部幅Ｈ、中央部幅Ｂ、下部幅Ｌが、上記条件式（６）を満たす場合には、該対象物が歩行者である場合に該対象物の上下方向に現れる幅の特徴を有し、該対象物が歩行者である可能性が高い。このことから、上記条件式（６）を該対象物が歩行者であると判定するための必要条件として、該必要条件が満たされない場合に、該対象物を歩行者以外の対象物と判定する歩行者該対象物を歩行者以外の対象物と判定する。すなわち、各幅算出位置ｈ１，ｈ２，ｈ３において算出された各対象物の上部幅Ｈ、中央部幅Ｂ、下部幅Ｌが、上部幅Ｈおよび下部幅Ｌよりも中央部幅Ｂが大きいことを該対象物が歩行者であると判定するための必要条件として、該必要条件が満たされない場合には（上記条件式（６）を満たさない場合）、該対象物が歩行者である場合の幅の特徴を有さないものとして、該対象物は歩行者以外の対象物と判定される。

なお、ＳＴＥＰ１０１〜１０４の処理は、本発明の幅算出手段に相当し、ＳＴＥＰ１０５の処理は、本発明の対象物種別判定手段に相当するものである。

また、本実施形態では、ＳＴＥＰ３５において、上記条件式（６）を満たさない場合に該対象物を歩行者以外の対象物と判定したが、ＳＴＥＰ３４において、上記条件式（６）を満たす場合に該対象物を歩行者であると判定するようにしてもよい。この場合、ＳＴＥＰ３５では、上記条件式（６）に基づく判定を省略することができる。

以上が、本実施形態におけるＳＴＥＰ１７の警報判定処理の詳細である。

かかる警報判定処理により、例えば、図６（ａ）に示すように対象物が樹木の場合には、図６（ａ）の各幅算出位置ｈ１，ｈ２，ｈ３に対して、図７（ａ）に示すように各対象物の上部幅Ｈ、中央部幅Ｂ、下部幅Ｌが算出され、上部幅Ｈ、中央部幅Ｂ、下部幅Ｌが、Ｈ＜Ｂ＜Ｌの関係を有し、上記条件式（５）を満たすことから、該対象物は、歩行者以外の対象物である可能性が高いと判定され、警報手段の警報対象から除外される。これにより、警報手段は、該対象物が歩行者以外の場合に、不要な警報の出力を抑制することができる。一方、図６（ｂ）に示すように対象物が歩行者の場合には、図６（ｂ）の各幅算出位置ｈ１，ｈ２，ｈ３に対して、図７（ｂ）に示すように各対象物の上部幅Ｈ、中央部幅Ｂ、下部幅Ｌが算出され、上部幅Ｈ、中央部幅Ｂ、下部幅Ｌが、Ｈ＜Ｂ＞Ｌの関係を有し、上記条件式（５）を満たさないことから、当該処理では該対象物が歩行者以外の対象物であるとして除外されることはない。

このように、本実施形態の周辺監視装置によれば、赤外線画像の中から抽出された対象物に対して、該対象物の上下方向の複数の高さ位置ｈ１，ｈ２，ｈ３での該対象物の幅Ｈ，Ｂ，Ｌが算出され、算出された該複数の高さ位置ｈ１，ｈ２，ｈ３での該対象物の幅Ｈ，Ｂ，Ｌの特徴に基づいて、該対象物の種別を高い信頼性で区別して判定することができる。

なお、前記実施形態では、２台の赤外線カメラ２Ｒ，２Ｌを備えたが、対象物との距離をレーダーなどにより検出するようにした場合には、１台の赤外線カメラ２Ｒ，２Ｌを自車両１０に搭載するようにしてもよい。

また、対象物の検出は、赤外線カメラ２Ｒ，２Ｌだけでなく、可視光カメラやレーダーを併用して行なうようにしてもよい。

本発明の車両の周辺監視装置の一実施形態の全体構成を示す図。 図１の周辺監視装置を備えた車両の斜視図。 図１の周辺監視装置に備えた画像処理ユニットの処理を示すフローチャート。 図１の周辺監視装置に備えた画像処理ユニットの処理を示すフローチャート。 本実施形態における対象物種別判定処理を示すフローチャート。 本実施形態における撮像画像を例示的に示す図。 画像処理ユニットの処理を説明するための図。

符号の説明

１…画像処理ユニット（対象物抽出手段、幅算出手段、対象物種別判定手段、警報手段）、２Ｒ，２Ｌ…赤外線カメラ（撮像装置）、ＳＴＥＰ１〜９…対象物抽出手段、ＳＴＥＰ１７〜２０…警報手段、ＳＴＥＰ１０１〜１０４…幅算出手段、ＳＴＥＰ１０５…対象物種別判定手段。

Claims (7)

1. 車両に搭載された撮像手段によって得られる画像から、車両の周辺に存在する物体を検出する車両周辺監視装置であって、
   前記画像から対象物を抽出する対象物抽出手段と、
   前記対象物抽出手段により抽出された対象物に対して、該対象物の上下方向に間隔を有する複数の高さ位置での該対象物の幅を算出する幅算出手段と、
   前記幅算出手段により算出された幅に基づいて、前記対象物の種別を判定する対象物種別判定手段と
   を備えることを特徴とする車両周辺監視装置。
2. 前記幅算出手段は、対象物の画像において前記各高さ位置での輝度値が所定値以上となる高輝度部分の幅を該高さ位置での対象物の幅として算出することを特徴とする請求項１記載の車両周辺監視装置。
3. 前記幅算出手段は、対象物の画像において前記各高さ位置での該対象物の一対の縦エッジを検出し、該縦エッジ間の幅を該高さ位置での対象物の幅として算出することを特徴とする請求項１記載の車両周辺監視装置。
4. 前記対象物種別判定手段は、歩行者と歩行者以外の対象物とを区別して該対象物の種別を判定する手段であって、前記幅算出手段により算出された前記各高さ位置での幅が、高さ位置が低くなる程、大きくなる場合、若しくは、各高さ位置での幅が互いに略同一である場合には、該対象物を歩行者以外の対象物と判定することを特徴とする請求項１，２又は３記載の車両周辺監視装置。
5. 前記複数の高さ位置は、少なくとも対象物の上部、中央部および下部の３つの高さ位置を含み、
   前記対象物種別判定手段は、歩行者と歩行者以外の対象物とを区別して該対象物の種別を判定する手段であって、前記幅算出手段により算出された幅のうち、前記対象物の上部の高さ位置での幅および下部の高さ位置での幅よりも中央部の高さ位置での幅が大きい場合に、該対象物を歩行者と判定することを特徴とする請求項１，２又は３記載の車両周辺監視装置。
6. 前記対象物種別判定手段は、前記幅算出手段により算出された幅のうち、前記対象物の上部の高さ位置での幅および下部の高さ位置での幅よりも中央部の高さ位置での幅が大きいことを該対象物が歩行者であると判定するための必要条件として、該必要条件が満たされない場合に、該対象物を歩行者以外の対象物と判定することを特徴とする請求項５記載の車両周辺監視装置。
7. 前記対象物抽出手段により抽出された前記対象物から警報対象を決定し、該警報対象に関する警報を前記車両の運転者に行う警報手段を備え、
   前記警報手段は、前記対象物種別判定手段により前記対象物が歩行者以外の対象物と判定された場合に、該対象物を警報対象から除外することを特徴とする請求項４，５又は６記載の車両周辺監視装置。