JP2007304033A - 車両の周辺監視装置、車両、車両の周辺監視方法、および車両の周辺監視用プログラム - Google Patents

Abstract

【課題】撮像装置の撮像画像から抽出された対象物の種別の判断処理の演算処理負荷を軽減することができる車両の周辺監視装置を提供する。
【解決手段】撮像装置２Ｒ，２Ｌの撮像領域に存在する対象物を検出するミリ波レーダ装置２０を車両１０に備える。ミリ波レーダ装置２０は、送信したミリ波の反射波のうち、所定強度以上の強度を有する反射波を受信し、その反射波に基づき、対象物を検出する。検出される対象物は、人などの生体以外の物体となる。撮像装置２Ｒ，２Ｌの撮像画像からの対象物の抽出結果と、ミリ波レーダ装置２０の検出結果とを基に、対象物の種別を判断する。
【選択図】図１

Description

本発明は撮像装置の撮像画像を用いて車両の周辺を監視する装置、車両および方法と、その車両の周辺監視用のプログラムとに関する。

車両に搭載された撮像装置の撮像画像を基に、車両の周辺を監視する装置として、例えば特許文献１に見られるものが本願出願人により提案されている。

この特許文献１に見られる技術では、２つの赤外線カメラにより、車両の前方を撮像し、その２つの撮像画像のうちの一方の撮像画像から対象物を抽出する。そして、その抽出した対象物の、２つの撮像画像における視差などを基に、対象物の車両に対する実空間位置を検出する。さらに、抽出された対象物の実空間位置やその時系列データにより認識される対象物の移動方向、対象物の種類（人であるか人工構造物であるか）に関する判定を行なって、該対象物を警報の対象とすべきか否か（対象物が車両との接触を回避すべき回避対象であるか否か）を判断し、警報の対象とすべきと判断したときに、運転者に対して、音声や画像による警報を発するようにしている。
特開２００３−０２８４０５７号公報

ところで、赤外線カメラなどの撮像装置の撮像画像から抽出され得る対象物には、人だけでなく、人以外の動物や、他車両、樹木、電柱、自動販売機などの種々様々の物体が含まれる。そして、これらの対象物のうち、特に車両との接触を回避すべき対象物は、人、あるいは人を含む動物（生体）である。

このため、前記特許文献１のものでは、対象物が人（歩行者）である可能性が高いか否かの判定処理を、撮像画像における対象物に関する部分画像（対象物に相当する部分画像）の種々様々の特徴量（輝度分布や形状、サイズなど）に基づいて行なうようにしている。そして、この場合、歩行者でない物体が歩行者である可能性が高いと判定される可能性もあることから、さらに、対象物に関する部分画像の形状があらかじめ定められた人工構造物の登録図形と一致するか否かや、該部分画像が直角な部分や直線状のエッジを有するか否か等の判定処理（対象物に関する部分画像が、歩行者では一般的には有り得ないような特徴を有するか否かの判定処理）を行なうことによって、対象物が人工構造物であるか否かの判定を行なうようにしている。そして、上記の判定処理によっり、対象物が、歩行者である可能性が高く、且つ、人工構造物でないと判定されたときに、対象物が歩行者であるとするようにしている。

このように特許文献１のものでは、対象物が歩行者であると確定的に判定するために、対象物の部分画像の種々様々な特徴量を求め、それ各種類の特徴量に関する判定が行なわれることに加えて、対象物が人工構造物であるか否かの判定も行なわれる。このため、特許文献１のものでは、対象物が歩行者であると確定的に判定するための演算処理の負荷が大きなものとなっており、それを軽減することが望まれていた。

本発明はかかる背景に鑑みてなされたものであり、撮像装置の撮像画像から抽出された対象物の種別の判断処理の演算処理負荷を軽減することができる車両の周辺監視装置、周辺監視方法、および車両を提供することを目的とする。さらに、そのような周辺監視装置の処理をコンピュータに実行させることができる車両の周辺監視用プログラムを提供することを目的とする。

本発明の車両の周辺監視装置は、前記の目的を達成するために、車両に搭載された撮像装置の撮像画像を用いて車両の周辺を監視する車両の周辺監視装置において、前記撮像画像から、前記撮像装置の撮像領域に存在する対象物を抽出する対象物抽出手段と、少なくとも前記撮像装置の撮像領域にミリ波を送信すると共に該ミリ波の反射波を受信し、その受信した所定強度以上の反射波を基に、前記撮像領域に存在する対象物を検出するミリ波レーダ装置と、前記対象物抽出手段による対象物の抽出結果と前記ミリ波レーダ装置による対象物の検出結果とに基づいて、前記撮像領域に存在する対象物の種別を判断する対象物種別判断手段とを備えたことを特徴とする（第１発明）。

ここで、本願発明者等の種々様々の検討によれば、前記ミリ波レーダ装置から前記撮像領域にミリ波を送信した場合、その撮像領域に存在する対象物が人などの生体である場合には、他車両などの人工構造物（より一般的には生体以外の物体）である場合に比べて、該対象物によるミリ波の吸収や散乱が生じやすい。そのため、前記ミリ波レーダ装置により受信されるミリ波の反射波の強度は、該対象物が人などの生体である場合には、人工構造物などの生体以外の物体である場合に比べて比較的顕著に弱くなる。従って、前記所定の強度を適切に設定しておくことで、前記ミリ波レーダ装置は、基本的には、人工構造物などの生体以外の物体は検出し得るが、人などの生体は検出しないものとなる。つまり、前記ミリ波レーダ装置により検出される対象物は、生体ではない可能性が高い。

そこで、第１発明では、前記対象物種別判断手段は、前記対象物抽出手段による対象物の抽出結果と前記ミリ波レーダ装置による対象物の検出結果とに基づいて、前記撮像領域に存在する対象物の種別を判断する。

これにより、前記撮像画像から抽出された対象物の種別を、該撮像画像だけを用いて判断する場合に比べて、少なくとも対象物が生体であるか否かの種別判断を容易に行なうことができる。

その結果、第１発明によれば、撮像装置の撮像画像から抽出された対象物の種別の判断処理（少なくとも生体であるか生体以外の種別であるかを区別して判断する処理）の演算処理負荷を軽減することが可能となる。

かかる第１発明では、前記した如く、生体は、ミリ波レーダ装置により検出されない。ので、前記対象物種別判断手段は、前記対象物抽出手段により抽出された対象物である画像抽出対象物のうち、前記ミリ波レーダ装置により検出されない対象物の種別を生体であると判断する（第２発明）。

この第２発明によれば、前記撮像画像における対象物の画像の輝度分布や形状、サイズなどの特徴量を求めたりすることなく、簡易に、種別が生体である対象物を認識できる。

また、前記対象物種別判断手段は、前記対象物抽出手段により抽出された対象物である画像抽出対象物から、前記ミリ波レーダ装置により検出された対象物であるレーダ検出対象物を除外してなる対象物を生体種別判断対象物として選択し、その選択した生体種別判断対象物が少なくとも人を含む所定種類の生体であるか否かを判断するようにしてもよい。（第３発明）。

すなわち、対象物種別判断手段により、対象物の種別が、少なくとも人を含む所定種類の生体であるか否かを判断する場合において、前記画像抽出対象物のうち、前記レーダ検出対象物は生体でないので、該レーダ検出対象物については、前記所定種類の生体であるか否かの判断を行なう必要が無い。そこで、対象物種別判断手段は、前記画像抽出対象物からレーダ検出対象物を除外してなる対象物を前記生体種別判断対象物として選択する。そして、この選択した生体種別判断対象物が、前記所定種類の生体であるか否かの判断を行なう。この場合、生体であるか、もしくはその可能性が高い画像抽出対象物についてのみ、該画像抽出対象物が前記所定種類の生体であるか否かの判定が行なわれることとなる。このため、特に画像抽出対象物が複数抽出された場合に、全ての画像抽出対象物に対して、それが所定種類の生体であるか否かの判定を行なわずに済む場合が多くなる。また、生体種別判断対象物は、生体であるか、もしくはその可能性が高いので、該生体種別判断対象物が、所定種類の生体であるか否かの判断に際して、該生体種別判断対象物が、人工構造物でないことを確認する場合であっても、その確認のための処理負荷を軽減することができる。

その結果、第３発明によれば、撮像装置の撮像画像から抽出された対象物が人などの生体であるか否かを判断する処理の演算処理負荷を軽減することができる。

かかる第３発明では、前記ミリ波レーダ装置が、前記撮像領域に存在する対象物の前記車両に対する方位を検出可能なレーダ装置であるときには、前記対象物種別判断手段は、少なくとも前記画像抽出対象物の前記撮像画像上での位置と、前記ミリ波レーダ装置により検出された前記レーダ検出対象物の方位とに基づいて、前記画像抽出対象物から前記生体種別判断対象物を選択すればよい（第４発明）。

すなわち、ミリ波レーダ装置により検出された前記レーダ検出対象物の方位（車両に対する方位）と、前記撮像画像上での画像抽出対象物の位置とを基に、該撮像画像上でのレーダ検出対象物の位置と画像抽出対象物の位置との関係（該位置が互いにほぼ同じであるか否かなどの関係）、あるいは、車両に対するレーダ対象物の方位と画像抽出物の車両に対する方位との関係（該方位が互いにほぼ同じであるか否かなどの関係）を特定できる。ひいては、レーダ検出対象物と画像抽出対象物との対応関係（両者が同一か否かの関係）を特定できる。このため、画像抽出対象物から、レーダ検出対象物を適切に除外して、前記生体種別判断対象物を選択することができる。例えば、画像抽出対象物のうち、前記撮像画像上でのレーダ検出対象物の位置とほぼ同じ位置に存する画像抽出対象物（これは車両に対する方位が、レーダ検出対象物の方位とほぼ同じになる画像抽出対象物である）は、レーダ検出物と同一の物体である可能性が高いので、前記生体種別判断対象物から除外し、それ以外の画像抽出対象物を前記生体種別判断対象物として選択するようにすればよい。従って、画像抽出対象物から、生体であるか、もしくはその可能性が高い対象物を生体種別判断対象物として適切に選択することが可能となる。

あるいは、より好ましくは、前記ミリ波レーダ装置が、前記撮像領域に存在する対象物の前記車両からの距離と該車両に対する方位とを検出可能なレーダ装置であるときには、前記撮像装置が２つ備えられると共に、該２つの撮像装置から得られる２つの撮像画像における前記画像抽出対象物の視差に基づいて該画像抽出対象物の前記車両からの距離を検出する距離検出手段が備えられ、前記対象物種別判断手段は、少なくとも前記画像抽出対象物の、前記２つの撮像画像のいずれか一方の撮像画像上での位置と、前記距離検出手段により検出された該画像抽出対象物の距離と、前記ミリ波レーダ装置により検出された前記レーダ検出対象物の距離および方位とに基づいて、前記画像抽出対象物から前記生体種別判断対象物を選択するようにしてもよい。（第５発明）。

この第５発明によれば、ミリ波レーダ装置により検出された前記レーダ検出対象物の方位（車両に対する方位）と、前記撮像画像上での画像抽出対象物の位置とを基に、該撮像画像上でのレーダ検出対象物の位置と画像抽出対象物の位置との関係、あるいは、車両に対するレーダ対象物の方位と画像抽出物の車両に対する方位との関係を特定できるだけでなく、前記距離検出手段により検出された距離とミリ波レーダ装置により検出された距離とを基に、レーダ検出対象物の車両からの距離と、画像抽出対象物の車両からの距離との関係（該距離が互いにほぼ同じであるか否かなどの関係）も特定できる。ひいては、レーダ検出対象物と画像抽出対象物との対応関係（両者が同一か否かの関係）をより高い確度で特定できる。このため、画像抽出対象物から、レーダ検出対象物をより適切に除外して、前記生体種別判断対象物を選択することができる。例えば、画像抽出対象物のうち、前記撮像画像上でのレーダ検出対象物の位置とほぼ同じ位置に存し、且つ、車両からの距離がほぼ同一となる画像抽出対象物（これは車両に対する方位および距離が、それぞれレーダ検出対象物の方位および距離とほぼ同じになる画像抽出対象物である）は、レーダ検出物と同一の物体である可能性が高いので、前記生体種別判断対象物から除外し、それ以外の画像抽出対象物を前記生体種別判断対象物として選択するようにすればよい。従って、画像抽出対象物から、生体であるか、もしくはその可能性が高い対象物を生体種別判断対象物として、より適切に選択することが可能となる。

以上説明した本発明（第１〜第５発明）では、少なくとも前記対象物種別判断手段の判断結果を基に、前記画像抽出対象物が前記車両との接触を回避すべき回避対象であるか否かを判定する回避対象判定手段と、少なくとも該回避対象判定手段の判定結果に応じて車両に搭載された所定の機器を制御する車両機器制御手段とを備えることが好適である（第６発明）。

これによれば、人などの生体を回避対象に含ませて、該回避対象が所定の要件を満たす場合（例えば車両との接触の可能性が高い場合）などに、該回避対象と車両との接触を回避し得るように、もしくは回避しやすくなるように、車両の機器を制御することが可能となる。なお、前記車両の所定の機器としては、回避対象の対象物に対する運転者の注意を喚起する情報（例えば、視覚的な情報や聴覚的な情報）を出力可能な機器（ディスプレイやスピーカなど）、あるいは、車両の走行挙動を操作可能な機器（例えばステアリング装置、ブレーキ装置、アクセル装置のアクチュエータ）、あるいは、それらの両者の機器などが挙げられる。

また、本発明の車両は、前記した本発明の車両の周辺監視装置を搭載したことを特徴とする（第５発明）。

この第５発明の車両によれば、本発明の車両の周辺監視装置と同等の効果を奏する車両を実現できる。

また、本発明の車両の周辺監視方法は、車両に搭載された撮像装置の撮像画像を用いて車両の周辺を監視する車両の周辺監視方法において、前記撮像画像から、前記撮像装置の撮像領域に存在する対象物を抽出する対象物抽出ステップと、前記車両に搭載されたミリ波レーダ装置により、少なくとも前記撮像装置の撮像領域にミリ波を送信すると共に該ミリ波の反射波を受信して、その受信した所定強度以上の反射波を基に、前記撮像領域に存在する対象物を検出するミリ波レーダ検出ステップと、前記対象物抽出ステップによる対象物の抽出結果と前記ミリ波レーダ検出ステップによる対象物の検出結果とに基づいて、前記撮像領域に存在する対象物の種別を判断する対象物種別判断ステップとを備えたことを特徴とする（第８発明）。

この第８発明によれば、前記対象物抽出ステップによる対象物の抽出結果と前記ミリ波レーダ検出ステップによる対象物の検出結果とに基づいて、前記撮像領域に存在する対象物の種別を判断するので、前記本発明の車両の周辺監視装置と同様に、撮像画像から抽出された対象物の種別を、該撮像画像だけを用いて判断する場合に比べて、少なくとも対象物が生体であるか否かの種別判断を容易に行なうことができる。その結果、第６発明によれば、撮像装置の撮像画像から抽出された対象物の種別の判断処理（少なくとも生体であるか生体以外の種別であるかを区別して判断する処理）の演算処理負荷を軽減することが可能となる。

また、本発明の車両の周辺監視用プログラムは、車両に搭載された撮像装置の撮像画像を用いて該車両の周辺を監視するための処理をコンピュータに実行させる機能を有する車両の周辺監視用プログラムであって、前記撮像画像から、前記撮像装置の撮像領域に存在する対象物を抽出する処理と、少なくとも前記撮像装置の撮像領域にミリ波を送信すると共に該ミリ波の反射波を受信して、その受信した所定強度以上の反射波を基に、前記撮像領域に存在する対象物を検出するミリ波レーダ装置の検出データを取得する処理と、前記撮像画像からの対象物の抽出処理により得られたデータ（該対象物の画像データなど）と、前記ミリ波レーダ装置の検出データ（ミリ波レーダ装置により検出された対象物の距離、方位などのデータ）とに基づいて前記撮像領域に存在する対象物の種別を判断する処理とをコンピュータに実行させる機能を備えることを特徴とする（第９発明）。

この第９発明のプログラムによれば、前記第１発明に関して説明した効果を奏し得る処理をコンピュータに実行させることができる。

本発明の一実施形態を図１〜図８を参照して説明する。

まず、図１および図２を参照して、本実施形態の車両の周辺監視装置のシステム構成を説明する。図１は該周辺監視装置の全体構成を示すブロック図、図２は該周辺監視装置を搭載した車両の外観を示す斜視図である。なお、図２では、周辺監視装置の一部の構成要素の図示を省略している。

図１および図２を参照して、本実施形態の周辺監視装置は、画像処理ユニット１を備える。この画像処理ユニット１には、車両１の前方の画像を撮像する撮像装置としての２つの赤外線カメラ２Ｒ，２Ｌと、ミリ波レーダ装置２０とが接続されると共に、車両１０の走行状態を検出するセンサとして、車両１０のヨーレートを検出するヨーレートセンサ３と、車両１０の走行速度（車速）を検出する車速センサ４と、車両１０のブレーキ操作（詳しくはブレーキペダルが操作されているか否か）を検出するブレーキセンサ５とが接続されている。さらに、画像処理ユニット１には、音声などによる聴覚的な注意喚起情報を出力するためのスピーカ６と、前記赤外線カメラ２Ｒ，２Ｌにより撮像された画像や視覚的な注意喚起情報を表示するための表示装置７とが接続されている。

画像処理ユニット１は、詳細な図示は省略するが、Ａ／Ｄ変換回路、マイクロコンピュータ（ＣＰＵ、ＲＡＭ、ＲＯＭ）、画像メモリなどを含む電子回路により構成され、前記赤外線カメラ２Ｒ，２Ｌ、ヨーレートセンサ３、車速センサ４およびブレーキセンサ５の出力（アナログ信号）がＡ／Ｄ変換回路を介してデジタル化されて入力されると共に、ミリ波レーダ装置２０の検出データも入力される。そして、画像処理ユニット１は、入力されたデータを基に、人（歩行者）などの対象物を検出する処理や、その検出した対象物が車両との接触を回避すべき回避対象であるか否かを判定する処理、回避対象と判定された対象物に対する運転者の注意を喚起する処理などをマイクロコンピュータにより実行する。これらの処理は、マイクロコンピュータのＲＯＭにあらかじめ実装されたプログラムを該マイクロコンピュータにより実行することにより実現され、そのプログラムは、本発明の車両の周辺監視用プログラムを含んでいる。

なお、画像処理ユニット１は、上記プログラムにより実現される機能として、本発明における対象物抽出手段、対象物種別判断手段、距離検出手段、回避対象判定手段、車両機器制御手段を含んでいる。

図２に示すように、前記赤外線カメラ２Ｒ，２Ｌは、車両１０の前方を撮像するために、車両１０の前部（図ではフロントグリルの部分）に取り付けられている。この場合、赤外線カメラ２Ｒ，２Ｌは、それぞれ、車両１０の車幅方向の中心よりも右寄りの位置、左寄りの位置に配置されている。そして、該赤外線カメラ２Ｒ，２Ｌは、それらの光軸が互いに平行に車両１０の前後方向に延在し、且つ、それぞれの光軸の路面からの高さが互いに等しくなるように車両１０の前部に固定されている。なお、各赤外線カメラ２Ｒ，２Ｌは、遠赤外域に感度を有する撮像装置であり、それにより撮像される物体の温度が高いほど、その物体の画像の出力信号のレベルが高くなる（該物体の画像の輝度が高くなる）特性を有している。

また、前記表示装置７は、本実施形態では、例えば車両１０のフロントウィンドウに画像などの情報を表示するヘッド・アップ・ディスプレイ７ａ（以下、ＨＵＤ７ａという）を備えている。なお、表示装置７は、ＨＵＤ７ａの代わりに、もしくは、ＨＵＤ７ａと共に、自車両１０の車速などの走行状態を表示するメータに一体的に設けられたディスプレイ、あるいは、車載ナビゲーション装置に備えられたディスプレイを含んでもよい。

また、前記ミリ波レーダ装置２０は、車両１０の前部で、赤外線カメラ２Ｒ，２Ｌの上側に取り付けられている。該ミリ波レーダ装置２０は、公知のもので良いので本明細書での詳細な構成の説明は省略するが、ミリ波のビームを車両１０の前方に送信し、このミリ波の反射波（車両１０の前方に存在する物体で反射されたミリ波）を受信する。そして、その受信した反射波を基に、車両１０の前方に存在する対象物を検出する。

図３は、ミリ波レーダ装置２０が送信するミリ波のビームを平面視で示している。同図３を参照して、本実施形態におけるミリ波レーダ装置２０は、走査型のレーダ装置であり、図示のように、車両１０の前方に送信するミリ波のビームＢＭを車両１０の左右方向に走査する（ビームＢＭの方位角を一定角度づつ、車両１０の左右方向に動かす）。なお、送信するミリ波のビームＢＭの強度は所定の一定強度である。

ここで、図３に示すラインＬ１，Ｌ２は、赤外線カメラ２Ｒ，２Ｌの視野角（水平方向の視野角）の境界線を示しており、これらのラインＬ１，Ｌ２の間の領域が赤外線カメラ２Ｒ，２Ｌの撮像領域である。そして、ビームＢＭの幅は、撮像領域よりも小さいが、その走査範囲はこの撮像領域を含むように設定されている。なお、ビームＢＭの上下方向の幅は、赤外線カメラ２Ｒ，２Ｌの上下方向の視野角の範囲を含むように設定されている。

そして、ミリ波レーダ装置２０は、ビームＢＭを走査しながら（ビームＢＭの方位角を一定角度ずつ動かしながら）、各方位角へのビームＢＭの送信時に、上下方向に配列された図示しない複数の受信アンテナでミリ波の反射波を受信し、その受信した反射波のうちの所定の強度以上の反射波を基に、ビームＢＭの送信方向に存在する対象物を検出する。この場合、ミリ波レーダ装置２０は、送信波（送信したミリ波）と受信波（受信したミリ波）との時間差を基に、ミリ波を反射した対象物の車両１０からの距離を検出し、また、反射波を受信したときのビームＢＭの方位角を基に、対象物の車両１０に対する方位角を検出する。なお、ミリ波レーダ装置２０による、対象物の距離や方位角の検出手法の詳細は公知であるので、本明細書での詳細な説明は省略する。

ここで、一般に、ミリ波のビームＢＭの送信方向に存在する対象物が人などの生体である場合には、該対象物が他車両などの人工構造物である場合に比べて、受信される反射波の強度は小さくなる。従って、該反射波に関する前記所定の強度を適切に設定しておくことで、人などの生体は、ミリ波レーダ装置２０で検出されず、他車両などの人工構造物がミリ波レーダ装置２０で検出されることとなる。本実施形態では、ミリ波の反射波に関する前記所定の強度を、このように設定しておくことにより、人などの生体が、基本的には、ミリ波レーダ装置２０で検出されないようになっている。なお、当該所定の強度は、あらかじめ実験的に定められている。

ミリ波レーダ装置２０は、上記の如く検出した対象物の車両１０からの距離を示すデータと、該対象物の方位角を示すデータとを画像処理ユニット１に出力する。

次に、本実施形態の周辺監視装置の全体的動作を図４および図５のフローチャートを参照して説明する。なお、図４および図５のフローチャートの処理のうちの、前記特許文献１に記載されている処理と同じ処理については、本明細書での詳細な説明は省略する。補足すると、図４および図５のフローチャートの処理は、画像処理ユニット１のマイクロコンピュータが実行するプログラムにより実現される処理である。

まず、画像処理ユニット１は、赤外線カメラ２Ｒ，２Ｌのそれぞれの出力信号である赤外線画像を取得して（ＳＴＥＰ１）、Ａ／Ｄ変換し（ＳＴＥＰ２）、それぞれの画像を画像メモリに格納する（ＳＴＥＰ３）。これにより、各赤外線カメラ２Ｒ，２Ｌにより撮像された画像が画像処理ユニット１に取り込まれる。以降、赤外線カメラ２Ｒから得られた画像を右画像、赤外線カメラ２Ｌから得られた画像を左画像という。これらの右画像および左画像は、いずれもグレースケール画像である。

次いで、画像処理ユニット１は、前記右画像および左画像のうちの一方を基準画像とし、この基準画像を２値化する（ＳＴＥＰ４）。基準画像は、本実施形態では右画像である。この２値化処理は、基準画像の各画素の輝度値を所定の輝度閾値と比較し、基準画像のうちの、該所定の輝度閾値よりも高い輝度値を有する領域（比較的明るい領域）を「１」（白）とし、該輝度閾値よりも低い輝度値を有する領域（比較的暗い領域）を「０」（黒）とする処理である。以降、この２値化処理により得られる画像（白黒画像）を２値化画像という。そして、この２値化画像のうちの、「１」とされる領域を高輝度領域という。なお、この２値化画像は、グレースケール画像（右画像および左画像）とは別に画像メモリに記憶される。

補足すると、ＳＴＥＰ１〜４の処理は、前記特許文献１の図３のＳ１〜Ｓ４の処理と同じである。

次いで、画像処理ユニット１は、前記２値化画像に対してＳＴＥＰ５〜７の処理を実行し、該２値化画像から対象物（より正確には対象物に対応する画像部分）を抽出する。すなわち、前記２値化画像の高輝度領域を構成する画素群を、基準画像の縦方向（ｙ方向）に１画素分の幅を有して横方向（ｘ方向）延在するラインに分類し、その各ラインを、その位置（基準画像上での２次元位置）の座標と長さ（画素数）とからなるランレングスデータに変換する（ＳＴＥＰ５）。そして、このランレングスデータにより表されるラインのうちの、基準画像の縦方向に重なりを有するライン群のそれぞれにラベル（識別子）を付し（ＳＴＥＰ６）、そのライン群のそれぞれを対象物として抽出する（ＳＴＥＰ７）。

なお、ＳＴＥＰ５〜７の処理により抽出される対象物（画像抽出対象物）には、一般には、人（歩行者）などの生体だけでなく、他車両などの人口構造物なども含まれる。また、同一の物体の複数の局所部分が対象物として抽出される場合もある。

補足すると、ＳＴＥＰ１〜７の処理により、本発明における対象物抽出手段が構成される。

次いで、画像処理ユニット１は、上記の如く抽出した各対象物の重心の位置（基準画像上での位置）と面積と外接四角形の縦横比とを求める（ＳＴＥＰ８）。なお、各対象物の重心の位置は、該対象物に含まれるランレングスデータの各ラインの位置（各ラインの中心位置）の座標に該ラインの長さを乗じたものを、該対象物に含まれるランレングスデータの全てのラインについて加算し、その加算結果を該対象物の面積により除算することにより求められる。また、各対象物の重心の代わりに、該対象物の外接四角形の重心（中心）の位置を求めてもよい。

次いで、画像処理ユニット１は、前記ＳＴＥＰ７で抽出した対象物の時刻間追跡、すなわち、画像処理ユニット１の演算処理周期毎の同一対象物の認識を行なう（ＳＴＥＰ９）。この処理では、ある演算処理周期の時刻（離散系時刻）ｋにおけるＳＴＥＰ７の処理により対象物Ａが抽出され、次の演算処理周期の時刻ｋ＋１におけるＳＴＥＰ７の処理により対象物Ｂが抽出されたとしたとき、それらの対象物Ａ，Ｂの同一性が判定される。この同一性の判定は、例えば、それらの対象物Ａ，Ｂの２値化画像上での形状やサイズ、基準画像（グレースケール画像）上での輝度分布の相関性などに基づいて行なえばよい。そして、それらの対象物Ａ，Ｂが互いに同一であると判定された場合に、時刻ｋ＋１で抽出した対象物Ｂのラベル（ＳＴＥＰ６で付したラベル）が対象物Ａのラベルと同じラベルに変更される。

なお、前記したＳＴＥＰ５〜９の処理は、前記特許文献３の図３のＳ５〜Ｓ９の処理と同じである。

次いで、画像処理ユニット１は、前記車速センサ４およびヨーレートセンサ５の出力（車速の検出値およびヨーレートの検出値）を読み込む（ＳＴＥＰ１０）。なお、このＳＴＥＰ１０では、読込んだヨーレートの検出値を積分することにより、自車両１０の回頭角（方位角）の算出も行なわれる。

一方、画像処理ユニット１は、ＳＴＥＰ９，１０の処理と並行して、ＳＴＥＰ１１〜１３の処理を実行する。このＳＴＥＰ１１〜１３の処理は、ＳＴＥＰ７で抽出した各対象物の自車両１０からの距離を求める処理であり、前記特許文献１の図３のＳ１１〜Ｓ１３の処理と同じである。その処理を概略的に説明すると、まず、右画像（基準画像）のうち、各対象物に対応する領域（例えば該対象物の外接四角形の領域）を探索画像Ｒ１として抽出する（ＳＴＥＰ１１）。

次いで、左画像中で、右画像の探索画像Ｒ１に含まれる対象物と同じ対象物を探索するための領域である探索領域Ｒ２が設定され、その探索領域Ｒ２内で、探索画像Ｒ１との相関性が最も高い領域が、探索画像Ｒ１に対応する画像（探索画像Ｒ１と同等の画像）である対応画像Ｒ３として抽出される（ＳＴＥＰ１２）。この場合、左画像の探索領域Ｒ２のうち、右画像の探索画像Ｒ１の輝度分布に最も一致する輝度分布を有する領域が対応画像Ｒ３として抽出される。なお、ＳＴＥＰ１２の処理は、２値化画像ではなく、グレースケール画像を使用して行なわれる。

次いで、右画像における前記探索画像Ｒ１の重心の横方向位置（ｘ方向位置）と、左画像における前記対応画像Ｒ３の重心の横方向位置（ｘ方向位置）との差分の画素数を視差Δｄとして算出し、その視差Δｄを用いて、対象物の自車両１０からの距離ｚ（自車両１０の前後方向における距離）が算出される（ＳＴＥＰ１３）。距離ｚは、次式（１）により算出される。

ｚ＝（ｆ×Ｄ）／（Δｄ×ｐ） ……（１）

なお、ｆは赤外線カメラ２Ｒ，２Ｌの焦点距離、Ｄは赤外線カメラ２Ｒ，２Ｌの基線長（光軸の間隔）、ｐは画素ピッチ（１画素分の長さ）である。

以上がＳＴＥＰ１１〜１３の処理の概要である。なお、ＳＴＥＰ１１〜１３の処理は、前記ＳＴＥＰ７で抽出された各対象物に対して実行される。補足すると、ＳＴＥＰ１３の処理は、本発明における距離検出手段を構成する処理である。

前記ＳＴＥＰ１０およびＳＴＥＰ１３の処理の終了後、画像処理ユニット１は、次に、各対象物の実空間上での位置（自車両１０に対する相対位置）である実空間位置を算出する（ＳＴＥＰ１４）。ここで、実空間位置は、図２に示すように、赤外線カメラ２Ｒ，２Ｌの取り付け位置の中点を原点として設定された実空間座標系（ＸＹＺ座標系）での位置（Ｘ，Ｙ，Ｚ）である。実空間座標系のＸ方向およびＹ方向は、それぞれ自車両１０の車幅方向、上下方向であり、これらのＸ方向およびＹ方向は、前記右画像および左画像のｘ方向（横方向）、ｙ方向（縦方向）と同方向である。また、実空間座標系のＺ方向は、自車両１０の前後方向である。そして、対象物の実空間位置（Ｘ，Ｙ，Ｚ）は次式（２）、（３）、（４）により算出される。

Ｘ＝ｘ×ｚ×ｐ／ｆ ……（２）
Ｙ＝ｙ×ｚ×ｐ／ｆ ……（３）
Ｚ＝ｚ ……（４）

なお、ｘ、ｙは基準画像上での対象物のｘ座標、ｙ座標である。ただし、この場合の座標系は、図示は省略するが、基準画像の中心点の付近に原点を有するｘｙ座標系である。その原点は、前記実空間座標系のＺ軸上に対象物が存在するときに、該対象物の基準画像上でのｘ座標、ｙ座標が共に０となるようにあらかじめ定められた点である。

次いで、画像処理ユニット１は、自車両１０の回頭角の変化の影響を補償して、対象物の実空間位置の精度を高めるために、対象物の実空間位置（Ｘ，Ｙ，Ｚ）のうちのＸ方向の位置Ｘを上記式（２）により求めた値から、前記ＳＴＥＰ１０で求めた回頭角の時系列データに応じて補正する（ＳＴＥＰ１５）。これにより、最終的に対象物の実空間位置が求められる。以降の説明では、「対象物の実空間位置」は、この補正を施した対象物の実空間位置を意味する。なお、対象物の実空間位置は、所定の演算処理周期で逐次算出される。

次に、画像処理ユニット１は、対象物の車両１０に対する移動ベクトルを求める（ＳＴＥＰ１６）。具体的には、同一対象物についての実空間位置の、所定期間（現在時刻から所定時間前までの期間。以下、モニタ期間という）における時系列データを近似する直線を求め、所定時間前の時刻での該直線上の対象物の位置（点）から、現在時刻における該直線上の対象物の位置（点）に向かうベクトルを対象物の移動ベクトルとして求める。この移動ベクトルは、対象物の車両１０に対する相対速度ベクトルに比例する。なお、ＳＴＥＰ１４〜１６の処理は、前記特許文献１の図３のＳ１４〜Ｓ１６の処理と同じである。

次に、画像処理ユニット１は、前記ＳＴＥＰ７で抽出された各対象物が、車両１０との接触を回避すべき回避対象であるか否かを判定する回避対象判定処理を実行する（ＳＴＥＰ１７）。この回避対象判定処理では、前記ミリ波レーダ装置２０の出力データ（検出データ）が使用されるが、これについては詳細を後述する。なお、このＳＴＥＰ１７の回避対象判定処理は、本発明における回避対象判定手段を構成する処理である。

上記ＳＴＥＰ１７の回避対象判定処理で、対象物が回避対象でないと判定された場合（より正確には、全ての対象物が回避対象でないと判定された場合）には、ＳＴＥＰ１７の判定結果がＮＯとなる。この場合には、今回の演算処理周期の処理が終了し、次回の演算処理周期でＳＴＥＰ１からの処理が繰り返される。また、ＳＴＥＰ１７で、対象物が回避対象であると判定された場合（回避対象であると判定された対象物が存在する場合）には、ＳＴＥＰ１７の判定結果がＹＥＳとなる。この場合には、ＳＴＥＰ１８に進んで、画像処理ユニット１は、回避対象であると判定された対象物に対する車両１０の運転者の注意を喚起すべきか否かの判定を行なう注意喚起出力判定処理を実行する。この注意喚起出力判定処理では、前記ブレーキセンサ５の出力から、運転者による車両１０のブレーキ操作がなされていることが確認され、且つ、車両１０の減速加速度（車速の減少方向の加速度を正とする）が所定の閾値（＞０）よりも大きいときには、注意喚起を行なわないと判定される。また、運転者によるブレーキ操作が行なわれていない場合、あるいは、ブレーキ操作が行なわれていても、車両１０の減速加速度が所定の閾値以下である場合には、注意喚起を行なうべきと判定される。

そして、画像処理ユニット１は、注意喚起を行なうべきと判定した場合（ＳＴＥＰ１８の判断結果がＹＥＳとなる場合）には、前記スピーカ６と表示装置７とによる注意喚起を車両１０の運転者に対して発する注意喚起処理を実行する（ＳＴＥＰ１９）。そして、この注意喚起処理の後、今回の演算処理周期の処理が終了して、次回の演算処理周期でＳＴＥＰ１からの処理が再開される。上記注意喚起処理では、例えば表示装置７に前記基準画像を表示すると共に、その基準画像中の、回避対象の対象物の画像を強調的に表示する。さらに、そのような対象物が存在することをスピーカ６から運転者に音声案内する。これにより、該対象物に対する運転者の注意が喚起される。なお、運転者に対する注意喚起は、スピーカ６および表示装置７のいずれか一方だけで行なうようにしてもよい。

また、ＳＴＥＰ１８で注意喚起を行なわないと判断したとき（全ての回避対象の対象物について注意喚起を行なわないと判断したとき）には、ＳＴＥＰ１８の判断結果がＮＯとなり、この場合には、そのまま今回の演算処理周期の処理が終了して、次回の演算処理周期でＳＴＥＰ１からの処理が再開される。

補足すると、本実施形態では、前記表示装置７およびスピーカ６が本発明における所定の機器に相当する。また、車両１０が車両のステアリング装置、ブレーキ装置、アクセル装置のいずれかをアクチュエータによって操作可能（ひいては車両１０の走行挙動を操作可能）なものである場合には、ＳＴＥＰ１７で回避対象であると判定された対象物との接触を回避するように、もしくは、回避が容易になるように車両１０のステアリング装置、ブレーキ装置、アクセル装置を制御するようにしてもよい。例えば、運転者によるアクセルペダルの必要踏力が、回避対象の対象物が存在しない場合（通常の場合）よりも大きくなるようにアクセル装置を制御して加速しにくくする。あるいは、回避対象と車両１０との接触を回避するために要求されるステアリング装置の操舵方向側へのステアリングハンドルの要求回転力を、反対側へのステアリングハンドルの要求回転力よりも低くして、当該操舵方向側へのステアリングハンドルの操作を容易に行い得るようにする。あるいは、ブレーキ装置のブレーキペダルの踏み込み量に応じた車両１０の制動力の増加速度を、通常の場合よりも高くする。このようにすることで、回避対象との接触を避けるための車両１０の運転が容易になる。

なお、このように車両１０のステアリング装置や、アクセル装置、ブレーキ装置を制御する場合、これらの装置が本発明における所定の機器に相当するものとなる。また、上記のようなステアリング装置の制御と、前記表示装置７もしくはスピーカ６による注意喚起とは、並行して行なうようにしてもよい。

以上が本実施形態の周辺監視装置の全体的作動である。なお、前記ミリ波レーダ装置２０による対象物の検出処理（対象物の車両１０からの距離および方位角の検出処理を含む）は、上記した画像処理ユニット１の各演算処理周期の処理と並行して逐次実行され、該検出処理により得られたデータがＳＴＥＰ１７の処理で使用される。

補足すると、前記ＳＴＥＰ１８，１９の処理は、本発明における車両機器制御手段を構成する処理である。

次に、説明を後回しにしたＳＴＥＰ１７の回避対象判定処理を図６〜図８を参照して詳細に説明する。図６はＳＴＥＰ１７の処理を示すフローチャート、図７は図６の処理で使用する領域を説明するための図、図８は基準画像の例を模式的に示す図である。なお、以降の説明では、図７に示すように車両１０の正面前方に他車両３０が前方に向かって走行しており、また、他車両３０の後方で、図７の斜線付きの丸で示す人Ｐ１が車両１０の左斜め前方から道路側に飛び出してきた状況を、適宜、例に採って説明する。

図６を参照して、ＳＴＥＰ１７の回避対象判定処理では、まず、対象物の実空間位置に関する第１の判定処理としての第１対象物位置判定処理が実行される（ＳＴＥＰ３１）。この第１対象物位置判定処理は、車両１０と対象物との接触を車両１０の操舵やブレーキ操作によって余裕をもって回避し得るか否かを判定するための処理である。具体的には、該第１対象物位置判定処理では、赤外線カメラ２Ｒ，２Ｌの撮像領域（赤外線カメラ２Ｒ，２Ｌの視野角内領域）のうち、車両１０からのＺ方向の距離（車両１０の前後方向の距離）が、所定値以下となる領域（以下、第１領域ＡＲ１という）に対象物の現在の実空間位置（実空間位置の今回値）が存在するか否かが判定される。

この場合、車両１０からの距離に関する所定値は、前記ＳＴＥＰ４で抽出された対象物毎に設定される。具体的には、前記ＳＴＥＰ１６で移動ベクトルを求めるための前記モニタ期間の時間で、該移動ベクトルのＺ方向成分を除算することにより、該モニタ期間での対象物の平均速度Ｖz（車両１０の前後方向での対象物の相対速度の平均値Ｖz）が求められ、この平均速度Ｖzに所定の定数Ｔ（時間の次元の定数）を乗じてなる値Ｖz・Ｔが前記第１領域の、Ｚ方向の境界を規定する上記所定値として設定される。

例えば、図７に示す状況で、人Ｐ１の車両１０に対する平均速度をＶzとすると、第１領域ＡＲ１は、平面視で、図７の三角形ａｂｃの領域となる。なお、線分ａｂを含む直線Ｌ１、線分ａｃを含む直線Ｌ２は、前記図３に関して説明した如く、赤外線カメラ２Ｒ，２Ｌの視野角（水平方向の視野角）の境界線である。

なお、第１領域ＡＲ１は、上下方向では、所定の高さ（例えば車両１０の高さの２倍程度の高さ）を有する領域である。

ＳＴＥＰ３１の第１対象物位置判定処理は、上記の如く各対象物に対応して定まる第１領域ＡＲ１に対象物が存在するか否かを判定する処理であり、対象物の現在の実空間位置のＺ方向位置がＶz・Ｔ以下で、且つ、Ｙ方向位置が所定の高さ以下の位置であるときに、該対象物が第１領域ＡＲ１に存在すると判定される。なお、車両１０の進行方向における対象物の相対速度Ｖzが車両１０から遠ざかる向きの相対速度である場合には、該対象物は第１領域ＡＲ１に存在しないと判定される。

ＳＴＥＰ３１において、対象物が第１領域ＡＲ１内に存在しないと判定された場合（ＳＴＥＰ３１の判定結果がＮＯとなる場合）は、車両１０の操舵やブレーキ操作によって該対象物と車両１０との接触を余裕をもって回避し得る状況である。そして、この場合には、画像処理ユニット１は、ＳＴＥＰ３８において、該対象物が回避対象で無いと判定し、該対象物についての回避対象判定処理を終了する。

一方、ＳＴＥＰ３１において、対象物が第１領域ＡＲ１内に存在すると判定された場合（ＳＴＥＰ３１の判断結果がＹＥＳとなる場合）には、画像処理ユニット１はさらに、対象物の実空間位置に関する第２の判定処理としての第２対象物位置判定処理を実行する（ＳＴＥＰ３２）。この第２対象物位置判定処理は、対象物の実空間位置が現在位置に維持されたとした場合に、車両１０と対象物との接触の可能性が高いか否かを判定するための処理である。具体的には、該第２対象物位置判定処理では、対象物が、図７に示すように車両１０の両側で車両１０の進行方向に延在する（車両１０の車幅中心線Ｌ０と平行に延在する）ように設定された一対の境界線Ｌ３，Ｌ４の間の領域ＡＲ２（以下、第２領域ＡＲ２という）に存在するか否かが判定される。

この場合、第２領域ＡＲ２の左右の境界線Ｌ３，Ｌ４は、それらの間隔をＷとしたとき、図７に示すように、車両１０の車幅中心線Ｌ０から左右に同じ間隔Ｗ／２を有する位置に設定される。そして、境界線Ｌ３，Ｌ４の間隔Ｗは、車両１０の車幅αよりも若干広い間隔に設定される。なお、対象物が第２領域ＡＲ２に存在するか否かは、対象物の現在の実空間位置のＸ方向成分の値が、境界線Ｌ３のＸ方向位置と境界線Ｌ４のＸ方向位置との間の値であるか否によって判定される。

補足すると、第２領域ＡＲ２の幅Ｗは、車両１０の走行環境（車両１０の車速や、前走車との車間距離など）に応じて変化させるようにしてもよい。

ＳＴＥＰ３２において、対象物の実空間位置が第２領域ＡＲ２に存在すると判定された場合（ＳＴＥＰ３２の判定結果がＹＥＳとなる場合）は、対象物が現在の実空間位置に留まったとした場合に、該対象物が車両１０と接触する可能性が高い。そして、この場合には、本実施形態では、対象物が歩行者（人）であることを要件として、該対象物が回避対象であると判定する。

そこで、ＳＴＥＰ３２の判定結果がＹＥＳとなる場合には、画像処理ユニット１は、対象物の種別判定を行なうために、まず、ミリ波レーダ装置２０の出力データを読み込む（ＳＴＥＰ３３）。この場合、読み込まれる出力データは、ミリ波レーダ装置２０で検出された対象物（これは、本発明におけるレーダ検出対象物に相当する。以下、レーダ検出物という）の車両１０からの距離と、車両１０に対する方位角との検出データである。なお、レーダ検出物は、各ビームＢＭに対応して検出された、車両１０の前方の物体である。

次いで、画像処理ユニット１は、レーダ検出物をグループ化する（ＳＴＥＰ３４）。具体的には、互いに隣り合うビームＢＭに対応してそれぞれ検出されたレーダ検出物のうち、車両１０からの距離がほぼ同じとなるものを、同一のレーダ検出物とみなし、それを１つのグループのレーダ検出物とする。例えば、前記図７の状況では、他車両３０が、互いに隣り合う２つもしくは３つ以上のビームＢＭのそれぞれに対応して、レーダ検出物として検出される。そして、この場合、それらの各ビームＢＭに対応して検出される該他車両３０のレーダ検出物の車両１０からの距離はほぼ同一となるので、該レーダ検出物の組が１つのグループにまとめられる。

補足すると、図７の状況では、人Ｐ１は、ミリ波レーダ装置２０により検出されない。また、各ビームＢＭの方位角方向に車両１０からの距離が異なる複数の対象物が上下方向に位置をずらして存在し、それらが人などの生体でない人工構造物（生体でない物体）である場合には、それらの対象物が各別にミリ波レーダ装置２０により検出される。

次いで、ＳＴＥＰ３５に進んで、画像処理ユニット１は、歩行者判定対象選択処理を実行する。この歩行者判定対象選択処理は、前記ＳＴＥＰ４で抽出された対象物が、レーダ検出物であるか否か（ミリ波レーダ装置２０でも検出された対象物と同じ物体であるか否か）を判定し、レーダ検出物でない対象物をＳＴＥＰ３６の歩行者判定処理の判定対象（これは本発明における生体種別判断対象物に相当する）として選択すると共に、レーダ検出物である対象物を該歩行者判定処理の判定対象から除外するための処理である。

該歩行者判定対象選択処理は、具体的には次のように行なわれる。すなわち、まず、前記ＳＴＥＰ３４で同一のグループにまとめられたレーダ検出物の組（以下、同一レーダ検出物群という）の方位角と車両１０からの距離とを基に、ミリ波レーダ装置２０のビームＢＭの送信部あるいは受信アンテナに対して固定された実空間座標系（図示省略）での同一レーダ検出物群の存在範囲（以下、空間存在範囲という）を設定する。この場合、ミリ波レーダ装置２０の方位角や距離の検出の分解能を考慮して、同一レーダ検出物群の全体を包含するように該同一レーダ検出物群の空間存在範囲を設定する。そして、この空間存在範囲を、ミリ波レーダ装置２０の実空間座標系（図示省略）と、赤外線カメラ２Ｒ，２Ｌに係わる前記実空間座標系（前記図２に示したＸＹＺ座標系）との位置関係と、前記式（２）、（３）、（４）とに基づき、基準画像上（右画像上）での同一レーダ検出物群の存在範囲（以下、画像存在範囲という）に変換する。

この場合、例えば前記図７の状況では、基準画像（右画像）には、図８に示すように、他車両３０と人Ｐ１とが捉えられている。なお、図８において、他車両３０のうちの実線で示す部分Ｔ１〜Ｔ５は、該他車両３０の高輝度領域、人Ｐ１のうちの実線で示す部分Ｔ６は、人Ｐ１の高輝度領域であり、前記ＳＴＥＰ４で対象物として抽出される部分である。Ｔ１，Ｔ２は、他車両３０の左右のテールライトに相当する部分、Ｔ３，Ｔ４は他車両３０の左右の後輪に相当する部分、Ｔ３は他車両３の排気管の箇所に相当する部分、Ｔ６は人Ｐ１の頭部付近の部分である。また、該他車両３０の破線部分がグレースケール画像で現れる他車量３０の全体的な輪郭である。人Ｐ１の破線部分も同様である。

そして、図７の状況では、例えば図８の仮想線３０Ａで示す領域が、同一レーダ検出物群としての他車両３０に係わる画像存在範囲として得られる。

さらに、画像処理ユニット１は、各対象物（前記ＳＴＥＰ３２の判定結果がＹＥＳとなった各対象物）のうち、基準画像上での該対象物の画像の全体もしくは大部分（対象物の画像の総面積の所定割合以上の部分）がいずれかの同一レーダ検出物群の画像存在範囲に含まれ、且つ、該対象物の車両１０からの距離（前記ＳＴＥＰ１３で視差から算出された距離）が、該対象物の画像を含む同一レーダ検出物の距離とほぼ同じになる（それらの距離の差の絶対値が所定の閾値以下となる）という要件（以下、除外要件という）を満たす対象物を、レーダ検出物であると判定する。そして、該除外要件を満たさない対象物を、レーダ検出物でないと判定する。この場合、人などの生体は、前記ＳＴＥＰ４で対象物として抽出されるが、ミリ波レーダ装置２０では基本的には検出されないので、上記除外要件を満たさず、レーダ検出物でないと判定される。また、他車両などの人工構造物（生体でない物体）は、ミリ波レーダ装置２０により検出されるため、前記ＳＴＥＰ４で対象物として抽出される人工構造物（生体でない物体）は、前記除外要件を満たし、レーダ検出物であると判定される。

例えば図７の状況において、基準画像上で他車両３０を構成する対象物Ｔ１〜Ｔ５は、その大部分が該他車両３０に関する前記画像存在範囲３０Ａに含まれ、且つ、車両１０からの距離（前記ＳＴＥＰ１３で視差から算出された距離）が、ミリ波レーダ装置２０により検出された距離とほぼ同じになるので、前記除外要件を満たす。従って、該他車両３０を構成する対象物Ｔ１〜Ｔ５は、レーダ検出物であると判定される。

一方、基準画像上で人Ｐ１を構成する対象物Ｔ６は、その大部分が他車両３０に関する画像存在範囲３０Ａに含まれないと共に、車両１０からの距離（前記ＳＴＥＰ１３で視差から算出された距離）が、ミリ波レーダ装置２０により検出された他車両１０の距離と異なる（それらの距離の差の絶対値が所定の閾値を越える）こととなるので、レーダ検出物ではないと判定される。

このように、ＳＴＥＰ３５では、基本的には、前記ＳＴＥＰ４で抽出された対象物（より正確にはＳＴＥＰ３２の判定結果がＹＥＳとなった各対象物）のうち、人などの生体は、レーダ検出物でないと判定され、他車両などの人工構造物（生体でない物体）は、レーダ検出物であると判定される。そして、レーダ検出物であると判定された対象物が、ＳＴＥＰ３６の歩行者判定処理の判定対象から除外され、レーダ検出物でないと判定された対象物が、ＳＴＥＰ３６の歩行者判定処理の判定対象として選択される。

そこで、画像処理ユニット１は、ＳＴＥＰ３５で、対象物がレーダ検出物であると判定したとき（ＳＴＥＰ３５の判定結果がＮＯとなる場合）には、該対象物を、ＳＴＥＰ３６の歩行者判定処理の判定対象から除外して、該対象物が回避対象でないと判定する（ＳＴＥＰ３８）。

一方、画像処理ユニット１は、ＳＴＥＰ３５で、対象物がレーダ検出物でないと判定した場合には（この場合には、該対象物が人などの生体である可能性が高い）、該ＳＴＥＰ３５の判定結果をＹＥＳとして（該対象物がＳＴＥＰ３６の歩行者判定処理の判定対象であるとして）、該対象物が歩行者であるか否かの判定を行なう歩行者判定処理を実行する（ＳＴＥＰ３７）。この処理は、前記特許文献１の図５のＳ３４の処理と同じである。従って、本明細書での詳細な説明は省略するが、概略的には、基準画像や２値化画像での対象物の形状やサイズ、基準画像上で対象物を含む領域の輝度分布などの各種の特徴量に基づいて対象物が歩行者であるか否の判定を行なう。

このとき、対象物が歩行者であると判定された場合（ＳＴＥＰ３６の判定結果がＹＥＳとなる場合）には、画像処理ユニット１は、ＳＴＥＰ３７において、対象物が回避対象であると判定する。また、対象物が歩行者でないと判定された場合（ＳＴＥＰ３６の判定結果がＮＯとなる場合）には、ＳＴＥＰ３８において、対象物が回避対象でないと判定する。

一方、前記ＳＴＥＰ３２において、対象物が第２領域ＡＲ２に存在しないと判定された場合（ＳＴＥＰ３２の判定結果がＮＯとなる場合）には、画像処理ユニット１は、次に、対象物の移動方向に関する進入接触判定処理を実行する（ＳＴＥＰ３９）。この進入接触判定処理は、対象物が前記第２領域ＡＲ２に進入し、且つ、車両１０と接触する可能性が高いか否かを判定する処理である。具体的には、対象物の移動ベクトルが現状に維持されると仮定し、この移動ベクトルを含む直線と、車両１０の前端位置における実空間座標系のＸＹ平面との交点のＸ方向位置が求められる。そして、この求めたＸ方向位置が、車両１０の車幅中心線Ｌ０のＸ方向位置を中心とする所定範囲（車両１０の車幅よりも若干広い範囲）に存在することを要件（以下、進入接触要件という）として、この進入接触要件が満たされるか否かが判定される。

ＳＴＥＰ３９において、対象物が前記進入接触要件を満たす場合（ＳＴＥＰ３９の判定結果がＹＥＳとなる場合）には、対象物が将来、車両１０と接触する可能性が高い。そこで、この場合には、画像処理ユニット１は、前記ＳＴＥＰ３７において、該対象物が回避対象であると判定し、回避対象判定処理を終了する。

また、ＳＴＥＰ３９において、対象物が前記進入接触要件を満たさない場合（ＳＴＥＰ３９の判定結果がＮＯとなる場合）には、対象物が車両１０と接触する可能性が低いので、画像処理ユニット１は、前記ＳＴＥＰ３８において、該対象物が回避対象で無いと判定し、回避対象判定処理を終了する。

以上がＳＴＥＰ１７の回避対象判定処理の詳細である。補足すると、前記ＳＴＥＰ３５，３６の処理は、本発明における対象物種別判断手段を構成する処理である。この場合、ＳＴＥＰ３６では、歩行者（人）を所定種類の生体として、対象物が該所定種類の生体であるか否かが判断される。

以上説明した本実施形態によれば、ミリ波レーダ装置２０を使用することで、前記ＳＴＥＰ４で抽出された対象物（画像抽出対象物）から、レーダ検出物（人工構造物などの、生体でない物体）を除外して、ＳＴＥＰ３６の歩行者判定処理を行なうことができるので、対象物が歩行者（人）であるか否かを判定するための演算処理負荷を軽減できる。すなわち、前記基準画像から抽出された対象物の全てについて、歩行者判定処理を行なうのではなく、レーダ検出物を除外した対象物、すなわち、生体である可能性が高い対象物についてのみ、歩行者判定処理を行なうので、該歩行者判定処理の演算処理負荷を軽減できる。さらに、対象物が歩行者であるとの判定を確定するために（ひいては対象物が歩行者であるとの判定を確定するために）、対象物が人工構造物であるか否かの判定を画像に基づいて行なう処理を省略することで、回避対象判定処理の全体の演算処理負荷を軽減できる。

なお、以上説明した実施形態では、本発明における所定種類の生体を人（歩行者）とした場合を例に採って説明したが、人以外に、犬は猫などの生体（特に地上を移動する生体）をＳＴＥＰ３６における判定対象に含めてもよい。

また、前記実施形態では、ＳＴＥＰ３５で、レーダ検出物でない（換言すれば生体である可能性が高い）と判断された対象物について、ＳＴＥＰ３６で、該対象物の種別が歩行者（人）であるか否かを判断するようにしたが、人以外の生体を含めて、該生体を回避対象とする場合には、ＳＴＥＰ３６の処理を省略してもよい。すなわち、ＳＴＥＰ３５で、レーダ検出物でないと判断された対象物を簡易的に生体であると判断し、その対象物をＳＴＥＰ３７で回避対象とするようにしてもよい。

また、前記実施形態では、ミリ波レーダ装置２０は、レーダ検出物の方位と距離との両者を検出するようにしたが、方位だけを検出するようにしてもよい。この場合には、ＳＴＥＰ３５において、各対象物（前記ＳＴＥＰ３２の判定結果がＹＥＳとなった各対象物）のうち、基準画像上での該対象物の画像の全体もしくは大部分（対象物の画像の総面積の所定割合以上の部分）がいずれかの同一レーダ検出物群の画像存在範囲に含まれという要件を満たす対象物を、レーダ検出物であると判定し、該要件を満たさない対象物を、レーダ検出物でないと判定すればよい。このようにしても、ＳＴＥＰ３６で判定対象とする対象物を減らすことができるので、演算処理負荷を軽減できる。

本発明の第１実施形態における車両の周辺監視装置の全体構成を示すブロック図。 図１の周辺監視装置を搭載した車両（車両）の外観を示す斜視図。 図１の周辺監視装置に備えたミリ波レーダ装置が送信するミリ波のビームを平面視で示す図。 図１の周辺監視装置に備えた画像処理ユニットの処理を示すフローチャート。 図１の周辺監視装置に備えた画像処理ユニットの処理を示すフローチャート。 図５のＳＴＥＰ１７の処理を示すフローチャート。 図６のフローチャートの処理を説明するための図。 図６のフローチャートの処理を説明するための図。

符号の説明

１…画像処理ユニット（対象物抽出手段、生体判定手段、判定対象選択手段、距離検出手段、回避対象判定手段、車両機器制御手段）、２Ｒ，２Ｌ…赤外線カメラ（撮像装置）、２０…ミリ波レーダ装置、１０…車両、ＳＴＥＰ１〜７…対象物抽出手段、ＳＴＥＰ１３…距離検出手段、ＳＴＥＰ１７…回避対象判定手段、ＳＴＥＰ１８，１９…車両機器制御手段、ＳＴＥＰ３５，３６…対象物種別判断手段。

Claims (9)

1. 車両に搭載された撮像装置の撮像画像を用いて車両の周辺を監視する車両の周辺監視装置において、
   前記撮像画像から、前記撮像装置の撮像領域に存在する対象物を抽出する対象物抽出手段と、
   少なくとも前記撮像装置の撮像領域にミリ波を送信すると共に該ミリ波の反射波を受信し、その受信した所定強度以上の反射波を基に、前記撮像領域に存在する対象物を検出するミリ波レーダ装置と、
   前記対象物抽出手段による対象物の抽出結果と前記ミリ波レーダ装置による対象物の検出結果とに基づいて、前記撮像領域に存在する対象物の種別を判断する対象物種別判断手段とを備えたことを特徴とする車両の周辺監視装置。
2. 前記対象物種別判断手段は、前記対象物抽出手段により抽出された対象物のうち、前記ミリ波レーダ装置により検出されない対象物の種別を生体であると判断することを特徴とする請求項１記載の車両の周辺監視装置。
3. 前記対象物種別判断手段は、前記対象物抽出手段により抽出された対象物である画像抽出対象物から、前記ミリ波レーダ装置により検出された対象物であるレーダ検出対象物を除外してなる対象物を生体種別判断対象物として選択し、その選択した生体種別判断対象物が少なくとも人を含む所定種類の生体であるか否かを判断することを特徴とする請求項１または２記載の車両の周辺監視装置。
4. 前記ミリ波レーダ装置は、前記撮像領域に存在する対象物の前記車両に対する方位を検出可能なレーダ装置であり、
   前記対象物種別判断手段は、少なくとも前記画像抽出対象物の前記撮像画像上での位置と、前記ミリ波レーダ装置により検出された前記レーダ検出対象物の方位とに基づいて、前記画像抽出対象物から前記生体種別判断対象物を選択することを特徴とする請求項３記載の車両の周辺監視装置。
5. 前記ミリ波レーダ装置は、前記撮像領域に存在する対象物の前記車両からの距離と該車両に対する方位とを検出可能なレーダ装置であり、
   前記撮像装置が２つ備えられると共に、該２つの撮像装置から得られる２つの撮像画像における前記画像抽出対象物の視差に基づいて該画像抽出対象物の前記車両からの距離を検出する距離検出手段が備えられ、
   前記対象物種別判断手段は、少なくとも前記画像抽出対象物の、前記２つの撮像画像のいずれか一方の撮像画像上での位置と、前記距離検出手段により検出された該画像抽出対象物の距離と、前記ミリ波レーダ装置により検出された前記レーダ検出対象物の距離および方位とに基づいて、前記画像抽出対象物から前記生体種別判断対象物を選択することを特徴とする請求項３記載の車両の周辺監視装置。
6. 少なくとも前記対象物種別判断手段の判断結果を基に、前記画像抽出対象物が前記車両との接触を回避すべき回避対象であるか否かを判定する回避対象判定手段と、少なくとも該回避対象判定手段の判定結果に応じて車両に搭載された所定の機器を制御する車両機器制御手段とを備えたことを特徴とする請求項１〜５のいずれか１項に記載の車両の周辺監視装置。
7. 請求項１〜６のいずれか１項に記載の車両の周辺監視装置を搭載したことを特徴とする車両。
8. 車両に搭載された撮像装置の撮像画像を用いて車両の周辺を監視する車両の周辺監視方法において、
   前記撮像画像から、前記撮像装置の撮像領域に存在する対象物を抽出する対象物抽出ステップと、
   前記車両に搭載されたミリ波レーダ装置により、少なくとも前記撮像装置の撮像領域にミリ波を送信すると共に該ミリ波の反射波を受信して、その受信した所定強度以上の反射波を基に、前記撮像領域に存在する対象物を検出するミリ波レーダ検出ステップと、
   前記対象物抽出ステップによる対象物の抽出結果と前記ミリ波レーダ検出ステップによる対象物の検出結果とに基づいて、前記撮像領域に存在する対象物の種別を判断する対象物種別判断ステップとを備えたことを特徴とする車両の周辺監視方法。
9. 車両に搭載された撮像装置の撮像画像を用いて該車両の周辺を監視するための処理をコンピュータに実行させる機能を有する車両の周辺監視用プログラムであって、
   前記撮像画像から、前記撮像装置の撮像領域に存在する対象物を抽出する処理と、
   少なくとも前記撮像装置の撮像領域にミリ波を送信すると共に該ミリ波の反射波を受信して、その受信した所定強度以上の反射波を基に、前記撮像領域に存在する対象物を検出するミリ波レーダ装置の検出データを取得する処理と、
   前記撮像画像からの対象物の抽出処理により得られたデータと、前記ミリ波レーダ装置の検出データとに基づいて前記撮像領域に存在する対象物の種別を判断する処理とをコンピュータに実行させる機能を備えることを特徴とする車両の周辺監視用プログラム。

Images