JP2007293627A - 車両の周辺監視装置、車両、車両の周辺監視方法、および車両の周辺監視用プログラム - Google Patents

Abstract

【課題】撮像装置の撮像画像から抽出された対象物の種別が人などの生体であるか否かを高い信頼性で、簡易に判定することができる車両の周辺監視装置を提供する。
【解決手段】撮像装置２Ｒ，２Ｌの撮像画像から人などの対象物を抽出し、その対象物の上下方向における対称性の度合いの高低を判断する（ＳＴＥＰ３３）。対称性の度合いが高いと判断された対象物は、生体以外の種別であると判定する（ＳＴＥＰ３３ａ）。対称性の度合いが低いと判断された対象物は、生体である可能性が高いと判定する（ＳＴＥＰ３３ｂ）。生体である可能性が高いと判定された対象物については、さらにその対象物が、所定種類の生体（例えば人）であるか否かを該対象物の画像に基づいて判定する（ＳＴＥＰ３４、３５）。
【選択図】図５

Description

本発明は撮像装置の撮像画像を用いて車両の周辺に存在する対象物を検出する車両の周辺監視装置および周辺監視方法と、該周辺監視装置を搭載した車両と、該周辺監視装置にに使用する周辺監視用プログラムとに関する。

車両に搭載された撮像装置の撮像画像を基に、車両の周辺を監視する装置として、例えば特許文献１に見られるものが本願出願人により提案されている。

この特許文献１に見られる技術では、２つの赤外線カメラにより、車両の前方を撮像し、その２つの撮像画像のうちの一方の撮像画像から対象物を抽出する。そして、その抽出した対象物の、２つの撮像画像における視差などを基に、対象物の車両に対する実空間位置を検出する。さらに、抽出された対象物の実空間位置やその時系列データにより認識される対象物の移動方向、対象物の種類（人であるか人工構造物であるか）に関する判定を行なって、該対象物を警報の対象とすべきか否か（対象物が車両との接触を回避すべき回避対象であるか否か）を判断し、警報の対象とすべきと判断したときに、運転者に対して、音声や画像による警報を発するようにしている。なお、対象物の種類に関する判定は、概ね車両の正面前方の領域（車幅よりも若干広い領域）に存在する対象物について行なわれ、対象物の移動方向に関する判定は、該領域の外側に存在する対象物について行なわれる。
特開２００３−２８４０５７号公報

ところで、赤外線カメラなどの撮像装置の撮像画像から抽出され得る対象物には、人だけでなく、人以外の動物や、他車両、樹木、電柱、自動販売機などの種々様々の物体が含まれる。そして、これらの対象物のうち、特に車両との接触を回避すべき対象物は、人、あるいは人を含む動物（生体）である。従って、撮像画像から抽出される対象物の種別を、人などの生体と、それ以外の種別（人工構造物）とに区別して判定することが望まれる。

一方、前記特許文献１のものでは、対象物が人（歩行者）である可能性が高いか否かの判定処理を、撮像画像における対象物の画像（対象物に相当する部分画像）の種々様々の特徴量（輝度分布や形状、サイズなど）に基づいて行なうようにしている。そして、この場合、歩行者でない物体が歩行者である可能性が高いと判定される可能性もあることから、さらに、対象物に関する部分画像の形状があらかじめ定められた人工構造物の登録図形と一致するか否かや、該部分画像が直角な部分や直線状のエッジを有するか否か等の判定処理（対象物に関する部分画像が、歩行者では一般的には有り得ないような特徴を有するか否かの判定処理）を行なうことによって、対象物が人工構造物であるか否かの判定を行なうようにしている。そして、上記の判定処理によっり、対象物が、歩行者である可能性が高く、且つ、人工構造物でないと判定されたときに、対象物が歩行者であると判定するようにしている。このような判定処理によって、対象物の種別が歩行者（人）であるか、それ以外の人工構造物などの種別であるかを高い信頼性で判定することが可能である。

しかるに、特許文献１のものでは、対象物の種別を歩行者とそれ以外の種別とに区別して判定するために、各対象物の種々様々の特徴量を算出したり、それらの特徴量に関する判定処理が必要となる。加えて、対象物が人工構造物であるか否かの判定も必要とする。これは、特許文献１の技術で使用される個々の特徴量は、それだけでは、対象物の種別を歩行者とそれ以外の種別とに高い信頼性で区別することが困難であるからである。さらに、歩行者だけでなく、他の動物（犬や猫など、地上を移動可能な動物）も含む生体を回避対象とする場合には、対象物がそれらの他の動物であるか否かの判定も必要となる。

このため、歩行者などの生体とこれ以外の種別とを高い信頼性で簡易に区別して判定し得る手法が望まれていた。

また、特許文献１の技術では、特に、撮像画像から多数の対象物が抽出された場合には、多数の対象物のそれぞれについて、種々様々の特徴量を算出する演算処理やそれらの特徴量に関する判定処理が必要となる。このため、特許文献１のものでは、対象物が歩行者であるか否かを確定的に判定するための演算処理の負荷が大きなものとなっており、それを軽減することが望まれていた。

本発明はかかる背景に鑑みてなされたものであり、撮像装置の撮像画像から抽出された対象物の種別の判定、特に対象物の種別が人などの生体であるか、該生体以外の種別であるかを高い信頼性で、簡易に判定することができる車両の周辺監視装置、周辺監視方法、および車両を提供することを目的とする。さらには、対象物の種別の判定処理の演算処理負荷を軽減することができる車両の周辺監視装置を提供することを目的とする。さらに、そのような周辺監視装置の処理をコンピュータに実行させることができる車両の周辺監視用プログラムを提供することを目的とする。

本発明の車両の周辺監視装置は、かかる目的を達成するために、車両に搭載された撮像装置の撮像画像から、該撮像装置の撮像領域に存在する対象物を抽出する対象物抽出手段と、その抽出された対象物の種別を前記撮像画像における該対象物の画像に基づいて判定する対象物種別判定手段とを備えた車両の周辺監視装置において、前記抽出された対象物の上下方向における対称性の度合いの高低を前記撮像画像における該対象物の画像に基づき判断する上下対称性判断手段を備え、前記対象物種別判定手段は、前記上下対称性判断手段の判断結果に基づいて前記抽出された対象物の種別を判定する第１種別判定手段を少なくとも有することを特徴とする（第１発明）。

かかる第１発明によれば、前記上下対称性判断手段によって、前記抽出された対象物の上下方向における対称性の度合いの高低が判断される。ここで、一般に、人などの生体、ひいては、それを撮像手段で撮像してなる画像は、上下方向における対称性の度合いが低く、対称性の度合いが高くなる可能性は極めて低い。これに対して、自動販売機や電柱などの人工構造物は、上下方向における対称性の度合いが高いものが多い。従って、撮像画像における対象物の上下方向の対称性の度合いの高低は、少なくとも、対象物の種別が生体であるか、それ以外の種別であるかを高い信頼性で反映する。

そこで、第１発明では、前記対象物種別判定手段は、前記上下対称性判断手段の判断結果に基づいて前記抽出された対象物の種別を判定する第１種別判定手段を少なくとも有する。この場合、上下対称性判断手段の判断結果、すなわち、対象物の上下方向の対称性の度合いの高低は、少なくとも、対象物の種別が生体であるか、それ以外の種別であるかを高い信頼性で反映している。従って、対象物の上下方向の対称性の度合いの高低の判断結果だけにより、少なくとも対象物の種別が生体であるか、それ以外の種別（人工構造物など）であるかを前記第１種別判定手段によって、高い信頼性で判定することが可能となる。

よって、第１発明によれば、対象物の上下方向の対称性の度合いの高低に基づいて、対象物の種別が人などの生体であるか、該生体以外の種別であるかを高い信頼性で、簡易に行なうことが可能となる。

この第１発明では、特に、上下方向の対称性の度合いが高いと判断される対象物が生体である可能性は極めて低い（生体以外の種別である可能性が極めて高い）ので、前記第１種別判定手段は、前記上下対称物判断手段により前記対称性の度合いが高いと判断された対象物の種別を生体以外の種別であると判定する（第２発明）。つまり、対象物の前記対称性の度合いが高いと判断された場合には、直ちに、その対象物の種別を生体以外の種別であると確定的に判定すればよい。

これにより、対象物の種別が生体以外の種別であるとの判定を、前記対称性の度合いの高低の判断結果から、高い信頼性で直ちに行なうことができる。

また、本発明の車両の周辺監視装置では、前記対象物種別判定手段は、前記抽出された対象物の種別を、少なくとも人を含む所定種類の生体と、該所定種類の生体以外の種別とに区別して判定する手段であることが好ましい。この場合、前記上下対称物判断手段によって、前記対称性の度合いが低いと判断された対象物は、生体である可能性は高いものの、生体でない対象物が含まれる場合もある。そして、前記対称性の度合いが高いと判断された対象物の種別は、生体以外の種別であると見なしてよい。従って、対象物の種別を、前記所定種類の生体とそれ以外の種別とに区別して判定する場合には、その判定処理は、前記対称性の度合いが低いと判断された対象物に対してのみ行なえば十分である。そこで、前記第２発明では、前記抽出された対象物のうち、前記第１種別判定手段により生体以外の種別であると判定された対象物を除外してなる対象物に対して、該対象物が前記所定種類の生体であるか否かを、前記撮像画像における該対象物の画像に基づいて判定する第２種別判定手段をさらに有する（第３発明）。

この第３発明によれば、前記第２種別判定手段は、前記抽出された対象物のうち、前記対称性の度合いが高い対象物を除外し、前記対称性が低いと判断された対象物だけに対して、該対象物が前記所定種類の生体であるか否かの判定を行なう。このため、第２種別判定手段は、前記抽出された対象物の全てについて前記所定種類の生体であるか否かの判定を行なわずに済み、生体である可能性が高い（上下方向における対称性の度合いが低い）対象物についてのみ、該対象物が前記所定種類の生体であるか否かの判定を行なえばよいこととなる。

その結果、第３発明によれば、撮像装置の撮像画像から抽出された対象物が人などの所定種類の生体であるか否かを判定する処理の演算処理負荷を軽減することができる。

なお、第２種別判定手段の判定では、例えば、前記撮像画像における対象物（前記対称性の度合いが低いと判断された対象物）の画像の形状やサイズ、輝度分布などに関する所定の特徴量を基に、対象物が所定種類の生体であるか否かの判定を行なうようにすればよい。

前記第１〜第３発明では、前記撮像装置が赤外線カメラであると共に、前記撮像画像がグレースケール画像である場合には、前記対象物抽出手段は、前記撮像画像から所定値以上の輝度値を有する領域を２値化対象物として抽出する手段と、少なくとも該２値化対象物と前記グレースケール画像の輝度値データとを基に、該グレースケール画像上で前記２値化対象物を包含する領域をグレースケール対象物の画像として抽出する手段とから構成され、前記上下対称性判断手段が前記対称性の度合いを判断する対象物は、前記グレースケール対象物であることが好ましい（第４発明）。

すなわち、赤外線カメラの撮像画像であるグレースケール画像では、人などの対象物のうちの相対的に温度の高い部分（頭部など）が高輝度部分となる。このため、所定値以上の輝度値を有する部分を抽出することで、該対象物を２値化対象物として容易に抽出できる。ただし、該２値化対象物は、個々の対象物の全体の一部である場合が多い。そこで、第２発明では、該２値化対象物をを包含する領域をグレースケール対象物の画像として抽出する。該グレースケール対象物の画像は、グレースケール画像上で個々の対象物の全体を包含するような最小の画像、もしくは、最小に近い画像で、例えば、グレースケール画像上で個々の対象物の全体の縦方向および横方向の幅とほぼ等しいか、もしくはそれよりも若干大きい幅の方形状の画像を意味する。そして、このグレースケール対象物に対して、上下方向における対称性の度合いが判断される。これにより、その対称性の度合いの判断を適切に行なうことができる。

なお、上下方向の対称性の度合いは、例えば上記グレースケール対象物の上部と下部との輝度分布の一致度合いや、輪郭形状の一致度合いに基づいて判断すればよい。

以上説明した本発明（第１〜第４発明）では、少なくとも前記対象物種別判定手段の判定結果を基に、前記対象物抽出手段により抽出された対象物が前記車両との接触を回避すべき回避対象であるか否かを判定する回避対象判定手段と、少なくとも該回避対象判定手段の判定結果に応じて前記車両に搭載された所定の機器を制御する車両機器制御手段とを備えることが好適である（第５発明）。

これによれば、人などの生体を回避対象に含ませて、該回避対象が所定の要件を満たす場合（例えば車両との接触の可能性が高い場合）などに、該回避対象と車両との接触を回避し得るように、もしくは回避しやすくなるように、車両の機器を制御することが可能となる。なお、前記車両の所定の機器としては、回避対象の対象物に対する運転者の注意を喚起する情報（例えば、視覚的な情報や聴覚的な情報）を出力可能な機器（ディスプレイやスピーカなど）、あるいは、車両の走行挙動を操作可能な機器（例えばステアリング装置、ブレーキ装置、アクセル装置のアクチュエータ）、あるいは、それらの両者の機器などが挙げられる。

また、本発明の車両は、前記した本発明の車両の周辺監視装置を搭載したことを特徴とする（第６発明）。

この第６発明の車両によれば、本発明の車両の周辺監視装置と同等の効果を奏する車両を実現できる。

また、本発明の車両の周辺監視方法は、車両に搭載された撮像装置の撮像画像から、該撮像装置の撮像領域に存在する対象物を抽出するステップと、その抽出された対象物の種別を前記撮像画像における該対象物の画像に基づいて判定するステップとを備えた車両の周辺監視方法において、前記抽出された対象物の上下方向における対称性の度合いの高低を前記撮像画像における該対象物の画像に基づき判断するステップを備え、前記抽出された対称物の種別を判定するステップは、前記対称性の度合いの高低の判断結果に基づいて該対象物の種別を判定するステップを少なくとも有することを特徴とする（第７発明）。

この第７発明によれば、前記第１発明と同様に、対象物の上下方向の対称性の判断結果だけによる簡易な手法で、少なくとも対象物の種別が生体であるか、それ以外の種別（人工構造物など）であるかを、高い信頼性で判定することが可能となる。

その結果、第７発明によれば、対象物の上下方向の対称性の度合いの高低に基づいて、対象物の種別が人などの生体であるか、該生体以外の種別であるかの判定を高い信頼性を確保しつつ、簡易に行なうことが可能となる。

また、本発明の車両の周辺監視用プログラムは、車両に搭載された撮像装置の撮像画像から、該撮像装置の撮像領域に存在する対象物を抽出し、その抽出された対象物の種別を前記撮像画像における該対象物の画像に基づいて判定する処理をコンピュータに実行させる機能を有する車両の周辺監視用プログラムであって、前記抽出された対象物の上下方向における対称性の度合いの高低を前記撮像画像における該対象物の画像に基づき判断する処理と、前記対称性の度合いの判断結果に基づいて対象物の種別を判定する処理とをコンピュータに実行させる機能を備えることを特徴とする（第８発明）。

この第８発明のプログラムによれば、前記第１発明に関して説明した効果を奏し得る処理をコンピュータに実行させることができる。

本発明の一実施形態を図１〜図９を参照して説明する。

まず、図１および図２を参照して、本実施形態の車両の周辺監視装置のシステム構成を説明する。図１は該周辺監視装置の全体構成を示すブロック図、図２は該周辺監視装置を搭載した車両の外観を示す斜視図である。なお、図２では、周辺監視装置の一部の構成要素の図示を省略している。

図１および図２を参照して、本実施形態の周辺監視装置は、画像処理ユニット１を備える。この画像処理ユニット１には、車両１の前方の画像を撮像する撮像装置としての２つの赤外線カメラ２Ｒ，２Ｌとが接続されると共に、車両１０の走行状態を検出するセンサとして、車両１０のヨーレートを検出するヨーレートセンサ３と、車両１０の走行速度（車速）を検出する車速センサ４と、車両１０のブレーキ操作（詳しくはブレーキペダルが操作されているか否か）を検出するブレーキセンサ５とが接続されている。さらに、画像処理ユニット１には、音声などによる聴覚的な注意喚起情報を出力するためのスピーカ６と、前記赤外線カメラ２Ｒ，２Ｌにより撮像された画像や視覚的な注意喚起情報を表示するための表示装置７とが接続されている。

画像処理ユニット１は、詳細な図示は省略するが、Ａ／Ｄ変換回路、マイクロコンピュータ（ＣＰＵ、ＲＡＭ、ＲＯＭ）、画像メモリなどを含む電子回路により構成され、前記赤外線カメラ２Ｒ，２Ｌ、ヨーレートセンサ３、車速センサ４およびブレーキセンサ５の出力（アナログ信号）がＡ／Ｄ変換回路を介してデジタル化されて入力される。そして、画像処理ユニット１は、入力されたデータを基に、人（歩行者）などの対象物を検出する処理や、その検出した対象物が車両との接触を回避すべき回避対象であるか否かを判定する処理、回避対象と判定された対象物に対する運転者の注意を喚起する処理などをマイクロコンピュータにより実行する。これらの処理は、マイクロコンピュータのＲＯＭにあらかじめ実装されたプログラムを該マイクロコンピュータにより実行することにより実現され、そのプログラムは、本発明の車両の周辺監視用プログラムを含んでいる。

なお、画像処理ユニット１は、上記プログラムにより実現される機能として、本発明における対象物抽出手段、対象物種別判定手段、上下対称性判断手段、回避対象判定手段、車両機器制御手段を含んでいる。

図２に示すように、前記赤外線カメラ２Ｒ，２Ｌは、車両１０の前方を撮像するために、車両１０の前部（図ではフロントグリルの部分）に取り付けられている。この場合、赤外線カメラ２Ｒ，２Ｌは、それぞれ、車両１０の車幅方向の中心よりも右寄りの位置、左寄りの位置に配置されている。それらの位置は、自車両１０の車幅方向の中心に対して左右対称である。そして、該赤外線カメラ２Ｒ，２Ｌは、それらの光軸が互いに平行に車両１０の前後方向に延在し、且つ、それぞれの光軸の路面からの高さが互いに等しくなるように車両１０の前部に固定されている。なお、各赤外線カメラ２Ｒ，２Ｌは、遠赤外域に感度を有する撮像装置であり、それにより撮像される物体の温度が高いほど、その物体の画像の出力信号のレベルが高くなる（該物体の画像の輝度が高くなる）特性を有している。

また、前記表示装置７は、本実施形態では、例えば車両１０のフロントウィンドウに画像などの情報を表示するヘッド・アップ・ディスプレイ７ａ（以下、ＨＵＤ７ａという）を備えている。なお、表示装置７は、ＨＵＤ７ａの代わりに、もしくは、ＨＵＤ７ａと共に、自車両１０の車速などの走行状態を表示するメータに一体的に設けられたディスプレイ、あるいは、車載ナビゲーション装置に備えられたディスプレイを含んでもよい。

次に、本実施形態の周辺監視装置の全体的動作を図３および図４のフローチャートを参照して説明する。なお、図３および図４のフローチャートの処理のうちの、前記特許文献１に記載されている処理と同じ処理については、本明細書での詳細な説明は省略する。補足すると、図３および図４のフローチャートの処理は、画像処理ユニット１のマイクロコンピュータが実行するプログラムにより実現される処理である。

まず、画像処理ユニット１は、赤外線カメラ２Ｒ，２Ｌのそれぞれの出力信号である赤外線画像を取得して（ＳＴＥＰ１）、Ａ／Ｄ変換し（ＳＴＥＰ２）、それぞれの画像を画像メモリに格納する（ＳＴＥＰ３）。これにより、各赤外線カメラ２Ｒ，２Ｌにより撮像された画像が画像処理ユニット１に取り込まれる。以降、赤外線カメラ２Ｒから得られた画像を右画像、赤外線カメラ２Ｌから得られた画像を左画像という。これらの右画像および左画像は、いずれもグレースケール画像である。

次いで、画像処理ユニット１は、前記右画像および左画像のうちの一方を基準画像とし、この基準画像を２値化する（ＳＴＥＰ４）。基準画像は、本実施形態では右画像である。この２値化処理は、基準画像の各画素の輝度値を所定の輝度閾値と比較し、基準画像のうちの、該所定の輝度閾値よりも高い輝度値を有する領域（比較的明るい領域）を「１」（白）とし、該輝度閾値よりも低い輝度値を有する領域（比較的暗い領域）を「０」（黒）とする処理である。以降、この２値化処理により得られる画像（白黒画像）を２値化画像という。そして、この２値化画像のうちの、「１」とされる領域を高輝度領域という。なお、この２値化画像は、グレースケール画像（右画像および左画像）とは別に画像メモリに記憶される。

補足すると、ＳＴＥＰ１〜４の処理は、前記特許文献１の図３のＳ１〜Ｓ４の処理と同じである。

次いで、画像処理ユニット１は、前記２値化画像に対してＳＴＥＰ５〜７の処理を実行し、該２値化画像から対象物（より正確には対象物に対応する画像部分）を抽出する。すなわち、前記２値化画像の高輝度領域を構成する画素群を、基準画像の縦方向（ｙ方向）に１画素分の幅を有して横方向（ｘ方向）延在するラインに分類し、その各ラインを、その位置（基準画像上での２次元位置）の座標と長さ（画素数）とからなるランレングスデータに変換する（ＳＴＥＰ５）。そして、このランレングスデータにより表されるラインのうちの、基準画像の縦方向に重なりを有するライン群のそれぞれにラベル（識別子）を付し（ＳＴＥＰ６）、そのライン群のそれぞれを対象物として抽出する（ＳＴＥＰ７）。このように２値化画像から抽出される対象物が本発明における２値化対象物に相当する。以降、ＳＴＥＰ７で抽出された対象物を２値化対象物ということがある。

なお、ＳＴＥＰ５〜７の処理により抽出される２値化対象物には、一般には、人（歩行者）などの生体だけでなく、他車両などの人工構造物なども含まれる。また、同一の物体の１つ、もしくは、複数の局所部分が２値化対象物として抽出される場合もある。例えば、人は、その頭部付近の箇所だけが、２値化対象物として抽出される場合もある。

次いで、画像処理ユニット１は、上記の如く抽出した各２値化対象物の重心の位置（基準画像上での位置）と面積と外接四角形の縦横比とを求める（ＳＴＥＰ８）。なお、各２値化対象物の重心の位置は、該２値化対象物に含まれるランレングスデータの各ラインの位置（各ラインの中心位置）の座標に該ラインの長さを乗じたものを、該２値化対象物に含まれるランレングスデータの全てのラインについて加算し、その加算結果を該２値化対象物の面積により除算することにより求められる。また、各２値化対象物の重心の代わりに、該２値化対象物の外接四角形の重心（中心）の位置を求めてもよい。

次いで、画像処理ユニット１は、前記ＳＴＥＰ７で抽出した２値化対象物の時刻間追跡、すなわち、画像処理ユニット１の演算処理周期毎の同一対象物の認識を行なう（ＳＴＥＰ９）。この処理では、ある演算処理周期の時刻（離散系時刻）ｋにおけるＳＴＥＰ７の処理により２値化対象物Ａが抽出され、次の演算処理周期の時刻ｋ＋１におけるＳＴＥＰ７の処理により２値化対象物Ｂが抽出されたとしたとき、それらの２値化対象物Ａ，Ｂの同一性が判定される。この同一性の判定は、例えば、それらの２値化対象物Ａ，Ｂの２値化画像上での形状やサイズ、基準画像（グレースケール画像）上での輝度分布の相関性などに基づいて行なえばよい。そして、それらの２値化対象物Ａ，Ｂが互いに同一であると判定された場合に、時刻ｋ＋１で抽出した２値化対象物Ｂのラベル（ＳＴＥＰ６で付したラベル）が２値化対象物Ａのラベルと同じラベルに変更される。

なお、前記したＳＴＥＰ５〜９の処理は、前記特許文献３の図３のＳ５〜Ｓ９の処理と同じである。

次いで、画像処理ユニット１は、前記車速センサ４およびヨーレートセンサ５の出力（車速の検出値およびヨーレートの検出値）を読み込む（ＳＴＥＰ１０）。なお、このＳＴＥＰ１０では、読込んだヨーレートの検出値を積分することにより、自車両１０の回頭角（方位角）の算出も行なわれる。

一方、画像処理ユニット１は、ＳＴＥＰ９，１０の処理と並行して、ＳＴＥＰ１１〜１３の処理を実行する。このＳＴＥＰ１１〜１３の処理は、ＳＴＥＰ７で抽出した各対象物（２値化対象物）の自車両１０からの距離を求める処理であり、前記特許文献１の図３のＳ１１〜Ｓ１３の処理と同じである。その処理を概略的に説明すると、まず、右画像（基準画像）のうち、各対象物に対応する領域（例えば各２値化対象物の外接四角形の領域）を探索画像Ｒ１として抽出する（ＳＴＥＰ１１）。

次いで、左画像中で、右画像の探索画像Ｒ１に含まれる対象物と同じ対象物を探索するための領域である探索領域Ｒ２が設定され、その探索領域Ｒ２内で、探索画像Ｒ１との相関性が最も高い領域が、探索画像Ｒ１に対応する画像（探索画像Ｒ１と同等の画像）である対応画像Ｒ３として抽出される（ＳＴＥＰ１２）。この場合、左画像の探索領域Ｒ２のうち、右画像の探索画像Ｒ１の輝度分布に最も一致する輝度分布を有する領域が対応画像Ｒ３として抽出される。なお、ＳＴＥＰ１２の処理は、２値化画像ではなく、グレースケール画像を使用して行なわれる。

次いで、右画像における前記探索画像Ｒ１の重心の横方向位置（ｘ方向位置）と、左画像における前記対応画像Ｒ３の重心の横方向位置（ｘ方向位置）との差分の画素数を視差Δｄとして算出し、その視差Δｄを用いて、２値化対象物の自車両１０からの距離ｚ（自車両１０の前後方向における距離）が算出される（ＳＴＥＰ１３）。距離ｚは、次式（１）により算出される。

ｚ＝（ｆ×Ｄ）／（Δｄ×ｐ） ……（１）

なお、ｆは赤外線カメラ２Ｒ，２Ｌの焦点距離、Ｄは赤外線カメラ２Ｒ，２Ｌの基線長（光軸の間隔）、ｐは画素ピッチ（１画素分の長さ）である。

以上がＳＴＥＰ１１〜１３の処理の概要である。なお、ＳＴＥＰ１１〜１３の処理は、前記ＳＴＥＰ７で抽出された各２値化対象物に対して実行される。

前記ＳＴＥＰ１０およびＳＴＥＰ１３の処理の終了後、画像処理ユニット１は、次に、各２対象物の実空間上での位置（自車両１０に対する相対位置）である実空間位置を算出する（ＳＴＥＰ１４）。ここで、実空間位置は、図２に示すように、赤外線カメラ２Ｒ，２Ｌの取り付け位置の中点を原点として設定された実空間座標系（ＸＹＺ座標系）での位置（Ｘ，Ｙ，Ｚ）である。実空間座標系のＸ方向およびＹ方向は、それぞれ自車両１０の車幅方向、上下方向であり、これらのＸ方向およびＹ方向は、前記右画像および左画像のｘ方向（横方向）、ｙ方向（縦方向）と同方向である。また、実空間座標系のＺ方向は、自車両１０の前後方向である。そして、対象物の実空間位置（Ｘ，Ｙ，Ｚ）は次式（２）、（３）、（４）により算出される。

Ｘ＝ｘ×ｚ×ｐ／ｆ ……（２）
Ｙ＝ｙ×ｚ×ｐ／ｆ ……（３）
Ｚ＝ｚ ……（４）

なお、ｘ、ｙは基準画像上での対象物のｘ座標、ｙ座標である。ただし、この場合の座標系は、図示は省略するが、基準画像の中心点の付近に原点を有するｘｙ座標系である。その原点は、前記実空間座標系のＺ軸上に対象物が存在するときに、該対象物の基準画像上でのｘ座標、ｙ座標が共に０となるようにあらかじめ定められた点である。

次いで、画像処理ユニット１は、自車両１０の回頭角の変化の影響を補償して、対象物の実空間位置の精度を高めるために、対象物の実空間位置（Ｘ，Ｙ，Ｚ）のうちのＸ方向の位置Ｘを上記式（２）により求めた値から、前記ＳＴＥＰ１０で求めた回頭角の時系列データに応じて補正する（ＳＴＥＰ１５）。これにより、最終的に対象物の実空間位置が求められる。以降の説明では、「対象物の実空間位置」は、この補正を施した対象物の実空間位置を意味する。なお、対象物の実空間位置は、所定の演算処理周期で逐次算出される。

次に、画像処理ユニット１は、対象物の車両１０に対する移動ベクトルを求める（ＳＴＥＰ１６）。具体的には、同一対象物についての実空間位置の、所定期間（現在時刻から所定時間前までの期間。以下、モニタ期間という）における時系列データを近似する直線を求め、所定時間前の時刻での該直線上の対象物の位置（点）から、現在時刻における該直線上の対象物の位置（点）に向かうベクトルを対象物の移動ベクトルとして求める。この移動ベクトルは、対象物の車両１０に対する相対速度ベクトルに比例する。なお、ＳＴＥＰ１４〜１６の処理は、前記特許文献１の図３のＳ１４〜Ｓ１６の処理と同じである。

次に、画像処理ユニット１は、前記ＳＴＥＰ７で抽出された各対象物（２値化対象物）が、車両１０との接触を回避すべき回避対象であるか否かを判定する回避対象判定処理を実行する（ＳＴＥＰ１７）。この回避対象判定処理でついては詳細を後述する。なお、このＳＴＥＰ１７の回避対象判定処理は、本発明における回避対象判定手段を構成する処理である。

上記ＳＴＥＰ１７の回避対象判定処理で、対象物が回避対象でないと判定された場合（より正確には、全ての対象物が回避対象でないと判定された場合）には、ＳＴＥＰ１７の判定結果がＮＯとなる。この場合には、今回の演算処理周期の処理が終了し、次回の演算処理周期でＳＴＥＰ１からの処理が繰り返される。また、ＳＴＥＰ１７で、対象物が回避対象であると判定された場合（回避対象であると判定された対象物が存在する場合）には、ＳＴＥＰ１７の判定結果がＹＥＳとなる。この場合には、ＳＴＥＰ１８に進んで、画像処理ユニット１は、回避対象であると判定された対象物に対する車両１０の運転者の注意を喚起すべきが否かを判定する注意喚起出力判定処理を実行する。この注意喚起出力判定処理では、前記ブレーキセンサ５の出力から、運転者による車両１０のブレーキ操作がなされていることが確認され、且つ、車両１０の減速加速度（車速の減少方向の加速度を正とする）が所定の閾値（＞０）よりも大きいときには、注意喚起を行なわないと判定される。また、運転者によるブレーキ操作が行なわれていない場合、あるいは、ブレーキ操作が行なわれていても、車両１０の減速加速度が所定の閾値以下である場合には、注意喚起を行なうべきと判定される。

そして、画像処理ユニット１は、注意喚起を行なうべきと判定した場合（ＳＴＥＰ１８の判断結果がＹＥＳとなる場合）には、前記スピーカ６と表示装置７とによる注意喚起を車両１０の運転者に対して行なう注意喚起処理を実行する（ＳＴＥＰ１９）。そして、この注意喚起処理の後、今回の演算処理周期の処理が終了して、次回の演算処理周期でＳＴＥＰ１からの処理が再開される。上記注意喚起処理では、例えば表示装置７に前記基準画像を表示すると共に、その基準画像中の、回避対象の対象物の画像を強調的に表示する。さらに、そのような対象物が存在することをスピーカ６から運転者に音声案内する。これにより、該対象物に対する運転者の注意が喚起される。なお、運転者に対する注意喚起は、スピーカ６および表示装置７のいずれか一方だけで行なうようにしてもよい。

また、ＳＴＥＰ１８で注意喚起を行なわないと判断したとき（全ての回避対象の対象物について注意喚起を行なわないと判断したとき）には、ＳＴＥＰ１８の判断結果がＮＯとなり、この場合には、そのまま今回の演算処理周期の処理が終了して、次回の演算処理周期でＳＴＥＰ１からの処理が再開される。

補足すると、本実施形態では、前記表示装置７およびスピーカ６が本発明における所定の機器に相当する。また、車両１０が車両のステアリング装置、ブレーキ装置、アクセル装置のいずれかをアクチュエータによって操作可能（ひいては車両１０の走行挙動を操作可能）なものである場合には、ＳＴＥＰ１７で回避対象であると判定された対象物との接触を回避するように、もしくは、回避が容易になるように車両１０のステアリング装置、ブレーキ装置、アクセル装置を制御するようにしてもよい。例えば、運転者によるアクセルペダルの必要踏力が、回避対象の対象物が存在しない場合（通常の場合）よりも大きくなるようにアクセル装置を制御して加速しにくくする。あるいは、回避対象と車両１０との接触を回避するために要求されるステアリング装置の操舵方向側へのステアリングハンドルの要求回転力を、反対側へのステアリングハンドルの要求回転力よりも低くして、当該操舵方向側へのステアリングハンドルの操作を容易に行い得るようにする。あるいは、ブレーキ装置のブレーキペダルの踏み込み量に応じた車両１０の制動力の増加速度を、通常の場合よりも高くする。このようにすることで、回避対象との接触を避けるための車両１０の運転が容易になる。

なお、このように車両１０のステアリング装置や、アクセル装置、ブレーキ装置を制御する場合、これらの装置が本発明における所定の機器に相当するものとなる。また、上記のようなステアリング装置の制御と、前記表示装置７もしくはスピーカ６による注意喚起とは、並行して行なうようにしてもよい。

以上が本実施形態の周辺監視装置の全体的作動である。

補足すると、前記ＳＴＥＰ１８，１９の処理は、本発明における車両機器制御手段を構成する処理である。

次に、説明を後回しにしたＳＴＥＰ１７の回避対象判定処理を図５〜図９を参照して詳細に説明する。図５はＳＴＥＰ１７の処理を示すフローチャート、図６は図５のＳＴＥＰ３３の判定処理を示すフローチャート、図７は図５のＳＴＥＰ３１，３２の処理で使用する領域を説明するための図、図８および図９は図５のＳＴＥＰ３３の判定処理を説明するための図である。

図５を参照して、ＳＴＥＰ１７の回避対象判定処理では、まず、対象物の実空間位置に関する第１の判定処理としての第１対象物位置判定処理が実行される（ＳＴＥＰ３１）。この第１対象物位置判定処理は、車両１０と対象物との接触を車両１０の操舵やブレーキ操作によって余裕をもって回避し得るか否かを判定するための処理である。具体的には、該第１対象物位置判定処理では、赤外線カメラ２Ｒ，２Ｌの撮像領域（赤外線カメラ２Ｒ，２Ｌの視野角内領域）のうち、車両１０からのＺ方向の距離（車両１０の前後方向の距離）が、所定値以下となる領域（以下、第１領域ＡＲ１という）に対象物の現在の実空間位置（実空間位置の今回値）が存在するか否かが判定される。

この場合、車両１０からの距離に関する所定値は、前記ＳＴＥＰ４で抽出された対象物（２値化対象物）毎に設定される。具体的には、前記ＳＴＥＰ１６で移動ベクトルを求めるための前記モニタ期間の時間で、該移動ベクトルのＺ方向成分を除算することにより、該モニタ期間での対象物の平均速度Ｖz（車両１０の前後方向での対象物の相対速度の平均値Ｖz）が求められ、この平均速度Ｖzに所定の定数Ｔ（時間の次元の定数）を乗じてなる値Ｖz・Ｔが前記第１領域の、Ｚ方向の境界を規定する上記所定値として設定される。

このように設定される第１領域ＡＲ１は、平面視で、図７の三角形ａｂｃの領域となる。なお、線分ａｂを含む直線Ｌ１、線分ａｃを含む直線Ｌ２は、赤外線カメラ２Ｒ，２Ｌの視野角（水平方向の視野角）の左右の境界線である。また、第１領域ＡＲ１は、上下方向では、所定の高さ（例えば車両１０の高さの２倍程度の高さ）を有する領域である。

ＳＴＥＰ３１の第１対象物位置判定処理は、上記の如く各対象物に対応して定まる第１領域ＡＲ１に対象物が存在するか否かを判定する処理であり、対象物の現在の実空間位置のＺ方向位置がＶz・Ｔ以下で、且つ、Ｙ方向位置が所定の高さ以下の位置であるときに、該対象物が第１領域ＡＲ１に存在すると判定される。なお、車両１０の前後方向における対象物の相対速度Ｖzが車両１０から遠ざかる向きの相対速度である場合には、該対象物は第１領域ＡＲ１に存在しないと判定される。

ＳＴＥＰ３１において、対象物が第１領域ＡＲ１内に存在しないと判定された場合（ＳＴＥＰ３１の判定結果がＮＯとなる場合）は、車両１０の操舵やブレーキ操作によって該対象物と車両１０との接触を余裕をもって回避し得る状況である。そして、この場合には、画像処理ユニット１は、ＳＴＥＰ３７において、該対象物が回避対象で無いと判定し、該対象物についての回避対象判定処理を終了する。

一方、ＳＴＥＰ３１において、対象物が第１領域ＡＲ１内に存在すると判定された場合（ＳＴＥＰ３１の判断結果がＹＥＳとなる場合）には、画像処理ユニット１はさらに、対象物の実空間位置に関する第２の判定処理としての第２対象物位置判定処理を実行する（ＳＴＥＰ３２）。この第２対象物位置判定処理は、対象物の実空間位置が現在位置に維持されたとした場合に、車両１０と対象物との接触の可能性が高いか否かを判定するための処理である。具体的には、該第２対象物位置判定処理では、対象物が、図７に示すように車両１０の両側で前後方向に延在する（車両１０の車幅中心線Ｌ０と平行に延在する）ように設定された一対の境界線Ｌ３，Ｌ４の間の領域ＡＲ２（以下、第２領域ＡＲ２という）に存在するか否かが判定される。

この場合、第２領域ＡＲ２の左右の境界線Ｌ３，Ｌ４は、それらの間隔をＷとしたとき、図６に示すように、車両１０の車幅中心線Ｌ０から左右に同じ間隔Ｗ／２を有する位置に設定される。そして、境界線Ｌ３，Ｌ４の間隔Ｗは、車両１０の車幅αよりも若干広い間隔に設定される。なお、対象物が第２領域ＡＲ２に存在するか否かは、対象物の現在の実空間位置のＸ方向成分の値が、境界線Ｌ３のＸ方向位置と境界線Ｌ４のＸ方向位置との間の値であるか否によって判定される。

補足すると、第２領域ＡＲ２の幅Ｗは、車両１０の走行環境（車両１０の車速や、前走車との車間距離など）に応じて変化させるようにしてもよい。

ＳＴＥＰ３２において、対象物の実空間位置が第２領域ＡＲ２に存在すると判定された場合（ＳＴＥＰ３２の判定結果がＹＥＳとなる場合）は、対象物が現在の実空間位置に留まったとした場合に、該対象物が車両１０と接触する可能性が高い。そして、この場合には、本実施形態では、対象物が歩行者（人）であることを要件として、該対象物が回避対象であると判定する。

そこで、ＳＴＥＰ３２の判定結果がＹＥＳとなる場合には、画像処理ユニット１は、対象物の種別判定を行なうために、まず、基準画像（グレースケール画像）上での各対象物の上下方向の対称性の度合いの高低（対称性が高いか否か）を判断する（ＳＴＥＰ３３）。

この判断処理は、図６のフローチャートで示す如く実行される。同図６を参照して、まず、基準画像から、各２値化対象物を包含するグレースケール対象物の画像を抽出する（ＳＴＥＰ５１）。

グレースケール対象物の画像は、グレースケール画像で捉えられている個々の物体（例えば人）の全体を含む最小限のサイズもしくはそれに近いサイズの画像を意味し、その画像の高輝度領域が、前記ＳＴＥＰ７にて２値化対象物として抽出されるものである。

この処理ＳＴＥＰ５１の処理を図８を参照して具体的に説明する。図８は、基準画像（グレースケール画像）における人の画像の例を模式的に示したものであり、斜線を付した部分１００が人の高輝度領域で、前記ＳＴＥＰ７で２値化対象物として抽出される部分である。この例では、人の頭部を含む上部だけが２値化対象物１００として抽出されることとなる。また、図８に示す破線は、基準画像（グレースケール画像）上で見られる人の全体の輪郭（エッジ線）を示している。この破線で囲まれた部分１０２がグレースケール対象物である。そして、ＳＴＥＰ５１では、このようなグレースケール対象物を含む方形状の画像（図８の太線枠で囲まれた画像）を抽出する。

ＳＴＥＰ５１の処理では、まず、図８に示すように、基準画像上で、２値化対象物１００の上側と下側とにそれぞれ複数個のマスク領域ＭＡＳＫが上下方向に並べて設定される。図示の例では、２値化対象物１００の上端から上側に３個のマスク領域ＭＡＳＫが配列され、２値化対象物の下端から下側に５個のマスク領域ＭＡＳＫが配列される。

各マスク領域ＭＡＳＫは、互いに同一サイズの方形状の領域で、その横幅Ｗ１と縦幅Ｈ１とは、前記ＳＴＥＰ１３で算出された２値化対象物１００の車両１０からの距離（Ｚ方向の距離）に応じて設定される。すなわち、各マスク領域ＭＡＳＫの横幅Ｗ１と縦幅Ｈ１とをそれぞれ前記式（２）、（３）に基づき、実空間の長さに変換してなる値が、所定値（あらかじめ定められた固定値）となるように、各マスク領域ＭＡＳＫの横幅Ｗ１と縦幅Ｈ１とが設定される。なお、横幅Ｗ１を実空間に変換したときの値は、一般的な人の肩幅よりも若干、広い値である。また、マスク領域の配列個数は、最上段のマスク領域ＭＡＳＫの上端から最下段のマスク領域ＭＡＳＫの下端までの長さを実空間の長さに変換したときの値が、一般的な人の身長よりも、ある程度の余裕をもって長くなるように決定される。

次いで、以下の要件（Ａ）〜（Ｃ）を満たすマスク領域ＭＡＳＫの全体を包含する最小の方形状の画像領域が、グレースケール対象物１０２の画像として抽出される。
（Ａ）マスク領域ＭＡＳＫの輝度の分散が所定の閾値以上である。
（Ｂ）基準画像（右画像）におけるマスク領域ＭＡＳＫと、これに対応する左画像のマスク領域との相関度（輝度分布の一致度合い）が高い。
（Ｃ）右画像におけるマスク領域ＭＡＳＫと、これに対応する左領域のマスク領域との視差が、２値化対象物１００の視差とほぼ同じである（それらの視差の差の絶対値が所定値以下である）。

要件（Ａ）は、マスク領域ＭＡＳＫに人などの物体の画像と背景画像とが含まれていることを意味し、要件（Ｂ）は、右画像のマスク領域ＭＡＳＫとこれに対応する左画像のマスク領域との両者に単一の同じ対象物が含まれていることを意味し、要件（Ｃ）は、マスク領域ＭＡＳＫに含まれる物体の車両１０からの距離が、２値化対象物１００の視差から算出される該物体の車両１０からの距離とほぼ同じであることを意味する。

なお、要件（Ｂ）における相関度（輝度分布の一致度合い）は、例えば、右画像のマスク領域ＭＡＳＫとこれに対応する左画像のマスク領域とで、それらの領域の互いに対応する画素の輝度値の差の絶対値を、該マスク領域の全画素について加え合わせてなる絶対差分和（いわゆるＳＡＤ）に基づいて判定され、該絶対差分和の値が所定値以下であるとき、要件（Ｂ）が満たされると判定される。また、要件（Ｃ）に関し、右画像におけるマスク領域ＭＡＳＫと、これに対応する左領域のマスク領域との視差は、例えば、それぞれのマスク領域における横方向（ｘ方向）での輝度の変化点（輝度の変化量が所定値以上となる点）の視差として算出される。そして、その視差と、２値化画像の視差との差の絶対値が所定値以下であるときに、要件（Ｃ）が満たされると判定される。

以上説明したＳＴＥＰ５１の処理により、各２値化対象物に対応するグレースケール対象物の画像が抽出される。図８の例では、同図の太線で示す画像領域１０４が、グレースケール対象物１０２の画像として抽出される。なお、図８の例では、２値化対象物１００の上側の各マスク領域ＭＡＳＫは、前記要件（Ａ）〜（Ｃ）のうちのいずれかを満たさず、また、２値化対象物１００の下側の各マスク領域ＭＡＳＫのうち、最下段のマスク領域ＭＡＳＫが要件（Ａ）〜（Ｃ）のうちのいずれかを満たさず、且つ、下から２番目のマスク領域ＭＡＳＫが要件（Ａ）〜（Ｃ）のうちのすべてを満たしていることとなる。２値化対象物１００の下側の各マスク領域ＭＡＳＫのうち、下から２番目のマスク領域ＭＡＳＫよりも上側の各マスク領域ＭＡＳＫは、要件（Ａ）〜（Ｃ）の全ての要件が満たされている場合と、いずれかの要件（Ａ）〜（Ｃ）が満たされていない場合とがある。

図６の説明に戻って、上記のように、各２値化対象物に対応するグレースケール対象物の画像を抽出した後、画像処理ユニット１は、次に、この画像の上部と下部とに、グレースケール対象物の上下方向の対称性の度合いを判定するための対称性判定用マスク領域ＵＭＡＳＫ，ＤＭＡＳＫを設定する（ＳＴＥＰ５２）。この場合、図９に示す如く、各対称性判定用マスク領域ＵＭＡＳＫ，ＤＭＡＳＫは、その横幅Ｗ３が、グレースケール対象物１０２の画像１０４の横幅Ｗ２（＝前記マスク領域ＭＡＳＫの横幅Ｗ１）と同じで、且つ、縦方向の長さＨ３が、グレースケール対象物１０２の画像１０４の縦方向の長さＨ２の所定割合の長さ（Ｈ２に１より小さい正の定数を乗じた長さ）となる方形状の領域である。なお、本実施形態では、各対称性判定用マスク領域ＵＭＡＳＫ，ＤＭＡＳＫの縦方向の長さＨ３は、グレースケール対象物１０２の画像１０４の縦方向の長さＨ２の１／２（＝Ｈ２／２）よりも小さいが、Ｈ２／２と同じであってもよい。すなわち、グレースケール対象物１０２の画像１０４を上下に２分割した領域を対称性判定用マスク領域ＵＭＡＳＫ，ＤＭＡＳＫとして設定してもよい。また、対称性判定用マスク領域ＵＭＡＳＫ，ＤＭＡＳＫの横幅Ｗ３は、グレースケール対象物１０２の画像１０４の横幅Ｗ２よりも若干小さくてもよい。

次いで、画像処理ユニット１は、対称性判定用マスク領域ＵＭＡＳＫ，ＤＭＡＳＫの相関度（輝度分布の一致度合い）の高低を判断する（ＳＴＥＰ５３）。このとき、該相関度が高いと判断したときには、画像処理ユニット１は、該グレースケール対象物の上下方向の対称性の度合いが高いと判断する（ＳＴＥＰ５４）。一方、該相関度が低いと判断したときには、画像処理ユニット１は、該グレースケール対象物の上下方向の対称性の度合いが低いと判断する（ＳＴＥＰ５５）。この場合、ＳＴＥＰ５３の判断は、具体的には、対称性判定用マスク領域ＵＭＡＳＫ，ＤＭＡＳＫの前記絶対差分和を所定の閾値と比較することで行なわれ、該絶対差分和が所定の閾値以下であるときに、相関度が高いと判断され、該絶対差分和が所定の閾値よりも大きいときに、相関度が低いと判断される。

以上がＳＴＥＰ３３の処理の詳細である。この場合、対象物が、人などの生体である場合には、一般に、上下方向の対称性の度合いが低いので、ＳＴＥＰ３３の処理によって、該対象物は、上下方向の対称性の度合いが低いと判断される。一方、自動販売機や電柱などの生体以外の種別の対象物は、上下方向の対称性の度合いが高いので、ＳＴＥＰ３３の処理によって、該対象物は、上下方向の対称性の度合いが低いと判断される。

図５のフローチャートの説明に戻って、上記ＳＴＥＰ３３でグレースケール対象物の上下方向の対称性の度合いが高いと判断された場合には、画像処理ユニット１は、該対象物の種別は、生体以外の種別（電柱などの人工構造物）であると判定する（ＳＴＥＰ３３ａ）。そして、この場合には、該対象物は、歩行者ではないので、画像処理ユニット１は、前記ＳＴＥＰ３７において、該対象物は回避対象ではないと判定する。

一方、ＳＴＥＰ３３でグレースケール対象物の上下方向の対称性の度合いが低いと判断された場合には、画像処理ユニット１は、該対象物は、人などの生体である可能性が高いと判定する（ＳＴＥＰ３３ｂ）。

補足すると、ＳＴＥＰ３３で、上下方向の対象性の度合いが高いと判断されるということは、その対象物の種別が生体以外の種別であると判定することと実質的に同等である。また、ＳＴＥＰ３３で上下方向の対象性の度合いが低いと判断されるということは、その対象物の種別が生体である可能性が高いと判定することと実質的に同等である。従って、ＳＴＥＰ３３ａ、３３ｂの処理そのものを実際の画像処理ユニット１で実行する必要はない。ＳＴＥＰ３３ａ、３３ｂの処理は、本実施形態の説明の便宜上の処理である。

ここで、低頻度ではあるものの、生体以外の種別の対象物が、ＳＴＥＰ３３で上下方向の対称性の度合いが低いと判断される場合もある。また、対象物が歩行者以外の動物である場合にも、ＳＴＥＰ３３で上下方向の対称性の度合いが低いと判断される。

そこで、本実施形態では、画像処理ユニット１は、ＳＴＥＰ３３で上下方向の対称性が度合いが低いと判断された対象物に対して、さらに、ＳＴＥＰ３６において、グレースケール対象物が歩行者（人）であるか否か（より正確には、歩行者である可能性が高いか否か）の判定を行なう歩行者判定処理を実行する（ＳＴＥＰ３４）。この歩行者判定処理は、上下方向の対称性の度合いが低いと判断された対象物に対してのみ、実行される処理である。従って、該歩行者判定処理は、ＳＴＥＰ７で抽出された対象物（より正確には、ＳＴＥＰ３２の判定結果がＹＥＳとなる対象物）から、ＳＴＥＰ３３で上下方向の対称性の度合いが高いと判断された対象物を除外してなる対象物に対して実行される。

この歩行者判定処理の具体的な処理は、前記特許文献１の図５のＳ３４の処理と同じである。従って、本明細書での詳細な説明は省略するが、概略的には、グレースケール対象物および２値化対象物の形状やサイズ、グレースケール対象物の画像（図８の画像１０４）の輝度分布（輝度分散や輝度平均値）などの、あらかじめ決められた各種の特徴量に基づいて対象物が歩行者であるか否の判定を行なう。補足すると、前記特許文献１の図５のＳ３４の処理では、その処理の中でグレースケール対象物の画像を抽出するようにしているが、本実施形態では、このグレースケール対象物の画像の抽出は、前記ＳＴＥＰ３３において行なわれる。従って、本実施形態では、ＳＴＥＰ３４の歩行者判定処理では、グレースケール対象物の画像の抽出を行なう必要はない。

ＳＴＥＰ３４の歩行者判定処理において、対象物（上下方向の対称性の度合いが低い対象物）が、歩行者である可能性が低いと判定された場合（ＳＴＥＰ３４の判定結果がＮＯとなる場合）には、ＳＴＥＰ３７において、該対象物が回避対象でないと判定する。

一方、ＳＴＥＰ３４で対象物（上下方向の対称性の度合いが低い対象物）が、歩行者である可能性が高いと判定された場合（ＳＴＥＰ３４の判定結果がＮＯとなる場合）には、その判定の信頼性を高めるために（対象物が歩行者であるか否かの確定的な判定を行なうために）、画像処理ユニット１は、該対象物が他車両などの人工構造物であるか否かの判定を行なう人工構造物判定処理を実行する（ＳＴＥＰ３５）。この人工構造物判定処理は、前記特許文献１の図５のＳ３５の処理と同じである。従って、本明細書での詳細な説明は省略するが、概略的には、グレースケール画像上での対象物の直線部分や直角部分の有無、あらかじめ定められた登録図形との対象物の画像の一致度合いなどに基づいて行なわれる。

このとき、対象物が人工構造物であると判定された場合（ＳＴＥＰ３５の判定結果がＹＥＳとなる場合）には、画像処理ユニット１は、ＳＴＥＰ３７において対象物が回避対象でないと判定する。

また、ＳＴＥＰ３５で対象物が人工構造物でないと判定された場合（ＳＴＥＰ３５の判定結果がＮＯとなる場合）には、該対象物は歩行者であると確定することとなる。そして、この場合には、画像処理ユニット１は、ＳＴＥＰ３６において対象物が回避対象であると判定する。

一方、前記ＳＴＥＰ３２において、対象物が第２領域ＡＲ２に存在しないと判定された場合（ＳＴＥＰ３２の判定結果がＮＯとなる場合）には、画像処理ユニット１は、次に、対象物の移動方向に関する進入接触判定処理を実行する（ＳＴＥＰ３８）。この進入接触判定処理は、対象物が前記第２領域ＡＲ２に進入し、且つ、車両１０と接触する可能性が高いか否かを判定する処理である。具体的には、対象物の移動ベクトルが現状に維持されると仮定し、この移動ベクトルを含む直線と、車両１０の前端位置における実空間座標系のＸＹ平面との交点のＸ方向位置が求められる。そして、この求めたＸ方向位置が、車両１０の車幅中心線Ｌ０のＸ方向位置を中心とする所定範囲（車両１０の車幅よりも若干広い範囲）に存在することを要件（以下、進入接触要件という）として、この進入接触要件が満たされるか否かが判定される。

ＳＴＥＰ３９において、対象物が前記進入接触要件を満たす場合（ＳＴＥＰ３８の判定結果がＹＥＳとなる場合）には、対象物が将来、車両１０と接触する可能性が高い。そこで、この場合には、画像処理ユニット１は、前記ＳＴＥＰ３６において、該対象物が回避対象であると判定し、回避対象判定処理を終了する。

また、ＳＴＥＰ３８において、対象物が前記進入接触要件を満たさない場合（ＳＴＥＰ３８の判定結果がＮＯとなる場合）には、対象物が車両１０と接触する可能性が低いので、画像処理ユニット１は、前記ＳＴＥＰ３７において、該対象物が回避対象で無いと判定し、回避対象判定処理を終了する。

以上がＳＴＥＰ１７の回避対象判定処理の詳細である。補足すると、前記ＳＴＥＰ３３の処理は、本発明における上下対称性判断手段を構成する処理である。そして、このＳＴＥＰ３３の処理とＳＴＥＰ３３ａ，３３ｂの処理とを合わせた処理が、本発明における第１種別判定手段を構成する処理である。なお、前記したように、ＳＴＥＰ３３ａ，３３ｂの処理は省略してもよいので、前記ＳＴＥＰ３３の処理が、上下対称性判断手段としての機能と、第１種別判定手段としての機能とを併せ持つ処理であるとみなすこともできる。また、ＳＴＥＰ３３〜３５の処理は、本発明における対象部物種別判定手段を構成する処理である。この場合、ＳＴＥＰ３４，３５の処理が、本発明における第２種別判定手段手段に相当する。また、前記ＳＴＥＰ１〜７の処理と、ＳＴＥＰ５１の処理とは本発明における対象物抽出手段を構成する処理である。

以上説明した本実施形態によれば、ＳＴＥＰ３４の歩行者判定処理やＳＴＥＰ３５の人工構造物判定処理の実行前に、ＳＴＥＰ３３において、対象物（グレースケール対象物）の上下方向の対称性の度合いの高低が判断される。そして、対称性の度合いが高いと判断された対象物は、その種別が歩行者を含む生体以外の種別であるとされ、ひいては、ＳＴＥＰ３７において回避対象でないと判定される。この場合、対象物（グレースケール対象物）の上下方向の対称性の度合いが高いので、該対象物が生体以外の種別であるとの判定の信頼性は高い。そして、その判定は、対称性の度合いだけを基に適切になされる。

また、ＳＴＥＰ３４の歩行者判定処理では、ＳＴＥＰ３３で対称性の度合いが高いと判断された対象物は除外され、対称性の度合いが低いと判断された対象物についてのみ、ＳＴＥＰ３４の歩行者判定処理が実行される。このため、特に、複数の２値化対象物がＳＴＥＰ７で抽出され、その各２値化対象物に関するＳＴＥＰ３２の判定結果がＹＥＳとなるような場合に、歩行者判定処理の判定対象を減らすことができる。つまり、ＳＴＥＰ３３で上下方向の対象性の度合いが高いと判定された対象物については、ＳＴＥＰ３４の歩行者判定処理やＳＴＥＰ３５の人工構造物判定処理を実行せずに済む。従って、歩行者判定処理の演算処理の負荷を軽減できる。

なお、以上説明した実施形態では、本発明における所定種類の生体を人（歩行者）とした場合を例に採って説明したが、人以外に、犬や猫などの生体（特に地上を移動する動物）をＳＴＥＰ３４における判定対象に含めてもよい。あるいは、ＳＴＥＰ３３で対称性の度合いが低いと判断される対象物は、生体である可能性が高いので、ＳＴＥＰ３４，３５の処理を実行せずに、該対象物を直ちに、回避対象であると判定してもよい。もしくは、対称性の度合いが低いと判断された対象物について、ＳＴＥＰ３４の処理を省略してＳＴＥＰ３５の処理だけを実行するようにしてもよい。

また、前記実施形態では、前記グレースケール対象物１０２の上下方向の対称性の度合いを、該グレースケール対象物１０２の画像１０４の上部と下部の対称性判定用マスク領域ＵＭＡＳＫ，ＤＭＡＳＫの相関度（輝度分布の一致度合い）に基づいて判断した。ただし、その判断手法は、これに限られるものではなく、対称性判定用マスク領域ＵＭＡＳＫ，ＤＭＡＳＫにおけるグレースケール対象物１０２の形状（エッジ線の形状）の一致度合いに基づいて、該対象物１０２の上下方向の対称性の度合いを判断するようにしてもよい。

本発明の一実施形態における車両の周辺監視装置の全体構成を示すブロック図。 図１の周辺監視装置を搭載した車両（車両）の外観を示す斜視図。 図１の周辺監視装置に備えた画像処理ユニットの処理を示すフローチャート。 図１の周辺監視装置に備えた画像処理ユニットの処理を示すフローチャート。 図４のＳＴＥＰ１７の処理を示すフローチャート。 図５のＳＴＥＰ３３の処理を示すフローチャート。 図５のＳＴＥＰ５１，５２の処理で使用する領域を説明するための図。 図５のＳＴＥＰ３３の処理を説明するための図。 図５のＳＴＥＰ３３の処理を説明するための図。

符号の説明

１…画像処理ユニット（対象物抽出手段、生体判定手段、上下対象性判断手段）、２Ｒ，２Ｌ…赤外線カメラ（撮像装置）、７…表示装置（機器）、１０…車両、ＳＴＥＰ１〜７、５１…対象物抽出手段、ＳＴＥＰ３３〜３５…対象物種別判定手段、ＳＴＥＰ３３…上下対称性判断手段、ＳＴＥＰ３３，３３ａ，３３ｂ…第１種別判定手段、ＳＴＥＰ３４，３５…第２種別判定手段、ＳＴＥＰ１７…回避対象判定手段、ＳＴＥＰ１８，１９…車両機器制御手段。

Claims (8)

1. 車両に搭載された撮像装置の撮像画像から、該撮像装置の撮像領域に存在する対象物を抽出する対象物抽出手段と、その抽出された対象物の種別を前記撮像画像における該対象物の画像に基づいて判定する対象物種別判定手段とを備えた車両の周辺監視装置において、
   前記抽出された対象物の上下方向における対称性の度合いの高低を前記撮像画像における該対象物の画像に基づき判断する上下対称性判断手段を備え、
   前記対象物種別判定手段は、前記上下対称性判断手段の判断結果に基づいて前記抽出された対象物の種別を判定する第１種別判定手段を少なくとも有することを特徴とする車両の周辺監視装置。
2. 前記第１種別判定手段は、前記上下対称物判断手段により前記対称性の度合いが高いと判断された対象物の種別を生体以外の種別であると判定することを特徴とする請求項１記載の車両の周辺監視装置。
3. 前記対象物種別判定手段は、前記抽出された対象物の種別を、少なくとも人を含む所定種類の生体と、該所定種類の生体以外の種別とに区別して判定する手段であり、前記抽出された対象物のうち、前記第１種別判定手段により生体以外の種別であると判定された対象物を除外してなる対象物に対して、該対象物が前記所定種類の生体であるか否かを、前記撮像画像における該対象物の画像に基づいて判定する第２種別判定手段をさらに有することを特徴とする請求項２記載の車両の周辺監視装置。
4. 前記撮像装置は赤外線カメラであると共に、前記撮像画像はグレースケール画像であり、
   前記対象物抽出手段は、前記撮像画像から所定値以上の輝度値を有する領域を２値化対象物として抽出する手段と、少なくとも該２値化対象物と前記グレースケール画像の輝度値データとを基に、該グレースケール画像上で前記２値化対象物を包含する領域をグレースケール対象物の画像として抽出する手段とから構成され、
   前記上下対称性判断手段が前記対称性の度合いを判断する対象物は、前記グレースケール対象物であることを特徴とする請求項１〜３のいずれか１項に記載の車両の周辺監視装置。
5. 少なくとも前記対象物種別判定手段の判定結果を基に、前記対象物抽出手段により抽出された対象物が前記車両との接触を回避すべき回避対象であるか否かを判定する回避対象判定手段と、少なくとも該回避対象判定手段の判定結果に応じて前記車両に搭載された所定の機器を制御する車両機器制御手段とを備えたことを特徴とする請求項１〜４のいずれか１項に記載の車両の周辺監視装置。
6. 請求項１〜５のいずれか１項に記載の車両の周辺監視装置を搭載したことを特徴とする車両。
7. 車両に搭載された撮像装置の撮像画像から、該撮像装置の撮像領域に存在する対象物を抽出するステップと、その抽出された対象物の種別を前記撮像画像における該対象物の画像に基づいて判定するステップとを備えた車両の周辺監視方法において、
   前記抽出された対象物の上下方向における対称性の度合いの高低を前記撮像画像における該対象物の画像に基づき判断するステップを備え、
   前記抽出された対称物の種別を判定するステップは、前記対称性の度合いの高低の判断結果に基づいて該対象物の種別を判定するステップを少なくとも有することを特徴とする車両の周辺監視方法。
8. 車両に搭載された撮像装置の撮像画像から、該撮像装置の撮像領域に存在する対象物を抽出し、その抽出された対象物の種別を前記撮像画像における該対象物の画像に基づいて判定する処理をコンピュータに実行させる機能を有する車両の周辺監視用プログラムであって、
   前記抽出された対象物の上下方向における対称性の度合いの高低を前記撮像画像における該対象物の画像に基づき判断する処理と、
   前記対称性の度合いの判断結果に基づいて対象物の種別を判定する処理とをコンピュータに実行させる機能を備えることを特徴とする車両の周辺監視用プログラム。

Images