JP2007336091A - 対象物検出装置、車両、対象物検出方法、並びに対象物検出用プログラム - Google Patents

Abstract

【課題】車両のピッチング時に画像上に生じる残像の影響を低減して、車両に搭載された撮像手段により得られた車両周辺の画像から歩行者等の対象物の種類を精度良く判定することができる対象物検出装置、車両、対象物検出方法、並びに対象物検出用プログラムを提供する。
【解決手段】対象物判定手段１２は、少なくとも車両１０のピッチングが検出された時刻を含む所定期間内に撮像手段２Ｒ，２Ｌを介して取得された複数の画像に対し、該複数の画像から対象物抽出手段１１によりそれぞれ抽出された対象物の画像部分の輝度値を、該複数の画像間の対応する画素毎に積算した輝度積算値を画素データとする輝度積算画像を表す輝度積算データを算出する手段と、該算出された輝度積算データが表す輝度積算画像のうちの輝度積算値が所定値以上である部分を抽出する手段とを備え、該抽出された部分の特徴量に基づいて、該対象物の種類を判定する。
【選択図】図１

Description

本発明は、車両に搭載されたカメラ等の撮像手段を介して取得した画像から、車両の周辺に存在する歩行者等の対象物を検出する装置及び方法に関する。さらに、その装置の処理をコンピュータに実行させるためのプログラムに関する。

近年、車両にＣＣＤカメラ等の撮像手段を搭載して周辺を撮像し、撮像された画像から車両の周辺に存在する歩行者等の対象物を検出し、車両との接触を回避すべき対象を判定して、運転者への情報の提示等を行う技術が知られている（例えば特許文献１参照）。

特許文献１の車両の周辺監視装置においては、２つの赤外線カメラにより得られた車両周辺の画像を２値化処理して対象物を抽出し、該対象物と車両との相対位置や相対速度を検出して、該対象物と車両との接触の可能性及び対象物の種類を判定する。このとき、特許文献１の車両の周辺監視装置では、車両前方の接近判定領域（対象物の車両に対する相対速度や車幅等に応じて定まる領域）に対象物が存在する場合に、該対象物の種類（歩行者、他車両、人工構造物等）を判定する。対象物の種類を判定する際には、対象物の形状、グレースケール画像上での輝度分散等の特徴が用いられる。そして、対象物が歩行者である場合に、該対象物は車両との接触を回避すべき対象であると判定される。

一方、車両のピッチング時には、撮像手段の撮像性能に比べて対象物の車両に対する相対位置の時間変化が大きくなるために、車両に搭載された撮像手段から得られた道路周辺の画像上で、対象物の残像が生じる場合がある。例えば、車両が上方向にピッチングしている場合には、画像上で対象物が下側にずれるため上側に残像が生じ、車両が下方向にピッチングしている場合には、画像上で対象物が上側にずれるため下側に残像が生じる。そして、このように残像が生じている画像から対象物を抽出すると、残像の影響で、対象物の形状、輝度分散等の特徴が変化する。このため、例えば対象物が歩行者である場合でも、画像上での対象物の形状、輝度分散等の特徴が、残像が生じていない画像上で一般に歩行者が示す特徴と相違することとなる。

しかしながら、特許文献１の車両の周辺監視装置では、このような残像の影響は考慮されていないため、車両のピッチング時には、例えば対象物が歩行者である場合でも、対象物の種類を判定する際に歩行者でないと誤判定される可能性がある。このため、車両のピッチング時に、画像から抽出された対象物の種類を適切に判定して歩行者等の対象物を検出し得る技術が望まれていた。
特開２００３−２８４０５７号公報

本発明は、かかる背景に鑑みてなされたものであり、車両のピッチング時に画像上に生じる残像の影響を低減して、車両に搭載された撮像手段により得られた車両周辺の画像から歩行者等の対象物の種類を精度良く判定することができる対象物検出装置、車両、対象物検出方法、並びに該対象物検出装置の処理をコンピュータに実行させる対象物検出用プログラムを提供することを目的とする。

かかる目的を達成するために、本発明の対象物検出装置は、車両に搭載された撮像手段を介して取得した画像から、該車両の周辺に存在する対象物を逐次抽出する対象物抽出手段と、該対象物抽出手段により抽出された対象物の種類を判定する対象物判定手段とを備えた対象物検出装置において、前記車両のピッチングを逐次検出するピッチング検出手段を備え、前記対象物判定手段は、少なくとも前記画像が前記ピッチング検出手段によりピッチングが検出されたときに取得された画像である場合に、該画像が取得された時刻を含む所定期間内に前記撮像手段を介して取得された複数の画像に対し、該複数の画像から前記対象物抽出手段によりそれぞれ抽出された対象物の画像部分の輝度値を、該複数の画像間の対応する画素毎に積算した輝度積算値を画素データとする輝度積算画像を表す輝度積算データを算出する手段と、該算出された輝度積算データが表す輝度積算画像のうちの輝度積算値が所定値以上である部分を抽出する手段とを備え、該抽出された部分の特徴量に基づいて、該対象物の種類を判定することを特徴とする（第１発明）。

この第１発明の対象物検出装置において、前記対象物抽出手段により、前記撮像手段を介して取得した画像から、前記車両の周辺に存在する歩行者等の対象物が逐次抽出される。ここで、前記車両に搭載された撮像手段を介して取得された画像上で、輝度値の高い領域が対象物に相当する領域であり、前記対象物抽出手段は、例えば画像に２値化処理等を施して、該画像内の画素の輝度値が所定閾値以上である領域を対象物の画像部分として抽出する。そして、前記対象物判定手段により、例えば前記抽出された対象物の画像部分に基づいて、該抽出された対象物の種類が判定される。

このとき、車両のピッチング時には、取得された画像上で対象物の残像が生じることがある。例えば、車両が上方向にピッチングしている場合には、画像上で対象物の上側に残像が生じ、車両が下方向にピッチングしている場合には、画像上で対象物の下側に残像が生じる。そして、このように残像が生じている画像から対象物を抽出すると、残像の画像部分が対象物の画像部分に含まれて抽出される。このため、残像の影響で、抽出された対象物の画像部分の全体的な形状、輝度分散等の特徴量が変化する。

一方、車両のピッチング時には、車両が上下に振動しているので、取得される画像の時系列において、対象物は上下に振動して撮像され、対象物の上下に交互に残像が生じることとなる。よって、対象物自体は時系列で連続して撮像されているが、対象物の上側又は下側に生じる残像は、周期的に撮像されるのみである。

そこで、前記対象物判定手段は、前記画像が前記ピッチング検出手段により車両のピッチングが検出されたとき（車両が画像上に残像が生じる程度にピッチングしているとき）に取得された画像である場合に、該画像が取得された時刻を含む所定期間内に前記撮像手段を介して取得された複数の画像に対する輝度積算データを算出する。この輝度積算データは、前記複数の画像から前記対象物抽出手段によりそれぞれ抽出された対象物の画像部分の輝度値を、該複数の画像間の対応する画素毎に積算した輝度積算値を画素データとする輝度積算画像を表す。なお、前記ピッチング検出手段は、車両のピッチングによって変化する状態量の検出値（例えば、車両の上下方向の並進速度や、車両のピッチング軸周りの角速度等）の大きさが所定閾値以上であるときに、ピッチングが検出されたと判断し、該検出値の大きさが該所定閾値未満であるときに、ピッチングが検出されていないと判断する。

そして、前記対象物判定手段は、前記算出された輝度積算データが表す輝度積算画像のうちの輝度積算値が所定値以上である部分を抽出する。すなわち、前記輝度積算値が所定値以上の部分は、各画像上での対象物自体の画像部分の輝度値が積算された部分であるので、この部分の特徴量は、残像の影響が低減されたものとなる。従って、前記対象物判定手段により、この部分の特徴量に基づいて、対象物の種類を判定することで、車両のピッチング時に、画像上に生じる残像の影響を低減して、車両周辺の画像から抽出された歩行者等の対象物の種類を精度良く判定することができる。

なお、前記対象物判定手段は、前記画像が前記ピッチング検出手段によりピッチングが検出されていないとき（車両が画像上に残像が生じる程度にピッチングしていないとき）に取得された画像である場合には、該画像から前記対象物抽出手段により抽出された対象物の画像部分の全体的な形状、輝度分散等の特徴量に基づいて、該対象物の種類を判定すればよい。

また、前記第１発明の対象物検出装置において、前記対象物判定手段における前記輝度積算データを算出する手段は、所定の演算処理周期の各時刻において、該時刻から所定時間前までの期間を前記所定期間として、該所定期間内に前記撮像手段を介して取得された複数の画像に対し、前記輝度積算データを逐次算出する手段であることが好ましい（第２発明）。

これによれば、前記対象物判定手段により、所定の演算処理周期の各時刻において、該時刻から所定時間前までの期間を前記所定期間として、該所定期間内に前記撮像手段を介して取得された複数の画像に対し、前記輝度積算データが逐次算出される。なお、前記所定期間は、例えば車両のピッチングの周期より長い期間である。そして、前記対象物判定手段は、前記画像が前記上下方向の速度の大きさが所定閾値以上であるときに取得された画像である場合に、該画像が取得された時刻から所定時間前までの前記所定期間内に、前記撮像手段を介して取得された複数の画像に対して算出された前記輝度積算データを直ちに用いて、対象物の種類を判定することで、車両のピッチング時に、画像上に生じる残像の影響を低減して、車両周辺の画像から抽出された対象物の種類を精度良く判定することができる。

また、前記第１又は第２発明の対象物検出装置において、前記対象物抽出手段により抽出された対象物の、前記車両に対する距離を逐次検出する距離検出手段を備え、前記対象物判定手段は、前記複数の画像からそれぞれ抽出された対象物の、前記距離検出手段により検出された距離に基づいて、該複数の画像からそれぞれ抽出された対象物の画像部分の大きさを補正する手段を備え、該補正された画像部分を用いて、前記輝度積算データを算出することが好ましい（第３発明）。

すなわち、対象物の車両に対する距離が変化すると、該車両に搭載された撮像手段を介して取得された画像上で、該対象物の画像部分の大きさが該距離の変化に応じて変化する。そこで、前記対象物判定手段は、前記複数の画像からそれぞれ抽出された対象物の、前記距離検出手段により検出された距離に基づいて、該複数の画像からそれぞれ抽出された対象物の画像部分の大きさを補正する。すなわち、前記複数の画像における対象物の画像部分の大きさが、それぞれ対象物の車両に対する距離の変化の影響を低減するように補正される。

そして、前記対象物判定手段により、前記補正された画像部分を用いて前記輝度積算データが算出される。なお、補正された画像部分における画素は、画像部分の大きさの補正に応じて、取得された画像の画素に基づいて仮想的に算出される画素であり、前記複数の画像間で対応付けられる。従って、算出された輝度積算データのうちの輝度積算値が所定値以上である部分は、対象物の車両に対する距離の変化によらずに、各画像上での対象物自体の画像部分の輝度値がより適切に積算されたものとなる。よって、前記対象物判定手段により、この部分の特徴量に基づいて対象物の種類を判定することで、車両のピッチング時に、画像上に生じる残像の影響を低減して、車両周辺の画像から抽出された対象物の種類を精度良く判定することができる。

次に、本発明の車両は、前記第１〜第３発明のうちいずれかの対象物検出装置が搭載されたことを特徴とする（第４発明）。この第４発明の車両によれば、本発明の対象物検出装置と同等の効果を奏する車両を実現できる。

次に、本発明の対象物検出方法は、車両に搭載された撮像手段を介して取得した画像から、該車両の周辺に存在する対象物を逐次抽出し、該抽出された対象物の種類を判定する対象物検出方法であって、前記車両のピッチングを逐次検出するピッチング検出ステップと、少なくとも前記画像が前記ピッチング検出ステップでピッチングが検出されたときに取得された画像である場合に、該画像が取得された時刻を含む所定期間内に前記撮像手段を介して取得された複数の画像に対し、該複数の画像からそれぞれ抽出された対象物の画像部分の輝度値を、該複数の画像間の対応する画素毎に積算した輝度積算値を画素データとする輝度積算画像を表す輝度積算データを算出し、該算出された輝度積算データが表す輝度積算画像のうちの輝度積算値が所定値以上である部分を抽出し、該抽出された部分の特徴量に基づいて、該対象物の種類を判定する対象物判定ステップとを備えたことを特徴とする（第５発明）。

この第５発明の対象物検出方法によれば、前記第１発明に関して説明したように、前記画像が前記ピッチング検出ステップでピッチングが検出されたとき（車両が画像上に残像が生じる程度にピッチングしているとき）に取得された画像である場合に、前記輝度積算データのうちの輝度積算値が所定値以上の部分は、各画像上での対象物自体の画像部分の輝度値が積算された部分であるので、この部分の特徴量は、残像の影響が低減されたものとなる。なお、前記ピッチング検出ステップでは、車両のピッチングによって変化する状態量の検出値（例えば、車両の上下方向の並進速度や、車両のピッチング軸周りの角速度等）の大きさが所定閾値以上であるときに、ピッチングが検出されたと判断し、該検出値の大きさが該所定閾値未満であるときに、ピッチングが検出されていないと判断する。

そして、前記対象物判定ステップにおいて、この残像の影響が低減された部分の特徴量に基づいて、対象物の種類が判定される。よって、本発明によれば、車両のピッチング時に、画像上に生じる残像の影響を低減して、車両周辺の画像から抽出された対象物の種類を精度良く判定することができる。

次に、本発明の対象物検出用プログラムは、車両に搭載された撮像手段を介して取得した画像から逐次抽出される、該車両の周辺に存在する対象物の種類を判定する処理をコンピュータに実行させる対象物検出用プログラムであって、前記車両のピッチングによって変化する状態量の検出値を逐次取得する処理と、少なくとも前記画像が前記検出値によりピッチングが検出されたときに取得された画像である場合に、該画像が取得された時刻を含む所定期間内に前記撮像手段を介して取得された複数の画像に対し、該複数の画像からそれぞれ抽出された対象物の画像部分の輝度値を、該複数の画像間の対応する画素毎に積算した輝度積算値を画素データとする輝度積算画像を表す輝度積算データを算出する処理と、前記算出された輝度積算データが表す輝度積算画像のうちの輝度積算値が所定値以上である部分を抽出する処理と、前記抽出された部分の特徴量に基づいて、該対象物の種類を判定する処理とを前記コンピュータに実行させる機能を有することを特徴とする（第６発明）。

この第６発明の対象物検出用プログラムによれば、前記第１発明に関して説明した効果を奏し得る処理をコンピュータに実行させることができる。

本発明の一実施形態を添付の図面を参照して説明する。図１は、本実施形態による対象物検出装置の機能ブロック図であり、図２は、図１に示した対象物検出装置の車両への取り付け態様の説明図であり、図３は、図１の対象物検出装置における対象物検出・注意喚起動作を示すフローチャートである。また、図４は、図３の対象物検出・注意喚起動作における処理画像の例示図である。

図１，２を参照して、本実施形態の対象物検出装置は、ＣＰＵ（中央演算装置）を備えた電子ユニットである画像処理ユニット１を有する。画像処理ユニット１には、２つの赤外線カメラ２Ｒ，２Ｌが接続されると共に、自車両１０の走行状態を検出するセンサとして、自車両１０のヨーレートを逐次検出するヨーレートセンサ３と、自車両１０の走行速度（車速）を逐次検出する車速センサ４と、自車両１０のブレーキの操作を逐次検出するためのブレーキセンサ５と、自車両１０の前部（赤外線カメラ２Ｒ，２Ｌの近傍箇所）の上下方向の加速度を逐次検出する加速度センサ１４とが接続されている。

また、画像処理ユニット１には、自車両１０に搭載された、音声等による聴覚的な注意喚起情報を出力するためのスピーカ６と、赤外線カメラ２Ｒ，２Ｌにより撮像された画像や視覚的な注意喚起情報を表示するための表示装置７とが接続されている。表示装置７は、例えば、自車両１０のフロントウィンドウに画像等の情報を表示するＨＵＤ（ヘッドアップディスプレイ）７ａ等を備えている。ＨＵＤ７ａは、自車両１０のフロントウィンドウの運転者の前方視界を妨げない位置に画面が表示されるように設けられている。

赤外線カメラ２Ｒ，２Ｌは、遠赤外線を検出可能なカメラであり、対象物の温度が高いほど、その出力信号レベルが高くなる（輝度が増加する）特性を有している。なお、赤外線カメラ２Ｒ，２Ｌは、本発明の撮像手段に相当する。

図２に示すように、赤外線カメラ２Ｒ，２Ｌは、自車両１０の前方を撮像するために、自車両１０の前部に所定の間隔で取り付けられている。そして、赤外線カメラ２Ｒ，２Ｌは、それらの光軸が互いに平行であって、且つ、それぞれの光軸の路面からの高さが等しくなるように自車両１０の前部に固定されている。

画像処理ユニット１は、詳細の図示は省略するが、Ａ／Ｄ変換回路、ＣＰＵ、ＲＡＭ、ＲＯＭ、画像メモリ等を含む電子回路により構成され、赤外線カメラ２Ｒ，２Ｌ、ヨーレートセンサ３、車速センサ４、ブレーキセンサ５、加速度センサ１４の出力（アナログ信号）がＡ／Ｄ変換回路を介してデジタル信号に変換されて入力される。そして、画像処理ユニット１は、所定の演算処理周期毎に、入力されたデータを基に、歩行者等の対象物を検出する処理や、その検出した対象物に関する所定要件が満たされるか否かを判定し、該要件が満たされる場合にスピーカ６や表示装置７を介して運転者に注意喚起（対象物に対する運転者の注意の喚起）を行う処理等を実行する。これらの処理は、画像処理ユニット１のＲＯＭに予め実装されたプログラムを画像処理ユニット１により実行することにより実現され、そのプログラムは、本発明の対象物検出用プログラムを含んでいる。

より詳しくは、画像処理ユニット１は、上記プログラムにより実現される機能として、取得された画像から自車両１０の周辺に存在する対象物を逐次抽出する対象物抽出手段１１と、抽出された対象物の種類を判定する対象物判定手段１２と、対象物の自車両１０に対する距離を逐次検出する距離検出手段１３とを備える。

対象物抽出手段１１は、赤外線カメラ２Ｒ，２Ｌを介して取得された画像から、自車両１０の周辺に存在する対象物を抽出する。具体的には、対象物抽出手段１１は、赤外線カメラ２Ｒ，２Ｌを介して取得された画像のうちの所定の基準画像（本実施形態では、赤外線カメラ２Ｒを介して取得された画像とする）に２値化処理等を施して、さらにラベリング処理等を施し、対象物の画像部分を抽出する。

距離検出手段１３は、基準画像上で対象物抽出手段１１により抽出された対象物に対応する対象物を赤外線カメラ２Ｌを介して取得された画像上で探索し、２つの赤外線カメラ２Ｒ，２Ｌから得られる画像上での対象物のずれ（視差）に基づいて、対象物の自車両１０に対する距離を検出する。なお、画像に基づいて対象物の距離を検出する具体的な手法としては、例えば、上述の特許文献１に記載したような手法を用いることができる。

対象物判定手段１２は、対象物抽出手段１１により抽出された対象物の種類（歩行者、他車両、人工構造物等）を判定する。具体的には、対象物判定手段１２は、所定の演算処理周期の各時刻において、該時刻から所定時間前までの所定期間内に、赤外線カメラ２Ｒを介して取得された複数の画像に対し、輝度積算データを逐次算出する。この輝度積算データは、前記複数の画像から対象物抽出手段１１によりそれぞれ抽出された対象物の画像部分の輝度値を、該複数の画像間の対応する画素毎に積算した輝度積算値を画素データとする輝度積算画像を表す。

そして、対象物判定手段１２は、自車両１０の上下方向の速度の大きさが所定閾値以上であるとき（自車両１０のピッチングが検出されたとき）には、この時刻から所定時間前までの前記所定期間内に取得された複数の画像に対して算出された前記輝度積算データを用いて、対象物の種類を判定する。このとき、対象物判定手段１２は、算出された輝度積算データが表す輝度積算画像のうちの輝度積算値が所定値以上である部分を抽出し、この部分の特徴量に基づいて対象物の種類を判定する。また、自車両１０の上下方向の速度の大きさは、加速度センサ１４により検出された自車両１０の上下方向の加速度を積分して得られる。なお、対象物判定手段１２は、距離検出手段１３の検出結果に基づいて前記複数の画像からそれぞれ抽出された対象物の画像部分の大きさを補正し、該補正した画像部分を用いて前記輝度積算データを算出する。

また、対象物判定手段１２は、自車両１０の上下方向の速度の大きさが所定閾値未満であるとき（自車両１０のピッチングが検出されていないとき）には、この時刻に取得された画像から抽出された対象物の画像部分の全体的な特徴量に基づいて、該対象物の種類を判定する。なお、対象物の種類の判定に用いる対象物の画像部分の全体的な特徴量は、例えば、対象物の形状、輝度分散等である。

次に、本実施形態の対象物検出装置の全体的な作動（対象物検出・注意喚起動作）を、図３に示したフローチャートに従って説明する。図３を参照して、画像処理ユニット１は、所定の演算処理周期毎に、ＳＴＥＰ００１〜ＳＴＥＰ０２０の処理を繰り返して、対象物検出・注意喚起動作を実行する。まず、画像処理ユニット１は、赤外線カメラ２Ｒ，２Ｌの出力信号である赤外線画像を取得して（ＳＴＥＰ００１）、Ａ／Ｄ変換し（ＳＴＥＰ００２）、グレースケール画像を画像メモリに格納する（ＳＴＥＰ００３）。なお、赤外線カメラ２Ｒにより右画像が得られ、赤外線カメラ２Ｌにより左画像が得られる。右画像と左画像とでは、同一の対象物の画像上での横方向（ｘ方向）の位置がずれて表示されるので、このずれ（視差）によりその対象物までの距離を算出することができる。

次に、画像処理ユニット１は、グレースケール画像のうちの基準画像に対して、その画像信号を２値化する（ＳＴＥＰ００４）。すなわち、基準画像の画像信号の輝度値が閾値Ｉthより明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理が行われる。閾値Ｉthは、実験的に予め決定される値である。

図４（ａ）に、ある演算処理周期の時刻（離散系時刻）ｋにおいて赤外線カメラ２Ｒによって得られる画像を２値化した画像を例示する。図４（ａ）において、ハッチングを付した領域が黒であり、太い実線で囲まれた領域が白であることを示している。太い実線で囲まれた領域は、赤外線カメラ２Ｒから得られる画像において、輝度レベルが高く（高温で）、画面上に白色として表示される対象物の領域である。なお、図４（ａ）に示した例は、自車両１０の前方に歩行者が存在しており、自車両１０が直進している場合の例である。

次に、画像処理ユニット１は、２値化処理で「白」となった領域（以下、２値化領域という）からランレングスデータを作成する（ＳＴＥＰ００５）。作成されるランレングスデータは、２値化領域を画像の横方向の１次元の連結画素であるラインの集合で表し、該２値化領域を構成する各ラインをその始点の座標と、始点から終点までの長さ（画素数）とで示したものである。

次に、画像処理ユニット１は、作成されたランレングスデータに基づいて、対象物のラベリングをする（ＳＴＥＰ００６）ことにより、対象物を抽出する（ＳＴＥＰ００７）。すなわち、ランレングスデータで表されたラインのうち、画像の縦方向（ｙ方向）に重なる部分のあるラインを１つの対象物とみなしてラベル（識別子）を付すことにより、画像内の連結した領域を対象物として抽出する。

上述のＳＴＥＰ００５〜００７の処理により、図４（ａ）に示す２値化領域が、図４（ｂ）に例示するように、対象物（２値化対象物）Ｔ_kとして抽出される。このとき、例えばラベルＴ_kの対象物は、ｎ個のランレングスデータＬ１〜Ｌｎで示される。なお、抽出される対象物（２値化対象物）には、道路周辺の歩行者以外に、例えば、他車両、電柱や自動販売機等の人工構造物が含まれる。図４（ｂ）の例では、対象物Ｔ_kは、自車両１０の前方に存在する歩行者に対応する２値化対象物である。

次に、画像処理ユニット１は、抽出された対象物の面積Ｓ、重心位置Ｇｃ、対象物の外接四角形の高さＨｂ、幅Ｗｂ、重心位置Ｇｂ、縦横比ＡＳＰを算出する（ＳＴＥＰ００８）。具体的には、図４（ｂ）の例では、対象物Ｔ_kの面積Ｓ_kは、各ランレングスデータＬｉ（ｉ＝１，．．．，ｎ）で示されるラインの長さを、対象物Ｔ_kのｎ個のランレングスデータについて積算することにより算出する。また、対象物Ｔ_kの重心Ｇｃ_kの座標は、各ランレングスデータＬｉで示されるラインの長さと、各ランレングスデータＬｉのラインの中点の座標（ｘ［ｉ］，ｙ［ｉ］）とをそれぞれ掛け合わせ、更にこれを対象物Ｔ１のｎ個のランレングスデータについて積算したものを、面積Ｓ_kで割ることにより算出する。また、対象物Ｔ_kの外接四角形の縦横比ＡＳＰ_kは、対象物Ｔ_kの外接四角形の高さ（縦方向の長さ）Ｈｂ_kと幅（横方向の長さ）Ｗｂ_kとの比Ｈｂ_k／Ｗｂ_kとして算出する。なお、対象物Ｔ_kの画像部分Ｒ_kは、対象物Ｔ_kを囲む外接四角形の領域全体とする。

次に、画像処理ユニット１は、ヨーレートセンサ３により検出されるヨーレートＹＲと、車速センサ４により検出される車速ＶＣＡＲ（水平方向の速度）と、加速度センサ１７により検出される上下方向の加速度ＧＹとを読み込む（ＳＴＥＰ００９）。なお、このＳＴＥＰ００９では、ヨーレートＹＲを時間積分することにより、自車両１０の回頭角θｒの算出も行われる。また、加速度ＧＹを時間積分することにより、自車両１０の上下方向の速度ＶＹの算出も行われる。

次に、画像処理ユニット１は、対象物の時刻間追跡、すなわち、画像処理ユニット１の演算処理周期毎に同一対象物を認識する処理を行う（ＳＴＥＰ０１０）。同一対象物認識処理は、時刻ｋにおけるＳＴＥＰ００７の処理により対象物Ｔ_kが抽出され、次の演算処理周期の時刻ｋ＋１におけるＳＴＥＰ００７の処理により対象物Ｔ_k+1が抽出されたとしたとき、対象物Ｔ_k+1と対象物Ｔ_kとの同一性（対象物Ｔ_k+1が対象物Ｔ_kと同一の対象物であるか否か）を判定する処理である。そして、対象物Ｔ_kと対象物Ｔ_k+1とが同一の対象物であると判定された場合には、対象物Ｔ_k+1のラベルが対象物Ｔ_kのラベルと同じラベルに変更される。これにより、対象物Ｔ_kと対象物Ｔ_k+1とが同一の対象物であると認識されて、時刻間で追跡される。この同一対象物認識処理は、基準画像において実行される。

一方、画像処理ユニット１は、ＳＴＥＰ００９，０１０の処理に平行して、ＳＴＥＰ０１１〜０１４の処理を実行する。ＳＴＥＰ０１１〜０１４の処理は、対象物と自車両１０との距離ｚ（自車両１０の前後方向の距離）を算出する処理である。

まず、画像処理ユニット１は、基準画像の２値化画像によって追跡される対象物の中の１つを選択して、基準画像から探索画像Ｒ１（選択した対象物を囲む外接四角形の領域全体を探索画像とする）を抽出する（ＳＴＥＰ０１１）。

次に、画像処理ユニット１は、参照画像（赤外線カメラ２Ｒ，２Ｌから得られた右画像及び左画像のうちの基準画像でない画像）中から探索画像Ｒ１に対応する画像（以下「対応画像」という）を探索する探索領域を設定し、相関演算を実行して対応画像を抽出する（ＳＴＥＰ０１２）。具体的には、探索画像Ｒ１の各頂点座標に応じて、参照画像中に探索領域Ｒ２を設定し、探索領域Ｒ２内に、座標（ｘ0，ｙ0）を基点（領域の左上の頂点）とした探索画像Ｒ１と同一形状の局所領域Ｒ３を設定する。そして、基点の座標（ｘ0，ｙ0）を変化させて、探索領域Ｒ２内で局所領域Ｒ３を移動させながら、局所領域Ｒ３と探索画像Ｒ１との相関の度合を示す輝度値の絶対差分和（SAD，Sum of Absolute Difference）Ｃ（ｘ0，ｙ0）を次式（１）により算出する。

ここで、絶対差分和Ｃ（ｘ0，ｙ0）は、探索画像Ｒ１内の座標（ｍ，ｎ）の画素の輝度値ＩＲと、探索領域Ｒ２内の座標（ｘ0，ｙ0）を基点とした局所領域Ｒ３内の座標（ｘ0＋ｍ，ｙ0＋ｎ）の画素の輝度値ＩＬとの差の絶対値を取り、この差の絶対値の探索画像Ｒ１及び局所領域Ｒ３内の全画素（ｍ＝０，．．．，M-1，ｎ＝０，．．．，N-1）についての総和値を求めたものである。なお、絶対差分和Ｃ（ｘ0，ｙ0）の値が小さいほど、探索画像Ｒ１と局所領域Ｒ３との相関の度合が高いことを示す。これにより、絶対差分和Ｃ（ｘ0，ｙ0）が最小となる基点の座標（ｘ0，ｙ0）を求め、この位置の局所領域Ｒ３を対応画像Ｒ４として抽出する。なお、この相関演算は、２値化画像ではなくグレースケール画像を用いて行う。ＳＴＥＰ０１１〜０１２の処理により、基準画像中の探索画像Ｒ１と、参照画像中の対応画像Ｒ４とが抽出される。

次に、画像処理ユニット１は、探索画像Ｒ１の重心位置と、対応画像Ｒ４の重心位置とに基づいて、視差Δｄ（画素数）を算出する（ＳＴＥＰ０１３）。そして、画像処理ユニット１は、算出された視差Δｄを用いて、次式（２）により、自車両１０と対象物との距離ｚを算出する（ＳＴＥＰ０１４）。

ｚ＝Ｂ×Ｆ／（Δｄ×ｐ） …（２）
なお、Ｂは赤外線カメラ２Ｒ，２Ｌの基線長（光軸の間隔）、Ｆは赤外線カメラ２Ｒ，２Ｌの焦点距離Ｆ、ｐは画素間隔である。

ＳＴＥＰ０１０及びＳＴＥＰ０１４の処理の終了後、画像処理ユニット１は、次に、画像内の座標（ｘ，ｙ）及び距離ｚを、実空間座標に変換して、各対象物の実空間上での位置（自車両１０に対する相対位置）である実空間位置を算出する（ＳＴＥＰ０１５）。ここで、実空間位置は、図２に示すように、赤外線カメラ２Ｒ，２Ｌの取り付け位置の中点（自車両１０に固定された位置）を原点として設定された実空間座標系（ＸＹＺ座標系）での位置（Ｘ，Ｙ，Ｚ）である。実空間座標系のＸ方向及びＹ方向は、それぞれ自車両１０の左右方向（車幅方向）、上下方向であり、これらのＸ方向及びＹ方向は、前記右画像および左画像のｘ方向（横方向）、ｙ方向（縦方向）と同方向である。また、実空間座標系のＺ方向は、自車両１０の前後方向である。そして、実空間位置（Ｘ，Ｙ，Ｚ）は、次式（３）（４）（５）により算出される。

Ｘ＝ｘ×ｚ×ｐ／ｆ …（３）
Ｙ＝ｙ×ｚ×ｐ／ｆ …（４）
Ｚ＝ｚ …（５）
次に、画像処理ユニット１は、自車両１０の回頭角の変化の影響を補償して、対象物の実空間位置の精度を高めるために、ＳＴＥＰ００９で算出した回頭角θｒを用いて、対象物の実空間位置を補正する。（ＳＴＥＰ０１６）。回頭角補正は、時刻ｋから時刻ｋ＋１までの期間中に自車両１０が例えば左方向に回頭角θｒだけ回頭すると、赤外線カメラ２Ｒ，２Ｌによって得られる画像上では、画像の範囲がｘ方向にずれるので、これを補正する処理である。なお、以下の説明では、「対象物の実空間位置」は、この回頭角補正を施した対象物の実空間位置を意味する。

次に、画像処理ユニット１は、対象物の自車両１０に対する移動ベクトルを求める（ＳＴＥＰ０１７）。具体的には、同一対象物についての実空間位置の、所定期間ｄＴ（現在時刻から所定時間前までの期間）における時系列データを近似する直線を求め、所定時間前の時刻での該直線上の対象物の位置（座標ＰvdT＝（ＸvdT，ＹvdT，ＺvdT））から、現在時刻における該直線上の対象物の位置（座標Ｐv0＝（Ｘv0，Ｙv0，Ｚv0））に向かうベクトルを対象物の移動ベクトルとして求める。なお、近似直線の具体的な算出処理には、前記した特許文献１に記載された手法を用いる。

次に、画像処理ユニット１は、検出した対象物と自車両１０とが接触する可能性を判定して、該対象物が回避対象（自車両１０との接触を回避すべき対象）であるか否かを判定する回避判定処理を行う（ＳＴＥＰ０１８）。なお、回避判定処理については、詳細を後述する。ＳＴＥＰ０１８において、検出した対象物が回避対象でないと判定された場合（ＳＴＥＰ０１８の判定結果がＮＯ）には、ＳＴＥＰ００１に戻り、上述の処理を繰り返す。また、ＳＴＥＰ０１８において、検出した対象物が回避対象であると判定された場合（ＳＴＥＰ０１８の判定結果がＹＥＳ）、ＳＴＥＰ０１９へ進む。

ＳＴＥＰ０１９では、画像処理ユニット１は、対象物に対する車両１０の運転者の注意を喚起すべきか否かを判定する注意喚起出力判定処理を行う。この注意喚起出力判定処理では、ブレーキセンサ５の出力ＢＲから、運転者による自車両１０のブレーキ操作がなされていることが確認され、且つ、自車両１０の減速加速度（車速の減少方向の加速度を正とする）が所定の閾値（＞０）よりも大きいときには、注意喚起を行わないと判定される。また、運転者によるブレーキ操作が行なわれていない場合、あるいは、ブレーキ操作が行なわれていても、自車両１０の減速加速度が所定の閾値以下である場合には、注意喚起を行うべきと判定される。

そして、画像処理ユニット１は、注意喚起を行うべきと判定した場合（ＳＴＥＰ０１９の判定結果がＹＥＳ）には、スピーカ６と表示装置７とによる注意喚起を自車両１０の運転者に対して行う注意喚起処理を実行し（ＳＴＥＰ０２０）、ＳＴＥＰ００１に戻り、上述の処理を繰り返す。この注意喚起処理では、例えば表示装置７に基準画像を表示すると共に、その基準画像中の回避対象である対象物の画像を強調的に表示する。さらに、回避対象である対象物が存在することをスピーカ６から運転者に音声案内する。なお、運転者に対する注意喚起は、スピーカ６および表示装置７のいずれか一方だけで行なうようにしてもよい。

また、ＳＴＥＰ０１９で注意喚起を行わないと判定した場合（全ての対象物について注意喚起を行わないと判定した場合）には、ＳＴＥＰ０１９の判定結果がＮＯとなり、この場合には、そのままＳＴＥＰ００１に戻り、上述の処理を繰り返す。

以上が、本実施形態の対象物検出装置の画像処理ユニット１における対象物検出・注意喚起動作である。これにより、自車両１０の周辺の赤外線画像と、自車両１０の走行状態を示す信号とから、自車両１０の前方の歩行者等の対象物が検出され、回避対象である対象物について運転者に注意喚起が行われる。

次に、図５に示すフローチャートを参照して、図３に示したフローチャートのＳＴＥＰ０１８における回避判定処理について詳細に説明する。回避判定処理は、以下に示す第１接触判定処理、第２接触判定処理、進入接触判定処理、歩行者判定処理、及び人工構造物判定処理により、検出した対象物と自車両１０との接触の可能性及び対象物の種類を判定して、該対象物が回避対象であるか否かを判定する処理である。

図５を参照して、まず、画像処理ユニット１は、対象物が自車両１０に接触する可能性の度合を判定する処理の１つとして、第１接触判定処理を行う（ＳＴＥＰ１０１）。第１接触判定処理は、対象物と自車両１０との接触を自車両１０の操舵やブレーキ操作によって余裕を持って回避できるか否かを判定するための処理である。具体的には、第１接触判定処理では、赤外線カメラ２Ｒ，２Ｌにより撮像される自車両１０の前方の領域（赤外線カメラ２Ｒ，２Ｌの視野角内の領域）ＡＲ０のうち、自車両１０からのＺ方向の距離（自車両１０の前後方向の距離）が、所定値以下となる領域ＡＲ１（以下、第１接触判定領域という）に対象物の現在の実空間位置が存在するか否かが判定される。

この場合、自車両１０からの距離に関する所定値は、対象物毎に設定される。具体的には、対象物と自車両１０とのＺ方向の相対速度Ｖｓ（＝（Ｚv0−ＺvdT）/ｄＴ）を求め、この相対速度Ｖｓに所定の時間Ｔ１（例えば２〜５秒程度）を乗じた値Ｖｓ×Ｔ１が、第１接触判定領域ＡＲ１の、Ｚ方向の境界を規定する上記所定値として設定される。なお、相対速度Ｖｓが自車両１０から遠ざかる向きの相対速度である場合には、対象物は第１接触判定領域ＡＲ１に存在しないと判定される。

ここで、図６を参照して説明すると、図６は、自車両１０の走行する道路を上方から見た図であり、自車両１０の前方の領域区分が示されている。図６に示したように、領域ＡＲ０を太い実線で示す外側の三角形の領域とすると、第１接触判定領域ＡＲ１は、領域ＡＲ０内のＺ１（＝Ｖｓ×Ｔ１）より自車両１０に近い領域となる。なお、第１衝突判定領域ＡＲ１は、上下方向では、所定の高さＨ（例えば自車両１０の車高の２倍程度の高さ）を有する領域である。従って、対象物の現在のＺ方向の座標値（距離）Ｚv0がＶｓ×Ｔ１以下で、且つ、対象物の現在のＹ方向の座標値（高さ）Ｙv0がＨ以下である場合に、対象物が第１接触判定領域ＡＲ１に存在すると判定される。

ＳＴＥＰ１０１の判定結果がＮＯの場合（対象物が第１接触判定領域内ＡＲ１に存在しない）には、車両１０の操舵やブレーキ操作によって対象物と車両１０との接触を余裕を持って回避しうる状況である。この場合には、ＳＴＥＰ１０７に進み、画像処理ユニット１は、対象物が回避対象でないと判定して、回避判定処理を終了する。

ＳＴＥＰ１０１の判定結果がＹＥＳの場合（対象物が第１接触判定領域ＡＲ１内に存在している）には、ＳＴＥＰ１０２に進み、画像処理ユニット１は、対象物が自車両１０に接触する可能性の度合を判定する処理の１つとして、第２接触判定処理を行う。第２接触判定処理は、対象物の実空間位置が現在位置に維持されたとした場合に、対象物と車両１０との接触の可能性が高いか否かを判定するための処理である。具体的には、第２接触判定処理では、対象物が、図６に示したように、第１接触判定領域ＡＲ１のうちの、自車両１０の車幅αの両側に余裕βを加えた幅（α＋２β）を有する領域ＡＲ２（以下、第２接触判定領域という）内に存在するか否かを判定する。なお、第２接触判定領域ＡＲ２も所定高さＨを有する。

ＳＴＥＰ１０２の判定結果がＹＥＳの場合（対象物が第２接触判定領域ＡＲ２内に存在している）には、対象物が現在の実空間位置に留まったとした場合に、該対象物が自車両１０と接触する可能性が高い。この場合には、ＳＴＥＰ１０３に進み、画像処理ユニット１は、対象物が歩行者の可能性があるか否かを判定する歩行者判定処理を行う。なお、歩行者判定処理については、詳細を後述する。

ＳＴＥＰ１０３の判定結果がＹＥＳの場合（対象物は歩行者の可能性がある）には、ＳＴＥＰ１０４に進み、更に対象物が歩行者である可能性の判定の信頼性を上げるために、画像処理ユニット１は、対象物が人工構造物であるか否かを判定する人工構造物判定処理を行う。人工構造物判定処理は、対象物の画像に、例えば予め登録された人工構造物の形状と一致する等の、歩行者ではないと考えられる特徴が検出された場合に、該対象物を人工構造物と判定し、回避対象から除外する処理である。

ＳＴＥＰ１０４の判定結果がＮＯの場合（対象物が人工構造物でない）には、ＳＴＥＰ１０６に進み、画像処理ユニット１は、対象物が回避対象であると判定して、回避判定処理を終了する。従って、対象物が第１接触判定領域内の第２接触判定領域に存在し、且つ、対象物が歩行者である可能性が高く、且つ、人工構造物でないと判定された場合には、対象物が回避対象であると判定される。

また、ＳＴＥＰ１０３の判定結果がＮＯの場合（対象物は歩行者の可能性がない）、あるいは、ＳＴＥＰ１０４の判定結果がＹＥＳの場合（対象物が人工構造物である）には、ＳＴＥＰ１０７に進み、画像処理ユニット１は、対象物が回避対象でないと判定して、回避判定処理を終了する。

一方、ＳＴＥＰ１０２の判定結果がＮＯの場合（対象物が第２接触判定領域ＡＲ２内に存在しない）には、ＳＴＥＰ１０５に進み、画像処理ユニット１は、対象物が自車両１０に接触する可能性の度合を判定する処理の１つとして、進入接触判定処理を行う。進入接触判定処理は、対象物が第２接触判定領域ＡＲ２内へ進入し、且つ自車両１０との接触する可能性が高いか否かを判定する処理である。進入接触判定処理では、図６に示したように、第１接触判定領域ＡＲ１内で第２接触判定領域ＡＲ２よりＸ座標の絶対値が大きい（第２接触判定領域ＡＲ２の横方向外側の）領域ＡＲ３，ＡＲ４（以下、進入判定領域という）内にある対象物が、第２接触判定領域ＡＲ２に進入して自車両１０と接触するか否かを、対象物の移動ベクトルに基づいて判定する。なお、進入判定領域ＡＲ３，ＡＲ４も所定高さＨを有する。

具体的には、自車両１０の前面のＸＹ平面（自車両１０の前後方向に垂直な面）と、対象物の移動ベクトルを含む直線との交点のＸ座標（車幅方向の位置）が、自車両１０の車幅αよりも若干広い所定範囲内に存在する場合（対象物が相対的に自車両１０に向かってくる場合）に、第２接触判定領域ＡＲ２に進入して接触する可能性が高いと判定される。

ＳＴＥＰ１０５の判定結果がＹＥＳの場合には、対象物が将来、自車両１０と衝突する可能性が高い。そこで、この場合には、ＳＴＥＰ１０６に進み、画像処理ユニット１は、対象物が回避対象であると判定して、回避判定処理を終了する。また、ＳＴＥＰ１０５の判定結果がＮＯの場合には、対象物が自車両１０と接触する可能性が低いので、ＳＴＥＰ１０７に進み、画像処理ユニット１は、対象物が回避対象でないと判定して、回避判定処理を終了する。

以上が、回避判定処理の詳細である。

次に、図７に示すフローチャートを参照して、図５に示したフローチャートのＳＴＥＰ１０３における歩行者判定処理について詳細に説明する。以下の説明では、時刻ｋ−５〜ｋに、自車両１０の前方に歩行者が存在して自車両１０が直進しており、時刻ｋ＋１〜ｋ＋６で、自車両１０がピッチングしている場合を例にして説明する。詳しくは、ピッチングの周期は６回分の演算処理周期に相当するものとし、時刻ｋ＋１〜ｋ＋３では、自車両１０が下方向にピッチングし、時刻ｋ＋４〜ｋ＋６では、自車両１０が上方向にピッチングしているものとする。なお、時刻ｋにおける処理画像は、図４（ａ）に例示したようになる。また、以下では、時刻ｋ−５〜ｋ＋６に取得された画像から抽出された対象物に関する値を、添え字ｋ−５〜ｋ＋６を付して表す。

図４（ｃ）には、時刻ｋ＋２において、上述のＳＴＥＰ００４で、赤外線カメラ２Ｒによって得られる画像を２値化した画像が例示されている。図４（ｃ）において、ハッチングを付した領域が黒であり、太い実線で囲まれた領域が白であることを示している。このとき、図４（ｃ）の例では、自車両１０が下方向にピッチングしているため、歩行者の画像部分の下側に残像が生じている。このため、図４（ｃ）に示す２値化領域には、歩行者に相当する領域Ｆ１と共に、残像に相当する領域Ｆ２（点描を付した領域）が含まれている。そして、図４（ｃ）に示す２値化領域は、上述のＳＴＥＰ００５〜００７の処理により、図４（ｄ）に例示するように、対象物（２値化対象物）Ｔ_k+2として抽出される。

図４（ｅ）には、時刻ｋ＋５において、上述のＳＴＥＰ００４で、赤外線カメラ２Ｒによって得られる画像を２値化した画像が例示されている。図４（ｅ）において、ハッチングを付した領域が黒であり、太い実線で囲まれた領域が白であることを示している。このとき、図４（ｅ）の例では、自車両１０が上方向にピッチングしているため、歩行者の画像部分の上側に残像が生じている。このため、図４（ｅ）に示す２値化領域には、歩行者に相当する領域Ｆ３と共に、残像に相当する領域Ｆ４（点描を付した領域）が含まれている。そして、図４（ｅ）に示す２値化領域は、上述のＳＴＥＰ００５〜００７の処理により、図４（ｆ）に例示するように、対象物（２値化対象物）Ｔ_k+5として抽出される。

図７を参照して、まず、画像処理ユニット１は、所定期間内に取得された複数の画像に対して、輝度積算データを算出する（ＳＴＥＰ２０１）。なお、本実施形態では、演算処理周期の各時刻において、ＳＴＥＰ００１で画像が取得されており、前記所定期間は、６回分の演算処理周期とする。例えば時刻ｋの演算処理周期では、時刻ｋ−５〜ｋに取得された６枚の画像に対して輝度積算データを算出する。

このとき、具体的には、まず、画像処理ユニット１は、２値化画像上での対象物の画像部分に基づいて、グレースケール画像上での対象物の画像部分を求める。例えば時刻ｋの演算処理周期では、２値化画像上での対象物Ｔ_kの画像部分Ｒ_k基づいて、図８に示したように、グレースケール画像上での対象物Ｔ_kの画像部分ＡＲＥＡ０_k（高さＨｇ_k，幅Ｗｇ_k）を求める。なお、図８において、２値化画像上での対象物Ｔ_kの領域を、太い実線で囲まれた領域で示している。また、グレースケール画像上での対象物の画像部分を算出する具体的な手法としては、例えば、前記した特許文献１の図８のＳ４３に記載された手法を用いることができる。

次に、画像処理ユニット１は、複数の画像間の対応する画素を決定する。具体的には、例えば時刻ｋの演算処理周期では、各画像で抽出された対象物Ｔ_k-5〜Ｔ_kの重心位置Ｇｃ_k-5〜Ｇｃ_kの画素を、対応する画素Ｐ_k-5〜Ｐ_kとする。さらに、画像処理ユニット１は、上下方向の速度ＶＹ_k-5〜ＶＹ_kを積分することにより自車両１０のピッチング量を推定し、このピッチング量に基づいて、画素Ｐ_k-5〜Ｐ_kのｙ座標を補正する。そして、この画素Ｐ_k-5〜Ｐ_kを基準として画像部分ＡＲＥＡ０_k-5〜ＡＲＥＡ０_kの画素を対応させる。なお、画像部分ＡＲＥＡ０_k-5〜ＡＲＥＡ０_kの画素数が異なる場合には、画素数の少ない方の画像部分の周辺に輝度値０の画素を仮想的に付加し、画素数を同じとして画素を対応させる。

次に、画像処理ユニット１は、ＳＴＥＰ０１４で算出された対象物の自車両１０に対する距離を用いて、グレースケール画像上での対象物の画像部分の大きさを補正する。具体的には、例えば時刻ｋの演算処理周期では、ＡＲＥＡ０_kの大きさを基準として、時刻ｋのＳＴＥＰ０１４で算出された対象物Ｔ_kの自車両１０に対する距離Ｚv0_kと、時刻ｋ−１のＳＴＥＰ０１４で算出された対象物Ｔ_k-1の自車両１０に対する距離Ｚv0_k-1とを用いて、補正後の画像部分ＡＲＥＡ０_k-1’の幅Ｗｇ_k-1’＝Ｗｇ_k-1×Ｚv0_k-1／Ｚv0_k、高さＨｇ_k-1’＝Ｈｇ_k-1×Ｚv0_k-1／Ｚv0_kとなるように補正する。ＡＲＥＡ０_k-5〜ＡＲＥＡ０_k-2についても、同様に補正する。

このとき、画像部分ＡＲＥＡ０_k-5〜ＡＲＥＡ０_k-1の大きさは、対応する画素Ｐ_k-5〜Ｐ_k-1を中心として補正される。そして、補正後の画像部分ＡＲＥＡ０_k-5’〜ＡＲＥＡ０_k-1’における画素は、補正量に応じて、補正前の画像部分ＡＲＥＡ０_k-5〜ＡＲＥＡ０_k-1の画素に基づいて、例えば線形補間等により、仮想的に算出される。さらに、画像部分ＡＲＥＡ０_k-5’〜ＡＲＥＡ０_k’の画素数が異なる場合には、画素数の少ない方の画像部分の周辺に輝度値０の画素を仮想的に付加し、画素数を同じとして画素を対応させる。

次に、画像処理ユニット１は、補正された画像部分ＡＲＥＡ０_k-5’〜ＡＲＥＡ０_k’を用いて、輝度積算データを算出する。ここで、図９を参照して説明すると、図９において横軸は時刻を示しており、図９には、時刻ｋ−５〜ｋ＋６に取得された画像における補正されたＡＲＥＡ０_k-5’〜ＡＲＥＡ０_k+6’が時系列に示されている。例えば時刻ｋ＋５の演算処理周期では、ＡＲＥＡ０_k’〜ＡＲＥＡ０_k+5’を用いて、輝度積算データを算出する。そして、時刻ｋ＋５の演算処理周期では、算出される輝度積算データが表す輝度積算画像は、図１０（ａ）に例示するようなものになる。なお、図１０（ａ）において、点描の密度が高いほど、輝度積算値が大きいことを示している。

次に、ＳＴＥＰ２０２で、画像処理ユニット１は、図３のＳＴＥＰ００９で算出された自車両１０の上下方向の速度ＶＹの大きさが所定閾値ＶＹth以上であるか否かを判断する。

ＳＴＥＰ２０２の判断結果がＮＯの場合（|ＶＹ|＜ＶＹth）は、自車両１０の上下方向の速度の大きさが画像上に残像が生じない程度に十分に小さい場合であり、以下のＳＴＥＰ２０３〜２０４の処理が行われ、ＳＴＥＰ２０８又はＳＴＥＰ２０９に進む。上述の時刻ｋ−５〜ｋの例がこの場合に相当しており、以下では図４（ｃ）に示した時刻ｋの例を用いて説明する。

まず、ＳＴＥＰ２０３に進み、画像処理ユニット１は、抽出された対象物Ｔ_kが歩行者であるか否かを判定するために用いる特徴量を算出する。具体的には、まず、画像処理ユニット１は、ＳＴＥＰ００８で算出された対象物Ｔ_k（２値化対象物）の面積Ｓ_k、重心Ｇｃ_k、対象物Ｔ_kの外接四角形の縦横比ＡＳＰ_k、高さＨｂ_k、幅Ｗｂ_k、重心Ｇｂ_k、面積（Ｈｂ_k×Ｗｂ_k）と、ＳＴＥＰ０１４で算出された自車両１０との距離Ｚv0_kとを用いて、実空間での２値化対象物の形状特徴量を、歩行者判定用の特徴量として算出する。この実空間での２値化対象物の形状特徴量は、例えば、実空間における２値化対象物の幅ΔＷｂ、実空間における２値化対象物の高さΔＨｂ、実空間における２値化対象物の上端位置Ｙｔ、２値化対象物の面積と外接四角形の面積との比Ｒａｔｅ＝Ｓ_k／（Ｈｂ_k×Ｗｂ_k）、２値化対象物の重心位置と外接四角形の重心位置との実空間における距離Ｄｉｓ、外接四角形の縦横比ＡＳＰ_k等である。

次に、ＳＴＥＰ２０４で、画像処理ユニット１は、上述の各特徴量が所定範囲内であるか否か判断する。なお、前記所定範囲は、対象物が歩行者の上半身や全身であるときに採り得る値の範囲として予め定められる範囲である。

ＳＴＥＰ２０４の判断結果がＹＥＳ（全特徴量が所定範囲内である）の場合には、ＳＴＥＰ２０８に進み、対象物が歩行者であると判定され、歩行者判定処理が終了される。ＳＴＥＰ２０４の判断結果がＮＯ（特徴量の少なくともいずれかが所定範囲内でない）の場合には、ＳＴＥＰ２０９に進み、対象物が歩行者でないと判定され、歩行者判定処理が終了される。なお、この歩行者を判定する手法については、上述の特許文献１に詳細に記載されている。

一方、ＳＴＥＰ２０２の判断結果がＹＥＳの場合（|ＶＹ|≧ＶＹth）は、自車両１０がピッチングして上下方向の速度の大きさが画像上に残像が生じる程度に十分大きい場合であり、以下のＳＴＥＰ２０５〜２０７の処理が行われ、ＳＴＥＰ２０８又はＳＴＥＰ２０９に進む。上述の時刻ｋ＋１〜ｋ＋６の例がこの場合に相当しており、以下では図４（ｅ）に示した時刻ｋ＋５の例を用いて説明する。

まず、ＳＴＥＰ２０５に進み、画像処理ユニット１は、ＳＴＥＰ２０１で算出された輝度積算データが表す輝度積算画像のうちの、輝度積算値が所定値以上である部分を抽出する。なお、前記所定値は、例えば、輝度積算データの平均値と分散とに基づいて設定される。抽出された部分は、輝度積算画像上での対象物（以下、輝度積算対象物とする）を示し、図１０（ｂ）においてハッチングを付した領域のようになる。このとき、輝度積算画像上での対象物Ｔ_k+5の画像部分ＡＲ_k+5は、幅ＡWｂ_k+5、高さＡＨｂ_k+5とする。

次に、ＳＴＥＰ２０６で、画像処理ユニット１は、抽出された部分の特徴量を算出する。具体的には、まず、画像処理ユニット１は、ＳＴＥＰ００８で２値化対象物について算出したように、輝度積算対象物の面積ＡＳ_k+5、重心ＡＧｃ_k+5、対象物ＡＴ_k+5の外接四角形の縦横比ＡＡＳＰ_k+5、高さＡＨｂ_k、幅ＡＷｂ_k+5、重心ＡＧｂ_k+5、面積（ＡＨｂ_k+5×ＡＷｂ_k+5）とを算出する。そして、画像処理ユニット１は、ＳＴＥＰ２０３と同様に、算出したこれらの値と、ＳＴＥＰ０１４で算出された自車両１０との距離Ｚv0_k+5とを用いて、実空間での輝度積算対象物の形状特徴量を、歩行者判定用の特徴量として算出する。この実空間での輝度積算対象物の形状特徴量は、例えば、実空間における輝度積算対象物の幅ΔＡＷｂ、実空間における輝度積算対象物の高さΔＡＨｂ、実空間における輝度積算対象物の上端位置ＡＹｔ、輝度積算対象物の面積と外接四角形の面積との比ＡＲａｔｅ＝ＡＳ_k+5／（ＡＨｂ_k+5×ＡＷｂ_k+5）、輝度積算対象物の重心位置と外接四角形の重心位置との実空間における距離Ｄｉｓ、外接四角形の縦横比ＡＳＰ_k+5等である。

次に、ＳＴＥＰ２０７で、画像処理ユニット１は、ＳＴＥＰ２０６で算出された特徴量が所定範囲内であるか否かを判断する。なお、前記所定範囲は、輝度積算画像上で、対象物が歩行者の上半身や全身であるときに採り得る値の範囲として予め定められる範囲である。

ＳＴＥＰ２０７の判断結果がＹＥＳ（全特徴量が所定範囲内である）の場合には、ＳＴＥＰ２０８に進み、対象物Ｔ_k+5が歩行者である（歩行者の可能性がある）と判定され、歩行者判定処理が終了される。図１０（ｂ）に示した例では、所定範囲内であると判断され、対象物Ｔ_k+5が歩行者であると判定される。ＳＴＥＰ２０７の判断結果がＮＯ（特徴量の少なくともいずれかが所定範囲内でない）の場合には、ＳＴＥＰ２０９に進み、対象物Ｔ_k+5が歩行者でない（歩行者の可能性がない）と判定され、歩行者判定処理が終了される。これにより、自車両１０のピッチング時に、取得される画像上に生じる残像の影響を低減して、抽出された対象物Ｔ_k+5の種類（本実施形態では、対象物が歩行者であるか否か）を精度良く判定することができる。

以上の処理により、本実施形態によれば、自車両１０のピッチング時に、画像上に生じる残像の影響を低減して、赤外線カメラ２Ｒ，２Ｌにより得られた画像から、自車両１０の周辺に存在する対象物の種類を精度良く判定することができる。これにより、自車両１０の運転者に情報の提示等を適切に行うことができる。

なお、本実施形態では、前述したように、画像処理ユニット１が、その機能として、対象物抽出手段１１と、対象物判定手段１２と、距離検出手段１３とを含んでいる。より具体的には、図３のＳＴＥＰ００４〜００７が対象物抽出手段１１に相当し、図３のＳＴＥＰ０１１〜０１４が距離検出手段１３に相当し、図５のＳＴＥＰ１０３が対象物判定手段１２に相当する。

また、本実施形態では、画像処理ユニット１は、歩行者判定処理（ＳＴＥＰ１０３）において、上下方向の速度ＶＹの大きさが所定閾値ＶＹth以上である場合に、輝度積算データを用いて対象物の種類（対象物が歩行者であるか否か）を判定するものとしたが、他の実施形態として、例えば、人工構造物判定処理（ＳＴＥＰ１０４）において、輝度積算データを用いて対象物の種類（対象物が人工構造物であるか否か）を判定するものとしてもよい。また、歩行者判定処理と人工構造物判定処理との両方で、輝度積算データを用いて対象物の種類を判定するものとしてもよい。

また、本実施形態では、画像処理ユニット1は、ＳＴＥＰ２０３，２０６で歩行者判定用の特徴量として、実空間での２値化対象物や輝度積算対象物の形状特徴量を用いるものとしたが、他の実施形態として、例えば、グレースケール画像や輝度積算画像上での平均値・分散等の輝度積算値の分布や、予め登録されているテンプレート画像との類似の度合等を算出して、歩行者判定用の特徴量として用いてもよい。

また、本実施形態では、画像処理ユニット１は、例えば時刻ｋの演算処理周期において、時刻ｋ−５〜ｋで取得された画像に対して輝度積算データを算出する際に、対象物Ｔ_k-5〜Ｔ_kの距離Ｚv0_k-5〜Ｚv0_kに基づいて対象物の画像部分ＡＲＥＡ０_k-5〜ＡＲＥＡ０_kの大きさを補正し、補正した画像部分ＡＲＥＡ０_k-5’〜ＡＲＥＡ０_k’を用いて輝度積算データを算出したが（ＳＴＥＰ２０１）、画像処理ユニット１は、演算処理周期が十分に短い場合には、時刻ｋ−５〜ｋで取得された画像上での対象物の大きさの変化が少ないと想定して、補正を行わず対象物の画像部分ＡＲＥＡ０_k-5〜ＡＲＥＡ０_kをそのまま用いて輝度積算データを算出してもよい。

また、本実施形態では、画像処理ユニット１は、輝度積算データを逐次算出するものとしたが（ＳＴＥＰ２０１）、他の実施形態として、例えば、上下方向の速度ＶＹが所定閾値（例えばＳＴＥＰ２０１の閾値より低く設定する）以上となった時刻ｔで輝度積算データの算出を開始し、時刻ｔから所定期間を経過した後の時刻ｔ＋ｎに、該時刻ｔ＋ｎに算出された輝度積算データを用いて対象物の種類を判定するものとしてもよい。このとき、各時刻ｔ＋ｎにおいて、時刻ｔから時刻ｔ＋ｎまでに取得された全画像に対して、輝度積算データを算出するものとしてもよい。

また、本実施形態では、画像処理ユニット１は、ＳＴＥＰ０１８で回避対象であると判定された対象物について、自車両１０の運転者に注意喚起を行うものとしたが、他の実施形態として、例えば、自車両１０が、車両のステアリング装置、ブレーキ装置、アクセル装置のいずれかをアクチュエータによって操作可能（ひいては自車両１０の走行挙動を操作可能）なものである場合には、ＳＴＥＰ０１８で回避対象であると判定された対象物との接触を回避するように、もしくは、回避が容易になるように自車両１０のステアリング装置、ブレーキ装置、アクセル装置を制御するようにしてもよい。例えば、運転者によるアクセルペダルの必要踏力が、回避対象の対象物が存在しない場合（通常の場合）よりも大きくなるようにアクセル装置を制御して、加速しにくくする。あるいは、回避対象と自車両１０との接触を回避するために要求されるステアリング装置の操舵方向側へのステアリングハンドルの要求回転力を、反対側へのステアリングハンドルの要求回転力よりも低くして、当該操舵方向側へのステアリングハンドルの操作を容易に行い得るようにする。あるいは、ブレーキ装置のブレーキペダルの踏み込み量に応じた自車両１０の制動力の増加速度を、通常の場合よりも高くする。このようにすることで、回避対象との接触を避けるための自車両１０の運転が容易になる。また、上記のようなステアリング装置の制御と、表示装置７もしくはスピーカ６による注意喚起とは、並行して行うようにしてもよい。

また、本実施形態では、画像処理ユニット１は、ピッチングによって変化する状態量の検出値として、上下方向の速度（並進速度）ＶＹを用いて、速度ＶＹの大きさが所定閾値ＶＹth以上のときにピッチングが検出されたと判断し、速度ＶＹの大きさが所定閾値ＶＹth未満のときにピッチングが検出されていないと判断するものとしている。これに対し、他の実施形態として、画像処理ユニット１は、上下方向の速度ＶＹの代わりに、自車両１０のピッチング軸周りの角速度ＰＲを用いて、ピッチング軸周りの角速度ＰＲの大きさに応じて自車両１０のピッチングを検出し、対象物の種類を判定する処理を実行するようにしてもよい。

このとき、ピッチング検出手段として、自車両１０の前部（赤外線カメラ２Ｒ，２Ｌの近傍箇所）に取り付けられた上下方向及び前後方向の加速度センサを用い、逐次検出した上下方向及び前後方向の加速度を時間積分することにより、ピッチング軸周りの角速度ＰＲを算出してもよい。または、ピッチング検出手段として、自車両１０のピッチング軸周りの角速度ＰＲを逐次検出するレートセンサを用いてもよい。または、自車両１０のピッチング角度（ピッチング軸周りの角度）を逐次検出し、所定時間当たりのピッチング角度の変化量（ピッチング軸周りの角速度ＰＲ）を算出してもよい。

また、本実施形態では、距離検出手段１３は、対象物の自車両１０に対する距離を、赤外線カメラ２Ｒ，２Ｌを介して取得された画像に基づいて算出したが、他の実施形態として、距離検出手段１３は、対象物の自車両１０に対する距離を、ミリ波レーダ等の他のセンサにより検出された対象物の位置情報に基づいて算出するものとしてもよい。

また、本実施形態では、撮像手段として赤外線カメラを使用したが、例えば通常の可視光線のみ検出可能なＣＣＤカメラ等を使用してもよい。ただし、赤外線カメラを用いることにより、歩行者や走行中の車両等の抽出処理を簡略化することができ、演算装置の演算能力が比較的低いものでも実現可能とすることができる。

本発明の第１実施形態による対象物検出装置の機能ブロック図。 図１に示した対象物検出装置の車両への取り付け態様の説明図。 図１の対象物検出装置の画像処理ユニットにおける対象物検出・注意喚起動作を示すフローチャート。 図３の対象物検出・注意喚起動作における処理画像の例示図。 図３の対象物検出・注意喚起動作における回避判定処理のフローチャート。 図５の回避判定処理における車両前方の領域区分を示す説明図。 図５の回避判定処理における歩行者判定処理のフローチャート。 図７の歩行者判定処理に関する説明図。 図７の歩行者判定処理に関する説明図。 図７の歩行者判定処理に関する説明図。

符号の説明

２Ｒ，２Ｌ…赤外線カメラ（撮像手段）、１０…車両、１１…対象物抽出手段、１２…対象物判定手段、１３…距離検出手段、１４…加速度センサ（ピッチング検出手段）。

Claims (6)

1. 車両に搭載された撮像手段を介して取得した画像から、該車両の周辺に存在する対象物を逐次抽出する対象物抽出手段と、該対象物抽出手段により抽出された対象物の種類を判定する対象物判定手段とを備えた対象物検出装置において、
   前記車両のピッチングを逐次検出するピッチング検出手段を備え、
   前記対象物判定手段は、少なくとも前記画像が前記ピッチング検出手段によりピッチングが検出されたときに取得された画像である場合に、該画像が取得された時刻を含む所定期間内に前記撮像手段を介して取得された複数の画像に対し、該複数の画像から前記対象物抽出手段によりそれぞれ抽出された対象物の画像部分の輝度値を、該複数の画像間の対応する画素毎に積算した輝度積算値を画素データとする輝度積算画像を表す輝度積算データを算出する手段と、該算出された輝度積算データが表す輝度積算画像のうちの輝度積算値が所定値以上である部分を抽出する手段とを備え、該抽出された部分の特徴量に基づいて、該対象物の種類を判定することを特徴とする対象物検出装置。
2. 前記対象物判定手段における前記輝度積算データを算出する手段は、所定の演算処理周期の各時刻において、該時刻から所定時間前までの期間を前記所定期間として、該所定期間内に前記撮像手段を介して取得された複数の画像に対し、前記輝度積算データを逐次算出する手段であることを特徴とする請求項１記載の対象物検出装置。
3. 前記対象物抽出手段により抽出された対象物の、前記車両に対する距離を逐次検出する距離検出手段を備え、
   前記対象物判定手段は、前記複数の画像からそれぞれ抽出された対象物の、前記距離検出手段により検出された距離に基づいて、該複数の画像からそれぞれ抽出された対象物の画像部分の大きさを補正する手段を備え、該補正された画像部分を用いて、前記輝度積算データを算出することを特徴とする請求項１又は請求項２記載の対象物検出装置。
4. 請求項１〜請求項３のうちいずれか１項記載の対象物検出装置が搭載されたことを特徴とする車両。
5. 車両に搭載された撮像手段を介して取得した画像から、該車両の周辺に存在する対象物を逐次抽出し、該抽出された対象物の種類を判定する対象物検出方法であって、
   前記車両のピッチングを逐次検出するピッチング検出ステップと、
   少なくとも前記画像が前記ピッチング検出ステップでピッチングが検出されたときに取得された画像である場合に、該画像が取得された時刻を含む所定期間内に前記撮像手段を介して取得された複数の画像に対し、該複数の画像からそれぞれ抽出された対象物の画像部分の輝度値を、該複数の画像間の対応する画素毎に積算した輝度積算値を画素データとする輝度積算画像を表す輝度積算データを算出し、該算出された輝度積算データが表す輝度積算画像のうちの輝度積算値が所定値以上である部分を抽出し、該抽出された部分の特徴量に基づいて、該対象物の種類を判定する対象物判定ステップとを備えたことを特徴とする対象物検出方法。
6. 車両に搭載された撮像手段を介して取得した画像から逐次抽出される、該車両の周辺に存在する対象物の種類を判定する処理をコンピュータに実行させる対象物検出用プログラムであって、
   前記車両のピッチングによって変化する状態量の検出値を逐次取得する処理と、
   少なくとも前記画像が前記検出値によりピッチングが検出されたときに取得された画像である場合に、該画像が取得された時刻を含む所定期間内に前記撮像手段を介して取得された複数の画像に対し、該複数の画像からそれぞれ抽出された対象物の画像部分の輝度値を、該複数の画像間の対応する画素毎に積算した輝度積算値を画素データとする輝度積算画像を表す輝度積算データを算出する処理と、
   前記算出された輝度積算データが表す輝度積算画像のうちの輝度積算値が所定値以上である部分を抽出する処理と、
   前記抽出された部分の特徴量に基づいて、該対象物の種類を判定する処理とを前記コンピュータに実行させる機能を有することを特徴とする対象物検出用プログラム。

Images