JP2010128919A - 物体検知装置 - Google Patents

Abstract

【課題】検知率向上と誤検知の排除を両立する物体検知装置を提供する。
【解決手段】画像２０内に選定された検知処理領域Ｗを複数の部分領域ｗ１、ｗ２、ｗ３に分割して、各部分領域ｗ１、ｗ２、ｗ３と各テンプレート１２１０、１２２０、１２３０とのマッチング率ＭＡＴＣＨ１［ｉ］、ＭＡＴＣＨ２［ｉ］、ＭＡＴＣＨ３［ｉ］をそれぞれ算出する。そして、各マッチング率ＭＡＴＣＨ１［ｉ］、ＭＡＴＣＨ２［ｉ］、ＭＡＴＣＨ３［ｉ］が予め設定された判定閾値以上であるか否かを判断し、判定閾値以上である場合には、画像２０内に物体１１が存在すると判定する。これにより、テンプレートと一部だけが類似しているようなパターンの誤検知を低減しかつ物体の検知率を向上させる。
【選択図】図１

Description

本発明は、画像内から所定の物体をテンプレートマッチングにより検知する物体検知装置に関する。

交通事故による死傷者数を低減するため、事故を未然に防ぐ予防安全システムの開発が進められている。予防安全システムは、事故の発生する可能性が高い状況下で作動するシステムであり、例えば、自車前方の障害物と衝突する可能性が生じたときには警報によって運転者に注意を促し、衝突が避けられない状況になったときには自動ブレーキによって乗員の被害を軽減するプリクラッシュ・セーフティ・システム等が実用化されている。

上記システムにおいて歩行者等の障害物を検知する方法として、例えば、カメラで自車前方を撮像し、撮像された画像中から、あらかじめ記憶している障害物のテンプレートと類似したパターンを検出する方法がある。

例えば特許文献１には、自車前方を撮像した画像から、車道端近傍の歩行者を検出する方法が記載されている。この方法によれば、車道検出手段により検出した車道端近傍で歩行者テンプレートとのテンプレートマッチングを行い、テンプレートとのマッチングの度合いを示す相関値（以下、マッチング率と表する）が閾値以上の場合は歩行者が存在すると判定することで、運転者にとって注意が必要な歩行者を効率よく検出することができる。

特開２００５−３１６６０７号公報

しかしながら、テンプレートマッチングは、テンプレート全体でのマッチングの度合いだけを見ており、局所的な分布では見ていないため、検知率の向上と誤検知の排除を両立する閾値の決定が難しいという課題がある。

例えば歩行者を検出する場合、歩行者の検知性能を高めるため閾値を下げると、テンプレートと一部だけ類似しているようなパターンを誤検知しやすくなってしまう。また、逆に誤検知を低減するため閾値を上げると、例えば子供など身長が低くマッチング率が低い歩行者が検出できなくなってしまう。

本発明は上記問題に着目してなされたもので、その目的とするところは、検知率向上と誤検知の排除を両立する物体検知装置を提供することである。

上記課題を解決するための手段である本発明の物体検知装置は、画像内に選定された検知処理領域を複数の部分領域に分割して、各部分領域とテンプレートとのマッチング率をそれぞれ算出し、各マッチング率に基づいて画像内に物体が存在するか否かを判定する。

本発明によれば、画像内に選定された検知処理領域を複数の部分領域に分割して、各部分領域とテンプレートとのマッチング率をそれぞれ算出し、各マッチング率に基づいて物体の存在を判定するので、テンプレートと一部だけが類似しているようなパターンの誤検知を低減することができる。

以下、本発明の実施形態について図面を用いて詳細に説明する。図１は、本実施の形態における物体検知装置１０００のブロック図である。

物体検知装置１０００は、画像内から予め設定された物体を検知するためのものであり、本実施の形態では、自動車に搭載されるカメラ装置内に組み込まれ、自車の周囲を撮像した画像内から歩行者１１を検知するように構成されている。

物体検知装置１０００は、図１に示すように、画像取得装置１１００、記憶装置１２００、処理回路１３００から構成される。画像取得装置１１００は、自車の前方を撮像可能な位置に取り付けられた単眼カメラを備えており、ＣＣＤやＣＭＯＳなどの撮像素子を用いて、自車前方を撮影した前方画像としてディジタル値の信号に変換する機能を有している。

ディジタル値の信号は、ディジタル値のまま処理回路１３００内のＲＡＭ上に画像情報ＩＭＧＳＲＣ［ｘ］［ｙ］として直接書き込まれてもよいし、アナログ信号に変換し処理回路１３００で再度ディジタル信号へ変換し画像ＩＭＧＳＲＣ［ｘ］［ｙ］としてＲＡＭ上に書き込まれてもよい。なお、画像ＩＭＧＳＲＣ［ｘ］［ｙ］は２次元配列であり、ｘ、ｙはそれぞれ画像の座標を示す。

記憶装置１２００は、例えばハードディスクやＲＯＭによって構成されており、所定のデータが格納されて、処理回路１３００からアクセスが可能な装置である。記憶装置１２００には、物体が有する部分を検知するテンプレートと判定閾値の情報が記憶されている。

本実施の形態では、歩行者１１の上部（頭部と肩部を含む）を検知するための第一のテンプレート１２１０、歩行者１１の中部（腰部を含む）を検知するための第二のテンプレート１２２０、歩行者１１の下部（脚部を含む）を検知するための第三のテンプレート１２３０、第一のテンプレート１２１０に対応する第一の判定閾値１２１１、第二のテンプレート１２２０に対応する第二の判定閾値１２２１、第三のテンプレート１２３０に対応する第三の判定閾値１２３１が記憶されている。

処理回路１３００は、ＣＰＵやメモリ、Ｉ／Ｏ等を有するコンピュータによって構成されており、所定の処理がプログラミングされて、あらかじめ定められた周期で繰り返し処理を実行する。処理回路１３００は、検知処理領域選定部１３１１と、領域分割部１３２１と、マッチング率算出部１３３１と、物体存在判定部１３４１と、物体位置検出部１３１０と、ロービーム判定部１３４０を有する。

物体位置検出部１３１０は、自車に搭載されたミリ波レーダやレーザレーダ等の自車周辺の物体を検出するレーダ（図示せず）からの検出信号を取得して、自車前方に存在する物体１０の物体位置２１を検出する。例えば図３に示すように、レーダから自車周辺の歩行者１１や道路標識１２等の物体１０の物体位置（相対距離ＰＹ[ｂ]、横位置ＰＸ[ｂ]、横幅ＷＤ[ｂ]）を取得する。ここで、［ｂ］は複数の物体１０を検知している場合のＩＤ番号である。

これらの物体１０の位置情報は、レーダの信号を物体検知装置１０００に直接入力することによって取得しても良いし、レーダとＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を用いた通信を行うことによって取得しても良い。

検知処理領域選定部１３１１は、画像２０内で物体１０を検知するための検知処理領域Ｗ［ｉ］を選定するものであり、画像取得装置１１００からの画像情報（ＩＭＧＳＲＣ［ｘ］［ｙ］）と、物体位置検出部１３１０からの物体情報とに基づいて検知処理領域Ｗ［ｉ］を選定する。

そして、その選定した検知処理領域Ｗ［ｉ］の座標情報（横方向の始点座標ＳＸ［ｉ］、横方向の終点座標ＥＸ［ｉ］、縦方向の始点座標ＳＹ［ｉ］、縦方向の終点座標ＥＹ［ｉ］）を領域分割部１３２１に出力する。ここで、［ｉ］は複数の検知処理領域Ｗを選定している場合のＩＤ番号である。

物体位置検出部１３１０を備えていない場合には、検知したい歩行者の位置を全て探索するように、座標情報（横方向の始点座標ＳＸ［ｉ］、横方向の終点座標ＥＸ［ｉ］、縦方向の始点座標ＳＹ［ｉ］、縦方向の終点座標ＥＹ［ｉ］）を設定する。例えば自車先端から所定の距離から所定の距離まで、かつ車両中心から所定の幅の範囲内にて１メートル間隔で探索するように設定してもよいし、自車の速度から自車がＴ秒後に到達する距離で、自車中心から所定の幅の範囲内にて１メートル間隔で探索するように設定してもよい。

領域分割部１３２１は、検知処理領域Ｗを複数の部分領域に分割するものであり、テンプレートに応じて分割する処理を行う。例えば図６及び図７に示すように、検知処理領域Ｗの座標情報（ＳＸ［ｉ］、ＥＸ［ｉ］、ＳＹ［ｉ］、ＥＹ［ｉ］）、および第一のテンプレート１２１０、第二のテンプレート１２２０、第三のテンプレート１２３０の情報に基づいて検知処理領域Ｗ［ｉ］を縦方向（上下方向）に３つの部分領域に分割し、検知処理領域Ｗ［ｉ］内で第一のテンプレート１２１０の位置に対応する第一の部分領域ｗ１［ｉ］、第二のテンプレート１２２０の位置に対応する第二の部分領域ｗ２［ｉ］、第三のテンプレート１２３０の位置に対応する第三の部分領域ｗ３［ｉ］の各座標情報を演算する。

そして、第一の部分領域ｗ１［ｉ］の座標情報（ＳＸ１［ｉ］、ＥＸ１［ｉ］、ＳＹ１［ｉ］、ＥＹ１［ｉ］）、第二の部分領域ｗ２［ｉ］の座標情報（ＳＸ２［ｉ］、ＥＸ２［ｉ］、ＳＹ２［ｉ］、ＥＹ２［ｉ］）、第三の部分領域ｗ３［ｉ］の座標情報（ＳＸ３［ｉ］、ＥＸ３［ｉ］、ＳＹ３［ｉ］、ＥＹ３［ｉ］）をマッチング率算出部１３３１に出力する。

マッチング率算出部１３３１は、これらの各部分領域Ｗ１［ｉ］〜Ｗ３［ｉ］と、対応する各テンプレート１２１０〜１２３０とのマッチング率をそれぞれ算出する。ここでは、第一の部分領域ｗ１［ｉ］の座標情報（ＳＸ１［ｉ］、ＥＸ１［ｉ］、ＳＹ１［ｉ］、ＥＹ１［ｉ］）、第二の部分領域ｗ２［ｉ］の座標情報（ＳＸ２［ｉ］、ＥＸ２［ｉ］、ＳＹ２［ｉ］、ＥＹ２［ｉ］）、第三の部分領域ｗ３［ｉ］の座標情報（ＳＸ３［ｉ］、ＥＸ３［ｉ］、ＳＹ３［ｉ］、ＥＹ３［ｉ］）、画像情報ＩＭＧＳＲＣ［ｘ］［ｙ］、第一のテンプレート１２１０、第二のテンプレート１２２０、第三のテンプレート１２３０の情報を入力する。

そして、第一の部分領域ｗ１［ｉ］と第一のテンプレート１２１０とのマッチング率である第１のマッチング率（ＭＡＴＣＨ１［ｉ］）、第二の部分領域ｗ２［ｉ］と第二のテンプレート１２２０とのマッチング率である第２のマッチング率（ＭＡＴＣＨ２［ｉ］）、第三の部分領域ｗ３［ｉ］と第三のテンプレート１２３０とのマッチング率である第３のマッチング率（ＭＡＴＣＨ３［ｉ］）をそれぞれ演算し、物体存在判定部１３４１に出力する。

物体存在判定部１３４１は、マッチング率算出部１３３１の算出結果に基づいて物体が存在するか否かを判定する処理を行う。本実施の形態では、第一のマッチング率ＭＡＴＣＨ１［ｉ］、第二のマッチング率ＭＡＴＣＨ２［ｉ］、第三のマッチング率ＭＡＴＣＨ３［ｉ］と、第一の閾値１２１１、第二の閾値１２２１、第三の閾値１２３１と、ロービーム判定部１３４０の判定結果ＬＢＳＴに基づいて、物体１０の存在の有無を判定する。

ロービーム判定部１３４０は、自車がロービーム（前照灯が点灯中で且つ下向き）の状態で走行しているか否かを判定する。そして、ロービームの状態である場合は「１」、それ以外であれば「０」を判定結果ＬＢＳＴに代入して物体存在判定部１３４１に出力する。ロービームの判定には、前照灯の点灯スイッチ、およびハイビームのＯＮ・ＯＦＦを切り替えるスイッチの信号を処理回路１３００に直接入力することによって判定しても良いし、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を用いた通信を行うことによって判定しても良い。

また、画像取得装置１１００で取得した画像の濃淡を用いて判定しても良い。例えば、ロービームの状態では、画像３０上でロービームの範囲内が明るく、範囲外が暗く写ることから、カメラ画像全体の下半分の平均輝度値とカメラ画像の上半分の平均輝度値との差が、一定の閾値以上であるかによって、ロービームの状態であるか否かを判定することができる。

つぎに、図２を用いて、記憶装置１２００の第一のテンプレート１２１０、第二のテンプレート１２２０、第三のテンプレート１２３０について説明する。図２は、第一のテンプレート１２１０、第二のテンプレート１２２０、第三のテンプレート１２３０の一例を示す模式図である。

この例では、歩行者１１の全身を検知するためのテンプレート１２０１を上下方向に三つに分割して、歩行者１１の上部（頭部及び肩部）１１Ａを検知するための第一のテンプレート１２１０、歩行者１１の中部（腰部）１１Ｂを検知するための第二のテンプレート１２２０、歩行者１１の下部１１Ｃ（脚部）を検知するための第三のテンプレート１２３０としている。

第一のテンプレート１２１０は、歩行者１１の上部１１Ａ、中部１１Ｂ、下部１１Ｃの何処の位置に対応するものであるかという情報として、歩行者１１の基準幅ＰＷ及び基準高さＰＨ内における、テンプレート１２１０とのマッチング率を算出する相対位置の情報（ＰＳＸ１、ＰＳＹ１、ＰＥＸ１、ＰＥＹ１）を有している。

第二のテンプレート１２２０も同様に、歩行者１１の基準幅ＰＷ及び基準高さＰＨ内における、テンプレート１２２０とのマッチング率を算出する相対位置（ＰＳＸ２、ＰＳＹ２、ＰＥＸ２、ＰＥＹ２）を含む。そして、第三のテンプレート１２３０も同様に、歩行者１１の基準幅ＰＷ及び基準高さＰＨ内における、テンプレート１２３０とのマッチング率を算出する相対位置（ＰＳＸ３、ＰＳＹ３、ＰＥＸ３、ＰＥＹ３）を含む。

つぎに、図３〜図５を用いて、検知処理領域選定部１３１１における処理の内容について説明する。図３は、物体位置を設定する例を示す模式図、図４は、検知処理領域を設定する例を示す模式図、図５は、検知処理領域を設定する他の例を示す模式図である。

検知処理領域選定部１３１１は、画像ＩＭＧＳＲＣ［ｘ］［ｙ］内で歩行者１１を検知する検知処理領域Ｗ［ｉ］を選定し、そのｘ座標（横方向）の始点ＳＸ［ｉ］および終点ＥＸ［ｉ］、ｙ座標上（縦方向）の始点ＳＹ［ｉ］および終点ＥＹ［ｉ］を求める。検知処理領域Ｗ［ｉ］が複数ある場合はＳＸ［ｉ］、ＥＸ［ｉ］、ＳＹ［ｉ］、ＥＹ［ｉ］を配列とし、すべての検知処理領域Ｗ［ｉ］の座標を出力する。

検知処理領域選定部１３１１は、物体位置検出部１３１０を用いても良いし、用いなくても良い。まず、物体位置検出部１３１０を用いて検知処理領域Ｗ［ｉ］を設定する場合について、図３及び図４を用いて詳細に説明する。

検知処理領域選定部１３１１は、物体位置検出部１３１０が検出した物体１０の相対距離ＰＹ[ｂ]、横位置ＰＸ[ｂ]および横幅ＷＤ[ｂ]から、図３に示すように、画像２０上における物体１０の物体位置２１を算出する。物体１０の物体位置２１は、物体１０の周囲を囲む矩形領域で示され、その四隅の座標位置（ｘ座標（横方向）の始点ＢＳＸ[ｂ]、終点ＢＥＸ[ｂ]、ｙ座標（縦方向）の始点ＢＳＹ[ｂ]、終点ＢＥＹ[ｂ]）で規定される。

なお、画像２０上の座標と実世界の位置関係を対応付けるカメラ幾何パラメータを、カメラキャリブレーション等の方法によってあらかじめ算出しておき、物体１１の高さを、例えば１８０[ｃｍ]などあらかじめ仮定しておくことにより、画像２０上での位置を一意に決定することができる。

また、画像取得装置１１００の取り付けの誤差やレーダとの通信遅れ等の理由により、物体位置検出部１３１０で検出した物体１０の画像２０上における位置と、画像２０に写っている同じ物体１０の画像２０上での位置の違いが生じる場合がある。

従って、画像２０上での物体位置２１（ＢＳＸ[ｂ]、ＢＥＸ[ｂ]、ＢＳＹ[ｂ]、ＢＥＹ[ｂ]）から、補正を加えた物体位置２２（ＢＳＸ２[ｂ]、ＢＥＸ２[ｂ]、ＢＳＹ２[ｂ]、ＢＥＹ２[ｂ]）を算出する。物体位置２１の補正は、物体位置２１の領域を所定の量だけ拡大したり、移動させたりすることによって行われる。

つぎに、図４に示すように、補正後の物体位置２２（ＢＳＸ２[ｂ]、ＢＥＸ２[ｂ]、ＢＳＹ２[ｂ]、ＢＥＹ２[ｂ]）内をラスタ走査するように、検知処理領域Ｗ[ｉ]（ＳＸ[ｉ]、ＥＸ[ｉ]、ＳＹ[ｉ]、ＥＹ[ｉ]）を設定する。本実施の形態では、物体位置２２の左上端部を原点とし、上方から下方に１ドットずつ移動させる動作と、下端まで移動した後に右側に１ドットだけ移動させる動作を繰り返して、物体位置２２（ＢＳＸ２[ｂ]、ＢＥＸ２[ｂ]、ＢＳＹ２[ｂ]、ＢＥＹ２[ｂ]）内を漏れなく探索するように、複数の検知処理領域Ｗ［ｉ］が設定される。

検知処理領域Ｗ[ｉ]の大きさ（歩行者想定幅ＳＷ、歩行者想定高さＳＨ）は、物体位置検出部１３１０が検出した物体１０との相対距離ＰＹ[ｂ]により決まる。また、歩行者想定幅ＳＷ、歩行者想定高さＳＨは、前述の歩行者基準幅ＰＷ、歩行者基準高さＰＨと同じである必要はないが、ＰＷ：ＰＨ＝ＳＷ：ＳＨの関係が必要とされる。

図３には、２つの物体１０（歩行者１１と道路標識１２）の物体位置２１、２１と、各物体位置２１、２１をそれぞれ補正した物体位置２２、２２とを検出した例が示されている。図３では、物体１０の画像２０上における物体位置２１（ＢＳＸ[ｂ]、ＢＥＸ[ｂ]、ＢＳＹ[ｂ]、ＢＥＹ[ｂ]）を実線で示し、補正を加えた物体位置２２（ＢＳＸ２[ｂ]、ＢＥＸ２[ｂ]、ＢＳＹ２[ｂ]、ＢＥＹ２[ｂ]）を破線で示している。補正後の物体位置２２は、本実施の形態では、物体位置２１の上下左右に一定のマージンを有している。

例えば図３に示す例では、道路標識１２の物体位置２１（ＢＳＸ[０]、ＢＥＸ[０]、ＢＳＹ[０]、ＢＥＹ[０]）と、補正後の物体位置２２（ＢＳＸ２[０]、ＢＥＸ２[０]、ＢＳＹ２[０]、ＢＥＹ２[０]）が算出され、また、歩行者１１の物体位置２２（ＢＳＸ[１]、ＢＥＸ[１]、ＢＳＹ[１]、ＢＥＹ[１]）と、補正後の物体位置２２（ＢＳＸ２[１]、ＢＥＸ２[１]、ＢＳＹ２[１]、ＢＥＹ２[１]）が算出される。

図４には、物体位置２２（ＢＳＸ２[ｂ]、ＢＥＸ２[ｂ]、ＢＳＹ２[ｂ]、ＢＥＹ２[ｂ]）内に検知処理領域Ｗ[ｉ]（ＳＸ[ｉ]、ＥＸ[ｉ]、ＳＹ[ｉ]、ＥＹ[ｉ]）が設定された状態が示されている。

例えば、道路標識１２の物体位置２２内における最初の検知処理領域Ｗ［０］（ＳＸ[０]、ＳＹ[０] 、ＥＸ[０]、ＥＹ[０]）は物体位置２２内の左上に設定され、最後の検知処理領域Ｗ［ｉ］（ＳＸ[ｉ]、ＳＹ[ｉ] 、ＥＸ[ｉ]、ＥＹ[ｉ]）は物体位置２２内の右下に設定される。また、歩行者１１の物体位置２２内における最初の検知処理領域Ｗ［ｉ＋１］（ＳＸ[ｉ＋１]、ＳＹ[ｉ＋１] 、ＥＸ[ｉ＋１]、ＥＹ[ｉ＋１]）は物体位置２２内の左上に設定され、最後の検知処理領域Ｗ（図示せず）は物体位置２２内の右下に設定される。

次に、物体位置検出部１３１０を用いずに検知処理領域Ｗを設定する場合について、図５を用いて説明する。物体位置検出部１３１０を用いない場合の検知処理領域Ｗの選定方法は、例えば、検知処理領域Ｗの大きさを変化させながら画像２０全体を探索するように設定する方法や、特定の位置、特定の大きさのみに限定して検知処理領域Ｗを設定する方法がある。検知処理領域Ｗを特定の位置に限定して設定する場合は、例えば自車速を用いて自車がＴ秒後に進んでいる距離に限定して設定する方法がある。

図５は、自車速を用いて，自車が１．０秒後に進んでいる位置を探索する場合の例である。検知処理領域Ｗの大きさ（歩行者想定幅ＳＷ、歩行者想定高さＳＨ）、およびｙ座標を算出した位置とカメラ幾何パラメータから求め、画像２０上で横方向に１画素毎ずらしながら検知処理領域Ｗを設定している。なお、歩行者想定幅ＳＷ、歩行者想定高さＳＨは、前述の歩行者基準幅ＰＷ、歩行者基準高さＰＨと同じである必要はないが、ＰＷ：ＰＨ＝ＳＷ：ＳＨの関係が必要とされる。

検知処理領域Ｗの大きさおよびｙ座標位置の決定方法であるが、画像２０上の座標と実世界の位置関係を対応付けるカメラ幾何パラメータをカメラキャリブレーション等の方法によってあらかじめ算出しておくことで、歩行者１１を検出したい距離から逆算することができる。

図５で示す例の場合、画像２０の横の大きさ（画像横サイズ）をＩＭＧＳＩＺＥＸとすると、画像始点ＳＸ、ＳＹ、画像終点ＥＸ、ＥＹには、それぞれ（画像横サイズＩＭＧＳＩＺＥＸ−歩行者想定幅ＳＷ）個のデータが入る。検知処理領域Ｗの位置は、画像２０の左端（ＳＸ［０］、ＳＹ［０］、ＥＸ［０］、ＥＹ［０］）から、右端（ＳＸ［ＩＭＧＳＩＺＥＸ−Ｗ］、ＳＹ［ＩＭＧＳＩＺＥＸ−Ｗ］、ＥＸ［ＩＭＧＳＩＺＥＸ−Ｗ］、ＥＹ［ＩＭＧＳＩＺＥＸ−Ｗ］）に向かって移動される。

つぎに、図６を用いて、領域分割部１３２１による処理の内容について説明する。図６は、ある検知処理領域Ｗ［ｉ］を複数の部分領域ｗ［ｉ］に分割する一例を示す図、図７は、分割する他の例を示す図である。

処理領域分割部１３２１は、検知処理領域Ｗ（横方向ＳＸ［ｉ］、ＥＸ［ｉ］、縦方向ＳＹ［ｉ］、ＥＹ［ｉ］）の歩行者想定幅ＳＷ［ｉ］（＝ＥＸ［ｉ］−ＳＸ［ｉ］）、歩行者想定高さＳＨ［ｉ］（＝ＥＹ［ｉ］−ＳＹ［ｉ］）と、第一のテンプレート１２１０の歩行者基準幅ＰＷ、歩行者基準高さＰＨおよび相対領域位置（ＰＳＸ１、ＰＳＹ１、ＰＥＸ１、ＰＥＹ１）から、以下の式（１）〜式（４）を用いて、第一の部分領域ｗ１［ｉ］（ＳＸ１［ｉ］、ＥＸ１［ｉ］、ＳＹ１［ｉ］、ＥＹ１［ｉ］）を算出する。

ＳＸ１［ｉ］＝ＳＸ［ｉ］＋（ＰＳＸ１）（ＳＷ［ｉ］／ＰＷ） …（１）
ＳＹ１［ｉ］＝ＳＹ［ｉ］＋（ＰＳＹ１）（ＳＷ［ｉ］／ＰＷ） …（２）
ＥＸ１［ｉ］＝ＳＸ［ｉ］＋（ＰＥＸ１）（ＳＷ［ｉ］／ＰＷ） …（３）
ＥＹ１［ｉ］＝ＳＹ［ｉ］＋（ＰＥＹ１）（ＳＷ［ｉ］／ＰＷ） …（４）
そして、第二の部分領域ｗ２［ｉ］（ＳＸ２［ｉ］、ＥＸ２［ｉ］、ＳＹ２［ｉ］、ＥＹ２［ｉ］）、および第三の部分領域ｗ３［ｉ］（ＳＸ３［ｉ］、ＥＸ３［ｉ］、ＳＹ３［ｉ］、ＥＹ３［ｉ］）も同様に算出する。

テンプレートは、図６に示す例の場合、歩行者１１の全身に対応するテンプレート１２０１を上中下に３分割して形成されており、第一のテンプレート１２１０が歩行者１１の上部１１Ａに対応し、第二のテンプレート１２２０が歩行者１１の中部１１Ｂに対応し、第三のテンプレート１２３０が歩行者１１の下部１１Ｃに対応している。そして、これら３つのテンプレートを合成すると隙間のない歩行者用のテンプレート１２０１となる。この場合、検知処理領域Ｗ［ｉ］はすべて第一の部分領域ｗ１［ｉ］、第二の部分領域ｗ２［ｉ］、第三の部分領域ｗ３［ｉ］のいずれかに分類される。

図７は、歩行者１１の頭部や脚部など、特定の部位だけを見るテンプレートを用いる例である。この場合、第一のテンプレート１２１０が頭部のみ、第二のテンプレート１２２０が腰部、第三のテンプレート１２３０が脚部のみのテンプレートであり、３つのテンプレート１２１０〜１２３０を合成しても隙間が空く。この場合、検知処理領域Ｗ［ｉ］内には、第一の領域ｗ１［ｉ］、第二の領域ｗ２［ｉ］、第三の領域ｗ３［ｉ］のいずれにも分類されない領域が発生する。

つぎに、図８を用いて、処理回路１３００のマッチング率算出部１３３１について説明する。図８は、マッチング率算出部１３３１の処理内容を説明するフローチャートである。まず、ステップＳ３０１において、画像ＩＭＧＳＲＣ［ｘ］［ｙ］から、第一の領域ｗ１（ＳＸ１［ｉ］、ＥＸ１［ｉ］、ＳＹ１［ｉ］、ＥＹ１［ｉ］）内の画像を切り出し、第一の領域ｗ１の画像ＩＭＧＭＣ１［ｉ］［ｘ］［ｙ］を生成する。

同様に、ステップＳ３０２において、画像ＩＭＧＳＲＣ［ｘ］［ｙ］から、第二の領域ｗ２（ＳＸ２［ｉ］、ＥＸ２［ｉ］、ＳＹ２［ｉ］、ＥＹ２［ｉ］）内の画像を切り出し、第二の領域ｗ２の画像ＩＭＧＭＣ２［ｉ］［ｘ］［ｙ］を生成する。

そして、ステップＳ３０３において、画像ＩＭＧＳＲＣ［ｘ］［ｙ］から、第三の領域ｗ３（ＳＸ３［ｉ］、ＥＸ３［ｉ］、ＳＹ３［ｉ］、ＥＹ３［ｉ］）内の画像を切り出し、第三の領域ｗ３の画像ＩＭＧＭＣ３［ｉ］［ｘ］［ｙ］を生成する。

つぎに、ステップＳ３０４において、第一の領域ｗ１の画像ＩＭＧＭＣ１［ｉ］［ｘ］［ｙ］と第一のテンプレート１２１０の大きさが同じになるようにサイズ調整を行う。サイズ調整は、第一の領域ｗ１の計算に用いた歩行者想定幅ＳＷ［ｉ］、歩行者想定高さＳＨ［ｉ］と、第一のテンプレート１２２０の歩行者基準幅ＰＷ、歩行者基準高さＰＨを用いて行う。

第一の領域の画像ＩＭＧＭＣ１［ｉ］［ｘ］［ｙ］が、第一のテンプレート１２２０と同じ大きさになるように、画像サイズを横方向にＰＷ／ＳＷ［ｉ］倍、縦方向にＰＨ／ＳＨ［ｉ］倍に拡大・縮小してもよいし、逆に第一のテンプレート１２２０が第一の領域の画像ＩＭＧＭＣ１［ｉ］［ｘ］［ｙ］と同じ大きさになるように、テンプレートの大きさを横方向にＳＷ［ｉ］／ＰＷ倍、縦方向にＳＨ［ｉ］／ＰＨ倍に拡大・縮小してもよい。

同様に、ステップＳ３０５において、第二の領域ｗ２の画像ＩＭＧＭＣ２［ｉ］［ｘ］［ｙ］と第二のテンプレート１２２０の大きさが同じになるようにサイズ調整を行う。
そして、ステップＳ３０６において、第三の領域ｗ３の画像ＩＭＧＭＣ３［ｉ］［ｘ］［ｙ］と第三のテンプレート１２３０の大きさが同じになるようにサイズ調整を行う。

そして、ステップＳ３０７において、大きさが調整された第一の領域ｗ１のサイズ正規化画像ＩＭＧＭＣ１［ｉ］［ｘ］［ｙ］と第一のテンプレート１２１０との間のマッチング率である第一のマッチング率ＭＡＴＣＨ１［ｉ］を算出する。マッチング率の算出方法については後述する。

同様に、ステップＳ３０８において、大きさが調整された第二の領域ｗ２のサイズ正規化画像ＩＭＧＭＣ２［ｉ］［ｘ］［ｙ］と第二のテンプレート１２２０との間の第二のマッチング率ＭＡＴＣＨ２［ｉ］を算出し、ステップＳ３０９において、大きさが調整された第三の領域ｗ３のサイズ正規化画像ＩＭＧＭＣ３［ｉ］［ｘ］［ｙ］と第三のテンプレート１２３０との間の第三のマッチング率ＭＡＴＣＨ３［ｉ］を算出する。

つぎに、図９、１０、１１を用いて、ステップＳ３０７〜ステップＳ３０９におけるマッチング率の算出方法について以下に詳細に説明する。まず、画像のパターンを用いて歩行者１１を検知する方法について説明する。歩行者１１を検知する方法としては、歩行者パターンの代表となるテンプレートを複数用意しておき、差分累積演算あるいは正規化相関係演算を行って一致度を求める方法や、ニューラルネットワークなどの識別器を用いてパターン認識を行う方法が挙げられる。

いずれの方法をとるとしても、あらかじめ歩行者１１か否かを決定する指標となるソースのデータベースが必要となる。様々な歩行者１１のパターンをデータベースとして蓄えておき、そこから代表となるテンプレートを作成し、あるいは識別器を生成する。実環境では様々な服装、姿勢、体型の歩行者が存在し、さらにそれぞれ照明や天候などの条件が異なったりすることから、大量のデータベースを用意して、誤判定を少なくすることが必要となる。

このとき、前者のテンプレートを用意する方法の場合、判定漏れを防ぐようにするとテンプレートの数が膨大となり、現実的ではない。そこで、本実施の形態では後者の識別器を用いて判定する方法を採用する。識別器の大きさはソースのデータベースの大きさに依存しない。なお、識別器を生成するためのデータベースを教師データと呼ぶ。

本実施形態における識別器を用いて歩行者１１か否かを判定する方法を、図９、８を用いて説明する。

まず、第一のマッチング率算出方法について説明する。図９は、本実施形態における、第一のマッチング率算出の方法を示すブロック図である。ここでは、図８のステップＳ３０４において、第一の領域の画像ＩＭＧＭＴ１［ｉ］［ｘ］［ｙ］は横方向にＰＷ／ＳＷ［ｉ］倍、縦方向にＰＨ／ＳＨ［ｉ］倍に拡大・縮小され、第一のサイズ正規化画像ＩＭＧＭＴ１Ｎ［ｉ］［ｘ］［ｙ］に変換されている場合について説明する。

本実施の形態では、第一の識別器４１を用いて第一のマッチング率ＭＡＴＣＨ１［ｉ］を算出する。第一の識別器４１は、画像内の所定の箇所に設置された複数の小領域ＴＰ１Ｒ［ｎ］内における濃淡勾配の方向と強さに基づいてマッチング率を算出する。

まず、入力画像ＩＭＧＭＴ１Ｎ［ｉ］［ｘ］［ｙ］が入力されると、例えばソーベルフィルタなどのフィルタリング処理部４１１によりフィルタリング処理が行われ、濃淡勾配の強さを表すエッジ強度画像ＩＭＧＭＡＧ１［ｘ］［ｙ］および濃淡勾配の方向を表すエッジ方向画像ＩＭＧＤＩＲ１［ｘ］［ｙ］がそれぞれ出力される。そして、局所エッジ強度算出部４１２により、各画像の所定箇所に設置された小領域ＴＰ１Ｒ［ｎ］内で、算出された濃淡勾配の強さと方向を用いて局所エッジ強度ＴＰ１Ｍ［ｎ］を算出する。

具体的には、小領域ＴＰ１Ｒ［ｎ］に含まれるエッジ方向画像ＩＭＧＤＩＲ１［ｘ］［ｙ］の値を参照し、その方向が小領域ＴＰ１Ｒ［ｎ］ごとに定められた所定の方向と同一であったときに、対応する位置のエッジ強度画像ＩＭＧＭＡＧ１［ｘ］［ｙ］の値を合計する。本実施の形態の場合、小領域ＴＰ１Ｒ［ｎ］を２０個設置しているため、局所エッジ強度ＴＰ１Ｍ［０］〜ＴＰ１Ｍ［１９］の２０個の値を得る。

つぎに、局所エッジ判断部４１３において、各局所エッジ強度を、対応する閾値ＴＰ１ＴＨ［０］〜ＴＰ１ＴＨ［１９］で閾値処理し、「１」か「０」の２値に変換する。そして、重み付け部４１４で重みＴＰ１Ｗ［０］〜ＴＰ１Ｗ［１９］を乗じ、合計部４１５へ出力する。合計部４１５は、重み付け部４１４から入力された２０個の値を合計し、第一のマッチング率ＭＡＴＣＨ［ｉ］として出力する。

なお、本実施の形態における第一のテンプレート１２１０は、識別器４１内の各局所エッジ強度ＴＰ１Ｍ［０］〜ＴＰ１Ｍ［１９］を算出する小領域ＴＰ１Ｒ［ｎ］の個数、位置、大きさ、濃淡勾配の方向、局所エッジ判断部４１３における局所エッジ強度の閾値ＴＰ１ＴＨ［０］〜ＴＰ１ＴＨ［１９］、重み付け部４１４の重みＴＰ１Ｗ［０］〜ＴＰ１Ｗ［１９］であり、これらのパラメータは、識別器４１への入力画像ＩＭＧＭＣ１Ｎ［ｉ］［ｘ］［ｙ］が歩行者であった場合には「１」を、歩行者ではなかった場合には「０」を出力するように、教師データを用いて調整される。この供試データを用いた調整には、ＡｄａＢｏｏｓｔなどの機械学習の手段を用いてもよいし、手動で行ってもよい。

例えば、ＮＰＤ個の歩行者１１の教師データ、およびＮＢＧ個非歩行者の教師データから、ＡｄａＢｏｏｓｔを用いて第一のテンプレート１２１０を決定する手順は以下の通りとなる。なお、以下、局所エッジの算出に必要な、位置、大きさ、濃淡勾配の方向の情報を持つ小領域をｃＴＰ１Ｒ[ｍ]と表す。ここで、ｍは局所エッジのＩＤ番号である。

まず位置、大きさ、判定する濃淡勾配の方向が異なる小領域ｃＴＰ１Ｒ[ｍ]を複数（例えば、１００万通り）用意し、それぞれ局所エッジ強度の値を全ての教師データから算出し、閾値ｃＴＰ１ＴＨ［ｍ］を決定する。閾値ｃＴＰ１ＴＨ［ｍ］は、歩行者１１の教師データと非歩行者の教師データを最も分類することができる値を選択する。

つぎに、歩行者１１の教師データひとつひとつにｗＰＤ［ｎＰＤ］＝１／２ＮＰＤの重みを与え、非歩行者の教師データひとつひとつにｗＢＧ［ｎＢＧ］＝１／２ＮＢＧの重みを与える。ここで、ｎＰＤは歩行者の教師データのＩＤ番号、ｎＢＧは非歩行者の教師データのＩＤ番号である。

そして、ｋ＝１として、以下、繰り返し処理を行う。まず、歩行者・非歩行者全ての教師データの重みの合計が１となるように、重みを正規化する。つぎに、各局所エッジの誤検知率ｃＥＲ［ｍ］を計算する。誤検知率ｃＥＲ［ｍ］は、小領域ＴＰ１Ｒ[ｍ]において、歩行者１１の教師データの局所エッジ強度ｃＴＰ１Ｍ［ｍ］［ｎＰＤ］を閾値ｃＴＰ１ＴＨ［ｍ］で閾値処理した結果が非歩行者となったもの、もしくは非歩行者の教師データの局所エッジ強度ｃＴＰ１Ｍ［ｍ］［ｎＢＧ］を閾値ｃＴＰ１ＴＨ［ｍ］で閾値処理した結果が歩行者１１となったもの、すなわち閾値処理した結果が実際と異なる教師データの重みの合計である。

全ての局所エッジの誤検知率ｃＥＲ［ｍ］を算出後、誤検知率が最小となる局所エッジのＩＤ ｍＭｉｎ を選択し、小領域ＴＰ１Ｒ［ｋ］＝ｃＴＰ１Ｒ［ｍＭｉｎ］、閾値ＴＰ１ＴＨ［ｋ］＝ｃＴＰ１ＴＨ［ｍＭｉｎ］とする。

つぎに、各教師データの重みを更新する。更新は、小領域ＴＰ１Ｒ［ｋ］において、歩行者１１の教師データの局所エッジ強度ＴＰ１Ｍ［ｋ］［ｎＰＤ］を閾値ＴＰ１ＴＨ［ｋ］で閾値処理した結果が歩行者１１となったもの、もしくは非歩行者の教師データの局所エッジ強度ＴＰ１Ｍ［ｋ］［ｎＢＧ］を閾値ＴＰ１ＴＨ［ｋ］で閾値処理した結果が非歩行者となったもの、すなわち閾値処理した結果が正解の教師データの重みに、係数ＢＴ［ｋ］＝ｃＥＲ［ｍＭｉｎ］／（１−ｃＥＲ［ｍＭｉｎ］）を乗じて行う。

ｋ＝ｋ＋１とし、ｋが予め設定した値（例えば、２０）になるまで繰り返す。繰り返し処理の終了後に得られる小領域ＴＰ１Ｒ［ｋ］、閾値ＴＰ１ＴＨ［ｋ］がＡｄａＢｏｏｓｔにより自動調整された識別器４１である。なお、重みＴＰ１Ｗ［ｋ］＝１／ＢＴ［ｋ］である。

つぎに、第二のマッチング率算出方法について説明する。図１０は、本実施形態における、第二のマッチング率算出の方法を示すブロック図である。ここでは、図８に示すステップＳ３０５において、第二の領域ｗ２の画像ＩＭＧＭＴ２［ｉ］［ｘ］［ｙ］が横方向にＰＷ／ＳＷ［ｉ］倍、縦方向にＰＨ／ＳＨ［ｉ］倍に拡大・縮小され、第二のサイズ正規化画像ＩＭＧＭＴ２Ｎ［ｉ］［ｘ］［ｙ］に変換されているものとする。本実施の形態では第二の識別器４２を用いて第二のマッチング率ＭＡＴＣＨ２［ｉ］を算出する。

第二の識別器４２は、第一の識別器４１と同様に、フィルタリング処理部４２１、局所エッジ強度算出部４２２、局所エッジ判断部４２３、重み付け部４２４、合計部４２５を有する。なお、第二の識別器４２は歩行者１１の中部１１Ｂの識別器であり、処理内容は第一の識別器４１と同様であるため、説明は省略する。

さらに、第三のマッチング率算出方法について説明する。図１１は、本実施形態における、第三のマッチング率算出の方法を示すブロック図である。ここでは、図８に示すステップＳ３０６において、第三の領域ｗ３の画像ＩＭＧＭＴ３［ｉ］［ｘ］［ｙ］が横方向にＰＷ／ＳＷ［ｉ］倍、縦方向にＰＨ／ＳＨ［ｉ］倍に拡大・縮小され、第三のサイズ正規化画像ＩＭＧＭＴ３Ｎ［ｉ］［ｘ］［ｙ］に変換されているものとする。本実施の形態では第三の識別器４３を用いて第三のマッチング率ＭＡＴＣＨ３［ｉ］を算出する。

第三の識別器４３は、第一の識別器４１及び第二の識別器４２と同様に、フィルタリング処理部４３１、局所エッジ強度算出部４３２、局所エッジ判断部４３３、重み付け部４３４、合計部４３５を有する。なお、第三の識別器４３は歩行者１１の下部１１Ｃの識別器であり、処理内容は第一の識別器４１と同様であるため、説明は省略する。

物体存在判定部１３４１は、マッチング率算出部１３３１により算出した第一のマッチング率ＭＡＴＣＨ１［ｉ］と、記憶装置１２００内の第一の閾値１２１１との比較、第二のマッチング率ＭＡＴＣＨ２［ｉ］と第二の閾値１２２１との比較、第三のマッチング率ＭＡＴＣＨ３［ｉ］と第三の閾値１２３１との比較を行う。

そして、第一のマッチング率ＭＡＴＣＨ１［ｉ］が第一の閾値１２１１以上であり、かつ第二のマッチング率ＭＡＴＣＨ２［ｉ］が第二の閾値１２２１以上であり、さらに第三のマッチング率ＭＡＴＣＨ３［ｉ］が第三の閾値１２３１以上である場合に、歩行者１１が存在すると判定し、少なくとも一つのマッチング率が閾値を下回る場合には、歩行者１１が存在しないと判定する。

上記の方法によれば、マッチングの度合いを局所的な分布で見ることができるので、歩行者の上半身のみに類似しているパターン、または歩行者の下半身のみに類似しているパターンを、歩行者として誤検知するのを排除することができる。

つぎに、本装置によって、例えば子供等の身長が低い歩行者１３を検出する方法について、図１２を用いて説明する。図１２は、低身長歩行者からマッチング率を算出する方法を説明する図である。

物体存在判定部１３４１は、検知処理領域選定部１３１１によって、検知処理領域Ｗの大きさ（歩行者想定幅ＳＷ、歩行者想定高さＳＨ）を変えずに、検知処理領域Ｗを縦方向に探索する設定とすることによって、画像内に歩行者１１とは上下方向の長さが異なる他の物体である低身長歩行者１３を検知することができる。

具体的には、第一のマッチング率ＭＡＴＣＨ１［ｉ］、第二のマッチング率ＭＡＴＣＨ２［ｉ］、第三のマッチング率ＭＡＴＣＨ３［ｉ］を配列として記憶し、前述の判定と同時に、互いに上下方向に位置が異なる部分領域の第一のマッチング率ＭＡＴＣＨ１［ｉ］、第二のマッチング率ＭＡＴＣＨ２［ｊ］、第三のマッチング率ＭＡＴＣＨ３［ｋ］を用いて、身長が低い歩行者１３を検知する。

図１２（ｂ）〜（ｄ）には、検知処理領域Ｗ［ｉ―２ｃ］（ＳＸ［ｉ―２ｃ］、ＳＹ［ｉ―２ｃ］、ＥＸ［ｉ―２ｃ］、ＥＹ［ｉ―ｃ］）、検知処理領域Ｗ［ｉ―ｃ］（ＳＸ［ｉ―ｃ］、ＳＹ［ｉ―ｃ］、ＥＸ［ｉ―ｃ］、ＥＹ［ｉ―ｃ］）、検知処理領域Ｗ［ｉ］（ＳＸ［ｉ］、ＳＹ［ｉ］、ＥＸ［ｉ］、ＥＹ［ｉ］）における各部分領域のマッチング率が示されている。

図１２に示すように、第一のテンプレート１２１０、第二のテンプレート１２２０、第三のテンプレート１２３０が対象とする歩行者１１（図３を参照）よりも身長が低い低身長歩行者１３の近傍でマッチング率を算出する。

その結果、低身長歩行者１３を検知処理領域Ｗ検知処理領域Ｗ［ｉ―２ｃ］の下で捉える時は、図１２（ｂ）に示すように、第三のテンプレート１２３０とのマッチング率ＭＡＴＣＨ３［ｉ−２ｃ］が高い値となる。そして、低身長歩行者１３を検知処理領域Ｗ［ｉ―ｃ］の中央で捉える時は、図１２（ｃ）に示すように、第二のテンプレート１２２０とのマッチング率ＭＡＴＣＨ２［ｉ−ｃ］が高い値となる。そして、低身長歩行者１３を検知処理領域Ｗ［ｉ］の上で捉える時は、図１２（ｄ）に示すように、第一のテンプレート１２１０とのマッチング率ＭＡＴＣＨ１［ｉ］が高い値となる。

従って、検知処理領域Ｗの大きさ（歩行者想定幅ＳＷ、歩行者想定高さＳＨ）を変えずに画像上で上から下へ縦方向に探索するように検知処理領域Ｗが設定されている場合、第一のテンプレート１２１０、第二のテンプレート１２２０、第三のテンプレート１２３０での検知を想定している歩行者（大人）１１の身長をＰＨＥ［ｍ］とし、検知したい低身長歩行者（子供）１３の身長をＣＨＥ［ｍ］とする。そして、ｃ＝（ＰＨＥ−ＣＨＥ）×ＳＨ／（２×ＰＨＥ）を算出し、検知処理領域Ｗ［ｉ］（ＳＸ［ｉ］、ＳＹ［ｉ］、ＥＸ［ｉ］、ＥＹ［ｉ］）における第一のマッチング率ＭＡＴＣＨ１［ｉ］、検知処理領域Ｗ［ｉ―ｃ］（ＳＸ［ｉ―ｃ］、ＳＹ［ｉ―ｃ］、ＥＸ［ｉ―ｃ］、ＥＹ［ｉ―ｃ］）における第二のマッチング率ＭＡＴＣＨ２［ｉ−ｃ］、および検知処理領域Ｗ［ｉ―２ｃ］（ＳＸ［ｉ―２ｃ］、ＳＹ［ｉ―２ｃ］、ＥＸ［ｉ―２ｃ］、ＥＹ［ｉ―２ｃ］）における第三のマッチング率ＭＡＴＣＨ３［ｉ−２ｃ］を用いて物体存在判定を行うことにより、低身長歩行者１３の存在を検知することができる。

従って、用意しているテンプレートが想定している歩行者（大人）１１よりも身長が低い低身長歩行者（子供）１３を、低身長歩行者専用のテンプレートを用意することなく検知することができる。同様に、テンプレートが想定している歩行者（大人）よりも身長が高い長身の歩行者についても、同様に特別なテンプレートを用意することなく、検知することができる。

物体存在判定部１３４１は、ロービーム判定結果ＬＢＳＴを用いて、周囲が暗くロービームの状態で歩行者を検知する場合と、そうでない場合でマッチング率の判定閾値を変化させることができる。

自車の前照灯が下向きであるロービームのときに、マッチング率の判定閾値を変化させる方法について、図１３を用いて説明する。図１３（ａ）は、昼間に撮影した画像２０内の歩行者１１のマッチング率を算出した例であり、図１３（ｂ）は、夜間にロービームの状態で撮影した画像２０内の歩行者１１のマッチング率を算出した例である。

図１３（ｂ）に示すように、夜間にロービームの状態で走行すると、自車前方の歩行者１１は、照射範囲Ｈ内に存在する足元（脚部）のみが明るく映し出される。従って、この画像２０のままでマッチング率を算出すると、上部部分領域である部分領域ｗ１、ｗ２は、部分領域ｗ１と第一のテンプレート１２１０とのマッチング率ＭＡＴＣＨ１［i］、及び部分領域ｗ２と第二のテンプレート１２２０とのマッチング率ＭＡＴＣＨ２［i］が低くなってしまう。

従って、このような場合に、物体存在判定部１３４１は、ロービーム判定部１３４０からのロービーム判定結果ＬＢＳＴを用いて、例えば第一の閾値（上部判定閾値）１２１１に係数「０．５」を、第二の閾値（上部判定閾値）１２２１に係数「０．７」を乗じて、第一の閾値１２１１と第二の閾値１２２１を非ロービーム状態のときよりも低い値に変更する。そして、第三の閾値（下部判定閾値）１２３１に係数「１．２」を乗じて、第三の閾値１２３１を非ロービーム状態のときよりも高い値に変更して物体存在判定を行う。

また、物体存在判定部１３４１は、物体位置検出部１３１０を用いて測定した物体１０の位置情報に応じてマッチング率の閾値を変化させてもよい。例として、物体１０が横方向へ移動しているかどうかに応じてマッチング率の閾値を変化させる方法について、図１４を用いて説明する。

図１４は、横方向に移動している歩行者１１の例を示す。検知処理領域選定部１３１１で説明したように、歩行者１１が横移動している場合、物体検知装置１０００内における通信遅れや取り付け誤差等によって、物体位置検出部１３１０で取得した画像２０上での物体位置（ＢＳＸ［ｂ］、ＢＳＹ［ｂ］、ＢＥＸ［ｂ］、ＢＥＹ［ｂ］）は、画像２０上の歩行者１１の位置とずれてしまう。

特に、物体１０が横方向に移動している場合、検知処理領域Ｗを設定する範囲である（ＢＳＸ２［ｂ］、ＢＳＹ２［ｂ］、ＢＥＸ２［ｂ］、ＢＥＹ２［ｂ］）にも含まれないことが発生しうる。

この場合、第一のテンプレート１２１０を歩行者１１の右半身のテンプレートとし、第二のテンプレート１２２０を歩行者１１の左半身のテンプレートとすると、歩行者１１が右側に移動している場合は右半身１１Ｒが検知処理領域Ｗに入らないため右半身のテンプレート１２１０に関する第一のマッチング率ＭＡＴＣＨ１［ｉ］が小さくなり、左側に移動している場合は左半身が検知処理領域Ｗに入らないため左半身のテンプレート１２２０に関する第二のマッチング率ＭＡＴＣＨ２［ｉ］が小さくなる。

従って、物体位置検出部１３１０から得られる物体１０の横位置ＰＸ［ｂ］から横移動速度ＶＸ［ｂ］を算出し、その絶対値が所定の速度閾値を超えた場合は横移動していると判定し、ＶＸ［ｂ］の符号から右側に歩いていると判定された場合は右側のテンプレートである第一のテンプレート１２１０に関する第一の閾値１２１１が小さくなるような係数を乗じ、また、左側に歩いていると判定された場合は左側のテンプレートである第二のテンプレート１２２０に関する第二の閾値１２２１が小さくなるような係数を乗じ、第一の閾値１２１１および第二の閾値１２２１を調整して物体存在判定を行う。係数は、例えば０．８など一定の値でもよいし、例えば横方向の速度が０から横方向の速度の閾値まで１．０で、速度が高くなるほど値が０に近づくような関数を用いてもよい。

上記した物体検知装置１０００によれば、歩行者１１を検知する検知処理領域Ｗを上下方向に区画して部分領域ｗ１、ｗ２、ｗ３の３つに分割する。そして、歩行者１１の上部１１Ａを検知する第一のテンプレート１２１０、歩行者１１の中部１１Ｂを検知する第二のテンプレート１２２０、および歩行者１１の脚部１１Ｃを検知する第三のテンプレート１２３０を用いて、各部分領域ｗ１、ｗ２、ｗ３とのマッチング率ＭＡＴＣＨ１、ＭＡＴＣＨ２、ＭＡＴＣＨ３を算出する。そして、各マッチング率ＭＡＴＣＨ１、ＭＡＴＣＨ２、ＭＡＴＣＨ３がそれぞれの判定閾値１２１１、１２２１、１２３１よりも大きいか否かを判断し、各マッチング率ＭＡＴＣＨ１、ＭＡＴＣＨ２、ＭＡＴＣＨ３が各判定閾値１２１１、１２２１、１２３１よりも大きいときは歩行者１１であると判定する。従って、歩行者１１の上半身にのみ類似しているパターン、または歩行者１１の下半身にのみ類似しているパターンに対する誤検知を排除することができる。

また、物体検知装置１０００によれば、歩行者１１を検知する場合、別々の位置で算出した第一のテンプレート１２１０とのマッチング率ＭＡＴＣＨ１と、第二のテンプレート１２２０とのマッチング率ＭＡＴＣＨ２と、第三のテンプレート１２３０とのマッチング率ＭＡＴＣＨ３を様々に組み合わせることができる。

例えば、検知処理領域Ｗを縦方向へ探索するように設定し、第一のマッチング率ＭＡＴＣＨ１［ｉ］、第二のマッチング率ＭＡＴＣＨ２［ｉ］、第三のマッチング率ＭＡＴＣＨ３［ｉ］を配列として記憶し、異なる縦位置で算出した第一のマッチング率ＭＡＴＣＨ１［ｉ］、第二のマッチング率ＭＡＴＣＨ２［ｊ］、第三のマッチング率ＭＡＴＣＨ３［ｋ］を組み合わせることができる。従って、大人よりも身長が低い子供を、子供専用のテンプレートを用意することなく、大人用のテンプレートのみで簡単且つ適切に検知することができる。

さらに、ロービーム判定部１３４０の結果によって第一の閾値１２１１、第二の閾値１２２１、第三の閾値１２３１に係数を乗じ、ロービーム状態とロービーム状態以外のときで判定閾値を変化させることによって、ロービームにより歩行者１１の脚部のみが明るく見えている場合でも歩行者１１を適切に検知することができる。

また、第一のテンプレート１２１０を歩行者１１の右半身を検知するテンプレートとし、第二のテンプレート１２２０を歩行者１１の左半身を検知するテンプレートとして、物体位置検出部１３１０の情報を用いて物体１０が横移動していると判定した場合に、第一の閾値１２１１および第二の閾値１２２１に係数を乗じ、横移動時と横移動時でないときとで判定閾値を変化させることによって、通信遅れ等により物体位置検出部１３１０で検出した位置が画像２０上の位置より遅れていても歩行者１１を適切に検知することができる。

なお、歩行者１１の検知に用いる識別器４１、４２、４３は、本実施例で取り上げた方法に限定されない。正規化相関を用いたテンプレートマッチング、ニューラルネットワーク識別器、サポートベクターマシン識別器、ベイズ識別器などを用いてもよい。また、テンプレートの数は本実施例の３つに限定されず、２つのテンプレートでも、４つ以上のテンプレートでもよい。さらに、物体存在判定部１３４１で説明したように、処理回路１３００は、物体位置検出部１３１０またはロービーム判定部１３４０を用いない形態でも使用可能である。

本発明は、上述の実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の変更が可能である。例えば、上述の実施の形態では、検知対象の物体１０として歩行者１１の場合を例に説明したが、例えば先行車両などの他の物体でもよい。また、上述の実施の形態では、検知処理領域Ｗを３つの部分領域ｗ１、ｗ２、ｗ３に分解して歩行者１１を検出する場合を例に説明したが、部分領域は複数であればよく、例えば２つ、あるいは４つ以上であってもよい。

本実施の形態における物体検知装置のブロック図。 第一のテンプレート〜第三のテンプレートを示す模式図。 物体位置を設定する例を示す模式図。 処理領域を設定する例を示す模式図。 処理領域を設定する他の例を示す模式図。 処理領域を複数の部分領域に分割する例を示す模式図。 処理領域を複数の部分領域に分割する他の例を示す模式図。 マッチング率算出部の処理内容を示すフローチャート。 第一のテンプレートを用いた歩行者の判定方法を示すブロック図。 第二のテンプレートを用いた歩行者の判定方法を示すブロック図。 第三のテンプレートを用いた歩行者の判定方法を示すブロック図。 低身長歩行者を判定する方法を説明する図。 ロービームの状態で歩行者を検知する例を説明する図。 自車前方で横方向に移動している歩行者を検知する例を説明する図。

符号の説明

１０００ 物体検知装置
１１００ 画像取得装置
１２００ 記憶装置
１２１０ 第一のテンプレート
１２１１ 第一の閾値
１２２０ 第二のテンプレート
１２２１ 第二の閾値
１２３０ 第三のテンプレート
１２２１ 第三の閾値
１３００ 処理回路
１３１０ 物体位置検出部
１３１１ 処理領域選定部
１３２１ 領域分割部
１３３１ マッチング率算出部
１３４０ ロービーム判定部
１３４１ 物体存在判定部

Claims (11)

1. 画像内から予め設定された物体を検知する物体検知装置であって、
   前記画像内で前記物体を検知するための検知処理領域を選定し、該選定された検知処理領域を複数の部分領域に分割して、前記物体が有する部分を検知するテンプレートと前記各部分領域とのマッチング率をそれぞれ算出し、該算出した各マッチング率に基づいて前記画像内に前記物体が存在するか否かを判定することを特徴とする物体検知装置。
2. 画像内から予め設定された物体を検知する物体検知装置であって、
   前記画像内で前記物体を検知するための検知処理領域を選定する検知処理領域選定部と、
   該検知処理領域選定部により選定された前記検知処理領域を複数の部分領域に分割する領域分割部と、
   前記複数の部分領域に対して各々設定され前記物体の部分を検知するためのテンプレートを用いて、前記各部分領域とのマッチング率をそれぞれ算出するマッチング率算出部と、
   該マッチング率算出部により算出した各マッチング率に基づいて前記画像内に前記物体が存在するか否かを判定する物体存在判定部と、
   を有することを特徴とする物体検知装置。
3. 前記物体の位置を検出する物体位置検出部を有し、
   前記検知処理領域選定部は、前記物体位置検出部により検出した前記物体の位置に基づいて前記検知処理領域を選定することを特徴とする請求項２に記載の物体検知装置。
4. 前記領域分割部は、前記テンプレートに応じて前記検知処理領域を分割することを特徴とする請求項２又は請求項３に記載の物体検知装置。
5. 前記物体存在判定部は、前記各部分領域に対して予め設定された判定閾値と、前記マッチング率算出部により算出された前記マッチング率とを比較して、前記各マッチング率が前記各判定閾値以上の場合に前記画像内に前記物体が存在すると判定することを特徴とする請求項２から請求項４のいずれか一つに記載の物体検知装置。
6. 前記領域分割部は、前記検知処理領域を上下方向に区画される第一の部分領域、第二の部分領域、第三の部分領域の三つに分割し、
   前記マッチング率算出部は、前記物体の上部を検知するための第一のテンプレートを用いて前記第一の部分領域とのマッチング率である第一のマッチング率を算出し、前記物体の中部を検知するための第二のテンプレートを用いて前記第二の部分領域とのマッチング率である第二のマッチング率を算出し、前記物体の下部を検知するための第三のテンプレートを用いて前記第三の部分領域とのマッチング率である第三のマッチング率を算出し、
   前記物体存在判定部は、
   前記第一のマッチング率が前記第一の部分領域に対して予め設定された第一の判定閾値以上であり、且つ、前記第二のマッチング率が前記第二の部分領域に対して予め設定された第二の判定閾値以上であり、且つ、前記第三のマッチング率が前記第三の部分領域に対して予め設定された第三の判定閾値以上である場合に前記物体が存在すると判定することを特徴とする請求項２から請求項５のいずれか一つに記載の物体検知装置。
7. 前記検知処理領域選定部は、前記画像内において上下方向に複数の検知処理領域を選定し、
   前記領域分割部は、前記検知処理領域を上下方向に分割して前記複数の部分領域とし、
   前記物体存在判定部は、前記複数の検知処理領域にて互いに上下方向に位置が異なる部分領域のマッチング率を用いて、前記画像内に前記物体とは上下方向の長さが異なる他の物体が存在するか否かを判定することを特徴とする請求項２から請求項５のいずれか一つに記載の物体検知装置。
8. 自車がロービームの状態で走行しているか否かを判定するロービーム判定部を備え、
   前記領域分割部は、前記検知処理領域を上部部分領域と下部部分領域に分割し、
   前記物体存在判定部は、前記ロービーム判定部によってロービーム状態と判定されているときは前記上部部分領域に対して予め設定されている上部判定閾値と、前記下部部分領域に対して予め設定されている下部判定閾値を調整して物体判定を行うことを特徴とする請求項２から請求項５のいずれか一つに記載の物体検知装置。
9. 前記物体存在判定部は、前記ロービーム判定部によってロービーム状態と判定されているときは前記上部判定閾値を非ロービーム状態のときよりも低い値に変更して物体判定を行うことを特徴とする請求項８に記載の物体検知装置。
10. 前記物体存在判定部は、前記ロービーム判定部によってロービーム状態と判定されているときは前記下部判定閾値を非ロービーム状態のときよりも高い値に変更して物体判定を行うことを特徴とする請求項８又は９に記載の物体検知装置。
11. 前記領域分割部は、前記物体位置検出手段からの検出信号に基づいて前記物体の横移動速度を算出し、該横移動速度が予め設定された速度閾値を超えている場合には、前記処理領域を左右方向に分割して左部分領域と右部分領域とし、
    前記物体存在判定部は、前記左部分領域と右部分領域のうち、前記物体の移動方向前側に位置する部分領域に対して予め設定されている第一の閾値を、前記横移動速度が前記速度閾値以下のときよりも低い値に変更して物体判定を行うことを特徴とする請求項２から請求項５のいずれか一つに記載の物体検知装置。

Images