JP2014191471A - 物体検出装置 - Google Patents

Abstract

【課題】画像から対象物を高い精度で検出することができる物体検出装置を提供することを課題とする。
【解決手段】物体検出装置１において、窓領域設定部１１は、入力画像２０の画素の位置に基づいて窓領域を設定する。識別値計算部１３は、検出対象物の特徴データに基づいて、検出対象物が窓領域に含まれる窓画像に存在する度合いを示す識別値を計算する。識別画像生成部１４は、窓画像から計算された識別値を画素の位置に応じて配置して識別画像を生成する。積分部１５は、識別画像と、入力画像２０よりも時間的に前に入力された過去入力画像から生成された過去識別画像４２とを積分して積分画像４５を生成する。判断部１６は、積分画像４５に基づいて、検出対象物が入力画像２０中に存在するか否かを判断する。
【選択図】図１

Description

本発明は、検出対象物が画像中に存在するか否かを判断する物体検出装置に関する。

カメラが撮影した画像などに人物などの対象物が存在するか否かを判断する物体検出装置が存在する。物体検出装置は、たとえば、カメラとともに車両に搭載される。物体検出装置は、カメラが撮影した画像に人物が存在するか否かを判断することにより、運転手に歩行者の存在を知らせることができる。物体検出装置を利用することにより、車両の運転手は、車両の外部の状況を容易に把握することができる。

物体検出装置は、対象物が画像中に存在するか否かを判断するために、ニューラルネットワークや、サポートベクターマシン、パターンマッチングなどのアルゴリズムを使用する。物体検出装置は、入力された画像に対して、物体を検出する領域（検出窓）を設定する。物体検出装置は、上記のアルゴリズムが実装されたプログラムを用いて、対象物が検出窓の画像に含まれているか否かを判断する。

例えば、特許文献１の画像認識装置は、検出対象の領域が一部重複する複数の検出窓を設定し、認識対象（歩行者など）の基準パターンを用いて、各検出窓に対するパターンマッチングを実行する。画像認識装置は、パターンマッチングが複数回実行された領域については、各パターンマッチングの結果を積分する。積分結果に基づいて、歩行者の位置が特定される。

特開２００９−７０３４４号公報

特許文献１に係る画像認識装置が対象物を検出する際に基準パターンを用いるように、対象物の特徴が記録された特徴データを予め準備する必要がある。例えば、ニューラルネットワークを用いて歩行者を画像中から検出する場合、物体検出装置は、歩行者を含むサンプル画像を学習して特徴データを作成する。様々なサンプル画像を学習することにより、歩行者の検出精度を向上することができる。

しかし、様々なサンプル画像を用いて学習しても、誤検出を完全に防ぐことが難しい。例えば、ノイズなどの影響により、画像中の歩行者の特徴が変化することにより、画像中の歩行者の特徴が、これまでに学習した特徴に一致しない場合がある。この場合、物体検出装置は、歩行者を画像中から検出することができない。逆に、歩行者ではない他の物体の特徴が学習済みの特徴に偶然一致した場合、物体検出装置は、他の物体を誤って歩行者と判断する。

本発明の目的は、画像から対象物を高い精度で検出することができる物体検出装置を提供することである。

上記課題を解決するため、請求項１記載の発明は、物体検出装置であって、入力画像の画素の位置に基づいて窓領域を設定する窓領域設定部と、検出対象物の特徴データに基づいて、前記検出対象物が前記窓領域に含まれる窓画像に存在する度合いを示す識別値を前記窓画像から計算する識別値計算部と、前記窓画像から計算された識別値を前記画素の位置に応じて配置して識別画像を生成する識別画像生成部と、前記識別画像と、前記入力画像よりも時間的に前に入力された第１過去入力画像から生成された第１過去識別画像とを積分して積分画像を生成する積分部と、前記検出対象物が前記入力画像中に存在するか否かを前記積分画像に基づいて判断する判断部と、を備える。

請求項２記載の発明は、請求項１に記載の物体検出装置であって、さらに、前記積分部は、前記第１過去識別画像の画素値を所定のしきい値と比較し、前記第１過去識別画像の画素値が前記しきい値よりも小さい場合、前記第１過去識別画像の画素値を切り捨てる。

請求項３記載の発明は、請求項１又は請求項２に記載の物体検出装置であって、前記積分部は、前記第１過去識別画像の各画素値を重み付けし、前記積分画像と各画素値が重み付けされた第１過去識別画像とを積分する。

請求項４記載の発明は、請求項３に記載の物体検出装置であって、第２過去入力画像は、前記第１過去入力画像よりも時間的に前に入力され、前記積分部は、前記第２過去入力画像から生成された第２過去識別画像の画素値を重み付けし、重み付けされた第２過去識別画像を用いて積分画像を生成し、前記第２過去識別画像の重み付けに用いられる係数は、前記第１過去識別画像の重み付けに用いられる係数よりも小さい。

請求項５記載の発明は、請求項１ないし請求項４のいずれかに記載の物体検出装置であって、さらに、前記窓画像に対して所定の画像処理を施す画像処理部、を備え、前記識別値計算部は、前記所定の画像処理が施された変更窓画像の識別値を計算し、前記識別画像生成部は、前記窓画像の識別値と前記変更窓画像の識別値とを積算する。

請求項６記載の発明は、物体検出装置に搭載されるコンピュータに、入力画像の画素の位置に基づいて窓領域を設定するステップと、検出対象物の特徴データに基づいて、前記検出対象物が前記窓領域に含まれる窓画像に存在する度合いを示す識別値を前記窓画像から計算するステップと、前記窓画像から計算された識別値を前記画素の位置に応じて配置して識別画像を生成するステップと、前記識別画像と、前記入力画像よりも時間的に前に入力された第１過去入力画像から生成された第１過去識別画像とを積分して積分画像を生成するステップと、前記検出対象物が前記入力画像中に存在するか否かを前記積分画像に基づいて判断するステップとを実行させるための物体検出プログラムである。

本発明の物体検出装置は、入力画像の画素の位置に応じて窓領域を設定し、窓領域に含まれる画像から検出対象物の識別値を計算する。識別値を画素の位置に応じて配置することにより、識別画像が生成される。物体検出装置は、入力画像から生成された識別画像と過去入力画像から生成された過去識別画像とを積分した積分画像に基づいて、検出対象物の有無を判断する。入力画像だけでなく過去の入力画像の識別結果を用いることにより、検出対象物の検出精度を向上させることができる。

本発明の実施の形態に係る物体検出装置の構成を示す機能ブロック図である。 図１に示す物体検出装置の動作を示すフローチャートである。 図２に示す識別画像生成処理のフローチャートである。 図１に示す物体検出装置に入力される画像の一例を示す図である。 図１に示す物体検出装置により生成された通常窓画像を示す図である。 図１に示す物体検出装置により生成された拡大窓画像を示す図である。 図１に示す物体検出装置により生成された回転窓画像を示す図である。 図１に示す物体検出装置に入力される画像の他の例を示す図である。 図８に示す画像から生成された識別画像を示す図である。 図１に示す物体検出装置により生成される識別画像及び積分画像を時系列で配列した図である。

以下、図面を参照しつつ、本発明の実施の形態を詳しく説明する。

［１．物体検出装置１の構成］
図１は、本発明の実施の形態に係る物体検出装置１の構成を示す機能ブロック図である。物体検出装置１は、カメラ（図示省略）が撮影した画像中に、検出対象物が存在するか否かを判断する装置である。

本実施の形態では、物体検出装置１は、カメラとともに車両に搭載される。カメラは、車両の前方の景色を撮影して動画像データを生成する。動画像データを構成する複数のフレームが物体検出装置１に順次入力される。入力画像２０は、複数のフレームのうち１つのフレームに相当する。物体検出装置１は、入力画像２０から、検出対象物として歩行者を検出する。

図１に示すように、物体検出装置１は、窓領域設定部１１と、画像処理部１２と、識別値計算部１３と、識別画像生成部１４と、積分部１５と、判断部１６と、記憶部１７とを備える。

窓領域設定部１１は、入力画像２０全体をスキャンするようにして、入力画像２０に対して複数の窓領域を設定する。窓領域は、入力画像２０中に歩行者が存在するか否かを判断するための単位領域である。窓領域設定部１１は、設定された窓領域に含まれる画像を入力画像２０から切り出して、通常窓画像２１を生成する。

画像処理部１２は、入力画像２０に対して、拡大処理、回転処理をそれぞれ実行する。さらに、画像処理部１２は、拡大された入力画像２０及び回転された入力画像２０を窓領域でそれぞれ切り出すことにより、拡大窓画像２２及び回転窓画像２３を生成する。以下、拡大窓画像２２及び回転窓画像２３を総称する場合、「変更窓画像」と呼ぶ。変更窓画像の詳細については、後述する。

識別値計算部１３は、記憶部１７に記憶された特徴データ２６に基づいて、通常窓画像２１から識別値３１を計算する。識別値３１の計算には、ニューラルネットワークが用いられる。識別値３１は、歩行者が通常窓画像２１中に存在する度合いを示す数値である。識別値３１は、窓画像に歩行者が存在する可能性が高いほど大きくなり、歩行者が存在する可能性が低いほど０に近くなる。同様に、識別値３２が、拡大窓画像２２から計算され、識別値３３が、回転窓画像２３から計算される。

識別画像生成部１４は、窓領域ごとに識別値３１〜３３を積算し、積算された識別値を用いて識別画像４１を生成する。識別画像生成部１４は、積算された識別値を窓領域のそれぞれの位置に応じてテンプレート画像２７に配置することにより、識別画像４１を生成する。テンプレート画像２７は、画素値が全て０であり、入力画像２０と同じサイズを有する。

積分部１５は、識別画像４１と、過去識別画像４２，４２とを積分して、積分画像４５を生成する。過去識別画像４２，４２は、入力画像２０よりも時間的に前に入力された２つの入力画像（過去入力画像）のそれぞれから生成された識別画像である。積分画像４５は、識別画像４１の画素値と過去識別画像４２，４２の画素値とが画素の位置に応じて加算されることにより生成される。

判断部１６は、積分画像４５に基づいて、入力画像２０中に歩行者が存在するか否かを判断する。入力画像２０中に歩行者が存在すると判断した場合、判断部１６は、歩行者の存在を示す枠を入力画像２０上に配置した検出結果画像４６を生成する。

記憶部１７は、ハードディスク装置やフラッシュメモリなどの記憶装置であり、特徴データ２６と、テンプレート画像２７と、過去識別画像４２，４２を格納する。特徴データ２６には、検出対象物（歩行者）の特徴が記録される。また、記憶部１７は、窓領域設定部１１、画像処理部１２、識別値計算部１３、識別画像生成部１４、積分部１５、及び判断部１６が各々の処理を実行する際の作業領域として使用される。

［２．物体検出装置１の動作］
［２．１．動作の概略］
図２は、物体検出装置１の動作を示すフローチャートである。図２を参照しながら、物体検出装置１の動作を説明する。

物体検出装置１は、入力画像２０が入力されるたびに、図２に示す処理を実行して、入力画像２０中に歩行者が存在するか否かを判断する。

物体検出装置１は、識別画像生成処理を実行する（ステップＳ１）。これにより、識別画像４１が、入力画像２０から生成される。識別画像生成処理（ステップＳ１）の詳細については、後述する。

物体検出装置１は、識別画像４１を生成した後に、積分対象となる過去識別画像４２，４２を選択する（ステップＳ２）。具体的には、入力画像２０の直前に入力された２つの過去入力画像から生成された識別画像が、積分対象として選択される。２つの過去入力画像のうち一方は、入力画像２０の直前に入力された第１過去入力画像であり、他方は、第１過去入力画像の直前に入力された第２過去入力画像である。

物体検出装置１は、識別画像４１と、ステップＳ２で選択された過去識別画像４２，４２とを積分して、積分画像４５を生成する（ステップＳ３）。なお、物体検出装置１は、過去識別画像４２，４２を選択できない場合、ステップＳ３，Ｓ４を実行しない。過去識別画像４２，４２を選択できない具体例については、後述する。

物体検出装置１は、積分画像４５に基づいて、歩行者が入力画像２０中に存在するか否かを判断する（ステップＳ４）。物体検出装置１は、積分画像４５から、予め設定された基準値以上の画素値を有する領域を特定し、特定された領域の面積が所定の面積よりも大きいか否かを判断する。特定された領域の面積が所定の面積よりも大きい場合、物体検出装置１は、歩行者が特定された領域に存在すると判断する。

以下、図２に示す各処理について詳しく説明する。

［２．２．識別画像生成処理（ステップＳ１）］
図３は、識別画像生成処理（ステップＳ１）のフローチャートである。図４は、入力画像２０の一例を示す図である。図４に示す入力画像２０において、左上頂点を原点Ｏとし、横方向をｘ軸、縦方向をｙ軸に設定する。図３及び図４を参照しながら、識別画像生成処理（ステップＳ１）について詳しく説明する。

窓領域設定部１１は、予め設定された順序に基づいて、入力画像２０に対して窓領域を１つ設定する（ステップＳ１１）。窓領域設定部１１は、入力画像２０の画素のうち、窓領域の中心となる中心画素を選択し、選択した中心画素の位置に基づいて窓領域を設定する。

後述するように、ステップＳ１１が繰り返し実行されることにより、中心画素は、入力画像２０の左上頂点から右下頂点までをスキャンするように設定される。このとき、窓領域設定部１１は、入力画像２０の各画素を中心画素に順次指定してもよい。あるいは、窓領域設定部１１は、一定の間隔ごとに中心画素を選択してもよい。例えば、スキャン方向（横方向及び縦方向）に関係なく、中心画素が５つの画素ごと選択されるようにすればよい。

以下、特に説明のない限り、ステップＳ１１において図４に示す窓領域Ａが設定された場合を例にして、識別画像生成処理（ステップＳ１）の詳細を説明する。窓領域Ａの中には、人物４０が存在する。

画像処理部１２は、入力画像２０に対して、拡大処理及び回転処理をそれぞれ実行する（ステップＳ１２）。拡大処理及び回転処理は、窓領域Ａの中心Ｐを基準にして実行される。拡大処理は、中心Ｐを基準にして、入力画像２０を１２５％の倍率で拡大する。回転処理は、中心Ｐを基準にして、入力画像２０を時計回りに７度回転させる。この結果、拡大された入力画像２０及び回転された入力画像２０がそれぞれ生成される。

物体検出装置１は、入力画像２０及び各画像処理が施された入力画像２０に対して切り出し処理を実行する（ステップＳ１３）。図５に示すように、窓領域設定部１１が、入力画像２０から窓領域Ａに含まれる画像を切り出して通常窓画像２１を生成する。図６に示すように、画像処理部１２が、拡大された入力画像２０から窓領域Ａに含まれる画像を切り出して拡大窓画像２２を生成する。図７に示すように、画像処理部１２が、回転された入力画像２０から窓領域Ａに含まれる画像を切り出して回転窓画像２３を生成する。

ステップＳ１２，１３において、画像処理部１２は、窓領域Ａ及び周辺領域の画像に対して画像処理を行い、画像処理が行われた領域の画像から変更窓画像を切り出すことが望ましい。これにより、演算量を削減できるとともに、空白の領域が変更窓画像中に発生することを防止できる。

なお、ステップＳ１２，Ｓ１３の順序を入れ替えてもよい。具体的には、窓領域設定部１１が、入力画像２０から通常窓画像２１を切り出す（ステップＳ１３）。その後、画像処理部１２が、通常窓画像２１に対して、拡大処理及び回転処理を実行する（ステップＳ１２）。通常窓画像２１から回転窓画像２３を生成した場合、回転窓画像２３に空白の領域が発生する。この場合、画像処理部１２は、発生した空白の領域の画素値を０に設定すればよい。あるいは、画像処理部１２は、空白の領域以外の画素値を空白の領域の画素値としてコピーしてもよい。例えば、回転窓画像２３の左上頂点が原点であり、回転窓画像２３の座標（ｘ，ｙ）よりも左側の画素に画素値が設定されていないと仮定する。この場合、画像処理部１２は、座標（ｘ，ｙ）の画素値を、座標（０，ｙ）から座標（ｘ−１，ｙ）までの画素値としてコピーすればよい。

識別値計算部１３が、特徴データ２６に基づいて、通常窓画像２１と変更窓画像とに対応する識別値３１〜３３を計算する（ステップＳ１４）。識別値３１〜３３の計算には、ニューラルネットワークの他に、パターンマッチング、サポートベクターマシンなどの各種アルゴリズムを用いることができる。

例えば、通常窓画像２１のサイズが、横６４ピクセル、縦１２８ピクセルである場合、識別値計算部１３は、通常窓画像２１を横１６ピクセル、縦３２ピクセルのサイズに縮小する。識別値計算部１３は、縮小された通常窓画像２１を用いて識別値３１を計算する。通常窓画像２１を縮小することで、ニューラルネットワークの演算量を削減することができる。変更窓画像に対応する識別値３２，３３も、同様の手順で計算される。

識別画像生成部１４は、識別値３１〜３３を積算する（ステップＳ１５）。積算された積分値は、テンプレート画像２７上にマッピングされる（ステップＳ１６）。例えば、入力画像２０の各画素が窓領域の中心画素として選択された場合には、積算された識別値は、テンプレート画像２７において、各中心画素の位置の画素値に設定される。

また、窓領域の中心画素が横方向及び縦方向に５つの画素ごとに選択される場合、識別画像生成部１４は、中心画素を基準にして横５ピクセル、縦５ピクセルの範囲の画素値を、積算された識別値に設定する。具体的には、窓領域Ａの中心Ｐの座標が（ｘ，ｙ）である場合、座標（ｘ−２，ｙ−２）を左上頂点とし、座標（ｘ＋２，ｙ＋２）を右上頂点とする正方形の範囲の画素値が、積算された識別値に設定される。

物体検出装置１は、入力画像２０において全ての窓領域を設定済みであるか否かを判断する（ステップＳ１７）。全ての窓領域の設定が終了していない場合（ステップＳ１７においてＮｏ）、物体検出装置１は、ステップＳ１１〜Ｓ１６を繰り返し実行する。この結果、窓領域ごとに計算された識別値３１〜３３が積算された上でテンプレート画像２７上にマッピングされ、識別画像４１が生成される。全ての窓領域の設定が終了した場合（ステップＳ１７においてＹｅｓ）、物体検出装置１は、識別画像生成処理（ステップＳ１）を終了する。

このように、物体検出装置１は、歩行者の検出精度を高めるために、通常窓画像２１の他に、識別値計算部１３の計算対象となる変更窓画像を生成する。通常窓画像２１内に歩行者が含まれているにもかかわらず、ノイズ等の影響により、識別値計算部１３が、人物が存在する可能性を示す識別値３１を通常窓画像２１から生成できない場合がある。しかし、変更窓画像のいずれかに含まれる歩行者の特徴が、特徴データ２６に記録された特徴に一致した場合、識別値計算部１３は、歩行者の存在を示す識別値を出力できる。物体検出装置１は、識別値３１〜３３を加算することにより、人物の検出精度を向上させることを可能としている。

しかし、識別値３１〜３３を加算することにより生成された識別画像４１のみに基づいて、歩行者の有無を判断した場合であっても、誤検出が発生する場合がある。

図８は、入力画像２０の他の例（入力画像２０ａ）を示す図である。図９は、図８に示す入力画像２０ａから生成された識別画像４１ａを示す。識別画像４１ａにおいて、画素の色が黒いほど、画素値が０に近づき、画素の色が白いほど、画素値が大きいことを示している。すなわち、画素の色が白くなるにつれて、その画素の位置に歩行者が存在する可能性が高い。また、入力画像２０ａにおいて、窓領域の中心画素は、所定の間隔ごとに設定されているため、識別画像４１ａは、入力画像２０ａよりも粗くなっている。

図８に示す入力画像２０ａにおいて、歩行者が白線で囲まれた領域５１ａ〜５３ａに存在している。図９に示す識別画像４１ａにおいて、領域６１ａ〜６３ａは、領域５１ａ〜５３ａに対応し、これらの領域の画素が白く表示されていることが分かる。このように、識別画像４１ａを用いて、入力画像２０ａ中における歩行者の有無を判断することが可能である。

しかし、入力画像２０ａの領域５３ａの右側に歩行者が存在しないにもかかわらず、識別画像４１ａにおいて領域６３ａの右側に位置する領域６４ａの画素が、白くなっている。これは、識別値計算部１３が歩行者ではない別の物体を含む窓画像から、歩行者の存在を示す識別値を出力したことを示している。従って、識別画像４１ａのみを用いて、入力画像２０ａ中の歩行者の有無を判断した場合、誤検出が発生する。物体検出装置１は、識別画像４１と過去識別画像４２とを積分することにより、誤検出の発生を防止する。以下、詳しく説明する。

［２．３．積分画像４５の生成及び歩行者検出（ステップＳ３，Ｓ４）］
図１０は、入力画像２０、識別画像４１、及び積分画像４５を時系列に配列した図である。図１０を参照しながら、積分画像４５の生成について説明する。図１０に示すように、物体検出装置１が、入力画像２０ａ〜２０ｄを順次に入力すると仮定する。

図１０に示す識別画像４１ａ〜４１ｃ及び積分画像４５ｃ，４５ｄは、図９と同様に、大きい画素値を有する画素ほど白い色で表され、０に近い画素値を有する画素ほど黒い色で表される。また、図１０に示す積分画像４５ｃ，４５ｄを生成する際に、後述する切り捨て処理及び重み付け処理が実行されていない。

最初に、物体検出装置１は、入力画像２０ａを入力する。識別画像生成処理（ステップＳ１）により、入力画像２０ａに対応する識別画像４１ａが生成される。しかし、入力画像２０ａが物体検出装置１に最初に入力された画像であるため、積分の対象となる過去識別画像４２が存在しない。この場合、物体検出装置１は、ステップＳ２〜Ｓ４を実行することなく図２に示す処理を終了し、入力画像２０ｂが入力されるまで待機する。

入力画像２０ａの次に、入力画像２０ｂが入力された場合、物体検出装置１は、入力画像２０ｂに対応する識別画像４１ｂを生成する（ステップＳ１）。しかし、入力画像２０ｂの直前に入力された過去入力画像が、入力画像２０ａのみであるため、積分部１５は、積分対象の画像として、２つの過去識別画像４２，４２を選択することができない。物体検出装置１は、ステップＳ２〜Ｓ４を実行することなく図２に示す処理を終了し、入力画像２０ｃが入力されるまで待機する。

入力画像２０ｂの次に、入力画像２０ｃが入力された場合、物体検出装置１は、入力画像２０ｃに対応する識別画像４１ｃを生成する（ステップＳ１）。積分部１５は、入力画像２０ｃの直前に２つの過去入力画像（入力画像２０ａ，２０ｂ）が入力されているため、積分対象の画像として、入力画像２０ａ，２０ｂに対応する識別画像４１ａ，４１ｂを選択する（ステップＳ２）。

積分部１５は、識別画像４１ａ〜４１ｃを積分して、積分画像４５ｃを生成する（ステップＳ３）。上述のように、識別画像４１ａ〜４１ｃの画素値は、上述のように、識別値が積算されたものである。従って、積分画像４５において画素値が大きい領域（色の白い領域）は、歩行者の存在する可能性が高いことを示す。

判断部１６は、積分画像４５ｃが生成されたため、積分画像４５ｃに基づいて入力画像２０ｃにおける歩行者の有無を判断する（ステップＳ４）。具体的には、判断部１６は、積分画像４５に対してラベリング処理を実行して、積分画像４５において基準値以上の画素値を有する領域を特定する。特定された領域のうち、一定の面積よりも大きい面積を有する領域（候補領域）が存在する場合、判断部１６は、候補領域に歩行者が存在すると判断する。判断部１６は、候補領域の位置に基づいて、歩行者の位置を示す枠を入力画像２０ｃ上に描画し、枠が描画された入力画像２０ｃを検出結果画像４６として出力する。

図１０に示すように、積分画像４５ｃにおいて、白い画素の領域が、識別画像４１ａ〜４１ｃにおける白い領域よりも強調されている。従って、判断部１６は、積分画像４５ｃを用いることにより、入力画像２０ｃにおける歩行者の有無を精度よく判断することができる。

次に、入力画像２０ｄが入力された場合、物体検出装置１は、入力画像２０ｄに対応する識別画像４１ｄを生成する（ステップＳ１）。積分部１５は、積分対象の画像として、直前に入力された２つの過去入力画像（入力画像２０ｂ，２０ｃ）に対応する識別画像４１ｂ，４１ｃを選択する（ステップＳ２）。積分部１５は、識別画像４１ｂ〜４１ｄを積分して、積分画像４５ｄを生成する。判断部１６は、上記と同様に、積分画像４５ｄに基づいて、入力画像２０ｄにおける歩行者の有無を判断する。

このように、物体検出装置１は、入力画像２０が入力されるたびに識別画像４１を新たに生成する。物体検出装置１は、新たに生成された識別画像４１と、直前に入力された２つの過去識別画像に対応する２つの過去識別画像とを積分して、積分画像４５を生成する。物体検出装置１は、積分画像４５を用いて歩行者の有無を判断することにより、識別画像４１のみを用いて入力画像２０における歩行者の有無を判断する場合よりも歩行者の検出精度を向上させることができる。

歩行者を含む入力画像２０ｃにノイズが瞬間的に混入することにより、入力画像２０ｃから生成された識別画像４１ｃが、歩行者の存在を示す画素値を有していないと仮定する。一方、直前の２つの過去入力画像（２０ａ，２０ｂ）が歩行者を含み、過去識別画像（識別画像４１ａ，４１ｂ）は、歩行者の存在を示す画素値を有していると仮定する。この仮定において、積分画像４５は、過去識別画像の影響を受けるため、積分された画素値は、基準値を上回る可能性が高い。従って、物体検出装置１は、入力画像２０ｃ中に歩行者が存在すると判断することができ、入力画像２０ｃ中に歩行者が存在するにも関わらず歩行者が存在しないと判断する誤検出を防ぐことができる。

逆に、入力画像２０ｃ中に歩行者が存在しないにもかかわらず、識別画像４１ｃが歩行者の存在を示す画素値を有すると仮定する。また、直前の２つの過去入力画像（２０ａ，２０ｂ）が歩行者を含まず、過去識別画像（識別画像４１ａ，４１ｂ）は、歩行者の存在を示す画素値を有さないと仮定する。この仮定において、積分画像４５は、過去識別画像の影響を受けるため、積分された画素値は、基準値を下回る可能性が高い。従って、物体検出装置１は、識別画像４１ｃが人物の存在を示す識別値を有する場合であっても、誤検出を防ぐことができる。

なお、積分部１５は、積分画像４５を生成する前に、識別画像４１ａ〜４５ｄを対象として、画素値の切り捨て処理と、重み付け処理とを実行することが望ましい。

切り捨て処理とは、識別画像４１ａ〜４１ｄの各画素値を予め設定されたしきい値と比較し、しきい値に満たない画素値を０に切り捨てる処理である。例えば、識別画像４１ａ〜４１ｄにおいて、歩行者の存在しない位置の画素値が、歩行者の存在を示すほどの値を有していないと仮定する。しかし、この位置の画素値をそのまま積分した場合、積分された画素値が、歩行者の存在を示す数値となり、誤検出の原因となる可能性がある。しかし、切り捨て処理により、歩行者の存在しない位置の画素値を予め０にしておくことで、画素値の積分に伴う誤検出の発生を防ぐことが可能となる。

また、重み付け処理とは、入力画像２０が入力されたタイミングに応じた重み付け係数を、積分対象の識別画像に設定する処理である。例えば、識別画像４１ｃが新たに生成され、積分対象として識別画像４１ａ，４１ｂが選択された場合を考える。この場合、積分部１５は、識別画像４１ｃに重み付け係数「１」を設定する。積分部１５は、識別画像４１ｂに１よりも小さい重み付け係数「ａ」を設定する。積分部１５は、識別画像４１ａに重み付け係数「ａ」よりも小さい重み付け係数「ｂ」を設定する。そして、積分部１５は、設定された重み付け係数を用いて、識別画像４１ａ〜４１ｃの各画素値を重み付け加算することにより、積分画像４５ｃを生成する。

つまり、積分部１５は、現在よりも時間的に遠い位置にある過去識別画像４２に対して、小さい重み付け係数を設定する。過去識別画像４２は、現在の入力画像２０における歩行者の存在を反映している度合いが小さい。従って、識別画像４１と過去識別画像４２との比重を同じにして積分する際に、過去識別画像４２に対して重み付け係数を設定することにより、誤検出の発生を防ぐことができる。

以上説明したように、物体検出装置１は、入力画像２０から生成された識別画像４１と過去識別画像４２とを積分して積分画像４５を生成し、積分画像４５に基づいて入力画像２０における検出対象物の有無を判断する。このように、入力画像２０における歩行者の有無を過去の識別結果を加味して判断することにより、入力画像２０における歩行者の検出精度を向上することができる。

［変形例］
上記実施の形態において、積分部１５は、直前に入力された２つの入力画像２０から生成された過去識別画像４２，４２を積分対象に選択する例を説明したが、これに限られない。直前に入力された１つの過去入力画像から生成された過去識別画像４２のみを積分の対象に選択してもよい。あるいは、直前に入力された３つ以上の過去入力画像から生成された過去識別画像４２を積分対象に選択してもよい。

上記実施の形態の識別画像生成処理（ステップＳ１）において、拡大窓画像２２及び回転窓画像２３を生成し、これらの窓画像から識別値３２，３３を生成する例を説明したが、これに限られない。物体検出装置１は、通常窓画像２１から生成された識別値３１のみを用いて識別画像４１を生成してもよい。あるいは、拡大窓画像２２及び回転窓画像２３のいずれか一方のみを生成して識別値を計算してもよい。

また、物体検出装置１は、拡大処理及び回転処理の他に、所定の画像処理を入力画像２０に施して変更窓画像を生成してもよい。例えば、縮小処理、台形変換処理、Ｘ軸反転処理、Ｙ軸反転処理、ヒストグラム変形処理などを入力画像３０に施してもよい。ヒストグラム変形処理は、入力画像２０の画素値の平均、分散などを意図的に変更することにより、入力画像２０の画素値の分布を変更する処理である。Ｘ軸反転処理は、入力画像２０の中心を通る横軸を基準にして画素を反転させる処理である。Ｘ軸反転処理は、入力画像２０の中心を通る縦軸を基準にして画素を反転させる処理である。

また、上記実施の形態において、物体検出装置１が、２つの過去識別画像４２，４２を選択することができない場合、次の入力画像が入力されるまで待機する例を説明したが、これに限られない。例えば、物体検出装置１は、入力画像２０ａが入力がされた場合、識別画像４１ａのみを用いて、入力画像２０ａにおける歩行者の有無を判断してもよい。物体検出装置１は、入力画像２０ｂが入力された場合、識別画像４１ｂと、入力画像２０ａから生成された過去識別画像４２とを積分してもよい。この場合、生成された積分画像４５に基づいて、入力画像２０ｂにおける歩行者の有無が判断される。

また、上記実施の形態で説明した物体検出装置１において、各機能ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。

また、上記各実施の形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして、上記各実施形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置（ＣＰＵ）により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、ＲＯＭにおいて、あるいはＲＡＭに読み出されて実行される。

また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア（ＯＳ（オペレーティングシステム）、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。） により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。なお、上記実施の形態に係る物体検出装置をハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。

１ 物体検出装置
１１ 窓領域設定部
１２ 画像処理部
１３ 識別値計算部
１４ 識別画像生成部
１５ 積分部
１６ 判断部
２０，２０ａ〜２０ｄ 入力画像
４１，４１ａ〜４１ｄ 識別画像
４５，４５ｃ〜４５ｄ 積分画像

Claims (6)

1. 入力画像の画素の位置に基づいて窓領域を設定する窓領域設定部と、
   検出対象物の特徴データに基づいて、前記検出対象物が前記窓領域に含まれる窓画像に存在する度合いを示す識別値を前記窓画像から計算する識別値計算部と、
   前記窓画像から計算された識別値を前記画素の位置に応じて配置して識別画像を生成する識別画像生成部と、
   前記識別画像と、前記入力画像よりも時間的に前に入力された第１過去入力画像から生成された第１過去識別画像とを積分して積分画像を生成する積分部と、
   前記検出対象物が前記入力画像中に存在するか否かを前記積分画像に基づいて判断する判断部と、
   を備える物体検出装置。
2. 請求項１に記載の物体検出装置であって、さらに、
   前記積分部は、前記第１過去識別画像の画素値を所定のしきい値と比較し、前記第１過去識別画像の画素値が前記しきい値よりも小さい場合、前記第１過去識別画像の画素値を切り捨てる物体検出装置。
3. 請求項１又は請求項２に記載の物体検出装置であって、
   前記積分部は、前記第１過去識別画像の各画素値を重み付けし、前記積分画像と各画素値が重み付けされた第１過去識別画像とを積分する物体検出装置。
4. 請求項３に記載の物体検出装置であって、
   第２過去入力画像は、前記第１過去入力画像よりも時間的に前に入力され、
   前記積分部は、前記第２過去入力画像から生成された第２過去識別画像の画素値を重み付けし、重み付けされた第２過去識別画像を用いて積分画像を生成し、
   前記第２過去識別画像の重み付けに用いられる係数は、前記第１過去識別画像の重み付けに用いられる係数よりも小さい物体検出装置。
5. 請求項１ないし請求項４のいずれかに記載の物体検出装置であって、さらに、
   前記窓画像に対して所定の画像処理を施す画像処理部、
   を備え、
   前記識別値計算部は、前記所定の画像処理が施された変更窓画像の識別値を計算し、
   前記識別画像生成部は、前記窓画像の識別値と前記変更窓画像の識別値とを積算する物体検出装置。
6. 物体検出装置に搭載されるコンピュータに、
   入力画像の画素の位置に基づいて窓領域を設定するステップと、
   検出対象物の特徴データに基づいて、前記検出対象物が前記窓領域に含まれる窓画像に存在する度合いを示す識別値を前記窓画像から計算するステップと、
   前記窓画像から計算された識別値を前記画素の位置に応じて配置して識別画像を生成するステップと、
   前記識別画像と、前記入力画像よりも時間的に前に入力された第１過去入力画像から生成された第１過去識別画像とを積分して積分画像を生成するステップと、
   前記検出対象物が前記入力画像中に存在するか否かを前記積分画像に基づいて判断するステップとを実行させるための物体検出プログラム。