JP2009181220A

JP2009181220A - 物体検出装置

Info

Publication number: JP2009181220A
Application number: JP2008018077A
Authority: JP
Inventors: Hironobu Fujiyoshi; 弘亘藤吉
Original assignee: Chubu University
Current assignee: Chubu University
Priority date: 2008-01-29
Filing date: 2008-01-29
Publication date: 2009-08-13

Abstract

【課題】物体の検出精度を向上させることが可能な物体検出装置を提供する。
【解決手段】画像フレーム中の各画素の輝度勾配を第１の特徴量として算出する第１特徴量算出手段と、画像フレーム中の各画素の輝度変化に基づく画素の状態を第２の特徴量として算出する第２特徴量算出手段と、第１の特徴量と第２の特徴量に基づいて画像フレームから物体を検出する識別手段とを設ける。第２特徴量算出手段は、画素の輝度変化に基づいて各画素を背景、動状態、静状態に判別した結果を第２の特徴量として算出し、識別手段は、第１の特徴量が物体の輪郭に対応し、かつ、第２の特徴量が動状態または静状態であると判定した場合に、物体の存在を検出する。
【選択図】図１

Description

本発明は、画像フレームから物体を検出する物体検出装置に関する。

近年、防犯装置における不審者の検出やＩＴＳ（Intelligent Transport Systems）における歩行者の検出のために、カメラ画像からの人検出の実現が期待されている。人検出は、従来盛んに研究されてきた顔検出と比較して、顔における目、鼻、口のように、人を顕著に表す特徴が少ないため検出が困難とされている。さらに検出が困難となる要因として、人の形状の変化、複雑な背景、照明の変動、人同士の重なりによるオクルージョンなどが挙げられる。

従来、人検出に用いられるアピアランス特徴として、局所領域における輝度の勾配方向をヒストグラム化した特徴ベクトルであるＨＯＧ（Histograms of Oriented Gradients）を用いた手法が提案されている（非特許文献１参照）。このＨＯＧは、照明変動や影の影響を受けにくく、局所的な幾何学的変化に頑健であるため、ＨＯＧを用いた人検出手法が多く提案されている（非特許文献２〜４）。
N. Dalal and B. Triggs, "Histograms of Oriented Gradients for Human Detection", IEEE Computer Vision and Pattern Recognition, pp. 886-893, 2005年 F.Suard and A.Broggi,"Pedestrian Detection using Infrared images and Histograms of Oriented Gradients", IEEE Symposium on Intelligent Vehicule, pp. 206-212, Jun, 2006年 Q.Zhu,S.Avidan, M.Yeh and K.Cheng,"Fast Human Detection Using a Cascade of Histograms of Oriented Gradients", IEEE Computer Vision and Pattern Recognition, Vol. 2, pp. 1491-1498, Jun, 2006年小林拓也, 日高章理, 栗田多喜夫，"Histograms of Oriented Gradients を用いた対象識別での特徴選択", 信学技報, Vol. 106, pp. 119-124, Mar, 2007.

しかしながら、非特許文献２〜４に記載されたアピアランス特徴を用いた物体の検出方法は、検出対象の輪郭情報のみを用いるため、検出対象に似た形状の他の物体や背景が複雑なテクスチャを持つ場合には、検出精度が低くなるという問題がある。

そこで、本発明は上記点に鑑み、物体の検出精度を向上させることが可能な物体検出装置を提供することを目的とする。

上記目的を達成するため、本発明の請求項１に記載の発明では、画像フレーム中の各画素の輝度勾配を第１の特徴量として算出する第１特徴量算出手段と、前記画像フレーム中の各画素の輝度変化に基づく前記画素の状態を第２の特徴量として算出する第２特徴量算出手段と、前記第１の特徴量が検出対象である物体の輪郭に対応し、かつ、前記第２の特徴量が前記移動体の特徴を示す状態であると判定した場合に、前記物体の存在を検出する識別手段とを備えることを特徴としている。

このように、輝度勾配による第１の特徴量と輝度変化による第２の特徴量を併用することで、第１の特徴量のみでは識別困難な検出対象に似た形状の他の物体等を誤検出することを抑制でき、物体の識別率を向上させることができる。

また、請求項２に記載の発明では、前記第２特徴量算出手段は、前記画像フレーム中の前記画素の輝度の変化量を検出する輝度変化量検出手段と、前記変化量が予め設定された所定変化量より大きい場合に動状態と判定する第１状態判定手段と、前記画像フレームより後の複数の画像フレーム中の前記画素に対応する画素の輝度の分散を算出する分散算出手段と、前記第１状態判定手段により動状態と判定され、かつ、前記分散が予め設定された所定値より小さい場合に背景または静状態と判定する第２状態判定手段と、前記第２状態判定手段により背景または静状態と判定された場合に、前記画像フレームの画素の輝度が予め設定された背景用輝度に属するときに背景と判定し、属さないときに静状態と判定する第３状態判定手段とを備え、前記画素を背景、動状態、静状態のいずれかに判別した結果を前記第２の特徴量として算出するように構成されており、前記識別手段は、前記第１の特徴量が前記物体の輪郭に対応し、かつ、前記第２の特徴量が前記動状態または前記静状態であると判定した場合に、前記物体の存在を検出することを特徴としている。このように、各画素を背景、動状態、静状態のいずれかに判別することで、物体が静止状態であっても、識別率を向上させることができる。

また、請求項３に記載の発明では、前記第２特徴量算出手段は、前記画像フレーム中の前記画素の輝度の変化量を検出する輝度変化量検出手段と、前記変化量が予め設定された所定変化量より大きい場合に動状態と判定し、前記変化量が予め設定された所定変化量より小さい場合に動状態以外の状態と判定する判定手段とを備え、前記画素を動状態と動状態以外のいずれかに判別した結果を前記第２の特徴量として算出するように構成され、前記識別手段は、前記第１の特徴量が前記物体の輪郭に対応し、かつ、前記第２の特徴量が前記動状態であると判定した場合に、前記物体の存在を検出することを特徴としている。このように、各画素を動状態と動状態以外に判別する構成においても、物体の識別率を向上させることができる。

また、請求項４に記載の発明では、前記第２特徴量算出手段は、前記画像フレームより後の複数の画像フレーム中の前記画素に対応する画素の輝度の分散を算出する分散算出手段と、前記分散が予め設定された所定値より小さい場合に動状態と判定し、前記分散が前記所定値より大きい場合に動状態以外の状態と判定する判定手段とを備え、前記画素を背景と背景以外のいずれかに判別した結果を前記第２の特徴量として算出するように構成され、前記識別手段は、前記第１の特徴量が前記物体の輪郭に対応し、かつ、前記第２の特徴量が前記背景以外の状態であると判定した場合に、前記物体の存在を検出することを特徴としている。このように、各画素を背景と背景以外に判別する構成においても、物体の識別率を向上させることができる。

以下、本発明の一実施形態について図１〜図６に基づいて説明する。本実施形態の物体検出装置は、撮像手段により取得された連続映像を分析して、映像に含まれる物体を検出するものであり、人を検出する人検出装置として好適に用いることができる。また、撮像手段は、監視カメラに多く用いられる固定式のビデオカメラを用いることができる。

図１は、本実施形態の物体検出装置の全体構成を示すブロック図である。物体検出装置は、ＣＰＵ、メモリ等を備える周知のコンピュータから構成することができる。図１に示すように、物体検出装置は、記憶部１０、輝度勾配特徴検出部２０、輝度変化特徴検出部３０、識別部４０を備えている。記憶部１０は、メモリから構成され、撮像手段により取得された連続映像が記憶されている。連続映像は、時系列的に並んだ複数の画像フレームから構成されている。また、輝度勾配特徴検出部２０、輝度変化特徴検出部３０、識別部４０は、ＣＰＵが所定のプログラムを実行することによって実現されるものである。なお、輝度勾配特徴検出部２０が本発明の第１特徴量算出手段に相当し、輝度変化特徴検出部３０が本発明の第２特徴量算出手段に相当し、識別部４０が本発明の識別手段に相当している。

まず、輝度勾配特徴検出部２０による画像フレーム中の各ピクセル（画素）の輝度勾配に基づく第１の特徴量の算出について説明する。本実施形態の輝度勾配特徴検出部２０では、対象フレームからアピアランス特徴を検出する。本実施形態では、アピアランス（画像の見え）に基づく特徴量としてＨＯＧ（Histograms of Oriented Gradients）を用いる。「ＨＯＧ」は、局所領域における輝度の勾配方向をヒストグラム化した特徴ベクトルであり、物体の輪郭情報を得ることができ、物体の形状を表わすことが可能である。近接画素の勾配を局所領域によってヒストグラム化するため、照明や影の影響を受けにくく、局所的な幾何学変化に頑強であるという特徴がある。

図２は、輝度勾配特徴検出部２０で扱う画像フレームを示しており、図２（ａ）は入力画像を示し、図２（ｂ）は画像フレームを複数のセルに分割した状態を示し、図２（ｃ）はブロックによる正規化を行う状態を示している。なお、本実施形態の画像フレームは、３０×６０個のピクセルから構成されている。

まず、輝度勾配特徴検出部２０では、各ピクセルの輝度勾配を算出する。輝度勾配とは、対象となるピクセル近傍での輝度変化の度合を示すものであり、画像フレーム内で物体の境界領域（輪郭）で大きな値となる。ここでは、対象となる画像フレームに含まれるすべてのピクセルについて、各ピクセルの輝度Ｌから輝度の勾配強度ｍと勾配方向θを数式１により算出する。

ここで、ｆｘ（ｘ，ｙ）はｘ方向（図２の左右方向）の輝度の差分であり、ｆｙ（ｘ，ｙ）はｙ方向（図２の上下方向）の輝度の差分であり、これらは数式２により算出することができる。

次に、輝度勾配特徴検出部２０は、数式１で算出された勾配強度ｍと勾配方向θを用いて、勾配方向ヒストグラムの作成を行う。勾配方向ヒストグラム作成は、複数のピクセルからなるセル単位で行う。図２（ｂ）に示すように、本実施形態では、５×５ピクセルを１セルとした領域において、輝度の勾配方向ヒストグラムを作成する。ただし、算出された勾配方向は０°〜３６０°となるが、ここでは勾配方向の向きを考慮する必要がないため、０°〜１８０°の範囲とする。本実施形態では、勾配方向を２０°ずつに分割し、各方向毎に１セルに含まれる各ピクセルの勾配強度ｍを加算して９方向の勾配方向ヒストグラムを作成する。このため、１セル当たり９次元の特徴量が存在する。本実施形態では１フレーム当たり６×１２個のセルが存在し、すべてのセルに対して勾配方向ヒストグラムを作成する。

次に、輝度勾配特徴検出部２０は、各セルで作成した輝度の勾配ヒストグラムの正規化を行う。つまり、個々のセルには、輝度の偏りが含まれる場合があるので、近接するセルを含めたブロック単位で正規化を行って平均化する。本実施形態では、３×３セルを１ブロックとして正規化を行う。１セル当たりの９次元の特徴量を有しているので、１ブロック（＝３×３セル）当たり８１次元の特徴量を有することとなる。ｉ行ｊ列のセル（ｉ，ｊ）の特徴量（９次元）をＦ_ij＝［ｆ₁，ｆ₂，…，ｆ₉］とすると、ｋ番目のブロックの特徴量（８１次元）は、Ｖｋ＝［Ｆ_{i j}，Ｆ_{i+1 j}，Ｆ_{i+2 j}，Ｆ_{i j+1}，Ｆ_{i+1 j+1}，Ｆ_{i+2 j+1}，Ｆ_{i j+2}，Ｆ_{i+1 j+2}，Ｆ_{i+2 j+2}］と表わすことができる。正規化後の特徴ベクトルをｖとしたとき、次の数式３により正規化することができる。

正規化は、図２（ｃ）のようにブロックを１セルずつ移動させることにより行う。このため、特徴量は、異なるブロックの領域によって何度も正規化される。入力画像を３０×６０ピクセルとした場合、ｘ方向に４ブロック、ｙ方向に１０ブロック移動できるため、合計４０ブロックに対して正規化を行う。各ブロック毎に正規化されたＨＯＧ特徴ベクトルは、３２４０次元（＝４０ブロック×８１次元）となる。

以上の手順でアピアランスに基づく特徴量を検出することができるが、アピアランス特徴による輪郭情報だけでは、背景で人に似た形状の物体を人として誤検出する可能性がある。そこで、本実施形態では、輝度勾配に基づく第１の特徴量に加えてピクセルの輝度変化に基づく第２の特徴量を用いることで、人の検出率を向上させている。

次に、輝度変化特徴検出部３０によるピクセルの輝度変化に基づく第２の特徴量の算出について説明する。本実施形態では、ピクセルの輝度変化に基づいてピクセル状態分析（ＰＳＡ：Pixel State Analysis）を行い、各ピクセルの状態を判別している。「ピクセル状態分析」とは、フレームに含まれる各ピクセルの輝度の時間的変化をモデル化することにより、各ピクセルを背景差分により背景と前景に区別し、さらに前景の各ピクセルを輝度値の変化と安定度から物体の動きを示す動状態と静状態として、各ピクセルを背景、動状態、静状態のいずれかに判別する手法である。ピクセル状態分析による時空間特徴は、空間的情報とモーション情報（時間情報）の両方の情報を含む特徴である。

図３は、ピクセル状態分析の状態遷移を示している。図３に示すように、各ピクセルの初期状態は背景（ＢＧ）に設定されており、背景（ＢＧ）から動状態（ＴＲ）に遷移することができ、動状態（ＴＲ）から背景（ＢＧ）または静状態（ＳＴ）に遷移することができ、静状態（ＳＴ）から動状態（ＴＲ）に遷移することができる。

これらの３つの状態を判定するための基本的原理として、ピクセルの輝度が状況に応じて、（１）〜（３）のように変化する点を利用する。（１）物体がピクセル上を通過する場合には、そのピクセルの輝度値は急激な変化を伴う。その後、一時的に不安的な状態が続き、再度急激な変化の後、背景である元の輝度値に戻る。（２）物体がピクセル上で停止した場合には、そのピクセルの輝度値は急激な変化の後、一時的に不安的な状態が続き、最終的には物体の輝度値に安定する。（３）太陽が雲に隠れた等の環境変化が生じた場合には、輝度値は緩やかに変化する。

図４は、ピクセル状態分析を行うフレームの時系列的な関係を示している。ピクセルの状態遷移を捉えるには、各ピクセルの輝度値の急激な変化（Motion Trigger）と輝度値の安定度（Stability Measure）を検出する。輝度値の急激な変化の検出は、ピクセル状態分析の対象となっている現在のフレームｔより前の複数フレーム（図４の例では５フレーム）に着目して行い、輝度値の安定度の検出には、現在のフレームｔから後の複数フレーム（図４の例では５フレーム）に着目して行う。

まず最初に、輝度値の急激な変化の検出を行う。ここで、ピクセル状態分析の対象となっている現在のフレームｔからｋフレーム前の輝度値をＩ_tとする。輝度値の変化量Ｔを求めるには、Ｉ_tと、フレームｔからｋフレーム前までの各フレームのＩ_t-jの差分（輝度値の最大変化量）の絶対値を算出する。急激な輝度値の変化がピクセル上に生じたとき、輝度値の変化量Ｔの値は大きくなる。輝度値の変化量Ｔは、数式４により算出することができる。この輝度変化特徴検出部２０による輝度変化量Ｔの算出処理が本発明の輝度変化量検出手段に相当している。

次に、ピクセルの輝度値の安定度について考える。輝度値の安定状態の検出は、現在のフレームｔより後のｋフレームに着目し、フレームｔからフレームｔ＋ｋまでの輝度値の分散の逆数として算出する。安定度Ｓは、輝度値が安定した状態では大きい値となる。安定度Ｓは、数式５により算出することができる。この輝度変化特徴検出部２０による安定度Ｓの算出処理が本発明の分散算出手段に相当している。

ここで、フレームの各ピクセルの判別方法を図５のフローチャートに基づいて説明する。なお、図５におけるＳ１０の判定処理が本発明の第１状態判定手段に相当し、Ｓ１２の判定処理が本発明の第２状態判定手段に相当し、Ｓ１３の判定処理が本発明の第３状態判定手段に相当している。

まず、ピクセル状態が背景または静状態であり、かつ、数式４で算出した輝度値の変化量Ｔが所定変化量を上回っているか否かを判定する（Ｓ１０）。所定変化量は、急激な変化を判別するための閾値であり、予め設定された固定値としてもよいが、固定値の場合には、建物の陰となっているような領域を物体が移動しても、その物体と背景である影の部分の輝度値に大きな差がないため、輝度値の変化量が閾値を上回らない場合がある。しかしながら、影の領域を物体が移動すると、このピクセルの過去の輝度の平均値より大きな変化が生じる。このため、検出対象フレームｔより過去の複数フレームにおいて、対応するピクセルの輝度値の分散により所定変化量を決定することで、適切な閾値を得ることができる。

Ｓ１０の判定処理の結果、肯定判定された場合には、ピクセル状態を動状態に設定する（Ｓ１１）。一方、否定判定された場合には、ピクセル状態を背景または静状態のままとする。

次に、ピクセル状態が動状態であり、かつ、数式５で算出した輝度値の安定度Ｓが所定安定度を上回っているか否かを判定する（Ｓ１２）。所定安定度は、安定性を判定するための閾値である。この結果、否定判定された場合には、ピクセル状態を動状態のままとする。一方、肯定判定された場合には、ピクセルの輝度値が背景画像の輝度値であるか否かを判定する（Ｓ１３）。背景画像は、Ｓ１３の判定処理に先立ち予め用意されているものとし、ＩＩＲフィルタなどを用いて環境変化に対応可能となるように適宜更新すればよい。

この結果、肯定判定された場合には、ピクセル状態を背景に設定し（Ｓ１４）、否定判定された場合には、ピクセル状態を静状態に設定する（Ｓ１５）。以上の処理をフレームに含まれる各ピクセルに対して行うことで、各ピクセルを背景、動状態、静状態のいずれかに分類することができる。ピクセル状態分析では、フレーム間差分に加えて背景差分を用いているため、同一フレームに歩行者と静止している人が含まれている場合であっても、歩行者は動状態、静止している人は静状態として判別することができる。オプティカルフローなどの物体の動きを示す特徴量では、静止状態にある物体の情報を得ることは困難だが、ピクセル状態分析を行うことにより、静状態である物体の情報を得ることができる。

次に、ピクセル状態分析結果をセル領域によってヒストグラム化し、時空間特徴となる特徴ベクトルを算出する。まず最初に、上述のＨＯＧ特徴ベクトルのヒストグラム化で用いたセル領域の構造（図２（ｂ）参照）を用いて、ＨＯＧと同様にピクセル状態ヒストグラムを作成する。各ピクセルは、３つの状態（背景、静状態、動状態）に分類されるので、１つのヒストグラム（１つのセル）から３つの特徴ベクトルが算出される。

最後に、上述のＨＯＧ特徴ベクトルの正規化で述べたＨＯＧと同様の手順でブロック（図２（ｃ）参照）による正規化を行う。１ブロックは、３×３セルなので、１ブロックあたり２７次元（＝３×３×９次元）の特徴ベクトルとなる。そして、入力画像を３０×６０ピクセルとした場合、１フレーム当たり４０ブロックなので、時空間特徴から得られる特徴ベクトルは、１０８０次元（＝４０ブロック×２７次元）となる。

次に、識別部４０による人検出について説明する。識別部４０では、上述のＨＯＧにより得られた特徴量とピクセル状態分析により得られた特徴量を用いて検出対象画像（人）と非検出対象画像（人以外）を識別する。識別部４０では、ＨＯＧによるアピアランスに基づく特徴量から得られる輪郭情報から人である判定され、かつ、ピクセル状態分析による時空間特徴に基づく特徴量から前景（動状態または静状態）であると判定された画像を人と判別する。

本実施形態では、識別部４０として周知のアダブースト（AdaBoost）によるカスケード型の識別器を用いている。アダブーストによって構築される識別器は、識別関数ｈ_t（ｘ）が誤認識を起こしたデータを重視して再学習を行う。この処理をラウンド数Ｔ回反復した後、生成された識別器群の識別関数のアンサンブルによって最終的な識別関数を生成する。アダブーストによって構築される識別器は、Ｔ個の弱識別器ｈ_t（ｘ）の線形結合として、数式６により表わされる。

ここで、α_tはｔ番目の弱識別器による識別結果の信頼度を示し、最終的な識別に対して弱識別器ｈ_tの結果が影響する度合いである。ｔ個の弱識別器は、アピアランスに基づく特徴量と時空間特徴に基づく特徴量の全組合せについて識別し、識別エラーが最小となるように選択される。

アダブーストの識別器は、弱識別器ｈ_t（ｘ）のすべての判別結果が（検出対象画像であれば１、非検出態様画像であれば−１）が結合機に供給され、結合機はすべての判別結果に対して、対応する弱識別器毎に学習時に算出された信頼度を重み付け加算し、その重み付き多数決の結果を出力し、結合機の出力値を評価することで入力された画像が検出対象か否かを判定するものである。識別器をカスケード型に構築することによって、人の検出率を低下させることなく、誤検出率を抑制することができる。

次に、上記の移動体検出装置による人の検出結果について説明する。まず、カスケード型識別器による学習のための学習サンプル画像と、評価実験を行うための評価用画像を用意する。撮影条件として、固定カメラを用いて、照明、背景、人の歩行方向、人の運動状態、画像に対する歩行者の大きさが異なる複数の場所で撮影した。評価用画像は、学習用サンプル画像とは異なる撮影環境において撮影した。検出対象であるポジティブ学習用サンプル画像（人の画像）は２０５３枚、非検出対象であるネガティブ学習用サンプル画像（人以外の画像）は６２５３枚用意した。同じ要領で、ポジティブ評価用画像は１０２３枚、ネガティブ評価用画像は１２３３枚用意した。そして、評価用画像を用いて人識別の比較実験を行った。ここでは、従来手法であるＨＯＧのみを用いる手法、ピクセル状態分析（ＰＳＡ）の結果のみを用いる手法、ＨＯＧとピクセル状態分析の結果を用いる手法を比較した。

図６は、識別実験結果を示している。図６に示すように、識別実験結果の比較はＤＥＴ（Detection Error Tradeoff）によって評価を行った。ＤＥＴは、横軸に誤検出率（人以外を人と認識する確率）、縦軸に未検出率（人を人以外と認識する確率）を両対数グラフによって表わしたものである。識別器のしきい値を変化させることによって、誤検出率に対する未検出率の比較を行うことができる。

図６に示すように、本実施形態のＨＯＧとピクセル状態分析（ＰＳＡ）を組み合わせた手法では、ＨＯＧのみを用いる手法に比較して、誤検出率１０％において、未検出率を約２６％向上させることができた。このように、アピアランスに基づく特徴量と時空間特徴に基づく特徴量を併用することで、人の識別精度が大幅に向上していることがわかる。

これは、従来法であるＨＯＧによるアピアランス特徴のみを用いた手法では、複雑なテクスチャや人に似た形状を持つ物体に対して誤検出するが、ＨＯＧに加えて、時空特徴によって背景と前景を判別するピクセル状態分析の結果を用いる本実施形態の手法では、誤検出を減少させることができたことを示している。また、本実施形態ではアピアランス特徴と時空間特徴からより多くの人の動きや情報を得ることが可能であり、これらの特徴を同時に観測しているため、未検出を減少させることができている。

以上のように本実施形態の物体検出装置では、ＨＯＧによる輪郭情報に加え、ピクセル状態分析から人の内部／外部の空間的な情報と動きの情報を同時に捉えることができるため、複雑な背景やオクルージョンに対して頑強に人検出が可能になったと考えられる。また、ピクセル状態分析では、前景を動状態と静状態に区別できるため、物体が静止状態であっても、
（他の実施形態）
なお、上記実施形態の輝度変化特徴検出部２０では、ピクセル状態分析により各ピクセルの状態を判別して第２の特徴量を算出するように構成したが、これに限らず、公知のフレーム間差分や背景差分により輝度変化に基づく第２の特徴量の算出を行ってもよい。

フレーム間差分（ＴＤ）は、現在入力されている画像フレームと前回入力された画像フレームとの差分を計算し、差分値の大きい領域を物体として検出するものであり、各ピクセルの状態を動状態と動状態以外に判別することができる。背景間差分（ＢＳ）は、検出すべき物体が存在しない背景画像フレームを予め用意しておき、現在入力されている画像フレームと背景画像フレームとの差分を計算して前景を検出するものであり、各ピクセルの状態を背景と背景以外に判別することができる。フレーム間差分および背景間差分を用いる場合にも、上記実施形態と同様、セルによるヒストグラム化、ブロックによる正規化を行う。

そして、ＨＯＧとフレーム間差分を用いる場合には、識別部４０は、ＨＯＧによるアピアランスに基づく特徴量から得られる輪郭情報から人である判定され、かつ、フレーム間差分による時間特徴に基づく特徴量から動状態であると判定された画像を人と判別する。また、ＨＯＧと背景間差分を用いる場合には、識別部４０は、ＨＯＧによるアピアランスに基づく特徴量から得られる輪郭情報から人である判定され、かつ、背景間差分による空間特徴に基づく特徴量から背景以外であると判定された画像を人と判別する。

図７は、ＨＯＧとフレーム間差分（ＴＤ）を併用した場合の識別実験結果とＨＯＧと背景間差分（ＢＳ）を併用した場合の識別実験結果を示している。図７に示すように、ＨＯＧとフレーム間差分（ＴＤ）とを併用した場合と、ＨＯＧと背景間差分（ＢＳ）を併用した場合は、ＨＯＧとピクセル状態分析（ＰＳＡ）を併用した場合に比較して、未検出率が増加するものの、ＨＯＧのみを用いた場合より未検出率が低下している。

また、上記実施形態では、識別部４０をアダブーストによる識別器により構成したが、これに限らず、公知のＳＶＭ（サポートベクターマシーン）やニューラルネットワークを用いて識別部４０を構成してもよい。

また、上記実施形態では、検出対象の物体を人としたが、これに限らず、動物や自動車などの物体を検出対象としてもよい。

上記実施形態の物体検出装置の全体構成を示すブロック図である。アピアランス特徴検出部で扱うフレームを示す図である。ピクセル状態分析の状態遷移を示す図である。ピクセル状態分析を行うフレームの時系列的な関係を示す図である。ピクセル状態分析の流れを示すフローチャートである。上記実施形態の物体検出装置を用いた識別実験結果を示す図である。本発明の変形例の識別実験結果を示す図である。

符号の説明

１０…記憶部、２０…輝度勾配特徴検出部、３０…輝度変化特徴検出部、４０…識別部。

Claims

画像フレーム中の各画素の輝度勾配を第１の特徴量として算出する第１特徴量算出手段と、
前記画像フレーム中の各画素の輝度変化に基づく前記画素の状態を第２の特徴量として算出する第２特徴量算出手段と、
前記第１の特徴量が検出対象である物体の輪郭に対応し、かつ、前記第２の特徴量が前記移動体の特徴を示す状態であると判定した場合に、前記物体の存在を検出する識別手段とを備えることを特徴とする物体検出装置。
前記第２特徴量算出手段は、前記画像フレーム中の前記画素の輝度の変化量を検出する輝度変化量検出手段と、前記変化量が予め設定された所定変化量より大きい場合に動状態と判定する第１状態判定手段と、前記画像フレームより後の複数の画像フレーム中の前記画素に対応する画素の輝度の分散を算出する分散算出手段と、前記第１状態判定手段により動状態と判定され、かつ、前記分散が予め設定された所定値より小さい場合に背景または静状態と判定する第２状態判定手段と、前記第２状態判定手段により背景または静状態と判定された場合に、前記画像フレームの画素の輝度が予め設定された背景用輝度に属するときに背景と判定し、属さないときに静状態と判定する第３状態判定手段とを備え、前記画素を背景、動状態、静状態のいずれかに判別した結果を前記第２の特徴量として算出するように構成されており、
前記識別手段は、前記第１の特徴量が前記物体の輪郭に対応し、かつ、前記第２の特徴量が前記動状態または前記静状態であると判定した場合に、前記物体の存在を検出することを特徴とする請求項１に記載の物体検出装置。
前記第２特徴量算出手段は、前記画像フレーム中の前記画素の輝度の変化量を検出する輝度変化量検出手段と、前記変化量が予め設定された所定変化量より大きい場合に動状態と判定し、前記変化量が予め設定された所定変化量より小さい場合に動状態以外の状態と判定する判定手段とを備え、前記画素を動状態と動状態以外のいずれかに判別した結果を前記第２の特徴量として算出するように構成され、
前記識別手段は、前記第１の特徴量が前記物体の輪郭に対応し、かつ、前記第２の特徴量が前記動状態であると判定した場合に、前記物体の存在を検出することを特徴とする請求項１に記載の物体検出装置。
前記第２特徴量算出手段は、前記画像フレームより後の複数の画像フレーム中の前記画素に対応する画素の輝度の分散を算出する分散算出手段と、前記分散が予め設定された所定値より小さい場合に動状態と判定し、前記分散が前記所定値より大きい場合に動状態以外の状態と判定する判定手段とを備え、前記画素を背景と背景以外のいずれかに判別した結果を前記第２の特徴量として算出するように構成され、
前記識別手段は、前記第１の特徴量が前記物体の輪郭に対応し、かつ、前記第２の特徴量が前記背景以外の状態であると判定した場合に、前記物体の存在を検出することを特徴とする請求項１に記載の物体検出装置。