JP2015187769A - 物体検出装置、物体検出方法及びプログラム - Google Patents

Abstract

【課題】姿勢が変化する物体を少ない演算量で精度よく検出することを目的とする。【解決手段】入力画像から物体を検出する物体検出装置であって、入力画像から処理対象の部分画像を抽出する抽出手段と、部分画像に基づいて、特徴量を特定する特徴量特定手段と、特徴量に基づいて、物体の姿勢を推定する姿勢推定手段と、特徴量と、姿勢推定手段による推定結果とに基づいて、入力画像に物体が含まれているか否かを判別する第１の判別手段とを有する。【選択図】図１

Description

本発明は、物体検出装置、物体検出方法及びプログラムに関する。

近年、映像機器のインテリジェント化が進んでいる。例えば、監視カメラに人体検出機能を搭載し、監視結果から人数カウント、お客様意図分析、異常動作検知、危険領域侵入検知などを行う技術が提案されている。
また、デジタルカメラなどの撮影装置により撮影された映像中の人物の位置を特定し追尾することにより、カメラのフォーカス、露出を自動制御する機能が注目されている。さらに、人物の他に、犬、猫、花などの一般の物体に注目して、カメラを自動制御する機能も普及している。

映像機器のインテリジェント化の基盤は、機械学習による物体検出技術にある。機械学習では、大量な物体と非物体の学習サンプルから、物体と非物体を区別する特徴量を抽出し、認識モデルを作成する。画像から物体を検出する際には、原画像をスケーリングしてピラミッド画像レイヤーを作成する。各ピラミッド画像レイヤーについて、ラスタースキャンを行い、認識モデルに記述した各特徴量の判別器応答を組み合わせることにより、異なるサイズの物体を検出する。
物体検出の技術としては、例えば非特許文献１には、人物の顔領域を判別するカスケード型識別器が開示されている。非特許文献１に記載の方法は、人物の顔領域のＨａａｒ特徴量に対するアダブースト学習により、顔の識別にエラーの最も少ない特徴量を選択し、弱判別器を学習し、これをカスケード化して、カスケード型識別器を構成するものである。

人体のように物体を構成するパーツごとの姿勢が可変の物体を検出する技術も知られている。例えば、非特許文献２には、パーツ識別器において、パーツ毎の尤度を求め、ルート識別器によりルートの尤度を求め、これらの尤度と物体姿勢変形のコストとを統合し、物体を検出する技術が開示されている。
また、非特許文献３には、回転した物体について、Ｐｏｓｅ−Ｉｎｄｅｘｅｄ Ｆｅａｔｕｒｅｓと呼ばれる回転不変の特徴量を利用して、回転した物体の角度をカスケード型回帰により、逐次的に回帰し推定する技術が開示されている。

"Ｒａｐｉｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ａ Ｂｏｏｓｔｅｄ Ｃａｓｃａｄｅ ｏｆ Ｓｉｍｐｌｅ Ｆｅａｔｕｒｅｓ，" Ｐａｕｌ Ｖｉｏｌａ，Ｍｉｃｈａｅｌ Ｊｏｎｅｓ，ＣＶＰＲ２００１． "Ａ Ｄｉｓｃｒｉｍｉｎａｔｉｖｅｌｙ Ｔｒａｉｎｅｄ， Ｍｕｌｔｉｓｃａｌｅ， Ｄｅｆｏｒｍａｂｌｅ Ｐａｒｔ Ｍｏｄｅｌ，" Ｐｅｄｒｏ Ｆｅｌｚｅｎｓｚｗａｌｂ， Ｄａｖｉｄ ＭｃＡｌｌｅｓｔｅｒ， Ｄｅｖａ Ｒａｍａｎａｎ， ＣＶＰＲ２００８． "Ｃａｓｃａｄｅｄ Ｐｏｓｅ Ｒｅｇｒｅｓｓｉｏｎ，" Ｐｉｏｔｒ Ｄｏｌｌ'ａｒ， Ｐｅｔｅｒ Ｗｅｌｉｎｄｅｒ， Ｐｉｅｔｒｏ Ｐｅｒｏｎａ， ＣＶＰＲ２０１０．

しかしながら、従来技術においては、姿勢変化を伴う物体を検出する場合に、処理量が多くなるという問題があった。例えば、非特許文献２に記載された方法では、ルート識別器が検出した、物体のルート候補領域すべてに対し、対応するすべてのパーツ候補領域に各パーツ識別器を適用するため、処理量が多い。また、非特許文献３に記載された方法では、姿勢が大きく変化する物体を検出する場合、すべてのスキャンウィンドウについて、全弱回帰器を適用する必要がある。このため、処理量が多くなってしまう。

本発明はこのような問題点に鑑みなされたもので、姿勢が変化する物体を少ない演算量で精度よく検出することを目的とする。

そこで、本発明は、入力画像から物体を検出する物体検出装置であって、前記入力画像から処理対象の部分画像を抽出する抽出手段と、前記部分画像に基づいて、特徴量を特定する特徴量特定手段と、前記特徴量に基づいて、前記物体の姿勢を推定する姿勢推定手段と、前記特徴量と、前記姿勢推定手段による推定結果とに基づいて、前記入力画像に前記物体が含まれているか否かを判別する第１の判別手段とを有する。

本発明によれば、姿勢が変化する物体を少ない演算量で精度よく検出することができる。

物体検出装置を示す図である。 スキャンの説明図である。 姿勢推定部及び前段判別部を示す図である。 ウィンドウの一例を示す図である。 ＬＵＴｒ及びＬＵＴｃを示す図である。 ウィンドウの一例を示す図である。 物体検出処理を示すフローチャートである。 物体検出装置を示す図である。 第１の部分画像と第２の部分画像を説明するための図である。 回帰推定処理を説明するための図である。 物体モデルの一例を示す図である。 物体検出処理を示すフローチャートである。 パーツ判別処理を示すフローチャートである。 物体検出処理を説明するための図である。 物体検出処理を説明するための図である。 物体検出処理を説明するための図である。 物体検出処理を説明するための図である。 物体検出処理を説明するための図である。 物体検出装置を示す図である。

以下、本発明の実施形態について図面に基づいて説明する。

（第１の実施形態）
図１は、第１の実施形態にかかる物体検出装置１００を示す図である。物体検出装置１００は、フレーム画像から物体を検出する。物体検出装置１００は、例えば人体、飛行機、車、猫等の物体を検出する。物体検出装置１００はまた、人体の頭部など、ある物体の一部のパーツを物体として検出する。本実施形態においては、人体の頭部を検出する場合を例に、物体検出装置１００について説明する。
物体検出装置１００は、物体を検出するための機能として、画像入力部１０１と、部分画像抽出部１０２と、回帰モデル記憶部１０３と、特徴量特定部１０４と、姿勢推定部１０５とを有している。物体検出装置１００はまた、物体モデル記憶部１０６と、前段判別部１０７と、結果出力部１０８と、後段判別部１０９とを有している。

画像入力部１０１は、物体検出の対象となるフレーム画像を入力する。ここで、フレーム画像は、入力画像の一例である。部分画像抽出部１０２は、フレーム画像の一部の領域を、部分画像（ウィンドウ）として抽出する。部分画像は、物体検出の処理対象の画像である。部分画像は、所定サイズの矩形領域である。部分画像はまた、後述の回帰モデルの弱回帰器及び物体モデルの弱判別器と同じサイズの領域である。部分画像抽出部１０２は、具体的には、フレーム画像に対し縮小処理を施し、画像系列としてのピラミッド画像を作成する。部分画像抽出部１０２は、ピラミッド画像の各レイヤーにおいて、部分画像を抽出する。
部分画像抽出部１０２は、所定のステップ幅でフレーム画像上をスキャンし、各位置において部分画像を抽出する。図２は、部分画像抽出部１０２によるスキャンの説明図である。このように、部分画像抽出部１０２は、ステップ幅ずつ部分画像１１の位置をずらしながら、フレーム画像１０上をスキャンし、部分画像を抽出する。

回帰モデル記憶部１０３は、回帰モデルを格納する。ここで、回帰モデルは、物体の姿勢を回帰的に推定するためのモデルである。後述の姿勢推定部１０５は、カスケード化された複数の弱回帰器を有し、回帰モデルは、この複数の弱回帰器それぞれにおいて利用されるＬＵＴ（Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）である。ＬＵＴは、特徴量を出力値に変換するための参照テーブルである。
特徴量特定部１０４は、回帰モデルを参照し、部分画像抽出部１０２により処理対象として抽出された部分画像に基づいて、処理対象の部分画像における特徴量を特定する。ここで、特徴量は、検出対象とする物体の姿勢に関する特徴量である。特徴量については、後に詳述する。なお、特徴量特定部１０４は、カスケード化された複数の弱回帰器それぞれに入力するための複数の特徴量を特定する。
姿勢推定部１０５は、特徴量に基づいて、部分画像に含まれる物体の姿勢を推定する。姿勢推定部１０５は、具体的には、カスケード化された複数の弱回帰器を有し、各弱回帰器は、前段の弱回帰器の出力値に基づいて、姿勢推定値を算出する。

物体モデル記憶部１０６は、物体モデルを格納する。ここで、物体モデルは、物体か否かを回帰的に推定するためのモデルである。後述の前段判別部１０７は、カスケード化された複数の弱判別器を有し、物体モデルは、複数の弱判別器それぞれにおいて利用されるＬＵＴである。ＬＵＴは、特徴量を弱判別器による出力値に変換するための参照テーブルである。
前段判別部１０７は、物体モデルを参照し、特徴量を出力値に変換し、出力値に基づいて、部分画像が物体を含むか否かを判定する。結果出力部１０８は、姿勢推定部１０５が有する複数の弱回帰器による逐次的な処理により得られた最終的な姿勢推定値を出力する。後段判別部１０９は、最終的な姿勢推定値に基づいて、姿勢別の識別器により、処理対象の部分画像が物体を含むか否かを総合的に判定する。

次に、図３及び図４を参照しつつ、特徴量特定部１０４、姿勢推定部１０５及び前段判別部１０７による回帰処理について説明する。図３は、姿勢推定部１０５が有する複数の弱回帰器１〜ｍと、前段判別部１０７が有する複数の弱判別器１〜ｍとを示す図である。複数の弱回帰器１〜ｍ及び複数の弱判別器１〜ｍは、図３に示すように、それぞれカスケード化されている。
回帰処理では、部分画像抽出部１０２が図４（ａ）に示すように、部分画像Ｉ₀を抽出すると、特徴量特定部１０４は、部分画像において予め設定されている２対の２点の位置を姿勢推定値Ｓに応じて座標変換する。ここで、姿勢推定値Ｓは、物体の回転角度（傾き量）θに相当する。
部分画像抽出部１０２により抽出された部分画像Ｉ₀に対する姿勢推定値Ｓには、初期値Ｓ₀が設定されているものとする。また、姿勢推定値Ｓ₀における物体の回転角度、すなわち初期状態における物体の回転角度θは、θ₀に設定されているものとする。回転角度θは、部分画像の傾きの値であり、本実施形態においては、フレーム画像の上下方向に対する部分画像の上下方向の傾きを回転角度θとする。

特徴量特定部１０４は、具体的には、（式１）により１対の２点ｐ₁＝（ｘ₁，ｙ₁），ｐ₂＝（ｘ₂，ｙ₂）を姿勢推定値Ｓに応じて座標変換する。（式１）において、ｔｐ₁＝（ｔｘ₁，ｔｙ₁），ｔｐ₂＝（ｔｘ₂，ｔｙ₂）は、それぞれ、ｐ₁，ｐ₂の座標変換後の座標である。なお、各座標値は、処理対象のウィンドウＩの中心位置を原点とする座標値である。また、部分画像Ｉ₀を処理対象とする場合、回転角度θ＝θ₀とする。

…（式１）

次に、特徴量特定部１０４は、座標変換後の２点ｔｐ₁，ｔｐ₂の位置に基づいて、（式２）により、部分画像Ｉ内における２点の画素値の差分を算出し、算出結果と閾値とを比較し２値化する。ここでは、閾値を０とする。なお、閾値は、例えば物体検出装置１００の記憶部（不図示）に予め設定されているものとする。

…（式２）
ここで、Ｖｔｐ₁，Ｖｔｐ₂は、それぞれｔｐ₁，ｔｐ₂の点の画素値である。

特徴量特定部１０４は、もう１対の２点に対しても、上記と同様の処理を行うことにより、２つの画素値差を得る。そして、特徴量特定部１０４は、２つの画素値差に基づいて、（式３）より、部分画像Ｉの特徴量ｆを得る。
ｆ＝（画素値差１，画素値差２）∈｛（０，０）,（０，１）,（１，０）,（１，１）}
…（式３）
ここで、画素値差１は、１対目の２点の画素値差であり、画素値差２は、２対目の２点の画素値差である。
このように、特徴量ｆは、画素値差１及び画素値差２により定まる値である。さらに、画素値差１，２は、部分画像と、部分画像に対して想定される基準姿勢の物体との間の傾き量により定まる値である。すなわち、特徴量ｆは、傾き量を示す値である。
特徴量特定部１０４は、θ＝θ₀として（式１）〜（式３）により得られた特徴量ｆ、すなわち部分画像Ｉ₀の特徴量ｆを弱回帰器１及び弱判別器１に入力する。

弱回帰器１は、自身が有するＬＵＴｒを参照し、特徴量ｆを回帰値Ｒ₀に変換する。図５（ａ）に示すように、ＬＵＴｒは、特徴量ｆから変化量ｄθへのマッピング関数である。また、回帰値Ｒ₀は、（式４）に示すように、回転角度θの変化量ｄθである。
Ｒ₀＝ｄθ＝ＬＵＴｒ（ｆ） …（式４）
弱回帰器１はさらに、姿勢推定値の初期値Ｓ₀と、回帰値Ｒ₀とに基づいて、（式５）により、姿勢推定値Ｓ₁を算出する。
Ｓ₁＝Ｓ₀＋Ｒ₀＝θ₀＋ｄθ （式５）

一方で、弱判別器１では、自身が有するＬＵＴｃを参照し、（式６）に示すように特徴量ｆを応答ｈ（ｆ）に変換する。図５（ｂ）に示すように、ＬＵＴｃは、特徴量ｆから応答ｈ（ｆ）へのマッピング関数である。なお、ｈ（ｆ）は、実数空間Ｒまたはそのサブ空間である。
ｈ（ｆ）＝ＬＵＴｃ（ｆ） …（式６）
弱判別器１はさらに、応答ｈ（ｆ）に基づいて、判別評価値Σｈ（ｆ）を算出する。各弱判別器は、カスケード接続において、自身の前に接続されている１又は２以上の弱判別器により既に得られたすべての応答ｈ（ｆ）の総和を、判別評価値Σｈ（ｆ）として算出する。ただし、弱判別器１においては、ｈ（ｆ）の値は１つのみであるため、加算処理は行わない。

そして、弱判別器１は、（式７）に示すように、判別評価値Σｈ（ｆ）に基づいて、部分画像Ｉ₀が検出対象の物体である人体の頭部（物体）を含むか否かを判定する。

…（式７）
ここで、閾値は、予め設定された値であり、閾値以上の範囲は、部分画像に物体が含まれている場合に得られる評価値の基準範囲である。すなわち、弱判別器１は、上記処理により、判別評価値Σｈ（ｆ）が基準範囲に含まれているか否かを判定する。
このように、弱判別器１は、弱回帰器１が用いたのと同じ特徴量により、物体か否かの物体判別処理を行うことができる。

弱判別器１が次の弱回帰器に移ると判定した場合、弱回帰器２は、処理を開始する。すなわち、この場合、回帰処理が継続する。なお、弱判別器１が物体を含まないと判定した場合、弱判別器１は、繰り返し処理を終了する。この場合、弱回帰器２〜ｍ及び弱判別器２〜ｍの処理は行われない。
弱判別器１が次の弱回帰器に移ると判定した場合には、特徴量特定部１０４は、図４（ｂ）に示すように、部分画像Ｉ₀を部分画像Ｉ₀の中心を回転中心として、Ｒ₀（ｄθ）だけ回転させ、部分画像Ｉ₁を得る。ここで、部分画像Ｉ₁の回転角度θ₁は、（式８）のように、θ₀とＲ₀により定まる。
θ₁＝θ₀＋Ｒ₀ …（式８）

そして、特徴量特定部１０４は、姿勢推定値Ｓ₁（回転角度θ₁）に基づいて、部分画像Ｉ₁の特徴量ｆを特定し、特定した特徴量ｆを弱回帰器２及び弱判別器２に入力する。特徴量特定部１０４は、同様に、弱回帰器３〜ｍ及び弱判別器３〜ｍに入力するための特徴量ｆを特定する。
弱回帰器２には、弱回帰器１により算出された回帰値Ｒ₀に基づいて特徴量特定部１０４により特定された特徴量ｆが入力される。そして、弱回帰器２は、特徴量ｆに基づいて、回帰値Ｒ₁を算出し、回帰値Ｒ₁に基づいて、姿勢推定値Ｓ₂を算出する。
弱回帰器３〜ｍの処理は、弱回帰器２の処理と同様である。

また、弱判別器２には、対応する弱回帰器２に入力された特徴量ｆと同一の特徴量ｆが入力される。そして、弱判別器２は、特徴量ｆに基づいて、応答ｈ（ｆ）を得る。そして、弱判別器２は、カスケード接続における直前の弱判別器１により得られた応答ｈ（ｆ）と、自身が算出した応答ｈ（ｆ）との総和である判別評価値Σｈ（ｆ）を算出する。弱判別器２は、判別評価値Σｈ（ｆ）により、部分画像Ｉ₁が物体を含むか否かを判定する。弱判別器３〜ｍの処理は、弱判別器２の処理と同様である。そして、回帰処理においては、以上の処理が、弱回帰器及び弱判別器の数だけ回帰的に繰り返される。

図４に示すように、フレーム画像のうち、人体の頭部を含む領域が部分画像として抽出され、処理対象となったとする。この場合には、この部分画像に対し、すべての弱回帰器１〜ｍ及び弱判別器１〜ｍによる処理が行われ、部分画像が人体の頭部を含むと判別される。
これに対し、図６に示すように、フレーム画像のうち、人体の頭部を含まない領域が部分画像として抽出され、処理対象となったとする。この場合には、（式７）の判定処理により、すべての弱回帰器及び弱判別器による処理が行われる前に、部分画像が人体の頭部を含まないと判別され、回帰処理の途中で処理は終了することとなる。

図７は、物体検出装置１００による物体検出処理を示すフローチャートである。ステップＳ１０１において、画像入力部１０１は、不図示の画像撮影装置または画像記憶装置から一つのフレーム画像を受け付ける。次に、ステップＳ１０２において、部分画像抽出部１０２は、フレーム画像の縮小処理を行い、ピラミッド画像を作成する。そして、部分画像抽出部１０２は、一のレイヤーのフレーム画像から処理対象の部分画像を抽出する（抽出処理）。
部分画像抽出部１０２はさらに、各部分領域に対するステップＳ１０２〜ステップＳ１１４の繰り返し処理を制御する。すなわち、部分画像抽出部１０２は、ステップＳ１０２〜ステップＳ１１４の処理を繰り返す度に、所定ステップ幅ずつずらしながら順次部分画像を抽出する。さらに、部分画像抽出部１０２は、すべてのレイヤーにおいて同様に順次部分画像を抽出する。そして、抽出された各部分画像に対し、ステップＳ１０３〜ステップＳ１１４の処理が実行される。

次に、ステップＳ１０３において、姿勢推定部１０５は、回帰モデル記憶部１０３から、回帰モデル（ＬＵＴｒ）を読み込む。次に、ステップＳ１０４において、姿勢推定部１０５は、弱回帰器を初期化する。具体的には、姿勢推定部１０５は、弱回帰器１に初期状態における姿勢推定値Ｓ₀（回転角度θ₀）を設定する。
次に、ステップＳ１０５において、前段判別部１０７は、物体モデル記憶部１０６から物体モデル（ＬＵＴｃ）と、判別のための閾値とを読み込む。次に、ステップＳ１０６〜ステップＳ１１１において、特徴量特定部１０４、弱回帰器及び弱判別器は、それぞれ特徴量抽出処理、姿勢推定処理及び物体判別処理を繰り返す。

次に、ステップＳ１０６において、姿勢推定部１０５は、ステップＳ１０２において抽出された部分画像に対し、１つの弱回帰器を選択する。このとき、前段判別部１０７は、姿勢推定部１０５により選択された弱回帰器に対応する弱判別器を選択する。そして、姿勢推定部１０５は、各弱回帰器によるステップＳ１０６〜ステップＳ１１１の処理が終了したか否かを判断する。
なお、姿勢推定部１０５は、繰り返し処理により、カスケード接続された複数の弱回帰器が順にステップＳ１０６〜ステップＳ１１１における処理を実行するように、カスケード接続された複数の弱回帰器を、先頭から順に選択する。

ステップＳ１０７において、特徴量特定部１０４は、（式１）〜（式３）により、ステップＳ１０６において選択された弱回帰器に入力するための特徴量ｆを算出する。ここで、ステップＳ１０７の処理は、部分画像に基づいて特徴量を特定する特徴量特定処理の一例である。なお、繰り返し処理における１回目のステップＳ１０７においては、特徴量特定部１０４は、姿勢推定値ＳをＳ₀、回転角度θを初期値θ₀として、特徴量ｆを算出する。
次に、ステップＳ１０８において、弱回帰器（ステップＳ１０６において選択された弱回帰器）は、自身が有するＬＵＴｒを参照し、特徴量ｆに基づいて、物体の姿勢を回帰推定する（姿勢推定処理）。弱回帰器は、具体的には、自身が有するＬＵＴｒを参照し、（式４）、（式５）により、特徴量ｆから姿勢推定値Ｓ_x（ｘ＝１，２，…ｍ）を算出する。

次に、ステップＳ１０９において、ステップＳ１０６において選択された弱判別器は、特徴量ｆに基づいて、部分画像が物体を含むか否かを判別する。具体的には、弱判別器は、自身が有するＬＵＴｃを参照し、特徴量ｆからｈ（ｆ）を算出し、判別評価値Σｈ（ｆ）を算出する。すなわち、ステップＳ１０９は、カスケード接続において、選択されている弱判別器よりも前の弱判別器により得られたｈ（ｆ）に基づいて、判別評価値Σｈ（ｆ）を算出する評価値算出処理の一例である。
次に、ステップＳ１１０において、弱判別器は、（式７）に示すように、判別評価値Σｈ（ｆ）と閾値との比較結果に基づいて、ステップＳ１０２において抽出された部分画像が物体を含むか否かを判定する。ここで、判別評価値Σｈ（ｆ）と比較される閾値以以上の範囲は、部分画像に物体が含まれている場合に得られる評価値の基準範囲である。すなわち、ステップＳ１１０の処理は、判別評価値Σｈ（ｆ）が評価値の基準範囲に含まれているか否かを判定する評価値判定処理の一例である。また、ステップＳ１１０の処理は、特徴量に基づいて、部分画像に物体が含まれているか否かを判別する第２の判別処理の一例である。

弱判別器は、部分画像が物体を含まないと判定した場合（ステップＳ１１０でＮｏ）、すなわち判別評価値Σｈ（ｆ）が基準範囲に含まれない場合には、ステップＳ１０６〜ステップＳ１１４の処理の繰り返しを終了する。なお、この場合、ステップＳ１０２において抽出されていない部分画像が存在する場合には、部分画像抽出部１０２は、処理対象の部分画像を変更し、ステップＳ１０３以降の処理を継続する。
ステップＳ１１０において、弱判別器は、次の弱回帰器に移ると判別した場合には（ステップＳ１１０でＹｅｓ）、ステップＳ１０６〜ステップＳ１１４の繰り返し処理を継続する。そして、ステップＳ１０２において、姿勢推定部１０５は、未処理の弱回帰器がある場合には、次段の弱回帰器を選択し、前段判別部１０７は、選択された弱回帰器に対応する弱判別器を選択する。

ステップＳ１０６〜ステップＳ１１０の処理の繰り返しにおいて、１回目のステップＳ１０６〜ステップＳ１１０の処理では、特徴量特定部１０４は、部分画像Ｉ₀における特徴量ｆを算出し、これを弱回帰器１及び弱判別器１に入力する。そして、弱回帰器１は、特徴量ｆに基づいて回帰値Ｒ₀を算出し、回帰値Ｒ₀に基づいて、姿勢推定値Ｓ₁を算出する。また、弱判別器１は、特徴量ｆに基づいて、ｈ（ｆ）を算出し、（式７）に示すｆ（ｈ）と閾値との比較により、部分画像Ｉ₀に物体が含まれるか否かを判定する。
そして、２回目のステップＳ１０６〜ステップＳ１１１の処理では、特徴量特定部１０４は、弱回帰器１により算出された回帰値Ｒ₀（回転角度θ₁）に基づいて、部分画像Ｉ₀をθ₁だけ回転させた部分画像Ｉ₁における特徴量ｆを特定する。そして、特徴量特定部１０４は、特徴量ｆを弱回帰器２及び弱回帰器２に入力する。

弱回帰器２は、特徴量ｆに基づいて、回帰値Ｒ₁を算出し、回帰値Ｒ₁に基づいて、姿勢推定値Ｓ₂を算出する。また、弱判別器２は、特徴量ｆに基づいて、ｈ（ｆ）を求め、さらに判別評価値Σｆ（ｈ）を算出する。そして、弱判別器２は、判別評価値Σｆ（ｈ）と閾値との比較により、部分画像に物体が含まれるか否かを判定する。３回目以降における特徴量特定部１０４、弱回帰器３〜ｍ及び弱判別器３〜ｍの処理は、２回目の処理と同様である。
弱回帰器に対する繰り返し処理における２回目以降のステップＳ１０７においては、特徴量特定部１０４は、前段の弱回帰器により算出された回帰値Ｒに基づいて、回転角度θを求め、部分画像Ｉを部分画像Ｉ₀から回転角度θだけ傾ける。そして、特徴量特定部１０４は、部分画像Ｉにおける特徴量ｆを算出する。すなわち、ステップＳ１０７の処理は、姿勢の推定結果に基づいて、フレーム画像に対する部分画像の傾きを変更する変更処理の一例である。

すべての弱回帰器に対するステップＳ１０６〜ステップＳ１１１の処理が終了すると、姿勢推定部１０５は、処理をステップＳ１１２へ進める。ステップＳ１０６〜ステップＳ１１１の処理は、ステップＳ１１０において、物体がないと判定されない場合には、カスケード化された弱回帰器及び弱判別器の数（ｍ）だけ繰り返し実行される。
ステップＳ１１２において、結果出力部１０８は、ステップＳ１０６からステップＳ１１１まで逐次的に回帰した物体の姿勢を後続の後段判別部１０９に出力する。次に、ステップＳ１１３において、後段判別部１０９は、回帰した物体の姿勢に基づいて、姿勢別の識別器により、処理対象の部分画像に物体が含まれているか否かを総合的に判別する（第１の判別処理）。
そして、ステップＳ１０２において、部分画像抽出部１０２は、すべての部分画像に対し、ステップＳ１０３〜ステップＳ１１４の処理が終了すると、処理をステップＳ１１５へ進める。ステップＳ１１５において、後段判別部１０９は、物体が含まれると判別された部分画像のうち、互いに重複する部分画像を１つに統合する。以上で、物体検出処理が終了する。

以上のように、第１の実施形態にかかる物体検出装置１００においては、姿勢推定部１０５及び前段判別部１０７は、同じ特徴量ｆに基づいて、それぞれ姿勢推定処理及び物体判別処理を行う。これにより、処理の高速化を図ることができる。
さらに、物体検出装置１００は、回帰処理において、いずれかの弱判別器が物体を含まないと判定した場合には、判定が行われた弱判別器よりも後段の弱回帰器及び弱判別器による処理を行うことなく、部分画像に物体が含まれないと判定する。これにより、さらなる処理の高速化を図ることができる。

第１の実施形態の第１の変更例について説明する。本実施形態に係る物体検出装置１００は、複数の画素値の差分を特徴量として算出したが、これに限定されるものではない。物体検出装置１００は、物体の姿勢変化によらず不変な値を特徴量として算出し、これに基づいて、物体の姿勢推定処理及び物体判別処理を行えばよい。
また、第２の変更例としては、特徴量特定部１０４は、傾き量にかえて、部分画像と、部分画像に対して想定される物体の基準姿勢（位置）との間の位置ずれ量を特徴量ｆとして算出してもよい。この場合には、姿勢推定値は、物体の位置ずれ量を姿勢推定値として回帰推定することとする。
第３の変更例としては、前段判別部１０７と姿勢推定部１０５により利用された特徴量と推定された物体の姿勢に基づいて、新たな特徴量を算出し、算出された特徴量に基づいて物体判別処理を行うこととしてもよい。

（第２の実施形態）
次に、第２の実施形態にかかる物体検出装置について説明する。図８は、物体検出装置２００を示す図である。物体検出装置２００は、物体の一部であるパーツの検出と、物体全体の検出とを行い、各検出結果に基づいて、総合的に物体を検出する。なお、ここでは、物体検出装置２００が、物体としての人体と、人体のパーツである頭部とを検出し、総合的に人体を検出する場合を例に説明する。
物体検出装置２００は、画像入力部２０１と、第１の部分画像抽出部２０２と、物体識別器２０３と、第２の部分画像抽出部２０４と、回帰モデル記憶部２０５と、回帰モデル選択部２０６とを有している。物体検出装置２００はまた、特徴量特定部２０７と、姿勢推定部２０８と、パーツモデル記憶部２０９と、パーツモデル選択部２１０と、パーツ判別部２１１とを有している。物体検出装置２００はまた、結果出力部２１２と、物体モデル記憶部２１３と、物体モデル選択部２１４と、物体判別部２１５と、統合部２１６とを有している。

画像入力部２０１は、物体検出の対象となるフレーム画像を入力する。第１の部分画像抽出部２０２は、フレーム画像の一部の領域を第１の部分画像（ウィンドウ）として抽出する。ここで、第１の部分画像は、物体検出の処理対象の領域の画像である。第１の部分画像は、後述の物体識別器２０３の判別器と同一サイズの矩形領域である。第１の部分画像抽出部２０２は、具体的には、フレーム画像に対し縮小処理を施し、画像系列としてのピラミッド画像を作成する。第１の部分画像抽出部２０２は、ピラミッド画像の各レイヤーにおいて、第１の部分画像を抽出する。第１の部分画像抽出部２０２は、所定のステップ幅でフレーム画像上をスキャンし、各位置において第１の部分画像を抽出する。
画像入力部２０１及び第１の部分画像抽出部２０２は、それぞれ第１の実施形態にかかる画像入力部１０１及び部分画像抽出部１０２に相当する。

物体識別器２０３は、第１の部分画像抽出部２０２により抽出された第１の部分画像において物体候補領域を抽出する。物体識別器２０３は、例えば検出対象の物体が人物である場合には、立位、前傾、しゃがんだ状態など様々な姿勢の人体を検出する識別器であるものとする。
第２の部分画像抽出部２０４は、第１の部分画像抽出部２０２により抽出された第１の部分画像から第２の部分画像を抽出する。ここで、第２の部分画像は、パーツ検出の処理対象の領域の画像である。第２の部分画像は、後述の回帰モデルの弱回帰器及びパーツモデルの弱判別器と同じサイズの矩形領域である。
図９は、第１の部分画像と第２の部分画像を説明するための図である。物体検出装置２００においては、第１の部分画像９００に対し、第２の部分画像抽出部２０４が抽出する第２の部分画像９０１の初期位置が予め設定されている。複数の初期位置は、例えば弱回帰器のサイズに応じたグリッド間隔で設定されている。図９には、Ｐ１〜Ｐ８の８つの初期位置に対応する第２の部分画像９０１〜９０８が設定されている例を示している。

回帰モデル記憶部２０５は、複数の回帰モデルを格納する。回帰モデル記憶部２０５は、例えば人体の頭部（パーツ）に対し、正面頭部と、側面頭部の２つの向きの回帰モデルを格納している。回帰モデル選択部２０６は、回帰モデル記憶部２０５から１つの回帰モデルを選択する。
なお、回帰モデル記憶部２０５に格納される各回帰モデルは、第１の実施形態にかかる回帰モデル記憶部１０３に格納される回帰モデルと同様のモデルである。また、姿勢推定部２０８は、第１の実施形態にかかる姿勢推定部１０５と同様であり、カスケード化された複数の弱回帰器を有している。
特徴量特定部２０７は、回帰モデル選択部２０６により選択された回帰モデルに基づいて、第２の部分画像の特徴量を計算する。なお、第２の実施形態にかかる特徴量特定部２０７は、第２の部分画像と、第２の部分画像に対して想定されるパーツの基準姿勢（位置）との間の位置ずれ量を特徴量ｆとして算出する。

姿勢推定部２０８は、回帰モデル選択部２０６により選択された回帰モデルと、特徴量特定部２０７により抽出された特徴量に基づいて、パーツの姿勢を推定する。姿勢推定部２０８は、位置ずれ量により定まる特徴量ｆに基づいて、パーツの姿勢、すなわち位置を推定する。
姿勢推定部２０８は、具体的には、パーツとしての人体の頭部の中心位置（ｘ，ｙ）の位置ずれ量ｄｘ，ｄｙを姿勢推定値として回帰推定する。図１０に示すように、姿勢推定部２０８は、初期位置（Ｘ_k ⁰，Ｙ_k ⁰）を初期状態として、パーツ（人体の頭部）の姿勢（位置）を回帰推定する。ここで、下付き文字ｋは、初期位置の番号である。また、上付き文字０は、回帰推定の回数である。弱回帰器１は、初期位置（Ｘ_k ⁰，Ｙ_k ⁰）から頭部位置を回帰推定し、推定姿勢値Ｓ₁として位置（Ｘ_k ¹，Ｙ_k ¹）を算出する。さらに、弱回帰器２は、推定姿勢値Ｓ₂として位置（Ｘ_k ²，Ｙ_k ²）を算出する。

パーツモデル記憶部２０９は、複数のパーツモデルを格納する。なお、パーツモデル記憶部２０９に格納されている複数のパーツモデルは、回帰モデル記憶部２０５に記憶されている複数の回帰モデルに対応するものである。パーツモデル選択部２１０は、回帰モデル選択部２０６により選択された回帰モデルに対応するパーツモデルを選択する。
パーツ判別部２１１は、パーツモデル選択部２１０により選択された回帰モデルを参照し、特徴量を出力値に変換し、出力値に基づいて、処理対象の第２の部分画像がパーツを含むか否かを判別する。
なお、パーツモデル記憶部２０９に格納されている複数のパーツモデルは、第１の実施形態にかかる物体モデル記憶部１０６に格納されている物体モデルと同様のモデルである。また、パーツ判別部２１１は、第１の実施形態にかかる前段判別部１０７と同様であり、カスケード化された複数の弱判別器を有している。

結果出力部２１２は、姿勢推定部２０８が有する複数の弱回帰器による逐次的な処理により得られた最終的な姿勢推定値を出力する。物体モデル記憶部２１３は、複数の物体モデルを格納する。物体モデル記憶部２１３は、例えば立位、前傾、しゃがんだ状態など姿勢の異なる物体モデルを格納する。
図１１は、物体モデルの一例を示す図である。本実施形態にかかる物体モデル１１００は、全身検出モデル１１０１と、頭部検出モデル１１０２と、胴体検出モデル１１０３とを有している。ここで、全身検出モデル１１０１は、物体としての人体の全身を検出するためのモデルである。頭部検出モデル１１０２は、パーツの１つである頭部を検出するためのモデルである。胴体検出モデル１１０３は、パーツの１つである胴体を検出するためのモデルである。

物体モデル選択部２１４は、物体識別器２０３により検出された物体の位置と、結果出力部２１２により出力された姿勢推定値に基づいて、物体の姿勢を推定する。そして、物体モデル選択部２１４は、推定した物体の姿勢に対応する物体モデルを選択する。
物体判別部２１５は、物体モデルに基づいて、物体ウィンドウに物体が含まれるか否かを判別する。統合部２１６は、物体が含まれると判別した物体モデルのうち、互いに重複するウィンドウを統合し、統合結果を出力する。

図１２は、物体検出処理を示すフローチャートである。まず、ステップＳ２０１において、画像入力部２０１は、不図示の画像撮影装置または画像記憶装置から一つのフレーム画像を受け付ける。次に、ステップＳ２０２において、第１の部分画像抽出部２０２は、フレーム画像の縮小処理を行い、ピラミッド画像を作成する。そして、第１の部分画像抽出部２０２は、一のレイヤーのフレーム画像から物体検出の処理対象とする第１の部分画像を抽出する（第１の抽出処理）。

第１の部分画像抽出部２０２はさらに、各第１の部分領域に対するステップＳ２０２〜ステップＳ２０７の繰り返し処理を制御する。すなわち、第１の部分画像抽出部２０２は、ステップＳ２０２〜ステップＳ２０７を繰り返す度に、所定ステップ幅ずつずらしながら順次第１の部分画像を抽出する。さらに、第１の部分画像抽出部２０２は、すべてのレイヤーにおいて同様に順次部分画像を抽出する。そして、抽出された各第1の部分画像に対し、ステップＳ２０２〜ステップＳ２０７の処理が実行される。
次に、ステップＳ２０３において、物体識別器２０３は、第１の部分画像から検出対象の物体を含むと判別された物体候補領域を抽出する。次に、ステップＳ２０４において、パーツ判別部２１１等は、処理対象の第１の部分画像から抽出された第２の部分画像がパーツを含むか否かを判別する。本実施形態においては、パーツ判別処理（ステップＳ２０４）において、人体のパーツとしての頭部を含むか否かが判別される。

次に、ステップＳ２０５において、物体モデル選択部２１４は、物体識別器２０３により抽出された物体候補領域の位置と、パーツ判別の判別結果に基づいて、人体の姿勢を推定する。そして、物体モデル選択部２１４は、推定結果に基づいて、物体モデルを選択する。
次に、ステップＳ２０６において、物体判別部２１５は、選択された物体モデルをロードする。そして、物体判別部２１５は、ロードした物体モデルに基づいて、姿勢に応じた物体判別を行う。具体的には、物体判別部２１５は、（式９）により、処理対象の第１の部分画像における総合尤度を算出する。ここで、総合尤度とは、第１の部分画像が人物を含むことの確からしさを示す評価値である。
総合尤度＝全身尤度＋Σパーツ尤度−Σ期待位置（姿勢）からのずれのコスト
…（式９）

そして、物体判別部２１５は、総合尤度と閾値とを比較し、総合尤度が閾値以上である場合に、第１の部分画像に物体としての人体が含まれていると判別する。すなわち、物体判別部２１５は、パーツ判別結果に基づいて物体判別を行う。ここで、ステップＳ２０６の処理は、物体判別処理の一例である。
ステップＳ２０２〜ステップＳ２０６において、すべての第１の部分領域に対する、人体識別処理が終了すると、統合部２１６は、ステップＳ２０７の処理を行う。すなわち、ステップＳ２０７において、統合部２１６は、人体が含まれていると判別された第１の部分領域のうち、互いに重複する第１の部分領域を１つに統合する。そして、統合部２１６は、統合結果を出力する。以上で、物体検出処理が終了する。

図１３は、パーツ判別処理（ステップＳ２０４）における詳細な処理を示すフローチャートである。ステップＳ３０１において、回帰モデル選択部２０６は、回帰モデル記憶部２０５から１つの回帰モデルを選択する。回帰モデル選択部２０６はさらに、回帰モデル記憶部２０５に格納される各回帰モデルに対するステップＳ３０１〜ステップＳ３１２の繰り返し処理を制御する。すなわち、回帰モデル選択部２０６は、ステップＳ３０１〜ステップＳ３１２を繰り返す度に回帰モデルを変更する。そして、変更後の回帰モデルに対し、ステップＳ３０１〜ステップＳ３１２の処理が実行される。
本実施形態においては、回帰モデル記憶部２０５は、人体の頭部パーツの正面及び側面の２つに対応する２つの回帰モデルを格納している。そして、回帰モデル選択部２０６は、初期設定において、正面の頭部パーツの回帰モデルを選択し、繰り返し処理の２回目において、側面の頭部パーツの回帰モデルを選択するものとする。

次に、ステップＳ３０２において、姿勢推定部２０８は、回帰モデル選択部２０６により選択された回帰モデルを読み込む。次に、ステップＳ３０３において、パーツモデル選択部２１０は、パーツモデル記憶部２０９から、回帰モデル選択部２０６により選択されたパーツモデルに対応するパーツモデルを選択する。そして、パーツ判別部２１１は、パーツモデル選択部２１０により選択されたパーツモデルを読み込む。
次に、ステップＳ３０４において、第２の部分画像抽出部２０４は、回帰モデルに対応する初期位置のうち１つの初期位置により定まる第２の部分領域を抽出する（第２の抽出処理）。第２の部分画像抽出部２０４はさらに、各初期位置により特定される第２の部分領域に対するステップＳ３０５〜ステップＳ３１１の処理の繰り返しを制御する。

次に、ステップＳ３０５において、姿勢推定部２０８は、１つの弱回帰器を選択する。このとき、パーツ判別部２１１は、姿勢推定部２０８により選択された弱回帰器に対応する弱判別器を選択する。そして、姿勢推定部２０８は、各弱回帰器によるステップＳ３０６〜ステップＳ３１０の繰り返し処理を制御する。
次に、ステップＳ３０６において、特徴量特定部２０７は、第２の部分画像に基づいて、ステップＳ３０５において選択された弱回帰器及び弱判別器に入力する特徴量ｆを特定する（特徴量特定処理）。次に、ステップＳ３０７において、弱回帰器（ステップＳ３０６において選択された弱回帰器）は、特徴量ｆに基づいて、パーツの姿勢（位置）を回帰推定する（姿勢推定処理）。具体的には、弱回帰器は、姿勢（位置）Ｓ（ｘ，ｙ）の変化量（ｄｘ，ｄｙ）を回帰推定し、姿勢推定値Ｓｘを算出する。

次に、ステップＳ３０８において、弱判別器は、ステップＳ３０７において算出された特徴量ｆに基づいて、処理対象の第２の部分領域がパーツを含むか否かを判別する（パーツ判別処理）。具体的には、弱判別器は、判別評価値を算出する。そして、ステップＳ３０９において、弱判別器は、判別評価値と閾値との比較結果に基づいて、パーツウィンドウにパーツが含まれているか否かを判定する。
弱判別器は、パーツウィンドウがパーツを含まないと判定した場合には（ステップＳ３０９でＮｏ）、処理対象の第２の部分領域に対する処理を終了する。そして、未処理の初期位置が存在する場合には、ステップＳ３０４において、第２の部分画像抽出部２０４は、初期位置を変更し、変更後の初期位置により定まる第２の部分画像を処理対象として、ステップＳ３０５以降の処理を継続する。ステップＳ３０４において、第２の部分画像抽出部２０４は、フレーム画像内（入力画像内）における第２の部分画像の位置を変更する。すなわち、ステップＳ３０４の処理は、変更処理の一例である。

ステップＳ３０９において、弱判別器は、パーツウィンドウがパーツを含むと判定した場合には（ステップＳ３０９でＹｅｓ）、選択されている弱判別器による処理を終了する。そして、未処理の弱回帰器が存在する場合には、ステップＳ３０５において、弱回帰器を変更し、ステップＳ３０６以降の処理を継続する。
すべての弱回帰器に対する処理（ステップＳ３０５〜ステップＳ３１０）が終了すると、初期位置が変更される。そして、すべての初期位置に対する繰り返し処理（ステップＳ３０４〜ステップＳ３１１）が終了すると、回帰モデルが変更される。そして、すべての回帰モデルに対する繰り返し処理（ステップＳ３０１〜ステップＳ３１２）が終了すると、ステップＳ３１３において、結果出力部２１２は、逐次的に回帰した物体の姿勢を後続の物体判別部２１５に出力する。

図１４〜図１９を参照しつつ、物体検出処理についてより具体的に説明する。図１４は、フレーム画像１４００と、第１の部分画像１４０１，１４０２を示す図である。以下、第１の部分画像１４０１，１４０２をそれぞれｂｏｄｙ１，ｂｏｄｙ２と称する。
まず、ｂｏｄｙ１に対する処理について説明する。ステップＳ３０１において、初期状態において、まず正面頭部の回帰モデルと、これに対応するパーツモデルが選択される。そして、ステップＳ３０４において、回帰モデルの初期位置に基づく第２の部分画像がパーツ検出の処理対象として抽出される。ｂｏｄｙ１に対しては、図１５（ａ）に示すように、順次８つの初期位置に基づく第２の部分画像が抽出される。

次に、処理対象の第２の部分画像においてパーツ姿勢の回帰推定が行われる。図１５（ｂ）は、初期位置（Ｘ_k ⁰，Ｙ_k ⁰）により定まる第２の部分画像を示す図である。初期位置（Ｘ_k ⁰，Ｙ_k ⁰）により定まる第２の部分画像を初期状態として、頭部の回帰推定が行われる。しかし、ｂｏｄｙ１は、背景画像であり人体の頭部を含まない。したがって、初期位置（Ｘ_k ⁰，Ｙ_k ⁰）により定まる第２の部分領域に対しては、すべての回帰器による処理が終了する前に、繰り返し処理が終了する。
例えば、図１５（ｃ）に示すように、１回目の回帰推定により姿勢推定値Ｓ₁（Ｘ_k ¹，Ｙ_k ¹）が得られる。このとき、物体でないとの判定は行われず、２回目の回帰推定が行われる。この場合、図１５（ｄ）に示すように、姿勢推定値Ｓ₂（Ｘ_k ²，Ｙ_k ²）が得られる。そして、２回目の回帰推定において、第２の部分領域にパーツが含まれないと判定されて（ステップＳ３０９でＮｏ）、弱回帰器による繰り返し処理が終了する。

ステップＳ３０４において、すべての初期位置により定まる第２の部分画像が抽出されると、ステップＳ３０１において、回帰モデルが側面頭部の回帰モデルに変更され、これに対応するパーツモデルが選択される。
そして、再びステップＳ３０４において、図１６（ａ）に示すように、変更後の回帰モデルに対する８つの初期位置のうち一の初期位置に基づく第２の部分画像が抽出され、抽出された第２の部分画像に対するパーツ姿勢の回帰推定が行われる。
図１６（ｂ）は、初期位置（Ｘ_j ⁰，Ｙ_j ⁰）により定まる第２の部分領域を示す図であり、この第２の部分画像を初期状態として、頭部の回帰推定が行われる。ｂｏｄｙ１は、背景画像であるため、この場合も、すべての弱回帰器による処理が終了する前に、繰り返し処理が終了する。

例えば、図１６（ｃ）に示すように、１回目の回帰推定により（Ｘ_j ¹，Ｙ_j ¹）が得られる。そして、第２の部分領域にパーツが含まれないと判定されて（ステップＳ３０９でＮｏ）、弱回帰器による繰り返し処理が終了する。
このように、すべての初期位置において、すべての回帰モデルにより第２の部分領域にパーツが含まれないと判定され、ステップＳ３１３において、非人体の回帰結果が出力される。この場合、ステップＳ２０５，ステップＳ２０６の処理がスキップされ、次の第１の部分画像の処理に移る。

次に、ｂｏｄｙ２に対する処理について説明する。ｂｏｄｙ１と同様に、ステップＳ３０１において、初期状態において、まず正面頭部の回帰モデルと、これに対応するパーツモデルが選択される。そして、ステップＳ３０４において、回帰モデルの初期位置に基づく第２の部分領域がパーツ検出の処理対象として抽出される。ｂｏｄｙ１に対しては、図１７（ａ）に示すように、順次８つの初期位置に基づく第２の部分領域が抽出される。
次に、処理対象の第２の部分領域においてパーツ姿勢の回帰推定が行われる。図１７（ｂ）に示すように、初期位置（Ｘ_k ⁰，Ｙ_k ⁰）を初期状態として、頭部の回帰推定が行われる。図１７（ｂ）に示す初期位置（Ｘ_k ⁰，Ｙ_k ⁰）により定まる第２の部分領域は、人体の頭部を含まない。したがって、すべての回帰器による処理が終了する前に、繰り返し処理が終了する。

例えば、図１７（ｃ）に示すように、１回目の回帰推定により姿勢推定値Ｓ₁（Ｘ_k ¹，Ｙ_k ¹）が得られる。このとき、物体でないとの判定は行われず、２回目の回帰推定が行われる。この場合、図１７（ｄ）に示すように、姿勢推定値Ｓ₂（Ｘ_k ²，Ｙ_k ²）が得られる。そして、２回目の回帰推定において、第２の部分領域にパーツが含まれないと判定されて（ステップＳ３０９でＮｏ）、弱回帰器による繰り返し処理が終了する。
ステップＳ３０４において、すべての初期位置により定まる第２の部分画像が抽出されると、ステップＳ３０１において、回帰モデルが側面頭部の回帰モデルに変更され、これに対応するパーツモデルが選択される。

そして、再びステップＳ３０４において、図１８（ａ）に示すように、変更後の回帰モデルに対応する８つの初期位置のうち一の初期位置に基づく第２の部分画像が抽出される。
次に、処理対象の第２の部分画像においてパーツ姿勢の回帰推定が行われる。図１８（ｂ）に示すように、（Ｘ_j ⁰，Ｙ_j ⁰）を初期状態として、頭部の回帰推定が行われる。このときの処理対象の第２の部分画像には、頭部が含まれている。このため、図１８（ｃ），（ｄ）に示すように、すべての弱回帰器による繰り返し処理が行われた後に、ｂｏｄｙ２に頭部が含まれると判別される。
なお、第２の実施形態にかかる物体検出装置２００のこれ以外の構成及び処理は、第１の実施形態にかかる物体検出装置１００の構成及び処理と同様である。

以上のように、第２の実施形態にかかる物体検出装置２００においては、姿勢推定部２０８及びパーツ判別部２１１は、同じ特徴量ｆに基づいて、それぞれ姿勢推定処理及びパーツ判別処理を行う。これにより、処理の高速化を図ることができる。
第２の実施形態の第１の変更例としては、特徴量特定部２０７は、パーツの位置ずれ量に替えて、傾き量を特徴量ｆとして算出してもよい。第２の変更例としては、パーツモデル選択部２１０は、１つの回帰モデルに対し１つのパーツモデルを選択したが、これに替えて複数のパーツモデルを選択してもよい。

図１９は、物体検出装置１００，２００のハードウェア構成を示す図である。ＣＰＵ３０１は、装置の各種制御を実行する。ＲＯＭ３０２は、装置立ち上げ時に実行されるブートプログラムや各種データを格納する。ＲＡＭ３０３は、ＣＰＵ３０１が処理するための制御プログラムを格納するとともに、ＣＰＵ３０１が各種制御を実行する際の作業領域を提供する。キーボード３０４、マウス３０５は、ユーザによる各種入力操作環境を提供する。
外部記憶装置３０６は、各種情報を格納する。表示器３０７は、各種情報を表示する。ＮＩＣ３０８は、ネットワークに接続し、外部装置との通信を行う。ビデオＩ／Ｆ３０９は、外部機器と通信を行う。各部は、バス３１０により接続されている。
なお、上述の物体検出装置１００，２００の機能や処理は、ＣＰＵ３０１がＲＯＭ３０２又は外部記憶装置３０６に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。

＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

以上、上述した各実施形態によれば、姿勢が変化する物体を少ない演算量で精度よく検出することができる。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１００ 物体検出装置、１０１ 画像入力部、１０２ 部分画像抽出部、１０３ 回帰モデル記憶部、１０４ 特徴量特定部、１０５ 姿勢推定部、１０６ 物体モデル記憶部、１０７ 前段判別部、１０８ 結果出力部、１０９ 後段判別部

Claims (10)

1. 入力画像から物体を検出する物体検出装置であって、
   前記入力画像から処理対象の部分画像を抽出する抽出手段と、
   前記部分画像に基づいて、特徴量を特定する特徴量特定手段と、
   前記特徴量に基づいて、前記物体の姿勢を推定する姿勢推定手段と、
   前記特徴量と、前記姿勢推定手段による推定結果とに基づいて、前記入力画像に前記物体が含まれているか否かを判別する第１の判別手段と
   を有する物体検出装置。
2. 前記姿勢推定手段による推定結果に基づいて、前記部分画像に変更を施す変更手段と、
   前記変更手段による変更後の前記部分画像の前記特徴量に基づいて、前記部分画像に前記物体が含まれているか否かを判別する第２の判別手段と
   をさらに有し、
   前記特徴量特定手段、前記姿勢推定手段及び前記第２の判別手段は、前記変更手段により前記部分画像に変更がなされる度に、各処理を繰り返し、
   前記第１の判別手段は、前記第２の判別手段による複数の判別結果に基づいて、物体が含まれているか否かを総合的に判定する請求項１に記載の物体検出装置。
3. 前記特徴量特定手段は、前記部分画像と基準姿勢の物体との間の傾き量を前記特徴量として特定し、
   前記変更手段は、前記姿勢推定手段による推定結果に基づいて、前記入力画像に対する前記部分画像の傾きを変更する請求項２に記載の物体検出装置。
4. 前記特徴量特定手段は、前記部分画像と基準姿勢の物体との間の位置ずれ量を前記特徴量として特定し、
   前記変更手段は、前記姿勢推定手段による推定結果に基づいて、前記部分画像の前記入力画像内における位置を変更する請求項２に記載の物体検出装置。
5. 前記第２の判別手段が判別を行う度に、前記第２の判別手段により既に得られている判別結果に基づいて、判別評価値を算出する評価値算出手段と、
   前記判別評価値が、前記部分画像に前記物体が含まれている場合に得られる評価値の基準範囲に含まれるか否かを判定する評価値判定手段と
   をさらに有し、
   前記特徴量特定手段、前記姿勢推定手段及び前記第２の判定手段は、前記判別評価値が前記基準範囲に含まれない場合に、処理の繰り返しを終了する請求項２乃至４何れか１項に記載の物体検出装置。
6. 入力画像から物体を検出する物体検出装置であって、
   前記入力画像から処理対象の第１の部分画像を抽出する第１の抽出手段と、
   前記部分画像から前記物体の一部のパーツの検出対象の第２の部分画像を抽出する第２の抽出手段と、
   前記第２の部分画像に基づいて、前記パーツの姿勢にかかる特徴量を特定する特徴量特定手段と、
   前記特徴量に基づいて、前記パーツの姿勢を推定する姿勢推定手段と、
   前記特徴量と、前記推定手段による推定結果とに基づいて、前記入力画像に前記パーツが含まれているか否かを判別するパーツ判別手段と、
   前記パーツ判別手段による判別結果に基づいて、前記入力画像に前記物体が含まれているか否かを判別する物体判別手段と
   を有する物体検出装置。
7. 入力画像から物体を検出する物体検出装置が実行する物体検出方法であって、
   前記入力画像から処理対象の部分画像を抽出する抽出ステップと、
   前記部分画像に基づいて、特徴量を特定する特徴量特定ステップと、
   前記特徴量に基づいて、前記物体の姿勢を推定する姿勢推定ステップと、
   前記特徴量と、前記姿勢推定手段による推定結果とに基づいて、前記入力画像に前記物体が含まれているか否かを判別する判別ステップと
   を含む物体検出方法。
8. 入力画像から物体を検出する物体検出装置が実行する物体検出方法であって、
   前記入力画像から処理対象の第１の部分画像を抽出する第１の抽出ステップと、
   前記部分画像から前記物体の一部のパーツの検出対象の第２の部分画像を抽出する第２の抽出ステップと、
   前記第２の部分画像に基づいて、前記パーツの姿勢にかかる特徴量を特定する特徴量特定ステップと、
   前記特徴量に基づいて、前記パーツの姿勢を推定する姿勢推定ステップと、
   前記特徴量と、前記推定ステップにおける推定結果とに基づいて、前記入力画像に前記パーツが含まれているか否かを判別するパーツ判別ステップと、
   前記パーツ判別ステップにおける判別結果に基づいて、前記入力画像に前記物体が含まれているか否かを判別する物体判別ステップと
   を含む物体検出方法。
9. コンピュータを、
   入力画像から処理対象の部分画像を抽出する抽出手段と、
   前記部分画像に基づいて、特徴量を特定する特徴量特定手段と、
   前記特徴量に基づいて、物体の姿勢を推定する姿勢推定手段と、
   前記特徴量と、前記姿勢推定手段による推定結果とに基づいて、前記入力画像に前記物体が含まれているか否かを判別する第１の判別手段と
   して機能させるためのプログラム。
10. コンピュータを、
    入力画像から処理対象の第１の部分画像を抽出する第１の抽出手段と、
    前記部分画像から物体の一部のパーツの検出対象の第２の部分画像を抽出する第２の抽出手段と、
    前記第２の部分画像に基づいて、前記パーツの姿勢にかかる特徴量を特定する特徴量特定手段と、
    前記特徴量に基づいて、前記パーツの姿勢を推定する姿勢推定手段と、
    前記特徴量と、前記推定手段による推定結果とに基づいて、前記入力画像に前記パーツが含まれているか否かを判別するパーツ判別手段と、
    前記パーツ判別手段による判別結果に基づいて、前記入力画像に前記物体が含まれているか否かを判別する物体判別手段と
    して機能させるためのプログラム。

Images