JP2011113313A

JP2011113313A - 姿勢推定装置

Info

Publication number: JP2011113313A
Application number: JP2009269132A
Authority: JP
Inventors: Kota Hara; 宏太原
Original assignee: Secom Co Ltd
Current assignee: Secom Co Ltd
Priority date: 2009-11-26
Filing date: 2009-11-26
Publication date: 2011-06-09

Abstract

【課題】画像に写った人物の姿勢を、ノイズの影響を避けつつ、少ない演算量で推定可能な姿勢推定装置を提供する。
【解決手段】姿勢推定装置３は、画像から人物が写っている領域の輪郭を抽出する輪郭抽出部７１と、輪郭上に複数の特徴点を設定する特徴点設定部７２と、複数の特徴点のそれぞれについて、その特徴点と異なる他の特徴点のそれぞれに対して、その特徴点からの距離、及びその特徴点と他の特徴点とを結ぶ線分が他の特徴点における輪郭に基づいて定められた基準線となす角度を輪郭特徴量として算出する輪郭特徴量算出部７３と、複数の輪郭特徴量を用いて人物の姿勢を推定する姿勢推定部７４とを有する。
【選択図】図１

Description

本発明は、画像に写った人物の姿勢を推定する姿勢推定装置及びその姿勢推定装置を利用した画像監視装置に関する。

従来、カメラにより撮影された画像に写った人物の姿勢を推定する技術が研究されている。
そのような技術の一例では、姿勢検出装置は、遺伝的アルゴリズムを用いて、マルチＴＶカメラが人物を撮像して得られる目標人物マルチ画像に基づいてその人物の姿勢を検出する。具体的には、この姿勢検出装置では、変形部が染色体の遺伝子情報に応じて仮想３次元人物モデルの姿勢を変化させ、仮想マルチＴＶカメラが仮想３次元人物モデルを撮像して合成人物マルチ画像を得、比較部が目標人物マルチ画像と合成人物マルチ画像とを比較して適応度を求め、遺伝子情報生成部が適応度に応じた染色体を生成することで、仮想人物モデルの姿勢が人物に近づけられて姿勢が検出される（例えば、特許文献１を参照）。

また近年、物体の形状を認識するためのロバストネスに優れた手法として、シェイプコンテキストマッチングと呼ばれる手法が提案されている。そしてシェイプコンテキストマッチングを人物の姿勢推定に応用した技術が開示されている（例えば、非特許文献１及び２を参照）。
シェイプコンテキストマッチングにおいて用いられる特徴量であるシェイプコンテキストは、以下のように算出される。まず、認識対象となる形状の輪郭上に複数の特徴点が設定される。これら複数の特徴点のうちの着目特徴点について、着目特徴点から他の特徴点へのベクトルを求め、そのベクトルが画像に対して定義されたX軸、Y軸などの基準線となす角度及びそのベクトルの長さ、すなわち、着目特徴点から他の特徴点までの距離を求める。そして着目特徴点を中心とする円形領域を、所定の角度単位及び所定の長さ単位で複数のセクションに区切り、セクションごとに、該当する他の特徴点までのベクトルの長さ及び角度の度数を算出することによりシェイプコンテキストが求められる。すなわち、シェイプコンテキストは、着目特徴点から他の特徴点を結ぶベクトルについての基準線からの角度及び長さの２次元分布を表す。このシェイプコンテキストは、特徴点ごとに求められる。したがって、一つの形状モデルに対して、特徴点の数だけシェイプコンテキストが求められる。

シェイプコンテキストマッチングは、既知の複数の形状モデルについて予め求められたシェイプコンテキストのセットのうち、未知のモデルについて求めたシェイプコンテキストのセットと最も一致するものを検出し、未知のモデルを、その検出されたセットに対応する形状モデルとするものである。

特開平７−３０２３４１号公報

S.Belongie, J.Malik, and J.Puzicha, "Shape Matching and Object Recognition Using Shape Contexts", IEEE Transactions on Pattern Analysis and Machine Intelligence, IEEE Computer Society, 2002年, Volume 24 , Issue 4, p.509-522 G.Mori, and J.Malik, "Recovering 3D Human Body Configurations Using Shape Contexts", IEEE Transactions on Pattern Analysis and Machine Intelligence, IEEE Computer Society, 2006年, Volume 28 , Issue 7, p.1052-1062

上述した遺伝的アルゴリズムを用いた姿勢検出技術では、仮想３次元人物モデルの姿勢を実際の人物の姿勢に十分に近づけるまでに、多数の染色体に対して、交叉、突然変異、選択という一連の処理を多くの世代にわたって実行する必要がある。そのため、この技術は、非常に大量の計算を必要とする。
また、シェイプコンテキストは、上述したように、角度を画像に対して定義された基準線を用いて定義すると回転不変の特徴量にならないため、シェイプコンテキストマッチングを用いた姿勢推定方法では、同一の姿勢を持ち、姿勢の向きの異なる形状モデルを多数準備しなければならない。例えば、同一の姿勢であっても、画像上で、その人物が直立している場合に対応する形状モデルと横たわっている場合に対応する形状モデルとが、別個に必要となる。このように、シェイプコンテキストマッチングを用いた姿勢推定方法は、非常に多数の形状モデルのそれぞれに対応するシェイプコンテキストのセットと、画像上で検出された人物の像から抽出されたシェイプコンテキストのセットとのマッチング処理を行わなければならない。そのため、この姿勢推定方法についても、大量の演算を必要とする。

さらに、シェイプコンテキストに回転不変性を持たせるべく、着目特徴点において輪郭に対する接線を求め、その接線の基準線に対する角度の情報を利用するようにシェイプコンテキストを修正することが考えられる。しかし、この方法では、人物の姿勢の推定精度が輪郭の抽出の良し悪しに大きく依存する。例えば、ノイズの影響で抽出された輪郭が人物の実際の輪郭とわずかに異なっても、シェイプコンテキストの値、特に角度に関する分布は大きく変動するので、シェイプコンテキストマッチングの精度が低下する。
このように、従来技術による姿勢推定方法では、人物の姿勢を推定するために大量の演算を必要とするために、姿勢の推定結果を得るまでに時間が掛かってしまうおそれがあった。また、ノイズが加わると姿勢推定精度が顕著に低下するおそれがあった。そのため、人物の姿勢の推定結果を有効に利用できない可能性があった。

そこで、本発明は、画像に写った人物の姿勢を、ノイズの影響を避けつつ、少ない演算量で推定可能な姿勢推定装置を提供することを目的とする。

本発明の一つの実施形態によれば、画像に写った人物の姿勢を推定する姿勢推定装置が提供される。かかる姿勢推定装置は、画像から人物が写っている領域の輪郭を抽出する輪郭抽出部と、輪郭上に複数の特徴点を設定する特徴点設定部と、複数の特徴点のそれぞれについて、その特徴点と異なる他の特徴点のそれぞれに対して、その特徴点からの距離、及びその特徴点と他の特徴点とを結ぶ線分が他の特徴点における輪郭に基づいて定められた基準線となす角度を輪郭特徴量として算出する輪郭特徴量算出部と、複数の輪郭特徴量を用いて人物の姿勢を推定する姿勢推定部とを有する。

かかる姿勢推定装置は、人物の姿勢を表す複数の姿勢モデルのそれぞれについての複数の輪郭特徴量を、姿勢モデルに対応する参照輪郭特徴量セットとして予め記憶する記憶部をさらに有することが好ましい。この場合において、姿勢推定部は、複数の参照輪郭特徴量セットのそれぞれについて、画像の輪郭特徴量と参照輪郭特徴量との距離の総和が最小となるように、画像の特徴点と、参照輪郭特徴量に対応する特徴点である参照特徴点との組み合わせを決定し、距離の総和が最小となったときの組み合わせにおいて、各特徴点に対応する各参照特徴点間の位置ずれ量の総和が最小となるように、各特徴点または各参照特徴点の位置を、所定の位置変換式に従って変換し、距離の総和の最小値と位置ずれ量の総和の最小値の重み付け和が最小となる参照輪郭特徴量セットに対応する姿勢モデルが表す姿勢を、画像に写っている人物の姿勢として推定する。

また、所定の位置変換式は少なくとも回転変換を含み、姿勢推定部は、重み付け和を最小にする回転変換に用いられた回転角を入力画像上の人物の姿勢の向きと推定することが好ましい。

本発明に係る姿勢推定装置は、画像に写った人物の姿勢を、ノイズの影響を避けつつ、少ない演算量で推定することができる。

一つの実施形態に係る画像監視装置の概略構成図である。（ａ）は、人物領域の輪郭の一例を示す図であり、（ｂ）は、人物領域の輪郭上に設定された特徴点の一例を示す図であり、（ｃ）は、各特徴点の法線方向ベクトルを示す図であり、（ｄ）は、特徴点間情報の一例を示す図である。輪郭特徴量の一例を示す図である。輪郭特徴量算出処理の動作フローチャートである。（ａ）〜（ｅ）は、それぞれ、姿勢モデルの一例を示す図である。特徴点の位置変換の一例を示す図である。姿勢推定処理の動作フローチャートである。姿勢モデルテーブルの一例を示す図である。異常検出処理の動作フローチャートである。

以下、図を参照しつつ、一つの実施形態による姿勢推定装置を利用した画像監視装置について説明する。この画像監視装置は、画像に写った人物の輪郭上に設定した複数の特徴点同士の距離及びそれら特徴点を結ぶ線分の方向により規定される、回転不変な特徴量を用いてその人物の姿勢を推定することで、予め用意される人物の姿勢モデルの数を減らして、姿勢推定に要する演算量を低減する。またこの画像監視装置は、推定した姿勢及びその姿勢の向きに基づいて、その人物に関して異常が発生したことを検知する。

図１は、一つの実施形態による画像監視装置１の概略構成図である。画像監視装置１は、撮像部２と、姿勢推定装置３とを有する。そして姿勢推定装置３は、インターフェース部４と、記憶部５と、出力部６と、制御部７とを有する。

撮像部２は、CCDまたはC-MOSなど、可視光または近赤外光に感度を有する光電変換器で構成された２次元検出器と、その２次元検出器上に監視領域の像を結像する結像光学系などを有する。撮像部２は、例えば、NTSC規格に従って、連続的に撮影を行うカメラとすることができる。あるいは、撮像部２は、いわゆるハイビジョンなど、より高解像度な画像を生成するものでもよい。そして撮像部２は、監視領域を撮影した監視画像を、例えば、各画素の輝度が256階調で表される濃淡画像あるいはカラー画像として生成する。
撮像部２の画像出力は、姿勢検出装置３のインターフェース部４と接続されており、撮像部２は、監視画像を生成する度に、その生成した監視画像を姿勢推定装置３へ出力する。

姿勢推定装置３のインターフェース部４は、姿勢推定装置３と撮像部２とを接続するインターフェース及びその制御回路を有する。インターフェース部４は、撮像部２が準拠する画像通信規格に適用した構成を有する。なお、インターフェース部４は、監視画像がアナログ画像として生成される場合、監視画像をデジタル画像に変換するアナログ−デジタル変換回路を有していてもよい。
インターフェース部４は制御部７と接続されており、撮像部２から受信した監視画像を制御部７へ渡す。

姿勢推定装置３の記憶部５は、フラッシュメモリなどの不揮発性半導体メモリ、揮発性半導体メモリ、または磁気ディスク（HDD）などの記憶装置を有する。
記憶部５は、画像監視装置１で使用される各種のプログラム及びデータを記憶する。また記憶部５は、例えば、画像監視装置１が起動したとき、あるいは定期的に撮像部２から取得した、侵入者の写っていない監視画像を背景画像として記憶する。
また記憶部５は、人物の姿勢モデルに対応する輪郭特徴量のセットを、その姿勢モデルが表す姿勢を識別する情報と関連付けて記憶する。なお、輪郭特徴量の詳細については後述する。

姿勢推定装置３の出力部６は、構内LANまたは公衆回線網などの通信ネットワークに接続する通信インターフェース及びその制御回路を有する。そして出力部６は、制御部７により異常の発生が検知されたことを示す異常検出信号を制御部７から受け取って、その異常検出信号を画像監視装置１と通信ネットワークを介して接続された警備装置または監視センタ装置へ出力する。また出力部６は、異常検出信号とともに、異常検知時及びその後に取得された監視画像、推定した人物の姿勢の名称などを制御部７から受け取って、その監視画像及び推定した人物の姿勢の名称などを警備装置または監視センタ装置へ出力してもよい。

姿勢推定装置３の制御部７は、例えば、１個または複数個のマイクロプロセッサユニットとその周辺回路とを有する。そして制御部７は、画像監視装置１全体を制御する。また制御部７は、撮像部２からインターフェース部４を介して受け取った監視画像及び記憶部５に記憶された背景画像に基づいて、監視領域内の人物の姿勢を推定する。そして制御部７は、推定した姿勢に基づいて、異常が発生したか否かを判定する。
そのために、制御部７は、輪郭抽出部７１と、特徴点設定部７２と、輪郭特徴量算出部７３と、姿勢推定部７４と、判定部７５とを有する。制御部７が有するこれらの各部は、例えば、マイクロプロセッサユニット上で動作するプログラムの機能モジュールとして実装される。

輪郭抽出部７１は、最新の監視画像において人物が写っている領域である人物領域の輪郭を抽出する。そのために、輪郭抽出部７１は、最新の監視画像と、記憶部５から読み込んだ背景画像との間で、対応画素間の輝度差を求め、各画素の画素値がその輝度差の絶対値で表される背景差分画像を作成する。
輪郭抽出部７１は、背景差分画像において、画素値が所定の閾値以上である画素が一つに連結された領域をラベリング処理により検出し、人物候補領域とする。なお、所定の閾値は、例えば、予め実験により決定される。あるいは、所定の閾値は、背景差分画像の輝度平均値とすることができる。そして輪郭抽出部７１は、人物候補領域のうち、監視画像上で想定される人のサイズに相当する面積を持つ人物候補領域のみを人物領域として抽出し、その抽出された人物領域の境界に位置する画素を輪郭画素とする。

あるいは輪郭抽出部７１は、背景差分画像の各画素に対して、sobelフィルタまたはprewittフィルタといったエッジ検出フィルタを用いたフィルタ処理を行うことにより、エッジ強度を求める。そして輪郭抽出部７１は、所定のエッジ強度以上となるエッジ強度の絶対値を持つ画素を人物領域の輪郭上に存在する輪郭画素としてもよい。なお、所定のエッジ強度は、例えば、予め実験により決定される。
輪郭抽出部７１は、人物領域の輪郭画素の位置を示す情報、例えば、各輪郭画素の座標または各輪郭画素が他の画素と異なる値を持つ２値画像を特徴点設定部７２へ渡す。また輪郭抽出部７１は、人物領域の輪郭画素の位置を示す情報及び背景差分画像を輪郭特徴量算出部７３へ渡す。

特徴点設定部７２は、人物領域の輪郭上に、後述する輪郭特徴量を算出するための基準点となる特徴点を複数設定する。特徴点設定部７２は、輪郭特徴量が監視画像に写っている人物の各部の特徴を表せるように、人物領域の輪郭上に、略等間隔に特徴点を設定することが好ましい。そのために、特徴点設定部７２は、例えば、人物領域の輪郭画素数をカウントすることにより人物領域の輪郭の長さを求める。そして特徴点設定部７２は、予め定められた特徴点の個数でその輪郭長を割ることにより、隣接する特徴点同士の間隔を表す特徴点間距離を決定する。
特徴点設定部７２は、人物領域の輪郭上の任意の輪郭画素を最初の特徴点とする。特徴点設定部７２は、最初の特徴点から順に、人物領域の輪郭に沿って時計回りまたは反時計回りに、一つ前に設定された特徴点から特徴点間距離だけ離れる度に、対応する輪郭画素を次の特徴点として設定する。
なお、設定される特徴点の個数は、撮影条件または制御部７の処理能力に応じて決定され、例えば、特徴点の個数は２５個、５０個あるいは１００個とすることができる。

また特徴点設定部７２は、人物領域の輪郭の上端と下端間の領域を垂直方向に等間隔に複数のセクション（例えば、５個のセクション）に区分し、その各セクションに対して、人物領域の輪郭上に所定個数（例えば、５個）の特徴点を設定してもよい。あるいは、特徴点設定部７２は、人物領域の輪郭の左端と右端間の領域を水平方向に等間隔に複数のセクション（例えば、５個のセクション）に区分し、その各セクションに対して、人物領域の輪郭上に所定個数（例えば、５個）の特徴点を設定してもよい。
さらにまた特徴点設定部７２は、特定の領域、例えば、人物の手足に相当する可能性が高い領域に対する特徴点間距離を、その他の領域に対する特徴点間距離よりも短くしてもよい。そのような特定の領域は、人物領域の輪郭の下端から、その輪郭の上端と下端間の距離の１／３以内に含まれる領域、あるいは人物領域の輪郭の左右端から、その左右端間の距離の１／３に含まれる領域とすることができる。
特徴点設定部７２は、設定した特徴点の位置座標を輪郭特徴量算出部７３へ渡す。

輪郭特徴量算出部７３は、各特徴点について輪郭特徴量を算出する。そのために、輪郭特徴量算出部７３は、法線方向決定部７３１と、特徴点間情報算出部７３２と、特徴点間情報分布算出部７３３とを有する。

法線方向決定部７３１は、各特徴点における、人物領域の輪郭線に対する法線を求める。具体的には、法線方向決定部７３１は、着目する特徴点について、当該着目特徴点及びその近傍の輪郭画素が通る直線、即ち着目特徴点における接線を、例えばハフ変換あるいは最小二乗法により求める。そして法線方向決定部７３１は、その接線と直交する直線を法線とする。さらに法線方向決定部７３１は、法線に沿って、着目特徴点から人物領域外へ向かう方向を法線方向とし、法線方向を向く単位ベクトルを法線方向ベクトルとして求める。法線方向決定部７３１は、背景差分画像を参照することにより、法線に沿って着目特徴点よりも輝度値が小さくなる方向を法線方向として特定することができる。
なお、法線方向決定部７３１は、法線に沿って、着目特徴点から人物領域内へ向かう方向を法線方向とし、法線方向を向く単位ベクトルを法線方向ベクトルとして求めてもよい。ただし、法線方向ベクトルが人物領域外を向くか、人物領域内を向くかについては、全ての特徴点について統一されることが好ましい。
あるいは、法線方向決定部７３１は、輪郭抽出部７１が人物領域の輪郭を抽出する際にエッジを検出しているならば、画素値が変化するエッジの方向を求めておき、その方向が法線方向を表すとして、各特徴点の法線方向ベクトルを定義してもよい。
法線方向決定部７３１は、各特徴点について求めた法線方向ベクトルを特徴点間情報算出部７３２へ渡す。

特徴点間情報算出部７３２は、各特徴点について、他の特徴点との位置関係により定まる特徴点間情報を算出する。具体的には、特徴点間情報算出部７３２は、複数の特徴点のうち、着目する特徴点から他の特徴点（以下、対象特徴点と呼ぶ）を結ぶ特徴点間ベクトルを算出する。そして特徴点間情報算出部７３２は、特徴点間ベクトルの大きさ、すなわち着目特徴点から対象特徴点までの距離rと、特徴点間ベクトルと対象特徴点の法線方向ベクトルがなす角θを特徴点間情報として算出する。なお、対象特徴点は、着目特徴点以外の全ての特徴点とする。したがって、ｎ個（ただしｎは２以上の整数）の特徴点が人物領域の輪郭上に設定されている場合、一つの特徴点につき、(n-1)個の(r,θ)の組が算出される。

なお、特徴点間情報算出部７３２は、角θを、着目特徴点における法線方向ベクトルと特徴点間ベクトルがなす角として算出してもよい。しかし、人物領域の輪郭の一部が、本来の人物の輪郭からずれて検出されると、そのずれた位置に設定された着目特徴点の法線方向ベクトルの向きが、本来の輪郭の法線方向と異なってしまうおそれがある。そのため、角θを、着目特徴点における法線方向ベクトルと特徴点間ベクトルがなす角として算出すると、その着目特徴点に対して求められる全ての特徴点間情報に含まれる角θの値は、誤差を持つものとなってしまう。
これに対して、上記のように、対象特徴点の法線方向ベクトルを基準として角θを求める場合、例えある特徴点における法線方向ベクトルの向きが本来の輪郭に対する法線方向と異なっていたとしても、特徴点の位置ずれによる影響は、その特徴点を対象特徴点とした場合の特徴点間情報に限られる。そして後述する輪郭特徴量を求めるために、一つの着目特徴点につき、複数の特徴点間情報が利用されるので、特定の一つの対象特徴点に関する特徴点間情報が誤差を有していても、その誤差の影響は小さくて済む。したがって、上記のように、特徴点間の相対的な角度を表す情報としては、特徴点間ベクトルと対象特徴点の法線方向ベクトルがなす角θを求めることが好ましい。
なお、特徴点間情報算出部７３２は、対象特徴点における法線と特徴点間ベクトルとのなす角を求める代わりに、対象特徴点における接線と特徴点間ベクトルとのなす角を求めてもよい。この場合、各対象特徴点において基準となる接線の方向は、接線と特徴点間ベクトルのなす角が実質的に同一となるにもかかわらず、異なる値を持つことがないように、人物領域の輪郭に沿って時計回りの方向または反時計回りの方向の何れかに統一されることが好ましい。

図２（ａ）は、人物領域の輪郭の一例を示す図であり、図２（ｂ）は、人物領域の輪郭上に設定された特徴点の一例を示す図であり、図２（ｃ）は、各特徴点の法線方向ベクトルを示す図であり、図２（ｄ）は、特徴点間情報の一例を示す図である。
図２（ａ）において、線２１０は、人物領域２００の輪郭を表す。この例では、人物領域の輪郭２１０は、直立姿勢の人物の輪郭を表している。また図２（ｂ）における複数の点２０１は、人物領域の輪郭２１０上に設定された特徴点である。この例では、隣接する特徴点間の距離が略等間隔となるように、各特徴点は設定されている。
図２（ｃ）において、複数の矢印２０２は、各特徴点２０１について算出された法線方向ベクトルを表す。法線方向ベクトル２０２は、それぞれ各特徴点２０１から人物領域２００の外側へ向かうように設定されている。
図２（ｄ）では、一例として、特徴点２０１ａが着目特徴点に設定され、特徴点２０１ｂが対象特徴点に設定されている。この場合において、着目特徴点２０１ａと対象特徴点２０１ｂとを結ぶ矢印２０３が特徴点間ベクトルを表す。この特徴点間ベクトルの長さ、すなわち、着目特徴点２０１ａと対象特徴点２０１ｂ間の距離rと、特徴点間ベクトル２０３と対象特徴点２０１ｂにおける法線方向ベクトル２０２ｂがなす角θとの組が特徴点間情報である。
特徴点間情報算出部７３２は、着目特徴点毎に、一つの対象特徴点について特徴点間情報を求める度に、その特徴点情報を特徴点間情報分布算出部７３３へ渡す。

特徴点間情報分布算出部７３３は、各特徴点について求めた特徴点間情報の分布を輪郭特徴量として求める。具体的には、特徴点間情報分布算出部７３３は、距離rと角度θをそれぞれ独立変数とした２次元ヒストグラムを求める。そこで、特徴点間情報分布算出部７３３は、所定の角度単位及び所定の長さ単位で区切られる複数のセクションを設定し、セクションごとに、該当する特徴点間情報の度数を算出する。なお、所定の角度単位及び所定の長さ単位は、監視画像の解像度、特徴点の数などに応じて設定される。例えば、所定の角度単位は、３０°（π/6）または４５°（π/6）とすることができる。また所定の長さ単位は、例えば、10画素または20画素とすることができる。あるいは、所定の長さ単位は、着目特徴点からの距離が長くなるにつれて大きくなるように、例えば、セクションの境界に対応する距離の対数が等間隔となるように定められてもよい。
特徴点間情報分布算出部７３３は、各セクションの度数を、一つの特徴点について求められる特徴点間情報の数（すなわち、特徴点数をｎとすれば特徴点間情報の数は(n-1)）で割って正規化したものを、輪郭特徴量とする。

図３は、輪郭特徴量の一例を示す図である。輪郭特徴量３００は、角θと距離rの正規化２次元ヒストグラムである。図３において、横軸は角度θを表し、縦軸は距離ｒを表す。そして高さ方向軸は正規化度数を表す。この例では、角度θに関して12個、距離rに関して6個のセクションが設定されている。そして、各セクションの正規化度数であるビン３０１は立体棒グラフとして表されている。

図４は、輪郭特徴量算出処理の動作フローチャートである。
輪郭特徴量算出部７３は、特徴点設定部７２にて設定された輪郭上の特徴点を取得し、以下の処理を実行する。
先ず、輪郭特徴量算出部７３の法線方向決定部７３１は、各特徴点における法線方向ベクトルを算出する（ステップＳ１０１）。そして輪郭特徴量算出部７３は、輪郭特徴量未算出の特徴点を着目特徴点として設定する（ステップＳ１０２）。また、輪郭特徴量算出部７３は、特徴点間情報未算出の特徴点を対象特徴点として設定する（ステップＳ１０３）。

次に、輪郭特徴量算出部７３の特徴点間情報算出部７３２は、特徴点間情報の一つとして、着目特徴点から対象特徴点までの距離ｒを算出する（ステップＳ１０４）。また特徴点間情報算出部７３２は、特徴点間情報の他の一つとして、着目特徴点から対象特徴点を結ぶ特徴点間ベクトルと対象特徴点における法線方向ベクトルがなす角θを算出する（ステップＳ１０５）。そして特徴点間情報算出部７３２は、求めた特徴点間情報（ｒ，θ）を輪郭特徴量算出部７３の特徴点間情報分布算出部７３３へ渡す。
特徴点間情報分布算出部７３３は、特徴点間情報（ｒ，θ）に対応するセクションの度数を１加算する（ステップＳ１０６）。

輪郭特徴量算出部７３は、着目特徴点以外の全ての特徴点を対象特徴点に設定したか否か判定する（ステップＳ１０７）。未だ対象特徴点に設定されていない特徴点が存在する場合、輪郭特徴量算出部７３は、ステップＳ１０３〜Ｓ１０７の処理を繰り返す。
着目特徴点以外の全ての特徴点が対象特徴点に設定された場合、特徴点間情報分布算出部７３３は、（ｒ，θ）の度数分布を正規化することで着目特徴点の輪郭特徴量を算出する（ステップＳ１０８）。

輪郭特徴量算出部７３は、全ての特徴点を着目特徴点に設定したか否か判定する（ステップＳ１０９）。未だ着目特徴点に設定されていない特徴点が存在する場合、輪郭特徴量算出部７３は、ステップＳ１０１〜Ｓ１０９の処理を繰り返す。一方、全ての特徴点が着目特徴点に設定された場合、輪郭特徴量算出部７３は輪郭特徴量算出処理を終了する。
特徴点間情報分布算出部７３３は、各特徴点の輪郭特徴量を、対応する特徴点の位置情報とともに姿勢推定部７４へ渡す。

姿勢推定部７４は、監視画像から抽出された人物領域について求められた輪郭特徴量のセットと、記憶部５に記憶されている人物の姿勢モデルに関する輪郭特徴量のセットとに基づいて、その人物領域に写っている人物の姿勢を推定する。

ここで、姿勢の推定に使用される輪郭特徴量は、人物領域の姿勢の向きの回転によっては変化しない、いわゆる回転不変特徴量である。これは、本発明における輪郭特徴量は、輪郭抽出部７１にて抽出された人物領域の輪郭の形状のみに依存し、その輪郭が画像中でどの角度に回転していても、輪郭上の同じ位置にある特徴点について求められる輪郭特徴量は常に同一となるからである。そこで本実施形態では、人物の姿勢モデルとして、同じ姿勢をとっているものは一つだけ準備されればよく、同じ姿勢をとっている人物の姿勢モデルの姿勢の向きを変えたものを複数準備する必要はない。
なお、本実施形態において、姿勢の向きとは、人物領域あるいは姿勢モデルの重心と頭頂部とを結ぶ線分が向く方向を表す。従って姿勢の向きは、人物領域に写っている人物あるいは姿勢モデルに対応する人物が、立っているか、何れかの方向に傾いているか、若しくは寝ているかを表すものであり、人物が左右のどちらを向いているかを表すものではない。
姿勢の向きは、上記の他に、人物領域の外接楕円を設定し、楕円中心から頭頂部へ向かう方向としてもよい。また、同様に人物領域の外接矩形を設定し、その外接矩形の長辺方向に沿って頭頂部へ向かう方向を姿勢の向きとしてもよい。

図５（ａ）〜（ｅ）は、それぞれ、姿勢モデルの一例を示す図である。図５（ａ）〜図５（ｅ）のそれぞれに示される姿勢モデル５０１〜５０５は人物の輪郭を表している。
図５（ａ）に示された姿勢モデル５０１は、人物が歩行している姿勢を表すモデルである。図５（ｂ）に示された姿勢モデル５０２は、人物が立ち止まって携帯電話を用いて通話をしている姿勢を表すモデルである。図５（ｃ）に示された姿勢モデル５０３は、人物が両手を挙げている姿勢を表すモデルである。この姿勢は、例えば、人が他人に凶器を突きつけられているような場合に取る姿勢に対応する。図５（ｄ）に示された姿勢モデル５０４は、人物が両手をお腹に当てている姿勢を表すモデルである。そして図５（ｅ）に示された姿勢モデル５０５は、人物が両手で頭をカバーしている姿勢を表すモデルである。この姿勢は、例えば、人が頭上から物が落ちてくるのを避ける場合に取る姿勢に対応する。
これら各姿勢モデル５０１〜５０５は、人物の姿勢の向きにかかわらず、一つだけ準備される。そして、各姿勢モデルに対して複数の特徴点が設定され、各特徴点について輪郭特徴量が求められる。この各姿勢モデルに対して設定される特徴点を、以下では参照特徴点と呼ぶ。なお、各姿勢モデルに対する輪郭特徴量は、本実施形態の制御部７が有する特徴点設定部７２と輪郭特徴量算出部７３が実行する方法と同一の方法を用いることによって作成される。
各姿勢モデルについて設定された複数の参照特徴点の位置座標及び各参照特徴点における輪郭特徴量は、予め記憶部５に記憶される。

姿勢推定部７４は、監視画像から抽出された人物領域について求めた輪郭特徴量セット（以下では、対象輪郭特徴量セットと呼ぶ）と、記憶部５に記憶されている姿勢モデルについて求められた輪郭特徴量セット（以下では、参照輪郭特徴量セットと呼ぶ）の距離の総和を求める。
ここで、距離の総和は、対象輪郭特徴量セットに含まれる各輪郭特徴量と、参照輪郭特徴量セットに含まれる、対応する輪郭特徴量との距離を合計することで求められる。姿勢推定部７４は、二つの輪郭特徴量間の距離を、例えば、マンハッタン距離として求める。
本実施形態では、輪郭特徴量は、上記のように、距離rと角度θのセクションごとの正規化度数を表す２次元ヒストグラムである。そこで姿勢推定部７４は、例えば、２次元ヒストグラムの各正規化度数を、それぞれ一つの要素とみなしてマンハッタン距離を計算する。すなわち、姿勢推定部７４は、二つの輪郭特徴量間の距離t_ijを、次式にしたがって対応する二つのセクションの正規化度数の差の絶対値の総和として算出する。

なお、Nは、輪郭特徴量に含まれるセクションの総数である。またp_i=(p_i1, p_i2,...,p_iN)は、対象輪郭特徴量セットに含まれるi番目の特徴点に対応する輪郭特徴量を表し、その要素p_ik(k=1,2,...,N)は、k番目のセクションの正規化度数を表す。なお、セクションの順序の決め方は任意でよい。またs_j=(s_j1, s_j2,...,s_jN)は、参照輪郭特徴量セットに含まれるj番目の参照特徴点に対応する輪郭特徴量を表し、その要素s_jkは、k番目のセクションの正規化度数を表す。
なお、姿勢推定部７４は、二つの輪郭特徴量間の距離を、インターセクション（対応するセクションの二つの度数のうちの最小値の和）あるいはEarth Mover's Distanceなど、他の距離尺度により算出してもよい。

姿勢推定部７４は、対象輪郭特徴量セットに含まれる輪郭特徴量と、参照輪郭特徴量セットに含まれる輪郭特徴量の組み合わせを様々に変更し、各組み合わせについてそれぞれ距離の総和を算出する。距離の総和Hは、次式で表される。

ここで、Mは、対象輪郭特徴量セットに含まれる輪郭特徴量の総数及び参照輪郭特徴量セットに含まれる輪郭特徴量の総数を表す。π(i)は、参照輪郭特徴量セットに含まれる輪郭特徴量の順序を表す関数であり、順番iを入力することにより、1〜Mのうちの何れかの数値を出力する。この関数π()は順列であるため、関数π()の取り得る総数はMの階乗となる。そのため、距離の総和Hの最小値を、対象輪郭特徴量セットに含まれる輪郭特徴量と、参照輪郭特徴量セットに含まれる輪郭特徴量の組み合わせの総当りにより求めると非常に大量の演算が必要となる。

そこで、姿勢推定部７４は、例えば、割当問題の解法として知られているハンガリアン法を用いて距離の総和が最小となる組み合わせを効率的に求めることができる。ハンガリアン法の詳細は、例えば、Harold W. Kuhn, "The Hungarian Method for the assignment problem", Naval Research Logistics Quarterly, Kuhn's original publication, 1955年, 2:p.83-97に開示されている。
なお、姿勢推定部７４は、例えば、ボルツマンマシン、シミュレーティッドアニーリングなど、他の探索手法を用いて距離の総和の最小値を求めてもよい。
姿勢推定部７４は、各参照輪郭特徴量セットに対して距離の総和を算出する。以下では、l番目の参照輪郭特徴量セットに対して求めた距離の総和の最小値をD1lとする。

上記の距離の総和の最小値D1lは、輪郭特徴量が特徴点の位置そのものに依存しないため、対象輪郭特徴量セットの特徴点と参照輪郭特徴量セットの対応する参照特徴点との位置関係を表すものではない。
そこで、姿勢推定部７４は、対象輪郭特徴量セットの各特徴点と、距離の総和が最小となったときの参照輪郭特徴量セットの対応する各参照特徴点との位置ずれ量の総和を算出し、姿勢推定のための指標の一つとする。

また、対象輪郭特徴量セットが求められた人物領域に写っている人物の位置及び姿勢の向きと、参照輪郭特徴量セットに対応する姿勢モデルが表す人物の位置及び姿勢の向きは必ずしも一致しない。そこで姿勢推定部７４は、対象輪郭特徴量セットの各特徴点に対して同じ位置変換パラメータを用いた位置変換処理を行うことで、位置ずれに関するオフセットを除去する。そして姿勢推定部７４は、位置変換処理が行われた後の対象輪郭特徴量セットの各特徴点と、対応する参照輪郭特徴量セットの各参照特徴点との位置ずれ量の総和を算出する。

姿勢推定部７４は、位置変換処理として、例えば、ヘルマート変換を用いる。ヘルマート変換は次式で表される。

ここで、(X,Y)は、変換前の特徴点の水平座標及び垂直座標であり、(x',y')は変換後の特徴点の水平座標及び垂直座標である。また、λ、φ、x₀及びy₀は、位置変換パラメータである。なお、姿勢推定部７４は、位置変換処理として、アフィン変換を用いてもよい。

位置変換処理が行われた後の対象輪郭特徴量セットの各特徴点と、対応する参照輪郭特徴量セットの各参照特徴点との位置ずれ量の総和Δは、次式により算出される。

ここで、(x_i',y_i')は位置変換後の対象輪郭特徴量セットのi番目の特徴点の水平座標及び垂直座標である。また(x_sπ(i),y_sπ(i))は、対象輪郭特徴量セットのi番目の特徴点に対応する参照輪郭特徴量セットのπ(i)番目の参照特徴点の水平座標及び垂直座標である。またMは、対象輪郭特徴量セットに含まれる輪郭特徴量の総数及び参照輪郭特徴量セットに含まれる輪郭特徴量の総数、すなわち、特徴点または参照特徴点の総数を表す。

姿勢推定部７４は、参照輪郭特徴量セットごとに、例えば、最小二乗法または最急降下法などを用いて位置ずれ量の総和Δが最小となるように位置変換パラメータを決定する。そして姿勢推定部７４は、l番目の参照輪郭特徴量セットに対して求めた位置ずれ量の総和の最小値をD2lとする。
なお、姿勢推定部７４は、D1lの値が小さい方から順に所定個数（例えば、１０個）の参照輪郭特徴量セットについてのみ、位置ずれ量の総和の最小値D2lを算出してもよい。これにより、姿勢推定部７４は、姿勢推定のために必要な演算量を削減できる。
また、姿勢推定部７４は、対象輪郭特徴量セットの各特徴点と、対応する参照特徴点との位置ずれ量が最小となるように、参照輪郭特徴量セットに含まれる各参照特徴点の位置に対して位置変換処理を行ってもよい。

図６は、特徴点の位置変換の一例を示す図である。図６において、左側の座標系６０１は、人物の姿勢モデルの各参照特徴点を表す座標系であり、水平方向がx座標、垂直方向がy座標にて表される。右側の座標系６０２は、監視画像上に設定された座標系であり、水平方向がX座標、垂直方向がY座標にて表される。右側の座標系６０２における各黒点６１０は、それぞれ、人物領域の輪郭上に設定された、対象輪郭特徴量セットの特徴点を表す。また左側の座標系６０１における各黒点６１１は、それぞれ、人物の姿勢モデルについて設定された、参照輪郭特徴量セットの参照特徴点を表す。さらに、左側の座標系６０１において点線で表された点６１２は、それぞれ、位置変換後の対象輪郭特徴量セットの参照特徴点を表す。このような位置変換が行われることにより、例え、人物領域の監視画像上の位置及び向きと、姿勢モデルの位置及び姿勢の向きが異なっていても、その位置ずれに関するオフセット成分が除去される。そのため、図６に示されるように、対応する各特徴点同士の位置ずれ量を姿勢推定の指標とすることが可能となる。

姿勢推定部７４は、参照輪郭特徴量セットごとに、距離の総和の最小値D1lと位置ずれ量の総和の最小値D2lとの重み付け和を、対象輪郭特徴量セットに対する相違度Dtotalとして求める。なお、D1lとD2lに対する重み係数は、例えば、それぞれ1に設定される。あるいは、D1lに対する重み係数よりも、D2lに対する重み係数を高くしてもよい。さらに、D1lに対する重み係数を0にしてもよい。これは、D2lを求めるために、すでに距離の総和が最小となる特徴点の組み合わせが求められているため、D2lを算出する上でD1lが考慮されていると考えられるためである。
以上の説明では、距離の総和Hを最小にするような対象輪郭特徴量セットの特徴点と参照輪郭特徴量セットの対応する参照特徴点との対応関係を求めてから、位置ずれ量の総和Δを最小化していた。しかし、姿勢推定部７４は、対象輪郭特徴量セットの特徴点と参照輪郭特徴量セットの参照特徴点との組合せを先に設定し、その組み合わせについて、距離の総和Hと位置ずれ量の総和Δの重み付け和を求め、その重み付け和が最小となる組み合わせを探索してもよい。この場合、重み付け和の最小値を決定するために、特徴点と参照特徴点の組み合わせ、（３）式で用いられる各位置変換パラメータを独立変数として、シミュレーティッドアニーリング、遺伝的アルゴリズム、山登り法等のヒューリスティックアルゴリズムを適用することができる。
姿勢推定部７４は、相違度Dtotalが最小となる参照輪郭特徴量セットに対応する姿勢モデルを、類似姿勢モデルとする。そして姿勢推定部７４は、監視画像から抽出した人物領域に写っている人物の姿勢を、その類似姿勢モデルが表す姿勢であると推定する。

図７は、姿勢推定処理の動作フローチャートである。
姿勢推定部７４は、l番目の姿勢モデルの参照輪郭特徴量セットを読み込む（ステップＳ２０１）。ただし、初回はl=1とする。次に、姿勢推定部７４は、監視画像から抽出された人物領域について求められた輪郭特徴量セットの各特徴点における輪郭特徴量とl番目の参照輪郭特徴量セットの各参照特徴点における輪郭特徴量との距離の総和が最小となる特徴点同士の組み合わせを決定する（ステップＳ２０２）。そして姿勢推定部７４は、距離の総和の最小値D1lを算出する（ステップＳ２０３）。

その後、姿勢推定部７４は、距離の総和が最小となる特徴点同士の組み合わせについて、対応する各特徴点同士の位置ずれ量が最小となるように位置変換パラメータを決定する（ステップＳ２０４）。そして姿勢推定部７４は、l番目の参照輪郭特徴量セットに対する特徴点間の位置ずれ量の総和D2lを算出する（ステップＳ２０５）。また姿勢推定部７４は、位置変換パラメータに含まれる回転角を姿勢の回転角φとして決定する（ステップＳ２０６）。

D1l及びD2lを算出すると、姿勢推定部７４は、D1lとD2lを加重平均することにより相違度Dtotalを算出する（ステップＳ２０７）。
姿勢推定部７４は、相違度Dtotalが相違度の最小値Dminよりも小さいか否か判定する（ステップＳ２０８）。相違度Dtotalが相違度の最小値Dminよりも小さい場合、姿勢推定部７４は、その最小値Dminの値を比較対象の相違度Dtotalの値に更新する。また姿勢推定部７４は、D2l算出時に求めた位置変換パラメータの回転角φを、姿勢の回転角φとして記憶部５に記憶するとともに、参照輪郭特徴量セットに対応する姿勢モデルを類似姿勢モデルとし、その姿勢モデルの識別番号を記憶部５に記憶する（ステップＳ２０９）。なお、最初に算出された相違度Dtotalについては、相違度の最小値Dminが求められていないため、姿勢推定部７４は、自動的にステップＳ２０９の処理を実行する。

ステップＳ２０９の後、あるいはステップＳ２０８において相違度Dtotalが相違度の最小値Dmin以上である場合、姿勢推定部７４は、現在のlが記憶部５に記憶されている参照特徴量セットの総数Lよりも小さいか否か判定する（ステップＳ２１０）。
現在のlが総数Lよりも小さい場合、姿勢推定部７４は、lを1インクリメントする（ステップＳ２１１）。そして姿勢推定部７４は、ステップＳ２０１〜Ｓ２１０の処理を繰り返す。
一方、現在のlが総数Lと等しい場合、すなわち、全ての姿勢モデルについて相違度が算出されている場合、姿勢推定部７４は、人物領域に写っている人物の姿勢を類似姿勢モデルに表された姿勢と推定する（ステップＳ２１２）。その後、姿勢推定部７４は姿勢推定処理を終了する。
姿勢推定部７４は、相違度Dtotalが最小となる参照輪郭特徴量セットに対応する姿勢モデルの識別番号と、姿勢の回転角φを判定部７５へ渡す。

判定部７５は、姿勢推定部７４から受け取った姿勢モデルの識別番号と姿勢の回転角φに基づいて、異常が発生したか否か判定する。

ここで再度図５を参照すると、人物領域に写っている人物が、姿勢モデル５０１、姿勢モデル５０２及び姿勢モデル５０５の何れかに相当する姿勢をとっており、その人物が立っている状態に相当するならば、特に異常はないと考えられる。しかし、例えば、監視領域が道路上または店舗内のように、人が立って行動する領域に設定されるのであれば、通常、監視領域内で人が寝ていることはない。そのため、人物領域に写っている人物が姿勢モデル５０１、姿勢モデル５０２及び姿勢モデル５０５の何れかに相当する姿勢をとっていたとしても、その人物の姿勢の向きが寝ていることを示しているならば、何らかの異常が発生している可能性がある。
また、人物領域に写っている人物が、姿勢モデル５０３または５０４に相当する姿勢をとっているならば、その人物の姿勢の向きにかかわらず、異常が発生している可能性がある。
このように、人物がとる姿勢だけでなく、人物の姿勢の向きによって、正常か異常かの判断が異なる可能性がある。そこで、記憶部５には、姿勢モデルが表す姿勢ごとに、異常と判定する姿勢の向きに関する条件を示す姿勢モデルテーブルが記憶される。

図８は、姿勢モデルテーブルの一例を示す図である。姿勢モデルテーブル８００において、左の列から順番に、各列には、それぞれ、姿勢モデルの識別番号８０１、姿勢モデルが表す姿勢の名称８０２、異常と判定する回転角範囲８０３、特徴点の識別番号８０４、特徴点の位置座標８０５が表される。
このうち、異常と判定する回転角範囲８０３は、監視画像から求められた人物領域の輪郭特徴量セットが最も類似すると判定された姿勢モデルに対する、その人物領域の姿勢の回転角に基づいて異常が検知される範囲を表す。基準となる姿勢モデルは、人物が立った状態に対応するものでもよく、人物が寝ている状態に対応するものでもよい。
また姿勢モデルテーブル８００は、姿勢の名称８０２を含まなくてもよい。

判定部７５は、姿勢モデルテーブルを参照することにより、姿勢推定部７４から受け取った姿勢モデルの識別番号に対応する異常回転角範囲を特定する。そして判定部７５は、姿勢推定部７４から受け取った姿勢の回転角φがその異常回転角範囲に含まれる場合、異常が発生したと判定し、一方、姿勢の回転角φがその異常回転角範囲に含まれなければ、異常はないと判定する。

判定部７５が監視領域内で異常が発生したと判定すると、制御部７は、出力部６へ異常検出信号を送信し、出力部６に警報を発報させる。

図９に示したフローチャートを参照しつつ、画像監視装置による異常検出処理の動作を説明する。なお、この動作は、姿勢推定装置３の制御部７によって制御される。そして以下の動作は、監視画像の撮影間隔で繰り返される。
異常検出処理が開始されると、制御部７は、撮像部２により撮影された監視領域の監視画像を、インターフェース部４を介して取得する（ステップＳ３０１）。次に、制御部７の輪郭抽出部７１は、取得された監視画像と記憶部３に記憶された背景画像との背景差分処理を行って、人物領域を抽出し、その人物領域の輪郭を検出する（ステップＳ３０２）。そして制御部７の特徴点設定部７２は、人物領域の輪郭上に複数の特徴点を設定する（ステップＳ３０３）。

その後、制御部７の輪郭特徴量算出部７３は、各特徴点について輪郭特徴量を算出する（ステップＳ３０４）。そして制御部７の姿勢推定部７４は、人物領域の輪郭上に設定された輪郭特徴量のセットと、記憶部５に記憶されている姿勢モデルの参照輪郭特徴量セットとに基づいて、人物領域に写っている人物の姿勢を、最も類似する姿勢モデルが表す姿勢として推定するとともに、姿勢の回転角φを求める（ステップＳ３０５）。

次に、制御部７の判定部７５は、記憶部５に記憶されている姿勢モデルテーブルを参照することにより、最も類似する姿勢モデルに対応する異常回転角範囲を特定する（ステップＳ３０６）。そして判定部７５は、姿勢の回転角φが異常回転角範囲内に含まれるか否か判定する（ステップＳ３０７）。姿勢の回転角φが異常回転角範囲内に含まれない場合、判定部７５は、その人物領域に写っている人物に関する異常は無いと判定する。そして制御部７は、異常検出処理を終了する。
一方、姿勢の回転角φが異常回転角範囲内に含まる場合、判定部７５は、その人物領域に写っている人物に関して何らかの異常が発生したと判定する。そして判定部７５は、出力部６へ異常検出信号を出力し、警報を発報させる（ステップＳ３０８）。
ステップＳ３０８の後、制御部７は、異常検出処理を終了する。

以上説明してきたように、本発明の一実施形態である、姿勢推定装置を用いた画像監視装置は、人物領域の輪郭上に設けられた特徴点同士の位置関係により定められる輪郭特徴量を用いているため、この輪郭特徴量により姿勢の違いによる輪郭形状の差異を評価することができる。そのため、この画像監視装置は、人物の姿勢を推定することができる。本発明における輪郭特徴量は、対象特徴点における法線方向ベクトルと特徴点間ベクトルとが成す角θを用いて定義されている。仮に、ノイズ等の影響で、輪郭の一部が本来の人物の輪郭からずれて検出され、輪郭特徴量に誤差を含んでいても、その影響は一部に及ぶのみであり、人物の姿勢の推定は輪郭特徴量セット全体に基づくため、着目特徴点における法線方向ベクトルを基準として特徴点間ベクトルとの角を定義するよりも、推定精度の低下を招き難いと言うことができる。また輪郭特徴量は回転不変な特徴量であるため、同一の姿勢を持つ姿勢モデルについて、姿勢の向きを変えた複数のモデルを準備する必要がない。そのため、この画像監視装置は、姿勢推定の際に用いられる姿勢モデルの数を減らすことができるので、姿勢推定のために必要な演算量を削減できる。またこの画像監視装置では、姿勢推定に関して、監視画像上での監視領域自体の回転は影響しないので、撮像部の設置方向を精密に調節する必要はない。そのため、画像監視装置の設置作業の工程を軽減できる。さらに、この画像監視装置は、姿勢モデルごとに、異常と判定する姿勢の向きの範囲を決めておくことができるので、監視画像に写った人物の姿勢によらず、異常の有無を正確に判定できる。

以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、姿勢推定部７４は、各輪郭特徴量を入力とし、人物領域に写っている人物の姿勢を出力するパーセプトロンタイプのニューラルネットワークのような識別器を用いて、その人物領域に写っている人物の姿勢を推定してもよい。この場合、識別器は、予め姿勢が分かっている複数の姿勢モデルから求められた輪郭特徴量セットを用いて、例えばバックプロパゲーションを用いて事前学習される。そのため、姿勢推定部７４は、各輪郭特徴量を識別器に入力することにより、適切な姿勢推定結果を得ることができる。
なお、この場合、姿勢推定部７４は、得られた姿勢推定結果に対応する姿勢モデルとの間で、上記のように、輪郭特徴量同士の距離の総和が最小となる特徴点の組み合わせを決定し、その組み合わせに対して位置ずれ量を最小化するように位置変換パラメータを求めることで、姿勢の回転角を算出できる。
以上のように、当業者は、本発明の範囲内で様々な修正を行うことができる。

１画像監視装置
２撮像部
３姿勢推定装置
４インターフェース部
５記憶部
６出力部
７制御部
７１輪郭抽出部
７２特徴点設定部
７３輪郭特徴量算出部
７３１法線方向決定部
７３２特徴点間情報算出部
７３３特徴点間情報分布算出部
７４姿勢推定部
７５判定部

Claims

画像に写った人物の姿勢を推定する姿勢推定装置であって、
前記画像から人物が写っている領域の輪郭を抽出する輪郭抽出部と、
前記輪郭上に複数の特徴点を設定する特徴点設定部と、
前記複数の特徴点のそれぞれについて、当該特徴点と異なる他の特徴点のそれぞれに対して、当該特徴点からの距離、及び当該特徴点と当該他の特徴点とを結ぶ線分が当該他の特徴点における前記輪郭に基づいて定められた基準線となす角度を輪郭特徴量として算出する輪郭特徴量算出部と、
前記複数の輪郭特徴量を用いて前記人物の姿勢を推定する姿勢推定部と、
を有する姿勢推定装置。
人物の姿勢を表す複数の姿勢モデルのそれぞれについての前記複数の輪郭特徴量を、当該姿勢モデルに対応する参照輪郭特徴量セットとして予め記憶する記憶部をさらに有し、
前記姿勢推定部は、
前記複数の参照輪郭特徴量セットのそれぞれについて、前記画像の輪郭特徴量と前記参照輪郭特徴量との距離の総和が最小となるように、前記画像の特徴点と、当該参照輪郭特徴量に対応する特徴点である参照特徴点との組み合わせを決定し、
前記距離の総和が最小となったときの前記組み合わせにおいて、前記各特徴点に対応する前記各参照特徴点間の位置ずれ量の総和が最小となるように、前記各特徴点または前記各参照特徴点の位置を、所定の位置変換式に従って変換し、
前記距離の総和の最小値と前記位置ずれ量の総和の最小値の重み付け和が最小となる参照輪郭特徴量セットに対応する姿勢モデルが表す姿勢を、前記画像に写っている人物の姿勢として推定する、請求項１に記載の姿勢推定装置。
前記所定の位置変換式は少なくとも回転変換を含み、
前記姿勢推定部は、
前記重み付け和を最小にする前記回転変換に用いられた回転角を前記入力画像上の人物の姿勢の向きと推定する、請求項２に記載の姿勢推定装置。