JP2016170605A - 姿勢推定装置 - Google Patents

Abstract

【課題】複数人の一体化したシルエットにおける各人物の姿勢を推定する場合、姿勢の候補の組み合わせが多くなりリアルタイムでの推定が困難となる。【解決手段】シルエット抽出手段４０は画像から複数の物体が一体化したシルエットを抽出する。候補領域生成手段４２は各物体について、シルエットと重複し、且つ互いに異なる姿勢の候補領域を複数生成する。候補領域評価手段４３は各物体について候補領域ごとに、当該候補領域外に生成された当該物体以外の候補領域が多いほど高い評価値を算出する。姿勢決定手段４４は物体ごとに、評価値が高い候補領域が示す姿勢ほど強く反映された姿勢を当該物体の姿勢に決定する。【選択図】図２

Description

本発明は、監視空間を撮像した画像から監視空間中の物体の姿勢を推定する姿勢推定装置に関する。

監視空間を撮像した画像に写る人物の姿勢を推定する方法には、画像から抽出した人物のシルエット（差分領域など）と、様々な姿勢を模した人物モデルとの形状マッチングを行う方法がある。この方法においては、監視空間に複数の人物が存在すると推定精度が低下する場合がある。すなわち、複数人が画像上で重なり、そのシルエットが一体化すると一人ひとりの詳細形状が得られないため、複数通りの姿勢がマッチしてしまう。そのため、一人ずつのマッチングではその姿勢を一意に決定できないのである。

そこで、従来、人数分の人物モデルを姿勢ごとに組み合わせてマッチングを行い、最もマッチする姿勢の組み合わせを推定していた（特許文献１）。

或いは、ある視点のシルエットが一体化していても別視点のシルエットでは分離していることが期待されるので、監視空間を複数のカメラにより複数視点から撮像して、３次元のマッチングを行って姿勢を推定していた。

特開２０１２−１４１６８６号公報

しかしながら、人物形状モデルを組み合わせてマッチングを行う方法では、シルエットが一体化している人数が増えると、姿勢の組み合わせの数が指数関数的に増加し、リアルタイム処理が困難となる。例えば、３人の人物が一体化して撮像された画像に対し各人物につき１００通りの姿勢を試行するならば１００万回（１００の３乗回）のマッチング処理を実行することになる。さらに、より詳細な姿勢を推定するために多関節の人物形状モデルを用いれば姿勢の組み合わせの数はなお一層増加し、リアルタイム処理の実現は増々困難化していた。

また、複数のカメラを用いる方法では、設置できるカメラの台数がコスト的に限られてしまうため、結局、姿勢の組み合わせの数だけマッチングが必要となりリアルタイム処理が困難となる場合が生じ得る。例えば、ある視点で複数人が分離したシルエットが得られても、その視点で右半身が隠れている人物の姿勢を決定するには、別視点のシルエットが必要である。しかし、別視点のシルエットが一体化していれば、結局、姿勢の組み合わせの数だけマッチングが必要となってしまうのである。

本発明は、上記問題を鑑みてなされたものであり、複数の物体が同時撮像された画像から各物体の姿勢を少ない計算量で推定することのできる姿勢推定装置を提供することを目的とする。

本発明に係る姿勢推定装置は所定の物体を撮影した画像から前記物体の姿勢を推定する装置であって、前記画像から複数の前記物体が一体化したシルエットを抽出するシルエット抽出手段と、前記各物体について、前記シルエットと重複し、且つ互いに異なる姿勢の候補領域を複数生成する候補領域生成手段と、前記各物体について前記候補領域ごとに、当該候補領域外に生成された当該物体以外の前記候補領域が多いほど高い評価値を算出する候補領域評価手段と、前記物体ごとに、前記評価値が高い候補領域が示す姿勢ほど強く反映された姿勢を当該物体の姿勢に決定する姿勢決定手段と、を含む。

本発明の好適な態様の１つは上記姿勢推定装置において、前記シルエット内の位置に対応付けて、前記各物体の前記複数の候補領域に対する当該物体以外の候補領域の重複度合いを算出する重複度算出手段を有し、前記候補領域評価手段は、前記各物体の前記候補領域ごとに、当該候補領域外における当該物体に関する前記重複度合いが高いほど高い評価値を算出する。

上記本発明の姿勢推定装置において、前記重複度算出手段は、算出された前記評価値が高い前記候補領域ほど高く重み付けて前記重複度合いを更新し、前記候補領域評価手段は、更新された前記重複度合いに応じて前記評価値を更新する構成としてもよい。

さらに上記本発明の姿勢推定装置において、前記候補領域評価手段は、前記重複度合いの更新に用いた前記評価値を、更新された前記重複度合いを反映して修正し、更新された前記評価値とする構成としてもよい。

また、上記本発明の姿勢推定装置において、前記候補領域評価手段は、前記各物体の前記候補領域ごとに、前記シルエットからのはみ出し度合いを算出し、当該はみ出し度合いが高いほど前記評価値を低く補正する構成としてもよい。

本発明によれば、少ない計算量で、複数の物体が同時撮像された画像から各物体の姿勢を推定することが可能となる。そのため、監視空間に複数の物体が存在していても、それぞれの物体の姿勢をリアルタイムで推定可能な姿勢推定装置を実現することが容易となる。

本発明の実施形態に係る異常検知システムの概略の構成を示すブロック図である。 本発明の実施形態に係る異常検知システムにおける記憶部及び画像処理部の機能を説明するブロック図である。 シルエットの例を示す模式図である。 図３のシルエットに対応した候補領域の例を示す模式図である。 候補領域画像から各人物の非重複度を算出する様子を示す模式図である。 図５に対応して算出された各人物Ｈ_ｎの非重複度ｆ_ｎ，ｐの例を示す模式図である。 第１人物Ｈ_１の第１候補領域Ａ_１，１に対する評価値算出の様子を示す模式的な画像である。 本発明の実施形態に係る異常検知システムの動作の概略の全体フロー図である。 本発明の実施形態における複数人シルエット処理の概略の処理フロー図である。

以下、本発明の姿勢推定装置を含んだ好適な実施形態の一例として、姿勢推定装置により推定した姿勢に基づいて異常シーンを検知して警備センター等へ異常信号を出力する異常検知システム１について説明する。

［異常検知システム１の構成］
図１は異常検知システム１の概略の構成を示すブロック図である。異常検知システム１は、撮像部２、記憶部３、画像処理部４及び出力部５からなる。

撮像部２はいわゆる監視カメラであり、監視空間を臨むように設置され、監視空間を所定の時間間隔で撮影する。撮像部２は画像処理部４と接続され、監視空間を撮影した監視画像を順次、画像処理部４へ出力する。

記憶部３はＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)等のメモリ装置であり、各種プログラムや各種データを記憶し、画像処理部４との間でこれらの情報を入出力する。記憶部３に記憶される各種データには背景画像、追跡情報及び人物モデルが含まれ、記憶部３は後述する記憶手段３０としても機能する。

画像処理部４はＣＰＵ(Central Processing Unit)、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の演算装置である。画像処理部４は記憶部３からプログラムを読み出して当該プログラムを実行することで後述するシルエット抽出手段４０、シルエット内人数判定手段４１、候補領域生成手段４２、候補領域評価手段４３、姿勢決定手段４４、単数人シルエット処理手段４５、異常検知手段４６などとして機能し、撮像部２から入力された監視画像を処理して監視空間中の人物の姿勢を推定し、推定した姿勢に異常の発生を示す姿勢があれば異常信号を生成して出力部５へ出力する。

出力部５は異常信号等を外部へ出力する通信手段である。出力部５は画像処理部４に接続され、画像処理部４から異常信号が入力されると、当該異常信号を警備センター等へ出力する。

［記憶部３及び画像処理部４の機能］
図２は記憶部３及び画像処理部４の機能を説明するブロック図である。

シルエット抽出手段４０は監視画像から当該画像上に人物が現れている領域を示すシルエットを抽出し、抽出結果として、監視画像の各画素と対応する画素の値を人物領域において１、人物領域以外において０に設定したシルエット画像を生成する。抽出されるシルエットには複数の物体が一体化したシルエットが含まれ得る。

具体的には、シルエット抽出手段４０は公知の背景差分処理又は背景相関処理により変化領域を抽出する。すなわちシルエット抽出手段４０は、監視画像を背景画像と比較して対応する各画素の値の相違度（差、又は１から相関値を減じた値）を算出し、シルエット画像の画素値を当該相違度に応じて定める。本実施形態では、相違度がしきい値を超える画素を変化画素として検出して、シルエット画像の画素値を１とし、相違度がしきい値以下の画素についてシルエット画像の画素値を０とする。さらにシルエット抽出手段４０は互いに隣接する変化画素をまとめ、まとめた領域をシルエットとして抽出する。検出のしきい値は事前実験に基づき予め設定される。なお、シルエット抽出手段４０は予め定めた１人分の人物基準サイズに満たない大きさの変化領域について画素値を０とし、当該変化領域をシルエットから除外する。

ちなみに、背景画像は監視空間の背景のみが撮像されている画像であり、シルエット抽出処理に先立って生成され、記憶手段３０に記憶される。シルエット抽出手段４０は記憶手段３０から背景画像を読み出して監視画像と比較し、シルエットを抽出する。

なお、抽出結果として各画素の値に、当該画素における相違度を０以上１以下に正規化した連続値を設定したシルエット画像を生成してもよい。

シルエット抽出手段４０は撮像部２から新たに入力された監視画像からシルエットを抽出し、抽出されたシルエットはシルエット内人数判定手段４１経由で、候補領域生成手段４２、候補領域評価手段４３、単数人シルエット処理手段４５へ出力される。

シルエット内人数判定手段４１はシルエット抽出手段４０が抽出した各シルエットに含まれる人物数を判定し、複数の人物を含むと判定したシルエットは候補領域生成手段４２、候補領域評価手段４３に出力し、１人だけを含むと判定したシルエットは単数人シルエット処理手段４５に出力する。

具体的には、シルエット内人数判定手段４１は下記Ａ１〜Ａ４の方法で人物数を判定する。

（Ａ１）シルエット内人数判定手段４１は各シルエットを追跡して当該シルエットの統合を検出し、少なくとも統合後のシルエットの人物数が複数であると判定する。このとき統合されたシルエットの数を統合後のシルエットの人物数と判定することもでき、又は統合されたシルエットに対して判定されていた人物数を合計して統合後のシルエットの人物数とすることもできる。さらにシルエット内人数判定手段４１はシルエットの分離をも検出し、分離したシルエットの人物数を減算して分離後のシルエットの人物数を判定することもできる。なおシルエット内人数判定手段４１は各シルエットの人物数と併せて当該シルエットに統合や分離が検出されたか否かの別も出力する。

（Ａ２）シルエット内人数判定手段４１は各シルエットの大きさをしきい値判定して人物数を判定する。しきい値は１人分の基準サイズに基づき予め定めておく。例えばシルエットの画素数が、基準サイズの０．８倍以上且つ２×０．８倍未満なら１人、基準サイズの２×０．８倍以上且つ３×０．８倍未満なら２人、基準サイズの３×０．８倍以上且つ４×０．８倍未満なら３人、…というように判定する。なお見かけ上の人物サイズは撮像部２と人物の位置関係により変わるため人物サイズ範囲は監視画像上の位置ごとに設定するのがよい。

（Ａ３）シルエット内人数判定手段４１は各シルエットにおける監視画像から頭部形状（楕円やΩ形のエッジ）を検出して検出された頭部形状の数を人物数として判定する。

（Ａ４）シルエット内人数判定手段４１は各シルエットにおける監視画像から顔特徴（肌色楕円や顔の部位）を検出して検出された顔特徴の数を人物数として判定する。

本実施形態においては（Ａ１）及び（Ａ２）を選択的に用いる。すなわちシルエット内人数判定手段４１は、シルエットを追跡して、追跡において新規出現と判定されたシルエットの大きさのしきい値判定により人物数を初期判定し、追跡したシルエットの統合及び分離から変動する人物数を判定する。

なお、シルエット内人数判定手段４１はシルエット内における各人物の概略の位置を含めて判定し、候補領域生成手段４２及び候補領域評価手段４３へ人物数とともに概略の位置を出力してもよい。概略の位置が得られる場合は候補領域生成手段４２が生成する候補領域数Ｍを減らすことができる。

候補領域生成手段４２は人物ごとにシルエットに形状が適合する複数の姿勢の候補領域を生成し、候補領域評価手段４３に出力する。候補領域生成手段４２は注目するシルエットに含まれる人物がＮ人であれば、当該シルエットに対しＮ×Ｍ個の候補領域を生成し、それぞれ候補領域内の画素値を１、候補領域外の画素値を０に設定したＮ×Ｍ枚の候補領域画像を出力する。各人物に対して生成する候補領域の数Ｍは予め設定しておく。少なくともＭは１より大きい値であり、例えば１００個である。

なお、候補領域数Ｍは人物ごとに異なる値としてもよい。例えば、適合の度合いが高い人物のＭは適合の度合いが低い人物よりも少なくするなどとすることができる。

候補領域生成手段４２は人物の形状を模した人物モデルを用いて候補領域を生成する。その際、候補領域生成手段４２は各人物について、シルエットに含まれる複数の人物のうち当該人物以外の他の人物の形状等は考慮せずに、当該人物の単独形状に基づいてシルエットに適した姿勢の候補領域を複数生成する。

ここで、人物モデルは記憶手段３０に予め記憶させておく。例えば、人物モデルは人の頭・胴・左上腕・左前腕・右上腕・右前腕・左上肢・左下肢・右上肢・右下肢の１０部位をそれぞれ回転楕円体で表した部位モデルからなる３次元の多関節モデルである。姿勢パラメータは各部位モデルの３次元位置と３次元の回転角であり、姿勢パラメータにより人物の姿勢が表現される。

候補領域生成手段４２は記憶手段３０から人物モデルを読み出し、人物ごとに、人物モデルの姿勢パラメータを微小変更しては人物モデルを投影した画像とシルエットとの形状マッチングを行って一致度を算出する処理を繰り返し、一致度が上位１位からＭ位までの姿勢パラメータを決定する。一致度は人物モデルの投影像とシルエットとの重複が多いほど高く、投影像のシルエットからのはみ出しが多いほど低い値となる。候補領域生成手段４２は決定したＭ個の姿勢パラメータが表す姿勢の人物モデルを投影した画像の外形を候補領域とする。

以上のように、候補領域生成手段４２は同一シルエットに含まれる複数の物体のそれぞれについて、当該シルエットと一部または全部が重複し、且つ表す姿勢が互いに異なる複数の候補領域を生成する。

図３はシルエットの例を示す模式図であり、３人の人物Ｈ_１〜Ｈ_３が写る監視画像４００からシルエット画像４０２が生成され、当該シルエット画像４０２には人物Ｈ_１〜Ｈ_３が一体化したシルエット４０４が抽出されている。なお、図３はシルエット４０４を白抜きの領域で表している。

また、図４は図３のシルエットに対応した候補領域の例を示す模式図であり、人物Ｈ_ｎ（ｎ＝１〜３）のそれぞれに対してシルエット４０４に形状が適合する１００個ずつの候補領域Ａ_ｎ，ｍ（ｍ＝１〜１００）が生成された例を示している。なお、図４にて人物ＩＤがｎに当たり、候補番号がｍに当たる。なお、図４は候補領域Ａ_ｎ，ｍを白抜きの領域で表している。

候補領域評価手段４３は各候補領域の正しさを評価する。具体的には、候補領域が表す姿勢が正しい可能性を表す評価値である候補評価値を算出する。本発明では、評価値算出の対象とする注目人物の注目候補領域について注目候補領域以外の残余領域における他の人物の候補領域の多さに注目する。すなわち候補領域評価手段４３は、各物体についてその候補領域ごとに当該候補領域外に生成された当該物体以外の候補領域が多いほど高い評価値を算出する。そのために候補領域評価手段４３は、各物体について候補領域ごとに、当該候補領域外において当該物体の複数の候補領域に対する当該物体以外の他の物体の候補領域との重複度合いが高いほど高い候補評価値を算出する。つまり残余領域にて他の人物の候補領域との重複度合いが高いほど、逆に注目候補領域では他の人物の候補領域との重複度合いが低くなり、注目候補領域に注目人物が存在する可能性が高いと期待できることから候補評価値を高くするのである。

本実施形態では重複度合いを、それと相反する関係を有する非重複度を用いて表す。具体的には非重複度は、監視画像の各画素において、注目する人物の複数の候補領域に対する他の人物の候補領域が重複していない度合いを０から１までの範囲で表した値である。重複度合いを監視画像の各画素において注目する人物の候補領域に対する他の人物の候補領域が重複している度合いであるとすると、各画素における重複度合いと非重複度との和は一定値、例えば１であり、重複度合いが０から１まで増加するのに対応して非重複度は１から０まで減少する。非重複度は、その値が大きい画素ほど他の人物の候補領域の重複が少ないため、注目する人物が写っている画素である可能性が高いことを意味する。

候補領域評価手段４３は、非重複度を算出する非重複度算出手段４３０、非重複度を基に候補評価値を算出する評価値算出手段４３１を少なくとも含み、好適にはさらに候補評価値を改善するために非重複度の算出と候補評価値の算出とを反復させる反復制御手段４３２を含む。

非重複度算出手段４３０は人物ごとに非重複度を算出する手段であり、上述したように非重複度と重複度合いとは相補的な関係にあるので実質的に本発明における重複度算出手段に当たる。具体的には、非重複度算出手段４３０は監視画像の画素ごとに、各人物の候補領域画像の画素値を累積し、シルエットに含まれる複数の人物についての累積値の合計が１になるように、注目する人物についての候補領域画像の画素値の累積値を正規化して当該注目人物についての非重複度を求める。

この非重複度の算出の際、非重複度算出手段４３０は、各人物の候補領域における画像の画素値に、当該候補領域について１回前の反復により算出した候補評価値を乗じ、候補評価値による重み付けを行う。すなわち、非重複度算出手段４３０は、算出した候補評価値が高い候補領域ほど高く重み付けて重複度合いを更新し、候補領域評価手段４３は更新した重複度合いに応じて候補評価値を算出し直す。

この理由について説明する。候補領域評価手段４３が算出する候補評価値は、注目する人物以外の人物の候補領域に基づいて、当該人物の候補領域を評価する値である。そのため、一度の算出では注目する人物の或る候補領域の候補評価値に当該人物自身の他の候補領域に対する評価を反映できない。この点、候補評価値を用いて重複度合いを更新することで各人物の候補領域に対する評価を自身の候補評価値に反映させることができる。これにより正解の候補領域に対する候補評価値が強調され、姿勢推定の精度が向上する。

例えば、非重複度算出手段４３０は、以上に説明した各人物の非重複度を次式により算出する。

ここで、ｆ_ｎ，ｐは画素ｐにおける第ｎ人物の非重複度であり、Ｎは注目するシルエットに含まれる人数、Ｍは１人の人物に対して生成した候補領域数である。また、ｐは画素を表し、Ｉ_{ｎ，ｍ，ｐ}は第ｎ人物の第ｍ候補領域を表す候補領域画像における画素ｐの画素値である。また、ｅ_ｎ，ｍは第ｎ人物の第ｍ候補領域に対して算出された候補評価値である。ただし、式（１）におけるｅ_ｎ，ｍは１回目の反復において算出された候補評価値である。１回目の反復においてはｅ_ｎ，ｍ＝１／Ｍに設定される。なお、εは０による割り算を回避するために予め定めた定数である。

図５は候補領域画像４２１から各人物Ｈ_ｎの非重複度ｆ_ｎ，ｐを算出する様子を示す模式図である。図６は図５に対応して算出された各人物Ｈ_ｎの非重複度ｆ_ｎ，ｐの例を示す模式図である。図５において、グラフ４３５は３人の人物Ｈ_１〜Ｈ_３についての合計３００枚の候補領域画像から生成される非重複度ｆ_ｎ，ｐを示している。画素ｐを画像におけるｘ座標，ｙ座標の組（ｘ，ｙ）で表すと、図５には例としてｐ＝（５０，７４）とｐ＝（５０，７４）における非重複度ｆ_ｎ，ｐのグラフ４３５が示されている。

図５の画像４３６は、非重複度ｆ_ｎ，ｐ（ｎ＝１〜３）を画素値としたものであり、図６（ａ）〜（ｃ）のグラフはそれぞれ図５の画像４３６における直線ｙ＝７４に沿ったｆ_１，ｐ，ｆ_２，ｐ，ｆ_３，ｐの例を示している。

注目人物の候補領域しか存在しない画素位置での非重複度は１となり、注目人物以外の候補領域しか存在しない画素位置での非重複度は０となる。また、注目人物と他の人物の候補領域が重なる画素位置での非重複度は０より大きく１未満の値となり、注目人物と他の人物のどちらも存在し得る画素位置として表現される。他人の非重複度が高い位置は他人がいる可能性が高く、他人の非重複度が低い位置は他人がいる可能性が低いことを意味する。この非重複度とシルエットを利用して、注目人物ごとに、シルエット内における注目人物の候補領域と他人の存在可能性との関係を評価することで単独人物単位での姿勢推定が可能となる。

なお、いずれの人物の候補領域も存在しない画素位置での非重複度は１／Ｎとなり、どの人物も等しく存在し得る画素位置として表現される。

評価値算出手段４３１は非重複度とシルエットとを基に、候補領域の候補評価値を算出する。候補評価値が高い候補領域ほど当該候補領域が表す姿勢が正しい可能性が高い。具体的には評価値算出手段４３１は第ｎ人物の第ｍ候補領域の候補評価値ｅ_ｎ，ｍを次式により算出する。

ここで、ｔは反復回数を表すカウンタであり、ｅ_{ｎ，ｍ，ｔ}は今回の反復において第ｎ人物の第ｍ候補領域に対して算出する候補評価値、またｅ_{ｎ，ｍ，ｔ−１}は１回目の反復において第ｎ人物の第ｍ候補領域に対して算出された候補評価値である。λはｄ_１とｄ_２のバランスを調整するパラメータ（正の実数）であり、実験等に基づき予め設定される。式（３），（４）において、Ｐは画像を構成する画素の集合であり、具体的には監視画像の画素全体であって、式（３），（４）の右辺の和ΣはＰに含まれる全ての画素ｐについての総和を取ることを意味する。また、Ｉ_{ｎ，ｍ，ｐ}は第ｎ人物の第ｍ候補領域を表す候補領域画像における画素ｐの画素値であり、ｚ_ｐはシルエット内の画素値である。なお、既に述べたようにｆ_ｎ，ｐは画素ｐにおける第ｎ人物の非重複度、Ｍは各人物に対して生成した候補領域数である。

図７は第１人物Ｈ_１の第１候補領域Ａ_１，１に対する評価値算出の様子を示す模式的な画像である。図７において、斜線の領域は人物Ｈ_１の候補領域Ａ_１，１の外で、且つシルエット内である領域であり、黒の塗り潰しの領域は人物Ｈ_１の候補領域Ａ_１，１の内側で、且つシルエット外である領域である。

式（４）に示すｄ_２について説明する。既に述べたように候補領域内の画素値を１とするので、（１−Ｉ_{ｎ，ｍ，ｐ}）は第ｎ人物の第ｍ候補領域外で１になる。ｚ_ｐはシルエット内で１になる（連続値のシルエット画像を用いる場合は０より大きく１以下の値となる）。つまり評価値算出手段４３１は式（４）により第ｎ人物の第ｍ候補領域外且つシルエット内の領域にて第ｎ人物の非重複度を累積してｄ_２を算出する。累積は第ｎ人物の第ｍ候補領域外で行うのであるから第ｎ人物の第ｍ候補領域以外の領域である残余領域についての非重複度を累積することになる。こうして算出するｄ_２は、注目する候補領域の外側に他の候補領域との重複が少ないシルエット画素が存在する度合いであるから、注目する候補領域の外側に注目する人物の領域が存在する可能性を表す。換言するとｄ_２は注目する候補領域のエラー度合いを表す。そこで、評価値算出手段４３１は、ｄ_２が大きいほど候補評価値ｅ_ｎ，ｍを低めるために、式（１）に示したようにｅｘｐ（−λｄ_２）に応じた候補評価値ｅ_ｎ，ｍを算出する。

すなわち、候補領域評価手段４３は、各物体の候補領域ごとに、シルエット内かつ当該候補領域外における当該物体に関する重複度合いが高いほど高い候補評価値を算出する。

このように、注目物体の候補領域を、他の物体について生成した複数の候補領域を用いて評価できる候補評価値を設けたことにより、候補領域の組み合わせを一つ一つマッチングする必要が無くなる。

次に式（３）に示すｄ_１について説明する。式（３）右辺の（１−ｚ_ｐ）はシルエット外で１になる。つまり評価値算出手段４３１は式（３）によりシルエット外で第ｎ人物の第ｍ候補領域画像の画素値を累積してｄ_１を算出する。こうして算出するｄ_１は第ｎ人物について生成された第ｍ候補領域のシルエットからのはみ出し度合いである。そこで、評価値算出手段４３１は、はみ出し度合いｄ_１が大きいほど候補評価値ｅ_ｎ，ｍを低めるために、式（１）に示したようにｅｘｐ（−ｄ_１）を乗じて候補評価値ｅ_ｎ，ｍを算出する。

なお、第ｎ人物の第ｍ候補領域内における第ｎ人物以外についての非重複度を累積して、その累積値とはみ出し度合いとの和をｄ_１とすることもできる。

すなわち、候補領域評価手段４３は、各物体の候補領域ごとに、シルエットからのはみ出し度合いを算出し、当該はみ出し度合いが高いほど候補評価値を低く補正する。

式（２）の右辺において、１回目の反復において算出した候補評価値ｅ_{ｎ，ｍ，ｔ−１}を乗じている。すなわち、候補領域評価手段４３は、式（１）にて重複度合いの更新に用いた候補評価値に対し、更新された重複度合いをｄ_２を介して反映させる修正を行って、更新された候補評価値を得る。この演算によって、候補評価値の急激な変化や振動を抑制することができ、安定した姿勢推定を行うことができる。

なお、式（５）は人物間で候補評価値の格差が生じないようにするための正規化であり、各人物の各候補評価値を当該人物のＭ個の候補評価値の合計で除算する。

ここで、一度候補評価値を算出しただけでは注目する人物の候補領域の候補評価値に当該人物の他の候補領域に対する候補評価値がフィードバックされないため、最良の候補領域を選出できない場合がある。これを改善するために非重複度の算出と候補評価値の算出を反復させる。

具体的には、反復制御手段４３２が次のＢ１〜Ｂ４のいずれかの終了条件を満たすまで当該反復を繰り返す。

（Ｂ１）反復回数が予め定めたしきい値Ｔに達する。

（Ｂ２）前回候補評価値と今回候補評価値の差が予め定めたしきい値η以下となる。

（Ｂ３）人物ごとに前回候補評価値の最小値と今回候補評価値の最小値の差を求め、求めた差の総和をしきい値ηと比較する。

（Ｂ４）反復回数が予め定めたしきい値Ｔに達する、または前回候補評価値と今回候補評価値の差が予め定めたしきい値η以下となる。

姿勢決定手段４４は候補領域評価手段４３が算出した候補評価値を参照し、人物ごとに、候補評価値が最も高い候補領域が示す姿勢を当該人物の姿勢に決定し、異常検知手段４６に出力する。すなわち、姿勢決定手段４４は第ｎ人物について算出されたＭ個の候補評価値ｅ_ｎ，ｍのうちの最大値を与える第ｍ候補領域に関連付けられた姿勢パラメータを当該人物の姿勢に決定して出力する。

単数人シルエット処理手段４５はシルエット内の人物数が１人と判定されたときに、当該人物の姿勢を判定する。単数人シルエット処理手段４５は人物モデルの姿勢パラメータを微小変動させては人物モデルとシルエットとの形状マッチングを行って、姿勢パラメータごとの一致度を算出する処理を繰り返し、最大の一致度を与える姿勢パラメータを決定して異常検知手段４６に出力する。

異常検知手段４６は入力された姿勢が予め定めた異常姿勢であるか否かを判定し、異常姿勢であれば所定の異常信号を生成して出力部５に出力する。異常姿勢は例えば倒れている姿勢であり、姿勢パラメータのうち胴、左肢、右肢の角度がほぼ水平であれば異常姿勢と判定することができる。

［異常検知システム１の動作］
以下、異常検知システム１の動作を説明する。図８は異常検知システム１の動作の概略の全体フロー図である。異常検知システム１は監視空間が無人の状態で起動される。例えば、電源投入により各部が初期化され動作を開始する。初期化には起動直後の撮像部２からの監視画像を画像処理部４が背景画像として記憶部３（記憶手段３０）に記憶させる処理を含む。

初期化後、撮像部２は監視空間を撮像するたびに監視画像を出力し、画像処理部４はこれを取得する（ステップＳ１）。以下、最新の監視画像が入力された時刻を現時刻、最新の監視画像を現画像と呼ぶ。

画像処理部４はシルエット抽出手段４０として動作し、監視画像を背景差分処理してシルエットを抽出する（ステップＳ２）。画像処理部４はシルエットが抽出されたか否かを確認し（ステップＳ３）、抽出されていない場合は処理をステップＳ１に戻して次の監視画像の入力を待つ。

一方、シルエットが抽出された場合は処理はステップＳ４へ進み、画像処理部４はシルエット内人数判定手段４１として動作する。

まず、シルエット内人数判定手段４１は、ステップＳ２にて抽出された現時刻のシルエットを一時刻前に抽出されたシルエットと対応付ける人物追跡処理を行う。そのためにシルエット内人数判定手段４１は、シルエット内における監視画像の色ヒストグラムやテクスチャなどの画像特徴及びシルエットの重心位置、人物ＩＤからなる人物情報を記憶部３に記憶させ、現時刻に抽出されたシルエットにおける現画像の画像特徴及び現時刻に抽出されたシルエットの重心位置を記憶部３に記憶されている人物情報と比較することにより画像特徴が類似し重心位置が移動可能範囲内であるシルエット同士を同一人物による領域であるとして対応付ける。

このときシルエット内人数判定手段４１は、画像上で人物同士が重なることを考慮し、重心位置が移動可能範囲内であることを条件に多対１の対応付けを許容する。多対１の対応付けにより複数の人物ＩＤが対応付けられたシルエットに対しては統合を検出したとして人物情報にその旨を表す統合フラグを設定する。

またシルエット内人数判定手段４１は、人物同士の重なりが解消されることも考慮し、重心位置が移動可能範囲内であることを条件に１対多の対応付けも許容する。１対多の対応付けを行なったシルエットに対しては分離を検出したとして人物情報にその旨を表す分離フラグを設定する。

尚、移動可能範囲が視野外を含み、類似するシルエットが無い人物情報は消失したとして削除される。また、いずれの人物情報とも類似しないシルエットは新規出現したとしてその画像特徴と重心位置からなる人物情報に新たな人物ＩＤと新規出現フラグを付与して記憶部３に追記される。

シルエット内人数判定手段４１は上述の人物追跡処理における対応付けの結果から、ステップＳ２にて抽出された各シルエットに含まれる人数を判定する（ステップＳ４）。

画像処理部４はステップＳ２にて抽出されたシルエットを順次、注目シルエットに設定して（ステップＳ５）、ステップＳ６〜Ｓ９の処理を行うループ処理を実行する。

シルエット内人数判定手段４１は注目シルエットに対してステップＳ４で判定した人数が複数か単数かを確認し（ステップＳ６）、複数の場合は注目シルエットのシルエット画像を候補領域生成手段４２に出力して処理をステップＳ７に進める。一方、単数の場合は注目シルエットのシルエット画像を単数人シルエット処理手段４５に出力して処理をステップＳ８に進める。

ステップＳ７では画像処理部４は注目シルエットに対して複数人シルエット処理を行う。図９は複数人シルエット処理の概略の処理フロー図である。

画像処理部４は候補領域生成手段４２として動作し、注目シルエットに対してステップＳ４で判定されたＮ人の人物それぞれについてＭ個ずつの候補領域を生成し、Ｎ×Ｍ個の候補領域画像を候補領域評価手段４３に出力する（ステップＳ７０）。

画像処理部４は候補領域評価手段４３の評価値算出手段４３１として動作し、Ｎ×Ｍ個の候補領域をそれぞれに対して候補評価値ｅ_ｎ，ｍを用意し、各評価値の値を１／Ｍに初期化する（ステップＳ７１）。また、画像処理部４は候補領域評価手段４３の反復制御手段４３２として動作し、反復回数ｔを１に初期化する（ステップＳ７２）。そして、画像処理部４は候補領域評価手段４３として動作し、非重複度および候補評価値を更新するループ処理（ステップＳ７３〜Ｓ７６）を実行して各人物の候補領域ごとに候補評価値ｅ_ｎ，ｍを定める。

ステップＳ７３では画像処理部４は候補領域評価手段４３の非重複度算出手段４３０として動作し、式（１）に従い、各人物（ｎ＝１〜Ｎ）について各画素の非重複度ｆ_ｎを算出する。その際、ｔ＝１のときはステップＳ７１で設定した初期値をｔ＝０のときの候補評価値ｅ_ｎ，ｍとみなし、式（１）の右辺の計算に用いる。

ステップＳ７４では画像処理部４は候補領域評価手段４３の評価値算出手段４３１として動作する。評価値算出手段４３１は、式（２）〜（５）に従い、各人物（ｎ＝１〜Ｎ）の候補領域ごと（ｍ＝１〜Ｍ）に、第ｔ反復における候補評価値ｅ_ｎ，ｍを算出する。

第ｔ反復における候補評価値ｅ_ｎ，ｍの算出が完了すると、反復制御手段４３２は反復回数ｔを１だけ増加させ（ステップＳ７５）、反復終了条件を満たしているか確認する（ステップＳ７６）。本実施形態では前回候補評価値ｅ_{ｎ，ｍ，ｔ−１}と今回候補評価値ｅ_{ｎ，ｍ，ｔ}の差Δｅを求めてしきい値ηと比較し、また反復回数ｔをしきい値Ｔと比較する。そして、候補評価値の差Δｅが閾値η以下、または反復回数ｔがしきい値Ｔより大きければ反復終了条件を満たしたとして処理をステップＳ７７に進める。一方、候補評価値の差Δｅが閾値ηより大きい、且つ反復回数ｔがしきい値Ｔ以下であれば反復終了条件を満たしていない処理をステップＳ７３に戻す。

ステップＳ７７では画像処理部４は姿勢決定手段４４として動作し、人物ごとに、反復終了時点の候補評価値の中から最大値を求め、最大値が算出された候補領域に関連付けられている姿勢パラメータが当該人物の姿勢を表すと決定する。姿勢決定手段４４は決定した各人物の姿勢を異常検知手段４６に出力し、画像処理部４は処理を図８のステップＳ９に進める。

一方、ステップＳ６にて単数人シルエットと判定された場合、画像処理部４は単数人シルエット処理手段４５として動作し、注目シルエットに最も適合する姿勢パラメータを求めて、求めた姿勢パラメータを異常検知手段４６に出力する（ステップＳ８）。そして、画像処理部４は処理をステップＳ９に進める。

画像処理部４は全てのシルエットを処理した否かを確認し（ステップＳ９）、処理し終えていない場合は処理をステップＳ５に戻して次のシルエットを処理する。

一方、処理し終えた場合は画像処理部４は処理をステップＳ１０に進め、異常検知手段４６として動作する。異常検知手段４６は、ステップＳ７にて姿勢決定手段４４から入力された姿勢パラメータおよびステップＳ８にて単数人シルエット処理手段４５から入力された姿勢パラメータのそれぞれが異常姿勢であるか否かを判定し、１つでも異常姿勢と判定されたら（ステップＳ１０）、異常検知手段４６は異常信号を生成して出力部５に出力する（ステップＳ１１）。異常信号を入力された出力部５は異常信号を警備センターに転送する。

一方、ステップＳ１０にて、１つも異常姿勢と判定されなければステップＳ１１はスキップされる。

以上の処理を終えると画像処理部４は処理をステップＳ１に戻して次の監視画像の入力を待つ。

［候補領域生成手段４２の変形例］
上記実施形態の候補領域生成手段４２はシルエットとの一致度に基づき候補領域を生成する構成であって、一致度が上位Ｍ位までの候補領域を生成している。ここで、シルエットとの一致度に基づき候補領域を生成する候補領域生成手段４２の他の構成として、以下にマルコフ連鎖モンテカルロ（Markov Chain Monte Carlo：ＭＣＭＣ）法によりサンプリングするものと、一致度最大の姿勢を基準にサンプリングするものとを説明する。

（ａ１）ＭＣＭＣ法によりサンプリングする構成
乱数により人物モデルの姿勢パラメータを変更しては、人物モデルの投影像とシルエットとの一致度を算出する処理を繰り返し、変更後の一致度が変更前の一致度よりも上昇した場合に変更後の投影像を候補領域とし、および一致度が下降した場合も所定確率にて変更後の投影像を候補領域とする。そしてこの繰り返しを候補領域がＭ個に達するまで行う。なお、姿勢パラメータの初期値は所定規則に基づいて設定する。

（ａ２）一致度最大の姿勢を基準にサンプリングする構成
他の部位と比較して面積（体積）の大きな胴について一致度が最大の姿勢パラメータを決定し、胴以外の部位の姿勢パラメータを、決定した胴部を基準としたとり得る範囲内にて一定間隔でＭ通り設定する。そして、設定したＭ通りの姿勢パラメータが表す投影像を候補領域とする。または、全部位について一致度が最大の姿勢パラメータを決定し、決定した姿勢パラメータを基準としたとり得る範囲内にて一定間隔で他の部位の姿勢パラメータをＭ通り設定してもよい。

また、候補領域生成手段４２は以下に示す（ｂ１）、（ｂ２）のようにシルエットとの一致度に依らない候補領域を生成する構成とすることもできる。この構成は一致度に基づいて候補領域を生成する構成よりもＭを大きく設定する必要があるが、候補領域生成手段４２の処理を軽減できる。

（ｂ１）グリッドサンプリングに基づき候補領域を生成する構成
人物モデルの姿勢パラメータを、人物モデルの投影像の一部または全部がシルエットと重複する範囲内にて一定間隔でＭ通り設定する。そして、設定したＭ通りの姿勢パラメータが表す投影像を候補領域とする。

（ｂ２）ランダムサンプリングに基づき候補領域を生成する構成
人物モデルの姿勢パラメータを、人物モデルの投影像の一部または全部がシルエットと重複する範囲内の乱数によりＭ通り設定する。そして、設定したＭ通りの姿勢パラメータが表す投影像を候補領域とする。

上述のいずれの構成においても候補領域生成手段４２は各物体について、シルエットと重複し、且つ表す姿勢が互いに異なる複数の候補領域を生成する。

［候補領域評価手段４３の変形例］
上記実施形態の候補領域評価手段４３では、式（２）に示すように候補評価値ｅ_{ｎ，ｍ，ｔ}を式（３）のｄ_１を用いてシルエットからのはみ出し度合いが高いほど低く補正しているが、はみ出し度合いに代えて、又はそれに加えて、注目物体の候補領域内における重複度合いが高い（非重複度が低い）ほど候補評価値ｅ_{ｎ，ｍ，ｔ}を低く補正する構成とすることができる。またｄ_１を用いた当該補正は省略することもできる。

［姿勢決定手段４４の変形例］
上記実施形態の姿勢決定手段４４は、各人物の姿勢を候補評価値が最も高い候補領域に決定する。この構成は、人物ごとに、候補評価値が高い候補領域が示す姿勢ほど強く反映された姿勢を当該人物の姿勢に決定する姿勢決定手段の一例に過ぎず、姿勢決定手段４４は以下の（ｃ１）〜（ｃ３）に示す他の構成とすることもできる。

（ｃ１）Ｍ通りの候補領域を各候補領域の候補評価値で重み付け平均して姿勢を決定する。すなわち、各人物のＭ通りの候補領域それぞれに対応付けられた姿勢パラメータを当該候補領域の候補評価値で重み付け平均して、重み付け平均した姿勢パラメータが表す姿勢を当該人物の姿勢に決定する。

（ｃ２）Ｍ通りの候補領域のうち、候補評価値が予め定めた閾値を超える候補領域を候補評価値で重み付け平均して姿勢を決定する。

（ｃ３）Ｍ通りの候補領域のうち、候補評価値が予め定めた順位までの候補領域を候補評価値で重み付け平均して姿勢を決定する。

さて本発明が解決しようとする課題として既に述べたように従来、複数人が一体化したシルエットに対して候補領域の組み合わせの数だけ形状マッチングを行う従来技術では、ＭのＮ乗回のマッチングが必要となり、人数に応じて指数関数的に計算量が増加していた。

このような複数人姿勢推定における問題点に対し、本発明では、注目物体の各候補領域を他の物体の複数の候補領域を用いて評価する候補評価値を設け、これによって複数人姿勢推定を個人ごとの単独姿勢推定問題へと帰着させることが可能になった。

帰着させた単独姿勢推定問題の解法は、人物ごとに候補評価値が最大の候補領域を選出するというものであり、選出した候補領域でシルエットをセグメンテーションすることに相当する。

そして、本発明ではさらに、反復制御によって単独人物姿勢推定とセグメンテーションとを交互に最適化することで姿勢推定の精度を向上させる。

以上のように、本発明では、複数人姿勢推定問題を個人ごとの単独姿勢推定問題へと帰着させたことで、従来技術よりも大幅に少ない計算量での複数人姿勢推定を可能とした。例えば、３人の人物が撮像された画像に対し各々１００通りの姿勢を試行する単独人物姿勢推定処理とセグメンテーションとからなる一連の処理を５回反復しても（１００×３）×５＝１５００回のマッチングで済むことになる。

１ 異常検知システム、２ 撮像部、３ 記憶部、４ 画像処理部、５ 出力部、３０ 記憶手段、４０ シルエット抽出手段、４１ シルエット内人数判定手段、４２ 候補領域生成手段、４３ 候補領域評価手段、４４ 姿勢決定手段、４５ 単数人シルエット処理手段、４６ 異常検知手段、４３０ 非重複度算出手段、４３１ 評価値算出手段、４３２ 反復制御手段。

Claims (5)

1. 所定の物体を撮影した画像から前記物体の姿勢を推定する姿勢推定装置であって、
   前記画像から複数の前記物体が一体化したシルエットを抽出するシルエット抽出手段と、
   前記各物体について、前記シルエットと重複し、且つ互いに異なる姿勢の候補領域を複数生成する候補領域生成手段と、
   前記各物体について前記候補領域ごとに、当該候補領域外に生成された当該物体以外の前記候補領域が多いほど高い評価値を算出する候補領域評価手段と、
   前記物体ごとに、前記評価値が高い候補領域が示す姿勢ほど強く反映された姿勢を当該物体の姿勢に決定する姿勢決定手段と、
   を含むことを特徴とした姿勢推定装置。
2. 請求項１に記載の姿勢推定装置において、
   前記シルエット内の位置に対応付けて、前記各物体の前記複数の候補領域に対する当該物体以外の候補領域の重複度合いを算出する重複度算出手段を有し、
   前記候補領域評価手段は、前記各物体の前記候補領域ごとに、当該候補領域外における当該物体に関する前記重複度合いが高いほど高い評価値を算出すること、
   を特徴とする姿勢推定装置。
3. 請求項２に記載の姿勢推定装置において、
   前記重複度算出手段は、算出された前記評価値が高い前記候補領域ほど高く重み付けて前記重複度合いを更新し、
   前記候補領域評価手段は、更新された前記重複度合いに応じて前記評価値を更新すること、
   を特徴とする姿勢推定装置。
4. 請求項３に記載の姿勢推定装置において、
   前記候補領域評価手段は、前記重複度合いの更新に用いた前記評価値を、更新された前記重複度合いを反映して修正し、更新された前記評価値とすること、を特徴とする姿勢推定装置。
5. 請求項１から請求項４のいずれか１つに記載の姿勢推定装置において、
   前記候補領域評価手段は、前記各物体の前記候補領域ごとに、前記シルエットからのはみ出し度合いを算出し、当該はみ出し度合いが高いほど前記評価値を低く補正すること、を特徴とする姿勢推定装置。

Images