JP2009015558A - 姿勢推定装置および姿勢推定方法 - Google Patents

Abstract

【課題】姿勢として不自然な状態を排除し、姿勢を推定する範囲を狭め、推定速度を向上させた姿勢推定装置を提供する。
【解決手段】多関節動物が取ることの可能な姿勢状態の中から確率統計的に確からしい状態を複数予測する姿勢状態予測部１１と、映像入力手段より、多関節動物を撮影した映像の時系列画像を取得する時系列画像取得部１２と、前記時系列画像の各フレーム画像からシルエット画像を生成するシルエット画像生成部１３と、前記姿勢状態予測部１１により複数予測された各姿勢状態の尤もらしさを、前記生成されたシルエット画像を用いて評価する姿勢状態評価部１４と、各姿勢状態の評価結果より、最も確からしいと考えられる多関節動物の姿勢を推定し、出力する姿勢状態出力部１５と、前記出力された姿勢状態を記憶する姿勢状態分布記憶部１６とを備える。
【選択図】図２

Description

本発明は、１又は複数の画像入力装置（例えば、カメラ等）を用いて、人物に代表される多関節動物の姿勢を推定する姿勢推定装置および姿勢推定方法に関するものである。

コンピュータビジョン分野では複数のカメラの情報を利用して人物などの多関節生物の姿勢推定に関する研究が多く行われている。従来の姿勢推定技術としては、画像上における対象の領域（シルエット）を抽出したシルエット画像を用意し、予め用意した多関節骨格モデルの各関節の角度をシルエットに合うように非線形最適化することにより、人物の姿勢推定を可能とする方法（例えば、非特許文献１参照）が知られている。

前述の方法は、多関節骨格モデルを利用した拘束条件を利用することで、セルフオクルージョン（例えば、自分自身の腕により、身体の他の部位がカメラから隠れてしまうこと）に対しても頑健な推定ができる利点を有する。

尚、本発明に関連する、粒子フィルタと呼ばれる確率的時系列フィルタリング手法は非特許文献２に記載され、人間の歩行動作の分析については非特許文献３に記載され、カメラへの投影処理については非特許文献４に記載されている。
Ｍｉｎｇｌｅｉ Ｔｏｎｇ，Ｙｕｎｃａｉ Ｌｉｕ，ａｎｄ Ｔｈｏｍａｓ Ｓ．Ｈｕａｎｇ，"Ｒｅｃｏｖｅｒ Ｈｕｍａｎ Ｐｏｓｅ ｆｒｏｍ Ｍｏｎｏｃｕｌａｒ Ｉｍａｇｅ Ｕｎｄｅｒ Ｗｅａｋ Ｐｅｒｓｐｅｃｔｉｖｅ Ｐｒｏｊｅｃｔｉｏｎ"，ＩＥＥＥ ｉｎｔｅｒｎａｔｉｏｎａｌ ｗｏｒｋｓｈｏｐ ｏｎ ｈｕｍａｎ−ｃｏｍｐｕｔｅｒ ｉｎｔｅｒａｃｔｉｏｎ ２００５，Ｂｅｉｊｉｎｇ，Ｌｅｃｔｕｒｅ Ｎｏｔｅｓ ｉｎ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｃｎｃｅ，ｖｏｌ．３７６６，ｐｐ．３６−４６，ＩＳＢＮ ３−５４０−２９６２０−４ 樋口知之，"粒子フィルタ"，電子情報通信学会誌，Ｖｏｌ．８８，Ｎｏ．１２，ｐｐ．９８９−９９４，２００５ 月城慶一，山本澄子，江原義弘，益小原秀三"観察による歩行分析"，医学書院，２００６，ｐｐ１０−１７ 加藤博一，中澤篤志，井口征史"楕円体モデルを用いたリアルタイム人物追跡"，情報処理学会論文誌 ｖｏｌ．４０，Ｎｏ１１，１９９９

上述の姿勢推定技術では、姿勢推定を多関節骨格モデル（例えば図１のような複数の楕円体と可動関節の組み合わせによるモデル）が取り得ることのできる姿勢の範囲（多関節動物が取りうることのできる姿勢よりも広い範囲）で非線形最適化を行うことにより実現している。つまり、例えば図１の表現する多関節モデルの各部位が表１のような自由度を持っている場合、各部位の姿勢角で構成される状態空間（合計で２７自由度）の推定を行う。

上述の姿勢推定技術においては、各部位の協調動作を考慮せず、実際には多関節動物が取ることのできない姿勢を含む、非常に広い状態空間から画像シルエットと多関節モデルが整合するように単純に非線形最適化を行うため、推定結果の出力に多大な時間を必要とする問題がある。

また、時系列シーケンスデータ（時間的に連続する映像データ）を処理する際にも、前時刻の推定結果を考慮せずに、毎回同じように非線形最適化を行っているため、実際には姿勢に微少な変化しかない場合でも推定結果の出力に多大な時間を必要とする。

本発明は、前記課題に基づいてなされたものであって、姿勢推定を多関節骨格モデルの取り得る範囲全てではなく、姿勢として不自然な状態を排除した多関節動物が取ることのできる姿勢を表す状態空間より姿勢を推定し、時系列シーケンスデータ処理の際には次の時刻の姿勢を予測することで、姿勢推定の速度を向上させた姿勢推定装置および姿勢推定方法を提供することを目的としている。

本発明は、前記課題の解決を図るために、請求項１記載の発明は、多関節動物の撮影された映像からその多関節動物の姿勢を推定する姿勢推定装置であって、
多関節動物が取ることの可能な姿勢状態の中から確率統計的に確からしい状態を複数予測する姿勢状態予測手段と、
映像入力手段より、多関節動物を撮影した映像の時系列画像を取得する時系列画像取得手段と、
前記時系列画像の各フレーム画像からシルエット画像を生成するシルエット画像生成手段と、
前記姿勢状態予測手段により複数予測された各姿勢状態の尤もらしさを、前記生成されたシルエット画像を用いて評価する姿勢状態評価手段と、
各姿勢状態の評価結果より、最も確からしいと考えられる多関節動物の姿勢を推定し、出力する姿勢状態出力手段と、
前記出力された姿勢状態を記憶する姿勢状態分布記憶手段と
を有することを特徴としている。

また、請求項２記載の発明は、多関節動物の撮影された映像からその多関節動物の姿勢を推定する姿勢推定方法であって、
姿勢状態予測手段が、多関節動物が取ることの可能な姿勢状態の中から確率統計的に確からしい状態を複数予測する姿勢状態予測ステップと、
時系列画像取得手段が、映像入力手段より、多関節動物を撮影した映像の時系列画像を取得する時系列画像取得ステップと、
シルエット画像生成手段が、前記取得された時系列画像の各フレーム画像からシルエット画像を生成するシルエット画像生成ステップと、
姿勢状態評価手段が、前記姿勢状態予測ステップにより複数予測された各姿勢状態の尤もらしさを、前記生成されたシルエット画像を用いて評価する姿勢状態評価ステップと、
姿勢状態出力手段が、前記姿勢状態評価ステップの各姿勢状態の評価結果より、最も確からしいと考えられる多関節動物の姿勢を推定し、出力する姿勢状態出力ステップと、
姿勢状態分布記憶手段が、前記出力された姿勢状態を記憶する姿勢状態分布記憶ステップと
を有することを特徴としている。

また本発明は、コンピュータを、前記請求項１に記載の姿勢状態予測手段、時系列画像取得手段、シルエット画像生成手段、姿勢状態評価手段、姿勢状態出力手段および姿勢状態分布記憶手段として機能させる姿勢推定プログラムとするものである。

また、本発明は、前記姿勢推定プログラムを記録したコンピュータ読み取り可能な記録媒体とするものである。

より具体的な構成の一例として、前記姿勢状態予測手段は、例えば、多関節動物の姿勢がどのような状態を示すかを表す複数の姿勢状態モードと、それら姿勢状態モード間で遷移する遷移確率とを予め設計しておき、前記遷移確率で前記姿勢状態モードを遷移させて姿勢状態モードを決定する。そして決定されたモードに従って状態を変化させることにより、当該予測手段の予測結果とする。

この際、姿勢状態予測手段は、例えば姿勢状態分布記憶手段に、前時刻において記憶された姿勢状態分布（姿勢推定結果）から、現時刻の姿勢状態分布の予測を行う。

前記時系列画像取得手段は、例えばカメラなどの映像入力手段により多関節動物を撮影した映像から、時系列画像を取得する。

前記シルエット画像生成手段は、前記時系列画像の入力順（時系列順）にシルエット画像を生成する。

前記姿勢状態評価手段は、姿勢状態予測手段で予測された姿勢状態を多関節骨格モデルによりシミュレートし、シルエット画像生成手段により生成されたシルエット画像をシミュレートした画像、すなわちシミュレーション画像を生成し、シルエット画像とシミュレーション画像を比較することで、予測された複数の姿勢状態の尤もらしさを計算し、その計算結果を当該評価手段の評価結果とする。

前記姿勢状態出力手段は、前記姿勢状態評価手段の評価結果から、例えば姿勢状態分布の期待値を計算し、該計算された期待値を現時刻の姿勢推定結果として出力する。

前記姿勢状態分布記憶手段は、前記姿勢状態出力手段から出力された姿勢状態分布（姿勢推定結果）を記憶しておく。

請求項１，２に記載の発明によれば、多関節動物の動きの自然さを状態推定に取り入れる、すなわち多関節動物の各部位が独立に動くのではなく協調して動くことを利用することで、姿勢推定範囲を狭め、結果として推定速度を向上させることができ、従来の多関節動物の姿勢推定にかかる計算コストを劇的に改善することが可能である。

以下、本発明の実施の形態における姿勢推定装置について、その方法と共に説明する。

本実施の形態における姿勢推定の基本方法は、次の通りである。

まず多関節動物が取ることの可能な姿勢状態の範囲から確率統計的に確からしい状態の仮説を複数立て（これを状態仮説と呼ぶ）、予測を行う。すなわち、この姿勢予測方法を適用することによって、姿勢推定範囲を狭めることが可能となり、効率的な姿勢推定を可能とすることができる。

次に時系列画像から多関節動物の写っている領域だけを抜き出すために、シルエット画像を生成する。

次に複数予測された姿勢がどのくらい尤もらしいかをシルエット画像を用いて評価する。すなわち、予測された姿勢を基に多関節骨格モデルを変形させ、これを用いてシルエット画像をシミュレートした画像と、生成されたシルエット画像を比較することで、尤もらしさの評価を行う。

最後に予測された各状態仮説の評価結果を用いて、確率統計的に最も確からしい姿勢を計算し、これを出力する。

以下に本実施の形態における姿勢推定装置の構成を図２に基づいて説明する。本実施の形態における姿勢推定装置は、姿勢状態予測手段としての姿勢状態予測部１１、時系列画像取得手段としての時系列画像取得部１２、シルエット画像生成手段としてのシルエット画像生成部１３、姿勢状態評価手段としての姿勢状態評価部１４、姿勢状態出力手段としての姿勢状態出力部１５および姿勢状態分布記憶手段としての姿勢状態分布記憶部１６から成る。

尚、前記各姿勢状態予測部１１、時系列画像取得部１２、シルエット画像生成部１３、姿勢状態評価部１４、姿勢状態出力部１５および姿勢状態分布記憶部１６の、後述する各機能は、例えばコンピュータによって各々実行されるものである。

姿勢状態は複数の状態仮説の集合と各々の仮説の確からしさの集合で構成される状態分布Ｓによって表す。これは粒子フィルタと呼ばれる確率的時系列フィルタリング手法（例えば非特許文献２参照）で広く用いられている方法である。

すなわち時刻ｔにおける状態分布は以下の式（１）で表される。

ただし、ここでＫは保持する仮説数である。

状態分布Ｓを構成する各々の仮説_Siの確からしさを表すπｉは、以下の式（２）を満たすスカラー量とする。

状態仮説を構成するパラメータは任意に設定可能であるが、例えば図１の多関節骨格モデルの各関節角の集合と後述する姿勢状態モードの全ての部位の集合を状態仮説のパラメータとすることが可能である。すなわち多関節骨格モデルの各関節角の集合ベクトルをθ_iと表し、姿勢状態モードをＭＯＤＥ_iとすれば、

のように表すことが可能である。

姿勢状態予測部１１は、姿勢状態分布記憶部１６を参照して、前時刻に推定された姿勢状態分布Ｓｔ−１から現時刻の姿勢状態分布Ｓｔの予測を行う。この予測には多関節動物が取り易い姿勢状態を考慮することで、推定精度を高める。具体的には図３のようなフローで予測を行う。

まずｉ＝１として処理を開始させる（ステップＳ３００）。次にｉ番目の仮説の生成を行うために前時刻に推定された姿勢状態分布Ｓｔ−１を構成する状態仮説から、一つの仮説を選択し、姿勢状態モードを決定する（ステップＳ３０１）。

仮説の選択は対象状態Ｓ_tを構成するＫ個の仮説ｓ_iの中から確からしさπ_iの確率で選択を行う。

次に姿勢状態モードを決定する。姿勢状態モードとは人物の姿勢がどんな状態を示しているかを表すものであり、例えば、非特許文献３によると人間が歩行する際に、足を動かす姿勢状態モードとして一歩の間に図４のような８つの相を持っており、人間の足は８つの相を順番に相転移しながら歩行が行われることが示されている。

各相の具体的な定義説明を行う。なお図４中、手前側の脚を観察肢と呼ぶことにする。

イニシャルコンタクト（ＩＣ）（初期接地）は、床への足接地の瞬間である歩行周期の開始を表す相であり、観察肢の接地の瞬間を表す。

ローディングレスポンス（ＬＲ）（荷重応答期）は、床への観察肢の接地ではじまり、反対側の足が地面から離れる瞬間までを表す相である。

ミッドスタンス（ＭＳｔ）（立脚中期）は、反対側の足が地面から離れた瞬間から、観察肢のかかとが床から離れた瞬間を示す相である。

ターミナルスタンス（ＴＳｔ）（立脚終期）は、観察肢のかかとが床から離れた瞬間から、反対側の足の接地までを示す相である。

プレスイング（ＰＳｗ）（前遊脚期）は、反対側の足の接地の瞬間から、観察肢のつま先が床から離れた瞬間までを示す相である。

イニシャルスイング（ＩＳｗ）（遊脚初期）は、観察肢のつま先が床から離れた瞬間から、両側の足関節が矢状面（体を左右対称に切る面とこれに平行な面）で交差した瞬間までを示す相である。

ミッドスイング（ＭＳｗ）（遊脚中期）は、両側の下腿が矢状面で交差した瞬間から観察肢の下腿が床に対して直角になった瞬間までを示す相である。

ターミナルスイング（ＴＳｗ）（遊脚終期）は、観察肢の下腿が床に対して直角になった瞬間から、観察肢の足が床に触れた瞬間までを示す。

以上の８相のモードを次々に遷移しながら、人間は歩行動作を行っている。

各相において足は相特有の特徴的な動きをし、大腿、膝、足の各関節角の範囲が制限される。例えば、ミッドスタンス（ＭＳｔ）においては、大腿関節は２０度から−１０度、膝関節は２０度から１０度、足関節は０度から１０度の範囲にあることが非特許文献３に示されている。

また、両足は協調して動いており、表２のように片足の現在の相が分かるともう一方の足がどの相にあるか対応付けることも可能であることが述べられている。

本発明はこのような多関節動物の各部位が独立に動くのではなく、協調して動くことを利用することで、姿勢を推定する範囲を狭め、結果として推定速度を向上させる。

以降は、表２のように左足と右足のそれぞれに独立した姿勢状態モード（８つの相）を与える例で説明するが、姿勢状態モードは自由に設計（姿勢状態モードの数、どの部位に与えるか）することが可能であることは明らかである。

姿勢状態モードの決定は図５に示した姿勢状態モードで構成された状態遷移図（図４と同一部分は同一表記している）によって決定される。各姿勢状態モード間の遷移確率は任意に設計することが可能であるが、例えば、全ての遷移状態からの遷移に関して、隣接モードへの遷移確率をそれぞれ０．３、自己ループの遷移確率を０．４としても良い。

前記、選択された仮説のモードから図５の状態遷移図に従って、姿勢状態モードを決定する。すなわち予め決定しておいた遷移確率で姿勢状態モードを遷移させることで実現する。

両足の姿勢状態モードを独立に選択した後に多関節動物の動作としての自然さ（例えば、足の動作の場合片足の相が分かれば、もう一方の相を対応付けることができる）をあらかじめ作成したテーブルから参照し、モードをこのまま決定するか、再試行するかを決める。例えば、多関節動物の自然さを表す数値は両足の相の全ての組み合わせに対し、組み合わせの自然さを表す値を用意し、これにより、あらかじめテーブルを作っておき、事前に決定した閾値以上なら、モード決定、それ以下ならば再試行を行うことで実現可能である。なお、予め閾値以上の組み合わせを持ち、そこからモードを決定する方法と一見、同じように見えるが、確率的な偏りを防ぐためには、このようにすることが正しい。

また、この閾値は実験的に定める必要があるものであり、この閾値の決定方法に関しては本発明の範囲外である。

はじめから両足の協調を考えずに、このように両足の姿勢状態モードを独立に選択し、相の組み合わせの自然さを計算するのは、突発的な変化などの外乱に対応するためにモード決定の自由度を高めているからである。

以上のようにモードが決定された後、状態変化を行う（ステップＳ３０２）。状態変化は設計したモードに従って行う。例えば、前述したように左足と右足に独立した８つのモードを与える場合には、各モードで足の関節角の範囲を制限することが可能である。この制限範囲内で確率的（例えば乱数を用いても良い）に関節角を決定し、これを予測結果とすることが可能である。

次にステップＳ３０３では、前回変化させた状態が最後の仮説（Ｋ番目の仮説）であるかが判断され、最後であれば処理を終了し、そうでなければｉを１増やして、次の仮説の状態予測を行う。

次に時系列画像取得部１２は、カメラなどに代表される映像入力手段から時系列画像を取得し、逐次シルエット画像生成部１３に出力する手段である。映像入力手段は１つである必要はなく、複数の映像入力手段、例えば複数台のカメラから時系列画像を取得しても良い。

シルエット画像生成部１３は、時系列画像を入力順、すなわち時系列順に背景差分法やフレーム間差分法などの良く知られた方法を用いてシルエット画像を生成し、逐次、姿勢状態評価部１４へ出力する手段である。

姿勢状態評価部１４は、姿勢状態予測部１１で予測された姿勢状態を多関節骨格モデルによりシミュレートし、シルエット画像生成部１３により生成されたシルエット画像をシミュレートした画像、すなわちシミュレーション画像を生成し、シルエット画像とシミュレーション画像を比較することで、予測された複数の姿勢状態の尤もらしさを計算する。このシミュレーション画像は、多関節骨格モデルを仮想カメラに投影することで作成でき、投影処理は一例として非特許文献４に記載の方法を用いて一意に行うことができる。図６にシルエット画像とシミュレーション画像の一例を示す。

この際、シミュレーション画像上の多関節物体領域の値を１、それ以外の領域の値を０とする２値画像とすることができ、以下のようにシルエット画像と比較することが可能である。

いま、カメラＮのシルエット画像Ｓｉｌ_Nをシミュレートし、かつｉ番目のシミュレーション画像をＶｌ_Niと呼ぶことにする。
ｉ番目の状態仮説_Siの評価を行うとすると、例えば、以下の式（４）により評価値の計算を行うことができる。

この評価値Ｖａｌを仮説の尤もらしさと考え、全ての仮説に対して計算を行う。最後に前記式（２）の条件を満たすように各評価値の正規化を行って、各々を仮説ｓ_iの確からしさを表すπｉとする。

姿勢状態出力部１５は、姿勢状態評価部１４によって得られた評価結果を用いて、最も確からしい姿勢を出力する。これは状態分布Ｓの期待値Ｅｘ（Ｓ）として、以下の式（５）で計算できる。

計算された期待値を現時刻の姿勢推定結果として出力を行う。

姿勢状態分布記憶部１６は、姿勢状態出力部１５によって出力された姿勢状態分布を記憶しておく。

以上の姿勢推定装置に関する方法をコンピュータプログラムとして記述し、コンピュータに実行させることで姿勢推定装置を実現できる。

すなわち、コンピュータを、図２に示す、姿勢状態予測部１１、時系列画像取得部１２、シルエット画像生成部１３、姿勢状態評価部１４、姿勢状態出力部１５および姿勢状態分布記憶部１６として機能させる姿勢推定プログラムとするものである。

また、以上の姿勢推定装置に関する方法を記述したコンピュータプログラムを姿勢推定装置に関する方法に必要とされる入出力データを格納したメモリや外部記憶装置等にアクセスするように実装しても良い。

また、前記姿勢推定プログラムを記録したコンピュータ読み取り可能な記録媒体とするものである。コンピュータが読み取り可能な記録媒体としては、例えばＦＤ（Ｆｌｏｐｐｙ（登録商標） Ｄｉｓｋ）や、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ ｄｉｓｋ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、メモリカード、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）−ＲＯＭ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）−ＲＯＭ、ＣＤ−Ｒ，、ＣＤ−ＲＷ，ＨＤＤ，リムーバブルディスク等がある。

以上、本発明において記載された具体例に対してのみ詳細に説明したが、本発明の技術思想の範囲で多彩な変形および修正が可能であることは、当業者にとって明白なことであり、このような変形および修正が特許請求の範囲に属することは当然のことである。

本発明が適用される多関節骨格モデルの一例を示す説明図である。 本発明の一実施形態例の姿勢推定装置の構成を示すブロック図である。 本発明の一実施形態例の姿勢推定方法の処理手順を示すフローチャートである。 本発明の一実施形態例における、歩行動作一周期に対応する姿勢状態の遷移図である。 本発明の一実施形態例における、姿勢状態モードの状態遷移の一例を示す遷移図である。 本発明の一実施形態例における、シルエット画像とシミュレーション画像の一例を示す説明図である。

符号の説明

１１…姿勢状態予測部、
１２…時系列画像取得部、
１３…シルエット画像生成部、
１４…姿勢状態評価部、
１５…姿勢状態出力部、
１６…姿勢状態分布記憶部。

Claims (2)

1. 多関節動物の撮影された映像からその多関節動物の姿勢を推定する姿勢推定装置であって、
   多関節動物が取ることの可能な姿勢状態の中から確率統計的に確からしい状態を複数予測する姿勢状態予測手段と、
   映像入力手段より、多関節動物を撮影した映像の時系列画像を取得する時系列画像取得手段と、
   前記時系列画像の各フレーム画像からシルエット画像を生成するシルエット画像生成手段と、
   前記姿勢状態予測手段により複数予測された各姿勢状態の尤もらしさを、前記生成されたシルエット画像を用いて評価する姿勢状態評価手段と、
   各姿勢状態の評価結果より、最も確からしいと考えられる多関節動物の姿勢を推定し、出力する姿勢状態出力手段と、
   前記出力された姿勢状態を記憶する姿勢状態分布記憶手段と
   を有することを特徴とする姿勢推定装置。
2. 多関節動物の撮影された映像からその多関節動物の姿勢を推定する姿勢推定方法であって、
   姿勢状態予測手段が、多関節動物が取ることの可能な姿勢状態の中から確率統計的に確からしい状態を複数予測する姿勢状態予測ステップと、
   時系列画像取得手段が、映像入力手段より、多関節動物を撮影した映像の時系列画像を取得する時系列画像取得ステップと、
   シルエット画像生成手段が、前記取得された時系列画像の各フレーム画像からシルエット画像を生成するシルエット画像生成ステップと、
   姿勢状態評価手段が、前記姿勢状態予測ステップにより複数予測された各姿勢状態の尤もらしさを、前記生成されたシルエット画像を用いて評価する姿勢状態評価ステップと、
   姿勢状態出力手段が、前記姿勢状態評価ステップの各姿勢状態の評価結果より、最も確からしいと考えられる多関節動物の姿勢を推定し、出力する姿勢状態出力ステップと、
   姿勢状態分布記憶手段が、前記出力された姿勢状態を記憶する姿勢状態分布記憶ステップと
   を有することを特徴とする姿勢推定方法。

Images