JP2017091377A - 姿勢推定装置、姿勢推定方法、及び姿勢推定プログラム - Google Patents

Abstract

【課題】画像及び深度画像から人の姿勢推定を行う際に、推定対象となる関節が画像外に存在した場合にも画像内にある関節の位置について精度良く推定を行う。
【解決手段】姿勢推定装置は、クエリ画像３４中の各画素について、複数の予め定められた関節の関節位置となる尤度を、関節推定器を用いて推定する関節尤度推定部４０と、複数の予め定められた関節の各々に対し、クエリ画像３４中及びクエリ画像３４外の各々における関節位置の位置候補を生成する関節位置候補生成部４２と、尤度及び複数の予め定められた関節の各々に対する位置候補に基づいて、予め定められた骨格モデルから得られる、隣接する関節ペアの位置候補のペアに対する評価値を用いて、複数の予め定められた関節の各々の関節位置の最適な組み合わせを探索する関節位置組合せ探索部４４と、を備える。
【選択図】図３

Description

本発明は、姿勢推定装置、姿勢推定方法、及び姿勢推定プログラムに関する。

安価な深度センサ付きカメラの普及に伴い、深度映像に基づいて映像に映る人物の姿勢を推定する手法は様々に提案されている。また、昨今では画像認識技術の向上に伴い１枚のＲＧＢ画像から人物の姿勢の推定を行う手法も多く提案されている。人物姿勢を推定する手法として、大きく３つのアプローチが存在している。１つは、人体のモデルをあらかじめ持っておきそのモデルのあてはめによって推定を行うアプローチ（非特許文献１参照）である。もう１つは、人体の形状についての知識は用いることなく、画像特徴からそれがどの関節に属しているのかを推定する識別的なアプローチ（非特許文献２参照）である。また、もう１つは、その両者を用いたハイブリッドなアプローチ（非特許文献３参照）である。モデルフィッティングをベースとした手法が一般的に高精度な推定を実現しているが、多くの手法は人の領域があらかじめ得られていることを前提としており、人以外の物体等を多く含むような複雑なシーンにおいて人の発見と同時に姿勢推定を行う手法としては識別によってある程度の絞り込みをしたあとにモデルベースに最適化を行うハイブリッドな手法が好まれる。

M. Ye, R. Yang, "Real-time Simultaneous Pose and Shape Estimation for Articulated Objects Using a Single Depth Camera," CVPR2014 R. Girshick, J. Shotton, P. Kohli, A. Criminisi, A. Fitzgibbon, "Efficient Regression of General-Activity Human Poses from Depth Images," ICCV2011 D. Fleet, T. Pajdla, B. Schiele, T. Tuytelaars, "Human Pose Estimation with Fields of Parts," ECCV2014

人以外の物体などを多く含むような複雑なシーンにおいて人の検出と姿勢推定を同時に行う際に、上記非特許文献３に記載されている技術のようなハイブリッドな手法が用いられる。しかしながら、従来のアプローチでは、画像上に全ての関節が現れていることが前提となっており、人体の一部のみが見えている場合に適用することができない。人体の自然な行動を計測する際には、煩雑なシーンにおいて一部の関節が画像外に存在している状況は多く発生するためこうした状況への対応が求められる。例えば図８は購買行動を取る消費者を撮影した深度画像の一例であるが、手前の人物の下半身はほぼ画像外となってしまっている。

本発明は上記問題点を考慮してなされたものであり、画像及び深度画像から人の姿勢推定を行う際に、推定対象となる関節が画像外に存在した場合にも画像内にある関節の位置について精度良く推定を行うことができる、姿勢推定装置、姿勢推定方法、及び姿勢推定プログラムを提供することを目的とする。

上記目的を達成するために、本発明の姿勢推定装置は、入力画像中の各画素について、複数の予め定められた関節の関節位置となる尤度を、関節推定器を用いて推定する関節尤度推定部と、前記複数の予め定められた関節の各々に対し、前記入力画像中及び前記入力画像外の各々における前記関節位置の位置候補を生成する関節位置候補生成部と、前記尤度、及び前記複数の予め定められた関節の各々に対する位置候補に基づいて、予め定められた骨格モデルから得られる、隣接する関節ペアの位置候補のペアに対する評価値を用いて、前記複数の予め定められた関節の各々の前記関節位置の最適な組み合わせを探索する関節位置組合せ探索部と、を備える。

本発明の姿勢推定装置の関節位置候補生成部は、前記複数の予め定められた関節の各々に対し、前記入力画像中の前記関節の複数の位置候補、及び前記入力画像外であることを示す前記関節の位置候補を生成してもよい。

本発明の姿勢推定装置の関節位置組合せ探索部は、隣接する関節ペアの位置候補のペアが、一方の関節についての前記入力画像中の位置候補、及び他方の関節についての前記入力画像外であることを示す前記位置候補のペアである場合、一方の関節についての前記入力画像中の位置候補から前記入力画像の端までの距離と、前記関節ペア間の距離との関係に応じた値を、前記評価値として用いて、前記複数の予め定められた関節の各々の前記関節位置の最適な組み合わせを探索してもよい。

また、本発明の姿勢推定方法は、関節尤度推定部が、入力画像中の各画素について、複数の予め定められた関節の関節位置となる尤度を、関節推定器を用いて推定するステップと、関節位置候補生成部が、前記複数の予め定められた関節の各々に対し、前記入力画像中及び前記入力画像外の各々における前記関節位置の位置候補を生成するステップと、関節位置組合せ探索部が、前記尤度、及び前記複数の予め定められた関節の各々に対する位置候補に基づいて、予め定められた骨格モデルから得られる、隣接する関節ペアの位置候補のペアに対する評価値を用いて、前記複数の予め定められた関節の各々の前記関節位置の最適な組み合わせを探索するステップと、を含む。

また、本発明の姿勢推定プログラムは、コンピュータを、本発明の姿勢推定装置の各部として機能させるためのものである。

本発明によれば、画像及び深度画像から人の姿勢推定を行う際に、推定対象となる関節が画像外に存在した場合にも画像内にある関節の位置について精度良く推定を行うことができる、という効果が得られる。

本実施形態の姿勢推定装置の概略構成の一例を示す構成図である。 本実施形態の関節推定器学習部の概略構成の一例を示す構成図である。 本実施形態の関節位置最適化部の概略構成の一例を示す構成図である。 簡易化された骨格モデルの一例を示す図である。 本実施形態の姿勢推定装置の関節推定器学習部における関節推定器学習処理の流れの一例を示すフローチャートである。 本実施形態の姿勢推定装置の関節位置最適化部における姿勢推定処理の流れの一例を示すフローチャートである。 本実施形態の画面外対応型エネルギー関数最小化部における変数Ｑ算出処理の流れの一例を示すフローチャートである。 購買行動を取る消費者を撮影した深度画像の一例を示す図である。

本実施形態では、上記、非特許文献３に記載の技術と同様に画像から推定される各関節の尤度に関節間の位置関係を加味した最適化によって人体の関節位置を求めるが、体の一部が画像外に出てしまっている場合にも対応するため、各関節の関節位置候補として画像外を追加し、最適化の際には各関節位置が画像外となる場合の評価値を設定して最適化を行う。具体的には、隣接する関節が画像外となる場合の評価値として、関節位置から画像端への距離と関節長さとの関係に応じた値（例えば、差分）を用いている。

以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態は本発明を限定するものではない。

なお、以下では深度センサによって取得された深度画像を対象として記述するが、深度を０として読みかえれば一般のＲＧＢ画像に対しても適用可能である。

図１は、本実施形態の姿勢推定装置１０の概略構成の一例を示す構成図である。図１に示すように本実施形態の姿勢推定装置１０は、関節推定器学習部１４及び関節位置最適化部２０を備える。また、本実施形態の姿勢推定装置１０は、入力部１２、関節推定器１６、関節長さモデル１８、及び出力部２２を備える。

入力部１２には、外部の装置等から訓練画像３０及び関節位置データ３２（いずれも図２参照）が入力され、関節推定器学習部１４に出力される。

図２に示すように、関節推定器学習部１４には、入力部１２から多数の訓練画像３０及び関節位置データ３２（いずれも図２参照）との組み合わせからなる学習用データが入力される。関節推定器学習部１４は、機械学習を用いて訓練画像３０中の各画素が各関節位置となる尤度を算出する関節推定器１６を学習する。

関節推定器学習部１４により学習された関節推定器１６は関節尤度推定部（図３、関節尤度推定部４０参照）において関節毎に入力画像であるクエリ画像３４中の各画素についてその画素が関節位置である尤度を出力する。こうした推定を高精度に行う手法として深層学習を用いる方法が知られており、特にFully Convolutional Network（非特許文献４参照）を用いることで関節毎の尤度推定モデルの学習及び尤度推定を効率的かつ高精度に行うことができるが、画像の勾配を特徴としてBoostingやSupport Vector Machineを識別器として用いるようなその他の推定手法を用いても良い。
[非特許文献４]J. Long, E. Shelhamer, T. Darrell, “Fully Convolutional Networks for Semantic Segmentation,” CVPR2015
また、入力部１２には、外部の装置等からクエリ画像３４（図３参照）が入力され、関節位置最適化部２０に出力される。

図３に示すように関節位置最適化部２０には、入力部１２から入力画像としてクエリ画像３４が入力される。関節位置最適化部２０、クエリ画像３４及び関節推定器学習部１４で学習された関節推定器１６を用いて、人体骨格に関する関節長さモデル１８を考慮した最適な関節位置を算出する。関節長さモデル１８は、人体における隣接する関節間の長さをモデル化したものであり、本実施形態では、適用シーンに応じて事前に手作業によって設定しておく。

図３に示すように、関節位置最適化部２０は、関節尤度推定部４０、関節位置候補生成部４２、関節位置組合せ探索部４４、及び最適関節位置出力部４６を備える。

関節尤度推定部４０には、クエリ画像３４が入力される。関節尤度推定部４０は、関節推定器学習部１４により学習された関節推定器１６を用いてクエリ画像３４中の各画素について予め定められた人物の各関節となる尤度を算出して関節位置候補生成部４２に出力する。本実施形態では、具体例として後述のように図４に示した骨格モデルを用いており、関節としては、「頭」、「首」、「肩」、「肘」、「手」、「腰」、「腿」、「膝」、及び「足」を採用している。

関節位置候補生成部４２には、関節尤度推定部４０から各画素における各関節となる尤度が入力される。

本実施形態の関節位置候補生成部４２は、クエリ画像３４外の関節位置にも対応する。関節位置候補生成部４２では、各関節の取り得る位置及び向きを設定して関節位置組合せ探索部４４に出力する。ここで、位置は画像内での位置を示すが、向きは各関節から隣接する関節へ向かう方向を示す。クエリ画像３４が深度画像である場合、撮影対象となる３次元空間中のボリュームが存在している領域に適宜位置・向き候補を設定することができる。一方、クエリ画像３４がＲＧＢ画像であれば画像中の全ての２次元座標を位置候補としても良い。また、時系列情報や空間的な制約によって適宜位置候補を制限することで計算時間を効率化することができる。ここで、関節ｋについて生成された位置・向きの組み合わせの候補をＹ^ｋとおき、その数は｜Ｙ^ｋ｜と示す。以降では簡単のため、Ｙ^ｋを単に位置候補と呼ぶ。また、関節尤度推定部４０によって算出された尤度のうち位置候補Ｙ_ｉ ^ｋに対応する尤度をΨ_ｉ ^ｋと示す。

上記非特許文献３に記載の技術では、ここで与えられる位置候補としてクエリ画像３４内に含まれる画素のみを考慮しているが、関節位置候補生成部４２では、クエリ画像３４の外に関節が存在することを考慮してクエリ画像３４外とする位置候補を各関節について１つ設定する。この画像外位置候補については、位置・向きに関する具体的な値は設定せず、ただクエリ画像３４外であることを示す状態として設定する。

なお、本実施形態では、推定対象となる関節位置としては図４に一例を示した簡易化された骨格モデルを用いており、腰の関節を根として隣接した関節を結ぶ木構造が作られている。以降では隣接関係を持つ関節間において根に近い関節を親関節、根から遠い関節を子関節と呼ぶ。また、上記位置候補の持つ向きに関しては各関節を起点として親関節へ向かう方向を示しており、各位置候補を用いて対象の関節とその親関節の位置を算出することができる。

関節位置組合せ探索部４４には、関節位置候補生成部４２から関節の位置候補及び当該位置候補に対応する尤度が入力される。関節位置組合せ探索部４４は、関節の位置候補から関節長さモデル１８を考慮した最適な関節位置の組み合わせを探索し、探索結果として変数Ｑ（詳細後述）を最適関節位置出力部４６に出力する。具体的には、以下の（１）式〜（６）式に基づいて、エネルギー式を最小化するような関節位置の組み合わせを求める。

ここで、ｘ_ｉ ^ｋは関節ｋの位置候補Ｙ_ｉ ^ｋに関節が存在すれば１、存在しなければ０を示すような２値の変数である。また、Ｉは入力画像（クエリ画像３４）、Θは人体骨格に基づくモデル、Ｋは推定する関節の数を示す。骨格モデルにおいて隣接する関節ペアをｋ〜ｋ’と示し、それぞれ親関節をｋ、子関節をｋ’と表す。

上記（１）式に示す単一の位置候補に関するエネルギー式の第１項Ψ_{ｕｎａｒｙ}は、上記（２）式に示すように各関節の尤度Ψ_ｉ ^ｋから算出される。

また、上記（１）式に示す隣接した関節間での位置候補に関するエネルギー式の第２項Ψ_ｐａｉｒは、上記（３）式に示すように上記非特許文献３と同様の関節位置間の距離と正規分布によって定義される値に加えて、クエリ画像３４外の関節位置を評価する関数によって算出される。式中のＬは対応する位置候補間の関節の有無に応じて重みづけを与える変数であり、本実施形態では接続性の良い関節位置候補間でエネルギーを低く設定したいため、Ｌ（１，１）を負の定数に設定し、それ以外は０に設定している。評価値Ｋは関節位置候補間の接続性を評価する関数であり、それぞれの関節が画像に含まれるか否かによって値を変える。またｆ（ｉ，ｋ）は関節位置候補Ｙ_ｉ ^ｋに対応する３次元座標を示しており、ｆ_{ｐａｒｅｎｔ}（ｊ，ｋ’）は関節位置候補Ｙ_ｉ ^ｋ’に対応する親関節の３次元座標を示している。隣接する関節間でｋは親関節、ｋ’は子関節を示すため、関節ｋの３次元位置と関節ｋ’の親関節の３次元位置とを比較することで関節間の接続性を評価することができる。

位置候補ｘ_ｉ ^ｋ、ｘ_ｉ ^ｋ’が共にクエリ画像３４内に存在している場合、上記（４）式に示すように、評価値кはｆとｆ_{ｐａｒｅｎｔ}の距離に応じた評価値を示す。

一方、親関節がクエリ画像３４内、子関節がクエリ画像３４外に存在している場合、上記（５）式に示すように評価値кはｆからクエリ画像３４端への最短距離を表すｄ（ｆ）と骨格モデルにおける関節間の距離ｌ（ｋ’）との関係に応じた評価値を示す。Ｃはクエリ画像３４外との接続を許容する度合を調節するパラメータであり定数を示す。

また、位置候補ｘ_ｉ ^ｋ、ｘ_ｉ ^ｋ’が共にクエリ画像３４外である場合、上記（６）に示すように、評価値кは定数Ｃを示す。

またさらに、親関節がクエリ画像３４外、子関節がクエリ画像３４内に存在している場合、上記（７）式に示すように、評価値кは、無限大のコストを与える。

なお、本実施形態ではクエリ画像３４外にある関節位置を実際の位置によらずクエリ画像３４外として一様に扱うため、クエリ画像３４外とされた関節より末端にある関節については全てクエリ画像３４外にあることを仮定している。

エネルギー式の最小化については、一例として平均場近似による確率伝搬法を模した近似的な解法を用いる。各関節位置候補ｘ_ｉ ^ｋがｌである確率を示すような変数Ｑ（ｘ_ｉ ^ｋ＝ｌ）を用意し、以下の（８）式に基づいて逐次的に変数Ｑを更新することで最適化を行う。

最適関節位置出力部４６には、関節位置組合せ探索部４４にから変数Ｑが入力される。最適関節位置出力部４６は、変数Ｑを用いて、各関節について最も高い値を示した位置候補を、当該関節の関節位置として推定し、出力部２２に出力する。その際、一定の閾値を設けて得られた値が閾値を超えない場合は人体の検出なしとする結果を出力部２２に出力することもできる。

出力部２２には、最適関節位置出力部４６から関節位置が入力される。また、出力部２２は、外部の装置に当該関節位置を出力する。

なお、本実施形態の姿勢推定装置１０は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、及びＲＯＭ（Read Only Memory）等を備えたコンピュータにより実現されており、ＣＰＵが、ＲＯＭに記憶されているプログラムを実行することにより、後述する関節推定器学習処理及び姿勢推定処理が実行される。

次に、本実施形態の姿勢推定装置１０の作用について説明する。

まず、関節推定器学習部１４において実行される関節推定器学習処理について説明する。関節推定器学習部１４は、入力部１２が訓練画像３０及び関節位置データ３２を受け付けると、図５に一例を示す関節推定器学習処理を実行する。

ステップＳ１００で関節推定器学習部１４は、入力部１２から入力された訓練画像３０及び関節位置データ３２に基づいて、機械学習を用いて訓練画像３０中の各画素が各関節位置となる尤度を算出する関節推定器１６を学習する。

次にステップＳ１０２で関節推定器学習部１４は、学習した関節推定器１６を出力した後、本関節推定器学習処理を終了する。

このようにして、関節推定器学習部１４により関節推定器１６が得られた後に、関節位置最適化部２０により、クエリ画像３４における人物の姿勢の推定が行われる。具体的には、関節位置最適化部２０は、入力部１２がクエリ画像３４を受け付けると、図６に一例を示す姿勢推定処理を実行する。

ステップＳ２００で関節尤度推定部４０は、関節推定器１６を用いて、入力されたクエリ画像３４中の各画素について予め定められた人物の各関節となる尤度を算出する。

次のステップＳ２０２で関節位置候補生成部４２は、各関節の取り得る位置及び向きを設定することにより各関節の位置候補を生成する。なお、本実施形態では、クエリ画像３４外とする位置候補を各関節について１つ設定する。

次のステップＳ２０４で関節位置組合せ探索部４４は、関節位置候補生成部４２が設定した各関節の位置候補から関節長さモデル１８を考慮した最適な関節位置の組み合わせを探索する。具体的には、関節位置組合せ探索部４４は、エネルギー関数を最小化する変数Ｑを算出するために図７に示した変数Ｑ算出処理を実行する。

図７に示すようにステップＳ３００で関節位置組合せ探索部４４は、各関節ｋの各位置候補ｘ_ｉ ^ｋについて、関節尤度推定部４０が算出した尤度に基づいて、上記（８）式の第１項の尤度を用いて変数Ｑを初期化する。この際、下記（９）式に示すように、変数Ｑが確率値を取るようにＱ（ｘ_ｉ ^ｊ＝１）とＱ（ｘ_ｉ ^ｊ＝０）が足して１となるように正規化する。

次のステップＳ３０２で関節位置組合せ探索部４４は、更新のための一時的な変数Ｑ~を０で初期化する。

次のステップＳ３０４で関節位置組合せ探索部４４は、下記（１０）式に示すように、隣接している関節ペアｋ、ｋ’の位置候補の全てのペアｘ_ｉ ^ｋ、ｘ_ｉ ^ｋ’に対して、変数Ｑ~と、初期化された、又は前回更新された変数Ｑと、位置候補ペアの評価値кとに基づいて、上記（８）式の第２項による確率値の伝播を行い、変数Ｑ~に加算していく。

次のステップＳ３０４で関節位置組合せ探索部４４は、全ての関節ペア（ｋ，ｋ’）について上記ステップＳ３０４の処理を行ったか否かを判定する。未だ処理を行っていない関節ペアが有る場合は、否定判定となり、ステップＳ３０２に戻り、処理を繰り返す。一方、全ての関節ペアについて処理を行った場合は、肯定判定となり、ステップＳ３０８へ移行する。

ステップＳ３０８で関節位置組合せ探索部４４は、各関節ｋの各位置候補ｘ_ｉ ^ｋについて、下記（１１）式に示すように、関節尤度推定部４０が算出した尤度と、変数Ｑ~とに基づいて、変数Ｑ~に上記（８）式の第１項を加算して正規化を行い変数Ｑを更新する。

次のステップＳ３１０で関節位置組合せ探索部４４は、上記各処理をＮ回実行したか否かを判定する。なお、本実施形態では、イテレーション回数Ｎは適用シーンに応じて事前に手作業によって設定しておく。実行した回数がＮ回未満の場合は、否定判定となりステップＳ３０２に戻り、処理を繰り返す。一方、実行した回数がＮ回以上の場合は、肯定判定となり本変数Ｑ算出処理を終了し、姿勢推定処理のステップＳ２０６へ移行する。

ステップＳ２０６で最適関節位置出力部４６が、関節位置候補生成部４２が算出した変数Ｑを用いて、各関節について最も高い値を示した位置候補を、当該関節の関節位置として推定し、推定した関節位置を出力部２２を介して外部の装置等に出力した後、本姿勢推定処理を終了する。

以上説明したように、本実施形態の姿勢推定装置１０は、クエリ画像３４中の各画素について、複数の予め定められた関節の関節位置となる尤度を、関節推定器を用いて推定する関節尤度推定部４０と、複数の予め定められた関節の各々に対し、クエリ画像３４中及びクエリ画像３４外の各々における関節位置の位置候補を生成する関節位置候補生成部４２と、尤度、及び複数の予め定められた関節の各々に対する位置候補に基づいて、予め定められた骨格モデルから得られる、隣接する関節ペアの位置候補のペアに対する評価値кを用いて、複数の予め定められた関節の各々の関節位置の最適な組み合わせを探索する関節位置組合せ探索部４４と、を備える。

このように、本実施形態の姿勢推定装置１０によれば画像（例えば、ＲＧＢ画像）及び深度画像から人物の姿勢推定を行う際に、推定対象となる人物の関節が上記各画像外に存在した場合にも画像内にある関節の位置について精度良く推定を行うことができる。特に、モデルフィッティングのアプローチを適用できない複雑なシーンにおいて関節推定器１６の推定結果を用いて高速に人体の姿勢推定を行うことができる。これによって、従来、主に用いられてきたユーザがセンサを意識することを前提としたジェスチャインタフェースとしての姿勢推定ではなく、無意識なユーザを対象とした姿勢推定の適用範囲が拡大される。

なお、本実施形態では、関節位置から画像端への距離と関節長さとの関係に応じた値として、関節位置から画像端への距離と関節長さとの差分を用いているが、これに限定されるものではなく、例えば、関節位置から画像端への距離と関節長さとの比率を用いても良い。

また、本実施形態では、関節推定器学習部１４及び関節位置最適化部２０の両方が１つの装置（姿勢推定装置１０）内に備えられている場合について示したが、関節推定器学習部１４及び関節位置最適化部２０を別個の装置として構成してもよい。

また、本実施形態では、姿勢推定装置１０が人物の姿勢を推定する場合について説明したが、姿勢を推定する対象は人物に限定されない。例えば、骨格モデル及び関節長さモデル１８が予め得られていれば、他の生物であってもよい。

また、本実施形態は一例であり、具体的な構成は本実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれ、状況に応じて変更可能であることは言うまでもない。

１０ 姿勢推定装置
１４ 関節推定器学習部
１６ 関節推定器
１８ 関節長さモデル
２０ 関節位置最適化部
４０ 関節尤度推定部
４２ 関節位置候補生成部
４４ 関節位置組合せ探索部
４６ 最適関節位置出力部

Claims (5)

1. 入力画像中の各画素について、複数の予め定められた関節の関節位置となる尤度を、関節推定器を用いて推定する関節尤度推定部と、
   前記複数の予め定められた関節の各々に対し、前記入力画像中及び前記入力画像外の各々における前記関節位置の位置候補を生成する関節位置候補生成部と、
   前記尤度、及び前記複数の予め定められた関節の各々に対する位置候補に基づいて、予め定められた骨格モデルから得られる、隣接する関節ペアの位置候補のペアに対する評価値を用いて、前記複数の予め定められた関節の各々の前記関節位置の最適な組み合わせを探索する関節位置組合せ探索部と、
   を備えた姿勢推定装置。
2. 前記関節位置候補生成部は、前記複数の予め定められた関節の各々に対し、前記入力画像中の前記関節の複数の位置候補、及び前記入力画像外であることを示す前記関節の位置候補を生成する、
   請求項１記載の姿勢推定装置。
3. 前記関節位置組合せ探索部は、隣接する関節ペアの位置候補のペアが、一方の関節についての前記入力画像中の位置候補、及び他方の関節についての前記入力画像外であることを示す前記位置候補のペアである場合、一方の関節についての前記入力画像中の位置候補から前記入力画像の端までの距離と、前記関節ペア間の距離との関係に応じた値を、前記評価値として用いて、前記複数の予め定められた関節の各々の前記関節位置の最適な組み合わせを探索する、
   請求項１または２記載の姿勢推定装置。
4. 関節尤度推定部が、入力画像中の各画素について、複数の予め定められた関節の関節位置となる尤度を、関節推定器を用いて推定するステップと、
   関節位置候補生成部が、前記複数の予め定められた関節の各々に対し、前記入力画像中及び前記入力画像外の各々における前記関節位置の位置候補を生成するステップと、
   関節位置組合せ探索部が、前記尤度、及び前記複数の予め定められた関節の各々に対する位置候補に基づいて、予め定められた骨格モデルから得られる、隣接する関節ペアの位置候補のペアに対する評価値を用いて、前記複数の予め定められた関節の各々の前記関節位置の最適な組み合わせを探索するステップと、
   を含む姿勢推定方法。
5. コンピュータを、請求項１から請求項３の何れか１項に記載の姿勢推定装置の各部として機能させるための姿勢推定プログラム。