JP2017097577A - 姿勢推定方法及び姿勢推定装置 - Google Patents

Abstract

【課題】利用者が撮影部から離れた位置にいる場合、姿勢推定を正しく行うことが出来ない。また、複数の撮影部を用いて姿勢推定するのにカメラの位置、撮影範囲に制約をうけることがある。【解決手段】第一撮影部と、第二撮影部と、前記第一撮影部から得られる画像に対して人物領域を抽出する第一人物領域抽出部と、前記第一人物領域抽出部が抽出する領域に映る人物の姿勢を推定する第一姿勢推定部と、前記第一姿勢推定部の結果および前記第二撮影部から得られる画像に基づいて前記人物の姿勢を推定する第二姿勢推定部と、を備えることを特徴とする姿勢推定装置。【選択図】図１

Description

本発明は、取得した画像から対象の姿勢を推定する方法に関する。

従来、画像から人物の姿勢を推定する方法として特許文献１がある。これは第一カメラの画像から得られる対象の確率分布情報を推定し、別カメラの情報をもとに対象の確率分布情報を補正する方法である。

また特許文献２では、距離画像と輝度画像を使い、両方の画像から手の存在確率マップを作り、手検出を行っている。

特開２００９−０１５６７１号公報 米国特許出願公開第２０１１／０２１１５７４号明細書

しかしながら、特許文献１はカメラ１では見えない部分に対してカメラ２の画像情報を使って確率分布情報を作るため、両方のカメラに対して全身の人物が写っている必要がある。特許文献２に対しても同様にIRカメラと通常のカメラの両方に物体が見えていなければならない。

そのため、片方のカメラに写っていても、もう一方のカメラに写っていない場合は、物体の検出、姿勢推定精度が低下する要因となる。それだけでなく、撮影範囲が異なるカメラを使い分けることが出来ない事や、カメラ位置や撮影領域に制約がかかってしまう。

本発明は、以上の課題に鑑みてなされたものであり、これらの状況に対応できる人物の姿勢推定を行うことを目的とする。

上記の目的を達成するために、本発明に係る姿勢推定方法は、
対象物体の全体を写す第一撮影工程と、対象物体の一部を写す第二撮影工程があり、第一撮影工程から取得される画像に対して人物領域を抽出する人物領域抽出工程があり、人物領域抽出工程から得られた人物領域画像に対して姿勢推定処理を実行して対象の姿勢情報を推定する第一姿勢推定工程があり、第一姿勢推定工程から得られた姿勢情報を取得し、その姿勢を初期値として第二撮影工程から得られた画像に対して姿勢推定処理を行う第二姿勢推定処理工程を有する。

本発明によれば、撮影位置や撮影範囲によらず各撮影装置で姿勢推定を行う事が出来る。また。床や近くにある物体による影響や撮影位置により、第一姿勢推定部での姿勢推定の精度が低くても第二姿勢推定部により姿勢推定を安定化させることができる。

本発明の第一の実施形態に係る姿勢推定装置の構成図である。 本発明の第一の実施形態に係る姿勢推定装置での撮影状況例を示す図である。 本発明の第一の実施形態に係る姿勢推定装置の撮影した画像の例を示す図である。 本発明の第一の実施形態に係る姿勢推定装置の推定した姿勢の例を示す図である。 本発明の第一の実施形態に係る姿勢推定装置で処理過程を示す図である。 本発明の第二の実施形態に係る姿勢推定装置の構成を示す図である。 本発明の第二の実施形態に係る姿勢推定装置での撮影状況例を示す図である。 本発明の第二の実施形態に係る姿勢推定装置で撮影した距離画像の例を示す図である。 本発明の第二の実施形態に係る姿勢推定装置で推定した姿勢の例を示す図である。 本発明の第二の実施形態に係る姿勢推定装置の処理過程を示す図である。 本発明の第三の実施形態に係る姿勢推定装置の構成を示す図である。 本発明の第三の実施形態に係る姿勢推定装置での撮影状況例を示す図である。 本発明の第三の実施形態に係る姿勢推定装置で撮影した距離画像の例を示す図である。 本発明の第三の実施形態に係る姿勢推定装置で推定した姿勢及び予測により作成した姿勢である。 本発明の第三の実施形態に係る姿勢推定装置で第二の姿勢推定を行う図である。 本発明の第三の実施形態に係る姿勢推定装置の処理過程を示す図である。

以下、添付図面を参照して、本発明の実施形態に従って詳細に説明する。

本実施形態に係る姿勢推定方法は、撮影部から得られる画像に対して姿勢を推定する方法に関するもので、画像は輝度画像でも距離画像でもよいし、あらかじめ作成した距離データでもよい。

また、本実施形態では人物を含んだ距離画像を撮影し、得られた距離画像から、人物の姿勢を推定する場合について説明する。なお、本実施形態に係る姿勢推定を行う対象は人物としているが、これに限定するものではない。

図１は本実施形態に係る姿勢推定装置の構成を示す図である。

図１に示すように、本実施形態に係る姿勢推定装置は、第一撮影部１０１と、第二撮影部１０２と、第一人物領域抽出部１０３と、第一姿勢推定部１０４と、第二姿勢推定部１０５とを備える。

第一撮影部１０１は距離計測カメラで、その撮影視点（第一の視点とする）から撮影視野内に映る被写体までの距離を測り、その結果を距離情報として出力する。この距離情報とは、例えば計測距離値を画素値とした距離画像である。また、第一撮影部１０１は距離画像を出力するカメラに限定せず、可視画像を出力するカメラの構成であってもよい。

第一撮影部１０１は、図２に示すように利用者２０３の全身が映るよう２０１のように配置される。

第一撮影部１０１の距離の計測方法は、一般的に知られた方法で行う。例えば、複数の可視カメラの画像を用いたステレオ法であったり、Ｔｉｍｅ−Ｏｆ−Ｆｌｉｇｈｔ法であったり、パターン光投影による三角測量方式であったり、撮像光学系の出フォーカス情報に基づく方法であったりする。

第一撮影部１０１が出力する距離情報は、第一人物領域抽出部１０３へと出力される。

第二撮影部１０２は距離計測カメラで、その撮影視点（第一の視点とする）から撮影視野内に映る被写体までの距離を測り、その結果を距離情報として出力する。この距離情報とは、例えば計測距離値を画素値とした距離画像である。また、第二撮影部１０２は距離画像を出力するカメラに限定せず、可視画像を出力するカメラの構成であってもよい。

第二撮影部１０２は、図２に示すように利用者２０３に対して第一撮影部２０１より近い位置に配置され、利用者２０３の一部が映るように配置される。

第二撮影部１０２の距離の計測方法は、一般的に知られた方法で行う。例えば、複数の可視カメラの画像を用いたステレオ法であったり、Ｔｉｍｅ−Ｏｆ−Ｆｌｉｇｈｔ法であったり、パターン光投影による三角測量方式であったり、撮像光学系の出フォーカス情報に基づく方法であったりする。

第二撮影部１０２が出力する距離情報は、第二姿勢推定部１０５へと出力される。

第一人物領域抽出部１０３は、例えばＰＣ上で実行されるソフトウェアの一部であり、第一撮影部１０１より距離情報を受け取って、その距離情報に含まれる利用者の動きから、利用者である領域を抽出する。

利用者の人体形状を含む人物領域を抽出する方法は、例えば、背景差分法などを用いて、画像の中から人体領域を抽出する。ここで画像が可視画像であれば、人体の存在し得る空間中の範囲は、カメラのレンズ中心を頂点、物体領域を切り口とした錐体の内部に制約される。画像が距離画像であれば、物体の存在し得る空間中の範囲は、その撮影視点からみた２．５次元的な距離マップの奥側に制約される。そうした、第一撮影部１０１の画像から抽出された人体の存在し得る空間の積をとることで人物領域画像を抽出する。

得られた人物領域画像は第一姿勢推定部１０４へと出力される。

第一姿勢推定部１０４は人物領域抽出部１０３から取得した人物画像に対して姿勢推定を行う。利用者の人体形状を含む距離情報から人物の姿勢を推定する方法としては、例えば非特許文献１に示されるような、一般的に知られた方法である。
［非特許文献１］
Ｊ． Ｓｈｏｔｔｏｎ， Ａ． Ｆｉｔｚｇｉｂｂｏｎ， Ｍ． Ｃｏｏｋ， Ｔ． Ｓｈａｒｐ， Ｍ. Ｆｉｎｏｃｃｈｉｏ, Ｒ. Ｍｏｏｒｅ, Ａ. Ｋｉｐｍａｎ, ａｎｄ Ａ. Ｂｌａｋｅ： Ｒｅａｌ−Ｔｉｍｅ Ｈｕｍａｎ Ｐｏｓｅ Ｒｅｃｏｇｎｉｔｉｏｎ ｉｎ Ｐａｒｔｓ ｆｒｏｍ ａ Ｓｉｎｇｌｅ Ｄｅｐｔｈ Ｉｍａｇｅ. ＣＶＰＲ ２０１１
距離情報が距離画像である場合を例にすると、次のような方法でよい。

姿勢を推定する別の方法としては、あらかじめ距離情報と人物の姿勢（パーツの位置関係）の対応関係を大量に学習しておき、距離情報が入力されたら、その距離情報に対応する人物の姿勢を学習結果に基づいて決定する、といった方法がある。

図４に示すが、４０７は人物領域の距離画像を３次元の点群に変換したもので、人物領域の距離画像３０４に対して公知の方法を使って姿勢を推定した結果が４０８である。

得られた人物画像が可視画像である場合、第一姿勢推定部１０４は色やエッジの情報を使って、あらかじめ要した人物モデルのパーツ（胴体、頭、腕、脚）毎にの確率分布を算出することで姿勢を推定する。

得られた姿勢情報４０８は第二姿勢推定部１０５へと出力される。

第二姿勢推定部１０５は第一姿勢推定部１０４から得られた利用者２０３の３次元の各関節位置を第二撮影部１０２から撮影している位置へと変換する。この変換は、第一撮影部１０１と第二撮影部１０２のキャリブレーションを行い、互いの３次元的な位置関係を既知としておくことで変換することが出来る。変換した各関節位置に対して第二撮影部１０２で撮影した距離画像を使って関節位置を推定する。関節位置の推定方法としては、第一姿勢推定部１０４から得られた姿勢４０９を基に、あらかじめ用意した人体のモデルを姿勢４０９の位置に配置し、第二撮影部１０２から得られた距離画像３０５を三次元の点群に変換した距離情報４０９に対して人体モデルのパーツ（頭、手、足、胴など、人体を構成する部分）の位置および姿勢を三次元的に変更しながら、人体領域の距離情報にあてはめる。切り出した人体領域の距離情報に適切に人体モデルがあてはめられたら、その人体モデルで表現される人物の姿勢、すなわち各パーツの第一撮影部１０１の撮影視点（第一の視点）に対する位置を、第一姿勢推定部１０４の推定結果とする。各パーツを球で表現し、パーツ間のつながりを線分で表現すると、人物の姿勢認識結果である各パーツの位置は、図４（ｂ）の４１０に示すように表現できる。

また、第二撮影部１０２から送られてくる画像が可視画像である場合、
続いて、図５に示したフローチャートを用いて、本実施形態における姿勢推定方法１００が行う処理について説明する。なお、同フローチャートに従ったプログラムコードは、本実施形態の方法内の、不図示のＲＡＭやＲＯＭなどのメモリに格納され、不図示のＣＰＵなどにより読みだされ、実行される。

利用者が図２に示すように第一撮影部１０１に向かってその前に立ち、本実施形態の姿勢推定装置１００をスタートさせると、まずステップＳ１０１が行われる。

（ステップＳ１０１）
ステップＳ１０１では、第一撮影部１０１と第二撮影部１０２により、その撮影視点の位置から撮影視野内に映る被写体までの距離が計測される。この時、第一撮影部１０１と第二撮影部１０２は同期しており、同じタイミングでの撮影が実行される。そして、その結果が距離情報として第一撮影部１０１の距離情報は第一人物領域抽出部１０３へ、第二撮影部１０２の距離情報３０５は第二姿勢推定部１０５へと送られ、処理はステップＳ１０２へと進む。

（ステップＳ１０２）
ステップＳ１０２では、第一人物領域抽出部１０３が第一撮影部１０２より受け取る距離情報に含まれる利用者の人体形状から、利用者のみの領域を抽出する。人物領域の抽出には背景差分や、フレーム間差分、フレーム間での画像中の動いている領域を抽出する方法を用いて人物領域を抜き出すことができる。そして、その抽出した人物領域画像３０４が第一姿勢推定部１０４へ送られ、処理はステップＳ１０３へと出力される。

（ステップＳ１０３）
ステップＳ１０３では、第一姿勢推定部１０４が第一人物領域抽出部１０３より受け取る利用者領域のみの距離情報４０７から、利用者の姿勢を三次元的に推定する。姿勢を推定する方法としては、あらかじめ距離情報と人物の姿勢（パーツの位置関係）の対応関係を大量に学習しておき、距離情報が入力されたら、その距離情報に対応する人物の姿勢を学習結果に基づいて決定する、といった方法がある。

そして、その姿勢推定結果４０８が第二姿勢推定部１０５へ送られ、処理はステップＳ１０４へと進む。

（ステップＳ１０４）
ステップＳ１０４では、第二姿勢推定部１０５が第一姿勢推定部１０４より受け取る姿勢に基づいて、第二撮影部１０２より受け取る利用者の人体形状を含む距離情報を用いて、利用の三次元の姿勢を推定する。この時、第二姿勢推定部１０５は第一姿勢推定部１０４から受けとった姿勢情報４０８と距離情報４０９から、姿勢情報４０８に三次元距離が近い距離情報の領域を同一人物として対応付ける。対応を付けたら、姿勢情報４０８の関節位置にあらかじめ用意した人物モデルを適用して、距離情報４０９の各点に対して人物モデルの各関節点との距離が近い点を選択して当てはめることで姿勢を推定することが出来る。この時、第一姿勢推定部１０４での姿勢推定時に各画素がどの関節に対応するか識別した結果を、対応する第二撮影部１０２の距離画像３０５の画素に割り当てて、識別値を信頼度として設定して、パーツの当てはめを行ってもよい。

また、可視画像で本ステップを実施する場合、あらかじめ第一撮影部２０１と第二撮影部２０２をキャリブレーションしておくことで、第一撮影部２０１で得られた姿勢情報を第二撮影部２０２の位置で映る大きさに変換する。変換した姿勢情報を第二撮影部で得られた画像内に映る範囲のみのパーツに限定して位置推定を行う。この時、推定には各パーツの色情報やエッジ情報を使ってパーツの確率分布を算出し、パーツの位置を推定する。推定したパーツに対応する関節位置を出力する。推定した姿勢４１０は出力され、ディスプレイなどに表示することで利用者に提示することができる。

その後の処理はステップＳ１０１へと戻り、姿勢推定装置１００の利用を終了するまで処理は続く。

以上の処理により、姿勢推定装置１００は利用者に対し、姿勢情報を提示することができる。第一撮影部１０１のみの姿勢推定結果では、カメラに対して遠い位置に利用者がいるため、距離情報では誤差があり、可視画像では映っている人物の領域が少ないためく、姿勢推定結果が間違ってしまう場合が多いが、第二撮影部１０２の距離情報により映っている部分の姿勢を再度推定しなおすことで、より正しい姿勢を推定することが可能となる。

本実施形態に係る姿勢推定装置６００の構成図を図６に示す。すなわち、姿勢推定装置６００は、第一撮影部６０１、第二撮影部６０２、第一人物領域抽出部６０３、第一姿勢推定部６０４、関節位置信頼度判定部６０５、第二姿勢推定部６０６を備える。

第一撮影部６０１は距離計測カメラで、その撮影視点（第一の視点とする）から撮影視野内に映る被写体までの距離を測り、その結果を距離情報として出力する。この距離情報とは、例えば計測距離値を画素値とした距離画像である。

第一撮影部６０１は、図７に示すように利用者７０３の全身が映るよう７０１のように配置される。

第一撮影部６０１が出力する距離情報８０４は、第一人物領域抽出部６０３へと出力される。

第二撮影部６０２は距離計測カメラで、その撮影視点（第一の視点とする）から撮影視野内に映る被写体までの距離を測り、その結果を距離情報として出力する。この距離情報とは、例えば計測距離値を画素値とした距離画像である。

第二撮影部６０２は、図７に示すように第一撮影部６０１に近い位置に配置されているが、利用者７０３の特定の部位を映すために７０２のように配置される。また、第二撮影部６０２は第一撮影部６０１と異なり、視野範囲は狭いが、より遠くの距離でも精度良く距離計測できるカメラを用いる。

第二撮影部６０２が出力する距離情報８０５は、第二姿勢推定部１０５へと出力される。

第一人物領域抽出部６０３は、第一撮影部６０１より距離情報を受け取って、利用者の領域を抽出する。

利用者の人体形状を含む人物領域を抽出する方法は、例えば、背景差分により抽出する方法や、フレーム間差分といったフレーム間で動いている領域を抽出する方法を用いる。

得られた人物領域画像８０６は第一姿勢推定部６０４へと出力される。

第一姿勢推定部６０４では第一人物領域画像８０６に対して姿勢推定処理を行う。姿勢推定の方法は、あらかじめ各姿勢における距離情報と関節位置の関係を大量に用意して学習しておき、人物領域画像８０６が入力されたら、その距離情報と学習した姿勢別の各画素の距離情報を比較することで、距離情報が一致する距離情報データを選択し、それに対応する関節位置を出力する、といった方法である。

図９に示すが、人物領域画像８０６に対して姿勢推定処理を行った結果、得られた姿勢情報９０８は関節位置信頼度判定部６０５と第二姿勢推定部６０６へと出力される。

関節位置信頼度判定部６０５が第一姿勢推定部６０４より受け取った姿勢推定結果９０８における各関節位置の信頼度を判定する。判定方法としては、第一姿勢推定部６０４において姿勢推定処理実行時に算出する各画素に識別結果を各関節毎に累計し、尤度を各関節ないしは胴体・腕・脚などのパーツ別に累計し、設定した閾値より高いかどうで判定する。本実施形態の場合、画像の脚部分が抽出されておらず脚の尤度が低いため、信頼度が低いと判定される。各関節位置の信頼度を判定した結果は第二姿勢推定部６０６へと送られる。

第二姿勢推定部６０６は第一姿勢推定部６０４から得られた利用者７０３の３次元の各関節位置を第二撮影部６０２から撮影している位置へと変換する。この変換は、第一撮影部６０１と第二撮影部６０２のキャリブレーションを行い、互いの３次元的な位置関係を既知としておくことで変換することが出来る。

姿勢推定処理には、あらかじめ用意した人体のモデルを第一姿勢推定部から取得した姿勢情報９０８へと適用し、そのパーツ（頭、手、足、胴など、人体を構成する部分）の位置および姿勢に対して関節位置信頼度判定部６０５から信頼度が低いと判定された関節が属するパーツのみ選択して行う。選択した脚パーツを三次元的に変更しながら、切り出したパーツの距離情報にあてはめる。切り出した人体領域に適切に人体モデルがあてはめられたら、その人体モデルで表現される人物の姿勢情報９１０を推定結果とする。

続いて、図１０に示したフローチャートを用いて、本実施形態における姿勢推定方法６００が行う処理について説明する。なお、同フローチャートに従ったプログラムコードは、本実施形態の方法内の、不図示のＲＡＭやＲＯＭなどのメモリに格納され、不図示のＣＰＵなどにより読みだされ、実行される。

図７に示すように、利用者７０３が第一撮影部７０１及び第二撮影部７０２に向かってその前に立ち、本実施形態の姿勢推定装置６００をスタートさせると、まずステップＳ１００１が行われる。

（ステップＳ１００１）
ステップＳ１００１では、第一撮影部６０１と第二撮影部６０２により、その撮影視点の位置から撮影視野内に映る被写体までの距離が計測される。この時、第一撮影部６０１と第二撮影部６０２は同期しており、同じタイミングでの撮影が実行される。そして、その結果が距離情報として第一撮影部６０１の距離情報８０４は人物領域抽出部６０３へ、第二撮影部６０２の距離情報８０５は第二姿勢推定部６０６へと送られ、処理はステップＳ１００２へと進む。

（ステップＳ１００２）
ステップＳ１００２では、人物領域抽出部６０３が第一撮影部６０２より受け取る距離情報８０５に含まれる利用者７０３の人体形状から、利用者７０３のみの領域を抽出する。領域の抽出方法には背景距離情報と撮影画像の差分を取る方法や特許文献３などの公知の技術を用いて抽出する。その抽出結果の距離画像８０６が第一姿勢推定部６０４へ送られ、処理はステップＳ１００３へと出力される。

（ステップＳ１００３）
ステップＳ１００３では、第一姿勢推定部６０４が人物領域抽出部１０３より受け取る利用者領域のみの距離情報８０６から、利用者の姿勢を三次元的に推定する。推定には、あらかじめ各姿勢における距離情報と関節位置の関係を大量に用意して学習しておき、人物領域画像８０６が入力されたら、その距離情報と学習した姿勢別の各画素の距離情報を比較することで、距離情報が一致する距離情報データを選択し、それに対応する関節位置を出力する。そして、その姿勢推定結果９０８が関節位置信頼度判定部６０５と第二姿勢推定部１００６へ送られ、処理はステップＳ１００４へと進む。

（ステップＳ１００４）
ステップＳ１００４では、関節位置信頼度判定部６０５が第一姿勢推定部６０４より受け取った姿勢推定結果９０８における各関節位置の信頼度を判定する。判定方法としては、第一姿勢推定部６０４において姿勢推定処理実行時に算出する各画素での距離情報の尤度を各関節ないしは胴体・腕・脚などのパーツ別に累計し、設定した閾値より高いかどうで判定する。本実施形態の場合、画像の脚部分が抽出されていないため、脚の尤度が低く、信頼度が低いと判定される。推定尤度判定した結果を第二姿勢推定部６０６へと送られ、処理はステップＳ１００５へと進む。

（ステップＳ１００５）
ステップＳ１００５では、第二姿勢推定部６０６が第一姿勢推定部６０４より受け取る姿勢と関節位置信頼度判定部６０５に基づいて、第二撮影部６０２より受け取る利用者７０３の人体形状を含む距離情報９０９を用いて、三次元の姿勢を推定する。姿勢の推定には、まず、姿勢情報９０８に三次元距離が近い距離情報の領域を同一人物として対応付ける。対応を付けたら、姿勢情報９０８の関節位置にあらかじめ用意した人物モデルを適用して配置し、関節位置信頼度判定部６０５から選択された関節に対応するパーツを選択する。選択されたパーツの中で、信頼度が高いパーツから距離情報９０９に対してパーツと三次元点の距離が近い点を選択して当てはめることで姿勢を推定することが出来る。推定を行う際、関節位置信頼度判定部６０５により脚の関節が低いと判定されているため、脚関節が属するパーツのみの姿勢推定を行う。

第二姿勢推定部６０６により推定した姿勢９１０は出力され、ディスプレイなどに表示することで利用者に提示することができる。

その後の処理はステップＳ１００１へと戻り、姿勢推定装置６００の利用を終了するまで処理は続く。

以上の処理により、姿勢推定装置６００は利用者に対し、姿勢情報を提示することができる。第一撮影部６０１のみを用いて姿勢推定した結果では、利用者はカメラに対して離れており、映っている人物の領域が少ないため、姿勢推定結果に誤差がある場合が多いが、第二撮影部６０２の距離情報９０９により映っている部分の姿勢を再度推定しなおすことで、特定の関節位置を推定することが可能となる。

本実施形態に係る姿勢推定装置１１００は、第一撮影部１１０１、第二撮影部１１０２、第一人物領域抽出部１１０３、第二人物領域抽出部１１０４、第一姿勢推定部１１０５、姿勢記録部１１０６、姿勢シミュレーション部１１０７、第二姿勢推定部１１０８、推定結果出力部１１０９を備える。

本実施形態における撮影状況例を図１２に示す。本実施形態では第一撮影部１１０１、第二撮影部１１０２が図１２のそれぞれ１２０１、１２０２のように並んで配置されている。この時、第一撮影部１１０１と第二撮影部１１０２の視野範囲は重なっていなくてもよい。利用者１２０３は第一撮影部１２０１の視野範囲から、第二撮影部１２０２の視野範囲へ歩いていく際の姿勢を推定する装置となっている。

第一撮影部１１０１は距離計測カメラで、その撮影視点（第一の視点とする）から撮影視野内に映る被写体までの距離を測り、その結果を距離情報として出力する。この距離情報とは、例えば計測距離値を画素値とした距離画像である。第一撮影部１１０１が出力する距離情報は、人物領域抽出部１１０３へと出力される。

第一人物領域抽出部１１０２は、第一撮影部１１０１より距離画像を受け取って、画像内の映る利用者の領域を抽出する。

利用者の人体形状を含む人物領域を抽出する方法は、例えば、背景差分により抽出する方法や、フレーム間差分、フレーム間での動く領域を抽出する方法などの一般的な方法を用いて人物領域を抽出する。

得られた人物領域画像は第一姿勢推定部１１０３へと出力される。

第一姿勢推定部１１０３は人物領域画像に対して姿勢推定処理を行う。姿勢推定の方法は、得られた姿勢情報は姿勢記録部１１０４と推定結果出力部１１０９へと出力される。

姿勢記録部１１０４は第一姿勢推定部１１０３から送られてきた姿勢情報と撮影時刻の情報を併せて記録する。記録された姿勢は姿勢シミュレーション部１１０５及び第二姿勢推定部１１０８へと出力される。

姿勢シミュレーション部１１０５は利用者１２０３が第一撮影部１１０１から第二撮影部１１０８の前を横切る際、図１２に示すように、利用者１２０３は撮影部１２０１、１２０２の前を横切る際、両撮影部の撮影範囲外に移動することがある。

姿勢記録部１１０４から新しい情報の姿勢を受け取り、利用者の動きによる各関節の三次元位置の変化を学習してモデル化した姿勢変化モデルに適用することで、現時刻における姿勢の予測を行う。

例えば、図１４に示すように、第一撮影部の視野内に映る人物を第一姿勢推定部１１０３で推定した時系列での姿勢１４０５、１４０６、１４０７をもとに、あらかじめ学習により取得した姿勢変化モデルを適用することで、姿勢情報１４０７から動いて次に来るであろう姿勢情報１４０８や１４０９を予測する。また、姿勢変化モデルに姿勢情報１４０５、１４０６、１４０７の結果から利用者の動きを適用することが出来る。例えば、各姿勢の関節毎やあらかじめ定義したパーツ毎（上腕や前腕、脚など）の三次元位置を対応付けて利用者１２０３の動き情報を作成し、姿勢変化モデルとの差分を算出して姿勢の予測を行う。そうすることで、利用者１２０３の動きに応じた姿勢を予測することができる。

姿勢予測結果１４０８、１４０９は姿勢記録部１１０４へ出力され、保存される。

第二撮影部１１０６は距離計測カメラで、その撮影視点（第一の視点とする）から撮影視野内に映る被写体までの距離を測り、その結果を距離情報として出力する。この距離情報とは、例えば計測距離値を画素値とした距離画像である。

本実施形態においても第一撮影部１１０１と第二撮影部１１０２は同期しており、同じタイミングで距離画像の撮影が実施される。

また、本実施形態では利用者は第一撮影部１１０１の視野範囲内から第二撮影部１１０６の視野範囲内へ移動するため、１３０４が取得した時間とは異なる時間に距離情報１３０５が撮影される。

第二撮影部１１０６が出力する距離情報は、第二人物領域抽出部１１０４へと出力される。

第二人物領域抽出部１１０７は、第二撮影部１１０２より距離画像を受け取って、画像内の映る利用者の領域を抽出する。

利用者の人体形状を含む人物領域を抽出する方法は、例えば、背景差分により抽出する方法や、フレーム間差分、フレーム間で動きがある領域を抽出する方法を用いて抽出する。

得られた人物領域画像１３０５は第二姿勢推定部１１０８へと出力される。

第二姿勢推定部１１０８は人物領域画像１３０５を受け取り、姿勢記録部１１０４に保存されている姿勢情報１４０９を受け取り、姿勢情報１４０９を初期値として姿勢推定処理を実行する。

図１５に示すように、姿勢推定には、あらかじめ用意した人体モデルを姿勢記録部１１０４から取得した姿勢情報１４０９の位置に変換して、第二人物領域抽出部１１０７から抽出した人物領域のみ距離画像１３０５を三次元の点群１５０５に変換し、三次元点群１５０５と人体モデルを各パーツ別に当てはめることで、姿勢１５１０を推定することができる。

推定した姿勢情報は推定結果出力部１１０９へと出力される。

推定結果出力部１１０９は第一姿勢推定部１１０３、姿勢記録部１１０４、第二姿勢推定部１１０８から姿勢情報を取得し、現時刻における利用者１２０３の姿勢を表すものを選択して出力する。

出力された姿勢情報はディスプレイなどをもちいて表示することでユーザに提示することができる。

また、本実施形態においては、利用者１２０３が第二撮影部１１０２の視野範囲内から第一撮影部１１０１の視野範囲内へと移動する場合も考えられる。その場合、第二姿勢推定部１１０８から姿勢情報が姿勢記録部１１０４へと出力され、第一姿勢推定部１１０３は姿勢記録部１１０４から受け取った姿勢情報を初期値として、人物領域画像に対して姿勢推定処理を行ってもよい構成となっている。

続いて、図１５に示したフローチャートを用いて、本実施形態における姿勢推定方法１１００が行う処理について説明する。なお、同フローチャートに従ったプログラムコードは、本実施形態の方法内の、不図示のＲＡＭやＲＯＭなどのメモリに格納され、不図示のＣＰＵなどにより読みだされ、実行される。

図１２に示すように、利用者１２０３が第一撮影部１１０１の視野範囲内に立ち、第一撮影部１１０１から第二撮影部１１０６の視野範囲内の方へ移動する時に、本実施形態の姿勢推定装置１１００をスタートさせる。姿勢推定装置１１００をスタートさせると、まずステップＳ１６０１が行われる。

（ステップＳ１６０１）
ステップＳ１６０１では第一撮影部１１０１と第二撮影部１１０２により、その撮影視点の位置から撮影視野内に映る被写体までの距離が計測される。この時、第一撮影部１１０１と第二撮影部１１０６は同期しており、同じタイミングでの撮影が実行される。

また、本実施形態では利用者１２０３は第一撮影部１１０１の視野範囲から第二撮影部１１０６の視野範囲へ移動するため、第一撮影部１１０１で撮影した距離情報１３０４が先に撮影され、第二撮影部１１０６で撮影した距離情報１３０５は後の時刻に撮影される。そして、その結果が距離情報として第一撮影部１１０１の距離情報１３０４は第一人物領域抽出部１１０２へ、第二撮影部１１０６の距離情報１３０５は第二人物領域抽出部１１０７へと送られ、処理はステップＳ１６０２へと進む。

（ステップＳ１６０２）
ステップＳ１６０２では第一撮影部１１０１で撮影した画像に対して第一人物領域抽出部１１０２が、第一撮影部１１０６で撮影した画像に対して第二人物領域抽出部１１０７が画像内の人物領域を抽出する。人物領域の抽出には、背景差分や、フレーム間差分、フレーム間で動きのある領域を抽出することで、人物領域を抜き出すことができる。抽出処理が完了すれば、処理はステップＳ１６０３へと進む。

（ステップＳ１６０３）
ステップＳ１６０３では第一人物領域抽出部１１０２での人物抽出結果を判定する。判定には第一人物領域部１１０２から受けとった画像内に人物領域があるかどうかで判定を行う。人物領域があれば処理はステップＳ１６０４へと進み、人物領域がなければ処理はステップＳ１６０６へと進む。

（ステップＳ１６０４）
ステップＳ１６０４では、第一人物領域画像を用いて、利用者１２０３の姿勢を推定する。推定方法は、あらかじめ各姿勢における距離情報と関節位置の関係を大量に用意して学習しておき、人物領域画像１３０４が入力されたら、その距離情報と学習した姿勢別の各画素の距離情報を比較することで、距離情報が一致する距離情報データを選択し、それに対応する関節位置を出力する。姿勢推定処理により、得られた姿勢情報は姿勢記録部１１０４へと送られ、姿勢記録部１１０４が第一姿勢推定部１１０３から受け取った姿勢情報をデータベースに記録する。姿勢の記録が終了すれば、処理はステップＳ１６０８へと進む。

（ステップＳ１６０５）
ステップＳ１６０５では第二人物領域抽出部１１０７での人物抽出結果を判定する。判定には第二人物領域部１１０７から受けとった画像内に人物領域があるかどうかで判定を行う。人物領域があれば、処理はステップＳ１６０６へと進み、抽出出来なければ処理はステップＳ１６０７へと進む。

（ステップＳ１６０６）
ステップＳ１６０６は第二姿勢推定部１１０８が姿勢記録部１１０４から姿勢情報を取得し、第二人物領域抽出部１１０７から得られる人物領域の距離画像を使って、姿勢推定を行う。姿勢推定方法としては、あらかじめ用意した人体モデルを姿勢記録部１１０４から取得した姿勢情報１４０９の位置に変換して、第二人物領域抽出部１１０７から抽出した人物領域のみ距離画像１３０５を三次元の点群１５０５に変換し、三次元点群１５０５と人体モデルを各パーツ別に当てはめる。この時、三次元点群１５０５の各三次元点は最も近い人体のパーツに割り当てられる。当てはめが終われば、姿勢１５１０を推定することができる。

得られた姿勢は推定結果出力部１１０９へと送られ、処理はステップＳ１６０８へと進む。

（ステップＳ１６０７）
ステップＳ１６０７では人物が映っていないと判定され、姿勢記録部１１０４から姿勢情報を取得し、姿勢シミュレーション部１１０５にて姿勢情報の予測が行われる。姿勢の予測には、姿勢記録部１１０４から取得した姿勢１４０５、１４０６，１４０７をあらかじめ学習した姿勢変化モデルに適用し、姿勢１４０５、１４０６，１４０７の各関節の位置変化から、次に来る姿勢情報１４０８や１４０９を予測する。姿勢シミュレーション部１１０５にて予測された利用者１２０３の姿勢予測結果１４０８、１４０９は姿勢記録部１１０４へと送られて保存され、処理はステップＳ１６０８へと進む。

（ステップＳ１６０８）
ステップＳ１６０８では第一姿勢推定部１１０３、姿勢記録部１１０４、第二姿勢推定部１１０８から推定した姿勢情報を取得し、現時刻における利用者１２０３の姿勢を表すものを選択して、提示する。

姿勢の選択方法としては、現時刻に最も近い時刻に推定処理を行った結果を選択するなどである。

その後の処理はステップＳ１６０１へと戻り、姿勢推定装置１１００の利用を終了するまで処理は続く。

以上の処理により、姿勢推定装置１１００は利用者に対し、姿勢情報を提示することができる。このように視野が重なっていない複数の撮影部を用いて姿勢推定する場合、一度視野範囲外に出てから別撮影部の視野内に入る場合、利用者が一部しか映っていなければ姿勢の推定が出来ない、左右の手足を間違えることがよくある。このような問題に対して、本実施形態では視野内に一部しか映っていない状態でも左右の手足を間違えることなく姿勢を推定することができる。

〔その他の実施形態〕
また、本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（ＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、そのプログラムをコンピュータが読み取り可能な記憶媒体に記憶して提供してもよい。なお、本装置のコンピュータには、入力部から処理を実行する指示を入力し、その指示した処理の結果を出力部で表示してもよい。

＜実施例の効果＞
本発明における第一の実施形態では、撮影部に対しいて離れた位置にいる利用者の姿勢を、近い撮影部により撮影していることで、部分的に姿勢を推定し直すことができる。
本発明における第二の実施形態では、第一姿勢推定部での関節位置の推定結果を利用して信頼度を判定することで、推定が出来ていない関節位置を第二撮影部の距離情報を使って姿勢を補正することができる。

本発明における第三の実施形態では、第一撮影部の姿勢推定結果を利用して視野外に移動した利用者の姿勢を予測することで、第二撮影部の視野内に入った時、利用者の一部しか映っていない場合でも左右の手足の関節位置を推定することが可能となる。

＜定義＞
本発明における撮影部は、本発明の利用者を含む現実空間を撮影するものであればどのようなものであっても良い。その例が、実施例１で示した距離撮影カメラや可視カメラであり、実施例２及び実施例３で示した距離撮影カメラである。撮影部は、それ以外の、赤外カメラであっても良いし、ラインカメラであっても良いし、紫外カメラであっても良い。

本発明における人物領域抽出部は、本発明における撮影部が撮影する画像中に映る人物を抽出する方法であれば。どのようなものであっても良い。その例が、背景差分であったり、フレーム間差分であったり、フレーム間で動きのある領域のみを抽出する、などの方法である。

本発明における姿勢推定部は、画像中に映る利用者の姿勢を推定するものであれば、どのようなものでもよい。画像が距離画像であれば非特許文献２などの方法で、姿勢を推定する。

本発明における姿勢記録部は、本発明の利用者の姿勢を記録するものであれば、どのようなものであっても良い。例えばＲＡＭ等の短期記憶媒体であっても良いし、不揮発メモリやＨＤＤ等の長期記憶媒体であっても良い。

本発明における姿勢シミュレーション部は、姿勢推定部から得られた姿勢をもとに、あらかじめ学習した姿勢の変動モデルを使って、姿勢を予測する方法であればどのようなものでもよい。姿勢変化モデルについては、姿勢記録部に保存されている利用者の複数の姿勢情報から、各パーツ別に動き情報を取得して動きモデルを作成し、姿勢変化モデルの各パーツに適用することもできる。

本発明は、リハビリ運動時の姿勢を推定する目的において利用できる。また、リハビリ運動だけでなく、スポーツ運動やダンス運動、さらには、着衣や接遇動作時の姿勢を推定する目的に利用できる。

１０１ 第一撮影部、１０２ 第二撮影部、１０３ 人物領域抽出部、
１０４ 第一姿勢推定部、１０５ 第二姿勢推定部

Claims (19)

1. 第一撮影部と、
   第二撮影部と、
   前記第一撮影部から得られる画像に対して人物領域を抽出する第一人物領域抽出部と、
   前記第一人物領域抽出部が抽出する領域に映る人物の姿勢を推定する第一姿勢推定部と、
   前記第一姿勢推定部の結果および前記第二撮影部から得られる画像に基づいて前記人物の姿勢を推定する第二姿勢推定部と、を備えることを特徴とする姿勢推定装置。
2. 前記第二姿勢推定部が、前記第二撮影部の撮影する関節の位置を推定することを特徴とする請求項１に記載の姿勢推定装置。
3. 前記第二姿勢推定部が、前記第二撮影部の撮影しない関節の位置の推定結果を、前記第一姿勢推定部の結果と同じにすることを特徴とする請求項１に記載の姿勢推定装置。
4. 前記第一姿勢推定部の推定結果の信頼度を関節毎に判定する関節位置信頼度判定部を備えることを特徴とする請求項１に記載の姿勢推定装置。
5. 前記第二姿勢推定部が、前記関節位置信頼度判定部において信頼度の低いと判定した関節の位置を推定することを特徴とする請求項４に記載の姿勢推定装置。
6. 前記第二姿勢推定部が、前記関節位置信頼度判定部において信頼度の高いと判定した関節の位置の推定結果を、前記第一姿勢推定部の結果と同じにすることを特徴とする請求項４に記載の姿勢推定装置。
7. 前記第一姿勢推定部の姿勢推定結果を記録する姿勢記録部と、
   前記姿勢記録部に記録される姿勢推定結果に基づき前記第一撮影部の撮影範囲外における前記人物の関節の位置を予測する姿勢シミュレーション部と、を備え、
   前記第二姿勢推定部が前記姿勢シミュレーション部による姿勢予測結果および前記第二撮影部から得られる画像に基づいて前記人物の姿勢を推定することを特徴とする請求項１又は請求項２に記載の姿勢推定装置。
8. 前記姿勢記録部が前記姿勢シミュレーション部の姿勢予測結果を記録することを特徴とする請求項７に記載の姿勢推定装置。
9. 前記姿勢シミュレーション部が、時系列での人の姿勢変化モデルを利用して姿勢推定することを特徴とする請求項７又は請求項８に記載の姿勢推定装置。
10. 第一撮影部と、
    第二撮影部と、
    前記第一撮影部から得られる画像に対して人物領域を抽出する第一人物領域抽出部と、
    前記第一人物領域抽出部が抽出する領域に映る人物の姿勢を推定する第一姿勢推定部と、
    前記第一姿勢推定部の結果および前記第二撮影部から得られる画像に基づいて前記人物の姿勢を推定する第二姿勢推定部と、を備えることを特徴とする姿勢推定方法。
11. 前記第二姿勢推定部が、前記第二撮影部の撮影する関節の位置を推定することを特徴とする請求項１０に記載の姿勢推定方法。
12. 前記第二姿勢推定部が、前記第二撮影部の撮影しない関節の位置の推定結果を、前記第一姿勢推定部の結果と同じにすることを特徴とする請求項１０に記載の姿勢推定方法。
13. 前記第一姿勢推定部の推定結果の信頼度を関節毎に判定する関節位置信頼度判定部を備えることを特徴とする請求項１０に記載の姿勢推定方法。
14. 前記第二姿勢推定部が、前記関節位置信頼度判定部において信頼度の低いと判定した関節の位置を推定することを特徴とする請求項１３に記載の姿勢推定方法。
15. 前記第二姿勢推定部が、前記関節位置信頼度判定部において信頼度の高いと判定した関節の位置の推定結果を、前記第一姿勢推定部の結果と同じにすることを特徴とする請求項１３に記載の姿勢推定方法。
16. 前記第一姿勢推定部の姿勢推定結果を記録する姿勢記録部と、
    前記姿勢記録部に記録される姿勢推定結果に基づき前記第一撮影部の撮影範囲外における前記人物の関節の位置を予測する姿勢シミュレーション部と、を備え、
    前記第二姿勢推定部が前記姿勢シミュレーション部による姿勢予測結果および前記第二撮影部から得られる画像に基づいて前記人物の姿勢を推定することを特徴とする請求項１０又は請求項１１に記載の姿勢推定方法。
17. 前記姿勢記録部が前記姿勢シミュレーション部の姿勢予測結果を記録することを特徴とする請求項１６に記載の姿勢推定方法。
18. 前記姿勢シミュレーション部が、時系列での人の姿勢変化モデルを利用して姿勢推定することを特徴とする請求項１６又は請求項１７に記載の姿勢推定方法。
19. 請求項１０乃至請求項１８の何れか一項に記載の姿勢推定方法の各工程をコンピュータに実行させることを特徴とするプログラム。