JP2014522035A

JP2014522035A - オブジェクト姿勢検索装置及び方法

Info

Publication number: JP2014522035A
Application number: JP2014522730A
Authority: JP
Inventors: インユ，ビョン; ギュチェー，チャン; ジュンハン，ジェ
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2011-07-27
Filing date: 2012-06-21
Publication date: 2014-08-28
Anticipated expiration: 2032-06-21
Also published as: EP2737418A1; EP2737418A4; KR20130013122A; WO2013015528A1; CN103718175B; KR101815975B1; US9098740B2; CN103718175A; US20130028517A1; JP6025845B2

Abstract

【課題】オブジェクト姿勢検索装置及び方法が開示される。
【解決手段】オブジェクト姿勢検索方法は、オブジェクトのキージョイントデータを抽出し、抽出されたキージョイントデータを用いて候補姿勢を生成し、生成された候補姿勢を用いてデータベースを用いて最大類似姿勢を検索する。
【選択図】図１

Description

オブジェクト姿勢を検索する装置及び方法に関する。

日常生活で人は２つの目を使用しているため遠距離の解像度が低い人体姿勢（ｈｕｍａｎｂｏｄｙｐｏｓｅ）であっても良好に認知することができる。しかし、コンピュータビジョンシステムにおいて人体姿勢を認知する方法は、多様な分野で要求されているものの解決されない難しい問題である。

従来これを解決するためモデルに基づいた方法が用いられた。しかし、従来方法は、ヨガやストレッチングのように胴体部に対するかみ合わせ（Ｏｃｃｌｕｓｉｏｎ）が多く、座ったり横になって行う複雑な姿勢を推定するには適用し難しい問題があった。また、モデル基盤の従来方法は、一般的に高い計算を要求するため埋め込み（Ｅｍｂｅｄｄｅｄ）環境に適用し難く、はやい動作の場合はトラッキングが難しく、分割エラーに対して強靱でないという短所がある。

本発明は、オブジェクト姿勢検索装置及び方法を提供する。

一実施形態に係るオブジェクト姿勢検索装置は、映像を分析することによって、前記映像内オブジェクトのキージョイントに対するキージョイントデータを検索するキージョイント検索部と、１つまたはそれ以上のオブジェクトのポテンシャル姿勢を示すオブジェクト姿勢を格納するデータベースと、前記検索されたキージョイントデータに基づいて、前記オブジェクト姿勢のうち前記オブジェクトの実際姿勢と類似度が最も高い最大類似姿勢を検索する姿勢検索部とを備える。

一実施形態に係るオブジェクト姿勢検索方法は、映像内オブジェクトのキージョイントに対するキージョイントデータを検索するために前記映像を分析するステップと、前記検索されたキージョイントデータに基づいて、１つまたはそれ以上のオブジェクトのポテンシャル姿勢を示すオブジェクト姿勢を格納するデータベースから前記オブジェクトの実際姿勢と類似度が最も高い最大類似姿勢を検索するステップとを含む。

オブジェクトに対するキージョイントデータを抽出し、抽出されたキージョイントデータを用いて候補姿勢を生成し、生成された候補姿勢を用いてデータベースから最大類似姿勢を検索することで算出量を減すと共に、埋め込み環境にも適用され得る。

また、キージョイントデータを検索する様々な方法を提供することによって、複雑な姿勢についても認識率を高めることができる。

また、キージョイントデータ及びデータベースを用いることによって別途の姿勢トラッキング過程を含むことなく、したがって、はやい動作に対して最大類似姿勢を容易に検索することができ、カメラの入力速度よりも高い速度でオブジェクトスケルトンを生成することができる。

一実施形態に係るオブジェクト姿勢検索装置の構成を示す図である。一実施形態に係るオブジェクト及びキージョイントを示す図である。一実施形態に係るオブジェクト及びキージョイントを示す図である。一実施形態に係るオブジェクト姿勢検索装置においてキージョイント検索部の動作を示す図である。キージョイント検索部の他の実施形態を示す図である。キージョイント検索部の他の実施形態を示す図である。一実施形態に係るオブジェクト姿勢検索装置において前処理部の動作を示す図である。一実施形態に係るオブジェクト姿勢検索装置において前処理部の動作を示す図である。一実施形態に係るオブジェクト姿勢検索装置において姿勢検索部の動作を示す図である。一実施形態に係るオブジェクトスケルトンを示す図である。一実施形態に係るオブジェクトスケルトンを示す図である。一実施形態に係るオブジェクト姿勢検索装置において後処理部の動作を示す図である。一実施形態に係るオブジェクト姿勢検索装置においてモデル基盤トラッキング部の動作を示す図である。一実施形態に係るオブジェクト姿勢検索装置において姿勢検索部が加重値を用いて最大類似姿勢を検索する動作を示す図である。一実施形態に係るオブジェクト姿勢検索方法を示すフローチャートである。一実施形態に係るプロセシング装置を含む１つまたはそれ以上のオブジェクト姿勢検索装置が他のプロセシング装置と通信する動作を示す図である。一実施形態に係るプロセシング装置を含む１つまたはそれ以上のオブジェクト姿勢検索装置が他のプロセシング装置と通信する動作を示す図である。

以下、実施形態を添付する図面を参照しながら詳細に説明する。しかし、本発明が実施形態によって制限されたり限定されることはない。各図面に提示された同一の参照符号は同一の部材を示す。

図１は、一実施形態に係るオブジェクト姿勢検索装置の構成を示す図である。図１を参照すると、オブジェクト姿勢検索装置は、深さ映像１０２からオブジェクト１０１のキージョイントデータを検索する。また、オブジェクト姿勢検索装置は、検索されたキージョイントデータに基づいてデータベース１２０を用いてオブジェクト１０１と類似度の最も高い最大類似姿勢を検索してもよい。したがって、オブジェクト姿勢検索装置は、オブジェクト１０１と最も類似の姿勢を検索する。以下、一実施形態に係るオブジェクト姿勢検索装置の各構成の動作に対して詳細に説明する。

一実施形態に係るオブジェクト姿勢検索装置は、キージョイント検索部１１０、データベース１２０及び姿勢検索部１３０を備える。キージョイント検索部１１０は、深さ映像１０２からオブジェクト１０１のキージョイントデータを検索する。オブジェクト１０１は、カメラからリアルタイム入力されるリアルタイム映像または予め記録された映像に含まれる人、物などを示す。キージョイントは、オブジェクト１０１のエンドパート（ＥｎｄＰａｒｔ、端部）、主要関節、連結部品などであってもよい。

データベース１２０は、オブジェクトと関連するオブジェクト姿勢を格納する。オブジェクト姿勢は、オブジェクトが一般的に取れる姿勢に関する情報を含んでもよい。オブジェクト姿勢は、オブジェクトに対して予め設定されたデフォルトキージョイントが１つも重ならない状態の姿勢を示す。デフォルトキージョイントは、図２を参照すると、オブジェクトの頭２１１、両手２１２、２１３及び両足２１４、２１５を含んでもよい。他の実施形態によって、オブジェクト姿勢は、オブジェクトが現実世界で頻繁に取る姿勢のうちの選定された姿勢であってもよく、ここで、オブジェクト姿勢検索装置のユーザは、選定された姿勢をオブジェクト姿勢に設定してもよい。

姿勢検索部１３０は、キージョイントデータに基づいてデータベース１２０を用いてオブジェクト１０１と類似度の最も高い最大類似姿勢を検索する。

姿勢検索部１３０で最大類似姿勢を検索する方法は、様々な方法で実施可能である。例えば、姿勢検索部１３０は、少なくとも１つ以上の候補姿勢を生成し、生成された候補姿勢を用いて最大類似姿勢を検索してもよい。

姿勢検索部１３０で少なくとも１つ以上の候補姿勢を生成する実施形態では、キージョイントデータに制約逆運動学（ＣｏｎｓｔｒａｉｎｔＩｎｖｅｒｓｅＫｉｎｅｍａｔｉｃｓ（ＩＫ））を適用してオブジェクト１０１に対する候補姿勢を生成する方法と、キージョイントデータに基づいてデータベース１２０からオブジェクト１０１の候補姿勢を統計的に少なくとも１つ以上を抽出して生成する方法とが挙げられる。候補姿勢を生成する具体的な説明は後述することにする。

また、姿勢検索部１３０で生成された候補姿勢を用いて最大類似姿勢を検索する方法の実施形態として、データベース１２０を用いて候補姿勢と類似度の最も高い姿勢を最大類似姿勢として検索してもよく、他の実施形態として、加重値を用いて生成された候補姿勢から最大類似姿勢を検索してもよい。最大類似姿勢を検索する具体的な説明は後述することにする。

オブジェクト姿勢検索装置は、前処理部１４０をさらに備えてもよい。前処理部１４０は、カメラからリアルタイム入力されるリアルタイム映像または予め記録された映像からオブジェクトを抽出してもよい。

また、オブジェクト姿勢検索装置は、後処理部１５０をさらに備えてもよい。後処理部１５０は、姿勢検索部１３０によって検索された最大類似姿勢に対して姿勢ワーピング（ＰｏｓｅＷａｒｐｉｎｇ）を行ってもよい。また、後処理部１５０は、姿勢ワーピングされた最大類似姿勢に対して高速サンプリングしてもよい。他の実施形態によって後処理部１５０は、オブジェクトに対する運動量を算出してもよい。

また、オブジェクト姿勢検索装置は、モデル基盤トラッキング部１６０をさらに備えてもよい。モデル基盤トラッキング部１６０は、データベースに格納されたオブジェクトと関連するモデルに基づいてオブジェクト姿勢をトラッキングしてもよい。

図２及び図３は、一実施形態に係るオブジェクト及びキージョイントを示す図である。図２及び図３を参照すると、オブジェクトが人２１０である場合、キージョイントは頭２１１、両手２１２、２１３及び両足２１４、２１５であってもよい。単なる一例として、頭２１１、両手２１２、２１３及び両足２１４、２１５のうち少なくとも１つの先端部分が人２１０の他の部分によって隠された、つまり遮られた場合、キージョイントは見える身体部分のうち身体の別のエンドパート（例えば膝、ヒジ、腰など）になる。例えば、第１姿勢３２０の場合、両手２１２、２１３と頭２１１が重なるため、キージョイントはヒジ３２１をさらに含んでもよい。また、第２姿勢３３０の場合、１つの手２１２と一足２１４が重なるため、キージョイントは膝３３１をさらに含んでもよい。また、第３姿勢３４０の場合、両手２１２、２１３が互いに重なり、両足２１４、２１５が互いに重なるため、キージョイントは尻３４１をさらに含んでもよい。また、第４姿勢３５０の場合、両手２１２、２１３が互いに重なり、両足２１４、２１５が互いに重なるため、キージョイントは膝３５１をさらに含んでもよい。

図２に示すように、キージョイントが重ならない単純な姿勢とは異なって、オブジェクトは図３に示すように、キージョイントが重なる複雑な姿勢も含む。例えば、第１姿勢３２０、第２姿勢３３０、第３姿勢３４０及び第４姿勢３５０などのように、手または足が１ヶ所に集まり、キージョイントが重なる複雑な姿勢の場合は、見える身体部分のうち従来におけるキージョイントと類似位置にある身体エンドパートを新しいキージョイントとして含んでもよい。

以下、図４ないし図１４及び図１６Ａ、図１６Ｂを参照して、一実施形態に係るオブジェクト姿勢検索装置の各構成の動作について詳細に説明する。

図４は、一実施形態に係るオブジェクト姿勢検索装置において、キージョイント検索部１１０の動作を示す図である。図４を参照すると、ステップ４１０は、オブジェクト４０１のエンドポイントを検索する動作を示す。ここで、ステップ４１０は、キージョイント検索部１１０で行われる。実施形態によってキージョイント検索部１１０は、３次元連結構成要素（３ＤＣｏｎｎｅｃｔｅｄＣｏｍｐｏｎｅｎｔ）を用いてオブジェクト４０１のエンドポイントを検索してもよい。エンドポイントは、オブジェクト４０１の身体の先部分（例えば、脳天、指先、つま先など）を意味し、また、エンドパートはエンドポイントに対応する身体の部位（例えば、頭、手、足など）を意味する。

ステップ４１２は、エンドポイントを検索する動作を繰り返し行うことによって、エンドポイントの検索率を向上させる動作を示す。ここで、ステップ４１２は、キージョイント検索部１１０で行われる。例えば、キージョイント検索部１１０がエンドポイントを検索する動作を１回行った場合の映像４１１を参照すると、頭先（脳天）、指先、つま先、股の他にも、わき腹、肩、膝などの部分もエンドポイントとして検索される。しかし、キージョイント検索部１１０がエンドポイントを検索する動作を繰り替えし行った場合の映像４１３を参照すると、頭の先端、指先、つま先、股の部分のみがエンドポイントとして検索されることから、検索率を向上することができる。

ステップ４２０はエンドポイントに対する検索が完了すると、オブジェクト４０１の深さ映像からエンドポイントに対応するエンドパートの映像を分割する動作を示す。ここで、ステップ４２０は、キージョイント検索部１１０で行われる。映像４２１は、深さ映像から分割されたエンドポイントに対応する頭、手、足、股のエンドパートに対する映像の実施形態を示す。

ステップ４３０は、分割された映像４２１に対して正規化作業を行う動作を示す。ここで、ステップ４３０は、キージョイント検索部１１０で行われる。エンドパートに対する分割された映像４２１は、同じエンドパートであってもオブジェクト４０１の姿勢に応じて、方向、角度、上下などが互いに異なることがある。例えば、同一の頭に対する映像でも、オブジェクト４０１がどのような方向を眺めていたかに応じて頭の方向が異なる。したがって、キージョイント検索部１１０は、エンドパートの特徴の抽出正確度を高めるために、分割された映像４２１を同じ姿勢に合わせる正規化作業を行う。

ステップ４４０は、正規化された映像４３１からエンドパートの特徴を抽出する動作を示す。ここで、ステップ４４０は、キージョイント検索部１１０で行われる。実施形態によって、キージョイント検索部１１０は、正規化された映像４３１からエンドパートに対するＨａａｒｌｅｔ、ｃｕｒｖａｔｕｒｅ、ＨｏＧ（ＨｉｓｔｏｇｒａｍｏｆＧｒａｄｉｅｎｔ）などの形状基盤の特徴を抽出してもよい。他の実施形態によってキージョイント検索部１１０は、正規化された映像４３１からエンドパートに対する３ＤＨａａｒｌｅｔ、Ｌｅｖｅｌｓｅｔｆｅａｔｕｒｅなどのような３次元特徴を抽出してもよい。

ステップ４５０は、キージョイントデータの検索の正確度を高めるために、抽出された特徴に基づいてエンドパートに対して分類作業を行う動作を示す。ここで、ステップ４５０は、キージョイント検索部１１０で行われる。すなわち、キージョイント検索部１１０は、抽出された特徴に基づいてエンドパートがいかなる部位に属するかを判断して分類してもよい。例えば、抽出された特徴が頭であると判断される場合、キージョイント検索部１１０はエンドパートを頭に分類してもよい。実施形態によってキージョイント検索部１１０は、学習されたＡｄａｂｏｏｓｔ、Ｄｅｃｉｓｉｏｎｔｒｅｅ、Ｒａｎｄｏｍｆｏｒｅｓｔｃｌａｓｓｉｆｉｅｒなどを用いてエンドパートに対する分類作業を行ってもよい。映像４５１は分類されたエンドパートの実施形態を示す。

ステップ４６０は、分類されたエンドパート４５１の３次元位置を算出してオブジェクト４０１のキージョイントデータを検索する動作を示す。ここで、ステップ４６０は、キージョイント検索部１１０で行われる。実施形態によってキージョイント検索部１１０は、ｃｅｎｔｒａｌｍｏｍｅｎｔ、ｓｐａｔｉａｌｍｏｍｅｎｔ、ｍｅａｎ−ｓｈｉｆｔｅｓｔｉｍａｔｏｒなどを用いて、分類されたエンドパート４５１の２次元位置または３次元位置を算出する。また、キージョイント検索部１１０は、Ｋａｌｍａｎｅｓｔｉｍａｔｉｏｎなどのようなフィルタを介して算出された３次元位置を補正してもよい。

図５及び図６は、キージョイント検索部１１０の他の実施形態を示す図である。図５及び図６を参照すると、キージョイント検索部は、オブジェクトに対する特徴を抽出してキージョイントデータを検索する。

図５を参照すると、ステップ５１０は、オブジェクト５０１の深さ映像からオブジェクト５０１の３次元シルエット特徴（３ＤＳｉｌｈｏｕｅｔｔｅＦｅａｔｕｒｅ）を抽出する動作を示す。ここで、ステップ５１０はキージョイント検索部１１０で行われ、また、後述するステップ５２０〜ステップ５４０もキージョイント検索部１１０で行われる。映像５１１は、オブジェクト５０１の３次元シルエット特徴の実施形態を示す。

ステップ５２０は、３次元シルエット特徴５１１に基づいてオブジェクト５０１の姿勢を分類する動作を示す。

ステップ５３０は、分類された姿勢に対応する姿勢クラスＩＤに基づいて、データベース１２０からオブジェクト５０１のキージョイントデータを検索する動作を示す。例えば、キージョイント検索部１１０は、データベース１２０に格納された複数の姿勢のうち、分類された姿勢に対応する姿勢クラスＩＤを有する姿勢を検索し、検索された姿勢からキージョイントデータを検索してもよい。実施形態によってキージョイント検索部１１０は、データベース１２０の他に別に実現される、姿勢クラスＩＤ及びキージョイント位置をマッチングして格納する第２データベースを用いてキージョイントデータを検索してもよい。

ステップ５４０は、分類された姿勢の３次元位置を算出してオブジェクト５０１のキージョイントデータを検索する動作を示す。したがって、上述したステップ５１０〜ステップ５４０を行うことによって、キージョイント検索部１１０はオブジェクト５０１に対するキージョイントデータを検索することができる。

図６を参照すると、ステップ６１０は、オブジェクト６０１の深さ映像からオブジェクト６０１の３次元レベルセット特徴を抽出する動作を示す。ここで、ステップ６１０はキージョイント検索部１１０で行われ、また、後述するステップ６２０〜ステップ６４０もキージョイント検索部１１０で行われる。映像６１１は、オブジェクト６０１に対する３次元レベルセット特徴の実施形態を示す。

ステップ６２０は、３次元レベルセット特徴６１１に基づいてオブジェクト６０１の姿勢を分類する動作を示す。

ステップ６３０は、分類された姿勢に対応する姿勢クラスＩＤに基づいて、データベース１２０からオブジェクト６０１のキージョイントデータを検索する動作を示す。例えば、キージョイント検索部１１０は、データベース１２０に格納された複数の姿勢のうち、分類された姿勢に対応する姿勢クラスＩＤを有する姿勢を検索し、検索された姿勢からキージョイントデータを検索してもよい。実施形態によってキージョイント検索部１１０は、データベース１２０の他に別に実現される、姿勢クラスＩＤ及びキージョイント位置をマッチングして格納する第２データベースを用いてキージョイントデータを検索してもよい。

ステップ６４０は、分類された姿勢の３次元位置を算出してオブジェクト６０１のキージョイントデータを検索する動作を示す。したがって、上述したステップ６１０〜ステップ６４０を行うことによって、キージョイント検索部１１０はオブジェクト６０１のキージョイントデータを検索することができる。

オブジェクト姿勢検索装置のキージョイント検索部１１０は、図５及び図６を参照して説明した３次元シルエット特徴及び３次元レベルセット特徴の他に、オブジェクトの深さ映像から３Ｄシルエット特徴を抽出することができる。

また、オブジェクト姿勢検索装置のキージョイント検索部１１０は、抽出された特徴に基づいてオブジェクト姿勢を分類する方法でｔｅｍｐｌａｔｅｍａｔｃｈｉｎｇ、ｄｅｃｉｓｉｏｎｔｒｅｅ、ｎｅｕｒａｌｎｅｔｗｏｒｋ、ｒａｎｄｏｍｆｏｒｅｓｔなどのアルゴリズムを用いてもよい。

図４〜図６を参照して説明したオブジェクト姿勢検索装置のキージョイント検索部は、前処理部で抽出されたオブジェクトを用いてオブジェクトのキージョイントデータを検索することができる。以下、図７及び図８を参照して、一実施形態に係るオブジェクト姿勢検索装置において前処理部の動作について詳細に説明する。

前処理部１４０は、より正確な姿勢を検出するためにキージョイント検索部１１０に入力される映像を先に加工する機能を行う。例えば、前処理部１４０は、背景と前景（オブジェクト）が共にある映像から前景（オブジェクト）のみを分離して出力してもよく、他の例として、映像ごとにそれぞれ異なるスケールを正規化して出力してもよい。前者の場合について図７を参照して説明し、後者の場合については図８を参照して説明する。

図７を参照すると、ステップ７１０は、カメラからリアルタイム入力されるリアルタイム映像または予め記録された映像（以下、「入力映像」という）７０２が入力される動作を示す。ここで、ステップ７１０は前処理部１４０で行われる。また、後述するステップ７２０及びステップ７３０も前処理部１４０で行われる。

ステップ７２０は、入力映像７０２から背景を学習する動作を示す。実施形態によって、前処理部１４０は背景を学習するために、入力映像７０２の一定フレーム数の深さシーケンスで平均背景深さマップを記録してもよい。また、前処理部１４０は、入力映像７０２のピクセルごとに深さ値がカメラに近いか否かを判断し、ピクセルの深さ値がカメラに近いと判断される場合、深さ値がカメラに近いと判断されるピクセルを前景ピクセルとして算出してもよい。また、前処理部１４０は、学習された背景をデータベース７３１に格納してもよい。映像７３２は学習された背景の実施形態を示す。

ステップ７３０は、学習された背景を用いて入力映像７０２から前景を区分するために、背景を除去（ＢａｃｋｇｒｏｕｎｄＳｕｂｔｒａｃｔｉｏｎ）する動作を示す。すなわち、前処理部１４０は、学習された背景を用いて入力映像７０２から背景を除去し、前景のオブジェクト７４０を出力する。

図８を参照すると、ステップ８１０は、入力映像７０２から出力されたオブジェクト８０１のノイズを除去する動作を示す。ここで、ステップ８１０は、前処理部１４０で行われ、後述するステップ８２０及びステップ８３０も前処理部１４０で行われる。実施形態によって前処理部１４０は、ＨｏｌｅＦｉｌｌｉｎｇなどのノイズの除去作業を行ってオブジェクト８０１のノイズを除去してもよい。他の実施形態によって前処理部１４０は、カメラのＦｏＶ、障害物などにより切られたオブジェクト８０１身体の一部を復元してもよい。映像８１１は復元された深さ映像形状の一実施形態を示す。

ステップ８２０は、復元された映像８１１に対してスケール正規化を行う動作を示す。実施形態によって前処理部１４０は、基準比率ｓＸ、ｓＹに合わせて復元された映像８１１に対してスケール正規化を行う。したがって、前処理部１４０をスケール正規化することによって、ユーザは人の身体比率、カメラからの距離に関わらず同じセンシング／認識性能を期待することができる。映像８２１は、スケール正規化が適用された映像の実施形態を示す。

ステップ８３０は、スケール正規化された映像８２１に対してローテーション正規化を行う動作を示す。実施形態によって、前処理部１４０は、スケール正規化された映像８２１のメイン軸をピクセルベクトル空間を対象としたＰＣＡ（ＰｒｉｍａｒｙＣｏｍｐｏｎｅｎｔＡｎａｌｙｓｉｓ）などの適用によって主軸を算出し、基準軸に合わせて回転するローテーション正規化を行うことで、位置及び方向に関わらず同じセンシング／認識性能を期待することができる。映像８３１は、ローテーション正規化の適用された映像の実施形態を示す。実施形態によって映像８３１は、オブジェクト姿勢検索装置のキージョイント検索部１１０から入力されてもよい。

図９は、一実施形態に係るオブジェクト姿勢検索装置において、姿勢検索部の動作を示す図である。図９を参照すると、ステップ９１０は、キージョイントデータに基づいてオブジェクト９０１の候補姿勢を生成する動作を示す。ここで、ステップ９１０は、姿勢検索部１３０で行われる。後述するステップ９２０〜ステップ９５０も姿勢検索部１３０で行われる。実施形態によって姿勢検索部１３０は、２つ以上の候補姿勢を生成してもよい。

姿勢検索部１３０は、生成された候補姿勢から最大類似姿勢を検索する。例えば、姿勢検索部１３０は、生成された候補姿勢の姿勢自然性値を演算する過程により最大類似姿勢を検索してもよい。他の方法として、姿勢検索部１３０は、生成された候補姿勢の姿勢尤度値（ＰｏｓｅＬｉｋｅｌｉｈｏｏｄＶａｌｕｅ）を演算する過程により最大類似姿勢を検索してもよい。更なる方法として、姿勢検索部１３０は、生成された候補姿勢に対する姿勢自然性値及び姿勢尤度値を演算し、演算された２種類の値を総合的に考慮して最大類似姿勢を検索してもよい。姿勢検索部１３０が姿勢尤度値を演算して最大類似姿勢を検索する動作についてはステップ９２０を参照して後述する。また、姿勢検索部１３０が姿勢自然性値を演算して最大類似姿勢を検索する動作についてはステップ９３０を参照して後述する。

姿勢検索部１３０が複数の候補姿勢を生成する場合、姿勢検索部１３０は、複数の候補姿勢を加重値和して最大類似姿勢を検索してもよい。ここで、加重値和して最大類似姿勢を検索する方法の実施形態として、（１）複数の候補姿勢のうち閾値以上となる候補姿勢を選別し、選別された候補姿勢を加重値和して最大類似姿勢を検索する方法、（２）複数の候補姿勢全てに対して基準値との差を演算し、演算された差を加重値和して最大類似姿勢を検索する方法などが挙げられる。

ステップ９２０は、生成された候補姿勢に対する姿勢尤度値を演算する動作を示す。実施形態によって、姿勢検索部１３０は、演算された姿勢尤度値が最も高い候補姿勢を最大類似姿勢として検索する。姿勢検索部１３０は、下記の数式（１）を用いて姿勢尤度値を演算してもよい。

ここで、Ｃ：生成された候補ポーズのジョイント位置の集合、
Ｄ：入力映像で候補ポーズのジョイント位置の深さ値の集合、
Ｌ：姿勢尤度値
数式（１）を参考すると、Ｃ及びＤ間の差が小さいほど姿勢尤度値Ｌは１に近く、差が大きいほど０に近い値に演算される。

ステップ９４０は、データベース９３０に基づいて候補姿勢の姿勢自然性値を演算する動作を示す。実施形態によってデータベース９３０は、図１に示すデータベース１２０と同じデータベースであってもよい。姿勢検索部１３０は、各候補姿勢Ｃの確率値をデータベース９３０を用いて演算してもよく、このような確率値を姿勢自然性値と見なし得る。候補姿勢の確率値算出に用いられるデータベース９３０は学習された統計モデルを格納してもよく、特定姿勢群の統計モデルが集まって数十〜数百個以上の姿勢群の統計モデルを格納してもよい。

データベース９３０に格納された統計モデルは、一例として、因子分析器（ＦａｃｔｏｒＡｎａｌｙｚｅｒ）であってもよく、この場合に数式（２）のようにモデリングされる。

ｑ：姿勢の実際のジョイント値を有するＤ次元のベクトル
Ｌ：特定姿勢群内の代表姿勢を格納しているＤｘｄ次元のベクトル（例えば、特定姿勢群内の代表姿勢が１０種類であり、各代表姿勢の実際ジョイント値が６０個である場合を仮定すると、Ｄは６０、ｄは１０となる）
ｓ：ＦａｃｔｏｒＡｎａｌｙｚｅｒのｈｉｄｄｅｎｆａｃｔｏｒとして、学習によって決定されるｄ次元のベクトルを示し、平均がゼロのガウス分布Ｎ（０、Ｉ）と仮定される）
ｎ：ガウス確率変数としてノイズを意味し、ガウス分布Ｎ（μ、ψ）と仮定される）
数式（２）にガウス分布モデルを適用すると、数式（３）のように表現される。

ｐ（ｑ）：姿勢の確率値（姿勢自然性値）
ｑ：姿勢の実際のジョイント値を有するＤ次元のベクトル
Ｌ：姿勢群内の代表姿勢を格納しているＤｘｄ次元のベクトル
μ：モデリングしたｎの平均ベクトル
ψ：モデリングしたｎの分散行列
ＦａｃｔｏｒＡｎａｌｙｚｅｒとして非線形的な分布を有するオブジェクト姿勢を表現することが難しい場合、他の実施形態として、数式（４）のように数個の線形モデルの加重値和として構成されたモデルのＭＦＡ（ＭｉｘｔｕｒｅｏｆＦａｃｔｏｒＡｎａｌｙｚｅｒｓ）を用いることができる。

Ｋ：ＦａｃｔｏｒＡｎａｌｙｚｅｒの個数
ｗ_ｋ：特定姿勢群ｋの加重値
ｐ（ｑ）：姿勢の確率値（姿勢自然性値）
ｑ：姿勢の実際のジョイント値を有するＤ次元のベクトル
Ｌ_ｋ：特定姿勢群ｋの代表姿勢を格納しているＤｘｄ次元のベクトル
μ_ｋ：特定姿勢群ｋのモデリングしたｎの平均ベクトル
ψ：モデリングしたｎの分散行列
前述したように、データベース９３０に格納された統計モデルは、学習された統計モデルであってもよい。ＭＦＡ統計モデルの場合、全ての姿勢情報を入力にして、期待値極大化方法によってＬ_ｋ、ｓ、ｗ_ｋ、μ_ｋ、ψなどを学習し、このように学習された結果がデータベース９３０に更新されてもよい。

このようなＭＦＡ統計モデルが格納されたデータベースを用いる場合、各候補姿勢Ｃを数式（４）のｑに入力して候補姿勢の確率値（姿勢自然性値）ｐ（Ｃ）を演算してもよく、実施形態によって姿勢検索部１３０は、演算された確率値（姿勢自然性値）が最も高い候補姿勢Ｃを最大類似姿勢として検索してもよい。

他の実施形態によって姿勢検索部１３０は、候補姿勢に対する姿勢尤度値を演算し、また、データベース９３０に基づいて候補姿勢に対する姿勢自然性値を演算した後、演算された姿勢尤度値及び姿勢自然性値を総合的に判断して最大類似姿勢を検索してもよい。姿勢検索部１３０が姿勢尤度値及び姿勢自然性値を総合的に判断する方法の例として、２つの値の平均が最も高い候補姿勢を最大類似姿勢として検索する方法、２つの値の加重値を別にして演算した後、演算値が最も高い候補姿勢を最大類似姿勢として検索する方法などが挙げられる。また、その他にも、姿勢検索部１３０が姿勢尤度値及び姿勢自然性値を総合的に判断して最大類似姿勢を検索する方法は様々な方法により変更して実施することができる。

ステップ９５０は、演算された最大類似姿勢に基づいてオブジェクトスケルトンを算出する動作を示す。オブジェクトスケルトンは、オブジェクトの形状をスケルトン形態に表したものである。オブジェクトの形状をスケルトン形態に表すことによって、オブジェクト姿勢及び動作を効果的に制御することができる。

以下、図１０及び図１１を参照して一実施形態に係るオブジェクトスケルトンについて説明する。図１０及び図１１を参照すると、姿勢検索部１３０は、複数のジョイント１００１ないし１０２０を含むスケルトン形態のオブジェクトスケルトンを算出することができる。

実施形態によってオブジェクトスケルトンは、Ｈｅａｄ１００１、Ｎｅｃｋ１００２、Ｌ＿ＨＡＮＤ＿ＥＦＦＥＣＴＯＲ１００３、Ｌ＿ＦＯＲＣＥ＿ＡＲＭ１００４、Ｌ＿ＵＰＰＥＲ＿ＡＲＭ１００５、Ｌ＿ＣＬＡＶＩＣＬＥ１００６、Ｒ＿ＣＬＡＶＩＣＬＥ１００７、Ｒ＿ＵＰＰＥＲ＿ＡＲＭ１００８、Ｒ＿ＦＯＲＣＥ＿ＡＲＭ１００９、Ｒ＿ＨＡＮＤ＿ＥＦＦＥＣＴＯＲ１０１０、ＳＰＩＮＥ３１０１１、ＳＰＩＮＥ２１０１２、ＳＰＩＮＥ１１０１３、Ｌ＿ＴＨＩＧＨ１０１４、Ｌ＿ＣＡＬＦ１０１５、Ｌ＿ＦＯＯＴ＿ＥＦＦＥＣＴＯＲ１０１６、ＲＯＯＴ＆Ｐｅｌｖｉｓ１０１７、Ｒ＿ＴＨＩＧＨ１０１８、Ｒ＿ＣＡＬＦ１０１９及びＲ＿ＦＯＯＴ＿ＥＦＦＥＣＴＯＲ１０２０のジョイントを含んでもよい。

図１１を参照すると、姿勢検索部１３０は、オブジェクトスケルトン及びオブジェクト形状を合成した映像を提供してもよい。

図１２は、一実施形態に係るオブジェクト姿勢検索装置において、後処理部の動作を示す図である。図１２を参照すると、ステップ１２１０は、姿勢検索部１３０で検索されたスケルトン形態の最大類似姿勢１２０１に対して姿勢整列（Ｐｏｓｅａｌｉｇｎｍｅｎｔ）を行う動作を示す。ここで、ステップ１２１０は後処理部１５０で行われ、後述するステップ１２２０及びステップ１２３０も後処理部１５０で行われる。ステップ１２１０では、オブジェクトスケルトン１２０１の現在姿勢と以前姿勢との間のルート位置（ＲｏｏｔＰｏｓｉｔｉｏｎ）及び方向を一致させ得る。

ステップ１２２０は、姿勢整列された現在姿勢と以前姿勢との間の補間により中間姿勢を生成する姿勢ワーピング（ＰｏｓｅＷａｒｐｉｎｇ）を行う。実施形態によって後処理部１５０は、時間情報を考慮した以前フレームの姿勢及び現在フレームで空間情報が考慮された様々に生成された姿勢を考慮し、姿勢ワーピングを行ってもよい。他の実施形態によって後処理部１５０は、以前フレームで最終的に推定されたオブジェクトスケルトンと現在フレームで最終的に推定されたオブジェクトスケルトンとの信頼度値を参考し、最終的なオブジェクトスケルトンをブレンディング（調整）する。後処理部１５０は、ブレンディングを行うことでオブジェクト姿勢ともっと類似する姿勢を検出することができ、さらに、高速でオブジェクト姿勢を類推することができる。

ステップ１２３０は、姿勢ワーピングされた現在姿勢と以前姿勢との間に線形／非線形補間によってスムーズで自然な移行を提供し、センシング／認識されたスケルトン間の中間姿勢を高速サンプリングする動作を示す。したがって、一実施形態に係るオブジェクト姿勢検索装置は、映像入力速度よりもはやい高速の姿勢を出力することができる。

後処理部１５０は、オブジェクトに対する運動量を算出してもよい。算出した運動量は、例えば、ユーザのカロリー消耗量、エネルギ消耗量などを演算するために活用されてもよい。後処理部１５０は、オブジェクトの深さ映像の複数フレームそれぞれに対して検索された複数の最大類似姿勢の間の距離の和をオブジェクトの運動量として演算してもよい。実施形態によって後処理部１５０は、現在フレームに対する複数のキージョイント及び以前フレームに対する複数のキージョイントに対して、同じ位置にあるキージョイント間の距離をそれぞれ演算し、演算されたキージョイント間の距離のうち、閾値以上となる距離を和してオブジェクトの運動量を演算してもよい。詳しく説明すると、後処理部１５０は、数式（５）及び数式（６）を用いてオブジェクトに対する運動量を演算してもよい。

ここで、Ｄ：距離閾値、
Ｉ（ｘ）：リコール関数（オブジェクトが動いたか否かを判断する関数として、Ｄ以上動くと１をリターンする）、
Ｅ：最終推定された運動量（全てのジョイントｎに対応する全ての入力されたフレームｍを累積させて値を演算）、
Ｐ_ｘ：以前フレームのスケルトン
Ｃ_ｘ：現在フレームのスケルトン
図１３は、一実施形態に係るオブジェクト姿勢検索装置において、モデル基盤トラッキング部の動作を示す図である。図１３を参照すると、ステップ１３１０は、オブジェクト１３０１の深さ映像と格納された以前フレーム１３０２の深さ映像と間の差を演算する動作を示す。ここで、ステップ１３１０は、モデル基盤トラッキング部１６０で行われ、また、後述するステップ１３２０〜ステップ１３４０もモデル基盤トラッキング部１６０で行われる。

ステップ１３２０は、演算された差を用いて３次元モデル１３２１をフィッティングする動作を示す。また、ステップ１３３０は、入力されたオブジェクト１３０１を以前映像にデータベースに格納する動作を示す。また、ステップ１３４０は、オブジェクト１３０１のオブジェクト姿勢を算出する動作を示す。オブジェクトスケルトン１３５０は、算出されたオブジェクト姿勢の実施形態を示す。オブジェクト姿勢検索装置は、上述したステップ１３１０〜ステップ１３４０の動作を追加的に行うことによって、オブジェクトの最大類似姿勢の検索効率を高めることができる。

実施形態によって後処理部１５０は、モデル基盤トラッキング部１６０から推定されたオブジェクトスケルトン１３５０及び姿勢検索部１３０で検索された最大類似姿勢を比較し、推定正確度が高いオブジェクトスケルトンに加重値を付与してもよい。したがって、後処理部１５０は、オブジェクトスケルトン１３５０及び姿勢検索部１３０で検索された最大類似姿勢を１つのオブジェクトスケルトンにブレンディングしてもよい。また、後処理部１５０は、加重値を付与することでオブジェクトスケルトン１３５０及び姿勢検索部１３０で検索された最大類似姿勢のうち加重値の付与された姿勢を選択し、最終的に推定されたオブジェクトスケルトンに出力してもよい。

図１４は、一実施形態に係るオブジェクト姿勢検索装置において、姿勢検索部１３０が加重値を用いて最大類似姿勢を検索する動作を示す図である。図１４を参照すると、ステップ１４０１は、キージョイントデータが適用された姿勢１４１０と候補姿勢１４２０との間の差を演算する動作を示す。ここで、ステップ１４０１は姿勢検索部１３０で行われる。候補姿勢１４２０は２以上であってもよい。

また、姿勢検索部１３０は、演算された差に基づいて候補姿勢１４２０の加重値ｗ_ｉを演算する。実施形態によって姿勢検索部１３０は、数式（７）を用いて加重値を演算してもよい。

ここで、Ｐ：キージョイントデータが適用された姿勢１４１０、
Ｐ_ｉ：候補姿勢１４２０
ステップ１４０２は、演算された加重値に基づいて候補姿勢１４２０を加重値和する動作を示す。ここで、ステップ１４０２は姿勢検索部１３０で行われる。実施形態によって姿勢検索部１３０は、数式（８）を用いて加重値和し生成された姿勢１４３０を演算してもよい。

ここで、Ｐ_ｉ：候補姿勢１４２０
Ｐ^＊：加重値を和して生成された姿勢１４３０
姿勢検索部１３０は、加重値和して生成された姿勢１４３０を最大類似姿勢として検索することができる。

図１５は、一実施形態に係るオブジェクト姿勢検索方法を示すフローチャートである。図１５を参照すると、一実施形態に係るオブジェクト姿勢検索方法は、オブジェクトの深さ映像からオブジェクトのキージョイントのキージョイントデータを検索する（１５１０）。オブジェクトは、カメラからリアルタイム入力されるリアルタイム映像または予め記録された映像に含まれる人、物などを示してもよい。キージョイントは、オブジェクトのエンドパート、主要関節、連結部品などであってもよい。

一実施形態に係るオブジェクト姿勢検索方法は、キージョイントデータに基づいてデータベースを用いてオブジェクトと類似度の最も高い最大類似姿勢を検索する（１５２０）。一実施形態に係るデータベースはオブジェクトと関連するオブジェクト姿勢を格納してもよく、オブジェクト姿勢はオブジェクトが一般的に取れる姿勢に関する情報を含んでもよい。

オブジェクト姿勢検索方法が最大類似姿勢を検索する方法は、様々な方法により変更して実施してもよい。例えば、オブジェクト姿勢検索方法は、少なくとも１つ以上の候補姿勢を生成し、生成された候補姿勢を用いて最大類似姿勢を検索してもよい。

オブジェクト姿勢検索方法が少なくとも１つ以上の候補姿勢を生成する実施形態では、キージョイントデータに制約ＩＫを適用してオブジェクトに対する候補姿勢を生成する方法と、キージョイントデータに基づいてデータベースからオブジェクトの候補姿勢を統計的に少なくとも１つ以上を抽出して生成する方法とが挙げられる。また、オブジェクト姿勢検索方法が生成された候補姿勢を用いて最大類似姿勢を検索する方法の実施形態として、データベースから候補姿勢と類似度の最も高い姿勢を最大類似姿勢として検索してもよく、他の実施形態として、加重値を用いて生成された候補姿勢から最大類似姿勢を検索してもよい。

詳細なオブジェクト姿勢検索方法は前述したため以下は省略する。

図１６Ａ及び図１６Ｂは、一実施形態に係るプロセシング装置を含む１つまたはそれ以上のオブジェクト姿勢検索装置が他のプロセシング装置と通信する動作を示す図である。

図１６Ａは、オブジェクト姿勢検索装置２１００、１つまたはそれ以上のネットワーク２１４０、潜在的に存在する他のオブジェクト姿勢測定装置２１５０を示す。オブジェクト姿勢検索装置２１００はプロセシング装置またはシステム２１２０を含み、潜在的にユーザインターフェース２１３０を含んでもよい。これと類似に、オブジェクト姿勢測定装置２１５０はプロセシング装置またはシステム２１６０を含み、潜在的にユーザインターフェース２１７０を含んでもよい。

図１６Ｂは、一実施形態に係るオブジェクト姿勢測定装置２１００及びオブジェクト姿勢測定装置２１５０のうち少なくとも１つを示す端末２２００を示す。端末２２００は、１つまたはそれ以上のカメラのような映像入力装置２２６０と結合されたエンコーダ２２０５、デコーダ２２５０、ディスプレイ２２３０とユーザ入出力インターフェース２２３５のようなユーザインターフェース２１３０、中央処理ユニット２２１０のような１つまたはそれ以上のプロセシング装置を含む。中央処理ユニット２２１０は、エンコーダ２２０５及びデコーダ２２５０と結合される。中央処理ユニット２２１０は、エンコーダ２２０５とデコーダ２２５０の動作を制御し、端末２２００の他のコンポーネントとエンコーダ２２０５／デコーダ２２５０間の相互作用を仲裁する。また、映像入力装置２２６０は、中央処理ユニット２２１０と直接結合される。また、ディスプレイ２２３０は、実施形態により予測されたオブジェクト姿勢を表示してもよい。示されるエレメント２２４０は、１つまたはそれ以上の無線及び／または有線通信システムを示す。端末２２００は、ホームエンターテイメントやゲーム機器としてデスクトップコンピュータ、ラップトップコンピュータ、セットトップ装置であってもよく、または、モバイルフォン、スマートフォン、タブレットコンピュータ、パーソナルデジタルアシスタント、ノート型パソコンなどとして移動機器であってもよい。中央処理ユニット２２１０は、モバイルフォン、スマートフォン、タブレットコンピュータ、または、パーソナルデジタルアシスタントなど、その他の機能と共に実施形態に係る姿勢検索機能を内蔵してもよい。したがって、実施形態に係る端末２２００は、具体的な態様と特徴を異にしながら様々なアプリケーションと共に姿勢検索機能を内蔵することができる。端末２２００に内蔵された姿勢検索機能は他のアプリケーションと相互作用してもよい。

先に説明した実施形態は、多様なコンピュータ手段を介して様々な処理を実行することができるプログラム命令の形態で実現され、コンピュータ読取可能な記録媒体に記録されてもよい。コンピュータ読取可能な媒体は、プログラム命令、データファイル、データ構造などのうちの１つまたはその組合せを含んでもよい。媒体に記録されるプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり、使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、光ディスクのような光磁気媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれてもよい。

上述したように、本発明を限定された実施形態と図面によって説明したが、本発明は、上記の実施形態に限定されることなく、本発明が属する分野における通常の知識を有する者であれば、このような実施形態から多様な修正及び変形が可能である。

したがって、本発明の範囲は、開示された実施形態に限定されるものではなく、特許請求の範囲だけではなく特許請求の範囲と均等なものなどによって定められるものである。

１０１：オブジェクト
１０２：深さ映像
１１０：キージョイント検索部
１２０：データベース
１３０：姿勢検索部
１４０：前処理部
１５０：後処理部
１６０：モデル基盤トラッキング部

Claims

映像を分析することによって、前記映像内オブジェクトのキージョイントに対するキージョイントデータを検索するキージョイント検索部と、
１つまたはそれ以上のオブジェクトのポテンシャル姿勢を示すオブジェクト姿勢を格納するデータベースと、
前記検索されたキージョイントデータに基づいて、前記オブジェクト姿勢のうち前記オブジェクトの実際姿勢と類似度が最も高い最大類似姿勢を検索する姿勢検索部と、
を備えることを特徴とするオブジェクト姿勢検索装置。
前記映像は、前記オブジェクトの深さ映像であることを特徴とする請求項１に記載のオブジェクト姿勢検索装置。
前記キージョイント検索部は、
前記オブジェクトのエンドポイントを検索し、
前記映像から前記エンドポイントの特徴を抽出し、
前記抽出された特徴に基づいて前記エンドポイントに対して分類作業を行い、
前記分類されたエンドポイントの位置を算出して前記キージョイントデータを検索することを特徴とする請求項１又は２に記載のオブジェクト姿勢検索装置。
前記キージョイント検索部は、
前記映像から前記エンドポイントに対応するエンドパートに対する映像を分割し、
前記分割された映像に対して正規化作業を行い、
前記正規化された映像から前記エンドパートの特徴を抽出し、
前記抽出された特徴に基づいて前記エンドパートに対して分類作業を行い、
前記分類されたエンドパートの位置を算出して前記キージョイントデータを検索することを特徴とする請求項３に記載のオブジェクト姿勢検索装置。
前記キージョイント検索部は、前記映像から前記オブジェクトの特徴を抽出し、前記抽出された特徴に基づいて特定姿勢にある前記オブジェクト姿勢を分類し、前記分類された姿勢に基づいて前記データベースから前記キージョイントデータを検索することを特徴とする請求項１又は４に記載のオブジェクト姿勢検索装置。
前記キージョイント検索部は、前記映像から前記オブジェクトの３次元シルエット特徴又は３次元レベルセット特徴を抽出し、特定姿勢クラスＩＤに対応する前記抽出された３次元シルエット特徴又は３次元レベルセット特徴に基づいて前記オブジェクトの前記姿勢を分類し、前記姿勢クラスＩＤに基づいて前記データベースから前記キージョイントデータを検索することを特徴とする請求項１又は５に記載のオブジェクト姿勢検索装置。
前記姿勢検索部は、制約逆運動学を前記キージョイントデータに適用することによって、前記オブジェクトのための少なくとも１つの候補姿勢を生成することを特徴とする請求項１、３又は５に記載のオブジェクト姿勢検索装置。
前記姿勢検索部は、前記検索されたキージョイントデータが適用される姿勢と前記少なくとも１つの候補姿勢との間の差を算出し、前記算出された差に基づいて前記少なくとも１つの候補姿勢の加重値因子を算出し、前記算出された加重値因子に基づいて前記少なくとも１つの候補姿勢の加重値和を取得し、前記加重値和により生成された姿勢を前記最大類似姿勢として検索することを特徴とする請求項７に記載のオブジェクト姿勢検索装置。
前記オブジェクトの運動量を算出する後処理部をさらに備え、
前記後処理部は、前記映像の複数のフレームそれぞれに対して検索された複数の定められた最大類似姿勢間の距離の和を前記運動量として算出することを特徴とする請求項１、３又は５に記載のオブジェクト姿勢検索装置。
前記後処理部は、現在フレームの複数のキージョイントと以前フレームの複数のキージョイントとのうち同じ位置にあるキージョイント間の各距離を算出し、前記算出された距離のうち閾値よりも大きいか同じ距離を合算することによって前記運動量を算出することを特徴とする請求項９に記載のオブジェクト姿勢検索装置。
前記最大類似姿勢に基づいて前記オブジェクトと関連して算出されたオブジェクトスケルトンを表示するディスプレイをさらに含むことを特徴とする請求項３又は５に記載のオブジェクト姿勢検索装置。
前記姿勢検索部は、
前記キージョイントデータに基づいて前記オブジェクトに対する少なくとも１つの候補姿勢を生成し、
前記データベースに基づいて前記少なくとも１つの候補姿勢に対する姿勢自然性値を演算し、
前記姿勢自然性値が最も高い候補姿勢を前記最大類似姿勢として検索することを特徴とする請求項１に記載のオブジェクト姿勢検索装置。
前記姿勢検索部は、前記最大類似姿勢に基づいて前記オブジェクトに対するオブジェクトスケルトンを算出することを特徴とする請求項１に記載のオブジェクト姿勢検索装置。
姿勢をとる利用者の映像を前記映像にキャプチャーするカメラをさらに備えることを特徴とする請求項１に記載のオブジェクト姿勢検索装置。
映像内オブジェクトのキージョイントに対するキージョイントデータを検索するために前記映像を分析するステップと、
前記検索されたキージョイントデータに基づいて、１つまたはそれ以上のオブジェクトのポテンシャル姿勢を示すオブジェクト姿勢を格納するデータベースから前記オブジェクトの実際姿勢と類似度が最も高い最大類似姿勢を検索するステップと、
を含むことを特徴とするオブジェクト姿勢検索方法。
前記映像は、前記オブジェクトの深さ映像であることを特徴とする請求項１５に記載のオブジェクト姿勢検索方法。
前記映像を分析するステップは、
前記オブジェクトのエンドポイントを検索するステップと、
前記映像から前記エンドポイントの特徴を抽出するステップと、
前記抽出された特徴に基づいて前記エンドポイントに対して分類作業を行うステップと、
前記分類されたエンドポイントの３次元位置を算出して前記キージョイントデータを検索するステップと、
を含むことを特徴とする請求項１５に記載のオブジェクト姿勢検索方法。
前記映像を分析するステップは、
前記映像から前記エンドポイントに対応するエンドパートに対する映像を分割するステップと、
前記分割された映像に対して正規化作業を行うステップと、
前記正規化された映像から前記エンドパートの特徴を抽出するステップと、
前記抽出された特徴に基づいて前記エンドパートに対して分類作業を行うステップと、
前記分類されたエンドパートの位置を算出して前記キージョイントデータを検索するステップと、
を含むことを特徴とする請求項１７に記載のオブジェクト姿勢検索方法。
前記映像を分析するステップは、
前記映像から前記オブジェクトの特徴を抽出するステップと、
前記抽出された特徴に基づいて特定姿勢にある前記オブジェクト姿勢を分類するステップと、
前記分類された姿勢に基づいて前記データベースから前記キージョイントデータを検索するステップと、
を含むことを特徴とする請求項１８に記載のオブジェクト姿勢検索方法。
前記映像を分析するステップは、
前記映像から前記オブジェクトの３次元シルエット特徴又は３次元レベルセット特徴を抽出するステップと、
特定姿勢クラスＩＤに対応する前記抽出された３次元シルエット特徴又は３次元レベルセット特徴に基づいて前記オブジェクトの前記姿勢を分類するステップと、
前記姿勢クラスＩＤに基づいて前記データベースから前記キージョイントデータを検索するステップと、
を含むことを特徴とする請求項１９に記載のオブジェクト姿勢検索方法。
前記最大類似姿勢を検索するステップは、制約逆運動学を前記キージョイントデータに適用することによって、前記オブジェクトのための少なくとも１つの候補姿勢を生成するステップを含むことを特徴とする請求項１７又は１９に記載のオブジェクト姿勢検索方法。
前記最大類似姿勢を検索するステップは、
前記検索されたキージョイントデータが適用される姿勢と前記少なくとも１つの候補姿勢との間の差を算出するステップと、
前記算出された差に基づいて前記少なくとも１つの候補姿勢の加重値因子を算出するステップと、
前記算出された加重値因子に基づいて前記少なくとも１つの候補姿勢の加重値和を取得するステップと、
前記加重値和により生成された姿勢を前記最大類似姿勢として検索するステップと、
を含むことを特徴とする請求項２１に記載のオブジェクト姿勢検索方法。
前記映像の複数のフレームそれぞれに対して検索された複数の定められた最大類似姿勢の間の距離の和に基づいて運動量を算出するステップをさらに含むことを特徴とする請求項１７又は１９に記載のオブジェクト姿勢検索方法。
前記運動量を算出するステップは、
現在フレームの複数のキージョイントのうち、同じ姿勢内のキージョイントと以前フレームの複数のキージョイントと間の距離それぞれを算出するステップと、
前記算出された距離のうち、閾値よりも大きいか同じ距離を合算することによって前記運動量を算出するステップと、
を含むことを特徴とする請求項２３に記載のオブジェクト姿勢検索方法。
前記最大類似姿勢に基づいて前記オブジェクトと関連するオブジェクトスケルトンを算出するステップと、
前記オブジェクトスケルトンをディスプレイに表示するステップと、
をさらに含むことを特徴とする請求項１７又は１９に記載のオブジェクト姿勢検索方法。
前記最大類似姿勢を検索するステップは、
前記キージョイントデータに基づいて前記オブジェクトに対する少なくとも１つの候補姿勢を生成するステップと、
前記データベースに基づいて前記少なくとも１つの候補姿勢に対する姿勢自然性値を演算するステップと、
前記姿勢自然性値が最も高い候補姿勢を前記最大類似姿勢として検索するステップと、
を含むことを特徴とする請求項１５に記載のオブジェクト姿勢検索方法。
請求項１５乃至２６のいずれか一項に記載の方法を実行するプログラムを記録したコンピュータで読み出し可能な記録媒体。