JP2011521357A5

JP2011521357A5 -

Info

Publication number: JP2011521357A5
Application number: JP2011509614A
Authority: JP
Filing date: 2009-05-12
Publication date: 2012-07-05

Claims

プロセッサにより実行される方法であって、
人物の視覚画像を前記人物に関する３次元情報に関連付けることによって前記人物のデジタル表現（Ｒ）を生成するステップであって、前記人物のデジタル表現は、前記人物の表面メッシュと、複数の３次元形状を用いた前記人物の立体表現とを含む、デジタル表現（Ｒ）を生成し、
マーカなしキャプチャを利用して、前記人物の時間的に異なる２つの視覚画像のそれぞれに共通する、前記２つの画像間の前記人物の動きを表す基準点を見出し、
前記２つの画像間の複数の３次元形状の動きに課せられた位置制約に応じて、前記複数の３次元形状の３次元的動きを特徴づけるために、前記人物の立体表現を前記基準点の関数として変形し、
前記人物の前記表面メッシュを、前記立体変形の関数として変形し、
前記人物の変形された前記２次元表面メッシュと変形された前記立体表現とに応じて、前記人物の更新されたデジタル表現を生成すること、
を含む、方法。
前記表面メッシュは三角形の集合を含み、前記複数の３次元形状は四面体を含む、請求項１に記載の方法。
前記デジタル表現（Ｒ）を生成するステップは、
Ｒの表面上の３次元の点ポイント（Ｐ）の高密度の集合と、前記表面上のポイント間の接続性とを特徴づけ、
Ｐにおける各点の座標の集合によって前記人物を画定し、
参照姿勢における前記人物の形状を表す、Ｒの疎な立体版（Ｖ）を特徴づけること、
により前記デジタル表現を生成することを更に含み、
ここで、Ｖは四面体頂点（Ｑ）の集合として表され、姿勢はＱの各点の３次元座標で画定される、請求項１に記載の方法。
前記人物の表面メッシュを変形する前記ステップは、前記人物の前記立体表現の変形ステップにおける前記基準点とは異なる、ひと組の基準点の集合から構築される、第２の
点制約の集合を利用することを更に含む、請求項３に記載の方法。
前記人物の更新されたデジタル表現を生成する前記ステップは、
前記人物の前記変形された表面メッシュと、前記変形された立体表現とに応じて、３次元点制約に関する位置情報を画定し、
前記画定された位置情報に応じて、それぞれの時刻における前記人物の幾何配列を表す、キャプチャされたパフォーマンスモデル（Ｍ）を生成することであって、Ｍは各個別時刻におけるＲの全ての点Ｐに対する、３次元点位置の集合と、Ｖの各頂点Ｑの位置の集合と、を含み、
画像センサからの測定値に対応して、各時刻ステップにおける外観の表現（Ｉ）を生成すること、
を含む、請求項３に記載の方法。
表現（Ｉ）を生成する前記ステップは、
前記人物の時間変化する多視点画像データと、時刻が異なる画像データにおける前記人物の表面ポイント間の対応関係を記述する特徴と、各時刻ステップにおける前記人物の体勢及び詳細な表面外観を記述する特徴と、
を含む、画像センサからのデータを利用するステップを含む、請求項５に記載の方法。
画像センサからの測定値を利用し、基準マーカを利用しない、アニメーションモデルＭを推定するステップと、
実世界被写体Ｉの表現とのアライメントによりＭのパラメータを推定するステップと、
を更に含む、請求項３に記載の方法。
Ｉを考慮してＶの最適変形を見つけることにより、各時刻ステップにおける前記人物の大まかな姿勢をキャプチャするステップと、
前記の大まかな姿勢推定を利用して前記人物をトラッキングすることにより、Ｒの精密表面モデルを利用してパフォーマンスの各時刻ステップにおける詳細な表面推定を算出するためのモデルＭを生成するステップと、
を更に含む、請求項５に記載の方法。
前記立体表現の変形ステップが、各四面体に対して前記人物の骨格モデルから独立した、３次元での動きの自由度を含む、請求項２に記載の方法。
時刻の異なる画像シーケンスに対して、時空間的にコヒーレントな形状、動き、及びテクスチャを受動的に再構築することを更に含む、請求項１に記載の方法。
前記立体表現を変形するステップは、局所的に体積が一定となるように前記モデルの形状を局所的に保存することを含む、請求項１に記載の方法。
１組の頂点の集合を有する３次元形状の集合として前記人物を表現するステップと、
前記頂点集合の投影位置と、前記投影位置と前記頂点集合の実位置との間の距離との関数として、前記頂点集合の部分集合を選択するステップと、
基準点を見つけるために低分解能でトラッキングするステップと、
精密変形を行うために高分解能でトラッキングするステップと、
を更に含む、請求項１に記載の方法。
立体変形を適用する前記ステップは、前記人物の剛直的変形部分とは実質的に独立して動く、前記人物の非剛直的変形部分に対応することを含む、請求項１に記載の方法。
人物の視覚画像をその人物に関する３次元情報に関連付けることによって前記人物のデジタル表現（Ｒ）を生成し、前記人物のデジタル表現は、前記人物の表面メッシュと、複数の３次元形状を用いた前記人物の立体表現とを含み、
マーカなしキャプチャを利用して、前記人物の時間的に異なる２つの視覚画像のそれぞれに共通する、前記２つの画像間の前記人物の動きを表す基準点を見出し、
前記２つの画像間の複数の３次元形状の動きに課せられた位置制約に応答して、前記複数の３次元形状の３次元的の動きを特徴づけることを可能とする前記基準点の関数として、前記人物の立体表現を変形し、
前記人物の前記表面メッシュを、前記立体変形の関数として変形し、
変形された前記表面メッシュと、前記人物の変形された前記立体表現とに応じて、前記人物の更新されたデジタル表現を生成する
ように構成適合され、準備された処理回路を含む、装置。
前記処理回路は更に、
基準点を見つけるために低分解能トラッキング手法を利用し、
精密変形を適用するために高分解能手法を利用し、
前記低分解能トラッキング手法から導かれる、低精細度モデルを利用して前記人物の姿勢を判定し、
時刻の異なる画像シーケンスに対して、時空間的にコヒーレントな形状、運き、及びテクスチャを受動的に再構築し、
前記人物の骨格から独立し、かつ各３次元形状に対して３次元の動きの自由度を以って、前記人物モデルを立体変形させ、
前記人物をモデル化する四面体メッシュを利用するデジタル表現を立体変形させ、
３次元の点制約に従って、前記人物の立体表現を立体変形させ、
立体モデルの姿勢と更なる３次元のポイント制約に従って、前記表面メッシュを変形させ、
前記全頂点集合の投影位置と、前記投影位置と前記全頂点集合の実位置との間の距離との関数として、前記３次元形状の全頂点集合から頂点を選択し、
前記立体表現の変形において、前記人物の剛直的変形部分の動きとは実質的に独立した動きをする、前記人物の非剛直的変形部分に対応する
のためのものである、請求項１４に記載の装置。