JP2015015021A - 被写体の三次元表現を生成する方法およびシステム - Google Patents

Abstract

【課題】任意の身体形状を推定して三次元表現を早く生成するシステムを提供する。【解決手段】デプス画像から被写体の三次元表現を生成する方法は、被写体のデプス画像を、各代表画像が被写体の個別のパラメトリックモデルに関連付けられる複数の代表画像と比較することＳ２０２と、複数の代表画像のうちの１つの代表画像を被写体のデプス画像に最も類似した代表画像として識別することＳ２０４と、デプス画像に最も類似した代表画像に関連付けられるパラメトリックモデルを選択することＳ２０６と、選択されたパラメトリックモデルを被写体のデプス画像にフィッティングさせることＳ２０８によって、被写体の三次元表現を生成する。【選択図】図２

Description

ここに記述される実施形態は、一般的に、デプス画像から人間などの被写体の三次元表現を生成することに関する。

人間の身体の形状の推定は、医用領域から商用領域まで、種々様々な応用例を持つ。医療において、例えば、ライフスタイルの変更を勧めるために３Ｄの身体に対する将来の変化を視覚化することが可能であるかもしれない。商用領域では、裸体の形状の正確なキャプチャは、仮想試着、すなわち、様々な衣服を身に着けた顧客の視覚化を可能にするであろう。広い展開を見るこれらの応用例の鍵は、任意の身体形状の推定システムの有用性にある。係るシステムにおいて、三次元表現が早く生成されるならば有利である。さらに、オペレータがマーカを手動で配置する必要性が取り除かれれば有利である。以下、実施形態が、添付の図面を参照して、ただ単に例として記述される。

（関連出願の相互参照）
この出願は、２０１３年６月２１日に出願された英国特許出願第１３１１１１７．４号に基づいており、かつ、この優先権の利益を主張するものであって、これの全内容は参照によってここに組み込まれる。

図１は、被写体の三次元表現を生成するためのシステムを示す。 図２は、被写体の三次元表現を生成する方法を示す。 図３は、三次元の走査データを生成する方法を示す。 図４ａ−ｄは、人間の被写体の多重解像度モデルを示す。 図５ａ−ｄは、人間の被写体のモデルを準備するための、形状および姿勢の分離を示す。 図６は、姿勢を取った身体の形状のサンプルの生成を示す。 図７は、被写体のクラスタモデルの生成を示す。 図８ａは、人間の被写体のクラスタモデルを示す。図８ｂは、図８ａにおいて示されるクラスタモデルに対応する代表画像を示す。

実施形態によれば、デプス画像から被写体の三次元表現を生成する方法は、被写体のデプス画像を、各代表画像が被写体の個別のパラメトリックモデルに関連付けられる複数の代表画像と比較することと、複数の代表画像のうちの１つの代表画像を被写体のデプス画像に最も類似した代表画像として識別することと、デプス画像に最も類似した代表画像に関連付けられるパラメトリックモデルを選択することと、選択されたパラメトリックモデルを被写体のデプス画像にフィッティングさせることによって被写体の三次元表現を生成することとを備える。

実施形態において、選択されたパラメトリックモデルを被写体のデプス画像にフィッティングさせることは、エネルギー関数を最小化させることを備え、エネルギー関数は、被写体のデプス画像上の点と選択されたパラメトリックモデル上の対応点との間の距離に依存する距離項を備える。

実施形態において、距離項は、デプス画像上の点によって定義されるボリュームの内側にあるモデル上の点に選好を与える。

実施形態において、距離項は、選択されたモデルの表面に対する法線と重力方向とに依存する重力関数を備える。

実施形態において、各代表画像は、個別のパラメトリックモデルから計算されたデプス画像である。

実施形態において、各代表画像は、デプス画像と個別のパラメトリックモデルから計算されたアルファ画像との重み付き合成である。

実施形態において、方法は、被写体のデプス画像を複数の代表画像と比較する前に、被写体の方位および／またはデプス画像における被写体のデプスを正規化すること、をさらに備える。

実施形態において、方法は、被写体のデプス画像を複数の代表画像と比較する前に、デプス画像の解像度を低下させること、をさらに備える。

実施形態において、方法は、三次元表現から被写体のサイズインジケータおよび／または寸法を計算することをさらに備える。

実施形態において、デプス画像から被写体の三次元表現を生成するためのシステムは、被写体の複数のパラメトリックモデルと、各代表画像が個別のパラメトリックモデルに関連付けられる複数の代表画像とのためのストレージと、被写体のデプス画像を複数の代表画像の各々と比較し、複数の代表画像のうちの１つの代表画像を被写体の前記デプス画像に最も類似した代表画像として識別し、デプス画像に最も類似した代表画像に関連付けられるパラメトリックモデルを選択するように動作可能な選択モジュールと、選択されたパラメトリックモデルを被写体のデプス画像にフィッティングさせることによって被写体の三次元表現を生成するように動作可能なフィッティングモジュールとを備える。

実施形態において、フィッティングモジュールは、エネルギー関数を最小化させることによって、選択されたパラメトリックモデルを被写体のデプス画像にフィッティングさせるように動作可能であり、エネルギー関数は、被写体のデプス画像上の点と選択されたパラメトリックモデル上の対応点との間の距離に依存する距離項を備える。

実施形態において、距離項は、デプス画像上の点によって定義されるボリュームの内側にあるモデル上の点に選好を与える
実施形態において、距離項は、選択されたモデルの表面に対する法線と重力方向とに依存する重力関数を備える。

実施形態において、各代表画像は、個別のパラメトリックモデルから計算されたデプス画像である。

実施形態において、各代表画像は、各代表画像は、デプス画像と前記個別のパラメトリックモデルから計算されたアルファ画像との重み付き合成である。

実施形態において、各代表画像は、１００×１００画素未満の解像度を持つ。

実施形態において、選択モジュールは、被写体のデプス画像を複数の代表画像と比較する前に、被写体の方位および／またはデプス画像における被写体のデプスを正規化するように動作可能である。

実施形態において、三次元表現から被写体のサイズインジケータおよび／または寸法を計算するようにさらに動作可能である。

実施形態において、システムは、被写体のデプス画像をキャプチャするように構成されたデプス画像キャプチャデバイスをさらに備える。

実施形態は、プロセッサによる実行時に当該プロセッサに上に述べられたような方法を行わせるコンピュータ実行可能命令を備えるコンピュータプログラム製品を提供する。コンピュータプログラム製品は搬送媒体において具現化されてもよく、当該搬送媒体は記録媒体または信号媒体であってもよい。記録媒体は、光学記録手段、磁気記録手段、または電子的記録手段を含んでもよい。

記述された実施形態は、特定のハードウェアデバイス、適切なソフトウェアによって設定される汎用デバイス、または、両者の組み合わせに組み込むことできる。態様は、ソフトウェア製品において、コンピュータソフトウェア実装として、または、既存ソフトウェアの修正若しくは拡張のためのアドオンコンポーネント（プラグインなど）として、具現化することができる。係るソフトウェア製品は、記録媒体（例えば、光ディスクまたはフラッシュメモリなどのマスストレージメモリ）または信号媒体（ダウンロードなど）などの搬送媒体において具現化することができる。実施形態に適した特定のハードウェアデバイスは、ＡＳＩＣなどの特定用途向けデバイス、ＦＰＧＡ若しくはＤＳＰ、または、他の専用の機能的なハードウェア手段を含むことができる。読者は、ソフトウェアまたはハードウェアにおける実施形態の前述の議論のいずれも、まだ発見または定義されていない実行手段での発明の将来の実装を制限しないことを理解するであろう。

図１は、実施形態に従う、被写体の三次元表現を生成するためのシステムを示す。システム１００は、プロセッサ１１０およびストレージ１２０を含む。プロセッサ１１０は、選択モジュール１１２およびフィッティングモジュール１１４を含み、ストレージ１２０は、複数のクラスタモデルを保存する。図１に示される例において、ストレージは、３つのクラスタモデルを保存する。第１のクラスタモデルであるクラスタモデル１ １３０は、代表画像１３２、形状モデル１３４および姿勢モデル１３６を含む。第２のクラスタモデルであるクラスタモデル２ １４０は、代表画像１４２、形状モデル１４４および姿勢モデル１４６を含む。第３のクラスタモデルであるクラスタモデル３ １５０は、代表画像１５２、形状モデル１５４および姿勢モデル１５６を含む。

システム１００は、デプス画像キャプチャデバイス１６０およびディスプレイ１７０に結合される。システムは、カメラを含んでもよい。カメラは、デプス画像キャプチャデバイスと統合されるかもしれないし、独立したデバイスであるかもしれない。

クラスタモデル１３０、１４０および１５０は、人間の被写体の形状または姿勢のためのモデルである。クラスタモデル１３０、１４０および１５０は、パラメトリックモデルである。すなわち、クラスタモデル１３０、１４０および１５０は、モデルを被写体のデプス画像にフィットさせるように変化可能な数的変数を含む。クラスタモデル１３０、１４０および１５０の各々は、人間の被写体について起こり得る形状および姿勢のクラスタに対応する。代表画像１３２、１４２および１５２は、代表クラスタモデルのクラスタ平均から計算される画像である。

実施形態において、代表画像はデプス画像である。代替的な実施形態において、代表画像はアルファ画像またはシルエットである。実施形態において、代表画像は、デプス画像およびアルファ画像の重み付き合成である。

実施形態において、代表画像の解像度は低く、例えば１００画素×１００画素未満である。低解像度の代表画像の使用は、マッチング効率を向上させる。

選択モジュール１１２およびフィッティングモジュール１１４は、コンピュータプログラムモジュールである。選択モジュール１１２およびフィッティングモジュール１１４は、汎用プロセッサ上で実行されるコンピュータソフトウェアとして実装されるかもしれないし、特にプログラムされたハードウェアモジュールまたはその２つの組み合わせであるかもしれない。

図２は、プロセッサ１１０上の選択モジュール１１２およびフィッティングモジュール１１４によって実行される、デプス画像から被写体の三次元表現を生成する方法を示す。

デプス画像は、デプス画像キャプチャデバイス１６０によってキャプチャされてよい。或いは、方法は、ネットワークを介してまたは記録媒体によってシステム１００に転送されたデプス画像に対して実行されるかもしれない。

方法は、ボタンまたはリモコンなどの手動のトリガを用いて始められるかもしれない。或いは、方法は、ボイスまたはジェスチャコマンドによって始動されるかもしれない。

方法は、様々なやり方で自動的に始動されるかもしれない。特定のエリアに立っている人が検出される場合に方法が自動的に始動されるかもしれない。この検出は、デプス画像キャプチャデバイスからの検出の結果であるかもしれないし、フロアに置かれた個別のセンサからの検出の結果であるかもしれない。或いは、方法は、現実の世界でのロケーションに関わらず、人が姿勢および形状の統計空間内に存在することが検出される場合に始動されるかもしれない。例えば、システムがその人は適切な身体の形状の推定値を提供できると評価すれば、方法は始動されるかもしれない。

ステップＳ２０２において、デプス画像は、代表画像１３２、１４２および１５２の各々と比較される。ステップＳ２０４において、デプス画像に最も類似した代表画像が識別される。ステップＳ２０６において、最も類似した代表画像に対応する形状および姿勢のパラメトリックモデルが選択される。ステップＳ２０８において、選択されたモデルはデプス画像にフィッティングされる。被写体にフィッティングされた形状モデルが、当該被写体の三次元表現として獲得される。

実施形態において、デプス画像が代表画像と比較される前に、当該デプス画像は正規化される。正規化は、被写体の正面が画像平面と平行になるようデプス画像における当該被写体の方位を調整することを含むかもしれない。正規化は、被写体の正面のデプスを正規化することも含むかもしれない。

実施形態において、入力デプス画像は、２つのやり方で変更される。第１に、入力デプス画像は、回転させられ、世界（world）からユーザの正面へと移される。第２に、デプスは、効率目的で、ぼかされ、サブサンプリングされる。

代表画像がデプス画像およびシルエットの重み付き合成である実施形態において、入力デプスは３つのやり方で変更される。第１に、入力デプス画像は、回転させられ、世界からユーザの正面へと移される。第２に、デプスに加えて対応するシルエットは、効率目的で、ぼかされ、サブサンプリングされる。第３に、デプスおよびシルエットは、代表画像を形成するデプス画像およびシルエットの重み付き合成の重み付けと整合するように再度重み付けされる。

システムの出力は、三次元でのロケーションのセットとメッシュ定義を含む３Ｄデータファイルであるかもしれない。

実施形態において、システムは被写体の寸法を計算するように構成される。寸法は、例えば、小中大のような離散的なサイズであるかもしれないし、被写体のウェストまたは股下などの寸法であるかもしれない。

ディスプレイ１７０は、被写体の三次元表現を表示するように構成されるかもしれない。ディスプレイは、被写体について計算された寸法の結果を表示するようにも構成されるかもしれない。

実施形態において、ディスプレイは、その人が現実の製品を試着する必要なく衣服のアイテムを身に着けている被写体の視覚化を表示するように構成される。

前述の方法において、人の姿勢および形状の推定は、登録問題として扱われる。予め学習された形状および姿勢のモデルが、デプス画像にフィッティングされる。このモデルは、さまざまなポーズの任意のもっともらしい人間の身体の形状への効率的な登録を可能にする。

以下、上で論じられたクラスタモデルを作成する方法が記述され、被写体の三次元表現を生成する方法の実施形態が記述される。以下に記述されるアプローチは、効率に焦点を合わせており、モデルは、コンピュータグラフィックス分野において用いられるキャラクタメッシュによってインスパイアされる。姿勢および身体の形状の個々のモデルが学習され、身体の形状はリニアブレンドスキニング（ＬＢＳ）を用いて特定の姿勢へとモーフィングされる。

係るモデルを学習するために、完全な対応の中で形状および姿勢に大きく変化をつける多くの３Ｄの人間を包含するデータセットが必要とされる。

図３は、係るデータセットを作成するために用いられる方法の略図を示す。単一のデータセットは利用不可であったので、図３に示される方法が用いられた。

方法に対する入力は、３Ｄの人間の身体の走査画像（scan）３０２およびシンプルな人間のメッシュ３０４である。３Ｄの人間の走査画像に関して、様々な姿勢の種々の人間の走査画像のデータベースが用いられる。形状および姿勢のモデルを学習するために用いることのできるデータセットを作成するために、図３で説明されるアプローチが採られた。

人間のメッシュモデル３０４として、以降の説明においてキューブメッシュと呼ばれる一般化された３Ｄキューブモデルの具体化が用いられた。キューブメッシュモデルは、それから、粗密処理において所与の人間の走査画像にフィッティングされる。

図４ａは、人間の被写体のキューブメッシュモデルを示す。このモデルは、オブジェクトクラスの３Ｄ形態のシンプルな「スケッチ」が、それぞれ種々の意味論的および構造的な情報を割り当てられた状態で、キューブを用いて構築されることを可能にする。

図４ｂ乃至図４ｄは、低解像度から高解像度までに及ぶ人間のメッシュモデルを示す。

最初は幾何学的に粗いモデルが、それから、キューブ毎に任意の解像度に再分割され得る。あらゆる再分割されたメッシュがモデルの応用の点で有用であるが、オリジナルのキューブ上で連続的なやり方でオペレーションをパラメトリックに定義することが可能である。例えば、これは、再分割されたメッシュの特定の頂点のロケーションに対する離散化（discretising）をせずに各キューブ上のポイントまたはセクションの特定を可能にする。人間のメッシュを登録するケースでは、この性質は、任意の所与の登録されたメッシュから人間の骨格を生成する決定論的なルーチンの特定を可能にする。

キューブメッシュモデルは、図４ａに示されるように人間などの３Ｄオブジェクトクラスの「スケッチ」を基にした粗いキューブの特定を可能にする。このモデルは、それから、各パッチについての意味論的な情報を保持しながら、図４ｂ乃至図４ｄに示されるように粗密処理において所与の人間の走査画像にフィッティングされる。モデルは、さらに、オリジナルのキューブ上で連続的なパラメータを持つ決定論的な構造アルゴリズムの容易な特定と、これを高解像度の登録されたモデルへと移すこととを可能にする。この処理は、登録されたメッシュ毎の骨格を回復するために用いられる。

登録ステップ３０６において、人間のキューブメッシュが、様々な姿勢の種々の人間の走査画像の入力データセットにおける各３Ｄ走査画像に登録される。計算時間を削減するために、登録は粗密な戦略を使って行われる。処理は、メッシュの最も粗い表現で始まり、繰り返してのフィッティングを伴い、それからキューブメッシュの解像度を増加させる。解像度毎に、標準的な勾配降下法アプローチを用いてコスト関数を最小化させることによって解が見つけられる。コスト関数は、３つの項（平滑項（曲率は低いはずである）、データ項（キューブメッシュはスキャン画像に類似するはずである）およびランドマーク項（既知のランドマークは類似しているはずである））の線形結合である。キューブメッシュモデルの連続的なパラメータ化は、それぞれ走査される人間に在る現実世界のマーカに対応するランドマークポイントを付加するために利用される。

ステップ３０８において、登録結果に対する統計解析が行われる。統計解析の目的は、あらゆるアウトライアーを識別することである。統計解析の結果は、誤った登録を削除するために用いられた。例えば、腕の下側は、走査画像を取得する際にエラーにより見落とされるかもしれない。ステップ３１０において、誤った走査画像はデータセットから削除される。

ステップ３１２において、リニアブレンドスキニング（ＬＢＳ）重みが学習される。登録されたメッシュから、スキニング処理の反転および各メッシュが標準の姿勢へとモーフィングされることを可能にするＬＢＳ重みが学習される。学習されたＬＢＳ重みおよびそれぞれの姿勢の単一のセットならびに正規化された身体の形状が保存される。

ステップ３１４において、走査画像の姿勢が正規化される。あらゆる所与のメッシュに関して、基礎を成す骨格を与える決定論的なアルゴリズムがあるので、身体の走査画像の姿勢は登録を通じて暗黙的に与えられる。姿勢のない本当の身体形状の回復はさらに大変である。これをするためには、標準的なカノニカル姿勢が選択されなければならない。図４に示される、様々な姿勢の種々の人間の走査画像の入力データセットからの平均の姿勢が、標準的なカノニカル姿勢として用いられる。

登録されたメッシュを標準的な姿勢へとモーフィングすることは、逆リニアブレンドスキニング（ＩＬＢＳ）、すなわち、モーフィングされスキニングされた形状から衣服の形状を回復するスキニング処理の反転、を用いて実現される。リニアブレンドスキニング（ＬＢＳ）は、効率的なキャラクタアニメーションのためにコンピュータフラフィックスコミュニティにおいて用いられる技法である。各頂点のスキニングまたはモーフィングされたロケーションｖ_ｓが、以下のように、「着衣姿勢」の頂点のロケーションｖ⁻に適用されたｎ個の骨格骨変換Ｍ_ｂの重み付き和として計算される。

上記数式において、ｗ_ｂは骨ｂが頂点ｖ_ｓに対して持つ影響を表す重みであり、ｂはインデックスである。行列Ｍ⁻ _ｂ ^−１は、逆「着衣姿勢」骨格骨変換を表す。右から左へ、上記数式の左辺は「着衣姿勢」の頂点のロケーションを取ること、それを着衣姿勢における骨ｂの座標系へと変換すること、次にそれを骨ｂの姿勢変換によって変換することを表す。

重みｗ_ｂは、登録されたメッシュの全セットを用いて学習される。それから、衣服の頂点のロケーションの大域セットが捨てられる。３Ｄの人間の身体形状のパラメトリックモデルだけを学習することは、学習例間のあらゆる姿勢変動の除去を必要とする。

図５ａは、姿勢を取った形状の、登録された人間のメッシュを示す。図５ｂは、図５ａのメッシュの姿勢における骨格を示す。図５ｃは、正規化された姿勢または「着衣姿勢」における骨格を示す。図５ｄは、着衣姿勢に変換された、図５ａの登録されたメッシュの身体形状を示す。姿勢を取った、登録された（図５ａのような）メッシュが与えられると、それぞれ特定の姿勢を取ったメッシュ（図５ｄ）に特有の着衣姿勢頂点のセットが判定される。そのようにするために、ＬＢＳ処理は反転される。頂点ｖ毎に、着衣頂点のロケーションｖからｖ_ｓへの完備な（complete）変換行列Ｔが計算される。

これは、着衣または姿勢付きの正規化された頂点のロケーションがそれぞれ登録されたメッシュにおいて計算されることを可能にする。

前述の技法は、３Ｄの人間の走査画像のデータセットにおいて身体の形状が当該身体の姿勢から分離されることを可能にする。これは、一方が標準的な姿勢の身体の形状３１６から成り、他方が姿勢３１８から成る、２つのデータセットに帰着する。これは、それぞれの個別の統計モデルがそれぞれ独立に構築および推定されることを可能にする。ＬＢＳ重み３２０の単一のセットも保存される。

ここで記述されるアプローチでは、データセットは分割され、統計モデルはそれぞれの部位の中で学習される。この目標を意識して、実例が非常に少ない部位の姿勢および形状の空間において追加のデータを生成することが望ましい。上で論じられた技法、ならびに、人間の形状、人間の姿勢およびＬＢＳ重みの出力は、姿勢を取った身体の形状のさらなるサンプルの生成を可能にする。

図６は、姿勢を取った身体の形状のサンプルを生成する方法を示す。方法に対する入力は、図３に示される方法を用いて計算された、人間の形状３１６、人間の姿勢３１８およびＬＢＳ重み３２０である。

ステップ６０２において、同性の２つのキューブメッシュがサンプリングされる。ステップ６０４において、サンプリングされたキューブメッシュは、無作為に補間される。この新たな身体の形状は、それから姿勢へスキニングされる６０６。姿勢は、関節毎に主成分分析（ＰＣＡ）を生成すること６０８、それから対応する主成分分析（ＰＣＡ）モデルから関節毎に回転をサンプリングすること６１０によって作成される。このサンプリングおよびスキニング処理は、データセット内の必要とされるサンプル毎に繰り返され、サンプルあたりおよそ１／３０秒かかる。方法の出力は、姿勢付きの身体の形状のサンプル６１２のセットである。

図６に示されるように、新たな形状が、標準的なカノニカル姿勢のキューブメッシュの無作為に重み付けされた線形結合を用いて生成される。このシンプルな線形結合は、補間された身体の形状がどれだけ離れているかに関わらず、ほとんど常に人間に見える結果をもたらす。異性の形状を補間することは際立って非現実的な結果をもたらすと分かったので、ステップ６０２では同性のサンプルが使用された。

人間の姿勢の全範囲のアピアランスをモデリングすることは、存在する関節接合の量のせいで大変なタスクである。ただ１３個の主要な関節の各々の動きの許容される範囲だけが与えられれば実行可能な姿勢の空間は非常に広く、これは指の動きを考慮すらしない。従って、我々は、我々がデータセットを作成する姿勢の空間を定義することができるようにしたい。これは、各関節の相対的な３Ｄ方位に対する主成分分析（ＰＣＡ）を用いて姿勢のパラメトリックモデルを学習し、このモデルから重み付きサンプリングをすることによって実現される。

各関節の親と比較した角度は、Ｒ^３のベクトルによる３Ｄ回転の表現である指数関数的なマップを用いて表される。このベクトルは、回転軸と当該軸中心の回転角を記述する。統計解析法の使用を可能にしつつ３Ｄ回転のコンパクトの表現を可能とするので、係るパラメータ化が用いられる。関節毎に、親から子の骨までの相対的な変換が計算され、それから回転の指数関数的なマップが計算される。それから、ＰＣＡが、全ての例となる姿勢において関節毎に指数関数的マップのセットに対して別々に行われる。新たな姿勢をサンプリングするために、相対的な回転が、骨格中の関節毎にサンプリングされる。姿勢空間の制御は、関節毎のＰＣＡモデルのそれぞれの次元からサンプリングするために用いられる分散を重み付けすることによって可能となる。これらの重みは、それぞれの主成分が対応する動きの範囲の目視検査の後に手動で設定される。

姿勢および形状のモデルは、ＬＢＳを用いて結合される２つの別個のＰＣＡモデルの形式を採る。同一のトポロジーを備え、原点で始まる身体の形状のメッシュのデータベースが与えられると、全ての頂点のｘ；ｙ；ｚロケーションがベクトル化されて連結される。それから、ＰＣＡが、この全てのメッシュのベクトルのセットに対して行われる。姿勢のモデルは、我々の骨格の１９個の関節の各々について計算されたＰＣＡモデルを用いて上記のように計算される。このアプローチの代案は、単一のベクトルに連結された全ての関節パラメータに亘ってＰＣＡモデルを計算することである。実際には、関節毎のモデルがフィッティング段階の間に初見の姿勢に対してより大きな程度の一般化を提供することが分かった。姿勢および形状のモデルのパラメータ空間におけるロケーションが与えられると、重みを備えたＬＢＳを用いて最終的なメッシュ出力が計算された。

効率的なフィッティングの目的上、形状および姿勢の空間が所与の初期設定へと十分に局所化され、それ故よりコンパクトとなるのであれば、有利である。これは最適化されるパラメータ空間を縮小させ、向上した効率へと結びつく。さらに、それは、仮定された姿勢および形状を初期設定のポイントに近くしておく最適なパラメータの整理に役立つ。係る局所化を実現するために、姿勢および形状は、シミュレートされたデプスカメラ測定の空間を通じて一緒にクラスタリングされる。

図７は、形状および姿勢の局所モデルを学習する方法を示す。フィッティング処理の効率およびロバストネスは、高速な初期近似および勾配降下法段階のための限られた姿勢および形状のモデルにある。これはシミュレートされたデプス画像の空間においてクラスタリングすることによって実現され、当該シミュレートされたデプス画像は姿勢付きの身体形状のデータベース６１２の中のサンプル毎にレンダリングされる。フィッティング処理において、我々は最初に入力画像をクラスタの重心へマッチングさせ、それから反復的な最も近いポイントに基づく登録のために対応する姿勢および形状のモデルを用いる。

ステップ７０２において、デプス画像が、姿勢付きの身体の形状のサンプル６１２から合成される。ステップ７０４において、デプス画像が正規化される。

正規化は、あり得る測定画像の空間を縮小させるために実行される。これは、２つの重要な目標、すなわち、（ｉ）ちょうど目下の人間を残すための、混乱させる背景情報の除去、（ｉｉ）センサに対する方位および距離の正規化、を達成する。

人間は、領域拡張法を用いて背景からセグメント化される。人間が存在すると予想される中心にある画素を持つ領域に種子がまかれる。所与の閾値よりも大きなデプス画像内の境界に到達するまで画素が反復的に追加される。

方位は、垂直軸中心の回転のみ許可しながら、平面を３Ｄの正面のポイントにフィッティングさせることによって正規化された方位である。セグメント化された人間の平行移動（translation）は、全てのセグメント化されたポイントの平均を取り除くことによって正規化される。発見された変換を用いることは、オリジナルの測定画像の正規化された正射影の再投影を可能にする。この効果は、デプス画像が正規化された平面へと回転され平行移動されるということである。

ステップ７０６において、正規化されたデプス画像はクラスタリングされる。多数の正規化された測定画像をクラスタリングするために、ｋ平均クラスタリングが用いられる。サイズを任意の小さなスケールへと縮小させることによって測定画像が最初に準備される。図８は、ちょうど１６×１６画素へと縮小された測定画像を示す。このサイズの縮小は、学習およびテスト処理の両方の効率を向上させる。この縮小により、アルファマップが、それぞれの小さなデプス画像と共に計算される。このアルファマップは、各デプス画素値の信頼性（confidence）、すなわち、それが貢献した、有効な、より高い解像度の測定画素の数を表す。アルファ画像は、人間の被写体のシルエットを表すと考えられるかもしれない。アルファ画像は、フル解像度のバイナリシルエット画像をぼかしてサブサンプリングすること、すなわち、解像度を低下させることによって、作成される。

デプス＋アルファ画像は、それから重み付けおよびベクトル化され、サンプルの特徴ベクトルを形成する。重み付けは、シルエットのみまたはシルエット＋デプスに基づくクラスタリングの間で信頼性（belief）が調整されることを可能にする。この小さなスケールにおいてすら身体の形状および姿勢の変化の大部分がキャプチャされていることが分かった。

ステップ７０８において、局所モデル７２０がクラスタ毎に構築される。大域モデルに関連して前述されたのと同じやり方でＬＢＳを用いて結合される２つの別個のＰＣＡモデルの形式を用いて、局所モデルが構築される。各局所モデルは、平均デプス画像７２２、形状モデル７２４、姿勢モデル７２６および外在的な姿勢モデルを含む。平均デプス画像７２２は、前述のように、アルファ画像およびデプス画像の重み付き合成であるかもしれない。外在的な姿勢モデルは、正規化された平面の座標フレームにおける姿勢付きの人間の形状のロケーションをモデル化する。これは、測定画像に影響を及ぼし、身体の形状および姿勢に依存する、正規化における局所化エラーを克服するのを手助けする。

図８ａはクラスタ重心メッシュの例を示し、図８ｂは対応するクラスタ重心デプスおよびアルファ画像を示す。

図８ａは、クラスタモデル１乃至クラスタモデル１０とラベル付けされている１０個のクラスタモデルについてのクラスタ重心メッシュを示す。図８ａに見られるように、各クラスタは異なる形状および／または姿勢を持つ。

図８ｂは、図８ａに示されるクラスタモデルの各々についての代表画像を示す。各クラスタは、姿勢および形状のモデルの平均からレンダリングされた測定画像によって表される。図８ｂに見られるように、画像は、効率を向上させるためにサイズに関して大いに縮小されている。サイズに関する縮小により、デプス測定値およびアルファ値の両方が画素毎に計算される。アルファ値は、有効な情報が存在する度合いを示す。

図７に示されるクラスタモデル７２０を用いてデプス画像から人間の身体の形状を推定する処理が次に記述されるであろう。下記方法は、図２に示される方法の例に対応する。

初見の入力デプス画像を与えられると、任意の目下の人間の身体の形状が、事によると重い衣服による混乱なしに推定される。前述の学習されたモデルを与えられると、これは２段階の処理で実現される。第１に、全てのクラスタ代表画像を用いた比較により非パラメトリックな推定が行われる。それから、第２の、正確な登録を達成する勾配降下法段階において、形状、姿勢および正規化エラーの対応するモデルが用いられる。

フィッティングを開始できるようになる前に、我々はフロアロケーションの正確な推定値を必要とする。これは、足の正確な配置を可能にし、カメラに対する人間の方位の正確な正規化にとって重要である。

実施形態において、用いられるデプスセンサは、加速度計の使用を通じて重力ベクトルを提供する。あらゆるシーンにおけるフロアはこのベクトルに対しておおよそ垂直であることが仮定される。従って、フロア平面のフィッティングは、シーン内の全ての３Ｄポイントをこのベクトルに投影し、最大密度のポイントを見つけ出すことによって実現可能である。結果として生じるフロアロケーションは、加速度計の測定値におけるエラーを説明する反復最近接点（ＩＣＰ）スタイルアルゴリズムを用いて改良される。

システムが始動される時に、前述の正規化処理が行われる。これは、学習フェーズの間に合成されたデプス測定値が正規化されたのと同じやり方で正規化されるデプス測定値を与える。網羅的な最近隣比較が、全てのクラスタ重心へのユークリッド距離に基づいて行われ、学習中に用いられたのと同じ重みによってデプスおよびアルファ画像を重み付けする。最も近いクラスタは、本当の身体の形状の精密な初期近似である平均を備える、姿勢、形状および正規化エラーについてのモデルを包含する。

計算された初期設定ならびに姿勢、形状および正規化エラーの制約モデルを与えられたとすると、キューブメッシュは、反復的なＬｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔアルゴリズムを用いてデプス画像の入力点群にフィッティングされる。登録は、メッシュ形状、内在的な（関節でつながっている）姿勢および外在的な姿勢（正規化エラーを勘定する）が独立にフィッティングされる、３つの処理の度重なる反復を使って行われる。

それぞれの最適化の高レベル段階では点群へのメッシュの対応が判定され、それからモデルは以下のエネルギー関数を最小化させるように更新される。

ここで、Ｘ＝（Ｘ_ｓ，Ｘ_ｐ，Ｘ_ｔ）は、それぞれ形状、姿勢および正規化エラーのモデルのパラメータである。エネルギー関数の項は、対応点間の距離であるＥ_ｄ、登録されたメッシュの幾何学的なボリュームであるＥ_ｖ、地面から遠く離れて足を上げることに対するペナルティであるＥ_ｆ、Ｘの要素中の正則化項であるＥ_ｒを表す。各項は、法線方向であるｎ＝（ｘ，ｙ，ｚ）に関する対応発見のためのロバスト法と共に、以下により詳細に記述される。α、βおよびγは、モデルのトレーニングの間に判定される係数である。

距離項（これは、データ項である）は、入力点群に接近するようにモデルメッシュを助長する。

ここで、ｐ_ｉ＝（ｘ，ｙ，ｚ）およびｑ_ｉ＝（ｘ，ｙ，ｚ）は、データおよびモデル頂点の対応ペアであり、ｄ（．．）は距離関数であり、σは雑音レベルであり、Ｋはカーネル関数である。

距離関数ｄ（．．）は、衣服の存在を扱うために巧みに作られている。それは、変形された二地点間距離である。

ここで、ｎ_ｑは点ｑにおける法線（normal）であり、変数ｙの関数ｉｎｓｉｄｅ（．．）は以下のように与えられる。

関数ｉｎｓｉｄｅ（．．）は、衣服を着た形状の内部にあるモデルに対して選好（preference）を与える。すなわち、裸の形状が衣服を着た形状の内部に存在する。

重力関数は以下のように与えられる。

ここでＮ_ｙは、法線ｎ＝（ｘ，ｙ，ｚ）のｙ成分である。重力関数は、法線が重力に逆らう場合によりタイトなマッチングを課す。これは、衣服が身体の表面に向かって上方にタイトであると予想されるという事実を勘定する。τ_{ｉｎｓｉｄｅ}およびτ_{ｇｒａｖｉｔｙ}は、それぞれ、内部項および重力項の影響を制御する実数値をもつ重みである。関数ｍａｘ（．．）は、その引数のうちより大きな値を返す最大値演算子である。例えば、ｍａｘ（ａ，ｂ）は、ａおよびｂのうちより大きな値を返す。

ボリューム項Ｅ_ｖは、より小さなボリュームに対して選好を設定する。この項は、上述の距離項と同様に、衣服の存在を扱うように意図される。

ここで、ｖｏｌｕｍｅ（Ｍ（Ｘ））は、メッシュＭ（Ｘ）のボリュームである。

足項は、地面に触れている足を備えるメッシュを好む。すなわち、足は、浮かんでもいないし衝突もしていない。

ここで、ｑ_ｊは左足または右足の底に属するモデル点であり、Ｕ＝（０，１，０）は上向きのベクトルである。

正規化項Ｅ_ｒは、ＰＣＡモデルが小さな偏差のためのデータのよい表現であることを考慮に入れる。結果を現実的にしておくために、正規化項はよりもっともらしい形状を選好するために用いられる。

ここで、ｘ_ｉは入力パラメータベクトルＸのスカラー成分であり、σ_ｒは法線であるとみなされるものに影響を及ぼす閾値である。

モデルとデプス画像との間の対応は、法線方向に関して計算される。これは、対応を愚直に計算することが、質の悪いマッチング（例えば、手のひらの点が、穏当でない姿勢を与えられた手の上側の点にマッチするかもしれない）を引き起こすからである。これを克服するために、対応は法線方向に関して計算される。平滑化された点群の法線は、それらの方向によって放射（radial）ビンまたは極（polar）ビンへとビニングされる（binned）。マッチング段階の間に、各モデル頂点のビンインデックスが計算され、対応するビンおよびその近隣のみを求めて頂点とマッチする点群が探索される。これは、マッチング点の法線が類似することを保証し、姿勢における初期化エラーを克服するのに役立つ。

実施形態において、上述の方法およびシステムは、健康および体型のモニタリングに使用される。食事制限または運動の被写体への効果が視覚化され評価される。将来の体型が予測され評価されてもよい。実施形態は、全身の形状の視覚化およびトラッキングを可能にする。これは、ウェスト測定または重量測定などの単一の測定に比べて、視覚化が容易であるし、動機を与えるかもしれない。

実施形態は、衣服の小売りに応用例を持つ。例えば、実施形態は、消費者に衣服を視覚化する非常に正確な方法を与える。さらに、明確かつ正確な測定を、オンライン環境でさえも体型にぴったりの衣服のためにすることができる。

実施形態は、オンラインゲームおよび通信に適用されてもよい。被写体の体型にぴったりとマッチするリアルなアバターを作成することができる。体型およびテクスチャのパラメータは１度しか送信される必要がなく姿勢はその後の時間に更新可能であるので、人々を含むビデオの圧縮が改善されるかもしれない。

実施形態は、ビデオシーケンスにおいて人々をトラッキングすることに応用例を持つ。身体の形状がひとたび既知となれば、当該形状を持つ人をビデオシーケンスのフレーム中でトラッキングすることが可能であるし、異なるカメラによって取り込まれたシーケンスにおいてさえも再識別されるかもしれない。

実施形態は、バイオメトリクスに応用例を持つ。例えば、体型推定は、オフィスビルにおける受動的なアクセス制御を可能にする。体型が足取りおよび姿勢などの他の受動的なバイオメトリクスと組み合わせられて、改善された本人確認を可能にする。体重を受動的に推定できることは、体重によって値段を決められるフライトチケットに有用であるかもしれない。

実施形態は、セキュリティに応用例を持つ。衣服の下に隠れたアイテムを検出するために体型推定を用いることができる。体型の推定ならびに入店および出店する顧客の比較が、万引きの検出を提供できる。異なる時点での人々の推定および比較は、公安という背景で有用な、ばらばらの荷物の配達を検出できる。

実施形態において、上述のシステムは、２．９３ＧＨｚで動作するデュアルＩｎｔｅｌ Ｘｅｏｎ Ｘ５６４７プロセッサとＧｅＦｏｒｃｅ ＧＴ６４０ ＧＰＵとを備えたＤｅｌｌ Ｐｒｅｃｉｓｉｏｎ Ｔ７５００で実装される。

いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものに過ぎず、発明の範囲を限定することを意図されていない。実際、ここで説明された新規な方法およびシステムは、様々な他の形態で実施されることが可能である。更に、発明の要旨を逸脱することなく、種々の省略、置き換え、変更を行うことができる。添付の特許請求の範囲およびその均等物は、係る形態または変形をカバーするように意図されており、発明の範囲や要旨に含まれるであろう。

Claims (20)

1. デプス画像から被写体の三次元表現を生成する方法であって、
   前記被写体のデプス画像を、各代表画像が被写体の個別のパラメトリックモデルに関連付けられる複数の代表画像と比較することと、
   前記複数の代表画像のうちの１つの代表画像を前記被写体の前記デプス画像に最も類似した代表画像として識別することと、
   前記デプス画像に最も類似した代表画像に関連付けられるパラメトリックモデルを選択することと、
   選択された前記パラメトリックモデルを前記被写体のデプス画像にフィッティングさせることによって前記被写体の三次元表現を生成することと
   を具備する方法。
2. 前記選択されたパラメトリックモデルを前記被写体のデプス画像にフィッティングさせることは、エネルギー関数を最小化させることを備え、
   前記エネルギー関数は、前記被写体のデプス画像上の点と前記選択されたパラメトリックモデル上の対応点との間の距離に依存する距離項を備える、
   請求項１の方法。
3. 前記距離項は、前記デプス画像上の点によって定義されるボリュームの内側にある前記モデル上の点に選好を与える、請求項２の方法。
4. 前記距離項は、前記選択されたモデルの表面に対する法線と重力方向とに依存する重力関数を備える、請求項２の方法。
5. 各代表画像は、前記個別のパラメトリックモデルから計算されたデプス画像である、請求項１の方法。
6. 各代表画像は、デプス画像と前記個別のパラメトリックモデルから計算されたアルファ画像との重み付き合成である、請求項１の方法。
7. 前記被写体のデプス画像を前記複数の代表画像と比較する前に、前記被写体の方位および／または前記デプス画像における前記被写体のデプスを正規化すること、をさらに具備する請求項１の方法。
8. 前記被写体のデプス画像を前記複数の代表画像と比較する前に、前記デプス画像の解像度を低下させること、をさらに具備する請求項１の方法。
9. 前記三次元表現から前記被写体のサイズインジケータおよび／または寸法を計算することをさらに具備する請求項１の方法。
10. プロセッサでの実行時に当該プロセッサに請求項１の方法を実行させるプロセッサ実行可能命令を搬送するコンピュータ可読記録媒体。
11. デプス画像から被写体の三次元表現を生成するためのシステムであって、
    前記被写体の複数のパラメトリックモデルと、各代表画像が個別のパラメトリックモデルに関連付けられる複数の代表画像とのためのストレージと、
    前記被写体のデプス画像を前記複数の代表画像の各々と比較し、
    前記複数の代表画像のうちの１つの代表画像を前記被写体の前記デプス画像に最も類似した代表画像として識別し、
    前記デプス画像に最も類似した代表画像に関連付けられるパラメトリックモデルを選択する
    ように動作可能な選択モジュールと、
    選択された前記パラメトリックモデルを前記被写体のデプス画像にフィッティングさせることによって前記被写体の三次元表現を生成するように動作可能なフィッティングモジュールと
    を具備するシステム。
12. 前記フィッティングモジュールは、エネルギー関数を最小化させることによって、前記選択されたパラメトリックモデルを前記被写体のデプス画像にフィッティングさせるように動作可能であり、
    前記エネルギー関数は、前記被写体のデプス画像上の点と前記選択されたパラメトリックモデル上の対応点との間の距離に依存する距離項を備える、
    請求項１１のシステム。
13. 前記距離項は、前記デプス画像上の点によって定義されるボリュームの内側にある前記モデル上の点に選好を与える、請求項１２のシステム。
14. 前記距離項は、前記選択されたモデルの表面に対する法線と重力方向とに依存する重力関数を備える、請求項１２のシステム。
15. 各代表画像は、前記個別のパラメトリックモデルから計算されたデプス画像である、請求項１１のシステム。
16. 各代表画像は、デプス画像と前記個別のパラメトリックモデルから計算されたアルファ画像との重み付き合成である、請求項１１のシステム。
17. 各代表画像は、１００×１００画素未満の解像度を持つ、請求項１１のシステム。
18. 前記選択モジュールは、前記被写体のデプス画像を前記複数の代表画像と比較する前に、前記被写体の方位および／または前記デプス画像における前記被写体のデプスを正規化するように動作可能である、請求項１１のシステム。
19. 前記三次元表現から前記被写体のサイズインジケータおよび／または寸法を計算するようにさらに動作可能である、請求項１１のシステム。
20. 前記被写体のデプス画像をキャプチャするように構成されたデプス画像キャプチャデバイスをさらに具備する、請求項１１のシステム。