JP2018125000A - 視点変換のためのリアルなリグ付き３次元（３ｄ）モデルアニメーションを生成するための装置及び方法 - Google Patents

Abstract

【課題】視点変換のためのリアルなリグ付き３次元（３Ｄ）モデルアニメーションを生成するための装置及び方法を提供する。
【解決手段】第１のボーン配向の組で定義される第１の階層的な相互接続されたボーンの組を含む第１の３Ｄモデルを電子装置に記憶し、動作検知装置から、物体の第２の階層的な相互接続されたボーンの組のボーン構造情報を受け取り、ボーン構造情報に基づいて、第１のボーン配向の組を第２のボーン配向の組に修正し、ボーン構造情報に基づいて第１の階層的な相互接続されたボーンの組における１又は２以上のボーンのサイズを変換することによって、第２の３Ｄモデルを生成し、第２のボーン配向の組と、変換された第１の階層的な相互接続されたボーンの組とに従って、第２の３Ｄモデルをディスプレイ装置上にアニメーション化する。
【選択図】図８

Description

〔関連出願との相互参照／引用による組み入れ〕
該当なし

本開示の様々な実施形態は、３次元（３Ｄ）モデリング及びアニメーションに関する。具体的には、本開示の様々な実施形態は、視点変換のためのリアルなリグ付き３Ｄモデルアニメーションを生成するための装置及び方法に関する。

３次元（３Ｄ）コンピュータグラフィック、モデリング及びアニメーション分野の進歩は、３Ｄコンピュータグラフィック環境において３Ｄモデルをアニメーション化して実物体を視覚化する能力をもたらした。アニメ映画、ゲーム及び仮想現実システムでは、ユーザ体験を高めるために３Ｄキャラクタモデルなどの３Ｄコンテンツがますます使用されている。３Ｄモデルは、特定の物体の形状に類似する静的３Ｄメッシュである。通常、このような３Ｄモデルは、一般にモデラーとして知られているコンピュータグラフィクスアーティストによって、モデリングソフトウェアアプリケーションを用いて手動で設計される。このような３Ｄモデルは、アニメーションでは同様に使用できないことがある。一般にリガーとして知られている他の３Ｄコンピュータグラフィック専門家は、静的３Ｄメッシュにデジタルリグなどの支持構造を手動で導入してリグ付き３Ｄモデルを生成する。リグ付き３Ｄモデルにおけるデジタルリグは骨格の役割を果たし、関節及び骨の系統を含むことができる階層的な相互接続されたボーンの組（ｈｉｅｒａｒｃｈｉｃａｌ ｓｅｔ ｏｆ ｉｎｔｅｒｃｏｎｎｅｃｔｅｄ ｂｏｎｅｓ）を含む。これにより、リグ付き３Ｄモデルのアニメーションの動きを定義することができる。物体のポーズを取り込んだ物体視点以外の複数の視点から物体のアニメーション化されたリグ付き３Ｄモデルを見る際には、いくつかの複雑性が伴う。さらに、アニメーション化されたリグ付き３Ｄモデルは、物体の解剖学的骨格構造に似つかないこともある。例えば、アニメーション化されたリグ付き３Ｄモデルのデジタルリグの相互接続されたボーンの構造及び相対的サイズが、ポーズを取り込んだ物体の構造に特有のものでないことがある。このリグ付き３Ｄモデルのデジタルリグの相互接続されたボーンの構造及びサイズの不一致は、リアルなアニメーションにとって望ましくないものとなり得る。

当業者には、上述したシステムと、本出願の残りの部分において図面を参照しながら説明する本開示のいくつかの態様との比較を通じて、従来の伝統的方法のさらなる限界及び不利点が明らかになるであろう。

実質的に少なくとも１つの図に示し、及び／又はこれらの図に関連して説明し、特許請求の範囲にさらに完全に示すような、視点変換のためのリアルなリグ付き３次元（３Ｄ）モデルアニメーションを生成するための装置及び方法を提供する。

全体を通じて同じ要素を同じ参照符号によって示す添付図面を参照しながら本開示の以下の詳細な説明を検討することにより、本開示のこれらの及びその他の特徴及び利点を理解することができる。

本開示の実施形態による、視点変換のためのリアルなアニメーションを生成するための例示的なネットワーク環境を示すブロック図である。 本開示の実施形態による例示的な電子装置を示すブロック図である。 本開示の実施形態による、第１の３Ｄモデルから第２の３Ｄモデルを生成する例を示す図である。 本開示の実施形態による、第１の３Ｄモデルから第２の３Ｄモデルを生成する例を示す図である。 本開示の実施形態による、第１の３Ｄモデルから第２の３Ｄモデルを生成する例を示す図である。 本開示の実施形態による、第１の３Ｄモデルから第２の３Ｄモデルを生成する例を示す図である。 本開示の実施形態による、開示する視点変換のためのリアルなリグ付き３Ｄモデルアニメーションを生成するための装置及び方法を実装する第１の例示的なシナリオを示す図である。 本開示の実施形態による、開示する視点変換のためのリアルなリグ付き３Ｄモデルアニメーションを生成するための装置及び方法を実装する第２の例示的なシナリオを示す図である。 本開示の実施形態による、開示する視点変換のためのリアルなリグ付き３Ｄモデルアニメーションを生成するための装置及び方法を実装する第３の例示的なシナリオを示す図である。 本開示の実施形態による、視点変換のための複数のリアルなリグ付き３Ｄモデルアニメーションを生成するための開示する装置及び方法を実装する第４の例示的なシナリオを示す図である。 本開示の実施形態による、視点変換のためのリアルなリグ付き３Ｄモデルアニメーションを生成するための例示的な動作を示すフローチャートである。

開示するリアルなリグ付き３次元（３Ｄ）モデルアニメーションを生成するための装置及び方法では、後述する実装を見出すことができる。本開示の例示的な態様は、動作検知装置とディスプレイ装置とに通信可能に結合できる装置を含むことができる。この装置は、第１の３Ｄモデルを記憶するように構成された記憶装置を含むことができる。第１の３Ｄモデルは、第１のボーン配向の組（ｓｅｔ ｏｆ ｂｏｎｅ ｏｒｉｅｎｔａｔｉｏｎｓ）で定義される第１の階層的な相互接続されたボーンの組を含むことができる。第１の３Ｄモデルは、リグ付き３Ｄモデルに対応することができる。さらに、第１の３Ｄモデルの第１の階層的な相互接続されたボーンの組は、リグ付き３Ｄモデルのデジタルリグに対応することができる。装置は、動作検知装置から通信チャネルを介して、物体の第２の階層的な相互接続されたボーンの組のボーン構造情報を受け取るように構成することができる。この物体は、人間、動物、或いは実際の人間又は動物の自然な体の動きを模倣するロボットに対応することができる。装置は、第１の３Ｄモデルの第１の階層的な相互接続されたボーンの組の第１のボーン配向の組を第２のボーン配向の組に修正するように構成することができる。装置は、動作検知装置から受け取ったボーン構造情報に基づいて、第１のボーン配向の組を第２のボーン配向の組に修正することができる。装置は、第１の３Ｄモデルの第１の階層的な相互接続されたボーンの組における１又は２以上のボーンのサイズを変換することによって第２の３Ｄモデルを生成するように構成することができる。装置は、受け取ったボーン構造情報に基づいて、第１の階層的な相互接続されたボーンの組における１又は２以上のボーンのサイズを変換することができる。装置は、第２のボーン配向の組と、変換された第１の階層的な相互接続されたボーンの組とに従って、生成された第２の３Ｄモデルをディスプレイ装置上にアニメーション化するように構成することができる。

ある実施形態によれば、第１の３Ｄモデルの第１の階層的な相互接続されたボーンの組は、１又は２以上のルートボーンと、１又は２以上の非ルートボーンと、１又は２以上のエンドボーンとを含むことができる。装置は、第２の階層的な相互接続されたボーンの組における対応するルートボーンに対する第１の階層的な相互接続されたボーンの組における単一のルートボーンの相対的ボーン配向を計算するようにさらに構成することができる。第１の階層的な相互接続されたボーンの組におけるルートボーンの相対的ボーン配向は、対応するルートボーンのボーン構造情報に基づいて計算することができる。

装置は、第２の階層的な相互接続されたボーンの組における対応する非ルートボーンに対する第１の階層的な相互接続されたボーンの組における非ルートボーンの相対的ボーン配向を計算するようにさらに構成することができる。非ルートボーンの相対的ボーン配向は、第１の階層的な相互接続されたボーンの組における、対応する非ルートボーン及び非ルートボーンの親ボーンの対応する親ボーンのボーン構造情報に基づいて計算することができる。

装置は、第２の階層的な相互接続されたボーンの組における対応するエンドボーンに対する第１の階層的な相互接続されたボーンの組におけるエンドボーンの相対的ボーン配向を計算するようにさらに構成することができる。エンドボーンの相対的ボーン配向は、第１の３Ｄモデルの第１の階層的な相互接続されたボーンの組におけるエンドボーンの関節位置に基づいて計算することができる。

装置は、第１の３Ｄモデルの第１の階層的な相互接続されたボーンの組の動きに関する一連の制約を決定して第２のボーン配向の組を安定させるようにさらに構成することができる。ボーン構造情報は、動作検知装置から実時間で、準実時間で、又は遅延時間で受け取ることができる。ボーン構造情報は、物体の第２の階層的な相互接続されたボーンの組のボーン配向情報及びサイズ情報を含むことができる。この情報は、物体の視点に関連することができる。

本開示の例示的な態様によれば、装置は、動作検知装置から複数の物体のボーン構造情報を受け取るように構成することができる。複数の物体のボーン構造情報は、動作検知装置から実時間で、準実時間で、又は遅延時間で受け取ることができる。装置は、第１の３Ｄモデルと、動作検知装置から受け取った複数の物体のボーン構造情報とに基づいて、複数の第２の３Ｄモデルを生成することができる。

第１の３Ｄモデルは、第１の３Ｄモデルの１又は２以上の部分のメッシュ構造などの表面表現をさらに含むことができる。装置は、第２の配向の組と、変換された第１の階層的な相互接続されたボーンの組とに基づいて、第１の３Ｄモデルの１又は２以上の部分の表面表現を変形させるように構成することができる。装置は、第２の３Ｄモデルを生成することにより、第１の３Ｄモデルの第１の階層的な相互接続されたボーンの組の１又は２以上の動きを、動作検知装置によって追跡される物体の１又は２以上の動きに同期させるように構成することができる。

装置は、生成された第２の３Ｄモデルを実時間で、準実時間で、又は遅延時間でディスプレイ装置上にレンダリングすることができる。第２の３Ｄモデルは、１又は２以上の同期された動きを有することができる。ある実施形態によれば、受け取られたボーン構造情報は、動作検知装置によって物体の視点から取り込まれたものとすることができる。さらに、生成された第２の３Ｄモデルは、ディスプレイ装置上で物体の複数の視点から見ることができる。これらの複数の視点は、動作検知装置によって取り込まれた物体の視点を含むことができる。生成された第２の３Ｄモデルをディスプレイ装置にレンダリングして第１の位置における物体の仮想的存在を引き起こし、この物体を第２の位置に配置することができる。

図１は、本開示の実施形態による、視点変換のためのリアルなアニメーションを生成するための例示的なネットワーク環境を示すブロック図である。図１には、ネットワーク環境１００を示す。ネットワーク環境１００は、電子装置１０２と、サーバ１０４と、動作検知装置１０６と、物体１０８と、ディスプレイ装置１１０と、通信ネットワーク１１２とを含むことができる。さらに、電子装置１０２に関連するユーザ１１４も示す。ユーザ１１４は、ディスプレイ装置１１０に関連することもできる。電子装置１０２は、通信ネットワーク１１２を介して、サーバ１０４、動作検知装置１０６及びディスプレイ装置１１０に通信可能に結合することができる。

電子装置１０２は、リアルな３Ｄリグ付きモデルアニメーションを生成するように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。リグ付き３Ｄモデルのリグは、実際の骨格と同様に、リグ付き３Ｄモデルのアニメーション中に使用される動きの定義を可能にする、人間の関節及び骨の体系と同様の階層的な相互接続されたボーンの組を含む。電子装置１０２は、動作検知装置１０６によって追跡される物体１０８の動きに基づいて、ディスプレイ装置１１０上にリアルな３Ｄリグ付きモデルをアニメーション化するように構成することができる。電子装置１０２の例としては、以下に限定するわけではないが、ゲーム装置、ビデオ会議システム、拡張現実型装置、コンピュータ装置、サーバ、コンピュータワークステーション、メインフレームマシン及び／又はその他の電子装置を挙げることができる。

サーバ１０４は、１又は２以上のリグ付き３Ｄモデルを記憶するように構成できる好適な回路、インターフェイス及び／又はコードを含むことができる。サーバ１０４の例としては、以下に限定するわけではないが、アプリケーションサーバ、クラウドサーバ、ウェブサーバ、データベースサーバ、ファイルサーバ、ゲームサーバ、メインフレームサーバ、又はこれらの組み合わせを挙げることができる。

動作検知装置１０６は、物体１０８の動きを取り込むように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。動作検知装置１０６は、物体１０８の１又は２以上のポーズを実時間で、準実時間で、又は遅延時間で取り込むように構成することができる。動作検知装置１０６は、対応する取り込まれたポーズに基づいて、物体１０８のボーン構造情報を決定するようにさらに構成することができる。ボーン構造情報は、物体１０８の骨格配向情報を含むことができる。動作検知装置１０６は、決定されたボーン構造情報を、通信ネットワーク１１２を介して電子装置１０２に送信するように構成することができる。動作検知装置１０６は、物体１０８の１又は２以上のポーズを１つの視点から取り込むことができる深度センサ、赤外線（ＩＲ）センサ及び／又は（赤色−緑色−青色（ＲＧＢ）センサなどの）カラーセンサなどの複数のセンサを含むことができる。例えば、動作検知装置１０６は、物体１０８の右側から物体１０８のポーズを取り込むことができる。従って、物体１０８の右側は、動作検知装置１０６によって取り込まれた物体１０８の視点に対応することができる。動作検知装置１０６の例としては、以下に限定するわけではないが、深度センサ、ＩＲセンサ、ＲＧＢセンサ、物体１０８などの物体を動かすために使用される３Ｄメッシュ構造生成器、画像センサ及び／又は動作検出装置を挙げることができる。

物体１０８は、動作検知装置１０６によって動きを取り込む対象である関心物体を意味することができる。物体１０８は、人間、動物、或いは実際の人間又は動物の自然な体の動きを模倣できるロボットとすることができる。人体は、体を支えてその形状を維持する構造を提供する骨格を含む。人間の骨格は、階層的な一連の相互接続された骨を含み、骨間の（ａｒｔｉｃｕｌａｔｉｏｎｓとも呼ばれる）関節（ｊｏｉｎｔｓ）が、頭、手及び足などの人体部分の一定レベルの動きを可能にする。

ディスプレイ装置１１０は、電子装置１０２から受け取ったリグ付き３Ｄモデルをレンダリングするように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。ある実施形態によれば、ディスプレイ装置１１０は、ユーザ１１４などのユーザから入力を受け取ることができる。このようなシナリオでは、ディスプレイ装置１１０を、ユーザ１１４による入力の提供を可能にするタッチ画面とすることができる。ある実施形態によれば、ディスプレイ装置１１０は、仮想キーパッド、スタイラス、ジェスチャ式入力及び／又はタッチ式入力を通じて入力を受け取ることができる。ディスプレイ装置１１０は、以下に限定するわけではないが、液晶ディスプレイ（ＬＣＤ）ディスプレイ、発光ダイオード（ＬＥＤ）ディスプレイ、プラズマディスプレイ、及び／又は有機ＬＥＤ（ＯＬＥＤ）ディスプレイ技術などの複数の既知の技術を通じて実現することができる。ある実施形態によれば、ディスプレイ装置１１０は、スマートガラス装置、シースルーディスプレイ、投影式ディスプレイ、エレクトロクロミックディスプレイ及び／又は透明ディスプレイのディスプレイ画面を示すことができる。シースルーディスプレイは、透明又は半透明ディスプレイとすることができる。ある実施形態によれば、シースルーディスプレイ及び／又は投影式ディスプレイは、ユーザの眼から所定の距離の空中にリグ付き３Ｄモデルが浮かんでいる３Ｄ幻視を生成することができ、強化されたユーザ体験を提供するように意図される。

通信ネットワーク１１２は、電子装置１０２をサーバ１０４及び／又はディスプレイ装置１１０に通信可能に結合できる通信媒体を含むことができる。通信ネットワーク１１２の例としては、以下に限定するわけではないが、インターネット、クラウドネットワーク、ワイヤレスフィディリティ（Ｗｉ−Ｆｉ）ネットワーク、ローカルエリアネットワーク（ＬＡＮ）、及び／又はメトロポリタンエリアネットワーク（ＭＡＮ）を挙げることができる。ネットワーク環境１００における様々な装置は、様々な有線及び無線通信プロトコルに従って通信ネットワーク１１２に接続するように構成することができる。このような有線及び無線通信プロトコルの例としては、以下に限定するわけではないが、伝送制御プロトコル及びインターネットプロトコル（ＴＣＰ／ＩＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、ハイパーテキスト転送プロトコル（ＨＴＴＰ）、ファイル転送プロトコル（ＦＴＰ）、ＺｉｇＢｅｅ、ＥＤＧＥ、ＩＥＥＥ８０２．１１、ライトフィディリティ（Ｌｉ−Ｆｉ）、８０２．１６、ＩＥＥＥ８０２．１１ｓ、ＩＥＥＥ８０２．１１ｇ、マルチホップ通信、無線アクセスポイント（ＡＰ）、装置間通信、セルラー通信プロトコル及び／又はＢｌｕｅｔｏｏｔｈ（登録商標）（ＢＴ）通信プロトコル、又はこれらの組み合わせを挙げることができる。

電子装置１０２は、動作時に第１の３Ｄモデルを記憶するように構成することができる。第１の３Ｄモデルは、第１の階層的な相互接続されたボーンの組を含むことができるリグ付き３Ｄモデルに対応することができる。第１の階層的な相互接続されたボーンの組は、リグ付き３Ｄモデルのアニメーション中における動きの定義を可能にするデジタルリグに対応することができる。リグ付き３Ｄモデル内の第１の階層的な相互接続されたボーンの組は、１又は２以上のルートボーンと、１又は２以上の非ルートボーンと、１又は２以上のエンドボーンとを含むことができる。１又は２以上のルートボーンは、親ボーンを有していないボーンを意味する。１又は２以上の非ルートボーンは、少なくとも１つの親ボーンを有するボーンを意味する。１又は２以上のエンドボーンは、リグ付き３Ｄモデルの頭部、親指部分、足部分などの１又は２以上の末端部分を支えるボーンを意味する。第１の３Ｄモデルにおける第１の階層的な相互接続されたボーンの組は、第１のボーン配向の組で定義することができる。第１のボーン配向の組は、第１の階層的な相互接続されたボーンの組の各ボーンの初期安静ポーズ配向を表すことができるボーン配向を含むことができる。

電子装置１０２は、第１の階層的な相互接続されたボーンの組の第１のボーン配向の組を決定するように構成することができる。第１の３Ｄモデルは、第１の３Ｄモデルの１又は２以上の部分のメッシュ構造などの表面表現をさらに含むことができる。動作検知装置１０６から受け取った物体１０８などの物体のボーン構造情報に基づいて第１のボーン配向の組を修正する場合には、第１の３Ｄモデルの１又は２以上の部分の表面表現を変形させることができる。

物体１０８は、物体１０８の構造を支える第２の階層的な相互接続されたボーンの組と呼ばれる骨格構造を含むことができる。物体１０８は、人間、動物、或いは実際の人間又は動物の自然な体の動きを模倣できるロボットに対応することができる。通常、動作検知装置１０６は、物体１０８の動きの追跡中に物体１０８の１又は２以上のポーズを１つの視点から取り込む。従って、１つの視点から取り込まれた物体１０８のポーズは、物体１０８の部分的深度データ情報を含むことができる。部分的深度データは、１つの視点から取り込まれた物体１０８などの物体の様々な表面又は身体部位の距離に関する情報を含むことができる。例えば、物体１０８は、動作検知装置１０６が物体１０８の右側の投影像のみを取り込めるような位置に配置することができる。このような場合、物体１０８の右側投影像は、取り込まれる視点を示すことができる。動作検知装置１０６は、物体１０８のポーズを取り込んだ後に、物体１０８の第２の階層的な相互接続されたボーンの組のボーン構造情報を決定するように構成することができる。物体１０８のボーン構造の例については、後で図３Ａにおいて説明する。ボーン配向情報は、取り込まれた物体１０８のポーズを表すことができる。

ボーン構造情報は、物体１０８の第２の階層的な相互接続されたボーンの組のボーン配向情報及びサイズ情報を含むことができる。サイズ情報は、物体１０８の解剖学的体格を表すことができる。ボーン構造情報におけるボーン配向情報は、少なくとも物体１０８の第２の階層的な相互接続されたボーンの組における各ボーンの固定グローバル座標系におけるボーン位置情報を含むことができる。ボーン構造情報におけるボーン配向情報は、物体１０８の第２の階層的な相互接続されたボーンの組における１又は２以上のルートボーン及び１又は２以上の非ルートボーンの固定グローバル座標系における絶対的ボーン配向情報をさらに含むことができる。固定グローバル座標系における絶対的ボーン配向情報は、取り込まれた物体１０８のポーズを表すことができる。動作検知装置１０６は、ボーン構造情報を実時間で、準実時間で、又は遅延時間で電子装置１０２に送信することができる。

電子装置１０２は、動作検知装置１０６が動きを追跡できる物体１０８の第２の階層的な相互接続されたボーンの組のボーン構造情報を受け取るように構成することができる。電子装置１０２は、第１の３Ｄモデルの第１の階層的な相互接続されたボーンの組の第１のボーン配向の組を第２のボーン配向の組に修正するようにさらに構成することができる。電子装置１０２は、動作検知装置１０６から受け取ったボーン構造情報に基づいて、第１のボーン配向の組を第２のボーン配向の組に修正することができる。この修正では、電子装置１０２を、受け取ったボーン構造情報に基づいて、第１の階層的な相互接続されたボーンの組の相対的ボーン配向を計算するように構成することができる。

ある実施形態によれば、電子装置１０２を、第２の階層的な相互接続されたボーンの組における対応するルートボーンに対する１又は２以上のルートボーンの各々の相対的ボーン配向を計算するように構成することができる。第２の階層的な相互接続されたボーンの組における対応するルートボーンに対するルートボーンの相対的ボーン配向は、対応するルートボーンのボーン構造情報に基づいて計算することができる。例えば、電子装置１０２は、第１の階層的な相互接続されたボーンの組におけるルートボーンのボーン配向と、第２の階層的な相互接続されたボーンの組における対応するルートボーンのボーン配向との差分を求めることができる。電子装置１０２は、受け取った物体１０８のボーン構造情報から取得されたボーン配向情報に基づいて、対応するルートボーンのボーン配向を決定することができる。求められた差分は、相対的ボーン配向に対応することができる。さらに、電子装置１０２は、相対的ボーン配向を利用して、第１の階層的な相互接続されたボーンの組における１又は２以上のルートボーンの第１のボーン配向の組を第２のボーン配向の組に修正することができる。

ある実施形態によれば、電子装置１０２を、第２の階層的な相互接続されたボーンの組における対応する非ルートボーンに対する１又は２以上の非ルートボーンの各々の相対的ボーン配向を計算するように構成することができる。電子装置１０２は、第２の階層的な相互接続されたボーンの組における対応する非ルートボーンに対する第１の階層的な相互接続されたボーンの組における非ルートボーンの相対的ボーン配向を、受け取った対応する非ルートボーンのボーン構造情報に基づいて計算することができる。非ルートボーンの場合には、第１の階層的な相互接続されたボーンの組における非ルートボーンの相対的ボーン配向の計算に、第１の階層的な相互接続されたボーンの組における非ルートボーンの親ボーンのボーン構造情報を使用することもできる。非ルートボーンの親ボーンは、第１の階層的な相互接続されたボーンの組における、非ルートボーンに相互接続されたボーンを意味することができる。さらに、親ボーンの動きは、対応する非ルートボーンの動きに影響を与えることができる。

ある実施形態によれば、電子装置１０２を、第１の階層的な相互接続されたボーンの組の１又は２以上のエンドボーンの各々の関節位置に基づいて、第２の階層的な相互接続されたボーンの組の対応するエンドボーンに対する１又は２以上のエンドボーンの各々の相対的ボーン配向を計算するように構成することができる。さらに、電子装置１０２は、ボーン構造情報におけるボーン位置情報を利用して、第１の階層的な相互接続されたボーンの組における１又は２以上のエンドボーンの各々の相対的ボーン配向を計算することができる。例えば、電子装置１０２は、第１の階層的な相互接続されたボーンの組におけるエンドボーンの関節位置を求めることができる。さらに、電子装置１０２は、求められたエンドボーンの関節位置と、第２の階層的な相互接続されたボーンの組における対応するエンドボーンのボーン位置情報とを利用して、第１の階層的な相互接続されたボーンの組におけるエンドボーンの相対的ボーン配向を計算することができる。電子装置１０２は、相対的ボーン配向を利用して、第１の階層的な相互接続されたボーンの組における１又は２以上のエンドボーンの第１のボーン配向の組を第２のボーン配向の組に修正することができる。

電子装置１０２は、修正後に第１の３Ｄモデルの第１の階層的な相互接続されたボーンの組の動きに関する一連の制約を決定するように構成することができる。電子装置１０２は、一連の制約を決定して第２のボーン配向の組を安定させることができる。第１の階層的な相互接続されたボーンの組におけるボーンに関する制約は、対応するボーンの配向を安定させるためにボーンの動きに適用される制限を意味することができる。例えば、電子装置１０２は、第１の階層的な相互接続されたボーンの組における（手首ボーンなどの）ボーンについて、対応するボーンの回転を（Ｙ軸などの）回転軸の周囲の一定レベルに制限する制約を決定することができる。

ある実施形態によれば、電子装置１０２は、決定された一連の制約に基づいて、第１の階層的な相互接続されたボーンの組の第１のボーン配向の組を第２のボーン配向の組にさらに修正することができる。例えば、電子装置１０２は、一連の制約に基づいて、第１の階層的な相互接続されたボーンの組の相対的ボーン配向を更新することができる。従って、更新された相対的ボーン配向を利用して、第１の階層的な相互接続されたボーンの組における１又は２以上のルートボーンの第１のボーン配向の組を第２のボーン配向の組に修正することができる。一連の制約の決定のさらなる詳細については、図３Ａ〜図３Ｄにおいて説明する。

電子装置１０２は、第１の３Ｄモデルの第１の階層的な相互接続されたボーンの組における１又は２以上のボーンのサイズを変換して第２の３Ｄモデルを生成するようにさらに構成することができる。電子装置１０２は、受け取ったボーン構造情報に基づいて、第１の階層的な相互接続されたボーンの組における１又は２以上のボーンのサイズを変換することができる。電子装置１０２は、物体１０８の第２の階層的な相互接続されたボーンの組のボーン構造情報におけるサイズ情報を利用して、第１の階層的な相互接続されたボーンの組における１又は２以上のボーンのサイズを変換することができる。例えば、電子装置１０２は、受け取ったボーン構造情報に基づいて、第１の階層的な相互接続されたボーンの組におけるボーンのサイズを第２の階層的な相互接続されたボーンの組におけるボーンのサイズに一致するように拡大することができる。生成された第２の３Ｄモデルは、物体１０８に類似することができる。さらに、第２の３Ｄモデルの生成は、第１の３Ｄモデルの１又は２以上の部分の表面表現の変形を含むことができる。電子装置１０２は、第１の３Ｄモデルの１又は２以上の部分の表面表現を、第２のボーン配向の組と、変換された第１の階層的な相互接続されたボーンの組とに基づいて変形させることができる。電子装置１０２は、第２の配向の組と、変換された第１の階層的な相互接続されたボーンの組とに従って、生成された第２の３Ｄモデルをディスプレイ装置１１０上にアニメーション化するようにさらに構成することができる。

ある実施形態によれば、動作検知装置１０６は、物体１０８と同様の複数の物体の１又は２以上のポーズを取り込むように構成することができる。動作検知装置１０６は、取り込まれた１又は２以上のポーズの状態の複数の物体の各々に関するボーン構造情報を決定することができる。従って、電子装置１０２は、通信ネットワーク１１２を介して動作検知装置１０６から実時間で、準実時間で、又は遅延時間で複数の物体のボーン構造情報を受け取ることができる。さらに、電子装置１０２は、１又は２以上の第１の３Ｄモデルと、動作検知装置１０６から受け取った複数の物体のボーン構造情報とに基づいて、複数の第２の３Ｄモデルを同時に生成することができる。ある実施形態によれば、電子装置１０２は、サーバ１０４に記憶されている第１の３Ｄモデルを取り出すことができる。ある実施形態によれば、本開示の範囲から逸脱することなく、電子装置１０２の機能又は動作をサーバ１０４が実装することができる。

図２は、本開示の実施形態による例示的な電子装置を示すブロック図である。図２の説明は、図１の要素に関連して行う。図２には、電子装置１０２を示す。電子装置１０２は、プロセッサ２０２と、メモリ２０４と、配向推定ユニット２０６と、モデル変形ユニット２０８と、入力／出力（Ｉ／Ｏ）装置２１０と、ネットワークインターフェイス２１４とを含むことができる。Ｉ／Ｏ装置２１０は、アプリケーションインターフェイス２１２をレンダリングするために利用できるディスプレイ画面２１０Ａを含むことができる。プロセッサ２０２は、メモリ２０４、配向推定ユニット２０６、モデル変形ユニット２０８、Ｉ／Ｏ装置２１０及びネットワークインターフェイス２１４に通信可能に結合することができる。ネットワークインターフェイス２１４は、通信ネットワーク１１２を介してサーバ１０４及び動作検知装置１０６と通信するように構成することができる。

プロセッサ２０２は、メモリ２０４に記憶されている命令セットを実行するように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。プロセッサ２０２は、当業で周知の複数のプロセッサ技術に基づいて実装することができる。プロセッサ２０２の例は、画像処理装置（ＧＰＵ）、中央処理装置（ＣＰＵ）、Ｘ８６ベースプロセッサ、縮小命令セットコンピュータ（ＲＩＳＣ）プロセッサ、特定用途向け集積回路（ＡＳＩＣ）プロセッサ、複数命令セットコンピュータ（ＣＩＳＣ）プロセッサ、その他のプロセッサ、及び／又はこれらの組み合わせとすることができる。例えば、ＧＰＵ及びＣＰＵは、リアルなアニメーションを生成するように協働することができる。このような場合、ＣＰＵが相対的配向の計算を実行し、ＧＰＵが第１の３Ｄモデル及び第２の３Ｄモデルなどの３Ｄモデルのレンダリングを実行することができる。

メモリ２０４は、プロセッサ２０２が実行可能な命令セットを記憶するように構成できる好適なロジック、回路及び／又はインターフェイスを含むことができる。メモリ２０４は、オペレーティングシステム及び関連するアプリケーションを記憶するように構成することができる。メモリ２０４は、リグ付き３Ｄモデルにおける階層的な相互接続されたボーンの組の１又は２以上のボーン配向を決定するための様々なアルゴリズムを記憶するようにさらに構成することができる。メモリ２０４の実装例としては、以下に限定するわけではないが、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、電気的に消去可能なプログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、ＣＰＵキャッシュ及び／又はセキュアデジタル（ＳＤ）カードを挙げることができる。

配向推定ユニット２０６は、リグ付き３Ｄモデルにおける階層的な相互接続されたボーンの組の１又は２以上のボーン配向を決定するように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。配向推定ユニット２０６は、物体１０８に関連する別のボーンに対するリグ付き３Ｄモデルのボーンの相対的配向を計算するようにさらに構成することができる。配向推定ユニット２０６は、電子装置１０２内の別個のプロセッサ又は回路として実装することができる。配向推定ユニット２０６及びプロセッサ２０２は、配向推定ユニット２０６及びプロセッサ２０２の機能を実行する統合プロセッサ又はプロセッサ群として実装することができる。配向推定ユニット２０６は、プロセッサ２０２による実行時に電子装置１０２の機能及び動作を実行できる、メモリ２０４に記憶された命令セットとして実装することができる。

モデル変形ユニット２０８は、第１の３Ｄモデルなどのリグ付き３Ｄモデルの階層的な相互接続されたボーンの組の第１のボーン配向の組を第２のボーン配向の組に修正するように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。モデル変形ユニット２０８は、第１の３Ｄモデルに対してボーン長パラメータ化動作を実行して、第２の３Ｄモデルを生成するようにさらに構成することができる。ボーン長パラメータ化動作は、物体１０８の１又は２以上のボーンのサイズに基づいて、第１の３Ｄモデルの階層的な相互接続されたボーンの組の１又は２以上のボーンのサイズを変換することができる。モデル変形ユニット２０８は、第２の３Ｄモデルをディスプレイ装置１１０上にアニメーション化するように構成することができる。モデル変形ユニット２０８は、電子装置１０２内の別個のプロセッサ又は回路として実装することができる。モデル変形ユニット２０８及びプロセッサ２０２は、モデル変形ユニット２０８及びプロセッサ２０２の機能を実行する統合プロセッサ又はプロセッサ群として実装することができる。モデル変形ユニット２０８は、プロセッサ２０２による実行時に電子装置１０２の機能及び動作を実行できる、メモリ２０４に記憶された命令セットとして実装することができる。

Ｉ／Ｏ装置２１０は、ユーザ１１４から入力を受け取るように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。Ｉ／Ｏ装置２１０は、ユーザ１１４に出力を提供するようにさらに構成することができる。Ｉ／Ｏ装置２１０は、プロセッサ２０２と通信するように構成できる様々な入力及び出力装置を含むことができる。入力装置の例としては、以下に限定するわけではないが、タッチ画面、キーボード、マウス、ジョイスティック及び／又はマイクを挙げることができる。出力装置の例としては、以下に限定するわけではないが、ディスプレイ画面２１０Ａ及び／又はスピーカを挙げることができる。

ディスプレイ画面２１０Ａは、アプリケーションインターフェイス２１２をレンダリングして複数の視点からのリグ付き３Ｄモデルのリアルなアニメーションを表示するように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。ある実施形態によれば、ディスプレイ画面２１０Ａは、ユーザ１１４から入力を受け取ることができる。このようなシナリオでは、ディスプレイ画面２１０Ａを、ユーザ１１４による入力の提供を可能にするタッチ画面とすることができる。タッチ画面は、抵抗性タッチ画面、容量性タッチ画面又は熱タッチ画面のうちの少なくとも１つに対応することができる。ある実施形態によれば、ディスプレイ画面２１０Ａは、仮想キーパッド、スタイラス、ジェスチャ式入力及び／又はタッチ式入力を通じて入力を受け取ることができる。ディスプレイ画面２１０Ａは、以下に限定するわけではないが、液晶ディスプレイ（ＬＣＤ）ディスプレイ、発光ダイオード（ＬＥＤ）ディスプレイ、プラズマディスプレイ、及び／又は有機ＬＥＤ（ＯＬＥＤ）ディスプレイ技術及び／又はその他のディスプレイのうちの少なくとも１つなどのいくつかの既知の技術を通じて実現することができる。ある実施形態によれば、ディスプレイ画面２１０Ａは、スマートガラス装置、シースルーディスプレイ、投影式ディスプレイ、エレクトロクロミックディスプレイ及び／又は透明ディスプレイのディスプレイ画面を示すことができる。ディスプレイ画面２１０Ａは、ディスプレイ装置１１０と同様のものとすることができる。

アプリケーションインターフェイス２１２は、ディスプレイ画面２１０Ａなどのディスプレイ画面上にレンダリングされるユーザインターフェイス（ＵＩ）に対応することができる。ある実施形態によれば、アプリケーションインターフェイス２１２をディスプレイ装置１１０などのディスプレイ装置上にさらにレンダリングすることができる。アプリケーションインターフェイス２１２は、（物体１０８などの）物体に関連するアニメーション化された第２の３Ｄモデルをユーザ１１４に表示することができる。第２の３Ｄモデルは、アプリケーションインターフェイス２１２を使用することによって複数の視点から見ることができる。アプリケーションインターフェイス２１２の例としては、限定するわけではないが、グラフィカルユーザインターフェイス（ＧＵＩ）を挙げることができる。

ネットワークインターフェイス２１４は、通信ネットワーク１１２を介して電子装置１０２と、サーバ１０４と、動作検知装置１０６との間の通信を確立するように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。ネットワークインターフェイス２１４は、電子装置１０２と通信ネットワーク１１２との間の有線又は無線通信をサポートする様々な既知の技術を使用することによって実装することができる。ネットワークインターフェイス２１４としては、以下に限定するわけではないが、アンテナ、無線周波数（ＲＦ）トランシーバ、１又は２以上の増幅器、チューナ、１又は２以上の発振器、デジタルシグナルプロセッサ、コーダ・デコーダ（ＣＯＤＥＣ）チップセット、加入者識別モジュール（ＳＩＭ）カード及び／又はローカルバッファを挙げることができる。ネットワークインターフェイス２１４は、インターネット、イントラネット、及び／又は、セルラー電話ネットワーク、無線ローカルエリアネットワーク（ＬＡＮ）及び／又はメトロポリタンエリアネットワーク（ＭＡＮ）などの無線ネットワークなどのネットワークと無線通信を介して通信することができる。無線通信は、グローバル・システム・フォー・モバイル・コミュニケーションズ（ＧＳＭ（登録商標））、拡張データＧＳＭ（登録商標）環境（ＥＤＧＥ）、広帯域符号分割多元接続（Ｗ−ＣＤＭＡ）、ロングタームエボリューション（ＬＴＥ）、符号分割多元接続（ＣＤＭＡ）、時分割多元接続（ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、（ＩＥＥＥ ８０２．１１ａ、ＩＥＥＥ ８０２．１１ｂ、ＩＥＥＥ ８０２．１１ｇ及び／又はＩＥＥＥ８０２．１１ｎなどの）無線フィデリティ（Ｗｉ−Ｆｉ）、ボイスオーバーインターネットプロトコル（ＶｏＩＰ）、ライトフィディリティ（Ｌｉ−Ｆｉ）、Ｗｉ−ＭＡＸ、電子メールプロトコル、インスタントメッセージング及び／又はショートメッセージサービス（ＳＭＳ）などの複数の通信規格、通信プロトコル及び通信技術のいずれかを使用することができる。

図１で説明したような電子装置１０２によって実行される機能及び／又は動作は、プロセッサ２０２、配向推定ユニット２０６、及び／又はモデル変形ユニット２０８によって実行することができる。プロセッサ２０２、配向推定ユニット２０６及びモデル変形ユニット２０８によって実行される他の動作については、例えば図３Ａ、図３Ｂ、図３Ｃ及び図３Ｄにおいてさらに説明する。

図３Ａ、図３Ｂ、図３Ｃ及び図３Ｄに、本開示の実施形態による、第１の３Ｄモデルからの第２の３Ｄモデルを生成する例をまとめて示す。図３Ａ、図３Ｂ、図３Ｃ及び図３Ｄの説明は、図１及び図２の要素に関連して行う。図３Ａには、メモリ２０４に記憶された第１の３Ｄモデル３０２を示す。第１の３Ｄモデル３０２は、第１の階層的な相互接続されたボーンの組３０４などのデジタルリグを含むことができるリグ付き３Ｄモデルとすることができる。第１の階層的な相互接続されたボーンの組３０４は、ルートボーン３０４Ａなどの１又は２以上のルートボーンを含むことができる。第１の階層的な相互接続されたボーンの組３０４は、第１の非ルートボーン３０４Ｂ及び第２の非ルートボーン３０４Ｃなどの１又は２以上の非ルートボーンをさらに含むことができる。第１の階層的な相互接続されたボーンの組３０４は、エンドボーン３０４Ｄなどの１又は２以上のエンドボーンを含むこともできる。第１の非ルートボーン３０４Ｂのボーン長３０６も示す。

動作検知装置１０６によって特定される物体１０８の第２の階層的な相互接続されたボーンの組３０８などの骨格構造も示す。動作検知装置１０６からは、人間などの物体１０８の第２の階層的な相互接続されたボーンの組３０８のボーン構造情報を受け取ることができる。動作検知装置１０６からボーン構造情報として受け取られる第２の階層的な相互接続されたボーンの組３０８には、ルートボーン３１０Ａ、第１の非ルートボーン３１０Ｂ、第２の非ルートボーン３１０Ｃ及びエンドボーン３１０Ｄを示す。

図３Ａには、第２の３Ｄモデル３１２も示す。第２の３Ｄモデル３１２は、変換された第１の階層的な相互接続されたボーンの組３１４を含むことができる。第２の３Ｄモデル３１２の変換された第１の階層的な相互接続されたボーンの組３１４には、ルートボーン３１４Ａ、第１の非ルートボーン３１４Ｂ、第２の非ルートボーン３１４Ｃ、エンドボーン３１４Ｄを示す。第２の３Ｄモデル３１２の変換された第１の階層的な相互接続されたボーンの組３１４には、第１の非ルートボーン３１４Ｂのボーン長３１６も示す。

一例によれば、メモリ２０４は、第１の３Ｄモデル３０２を記憶するように構成することができる。ルートボーン３０４Ａは、第１の階層的な相互接続されたボーンの組３０４のルートボーンのうちの１つを表すことができる。第１の非ルートボーン３０４Ｂ及び第２の非ルートボーン３０４Ｃは、第１の階層的な相互接続されたボーンの組３０４における２つの非ルートボーンを表すことができる。エンドボーン３０４Ｄは、第１の階層的な相互接続されたボーンの組３０４におけるエンドボーンのうちの１つを表すことができる。第１の階層的な相互接続されたボーンの組３０４は、第１の３Ｄモデル３０２の１又は２以上の部分のメッシュ構造などの表面表現を支えるための構造を提供することができる。第１の３Ｄモデル３０２の１又は２以上の部分は、頭部、腕部分、脚部分などの１又は２以上の身体部分を意味することができる。

第１の３Ｄモデル３０２の第１の階層的な相互接続されたボーンの組３０４は、第１のポーズを表すことができる第１のボーン配向の組で定義する（又は存在する）ことができる。第１のボーン配向の組は、第１の階層的な相互接続されたボーンの組３０４における各ボーンの初期安静ポーズを表すことができるボーン配列及び方向を含むことができる。配向推定ユニット２０６は、第１の３Ｄモデル３０２の第１の階層的な相互接続されたボーンの組３０４の第１のボーン配向の組を決定するように構成することができる。配向推定ユニット２０６は、第１のボーン配向の組を表すことができる第１の四元数の組を決定することができる。四元数とは、３Ｄ空間における物体１０８などの物体、或いはこのような物体の１又は２以上の部分の考えられる配向及び／又は回転を表すために使用される数学的表記を意味する。

プロセッサ２０２は、物体１０８などの物体の第２の階層的な相互接続されたボーンの組３０８のボーン構造情報を動作検知装置１０６から受け取るように構成することができる。プロセッサ２０２は、動作検知装置１０６からネットワークインターフェイス２１４を介して実時間で、準実時間で、又は遅延時間でボーン構造情報を受け取ることができる。ある実施形態によれば、動作検知装置１０６は、１つの視点からの物体１０８のボーン構造情報を取り込んでおくことができる。ボーン構造情報の取り込み時には、物体１０８を第２のポーズに配向することができる。例えば、物体１０８の右側投影像を動作検知装置１０６の正面に置くことができる。従って、動作検知装置１０６は、第２のポーズに配向された物体１０８の右側投影像のボーン構造情報を取り込むことができる。換言すれば、動作検知装置１０６は、単一視点からの物体１０８の部分的深度データなどの部分的ボーン構造情報を取り込むことができる。

ボーン構造情報は、物体１０８の第２の階層的な相互接続されたボーンの組３０８のボーン配向情報及びサイズ情報を含むことができる。ボーン配向情報は、物体１０８の第２の階層的な相互接続されたボーンの組３０８における各ボーンの固定グローバル座標系における少なくともボーン位置情報を含むことができる。例えば、ベクトル［１，１，０］は、第２の階層的な相互接続されたボーンの組３０８におけるボーンのボーン位置を表すことができる。ボーン配向情報は、物体１０８の第２の階層的な相互接続されたボーンの組３０８の固定グローバル座標系における絶対的ボーン配向をさらに含むことができる。ボーン配向は、第２の四元数の組として表すことができる。物体１０８の第２の階層的な相互接続されたボーンの組３０８は、１又は２以上のルートボーンと、１又は２以上の非ルートボーンと、１又は２以上のエンドボーンとをさらに含むことができる。従って、ボーン構造情報は、第２の階層的な相互接続されたボーンの組３０８の（ルートボーン３１４Ａなどの）１又は２以上のルートボーン、（第１の非ルートボーン３１４Ｂ，及び第２の非ルートボーン３１４Ｃなどの）１又は２以上の非ルートボーン及び（エンドボーン３１４Ｄなどの）１又は２以上のエンドボーンに関連する配向情報及びサイズ情報を含むことができる。

モデル変形ユニット２０８は、動作検知装置１０６からボーン構造情報を受け取った後に、第１の３Ｄモデル３０２における第１の階層的な相互接続されたボーンの組３０４の第１のボーン配向の組を第２のボーン配向の組に修正するように構成することができる。換言すれば、受け取ったボーン構造情報に基づいて、第１の３Ｄモデル３０２の第１のポーズを物体１０８の第２のポーズに類似するように修正することができる。この修正では、モデル変形ユニット２０８を、受け取った第２の階層的な相互接続されたボーンの組３０８のボーン構造情報に基づいて、第１の３Ｄモデル３０２の第１の階層的な相互接続されたボーンの組３０４の相対的ボーン配向を計算するように構成することができる。換言すれば、モデル変形ユニット２０８は、第１の３Ｄモデル３０２における第１の階層的な相互接続されたボーンの組３０４の１又は２以上のルートボーン、１又は２以上の非ルートボーン及び１又は２以上のエンドボーンの相対的ボーン配向を計算するように構成することができる。相対的ボーン配向の計算例については、図３Ｂ〜図３Ｄに示す。

モデル変形ユニット２０８は、第１の３Ｄモデル３０２の第１の階層的な相互接続されたボーンの組３０４の動きに関する一連の制約を決定するように構成することができる。モデル変形ユニット２０８は、一連の制約を決定して第２のボーン配向の組を安定させることができる。換言すれば、モデル変形ユニット２０８は、第１の階層的な相互接続されたボーンの組３０４の動きに一連の制約を適用して、第２の３Ｄモデル３１２のリアルな動きを生成することができる。例えば、モデル変形ユニット２０８は、第２の配向の組における手首ボーンの対応する配向に基づいて、第１の階層的な相互接続されたボーンの組３０４における手首ボーンなどのボーンの１又は２以上の３Ｄ（ｘ、ｙ及びｚ）座標を決定することができる。「Ｙ」軸などの対応する回転軸における手首ボーンの動きについて制約を決定することができる。モデル変形ユニット２０８は、「Ｙ」軸方向（すなわち、手首ボーンの回転軸）における手首ボーンの動きについて「０度」などの制約を設定することができる。ある実施形態によれば、モデル変形ユニット２０８は、第１の３Ｄモデル３０２における第１の階層的な相互接続されたボーンの組３０４の第１のボーン配向の組を、決定された一連の制約に基づいて第２のボーン配向の組に修正することができる。

モデル変形ユニット２０８は、第１の３Ｄモデル３０２の第１の階層的な相互接続されたボーンの組３０４における１又は２以上のボーンのサイズを変換して第２の３Ｄモデル３１２を生成するようにさらに構成することができる。モデル変形ユニット２０８は、第１の３Ｄモデル３０２の第１の階層的な相互接続されたボーンの組３０４における１又は２以上のボーンのサイズを、受け取ったボーン構造情報に基づいて変換することができる。モデル変形ユニット２０８は、ボーン構造情報における第２の階層的な相互接続されたボーンの組３０８のサイズ情報を利用して、第１の階層的な相互接続されたボーンの組３０４における１又は２以上のボーンのサイズを変換することができる。図示のように、モデル変形ユニット２０８は、第２の階層的な相互接続されたボーンの組３０８における第１の非ルートボーン３１０Ｂのサイズ情報に基づいて、第１の非ルートボーン３０４Ｂのボーン長３０６をボーン長３１６に自動的に短縮することができる。同様に、モデル変形ユニット２０８は、第２の階層的な相互接続されたボーンの組３０８における対応する１又は２以上のボーンの対応するサイズ情報に基づいて、第１の階層的な相互接続されたボーンの組３０４における他の１又は２以上のボーンのサイズを変換することができる。第２の３Ｄモデル３１２は、第２の配向の組で定義される変換された第１の階層的な相互接続されたボーンの組を含むことができる。第２の３Ｄモデル３１２は、動作検知装置１０６によって取り込まれた物体１０８のポーズ及び構造に類似することができる。

第２の３Ｄモデル３１２の生成は、第１の３Ｄモデル３０２の１又は２以上の部分の表面表現の変形を含むことができる。モデル変形ユニット２０８は、第２のボーン配向の組と、変換された第１の階層的な相互接続されたボーンの組３１４とに基づいて、第１の３Ｄモデル３０２の１又は２以上の部分の表面表現を変形させるように構成することができる。図示のように、第２の非ルートボーン３０４Ｃは、ボーン構造情報における第２の非ルートボーン３１０Ｃのボーン配向情報に基づいて初期配向から最終配向に修正することによって、第２の非ルートボーン３１４Ｃに修正することができる。この修正により、第２の３Ｄモデル３１２における第２の非ルートボーン３１４Ｃの最終配向に従って、第２の非ルートボーン３０４Ｃに関連する表面表現を変形させることができる。

プロセッサ２０２は、第２の配向の組と、変換された第１の階層的な相互接続されたボーンの組３１４とに従って、生成された第２の３Ｄモデル３１２をディスプレイ装置１１０上にアニメーション化するように構成することができる。第２の３Ｄモデル３１２のアニメーションは、動作検知装置１０６から実時間で、準実時間で、又は遅延時間で受け取られたボーン構造情報に基づく、第１の３Ｄモデル３０２の実時間、準実時間又は遅延時間での修正及び変換を含むことができる。生成された第２の３Ｄモデル３１２のアニメーションは、生成された第２の３Ｄモデル３１２をディスプレイ装置１１０上で複数の視点から見えるようにすることができる。複数の視点は、動作検知装置１０６が物体１０８の第２のポーズを取り込むことができた１つの視点を含むことができる。生成された第２の３Ｄモデル３１２は、電子装置１０２などの装置に、アーチファクトを伴わずにリグ付き３Ｄモデルを表示する能力をもたらすことができる。第１の３Ｄモデル３０２の第１の階層的な相互接続されたボーンの組３０４の修正及び変換の結果として生成された第２の３Ｄモデル３１２は、動作検知装置１０６によって追跡されるユーザ１１４などのユーザの実際の動きを模倣することができる。生成された第２の３Ｄモデル３１２は、ビデオ会議において使用して、ビデオ会議システムの２つの装置間における一般的ビデオ共有の代わりに、リアルな動きを有する人物のリグ付き３Ｄモデルを表示することができる。さらに、例えば図５で説明するように、生成された第２の３Ｄモデル３１２を使用して、仮想現実型テレプレゼンスシステムにおける仮想的存在を引き起こすこともできる。生成された第２の３Ｄモデル３１２は、例えば図６で説明するようにゲームシステムに応用することもできる。

図３Ｂに、ルートボーン３０４Ａの安静ポーズボーン配向（ｒｅｓｔ ｐｏｓｅ ｂｏｎｅ ｏｒｉｅｎｔａｔｉｏｎ）３１８、第２の階層的な相互接続されたボーンの組３０８におけるルートボーン３１０Ａの絶対的ボーン配向３２０、及びルートボーン３０４Ａの相対的ボーン配向３２２を示す。配向推定ユニット２０６は、ルートボーン３０４Ａの安静ポーズボーン配向３１８を決定することができる。ルートボーン３０４Ａの安静ポーズボーン配向３１８は、第１の３Ｄモデル３０２の第１の階層的な相互接続されたボーンの組３０４の第１のボーン配向の組に含めることができる。ルートボーン３０４Ａの安静ポーズボーン配向３１８は、安静ポーズ四元数（Ｒ）によって表すことができる。さらに、動作検知装置１０６から受け取られるボーン構造情報は、第２の階層的な相互接続されたボーンの組３０８におけるルートボーン３１０Ａの絶対的ボーン配向３２０に関するボーン配向情報を含むことができる。ルートボーン３１０Ａの絶対的ボーン配向３２０は、絶対四元数（Ｑ）によって表すことができる。

配向推定ユニット２０６は、第２の階層的な相互接続されたボーンの組３０８におけるルートボーン３１０Ａに対するルートボーン３０４Ａの相対的ボーン配向３２２を計算することができる。ルートボーン３０４Ａの相対的ボーン配向３２２の計算では、配向推定ユニット２０６が、以下に示す式（１）を用いて安静ポーズ四元数（Ｒ）と絶対四元数（Ｑ）との間の差分（Ｗ）を求めることができる。

（１）
ここでのＲ^-1は、安静ポーズ四元数（Ｒ）の共役である。

差分（Ｗ）は、ルートボーン３０４Ａの相対的ボーン配向３２２を表すことができる。モデル変形ユニット２０８は、ルートボーン３０４Ａの相対的ボーン配向３２２をルートボーン３０４Ａの安静ポーズボーン配向３１８にさらに適用することができる。相対的ボーン配向３２２を安静ポーズボーン配向３１８に適用すると、安静ポーズボーン配向３１８を絶対的ボーン配向３２０に修正することができる。安静ポーズボーン配向３１８から絶対的ボーン配向３２０への修正は、第１のボーン配向の組から第２のボーン配向の組への修正を説明するための一例である。

モデル変形ユニット２０８は、ルートボーン３０４Ａの一連の制約を決定して第２のボーン配向の組における対応する配向を安定させるようにさらに構成することができる。ある実施形態によれば、モデル変形ユニット２０８は、対応する制約に基づいてルートボーン３１０Ａの絶対的ボーン配向３２０を更新することができる。例えば、ボーン構造情報におけるルートボーン３１０Ａは、実際の人間には不可能と思われる非現実的な動きを伴うことがある。従って、モデル変形ユニット２０８は、ルートボーン３１０Ａの動きの制約を決定することができる。さらに、配向推定ユニット２０６は、決定された制約に基づいて絶対的ボーン配向３２０を更新して、動きを現実的なものにすることができる。ある実施形態によれば、配向推定ユニット２０６は、更新された絶対的ボーン配向３２０に関連する安静ポーズ四元数（Ｒ）と更新された絶対四元数（Ｑ）との間の差分（Ｗ）を再計算することができる。ある実施形態によれば、モデル変形ユニット２０８及び配向推定ユニット２０６は、第１の非ルートボーン３０４Ｂについての計算と同様に他の１又は２以上の非ルートボーンの相対的ボーン配向を計算することができる。

図３Ｃに、第１の非ルートボーン３０４Ｂの第１の安静ポーズボーン配向３２４Ａ、第１の非ルートボーン３０４Ｂの第２の安静ポーズボーン配向３２４Ｂ、及び第１の非ルートボーン３０４Ｂ（図３Ａ）の親ボーンの安静ポーズボーン配向３２６を示す。第１の非ルートボーン３１０Ｂの絶対的ボーン配向３２８、第１の非ルートボーン３１０Ｂの親ボーンの絶対的ボーン配向３３０、及び第１の非ルートボーン３０４Ｂの相対的ボーン配向３３２も示す。

配向推定ユニット２０６は、第１の非ルートボーン３０４Ｂの第１の安静ポーズボーン配向３２４Ａを決定することができる。第１の非ルートボーン３０４Ｂの第１の安静ポーズボーン配向３２４Ａは、第１の３Ｄモデル３０２の第１の階層的な相互接続されたボーンの組３０４の第１のボーン配向の組に含めることができる。第１の安静ポーズボーン配向３２４Ａは、第１の安静ポーズ四元数（Ｒ_c）によって表すことができる。さらに、動作検知装置１０６から受け取られるボーン構造情報は、第２の階層的な相互接続されたボーンの組３０８における第１の非ルートボーン３１０Ｂの絶対的ボーン配向３２８に関するボーン配向情報を含むことができる。第２の階層的な相互接続されたボーンの組３０８における第１の非ルートボーン３１０Ｂは、第１の３Ｄモデル３０２の第１の階層的な相互接続されたボーンの組３０４における第１の非ルートボーン３０４Ｂに対応することができる。絶対的ボーン配向３２８は、絶対四元数（Ｑ_c）によって表すことができる。

配向推定ユニット２０６は、第１の非ルートボーン３０４Ｂの親ボーンの安静ポーズボーン配向３２６を決定することができる。第１の非ルートボーン３０４Ｂの親ボーンの安静ポーズボーン配向３２６は、３Ｄモデル３０２の第１の階層的な相互接続されたボーンの組３０４の第１のボーン配向の組に含めることができる。第１の非ルートボーン３０４Ｂの親ボーンの安静ポーズボーン配向３２６は、安静ポーズ四元数（Ｒ_p）によって表すことができる。動作検知装置１０６から受け取られるボーン構造情報は、第２の階層的な相互接続されたボーンの組３０８における第１の非ルートボーン３１０Ｂの親ボーンの絶対的ボーン配向３３０に関するボーン配向情報を含むことができる。第２の階層的な相互接続されたボーンの組３０８における第１の非ルートボーン３１０Ｂの親ボーンの絶対的ボーン配向３３０は、絶対四元数（Ｑ_p）によって表すことができる。

配向推定ユニット２０６は、第２の階層的な相互接続されたボーンの組３０８における第１の非ルートボーン３１０Ｂに対する第１の階層的な相互接続されたボーンの組３０４における第１の非ルートボーン３０４Ｂの相対的ボーン配向３３２を計算することができる。第１の非ルートボーン３０４Ｂの相対的ボーン配向３３２の計算では、配向推定ユニット２０６が、以下に示す式（２）を用いて安静ポーズ四元数（Ｒ_p）と第１の安静ポーズ四元数（Ｒ_p）との間の第１の差分（Ｗ₁）を求めることができる。

（２）
ここでのＲ_p ^-1は、第１の非ルートボーン３０４Ｂ（子ボーン）の親ボーンの安静ポーズ四元数（Ｒ_p）の共役を表し、Ｒ_cは、（第１の非ルートボーン３０４Ｂなどの）子ボーンの第１の安静ポーズ四元数（Ｒ_c）を表す。

配向推定ユニット２０６は、以下に示す式（３）を用いて絶対四元数（Ｑ_p）と絶対四元数（Ｑ_c）との間の第２の差分（Ｗ₂）を求めることができる。

（３）
ここでのＱ_p ^-1は、絶対四元数（Ｑ_p）の共役である。

配向推定ユニット２０６は、以下に示す式（４）を用いて第１の差分（Ｗ₁）と第２の差分（Ｗ₂）との間の第３の差分（Ｗ₃）を求めることができる。

（４）
ここでの（Ｒ_p ^-1Ｒ_c）^-1は、第１の差分（Ｗ₁）の共役を表す。

第３の差分（Ｗ₃）は、第１の非ルートボーン３０４Ｂの相対的ボーン配向３３２を表すことができる。モデル変形ユニット２０８は、相対的ボーン配向３３２を第１の非ルートボーン３０４Ｂの第２の安静ポーズボーン配向３２４Ｂにさらに適用することができる。相対的ボーン配向３３２の適用は、第１の非ルートボーン３０４Ｂの親ボーンが安静ポーズボーン配向３２６から絶対的ボーン配向３３０に移行する一方で、第１の非ルートボーン３０４Ｂが第１の安静ポーズボーン配向３２４Ａに留まっている場合に行うことができる。第２の安静ポーズボーン配向３２４Ｂは、第１の非ルートボーン３０４Ｂの安静ポーズボーン配向を表すことができる。このようなシナリオでは、第１の非ルートボーン３０４Ｂの第１の安静ポーズボーン配向３２４Ａを第２の安静ポーズボーン配向３２４Ｂと呼ぶことができる。相対的ボーン配向３３２を第２の安静ポーズボーン配向３２４Ｂに適用すると、第２の安静ポーズボーン配向３２４Ｂを絶対的ボーン配向３２８に修正することができる。第２の安静ポーズボーン配向３２４Ｂから絶対的ボーン配向３３０への修正は、第１のボーン配向の組から第２のボーン配向の組への修正の一例である。

モデル変形ユニット２０８は、第１の非ルートボーン３０４Ｂ及び親ボーンの一連の制約を決定して第２のボーン配向の組における対応する配向を安定させるようにさらに構成することができる。ある実施形態によれば、モデル変形ユニット２０８は、対応する制約に基づいて、第１の非ルートボーン３０４Ｂの親ボーンの絶対的ボーン配向３３０を更新することができる。例えば、ボーン構造情報における第１の非ルートボーン３１０Ｂは、実際の人間には不可能と思われる非現実的な動きを伴うことがある。従って、モデル変形ユニット２０８は、第１の非ルートボーン３１０Ｂ及び対応する親ボーンの動きの制約を決定することができる。配向推定ユニット２０６は、決定された制約に基づいて、第１の非ルートボーン３０４Ｂの親ボーンの絶対的ボーン配向３３０を更新することができる。さらに、配向推定ユニット２０６は、対応するボーンの更新された絶対的ボーン配向３３０に基づいて第１の非ルートボーン３０４Ｂの絶対的ボーン配向３２８を更新して、動きを現実的なものにすることができる。

ある実施形態によれば、配向推定ユニット２０６は、第１の非ルートボーン３０４Ｂの更新された絶対的ボーン配向３２８と、対応する親ボーンの更新された絶対的ボーン配向３３０とに基づいて、第１の差分（Ｗ₁）、第２の差分（Ｗ₂）及び第３の差分（Ｗ₃）を再計算することができる。モデル変形ユニット２０８及び配向推定ユニット２０６は、第１の非ルートボーン３０４Ｂについての計算と同様に他の１又は２以上の非ルートボーンの相対的ボーン配向を計算することができる。

図３Ｄに、固定グローバル座標系の第１の軸３３４Ａ、第２の軸３３４Ｂ、第３の軸３３４Ｃを示す。第１の３Ｄモデル３０２のエンドボーン３０４Ｄのボーン位置３３６、及び第２の階層的な相互接続されたボーンの組３０８におけるエンドボーン３１０Ｄのボーン位置３３８も示す。第１の軸３３４Ａは、固定グローバル座標系のＹ軸を表すことができ、第２の軸３３４Ｂは、Ｘ軸を表すことができ、第３の軸３３４Ｃは、Ｚ軸を表すことができる。

配向推定ユニット２０６は、固定グローバル座標系におけるエンドボーン３０４Ｄのボーン位置３３６を決定するように構成することができる。配向推定ユニット２０６は、第１の３Ｄモデル３０２におけるエンドボーン３０４Ｄの関節位置を決定することができる。配向推定ユニット２０６は、第１の配向の組におけるエンドボーン３０４Ｄの関節位置に関連する配向情報を利用して、エンドボーン３０４Ｄのボーン位置３３６を決定することができる。ボーン位置３３６は、エンドボーン３０４Ｄの位置を表す座標としての位置を示すベクトルなどのベクトルを意味することができる。配向推定ユニット２０６は、ボーン構造情報から取得されたボーン位置情報に基づいて、エンドボーン３１０Ｄのボーン位置３３８をさらに識別することができる。

配向推定ユニット２０６は、エンドボーン３０４Ｄの決定されたボーン位置３３６と、エンドボーン３１０Ｄの識別されたボーン位置３３８とに基づいて、エンドボーン３１０Ｄの絶対的ボーン配向をさらに決定することができる。エンドボーン３１０Ｄの絶対的ボーン配向の決定では、配向推定ユニット２０６が、以下に示す式（５）を用いてエンドボーン３１０Ｄの回転軸を求めることができる。

（５）
ここでのｖは、エンドボーン３１０Ｄの回転軸を表し、
ｂ₁は、エンドボーン３１０Ｄのボーン位置３３８に関連するベクトルを表し、
ｂ₂は、エンドボーン３０４Ｄのボーン位置３３６に関連する別のベクトルを表す。

配向推定ユニット２０６は、以下に示す式（６）を用いてエンドボーン３１０Ｄの回転角（θ）をさらに求めることができる。

（６）
ここでのθは、エンドボーン３１０Ｄの回転角を表し、
ｂ₁は、エンドボーン３１０Ｄのボーン位置３３８に関連するベクトルを表し、
ｂ₂は、エンドボーン３０４Ｄのボーン位置３３６に関連する他のベクトルを表す。

配向推定ユニット２０６は、回転軸（ｖ）及び回転角（θ）を求めた後に、以下に示す式（７）を用いてエンドボーン３１０Ｄの絶対的ボーン配向を求めるように構成することができる。

（７）
ここでのｑは、エンドボーン３１０Ｄの絶対的ボーン配向を表す四元数を意味する。

配向推定ユニット２０６は、エンドボーン３１０Ｄの絶対的ボーン配向を求めた後に、第２の階層的な相互接続されたボーンの組３０８におけるエンドボーン３１０Ｄに対するエンドボーン３０４Ｄの相対的ボーン配向を計算することができる。配向推定ユニット２０６は、エンドボーン３１０Ｄの絶対的ボーン配向と、エンドボーン３０４Ｄの第１の配向の組における安静ポーズボーン配向とを使用することによって、エンドボーン３０４Ｄの相対的ボーン配向を計算することができる。配向推定ユニット２０６は、第１の非ルートボーン３０４Ｂの相対的ボーン配向の計算でも、図３で説明したものと同様のエンドボーン３０４Ｄの相対的ボーン配向を計算することができる。

モデル変形ユニット２０８及び配向推定ユニット２０６は、図３Ｃにおいて上述した第１の非ルートボーン３０４Ｂの制約を決定する方法と同じ方法を使用することによって、さらに制約を決定してエンドボーン３０４Ｄに関連する配向を安定させることができる。ある実施形態によれば、モデル変形ユニット２０８及び配向推定ユニット２０６は、エンドボーン３０４Ｄについての計算と同様に他の１又は２以上のエンドボーンの相対的ボーン配向を計算することができる。

図４に、本開示の実施形態による、開示する視点変換のためのリアルなリグ付き３Ｄモデルアニメーションを生成するための装置及び方法を実装する第１の例示的なシナリオを示す。図４の説明は、図１、図２、及び図３Ａ〜図３Ｄの要素に関連して行う。図４には、メモリ２０４に記憶された第１のリグ付き３Ｄモデル４０２Ａなどの複数のリグ付き３Ｄモデル４０２を示す。第１のリグ付き３Ｄモデル４０２Ａは、第１の配向の組４０４Ｂで定義される第１の階層的な相互接続されたボーンの組４０４Ａを含むことができる。

物体１０８などの同じ物体の骨格構造の第１のポーズ４０６Ａ及び第２のポーズ４０６Ｂなどの複数のポーズ４０６も示す。物体１０８の骨格構造は、第２の階層的な相互接続されたボーンの組３０８を含むことができる。第２の階層的な相互接続されたボーンの組３０８の第１のポーズ４０６Ａは、第１のボーン構造情報に関連することができる。第２の階層的な相互接続されたボーンの組３０８の第２のポーズ４０６Ｂは、第２のボーン構造情報に関連することができる。第２のボーン配向の組４１２Ａ及び第３のボーン配向の組４１２Ｂなどの異なるボーン配向における変換された第１の階層的な相互接続されたボーンの組４１０を含む第２のリグ付き３Ｄモデル４０８も示す。電子装置１０２、動作検知装置１０６及びディスプレイ装置１１０も示す。

第１の例示的なシナリオによれば、電子装置１０２は、動作検知装置１０６から第１のボーン構造情報を受け取ることができる。動作検知装置１０６は、人間などの物体１０８の第１のポーズ４０６Ａを１つの視点から取り込んでおくことができる。第１のボーン構造情報は、第１のポーズ４０６Ａの状態の物体１０８の第２の階層的な相互接続されたボーンの組のボーン配向情報及びサイズ情報を含むことができる。

電子装置１０２は、動作検知装置１０６から受け取った第１のボーン構造情報に基づいて、第１のリグ付き３Ｄモデル４０２Ａの第１の階層的な相互接続されたボーンの組４０４Ａの第１のボーン配向の組４０４Ｂを第２のボーン配向の組４１２Ａに修正することができる。第２のボーン配向の組４１２Ａは、物体１０８の第１のポーズ４０６Ａを表すことができる。さらに、電子装置１０２は、物体１０８の第２の階層的な相互接続されたボーンの組４０４Ａのサイズ情報に基づいて、第１のリグ付き３Ｄモデル４０２Ａの第１の階層的な相互接続されたボーンの組４０４Ａのサイズを変換することができる。修正されて変換された第１のリグ付き３Ｄモデル４０２Ａは、物体１０８の第１のポーズ４０６Ａに類似できる第２のリグ付き３Ｄモデル４０８に対応することができる。

電子装置１０２は、修正及び変換後に、第２のリグ付き３Ｄモデル４０８をディスプレイ装置１１０上にアニメーション化することができる。ユーザ１１４などのユーザは、アプリケーションインターフェイス２１２を介して物体１０８の第２のリグ付き３Ｄモデル４０８を複数の視点から見ることができる。

物体１０８が、第１のポーズ４０６Ａを第２のポーズ４０６Ｂに変化させた場合、動作検知装置１０６は、物体１０８の第２のポーズ４０６Ｂを取り込み、取り込んだ第２のポーズ４０６Ｂに基づいて第２のボーン構造情報を決定することができる。電子装置１０２は、動作検知装置１０６から実時間又は準実時間で第２のボーン構造情報を受け取ることができる。従って、電子装置１０２は、変換された第１の階層的な相互接続されたボーンの組４１０の第２のボーン配向の組４１２Ａを第３のボーン配向の組４１２Ｂに修正することができる。第３のボーン配向の組４１２Ｂは、物体１０８の第２のポーズ４０６Ｂを表すことができる。電子装置１０２は、第２のボーン構造情報に基づいて、アプリケーションインターフェイス２１２を介して第２のリグ付き３Ｄモデル４０８をディスプレイ装置１１０上にアニメーション化することができる。

ある実施形態によれば、電子装置１０２は、複数の物体に関連するボーン構造情報を受け取ることができる。このようなシナリオでは、電子装置１０２が、複数の物体の複数の第２のリグ付き３Ｄモデルをアニメーション化することができる。複数の物体の複数の第２のリグ付き３Ｄモデルの生成例については、図７に示す。

図５に、本開示の実施形態による、開示する視点変換のためのリアルなリグ付き３Ｄモデルアニメーションを生成するための装置及び方法を実装する第２の例示的なシナリオを示す。図５の説明は、図１〜図４の要素に関連して行う。図５には、第１の位置５０２及び第２の位置５０４を示す。第１のポーズ５０６Ａ及び第２のポーズ５０６Ｂの状態の第１の人間５０６、第１のポーズ５０８Ａ及び第２のポーズ５０８Ｂの状態の第２のリグ付き３Ｄモデル５０８、並びに第２の人間５１０も示す。さらに、電子装置１０２、無線ネットワーク５１２、及びアプリケーションインターフェイス２１２も示す。

第２の例示的なシナリオによれば、第１の人間５０６は、物体１０８に対応することができる。無線ネットワーク５１２は、通信ネットワーク１１２に対応することができる。動作検知装置１０６は、「電源オン」の状態とすることができる。第１の人間５０６は、第１の位置５０２に存在することができる。第１の位置５０２に動作検知装置１０６を備え付けて、第１の人間５０６の１又は２以上のポーズを取り込むことができる。例えば、動作検知装置１０６は、第１の人間５０６の第１のポーズ５０６Ａを１つの視点から取り込むことができる。動作検知装置１０６は、第１のポーズ５０６Ａを取り込んだ後に、取り込まれた第１のポーズ５０６Ａの状態の第１の人間５０６のボーン構造情報を決定することができる。動作検知装置１０６は、決定された第１の人間５０６のボーン構造情報を、無線ネットワーク５１２を介して電子装置１０２に送信することができる。

電子装置１０２は、ボーン構造情報を受け取った後に、メモリ２０４に記憶された第１のリグ付き３Ｄモデル（図示せず）の修正及び変換を行って、第１のポーズ５０８Ａの状態の第２のリグ付き３Ｄモデル５０８をアニメーション化することができる。第１のリグ付き３Ｄモデルから第２のリグ付き３Ｄモデルを生成する例は、図３Ａ〜図３Ｄに示している。第２のリグ付き３Ｄモデル５０８の第１のポーズ５０８Ａは、第１の人間５０６の第１のポーズ５０６Ａに同期することができる。電子装置１０２は、アプリケーションインターフェイス２１２を介して第１のポーズ５０８Ａの状態の第２のリグ付き３Ｄモデル５０８をアニメーション化することができる。アプリケーションインターフェイス２１２は、第１のポーズ５０８Ａの状態の第２のリグ付き３Ｄモデル５０８を第２の人間５１０が複数の視点から見ることができる３Ｄグラフィック環境を提示することができる。第２の人間５１０は、アプリケーションインターフェイス２１２と相互作用して、第１の３Ｄリグ付きモデルの初期安静ポーズから第１のポーズ５０８Ａにアニメーション化された第２のリグ付き３Ｄモデル５０８の複数の視点を見ることができる。

さらに、第１の人間５０６が第１のポーズ５０６Ａを第２のポーズ５０６Ｂに変化させた場合、電子装置１０２は、アプリケーションインターフェイス２１２を介して第２のリグ付き３Ｄモデル５０８を第２のポーズ５０８Ｂに再アニメーション化することができる。従って、電子装置１０２は、第２のリグ付き３Ｄモデル５０８の第１のポーズ５０８Ａを第２のポーズ５０８Ｂに変更することができる。第２のリグ付き３Ｄモデル５０８の第２のポーズ５０８Ｂは、第１の人間５０６の第２のポーズ５０６Ｂに同期することができる。第２の人間５１０は、第１の人間５０６の動きに同期して動くアニメーション化された第２のリグ付き３Ｄモデル５０８を見ることができる。第１のポーズ５０８Ａ及び第２のポーズ５０８Ｂの状態の第２のリグ付き３Ｄモデル５０８のアプリケーションインターフェイス２１２を介した表示は、第２の位置５０４における第１の人間５０６の仮想的存在を引き起こすことができる。

ある実施形態によれば、電子装置１０２の動作をサーバ１０４が実装することができる。ある実施形態によれば、電子装置１０２は、ディスプレイ装置１１０上に、或いは複数の第２の位置（図示せず）に存在する複数の第２のユーザ（図示せず）に関連する複数のディスプレイ装置（図示せず）上にアプリケーションインターフェイス２１２をレンダリングすることができる。

図６に、本開示の実施形態による、開示する視点変換のためのリアルなリグ付き３Ｄモデルアニメーションを生成するための装置及び方法を実装する第３の例示的なシナリオを示す。図６の説明は、図１〜図５の要素に関連して行う。図６には、第１のポーズ６０２Ａ及び第２のポーズ６０２Ｂの状態の人間６０２、第１のポーズ６０４Ａ及び第２のポーズ６０４Ｂの状態の第２のリグ付き３Ｄモデル６０４を示す。電子装置１０２、ディスプレイ装置１１０、アプリケーションインターフェイス２１２、並びに電子装置１０２、動作検知装置１０６及びディスプレイ装置１１０が互いに通信できるようにする無線ネットワーク６０６も示す。

第３の例示的なシナリオによれば、人間６０２は、物体１０８に対応することができる。無線ネットワーク６０６は、通信ネットワーク１１２に対応することができる。動作検知装置１０６は、「電源オン」の状態とすることができる。第３の例示的なシナリオは、ゲーム環境を表すことができる。動作検知装置１０６は、人間６０２の１又は２以上のポーズを取り込むことができる。例えば、図示のように、動作検知装置１０６は、人間６０２の第１のポーズ６０２Ａを１つの視点から取り込むことができる。動作検知装置１０６は、第１のポーズ６０２Ａの状態の人間６０２のボーン構造情報をさらに決定し、無線ネットワーク６０６を介して電子装置１０２に送信することができる。従って、電子装置１０２は、受け取ったボーン構造情報に基づいて（メモリ２０４に予め記憶されている）初期安静ポーズの第１のリグ付き３Ｄモデルの修正及び変換を行って、第２のリグ付き３Ｄモデル６０４を生成することができる。第２のリグ付き３Ｄモデル６０４は、変換された第１のリグ付き３Ｄモデルとすることができる。第２のリグ付き３Ｄモデル６０４は、取り込まれた人間６０２の第１のポーズ６０２Ａに類似する第１のポーズ６０４Ａにアニメーション化することができる。第２のリグ付き３Ｄモデルの生成例については、図３Ａ〜図３Ｄに示している。アニメーションは、アプリケーションインターフェイス２１２を介してディスプレイ装置１１０上に表示することができる。

さらに、人間６０２が第１のポーズ６０２Ａを第２のポーズ６０２Ｂに変化させた場合、動作検知装置１０６は、第２のポーズ６０２Ｂを取り込んで、第２のポーズ６０２Ｂの状態の人間６０２のボーン構造情報を決定することができる。従って、電子装置１０２は、動作検知装置１０６から受け取った更新されたボーン構造情報に基づいて、第２のリグ付き３Ｄモデル６０４を第１のポーズ６０４Ａから第２のポーズ６０４Ｂに再生成してディスプレイ装置１１０上に再アニメーション化することができる。第２のリグ付き３Ｄモデル６０４の第２のポーズ６０４Ｂは、人間６０２の第２のポーズ６０２Ｂに同期することができる。従って、人間６０２が１又は２以上のポーズを変化させると、ゲームシーン内のゲームキャラクタとすることができる第２のリグ付き３Ｄモデル６０４の１又は２以上のポーズも変化することができる。これにより、ゲーム環境内のゲームキャラクタの１又は２以上のパラメータの制御を可能にすることができる。

図７は、本開示の実施形態による、視点変換のための複数のリアルなリグ付き３Ｄモデルアニメーションを生成するための開示する装置及び方法を実装する第４の例示的なシナリオである。図７の説明は、図１〜図６の要素に関連して行う。図７には、複数の第１のリグ付き３Ｄモデル７０２を示す。複数の第１のリグ付き３Ｄモデル７０２は、第１のリグ付き３Ｄモデル７０２Ａと、別の第１のリグ付き３Ｄモデル７０２Ｂとを含むことができる。第１のリグ付き３Ｄモデル７０２Ａは、第１の階層的な相互接続されたボーンの組７０４Ａを含むことができ、他の第１のリグ付き３Ｄモデル７０２Ｂは、別の第１の階層的な相互接続されたボーンの組７０４Ｂを含むことができる。

第１の人間の第２の階層的な相互接続されたボーンの組７０６Ａ、及び第２の人間の別の第２の階層的な相互接続されたボーンの組７０６Ｂなどの複数の骨格構造も示す。複数の第２の３Ｄモデル７０８も示す。複数の第２の３Ｄモデル７０８は、第２の３Ｄモデル７０８Ａと、別の第２の３Ｄモデル７０８Ｂとを含むことができる。第２の３Ｄモデル７０８Ａは、変換された第１の階層的な相互接続されたボーンの組７１０Ａを含むことができ、他の第２の３Ｄモデル７０８Ｂは、別の変換された第１の階層的な相互接続されたボーンの組７１０Ｂを含むことができる。電子装置１０２、動作検知装置１０６及びディスプレイ装置１１０も示す。

第４の例示的なシナリオによれば、電子装置１０２のメモリ２０４は、複数の第１のリグ付き３Ｄモデル７０２を記憶することができる。複数の第１のリグ付き３Ｄモデル７０２の各々は、第１の配向の組で定義された第１の階層的な相互接続されたボーンの組７０４Ａ又は７０４Ｂを含むことができる。複数の第１のリグ付き３Ｄモデル７０２の各々は、同じポーズを取ることができる。動作検知装置１０６は、第１の人間及び第２の人間の各々のポーズを１つの視点から取り込んでおくことができる。動作検知装置１０６は、取り込まれた第１の物体及び第２の物体のポーズにそれぞれ基づいて、第１の人間の第１のボーン構造情報及び第２の人間の第２のボーン構造情報を同時に決定しておくことができる。第１のボーン構造情報は、第１の人間の第２の階層的な相互接続されたボーンの組７０６Ａのボーン配向情報及びサイズ情報を含むことができる。第２のボーン構造情報は、第２の人間の第２の階層的な相互接続されたボーンの組７０４Ｂのボーン配向情報及びサイズ情報を含むことができる。

電子装置１０２は、動作検知装置１０６から受け取った第１のボーン構造情報に基づいて、第１のリグ付き３Ｄモデル７０２Ａの第１の階層的な相互接続されたボーンの組７０４Ａの第１のボーン配向の組を第２のボーン配向の組に修正することができる。電子装置１０２は、動作検知装置１０６から受け取った第２のボーン構造情報に基づいて、第１のリグ付き３Ｄモデル７０２Ｂの第１の階層的な相互接続されたボーンの組７０４Ｂの第１のボーン配向の組を第２のボーン配向の組にさらに修正することができる。さらに、電子装置１０２は、第１の物体の第２の階層的な相互接続されたボーンの組７０６Ａのサイズ情報に基づいて、第１のリグ付き３Ｄモデル７０２Ａの第１の階層的な相互接続されたボーンの組７０４Ａのサイズを変換することができる。同様に、電子装置１０２は、第２の物体の他の第２の階層的な相互接続されたボーンの組７０６Ｂのサイズ情報に基づいて、第１のリグ付き３Ｄモデル７０２Ｂの第１の階層的な相互接続されたボーンの組７０４Ｂのサイズを変換することができる。

修正されて変換された第１のリグ付き３Ｄモデル７０２Ａは、第１の人間のポーズに類似できる第２のリグ付き３Ｄモデル７０８Ａに対応することができる。修正されて変換された第１のリグ付き３Ｄモデル７０２Ｂは、第２の物体のポーズに類似できる第２のリグ付き３Ｄモデル７０８Ｂに対応することができる。電子装置１０２は、修正及び変換後に、複数の第２のリグ付き３Ｄモデル７０８をディスプレイ装置１１０上に同時にアニメーション化することができる。ユーザ１１４などのユーザは、アニメーション化された複数の第２のリグ付き３Ｄモデル７０８を複数の視点から見ることができる。ある実施形態によれば、電子装置１０２は、ディスプレイ装置１１０（又はディスプレイ画面２１０Ａ）上にレンダリングされたアプリケーションインターフェイス２１２を介して、複数の第２のリグ付き３Ｄモデル７０８をアニメーション化することができる。

図８は、本開示の実施形態による、視点変換のためのリアルなリグ付き３Ｄモデルアニメーションを生成するための例示的な動作を示すフローチャートである。図８には、フローチャート８００を示す。フローチャート８００の説明は、図１〜図７に関連して行う。電子装置１０２において行われる動作は、８０２から開始して８０４に進む。

８０４において、第１の階層的な相互接続されたボーンの組を含むことができる第１の３Ｄモデルを電子装置１０２に記憶することができる。第１の３Ｄモデルは、リグ付き３Ｄモデルに対応することができる。第１の３Ｄモデルにおける第１の階層的な相互接続されたボーンの組は、第１の３Ｄモデルにおけるデジタルリグに対応することができる。第１の３Ｄモデルにおける第１の階層的な相互接続されたボーンの組は、第１の３Ｄモデルの初期安静ポーズを表すことができる第１のボーン配向の組で定義することができる。さらに、第１の３Ｄモデルの階層的な相互接続されたボーンの組は、１又は２以上のルートボーンと、１又は２以上の非ルートボーンと、１又は２以上のエンドボーンとを含むことができる。第１の３Ｄモデルは、第１の３Ｄモデルの１又は２以上の部分の表面表現をさらに含むことができる。この表面表現は、第１の階層的な相互接続されたボーンの組によって支えられるメッシュ構造に対応することができる。図３Ａで図示し説明した例に、第１の３Ｄモデル３０２を記憶した電子装置１０２を示している。ルートボーン３０４Ａなどの１又は２以上のルートボーン、第１の非ルートボーン３０４Ｂ及び第２の非ルートボーン３０４Ｃなどの１又は２以上の非ルートボーン、並びにエンドボーン３０４Ｄなどの１又は２以上のエンドボーンの各々の例も示している。

８０６において、物体１０８の第２の階層的な相互接続されたボーンの組のボーン構造情報を、動作検知装置１０６から通信チャネルを介して受け取る。ボーン構造情報は、動作検知装置１０６から実時間で、準実時間で、又は遅延時間で受け取ることができる。ボーン構造情報は、物体１０８の第２の階層的な相互接続されたボーンの組のボーン配向情報及びサイズ情報を含むことができる。図３Ａに図示し説明した例には、動作検知装置１０６から物体１０８の第２の階層的な相互接続されたボーンの組３０８のボーン構造情報を受け取った電子装置１０２を示している。

８０８において、第１の３Ｄモデルの第１の階層的な相互接続されたボーンの組の第１のボーン配向の組を第２のボーン配向の組に修正することができる。第１のボーン配向の組から第２のボーン配向の組への修正は、動作検知装置１０６から受け取られたボーン構造情報に基づくことができる。第２のボーン配向の組は、動作検知装置１０６によって取り込まれた物体１０８のポーズを表すことができる。第１のボーン配向の組の修正では、電子装置１０２が、第１の３Ｄモデルの第１の階層的な相互接続されたボーンの組における１又は２以上のボーンの各々の相対的ボーン配向を計算することができる。第１のボーン配向の組から第２のボーン配向の組への修正例は、図３Ａに示している。さらに、計算された相対的ボーン配向３２２及び計算された相対的ボーン配向３３２の例は、図３Ｂ及び図３Ｃに示している。

８１０において、第１の３Ｄモデルの第１の階層的な相互接続されたボーンの組の動きに関する一連の制約を決定して第２のボーン配向の組を安定させることができる。一連の制約は、第１の階層的な相互接続されたボーンの組の動きに適用される制限を意味することができる。これを行って、第２のボーン配向の組を現実的なものにすることができる。一連の制約の例についは、図３Ａ〜図３Ｄに示している。

８１２において、第１の３Ｄモデルの第１の階層的な相互接続されたボーンの組における１又は２以上のボーンのサイズを変換することによって第２の３Ｄモデルを生成することができる。第１の階層的な相互接続されたボーンの組における１又は２以上のボーンのサイズの変換は、受け取られたボーン構造情報に基づくことができる。第２の３Ｄモデルの例としては、第２の３Ｄモデル３１２（図３Ａ）、第２の３Ｄモデル４０８（図４）、及び複数の第２の３Ｄモデル７０８（図７）を挙げることができる。さらに、第２の配向の組と、変換された第１の階層的な相互接続されたボーンの組とに基づいて、第１の３Ｄモデルの１又は２以上の部分の表面表現を変形させることができる。図３Ａには、第１の非ルートボーン３０４Ｂのボーン長３０６をボーン長３１６に変換する例を示している。さらに、図３Ａには、第１の３Ｄモデル３０２の１又は２以上の部分の表面表現を変形する例も示している。

８１４において、第２のボーン配向の組と、変換された第１の階層的な相互接続されたボーンの組とに従って、生成された第２の３Ｄモデルをアニメーション化することができる。アニメーション化された第２の３Ｄモデルは、ディスプレイ装置１１０上で複数の視点から見ることができる。複数の視点は、動作検知装置１０６によって取り込まれた物体１０８の１つの視点を含むこともできる。第２の３Ｄモデルのアニメーションは、第１の３Ｄモデルの第１の階層的な相互接続されたボーンの組の１又は２以上の動きと、動作検知装置１０６によって追跡される物体１０８の１又は２以上の動きとの同期を含むことができる。図３Ａには、アニメーション化された第２の３Ｄモデル３１２の例を示している。アニメーション化された第２の３Ｄモデルは、アニメーション、仮想的存在の生成（図５）及びゲーム環境（図６）において利用することができる。制御は、終了８１６に進むことができる。

本開示の実施形態によれば、リアルなアニメーションを生成するための装置が開示される。電子装置１０２（図１）などの装置は、（メモリ２０４などの）記憶装置と、（動作検知装置１０６（図１）などの）動作検知装置及び（ディスプレイ装置１１０（図１）などの）ディスプレイ装置に結合された（プロセッサ２０２、配向推定ユニット２０６及びモデル変形ユニット２０８（図２）などの）１又は２以上の回路とを含むことができる。メモリ２０４は、（第１の３Ｄモデル３０２（図３Ａ）、複数のリグ付き３Ｄモデル４０２（図４）、複数の第１の３Ｄモデル７０２（図７）などの）第１の３Ｄモデルを記憶するように構成することができ、第１のボーン配向の組で定義される（第１の階層的な相互接続されたボーンの組３０４、４０４Ａ、４０４Ｂ、７０４Ａ又は７０４Ｂ）などの第１の階層的な相互接続されたボーンの組を含むことができる。プロセッサ２０２は、（図１の物体１０８などの）物体の（第２の階層的な相互接続されたボーンの組３０８、７０６Ａ又は７０６Ｂなどの）第２の階層的な相互接続されたボーンの組のボーン構造情報を受け取るように構成することができる。配向推定ユニット２０６及びモデル変形ユニット２０８は、第１の３Ｄモデル３０２の第１の階層的な相互接続されたボーンの組の第１のボーン配向の組を第２のボーン配向の組に修正するようにさらに構成することができる。モデル変形ユニット２０８は、第１のボーン配向の組を、動作検知装置１０６から受け取ったボーン構造情報に基づいて第２のボーン配向の組に修正することができる。モデル変形ユニット２０８は、受け取ったボーン構造情報に基づいて、第１の３Ｄモデルの第１の階層的な相互接続されたボーンの組における（図３Ａの第１の非ルートボーン３０４Ｂなどの）１又は２以上のボーンの（図３Ａのボーン長３０６などの）サイズを変換することによって、（第２の３Ｄモデル３１２、第２の３Ｄモデル４０８又は複数の第２の３Ｄモデル７０８などの）第２の３Ｄモデルを生成するように構成することができる。プロセッサ２０２は、第２のボーン配向の組と、変換された第１の階層的な相互接続されたボーンの組とに従って、生成された第２の３Ｄモデル３１２をディスプレイ装置１１０上にさらにアニメーション化することができる。アニメーション化された第２の３Ｄモデル３１２は、物体１０８の複数の視点から見ることができる。

従来のアニメーション３Ｄ環境では、物体１０８などの物体のポーズを取り込んだ物体視点以外の複数の視点から物体のアニメーション化されたリグ付き３Ｄモデルを見る際にいくつかの複雑性が伴う。このような場合、リグ付き３Ｄモデルを単一視点から見ることができる。さらに、従来のリグ付き３Ｄモデルのデジタルリグの相互接続されたボーンの構造及び相対的サイズは、ポーズを取り込んだ物体の構造に固有のものでないこともある。リグ付き３Ｄモデルのデジタルリグの相互接続されたボーンの構造及びサイズの不一致は、リアルなアニメーションに適さなかったり、望ましくなかったりすることがある。従って、リグ付き３Ｄモデルを実際の物体に現実的に類似させるには、構造的にその物体に類似するデジタルリグを含むリグ付き３Ｄモデルを作成しなければならない。これには、複数の物体のための異なるサイズのデジタルリグを含む複数のリグ付き３Ｄモデルを作成する必要があり、諸経費及び時間が掛かってしまう。この結果、このようなデジタルリグの相互接続されたボーンの構造及びサイズの不一致を示すリグ付き３Ｄモデルのアニメーションでは、非現実的なアニメーションが生成されることもある。

電子装置１０２などの開示する装置の様々な実施形態は、プロセッサ２０２などの１又は２以上の回路と、配向推定ユニット２０６と、動作検知装置から受け取った構造的配向情報に基づいてリグ付き３Ｄモデルの第１の配向の組を第２の配向の組に修正できるモデル変形ユニット２０８とを含む。従って、開示する装置は、複数の物体の構造的配向情報に基づいて、同じ形状の複数のリグ付き３Ｄモデルを修正することができる。開示する装置は、構造的配向情報に基づいて、リグ付き３Ｄモデルの階層的な相互接続されたボーンの組における１又は２以上のボーンのサイズを変換することができる。リグ付き３Ｄの階層的な相互接続されたボーンの組の１又は２以上のボーンのサイズの変換により、従来のアニメーション３Ｄ環境と比べて実際の物体の解剖学的骨格構造にさらに現実的に類似することができ、例えば動作検知装置１０６によって動きを追跡できるリグ付き３Ｄモデルを自動的に生成することができる。例えば、第２のリグ付き３Ｄモデルなどの生成されたリグ付き３Ｄモデルにおけるデジタルリグの相互接続されたボーンの構造及び相対的サイズは、物体の相互接続された骨の構造及び相対的サイズに類似することができる。従って、配向推定ユニット２０６及びモデル変形ユニット２０８は、電子装置１０２などの装置によるリアルなアニメーションの生成及び表示を可能にする。電子装置１０２などの装置は、ボーン配向の修正及びボーンサイズの変換の結果として生成された第２の３Ｄリグ付きモデルなどの現実的な３Ｄリグ付きモデルを使用することによってリアルなアニメーションを生成することができ、これによって３Ｄアニメーション技術に特定の改善をもたらす。

本開示の様々な実施形態は、動作検知装置及びディスプレイ装置に通信可能に結合された１又は２以上の回路を含む機械及び／又はコンピュータによって実行可能な少なくとも１つのコードセクションを有する機械コード及び／又はコンピュータプログラムを記憶した非一時的コンピュータ可読媒体及び／又は記憶媒体、及び／又は非一時的機械可読媒体及び／又は記憶媒体を提供することができる。この少なくとも１つのコードセクションは、第１のボーン配向の組で定義される第１の階層的な相互接続されたボーンの組を含む第１の３Ｄモデルを記憶することを含むステップを実行するように機械及び／又はコンピュータによって実行可能とすることができる。動作検知装置から、物体の第２の階層的な相互接続されたボーンの組のボーン構造情報を受け取ることができる。第１の３Ｄモデルの第１の階層的な相互接続されたボーンの組の第１のボーン配向の組は、第２のボーン配向の組に修正することができる。第１のボーン配向の組から第２のボーン配向の組への修正は、動作検知装置から受け取られたボーン構造情報に基づくことができる。生成された第２の３Ｄモデルは、第２のボーン配向の組と、変換された第１の階層的な相互接続されたボーンの組とに従ってアニメーション化することができる。アニメーション化された第２の３Ｄモデルは、ディスプレイ装置上で複数の視点から見ることができる。

本開示の例示的な態様によれば、電子装置１０２を仮想現実型装置とすることができる。従って、本開示において説明した電子装置１０２によって実行される全ての動作は、仮想現実型装置によって実行することもできる。例えば、仮想現実型装置は、第１の人間の第２の３Ｄモデル３１２などの第２の３Ｄモデルを第２の人間に提示することができる。第２の３Ｄモデル３１２は、第１の人間の１又は２以上のポーズを模倣することができる。第２の３Ｄモデル３１２は、第１の人間に類似するように画像データでテクスチャ加工することもできる。従って、仮想現実型装置による第２の３Ｄモデル３１２の表示は、遠隔地における第１の人間の仮想的存在を第２の人間のために引き起こす。仮想現実型装置として実装される電子装置１０２の例は、図５に示している。

本開示の別の例示的な態様によれば、電子装置１０２をゲーム装置とすることができる。従って、本開示において説明した電子装置１０２によって実行される全ての動作は、ゲーム装置によって実行することもできる。例えば、ゲーム装置は、第２の３Ｄモデル３１２などのゲームキャラクタをゲーム環境内でプレーヤに提示することができる。ゲーム装置は、ゲームキャラクタにプレーヤの１又は２以上のポーズをさらに模倣させることができる。これにより、プレーヤは、ゲーム環境内でゲームキャラクタの動きを制御できるようになる。例えば、プレーヤが走り始めると、ゲームキャラクタがプレーヤの走るポーズを模倣することができる。ゲーム環境は、マルチプレーヤゲームとすることもできる。このような場合、ゲーム装置は、各々がマルチプレーヤゲームにおける複数のプレーヤのうちの１人を模倣する複数のゲームキャラクタを提示することができる。ゲーム装置として実装される電子装置１０２の例は、図６に示している。

本開示のさらに別の例示的な態様によれば、電子装置１０２を３Ｄモデル型会議システムとすることができる。従って、本開示において説明した電子装置１０２によって実行される全ての動作は、３Ｄモデル型会議システムによって実行することもできる。通常、従来のビデオ会議システムでは、シームレスなビデオ送信のために高ネットワーク帯域幅が必要である。ネットワーク帯域幅の要件が満たされないと、ビデオ会議が妨げられる。電子装置１０２などの３Ｄモデル型会議装置は、ビデオ送信のための高ネットワーク帯域幅を不要とすることができるビデオレス会議を可能にする。例えば、３Ｄモデル型会議装置は、会議に参加している第１の人物の１又は２以上のポーズを追跡することができる。この結果、３Ｄモデル型会議装置は、追跡された第１の人物の１又は２以上のポーズに基づいて、第２の３Ｄモデル３１２などのリグ付き３Ｄモデルをアニメーション化することができる。アニメーション化されたリグ付き３Ｄモデルは、会議に参加している第２の人物に、第１の人物の録音音声と共に提示することができる。３Ｄモデル型会議装置は、第２の人物の１又は２以上のポーズを模倣する別のアニメーション化されたリグ付き３Ｄモデルを第１の人物にさらに提示することができる。従って、３Ｄモデル型会議装置は、第１の人物及び第２の人物の会議への参加を可能にする。仮想的存在を引き起こす電子装置１０２の例は、例えば図５に示すような３Ｄモデル型会議システムとして実現することもできる。

本開示は、ハードウェアの形で実現することも、又はハードウェアとソフトウェアの組み合わせの形で実現することもできる。本開示は、少なくとも１つのコンピュータシステム内で集中方式で実現することも、又は異なる要素を複数の相互接続されたコンピュータシステムにわたって分散できる分散方式で実現することもできる。本明細書で説明した方法を実行するように適合されたコンピュータシステム又はその他の装置が適することができる。ハードウェアとソフトウェアの組み合わせは、ロードされて実行された時に本明細書で説明した方法を実行するようにコンピュータシステムを制御することができるコンピュータプログラムを含む汎用コンピュータシステムとすることができる。本開示は、他の機能も実行する集積回路の一部を含むハードウェアの形で実現することができる。

本開示は、本明細書で説明した方法の実装を可能にする全ての特徴を含み、コンピュータシステムにロードされた時にこれらの方法を実行できるコンピュータプログラム製品に組み込むこともできる。本文脈におけるコンピュータプログラムとは、情報処理能力を有するシステムに、特定の機能を直接的に、或いはａ）別の言語、コード又は表記法への変換、ｂ）異なる内容形態での複製、のいずれか又は両方を行った後に実行させるように意図された命令セットの、あらゆる言語、コード又は表記法におけるあらゆる表現を意味する。

いくつかの実施形態を参照しながら本開示を説明したが、当業者であれば、本開示の範囲から逸脱することなく様々な変更を行うことができ、同等物を代用することもできると理解するであろう。また、本開示の範囲から逸脱することなく、本開示の教示に特定の状況又は内容を適合させるための多くの変更を行うこともできる。従って、本開示は、開示した特定の実施形態に限定されるものではなく、特許請求の範囲に該当する全ての実施形態を含むように意図されている。

Claims (20)

1. リアルなアニメーションを生成する装置であって、
   第１のボーン配向の組で定義される第１の階層的な相互接続されたボーンの組を含む第１の３Ｄモデルを記憶するように構成された記憶装置と、
   動作検知装置及びディスプレイ装置に通信可能に結合された１又は２以上の回路と、
   を備え、前記１又は２以上の回路は、
   前記動作検知装置から通信チャネルを介して物体の第２の階層的な相互接続されたボーンの組のボーン構造情報を受け取り、
   前記動作検知装置からの前記受け取ったボーン構造情報に基づいて、前記第１の３Ｄモデルの前記第１の階層的な相互接続されたボーンの組の前記第１のボーン配向の組を第２のボーン配向の組に修正し、
   前記受け取ったボーン構造情報に基づいて前記第１の３Ｄモデルの前記第１の階層的な相互接続されたボーンの組における１又は２以上のボーンのサイズを変換することによって、第２の３Ｄモデルを生成し、
   前記第２のボーン配向の組と、前記変換された第１の階層的な相互接続されたボーンの組とに従って、前記生成された第２の３Ｄモデルをアニメーション化する、
   ように構成される、
   ことを特徴とする装置。
2. 前記第１の３Ｄモデルは、リグ付き３Ｄモデルに対応し、前記第１の階層的な相互接続されたボーンの組は、前記リグ付き３Ｄモデルのデジタルリグに対応する、
   請求項１に記載の装置。
3. 前記物体は、人間、動物、或いは実際の人間又は動物の自然な体の動きを模倣するロボットに対応する、
   請求項１に記載の装置。
4. 前記第１の３Ｄモデルは、前記第１の３Ｄモデルの１又は２以上の部分の、メッシュ構造に対応する表面表現をさらに含む、
   請求項１に記載の装置。
5. 前記１又は２以上の回路は、前記第２の配向の組と、前記変換された第１の階層的な相互接続されたボーンの組とに基づいて、前記第１の３Ｄモデルの前記１又は２以上の部分の前記表面表現を変形させるようにさらに構成される、
   請求項４に記載の装置。
6. 前記ボーン構造情報は、前記物体の前記第２の階層的な相互接続されたボーンの組の、視点に関連するボーン配向情報及びサイズ情報を含む、
   請求項１に記載の装置。
7. 前記ボーン構造情報は、前記動作検知装置から実時間で、準実時間で、又は遅延時間で受け取られる、
   請求項６に記載の装置。
8. 前記第１の３Ｄモデルの前記第１の階層的な相互接続されたボーンの組は、１又は２以上のルートボーンと、１又は２以上の非ルートボーンと、１又は２以上のエンドボーンとを含む、
   請求項１に記載の装置。
9. 前記１又は２以上の回路は、前記第２の階層的な相互接続されたボーンの組における対応するルートボーンに対する前記第１の階層的な相互接続されたボーンの組におけるルートボーンの相対的ボーン配向を、前記対応するルートボーンの前記ボーン構造情報に基づいて計算するようにさらに構成される、
   請求項１に記載の装置。
10. 前記１又は２以上の回路は、前記第２の階層的な相互接続されたボーンの組における対応する非ルートボーンに対する前記第１の階層的な相互接続されたボーンの組における非ルートボーンの相対的ボーン配向を、前記第１の階層的な相互接続されたボーンの組における、前記対応する非ルートボーン及び該非ルートボーンの親ボーンの対応する親ボーンの前記ボーン構造情報に基づいて計算するようにさらに構成される、
    請求項８に記載の装置。
11. 前記１又は２以上の回路は、前記第２の階層的な相互接続されたボーンの組における対応するエンドボーンに対する前記第１の階層的な相互接続されたボーンの組におけるエンドボーンの相対的ボーン配向を、前記第１の３Ｄモデルの第１の階層的な相互接続されたボーンの組における前記エンドボーンの関節位置に基づいて計算するようにさらに構成される、
    請求項８に記載の装置。
12. 前記１又は２以上の回路は、前記第１の３Ｄモデルの前記第１の階層的な相互接続されたボーンの組の動きに関する一連の制約を決定して、前記第２のボーン配向の組を安定させるようにさらに構成される、
    請求項１に記載の装置。
13. 前記１又は２以上の回路は、前記動作検知装置から複数の物体の前記ボーン構造情報を実時間で、準実時間で、又は遅延時間で受け取るようにさらに構成される、
    請求項１に記載の装置。
14. 前記１又は２以上の回路は、前記第１の３Ｄモデルと、前記動作検知装置から受け取った前記複数の物体の前記ボーン構造情報とに基づいて、複数の第２の３Ｄモデルを生成するようにさらに構成される、
    請求項１３に記載の装置。
15. 前記１又は２以上の回路は、前記第２の３Ｄモデルの前記生成によって、前記ディスプレイ装置上に実時間で、準実時間で、又は遅延時間でレンダリングされる前記第１の３Ｄモデルの第１の階層的な相互接続されたボーンの組の１又は２以上の動きを、前記動作検知装置によって追跡される前記物体の１又は２以上の動きと同期させるようにさらに構成される、
    請求項１に記載の装置。
16. 前記生成された第２の３Ｄモデルは、前記ディスプレイ装置上にレンダリングされて、第２の位置に存在する前記物体の仮想的存在を第１の位置において引き起こす、
    請求項１に記載の装置。
17. 前記受け取ったボーン構造情報は、前記動作検知装置によって前記物体の１つの視点から取り込まれたものであり、前記生成された第２の３Ｄモデルは、前記表示されたディスプレイ装置上で前記物体の前記１つの視点を含む複数の視点から見られる、
    請求項１に記載の装置。
18. リアルなアニメーションを生成する方法であって、
    動作検知装置及びディスプレイ装置に通信可能に結合された装置において、
    前記装置の記憶装置によって、第１の配向の組で定義される第１の階層的な相互接続されたボーンの組を含む第１の３Ｄモデルを記憶するステップと、
    前記装置の１又は２以上の回路によって、前記動作検知装置から物体の第２の階層的な相互接続されたボーンの組のボーン構造情報を受け取るステップと、
    前記装置の前記１又は２以上の回路によって、前記動作検知装置からの前記受け取ったボーン構造情報に基づいて、前記第１の３Ｄモデルの前記第１の階層的な相互接続されたボーンの組の前記第１の配向の組を第２の配向の組に修正するステップと、
    前記装置の前記１又は２以上の回路によって、前記受け取ったボーン構造情報に基づいて前記第１の３Ｄモデルの前記第１の階層的な相互接続されたボーンの組における１又は２以上のボーンのサイズを変換することによって、第２の３Ｄモデルを生成するステップと、
    前記装置の前記１又は２以上の回路によって、前記第２の配向の組と、前記変換された第１の階層的な相互接続されたボーンの組とに従って、前記生成された第２の３Ｄモデルを前記ディスプレイ装置上にアニメーション化するステップと、
    を含むことを特徴とする方法。
19. 前記装置の前記１又は２以上の回路によって、前記第２のボーン配向の組と、前記変換された第１の階層的な相互接続されたボーンの組とに基づいて、前記第１の３Ｄモデルの１又は２以上の部分の表面表現を変形させるステップをさらに含む、
    請求項１８に記載の方法。
20. リアルなアニメーションを生成する仮想現実型装置であって、
    第１のボーン配向の組で定義される第１の階層的な相互接続されたボーンの組を含む第１の３Ｄモデルを記憶するように構成された記憶装置と、
    動作検知装置及びディスプレイ装置に通信可能に結合された１又は２以上の回路と、
    を備え、前記１又は２以上の回路は、
    前記動作検知装置から通信チャネルを介して、前記動作検知装置によって１つの視点から取り込まれた物体の第２の階層的な相互接続されたボーンの組のボーン構造情報を受け取り、
    前記動作検知装置からの前記受け取ったボーン構造情報に基づいて、前記第１の３Ｄモデルの前記第１の階層的な相互接続されたボーンの組の前記第１のボーン配向の組を第２のボーン配向の組に修正し、
    前記受け取ったボーン構造情報に基づいて前記第１の３Ｄモデルの前記第１の階層的な相互接続されたボーンの組における１又は２以上のボーンのサイズを自動再構成することによって、前記第１の３Ｄモデルを第２の３Ｄモデルに変換し、
    前記第２のボーン配向の組と、前記変換された第１の階層的な相互接続されたボーンの組とに従って、前記変換された第２の３Ｄモデルをアニメーション化して前記ディスプレイ装置の複数の視点から見られるようにする、
    ように構成される、
    ことを特徴とする仮想現実型装置。

Images