本明細書に開示する本発明のある実施例は、統合モーションキャプチャを提供するものである。一実施例は、まばらなカメラカバレージを利用する。この実施例では、演技者の身体に対して1つの高解像度(HD)モーションキャプチャ(MOCAP)ビデオカメラが用いられ、演技者の顔面に対して別のHD−MOCAPビデオカメラが用いられ、演技全体を取り込むためにフィルムカメラ(例えば、「フィルムプレート」)が用いられる。モーションキャプチャ演技中に、フィルムプレートと共に、顔面と身体の両方のデータを実質的に同時に取得することによって統合モーションキャプチャが達成される。
本説明を読解した後に、当業者には、本発明を様々な別の実施例及び別の用途で実施する方法が明らかになるであろう。しかし、本明細書では本発明の様々な実施を説明することになるが、これらの実施形態が限定ではなく例としてのみ提供するものであることは理解されるものとする。従って、様々な別の実施例の本詳細説明は、特許請求の範囲に示す本発明の範囲又は幅を限定すると解釈すべきではない。
一般的に、身体モーションキャプチャは、演技者の胴体、頭、四肢、手、及び足の運動を取り込む段階を伴っている。これらの運動は、比較的大まかな動きと見なすことができる。MOCAPカメラは、演技者の演技を取り囲むのに十分大きい「キャプチャ容積」の回りに配置される。得られた再構成された3D仮想空間は、キャプチャ容積をモデル化し、演技者の身体に結合されたマーカの画像は、再構成された仮想空間のフレームを通じて時間的に追跡される。演技者の身体の動きは比較的大まかであるから、演技者の身体、頭、四肢、手、及び足の上の特定のスポットを識別するのに大きいマーカを用いることができる。大きいマーカは、小さいマーカよりも、得られた容積フレーム内で容易に位置確認することができる。
それとは対照的に、顔面モーションキャプチャは、演技者の顔面の動きのみを取り込む段階を伴っている。これらの運動は、様々な人間の表情を表すのに必要とされる顔面の筋肉の微妙な使用に起因して比較的微細な動きであると見なされる。その結果、通常、キャプチャ容積は、頭又は更には顔面のみを取り囲むのに十分な大きさでしかない。更に、大まかな身体の動きとは反対に、微妙な表情の顔面の動きを取り込むのには大量の比較的小さいマーカが必要である。人物の顔面の2次元(2D)「アンラップ」走査を表す図2に示しているように、顔面の表情を適度に分解するのに165個以上のマーカを用いる場合がある。
モーションキャプチャにおけるこれらの種類、並びに複数の特殊カメラ及びキャプチャ容積に対する詳細な要件により、顔面と身体の両方の運動を取り込む効率を改善するためのMOCAPシステム及び方法は、従来技術を大きく進歩させている。
図9に例示している一実施例は、まばらなカメラカバレージを利用する。この実施例では、演技者の身体に対して1つの高解像度(HD)モーションキャプチャ(MOCAP)ビデオカメラ920が用いられ、演技者の顔面に対して別のフィルムカメラ922が用いられ、演技全体を取り込むためにフィルムカメラ924(例えば、「フィルムプレート」)が用いられる。別の実施例では、演技者の身体に対して1つ又はそれよりも多くのHDカメラが用いられ、演技者の顔面に対して別の1つ又はそれよりも多くのHDカメラが用いられ、演技全体を取り込むために1つ又はそれよりも多くのフィルムカメラが用いられる。別の実施例では、複数の演技者の運動が、各演技者の身体毎に1つのHDカメラを用い、各演技者の顔面毎に1つのHDカメラを用い、更に演技全体を取り込む1つ又はそれよりも多くのフィルムカメラを用いて取り込まれる。別の実施例では、各演技者の身体毎に1つ又はそれよりも多くのHDカメラが用いられ、各演技者の顔面毎に別の1つ又はそれよりも多くのHDカメラが用いられ、更に演技全体を取り込むのに1つ又はそれよりも多くのフィルムカメラが用いられる。モーションキャプチャ演技中は、フィルムプレートと共に顔面と身体の両方のデータを実質的に同時に取得することによって統合モーションキャプチャが達成される。
図9は、一実施例による統合モーションキャプチャシステム900の機能ブロック図である。統合モーションキャプチャシステム900は、モーションキャプチャプロセッサ910,モーションキャプチャカメラ920,922,フィルムカメラ924,ユーザワークステーション930,並びに所定のパターンでマーカ/塗料材料960が適切に装備された演技者の身体940及び顔面950を含む。一部の実施例では、他の材料又は特徴を用いることができる。図9は、11個のマーカ960B〜960Fしか示していないが、実質的により多くのマーカを身体940及び顔面950上に用いることができる。モーションキャプチャプロセッサ910は、有線又は無線でワークステーション930に接続される。一般的に、モーションキャプチャプロセッサ910は、ワークステーション930から制御データパケットを受け取るように構成される。
図示のように、2つのモーションキャプチャカメラ920,922及び1つのフィルムカメラ924が、モーションキャプチャプロセッサ910に接続される。演技者の身体に対して1つのHD−MOCAPビデオカメラ920が用いられ、演技者の顔面に対して別のHD−MOCAPビデオカメラ922が用いられ、更に、演技全体を取り込むのにフィルムカメラ924が用いられる。MOCAPビデオカメラ920は、マーカ960B〜960Fが付加された演技者の身体940上に合焦され、MOCAPビデオカメラ922は、インクマーカ960Aが付加された演技者の顔面950上に合焦される。一部の実施例では、演技者の顔面950上に合焦されるように構成されたカメラ922は、演技者の頭に取り付けることができる(例えば、演技者が着用するヘルメット上に)。他の実施例では、顔面950上の他のマーカ又は顔面特徴をカメラ922によって追跡することができる。
マーカ/特徴960Aの配置は、顔面950の動きを取り込むように構成され、それに対してマーカ960B〜960Fの配置は、演技者の手970,腕972,脚974,978,及び足976を含む身体940の運動を取り込むように構成される。
演技者の顔面のモデル上へのインクマーカの配置例を図3に示す。この実施例では、顔面マーカは、ビデオ内で「特徴」として追跡される演技者の顔面上のインクマーカを含む(特徴は、例えば、そばかす又は目頭も含む)。追跡された特徴から、次に、モーションキャプチャデータが作成される。この方法は、演技者の顔面を事前に(a priori)走査し、FACS検査を実施することによって改良することができる(例えば、2007年7月27日出願の「FACSクリーニング」という名称の米国特許出願番号第11/829,711号を参照されたい)。MOCAPデータを取得するのと同時に表面データを取得するのも可能なはずである。他の実施例では、顔面インクマーキングは、赤外線(IR)インク、蓄光塗料及び/又は化粧、及び/又は量子ナノドット、ナノドットインク、及び/又はナノドット化粧を用いて作られる。
顔面運動を取り込むのに用いられるHDビデオから、顔面のキャプチャ走査映像を取得することができる。一実施例では、特殊なパターンが演技者の顔面上に投影され、MOCAPデータと共に取り込まれる。パターンは、可視光、IR光、又は事実上あらゆる波長の光を含むことができ、実時間で又は後処理中にパターンを分離するために、これらの光に見合った帯域通過フィルタを用いることができる。パターンは、先頭フレームと1つの他のフレームだけに又は1つおきのフレームのように周期的に投影することができる。状況に依存して多くの異なる投影頻度を用いることができる。また、パターンは、例えば、既知の(識別可能な)ランダムパターン、格子、又は事実上あらゆる種類のパターンを含むことができる。
HDカメラを用いて得られるインクマーキングに加えて、従来のMOCAPカメラ構成と共に逆反射性マーカを用いることができる。HDカメラ編成が、より高い分解能、及び後処理の最中の改善されたラベル付けを可能にするのに対して、そのような構成は、実時間顔面(及び身体)キャプチャ及び表示を可能にすることができる。
一実施例では、顔面運動を取り込む1つのHDカメラによって得られるビデオデータを用いて2D追跡が実施される。例えば、顔面上のインクマーカが、HDビデオデータのフレームからフレームへと追跡される。HDカメラを用いて利用可能な高い分解能により、比較的小さいインクドットを追跡することが容易になる。別の実施例では、2つ又はそれよりも多くのHDカメラが用いられ、それらから2D追跡を実施することができる。更に、上述の3D仮想空間を再構成する段階を含む3D追跡を実施することができ、HDカメラの高分解能から付加的な利益が生じる。更に、FACS型の処理は、3Dでの追跡及び顔面モデルの再構成を改良することができる。
図9に示している実施例では、マーカ960Bは、腕972の運動を取り込み、マーカ960Cは、身体940の運動を取り込み、マーカ960D、960Eは、脚974の運動を取り込み、マーカ960Fは、足976の運動を取り込む。更に、マーカ960A〜960F上のパターンの一意性は、マーカの識別及び向きを取得するのに用いることができる情報を提供する。マーカ960Dは、演技者の脚の周囲に巻かれたパターンのストリップとして構成される。
図1は、本発明の実施例による身体モーションキャプチャに用いられる特殊な「既知のパターン」のマーカ集の見本を示している。各マーカは、小さい白色の正方形と黒色の正方形から成る6×6のマトリックスを含む。識別及び向きの情報は、6×6のマトリックス内での白色の正方形の固有配置によって各マーカ内に符号化される。これらのマーカは、あらゆる回転状態において識別可能であることによって特徴付けられる。これらのマーカの特徴的な回転不変性は、位置と向きの両方の情報の導出を可能にする。この場合、マーカの向きは、マーカが結合されて「セグメント」としてモデル化することができる物体又は四肢又は他の身体付属器官の向きを判断するのに用いることができる。すなわち、前腕上部にあるマーカ及び手首にある別のマーカをこれらのマーカの向きに基づいて前腕自体の向きを判断するのに用いることができる。更に、前腕までの骨格基礎構造をモデル化するロッド状セグメントの運動をモデル化することができる。各場合に、マーカを回転することにより、マーカの識別及び向きを判断することに関していかなる曖昧性も生じず、従って、情報を符号化するためのこの手法の有効性が明らかにされる。本明細書に例示的に開示した黒色要素と白色要素から成る6×6のマトリックス以外の編成を用いた符号化手法を実施することができることは理解されるであろう。例えば、位置及び向きを区別することができるように、マーカをマトリックスとしてではなく、各マーカにおいて異なる意匠を有する円形のクラッシュテストパターンとして構成することができる。他の例では、マーカ形状を平坦な矩形マトリックスとすることができる。更に、別の例では、形状自体を符号とすることができる。
別の実施例では、マーカにおける符号化手法は、「能動的」並びに「受動的」符号化を含む。例えば、上述のように、受動的に符号化されたパターンは、モーションキャプチャカメラ及びカメラによって取り込まれ、復号される符号を含む。復号されたデータは、デジタルキャラクタの運動の統合において更に用いることができる。しかし、取り込まれるマーカの視覚/光学信号が時間的に変化する場合には、能動的符号化を用いることができる。
更に別の実施例では、パターンは、蛍光材料を用いることができる。これらのパターンは、「能動的アイデンティティ」を有するが「受動的パワーを有する」「1次マーカ」として作動する(これに比べると、「能動的パワーを有する」マーカは、一般的に、あらゆる種類のエネルギを放出し、例えば、光を放出するLEDである)。
図4は、一実施例によるマーカ配置位置を有する人形の図である。図示のマーカは、図1に示しているものと類似の手法を用いて識別及び向きの情報を符号化する。これらのマーカは、実質的に対称に位置決めされ、体の各主要体肢(すなわち、セグメント)が、少なくとも1つのマーカによって定められるようになる。図示のマーカのほぼ半分は、図示の正面図では不可視な身体面上に位置決めされ、代わりにこれらのマーカの遮られた近似位置を指示する矢印を含む。モデルの背部上のマーカの配置図を図5に示す。
図9を参照すると、モーションキャプチャカメラ920,922は、演技者の身体940及び顔面950が運動状態にあるキャプチャ空間を取り囲む。モーションキャプチャカメラ920,922のあらゆる部分集合に対してマーカのうちのあらゆる視野が遮られた場合であっても、別の部分集合は、これらの遮られたマーカの視野を維持し、その運動を取り込むことになる。従って、図9に関連して説明したシステムを用いると、上述のようにマーカが装備された演技者による事実上全ての動きを取り込むことができる。
図6A及び図6Bは、図4で上述のようにマーカが装着された人体モデルの正面図及び背面図をそれぞれ提供している。図示のように、モデルの前方に向いている面上のマーカのみが可視である。残りのマーカは、部分的又は完全に遮られている。図7は、図6に示しているものと実質的に同じ姿勢にある同じ人体モデルの側面図を示しており、図8は、その上面図及び底面図を示している。従って、いずれか所定の時点で、キャプチャ空間の周囲に配置されたモーションキャプチャカメラ920,922に対して実質的に多数のマーカが可視である。図示のように、マーカはパターンだけでなく、同様にサイズによっても異なる。例えば、一部のマーカは、3平方インチであり、それに対して他のものは2平方インチである。
また、図6A及び図6Bに示している3Dモデル上のマーカ配置は、主要体肢(セグメント)、及び身体上で運動を連接する区域(例えば、頭、肩、臀部、くるぶし等)を実質的に定める。取り込まれたデータにおいて追跡が実施された場合には、マーカが配置された身体の位置は位置づけ可能になり、その向きは、特定可能になる。更に、マーカの配置によって定められる身体のセグメント、例えば、肘と肩の間の上腕セグメントも、そのセグメントの実質的に各末端に配置されたマーカによって位置づけ可能になる。上腕セグメントの位置及び向きは、上腕を定める個々のマーカから導出される向きから判断することができることになる。
図9を参照し直すと、モーションキャプチャカメラ920,922は、モーションキャプチャプロセッサ910によって制御され、マーカの2次元(2D)画像の同期シーケンスを取り込む。同期画像は、各々が画像フレームの時間シーケンスの1つのフレームを表す画像フレームへと統合される。すなわち、各個々の画像フレームは、各々が個々のモーションキャプチャカメラ920又は922によって生成された複数の同時取得2D画像を統合したものを含む。すなわち、取り込まれた2D画像は、一般的に、ユーザのワークステーション930において記憶するか又は実時間で見るか又はその両方を行うことができる。
モーションキャプチャプロセッサ910は、2D画像の統合を実施して(すなわち、「再構成」を実施して)、3次元(「3D」又は「容積」)マーカデータのフレームシーケンスを生成する。この容積フレームシーケンスを多くの場合に「ビート(beat)」と呼び、これは、映画撮影技術における「テイク」と考えることができる。従来、マーカは、離散した物体又は視覚点であり、再構成されたマーカデータは、各々が、演技者のような対象物に結合されたマーカの空間(すなわち、3D)位置を表す複数の離散したマーカデータ点を含む。従って、各容積フレームは、対象物の空間モデルを表す複数のマーカデータ点を含む。モーションキャプチャプロセッサ910は、容積フレームシーケンスを取得し、追跡機能を実行して各フレームのマーカデータ点をシーケンス内の先行フレーム及び後続フレームのマーカデータ点に関連付ける(又は「マップする」)。
一実施例では、1つ又はそれよりも多くの既知のパターンがストリップ960D上に印刷される。次に、ストリップ960Dは、演技者の各四肢(すなわち、付属器官)の周囲に、各四肢が少なくとも2つのストリップを有するように巻かれる。例えば、図9には2つのストリップ960Dが描かれており、演技者の左の腿978の周囲に巻かれている。しかし、末端作動部(例えば、手、足、頭)は、1つのストリップだけで十分にマーク付けすることができる。取り込まれた状態で、上述のように、巻かれたストリップ960Dの印刷パターンは、モーションキャプチャプロセッサ910が、可視のセグメント上に1つだけという少ないマーカのみを用いて演技者の四肢を表す各「セグメント」の位置及び向きをあらゆる角度から追跡することを可能にする。図9に例示しているものでは、演技者の腿978は、モーションキャプチャプロセッサ910でセグメントとして取り扱われる。複数のマーカを有するパターン付きストリップ960Dを四肢の周囲に実質的に円形に巻くことにより、四肢(すなわち、セグメント)の「重心」を判断することができる。複数のパターン付きマーカストリップ960Dを用いることにより、四肢内部の骨の推定又はモデルを形成するための重心を判断することができる。更に、セグメント上に付加された1つ(又は可視の場合はそれ以上)のマーカ及び/又はストリップから、セグメント全体に関する向き、平行移動、及び回転の情報を判断することができる。
図10は、実施例に従って顔面モーションキャプチャと身体モーションキャプチャを統合する方法1000を説明する流れ図である。ボックス1010では、既知のパターン又は識別可能なランダムパターンを有するマーキング材が表面に付加される。一実施例では、表面は、演技者の身体の表面であり、パターンは、演技者の身体に結合された複数のマーカを含む。別の実施例では、パターンは、演技者の身体に結合された単一のマーカ(例えば、マーカストリップ)を含む。パターンは、図9に関連して解説したように、ストリップ960Dとして形成することができ、演技者の四肢、手、及び足の周囲に添付することができる。また、マーカは、反射球体、演技者の身体上に接着された刺青模様、演技者の身体上に付加された材料、又は演技者の固有の特徴(例えば、ほくろ又はしわ)も含む。更に別の実施例では、表面は、演技者の顔面の表面であり、マーキング材は、演技者の顔面に付加されたインク又は塗料マーク、そばかす又は目頭のような自然の顔面特徴、又は顔面に付加されたいずれか他のマーカ又はマークを含む。
既知のパターンマーカに加えて、演技者は、多数のLEDを身体上に装備することができる。一実施例では、演技者は、LEDが配置された特殊スーツを着用する。一例では、LEDは、線を含むパターンで配置される。LEDの線は、既知の距離だけ分離することができ、従って、格子が形成される。そのようなLED格子は、既知のパターンマーカと併せて追跡される(更に、一実施例では同時に)。既知のパターンマーカは、追跡分解能を改善し、そうでなければ実質的に均一に配置された複数の同等のLEDに固有のアイデンティティ情報を与えることによって格子パターンのラベル付けを改善するように機能する。従って、仮想空間内での時間追跡及びラベル付けの連続性が改良される。
別の実施例では、格子を構成する線に対して異なる色のLEDを用いることによって追跡分解能及びLEDのラベル付けにおいて更に別の改善が達成される。従って、異なる色の線の交点(すなわち、格子の頂点)は、追跡中により高い識別性を得る。比較として、格子を構成する類似の色のLEDは、個々に追跡することが困難になり、回転及び向きの情報を導出することが困難になる。すなわち、類似の色のLEDは、「受動的アイデンティティ」の「能動的パワーを有する」「2次マーカ」と見なすことができる。しかし、一実施例では、識別可能な時間シーケンスに従って点滅又は明滅するようにLEDを構成することにより、LEDに「能動的アイデンティティ」特性が与えられる。
次に、モーションキャプチャカメラが、キャプチャ空間内に設けられる。一実施例では、少なくとも1つのHD−MOCAPビデオカメラが、演技者の身体をモーションキャプチャするのに用いられるように構成され(ボックス1020)、少なくとも1つの他のHD−MOCAPビデオカメラが、演技者の顔面をモーションキャプチャするのに用いられるように構成される(ボックス1030)。更に、フィルムプレート上に演技全体を取り込むためにフィルムカメラが設けられる。次に、ボックス1040では、身体運動データと顔面運動データが、実質的に同時に取り込まれる。ボックス1050では、取り込まれた身体運動データと顔面運動データが統合される。
一実施例では、身体運動を取り込む1つのHDによって得られたビデオ運動データを用いて2D追跡が実施される。例えば、身体及び四肢上の既知のパターンのマーカが、HDビデオデータのフレームからフレームへと追跡される。既知のパターンを追跡する段階は、HDカメラを用いて利用可能な高い分解能によって容易になる。別の実施例では、2つ又はそれよりも多くのHDカメラが用いられ、これらから2D追跡を実施することができる。更に、上述の3D仮想空間を再構成する段階を含む3D追跡を実施することができ、HDカメラの高い分解能から付加的な利益が生じる。また、FACS型の解決法は、3Dでの追跡及び身体モデルの再構成を改良することができる。身体運動データを取り込む複数のHDカメラを用いて得られた実際のデータをモデル化する骨格の構成を助けるために、所定の骨格モデルを用いることができる。
一実施例では、上述の顔面及び身体モーションキャプチャ方法を実施するためのシステムは、改善された追跡方法によって補強される。1次と2次の両方のパターンを追跡するために多点追跡器が実施される。次に、ソルバが、2次マーカからの平行移動情報(2次マーカは、いかなる回転又は向きの情報も与えない)、及び1次マーカからの平行移動及び回転を骨格モデル上に還元する。ソルバは、骨格データ、並びに1次及び2次マーカにおける位置情報を原フィルムプレート上に再投影するのに用いることができる。すなわち、還元されたデータがフィルムプレート上で得られた画像と適合することを保証することにより、追跡段階、ラベル付け段階、及び処理の他の段階における不整合を早い段階で識別及び/又は調整することができる。
本発明の様々な例示的実施例を説明した。しかし、当業者は、付加的な実施例が同様に可能であり、本発明の範囲にあることを認識されるであろう。例えば、既知の識別可能なランダムパターンは、演技者又は物体の表面上に印刷、付加、又はインク付けすることができる。更に、望ましいパターンを取得するのに、印刷物、付加物、インク、刺青模様、量子ナノドット、及び固有の身体特徴のあらゆる組合せを用いることができる。
従って、本発明は、上述の実施形態だけに限定されない。