JP2008545206A - モバイルモーションキャプチャカメラ - Google Patents

Abstract

動作を取り込むシステム(10)は、少なくとも1つの移動物体上の複数の地点を定義するマーカを有する少なくとも1つの移動物体を含むように構成されたモーションキャプチャボリューム(30)と、モーションキャプチャボリューム(30)内で可動となるように構成された少なくとも1つのモバイルキャプチャカメラ(16)と、少なくとも1つのモバイルモーションキャプチャカメラ(16)と結合され、少なくとも1つの移動物体の運動のデジタル表現を生成するモーションキャプチャプロセッサ(12)とを備える。
【選択図】図１

Description

本発明は、3次元グラフィックスおよびアニメーションに関し、より詳細には、複数の俳優を収容することのできるボリューム内で顔と身体の両方の動作を同時に取り込むことを可能にするモーションキャプチャシステムに関する。

本願は、「System and Method for Capturing Facial and Body Motion」という名称の2003年5月1日出願の米国特許第10/427,114号の一部継続出願である「System and Method for Capturing Facial and Body Motion」という名称の2004年12月3日出願の米国特許第11/004,320号の一部継続出願として、35 U.S.C.§120に従う優先権を主張するものである。本願はまた、「Mobile Motion Capture Cameras」という名称の2005年7月1日出願の同時係属の米国仮特許出願第60/696,193号の優先権を主張するものである。

出願日2003年5月1日、2004年12月3日、2005年7月1日を含む、これらの出願の優先権の特典が本明細書で主張され、上記で参照される特許出願は、参照により本明細書に組み込まれる。

モーションキャプチャシステムは、実物体の運動を取り込み、それをコンピュータで生成されたオブジェクト上にマッピングするのに使用される。そのようなシステムはしばしば、映画およびビデオゲームの製作で人物のデジタル表現を作成するのに使用され、人物のデジタル表現は、コンピュータグラフィックス(CG)アニメーションを作成するためのソースデータとして使用される。典型的なシステムでは、俳優が、様々な位置に取り付けられたマーカを有する(例えば、胴体および手足に取り付けられた小型の反射マーカを有する)衣服を着用し、マーカを照明中に、デジタルカメラが、俳優の運動を様々な角度から記録する。次いで、システムは、イメージを解析して、各フレーム内の俳優の衣服上のマーカの位置(例えば空間座標として)および向きを求める。マーカの位置を追跡することにより、システムは、経時的にマーカの空間表現を作成し、動作中の俳優のデジタル表現を構築する。次いで動作がデジタルモデルに適用され、次いでデジタルモデルをテクスチャリングおよびレンダリングして、俳優および/または演技の完全なCG表現を生成することができる。この技法は特殊効果会社で使用されており、多くの人気のある映画で信じられないほどリアルなアニメーションが製作されてきた。

モーションキャプチャシステムはまた、俳優の顔の特徴の動作を追跡して俳優の顔の動作および表情(例えば笑い、泣き、微笑みなど)の表現を作成するのにも使用される。身体モーションキャプチャの場合と同じく、マーカが俳優の顔に取り付けられ、カメラが俳優の表情を記録する。顔の運動は身体の運動に関係する大きい筋肉と比較して小さい筋肉が関係するので、顔マーカは通常、対応する身体マーカよりもずっと小さく、カメラは通常、身体モーションキャプチャのために通常使用されるカメラよりも高い解像度を有する。カメラは通常、俳優の顔にカメラの焦点を合わせたままに保つよう制限された俳優の物理的運動と共通の平面内に位置合せされる。顔マーカを一様に照明し、カメラと顔の間の相対運動の度合を最小限に抑えるように、俳優に物理的に取り付けられたヘルメットまたはその他の器具に顔モーションキャプチャシステムを組み込むことができる。このために、顔動作と身体動作は通常、別々のステップで取り込まれる。次いで、後続のアニメーションプロセスの一部として、取り込まれた顔モーションデータが、取り込まれた身体モーションデータと後で組み合わされる。

キーフレーミングなどの従来のアニメーション技法に勝るモーションキャプチャシステムの利点は、リアルタイム視覚化(real-time visualization)の能力である。製作チームは、俳優の運動の空間表現をリアルタイムまたはほぼリアルタイムで検討することができ、最適なデータを取り込むために俳優が物理的演技を変更することが可能となる。さらに、モーションキャプチャシステムは、他のアニメーション技法を使用して容易に再現することのできない物理運動の微妙なニュアンスを検出し、それによって自然な運動をより正確に反映するデータが生成される。その結果、モーションキャプチャシステムを使用して収集されたソース材料を使用して作成されたアニメーションは、より真に迫った外観を示す。

モーションキャプチャシステムのこうした利点にもかかわらず、顔動作と身体動作を別々に取り込む結果、しばしば、真に迫ったものではないアニメーションデータが生じる。顔動作と身体動作は複雑に結びついており、それによって、顔の表情がしばしば、対応する身体動作によって強められる。例えば、俳優は、興奮して話すときに腕の動き(arm flapping)を使用したり、不機嫌なときに肩をすくめるなどの一定の身体動作(すなわちボディランゲージ)を利用して動作を伝達し、対応する顔の表情を強調することがある。この顔動作と身体動作の間の連係は、動作が別々に取り込まれるときに失われ、これらの別々に取り込んだ動作を互いに同期させることは難しい。顔動作と身体動作が組み合わされるとき、得られるアニメーションはしばしば、目立つほどに異様に見える。ますますリアルなアニメーションの作成を可能にすることがモーションキャプチャの目的であるので、顔動作と身体動作の分離は、従来型モーションキャプチャシステムの著しい欠点を表す。

従来型モーションキャプチャシステムの別の欠点は、俳優のモーションデータが小道具や他の俳優などの他の物体に邪魔されて遮られることがあることである。具体的には、身体マーカまたは顔マーカの一部がデジタルカメラの視野から遮られた場合、その身体部分または顔部分に関するデータが収集されない。この結果、モーションデータ内にオクルージョンまたはホールが生じる。後で事後製作(post-production)中に従来型コンピュータグラフィックス技法を使用してオクルージョンを充填することができるが、充填データ(fill data)には実際のモーションデータの品質が欠けており、その結果、観客が識別することができる可能性のあるアニメーションの不良が生じる。この問題を回避するために、従来型モーションキャプチャシステムは、一度に取り込むことのできる物体の数を例えば1人の俳優に制限する。俳優の演技の質はしばしば、他の俳優および物体との相互作用に依存するので、このことによってもモーションデータのリアルさが損なわれる傾向がある。さらに、こうした別々の演技を自然に見える仕方で一緒に組み合わせることは難しい。

従来型モーションキャプチャシステムのさらに別の欠点は、音声がモーションキャプチャと同時に記録されないことである。アニメーションでは、オーディオトラックをまず記録し、次いでオーディオトラックに合致するようにキャラクタをアニメーション化することが一般的である。顔モーションキャプチャ中に、俳優は、記録されたオーディオトラックに同期して唇を動かすことになる。俳優が顔動作を完璧にオーディオトラックと同期させることは難しいので、これにより、必然的にモーションデータの視覚的品質がさらに低下する。さらに、身体動作はしばしば、発話する方式に影響を及ぼし、身体動作と顔動作を別々に取り込むことにより、オーディオトラックを同期させて結合性のある最終的作品(cohesive end product)を生成することの困難さが増大する。

したがって、従来技術の上記およびその他の欠点を克服するモーションキャプチャシステムを提供することが望ましい。より具体的には、複数の俳優を収容することのできるボリューム内で身体動作と顔動作を共に同時に取り込むことを可能にするモーションキャプチャシステムを提供することが望ましい。身体モーションキャプチャおよび顔モーションキャプチャと同時に音声記録を可能にするモーションキャプチャシステムを提供することも望ましい。

本発明は、モバイルモーションキャプチャカメラを使用して動作を取り込むシステムおよび方法を提供する。

一実装では、動作を取り込むシステムは、少なくとも1つの移動物体上の複数の地点を定義するマーカを有する少なくとも1つの移動物体を含むように構成されたモーションキャプチャボリュームと、モーションキャプチャボリューム内で移動可能となるように構成された少なくとも1つのモバイルモーションキャプチャカメラと、少なくとも1つのモバイルモーションキャプチャカメラと結合され、少なくとも1つの移動物体の運動のデジタル表現を生成するモーションキャプチャプロセッサとを備える。

別の実装では、動作を取り込む別のシステムは、モーションキャプチャボリューム内の動作を取り込むように動作する少なくとも1つのモバイルモーションキャプチャカメラと、少なくとも1つのモバイルモーションキャプチャカメラのカメラを移動することができるように、少なくとも1つのモバイルモーションキャプチャカメラを少なくとも1つのモバイルモーションキャプチャリグ(mobile motion capture rig)上に配設することを可能するように構成された少なくとも1つのモバイルモーションキャプチャリグとを備える。

別の実装では、動作を取り込む方法は、少なくとも1つの移動物体上の複数の地点を定義するマーカを有する少なくとも1つの移動物体を含むように構成されたモーションキャプチャボリュームを画定すること、モーションキャプチャボリューム内で少なくとも1つのモバイルモーションキャプチャカメラを移動すること、および少なくとも1つのモバイルモーションキャプチャカメラからのデータを処理し、少なくとも1つの移動物体の運動のデジタル表現を生成することを含む。

さらに別の実装では、動作を取り込むシステムは、少なくとも1つの移動物体上の複数の地点を定義するマーカを有する少なくとも1つの移動物体を含むようにモーションキャプチャボリュームを画定する手段と、モーションキャプチャボリューム内で少なくとも1つのモバイルモーションキャプチャカメラを移動する手段と、少なくとも1つのモバイルモーションキャプチャカメラからのデータを処理し、少なくとも1つの移動物体の運動のデジタル表現を生成する手段とを備える。

以下でさらに説明するように、本発明は、複数の俳優を収容することのできるボリューム内で顔動作と身体動作を共に同時に取り込むことを可能にするモーションキャプチャシステムの必要を満たす。さらに、本発明は、身体モーションキャプチャおよび顔のモーションキャプチャと同時に音声記録を可能にするモーションキャプチャシステムの必要も満たす。以下の詳細な説明では、図面のうちの1つまたは複数で示される同様の要素を記述するのに同様の要素番号が使用される。

まず図1を参照すると、ブロック図は、本発明の一実施形態によるモーションキャプチャシステム10を示す。モーションキャプチャシステム10は、複数の顔モーションカメラ14₁〜14_Nおよび複数の身体モーションカメラ16₁〜16_Nと通信するように適合されたモーションキャプチャプロセッサ12を含む。モーションキャプチャプロセッサ12は、関連するデータファイルの記憶を可能にするように適合されたデータ記憶装置20を有するプログラム可能コンピュータをさらに含むことができる。ネットワークを使用して1つまたは複数のコンピュータワークステーション18₁〜18_Nをモーションキャプチャプロセッサ12に結合することができ、コンピュータグラフィックスアニメーションを作成するプロセスで複数のグラフィックアーティストが格納されたデータファイルを扱うことが可能となる。顔モーションカメラ14₁〜14_Nおよび身体モーションカメラ16₁〜16_Nは、モーションキャプチャボリューム内で演技する1人または複数の俳優の組み合わされた動作を取り込むように、モーションキャプチャボリューム(以下で説明する)に対して配置される。

各俳優の顔および身体がマーカでマークされ、モーションキャプチャボリューム内の俳優の演技中に、マーカが顔モーションカメラ14₁〜14_Nおよび身体モーションカメラ16₁〜16_Nによって検出される。マーカは、反射性素子または受照素子(illuminated element)でよい。具体的には、頭部、脚部、腕、および胴を含む様々な身体位置に配設された複数の反射マーカで各俳優の身体をマークすることができる。俳優は、マーカが取り付けられる、無反射性材料で形成されたボディスーツを着用していることができる。俳優の顔も複数のマーカでマークされる。顔マーカは一般に身体マーカよりも小さく、身体マーカよりも多数の顔マーカが使用される。十分な解像度で顔動作を取り込むために、多数の(例えば100個を超える)顔マーカを使用することが予想される。一実装では、152個の小型の顔マーカと64個のより大型の身体マーカが俳優に貼り付けられる。身体マーカは、5から9ミリメートルの範囲の幅または直径を有することができ、顔マーカは、2から4ミリメートルの範囲の幅または直径を有することができる。

顔マーカの配置の整合性を保証するために、所望のマーカ位置に対応する適切な位置に穴が開けられた各俳優の顔のマスクを形成することができる。俳優の顔の上にマスクを配置し、適切なペンを使用して穴の位置を顔の上に直接マークすることができる。次いで、マークした位置で顔マーカを俳優の顔に付着させることができる。メイクアップ糊(make-up glue)などの演劇の分野で周知の適切な材料を使用して、顔マーカを俳優の顔に貼り付けることができる。このようにして、非常に長い期間(例えば数か月)にわたるモーションキャプチャ作品が、マーカが日ごとに付着され、取り外される場合であっても、俳優に関するかなり一貫したモーションデータを得ることができる。

モーションキャプチャプロセッサ12は、顔モーションカメラ14₁〜14_Nおよび身体モーションカメラ16₁〜16_Nから受け取った2次元イメージを処理し、キャプチャした動作の3次元デジタル表現を生成する。具体的には、モーションキャプチャプロセッサ12は、イメージ取込みプロセスの一部として、各カメラから2次元データを受け取り、データを複数のデータファイルの形態でデータ記憶装置20に保存する。次いで、イメージ処理プロセスの一部として、2次元データファイルが、個々のマーカの運動を表す軌跡ファイルの形態で互いにリンクされる単一の組の3次元座標に分解される。イメージ処理プロセスは、1つまたは複数のカメラからのイメージを使用して、各マーカの位置を求める。例えば、マーカは、モーションキャプチャボリューム内の俳優の顔の特徴または身体部分によるオクルージョンのために、カメラのサブセットに対してのみ可視であることがある。その場合、イメージ処理は、そのマーカの視界が遮られていない他のカメラからのイメージを使用して、空間内のマーカの位置を求める。

複数のカメラからのイメージを使用してマーカの位置を求めることにより、イメージ処理プロセスは、複数の角度からイメージ情報を評価し、三角測量プロセスを使用して空間位置を求める。次いで、軌跡ファイルに対して運動学的計算(kinetic calculation)が実施され、俳優の演技に対応する身体動作および顔動作を反映するデジタル表現が生成される。経時的な空間情報を使用して、計算は、各マーカが空間を移動するときにその進行を求める。適切なデータ管理プロセスを使用して、プロセス全体に関連する多数のファイルのデータ記憶装置20への格納およびデータ記憶装置20からの検索を制御することができる。モーションキャプチャプロセッサ12およびワークステーション18₁〜18_Nは、Vicon Motion SystemsまたはMotion Analysis Corp.から入手可能なものなどの市販のソフトウェアパッケージを使用して、上記およびその他のデータ処理機能を実行することができる。

モーションキャプチャシステム10は、動作に加えて音声を記録する能力をさらに含む。複数のマイクロフォン24₁〜24_Nをモーションキャプチャボリュームの周りに配置して、俳優の演技中に音声(例えば、発話された対話)をピックアップすることができる。モーションキャプチャプロセッサ12を、直接的に、またはオーディオインターフェース22を介してマイクロフォン24₁〜24_Nに結合することができる。マイクロフォン24₁〜24_Nを定位置に固定することができ、または動作に追従するようにブーム上で可動にすることができ、または俳優がマイクロフォン24₁〜24_Nを担持し、マイクロフォン24₁〜24_Nがモーションキャプチャプロセッサ12またはオーディオインターフェース22とワイヤレスに通信することができる。モーションキャプチャプロセッサ12は、モーションデータとの同期を可能にする時間トラックまたはその他のデータと共に、記録された音声をデジタルファイルの形態で受け取り、データ記憶装置20上に格納する。

図2および3に、複数のモーションキャプチャカメラによって囲まれたモーションキャプチャボリューム30を示す。モーションキャプチャボリューム30は周縁部32を含む。モーションキャプチャボリューム30は、グリッド線で細分された矩形領域として示されている。実際にはモーションキャプチャボリューム30はモーションキャプチャボリュームに対するフロアを定義するグリッドを有する3次元空間を含むことを理解されたい。フロアの上の3次元空間内で動作が取り込まれる。本発明の一実装では、モーションキャプチャボリューム30は、約10フィート四方、フロアの上の高さ約6フィートのフロアエリアを含む。有利には、製作の特定の必要に適合するように、楕円、円、矩形、多角形などの他のサイズおよび形状のモーションキャプチャボリュームも使用することができる。

図2は、複数のモーションキャプチャカメラが周縁部32の周りに概して円形のパターンで配置されたモーションキャプチャボリューム30の上面図を示す。個々のカメラは、カメラのレンズの方向を表す鋭角を有する三角形として図形的に表されており、したがって、複数のカメラが複数の別個の方向からモーションキャプチャボリューム30に向けられることを理解されたい。より具体的には、複数のモーションキャプチャカメラは、複数の身体モーションカメラ16₁〜16₈および複数の顔モーションカメラ14₁〜14_Nをさらに含む。図2の多数の顔モーションカメラに鑑みて、多くには符号を付けていないことを理解されたい。本発明のこの実施形態では、身体モーションカメラよりも多くの顔モーションカメラが存在する。身体モーションカメラ16₁〜16₈は、モーションキャプチャボリューム30の辺ごとにおよそ2個配置され、顔モーションカメラ14₁〜14_Nは、モーションキャプチャボリューム30の辺ごとにおよそ12個配置される。顔モーションカメラ14₁〜14_Nと身体モーションカメラ16₁〜16_Nは、顔モーションカメラの焦点合せレンズが身体モーションカメラよりも狭い視野を与えるように選択されることを除いてほぼ同一である。

図3は、複数のモーションキャプチャカメラがモーションキャプチャボリュームのフロアの上のおよそ3つの階に配置されたモーションキャプチャボリューム30の側面図を示す。下階は、モーションキャプチャボリューム30の辺ごとにおよそ8個配置された複数の顔モーションカメラ14₁〜14₃₂を含む。本発明の一実施形態では、下階顔モーションカメラ14₁〜14₃₂のそれぞれは、モーションキャプチャボリューム30のほぼ反対側のカメラが視野内に含まれないようにわずかに上方に向く。モーションキャプチャカメラは一般に、モーションキャプチャボリューム30を照明するのに使用される光源(例えば発光ダイオードの配列)を含む。光源はモーションキャプチャカメラにとって反射マーカからのデータを圧倒する明るい反射率のように見えるので、モーションキャプチャカメラが別のモーションキャプチャカメラの光源を「見ない」ようにすることが望ましい。中階は、モーションキャプチャボリューム30の辺ごとにおよそ2個配置された複数の身体モーションカメラ16₃〜16₇を含む。上記で議論したように、身体モーションカメラは、顔モーションカメラよりも広い視野を有し、各カメラが、それぞれの視野内により多くの量のモーションキャプチャボリューム30を含むことが可能となる。

上階は、モーションキャプチャボリューム30の辺ごとにおよそ5個配置された複数の顔モーションカメラ(例えば14₃₃〜14₅₂)を含む。本発明の一実施形態では、上階顔モーションカメラ14₃₃〜14₅₂のそれぞれは、モーションキャプチャボリューム30のほぼ反対側のカメラが視野内に含まれないようにわずかに下方に向く。図2の左側に示すように、モーションキャプチャボリューム30の前縁部に焦点を合わせたいくつかの顔モーションカメラ(例えば14₅₃〜14₆₀)が中階にも含まれる。俳優の演技は一般にモーションキャプチャボリューム30の前縁部に向くので、その領域内のカメラの数が増加され、オクルージョンに対して失われるデータ量が低減される。さらに、モーションキャプチャボリューム30のコーナに焦点を合わせたいくつかの顔モーションカメラ(例えば14₆₁〜14₆₄)が中階に含まれる。これらのカメラも、オクルージョンに対して失われるデータ量を低減する役割を果たす。

身体モーションカメラおよび顔モーションカメラは、マークされた俳優のイメージを多数の異なる角度から記録し、その結果、俳優の側面のほぼすべてが、すべての時間に少なくとも1つのカメラに対して露出する。より具体的には、カメラの配置により、俳優の側面のほぼすべてがすべての時間に少なくとも3つのカメラに対して露出することが実現されることが好ましい。カメラを複数の高さに配置することにより、俳優がモーションキャプチャフィールド30内で移動するときに不規則な面をモデル化することができる。それによってこのモーションキャプチャシステム10は、俳優の身体運動を顔運動(すなわち表情)と同時に記録する。上記で議論したように、音声記録もモーションキャプチャと同時に実施することができる。

図4は、顔モーションカメラの配置を示すモーションキャプチャボリューム30の上面図である。モーションキャプチャボリューム30は、a、b、c、およびdと符号が付けられた象限に図形的に分割される。顔モーションカメラがクラスタ36、38にグループ化され、各カメラクラスタは複数のカメラを表す。例えば、そのような1つのカメラクラスタは、下階に配置された2つの顔モーションカメラと、上階に配置された1つの顔モーションカメラとを含むことができる。有利には、クラスタ内のカメラの他の配置も使用することができる。2つのカメラクラスタ36、38は互いに物理的に隣接して配設されるが、認識可能な距離だけ互いに水平方向に偏位する。2つのカメラクラスタ36、38はそれぞれ、約45°の角度から、象限dの前縁部に焦点を合わせている。第1カメラクラスタ36は、象限cの前縁部の一部から象限dの前縁部の右端まで延びる視野を有する。第2カメラクラスタ38は、象限dの前縁部の左端から象限dの右縁部の一部まで延びる視野を有する。したがって、第1および第2カメラクラスタ36、38のそれぞれの視野は、象限dの前縁部のかなりの長さにわたって重なる。象限a、b、c、およびdの(周縁部32と一致する)他の外縁のそれぞれについて、カメラクラスタの同様の配置が含まれる。

図5は、顔モーションカメラの別の配置を示すモーションキャプチャボリューム30の上面図である。図4と同様に、モーションキャプチャボリューム30は、象限a、b、c、およびdに図形的に分割される。顔モーションカメラは、クラスタ42、44にグループ化され、各カメラクラスタは複数のカメラを表す。図4の実施形態と同様に、クラスタは、様々な高さに配置された1つまたは複数のカメラを含むことができる。この配置では、カメラクラスタ42、44は、モーションキャプチャボリューム30のコーナに配置され、モーションキャプチャボリュームに面する。これらのコーナカメラクラスタ42、44は、オクルージョンなどのために他のカメラでピックアップされない俳優のイメージを記録する。他の同様のカメラクラスタもモーションキャプチャボリューム30の他のコーナに配置される。

モーションキャプチャボリューム30に対して様々なカメラの高さおよび角度を有することは、モーションキャプチャボリューム内の俳優から取り込まれる利用可能なデータを増大させる働きをし、データオクルージョンの可能性を低減する。モーションキャプチャボリューム30内で複数の俳優を同時にモーションキャプチャすることも可能となる。さらに、多数の様々なカメラにより、モーションキャプチャボリューム30を従来技術のものよりかなり大きくすることが可能となり、それによってモーションキャプチャボリューム内の動作の範囲を広くすることが可能となり、したがってより複雑な演技が可能となる。有利には、身体モーションカメラおよび顔モーションカメラの多数の代替配置も使用できることを理解されたい。例えば、より多数または少数の別々の階を使用することができ、個々の階の中の各カメラの実際の高さを変更することができる。

上記の本発明の好ましい実施形態の説明では、身体モーションカメラおよび顔モーションカメラは定位置のまま固定される。このようにして、モーションキャプチャプロセッサ12は、身体マーカおよび顔マーカの運動をそれに対して測定することのできる固定基準点を有する。この配置の欠点は、モーションキャプチャボリューム30のサイズが限定されることである。より多くの量の空間を必要とする演技の動作を取り込むことが望まれる場合(例えば、登場人物が長い距離にわたって走っているシーン)、別々にモーションキャプチャされる複数のセグメントに演技を分割しなければならなくなる。

本発明の代替実施形態では、いくつかのカメラが固定されたままとなり、他のカメラは可動である。一構成では、可動モーションキャプチャカメラが新しい位置に移動し、新しい位置に固定される。別の構成では、可動モーションキャプチャカメラが、演技に追従するように移動する。したがって、この構成では、モーションキャプチャカメラが、移動中にモーションキャプチャを実施する。

コンピュータ制御サーボモータを使用して可動モーションキャプチャカメラを移動することができ、または人間のカメラオペレータによって手動で移動することができる。カメラが演技に追従するように移動する(すなわち、カメラが移動中にモーションキャプチャを実施する)場合、モーションキャプチャプロセッサ12は、カメラの運動を追跡し、取り込んだデータの後続の処理でこの運動を除去し、俳優の演技に対応する身体および顔の動作を反映する3次元デジタル表現を生成する。可動カメラを個々に移動することができ、またはモバイルモーションキャプチャリグ上にカメラを配置することによって一緒に移動することができる。したがって、モーションキャプチャのためにモバイルカメラまたは可動カメラを使用することにより、モーションキャプチャ製作における柔軟性が向上する。

一実装では、図13に示されるように、モバイルモーションキャプチャリグ1300は、6個のカメラ1310、1312、1314、1316、1320、1322を含む。図13に、モバイルモーションキャプチャリグ1300上に配置されたカメラの正面図を示す。図示する図13の例では、4個のカメラ1310、1312、1314、1316がモーションキャプチャカメラである。2つのカメラ1320、1322が参照カメラである。1つの参照カメラ1320は、モーションキャプチャカメラ1310、1312、1314、1316の表示を示すためのものである。第2参照カメラ1322は、ビデオの参照および調節のためのものである。しかし、異なる数のモーションキャプチャカメラおよび参照カメラを用いた異なるカメラ構成も可能である。

図13は4つのモーションキャプチャカメラおよび2つの参照カメラを有するモバイルモーションキャプチャリグ1300を示すが、リグ1300は1つまたは複数のモーションキャプチャカメラのみを含むことができる。例えば、一実装では、モバイルモーションキャプチャリグ1300は2つのモーションキャプチャカメラを含む。別の実装では、モバイルモーションキャプチャリグ1300は、フィールドスプリッタ(field splitter)またはミラーを有する1つのモーションキャプチャカメラを含み、ステレオ表示を提供する。

図14、図15、および図16は、図13に示されるモバイルモーションキャプチャリグの特定の実装のそれぞれ正面図、上面図、および側面図を示す。モバイルモーションキャプチャリグの寸法は、幅および長さ40"×40"、深さ14"である。

図14は、モバイルモーションキャプチャリグ1400の特定の実装の正面図を示す。4個のモバイルモーションキャプチャカメラ1410、1412、1414、1416がモバイルモーションキャプチャリグ1400上に配設され、幅および長さ方向に約40から48インチ離れて配置される。各モバイルモーションキャプチャカメラ1410、1412、1414、または1416は、約2"の外径を有する回転可能円筒形ベース上に配置される。モバイルモーションキャプチャリグ1400はまた、参照カメラ1420、コンピュータおよびディスプレイ1430、およびフレーミングおよびフォーカス用のビューファインダ(view finder)1440も含む。

図15は、モバイルモーションキャプチャリグ1400の特定の実装の上面図を示す。この図は、4個のモバイルモーションキャプチャカメラ1410、1412、1414、1416のオフセットレイアウトを示す。上部カメラ1410、1412は、それぞれ深さ約2インチおよび6インチに配置され、下部カメラ1414、1416は、それぞれ深さ約14インチおよび1インチに配置される。さらに、上部カメラ1410、1412は、幅が約42インチ離れており、下部カメラ1414、1416は、幅が約46インチ離れている。

図16は、モバイルモーションキャプチャリグ1400の特定の実装の側面図を示す。この図は、4個のモバイルモーションキャプチャカメラ1410、1412、1414、1416が配置される相異なる高さを強調している。例えば、上部カメラ1410がモバイルモーションキャプチャカメラ1412の約2インチ上に配置され、下部カメラ1414が、モバイルモーションキャプチャカメラ1416の約2インチ下に配置される。一般には、地面にひざまずく、地面を見下ろすなど、カメラが非常に低い高さで演技を取り込むことができるように、モーションキャプチャカメラの一部を十分な低さに(例えば地面から約2フィート離して)配置すべきである。

別の実装では、例えば、モバイルモーションキャプチャリグは、複数のモバイルモーションキャプチャカメラを含むが、参照カメラを含まない。したがって、この実装では、モバイルモーションキャプチャカメラからのフィードバックが参照情報として使用される。

さらに、複数のリグの間で分散され、または1つまたは複数の可動リグおよび固定位置の間で分割された200個以上のカメラなど、様々な総数のカメラをモーションキャプチャセットアップで使用することができる。例えば、セットアップは、208個の固定モーションキャプチャカメラ(32個が身体のリアルタイム再構築を実施する)および24個のモバイルモーションキャプチャカメラを含むことができる。一例として、24個のモバイルモーションキャプチャカメラが6個のモーションキャプチャリグに分散され、各リグは4個のモーションキャプチャカメラを含む。他の例では、モーションキャプチャカメラが、モーションキャプチャカメラが個々に移動するように、リグなしを含む任意の数のモーションキャプチャリグに分散される。

図17に示されるさらに別の実装では、モバイルモーションキャプチャリグ1700は、6個のモーションキャプチャカメラ1710、1712、1714、1716、1718、1720、および2つの参照カメラ1730、1732を含む。図17は、モバイルモーションキャプチャリグ1700上に配置されたカメラの正面図を示す。さらに、モーションキャプチャリグ1700は、参照カメラによって取り込まれたイメージを示すための1つまたは複数のディスプレイも含むことができる。

図18は、カメラ1810、1812、1814、1816、1820を含むモバイルモーションキャプチャリグ1800の正面斜視図を示す。図示される図18の実装では、モバイルモーションキャプチャリグ1800は、モーションキャプチャカメラ1810、1812、1814、1816、1820に対して少なくとも6つの自由度(6-DOF)の運動を与えるサーボモータを含む。したがって、したがって、6-DOFは、3つの軸X、Y、およびZに沿う3つの並進運動と、3つの軸X、Y、およびZの周りの3つの回転運動、すなわちそれぞれ傾斜、パン、および回転とを含む。

一実装では、モーションキャプチャリグ1800は、すべての5個のカメラ1810、1812、1814、1816、1820に対して6-DOF運動を与える。別の実装では、モーションキャプチャリグ1850上のカメラ1810、1812、1814、1816、1820のそれぞれが、6-DOF運動の一部またはすべてに制限される。例えば、上部カメラ1810、1812をXおよびZ並進運動ならびにパンおよびチルトダウン回転運動に制限することができ、下部カメラ1814、1816をXおよびZ並進運動ならびにパンおよびチルトアップ回転運動に制限することができ、中心カメラ1820を、すべての6つの方向(すなわちX、Y、Z並進運動ならびに傾斜、パン、および回転の各回転運動)に移動することができるように制限しないことができる。別の実装では、カメラを固定位置に配置することができ、または演技に追従するようにカメラを移動することができるように、モーションキャプチャリグ1800が、撮影中および/または撮影の間に移動、パン、傾斜、および回転する。

一実装では、モーションキャプチャリグ1800の動作が1人または複数の人によって制御される。モーション制御は、手動、機械式、または自動でよい。別の実装では、モーションキャプチャリグが、事前プログラムされた1組の動作に従って移動する。別の実装では、モーションキャプチャリグが、リグモーション制御システムで受信されるRF信号、IR信号、音響信号、または視覚信号に基づいて移動する俳優を追跡するなどのために、受け取った入力に基づいて自動的に移動する。

別の実装では、1つまたは複数の固定またはモバイルモーションキャプチャカメラに対する照明の明るさが高められる。例えば、追加のライトが各カメラと共に配置される。明るさを高めることにより、低いfストップ設定を使用することが可能となり、したがって、モーションキャプチャのためにカメラがビデオを取り込んでいるボリュームの深さを増大させることができる。

別の実装では、モバイルモーションキャプチャリグは、24Pビデオ(すなわちプロレッシブイメージストレージを用いる毎秒24フレーム)を使用するマシンビジョンカメラと、毎秒60フレームのモーションキャプチャカメラとを含む。

図19は、モバイルカメラを使用して動作を取り込む方法1900の一実装を示す。まずボックス1902で、少なくとも1つの移動物体を含むように構成されたモーションキャプチャボリュームが定義される。移動物体は、移動物体上の複数の地点を定義するマーカを有する。ボリュームは、使用ガイドライン(例えば、俳優およびカメラは、所与の位置の10メートル以内にとどまるべきである)によって画定されたオープンスペースでよく、または障壁(例えば壁)またはマーカ(例えばフロア上のテープ)によって画定された制限されたスペースでよい。別の実装では、ボリュームは、モーションキャプチャカメラで取り込むことのできるエリアによって画定される(例えば、ボリュームは、モバイルモーションキャプチャカメラと共に移動する)。次いでボックス1904で、モーションキャプチャボリューム内で移動する間の移動物体のほぼすべての横方向の露出面が、ほぼすべての時間にモバイルモーションキャプチャカメラの視野内にあるように、少なくとも1つのモバイルモーションキャプチャカメラがモーションキャプチャボリュームの周辺部の周りを移動する。別の実装では、1つまたは複数のモバイルモーションキャプチャカメラが、(1つまたは複数のカメラが周辺部の周りを移動する代わりに、またはそれに加えて)周囲のみではなくボリューム内を移動する。最後に、ボックス1906でモーションキャプチャカメラからのデータが処理され、移動物体の運動のデジタル表現が生成される。

図6は、モーションキャプチャボリューム内の2人の俳優52、54を反映するモーションキャプチャデータを示すモーションキャプチャボリューム30の斜視図である。図6は、モーションキャプチャデータが図1に関して上記で説明したワークステーション18のオペレータにはどのように見えるかを反映する。図2および3(上記)と同様に、図6は、下階に配置されたカメラ14₁〜14₁₂と、上階に配置されたカメラ14₃₃〜14₄₀と、モーションキャプチャボリューム30のコーナに配置されたカメラ14₆₀、14₆₂とを含む複数の顔モーションカメラをさらに示す。2人の俳優52、54は、身体および顔上の反射マーカに対応する1群のドットとして見える。上記で図示および議論したように、俳優の身体よりも、俳優の顔上に位置するマーカの数の方がずっと多い。俳優の身体および顔の運動は、上記で説明したのとほぼ同様に、モーションキャプチャシステム10によって追跡される。

次に図7および8を参照すると、ワークステーション18のオペレータが閲覧することになるモーションキャプチャデータが示されている。図6と同様に、モーションキャプチャデータは2人の俳優52、54を反映し、高濃度のドットが俳優の顔を反映し、他のドットが身体地点を反映する。モーションキャプチャデータは、楕円形状として示される3つのオクルージョン領域62、64、66をさらに含む。オクルージョン領域62、64、66は、カメラの1つからの光が他のカメラの視野内に入るために信頼性の高いモーションデータが取り込まれなかった場所を表す。この光は、反射マーカからの照明を圧倒し、モーションキャプチャプロセッサ12によって身体マーカまたは顔マーカと解釈される。モーションキャプチャプロセッサ12によって実行されるイメージ処理プロセスは、図7および8に示されるオクルージョン領域62、64、66を定義することによってカメラ照明を除去する仮想マスクを生成する。製作会社は、俳優の演技を制御して、オクルージョン領域によって隠される運動を物理的に回避しようと試みることができる。それでも、図8に示すように、何らかのデータキャプチャの損失が必然的に生じ、図8では、俳優54の顔がオクルージョン領域64への物理的運動によってほぼ完全に隠されている。

図9に、オクルージョン問題を低減するモーションキャプチャシステムの一実施形態を示す。具体的には、図9は、互いにモーションキャプチャボリューム(図示せず)の両端に物理的に配設されたカメラ84および74を示す。カメラ84、74は、カメラの視野を照明するように適合された光源88、78をそれぞれ含む。カメラ84、74は、カメラレンズの正面に配設された偏光フィルタ86、76をさらに備える。以下の説明から明らかとなるであろうが、偏光フィルタ86、76は、互いに位相外れとなるように配置される(すなわち回転する)。光源88は、偏光フィルタ86で偏光された光を放出する。偏光はカメラ74の偏光フィルタ76に到達するが、偏光は、カメラ74を通過するのではなく、偏光フィルタ76で反射し、または吸収される。その結果、カメラ84は、カメラ74からの照明を「見ず」、それによってオクルージョン領域の形成が回避され、仮想マスキングの必要がなくなる。

上記の説明では、身体および顔に貼り付けられた物理的マーカの光学的感知の使用して動作を追跡することを参照したが、有利には、動作を追跡する代替方式も使用できることを当業者は理解されたい。例えば、マーカを貼り付ける代わりに、俳優の物理的特徴(例えば鼻または目の形状)を自然マーカとして使用して動作を追跡することができる。そのような特徴ベースのモーションキャプチャシステムでは、各演技の前にマーカを俳優に貼り付ける作業が不要となる。さらに、光以外の代替媒体を使用して、対応するマーカを検出することができる。例えば、マーカは、モーションキャプチャボリュームの周りに配置された対応する受信機によって検出される超音波放射体または電磁放射体を含むことができる。この点で、上述のカメラは単に光センサであり、有利には、他のタイプのセンサも使用できることを理解されたい。

次に図10を参照すると、ブロック図は、本発明の代替実施形態によるモーションキャプチャシステム100を示す。モーションキャプチャシステム100は、上述の先行する実施形態よりもデータ容量がかなり向上しており、拡張されたモーションキャプチャボリュームに関連するかなり大量のデータを取り込むのに適している。モーションキャプチャシステム100は、収集されたデータに関するリポジトリとして働くマスタサーバ110によって互いに結合された3つの別々のネットワークを含む。ネットワークは、データネットワーク120、アーティストネットワーク130、および再構築レンダネットワーク(reconstruction render network)140を含む。マスタサーバ110は、モーションキャプチャシステム100に関する中央制御およびデータ記憶を実現する。データネットワーク120は、演技中に取り込まれた2次元(2D)データをマスタサーバ110に通信する。その後で、アーティストネットワーク130および再構築レンダネットワーク140が、マスタサーバ110からこれらの同じ2Dデータファイルにアクセスすることができる。マスタサーバ110は、大量のデータを格納するのに適したメモリ112システムをさらに含むことができる。

データネットワーク120は、モーションキャプチャカメラとのインターフェースを提供し、取り込まれたモーションデータの初期データ処理を実現し、次いでそれがマスタサーバ100に供給され、メモリ112に格納される。より具体的には、データネットワーク120が、モーションキャプチャボリューム内で演技する1人または複数の俳優の組み合わされた動作を取り込むようにモーションキャプチャボリューム(以下で説明する)に対して配置された複数のモーションキャプチャカメラ122₁〜122_Nに結合される。データネットワーク120はまた、演技(例えば対話)に関連した音声を取り込むように、直接的に、または適切なオーディオインターフェース124を介して複数のマイクロフォン126₁〜126_Nにも結合することができる。１又はそれより多くのユーザワークステーション128をデータネットワーク120に結合して、データネットワークの機能の操作、制御、および監視を実現することができる。本発明の一実施形態では、データネットワーク120を、Vicon Motion SystemsまたはMotion Analysis Corpなどから入手可能な複数のモーションキャプチャデータ処理ステーションと、取り込まれたデータを2Dファイルとして照合する複数のスレーブ処理ステーションとで実現することができる。

アーティストネットワーク130は、適切なワークステーション132₁〜132_Nを使用して、複数のデータチェッカおよびアニメータに対して高速インフラストラクチャを提供する。データチェッカは、マスタサーバ110から2Dデータファイルにアクセスし、データの受諾可能性を検証する。例えば、データチェッカは、データを検討し、演技の重要な側面が取り込まれたことを検証することができる。データの一部が遮られた場合など、演技の重要な側面が取り込まれなかった場合、取り込まれたデータが受け入れられるとみなされるまで、必要に応じて演技を反復することができる。俳優および/またはシーンディレクタとの通信を容易にするために、データチェッカおよび関連するワークステーション132₁〜132_Nをモーションキャプチャボリュームに物理的に近接させて配置することができる。

再構築レンダネットワーク140は、2Dデータファイルの自動再構築を実施し、2Dデータファイルをマスタサーバ110によって格納される3次元(3D)アニメーションファイルにレンダリングするのに適した高速データ処理コンピュータを提供する。１又はそれより多くのユーザワークステーション142₁〜142_Nを再構築レンダネットワーク140に結合して、データネットワークの機能の操作、制御、および監視を実現することができる。アーティストネットワーク130にアクセスするアニメータは、最終的コンピュータグラフィックスアニメーションの製作中に3Dアニメーションファイルにもアクセスする。

固定モーションキャプチャカメラに関する上記の説明と同様に、モーションキャプチャリグのモバイルカメラによって取り込まれた動作(例えばビデオ)が、データネットワーク120などのモーションキャプチャ処理システムに供給される(図10参照)。さらに、モーションキャプチャ処理システムは、取り込まれた動作を使用して、モーションキャプチャカメラの正面のターゲット上のマーカの位置および運動を求める。処理システムは、位置情報を使用して、ターゲットを表す3次元モデル(ポイントクラウド)を構築および更新する。複数のモーションキャプチャリグ、あるいは1つまたは複数のモーションキャプチャリグと1つまたは複数の固定カメラの組合せを使用するシステムでは、処理システムは、様々なソースからのモーションキャプチャ情報を組み合わせてモデルを生成する。

一実装では、処理システムは、モーションキャプチャリグの位置およびリグ内のカメラの位置を、そうしたカメラに関するモーションキャプチャ情報を他のモーションキャプチャカメラ(例えば較正の一部としての参照カメラ)によって取り込まれた情報で補正することによって求める。処理システムは、モーションキャプチャリグが移動するときにモーションキャプチャカメラを自動的かつ動的に較正することができる。較正は、他のリグからの情報、固定カメラからの情報などの他のモーションキャプチャ情報に基づくことができ、モーションキャプチャリグ情報が他のモーションキャプチャモデルとどのように相関するかを求める。

別の実装では、処理システムは、背景の既知の固定位置に取り付けられた固定追跡マーカまたはドットの位置を表すモーションキャプチャ情報を使用してカメラを較正する。したがって、処理システムは、較正のために移動ターゲット上のマーカまたはドットを無視する。

図11に、別のモーションキャプチャボリューム150の上面図を示す。上記の実施形態と同様に、モーションキャプチャボリューム150は一般に、グリッド線で細分された矩形領域である。この実施形態では、モーションキャプチャボリューム150は、著しく広いスペースを表すように意図され、4つの区間または象限(A、B、C、D)にさらに細分することができる。各区間は、上述のモーションキャプチャボリューム30のサイズにおよそ等しいサイズを有し、したがってこのモーションキャプチャボリューム150は、先行する実施形態の4倍の表面積を有する。追加の区間Eが空間内の中心に置かれ、他の区間のそれぞれと部分的に重なる。グリッド線は、垂直軸に沿う数値座標(1〜5)と、水平軸に沿う英字座標(A〜E)とをさらに含む。このようにして、モーションキャプチャボリューム上の特定の位置を、領域4Aなどの英数字座標で定義することができる。そのような指定により、俳優の演技をどこで実施するか、および/または小道具をどこに配置するかに関して俳優に指示を与える点で、モーションキャプチャボリューム150の管理が可能となる。俳優および/またはシーンディレクタの便益のために、グリッド線および英数字座標を物理的にモーションキャプチャボリューム150のフロアにマークすることができる。こうしたグリッド線および英数字座標は2Dデータファイルには含まれないことを理解されたい。

本発明の好ましい実施形態では、400平方フィート、すなわち先行する実施形態のモーションキャプチャボリュームのおよそ4倍広い全面積に対して、各区間A〜Eが、10フィート四方の寸法を有する正方形の形状を有する。有利には、モーションキャプチャボリューム150に対して他の形状およびサイズを使用することもできることを理解されたい。

次に図12A〜12Cを参照すると、モーションキャプチャカメラ122₁〜122_Nの例示的配置が、モーションキャプチャボリューム150の周りの周辺領域に対して示されている。周辺領域は、カメラ、照明、およびその他の装置を支持するための足場の配置を与え、領域152₁〜152₄として示される。モーションキャプチャカメラ122₁〜122_Nが、様々なカメラの高さおよび角度で、モーションキャプチャボリューム150の周囲の領域152₁〜152₄のそれぞれに概して均等に配置される。さらに、モーションキャプチャカメラ122₁〜122_Nはそれぞれ、モーションキャプチャボリューム全体ではなく、モーションキャプチャボリューム150の区間のうちの個々の区間に焦点を合わせるように配向される。本発明の例示的実施形態では、合計200個のモーションキャプチャカメラが存在し、40個の個々のカメラのグループが、モーションキャプチャボリューム150の5つの区間A〜Eのうちのそれぞれ1つ専用となる。

より具体的には、モーションキャプチャボリュームからの距離およびモーションキャプチャボリューム150のフロアからの高さによってモーションキャプチャカメラ122₁〜122_Nの配置を定義することができる。図12Aは、モーションキャプチャボリューム150から最も遠い距離で配向され、概して最低の高さで配向される第1グループのモーションキャプチャカメラ122₁〜122_Nの例示的配置を示す。領域152₁(他の領域はほぼ同一である)を参照すると、3行のカメラが存在し、第1行172がフロアから最高の高さ(例えば6フィート)でモーションキャプチャボリューム150に対して半径方向の外側に配設され、第2行174がわずかに低い高さ(例えば4フィート)に配設され、第3行176が最低の高さ(例えば1フィート)で第1行および第2行に対して半径方向の内側に配設される。この実施形態では、この第1グループには合計80個のモーションキャプチャカメラが存在する。

図12Bは、第1グループよりもモーションキャプチャボリューム150に近接し、第1グループよりも高い高さで配向される第2グループのモーションキャプチャカメラ122₈₁〜122₁₆₀の配置を示す。例示的領域152₁(他の領域はほぼ同一である)を参照すると、3行のカメラが存在し、第1行182がフロアから最高の高さ(例えば14フィート)でモーションキャプチャボリュームに対して半径方向の外側に配設され、第2行184がわずかに低い高さ(例えば11フィート)に配設され、第3行186が最低の高さ(例えば9フィート)で第1行および第2行に対して半径方向の内側に配設される。この実施形態では、この第2グループには合計80個のモーションキャプチャカメラが存在する。

図12Cは、第2グループよりもモーションキャプチャボリューム150に近接し、第2グループよりも高い高さで配向される第3グループのモーションキャプチャカメラ122₁₆₁〜122₂₀₀の配置を示す。領域152₁(他の領域はほぼ同一である)を参照すると、3行のカメラが存在し、第1行192がフロアから最高の高さ(例えば21フィート)でモーションキャプチャボリュームに対して半径方向の外側に配設され、第2行194がわずかに低い高さ(例えば18フィート)に配設され、第3行196が最低の高さ(例えば17フィート)で第1行および第2行に対して半径方向の内側に配設される。この実施形態では、この第3グループには合計40個のモーションキャプチャカメラが存在する。有利には、モーションキャプチャカメラの他の配置および異なる数のモーションキャプチャカメラも使用できることを理解されたい。

図4に関して上記で説明したのと同様に、モーションキャプチャボリューム150のそれぞれの区間にモーションキャプチャカメラの焦点が合わせられる。モーションキャプチャボリューム150の区間A〜Eのそれぞれについて、4つの辺のそれぞれから区間に対してモーションキャプチャカメラの焦点が合わせられる。例えば、モーションキャプチャボリュームから最も遠い第1グループのカメラは、それに対して最も近いモーションキャプチャボリュームの区間に対して焦点を合わせることができる。逆に、モーションキャプチャボリュームに最も近い第3グループのカメラは、そこから最も遠いモーションキャプチャボリュームの区間に対して焦点を合わせることができる。各辺のうちの1つの一端のカメラは、他端の区間に対して焦点を合わせることができる。より具体的な例では、モーションキャプチャボリューム150の区間Aを、周辺領域152₁の第1行182および第3行186の高さの低いあるカメラと、周辺領域152₄の第1行182および第3行186の高さの低いカメラと、周辺領域152₃の第2行184および第3行186の中程度の高さのカメラと、周辺領域152₂の第2行184および第3行186の中程度の高さのカメラの組合せによってカバーすることができる。図12Aおよび12Bはさらに、中心区間E内の動作の取込みのために、周辺領域の中心にモーションカメラがより多く集中することを明らかにする。

様々な角度および高さを与え、モーションキャプチャボリューム150の各区間に対して多数のカメラの焦点を合わせることにより、望ましくないオクルージョンを最小限に抑えながら演技全体を取り込む可能性がずっと高くなる。この配置で使用される多数のカメラに鑑みて、各カメラの周りに光シールドを配置して、モーションキャプチャボリュームの反対側に位置する別のカメラからの外部光の検出を低減することが有利であることがある。本発明のこの例示的実施形態では、同じカメラを使用して、顔動作と身体動作を共に同時に取り込むことができ、したがって、別々の身体モーションカメラおよび顔モーションカメラは不要である。顔動作と身体動作を区別するために、俳優に対して異なるサイズのマーカを使用することができ、モーションキャプチャボリュームが大きいとすると、データ取込みを保証するために、一般には大型のマーカが全般に使用される。例えば、身体に対して9ミリメートルのマーカを使用することができ、顔に対して6ミリメートルのマーカを使用することができる。

本発明の様々な実装は、電子ハードウェア、コンピュータソフトウェア、またはこれらの技術の組合せとして実現される。一実装は、モバイルモーションキャプチャカメラによって取り込まれたビデオのモーションキャプチャ処理を実現し、動作中にそうしたカメラを較正するなどのために、コンピュータ命令を格納および実行するための1つまたは複数のプログラマブルプロセッサおよび対応するコンピュータシステム構成要素を含む。他の実装は、プログラム可能プロセッサまたはコンピュータによって実行される1つまたは複数のコンピュータプログラムを含む。一般には、各コンピュータは、1つまたは複数のプロセッサ、1つまたは複数のデータ記憶構成要素(例えば揮発性または不揮発性メモリモジュール、ならびにハードディスクドライブ、フロッピー（登録商標）ディスクドライブ、CD-ROMドライブ、磁気テープドライブなどの永続的光学式および磁気記憶装置)、1つまたは複数の入力装置(例えばマウスおよびキーボード)、および1つまたは複数の出力装置(例えばディスプレイコンソールおよびプリンタ)を含む。

コンピュータプログラムは、通常は永続的記憶媒体に格納され、実行時にメモリにコピーされる実行可能コードを含む。プロセッサは、規定の順序でメモリからプログラム命令を取り出すことによってコードを実行する。プログラムコードを実行するとき、コンピュータは、入力および/または記憶装置からデータを受け取り、データに対するオペレーションを実行し、次いで得られたデータを出力および/または記憶装置に送達する。

本発明の様々な例示的実装を説明した。しかし、追加の実装も可能であり、それが本発明の範囲内にあることを当業者は理解されよう。例えば、一変形形態では、異なる数のカメラを有するモーションキャプチャリグの組合せを使用して、カメラの前のターゲットの動作を取り込むこともできる。異なる数の固定カメラおよびモバイルカメラ、例えば50%の固定カメラと50%のモバイルカメラ、90%の固定カメラと10%のモバイルカメラ、または100%のモバイルカメラは、所望の結果および精度を達成することができる。したがって、所望の結果に合致するようにカメラの構成(例えば、数、位置、固定とモバイルの割合など)を選択することができる。

したがって、本発明は上述の実装のみに限定されない。

本発明の一実施形態によるモーションキャプチャシステムを示すブロック図である。 モーションキャプチャボリュームの周辺部の周りに配置された複数のモーションキャプチャカメラを備えるモーションキャプチャボリュームの上面図である。 モーションキャプチャボリュームの周辺部の周りに配置された複数のモーションキャプチャカメラを備えるモーションキャプチャボリュームの側面図である。 モーションキャプチャボリュームの象限に対する顔モーションカメラの配置を示すモーションキャプチャボリュームの上面図である。 モーションキャプチャボリュームのコーナに対する顔モーションカメラの別の配置を示すモーションキャプチャボリュームの上面図である。 モーションキャプチャボリューム内の2人の俳優を反映するモーションキャプチャデータを示すモーションキャプチャボリュームの斜視図である。 モーションキャプチャボリューム内の2人の俳優を反映し、データのオクルージョン領域を示すモーションキャプチャデータを示す図である。 2人の俳優の一方がオクルージョン領域によって隠されている、図7と同様のモーションキャプチャデータを示す図である。 モーションキャプチャシステムで使用されるモーションキャプチャカメラの代替実施形態を示すブロック図である。 本発明の別の実施形態によるモーションキャプチャシステムを示すブロック図である。 複数の演技領域を画定する拡張モーションキャプチャボリュームの上面図である。 図12Aは、モーションキャプチャカメラの別の構成を示す図11の拡張モーションキャプチャボリュームの上面図（１）である。 図12Bは、モーションキャプチャカメラの別の構成を示す図11の拡張モーションキャプチャボリュームの上面図（２）である。 図12Cは、モーションキャプチャカメラの別の構成を示す図11の拡張モーションキャプチャボリュームの上面図（３）である。 モバイルモーションキャプチャリグ上に配置されたカメラの一実装の正面図である。 図13に示されるモバイルモーションキャプチャリグの特定の実装の正面図である。 図13に示されるモバイルモーションキャプチャリグの特定の実装の上面図である。 図13に示されるモバイルモーションキャプチャリグの特定の実装の側面図である。 モバイルモーションキャプチャリグ上に配置されたカメラの別の実装の正面図である。 モバイルモーションキャプチャリグ上に配置されたカメラのさらに別の実装の正面斜視図である。 動作を取り込む方法の一実装を示す図である。

Claims (33)

1. 動作を取り込むシステムであって、
   少なくとも1つの移動物体上の複数の地点を定義するマーカを有する前記少なくとも1つの移動物体を含むように構成されたモーションキャプチャボリュームと、
   前記モーションキャプチャボリューム内で可動となるように構成された少なくとも1つのモバイルモーションキャプチャカメラと、
   前記少なくとも1つのモバイルモーションキャプチャカメラと結合され、前記少なくとも1つの移動物体の運動のデジタル表現を生成するモーションキャプチャプロセッサと
   を備えるシステム。
2. 少なくとも1つの固定モーションキャプチャカメラをさらに備える請求項1に記載の動作を取り込むシステム。
3. 前記少なくとも1つのモバイルモーションキャプチャカメラが、ボリュームの周辺部の周りを移動する請求項1に記載の動作を取り込むシステム。
4. 前記モーションキャプチャボリューム内で動作中の前記少なくとも1つの移動物体のほぼすべての横方向の露出面がほぼ常時前記複数のモーションキャプチャカメラの視野内にあるように、前記少なくとも1つのモバイルモーションキャプチャカメラが移動する請求項1に記載の動作を取り込むシステム。
5. 前記複数のモーションキャプチャカメラが、すべて固定のモーションキャプチャカメラで可能な有効ボリュームよりも広い有効ボリュームを与えるように配置される請求項1に記載の動作を取り込むシステム。
6. 前記少なくとも1つのモバイルモーションキャプチャカメラが第1位置から第2位置に移動し、前記第2位置で固定される請求項1に記載の動作を取り込むシステム。
7. 前記少なくとも1つのモバイルモーションキャプチャカメラが、前記少なくとも1つの移動物体の動作に追従し、移動中にモーションキャプチャを実施するように移動する請求項1に記載の動作を取り込むシステム。
8. 前記少なくとも1つのモバイルモーションキャプチャカメラに結合され、前記少なくとも1つのモバイルモーションキャプチャカメラの運動を追跡し、取り込んだデータの後続の処理で運動を除去し、前記少なくとも1つの移動物体の運動の前記デジタル表現を生成するカメラモーションプロセッサをさらに備える請求項1に記載の動作を取り込むシステム。
9. 前記少なくとも1つのモバイルモーションキャプチャカメラを移動するのに使用される少なくとも1つのサーボモータをさらに備える請求項1に記載の動作を取り込むシステム。
10. 前記少なくとも1つのモバイルモーションキャプチャカメラが個々に移動する請求項1に記載の動作を取り込むシステム。
11. 前記少なくとも1つのモバイルモーションキャプチャカメラが、前記少なくとも1つのモバイルモーションキャプチャカメラの表示を示すように構成された第1参照カメラを含む請求項1に記載の動作を取り込むシステム。
12. 前記少なくとも1つのモバイルモーションキャプチャカメラが、前記少なくとも1つのモバイルモーションキャプチャカメラによって取り込まれた動作の参照および調節を生成するように構成された第2参照カメラを含む請求項1に記載の動作を取り込むシステム。
13. 前記少なくとも1つのモバイルモーションキャプチャカメラが、参照カメラなしに前記少なくとも1つのモバイルモーションキャプチャカメラによって取り込まれた動作の参照および調節を生成するように構成されたフィードバックループを含む請求項1に記載の動作を取り込むシステム。
14. 前記少なくとも1つのモバイルモーションキャプチャカメラのカメラが移動するように前記少なくとも1つのモバイルモーションキャプチャカメラのうちの少なくとも1つを少なくとも1つのモバイルモーションキャプチャリグ上に配設することを可能にするように構成された前記少なくとも1つのモバイルモーションキャプチャリグをさらに備える請求項1に記載の動作を取り込むシステム。
15. 前記少なくとも1つのモバイルモーションキャプチャリグ(rig)のうちの少なくとも1つが、モバイルモーションキャプチャリグ上に配設された前記少なくとも1つのモバイルモーションキャプチャカメラに対して並進運動および回転運動を与えるように構成された少なくとも1つのサーボモータを含む請求項14に記載の動作を取り込むシステム。
16. 前記少なくとも1つのサーボモータが、前記少なくとも1つのモバイルモーションキャプチャリグに結合され、前記少なくとも1つのモバイルモーションキャプチャカメラに対して前記並進運動および回転運動を共に与える請求項15に記載の動作を取り込むシステム。
17. 前記少なくとも1つのサーボモータが、前記少なくとも1つのモバイルモーションキャプチャカメラのそれぞれに結合され、前記少なくとも1つのモバイルモーションキャプチャカメラの前記それぞれに対して前記並進運動および回転運動が個々に与えられる請求項15に記載の動作を取り込むシステム。
18. 前記少なくとも1つのモバイルモーションキャプチャカメラのうちの少なくとも1つが、前記並進運動および回転運動のうちの少なくとも1つに制限される請求項17に記載の動作を取り込むシステム。
19. 前記少なくとも1つのモバイルモーションキャプチャリグの運動が事前プログラムされるように前記少なくとも1つのモバイルモーションキャプチャリグが構成される請求項14に記載の動作を取り込むシステム。
20. 前記少なくとも1つのモバイルモーションキャプチャリグが、前記少なくとも1つの移動物体に関して受け取った入力に基づいて自動的に移動するように構成される請求項14に記載の動作を取り込むシステム。
21. 前記受け取った入力が、前記少なくとも1つの移動物体から受け取った視覚信号を含む請求項20に記載の動作を取り込むシステム。
22. 前記少なくとも1つのモバイルモーションキャプチャリグが、前記少なくとも1つの移動物体の取り込んだ運動に基づいて前記少なくとも1つの移動物体と共に移動する請求項21に記載の動作を取り込むシステム。
23. 前記モーションキャプチャボリューム内の固定位置に配設された固定追跡マーカをさらに備える請求項1に記載の動作を取り込むシステム。
24. 前記固定追跡マーカの位置を表すモーションキャプチャ情報を使用して前記少なくとも1つのモバイルモーションキャプチャカメラを較正するためのカメラ較正システムをさらに備える請求項23に記載の動作を取り込むシステム。
25. 動作を取り込むシステムであって、
    可動となるように較正され、モーションキャプチャボリューム内の動作を取り込むように動作する少なくとも1つのモバイルモーションキャプチャカメラと、
    前記少なくとも1つのモバイルモーションキャプチャカメラのカメラを移動することができるように前記少なくとも1つのモバイルモーションキャプチャカメラを少なくとも1つのモバイルモーションキャプチャリグ上に配設することを可能にするように構成された少なくとも1つのモバイルモーションキャプチャリグと
    を備える動作を取り込むシステム。
26. 動作を取り込む方法であって、
    少なくとも1つの移動物体上の複数の地点を定義するマーカを有する前記少なくとも1つの移動物体を含むように構成されたモーションキャプチャボリュームを画定すること、
    前記モーションキャプチャボリューム内で少なくとも1つのモバイルモーションキャプチャカメラを移動すること、および
    前記少なくとも1つのモバイルモーションキャプチャカメラからのデータを処理し、前記少なくとも1つの移動物体の運動のデジタル表現を生成すること
    を含む動作を取り込む方法。
27. 前記少なくとも1つのモバイルモーションキャプチャカメラを前記移動することが、
    前記少なくとも1つのモバイルモーションキャプチャカメラを第1位置から第2位置に移動し、前記少なくとも1つのモバイルモーションキャプチャカメラが前記第2位置に固定されること
    を含む請求項26に記載の方法。
28. 前記少なくとも1つのモバイルモーションキャプチャカメラを前記移動することが、
    前記少なくとも1つの移動物体の動作に追従し、移動中にモーションキャプチャを実施するように前記少なくとも1つのモバイルモーションキャプチャカメラを移動すること
    を含む請求項26に記載の方法。
29. 前記少なくとも1つのモバイルモーションキャプチャカメラの運動を追跡すること、および
    取り込んだデータの後続の処理で運動を除去し、前記少なくとも1つの移動物体の運動の前記デジタル表現を生成すること
    をさらに含む請求項26に記載の方法。
30. 前記少なくとも1つのモバイルモーションキャプチャカメラが、
    前記少なくとも1つのモバイルモーションキャプチャカメラによって取り込まれた運動の参照および調節を生成することを含む請求項26に記載の方法。
31. 前記モーションキャプチャボリューム内の固定位置に固定追跡マーカを配置することをさらに含む請求項26に記載の方法。
32. 前記固定追跡マーカの位置を表すモーションキャプチャ情報を使用して、前記少なくとも1つのモバイルモーションキャプチャカメラを較正することをさらに含む請求項31に記載の方法。
33. 動作を取り込むシステムであって、
    少なくとも1つの移動物体上の複数の地点を定義するマーカを有する前記少なくとも1つの移動物体を含むように構成されたモーションキャプチャボリュームを画定する手段と、
    前記モーションキャプチャボリューム内で少なくとも1つのモバイルモーションキャプチャカメラを移動する手段と、
    前記少なくとも1つのモバイルモーションキャプチャカメラからのデータを処理し、前記少なくとも1つの移動物体の運動のデジタル表現を生成する手段と
    を備えるシステム。

Images