JP2009506442A - 顔の動きのデータの撮影及び処理 - Google Patents

Abstract

顔の動きのデータを撮影し、そして処理する方法が提供され、本方法は：複数のセンサをアクターの顔面のターゲットポイントに取り付けるステップと；アクターの顔面に配置される複数のセンサのフレームごとの画像を、頭部装着システムに配置される少なくとも一つのモーションキャプチャカメラを使用して撮影するステップと；頭部装着システムにおいて、トラッキング処理を、複数のセンサのフレームごとの画像に対して行なって、複数のセンサを各フレームに関して正確にマッピングするステップと；そして頭部装着システムにおいて、アクターの顔面を表わすモデル化表面を生成するステップと、を含む。
【選択図】図１

Description

本出願は、同時係属中の２００５年８月２６日出願の「顔の動きを撮影する頭部装着デジタイザシステム」と題する米国仮特許出願第６０／７１１，８９７号；２００５年８月２６日出願の「フィールドスプリッタをモーションキャプチャに使用する操作」と題する米国仮特許出願第６０／７１１，９０８号；２００５年８月２６日出願の「モーションキャプチャに使用されるテレセントリックレンズ」と題する米国仮特許出願第６０／７１１，９０６号；及び２００５年８月２６日出願の「パターンを顔に当てて顔をモーションキャプチャにおいてデジタル処理する操作」と題する米国仮特許出願第６０／７１１，９０７号の優先権の利益を主張するものである。上記参照特許出願の開示内容は本明細書において参照することにより本明細書に組み込まれる。

本発明は概して、モーションキャプチャプロセス（ｍｏｔｉｏｎ ｃａｐｔｕｒｅ ｐｒｏｃｅｓｓ）に関するものであり、特に顔の動きのデータの撮影及び処理を可能にする改良型モーションキャプチャシステム及び方法に関するものである。

モーションキャプチャシステムを使用して実際のオブジェクトの動きを撮影し、そしてこの動きをアニメートする方法として、この動きをコンピュータにより表現されるオブジェクトにマッピングする。このようなシステムは、コンピュータグラフィックス（ＣＧ）アニメーションを作成するためのソースデータとして使用する人のデジタル表現を生成して、動画及びビデオゲームの作成に使用されることが良くある。通常のシステムでは、アクターが、マーカを種々の位置に取り付けた（例えば、小さな光反射マーカを体及び四肢に取り付けた）衣服を纏い、そして複数のデジタルカメラがアクターの動きを異なるアングルから、マーカを照明しながら記録する。次に、システムは画像を分析してアクターの衣服に取り付けられたマーカの位置（例えば、空間座標として）及び向きを各フレームで求める。これらのマーカの位置をトラッキングすることにより、システムはこれらのマーカに関する時間軸を考慮した空間表示を行ない、そして動いているアクターのデジタル表示を実現する。次に、この動きをデジタルモデルに適用し、次にこのデジタルモデルで質感を表現し、そしてモデルをレンダリングして、アクター及び／又は演技の完全なＣＧ表示を実現することができる。この技法は、非常にリアルなアニメーションを多くの人気のある映画に収めるために特殊効果会社によって使用されている。

モーションキャプチャシステムが、キーフレーミングのような従来のアニメーション技法よりも優れる利点は、可視化をリアルタイムに行なうことができることである。製品開発チームはアクターの動きの空間表示をリアルタイムまたはほぼリアルタイムに精査することができ、これによって、アクターは肉体的な演技を変更するので、最適データを撮影することができる。更に、モーションキャプチャシステムは他のアニメーション技法を使用して容易に再生することができない肉体的な動きの微妙な差異を検出することにより、自然な動きをより正確に表わすデータを生成する。その結果、モーションキャプチャシステムを使用して収集されるソース情報を使用するアニメーションが、ずっと真に迫った外観を呈することになる。

本発明の実施形態は、顔の動きのデータを撮影し、そして処理し、更にアクターの顔面の動きに対する一層確実なトラッキングを可能にして、アクターの顔の動き、及び表情の表示を行なうシステム及び方法を提供する。

一の実施形態では、頭部装着システムが提供され、この頭部装着システムは：アクターの顔面の動きのデータを、アクターの顔面に配置される複数のセンサを使用して撮影するように構成される少なくとも一つのモーションキャプチャカメラと；そしてモーションキャプチャカメラに接続されるモーションキャプチャプロセッサと、を備え、モーションキャプチャプロセッサは：ストレージユニットと；モーションキャプチャカメラを制御して、アクターの顔面に配置される複数のセンサのフレームごとの画像を撮影するように構成され、かつフレームごとの画像を受信して、ストレージユニットに保存する画像撮影モジュールと；保存されるフレームごとの画像をストレージユニットから取り出してトラッキング処理を画像に対して行なって、複数のセンサを各フレームに関して正確にマッピングし、そして顔面の動きのデータを供給するように構成されるセンサトラッキングモジュールと；そして動きのデータを受信して、アクターの顔面を表わすモデル化表面を生成するように構成されるデジタルモデリングモジュールと、を含む。

別の実施形態では、一つの方法が提供され、本方法は：複数のセンサをアクターの顔面のターゲットポイントに取り付けるステップと；アクターの顔面に配置される複数のセンサのフレームごとの画像を、頭部装着システムに配置される少なくとも一つのモーションキャプチャカメラを使用して撮影するステップと；頭部装着システムにおいて、トラッキング処理を、複数のセンサのフレームごとの画像に対して行なって、複数のセンサを各フレームに関して正確にマッピングするステップと；そして頭部装着システムにおいて、アクターの顔面を表わすモデル化表面を生成するステップと、を含む。

本発明の他の特徴及び利点は、この技術分野の当業者であれば、次の詳細な記述、及び添付の図を吟味することにより一層容易に理解できるものと思われる。

以下に更に詳細に説明するように、本発明の実施形態は、アクターの顔の特徴の表面及び動きに対する一層確実な撮影、及びトラッキングを可能にして、アクターの顔の動き及び表情（例えば、笑い、泣き、微笑むなど）の表示を行なうモーションキャプチャシステムに対する要求を満たす。本記述を一読した後、この技術分野の当業者には、本発明をどのようにして種々の実施形態及びアプリケーションで実施するかが明らかになるであろう。しかしながら、本発明の種々の実施形態についてここで説明するが、これらの実施形態は単なる例示として示され、制限的に解釈されるべきではないことを理解されたい。従って、種々の実施形態についてのこの詳細な記述は、添付の請求項に示す本発明の技術範囲または権利範囲を制限するものとして捉えられるべきではない。

一の実施形態における顔面動作撮影システム（ｆａｃｉａｌ ｍｏｔｉｏｎ ｃａｐｔｕｒｅ ｓｙｓｔｅｍ）は頭部装着システムとして構成されて、顔の表面のポイントをトラッキングし、そして表面全体をデジタル処理する。次に、システムはアクターの顔のメッシュを返し、このメッシュをアニメートする。従って、本実施形態では、頭部装着システムはヘルメットに、または他の器具に搭載され、このヘルメットまたは器具をアクターの頭部またはボディ（ｂｏｄｙ）に物理的に取り付けて、顔面マーカを一様に照明し、そしてカメラと顔との間の相対的な動きの度合いを最小にする。他の実施形態では、顔面動作撮影システムは、頭部装着システムが、身体に配置される、そして／または身体から離れて配置される他のモーションキャプチャカメラと一体化されるように構成される。

図１Ａは、本発明の一の実施形態による頭部装着システムを示す図である。図示の実施形態では、頭部装着システムはヘルメット１００として構成され、アクターの音声を記録するように構成されるマイクロホン１１０と；アクターを空気または液体を使用して冷やし、かつマイクロホンをオンにしたときにオフになるように構成される扇風機１１２，１１４のような冷却ユニットと；そしてモーションキャプチャカメラ１２０，１２２，１２４と、を含む。

一の実施形態では、ヘルメット１００は軽量になるように設計される炭素繊維材料で製作される。ヘルメット１００は電力を人体内蔵用電源（図示せず）から取り込む。更に、ヘルメット１００は撮影したデータを、ヘルメット１００に取り付けられる、またはアクターが携行するレコーダ１４０に記録する。レコーダ１４０に記録されるデータは無線手段を通してリモート記憶装置にダウンロードすることができる。しかしながら、レコーダ１４０に記録されるデータは有線手段を通してリモート記憶装置にダウンロードすることができる。ヘルメット１００に取り付けられるプロセッサ１４２は、記録を開始する時点、及び記録を停止する時点をレコーダ１４０に指示するデータパケット（例えば、ＵＤＰ）を受信する。プロセッサ１４２は、タイムコード（ｔｉｍｅｃｏｄｅ：記録媒体において始点からの位置を示すために記録される信号）同期及びゲンロック（ｇｅｎｌｏｃｋ：複数の映像機器がお互いに同期を取るための基準にする信号）情報を取り込み、そしてこれらの信号を、データまたは映画を記録するために使用される他の外部機器に同期させることができる。

別の実施形態では、頭部装着システムは２つのパーツユニットとして構成することができ、一方のパーツは、アクターの頭に取り付けられる頭蓋冠であり、そして他方のパーツはＵ字形炭素繊維部材であり、この炭素繊維部材は顎骨の底部に沿って装着され、そしてアクターのあご先の前面に突出する。複数のカメラは、システムの「顎骨」用部材に取り付けることができる。他の実施形態では、頭部装着システムは、のど当てマイクロホンに似た装置、ヘルメットライナーに似た頭部装置、顔面を覆うカメラ付きヘルメット、または胸部装着型装置として構成することができる。

ヘルメット１００内のモーションキャプチャカメラ１２０，１２２，１２４はアクターの顔の特徴をトラッキングすることができる。カメラ１２０，１２２，１２４は更に表面をトラッキングし、ｚ深度の計算を多階調撮像を使用して行ない、そして２次元を３次元三角測量に変換する処理を実行する（perform 2D to 3D triangulation）ことができる。図示の実施形態では、３〜６台の異なるモーションキャプチャカメラがヘルメット１００内に配置構成される。しかしながら、他の実施形態では、いずれの台数のモーションキャプチャカメラでもヘルメット１００内に配置構成することができる。例えば、１台のカメラは眼の動きを撮影するように構成することができ、そして３台のカメラは顔の特徴の動きを撮影するように構成することができる。これらのモーションキャプチャカメラの全て、または幾つかは、小型軽量の高解像度ＣＭＯＳカメラまたはＣＣＤカメラとして構成することができる。

或る例では、これらのカメラは複数のフィールドスプリッタを有することができ、これらのフィールドスプリッタはプリズムとして構成されるカメラレンズである。フィールドスプリッタ（２００５年８月２６日出願の「フィールドスプリッタをモーションキャプチャに使用する操作」と題する米国仮特許出願第６０／７１１，９０８号に開示されているようなフィールドスプリッタであり、この特許出願の開示内容は本明細書において参照することにより本明細書に組み込まれる）は複数の視野を単一のカメラレンズに導くので、立体的な映像が複数のカメラを用いることなく得られる。更に、これらのカメラはテレセントリックレンズ（２００５年８月２６日出願の「モーションキャプチャに使用されるテレセントリックレンズ」と題する米国仮特許出願第６０／７１１，９０６号に開示されているようなテレセントリックレンズであり、この特許出願の開示内容は本明細書において参照することにより本明細書に組み込まれる）を装備することができ、テレセントリックレンズは、画像のゆがみ補正のように透視歪みを補正し、そしてテレセントリックレンズによって、２次元を３次元三角測量に拡充することができる（improve 2D to 3D triangulation）。

カメラは演技が始まる前に入念に校正して、外因性（頭部枠の固定ポイントに対して外部に位置するカメラの）パラメータ及び内因性パラメータ（内部に位置するカメラのパラメータ）を生成する必要がある。別の構成として、カメラは、ヘルメットに関する測定情報（例えば、ストライプパターンまたは格子パターン）または顔に関する測定情報（例えば、鼻に近い部位は安定し易い）を利用することにより動的に自己校正することができる。撮影される顔の動きのデータを使用して、顔の表面全体をデジタル処理し、そして結果的に得られるメッシュを出力する。

一の実施形態では、カメラ１２０，１２２，１２４は装着可能なコンピューティングデバイスによって制御される。別の実施形態では、カメラを人間工学を考慮して取り付けてヘルメット上での校正／安定性の問題を軽減し、各カメラが球形ミラー、双曲線ミラー、または平面ミラーを指向し、そして顔の表情の映像を撮影するようにする。このような事例においては、キャプチャシステムは撮影プロセスが行われている間、更に安定した態様で動作することができるが、キャプチャシステムにはミラーによる表面反射をエミュレートする高性能なミラー補正方式が必要となる。

再構成済みメッシュはフレームごとに一貫性のあるメッシュとなることは非常に稀であり、追加の事前処理または事後処理を行なってこの一貫性を確保する必要がある。一つの事前処理方法では、アクターの顔の幾何学的構造を調査し、そしてモデル化して、一連の注目ポイントを選択し、そしてこれらの注目ポイントのみをトラッキングする。一つの事後処理方法では、数値計算を行なって、アクターの顔モデルをトラッキング済の特徴ポイント群に、これらのポイントが動いてずれているときに、最小二乗誤差でフィッティングさせることにより、最大限に可能な一貫性をフレームごとに実現することができる。

図示の実施形態では、ヘルメット１００は更に顔面保護バイザー１３０を含み、顔面保護バイザーは一の実施形態では、着色樹脂を使用して製作してサングラスとして機能させて、アクターの顔によって反射され、そしてトラッキングに問題を生じさせる全ての太陽光を弱めるように構成される。ヘルメット１００内のアクターの顔は、赤外線照明を使用して照明することができる。モーションキャプチャプロセスが外で太陽光の下で行なわれる場合、カメラ１２０，１２２，１２４にＩＲ（赤外線）透過フィルタを装着して赤外線照明を利用することができる。一の実施形態では、顔面保護バイザー１３０はディスプレイ１３２を内側表面上に含み、このディスプレイはアクターの周りの周囲の画像を表示し、周囲はヘルメット１００に取り付けられるカメラ１３４によって撮影される。仮想画像を、ディスプレイ１３２に表示される外部画像の上に重ねることにより、アクターは、実世界画像の上に重ねられた仮想世界のオブジェクトと相互作用することができる。これにより、アクターは自然な顔の表情を関連する発生事象にほぼ同期して表わすことができる。図１Ｂに示すように、ヘルメット１００の顔面保護バイザー１３０を上げて、アクターは休憩中にくつろぐことができ、そして非常に小さな通気口しか付いていないヘルメットを１日じゅう被っていることがないようにする。

別の実施形態では、ヘルメット１００は眼電図（ＥＯＧ）記録機能（２００４年１１月８日出願の「顔筋肉及び眼の動きをトラッキングしてコンピュータグラフィックスアニメーションを作成するシステム及び方法」と題する米国特許出願第１０／９８４，４８８号に記載されているような眼電図記録機能であり、この特許出願の開示内容は本明細書において参照することにより本明細書に組み込まれる）を内蔵して眼の動きを記録する。この実施形態では、電極ペア群を眼の上方及び下方に配置する、または眼の左側及び右側に配置する。眼が中心位置から一方の電極の方に向かって動く場合、この電極が網膜側に対する正の電位差を検出し、そして反対側の電極が網膜側に対する負の電位差を検出する。従って、電極間に発生する電位差が眼の動きの測定値として記録される。ＥＯＧ（眼電図）記録コントロールボックスをヘルメット１００に組み込むことができる、または体に装着し、そしてヘルメットにプラグを差し込んで、信号を電極から受信し、そして当該信号をモーションデータに変換することができる。

顔の動きのデータを、頭部装着システムを使用して撮影するために、アクターの顔にセンサ（例えば、光反射マーカ、光反射球、及び／又は光反射円盤）を高密度に取り付ける必要があり、または顔の表面からの動き信号を提供する或いは反映することができる材料（例えば、塗料、色素、及び／又は光放出材料）を用いて準備する必要がある。しかしながら、モーションデータは、一つ以上のセンサが動かなかったときに撮影されるデータを含むことを理解されたい。従って、モーションデータは、動いた可能性のある、または動かなかった可能性のある一つのポイントの現在位置を示す。

図２Ａに示す一の実施形態では、マーカをアクターの顔２００に取り付けて、モーションキャプチャカメラを使用してアクターの表情を記録することができるようにしている。顔の動きは、ボディの動きに関与する大きな筋肉よりも遥かに小さい筋肉の動きを含むので、顔面マーカは通常、該当するボディマーカよりもずっと小さく、そしてカメラは通常、ボディの動きの撮影に普通使用されるカメラよりも解像度が高い。カメラは通常、共通平面においてアクターの肉体的な動きに同期させ、そしてカメラの焦点をアクターの顔に合わせ続けるように拘束される。図２Ｂに示す別の実施形態では、グリッドパターンの水平ライン及び垂直ライン、または水平曲線及び垂直曲線をアクターの顔２１０を覆うように形成する。離散ポイントではなく、グリッド交点によって形成されるラインまたは頂点の動きをトラッキングし、そして分析することにより、頭部装着システムは、従来のマーカトラッキングシステムよりもずっと多い表面データを生成することができる。

別の実施形態では、スペックルパターンをアクターの顔に光量の小さい近赤外光を使用して投影する。ヘルメット内のモーションキャプチャカメラはパターンを検出し、そして皮膚の上のスペックルパターンを捉えて三角測量の原理で定量化することによりアクターの顔の３次元メッシュを生成する。次に、顔の全表面をデジタル処理し、そして結果として得られるメッシュを出力する。別の実施形態では、一つのパターンをアクターの顔にスプレーする、または塗布する（例えば、インクまたはメークアップにより）。パターンは、塗料または色素を顔の表面に塗布することにより形成することができる。パターンは、パターンを材料に印刷する、またはシルク印刷し、次にこの材料を顔の表面に貼り付けることにより塗布することもできる。別の構成として、光パターンまたはドットパターンを顔の表面に投影することができる。ここでも同じように、ヘルメット内のモーションキャプチャカメラはパターンを検出し、そしてスプレーパターンまたは塗布パターンを捉えて三角測量の原理で定量化することによりアクターの顔の３次元メッシュを生成する。次に、顔の全表面をデジタル処理し、そして結果として得られるメッシュを出力する。しかしながら、この実施形態では、アクターの顔の最終モデルを解いて一貫性のあるメッシュモーションを得る。アクターの顔から獲得される質感を分析して可視光情報を取得することができる（例えば、シャドーイング、及び顔に光を当てる、または顔を暗闇に置く場合）。従って、質感は最終モデルの照明プロセスに利用することができる。一の変形例では、パターンは複数の圧電片（piezoelectric strips）を含むことができ、これらの圧電片によって、顔の動きに伴なう圧電片の曲げ抵抗を測定する。

別の実施形態では、帯状不可視光を、アクターの顔の上を高速にレーザまたは投影光を使用して行き来させる。モーションキャプチャカメラは等高線帯を、カメラが顔の上を通過するときにスキャンし、そして複数のラインが表面幾何学形状として再構成される。次に、獲得したこれらのラインをつなぎ合わせて一つのメッシュを生成し、このメッシュが時間軸でアニメーション表示される。一つの変形例では、回転ミラーを利用するアイセーフ不可視レーザをヘルメットの顎領域に装着することができる。別の変形例では、アイセーフ不可視回転レーザ光を顔に投影する。更に別の変形例では、アイセーフ不可視レーザ光を、アクターの顔に向いた回転ミラーに投影する。

選択するモーションキャプチャ設定によって生じる一つの共通の問題は、再構成メッシュをフレームごとに時間的な一貫性を維持する必要があることである。時間的な一貫性を維持することができない場合には、デジタル顔面の上の再構成表面をターゲットし直すという問題が生じる。使用するモーションキャプチャ法のタイプによって変わる時間的なメッシュの一貫性を確保するためには種々の方法がある。時間的に一貫性のあるメッシュを確保する一つの方法では、「注目」メッシュ頂点を有する種々の遷移表現を取り込んだアクターの顔モデルを使用し、そしてメッシュ頂点を使用して、最小二乗誤差に基づく関心領域のフィッティング処理を数値計算的に行なうが、このフィッティングは再構成の後の事後処理として行なわれる。再構成プロセスの事前処理として行なわれる別の実施形態では、再構成プロセスの前に、アクターのニュートラル面をスキャンし、デジタル処理し、そしてモデル化する。モデルメッシュ頂点を演技中のアクターのニュートラル面に投影する。次に、カメラ変換の外因性パラメータの計算は、ニュートラル面モデル頂点がビデオ画像のニュートラル面のどこに位置するか示しものである。この時点で、これらの頂点を、演技中に上述の設定（すなわち、マーカ、塗料、スペックルパターン、投射光など）を援用してトラッキングすることができる。最後に、３次元再構成をこれらのトラッキング済み頂点に関してのみ計算して、一貫性のある変形メッシュをフレームごとに生成する。

図３は、一の実施形態による頭部装着システム１００のモーションキャプチャプロセッサ１４２、レコーダ１４０、及びカメラ１２０，１２２，１２４のブロック図である。図示の実施形態では、モーションキャプチャプロセッサ１４２はレコーダ１４０及びユーザワークステーション１５２に接続される。モーションキャプチャプロセッサ１４２はワークステーション１５２に有線手段または無線手段によって接続することができる。従って、一の実施形態では、モーションキャプチャプロセッサ１４２はネットワークインターフェースモジュール１５４を含み、ネットワークインターフェースモジュール１５４はデータをワークステーション１５２に送信し、そしてデータをワークステーション１５２から受信する。上に述べたように、プロセッサ１４２はデータパケットをワークステーション１５２から受信し、データパケットによってレコーダ１４０に、記録を開始すべき時点、及び記録を停止すべき時点を指示する。

モーションキャプチャプロセッサ１４２は画像撮影モジュール１５０と、マーカトラッキングモジュール１４８と、デジタルモデリングモジュール１４６と、そしてストレージユニット１４４と、を含む。モーションキャプチャプロセッサ１４２に接続されるのは、３台のモーションキャプチャカメラ１２０，１２２，１２４である。一の実施形態では、３台よりも多くの、または少ない台数のモーションキャプチャカメラを、種々のユーザ要求及びアニメーション関連の要求に従って使用することができる。モーションキャプチャカメラ１２０，１２２，１２４は撮影対象のアクターの顔３００に焦点を合わせ、この場合、ターゲットセンサ（球形マーカとして示される）が顔３００の表面のポイント群に配置される。

図３に示す実施形態に示すように、ターゲットポイント群には、図２Ａに関連して説明したマーカと同様の複数のマーカが取り付けられる。カメラ１２０，１２２，１２４は画像撮影モジュール１５０によって制御されて、マーカのフレームごとの画像を撮影し、そしてこれらの画像を、モーションキャプチャプロセッサ１４２のキャプチャモジュール１５０に戻すことができる。一の実施形態では、カメラ１２０，１２２，１２４は、マーカの画像を画像フレームごとに交互に撮影する。このようにして撮影された画像フレームはストレージユニット１４４に格納される。一の実施形態では、レコーダ１４０をストレージユニット（例えば、ユニット１４４）として使用することができる。別の構成として、画像フレームはリアルタイムでユーザがワークステーション１５２で閲覧することができる。

マーカトラッキングモジュール１４８は、格納されている画像フレームをストレージユニット１４４から取り出し、そしてトラッキング処理をこれらの画像フレームに対して実行して各画像フレームのマーカを当該フレームの前後両方の画像フレームに正確にマッピングする。或る実施形態では、（１次）マーカの識別情報を供給する２次マーカは、マーカを区別する支援手段として使用することができる。一旦、このマッピングが完了すると、結果として得られるデータをデジタルモデリングモジュール１４６に渡し、このデジタルモデリングモジュールは各フレームにおいて、顔３００を表わすモデル化表面を含む頂点座標系を仮想空間に設定する。各フレームで撮影されたマーカは次のフレームの同じマーカに正しくマッピングされるので、モデル化顔表面の動きが滑らかになり、そしてつながる。図３に示す実施形態では、マーカをセンサとして使用して顔表面を撮影するが、図２Ｂに示す塗装パターンのような他のセンサを使用することができる。

一の実施形態では、カメラ１２０，１２２，１２４、モーションキャプチャプロセッサ１４２の全てのモジュール、及びレコーダ１４０が頭部装着システムの中で構成される。別の実施形態では、カメラ１２０，１２２，１２４、レコーダ１４０、及びモジュール１４４及び１５０が頭部装着システムの中で構成され、モジュール１４６及び１４８がワークステーション１５２の中で構成される。

図４は、一の実施形態による方法を示すフローチャートであり、この方法では、アクターの顔の特徴を撮影してアクターの顔の動き、及び表情の表示を行なう。本方法では、マーカを顔表面のターゲットポイントにステップ４００で取り付ける。一の実施形態では、マーカは光反射球であり、球の表面の光反射ポイントがほぼ、マーカデータポイントを構成する。次に、マーカの画像を現フレームでステップ４０２において撮影する。次に、ステップ４０４では、撮影画像を各フレームに関して保存する。ステップ４０６において、現フレームが最後のフレームではないと判断される場合、ステップ４０８で次のフレームに進み、そして当該フレームが新規の現フレームとなる。次に、本方法をステップ４０２に進め、新規の現フレームを使用して次の一連のマーカデータポイントを撮影する。上述の本方法では、現フレームが最後のフレームであると判断されるまで処理を継続する。この実施形態によれば、マーカデータがこのようにしてフレームごとに取得される。

一旦、フレームの全てが撮影されると、保存された画像フレームをステップ４１０で取り出す。ステップ４１２では、トラッキング処理を、取り出した画像フレームに対して実行して、各画像フレームのマーカを当該フレームの前後両方の画像フレームに正確にマッピングする。一旦、マッピングが完了すると、顔を表わすモデル化表面を含む頂点座標系を仮想空間にステップ４１４で設定する。次に、結果として得られるモデル化表面を、アクターの顔の動き、及び表情の表示として出力する。

本発明の種々の例示としての実施形態について説明してきた。しかしながら、この技術分野の当業者であれば、更に別の実施形態を用いることもでき、かつ更に別の実施形態が本発明の技術範囲に含まれることが理解できるであろう。例えば、一つの変形例として、マーカ、塗料、色素、及び／又は投射光を含むセンサ群の組み合わせを使用して、顔の特徴を撮影することができる。センサの種類を選定して、顔の特定部分または特徴に関する撮影プロセスを向上させることができる。別の変形例として、説明ではカメラをヘルメットまたは身体に配置する例についてのみ示しているが、カメラは、身体に配置して、そして／または身体から離して配置してアクターの顔のデータを撮影するように構成することができる。別の変形例として、説明ではヒトの顔の動きを撮影する形態についてのみ示しているが、上に説明したプロセスを使用してあらゆるオブジェクトの動いている表面の動きを撮影することができる。

従って、本発明は、上に説明した実施形態のみに制限されるのではない。

本発明の構造及び動作の両方に関する本発明の詳細は、添付の図を分析することにより部分的に理解することができ、これらの図では、同様の参照番号は同様の構成要素を指す。
図１Ａは、本発明の一の実施形態による頭部装着システムを示す図であり、図１Ｂは、システムの顔面保護バイザーを上げた状態の頭部装着システムを示す図である。 図２Ａは複数のマーカを示し、これらのマーカを顔に取り付けて、モーションキャプチャカメラを使用して顔の表情を撮影することができるようにしており、図２Ｂは水平及び垂直ラインまたは曲線から成るグリッドを示し、これらのラインまたは曲線は顔を覆うように形成されて、モーションキャプチャカメラを使用して顔の表情を撮影することができるようにしている。 一の実施形態によるヘルメット頭部装着システムのモーションキャプチャプロセッサ及びカメラのブロック図である。 アクターの顔面パターンを撮影してアクターの顔の動き、及び表情の表示を行なう、一の実施形態による方法を示すフローチャートである。

Claims (29)

1. アクターの顔面の動きのデータを、前記アクターの顔面に配置される複数のセンサを使用して取得するように構成される少なくとも一つのモーションキャプチャカメラと；
   前記少なくとも一つのモーションキャプチャカメラに接続されるモーションキャプチャプロセッサと、を備え、
   前記モーションキャプチャプロセッサは：
   ストレージユニットと；
   前記少なくとも一つのモーションキャプチャカメラを制御して、前記アクターの顔面に配置される前記複数のセンサのフレームごとの画像を撮影するように構成され、かつ前記フレームごとの画像を受信して、前記ストレージユニットに保存する画像撮影モジュールと；
   保存されるフレームごとの画像を前記ストレージユニットから取り出し、トラッキング処理を画像に対して実行して、前記複数のセンサを各フレームに関して正確にマッピングし、そして顔面の前記動きのデータを供給するように構成されるセンサトラッキングモジュールと；
   前記動きのデータを受信して、前記アクターの顔面を表わすモデル化表面を生成するように構成されるデジタルモデリングモジュールと、
   を備えるシステム。
2. 前記モーションキャプチャプロセッサの前記ストレージユニット、前記画像撮影モジュール、前記センサトラッキングモジュール、及び前記デジタルモデリングモジュールは、頭部装着システムの中で物理的に一体的に構成される、請求項１記載のシステム。
3. 前記モーションキャプチャプロセッサの前記センサトラッキングモジュール及び前記デジタルモデリングモジュールは、頭部装着システムの中で構成される前記ストレージユニット及び前記画像撮影モジュールから物理的に分離されるように構成される、請求項１記載のシステム。
4. 更に、前記アクターの周囲の画像を撮影するように構成される少なくとも一つのカメラと；
   前記アクターに対して、前記少なくとも一つのカメラで撮影した前記アクターの周囲の画像を表示するように構成され、かつ前記アクターの周囲の画像の上に重なる仮想画像も表示して前記アクターが関連する発生事象とほぼ同期した自然な顔の表情を表現することができるようにする機能を有するディスプレイと、を備える、請求項１記載のシステム。
5. 更に、前記アクターの音声を記録するように構成されるマイクロホンと；
   前記アクターの身体を冷気にさらすように構成され、かつマイクロホンがオンになるときにオフになる冷却ユニットと、を備える、請求項１記載のシステム。
6. 前記モーションキャプチャプロセッサは、データをユーザワークステーションに無線送信し、そしてユーザワークステーションから無線受信するように構成される無線ネットワークインターフェースモジュールを含む、請求項１記載のシステム。
7. 更に、前記少なくとも一つのモーションキャプチャカメラで撮影した前記アクターの顔面の動きのデータを記録するように構成されるレコーダを備え、
   前記レコーダは記録コマンドを前記ユーザワークステーションから受信する、請求項６記載のシステム。
8. 前記少なくとも一つのモーションキャプチャカメラは、複数の視野を作成して立体視を複数のカメラを用いることなく実現するように構成されるフィールドスプリッタを含む、請求項１記載のシステム。
9. 前記少なくとも一つのモーションキャプチャカメラの各カメラはテレセントリックレンズを含む、請求項１記載のシステム。
10. 更に、球形、双曲線形、及び平板形の内の一つの形状において、前記少なくとも一つのモーションキャプチャカメラによる顔面の反射光の撮影を可能にするように構成されるミラーを備え、
    前記ミラーによって、前記少なくとも一つのモーションキャプチャカメラを人間工学的に適切な位置に設置することができ、ヘルメットに関する校正／安定性の問題を軽減することができる、請求項１記載のシステム。
11. 更に、眼の動きを測定し、そして該当する信号を出力するように構成される複数の電極と；
    該当する前記信号を前記複数の電極から受信し、そして前記信号をモーションデータに変換するように構成される眼電図記録コントロールユニットと、を備える、請求項１記載のシステム。
12. 前記頭部装着システムはヘルメットを含む、請求項１記載のシステム。
13. 顔の動きのデータを撮影し、そして処理する方法であって、
    複数のセンサをアクターの顔面のターゲットポイントに取り付けるステップと；
    前記アクターの顔面に配置される前記複数のセンサのフレームごとの画像を、頭部装着システムに配置される少なくとも一つのモーションキャプチャカメラを使用して撮影するステップと；
    頭部装着システムにおいて、トラッキング処理を、前記複数のセンサの前記フレームごとの画像に対して行なって、前記複数のセンサを各フレームに関して正確にマッピングするステップと；
    頭部装着システムにおいて、前記アクターの顔面を表わすモデル化表面を生成するステップと、を含む方法。
14. 更に：前記アクターの周囲の画像を撮影するステップと；
    前記アクターに対して、前記アクターの周囲の画像を表示するステップと、を含み、
    前記表示するステップは、前記アクターの周囲の画像の上に重なる仮想画像を表示して前記アクターが同期信号とほぼ同期した自然な顔の表情を表現することができるようにする、請求項１３記載の方法。
15. 更に、前記アクターの顔面の動きに関連するイベントとほぼ同期する前記同期信号を生成するステップを含む、請求項１４記載の方法。
16. フレームごとの画像を撮影する前記ステップは、更に、身体から離れた少なくとも一つのモーションキャプチャカメラを使用するステップを含む、請求項１３記載の方法。
17. 更に、前記複数のセンサのフレームごとの画像を撮影するステップの後に、ｚ深度の計算を、多階調撮像を行なって実行するステップを含む、請求項１３記載の方法。
18. 更に、前記複数のセンサのフレームごとの画像を撮影するステップの後に、２次元座標を三角測量の原理を使って３次元的に合成するステップを含む、請求項１３記載の方法。
19. 更に、前記複数のセンサのフレームごとの画像を撮影するステップの後に、透視歪みを除去するステップを含む、請求項１８記載の方法。
20. 前記透視歪みを除去するステップは：
    フレームごとの前記画像の歪み補正し；
    ２次元を３次元三角測量に拡充する、請求項１９記載の方法。
21. 更に、前記アクターの顔面を、赤外線照明を使用して照明するステップを含む、請求項１３記載の方法。
22. 更に、スペックルパターンを前記アクターの顔面に近赤外光を使用して投影するステップを含む、請求項１３記載の方法。
23. 更に、顔面の３次元メッシュを、三角測量の原理でスペックルパターンの形状を測定することにより生成するステップを含む、請求項２２記載の方法。
24. 更に：変化する表情を、注目するメッシュ頂点を用いて生成するステップと；
    最小二乗誤差に基づく関心領域のフィッティング処理を、前記メッシュ頂点を使用して数値計算的に行なうステップと、を含む、請求項２３記載の方法。
25. 更に：前記アクターのニュートラル面をスキャンし、デジタル処理し、モデル化するステップと；
    メッシュ頂点を前記アクターのニュートラル面に投影するステップと、を含む、請求項２３記載の方法。
26. 前記複数のセンサを前記アクターの顔面のターゲットポイントに取り付けるステップでは、一つのパターンを前記アクターの顔面に光反射材料を使用して塗装する、請求項１３記載の方法。
27. 前記複数のセンサを前記アクターの顔面のターゲットポイントに取り付けるステッでは、帯状不可視光を、前記アクターの顔面の上を、レーザを使用して通過させる、請求項１３記載の方法。
28. 前記アクターの顔面に配置される前記複数のセンサのフレームごとの画像を撮影するステップは：
    等高線帯を、前記少なくとも一つのモーションキャプチャカメラを使用してスキャンし；
    帯状不可視光を通過させる前記ステップにより生成されるラインを表面形状として再構成し；
    これらのラインをつなぎ合わせてメッシュを生成する、請求項２７記載の方法。
29. 顔面の動きのデータを撮影し、そして処理するシステムであって、
    複数のセンサをアクターの顔面のターゲットポイントに取り付ける手段と；
    前記アクターの顔面に配置される前記複数のセンサのフレームごとの画像を、頭部装着システムに配置される少なくとも一つのモーションキャプチャカメラを使用して撮影する手段と；
    頭部装着システムにおいて、トラッキング処理を、前記複数のセンサのフレームごとの前記画像に対して行なって、前記複数のセンサを各フレームに関して正確にマッピングする手段と；
    頭部装着システムにおいて、前記アクターの顔面を表わすモデル化表面を生成する手段と、
    を備えるシステム。

Images