JP2009545083A - モーションキャプチャにおけるｆａｃｓ（顔の表情符号化システム）クリーニング - Google Patents

Abstract

顔マーカデータをクリーニングする方法であって、本方法は：分析顔マーカデータフレーム群を間引きして代表的なキー顔ポーズフレーム群とするステップと；顔ポーズマトリクスを、代表的なキー顔ポーズフレーム群を使用して生成するステップと；そして 入力顔マーカデータフレーム群を、顔ポーズマトリクスを使用してクリーニングするステップと、を含む。

Description

本出願は、第３５編米国法典１１９条に基づき、同時係属中の２００６年７月２８日出願の「モーションキャプチャにおけるＦＡＣＳ（顔の表情符号化システム）クリーニング」と題する米国仮特許出願第６０／８３４，１３２号に関する優先権の利益を主張するものであり、当該仮特許出願の開示内容は本明細書において参照することにより本明細書に組み込まれる。

本出願は更に、本出願と同じ譲受人に譲渡され、かつ２００３年５月２３日出願の「デジタル顔形態モデルをアニメートするシステム及び方法」と題する米国特許第７，０６８，２７７号；２００３年５月１日出願の「顔及びボディの動きを撮影するシステム及び方法」と題する米国特許出願第１０／４２７，１１４号；及び２００７年４月２４日出願の「演技から作り出される顔アニメーション」と題する米国特許出願第１１／７３９，４４８号の開示内容を参照することにより組み込む。

本出願は概して、モーションキャプチャ（motion capture）に関するものであり、特に顔モーションマーカデータをクリーニングし、そして安定させる方法及びシステムに関するものである。

モーションキャプチャシステムを使用して実際のオブジェクトの動きを撮影し、そしてこの動きをアニメートする方法として、この動きをコンピュータにより表現されるオブジェクトにマッピングする。このようなシステムは多くの場合、動画及びビデオゲームの作成に使用されてオブジェクトまたは人のデジタル表示を行ない、このデジタル表示をソースデータとして使用して、コンピュータグラフィックス（ＣＧ）アニメーションを作成する。通常のシステムでは、アクターが、マーカを種々の位置に取り付けた（例えば、小さな光反射マーカをボディ（体）及び四肢に取り付けた）衣服を纏う。次に、正確な場所に配置されるデジタルカメラ群がアクターのボディの動きを撮影空間において異なるアングルから、マーカを照明しながら記録する。システムは後の時点で、画像を分析してアクターの衣服に取り付けられたマーカの位置（例えば、空間座標）及び向きを各フレームで求める。これらのマーカの位置をトラッキングすることにより、システムはこれらのマーカに関する時間軸を考慮した空間表示を行ない、そして動いているアクターのデジタル表示を構築する。次に、この動きをデジタルモデルに仮想空間において適用し、次にこのデジタルモデルで質感を表現し、そしてモデルをレンダリングして、アクター及び／又は演技の完全なＣＧ表示を構築することができる。この技法は、リアルなアニメーションを多くの人気のある映画に収めるために特殊効果会社によって使用されている。

アクターの顔の表情を表わす動きを撮影するためには、ボディの動きを撮影する操作と同様のアプローチを必要とする。しかしながら、アクターが「衣服」を彼または彼女の顔に纏うことは現実的ではない。更に、ヒトの顔の表情は、通常のボディの動きよりもずっと動きが速い顔筋肉の動きを含む。顔の動きを撮影する場合、非常に小さいサイズのマーカ群をアクターの顔に直接取り付け、顔の動きを定義するために配置し、そして動きの速い多くの種類の顔筋肉の動きを撮影するために十分な数だけ取り付ける。しかしながら、非常に多くのマーカ及びこれらのマーカの近傍部分によって、撮影後のフレーム毎のマーカトラッキングが困難になり、そして各個々のマーカに対する正確なトラッキングを確実に行なうために膨大な手作業処理が必要になる。

本発明の実施形態は、顔マーカデータをクリーニングする技術を用いるシステム、方法、装置、及びコンピュータプログラムを含む。

一の態様では、顔マーカデータをクリーニングする方法が開示される。本方法は：分析顔マーカデータフレーム群を間引きして代表的なキー顔ポーズフレーム群とするステップと； 顔ポーズマトリクスを、代表的なキー顔ポーズフレーム群を使用して生成するステップと；そして入力顔マーカデータフレーム群を、顔ポーズマトリクスを使用してクリーニングするステップと、を含む。

別の態様では、顔マーカデータクリーニングシステムが開示される。本システムは：分析顔マーカデータフレーム群を受信し、そして代表的なキー顔ポーズフレーム群を生成するフレーム間引きモジュールと；代表的なキー顔ポーズフレーム群を受信し、そして顔ポーズマトリクスを生成するＦＡＣＳモジュールと；そして入力顔マーカデータフレーム群を受信し、そして顔ポーズマトリクスを使用してクリーニング済み顔マーカデータフレーム群を生成するクリーナモジュールと、を備える。

本発明の他の特徴及び利点は、この技術分野の当業者であれば、次の詳細な記述、及び添付の図面を吟味することにより一層容易に理解できるものと思われる。

本発明の構造及び動作の両方に関する本発明の詳細は、添付の図面を分析することにより部分的に調査することができる。
ＦＡＣＳクリーニングを行なう例示的な方法のフローチャートである。 顔マーカデータフレームをクリーニングする例示的な方法のフローチャートである。 新規のキー顔の表情を顔の表情マトリクスに追加する例示的な方法のフローチャートである。 ＦＡＣＳクリーニングを可変レートを使用して行なう例示的な方法のフローチャートである。 ＦＡＣＳクリーニングシステムの例示的な実施形態の機能ブロック図である。 ＦＡＣＳクリーニングシステムの例示的な実施形態の機能ブロック図である。 可変レートを使用するＦＡＣＳクリーニングシステムの例示的な実施形態の機能ブロック図である。 例示的な顔モーションキャプチャシステムの機能ブロック図である。 ユーザ及びコンピュータシステムを示す図である。 ＦＡＣＳクリーニングシステムのホストとなる例示的なコンピュータシステムの機能ブロック図である。

本明細書に開示される所定の実施形態は、顔マーカデータフレーム群をクリーニングする方法を提供する。一の実施形態においては、クリーニングでは、分析顔マーカデータフレーム群を間引きして、代表的なキー顔ポーズフレーム群とし；顔ポーズマトリクスを代表的なキー顔ポーズフレーム群を使用して生成し；そして入力顔マーカデータフレーム群を顔ポーズマトリクスを使用してクリーニングする。一の例においては、クリーニングでは、ポイント自体で独自に動く顔マーカデータポイントを削除する。別の例では、所定の筋肉グループの全ての顔マーカデータポイントに、これらのポイントが一緒に動くように制限を加える。

本記述を一読した後、この技術分野の当業者であれば、どのようにして本発明を種々の別の実施形態及び別の用途において実施すればよいかが理解できるであろう。しかしながら、本発明の種々の実施形態が本明細書において記載されるが、これらの実施形態は例示としてのみ提示されるのであり、本発明を制限するために提示されるのではないことを理解されたい。従って、種々の別の実施形態についてのこの詳細な記述は、添付の請求項に示される本発明の範囲または広さを制限するものとして捉えられるべきではない。

図８は、一の実施形態による顔モーションキャプチャシステム８００の機能ブロック図である。顔モーションキャプチャシステム８００は、モーションキャプチャプロセッサモジュール８１０と、モーションキャプチャカメラ８２０，８２２，８２４と、ユーザワークステーション８３０と、そして複数の顔マーカ８５０を取り付けたアクターの顔８４０と、を含む。モーションキャプチャプロセッサモジュール８１０はワークステーション８３０に有線または無線によって接続することができる。モーションキャプチャプロセッサモジュール８１０は通常、制御データパケットをワークステーション８３０から受信するように構成される。

図８に示す実施形態では、３台のモーションキャプチャカメラ８２０，８２２，８２４がモーションキャプチャプロセッサモジュール８１０に接続される。しかしながら、３台よりも多くのモーションキャプチャカメラを種々のユーザ関連要件及びアニメーション関連要件に従って使用することができる。モーションキャプチャカメラ８２０，８２２，８２４はアクターの顔８４０に焦点を合わせ、顔の表面には、センサ（球形顔マーカ８５０として示される）がターゲットポイントに配置されている。これらのマーカの配置は普通、例えば顔筋肉グループを撮影するように構成される。別の構成として、これらのマーカはアクターの顔８４０の上の他の所定の注目領域に対応して構成される。

モーションキャプチャカメラ８２０，８２２，８２４はモーションキャプチャプロセッサモジュール８１０によって制御されて、マーカのフレーム毎の２Ｄ（２次元）画像を撮影する。このようにして撮影される２Ｄ画像を含む画像データは通常、ユーザワークステーション８３０にリアルタイムに保存され、そして／またはユーザワークステーション８３０で閲覧される。

モーションキャプチャプロセッサモジュール８１０は、画像データを統合して（すなわち、画像データの「再構成」を行なって）、３Ｄ（ボリューム）顔マーカデータのフレームシーケンスを生成する。一般的に、顔マーカデータは複数の個々の顔マーカデータポイントを含み、そして各ポイントはマーカの空間位置を表わす。各フレームは複数の顔マーカデータポイントを含む。フレームシーケンスは「ビート（beat）」と表記される場合が多く、ビートは「テイク（take）」と考えることもできる。モーションキャプチャプロセッサモジュール８１０は、フレームシーケンスを取り出し、そしてトラッキング機能を実行して、各フレームの顔マーカデータポイント群を、シーケンスにおける先行する各画像フレーム、及び後続の各画像フレームの顔マーカデータポイント群に正確にマッピングする。例えば、第１フレーム中の各個々の顔マーカデータポイントは、定義により、アクターの顔の上に配置される単一の顔マーカに対応する。従って、固有ラベルを第１フレームの各顔マーカデータポイントに割り当てる。次に、これらの顔マーカデータポイントを第２フレーム中の該当する顔マーカデータポイント群に関連付け、そして第１フレームの顔マーカデータポイント群に対応する固有ラベル群を第２フレームの該当するポイント群に割り当てる。ラベル付けプロセスがフレームシーケンスに関して終了すると、第１フレームの各顔マーカデータポイント群をシーケンス全体で追跡することができ、個々の軌跡が各顔マーカデータポイントに対応することになる。

一の実施形態では、ラベル付けされた各顔マーカデータポイントは、空間の一つの頂点として表わされ、従って各フレームは頂点座標系を含み、そして頂点座標系は、アクターの顔８４０のモデル化表面を含む。各フレーム内の顔マーカデータを、シーケンスの他のフレーム群の該当する顔マーカデータに正しくマッピングして、顔マーカデータポイント群に対応するスムーズな関連性のある動きを生成しようとするのではあるが、トラッキングエラーが発生してしまう。エラーとして普通、一つのフレームのマーカを次のフレームの異なるマーカに不正にマッピングすることにより、軌跡の動きに「急激な変化（jerk）」が生じる。エラーとして更に、「ジグル（jiggle：揺れ）」が生じ、この場合、マーカ群が継続的にフレームシーケンス全体で誤ラベル付けされている。エラーの他の例として、精度の低い三角測量、オブジェクトの視認性の悪いビューの再構成、及び２つの軸では正しいが、第３の軸では不正になる計算「ゴースト」を挙げることができる。

エラーは一の実施形態では、顔の表情符号化システムを使用して補正される。顔の表情符号化システム（facial action coding system:FACS）は、ヒトの顔の表情を体系的に分類する標準的な分類法を提供する。種々の顔の表情を表わす顔の動きデータは、図８に示すシステムのような顔モーションキャプチャシステムを使用して撮影され、そしてＦＡＣＳに従って分類される。トラッキングエラーによって異常が、ラベル付けされたマーカデータの軌跡に生じるので、これらのデータが分類には適さなくなる。

一の実施形態では、ＦＡＣＳシステムが一人のアクターに関して、複数回の初期顔面分析（initial facial surveys）を利用して作成される。アクターには、モーションキャプチャマーカ群を顔に取り付け、そしてアクターに指示して或る範囲の所定の表情、または顔ポーズを演技させる。これらの顔ポーズの動きは、理想的な条件の下に小さい撮影ボリュームで撮影され、撮影ボリュームでは、照明は高精度に制御され、そして余分な動きは細心の注意を払って抑制される。アクターは多くの場合、動かずにじっと座っている、またはじっと立っていることにより、顔の動きを他のボディの動きから更に分離する。顔マーカデータが再構成され、顔マーカデータトラッキング手順を行ない、そして結果として得られるデータが「クリーニング」される。次に、トラッキング手順の間に誤ラベル付けされた顔マーカデータを正しくラベル付けし直す。ジグル（揺れ）は、例えば一つ以上のマーカデータポイントについてラベル付けし直し、フレームシーケンス全体のこれらのポイントの動きがスムーズな軌跡に忠実に従うようにすることにより取り除かれる。

要約すると、顔モーションキャプチャシステム８００のモーションキャプチャプロセッサモジュール８１０は次のタスクを実行することができる：ビートにラベル付けし；ラベル付けされた全ての軌跡を検査し；ノイズを除去し；誤ラベル付けされたマーカを補正し；ゴーストまたは低い精度で再構成されたデータを削除し；データのギャップを埋め；そしてフィルタを適用して軌跡を更にスムーズにする。

一の実施形態によるＦＡＣＳクリーニングを行なう方法１００を図１のフローチャートによって示す。顔の表情を上に議論したように分析した後、顔マーカデータフレーム群をブロック１１０で受信し、そしてブロック１２０で、間引きしてキー顔ポーズフレーム群とする。キー顔ポーズ（key facial poses）は、例えば唇吊り上げ部分、眉毛吊り上げ部分、及び頬膨らませ部分のような種々の表情部分を含む。

ＦＡＣＳマトリクス（または、更に広い概念として、顔ポーズマトリクス）をブロック１３０で作成して、分析顔マーカデータから抽出されるキー顔ポーズ群の幾つかのポーズ、または全てのポーズを保存する（ブロック１２０）。ＦＡＣＳマトリクスは「制限空間（constraint space）」として機能することにより、顔マーカデータポイントに関して計算される動きが許容可能な限界値（ここでは、「許容可能な」動きとも表記される）に収まる場合を判断するためのルールを定義する。トラッキングエラーの例として、顔マーカデータポイントｐにフレームＡ及びＣにおいて正しくラベル付けするが、中間フレームＢ（フレームＡとＣとの間のフレームＢ）内の別の顔マーカデータポイントｑに間違ってｐとラベル付けすると、フレームＢ内の正しいポイントｐがラベル付けされないで、または誤ラベル付けして残される。フレームシーケンスを眺める場合、ポイントｐはその結果、当該ポイントの軌跡に不連続を示すが、この不連続は、当該ポイントがフレームＢが表示されると予測されない位置に、すなわちｑの位置にジャンプして現われることにより生じる。フレームＢ内のｐの動きに、例えばフレームＡとＣとの間でのｐの動きの補間に従って制限を加えることにより、ｑがｐとしてラベル付けされる可能性を無くす。次に、フレームＢ内のポイントｑのラベルを剥がし、そしてｐに正しくフレームＢにおいてラベル付けされるが、これは、フレームＢ内のｐが補間条件を満たす可能性の最も高いポイントとなるからである。同様にして、ｑにもラベルを正しく付け直して、ポイントｑがフレームシーケンス全体でｑの正しい軌跡を忠実になぞるようにする。

一の実施形態では、顔マーカデータポイントの動きが許容できるかどうかを判断するルールでは、顔マーカデータポイントがポイント自体で独自に動くことがないことが必要である。別の実施形態では、所定の筋肉グループの全ての顔マーカデータポイントは、これらのデータポイントの内のいずれのポイントの動きも許容することができるように一緒に動く必要がある。

従って、ＦＡＣＳマトリクスはアクターに関して個々に、特定の例示的な顔ポーズの選択に基づいて校正され、そして演技中に引き続き撮影されるアクターの顔の表情を分類する正確な、厳密な、そして強固な手段となる。

顔モーションキャプチャデータをブロック１４０で、ＦＡＣＳマトリクスを使用してクリーニングする。通常、顔モーションキャプチャデータビートを受信する。顔マーカデータポイントを分析し、そして所定のルールによれば許容できない動きを特定する。一の実施形態では、許容できる顔マーカデータポイントの動きのデータのみを返す。クリーニングではこのようにして、フィルタリング効果を実現して顔マーカデータのノイズアーチファクトを除去することができる。更に、クリーニングでは、マーカデータポイント群が占めるべきであったのに、アクターが演技している間に見えなくなった空間位置（例えば、マーカの眺めが、小道具または別のアクターによって演技中に遮られてマーカが見えなくなる場合の空間位置）を求める。顔マーカデータポイント軌跡に結果として生じるギャップを、適用可能なルールに従ったデータポイント群で埋める。更に別のフィルタを適用して、軌跡を更にスムーズにすることができる。ギャップの無い、正しくラベル付けされた、ノイズの無いデータポイント群がこのようにして生成される。

アクターが演技している間に生成されるデータに含めて受信される幾つかの顔ポーズは、ＦＡＣＳマトリクスによって既に保存されている顔ポーズに容易に「合致する」ということがない。一旦、これらの顔マーカデータが上に議論したようにクリーニングされると、これらのマーカデータをＦＡＣＳマトリクスに新規のキー顔ポーズとしてブロック１５０で追加して、ＦＡＣＳマトリクスによって保存される顔ポーズの範囲を広げる。従って、次の演技に含めて受信される顔ポーズを、ＦＡＣＳマトリクスの更に広い範囲の基本の校正済みポーズと照合する。

一の実施形態では、一旦、このような新規ポーズがＦＡＣＳマトリクスに追加されると、新規ポーズを抽出した抽出先の同じビートを同じようにして、高機能ＦＡＣＳマトリクスを使用して処理することにより、生成されるクリーニング済み顔マーカデータの精度及び一貫性が高まる。新規のキー顔ポーズをＦＡＣＳマトリクスに追加する処理について、図３を参照しながら以下に更に詳細に議論する。

図２は、顔マーカデータフレームをクリーニングする例示的な方法１４０を示すフローチャートである。

フレームシーケンスの顔マーカデータをブロック２００で巨視的に安定させる。顔モーションキャプチャビートが経過している間、アクターの動きには、顔の表情に関連する微妙な動きの他に、並進運動及び回転運動を含む頭部の大きな運動が伴なう可能性がある。一の実施形態では、頭部の大きな運動を除去することにより、並進運動及び回転運動によって変わることがない顔マーカデータが得られ、そしてアクターの顔の表情の微妙な動きを明瞭に表現することができる。例えば、第１フレームの顔マーカデータを特定する。フレームシーケンスにおける他のフレームの顔マーカデータを第１フレームの顔マーカデータと、アクターの顔の２つ以上の所定の剛性ポイントに従って整合させる。剛性ポイントは、例えば頭部、耳、及び鼻梁に取り付けられるマーカに対応する顔マーカデータポイントを含む。一般的に、剛性ポイント群は、これらのポイントがアクターの顔の表情に連動して変化することがない上に更に、モーションキャプチャ演技空間におけるアクターの肉体的な動きに一致するように選択される。空間座標系は、フレームシーケンスの剛性ポイントに従って定義される。従って、顔マーカデータの残りの動きはそれに応じて、当該空間座標系で定義され、そしてほぼ顔の表情にのみ関連付けられる。

入力フレームの顔マーカデータによって表わされるポーズを近似する重み付け合成されたキー顔ポーズ（中心となる顔ポーズ）をブロック２１０で求める。一の実施形態では、アクターの演技のフレームを、ＦＡＣＳマトリクスのＦＡＣＳポーズ群（すなわち、活動単位群）の全てから成る空間において分析する。従って、ＦＡＣＳポーズ群は、空間データポイント群（すなわち、顔マーカデータ）によって定義される顔基本ベクトル群と見なすことができる。ＦＡＣＳマトリクスの各顔基本ベクトルに対応する重みを入力フレームに関して計算して、重み付け合成された顔基本ベクトル（すなわち、ＦＡＣＳポーズ）が入力フレームの新規ポーズを近似するようにする。或る場合では、複数の重みの内の一つ以上の重みが、ＦＡＣＳポーズ群の全てが入力顔マーカデータのポーズに関連する訳ではないのでゼロになる。次に、新規ポーズの顔マーカデータを重み付け合成されたＦＡＣＳポーズと比較して、顔マーカデータポイントが喪失しているかどうか、誤ラベル付けされているかどうか、または顔マーカデータポイントのノイズが「許容できないほどに」大きい（すなわち、顔マーカデータポイントが「使えない」）かどうかを判断する。使えない顔マーカデータポイント群を入力フレームにおいて、重み付け合成されたＦＡＣＳポーズから得られる適切なデータポイント群に置き換える。

ブロック２２０では、顔マーカデータポイント群に、これらのポイント自体で独自に動くことがないように制限を加える。制限は、単一の特定の顔マーカデータポイントが隣接する顔マーカデータポイントよりも大幅に異なる態様で動く確率が低いので加えることができ、従って単一の顔マーカデータポイントによる独自の動きは通常、データポイントが使えないことを示唆する。一旦、判断が行なわれると、データポイントの不正な動きは修正することができる。

ブロック２３０では、顔マーカデータポイント群に制限を加えて、これらのポイントが該当する筋肉グループと一緒に動くようにする。一の実施形態では、顔マーカデータポイント群は、マーカデータポイント群が属する筋肉グループに対して不自然となるような態様で動くことが許されない。

ブロック２４０では、顔マーカデータをフレーム群において微視的に安定させる。一の実施形態では、顔マーカデータポイント群の空間位置を、顔マーカデータポイントの動きを調整して、顔マーカデータポイントが所定の顔面モデルを忠実になぞるようにすることにより微視的に安定させる。別の実施形態では、微視的安定化は、ＦＡＣＳマトリクスに保存される顔ポーズを使用して、許容範囲から外れた顔マーカデータポイント群を調整することにより行なうことができる。更に別の実施形態では、顔マーカデータポイント群を、剛性マーカ群を使用して手作業で微視的に安定させる。

要約すると、安定化は２つの方法−巨視的安定化(gross-stabilization)及び微視的安定化(fine-stabilization)−により処理される。巨視的安定化では、ボディに取り付けられる剛性マーカ（例えば、頭部マーカ／顔マーカ）を利用する。これらの剛性マーカは十分に大きいので、変換行列を計算して剛性マーカ群（頭部／顔）の位置を、これらのマーカの空間位置から基準原点に変換することができ、従って顔の表情に関する全ての分析をロックダウン位置（物を動かすことができないように固定したときの位置）で行なうことができる。しかしながら、ノイズ、一貫性の無いラベル、及び他の異常が含まれる（例えば、顔の表情に）状態では、頭部を動かすことができないようにフレーム毎に固定するために計算される巨視的安定化変換には一貫性がなく、これによって、小さな揺れ、捻れ、跳ね、及び他のノイズが生じる。これらのデータをフェイシャルアニメーションのリターゲット（facial re-targeting）に使用する場合、良好（自然）な顔の表情の生成は難しい。その結果、微視的安定化が必要になり、微視的安定化によって揺れ、捻れ、跳ね、及び他のノイズを除去する。この微視的安定化は、ＦＡＣＳマトリクスを特定のアクターに関して利用することにより行なうことができる。ＦＡＣＳマトリクスを使用してマーカの小さな動きを、これらの動きが所定の表情に一致するものとして分析する。従って、或る表情に関して、マーカグループは、ＦＡＣＳマトリクスから学習される動き、またはＦＡＣＳマトリクスによって生成される動きに一致する動きを示す。動きに一致が見られない、または動きが一致しない場合、動きを顔全体で矯正し、そして「補正して」、顔（及び／又は頭部）全体を更に安定させることができる。

図３は、新規のキー顔ポーズをＦＡＣＳマトリクスに追加する例示的な方法１５０のフローチャートである。クリーニングされた顔マーカデータのフレーム群をブロック３００で受信する。一の実施形態では、受信されるフレーム群は一つのビートを構成するフレームシーケンスである。別の構成として、受信されるフレーム群は、全てのフレームシーケンスを含む。

ＦＡＣＳマトリクスによって保存されるキー顔ポーズが顔マーカデータと極めて正確に一致するということがないフレームをブロック３１０で求める。一の実施形態では、ビート中のどのフレームに、ＦＡＣＳマトリクスのキー顔ポーズと無事に一致したポーズ（すなわち、特定の顔ポーズを表わす顔マーカデータ）が撮影されているかについての調査を行なう。キー顔ポーズと一致しなかったポーズが撮影されているフレームも特定される。一致が見られないこれらのフレームは、ＦＡＣＳマトリクスによって保存される顔ポーズ集合に不足があることを裏付けているので、ＦＡＣＳマトリクスに追加すべき新規のキー顔ポーズの基礎データとなる。次に、ＦＡＣＳマトリクスのキーポーズに一致しなかった顔マーカデータが、ＦＡＣＳマトリクスに追加される新規データとなる（ブロック３４０を参照）。ＦＡＣＳマトリクスによって保存されるキー顔ポーズ群の不足はこのようにして解消されて、更に完全かつ強固なＦＡＣＳマトリクスが得られる。

一致するキーポーズがＦＡＣＳマトリクスに含まれていないと判断される顔マーカデータをブロック３２０で正規化して、ＦＡＣＳマトリクスを構成する、例えば初期ＦＡＣＳ校正中に得られる分析顔マーカデータ（survey facial marker data）のような他のキー顔ポーズデータとの拡大縮小率の差を無くす。サイズの一貫性がこのようにして、キー顔ポーズが初期分析中または演技中に得られたかどうかに関係なく、ＦＡＣＳマトリクスに保存されるキー顔ポーズ集合全体に関して確保される。これにより、次の入力顔マーカデータに撮影される顔ポーズとの一致が容易になる。

ＦＡＣＳマトリクスに追加されることになる顔マーカデータをブロック３３０で安定させる。一の実施形態では、追加される顔マーカデータを安定させることにより、ＦＡＣＳマトリクスに既に捕捉されているキーポーズの安定化された顔マーカデータに一致させる。ブロック３４０では、正規化され、かつ安定させた顔マーカデータを次に、ＦＡＣＳマトリクスに新規のキー顔ポーズとして追加する。別の実施形態では、顔マーカデータビートを、新規に追加されたキー顔ポーズを含むＦＡＣＳマトリクスを使用して再分析する。前に一致が見られなかったフレーム中のポーズをこのようにして、この再分析の間に一致させ、そしてクリーニングされた顔マーカデータの品質を前の分析におけるよりも高める。

一の実施形態では、ＦＡＣＳマトリクスによって保存されるキー顔ポーズが顔マーカデータと極めて正確に一致するということがないような顔マーカデータを有する複数のフレームを自動的に求める。求めたフレーム群のリストを提供し、このリストの中から、フレーム群を選択して検証し、そしてグループとしてＦＡＣＳマトリクスに追加する。

図４は、ＦＡＣＳクリーニングを「３Ｄ減衰（3-D damping）」を使用して行なう例示的な方法のフローチャートであり、３Ｄ減衰によって可変レート処理が可能になる。一の実施形態においては、クリーニングでは調整を行なって、ノイズを制御し、そして顔マーカデータポイントの動きを減衰させることにより、ジグル（jiggle:揺れ）をほとんど削除する。しかしながら、単一の処理レートだけでは、ビート内に撮影されている顔の動きが変化するときの可変の速さを補正することができない。従って、「３Ｄ減衰」方法の可変レート処理を取り入れ、可変レート処理では、クリーニングによって得られる複数の結果の合成結果を種々のレートで生成する。

一の実施形態では、フレームシーケンスを複数の異なるレート、例えば高レート、中レート、及び低レートで、閾値及び周波数を使用してクリーニングする（「３Ｄ減衰」）。従って、「３Ｄ減衰」では、処理の閾値及び周波数を調整して、入力データに反応する時間を変化させる。例えば、５〜５０のような小さい数字では、データが高速領域においてゴムのように変形するようになるとともに、低速領域においては細かく見えるようになる。２００〜２４０のような大きい数字では、データが高速領域で細かく見えるようになるが、ゆっくり動くノイズの大きい領域のノイズを除去する機能が低下する。

各結果を同じビートの個別の「クリップ」として保存し、この場合、各クリップは固有の処理レートに対応する。次に、フレームのサブセットシーケンスを種々のクリップから選択し、各サブセットは、当該サブセットに撮影される演技の期間中のアクターの動きを最も良く表わす。次に、これらのサブセットシーケンスを合成してマスタークリップを生成し、マスタークリップを使用して顔形態モデルをアニメートする。

一の実施形態では、マスタークリップは、低減されたノイズによって特徴付けられる。例えば、合成を低レート領域で行なうことにより、ゆっくり動く領域における残留ノイズまたは残留ジッタを除去する。

クリーニングを可変レート処理を使用して行なう図４に示す例示的な方法４００は、図１に示すクリーニングを行なう例示的な方法１００と同様である。顔の表情を上に議論したように分析した後、顔マーカデータフレーム群をブロック４１０で受信し、そしてブロック４２０で、間引きしてキー顔ポーズフレーム群とする。キー顔ポーズは、例えば唇吊り上げ部分、眉毛吊り上げ部分、及び頬膨らませ部分のような種々の表情部分を含む。

ＦＡＣＳマトリクスをブロック４３０で生成して、モーションキャプチャデータから抽出される（ブロック４２０で）キー顔ポーズ群の幾つか、または全てを保存する。

処理レートをブロック４４０で、上述の「３Ｄ減衰」を使用して選択する。一の実施形態では、上に議論したように、高レート、中レート、及び低レートに対応する３つのレートの内の一つのレートは、閾値の数字及び周波数の数字を選択することにより選択される。これらの数字は、多数の方法で表現することができる相対的な数字であることを理解されたい。一の実施形態では、どのような個数の異なる閾値の数字及び周波数の数字も生産要件に従って選択することができる。

顔モーションキャプチャデータをブロック４５０で、ＦＡＣＳマトリクスを使用して、選択したレートでクリーニングする。通常、顔モーションキャプチャデータビート全体が分析される。顔マーカデータポイント群を分析し、そして所定のルールに照らして許容できない動きを特定する。一の実施形態では、許容できる顔マーカデータポイントの動きのデータのみを返す。従って、クリーニングでは、フィルタリングを選択したレート（すなわち、サンプリングレート）で実行することができるので、顔マーカデータのノイズアーチファクトを除去することができる。更に、クリーニングでは、マーカデータポイント群が占めるべきであったのに、アクターが演技している間に見えなくなった空間位置を求める。クリーニングでは、顔マーカデータポイント軌跡に結果として生じるギャップを、適用可能なルールに従ったデータポイント群で埋める。選択したレートのクリップがこのようにして生成され、この場合、クリップは、ギャップの無い、正しくラベル付けされた、かつノイズの無いデータポイントを含むビートに対応するフレームシーケンスを含む。

別のレートをブロック４４０で必要に応じて選択する。顔モーションキャプチャデータをこの場合も同じようにして、ＦＡＣＳマトリクスを使用して、選択したレートでクリーニングし、そして選択したレートに対応する別のクリップをブロック４５０で生成する。更に別のレートをブロック４４０で選択し、続いてビートを更に処理する必要が無くなるまで、ブロック４５０において、新規のクリップをクリーニングし、そして生成する。

合成「マスター」クリップをブロック４６０で生成する。一の実施形態では、マスタークリップは処理レートで生成されるクリップ群の内の一つ以上のクリップの一部分を含む。従って、各クリップ部分は、ビートの該当する部分に対応する所望の顔モーションキャプチャ結果を表わし、そしてマスタークリップはビート全体に対応する所望の顔モーションキャプチャ結果を表わす。

図５は、ＦＡＣＳクリーニングシステム５００の例示的な実施形態の機能ブロック図である。ＦＡＣＳクリーニングモジュール５１０は分析顔マーカデータ及び入力顔マーカデータを受信し、そしてクリーニング済み顔マーカデータを生成する。一の実施形態では、入力顔マーカデータは一つのビートを表わすフレームシーケンスを含む。

図６は、一の実施形態によるＦＡＣＳクリーニングシステム５１０の機能ブロック図である。ＦＡＣＳクリーニングシステム５１０はフレーム間引きモジュール６００と、ＦＡＣＳモジュール６１０と、そしてクリーナモジュール６２０と、を含む。

顔の表情を上に議論したように分析した後、分析顔マーカデータフレーム群をフレーム間引きモジュール６００が受信する。これらのフレームを、図１を参照しながら上に議論したように、ブロック１２０で間引きしてキー顔ポーズフレーム群とする。これらのキー顔ポーズは、例えば唇吊り上げ部分、眉毛吊り上げ部分、及び頬膨らませ部分のような種々の表情部分を含む。

アクター用のＦＡＣＳマトリクスはＦＡＣＳモジュール６１０によって保存され、ＦＡＣＳモジュール６１０は、フレーム間引きモジュール６００でモーションキャプチャデータから抽出されるキー顔ポーズ群の幾つか、または全てを含む。上に議論したように、ＦＡＣＳマトリクスは制限空間として機能して、一つのマーカデータポイントに関して計算される動きが許容できる動きである場合を判断するルールを定義する。ＦＡＣＳマトリクスはアクターに関して個々に、特定の例示的な顔ポーズの選択に基づいて校正され、そして演技に際して続いて撮影されるアクターの顔の表情を分類する正確な、厳密な、かつ強固な手段となる。キー顔ポーズをＦＡＣＳモジュール６１０で受信し、そしてＦＡＣＳマトリクスが生成される。

アクターの演技を撮影した顔マーカデータビート、及びアクターに対応するＦＡＣＳマトリクスをクリーナモジュール６２０で受信する。クリーニング済み顔マーカデータは、ＦＡＣＳマトリクスを使用して生成される。顔マーカデータポイントを分析し、そして所定のルールに照らして許容できない動きを特定する。一の実施形態では、許容できる顔マーカデータポイントの動きのデータのみを返す。クリーニングではこのようにして、フィルタリング効果を実現して、顔マーカデータのノイズアーチファクトを除去する。更に、クリーニングでは、マーカデータポイント群が占めるべきであったのに、アクターが演技している間に見えなくなった空間位置を求める。顔マーカデータポイント軌跡に結果として生じるギャップを、適用可能なルールに従ったデータポイント群で埋める。ギャップの無い、正しくラベル付けされた、かつノイズの無いデータポイント群がクリーナモジュール６２０の出力で生成される。

別の実施形態では、クリーナモジュール６２０は、顔マーカデータポイント群に制限を加えて、これらのポイントが該当する筋肉グループと一緒に動くようにするルールを呼び出す。更に別の実施形態では、顔マーカデータポイント群は、これらのデータポイントが属する筋肉グループに対して不自然になるような態様で動くことが許されない。

一の実施形態では、顔マーカデータポイント群の空間位置をクリーナモジュール６２０で、所定の顔面モデルに対するマーカの動きを決定することにより、微視的に安定させる。別の実施形態では、微視的安定化は、ＦＡＣＳマトリクスに保存される顔ポーズを使用して、許容範囲から外れた顔マーカデータポイントを調整することにより行なうことができる。

一の実施形態では、フレームシーケンスをクリーナモジュール６２０で、複数の異なるレート、例えば高レート、中レート、及び低レートでクリーニングする。結果を同じビートの個別の「クリップ」として保存し、この場合、各クリップは固有の処理レートに対応する。次に、フレームのサブセットシーケンスを種々のクリップから選択し、各サブセットは、当該サブセットに撮影される演技の期間中のアクターの動きを最も良く表わす。次に、これらのサブセットシーケンスを合成してマスタークリップを生成し、マスタークリップを使用して顔形態モデルをアニメートする。

一の実施形態では、マスタークリップは、低減されたノイズによって特徴付けられる。例えば、低レート領域での合成を行なうことにより、ゆっくり動く領域における残留ノイズまたは残留ジッタを除去する。

図７は、別の実施形態によるＦＡＣＳクリーニングシステム７００の機能ブロック図である。図７に示す実施形態では、ＦＡＣＳクリーニングシステム７００は、キー顔ポーズをＦＡＣＳマトリクスに追加するように動作することができる。ＦＡＣＳクリーニングシステム７００は、フレーム間引きモジュール７１０と、ＦＡＣＳモジュール７２０と、クリーナモジュール７３０と、巨視的安定化モジュール７４０と、そしてフレーム選択モジュール７５０と、を含む。

顔の表情を分析した後、分析顔マーカデータフレーム群をフレーム間引きモジュール７１０が受信する。これらのフレームを、図１を参照しながら上に議論したように、ブロック１２０で間引きしてキー顔ポーズフレーム群とする。これらのキー顔ポーズは、例えば唇吊り上げ部分、眉毛吊り上げ部分、及び頬膨らませ部分のような種々の表情部分を含む。

アクター用のＦＡＣＳマトリクスはＦＡＣＳモジュール７２０によって保存され、ＦＡＣＳモジュール７２０は、フレーム間引きモジュール７１０で分析顔マーカデータから抽出されるキー顔ポーズ群の幾つか、または全てを含む。上に議論したように、ＦＡＣＳマトリクスは制限空間として機能して、一つのマーカデータポイントに関して計算される動きが許容できる動きである場合を判断するルールを定義する。ＦＡＣＳマトリクスはアクターに関して個々に、特定の例示的な顔ポーズの選択に基づいて校正され、演技に際して続いて撮影されるアクターの顔の表情を分類する正確な、厳密な、かつ強固な手段となる。

キー顔ポーズを受信する他に、ＦＡＣＳモジュール７２０は、フレーム選択モジュール７５０で生成される更に別のキー顔ポーズを受信する。更に別のキー顔ポーズは、フレーム間引きモジュール７１０で分析データから生成されるキー顔ポーズと同じようにして処理され、そしてＦＡＣＳマトリクスに追加される。ＦＡＣＳマトリクスは出力で生成される。

アクターの演技を撮影した顔マーカデータを巨視的に安定させたビートを構成するフレーム群、及びアクターに対応するＦＡＣＳマトリクスをクリーナモジュール７３０で受信する。クリーニング済み顔マーカデータは、ＦＡＣＳマトリクスを使用して生成される。クリーナモジュール７３０の機能は、図６を参照しながら議論したクリーナモジュール６２０の機能とほぼ同様である。すなわち、顔マーカデータポイント群を分析し、そして所定のルールに照らして許容できない動きを特定する。ギャップの無い、正しくラベル付けされた、かつノイズの無いデータがクリーナモジュール７３０の出力で生成される。

フレームシーケンスの顔マーカデータを巨視的安定化モジュール７４０で巨視的に安定させる。顔モーションキャプチャビートが経過している間、アクターの動きには、顔の表情に関連する微妙な動きの他に、並進運動及び回転運動を含む頭部の大きな運動が伴なう可能性がある。一の実施形態では、頭部の大きな運動を除去することにより、並進運動及び回転運動によって変わることがない顔マーカデータが得られ、そしてアクターの顔の表情の微妙な動きを明瞭に表現することができる。従って、顔マーカデータの残りの動きは、ほぼ顔の表情にのみ関連付けられる。

ＦＡＣＳマトリクスによって保存されるキー顔ポーズが顔マーカデータと極めて正確に一致するということがないフレームを求める場合、当該フレームを候補としてフレーム選択モジュール７５０で選択して、ＦＡＣＳモジュール７２０において保存されるＦＡＣＳマトリクスに追加する。一の実施形態では、フレーム群をフレーム選択モジュール７５０において個々に、かつ手作業で選択する。別の実施形態では、フレーム群を自動的に選択する。更に別の実施形態では、選択フレーム群のリストをフレーム選択モジュール７５０において保存し、フレーム選択モジュール７５０から、リストされた選択フレーム群の全て、または一部をＦＡＣＳモジュール７２０に供給してＦＡＣＳマトリクスに追加する。

図９Ａは、コンピュータシステム９００及びユーザ９０２を表わす図を示している。ユーザ９０２はコンピュータシステム９００を使用することにより、ＦＡＣＳ解決策を実行する。コンピュータシステム８００はＦＡＣＳ解決システム９９０を収容し、そして実行し、ＦＡＣＳ解決システム９９０は、クリーニングされたモーションキャプチャフレームデータを処理する。

図９Ｂは、ＦＡＣＳ解決システム９９０のホストとなるコンピュータシステム９００を示す機能ブロック図である。コントローラ９１０はプログラマブルプロセッサであり、そしてコンピュータシステム９００及び当該システムのコンポーネントの動作を制御する。コントローラ９１０は命令をメモリ９２０または埋め込みコントローラメモリ（図示せず）から読み込み、そしてこれらの命令を実行してシステムを制御する。コントローラ機能を実行するために、コントローラ９１０はＦＡＣＳ解決システム８９０をソフトウェアシステムとして提供する。別の構成として、このサービスは、コントローラ９１０内の、またはコンピュータシステム９００内の別のコンポーネントとして実装することができる。

メモリ９２０はデータを一時的に保存して、コンピュータシステム９００の他のコンポーネントが使用することができるようにする。一の実施形態では、メモリ９２０はＲＡＭとして実装される。一の実施形態では、メモリ９２０は更に、フラッシュメモリ及び／又はＲＯＭのような長期メモリまたは永久メモリを含む。

ストレージ９３０は、コンピュータシステム９００の他のコンポーネントが使用することができるようにデータを一時的に、または長期間に渡って保存する、例えばＦＡＣＳ解決システム９９０が使用するデータを保存する。一の実施形態では、ストレージ９３０はハードディスクドライブである。

メディア装置９４０は取り外し可能な媒体を受け入れ、そして挿入媒体に対するデータの読み出し、及び／又は書き込みを行なう。一の実施形態では、メディア装置８４０は光ディスクドライブである。

ユーザインターフェース９５０は、ユーザ入力をコンピュータシステム９００のユーザから受け入れ、そして情報をユーザに対して提示するコンポーネントを含む。一の実施形態では、ユーザインターフェース９５０はキーボード、マウス、オーディオスピーカ、及びディスプレイを含む。コントローラ９１０はユーザからの入力を使用してコンピュータシステム９００の動作を調整する。

Ｉ／Ｏインターフェース９６０は、外部ストレージまたは補助装置（例えば、プリンタまたはＰＤＡ）のような該当するＩ／Ｏ装置との接続を行なう一つ以上のＩ／Ｏポートを含む。一の実施形態では、Ｉ／Ｏインターフェース９６０のポートは：ＵＳＢポート、ＰＣＭＣＩＡポート、シリアルポート、及び／又はパラレルポートのようなポートを含む。別の実施形態では、Ｉ／Ｏインターフェース９６０は、外部デバイスと無線通信する無線インターフェースを含む。

ネットワークインターフェース９７０は、イーサネット（登録商標）接続をサポートするＲＪ−４５または「Ｗｉ−Ｆｉ」インターフェース（これに制限されないが、８０２．１１を含む）のような有線及び／又は無線ネットワーク接続を含む。

コンピュータシステム９００は、コンピュータシステムでは普通の更に別のハードウェア及びソフトウェア（例えば、電源システム、冷却システム、オペレーティングシステム）を含むが、これらのコンポーネントは図を簡単にするために、図９Ｂには詳細には示されていない。他の実施形態では、コンピュータシステムの異なる構成を使用することができる（例えば、異なるバスまたはストレージ構成、或いはマルチプロセッサ構成）。

本発明の種々の例示的な実施形態について説明してきた。しかしながら、この技術分野の当業者であれば、更に別の実施形態を用いることもでき、かつ更に別の実施形態が本発明の範囲に含まれることが理解できるであろう。例えば、ＦＡＣＳ解決システムについて顔マーカデータに関連する形で概要を説明してきたが、当該システムは、ボディマーカデータのような他のタイプのモーションキャプチャマーカデータに適用することができる。

本発明の種々の例示的な実施形態について説明してきた。しかしながら、この技術分野の当業者であれば、更に別の実施形態を用いることもでき、かつ更に別の実施形態が本発明の範囲に含まれることが理解できるであろう。例えば、ＦＡＣＳクリーニングシステムについて顔マーカデータに関連する形で概要を説明してきたが、当該システムは、ボディマーカデータのような他のタイプのモーションキャプチャマーカデータに適用することができる。この例では、生成されるボディＦＡＣＳマトリクスを運動範囲（range of motion:ROM）から除外することができる。一の実施形態では、「Ｔ−ポーズ」をアクターがビートの始点及び終点で演技して複数の標準の位置を決定し、これらの位置の間で、マーカがトラッキングされる。別の実施形態においては、クリーニングでは、Ｔ−ポーズを、ビートを構成するフレーム群の全てに含まれるマーカデータを使用して人工的に生成する。Ｔ−ポーズを人工的に生成することにより、アクターが真の中立のＴ−ポーズの演技に失敗して、結果として得られるアニメーションにずれが生じるという問題を解決する。入力ビートに既に含まれている真のＴ−ポーズを特定し、そして当該Ｔ−ポーズを含むフレームを指定する機能も提供される。真のＴ−ポーズが特定されない場合、当該Ｔ−ポーズを人工的に生成することができる。

更に、モジュール内のまたはブロック内のグルーピング機能は説明を分かり易くするために提示されていることを理解されたい。特定の機能は、一つのモジュールまたはブロックから別のモジュールまたはブロックに、本発明から逸脱しない限り移動させることができる
従って本発明は、上に記載されるこれらの実施形態にのみ限定されることはない。

Claims (24)

1. 顔マーカデータをクリーニングする方法であって、前記方法は：
   分析顔マーカデータフレーム群を間引きして代表的なキー顔ポーズフレーム群とするステップと、
   顔ポーズマトリクスを、代表的なキー顔ポーズフレーム群を使用して生成するステップと、
   入力顔マーカデータフレーム群を、顔ポーズマトリクスを使用してクリーニングするステップと、
   を含む方法。
2. 入力顔マーカデータフレーム群をクリーニングする前記ステップは、
   クリーニングルールを有効にするステップを含む、
   請求項１記載の方法。
3. クリーニングルールでは、
   顔マーカデータポイントが当該ポイント自体で独自に移動することがないように顔マーカデータポイントに制限を加える、
   請求項２記載の方法。
4. クリーニングルールでは、
   一つの筋肉グループに対応する全ての顔マーカデータポイントが一緒に動くように、これらの顔マーカデータポイントに制限を加える、
   請求項２記載の方法。
5. 入力顔マーカデータフレーム群をクリーニングする前記ステップは、
   顔マーカデータを安定させるステップを含む、
   請求項１記載の方法。
6. 入力顔マーカデータフレーム群をクリーニングする前記ステップは、
   顔マーカデータのノイズアーチファクトを除去するステップを含む、
   請求項１記載の方法。
7. 更に、
   新規の代表的なキー顔ポーズフレーム群を顔ポーズマトリクスに追加するステップを含む、請求項１記載の方法。
8. 新規の代表的なキー顔ポーズフレーム群を顔ポーズマトリクスに追加する前記ステップは：
   前記入力フレーム群の内、顔ポーズマトリクスのキー顔ポーズが選択フレームの顔マーカデータの空間位置に一致しないような選択フレームを求めるステップと、
   元の顔マーカデータを正規化するステップと、
   選択フレームの顔マーカデータを安定させるステップと、そして
   選択フレームを顔ポーズマトリクスに新規のキー顔ポーズとして追加するステップと、を含む、請求項７記載の方法。
9. 顔ポーズマトリクスのキー顔ポーズが元の顔マーカデータの空間位置に一致しないフレームを求める前記ステップは自動的に行なわれる、請求項８記載の方法。
10. 更に、
    求めたフレームを含むリストを自動的に生成するステップを含む、
    請求項９記載の方法。
11. 安定させる前記ステップでは、顔ポーズマトリクスに含まれるデータ安定化と同じ水準の安定化を達成する、請求項８記載の方法。
12. 入力顔マーカデータフレーム群をクリーニングする前記ステップは、複数のレートを使用して行なわれる、請求項１記載の方法。
13. 顔マーカデータクリーニングシステムであって、前記システムは：
    分析顔マーカデータフレーム群を受信し、そして代表的なキー顔ポーズフレーム群を生成するフレーム間引きモジュールと、
    代表的なキー顔ポーズフレーム群を受信し、そして顔ポーズマトリクスを生成するＦＡＣＳモジュールと、そして
    入力顔マーカデータフレーム群を受信し、そして顔ポーズマトリクスを使用してクリーニング済み顔マーカデータフレーム群を生成するクリーナモジュールと、
    を備える顔マーカデータクリーニングシステム。
14. 前記クリーナモジュールは、顔マーカデータポイントが当該ポイント自体で独自に移動することがないように顔マーカデータポイントに制限を加えるように動作する、請求項１３記載のシステム。
15. 前記クリーナモジュールは、一つの筋肉グループの全てのマーカが一緒に動くように、これらのマーカに制限を加えるように動作する、請求項１３記載のシステム。
16. 更に、
    顔マーカデータビートを受信し、そして巨視的に安定させた顔マーカデータのフレーム群を生成する巨視的安定化モジュールを備える、請求項１３記載のシステム。
17. 前記クリーナモジュールは、巨視的に安定させた顔マーカデータのフレーム群を微視的に安定させるように動作する、請求項１６記載のシステム。
18. 更に、
    クリーニング済み顔マーカデータフレーム群を受信し、そして追加のキー顔ポーズを含む選択フレーム群を生成するフレームセレクタモジュールを備える、請求項１３記載のシステム。
19. 前記フレームセレクタモジュールは、追加のキー顔ポーズを含むフレーム群を自動的に選択し、そして選択フレーム群のリストを生成する、請求項１８記載のシステム。
20. 前記ＦＡＣＳモジュールは、追加のキー顔ポーズを含む選択フレーム群を受信し、そして追加のキー顔ポーズをＦＡＣＳマトリクスに追加する、請求項１８記載のシステム。
21. 前記クリーナモジュールは更に、クリーニング済みフレームシーケンスの複数のクリップを生成し、各クリップは異なる処理レートを有する、請求項１３記載のシステム。
22. 複数のクリップから選択されるクリップ群を合成することによりマスタークリップを生成する、請求項２１記載のシステム。
23. 顔マーカデータをクリーニングする装置であって、前記装置は：
    分析顔マーカデータフレーム群を間引きして代表的なキー顔ポーズフレーム群とする手段と、
    顔ポーズマトリクスを、代表的なキー顔ポーズフレーム群を使用して生成する手段と、そして
    入力顔マーカデータフレーム群を、顔ポーズマトリクスを使用してクリーニングする手段と、
    を備える装置。
24. コンピュータ読み取り可能な記憶媒体に格納されて顔マーカデータをクリーニングするコンピュータプログラムであって、プログラムは実行可能な命令を含み、実行可能な命令によってコンピュータは：
    分析顔マーカデータフレーム群を間引きして代表的なキー顔ポーズフレーム群とし、
    顔ポーズマトリクスを、代表的なキー顔ポーズフレーム群を使用して生成し、そして
    入力顔マーカデータフレーム群を、顔ポーズマトリクスを使用してクリーニングする、
    コンピュータプログラム。

Images