JP2004504679A - 顔をアニメーション化する方法 - Google Patents

顔をアニメーション化する方法 Download PDF

Info

Publication number
JP2004504679A
JP2004504679A JP2002512931A JP2002512931A JP2004504679A JP 2004504679 A JP2004504679 A JP 2004504679A JP 2002512931 A JP2002512931 A JP 2002512931A JP 2002512931 A JP2002512931 A JP 2002512931A JP 2004504679 A JP2004504679 A JP 2004504679A
Authority
JP
Japan
Prior art keywords
intersection
mesh
intersections
muscles
lip
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002512931A
Other languages
English (en)
Other versions
JP4701582B2 (ja
Inventor
ブルトン ガスパー
ブヴィル クリスティアン
ペレ ダニエル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
France Telecom SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by France Telecom SA filed Critical France Telecom SA
Publication of JP2004504679A publication Critical patent/JP2004504679A/ja
Application granted granted Critical
Publication of JP4701582B2 publication Critical patent/JP4701582B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Medicines Containing Material From Animals Or Micro-Organisms (AREA)

Abstract

【課題】過度に複雑化しないで唇のアニメーション化を改良し、それによりさらに忠実に対応する唇の本当の動きを再現し、それがリアルタイムに実行されることを目的とする。
【解決手段】網目の集合から成る立体画像の頭部はモデル化された顔の筋肉によりアニメーション化される。会話の際の唇の自然なアニメーションのために、下唇及び上唇が一組の唇の網目で区別され、唇の角と口の開口部の境界線上の網目の交点を基盤とする。頭部の下部領域及び上部領域はその境界線により分割される。上唇に取り付けられ、上部領域の交差する作用領域を有するモデル化された筋肉(M2、M3G、M4G)、及び下唇に取り付けられ、下部領域の交差する作用領域を有するモデル化された筋肉(M6G、M7G、M8)はそれぞれ上唇と鼻の下、及び下唇と顎先に網目の交点を移動する。その他の筋肉(M4G、M5G、M6G、M9)は下部領域及び上部領域に作用領域を有する。
【選択図】図6

Description

【0001】
【発明の属する技術分野】
本発明は、立体の顔をアニメーション化する方法に関し、その方法は前もって保存及び解析された話者の頭部をアニメーション化するエンジンを含むデータ処理手段で使用される。例えば、データ処理手段はテレビ会議、在宅勤務又は共同作業、あるいは電子メールを読み上げる情報処理機能を有する代理人、又は電子商取引の申し込みに対する仮想アシスタントに関する。
【0002】
【従来の技術】
従来技術において、ほとんどのアニメーション化のエンジンは筋肉ではなく、顔はしばしば頭部の基調となる表現の間でモーフィングによりアニメーション化され、それは技術者による手作業で製作されていた。筋肉のアニメーション化のエンジンは一般にもっと包括的だが肌の弾力性は考慮に入れない。頭部のリアルタイムのアニメーション化を妨げるからである。
【0003】
筋肉のアニメーション化エンジンは興味あるものである。なぜならそれを使って容易に一組の筋肉の収縮として、アニメーション化を記述することができるからであり、頭部は所定の網目の集合、例えば唇、目、瞼などによって構成される。これら収縮の集合はしばしば顔から顔へ一般化されうる。例えば、微笑みは唇の角に作用する頬骨筋の収縮により常に得られる。
【0004】
例えばKeith WATERによる以下の論文、つまり1987年7月にComputer Graphicsの21巻4号17−24ページに掲載された「A Muscle Model for Animating Three−Dimensional Facial Expression」及び1993年6月15日にIEEE Transactions on Pattern Analysis and Machine Intelligenceの6号569−579ページに掲載された「Analysis and Synthesis of Facial Image Sequences Using Physical and Anatomical Models」では、角度の作用扇形内のベクトル形式で筋肉を可動化する方法により顔をアニメーション化することを提案しており、その角度の作用扇形内で網目の交点は角度の減衰因数及び半径の減衰因数の関数として移動する。
【0005】
しかしながら、上記のような型のアニメーション化エンジンでは、下唇に固定される下顎の回転によって唇が分離し口が開く。この回転は唇の角を壊し、話すときに唇の独立した動きを正確に反映させることができない。
【0006】
【発明が解決しようとする課題】
本発明は、過度に複雑化しないで唇のアニメーション化を改良し、それによりさらに忠実に対応する唇の本当の動きを再現し、それがリアルタイムに実行されることを目的とする。
【0007】
【課題を解決するための手段】
従って、モデル化された顔の筋肉により立体で描かれ、一組の唇を含む網目の集合という形式でデータ処理手段に入手される頭部をアニメーション化する方法は以下の工程、つまり
網目の交点の機能として唇の角及び口の開口部の境界線の高さで一組の唇を上唇及び下唇に区別し、
少なくともその境界線により実質上分けられる頭部の上部領域及び下部領域を決定し、かつ
上唇に向かって延び、少なくとも2つずつ交差して上部領域に位置し、上唇及び頭部の鼻の下の網目の交点を移動する作用領域を有するモデル化された筋肉の第1のグループ、
下唇に向かって延び、少なくとも2つずつ交差して下部領域に位置し、前記下唇及び頭部の顎先の網目の交点を移動する作用領域を有するモデル化された筋肉の第2のグループ、及び
上部及び下部領域の網目の交点のそれぞれを移動する作用領域を有するモデル化された筋肉の最後のグループを構成し、唇を伸ばす及び収縮するという工程を含む。
【0008】
それぞれ互いに対して及び一定の網目の交点上の少なくとも2つの筋肉の作用から独立した第1、第2及び第3のグループのモデル化された筋肉の配分のおかげで、話す際の口がさらに自然な方法で開く。
【0009】
のちに明らかになることであるが、本発明はまた以下の器官、つまり目、瞼、下顎、首のうちの少なくとも1つをアニメーション化するパラメータを決定することによりパラメータによるアニメーション化を提供する。
【0010】
本発明はまた、顔のアニメーション化に関するクライアントサーバシステムに関する。第1の実施形態によれば、クライアントはデータ処理手段を含み、それは本発明による方法による網目の集合及びパラメータ形式で立体に描かれる頭部を入手し、頭部をアニメーション化コマンドの関数としてアニメーション化する。サーバは処理サーバであって、クライアントにより送信されたメッセージに対応する要求によってアドレス指定されたデータベースから読み取られる回答を、クライアントに送信されるメッセージ及びアニメーション化コマンドに変換する。
【0011】
クライアントサーバシステムの第2の実施形態によると、サーバはデータベースサーバであってクライアントはデータ処理手段及び会話手段を含む。処理手段は本発明による方法による網目の集合及びパラメータの形式で立体に描かれる頭部を入手し、頭部をアニメーション化コマンドの関数としてアニメーション化する。会話手段は、クライアントに提供されるメッセージに対応する要求によってアドレス指定されるデータベースサーバ内で読み取られる回答を、クライアントに適用されるメッセージ及びデータ処理手段に送信されるアニメーション化コマンドに変換する。
【0012】
網目の集合及びパラメータは、好ましくは所定のサーバから選択される及び入手される。
【0013】
本発明の他の特徴及び利点は対応する添付の図面に関連し、以下の本発明の複数の好ましい実施形態の記述を読むことでさらに明らかとなる。
【0014】
【発明の実施の形態】
本発明による顔をアニメーション化する方法は、データ処理手段で実行されるアニメーション化エンジンにおいて使用される。データ処理手段は、例えば、家庭用コンピュータ、マルチメディアインターネットサーバ又はテレビ会議若しくは在宅勤務の端末に設置され、それら端末は端末に向かい合う話者の頭部TEの立体画像を受け取る。テレビ会議の間、遠隔の話者の端末にその画像を送信するためである。他の変形として、例えば買い物や旅行者情報のデータベースといったデータベースへのアクセスを提供する公共端末に設備される仮想アシスタントが交換手・受付係の頭部TEの立体画像を保存しており、情報が聴かれている間その画像が表示される。図1及び図2のそれぞれXOY平面の正面図とYOZ平面の右側面図に示されるように、話者又はオペレータの頭部TEが立体で網目状の画像形式でデータ処理手段により得られる。立体で網目状の画像は、スキャナにより得られる又は本発明の一部ではないソフトウェアにより解析された頭部の1つ又はそれ以上の写真から推論される。
【0015】
初期工程E0において、頭部TEが複数の多角形(基本的に三角形と四角形の)の網目の集合により表面的に画定される。それはそれぞれのアニメーションに適用されうる。しかしながら、衣服で覆われた胸部BUは一般にアニメーション化されない。三角形の網目の集合は具体的に例えば顔の表皮、唇LE、右及び左の上瞼PD及びPG、及び左右の目の白目BOG及びBODを含む。
【0016】
以下の記述については、S及びSは任意の2つの網目の交点を示す。
【0017】
図3に示されるように、データ処理手段内においてソフトウェア形式で実行される顔をアニメーション化する方法は、前述したように顔の表面に網目をいれて立体的にする初期工程E0を含み、それに本発明に特有の工程E1からE5が続く。その方法は、話者又はオペレータの頭部と特に顔のリアルタイムの自動的なアニメーション化を可能にし、彼らの声または文字を解析する機能を果たす。それにより音素を話者又はオペレータの顔のアニメーションに翻訳する。唇の動きがこのアニメーションにとって基本的なものである。
【0018】
図4は下唇LI及び上唇LSを含む三角形の網目の集合LEを詳細に示しており、XOY平面において軸OZに沿って集合を投影した正面図で示される。本発明によると、工程E1では図5に示されるアルゴリズムにより下唇LIと上唇LSを区別する。唇を別々にアニメーション化するためである。この唇を区別するアルゴリズムは工程E11からE18を含む。工程E0に含まれる初期工程E10において、三角形の網目の集合LEの交点の座標はすべて既知である。
【0019】
第1工程E11において、集合LEの内側の周縁部の網目の交点Sが識別され、一組の唇LEの内側の輪郭Cinを画定する。内側の輪郭Cinは、静止した唇の間の口BOのかすかな開口と唇の端部の角を取り囲む。集合LEの外側の周縁部における網目の交点が識別され、唇の角を通る上唇及び下唇の集合LEの外側の輪郭Cexを画定する。
【0020】
工程E12において、横軸OXに沿って横方向に最も外側の交点Sing及びSind、すなわち最も左側及び最も右側の交点が、内側の輪郭Cin上に検出される。同様に、工程E13において、横軸OXに沿って横方向に最も外側の交点Sexg及びSexd、すなわち最も左側及び最も右側の交点が外側の輪郭Cex上で検出される。外側の輪郭Cex上の最も小さい縦軸に対応する他の交点Sinfもまた検出される。
【0021】
左手側の交点のペア(Sing、Sexg)及び右手側の交点のペア(Sind、Sexd)は従って唇の左右の角に形体を与える。
【0022】
その後、図4の内側の輪郭の左側の交点Singの左側にあり、前もって検出された端部を有する左角の部分Sexgingより小さい縦軸Yを有するすべての網目の交点は、工程E14において、下唇LIに属する交点であると区分される。同様に、図4の内側の輪郭の右側の交点Sindの右側にあり、前もって検出された端部を有する右角の部分Sexdindより小さい縦軸Yを有するすべての網目の交点は、工程E15において、下唇LIに属する交点であると区分される。従って、工程E14及びE15において、角の部分Sexgingの1つの下にある網目の交点は下唇LIに属すると区分される。
【0023】
次の工程E16において、下側の交点Sinfが下唇LIに属する交点としてマークされる。
【0024】
工程E17において、区分されていない、すなわち口の開口BOの高さになく、唇の内側の輪郭Sing及びSindの交点の横座標間に横座標Xを有するすべての網目の交点は、下唇LIの下側の交点Sinfに近い2つの交点から始まり、徐々に下側の唇つまり唇の角部分へ押し寄せ、区分される交点がもはやなくなるまで下唇LIに属するとして再帰的に区分される。
【0025】
その後、工程E18において、一組の唇LEで区分されておらず、下唇LIに属さないとされた他のすべての交点は、上唇LSに属するものとして区分される。この段階において、上唇LS及び下唇LIは2つの網目の交点の集合により別々に画定される。2つの網目の交点の集合は、唇の間のわずかな口の開口OBにより、及び可能的には上唇LSに属すると考えられる角の高さの境界点により分離される。
【0026】
図3を参照すると、顔をアニメーション化する方法は、特別な方法でモデル化された口を開けるため及び頭部TEの下部領域ZI及び上部領域ZSを決定するための特殊な顔の筋肉を配置する及び画定する工程E2及びE3を続ける。特殊な筋肉の作用を限定するため及びもう1つの唇に関して独立した1つの唇のアニメーションを制御しそれにより唇LIとLSを分離するためである。
【0027】
図6に示され、図7の表に提示されるように、工程E2はある領域において唇の動きを制御する17の筋肉のグループを画定する。その領域は実質的には鼻の下に位置し、頭部TEの前部と後部の正中面APに関して左右対称である。この代案として、工程E2は初期工程E0のあとに実行されうる。17の筋肉とは、
鼻の鼻翼に沿って斜め下方に延びる左右の内側の鼻−唇筋M1G及びM1D、
取り付け個所が鼻の中隔の下に位置し、上唇LSの鼻下の溝Ssup(図4)に下方に延びる中央の上唇挙筋M2、
取り付け個所が実質上鼻孔の根元にあり、鼻下の溝を特徴付ける交点Ssupと唇の角の間にある外側の輪郭Cexへ実質上垂直方向に延びる左右の内側の鼻−唇筋肉M3G及びM3D、
実質上それぞれの耳の上に取り付けられ、唇の角にある外側の交点Sexg及びSexdまで実質上斜めに延びる左右の大頬骨筋M4G及びM4D、
頬の真ん中から唇の角にある外側の交点まで実質上水平に延びる左右の笑筋M5G及びM5D、
顎先から唇の角にある外側の交点へ実質上斜め上方及び横方向に延びる左右の口角下制筋M6G及びM6D、
顎先の隆起から下側の交点Sinf及び唇の角にある外側の交点の間の下唇LIの外側の輪郭Cexに向かって実質上垂直方向上向きに延びる左右の三角筋M7G及びM7D、
顎先の切れ込みから下唇LIの下側の交点Sinfにまで実質上垂直に延びる顎先の筋肉M8、
内側の輪郭Cin上の向かい合う中央の交点の間に位置する口の開口部の真ん中MO(図4)に取り付け個所を有し、口の開口部OBの部分の交点Sing及びSindにそれぞれ向かい、口の内部に水平に向う左右及び前部の輪筋M9G、M9D及びM9Fである。
【0028】
3つの輪筋M9G、M9D及びM9Fは、環状筋を構成し、口の周りの括約筋として作用し、真ん中MO上に集まり、例えば文字Oの発音を真似る。
【0029】
本発明によると、上記に記載され口の開口に際し特殊な17のモデル化された筋肉の作用は、唇のアニメーション化においてさらに具体的になるべく、唇の分離を可能とするそれぞれの決定された作用領域に限定される。この分離を得るために、工程E3は顔の下部領域ZI及び顔の上部領域ZSを画定する。1つ又は両方の領域ZI及びZSのそれぞれの交点に対してこれらの筋肉のうちのいくつかの作用を限定するためであり、これは図7の表の右側の列に示されている。
【0030】
図9に関連し、図8に詳細に示されるように、2つの領域ZI及びZSの1つ、例えば下部領域ZIは、5つの工程E31からE35により決定される。
【0031】
工程E31において、網目の集合LEにおける下唇LIのすべての網目の交点Sは顔の下部領域ZIに属するものとして区分される。工程E32において、口の真ん中MBは、唇の角にある外側の交点Sexg及びSexd間の部分の真ん中であるとして決定され、その交点Sexg及びSexdは、工程E13において(図5)、外側の輪郭Cex上の最も外側の交点としてすでに検出されている。左右の顎の枢軸の交点Spg及びSpdは、工程E33において、実質上耳の基底部で決定され、図2に示されるような、顎の、特に下顎の水平な枢軸を標示する。
【0032】
次の工程E34において、頭部の及び特に「顔の表皮」として参照される表面の網目の集合のすべての網目の交点Sであって、左側の輪郭の投影における(図示せず)部分Spgexg下に位置し、口の真ん中MBの左、すなわち、頭部TEの前部と後部の正中面の左にある交点は、下部領域ZIに属するとして区分される。同様に、網目の「顔の表皮」集合のすべての交点のうち、図2に示される右側の輪郭の投影において部分Spdexd下に位置し、口の真ん中MBの右、すなわち頭部TEの前部と後部の正中面の右にある交点は、下部領域ZIに属するものとして区分される。従って下部領域は破線の下に位置し、外側の角の交点Sexg及びSexd間の部分を通って枢軸の交点Spgpdと結合する。
【0033】
その後工程E35において、頭部の、特に「顔の表皮」の集合の他のすべての網目の交点は、頭部の上部領域ZSに属するものとして区分される。
【0034】
図9において、影のついた網目の部分は下部領域ZIを表し、影のついていない網目部分は上部領域ZSを表す。
【0035】
図6に関して、図7の表の左手側の列に示されるように、上唇LS上の筋肉M2、M3G及びM3Dは、上部領域ZSにおいてのみ作用し、下唇LIの下にある筋肉M7G、M7D及びM8は、下部領域ZIにおいてのみ作用する。唇を互いに向って及び互いから離れて動かすためである。図7の表の他の筋肉は口の横方向に位置し、それぞれが下部領域及び上部領域の網目の交点を同時に動かし、唇を横方向又は斜めに伸ばす及び収縮する。
【0036】
本発明は図10に示されるようにWATERSにより推薦されるものと幾分似ている筋肉の模型を採用する。それは筋肉の収縮における皮膚の弾力性を考慮に入れ、長くて細かい計算を避ける。
【0037】
モデル化された筋肉は、たった2カ所で網目状の頭部に取り付けられる。それは非常にしばしば網目の交点と一致し、筋肉のベクトル
【数7】
Figure 2004504679
の始点及び方向付けられた先端により表される。ベクトルの始点は、筋肉の根元と考えられる筋肉の取り付け個所Aを構成する。生物学的な視点から、筋肉は頭部TEの骨に取り付けられるからである。方向づけられた先端が筋肉の組織へ挿入する箇所Iを構成する。収縮の間、取り付け個所A及び挿入箇所Iは静止した状態を保持し、筋肉は収束する磁界のように作用し、ベクトル
【数8】
Figure 2004504679
付近の錐体の作用領域ZNに位置する網目の交点Sをベクトルの始点Aの方向に引きつける。これは、本発明によりモデル化された筋肉の20%及び60%収縮を示す図11A及び図11Bからわかる。筋肉の作用領域ZNは母線AB、ベクトル
【数9】
Figure 2004504679
に沿った軸、円錐の角度α及び中心Aを伴う球状の底面BBに対応する。錐体の作用領域ZNは図10に示されるように、ベクトル
【数10】
Figure 2004504679
の全体を含む。
【0038】
作用領域ZNのモデル化された筋肉のベクトル
【数11】
Figure 2004504679
は、以下のパラメータにより画定される。そのパラメータとは、
円形の開口度αであって、作用領域ZNの軸AIに関する網目の交点Sの移動ベクトル
【数12】
Figure 2004504679
の方向に関する角度β=IASに対して、筋肉収縮時に交点Sの移動が筋肉の作用領域ZNを超えない限界を画定し、
筋肉収縮の角度及び半径の減衰領域AARであって、母線TB及び同軸で球状の底面TT及びBBを伴う円錐台により画定され、作用領域ZNの球状の周囲に位置し、所定の幅TBを伴うベクトル
【数13】
Figure 2004504679
の方向付けられた先端Iを含み、その範囲内で網目の交点Sがますます筋肉により移動するのは、交点Sが筋肉の部分AI及び小さい方の底面TTの交点I’の近くに位置するときであり、
筋肉の収縮の角度の減衰領域AAであって、交点A及びより小さい方の底面TTの間の円錐により画定され、その中で網目の交点Sが筋肉によりますます移動するのは、交点Sが筋肉の部分AI及び交点Aの近くに位置するときである。
【0039】
作用領域ZNの周囲、すなわち母線ABを伴う円錐表面及び球状で大きい方の底面BB上の交点Sは、筋肉収縮時に静止している。角度β=IASが角度αと等しくなるまで大きくなる場合、移動減衰δがますます優勢となり(δ≒0)、移動した交点と移動しない交点の隣との間の誇張された境界を防ぐ。網目の交点Sの移動は、以下の方程式によりベクトル
【数14】
Figure 2004504679
の反対方向である移動ベクトル
【数15】
Figure 2004504679
の移動を交点Sの座標X、Y、Zに加えることにより計算される。
【数16】
Figure 2004504679
この際、Cは筋肉収縮のパーセンテージであり、δは角度の減衰係数δ及び半径の減衰係数δの生成物と等しい減衰係数であって、以下により定義される。
【数17】
Figure 2004504679
  δ=cos((‖T’S‖/‖TB‖)(π/2))
ここで‖AS‖>‖AT‖の場合、δ=δ・δ
‖AS‖≦‖AT‖の場合、δ=δ及びδ=1、
そして、T’はASと底面TTの交点である。
【0040】
減衰係数δは本発明に特有であり、ベクトル
【数18】
Figure 2004504679
及びベクトル
【数19】
Figure 2004504679
間の角度距離βに左右される。最大の収縮、すなわち
【数20】
Figure 2004504679
のときの収縮は、β=0かつδ=δ=1である部分AI’に含まれる交点に対して独自に得られ、点I’は最も遠くに移動されうる交点である。減衰係数δは、点S及びT’間の半径方向の距離の関数であり、0と1の間であって小さい方の底面TTから大きい方の底面BBに向かう円錐台形領域AARにおいてのみ変化する。
【0041】
図6にも示されるように、額に配置された他のモデル化された顔の筋肉は、左右の眉SG及びSDをアニメーション化するために提供される。図12の表に記載されるモデル化された筋肉は、
額に取り付けられ、それぞれ左右の眉SG及びSDの外側、真ん中及び内側の先端まで実質上下方に延びる左右の外側の前筋M10G及びM10D、左右の前筋M11G、M11D及び左右の大前筋M12G及びM12D、
実質上鼻の頂点に対して横方向に取り付けられ、それぞれ左右の眉の筋肉M11G−M12G及びM11D−M12Dの取り付け個所の間にまで上方を向く左右の側方皺眉筋M13G及びM13D、
目の外側の角に取り付けられ、眉の外側の先端に向かって実質上上方に、眉の外側の先端の下方まで延びる左右の下方輪筋M14G及びM14D及び上瞼PAG、PADの真ん中に取り付けられ、下瞼の真ん中に向かって実質上下方に延び、瞼を上げる左右の上方輪筋M15G及びM15Dである。
【0042】
すでに述べたとおり、筋肉が網目の交点Sに作用するとき移動ベクトル
【数21】
Figure 2004504679
が発生する。それは交点Sの座標に加えられ、移動交点を得る。しかしながら、網目の交点Sが1つ以上の交差する筋肉の作用領域に位置し、従ってこれらすべての筋肉の作用を受ける場合、適切な予防措置をとらずに移動ベクトルを加えることにより、ベクトルの付加に起因する網目の交点の過度の移動が発生する。移動した交点は、移動に寄与するモデル化された筋肉の取り付け個所より遠くに引き付けられる。
【0043】
例えば、3つの筋肉
【数22】
Figure 2004504679
及び
【数23】
Figure 2004504679
は図13Aに示される交差する作用領域ZN、ZN及びZNを有する。これら3つの筋肉の筋肉ベクトルは共通する網目の交点SCで交わる。交点SCのような、3つの作用領域に共通する、共通する網目の交点にこれら3つのベクトルの作用を付加すると、各々がC=20%の寄与では移動交点SCを作用領域内に保持する。一方、収縮Cのパーセンテージが高い場合、例えば図13Bに示されるように60%に等しい場合、3つの筋肉A、A及びAの寄与を加えることにより得られる合成ベクトルを交点SCのような共通する交点に適用することにより、作用領域ZN、ZN及びZNの外に引っ張られる移動交点SCが発生するが、それは実際には不可能である。
【0044】
この課題を克服するために、工程E4は図14の表に示されるようにモデル化された顔の筋肉を分類し、それらの位置によりグループG1からG5を構成する。
【0045】
第1のグループG1は筋肉M2、M3G、M3D、M4G及びM4Dを含む。それらは上唇LSに取り付けられ、隣接する筋肉の間で少なくとも2つずつ交差する作用領域を有し、唇LS及び鼻NEの下の網目の交点Sを移動する。第2のグループG2は筋肉M6G、M6D、M7G、M7D及びM8を含む。それらは下唇LIに取り付けられ、隣接する筋肉の間で少なくとも2つずつ交差する作用領域を有し、唇LI及び顎先MEの網目の交点Sを移動する。第3のグループG3は左の前筋M10G、M11G、M12G及びM15Gを含む。それらは実質上左正面部分に位置し、図13Aと相似する方法で、少なくとも2つずつ交差する作用領域を有し、実質上眉SG及び/又は瞼PAGの中及び/又は上にある正面の網目の交点Sを移動する。同様に、第4のグループG4は右の前筋M10D、M11D、M12D及びM15Dを含み、それぞれ筋肉M10G、M11G、M12G及びM15Gと左右対称である。
【0046】
第1の4つのグループG1、G2、G3及びG4のそれぞれにおいて、網目の交点Sの移動ベクトルは網目の交点Sに作用できるグループの筋肉の作用に起因する移動ベクトルを加えることにより決定され、合成ベクトルを得る。合成ベクトルはその後切り捨てられ、それにより合成ベクトルの係数は作用しなければならない筋肉の移動ベクトルの最大係数に等しくなる。
【0047】
例えば、図13A及び13Bに示される前述の3つの筋肉A、A及びAが4つのグループG1からG4のうちのひとつに属し、例えば第1グループG1の筋肉M3D、M2及びM3G又は第2グループG2の筋肉M7D、M8及びM7Gといった共通する少なくとも1つの網目の交点Sを含む作用領域ZN、ZN及びZNを有する場合、交点Sは3つの筋肉の移動ベクトル
【数24】
Figure 2004504679
及び
【数25】
Figure 2004504679
の合計に等しい合成ベクトルと同じ方向を有するベクトルにより本発明に従って移動する。言い換えると、
【数26】
Figure 2004504679
であってベクトル
【数27】
Figure 2004504679
と同じ係数を有するベクトルにより移動する。それは、
【数28】
Figure 2004504679
の場合であって、さもなければ係数が「sup」と表示される3つの係数の最高値に等しい場合である。前述した方程式において、C、C及びCはそれぞれ3つの筋肉A、A及びAの収縮を表し、δ、δ、δは減衰係数を表し、それぞれ作用領域ZN、ZN及びZNにおける交点Sの位置に左右される。
【0048】
最後のグループG5は様々な筋肉、具体的にはモデル化された筋肉M4G、M4D、M5G、M5D、M6G、M6D、M9G、M9D及びM9Fを含む。これらの筋肉は交点のそれぞれを移動させる作用領域を含み、交点は一部上部領域ZSにあるが実質上は下唇LIの上にあり、一部下部領域ZIにあるが実質上は上唇LSの下にある。最後のグループG5はこれらの筋肉によって唇を伸ばし、収縮させることができる。
【0049】
グループG5はまた、交点がたった1つの筋肉の作用領域に存在しうる又は移動が直角であるように選択された筋肉を有する。従ってグループG5はモデル化された筋肉M5G及びM5Dを含む。筋肉M5G及びM5Dはそれぞれ唇の角Sexg及びSexdに取り付けられ、独立した作用領域を有し、網目の交点を唇の角Sexg及びSexdに向かって反対方向にそれぞれ独立して移動させる。グループG5はモデル化された筋肉M9G、M9D及びM9Fを含む。筋肉M9G、M9D及びM9Fは口の真ん中に取り付けられ、独立した作用領域を有し、網目の交点を唇の角Sexg及びSexd及び口の内側に向かってそれぞれ独立して移動させる。
【0050】
上記の代案として、モデル化された筋肉のベクトル
【数29】
Figure 2004504679
が、その取り付け個所がベクトルの始点A及び方向付けられた先端Iであり、図15及び図16に示されるように、楕円形の底面を伴う作用領域znのパラメータにより画定される。パラメータは実質上図10に示される作用領域ZNに対して画定されたものと類似し、以後対応する小文字により表示される。パラメータは、2つの取り付け個所のほかに、ベクトル
【数30】
Figure 2004504679
は方向付けられた先端Iから離れてベクトル
【数31】
Figure 2004504679
の始点Aの裏側の方向、
【数32】
Figure 2004504679
であるポイントdAへ向かう移動「disp」である。それにより、特に短い筋肉に対して、力が非常に密度の高い方法で始点Aに向かって集中するが、「裏側の」ポイントdAに向かって集中するように見える。
パラメータは、平面xz及びyzにおける2つの楕円形の開口角度αeh及びαevである。それはベクトル
【数33】
Figure 2004504679
の方向に垂直な作用領域znの楕円形の輪郭部分及び先端Iの前にある作用領域znを終了する長円体の底面bbによるものである。2h及び2eが部分AIと同一線形順序に並ぶ縦軸z上の中心S’を伴う楕円形部分の主要な軸及び軽微な軸を意味し、Sが作用領域znのS’と同じ高さの網目の交点である場合、交点Sの座標x及びyは
(x/h)+(y/v)=1
となる。すなわち、作用領域の軸zに関する交点Sの移動ベクトル
【数34】
Figure 2004504679
の方向に関してβ=IdASを伴い、
=(SS’=1/[sinβ/h+cosβ/v
h=‖dAS’‖tg αeh
v=‖dAS’‖tg αev
である。
パラメータは、筋肉の収縮の角度及び半径の減衰領域aarであって、母線tb及び同軸で長円体の底面tt及びbbを伴う円錐台により画定され、作用領域znの長円体の周囲に位置し、ベクトル
【数35】
Figure 2004504679
の方向付けられた先端Iを含む。また所定の幅tbを伴い、その中で網目の交点Sが筋肉によってますます移動するのは、交点Sが筋肉部分AI及び小さい方の底面ttの交点i’の近くに位置するときである。
パラメータは、筋肉の収縮の角度減衰領域aaであって、始点Aの周りの小さな底面aa及び中間の底面ttを伴う円錐台により画定され、その中で網目の交点Sがますます筋肉により移動するのは、交点Sが筋肉の部分AI及び交点Aの近くに位置するときである。
【0051】
底面aa及び頂点dAを有する円錐領域は作用領域znに属しないことがわかる。
【0052】
作用領域znの周囲、すなわち母線abを伴う円錐表面及び球状の大きい方の底面bb上の交点Sは、筋肉が収縮するとき静止している。半径距離S’が対応する楕円形部分の半径に等しくなるまで増加する場合、移動減衰δはますます優勢となり(δ≒0)、それにより移動する交点及び移動しない交点の隣との間に誇張された境界が現れるのを防ぐ。網目の交点Sの移動は以下の方程式に従い、ベクトル
【数36】
Figure 2004504679
の反対方向の移動ベクトル
【数37】
Figure 2004504679
を交点Sの座標x,y,zに加えることにより計算される。
【数38】
Figure 2004504679
 ここでCは筋肉の収縮のパーセンテージであり、δは角度減衰係数δeA及び半径減衰係数δeRの生成物に等しい減衰係数である。δeA及びδeRは以下のように画定される。
δeA=(r−‖S’‖)/r
δeR=(‖AI‖/‖dAI‖)cos[((‖dAS‖−‖dAt’‖)/(‖dAS’‖−‖dAt’‖))(π/2)]
‖dAS‖>‖dAt‖の場合、δ=δeA・δeR
‖dAa‖≦‖dAS‖≦‖dAt‖の場合、δ=δeA=‖AI‖/‖dAI‖及びδeR=1
そしてt’はdASと底面ttとの交点である。
【0053】
作用領域znのモデル化された筋肉は、作用領域ZNのモデル化された筋肉と類似する方法で機能する。
【0054】
ハイブリッド変形では、頭部の筋肉は部分的に作用領域ZN(図10)で画定され、部分的に作用領域zn(図15及び図16)で画定される。
【0055】
本発明による顔のアニメーション化はまた、目と上瞼、下あごと首のような他の器官のパラメトリックアニメーション化を含む。そのパラメータは工程E5(図5)において画定され、関連する工程E4からの続きとして示される。しかし、工程E5はE4の前、例えば初期工程E0の後に実行されうる。
【0056】
初期工程E0において、目すなわち左右それぞれ虹彩及び瞳孔を含む左目の白目BOG及び右目の白目BODと、左右の瞼PAG及びPADに関する網目の集合は完全に画定される。集合BOG、BODは実質上半球体であり、集合PAG及びPADは球体の一部分であることを前提とする。
【0057】
任意の目、例えば右目BOGをアニメーション化するために、目の回転の中心RO及び対応する瞼PADの回転軸APが図17に示される工程E51及びE52で検索される。
【0058】
工程E51は、自動的に2つの網目の交点S及びSを検索する。それらは対応する目の白目BOGに関する網目の集合で最も遠く離れている。最も離れた2つの交点S及びSは半球体の目の直径を形成する部分の先端を画定し、これら2つの交点をつなぐ直径部分の真ん中は目の回転の中心ROを画定する。工程E51は各々の目に対して繰り返される。静止した顔は正面から見ると平面XOYに平行で、側面から見ると平面YOXに平行であるため、それぞれの目はそれぞれの中心ROについて、及び軸OX及びOYの周りを回転することができ、それにより上方又は下方及び/又は右又は左を見る擬態ができる。
【0059】
工程E52は対応する上瞼の回転軸APを自動的に決定するが、それは同様の方法、つまり対応する網目の集合PADで最も離れている2つの網目の交点S及びSを検索することにより決定する。回転軸について網目の集合PADは回転することができ、瞼の開閉を擬態する。その回転軸はこれら2つの網目の交点を通る。工程E52は他の瞼PAGに対しても繰り返される。
【0060】
下顎MAのアニメーション化は、顔の表皮に関する網目の集合に作動する。
【0061】
工程E53は図2に関連し、網目の交点を
工程E33(図8)ですでに決定されていない場合、側面図(図2)において一般に一致する顎の2つの枢軸の交点Spg及びSpdとして、
頭部TEの前部と後部の正中面に位置し、実質上顎の切り込みの始点である顎先の交点Smeとして、及び
実質上前部と後部の正中面にあり、顎先の下側及び首の前部分の間の角度の頂点である頭部−首移行部の交点SCOとして決定する。
【0062】
これら3つの網目の交点は交点Spd(Spg)及び側面Spdme(Spgme)及びSpdCOとともに、顎関節の角扇形AMを画定する。
【0063】
その後工程E54は所定の角扇形αを決定するが、それは顎関節の扇形AM=SmepdCO=SmepgCOより小さく、図2に示されるように共通する下方側面のSpdCOからの扇形AMに含まれる。交点S1COはαの上方側面及び顎先との交点で画定される。
【0064】
その後下顎MAが図2において、関節角AMの側面Spdme及びSpdCO
により形成される角線形AMにより画定される。
【0065】
工程E55において、実質上関節角扇形AMに含まれる「顔の表皮」の網目の集合である交点Sは、顎MAに属するとして区分される。口は顎の回転には影響されず、図6及び図7に関してすでに画定された筋肉によってのみアニメーション化される。
【0066】
顎は図9に示されるように、軸OXに平行な軸Spdpgについて回転する。顎MAが首COと衝突するのを防ぐために、顎の回転を、角扇形α内の顔の表皮及び口腔の集合における網目の交点に対して下方向に徐々に遅らせる。それは、回転が部分SpdCOの付近で0になるまでである。
【0067】
実質上、顎MAの回転βは概して10゜又は15゜以下であり、交点Sは関節の扇形AMの上部分にある角度扇形AM−α=[Smepd S1CO]に位置する網目の交点S上に完全に(β´=β)作動し、減衰方法で角度扇形α内の網目の交点Sに作動する。網目の交点S及び角度線形AMとαに共通する下側面Spdme間の角度距離α=[SCOpd]が減少すると、最初に顎に提供される交点Sの角度移動βが減衰係数δの関数として減少する。それは扇形α内の交点の角度移動β´を以下のようにするためである。
β´=β・δ
∈αに対して
【数39】
Figure 2004504679
【0068】
首COは「顔の表皮」の網目の集合の独特の部分である。工程E56は頭部の前部と後部の正中面APにおいてこの集合のうち次の4つの交点を使用する首を決定する。その4つの交点とは、
首の前部の輪郭に沿い、実質上交点SCOの下及び胸BUの始点の上に位置する上下の前部交点Ssup1及びSinf1、及び
首の後部の輪郭に沿い、実質上口の真ん中MBの高さにあり、及び背中の始点の上に位置する上下の後部交点Ssup2及びSinf2である。
【0069】
次の工程E57は、「顔の表皮」の網目の集合である網目の交点Sが実質上上部交点Ssup1とSsup2及び下部交点Sinf1とSinf2を通る横方向の平面間にある場合、それらを首COに属するものと区分する。その後工程E58において、首に属さない「顔の表皮」の集合の他のすべての交点は、頭部の他のすべての網目の集合内の他のすべての交点とともに、胸BUに関する下方の集合を例外とし、上方前部交点Ssup1の上部で調査され、頭部TEに属するとして区分される。
【0070】
工程E59は、頭部の回転の中心CRTを決定し、それは首COに属する網目の交点を取り囲む容積の中心と一致する。回転の中心CRTは実質上本当の頭部の回転の中心より前にあるが、この方法で得られる頭部の回転の視覚上の効果は申し分ないものである。
【0071】
頭部の回転はトレース平面Ssup1sup2及びSinf1inf2間の首の高さの回転減衰度と関係する。
【0072】
工程E60は、首を画定する交点Ssup1、Ssup2、Sinf1及びSinf2の最小及び最大の座標Ymin及びYmaxを、これら4つの交点の座標Ysup1、Ysup2、Yinf1及びYinf2の関数として以下のように決定する。
min=min(Ysup1、Ysup2、Yinf1、Yinf2
max=max(Ysup1、Ysup2、Yinf1、Yinf2
【0073】
一般に10゜又は15゜以下である頭部TEに伴う回転βは、上部交点Ssup1及びSsup2を通る横方向の平面の上部に位置する網目の交点上において完全に(β´=β)作動し、減衰方法で首CO内の網目の交点Sに作動する。網目の交点Sが下方交点Sinf1及びSinf2を通る首の横方向の平面に近づけば近づくほど、頭部TEに最初に提供される網目の交点Sの角度移動βは、網目の交点Sの座標YSiと最小の座標間の差及び首の最大の高さ(Ymax−Ymin)との間の割合の関数としてますます減少する。首の交点Sの移動β´を以下のようにするためである。
β´=β・δ
【数40】
Figure 2004504679
【0074】
本発明による顔をアニメーション化する方法を実行するための双方向性のクライアントサーバシステムの2つの実施形態が、以下の例において記述される。
【0075】
指導向けで、図18に示される第1の実施形態において、クライアントCLaはプロセッサを構成するアニメーション化モジュールMAaを含む生徒のマイクロコンピュータであり、そこで本発明による顔をアニメーション化するエンジンが実行される。アニメーション化モジュールMAaはすでに「先生」の頭部TEの網目の集合EM及びパラメータPを入手している。それらは生徒に複数の先生の頭部を提供するサーバSE1からダウンロードされる。先生の頭部を画定し、モジュールMAaにダウンロードされるこれらの網目の集合及びパラメータは以下のうちのいくつか又はすべてである。
それは仮想空間表示用の言語(VRML)を使用する立体の先生の頭部をモデル化する網目の集合EM、及び
前述した
顎:Spd(Spg)、Sme、SCO、α(図2)
首:Sinf1、Sinf2、Ssup1、Ssup2(図2)
筋肉(図6、図7及び図12):図10におけるA、I、ZN及び/又は図15及び図16に示される実施形態中のA、I、zn
ですでに画定されたパラメトリックな及び筋肉のアニメーション化を画定するのに必要なパラメータPであり、
その際パラメータSpd、Spg、Sme、SCO、Sinf1、Sinf2、Ssup1、Ssup2、A及びIは網目の数及び網目の交点の数によりそれぞれ区分される網目の交点であり、
AT及びAB及び/又はdAt及びdAbはベクトル
【数41】
Figure 2004504679
のモジュールの一部分として表現され、
α、α及び/又はαeh、αev及びβは度で表示される角度である。
【0076】
第1の実施形態のクライアントサーバシステムのサーバSE2aは先生として作動し、顔のアニメーション化インターフェースIAF及びシナリオベースBSを含む。インターフェースIAFは、クライアントCLaのマイクMP又はキーボードKPからのQR/CL質問又は回答のデジタルメッセージを受け取り、それらをベースBSに適用される要求RQとして解釈する。ベースBSは所定のシナリオに従って回答RPを選択する。回答RPはインターフェースIAFにより解釈されるが、それは一方ではQR/SE質問又は回答メッセージをクライアントCLaの拡声器HPに入力する方法であり、他方ではアニメーション化モジュールMAaに対するアニメーション化コマンドCAを入力し、送信されるRQ/SEメッセージと協調してクライアントCLaの画面上に表示される先生の頭部をアニメーション化する方法である。
【0077】
例えば、本実施形態の教授−生徒間の適用は、質問と回答を先生と交換することによって授業を復習する生徒にある。この型の適用において、生徒側のクライアントCLaは授業を通じて先生側のサーバSE2aに結合されたままであり、先生側のサーバにより完全に制御される。
【0078】
アニメーション化コマンドCAはクライアントのモジュールMAaに含まれるアニメーション化エンジンとは関係がなく、ベースBSにより提供される回答RPの関数として先生の頭部のアニメーション化を制御する。この第1の実施形態において、アニメーション化コマンドCA及びQR/CL及びQR/SEメッセージが電気通信網RTを経由して、クライアントCLa及びサーバSE2aの間で交換される。例えば、サーバSE2aはインターネットサイト上の、又は企業内ネットワークの物理的サーバにおけるソフトウェアアプリケーションである。網羅的ではない例だが、アニメーション化コマンドCAは以下の顔のアニメーション化のすべて又はいくつかと関係がある。それらは、
頭部TEを軸OXについてX度、軸OYについてY度及び軸OZについてZ度回転させること、
右目BOD又は左目BOGを軸OXについてX度及び軸OYについてY度回転させること、
合成され増幅された声で文字を発音し、対応する唇のアニメーションを制作すること、
音声を発音し、対応する唇のアニメーションを制作すること、
頭部の顔に対して中立の表現を選択すること、及び
感動、喜び又は悲しみを、例えば所定のパーセンテージで表現することである。
【0079】
図19に示されるクライアントサーバシステムの第2の実施形態は、ハードウェア条件下でクライアントCLbをさらにローカライズする。クライアントCLbは、ユーザーの家庭に設置される家庭用コンピュータである。クライアントCLbはまた、アニメーション化モジュールMAbを含み、そこでは本発明によるアニメーション化エンジン及び会話モジュールMCと呼ばれる第2のソフトウェアモジュールが実行される。モジュールMCは実質上第1の実施形態の顔のアニメーション化インターフェースIAFと同じような役割を有し、クライアントCLbをクライアントCLaよりも独立させる。アニメーション化エンジンは、クライアントCLbの設置時、又は第1のサーバSE1と実質的に相談することにより、受付係の頭部を画定する網目の集合EM及びパラメータPをすでに入手している。会話モジュールMCは人工知能を使用し、ユーザーの「親友」の役割を演じる。従ってこの「親友」は、ユーザーの家庭を管理する様々な仕事に従事する。その仕事とはボイラの温度調節をする、警報システムを管理する、及び/又は維持管理に加わる、同様に図19に示されるサーバSE3のような様々なサーバから情報収集をするといったものである。サーバSE3はシナリオデータベースを含むデータベースBDを利用して映画の時間、天気予報、レストランのリストなど様々な情報を調べる。
【0080】
会話モジュールMCはサーバSE3のうちの1つにアドレス指定される要求RQに対する回答RPを入手し、上記で画定されたアニメーション化コマンドCAの関数として、リアルタイム又はオフラインで、クライアントCLbの画面上に表示される受付係の頭部をアニメーション化する。例えば、ユーザーが映画の時間又は天気予報を検索している場合、彼はQP/CLメッセージをクライアントCLbのマイクMP又はキーボードKPを経由して会話モジュールMCに対して構築し、モジュールMCはただちにQR/SEメッセージをクライアントCLbの拡声器HPに、モジュールMabに適用される対応するアニメーション化コマンドCAとともに送る。これは会話モジュールがすでに映画の時間又は天気予報を保存している場合である。もしそうでない場合、会話モジュールMAbは対応するサーバSE3に電気通信網RTを経由して問い合わせを行い、そこで時間又は予報を読み取る。読み取ったものはその後オフラインでアニメーション化モジュールMAbを経由してユーザーに送られる。それによりユーザーは夕方には映画の時間を、起床時には天気予報を調べることができる。
【0081】
この第2の実施形態において、ハードウェアクライアントCLbはモジュールMAb及びモジュールMC間のモデルを処理するクライアントサーバとサーバSE3と結合するデータクライアントサーバを有する。
【0082】
上述されたクライアントサーバシステムの2つの実施形態は時間の制約から自由である。なぜなら、アニメーション化モジュールMAa、MAbに対するアニメーション化コマンドCAはあらかじめ画定されておらず、「サーバ」IAF、MCからのQR/SEメッセージの関数としてリアルタイムに実行されるからである。アニメーション化コマンドはクライアントのアニメーション化モジュールMAa、MAbのレベルで同期し、サーバレベルでは同期しない。それにより話された音と唇のアニメーションの間の時間の遅れを防ぐ。
【図面の簡単な説明】
【図1】頭部の網目状の正面図である。
【図2】頭部の網目状の側面図である。
【図3】本発明の好ましい実施形態による顔をアニメーション化する方法のアルゴリズムである。
【図4】頭部の口の網目状の正面図である。
【図5】上唇と下唇を区別するためのアルゴリズムである。
【図6】図1に相似する髪の毛のない正面図であり、顔の筋肉の位置を示している。
【図7】図6に示され唇の動きを制御する顔の筋肉の機能と、上部領域と下部領域に関してこれらの筋肉の作用領域を示す表である。
【図8】頭部の上部領域及び下部領域を決定する図3のアルゴリズムに含まれるアルゴリズムである。
【図9】図1に相似する髪の毛のない図であり、唇の高さで上部領域及び下部領域の境界線を示している。
【図10】筋肉の作用領域のグラフであり、筋肉が収縮するときの網目の交点の移動を説明するのに使用される。
【図11A】対応する筋肉が20%収縮したときの網目状の作用領域のグラフである。
【図11B】対応する筋肉が60%収縮したときの網目状の作用領域のグラフである。
【図12】図6に示される前部筋肉の機能及び上部領域と下部領域に関してこれら筋肉が作用領域を示す表である。
【図13A】本発明が防止する網目の交点を移動させることの不可能性を立証するために、20%の収縮の後の、作用領域に共通する網目の交点の移動に対する3つの筋肉の作用を示す。
【図13B】本発明が防止する網目の交点を移動させることの不可能性を立証するために、60%の収縮の後の、作用領域に共通する網目の交点の移動に対する3つの筋肉の作用を示す。
【図14】顔の筋肉を網目の交点の移動に対する付加的な又は独立した寄与の観点からグループに配分した表である。
【図15】筋肉をモデル化するベクトルを含む平面における、様々な楕円を基盤とした筋肉の作用領域の軸断面図のグラフである。
【図16】筋肉をモデル化するベクトルに垂直な平面における、様々な楕円を基盤とした筋肉の作用領域の軸断面図のグラフである。
【図17】頭部の目、瞼、下顎及び首をアニメーション化するパラメータを決定するアルゴリズムである。
【図18】本発明による顔をアニメーション化するクライアントサーバの実施形態のブロック図である。
【図19】本発明による顔をアニメーション化するクライアントサーバの実施形態のブロック図である。
【符号の説明】
TE 頭部
PAD 右の上瞼
PAG 左の上瞼
BOD 右の白目
BOG 左の白目
LE 唇
MA 下顎
ME 顎先
CO 首
BU 胸
AP 頭部の前部と後部の正中面
RO 目の回転の中心
NE 鼻
CRT 頭部の回転の中心
pd、Spg 顎の枢軸の交点
sup1、Ssup2、Sinf1、Sinf2 首を決定する交点
、S 任意の網目の交点
LI 下唇
LS 上唇
in 唇の内側の輪郭
ex 唇の外側の輪郭
BO 口
ing、Sind 唇の内側の輪郭上の最も左側及び最も右側の交点
exg、Sexd 唇の外側の輪郭上の最も左側及び最も右側の交点
MB 口の真ん中
ZN 作用領域
AB 母線
TT、tt 小さい方の底面
BB、bb 大きい方の底面
SG、SD 眉
me 顎先の交点
CO 頭部−首移行部の交点
AM 顎関節の扇形
CLa クライアント
CLb クライアント
EM 網目の集合
MAa アニメーション化モジュール
MAb アニメーション化モジュール
SE1 サーバ
SE2a サーバ
SE3 サーバ
IAF インターフェース
BS データベース
P パラメータ
MP マイク
KP キーボード
RQ 要求
RP 回答
CA アニメーション化コマンド
RT 電子通信網

Claims (19)

  1. 網目の交点(Sexg、Sexd、Sing、Sind)の関数として唇の角及び口の開口部(BO)の境界線の高さで一組の唇(LE)を上唇及び下唇(LI、LS)に区別し(E1)、
    少なくとも前記境界線により実質上分けられる頭部の上部領域及び下部領域(ZI、ZS)を決定し(E3)、かつ
    上唇(LS)に向かって延び、少なくとも2つずつ交差して前記上部領域(ZS)に位置し、前記上唇(LS)及び頭部の鼻(NE)の下の網目の交点を移動する作用領域を有するモデル化された筋肉(M2、M3G、M3D、M4G、M4D)の第1のグループ(G1)、
    下唇(LI)に向かって延び、少なくとも2つずつ交差して前記下部領域(ZI)に位置し、前記下唇(LI)及び頭部の顎先(ME)の網目の交点を移動する作用領域を有するモデル化された筋肉(M6G、M6D、M7G、M7D、M8)の第2のグループ(G2)、及び
    前記上部領域及び前記下部領域の網目の交点のそれぞれを移動する作用領域を有するモデル化された筋肉(M4G、M4D、M5G、M5D、M6G、M6D、M9G、M9D、M9F)の最後のグループを構成し(E4)、前記唇を伸ばす及び収縮することを特徴とする、モデル化された顔の筋肉により3次元で描かれ、一組の唇を含む網目の集合の形式でデータ処理手段に入力される頭部(TE)をアニメーション化する方法。
  2. 前記最後のグループが、モデル化された筋肉(M5G、M5D)を含み、それらが唇の角(Sexg、Sexd)までそれぞれ延び、それぞれ独立して網目の交点を唇の角の外側に向かって反対方向に移動させる独立した作用領域を有することを特徴とする、請求項1に記載の方法。
  3. 前記最後のグループが、モデル化された筋肉(M9G、M9D、M9F)を含み、それらが口の真ん中に取り付けられ、それぞれ独立して網目の交点を唇の角(Sexg、Sexd)及び口の内部(BO)の方へ移動する独立した作用領域を有することを特徴とする、請求項1又は請求項2に記載の方法。
  4. 区分工程(E1)が以下の工程、つまり
    前記一組の唇(LE)の周縁部の網目の交点を識別して、前記唇の内側及び外側の輪郭(Cin、Cex)を画定し(E11)、
    前記内側及び前記外側の輪郭(Cin、Cex)上の横方向に最も遠い網目の交点(Sexg、Sing、Sind、Sexd)を検出し(E12、E13)、
    すでに検出された交点により画定される唇の角部分のうちの1つの下側の網目の交点を前記下唇LIに属するものとして区分し(E14、E15)、
    前記下唇(LI)の下側の交点(Sinf)付近の交点から始まるすべての区分されていない網目の交点を、前記下唇に属するものと再帰的に区分し、かつ
    前記下唇(LI)に属さない前記一組の唇(LE)の、他のすべての区分されていない交点を前記上唇(LS)に属するものとして区分する(E18)という工程を含むことを特徴とする、請求項1から請求項3のいずれか1つに記載の方法。
  5. 決定工程(E3)が以下の工程、つまり
    前記外側の交点(Sexg、Sexd)間の部分の真ん中(MB)を前記唇の前記外側の輪郭(Cex)上で検出された横方向に最も遠いものと決定し(E32)、
    顎の枢軸の交点(Spg、Spd)を決定し(E33)、
    前記枢軸の交点(Spg、Spd)と前記外側の交点(Sexg、Sexd)間の部分をつなぐ破線下に位置するすべての交点を、前記下部領域(ZI)に属するものとして区分し(E34)、かつ
    頭部の他のすべての網目の交点を前記上部領域(ZS)に属するものと区分する(E35)という工程を含むことを特徴とする、請求項4に記載の方法。
  6. モデル化された筋肉が円錐角αを有する錐体の作用領域(ZN)により画定され、前記作用領域内の網目の交点(S)が移動ベクトル
    Figure 2004504679
    の影響を受け、前記移動ベクトル
    Figure 2004504679
    が作用領域の軸(AI)に対する角度βで前記錐体の作用領域の頂上(A)に向かって方向付けられ、前記移動ベクトルが
    Figure 2004504679
    のように画定される角度の減衰係数δに比例することを特徴とする、請求項1から請求項5のうちのいずれか1つに記載の方法。
  7. モデル化された筋肉が頂点dAを有する円錐台形の作用領域(zn)の始点A、方向付けられた先端I及び2つの楕円形の開口度を有するベクトルにより画定され、その中で、交点を通る半径rの楕円形部分の領域の軸からの半径距離S’に位置する網目の交点Sが移動ベクトルの影響を受け、前記移動ベクトルが作用領域の交点dAに向かって方向付けられ、角度の減衰係数δeA及び半径の減衰係数δeRに比例し、前記角度の減衰係数δeA及び前記半径の減衰係数δeR
    δeA=(r−‖S’‖/r
    δeR=(‖AI‖/‖dAI‖)cos[((‖dAS‖−‖dAt’‖)/(‖dAS’‖−‖dAt’‖))(π/2)]
    ‖dAa‖≦‖dAS‖≦‖dAt‖の場合、
    δ=δeA=‖AI‖/‖dAI‖及びδeR=1
    のように画定され、ここでt’がdASと領域の小さい底面a及び大きい底面b間の中間の底面tとの交点であることを特徴とする、請求項1から請求項5のうちのいずれか1つに記載の方法。
  8. 網目の交点(SC)が筋肉(A、A、A)の複数の交差する作用領域(ZN、ZN、ZN)に位置するとき、網目の交点(S)が前記筋肉の作用に起因する移動ベクトルを加えることにより決定される移動ベクトル
    Figure 2004504679
    により移動して合成ベクトルを得、その後前記合成ベクトルを切り捨て、それにより前記合成ベクトルが筋肉の移動ベクトルの最大係数に等しい係数を有することを特徴とする、請求項1から請求項7のいずれか1つに記載の方法。
  9. モデル化された前筋(M10G、M11G、M12G、M15G、M10D、M11D、M12D、M15D)のグループ(G3;G4)が構成され、前記筋肉はそれぞれ実質上眉(SG;SD)の外側、真ん中及び内側の先端まで、及び瞼(PAG、PAD)の真ん中まで下方に延び、少なくとも2つずつ交差する作用領域を有し、少なくとも眉及び瞼の網目の交点を移動することを特徴とする、請求項1から請求項8のうちいずれか1つに記載の方法。
  10. 以下の器官のうちの少なくとも1つ、すなわち目(BOG、BOD)、瞼(PAG、PAD)、下顎(MA)、首(CO)のうちの少なくとも1つをアニメーション化するパラメータを決定する工程(E5)を含むことを特徴とする、請求項1から請求項9のうちいずれか1つに記載の方法。
  11. 目の回転の中心(RO)を、先端が前記目(BOD)の白目に関する網目の集合内の2つの最も離れた網目の交点である部分の真ん中として決定する工程(E51)を含むことを特徴とする、請求項1から請求項10のうちいずれか1つに記載の方法。
  12. 瞼の回転軸(APA)を決定する工程(E52)を含み、前記瞼の回転軸が前記瞼に関する網目の集合(PAD)内の2つの最も遠くに離れた網目の交点を通ることを特徴とする、請求項1から請求項11のうちいずれか1つに記載の方法。
  13. 網目の交点を顎枢軸の交点(Spg、Spd)、顎先の交点(Sme)及び頭部―首移行部の交点(SCO)として決定して、顎関節の角AMを画定し(E53)、
    関節扇形AMより小さく、関節扇形AMに含まれ、共通する下方側面(Spd、SCO)を有する所定の角度扇形αを決定し(E54)、
    角度関節扇形AMに実質上含まれる網目の交点を、顎(MA)の回転が角度扇形AM−αに位置する網目の交点に完全に作動し、及び減衰方法で角度扇形α内の網目の交点に完全に作動するように区分し(E55)、それにより網目の交点及び共通する下方側面(Spd、SCO)間の角度距離αが減少する場合、前記網目の交点が
    Figure 2004504679
    のように画定される減衰係数の関数として移動するという工程を含むことを特徴とする、請求項1から請求項12のうちいずれか1つに記載の方法。
  14. 首(CO)の上部及び下部の前方の交点(Ssup1、Sinf1)及び上部及び下部の後方の交点(Ssup2、Sinf2)を決定し(E56)、
    前記上部及び下部の交点(Ssup1、Ssup2、Sinf1、Sinf2)を通る横方向の平面間に実質上含まれる網目の交点を首に属するものと区分し(E57)、
    首に属さない頭部の網目の交点すべてを区分し(E58)、
    首に属する網目の交点を取り囲む容積の中心から成る頭部の回転の中心(CRT)を決定し(E59)、
    前記首(TE)の実質上の回転が前記上部の交点(Ssup1、Ssup2)を通る横方向の平面上に位置する網目の交点に完全に作動し、及び減衰方法で首(CO)の網目の交点に完全に作動するために、前記首の上部及び下部の交点の最小及び最大の座標Ymin及びYmaxを決定し(E60)、それにより座標YSiである網目の交点(S)が前記下部の交点(Sinf1、Sinf2)を通る横方向の平面に近づけば近づくほど、前記網目の交点の角度移動が
    Figure 2004504679
    のように画定される比率の関数としてますます減少するという工程を含むことを特徴とする、請求項1から請求項13のいずれか1つに記載の方法。
  15. クライアント(CLa)が、請求項1から請求項14のいずれか1つに記載の方法による網目の集合(EM)及びパラメータ(P)形式で立体で描かれる頭部(TE)を入手する、頭部をアニメーション化コマンド(CA)の関数としてアニメーション化するデータ処理手段(MAa)を含み、サーバ(SE2a)が前記クライアント(CLa)により送信されるメッセージ(QR/CL)に対応する要求(RQ)によりアドレス指定されるデータベース(BS)で読み取られる回答(RP)を、前記クライアント(CLa)に送信されるメッセージ(QR/SE)及びアニメーション化コマンド(CA)に変換することを特徴とする、クライアントサーバシステム。
  16. サーバ(SE3)がデータベースサーバであり、クライアント(CLb)が請求項1から請求項14のいずれか1つに記載の方法による網目の集合(EM)及びパラメータ(P)形式で立体に描かれる頭部(TE)を入手する、頭部をアニメーション化コマンド(CA)の関数としてアニメーション化するデータ処理手段(MAb)と、さらにクライアントに提供されるメッセージ(QR/CL)に対応する要求(RQ)によってアドレス指定されたデータベースサーバ(SE3)で読み取られる回答(RP)を、クライアントに適用されるメッセージ(QR/SE)及び前記データ処理手段(MAb)に送信されるアニメーション化コマンド(CA)に変換する会話手段(MC)を含むことを特徴とする、クライアントサーバシステム。
  17. 前記網目の集合(EM)及び前記パラメータ(P)が所定のサーバ(SE1)から選択される及び入手されることを特徴とする、請求項15又は請求項16に記載のクライアントサーバシステム。
  18. 前記網目の集合及び前記パラメータが以下の、つまり頭部(TE)を立体にモデル化する網目の集合(EM);具体的に顎(Spd(Spg)、Sme、MCO、α)、首(Sinf1、Sinf2、Ssup1、Ssup2)及び筋肉(A、I、T、B、α)のアニメーション化を画定するのに必要なパラメータ(P)のうちのすべてまたはいくつかであることを特徴とする、請求項15から請求項17のいずれか1つに記載のクライアントサーバシステム。
  19. 前記アニメーション化コマンド(CA)が以下の顔のアニメーション化、つまり前記頭部(TE)を回転すること、目(BOD、BOG)を回転すること、瞼(PAD、PAG)を回転すること、文字を発音すること、音を発音すること、頭部の顔の中立の表現を選択すること、感動を表現することのいくつか又はすべてと関係があることを特徴とする、請求項15から請求項18のいずれか1つに記載のクライアントサーバシステム。
JP2002512931A 2000-07-13 2001-07-11 顔をアニメーション化する方法 Expired - Fee Related JP4701582B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR0009437A FR2811792B1 (fr) 2000-07-13 2000-07-13 Procede d'animation faciale
FR00/09437 2000-07-13
PCT/FR2001/002236 WO2002007101A1 (fr) 2000-07-13 2001-07-11 Procede d'animation faciale

Publications (2)

Publication Number Publication Date
JP2004504679A true JP2004504679A (ja) 2004-02-12
JP4701582B2 JP4701582B2 (ja) 2011-06-15

Family

ID=8852659

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002512931A Expired - Fee Related JP4701582B2 (ja) 2000-07-13 2001-07-11 顔をアニメーション化する方法

Country Status (8)

Country Link
US (1) US7289124B2 (ja)
EP (1) EP1299861B1 (ja)
JP (1) JP4701582B2 (ja)
AT (1) ATE332543T1 (ja)
DE (1) DE60121334T2 (ja)
ES (1) ES2267795T3 (ja)
FR (1) FR2811792B1 (ja)
WO (1) WO2002007101A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5969721A (en) * 1997-06-03 1999-10-19 At&T Corp. System and apparatus for customizing a computer animation wireframe
US7068277B2 (en) * 2003-03-13 2006-06-27 Sony Corporation System and method for animating a digital facial model
US7239321B2 (en) * 2003-08-26 2007-07-03 Speech Graphics, Inc. Static and dynamic 3-D human face reconstruction
US7688323B2 (en) * 2004-07-20 2010-03-30 Luxology, Llc Function portions of animation program
US7554549B2 (en) * 2004-10-01 2009-06-30 Sony Corporation System and method for tracking facial muscle and eye motion for computer graphics animation
CA2553546A1 (en) * 2005-07-29 2007-01-29 Avid Technology, Inc. Three-dimensional animation of soft tissue of characters using controls associated with a surface mesh
US8659668B2 (en) 2005-10-07 2014-02-25 Rearden, Llc Apparatus and method for performing motion capture using a random pattern on capture surfaces
US20080055316A1 (en) * 2006-08-30 2008-03-06 Microsoft Corporation Programmatically representing sentence meaning with animation
CA2745094A1 (en) * 2008-12-04 2010-07-01 Total Immersion Software, Inc. Systems and methods for dynamically injecting expression information into an animated facial mesh
US9183560B2 (en) 2010-05-28 2015-11-10 Daniel H. Abelow Reality alternate
CN101930747A (zh) * 2010-07-30 2010-12-29 四川微迪数字技术有限公司 一种将语音转换成口型图像的方法和装置
US9082222B2 (en) * 2011-01-18 2015-07-14 Disney Enterprises, Inc. Physical face cloning
US10438631B2 (en) * 2014-02-05 2019-10-08 Snap Inc. Method for real-time video processing involving retouching of an object in the video
FR3033660A1 (fr) * 2015-03-12 2016-09-16 Univ De Lorraine Dispositif de traitement d'image

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08194839A (ja) * 1995-01-18 1996-07-30 Oki Electric Ind Co Ltd 顔画像表示装置及びその表示方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5680531A (en) * 1993-07-02 1997-10-21 Apple Computer, Inc. Animation system which employs scattered data interpolation and discontinuities for limiting interpolation ranges
US6188776B1 (en) * 1996-05-21 2001-02-13 Interval Research Corporation Principle component analysis of images for the automatic location of control points
US5969721A (en) * 1997-06-03 1999-10-19 At&T Corp. System and apparatus for customizing a computer animation wireframe
AU1613599A (en) * 1997-12-01 1999-06-16 Arsev H. Eraslan Three-dimensional face identification system
US6307558B1 (en) * 1999-03-03 2001-10-23 Intel Corporation Method of hierarchical static scene simplification
US6504546B1 (en) * 2000-02-08 2003-01-07 At&T Corp. Method of modeling objects to synthesize three-dimensional, photo-realistic animations
US6664956B1 (en) * 2000-10-12 2003-12-16 Momentum Bilgisayar, Yazilim, Danismanlik, Ticaret A. S. Method for generating a personalized 3-D face model

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08194839A (ja) * 1995-01-18 1996-07-30 Oki Electric Ind Co Ltd 顔画像表示装置及びその表示方法

Also Published As

Publication number Publication date
WO2002007101A1 (fr) 2002-01-24
ES2267795T3 (es) 2007-03-16
FR2811792A1 (fr) 2002-01-18
US7289124B2 (en) 2007-10-30
EP1299861B1 (fr) 2006-07-05
DE60121334D1 (de) 2006-08-17
DE60121334T2 (de) 2007-07-05
US20030160791A1 (en) 2003-08-28
EP1299861A1 (fr) 2003-04-09
ATE332543T1 (de) 2006-07-15
FR2811792B1 (fr) 2002-12-06
JP4701582B2 (ja) 2011-06-15

Similar Documents

Publication Publication Date Title
Parke et al. Computer facial animation
JP4701582B2 (ja) 顔をアニメーション化する方法
Shapiro Building a character animation system
Bailly et al. Audiovisual speech synthesis
US20100182325A1 (en) Apparatus and method for efficient animation of believable speaking 3d characters in real time
EP0883090A2 (en) Method for generating photo-realistic animated characters
CN106648071A (zh) 虚拟现实社交实现系统
CN111724457A (zh) 基于ue4的真实感虚拟人多模态交互实现方法
CN113781610A (zh) 一种虚拟人脸的生成方法
JP2023511107A (ja) 中立アバタ
CN110443872B (zh) 一种具备动态纹理细节的表情合成方法
Goto et al. MPEG-4 based animation with face feature tracking
King A facial model and animation techniques for animated speech
Ali et al. Lip syncing method for realistic expressive 3D face model
Čereković et al. Multimodal behavior realization for embodied conversational agents
CN107103646B (zh) 一种表情合成方法及装置
JP7471826B2 (ja) 動画生成装置および動画生成プログラム
Beskow Talking heads-communication, articulation and animation
KR100813034B1 (ko) 캐릭터 형성방법
Bailly et al. Evaluation of movement generation systems using the point-light technique
Liu An analysis of the current and future state of 3D facial animation techniques and systems
Cowe Example-based computer-generated facial mimicry
CN115526966B (zh) 一种用调度五官部件实现虚拟人物表情展现的方法
Lande et al. An MPEG-4 facial animation system driven by synthetic speech
Bailly Audiovisual speech synthesis. from ground truth to models.

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080612

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101012

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110112

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110221

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees