JP2003196678A

JP2003196678A - ３次元モデルシステムおよびコンピュータプログラム

Info

Publication number: JP2003196678A
Application number: JP2001390412A
Authority: JP
Inventors: Osamu Toyama; 修遠山
Original assignee: Minolta Co Ltd
Current assignee: Minolta Co Ltd
Priority date: 2001-12-21
Filing date: 2001-12-21
Publication date: 2003-07-11

Abstract

(57)【要約】【課題】あるノードに関連する一部の筋肉に対してのみ
変形量を指定した場合でも、ノードの動きが自然なもの
となるように制御することができ、これによって微妙な
表情を表現できるようにすること。【解決手段】３次元の構成点群によって皮膚が表現さ
れ、皮膚の内部に配置された筋肉Ｅの伸縮にともなう当
該筋肉Ｅの両端のノードの変位によって１つまたは複数
の構成点が変位するように構成された３次元モデルシス
テムであって、それぞれの筋肉Ｅは、指定された変形量
に応じた長さとなるように伸縮するものであり、それぞ
れの筋肉Ｅに対して、有為な値の変形量の指定がなされ
ない場合にはその長さを保持することなく他の筋肉Ｅの
伸縮によって長さが可変される第１のタイプ（タイプ
Ａ）、または、有為な値の変形量の指定がなされない場
合であってもその長さを保持する第２のタイプ（タイプ
Ｂ）のいずれかのタイプの設定が可能である。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、皮膚を表現する３
次元の構成点群の一部が筋肉の伸縮にともなって変位す
るように構成された３次元モデルシステムに関する。

【０００２】

【従来の技術】従来より、３次元モデルの形状を制御
し、その３次元モデルを２次元面上に投影することによ
ってアニメーションを生成する手法が知られている。例
えば、人物の頭部の３次元モデルの形状を音声に合わせ
て変形し、その顔面を平面上に投影することによって、
言葉を喋る顔アニメーションが生成される。

【０００３】そのような３次元モデルシステムには、３
次元の構成点群によって皮膚を表現し、皮膚の内部に配
置した筋肉によって皮膚を変形させる３次元モデル、い
わゆる筋肉モデルがしばしば用いられる（特開平８−１
９４８３９号）。

【０００４】筋肉モデルでは、筋肉の伸縮にともなっ
て、その筋肉の両端の２つのノードまたはそのうちの１
つのノードが変位し、ノードの変位に応じて構成点が変
位する。筋肉モデルによると、より少ない制御パラメー
タで微細な皮膚の動きまたは表情を表現することができ
る。

【０００５】

【発明が解決しようとする課題】従来の筋肉モデルで
は、それぞれの筋肉を伸縮させるために、パラメータに
よってそれぞれの筋肉の変形量（収縮量）を指定する。
各筋肉は、指定された変形量によって長さが決定され、
その両端のノードの位置が決定される。

【０００６】そのため、例えば１つのノードに多数の筋
肉が連結されている場合に、そのノードを変位させるた
めに１つの特定の筋肉をパラメータによって伸縮させて
も、他の筋肉の影響によってノードの動きが悪くなり、
ノードが所望の位置に変位しないことが起こる。そうす
ると、皮膚の動きが悪くなり、微妙な表情を旨く表現で
きないこととなる。

【０００７】従来においては、ノードを所望の位置に変
位させるためには、そのノードに関連する全ての筋肉に
対して適切な変形量を与えなければならず、パラメータ
の設定が極めて面倒であった。

【０００８】本発明は、上述の問題に鑑みてなされたも
ので、あるノードに関連する一部の筋肉に対してのみ変
形量を指定した場合でも、ノードの動きが自然なものと
なるように制御することができ、これによって微妙な表
情を表現できるようにすることを目的とする。

【０００９】

【課題を解決するための手段】本発明に係る３次元モデ
ルシステムは、３次元の構成点群によって皮膚が表現さ
れ、皮膚の内部に配置された筋肉の伸縮にともなう当該
筋肉の両端のノードの変位によって１つまたは複数の構
成点が変位するように構成された３次元モデルシステム
であって、それぞれの筋肉に対して、伸縮の難易度を示
す筋肉弾性係数が設定可能であり、それぞれの筋肉に対
し、それぞれの部位に応じて、少なくとも２種類の筋肉
弾性係数から選ばれた１つの筋肉弾性係数が設定される
ように構成されてなる。

【００１０】好ましくは、前記筋肉弾性係数は、指定さ
れた変形量の影響の強さを示す伸縮係数と、伸縮のタイ
プを示すタイプ係数との積で示され、前記タイプ係数
は、０または１のいずれかの値に設定される。

【００１１】本発明の他の形態によると、それぞれの筋
肉は、指定された変形量に応じた長さとなるように伸縮
するものであり、それぞれの筋肉に対して、有為な値の
変形量の指定がなされない場合にはその長さを保持する
ことなく他の筋肉の伸縮によって長さが可変される第１
のタイプ、または、有為な値の変形量の指定がなされな
い場合であってもその長さを保持する第２のタイプのい
ずれかのタイプの設定が可能である。

【００１２】本発明に係るコンピュータプログラムは、
それぞれの筋肉に対して、有為な値の変形量の指定がな
されない場合にその長さを保持することなく他の筋肉の
伸縮によって長さが可変される第１のタイプ、または、
有為な値の変形量の指定がなされない場合であってもそ
の長さを保持する第２のタイプのいずれかのタイプを選
択する処理と、選択されたタイプにしたがって筋肉のノ
ードの変位量を算出する処理とをコンピュータに実行さ
せる。

【００１３】本発明における筋肉には、１つ１つの筋肉
（本発明の実施形態でいうエッジ）、およびそれらの集
合（エッジ群）を含む。本発明における皮膚には、人
間、動物、または他の生物の皮膚、および毛髪を含む。
また、それらの表面を覆っているもの、それらの表面に
適用されて一体と見做せるもの、例えば衣服、毛皮、装
身具、鎧、または兜などを含む。

【００１４】

【発明の実施の形態】図１は本発明に係る３次元モデル
システムを適用したアニメーション生成装置１の構成の
例を示す図、図２は磁気記憶装置１２に記憶されるプロ
グラムおよびデータの例を示す図、図３はアニメーショ
ン生成装置１の機能的な構成を示す図である。

【００１５】図１に示すように、アニメーション生成装
置１は、処理装置１０、ディスプレイ装置１１、磁気記
憶装置１２、キーボード１３、マウス１４、マイク１
５、およびスピーカ１６などによって構成される。

【００１６】処理装置１０は、ＣＰＵ１０ａ、ＲＡＭ１
０ｂ、ＲＯＭ１０ｃ、各種の入出力ポート１０ｄ、およ
び各種のコントローラ１０ｅなどによって構成される。
図２に示すように、磁気記憶装置１２には、オペレーテ
ィングシステム（ＯＳ）１２ａ、顔画像制御プログラム
１２ｂ、およびモデリングプログラム１２ｃなどのプロ
グラム、および後に説明する種々の処理に用いられるデ
ータなどが記憶される。モデリングプログラム１２ｃに
は、後で説明する筋肉設定処理のためのプログラムが含
まれる。

【００１７】磁気記憶装置１２に記憶されたプログラム
およびデータは、必要に応じてＲＡＭ１０ｂにロードさ
れる。ロードされたプログラムはＣＰＵ１０ａによって
実行される。アニメーション生成装置１をネットワーク
６Ｎを介して他のコンピュータに接続し、プログラムま
たはデータをダウンロードすることも可能である。フロ
ッピディスク１９ａ、ＣＤ−ＲＯＭ１９ｂ、または光磁
気ディスク（ＭＯ）１９ｃなどの各種リムーバブルディ
スク（記録媒体）を介してプログラムまたはデータをロ
ードすることも可能である。

【００１８】ディスプレイ装置１１には、磁気記憶装置
１２に記憶されたデータに基づく種々の画像、処理装置
１０による処理によって得られた画像などが表示され
る。例えば、人物の頭部の３次元形状モデル（３次元モ
デル）である顔モデル、顔モデルを所定の方向から２次
元面上に投影して得られる顔画像ＨＦ、連続して変化す
る顔画像による顔アニメーションなどが表示される。し
たがって、顔アニメーションは、例えばアニメーション
生成装置１に入力された言葉に合わせて口が動くよう
に、顔モデルを言葉の音韻により制御することによって
生成される。

【００１９】キーボード１３およびマウス１４などの操
作入力装置は、処理装置１０に指令または命令を与え、
パラメータを設定し、または顔モデルの制御のための言
葉、その他の種々のデータを入力するために用いられ
る。

【００２０】マイク１５は、処理装置１０に対して音声
によって指令を与えたり、顔モデルの制御のための言葉
を入力するのに用いられる。スピーカ１６は、顔画像の
動作すなわちリップシンクアニメーションに合わせて、
言葉を音声として出力する。これにより、ユーザは、顔
画像ＨＦが言葉を喋っているように認識する。

【００２１】アニメーション生成装置１として、例え
ば、ワークステーションまたはパーソナルコンピュータ
などが用いられる。ＰＤＡ（Personal Digital Assista
nt）または携帯電話端末などを用いることも可能であ
る。

【００２２】図３に示すように、アニメーション生成装
置１には、顔モデル生成部１０１、データ記憶部１０
２、テキストデータ取得部１０３、顔画像制御部１０
４、音声出力部１０５、形状調整部１０７、および人物
指定部１０８などの機能が設けられる。

【００２３】これらの機能によって、指定した人物に対
応する筋肉モデル、つまり顔モデルを生成し、その顔モ
デルを言葉によって制御し、言葉に合わせて喋る顔アニ
メーションを生成することができる。

【００２４】顔モデルは、３次元空間に配置された多数
の構成頂点（Model Vertex）Ｖからなる構成頂点群（構
成点群）を有する。これら構成頂点群によって、外観形
状、つまり皮膚の表面が表現される。「皮膚」は、顔面
では文字通り顔の皮膚であるが、頭の部分では毛髪が
「皮膚」となる。例えば衣服を着ている場合に、特に衣
服として異なった制御を行わないのであれば、その衣服
も皮膚と見做せる。

【００２５】筋肉モデルでは、皮膚の内部に筋肉が配置
される。筋肉は、１つまたは複数のエッジ（Edge）Ｅに
よって構成される。つまり、エッジ群が筋肉である。エ
ッジＥは直線によって表される。筋肉の性質および作用
は、その構成要素である各エッジＥの性質および作用の
総和であるが、特に区別する必要のない場合には、「エ
ッジＥ」を「筋肉Ｅ」と記載することがある。本発明に
おける「筋肉」の概念にはエッジが含まれる。筋肉に加
えて、さらに骨格が配置されることもある。

【００２６】１つまたは複数の構成頂点Ｖとそれら構成
頂点Ｖによる影響率とによって、１つのノード（Node）
Ｎが定義される。つまり、各ノードＮの初期位置は、そ
れを定義する構成頂点Ｖの位置と、それぞれの構成頂点
Ｖの影響率とによって決定される。骨格上の点によって
ノードＮが定義されることもある。

【００２７】２つのノードＮによって、１つのエッジＥ
が定義される。つまり、エッジＥは、その両端に配置さ
れた端点である２つのノードＮによって定義される。両
端のノード間の距離が、そのエッジＥの長さである。１
つのノードＮが複数のエッジＥの端点となることがあ
る。

【００２８】エッジＥの長さは、例えば後述する式
（５）に関連して与えられる。エッジＥの長さは、基本
的には、指定された変形量（収縮量）ｔに基づいて決定
される。変形量ｔは、例えば、０〜２０の値で与えられ
る。その場合に、ｔ＝０であれば、当該エッジＥが収縮
していない状態、つまり当該エッジＥは自由状態の長さ
となる。ｔ＝２０であれば、最も収縮した状態となる。

【００２９】各エッジＥの伸縮量（または長さ）の算出
に当たって、変形量ｔに伸縮係数Ｉを乗じる。伸縮係数
Ｉは、各エッジＥに対して指定される変形量ｔの影響の
強さを示すものであり、各エッジＥに対してそれぞれ設
定される。伸縮係数Ｉは、通常、１より大きい値とされ
る。伸縮係数Ｉの値が大きい程、変形量ｔの影響を強く
受け、伸縮量は大きくなる。伸縮係数を「強度」と呼称
することもある。

【００３０】エッジＥが伸縮すると、その両端の２つの
ノードＮが変位する（移動する）。２つのノードＮの変
位の割合は、各ノードＮに設定されたウエイトｗによっ
て決定される。例えばノードＮのウエイトｗが「０」で
ある場合には、エッジＥが伸縮してもそのノードＮは変
位しない。１つのノードＮが複数のエッジＥの端点とな
っている場合には、そのノードＮの位置は複数のエッジ
Ｅの伸縮状態によって決まる。

【００３１】ノードＮが変位すると、そのノードＮから
影響を受けるように設定された構成頂点Ｖが変位する。
ノードＮの影響配下にあるそのような構成頂点Ｖには、
通常、そのノードＮ自体を定義する構成頂点Ｖが含まれ
る。影響配下にある構成頂点Ｖについて、ノードＮの変
位による影響率（影響強度）ｒがそれぞれ定義される。
影響率ｒの値が大きい程、構成頂点Ｖの変位量が大き
い。

【００３２】各ノードＮに対し、影響配下にある構成頂
点Ｖの影響率ｒについて、大小２種類が定義される。顔
モデルを制御する際に、２種類の影響率ｒのうちのいず
れかが選択される。大きい方の影響率ｒが選択された場
合には、例えば表情が大げさに表現される。

【００３３】さて、顔モデルの制御に当たって、各エッ
ジＥに対して、第１のタイプである「タイプＡ」と第２
のタイプである「タイプＢ」の２種類のタイプのうちの
いずれかを選択して設定することができる。これによっ
て、少ないパラメータで微妙な表情をより自然に表現す
ることができる。

【００３４】つまり、タイプＡのエッジＥは、有為な値
の変形量ｔの指定がなされない場合、例えば変形量ｔ＝
０が指定された場合に、その長さを保持することなく、
そのエッジと直接的または間接的に連結された他のエッ
ジの伸縮によって長さが可変される。その場合に、他の
エッジの収縮に対して抵抗することなく、所定の範囲内
で自由自在に伸縮することができる。つまり、タイプＡ
のエッジでは、変形量ｔが与えられない場合には、その
両端のノードＮの位置に影響を与えない。したがって、
タイプＡのエッジＥは、変形量ｔが与えられない場合に
は、ノードＮの位置の計算から除外される。タイプＡの
エッジは弾力性を有さない、と見ることができる。

【００３５】他方、タイプＢのエッジＥは、有為な値の
変形量ｔの指定がなされない場合であっても、そのとき
の長さを保持する。さらには、そのエッジＥの自然長を
保持しようとする。つまり、収縮状態のエッジＥは、元
の長さに戻ろうとする。したがって、タイプＢのエッジ
Ｅは弾力性を有する、と見ることができる。なお、エッ
ジＥの位置、つまり両端のノードＮの位置は、他のエッ
ジの収縮に応じて変位可能である。

【００３６】このように、タイプＢのエッジＥは疑似的
な皮膚弾性の機能を持ち、タイプＡのエッジＥは疑似的
な皮膚弾性の機能を持たない。同じエッジＥに対して、
タイプＡまたはタイプＢを選択的に設定することができ
る。

【００３７】これら、エッジＥに対するタイプＡまたは
タイプＢの設定は、後述する式（５）のタイプ係数Ｃの
値を「０」（タイプＡの場合）または「１」（タイプＢ
の場合）に設定することにより行われる。

【００３８】これら、タイプ係数Ｃと伸縮係数Ｉとの積
（Ｃ×Ｉ）は、当該エッジＥの伸縮の難易度を示す筋肉
弾性係数であると言える。伸縮係数Ｉが一定の値である
場合には、エッジ群内に２種類の筋肉弾性係数が存在す
ることになる。伸縮係数Ｉの値が種々異なれば、それに
応じた種類の筋肉弾性係数が存在することになる。それ
ぞれのエッジＥに対しては、それぞれの部位に応じて、
少なくとも２種類の筋肉弾性係数から選ばれた１つの筋
肉弾性係数が設定されることとなる。

【００３９】次に、図３に示す各機能についてさらに詳
しく説明する。〔３次元形状モデル（顔モデル）の生成〕顔モデル生成
部１０１は、顔画像ＨＦの基となる３次元形状モデルを
生成する。ここでは、アニメーション生成装置１を使用
するユーザ自身の３次元形状モデルを生成する場合につ
いて説明する。

【００４０】図４は３次元形状モデルの生成の処理の流
れを説明するフローチャート、図５は標準モデルＤＳの
例を示す図、図６は変形処理の流れを説明するフローチ
ャート、図７は標準モデルＤＳの面Ｓと３次元計測デー
タの点Ｐとを模式的に示す図、図８は標準モデルＤＳの
異常変形を防ぐための仮想バネを説明するための図であ
る。

【００４１】図４において、まず、標準モデルＤＳとユ
ーザについての３次元計測データとの概略の位置合わせ
を行う（＃１０１）。本実施形態において、標準モデル
ＤＳは、標準的な人物の頭部の全体を構造化した顔モデ
ル、つまり標準的な頭部の筋肉モデルである。標準モデ
ルＤＳは、標準的な顔のサイズおよび形状を有する。標
準モデルＤＳは、上に述べた多数の構成頂点Ｖを有す
る。また、筋肉配置設定処理によって多数のノードＮお
よびエッジＥが定義され、影響範囲設定処理によって、
各ノードＮの影響配下にある構成頂点Ｖおよびそれらの
影響率ｒが定義される。

【００４２】３次元計測データは、ユーザの顔について
の点群（構成頂点群）からなる３次元データである。３
次元計測データは、３次元計測装置を用いてユーザを撮
影するなどして予め用意される。

【００４３】ステップ＃１０１では、標準モデルＤＳと
３次元計測データとの距離が最小となるように、標準モ
デルＤＳの向き、大きさ、および位置を変更する。一般
に、標準モデルＤＳおよび３次元計測データとして、無
表情の状態のものが用いられる。

【００４４】次に、輪郭および特徴点を抽出する（＃１
０２）。標準モデルＤＳについての輪郭ＲＫおよび特徴
点ＴＴと同じ位置に配置されるべき輪郭および特徴点
を、３次元計測データ上に、またはそれに対応する２次
元画像上に配置する。

【００４５】特徴点として、例えば、目や口の端部、鼻
の頂部、顎の下端部のように実際に特徴のある部分、ま
たは、それらの中間のようなそれ自体では特徴はないが
位置的に特定し易い部分などが選ばれる。輪郭として、
顎のライン、唇のライン、または瞼のラインなどが選ば
れる。

【００４６】計算量および誤差を削減するために、３次
元計測データについてデータの削減を行う（＃１０
３）。標準モデルＤＳの変形を行う（＃１０４）。すな
わち、３次元計測データの各点と標準モデルＤＳの面と
の間の距離に関連して定義されたエネルギー関数、また
は過剰な変形を回避するために定義されたエネルギー関
数などを用い、それらが最小となるように標準モデルＤ
Ｓの面を変形させる。

【００４７】そして、対象とするエネルギー関数および
制御点を変更し、ステップ＃１０４と同様な変更のため
の処理を繰り返す（＃１０５）。次に、ステップ＃１０
４の変形処理について説明する。

【００４８】図７において、３次元計測データを構成す
る点群の１つが点Ｐｋで示される。標準モデルＤＳの面
Ｓにおいて、点Ｐｋに最も近い点がＱｋで示される。点
Ｑｋは、点Ｐｋから面Ｓに垂線を下ろしたときの交点で
ある。

【００４９】点群に面Ｓをフィッティングする方法は次
の通りである。ここでは、一般的なフィッティングにつ
いて説明する。点群の中の１つの点Ｐｋ、それに対応す
る点Ｑｋ、および対応点群Ｔ＝｛（Ｐｋ，Ｑｋ），ｋ＝
１…ｎ｝について、フィッティングエネルギー（Fittin
g Energy) 関数Ｆｆ（Ｕ）を、次の式（１）のように設
定する。

【００５０】

【数１】

【００５１】ただし、Ｑｋ（Ｕ）は、ＱｋがＵの関数で
あることを示す。また、面Ｓの過度の変形を防ぐため
に、図８に示す仮想バネ(elastic bar) ＫＢを導入す
る。仮想バネＫＢの制約に基づいて、面Ｓの形状安定化
のための安定化エネルギー関数を導く。

【００５２】すなわち、図８において、フィッティング
対象である標準モデルＤＳの面（曲面）Ｓの一部が示さ
れている。面Ｓは、制御点群Ｕ＝｜ｕｉ，ｉ＝１…ｎ｜
で形成されている。隣接する制御点間には、仮想バネＫ
Ｂが配置されている。仮想バネＫＢは、制御点間に引っ
張り力による拘束を与え、面Ｓの異常変形を防ぐ働きを
する。

【００５３】つまり、隣接する制御点ｕの間隔が大きく
なった場合に、それに応じて仮想バネＫＢによる引っ張
り力が大きくなる。例えば、点Ｑｋが点Ｐｋに近づく場
合に、その移動にともなって制御点ｕの間隔が大きくな
ると、仮想バネＫＢによる引っ張り力が増大する。点Ｑ
ｋが移動しても制御点ｕの間隔が変わらなければ、つま
り制御点ｕ間の相対位置関係に変化がなければ、仮想バ
ネＫＢによる引っ張り力は変化しない。仮想バネＫＢに
よる引っ張り力を面Ｓの全体について平均化したもの
を、安定化エネルギーとして定義する。したがって、面
Ｓの一部が突出して変形した場合に安定化エネルギーは
増大する。面Ｓの全体が平均して移動すれば安定化エネ
ルギーは零である。

【００５４】安定化エネルギー関数Ｆｓ（Ｕ）は、次の
式（２）で示される。

【００５５】

【数２】

【００５６】ここで、

【００５７】

【数３】

【００５８】は、それぞれ、仮想バネＫＢの初期端点、
変形後の仮想バネＫＢの端点である。ｃはバネ係数であ
り、Ｍは仮想バネＫＢの本数である。また、次の関係が
成り立つ。

【００５９】

【数４】

【００６０】したがって、バネ係数ｃを大きくすると、
仮想バネＫＢは硬くなって変形し難くなる。このような
安定化エネルギー関数Ｆｓ（Ｕ）を導入することによ
り、面Ｓの形状変化に一定の拘束を設けることとなり、
面Ｓの過度の変形を防ぐことができる。

【００６１】上に述べたフィッティングエネルギー関数
Ｆｆ（Ｕ）、および安定化エネルギー関数Ｆｓ（Ｕ）を
用い、フィッティングの評価関数Ｆ（Ｕ）を次の式
（３）のように定義する。

【００６２】Ｆ（Ｕ）＝ＷｆＦｆ（Ｕ）＋ＷｓＦｓ（Ｕ） ……（３）ここで、Ｗｆ，Ｗｓは、それぞれ正規化のための重み係
数である。式（３）の評価関数Ｆ（Ｕ）が十分小さくな
るように、面Ｓの変形および対応点の探索を繰り返し、
面のフィッティングを行う。例えば、Ｆ（Ｕ）のＵに関
する微分が０に近づく方向にフィッティングを行う。

【００６３】図６において、変形処理では、まず、点Ｐ
ｋに対応する点Ｑｋを計算で求め、点Ｐｋと点Ｑｋの組
みを作成する（＃１１１）。面Ｓを変形し（＃１１
２）、変形後の評価関数Ｆ（Ｕ）を計算する（＃１１
３）。評価関数Ｆ（Ｕ）が収束するまで（＃１１４でＹ
ｅｓ）、処理を繰り返す。

【００６４】評価関数Ｆ（Ｕ）の収束を判定する方法と
して、評価関数Ｆ（Ｕ）が所定の値よりも小さくなった
ときを収束とする方法、前回の計算と比較べた変化の割
合が所定値以下となったときに収束とする方法など、公
知の方法を用いることが可能である。

【００６５】このような処理によって標準モデルＤＳを
変形し、ユーザの顔の形状をした３次元形状モデルを生
成することができる。生成された３次元形状モデルは、
データ記憶部１０２に記憶される。３次元形状モデルを
「顔モデル３Ｍ」と記載することがある。なお、データ
記憶部１０２には、他の複数の人物の顔モデル３Ｍが記
憶されている。〔筋肉の定義〕図９は顔モデル３Ｍの構成の例を示す
図、図１０はノードデータ７２ａの例を示す図、図１１
はエッジデータ７２ｂの例を示す図、図１２は筋肉グル
ープデータ７２ｃの例を示す図、図１３はノード影響デ
ータ７３の例を示す図、図１４はノードＮとその位置を
定義する構成頂点Ｖとの関係を示す図、図１５はエッジ
Ｅの構成を説明するための図、図１６乃至図１８は口周
りのエッジＥの配置の例を示す図、図１９は口周りのエ
ッジＥの１つを伸縮させた場合のノードＮの変位の例を
示す図、図２０はあるノードＮの変位による影響が及ぶ
範囲の例を説明する図である。

【００６６】図９（ａ）において、複数の細い直線同士
の交点は、顔モデル３Ｍの構成頂点Ｖを示す。顔の表面
すなわち皮膚の位置は、構成頂点Ｖによって決定され
る。太い直線は、顔モデル３Ｍのエッジ（筋肉）Ｅであ
る。黒い丸印は、エッジＥの端点を意味するノードＮを
示す。つまり、エッジＥの位置は、異なる２つのノード
Ｎによって決定される。ノードＮ（Ｎ１、Ｎ２、…）
は、顔全体の各エッジＥの端点となる位置に配置されて
いる。なお、エッジＥは人間の実際の筋肉に即して配置
されるので、顔の動きをリアルに再現することができ
る。

【００６７】図９（ｂ）は、ノードＮとエッジＥとの関
係を分かりやすくするために、図９（ａ）から構成頂点
Ｖを省略して示している。図９（ａ）（ｂ）は、顔の右
半分のノードＮおよびエッジＥを省略して示している
が、実際には、右半分にも左半分と同様にノードＮおよ
びエッジＥが存在する。

【００６８】ノードＮの位置は、次に示す式（４）のよ
うに、構成頂点Ｖの相対的位置として表される。

【００６９】

【数５】

【００７０】次に、ノードＮの具体例を説明する。図１
０に示すノードデータ７２ａは、各ノードＮのＩＤ番
号、各ノードＮを定義する構成頂点ＶのＩＤ番号、およ
びそれら構成頂点Ｖによる影響率（Rate）を示す。

【００７１】例えば、ＩＤ＝１のノードＮ１の位置は、
ＩＤ＝５０、４３、１５の３つの構成頂点Ｖ（Ｖ５０、
Ｖ４３、Ｖ１５）によって決まる。それら構成頂点Ｖの
影響率は、それぞれ、「０．３」「０．５」「０．２」
である。

【００７２】図１４に示されるように、ノードＮ１は、
それら３つの構成頂点Ｖからなる三角形の各辺を影響度
に基づいて内分し、各内分点とその向かい合う構成頂点
Ｖとを結ぶ３本の直線の交点に位置する。

【００７３】エッジＥの伸縮にともなうノードＮの変位
は、次に示す式（５）によって求められる。

【００７４】

【数６】

【００７５】エッジＥの具体例およびエッジＥの伸縮に
ともなうノードＮの変位について、上の式（５）を参照
しながら説明する。図１１に示すエッジデータ７２ｂ
は、各エッジＥのＩＤ番号、各エッジＥを定義するノー
ドＮのＩＤ番号、各ノードＮのウエイトｗ、および、各
エッジＥの伸縮係数Ｉを示す。ウエイトｗは、そのエッ
ジＥを伸縮させた場合に、どちらのノードＮをどれだけ
の割合で移動させるかを示す。

【００７６】例えば、図１５に示されるように、ＩＤ＝
１のエッジＥ１は、ＩＤ＝１とＩＤ＝２の２つのノード
Ｎ１，Ｎ２によって決まる。ノードＮ１，Ｎ２のウエイ
トｗは、それぞれ「１．０」「０．０」である。したが
って、エッジＥ１が伸縮したときに、ノードＮ１のみが
変位し、ノードＮ２は変位しない。もし、両端のノード
Ｎのウエイトｗが「０．７」「０．３」であった場合に
は、エッジＥが伸縮したときに、各ノードＮがそれぞれ
７対３の割合で変位する。また、エッジＥ１の伸縮係数
Ｉは「１０」である。

【００７７】図１２に示す筋肉グループデータ７２ｃ
は、各グループのＩＤ番号、各グループの名前、伸縮の
タイプ、各グループに所属するエッジＥのＩＤ番号を示
す。具体的には、ＩＤ＝１のグループは、名前が「笑
筋」である。伸縮のタイプは「タイプＡ」であり、ＩＤ
＝１，２…のエッジＥによって構成される。笑筋に属す
るエッジＥは、一方の端点が皮膚に、他方の端点が骨格
に、それぞれ接続される。

【００７８】ＩＤ＝２のグループは、名前が「口輪筋」
である。伸縮のタイプは「タイプＢ」であり、ＩＤ＝
３，４…のエッジＥによって構成される。口輪筋に属す
るエッジＥは、両方の端点が皮膚に接続される。

【００７９】タイプＡの場合には、タイプ係数Ｃが
「０」に設定され、タイプＢの場合にはタイプ係数Ｃが
「１」に設定される。但し、上に述べたように、変形量
ｔが指定されなかった場合、または指定されてもしきい
値εよりも小さく、したがって有為な値の変形量ｔの指
定がなされなかった場合には、タイプ係数Ｃが「０」に
設定される。

【００８０】図１２で理解できるように、表情に影響を
与える一連のエッジ群に対して、１つの筋肉の名前が付
けられ、それぞれの筋肉に対してタイプが設定される。
しかし、図１２で設定されるタイプはデフォルト値であ
り、個々の指定によってそれとは異なるタイプを設定す
ることができる。

【００８１】これら、ノードデータ７２ａ、エッジデー
タ７２ｂ、および筋肉グループデータ７２ｃを合わせ
て、筋肉配置データ７２ということがある。上の式
（５）において、右辺の第２項の分子にある、ｌ₀（エ
ルゼロ、エッジＥの自然長）、ｔ（エッジの目標変形
量）、ｌ（エル、エッジの現在長）からなる項は、エッ
ジＥに対して指定する変形量ｔを示す。なお、式（５）
で示されるパラメータのｔは、エッジの目標変形量であ
り、上に説明した変形量ｔとは異なるものである。

【００８２】また、右辺の第２項の分母は、当該ノード
Ｎに与える力の総和と考えることができる。上に述べた
ように、伸縮係数Ｉとして１より大きい値が用いられる
ため、伸縮係数Ｉの総和によって分子を除すことによ
り、適切な変位量が算出される。もし、分母で除さない
場合には、ノードＮに対する変位量が大きくなり過ぎ
て、目標位置をとおり過ぎてしまうこととなる。換言す
れば、伸縮係数ＩはエッジＥ間の力関係を表すものであ
るため、全体として伸縮係数Ｉが「１」となるように除
しているものと言える。

【００８３】上の式（５）で理解できるように、あるノ
ードＮを変位させる要因は、そのノードＮに接続された
全てのエッジＥの影響の総和に基づく。このように複数
のエッジＥに関係するノードＮが存在する場合には、収
束演算または連立演算によってノードＮの変位後の位置
が求められる。

【００８４】図１６はエッジＥが自然長であるときの状
態を示す。図１７および図１８は、図１６に示すエッジ
Ｅ１００，Ｅ１０１が収縮したときの各エッジＥの状態
を示す。但し、図１７は、タイプＡとタイプＢとの両方
のタイプが図１２に示すように適切に設定された場合で
あり、図１８は全てのエッジＥに対してタイプＡを設定
した場合である。

【００８５】図１６および図１７に示す状態の一部が、
図１９に拡大されて示されている。図１９において、実
線はエッジＥが自然長である場合を示し、図１６に対応
する。鎖線はエッジＥ１００を収縮させたときの状態を
示し、図１７に対応する。笑筋に属するエッジＥ１００
〜１０４はタイプＡであり、口輪筋に属するエッジＥ２
００〜２０４はタイプＢである。

【００８６】図１９に示されるように、エッジＥ１００
〜１０４は、それらの一方の端点が骨格に接続されてお
り、それらの端点は変位しない。エッジＥ１００の収縮
にともなって、口輪筋のエッジＥ２００〜２０４は引っ
張られ、それらの長さを保持した状態で移動する。但
し、エッジＥ２００〜２０４は、その長さが自然長に戻
ろうとする。このとき、上の式（５）の右辺の第２項の
分子にあるｌ₀（エッジＥの自然長）とｌ（エッジの現
在長）とが等しくなるように、すなわち元の長さを保つ
ような力をノードＮに与え、これによってノードＮの位
置を変化させる。これによってノードＮが変位し、その
ノードＮの変位に合わせて笑筋のエッジＥ１０１〜１０
４が伸びる。

【００８７】このように、筋肉の部位に応じて２種類の
タイプのいずれかを適切に設定しておくことによって、
エッジＥ１００，Ｅ１０１の収縮によって口元のエッジ
Ｅが全体的に旨く変形し、これによって皮膚が全体的に
変化して自然な表情を表現することができる。

【００８８】これに対して、例えば全てのエッジＥがタ
イプＡであった場合には、図１８に示すように、エッジ
Ｅ１００，Ｅ１０１の収縮によってそれに直接的に連結
されたエッジＥのみが伸縮し、エッジＥの変形が局所的
となってしまう。したがって、皮膚の変化も局所的とな
り、表情に不自然な部分が生じる。

【００８９】また、例えば、全てのエッジＥがタイプＢ
であった場合には、相互に動きを制約するため、エッジ
Ｅ１００，Ｅ１０１に大きな変形量ｔを指定した場合で
あっても変形が鈍くなり、表情はほとんど変化しない。
この場合には、全てのエッジＥに対して適切な変形量ｔ
を指定してやる必要がある。

【００９０】図１３に示すノード影響データ７３は、ノ
ードＮの変位が構成頂点Ｖに及ぼす影響の範囲を示すデ
ータである。ノード影響データ７３として、強度１と強
度２の２種類のデータが設定されている。

【００９１】それぞれの強度において、ノード影響デー
タ７３は、ノードＮのＩＤ番号、そのノードＮによって
影響を受ける構成頂点ＶのＩＤ番号、および、その影響
の度合いである影響率を示す。影響率が大きい程、ノー
ドＮの変位にともなう構成頂点Ｖの変位量が大きい。

【００９２】ノードＮの影響を受ける構成頂点Ｖは、そ
のノードＮの周辺に集中している。例えば図２０に示す
ように、大きい黒丸が示すノードＮの変位による影響を
受ける構成頂点Ｖは、小さい黒丸が示す９つの構成頂点
Ｖである。

【００９３】ノードＮの変位にともなって構成頂点Ｖが
変位する位置は、次に示す式（６）によって求められ
る。

【００９４】

【数７】

【００９５】なお、筋肉配置データ７２およびノード影
響データ７３は、データ記憶部１０２に記憶されてい
る。〔顔モデルの形状を制御するためのデータ〕図２１は音
韻別形状データ７４の例を示す図、図２２は各形状グル
ープの形状に変化したときの顔モデル３Ｍの例を示す図
である。

【００９６】上述のように、各エッジＥを変形させてノ
ードＮを変位させ、これによって影響配下にある構成頂
点Ｖの位置を変えることによって、顔モデル３Ｍを変形
させることができる。

【００９７】したがって、顔モデル３Ｍを所定の形状に
変形させるには、その形状になるように各エッジＥの変
形量を決めればよい。例えば、言葉に合わせて口が開閉
するように顔モデル３Ｍを連続して動作させるには、そ
の言葉に含まれる音韻ごとに各エッジＥの変形量を決め
ればよい。

【００９８】図２１に示す音韻別形状データ７４は、各
音韻について、その音韻を発したときの形状となるよう
に顔モデル３Ｍの口を変化させるための各エッジＥの変
形量ｔを定めるものである。

【００９９】図２１に示すように、５つの母音「ａ」、
「ｅ」、「ｉ」、「ｏ」、「ｕ」に対応して、各筋肉
（エッジＥ１、Ｅ２、…）の変形量ｔが定められてい
る。変形量ｔは、エッジＥが収縮していない状態を
「０」、最も収縮した状態を「２０」とする。例えば、
変形量ｔが「１５．０」であれば、そのエッジＥが７５
％収縮する。

【０１００】音韻別形状データ７４には、図１２の筋肉
グループデータ７２ｃで設定されたエッジＥのタイプと
は異なるタイプを指定したい場合に、そのタイプのデー
タが含まれている。

【０１０１】したがって、例えば、母音「ｅ」を発音す
るときには、エッジＥ１，Ｅ２に対し、変形量ｔ＝０、
タイプＢを指定し、エッジＥ３，Ｅ４に対し、変形量ｔ
＝０を指定し、エッジＥ５に対し、変形量ｔ＝４を指定
する。このとき、エッジＥ３，Ｅ４，Ｅ５は、筋肉グル
ープデータ７２ｃで設定されたデフォルト値のタイプが
採用される。

【０１０２】これら音韻別形状データ７４によって顔モ
デル３Ｍの制御が行われると、それぞれ、図２２（ａ）
〜（ｅ）に示すように口元の形状が変化する。なお、音
韻別形状データ７４は、図３のデータ記憶部１０２に記
憶されている。音韻別形状データ７４を用いると、テキ
ストデータなどに基づいて、そこに含まれる音韻によっ
て顔モデル３Ｍを変形させることができる。

【０１０３】図３に戻って、テキストデータ取得部１０
３は、顔モデル３Ｍに喋らせる言葉をテキストデータ７
０として取得する。テキストデータ７０は、「こんばん
は」のように言葉を表す文字列からなる。〔顔画像の制御（アニメーションの実行）〕図３に戻っ
て、人物指定部１０８は、顔アニメーションの再現の対
象となる人物を指定する人物指定データ７６を取得し、
その人物に対応する顔モデル３Ｍを用いて顔アニメーシ
ョンを生成するように顔画像制御部１０４に指示する。
人物の指定は、ユーザによるアニメーション生成装置１
の操作または他のコンピュータから受信した電子メール
などに基づいて行われる。例えば、電子メールの場合
は、その送信者に対応する顔モデル３Ｍを検索する。

【０１０４】顔画像制御部１０４は、音韻取得部１６
１、時間配分部１６２、形状取得部１６３、および動画
像生成部１６４によって構成され、テキストデータ７０
および人物指定部１０８によって検索された顔モデル３
Ｍなどに基づいて顔画像ＨＦを制御し、言葉を喋るアニ
メーションを実行する。

【０１０５】音韻取得部１６１は、テキストデータ７０
の文字列を音韻ごとに区切る。例えば、文字列「こんば
んは」の場合は、「ｋ、ｏ、ｎ、ｂ、ａ、ｎ、ｗ、ａ」
のように区切られる。

【０１０６】時間配分部１６２は、音韻取得部１６１で
得られた音韻に基づいて顔モデル３Ｍを変形させる際の
時間的な配分に関する設定を行う。つまり、どの動作が
どのタイミングで行われるのかに関する設定を行い、タ
イムテーブルを生成する。

【０１０７】形状取得部１６３には、エッジタイプ選択
部１６３ａおよび変位量算出部１６３ｂが設けられる。
形状取得部１６３は、時間配分部１６２によって得られ
たタイムテーブルを重ね、これに基づいて時刻ごとの顔
モデル３Ｍの各エッジＥの変形量ｔおよび顔モデル３Ｍ
の位置姿勢を求める。例えば、１秒当たり３０フレーム
のアニメーションを生成する場合であれば、１／３０秒
ごとの各エッジＥの変形量ｔを求める。また、エッジタ
イプ選択部１６３ａによって、各エッジＥのタイプを選
択して決定する。

【０１０８】このようにして求められた各エッジＥの変
形量ｔおよびタイプに基づいて、変位量算出部１６３ｂ
は、式（５）などによって、各エッジＥのノードＮの変
位量を算出する。算出結果に基づいて、各ノードＮの位
置を変え、式（６）などによって顔モデル３Ｍの各構成
頂点Ｖの位置を算出する。

【０１０９】動画像生成部１６４は、形状取得部１６３
によって得られた顔モデル３Ｍの各構成頂点Ｖの位置を
タイムテーブルに従って１フレームごとに変化させなが
ら所定の方向から２次元上に投影することによって顔画
像ＨＦを動作させ、リップシンクアニメーションを生成
する。

【０１１０】音声出力部１０５は、テキストデータ７０
を音声化し、リップシンクアニメーションと同期して出
力する。次に、アニメーション生成装置１における処理
の流れをフローチャートを参照して説明する。

【０１１１】図２３は筋肉設定処理を示すフローチャー
トである。図２３において、筋肉配置設定処理を行って
筋肉配置データ７２を設定し（＃１２１）、影響範囲設
定処理を行ってノード影響データ７３を設定する（＃１
２２）。なお、筋肉設定処理は、標準モデルＤＳに対し
て実行してもよく、生成された３次元形状データに対し
て実行してもよい。

【０１１２】図２４はアニメーション処理を示すフロー
チャートである。図２４において、テキストデータ７０
を入力し、テキストデータ７０に含まれる言葉を音韻ご
とに区切る（＃１４１）。音韻別形状データ７４を参照
し、音韻に対応する変形量ｔおよび特に指定されたエッ
ジＥのタイプを取得する（＃１４２）。

【０１１３】各エッジＥに対してタイプを選択して決定
する（＃１４３）。各ノードＮについて、エッジＥのタ
イプ、変形量ｔ、伸縮係数Ｉ、ウエイトｗなどに基づい
て、変位量を算出する（＃１４４）。各ノードＮの変位
量に応じて各構成頂点Ｖの位置を求め、顔モデル３Ｍの
形状を決定する（＃１４５）。フレームごとに顔モデル
３Ｍの形状を変化させてアニメーションを実行する（＃
１４６）。

【０１１４】本実施形態では、ユーザの３次元計測デー
タに標準モデルをフィッティングすることにより顔モデ
ルを取得したが、ユーザの２次元画像に標準モデルをフ
ィッティングして顔モデルを取得してもよい。または、
種々のＣＧ（Computer Graphics ）プログラムを用いて
顔モデルを作成してもよい。

【０１１５】本実施形態では、人物の顔を対象にアニメ
ーションを生成したが、他のキャラクタを対象にしても
よい。例えば、犬または猫などの動物、架空の動物、ロ
ボットなどを対象にしてもよい。また、人物または動物
の全身を対象にアニメーションを生成してもよい。

【０１１６】その他、アニメーション生成装置１の全体
または各部の構成、処理内容、処理順序などは、本発明
の趣旨に沿って適宜変更することができる。

【０１１７】

【発明の効果】本発明によると、あるノードに関連する
一部の筋肉に対してのみ変形量を指定した場合でも、ノ
ードの動きが自然なものとなるように制御することがで
き、これによって微妙な表情を表現することが可能とな
る。

【図面の簡単な説明】

【図１】本発明に係る３次元モデルシステムを適用した
アニメーション生成装置の構成の例を示す図である。

【図２】磁気記憶装置に記憶されるプログラムおよびデ
ータの例を示す図である。

【図３】アニメーション生成装置の機能的な構成を示す
図である。

【図４】３次元形状モデルの生成の処理の流れを説明す
るフローチャートである。

【図５】標準モデルの例を示す図である。

【図６】変形処理の流れを説明するフローチャートであ
る。

【図７】標準モデルの面Ｓと３次元計測データの点Ｐと
を模式的に示す図である。

【図８】標準モデルの異常変形を防ぐための仮想バネを
説明するための図である。

【図９】顔モデルの構成の例を示す図である。

【図１０】ノードデータの例を示す図である。

【図１１】エッジデータの例を示す図である。

【図１２】筋肉グループデータの例を示す図である。

【図１３】ノード影響データの例を示す図である。

【図１４】ノードとその位置を定義する構成頂点との関
係を示す図である。

【図１５】エッジの構成を説明するための図である。

【図１６】口周りのエッジの配置の例を示す図である。

【図１７】口周りのエッジの配置の例を示す図である。

【図１８】口周りのエッジの配置の例を示す図である。

【図１９】口周りのエッジの１つを伸縮させた場合のノ
ードの変位の例を示す図である。

【図２０】あるノードの変位による影響が及ぶ範囲の例
を説明する図である。

【図２１】音韻別形状データの例を示す図である。

【図２２】各形状グループの形状に変化したときの顔モ
デルの例を示す図である。

【図２３】筋肉設定処理を示すフローチャートである。

【図２４】アニメーション処理を示すフローチャートで
ある。

【符号の説明】

１アニメーション生成装置（３次元モデルシステム）１０処理装置１６３ａエッジタイプ選択部１６３ｂ変位量算出部Ｖ構成頂点（構成点）Ｅエッジ（筋肉）ＮノードＩ伸縮係数（強度）Ｃタイプ係数ｔ変形量

Claims

【特許請求の範囲】

【請求項１】３次元の構成点群によって皮膚が表現さ
れ、皮膚の内部に配置された筋肉の伸縮にともなう当該
筋肉の両端のノードの変位によって１つまたは複数の構
成点が変位するように構成された３次元モデルシステム
であって、それぞれの筋肉に対して、伸縮の難易度を示す筋肉弾性
係数が設定可能であり、それぞれの筋肉に対し、それぞれの部位に応じて、少な
くとも２種類の筋肉弾性係数から選ばれた１つの筋肉弾
性係数が設定されるように構成されてなる、ことを特徴とする３次元モデルシステム。
【請求項２】前記筋肉弾性係数は、指定された変形量の
影響の強さを示す伸縮係数と、伸縮のタイプを示すタイ
プ係数との積で示され、前記タイプ係数は、０または１のいずれかの値に設定さ
れる、請求項１記載の３次元モデルシステム。
【請求項３】３次元の構成点群によって皮膚が表現さ
れ、皮膚の内部に配置された筋肉の伸縮にともなう当該
筋肉の両端のノードの変位によって１つまたは複数の構
成点が変位するように構成された３次元モデルシステム
であって、それぞれの筋肉は、指定された変形量に応じた長さとな
るように伸縮するものであり、それぞれの筋肉に対して、有為な値の変形量の指定がな
されない場合にはその長さを保持することなく他の筋肉
の伸縮によって長さが可変される第１のタイプ、また
は、有為な値の変形量の指定がなされない場合であって
もその長さを保持する第２のタイプのいずれかのタイプ
の設定が可能である、ことを特徴とする３次元モデルシステム。
【請求項４】３次元の構成点群によって皮膚が表現さ
れ、皮膚の内部に配置された筋肉の伸縮にともなう当該
筋肉の両端のノードの変位によって１つまたは複数の構
成点が変位するように構成された３次元モデルシステム
のためのコンピュータプログラムであって、それぞれの筋肉に対して、有為な値の変形量の指定がな
されない場合にその長さを保持することなく他の筋肉の
伸縮によって長さが可変される第１のタイプ、または、
有為な値の変形量の指定がなされない場合であってもそ
の長さを保持する第２のタイプのいずれかのタイプを選
択する処理と、選択されたタイプにしたがって筋肉のノードの変位量を
算出する処理と、をコンピュータに実行させるコンピュータプログラム。
【請求項５】請求項４記載のコンピュータプログラムが
記録されたコンピュータ読み取り可能な記録媒体。