JP2003196677A

JP2003196677A - ３次元モデル変形方法およびコンピュータプログラム

Info

Publication number: JP2003196677A
Application number: JP2001392154A
Authority: JP
Inventors: Osamu Toyama; 修遠山
Original assignee: Minolta Co Ltd
Current assignee: Minolta Co Ltd
Priority date: 2001-12-25
Filing date: 2001-12-25
Publication date: 2003-07-11

Abstract

(57)【要約】【課題】同一の動作に対して状況に応じてそれぞれ異な
った形状に３次元モデルを変形できるようにする。【解決手段】３次元の構成点群によって皮膚が表現さ
れ、皮膚の内部に配置された１または複数の筋肉を伸縮
させることによって１つまたは複数の構成点が変位する
ように構成された顔モデル３Ｍを変形するに当たって、
同一の動作指示に対して各筋肉の伸縮に関する動作別筋
肉データ７１を複数記憶しておき、これらの動作別筋肉
データ７１の中から状況に応じていずれか１つの動作別
筋肉データ７１を選択し、選択した動作別筋肉データ７
１に基づいて各構成点を変位させる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、皮膚を表現する３
次元の構成点群の一部が筋肉の伸縮にともなって変位す
るように構成された３次元モデルの変形方法に関する。

【０００２】

【従来の技術】従来より、人物の頭部などの３次元モデ
ルを変形し、その３次元モデルを２次元面上に投影する
ことによってアニメーションを生成する方法が知られて
いる。例えば、３次元モデルの形状を言葉に合わせて変
形し、その顔面を平面上に投影することによって、言葉
を喋る顔アニメーションが生成される。その他、瞬きを
したり、笑ったり、あくびをするなど様々な種類の動作
をする顔アニメーションが生成される。

【０００３】

【発明が解決しようとする課題】従来の３次元モデルの
変形方法を用いてアニメーションを生成すると、同一の
動作指示に対して同一の結果しか得られない。例えば、
「こんばんは」という言葉を喋るアニメーションを生成
すると、いつも同じ表情で「こんばんは」と喋るアニメ
ーションになってしまう。ところが、同じ言葉を喋る場
合であっても状況などに応じて様々な形状の顔アニメー
ションが得られることが望まれる。

【０００４】本発明は、このような問題に鑑みてなされ
たもので、同一の動作に対して状況に応じてそれぞれ異
なった形状に３次元モデルを変形できるようにすること
を目的とする。

【０００５】

【課題を解決するための手段】本発明に係る３次元モデ
ル変形方法は、３次元の構成点群によって皮膚が表現さ
れ、皮膚の内部に配置された１または複数の筋肉を伸縮
させることによって１つまたは複数の構成点が変位する
ように構成された３次元モデルを変形する３次元モデル
変形方法であって、同一の動作指示に対して筋肉の伸縮
に基づいて構成点の変位がどのようになるかについての
複数種類の情報を記憶しておき、前記複数種類の情報の
中からいずれか１つの情報を選択し、選択した情報に基
づいて各構成点を変位させる。

【０００６】好ましくは、動作の種類ごとに、３次元モ
デルが当該動作を行ったときの形状になるような各筋肉
の変形量を複数組記憶しておき、３次元モデルに対する
動作指示データを取得し、取得した動作指示データが示
す動作に対応する複数組の各筋肉の変形量の中からいず
れか１組を選択し、選択した１組の各筋肉の変形量に基
づいて各構成点を変位させる。

【０００７】または、各筋肉の端点の変位によって各構
成点に及ぼされる影響を示す情報を複数記憶しておき、
前記情報の中からいずれか１つの情報を選択し、選択し
た情報に基づいて各構成点を変位させる。

【０００８】本発明に係るコンピュータプログラムは、
同一の動作指示に対して筋肉の伸縮に基づいて構成点の
変位がどのようになるかについての複数種類の情報の中
からいずれか１つの情報を選択する処理と、選択した情
報に基づいて各構成点を変位させる処理とをコンピュー
タに実行させる。

【０００９】本発明における筋肉には、１つ１つの筋肉
（本発明の実施形態でいうエッジ）、およびそれらの集
合（エッジ群）を含む。本発明における皮膚には、人
間、動物、または他の生物の皮膚、および毛髪を含む。
また、それらの表面を覆っているもの、それらの表面に
適用されて一体と見做せるもの、例えば衣服、毛皮、装
身具、鎧、または兜などを含む。

【００１０】

【発明の実施の形態】図１は本発明に係る３次元モデル
の変形方法を適用したアニメーション生成装置１の構成
の例を示す図、図２は磁気記憶装置１２に記憶されるプ
ログラムおよびデータの例を示す図、図３はアニメーシ
ョン生成装置１の機能的な構成を示す図である。

【００１１】図１に示すように、アニメーション生成装
置１は、処理装置１０、ディスプレイ装置１１、磁気記
憶装置１２、キーボード１３、マウス１４、マイク１
５、およびスピーカ１６などによって構成される。

【００１２】処理装置１０は、ＣＰＵ１０ａ、ＲＡＭ１
０ｂ、ＲＯＭ１０ｃ、各種の入出力ポート１０ｄ、およ
び各種のコントローラ１０ｅなどによって構成される。
図２に示すように、磁気記憶装置１２には、オペレーテ
ィングシステム（ＯＳ）１２ａ、顔画像制御プログラム
１２ｂ、およびモデリングプログラム１２ｃなどのプロ
グラム、および後に説明する種々の処理に用いられるデ
ータなどが記憶される。

【００１３】磁気記憶装置１２に記憶されたプログラム
およびデータは、必要に応じてＲＡＭ１０ｂにロードさ
れる。ロードされたプログラムはＣＰＵ１０ａによって
実行される。アニメーション生成装置１をネットワーク
６Ｎを介して他のコンピュータに接続し、プログラムま
たはデータをダウンロードすることも可能である。フロ
ッピディスク１９ａ、ＣＤ−ＲＯＭ１９ｂ、または光磁
気ディスク（ＭＯ）１９ｃなどの各種リムーバブルディ
スク（記録媒体）を介してプログラムまたはデータをロ
ードすることも可能である。

【００１４】ディスプレイ装置１１には、磁気記憶装置
１２に記憶されたデータに基づく種々の画像、処理装置
１０による処理によって得られた画像などが表示され
る。例えば、人物の頭部の３次元形状モデル（３次元モ
デル）である顔モデル、顔モデルを所定の方向から２次
元面上に投影して得られる顔画像ＨＦ、連続して変化す
る顔画像による顔アニメーションなどが表示される。し
たがって、顔アニメーションは、例えばアニメーション
生成装置１に入力された言葉に合わせて口が動くよう
に、顔モデルを言葉の音韻により制御することによって
生成される。

【００１５】キーボード１３およびマウス１４などの操
作入力装置は、処理装置１０に指令または命令を与え、
パラメータを設定し、または顔モデルの制御のための言
葉、その他の種々のデータを入力するために用いられ
る。

【００１６】マイク１５は、処理装置１０に対して音声
によって指令を与えたり、顔モデルの制御のための言葉
を入力するのに用いられる。スピーカ１６は、顔画像の
動作すなわちリップシンクアニメーションに合わせて、
言葉を音声として出力する。これにより、ユーザは、顔
画像ＨＦが言葉を喋っているように認識する。

【００１７】アニメーション生成装置１として、例え
ば、ワークステーションまたはパーソナルコンピュータ
などが用いられる。ＰＤＡ（Personal Digital Assista
nt）または携帯電話端末などを用いることも可能であ
る。

【００１８】図３に示すように、アニメーション生成装
置１には、顔モデル生成部１０１、データ記憶部１０
２、動作指示データ取得部１０３、顔画像制御部１０
４、音声出力部１０５、およびデータ選択部１０６など
が設けられる。

【００１９】これらの機能によって、指定した人物に対
応する顔モデル（筋肉モデル）を生成し、その顔モデル
を言葉によって制御し、言葉に合わせて喋る顔アニメー
ションを生成することができる。

【００２０】顔モデルは、３次元空間に配置された多数
の構成頂点（Model Vertex）Ｖからなる構成頂点群（構
成点群）を有する。これら構成頂点群によって、外観形
状、つまり皮膚の表面が表現される。「皮膚」は、顔面
では文字通り顔の皮膚であるが、頭の部分では毛髪が
「皮膚」となる。例えば衣服を着ている場合に、特に衣
服として異なった制御を行わないのであれば、その衣服
も皮膚と見做せる。

【００２１】筋肉モデルでは、皮膚の内部に筋肉が配置
される。例えば、「笑筋」、「口輪筋」などの筋肉が配
置される。これらの筋肉は、１つまたは複数のエッジ
（Edge）Ｅによって構成される。つまり、エッジ群が筋
肉である。エッジＥは直線によって表される。筋肉の性
質および作用は、その構成要素である各エッジＥの性質
および作用の総和であるが、特に区別する必要のない場
合には、「エッジＥ」を「筋肉Ｅ」と記載することがあ
る。筋肉に加えて、さらに骨格が配置されることもあ
る。

【００２２】１つまたは複数の構成頂点Ｖとそれら構成
頂点Ｖによる影響率とによって、１つのノード（Node）
Ｎが定義される。つまり、各ノードＮの初期位置は、そ
れを定義する構成頂点Ｖの位置と、それぞれの構成頂点
Ｖの影響率とによって決定される。骨格上の点によって
ノードＮが定義されることもある。

【００２３】２つのノードＮによって、１つのエッジＥ
が定義される。つまり、エッジＥは、その両端に配置さ
れた端点である２つのノードＮによって定義される。両
端のノード間の距離が、そのエッジＥの長さである。１
つのノードＮが複数のエッジＥの端点となることがあ
る。

【００２４】エッジＥの長さは、例えば後述する式
（５）に関連して与えられる。エッジＥの長さは、基本
的には、指定された変形量（収縮量）ｔに基づいて決定
される。変形量ｔは、例えば、０〜２０の値で与えられ
る。その場合に、ｔ＝０であれば、当該エッジＥが収縮
していない状態、つまり当該エッジＥは自由状態の長さ
となる。ｔ＝２０であれば、最も収縮した状態となる。

【００２５】各エッジＥの伸縮量（または長さ）の算出
に当たって、変形量ｔに伸縮係数Ｉを乗じる。伸縮係数
Ｉは、各エッジＥに対して指定される変形量ｔの影響の
強さを示すものであり、各エッジＥに対してそれぞれ設
定される。伸縮係数Ｉの値が大きい程、変形量ｔの影響
を強く受け、伸縮量は大きくなる。伸縮係数を「強度」
と呼称することも可能である。

【００２６】エッジＥが伸縮すると、その両端の２つの
ノードＮが変位する。２つのノードＮの変位の割合は、
各ノードＮに設定されたウエイトｗによって決定され
る。例えばノードＮのウエイトｗが「０」である場合に
は、エッジＥが伸縮してもそのノードＮは変位しない。
１つのノードＮが複数のエッジＥの端点となっている場
合には、そのノードＮの位置は複数のエッジＥの伸縮状
態によって決まる。

【００２７】ノードＮが変位すると、そのノードＮから
影響を受けるように設定された構成頂点Ｖが変位する。
ノードＮの影響配下にあるそのような構成頂点Ｖには、
通常、そのノードＮ自体を定義する構成頂点Ｖが含まれ
る。影響配下にある構成頂点Ｖについて、ノードＮの変
位による影響率（影響強度）ｒがそれぞれ定義される。
影響率ｒの値が大きい程、構成頂点Ｖの変位量が大き
い。

【００２８】次に、図３に示す各機能についてさらに詳
しく説明する。〔３次元形状モデル（顔モデル）の生成〕顔モデル生成
部１０１は、顔画像ＨＦの基となる３次元形状モデルを
生成する。ここでは、アニメーション生成装置１を使用
するユーザ自身の３次元形状モデルを生成する場合につ
いて説明する。

【００２９】図４は３次元形状モデルの生成の処理の流
れを説明するフローチャート、図５は標準モデルＤＳの
例を示す図、図６は変形処理の流れを説明するフローチ
ャート、図７は標準モデルＤＳの面Ｓと３次元計測デー
タの点Ｐとを模式的に示す図、図８は標準モデルＤＳの
異常変形を防ぐための仮想バネを説明するための図であ
る。

【００３０】図４において、まず、標準モデルＤＳとユ
ーザについての３次元計測データとの概略の位置合わせ
を行う（＃１０１）。本実施形態において、標準モデル
ＤＳは、標準的な人物の頭部の全体を構造化した顔モデ
ル、つまり標準的な頭部の筋肉モデルである。標準モデ
ルＤＳは、標準的な顔のサイズおよび形状を有する。標
準モデルＤＳは、上に述べた多数の構成頂点Ｖを有す
る。また、筋肉配置設定処理によって多数のノードＮお
よびエッジＥが定義され、影響範囲設定処理によって、
各ノードＮの影響配下にある構成頂点Ｖおよびそれらの
影響率ｒが定義される。

【００３１】３次元計測データは、ユーザの顔について
の点群（構成頂点群）からなる３次元データである。３
次元計測データは、３次元計測装置を用いてユーザを撮
影するなどして予め用意される。

【００３２】ステップ＃１０１では、標準モデルＤＳと
３次元計測データとの距離が最小となるように、標準モ
デルＤＳの向き、大きさ、および位置を変更する。一般
に、標準モデルＤＳおよび３次元計測データとして、無
表情の状態のものが用いられる。

【００３３】次に、輪郭および特徴点を抽出する（＃１
０２）。標準モデルＤＳについての輪郭ＲＫおよび特徴
点ＴＴと同じ位置に配置されるべき輪郭および特徴点
を、３次元計測データ上に、またはそれに対応する２次
元画像上に配置する。

【００３４】特徴点として、例えば、目や口の端部、鼻
の頂部、顎の下端部のように実際に特徴のある部分、ま
たは、それらの中間のようなそれ自体では特徴はないが
位置的に特定し易い部分などが選ばれる。輪郭として、
顎のライン、唇のライン、または瞼のラインなどが選ば
れる。

【００３５】計算量および誤差を削減するために、３次
元計測データについてデータの削減を行う（＃１０
３）。標準モデルＤＳの変形を行う（＃１０４）。すな
わち、３次元計測データの各点と標準モデルＤＳの面と
の間の距離に関連して定義されたエネルギー関数、また
は過剰な変形を回避するために定義されたエネルギー関
数などを用い、それらが最小となるように標準モデルＤ
Ｓの面を変形させる。

【００３６】そして、対象とするエネルギー関数および
制御点を変更し、ステップ＃１０４と同様な変更のため
の処理を繰り返す（＃１０５）。次に、ステップ＃１０
４の変形処理について説明する。

【００３７】図７において、３次元計測データを構成す
る点群の１つが点Ｐｋで示される。標準モデルＤＳの面
Ｓにおいて、点Ｐｋに最も近い点がＱｋで示される。点
Ｑｋは、点Ｐｋから面Ｓに垂線を下ろしたときの交点で
ある。

【００３８】点群に面Ｓをフィッティングする方法は次
の通りである。ここでは、一般的なフィッティングにつ
いて説明する。点群の中の１つの点Ｐｋ、それに対応す
る点Ｑｋ、および対応点群Ｔ＝｛（Ｐｋ，Ｑｋ），ｋ＝
１…ｎ｝について、フィッティングエネルギー（Fittin
g Energy) 関数Ｆｆ（Ｕ）を、次の式（１）のように設
定する。

【００３９】

【数１】

【００４０】ただし、Ｑｋ（Ｕ）は、ＱｋがＵの関数で
あることを示す。また、面Ｓの過度の変形を防ぐため
に、図８に示す仮想バネ(elastic bar) ＫＢを導入す
る。仮想バネＫＢの制約に基づいて、面Ｓの形状安定化
のための安定化エネルギー関数を導く。

【００４１】すなわち、図８において、フィッティング
対象である標準モデルＤＳの面（曲面）Ｓの一部が示さ
れている。面Ｓは、制御点群Ｕ＝｜ｕｉ，ｉ＝１…ｎ｜
で形成されている。隣接する制御点間には、仮想バネＫ
Ｂが配置されている。仮想バネＫＢは、制御点間に引っ
張り力による拘束を与え、面Ｓの異常変形を防ぐ働きを
する。

【００４２】つまり、隣接する制御点ｕの間隔が大きく
なった場合に、それに応じて仮想バネＫＢによる引っ張
り力が大きくなる。例えば、点Ｑｋが点Ｐｋに近づく場
合に、その移動にともなって制御点ｕの間隔が大きくな
ると、仮想バネＫＢによる引っ張り力が増大する。点Ｑ
ｋが移動しても制御点ｕの間隔が変わらなければ、つま
り制御点ｕ間の相対位置関係に変化がなければ、仮想バ
ネＫＢによる引っ張り力は変化しない。仮想バネＫＢに
よる引っ張り力を面Ｓの全体について平均化したもの
を、安定化エネルギーとして定義する。したがって、面
Ｓの一部が突出して変形した場合に安定化エネルギーは
増大する。面Ｓの全体が平均して移動すれば安定化エネ
ルギーは零である。

【００４３】安定化エネルギー関数Ｆｓ（Ｕ）は、次の
式（２）で示される。

【００４４】

【数２】

【００４５】ここで、

【００４６】

【数３】

【００４７】は、それぞれ、仮想バネＫＢの初期端点、
変形後の仮想バネＫＢの端点である。ｃはバネ係数であ
り、Ｍは仮想バネＫＢの本数である。また、次の関係が
成り立つ。

【００４８】

【数４】

【００４９】したがって、バネ係数ｃを大きくすると、
仮想バネＫＢは硬くなって変形し難くなる。このような
安定化エネルギー関数Ｆｓ（Ｕ）を導入することによ
り、面Ｓの形状変化に一定の拘束を設けることとなり、
面Ｓの過度の変形を防ぐことができる。

【００５０】上に述べたフィッティングエネルギー関数
Ｆｆ（Ｕ）、および安定化エネルギー関数Ｆｓ（Ｕ）を
用い、フィッティングの評価関数Ｆ（Ｕ）を次の式
（３）のように定義する。

【００５１】Ｆ（Ｕ）＝ＷｆＦｆ（Ｕ）＋ＷｓＦｓ（Ｕ） ……（３）ここで、Ｗｆ，Ｗｓは、それぞれ正規化のための重み係
数である。式（３）の評価関数Ｆ（Ｕ）が十分小さくな
るように、面Ｓの変形および対応点の探索を繰り返し、
面のフィッティングを行う。例えば、Ｆ（Ｕ）のＵに関
する微分が０に近づく方向にフィッティングを行う。

【００５２】図６において、変形処理では、まず、点Ｐ
ｋに対応する点Ｑｋを計算で求め、点Ｐｋと点Ｑｋの組
みを作成する（＃１１１）。面Ｓを変形し（＃１１
２）、変形後の評価関数Ｆ（Ｕ）を計算する（＃１１
３）。評価関数Ｆ（Ｕ）が収束するまで（＃１１４でＹ
ｅｓ）、処理を繰り返す。

【００５３】評価関数Ｆ（Ｕ）の収束を判定する方法と
して、評価関数Ｆ（Ｕ）が所定の値よりも小さくなった
ときを収束とする方法、前回の計算と比較べた変化の割
合が所定値以下となったときに収束とする方法など、公
知の方法を用いることが可能である。

【００５４】このような処理によって標準モデルＤＳを
変形し、ユーザの顔の形状をした３次元形状モデルを生
成することができる。生成された３次元形状モデルは、
データ記憶部１０２に記憶される。以下、３次元形状モ
デルを「顔モデル３Ｍ」と記載することがある。

【００５５】なお、データ記憶部１０２には、他の複数
の人物の顔モデル３Ｍが記憶されている。したがって、
以下に説明する処理によって、様々な人物の顔画像ＨＦ
のアニメーションを実現することができる。〔筋肉の定
義〕図９は顔モデル３Ｍの構成の例を示す図、図１０は
ノードデータ７２ａの例を示す図、図１１はノードＮと
その位置を定義する構成頂点Ｖとの関係を示す図、図１
２はエッジデータ７４ａの例を示す図、図１３はエッジ
Ｅの構成を説明するための図、図１４はあるノードＮの
変位による影響が及ぶ範囲の例を説明する図、図１５は
ノード影響データ７３ａの例を示す図である。

【００５６】図９（ａ）において、複数の細い直線同士
の交点は、顔モデル３Ｍの構成頂点Ｖを示す。顔の表面
すなわち皮膚の位置は、構成頂点Ｖによって決定され
る。太い直線は、顔モデル３Ｍのエッジ（筋肉）Ｅであ
る。黒い丸印は、エッジＥの端点を意味するノードＮを
示す。つまり、エッジＥの位置は、異なる２つのノード
Ｎによって決定される。ノードＮ（Ｎ１、Ｎ２、…）
は、顔全体の各エッジＥの端点となる位置に配置されて
いる。なお、エッジＥは人間の実際の筋肉に即して配置
されるので、顔の動きをリアルに再現することができ
る。

【００５７】図９（ｂ）は、ノードＮとエッジＥとの関
係を分かりやすくするために、図９（ａ）から構成頂点
Ｖを省略して示している。図９（ａ）（ｂ）は、顔の右
半分のノードＮおよびエッジＥを省略して示している
が、実際には、右半分にも左半分と同様にノードＮおよ
びエッジＥが存在する。

【００５８】ノードＮの位置は、次に示す式（４）のよ
うに、構成頂点Ｖの相対的位置として表される。

【００５９】

【数５】

【００６０】ノードＮの具体例を説明する。図１０に示
すノードデータ７２ａは、各ノードＮのＩＤ番号、各ノ
ードＮを定義する構成頂点ＶのＩＤ番号、およびそれら
構成頂点Ｖによる影響率（Rate）を示す。

【００６１】例えば、ＩＤ＝１のノードＮ１の位置は、
ＩＤ＝５０、４３、１５の３つの構成頂点Ｖ（Ｖ５０、
Ｖ４３、Ｖ１５）によって決まる。それら構成頂点Ｖの
影響率は、それぞれ、「０．３」「０．５」「０．２」
である。

【００６２】図１１に示されるように、ノードＮ１は、
それら３つの構成頂点Ｖからなる三角形の各辺を影響度
に基づいて内分し、各内分点とその向かい合う構成頂点
Ｖとを結ぶ３本の直線の交点に位置する。

【００６３】エッジＥの伸縮にともなうノードＮの変位
は、次に示す式（５）によって求められる。

【００６４】

【数６】

【００６５】エッジＥの具体例およびエッジＥの伸縮に
ともなうノードＮの変位について、上の式（５）を参照
しながら説明する。図１２に示すエッジデータ７４ａ
は、各エッジＥのＩＤ番号、各エッジＥを定義するノー
ドＮのＩＤ番号、各ノードＮのウエイトｗ、および、各
エッジＥの伸縮係数Ｉを示す。ウエイトｗは、そのエッ
ジＥを伸縮させた場合に、どちらのノードＮをどれだけ
の割合で移動させるかを示す。

【００６６】例えば、図１３に示されるように、ＩＤ＝
１のエッジＥ１は、ＩＤ＝１とＩＤ＝２の２つのノード
Ｎ１，Ｎ２によって決まる。ノードＮ１，Ｎ２のウエイ
トｗは、それぞれ「１．０」「０．０」である。したが
って、エッジＥ１が伸縮したときに、ノードＮ１のみが
変位し、ノードＮ２は変位しない。もし、両端のノード
Ｎのウエイトｗが「０．７」「０．３」であった場合に
は、エッジＥが伸縮したときに、各ノードＮがそれぞれ
７対３の割合で変位する。また、エッジＥ１の伸縮係数
Ｉは「１０」である。

【００６７】ただし、実際には複数のエッジＥに関係す
るノードＮが存在するため、収束演算または連立演算に
よってノードＮの変位後の位置が求められる。ノードＮ
の変位に伴って、そのノードＮの周辺の構成頂点Ｖが影
響を受けて変位する。例えば、図１４に示すように、あ
るノードＮが変位すると、その周辺の９つの構成頂点Ｖ
に影響が及びこれらの構成頂点Ｖが変位する。

【００６８】図１５に示すノード影響データ７３ａによ
ると、例えばノードＮ１の変位（移動）によって構成頂
点Ｖ５０、Ｖ４３、…、Ｖ４６の６つの構成頂点Ｖに影
響が及ぶことが分かる。括弧内の各値は、顔モデル３Ｍ
の形状が初期状態である場合にノードＮの変位によって
各構成頂点Ｖｉ（ｉ＝１，２…）に及ぼされる影響率ｒ
を示している。この影響率ｒは、ノードＮに近い構成頂
点Ｖほど大きく設定されている。影響率ｒが大きいほ
ど、例えば表情が大げさに表現される。

【００６９】ノードＮの変位に伴って構成頂点Ｖが移動
する位置は、次に示す式（６）によって求められる。

【００７０】

【数７】

【００７１】このように、ノードデータ７２ａ、ノード
影響データ７３ａ、およびエッジデータ７４ａによっ
て、各筋肉Ｅと各構成点Ｖとの位置関係および各筋肉Ｅ
の変形によって各構成頂点Ｖに及ぼされる影響の関係な
どが決まる。以下、これら３種類のデータを合わせて
「筋肉配置データ７７」と記載することがある。例え
ば、ノードデータ７２ｉ、エッジデータ７４ｉ、および
ノード影響データ７３ｉを「筋肉配置データ７７ｉ」な
どのように記載することがある。筋肉配置データ７７は
データ記憶部１０２に記憶されている。〔顔モデルの形状を制御するためのデータ〕顔モデル３
Ｍの各エッジＥ、各ノードＮ、および各構成頂点Ｖは上
に述べたように構成されており、各エッジＥに変形量を
与えることによって各ノードＮおよび各構成頂点Ｖを変
位させて顔モデル３Ｍを動作させる（変形する）ことが
できる。しかし、アニメーションの生成のたびにすべて
のエッジＥに対して変形量を与えるのは煩わしい。そこ
で、所定の動作ごとに各エッジＥの変形量が予め定義さ
れている。

【００７２】図１６は動作別筋肉データ７１ａの例を示
す図、図１７は音韻を発した形状に変化したときの顔モ
デル３Ｍの例を示す図、図１８は辞書データ７９の例を
示す図である。

【００７３】図１６に示す動作別筋肉データ７１ａは、
顔モデル３Ｍが各音韻を発する動作を行った際の各エッ
ジＥの変形量を表している。例えば、この動作別筋肉デ
ータ７１ａに基づいて「あ」、「え」、「い」、
「お」、「う」の音を発する動作を顔モデル３Ｍに行わ
せると、それぞれ、図１７（ａ）〜（ｅ）に示すような
形状になる。図１６の動作別筋肉データ７１ａは、図３
のデータ記憶部１０２に記憶されている。その他、「笑
う」、「怒る」、「あくびをする」、または「瞬きをす
る」などの動作を行ったときの形状について定義してお
いてもよい。

【００７４】動作指示データ取得部１０３は、顔モデル
３Ｍに行わせる動作を指示する動作指示データ７０を取
得する。例えば、顔モデル３Ｍに言葉を喋らせる場合
は、キーボード１３またはマイク１５などから入力され
たテキストデータまたは音声データに基づいて、次のよ
うに動作指示データ７０を取得する。

【００７５】テキストデータが入力された場合は、その
テキストデータに含まれる言葉を音韻ごとに分解する。
日本語の「こんばんは」という言葉の場合は、ローマ字
化されて「ｋｏｎｂａｎｗａ」の音韻に分解される。

【００７６】英語のように表音文字を用いない場合すな
わちスペル中の１文字と音とが一対一に対応していない
場合は、テキストデータの言葉を発音記号に変換するこ
とによって音韻を取得する。すなわち、図１８に示す辞
書データ７９に基づいて英単語を発音記号（音韻）に変
換する。例えば「ｇｏｏｄ」という英単語は、「ｇｕ
ｄ」という音韻に変換される。この辞書データ７９は、
データ記憶部１０２に記憶されている。

【００７７】音声データが入力された場合は、音声デー
タから直接音韻を抽出する。または、音声データをテキ
ストデータに変換し、上述のように辞書データ７９を用
いるなどして音韻を取得するようにしてもよい。このよ
うにして取得された各音韻が、動作指示データ７０とし
て用いられる。〔複数のデータの準備および選択〕図１９は動作別筋肉
データ７１ｂの例を示す図、図２０は大げさに音韻を発
したときの顔モデル３Ｍの例を示す図、図２１はノード
データ７２ｂの例を示す図、図２２はエッジデータ７４
ｂの例を示す図、図２３はノード影響データ７３ｂの例
を示す図である。

【００７８】上述のように、各エッジＥを変形させてノ
ードＮを変位させ、これによって影響配下にある構成頂
点Ｖの位置を変えることによって、顔モデル３Ｍを変形
させることができる。さらに、本アニメーション生成装
置１は、同じ音韻を発する場合であっても状況に応じて
顔モデル３Ｍが異なる形状に変形するように、次のよう
なデータがデータ記憶部１０２に記憶されている。

【００７９】すなわち、データ記憶部１０２には、図１
６に示す動作別筋肉データ７１ａのほか、これと同じ役
割を果たす複数の動作別筋肉データ７１が記憶されてい
る。そのうちの１つとして、例えば、図１９に示す動作
別筋肉データ７１ｂが記憶されている。動作別筋肉デー
タ７１ａ、７１ｂを比較すると、各音韻に対応するエッ
ジＥの変形量の組み合わせが異なることが分かる。

【００８０】動作別筋肉データ７１ａに基づいて顔モデ
ル３Ｍに「あ〜お」音を発音させると図１７のように自
然な（標準的な）形状になるが、動作別筋肉データ７１
ｂに基づいて発音させると図２０のように大げさな形状
になる。つまり、同じ音韻を発する場合であっても、使
用する動作別筋肉データ７１の内容によって顔モデル３
Ｍに異なる表情をさせることができる。

【００８１】同様に、ノードデータ７２ａ、エッジデー
タ７４ａ、およびノード影響データ７３ａ（図１０、図
１２、図１５参照）とそれぞれ同じ役割を果たす複数の
ノードデータ７２、エッジデータ７４、およびノード影
響データ７３が記憶されている。例えば、図２１〜図２
３に示すノードデータ７２ｂ、エッジデータ７４ｂ、お
よびノード影響データ７３ｂが記憶されている。

【００８２】ノードデータ７２ａ、７２ｂは、各ノード
Ｎの初期位置を定義する構成頂点Ｖおよび各構成頂点Ｖ
の影響率がそれぞれ互いに異なる。エッジデータ７４
ａ、７４ｂは、各エッジＥを定義する両端点（ノード
Ｎ）は互いに同じであるが、伸縮係数Ｉおよび両端点の
ウエイトｗがそれぞれ互いに異なる。ノード影響データ
７３ａ、７３ｂは、各ノードＮの変位によって影響が及
ぶ構成頂点Ｖなどがそれぞれ互いに異なる。

【００８３】筋肉配置データ７７ａ（ノードデータ７２
ａ、エッジデータ７４ａ、およびノード影響データ７３
ａ）に基づいて顔モデル３Ｍを変形すると図１７に示す
ように標準的な形状になるが、筋肉配置データ７７ｂに
基づいて顔モデル３Ｍを変形すると図２０に示すような
大げさな形状になる。

【００８４】このように、どの動作別筋肉データ７１ま
たは筋肉配置データ７７を用いるかによって、同一の動
作であっても顔モデル３Ｍをそれぞれ異なった形状に変
形することができる。なお、動作別筋肉データ７１ａお
よび筋肉配置データ７７ａはデフォルト値であり、デー
タの指定がない場合に用いられる。

【００８５】その他、眠そうに動作するパターン、嬉し
そうに動作するパターン、または漫画のキャラクタのよ
うに動作するパターンなど種々のパターンについて、動
作別筋肉データ７１または筋肉配置データ７７を準備し
ておいてもよい。

【００８６】図３に戻って、データ選択部１０６は、上
記の複数のパターンのうちのいずれのパターンのデータ
を用いるのかを選択する。例えば、動作を大げさに表し
たい場合は、動作別筋肉データ７１ｂが選択される。ま
たは、筋肉配置データ７７ｂが選択される。

【００８７】データの選択は、ユーザが行うようにして
もよいし、自動的に行うようにしてもよい。例えば、ア
ニメーションの編集を行う場合は、ユーザが指定した表
情または動作に対応するデータを選択するようにしても
よい。テレビゲームのアニメーションを生成する場合
は、ゲームのシーンまたは現在の時刻などに合ったデー
タを選択するようにしてもよい。入力された音声に基づ
いてリアルタイムにアニメーションを生成するのであれ
ば、声のトーンまたは大きさなどに基づいてユーザの感
情を読み取るなどして適当なデータを選択するようにし
てもよい。入力された文章（動作指示データ７０）の途
中で状況が変化する場合は、それに合わせてデータを選
択し直すなどしてもよい。

【００８８】次に、動作指示データ７０およびデータ選
択部１０６によって選択された各データに基づいて顔モ
デル３Ｍを変形し、アニメーションを実行する処理につ
いて説明する。〔顔画像の制御（アニメーションの実行）〕図２４はタ
イムテーブルの例を示す図、図２５は音韻を示す台形の
例を説明する図である。

【００８９】図３の顔画像制御部１０４は、時間配分部
１６２、形状取得部１６３、および動画像生成部１６４
などによって構成され、動作指示データ７０などに基づ
いて顔画像ＨＦを制御し、アニメーションを実行する。

【００９０】時間配分部１６２は、動作指示データ７０
に基づいて顔モデル３Ｍを変形させる際の時間的な配分
に関する設定を行う。例えば、顔モデル３Ｍに「ｇｏｏ
ｄｂｙｅ」という言葉つまり「ｇｕｄｂａｉ」という
音韻を発音させる場合は、図２４に示すようなタイムテ
ーブルを生成する。

【００９１】図２４において、１つの音韻は１つの台形
によって表され、時間軸（横軸）に沿って順番に並べら
れる。各台形の上辺の長さは、図２５に示すように、そ
の音韻を発している形状を保つ継続時間Ｔ２を意味す
る。継続時間Ｔ２は、母音よりも子音のほうが短く、母
音が０．４秒、子音が０．１秒程度である。立ち上がり
時間Ｔ１は、ある形状（例えば無表情の形状）から音韻
を発した形状に変化するまでの時間を意味する。終息時
間Ｔ３は、音韻を発した形状が無表情の形状に戻るまで
の時間を意味する。立ち上がり時間Ｔ１および終息時間
Ｔ３は、ともに極めて短い時間であり、例えば０．１秒
以下である。以下、説明の簡単のため、Ｔ１＝Ｔ３とす
る。

【００９２】隣り合う２つの台形は、前の台形の形状が
終息したとき（ｔｉｍｅ＝ｔｂ）に後の台形の形状の立
ち上がりが完了するように配置される。つまり、後の音
韻は、ｔｂよりも前の音韻の終息時間Ｔ３だけ前に立ち
上がり始めるように配置される（ｔｉｍｅ＝ｔａ）。た
だし、２つの台形が単語と単語の変わり目（例えば
「ｄ」と「ｂ」との境目）にまたがる場合は、前の台形
の形状が終息してから後の台形が立ち上がり始めるよう
に配置される。

【００９３】形状取得部１６３は、時間配分部１６２に
よって得られたタイムテーブルに基づいて時刻ごとの顔
モデル３Ｍの形状すなわち各構成頂点Ｖの位置を算出す
る。例えば、１秒当たり３０フレームのアニメーション
を生成する場合であれば、１／３０秒ごとの各構成頂点
Ｖの位置を算出する。なお、各構成頂点Ｖの算出に当た
っては、データ選択部１０６によって選択された動作別
筋肉データ７１および筋肉配置データ７７が用いられ
る。

【００９４】図２４において、各音韻を発した状態の間
すなわち台形の上辺の時間帯における各エッジＥの変形
量は、動作別筋肉データ７１を参照して得られる。そし
て、式（５）および式（６）などに基づいて各構成頂点
Ｖが算出される。

【００９５】ある音韻から次の音韻に変化する時間帯す
なわち隣り合う２つの音韻の立ち上がり時間Ｔ１と終息
時間Ｔ３との重なる時間帯（例えば、ｔａ〜ｔｂの間）
における各構成頂点Ｖの位置は、次の式（７）によって
補間して求められる。なお、式（７）は、顔モデル３Ｍ
の形状が簡単に求められるように、直線近似としてい
る。

【００９６】

【数８】

【００９７】動画像生成部１６４は、形状取得部１６３
によって得られた顔モデル３Ｍの各構成頂点Ｖの位置を
タイムテーブルに従って１フレームごと（例えば１／３
０秒ごと）に変化させながら所定の方向から２次元上に
投影することによって顔画像ＨＦを動作させ、リップシ
ンクアニメーションを生成する。

【００９８】音声出力部１０５は、動作指示データ７０
の言葉を音声化するなどして、リップシンクアニメーシ
ョンと同期して音声を出力する。例えば、所定の音韻が
立ち上がるときに顔画像制御部１０４から発せられる信
号（トリガー）に合わせて順次音声を出力する。テキス
トデータを音声化する方法として、公知の音声合成技術
が用いられる。

【００９９】次に、言葉を喋る顔画像ＨＦのアニメーシ
ョンを生成する処理の流れを、フローチャートを参照し
て説明する。顔画像ＨＦは、同じ言葉を喋る場合であっ
ても状況に応じて異なる表情をする。このような顔画像
ＨＦのアニメーションを生成する方法として、筋肉の変
形量の設定（動作別筋肉データ７１）を変える方法と筋
肉の配置などに関する設定（筋肉配置データ７７）を変
える方法とがある。以下、これら２通りの方法をそれぞ
れ「第一の方法」、「第二の方法」と記載することがあ
る。

【０１００】図２６は第一の方法に基づくアニメーショ
ンを生成する処理の流れを説明するフローチャート、図
２７は第二の方法に基づくアニメーションを生成する処
理の流れを説明するフローチャートである。

【０１０１】第一の方法に基づく場合は、図２６に示す
ように、まず、顔モデル３Ｍの筋肉などの設定を行う。
すなわち、アニメーションとして再現する人物（例えば
アニメーション生成装置１のユーザ）の顔モデル３Ｍを
生成し、この顔モデル３Ｍの筋肉（エッジＥ）の配置の
設定を行い（＃１１）、皮膚すなわち各構成頂点Ｖへの
影響範囲の設定を行う（＃１２）。ただし、筋肉および
皮膚などを標準的な設定にするために、筋肉の配置など
の設定を筋肉配置データ７７ａのようにしておく。標準
のパターンまたは大げさなパターンなど各パターンにつ
いての動作別筋肉データ７１ａ、７１ｂ、…を設定する
（＃１３）。既に顔モデル３Ｍを生成し各設定を行って
いる場合は、ステップ＃１１〜＃１３を省略し、ステッ
プ＃１４から処理を開始してもよい。

【０１０２】顔画像ＨＦに喋らせるテキストデータを取
得して音韻に変換し（＃１４）、各音韻の時間配置を行
ってタイムテーブルを作成する（＃１５）。エッジＥに
与える動作別筋肉データ７１を状況に応じて選択する
（＃１６）。例えば、入力された音声が通常よりも大き
い場合は、大げさな形状のための動作別筋肉データ７１
ｂを選択する。

【０１０３】選択された動作別筋肉データ７１に基づい
て各音韻に対応する各エッジＥの変形量を得て各構成頂
点Ｖの位置を決め、顔モデル３Ｍの形状を取得する（＃
１７）。ある音韻から次の音韻に移る時間帯の形状につ
いては、式（７）に基づいて補間する（＃１８）。

【０１０４】そして、ステップ＃１７、＃１８によって
得られた顔モデル３Ｍの形状を時間ごとに変化させ、所
定の方向から２次元面上に投影することによって顔画像
ＨＦのアニメーションを実行する（＃１９）。

【０１０５】第二の方法に基づく場合は、図２７に示す
ように、顔モデル３Ｍを生成し、各パターンについての
エッジＥの配置および各構成頂点Ｖへの影響範囲を設定
する（＃３１、３２）。すなわち、筋肉配置データ７７
として標準のパターンまたは大げさなパターンなど複数
のノードデータ７７ａ、７７ｂ、…を設定する。音韻ご
との筋肉の変形量（動作別筋肉データ７１ａ）を設定す
る（＃３３）。図２６の場合と同様に、ステップ＃３１
〜＃３３を省略してステップ＃１４から処理を開始する
ようにしてもよい。

【０１０６】取得したテキストデータに含まれる各音韻
に対応する各エッジＥの変形量を取得し、時間配置を行
う（＃３４、＃３５）。複数の筋肉配置データ７７の中
からいずれのデータを用いるのかを状況に応じて選択す
る（＃３６）。

【０１０７】選択された筋肉配置データ７７ｂに基づい
て顔モデル３Ｍの形状を取得し（＃３７、＃３８）、顔
画像ＨＦのアニメーションを実行する（＃３９）。第一
の方法または第二の方法のいずれに基づいてアニメーシ
ョンを生成するかは、アニメーションの利用目的などに
よってユーザが任意に選択できるようにしてもよいし、
シーンなどに応じて自動的に選択するようにしてもよ
い。

【０１０８】本実施形態によると、同一の動作指示に対
して状況に応じてそれぞれ異なった形状に顔モデル３Ｍ
を変形することができる。これにより、バリエーション
に富んだアニメーションを実現することができる。ま
た、複数のパターンの筋肉配置データ７７を設定してお
くことによって、１つのパターンの筋肉設定では表現が
困難な動作を３次元モデルに行わせることができる。

【０１０９】本実施形態では、ユーザの３次元計測デー
タに標準モデルをフィッティングすることにより顔モデ
ルを取得したが、ユーザの２次元画像に標準モデルをフ
ィッティングして顔モデルを取得してもよい。または、
種々のＣＧ（Computer Graphics ）プログラムを用いて
顔モデルを作成してもよい。

【０１１０】本実施形態では、人物の顔を対象にアニメ
ーションを生成したが、他のキャラクタを対象にしても
よい。例えば、犬または猫などの動物、架空の動物、ロ
ボットなどを対象にしてもよい。また、人物または動物
の全身を対象にアニメーションを生成してもよい。

【０１１１】

【発明の効果】本発明によると、同一の動作に対して状
況に応じてそれぞれ異なった形状に３次元モデルを変形
することができる。

【図面の簡単な説明】

【図１】本発明に係る３次元モデルの変形方法を適用し
たアニメーション生成装置の構成の例を示す図である。

【図２】磁気記憶装置に記憶されるプログラムおよびデ
ータの例を示す図である。

【図３】アニメーション生成装置の機能的な構成を示す
図である。

【図４】３次元形状モデルの生成の処理の流れを説明す
るフローチャートである。

【図５】標準モデルの例を示す図である。

【図６】変形処理の流れを説明するフローチャートであ
る。

【図７】標準モデルの面Ｓと３次元計測データの点Ｐと
を模式的に示す図である。

【図８】標準モデルの異常変形を防ぐための仮想バネを
説明するための図である。

【図９】顔モデルの構成の例を示す図である。

【図１０】ノードデータの例を示す図である。

【図１１】ノードとその位置を定義する構成頂点との関
係を示す図である。

【図１２】エッジデータの例を示す図である。

【図１３】エッジの構成を説明するための図である。

【図１４】あるノードの変位による影響が及ぶ範囲の例
を説明する図である。

【図１５】ノード影響データの例を示す図である。

【図１６】動作別筋肉データの例を示す図である。

【図１７】音韻を発した形状に変化したときの顔モデル
の例を示す図である。

【図１８】辞書データの例を示す図である。

【図１９】動作別筋肉データの例を示す図である。

【図２０】大げさに音韻を発したときの顔モデルの例を
示す図である。

【図２１】ノードデータの例を示す図である。

【図２２】エッジデータの例を示す図である。

【図２３】ノード影響データの例を示す図である。

【図２４】タイムテーブルの例を示す図である。

【図２５】音韻を示す台形の例を説明する図である。

【図２６】第一の方法に基づくアニメーションを生成す
る処理の流れを説明するフローチャートである。

【図２７】第二の方法に基づくアニメーションを生成す
る処理の流れを説明するフローチャートである。

【符号の説明】

１アニメーション生成装置７０動作指示データ７１動作別筋肉データ７２ノードデータ７３ノード影響データ７４エッジデータ１０３動作指示データ取得部１０４顔画像制御部１０６データ選択部３Ｍ顔モデル（３次元モデル）Ｅエッジ（筋肉）Ｖ構成頂点（構成点）

Claims

【特許請求の範囲】

【請求項１】３次元の構成点群によって皮膚が表現さ
れ、皮膚の内部に配置された１または複数の筋肉を伸縮
させることによって１つまたは複数の構成点が変位する
ように構成された３次元モデルを変形する３次元モデル
変形方法であって、同一の動作指示に対して筋肉の伸縮に基づいて構成点の
変位がどのようになるかについての複数種類の情報を記
憶しておき、前記複数種類の情報の中からいずれか１つの情報を選択
し、選択した情報に基づいて各構成点を変位させる、ことを特徴とする３次元モデル変形方法。
【請求項２】３次元の構成点群によって皮膚が表現さ
れ、皮膚の内部に配置された１または複数の筋肉を伸縮
させることによって１つまたは複数の構成点が変位する
ように構成された３次元モデルを変形する３次元モデル
変形方法であって、動作の種類ごとに、３次元モデルが当該動作を行ったと
きの形状になるような各筋肉の変形量を複数組記憶して
おき、３次元モデルに対する動作指示データを取得し、取得した動作指示データが示す動作に対応する複数組の
各筋肉の変形量の中からいずれか１組を選択し、選択した１組の各筋肉の変形量に基づいて各構成点を変
位させる、ことを特徴とする３次元モデル変形方法。
【請求項３】３次元の構成点群によって皮膚が表現さ
れ、皮膚の内部に配置された１または複数の筋肉を伸縮
させることによって１つまたは複数の構成点が変位する
ように構成された３次元モデルを変形する３次元モデル
変形方法であって、各筋肉の端点の変位によって各構成点に及ぼされる影響
を示す情報を複数記憶しておき、前記複数の情報の中からいずれか１つの情報を選択し、選択した情報に基づいて各構成点を変位させる、ことを特徴とする３次元モデル変形方法。
【請求項４】３次元の構成点群によって皮膚が表現さ
れ、皮膚の内部に配置された１または複数の筋肉を伸縮
させることによって１つまたは複数の構成点が変位する
ように構成された３次元モデルを変形するためのコンピ
ュータに用いられるコンピュータプログラムであって、同一の動作指示に対して筋肉の伸縮に基づいて構成点の
変位がどのようになるかについての複数種類の情報の中
からいずれか１つの情報を選択する処理と、選択した情報に基づいて各構成点を変位させる処理と、をコンピュータに実行させるコンピュータプログラム。
【請求項５】請求項４記載のコンピュータプログラムが
記録されたコンピュータ読み取り可能な記録媒体。