JP2003132365A - アニメーション生成装置およびコンピュータプログラム - Google Patents

Abstract

(57)【要約】 【課題】表示速度を維持しつつ従来よりも精細なアニメ
ーションを実現する。 【解決手段】顔モデル３Ｍを変形してアニメーションを
生成するアニメーション生成装置１に、所定の時間ごと
のフレームにおける顔モデル３Ｍの形状を定義するパラ
メータを取得する時間配置部１０３と、パラメータに基
づいて各フレームにおける顔モデル３Ｍの形状を取得す
る形状取得部１０５と、あるフレームにおけるパラメー
タおよびその次のフレームにおけるパラメータに基づい
て形状取得部１０５による顔モデル３Ｍの形状の取得が
所定の時間内に終了するか否かを判別する速度維持判別
部１０４とを設け、所定の時間内に終了しないと判別さ
れた場合に、形状取得部１０５は次のフレームよりも後
のフレームにおけるパラメータに基づいて顔モデル３Ｍ
の形状を取得する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、形状を決めるため
のパラメータの値をフレームごとに変化させることによ
って３次元のモデルを変形してアニメーションを生成す
るアニメーション生成方法およびアニメーション生成装
置に関し、特に、アニメーションの表示速度を維持する
ためのアニメーション生成方法およびアニメーション生
成装置に関する。

【０００２】

【従来の技術】従来より、アニメーションを生成し表示
する速度（表示速度）を維持するために、フレームを間
引くなどの方法が提案されている。例えば、特開平８−
６４９４号公報に記載の発明によると、アニメーション
の表示速度が２倍または３倍のように設定されると、そ
の倍率に応じてフレームを削除して（間引いて）アニメ
ーションを生成する。

【０００３】また、特開２０００−１４０４２１号公報
に記載の発明によると、通常よりも速い表示速度（例え
ば倍速表示）が設定された場合に、その表示速度に応じ
てフレームを間引き、または表示するオブジェクト（３
次元モデル）の精細度を落として計算量を軽減してアニ
メーションを生成する。

【０００４】

【発明が解決しようとする課題】しかし、表示速度を上
げたからといって、ユーザが予想するほど多くの処理時
間を要するとは限らない。例えば、連続する２つのフレ
ーム間で、アニメーションの基となる３次元モデルのう
ち変化する部位が少なければ、表示速度が高く設定され
ていても、十分にその表示速度を維持することができる
場合がある。逆に、表示速度が高く設定されていなくて
も、３次元モデルのうち変化する部位が多ければ、ユー
ザの予想に反してアニメーションの生成に時間を要し、
表示が遅れる場合がある。

【０００５】このように、従来の方法では、アニメーシ
ョン生成装置のパフォーマンス（性能）などに余裕があ
るにも関わらず、設定された表示倍率に応じて一律にフ
レームを間引き、荒いアニメーションを表示してしまう
場合があり得る。また、表示速度が低い場合であって
も、必ずしも表示速度を維持できるとは限らない。

【０００６】本発明は、このような問題点に鑑み、設定
された表示速度を維持しつつ従来よりも精細なアニメー
ションを実現するアニメーション生成方法およびアニメ
ーション生成装置を提供することを目的とする。

【０００７】

【課題を解決するための手段】本発明に係るアニメーシ
ョン生成装置は、所定の時間ごとに３次元モデルを変形
してアニメーションを生成するアニメーション生成装置
であって、前記所定の時間ごとのフレームにおける前記
３次元モデルの形状を定義するパラメータを入力する入
力手段と、前記パラメータに基づいて前記各フレームに
おける前記形状を算出する第一の演算手段と、第一のフ
レームにおける前記パラメータおよびその次のフレーム
である第二のフレームにおける前記パラメータに基づい
て、前記第一の演算手段による前記形状の算出が前記所
定の時間内に終了するか否かを判別する判別手段と、前
記形状の算出が前記所定の時間内に終了しないと判別さ
れた場合に、前記第二のフレームよりも後のフレームで
ある第三のフレームにおける前記パラメータに基づいて
前記形状を算出する第二の演算手段とを有してなる。

【０００８】好ましくは、前記第二の演算手段は、前記
第三のフレームにおける前記形状を算出し、前記第一の
フレームにおける前記形状および前記第三のフレームに
おける前記形状に基づいて前記第二のフレームにおける
前記形状を算出する。または、前記第二の演算手段は、
前記第二のフレームにおける前記形状の算出を省略す
る。または、前記判別手段は、前記第二のフレームにお
いて前記形状の変更が必要である前記パラメータの個数
に基づいて前記形状の算出が前記所定の時間内に終了す
るか否かを判別する。

【０００９】または、第一のフレームにおける前記パラ
メータおよびその次のフレームである第二のフレームに
おける前記パラメータに基づいて、前記第二のフレーム
における前記パラメータに基づく前記形状を生成する必
要があるか否かを判別する判別手段と、前記形状の生成
が必要ないと判別された場合に、前記第二のフレームよ
りも後のフレームである第三のフレームにおける前記パ
ラメータに基づいて前記形状を算出する第二の演算手段
とを有してなる。好ましくは、前記判別手段は、前記第
一のフレームにおける前記各パラメータと前記第二のフ
レームにおける前記各パラメータとの差を求め、各差の
うちのいずれかが所定の値よりも大きい場合に必要でな
いと判別する。

【００１０】または、第一のフレームの次のフレームで
ある第二のフレームにおける前記形状を、前記第二のフ
レームにおける前記各パラメータのうち前記第一のフレ
ームにおける前記各パラメータとの差が所定の値よりも
大きい前記パラメータのみに基づいて算出する演算手段
とを有してなる。好ましくは、前記第一のフレームにお
ける前記パラメータおよび前記第二のフレームにおける
前記パラメータに基づいて、前記第一の演算手段による
前記形状の算出が前記期間内に終了するか否かを判別す
る判別手段と、前記判別手段による判別の結果に基づい
て前記所定の値を設定する設定手段とを有してなる。

【００１１】

【発明の実施の形態】図１は本発明に係るアニメーショ
ン生成装置１の構成を示す図、図２は磁気記憶装置１２
に記憶されるプログラムおよびデータの例を示す図、図
３はアニメーション生成装置１の機能的構成を示す図で
ある。

【００１２】本発明に係るアニメーション生成装置１
は、図１に示すように、処理装置１０、ディスプレイ装
置１１、磁気記憶装置１２、キーボード１３、マウス１
４、マイク１５、およびスピーカ１６などによって構成
される。

【００１３】処理装置１０は、ＣＰＵ１０ａ、ＲＡＭ１
０ｂ、ＲＯＭ１０ｃ、各種の入出力ポート１０ｄ、およ
び各種のコントローラ１０ｅなどによって構成される。
磁気記憶装置１２には、図２に示すように、オペレーテ
ィングシステム（ＯＳ）１２ａ、顔画像制御プログラム
１２ｂ、およびモデリングプログラム１２ｃなどのプロ
グラム、および後に説明する種々の処理に用いられるデ
ータなどが記憶されている。

【００１４】磁気記憶装置１２に記憶されているプログ
ラムおよびデータは、必要に応じてＲＡＭ１０ｂにロー
ドされる。ロードされたプログラムは、ＣＰＵ１０ａに
よって実行される。ネットワーク６Ｎを介してアニメー
ション生成装置１を他のコンピュータに接続し、プログ
ラムまたはデータをダウンロードしてもよい。または、
フロッピディスク１９ａ、ＣＤ−ＲＯＭ１９ｂ、または
光磁気ディスク（ＭＯ）１９ｃなどの各種リムーバブル
ディスク（記録媒体）からプログラムまたはデータをロ
ードしてもよい。

【００１５】ディスプレイ装置１１には、処理装置１０
による処理結果が表示される。例えば、言葉に合わせて
口が動くように人物の顔画像ＨＦが処理装置１０によっ
て制御されると、その制御の結果がリップシンクアニメ
ーションとしてディスプレイ装置１１の表示画面ＨＧに
表示される。

【００１６】顔画像ＨＦは、人物の３次元形状モデルを
所定の方向から２次元の面に投影することによって得ら
れる。つまり、顔画像ＨＦの動作は、入力された言葉な
どに合わせて３次元形状モデルを変形することによって
制御される。

【００１７】スピーカ１６は、顔画像ＨＦの動作すなわ
ち顔アニメーションに合わせて言葉を音声として出力す
る。これにより、顔画像ＨＦがその言葉を喋っているか
のようにユーザに認識させることができる。

【００１８】アニメーション生成装置１として、例え
ば、ワークステーションまたはパーソナルコンピュータ
などが用いられる。ＰＤＡ（Personal Digital Assista
nt）または携帯電話端末などを用いてもよい。

【００１９】このような構成によって、アニメーション
生成装置１には、図３に示すように、テキストデータ取
得部１０１、音韻取得部１０２、時間配置部１０３、速
度維持判別部１０４、形状取得部１０５、精細判別部１
０６、動画像生成部１０７、顔モデル生成部１０８、音
声出力部１０９、およびデータ記憶部１１０などが設け
られる。 〔３次元形状モデル（顔モデル）の生成〕顔モデルデー
タ生成部１０８は、顔画像ＨＦの基となる３次元形状モ
デルすなわち顔アニメーションとして再現される対象の
人物の３次元形状モデルを生成する。以下、３次元形状
モデルを生成する方法を、フローチャートを参照して説
明する。

【００２０】図４は３次元形状モデルの生成の処理の流
れを説明するフローチャート、図５は標準モデルＤＳの
例を示す図、図６は変形処理の流れを説明するフローチ
ャート、図７は標準モデルＤＳの面Ｓと３次元計測デー
タの点Ａとを模式的に示す図、図８は標準モデルＤＳの
異常変形を防ぐための仮想バネを説明するための図であ
る。

【００２１】図４において、まず、図５に示す標準モデ
ルＤＳとアニメーションの対象の人物の３次元計測デー
タとの概略の位置合わせを行う（＃１０１）。標準モデ
ルＤＳは、標準的な顔のサイズおよび形状を有した、頭
部の全周を構造化した３次元データである。３次元計測
データは、点群からなるその人物の顔の３次元データで
ある。すなわち、ステップ＃１０１では、標準モデルＤ
Ｓと３次元計測データとの距離が最小となるように、標
準モデルＤＳの向き、大きさ、および位置を変更する。
一般に、標準モデルＤＳおよび３次元計測データとし
て、無表情の状態のものが用いられる。なお、３次元計
測データは、３次元計測装置で対象の人物を撮影するな
どして予め用意されている。

【００２２】輪郭および特徴点を抽出する（＃１０
２）。標準モデルＤＳについての輪郭ＲＫおよび特徴点
ＴＴと同じ位置に配置されるべき輪郭および特徴点を、
３次元計測データ上に、またはそれに対応する２次元画
像上に配置する。

【００２３】特徴点として、例えば、目や口の端部、鼻
の頂部、顎の下端部のように実際に特徴のある部分、ま
たは、それらの中間のようなそれ自体では特徴はないが
位置的に特定し易い部分などが選ばれる。輪郭として、
顎のライン、唇のライン、または瞼のラインなどが選ば
れる。

【００２４】計算量および誤差を削減するために、３次
元計測データについてデータの削減を行う（＃１０
３）。標準モデルＤＳの変形を行う（＃１０４）。すな
わち、３次元計測データの各点と標準モデルＤＳの面と
の間の距離に関連して定義されたエネルギー関数、また
は過剰な変形を回避するために定義されたエネルギー関
数などを用い、それらが最小となるように標準モデルＤ
Ｓの面を変形させる。

【００２５】そして、対象とするエネルギー関数および
制御点を変更し、ステップ＃１０４と同様な変更のため
の処理を繰り返す（＃１０５）。次に、ステップ＃１０
４の変形処理について説明する。

【００２６】図７において、３次元計測データを構成す
る点群の１つが点Ａｋで示されている。標準モデルＤＳ
の面Ｓにおいて、点Ａｋに最も近い点がＱｋで示されて
いる。点Ｑｋは、点Ａｋから面Ｓに垂線を下ろしたとき
の交点である。

【００２７】点群に面Ｓをフィッティングする方法は次
の通りである。ここでは、一般的なフィッティングにつ
いて説明する。点群の中の１つの点Ａｋ、それに対応す
る点Ｑｋ、および対応点群Ｔ＝｛（Ａｋ，Ｑｋ），ｋ＝
１…ｎ｝について、フィッティングエネルギー（Fittin
g Energy) 関数Ｆｆ（Ｕ）を、次の式（１）のように設
定する。

【００２８】

【数１】

【００２９】ただし、Ｑｋ（Ｕ）は、ＱｋがＵの関数で
あることを示す。また、面Ｓの過度の変形を防ぐため
に、図８に示す仮想バネ(elastic bar) ＫＢを導入す
る。仮想バネＫＢの制約に基づいて、面Ｓの形状安定化
のための安定化エネルギー関数を導く。

【００３０】すなわち、図８において、フィッティング
対象である標準モデルＤＳの面（曲面）Ｓの一部が示さ
れている。面Ｓは、制御点群Ｕ＝｜ｕｉ，ｉ＝１…ｎ｜
で形成されている。隣接する制御点間には、仮想バネＫ
Ｂが配置されている。仮想バネＫＢは、制御点間に引っ
張り力による拘束を与え、面Ｓの異常変形を防ぐ働きを
する。

【００３１】つまり、隣接する制御点ｕの間隔が大きく
なった場合に、それに応じて仮想バネＫＢによる引っ張
り力が大きくなる。例えば、点Ｑｋが点Ａｋに近づく場
合に、その移動にともなって制御点ｕの間隔が大きくな
ると、仮想バネＫＢによる引っ張り力が増大する。点Ｑ
ｋが移動しても制御点ｕの間隔が変わらなければ、つま
り制御点ｕ間の相対位置関係に変化がなければ、仮想バ
ネＫＢによる引っ張り力は変化しない。仮想バネＫＢに
よる引っ張り力を面Ｓの全体について平均化したもの
を、安定化エネルギーとして定義する。したがって、面
Ｓの一部が突出して変形した場合に安定化エネルギーは
増大する。面Ｓの全体が平均して移動すれば安定化エネ
ルギーは零である。

【００３２】安定化エネルギー関数Ｆｓ（Ｕ）は、次の
式（２）で示される。

【００３３】

【数２】

【００３４】ここで、

【００３５】

【数３】

【００３６】は、それぞれ、仮想バネＫＢの初期端点、
変形後の仮想バネＫＢの端点である。ｃはバネ係数であ
り、Ｍは仮想バネＫＢの本数である。また、次の関係が
成り立つ。

【００３７】

【数４】

【００３８】したがって、バネ係数ｃを大きくすると、
仮想バネＫＢは硬くなって変形し難くなる。このような
安定化エネルギー関数Ｆｓ（Ｕ）を導入することによ
り、面Ｓの形状変化に一定の拘束を設けることとなり、
面Ｓの過度の変形を防ぐことができる。

【００３９】上に述べたフィッティングエネルギー関数
Ｆｆ（Ｕ）、および安定化エネルギー関数Ｆｓ（Ｕ）を
用い、フィッティングの評価関数Ｆ（Ｕ）を次の式
（３）のように定義する。

【００４０】 Ｆ（Ｕ）＝ＷｆＦｆ（Ｕ）＋ＷｓＦｓ（Ｕ） ……（３） ここで、Ｗｆ，Ｗｓは、それぞれ正規化のための重み係
数である。式（３）の評価関数Ｆ（Ｕ）が十分小さくな
るように、面Ｓの変形および対応点の探索を繰り返し、
面のフィッティングを行う。例えば、Ｆ（Ｕ）のＵに関
する微分が０に近づく方向にフィッティングを行う。

【００４１】図６において、変形処理では、まず、点Ａ
ｋに対応する点Ｑｋを計算で求め、点Ａｋと点Ｑｋの組
みを作成する（＃１１１）。面Ｓを変形し（＃１１
２）、変形後の評価関数Ｆ（Ｕ）を計算する（＃１１
３）。評価関数Ｆ（Ｕ）が収束するまで（＃１１４でＹ
ｅｓ）、処理を繰り返す。

【００４２】評価関数Ｆ（Ｕ）の収束を判定する方法と
して、評価関数Ｆ（Ｕ）が所定の値よりも小さくなった
ときを収束とする方法、前回の計算と比較べた変化の割
合が所定値以下となったときに収束とする方法など、公
知の方法を用いることが可能である。

【００４３】このような処理によって標準モデルＤＳを
変形し、アニメーションの対象の人物の顔の形状をした
３次元形状モデルを生成することができる。生成された
人物の顔の３次元形状モデルは、データ記憶部１１０に
記憶される。以下、この３次元形状モデルを「顔モデル
３Ｍ」と記載する。 〔筋肉の定義〕図９は顔モデル３Ｍの構成の例を示す
図、図１０は筋肉配置データ７２の例を示す図、図１１
はノード影響データ７３の例を示す図、図１２はあるノ
ードＮの移動による影響が及ぶ範囲の例を説明する図で
ある。

【００４４】図９（ａ）において、複数の細い直線同士
の交点は、顔モデル３Ｍの構成頂点（Model Vertex）Ｖ
を示す。顔の表面すなわち皮膚の位置は、構成頂点Ｖに
よって決まる。

【００４５】太い直線は、顔モデル３Ｍの筋肉を意味す
るエッジ（Edge）Ｅを示す。黒い丸印は筋肉の端点を意
味するノード（Node）Ｎを示す。つまり、筋肉（エッジ
Ｅ）の位置は、異なる２つのノードＮによって決まる。
ノードＮ（Ｎ１、Ｎ２、…）は、顔全体の各筋肉の端点
となる位置に配置されている。なお、エッジＥは人間の
実際の筋肉に即して配置されるので、顔の動きをリアル
に再現することができる。図９（ｂ）は、ノードＮとエ
ッジＥとの関係を分かりやすくするために図９（ａ）か
ら構成頂点Ｖを省略して示している。図９（ａ）（ｂ）
は、顔の右半分のノードＮおよびエッジＥを省略して示
しているが、実際には、左半分と同様にノードＮおよび
エッジＥが存在する。

【００４６】ノードＮの位置は、次に示す式（４）のよ
うに構成頂点Ｖの相対的位置として表される。

【００４７】

【数５】

【００４８】図１０に示す筋肉配置データ７２は、顔モ
デル３Ｍの各筋肉（エッジＥ１、Ｅ２、…）の構成に関
するデータである。エッジＥの第一のパラメータは、そ
のエッジＥの端点となる２つのノードＮを示す。エッジ
Ｅの第二のパラメータは、そのエッジＥ（筋肉）を変位
させた場合に、どちらの端点（ノードＮ）をどれだけの
割合（ウェイト）で移動させるかを示す。例えば、エッ
ジＥ３の第二のパラメータ「０．７，０．３」は、ノー
ドＮ４、Ｎ５をそれぞれ７対３の割合で移動させるとい
うことを示している。エッジＥの変位量は、筋肉の収縮
の度合によって表される。筋肉が収縮していない状態を
「０」、最も収縮した状態を「２０」とする。例えば、
変位量（収縮の度合）が「１５．０」であれば、その筋
肉（エッジＥ）が７５％収縮することを示す。つまり、
エッジＥの変位量とは、筋肉が収縮していない状態（初
期状態）に対する変位量で示される。

【００４９】エッジＥが変位するとき、ノードＮが移動
する位置は、次に示す式（５）によって求められる。

【００５０】

【数６】

【００５１】ただし、実際には複数のエッジＥに関係す
るノードＮが存在するため、収束演算または連立演算に
よってノードＮの移動後の位置が求められる。ノード影
響データ７３は、図１１に示すように、ノードＮの移動
に伴って構成頂点Ｖに及ぼされる影響に関するデータで
ある。ノード影響データ７３の第二のパラメータは、各
ノードＮが移動したときに影響を受ける構成頂点Ｖを示
している。つまり、ノードＮが移動したときの影響の範
囲を示している。ノードＮの移動による影響を受ける構
成頂点Ｖは、そのノードＮの周辺に集中している。例え
ば、図１２において、大きい黒丸が示すノードＮの移動
による影響を受ける構成頂点Ｖは、小さい黒丸が示す９
つの構成頂点Ｖである。

【００５２】第一のパラメータは、ノードＮが移動した
ときに構成頂点Ｖに対して与える影響の度合（intensit
y ）を示している。この値が大きいと、ノードＮの移動
に伴う構成頂点Ｖの移動量（変位量）が大きくなる。

【００５３】ノードＮが移動するのに伴って構成頂点Ｖ
が移動する位置は、次に示す式（６）によって求められ
る。

【００５４】

【数７】

【００５５】なお、筋肉配置データ７２およびノード影
響データ７３は、図３に示すデータ記憶部１１０に記憶
されている。 〔顔モデルの形状を制御するためのデータ〕図１３はア
ニメーションパラメータ群７４の例を示す図、図１４は
母音を発したときの顔モデル３Ｍの形状の例を示す図、
図１５は各エッジＥの変位グラフの例を示す図である。

【００５６】上述のように、各エッジＥを変化させて各
構成頂点Ｖの位置を変えることによって、顔モデル３Ｍ
を変形させることができる。精細なアニメーションを実
現するのであれば、例えば、アニメーションのフレーム
同士の間隔を１／３０秒とする場合は、１／３０秒ごと
に各エッジＥの変位量を設定することが望ましい。

【００５７】しかし、フレームごとに各エッジＥに変位
量を設定することは、ユーザにとって大きな負担とな
る。そこで、所定の動作ごとに各エッジＥの変位量の変
化をアニメーションパラメータ群７４によって予め定義
しておく。例えば、図１３に示すアニメーションパラメ
ータ群７４１は、「あ」という音韻を発する動作を行う
ときの各エッジＥの変化を示すデータである。すなわ
ち、無表情の形状（フレーム＝１）から図１４（ａ）に
示す「あ」を発した形状になるまで（フレーム＝ｎ）の
１／３０秒ごとの各エッジＥの変位量を示している。

【００５８】同様に、図１４（ｂ）〜（ｅ）に示す
「え」、「い」、「お」、および「う」の音韻（母音）
を発する動作を行った場合の各エッジＥの変化を、アニ
メーションパラメータ群７４としてそれぞれ定義してお
く。子音を発する動作についても、子音ごとにアニメー
ションパラメータ群７４として定義しておく。なお、子
音を発音するときの口の形状の変化が似ているもの同士
をグループ化し、グループごとにアニメーションパラメ
ータ群７４を定義しておいてもよい。その他、笑うとき
の動作、驚くときの動作、およびウィンクをするときの
動作など種々の動作についてアニメーションパラメータ
群７４をそれぞれ定義しておいてもよい。これらのアニ
メーションパラメータ群７４は、図３に示すデータ記憶
部１１０に記憶しておく。

【００５９】アニメーションパラメータ群７４は、次の
式（７）に示すように、行列式で表される。

【００６０】

【数８】

【００６１】〔顔モデルの形状の取得（アニメーション
のためのデータの取得）〕図３に戻って、テキストデー
タ取得部１０１は、顔モデル３Ｍに喋らせる言葉をテキ
ストデータ７０として取得する。テキストデータ７０
は、「こんばんは」のように言葉を表す文字列からな
る。テキストデータ７０を取得する方法として、テキス
トエディタなどのソフトウェアを用いてキーボード１３
から入力する方法、他のコンピュータから電子メールと
して受信する方法、またはマイク１５から入力される音
声をテキスト変換する方法などが用いられる。

【００６２】音韻取得部１０２は、テキストデータ７０
の文字列を音韻ごとに区切る。例えば、「あめ」という
文字列は、「Ａ、Ｍ、Ｅ」と区切られる。時間配置部１
０３は、音韻取得部１０２によって区切られた各音韻に
対応するアニメーションパラメータ群７４をデータ記憶
部１１０から抽出する。抽出されたアニメーションパラ
メータ群７４が示す各エッジＥの変位量を時間順に並べ
ると、図１５に示す変位グラフのようになる。ただし、
図１５の変位グラフは説明の簡単のためエッジＥ１〜Ｅ
３のみを表している。

【００６３】形状取得部１０５は、時間配置部１０３に
よって得られた各エッジＥの１／３０秒ごと（フレーム
ごと）の変位量に基づいて顔モデル３Ｍの形状を変化さ
せる。すなわち、まず、式（５）にフレーム＝１に対応
する各エッジＥの変位量を代入し、収束演算または連立
演算などによって各ノードＮの位置を求める。その各ノ
ードＮの位置に基づいて式（６）によって顔モデル３Ｍ
の各構成頂点Ｖの位置を求める。以下、フレーム＝２、
３、…について、同様に顔モデル３Ｍの各構成頂点Ｖの
位置を求める。これにより、顔モデル３Ｍの形状を１／
３０秒ごとに変化させることができる。

【００６４】ただし、エッジＥの変位量とその直前の変
位量との差が微小であれば、そのエッジＥに対応する筋
肉は変化（更新）しなかったものとみなし、そのエッジ
Ｅについては直前の変位量をそのまま用いて顔モデル３
Ｍの各構成頂点Ｖの位置を求める。つまり、次の式
（８）を満たすエッジＥ_i については、エッジＥ_i-1 の
変位量がそのまま用いられる。

【００６５】

【数９】

【００６６】式（８）の閾値δは、０に近い正数であ
り、アニメーション生成装置１の表示性能またはユーザ
の要求する精密度などに応じて設定される。例えば、デ
ィスプレイ装置１１の解像度に応じて閾値δが設定され
る。このように、変位量の変化が微小であるエッジＥに
ついては直前の時刻（フレーム）の変位量をそのまま用
いることにより、計算量を軽減することができる。以
下、このようにして顔モデル３Ｍの形状すなわち各構成
頂点Ｖの位置を取得する方法を「通常の方法」と記載す
る。

【００６７】しかし、顔モデル３ＭのエッジＥまたは構
成頂点Ｖの個数が多ければ、通常の方法により計算量を
軽減してもなお、各フレームにおける顔モデル３Ｍの形
状を取得する処理に時間が掛かり、アニメーションの生
成が遅れる可能性がある。そこで、速度維持判別部１０
４は、形状取得部１０５において顔モデル３Ｍの形状を
取得する処理を行う前に、アニメーションの生成が遅れ
ないかどうか、すなわち、アニメーションの生成の速度
を維持することができるか否かを判別する。係る判別
は、次のような方法で行われる。

【００６８】例えば、現在、フレーム（ｉ−１）までの
顔モデル３Ｍの形状を取得しており、これからフレーム
ｉにおける顔モデル３Ｍの形状を取得する処理を行うと
ころであるとする。まず、各エッジＥについて、式
（８）の条件に該当するか否かを判別し、該当するエッ
ジＥの個数σを求める。すなわち、フレーム（ｉ−１）
からフレームｉに移る際に変化（更新）する筋肉の個数
を求める。そして、個数σが、次の式（９）の条件に該
当する場合は、更新しなければならないエッジＥ（筋
肉）の個数が多いために、アニメーション生成装置１の
性能ではアニメーションの生成の速度を維持することが
困難であると判別する。該当しない場合は、アニメーシ
ョンの生成の速度を維持することが可能であると判別す
る。

【００６９】σ＞θ ……（９） ただし、閾値θは、正の整数である。例えば、図１５に
示すフレーム（β−１）〜フレームβ間のように、変化
の大きいエッジＥが多い場合は、速度を維持することが
困難であると判別される。フレーム（α−１）〜フレー
ムα間のように、変化の大きいエッジＥが少ない場合
は、速度を維持することが可能であると判別される。

【００７０】閾値θは、実験的に求めて設定すればよ
い。これによると、アニメーション生成装置１の性能が
高い場合は閾値θが大きく設定され、性能が低い場合は
閾値θが小さく設定される傾向が現れる。または、ある
フレームにおける顔モデル３Ｍの形状を取得してからそ
のフレームの画像を表示するまでの時間に応じて閾値θ
を設定してもよい。例えば、テレビゲームのアニメーシ
ョンまたはユーザの音声に合わせて変化するアニメーシ
ョンなどのように、ユーザの操作または動作に応じてリ
アルタイムに動くアニメーションを実現する場合は、係
る時間が非常に短いので、閾値θを小さく設定しておく
ことが望ましい。逆に、決められたストーリ（シナリ
オ）に沿って変化するアニメーションを実現する場合
は、前もって顔モデル３Ｍの形状を取得しメモリなどの
バッファに蓄えておくことができるので、顔モデル３Ｍ
の形状の取得から係る形状に基づく画像の表示までの時
間に多少余裕がある。そこで、バッファの性能などに応
じて閾値θを大きく設定しておいてもよい。

【００７１】速度維持判別部１０４による判別結果を受
けて、形状取得部１０５は、次のようにフレームｉにお
ける顔モデル３Ｍの形状を取得する。アニメーションの
生成の速度の維持が可能であると判別された場合は、通
常の方法により顔モデル３Ｍの形状を取得する。形状取
得部１０５は、係る場合に、本発明の第一の演算手段の
役割を果たす。

【００７２】アニメーションの生成の速度の維持が困難
であると判別された場合は、通常の方法とは異なる方法
が用いられる。形状取得部１０５は、係る場合に、本発
明の第二の演算手段の役割を果たす。例えば、次に説明
する第一の方法および第二の方法の２通りの方法のうち
のいずれかによって、顔モデル３Ｍの形状を取得する。 〔アニメーションの生成の高速化〕図１６は通常の方法
および第一の方法による場合の構成頂点Ｖの位置の変化
を比較する図である。図１６の太い点線は、通常の方法
によって、顔モデル３Ｍの形状をフレームごとに取得し
た場合のある構成頂点Ｖｘの位置の変化を示している。
図中の三角形ＶｘＶｙＶｚは、各フレームにおける顔モ
デル３Ｍのポリゴン（皮膚）を示している。

【００７３】第一の方法は、フレームｉにおける顔モデ
ル３Ｍの形状を、演算方法を簡略化して取得する方法で
ある。図１６において、現在、フレーム（ｉ−１）まで
の顔モデル３Ｍの形状を取得しており、ある構成頂点Ｖ
ｘがフレーム（ｉ−１）の時点で点Ｘ１に位置している
ものとする。速度維持判別部１０４によってアニメーシ
ョンの生成の速度の維持が困難であると判別された場合
に、まず、フレームｉにおける顔モデル３Ｍの形状を取
得せずに、それ以降の１つのフレーム（例えばフレーム
（ｉ＋３））における顔モデル３Ｍの形状を取得する。
すると、構成頂点Ｖｘの位置Ｘ３が求められる。次に、
太い実線で示すように、両構成頂点Ｖｘの位置を直線近
似し、フレームｉにおける構成頂点Ｖｘの位置を補間し
て位置Ｘ２' を求める。同様に、他の構成頂点Ｖについ
てフレームｉにおける位置を取得する。これにより、フ
レームｉにおける顔モデル３Ｍの全体の形状を取得する
ことができる。このとき、フレーム（ｉ＋１）、フレー
ム（ｉ＋２）における形状も取得される。

【００７４】前に説明したように、通常の方法すなわち
顔モデル３Ｍの形状をフレームごとに取得する場合は、
フレームごとにエッジＥからノードＮを求め、そのノー
ドＮから構成頂点Ｖを求めなければならない。特に、ノ
ードＮは、収束演算または連立演算によって求められる
ので、顔モデル３ＭのエッジＥおよび構成頂点Ｖの個数
が多い場合は、計算量が多くなる。これに対して、第一
の方法すなわち顔モデル３Ｍの形状を直線近似によって
取得する場合は、フレーム（ｉ−１）およびフレーム
（ｉ＋３）についてのみ収束演算等を行えばよく、その
間のフレームについては両端の顔モデル３Ｍの形状すな
わち各構成頂点Ｖを直線近似して補間するだけでよいの
で、計算量が少ない。このように、第一の方法による
と、フレームｉについての計算には時間を要するが、フ
レーム（ｉ−１）〜フレーム（ｉ＋３）の全体の計算量
を軽減して処理時間を減らし、アニメーションの生成の
高速化を図ることができる。

【００７５】第二の方法は、アニメーションの表示レー
トを落とす方法である。すなわち、フレームｉにおける
顔モデル３Ｍの形状の取得を省略し、それ以降のフレー
ム（例えばフレーム（ｉ＋１））における顔モデル３Ｍ
の形状を取得する。省略されたフレームｉにおける顔モ
デル３Ｍの形状は、前のフレームすなわちフレーム（ｉ
−１）のものが引き続いて用いられる。これにより、例
えば、アニメーションの生成を１／３０秒ごとに行って
いたのを２／３０秒ごとに行うようにして、全体の計算
量を軽減して処理時間を減らし、アニメーションの生成
の高速化を図ることができる。

【００７６】第一の方法および第二の方法によると、通
常の方法を用いる場合よりも、アニメーションの変化を
表すパラメータ（エッジＥ）に対する正確性は欠ける。
しかし、計算量を軽減して処理時間に余裕を持たせるこ
とができるので、アニメーションの生成が遅れてアニメ
ーションの表示が間延びしてしまうことを回避すること
ができる。なお、フレーム（ｉ−１）、ｉ、および（ｉ
＋３）は、それぞれ、本発明の第一のフレーム、第二の
フレーム、および第三のフレームに相当する。

【００７７】図３に戻って、動画像生成部１０７は、通
常の方法、第一の方法、または第二の方法により得られ
た顔モデル３Ｍの形状を所定の方向から２次元投影する
ことによって顔画像ＨＦを動作させ、顔アニメーション
を生成する。音声出力部１０９は、テキストデータ７０
を音声化し、顔アニメーションと同期して音声を出力す
る。例えば、所定の音韻が立ち上がるときに動画像生成
部１０７から発せられる信号（トリガー）に合わせて順
次音声を出力する。テキストデータを音声化する方法と
して、公知の音声合成技術が用いられる。 〔微妙な動きのアニメーションか否かの判別〕一般に、
アニメーションの表示が遅れると、見る者に間延びした
感じを与えるので好ましくない。そこで、本実施形態で
は、アニメーションの生成の速度を維持することが困難
であると判別した場合に、第一の方法または第二の方法
によって、速度の維持を図った。

【００７８】しかし、アニメーションの生成の速度より
も、アニメーションの再現の正確性を重視したい場合が
ある。例えば、微妙（精細）な動きをできるだけ忠実に
再現したい場合である。そこで、アニメーション生成装
置１は、アニメーションが微妙な動きを表現するもので
あるか否かを判別し、判別結果に応じて顔モデル３Ｍの
形状を取得する機能を備える。

【００７９】現在、フレーム（ｉ−１）までの顔モデル
３Ｍの形状を取得しているものとする。精細判別部１０
６は、次の式（１０）によって、アニメーションが微妙
な動きであるか否かを判別する。

【００８０】

【数１０】

【００８１】すなわち、フレームｉにおける各エッジＥ
の変位量とフレーム（ｉ−１）における各エッジＥの変
位量との差の絶対値を求め、その差の絶対値のうちの最
大値と閾値ξとを比較する。最大値が閾値ξよりも小さ
い場合は、すべてのエッジＥの変化が微小であり、フレ
ーム（ｉ−１）〜フレームｉのアニメーションが微妙な
動きを表現するものであると判別する。大きい場合は、
微妙な動きを表現するのもではないと判別する。閾値ξ
は、ユーザが要求するアニメーションの精細度などに応
じて設定すればよい。

【００８２】形状取得部１０５は、精細判別部１０６に
よってアニメーションが微妙な動きを表現するものであ
ると判別された場合は、アニメーションの生成が遅れる
可能性があるか否かに関わらず、フレームごとに顔モデ
ル３Ｍの形状を取得する。つまり、速度を維持すること
ができるものとして、通常の方法を用いて形状を取得す
る。表示速度の維持よりもアニメーションの正確性を優
先するためである。そうでない場合は、アニメーション
の生成が遅れる可能性があれば、アニメーションに多少
のあらがあっても構わないものとして、第一の方法また
は第二の方法によって計算量を軽減してアニメーション
の生成速度を維持する。

【００８３】次に、アニメーション生成装置１の処理の
流れを、フローチャートを参照して説明する。図１７は
アニメーション生成装置１の全体の処理の流れを説明す
るフローチャート、図１８はアニメーション実行処理の
流れを説明するフローチャートである。

【００８４】図１７に示すように、まず、顔モデル３Ｍ
を生成し、エッジＥ（筋肉）の位置を設定する（＃
１）。ノードＮの位置の変化による影響が及ぶ構成頂点
Ｖの範囲を設定し、顔モデル３Ｍの筋肉が動いたときの
皮膚への影響について設定する（＃２）。音韻ごとにア
ニメーションパラメータ群７４を用意する（＃３）。ス
テップ＃１〜＃３は、アニメーションの生成のための準
備なので、既に顔モデル３Ｍを生成し各設定を行ってい
る場合は省略してもよい。

【００８５】テキストデータ７０を入力し、テキストデ
ータ７０に含まれる言葉を音韻ごとに区切る（＃４）。
そして、時刻（フレーム）ごとに顔モデル３Ｍの形状を
変化させながらアニメーションを生成する（＃５）。ア
ニメーションの生成は、図１８に示す手順で行われる。

【００８６】区切られた各音韻のアニメーションパラメ
ータ群７４に基づいて図１５の変位グラフに示すように
フレームごとの各エッジＥの変位量（アニメーションパ
ラメータ）を取得する（＃５１）。現在のフレームにお
ける各エッジＥの値と次のフレームにおける各エッジＥ
の値との差を求め（＃５２）、次のフレームのアニメー
ションの生成の速度の維持が可能であるか否かを判別す
る（＃５３）。維持が可能であれば（＃５３でＹｅ
ｓ）、各エッジＥの変位量をそのまま用いて通常の方法
によって顔モデル３Ｍの形状を取得する（＃５４）。維
持が困難であると判別された場合は（＃５３でＮｏ）、
直線近似による簡略化した演算方法（第一の方法）に基
づいてまたは表示レートを落として（第二の方法）顔モ
デル３Ｍの形状を取得する（＃５５）。ただし、ステッ
プ＃５３において、微妙な動きのアニメーションである
か否かについても判断する。微妙な動きであると判別さ
れた場合は、アニメーションの再現の正確性を重視する
ため、上記の判別結果に関わらず、速度の維持が可能で
あるものとして通常の方法が用いられる（＃５４）。

【００８７】取得された顔モデル３Ｍの形状を２次元投
影して顔画像を取得し、ディスプレイ装置１１に表示す
る（＃５６）。そして、すべてのフレームの処理が終わ
っていなければ（＃５７でＮｏ）、ステップ＃５１に戻
ってその次のフレームのための処理を継続する。

【００８８】本実施形態によると、アニメーションの生
成および表示の速度の維持が困難か否かを判別し、維持
が困難であると判別された場合にのみアニメーションの
生成の計算量を軽減する処理を行うことにより、表示速
度を維持しつつ従来よりも精細なアニメーションを実現
することができる。

【００８９】また、微妙な動きのアニメーションである
と判別した場合は、正確性を重視したアニメーションを
生成することができる。本実施形態では、演算方法を簡
略化する第一の方法またはアニメーションの表示レート
を落とす第二の方法のいずれかの方法を用いて計算量を
軽減したが、他の方法を用いてもよい。例えば、式
（８）の閾値δを大きくし、直前の時刻（フレーム）の
変位量がそのまま用いられるエッジＥの個数を増やすこ
とによって、計算量を軽減してもよい。

【００９０】アニメーションの生成の速度が維持されて
いる間すなわちアニメーション生成装置１の処理に余裕
がある間は、アニメーションの表示のタイミングに関わ
らず顔モデル３Ｍの形状を前もって次々に取得しておい
てもよい。取得された顔モデル３Ｍの形状のデータ（各
構成頂点Ｖの位置）は、メモリに一次的に記憶しておけ
ばよい。

【００９１】第二の方法は、直線近似によって顔モデル
３Ｍの各構成頂点Ｖの補間を行うものであったが、その
他の近似の方法を用いて補間を行うものであってもよ
い。本実施形態では、アニメーションの対象の人物の３
次元計測データに標準モデルをフィッティングすること
により顔モデル３Ｍを取得したが、その人物の２次元画
像に標準モデルをフィッティングして顔モデル３Ｍを取
得してもよい。または、種々のＣＧ（Computer Graphic
s ）プログラムを用いて顔モデル３Ｍを作成してもよ
い。

【００９２】その他、アニメーション生成装置１の全体
または各部の構成、処理内容、処理順序などは、本発明
の趣旨に沿って適宜変更することができる。なお、上述
した具体的実施形態には、以下の構成を有する発明が含
まれている。 （１）請求項５の発明において、前記判別手段は、前記
第一のフレームにおける前記各パラメータと前記第二の
フレームにおける前記各パラメータとの差を求め、各差
のうちのいずれかが所定の値よりも大きい場合に必要で
ないと判別する。 （２）請求項６の発明において、前記第一のフレームに
おける前記パラメータおよび前記第二のフレームにおけ
る前記パラメータに基づいて、前記第一の演算手段によ
る前記形状の算出が前記期間内に終了するか否かを判別
する判別手段と、前記判別手段による判別の結果に基づ
いて前記所定の値を設定する設定手段とを有してなる。

【００９３】

【発明の効果】本発明によると、表示速度を維持しつつ
従来よりも精細なアニメーションを実現することができ
る。

【図面の簡単な説明】

【図１】本発明に係るアニメーション生成装置の構成を
示す図である。

【図２】磁気記憶装置に記憶されるプログラムおよびデ
ータの例を示す図である。

【図３】アニメーション生成装置の機能的構成を示す図
である。

【図４】３次元形状モデルの生成の処理の流れを説明す
るフローチャートである。

【図５】標準モデルの例を示す図である。

【図６】変形処理の流れを説明するフローチャートであ
る。

【図７】標準モデルの面Ｓと３次元計測データの点Ａと
を模式的に示す図である。

【図８】標準モデルの異常変形を防ぐための仮想バネを
説明するための図である。

【図９】顔モデルの構成の例を示す図である。

【図１０】筋肉配置データの例を示す図である。

【図１１】ノード影響データの例を示す図である。

【図１２】あるノードの移動による影響が及ぶ範囲の例
を説明する図である。

【図１３】アニメーションパラメータ群の例を示す図で
ある。

【図１４】母音を発したときの顔モデルの形状の例を示
す図である。

【図１５】各エッジの変位グラフの例を示す図である。

【図１６】通常の方法および第一の方法による場合の構
成頂点の位置の変化を比較する図である。

【図１７】アニメーション生成装置の全体の処理の流れ
を説明するフローチャートである。

【図１８】アニメーション実行処理の流れを説明するフ
ローチャートである。

【符号の説明】

１ アニメーション生成装置 １９ａ〜１９ｃ 記録媒体 ３Ｍ 顔モデル（３次元モデル） １０３ 時間配置部（入力手段） １０４ 速度維持判別部（判別手段） １０５ 形状取得部（第一の演算手段、第二の演算手
段） １０６ 精細判別部（判別手段） Ｅ エッジ（パラメータ）

───────────────────────────────────────────────────── フロントページの続き (72)発明者 藤井 英郎 大阪府大阪市中央区安土町二丁目３番13号 大阪国際ビル ミノルタ株式会社内 Ｆターム(参考） 5B050 BA08 BA09 BA12 EA13 EA17 EA24 FA02 FA10

Claims (10)

【特許請求の範囲】
1. 【請求項１】所定の時間ごとに３次元モデルを変形して
   アニメーションを生成するアニメーション生成装置であ
   って、 前記所定の時間ごとのフレームにおける前記３次元モデ
   ルの形状を定義するパラメータを入力する入力手段と、 前記パラメータに基づいて前記各フレームにおける前記
   形状を算出する第一の演算手段と、 第一のフレームにおける前記パラメータおよびその次の
   フレームである第二のフレームにおける前記パラメータ
   に基づいて、前記第一の演算手段による前記形状の算出
   が前記所定の時間内に終了するか否かを判別する判別手
   段と、 前記形状の算出が前記所定の時間内に終了しないと判別
   された場合に、前記第二のフレームよりも後のフレーム
   である第三のフレームにおける前記パラメータに基づい
   て前記形状を算出する第二の演算手段と、 を有することを特徴とするアニメーション生成装置。
2. 【請求項２】前記第二の演算手段は、前記第三のフレー
   ムにおける前記形状を算出し、前記第一のフレームにお
   ける前記形状および前記第三のフレームにおける前記形
   状に基づいて前記第二のフレームにおける前記形状を算
   出する、 請求項１記載のアニメーション生成装置。
3. 【請求項３】前記第二の演算手段は、前記第二のフレー
   ムにおける前記形状の算出を省略する、 請求項１記載のアニメーション生成装置。
4. 【請求項４】前記判別手段は、前記第二のフレームにお
   いて前記形状の変更が必要である前記パラメータの個数
   に基づいて前記形状の算出が前記所定の時間内に終了す
   るか否かを判別する、 請求項１記載のアニメーション生成装置。
5. 【請求項５】所定の時間ごとに３次元モデルを変形して
   アニメーションを生成するアニメーション生成装置であ
   って、 前記所定の時間ごとのフレームにおける前記３次元モデ
   ルの形状を定義するパラメータを入力する入力手段と、 前記パラメータに基づいて前記各フレームにおける前記
   形状を算出する第一の演算手段と、 第一のフレームにおける前記パラメータおよびその次の
   フレームである第二のフレームにおける前記パラメータ
   に基づいて、前記第二のフレームにおける前記パラメー
   タに基づく前記形状を生成する必要があるか否かを判別
   する判別手段と、 前記形状の生成が必要ないと判別された場合に、前記第
   二のフレームよりも後のフレームである第三のフレーム
   における前記パラメータに基づいて前記形状を算出する
   第二の演算手段と、 を有することを特徴とするアニメーション生成装置。
6. 【請求項６】所定の時間ごとに３次元モデルを変形して
   アニメーションを生成するアニメーション生成装置であ
   って、 前記所定の時間ごとのフレームにおける前記３次元モデ
   ルの形状を定義するパラメータを入力する入力手段と、 第一のフレームの次のフレームである第二のフレームに
   おける前記形状を、前記第二のフレームにおける前記各
   パラメータのうち前記第一のフレームにおける前記各パ
   ラメータとの差が所定の値よりも大きい前記パラメータ
   のみに基づいて算出する演算手段と、 を有することを特徴とするアニメーション生成装置。
7. 【請求項７】所定の時間ごとに３次元モデルを変形して
   アニメーションを生成するコンピュータに用いられるコ
   ンピュータプログラムであって、 前記所定の時間ごとのフレームにおける前記３次元モデ
   ルの形状を定義するパラメータを入力する入力処理と、 前記パラメータに基づいて前記各フレームにおける前記
   形状を算出する第一の演算手段と、 第一のフレームにおける前記パラメータおよびその次の
   フレームである第二のフレームにおける前記パラメータ
   に基づいて、前記第一の演算処理による前記形状の算出
   が前記所定の時間内に終了するか否かを判別する判別処
   理と、 前記形状の算出が前記所定の時間内に終了しないと判別
   された場合に、前記第二のフレームよりも後のフレーム
   である第三のフレームにおける前記パラメータに基づい
   て前記形状を算出する第二の演算処理と、 をコンピュータに実行させるためのコンピュータプログ
   ラム。
8. 【請求項８】所定の時間ごとに３次元モデルを変形して
   アニメーションを生成するコンピュータに用いられるコ
   ンピュータプログラムであって、 前記所定の時間ごとのフレームにおける前記３次元モデ
   ルの形状を定義するパラメータを入力する入力処理と、 前記パラメータに基づいて前記各フレームにおける前記
   形状を算出する第一の演算処理と、 第一のフレームにおける前記パラメータおよびその次の
   フレームである第二のフレームにおける前記パラメータ
   に基づいて、前記第二のフレームにおける前記パラメー
   タに基づく前記形状を生成する必要があるか否かを判別
   する判別処理と、 前記形状の生成が必要ないと判別された場合に、前記第
   二のフレームよりも後のフレームである第三のフレーム
   における前記パラメータに基づいて前記形状を算出する
   第二の演算処理と、 をコンピュータに実行させるためのコンピュータプログ
   ラム。
9. 【請求項９】所定の時間ごとに３次元モデルを変形して
   アニメーションを生成するコンピュータに用いられるコ
   ンピュータプログラムであって、 前記所定の時間ごとのフレームにおける前記３次元モデ
   ルの形状を定義するパラメータを入力する入力処理と、 第一のフレームの次のフレームである第二のフレームに
   おける前記形状を、前記第二のフレームにおける前記各
   パラメータのうち前記第一のフレームにおける前記各パ
   ラメータとの差が所定の値よりも大きい前記パラメータ
   のみに基づいて算出する演算処理と、 をコンピュータに実行させるためのコンピュータプログ
   ラム。
10. 【請求項１０】請求項７ないし請求項９のいずれかに記
    載のコンピュータプログラムが記録されたコンピュータ
    読み取り可能な記録媒体。