JP2003141564A - アニメーション生成装置およびアニメーション生成方法 - Google Patents

アニメーション生成装置およびアニメーション生成方法

Info

Publication number
JP2003141564A
JP2003141564A JP2001334868A JP2001334868A JP2003141564A JP 2003141564 A JP2003141564 A JP 2003141564A JP 2001334868 A JP2001334868 A JP 2001334868A JP 2001334868 A JP2001334868 A JP 2001334868A JP 2003141564 A JP2003141564 A JP 2003141564A
Authority
JP
Japan
Prior art keywords
model
person
value
data
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001334868A
Other languages
English (en)
Inventor
Shinichi Hotta
伸一 堀田
Osamu Toyama
修 遠山
Hideo Fujii
英郎 藤井
Takashi Kondo
尊司 近藤
Takuro Matsumoto
卓郎 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Minolta Co Ltd
Original Assignee
Minolta Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Minolta Co Ltd filed Critical Minolta Co Ltd
Priority to JP2001334868A priority Critical patent/JP2003141564A/ja
Publication of JP2003141564A publication Critical patent/JP2003141564A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】人物の癖または特徴が現れたアニメーションを
容易に生成する。 【解決手段】アニメーション生成装置1に、音韻を発し
たときの形状になるように顔モデル3Mを変形する標準
動作データ74を記憶するデータ記憶部110と、その
音韻を発している人物の実画像を取得する動画像入力部
109と、顔モデル3Mがその実画像と同じ形状となる
ような値を算出する筋肉変位解析部171と、標準動作
データ74と筋肉変位解析部171によって算出された
値との差を求めることによってその音韻を発したときの
人物の形状の特徴を表す発音特徴データ755を生成す
る発音特徴取得部175と、発音特徴データ755に基
づいて顔モデル3Mを変形する形状取得部105と、を
設ける。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、形状を決めるため
のパラメータの値を変化させることによってモデルを変
形してアニメーションを生成するアニメーション生成装
置およびアニメーション生成方法に関し、特に、人物の
特徴が現れたアニメーションを生成するアニメーション
生成装置およびアニメーション生成方法に関する。
【0002】
【従来の技術】従来より、人物の特徴を反映したアニメ
ーションを生成する技術が提案されている。例えば、特
開平11−312159号公報に記載の発明によると、
表情やジェスチャなどの言動の癖をアバターに定義して
おき、係るアバターを動かすことによって人物の特徴が
現れたアニメーションを生成することができる。
【0003】
【発明が解決しようとする課題】しかし、係る発明の場
合は、ASL(Avatar Scripting Language )という特
殊な記述言語によって言動の癖を定義しなければならな
いので、アニメーションの製作者にとって大きな負担と
なる。また、瞬きや音韻を発するときの口の動作は瞬間
的でありかつ微妙であるので、これらの動作の特徴を捉
えることは実際には難しい。
【0004】本発明は、このような問題点に鑑み、人物
の癖または特徴が現れたアニメーションを容易に生成す
るアニメーション生成装置およびアニメーション生成方
法を提供することを目的とする。
【0005】
【課題を解決するための手段】本発明に係るアニメーシ
ョン生成装置は、形状を決めるためのパラメータを変化
させることによってモデルを変形してアニメーションを
生成するアニメーション生成装置であって、音韻ごとに
前記モデルが当該音韻を発したときの形状となるような
前記パラメータの第一の値を記憶する記憶手段と、音韻
ごとに当該音韻を発する人物の画像を取得する画像取得
手段と、音韻ごとに前記モデルが当該音韻に対応する前
記画像と同じ形状となるような前記パラメータの第二の
値を算出する算出手段と、音韻ごとに当該音韻に対応す
る前記第一の値と前記第二の値との差を求めることによ
って当該音韻を発したときの前記人物の形状の特徴を表
す特徴データを生成する特徴データ生成手段と、入力さ
れた言葉の各音韻に対応する前記特徴データに基づいて
前記モデルを変形するモデル変形手段とを有してなる。
【0006】または、喋り始める前の人物の第一の画像
および喋り終わった後の前記人物の第二の画像を取得す
る画像取得手段と、前記モデルが前記第一の画像と同じ
形状となるような前記パラメータの第三の値および前記
モデルが前記第二の画像と同じ形状となるような前記パ
ラメータの第四の値を算出する算出手段と、前記第三の
値および前記第四の値に基づいて前記モデルを変形する
モデル変形手段とを有してなる。
【0007】または、喋っている人物の動画像を取得す
る動画像取得手段と、前記動画像から前記人物の特徴的
な動作が現れている部分を抽出し、前記モデルが当該部
分と同じ形状となるような前記パラメータの第五の値を
算出する算出手段と、前記第五の値に基づいて前記モデ
ルを変形するモデル変形手段とを有してなる。
【0008】本発明に係るアニメーション生成方法は、
形状を決めるためのパラメータを変化させることによっ
てモデルを変形してアニメーションを生成するアニメー
ション生成方法であって、音韻ごとに前記モデルが当該
音韻を発したときの形状となるような前記パラメータの
第一の値を定義し、音韻ごとに当該音韻を発する人物の
画像を取得しておき、音韻ごとに前記モデルが当該音韻
に対応する前記画像と同じ形状となるような前記パラメ
ータの第二の値を算出し、音韻ごとに当該音韻に対応す
る前記第一の値と前記第二の値との差を求めることによ
って当該音韻を発したときの前記人物の形状の特徴を表
す特徴データを生成し、入力された言葉の各音韻に対応
する前記特徴データに基づいて前記モデルを変形する。
【0009】本発明に係るデータ生成方法は、パラメー
タが変化することによって変形するモデルに対して、人
物の特徴が現れるように前記モデルを変形するためのデ
ータを生成するデータ生成方法であって、動作を行って
いる前記人物の画像を取得し、前記画像から前記人物の
特徴的な動作が現れている部分を抽出し、前記部分と同
じ形状となるような前記パラメータの値を求めることに
よって前記人物の特徴を表すデータを生成する。
【0010】または、前記モデルが所定の動作を行った
ときの形状となるような前記パラメータの第一の値を定
義しておき、前記所定の動作を行っている前記人物の画
像を取得し、前記モデルが前記画像と同じ形状となるよ
うな前記パラメータの第二の値を算出し、前記第一の値
と前記第二の値との差を求めることによって前記所定の
動作を行ったときの前記人物の形状の特徴を表すデータ
を生成する。
【0011】
【発明の実施の形態】図1は本発明に係るアニメーショ
ン生成装置1の構成を示す図、図2は磁気記憶装置12
に記憶されるプログラムおよびデータの例を示す図、図
3はアニメーション生成装置1の機能的構成を示す図で
ある。
【0012】本発明に係るアニメーション生成装置1
は、図1に示すように、処理装置10、ディスプレイ装
置11、磁気記憶装置12、キーボード13、マウス1
4、マイク15、およびスピーカ16などによって構成
される。
【0013】処理装置10は、CPU10a、RAM1
0b、ROM10c、各種の入出力ポート10d、およ
び各種のコントローラ10eなどによって構成される。
磁気記憶装置12には、図2に示すように、オペレーテ
ィングシステム(OS)12a、顔画像制御プログラム
12b、およびモデリングプログラム12cなどのプロ
グラム、および後に説明する種々の処理に用いられるデ
ータなどが記憶されている。
【0014】磁気記憶装置12に記憶されているプログ
ラムおよびデータは、必要に応じてRAM10bにロー
ドされる。ロードされたプログラムは、CPU10aに
よって実行される。ネットワーク6Nを介してアニメー
ション生成装置1を他のコンピュータに接続し、プログ
ラムまたはデータをダウンロードしてもよい。または、
フロッピディスク19a、CD−ROM19b、または
光磁気ディスク(MO)19cなどの各種リムーバブル
ディスク(記録媒体)からプログラムまたはデータをロ
ードしてもよい。
【0015】ディスプレイ装置11には、処理装置10
による処理結果が表示される。例えば、人物癖または特
徴を反映した顔画像HFが処理装置10によって生成さ
れると、その顔画像HFがリップシンクアニメーション
としてディスプレイ装置11の表示画面HGに表示され
る。
【0016】顔画像HFは、人物の3次元形状モデルを
所定の方向から2次元(平面)に投影することによって
得られる。つまり、顔画像HFの動作は、入力された言
葉などに合わせて3次元形状モデルを変形することによ
って制御される。
【0017】スピーカ16は、顔画像HFの動作すなわ
ち顔アニメーションに合わせて言葉を音声として出力す
る。これにより、顔画像HFがその言葉を喋っているか
のようにユーザに認識させることができる。
【0018】アニメーション生成装置1として、例え
ば、ワークステーションまたはパーソナルコンピュータ
などが用いられる。PDA(Personal Digital Assista
nt)または携帯電話端末などを用いてもよい。
【0019】このような構成によって、アニメーション
生成装置1には、図3に示すように、テキストデータ取
得部101、音韻取得部102、時間配置部103、形
状取得部104、動画像生成部105、顔モデル生成部
106、特徴データ生成部107、音声出力部108、
動画像入力部109、およびデータ記憶部110などが
設けられる。〔3次元形状モデル(顔モデル)の生成〕
顔モデル生成部106は、顔画像HFの基となる3次元
形状モデルすなわち顔アニメーションとして再現される
対象の人物の3次元形状モデルを生成する。以下、3次
元形状モデルを生成する方法を、フローチャートを参照
して説明する。
【0020】図4は3次元形状モデルの生成の処理の流
れを説明するフローチャート、図5は標準モデルDSの
例を示す図、図6は変形処理の流れを説明するフローチ
ャート、図7は標準モデルDSの面Sと3次元計測デー
タの点Aとを模式的に示す図、図8は標準モデルDSの
異常変形を防ぐための仮想バネを説明するための図であ
る。
【0021】図4において、まず、図5に示す標準モデ
ルDSとアニメーションの対象の人物の3次元計測デー
タとの概略の位置合わせを行う(#101)。標準モデ
ルDSは、標準的な顔のサイズおよび形状を有した、頭
部の全周を構造化した3次元データである。3次元計測
データは、点群からなるその人物の顔の3次元データで
ある。すなわち、ステップ#101では、標準モデルD
Sと3次元計測データとの距離が最小となるように、標
準モデルDSの向き、大きさ、および位置を変更する。
一般に、標準モデルDSおよび3次元計測データとし
て、無表情の状態のものが用いられる。なお、3次元計
測データは、3次元計測装置で対象の人物を撮影するな
どして予め用意されている。
【0022】輪郭および特徴点を抽出する(#10
2)。標準モデルDSについての輪郭RKおよび特徴点
TTと同じ位置に配置されるべき輪郭および特徴点を、
3次元計測データ上に、またはそれに対応する2次元画
像上に配置する。
【0023】特徴点として、例えば、目や口の端部、鼻
の頂部、顎の下端部のように実際に特徴のある部分、ま
たは、それらの中間のようなそれ自体では特徴はないが
位置的に特定し易い部分などが選ばれる。輪郭として、
顎のライン、唇のライン、または瞼のラインなどが選ば
れる。
【0024】計算量および誤差を削減するために、3次
元計測データについてデータの削減を行う(#10
3)。標準モデルDSの変形を行う(#104)。すな
わち、3次元計測データの各点と標準モデルDSの面と
の間の距離に関連して定義されたエネルギー関数、また
は過剰な変形を回避するために定義されたエネルギー関
数などを用い、それらが最小となるように標準モデルD
Sの面を変形させる。
【0025】そして、対象とするエネルギー関数および
制御点を変更し、ステップ#104と同様な変更のため
の処理を繰り返す(#105)。次に、ステップ#10
4の変形処理について説明する。
【0026】図7において、3次元計測データを構成す
る点群の1つが点Akで示されている。標準モデルDS
の面Sにおいて、点Akに最も近い点がQkで示されて
いる。点Qkは、点Akから面Sに垂線を下ろしたとき
の交点である。
【0027】点群に面Sをフィッティングする方法は次
の通りである。ここでは、一般的なフィッティングにつ
いて説明する。点群の中の1つの点Ak、それに対応す
る点Qk、および対応点群T={(Ak,Qk),k=
1…n}について、フィッティングエネルギー(Fittin
g Energy) 関数Ff(U)を、次の式(1)のように設
定する。
【0028】
【数1】
【0029】ただし、Qk(U)は、QkがUの関数で
あることを示す。また、面Sの過度の変形を防ぐため
に、図8に示す仮想バネ(elastic bar) KBを導入す
る。仮想バネKBの制約に基づいて、面Sの形状安定化
のための安定化エネルギー関数を導く。
【0030】すなわち、図8において、フィッティング
対象である標準モデルDSの面(曲面)Sの一部が示さ
れている。面Sは、制御点群U=|ui,i=1…n|
で形成されている。隣接する制御点間には、仮想バネK
Bが配置されている。仮想バネKBは、制御点間に引っ
張り力による拘束を与え、面Sの異常変形を防ぐ働きを
する。
【0031】つまり、隣接する制御点uの間隔が大きく
なった場合に、それに応じて仮想バネKBによる引っ張
り力が大きくなる。例えば、点Qkが点Akに近づく場
合に、その移動にともなって制御点uの間隔が大きくな
ると、仮想バネKBによる引っ張り力が増大する。点Q
kが移動しても制御点uの間隔が変わらなければ、つま
り制御点u間の相対位置関係に変化がなければ、仮想バ
ネKBによる引っ張り力は変化しない。仮想バネKBに
よる引っ張り力を面Sの全体について平均化したもの
を、安定化エネルギーとして定義する。したがって、面
Sの一部が突出して変形した場合に安定化エネルギーは
増大する。面Sの全体が平均して移動すれば安定化エネ
ルギーは零である。
【0032】安定化エネルギー関数Fs(U)は、次の
式(2)で示される。
【0033】
【数2】
【0034】ここで、
【0035】
【数3】
【0036】は、それぞれ、仮想バネKBの初期端点、
変形後の仮想バネKBの端点である。cはバネ係数であ
り、Mは仮想バネKBの本数である。また、次の関係が
成り立つ。
【0037】
【数4】
【0038】したがって、バネ係数cを大きくすると、
仮想バネKBは硬くなって変形し難くなる。このような
安定化エネルギー関数Fs(U)を導入することによ
り、面Sの形状変化に一定の拘束を設けることとなり、
面Sの過度の変形を防ぐことができる。
【0039】上に述べたフィッティングエネルギー関数
Ff(U)、および安定化エネルギー関数Fs(U)を
用い、フィッティングの評価関数F(U)を次の式
(3)のように定義する。
【0040】 F(U)=WfFf(U)+WsFs(U) ……(3) ここで、Wf,Wsは、それぞれ正規化のための重み係
数である。式(3)の評価関数F(U)が十分小さくな
るように、面Sの変形および対応点の探索を繰り返し、
面のフィッティングを行う。例えば、F(U)のUに関
する微分が0に近づく方向にフィッティングを行う。
【0041】図6において、変形処理では、まず、点A
kに対応する点Qkを計算で求め、点Akと点Qkの組
みを作成する(#111)。面Sを変形し(#11
2)、変形後の評価関数F(U)を計算する(#11
3)。評価関数F(U)が収束するまで(#114でY
es)、処理を繰り返す。
【0042】評価関数F(U)の収束を判定する方法と
して、評価関数F(U)が所定の値よりも小さくなった
ときを収束とする方法、前回の計算と比較べた変化の割
合が所定値以下となったときに収束とする方法など、公
知の方法を用いることが可能である。
【0043】このような処理によって標準モデルDSを
変形し、アニメーションの対象の人物の顔の形状をした
3次元形状モデルを生成することができる。生成された
人物の顔の3次元形状モデルは、データ記憶部110に
記憶される。以下、この3次元形状モデルを「顔モデル
3M」と記載する。 〔筋肉の定義〕図9は顔モデル3Mの構成の例を示す
図、図10は筋肉配置データ72の例を示す図、図11
はノード影響データ73の例を示す図、図12はあるノ
ードNの移動による影響が及ぶ範囲の例を説明する図で
ある。
【0044】図9(a)において、複数の細い直線同士
の交点は、顔モデル3Mの構成頂点(Model Vertex)V
を示す。顔の表面すなわち皮膚の位置は、構成頂点Vに
よって決まる。
【0045】太い直線は、顔モデル3Mの筋肉を意味す
るエッジ(Edge)Eを示す。黒い丸印は筋肉の端点を意
味するノード(Node)Nを示す。つまり、筋肉(エッジ
E)の位置は、異なる2つのノードNによって決まる。
ノードN(N1、N2、…)は、顔全体の各筋肉の端点
となる位置に配置されている。なお、エッジEは人間の
実際の筋肉に即して配置されるので、顔の動きをリアル
に再現することができる。図9(b)は、ノードNとエ
ッジEとの関係を分かりやすくするために図9(a)か
ら構成頂点Vを省略して示している。図9(a)(b)
は、顔の右半分のノードNおよびエッジEを省略して示
しているが、実際には、左半分と同様にノードNおよび
エッジEが存在する。
【0046】ノードNの位置は、次に示す式(4)のよ
うに構成頂点Vの相対的位置として表される。
【0047】
【数5】
【0048】図10に示す筋肉配置データ72は、顔モ
デル3Mの各筋肉(エッジE1、E2、…)の構成に関
するデータである。エッジEの第一のパラメータは、そ
のエッジEの端点となる2つのノードNを示す。エッジ
Eの第二のパラメータは、そのエッジE(筋肉)を変位
させた場合に、どちらの端点(ノードN)をどれだけの
割合(ウェイト)で移動させるかを示す。例えば、エッ
ジE3の第二のパラメータ「0.7,0.3」は、ノー
ドN4、N5をそれぞれ7対3の割合で移動させるとい
うことを示している。エッジEの変位量は、筋肉の収縮
の度合によって表される。筋肉が収縮していない状態を
「0」、最も収縮した状態を「20」とする。例えば、
変位量(収縮の度合)が「15.0」であれば、その筋
肉(エッジE)が75%収縮することを示す。つまり、
エッジEの変位量とは、筋肉が収縮していない状態(初
期状態)に対する変位量で示される。
【0049】エッジEが変位するとき、ノードNが移動
する位置は、次に示す式(5)によって求められる。
【0050】
【数6】
【0051】ただし、実際には複数のエッジEに関係す
るノードNが存在するため、収束演算または連立演算に
よってノードNの移動後の位置が求められる。ノード影
響データ73は、図11に示すように、ノードNの移動
に伴って構成頂点Vに及ぼされる影響に関するデータで
ある。ノード影響データ73の第二のパラメータは、各
ノードNが移動したときに影響を受ける構成頂点Vを示
している。つまり、ノードNが移動したときの影響の範
囲を示している。ノードNの移動による影響を受ける構
成頂点Vは、そのノードNの周辺に集中している。例え
ば、図12において、大きい黒丸が示すノードNの移動
による影響を受ける構成頂点Vは、小さい黒丸が示す9
つの構成頂点Vである。
【0052】第一のパラメータは、ノードNが移動した
ときに構成頂点Vに対して与える影響の度合(intensit
y )を示している。この値が大きいと、ノードNの移動
に伴う構成頂点Vの移動量(変位量)が大きくなる。
【0053】ノードNが移動するのに伴って構成頂点V
が移動する位置は、次に示す式(6)によって求められ
る。
【0054】
【数7】
【0055】なお、筋肉配置データ72およびノード影
響データ73は、図3に示すデータ記憶部110に記憶
されている。 〔顔モデルの形状を制御するためのデータ〕図13は標
準動作データ74の例を示す図、図14は母音および形
状グループ1、2の子音を発したときの顔モデル3Mの
形状の例を示す図である。
【0056】上述のように、各エッジEを変化させて各
構成頂点Vの位置を変えることによって、顔モデル3M
を変形させることができる。したがって、例えば、アニ
メーションのフレーム同士の間隔を1/30秒とする場
合は、1/30秒ごとの各エッジEの変位量を設定して
おけばよい。
【0057】しかし、各エッジEの変位量をフレームご
とに一つ一つ設定することは、ユーザにとって大きな負
担となる。そこで、所定の動作ごとに各エッジEの変位
量の変化を標準動作データ74によって予め定義してお
く。例えば、図13に示す標準動作データ74Aは、
「あ」という音韻を発する動作を行うときの各エッジE
の変化を示すデータである。すなわち、無表情の形状
(フレーム=1)から図14(a)に示す「あ」を発し
た形状になるまで(フレーム=α)の1/30秒ごとの
各エッジEの変位量を示している。なお、標準動作デー
タ74は、標準的または平均的な人間の動作に基づいて
定義される。同様に、図14(b)〜(e)に示す
「え」、「い」、「お」、および「う」の音韻(母音)
を発する動作を行った場合の各エッジEの変化について
それぞれ標準動作データ74を定義しておく。
【0058】子音を発する動作についても、子音ごとに
標準動作データ74として定義しておく。子音を発音す
るときの口の形状の変化が似ているもの同士をグループ
化し、グループごとに標準動作データ74を定義してお
いてもよい。
【0059】例えば、3つの子音のグループ(形状グル
ープ1〜3)を設け、形状グループ1は図14(f)に
示すように唇を合わせて発音する子音のグループ、形状
グループ2は図14(g)に示すように唇を合わせずに
口を所定の形状にして発音する子音のグループ、形状グ
ループ3は直前に発した音の口の形状のまま発音する子
音のグループとする。これによると、通常、「b、f、
m、p、v」の5種類の子音が形状グループ1に分類さ
れ、「d、g、j、k、l、n、r、s、t、w、z」
の11種類の子音が形状グループ2に分類され、「h、
y」の2種類の子音が形状グループ3に分類される。そ
して、形状グループ1、2についてそれぞれ標準動作デ
ータ74を定義しておく。ただし、一般に、母音を発す
る時間の長さがおよそ0.4秒程度であるのに対して子
音を発する時間の長さはおよそ0.1秒程度であるの
で、形状グループ1、2の標準動作データ74のフレー
ム数は母音の標準動作データ74のフレーム数のおよそ
1/4程度となる。なお、形状グループ3は直前の形状
のままでよいので、標準動作データ74を定義する必要
がない。
【0060】これらの標準動作データ74は、図3に示
すデータ記憶部110に記憶される。標準動作データ7
4は、次の式(7)に示すように行列によって表され
る。
【0061】
【数8】
【0062】〔個人特徴が現れない場合のアニメーショ
ンの実現〕図15はアニメーションを生成する際の各エ
ッジEの変化を表す変位グラフの例を示す図である。
【0063】次に、個人特徴が現れない標準的な動きを
する顔アニメーションを生成する方法について説明す
る。ここで、個人特徴とは、顔アニメーションの対象の
人物の喋るときの癖および特徴を意味する。例えば、喋
るときの癖として、首を前後に振りながら喋る(物を言
う)、またはパチパチと連続した瞬きをしながら喋る、
などがある。喋るときの特徴として、「あ」音を発する
ときに標準よりも大きく口を開ける、「い」音を発する
ときに標準よりも左右に広く口が開く、喋り始める前に
口を固く閉じる、または喋り終わったときに口が開いた
ままになる、などがある。これらの個人特徴が反映され
たアニメーションを実現する方法については、後に説明
する。
【0064】図3に戻って、テキストデータ取得部10
1は、顔モデル3Mに喋らせる言葉をテキストデータ7
0として取得する。テキストデータ70は、「こんばん
は」のように言葉を表す文字列からなる。テキストデー
タ70を取得する方法として、テキストエディタなどの
ソフトウェアを用いてキーボード13から入力する方
法、他のコンピュータから電子メールとして受信する方
法、またはマイク15から入力される音声をテキスト変
換する方法などが用いられる。
【0065】音韻取得部102は、テキストデータ70
の文字列を音韻ごとに区切る。例えば、「あめ」という
文字列は、「A、M、E」と区切られる。時間配置部1
03は、音韻取得部102によって区切られた各音韻に
対応する標準動作データ74をデータ記憶部110から
抽出する。そして、抽出された標準動作データ74が示
す各エッジEの変位量を図15に示す変位グラフのよう
に時間順に並べる。ただし、図15の変位グラフは説明
の簡単のためエッジE1〜E3のみを表している。
【0066】形状取得部104は、時間配置部103に
よって得られた各エッジEの変位量に基づいてフレーム
ごと(1/30秒ごと)の顔モデル3Mの形状を取得す
る。すなわち、まず、式(5)にフレーム=1に対応す
る各エッジEの変位量を代入し、収束演算または連立演
算などによって各ノードNの位置を求める。次に、求め
られた各ノードNの位置に基づいて式(6)によって顔
モデル3Mの各構成頂点Vの位置を求める。以下、フレ
ーム=2、3、…について、同様に顔モデル3Mの各構
成頂点Vの位置を求める。これにより、フレームごとの
顔モデル3Mの形状が取得される。
【0067】動画像生成部105は、形状取得部104
によって取得された顔モデル3Mの形状を1フレームご
とに変化させながら所定の方向から2次元投影すること
によって顔画像HFを動作させ、顔アニメーションを生
成する。音声出力部108は、テキストデータ70を音
声化し、顔アニメーションと同期して出力する。例え
ば、所定の音韻が立ち上がるときに動画像生成部105
から発せられる信号(トリガー)に合わせて順次音声を
出力する。テキストデータを音声化する方法として、公
知の音声合成技術が用いられる。
【0068】特徴データ生成部107については、後に
図16によって詳しく説明する。 〔個人特徴を表すデータの生成〕次に、個人特徴が反映
されたアニメーションを実現するためのデータを生成す
る方法を説明する。図16は特徴データ生成部107の
機能的構成およびデータの流れを説明する図、図17は
模倣動作データ76および特徴データ751〜755の
例を示す図、図18は発音特徴データ755を取得する
処理の流れを説明するフローチャートである。
【0069】特徴データ生成部107は、図16に示す
ように、筋肉変位解析部171、終始時特徴取得部17
2、瞬き特徴取得部173、首特徴取得部174、およ
び発音特徴取得部175などによって構成される。この
ような構成によって、特徴データ生成部107は、人物
を撮影して得た画像からその人物の個人特徴を抽出し、
特徴データ75を生成する。以下、撮影により取得され
た画像を「実画像」と記載する。本実施形態では、特徴
データ75として、首の動きに関する首特徴データ75
1、目の瞬きに関する瞬き特徴データ752、喋り始め
る前に見られる特徴に関する開始特徴データ753、喋
り終わったときに見られる特徴に関する終了特徴データ
754、および音韻を発するときの特徴に関する発音特
徴データ755を生成する。以下、これらの特徴データ
751〜755の生成方法について説明する。
【0070】まず、アニメーションの対象の人物に所定
の文章を複数回繰り返し読ませる。所定の文章として、
例えば、「こんばんは、おげんきですか」などの文章が
用いられる。所定の文章は、多くの種類の音韻が含まれ
るなど、個人特徴が多く現れるものが好ましい。文章を
読んでいる人物の頭部をビデオカメラなどを用いて正面
から撮影する。ただし、読み始める前および読み終わっ
た後の数秒間が含まれるように撮影する。
【0071】動画像入力部109は、撮影により生成さ
れた人物の動画像すなわち複数の実画像をビデオカメラ
から入力する。次に、特徴データ生成部107の筋肉変
位解析部171によって、撮影によって得られた人物の
動画像と同じ形状に顔モデル3Mを変形した場合の各エ
ッジEの変位量を求める。つまり、1つのフレーム(実
画像)ごとに、顔モデル3Mがそれと同じ形状になるよ
うな各エッジEの変位量を求める。これにより、人物の
実際の動きと同じ動きを顔モデル3Mに行わせた場合の
各エッジEの変位量を求めることができる。
【0072】各エッジEの変位量を求める際には、例え
ば、Inverse Kinematicsなどの公知
の手法が用いられる。係る手法によると、2次元画像か
ら3次元形状を求めることができる。すなわち、まず、
実画像ごとに、その形状になるような顔モデル3Mの各
構成頂点Vの位置を算出する。次に、各構成頂点Vがそ
の位置になるような各ノードNの位置を算出する。そし
て、そのノードNの位置および初期状態のノードNの位
置に基づいてエッジEの変位量を算出する。
【0073】算出されたエッジEの変位量は、模倣動作
データ76として特徴データ751〜755の生成のた
めに使用される。模倣動作データ76は、式(7)と同
様に、「エッジEの本数」×「動画像のフレームの数」
の行列で表される。模倣動作データ76を変位グラフで
表すと、図17の太い点線および一点鎖線のようにな
る。ただし、図17の変位グラフは、説明の簡単のため
多数のエッジEのうちの2つのみのエッジEの変位を表
している。
【0074】瞬き特徴取得部173は、その人物の瞬き
の癖を示す瞬き特徴データ752を取得する。すなわ
ち、模倣動作データ76から目の周辺の各筋肉(エッジ
E)の変化(動き)のパターンを検索し、検索された複
数のパターンの中から同じまたは類似するパターンを抽
出する。抽出されたパターンをその人物の瞬き特徴デー
タ752として取得する。例えば、パチパチと連続した
瞬きをする癖を有する人物の場合は、図17(a)に示
すような瞬き特徴データ752が得られる。
【0075】同様に、首特徴取得部174は、その人物
の首の動きの癖を示す首特徴データ751を取得する。
例えば、上下にゆっくりと首を振りながら喋る癖を有す
る人物の場合は、図17(b)に示すような首特徴デー
タ751が得られる。
【0076】終始時特徴取得部172は、模倣動作デー
タ76から喋り始める前および喋り終わった後の特徴を
抽出し、開始特徴データ753および終了特徴データ7
54を生成する。喋り始める前および喋り終わった後に
おいても瞬きまたは首の動きの癖が現れることがあるの
で、瞬き特徴取得部173および首特徴取得部174に
よって抽出された癖を模倣動作データ76から予め除去
しておく。そして、図17(c)に示すように、音声が
入力される前すなわち文章を読み始める前の時間帯から
開始特徴データ753を取得する。同様に、文章を読み
終わった後の時間帯から終了特徴データ754を取得す
る。
【0077】取得された首特徴データ751、瞬き特徴
データ752、開始特徴データ753、および終了特徴
データ754は、データ記憶部110に記憶される。発
音特徴取得部175は、音韻の種類ごとの人物の発音の
特徴を模倣動作データ76から抽出し、発音特徴データ
755を取得する。係る取得の方法について、図18に
示すフローチャートを参照して説明する。
【0078】まず、文章を読んでいる人物の実画像を取
得する(#201)。同時に、その音声を取得し、テキ
ストデータに変換する(#202)。そして、実画像の
フレームごとのエッジEの変位量すなわち模倣動作デー
タ76を取得する(#203)。ここまでの処理は、前
に説明した首特徴データ751〜終了特徴データ754
を生成する場合と同様である。
【0079】首特徴データ751、瞬き特徴データ75
2、開始特徴データ753、および終了特徴データ75
4に基づいて、模倣動作データ76から首および瞬きの
癖および喋り始め喋り終わりの特徴を除去する(#20
4)。これらの癖などが除去された模倣動作データ76
を、入力された音声(文章)の音韻ごとに分割する。こ
れにより、例えば、文章に含まれる「あ」音を発したと
きの各エッジEの変位量の変化を示すパラメータPiが
得られる(#205)。パラメータPiは、この「あ」
音に対応するフレーム数をβ、顔モデル3MのエッジE
の本数をkとすると、k×βの行列で表される。
【0080】Piの取得と並行してまたは前後して、ス
テップ#202で得られたテキストデータを音韻ごとに
区切り、各音韻に対応する標準動作データ74を検索し
て取得する(#206)。例えば、「あ」音の場合は標
準動作データ74Aが取得される。この標準動作データ
74Aは、図13に示すようにα個のフレーム数からな
るので、k×αの行列で表される。以下、この行列をパ
ラメータPmと記載する。
【0081】「あ」音を発したときのその人物の実際の
動きを示すパラメータPiと標準的な人間の動きを示す
パラメータPmとの差を求めることにより、その人物の
個人特徴を抽出することができる。しかし、パラメータ
PiとPmとは、フレームの数が異なるので、このまま
では差を求めることができない。そこで、フレーム数が
βとなるようにパラメータPmを正規化し、k×βの行
列であるパラメータPm' を算出する(#207)。
【0082】パラメータPiとパラメータPm' との差
を算出し、特徴パラメータdPを取得する(#20
8)。これにより、その人物が「あ」音を発するときの
個人特徴を抽出することができる。なお、個人特徴を誇
張したい場合は、必要に応じて特徴パラメータdPに適
当な数を乗じて値を大きくしてもよい(#209)。こ
のようにして得られた「あ」音に対応する特徴パラメー
タdPは、発音特徴データ755Aとしてデータ記憶部
110に記憶される(#210)。なお、特徴パラメー
タdP(発音特徴データ755)が示す個人特徴が現れ
るように顔モデル3Mを変形する場合は、パラメータP
m' に特徴パラメータdPを加算したパラメータPm"
が用いられる。そこで、特徴パラメータdPとともにパ
ラメータPm" をデータ記憶部110に記憶しておいて
もよい。
【0083】「あ」音の場合と同様に、他の音韻につい
ても発音特徴データ755およびパラメータPm" を取
得し、データ記憶部110に記憶しておく。 〔個人特徴を反映したアニメーションの実現〕次に、特
徴データ生成部107などによって生成された各特徴デ
ータ75を用いて人物の個人特徴を反映したアニメーシ
ョンを生成する方法を、フローチャートを参照して説明
する。図19は個人特徴を反映したアニメーションを生
成する処理の流れを説明するフローチャート、図20は
アニメーションの実行の順序を説明するフローチャート
である。
【0084】個人特徴を反映したアニメーションの生成
方法は、特徴データ75を用いる点を除いて、前に説明
した個人特徴が現れない場合のアニメーションの生成方
法と同じである。つまり、図3に示すテキストデータ取
得部101、音韻取得部102、時間配置部103、形
状取得部104、および動画像生成部105などによっ
て個人特徴を反映したアニメーションを生成する。
【0085】図19のフローチャートに示すように、ま
ず、アニメーションの対象の人物の顔モデル3M、筋肉
配置データ72、ノード影響データ73、および特徴デ
ータ751〜755などのデータを生成または定義する
(#1)。既にこれらの生成または定義を行っている場
合は、ステップ#1を省略する。
【0086】人物の顔画像に喋らせたい言葉を音声デー
タまたはテキストデータによって入力する(#2)。音
声データによる場合は、その音声データをテキストデー
タに変換する。テキストデータを音韻ごとに区切って分
解する(#3)。ステップ#2および#3は、それぞ
れ、テキストデータ取得部101および音韻取得部10
2によって行われる。
【0087】時間配置部103は、テキストデータに含
まれる各音韻に対応するパラメータPm" をデータ記憶
部110から検索して得る(#4)。例えば、「A、
M、E」の場合は、それぞれに対応する3つのパラメー
タPm" が得られる。なお、アニメーションに反映させ
る個人特徴の大きさを調整したい場合は、特徴パラメー
タdPに適当な係数を乗じ、パラメータPm" を算出し
直してもよい(#5)。得られた各パラメータPm" す
なわちフレームごとの各エッジEの変位量を時間順に並
べる(#6)。
【0088】首および瞬きの癖がランダムに現れるよう
に各エッジEの変位量を変更する(#7)。すなわち、
乱数を発生させ、この乱数が示すフレームに係るエッジ
Eの変位量を首特徴データ751または瞬き特徴データ
752が示す変位量とする。これにより、アニメーショ
ンに首および瞬きの癖を付加することができる。ただ
し、癖を表すパラメータおよび音韻を表すパラメータが
同一の筋肉(エッジE)に作用しようとする場合は、音
韻を表すパラメータが示す変位量を採用する。つまり、
癖よりも音韻に基づく変化を優先する。
【0089】形状取得部104および動画像生成部10
5は、上記の処理によって得られたデータに基づいて、
アニメーションを実行する(#8)。図20に示すよう
に、まず、開始特徴データ753に基づいて喋り始める
前の個人特徴が現れるようにアニメーションを実行する
(#81)。次に、ステップ#7で得られた各エッジE
の変位量に基づいて、首を動かし瞬きをしながらテキス
トデータの内容を喋るアニメーションを実行する(#8
2)。そして、終了特徴データ754に基づいて喋り終
わった後の個人特徴が現れるようにアニメーションを実
行する(#83)。
【0090】本実施形態によると、アニメーションの対
象の人物を撮影して得た画像に基づいてその人物の個人
特徴を抽出し、この個人特徴に基づいてアニメーション
を生成する。よって、人物の癖または特徴が現れたアニ
メーションを容易に生成することができる。
【0091】本実施形態では、個人特徴を得るための画
像として動画像を用いたが、静止画像を用いてもよい。
例えば、ある歴史上の人物が喋っている写真が複数枚あ
る場合に、写真ごとにいずれの音韻を発しているかを推
測し、Inverse Kinematicsの手法な
どを用いて音韻ごとの発音特徴データ755を生成して
もよい。この場合は、動画像に基づく場合のように音韻
を発し終わるまでの途中の顔モデル3Mの変化が分から
ないので、途中の部分については直線近似するなどして
データの補間を行えばよい。また、静止画像では、瞬き
および首の動きの特徴を抽出することができないので、
これらの特徴については、ユーザが任意に設定すればよ
い。
【0092】アニメーション生成装置1で生成した特徴
データ75を他のシステムで使用してもよい。図21は
電子メールシステム100の例を示す図である。例え
ば、図21に示すように、複数の端末装置1A、1Bか
らなる電子メールシステム100において端末装置1
A、1B間での電子メールのやり取りに特徴データ75
を用いてもよい。
【0093】端末装置1Aには、テキストデータ取得部
101、音韻取得部102、顔モデル生成部106、特
徴データ生成部107、および動画像入力部109など
特徴データ75を生成するために必要な機能を設ける
(図3参照)。端末装置1Bには、テキストデータ取得
部101、音韻取得部102、時間配置部103、形状
取得部104、および動画像生成部105などアニメー
ションを実現するために必要な機能を設ける。
【0094】端末装置1Aのユーザは、端末装置1Aを
用いて自分の特徴データ75および顔モデル3Mを生成
する。そして、生成した特徴データ75および顔モデル
3Mを電子メールとともに端末装置1Bに送信する。端
末装置1Bは、受信した特徴データ75および顔モデル
3Mに基づいて端末装置1Aのユーザの個人特徴が現れ
たアニメーションを実現する。
【0095】その他、アニメーション生成装置1の全体
または各部の構成、処理内容、処理順序などは、本発明
の趣旨に沿って適宜変更することができる。
【0096】
【発明の効果】本発明によると、人物の癖または特徴が
現れたアニメーションを容易に生成することができる。
【図面の簡単な説明】
【図1】本発明に係るアニメーション生成装置の構成を
示す図である。
【図2】磁気記憶装置に記憶されるプログラムおよびデ
ータの例を示す図である。
【図3】アニメーション生成装置の機能的構成を示す図
である。
【図4】3次元形状モデルの生成の処理の流れを説明す
るフローチャートである。
【図5】標準モデルの例を示す図である。
【図6】変形処理の流れを説明するフローチャートであ
る。
【図7】標準モデルの面Sと3次元計測データの点Aと
を模式的に示す図である。
【図8】標準モデルの異常変形を防ぐための仮想バネを
説明するための図である。
【図9】顔モデルの構成の例を示す図である。
【図10】筋肉配置データの例を示す図である。
【図11】ノード影響データの例を示す図である。
【図12】あるノードの移動による影響が及ぶ範囲の例
を説明する図である。
【図13】標準動作データの例を示す図である。
【図14】母音および形状グループの子音を発したとき
の顔モデルの形状の例を示す図である。
【図15】アニメーションを生成する際の各エッジの変
化を表す変位グラフの例を示す図である。
【図16】特徴データ生成部の機能的構成およびデータ
の流れを説明する図である。
【図17】模倣動作データおよび特徴データの例を示す
図である。
【図18】発音特徴データを取得する処理の流れを説明
するフローチャートである。
【図19】個人特徴を反映したアニメーションを生成す
る処理の流れを説明するフローチャートである。
【図20】アニメーションの実行の順序を説明するフロ
ーチャートである。
【図21】電子メールシステムの例を示す図である。
【符号の説明】
1 アニメーション生成装置 19a〜19c 記録媒体 104 形状取得部(モデル変形手段) 109 動画像入力部(画像取得手段) 110 データ記憶部(記憶手段) 171 筋肉変位解析部(算出手段) 175 発音特徴取得部(特徴データ生成手段) 3M 顔モデル(モデル) 70 テキストデータ(言葉) 74 標準動作データ(第一の値) 751 首特徴データ(第五の値) 752 瞬き特徴データ(第五の値) 753 開始特徴データ(第三の値) 754 終了特徴データ(第四の値) 755 発音特徴データ(特徴データ) E エッジ(パラメータ) Pi パラメータ(第二の値) Pm パラメータ(第一の値)
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G10L 15/28 G10L 3/00 551G (72)発明者 藤井 英郎 大阪府大阪市中央区安土町二丁目3番13号 大阪国際ビル ミノルタ株式会社内 (72)発明者 近藤 尊司 大阪府大阪市中央区安土町二丁目3番13号 大阪国際ビル ミノルタ株式会社内 (72)発明者 松本 卓郎 兵庫県加古川市尾上町今福428−1 Fターム(参考) 5B050 BA07 BA08 DA01 EA06 EA07 EA13 EA24 FA10 5B057 BA11 CA08 CA12 CA16 CB08 CB13 CB18 CD11 DB02 DB09 DC09 DC16 5D015 KK02 5L096 AA06 CA04 FA06 HA02 JA11 JA18

Claims (10)

    【特許請求の範囲】
  1. 【請求項1】形状を決めるためのパラメータを変化させ
    ることによってモデルを変形してアニメーションを生成
    するアニメーション生成装置であって、 音韻ごとに前記モデルが当該音韻を発したときの形状と
    なるような前記パラメータの第一の値を記憶する記憶手
    段と、 音韻ごとに当該音韻を発する人物の画像を取得する画像
    取得手段と、 音韻ごとに前記モデルが当該音韻に対応する前記画像と
    同じ形状となるような前記パラメータの第二の値を算出
    する算出手段と、 音韻ごとに当該音韻に対応する前記第一の値と前記第二
    の値との差を求めることによって当該音韻を発したとき
    の前記人物の形状の特徴を表す特徴データを生成する特
    徴データ生成手段と、 入力された言葉の各音韻に対応する前記特徴データに基
    づいて前記モデルを変形するモデル変形手段と、 を有することを特徴とするアニメーション生成装置。
  2. 【請求項2】形状を決めるためのパラメータを変化させ
    ることによってモデルを変形してアニメーションを生成
    するアニメーション生成装置であって、 喋り始める前の人物の第一の画像および喋り終わった後
    の前記人物の第二の画像を取得する画像取得手段と、 前記モデルが前記第一の画像と同じ形状となるような前
    記パラメータの第三の値および前記モデルが前記第二の
    画像と同じ形状となるような前記パラメータの第四の値
    を算出する算出手段と、 前記第三の値および前記第四の値に基づいて前記モデル
    を変形するモデル変形手段と、 を有することを特徴とするアニメーション生成装置。
  3. 【請求項3】形状を決めるためのパラメータを変化させ
    ることによってモデルを変形してアニメーションを生成
    するアニメーション生成装置であって、 喋っている人物の動画像を取得する動画像取得手段と、 前記動画像から前記人物の特徴的な動作が現れている部
    分を抽出し、前記モデルが当該部分と同じ形状となるよ
    うな前記パラメータの第五の値を算出する算出手段と、 前記第五の値に基づいて前記モデルを変形するモデル変
    形手段と、 を有することを特徴とするアニメーション生成装置。
  4. 【請求項4】形状を決めるためのパラメータを変化させ
    ることによってモデルを変形してアニメーションを生成
    するアニメーション生成方法であって、 音韻ごとに前記モデルが当該音韻を発したときの形状と
    なるような前記パラメータの第一の値を定義し、音韻ご
    とに当該音韻を発する人物の画像を取得しておき、 音韻ごとに前記モデルが当該音韻に対応する前記画像と
    同じ形状となるような前記パラメータの第二の値を算出
    し、 音韻ごとに当該音韻に対応する前記第一の値と前記第二
    の値との差を求めることによって当該音韻を発したとき
    の前記人物の形状の特徴を表す特徴データを生成し、 入力された言葉の各音韻に対応する前記特徴データに基
    づいて前記モデルを変形する、 ことを特徴とするアニメーション生成方法。
  5. 【請求項5】形状を決めるためのパラメータを変化させ
    ることによってモデルを変形してアニメーションを生成
    するアニメーション生成方法であって、 喋り始める前の人物の第一の画像および喋り終わった後
    の前記人物の第二の画像を取得しておき、 前記モデルが前記第一の画像と同じ形状となるような前
    記パラメータの第三の値および前記モデルが前記第二の
    画像と同じ形状となるような前記パラメータの第四の値
    を算出し、 前記第三の値および前記第四の値に基づいて前記モデル
    を変形する、 ことを特徴とするアニメーション生成方法。
  6. 【請求項6】形状を決めるためのパラメータを変化させ
    ることによってモデルを変形してアニメーションを生成
    するアニメーション生成方法であって、 喋っている人物の動画像を取得しておき、 前記動画像から前記人物の特徴的な動作が現れている部
    分を抽出し、 前記モデルが前記部分と同じ形状となるような前記パラ
    メータの第五の値を算出し、 前記第五の値に基づいて前記モデルを変形する、 ことを特徴とするアニメーション生成方法。
  7. 【請求項7】パラメータが変化することによって変形す
    るモデルに対して、人物の特徴が現れるように前記モデ
    ルを変形するためのデータを生成するデータ生成方法で
    あって、 動作を行っている前記人物の画像を取得し、 前記画像から前記人物の特徴的な動作が現れている部分
    を抽出し、 前記部分と同じ形状となるような前記パラメータの値を
    求めることによって前記人物の特徴を表すデータを生成
    する、 ことを特徴とするデータ生成方法。
  8. 【請求項8】パラメータが変化することによって変形す
    るモデルに対して、人物の特徴が現れるように前記モデ
    ルを変形するためのデータを生成するデータ生成方法で
    あって、 前記モデルが所定の動作を行ったときの形状となるよう
    な前記パラメータの第一の値を定義しておき、 前記所定の動作を行っている前記人物の画像を取得し、 前記モデルが前記画像と同じ形状となるような前記パラ
    メータの第二の値を算出し、 前記第一の値と前記第二の値との差を求めることによっ
    て前記所定の動作を行ったときの前記人物の形状の特徴
    を表すデータを生成する、 ことを特徴とするデータ生成方法。
  9. 【請求項9】パラメータが変化することによって変形す
    るモデルに対して、人物の特徴が現れるように前記モデ
    ルを変形するためのデータを生成するコンピュータに用
    いられるコンピュータプログラムであって、 動作を行っている前記人物の画像から前記人物の特徴的
    な動作が現れている部分を抽出する処理と、 前記部分と同じ形状となるような前記パラメータの値を
    求めることによって前記人物の特徴を表すデータを生成
    する処理と、 をコンピュータに実行させるためのコンピュータプログ
    ラム。
  10. 【請求項10】請求項9に記載のコンピュータプログラ
    ムが記録されたコンピュータ読み取り可能な記録媒体。
JP2001334868A 2001-10-31 2001-10-31 アニメーション生成装置およびアニメーション生成方法 Pending JP2003141564A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001334868A JP2003141564A (ja) 2001-10-31 2001-10-31 アニメーション生成装置およびアニメーション生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001334868A JP2003141564A (ja) 2001-10-31 2001-10-31 アニメーション生成装置およびアニメーション生成方法

Publications (1)

Publication Number Publication Date
JP2003141564A true JP2003141564A (ja) 2003-05-16

Family

ID=19149930

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001334868A Pending JP2003141564A (ja) 2001-10-31 2001-10-31 アニメーション生成装置およびアニメーション生成方法

Country Status (1)

Country Link
JP (1) JP2003141564A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005078427A (ja) * 2003-09-01 2005-03-24 Hitachi Ltd 携帯端末及びコンピュータ・ソフトウエア
CN1296872C (zh) * 2003-11-11 2007-01-24 易连科技股份有限公司 快速建立人脸影像平面模型的方法
US7228273B2 (en) * 2001-12-14 2007-06-05 Sega Corporation Voice control method
WO2010104181A1 (ja) * 2009-03-13 2010-09-16 日本電気株式会社 特徴点生成システム、特徴点生成方法および特徴点生成プログラム
JP2022527155A (ja) * 2019-09-02 2022-05-31 ▲騰▼▲訊▼科技(深▲セン▼)有限公司 人工知能に基づくアニメキャラクター駆動方法及び関連装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7228273B2 (en) * 2001-12-14 2007-06-05 Sega Corporation Voice control method
JP2005078427A (ja) * 2003-09-01 2005-03-24 Hitachi Ltd 携帯端末及びコンピュータ・ソフトウエア
CN1296872C (zh) * 2003-11-11 2007-01-24 易连科技股份有限公司 快速建立人脸影像平面模型的方法
WO2010104181A1 (ja) * 2009-03-13 2010-09-16 日本電気株式会社 特徴点生成システム、特徴点生成方法および特徴点生成プログラム
JPWO2010104181A1 (ja) * 2009-03-13 2012-09-13 日本電気株式会社 特徴点生成システム、特徴点生成方法および特徴点生成プログラム
JP5505409B2 (ja) * 2009-03-13 2014-05-28 日本電気株式会社 特徴点生成システム、特徴点生成方法および特徴点生成プログラム
US8744144B2 (en) 2009-03-13 2014-06-03 Nec Corporation Feature point generation system, feature point generation method, and feature point generation program
JP2022527155A (ja) * 2019-09-02 2022-05-31 ▲騰▼▲訊▼科技(深▲セン▼)有限公司 人工知能に基づくアニメキャラクター駆動方法及び関連装置
US11605193B2 (en) 2019-09-02 2023-03-14 Tencent Technology (Shenzhen) Company Limited Artificial intelligence-based animation character drive method and related apparatus
JP7408048B2 (ja) 2019-09-02 2024-01-05 ▲騰▼▲訊▼科技(深▲セン▼)有限公司 人工知能に基づくアニメキャラクター駆動方法及び関連装置

Similar Documents

Publication Publication Date Title
Mattheyses et al. Audiovisual speech synthesis: An overview of the state-of-the-art
KR101558202B1 (ko) 아바타를 이용한 애니메이션 생성 장치 및 방법
Bailly et al. Audiovisual speech synthesis
JP5344358B2 (ja) 演技から作り出される顔アニメーション
US9959657B2 (en) Computer generated head
US20020024519A1 (en) System and method for producing three-dimensional moving picture authoring tool supporting synthesis of motion, facial expression, lip synchronizing and lip synchronized voice of three-dimensional character
US20120130717A1 (en) Real-time Animation for an Expressive Avatar
US20110115798A1 (en) Methods and systems for creating speech-enabled avatars
KR102509666B1 (ko) 텍스트 및 오디오 기반 실시간 얼굴 재연
JP4631078B2 (ja) リップシンクアニメーション作成用の統計確率モデル作成装置、パラメータ系列合成装置、リップシンクアニメーション作成システム、及びコンピュータプログラム
CN113781610A (zh) 一种虚拟人脸的生成方法
Li et al. A survey of computer facial animation techniques
KR102373608B1 (ko) 디지털 휴먼 영상 형성을 위한 전자 장치 및 방법과, 그를 수행하도록 컴퓨터 판독 가능한 기록 매체에 저장된 프로그램
Tang et al. Real-time conversion from a single 2D face image to a 3D text-driven emotive audio-visual avatar
US20040179043A1 (en) Method and system for animating a figure in three dimensions
JP2003141564A (ja) アニメーション生成装置およびアニメーション生成方法
JP2003058908A (ja) 顔画像制御方法および装置、コンピュータプログラム、および記録媒体
Perng et al. Image talk: a real time synthetic talking head using one single image with chinese text-to-speech capability
Müller et al. Realistic speech animation based on observed 3-D face dynamics
Kalberer et al. Lip animation based on observed 3D speech dynamics
JP2003196677A (ja) 3次元モデル変形方法およびコンピュータプログラム
WO2022195818A1 (ja) 画像生成システムおよび画像生成方法
Theobald et al. 2.5 D Visual Speech Synthesis Using Appearance Models.
JP2003196678A (ja) 3次元モデルシステムおよびコンピュータプログラム
Edge et al. Model-based synthesis of visual speech movements from 3D video

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20050613

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20050704

A072 Dismissal of procedure

Free format text: JAPANESE INTERMEDIATE CODE: A072

Effective date: 20060104

A072 Dismissal of procedure

Free format text: JAPANESE INTERMEDIATE CODE: A072

Effective date: 20060124