JP2002304638A - 表情アニメーション生成装置および表情アニメーション生成方法 - Google Patents
表情アニメーション生成装置および表情アニメーション生成方法Info
- Publication number
- JP2002304638A JP2002304638A JP2001104665A JP2001104665A JP2002304638A JP 2002304638 A JP2002304638 A JP 2002304638A JP 2001104665 A JP2001104665 A JP 2001104665A JP 2001104665 A JP2001104665 A JP 2001104665A JP 2002304638 A JP2002304638 A JP 2002304638A
- Authority
- JP
- Japan
- Prior art keywords
- expression
- time
- texture
- facial expression
- difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
(57)【要約】
【課題】 簡単に多様な表情アニメーションを作成でき
る表情アニメーション生成装置を提供する。 【解決手段】 表情差分データ抽出部１１１０は、対象
人物の表情顔サンプルから特徴点を抽出し、特徴点に基
づいて表情顔サンプルを複数のパーツに分割し、指定さ
れた２つの異なる表情間の表情遷移変化に伴う形状およ
びテクスチャの差分を求め、差分形状データと差分テク
スチャを獲得する。動作パターン設定部１１２０は、各
パーツごとの時間変化を規定するための動作パターン関
数を指定する。時系列表情画像合成処理部１１３０は、
動作パターン関数と差分形状データおよび差分テクスチ
ャとに基づいて、所定の時間間隔ごとの時系列表情形状
データおよび時系列表情テクスチャを生成する。
る表情アニメーション生成装置を提供する。 【解決手段】 表情差分データ抽出部１１１０は、対象
人物の表情顔サンプルから特徴点を抽出し、特徴点に基
づいて表情顔サンプルを複数のパーツに分割し、指定さ
れた２つの異なる表情間の表情遷移変化に伴う形状およ
びテクスチャの差分を求め、差分形状データと差分テク
スチャを獲得する。動作パターン設定部１１２０は、各
パーツごとの時間変化を規定するための動作パターン関
数を指定する。時系列表情画像合成処理部１１３０は、
動作パターン関数と差分形状データおよび差分テクスチ
ャとに基づいて、所定の時間間隔ごとの時系列表情形状
データおよび時系列表情テクスチャを生成する。
Description
【０００１】
【発明の属する技術分野】この発明は、ある人物の任意
の表情に基づいて、多様な表情アニメーションを生成す
る方法および表情アニメーションを生成する表情アニメ
ーション生成装置の構成に関する。
の表情に基づいて、多様な表情アニメーションを生成す
る方法および表情アニメーションを生成する表情アニメ
ーション生成装置の構成に関する。
【０００２】
【従来の技術】近年、特定の人物の特定の表情データに
基づいて、当該人物の任意表情の合成を行なう研究が行
なわれている。ところで、任意表情の生成は、静止画像
だけでなく動画（アニメーション）の生成を行なうこと
で、より実用的となる。たとえば、最近のテレビコマー
シャルでも見られるように、歴史上の人物のさまざまな
表情アニメーションの生成や、仮想俳優、感性擬人化エ
ージェントなどに応用することが可能となる。
基づいて、当該人物の任意表情の合成を行なう研究が行
なわれている。ところで、任意表情の生成は、静止画像
だけでなく動画（アニメーション）の生成を行なうこと
で、より実用的となる。たとえば、最近のテレビコマー
シャルでも見られるように、歴史上の人物のさまざまな
表情アニメーションの生成や、仮想俳優、感性擬人化エ
ージェントなどに応用することが可能となる。
【０００３】さらに、心理学的な研究分野においては、
動画を用いた表情認知の研究が、文献１：蒲池みゆき，
吉川左紀子，赤松茂．変化速度は表情認知に影響するか
？−動画刺激を用いた顔表情認知の時間特性の解明−．
信学技報HCS98-34，pp.17-24，1998．に開示されてい
る。
動画を用いた表情認知の研究が、文献１：蒲池みゆき，
吉川左紀子，赤松茂．変化速度は表情認知に影響するか
？−動画刺激を用いた顔表情認知の時間特性の解明−．
信学技報HCS98-34，pp.17-24，1998．に開示されてい
る。
【０００４】表情アニメーションは、簡単な方法として
は、初めの表情と終わりの表情の２枚の画像間の対応点
間の座標の位置、および輝度値を時間変化に比例させて
内挿することによって生成し（以下、線形モーフィング
と呼ぶ）連続提示させることで生成することが可能とな
る。
は、初めの表情と終わりの表情の２枚の画像間の対応点
間の座標の位置、および輝度値を時間変化に比例させて
内挿することによって生成し（以下、線形モーフィング
と呼ぶ）連続提示させることで生成することが可能とな
る。
【０００５】さらに、表情生成機能を持った専用のソフ
トウェアを用い、顔の表情筋の動きを模倣するなどし
て、細かな動きの指定が可能となる。
トウェアを用い、顔の表情筋の動きを模倣するなどし
て、細かな動きの指定が可能となる。
【０００６】顔全体の線形モーフィングによるアニメー
ション生成の場合、その表情変化は線形となり、目や口
といった顔のパーツは同時に変化する。
ション生成の場合、その表情変化は線形となり、目や口
といった顔のパーツは同時に変化する。
【０００７】ここで、文献２：内田英子，四倉達夫，森
島繁生，山田寛，大谷淳，赤松茂．高速度カメラを用い
た顔面表情の動的変化に関する分析．信学技報HIP99-7
6，pp.1-6，2000．には、高速カメラを用いた表情の動
的変化の分析を行なうことで、各パーツの変化（動き出
し、変化パターン）は非線形であって、各表情ごと、各
パーツごとに微妙に異なっていること、およびその表情
表出が自発的なものか、または意図的なものかによっ
て、その動作パターンが変化することが開示されてい
る。
島繁生，山田寛，大谷淳，赤松茂．高速度カメラを用い
た顔面表情の動的変化に関する分析．信学技報HIP99-7
6，pp.1-6，2000．には、高速カメラを用いた表情の動
的変化の分析を行なうことで、各パーツの変化（動き出
し、変化パターン）は非線形であって、各表情ごと、各
パーツごとに微妙に異なっていること、およびその表情
表出が自発的なものか、または意図的なものかによっ
て、その動作パターンが変化することが開示されてい
る。
【０００８】また、文献３：西尾修一，小山謙二．目と
口の動きの時間的差異に基づく笑いの分類基準．信学論
（A），Vol.J80-A，No.8，pp.1316-1318，1997．には、
コンピュータグラフィックス（ＣＧ）によって作成され
た顔を用いて、目と口の動き出しのタイミングを変える
ことで、同じ「笑い」であっても、その印象が変化する
ことが開示されている。
口の動きの時間的差異に基づく笑いの分類基準．信学論
（A），Vol.J80-A，No.8，pp.1316-1318，1997．には、
コンピュータグラフィックス（ＣＧ）によって作成され
た顔を用いて、目と口の動き出しのタイミングを変える
ことで、同じ「笑い」であっても、その印象が変化する
ことが開示されている。
【０００９】さらに、文献４：T.Ogawa and M. Oda. Ho
w facial parts work in facial-expression judgemen
t. ATR Sympsium on Face and Object Recognition '9
9, pp.109-110, 1999．および文献５：加藤隆，中口
稔，木幡誠治，丸谷真美，赤松茂．表情判断における顔
の部位の役割．第１４回ヒューマン・インタフェース・
シンポジウム論文集，pp.71-76，1998．には、静止画を
用いて、表情種の異なるパーツを組合せることで多様な
表情に見えることが示され、かつ表情ごとに重要なパー
ツが存在することが開示されている。
w facial parts work in facial-expression judgemen
t. ATR Sympsium on Face and Object Recognition '9
9, pp.109-110, 1999．および文献５：加藤隆，中口
稔，木幡誠治，丸谷真美，赤松茂．表情判断における顔
の部位の役割．第１４回ヒューマン・インタフェース・
シンポジウム論文集，pp.71-76，1998．には、静止画を
用いて、表情種の異なるパーツを組合せることで多様な
表情に見えることが示され、かつ表情ごとに重要なパー
ツが存在することが開示されている。
【００１０】したがって、上述したような表情アニメー
ションにおいても、表情ごとの重要なパーツの動作パタ
ーンを変化させることによって、多様な表情が生成でき
るものと考えられる。
ションにおいても、表情ごとの重要なパーツの動作パタ
ーンを変化させることによって、多様な表情が生成でき
るものと考えられる。
【００１１】
【発明が解決しようとする課題】つまり、より自然な表
情、多様な表情のアニメーションを作成するには、各パ
ーツごとに非線形な動作パターンを指定できることが必
要である。ところが、従来は、細かな動きの指定は、表
情生成機能を持った専用のソフトウェアを用い、しか
も、顔の表情筋の動きを模倣するなどして表情を生成す
るのが一般的であった。
情、多様な表情のアニメーションを作成するには、各パ
ーツごとに非線形な動作パターンを指定できることが必
要である。ところが、従来は、細かな動きの指定は、表
情生成機能を持った専用のソフトウェアを用い、しか
も、顔の表情筋の動きを模倣するなどして表情を生成す
るのが一般的であった。
【００１２】しかしながら、このような専用のソフトウ
ェアは、その使用に関して、専門的な知識を必要とし、
誰もが簡単に使用できるものではない。
ェアは、その使用に関して、専門的な知識を必要とし、
誰もが簡単に使用できるものではない。
【００１３】本発明は、上記のような問題点を解決する
ためになされたものであって、その目的は、専門的な知
識を必要とせず、誰もが簡単に多様な表情アニメーショ
ンを作成できる表情アニメーション生成装置および表情
アニメーション生成方法を提供することである。
ためになされたものであって、その目的は、専門的な知
識を必要とせず、誰もが簡単に多様な表情アニメーショ
ンを作成できる表情アニメーション生成装置および表情
アニメーション生成方法を提供することである。
【００１４】
【課題を解決するための手段】請求項１記載の表情アニ
メーション生成装置は、対象人物の表情顔サンプルから
特徴点を抽出し、特徴点に基づいて表情顔サンプルを複
数のパーツに分割し、各パーツごとに指定された２つの
異なる表情間の表情遷移変化に伴う形状およびテクスチ
ャの差分を求め、差分形状データと差分テクスチャを獲
得する表情差分データ抽出手段と、各パーツごとの時間
変化を規定するための動作パターン関数を指定する動作
パターン設定手段と、動作パターン関数と差分形状デー
タとに基づいて算出された任意時刻における中間差分形
状データと、動作パターン関数と差分テクスチャとに基
づいて算出された任意時刻における中間差分テキスチャ
とを所定の時間間隔で生成し、所定の時間間隔ごとの時
系列表情形状データおよび時系列表情テクスチャを生成
する時系列表情画像合成手段と、時系列表情形状データ
に基づく形状に時系列表情テクスチャをマッピングする
ことで生成された所定の時間間隔ごとに時系列表情画像
を連続表示することによって、表情アニメーションを生
成する表情アニメーション再生手段とを備える。
メーション生成装置は、対象人物の表情顔サンプルから
特徴点を抽出し、特徴点に基づいて表情顔サンプルを複
数のパーツに分割し、各パーツごとに指定された２つの
異なる表情間の表情遷移変化に伴う形状およびテクスチ
ャの差分を求め、差分形状データと差分テクスチャを獲
得する表情差分データ抽出手段と、各パーツごとの時間
変化を規定するための動作パターン関数を指定する動作
パターン設定手段と、動作パターン関数と差分形状デー
タとに基づいて算出された任意時刻における中間差分形
状データと、動作パターン関数と差分テクスチャとに基
づいて算出された任意時刻における中間差分テキスチャ
とを所定の時間間隔で生成し、所定の時間間隔ごとの時
系列表情形状データおよび時系列表情テクスチャを生成
する時系列表情画像合成手段と、時系列表情形状データ
に基づく形状に時系列表情テクスチャをマッピングする
ことで生成された所定の時間間隔ごとに時系列表情画像
を連続表示することによって、表情アニメーションを生
成する表情アニメーション再生手段とを備える。
【００１５】請求項２記載の表情アニメーション生成装
置は、請求項１記載の表情アニメーション生成装置の構
成に加えて、対象人物の表情顔サンプルは、対象人物の
異なる２つの表情の顔サンプルを含む。
置は、請求項１記載の表情アニメーション生成装置の構
成に加えて、対象人物の表情顔サンプルは、対象人物の
異なる２つの表情の顔サンプルを含む。
【００１６】請求項３記載の表情アニメーション生成装
置は、請求項１記載の表情アニメーション生成装置の構
成に加えて、動作パターン設定手段は、ユーザとの間の
対話型インターフェースを含む。
置は、請求項１記載の表情アニメーション生成装置の構
成に加えて、動作パターン設定手段は、ユーザとの間の
対話型インターフェースを含む。
【００１７】請求項４記載の表情アニメーション生成装
置は、請求項１、２または３記載の表情アニメーション
生成装置の構成に加えて、時系列表情画像合成手段は、
中間差分テキスチャの算出において、特徴点以外の画素
における重みは、当該画素が含まれる三角形パッチの頂
点の動作パターン関数値に基づき、頂点から当該画素ま
での距離の二乗に反比例する重み付き平均により導出す
る。
置は、請求項１、２または３記載の表情アニメーション
生成装置の構成に加えて、時系列表情画像合成手段は、
中間差分テキスチャの算出において、特徴点以外の画素
における重みは、当該画素が含まれる三角形パッチの頂
点の動作パターン関数値に基づき、頂点から当該画素ま
での距離の二乗に反比例する重み付き平均により導出す
る。
【００１８】請求項５記載の表情アニメーション生成方
法は、対象人物の表情顔サンプルから特徴点を抽出し、
特徴点に基づいて表情顔サンプルを複数のパーツに分割
し、各パーツごとに指定された２つの異なる表情間の表
情遷移変化に伴う形状およびテクスチャの差分を求め、
差分形状データと差分テクスチャを獲得するステップ
と、各パーツごとの時間変化を規定するための動作パタ
ーン関数を指定するステップと、動作パターン関数と差
分形状データとに基づいて算出された任意時刻における
中間差分形状データと、動作パターン関数と差分テクス
チャとに基づいて算出された任意時刻における中間差分
テキスチャとを所定の時間間隔で生成し、所定の時間間
隔ごとの時系列表情形状データおよび時系列表情テクス
チャを生成するステップと、時系列表情形状データに基
づく形状に時系列表情テクスチャをマッピングすること
で生成された所定の時間間隔ごとに時系列表情画像を連
続表示することよって、表情アニメーションを生成する
ステップとを備える。
法は、対象人物の表情顔サンプルから特徴点を抽出し、
特徴点に基づいて表情顔サンプルを複数のパーツに分割
し、各パーツごとに指定された２つの異なる表情間の表
情遷移変化に伴う形状およびテクスチャの差分を求め、
差分形状データと差分テクスチャを獲得するステップ
と、各パーツごとの時間変化を規定するための動作パタ
ーン関数を指定するステップと、動作パターン関数と差
分形状データとに基づいて算出された任意時刻における
中間差分形状データと、動作パターン関数と差分テクス
チャとに基づいて算出された任意時刻における中間差分
テキスチャとを所定の時間間隔で生成し、所定の時間間
隔ごとの時系列表情形状データおよび時系列表情テクス
チャを生成するステップと、時系列表情形状データに基
づく形状に時系列表情テクスチャをマッピングすること
で生成された所定の時間間隔ごとに時系列表情画像を連
続表示することよって、表情アニメーションを生成する
ステップとを備える。
【００１９】請求項６記載の表情アニメーション生成方
法は、請求項５記載の表情アニメーション生成方法の構
成に加えて、対象人物の表情顔サンプルは、対象人物の
異なる２つの表情の顔サンプルを含む。
法は、請求項５記載の表情アニメーション生成方法の構
成に加えて、対象人物の表情顔サンプルは、対象人物の
異なる２つの表情の顔サンプルを含む。
【００２０】請求項７記載の表情アニメーション生成方
法は、請求項５記載の表情アニメーション生成方法の構
成に加えて、動作パターン関数を指定するステップは、
ユーザとの間の対話型インターフェースにより動作パタ
ーン関数を編集するステップを含む。
法は、請求項５記載の表情アニメーション生成方法の構
成に加えて、動作パターン関数を指定するステップは、
ユーザとの間の対話型インターフェースにより動作パタ
ーン関数を編集するステップを含む。
【００２１】請求項８記載の表情アニメーション生成方
法は、請求項５、６または７記載の表情アニメーション
生成方法の構成に加えて、時系列表情形状データおよび
時系列表情テクスチャを生成するステップは、中間差分
テキスチャの算出において、特徴点以外の画素における
重みは、当該画素が含まれる三角形パッチの頂点の動作
パターン関数値に基づき、頂点から当該画素までの距離
の二乗に反比例する重み付き平均により導出するステッ
プを含む。
法は、請求項５、６または７記載の表情アニメーション
生成方法の構成に加えて、時系列表情形状データおよび
時系列表情テクスチャを生成するステップは、中間差分
テキスチャの算出において、特徴点以外の画素における
重みは、当該画素が含まれる三角形パッチの頂点の動作
パターン関数値に基づき、頂点から当該画素までの距離
の二乗に反比例する重み付き平均により導出するステッ
プを含む。
【００２２】
【発明の実施の形態】以下、図面を参照して本発明の実
施の形態について説明する。
施の形態について説明する。
【００２３】図１は、本発明に係る表情アニメーション
生成装置１００の構成を説明するための概略ブロック図
である。
生成装置１００の構成を説明するための概略ブロック図
である。
【００２４】図１において、特に限定されないが、たと
えば、カメラ１０４により、同一人物で表情の異なる２
枚の画像からなる入力画像が撮影される。この撮影され
る画像は、表情アニメーション生成装置１００のユーザ
２の画像であっても良いし、他の人物の画像であっても
よい。また、同一人物で表情の異なる２枚の画像がデー
タとして与えられるのであれば、表情アニメーション生
成装置１００に接続されるカメラ１０４で撮影された画
像である必要もなく、そのような画像データが記録媒体
として与えられ、表情アニメーション生成装置１００に
読み込まれる構成としてもよい。
えば、カメラ１０４により、同一人物で表情の異なる２
枚の画像からなる入力画像が撮影される。この撮影され
る画像は、表情アニメーション生成装置１００のユーザ
２の画像であっても良いし、他の人物の画像であっても
よい。また、同一人物で表情の異なる２枚の画像がデー
タとして与えられるのであれば、表情アニメーション生
成装置１００に接続されるカメラ１０４で撮影された画
像である必要もなく、そのような画像データが記録媒体
として与えられ、表情アニメーション生成装置１００に
読み込まれる構成としてもよい。
【００２５】ここで、表情アニメーション生成装置１０
０は、以下に説明するように、このようにして与えられ
た同一人物で表情の異なる２枚の画像からなる入力画像
データに基づいて、アニメーション画像を生成する。こ
のとき、生成されるアニメーション画像を「時系列表情
画像」と呼ぶことにする。
０は、以下に説明するように、このようにして与えられ
た同一人物で表情の異なる２枚の画像からなる入力画像
データに基づいて、アニメーション画像を生成する。こ
のとき、生成されるアニメーション画像を「時系列表情
画像」と呼ぶことにする。
【００２６】表情アニメーション生成装置１００は、さ
らに、データ処理部１１０と、ユーザ２との間で、対話
的なデータ入力を行なうためのデータ入力装置（たとえ
ば、キーボードおよびマウス）１２０と、ユーザ２に対
して対話的データ入力の際にデータ入力画面を提示し、
かつ最終的に生成された時系列表情画像を出力するため
の表示装置（たとえば、ＣＲＴ）１３０とを備える。
らに、データ処理部１１０と、ユーザ２との間で、対話
的なデータ入力を行なうためのデータ入力装置（たとえ
ば、キーボードおよびマウス）１２０と、ユーザ２に対
して対話的データ入力の際にデータ入力画面を提示し、
かつ最終的に生成された時系列表情画像を出力するため
の表示装置（たとえば、ＣＲＴ）１３０とを備える。
【００２７】データ処理部１１０は、データ入出力のイ
ンターフェースとして動作するデータ入出力部１１０２
と、表情差分データ抽出部１１１０と、各パーツごとの
動作パターンをユーザ２との間での対話的データ入力に
より設定する動作パターン設定部１１２０と、時系列表
情画像合成処理部１１３０と、表情アニメーション再生
部１１４０と、表情差分データ抽出部１１１０により抽
出された形状データおよびテクスチャデータを格納する
ための形状データ格納部１１５０およびテクスチャデー
タ格納部１１５２と、時系列表情画像合成処理部１１３
０において、時刻ｔにおける差分データをもとに算出さ
れた時系列表情形状データおよび時系列表情テクスチャ
データを格納するための時系列表情形状データ格納部１
１６０および時系列表情テクスチャデータ格納部１１６
２と、時系列表情画像合成処理部１１３０により最終的
に生成される時系列表情画像を格納するための時系列表
情画像格納部１１７０とを備える。
ンターフェースとして動作するデータ入出力部１１０２
と、表情差分データ抽出部１１１０と、各パーツごとの
動作パターンをユーザ２との間での対話的データ入力に
より設定する動作パターン設定部１１２０と、時系列表
情画像合成処理部１１３０と、表情アニメーション再生
部１１４０と、表情差分データ抽出部１１１０により抽
出された形状データおよびテクスチャデータを格納する
ための形状データ格納部１１５０およびテクスチャデー
タ格納部１１５２と、時系列表情画像合成処理部１１３
０において、時刻ｔにおける差分データをもとに算出さ
れた時系列表情形状データおよび時系列表情テクスチャ
データを格納するための時系列表情形状データ格納部１
１６０および時系列表情テクスチャデータ格納部１１６
２と、時系列表情画像合成処理部１１３０により最終的
に生成される時系列表情画像を格納するための時系列表
情画像格納部１１７０とを備える。
【００２８】図２は、図１に示したデータ処理部１１０
の行なう処理の流れを模式的に示す概念図である。
の行なう処理の流れを模式的に示す概念図である。
【００２９】以下、図１および図２を参照して、データ
処理部１１０の各部の動作についてさらに説明する。
処理部１１０の各部の動作についてさらに説明する。
【００３０】表情差分データ抽出部１１１０の特徴点抽
出部１１１２は、表情の異なる２枚の画像（入力画像Ａ
およびＢ）が与えられると、ユーザ２との間でグラフィ
ックスワークステーションの対話処理機能を用いて、特
徴点のサンプリングを行なう（ステップＳ１００）。サ
ンプリングされたデータは、形状データ格納部１１５０
およびテクスチャデータ格納部１１５２にそれぞれ格納
される（ステップＳ１０２）。
出部１１１２は、表情の異なる２枚の画像（入力画像Ａ
およびＢ）が与えられると、ユーザ２との間でグラフィ
ックスワークステーションの対話処理機能を用いて、特
徴点のサンプリングを行なう（ステップＳ１００）。サ
ンプリングされたデータは、形状データ格納部１１５０
およびテクスチャデータ格納部１１５２にそれぞれ格納
される（ステップＳ１０２）。
【００３１】さらに、サンプリングデータに基づき、２
枚の入力画像に関する形状データ／テクスチャデータを
獲得し、差分データ算出部１１１４は、差分形状データ
と差分テクスチャの抽出を行なう（ステップＳ１０
４）。
枚の入力画像に関する形状データ／テクスチャデータを
獲得し、差分データ算出部１１１４は、差分形状データ
と差分テクスチャの抽出を行なう（ステップＳ１０
４）。
【００３２】一方、動作パターン設定部１１２０は、表
示装置に提示された関数のメニューの中から、後に説明
するように対話型インターフェースによって、顔の各パ
ーツごとにユーザ２が１つの関数を選択し（ステップＳ
１１０）、そのパターン情報が時系列表情画像合成処理
部１１３０に通知される（ステップＳ１１２）。
示装置に提示された関数のメニューの中から、後に説明
するように対話型インターフェースによって、顔の各パ
ーツごとにユーザ２が１つの関数を選択し（ステップＳ
１１０）、そのパターン情報が時系列表情画像合成処理
部１１３０に通知される（ステップＳ１１２）。
【００３３】ここで、時系列表情画像合成処理部１１３
０は、このようにして得られた形状データ、テクスチャ
データおよび差分形状データ、差分テクスチャデータに
基づいて、表情画像のアニメーションを合成する。すな
わち、時系列表情画像合成処理部１１３０では、合成時
間を１秒３０フレームとして、フレーム数に換算する。
さらに、時系列表情画像合成処理部１１３０は、差分デ
ータ抽出部１１１４から与えられる差分形状データおよ
び差分テクスチャと、動作パターン設定部１１２０から
与えられる動作パターンに基づいて、合成時間をフレー
ム数で等間隔に分割した各時刻ｔでの差分データを求
め、その値を表情の合成比率として、時系列表情形状デ
ータおよび時系列表情テクスチャを求め（ステップＳ１
２０）、時系列表情形状データ格納部１１６０および時
系列表情テクスチャデータ格納部１１６２に格納する
（ステップＳ１２２）。このようにして得られた形状と
テクスチャを用いて、時系列表情画像合成処理部１１３
０は、表情画像を合成し（ステップＳ１２４）、最終的
に合成された時系列の表情画像が時系列表情画像格納部
１１７０に格納される（ステップＳ１２６）。
０は、このようにして得られた形状データ、テクスチャ
データおよび差分形状データ、差分テクスチャデータに
基づいて、表情画像のアニメーションを合成する。すな
わち、時系列表情画像合成処理部１１３０では、合成時
間を１秒３０フレームとして、フレーム数に換算する。
さらに、時系列表情画像合成処理部１１３０は、差分デ
ータ抽出部１１１４から与えられる差分形状データおよ
び差分テクスチャと、動作パターン設定部１１２０から
与えられる動作パターンに基づいて、合成時間をフレー
ム数で等間隔に分割した各時刻ｔでの差分データを求
め、その値を表情の合成比率として、時系列表情形状デ
ータおよび時系列表情テクスチャを求め（ステップＳ１
２０）、時系列表情形状データ格納部１１６０および時
系列表情テクスチャデータ格納部１１６２に格納する
（ステップＳ１２２）。このようにして得られた形状と
テクスチャを用いて、時系列表情画像合成処理部１１３
０は、表情画像を合成し（ステップＳ１２４）、最終的
に合成された時系列の表情画像が時系列表情画像格納部
１１７０に格納される（ステップＳ１２６）。
【００３４】表情アニメーション再生部１１４０は、時
系列表情画像格納部１１７０に格納されたデータに基づ
いて表情アニメーションの再生を行ない、表示部１３０
に対して出力する（ステップＳ１３０）。
系列表情画像格納部１１７０に格納されたデータに基づ
いて表情アニメーションの再生を行ない、表示部１３０
に対して出力する（ステップＳ１３０）。
【００３５】図３は、入力画像として与えられる同一人
物で表情のみが異なる２枚の画像のうち、無表情（中立
表情）の画像を示す図である。一方、図４は、入力画像
として与えられる同一人物で表情のみが異なる２枚の画
像のうち、笑顔の画像を示す図である。
物で表情のみが異なる２枚の画像のうち、無表情（中立
表情）の画像を示す図である。一方、図４は、入力画像
として与えられる同一人物で表情のみが異なる２枚の画
像のうち、笑顔の画像を示す図である。
【００３６】図５は、図１に示した表情差分データ抽出
部１１２０において、顔サンプルの特徴点の抽出を汎用
グラフィックスワークステーションの対話処理機能を利
用して行なった結果を示す図である。すなわち、表示さ
れた入力画像から目視で特徴点を検出し、マウス操作に
よって入力画像表面上を移動するカーソルを用いて特徴
点の位置を特定する。
部１１２０において、顔サンプルの特徴点の抽出を汎用
グラフィックスワークステーションの対話処理機能を利
用して行なった結果を示す図である。すなわち、表示さ
れた入力画像から目視で特徴点を検出し、マウス操作に
よって入力画像表面上を移動するカーソルを用いて特徴
点の位置を特定する。
【００３７】ここで、図３に示したような画像データに
基づいて、たとえば、８３点の特徴点が規定される。さ
らに、図５においては、このようにして規定された特徴
点に基づいて、画像処理の基本単位である三角パッチの
集合として、画像が分割されている。
基づいて、たとえば、８３点の特徴点が規定される。さ
らに、図５においては、このようにして規定された特徴
点に基づいて、画像処理の基本単位である三角パッチの
集合として、画像が分割されている。
【００３８】すなわち、画像特徴点を頂点とする三角パ
ッチの集合（形状）と画像の集合（画像そのもの：テク
スチャ）に分けてデータの獲得が行なわれる。
ッチの集合（形状）と画像の集合（画像そのもの：テク
スチャ）に分けてデータの獲得が行なわれる。
【００３９】次に、データ処理部１１０の処理、特に、
差分データの獲得方法について、さらに詳しく説明す
る。
差分データの獲得方法について、さらに詳しく説明す
る。
【００４０】データ処理部１１０は、図３および図４に
おいて説明したように、任意の対象人物についての表情
Ａ（通常は、上述したように「中立表情」）の顔画像
（以下、「表情Ａ画像」）が与えられたとき、同じ人物
の表情Ｂ（特に限定されないが、上述した例では「笑
い」）の顔画像（以下、「表情Ｂ画像」）まで連続的に
変化する表情アニメーションを生成する。
おいて説明したように、任意の対象人物についての表情
Ａ（通常は、上述したように「中立表情」）の顔画像
（以下、「表情Ａ画像」）が与えられたとき、同じ人物
の表情Ｂ（特に限定されないが、上述した例では「笑
い」）の顔画像（以下、「表情Ｂ画像」）まで連続的に
変化する表情アニメーションを生成する。
【００４１】表情変化は、形状の変化とそれに伴うテク
スチャの変化として表現されるので、顔画像を顔の特徴
点を頂点として生成される三角形パッチの集合（形状）
と、各画像の輝度値（または、ＲＧＢ値）の集合、つま
り、画像そのもの（テクスチャ）との２つに分けて考
え、表情変化時の形状とテクスチャを別々に生成する。
スチャの変化として表現されるので、顔画像を顔の特徴
点を頂点として生成される三角形パッチの集合（形状）
と、各画像の輝度値（または、ＲＧＢ値）の集合、つま
り、画像そのもの（テクスチャ）との２つに分けて考
え、表情変化時の形状とテクスチャを別々に生成する。
【００４２】図５に示したように、表情Ａ画像から、表
情Ａの形状（表情Ａ形状）とテクスチャ（表情Ａテクス
チャ）とが同時に得られる。同様に、表情Ｂ画像から、
表情Ｂの形状（表情Ｂ形状）とテクスチャ（表情Ｂテク
スチャ）とが同時に得られる。
情Ａの形状（表情Ａ形状）とテクスチャ（表情Ａテクス
チャ）とが同時に得られる。同様に、表情Ｂ画像から、
表情Ｂの形状（表情Ｂ形状）とテクスチャ（表情Ｂテク
スチャ）とが同時に得られる。
【００４３】表情Ａと表情Ｂの間の時刻ｔにおける表情
Ｃの形状とテクスチャが得られれば、形状にテクスチャ
をマッピングすることで、対象人物の表情の時間変化を
得ることができる。
Ｃの形状とテクスチャが得られれば、形状にテクスチャ
をマッピングすることで、対象人物の表情の時間変化を
得ることができる。
【００４４】以下では、イメージの生成過程において、
形状とテクスチャを分けて処理する。
形状とテクスチャを分けて処理する。
【００４５】（表情差分形状の獲得）表情Ａから表情Ｂ
への表情変化を考えたとき、表情変化に合う顔形状の変
化を、表情Ａ画像ＳAと表情Ｂ画像ＳBの対応している特
徴点の座標の差分として捉える。
への表情変化を考えたとき、表情変化に合う顔形状の変
化を、表情Ａ画像ＳAと表情Ｂ画像ＳBの対応している特
徴点の座標の差分として捉える。
【００４６】この差分を「差分形状」と呼び、δＳで表
わすとすると、表情Ｂ形状は、表情Ａ形状と差分形状と
の和で、以下の式（１）のように表わすことができる。
わすとすると、表情Ｂ形状は、表情Ａ形状と差分形状と
の和で、以下の式（１）のように表わすことができる。
【００４７】
【数１】
【００４８】（表情テクスチャの生成）表情テクスチャ
の生成のための差分テクスチャについても、上述した表
情形状に対する差分形状と同様に、画素値の差分を求め
ることで、獲得することが可能となる。
の生成のための差分テクスチャについても、上述した表
情形状に対する差分形状と同様に、画素値の差分を求め
ることで、獲得することが可能となる。
【００４９】つまり、差分テクスチャは、上述した対象
人物の表情Ａ画像と表情Ｂ画像から得られるテクスチャ
の、対応する各画素における輝度値（ＲＧＢ値）の差分
を取ることによって得られる。
人物の表情Ａ画像と表情Ｂ画像から得られるテクスチャ
の、対応する各画素における輝度値（ＲＧＢ値）の差分
を取ることによって得られる。
【００５０】ところで、表情間の差分テクスチャを得る
には、それぞれのテクスチャの画素同士の対応が取れて
いなければならない。
には、それぞれのテクスチャの画素同士の対応が取れて
いなければならない。
【００５１】しかしながら、顔の形状は個人によって異
なり、また、同一人物の画像であっても、表情Ａと表情
Ｂでは形状が異なるため、テクスチャの画素同士の対応
が取れていない。
なり、また、同一人物の画像であっても、表情Ａと表情
Ｂでは形状が異なるため、テクスチャの画素同士の対応
が取れていない。
【００５２】そこで、正面から撮影された多数の人物の
表情Ａと表情Ｂの画像のペアが格納されており、かつ、
両目尻の中点が画像の中心に位置するようにし、両目尻
を結んだ直線が水平になるように回転させて、顔の位置
と方向に関して正規化を行なった「画像サンプルデータ
ベース」を用いて、以下のような処理を行なう。
表情Ａと表情Ｂの画像のペアが格納されており、かつ、
両目尻の中点が画像の中心に位置するようにし、両目尻
を結んだ直線が水平になるように回転させて、顔の位置
と方向に関して正規化を行なった「画像サンプルデータ
ベース」を用いて、以下のような処理を行なう。
【００５３】すなわち、画素の対応を取るために、画像
サンプルデータベース内の表情Ａの平均形状を「基準形
状」とする。それから、表情Ａテクスチャと表情Ｂテク
スチャを基準形状の各三角形パッチごとにマッピングす
る。これにより、画素同士の対応の取れたテクスチャが
得られる。このようにして、画素同士の対応の取れたテ
クスチャの差分をとることで、以下の式（２）で表され
る表情間の差分テクスチャδＴを得る。
サンプルデータベース内の表情Ａの平均形状を「基準形
状」とする。それから、表情Ａテクスチャと表情Ｂテク
スチャを基準形状の各三角形パッチごとにマッピングす
る。これにより、画素同士の対応の取れたテクスチャが
得られる。このようにして、画素同士の対応の取れたテ
クスチャの差分をとることで、以下の式（２）で表され
る表情間の差分テクスチャδＴを得る。
【００５４】
【数２】
【００５５】なお、表情形状におけるテクスチャの変化
は顔内部のみで生じるものとし、頭髪や背景のテクスチ
ャは変化しないものとする。
は顔内部のみで生じるものとし、頭髪や背景のテクスチ
ャは変化しないものとする。
【００５６】図６は、動作パターン設定部１１２０にお
いて、眉、目、鼻、口、輪郭の５つの顔パーツの動作パ
ターン関数の設定を行なうための設定画面の一例を示す
図である。
いて、眉、目、鼻、口、輪郭の５つの顔パーツの動作パ
ターン関数の設定を行なうための設定画面の一例を示す
図である。
【００５７】図６に示す動作パターン設定ダイアログを
用いて、各パーツごとの動作パターンの設定を行なう。
パターンの設定は、図６に示すように、予め用意された
パターン１〜５、たとえば、線形、三乗根、三乗などの
パターンの他にエルミート曲線を用いて任意のパターン
を編集し設定することもできる。
用いて、各パーツごとの動作パターンの設定を行なう。
パターンの設定は、図６に示すように、予め用意された
パターン１〜５、たとえば、線形、三乗根、三乗などの
パターンの他にエルミート曲線を用いて任意のパターン
を編集し設定することもできる。
【００５８】曲線の指定は、利用者が２つのコントロー
ルポイントＰＡおよびＰＢを操作することで得られる。
システムは利用者によって指定された動作パターンに基
づいて、時刻ｔにおける表情画像を生成し、それらを連
続表示することで、表情アニメーションを作成する。
ルポイントＰＡおよびＰＢを操作することで得られる。
システムは利用者によって指定された動作パターンに基
づいて、時刻ｔにおける表情画像を生成し、それらを連
続表示することで、表情アニメーションを作成する。
【００５９】以上のようにして、各パーツごとの動作パ
ターンの設定が行なわれた上で、図１に示した時系列表
情画像合成処理部１１３０において、形状データと時刻
ｔにおける表情差分形状データとを用いて、時系列の表
情形状データの生成を行ない、テクスチャデータと時刻
ｔにおける表情差分テクスチャを用いて、時系列の表情
テクスチャを求める。
ターンの設定が行なわれた上で、図１に示した時系列表
情画像合成処理部１１３０において、形状データと時刻
ｔにおける表情差分形状データとを用いて、時系列の表
情形状データの生成を行ない、テクスチャデータと時刻
ｔにおける表情差分テクスチャを用いて、時系列の表情
テクスチャを求める。
【００６０】時刻ｔにおける表情形状は、次のように生
成される。パーツＫに設定された動作パターンをｆ
K（ｔ）（０＜ｆK（ｔ）＜１）とすると、パーツＫの時
刻ｔにおける各特徴点座標および時刻ｔにおけるテクス
チャは、以下の式（３）および（４）によりそれぞれ表
わされる。
成される。パーツＫに設定された動作パターンをｆ
K（ｔ）（０＜ｆK（ｔ）＜１）とすると、パーツＫの時
刻ｔにおける各特徴点座標および時刻ｔにおけるテクス
チャは、以下の式（３）および（４）によりそれぞれ表
わされる。
【００６１】
【数３】
【００６２】ここで、式（４）における係数ω（ｔ）は
以下のようにして求められる。図７は、表情テクスチャ
の生成に用いられる三角形パッチＰ1Ｐ2Ｐ3を示す概念
図である。
以下のようにして求められる。図７は、表情テクスチャ
の生成に用いられる三角形パッチＰ1Ｐ2Ｐ3を示す概念
図である。
【００６３】時系列の表情テクスチャの生成は以下のよ
うに行なう。特徴点Ｐ1，Ｐ2，Ｐ3がそれぞれ、パーツ
Ｋ，Ｌ，Ｍに属しているものとし、各点の動作パターン
をそれぞれｆK（ｔ）、ｆL（ｔ）、ｆM（ｔ）で表わす
とする。
うに行なう。特徴点Ｐ1，Ｐ2，Ｐ3がそれぞれ、パーツ
Ｋ，Ｌ，Ｍに属しているものとし、各点の動作パターン
をそれぞれｆK（ｔ）、ｆL（ｔ）、ｆM（ｔ）で表わす
とする。
【００６４】三角形パッチＰ1Ｐ2Ｐ3内の任意の点Ｐま
での各点からの距離をｒ1、ｒ2、ｒ3とすると、点Ｐに
おける係数ω（ｔ）は、以下の式（５）により表わされ
る。
での各点からの距離をｒ1、ｒ2、ｒ3とすると、点Ｐに
おける係数ω（ｔ）は、以下の式（５）により表わされ
る。
【００６５】
【数４】
【００６６】時刻ｔにおける表情形状に、時刻ｔにおけ
る表情テクスチャをマッピングすることで、時刻ｔにお
ける表情画像を合成する。
る表情テクスチャをマッピングすることで、時刻ｔにお
ける表情画像を合成する。
【００６７】表情アニメーション再生部４０において、
時系列表情画像合成処理部３０で得られた時系列画像を
連続提示することで、アニメーションが再生される。
時系列表情画像合成処理部３０で得られた時系列画像を
連続提示することで、アニメーションが再生される。
【００６８】すなわち、本発明に係る表情アニメーショ
ン生成装置１００おいては、線形モーフィングばかりで
なく、動作パターンの任意指定を可能とするため機能お
よび各パーツごとの動作パターンの任意指定を可能とす
る機能を備えている。
ン生成装置１００おいては、線形モーフィングばかりで
なく、動作パターンの任意指定を可能とするため機能お
よび各パーツごとの動作パターンの任意指定を可能とす
る機能を備えている。
【００６９】したがって、任意の２枚の表情顔サンプル
から、表情遷移変化に伴う形状およびテクスチャの差分
を求め、それぞれ、差分形状データと差分テクスチャを
獲得する。その上で、各パーツごとに設定された動作パ
ターンに基づいて、時間ｔの動作パターン関数を生成
し、その値を重みとして、入力画像形状データに差分形
状データを加えることにより、時刻ｔにおける表情形状
データを生成する。また、テクスチャにおいても同様
に、動作パターンに基づいて、時間ｔの動作パターン関
数を生成し、その値を重みとして、入力画像テクスチャ
に差分テクスチャを加えることで、時刻ｔにおける表情
テクスチャを生成する。
から、表情遷移変化に伴う形状およびテクスチャの差分
を求め、それぞれ、差分形状データと差分テクスチャを
獲得する。その上で、各パーツごとに設定された動作パ
ターンに基づいて、時間ｔの動作パターン関数を生成
し、その値を重みとして、入力画像形状データに差分形
状データを加えることにより、時刻ｔにおける表情形状
データを生成する。また、テクスチャにおいても同様
に、動作パターンに基づいて、時間ｔの動作パターン関
数を生成し、その値を重みとして、入力画像テクスチャ
に差分テクスチャを加えることで、時刻ｔにおける表情
テクスチャを生成する。
【００７０】このとき、特徴点以外の画素における重み
は、その画素が含まれる三角形パッチの頂点の関数値に
基づき、頂点から画素間での距離の二乗に反比例する重
み付き平均により導出する。得られた差分形状に差分テ
クスチャをマッピングすることで、時刻ｔにおける画像
を生成し、それらを連続表示することで、表情アニメー
ションを生成することが可能となる。
は、その画素が含まれる三角形パッチの頂点の関数値に
基づき、頂点から画素間での距離の二乗に反比例する重
み付き平均により導出する。得られた差分形状に差分テ
クスチャをマッピングすることで、時刻ｔにおける画像
を生成し、それらを連続表示することで、表情アニメー
ションを生成することが可能となる。
【００７１】なお、以上の説明では、本発明について、
任意の対象人物についての表情Ａ画像と表情Ｂ画像とが
与えられたとき、表情Ａから表情Ｂまで連続的に変化す
る表情アニメーションを生成する構成として説明した。
しかしながら、本発明はこのような場合に限定されるこ
となく、任意の対象人物についての表情Ａ画像が与えら
れたとき、表情Ａから表情Ｂまで連続的に変化する表情
アニメーションを生成する構成とすることもできる。こ
のときは、差分形状δＳや差分テクスチャδＴとして
は、上述したような「画像サンプルデータベース」から
得られる平均差分形状や平均差分テクスチャを利用して
生成することが可能である。
任意の対象人物についての表情Ａ画像と表情Ｂ画像とが
与えられたとき、表情Ａから表情Ｂまで連続的に変化す
る表情アニメーションを生成する構成として説明した。
しかしながら、本発明はこのような場合に限定されるこ
となく、任意の対象人物についての表情Ａ画像が与えら
れたとき、表情Ａから表情Ｂまで連続的に変化する表情
アニメーションを生成する構成とすることもできる。こ
のときは、差分形状δＳや差分テクスチャδＴとして
は、上述したような「画像サンプルデータベース」から
得られる平均差分形状や平均差分テクスチャを利用して
生成することが可能である。
【００７２】今回開示された実施の形態はすべての点で
例示であって制限的なものではないと考えられるべきで
ある。本発明の範囲は上記した説明ではなくて特許請求
の範囲によって示され、特許請求の範囲と均等の意味お
よび範囲内でのすべての変更が含まれることが意図され
る。
例示であって制限的なものではないと考えられるべきで
ある。本発明の範囲は上記した説明ではなくて特許請求
の範囲によって示され、特許請求の範囲と均等の意味お
よび範囲内でのすべての変更が含まれることが意図され
る。
【００７３】
【発明の効果】以上説明したとおり、本発明に従えば、
２つの表情の画像が与えられれば、各パーツごとに動作
関数を与えることで、同じ表情カテゴリであっても、微
妙に印象の異なる表情の生成が可能となり、仮想俳優
や、感性擬人化エージェントなどに適用することが可能
となる。
２つの表情の画像が与えられれば、各パーツごとに動作
関数を与えることで、同じ表情カテゴリであっても、微
妙に印象の異なる表情の生成が可能となり、仮想俳優
や、感性擬人化エージェントなどに適用することが可能
となる。
【００７４】さらに、動作パターンの違いによる印象の
変化など、動画を用いた表情認知の研究といった、心理
学分野の実験刺激としても用いることができる。
変化など、動画を用いた表情認知の研究といった、心理
学分野の実験刺激としても用いることができる。
【００７５】さらに、専用ソフトを用いる場合のよう
な、専門的な知識や経験がなくても、誰もが簡単に多様
な表情アニメーションの生成を行なうことが可能とな
る。
な、専門的な知識や経験がなくても、誰もが簡単に多様
な表情アニメーションの生成を行なうことが可能とな
る。
【図１】 本発明に係る表情アニメーション生成装置１
００の構成を説明するための概略ブロック図である。
００の構成を説明するための概略ブロック図である。
【図２】 図１に示したデータ処理部１１０の行なう処
理の流れを模式的に示す概念図である。
理の流れを模式的に示す概念図である。
【図３】 入力画像として与えられる同一人物で表情の
みが異なる２枚の画像のうち、無表情（中立表情）の画
像を示す図である。
みが異なる２枚の画像のうち、無表情（中立表情）の画
像を示す図である。
【図４】 入力画像として与えられる同一人物で表情の
みが異なる２枚の画像のうち、笑顔の画像を示す図であ
る。
みが異なる２枚の画像のうち、笑顔の画像を示す図であ
る。
【図５】 顔サンプルの特徴点の抽出を汎用グラフィッ
クスワークステーションの対話処理機能を利用して行な
った結果を示す図である。
クスワークステーションの対話処理機能を利用して行な
った結果を示す図である。
【図６】 眉、目、鼻、口、輪郭の５つの顔パーツの動
作パターン関数の設定を行なうための設定画面の一例を
示す図である。
作パターン関数の設定を行なうための設定画面の一例を
示す図である。
【図７】 表情テクスチャの生成に用いられる三角形パ
ッチＰ1Ｐ2Ｐ3を示す概念図である。
ッチＰ1Ｐ2Ｐ3を示す概念図である。
２ ユーザ、１００ 表情アニメーション生成装置、１
０４ カメラ、１１０データ処理部、１２０ データ入
力装置、１３０ 表示装置、１１０２ データ入出力
部、１１１０ 表情差分データ抽出部、１１２０ 動作
パターン設定部、１１３０ 時系列表情画像合成処理
部、１１４０ 表情アニメーション再生部、１１５０
形状データ格納部、１１５２ テクスチャデータ格納
部、１１６０時系列表情形状データ格納部、１１６２
時系列表情テクスチャデータ格納部、１１７０ 時系列
表情画像格納部。
０４ カメラ、１１０データ処理部、１２０ データ入
力装置、１３０ 表示装置、１１０２ データ入出力
部、１１１０ 表情差分データ抽出部、１１２０ 動作
パターン設定部、１１３０ 時系列表情画像合成処理
部、１１４０ 表情アニメーション再生部、１１５０
形状データ格納部、１１５２ テクスチャデータ格納
部、１１６０時系列表情形状データ格納部、１１６２
時系列表情テクスチャデータ格納部、１１７０ 時系列
表情画像格納部。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 尾田 政臣 京都府相楽郡精華町光台二丁目２番地２ 株式会社エイ・ティ・アール人間情報通信 研究所内 Ｆターム(参考） 5B050 BA07 BA08 BA09 BA12 DA01 EA04 EA06 EA24 EA28 FA02 GA01 5B057 AA20 BA11 CA12 CB13 CH01 CH08 CH11 DA20 DB02 DC09 DC30 DC32
Claims (8)
- 【請求項１】 対象人物の表情顔サンプルから特徴点を
抽出し、前記特徴点に基づいて前記表情顔サンプルを複
数のパーツに分割し、各パーツごとに指定された２つの
異なる表情間の表情遷移変化に伴う形状およびテクスチ
ャの差分を求め、差分形状データと差分テクスチャを獲
得する表情差分データ抽出手段と、 各前記パーツごとの時間変化を規定するための動作パタ
ーン関数を指定する動作パターン設定手段と、 前記動作パターン関数と前記差分形状データとに基づい
て算出された任意時刻における中間差分形状データと、
前記動作パターン関数と前記差分テクスチャとに基づい
て算出された前記任意時刻における中間差分テキスチャ
とを所定の時間間隔で生成し、前記所定の時間間隔ごと
の時系列表情形状データおよび時系列表情テクスチャを
生成する時系列表情画像合成手段と、 前記時系列表情形状データに基づく形状に前記時系列表
情テクスチャをマッピングすることで生成された前記所
定の時間間隔ごとに時系列表情画像を連続表示すること
によって、表情アニメーションを生成する表情アニメー
ション再生手段とを備える、表情アニメーション生成装
置。 - 【請求項２】 前記対象人物の表情顔サンプルは、前記
対象人物の異なる２つの表情の顔サンプルを含む、請求
項１記載の表情アニメーション生成装置。 - 【請求項３】 前記動作パターン設定手段は、ユーザと
の間の対話型インターフェースを含む、請求項１記載の
表情アニメーション生成装置。 - 【請求項４】 前記時系列表情画像合成手段は、前記中
間差分テキスチャの算出において、前記特徴点以外の画
素における重みは、当該画素が含まれる三角形パッチの
頂点の前記動作パターン関数値に基づき、前記頂点から
当該画素までの距離の二乗に反比例する重み付き平均に
より導出する、請求項１、２または３記載の表情アニメ
ーション生成装置。 - 【請求項５】 対象人物の表情顔サンプルから特徴点を
抽出し、前記特徴点に基づいて前記表情顔サンプルを複
数のパーツに分割し、各パーツごとに指定された２つの
異なる表情間の表情遷移変化に伴う形状およびテクスチ
ャの差分を求め、差分形状データと差分テクスチャを獲
得するステップと、 各前記パーツごとの時間変化を規定するための動作パタ
ーン関数を指定するステップと、 前記動作パターン関数と前記差分形状データとに基づい
て算出された任意時刻における中間差分形状データと、
前記動作パターン関数と前記差分テクスチャとに基づい
て算出された前記任意時刻における中間差分テキスチャ
とを所定の時間間隔で生成し、前記所定の時間間隔ごと
の時系列表情形状データおよび時系列表情テクスチャを
生成するステップと、 前記時系列表情形状データに基づく形状に前記時系列表
情テクスチャをマッピングすることで生成された前記所
定の時間間隔ごとに時系列表情画像を連続表示すること
によって、表情アニメーションを生成するステップとを
備える、表情アニメーション生成方法。 - 【請求項６】 前記対象人物の表情顔サンプルは、前記
対象人物の異なる２つの表情の顔サンプルを含む、請求
項５記載の表情アニメーション生成方法。 - 【請求項７】 前記動作パターン関数を指定するステッ
プは、ユーザとの間の対話型インターフェースにより前
記動作パターン関数を編集するステップを含む、請求項
５記載の表情アニメーション生成方法。 - 【請求項８】 前記時系列表情形状データおよび時系列
表情テクスチャを生成するステップは、前記中間差分テ
キスチャの算出において、前記特徴点以外の画素におけ
る重みは、当該画素が含まれる三角形パッチの頂点の前
記動作パターン関数値に基づき、前記頂点から当該画素
までの距離の二乗に反比例する重み付き平均により導出
するステップを含む、請求項５、６または７記載の表情
アニメーション生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001104665A JP3753625B2 (ja) | 2001-04-03 | 2001-04-03 | 表情アニメーション生成装置および表情アニメーション生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001104665A JP3753625B2 (ja) | 2001-04-03 | 2001-04-03 | 表情アニメーション生成装置および表情アニメーション生成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002304638A true JP2002304638A (ja) | 2002-10-18 |
| JP3753625B2 JP3753625B2 (ja) | 2006-03-08 |
Family
ID=18957490
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001104665A Expired - Fee Related JP3753625B2 (ja) | 2001-04-03 | 2001-04-03 | 表情アニメーション生成装置および表情アニメーション生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3753625B2 (ja) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005024728A1 (ja) * | 2003-09-03 | 2005-03-17 | Nec Corporation | 形態変形装置、物体動作符号化装置および物体動作復号化装置 |
| JP2007272355A (ja) * | 2006-03-30 | 2007-10-18 | Namco Bandai Games Inc | プログラム、情報記憶媒体及び画像生成システム |
| US7924277B2 (en) | 2005-04-04 | 2011-04-12 | Toyota Jidosha Kabushiki Kaisha | Three-dimensional model deformation system, method and computer readable program, and computer readable storage medium storing that program |
| JP2011118825A (ja) * | 2009-12-07 | 2011-06-16 | Yamazaki Co Ltd | モノクロ動画の着色装置及びモノクロ動画の着色方法 |
| JP2013210691A (ja) * | 2012-03-30 | 2013-10-10 | Casio Comput Co Ltd | 動き情報生成方法、動き情報生成装置及びプログラム |
| JP2015136377A (ja) * | 2014-01-20 | 2015-07-30 | 株式会社ニコン | 画像処理装置 |
| CN111080754A (zh) * | 2019-12-12 | 2020-04-28 | 广东智媒云图科技股份有限公司 | 一种头部肢体特征点连线的人物动画制作方法及装置 |
| CN111768481A (zh) * | 2020-05-19 | 2020-10-13 | 北京奇艺世纪科技有限公司 | 一种表情包生成方法及装置 |
| CN111783658A (zh) * | 2020-07-01 | 2020-10-16 | 河北工业大学 | 基于双生成对抗网络的两阶段表情动画生成方法 |
| CN111899321A (zh) * | 2020-08-26 | 2020-11-06 | 网易（杭州）网络有限公司 | 一种虚拟角色表情展现的方法和装置 |
| JP2021068404A (ja) * | 2019-10-17 | 2021-04-30 | 未來市股▲ふん▼有限公司 | アバターの顔の表情生成システムおよびアバターの顔の表情生成方法 |
| US11087520B2 (en) | 2018-09-19 | 2021-08-10 | XRSpace CO., LTD. | Avatar facial expression generating system and method of avatar facial expression generation for facial model |
| US11127181B2 (en) | 2018-09-19 | 2021-09-21 | XRSpace CO., LTD. | Avatar facial expression generating system and method of avatar facial expression generation |
| CN117974853A (zh) * | 2024-03-29 | 2024-05-03 | 成都工业学院 | 同源微表情图像自适应切换生成方法、系统、终端及介质 |
-
2001
- 2001-04-03 JP JP2001104665A patent/JP3753625B2/ja not_active Expired - Fee Related
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100891885B1 (ko) * | 2003-09-03 | 2009-04-03 | 닛본 덴끼 가부시끼가이샤 | 형태 변형 장치, 물체 동작 부호화 장치 및 물체 동작복호화 장치 |
| US7668401B2 (en) | 2003-09-03 | 2010-02-23 | Nec Corporation | Form changing device, object action encoding device, and object action decoding device |
| WO2005024728A1 (ja) * | 2003-09-03 | 2005-03-17 | Nec Corporation | 形態変形装置、物体動作符号化装置および物体動作復号化装置 |
| US7924277B2 (en) | 2005-04-04 | 2011-04-12 | Toyota Jidosha Kabushiki Kaisha | Three-dimensional model deformation system, method and computer readable program, and computer readable storage medium storing that program |
| JP2007272355A (ja) * | 2006-03-30 | 2007-10-18 | Namco Bandai Games Inc | プログラム、情報記憶媒体及び画像生成システム |
| JP2011118825A (ja) * | 2009-12-07 | 2011-06-16 | Yamazaki Co Ltd | モノクロ動画の着色装置及びモノクロ動画の着色方法 |
| JP2013210691A (ja) * | 2012-03-30 | 2013-10-10 | Casio Comput Co Ltd | 動き情報生成方法、動き情報生成装置及びプログラム |
| JP2015136377A (ja) * | 2014-01-20 | 2015-07-30 | 株式会社ニコン | 画像処理装置 |
| US11127181B2 (en) | 2018-09-19 | 2021-09-21 | XRSpace CO., LTD. | Avatar facial expression generating system and method of avatar facial expression generation |
| US11087520B2 (en) | 2018-09-19 | 2021-08-10 | XRSpace CO., LTD. | Avatar facial expression generating system and method of avatar facial expression generation for facial model |
| JP2021068404A (ja) * | 2019-10-17 | 2021-04-30 | 未來市股▲ふん▼有限公司 | アバターの顔の表情生成システムおよびアバターの顔の表情生成方法 |
| CN111080754B (zh) * | 2019-12-12 | 2023-08-11 | 广东智媒云图科技股份有限公司 | 一种头部肢体特征点连线的人物动画制作方法及装置 |
| CN111080754A (zh) * | 2019-12-12 | 2020-04-28 | 广东智媒云图科技股份有限公司 | 一种头部肢体特征点连线的人物动画制作方法及装置 |
| CN111768481A (zh) * | 2020-05-19 | 2020-10-13 | 北京奇艺世纪科技有限公司 | 一种表情包生成方法及装置 |
| CN111783658A (zh) * | 2020-07-01 | 2020-10-16 | 河北工业大学 | 基于双生成对抗网络的两阶段表情动画生成方法 |
| CN111783658B (zh) * | 2020-07-01 | 2023-08-25 | 河北工业大学 | 基于双生成对抗网络的两阶段表情动画生成方法 |
| CN111899321A (zh) * | 2020-08-26 | 2020-11-06 | 网易（杭州）网络有限公司 | 一种虚拟角色表情展现的方法和装置 |
| CN111899321B (zh) * | 2020-08-26 | 2023-09-26 | 网易（杭州）网络有限公司 | 一种虚拟角色表情展现的方法和装置 |
| CN117974853A (zh) * | 2024-03-29 | 2024-05-03 | 成都工业学院 | 同源微表情图像自适应切换生成方法、系统、终端及介质 |
| CN117974853B (zh) * | 2024-03-29 | 2024-06-11 | 成都工业学院 | 同源微表情图像自适应切换生成方法、系统、终端及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3753625B2 (ja) | 2006-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sifakis et al. | Simulating speech with a physics-based facial muscle model | |
| Liao et al. | Automatic caricature generation by analyzing facial features | |
| Pighin et al. | Synthesizing realistic facial expressions from photographs | |
| Pighin et al. | Modeling and animating realistic faces from images | |
| KR100720309B1 (ko) | 자동 3차원 모델링 시스템 및 방법 | |
| US6919892B1 (en) | Photo realistic talking head creation system and method | |
| JP3779570B2 (ja) | 化粧シミュレーション装置、化粧シミュレーション制御方法、化粧シミュレーションプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| EP3992919B1 (en) | Three-dimensional facial model generation method and apparatus, device, and medium | |
| CN108564641B (zh) | 基于ue引擎的表情捕捉方法及装置 | |
| JP3753625B2 (ja) | 表情アニメーション生成装置および表情アニメーション生成方法 | |
| WO2001099048A2 (en) | Non-linear morphing of faces and their dynamics | |
| US20120139899A1 (en) | Semantic Rigging of Avatars | |
| JP2001109913A (ja) | 画像処理装置および画像処理方法ならびに画像処理プログラムを記録した記録媒体 | |
| US11282257B2 (en) | Pose selection and animation of characters using video data and training techniques | |
| JP2011159329A (ja) | 自動３ｄモデリングシステム及び方法 | |
| Patel et al. | 3D facial model construction and expressions synthesis using a single frontal face image | |
| JPH10240908A (ja) | 映像合成方法 | |
| Ekmen et al. | From 2D to 3D real-time expression transfer for facial animation | |
| KR20010084996A (ko) | 단일 이미지를 이용한 3차원 아바타 제작 방법 및 이를이용한 자판기 | |
| US20210158565A1 (en) | Pose selection and animation of characters using video data and training techniques | |
| KR101780496B1 (ko) | 컴퓨터그래픽 툴에 의한 캐릭터 모델링 기반 3d 디지털액터 영상 구현방법 | |
| JP2002083286A (ja) | アバタ生成方法、装置及びそのプログラムを記録した記録媒体 | |
| Yang et al. | An interactive facial expression generation system | |
| JPH11175765A (ja) | ３次元モデル作成方法、３次元モデル作成装置及び記憶媒体 | |
| JP2843262B2 (ja) | 表情再現装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050830 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051031 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051129 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051213 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081222 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091222 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101222 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101222 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111222 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121222 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |