JP2005038160A - 画像生成装置およびその画像生成方法、ならびにコンピュータ読み取り可能な記録媒体 - Google Patents

Abstract

【課題】エンタテイメント性を高め、ユーザの満足度を十分維持してコミュニケーションを図ることのできる画像生成装置およびその画像生成方法ならびにその画像生成プログラムを記録したコンピュータ読取り可能な記録媒体を提供。
【解決手段】アニメーション合成装置10は、利用者の顔表情を含む画像データや利用者の音声をサンプリングし、キー情報を情報入力部12を介して入力し、これら入力データを基にパラメータ解析部14で解析し、解析結果およびキー情報をパターン解析部16に供給し、利用者の行動パターンを検出し、検出された結果に応じてパターン生成部18を制御して、入力データ毎にたとえば、強調表示等のパラメータを生成し、パラメータ選択部20で供給されるパラメータの優先度に応じて統合したパラメータを表情合成部22に出力し、表情合成部22にて指定された２次元や３次元のモデル画像が表情を有する動画出力する。
【選択図】図１

Description

本発明は、画像生成装置に関するものであり、とくにビデオカメラなどの画像入力装置で撮影された人物の顔画像やサンプリングした音声に基づいて３次元画像のアニメーションを生成する３次元画像生成装置等に適用して好適なものである。また、本発明は、画像生成方法に関するものであり、たとえば入力する情報に応じて３次元画像を生成し、生成した３次元画像を動画として提供する画像生成方法等に関するものである。さらに、本発明は、この画像生成の機能を実現させる画像生成プログラムを記録したコンピュータ読み取り可能な記録媒体に関するものである。

ビデオカメラで撮影された人物の顔画像の表情を他の人物の３次元顔モデルに反映させた３次元顔画像を作成する３次元画像生成装置が、特許第3055666号公報に提案されている。この３次元画像生成装置は、入力した顔画像から顔要素の変化量を表情を認識するための情報として抽出し（表情認識手段）、抽出した変化量を表情に反映させるようにあらかじめ得られた顔要素の変化率に基づいて３次元顔モデルの変形パラメータに変換し（表情変換手段）、この変形パラメータに応じた３次元顔モデルの画像を生成している。

しかしながら、上述した３次元画像生成装置は、たとえば暗闇での撮影などのように、環境変化により取り込んだ顔画像から表情を抽出することができず、これにより３次元顔モデルの画像が生成できない場合がある。そこで、環境変化に影響され難い３次元画像生成装置が、特願2002-077780号に提案されている。この３次元画像生成装置は、画像から顔表情を抽出して認識するだけでなく、話者の音声を取り込む。この３次元画像生成装置は、さらにこの取り込んだ音声信号から通話時における話者の口の形状を認識し、この認識を３次元顔モデルに顔の表情として反映させる統合処理を行っている。これにより、３次元画像生成装置は、たとえば暗闇の中で使用されても、音声により３次元顔モデルの口を動作させることが可能となる。

特許第3055666号公報 特願2002-077780号

ところで、上述した３次元画像生成装置のそれぞれは、通信に適用した場合、入力される話者の顔情報や話者の周囲環境情報を秘匿しながら、通信中に通信相手の表情の変化を知ることから、良好なコミュニケーションが図れるように用いられる。このため、これら３次元画像生成装置は、話者の顔表情を３次元顔モデルに忠実に再現している。この忠実な再現は、これらの３次元画像生成装置を、たとえば友人同士とのコミュニケーションツールとして使用した場合、これら３次元画像生成装置は、コミュニケーションにおける「遊び心や楽しさといったエンタテイメント性」に乏しく、この機能がすぐユーザに飽きられてしまうと考えられる。

本発明はこのような従来技術の欠点を解消し、エンタテイメント性を高め、ユーザの満足度を十分維持してコミュニケーションを図ることのできる画像生成装置およびその画像生成方法ならびにその画像生成プログラムを記録したコンピュータ読取り可能な記録媒体を提供することを目的とする。

本発明は上述の課題を解決するために、複数の入力データをとり込む情報入力手段と、この複数の入力データのそれぞれから顔の各特徴点に対するパラメータを解析する解析手段と、この解析したパラメータで表す顔の動き情報と情報入力手段からの入力情報の少なくとも一つが示すパターンとあらかじめ格納されているパラメータにおけるパターンとのパターン解析を行い、このパターン解析結果のそれぞれに応じた制御信号を生成するパターン解析手段と、この生成された制御信号のそれぞれに応じたパラメータを含む解析データおよび動作を表す動作パラメータを生成するパラメータ生成手段と、この解析データおよび動作パラメータに対して優先度に応じて調整を試みながら、統合したパラメータを選択する統合選択手段と、この統合したパラメータを基にあらかじめ決めたモデル画像に表情を反映させた画像データを生成する表情生成手段とを含むことを特徴とする。

本発明の画像生成装置は、利用者の顔表情を含む画像データや利用者の音声をサンプリングし、キー情報を入力し、供給されるこれら入力データを基に解析手段で解析し、解析結果およびキー情報をパターン解析手段に供給して、利用者の行動パターンを検出し、検出された結果に応じてパターン生成手段を制御して、各入力データ毎にたとえば、強調表示等のパラメータを生成し、統合選択手段で供給されるパラメータの優先度に応じて統合したパラメータを表情生成手段に出力し、表情生成手段にてたとえば、利用者により指定された２次元や３次元のモデル画像に表情を持たせて動画出力することにより、視覚的効果の高いコミュニケーションを実現する。

また、画像生成装置は、パターン解析手段で解析した利用者の行動パターンに応じて生成される画像データ（３次元アニメーション）に対してあらかじめ用意した背景画像データ、オブジェクト画像データ、文字列のデータ、モデル画像データおよび効果音データのうち、一つのデータを追加することにより、より一層視覚的効果の高い画像データを生成することが可能となる。

さらに、パターンが利用者により独自に追加登録できることで、行動パターンに個性を与えることが可能になる。また、登録後のID照合も顔画像を利用することにより、利用者の操作性を向上させることができる。

また、本発明は上述した課題を解決するために、供給される複数の情報を入力し、この入力した情報のうち、画像および音声データのそれぞれを基に顔の各特徴点に対するパラメータをこのパラメータの確かさを表す確信度を含めて解析し、この解析結果に応じてあらかじめ指定したモデル画像の各特徴点を動かしてモデル画像に表情を持たせて動画出力する画像生成方法において、この方法は、画像および音声の解析結果に対してあらかじめ格納しているパターンを読み出して比較する第１の工程と、この読み出したパターンと解析結果のパターンとの一致した場合、該当するパターンに対応して照合カウントを歩進させる第２の工程と、この照合カウントがあらかじめ設定したパターンに対する閾値よりも大きいか否かを比較判定する第３の工程と、この比較判定の結果が真の場合、該当する番号を含む第１および第２の制御信号の少なくとも一方を発行する第４の工程と、この入力した情報がキーデータの場合、キーデータの入力に応じてキーの認識を行い、該当するキーカウントを歩進させる第５の工程と、このキーカウントがあらかじめ設定したキーに対するパターン閾値よりも大きいか否かを比較判定する第６の工程と、この比較判定の結果が真の場合、 所定の期間にわたって同じ動作を強調しながら、繰り返す定型動作パラメータの第３の制御信号を発行する第７の工程と、比較判定の結果が偽の場合、通常の動作パラメータの第３の制御信号を発行する第８の工程と、第４の工程または第８の工程における出力後に該当するカウントをクリアする第９の工程とを含み、あらかじめ設定したパターンの有無に応じた第１ないし第３の制御信号を出力することを特徴とする。

本発明の画像生成方法は、画像データ、音声データおよびキーデータを用いて、解析し、この結果がパターンに一致するか否かを判断し、一致した場合、カウント値を歩進し、さらに歩進したカウント値が設定されているパターン閾値より大きいか否かに応じて第１ないし第３の制御信号の発行を調整して出力することにより、これらに応じて画像および音声における通常のパラメータおよび強調処理したパラメータならびに入力キーによる定型動作パラメータおよび通常のパラメータというように多岐にわたるパラメータを生成することができる。これらのパラメータのうち、統合的に選択したパラメータによりモデル画像の動画データを生成することにより、生成する画像データをより一層視覚的効果の高いものにすることができる。

次に添付図面を参照して本発明による画像生成装置の実施例を詳細に説明する。図１に示す本実施例は、本発明の画像生成装置をアニメーション合成装置10に適用した場合である。本発明と直接関係のない部分について図示および説明を省略する。以下の説明で、信号はその現れる接続線の参照番号で指示する。

アニメーション合成装置10は、情報入力部12、パラメータ解析部14、パターン解析部16、パラメータ生成部18、パラメータ選択部20、表情合成部22および音声出力部24を含む。さらに各部について説明する。情報入力部12は、複数の入力インタフェースを有し、たとえば外部に設けたセンサや装置等のそれぞれから供給される信号をチャネルとして入力する機能を有している。本実施例では、画像、音声およびキー情報を扱うが、これらの情報のうち、少なくとも１つの入力に対応できれば、本発明の効果をもたらすことができる。

情報入力部12は、図１に示すように、画像入力部26、音声入力部28およびキー入力部30を含む。画像入力部26は、図示しないビデオカメラから供給される画像信号32を１フレーム単位にキャプチャするインタフェース回路を含む。画像信号32には顔画像が含まれている。画像信号32はディジタル信号である。画像信号32がアナログ信号の場合、画像信号32は図示しない画像入力部26に配設された画像アナログ入力端子に供給される。画像入力部26は、供給されるアナログの画像信号を内蔵するA/D変換器でディジタル信号に変換する。画像入力部26は、入力信号に波形整形処理を施してディジタル画像信号または画像データ34を画像解析部36に出力する。

音声入力部28は、図示しないマイクロフォンから採り込んだ音声信号38をキャプチャするインタフェース回路を含む。音声信号38は、たとえば会話における発話にともなって得られる音声を採り込んだ信号で、ディジタル化された信号である。音声信号38がアナログ信号の場合、音声信号38は、画像信号32の場合と同様に図示しない音声アナログ入力端子を介して音声入力部28に入力する。音声入力部28は、内部にてアナログ音声信号をA/D変換器でディジタル化する。音声入力部28は、波形整形処理されたディジタル音声信号または音声データ40を音声解析部42に出力する。

キー入力部30は、図示しないキーボードに対する押圧操作にともない供給されるキー入力信号（キー情報）44を取り込むインタフェース回路を含む。キーボードの各キーボタンには、キーアドレスが割り当てられている。キーボードは、押圧操作されたキーに対応するキーアドレスをキー入力信号44として発行する。キー入力部30は、供給されるキー入力信号44を特定できるように構成されている。キー入力部30は、特定したキーの種別に対応したイベント信号46としてパターン解析部16に出力する。

なお、キー入力部30は、キーボードからのキーアドレスに限定されるものでなく、たとえば匂いセンサや温度センサ等の情報を基にキーアドレスに相当する情報発行できる入力インタフェースであればよい。

パラメータ解析部14は、画像解析部36および音声解析部42を含む。画像解析部36は、図示しないが、供給される画像データ34に含まれる顔画像の解析、顔要素の変化量測定、この変化量に応じた３次元画像データを変形させる動作パラメータの生成および変化量にともなう画像解析確信度の算出を行う機能を有し、供給される対象画像に含まれる顔の表情特徴抽出を行っている。画像解析確信度とは、生成する動作パラメータの信頼性を表す指標であり、画像解析確信度はたとえば、あらかじめ測定する顔の要素（部位）を設定し、この要素の内、「口」を対象にした場合、対象の形状に近い口のテンプレートを用い、テンプレートの特徴点が時間経過に応じて変化する位置のずれをユークリッド距離として求めた値である。画像解析確信度は、算出した値が小さいほどこの動作パラメータの信頼性を高いものとする。画像解析部36は、解析結果である画像解析データ48をパターン解析部16および画像解析データ強調部50に供給する。画像解析データ48は、動作パラメータおよび画像解析確信度を含むデータである。

音声解析部42は、図示しないが、供給される音声データ40の解析、発話にともなう口の形状変形量の測定、この変形量に応じた３次元画像データを変形させる動作パラメータの生成および音声解析確信度の算出を行う機能を有し、供給される音声データを基に口の形状変化に反映させている。音声解析確信度とは、生成する動作パラメータの信頼性を表す指標である。音声解析確信度は、たとえば隠れマルコフモデル（Hidden Markov model: 以下、HMMという)の手法を用いた場合、あらかじめ基準となる音声データからHMMでの音素をモデル化し、このモデルと対応する「口」形状の動作パラメータとの両方を関係付けて、辞書（記録媒体）に登録し、対象音声のモデルと辞書にあるモデルとを評価した尤度である。音声解析部42は、辞書中の最も尤度の高いモデルを探索している。したがって、音声解析確信度は大きいほどこの動作パラメータの信頼性を高くする。音声解析部42は、音声解析データ52をパターン解析部16および音声解析データ強調部54に出力する。音声解析データ52は、動作パラメータおよび音声解析確信度を含むデータである。

なお、パラメータ解析部14は、本発明は画像解析と音声解析に限定されるものでなく、以降の実施例を含めて、テキスト解析などのように解析して表情を示す動作パラメータを生成できるものであれば如何なるものでも実現可能である。

パターン解析部16は、供給される画像解析データ48、音声解析データ52およびイベント信号46を基にデータの出現パターンを解析し、制御信号を生成する機能を有している。本実施例のパターン解析部16は、図２に示すように、解析制御部56およびパターン辞書58を含む。解析制御部56は、画像パターン解析部60、音声パターン解析部62およびキーパターン解析部64を備えている。本実施例では、図示しないが、ヘッダ部に強調を制御するイネーブル情報が格納され、ヘッダ部の後のペイロード部に発行した番号やID（IDentification）が格納された制御信号を生成している。また、単にイネーブル情報を提供するだけでもよい。パターン解析部16の動作については後段にてさらに説明する。解析制御部56は、たとえば口形状、まばたきの回数、頭の回転角度、眉毛の動きなど顔要索に関係する様々な情報を基にしたパターンマッチング処理をソフトウェア的に行い、これらの解析結果に応じた制御信号を生成し、パラメータ生成部18に出力する機能を有する。

画像パターン解析部60は、所定の期間内でパターンマッチング処理した顔要索のパターン一致回数とあらかじめ設定した閾値とを比較し、この比較に応じた制御信号66を生成し、出力する。画像パターン解析部60には、パターン辞書58に格納されている動作パラメータの数のカウンタが用意されている。このカウンタはソフトウェア的に設けることが好ましい。また、画像パターン解析部60は、あらかじめ設定した行列や関数等の機能を用いた演算により動作パラメータを生成することが好ましい。各動作パラメータは、たとえば顔要素の動き情報に行列を作用させて算出する。算出した動作パラメータは、さらに、それぞれ設定されているパターン閾値と比較判定する。この他、表情IDは、パターン辞書58で特定の顔要素とパターン閾値との組合せで表現するようにしてもよい。また、表情IDは、動きを示す各特徴点の動き量を関数の変数として用い、変数のパターンから微笑みや大笑い等を対応させるようにしてもよい。さらに、表情IDは、ｍ個の顔要素の動き量と重み行列（ｍ,n）との積で表されるｍ個のパターンで表してもよい。

音声パターン解析部62は、所定の期間内で供給される音声解析データ52を基に口形状のパターンマッチング処理をソフトウェア的に行い、パターン一致回数とあらかじめ設定した閾値とを比較し、これらの比較結果に応じた制御信号68を生成し、出力する。音声パターン解析部62にも、パターン辞書58に格納されている動作パラメータの数のカウンタが用意され、ソフトウェア的に設けられている。

また、キーパターン解析部64は、所定の期間内で供給されるイベント信号46を基にイベントの回数とあらかじめ設定した閾値とを比較し、これらの比較結果に応じた制御信号70を生成し、出力する。キーパターン解析部64は、キーアドレス数に対応したソフトウェア設定のカウンタを有している。

なお、アニメーション合成装置10は、キー情報として動作パターンと定型動作パターンとを示すコードを区別した入力が可能な場合、キーパターン解析部64を設けずに、直接動作パラメータ生成部74にイベント信号46を供給するようにしてもよい。

パターン辞書58は、あらかじめ統計的に作成した顔要索に関係する様々な種類に対して複数の情報を表す動作パラメータが格納されている。複数の情報には、それぞれ種類と状態を示す番号が付与されている。たとえば、複数種類の口形状にはそれぞれ口形状番号が付与されるという関係である。この場合、パターン辞書58は、口形状番号と動作パラメータとを対応付けて格納している。パターン辞書58は、供給される情報48, 52, 46に応じてパターンマッチング処理に使用するデータ72を解析制御部56に読み出すだけでなく、新たな関係を対応付けて解析制御部56を介して格納する登録機能も有している。

パラメータ生成部18は、画像解析データ強調部50、音声解析データ強調部54および動作パラメータ生成部74を含む。画像解析データ強調部50は、供給される画像解析データ48と制御信号66とを基に出力情報を選択して、強調する機能を有している。画像解析データ強調部50は、制御信号66において強調をイネーブルにする情報が供給された場合、さらに供給される番号に応じた強調用の動作パラメータを生成し、出力する。この動作パラメータは、制御信号66が有するものおよび画像解析データ48のいずれかを用い、動作パラメータの内容を考慮して定数倍にするとよい。動作パラメータの利用形態は、音声およびイベントに対しても同様に、たとえば定数倍しても表示が通信相手に有意な解釈を与えるように内容を考慮して実行される。具体例として口形状の動作パラメータは、有効な表現と判断し、定数倍することにより口変形量が補正処理され、強調される。また、強調しない情報が供給された場合、画像解析データ48を出力する。画像解析データ強調部50は、制御信号66に応じた画像解析データ76をパラメータ選択部20に出力する。音声解析データ強調部54も画像解析データ強調部50と同様に選択する機能を有し、パターン解析部16から供給される制御信号68に応じた音声解析データ78をパラメータ選択部20に出力する。

動作パラメータ生成部74は、あらかじめ複数の動作パラメータを保持し、各動作パラメータにはIDが割り当てて、制御信号70に応じた動作パラメータ80を生成する機能を有している。この機能を実現するため動作パラメータ生成部74には、図３に示すように、それぞれ、制御信号70またはイベント信号46に含まれるID情報と対応付けて動作パラメータおよび定型動作パラメータを記憶する記憶領域75a, 75bが設けられたストレージ75がある。ストレージ75には、さらに動作パラメータの確かさを表す確信度も対応して記憶させてもよい。

動作パラメータ生成部74は、制御信号70がイネーブルを示している場合、定型の動作パラメータを生成し、一方、制御信号70がイネーブルを示していない場合、通常の動作パラメータを生成し、パラメータ選択部20に出力する。また、動作パラメータ生成部74は、供給されるIDに応じて背景画像も出力する。

ここで、定型の動作パラメータとは、キーパターン解析部64から供給されるパラメータIDに対応して固定的に割り当てられている動作パラメータを意味している。さらに説明すると、動作パラメータとは、顔要素の変形量データを時系列で格納したものであり、たとえばフレームレートの間隔で、格納されている変形量データを出力することで一定時間の３次元アニメーションを実現する。この一定間隔で一定時間出力される変化量データを特に定型動作パラメータと呼ぶ。

定型動作パラメータ40の例として、たとえば「まばたき」「あくび」「お辞儀」などがある。また、たとえば「まばたき」にも「ゆっくりしたまばたき」、「激しいまばたき」など動作が異なるものが格納されている。

パラメータ選択部20には、画像、音声およびイベントに基づく画像解析データ76、音声解析データ78および動作パラメータ80がそれぞれ、供給されている。パラメータ選択部20は、これらのデータの内、どのデータを使用するかを選択する機能を有している。選択は、ソフトウェア的に設定された優先度に該当するか否かを統合判定することにより行われる。本実施例では、キー入力の優先度を最も高くし、画像、音声の順の優先度にして総合判定している。パラメータ選択部20は、統合判定により得られた統合動作パラメータ82を表情合成部22に供給する。パラメータ選択部20は、単に優先度だけで統合するだけでなく、画像および音声確信度の大きさに応じてもパラメータの統合を行っている。

表情合成部22は、統合動作パラメータ82と図示しない３次元キャラクタ画像またはモデル画像とを基に特徴点の位置を変形させ、ポリゴンによって構成される３次元キャラクタ画像データを生成し、この画像データをレンダリング処理するグラフィック機能を有する。表情合成部22は、図示しないがキャラクタ画像データを生成するデータ生成部と、レンダリング部とを備えている。レンダリング部は、アニメーション表示させるため複数のフレームに対応するメモリを有している。表情合成部22は、生成した３次元のキャラクタモデル画像データ84を図示しないモニタに出力する。

なお、表情合成部22は、以降の実施例を含めて、３次元画像アニメーションに限定されるものでなく、２次元アニメーションでもよく、変化量を検出しアニメーション化できるものであればよいことは言うまでもない。

音声出力部24は、図示しないD/A変換器および増幅器を含む。音声出力部24には、供給される音声データ40が入力される。音声出力部24は、D/A変換器で音声データ40をアナログ信号に変換し、増幅器で増幅したアナログ音声信号86を図示しないスピーカに出力する。

この構成により、顔画像の表情に合ったキャラクタ画像と音声とを同時に提供するアニメーション表示を実現するとともに、場合によってキャラクタ画像の表情を強調させてコミュニケーションにエンタテイメント性を持たせている。

また、本実施例は、顔についてのアニメーション生成を説明したが、本発明は顔に限定されるものでなく、以降の実施例を含めて、表情を考慮してモデル画像を体全体、動物等の如何なるものでも表して実現させることができる。

次にアニメーション合成装置10における特徴的な動作について以下に説明する。先ず、パターン解析部16では、画像パターンおよび音声パターンの解析がそれぞれ、図４に示す手順で行われる。ここでの説明は口の形状パターン照合について行う。

画像パターン解析部60は、入力される１フレームに対する画像解析データ48との照合するためパターン辞書58から記憶されている変化量のパターンを読み出す（ステップS10）。次に画像解析データ48と読み出したパターンとの照合（パターンマッチング処理）を行う（ステップS12）。

パターンマッチング処理は、たとえば、画像解析データ40内の動作パラメータとパターン辞書58内に格納されている複数の動作パラメータとのユークリッド距離をそれぞれ、計算する。画像パターン解析部60は、この距離の最も小さい値とそのときの口形状番号を対応付ける。さらに、画像パターン解析部60は、得られたユークリッド距離をあらかじめ決められている距離閾値と比較する。ともにユークリッド距離が距離閾値未満の場合（YES）、パターンが一致していると判断し、カウントアップ処理に進む（ステップS14へ）。また、ユークリッド距離が距離閾値以上の場合（NO）、一連のパターン探索においてマッチング結果無しと判断し、画像が供給された通話開始時刻またはカウントクリアした時刻から所定の時間経過したか否かを判断処理に進む（ステップS16へ）。

ステップS14では、画像パターン解析部60の該当する口形状番号に対応付けられたカウント値を歩進する。次に歩進したカウント値とあらかじめ決められているパターン閾値とを比較する（ステップS18）。カウント値がパターン閾値以下の場合（NO）、制御信号66のヘッダ部の制御を非イネーブルにして、ステップS16に進む。また、カウント値がパターン閾値よりも大きい場合（YES）、画像解析データ強調部50に制御信号66を出力する処理に進む（ステップS20へ）。

ステップS20では、制御信号66のヘッダ部の制御をイネーブルにし、ペイロード部にたとえば、前述した口形状番号を画像パターン解析結果のデータとして格納し、画像解析データ強調部50に出力する。この出力後、該当するカウント値をクリアする（ステップS22）。カウント値のクリアは、パターン閾値よりも大きいと判断されたものだけを対象としてもよいし、すべてのカウンタを対象としてもよい。

また、通信相手への報知を数フレーム続けて画像を強調することが有効な場合がある。このような場合に対応して画像パターン解析部60は、カウント値のクリアを直ちに行わず、Nフレーム分の処理カウンタを設けてもよい。画像パターン解析部60は、Nフレーム分強調処理を続けた後にカウンタをクリアする等、任意に好適なクリア方法を採用可能である。

このカウント値のクリア後、動作手順を終了する。また、ステップS16では、時間経過にともなうカウント値の累積により、意図しないときに強調処理を行うことを防止するため、所定の時間経過を判定している。所定の時間経過していると判定された場合（YES）カウント値のクリアに進む。所定の時間経過していないと判定された場合（NO）、供給されたフレームに対する画像解析の終了に進む。時間経過を気にしない場合、単に終了に移行させるとよい。

音声パターン解析部62は、画像パターン解析部60と同様の手順により音声パターンを解析する。音声パターン解析部62は、解析結果である制御信号68を音声解析データ強調部54に出力する。音声解析データ強調部54は、補正した音声解析データ78をパラメータ選択部20に出力する。

なお、図４のパターンマッチング処理が示すように口形状を使用が可能なだけでなく、たとえば、音声解析時に得られた声の大きさ（振幅情報）、音声認識および音素認識で得られた情報等を活用することも可能である。

次にキーパターンの解析について図５に示す手順に従って説明する。キーパターン解析では、供給されるイベント信号46がどのキーカウンタに該当するかの認識処理を行う（ステップS30）。この後、この認識が完了したか否かの判断に進む（ステップS32へ）。認識完了の判断（ステップS32）において認識が完了している場合（YES）、カウンタの歩進処理に進む（ステップS34へ）。認識が未完了の場合（NO）、ステップS30に戻って認識処理を継続する。キーパターン解析部64は、解析結果から該当するキーアドレスに対応するカウンタを歩進する（ステップS34）。

キーパターン解析部64では、歩進したカウント値とあらかじめ設定したパターン閾値とを比較する（ステップS36）。カウント値がパターン闘値以下の場合（NO）、該当するキーアドレスに対応した通常パラメータIDの発行処理に進む（ステップS38）。また、カウント値がパターン閾値より大きい場合（YES）、所定の時間経過前か否かの判断に進む（ステップS40）。通常パラメータIDの発行処理は、該当するキーアドレスに対応したパラメータのIDを発行し、動作パラメータ生成部74に出力する（ステップS38）。通常とは、強調処理と区別するために付けている。また、この発行処理は、強調処理をイネーブルにしない制御信号を出力してもよい。たとえば、キーパターン解析結果が「まばたき」を示す場合、通常パラメータIDとして「普通にまばたき」を発行する。この発行後、キーパターン解析を終える。

次にカウント値の累積により意図しないときに強調が行われることがないように所定の時間をあらかじめ設定しておく。所定の時間の経過前の場合（YES）、強調パラメータID（定型動作パラメータID）の発行に進む（ステップS42）。所定の時間の経過後の場合（NO）、強調の指示を行うことを誤りと判断してカウント値のクリア処理に進む（ステップS44）。強調パラメータIDの発行は、該当するキーアドレスに対応した強調パラメータのIDを発行し、動作パラメータ生成部74に出力する（ステップS42）。また、発行は強調することを示す制御信号を出力してもよい。具体例として解析結果が「まばたき」を強調する場合、強調パラメータIDは、「激しいまばたき」のIDを発行する。

カウント値のクリア処理は、パターン閾値よりも大きいと判断されたものだけを対象としてもよいし、すべてのカウンタを対象としてもよい。このクリア処理後、このルーチンを終了する。

次にパラメータ選択部20の動作について説明する。前述したように、パラメータ選択部20には、画像解析データ76、音声解析データ78および動作パラメータ80が供給されている。画像解析データ76および音声解析データ78は、動作パラメータだけでなく、それぞれ、画像解析確信度と音声解析確信度も供給されている。また、動作パラメータ80は、通常の動作パラメータおよび強調に対応した定型動作パラメータのいずれかである。パラメータ選択部20は、図６の手順に従ってパラメータを選択する。選択には、定型、画像、音声の優先順位を設定している。すなわち、最初に、供給される動作パラメータ80が定型動作パラメータでないか否かを判断する（ステップS50）。動作パラメータ80として定型動作パラメータが供給されたとき（NO）、ステップS52に移行する。ステップS52でパラメータ選択部20は、供給された定型動作パラメータを統合動作パラメータ82として表情合成部20に出力する。この後、選択を終了する。また、動作パラメータ80が定型動作パラメータでないとき（YES）、解析確信度を基にした画像と音声のいずれを選択するかの判断に進む（ステップS54へ）。

この判断は、画像解析データ76に含まれる画像解析確信度と音声解析データ78に含まれる音声解析確信度とを比較し、画像解析確信度が音声解析確信度以上か否かを判断する（ステップS54）。画像解析確信度が音声解析確信度以上の場合（YES）、画像解析データ76を統合動作パラメータ82として表情合成部22に出力する（ステップS56）。また、画像解析確信度が音声解析確信度より小さい場合（NO）、音声解析データ78を統合動作パラメータ82として表情合成部20に出力する（ステップS58）。ステップS56, S58、それぞれの処理後、パラメータ選択処理を終了する。

なお、パラメータ選択部20は、画像解析確信度や音声解析確信度を用いると、たとえば目、口、顔角度などを単位にパラメータを統合することも可能である。

本実施例のように動作させることにより、情報入力部12から入力した情報を基にある特定パターンを識別し、この識別した同一パターンの出現回数に応じて３次元キャラクタモデル画像の表情に強調表現を持たせることができる。これにより、利用者の癖、予期せぬ表情が合成され、エンターテイメント性の優れた３次元キャラクタモデル画像を提供できる。

次に本発明の画像生成装置を適用したアニメーション合成装置10の変形例を挙げて説明する。先の実施例と同じ構成要素には、同じ参照番号を付して、説明の煩雑さを避けるため説明を省略する。
《変形例１》
本実施例は、図７に示すように、先の実施例の構成要素にパターン統合部88および背景画像選択部90を追加している。パターン統合部88は、画像パターン解析、音声パターン解析およびキーパターン解析により生成した制御信号66, 68, 70を入力し、入力した制御信号66, 68, 70の優先順位の考慮、かつ制御イネーブルの有無を判断して統合パターンデータを生成する機能を有している。制御信号70は、直接イベント信号46でもよい。優先順位は、たとえば制御信号70を最優先にし、次に制御信号66を優先する。パターン統合部88は、生成した統合パターンデータ92を背景画像選択部90に出力する。

背景画像選択部90には、図示しないがストレージが配設されている。ストレージには、複数の背景画像ファイルが統合パターンデータ92と対応付けて格納されている。背景画像選択部90は、供給される統合パターンデータ92に対応する背景画像データ94を表情合成部22に出力する。背景画像選択部90は、統合パターンデータ92に応じて格納する情報を送出する情報送出部に相当している。

また、本実施例におけるパラメータ選択部20には、画像解析データ48および音声解析データ52がパターン解析を経ずに直接供給されている。パラメータ選択部20は、画像および音声における強調処理または補正処理のない通常の動作パラメータと定型の動作パラメータとを選択することにより統合動作パラメータ82を表情合成部22に出力している。

表情合成部22は、先の実施例にて述べた機能に加えて背景合成機能を有している。表情合成部22は、パラメータ選択部20から供給される統合動作パラメータ82に応じて３次元のキャラクタ画像またはモデル画像の特徴点の位置を変形させ、ポリゴンによって構成される３次元キャラクタモデルを生成し、生成した画像をレンダリング処理し、背景画像選択部90から供給される背景画像データ94を３次元キャラクタモデルの背景画像として合成する。これにより、表情合成部22は、背景画像付きの３次元キャラクタモデル画像データ84を図示しないモニタに出力する。

次にパターン統合部88の動作について簡単に説明する。パターン統合処理は、パターン選択部20のように、たとえば、あらかじめ画像解析、音声解析およびキーパターン解析に優先順位を設定する。画像解析データ48、音声解析データ52およびイベント信号46の出現が衝突した場合に、パターン統合部88は、図４に示したように、優先順位に応じた統合や各解析確信度の評価に基づく統合など任意に好適な手法を適用して統合パターンデータ92を生成する。

背景画像選択部88は、ここにたとえば「大きな口」のパターンを表す統合パターンデータ92が入力されると、「大きな口」に対応付けられた背景画像ファイルが選択され、選択した背景画像ファイルを選択部88の内部で展開し、背景画像データ94として表情合成部22に出力する。

このように動作させることにより、情報入力部12に入力した情報を基にある特定パターンを識別し、この識別した同一パターンの出現回数に応じて３次元キャラクタモデル画像の背景画像を表示することができるようになる。これにより、利用者の癖、予期せぬ表情が合成され、エンターテイメント性の優れた３次元キャラクタモデル画像を提供できる。
《具体例１》
本実施例は、図８に示すように、変形例１のパターン統合部88からの統合パターンデータ92を受ける対象としてオブジェクト選択部96を設けている点に特徴がある。オブジェクト選択部96は、図示しないがオブジェクト記憶部を有し、オブジェクト記憶部には、たとえば「涙」「ハート」「星」などの形状を表す３次元オブジェクトモデルデータが統合パターンデータ92と対応付けられて格納されている。オブジェクト選択部96は、パターン統合部88から供給される統合パターンデータ92に対してあらかじめ対応づけられた３次元オブジェクトモデルデータをオブジェクト記憶部から取り出し、３次元オブジェクトモデルデータ98を表情合成部22に出力する。

表情合成部22は、図示しないがパラメータ選択部20から供給される統合動作パラメータ82に対応して特徴点を変形させたポリゴンにより表す３次元のキャラクタ画像またはモデル画像をレンダリング処理する機能と、オブジェクト選択部96から供給される３次元オブジェクトモデルデータ98をレンダリング処理する機能と、これらのレンダリング処理した画像を合成する機能とを備えている。表情合成部22は、生成した３次元の画像データ84をモニタに出力する。

次にオブジェクト選択部96を配設することによる動作を簡単に説明する。たとえば、「まばたき」を表す画像解析データ48がパターン解析部16に繰り返し供給されると、制御信号66がパターン統合部88に出力される。パターン統合部88は、優先順位の高い順と確信度の大きさの判断に応じて統合パターンデータ92をオブジェクト選択部96に供給する。パターン統合部88が「繰り返すまばたき」を統合パターンデータ92として供給すると、対応付けられている、たとえば「星」を表す３次元オブジェクトモデルデータ98を表情合成部22に出力する。これにより、表示合成部22は、３次元キャラクタモデルの周囲に３次元オブジェクトモデルの「星」を合成表示させた画像データ84を出力する。

このように動作させることにより、情報入力部12に入力した情報を基にある特定パターンを識別し、この識別した同一パターンの出現回数に応じて３次元キャラクタモデル画像とともに、ある特定の形状をした３次元オブジェクトモデルを合成表示することが可能になる。これにより、利用者の癖、予期せぬタイミングでオブジェクトが出現する表情が合成され、エンターテイメント性および視覚効果に優れた３次元キャラクタモデル画像を提供できる。
《具体例２》
本実施例は、図９に示すように、変形例１のパターン統合部88からの統合パターンデータ92を受ける対象として文字列挿入部100を設けている点に特徴がある。文字列挿入部100は、図示しないが文字列記憶部を有している。文字列記憶部には、統合パターンデータ92にあらかじめ対応付けた、たとえば「ねむい」、ため息を表す「あーぁっ」や驚きを表す「えっ」等のコミュニケーションをとっている人の気持ちおよび感情を表現する文字列が記憶されている。

文字列挿入部80は、パターン統合部88から供給される統合パターンデータ92に応じてあらかじめ対応付けられた文字列を文字列記憶部から取り出し、文字列データ102を表情合成部22に出力する。表情合成部22は、統合動作パラメータ82に応じて特徴点の位置を変形させ、ポリゴンによって表される３次元のキャラクタ画像またはモデル画像を生成し、レンダリング処理を行うとともに、文字列挿入部100から供給される文字列データ102を３次元キャラクタモデル画像の下にテロップとして挿入したりまたは３次元キャラクタモデル画像の上に文字列データ102を吹出しのように挿入する。表情合成部22は、生成した３次元の画像データ84をモニタに出力する。テロップは、画面のうち、上述したように下端側だけでなく、上端側、左端側、右端側またはモデル画像上に重ねて表示するようにしてもよい。

たとえば、制御信号66から「大きな口」のパターンが得られ、統合パターンデータ92として文字列挿入部100に供給された場合、文字列挿入部100は、統合パターンデータ92に対応する「あーぁっ」という文字列データ102が表情合成部22に出力する。表情合成部22は、３次元キャラクタモデル画像上に「あーぁっ」が吹出しのように合成した画像データ84を出力する。

このように動作させることにより、情報入力部12に入力した情報を基にある特定パターンを識別し、この識別した同一パターンの出現回数に応じて３次元キャラクタモデルとともに、ある特定の文字列が表示されることから、利用者の癖に応じた文字列を出現させたり、予期せぬタイミングで文字列が出現する等、視覚効果に優れた３次元キャラクタモデル画像を提供できる。
《具体例３》
本実施例は、図10に示すように、変形例１のパターン統合部88からの統合パターンデータ92を受ける対象としてモデル選択部104を設けている点に特徴がある。モデル選択部104は、図示しないモデルデータ記憶部を有している。モデルデータ記憶部には、統合パターンデータ92にあらかじめ対応付けた、たとえば「女性」「男性」「ライオン」など様々なモデルデータが記憶されている。モデル選択部104は、パターン統合部88から供給される統合パターンデータ92に対応付けられたモデルデータをモデルデータ記憶部から取り出し、モデルデータ106を表情合成部22に出力する。

表情合成部22は、統合動作パラメータ82に応じて特徴点の位置を変形させ、ポリゴンによって表される３次元のキャラクタ画像またはモデル画像を生成し、レンダリング処理を行うとともに、供給されたモデルデータ106によるキャラクタ画像またはモデル画像を生成して、２つの画像を用いた画像合成処理を行う。この画像合成処理は、単なる重畳表示でなく、たとえば一方の画像から他方の画像に表示を徐々に切り替えるような特殊効果表示を可能にする。「大きな口」のパターンと「ライオン」のモデルデータ106とを対応させているとき、「大きな口」が得られると、表情合成部22は、現在表示している「男性」の３次元キャラクタモデルが徐々に「ライオン」に切り替わるように制御した画像データ84を出力する。

このように動作させることにより、情報入力部12に入力した情報を基にある特定パターンを識別し、この識別した同一パターンの出現回数に応じて対応するモデル画像を生成し、このモデル画像に本来の生成される３次元キャラクタモデル画像を切り替えるように画像データを生成することで、利用者の癖に応じた３次元キャラクタモデルが出現したり、予期せぬタイミングで３次元キャラクタモデルが切り替わる等の視覚効果に優れた３次元キャラクタモデル画像を提供できる。
《具体例４》
本実施例は、図11に示すように、変形例１のパターン統合部88からの統合パターンデータ92を受ける対象として効果音発生部108を設けている点に特徴がある。効果音発生部108は、図示しない効果音記憶部を有している。効果音記憶部には、統合パターンデータ92にあらかじめ対応付けた、たとえば欠伸音「あーぁっ」、擬音「キラキラ」、拍手「パチパチ」等の効果音をディジタル化したデータが記憶されている。

効果音発生部108は、パターン統合部88から供給される統合パターンデータ92に対応付けられた効果音データ110をとりだし、音声出力部24に供給する。、
音声出力部24は、供給された音声データ40および効果音データ110を加算し、D/A変換器でアナログ信号に変換し、増幅器で増幅した後、出力音声信号86としてスピーカ等に出力する。たとえば、統合パターンデータ92が「大きな口」のパターンを示す場合、アニメーション合成装置10は、３次元キャラクタモデルの画像データ84を出力するととに、効果音として欠伸音「あーぁっ」を出力する。これにより、モニタに３次元キャラクタ画像を表示させ、たとえば会話等のサンプリング音に重畳した効果音が鳴らすことになる。

このように動作させることにより、情報入力部12に入力した情報を基にある特定パターンを識別し、この識別した同一パターンの出現回数に応じて対応するある特定の効果音を発生させ、３次元キャラクタモデル画像とを同時に出力することができる。これにより、利用者の癖に応じた効果音が発生したり、予期せぬタィミングで効果音が発生するなど、視覚のみでなく、聴覚にも印象の残る３次元キャラクタモデル画像を提供できる。
《変形例２》
本実施例のアニメーション合成装置10は、たとえば、入力したキーパターンをイベントとするデータを基にしたパターン解析結果による定型動作パターンを生成させるだけでなく、定型動作パターンを生成させる情報の供給にバリエーションを持たせている点に特徴がある。これにより、アニメーション合成装置10は、エンタテイメント性の高い画像表示をユーザに提供する。先の実施例と同じ構成要素には、同じ参照番号を付して、説明の煩雑さを避けるため説明を省略する。

アニメーション合成装置10は、図12に示すように、最初の実施例の構成に対する構成要素の追加および機能追加されている。これらの箇所が、登録制御部112、パターン解析部16、選択スイッチ114、画像生成部116および画像出力制御部118である。

登録制御部112は、供給されるイベント信号46と図示しないシステム制御部から供給される制御信号に応じてパターン解析部16に登録制御信号120を生成する機能を有している。登録制御信号120は、たとえば、登録情報として表情IDとこのIDのパターン閾値とともに、ユーザが入力した表情を示すキーワード（名称）等も含まれている。これは、ユーザが登録した表情の認識を容易化するために利用される。登録制御部112は、登録制御信号120をパターン解析部16のパターン辞書58に供給して、登録する。なお、図１にはあらわにしなかったが、登録制御部112と同じ制御部を有している。

パターン解析部16は、図２と同様に解析制御部56およびパターン辞書58を含む。解析制御部56は、図13に示すように、画像パターン解析部60、音声パターン解析部62、キーパターン解析部64および表情IDパターン解析部122を含む。本実施例においてパターン辞書58は、複数の画像パターン、音声パターン、キーパターンとともに、表情IDパターンが格納されている。各パターンには、パターン（ID）、パターン閾値、キーワード等が組み合わせてあらかじめ設定されている。画像パターン解析部60および音声パターン解析部62は、前述した図４の手順に従って動作させ、キーパターン解析部64は図５の手順に従って動作させる。画像パターン解析部60および音声パターン解析部62の出力先は、それぞれ、最初の実施例と同じ画像解析データ強調部50および音声解析データ強調部54である。キーパターン解析部64は、出力先を選択スイッチ114の端子a側である。

ところで、表情IDパターン解析部122には、あらわに図示しないが画像解析データ48に関連付けてパターン辞書58に記憶している情報72を読み出して、情報72と供給される画像解析データ48とを照合する機能と、画像解析データの一致に応じて表情ID 124を制御信号として送出する機能とを有している。この照合により得られる表情IDは、キー情報と同等の情報であることから、キーパターン解析部64と同じ手順で動作させる。表情IDパターン解析部122は、判断に応じた制御信号（パターンID）124を発行し、選択スイッチ114の一端b側に出力する。

選択スイッチ114は、動作パラメータの生成をイベントおよび顔の表情のいずれを基に行うか選択する機能を有している。選択スイッチ114は、図示しないシステム制御部から供給される切換制御信号126に応じて供給元を選択する。切換制御信号126は、システム制御部に供給されている設定に応じて生成してもよいし、通常表情のパターンIDを示す制御信号124を選択し、割込信号としてキー信号が供給された場合にキーパターンIDを示す制御信号70を選択するように切り換えてもよい。選択スイッチ114は、選択した制御信号（パターンID）を動作パラメータ生成部74に供給する。このように選択して後段に制御信号を供給する種類を増やすことができる。

画像生成部116は、表情IDパターン解析部122から供給される表情IDを含む制御信号124に対応する画像を生成する機能を有している。生成する画像は、３次元に限定されるものでなく、２次元の画像でもよい。画像生成部116は、図示しないが表情IDに対応した画像データを格納している。画像生成部116は、あらかじめ表情IDに対応して格納している画像データを基に画像を生成し、レンダリング処理を行って表情合成部22の出力先に画像データ128を出力する。画像生成部116は、表情合成部22の機能として内蔵してもよい。この場合、表情合成部22に制御信号124が供給される。

画像出力制御部118は、表情合成部22と画像生成部116の画像出力を制御する機能を有している。画像出力制御部118は、出力制御信号130を表情合成部22および画像生成部116に供給する。画像出力制御部118には、ユーザの設定を反映した操作信号142が供給されている。画像出力制御部118は、操作信号132に応じた出力制御信号130を生成する。出力制御信号130は、表情合成部22および画像生成部116のいずれかを出力する制御と、ともに生成した画像を出力する制御とを行う。

本実施例のアニメーション合成装置10は、とり込んだ画像データ34を基に画像解析部36で画像解析し、得られた画像解析データ48をパターン解析部16に出力し、対応した表情IDを照合して表情ID含む制御信号124を選択スイッチ114の端子bに供給する。とくに、パターン解析部16は、カウント値がパターン閾値より大きいとき、表情IDを含む有意な制御信号124を出力する。また、選択スイッチ114の端子aには、キー入力によるIDのパターン解析結果として制御信号70が供給される。選択スイッチ114は、切換制御信号126に応じて選択されたIDを動作パラメータ生成部74に送る。

パラメータ生成部18は、前述したように３種類のパラメータを生成し、パラメータ選択部20は、それぞれ供給されたパラメータに対する優先順位を考慮しながら、選択した統合動作パラメータ82を表情合成部22に供給する。表情合成部22は、モデル画像を統合動作パラメータ82に応じて変形させて、表情を有する画像データ84を出力制御信号130に応じて出力する。また、制御信号124は、表情IDを含み、画像生成部116に供給される。画像生成部116は、供給される表示IDに対応する画像を生成し、出力制御信号130に応じて画像データ128を出力する。出力制御信号130の制御に応じて画像データは、一方の画像データまたは合成した画像データがアニメーション合成装置10から出力される。

本実施例のアニメーション合成装置10は、画像解析、音声解析、画像から得られる表情IDおよびキーによるイベントの各パターンに応じてパターン解析し、パラメータの統合処理によりモデル画像に表情を持たせた画像データを生成するとともに、表情IDに対応する画像データを生成し、出力制御に応じた画像を生成する。アニメーション合成装置10は、画像から表情IDを生成することにより、キー入力に依存することないことから、ユーザに使い勝手の良い装置を提供することができる。

本実施例のアニメーション合成装置10は、ユーザに合った表情のIDを増やすためにキー入力を通じてID登録する。この登録手順を図14に示す。時刻T10にてキー入力部30は、キーアドレスを受信し、キーアドレスを解析して登録指示命令と判定した場合、イベント信号46を登録指示信号として登録制御部112に出力する。登録制御部112は、図14に示すように、画像解析部36に制御信号46Aを供給して通常通り、画像解析する。

具体的に説明すると、この登録指示信号46の送出後、アニメーション合成装置10は、画像入力部26を介して顔画像を含む画像データ34を画像解析部36に送り、特徴点の動き等の画像解析を行う。時刻T14にて画像解析部36は、画像解析データ48をパターン辞書58に供給する。

登録制御部112は、たとえば未登録のID番号をモニタに送って表示し、このID番号に対するキーワード指定およびパターン閾値の設定の状態にする（時刻T16にて）。時刻T18にてユーザはキー入力部30を介してイベント信号46としてキーワードおよびパターン閾値の設定情報を登録制御部112に供給する。

登録制御部112は、時刻T20にて設定情報を含む制御情報120をパターン辞書58に供給する。パターン辞書58は、先に供給されている画像解析データ48と供給される設定情報とを対応付けて、時刻T22にて格納して、登録する。登録完了時、モニタに登録完了を表示する。

このように動作させることにより、画像に含まれる表情のID化およびIDの登録を行うことができる。この場合、入力されるキーと画像とでそれぞれ、パターン解析し、フレキシビリティに富んだ４つのパターン解析の中から３種類のパターンを生成することができる。
《変形例３》
本実施例のアニメーション合成装置10は、図15に示すように、変形例２の構成要素の内、選択スイッチ114を省略する。この省略は、キー入力部30からのイベント信号46が表情IDの登録だけに限定して用い、制御信号70, 124の選択を不要にすることに基づいている。したがって、本実施例では、パターン解析部16は、図13のキーパターン解析部64を持たず、制御信号124を動作パラメータ生成部74に出力する。これにより、アニメーション合成装置10は、変形例２よりも装置構成の簡略を図りながら、表情をキースイッチ的に利用することができる。
《変形例４》
本実施例のアニメーション合成装置10は、図16に示すように、変形例３の構成要素における画像解析部36が画像解析データ48をパターン解析部16だけに供給する。このとき、パターン解析部16は、表情IDパターン解析部122および音声パターン解析部62だけを含む。パラメータ生成部18は、パターン解析部16の構成に対応して音声解析データ強調部54および動作パラメータ生成部74だけを含む。パラメータ選択部20は、動作として、動作パラメータ生成部74から供給されるデータを優先的に扱い、定型パターンの有無を判定し、定型パターンでないとき、音声動作データを出力する。

なお、顔画像をサンプリングし、表情抽出を支障なく行える場合、音声やキー入力がなくても、画像を入力キーとして利用することができる。。

このようにより一層の構成の簡略化を図っても、表情をキースイッチ的に利用しながら、表情を有する画像合成におけるエンタテイメント性を高めることができる。

本発明を適用したアニメーション合成装置10は、前述した実施例に限定されるものでなく、個々の機能の使用はもちろん、如何なる組合せでも使用可能であることは言うまでもない。

また、アニメーション合成装置10は、これら入力した情報を基にした画像生成機能をソフトウェア的に画像生成プログラムにより実現させることができる。

さらに、アニメーション合成装置10は、これら入力した情報を基に画像生成を実現させるための機能として画像生成プログラムを生成してコンピュータ読み取り可能な記録媒体に格納して利用することができる。

本発明の画像生成装置は、前述した実施例のようにアニメーション合成装置に限定されるものでなく、合成したアニメーションでコミュニケーションを行う端末装置および携帯電話機等に用いても好適なものである。この適用により、これまでにない楽しい通信をユーザに提供することができる。

以上のように構成することにより、アニメーション合成装置10は、利用者の顔表情を含む画像データや利用者の音声をサンプリングし、キー情報を情報入力部12を介して入力し、供給されるこれら入力データを基にパラメータ解析部14で解析し、解析結果およびキー情報をパターン解析部16に供給して、利用者の行動パターンを検出し、検出された結果に応じてパターン生成部18を制御して、各入力データ毎にたとえば、強調表示等のパラメータを生成し、パラメータ選択部20で供給されるパラメータの優先度に応じて統合したパラメータを表情合成部22に出力し、表情合成部22にてたとえば、利用者により指定された２次元や３次元のモデル画像に表情を持たせて動画出力する。これにより、視覚的効果の高いコミュニケーションを実現して、コミュニケーションをより楽しく、使えば使うほど自分に合った画像を得ることができるようになる。

情報入力部12は、画像データ、音声データおよび操作により供給されるキーデータのそれぞれを扱う入力インタフェースを含むことにより、利用者の表情をもたらすデータをとりこみ後段に供給してコミュニケーションの実現に寄与することができる。

パラメータ解析部14は、画像解析部36で画像データ34を解析して画像解析確信度を含む画像解析データ48を生成し、音声解析部42で音声データ40を解析して音声解析確信度を含む特徴点の変化を音声解析データ52として生成して、それぞれ異なるデータから利用者における表情の変化が抽出されることにより、選択したモデル画像に表情を反映させるように抽出したデータを利用する新たな画像生成に寄与してコミュニケーションを向上させることができる。

パターン解析部16は、パターン辞書58で複数のパラメータのパターンとパターンそれぞれの閾値とを対応付けて記憶された情報を読み出して、それぞれ、この情報と画像解析データ48、この情報と音声解析データ52とを基にパターン解析し、該当パターンのカウント値を歩進し、このカウント値と該当のパターン閾値とを比較判定して制御信号66、68を生成し、パターン辞書58の情報とキーデータ46とを認証し、確認されたカウント値を歩進し、このカウント値と該当キーデータの閾値とを比較判定して制御信号70を生成して、後段でのパラメータ生成を制御するように提供して、通常のパラメータ生成と異なる視覚効果をもたらすパラメータの生成に寄与することにより、利用者に想定外の高い視覚的効果を持った画像を提供することができ、よりエンタテイメント性の高いコミュニケーションに貢献することができる。 また、パターン解析部18は、画像パターン解析部60および音声パターン解析部62だけを配設し、キーデータ46を直接動作パラメータ生成部74に供給してもよい。

パラメータ生成部18は、画像解析データ強調部50で制御信号66に応じて画像解析データの通常処理および強調処理のいずれかを出力し、音声解析データ強調部54で制御信号68に応じて音声解析データの通常処理および強調処理のいずれかを出力し、動作パラメータ生成部74で制御信号70に応じて通常の動作パラメータおよび定型動作パラメータのいずれかを出力することにより、想定外のパラメータを含む６種類の中から各入力データに対応しながら、特徴的なパラメータを優先的に提供することができる。

パラメータ選択部20は、定型動作パラメータ80を最優先して出力選択し、次に画像解析確信度が音声解析確信度より大きい場合、画像解析データ76を統合動作パラメータ82とし、これ以外では音声解析データ78を出力して、利用者に煩雑な判定を行わせることなく、意外性を有するパラメータが提供されることにより、高い視覚的効果を持った画像の提供とともに、よりエンタテイメント性の高いコミュニケーションを行うことができる。

また、本発明の画像生成装置は、変形例として、パラメータ選択部20にて画像解析データ48および音声解析データ52、ならびにパターン解析処理を経た動作パラメータ生成部74からのパラメータ80を供給し、統合動作パラメータ82を選択し、表情合成部22に出力し、一方、パターン統合部88でパターン解析により生成された制御信号66, 68ならびにキーデータ46および制御信号70のいずれかから統合パターンデータ92を選択し、選択した統合パターンデータ92に対応した付加情報を情報送出部から表情合成部22に出力し、表情合成部22で統合動作パラメータ82により表情を有するモデル画像と付加情報に対応する画像データとを生成して、両画像データを合成して出力することにより、単に視覚効果の高い表情付きモデル画像の生成に比べてより一層エンタテイメント性に優れた良好なコミュニケーションを実現することができる。

上述した情報送出部としては、統合パターンデータ92に対応して背景画像選択部90、オブジェクト選択部96、文字列挿入部100およびモデル選択部104のいずれかを配設し、それぞれに対応してあらかじめ格納された、モデル画像に対する背景画像データ94、モデル画像を修飾するオブジェクト画像データ98、文字列データ102および第２のモデル画像データ106の一つを付加情報として表情合成部22に送出するとよい。また、情報送出部としては、統合パターンデータ92に対応して効果音発生部108を配設し、あらかじめ格納した、効果音データを付加情報として音声出力部24に送出することにより、聴覚も利用してより一層エンタテイメント性に優れた良好なコミュニケーションを実現することができる。

アニメーション合成装置10は、登録制御部112で情報入力部12を介して供給されるイベント信号46であるキーデータが示す登録指示に応じて画像解析部36およびパターン解析部16を制御し、画像解析部36で画像解析データ48を生成し、生成した画像解析データ48、未登録のID番号（IDentification）の生成、および入力キーとして供給されるID情報に対応付けるパターン閾値を少なくとも一組の単位とする制御信号120を生成し、パターン辞書58に供給して格納することにより、顔の表情をキーとする情報登録を行う。さらに、この一組を表すキーデータを付して格納してもよい。選択スイッチ114では動作パラメータ生成部74に供給するIDを制御信号70と制御信号124との一方を選択し、画像生成部116で制御信号124に応じてあらかじめ格納されている画像データを読み出して画像生成し、画像出力制御部118の出力制御信号130により表情合成部22と画像生成部116との出力を制御することにより、パターンの追加登録を可能にしてこの追加登録にともなってパターンの評価を多様化し、機能向上を図ることができる。また、出力される画像データが出力制御信号130に応じて出力されることから、利用者の要求を反映した画像データ出力を行うことができる。

パターン解析部16には、表情IDパターン解析部122で供給される画像解析データ48から表情IDの種類毎にカウントし、得られたカウント値と該当するID情報に対する閾値との比較判定に応じた制御信号124を生成するとよい。さらに、イベント信号（キーデータ）46をキー設定に限定すると、アニメーション合成装置10は、制御信号70, 124を選択しなくて済むことから、選択スイッチ114を省くことができる。

画像解析部36は、画像解析データ48をパターン解析部16に供給し、パターン解析部16は、音声パターン解析部62および表情IDパターン解析部122を備え、パラメータ生成部18は、音声解析データ強調部54および動作パラメータ生成部74を有するように配設すると、簡略化された構成でありながら、キー操作に依存しなくても、複雑な画像データの生成を行うことができ、利用者に高い操作性を提供することができる。

アニメーション合成装置10は、これら入力した情報を基にした画像生成機能をソフトウェア的に画像生成プログラムにより実現させることができる。さらに、アニメーション合成装置10は、これら入力した情報を基に画像生成を実現させるための機能として画像生成プログラムを生成してコンピュータ読み取り可能な記録媒体に格納して利用することもできる。

本発明の画像生成方法は、画像データ、音声データおよびキーデータを用いて、解析し、この結果がパターンに一致するか否かを判断し、一致した場合、カウント値を歩進し、さらに歩進したカウント値が設定されているパターン閾値より大きいか否かに応じて発行される制御信号66, 68, 70を調整して出力することにより、これらに応じて画像および音声における通常のパラメータおよび強調処理したパラメータならびに入力キーによる定型動作パラメータおよび通常のパラメータというように多岐にわたるパラメータを生成することができる。これらのパラメータのうち、統合的に選択したパラメータによりモデル画像の動画データを生成することにより、生成する画像データをより一層視覚的効果の高いものにすることができる。

また、画像生成方法は、制御信号66, 68, 70の出力に応じた画像解析データ76、音声解析データ78、動作パラメータ80をそれぞれ生成し、この供給されたパラメータの中に定型動作パラメータを含むか否かを判断し、定型動作パラメータを含む場合、最優先にこの定型動作パラメータを統合的に出力し、通常の動作パラメータを含む場合、画像解析確信度と音声解析確信度とを比較し、画像解析確信度が音声解析確信度以上で画像解析データ78を統合的に出力し、画像解析確信度が音声解析確信度より小さい場合、音声解析データ78を統合的に出力することにより、想定外のパラメータを含む６種類の中から各入力データに対応しながら、特徴的なパラメータを優先的に提供することができる。

さらに、画像生成方法は、イベント信号（キーデータ）46が登録指示を示すか否かを判断し、登録指示を示す場合、この指示に対応して入力する画像データを基に画像解析データを生成し、登録指示を示す場合表情を特定するID情報を発行して、ID情報に対するパターンの閾値をキー入力により設定し、このID情報、供給されたパターン閾値および画像解析データのパターンを対応付けた制御信号120を生成して登録し、複数のパターンを記憶して、登録することにより、パターンの追加登録を可能にしてこの追加登録にともなってパターンの評価を多様化し、機能向上を図ることができる。

本発明の画像生成装置をアニメーション合成装置に適用した実施例における概略的な構成を示すブロック図である。 図１に示したパターン解析部の構成を示すブロック図である。 図１に示した動作パターン生成部の構成を示すブロック図である。 図２に示した画像および音声パターン解析部の動作手順を説明するフローチャートである。 図２に示したキーパターン解析部の動作手順を説明するフローチャートである。 図１に示したパラメータ選択部の選択手順を説明するフローチャートである。 図１のアニメーション合成装置に対する変形例１の概略的な構成を示すブロック図である。 図７のアニメーション合成装置に対する具体例１の概略的な構成を示すブロック図である。 図７のアニメーション合成装置に対する具体例２の概略的な構成を示すブロック図である。 図７のアニメーション合成装置に対する具体例３の概略的な構成を示すブロック図である。 図７のアニメーション合成装置に対する具体例４の概略的な構成を示すブロック図である。 図１のアニメーション合成装置に対する変形例２の概略的な構成を示すブロック図である。 図12に示したパターン解析部の構成を示すブロック図である。 図12に示したアニメーション合成装置におけるパターン登録の手順を説明するシーケンシャルチャートである。 図12の構成を簡略化した変形例３の構成を示すブロック図である。 図15の構成をさらに簡略化した変形例４の構成を示すブロック図である。

符号の説明

10 アニメーション合成装置
12 情報入力部
14 パラメータ解析部
16 パターン解析部
18 パラメータ生成部
20 パラメータ選択部
22 表情合成部
24 音声出力部

Claims (19)

1. 複数の入力データをとり込む情報入力手段と、
   該複数の入力データのそれぞれから顔の各特徴点に対するパラメータを解析する解析手段と、
   該解析したパラメータで表す顔の動き情報と前記情報入力手段からの入力情報の少なくとも一つが示すパターンとあらかじめ格納されているパラメータにおけるパターンとのパターン解析を行い、該パターン解析結果のそれぞれに応じた制御信号を生成するパターン解析手段と、
   該生成された制御信号のそれぞれに応じた前記パラメータを含む解析データおよび動作を表す動作パラメータを生成するパラメータ生成手段と、
   該解析データおよび動作パラメータに対して優先度に応じて調整を試みながら、統合したパラメータを選択する統合選択手段と、
   該統合したパラメータを基にあらかじめ決めたモデル画像に表情を反映させた画像データを生成する表情生成手段とを含むことを特徴とする画像生成装置。
2. 請求項１に記載の装置において、前記情報入力手段は、画像データ、音声データおよび操作により供給されるキーデータの少なくとも一つを扱う入力インタフェース手段を含むことを特徴とする画像生成装置。
3. 請求項１または２に記載の装置において、前記解析手段は、供給される画像データを解析して前記パラメータの確かさを表す画像解析確信度を含めた画像解析データを生成する第１の解析手段と、
   供給される音声データを解析して前記パラメータの確かさを表す音声解析確信度を含めた特徴点の変化を音声解析データとして生成する第２の解析手段とを含むことを特徴とする画像生成装置。
4. 請求項１、２または３に記載の装置において、前記パターン解析手段は、複数のパラメータのパターンと該パターンそれぞれの閾値とを対応付けて記憶するパターン記憶手段と、
   該パターン記憶手段が有するパターンと前記画像解析データとを基にパターンを解析し、該当するパターンに対してカウントし、該当するパターンの閾値とカウント値との比較判定に応じた第１の制御信号を生成する第１のパターン解析手段と、
   前記パターン記憶手段が有するパターンと前記音声解析データとを基にパターンを解析し、該当するパターンに対してカウントし、該当するパターンの閾値とカウント値との比較判定に応じた第２の制御信号を生成する第２のパターン解析手段と、
   前記パターン記憶手段が有する情報と前記キーデータとを認証し、認証されたキーに対してカウントし、得られるカウント値と該当するキーデータに対する閾値との比較判定に応じた第３の制御信号を生成する第３のパターン解析手段とを含むことを特徴とする画像生成装置。
5. 請求項１ないし４のいずれか一項に記載の装置において、前記パラメータ生成手段は、第１の制御信号に応じて前記画像解析データおよび該画像解析データを定数倍する強調処理のいずれかを出力する第１のパラメータ生成手段と、
   第２の制御信号に応じて前記音声解析データおよび該音声解析データを定数倍する強調処理のいずれかを出力する第２のパラメータ生成手段と、
   前記動作パラメータおよび所定の期間にわたって同じ動作を強調しながら繰り返す定型動作パラメータを格納する記憶手段を含み、 第３の制御信号に応じて該記憶手段が格納するパラメータのいずれかを出力する第３のパラメータ生成手段とを含むことを特徴とする画像生成装置。
6. 請求項１ないし５のいずれか一項に記載の装置において、前記パラメータ選択手段は、前記定型動作パラメータを最優先にし、該定型動作パラメータの存在に応じて該パラメータを供給される複数のパラメータを代表する統合パラメータとし、これ以外において前記画像解析確信度が前記音声解析確信度より大きいとの判定に応じて第１のパラメータ生成手段の出力を優先して選択し、前記統合パラメータとして出力し、これ以外において第２のパラメータ生成手段の出力を選択することを特徴とする画像生成装置。
7. 請求項１ないし６のいずれか一項に記載の装置において、前記パターン解析手段は、第１および第２のパターン解析手段だけが配設され、前記情報入力手段から前記動作パラメータと前記定型動作パラメータとを区別する前記キーデータが直接第３のパラメータ生成手段に供給されることを特徴とする画像生成装置。
8. 請求項１ないし７のいずれか一項に記載の装置において、該装置は、第１および第２の解析手段からそれぞれ得られた解析結果、ならびに前記キーデータおよび第３の制御信号のいずれかに応じて第３のパラメータ生成手段から供給されるパラメータのうち、統合的に第１パラメータとして選択し、前記表情生成手段に出力する第１のパラメータ選択手段と、
   第１および第２の制御信号ならびに前記キーデータおよび第３の制御信号のいずれかのうち、統合的に第２パラメータとして選択する第２のパラメータ選択手段と、
   供給される第２パラメータに対応した付加情報を前記表情生成手段に出力する情報送出手段とを含み、
   前記表情生成手段は、第１パラメータにより前記モデル画像に表情の反映した画像データを生成し、前記付加情報に対応する画像データを生成して、両画像データを合成して出力することを特徴とする画像生成装置。
9. 請求項８に記載の装置において、前記情報送出手段は、第２パラメータに応じてあらかじめ格納した、前記モデル画像に対する背景画像、前記モデル画像を修飾するオブジェクト画像、文字列および第２のモデル画像の一つを前記付加情報として前記表情生成手段に送出することを特徴とする画像生成装置。
10. 請求項８に記載の装置において、前記情報送出手段は、第２パラメータに応じてあらかじめ格納した、効果音データを前記付加情報として音声を出力する手段に送出し、
    該音声を出力する手段は、該効果音データと前記情報入力手段からの音声データとを併せて発音させることを特徴とする画像生成装置。
11. 請求項１ないし10のいずれか一項に記載の装置において、該装置は、前記情報入力手段を介して供給されるキーデータの登録指示に応じて第１の解析手段および前記パターン解析手段を制御する登録制御手段を含み、
    該登録制御手段は、前記パターン記憶手段に前記情報入力手段からの前記キーデータを供給して、前記ID情報に対応付けたパターン閾値として格納し、
    さらに、該装置は、第３のパラメータ生成手段に供給するIDを第３の制御信号と前記顔画像データを基に得られたIDによる第４の制御信号とを選択する手段と、
    第４の制御信号に応じてあらかじめ格納されている画像データを読み出して画像生成する画像生成手段と、
    該画像生成手段と前記表情生成手段とを出力制御信号に応じて制御する画像出力制御手段とを含むことを特徴とする画像生成装置。
12. 請求項１ないし11のいずれか一項に記載の装置において、前記パターン解析手段は、第１の解析手段からの解析データとあらかじめ前記パターン記憶手段に格納した解析データとを照合して、一致に応じて対応するID情報毎にカウントし、得られたカウント値と該当するID情報に対する閾値との比較判定に応じた第４の制御信号を生成する第４のパターン解析手段とを含むことを特徴とする画像生成装置。
13. 請求項１ないし12のいずれか一項に記載の装置において、前記パターン解析手段は、供給されるキーデータを設定に用いる信号とし、第４の制御信号だけを出力することを特徴とする画像生成装置。
14. 請求項13に記載の装置において、第１の解析手段は、該手段による解析結果を前記パターン解析手段だけに供給し、
    前記パターン解析手段は、第２および第４のパターン解析手段を備え、
    前記パラメータ生成手段は、第２および第３のパラメータ生成手段を有することを特徴とする画像生成装置。
15. 請求項１ないし14のいずれか一項に記載した装置の前記情報入力手段、前記解析手段、
    前記パターン解析手段、前記パラメータ生成手段、前記統合選択手段および前記表情生成手段としてコンピュータを機能させるためのプログラム。
16. 請求項１ないし14のいずれか一項に記載した装置の前記情報入力手段、前記解析手段、
    前記パターン解析手段、前記パラメータ生成手段、前記統合選択手段および前記表情生成手段としてコンピュータを機能させるためのプログラムを記録したコンピュータ読取り可能な記録媒体。
17. 供給される複数の情報を入力し、該入力した情報のうち、画像および音声データのそれぞれを基に顔の各特徴点に対するパラメータを該パラメータの確かさを表す確信度を含めて解析し、該解析結果に応じてあらかじめ指定したモデル画像の各特徴点を動かしてモデル画像に表情を持たせて動画出力する画像生成方法において、該方法は、
    前記画像および音声の解析結果に対してあらかじめ格納しているパターンを読み出して比較する第１の工程と、
    該読み出したパターンと前記解析結果のパターンとの一致した場合、該当するパターンに対応して照合カウントを歩進させる第２の工程と、
    該照合カウントがあらかじめ設定したパターンに対する閾値よりも大きいか否かを比較判定する第３の工程と、
    該比較判定の結果が真の場合、該当する番号を含む第１および第２の制御信号の少なくとも一方を発行する第４の工程と、
    該入力した情報がキーデータの場合、キーデータの入力に応じてキーの認識を行い、該当するキーカウントを歩進させる第５の工程と、
    該キーカウントがあらかじめ設定したキーに対するパターン閾値よりも大きいか否かを比較判定する第６の工程と、
    該比較判定の結果が真の場合、 所定の期間にわたって同じ動作を強調しながら、繰り返す定型動作パラメータの第３の制御信号を発行する第７の工程と、
    前記比較判定の結果が偽の場合、通常の動作パラメータの第３の制御信号を発行する第８の工程と、
    第４の工程または第８の工程における出力後に該当するカウントをクリアする第９の工程とを含み、あらかじめ設定したパターンの有無に応じた第１ないし第３の制御信号を出力することを特徴とする画像生成方法。
18. 請求項17に記載の方法において、該方法は、第１ないし第３の制御信号の出力に応じた第１ないし第３のパラメータをそれぞれ生成する第10の工程と、
    該供給されたパラメータの中に前記定型動作パラメータを含むか否かを判断する第11の工程と、
    該パラメータに前記定型動作パラメータを含む場合、最優先に該定型動作パラメータを統合的に出力する第12の工程と、
    該パラメータに前記通常の動作パラメータを含む場合、第１のパラメータが含む前記パラメータの確かさを表す画像解析確信度と第２のパラメータが含む前記パラメータの確かさを表す音声解析確信度とを比較する第13の工程と、
    前記画像解析確信度が前記音声解析確信度以上で第１のパラメータを統合的に出力する第14の工程と、
    前記画像解析確信度が前記音声解析確信度より小さい場合、第２のパラメータを統合的に出力する第15の工程とを含むことを特徴とする画像生成方法。
19. 請求項17または18に記載の方法において、該方法は、前記キーデータが登録指示を示すか否かを判断する第16の工程と、
    前記キーデータが前記登録指示を示す場合、該指示に対応して入力する画像データを基に画像解析データを生成する第17の工程と、
    前記登録指示を示す場合表情を特定するID情報を発行する第18の工程と、
    前記ID情報に対するパターンの閾値を入力する第19の工程と、
    前記ID情報、前記画像解析データのパターンおよび前記パターン閾値を対応付けたデータを一つの組単位として記憶し、登録する第20の工程とを含むことを特徴とする画像生成方法。

Images