JP2001357414A - アニメーション通信方法およびシステム並びにそれに用いる端末装置 - Google Patents

Abstract

(57)【要約】 【課題】通信量を軽減させ、且つ自然に近いスムーズな
相手のアニメーションを見ながら会話を行うことを可能
にすること。 【解決手段】ホストコンピュータ３と複数の端末装置２
とを有し、端末装置２には、音声を送受信する手段と、
３次元の画像データを受信する手段と、画像データを動
作させるための動作制御データを受信する手段と、動作
制御データに基づいて画像データを動作させて生成され
る３次元のアニメーションを表示する手段とが設けら
れ、ホストコンピュータ３には、音声を送受信する手段
と、受信した音声に基づいて動作制御データを生成する
手段と、通信の一方の端末装置に係る画像データおよび
動作制御データを通信の他方の端末装置に送信する手段
とが設けられる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、相手のアニメーシ
ョンを見ながら会話を行うためのアニメーション通信方
法およびシステム、並びにそれに用いる端末装置および
ホストコンピュータに関する。

【０００２】

【従来の技術】従来より、テレビ電話またはテレビ会議
システムなどのように、各端末装置間において音声と画
像を送受信することにより、相手の顔を見ながら会話を
行うことのできる通信システムが実用化されている。

【０００３】しかし、画像はデータ量が多いため、画像
の送受信を行うには通信容量の大きな通信回線が必要で
ある。そのため、一般の電話回線を介して画像の送受信
を行った場合には、毎秒数コマ程度の画像の送受信しか
行うことができず、満足のいく動画を表示することがで
きない。高速の専用線を介した場合には、自然な動きに
近い動画を表示することが可能であるが、通信コストが
高くつくため一般の家庭に普及するには至っていない。

【０００４】そこで、通信量を軽減するために、顔の全
体および一部分の画像を低解像度で予め作成してデータ
ベースに登録しておき、会話の開始時に顔の全体の画像
を相手の端末装置の表示面に表示し、表情の変化のあっ
た部分に対応する顔の一部分の画像のみをデータベース
から端末装置へダウンロードして表示する方法が提案さ
れている（特開平１０−２００８８２号）。

【０００５】

【発明が解決しようとする課題】しかし、上に述べた従
来の方法では、通信量の軽減を図ることはできるが、画
像が低解像度であることと、複数の２次元画像を連続的
に組み合わせて表示していることから、人の表情などの
自然な動きを表現することが困難である。

【０００６】また、通信システムを用いて会話を行う者
同士が共通の言語を理解できる必要であるので、言語の
異なる者同士では上のような通信システムを用いること
ができない。

【０００７】本発明は、通信量を軽減させ、且つ自然に
近いスムーズな相手のアニメーションを見ながら会話を
行うことを可能にすることを目的とする。また、言語の
異なる者同士であっても、自然に近いスムーズな相手の
アニメーションを見ながら会話を行うことを可能にする
ことを他の目的とする。

【０００８】

【課題を解決するための手段】本発明に係る方法は、相
手のアニメーションを見ながら会話を行うためのアニメ
ーション通信方法であって、ネットワークを介して接続
された相手の端末装置から送信される音声に基づいて、
画像データを動作させるための動作制御データを生成す
るステップと、受信した音声を再生するとともに、前記
動作制御データに基づいて画像データを動作させて生成
される３次元のアニメーションを表示するステップと、
を有してなる。

【０００９】本発明に係るシステムは、ホストコンピュ
ータと複数の端末装置とを有し、前記端末装置には、音
声を送受信する手段と、３次元の画像データを受信する
手段と、前記画像データを動作させるための動作制御デ
ータを受信する手段と、前記動作制御データに基づいて
前記画像データを動作させて生成される３次元のアニメ
ーションを表示する手段とが設けられ、前記ホストコン
ピュータには、音声を送受信する手段と、受信した音声
に基づいて前記動作制御データを生成する手段と、通信
の一方の端末装置に係る前記画像データおよび前記動作
制御データを通信の他方の端末装置に送信する手段とが
設けられてなる。

【００１０】本発明の他の形態によると、ホストコンピ
ュータには、受信された音声を他の自然言語に翻訳する
手段と、翻訳された音声を送信する手段と、翻訳された
音声に基づいて前記動作制御データを生成する手段とが
設けられる。

【００１１】本発明の他の形態によると、端末装置に
は、画像データを記憶した記憶手段が設けられ、その記
憶手段から選択された画像データが通信の相手の端末装
置に送信される。

【００１２】本発明において、端末装置として、電話
機、携帯電話機、モバイル端末、テレビ電話端末、パー
ソナルコンピュータなど、画像の表示と通信を行うこと
のできる種々の装置を用いることができる。

【００１３】

【発明の実施の形態】以下に示す２つの実施形態では、
通信の相手の実物の顔画像の代わりに、相手のアバター
（身代わり）である顔のアニメーションを見ながら会話
を行う通信システム１を例として説明する。通信システ
ム１では、端末装置としてパーソナルコンピュータを用
いているが、電話機、携帯電話機、モバイル機器など、
他の種々の通信機器を用いることが可能である。 〔第一の実施形態〕図１は本発明に係る第一の実施形態
の通信システム１の全体の構成を示すブロック図、図２
は第一の実施形態における端末装置２の側に記憶されて
いるプログラムおよびデータの例を示す図、図３は第一
の実施形態におけるホストコンピュータ３の側に記憶さ
れているプログラムおよびデータの例を示す図、図４は
アバターとなる顔画像データＦＧＤの例を示す図であ
る。

【００１４】図１に示すように、通信システム１は、端
末装置２、ホストコンピュータ３、およびネットワーク
４などから構成される。端末装置２は複数設けられてお
り、図１においてはそのうちの２つの端末装置２Ａ，２
Ｂが示されている。

【００１５】端末装置２は、処理装置２１、表示装置２
２ａ、スピーカ２２ｂ、マウス２３ａ、キーボード２３
ｂ、マイク２３ｃ、通信制御装置２４、ＣＤ−ＲＯＭ装
置２５、フロッピィディスク装置２６、および磁気ディ
スク装置２７などから構成される。

【００１６】処理装置２１は、ＣＰＵ２１ａ、ＲＡＭ２
１ｂ、およびＲＯＭ２１ｃなどから構成され、端末装置
２における一連の処理を実行する。ＲＡＭ２１ｂにはプ
ログラムまたはデータなどが一時的に記憶され、ＲＯＭ
２１ｃには、プログラム、および端末装置２のハードウ
ェアの設定情報などが記憶される。ＣＰＵ２１ａは、そ
れらのプログラムを実行する。

【００１７】表示装置２２ａは、顔のアニメーションな
どを表示する。スピーカ２２ｂは、会話の相手の音声を
出力する。マウス２３ａおよびキーボード２３ｂは、端
末装置２の操作などに用いられる。マイク２３は音声を
入力する。

【００１８】通信制御装置２４は、顔の３次元データで
ある顔画像データＦＧＤ、音声が出力されるタイミング
に合わせて顔画像データＦＧＤが動作するように制御す
る動作制御データＤＳＤ、音声をディジタル変換した音
声データＳＮＤ、その他のデータの送受信を制御する。
ＣＤ−ＲＯＭ装置２５、フロッピィディスク装置２６、
および磁気ディスク装置２７は、データおよびプログラ
ムを記憶する。

【００１９】ホストコンピュータ３は、処理装置３１、
表示装置３２、マウス３３ａ、キーボード３３ｂ、通信
制御装置３４、ＣＤ−ＲＯＭ装置３５、フロッピィディ
スク装置３６、および磁気ディスク装置３７などから構
成される。

【００２０】処理装置３１は、ＣＰＵ３１ａ、ＲＡＭ３
１ｂ、およびＲＯＭ３１ｃなどから構成される。処理装
置３１それ自体の構成および機能は上に述べた処理装置
２１と同様である。

【００２１】ネットワーク４は、公衆回線、専用線、Ｌ
ＡＮ、無線回線、またはインターネットなどによって構
成される。端末装置２とホストコンピュータ３は、ネッ
トワーク４を介して接続される。

【００２２】図２に示すように、端末装置２の磁気ディ
スク装置２７には、端末装置の基本プログラムであるＯ
Ｓ２ｓ、通信システム１の端末装置側のアプリケーショ
ンプログラムである端末通信プログラム２ｐ、その他必
要なプログラムおよびデータが記憶されている。

【００２３】端末通信プログラム２ｐは、基本処理プロ
グラム２ｐｋ、表示処理プログラム２ｐｈなどのプログ
ラムまたはモジュールを含んでいる。基本処理プログラ
ム２ｐｋは、ＯＳ２ｓとの連携、顔画像データＦＧＤの
選択などのユーザの操作に関する処理などを行う。表示
処理プログラム２ｐｈは、動作制御データＤＳＤに基づ
いて顔画像データＦＧＤを動作させ、アニメーションを
生成する。

【００２４】これらのプログラムは、適宜、ＲＡＭ２１
ｂにロードされ、ＣＰＵ２１ａによって実行される。ま
た、受信した顔画像データＦＧＤ、動作制御データＤＳ
Ｄ、および音声データＳＮＤなどのデータは、ＲＡＭ２
１ｂに記憶される。また、必要に応じて磁気ディスク装
置２７に記憶される。

【００２５】このように、種々のプログラムがＲＡＭ２
１ｂ上で実行されることによって、アニメーションの表
示を行うための一連のシステムである表示制御部ＥＭ１
が実現される。

【００２６】図３に示すように、ホストコンピュータ３
の磁気ディスク装置３７には、ホストコンピュータ３の
基本プログラムであるＯＳ３ｓ、通信システム１のホス
トコンピュータ側のアプリケーションプログラムである
ホスト通信プログラム３ｐ、その他必要なプログラムお
よびデータが記憶されている。また、顔画像データＦＧ
Ｄを蓄積する顔画像データベースＦＤＢが設けられてい
る。

【００２７】ホスト通信プログラム３ｐは、基本処理プ
ログラム３ｐｋ、動作制御プログラム３ｐｄ、翻訳プロ
グラム３ｐｙなどのプログラムまたはモジュールを含ん
でいる。基本処理プログラム３ｐｋは、ＯＳ３ｓとの連
携、アニメーションエンジンＥＭ２、および翻訳エンジ
ンＥＭ３などを統括して制御する。動作制御プログラム
３ｐは、音声データＳＮＤに基づいて動作制御データＤ
ＳＤを生成する。動作制御データＤＳＤとは、音声デー
タＳＮＤに基づく音声が出力されるタイミングに合わせ
て、顔画像データＦＧＤが動作するように制御するため
の制御情報である。翻訳プログラム３ｐｙは、ある自然
言語の音声データＳＮＤを他の自然言語の音声データＳ
ＮＤに翻訳する。

【００２８】これらのプログラムは、適宜、ＲＡＭ３１
ｂにロードされ、ＣＰＵ３１ａによって実行される。ま
た、受信した音声データＳＮＤなどのデータはＲＡＭ３
１ｂに記憶される。

【００２９】このように、種々のプログラムがＲＡＭ３
１ｂ上で実行されることによって、動作制御データＤＳ
Ｄを生成する一連のシステムであるアニメーションエン
ジンＥＭ２、および、音声データＳＮＤを他の言語に翻
訳する一連のシステムである翻訳エンジンＥＭ３が実現
される。

【００３０】なお、翻訳元の音声データを「音声データ
ＳＮＤ１」とし、翻訳後の音声データを「音声データＳ
ＮＤ２」として、これらを区別することがある。言語の
自動翻訳に関しては、例えば特開平１−２１１７９９号
を参照することができる。

【００３１】図４に示すように、顔画像データＦＧＤ
は、人の頭部などを、口、目、鼻、耳などの構成部分、
および皮膚、筋肉、骨格などが動作可能なように構造化
された３次元モデルによって表現したデータである。図
４においては、皮膚を表現する多数のポリゴンと、顔の
動きを制御するための複数の制御点ＰＮＴが示されてい
る。顔画像データＦＧＤは、図４で示される皮膚のモデ
ルと、図示しない筋肉および骨格のモデルとによって構
造化されている。

【００３２】顔画像データＦＧＤとして、自分の顔の
他、芸能人またはスポーツ選手などの有名人、歴史上の
人物、動物、漫画の登場人物（キャラクタ）など、実在
または架空の種々のものを用いることができる。

【００３３】このような顔画像データＦＧＤを作成する
方法として、２次元で撮影された通常の顔写真に基づい
て構造化顔画像を推定する方法、３次元計測装置を用い
て人物または像を３次元測定し、得られた３次元データ
に基づいて顔画像データＦＧＤを作成する方法など、種
々の公知の方法を用いることができる。

【００３４】なお、これらの方法の例が、特開平８−２
９７７５１号、特開平１１−３２８４４０号、および本
出願人が提案する特願２０００−９０６２９号などに示
されている。

【００３５】次に、一方の端末装置２Ａのユーザと他方
の端末装置２Ｂのユーザとの会話に際し、通信システム
１で行われる処理および操作について、フローチャート
を参照して説明する。

【００３６】図５は第一の実施形態における通信システ
ム１の処理の流れを示すフローチャート、図６は端末装
置２の処理の流れを示すフローチャート、図７はホスト
コンピュータ３の処理の流れを示すフローチャートであ
る。

【００３７】まず、端末装置２Ａと２Ｂとの間で通信を
確立する（＃１０）。通信を確立するに当たり、例え
ば、一方の端末装置２Ａからホストコンピュータ３に対
し、他方の端末装置２Ｂへの接続要求を送る。ホストコ
ンピュータ３は、端末装置２Ａから接続要求のあったこ
とを端末装置２Ｂに通知する。端末装置２Ｂは、接続を
許可する場合に、それに応じた通知を行う。その他、公
知の種々のプロトコルを用いることができる。

【００３８】通信が確立すると、図５に示すように、ホ
ストコンピュータ３から各端末装置２に対し、それぞれ
の相手の顔画像データＦＧＤを送信する（＃１１）。つ
まり、端末装置２Ａに対しては、端末装置２Ｂのユーザ
の選択した顔画像データＦＧＤを、端末装置２Ｂに対し
ては、端末装置２Ａのユーザの選択した顔画像データＦ
ＧＤを、それぞれ送信する。各ユーザは、顔画像データ
ベースＦＤＢの中から、または予め各ユーザ用に登録し
たものの中から、自分の好みの顔画像データＦＧＤを選
択する。そのような選択に際し、選択可能な顔画像デー
タＦＧＤの一覧表を各ユーザの表示面に表示させるよう
にしてもよいし、ユーザが番号などで指定するようにし
てもよい。また、各ユーザが予め指定した１つの顔画像
データＦＧＤが送信されるようにしてもよい。

【００３９】各ユーザは会話を開始する（＃１２）。会
話が行われると、一方の端末装置２から他方の端末装置
２に向けて音声データＳＮＤが送信される。このとき、
ユーザは、自分の発する言語および聞き取りに使う言語
をホストコンピュータ３に対して指定することができ
る。例えば、英語で会話を行いたい場合には、話し言語
および聞き取り言語とも英語を指定する。日本語で話
し、英語で音声を聞くように指定することもできる。会
話の途中で言語の指定を変更することも可能である。

【００４０】ホストコンピュータ３は、端末装置２から
の言語の指定に応じて、これらの間の会話において翻訳
を行う必要があるか否かを判断する（＃１３）。一方の
話す言語と他方の聞く言語とが異なっている場合に、翻
訳が必要であると判断する。なお、ユーザからの言語の
指定がない場合には、特定の言語、例えば日本語である
と判断する。

【００４１】翻訳が必要な場合には、ホストコンピュー
タ３は、翻訳エンジンＥＭ３によって翻訳を行う（＃１
４）。翻訳によって、音声データＳＮＤ１から音声デー
タＳＮＤ２が生成される。

【００４２】音声データＳＮＤに基づいて、動作制御デ
ータＤＳＤが生成される（＃１５）。翻訳が行われた場
合は、翻訳後の音声データＳＮＤ２に基づいて動作制御
データＤＳＤが生成される。

【００４３】動作制御データＤＳＤの生成に当たって、
例えば、音声データＳＮＤから音素などの情報を抽出
し、単語または感情などを求め、顔画像データＦＧＤの
各制御点ＰＮＴの動きを計算して動作制御データＤＳＤ
を生成する。

【００４４】なお、ユーザの感情を受信した音声データ
ＳＮＤから抽出するのではなく、ユーザが端末装置のキ
ーボード２３ｂなどを操作して直接に指定してもよい。
その場合には、端末装置２からは、例えば「微笑む」
「怒る」などの感情を表す制御データを送信することと
なる。このようにすると、ユーザが疲れているときで
も、会話の相手には元気な様子のアニメーションを表示
することができる。

【００４５】ホストコンピュータ３から端末装置２に対
し、音声データＳＮＤおよび動作制御データＤＳＤを送
信する（＃１６）。端末装置２では、受信した音声デー
タＳＮＤをスピーカ２２ｂから出力するとともに、受信
した動作制御データＤＳＤに基づいて、最初に受信した
顔画像データＦＧＤを動作させ、これによってアニメー
ションを生成し、生成したアニメーションを表示装置２
２ａに表示する。（＃１７）。

【００４６】例えば、端末装置２Ａのユーザが「おはよ
う」と言うと、ホストコンピュータ３は顔画像データＦ
ＧＤに「おはよう」の口の動きをさせるための動作制御
データＤＳＤを生成して端末装置２Ｂに送信する。端末
装置２Ｂでは、端末装置２Ａのユーザの「おはよう」の
声がスピーカ２２ｂから聞こえ、表示装置２２ａには
「おはよう」の声に合わせて端末装置２Ａのユーザの顔
画像データＦＧＤが「おはよう」の形に開閉する。

【００４７】また、ホストコンピュータ３は、「おはよ
う」のトーンなどから端末装置２Ａのユーザの感情を分
析する。そこで、例えば端末装置２Ａのユーザがにこや
かな雰囲気であることが分かると、顔画像データＦＧＤ
の目および顔全体を動かして微笑ませる動作制御データ
ＤＳＤを生成し、端末装置２Ｂに送信する。端末装置２
Ｂの表示装置２２ａには、端末装置２Ａのユーザが微笑
みながら「おはよう」と言っているアニメーションが表
示される。

【００４８】このように、各ユーザは、互いに相手の話
した音声を聞き、且つ相手の話に基づいて表情の変化す
るアニメーションを見ることができる。ユーザが通信の
切断を要求するまで（＃１８）、上に述べた処理が繰り
返され、ユーザ間においてアニメーションを見ながらの
会話が行われる。

【００４９】図６に示すように、各端末装置２において
は、ホストコンピュータ３から相手のユーザの顔画像デ
ータＦＧＤを受信する（＃２１）。各ユーザが話をする
と（＃２２でイエス）、音声データＳＮＤをホストコン
ピュータ３へ送信する（＃２３）。動作制御データＤＳ
Ｄおよび音声データＳＮＤを受信すると（＃２４でイエ
ス）、それらによる音声を出力しアニメーションを表示
する（＃２５）。

【００５０】図７に示すように、ホストコンピュータ３
においては、各端末装置２に相手のユーザの顔画像デー
タＦＧＤを送信する（＃３１）。端末装置２から音声デ
ータＳＮＤを受信すると（＃３２）、翻訳の必要がある
場合に翻訳を行った後（＃３３，３４）、動作制御デー
タＤＳＤを生成し（＃３５）、動作制御データＤＳＤお
よび音声データＳＮＤを相手側の端末装置２へ送信する
（＃３６）。

【００５１】なお、３つ以上の端末装置２の間で通信を
行うことも可能である。その場合には、各ユーザに対し
て、他の全てのユーザの顔画像データＦＧＤを送信す
る。各ユーザの音声は、それに基づく動作制御データＤ
ＳＤとともに、他の全てのユーザの端末装置２に送信さ
れる。各端末装置２では、受信した複数の顔画像データ
ＦＧＤに基づくアニメーションの中から、話をしている
ユーザに対応するアニメーションのみを選択して表示す
ればよい。また、全てのユーザのアニメーションを同時
に表示するようにしてもよい。それらを切り換えるよう
にしてもよい。

【００５２】第一の実施形態の通信システム１による
と、データ量の多い顔画像データＦＧＤは最初に１回の
み送信され、その後は動作制御データＤＳＤのみが送信
されるので、通信量が軽減するとともに、自然に近いス
ムーズな相手のアニメーションを見ながら会話を行うこ
とが可能となる。

【００５３】顔画像データＦＧＤが構造化された３次元
モデルによって表現されたデータであり、表示面には３
次元のアニメーションが表示されるので、実物の画像に
近いリアルな画像が表示される。

【００５４】ホストコンピュータ３にアニメーションエ
ンジンＥＭ２が設けられているので、端末装置２におけ
る処理の負荷が軽減される。また、ホストコンピュータ
３による翻訳サービスを仲介させることで、他国語を話
す相手との間でも違和感のない会話を行うことができ
る。

【００５５】特に、翻訳後の音声データＳＮＤに基づい
て動作制御データＤＳＤを生成するので、翻訳された音
声とアニメーションの動きとを旨く一致させることがで
きる。

【００５６】例えば、言語の違いによって唇や顔の動き
が異なるので、実物の顔画像を表示した場合には音声は
翻訳されても顔の動きはそのままであるが、本実施形態
によれば、翻訳後の音声に唇や顔の動きを合わせること
ができるので、翻訳された音声とともに表情を正確に表
現した自然なアニメーションを会話の相手に表示するこ
とができる。

【００５７】また、外国映画の吹替えに見られるよう
に、異なる言語間の画像の動きと音声の響きの不一致か
らくる不自然さ、または音声の長さの違いからくる不自
然さが解消される。

【００５８】第一の実施形態において、翻訳後の音声デ
ータＳＮＤ２とともに、翻訳前の音声データＳＮＤ１を
送信してもよい。これにより、音声の多重化を図ること
ができ、原文を確認しながら翻訳された音声を聞くこと
ができる。

【００５９】また、翻訳後の音声データＳＮＤ２ととも
に、そのテキストデータを送信してもよい。これによ
り、端末装置２において、アニメーションの表示ととも
に、翻訳文を表示することができる。

【００６０】なお、翻訳を行う必要が全くない場合に
は、ホストコンピュータ３の翻訳プログラム３ｐｙおよ
び翻訳エンジンＥＭ３などを削除しておけばよい。 〔第二の実施形態〕図８は第二の実施形態における端末
装置２の側に記憶されているプログラムおよびデータの
例を示す図、図９は第二の実施形態におけるホストコン
ピュータ３の側に記憶されているプログラムおよびデー
タの例を示す図である。

【００６１】第二の実施形態において、通信システムの
全体の構成は第一の実施形態の場合と同様である。しか
し、端末装置２およびホストコンピュータ３に記憶され
るプログラムおよびデータと、各処理装置２１、３１に
よる処理内容とが、第一の実施形態の場合と異なる。

【００６２】すなわち、第一の実施形態では、顔画像デ
ータベースＦＤＢ、動作制御プログラム３ｐｄ、および
アニメーションエンジンＥＭ２がホストコンピュータ３
に設けられているが、第二の実施形態では、図８に示す
ように、端末装置２に設けられている。したがって、図
９に示すように、ホストコンピュータ３には、これら顔
画像データベースＦＤＢ、動作制御プログラム３ｐｄ、
およびアニメーションエンジンＥＭ２は設けられていな
い。

【００６３】図１０は第二の実施形態における通信シス
テム１の処理の流れを示すフローチャート、図１１は端
末装置２の処理の流れを示すフローチャート、図１２は
ホストコンピュータ３の処理の流れを示すフローチャー
トである。

【００６４】図１０に示すように、まず、端末装置２Ａ
と２Ｂとの間で通信を確立する（＃４０）。各端末装置
２の間において、互いの相手の顔画像データＦＧＤを交
換する（＃４１）。

【００６５】各ユーザは会話を開始するに当たり、翻訳
が必要か否かを判断する（＃４２）。この判断は、第一
の実施形態ではホストコンピュータ３によって行われる
が、第二の実施形態では端末装置２が行う。例えば、ス
テップ＃４１において、各端末装置２は、顔画像データ
とともに、自分の話す言語の情報を相手に送信する。こ
れに基づいて、相手の各端末装置２は翻訳が必要か否か
を判断する。

【００６６】会話が行われると、翻訳が必要な場合に
は、音声データＳＮＤがホストコンピュータ３に送信さ
れる（＃４３）。ホストコンピュータ３は、それを翻訳
し（＃４４）、翻訳した音声データＳＮＤを相手の端末
装置２に送信する（＃４５）。翻訳が必要でない場合に
は、音声データＳＮＤは相手の端末装置２に送信される
（＃４６）。

【００６７】端末装置２は、受信した音声データＳＮＤ
に基づいて、動作制御データＤＳＤを生成する（＃４
７）。受信した音声を出力し、生成した動作制御データ
ＤＳＤに基づいて顔画像データＦＧＤを動作させ、生成
したアニメーションを表示する。（＃４８）。

【００６８】図１１に示すように、各端末装置２におい
ては、相手のユーザの顔画像データＦＧＤを受信し（＃
５１）、自分の顔画像データＦＧＤを相手に送信する
（＃５２）。

【００６９】このとき、受信した顔画像データＦＧＤを
顔画像データベースＦＤＢに保存し、再度同じ相手と会
話をするときに利用してもよい。翻訳の必要がある場合
には（＃５３でイエス）、音声データＳＮＤをホストコ
ンピュータ３に送信する（＃５４）。翻訳が必要でない
場合には、音声データＳＮＤを相手の端末装置２に送信
する（＃５５）。

【００７０】相手の端末装置２またはホストコンピュー
タ３から音声データＳＮＤを受信すると（＃５６でイエ
ス）、動作制御データＤＳＤを生成し（＃５７）、それ
らによる音声を出力しアニメーションを表示する（＃５
８）。

【００７１】図１２に示すように、ホストコンピュータ
３においては、端末装置２から音声データＳＮＤを受信
すると（＃６１）、翻訳を行い（＃６２）、翻訳された
音声データＳＮＤ２を相手側の端末装置２に送信する
（＃６３）。

【００７２】第二の実施形態によると、動作制御データ
ＤＳＤをホストコンピュータ３ではなく端末装置２で生
成するので、動作制御データＤＳＤの送受信が不要であ
る。これにより、通信量をさらに軽減することができ
る。

【００７３】第二の実施形態において、翻訳を行う必要
が全くない場合には、ステップ＃５３の判断を行うこと
なく、音声データＳＮＤを常に相手の端末装置２に送信
すればよい。その場合に、ホストコンピュータ３を介す
る必要はない。したがって、この場合には、ホストコン
ピュータ３を用いることなく、簡易なネットワークにお
いても通信システムを構築することができる。

【００７４】上に説明したいずれの実施形態において
も、会話を開始するに当たり、各端末装置２において顔
画像データＦＧＤを予め取得しておき、会話中において
は動作制御データＤＳＤに基づいてアニメーションを生
成するので、通信量が軽減し、自然な動きのアニメーシ
ョンを表示することができる。

【００７５】また、上に述べたように、音声データＳＮ
Ｄに対応するテキストデータをユーザに対して出力する
ことにより、アニメーション、音声、文字データのマル
チメディアを構成することができる。

【００７６】その他、端末装置２、ホストコンピュータ
３、または通信システム１の全体または各部の構成、回
路、処理内容、処理順序、通信の手順などは、本発明の
趣旨に沿って適宜変更することができる。

【００７７】

【発明の効果】本発明によると、通信量を軽減させ、か
つ、自然に近いスムーズな相手のアニメーションを見な
がら会話を行うことが可能となる。

【００７８】請求項２，４，５の発明によると、言語の
異なる者同士であっても、自然に近いスムーズな相手の
アニメーションを見ながら会話を行うことが可能とな
る。請求項５の発明によると、動作制御データの送受信
を行わないので、通信量をさらに軽減することができ
る。

【００７９】請求項６の発明によると、複数の端末装置
をネットワークを介して接続することにより、アニメー
ションを見ながら会話を行うことのできる通信システム
を簡単に構成することができる。

【図面の簡単な説明】

【図１】本発明に係る第一の実施形態の通信システムの
全体の構成を示すブロック図である。

【図２】端末装置の側に記憶されているプログラムおよ
びデータの例を示す図である。

【図３】ホストコンピュータの側に記憶されているプロ
グラムおよびデータの例を示す図である。

【図４】アバターとなる顔画像データの例を示す図であ
る。

【図５】通信システムの処理の流れを示すフローチャー
トである。

【図６】端末装置の処理の流れを示すフローチャートで
ある。

【図７】ホストコンピュータの処理の流れを示すフロー
チャートである。

【図８】第二の実施形態における端末装置の側に記憶さ
れているプログラムおよびデータの例を示す図である。

【図９】ホストコンピュータの側に記憶されているプロ
グラムおよびデータの例を示す図である。

【図１０】通信システムの処理の流れを示すフローチャ
ートである。

【図１１】端末装置の処理の流れを示すフローチャート
である。

【図１２】ホストコンピュータの処理の流れを示すフロ
ーチャートである。

【符号の説明】

１ 通信システム ２ 端末装置 ３ ホストコンピュータ ２１ 処理装置（音声を送受信する手段、３次元の画像
データを受信する手段、動作制御データを受信する手
段） ２２ａ 表示装置（アニメーションを表示する手段） ２４ 通信制御装置（送受信する手段） ３１ 処理装置（動作制御データを生成する手段、送信
する手段） ３４ 通信制御装置（送信する手段） ３７ 磁気ディスク装置（記憶手段） ＥＭ１ 表示制御部（アニメーションを表示する手段） ＥＭ２ アニメーションエンジン（動作制御データを生
成する手段） ＥＭ３ 翻訳エンジン（翻訳する手段）

フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｔ 11/60 ２００ Ｇ０６Ｔ 11/60 ２００ ５Ｅ５０１ Ｇ１０Ｌ 15/00 Ｈ０４Ｎ 7/14 Ｈ０４Ｎ 7/14 Ｇ１０Ｌ 3/00 ５５１Ｃ Ｆターム(参考） 5B050 AA08 BA08 BA09 BA12 CA07 CA08 EA24 FA02 FA10 5B069 AA01 AA20 DD06 DD16 HA19 KA02 LA03 LA07 5B091 AA03 BA03 CB12 CB24 CB32 CD03 CD15 5C064 AA01 AA02 AB06 AC06 AC08 AC13 AC16 AD08 5D015 KK01 KK02 5E501 AA02 AA04 AA13 AB01 AB02 AB03 AC16 BA20 CA06 CB15 DA03 EA21 FA15 FA27 FA46

Claims (9)

【特許請求の範囲】
1. 【請求項１】相手のアニメーションを見ながら会話を行
   うためのアニメーション通信方法であって、 ネットワークを介して接続された相手の端末装置から送
   信される音声に基づいて、画像データを動作させるため
   の動作制御データを生成するステップと、 受信した音声を再生するとともに、前記動作制御データ
   に基づいて画像データを動作させて生成される３次元の
   アニメーションを表示するステップと、 を有してなることを特徴とするアニメーション通信方
   法。
2. 【請求項２】相手のアニメーションを見ながら会話を行
   うためのアニメーション通信システムに用いられる端末
   装置であって、 ネットワークを介して接続された相手の端末装置から送
   信される音声を受信する手段と、 受信した音声に基づいて、画像データを動作させるため
   の動作制御データを生成する手段と、 受信した音声を再生するとともに、前記動作制御データ
   に基づいて画像データを動作させて生成される３次元の
   アニメーションを表示する手段と、 を有してなることを特徴とする端末装置。
3. 【請求項３】相手のアニメーションを見ながら会話を行
   うためのアニメーション通信システムであって、 ホストコンピュータと複数の端末装置とを有し、 前記端末装置には、音声を送受信する手段と、３次元の
   画像データを受信する手段と、前記画像データを動作さ
   せるための動作制御データを受信する手段と、前記動作
   制御データに基づいて前記画像データを動作させて生成
   される３次元のアニメーションを表示する手段とが設け
   られ、 前記ホストコンピュータには、音声を送受信する手段
   と、受信した音声に基づいて前記動作制御データを生成
   する手段と、通信の一方の端末装置に係る前記画像デー
   タおよび前記動作制御データを通信の他方の端末装置に
   送信する手段とが設けられ、 てなることを特徴とするアニメーション通信システム。
4. 【請求項４】相手のアニメーションを見ながら会話を行
   うためのアニメーション通信システムであって、 ホストコンピュータと複数の端末装置とを有し、 前記端末装置には、音声を送受信する手段と、画像デー
   タを受信する手段と、前記画像データを動作させるため
   の動作制御データを受信する手段と、前記動作制御デー
   タに基づいて前記画像データを動作させて生成されるア
   ニメーションを表示する手段とが設けられ、 前記ホストコンピュータには、音声を受信する手段と、
   受信された音声を他の自然言語に翻訳する手段と、翻訳
   された音声を送信する手段と、翻訳された音声に基づい
   て前記動作制御データを生成する手段と、通信の一方の
   端末装置に係る前記画像データおよび前記動作制御デー
   タを通信の他方の端末装置に送信する手段とが設けら
   れ、 てなることを特徴とするアニメーション通信システム。
5. 【請求項５】相手のアニメーションを見ながら会話を行
   うためのアニメーション通信システムに用いられる端末
   装置であって、 音声を送受信する手段と、 ３次元の画像データを受信する手段と、 前記画像データを動作させるための動作制御データを受
   信する手段と、 前記動作制御データに基づいて前記画像データを動作さ
   せて生成されるアニメーションを表示する手段と、 が設けられてなることを特徴とする端末装置。
6. 【請求項６】相手のアニメーションを見ながら会話を行
   うためのアニメーション通信システムに用いられるホス
   トコンピュータであって、 音声を送受信する手段と、 受信された音声を他の自然言語に翻訳する手段と、 翻訳された音声を送信する手段と、 翻訳された音声に基づいて、画像データを動作させるた
   めの動作制御データを生成する手段と、 通信の一方の端末装置に係る前記画像データおよび前記
   動作制御データを通信の他方の端末装置に送信する手段
   と、 が設けられてなることを特徴とするホストコンピュー
   タ。
7. 【請求項７】相手のアニメーションを見ながら会話を行
   うためのアニメーション通信システムであって、 ホストコンピュータと複数の端末装置とを有し、 前記端末装置には、音声を送受信する手段と、画像デー
   タを記憶する記憶手段と、画像データを送受信する手段
   と、受信した音声に基づいて受信した画像データを動作
   させるための動作制御データを生成する手段と、前記動
   作制御データに基づいて受信した画像データを動作させ
   て生成されるアニメーションを表示する手段とが設けら
   れ、 前記ホストコンピュータには、音声を受信する手段と、
   受信された音声を他の自然言語に翻訳する手段と、翻訳
   された音声を送信する手段とが設けられ、 てなることを特徴とするアニメーション通信システム。
8. 【請求項８】相手のアニメーションを見ながら会話を行
   うためのアニメーション通信システムに用いられる端末
   装置であって、 音声を送受信する手段と、 ３次元の画像データを記憶する記憶手段と、 画像データを送受信する手段と、 受信した音声に基づいて受信した画像データを動作させ
   るための動作制御データを生成する手段と、 生成した動作制御データに基づいて受信した画像データ
   を動作させて生成されるアニメーションを表示する手段
   と、 が設けられてなることを特徴とする端末装置。
9. 【請求項９】前記画像データは、動作可能に構造化され
   た３次元モデルであり、 前記動作制御データに基づいて３次元モデルの構造化さ
   れた部分を動作させる、 請求項２ないし８のいずれかに記載のシステム、ホスト
   コンピュータ、または端末装置。