JP2002288686A - メッセージ送信システム、メッセージ送信方法、画像データ生成システム、およびコンピュータプログラム - Google Patents

Abstract

(57)【要約】 【課題】メッセージをリアルに読み上げる画像を容易に
作成し、メッセージと画像とを送信先に送信する。 【解決手段】メッセージ送信システムの中継サーバ２
に、メッセージ情報７４および送信端末装置３のユーザ
の顔の２次元画像を入力するデータ受信部２０１と、２
次元画像を構造化し、受信端末装置４の表示面に構造化
画像を表示するための構造化画像データ７７を生成する
構造化画像生成部２０３と、メッセージの出力に合わせ
て構造化画像を動作させるための制御データ７８を生成
する制御データ生成部２０２と、メッセージ情報７４と
ともに構造化画像データ７７および制御データ７８を受
信端末装置４に送信するデータ送信部２０４と、を設け
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、メッセージの送信
者の画像を動かしながらメッセージを表示させるための
メッセージ送信システム、メッセージ送信方法、画像デ
ータ生成システム、およびコンピュータプログラムに関
する。

【０００２】

【従来の技術】従来より、ディスプレイ装置の表示面に
表示されたユーザのアバター（化身）が文章を読み上げ
る方法が提案され、電子メールなどのメッセージのやり
取りに利用されている。

【０００３】例えば、特開２０００−１２３１９１号に
開示されている方法によると、アバターのアニメーショ
ンの動きと音声の出力とを同期させることができる。係
る方法によると、電子メールの送信者は、自分に似たキ
ャラクタの画像データまたはその他のキャラクタの画像
データを予め作成しておく。送信者のメッセージである
テキストデータには、アバターのアニメーションを制御
するためのコマンドとなる「タグ」を付しておく。例え
ば、「ＮＯＲＭＡＬ」、「ＰＡＩＮ」、または「ＳＭＩ
ＬＥ」などのタグが用意されており、これらのタグに従
って、アバターを無表情にし、苦痛の表情にし、または
笑った表情などにする。

【０００４】また、特開平１１−３１２１５９号に開示
されている方法によると、電子メールに送信者のアバタ
ーの画像およびこれを動かすためのスクリプトを添付す
る。音声を出力する場合は、さらに音声ファイルを添付
する。受信側の端末装置では、添付されたスクリプトに
基づいてアバターを動かしてアニメーション表示する。

【０００５】

【課題を解決するための手段】ところが、上記の方法に
よると、音声の出力のタイミングに合わせて単に口の開
閉を行うだけであって、テキストの内容に合わせてリア
ルに口の動きを変えることができない。また、アバター
の画像を送信者自身で作成しなければならないので、送
信者は、係る作成のためのアプリケーションソフトウェ
アの使い方を覚えなければならない。さらに、スクリプ
トの作成は、スクリプト言語を理解している者でなけれ
ば難しい。

【０００６】本発明は、このような問題点に鑑み、送信
者のメッセージをリアルに読み上げる画像を容易に作成
し、メッセージと画像とを相手に送信することができる
メッセージ送信システム、メッセージ送信方法、画像デ
ータ生成システム、およびコンピュータプログラムを提
供することを目的とする。

【０００７】

【課題を解決するための手段】本発明に係るメッセージ
送信システムは、メッセージを入力するメッセージ入力
手段と、前記メッセージに関連した２次元画像を入力す
る２次元画像入力手段と、前記２次元画像を構造化し、
前記メッセージの送信先の表示面に構造化画像を表示す
るための構造化画像データを生成する構造化画像生成手
段と、前記メッセージの出力に合わせて前記構造化画像
を動作させるための制御データを生成する制御データ生
成手段と、前記メッセージとともに前記構造化画像デー
タおよび前記制御データを前記送信先に送信する送信手
段と、を有してなる。

【０００８】本発明に係るメッセージ送信方法は、メッ
セージを入力し、前記メッセージに関連した２次元画像
を入力し、前記２次元画像を構造化し、前記メッセージ
の送信先の表示面に構造化画像を表示するための構造化
画像データを生成し、前記メッセージの出力に合わせて
前記構造化画像を動作させるための制御データを生成
し、前記メッセージとともに前記構造化画像データおよ
び前記制御データを前記送信先に送信する。

【０００９】好ましくは、ネットワーク上に、メッセー
ジを送信元から前記送信先に中継するサーバを設け、前
記サーバによって、前記メッセージおよび前記２次元画
像を、ネットワークを介して前記送信元から受信して入
力し、前記構造化画像データおよび前記制御データを生
成し、前記メッセージとともに前記構造化画像データお
よび前記制御データを送信する。

【００１０】または、前記送信元が選択した人物の顔画
像を前記２次元画像として入力し、複数の点からなる人
間の頭部の３次元モデルを用意し、前記３次元モデルを
前記顔画像にフィッティングすることによって、前記構
造化画像データを生成する。

【００１１】本発明に係る画像データ生成システムは、
メッセージの出力に合わせて動作する画像を表示するた
めのデータを生成する画像データ生成システムであっ
て、前記メッセージを入力するメッセージ入力手段と、
前記メッセージに関連した２次元画像を入力する２次元
画像入力手段と、前記２次元画像を構造化し、前記メッ
セージの送信先の表示面に構造化画像を表示するための
構造化画像データを生成する構造化画像生成手段と、前
記メッセージの出力に合わせて前記構造化画像を動作さ
せるための制御データを生成する制御データ生成手段
と、を有してなる。

【００１２】好ましくは、前記送信先の電子メールアド
レスを入力するアドレス入力手段と、前記電子メールア
ドレスに基づいて前記メッセージ、前記構造化画像デー
タ、および前記制御データを前記送信先に送信するデー
タ送信手段と、を有してなる。

【００１３】または、前記メッセージ入力手段は、前記
メッセージを文章データとして入力し、前記制御データ
生成手段は、前記文章データに基づいて前記制御データ
を生成する。または、音声データを分析して当該音声デ
ータから文章データを抽出する音声認識手段を有し、前
記メッセージ入力手段は、前記メッセージを音声データ
として入力し、前記音声認識手段は、前記メッセージ入
力手段によって入力された音声データに基づいて文章デ
ータを抽出し、前記制御データ生成手段は、前記音声認
識手段によって抽出された文章データに基づいて前記制
御データを生成する。

【００１４】本発明に係るコンピュータプログラムは、
メッセージを送信元から送信先に中継するコンピュータ
に用いられるコンピュータプログラムであって、前記メ
ッセージを受信する処理、前記送信元に関連した２次元
画像を受信する処理、前記２次元画像を構造化し、前記
送信先の表示面に構造化画像を表示するための構造化画
像データを生成する処理、前記メッセージの出力に合わ
せて前記構造化画像を動作させるための制御データを生
成する処理、および、前記メッセージとともに前記構造
化画像データおよび前記制御データを前記送信先に送信
する処理、をコンピュータに実行させるためのコンピュ
ータプログラムである。

【００１５】

【発明の実施の形態】図１は本発明に係るメッセージ送
信システム１の構成の例を示す図、図２は磁気ディスク
装置２１に記憶されているプログラムおよびデータの例
を示す図、図３は中継サーバ２の機能的構成の例を示す
図である。

【００１６】図１に示すように、本発明に係るメッセー
ジ送信システム１は、本メッセージ送信システム１のホ
ストの役割をする中継サーバ２、送信端末装置３、受信
端末装置４、およびネットワーク５などによって構成さ
れる。

【００１７】本実施形態では、受信端末装置４におい
て、受信端末装置４のユーザが送信端末装置３のユーザ
から受け取った電子メールを開くと、係る電子メールの
本文（メッセージ）を読み上げているかのように送信端
末装置３のユーザの画像を動かしながら表示させる例に
ついて説明する。以下、送信端末装置３および受信端末
装置４のユーザを、それぞれ、「送信者３Ｈ」、「受信
者４Ｈ」と記載する。

【００１８】ネットワーク５として、インターネット、
公衆回線、または専用回線などが用いられる。ネットワ
ークプロトコルとして、ＴＣＰ／ＩＰ（Transmission C
ontrol Protocol/Internet Protocol ）、ＳＭＴＰ（Si
mple Mail Transfer Protocol ）、ＰＯＰ（Post Offic
e Protocol）、またはＨＴＴＰ（Hypertext TransferPr
otocol ）などが用いられる。

【００１９】送信端末装置３は、処理装置３０、磁気デ
ィスク装置３１などの記憶媒体、ディスプレイ装置３
２、キーボード３３またはマウス３４などの入力装置、
および通信制御装置３５などによって構成される。送信
端末装置３として、ワークステーションまたはパーソナ
ルコンピュータなどが用いられる。または、携帯電話ま
たはＰＨＳ（Personal Handyphone System）などの各種
携帯端末装置などを用いてもよい。

【００２０】処理装置３０は、後に説明する中継サーバ
２の処理装置２０とほぼ同様の構成であって、ＣＰＵ、
ＲＡＭ、ＲＯＭ、ＶＲＡＭ（Video RAM ）、入出力ポー
ト、および各種コントローラなどからなる。磁気ディス
ク装置３１には、オペレーティングシステム、電子メー
ル用アプリケーションなどのプログラム、および送信者
３Ｈの顔の２次元画像または音声データなどのデータが
記憶される。これらのプログラムおよびデータは必要に
応じてＲＡＭに読み込まれ、ＣＰＵによってプログラム
が実行される。

【００２１】通信制御装置３５は、送信端末装置３をネ
ットワーク５に接続するために用いられる。ディスプレ
イ装置３２、キーボード２３、およびマウス２４は、電
子メールの入力の操作などに用いられる。送信端末装置
３には、２次元画像を取得するためのカメラ３ＣＡを接
続することができる。カメラ３ＣＡとして、公知のデジ
タル式のカメラが用いられる。

【００２２】図４は電子メール用アプリケーションの電
子メール送信画面ＨＧ１の例を示す図である。送信者３
Ｈは、図４に示す電子メール送信画面ＨＧ１に受信者４
Ｈへのメッセージ（電子メールの本文）、送信者３Ｈ自
身の顔の２次元画像、および送信先アドレスなどを入力
しまたは指定し、電子メール７αとして受信者４Ｈに送
信する。

【００２３】アドレス指定ボックスＢＸ１１、送信日時
ボックスＢＸ１２、および送信者名ボックスＢＸ１３に
は、それぞれ、受信者４Ｈの電子メールアドレス、電子
メール７αの送信の日時、および送信者３Ｈの名前が入
力される。メッセージボックスＢＸ１４または音声ファ
イルボックスＢＸ１５には、受信者４Ｈへのメッセージ
が入力しまたは指定される。受信者４Ｈへのメッセージ
をテキストデータとして送信する場合は、選択ボタンＢ
Ｎ１１を選択し、メッセージボックスＢＸ１４にメッセ
ージを入力する。音声データとして送信する場合は、選
択ボタンＢＮ１２を選択し、磁気ディスク装置３１など
に記憶されている音声データのファイル名を指定する。

【００２４】画像ボックスＢＸ１６には、送信者３Ｈの
顔の２次元画像が指定され貼り付けられる。なお、後に
説明する標準モデルのフィッティングの処理に用いるた
めに、他の方向から撮影した、画像ボックスＢＸ１６に
表示されている２次元画像以外の２次元画像、および撮
影に用いられたカメラ３ＣＡのカメラパラメータも取得
しておく。カメラパラメータは、ＣＣＤのサイズ、形
状、被写体に対する姿勢、レンズの焦点距離、および画
角などである。

【００２５】これらの各ボックスＢＸ１１〜ＢＸ１６に
入力されまたは指定されたデータは、それぞれ、アドレ
ス情報７１、送信日時情報７２、名前情報７３、メッセ
ージ情報７４、音声データ７５、および２次元画像デー
タ７６として、電子メール７αに添付される。ただし、
メッセージ情報７４および音声データ７５については、
選択ボタンＢＮ１１またはＢＮ１２で選択されたほうが
電子メール７αに添付される。

【００２６】図１に戻って、中継サーバ２は、送信者３
Ｈから受信者４Ｈへ送信される電子メール７αを中継す
る。中継サーバ２は、処理装置２０、磁気ディスク装置
２１、ディスプレイ装置２２、キーボード２３、マウス
２４、および通信制御装置２５などによって構成され
る。

【００２７】磁気ディスク装置２１には、図２に示すよ
うに、オペレーティングシステム２１ｓ、メール処理プ
ログラム２１ｐ１およびモデリングプログラム２１ｐ２
などのプログラム、および標準モデル（標準モデルデー
タ）ＤＳ、２次元画像（２次元計測データ）ＦＴ、およ
び生成された３次元モデルＭＬなどのデータが記憶され
る。これらのプログラムまたはデータは、必要に応じて
処理装置２０のＲＡＭに読み込まれる。メール処理プロ
グラム２１ｐ１には、メール受信処理、音声データ処
理、音声合成処理、制御データ生成処理、メール送信処
理、およびその他の処理のためのプログラムが含まれ
る。モデリングプログラム２１ｐ２には、計測処理、概
略位置合わせ、データ削減処理、変形処理、部分領域選
択処理、およびその他の処理のためのプログラムが含ま
れる。

【００２８】処理装置２０は、ＣＰＵ、ＲＡＭ、ＲＯ
Ｍ、ＶＲＡＭ（Video RAM ）、入出力ポート、および各
種コントローラなどからなる。ＲＡＭおよびＲＯＭなど
に記憶されたプログラムをＣＰＵが実行することによ
り、後に説明する種々の機能が処理装置２０上に実現さ
れる。

【００２９】通信制御装置２５は、中継サーバ２をネッ
トワーク５に接続するために用いられる。ディスプレイ
装置２２、キーボード２３、およびマウス２４は、中継
サーバ２の管理などのために用いられる。

【００３０】中継サーバ２として、スーパコンピュー
タ、メインフレーム、ワークステーション、またはパー
ソナルコンピュータなどのコンピュータが用いられる。
複数台のコンピュータを組み合わせて構成されることも
ある。

【００３１】このような構成によって、中継サーバ２に
は、図３に示すように、データ受信部２０１、制御デー
タ生成部２０２、構造化画像生成部２０３、データ送信
部２０４、音声分析部２０５、および音声合成部２０６
などが設けられる。

【００３２】データ受信部２０１は、送信端末装置３か
ら電子メール７αを受信する。構造化画像生成部２０３
は、受信した電子メール７αに添付されている２次元画
像データ７６に基づいて送信者３Ｈの頭部の構造化画像
データ７７を生成する。

【００３３】構造化画像データ７７は、送信者３Ｈの構
造化された頭部の画像を生成するためのデータであっ
て、３次元モデルおよび識別情報からなる。識別情報
は、３次元モデルを構成する構成点または構成点を制御
する制御点を識別する。識別情報によって、構成点また
は制御点を特定し、特定した構成点または制御点の位置
を変更することによって、送信者３Ｈの表情を変化させ
ることなどが可能となる。

【００３４】本実施形態の構造化画像生成部２０３で
は、人間の頭部に近い形状を有した構造化された３次元
の標準モデルを予め準備しておき、その標準モデルを送
信者３Ｈの頭部の形状に沿ってフィッティングする。フ
ィッティングの完了した標準モデルは、送信者３Ｈの頭
部の形状とほぼ同じ形状となり、すなわち、送信者３Ｈ
の頭部の構造化画像データ７７となる。

【００３５】ここで、構造化された標準モデルとは、標
準モデルを構成する３次元空間上の各点（構成点）の位
置を、外部から制御可能な構造とした３次元形状データ
である。構成点の位置を制御するために、制御点が用い
られることもある。構成点の位置を制御するためには、
例えば、それら構成点または制御点の３次元座標が既知
であればよい。３次元座標によって特定された構成点ま
たは制御点は、その３次元座標を変更することによって
位置を変えることができる。なお、構成点または制御点
の３次元座標を管理するために、上に述べた識別情報が
用いられる。 〔２次元画像に基づく標準モデルのフィッティング〕次
に、標準モデルＤＳのフィッティング処理の流れについ
て、フローチャートを参照しながら説明する。

【００３６】図１２は２次元画像に基づく標準モデルの
フィッティング処理の流れを示すフローチャート、図１
３は変形処理を示すフローチャート、図１４は標準モデ
ルＤＳ１の例を示す図、図１５は特徴点の対応の様子を
示す図、図１６は輪郭の対応の様子を示す図、図１７は
概略の位置合わせの様子を示す図、図１８は標準モデル
ＤＳの輪郭ＲＫと２次元画像ＦＴの点Ｐとを模式的に示
す図、図１９は標準モデルＤＳの異常変形を防ぐための
仮想バネを説明するための図である。 〔標準モデルの準備〕図１２において、まず、フィッテ
ィングの対象物である送信者３Ｈについての標準モデル
ＤＳを準備する（＃１０１）。例えば、種々のサイズお
よび形状を有した、頭部の全周についての複数の標準モ
デル群の中から、送信者３Ｈの頭部に最もよく似た標準
モデルＤＳ１を準備する。

【００３７】標準モデルＤＳは、ポリゴンで定義された
３次元形状モデル、または自由曲面で定義された３次元
形状モデルのいずれでもよい。ポリゴンで定義された３
次元形状モデルである場合は、各ポリゴンの頂点の３次
元座標によって表面の形状が決まる。自由曲面で定義さ
れた３次元形状モデルである場合は、曲面を定義する関
数、および各制御点の座標によって表面の形状が決ま
る。

【００３８】なお、ポリゴンで定義された３次元形状モ
デルである場合に、各ポリゴンの頂点を「構成点」と記
載する。また、標準モデルＤＳのフィッティングに際し
て、標準モデルを変形するために用いられる点を「制御
点」と呼称する。制御点とポリゴンの構成点との位置関
係は任意であり、制御点はポリゴンの面上に設定されて
いてもよく、ポリゴンの面から離れて設定されていても
よい。１つの制御点は複数の構成点（３〜１００程度）
と関連付けられており、制御点の動きに合わせて関連付
けられた構成点が移動する。標準モデルＤＳのフィッテ
ィングに際しては、これら複数の制御点を移動させるこ
とによって標準モデルＤＳ全体を変形する。３次元形状
モデルが自由曲面で定義されている場合も、フィッティ
ングに使用する制御点の配置は任意である。

【００３９】制御点は、目尻、唇端などのように細かな
形状を持つ部分、および、鼻、唇などのように急激な形
状の変化を持つ部分には、高い密度で配置される。それ
以外の部分には一様に配置される。

【００４０】標準モデルＤＳには、ある方向から見た特
徴的な輪郭ＲＫおよび特徴点ＴＴが設定される。輪郭Ｒ
Ｋとして、例えば、目、鼻、口、または顎などに、瞼の
ライン、鼻のライン、唇のライン、または顎のラインな
どが設定される。特徴点ＴＴとして、例えば、目や口の
端部、鼻の頂部、顎の下端部のように、実際に特徴のあ
る部分、または、それらの中間のようなそれ自体では特
徴はないが位置的に特定し易い部分などが選ばれる。

【００４１】図１４に示す標準モデルＤＳ１では、顎の
ライン、唇のライン、および瞼のラインが輪郭ＲＫ１〜
３として設定されている。図１４で分かるように、輪郭
ＲＫ１は、標準モデルＤＳ１をある方向から見たとき
に、その縁線となる部分である。また、図１４に示す標
準モデルＤＳ１では、設定された特徴点ＴＴの一部のみ
が実際に図に表されている。 〔２次元画像の取得〕対象物を複数の方向から撮影した
複数の２次元画像ＦＴおよび撮影に用いられたカメラの
カメラパラメータを取得する（＃１０２）。２次元画像
ＦＴとして、電子メール７αに添付された２次元画像デ
ータ７６が用いられる。なお、腕または肩などの部分を
除いておき、顔の部分のみを抽出しておく。

【００４２】なお、２次元画像ＦＴを「計測データ」と
記載することがある。標準モデルＤＳの準備と２次元画
像ＦＴの取得とはいずれが先でもよく、並行して進めて
もよい。 〔輪郭・特徴点の抽出〕図１５および図１６に示すよう
に、標準モデルＤＳに予め設定された輪郭ＲＫおよび特
徴点ＴＴと同じ位置に配置されるべき輪郭ＲＫおよび特
徴点ＴＴを、２次元画像ＦＴ上に配置する（＃１０
３）。 〔概略の位置合わせ〕標準モデルＤＳと２次元画像ＦＴ
との概略の位置合わせを行う（＃１０４）。この処理で
は、図１７に示すように、２次元画像ＦＴ上の部分的な
線または点と、標準モデルＤＳ上の部分的な線または点
とを対応づけ、それらの距離が最小となるように標準モ
デルＤＳの向き、大きさ、および位置を変更する。

【００４３】すなわち、２次元画像ＦＴ上の特徴点ＴＴ
とそれに対応する標準モデルＤＳ上の特徴点ＴＴとの距
離に対して、次の（１）式に示すエネルギー関数Ｅ（ｓ
ｉ，αｉ，ｔｉ）が最小となるよう、標準モデルＤＳの
ｓｉ，αｉ，ｔｉを導く。

【００４４】

【数１】

【００４５】ただし、 ｋ ：対応する特徴点の個数 Ｍk ：変形後の標準モデル上の特徴点 ｘ ：変形前の標準モデル上の特徴点 Ｃk ：２次元画像上の特徴点 Ｓi ：標準モデルの各方向の偏倍量（ただし、Ｓ3 は奥
行き方向である） αi ：標準モデルの各方向への回転量 ｔi ：標準モデルの各方向への移動量 また、カメラ３ＣＡによる撮影が一方向からに限られる
場合に、奥行き方向（Ｚ方向）の偏倍量（スケール）が
正確に得られない場合がある。その場合には、対象物の
形状と標準モデルＤＳの形状に大きな違いはないとみな
し、次の（２）式に示すように、Ｘ，Ｙ方向の偏倍量
（Ｓ1,Ｓ2 ）によってＺ方向の偏倍量（Ｓ3 ）を補正す
る方法を用いることができる。

【００４６】

【数２】

【００４７】ただし、 γ ：視線方向ｘ3 変形分へのウエイトパラメータ このような補正を行うことによって、一方向から撮影し
た１枚の２次元画像ＦＴのみを用い、標準モデルＤＳを
変形して３次元モデルＭＬを生成することが可能であ
り、２次元画像ＦＴの取得および演算が容易である。 〔変形〕標準モデルＤＳの変形が行われる（＃１０
５）。ここでは、標準モデルＤＳの輪郭と２次元画像Ｆ
Ｔに設定された輪郭との間の距離に関連して定義される
エネルギー関数ｅ2 、標準モデルＤＳの特徴点と２次元
画像ＦＴに設定された特徴点との間の距離に関連して定
義されるエネルギー関数ｅ3 、および、過剰な変形を回
避するために定義されたエネルギー関数ｅs を用い、そ
れらを総合したエネルギー関数ｅを評価し、総合のエネ
ルギー関数ｅが最小となるように標準モデルＤＳの面を
変形させる。

【００４８】なお、総合のエネルギー関数ｅとして、ｅ
２，ｅ３，ｅｓの３つの関数を用いるのが望ましいが、
ｅ２およびｅ３の２つだけを用いることも可能である。
次に、各エネルギー関数について順次説明する。 〔標準モデル上の輪郭と２次元画像上の輪郭との距離〕
ここでは、２次元画像ＦＴ上に指定された輪郭ＲＫと標
準モデルＤＳ上の輪郭ＲＫとの距離が評価される。

【００４９】つまり、２次元画像ＦＴを撮影したカメラ
３ＣＡについてのカメラパラメータを用い、図１６に示
すように標準モデルＤＳの輪郭ＲＫを２次元画像ＦＴ上
に投影する。そして、図１８に示すように、２次元画像
ＦＴの輪郭ＲＫ上の点Ｐk から標準モデルＤＳ上の対応
する輪郭ＲＫ上の点Ｑk へ垂線を降ろし、その垂線のう
ち最短のものを距離とする。なお、輪郭ＲＫ上では複数
の点を指定する。

【００５０】標準モデルＤＳの輪郭ＲＫ毎の差分エネル
ギーｅ2 ' は、それらの距離の二乗和を用いて次の
（３）式によって計算される。

【００５１】

【数３】

【００５２】ただし、 Ｔ2A：制御点群 ｐk ：２次元画像上の輪郭点 ｑk ：２次元画像上の輪郭点から対応するモデル輪郭へ
の垂足点 ｎ ：１つのモデル輪郭に対応が付けられている２次元
画像の輪郭点数 ｄ^k ：２次元画像上の輪郭点から対応するモデル輪郭線
への投影方向 ｄ^k ＝（ｑk-ｐk ）／｜ｑk-ｐk ｜ ｌ ：種々のエネルギーを同一単位で扱うための調整用
スケール 複数の方向から撮影した２次元画像ＦＴの輪郭ＲＫを用
いて、標準モデルＤＳの３次元変形を行うことが可能で
ある。ただし、各輪郭ＲＫの視線方向は互いに一致して
おく必要がある。

【００５３】すなわち、例えば、複数の異なる方向から
対象物を撮影して複数の２次元画像ＦＴを取得する。そ
の際に、上に述べたように、カメラパラメータを取得し
ておく。

【００５４】輪郭ＲＫの抽出は、画像認識によって自動
的に行うことも可能であるが、手動で行う方法もある。
そして、標準モデルＤＳをそれら２次元画像ＦＴ上に投
影し、変形していく。変形は、複数の２次元画像ＦＴに
ついて１つづつ行うのではなく、複数の２次元画像ＦＴ
に対して標準モデルＤＳを同時に投影し、それらの距離
が近くなるように同時に演算を行う。

【００５５】なお、通常、２次元画像ＦＴに対する標準
モデルＤＳの投影はメモリ上で行われ、ＣＰＵによって
演算が行われる。演算の結果、標準モデルＤＳの輪郭Ｒ
Ｋが移動すると、それに応じて輪郭ＲＫ以外の部分が移
動する。 〔標準モデル上の特徴点と対応した２次元画像上の特徴
点との距離〕上に述べた輪郭ＲＫに代えて、２次元画像
上に特徴点ＴＴを設定することにより、２次元画像ＦＴ
上に設定された特徴点ＴＴと標準モデルＤＳ上の特徴点
との距離が評価される。

【００５６】すなわち、２次元画像ＦＴ上の特徴点ＴＴ
と標準モデルＤＳ上の特徴点ＴＴとの差分エネルギーｅ
3 は、対応する特徴点ＴＴの二乗距離を用いて次の
（４）式によって計算される。

【００５７】

【数４】

【００５８】ただし、 Ｔ3A：制御点群 Ｆk ：２次元画像上の特徴点 Ｇk ：２次元画像上の特徴点に対応する標準モデル上の
特徴点 Ｎ ：２次元画像上の特徴点と標準モデル上の特徴点と
の対応数 Ｌ ：種々のエネルギーを同一単位で扱うための調整用
スケール 〔過剰な変形を回避するための安定化エネルギー〕上に
述べた差分のエネルギーに加え、過剰な変形を回避する
ための安定化エネルギーｅs が導入される。

【００５９】すなわち、変形に用いられる制御点の間
が、図１９に示す仮想バネ(elastic bar) ＫＢによって
つながれているものとする。仮想バネＫＢの制約に基づ
いて、標準モデルＤＳの面Ｓの形状の安定化のための安
定化エネルギーｅs が定義される。

【００６０】なお、仮想バネは必ずしも制御点間に張ら
れている必要はない。制御点と仮想バネとの関係が明確
であればよい。図１９において、フィッティング対象で
ある標準モデルＤＳの面Ｓの一部が示されている。面Ｓ
は、制御点群Ｕ＝｜ｕｉ，ｉ＝１…Ｎ｜で形成されてい
る。隣接する制御点間には、仮想バネＫＢが配置されて
いる。仮想バネＫＢは、制御点間に引っ張り力による拘
束を与え、面Ｓの異常変形を防ぐ働きをする。

【００６１】つまり、隣接する制御点ｕの間隔が大きく
なった場合に、それに応じて仮想バネＫＢによる引っ張
り力が大きくなる。例えば、点Ｑｋが点Ｐｋに近づく場
合に、その移動にともなって制御点ｕの間隔が大きくな
ると、仮想バネＫＢによる引っ張り力が増大する。点Ｑ
ｋが移動しても制御点ｕの間隔が変わらなければ、つま
り制御点ｕ間の相対位置関係に変化がなければ、仮想バ
ネＫＢによる引っ張り力は変化しない。仮想バネＫＢに
よる引っ張り力を面Ｓの全体について平均化したもの
を、安定化エネルギーｅs として定義する。したがっ
て、面Ｓの一部が突出して変形した場合に安定化エネル
ギーｅs は増大する。面Ｓの全体が平均して移動すれば
安定化エネルギーｅs は零である。

【００６２】安定化エネルギーｅs は、仮想バネＫＢの
変形の状態により、次の（５）式により求められる。

【００６３】

【数５】

【００６４】ただし、 ＴsA：制御点群 Ｕ〜m,Ｖ〜m ：仮想バネの端点（制御点）の初期値 Ｕm,Ｖm ：変形後の仮想バネの端点 Ｌ0m：初期状態の仮想バネの長さ， Ｌ0m＝｜Ｕ〜m −Ｖ〜m ｜ Ｍ ：仮想バネの本数 ｃ ：バネ係数 Ｌ ：種々のエネルギーを同一単位で扱うための調整用
スケール したがって、バネ係数ｃを大きくすると、仮想バネＫＢ
は硬くなって変形し難くなる。

【００６５】このような安定化エネルギー関数ｅs を導
入することにより、面Ｓの形状変化に一定の拘束を設け
ることとなり、面Ｓの過度の変形を防ぐことができる。 〔総合のエネルギー関数〕上に述べたように、各エネル
ギー関数ｅ2,ｅ3,ｅ4 について、それぞれ制御点群Ｔ2
A, Ｔ3A, ＴsAが用いられる。ここでは、これらの制御
点群Ｔ2A〜ＴsAは同じであるが、後述するように互いに
異ならせることができる。これら制御点群ＴＡを用いて
標準モデルＤＳの変形を行い、次の（６）式に示す総合
エネルギー関数ｅ（ＴＡ）を最小にする制御点群ＴＡを
求める。

【００６６】

【数６】

【００６７】ただし、 e2^s (T2A）: モデル輪郭毎の２次元画像上の輪郭との差
分エネルギー ｅ3(Ｔ3A）: ２次元画像の特徴点とモデル上の特徴点と
の差分エネルギー ｅS(ＴSA）: 過剰な変形を回避するための安定化エネル
ギー ｗi, c : それぞれのエネルギーのウエイトパラメー
タ ＴＡ＝Ｔ1A＝Ｔ2A＝Ｔ3A＝ＴSA 〔繰り返し変形〕実際には繰り返し変形を行う。つま
り、制御点を動かして繰り返して変形を行う。ｎ回目の
変形後の総合エネルギー関数をｅn(ＴＡ）とすると、次
の（７）式の条件が満たされたときに、総合エネルギー
関数ｅn （ＴＡ）が収束したと判断する。

【００６８】

【数７】

【００６９】さて、ここで、変形処理の全体的な流れを
図１３に沿って説明する。まず、２次元画像と標準モデ
ルＤＳとの間で対応する点の組みを作成する（図１８の
ＰｋとＱｋ）（＃１１１）。

【００７０】面Ｓを変形し（＃１１２）、変形後の総合
エネルギー関数ｅn(ＴＡ) を計算する（＃１１３）。総
合エネルギー関数ｅn(ＴＡ) が収束するまで（＃１１４
でＹＥＳ）、処理を繰り返す。

【００７１】総合エネルギー関数ｅn(ＴＡ）の収束を判
定する方法として、上に述べたように総合エネルギー関
数ｅn(ＴＡ）が所定の値よりも小さくなったときを収束
とする方法、前回の計算と比較べた変化の割合が所定値
以下となったときに収束とする方法など、公知の方法を
用いることが可能である。

【００７２】このようにして、２次元画像に基づいて標
準モデルをフィッティングし、３次元モデルを生成する
ことができる。なお、本実施形態では送信者３Ｈのメッ
セージに合わせて頭部のみを動かすので、頭部について
のみフィッティングを行い、それ以外の部分（例えば、
肩の部分）についてフィッティングを行う必要はない。

【００７３】その他構造化画像データ７７を生成するに
は、「Volker Blanz and Thomas Vetter.A Morphable M
odel For The Synthesis Of 3D Faces.In SIGGRAPH'99
Conference Proceedings,pages 187-194,ACM,1999 」に
記載の手法を用いてもよい。または、公知のＣＧプログ
ラムなどによって構造化してもよい。

【００７４】図３に戻って、制御データ生成部２０２
は、構造化画像データ７７の各構成点または各制御点を
動かすための制御データ７８を生成する。制御データ７
８は、構造化画像データ７７の各構成点または各制御点
の位置、その変化量、または各構成点同士または各制御
点同士の位置関係などを定めたものである。つまり、制
御データ７８に基づいて構造化画像データ７７の各構成
点または各制御点の位置を移動させることによって、送
信者３Ｈの顔の表情などを変化させることができる。例
えば、送信者３Ｈの口を閉じる場合は、制御データ７８
によって口およびその周囲の各制御点の移動量などを指
定すればよい。

【００７５】なお、メッセージ情報７４に含まれる単語
などに基づいて送信者３Ｈの感情を求め、それに合わせ
て制御データ７８を生成してもよい。例えば、「嬉し
い」という単語が含まれている場合は、目尻付近の構成
点または制御点が下がるようにするなど顔全体の表情が
緩むように制御する。なお、電子メール７αに音声デー
タ７５が添付されている場合は、音声分析部２０５が音
声データ７５を分析して得たテキストデータに基づいて
制御データ７８が生成される。

【００７６】音声合成部２０６は、メッセージ情報７４
に基づいて音声合成処理を行い、合成音声データ７５Ｂ
を生成する。音声合成処理は、種々の公知の方法によっ
て行われる。

【００７７】データ送信部２０４は、電子メール７αに
添付されているアドレス情報７１、日時情報７２、名前
情報７３、およびメッセージ情報７４または音声データ
７５、構造化画像生成部２０３によって生成された構造
化画像データ７７、および制御データ生成部２０２によ
って生成された制御データ７８を電子メール７βとして
アドレス情報７１の示すアドレスに送信する。すなわ
ち、受信者４Ｈに電子メール７βを送信する。メッセー
ジ情報７４の代わりに音声合成部２０６によって生成さ
れた合成音声データ７５Ｂを添付してもよい。

【００７８】図１に戻って、受信端末装置４は、送信端
末装置３と同様に、処理装置４０、磁気ディスク装置４
１、ディスプレイ装置４２、キーボード４３、マウス４
４、および通信制御装置４５などによって構成される。

【００７９】磁気ディスク装置４１には、オペレーティ
ングシステム、電子メール用アプリケーションおよび画
像処理アプリケーションなどのプログラム、および送信
者３Ｈから受け取った電子メール７βなどのデータが記
憶される。

【００８０】ディスプレイ装置４２の表示面ＨＧには、
受信した電子メール７βの内容が表示される。また、電
子メール７βに音声ファイル７５または７５Ｂが添付さ
れている場合は、ディスプレイ装置４２のスピーカから
送信者３Ｈのメッセージが音声により出力される。

【００８１】図５は受信端末装置４の機能的構成の例を
示す図、図６は電子メール受信画面ＨＧ２の例を示す図
である。このような構成によって、受信端末装置４に
は、図５に示すように、電子メール受信部４０１、画像
表示部４０２、メッセージ表示部４０３、および音声出
力部４０４などが設けられる。

【００８２】電子メール受信部４０１は、受信者４Ｈの
メールサーバにアクセスするなどして電子メール７βを
受信する。画像表示部４０２は、受信した電子メール７
βに含まれる構造化画像データ７７および制御データ７
８に基づいて送信者３Ｈの顔の構造化画像ＩＭを生成
し、図６に示すように電子メール受信画面ＨＧ２の顔画
像ウィンドウＷＮ２１に構造化画像ＩＭを表示する。構
造化画像ＩＭは、制御データ７８に基づいて構造化画像
データ７７の各構成点または各制御点を動かして送信者
３Ｈの表情を変化させ、所定の方向から投影変換するこ
とによって生成される。

【００８３】メッセージ表示部４０３は、電子メール７
βに含まれるメッセージ情報７４の内容をメッセージウ
ィンドウＷＮ２２に表示する。そして、顔画像ウィンド
ウＷＮ２１の構造化画像ＩＭがメッセージを読み進める
のに従って、読み終えた部分のテキストの色を順次変更
して表示する。例えば、図６の例の場合は、読み終えた
部分「お久しぶりです。ごきげ」のテキストの色を反転
表示させている。これにより、受信者４Ｈは、構造化画
像ＩＭがメッセージのどの部分を読んでいるのかを容易
に知ることができる。

【００８４】なお、メッセージ情報７４の代わりに合成
音声データ７５Ｂまたは音声データ７５が添付されてい
る場合は、音声出力部４０４は、これらの音声データ７
５、７５Ｂに基づいて送信者３Ｈのメッセージを音声で
出力する。

【００８５】音声の出力と構造化画像ＩＭの動作とのタ
イミングは、音声の出力に構造化画像ＩＭの動作を合わ
せるようにしてもよい。または、音声の出力を標準的な
読み上げの速度に調整し、これに構造化画像ＩＭの動作
を合わせてもよい。

【００８６】ここで、中継サーバ２、送信端末装置３、
および受信端末装置４の処理の流れを、フローチャート
を参照して説明する。図７はメッセージ送信システム１
を構成する各装置の処理の流れを説明するフローチャー
トである。

【００８７】図７（ａ）に示すように、送信処理端末３
において、送信者３Ｈの顔の２次元画像データ７６およ
びメッセージ情報７４などが添付した電子メール７αを
受信者４Ｈへ送信される（＃１１）。

【００８８】図７（ｂ）に示すように、中継サーバ２に
おいて、電子メール７αが受信される（＃２１）。２次
元画像データ７６に基づいてフィッティングの処理が行
われ、送信者３Ｈの頭部の構造化画像データ７７が生成
される（＃２２）。これと前後してまたは並行して、メ
ッセージ情報７４に基づいて制御データ７８が生成され
る（＃２３）。構造化画像データ７７、制御データ７
８、およびメッセージ情報７４などを添付した電子メー
ル７βが受信者４Ｈへ送信される（＃２４）。

【００８９】図７（ｃ）に示すように、受信端末装置４
において、電子メール７βが受信される（＃３１）。受
信者４Ｈによって電子メール７βが開かれると、制御デ
ータ７８に基づいて構造化画像データ７７の制御点など
を動かして送信者３Ｈの顔の構造化画像ＩＭが生成され
る（＃３２）。そして、生成された構造化画像ＩＭが送
信者３Ｈのメッセージとともに出力される（＃３３）。

【００９０】本実施形態によると、送信者の２次元画像
およびメッセージに基づいて容易に送信者の構造化画像
を生成し、これを動かしてアニメーションを生成するこ
とができる。また、構造化画像を用いることによってメ
ッセージの内容に合わせて口の形状を自由に変化させる
ことができる。２次元画像は公知のデジタルカメラなど
を用いて取得することができ、また、メッセージは従来
の電子メールと同様に作成すればよいので、操作が簡単
である。

【００９１】本実施形態では、電子メールを用いて送信
者３Ｈから受信者４Ｈへのメッセージの受け渡しを行っ
たが、中継サーバ２のＷＷＷページ（ホームページ）を
介して受け渡しを行ってもよい。

【００９２】すなわち、中継サーバ２に、ＷＷＷサーバ
用プログラムなどをインストールし、ＷＷＷページを設
ける。送信端末装置３および受信端末装置４に、ＷＷＷ
ブラウザをインストールしておく。

【００９３】図８は送信端末装置３のＷＷＷブラウザ画
面ＨＧ３の例を示す図、図９は受信端末装置４のＷＷＷ
ブラウザ画面ＨＧ４の例を示す図である。送信者３Ｈ
は、図８に示すＷＷＷブラウザ画面ＨＧ３のＵＲＬ指定
ボックスＢＸ３７に所定のＵＲＬ（Uniform Resource L
ocator）を入力し、中継サーバ２のメッセージ入力用の
ＷＷＷページにアクセスする。そして、各ボックスＢＸ
３１〜３６に、図４の場合と同様にメッセージなどを入
力しまたは指定する。

【００９４】一方、受信者４Ｈは、送信者３Ｈからメッ
セージが届いている旨およびメッセージ確認用のＷＷＷ
ページのＵＲＬの記載された電子メールを受け取る。そ
して、図９に示すＷＷＷブラウザ画面ＨＧ４のＵＲＬ指
定ボックスＢＸ４１に所定のＵＲＬを入力して中継サー
バ２のメッセージ確認用のＷＷＷページにアクセスし、
図６の場合と同様に顔画像ウィンドウＷＮ４１またはメ
ッセージウィンドウＷＮ２２を見ながら送信者３Ｈのメ
ッセージを確認する。なお、選択ボタンＢＮ４１が選択
されている場合は、送信者３Ｈの構造化画像ＩＭの動き
に合わせてテキストが反転表示される。選択ボタンＢＮ
４２が選択されている場合は、中継サーバ２によって合
成された音声が出力される。メッセージとして音声デー
タ７５が用いられている場合は、選択ボタンＢＮ４３が
選択され、音声データ７５に基づいて音声が出力され
る。

【００９５】ＷＷＷページを用いることによって、例え
ば、添付ファイルが制限されているなど電子メールの送
受信が制限されているネットワーク環境であっても、メ
ッセージのやり取りをすることができる。

【００９６】本実施形態では、中継サーバ２によって構
造化画像データ７７および制御データ７８を生成した
が、中継サーバ２を用いずに送信端末装置３または受信
端末装置４によってこれらを生成するように構成しても
よい。

【００９７】図１０は送信端末装置３Ｂによって構造化
画像データ７７などを生成する場合のメッセージ送信シ
ステム１Ｂの構成の例を示す図、図１１は受信端末装置
４Ｂによって構造化画像データ７７などを生成する場合
のメッセージ送信システム１Ｃの構成の例を示す図であ
る。

【００９８】例えば、中継サーバ２にインストールされ
ていたモデリングプログラム２１ｐ２を送信端末装置３
Ｂにインストールする。これにより、図１０に示すよう
に、送信端末装置３Ｂに構造化画像生成部３１１および
制御データ生成部３１２が設けられる。構造化画像生成
部３１１および制御データ生成部３１２は、それぞれ、
図３に示す制御データ生成部２０２および構造化画像生
成部２０３と同様に、送信者３Ｈの２次元画像データ７
６またはメッセージ情報７４などに基づいて構造化画像
データ７７および制御データ７８を生成する。生成され
た構造化画像データ７７および制御データ７８は、メッ
セージ情報７４とともに、中継サーバ２を経由すること
なく受信端末装置４に送信される。

【００９９】または、モデリングプログラム２１ｐ２を
受信端末装置４にインストールし、図１１に示すよう
に、受信端末装置４Ｂに構造化画像生成部４１１および
制御データ生成部４１２を設けてもよい。

【０１００】本実施形態では、３次元の標準モデルを送
信者３Ｈの２次元画像にフィッティングし３次元的に構
造化したが、２次元的に構造化してもよい。例えば、２
次元の標準モデルを送信者３Ｈの２次元画像にフィッテ
ィングしてもよい。

【０１０１】その他、本発明のメッセージ送信システム
１、１Ｂ、１Ｃ、送信端末装置３、受信端末装置４、ま
たはネットワーク５の全体または各部の構成、処理内
容、処理順序などは、本発明の趣旨に沿って適宜変更す
ることができる。

【０１０２】

【発明の効果】本発明によると、送信者のメッセージを
リアルに読み上げる画像を容易に作成し、メッセージと
画像とを相手に送信することができる。

【図面の簡単な説明】

【図１】本発明に係るメッセージ送信システムの構成の
例を示す図である。

【図２】磁気ディスク装置に記憶されているプログラム
およびデータの例を示す図である。

【図３】中継サーバの機能的構成の例を示す図である。

【図４】電子メール用アプリケーションの電子メール送
信画面の例を示す図である。

【図５】受信端末装置の機能的構成の例を示す図であ
る。

【図６】電子メール受信画面の例を示す図である。

【図７】メッセージ送信システムを構成する各装置の処
理の流れを説明するフローチャートである。

【図８】送信端末装置のＷＷＷブラウザ画面の例を示す
図である。

【図９】受信端末装置のＷＷＷブラウザ画面の例を示す
図である。

【図１０】送信端末装置によって構造化画像データなど
を生成する場合のメッセージ送信システムの構成の例を
示す図である。

【図１１】受信端末装置によって構造化画像データなど
を生成する場合のメッセージ送信システムの構成の例を
示す図である。

【図１２】２次元画像に基づく標準モデルのフィッティ
ング処理の流れを示すフローチャートである。

【図１３】変形処理を示すフローチャートである。

【図１４】標準モデルの例を示す図である。

【図１５】特徴点の対応の様子を示す図である。

【図１６】輪郭の対応の様子を示す図である。

【図１７】概略の位置合わせの様子を示す図である。

【図１８】標準モデルの輪郭と２次元画像の点とを模式
的に示す図である。

【図１９】標準モデルの異常変形を防ぐための仮想バネ
を説明するための図である。

【符号の簡単な説明】

１、１Ｂ、１Ｃ メッセージ送信システム ２ 中継サーバ（画像データ生成システム、サーバ） ２１ 磁気ディスク装置（記憶手段、記録媒体） ２０１ データ受信部（２次元画像入力手段、メッセー
ジ入力手段、アドレス入力手段） ２０２ 制御データ生成部（制御データ生成手段） ２０３ 構造化画像生成部（構造化画像生成手段） ２０４ データ送信部（送信手段） ２０５ 音声分析部（音声分析手段） ３Ｂ 送信端末装置（画像データ生成システム） ３１１、４１１ 構造化画像生成部（構造化画像生成手
段） ３１２、４１２ 制御データ生成部（制御データ生成手
段） ４Ｂ 受信端末装置（画像データ生成システム） ５ ネットワーク ７４ メッセージ情報（文章データ、メッセージ） ７５ 音声データ（メッセージ） ７６ ２次元画像データ（２次元画像、顔画像） ７７ 構造化画像データ ７８ 制御データ ＤＳ 標準モデル ＨＧ 表示面 ＩＭ 構造化画像

───────────────────────────────────────────────────── フロントページの続き (72)発明者 遠山 修 大阪府大阪市中央区安土町二丁目３番13号 大阪国際ビル ミノルタ株式会社内 Ｆターム(参考） 5B050 AA08 BA08 BA12 CA05 CA06 CA07 CA08 EA03 EA19 EA20 EA24 EA28 FA02 FA09 5B057 AA20 CA12 CB13 CC03 CD14 CE08 CH01 DA16 5E501 AA13 AB15 AC15 BA03 CA02 FA22

Claims (12)

【特許請求の範囲】
1. 【請求項１】メッセージを入力するメッセージ入力手段
   と、 前記メッセージに関連した２次元画像を入力する２次元
   画像入力手段と、 前記２次元画像を構造化し、前記メッセージの送信先の
   表示面に構造化画像を表示するための構造化画像データ
   を生成する構造化画像生成手段と、 前記メッセージの出力に合わせて前記構造化画像を動作
   させるための制御データを生成する制御データ生成手段
   と、 前記メッセージとともに前記構造化画像データおよび前
   記制御データを前記送信先に送信する送信手段と、 を有してなることを特徴とするメッセージ送信システ
   ム。
2. 【請求項２】メッセージを入力し、 前記メッセージに関連した２次元画像を入力し、 前記２次元画像を構造化し、前記メッセージの送信先の
   表示面に構造化画像を表示するための構造化画像データ
   を生成し、 前記メッセージの出力に合わせて前記構造化画像を動作
   させるための制御データを生成し、 前記メッセージとともに前記構造化画像データおよび前
   記制御データを前記送信先に送信する、 ことを特徴とするメッセージ送信方法。
3. 【請求項３】ネットワーク上に、メッセージを送信元か
   ら前記送信先に中継するサーバを設け、 前記サーバによって、 前記メッセージおよび前記２次元画像を、ネットワーク
   を介して前記送信元から受信して入力し、 前記構造化画像データおよび前記制御データを生成し、 前記メッセージとともに前記構造化画像データおよび前
   記制御データを送信する、 請求項２記載のメッセージ送信方法。
4. 【請求項４】前記送信元が選択した人物の顔画像を前記
   ２次元画像として入力し、 複数の点からなる人間の頭部の３次元モデルを用意し、 前記３次元モデルを前記顔画像にフィッティングするこ
   とによって、前記構造化画像データを生成する、 請求項３記載のメッセージ送信方法。
5. 【請求項５】メッセージの出力に合わせて動作する画像
   を表示するためのデータを生成する画像データ生成シス
   テムであって、 前記メッセージを入力するメッセージ入力手段と、 前記メッセージに関連した２次元画像を入力する２次元
   画像入力手段と、 前記２次元画像を構造化し、前記メッセージの送信先の
   表示面に構造化画像を表示するための構造化画像データ
   を生成する構造化画像生成手段と、 前記メッセージの出力に合わせて前記構造化画像を動作
   させるための制御データを生成する制御データ生成手段
   と、 を有してなることを特徴とする画像データ生成システ
   ム。
6. 【請求項６】前記２次元画像入力手段および前記メッセ
   ージ入力手段は、それぞれ、ネットワークを介して前記
   メッセージの送信元から前記２次元画像および前記メッ
   セージを受信して入力する、 請求項５記載の画像データ生成システム。
7. 【請求項７】前記送信先の電子メールアドレスを入力す
   るアドレス入力手段と、 前記電子メールアドレスに基づいて前記メッセージ、前
   記構造化画像データ、および前記制御データを前記送信
   先に送信するデータ送信手段と、を有してなる、 請求項６記載の画像データ生成システム。
8. 【請求項８】前記メッセージ入力手段は、前記メッセー
   ジを文章データとして入力し、 前記制御データ生成手段は、前記文章データに基づいて
   前記制御データを生成する、 請求項６または請求項７に記載の画像データ生成システ
   ム。
9. 【請求項９】音声データを分析して当該音声データから
   文章データを抽出する音声認識手段を有し、 前記メッセージ入力手段は、前記メッセージを音声デー
   タとして入力し、 前記音声認識手段は、前記メッセージ入力手段によって
   入力された音声データに基づいて文章データを抽出し、 前記制御データ生成手段は、前記音声認識手段によって
   抽出された文章データに基づいて前記制御データを生成
   する、 請求項６ないし請求項８のいずれかに記載の画像データ
   生成システム。
10. 【請求項１０】複数の点からなる人間の頭部の３次元モ
    デルを記憶する記憶手段を有し、 前記２次元画像入力手段は、前記送信元が選択した人物
    の顔画像を前記２次元画像として入力し、 前記構造化画像生成手段は、前記３次元モデルを前記顔
    画像にフィッティングすることによって前記構造化画像
    データを生成する、 請求項６ないし請求項９のいずれかに記載の画像データ
    生成システム。
11. 【請求項１１】メッセージを送信元から送信先に中継す
    るコンピュータに用いられるコンピュータプログラムで
    あって、 前記メッセージを受信する処理、 前記メッセージに関連した２次元画像を受信する処理、 前記２次元画像を構造化し、前記送信先の表示面に構造
    化画像を表示するための構造化画像データを生成する処
    理、 前記メッセージの出力に合わせて前記構造化画像を動作
    させるための制御データを生成する処理、および、 前記メッセージとともに前記構造化画像データおよび前
    記制御データを前記送信先に送信する処理、 をコンピュータに実行させるためのコンピュータプログ
    ラム。
12. 【請求項１２】請求項１１記載のコンピュータプログラ
    ムが記録されたコンピュータ読み取り可能な記録媒体。