JP2004070685A - Electronic device and receiving and reproducing method of e-mail with portrait - Google Patents

Electronic device and receiving and reproducing method of e-mail with portrait Download PDF

Info

Publication number
JP2004070685A
JP2004070685A JP2002229561A JP2002229561A JP2004070685A JP 2004070685 A JP2004070685 A JP 2004070685A JP 2002229561 A JP2002229561 A JP 2002229561A JP 2002229561 A JP2002229561 A JP 2002229561A JP 2004070685 A JP2004070685 A JP 2004070685A
Authority
JP
Japan
Prior art keywords
data
mail
portrait
material data
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002229561A
Other languages
Japanese (ja)
Inventor
Shinichi Nakamoto
中本 伸一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hudson Soft Co Ltd
Original Assignee
Hudson Soft Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hudson Soft Co Ltd filed Critical Hudson Soft Co Ltd
Priority to JP2002229561A priority Critical patent/JP2004070685A/en
Publication of JP2004070685A publication Critical patent/JP2004070685A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide an electronic device and receiving and reproducing method of e-mail enabling a receiver to receive and reproduce an image with the expressive facial signs of a sender of e-mail with a further minimized data quantity. <P>SOLUTION: The cellular phone 3 of the receiver of the e-mail receives material data comprising the coordinate data and movement data of a portrait model of data constituting a three-dimensional animation image of the sender's portrait. The material data are attached to the e-mail or received by the transfer of a file preliminarily stored in a server 5 on a network 6. The image arithmetic device of the cellular phone 3 executes geometric operation and drawing operation by use of the material data to reconfigure and draw the portrait image of three-dimensional animation. <P>COPYRIGHT: (C)2004,JPO

Description

【0001】
【発明の属する技術分野】
本発明は、電子装置、および似顔絵付き電子メールの受信再生方法に関し、特に電子メールの送り手が文章の意図や感情を豊かに表現するために作成した似顔絵付きの電子メールを受信再生する用途に適した電子装置、および似顔絵付き電子メールの受信再生方法に関する。
【0002】
【従来の技術】
近年のディジタル技術を駆使した様々な電子装置の登場は、人々の情報伝達方法に大きな変化をもたらしている。インターネットを含む通信回線に接続されたパーソナルコンピュータは、ユーザが各種の情報伝達、意思疎通に電子メールを利用することを可能としたが、電子メール送受信機能を有する携帯電話機の普及によって、パーソナルコンピュータを持たないユーザにも電子メールは広く利用されるようになっている。
【0003】
ところで、電子メールを送信する場合、送り手が受け手に伝えたい内容を主に文章で表現し、受け手に送信する。そこで、送り手が言外の意図や感情を表現したい場合、文字を組み合わせたいわゆる顔文字ないし顔マークを作成し、文章に含めることが一般的であった。しかしながら、顔文字や顔マークではキー入力可能な文字の種類によって表現内容が制限されるため、表現が乏しくなりがちであり、特に送り手毎の表情の違いを表現することは困難であった。
【0004】
上記の問題点を解決するために、顔の画像を入力する顔画像入力手段と、顔の表情を決定する表情決定手段と、顔画像入力手段によって入力された顔画像を表情決定手段によって決定された表情に変換する顔画像変換手段と、文章を入力する文章入力手段と、顔画像変換手段によって変換された顔画像と文章入力手段によって入力された文章をレイアウトする文章レイアウト手段によって構成される顔マーク入力装置が提案されている(特開平10−149433号公報)。この顔マーク入力装置によれば、カメラなどで撮影された人間の顔を、モデルベース符号化の技術を用いて、笑った顔、泣いた顔などの指定した表情に変化させ、文章と変化させた表情の顔画像とが混在させられる。
【0005】
【発明が解決しようとする課題】
特開平10−149433号公報に開示された技術によれば、文章の中に送り手の喜怒哀楽の表情を表現した顔画像がレイアウトされた電子メールを受け手に送信することができる。
しかしながら、電子メールの受け手は、文章データに加え、顔画像を構成する大量の画像データを受信しなければならない。したがって、受け手側の通信環境、例えば回線のデータ伝送速度、電子メール送受信用の電子装置の動作仕様に依存してデータの受信完了までに長時間を要する場合があり、この間電子メールの利用ができないことがある。また、送受信されたデータ量に応じて通信料が課金されるサービスが一般的な携帯電話機を利用して、電子メールの送受信を頻繁に行うユーザの、電子メール1件あたりの通信コストを増大させるので、高額な通信料を負担したくないユーザにとり、更にデータサイズが大きくなる動画像付き電子メールの受信は甚だ迷惑である。
【0006】
そこで、本発明の目的は、電子メールの送り手の表情を豊かに表現した画像を、より少ないデータ量で受け手が受信し再生できるようにした電子装置、およびそのような電子メールの受信再生方法を提供することにある。
【0007】
【課題を解決するための手段】
上記の目的を達成するために、本発明に係る電子装置は、電子メールを受信する受信手段と、3次元グラフィック生成手段によってあらかじめ生成された、電子メール送信者の似顔絵の3次元アニメーション画像を構成しているデータのうち、似顔絵モデルの座標データ及び動きデータを素材データとして当該電子メールと関連付けて取得する素材データ取得手段と、取得した前記素材データを用いて幾何演算と描画演算を実行し、似顔絵の3次元アニメーション画像を再構成し描画する画像演算装置と、前記電子メールの本文及び前記描画画像を表示する表示手段とを備えている。
【0008】
本発明に係る電子装置は、電子メール送信者の似顔絵の3次元アニメーション画像を構成しているデータのうち、似顔絵モデルの座標データ及び動きデータを素材データとして当該電子メールと関連付けて取得する。画像演算装置は、取得した素材データを用いて幾何演算と描画演算を実行し、3次元アニメーションの似顔絵画像を再構成し描画する。したがって、3次元アニメーション画像を構成しているデータの一部を受信するだけで、送信者の似顔絵の3次元アニメーション画像をディスプレイ等の表示手段により再生表示することができる。これにより、受信するデータ量を少なくし、送り手の表情がより豊かに表現された似顔絵付き電子メールを、低い通信コストで受信することができる。
【0009】
一つの実施態様において、前記取得手段は、受信した前記電子メールに付加された前記素材データを抽出する抽出手段を含む。抽出手段は、例えば、電子メールデータの受信パケットに含まれるヘッダー情報を調べ、素材データを識別し分離する。また、別の実施態様において、前記取得手段は、ネットワーク上の格納手段にあらかじめ格納された前記素材データの転送を要求する転送要求手段を含む。転送要求手段は、例えば、電子メールの本文に含まれるURL(Uniform Resource Locator)情報である。転送要求手段は、電子装置のキー入力その他の操作に応じて、ネットワーク上のデータベース等の格納手段にあらかじめ格納された素材データのファイル転送要求を送信し、その応答としてその素材データを受信する。
【0010】
本発明において素材データは、好ましくは、前記似顔絵モデルのポリゴン座標データと、前記似顔絵モデルの動きに対応するポリゴン座標の差分データである。素材データは、一組のポリゴン座標データによって特定される一つの3次元似顔絵モデルにおける、ポリゴン毎の色と質感、およびマッピングを含む属性の設定データを含んでいてもよい。
【0011】
本発明に係る電子装置における似顔絵付き電子メールの受信再生方法は、3次元グラフィック生成手段によってあらかじめ生成された、電子メール送信者の似顔絵の3次元アニメーション画像を構成しているデータのうち、似顔絵モデルの座標データ及び動きデータを素材データとして当該電子メールと関連付けて受信するステップと、受信した前記素材データを用いて3次元アニメーション画像を再構成し表示画面に表示するステップとからなる。
【0012】
本発明の一つの実施態様では、前記受信ステップにおいて前記電子メールに付加された前記素材データを受信する。
また、別の実施態様では、前記素材データがネットワーク上の格納手段に格納されており、前記電子メールデータに含まれるアクセス手段を通じてアクセスされることにより前記素材データが前記格納手段から前記受信者の電子メール受信端末に転送される。その場合、前記アクセス手段が前記格納手段に格納された素材データの転送要求手段を含むことが好ましい。
【0013】
本発明において似顔絵とは、個々の人間の顔に似せて作成されたコンピュータ画像をいい、ディジタルカメラその他の機器により取り込んだ人間の顔を実写した画像は含まない。また、本発明において似顔絵の3次元アニメーション画像とは、3次元の似顔絵モデルに対し所定のアニメーション技法により動きを与え生成したアニメーション画像をいう。また、その動きの付与のために、キーフレーム法、モーフィング法、スケルトン法、インバースキネマティクス、その他のアニメーション技法を、単独でまたはそれらの技法を組み合わせて用いてもよい。
【0014】
【発明の実施の形態】
以下、本発明の好ましい実施の形態を、図面に基づき説明する。なお、本発明は、以下の実施の形態に限定されるものではなく、特許請求の範囲に記載した技術思想の範囲内において種々の変更が可能なのはいうまでもない。
【0015】
図1は、本発明の一実施形態に係る似顔絵付き電子メールの受信再生方法を実施する電子メールシステムの全体構成例を示すブロック図である。電子メールシステム1は、図示のとおり、パーソナルコンピュータ2、携帯電話機3、メールサーバ4、サーバ5、ネットワーク6、無線基地局7から構成されている。パーソナルコンピュータ2、メールサーバ4、サーバ5は、ネットワーク6に接続されている。また、携帯電話機3は、無線基地局7と、移動通信網8および図示しないゲートウェイ・サーバを介して、ネットワーク6に接続されている。
【0016】
図2は、似顔絵付き電子メールの送り手が操作するパーソナルコンピュータ2のブロック図である。パーソナルコンピュータ2は、CPU21と、RAM22と、ハードディスク等の記憶装置23と、キーボードおよびマウス等の入力装置24と、LCD(Liquid Crystal Display)等のディスプレイ25、並びに3Dグラフィックス・ボードまたはチップ26及びビデオ・メモリ27を備えている。また、パーソナルコンピュータ2には、ネットワーク6を通じてデータを送受信するためのDSU(Digital Service Unit)およびTA(Terminal Adaptor)、モデム、またはスプリッタ等の通信制御機器28が、内蔵または接続されている。
【0017】
パーソナルコンピュータ2の記憶装置23には、OS(Operating System)、電子メール・ソフトウェア(メーラー)、3次元アニメーション作成・ソフトウェア(3Dアニメーションソフト)、FTPクライアント・ソフトウェア(FTPソフト)のプログラムとデータが格納されている。パーソナルコンピュータ2は、OSに組み込まれ、またはオプションとして追加された、3次元グラフィックスの高速描画のためのAPI(Application Program Interface)を備える。CPU21は、記憶装置23から所定のプログラムを読み出し、これをRAM22のワークエリアに展開して所定の処理を実行する。例えば、メーラーを起動させると、CPU21は、メーラーのプログラムを記憶装置23から読み出してRAM22のワークエリアに展開し、ディスプレイ25上に所定の画面を表示させ、待機する。メーラーは、キーボードまたはマウス等の入力装置24による入力に応じて、電子メールの作成、電子メールの送受信、電子メールへのファイル添付その他の機能を実現する。
【0018】
3Dアニメーションソフトは、3次元アニメーション画像の生成機能と再生機能を実現する。本実施形態において、3Dアニメーションソフトは、好ましくは、似顔絵の3次元アニメーション画像を生成するための支援機能を、ユーザに提供する。例えば、マウス操作等によって人間の顔の3次元ポリゴンモデルをディスプレイ25上に生成し、また、生成したポリゴンモデルのポリゴン座標を移動して変形させ、ユーザの顔に似せたポリゴンモデル(3次元似顔絵モデル)を生成するモデリング機能、3次元似顔絵モデルに動きを付与するアニメーション機能、3次元似顔絵モデルのポリゴン毎に、色、質感等の属性を設定する属性設定機能、3次元似顔絵モデルにレンダリングを行うレンダリング機能等である。なお、3Dアニメーションソフトは、原型となる人間の顔の3次元ポリゴンモデル(原形モデル)のデータライブラリをあらかじめ備えていてもよい。
【0019】
本実施形態において、3Dアニメーションソフトは、完成した似顔絵の3次元アニメーション画像のデータファイルから、少なくとも3次元似顔絵モデルのポリゴン座標データと動きデータを切り出した、素材データファイルを生成する機能を備える。なお、ポリゴン毎に設定された色、質感等の属性データを素材データファイルに含めることは任意である。パーソナルコンピュータ2の記憶装置は、素材データファイルを格納する格納領域を有する。
【0020】
パーソナルコンピュータ2の3Dグラフィックス・ボードまたはチップ26は、3次元アニメーション画像を高速描画するために用いられる。すなわち、3Dグラフィックス・ボードまたはチップは、3次元モデルを構成しているポリゴン座標の座標変換等を行う幾何演算処理と、ラスタ変換、シェーディング処理等の描画演算処理を実行し、ピクセル単位の2次元表示データをフレーム毎に生成する。時系列のフレームデータは、ビデオ・メモリ27に一時蓄積された後、順次読み出されることによって、3次元のアニメーション画像がディスプレイ25に再生される。
【0021】
図3は、携帯電話機3のブロック図である。携帯電話機3は、CPU31、RAM32、記憶装置33、音声入出力ユニット34、キー入力装置35、3Dグラフィックス・チップ36、グラフィック・メモリ37、LCD38、無線通信制御ユニット39を含む。
【0022】
記憶装置33は、携帯電話機のOSのほかに、電子メール・ソフトウェア(メーラー)、Webブラウザ・ソフトウェア(ブラウザソフト)、更に3次元アニメーション描画用・ソフトウェア(3D描画ソフト)のプログラムおよびデータを格納する。
【0023】
3Dグラフィックス・チップ36は、3次元グラフィックスを高速描画するために、3D描画ソフトに組み込まれた幾何演算処理プログラムおよび描画演算処理プログラムを実行し、2次元表示データを生成する。時系列のフレームデータは、グラフィック・メモリ37に一時蓄積された後、順次読み出されることによって、3次元のアニメーション画像がLCD38に表示される。
【0024】
無線通信制御ユニット39は、携帯電話機3と無線基地局7との間の各種ディジタル信号ないしデータ伝送を制御する。すなわち、携帯電話機3の回線接続/切断信号、会話音声信号、電子メールデータ、Webブラウザにより閲覧したWebページのデータ等の伝送を制御する。
【0025】
メーラーは、キー入力装置35による入力に応じて電子メールの作成、電子メールの送受信を行う機能のほかに、電子メールに添付されたデータファイルを分離してRAM32または記憶装置33に一時格納する機能をも実現する。
【0026】
携帯電話機3に搭載されるブラウザソフトとして、各種のマークアップ言語、例えば、コンパクトHTML(HyperText Markup Language)、HDML(Handheld Device Markup Language)、WML(Wireless Markup Language)を使用したブラウザがあるが、移動通信網8および図示しないゲートウェイ・サーバを介してネットワーク6上のサーバ5にアクセスを可能とするものであれば、特にこれを限定しない。
【0027】
3D描画ソフトは、3Dグラフィックス・チップ36他を動作させることにより、ポリゴン座標データに基づいてポリゴンモデルを生成するモデリング機能、動きデータに基づいてポリゴンモデルに動きを付与するアニメーション機能、ポリゴンモデルにレンダリングを行うレンダリング機能を実現する。また、3D描画ソフトは、ポリゴン座標データおよび動きデータをインポートするインポート機能を有する。
【0028】
なお、ポリゴンモデルのレンダリングにおいて、ポリゴンモデルのポリゴン毎に設定された色、質感等の属性データを利用し、より現実の対象物に近い描画を行うよう拡張してもよい。
【0029】
メールサーバ4は、パーソナルコンピュータ2に搭載したメーラーの設定に従い、ネットワーク6との間の電子メールの送受信を管理する。
サーバ5は、後述するように似顔絵アニメーション画像の素材データファイル自体が電子メールに添付されない実施態様において、特に利用される。すなわち、サーバ5は、パーソナルコンピュータ2から転送される素材データファイルを、ネットワーク6を介して受け付け、転送された素材データファイルを、サーバに内蔵されまたはサーバに接続された図示しない格納装置に格納し、携帯電話機3からのアクセスがあった場合、その素材データファイルを携帯電話機3に転送する。
【0030】
以下、送り手がパーソナルコンピュータ2を操作して作成した似顔絵付き電子メールを、受け手が携帯電話機3により受信し再生する実施例を、図面を参照して詳細に説明する。
【0031】
[第1の実施例]
図4、図5および図6は、第1の実施例に関し、パーソナルコンピュータ2、携帯電話機3の動作を示すフローチャートである。
【0032】
1.似顔絵の3次元アニメーション画像の作成(パーソナルコンピュータ2の動作)[図4]
まず、似顔絵付き電子メールの送り手の操作によって、パーソナルコンピュータ2は、送り手の似顔絵の3次元アニメーション画像を作成する。3Dアニメーションソフトを起動させると、CPU21は、3Dアニメーションソフトのプログラムを記憶装置23から読み出してRAM22のワークエリアに展開し、ディスプレイ25上に所定の画面を表示させ、待機する(ステップS11)。CPU21は、マウス等の入力装置24の操作入力に応じて、ディスプレイ25上に人間の顔の3次元ポリゴンモデル(原型ポリゴンモデル)を生成する(ステップS12)。3Dグラフィックス・ボードまたはチップ26は、生成された3次元ポリゴンモデルのポリゴン座標データに基づき、幾何演算処理および描画演算処理を実行し、ピクセル単位の2次元表示データがビデオ・メモリ27に一時蓄積され、原型ポリゴンモデルの画像をディスプレイ25に表示する(ステップS13)。この際、3Dアニメーションソフトが、原型となる人間の顔の複数の3次元ポリゴンモデルを用意したデータライブラリを有するときは、この原形ポリゴンモデル作成ステップを省略し、任意に選択された原型ポリゴンモデルを記憶装置23から読み出して、ディスプレイ25に表示してもよい。
【0033】
CPU21は、ディスプレイ25上の原型ポリゴンモデルのポリゴン座標をドラッグし移動するマウス操作(変形操作)に応じて、移動後のポリゴン座標を計算する(ステップS14)。3Dグラフィックス・ボードまたはチップ26は、移動後のポリゴン座標データに基づき、幾何演算処理および描画演算処理を実行し、ビデオ・メモリ27の2次元表示データを更新し、変形後のポリゴンモデルの画像をディスプレイ25上に表示する(ステップS15)。この変形操作を、原形モデルの目、鼻、口、耳、眉毛その他の部位のポリゴン座標について行い、ユーザの顔に似せたポリゴンモデル(3次元似顔絵モデル)を生成する(ステップS16)。
【0034】
CPU21は、所定のマウス操作等の操作入力に応じて、モデリング工程によって完成した3次元似顔絵モデルに動きを与える。動きの付与は、顔の表情の変化(喜怒哀楽)のみならず、頭部の前後左右への傾斜または回転等、顔の一部または全部の動きに関するものであってもよい。動きの付与のために、キーフレーム法、モーフィング法、スケルトン法、インバースキネマティクス、その他のアニメーション技法を、単独でまたはそれらの技法が組み合わせられて用いられてもよい。CPU21は、動きに応じて移動するポリゴン座標を計算する(ステップS17)。そして、CPU21は、3Dグラフィックス・ボードまたはチップ26に、そのポリゴン座標データに基づき幾何演算処理および描画演算処理を実行させる。3Dグラフィックス・ボードまたはチップ26は、動きにつれて順次生成される2次元表示データを、ビデオ・メモリ27に一時格納し、動きのある画像をディスプレイ25上に表示する(ステップS18)。
以上のステップにより、似顔絵の3次元アニメーションデータが完成する(ステップS19)。
【0035】
なお、似顔絵の3次元アニメーション画像の生成に際し、3次元似顔絵モデルのポリゴン毎に、色、質感等の属性が追加的に設定されてもよい。3Dグラフィックス・ボードまたはチップ26による描画演算処理は、変形操作、動き付与が属性の設定やその変更を含む場合、その設定されたまたは変更された属性データに基づいて、より精細なレンダリングを実行する。
【0036】
また、CPU21は、マウス等の入力装置24の入力操作に応じて、完成した似顔絵の3次元アニメーションデータから素材データ、すなわちポリゴン座標データおよび動きデータを取り出す。動きデータは、好ましくは3次元似顔絵モデルの動きに対応するポリゴン座標の差分データである。CPU21は、取り出された素材データファイルを記憶装置23の素材データ格納領域に格納する(ステップS20)。
【0037】
2.似顔絵付き電子メールの作成と送信(パーソナルコンピュータ2の動作)[図5]
次に、似顔絵付き電子メールの送り手の操作によって、パーソナルコンピュータ2は、似顔絵付き送信メールを作成し、受け手に送信する。
【0038】
メーラーを起動させると、CPU21は、メーラーのプログラムを記憶装置23から読み出してRAM22のワークエリアに展開し、ディスプレイ25上に所定の画面を表示させ、待機する(ステップS21)。図示しないメール作成画面において、入力装置24の操作に応じて、宛先(受け手の電子メールアドレス)、タイトル、およびメール本文を入力する(ステップS22)。記憶装置23に格納された素材データファイルを添付ファイルとして選択し、電子メールに添付する(ステップS23)。こうして準備された似顔絵付き電子メールを、受け手に送信する(ステップS24)。ここでの送り手の操作は、通常の添付ファイル付き電子メールの作成および送信の操作と同様であるので、その操作に応じたCPU21によるパーソナルコンピュータ2の各部の制御やパーソナルコンピュータ2の具体的な動作およびメールサーバ4の動作についての説明は省略する。
【0039】
3.似顔絵付き電子メールの受信と再生(携帯電話機3の動作)[図6]
パーソナルコンピュータ2から送信された似顔絵付き電子メールは、受け手による携帯電話機3の操作によって受信され、送り手の似顔絵の3次元アニメーション画像が再生される。
【0040】
まず、携帯電話機3は、キー入力装置35の操作に応じて、メーラーを起動し、移動通信網8上の図示しないメールサーバから、似顔絵付き電子メールを受信する(ステップS31)。CPU31は、受信した電子メールを処理し、送り手が作成した本文を、携帯電話機3のLCD38に表示する(ステップS32)。一方、CPU31は、電子メールデータに添付されていた素材データファイルを、本文データから分離し、素材データをRAM32に一時格納する(ステップS33)。
【0041】
CPU31は、自動的にまたはキー入力装置35の入力操作に応じて、3D描画ソフトを起動させ、素材データをRAM32から読み出して、3Dグラフィックス・チップ36に渡す。3Dグラフィックス・チップ36は、素材データに含まれているポリゴン座標データおよび動きデータに基づいて、幾何演算処理および描画演算処理を実行する(ステップS34)。これにより、送り手の似顔絵の2次元表示データを生成する。時系列の似顔絵アニメーションのフレームデータは、グラフィック・メモリ37に一時蓄積された後(ステップS35)、順次読み出されることによって、送り手の似顔絵の3次元アニメーション画像がLCD38に表示される(ステップS36)。
【0042】
第1の実施例によれば、送り手の作成した電子メールに付加された似顔絵の3次元アニメーションを構成する素材データファイルを、添付ファイルとして受け手が受信する。携帯電話機3は、受信した素材データに基づき幾何演算処理および描画演算処理をする3Dグラフィックス・チップ36を備えているので、少ないデータ量の素材データを受信するだけで、送り手の表情がより豊かに表現された似顔絵を再生することができる。
【0043】
[第2の実施例]
図7および図8は、第2の実施例に関し、パーソナルコンピュータ2、携帯電話機3の動作を示すフローチャートである。
【0044】
第2の実施例は、送り手がパーソナルコンピュータ2によってサーバ5にアップロードした素材データファイルを、受け手が携帯電話機3によってダウンロードする部分において、第1の実施例とは異なっている。
【0045】
第1の実施例における似顔絵の3次元アニメーション画像の作成工程と同様にして作成された、送り手の似顔絵の3次元アニメーション画像の素材データファイルは、送り手のパーソナルコンピュータの操作によって、FTPクライアント・ソフトによって、サーバにアップロードされる(ステップS71,S72)。今、サーバにアップロードされた素材データファイルのURLを、http://nigaoe3D.co.jp/sozai/owabiとする。
【0046】
次に、似顔絵付き電子メールの作成工程において、電子メールに、メール本文と素材データファイルのURLとが記述される(ステップS73)。こうして準備された似顔絵付き電子メールは、パーソナルコンピュータ2から受け手に宛てて送信される(ステップS74)。
【0047】
携帯電話機3は、キー入力装置35の操作に応じて、似顔絵付き電子メールを受信する(ステップS81)。CPU31は、携帯電話機3の電子メールソフトによって受信した電子メールを処理し、送り手が作成した本文を、素材データファイルのURLとともに携帯電話機3のLCD38に表示する(ステップS82)。
受け手が、携帯電話機3を操作してLCD38に表示されている素材データファイルのURL(http://nigaoe3D.co.jp/sozai/owabi)を選択すると、CPU31は、携帯電話機3に搭載されたブラウザソフトを起動させ、ネットワーク6上のサーバ5に対し素材データファイルの転送を要求する(ステップS83)。サーバ5は、この転送要求を受けて、当該素材データファイルを携帯電話機3に転送する。携帯電話機3は、素材データファイルをサーバ5から受信する(ステップS84)。
【0048】
携帯電話機3のCPU31は、サーバ5から受信した素材データファイルを、RAM32に一時格納する。CPU31は、素材データをRAM32から読み出し、3Dグラフィックス・チップ36に渡す。3Dグラフィックス・チップ36は、素材データに含まれているポリゴン座標データおよび動きデータに基づいて、幾何演算処理および描画演算処理を実行する(ステップS85)。これにより、送り手の似顔絵の2次元表示データを生成する。時系列の似顔絵アニメーションのフレームデータは、グラフィック・メモリ37に一時蓄積された後(ステップS86)、順次読み出されることによって、送り手の似顔絵の3次元アニメーション画像がLCD38に表示される(ステップS87)。
【0049】
第2の実施例によれば、携帯電話機3は、似顔絵付き電子メールの本文に含まれる素材データファイルのURLを介してサーバ5にアクセスすることにより、当該電子メールの送り手の似顔絵に係る3次元アニメーション画像の素材データを受信する。したがって、電子メールの受信動作自体において受信すべき似顔絵に関するデータは、素材データファイルのURLに関するデータのみであるので、より迅速な電子メールの受信処理が実現される。また、受け手は、電子メールを受信しメール本文を読み終えた後、任意のタイミングで似顔絵の3次元アニメーション画像の受信および再生を行うことができるので、受け手側の都合を優先した、似顔絵の3次元アニメーション画像の受信・再生方法ということができる。
【0050】
図9は、第1の実施例に従い、似顔絵付き電子メールを受信したときの、携帯電話機3のLCD38に表示された電子メール本文と似顔絵の3次元アニメーション画像の例を模式的に示す。図9において、電子メール本文表示部91に、送り手が作成した次の文章が表示される。
【0051】
「緊急の客先対応案件が発生したため、A君の歓迎会に出席できません。ずっと楽しみにしていたのに、行けなくてごめんなさい。」
【0052】
電子メール本文表示部91の下には、アニメーション表示部92があり、そこに送り手の似顔絵の3次元アニメーション画像が表示される。ここで3次元アニメーション画像の例は、上記の送り手の文章の場合、送り手の3次元似顔絵が、平身低頭に申し訳ないと謝る画像である。
【0053】
図10は、第2の実施例に従い、似顔絵付き電子メールを受信したときの、携帯電話機3のLCD38に表示された電子メール本文と、似顔絵の3次元アニメーション画像の例を模式的に示す。図10(a)において、電子メール本文表示部101に、図9と同様の文章と、サーバ5に格納されている素材データファイルにリンクされているURL102が表示されている。図10(b)において、受け手がURLを選択したことを受けて生成された、送り手の似顔絵の3次元アニメーション画像が、アニメーション表示部103に表示される。
【0054】
なお、第2の実施例において、似顔絵付き電子メールの送り手は、パーソナルコンピュータ2により電子メールを送信する例を説明したが、送り手が携帯電話機を使用してメール本文と素材データファイルのURLとが記述された電子メールを作成し、受け手に宛てて送信することも勿論可能である。
【0055】
また、第2の実施例では、携帯電話機3が、ネットワーク6上のサーバ5から素材データファイルをダウンロードすることとしたが、サーバ5を介さずに、パーソナルコンピュータ2と携帯電話機3との間のピア・ツー・ピア型の通信によって、パーソナルコンピュータ2から素材データファイルをダウンロードするよう変更してもよい。
【0056】
【発明の効果】
以上説明したように、本発明は、電子メールの送り手の表情を豊かに表現した画像を、より少ないデータ量で受け手が受信し再生することを可能とする。したがって、本発明は、送受信されたデータ量に応じて通信料が課金されるサービスが一般的な携帯電話機を利用して電子メールの送受信を頻繁に行うユーザ向けに、似顔絵付き電子メールの利用を安価に提供することができる。
【図面の簡単な説明】
【図1】本発明の一実施形態に係る似顔絵付き電子メールの受信再生方法を実施する電子メールシステムの全体構成例を示すブロック図である。
【図2】似顔絵付き電子メールの送り手が操作するパーソナルコンピュータ2のブロック図である。
【図3】携帯電話機3のブロック図である。
【図4】本発明の第1の実施例に関し、似顔絵の3次元アニメーション画像を作成するパーソナルコンピュータ2の動作を示すフローチャートである。
【図5】本発明の第1の実施例に関し、似顔絵付き電子メールを作成および送信するパーソナルコンピュータ2の動作を示すフローチャートである。
【図6】本発明の第1の実施例に関し、似顔絵付き電子メールを受信し再生する携帯電話機3の動作を示すフローチャートである。
【図7】本発明の第2の実施例に関し、似顔絵付き電子メールを作成および送信するパーソナルコンピュータ2の動作を示すフローチャートである。
【図8】本発明の第2の実施例に関し、似顔絵付き電子メールを受信し再生する携帯電話機3の動作を示すフローチャートである。
【図9】第1の実施例に従い、似顔絵付き電子メールを受信したときの、携帯電話機3のLCD38に表示された電子メール本文と似顔絵の3次元アニメーション画像の例を示す模式図である。
【図10】第2の実施例に従い、似顔絵付き電子メールを受信したときの、携帯電話機3のLCD38に表示された電子メール本文と似顔絵の3次元アニメーション画像の例を示す模式図である。
【符号の説明】
1  電子メールシステム
2  パーソナルコンピュータ
3  携帯電話機
4  メールサーバ
5  サーバ
6  ネットワーク
7  無線基地局
8  移動通信網
21  CPU
23  記憶装置
25  ディスプレイ
26  3Dグラフィックス・ボードまたはチップ
27  ビデオ・メモリ
31  CPU
33  記憶装置
36  3Dグラフィックス・チップ
37  グラフィック・メモリ
38  LCD
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an electronic device and a method for receiving and playing a portrait-email, and particularly to an application for receiving and playing a portrait-email with a portrait created by a sender of the email to express the intention and emotion of a sentence. The present invention relates to a suitable electronic device and a method for receiving and playing an electronic mail with a portrait.
[0002]
[Prior art]
2. Description of the Related Art The emergence of various electronic devices that make full use of digital technology in recent years has brought about a great change in the way people communicate information. Personal computers connected to communication lines including the Internet have allowed users to use e-mail for various types of information transmission and communication. Email is becoming more widely used by users who do not have it.
[0003]
By the way, when sending an e-mail, the sender mainly expresses the contents that he / she wants to convey to the recipient and sends it to the recipient. Therefore, when the sender wants to express an unintended intention or emotion, it is common to create a so-called emoticon or face mark combining characters and include it in a sentence. However, in the case of emoticons and face marks, the content of expression is limited by the type of characters that can be keyed, so that the expression tends to be poor, and it has been particularly difficult to express the difference in facial expression for each sender.
[0004]
In order to solve the above problems, a face image input unit for inputting a face image, a facial expression determining unit for determining a facial expression, and a facial image input by the facial image input unit are determined by the facial expression determining unit. A face image converting means for converting the facial expression into a facial expression, a text input means for inputting text, and a text layout means for laying out the face image converted by the face image converting means and the text input by the text input means. A mark input device has been proposed (JP-A-10-149433). According to this face mark input device, a human face photographed by a camera or the like is changed into a specified expression such as a smiling face or a crying face using a model-based coding technique, and is changed into a sentence. Face images with different facial expressions are mixed.
[0005]
[Problems to be solved by the invention]
According to the technique disclosed in Japanese Patent Application Laid-Open No. H10-149433, an e-mail in which a face image expressing the expression of emotions, emotions, and pleasures of a sender is laid out in a sentence can be transmitted to a receiver.
However, the recipient of the e-mail must receive a large amount of image data constituting the face image in addition to the text data. Therefore, it may take a long time to complete the data reception depending on the communication environment on the receiving side, for example, the data transmission speed of the line, and the operation specifications of the electronic device for transmitting and receiving the e-mail, and the e-mail cannot be used during this time. Sometimes. In addition, a service in which a communication fee is charged in accordance with the amount of transmitted / received data increases the communication cost per e-mail for a user who frequently transmits / receives e-mail using a general mobile phone. Therefore, for a user who does not want to bear a high communication fee, receiving an e-mail with a moving image with a larger data size is extremely annoying.
[0006]
Accordingly, an object of the present invention is to provide an electronic apparatus and an electronic mail receiving / reproducing method which enable a recipient to receive and reproduce an image richly expressing the expression of an e-mail sender with a smaller data amount. Is to provide.
[0007]
[Means for Solving the Problems]
In order to achieve the above object, an electronic device according to the present invention comprises a receiving unit for receiving an e-mail and a three-dimensional animation image of a portrait of an e-mail sender, which is generated in advance by a three-dimensional graphic generating unit. Among the data, the coordinate data and the motion data of the portrait model are obtained as material data in association with the electronic mail, and material data obtaining means, and a geometric operation and a drawing operation are performed using the obtained material data; An image calculation device for reconstructing and drawing a three-dimensional animation image of a portrait, and display means for displaying the text of the e-mail and the drawn image are provided.
[0008]
The electronic device according to the present invention acquires, as data, coordinate data and motion data of a portrait model among data constituting a three-dimensional animation image of a portrait of an electronic mail sender in association with the electronic mail. The image calculation device performs a geometric calculation and a drawing calculation using the acquired material data, and reconstructs and draws a portrait image of a three-dimensional animation. Therefore, the three-dimensional animation image of the portrait of the sender can be reproduced and displayed by the display means such as the display only by receiving a part of the data constituting the three-dimensional animation image. As a result, the amount of data to be received can be reduced, and a portrait-email with a richer expression of the sender's expression can be received at a low communication cost.
[0009]
In one embodiment, the acquisition unit includes an extraction unit that extracts the material data added to the received e-mail. The extracting unit checks, for example, header information included in the received packet of the e-mail data, and identifies and separates the material data. In another embodiment, the acquisition unit includes a transfer request unit that requests a transfer of the material data stored in advance in a storage unit on a network. The transfer request means is, for example, URL (Uniform Resource Locator) information included in the body of the e-mail. The transfer request means transmits a file transfer request of material data stored in advance in storage means such as a database on a network in response to a key input or other operation of the electronic device, and receives the material data as a response.
[0010]
In the present invention, the material data is preferably difference data between polygon coordinate data of the portrait model and polygon coordinates corresponding to the movement of the portrait model. The material data may include attribute setting data including color and texture and mapping for each polygon in one three-dimensional portrait model specified by a set of polygon coordinate data.
[0011]
A method for receiving and reproducing an e-mail with a caricature in an electronic device according to the present invention includes a caricature model among data constituting a three-dimensional animation image of a caricature of an e-mail sender generated in advance by a three-dimensional graphic generating means. And receiving the coordinate data and the motion data as material data in association with the electronic mail, and reconstructing a three-dimensional animation image using the received material data and displaying the image on a display screen.
[0012]
In one embodiment of the present invention, the material data added to the electronic mail in the receiving step is received.
In another embodiment, the material data is stored in storage means on a network, and the material data is accessed from the storage means by the access means included in the e-mail data so that the material data of the recipient is stored in the storage means. Forwarded to email receiving terminal. In this case, it is preferable that the access unit includes a transfer request unit for the material data stored in the storage unit.
[0013]
In the present invention, a portrait is a computer image created to resemble an individual human face, and does not include an image of a human face captured by a digital camera or other device. In the present invention, the three-dimensional animation image of a portrait is an animation image generated by giving a motion to a three-dimensional portrait model by a predetermined animation technique. In addition, a key frame method, a morphing method, a skeleton method, inverse kinematics, and other animation techniques may be used alone or in combination with each other to give the motion.
[0014]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings. The present invention is not limited to the following embodiments, and it goes without saying that various changes can be made within the scope of the technical idea described in the claims.
[0015]
FIG. 1 is a block diagram showing an example of an overall configuration of an electronic mail system that implements a method for receiving and reproducing an electronic mail with a portrait according to an embodiment of the present invention. The e-mail system 1 includes a personal computer 2, a mobile phone 3, a mail server 4, a server 5, a network 6, and a wireless base station 7, as shown. The personal computer 2, the mail server 4, and the server 5 are connected to a network 6. Further, the mobile phone 3 is connected to a network 6 via a wireless base station 7, a mobile communication network 8, and a gateway server (not shown).
[0016]
FIG. 2 is a block diagram of the personal computer 2 operated by the sender of the electronic mail with a portrait. The personal computer 2 includes a CPU 21, a RAM 22, a storage device 23 such as a hard disk, an input device 24 such as a keyboard and a mouse, a display 25 such as an LCD (Liquid Crystal Display), and a 3D graphics board or chip 26. A video memory 27 is provided. The personal computer 2 has a built-in or connected communication control device 28 such as a DSU (Digital Service Unit) and a TA (Terminal Adapter) for transmitting and receiving data through the network 6, a modem, or a splitter.
[0017]
The storage device 23 of the personal computer 2 stores programs and data of an OS (Operating System), e-mail software (mailer), three-dimensional animation creation software (3D animation software), and FTP client software (FTP software). Have been. The personal computer 2 includes an API (Application Program Interface) incorporated in the OS or added as an option for high-speed rendering of three-dimensional graphics. The CPU 21 reads a predetermined program from the storage device 23, expands the read program in a work area of the RAM 22, and executes a predetermined process. For example, when the mailer is started, the CPU 21 reads out the mailer program from the storage device 23, expands the program in the work area of the RAM 22, displays a predetermined screen on the display 25, and stands by. The mailer implements functions such as creation of an e-mail, transmission / reception of an e-mail, attachment of a file to the e-mail, and other functions according to an input from the input device 24 such as a keyboard or a mouse.
[0018]
3D animation software realizes a function of generating and reproducing a three-dimensional animation image. In this embodiment, the 3D animation software preferably provides a user with a support function for generating a three-dimensional animation image of a portrait. For example, a three-dimensional polygon model of a human face is generated on the display 25 by mouse operation or the like, and the polygon coordinates of the generated polygon model are moved and deformed so as to resemble the user's face. Model), an animation function for adding motion to the 3D portrait model, an attribute setting function for setting attributes such as color and texture for each polygon of the 3D portrait model, and rendering to the 3D portrait model. Rendering function and the like. The 3D animation software may be provided in advance with a data library of a three-dimensional polygon model (original model) of a human face as a prototype.
[0019]
In the present embodiment, the 3D animation software has a function of generating a material data file by extracting at least polygon coordinate data and motion data of a three-dimensional portrait model from a completed three-dimensional animation image data file of the portrait. It is optional to include attribute data such as color and texture set for each polygon in the material data file. The storage device of the personal computer 2 has a storage area for storing material data files.
[0020]
The 3D graphics board or chip 26 of the personal computer 2 is used to draw a three-dimensional animation image at high speed. In other words, the 3D graphics board or chip executes geometric operation processing for performing coordinate conversion and the like of polygon coordinates forming the three-dimensional model and drawing operation processing such as raster conversion and shading processing, and performs 2D processing in pixel units. Dimensional display data is generated for each frame. The time-series frame data is temporarily stored in the video memory 27 and then sequentially read out, whereby a three-dimensional animation image is reproduced on the display 25.
[0021]
FIG. 3 is a block diagram of the mobile phone 3. The mobile phone 3 includes a CPU 31, a RAM 32, a storage device 33, a voice input / output unit 34, a key input device 35, a 3D graphics chip 36, a graphic memory 37, an LCD 38, and a wireless communication control unit 39.
[0022]
The storage device 33 stores programs and data of e-mail software (mailer), Web browser software (browser software), and three-dimensional animation drawing software (3D drawing software), in addition to the OS of the mobile phone. .
[0023]
The 3D graphics chip 36 executes a geometric calculation processing program and a drawing calculation processing program incorporated in the 3D drawing software to generate three-dimensional graphics at high speed, and generates two-dimensional display data. The time-series frame data is temporarily stored in the graphic memory 37 and then sequentially read out, so that a three-dimensional animation image is displayed on the LCD 38.
[0024]
The wireless communication control unit 39 controls various digital signals or data transmission between the mobile phone 3 and the wireless base station 7. That is, it controls transmission of a line connection / disconnection signal of the mobile phone 3, a conversation voice signal, electronic mail data, data of a Web page browsed by a Web browser, and the like.
[0025]
The mailer has a function of creating an e-mail and transmitting / receiving an e-mail in response to an input from the key input device 35, and a function of separating a data file attached to the e-mail and temporarily storing the data file in the RAM 32 or the storage device 33. Is also realized.
[0026]
As browser software installed in the mobile phone 3, there are various markup languages, for example, compact HTML (HyperText Markup Language), HDML (Handheld Device Markup Language), and WML (Wireless Markup using WML (Wireless Markup). There is no particular limitation as long as the server 5 on the network 6 can be accessed via the communication network 8 and a gateway server (not shown).
[0027]
The 3D drawing software operates a 3D graphics chip 36 and other components to generate a polygon model based on polygon coordinate data, an animation function for adding motion to the polygon model based on motion data, and a polygon model. Implement a rendering function that performs rendering. The 3D drawing software has an import function for importing polygon coordinate data and motion data.
[0028]
In the rendering of the polygon model, attribute data such as color and texture set for each polygon of the polygon model may be used to extend the rendering so as to render a more realistic object.
[0029]
The mail server 4 manages transmission and reception of e-mail with the network 6 according to the settings of a mailer mounted on the personal computer 2.
The server 5 is particularly used in an embodiment in which the material data file of the portrait animation image is not attached to the e-mail as described later. That is, the server 5 receives the material data file transferred from the personal computer 2 via the network 6 and stores the transferred material data file in a storage device (not shown) built in the server or connected to the server. When there is an access from the mobile phone 3, the source data file is transferred to the mobile phone 3.
[0030]
Hereinafter, an embodiment in which the receiver receives and reproduces an electronic mail with a portrait created by operating the personal computer 2 using the mobile phone 3 will be described in detail with reference to the drawings.
[0031]
[First Embodiment]
FIGS. 4, 5 and 6 are flowcharts showing operations of the personal computer 2 and the mobile phone 3 according to the first embodiment.
[0032]
1. Creation of a 3D animation image of a portrait (operation of the personal computer 2) [FIG. 4]
First, the personal computer 2 creates a three-dimensional animation image of the portrait of the sender by operating the sender of the electronic mail with the portrait. When the 3D animation software is started, the CPU 21 reads out the 3D animation software program from the storage device 23, expands the program in the work area of the RAM 22, displays a predetermined screen on the display 25, and stands by (step S11). The CPU 21 generates a three-dimensional polygon model (original polygon model) of a human face on the display 25 in response to an operation input of the input device 24 such as a mouse (step S12). The 3D graphics board or chip 26 executes geometric calculation processing and drawing calculation processing based on the generated polygon coordinate data of the three-dimensional polygon model, and temporarily stores two-dimensional display data in pixel units in the video memory 27. Then, the image of the prototype polygon model is displayed on the display 25 (step S13). At this time, if the 3D animation software has a data library prepared with a plurality of three-dimensional polygon models of a human face as a prototype, the prototype polygon model creation step is omitted, and the arbitrarily selected prototype polygon model is replaced with the original one. The information may be read from the storage device 23 and displayed on the display 25.
[0033]
The CPU 21 calculates the moved polygon coordinates according to a mouse operation (deformation operation) of dragging and moving the polygon coordinates of the prototype polygon model on the display 25 (step S14). The 3D graphics board or chip 26 executes geometric calculation processing and drawing calculation processing based on the moved polygon coordinate data, updates the two-dimensional display data in the video memory 27, and displays the image of the polygon model after deformation. Is displayed on the display 25 (step S15). This deformation operation is performed on the polygon coordinates of the eyes, nose, mouth, ears, eyebrows, and other parts of the original model, and a polygon model (three-dimensional portrait model) that resembles the user's face is generated (step S16).
[0034]
The CPU 21 gives a motion to the three-dimensional portrait model completed by the modeling process according to an operation input such as a predetermined mouse operation. The motion may be related to not only a change in the facial expression (emotion, emotion, and so on) but also a part or all of the motion of the face, such as tilting or rotating the head forward, backward, left and right. For imparting motion, a key frame method, a morphing method, a skeleton method, inverse kinematics, and other animation techniques may be used alone or in combination. The CPU 21 calculates the polygon coordinates that move according to the movement (step S17). Then, the CPU 21 causes the 3D graphics board or chip 26 to execute a geometric calculation process and a drawing calculation process based on the polygon coordinate data. The 3D graphics board or chip 26 temporarily stores the two-dimensional display data sequentially generated with the movement in the video memory 27, and displays a moving image on the display 25 (step S18).
Through the above steps, the three-dimensional animation data of the portrait is completed (step S19).
[0035]
When generating a three-dimensional animation image of a portrait, attributes such as color and texture may be additionally set for each polygon of the three-dimensional portrait model. The rendering operation performed by the 3D graphics board or chip 26 performs a finer rendering based on the set or changed attribute data when the deformation operation or the motion imparting includes setting or changing the attribute. I do.
[0036]
The CPU 21 extracts material data, that is, polygon coordinate data and motion data, from the completed three-dimensional animation data of the portrait in response to an input operation of the input device 24 such as a mouse. The motion data is preferably difference data of polygon coordinates corresponding to the motion of the three-dimensional portrait model. The CPU 21 stores the extracted material data file in the material data storage area of the storage device 23 (Step S20).
[0037]
2. Creation and transmission of an e-mail with a portrait (operation of personal computer 2) [FIG. 5]
Next, by the operation of the sender of the electronic mail with a portrait, the personal computer 2 creates a transmission mail with a portrait and transmits it to the recipient.
[0038]
When the mailer is started, the CPU 21 reads out the mailer program from the storage device 23, expands the program in the work area of the RAM 22, displays a predetermined screen on the display 25, and stands by (step S21). On the mail creation screen (not shown), a destination (e-mail address of the recipient), a title, and a mail text are input according to the operation of the input device 24 (step S22). The material data file stored in the storage device 23 is selected as an attachment file and attached to an e-mail (step S23). The e-mail with the portrait prepared in this way is transmitted to the recipient (step S24). Since the operation of the sender here is the same as the operation of creating and transmitting an e-mail with an attached file, the CPU 21 controls each part of the personal computer 2 according to the operation and the specific operation of the personal computer 2. The description of the operation and the operation of the mail server 4 is omitted.
[0039]
3. Receiving and playing email with portrait (Operation of mobile phone 3) [Fig. 6]
The portrait-attached e-mail transmitted from the personal computer 2 is received by the receiver's operation of the mobile phone 3, and a three-dimensional animation image of the sender's portrait is reproduced.
[0040]
First, the mobile phone 3 activates a mailer in response to an operation of the key input device 35, and receives an electronic mail with a portrait from a mail server (not shown) on the mobile communication network 8 (step S31). The CPU 31 processes the received e-mail, and displays the text created by the sender on the LCD 38 of the mobile phone 3 (step S32). On the other hand, the CPU 31 separates the material data file attached to the e-mail data from the text data, and temporarily stores the material data in the RAM 32 (step S33).
[0041]
The CPU 31 activates 3D drawing software automatically or in response to an input operation of the key input device 35, reads out material data from the RAM 32, and transfers the material data to the 3D graphics chip 36. The 3D graphics chip 36 performs a geometric calculation process and a drawing calculation process based on the polygon coordinate data and the motion data included in the material data (step S34). Thereby, two-dimensional display data of the portrait of the sender is generated. The frame data of the time-series portrait animation is temporarily stored in the graphic memory 37 (step S35), and is sequentially read, so that a three-dimensional animation image of the portrait of the sender is displayed on the LCD 38 (step S36). .
[0042]
According to the first embodiment, a recipient receives a material data file constituting a three-dimensional animation of a portrait attached to an e-mail created by a sender as an attached file. Since the mobile phone 3 is provided with the 3D graphics chip 36 that performs geometric operation processing and drawing operation processing based on the received material data, the expression of the sender can be further improved by receiving only a small amount of material data. It is possible to reproduce richly caricatures.
[0043]
[Second embodiment]
FIGS. 7 and 8 are flowcharts showing operations of the personal computer 2 and the mobile phone 3 according to the second embodiment.
[0044]
The second embodiment is different from the first embodiment in that the sender downloads the material data file uploaded to the server 5 by the personal computer 2 to the server 5 by the mobile phone 3.
[0045]
The material data file of the three-dimensional animation image of the portrait of the sender, which is created in the same manner as in the step of creating the three-dimensional animation image of the portrait in the first embodiment, is transmitted to the FTP client / client by operating the personal computer of the sender. Uploaded to the server by software (steps S71, S72). Now, the URL of the material data file uploaded to the server is http: // nigaoe3D. co. jp / sozai / owabi.
[0046]
Next, in the process of creating an e-mail with a portrait, the e-mail contains the e-mail text and the URL of the material data file (step S73). The electronic mail with the portrait prepared in this way is transmitted from the personal computer 2 to the recipient (step S74).
[0047]
The mobile phone 3 receives an electronic mail with a portrait in response to the operation of the key input device 35 (step S81). The CPU 31 processes the e-mail received by the e-mail software of the mobile phone 3, and displays the text created by the sender on the LCD 38 of the mobile phone 3 together with the URL of the material data file (step S82).
When the receiver operates the mobile phone 3 and selects the URL (http://nigaoe3D.co.jp/sozai/owabi) of the material data file displayed on the LCD 38, the CPU 31 is mounted on the mobile phone 3. The browser software is activated to request the server 5 on the network 6 to transfer the material data file (step S83). The server 5 receives the transfer request and transfers the material data file to the mobile phone 3. The mobile phone 3 receives the material data file from the server 5 (step S84).
[0048]
The CPU 31 of the mobile phone 3 temporarily stores the material data file received from the server 5 in the RAM 32. The CPU 31 reads the material data from the RAM 32 and passes it to the 3D graphics chip 36. The 3D graphics chip 36 performs a geometric calculation process and a drawing calculation process based on the polygon coordinate data and the motion data included in the material data (step S85). Thereby, two-dimensional display data of the portrait of the sender is generated. The frame data of the time-series portrait animation is temporarily stored in the graphic memory 37 (step S86), and is sequentially read, so that a three-dimensional animation image of the portrait of the sender is displayed on the LCD 38 (step S87). .
[0049]
According to the second embodiment, the mobile phone 3 accesses the server 5 via the URL of the material data file included in the body of the electronic mail with the portrait, thereby obtaining the portrait related to the portrait of the sender of the electronic mail. Receive the material data of the two-dimensional animation image. Therefore, the data relating to the portrait to be received in the e-mail receiving operation itself is only the data relating to the URL of the material data file, so that a more rapid e-mail receiving process is realized. Also, the recipient can receive and reproduce the three-dimensional animation image of the portrait at an arbitrary timing after receiving the e-mail and reading the mail text. It can be said to be a method of receiving and reproducing a two-dimensional animation image.
[0050]
FIG. 9 schematically shows an example of an electronic mail text displayed on the LCD 38 of the mobile phone 3 and a three-dimensional animation image of a portrait when an electronic mail with a portrait is received according to the first embodiment. In FIG. 9, the next text created by the sender is displayed in the e-mail text display section 91.
[0051]
"I can't attend Mr. A's welcome party because of an urgent customer response. I'm sorry I couldn't go because I've been looking forward to it."
[0052]
Below the e-mail text display section 91, there is an animation display section 92, in which a three-dimensional animation image of a portrait of the sender is displayed. Here, an example of the three-dimensional animation image is an image in which, in the case of the above-mentioned sender's sentence, the sender's three-dimensional caricature apologizes for being sorry for his low profile.
[0053]
FIG. 10 schematically shows an example of an electronic mail text displayed on the LCD 38 of the mobile phone 3 and a three-dimensional animation image of a portrait when an electronic mail with a portrait is received according to the second embodiment. In FIG. 10A, a sentence similar to that of FIG. 9 and a URL 102 linked to a material data file stored in the server 5 are displayed on the e-mail text display unit 101. In FIG. 10B, a three-dimensional animation image of the portrait of the sender, which is generated in response to the selection of the URL by the receiver, is displayed on the animation display unit 103.
[0054]
In the second embodiment, the example in which the sender of the electronic mail with the portrait is to transmit the electronic mail by the personal computer 2 has been described. However, the sender uses the mobile phone to send the mail text and the URL of the material data file. It is, of course, possible to create an e-mail in which is described and send it to the recipient.
[0055]
Further, in the second embodiment, the mobile phone 3 downloads the material data file from the server 5 on the network 6, but the communication between the personal computer 2 and the mobile phone 3 is performed without the server 5. The material data file may be downloaded from the personal computer 2 by peer-to-peer communication.
[0056]
【The invention's effect】
As described above, the present invention enables a receiver to receive and reproduce an image richly expressing the expression of the sender of an e-mail with a smaller data amount. Therefore, the present invention provides a service in which a communication fee is charged in accordance with the amount of data transmitted and received. It can be provided at low cost.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating an overall configuration example of an electronic mail system that implements a method for receiving and playing an electronic mail with a portrait according to an embodiment of the present invention.
FIG. 2 is a block diagram of a personal computer 2 operated by a sender of the electronic mail with a portrait.
FIG. 3 is a block diagram of the mobile phone 3;
FIG. 4 is a flowchart showing an operation of the personal computer 2 for creating a three-dimensional animation image of a portrait according to the first embodiment of the present invention.
FIG. 5 is a flowchart showing an operation of the personal computer 2 for creating and transmitting a portrait electronic mail according to the first embodiment of the present invention.
FIG. 6 is a flowchart showing an operation of the mobile phone 3 for receiving and reproducing an electronic mail with a portrait according to the first embodiment of the present invention.
FIG. 7 is a flowchart showing an operation of the personal computer 2 for creating and transmitting a portrait electronic mail according to the second embodiment of the present invention.
FIG. 8 is a flowchart showing an operation of the mobile phone 3 for receiving and reproducing an electronic mail with a portrait according to the second embodiment of the present invention.
FIG. 9 is a schematic diagram showing an example of an electronic mail text displayed on the LCD 38 of the mobile phone 3 and a three-dimensional animation image of a portrait when an electronic mail with a portrait is received according to the first embodiment.
FIG. 10 is a schematic diagram showing an example of a three-dimensional animation image of an electronic mail text and a portrait displayed on the LCD 38 of the mobile phone 3 when an electronic mail with a portrait is received according to the second embodiment.
[Explanation of symbols]
1 E-mail system
2 Personal computer
3 mobile phone
4 mail server
5 server
6 Network
7 wireless base stations
8 Mobile communication network
21 CPU
23 Storage
25 Display
26 3D graphics board or chip
27 Video Memory
31 CPU
33 Storage
36 3D Graphics Chip
37 graphic memory
38 LCD

Claims (9)

電子メールを受信する受信手段と、
3次元グラフィック生成手段によってあらかじめ生成された、電子メール送信者の似顔絵の3次元アニメーション画像を構成しているデータのうち、似顔絵モデルの座標データ及び動きデータを素材データとして当該電子メールと関連付けて取得する素材データ取得手段と、
取得した前記素材データを用いて幾何演算と描画演算を実行し、似顔絵の3次元アニメーション画像を再構成し描画する画像演算装置と、
前記電子メールの本文及び前記描画画像を表示する表示手段と、
を備えた電子装置。
Receiving means for receiving an email,
Of the data constituting the three-dimensional animation image of the portrait of the e-mail sender generated in advance by the three-dimensional graphic generation means, the coordinate data and the motion data of the portrait model are acquired as the material data in association with the e-mail. Material data acquisition means to be
An image calculation device that performs a geometric calculation and a drawing calculation using the acquired material data, and reconstructs and draws a three-dimensional animation image of the portrait,
Display means for displaying the body of the e-mail and the drawing image;
Electronic device provided with.
前記素材データ取得手段が、受信した前記電子メールに付加された前記素材データを抽出する抽出手段を含む、請求項第1項記載の電子装置。The electronic device according to claim 1, wherein the material data obtaining unit includes an extracting unit configured to extract the material data added to the received e-mail. 前記素材データ取得手段が、ネットワーク上の格納手段にあらかじめ格納された前記素材データの転送を要求する転送要求手段を含む、請求項第1項記載の電子装置。2. The electronic apparatus according to claim 1, wherein said material data obtaining means includes a transfer requesting means for requesting a transfer of said material data stored in a storage means on a network in advance. 前記素材データが、前記似顔絵モデルのポリゴン座標データと、前記似顔絵モデルの動きに対応するポリゴン座標の差分データである、請求項第1項ないし第3項のいずれかに記載の電子装置。4. The electronic device according to claim 1, wherein the material data is difference data between polygon coordinate data of the portrait model and polygon coordinates corresponding to movement of the portrait model. 5. 3次元グラフィック生成手段によってあらかじめ生成された、電子メール送信者の似顔絵の3次元アニメーション画像を構成しているデータのうち、似顔絵モデルの座標データ及び動きデータを素材データとして当該電子メールと関連付けて受信するステップと、
受信した前記素材データを用いて送信者の似顔絵の3次元アニメーション画像を再構成し表示画面に表示するステップと
からなる、電子装置における似顔絵付き電子メールの受信再生方法。
Among the data constituting the three-dimensional animation image of the portrait of the e-mail sender generated in advance by the three-dimensional graphic generation means, the coordinate data and the motion data of the portrait model are received as the material data in association with the e-mail. Steps to
Reconstructing a three-dimensional animation image of a portrait of a sender using the received material data and displaying the reconstructed three-dimensional animation image on a display screen.
前記受信ステップにおいて、前記電子メールに付加された前記素材データを受信する、請求項第5項記載の似顔絵付き電子メールの受信再生方法。6. The method according to claim 5, wherein in the receiving step, the material data added to the electronic mail is received. 前記素材データがネットワーク上の格納手段に格納されており、前記電子メールデータに含まれるアクセス手段を通じてアクセスされることにより前記素材データが前記格納手段から前記電子装置に転送される、請求項第6項記載の似顔絵付き電子メールの受信再生方法。7. The material data is stored in storage means on a network, and the material data is transferred from the storage means to the electronic device by being accessed through access means included in the e-mail data. Receiving and playing the e-mail with a portrait described in the section. 前記アクセス手段が前記格納手段に格納された素材データの転送要求手段を含む、請求項第7項記載の似顔絵付き電子メールの受信再生方法。8. The method according to claim 7, wherein said access unit includes a request unit for requesting transfer of material data stored in said storage unit. 前記素材データが、前記似顔絵モデルのポリゴン座標データと、前記似顔絵モデルの動きに対応するポリゴン座標の差分データである、請求項第5項ないし第8項のいずれかに記載の似顔絵付き電子メールの受信再生方法。9. The electronic mail with a portrait according to claim 5, wherein the material data is difference data between polygon coordinate data of the portrait model and polygon coordinates corresponding to a movement of the portrait model. 10. Reception and playback method.
JP2002229561A 2002-08-07 2002-08-07 Electronic device and receiving and reproducing method of e-mail with portrait Pending JP2004070685A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002229561A JP2004070685A (en) 2002-08-07 2002-08-07 Electronic device and receiving and reproducing method of e-mail with portrait

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002229561A JP2004070685A (en) 2002-08-07 2002-08-07 Electronic device and receiving and reproducing method of e-mail with portrait

Publications (1)

Publication Number Publication Date
JP2004070685A true JP2004070685A (en) 2004-03-04

Family

ID=32015894

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002229561A Pending JP2004070685A (en) 2002-08-07 2002-08-07 Electronic device and receiving and reproducing method of e-mail with portrait

Country Status (1)

Country Link
JP (1) JP2004070685A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006087834A1 (en) * 2005-02-16 2006-08-24 Megachips Corporation 3d graphic display system, display, electronic message transfer system, and display
JP2006350986A (en) * 2005-06-17 2006-12-28 Tokyo Institute Of Technology Cellphone capable of transmitting/receiving mail with face photo
JP2010282312A (en) * 2009-06-03 2010-12-16 Atari Inc E-mail communication system
WO2011151858A1 (en) * 2010-05-31 2011-12-08 ビジュアツール株式会社 Visualization-use portable terminal device, visualization program and body 3d measurement system
WO2012060261A1 (en) * 2010-11-02 2012-05-10 株式会社ニコン Communication system and electronic apparatus
US11232768B2 (en) 2005-04-12 2022-01-25 Douglas G. Richardson Embedding animation in electronic mail, text messages and websites

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002021287A1 (en) * 2000-09-06 2002-03-14 Sharp Kabushiki Kaisha Transmission terminal, data server device and reception terminal used in electronic message transmission/reception system
JP2002123472A (en) * 1999-12-16 2002-04-26 Daiichi Tsushinsha:Kk Network system, terminal device used for the same and storage medium
JP2002133445A (en) * 2000-10-30 2002-05-10 Namco Ltd Image processing device, image processing method and information storage medium
JP2002163210A (en) * 1996-12-20 2002-06-07 Sony Corp Management method and management device, and control method and control device for agent, program supply medium for managing agent, and program supply medium for controlling agent
JP2002190034A (en) * 2000-12-20 2002-07-05 Sony Corp Device and method for processing information, and recording medium

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002163210A (en) * 1996-12-20 2002-06-07 Sony Corp Management method and management device, and control method and control device for agent, program supply medium for managing agent, and program supply medium for controlling agent
JP2002123472A (en) * 1999-12-16 2002-04-26 Daiichi Tsushinsha:Kk Network system, terminal device used for the same and storage medium
WO2002021287A1 (en) * 2000-09-06 2002-03-14 Sharp Kabushiki Kaisha Transmission terminal, data server device and reception terminal used in electronic message transmission/reception system
JP2002133445A (en) * 2000-10-30 2002-05-10 Namco Ltd Image processing device, image processing method and information storage medium
JP2002190034A (en) * 2000-12-20 2002-07-05 Sony Corp Device and method for processing information, and recording medium

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006087834A1 (en) * 2005-02-16 2006-08-24 Megachips Corporation 3d graphic display system, display, electronic message transfer system, and display
JP2006227781A (en) * 2005-02-16 2006-08-31 Megachips Lsi Solutions Inc 3d graphic display system and display device, and electronic message transfer system and display device
JP4603902B2 (en) * 2005-02-16 2010-12-22 株式会社メガチップス 3D graphic display system and display device, electronic message transfer system and display device
US11232768B2 (en) 2005-04-12 2022-01-25 Douglas G. Richardson Embedding animation in electronic mail, text messages and websites
US11263998B2 (en) 2005-04-12 2022-03-01 Douglas G. Richardson Embedding animation in electronic mail, text messages and websites
US11893965B2 (en) 2005-04-12 2024-02-06 Douglas G. Richardson Embedding animation in electronic mail, text messages and websites
JP2006350986A (en) * 2005-06-17 2006-12-28 Tokyo Institute Of Technology Cellphone capable of transmitting/receiving mail with face photo
JP2010282312A (en) * 2009-06-03 2010-12-16 Atari Inc E-mail communication system
WO2011151858A1 (en) * 2010-05-31 2011-12-08 ビジュアツール株式会社 Visualization-use portable terminal device, visualization program and body 3d measurement system
WO2012060261A1 (en) * 2010-11-02 2012-05-10 株式会社ニコン Communication system and electronic apparatus

Similar Documents

Publication Publication Date Title
EP2127341B1 (en) A communication network and devices for text to speech and text to facial animation conversion
KR20100113266A (en) Apparatus and method for manufacturing three-dementions image message in electronic terminal
JP2004198872A (en) Terminal device and server
JP2004070685A (en) Electronic device and receiving and reproducing method of e-mail with portrait
KR100816782B1 (en) 3d character mail system
JP2011192008A (en) Image processing system and image processing method
JP2007122561A (en) Portable terminal device and portrait data providing system
JP2008041081A (en) E-mail converter, e-mail conversion program and e-mail distribution system
KR101145593B1 (en) 3Dimensional Contents Production System and Web to Phone Transmission Method
JP2007026088A (en) Model creation apparatus
JP4859148B2 (en) 3D character mail system
Ghaziasgar The use of mobile phones as service-delivery devices in sign language machine translation system
JP4421266B2 (en) 3D character mail system
KR20080083076A (en) System and method for manufacturing font via network
JP2001167287A (en) Character generating method and picture document generating method utilizing the same
KR20180135532A (en) Method and system for providing Story-board
JP2005216087A (en) Electronic mail reception device and electronic mail transmission device
JP5281041B2 (en) 3D character mail system
JP2005173792A (en) Animation distribution system
Choi et al. Wireless LAN-based digital photo frame display images with NPR effects
JP2004102751A (en) Three-dimensional data generation system
KR100452895B1 (en) Method of servicing composition, transmission and output of photograph through internet
CN1516078A (en) Virtual portrait production system
CN116309970A (en) Method and device for generating virtual digital image for vehicle, electronic equipment and storage medium
JP2002319998A (en) Portable telephone set and image browsing system using portable telephone set

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051108

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051228

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20051228

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060207

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060327

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20060327

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20060328

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20060531

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20060531

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20060629

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20070105

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20081212