JP2004023225A

JP2004023225A - Information communication apparatus, signal generating method therefor, information communication system and data communication method therefor

Info

Publication number: JP2004023225A
Application number: JP2002172388A
Authority: JP
Inventors: Takumi Makinouchi; 牧之内　卓美; Seiji Inoue; 井上　清司
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 2002-06-13
Filing date: 2002-06-13
Publication date: 2004-01-22

Abstract

<P>PROBLEM TO BE SOLVED: To provide an information communication apparatus which can express a picture of an expression on which intention of sentence generation is precisely reflected even if it is generated in the same way as regular sentence generation, and to provide a signal generation method of equipment, an information communication system and a data communication method of the system. <P>SOLUTION: In a portable telephone set 10, a work processing is performed on basic data 16b which is read from a basic data storage part 16 and a signal 18a is generated in a signal generation part 18 in accordance with a control signal 14a on which a meaning analyzed in a pictorial symbol analysis part 14 is reflected. The signal 18a generated by considering timing is outputted to a signal expression part 20 with supplied text data. A picture signal corresponding to a precise pictorial symbol is displayed on a display part 20a by adjusting it to display of text data and feeling of a communication opposite party is reflected on the display part 20a of the signal expression part 20. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、たとえば電子メールのような文章に含まれる絵文字に応じて生成した画像やテキストを表示させる情報通信装置に関するものであり、また、本発明は、この情報通信装置において絵文字から表情をともなう顔画像や音に関するデータを基に画像信号や音声信号等を生成する信号生成方法に関するものであり、さらに、本発明は、たとえば情報通信装置を端末装置とし、端末装置間でのデータ交換を行うとともに、絵文字解析に応じて生成した情報の通信を行う情報通信システムに関するものである。そして、本発明は、情報通信システム間での絵文字解析の結果を反映させたデータ通信方法に関するものである。
【０００２】
【従来の技術】
現在、携帯電話機は単に音声通話するだけでなく、多機能化が進んでいる。多機能化の例として携帯電話機には、画像通信機能や表示機能があり、また、文字情報の送受信を行う電子メール機能も有している。さらに、画像通信に関して携帯電話機には、静止画を含めた動画表示機能を有する電話機も登場しつつある。また、情報端末装置としてたとえば、パーソナルコンピュータ（以下、ＰＣという）を用いた場合、ＰＣには、送付された電子メールやテキストを読み上げる音声機能を備えているものもある。
【０００３】
一般に、電子メールを用いて、親しい友人等の通信相手に送信者の感情を伝える場合、一文字の記号を組み合わせて絵文字を作成し、テキスト中に挿入してコミュニケーションを図ることがよく行われる。この絵文字は、コミュニケーションを図る上で有効な記述であるが、表現内容が限られている。また、電子メールをよく知らない人にとって絵文字が何を意味しているかわからない等の問題があった。
【０００４】
効果的に書き手の意図を読み手に伝えるために、たとえば特開平１０−１４９４３３号公報の顔マーク入力装置が提案されている。顔マーク入力装置は、顔画像入力手段、表情決定手段、顔画像変換手段、文章入力手段および文章レイアウト手段を含んでいる。また、顔マーク入力装置は、文章入力手段、文章解析手段、表情決定手段、顔画像入力手段、顔画像変換手段、顔画像保持手段および文章配置手段を含んでもよい。
【０００５】
【発明が解決しようとする課題】
ところで、上述した顔マーク入力装置は、供給されるテキスト中に含まれる単語に合わせた表情を生成するようにしている。たとえば、「みなさんの、悲しいことがあった時、世の中が悪いと周囲に腹を立てないでがんばりましょう。」という文章に対して「悲しい」、「腹を立て」ること、「腹を立てない」に着目するのかあいまいさが残り、意図しない画像が生成される虞がある。このあいまいさを除くため、画像化する文章中での単語の確定には、あらかじめ確定領域として指定範囲を入れておく作業が考えられる。このような作業は、文章作成にとり、煩雑なものである。また、作成した文章中に生成した画像を挿入するレイアウト作業もユーザにとって面倒な作業である。
【０００６】
本発明はこのような従来技術の欠点を解消し、通常の文章作成と同じに作成しても、文章作成の意図を的確に反映させた表情の画像を表現できる情報通信装置およびその信号生成方法、ならびに情報通信システムおよびそのデータ通信方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明は上述の課題を解決するために、一つの文字や記号を組み合わせて意味を持つ絵文字が供給される文章中のデータに含まれるか調べて、この絵文字の意味を解析する絵文字解析手段と、あらかじめ基本となるデータを格納するデータ記憶手段と、解析結果が示す意図に応じて前記データ記憶手段から読み出したデータに加工処理を施して得られた信号のタイミングを考慮して出力する信号生成手段とを含むことを特徴とする。
【０００８】
本発明の情報通信装置は、絵文字解析手段で解析した意味に応じて信号生成手段でデータ記憶手段から読み出したデータに加工処理を施して信号を生成し、供給されるテキストデータとともに、タイミングを考慮して生成した信号を出力して、テキストデータの表示に合わせて的確な絵文字に対応した信号を提供することにより、通信相手の感情を反映させることができる。
【０００９】
また、本発明は上述の課題を解決するため、作成した文章に応じたディジタルデータを相手側に通信する情報通信装置を用いて、このディジタルデータから通信に役立つ情報を生成する信号生成方法において、供給されるディジタルデータに一つの文字や記号を組み合わせて意味が生じる絵文字を含むか調べて、この絵文字の意味を解析する第１の工程と、あらかじめ記憶した基本となるデータを読み出し、この読み出したデータに解析結果が示す意図に応じた加工処理を施して得られた信号のタイミングを考慮して出力する第２の工程とを含むことを特徴とする。
【００１０】
本発明の情報通信装置における信号生成方法は、供給されるディジタルデータに絵文字を含むか調べて、存在する絵文字の意味を解析し、解析結果に応じた加工処理をデータに施すことで、信号に絵文字が持つ意図を的確に反映させ、得られた信号の出力タイミングを考慮して出力して、通信相手の感情も正確に提供することができる。
【００１１】
そして、本発明は上述の課題を解決するため、情報の入出力を行い、この情報をディジタル化して送受信する端末装置と、この端末装置から前記ディジタル化して出力されるデータに対してアプリケーション処理を施し相手先の端末装置に供給するサーバ装置とを備え、端末装置間にサーバ装置を介して情報通信を行う情報通信システムにおいて、サーバ装置は、端末装置にて文章をディジタル化したテキストデータのファイルを受けて、このテキストデータファイル中に、一つの文字や記号を組み合わせて意味を持つ絵文字が供給されるデータに含まれるか調べて、この絵文字の意味を解析する絵文字解析機能ブロックと、あらかじめ基本となるデータを格納するデータ記憶手段と、解析結果が示す意図に応じてデータ記憶手段から読み出したデータに加工処理を施して得られた信号のタイミングを考慮して提供する信号生成機能ブロックとを含み、端末装置は、サーバ装置からテキストデータファイルを受けて、テキストデータファイルを展開し、テキストデータの表示に応動して供給された信号を発現させる制御機能ブロックを含むことを特徴とする。
【００１２】
本発明の情報通信システムは、サーバ装置の絵文字解析機能ブロックにて絵文字の有無を調べて、絵文字を解析してこの絵文字の意味に応じた解析結果を信号生成機能ブロックに供給し、一方、データ記憶手段から読み出したデータを信号生成機能ブロックに供給し、信号生成機能ブロックでデータを解析結果に応じた信号処理を行ってテキストデータファイルと異なる種類の信号を生成し、テキストデータファイルとともに生成した信号も相手の端末装置に供給する。サーバ装置を介して相手側の端末装置では、テキストデータファイルを受けて、このファイルを展開して制御機能ブロックでテキストデータの表示に合わせて信号が発現して提供することにより、送信側の端末装置では、これまで作成してきたと同じにテキストデータファイルを作成しているにもかかわらず、通信相手側の端末装置に信号に絵文字が持つ意図を的確に反映させ、得られた信号の出力タイミングを考慮して出力して、通信相手の感情も正確に提供することができる。
【００１３】
さらに、本発明は上述の課題を解決するため、文章の作成処理により作成したテキストデータを送信する第１の情報端末装置と、第１の情報端末装置からの前記テキストデータにこのテキストデータに関連したデータを添付するサーバ装置と、第１の情報端末装置の通信相手先である第２の情報端末装置とを用いた情報通信システムにおけるデータ通信方法において、サーバ装置にてテキストデータに一つの文字や記号を組み合わせて意味が生じる絵文字を含むか調べて、この絵文字の意味を解析する第１の工程と、サーバ装置があらかじめ記憶したテキストデータと異なる基本データを解析結果が示す意図に応じて読み出して、テキストデータのファイルに基本データを含むファイルを添付して出力する第２の工程とを含むことを特徴とする。
【００１４】
本発明の情報通信システムにおけるデータ通信方法は、第１の情報端末装置でこれまでと同じ入力処理を行い、第１の情報端末装置から供給されたテキストデータに含まれる絵文字をサーバ装置にて検出し、かつその意味を解析して、サーバ装置が有する基本データを含む添付ファイルを出力し、その出力先や第２の情報端末装置の機能に応じて添付された基本データから信号を生成して、絵文字付きのテキストを表示させた場合に比べてより理解しやすく、感情移入しやすい表現を第２の情報端末装置に行わせることができる。
【００１５】
【発明の実施の形態】
次に添付図面を参照して本発明による情報通信装置の実施例を詳細に説明する。
【００１６】
本実施例は、本発明の情報通信装置を携帯電話機１０に適用した場合である。本発明と直接関係のない部分について図示および説明を省略する。以下の説明で、信号はその現れる接続線の参照番号で指示する。
【００１７】
図１に示す携帯電話機１０には、原理的に、受信部１２、絵文字解析部１４、基本データ格納部１６、信号生成部１８および信号発現部２０が含まれている。受信部１２は、たとえばＩＭＴ（Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｍｏｂｉｌｅ　Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ）−２０００に対応した電波の受信を行う回路を備えている。携帯電話機１０は、図示していないが送信部も有していることは言うまでもない。受信した電波は、電力増幅されて所定の周波数帯域を通した信号を得る。この信号は、所定の周波数を掛けて中間周波にダウンコンバートする。このダウンコンバートした信号は、増幅された後に復調処理を受けてベースバンド信号になる。ベースバンド信号をアナログ信号にしてたとえば、レイキ受信処理して複数の伝播パスの信号を個別に相関受信して最大比合成を行い、安定な信号を得ている。その後、このようにして得られた信号はチャネルコーデックを経て音声データやテキストデータ等を復号して種類に応じてたとえば、バッファメモリにそれぞれ格納する。本実施例では、テキストデータファイルと添付ファイルがメモリ（図示せず）に格納される。受信部１２は、得られたテキストデータファイルを含むファイルデータ１２ａを絵文字解析部１４に供給する。
【００１８】
絵文字解析部１４は、供給されたテキストデータファイルを含むファイルデータ１２ａに絵文字が挿入されているか否かを調べ、絵文字が含まれている場合、絵文字の意味を解析する機能を有している。絵文字解析部１４は、この機能をもたらす上で、後述するようなルックアップテーブルを備えている。テキストデータとしては、英数文字、ひらがな、カタカナ、漢字、グラフィック記号および特殊文字等が用いられている。絵文字は、一般的に文章の末尾に作成者の感情を表すために使用されている。
【００１９】
現在、絵文字には、（＾＿＾；　（；＿；　（＾＿＾）ｖ　（＾ｏ＾）　ｍ（＿　＿）ｍ　（？＿？）　（＾ｏ＾）／￣　（ＴｏＴ）　（＠＿＠）　（−＿−）　（＊＿＊）　（＞＿＜）等の顔文字がある。
【００２０】
絵文字解析部１４では、通常、単語、文節程度の分量毎にテキストデータファイルを含むファイルデータ１２ａを検討し、この検討したデータが単語、文として意味もつか否かで判断する。絵文字解析部１４は、この判断を絵文字有無判断機能部１４０で行う。絵文字解析部１４は、検討したデータが意味を形成しない場合、絵文字と判断し、意味をなす文の場合、絵文字でないと判断する。
【００２１】
絵文字解析部１４には、絵文字が含まれているとの判断を受けて、上述したような顔文字の場合、一行内に左側から現れる文字の順序から組合せにより得られる顔文字の意味を判断する絵文字意味解析機能部１４２がある。また、絵文字には、動作や状況をも含めて表現するものもある。さらに、絵文字は、一行だけでなく、複数行にわたって文字を配置して、より複雑な表現をしているものもある。絵文字意味解析機能部１４２は、あらかじめ絵文字に使用されるパターンと意味、ならびに意味に対応する制御情報の関係をテーブル化したルックアップテーブル（図示せず）を保有する。絵文字意味解析機能部１４２は、絵文字の意味解析だけでなく、たとえば母音の単語抽出結果および使用する基本データの選択を含む制御信号１４ａを信号生成部１８に出力する。
【００２２】
絵文字意味解析機能部１４２は、携帯電話でのアイコンも利用して言葉で表現し難い微妙な感情を認識して、この認識に対応する制御情報を生成する機能も有している。
【００２３】
なお、これは、いわゆるアイコン付電子メールを送信しても、中継するサーバを介すことによりそれぞれのキャリアが持っている絵文字に置き換えてしまい、正確に相手に伝わらない。したがって、この機能を保つためサーバには、異なるキャリア間の絵文字を対応付けて正確に変換する機能を配設するとよい。
【００２４】
このようにして絵文字解析部１４は、解析結果の制御情報を制御信号１４ａとして信号生成部１８に出力する。また、テキストデータ１４ｂは、そのまま利用できるようにたとえばバッファメモリ（図示せず）に入力する。
【００２５】
絵文字解析部１４は、供給されたデータに添付ファイルが付加されているファイルの構造に応じてテキストデータファイルと添付ファイルとを分離するファイル構造解析機能部１４４も有している。分離した添付ファイル１４ｃは、信号生成部１８に供給される。
【００２６】
基本データ格納部１６は、不揮発性メモリである。基本データ格納部１６には、あらかじめ画像データ、音楽データ、音声データ、データの発信（提供）者が有する個人的な特徴データ、画像データで表わされる画像に対する動作データ、画像に対する状況データおよび広告宣伝用のデータ等が含まれている。
【００２７】
この中で、携帯電話の場合、変化に追従させるデータとして画像データ、音声データおよび広告宣伝用データが基本データに対応する。一方、特徴データ、動作データおよび状況データは、付帯的な情報であるから二次データに分類する。
【００２８】
基本データ格納部１６には、信号作成部１８から使用する基本データの選択信号１６ａが供給される。基本データ格納部１６は、選択信号１６ａに応じて対応するデータ１６ｂを信号作成部１８に出力する。データ１６ｂは、基本データと二次データの少なくとも一方のデータである。データ１６ｂは、基本データと二次データを組み合わせたものであってもよい。ただし、二次データだけを供給する場合、基本データ格納部１６は、この供給以前にすでに基本データを送出済みになっていることを条件とする。
【００２９】
また、基本データ格納部１６は、データの種類毎にデータを各メモリに格納するようにしてもよく、メモリのそれぞれから同時に信号生成部１８にデータ１６ｂを出力するようにしてもよい。この場合、信号生成部１８には、複数種類のデータが供給されることになる。
【００３０】
なお、特徴データ、動作データおよび状況データは、送信側の携帯電話機から供給してもよい。また、送信側の携帯電話機は、基本となる画像データも供給するようにしてもよい。この場合、携帯電話機は、テキストデータファイルに添付する添付ファイル１４ｃとして画像データ、特徴データ、動作データおよび状況データのいずれかを含めて供給する。
【００３１】
信号生成部１８は、基本データ格納部１６から供給されたデータ１６ｂを制御信号１４ａ（、添付ファイル１４ｃ）に応じて信号を生成する機能をそれぞれ有している。後段で具体的に説明するが、供給されるデータ１６ｂに対応して各種類の信号が生成される。添付ファイル１４ｃは、構造解析結果で存在するときに供給する。
【００３２】
信号生成部１８は、画像データに対応したアニメ画像作成機能部１８０、音楽データに対応してアナログ信号に変換するＤ／Ａ変換機能部１８２、音声データに対応して合成音声を生成する合成音声作成機能部１８４および広告宣伝画像作成機能部１８６を含んでいる。また、信号生成部１８は、合成画像作成部１８８を含めてもよい。合成画像作成部１８８は、アニメ画像作成機能部１８０と広告宣伝画像作成機能部１８６とでそれぞれ作成した画像信号を表示領域および表示タイミングを考慮して合成する機能を有している。信号生成部１８は、生成した信号１８ａを信号発現部２０に出力する。
【００３３】
なお、アニメ画像作成機能部１８０には、前述したように画像データを入力するだけでなく、特徴データ、動作データおよび状況データを供給する。これにより、生成する画像に個人の特徴を反映させて表示させること、画像に動作を持たせること、および画像に状況を反映させて表示させること等が可能になる。
【００３４】
信号発現部２０は、携帯電話機１０が有する表示部２０ａやスピーカ２０ｂである。表示部２０ａは、信号生成部１８で生成した画像信号１８ａとテキストデータ１４ｂとを設定した画面領域に表示する。この領域への分割は、表示コントローラ（図示せず）により処理される。画像は、表示するテキストに同期して表示する。スピーカ部２０ｂは、信号生成部１８で生成した音信号（音楽・音声等）をタイミング調整して供給することにより微妙なタイミングで発音を行う。
【００３５】
これにより、作成した電子メール（テキストデータ）に含まれる絵文字に対応して画像、音楽、音声および広告宣伝の情報を携帯電話機１０から的確に再生することができ、絵文字を知らない人にも微妙なニュアンスを確実に伝えることができる。
【００３６】
次に携帯電話機１０における受信した電子メールの再生表示手順について説明する（図２を参照）。まず、電子メールを受信する（ステップＳ１０）。受信した電子メールは、図示しないバッファメモリに一時格納する。格納したデータ１２ａのすべてに対して絵文字の解析を行う（サブルーチンＳＵＢ１）。この解析結果すべてが、信号生成部１８に制御信号１４ａとして供給される。テキストデータ１４ｂについて図２のフローチャートにはあらわに示されていないが、絵文字解析部１４では、テキストデータ１４ｂを信号発現部２０に供給されている。
【００３７】
信号生成部１８では、信号の生成処理を行う（サブルーチンＳＵＢ２）。信号生成部１８では、制御信号１４ａに応じて基本データ格納部１６から選択した基本データ１６ｂを読み出して、基本データ１６ｂに処理を施して信号生成を行う。信号生成は、テキストデータ１４ｂの表示に同期して表示できるように行うとともに、広告宣伝も含むか否かに応じた信号合成処理も行う（ステップＳ１２）。信号合成は、同種の信号同士の場合、信号合成するが、異種の信号の場合、それぞれに得られた信号を出力する。同期は、たとえば表示画面上に表示させるカーソルの移動に応じてタイミングをとるようにするとよい。
【００３８】
信号発現部２０では、供給される信号を発現させる（ステップＳ１２）。テキストデータ１４ｂと同期させて供給される信号が画像信号の場合、表示部２０ａにて表示させ、音声信号の場合、スピーカ部２０ｂから発音させる。
【００３９】
次に読みがすべて終了したか否かの判断を行う（ステップＳ１４）。文章の読みがまだ終了していない場合（ＮＯ）、再び信号の生成処理に戻って前述した手順を繰り返す。また、すべて読み終えた場合（ＹＥＳ）、終了に進んで電子メールの再生表示を終了する。
【００４０】
次に絵文字解析の処理手順（サブルーチンＳＵＢ１）について図３を用いて説明する。まず、取り込んだデータ１２ａが絵文字を含むか否かの判断を行う（サブステップＳＳ１００：絵文字有無判断機能部１４０）。絵文字を含む場合（ＹＥＳ）、含む絵文字に対応する基本データの選択に進む（サブステップＳＳ１０２）。絵文字を含まない場合（ＮＯ）、テキストデータ１２ａを基にたとえば、母音の抽出処理に進む（サブステップＳＳ１０４）。
【００４１】
絵文字の判断は、顔文字の場合、傾向パターンを文章のニュアンスから探り、さらに細かく記号「（」を見い出し、記号「（」前への遡った際のデータや後続のデータの組合せからを探る（サブステップＳＳ１０２）。傾向パターンとは、たとえば「楽しい」、「冷や汗」、「悲しい」、「照れる」、「謝り（ごめん）」、「わからない」、「眠い」、「怒り」、「あいさつ」、「さよなら」、「痛い」、「逃げる」、「応援」、「普通」、「横倒し」、「有名キャラクタ」（図示せず）、「ねこ」、「いぬ」、「ブタ」、「生物」、「絵文字」等がある（図４を参照）。「楽しい」等の各グループには、顔文字と歓声や表情を表す意味が対応付けられて、ルックアップテーブルに記憶され、それぞれの意味に対応する選択データの番号が割り当ててルックアップテーブルに格納されている。絵文字意味解析機能部１４２では対応する番号を選択する。
【００４２】
また、母音の抽出を行う場合（サブステップＳＳ１０４）、絵文字意味解析部１４２では、テキストデータから文章を読んだ際の母音を抽出する。そして、抽出した母音に対応した選択データの番号を選択する（サブステップＳＳ１０６）。これらの選択した番号が制御信号１４ａである。制御信号１４ａは、扱うデータの種類も指示する、たとえばフラグを有している。データの種類は、画像、音楽、音声および広告宣伝がある。
【００４３】
次に解析が終了したか否かを判断する（サブステップＳＳ１０８）。解析が未完の場合（ＮＯ）、絵文字か否かの判断に戻る（サブステップＳＳ１００へ）。解析が供給されたデータ１２ａすべてについて完了した場合（ＹＥＳ）、一括送出処理に進む（サブステップＳＳ１１０へ）。
【００４４】
絵文字解析部１４では、供給されたテキストデータ１２ａに対応して生成した制御信号１４ａを信号生成部１８に一括送出する（サブステップＳＳ１１０）。この処理後、リターンに移行してサブルーチンＳＵＢ１を終了する。
【００４５】
なお、図３に図示していないが、送信元から供給されたファイルに添付ファイルが付けられていることがある。絵文字解析部１４では、ファイル構造解析機能部１４４で添付ファイルの有無を調べるようにしてもよい。添付ファイルが存在した場合、添付ファイル１４ｃを信号生成部１８に分離して提供する。
【００４６】
次に信号生成の手順について図５を参照しながら説明する。最初に、絵文字解析部１４は、制御信号１４ａ（および添付ファイル１４ｃ）をバッファメモリ（図示せず）に一時格納する（サブステップＳＳ２００）。この後、一時格納した制御信号１４ａが段階的に読み出して絵文字の制御情報の番号か否かの判断を行う（サブステップＳＳ２０２）。絵文字の場合（ＹＥＳ）、読み出した番号を基本データ格納部１６に選択信号１６ａとして供給する。また、絵文字でない場合（ＮＯ）もこの読み出した番号を基本データ格納部１６に選択信号１６ａとして供給する。
【００４７】
基本データ格納部１６では、フラグと選択した番号からそれぞれ、絵文字と母音とに対応した基本データ１６ｂを信号生成部１８に送出する（サブステップＳＳ２０４，　ＳＳ２０６）。
【００４８】
信号生成部１８では、扱う信号の基本データ１６ｂを受け、基本データ１６ｂに応じた信号処理を行う（サブステップＳＳ２０８：絵文字対応）。サブステップＳＳ２０８では、生成した信号の補間処理も行って滑らかな信号にする。そして、発現の継続処理を行う（サブステップＳＳ２１０）。画像表示の場合、たとえばポーズしたように一時的な動作の停止や強調できる表現の画像等を表示させる。音楽・音声の場合、一定の期間供給されたデータを再生し続ける。一方、信号生成部１８では、扱う信号の基本データ１６ｂを受け、基本データ１６ｂに応じた信号処理を行う（サブステップＳＳ２１２：母音対応）。サブステップＳＳ２１２では、生成した母音に対応した信号の間を補間して滑らかに、かつ違和感のない信号にする。
【００４９】
ここで、信号生成部１８では、画像信号、音楽用音声、音声および広告宣伝信号等の少なくとも一つが生成される。補間処理は、上述した方法に限定されるものでない。
【００５０】
次に広告宣伝の有無を判断する（サブステップＳＳ２１４）。広告宣伝がない場合（ＮＯ）、リターンに移行してサブルーチンＳＵＢ２を終了する。また、広告宣伝がある場合（ＹＥＳ）、信号の合成に進む（サブルーチンＳＵＢ３へ）。合成した信号を生成してリターンに進めてサブルーチンＳＵＢ２を終了する。
【００５１】
なお、後述する広告宣伝の合成が時間的な合成に関する場合、図示しないが、広告宣伝の判断処理および信号の合成処理を絵文字判断処理（サブステップＳＳ２０２）の前に行うことが好ましい。
【００５２】
次に信号の合成について図６を参照しながら簡単に説明する。２つの信号をそれぞれの記憶領域に一時的に格納する（サブステップＳＳ３００）。次に読み出した信号の同期関係を保つようにして信号の合成を行う（サブステップＳＳ３０２）。扱う信号が同種類の信号の場合、空間的な合成、すなわち画面の一部領域に広告を合成し、新たな画像信号を生成する場合と、時間的な合成、すなわち文章（電子メール）を再生する時間領域に挿入し、新たな画像信号を生成する場合とがある。また、扱う信号が異種類の信号の場合もある。
【００５３】
異種類の信号としてたとえば、画像信号と音声信号がある。この場合、空間的な合成でなく、時間的な合成になり、同期させる対象のタイミングを良好に保ってそれぞれの信号効果が発揮されるように合成する。
【００５４】
次に合成した信号を信号発現部２０に出力する（サブステップＳＳ３０４）。この後、リターンに移行してサブルーチンＳＵＢ３を終了する。
【００５５】
このように動作させることにより、携帯電話機１０は、単なるテキストデータファイルを表示させるだけでなく、ファイル内に含む絵文字（または顔文字）に対応して信号を生成し、この信号の発現がタイミングを考慮して行われることから、送信者の感情を確実に反映させる表現が追加でき、コミュニケーション力を高めることができる。
【００５６】
なお、画像の表現は、常に動画にしなくてもよく、通常静止画表示し、絵文字が認識された際に、対応した動画を表示させてもよい。
【００５７】
より具体的な例をいくつか以下に示す。ここで、本発明を携帯電話機１０に適用して実施例は、共通する部分に同じ参照番号を付して説明を省略する。
〈具体例１〉
図７の携帯電話機１０は、受信部１２、絵文字解析部１４、基本データ格納部１６、信号生成部１８および表示部２０ａを含む。信号生成部１８には、アニメ画像作成機能部１８０が含まれる。携帯電話機１０は、たとえば電子メール再生モードにおいて受信部１２からのデータ１２ａに対してカーソルの移動に応じて絵文字解析部１４で絵文字の有無および解析を行い、得られた制御信号１４ａを信号生成部１８に供給する。絵文字解析部１４は、絵文字有無判断機能部１４０および絵文字意味解析機能部１４２を含んでいる。信号生成部１８は、読み出すデータが画像であり、選択番号を示す選択信号１６ａを基本データ格納部１６に送る。基本データ格納部１６は、図示しない画像メモリから選択信号１６ａに応じたデータ１６ｂを信号生成部１８に供給する。
【００５８】
信号生成部１８では、供給されたデータ１６ｂを基にアニメ画像作成機能部１８０で動画用の基本となる静止画データを作成し、生成した静止画間を補間処理している。補間処理は、絵文字と母音の供給される画像データから滑らかな画像信号１８ａをそれぞれ生成している。データ１２ａに絵文字が入ってくるまで、母音に対応して顔の中の口が変化し、絵文字「（＾ｏ＾）」があれば、画像は笑っている画像に変更される。表示部２０ａは、テキスト表示領域２００にテキストを表示し、画像表示領域２０２に画像を表示する。
【００５９】
送信者は、これまでと同じ電子メール作成を行っているにもかかわらず、受信側で絵文字を意識することなく、たとえば、カーソルの動きに応じてテキストデータとともに画像として表示させることができる。これにより、送信者の感情をわかりやすく理解することができる。
〈具体例２〉
図８の携帯電話機１０は、図７の構成に音楽の再生機能を付加している。絵文字解析部１４は、単に絵文字を解析するだけでなく、検出した絵文字以降の文章一つ分がテキスト表示領域２００を流れる間、またはカーソルが移動する期間にわたって音楽を変更して流すように制御情報を制御信号１４ａに追加する。信号生成部１８には、アニメ画像作成機能部１８０およびＤ／Ａ変換機能部１８２が含まれている。基本データ格納部１６には、画像メモリ１６０および音楽メモリ１６２が備えられている。信号発現部２０には、表示部２０ａおよびスピーカ部２０ｂがある。
【００６０】
ここで、前述した一つの文章とは、前の文章の読点の後から本文章の読点までを示している。基本データ格納部１６の音楽メモリ１６２は、この表示期間中をデータ読出しイネーブル期間にしてデータ１６ｂを信号生成部１８に供給する。
【００６１】
信号生成部１８のＤ／Ａ変換機能部１８２は、供給されるデータ１６ｂをアナログ信号に変換して信号発現部２０に信号１８ａとして出力する。信号１８ａは、画像信号および再生したアナログ信号（音楽）である。表示部２０ａの画像表示領域２０２には、たとえばキャラクタ画像の動画が表示され、データ１２ａを基にこの画像の口が動いているように見せることができる。
【００６２】
絵文字が検出された場合、前述の実施例と同様にキャラクタ画像を変更し、動かす。同時に、絵文字の検出に合わせて、検出後に書かれた文章一つ分の期間にわたって基本データ格納部１６の音楽メモリ１６２は、絵文字に対応した音楽に関するデータ１６ｂを信号生成部１８に供給する。Ｄ／Ａ変換機能部１８２では、供給されるデータ１６ｂをアナログ信号に変換してスピーカ部２０ｂに出力する。これにより、たとえば通常のテキスト表示中には、鳥のさえずりを出力しているが、絵文字の検出に応じて異なる音楽が上述の期間に出力する。
【００６３】
したがって、絵文字等を意識しなくても、電子メール作成者の感情を推し量ることができ、音楽も合わせて変化することにより、受信者に作成者の感情をより一層容易に伝えることができるようになる。
〈具体例３〉
図９の携帯電話機１０は、図７の構成において合成音声生成機能を付加している。絵文字解析部１４は、単に絵文字を解析するだけでなく、文章の構文解析をテキスト解析として行い、検出した絵文字以降の文章一つ分がテキスト表示領域２００を流れる間、またはカーソルが移動する期間にわたって合成音声を変更して流すように制御情報を制御信号１４ａに追加する。信号生成部１８には、アニメ画像作成機能部１８０および合成音声作成機能部１８４が含まれている。基本データ格納部１６には、画像メモリ１６０および音声メモリ１６４が備えられている。信号発現部２０には、表示部２０ａおよびスピーカ部２０ｂがある。上述した期間は、具体例２と同じである。
【００６４】
音声メモリ１６４には、合成音の作成に要する基本データが記憶されている。基本データは、方式に応じたデータである。第１の方式は、人が発声した音声波形または波形符号化して蓄積したデータであり、つなぎ合わせて使用する。第２の方式は、音声波形を分析し、パラメータ化したデータを蓄積し、つなぎ合わせて使用する。また、第３の方式は、文字列または音素記号列をデータとして記憶し、音声学および言語学的な合成規則に基づいて音声を生成する。本実施例では、音声メモリ１６４は、子音（Ｃｏｎｓｏｎａｎｔ）と母音（Ｖｏｗｅｌ）の音素データを記憶する。
【００６５】
合成音声作成機能部１８４は、テキスト音声合成を行う機能部で、文字−音声変換を行う。合成音声作成機能部１８４は、テキスト解析の結果から音韻規則と韻律規則から音声合成制御パラメータとして音声メモリ１６４からのデータ１６ｂを用いてＬＳＰ（Ｌｉｎｅ　Ｓｐｅｃｔｒｕｍ　Ｐａｉｒ）パラメータとピッチパターンを生成し、ピッチパターンを基に生成した音声データとＬＳＰパラメータをディジタルフィルタに入力し、音声合成を行う。生成した音声は、Ｄ／Ａ変換してスピーカ部２０ｂに出力される。
【００６６】
このようにして電子メール作成者から供給されたテキストデータファイルを音声変換して出力する。これにより、表示されたキャラクタ画像がテキストの読み上げているように動作させ、絵文字の検出時には、検出した絵文字に対応した音声にして出力させる。この音声は、「ｖ（＾＿＾）ｖ」のように喜んでいる絵文字が検出された場合、制御信号１４ａに音程を高くするようなキー信号や「やったー」という音声を出力させるデータを含ませて信号生成部１８に供給する。
【００６７】
先の実施例に比べて、テキストを音声変換して読み上げることから、視覚障害者にとって有利である。そして、絵文字等を意識しなくても、電子メール作成者の気持ちを相手に伝えることができ、コミュニケーション力を高めることができる。
【００６８】
これら３つの具体例において、電子メール作成者は、受信者の構成を考慮することなく、これまでの電子メール作成と同じ手順で作成することができるという特徴を備えている。
〈具体例４〉
図１０の携帯電話機１０は、図７の絵文字解析部１４にファイル構造解析機能部１４４を追加している。すなわち、絵文字解析部１４は、単に絵文字の有無および解析を行う（絵文字有無判断機能部１４０，　絵文字解析機能部１４２）だけでなく、供給されたテキストデータファイル（電子メール）の構造を解析し、添付ファイルの有無およびデータ内容を調べる機能（ファイル構造解析機能部１４４）を有している。
【００６９】
ファイル構造解析機能部１４４に添付ファイルが存在する場合、ファイル構造解析機能部１４４では、テキストデータファイルと添付ファイル１４ｃを分離し、信号生成部１８に供給する。信号生成部１８は、添付ファイル１４ｃをデータ１６ａを介して基本データ格納部１６に供給し、格納する。添付ファイル１４ｃは、図示しないが、基本データ格納部１６に直接的に供給して格納し、基本データ格納部１６から読み出すようにしてもよい。ここで、添付ファイル１４ｃは、画像表示用のモデルデータであり、電子メールで使用する絵文字に対応したデータを含む。
【００７０】
携帯電話機１０は、あらかじめ表示画像の基本データを持たなくても、表示するテキストデータ１４ｂの表示に同期させながら、供給されるデータを基に画像を表示させて、電子メールの受信者は、画像から電子メール作成者を認識することができる。供給されるモデルデータを本人をデフォルメしたキャラクタや似顔絵等を使用すれば、擬似的にメール作成者本人と対話しているような感覚を受信者にもたらすこともでき、コミュニケーション力を高めることができる。
〈具体例５〉
図１１の携帯電話機１０は、図７の絵文字解析部１４にファイル構造解析機能部１４４を追加し、基本データ格納部１６に個人特性メモリ１６６を配設している。ファイル構造解析機能部１４４は、具体例４の場合と同様に添付ファイル１４ｃの有無と添付したファイルの内容を判断してテキストデータファイルと分離する。添付ファイル１４ｃは、画像用モデルデータおよび個人の特性を示すデータを含んでいる。個人特性データは、標準の画像に対して特別な変化を与える動作が記述されたデータであり、電信メール作成者の癖や特徴的な動作である。添付ファイル１６ｃは、信号生成部１８を介して基本データ格納部１６の画像メモリ１６０および個人特性メモリ１６６にそれぞれ分けて供給される。
【００７１】
実際に画像を生成する場合、基本データ格納部１６は、画像メモリ１６０および個人特性メモリ１６６からそれぞれ、画像データおよび個人特性データを信号生成部１８に読み出す。アニメ画像作成機能部１８０では、供給される画像データを作成し、テキストデータに含まれる絵文字に対応した個人特性データを画像に反映させて、個人を表すように画像に変化を与える（サブステップＳＳ２０４〜ＳＳ２１０に対応）。
【００７２】
個人特性データとして一般的に定義している口の大きさよりも大きく開ける記述がされている場合、アニメ画像作成機能部１８０では、絵文字「（＾ｏ＾）」に対応してキャラクタ画像の口を大きく開けて笑っているように動作を変化させる。これにより、電子メールの再生におけるコミュニケーションを高め、単なる通信に比べて感情移入させ易くすることができる。
〈具体例６〉
具体例５では、画像データと個人特性データに関する適用を説明したが、本実施例では添付ファイル１４ｃとして画像データと説明データが供給される場合について説明する。図１２に示すように、基本データ格納部１６には、画像メモリ１６０および説明用メモリ１６８を配設している。
【００７３】
ここで、説明データとは、たとえば画像を説明する動作データや周囲の状況を示す状況データ等である。
【００７４】
画像が商品の場合、携帯電話機１０で再生した際に単に画像を表示するのでなく、説明データを加味して画像作成する。表示するテキストの位置に同期して画像を表示させるとともに、たとえばポインタで示すようにして特定の商品や商品の指摘箇所等を的確に伝達することができるようになる。このように補足説明の画像を絵文字に対応して提供することにより、通信相手に対する伝えたい内容の把握に寄与し、容易な理解と理解度を深めることに貢献することができる。
〈具体例７〉
図１３に示す携帯電話機１０において、絵文字解析部１４には、それぞれ絵文字有無機能部１４０、絵文字解析機能部１４２およびファイル構造解析機能部１４４が配設されている。基本データ格納部１６には、画像メモリ１６０および広告宣伝用メモリ１７０が含まれている。そして、信号生成部１８には、アニメ画像作成機能部１８０、広告宣伝画像作成機能部１８６および合成画像作成機能部１８８が含まれている。
【００７５】
本実施例では、広告宣伝用メモリ１７０、広告宣伝画像作成機能部１８６および合成画像作成機能部１８８が新たに配設されている。添付ファイル１４ｃとしては、画像データと広告宣伝用データが供給される場合である。広告宣伝用データは、たとえば、モデルデータである画像データの背景に表示する企業広告のデータである。また、広告は、背景のように空間的な合成に限定されるものでなく、電子メール再生における最初と最後に挿入するような時間的合成によっても提供することができる。
【００７６】
添付ファイル１４ｃは、信号生成部１８を介して基本データ格納部１６の各メモリ１６０，　１６６にそれぞれ、テキストデータファイルと分離して格納する。この後、画像作成に際して、データ１６ｂ（画像データおよび広告宣伝データ）が信号生成部１８に供給される。信号生成部１８においてアニメ画像作成機能部１８０は画像データを基にキャラクタ画像信号１８０ａを作成し、広告宣伝用画像作成機能部１８６は広告宣伝データを基に広告宣伝画像信号１８６ａを作成する。
【００７７】
合成画像作成機能部１８８は、供給されるキャラクタ画像信号１８０ａと広告宣伝画像信号１８６ａを空間的な合成および時間的な合成のいずれか一方での画像合成する。この画像合成は、制御信号１４ａに応じて制御するとよい。合成画像作成機能部１８８は、合成画像信号としての出力信号１８ａを表示部２０ａに出力する。表示部２０ａは、画像表示領域２０２に合成画像を表示させる。空間的な合成を行った場合、キャラクタ画像が変化している際に、広告宣伝画像は、自然に見えるようにする。
【００７８】
テキスト表示に同期して広告を含む画像を表示させることにより、伝えたい内容を的確に伝えるとともに、広告宣伝を表示して通信費の割引きサービス等を受けることが可能になる。また、本実施例では背景に広告宣伝画像を用いたが、この画像に限定されるものでなく、前述したような説明データにより作成した画像でもよい。画像を合成することにより、電子メール作成者が伝えたい内容を判り易く提供できるようになる。
【００７９】
また、絵文字に対応した変化は、モデルデータの画像だけでなく、背景の画像も電子メール作成者の感情がよく判るように変化させてもよい。モデルデータの画像は、送信される添付ファイルでなく、電子メール受信側で任意に作成したモデルデータを使用してもよい。
【００８０】
具体例は、前述した場合に限定されるものでなく、７つの例を組み合わせてもよい。
【００８１】
ところで、絵文字は、定義するルックアップテーブルにあらかじめ登録しておけば、新たな絵文字に対応した画像を提供できる。絵文字は、前述した実施例において文章の末尾に挿入したが、電子メール作成者の感情に応じて文中に挿入してもよい。
【００８２】
なお、携帯電話機１０は、受信側の構成について説明したが、携帯電話機１０には電子メール作成機能を持つようにしてもよい。電子メール作成機能には、テキスト作成だけでなく、画像のモデルデータ、個人特性データ、説明データおよび広告宣伝データの作成も行えることは言うまでもない。また、まったく別なパーソナルコンピュータ等で作成した電子メールを携帯電話機１０に取り込んで都合のよいときに相手に送信するようにしてもよい。
【００８３】
次に電子メール通信システム１００について説明する（図１４を参照）。電子メール通信システム１００は、情報端末装置１０２とサーバ装置１０４とを含んでいる。情報端末装置１０２は、たとえばＩＰ（Ｉｎｔｅｒｎｅｔ　Ｐｒｏｔｏｃｏｌ）ネットワークを介してサーバ装置１０４に接続されている。情報端末装置１０２には、携帯電話機１０２ａ，　１０２ｂ、パーソナルコンピュータ（以下、ＰＣという）１０２ｃ，　１０２ｄ等がある。ＰＣ　１０２ｃには、ブラウザ機能部１０２ｅを有している。また、携帯電話機１０２ｂおよびＰＣ　１０２ｃには、それぞれ、発現制御機能部１０２ｆ，　１０２ｇを含んでいる。ＰＣには、ブラウザ機能および発現制御機能を備えることが好ましい。携帯電話機には、受信側に発現制御部を配設しておくことが望ましい。
【００８４】
ブラウザ機能部１０２ｅは、ＷＷＷ（Ｗｏｒｌｄ−Ｗｉｄｅ　Ｗｅｂ）を閲覧するクライアント・ソフトウェア機能を有している。発現制御機能部１０２ｆ，　１０２ｇは、テキスト表示に同期して添付ファイルとして供給されたデータを発現させるように制御する機能を有している。この発現をさせるため、たとえば添付ファイルには、発現タイミングを知らせる制御キー（制御コード）が含まれている。制御キーは、サーバ装置１０４にて挿入される。
【００８５】
携帯電話機１０２ａ，　１０２ｆは、それぞれ、通信エリア内にある基地局１０８ａ，　１０８ｂと無線を介して通信する。基地局１０８ａ，　１０８ｂは、回線を介してＩＰネットワーク１１０に接続している。また、ＰＣ　１０２ｃ，　１０２ｇも回線を介してＩＰネットワーク１１０と接続している。
【００８６】
サーバ装置１０４は、ＡＳＰ（Ａｃｃｅｓｓ　Ｓｉｇｎａｌｉｎｇ　Ｐｒｏｔｏｃｏｌ）サーバを用いている。サーバ装置１０４は、回線１１０ａを介してＩＰネットワーク１１０と接続している。サーバ装置１０４は、図１５に示すように、絵文字解析機能部１０４ａ、信号生成機能部１０４ｂ、ストレージ１０４ｃおよび顧客情報管理機能部１０４ｄを含んでいる。
【００８７】
個々の機能部について説明する。絵文字解析機能部１０４ａには、絵文字有無判断機能部３０、絵文字意味解析機能部３２およびファイル構造解析機能部３４が含まれている。各機能の説明は、前述した携帯電話機１０の場合と同じである。説明の繰返しを避けるため、機能の説明を省略する。絵文字解析機能部１０４ａは、供給される電子メールデータ１１０ａを入力し、電子メール内の絵文字解析を行い、テキストデータ３６ａとともに、この解析結果を示す制御信号３６ｂを信号生成機能部１０４ｂに出力する。また、絵文字解析機能部１０４ａは、ファイル構造解析機能部３４で得られた電子メールデータ１１０ａに添付ファイルの有無と内容に応じてテキストデータファイルと分離した添付ファイル３８を信号生成機能部１０４ｂおよびストレージ１０４ｃに供給する。添付ファイル３８には、モデルデータである画像データ、音楽データ、個人特性データ、説明データ（動作・状況）および広告宣伝データ等がある。
【００８８】
信号生成機能部１０４ｂには、アニメ画像作成添付機能部４０、音楽データ添付機能部４２、合成音声添付機能部４４、宣伝データ添付機能部４６および画像合成添付機能部４８が備えられている。信号生成機能部１０４ｂでは、図示しないが、テキストデータ３６ａ中での絵文字検出に応じて、たとえば添付ファイル３８に制御キーを挿入する。この制御キーは、情報端末装置１０２にて信号を発現させる際の同期タイミング信号に用いる。添付ファイル３８には、たとえばテキストデータが読まれる時系列に沿ってテキストデータに含まれる母音に対応したデータが配置され、検出した絵文字に応じて制御コードが配されている。また、添付ファイル３８には、簡単化するため母音に対応したデータの代わりに口の形状を開閉させるように口パクのデータを用いて絵文字の対応箇所に制御コードを挿入するようにしてもよい。
【００８９】
信号生成機能部１０４ｂは、基本データとして絵文字解析機能部１０４ａから供給される添付ファイル３８またはあらかじめストレージ１０４ｃに格納しておいたファイルデータ３８を読み出して加工を施し、テキストデータファイルとともに、加工後の添付ファイルを付して通信相手先の情報端末装置１０２に出力する。個々の信号生成および添付について以下に説明する。
【００９０】
アニメ画像作成添付機能部４０は、画像用のモデルデータを基に制御信号３６ｂに応じた動画画像信号の生成・補間処理を行い、特に絵文字に対応して解析の意味に一致した動作を示す画像信号を生成する。生成した画像データは、所定の添付ファイル形式に変換して通信相手先に出力される。
【００９１】
音楽データ添付機能部４２は、制御信号３６ｂに応じて絵文字が対応する解析の意味に一致した音楽データに変更する。この音楽データは、所定の添付ファイル形式に変換して通信相手先に出力される。
【００９２】
合成音声添付機能部４４は、制御信号３６ｂに応じてテキストの読みに対応した合成音声データを生成し、特に絵文字に対応して解析の意味に一致した合成音声データを挿入させる。また、この場合、合成音声データは、所定の期間にわたってたとえば音程を変化させるようにしてもよい。生成した合成音声データは、所定の添付ファイル形式に変換して通信相手先に出力される。
【００９３】
宣伝データ添付機能部４６は、制御信号３６ｂに応じて広告宣伝データをたとえば、画像データとして生成する。生成した宣伝データは、所定の添付ファイル形式に変換して通信相手先に出力される。　宣伝データ添付機能部４６は、あらかじめ宣伝データをどのように提供するかを示すメニューの中から選んで指定するとよい。メニューは、たとえば、空間的な位置指定や時間的な挿入位置指定等がある。宣伝データ添付機能部４６は、この指定に応じた処理を行う。
【００９４】
画像合成添付機能部４８は、アニメ画像作成添付機能部４０と宣伝データ添付機能部４６からそれぞれ供給される画像データを合成する。合成指定は、宣伝データの指定や両画像データの合成前での指定にて行うようにする。生成した合成画像データは、所定の添付ファイル形式に変換して通信相手先に出力される。
【００９５】
ストレージ１０４ｃは、あらかじめサーバ装置１０４として所有している画像データ、音楽データおよび広告宣伝データやユーザ個々に応じて所有する個人特性データ、説明データ（動作・状況）がある。また、ストレージ１０４ｃは、電子メール送信者が供給する添付ファイルを内容に応じて領域毎に格納するようにしてもよい。また、このような添付ファイルのデータは、一般ユーザが使用できるように登録すると、扱うデータの種類を飛躍的に増やすことができる。
【００９６】
広告宣伝データは、データ提供の会社・団体等から広告代金を徴収してストレージ１０４ｃに掲載する。広告宣伝データには、たとえば料金体系に基づくランクを設け、このランクに応じた広告代金を会社側に課金するようにしてもよい。後述するように、これを基に広告宣伝データを用いたユーザには、サーバ装置１０４の利用にともなう課金を軽減する。このように信号処理した添付ファイル付き電子メールを回線１１０ａを介して通信相手先の情報端末装置１０２に送出する。
【００９７】
顧客情報管理機能部１０４ｄは、ユーザ登録管理部５０、使用時間管理部５２、広告使用時間管理部５４および課金計算管理部５６を備えている。ユーザ登録管理部５０は、サーバ装置１０４の機能を利用するユーザの利用を登録し、登録済のユーザに対する認識処理を行う管理部である。
【００９８】
使用時間管理部５２は、電子メールのデータを受信した時刻から信号生成して通信相手先に出力した時刻までの時間を使用時間として管理する。広告使用時間管理部５４は、いくつのランクにある宣伝データをどのくらい使用したか、または利用回数をカウントしている。課金計算管理部５６は、サーバ装置１０４の使用時間に応じた利用料金と広告宣伝データの利用にともなう回数を時間に対して換算して個々のユーザに対する課金を算出する管理部である。広告使用時間管理部５４は、利用時間そのもので課金を管理してもよい。
【００９９】
顧客情報管理機能部１０４ｄは、前述した４つの管理部５０〜５６が有するユーザ個々の情報をデータベースのパラメータとしてストレージ１０４ｃに供給する。ストレージ１０４ｃは、供給されるパラメータをデータベース化して保存する。
【０１００】
このように構成して情報端末装置１０２側に負担を強いることなく、これまでと同様に電子メールを作成しながら、画像、音声等の情報をテキストデータに反映させて出力することにより、電子メール作成者の感情を感覚的に知ることおよびより的確な説明を受けることができ、コミュニケーション力を向上させることができる。
【０１０１】
次に図１３の電子メール通信システム１００における動作およびその利用形態について簡単に説明する。情報端末装置１０２は、相手先アドレス、絵文字付メール本文（テキストデータ）を含み、電子メールとして添付ファイルもともにサーバ装置１０４に送信する。　添付ファイルは、たとえばモデルデータとしての画像データである。
【０１０２】
第１に、サーバ装置１０４は、通信相手の情報端末装置１０２が前述した携帯電話機１０の場合、テキストデータ、画像データおよび画像データに対する動きデータをひとまとめにＩＰネットワーク１１０を介して情報端末装置１０２に提供する。これにより、表情をともなった画像を画像表示領域に表示させながら、電子メールを読むことができる。この画像表示機能がなくても、通常の電子メールとして内容を確認することができる。
【０１０３】
第２に、サーバ装置１０４は、通信相手の情報端末装置１０２にサーバ装置１０４上のアドレスに「宛先の名前およびタイトル」で電子メールが着信していることを報知する。サーバ装置１０４は、通信相手の情報端末装置１０２からのアクセスにより、誰でも自動的に生成した表情付きの画像を表示した電子メールを読むことができる。
【０１０４】
第３に、サーバ装置１０４は、モデルデータを基に動画画像を自動的に作成する。動画画像には、絵文字に対応して表情を変化させた画像が含まれている。サーバ装置１０４は、この動画画像データを添付ファイルとする電子メールを通信相手の情報端末装置１０２に送信する。情報端末装置１０２が動画画像の表示可能な装置ならば、情報端末装置１０２には、テキスト表示および画像表示を同時に行わせることができる。また、第２の場合のように電子メールの着信およびそのアドレスを報知すると、誰でもアクセスした情報端末装置１０２で見ることができる。
【０１０５】
なお、サーバ装置１０４は、通信相手先に作成した電子メールを送信確認メールとして本来の電子メール作成者の情報端末装置１０２にも送付してもよい。
【０１０６】
電子メール作成者側の情報端末装置１０２にブラウザ機能があると、このユーザは、情報端末装置１０２を介してサーバ装置１０４にアクセスし、ログインする。新規のユーザの場合、ユーザ登録を行う。ログインにともないサーバ装置１０４は、情報端末装置１０２に対するユーザ認証を行う。ユーザ認証は、登録しているユーザ名およびパスワードの一致か否かに応じて行う。ユーザは、情報端末装置１０２の入力装置を介してサーバ装置１０４にて電子メールを作成し、モデルデータであるキャラクタを選択する。電子メールには、送付先のアドレスも入力されている。
【０１０７】
サーバ装置１０４は、たとえば前述した第３の利用形態のように電子メールのテキストデータを検索し、絵文字の有無を調べる。選択したキャラクタを用いてテキストデータに応じて話しているように、口の形状等を変化させ、この絵文字の検出結果から絵文字対応の表情や動作を行わせた画像データを生成する。サーバ装置１０４は、この生成した画像データを添付ファイルとして付加して通信相手の情報端末装置１０２に送出する。前述した第１および第２の利用形態も行うことができることは言うまでもない。
【０１０８】
なお、この場合もサーバ装置１０４は、通信相手先に作成した電子メールを送信確認メールとして本来の電子メール作成者の情報端末装置１０２にも送付してもよい。
【０１０９】
また、サーバ装置１０４は、絵文字付きの電子メールを受信して第１および第２の形態のいずれかにより絵文字対応の電子メールを自動的に作成し、電子メール作成者側の情報端末装置１０２に送り返す。電子メールは、絵文字付きテキストおよび動きデータまたは絵文字付きテキストおよび絵文字対応の動画画像データである。この後、情報端末装置１０２は、通信相手先の情報端末装置１０２に送信する。したがって、ユーザは、送信する内容と相手先を自分で管理することができる。また、サーバ装置１０４は、電子メール送付先を自アドレスにして送信元の情報端末装置１０２に返送し、送信元の情報端末装置１０２が実際に通信相手先の情報端末装置１０２に送付する。この手順では、電子メールの送付先のアドレス等はサーバ装置１０４に現れないので、情報の秘匿性を保つことができる。
【０１１０】
添付ファイルには、前述した広告宣伝データを含めて送付してもよい。広告の仕方は、電子メールを開封して読む際に、表情を有する画像データ（動画キャラクタ）の背景に（空間的な）合成した広告を表示させる方法と、表情を有する画像データを表示する前および表示終了の少なくとも一方で（時間的な）合成による広告表示の方法とがある。広告宣伝データは、文字データや映像（画像）データを用いる。広告宣伝を利用すると、サーバ装置１０４の管理者は、利用料金を負担を広告料で肩代わりするサービスを提供することも可能になる。ユーザは、このサービスを受けることができると、利用負担を抑えることができ、有利である。
【０１１１】
モデルデータは、たとえば、数枚の絵や写真等から取り込んだ画像データを基本として顔を作成する方法、専用ソフトウェアを用いてデータ作成する方法および有償にてキャラクタを提供する方法等がある。添付ファイルのデータは、画像データに限定されず、音声データ、音楽データ等でもよい。
【０１１２】
以上のように構成することにより、絵文字の有無に応じて絵文字の意味解析を行い、絵文字に対応した画像信号や音声信号の生成や生成に要するデータの選択を行い、絵文字を含む電子メールの添付ファイルにして送付することにより、電子メールの送信元（作成者）の感情を反映させて表示することにより、単なるテキストデータの通信を読む場合に比べて通信相手とのコミュニケーション距離を感覚的に近づけることができ、結果としてコミュニケーション力を高めることができる。絵文字がわからない人にも正確にその意味を提供することができる。
【０１１３】
音声による表現によっても行うことができ、視覚障害者に対して効果がある。
【０１１４】
このようなコミュニケーション力は、信号生成方法や電子メール通信システム、そしてデータ通信方法においても同様に向上させることができる。
【０１１５】
【発明の効果】
このように本発明の情報通信装置によれば、絵文字解析手段で解析した意味に応じて信号生成手段でデータ記憶手段から読み出したデータに加工処理を施して信号を生成し、供給されるテキストデータとともに、タイミングを考慮して生成した信号を出力して、テキストデータの表示に合わせて的確な絵文字に対応した信号を提供し、通信相手の感情を反映させることにより、単なるテキストデータの通信を読む場合に比べて通信相手とのコミュニケーション距離を感覚的に近づけることができ、結果としてコミュニケーション力を高めることができる。
【０１１６】
また、本発明の情報通信装置における情報生成方法によれば、供給されるディジタルデータに絵文字を含むか調べて、存在する絵文字の意味を解析し、解析結果に応じた加工処理をデータに施すことで、信号に絵文字が持つ意図を的確に反映させ、得られた信号の出力タイミングを考慮して出力して、通信相手の感情も正確に提供でき、単なるテキストデータの通信を読む場合に比べて通信相手とのコミュニケーション距離を感覚的に近づけることができ、結果としてコミュニケーション力を高めることができる。
【０１１７】
そして、情報通信システムによれば、サーバ装置の信号生成機能ブロックでデータを絵文字解析機能ブロックからの解析結果に応じて加工処理を施して得られた信号のタイミングを考慮して相手側の端末装置に供給し、この端末装置では、テキストデータファイルを受けて、このファイルを展開して制御機能ブロックでテキストデータの表示に合わせて信号が発現して提供することにより、送信側の端末装置では、これまで作成してきたと同じにテキストデータファイルを作成しているにもかかわらず、通信相手側の端末装置に信号に絵文字が持つ意図を的確に反映させ、得られた信号の出力タイミングを考慮して出力して、通信相手の感情も正確に提供し、コミュニケーション力を高めることができる。
【０１１８】
さらに、本発明の情報通信システムにおけるデータ通信方法は、第１の情報端末装置でこれまでと同じ入力処理を行い、第１の情報端末装置から供給されたテキストデータに含まれる絵文字をサーバ装置にて検出し、かつその意味を解析して、サーバ装置が有する基本データを含む添付ファイルを出力し、その出力先や第２の情報端末装置の機能に応じて添付された基本データから信号を生成して、絵文字付きのテキストを表示させた場合に比べてより理解しやすく、感情移入しやすい表現を第２の情報端末装置に行わせることができるので、データ通信におけるコミュニケーション力を一層向上させることができる。
【図面の簡単な説明】
【図１】本発明の情報通信装置を携帯電話機に適用し、携帯電話機の受信側に含まれる電子メール表示に用いる原理的な構成を示すブロック図である。
【図２】図１の携帯電話機にて受信電子メールを再生表示させる手順を示すフローチャートである。
【図３】図２の再生表示における絵文字解析の処理手順を示すフローチャートである。
【図４】図２の絵文字解のうち、顔文字のパターンと意味の具体的な関係を説明する図である。
【図５】図２の再生表示における信号生成の処理手順を示すフローチャートである。
【図６】図５の信号生成における合成処理の手順を示すフローチャートである。
【図７】図１の原理を基にした受信電子メール再生表示の具体例１の構成を示すブロック図である。
【図８】図１の原理を基にした受信電子メール再生表示の具体例２の構成を示すブロック図である。
【図９】図１の原理を基にした受信電子メール再生表示の具体例３の構成を示すブロック図である。
【図１０】図１の原理を基にした受信電子メール再生表示の具体例４の構成を示すブロック図である。
【図１１】図１の原理を基にした受信電子メール再生表示の具体例５の構成を示すブロック図である。
【図１２】図１の原理を基にした受信電子メール再生表示の具体例６の構成を示すブロック図である。
【図１３】図１の原理を基にした受信電子メール再生表示の具体例７の構成を示すブロック図である。
【図１４】本発明の情報通信システムを適用した電子メール通信システムの構成を示す図である。
【図１５】図１４のサーバ装置における概略的な構成を示す機能ブロック図である。
【符号の説明】
１０　携帯電話機
１２　受信部
１４　絵文字解析部
１６　基本データ格納部
１８　信号生成部
２０　信号発現部
１４０　絵文字有無判断機能部
１４２　絵文字解析機能部
１４４　ファイル構造解析機能部
１８０　アニメ画像作成機能部
１８２　Ｄ／Ａ変換機能部
１８４　合成音声作成機能部
１８６　広告宣伝画像作成機能部
１８８　合成画像作成機能部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an information communication device that displays an image or text generated according to a pictogram included in a sentence such as an e-mail, for example. The present invention relates to a signal generation method for generating an image signal, an audio signal, and the like based on data related to a face image and a sound. Further, the present invention, for example, uses an information communication device as a terminal device and performs data exchange between the terminal devices Also, the present invention relates to an information communication system for communicating information generated according to pictogram analysis. Further, the present invention relates to a data communication method in which a result of pictographic analysis between information communication systems is reflected.
[0002]
[Prior art]
2. Description of the Related Art At present, mobile phones are becoming more and more multifunctional in addition to simply making voice calls. As an example of multifunctionalization, a mobile phone has an image communication function and a display function, and also has an e-mail function for transmitting and receiving character information. Further, with respect to image communication, a mobile phone having a function of displaying a moving image including a still image has appeared on a mobile phone. When a personal computer (hereinafter, referred to as a PC) is used as the information terminal device, some PCs have a voice function for reading out e-mails and texts sent.
[0003]
In general, when an e-mail is used to convey the sentiment of a sender to a communication partner such as a close friend, it is common practice to create a pictogram by combining symbols of one character and insert the pictograph in a text to achieve communication. These pictographs are effective descriptions for communication, but their expression contents are limited. In addition, there is a problem that a person who is not familiar with e-mail does not know what the pictogram means.
[0004]
In order to effectively convey the intention of the writer to the reader, for example, a face mark input device disclosed in JP-A-10-149433 has been proposed. The face mark input device includes a face image input unit, a facial expression determination unit, a face image conversion unit, a text input unit, and a text layout unit. The face mark input device may include a text input unit, a text analysis unit, a facial expression determination unit, a face image input unit, a face image conversion unit, a face image holding unit, and a text placement unit.
[0005]
[Problems to be solved by the invention]
By the way, the above-described face mark input device is configured to generate a facial expression according to a word included in a supplied text. For example, in response to the sentence "Let's do our best not to be angry when the world is bad when you're sad,""Sad,""Angry," There remains an ambiguity as to whether attention is paid to “no”, and an unintended image may be generated. In order to remove this ambiguity, in order to determine a word in the text to be imaged, it is conceivable to put a designated range in advance as a determined area. Such a task is complicated for text creation. In addition, the layout work for inserting the generated image into the created text is also troublesome for the user.
[0006]
The present invention solves such disadvantages of the prior art, and an information communication apparatus and a signal generation method capable of expressing an image of a facial expression accurately reflecting an intention of a sentence even when the sentence is created in the same manner as a normal sentence. , And an information communication system and a data communication method thereof.
[0007]
[Means for Solving the Problems]
The present invention, in order to solve the above-described problems, a pictograph analyzing means for examining whether the pictograph having a meaning by combining one character or symbol is included in data in the supplied text, and analyzing the meaning of the pictograph. A data storage means for storing basic data in advance, and a signal generation means for outputting a signal in consideration of the timing of a signal obtained by subjecting the data read from the data storage means to processing according to the intention indicated by the analysis result Means.
[0008]
The information communication device of the present invention generates a signal by processing the data read from the data storage unit by the signal generation unit according to the meaning analyzed by the pictogram analysis unit, generates a signal, and considers the timing together with the supplied text data. By outputting the generated signal and providing a signal corresponding to an accurate pictogram in accordance with the display of the text data, the emotion of the communication partner can be reflected.
[0009]
Further, in order to solve the above-described problems, the present invention provides a signal generation method for generating information useful for communication from the digital data using an information communication device that communicates digital data corresponding to the created text to a partner. A first step of analyzing the meaning of this pictogram by examining whether the supplied digital data includes pictographs that generate a meaning by combining one character or symbol, and reading basic data stored in advance, And a second step of outputting the data in consideration of the timing of a signal obtained by subjecting the data to a processing process according to the intention indicated by the analysis result.
[0010]
The signal generation method in the information communication device according to the present invention checks whether or not the supplied digital data includes pictographs, analyzes the meaning of the pictographs that exist, and performs a processing process on the data in accordance with the analysis result. It is possible to accurately reflect the intention of the pictogram, output the signal in consideration of the output timing of the obtained signal, and accurately provide the emotion of the communication partner.
[0011]
In order to solve the above-mentioned problem, the present invention provides a terminal device for inputting / outputting information, digitizing and transmitting the information, and applying an application process to the digitized data output from the terminal device. A server device for supplying to the destination terminal device, and performing information communication between the terminal devices via the server device. In the information communication system, the server device is a file of text data in which text is digitized by the terminal device. In response to this, the text data file examines whether the data to be supplied contains pictographs that have a meaning by combining one character or symbol, and a pictograph analysis function block that analyzes the meaning of this pictograph. Data storage means for storing data to be read from the data storage means according to the intent indicated by the analysis result. And a signal generation function block for providing the data obtained by processing the processed data in consideration of the timing of the signal.The terminal device receives the text data file from the server device, expands the text data file, It is characterized by including a control function block for expressing the supplied signal in response to the display of the data.
[0012]
The information communication system of the present invention checks the presence / absence of a pictogram in the pictogram analysis function block of the server device, analyzes the pictogram, and supplies an analysis result according to the meaning of the pictogram to the signal generation function block. The data read from the storage means is supplied to the signal generation function block, and the signal generation function block performs signal processing according to the analysis result to generate a signal of a type different from the text data file, and generates the signal together with the text data file. The signal is also supplied to the other terminal device. The terminal device on the other end receives the text data file via the server device, expands this file, and provides a signal in accordance with the display of the text data in the control function block to provide the signal. Although the device creates a text data file in the same way as it did before, it accurately reflects the intention of pictograms in the signal on the terminal device of the communication partner, and adjusts the output timing of the obtained signal. In consideration of the output, the emotion of the communication partner can be provided accurately.
[0013]
Further, in order to solve the above-mentioned problem, the present invention relates to a first information terminal device for transmitting text data created by a text creation process, and a method for relating the text data from the first information terminal device to the text data. In a data communication method in an information communication system using a server device to which the attached data is attached and a second information terminal device with which the first information terminal device communicates, one character is added to text data by the server device. A first step of analyzing the meaning of the pictogram by examining whether a pictogram that has a meaning by combining characters and symbols is included, and reading out basic data different from the text data stored in advance by the server device according to the intention indicated by the analysis result And outputting a text data file by attaching a file containing the basic data to the text data file. .
[0014]
According to the data communication method in the information communication system of the present invention, the first information terminal device performs the same input processing as before, and the server device detects pictographs included in text data supplied from the first information terminal device. And analyzing the meaning thereof, outputting an attached file containing the basic data possessed by the server device, and generating a signal from the attached basic data according to the output destination and the function of the second information terminal device. Thus, it is possible to cause the second information terminal device to perform an expression that is easier to understand and easier to empathize than when displaying text with pictograms.
[0015]
BEST MODE FOR CARRYING OUT THE INVENTION
Next, an embodiment of an information communication device according to the present invention will be described in detail with reference to the accompanying drawings.
[0016]
In the present embodiment, the information communication apparatus of the present invention is applied to a mobile phone 10. Illustrations and descriptions of parts not directly related to the present invention are omitted. In the following description, signals are indicated by the reference numbers of the connecting lines in which they appear.
[0017]
The mobile phone 10 shown in FIG. 1 basically includes a reception unit 12, a pictographic analysis unit 14, a basic data storage unit 16, a signal generation unit 18, and a signal expression unit 20. The receiving unit 12 includes a circuit that receives a radio wave corresponding to, for example, IMT (International Mobile Telecommunications) -2000. It is needless to say that the mobile phone 10 also has a transmitting unit (not shown). The received radio wave is power-amplified to obtain a signal passing through a predetermined frequency band. This signal is multiplied by a predetermined frequency and down-converted to an intermediate frequency. This down-converted signal is subjected to demodulation processing after being amplified to become a baseband signal. For example, the baseband signal is converted into an analog signal, and the signal of a plurality of propagation paths is individually correlated and subjected to maximum ratio combining by performing a Reiki reception process to obtain a stable signal. Thereafter, the signal obtained in this way passes through a channel codec to decode audio data, text data, and the like, and stores the decoded data in, for example, a buffer memory according to the type. In this embodiment, the text data file and the attached file are stored in a memory (not shown). The receiving unit 12 supplies the file data 12a including the obtained text data file to the pictograph analyzing unit 14.
[0018]
The pictogram analyzing unit 14 has a function of checking whether a pictogram is inserted in the file data 12a including the supplied text data file, and analyzing the meaning of the pictogram when the pictogram is included. The pictographic analysis unit 14 has a lookup table as described below to provide this function. As text data, alphanumeric characters, hiragana, katakana, kanji, graphic symbols, special characters, and the like are used. Emojis are commonly used at the end of a sentence to express the creator's emotions.
[0019]
Currently, emoticons include (＾ _ ＾; (; _; (＾ _ ＾)) v (＾ o ＾) m (_ _) m (? _?) (＾ o ＾) / ￣ (ToT) (＠_ ＠) There are emoticons such as (-_-) (* _ *) (> _ <).
[0020]
The pictograph analyzing unit 14 usually examines the file data 12a including the text data file for each word or phrase, and determines whether the examined data has a meaning as a word or a sentence. The pictogram analysis unit 14 makes this determination by the pictogram presence / absence determination function unit 140. The pictogram analysis unit 14 determines that the examined data does not form a meaning, it is a pictogram, and that the sentence that makes sense is not a pictogram.
[0021]
In response to the determination that a pictograph is included, the pictograph analyzing section 14 determines the meaning of the pictograph obtained by combination from the order of the characters appearing from the left side in one line in the case of the above-described pictograph. There is a pictographic meaning analysis function unit 142. In addition, some pictograms are expressed including actions and situations. Furthermore, some pictograms have more complicated expressions by arranging the characters not only on one line but also on a plurality of lines. The pictogram meaning analysis function unit 142 has a look-up table (not shown) in which the relationship between the pattern and the meaning used for the pictogram and the control information corresponding to the meaning is tabulated in advance. The pictogram meaning analysis function unit 142 outputs to the signal generation unit 18 a control signal 14a including not only the meaning analysis of the pictogram but also, for example, a result of extracting a vowel word and selecting basic data to be used.
[0022]
The pictogram meaning analysis function unit 142 also has a function of recognizing subtle emotions that are difficult to express in words using icons on a mobile phone and generating control information corresponding to the recognition.
[0023]
In addition, even if a so-called electronic mail with an icon is transmitted, it is replaced with a pictogram possessed by each carrier by way of a relaying server, and is not accurately transmitted to the other party. Therefore, in order to maintain this function, the server may be provided with a function of accurately converting pictographs between different carriers in association with each other.
[0024]
In this way, pictographic analyzer 14 outputs the control information of the analysis result to signal generator 18 as control signal 14a. The text data 14b is input to, for example, a buffer memory (not shown) so that it can be used as it is.
[0025]
The pictographic analysis unit 14 also has a file structure analysis function unit 144 that separates the text data file from the attached file according to the structure of the file in which the attached file is added to the supplied data. The separated attached file 14c is supplied to the signal generator 18.
[0026]
The basic data storage unit 16 is a nonvolatile memory. The basic data storage unit 16 stores image data, music data, audio data, personal characteristic data possessed by the sender (provider) of the data, operation data for the image represented by the image data, status data for the image, and advertisement in advance. Data etc. are included.
[0027]
Among them, in the case of a mobile phone, image data, audio data, and advertisement data correspond to the basic data as data to follow the change. On the other hand, feature data, operation data, and situation data are classified as secondary data because they are incidental information.
[0028]
The basic data storage unit 16 is supplied with a selection signal 16a of basic data to be used from the signal creation unit 18. The basic data storage 16 outputs the corresponding data 16b to the signal generator 18 according to the selection signal 16a. The data 16b is at least one of basic data and secondary data. The data 16b may be a combination of basic data and secondary data. However, when only the secondary data is supplied, the basic data storage unit 16 must have already transmitted the basic data before the supply.
[0029]
Further, the basic data storage unit 16 may store the data for each type of data in each memory, or may output the data 16b from each of the memories to the signal generation unit 18 at the same time. In this case, a plurality of types of data are supplied to the signal generator 18.
[0030]
Note that the feature data, the operation data, and the situation data may be supplied from the mobile phone on the transmission side. The transmitting-side mobile phone may also supply basic image data. In this case, the mobile phone supplies any one of the image data, the feature data, the operation data, and the situation data as the attached file 14c attached to the text data file.
[0031]
The signal generation unit 18 has a function of generating a signal from the data 16b supplied from the basic data storage unit 16 according to the control signal 14a (and the attached file 14c). As will be specifically described later, each type of signal is generated corresponding to the supplied data 16b. The attached file 14c is supplied when it exists as a result of the structural analysis.
[0032]
The signal generation unit 18 includes an animation image creation function unit 180 corresponding to image data, a D / A conversion function unit 182 configured to convert an analog signal corresponding to music data, and a synthesized voice corresponding to audio data to generate a synthesized voice. A creation function unit 184 and an advertisement image creation function unit 186 are included. Further, the signal generation unit 18 may include a composite image generation unit 188. The composite image creation unit 188 has a function of combining image signals created by the animation image creation function unit 180 and the advertisement image creation function unit 186 in consideration of a display area and display timing. The signal generation unit 18 outputs the generated signal 18a to the signal expression unit 20.
[0033]
It should be noted that the animation image creation function unit 180 not only inputs image data as described above, but also supplies feature data, operation data, and situation data. As a result, it is possible to display the generated image by reflecting the characteristics of the individual, to give the image an action, and to display the image by reflecting the situation.
[0034]
The signal expression unit 20 is a display unit 20a and a speaker 20b included in the mobile phone 10. The display unit 20a displays the image signal 18a generated by the signal generation unit 18 and the text data 14b in the set screen area. This division into regions is processed by a display controller (not shown). Images are displayed in synchronization with the text to be displayed. The speaker unit 20b emits sound at delicate timing by adjusting the timing of the sound signal (music, voice, and the like) generated by the signal generating unit 18 and supplying the signal.
[0035]
As a result, the image, music, voice, and advertisement information can be accurately reproduced from the mobile phone 10 in accordance with the pictogram included in the created e-mail (text data), and even a person who does not know the pictogram can be subtle. Nuances can be conveyed reliably.
[0036]
Next, a procedure for reproducing and displaying the received e-mail on the mobile phone 10 will be described (see FIG. 2). First, an e-mail is received (step S10). The received e-mail is temporarily stored in a buffer memory (not shown). A pictogram is analyzed for all of the stored data 12a (subroutine SUB1). All of the analysis results are supplied to the signal generator 18 as the control signal 14a. Although the text data 14 b is not explicitly shown in the flowchart of FIG. 2, the pictographic analysis unit 14 supplies the text data 14 b to the signal expression unit 20.
[0037]
The signal generator 18 performs a signal generation process (subroutine SUB2). The signal generation unit 18 reads the selected basic data 16b from the basic data storage unit 16 according to the control signal 14a, and processes the basic data 16b to generate a signal. The signal generation is performed so that it can be displayed in synchronization with the display of the text data 14b, and also performs a signal synthesis process according to whether or not the advertisement is included (step S12). In the signal synthesis, when signals of the same type are combined with each other, signals of different types are output. The synchronization may be timed, for example, according to the movement of a cursor displayed on the display screen.
[0038]
The signal expressing section 20 causes the supplied signal to be expressed (step S12). When the signal supplied in synchronization with the text data 14b is an image signal, the signal is displayed on the display unit 20a, and when the signal is an audio signal, the signal is emitted from the speaker unit 20b.
[0039]
Next, it is determined whether or not all reading has been completed (step S14). If the reading of the text has not been completed yet (NO), the process returns to the signal generation process again and the above-described procedure is repeated. If all reading has been completed (YES), the process proceeds to the end, and the reproduction display of the e-mail is ended.
[0040]
Next, the processing procedure of the pictograph analysis (subroutine SUB1) will be described with reference to FIG. First, it is determined whether or not the captured data 12a includes pictograms (substep SS100: pictogram presence / absence determining function unit 140). If a pictogram is included (YES), the process proceeds to selection of basic data corresponding to the pictogram to be included (sub-step SS102). If no pictogram is included (NO), the process proceeds to, for example, vowel extraction processing based on the text data 12a (substep SS104).
[0041]
In the case of an emoticon, in the case of an emoticon, the tendency pattern is searched for from the nuance of the sentence, the symbol “(” is further found out, and the combination of data that has been traced back to the symbol “(” and subsequent data is searched for ( Substep SS102) The tendency patterns are, for example, "fun,""coldsweat,""sad,""shy,""sorry,""notsure,""sleepy,""angry,""greeting,""Goodbye","Painful","Escape","Support","Normal","Side-down","Famouscharacter" (not shown), "Cat", "Inu", "Pig", "Biological", (See Fig. 4.) Each group such as "fun" is associated with an emoticon and a meaning representing cheers or facial expression, and is stored in a look-up table, and corresponds to each meaning. Number of the selected data Against it stored in the lookup table. Selecting an emoticon meaning analysis function unit 142 corresponding number in.
[0042]
When vowels are to be extracted (sub-step SS104), the pictographic meaning analysis unit 142 extracts vowels from the text data when the text is read. Then, the number of the selected data corresponding to the extracted vowel is selected (substep SS106). These selected numbers are the control signals 14a. The control signal 14a also has, for example, a flag that also indicates the type of data to be handled. Types of data include images, music, audio, and advertising.
[0043]
Next, it is determined whether or not the analysis has been completed (substep SS108). If the analysis is not completed (NO), the process returns to the determination as to whether the character is a pictogram (sub-step SS100). If the analysis has been completed for all the supplied data 12a (YES), the process proceeds to the batch transmission process (to sub-step SS110).
[0044]
The pictographic analysis unit 14 collectively sends the control signal 14a generated corresponding to the supplied text data 12a to the signal generation unit 18 (sub-step SS110). After this processing, the process returns to the subroutine SUB1 and ends.
[0045]
Although not shown in FIG. 3, an attached file may be attached to a file supplied from a transmission source. In the pictographic analysis unit 14, the file structure analysis function unit 144 may check whether there is an attached file. If the attached file exists, the attached file 14c is provided separately to the signal generation unit 18.
[0046]
Next, a signal generation procedure will be described with reference to FIG. First, pictographic analyzer 14 temporarily stores control signal 14a (and attached file 14c) in a buffer memory (not shown) (sub-step SS200). Thereafter, the temporarily stored control signal 14a is read out step by step to determine whether or not it is the number of the pictograph control information (sub-step SS202). In the case of a pictogram (YES), the read number is supplied to the basic data storage unit 16 as a selection signal 16a. Also, when the character is not a pictogram (NO), the read number is supplied to the basic data storage unit 16 as a selection signal 16a.
[0047]
The basic data storage unit 16 sends the basic data 16b corresponding to the pictogram and the vowel to the signal generation unit 18 from the flag and the selected number (substeps SS204, SS206).
[0048]
The signal generation unit 18 receives the basic data 16b of the signal to be handled, and performs signal processing according to the basic data 16b (substep SS208: corresponding to pictograms). In sub-step SS208, interpolation processing of the generated signal is also performed to make the signal smooth. Then, a continuation process of the expression is performed (sub-step SS210). In the case of image display, for example, an image or the like of a temporary stop of operation as if paused or an expression that can be emphasized is displayed. In the case of music and voice, data supplied for a certain period is continuously reproduced. On the other hand, the signal generator 18 receives the basic data 16b of the signal to be handled and performs signal processing according to the basic data 16b (substep SS212: vowel support). In sub-step SS212, interpolation is performed between the signals corresponding to the generated vowels to make the signal smooth and free from discomfort.
[0049]
Here, the signal generation unit 18 generates at least one of an image signal, audio for music, audio, an advertisement signal, and the like. The interpolation processing is not limited to the method described above.
[0050]
Next, it is determined whether or not there is an advertisement (substep SS214). If there is no advertisement (NO), the flow shifts to return and ends the subroutine SUB2. If there is an advertisement (YES), the process proceeds to signal synthesis (to subroutine SUB3). The combined signal is generated, the process proceeds to the return, and the subroutine SUB2 ends.
[0051]
In the case where the composition of the advertisement described later relates to temporal composition, although not shown, it is preferable to perform the advertisement determination process and the signal synthesis process before the pictogram determination process (sub-step SS202).
[0052]
Next, signal synthesis will be briefly described with reference to FIG. The two signals are temporarily stored in the respective storage areas (substep SS300). Next, the signals are synthesized so as to maintain the synchronous relationship of the read signals (sub-step SS302). When the signals to be handled are the same type of signal, spatial synthesis, that is, combining an advertisement with a partial area of the screen to generate a new image signal, and temporal synthesis, that is, playback of text (e-mail) In some cases, a new image signal is generated by inserting a new image signal into the time domain. Further, the signals to be handled may be different types of signals.
[0053]
Different types of signals include, for example, image signals and audio signals. In this case, the synthesis is not spatial synthesis but temporal synthesis, and synthesis is performed such that the timing of the object to be synchronized is kept good and the respective signal effects are exhibited.
[0054]
Next, the synthesized signal is output to the signal expression section 20 (sub-step SS304). Thereafter, the process returns to the subroutine SUB3.
[0055]
By operating in this manner, the mobile phone 10 not only displays a simple text data file, but also generates a signal corresponding to the pictograph (or emoticon) included in the file, and the appearance of this signal determines the timing. Since the consideration is performed, an expression that surely reflects the emotion of the sender can be added, and the communication ability can be enhanced.
[0056]
The expression of the image need not always be a moving image, but may be a normal still image display, and a corresponding moving image may be displayed when a pictogram is recognized.
[0057]
Some more specific examples are shown below. Here, in the embodiment in which the present invention is applied to the mobile phone 10, the common parts are denoted by the same reference numerals, and the description is omitted.
<Specific example 1>
The mobile phone 10 of FIG. 7 includes a receiving unit 12, a pictographic analysis unit 14, a basic data storage unit 16, a signal generation unit 18, and a display unit 20a. The signal generation section 18 includes an animation image creation function section 180. The mobile phone 10 performs the presence / absence and analysis of the pictogram by the pictogram analysis unit 14 in response to the movement of the cursor on the data 12a from the reception unit 12 in the e-mail playback mode, and outputs the obtained control signal 14a to the signal generation unit. 18. The pictogram analysis unit 14 includes a pictogram presence / absence determination function unit 140 and a pictogram meaning analysis function unit 142. The signal generation unit 18 sends the selection signal 16 a indicating the selection number to the basic data storage unit 16, as the data to be read is an image. The basic data storage unit 16 supplies data 16b corresponding to the selection signal 16a from an image memory (not shown) to the signal generation unit 18.
[0058]
In the signal generation unit 18, the animation image creation function unit 180 creates basic still image data for a moving image based on the supplied data 16b, and performs interpolation between the generated still images. The interpolation process generates smooth image signals 18a from image data to which pictograms and vowels are supplied. Until the pictogram enters the data 12a, the mouth in the face changes in response to the vowel, and if there is the pictogram "({o})", the image is changed to a smiling image. The display unit 20a displays text in the text display area 200 and displays an image in the image display area 202.
[0059]
Although the sender creates the same e-mail as before, the sender can be displayed as an image together with the text data in response to the movement of the cursor, for example, without being conscious of the pictogram on the receiving side. As a result, the sender's feelings can be easily understood.
<Specific example 2>
The mobile phone 10 of FIG. 8 has a music playback function added to the configuration of FIG. The pictogram analyzing unit 14 not only analyzes the pictogram, but also controls the control information so that the music is changed and played while one sentence after the detected pictogram flows through the text display area 200 or during a period in which the cursor moves. Is added to the control signal 14a. The signal generation unit 18 includes an animation image creation function unit 180 and a D / A conversion function unit 182. The basic data storage unit 16 includes an image memory 160 and a music memory 162. The signal expression section 20 includes a display section 20a and a speaker section 20b.
[0060]
Here, the above-mentioned one sentence indicates from the reading point of the preceding sentence to the reading point of the main text. The music memory 162 of the basic data storage 16 supplies the data 16 b to the signal generator 18 during the display period during the data read enable period.
[0061]
The D / A conversion function unit 182 of the signal generation unit 18 converts the supplied data 16b into an analog signal, and outputs the analog signal to the signal expression unit 20 as a signal 18a. The signal 18a is an image signal and a reproduced analog signal (music). In the image display area 202 of the display unit 20a, for example, a moving image of a character image is displayed, and based on the data 12a, it can be seen that the mouth of this image is moving.
[0062]
When a pictogram is detected, the character image is changed and moved in the same manner as in the above embodiment. At the same time, along with the detection of the pictogram, the music memory 162 of the basic data storage unit 16 supplies data 16b relating to music corresponding to the pictogram to the signal generation unit 18 over a period of one sentence written after the detection. The D / A conversion function section 182 converts the supplied data 16b into an analog signal and outputs the analog signal to the speaker section 20b. Thus, for example, during the normal text display, the birdsong is output, but different music is output in the above-described period according to the detection of the pictogram.
[0063]
Therefore, the emotion of the e-mail creator can be inferred without being conscious of pictograms and the like, and the music can also be changed so that the creator's emotion can be more easily conveyed to the recipient. Become.
<Specific example 3>
The mobile phone 10 shown in FIG. 9 has a function of generating a synthesized voice added to the configuration shown in FIG. The pictogram analyzing unit 14 does not only analyze the pictogram, but also performs a syntax analysis of the text as a text analysis, and performs one sentence after the detected pictogram through the text display area 200 or a period during which the cursor moves. Control information is added to the control signal 14a so that the synthesized speech is changed and played. The signal generation unit 18 includes an animation image creation function unit 180 and a synthesized voice creation function unit 184. The basic data storage unit 16 includes an image memory 160 and an audio memory 164. The signal expression section 20 includes a display section 20a and a speaker section 20b. The period described above is the same as in the second embodiment.
[0064]
The voice memory 164 stores basic data required for creating a synthesized sound. The basic data is data according to the method. The first method is a speech waveform uttered by a person or data that has been waveform-encoded and stored, and is used in connection. The second method is to analyze voice waveforms, store parameterized data, and use them together. In the third method, a character string or a phoneme symbol string is stored as data, and speech is generated based on phonetic and linguistic synthesis rules. In this embodiment, the voice memory 164 stores phoneme data of a consonant (Consonant) and a vowel (Vowel).
[0065]
The synthesized speech creation function unit 184 is a function unit that performs text-to-speech synthesis, and performs character-speech conversion. The synthesized speech creation function unit 184 generates an LSP (Line Spectrum Pair) parameter and a pitch pattern from the text analysis result using the data 16b from the speech memory 164 as a speech synthesis control parameter from the phonemic rules and the prosodic rules, and generates a pitch pattern. The voice data and LSP parameters generated on the basis of are input to a digital filter to perform voice synthesis. The generated sound is D / A converted and output to the speaker unit 20b.
[0066]
In this way, the text data file supplied from the e-mail creator is voice-converted and output. As a result, the displayed character image is operated as if the text is read aloud, and when a pictogram is detected, the sound is output in a sound corresponding to the detected pictogram. When a happy pictogram such as “v (＾_＾) v” is detected, the control signal 14a outputs a key signal for raising the pitch or a data for outputting a sound “Yaaaa”. And supplies it to the signal generation unit 18.
[0067]
Compared to the previous embodiment, the text is converted into speech and read out, which is advantageous for the visually impaired. Then, the feeling of the e-mail creator can be conveyed to the other party without being aware of pictograms and the like, and communication ability can be enhanced.
[0068]
In these three specific examples, the e-mail creator has a feature that the e-mail creator can compose the e-mail in the same procedure as the e-mail creation without having to consider the configuration of the recipient.
<Specific example 4>
The mobile phone 10 of FIG. 10 has a file structure analysis function unit 144 added to the pictogram analysis unit 14 of FIG. That is, the pictogram analysis unit 14 not only performs the presence / absence and analysis of the pictogram (the pictogram presence / absence determination function unit 140, the pictogram analysis function unit 142), but also analyzes the structure of the supplied text data file (e-mail). A function (file structure analysis function unit 144) for checking the presence or absence of an attached file and data contents is provided.
[0069]
If an attached file exists in the file structure analysis function unit 144, the file structure analysis function unit 144 separates the text data file and the attached file 14 c and supplies them to the signal generation unit 18. The signal generation unit 18 supplies the attached file 14c to the basic data storage unit 16 via the data 16a and stores it. Although not shown, the attached file 14c may be directly supplied to and stored in the basic data storage unit 16, and may be read from the basic data storage unit 16. Here, the attached file 14c is model data for image display, and includes data corresponding to pictograms used in electronic mail.
[0070]
Even if the mobile phone 10 does not have the basic data of the display image in advance, the mobile phone 10 displays the image based on the supplied data while synchronizing with the display of the text data 14b to be displayed. Can recognize the e-mail creator. If the supplied model data uses a deformed character or caricature, etc., the recipient can be given a sensation of interacting with the mail creator himself, and the communication ability can be enhanced. .
<Example 5>
The mobile phone 10 in FIG. 11 has a file structure analysis function unit 144 added to the pictogram analysis unit 14 in FIG. 7, and a personal characteristic memory 166 in the basic data storage unit 16. The file structure analysis function unit 144 determines the presence or absence of the attached file 14c and the content of the attached file as in the case of the specific example 4, and separates the file from the text data file. The attached file 14c includes image model data and data indicating individual characteristics. The personal characteristic data is data in which an operation for giving a special change to the standard image is described, and is a habit or a characteristic operation of the creator of the electronic mail. The attached file 16c is separately supplied to the image memory 160 and the personal characteristic memory 166 of the basic data storage unit 16 via the signal generation unit 18.
[0071]
When an image is actually generated, the basic data storage unit 16 reads out the image data and the personal characteristic data from the image memory 160 and the personal characteristic memory 166 to the signal generation unit 18, respectively. The animation image creation function unit 180 creates the supplied image data, reflects the personal characteristic data corresponding to the pictogram included in the text data on the image, and gives a change to the image to represent the individual (sub-step SS204) ~ SS210).
[0072]
If a description that is larger than the size of the mouth generally defined as personal characteristic data is described, the animation image creation function unit 180 inserts the mouth of the character image corresponding to the pictograph “(＾ o ＾)”. Change the action as if you were smiling wide open. As a result, the communication in the reproduction of the e-mail can be enhanced, and the emotion can be easily introduced compared to the mere communication.
<Example 6>
In the specific example 5, the application regarding the image data and the personal characteristic data has been described. In the present embodiment, a case where the image data and the description data are supplied as the attached file 14c will be described. As shown in FIG. 12, the basic data storage unit 16 is provided with an image memory 160 and an explanation memory 168.
[0073]
Here, the explanation data is, for example, operation data for explaining an image, situation data indicating a surrounding situation, or the like.
[0074]
When the image is a product, the image is created not only by simply displaying the image when the image is reproduced on the mobile phone 10 but also by adding the description data. The image is displayed in synchronization with the position of the text to be displayed, and a specific product or a pointed-out point of the product can be accurately transmitted, for example, as indicated by a pointer. By providing the supplementary explanation image corresponding to the pictogram in this way, it is possible to contribute to grasping the content to be conveyed to the communication partner, and to contribute to easy understanding and understanding.
<Specific Example 7>
In mobile phone 10 shown in FIG. 13, pictographic analysis section 14 is provided with pictographic presence / absence function section 140, pictographic analysis function section 142, and file structure analysis function section 144. The basic data storage unit 16 includes an image memory 160 and an advertising memory 170. The signal generation unit 18 includes an animation image creation function unit 180, an advertisement image creation function unit 186, and a composite image creation function unit 188.
[0075]
In this embodiment, an advertisement memory 170, an advertisement image creation function unit 186, and a composite image creation function unit 188 are newly provided. The case where image data and advertisement data are supplied as the attached file 14c. The advertisement data is, for example, data of a corporate advertisement displayed on the background of image data that is model data. Further, the advertisement is not limited to the spatial composition as in the background, but can also be provided by temporal composition such as insertion at the beginning and end of the electronic mail reproduction.
[0076]
The attached file 14c is stored separately from the text data file in each of the memories 160 and 166 of the basic data storage unit 16 via the signal generation unit 18. Thereafter, at the time of image creation, data 16b (image data and advertisement data) is supplied to the signal generator 18. In the signal generation unit 18, the animation image creation function unit 180 creates a character image signal 180a based on the image data, and the advertisement image creation function unit 186 creates an advertisement image signal 186a based on the advertisement data.
[0077]
The combined image creation function unit 188 combines the supplied character image signal 180a and the advertisement image signal 186a with one of spatial combination and temporal combination. This image composition may be controlled according to the control signal 14a. The composite image creation function unit 188 outputs an output signal 18a as a composite image signal to the display unit 20a. The display unit 20a displays the composite image on the image display area 202. When the spatial composition is performed, the advertisement image is made to look natural when the character image is changing.
[0078]
By displaying an image including an advertisement in synchronization with the text display, it is possible to accurately convey the content to be conveyed, and to display an advertisement and receive a service such as a communication cost discount service. Further, in this embodiment, the advertisement image is used as the background, but the present invention is not limited to this image, and may be an image created from the above-described explanation data. By synthesizing the images, the contents that the e-mail creator wants to convey can be easily provided.
[0079]
Further, the change corresponding to the pictogram may be such that not only the image of the model data but also the background image is changed so that the emotion of the e-mail creator can be understood well. As the image of the model data, model data arbitrarily created on the e-mail receiving side may be used instead of the attached file to be transmitted.
[0080]
Specific examples are not limited to the above-described case, and seven examples may be combined.
[0081]
By the way, if a pictogram is registered in advance in a lookup table to be defined, an image corresponding to a new pictogram can be provided. The pictogram is inserted at the end of the text in the above-described embodiment, but may be inserted in the text according to the emotion of the e-mail creator.
[0082]
Although the configuration of the mobile phone 10 on the receiving side has been described, the mobile phone 10 may have an e-mail creation function. It goes without saying that the e-mail creation function can create not only text but also model data of images, personal characteristic data, description data, and advertisement data. Further, an electronic mail created by a completely different personal computer or the like may be taken into the mobile phone 10 and transmitted to the other party at a convenient time.
[0083]
Next, the e-mail communication system 100 will be described (see FIG. 14). The electronic mail communication system 100 includes an information terminal device 102 and a server device 104. The information terminal device 102 is connected to the server device 104 via, for example, an IP (Internet Protocol) network. The information terminal device 102 includes mobile phones 102a and 102b, personal computers (hereinafter, referred to as PCs) 102c and 102d, and the like. The PC 102c has a browser function unit 102e. The mobile phone 102b and the PC 102c include expression control function units 102f and 102g, respectively. It is preferable that the PC has a browser function and an expression control function. It is desirable that a mobile phone be provided with an expression control unit on the receiving side.
[0084]
The browser function unit 102e has a client software function for browsing the World Wide Web (WWW). The expression control function units 102f and 102g have a function of performing control so that data supplied as an attached file is expressed in synchronization with text display. To cause this expression, for example, the attached file includes a control key (control code) for notifying the expression timing. The control key is inserted by the server device 104.
[0085]
The mobile phones 102a and 102f communicate with the base stations 108a and 108b located in the communication area via wireless communication, respectively. The base stations 108a and 108b are connected to the IP network 110 via lines. The PCs 102c and 102g are also connected to the IP network 110 via lines.
[0086]
The server device 104 uses an ASP (Access Signaling Protocol) server. The server device 104 is connected to the IP network 110 via a line 110a. As shown in FIG. 15, the server device 104 includes a pictographic analysis function unit 104a, a signal generation function unit 104b, a storage 104c, and a customer information management function unit 104d.
[0087]
Each functional unit will be described. The pictogram analysis function section 104a includes a pictogram presence / absence determination function section 30, a pictogram meaning analysis function section 32, and a file structure analysis function section. The description of each function is the same as that of the mobile phone 10 described above. Descriptions of functions will be omitted to avoid repetition of the description. The pictogram analysis function unit 104a receives the supplied e-mail data 110a, analyzes the pictogram in the e-mail, and outputs a control signal 36b indicating the analysis result to the signal generation function unit 104b together with the text data 36a. Further, the pictographic analysis unit 104a converts the attached file 38 separated from the text data file into the electronic mail data 110a obtained by the file structure analysis unit 34 according to the presence or absence of the attached file and the content thereof, by the signal generation function unit 104b and the storage. 104c. The attached file 38 includes model data such as image data, music data, personal characteristic data, description data (operation / status), and advertisement data.
[0088]
The signal generation function unit 104b includes an animation image creation / attachment function unit 40, a music data attachment function unit 42, a synthesized voice attachment function unit 44, an advertisement data attachment function unit 46, and an image synthesis attachment function unit 48. Although not shown, the signal generation function unit 104b inserts a control key into the attached file 38, for example, in response to the detection of a pictogram in the text data 36a. This control key is used for a synchronization timing signal when the information terminal device 102 generates a signal. In the attached file 38, for example, data corresponding to vowels included in the text data is arranged in a time series in which the text data is read, and control codes are arranged according to the detected pictograms. Further, in order to simplify the attached file 38, control codes may be inserted into corresponding portions of pictograms using data of mouth lips so as to open and close the shape of the mouth instead of data corresponding to vowels. .
[0089]
The signal generation function unit 104b reads out the attached file 38 supplied from the pictogram analysis function unit 104a or the file data 38 stored in the storage 104c in advance as basic data, performs processing, and performs processing with the text data file together with the text data file. Attached file is attached and output to information terminal device 102 of the communication partner. The individual signal generation and attachment are described below.
[0090]
The animation image creation / attachment function unit 40 generates and interpolates a moving image signal in accordance with the control signal 36b based on the model data for the image. Generate a signal. The generated image data is converted into a predetermined attached file format and output to the communication partner.
[0091]
The music data attachment function unit 42 changes the music data to music data that matches the meaning of the analysis corresponding to the pictogram according to the control signal 36b. This music data is converted into a predetermined attached file format and output to the communication partner.
[0092]
The synthesized voice attachment function unit 44 generates synthesized voice data corresponding to the reading of the text in accordance with the control signal 36b, and inserts the synthesized voice data that matches the meaning of the analysis, particularly corresponding to the pictogram. Further, in this case, for example, the pitch of the synthesized voice data may be changed over a predetermined period. The generated synthesized voice data is converted into a predetermined attached file format and output to the communication partner.
[0093]
The advertisement data attachment function unit 46 generates advertisement data, for example, as image data according to the control signal 36b. The generated advertisement data is converted into a predetermined attached file format and output to the communication partner. The advertisement data attachment function unit 46 may be selected and designated in advance from a menu indicating how to provide the advertisement data. The menu includes, for example, a spatial position specification and a time insertion position specification. The advertisement data attachment function unit 46 performs a process according to the designation.
[0094]
The image combining and attaching function unit 48 combines the image data supplied from the animation image creating and attaching function unit 40 and the advertisement data attaching function unit 46, respectively. The combination designation is performed by designating advertisement data or designation before combining both image data. The generated composite image data is converted into a predetermined attached file format and output to the communication partner.
[0095]
The storage 104c has image data, music data, advertisement data, personal characteristic data, and explanation data (operations / status) owned by the server device 104 in advance for each user. Further, the storage 104c may store an attached file supplied by the e-mail sender for each area according to the content. If the data of such an attached file is registered so that a general user can use it, the types of data to be handled can be dramatically increased.
[0096]
The advertisement data is collected from the data providing company / organization or the like and posted on the storage 104c. For example, a rank based on a fee system may be provided in the advertisement data, and the company may be charged for the advertisement according to the rank. As will be described later, the fee for using the server device 104 is reduced for the user who uses the advertisement data based on the information. The e-mail with the attached file subjected to the signal processing is sent to the information terminal device 102 of the communication partner via the line 110a.
[0097]
The customer information management function unit 104d includes a user registration management unit 50, a usage time management unit 52, an advertisement usage time management unit 54, and a charge calculation management unit 56. The user registration management unit 50 is a management unit that registers the use of the user who uses the function of the server device 104 and performs a recognition process for the registered user.
[0098]
The usage time management unit 52 manages the time from when the data of the e-mail is received to when the signal is generated and output to the communication partner as the usage time. The advertisement usage time management unit 54 counts how many ranks of the advertisement data have been used or how many times they have been used. The charge calculation management unit 56 is a management unit that calculates a charge for each user by converting the usage fee according to the usage time of the server device 104 and the number of times associated with the use of the advertisement data into time. The advertisement use time management unit 54 may manage the charge based on the use time itself.
[0099]
The customer information management function unit 104d supplies the information of each user of the four management units 50 to 56 to the storage 104c as a parameter of the database. The storage 104c stores the supplied parameters in a database.
[0100]
With such a configuration, the information terminal device 102 can output an e-mail by reflecting information such as images and sounds in text data while creating an e-mail without imposing a burden on the information terminal device 102 side. It is possible to sensuously know the creator's feelings and receive a more accurate explanation, thereby improving communication skills.
[0101]
Next, the operation of the electronic mail communication system 100 of FIG. The information terminal device 102 includes the destination address, the text of the mail with pictograms (text data), and transmits the attached file to the server device 104 as an e-mail. The attached file is, for example, image data as model data.
[0102]
First, when the information terminal device 102 of the communication partner is the above-described mobile phone 10, the server device 104 collectively collects text data, image data, and motion data corresponding to the image data to the information terminal device 102 via the IP network 110. provide. Thus, the e-mail can be read while the image with the expression is displayed in the image display area. Even without this image display function, the contents can be confirmed as a normal e-mail.
[0103]
Secondly, the server device 104 notifies the information terminal device 102 of the communication partner that the e-mail has arrived at the address on the server device 104 with “destination name and title”. The server device 104 can read an e-mail displaying an automatically generated image with a facial expression by accessing from the information terminal device 102 of the communication partner.
[0104]
Third, the server device 104 automatically creates a moving image based on the model data. The moving image includes an image in which the expression is changed corresponding to the pictogram. The server device 104 transmits an e-mail with the moving image data as an attached file to the information terminal device 102 of the communication partner. If the information terminal device 102 is a device capable of displaying a moving image, the information terminal device 102 can simultaneously perform text display and image display. Also, as in the second case, when the arrival of the e-mail and the address of the e-mail are reported, anyone can access the information terminal device 102 to view it.
[0105]
Note that the server device 104 may send the electronic mail created at the communication destination to the information terminal device 102 of the original electronic mail creator as a transmission confirmation mail.
[0106]
If the information terminal device 102 on the side of the e-mail creator has a browser function, this user accesses the server device 104 via the information terminal device 102 and logs in. For a new user, perform user registration. Upon login, the server device 104 performs user authentication for the information terminal device 102. User authentication is performed according to whether the registered user name and password match. The user creates an e-mail in the server device 104 via the input device of the information terminal device 102, and selects a character that is model data. The destination address is also entered in the e-mail.
[0107]
The server device 104 searches the text data of the e-mail, for example, as in the above-described third mode of use, and checks for the presence or absence of pictograms. As if speaking in accordance with the text data using the selected character, the shape of the mouth and the like are changed, and from the detection result of the pictogram, image data in which the expression and action corresponding to the pictogram are generated. The server device 104 adds the generated image data as an attached file and sends it to the information terminal device 102 of the communication partner. It goes without saying that the first and second usage modes described above can also be performed.
[0108]
Also in this case, the server device 104 may send the e-mail created at the communication destination to the information terminal device 102 of the original e-mail creator as a transmission confirmation mail.
[0109]
Further, the server device 104 receives the e-mail with the pictogram, automatically creates an e-mail corresponding to the pictogram in one of the first and second modes, and sends the e-mail to the information terminal device 102 on the side of the e-mail creator. Send it back. The e-mail is text with pictograms and motion data, or text with pictograms and moving picture image data corresponding to pictograms. Thereafter, the information terminal device 102 transmits the information to the information terminal device 102 of the communication partner. Therefore, the user can manage the content to be transmitted and the destination by himself. Further, the server device 104 returns the electronic mail destination to its own address and returns it to the information terminal device 102 of the transmission source, and the information terminal device 102 of the transmission source actually sends the information to the information terminal device 102 of the communication partner. In this procedure, the address of the destination of the e-mail does not appear on the server device 104, so that the confidentiality of the information can be maintained.
[0110]
The attached file may be sent including the above-mentioned advertisement data. The method of advertising is to display the (spatial) synthesized advertisement on the background of the image data (moving image character) having the facial expression when opening and reading the e-mail, and before displaying the image data having the facial expression. And display termination by at least one of the display termination (temporal) combination. As the advertisement data, character data or video (image) data is used. When the advertisement is used, the administrator of the server device 104 can provide a service in which the usage fee is replaced by the advertisement fee. If the user can receive this service, the use burden can be reduced, which is advantageous.
[0111]
The model data includes, for example, a method of creating a face based on image data taken from several pictures or photographs, a method of creating data using dedicated software, and a method of providing a character for a fee. The data of the attached file is not limited to image data, but may be audio data, music data, or the like.
[0112]
With the above configuration, the semantics of pictograms are analyzed according to the presence or absence of pictograms, image signals and audio signals corresponding to the pictograms are selected, and data required for generation are selected. By sending it as a file and displaying it reflecting the emotions of the sender (creator) of the e-mail, the communication distance with the communication partner is sensuously reduced compared to the case of simply reading text data communication Can improve communication skills as a result. Even those who do not know the emoji can be provided with the exact meaning.
[0113]
It can also be performed by voice expression, which is effective for visually impaired people.
[0114]
Such communication ability can be similarly improved in a signal generation method, an electronic mail communication system, and a data communication method.
[0115]
【The invention's effect】
As described above, according to the information communication apparatus of the present invention, a signal is generated by performing a processing process on the data read from the data storage unit by the signal generation unit according to the meaning analyzed by the pictogram analysis unit, and the supplied text data At the same time, it outputs a signal generated in consideration of the timing, provides a signal corresponding to an accurate pictogram in accordance with the display of the text data, and reflects the emotion of the communication partner, thereby reading a simple text data communication As compared with the case, the communication distance with the communication partner can be sensibly reduced, and as a result, the communication ability can be enhanced.
[0116]
Further, according to the information generation method in the information communication apparatus of the present invention, it is determined whether supplied digital data includes pictograms, the meaning of the existing pictograms is analyzed, and processing is performed on the data in accordance with the analysis result. In the signal, the intention of the pictogram is accurately reflected, and the signal is output in consideration of the output timing of the obtained signal, so that the emotion of the communication partner can be provided accurately, compared with the case of simply reading text data communication. The communication distance with the communication partner can be intuitively reduced, and as a result, the communication ability can be enhanced.
[0117]
According to the information communication system, the signal processing function block of the server device processes the data in accordance with the analysis result from the pictographic analysis function block, and considers the timing of the signal obtained by performing the processing on the other terminal device. In this terminal device, the text data file is received, the file is developed, and a signal is developed and provided in accordance with the display of the text data in the control function block. Despite creating a text data file in the same way as it has been created so far, it accurately reflects the intention of the pictogram in the signal on the communication partner terminal device and takes into account the output timing of the obtained signal By outputting the information, the emotion of the communication partner can be provided accurately, and the communication ability can be enhanced.
[0118]
Further, in the data communication method in the information communication system according to the present invention, the same input processing as before is performed in the first information terminal device, and the pictograph included in the text data supplied from the first information terminal device is transmitted to the server device. And outputs the attached file including the basic data of the server device, and generates a signal from the attached basic data according to the output destination and the function of the second information terminal device. Then, the second information terminal device can make the second information terminal device easier to understand and more easily empathized than when displaying text with pictograms, thereby further improving the communication ability in data communication. Can be.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a principle configuration in which an information communication apparatus of the present invention is applied to a mobile phone and used for displaying an e-mail included in a receiving side of the mobile phone.
FIG. 2 is a flowchart showing a procedure for reproducing and displaying a received electronic mail on the mobile phone of FIG. 1;
FIG. 3 is a flowchart showing a processing procedure of pictographic analysis in the reproduction display of FIG. 2;
FIG. 4 is a diagram for explaining a specific relationship between emoticon patterns and meanings in the pictogram solutions of FIG. 2;
FIG. 5 is a flowchart showing a processing procedure of signal generation in the reproduction display of FIG. 2;
FIG. 6 is a flowchart illustrating a procedure of a combining process in signal generation of FIG. 5;
FIG. 7 is a block diagram showing a configuration of a specific example 1 of a received e-mail reproduction display based on the principle of FIG. 1;
FIG. 8 is a block diagram showing a configuration of a specific example 2 of a received electronic mail reproduction display based on the principle of FIG. 1;
FIG. 9 is a block diagram showing a configuration of a specific example 3 of a received e-mail reproduction display based on the principle of FIG. 1;
FIG. 10 is a block diagram showing a configuration of a specific example 4 of a received e-mail reproduction display based on the principle of FIG. 1;
FIG. 11 is a block diagram showing a configuration of a specific example 5 of a received e-mail reproduction display based on the principle of FIG. 1;
FIG. 12 is a block diagram showing a configuration of a specific example 6 of a received e-mail reproduction display based on the principle of FIG. 1;
13 is a block diagram showing a configuration of a specific example 7 of reproduction and display of received e-mail based on the principle of FIG.
FIG. 14 is a diagram showing a configuration of an electronic mail communication system to which the information communication system of the present invention is applied.
FIG. 15 is a functional block diagram illustrating a schematic configuration of the server device of FIG. 14;
[Explanation of symbols]
10 Mobile phone
12 Receiver
14 Pictogram analysis unit
16 Basic data storage
18 signal generator
20 signal expression part
140 Pictogram presence / absence judgment function
142 Pictogram analysis function
144 File Structure Analysis Function
180 Animation Image Creation Function
182 D / A conversion function unit
184 Synthesized speech creation function
186 Advertising image creation function
188 Composite image creation function

Claims

A pictogram analyzing means for examining whether the pictograph having a meaning by combining one character or symbol is included in data in the supplied text, and analyzing the meaning of the pictograph;
Data storage means for storing basic data in advance;
An information communication device comprising: a signal generation unit that outputs a data read from the information storage unit in consideration of a timing of a signal obtained by performing a processing process according to an intention indicated by the analysis result.

The apparatus according to claim 1, wherein the pictogram analyzing unit determines whether or not the text data contains the pictogram.
A pictogram analyzing means for analyzing the meaning of the pictogram with the detection of the pictogram,
An information communication apparatus comprising: a file structure analysis unit that checks whether or not a file attached to the text data file exists and separates the file.

3. The apparatus according to claim 1, wherein the data storage means is represented by at least image data, music data, audio data, personal characteristic data relating to a provider of the data, and the image data. An information communication device, comprising: one of operation data for an image, status data for the image, and data for advertisement, or data of the attached file.

4. The apparatus according to claim 1, wherein the signal generation unit generates an image by performing an image generation process on the image data according to the analysis result, and generates a moving image based on the generated image. Image generating means for generating,
Analog conversion means for converting the music data into an analog signal according to the analysis result;
At least one of a voice synthesizing unit that synthesizes a voice corresponding to the analysis result using the voice data, and an advertisement generating unit that generates advertisement data according to the analysis result using the data for the advertisement is included. An information communication device, comprising:

5. The apparatus according to claim 3, wherein the image generating unit changes an image generated using at least one of the feature data, the operation data, and the situation data together with the image data. 6. An information communication device having a function.

6. The apparatus according to claim 1, wherein the signal generating unit includes an image synthesizing unit that synthesizes image data respectively output from the image generating unit and the advertisement generating unit. Information communication device.

A signal generation method for generating a signal effective for communication from the digital data using an information communication device that communicates digital data corresponding to the created text to the other party, the method comprising:
A first step of examining whether or not the supplied digital data includes pictographs that generate meaning by combining one character or symbol, and analyzing the meaning of the pictograph;
A second step of reading basic data stored in advance and performing processing on the read data in accordance with the intention indicated by the analysis result and outputting the data in consideration of a timing of a signal obtained. A signal generation method in an information communication device, which is characterized by the following.

8. The method according to claim 7, wherein the first step includes a step of determining whether or not the text data includes the pictograph.
A fourth step of analyzing the meaning of the pictogram upon detection of the pictogram;
A fifth step of checking the presence or absence of a file attached to the file based on the text data and separating each of the files from the file based on the text data.

9. The method according to claim 7, wherein the basic data includes at least image data, music data, audio data, personal characteristic data relating to a provider of the data, operation data for an image represented by the image data, A signal generation method in an information communication device, comprising one of the situation data and the advertisement data of the image or the data of the attached file.

10. The method according to claim 7, 8 or 9, wherein the second step performs an image generation process on the image data according to the analysis result to generate an image signal, and generates a moving image based on the generated image signal. A sixth step of generating an image,
A seventh step of converting the music data into an analog signal according to the analysis result, an eighth step of synthesizing an audio signal according to the analysis result using the audio data, and A signal generation method for an information communication device, comprising: at least one of a ninth step of generating an advertisement image signal in accordance with the analysis result.

The method according to any one of claims 7 to 10, wherein the sixth step is performed by using at least one of the feature data, the operation data, and the status data together with the image data. A signal generating method in an information communication device, comprising a step of causing a change in an image signal.

The method according to any one of claims 7 to 11, wherein the second step includes a tenth step of combining the image data output in the sixth step and the ninth step, respectively. A signal generation method in an information communication device.

A terminal device for inputting / outputting information, digitizing and transmitting the information, and a server device for performing application processing on the data digitized and output from the terminal device and supplying the data to the terminal device of the other party. An information communication system comprising: performing information communication between the terminal devices via the server device;
The server device receives a file of text data obtained by digitizing a sentence at the terminal device, and includes, in the text data file, pictographs having a meaning by combining one character or symbol. A pictogram analysis function block for analyzing the meaning of the pictogram,
Data storage means for storing basic data in advance;
A signal generation functional block for providing in consideration of the timing of a signal obtained by performing a processing process on the data read from the data storage unit according to the intention indicated by the analysis result,
An information communication system comprising: a control function block that receives the text data file from the server device, expands the text data file, and expresses a signal supplied together with the text data file. .

14. The system according to claim 13, wherein the pictogram analysis function block includes a pictogram detection function block that determines whether or not the text data includes the pictogram.
A pictogram analysis function block for analyzing the meaning of the pictogram with the detection of the pictogram;
An information communication system comprising: a file structure analysis function block for checking the presence or absence of a file attached to the file based on the text data and separating the files from each other.

15. The system according to claim 13, wherein the data storage means is represented by at least image data, music data, audio data, personal characteristic data relating to a provider of the data, and the image data. An information communication system comprising any one of operation data for an image, status data for the image, and data for advertisement, or data of the attached file.

16. The system according to claim 13, 14, or 15, wherein the signal generation function block generates an attached file including a key signal of a timing for displaying the image data according to the analysis result and an image data to be displayed, An image attachment function block for attaching an attachment file to the text data file,
A music attachment function block for generating an attachment file including a key signal of timing to sound according to the analysis result and the music data, and attaching the attachment file to the text data file;
Speech synthesis for synthesizing speech according to the analysis result using the speech data, generating a key signal for generating sound and an attached file including the synthesized speech data, and attaching the attached file to the text data file. Attachment function block, and generates advertisement data according to the analysis result using the advertisement data, generates a key signal relating to a display timing of the generated advertisement data and an attached file including the advertisement data, An information communication system comprising at least one of an advertisement attachment function block for attaching an attachment file to the text data file.

17. The system according to claim 16, wherein the image attachment function block changes an image generated using at least one of the feature data, the operation data, and the status data with respect to the image data. An information communication system having a function.

The system according to any one of claims 13 to 17, wherein the signal generation function block combines the image data generated by the image attachment function block and the advertisement attachment function block, and generates the image data and the image data. An information communication system comprising: an image combining / attaching function block for generating an attached file including a key signal of advertisement data and combined image data, and attaching the attached file to the text data file.

18. The information communication system according to claim 15, wherein any one of the characteristic data, the operation data, and the status data is supplied from the terminal device.

20. The system according to claim 13, wherein the server device manages each of the terminal devices connected to the server device.
Management of a first use time in each of the terminal devices;
It manages the advertisement data used in each of the terminal devices and the second usage time in the advertisement data, and calculates the balance between charging according to the first usage time and reducing the fee according to the second usage time. An information communication system including a management function block.

A first information terminal device for transmitting text data created by text creation processing, a server device for attaching data related to the text data to the text data from the first information terminal device, In a data communication method in an information communication system using a second information terminal device that is a communication partner of the terminal device, the method includes:
A first step of examining whether the text data includes pictographs that have a meaning by combining one character or symbol in the text data, and analyzing the meaning of the pictographs;
A second step of reading out the basic data different from the text data stored in advance by the server device in accordance with the intention indicated by the analysis result, attaching a file containing the basic data to a file of the text data, and outputting the attached file. A data communication method in an information communication system, comprising:

22. The data communication method in an information communication system according to claim 21, wherein the basic data is supplied as an attached file from a first information terminal device.

23. The method according to claim 21, wherein the second step outputs the basic data with data obtained by performing signal processing according to an intention of the analysis result attached to the basic data. A data communication method in a communication system.

24. The method according to claim 21, 22 or 23, wherein the second step stores data obtained by subjecting the basic data to signal processing according to an intention of the analysis result,
The server device notifies an address assigned to the server device to a second information terminal device, and the text data and the stored data are stored in the second information terminal device accessing the server device in response to the notification. A data communication method in an information communication system, comprising:

25. The method according to any one of claims 21 to 24, wherein the basic data is represented by at least image data, music data, audio data, personal characteristic data relating to a provider of the data, and the image data. The information communication system is any one of operation data for an image, situation data for the image, and data for advertisement, or data of the attached file supplied from the first information terminal device. Data communication method.

26. The method according to any one of claims 21 to 25, wherein the first step includes determining whether or not the pictogram is included in the text data.
A fourth step of analyzing the meaning of the pictogram upon detection of the pictogram;
A fifth step of examining the presence or absence of a file attached to the file based on the text data and separating the files from each other.

The method according to any one of claims 21 to 26, wherein the second step performs an image generation process on the image data according to the analysis result to generate an image signal, and generates the generated image signal. A sixth step of generating a moving image based on the
A seventh step of converting the music data into an analog signal according to the analysis result, an eighth step of synthesizing an audio signal according to the analysis result using the audio data, and 9. A data communication method in an information communication system, comprising: at least one of a ninth step of generating an image signal for advertisement according to the analysis result.

27. The method according to any one of claims 21 to 26, wherein the second step causes the output of the text data file and the attached file to be output to a first information terminal device, and A data communication method in an information communication system, wherein both files are transmitted from a device to a second information terminal device.

28. The method according to any one of claims 21 to 27, wherein the method includes, in a second step, at least one of the advertisement data and an image signal based on the data in an attached file. A data communication method in an information communication system, wherein charging for use of the server device is reduced depending on whether or not the data is used.

30. The data communication method in an information communication system according to claim 29, wherein the charge is reduced according to a rank, a number of uses, and a use time corresponding to a fee structure of the data for the advertisement. .