JP2008054340A - 情報通信システムおよびそのデータ通信方法 - Google Patents

Abstract

【課題】通常の文章作成と同じに作成しても、文章作成の意図を的確に反映させた表情だけでなく、より一層コミュニケーション力の高い表情の画像を表現できる情報通信システムおよびそのデータ通信方法の提供。
【解決手段】電子メール通信システム100は、サーバ装置104の絵文字解析機能部104aで供給される電子メールの絵文字の有無と種類を調べ、この解析結果とストレージ104cから得たデータとを信号生成機能部104bに供給し、信号生成機能部104bでデータの解析結果に応じて信号処理してテキストデータファイルと異なる種類の信号を生成し、テキストデータファイルと生成した信号も端末装置102bに供給し、端末装置102bは、テキストデータファイルを受けて、ファイルを展開して発現制御機能部102fでテキストデータの表示に合わせて信号を発現する。
【選択図】図１

Description

本発明は、情報通信システムおよびそのデータ通信方法に関するものである。本発明に係る情報通信システムは、たとえば情報通信装置を端末装置とし、端末装置間でのデータ交換を行うとともに、絵文字解析に応じて生成した情報を通信する通信システムに関するものである。また、本発明に係る情報通信システムのデータ通信方法は、情報通信システム間での絵文字解析の結果を反映させたデータ通信方法に関するものである。

現在、携帯電話機は単に音声通話するだけでなく、多機能化が進んでいる。多機能化の例として携帯電話機には、画像通信機能や表示機能があり、また、文字情報の送受信を行う電子メール機能も有している。さらに、画像通信に関して携帯電話機には、静止画を含めた動画表示機能を有する電話機も登場しつつある。また、情報端末装置としてたとえば、パーソナルコンピュータ（以下、PCという）を用いた場合、PCには、送付された電子メールやテキストを読み上げる音声機能を備えているものもある。

一般に、電子メールを用いて、親しい友人等の通信相手に送信者の感情を伝える場合、一文字の記号を組み合わせて絵文字を作成し、テキスト中に挿入してコミュニケーションを図ることがよく行われる。この絵文字は、コミュニケーションを図る上で有効な記述であるが、表現内容が限られている。また、電子メールをよく知らない人にとって絵文字が何を意味しているかわからない等の問題があった。

効果的に書き手の意図を読み手に伝えるために、たとえば特許文献１の顔マーク入力装置が提案されている。顔マーク入力装置は、顔画像入力手段、表情決定手段、顔画像変換手段、文章入力手段および文章レイアウト手段を含んでいる。また、顔マーク入力装置は、文章入力手段、文章解析手段、表情決定手段、顔画像入力手段、顔画像変換手段、顔画像保持手段および文章配置手段を含んでもよい。
特開平10-149433号公報

ところで、上述した顔マーク入力装置は、供給されるテキスト中に含まれる単語に合わせた表情を生成するようにしている。たとえば、「みなさんの、悲しいことがあった時、世の中が悪いと周囲に腹を立てないでがんばりましょう。」という文章に対して「悲しい」、「腹を立て」ること、「腹を立てない」に着目するのかあいまいさが残り、意図しない画像が生成される虞がある。このあいまいさを除くため、画像化する文章中での単語の確定には、あらかじめ確定領域として指定範囲を入れておく作業が考えられる。このような作業は、文章作成にとり、煩雑なものである。また、作成した文章中に生成した画像を挿入するレイアウト作業もユーザにとって面倒な作業である。

本発明はこのような課題に鑑み、通常の文章作成と同じに作成しても、文章作成の意図を的確に反映させた表情だけでなく、より一層コミュニケーション力の高い表情の画像を表現できる情報通信システムおよびそのデータ通信方法を提供することを目的とする。

本発明は上述の課題を解決するために、情報の入出力を行い、この情報をディジタル化して送受信する端末装置と、この端末装置から前記ディジタル化して出力されるデータに対してアプリケーション処理を施し相手先の端末装置に供給するサーバ装置とを備え、端末装置間にサーバ装置を介して情報通信を行う情報通信システムにおいて、サーバ装置は、端末装置にて文章をディジタル化したテキストデータのファイルを受けて、このテキストデータファイル中に、一つの文字や記号を組み合わせて意味を持つ絵文字が供給されるデータに含まれるか調べて、この絵文字の意味を解析する絵文字解析機能ブロックと、あらかじめ基本となるデータを格納するデータ記憶手段と、解析結果が示す意図に応じてデータ記憶手段から読み出したデータに加工処理を施して得られた信号のタイミングを調整して提供する信号生成機能ブロックとを含み、端末装置は、サーバ装置からテキストデータファイルを受けて、テキストデータファイルを展開し、テキストデータの表示に応動して供給された信号を発現させる制御機能ブロックを含むことを特徴とする。

また、本発明は上述の課題を解決するため、文章の作成処理により作成したテキストデータを送信する第１の情報端末装置と、第１の情報端末装置からの前記テキストデータにこのテキストデータに関連したデータを添付するサーバ装置と、第１の情報端末装置の通信相手先である第２の情報端末装置とを用いた情報通信システムにおけるデータ通信方法において、サーバ装置にてテキストデータに一つの文字や記号を組み合わせて意味が生じる絵文字を含むか調べて、この絵文字の意味を解析する第１の工程と、サーバ装置があらかじめ記憶したテキストデータと異なる基本データを解析結果が示す意図に応じて読み出して、テキストデータのファイルに基本データを含むファイルを添付して出力する第２の工程とを含むことを特徴とする。

本発明の情報通信システムによれば、サーバ装置の絵文字解析機能ブロックにて供給される電子メールにおける絵文字の有無を調べて、絵文字を解析してこの絵文字の意味に応じた解析結果を信号生成機能ブロックに供給し、一方、データ記憶手段から読み出したデータを信号生成機能ブロックに供給し、信号生成機能ブロックでデータを解析結果に応じた信号処理を行ってテキストデータファイルと異なる種類の信号を生成し、テキストデータファイルとともに生成した信号も相手の端末装置に供給する。サーバ装置を介して相手側の端末装置では、テキストデータファイルを受けて、このファイルを展開して制御機能ブロックでテキストデータの表示に合わせて信号を発現して提供することにより、送信側の端末装置では、これまで作成してきたと同じにテキストデータファイルを作成しているにもかかわらず、通信相手側の端末装置に信号に絵文字が持つ意図を的確に反映させ、得られた信号の出力タイミングを調整して出力して、通信相手の感情も正確に提供することができる。

また、本発明の情報通信システムにおけるデータ通信方法によれば、第１の情報端末装置でこれまでと同じ入力処理を行い、第１の情報端末装置から供給されたテキストデータに含まれる絵文字をサーバ装置にて検出し、かつその意味を解析して、サーバ装置が有する基本データを含む添付ファイルを出力し、その出力先や第２の情報端末装置の機能に応じて添付された基本データから信号を生成して、絵文字付きのテキストを表示させた場合に比べてより理解しやすく、感情移入しやすい表現を第２の情報端末装置に行わせることができる。

次に添付図面を参照して本発明による情報通信システムの実施例を詳細に説明する。図１を参照すると、本発明による情報通信システムの実施例は、サーバ装置104の絵文字解析機能部104aにて供給される電子メールにおける絵文字の有無を調べて、絵文字を解析してこの絵文字の意味に応じた解析結果を信号生成機能部104bに供給し、一方、ストレージ104cから読み出したデータを信号生成機能部104bに供給し、信号生成機能部104bでデータを解析結果に応じた信号処理を行ってテキストデータファイルと異なる種類の信号を生成し、テキストデータファイルとともに生成した信号も相手の端末装置に供給する。サーバ装置104を介して相手側の端末装置102bでは、テキストデータファイルを受けて、このファイルを展開して発現制御機能部102fでテキストデータの表示に合わせて信号を発現して提供することにより、送信側の端末装置102bでは、これまで作成してきたと同じにテキストデータファイルを作成しているにもかかわらず、通信相手側の端末装置102bに信号に絵文字が持つ意図を的確に反映させ、得られた信号の出力タイミングを調整して出力して、通信相手の感情も正確に提供して、コミュニケーション力を高めることができる。

本実施例は、本発明の情報通信システムを電子メール通信システム100に適用した場合である。本発明と直接関係のない部分について図示および説明を省略する。以下の説明で、信号はその現れる接続線の参照番号で指示する。

図３に示す携帯電話機10には、原理的に、受信部12、絵文字解析部14、基本データ格納部16、信号生成部18および信号発現部20が含まれている。受信部12は、たとえばIMT（International Mobile Telecommunications)-2000に対応した電波の受信を行う回路を備えている。携帯電話機10は、図示していないが送信部も有していることは言うまでもない。受信した電波は、電力増幅されて所定の周波数帯域を通した信号を得る。この信号は、所定の周波数を掛けて中間周波にダウンコンバートする。このダウンコンバートした信号は、増幅された後に復調処理を受けてベースバンド信号になる。ベースバンド信号をアナログ信号にしてたとえば、レイキ受信処理して複数の伝播パスの信号を個別に相関受信して最大比合成を行い、安定な信号を得ている。その後、このようにして得られた信号はチャネルコーデックを経て音声データやテキストデータ等を復号して種類に応じてたとえば、バッファメモリにそれぞれ格納する。本実施例では、テキストデータファイルと添付ファイルがメモリ（図示せず）に格納される。受信部12は、得られたテキストデータファイルを含むファイルデータ12aを絵文字解析部14に供給する。

絵文字解析部14は、供給されたテキストデータファイルを含むファイルデータ12aに絵文字が挿入されているか否かを調べ、絵文字が含まれている場合、絵文字の意味を解析する機能を有している。絵文字解析部14は、この機能をもたらす上で、後述するようなルックアップテーブルを備えている。テキストデータとしては、英数文字、ひらがな、カタカナ、漢字、グラフィック記号および特殊文字等が用いられている。絵文字は、一般的に文章の末尾に作成者の感情を表すために使用されている。

現在、絵文字には、(^_^; (;_; (^_^)v (^o^) m(_ _)m (?_?) (^o^)/~ (ToT) (@_@) (-_-) (*_*) (>_<)等の顔文字がある。

絵文字解析部14では、通常、単語、文節程度の分量毎にテキストデータファイルを含むファイルデータ12aを検討し、この検討したデータが単語、文として意味もつか否かで判断する。絵文字解析部14は、この判断を絵文字有無判断機能部140で行う。絵文字解析部14は、検討したデータが意味を形成しない場合、絵文字と判断し、意味をなす文の場合、絵文字でないと判断する。

絵文字解析部14には、絵文字が含まれているとの判断を受けて、上述したような顔文字の場合、一行内に左側から現れる文字の順序から組合せにより得られる顔文字の意味を判断する絵文字意味解析機能部142がある。また、絵文字には、動作や状況をも含めて表現するものもある。さらに、絵文字は、一行だけでなく、複数行にわたって文字を配置して、より複雑な表現をしているものもある。絵文字意味解析機能部142は、あらかじめ絵文字に使用されるパターンと意味、ならびに意味に対応する制御情報の関係をテーブル化したルックアップテーブル（図示せず）を保有する。絵文字意味解析機能部142は、絵文字の意味解析だけでなく、たとえば母音の単語抽出結果および使用する基本データの選択を含む制御信号14aを信号生成部18に出力する。

絵文字意味解析機能部142は、携帯電話でのアイコンも利用して言葉で表現し難い微妙な感情を認識して、この認識に対応する制御情報を生成する機能も有している。

なお、これは、いわゆるアイコン付電子メールを送信しても、中継するサーバを介すことによりそれぞれのキャリアが持っている絵文字に置き換えてしまい、正確に相手に伝わらない。したがって、この機能を保つためサーバには、異なるキャリア間の絵文字を対応付けて正確に変換する機能を配設するとよい。

このようにして絵文字解析部14は、解析結果の制御情報を制御信号14aとして信号生成部18に出力する。また、テキストデータ14bは、そのまま利用できるようにたとえばバッファメモリ（図示せず）に入力する。

絵文字解析部14は、供給されたデータに添付ファイルが付加されているファイルの構造に応じてテキストデータファイルと添付ファイルとを分離するファイル構造解析機能部144も有している。分離した添付ファイル14cは、信号生成部18に供給される。

基本データ格納部16は、不揮発性メモリである。基本データ格納部16には、あらかじめ画像データ、音楽データ、音声データ、データの発信（提供）者が有する個人的な特徴データ、画像データで表わされる画像に対する動作データ、画像に対する状況データおよび広告宣伝用のデータ等が含まれている。

この中で、携帯電話の場合、変化に追従させるデータとして画像データ、音声データおよび広告宣伝用データが基本データに対応する。一方、特徴データ、動作データおよび状況データは、付帯的な情報であるから二次データに分類する。

基本データ格納部16には、信号作成部18から使用する基本データの選択信号16aが供給される。基本データ格納部16は、選択信号16aに応じて対応するデータ16bを信号作成部18に出力する。データ16bは、基本データと二次データの少なくとも一方のデータである。データ16bは、基本データと二次データを組み合わせたものであってもよい。ただし、二次データだけを供給する場合、基本データ格納部16は、この供給以前にすでに基本データを送出済みになっていることを条件とする。

また、基本データ格納部16は、データの種類毎にデータを各メモリに格納するようにしてもよく、メモリのそれぞれから同時に信号生成部18にデータ16bを出力するようにしてもよい。この場合、信号生成部18には、複数種類のデータが供給されることになる。

なお、特徴データ、動作データおよび状況データは、送信側の携帯電話機から供給してもよい。また、送信側の携帯電話機は、基本となる画像データも供給するようにしてもよい。この場合、携帯電話機は、テキストデータファイルに添付する添付ファイル14cとして画像データ、特徴データ、動作データおよび状況データのいずれかを含めて供給する。

信号生成部18は、基本データ格納部16から供給されたデータ16bを制御信号14a（、添付ファイル14c）に応じて信号を生成する機能をそれぞれ有している。後段で具体的に説明するが、供給されるデータ16bに対応して各種類の信号が生成される。添付ファイル14cは、構造解析結果で存在するときに供給する。

信号生成部18は、画像データに対応したアニメ画像作成機能部180、音楽データに対応してアナログ信号に変換するD/A変換機能部182、音声データに対応して合成音声を生成する合成音声作成機能部184および広告宣伝画像作成機能部186を含んでいる。また、信号生成部18は、合成画像作成部188を含めてもよい。合成画像作成部188は、アニメ画像作成機能部180と広告宣伝画像作成機能部186とでそれぞれ作成した画像信号を表示領域および表示タイミングを調整して合成する機能を有している。信号生成部18は、生成した信号18aを信号発現部20に出力する。

なお、アニメ画像作成機能部180には、前述したように画像データを入力するだけでなく、特徴データ、動作データおよび状況データを供給する。これにより、生成する画像に個人の特徴を反映させて表示させること、画像に動作を持たせること、および画像に状況を反映させて表示させること等が可能になる。

信号発現部20は、携帯電話機10が有する表示部20aやスピーカ20bである。表示部20aは、信号生成部18で生成した画像信号18aとテキストデータ14bとを設定した画面領域に表示する。この領域への分割は、表示コントローラ（図示せず）により処理される。画像は、表示するテキストに同期して表示する。スピーカ部20bは、信号生成部18で生成した音信号（音楽・音声等）をタイミング調整して供給することにより微妙なタイミングで発音を行う。

これにより、作成した電子メール（テキストデータ）に含まれる絵文字に対応して画像、音楽、音声および広告宣伝の情報を携帯電話機10から的確に再生することができ、絵文字を知らない人にも微妙なニュアンスを確実に伝えることができる。

次に携帯電話機10における受信した電子メールの再生表示手順について説明する（図４を参照）。まず、電子メールを受信する（ステップS10)。受信した電子メールは、図示しないバッファメモリに一時格納する。格納したデータ12aのすべてに対して絵文字の解析を行う（サブルーチンSUB1）。この解析結果すべてが、信号生成部18に制御信号14aとして供給される。テキストデータ14bについて図４のフローチャートにはあらわに示されていないが、絵文字解析部14では、テキストデータ14bを信号発現部20に供給されている。

信号生成部18では、信号の生成処理を行う（サブルーチンSUB2）。信号生成部18では、制御信号14aに応じて基本データ格納部16から選択した基本データ16bを読み出して、基本データ16bに処理を施して信号生成を行う。信号生成は、テキストデータ14bの表示に同期して表示できるように行うとともに、広告宣伝も含むか否かに応じた信号合成処理も行う（ステップS12)。信号合成は、同種の信号同士の場合、信号合成するが、異種の信号の場合、それぞれに得られた信号を出力する。同期は、たとえば表示画面上に表示させるカーソルの移動に応じてタイミングをとるようにするとよい。

信号発現部20では、供給される信号を発現させる（ステップS12）。テキストデータ14bと同期させて供給される信号が画像信号の場合、表示部20aにて表示させ、音声信号の場合、スピーカ部20bから発音させる。

次に読みがすべて終了したか否かの判断を行う（ステップS14)。文章の読みがまだ終了していない場合（NO）、再び信号の生成処理に戻って前述した手順を繰り返す。また、すべて読み終えた場合（YES)、終了に進んで電子メールの再生表示を終了する。

次に絵文字解析の処理手順（サブルーチンSUB1）について図５を用いて説明する。まず、取り込んだデータ12aが絵文字を含むか否かの判断を行う（サブステップSS100：絵文字有無判断機能部140)。絵文字を含む場合（YES)、含む絵文字に対応する基本データの選択に進む（サブステップSS102)。絵文字を含まない場合（NO）、テキストデータ12aを基にたとえば、母音の抽出処理に進む（サブステップSS104)。

絵文字の判断は、顔文字の場合、傾向パターンを文章のニュアンスから探り、さらに細かく記号「(」を見い出し、記号「(」前への遡った際のデータや後続のデータの組合せからを探る（サブステップSS102)。傾向パターンとは、たとえば「楽しい」、「冷や汗」、「悲しい」、「照れる」、「謝り（ごめん）」、「わからない」、「眠い」、「怒り」、「あいさつ」、「さよなら」、「痛い」、「逃げる」、「応援」、「普通」、「横倒し」、「有名キャラクタ」（図示せず）、「ねこ」、「いぬ」、「ブタ」、「生物」、「絵文字」等がある（図６を参照）。「楽しい」等の各グループには、顔文字と歓声や表情を表す意味が対応付けられて、ルックアップテーブルに記憶され、それぞれの意味に対応する選択データの番号が割り当ててルックアップテーブルに格納されている。絵文字意味解析機能部142では対応する番号を選択する。

また、母音の抽出を行う場合（サブステップSS104）、絵文字意味解析部142では、テキストデータから文章を読んだ際の母音を抽出する。そして、抽出した母音に対応した選択データの番号を選択する（サブステップSS106)。これらの選択した番号が制御信号14aである。制御信号14aは、扱うデータの種類も指示する、たとえばフラグを有している。データの種類は、画像、音楽、音声および広告宣伝がある。

次に解析が終了したか否かを判断する（サブステップSS108)。解析が未完の場合（NO）、絵文字か否かの判断に戻る（サブステップSS100へ)。解析が供給されたデータ12aすべてについて完了した場合（YES)、一括送出処理に進む（サブステップSS110へ)。

絵文字解析部14では、供給されたテキストデータ12aに対応して生成した制御信号14aを信号生成部18に一括送出する（サブステップSS110)。この処理後、リターンに移行してサブルーチンSUB1を終了する。

なお、図５に図示していないが、送信元から供給されたファイルに添付ファイルが付けられていることがある。絵文字解析部14では、ファイル構造解析機能部144で添付ファイルの有無を調べるようにしてもよい。添付ファイルが存在した場合、添付ファイル14cを信号生成部18に分離して提供する。

次に信号生成の手順について図７を参照しながら説明する。最初に、絵文字解析部14は、制御信号14a（および添付ファイル14c）をバッファメモリ（図示せず）に一時格納する（サブステップSS200)。この後、一時格納した制御信号14aが段階的に読み出して絵文字の制御情報の番号か否かの判断を行う（サブステップSS202)。絵文字の場合（YES)、読み出した番号を基本データ格納部16に選択信号16aとして供給する。また、絵文字でない場合（NO）もこの読み出した番号を基本データ格納部16に選択信号16aとして供給する。

基本データ格納部16では、フラグと選択した番号からそれぞれ、絵文字と母音とに対応した基本データ16bを信号生成部18に送出する（サブステップSS204, SS206)。

信号生成部18では、扱う信号の基本データ16bを受け、基本データ16bに応じた信号処理を行う（サブステップSS208：絵文字対応）。サブステップSS208では、生成した信号の補間処理も行って滑らかな信号にする。そして、発現の継続処理を行う（サブステップSS210)。画像表示の場合、たとえばポーズしたように一時的な動作の停止や強調できる表現の画像等を表示させる。音楽・音声の場合、一定の期間供給されたデータを再生し続ける。一方、信号生成部18では、扱う信号の基本データ16bを受け、基本データ16bに応じた信号処理を行う（サブステップSS212：母音対応）。サブステップSS212では、生成した母音に対応した信号の間を補間して滑らかに、かつ違和感のない信号にする。

ここで、信号生成部18では、画像信号、音楽用音声、音声および広告宣伝信号等の少なくとも一つが生成される。補間処理は、上述した方法に限定されるものでない。

次に広告宣伝の有無を判断する（サブステップSS214)。広告宣伝がない場合（NO）、リターンに移行してサブルーチンSUB2を終了する。また、広告宣伝がある場合（YES)、信号の合成に進む（サブルーチンSUB3へ）。合成した信号を生成してリターンに進めてサブルーチンSUB2を終了する。

なお、後述する広告宣伝の合成が時間的な合成に関する場合、図示しないが、広告宣伝の判断処理および信号の合成処理を絵文字判断処理（サブステップSS202)の前に行うことが好ましい。

次に信号の合成について図８を参照しながら簡単に説明する。２つの信号をそれぞれの記憶領域に一時的に格納する（サブステップSS300)。次に読み出した信号の同期関係を保つようにして信号の合成を行う（サブステップSS302)。扱う信号が同種類の信号の場合、空間的な合成、すなわち画面の一部領域に広告を合成し、新たな画像信号を生成する場合と、時間的な合成、すなわち文章（電子メール）を再生する時間領域に挿入し、新たな画像信号を生成する場合とがある。また、扱う信号が異種類の信号の場合もある。

異種類の信号としてたとえば、画像信号と音声信号がある。この場合、空間的な合成でなく、時間的な合成になり、同期させる対象のタイミングを良好に保ってそれぞれの信号効果が発揮されるように合成する。

次に合成した信号を信号発現部20に出力する（サブステップSS304)。この後、リターンに移行してサブルーチンSUB3を終了する。

このように動作させることにより、携帯電話機10は、単なるテキストデータファイルを表示させるだけでなく、ファイル内に含む絵文字（または顔文字）に対応して信号を生成し、この信号の発現がタイミングを調整して行われることから、送信者の感情を確実に反映させる表現が追加でき、コミュニケーション力を高めることができる。

なお、画像の表現は、常に動画にしなくてもよく、通常静止画表示し、絵文字が認識された際に、対応した動画を表示させてもよい。

より具体的な例をいくつか以下に示す。ここで、本発明を携帯電話機10に適用して実施例は、共通する部分に同じ参照番号を付して説明を省略する。

〈具体例１〉
図９の携帯電話機10は、受信部12、絵文字解析部14、基本データ格納部16、信号生成部18および表示部20aを含む。信号生成部18には、アニメ画像作成機能部180が含まれる。携帯電話機10は、たとえば電子メール再生モードにおいて受信部12からのデータ12aに対してカーソルの移動に応じて絵文字解析部14で絵文字の有無および解析を行い、得られた制御信号14aを信号生成部18に供給する。絵文字解析部14は、絵文字有無判断機能部140および絵文字意味解析機能部142を含んでいる。信号生成部18は、読み出すデータが画像であり、選択番号を示す選択信号16aを基本データ格納部16に送る。基本データ格納部16は、図示しない画像メモリから選択信号16aに応じたデータ16bを信号生成部18に供給する。

信号生成部18では、供給されたデータ16bを基にアニメ画像作成機能部180で動画用の基本となる静止画データを作成し、生成した静止画間を補間処理している。補間処理は、絵文字と母音の供給される画像データから滑らかな画像信号18aをそれぞれ生成している。データ12aに絵文字が入ってくるまで、母音に対応して顔の中の口が変化し、絵文字「(^o^)」があれば、画像は笑っている画像に変更される。表示部20aは、テキスト表示領域200にテキストを表示し、画像表示領域202に画像を表示する。

送信者は、これまでと同じ電子メール作成を行っているにもかかわらず、受信側で絵文字を意識することなく、たとえば、カーソルの動きに応じてテキストデータとともに画像として表示させることができる。これにより、送信者の感情をわかりやすく理解することができる。

〈具体例２〉
図10の携帯電話機10は、図９の構成に音楽の再生機能を付加している。絵文字解析部14は、単に絵文字を解析するだけでなく、検出した絵文字以降の文章一つ分がテキスト表示領域200を流れる間、またはカーソルが移動する期間にわたって音楽を変更して流すように制御情報を制御信号14aに追加する。信号生成部18には、アニメ画像作成機能部180およびD/A変換機能部182が含まれている。基本データ格納部16には、画像メモリ160および音楽メモリ162が備えられている。信号発現部20には、表示部20aおよびスピーカ部20bがある。

ここで、前述した一つの文章とは、前の文章の読点の後から本文章の読点までを示している。基本データ格納部16の音楽メモリ162は、この表示期間中をデータ読出しイネーブル期間にしてデータ16bを信号生成部18に供給する。

信号生成部18のD/A変換機能部182は、供給されるデータ16bをアナログ信号に変換して信号発現部20に信号18aとして出力する。信号18aは、画像信号および再生したアナログ信号（音楽）である。表示部20aの画像表示領域202には、たとえばキャラクタ画像の動画が表示され、データ12aを基にこの画像の口が動いているように見せることができる。

絵文字が検出された場合、前述の実施例と同様にキャラクタ画像を変更し、動かす。同時に、絵文字の検出に合わせて、検出後に書かれた文章一つ分の期間にわたって基本データ格納部16の音楽メモリ162は、絵文字に対応した音楽に関するデータ16bを信号生成部18に供給する。D/A変換機能部182では、供給されるデータ16bをアナログ信号に変換してスピーカ部20bに出力する。これにより、たとえば通常のテキスト表示中には、鳥のさえずりを出力しているが、絵文字の検出に応じて異なる音楽が上述の期間に出力する。

したがって、絵文字等を意識しなくても、電子メール作成者の感情を推し量ることができ、音楽も合わせて変化することにより、受信者に作成者の感情をより一層容易に伝えることができるようになる。

〈具体例３〉
図11の携帯電話機10は、図９の構成において合成音声生成機能を付加している。絵文字解析部14は、単に絵文字を解析するだけでなく、文章の構文解析をテキスト解析として行い、検出した絵文字以降の文章一つ分がテキスト表示領域200を流れる間、またはカーソルが移動する期間にわたって合成音声を変更して流すように制御情報を制御信号14aに追加する。信号生成部18には、アニメ画像作成機能部180および合成音声作成機能部184が含まれている。基本データ格納部16には、画像メモリ160および音声メモリ164が備えられている。信号発現部20には、表示部20aおよびスピーカ部20bがある。上述した期間は、具体例２と同じである。

音声メモリ164には、合成音の作成に要する基本データが記憶されている。基本データは、方式に応じたデータである。第１の方式は、人が発声した音声波形または波形符号化して蓄積したデータであり、つなぎ合わせて使用する。第２の方式は、音声波形を分析し、パラメータ化したデータを蓄積し、つなぎ合わせて使用する。また、第３の方式は、文字列または音素記号列をデータとして記憶し、音声学および言語学的な合成規則に基づいて音声を生成する。本実施例では、音声メモリ164は、子音（Consonant）と母音（Vowel）の音素データを記憶する。

合成音声作成機能部184は、テキスト音声合成を行う機能部で、文字-音声変換を行う。合成音声作成機能部184は、テキスト解析の結果から音韻規則と韻律規則から音声合成制御パラメータとして音声メモリ164からのデータ16bを用いてLSP（Line Spectrum Pair)パラメータとピッチパターンを生成し、ピッチパターンを基に生成した音声データとLSPパラメータをディジタルフィルタに入力し、音声合成を行う。生成した音声は、D/A変換してスピーカ部20bに出力される。

このようにして電子メール作成者から供給されたテキストデータファイルを音声変換して出力する。これにより、表示されたキャラクタ画像がテキストの読み上げているように動作させ、絵文字の検出時には、検出した絵文字に対応した音声にして出力させる。この音声は、「v(^_^)v」のように喜んでいる絵文字が検出された場合、制御信号14aに音程を高くするようなキー信号や「やったー」という音声を出力させるデータを含ませて信号生成部18に供給する。

先の実施例に比べて、テキストを音声変換して読み上げることから、視覚障害者にとって有利である。そして、絵文字等を意識しなくても、電子メール作成者の気持ちを相手に伝えることができ、コミュニケーション力を高めることができる。

これら３つの具体例において、電子メール作成者は、受信者の構成を考慮することなく、これまでの電子メール作成と同じ手順で作成することができるという特徴を備えている。

〈具体例４〉
図12の携帯電話機10は、図９の絵文字解析部14にファイル構造解析機能部144を追加している。すなわち、絵文字解析部14は、単に絵文字の有無および解析を行う（絵文字有無判断機能部140, 絵文字解析機能部142）だけでなく、供給されたテキストデータファイル（電子メール）の構造を解析し、添付ファイルの有無およびデータ内容を調べる機能（ファイル構造解析機能部144）を有している。

ファイル構造解析機能部144に添付ファイルが存在する場合、ファイル構造解析機能部144では、テキストデータファイルと添付ファイル14cを分離し、信号生成部18に供給する。信号生成部18は、添付ファイル14cをデータ16aを介して基本データ格納部16に供給し、格納する。添付ファイル14cは、図示しないが、基本データ格納部16に直接的に供給して格納し、基本データ格納部16から読み出すようにしてもよい。ここで、添付ファイル14cは、画像表示用のモデルデータであり、電子メールで使用する絵文字に対応したデータを含む。

携帯電話機10は、あらかじめ表示画像の基本データを持たなくても、表示するテキストデータ14bの表示に同期させながら、供給されるデータを基に画像を表示させて、電子メールの受信者は、画像から電子メール作成者を認識することができる。供給されるモデルデータを本人をデフォルメしたキャラクタや似顔絵等を使用すれば、擬似的にメール作成者本人と対話しているような感覚を受信者にもたらすこともでき、コミュニケーション力を高めることができる。

〈具体例５〉
図13の携帯電話機10は、図９の絵文字解析部14にファイル構造解析機能部144を追加し、基本データ格納部16に個人特性メモリ166を配設している。ファイル構造解析機能部144は、具体例４の場合と同様に添付ファイル14cの有無と添付したファイルの内容を判断してテキストデータファイルと分離する。添付ファイル14cは、画像用モデルデータおよび個人の特性を示すデータを含んでいる。個人特性データは、標準の画像に対して特別な変化を与える動作が記述されたデータであり、電信メール作成者の癖や特徴的な動作である。添付ファイル16cは、信号生成部18を介して基本データ格納部16の画像メモリ160および個人特性メモリ166にそれぞれ分けて供給される。

実際に画像を生成する場合、基本データ格納部16は、画像メモリ160および個人特性メモリ166からそれぞれ、画像データおよび個人特性データを信号生成部18に読み出す。アニメ画像作成機能部180では、供給される画像データを作成し、テキストデータに含まれる絵文字に対応した個人特性データを画像に反映させて、個人を表すように画像に変化を与える（サブステップSS204〜SS210に対応）。

個人特性データとして一般的に定義している口の大きさよりも大きく開ける記述がされている場合、アニメ画像作成機能部180では、絵文字「(^o^)」に対応してキャラクタ画像の口を大きく開けて笑っているように動作を変化させる。これにより、電子メールの再生におけるコミュニケーションを高め、単なる通信に比べて感情移入させ易くすることができる。

〈具体例６〉
具体例５では、画像データと個人特性データに関する適用を説明したが、本実施例では添付ファイル14cとして画像データと説明データが供給される場合について説明する。図14に示すように、基本データ格納部16には、画像メモリ160および説明用メモリ168を配設している。

ここで、説明データとは、たとえば画像を説明する動作データや周囲の状況を示す状況データ等である。

画像が商品の場合、携帯電話機10で再生した際に単に画像を表示するのでなく、説明データを加味して画像作成する。表示するテキストの位置に同期して画像を表示させるとともに、たとえばポインタで示すようにして特定の商品や商品の指摘箇所等を的確に伝達することができるようになる。このように補足説明の画像を絵文字に対応して提供することにより、通信相手に対する伝えたい内容の把握に寄与し、容易な理解と理解度を深めることに貢献することができる。

〈具体例７〉
図15に示す携帯電話機10において、絵文字解析部14には、それぞれ絵文字有無機能部140、絵文字解析機能部142およびファイル構造解析機能部144が配設されている。基本データ格納部16には、画像メモリ160および広告宣伝用メモリ170が含まれている。そして、信号生成部18には、アニメ画像作成機能部180、広告宣伝画像作成機能部186および合成画像作成機能部188が含まれている。

本実施例では、広告宣伝用メモリ170、広告宣伝画像作成機能部186および合成画像作成機能部188が新たに配設されている。添付ファイル14cとしては、画像データと広告宣伝用データが供給される場合である。広告宣伝用データは、たとえば、モデルデータである画像データの背景に表示する企業広告のデータである。また、広告は、背景のように空間的な合成に限定されるものでなく、電子メール再生における最初と最後に挿入するような時間的合成によっても提供することができる。

添付ファイル14cは、信号生成部18を介して基本データ格納部16の各メモリ160, 166にそれぞれ、テキストデータファイルと分離して格納する。この後、画像作成に際して、データ16b（画像データおよび広告宣伝データ）が信号生成部18に供給される。信号生成部18においてアニメ画像作成機能部180は画像データを基にキャラクタ画像信号180aを作成し、広告宣伝用画像作成機能部186は広告宣伝データを基に広告宣伝画像信号186aを作成する。

合成画像作成機能部188は、供給されるキャラクタ画像信号180aと広告宣伝画像信号186aを空間的な合成および時間的な合成のいずれか一方での画像合成する。この画像合成は、制御信号14aに応じて制御するとよい。合成画像作成機能部188は、合成画像信号としての出力信号18aを表示部20aに出力する。表示部20aは、画像表示領域202に合成画像を表示させる。空間的な合成を行った場合、キャラクタ画像が変化している際に、広告宣伝画像は、自然に見えるようにする。

テキスト表示に同期して広告を含む画像を表示させることにより、伝えたい内容を的確に伝えるとともに、広告宣伝を表示して通信費の割引きサービス等を受けることが可能になる。また、本実施例では背景に広告宣伝画像を用いたが、この画像に限定されるものでなく、前述したような説明データにより作成した画像でもよい。画像を合成することにより、電子メール作成者が伝えたい内容を判り易く提供できるようになる。

また、絵文字に対応した変化は、モデルデータの画像だけでなく、背景の画像も電子メール作成者の感情がよく判るように変化させてもよい。モデルデータの画像は、送信される添付ファイルでなく、電子メール受信側で任意に作成したモデルデータを使用してもよい。

具体例は、前述した場合に限定されるものでなく、７つの例を組み合わせてもよい。

ところで、絵文字は、定義するルックアップテーブルにあらかじめ登録しておけば、新たな絵文字に対応した画像を提供できる。絵文字は、前述した実施例において文章の末尾に挿入したが、電子メール作成者の感情に応じて文中に挿入してもよい。

なお、携帯電話機10は、受信側の構成について説明したが、携帯電話機10には電子メール作成機能を持つようにしてもよい。電子メール作成機能には、テキスト作成だけでなく、画像のモデルデータ、個人特性データ、説明データおよび広告宣伝データの作成も行えることは言うまでもない。また、まったく別なパーソナルコンピュータ等で作成した電子メールを携帯電話機10に取り込んで都合のよいときに相手に送信するようにしてもよい。

次に電子メール通信システム100について説明する（図１を参照）。電子メール通信システム100は、情報端末装置102とサーバ装置104とを含んでいる。情報端末装置102は、たとえばIP（Internet Protocol)ネットワークを介してサーバ装置104に接続されている。情報端末装置102には、携帯電話機102a, 102b、パーソナルコンピュータ（以下、PCという）102c, 102d等がある。PC 102cには、ブラウザ機能部102eを有している。また、携帯電話機102bおよびPC 102cには、それぞれ、発現制御機能部102f, 102gを含んでいる。PCには、ブラウザ機能および発現制御機能を備えることが好ましい。携帯電話機には、受信側に発現制御部を配設しておくことが望ましい。

ブラウザ機能部102eは、WWW（World-Wide Web)を閲覧するクライアント・ソフトウェア機能を有している。発現制御機能部102f, 102gは、テキスト表示に同期して添付ファイルとして供給されたデータを発現させるように制御する機能を有している。この発現をさせるため、たとえば添付ファイルには、発現タイミングを知らせる制御キー（制御コード）が含まれている。制御キーは、サーバ装置104にて挿入される。

携帯電話機102a, 102fは、それぞれ、通信エリア内にある基地局108a, 108bと無線を介して通信する。基地局108a, 108bは、回線を介してIPネットワーク110に接続している。また、PC 102c, 102gも回線を介してIPネットワーク110と接続している。

サーバ装置104は、ASP（Access Signaling Protocol)サーバを用いている。サーバ装置104は、回線110aを介してIPネットワーク110と接続している。サーバ装置104は、図２に示すように、絵文字解析機能部104a、信号生成機能部104b、ストレージ104cおよび顧客情報管理機能部104dを含んでいる。

個々の機能部について説明する。絵文字解析機能部104aには、絵文字有無判断機能部30、絵文字意味解析機能部32およびファイル構造解析機能部34が含まれている。各機能の説明は、前述した携帯電話機10の場合と同じである。説明の繰返しを避けるため、機能の説明を省略する。絵文字解析機能部104aは、供給される電子メールデータ110aを入力し、電子メール内の絵文字解析を行い、テキストデータ36aとともに、この解析結果を示す制御信号36bを信号生成機能部104bに出力する。また、絵文字解析機能部104aは、ファイル構造解析機能部34で得られた電子メールデータ110aに添付ファイルの有無と内容に応じてテキストデータファイルと分離した添付ファイル38を信号生成機能部104bおよびストレージ104cに供給する。添付ファイル38には、モデルデータである画像データ、音楽データ、個人特性データ、説明データ（動作・状況）および広告宣伝データ等がある。

信号生成機能部104bには、アニメ画像作成添付機能部40、音楽データ添付機能部42、合成音声添付機能部44、宣伝データ添付機能部46および画像合成添付機能部48が備えられている。信号生成機能部104bでは、図示しないが、テキストデータ36a中での絵文字検出に応じて、たとえば添付ファイル38に制御キーを挿入する。この制御キーは、情報端末装置102にて信号を発現させる際の同期タイミング信号に用いる。添付ファイル38には、たとえばテキストデータが読まれる時系列に沿ってテキストデータに含まれる母音に対応したデータが配置され、検出した絵文字に応じて制御コードが配されている。また、添付ファイル38には、簡単化するため母音に対応したデータの代わりに口の形状を開閉させるように口パクのデータを用いて絵文字の対応箇所に制御コードを挿入するようにしてもよい。

信号生成機能部104bは、基本データとして絵文字解析機能部104aから供給される添付ファイル38またはあらかじめストレージ104cに格納しておいたファイルデータ38を読み出して加工を施し、テキストデータファイルとともに、加工後の添付ファイルを付して通信相手先の情報端末装置102に出力する。個々の信号生成および添付について以下に説明する。

アニメ画像作成添付機能部40は、画像用のモデルデータを基に制御信号36bに応じた動画画像信号の生成・補間処理を行い、特に絵文字に対応して解析の意味に一致した動作を示す画像信号を生成する。生成した画像データは、所定の添付ファイル形式に変換して通信相手先に出力される。

音楽データ添付機能部42は、制御信号36bに応じて絵文字が対応する解析の意味に一致した音楽データに変更する。この音楽データは、所定の添付ファイル形式に変換して通信相手先に出力される。

合成音声添付機能部44は、制御信号36bに応じてテキストの読みに対応した合成音声データを生成し、特に絵文字に対応して解析の意味に一致した合成音声データを挿入させる。また、この場合、合成音声データは、所定の期間にわたってたとえば音程を変化させるようにしてもよい。生成した合成音声データは、所定の添付ファイル形式に変換して通信相手先に出力される。

宣伝データ添付機能部46は、制御信号36bに応じて広告宣伝データをたとえば、画像データとして生成する。生成した宣伝データは、所定の添付ファイル形式に変換して通信相手先に出力される。
宣伝データ添付機能部46は、あらかじめ宣伝データをどのように提供するかを示すメニューの中から選んで指定するとよい。メニューは、たとえば、空間的な位置指定や時間的な挿入位置指定等がある。宣伝データ添付機能部46は、この指定に応じた処理を行う。

画像合成添付機能部48は、アニメ画像作成添付機能部40と宣伝データ添付機能部46からそれぞれ供給される画像データを合成する。合成指定は、宣伝データの指定や両画像データの合成前での指定にて行うようにする。生成した合成画像データは、所定の添付ファイル形式に変換して通信相手先に出力される。

ストレージ104cは、あらかじめサーバ装置104として所有している画像データ、音楽データおよび広告宣伝データやユーザ個々に応じて所有する個人特性データ、説明データ（動作・状況）がある。また、ストレージ104cは、電子メール送信者が供給する添付ファイルを内容に応じて領域毎に格納するようにしてもよい。また、このような添付ファイルのデータは、一般ユーザが使用できるように登録すると、扱うデータの種類を飛躍的に増やすことができる。

広告宣伝データは、データ提供の会社・団体等から広告代金を徴収してストレージ104cに掲載する。広告宣伝データには、たとえば料金体系に基づくランクを設け、このランクに応じた広告代金を会社側に課金するようにしてもよい。後述するように、これを基に広告宣伝データを用いたユーザには、サーバ装置104の利用にともなう課金を軽減する。このように信号処理した添付ファイル付き電子メールを、回線110aを介して通信相手先の情報端末装置102に送出する。

顧客情報管理機能部104dは、ユーザ登録管理部50、使用時間管理部52、広告使用時間管理部54および課金計算管理部56を備えている。ユーザ登録管理部50は、サーバ装置104の機能を利用するユーザの利用を登録し、登録済のユーザに対する認識処理を行う管理部である。

使用時間管理部52は、電子メールのデータを受信した時刻から信号生成して通信相手先に出力した時刻までの時間を使用時間として管理する。広告使用時間管理部54は、いくつのランクにある宣伝データをどのくらい使用したか、または利用回数をカウントしている。課金計算管理部56は、サーバ装置104の使用時間に応じた利用料金と広告宣伝データの利用にともなう回数を時間に対して換算して個々のユーザに対する課金を算出する管理部である。広告使用時間管理部54は、利用時間そのもので課金を管理してもよい。

顧客情報管理機能部104dは、前述した４つの管理部50〜56が有するユーザ個々の情報をデータベースのパラメータとしてストレージ104cに供給する。ストレージ104cは、供給されるパラメータをデータベース化して保存する。

このように構成して情報端末装置102側に負担を強いることなく、これまでと同様に電子メールを作成しながら、画像、音声等の情報をテキストデータに反映させて出力することにより、電子メール作成者の感情を感覚的に知ることおよびより的確な説明を受けることができ、コミュニケーション力を向上させることができる。

次に図１の電子メール通信システム100における動作およびその利用形態について簡単に説明する。情報端末装置102は、相手先アドレス、絵文字付メール本文（テキストデータ）を含み、電子メールとして添付ファイルもともにサーバ装置104に送信する。 添付ファイルは、たとえばモデルデータとしての画像データである。

第１に、サーバ装置104は、通信相手の情報端末装置102が前述した携帯電話機10の場合、テキストデータ、画像データおよび画像データに対する動きデータをひとまとめにIPネットワーク110を介して情報端末装置102に提供する。これにより、表情をともなった画像を画像表示領域に表示させながら、電子メールを読むことができる。この画像表示機能がなくても、通常の電子メールとして内容を確認することができる。

第２に、サーバ装置104は、通信相手の情報端末装置102にサーバ装置104上のアドレスに「宛先の名前およびタイトル」で電子メールが着信していることを報知する。サーバ装置104は、通信相手の情報端末装置102からのアクセスにより、誰でも自動的に生成した表情付きの画像を表示した電子メールを読むことができる。

第３に、サーバ装置104は、モデルデータを基に動画画像を自動的に作成する。動画画像には、絵文字に対応して表情を変化させた画像が含まれている。サーバ装置104は、この動画画像データを添付ファイルとする電子メールを通信相手の情報端末装置102に送信する。情報端末装置102が動画画像の表示可能な装置ならば、情報端末装置102には、テキスト表示および画像表示を同時に行わせることができる。また、第２の場合のように電子メールの着信およびそのアドレスを報知すると、誰でもアクセスした情報端末装置102で見ることができる。

なお、サーバ装置104は、通信相手先に作成した電子メールを送信確認メールとして本来の電子メール作成者の情報端末装置102にも送付してもよい。

電子メール作成者側の情報端末装置102にブラウザ機能があると、このユーザは、情報端末装置102を介してサーバ装置104にアクセスし、ログインする。新規のユーザの場合、ユーザ登録を行う。ログインにともないサーバ装置104は、情報端末装置102に対するユーザ認証を行う。ユーザ認証は、登録しているユーザ名およびパスワードの一致か否かに応じて行う。ユーザは、情報端末装置102の入力装置を介してサーバ装置104にて電子メールを作成し、モデルデータであるキャラクタを選択する。電子メールには、送付先のアドレスも入力されている。

サーバ装置104は、たとえば前述した第３の利用形態のように電子メールのテキストデータを検索し、絵文字の有無を調べる。選択したキャラクタを用いてテキストデータに応じて話しているように、口の形状等を変化させ、この絵文字の検出結果から絵文字対応の表情や動作を行わせた画像データを生成する。サーバ装置104は、この生成した画像データを添付ファイルとして付加して通信相手の情報端末装置102に送出する。前述した第１および第２の利用形態も行うことができることは言うまでもない。

なお、この場合もサーバ装置104は、通信相手先に作成した電子メールを送信確認メールとして本来の電子メール作成者の情報端末装置102にも送付してもよい。

また、サーバ装置104は、絵文字付きの電子メールを受信して第１および第２の形態のいずれかにより絵文字対応の電子メールを自動的に作成し、電子メール作成者側の情報端末装置102に送り返す。電子メールは、絵文字付きテキストおよび動きデータまたは絵文字付きテキストおよび絵文字対応の動画画像データである。この後、情報端末装置102は、通信相手先の情報端末装置102に送信する。したがって、ユーザは、送信する内容と相手先を自分で管理することができる。また、サーバ装置104は、電子メール送付先を自アドレスにして送信元の情報端末装置102に返送し、送信元の情報端末装置102が実際に通信相手先の情報端末装置102に送付する。この手順では、電子メールの送付先のアドレス等はサーバ装置104に現れないので、情報の秘匿性を保つことができる。

添付ファイルには、前述した広告宣伝データを含めて送付してもよい。広告の仕方は、電子メールを開封して読む際に、表情を有する画像データ（動画キャラクタ）の背景に（空間的な）合成した広告を表示させる方法と、表情を有する画像データを表示する前および表示終了の少なくとも一方で（時間的な）合成による広告表示の方法とがある。広告宣伝データは、文字データや映像（画像）データを用いる。広告宣伝を利用すると、サーバ装置104の管理者は、利用料金を負担を広告料で肩代わりするサービスを提供することも可能になる。ユーザは、このサービスを受けることができると、利用負担を抑えることができ、有利である。

モデルデータは、たとえば、数枚の絵や写真等から取り込んだ画像データを基本として顔を作成する方法、専用ソフトウェアを用いてデータ作成する方法および有償にてキャラクタを提供する方法等がある。添付ファイルのデータは、画像データに限定されず、音声データ、音楽データ等でもよい。

以上のように構成することにより、絵文字の有無に応じて絵文字の意味解析を行い、絵文字に対応した画像信号や音声信号の生成や生成に要するデータの選択を行い、絵文字を含む電子メールの添付ファイルにして送付することにより、電子メールの送信元（作成者）の感情を反映させて表示することにより、単なるテキストデータの通信を読む場合に比べて通信相手とのコミュニケーション距離を感覚的に近づけることができ、結果としてコミュニケーション力を高めることができる。絵文字がわからない人にも正確にその意味を提供することができる。

音声による表現によっても行うことができ、視覚障害者に対して効果がある。

このようなコミュニケーション力は、信号生成方法や電子メール通信システム、そしてデータ通信方法においても同様に向上させることができる。

このように本発明の情報通信装置によれば、絵文字解析手段で解析した意味に応じて信号生成手段でデータ記憶手段から読み出したデータに加工処理を施して信号を生成し、供給されるテキストデータとともに、タイミングを調整して生成した信号を出力して、テキストデータの表示に合わせて的確な絵文字に対応した信号を提供し、通信相手の感情を反映させることにより、単なるテキストデータの通信を読む場合に比べて通信相手とのコミュニケーション距離を感覚的に近づけることができ、結果としてコミュニケーション力を高めることができる。

また、本発明の情報通信装置における情報生成方法によれば、供給されるディジタルデータに絵文字を含むか調べて、存在する絵文字の意味を解析し、解析結果に応じた加工処理をデータに施すことで、信号に絵文字が持つ意図を的確に反映させ、得られた信号の出力タイミングを調整して出力して、通信相手の感情も正確に提供でき、単なるテキストデータの通信を読む場合に比べて通信相手とのコミュニケーション距離を感覚的に近づけることができ、結果としてコミュニケーション力を高めることができる。

そして、情報通信システムによれば、サーバ装置の信号生成機能ブロックでデータを絵文字解析機能ブロックからの解析結果に応じて加工処理を施して得られた信号のタイミングを調整して相手側の端末装置に供給し、この端末装置では、テキストデータファイルを受けて、このファイルを展開して制御機能ブロックでテキストデータの表示に合わせて信号が発現して提供することにより、送信側の端末装置では、これまで作成してきたと同じにテキストデータファイルを作成しているにもかかわらず、通信相手側の端末装置に信号に絵文字が持つ意図を的確に反映させ、得られた信号の出力タイミングを調整して出力して、通信相手の感情も正確に提供し、コミュニケーション力を高めることができる。

さらに、本発明の情報通信システムにおけるデータ通信方法は、第１の情報端末装置でこれまでと同じ入力処理を行い、第１の情報端末装置から供給されたテキストデータに含まれる絵文字をサーバ装置にて検出し、かつその意味を解析して、サーバ装置が有する基本データを含む添付ファイルを出力し、その出力先や第２の情報端末装置の機能に応じて添付された基本データから信号を生成して、絵文字付きのテキストを表示させた場合に比べてより理解しやすく、感情移入しやすい表現を第２の情報端末装置に行わせることができるので、データ通信におけるコミュニケーション力を一層向上させることができる。

本発明の情報通信システムを適用した電子メール通信システムの構成を示す図である。 図１のサーバ装置における概略的な構成を示す機能ブロック図である。 図１の電子メール通信システムに適用した携帯電話機の受信側に含まれる電子メール表示に用いる原理的な構成を示すブロック図である。 図３の携帯電話機にて受信電子メールを再生表示させる手順を示すフローチャートである。 図４の再生表示における絵文字解析の処理手順を示すフローチャートである。 図４の絵文字解のうち、顔文字のパターンと意味の具体的な関係を説明する図である。 図４の再生表示における信号生成の処理手順を示すフローチャートである。 図７の信号生成における合成処理の手順を示すフローチャートである。 図３の原理を基にした受信電子メール再生表示の具体例１の構成を示すブロック図である。 図３の原理を基にした受信電子メール再生表示の具体例２の構成を示すブロック図である。 図３の原理を基にした受信電子メール再生表示の具体例３の構成を示すブロック図である。 図３の原理を基にした受信電子メール再生表示の具体例４の構成を示すブロック図である。 図３の原理を基にした受信電子メール再生表示の具体例５の構成を示すブロック図である。 図３の原理を基にした受信電子メール再生表示の具体例６の構成を示すブロック図である。 図３の原理を基にした受信電子メール再生表示の具体例７の構成を示すブロック図である。

符号の説明

10 携帯電話機
12 受信部
14 絵文字解析部
16 基本データ格納部
18 信号生成部
20 信号発現部
140 絵文字有無判断機能部
142 絵文字解析機能部
144 ファイル構造解析機能部
180 アニメ画像作成機能部
182 D/A変換機能部
184 合成音声作成機能部
186 広告宣伝画像作成機能部
188 合成画像作成機能部

Claims (18)

1. 情報の入出力を行い、該情報をディジタル化して送受信する端末装置と、該端末装置から前記ディジタル化して出力されるデータに対してアプリケーション処理を施し相手先の端末装置に供給するサーバ装置とを備え、前記端末装置間に前記サーバ装置を介して情報通信を行う情報通信システムにおいて、
   前記サーバ装置は、前記端末装置にて文章をディジタル化したテキストデータのファイルを受けて、該テキストデータファイル中に、一つの文字や記号を組み合わせて意味を持つ絵文字が供給されるデータに含まれるか調べて、該絵文字の意味を解析する絵文字解析機能ブロックと、
   あらかじめ基本となるデータを格納するデータ記憶手段と、
   前記解析結果が示す意図に応じて前記データ記憶手段から読み出したデータに加工処理を施して得られた信号のタイミングを調整して提供する信号生成機能ブロックとを含み、
   前記端末装置は、前記サーバ装置から前記テキストデータファイルを受けて、前記テキストデータファイルを展開し、前記テキストデータファイルとともに供給された信号を発現させる制御機能ブロックを含むことを特徴とする情報通信システム。
2. 請求項１に記載のシステムにおいて、前記絵文字解析機能ブロックは、前記テキストデータ中に前記絵文字を含むか否かの判断する絵文字検出機能ブロックと、
   前記絵文字の検出にともない該絵文字の意味を解析する絵文字解析機能ブロックと、
   前記テキストデータによるファイルに対して添付されたファイルの有無を調べて、それぞれ分離するファイル構造解析機能ブロックとを含むことを特徴とする情報通信システム。
3. 請求項１または２に記載のシステムにおいて、前記データ記憶手段は、格納するデータとして少なくとも、画像データ、音楽データ、音声データ、前記データの提供者に関する個人的な特徴データ、前記画像データで表わされる画像に対する動作データ、前記画像に対する状況データおよび広告宣伝用のデータのいずれか一つまたは前記添付されたファイルのデータを含むことを特徴とする情報通信システム。
4. 請求項１、２または３に記載のシステムにおいて、前記信号生成機能ブロックは、前記画像データを前記解析結果に応じて表示させるタイミングのキー信号および表示する画像データを含む添付ファイルを生成し、該添付ファイルを前記テキストデータファイルに添付させる画像添付機能ブロック、
   前記解析結果に応じて発音させるタイミングのキー信号および前記音楽データを含む添付ファイルを生成し、該添付ファイルを前記テキストデータファイルに添付させる音楽添付機能ブロック、
   前記音声データを用いて前記解析結果に応じた音声を合成し、発音させるタイミングのキー信号および前記合成した音声データを含む添付ファイルを生成し、該添付ファイルを前記テキストデータファイルに添付させる音声合成添付機能ブロック、および
   前記広告宣伝用のデータを用いて前記解析結果に応じて宣伝データを生成し、前記生成した宣伝データの表示タイミングに関するキー信号および前記宣伝データを含む添付ファイルを生成し、該添付ファイルを前記テキストデータファイルに添付させる宣伝添付機能ブロックの少なくとも一つを含むことを特徴とする情報通信システム。
5. 請求項４に記載のシステムにおいて、前記画像添付機能ブロックは、前記画像データに対して少なくとも、前記特徴データ、前記動作データおよび前記状況データのいずれか一つを用いて生成する画像に変化をもたせる機能を有することを特徴とする情報通信システム。
6. 請求項１ないし５のいずれか一項に記載のシステムにおいて、前記信号生成機能ブロックは、前記画像添付機能ブロックと前記宣伝添付機能ブロックとでそれぞれ生成した画像データを合成させ、前記画像データおよび前記宣伝データのキー信号および合成した画像データを含む添付ファイルを生成し、該添付ファイルを前記テキストデータファイルに添付させる画像合成添付機能ブロックを含むことを特徴とする情報通信システム。
7. 請求項３または５に記載のシステムにおいて、前記特徴データ、前記動作データおよび前記状況データのいずれか一つは、前記端末装置から供給されることを特徴とする情報通信システム。
8. 請求項１ないし７のいずれか一項に記載のシステムにおいて、前記サーバ装置は、該サーバ装置に接続する前記端末装置それぞれの管理、
   前記端末装置それぞれにおける第１の使用時間の管理、
   前記端末装置それぞれにおいて使用した宣伝データおよび該宣伝データにおける第２の使用時間の管理、ならびに
   第１の使用時間に応じた課金と第２の使用時間に応じた料金の減額との収支計算を行う管理機能ブロックを含むことを特徴とする情報通信システム。
9. 文章の作成処理により作成したテキストデータを送信する第１の情報端末装置と、第１の情報端末装置からの前記テキストデータに該テキストデータに関連したデータを添付するサーバ装置と、第１の情報端末装置の通信相手先である第２の情報端末装置とを用いた情報通信システムにおけるデータ通信方法において、該方法は、
   前記サーバ装置にて前記テキストデータに一つの文字や記号を組み合わせて意味が生じる絵文字を含むか調べて、該絵文字の意味を解析する第１の工程と、
   前記サーバ装置があらかじめ記憶した前記テキストデータと異なる基本データを前記解析結果が示す意図に応じて読み出して、前記テキストデータのファイルに前記基本データを含むファイルを添付して出力する第２の工程とを含むことを特徴とする情報通信システムにおけるデータ通信方法。
10. 請求項９に記載の方法において、該方法は、前記基本データを添付ファイルとして第１の情報端末装置から供給されることを特徴とする情報通信システムにおけるデータ通信方法。
11. 請求項９または10に記載の方法において、第２の工程は、前記基本データに前記解析結果の意図に応じた信号処理を施して得られたデータを添付して出力することを特徴とする情報通信システムにおけるデータ通信方法。
12. 請求項９、10または11に記載の方法において、第２の工程は、前記基本データに前記解析結果の意図に応じた信号処理を施して得られたデータを保存し、
    前記サーバ装置は、該サーバ装置に割り当てられたアドレスを第２の情報端末装置に報知し、該報知に応じて前記サーバ装置にアクセスした第２の情報端末装置に前記テキストデータおよび前記保存したデータを出力することを特徴とする情報通信システムにおけるデータ通信方法。
13. 請求項９ないし12のいずれか一項に記載の方法において、前記基本データは、少なくとも、画像データ、音楽データ、音声データ、前記データの提供者に関する個人的な特徴データ、前記画像データで表わされる画像に対する動作データ、前記画像に対する状況データおよび広告宣伝用のデータのいずれか一つまたは第１の情報端末装置から供給される前記添付されたファイルのデータであることを特徴とする情報通信システムにおけるデータ通信方法。
14. 請求項９ないし13のいずれか一項に記載の方法において、第１の工程は、前記テキストデータ中に前記絵文字を含むか否かの判断する第３の工程と、
    前記絵文字の検出にともない該絵文字の意味を解析する第４の工程と、
    前記テキストデータによるファイルに対して添付されたファイルの有無を調べて、それぞれ分離する第５の工程とを含むことを特徴とする情報通信システムにおけるデータ通信方法。
15. 請求項９ないし14のいずれか一項に記載の方法において、第２の工程は、前記画像データを前記解析結果に応じて画像生成処理を施して画像信号を生成し、該生成した画像信号を基に動画画像を生成する第６の工程、
    前記音楽データを前記解析結果に応じてアナログ信号に変換する第７の工程、
    前記音声データを用いて前記解析結果に応じた音声信号を合成する第８の工程、および
    前記広告宣伝用のデータを用いて前記解析結果に応じて宣伝用の画像信号を生成する第９の工程の少なくとも一つを含むことを特徴とする情報通信システムにおけるデータ通信方法。
16. 請求項９ないし14のいずれか一項に記載の方法において、第２の工程は、前記テキストデータのファイルと前記添付したファイルの出力を第１の情報端末装置に出力させ、第１の情報端末装置から第２の情報端末装置に両ファイルを送出することを特徴とする情報通信システムにおけるデータ通信方法。
17. 請求項９ないし15のいずれか一項に記載の方法において、該方法は、第２の工程にて少なくとも、前記広告宣伝用のデータおよび該データによる画像信号のいずれかを添付したファイルに含むか否かに応じて前記サーバ装置の利用に対する課金を軽減することを特徴とする情報通信システムにおけるデータ通信方法。
18. 請求項17に記載の方法において、前記課金の軽減は、前記広告宣伝用のデータの料金体系に対応したランク、利用回数および利用時間に応じて行うことを特徴とする情報通信システムにおけるデータ通信方法。

Images