JP2006005945A - 移動端末機使用者の感情伝達および表出方法、並びにその通信システム - Google Patents

Abstract

【課題】 音声、画像、文字およびテキストなどを送受信するだけでなく、使用者の感情状態もリアルタイムで伝達できる移動端末機使用者の感情伝達および表出方法、並びにその通信システムを提供する。
【解決手段】 移動端末機使用者の生体情報を収集する段階と；前記生体情報を用いて、前記移動端末機使用者の感情を表す感情データを生成する段階と；前記生成された感情データを前記通信信号を通して送信する段階と；を含んで移動端末機使用者の感情伝達および表出方法を構成する。
【選択図】 図１

Description

本発明は、端末機に関するもので、詳しくは、使用者間の感情状態を適切に取り交わせる移動端末機使用者の感情伝達および表出方法、並びにその通信システムに関するものである。

一般に、移動端末機は、移動中にも両者間の意志疎通を可能にするものである。

移動端末機による意志疎通には、主に音声伝達方式が用いられる。

一方、移動端末機は、その技術が発展するにつれて、音声はもちろんで、画像、文字およびテキストなどを総合したマルチメディアも伝達するようになった。また、移動端末機の多様なマルチメディア伝達機能を支援するための移動通信システムも発展した。したがって、現在の移動通信システムで提供可能なサービスには、音声通話サービス、画像通話サービス、データ伝送サービスおよび短文メッセージ伝送サービスなどがある。

しかしながら、上記の各サービスは、両者間の通話時、音声、画像、文字およびテキストなどを伝達するだけであって、使用者の現在の感情をリアルタイムで伝達できないという問題があった。

本発明は、上記の問題点を解決するためのもので、その目的は、音声、画像、文字およびテキストなどを送受信するだけでなく、使用者の感情状態もリアルタイムで伝達できる移動端末機使用者の感情伝達および表出方法、並びにその通信システムを提供することにある。

上記目的を達成するために、本発明に係る移動端末機使用者の感情伝達および表出方法は、移動端末機使用者の生体情報を収集する段階と；前記生体情報を用いて、前記移動端末機使用者の感情を表す感情データを生成する段階と；前記生成された感情データを前記通信信号を通して送信する段階と；を含んで構成されることを特徴とする。

より好ましくは、前記送信された通信信号から前記感情データを抽出する段階をさらに含んで構成される。ここで、前記抽出された感情データに該当する前記移動端末機使用者の感情を表出する段階をさらに含む。また、前記移動端末機使用者の感情は、イメージ、テキストおよび音声のうち少なくとも一つで表す。より詳しくは、前記イメージは、人の感情による顔表情を表す停止映像および動映像のうちいずれか一つであり、前記テキストは、人の感情および嘘探知結果のうち少なくとも一つ以上を表す文句であり、前記音声は、人の感情および嘘探知結果のうち少なくとも一つ以上を表す合成音である。

より好ましくは、前記感情データは、前記移動端末機使用者の感情を表す統計的数値である。

より好ましくは、他の移動端末機が前記送信された通信信号を受信する段階と、前記他の移動端末機が前記受信された通信信号から前記感情データを抽出する段階と、前記抽出された感情データを予め備わったルック−アップテーブルの感情別表出データと比較する段階と、前記比較結果から前記抽出された感情データに該当する前記ルック−アップテーブルの表出データを出力する段階と、をさらに含んで構成される。ここで、ルック−アップテーブルの表出データは、前記移動端末機使用者の感情を表すイメージ、テキストおよび音声のうち一つにより構成される。より詳しくは、前記イメージは、人の感情による顔表情を表す停止映像および動映像のうちいずれか一つであり、前記テキストは、人の感情および嘘探知結果のうち少なくとも一つ以上を表す文句であり、前記音声は、人の感情および嘘探知結果のうち少なくとも一つ以上を表す合成音である。

より好ましくは、前記生体情報は、前記移動端末機使用者の通信時の生理的情報およびバイオリズム情報のうち少なくとも一つ以上を含む。前記生理的情報は、前記移動端末機使用者の自律神経系の作用に関する情報である。また、前記生理的情報は、前記移動端末機使用者の移動端末機から測定された前記移動端末機使用者の体温、呼吸波、脈拍波、皮膚電気反射程度、血圧波および血流波のうち少なくとも一つ以上を含む。

より好ましくは、前記通信信号は、音声通信のための音声信号である。それによって、前記感情データは、前記音声信号を伝送するために割り当てられた通話チャネルを通して送信する。このとき、前記感情データは、前記音声信号にコーディングする。また、前記感情データは、前記音声通信を制御するために割り当てられた制御チャネルを通して送信する。

より好ましくは、前記通信信号は、画像通信のための画像信号、文字伝送のための短文メッセージ信号およびパケット通信のためのパケット信号のうちいずれか一つである。

より好ましくは、前記送信された感情データを他の移動端末機が受信する段階と、前記他の移動端末機が前記受信された感情データに基づいて前記移動端末機使用者の感情を表出する段階と、をさらに含んで構成される。

より好ましくは、前記生体情報は、両者間の通信中に収集される。

上記目的を達成するために、本発明に係る移動端末機使用者の感情伝達および表出のための通信システムは、両者間の通信中である移動端末機使用者の少なくとも一つの生体情報を収集する第１のブロックと、前記少なくとも一つの生体情報を用いて前記移動端末機使用者の感情を表す感情データを生成する第２のブロックと、前記感情データを通信信号と一緒に送信する第３のブロックと、から構成される送信側移動端末機と；前記送信側移動端末機から受信される通信信号から前記感情データを抽出する第４のブロックと、前記抽出された感情データに該当する感情を表出する第５のブロックと、から構成される受信側移動端末機と；を含んで構成される。

より好ましくは、前記第１のブロックは、前記移動端末機使用者の生理的情報を抽出する生理状態収集部と、前記移動端末機使用者の予め入力された生年月日に基づいてバイオリズムを計算するバイオリズム生成部と、を含んで構成される。ここで、前記生理状態収集部は、前記移動端末機使用者の自律神経系作用を測定する手段を少なくとも一つ以上備える。また、前記生理状態収集部は、前記移動端末機使用者の体温を測定する第１の手段と、前記移動端末機使用者の呼吸波を測定する第２の手段と、前記移動端末機使用者の脈拍波を測定する第３の手段と、前記移動端末機使用者の皮膚電気反射程度を測定する第４の手段と、前記移動端末機使用者の血圧波を測定する第５の手段と、前記移動端末機使用者の血流波を測定する第６の手段と、を備える。

より好ましくは、前記感情データは、前記移動端末機使用者の感情を表す統計的数値である。

より好ましくは、前記第３のブロックは、前記感情データを前記通信信号にコーディングする。

より好ましくは、前記通信信号は、音声通信のための音声信号である。それによって、前記感情データは、前記音声信号を伝送するために割り当てられた通話チャネルを通して送信する。また、前記感情データは、前記音声通信を制御するために割り当てられた制御チャネルを通して送信する。

より好ましくは、前記通信信号は、画像通信のための画像信号、文字伝送のための短文メッセージ信号およびパケット通信のためのパケット信号のうちいずれか一つである。

より好ましくは、前記受信側移動端末機は、前記抽出された感情データに該当する前記移動端末機使用者の感情を検索するために、人の感情を数値化したルック−アップテーブルをさらに備える。

より好ましくは、前記受信側移動端末機は、人の多様な感情を統計的数値で予め計算して保存したルック−アップテーブルをさらに備える。それによって、前記第５のブロックは、前記第４のブロックから抽出された感情データの値を前記ルック−アップテーブルで比較検索し、その比較検索結果に相応する感情を出力する。

より好ましくは、前記第５のブロックは、前記感情を、イメージ、テキストおよび音声のうち少なくとも一つ以上を組み合わせた形態で出力する。ここで、前記イメージは、人の感情による顔表情を表す停止映像および動映像のうちいずれか一つであり、前記テキストは、人の感情および嘘探知結果のうち少なくとも一つ以上を表す文句であり、前記音声は、人の感情および嘘探知結果のうち少なくとも一つ以上を表す合成音である。

上記目的を達成するために、本発明は、例えば、以下の手段を提供する。
（項目１）
移動端末機使用者の生体情報を収集する段階と；
前記生体情報を用いて、前記移動端末機使用者の感情を表す感情データを生成する段階と；
前記生成された感情データを前記通信信号を通して送信する段階と；を含んで構成されることを特徴とする移動端末機使用者の感情伝達および表出方法。
（項目２）
前記送信された通信信号から前記感情データを抽出する段階をさらに含んで構成されることを特徴とする項目１記載の移動端末機使用者の感情伝達および表出方法。
（項目３）
前記抽出された感情データに該当する前記移動端末機使用者の感情を表出する段階をさらに含んで構成されることを特徴とする項目２記載の移動端末機使用者の感情伝達および表出方法。
（項目４）
前記移動端末機使用者の感情は、イメージ、テキストおよび音声のうち少なくとも一つで表すことを特徴とする項目３記載の移動端末機使用者の感情伝達および表出方法。
（項目５）
前記イメージは、人の感情による顔表情を表す停止映像および動映像のうちいずれか一つであることを特徴とする項目４記載の移動端末機使用者の感情伝達および表出方法。
（項目６）
前記テキストは、人の感情および嘘探知結果のうち少なくとも一つ以上を表す文句であることを特徴とする項目４記載の移動端末機使用者の感情伝達および表出方法。
（項目７）
前記音声は、人の感情および嘘探知結果のうち少なくとも一つ以上を表す合成音であることを特徴とする項目４記載の移動端末機使用者の感情伝達および表出方法。
（項目８）
前記感情データは、前記移動端末機使用者の感情を表す統計的数値であることを特徴とする項目１記載の移動端末機使用者の感情伝達および表出方法。
（項目９）
他の移動端末機が前記送信された通信信号を受信する段階と、
前記他の移動端末機が前記受信された通信信号から前記感情データを抽出する段階と、
前記抽出された感情データを予め備わったルック-アップテーブル(look-up table)の感情別表出データと比較する段階と、
前記比較結果に基づき、前記抽出された感情データに該当する前記ルック-アップテーブルの表出データを出力する段階と、をさらに含んで構成されることを特徴とする項目１記載の移動端末機使用者の感情伝達および表出方法。
（項目１０）
前記ルック-アップテーブルの表出データは、前記移動端末機使用者の感情を表すイメージ、テキストおよび音声のうち一つにより構成されることを特徴とする項目９記載の移動端末機使用者の感情伝達および表出方法。
（項目１１）
前記イメージは、人の感情による顔表情を表す停止映像および動映像のうちいずれか一つであることを特徴とする項目１０記載の移動端末機使用者の感情伝達および表出方法。
（項目１２）
前記テキストは、人の感情および嘘探知結果のうち少なくとも一つ以上を表す文句であることを特徴とする項目１０記載の移動端末機使用者の感情伝達および表出方法。
（項目１３）
前記音声は、人の感情および嘘探知結果のうち少なくとも一つ以上を表す合成音であることを特徴とする項目１０記載の移動端末機使用者の感情伝達および表出方法。
（項目１４）
前記生体情報は、前記移動端末機使用者の通信時の生理的情報およびバイオリズム情報のうち少なくとも一つ以上を含むことを特徴とする項目１記載の移動端末機使用者の感情伝達および表出方法。
（項目１５）
前記生理的情報は、前記移動端末機使用者の自律神経系作用に関する情報であることを特徴とする項目１４記載の移動端末機使用者の感情伝達および表出方法。
（項目１６）
前記生理的情報は、前記移動端末機使用者の移動端末機から測定された前記移動端末機使用者の体温、呼吸波、脈拍波、皮膚電気反射程度、血圧波および血流波のうち少なくとも一つ以上を含むことを特徴とする項目１４記載の移動端末機使用者の感情伝達および表出方法。
（項目１７）
前記通信信号は、音声通信のための音声信号であることを特徴とする項目１記載の移動端末機使用者の感情伝達および表出方法。
（項目１８）
前記感情データは、前記音声信号を伝送するために割り当てられた通話チャネルを通して送信することを特徴とする項目１７記載の移動端末機使用者の感情伝達および表出方法。
（項目１９）
前記感情データは、前記音声信号にコーディングすることを特徴とする項目１８記載の移動端末機使用者の感情伝達および表出方法。
（項目２０）
前記感情データは、前記音声通信を制御するために割り当てられた制御チャネルを通して送信することを特徴とする項目１７記載の移動端末機使用者の感情伝達および表出方法。
（項目２１）
前記通信信号は、画像通信のための画像信号、文字伝送のための短文メッセージ信号およびパケット通信のためのパケット信号のうちいずれか一つであることを特徴とする項目１記載の移動端末機使用者の感情伝達および表出方法。
（項目２２）
前記送信された感情データを他の移動端末機が受信する段階と、
前記他の移動端末機が前記受信された感情データに基づいて前記移動端末機使用者の感情を表出する段階と、をさらに含んで構成されることを特徴とする項目１記載の移動端末機使用者の感情伝達および表出方法。
（項目２３）
前記生体情報は、両者間の通信中に収集されることを特徴とする項目１記載の移動端末機使用者の感情伝達および表出方法。
（項目２４）
両者間の通信中である移動端末機使用者の少なくとも一つの生体情報を収集する第１のブロックと、前記少なくとも一つの生体情報を用いて、前記移動端末機使用者の感情を表す感情データを生成する第２のブロックと、前記感情データを通信信号と一緒に送信する第３のブロックと、から構成される送信側移動端末機と；
前記送信側移動端末機から受信される通信信号から前記感情データを抽出する第４のブロックと、前記抽出された感情データに該当する感情を表出する第５のブロックと、から構成される受信側移動端末機と；を含んで構成されることを特徴とする感情伝達のための通信システム。
（項目２５）
前記第１のブロックは、前記移動端末機使用者の生理的情報を抽出する生理状態収集部と、前記移動端末機使用者の予め入力された生年月日に基づいてバイオリズムを計算するバイオリズム生成部と、を含んで構成されることを特徴とする項目２４記載の感情伝達のための通信システム。
（項目２６）
前記生理状態収集部は、前記移動端末機使用者の自律神経系作用を測定する手段を少なくとも一つ以上備えることを特徴とする項目２５記載の感情伝達のための通信システム。
（項目２７）
前記生理状態収集部は、前記移動端末機使用者の体温を測定する第１の手段と、前記移動端末機使用者の呼吸波を測定する第２の手段と、前記移動端末機使用者の脈拍波を測定する第３の手段と、前記移動端末機使用者の皮膚電気反射程度を測定する第４の手段と、前記移動端末機使用者の血圧波を測定する第５の手段と、前記移動端末機使用者の血流波を測定する第６の手段と、を備えることを特徴とする項目２５記載の感情伝達のための通信システム。
（項目２８）
前記感情データは、前記移動端末機使用者の感情を表す統計的数値であることを特徴とする項目２４記載の感情伝達のための通信システム。
（項目２９）
前記第３のブロックは、前記感情データを前記通信信号にコーディングすることを特徴とする項目２４記載の感情伝達のための通信システム。
（項目３０）
前記通信信号は、音声通信のための音声信号であることを特徴とする項目２４記載の感情伝達のための通信システム。
（項目３１）
前記感情データは、前記音声信号を伝送するために割り当てられた通話チャネルを通して送信することを特徴とする項目３０記載の感情伝達のための通信システム。
（項目３２）
前記感情データは、前記音声通信を制御するために割り当てられた制御チャネルを通して送信することを特徴とする項目３０記載の感情伝達のための通信システム。
（項目３３）
前記通信信号は、画像通信のための画像信号、文字伝送のための短文メッセージ信号およびパケット通信のためのパケット信号のうちいずれか一つであることを特徴とする項目２４記載の感情伝達のための通信システム。
（項目３４）
前記受信側移動端末機は、前記抽出された感情データに該当する前記移動端末機使用者の感情を検索するために、人の感情を数値化したルック-アップテーブルをさらに備えることを特徴とする項目２４記載の感情伝達のための通信システム。
（項目３５）
前記受信側移動端末機は、人の多様な感情を統計的数値で予め計算して保存したルック-アップテーブルをさらに備えることを特徴とする項目２４記載の感情伝達のための通信システム。
（項目３６）
前記第５のブロックは、前記第４のブロックから抽出された感情データの値を前記ルック-アップテーブルで比較・検索し、その比較検索結果に相応する感情を出力することを特徴とする項目３５記載の感情伝達のための通信システム。
（項目３７）
前記第５のブロックは、前記感情を、イメージ、テキストおよび音声のうち少なくとも一つ以上を組み合わせた形態で出力することを特徴とする項目２４記載の感情伝達のための通信システム。
（項目３８）
前記イメージは、人の感情による顔表情を表す停止映像および動映像のうちいずれか一つであることを特徴とする項目３７記載の感情伝達のための通信システム。
（項目３９）
前記テキストは、人の感情および嘘探知結果のうち少なくとも一つ以上を表す文句であることを特徴とする項目３７記載の感情伝達のための通信システム。
（項目４０）
前記音声は、人の感情および嘘探知結果のうち少なくとも一つ以上を表す合成音であることを特徴とする項目３７記載の感情伝達のための通信システム。

本発明によると、両者間の通信中に音声／画像／文字／テキストなどを送受信するとともに、使用者の感情状態をリアルタイムで伝達するため、送信者と受信者との意思伝達（意志疎通）が一層効果的になる。

以下、本発明に係る移動端末機使用者の感情伝達および表出方法、並びにその通信システムの好適な実施の形態について、添付の図面に基づいて詳細に説明する。本発明の構成および作用は、一つの実施形態として説明されるものに過ぎなく、これによって、本発明の技術的思想、核心構成および作用が制限されることはない。

基本的に、本発明の感情伝達のための通信システムは、音声通信、画像通信、文字伝送通信（例えば、短文メッセージサービス）およびパケット通信のうち少なくとも一つ以上のサービスを支援する。

したがって、図１および図２に示した送信側移動端末機および受信側移動端末機も、上記のような通信システムのサービスを支援するため、音声はもちろんで、画像、文字、テキストおよびデータなどを総合したマルチメディアも伝達できる。

図１は、本発明に係る送信側移動端末機の内部構成を示したブロック図である。

図１に示すように、送信側移動端末機は、現在通信中である送信者（送信側移動端末機の使用者）の生体情報を所定周期に収集する第１のブロック１０と、この第１のブロック１０で収集された生体情報を用いて、送信者の現在の感情状態を表す感情データを生成する第２のブロック２０と、この第２のブロック２０で生成された感情データを現在使用中である通信サービスの信号と一緒に送信する第３のブロック３０と、を含んで構成される。また、送信側移動端末機は、第２のブロック２０で生成された感情データが現在の通信サービスの信号と一緒に送信されるように、その感情データを送信可能な信号フォーマットに変更するブロックをさらに含む。

第１のブロック１０は、生理状態収集部１１およびバイオリズム生成部１２を含む。

生理状態収集部１１は、現在通信中である送信者の生体情報を抽出する。生理状態収集部１１は、送信者の生理状態、すなわち、自律神経系作用を測定する手段を備える。この手段は、送信者の体温を測定する第１の手段と、送信者の呼吸波を測定する第２の手段（例えば、送信者の通話時、マイクロフォンに入ってくる送信者の息声および息量を認識して呼吸波を測定する）と、送信者の脈拍波を測定する第３の手段と、送信者の皮膚電気反射程度を測定する第４の手段と、送信者の血圧波を測定する第５の手段と、送信者の血流波を測定する第６の手段と、を含む。前記生理状態収集部１１に備わって送信者の自律神経系作用を測定する手段は、場合によって追加または変更が可能である。

バイオリズム生成部１２は、送信者が予め入力した生年月日に基づいて現在のバイオリズムを計算する。

第３のブロック３０は、第２のブロック２０で生成された感情データを通信信号、すなわち、送信者が現在使用している通信サービスの信号にコーディングした後で送信する。

ここで、前記通信信号は、音声通信のための音声信号である。よって、第２のブロック２０で生成された感情データは、音声信号を伝送するために割り当てられた通話チャネルを通して送信されるが、通話チャネルのロードに影響を与えないように、音声通信を制御するために割り当てられた制御チャネルを通して送信されてもよい。このようなチャネルの使用は、通信システムのチャネル使用方式によって多様に変更することができる。

その他に、前記通信信号は、画像通信のための画像信号、文字伝送のための短文メッセージ信号、パケット通信のためのパケット信号にもなる。すなわち、前記通信信号は、現在の両者間の通信がいかなるものであるかによって定められる。

次いで、図１の第２のブロック２０で生成される感情データは、送信者の感情状態を表す統計的数値である。すなわち、送信者の自律神経系作用を測定した値を入力とする関数の結果が感情データである。ここで使用する関数は、自律神経系作用による一般的な人の感情状態を適切に表現するように、実験によって実現される。

例えば、感情データの統計的数値を１〜３に定め、１は、“興奮状態”、２は、“普通状態”、３は、“怒った状態”を表す数値であると仮定する。また、関数結果値が“１〜３０”であると、感情データの数値“１”に対応し、関数結果値が“３１〜６０”であると、感情データの数値“２”に対応し、関数結果値が“６１〜９０”であると、感情データの数値“３”に対応すると仮定する。このとき、感情データを算出する関数に所定の入力値を代入して計算した結果が感情データの統計的数値のどの値に対応するかを確認することで、受信側に送信する感情データ値が計算される。

図２は、本発明に係る受信側移動端末機の内部構成を示したブロック図である。

図２に示すように、受信側移動端末機は、図１の送信側移動端末機から受信される信号から感情データを抽出する第４のブロック４０と、この第４のブロック４０で抽出された感情データに該当する感情状態を表出する第５のブロック５０と、を含んで構成される。また、受信側移動端末機は、第４のブロック４０で抽出された感情データの信号フォーマットを内部プロセッサーで解析可能な値に変更するブロック（図示せず）をさらに含む。

また、受信側移動端末機は、第４のブロック４０で抽出された感情データに該当する送信者の感情を検索するためのルック−アップテーブル６０をさらに備える。

ルック−アップテーブル６０は、人の感情を一般化して数値化したものであり、人の多様な感情状態を統計的数値で予め計算して保存したものである。また、ルック−アップテーブル６０は、多様な感情状態に対応する出力データを有する。これら出力データは、移動端末機の出力手段（移動端末機のディスプレイウィンドーおよび／またはスピーカー）を通して出力される。

したがって、第５のブロック５０は、第４のブロック４０で抽出された感情データの値とルック−アップテーブル６０の統計的数値とを比較して検索し、その比較結果に相応する値を検索して該当する感情状態を把握し、その該当する感情状態に対応する出力データを出力手段を通して出力する。

例えば、ルック−アップテーブル６０に保存された各感情状態による統計的数値を１〜３に定め、１は、“興奮状態”、２は、“普通状態”、３は、“怒った状態”を表す数値であると仮定する。このとき、第４のブロック４０で抽出された感情データの値が“３”であると、第５のブロック５０は、ルック−アップテーブル６０を参照して送信者が“怒った状態”であると把握し、その“怒った状態”に対応する出力データを出力する。

その結果、第５のブロック５０は、ルック−アップテーブル６０を参照して第４のブロック４０で抽出された感情データに相応する感情状態をイメージ、テキストおよび音声のうちいずれか一つの形態で出力するか、または、抽出された感情データに相応する感情状態を、イメージ、テキストおよび音声のうち少なくとも一つ以上を組み合わせた形態で出力する。

以下、ルック−アップテーブル６０に保存された出力データをさらに詳しく説明する。

１．イメージ−人の感情による顔表情（怒った顔、笑う顔、普通の顔など）を表す停止映像および／または動映像。

２．テキスト−人の感情状態（怒る、楽しい、普通など）や嘘探知結果を表す文句（“今、嘘をついている”、“今、真実を言っている”などの真実性を表示する文句）。

３．音声−人の感情状態や嘘探知結果を表現した声（合成音）。

以上説明したように、本発明の送信側移動端末機は、現在通信中である送信者の感情をリアルタイムで送信し、受信側移動端末機は、通信中である送信者の現在の感情をリアタイムで把握する。

図３は、本発明に係る送信側移動端末機を用いた感情収集、挿入および伝達手順を示したフローチャートである。

図３に示すように、現在、送信側移動端末機は、受信側移動端末機と通信中である。このとき、送信側移動端末機は、送信者の生体情報を所定周期に収集する（Ｓ１）。

ここで、生体情報は、送信者の通信時の生理的情報および送信者の現在のバイオリズム情報を含む。

また、前記生理的情報は、送信者の通話時の自律神経系作用に関する情報であり、より詳しくは、送信側移動端末機で測定された送信者の体温、呼吸波、脈拍波、皮膚電気反射程度、血圧波および血流波である。

また、現在のバイオリズム情報は、送信者が予め入力した生年月日に基づいて計算された情報である。

その後、送信側移動端末機は、収集された生体情報を用いて、通信中である送信者の現在の感情状態を表す感情データを生成する（Ｓ２）。

ここで、生成された感情データは、送信者の現在の感情状態を表す統計的数値である。

次いで、送信側移動端末機は、生成された感情データを通信信号、すなわち、現在使用中である通信サービスの信号と一緒に送信する（Ｓ３）。また、本発明では、通信システムの多様化に適合するように、生成された感情データを、現在の通信サービスの信号と一緒に送信される信号フォーマットに変更する過程を追加できるが、これは選択的な過程である。

現在、送信側移動端末機が音声通信サービスを使用している場合、その送信側移動端末機は、感情データを音声通信のための音声信号と一緒に送信する。特に、送信側移動端末機は、生成された感情データを、音声信号を伝送するために割り当てられた通話チャネルを通して送信するか、または、音声通信を制御するために割り当てられた制御チャネルを通して送信する。このようなチャネルの使用は、通信システムのチャネル使用方式によって多様に変更することができる。一方、送信側移動端末機が感情データを音声信号と一緒に送る方式の一例として、感情データを音声信号にコーディングして該当のチャネルを通して送信する。

その他に、現在、送信側移動端末機が画像通信サービスを使用している場合、感情データを画像通信のための画像信号と一緒に送信する。また、現在、送信側移動端末機が短文メッセージサービスを使用している場合、感情データを文字伝送のための短文メッセージ信号と一緒に送信する。また、現在、送信側移動端末機がパケット通信サービスを使用している場合、感情データをパケット信号と一緒に送信する。一方、感情データは、現在、送信側移動端末機と受信側移動端末機とが使用している通信サービスによって多様な形態で送信される。

図４は、本発明に係る受信側移動端末機を用いた感情表出手順を示したフローチャートである。

図４に示すように、両者間の通信中である受信側移動端末機は、受信された信号から送信者の感情データを所定周期に抽出する（Ｓ１０）。これは、両者間の通信中に送信者の現在の感情を表出するために行われる。

次いで、受信側移動端末機は、抽出された感情データを多様な手段（ディスプレイウィンドーおよび／またはスピーカー）を通して表出する（Ｓ２０）。このとき、表出される感情データは、送信者の現在の感情を表すイメージ、テキストおよび音声のうちいずれか一つの形態を有するか、または、送信者の現在の感情を表すイメージ、テキストおよび音声の少なくとも一つ以上の組合わせ形態を有する。

以下、感情データの表出形態を詳しく説明する。

１．イメージ−人の感情による顔表情（怒った顔、笑う顔、普通の顔など）を表す停止映像および／または動映像。

２．テキスト−人の感情状態（怒る、楽しい、普通など）や嘘探知結果を表す文句（“今、嘘をついている”、“今、真実を言っている”などの真実性を表示する文句）。

３．音声−人の感情状態や嘘探知結果を表現した声（合成音）。

その他の例として、人の感情を一般化して多様な感情状態に該当する統計的数値と、多様な感情状態に対応する出力データと、を含むルック−アップテーブルを移動端末機に備えて使用する場合、受信側移動端末機は、抽出された感情データの値と予め備わったルック−アップテーブルの統計的数値とを比較して検索し、その比較結果に相応する値を検索して該当する感情状態を把握し、その該当する感情状態に対応する出力データを表出する。このとき、出力データは、前述した感情データの表出形態に該当する。

なお、当業者であれば、本発明の技術思想から逸脱しない範囲で、多様な変更および修正が可能である。

したがって、本発明の技術的範囲は、実施形態に記載された内容に限定されるものではなく、特許請求の範囲によって定められるべきである。

以上のように、本発明の好ましい実施形態を用いて本発明を例示してきたが、本発明は、この実施形態に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。

音声、画像、文字およびテキストなどを送受信するだけでなく、使用者の感情状態もリアルタイムで伝達できる移動端末機使用者の感情伝達および表出方法、並びにその通信システムを提供する。

移動端末機使用者の生体情報を収集する段階と；前記生体情報を用いて、前記移動端末機使用者の感情を表す感情データを生成する段階と；前記生成された感情データを前記通信信号を通して送信する段階と；を含んで移動端末機使用者の感情伝達および表出方法を構成する。

本発明に係る送信側移動端末機の内部構成を示したブロック図である。 本発明に係る受信側移動端末機の内部構成を示したブロック図である。 本発明に係る送信側移動端末機を用いた感情収集、挿入および伝達手順を示したフローチャートである。 本発明に係る受信側移動端末機を用いた感情表出手順を示したフローチャートである。

符号の説明

１０ 第１のブロック
１１ 生理状態収集部
１２ バイオリズム生成部
２０ 第２のブロック
３０ 第３のブロック

Claims (40)

1. 移動端末機使用者の生体情報を収集する段階と；
   前記生体情報を用いて、前記移動端末機使用者の感情を表す感情データを生成する段階と；
   前記生成された感情データを前記通信信号を通して送信する段階と；を含んで構成されることを特徴とする移動端末機使用者の感情伝達および表出方法。
2. 前記送信された通信信号から前記感情データを抽出する段階をさらに含んで構成されることを特徴とする請求項１記載の移動端末機使用者の感情伝達および表出方法。
3. 前記抽出された感情データに該当する前記移動端末機使用者の感情を表出する段階をさらに含んで構成されることを特徴とする請求項２記載の移動端末機使用者の感情伝達および表出方法。
4. 前記移動端末機使用者の感情は、イメージ、テキストおよび音声のうち少なくとも一つで表すことを特徴とする請求項３記載の移動端末機使用者の感情伝達および表出方法。
5. 前記イメージは、人の感情による顔表情を表す停止映像および動映像のうちいずれか一つであることを特徴とする請求項４記載の移動端末機使用者の感情伝達および表出方法。
6. 前記テキストは、人の感情および嘘探知結果のうち少なくとも一つ以上を表す文句であることを特徴とする請求項４記載の移動端末機使用者の感情伝達および表出方法。
7. 前記音声は、人の感情および嘘探知結果のうち少なくとも一つ以上を表す合成音であることを特徴とする請求項４記載の移動端末機使用者の感情伝達および表出方法。
8. 前記感情データは、前記移動端末機使用者の感情を表す統計的数値であることを特徴とする請求項１記載の移動端末機使用者の感情伝達および表出方法。
9. 他の移動端末機が前記送信された通信信号を受信する段階と、
   前記他の移動端末機が前記受信された通信信号から前記感情データを抽出する段階と、
   前記抽出された感情データを予め備わったルック-アップテーブル(look-up table)の感情別表出データと比較する段階と、
   前記比較結果に基づき、前記抽出された感情データに該当する前記ルック-アップテーブルの表出データを出力する段階と、をさらに含んで構成されることを特徴とする請求項１記載の移動端末機使用者の感情伝達および表出方法。
10. 前記ルック-アップテーブルの表出データは、前記移動端末機使用者の感情を表すイメージ、テキストおよび音声のうち一つにより構成されることを特徴とする請求項９記載の移動端末機使用者の感情伝達および表出方法。
11. 前記イメージは、人の感情による顔表情を表す停止映像および動映像のうちいずれか一つであることを特徴とする請求項１０記載の移動端末機使用者の感情伝達および表出方法。
12. 前記テキストは、人の感情および嘘探知結果のうち少なくとも一つ以上を表す文句であることを特徴とする請求項１０記載の移動端末機使用者の感情伝達および表出方法。
13. 前記音声は、人の感情および嘘探知結果のうち少なくとも一つ以上を表す合成音であることを特徴とする請求項１０記載の移動端末機使用者の感情伝達および表出方法。
14. 前記生体情報は、前記移動端末機使用者の通信時の生理的情報およびバイオリズム情報のうち少なくとも一つ以上を含むことを特徴とする請求項１記載の移動端末機使用者の感情伝達および表出方法。
15. 前記生理的情報は、前記移動端末機使用者の自律神経系作用に関する情報であることを特徴とする請求項１４記載の移動端末機使用者の感情伝達および表出方法。
16. 前記生理的情報は、前記移動端末機使用者の移動端末機から測定された前記移動端末機使用者の体温、呼吸波、脈拍波、皮膚電気反射程度、血圧波および血流波のうち少なくとも一つ以上を含むことを特徴とする請求項１４記載の移動端末機使用者の感情伝達および表出方法。
17. 前記通信信号は、音声通信のための音声信号であることを特徴とする請求項１記載の移動端末機使用者の感情伝達および表出方法。
18. 前記感情データは、前記音声信号を伝送するために割り当てられた通話チャネルを通して送信することを特徴とする請求項１７記載の移動端末機使用者の感情伝達および表出方法。
19. 前記感情データは、前記音声信号にコーディングすることを特徴とする請求項１８記載の移動端末機使用者の感情伝達および表出方法。
20. 前記感情データは、前記音声通信を制御するために割り当てられた制御チャネルを通して送信することを特徴とする請求項１７記載の移動端末機使用者の感情伝達および表出方法。
21. 前記通信信号は、画像通信のための画像信号、文字伝送のための短文メッセージ信号およびパケット通信のためのパケット信号のうちいずれか一つであることを特徴とする請求項１記載の移動端末機使用者の感情伝達および表出方法。
22. 前記送信された感情データを他の移動端末機が受信する段階と、
    前記他の移動端末機が前記受信された感情データに基づいて前記移動端末機使用者の感情を表出する段階と、をさらに含んで構成されることを特徴とする請求項１記載の移動端末機使用者の感情伝達および表出方法。
23. 前記生体情報は、両者間の通信中に収集されることを特徴とする請求項１記載の移動端末機使用者の感情伝達および表出方法。
24. 両者間の通信中である移動端末機使用者の少なくとも一つの生体情報を収集する第１のブロックと、前記少なくとも一つの生体情報を用いて、前記移動端末機使用者の感情を表す感情データを生成する第２のブロックと、前記感情データを通信信号と一緒に送信する第３のブロックと、から構成される送信側移動端末機と；
    前記送信側移動端末機から受信される通信信号から前記感情データを抽出する第４のブロックと、前記抽出された感情データに該当する感情を表出する第５のブロックと、から構成される受信側移動端末機と；を含んで構成されることを特徴とする感情伝達のための通信システム。
25. 前記第１のブロックは、前記移動端末機使用者の生理的情報を抽出する生理状態収集部と、前記移動端末機使用者の予め入力された生年月日に基づいてバイオリズムを計算するバイオリズム生成部と、を含んで構成されることを特徴とする請求項２４記載の感情伝達のための通信システム。
26. 前記生理状態収集部は、前記移動端末機使用者の自律神経系作用を測定する手段を少なくとも一つ以上備えることを特徴とする請求項２５記載の感情伝達のための通信システム。
27. 前記生理状態収集部は、前記移動端末機使用者の体温を測定する第１の手段と、前記移動端末機使用者の呼吸波を測定する第２の手段と、前記移動端末機使用者の脈拍波を測定する第３の手段と、前記移動端末機使用者の皮膚電気反射程度を測定する第４の手段と、前記移動端末機使用者の血圧波を測定する第５の手段と、前記移動端末機使用者の血流波を測定する第６の手段と、を備えることを特徴とする請求項２５記載の感情伝達のための通信システム。
28. 前記感情データは、前記移動端末機使用者の感情を表す統計的数値であることを特徴とする請求項２４記載の感情伝達のための通信システム。
29. 前記第３のブロックは、前記感情データを前記通信信号にコーディングすることを特徴とする請求項２４記載の感情伝達のための通信システム。
30. 前記通信信号は、音声通信のための音声信号であることを特徴とする請求項２４記載の感情伝達のための通信システム。
31. 前記感情データは、前記音声信号を伝送するために割り当てられた通話チャネルを通して送信することを特徴とする請求項３０記載の感情伝達のための通信システム。
32. 前記感情データは、前記音声通信を制御するために割り当てられた制御チャネルを通して送信することを特徴とする請求項３０記載の感情伝達のための通信システム。
33. 前記通信信号は、画像通信のための画像信号、文字伝送のための短文メッセージ信号およびパケット通信のためのパケット信号のうちいずれか一つであることを特徴とする請求項２４記載の感情伝達のための通信システム。
34. 前記受信側移動端末機は、前記抽出された感情データに該当する前記移動端末機使用者の感情を検索するために、人の感情を数値化したルック-アップテーブルをさらに備えることを特徴とする請求項２４記載の感情伝達のための通信システム。
35. 前記受信側移動端末機は、人の多様な感情を統計的数値で予め計算して保存したルック-アップテーブルをさらに備えることを特徴とする請求項２４記載の感情伝達のための通信システム。
36. 前記第５のブロックは、前記第４のブロックから抽出された感情データの値を前記ルック-アップテーブルで比較・検索し、その比較検索結果に相応する感情を出力することを特徴とする請求項３５記載の感情伝達のための通信システム。
37. 前記第５のブロックは、前記感情を、イメージ、テキストおよび音声のうち少なくとも一つ以上を組み合わせた形態で出力することを特徴とする請求項２４記載の感情伝達のための通信システム。
38. 前記イメージは、人の感情による顔表情を表す停止映像および動映像のうちいずれか一つであることを特徴とする請求項３７記載の感情伝達のための通信システム。
39. 前記テキストは、人の感情および嘘探知結果のうち少なくとも一つ以上を表す文句であることを特徴とする請求項３７記載の感情伝達のための通信システム。
40. 前記音声は、人の感情および嘘探知結果のうち少なくとも一つ以上を表す合成音であることを特徴とする請求項３７記載の感情伝達のための通信システム。

Images