JP2006136742A

JP2006136742A - 通信装置

Info

Publication number: JP2006136742A
Application number: JP2006008018A
Authority: JP
Inventors: Masaki Hamamoto; 将樹濱本; Yoshiji Oota; 佳似太田; Keita Hara; 圭太原; Kenji Ota; 賢司太田
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2006-01-16
Filing date: 2006-01-16
Publication date: 2006-06-01

Abstract

【課題】送信側と受信側との間の通信を円滑化する。
【解決手段】伝達情報を受信する受信部と、伝達情報をもとに送信者の心理や生理状態を推定する推定部と、Ｘ軸およびＹ軸によって４つの象限に区切られ、４つの象限と喜怒哀楽とがそれぞれ対応付けられた平面上にマーク３４を表示することにより推定部の推定結果を表示する表示部とを有している。
【選択図】図１７

Description

本発明は、送信側と受信側との間での情報の通信を円滑化できる通信装置に関するものである。

従来の携帯電話、ファクシミリ等の通信装置においては、送受信される情報は、音声情報、文字情報、画像情報、ソフトウエア情報の４種類のデータが主流である。その状況は、どのような通信インフラストラクチャー、例えばインターネットにおいても変わらなかった。そして、送信された情報を忠実に再現することに重点が置かれていた。

しかしながら、以上のような従来技術では、送受信される情報が、音声情報、文字情報、画像情報、ソフトウエア情報などの意図的な情報に限られていた上に、受信側で、情報を忠実に再現することしかしていないため、送信側の意図を超えた価値を、通信した情報から受信側が引き出せないでいた。

そこで、心電信号などの生体情報を音声信号と共に送信できる医療用通信装置が、特開平５−２２８１１７号に開示されている。また、体温などの体感情報を音声信号と共に送信して、受信側にて上記体感情報を復元する情報通信電話装置が、特開平１−１６２０６９号公報に開示されている。

ところが、以上のような各従来公報の技術では、生体情報や体感情報を、そのまま再現または復元しているだけであるため、上記生体情報や体感情報から送信側の感情や周囲の環境状態を把握することが困難で手間取り、送信側と受信側との間での通信（コミュニケーション）に支障が生じることがあるという問題を有している。

また、上記各従来公報では、送信側の感情変化や周囲の環境状態を、送信側が把握することについて何ら考慮しておらず、送信側においても、送信側と受信側との間での通信（コミュニケーション）に支障が生じることがあるという問題を有している。

そこで、本発明の目的は、音声情報も含めて送信側が意図して送った情報や、送信側の通信装置に具備された計測部によって観測された情報などから得られる生体情報（バイタルサイン情報）及び環境の物理情報、さらには、受信側で既に登録された送信側もしくは受信側についての情報などを考慮して、そこから、送信側の気分や感情（喜怒哀楽）、健康状態、周囲で起きている状況などの心理、生理状態あるいは、周辺環境の物理状態を、積極的に算出、推定し、数値や、図、絵など、あるいは、それらと送信側の画像を重ねあわせたものなどを受信側に対し（もしくは送信側にも）、例えば表示により示して、より的確に通信できる通信装置および通信方法を提供することである。

本発明の通信装置は、以上の課題を解決するために、送信者から受信者への伝達情報を音声出力する通話装置であって、上記伝達情報を受信する受信部と、上記伝達情報をもとに送信者の心理や生理状態を推定する推定部と、２次元の座標軸によって４つの象限に区切られ、当該４つの象限と４種類の感情とがそれぞれ対応付けられた平面上にマークを表示することにより上記推定部の推定結果を表示する表示部とを有していることを特徴としている。

また、上記通信装置は、上記マークの表示を約０．１秒の間隔で更新することが好ましい。

本発明の通信装置は、以上のように、伝達情報を受信する受信部と、上記伝達情報をもとに送信者の心理や生理状態を推定する推定部と、２次元の座標軸によって４つの象限に区切られ、当該４つの象限と４種類の感情とがそれぞれ対応付けられた平面上にマークを表示することにより上記推定部の推定結果を表示する表示部とを有している構成である。

それゆえ、送信側の気分や感情、健康状態などを、受信側においてより分かり易くなるので、送信側と受信側との間の通信をより円滑化できるという効果を奏する。

本発明の実施の各形態について図１ないし図１８に基づいて説明すれば、以下の通りである。上記通信装置では、図１に示すように、音声情報や画像情報といった伝達情報を含む通信情報１２が入力され、上記通信情報１２を送信する送信部１１、送信された通信情報１２を受信して出力する受信部１３および上記通信情報から操作者の状態を示す生体情報や周囲環境の物理情報を抽出・推定して、推定量として出力する推定部としての生体情報（環境の物理情報）処理部１４が設けられている。

送信側の送信部１１より送られた通信情報１２は、受信側の受信部１３で受け取られて、通信情報１２に含まれる例えば音声情報や画像情報などの伝達情報を受信側の操作者に対し出力すると共に、生体情報（環境の物理情報）処理部１４で処理されて、上記通信情報１２に基づき、送信側の操作者の心理や生理状態を抽出し推定して受信側の操作者に対し出力するためのものである。

本発明の通信装置では、従来の通信装置に見られるデコーダのようなデコード処理（伝達情報を送信前の元の形に戻す）だけを行うのではなく、通信情報１２から、送信側の操作者の心理や生理状態、もしくは、送信側における周辺環境の物理状態を推定する点が特徴点である。このために、送信側の操作者の心理や生理状態、もしくは、送信側における周辺環境の物理状態を推定するための生体情報や物理情報を計測するための計測部１０が必要に応じて設けられている。このような計測部１０については、以下に、それぞれ詳述する。

図１に示した通信装置に対し、双方向性を付与した他の実施の形態を図２に示す。本発明の機能を現行の携帯電話に付与した場合、例えば図２に示すように、ケース等の通信装置本体１５内に、受信部１３、生体情報（環境の物理情報）処理部１４および送信部１１と同様な機能を有する送信部４１とを有する構成になる。

次に、通信情報１２を音声情報または画像情報とした場合の、さらに他の実施の形態を図３に示す。例えば現行の携帯電話などでは、主として送信される情報が音声情報に限られ、また近い将来の携帯電話でも、そこに加わるのは送信側の画像情報に限られる。このため、携帯電話での応用には、音声情報および画像情報の少なくとも一方に基づき、生体情報（環境の物理状況）処理部１４を用いた推定量の抽出（推定）が簡便である。

その際、音声情報であれば、音声の周波数（高低）、強弱（エネルギー密度）、声紋、抑揚、会話の速さ、興奮度、受け応えのタイミングなどに基づいて、また、画像情報であれば、視線、瞬き、瞳孔の大きさ、唇の動き、口や唇の乾き、顔面の表情や色、体動、姿勢、装置周辺の人の数、明度、天候などに基づいて、そこから、送信側の操作者の気分や感情、健康状態、上記操作者の周囲で起きている状況などを推定することができる。音声情報と画像情報の両方の情報から推定を行えば、さらに効果的である。

より精確な抽出を行うために、音声情報や画像情報だけでなく、様々な情報を計測する、さらに他の実施の形態を図４に示す。計測部１０で測定された電気的な抵抗値や、それに等価な物理量（電圧値、電流値、あるいは電位差など）により示される生体情報や物理情報は、送信部１１から通信情報１２に含めて送信され、受信部１３で受け取り、生体情報（環境の物理状況）処理部１４で、送信側の心理状態や生理状態といった感情等の推定に用いられる。

上記の具体的な例としては、脳波、脳磁図、血圧、心拍数、呼吸数、皮膚抵抗値、発汗量、体温、体表温の分布、通信装置本体１５等の振動、気温、湿度、気圧、風力、風向、明度、空気清浄度、経緯度、高度、音響などがある。

次に、通信が双方向の場合、送信側の通信情報に対する受信側の反応（心理状態や生理状態や物理情報）も明らかな方が、より様々な推定が可能となるため、図４に示すさらに他の実施の形態では、計測部１０と同様な計測部１７およびインターフェース１８が受信側にも具備されている。これらの計測部１０、１７が、どちらか一方だけでもよいのは明らかである。

また、これら計測部１０、１７は、通信装置本体１５における送信側および受信側の少なくとも一方の保持部分（操作者が当接または近接する位置）にセンサを設けることで、より精確に、また、ごく自然な状態で、送信側もしくは受信側の操作者に関する生体情報を計測することが可能になる。

次に、送信側の操作者の心理や生理状態、もしくは、周辺環境の物理状態を推定する上で、通信中に取り込まれた通信情報１２を用いるだけでなく、予め送信側もしくは受信側の既知情報を、受信側に記憶させておく、さらに他の実施の形態を図５に示す。

本実施の形態では、生体情報（環境の物理状況）処理部１４で抽出を行う時に、受信部１３で受け取った通信中の情報のみでなく、記憶部１９に格納された既知情報、例えば、送信側もしくは受信側の電話番号、性別、年齢、相互の社会的関係などを利用するようになっている。また、図示していないが、記憶部１９を送信側に設けて、上記既知情報を通信情報として、発信側から受信側に取り込む形態でもよい。

さらに、それらの受信側、送信側の情報だけでなく、第三者の情報を取り込む、さらに他の実施の形態を図６に示す。本実施の形態では、生体情報（環境の物理情報）処理部１４で、第三者の情報が必要になった場合、第三者への通信要求２０を生体情報（環境の物理情報）処理部１４から出力し、それを受け取った第三者への送受信部２１は、第三者との間にて必要な通信情報２２を入手し、生体情報（環境の物理情報）処理部１４に出力する。この応用としては、大容量のデータベースになっているサーバヘのアクセスや、インターネットをはじめとするネットワークを介した情報収集などが挙げられる。

続いて、通信結果を通信者ごとに記憶しておき、それ以降の通信における生体情報（環境の物理情報）処理に利用するさらに他の実施の形態を図７に示す。本実施の形態では、生体情報（環境の物理情報）処理部１４の結果を、処理内容のフィードバック２３として、通信者ごとの記憶部２４へ格納しておく。これによって処理に必要な情報の更新、処理アルゴリズムの学習を行う。

次に、処理された内容を受信側で、より理解し易くするため、図８に示すように、表示部２５を備えたさらに他の実施の形態を以下に示す。本実施の形態では、生体情報（環境の物理情報）処理部１４の処理結果を、表示するための液晶ディスプレイ等の表示部２５が設けられている。図８では、図１に対し、表示部２５を付加した、実施の形態を示したが、図２から図７のいずれと組み合わせてもよいことは明らかである。

表示部２５に表示される推定量としての図やグラフの例を、図９ないし図１４に示す。例えば、送信側の感情等を表示する場合、いくつかのパラメータ（生体情報や物理情報）を用いて表示することにする。図１０を例として説明すると、例えば、縦軸のパラメータ１に「感情の強弱（正方向に強）」、横軸のパラメータ２に「苦楽（正方向に楽）」を取って、第一象限が「喜」、第二象限が「怒」、第三象限が「哀」、第四象限が「楽」とすれば、輝点により表示されたマーク２７が喜怒哀楽およびその程度として感情等を表現して、受信側の操作者が上記感情等を容易に理解できるように設定することが可能となる。

パラメータの取り方によっては、軸の数がもっと多くても（図１１参照）、少なくても（図９参照）、それらの輝点により示される各マーク２６、２８により感情等を表現できるし、図１２のようにグラフ２９で表現したり、図１３のようなレーダーチャート３０にしてもよい。

より分かりやすい例として、顔を描いた絵（イラスト）３１を用いた図１４のような表示も考えられる。図１４に示す絵（イラスト）３１では、例えば、目の形状表示３１ａ、口の形状表示３１ｂ、涙の表示３１ｃ、冷や汗の表示３１ｄ、電灯を点滅させる気づきの表示３１ｅ、雲型の吹き出しの表示による怒りの表示３１ｆ等により、送信側の操作者の感情等を表現できる。それ以外にも、分散図、ドーナツ図、円グラフなど、様々な表現方法を用いることができる。

このような表示において、重要なことは、送信側の心理や生理状態、もしくは、周辺環境の物理状態を示すために、いくつかの特定のパラメータで代表する点にある。

こうした表示を、実際の送信側の画像と並置したり、重ねて表示すれば、受信側が送信側の状況を理解する上で大変有益である。この表示を送信側でも見れるようにした、さらに他の実施の形態を図１５に示す。本実施の形態では、生体情報（環境の物理情報）処理部１４の処理結果を、受信側の表示部２５に出力するだけでなく、送信部４１、受信部４３を介して、送信側の表示部３５にも出力する。送信側は、受信側でどう受け取られているかをモニターできるため、適切なフィードバックも可能となる。

上記表示部３５は、受信側の表示部２５と同様な機能を有するものである。また、各表示部２５、３５には、後述する各スイッチ機能を付与するために、表示画面上にタッチパネル式の透明な入力部が設けられ、表示画面上のアイコン等により、操作者の手を用いた当接による入力や、操作者が操作する入力ペンを接触させることによる入力によって、種々な機能を断接するスイッチといった入力機能が設けられていることが望ましい。

このような表示は、送信側、もしくは、受信側において、不要、もしくは、好ましくないと判断する場合もあり得るため、その許可、不許可を相互に制御できることが好ましい。以上の図３ないし図１５に基づく各実施の形態の各説明については、図１を基本とした図面を用いたが、それらに図２の双方向の構成を適用できることは、明らかである。

以下に、前述の計測部１０について、その計測対象となる各パラメータに応じて説明する。操作者の心理や生理状態を計測するための計測部１０は、例えば操作者の脳の活動状況を検出する脳波、目の瞬きの頻度、皮膚の電気抵抗（以下、皮膚抵抗という）、発汗量、声の抑揚、体動、口の動きや乾き、頭部の動き、瞳孔の大きさ、顔面の表情、心拍数、呼吸数、呼吸状態、体表温からなる群の中から少なくとも一つ選択される項目を生体情報として検出するものである。

例えば脳波を計測して生体情報とすると、以下のようになる。脳波には、４種の代表される周波数帯がある。δ波（０．５〜４Ｈｚ）、θ波（４〜８Ｈｚ）、α波（８〜１４Ｈｚ）、β波（１４〜３０Ｈｚ）の周波数帯である。δ波は、睡眠時に現れる脳波で、θ波は、瞑想時などの深いリラックス状態に現れる脳波で、α波は、くつろいでいる時等のリラックス状態、または記憶する時等の精神集中時のリラックス状態に現れる脳波で、β波は、緊張度が高い時に現れる脳波である。

このような脳波検出の方法としては、例えば、簡易的な手段として前頭部表皮と接するヘッドバンドと、耳表皮（例えば、耳たぶの表皮）に接する耳電極とにより、これらの間の微弱皮膚電位変化を脳波として簡易的に検出する方法が挙げられる。

通信装置の操作者が、自分の心理や生理状態を通信の相手に伝えたい時や自分自身の心理や生理状態を自分で確認しながら、相手とコミュニケーションする時などに、上記の脳波の簡易検出の計測部１０をインターフェース１６に接続することにより、脳波による生体情報を計測し通信装置に通信情報１２に含ませて送信するようになっている。

計測された脳波の生体情報は、受信部１３側にある生体情報（環境の物理情報）処理部１４において、周波数解析され、上述した４種の代表される周波数帯に基本的に分類され、その周波数帯に基づいて、図１０、図１２に示すように、送信側の感情等を表示する。

例えば脳波だけのパラメータで表示した場合には、パラメータは１種だけになるので、一次元の縦軸方向あるいは横軸方向だけの移動量になる。しかし他のもう１種のパラメータと共に多変量の解析に基づくと二次元方向の表示になる。

次に、本実施の形態の変形例について説明する。すなわち、送信側（計測側）でも、送信側の感情等を表示する場合には、送信側にも、生体情報（環境の物理情報）処理部１４と同様な生体情報（環境の物理情報）処理部４４、および受信側の表示部２５と同様な表示部３５を設け、生体情報（環境の物理情報）処理部４４の脳波の周波数解析情報を送信側の表示部３５に送り表示するように設定すればよい。あるいは、送信側の生体情報（環境の物理情報）処理部４４の脳波の周波数解析情報を、受信部１３に送り、受信部１３で受け取った周波数解析情報により受信側の表示部２５に表示してもよい。

この場合、送信側の操作者の脳波による心理や生理状態の表示は、受信側、送信側の双方で可能である。しかし、上記の場合であっても、送信側の送信部１１に、操作者の心理や生理状態情報の送信許可、不許可スイッチ、または受信側の受信部１３に受信許可、不許可スイッチ、または送信側の表示部３５に、操作者の心理や生理状態情報の表示許可、不許可スイッチ、または受信側の表示部２５に、操作者の心理や生理状態情報の表示許可、不許可スイッチを設けることにより、操作者の意向により、操作者の心理や生理状態情報の表示を制限することができる。

あるいは、計測された脳波による生体情報は、そのまま解析、加工されずに送信部１１から送信され、受信した受信部１３から入力された生体情報（環境の物理情報）処理部１４において、周波数解析され、上記の基本的に４種の代表された周波数帯に分類され、その周波数帯に基づいて、表示部２５において図１０、図１２の様な表示をするように設定してもよい。

他の変形例として、送信側で表示する場合に、送信側で測定され、受信側の生体情報（環境の物理情報）処理部１４で処理された脳波の周波数解析情報を送信側に送るように設定してもよい。送信側に送られた、脳波による心理や生理状態の解析情報は、そのまま計測側の表示部３５に送られ、基本的に４種の代表される周波数帯に分類された波数帯に基づいて、図１０、図１２の様な表示をすればよい。

次に、計測部１０において、例えば心拍数を計測して生体情報とすると以下のようになる。心拍数、脈拍は、精神的、心理的状態が安定すると遅くなり、興奮するつまり緊張度が高まると速くなる傾向があるので、心拍数、脈拍の変化は精神的、心理的な活動度を反映するものである。

心拍数、脈拍の測定方法としては、ＬＥＤと受光素子により圧脈波による皮膚表面の変化に基づく、皮膚表面の反射率の変化を利用したもの、あるいは圧力センサを利用し直接圧脈波の変化を測定するもの等の簡易的な検出方法が挙げられる。腕時計型の携帯電話等の通信装置の形態がこれに適している。

通信装置の操作者が、自分の心理や生理状態を通信の相手に伝えたい時や自分自身の心理や生理状態を自分で確認しながら、相手とコミュニケーションする時には、上記の心拍数の簡易検出の計測部１０をインターフェース１６に接続し、心拍数による生体情報を計測し送信部１１に入力して送信し、受信側の表示部２５に表示したり、上記生体情報を送信側の表示部３５に表示したりするように設定すればよい。

例えば、操作者の平均の脈拍数をＰ１００（約６０〜８０回／分）とすると、計測される心拍数が、Ｐ１００近傍の時には、図１０や図１２の表示において、原点あるいは平均値の表示を行い、例えば、脈拍数がＰ１００より多くなると図１０のパラメータ１の表示において、右へ移動し、Ｐ１００より少ない時には、左へ移動する。

パラメータは１種だけになるので、一次元の縦軸方向あるいは横軸方向だけの移動量になる。しかし他のもう１種のパラメータと共に多変量の解析に基づくと、二次元方向の表示になる。

あるいは予め、リラックスと平常、緊張、の座標または象限を決めておく方法が考えられる。例えばＰ１００を中心として、９０％以下をリラックス、９０％より大きく１５０％以下を平常、１５０％以上を緊張と判断する。

この判定基準は、個体差、年齢、後述する気温などの物理情報等によって変更してもよい。平常と判断された場合には、第一象限においてマークを点滅させ、リラックスと判断された場合には、第二象限においてマークを点滅させ、緊張と判断された場合には、第四象限においてマークを点滅させる方法などを用いてもよい。

また「リラックス」、「平常」、「緊張」の文字を表示してもよい。または表示の色や、バックグラウンドの色を変える方法もある。リラックスを青、平常を緑、緊張を黄色、赤などである。

またはバックグランドの音を変える方法などでもよい。またはスピーカから流れる送信および受信される音声を、感情判断の結果により強調または減弱させて出力させることにより、コミュニケーションを強調したり、逆に感情を隠すことができる。

さらに、送信側で上記パラメータを表示する場合には、送信側の生体情報（環境の物理情報）処理部４４から出される脈拍数情報を送信側の表示部３５に送り、表示することになる。あるいは、送信側の生体情報（環境の物理情報）処理部４４の脈拍数情報を、受信部１３に送り、受信部１３で受け取った脈拍数情報により受信側の表示部２５に表示するように設定してもよい。

この場合、送信側の操作者の脈拍数による心理や生理状態の表示は、受信側、送信側の双方で、可能である。上記の場合であっても、脳波の場合と同様に送信側の送信部１１に、操作者の心理や生理状態情報の送信許可、不許可スイッチ、または受信側の受信部１３に受信許可、不許可スイッチ、または送信側の表示部３５に、操作者の心理や生理状態情報の表示許可、不許可スイッチ、または受信側の表示部２５に、操作者の心理や生理状態情報の表示許可、不許可スイッチを設けることにより、操作者の意向により、操作者の心理や生理状態情報の表示を制限することができる。

あるいは、計測された脈拍数による生体情報は、そのまま解析、加工されずに送信部１１から送信され、受信した受信部１３から入力された生体情報（環境の物理情報）処理部１４において、解析され、上記の基本的に３種の代表される心理状態に分類され、その結果に基づき、表示部２５において図１０、図１２の様な表示をするように設定してもよい。

他の変形例として、送信側で表示する場合には、送信側で測定され、受信側の生体情報（環境の物理情報）処理部１４で処理された脈拍数の解析情報を送信側に送ることになる。送信側に送られた、脈拍数による心理や生理状態の解析情報は、そのまま送信側の表示部３５に送られ、基本的に３種の代表される心理状態に分類され、図１０、図１２の様な表示をするように設定してもよい。

次に、計測部１０において、例えば体表温を計測して生体情報とすると、以下のようになる。体表温は、精神的、心理的に安定な状態ほど末梢血管が拡張し、動脈血が流入するため体表面の温度は上昇するが、緊張度が高まると、末梢血管が収縮するため体表面への動脈血の流入が少なくなり体温が低下する傾向がある。この体表温の検出は、サーミスタ等の温度センサにより容易に検出することができる。イヤホンタイプでない手で保持する形の携帯電話等の通信装置の形態がこれに適している。サーミスタ等の温度センサは、操作者が手で保持する通信装置本体１５の部分に計測部１０として装着されていることが好ましい。

通信装置の操作者が、自分の心理や生理状態を通信の相手に伝えたい時や自分自身の心理や生理状態を自分で確認しながら、相手とコミュニケーションする時などにおいて、上記の手の体表温の簡易検出の計測部１０をオンにし、インターフェース１６を通して、手の体表温による生体情報を計測し送信部１１に対し入力し、前述したように、受信側の表示部２５や送信側の表示部３５にて表示するように設定すればよい。

例えば、操作者の平均の手の体表温をＳ１００（約３１．１℃）とすると、計測される体表温が、Ｓ１００近傍の時には、図１０や図１２の表示において、原点あるいは平均値の表示を行い、例えば、体表温がＳ１００より高くなると図１０のパラメータ１の表示において、右へ移動し、Ｓ１００より低い時には、左へ移動する。

あるいは予め、リラックスと平常、緊張、の座標または象限を決めておく方法が考えられる。例えばＳ１００を中心として、＋０．２〜＋０．４℃をリラックス、−０．１℃〜＋０．１℃を平常、−０．２〜−０．４℃を緊張と判断する。または単に電話等で通話している間に、通話開始時点の手の体表温を基準として０．１℃以上上昇すればリラックス、０．１℃以上下降すれば緊張、それ以外を通常と判断する方法を用いてもよい。この判定基準は、個体差、年齢等によって変更してもよい。

また手の体表温は環境温度によっても多少影響するので、体に接しない部分に別途サーミスタの計測部１０を設け、環境温度を計測し、その値により、上記の手の体表温の値に補正をかけてもよい。平常と判断された場合には、第一象限においてマークを点滅させ、リラックスと判断された場合には、第二象限においてマークを点滅させ、緊張と判断された場合には、第四象限においてマークを点滅させる方法等を用いてもよい。

または「リラックス」、「平常」、「緊張」の文字を表示してもよい。または表示の色を変える方法もある。リラックスを青、平常を緑、緊張を黄色、赤などである。またはバックグランドの音を変える方法なども考えられる。

またはスピーカから流れる送信および受信される音声を、感情判断の結果により強調または減弱させて出力させることにより、コミュニケーションを強調したり、逆に感情を隠すことができる。

さらに、他の変形例として、送信側で表示する場合に、送信側の生体情報（環境の物理情報）処理部４４から出される体表温情報を送信側の表示部３５に送るように設定してもよい。あるいは、送信側の生体情報（環境の物理情報）処理部４４の体表温情報を、受信部１３に送り、受信部１３で受け取った体表温情報により受信側の表示部２５に表示するように設定してもよい。この場合、送信側の操作者の体表温による心理や生理状態の表示は、受信側、送信側の双方で可能である。

上記の場合であっても、送信側の送信部１１に、操作者の心理や生理状態情報の送信許可、不許可スイッチ、または受信側の受信部１３に受信許可、不許可スイッチ、または送信側の表示部３５に、操作者の心理や生理状態情報の表示許可、不許可スイッチ、または受信側の表示部２５に、操作者の心理や生理状態情報の表示許可、不許可スイッチを設けることにより、操作者の意向により、操作者の心理や生理状態情報の表示を制限することができる。

あるいは、計測された体表温による生体情報は、そのまま解析、加工されずに送信部１１から送信され、受信した受信部１３から入力された生体情報（環境の物理情報）処理部１４において、解析され、上記の基本的に３種の代表される心理状態に分類され、その結果に基づいて、表示部２５において図１０、図１２の様な表示をするように設定してもよい。

他の変形例として、送信側で表示する場合には、送信側で測定され、受信側の生体情報（環境の物理情報）処理部１４で処理された体表温の解析情報を送信側に送り、送信側に送られた、体表温による心理や生理状態の解析情報を、そのまま送信側の表示部３５に送り、基本的に３種の代表される心理状態に分類して、図１０、図１２の様な表示をするように設定してもよい。

次に、計測部１０において、例えば、目の瞬きを計測した結果を生体情報とすると、以下のようになる。瞬きは、緊張度、興味など精神（心理）活動を反映する。瞬きは外に注意を向けた時には少なくなり、内に向けた時には多くなるものである。すなわち、見ている対象が面白いとか、注意を引くとき場合には瞬きは抑制され、逆にその状態から解放されるとリバウンドで一時的に増大する傾向にある。

言い換えると、瞬きは、観察している対象が面白いとか、あるいは注意を引く場合には瞬きは抑制され、そのような状態から解放されると今度は逆に発生頻度が一時的に増大する傾向がある。したがって、瞬きの発生頻度も他覚的評価指標（パラメータ）として利用することが可能である。

瞬きの動きは、ＣＣＤあるいはＣＭＯＳイメージセンサによる画像のエッジの動き検出により容易に検出できる。ＣＣＤあるいはＣＭＯＳイメージセンサを備えた携帯電話、テレビ電話、カメラ付きのＰＤＡ通信装置の形態がこれに適している。イヤホンタイプの携帯電話等の通信装置の形態がこれに適している。

ＣＣＤあるいはＣＭＯＳイメージセンサは、その画像が顔全体または少なくとも目の周辺が映し出せる、通信装置本体１５の位置に計測部１０として装着されていることが好ましい。

通信装置の操作者が、自分の心理や生理状態を通信の相手に伝えたい時や自分自身の心理や生理状態を自分で確認しながら、相手とコミュニケーションする時には、上記の目の瞬きの簡易検出の計測部１０をオンにし、インターフェース１６を通して、瞬きによる生体情報を計測し送信部１１に入力して、受信側の表示部２５や、送信側の表示部３５にて表示するように設定すればよい。

例えば、操作者の平均の瞬き数をＭ１００（４５回／分）とすると、計測される瞬き数が、Ｍ１００近傍の時には、図１０や図１２の表示において、原点あるいは平均値の表示を行い、例えば、瞬き数がＭ１００より多くなると図１０のパラメータ１の表示において、右へ移動し、Ｍ１００より少ない時には、左へ移動する。パラメータは１種だけになるので、一次元の縦軸方向あるいは横軸方向だけの移動量になる。しかし他のもう１種のパラメータと共に多変量の解析に基づくと、二次元方向の表示になる。

あるいは予め、リラックスと平常、緊張や興味、の座標または象限を決めておく方法が考えられる。例えばＭ１００を中心として、Ｍ１００の１／３ぐらい（毎分１０数回）程度になると緊張や興味とし、急に増加傾向（６０を越える、あるいは４５回／分の増加）を示した場合は緊張から解放されたリラックス、それ以外を平常と判断する。この判定基準は、個体差、年齢等によって変更してもよい。

平常と判断された場合には、第一象限においてマークを点滅させ、リラックスと判断された場合には、第二象限においてマークを点滅させ、緊張や興味や集中と判断された場合には、第四象限においてマークを点滅させる方法等が考えられる。

または「リラックス」、「平常」、「緊張や興味」の文字を表示してもよい。または表示の色を変える方法もある。リラックスを青、平常を緑、緊張・集中を赤などである。またはバックグランドの音を変える方法なども考えられる。またはスピーカから流れる送信および受信される音声を、感情判断の結果により強調または減弱させて出力させることにより、コミュニケーションを強調したり、逆に感情を隠すことができる。

さらに、他の変形例として、送信側で表示する場合には、送信側の生体情報（環境の物理情報）処理部４４から出される瞬き回数情報を送信側の表示部３５に送るように設定してもよい。あるいは、送信側の生体情報（環境の物理情報）処理部４４の瞬き数情報を、受信部１３に送り、受信部１３で受け取った瞬き数情報により受信側の表示部２５に表示するように設定してもよい。この場合、送信側の操作者の瞬き数による心理や生理状態の表示は、受信側、送信側の双方で、可能である。

あるいは、計測された瞬き数による生体情報は、そのまま解析、加工されずに送信部１１から送信され、受信した受信部１３から入力された生体情報（環境の物理情報）処理部１４において、解析され、上記の基本的に３種の代表される心理状態に分類され、その結果に基づいて、表示部２５において図１０、図１２の様な表示をするようにしてもよい。

他の変形例として、送信側で表示する場合には、送信側で測定され、受信側の生体情報（環境の物理情報）処理部１４で処理された瞬き数の解析情報を送信側に送るように設定してもよい。送信側に送られた、瞬き数による心理や生理状態の解析情報は、そのまま送信側の表示部３５に送られ、基本的に３種の代表される心理状態に分類され、図１０、図１２の様な表示をするようにしてもよい。

次に、計測部１０において、例えば瞳孔反応を計測する生体情報とすると、以下のようになる。瞳孔は、対光反射や近見反射などを生じるが、精神（心理）活動に伴う反射によっても変動するものである。瞳孔反応は、興味など精神（心理）活動を反映し、興味があり緊張度が高い場合には、瞳孔面積の相対的な増加率は高く、散瞳する。興味がなく緊張度が低い場合には、縮瞳する。

瞳孔の動きは、ＣＣＤあるいはＣＭＯＳイメージセンサによる画像のエッジの動き検出により容易に検出できる。ＣＣＤあるいはＣＭＯＳイメージセンサを備えた携帯電話、テレビ電話、カメラ付きのＰＤＡ通信装置の形態がこれに適している。特に、イヤホンタイプの携帯電話等の通信装置の形態がこれに適している。

ＣＣＤあるいはＣＭＯＳイメージセンサは、その画像が目全体または瞳孔の大きさが映し出せる通信装置本体１５の位置に計測部１０として装着されていることが望ましい。通信装置の操作者が、自分の心理や生理状態を通信の相手に伝えたい時や自分自身の心理や生理状態を自分で確認しながら、相手とコミュニケーションする時には、上記の瞳孔の大きさの簡易検出の計測部１０をオンにし、インターフェース１６を通して、瞳孔の大きさによる生体情報を計測し通信装置に入力する。

例えば、操作者の平均の瞳孔の大きさをＤ１００（増加率０）とすると、計測される瞳孔の大きさが、Ｄ１００近傍の時には、図１０や図１２の表示において、原点あるいは平均値の表示を行い、例えば、瞳孔の大きさがＤ１００より大きくなると図１０のパラメータ１の表示において、右へ移動し、瞳孔の大きさがＤ１００より小さい時には、左へ移動する。パラメータは１種だけになるので、一次元の縦軸方向あるいは横軸方向だけの移動量になる。しかし他のパラメータと共に多変量の解析に基づくと、多次元方向の表示になる。

あるいは予め、興味と平常、興味なしまたは嫌悪の座標または象限を決めておく方法が考えられる。例えばＤ１００（増加率０）を中心として、Ｄ１００に対して１０％以上３０％以下にて、瞳孔の大きさが大きく、つまり散瞳した場合には、興味を示したとし、Ｄ１００に対して１０％以上２０％以下にて、瞳孔の大きさが小さく、つまり縮瞳した場合には、興味なし、あるいは嫌悪、それ以外を平常と判断する。

この判定基準は、個体差、年齢、性別等によって変更してもよい。平常と判断された場合には、第一象限においてマークを点滅させ、興味と判断された場合には、第二象限においてマークを点滅させ、興味ないまたは嫌悪と判断された場合には、第四象限においてマークを点滅させる方法等が考えられる。

または「興味」、「平常」、「興味なしや嫌悪」の文字を表示してもよい。または表示の色を変える方法もある。興味を青、平常を緑、興味なしや嫌悪を赤などである。またはバックグランドの音を変える方法なども考えられる。またはスピーカから流れる送信および受信される音声を、感情判断の結果により強調または減弱させて出力させることにより、コミュニケーションを強調したり、逆に感情を隠すことができる。

本実施の形態の変形例として、送信側で表示する場合には、送信側の生体情報（環境の物理情報）処理部４４から出される瞳孔の大きさの変化率情報を送信側の表示部３５に送り表示するように設定してもよい。あるいは、送信側の生体情報（環境の物理情報）処理部４４の瞳孔の大きさの変化率情報を、受信部１３に送り、受信部１３で受け取った瞳孔の大きさの変化率情報により受信側の表示部２５に表示するようにしてもよい。この場合、送信側の操作者の瞳孔の大きさの変化率による心理や生理状態の表示は、受信側、送信側の双方にて可能である。

あるいは、計測された瞳孔の大きさの生体情報は、そのまま解析、加工されずに送信部１１から送信され、受信した受信部１３から入力された生体情報（環境の物理情報）処理部１４において、解析され、上記の基本的に３種の代表される心理状態に分類され、その結果に基づいて、表示部２５において図１０、図１２の様な表示をするようにしてもよい。

他の変形例として、送信側で表示する場合には、送信側で測定され、受信側の生体情報（環境の物理情報）処理部１４で処理された瞳孔の大きさの変化率の解析情報を送信側に送り、送信側に送られた、瞳孔の大きさの変化率による心理や生理状態の解析情報を、そのまま送信側の表示部３５に送られ、基本的に３種の代表される心理状態に分類され、図１０、図１２の様な表示をするようにしてもよい。

次に、計測部１０において、例えば皮膚抵抗を、計測する生体情報とすると、以下のようになる。皮膚抵抗は心理的安定状態で抵抗が増加し、ストレスを受けるような精神（心理）的に緊張度が高い、あるいは興奮時には抵抗が減少するものである。

皮膚抵抗の電気的な測定方法としては、１）電位法、２）直流による通電法（単純回路、wheastone bridge回路、補償法回路、蓄電気式回路）、３）交流による通電法（wheastone bridge回路）等を挙げることができる。

イヤホンタイプでない手で保持する形の電話等の通信装置の形態がこれに適している。操作者が手で把持（保持）する部分の通信装置本体１５に対し皮膚抵抗の計測部１０として装着されていることが好ましい。

通信装置の操作者が、自分の心理や生理状態を通信の相手に伝えたい時や自分自身の心理や生理状態を自分で確認しながら、相手とコミュニケーションする時には、上記の手の皮膚抵抗を検出する計測部１０をオンし、インターフェース１６を通して、手の皮膚抵抗による生体情報を計測し送信部１１に対し入力して、前述と同様に表示するように設定すればよい。

例えば、操作者の平均の手の皮膚抵抗をＲ１００（約１５，０００Ω／ｃｍ2
）とすると、計測される皮膚抵抗が、Ｒ１００近傍の時には、図１０や図１２の表示において、原点あるいは平均値の表示を行い、例えば、皮膚抵抗がＲ１００より大きくなると図１０のパラメータ１の表示において、左へ移動し、Ｒ１００より低い時には、右へ移動するように表示する。パラメータは１種だけになるので、一次元の縦軸方向あるいは横軸方向だけの移動量になる。しかし他のパラメータと共に多変量の解析に基づくと、多次元方向の表示になる。

あるいは予め、リラックスと平常、興奮あるいは緊張、の座標または象限を決めておく方法が考えられる。例えばＳ１００を中心として、５倍〜２０倍をリラックス、１／５〜１／２０を興奮あるいは緊張、その他を平常と判断する。

または単に電話等で通話している間に、通話開始時点の手の皮膚抵抗を基準として数秒の間に急に、減少し、一時的なものを興奮と判断する。これは興奮や緊張による発汗が原因であると考えられる。

この判定基準は、個体差、年齢等によって変更してもよい。また手の体表温は環境温度によっても多少影響するので、体に接しない部分に別途サーミスタの計測部を設け、環境温度を計測し、その値により、上記の体表温の値に対し補正をかけてもよい。

平常と判断された場合には、第一象限においてマークを点滅させ、リラックスと判断された場合には、第二象限においてマークを点滅させ、緊張や興奮と判断された場合には、第四象限においてマークを点滅させる方法等が考えられる。

または「リラックス」、「平常」、「緊張や興奮」の文字を表示してもよい。または表示の色を変える方法もある。リラックスを青、平常を緑、緊張を黄色、赤などである。またはバックグランドの音を変える方法なども考えられる。またはスピーカから流れる送信および受信される音声を、感情判断の結果により強調または減弱させて出力させることにより、コミュニケーションを強調したり、逆に感情を隠すことができる。

変形例として、送信側で表示する場合には、送信側の生体情報（環境の物理情報）処理部４４から出される皮膚抵抗の大きさの情報を送信側の表示部３５に送り表示すればよい。あるいは、送信側の生体情報（環境の物理情報）処理部４４の皮膚抵抗の大きさの情報を、受信部１３に送り、受信部１３で受け取った皮膚抵抗の大きさの情報により受信側の表示部２５に表示するようにしてもよい。

この場合、送信側の操作者の皮膚抵抗の大きさや変化率による心理や生理状態の表示は、受信側、送信側の双方にて可能である。上記の場合であっても、送信側の送信部１１に、操作者の心理や生理状態情報の送信許可、不許可スイッチ、または受信側の受信部１３に受信許可、不許可スイッチ、または送信側の表示部３５に、操作者の心理や生理状態情報の表示許可、不許可スイッチ、または受信側の表示部２５に、操作者の心理や生理状態情報の表示許可、不許可スイッチを設けることにより、操作者の意向により、操作者の心理や生理状態情報の表示を制限することができる。

あるいは、計測された皮膚抵抗の大きさの生体情報は、そのまま解析、加工されずに送信部１１から送信され、受信した受信部１３から入力された生体情報（環境の物理情報）処理部１４において、解析され、上記の基本的に３種の代表される心理状態に分類され、その結果に基づいて、表示部２５において図１０、図１２の様な表示をするようにしてもよい。

他の変形例として、送信側で表示する場合には、送信側で測定され、受信側の生体情報（環境の物理情報）処理部１４で処理された皮膚抵抗の大きさや変化率の解析情報を送信側に送り、送信側に送られた、皮膚抵抗の大きさや変化率による心理や生理状態の解析情報を、そのまま送信側の表示部３５に送られ、基本的に３種の代表される心理状態に分類され、図１０、図１２の様な表示をするようにしてもよい。

次に、例えば音声を、計測する生体情報とすると、以下のようになる。ここで、送信側の音声の周波数とパワーから、送信側の感情を、受信側に示す一例を図１６に基づいて詳しく述べる。

まず、送信側の音声情報から、周波数処理部３３にて、音声情報の周波数をサンプリングし、リアルタイムに平均化する。リアルタイムといっても、後述の表示方法から分かるように、０．１秒〜１秒程度の間隔で十分である。同時に、音声情報のパワーもパワー処理部３２でサンプリングして平均値を求める。表示部２５には、周波数の平均値からのズレをＸ軸に、パワーの平均値からのズレをＹ軸とする（図１７）。

Ｘについて、数式で現わすと、以下のようになる。Ｙも同様である。なお、ｎは自然数である。
サンプリング値平均値横軸Ｘの値
fs (1) fm (1)＝fs (1) fs (1)−fm (1)
fs (2) fm (2)＝（fs (1)＋fs (2)）/2 fs (2)−fm (2)
fs (3) fm (3)＝（fs (1)＋…＋fs (3)）/3 fs (3)−fm (3)
・・・
・・・
・・・
fs (n) fm (n)＝（fs (1)＋…＋fs (n)）/n fs (n)−fm (n)
周波数が高い声は明るく、低い声は暗いので、感情の苦楽を表すパラメータとして使える。

また、パワーの大きな声は、強い感情、小さな声は弱い感情を表すと考えられるので、感情の強弱を表すパラメータとして使える。平均周波数からのズレを示すＸ軸、平均パワーからのズレを示すをＹ軸により、第一象限が「喜」、第二象限が「怒」、第三象限が「哀」、第四象限が「楽」として、喜怒哀楽の感情を表現できる。これを表示部２５にリアルタイムで出力して、例えばマーク３４として表示する。

通話中、この座標軸にリアルタイムな送信側のデータを、マーク３４としてポイント表示すれば、受信側はそれを見て、送信側の感情を、より客観的に的確に判断できる。同じ送信側と通話する場合は、過去の通話での平均値も利用することも可能である。この方法では、受信側の端末だけで処理できるため、送信側との整合性などを考慮する必要はなく、現行の携帯電話等へも容易に導入できる。

あるいは、音声のイントネーションや、言葉の強さで、喜び、怒り、おびえの感情を判断してもよい。例えば、会話の語尾が上がる様な場合は、「喜び」、反対に語尾が下がる場合や、低く、強い音声は「怒り」、弱くて周波数の高い音声は「おびえ」と判断する。電話のマイクロフォンを入力部として、音圧、音の周波数、およびその時系列的な変化により生体情報（環境の物理情報）処理部１４が上記の様な判断をする。

上記の例は３種類の感情判断に分けているが、音声の感情によるＶＱ手法（ベクトル量子化）によるデータベースを作成することにより、内積値の最小値を算出することにより、近似的に「驚き」「甘え」「嫌悪」等、他の多くの感情を判断することができる。すべての電話等の通信装置の形態がこれに適している。

通信装置の操作者が、自分の心理や生理状態を通信の相手に伝えたい時や自分自身の心理や生理状態を自分で確認しながら、相手とコミュニケーションする時には、上記の音声感情判断の計測部１０をオンにし、インターフェース１６を通して、音声感情判断による生体情報を計測し送信部１１に入力して、前述のように表示すればよい。

あるいは予め、喜び、怒り、おびえ、驚き、甘え、嫌悪の座標または象限を決めておく方法が考えられる。会話の語尾が上がる様な場合は、「喜び」、反対に語尾が下がる場合や、低く、強い音声は「怒り」、弱くて周波数の高い音声は「おびえ」と判断する。「驚き」「甘え」「嫌悪」の感情は、例えば、音声の感情によるＶＱ手法により判断する。

つまり予め、典型的な、驚き、甘え、嫌悪などの感情の音声についてＶＱによる圧縮データベースをつくり、計測された音声とそれぞれの感情のＶＱの圧縮データベースの内積をとり、最小値を出したデータベースの感情を、計測音声の感情と判断する。この判定基準は、個体差、年齢等によって変更してもよい。

例えば図１１、図１３のパラメータを各々「喜び」「怒り」「おびえ」「驚き」「甘え」「嫌悪」等とすることにより、多次元の感情表示とすることができる。そして各々判断されたパラメータの象限においてマークを点滅させる方法等が考えられる。または「喜び」「怒り」「おびえ」「驚き」「甘え」「嫌悪」等の文字を表示してもよい。

または表示の色を変える方法もある。リラックスを青、平常を緑、緊張を黄色、赤などである。またはバックグランドの音を変える方法なども考えられる。またはスピーカから流れる送信および受信される音声を、感情判断の結果により強調または減弱させて出力させることにより、コミュニケーションを強調したり、逆に感情を隠すことができる。

また別の音声による判定の例として、「喜び」「怒り」「悲しみ」「通常」等の感情を、決められた判定の為のサンプル時間の中の、音声のデータから最高周波数、最低周波数、最高と最低周波数の差、最大振幅、振幅の平均、話し言葉の持続時間の最大、持続時間の分布から判定する方法も考えられる。これらは、上記の感情について、予めデータをサンプルしておき、通常を中心としてそれからのずれとして、各々の感情毎に、特徴量を定量化しておきデータベース化しておく。

その定量データを定量化しておき、先ほどの例と同様に、例えばＶＱによる圧縮データやサンプル音声と上記のデータベースの内積値が最小となる感情を、サンプル音声の感情と決定する方法も考えられる。

変形例として、送信側（送信側）で表示する場合には、送信側の生体情報（環境の物理情報）処理部４４から出される音声感情判断の情報を送信側の表示部３５に送り表示するようにしてもよい。あるいは、送信側の生体情報（環境の物理情報）処理部４４の音声感情判の情報を、受信部１３に送り、受信部１３で受け取った音声感情判断の情報により受信側の表示部２５に表示するようにしてもよい。

この場合、送信側の操作者の音声感情判断による心理や生理状態の表示は、受信側、送信側の双方で、可能である。上記の場合であっても、送信側の送信部１１に、操作者の心理や生理状態情報の送信許可、不許可スイッチ、または受信側の受信部１３に受信許可、不許可スイッチ、または送信側の表示部３５に、操作者の心理や生理状態情報の表示許可、不許可スイッチ、または受信側の表示部２５に、操作者の心理や生理状態情報の表示許可、不許可スイッチを設けることにより、操作者の意向により、操作者の心理や生理状態情報の表示を制限することができる。

あるいは、音声の生体情報は、そのまま解析、加工されずに送信部１１から送信され、受信した受信部１３から入力された生体情報（環境の物理情報）処理部１４において、解析され、上記の基本的に３〜６個の代表される心理状態に分類され、その結果に基づいて、表示部２５において図１１、図１３の様な表示をするように設定してもよい。しかし他のパラメータと共に多変量の解析に基づくと、より多くの多次元方向の表示になる。

他の変形例として、送信側で表示する場合には、送信側で測定され、受信側の生体情報（環境の物理情報）処理部１４で処理された音声感情判断の解析情報を送信側に送り、送信側に送られた、音声感情判断による心理や生理状態の解析情報を、そのまま送信側の表示部３５に送り、基本的に３〜６個の代表される心理状態に分類して、図１１、図１３の様な表示をするようにしてもよい。

この場合であっても、前述と同じように操作者の心理や生理状態情報の送信許可、送信不許可スイッチ、または受信許可、受信不許可スイッチ、または表示部２５、３５に、操作者の心理や生理状態情報の表示許可、不許可スイッチを設けることにより、操作者の意向により、操作者の心理や生理状態情報の表示を制限することができる。

次に、計測部１０において、例えば、通信装置本体１５を保持するための握る強さを、計測する生体情報とすると、以下のようになる。保持するために握る強さは、精神的、心理的に安定な状態ほど弱く、緊張度が高まると、強くなる傾向がある。この検出は、圧力センサにより簡単に検出することができる。イヤホンタイプでない手で保持する形の電話等の通信装置の形態がこれに適している。圧力センサは、操作者が手で保持する通信装置本体１５の部分に計測部１０として装着されていることが好ましい。

通信装置の操作者が、自分の心理や生理状態を通信の相手に伝えたい時や自分自身の心理や生理状態を自分で確認しながら、相手とコミュニケーションする時には、上記の手の保持するための握る強さの簡易検出器である計測部１０をオンにし、インターフェース１６を通して、保持するための握る強さによる生体情報を計測し送信部１１に入力して送信し、前述のように表示する。

例えば、操作者の平均の保持するための握る強さをＨ１００とすると、計測される保持するための握る強さが、Ｈ１００近傍の時には、図１０や図１２の表示において、原点あるいは平均値の表示を行い、例えば、保持するための握る強さがＨ１００より高くなると図１０のパラメータ１の表示において、右へ移動し、Ｈ１００より低い時には、左へ移動する。

パラメータは１種だけになるので、一次元の縦軸方向あるいは横軸方向だけの移動量になる。しかし他のパラメータと共に多変量の解析に基づくと、多次元方向の表示になる。

あるいは予め、リラックスと平常、緊張、の座標または象限を決めておく方法が考えられる。例えばＨ１００を中心として、握る強さの１０％の減少をリラックス、握る強さの１０％以上の増加を緊張、それ以外を通常と判断する。この判定基準は、個体差、年齢等によって補正してもよい。

平常と判断された場合には、第一象限においてマークを点滅させ、リラックスと判断された場合には、第二象限においてマークを点滅させ、緊張と判断された場合には、第四象限においてマークを点滅させる方法等が考えられる。

または「リラックス」、「平常」、「緊張」の文字を表示してもよい。または表示の色を変える方法もある。リラックスを青、平常を緑、緊張を黄色、赤などである。またはバックグランドの音を変える方法なども考えられる。またはスピーカから流れる送信および受信される音声を、判定の結果により強調または減弱させて出力させることにより、コミュニケーションを強調したり、逆に感情を隠すことができる。

変形例として、送信側（送信側）で表示する場合には、送信側の生体情報（環境の物理情報）処理部４４から出力される、保持するための握る強さ情報を送信側の表示部３５に送り表示するようにしてもよい。あるいは、送信側の生体情報（環境の物理情報）処理部４４の保持するための握る強さ情報を、受信部１３に送り、受信部１３で受け取った保持するための握る強さ情報により受信側の表示部２５に表示してもよい。

この場合、送信側の操作者の保持するための握る強さによる心理や生理状態の表示は、受信側、送信側の双方にて可能である。上記の場合であっても、送信側の送信部１１に、操作者の心理や生理状態情報の送信許可、不許可スイッチ、または受信側の受信部１３に受信許可、不許可スイッチ、または送信側の表示部３５に、操作者の心理や生理状態情報の表示許可、不許可スイッチ、または受信側の表示部２５に、操作者の心理や生理状態情報の表示許可、不許可スイッチを設けることにより、操作者の意向により、操作者の心理や生理状態情報の表示を制限することができる。

あるいは、保持するための握る強さによる生体情報は、そのまま解析、加工されずに送信部１１から送信され、受信した受信部１３から入力された生体情報（環境の物理情報）処理部１４において、解析され、上記の基本的に３種の代表される心理状態に分類され、その結果に基づいて、表示部２５において図１０、図１２の様な表示をする。この場合も、例えば保持するための握る強さだけのパラメータで表示した場合には、パラメータは１種だけになるので、縦軸方向あるいは横軸方向だけの一次元の移動量になる。

他の変形例として、送信側で表示する場合には、送信側で測定され、受信側の生体情報（環境の物理情報）処理部１４で処理された、保持するための握る強さの解析情報を送信側に送り、送信側に送られた、保持するための握る強さによる心理や生理状態の解析情報を、そのまま送信側の表示部３５に送り、基本的に３種の代表される心理状態に分類して、図１０、図１２の様な表示をするようにしてもよい。

なお、上記通信装置は、操作者からの伝達情報を含む通信情報を通信するための送信部および受信部と、通信される通信情報をもとに操作者の心理や生理状態を推定し、推定量として出力する推定部とを有している。

上記構成によれば、送信部および受信部により、操作者からの、例えば音声情報や画像情報や文字情報やソフトウエア情報といった伝達情報を通信することができる。

さらに、上記構成では、推定部において、通信される通信情報の中から、送信側の操作者の気分や感情、健康状態、周囲で起きている状況などに関する推定量を、抽出し推定して出力することができる。

よって、上記構成においては、送信側が意図しない推定量に基づいて、受信側が送信側の伝達情報をただそのまま受け取るだけでなく、出力された推定量により上記伝達情報の理解を補助して、より深いレベルでの通信をより有効に実行することができる。

上記伝達情報は、音声情報を含んでいてもよい。上記構成によれば、通信される音声情報から、送信側が意図的に送ったわけではない情報（音声の強弱やアクセント位置の変化、周囲の物音など）を抽出し、そこから、例えば送信側の操作者の気分や感情、健康状態、周囲で起きている状況などを推定し、受信側が音声情報に基づく送信側の言葉をただそのまま受け取るだけでなく、より深くその意味を理解する手段を提供することができる。

上記伝達情報は、画像情報を含んでいてもよい。上記構成によれば、通信される画像情報から、送信側が意図的に送ったわけではない情報（視線、瞬き、瞳孔の大きさ、唇の動き、口や唇の乾き、顔面の表情や色、体動、姿勢、もしくは、装置周辺の人の数、明度、天候など）を抽出し、そこから、送信側の気分や感情、健康状態、周囲で起きている状況などを推定し、受信側が、画像情報に基づく送信側の言葉をただそのまま受け取るだけでなく、より深くその意味を理解することができる。

上記通信装置では、操作者の心拍数等のバイタルサインをバイタルサイン情報として計測するバイタルサイン計測部をさらに有し、通信情報はバイタルサイン情報を含んでいてもよい。上記通信装置においては、さらに、周辺環境における、気温等の物理情報を計測する環境計測部を有し、通信情報は上記物理情報を含んでいてもよい。

上記構成によれば、従来の音声情報、文字情報、画像情報、ソフトウエア情報といった伝達情報だけでなく、送信側もしくは受信側の様々なデータとしてのバイタルサイン情報や物理情報（送信部もしくは受信部を収納した通信装置本体を把持する操作者における、手の筋電位、心拍、皮膚抵抗、体温、気温など）を受信側で入手することが可能なため、送信側の気分や感情、健康状態、周囲で起きている状況などの推定をより容易に行うことができる。

上記通信装置においては、送信部および受信部の少なくとも一方を収納する通信装置本体を備え、上記バイタルサイン計測部は、通信装置本体における操作者に接触可能な部分に設けられていることが好ましい。

上記構成によれば、送信側もしくは受信側の操作者に直接もしくは非常に接近させた状態で、バイタルサイン計測部のセンサを動作させることができるため、より精確に、また、ごく自然な状態で、送信側もしくは受信側の生体情報を計測することができる。

上記通信装置では、さらに、操作者の個人情報、社会的情報を記憶しておく記憶部を有し、推定部は、通信情報をもとに推定量を推定するときに、操作者の個人情報、社会的情報を利用するようになっていてもよい。

上記構成によれば、既に明らかな、送信側もしくは受信側の個人情報、社会的情報を参考にすることができるため、送信側の気分や感情、健康状態、周囲で起きている状況を、より精確に、受信側や送信側で算出あるいは、推定することができる。

上記通信装置では、推定部は、推定量を、そのまま、もしくは加工して、受信側にて出力する機能を有するものであってもよい。上記構成によれば、例えば表示部や音声出力部を通して、送信側の気分や感情、健康状態、周囲で起きている状況などを、受信側に、より分かり易く、具体的に示すことができる。

上記通信装置においては、推定部は、推定量を、そのまま、もしくは加工して、送信側にて出力する機能を有するものであってもよい。上記構成によれば、受信側だけでなく、送信側も、これらの推定量を共有することができるため、通信される通信情報の内容を確認し、送信側にフィードバックをかけることができて、通信をより円滑化できる。

上記通信装置では、推定部は、得られた操作者の心理や生理状態に基づく、操作者の喜怒哀楽の感情を表現するようになっていてもよい。上記構成によれば、様々な人間の感情を、いくつかの側面で代表することにより、受信側で、より素早く、的確に送信側の感情に関する判断を行うことができる。

上記通信装置においては、推定部は、推定量を、表やグラフ、もしくは図形や顔の表情、色などの加工形態にて出力するようになっていてもよい。上記構成によれば、送信側の気分や感情、健康状態、周囲で起きている状況などを、受信側に、より分かり易く、具体的に示すことができる。

上記通信装置では、通信情報に含まれる画像情報を表示する表示部を有し、推定部は、推定量を、送信側の画像情報と並置、もしくは重ね合わせて上記表示部にて表示するようになっていてもよい。上記構成によれば、推定した送信側の気分や感情が、健康状態、周囲で起きている状況などと、実際の送信側の画像を比較することにより、より的確な判断を受信側で行うことができる。

上記通信装置においては、通信情報の送信、あるいは受信の許可、不許可、あるいは出力の許可、不許可を、送信側および受信側の少なくとも一方で選択する選択部を有していてもよい。

上記構成によれば、送信側の意図しない情報を、送信または、受信することの許可を、受信側、送信側それぞれの判断に委ねることができることにより、推定量が不要な場合において、通信の煩雑化を回避できる。

上記通信装置では、推定量に基づいて伝達情報を変化させる変成部を有していてもよい。上記構成によれば、伝達情報を変化、例えば、スピーカから送出される送信および受信される音声を、変成部によって、感情をより強調したり、逆に感情を隠したりするように変化させることにより、通信をより円滑化できる。

上述した通信方法は、操作者が操作者からの伝達情報を含む通信情報を用いて通信するときに、操作者の心理や生理状態を上記通信情報をもとに推定して出力するものである。

上記通信方法においては、操作者の個人情報、社会的情報を記憶しておき、
操作者の個人情報、社会的情報も考慮して、操作者の心理や生理状態を推定して出力してもよい。

上記通信方法では、操作者の心拍数等のバイタルサイン情報を計測し、上記バイタルサイン情報を通信情報に加えて通信してもよい。

上記の各方法によれば、送信側の気分や感情、健康状態、周囲で起きている状況などを、受信側（もくしは送信側でも）においてより分かり易くなるので、送信側と受信側との間の通信をより円滑化できる。

本発明の通信装置の概略ブロック図である。上記通信装置を双方向での通信可能とする際の概略ブロック図である。上記通信装置の通信情報が音声情報または画像情報を含む場合の概略ブロック図である。上記通信装置において、受信側にも計測部を設けた例を示す概略ブロック図である。上記通信装置において、受信側に既知情報を格納しておく記憶部を設けた例を示す概略ブロック図である。上記通信装置において、受信側に第三者との送受信部を設けた例を示す概略ブロック図である。上記通信装置において、受信側に通信者ごとの記憶部を設けた例を示す概略ブロック図である。上記通信装置に表示部を設けた例を示す概略ブロック図である。上記通信装置における表示部での表示例を示す説明図である。上記通信装置における表示部での、他の表示例を示す説明図である。上記通信装置における表示部での、さらに他の表示例を示す説明図である。上記通信装置における表示部での、さらに他の表示例を示すグラフである。上記通信装置における表示部での、さらに他の表示例を示すレーダーチャートである。上記通信装置における表示部での、さらに他の表示例を示す説明図である。上記通信装置において、送信側にも表示部を設けた例を示す概略ブロック図である。上記通信装置における音声情報を解析する例を示す概略ブロック図である。上記通信装置における表示部での、さらに他の表示例を示す説明図である。上記通信装置において、送信側にも、生体情報（環境の物理情報）処理部および表示部を設けた例を示す概略ブロック図である。

符号の説明

１１送信部
１２通信情報
１３受信部
１４生体情報（環境の物理情報）処理部（推定部）

Claims

送信者から受信者への伝達情報を音声出力する通話装置であって、
上記伝達情報を受信する受信部と、
上記伝達情報をもとに送信者の心理や生理状態を推定する推定部と、
２次元の座標軸によって４つの象限に区切られ、当該４つの象限と４種類の感情とがそれぞれ対応付けられた平面上にマークを表示することにより上記推定部の推定結果を表示する表示部とを有していることを特徴とする通信装置。
上記マークの表示を約０．１秒の間隔で更新することを特徴とする請求項１に記載の通信装置。