JP2013093718A

JP2013093718A - 通信端末、感情伝達システム、感情伝達方法および感情伝達プログラム

Info

Publication number: JP2013093718A
Application number: JP2011234132A
Authority: JP
Inventors: Chiaki Tsubone; 千昭坪祢; Masaru Kitamura; 勝北村
Original assignee: NEC Communication Systems Ltd
Current assignee: NEC Communication Systems Ltd
Priority date: 2011-10-25
Filing date: 2011-10-25
Publication date: 2013-05-16

Abstract

【課題】受信側において特別な機能が組み込まれていなくても、送信者の感情によって変化する体温などの生体反応にもとづいて、送信者の感情を正確に伝達することができる通信端末、感情伝達システム、感情伝達方法および感情伝達プログラムを提供する。
【解決手段】通信端末２００は、ユーザの生体情報を含む測定データを生体情報測定器１００から受信し、測定データをもとに感情データを生成し、感情データと感情状態との対応を示す対応情報と、生成した感情データとをもとにユーザの感情状態を判定し、感情状態に対応する感情表現データを他の端末と通信可能な端末内ソフトウェアに供給する感情データ管理手段２１０を含む。
【選択図】図４

Description

本発明は、携帯電話機などの通信端末、送信者の感情を伝達するための感情伝達システム、感情伝達方法および感情伝達プログラムに関する。

電子メールなどによる文字表現で感情を伝達しようとすると、送信者の文字表現力の限界から送信者の感情を正確に伝達できない場合がある。

感情の変化に応じて、体温、心拍数、呼吸数などの生体反応に変化が現れる。その生体反応の変化にもとづいて送信者の感情を伝達する技術がある。

例えば、送信者の感情変化にもとづいて喜怒哀楽の程度を判定する判定機構を備え、判定機構が判定した判定結果を所定の情報交信先の端末に送信することによって、送信者の感情変化を伝達する端末がある（例えば、特許文献１参照。）。また、移動端末機の使用者の生体情報を収集し、収集した生体情報を用いて生成した使用者の感情を表す感情データを、他の移動端末機に送信するシステムがある（例えば、特許文献２参照。）。

特開２００５−０７２７４３号公報特開２００６−００５９４５号公報

特許文献１に記載された発明では、情報交信先の端末が、情報交信元の端末から受信した判定結果にもとづいて、情報交信元の感情変化における喜怒哀楽の程度を、画像表示、音声報知、振動報知などの各種方法により報知する報知機構を備えていなければならない。従って、情報交信先の端末が既存の携帯端末などである場合には、情報交信先に送信者の感情変化を伝達することができない。

特許文献２に記載されたシステムでは、受信側移動端末機が、人の多様な感情状態を統計的数値を使用して予め計算して保存したルックアップテーブルと、送信側移動端末機から受信した信号に含まれる感情データとをもとに、送信者の感情状態に対応する出力データを出力する。従って、受信側移動端末機が、ルックアップテーブルとルックアップテーブルにもとづいて出力データを出力する機能とを備えていなければならない。受信側移動端末機が既存の携帯端末などである場合には、送信者の感情状態を伝達することができない。

そこで、本発明は、受信側において特別な機能が組み込まれていなくても、送信者の感情によって変化する体温などの生体反応にもとづいて、送信者の感情を正確に伝達することができる通信端末、感情伝達システム、感情伝達方法および感情伝達プログラムを提供することを目的とする。

本発明による通信端末は、ユーザの生体情報を含む測定データを生体情報測定器から受信し、測定データをもとに感情データを生成し、感情データと感情状態との対応を示す対応情報と、生成した感情データとをもとにユーザの感情状態を判定し、感情状態に対応する感情表現データを他の端末と通信可能な端末内ソフトウェアに供給する感情データ管理手段を含むことを特徴とする。

本発明による感情伝達システムは、ユーザの生体情報を測定し、測定データを生成する生体情報測定器と、生体情報測定器と通信可能な通信端末とを含み、通信端末は、生体情報測定器から受信した測定データをもとに感情データを生成し、感情データと感情状態との対応を示す対応情報と、生成した感情データとをもとにユーザの感情状態を判定し、感情状態に対応する感情表現データを他の端末と通信可能な端末内ソフトウェアに供給する感情データ管理手段を含むことを特徴とする。

本発明による感情伝達方法は、ユーザの生体情報を含む測定データを生体情報測定器から受信し、測定データをもとに感情データを生成し、感情データと感情状態との対応を示す対応情報と、生成した感情データとをもとにユーザの感情状態を判定し、感情状態に対応する感情表現データを他の端末と通信可能な端末内ソフトウェアに供給することを特徴とする。

本発明による感情伝達プログラムは、コンピュータに、ユーザの生体情報を含む測定データを生体情報測定器から受信する処理と、測定データをもとに感情データを生成する処理と、感情データと感情状態との対応を示す対応情報と、生成した感情データとをもとにユーザの感情状態を判定する処理と、感情状態に対応する感情表現データを、他の端末と通信可能な端末内ソフトウェアに供給する処理とを実行させることを特徴とする。

本発明によれば、送信者の感情によって変化する体温などの生体反応にもとづいて、送信者の感情を正確に伝達することができる。

本発明による通信端末を含む感情伝達システムの構成の一例を示すブロック図である。感情状態と感情データとの対応関係の一例を示す説明図である。第１の実施形態の感情伝達システムの動作を示すシーケンス図である。本発明による通信端末の主要部を示すブロック図である。

実施形態１．
以下、本発明の第１の実施形態を図面を参照して説明する。

図１は、本発明による通信端末を含む感情伝達システムの構成の一例を示すブロック図である。

図１に示すように、感情伝達システムは、感情データ測定器１０と、通信端末４０とを含む。

感情データ測定器１０と通信端末４０とは、ブルートゥース（登録商標）機能などの近距離通信機能により通信可能に接続される。

感情データ測定器１０は、感情データの作成に必要な生体情報を測定する。

感情データ測定器１０は、ユーザの身体に装着され、ユーザの生体情報を測定する。本実施形態では、生体情報として、体温、心拍数、呼吸数を測定する場合を例にする。

感情データ測定器１０は、測定したデータ（以下、生感情データという。）を通信端末４０に送信する。

通信端末４０は、例えば、携帯電話機である。通信端末４０は、感情データ管理ＳＷ（ソフトウェア）２０と、感情データＤＢ（データベース）３０とを含む。

感情データ管理ＳＷ２０は、感情データ測定器１０から受信した生感情データを収集する。

感情データ管理ＳＷ２０は、収集した生感情データをもとに、感情データを生成する。例えば、複数回の測定により収集した生感情データの平均値である体温平均値、心拍数平均値、呼吸数平均値と、それぞれの上方値（数値が大きい方の値）である体温上方値、心拍数上方値、呼吸数上方値と、それぞれの下方値（数値が小さい方の値）である体温下方値、心拍数下方値、呼吸数下方値との組み合わせを、感情データとして生成する。この場合、２７（３×３×３）種類の組み合わせが存在する。

以下、体温平均値、心拍数平均値、呼吸数平均値を、Ｔａｖ、ＨＲａｖ、ＢＲａｖと表す。体温上方値、心拍数上方値、呼吸数上方値を、Ｔｕｐ、ＨＲｕｐ、ＢＲｕｐと表す。体温下方値、心拍数下方値、呼吸数下方値を、Ｔｄｎ、ＨＲｄｎ、ＢＲｄｎと表す。

本実施形態では、中国の五情（「喜（喜び）」、「怒（怒り）」、「哀（哀しみ）」、「楽（楽しみ）」および「怨（怨み）」）および平常（感情無し）の６つの感情状態に対して、上記の２７種類の組み合わせ（感情データ）を割り当てる。

なお、感情データは、３つの値の組み合わせに限らない。例えば、３つ以上の値の組み合わせであってもよい。また、感情データを割り当てる感情状態は、６つに限られない。例えば、感情データを割り当てる感情状態が６つ以上あってもよい。

図２は、感情状態と感情データとの対応関係の一例を示す説明図である。感情状態と感情データとの対応関係を示す情報は、通信端末４０が備える記憶部（図示せず）に予め格納しておけばよい。図２に示す「Ｔａｖ＆ＨＲａｖ＆ＢＲｕｐ」は、ＴａｖとＨＲａｖとＢＲｕｐとの組み合わせを表し、“喜”がＴａｖとＨＲａｖとＢＲｕｐとの組み合わせであることを示す。他の感情状態についても同様に、それぞれの感情状態に対応する組み合わせが割り当てられる。

感情データＤＢ３０は、フラッシュメモリなどの不揮発性メモリを含み、感情データ管理ＳＷ２０から受信した感情データを格納するためのデータベースを記憶する。

通信端末４０は、感情データ管理ＳＷ２０、感情データＤＢ３０の他に、他の端末と通信可能な通話アプリケーションやメーラなど、通信端末４０上で動作可能なソフトウェア（以下、端末内ソフトウェアという。）を含む。

なお、感情データ管理ＳＷ２０および感情データＤＢ３０は、プログラムに従って動作する通信端末４０のＣＰＵなどによって実現される。

次に、本実施形態の動作を説明する。

図３は、第１の実施形態の感情伝達システムの動作を示すシーケンス図である。

感情データ測定器１０は、感情データ測定器１０を装着したユーザの体温、心拍数、および呼吸数を測定する。感情データ測定器１０は、予め指定された測定周期時間にもとづいて、一定周期または間欠的に測定を行う（ステップＳ３０１）。

感情データ測定器１０は、測定したデータ（生感情データ）を、近距離通信機能を用いて感情データ管理ＳＷ２０に送信する。このとき、感情データ測定器１０は、予め指定されたタイミングに従って、生感情データを送信する。感情データ測定器１０は、生感情データを送信するタイミングであると判断した場合には（ステップＳ３０２のＹｅｓ）、生感情データを送信する（ステップＳ３０３）。

感情データ測定器１０は、測定周期時間が経過したか否かを確認し、測定周期時間が経過している場合には（ステップＳ３０４のＹｅｓ）、ステップＳ３０１の処理に戻る。

感情データ管理ＳＷ２０は、感情データ測定器１０がステップＳ３０３において送信した生感情データを受信した場合には（ステップＳ３０５）、初期設定で予め登録された体温、心拍数、呼吸数の上方範囲値および下方範囲値をもとに、生感情データが異常値であるか否かを判断する（ステップＳ３０６）。上方範囲値は、統計処理された平均値に対して上方（数値が大きい方）へ範囲を持った値である。下方範囲値は、統計処理された平均値に対して下方（数値が小さい方）に範囲を持った値である。上方範囲値および下方範囲値は、通信端末４０が備える記憶部に格納されている。

感情データ管理ＳＷ２０は、生感情データが上方範囲値、および下方範囲値の範囲外であるときに、生感情データが異常値であると判断する。

生感情データが異常値である場合は（ステップＳ３０６のＹｅｓ）、感情データ管理ＳＷ２０は、生感情データを破棄する。そして、感情データ管理ＳＷ２０は、感情データ測定器１０から次の生感情データを受信するまで待機する。

生感情データが異常値でない場合は（ステップＳ３０６のＮｏ）、感情データ管理ＳＷ２０は、過去の感情データ（以下、過去感情データという。）、つまり、感情データＤＢ３０のデータベースに格納された感情データを感情データＤＢ３０に要求する（ステップＳ３０７）。

感情データＤＢ３０は、過去感情データの要求を受信すると（ステップＳ３０８）、感情データ管理ＳＷ２０に過去感情データを送信する（ステップＳ３０９）。

感情データ管理ＳＷ２０は、感情データＤＢ３０から過去感情データを受信すると（ステップＳ３１０）、生感情データと過去感情データとをもとに統計処理を行う。そして、感情データ管理ＳＷ２０は、統計処理により新たに生成した体温、心拍数、呼吸数のそれぞれの平均値、上方値、下方値などを含む感情データ（以下、新感情データという。）を感情データＤＢ３０に送信する（ステップＳ３１１およびＳ３１２）。

感情データＤＢ３０は、感情データ管理ＳＷ２０から受信した新感情データをデータベースに格納し、データベースを更新する（ステップＳ３１３、Ｓ３１４およびＳ３１５）。

感情データ管理ＳＷ２０は、感情測定結果が送信可能か否かを判断するために、通信端末４０に含まれる端末内ソフトウェアの中で、感情データを入力可能なソフトウェア（以下、感情データ入力可能ソフトウェアという。）が動作中であるか否かを確認する。感情データ管理ＳＷ２０は、感情データ入力可能ソフトウェアが動作中でない場合は、感情測定結果送信不可と判断し（ステップＳ３１６のＮｏ）、処理を終了する。

そして、感情データ管理ＳＷ２０は、感情データ測定器１０から次の生感情データを受信するまで待機する。感情データ測定器１０から生感情データを受信した場合には、ステップＳ３０５からの処理を繰り返す。

感情データ管理ＳＷ２０は、ソフトウェアが感情データ入力可能ソフトウェアであるか否かを、例えば、登録リストにもとづいて判断する。登録リストには、感情データを入力可能なインタフェースを備えたソフトウェアのリストが予め記憶されている。登録リストは、通信端末４０が備える記憶部に格納される。

また、感情データ入力可能ソフトウェアが他の端末と１対１でデータ通信や通話をしている場合には、感情データ管理ＳＷ２０は、感情データ入力可能ソフトウェアが動作中、つまり、感情測定結果を送信可能な状態であると判断して、感情データを感情データ入力可能ソフトウェアに供給する。

感情データ入力可能ソフトウェアが動作中である場合は、感情データ管理ＳＷ２０は、感情測定結果送信可能と判断し（ステップＳ３１６のＹｅｓ）、ステップＳ３１１において生成した感情データを感情データ入力可能ソフトウェアに供給する（ステップＳ３１７）。このとき、感情データ管理ＳＷ２０は、図２に示す感情状態と感情データとの対応関係をもとに、送信者の感情状態を判断する。例えば、体温、心拍数、呼吸数のすべての平均値が高い場合には、送信者の感情状態が“楽”であると判断し、“楽”に対応する感情データを感情データ入力可能ソフトウェアに供給する。

感情データ管理ＳＷ２０は、感情データ入力可能ソフトウェアとのインタフェースに従って、送信可能なデータ形式を選択し、感情データを感情データ入力可能ソフトウェアに供給する。

例えば、感情データ入力可能ソフトウェアが文字データや音声データを送信可能な場合は、感情データを「言葉」に変換して、感情データ入力可能ソフトウェアに入力する。また、感情データ入力可能ソフトウェアが画像データを送信可能な場合は、感情データを「画像」に変換して、感情データ入力可能ソフトウェアに入力する。「言葉」は、例えば、送信者の感情状態を示す文字データや音声データなどである。「画像」は、例えば、送信者の感情状態を示す顔文字や送信者の顔写真（泣き顔、笑い顔などの写真）などの画像データである。「言葉」および「画像」は、通信端末４０が備える記憶部に予め格納される。

このようにして、言葉または画像に変換された感情データ（以下、感情表現データという。）が、感情データ入力可能ソフトウェアに供給される。感情データ入力可能ソフトウェアに供給された感情表現データは、感情データ入力可能ソフトウェアの送信データに格納されて、通信相手の端末に送信される。例えば、感情データ入力可能ソフトウェアがメーラである場合には、感情表現データは、電子メールなどの送信データに格納されて、感情測定結果として通信相手の端末に送信される。

以上に説明したように、本実施形態では、体温などの生体反応にもとづいた感情データを使用して、送信者の感情を相手の端末に伝達しているので、送信者が文字表現しづらい感情であっても正確に伝達することができる。

また、感情データ管理ＳＷ２０は、生感情データだけでなく、生感情データと過去感情データとをもとに感情データを生成しているので、送信者の感情をより正確に伝達することができる。

また、感情データ管理ＳＷ２０が感情データを言葉または画像に変換しているので、文字データ、音声データまたは画像データを入力可能なインタフェースを備えた端末内ソフトウェアに対して、感情データを供給することができる。従って、通信端末に搭載された既存のソフトウェアに対しても感情データを供給することができる。

また、端末内ソフトウェアが送信可能なデータ形式に従って、端末内ソフトウェアの送信データに感情表現データを含ませているので、通信相手の端末が既存の携帯端末などであっても、送信者の感情を伝達することができる。

また、感情データ管理ＳＷ２０は、生感情データが異常値である場合には、生感情データを破棄して、感情測定結果を送信する処理を行わないようにしているので、送信者の心身の変化などによる異常な感情表現が感情測定結果として通信相手の端末に伝達されることがない。

なお、本実施形態では、感情データＤＢ３０は通信端末４０に含まれているが、感情データＤＢ３０は、通信端末４０以外の装置に含まれていてもよい。例えば、感情データＤＢ３０は、通信端末４０と通信可能に接続されたサーバ装置などに含まれていてもよい。

また、本実施形態では、感情データは、文字データ、音声データまたは画像データに変換して通信相手の端末に送信されるが、その他のデータ形式に変換して送信するようにしてもよい。

図４は、本発明による通信端末の主要部を示すブロック図である。図４に示すように、通信端末２００（図１に示す通信端末４０に相当。）は、ユーザの生体情報を含む測定データを生体情報測定器１００（図１に示す感情データ測定器１０に相当。）から受信し、測定データをもとに感情データを生成し、感情データと感情状態との対応を示す対応情報と、生成した感情データとをもとにユーザの感情状態を判定し、感情状態に対応する感情表現データを他の端末と通信可能な端末内ソフトウェアに供給する感情データ管理手段２１０（図１に示す通信端末４０における感情データ管理ＳＷ２０に相当。）を含む。

上記の実施形態には、以下のような通信端末も開示されている。

（１）通信端末２００は、感情データ格納手段（図１に示す通信端末４０における感情データＤＢ３０に相当。）を含み、感情データ管理手段２１０は、生体情報測定器１００から受信した測定データと、感情データ格納手段が記憶する過去感情データとをもとに、感情データを生成する通信端末。

（２）感情データ管理手段２１０は、当該感情データ管理手段２１０が生成した感情データで、感情データ格納手段が記憶する過去感情データを更新する通信端末。

（３）感情データ管理手段２１０は、端末内ソフトウェアのうち感情表現データを入力可能なソフトウェアが動作中であるか否かを判定し、感情表現データを入力可能なソフトウェアが動作中である場合に、当該ソフトウェアに感情表現データを供給する通信端末。

（４）感情データ管理手段２１０は、感情データを文字データ、音声データまたは画像データに変換して感情表現データを生成する通信端末。

上記の実施形態には、以下のような感情伝達システムも開示されている。

（５）ユーザの生体情報を測定し、測定データを生成する生体情報測定器１００と、生体情報測定器１００と通信可能な通信端末２００とを含み、通信端末２００は、生体情報測定器１００から受信した測定データをもとに感情データを生成し、感情データと感情状態との対応を示す対応情報と、生成した感情データとをもとにユーザの感情状態を判定し、感情状態に対応する感情表現データを他の端末と通信可能な端末内ソフトウェアに供給する感情データ管理手段２１０を含む感情伝達システム。

１０感情データ測定器
２０感情データ管理ＳＷ
３０感情データＤＢ
４０、２００通信端末
１００生体情報測定器
２１０感情データ管理手段

Claims

ユーザの生体情報を含む測定データを生体情報測定器から受信し、
前記測定データをもとに感情データを生成し、
感情データと感情状態との対応を示す対応情報と、生成した前記感情データとをもとに前記ユーザの感情状態を判定し、
前記感情状態に対応する感情表現データを他の端末と通信可能な端末内ソフトウェアに供給する感情データ管理手段を含む
ことを特徴とする通信端末。
感情データ格納手段を含み、
感情データ管理手段は、生体情報測定器から受信した測定データと、前記感情データ格納手段が記憶する過去感情データとをもとに、感情データを生成する
請求項１記載の通信端末。
感情データ管理手段は、当該感情データ管理手段が生成した感情データで、感情データ格納手段が記憶する過去感情データを更新する
請求項１または請求項２に記載の通信端末。
感情データ管理手段は、端末内ソフトウェアのうち感情表現データを入力可能なソフトウェアが動作中であるか否かを判定し、
感情表現データを入力可能なソフトウェアが動作中である場合に、当該ソフトウェアに感情表現データを供給する
請求項１から請求項３のうちのいずれか１項に記載の通信端末。
感情データ管理手段は、感情データを文字データ、音声データまたは画像データに変換して感情表現データを生成する
請求項１から請求項４のうちのいずれか１項に記載の通信端末。
ユーザの生体情報を測定し、測定データを生成する生体情報測定器と、
前記生体情報測定器と通信可能な通信端末とを含み、
前記通信端末は、
前記生体情報測定器から受信した前記測定データをもとに感情データを生成し、
感情データと感情状態との対応を示す対応情報と、生成した前記感情データとをもとに前記ユーザの感情状態を判定し、
前記感情状態に対応する感情表現データを他の端末と通信可能な端末内ソフトウェアに供給する感情データ管理手段を含む
ことを特徴とする感情伝達システム。
ユーザの生体情報を含む測定データを生体情報測定器から受信し、
前記測定データをもとに感情データを生成し、
感情データと感情状態との対応を示す対応情報と、生成した前記感情データとをもとに前記ユーザの感情状態を判定し、
前記感情状態に対応する感情表現データを他の端末と通信可能な端末内ソフトウェアに供給する
ことを特徴とする感情伝達方法。
コンピュータに、
ユーザの生体情報を含む測定データを生体情報測定器から受信する処理と、
前記測定データをもとに感情データを生成する処理と、
感情データと感情状態との対応を示す対応情報と、生成した前記感情データとをもとに前記ユーザの感情状態を判定する処理と、
前記感情状態に対応する感情表現データを、他の端末と通信可能な端末内ソフトウェアに供給する処理とを実行させるための
感情伝達プログラム。