JP2010167014A

JP2010167014A - 感情推定方法および装置

Info

Publication number: JP2010167014A
Application number: JP2009010842A
Authority: JP
Inventors: Tokuhiro Fukumoto; 徳広福元; Yasuhiko Hiehata; 泰彦稗圃; Hajime Nakamura; 中村　　元
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2009-01-21
Filing date: 2009-01-21
Publication date: 2010-08-05
Anticipated expiration: 2029-01-21
Also published as: JP5244627B2

Abstract

【課題】被験者のストレスを変化させながら生体情報を計測することができ、被験者の個人差を推定結果に反映できる感情推定方法および装置を提供する。
【解決手段】感情計測部１１は、被験者２の感情を計測して感情情報を出力する。行動依存感情推定部１２は、被験者２の音声信号に基づいて感情を推定する。生体計測部１３は、被験者の生体情報を計測する。通信品質指定部１５は、通信品質制御部１ａに対して通信品質を劣化させる指示を出力する。DB１４には、行動依存感情推定部１２による推定結果および生体計測部１３による計測結果が紐付けられて記録される。生体依存感情推定部１６は、生体計測部１３による計測結果に基づいてDB１４を検索し、当該計測結果と紐付けられている感情を推定結果として出力する。
【選択図】図２

Description

本発明は、被験者の感情をその生体情報に基づいて推定する感情推定方法および装置に係り、特に、生体情報と感情情報との対応関係を予めデータベース化する際に、被験者に通信サービスを利用させることで外的ストレスを付与して感情を積極的に変化させる感情推定方法および装置に関する。

被験者の身体に着脱が可能なセンサを装着し、当該被験者の生体情報をデジタル信号として取得することで感情を認識する手法が特許文献１に開示されている。
特開２００２−１１２９６９号公報

上記の従来技術では、得られた生体情報を予め設定された基準値と比較することで被験者の感情が推定される。しかしながら、この基準値は多数の被験者から得られた情報に基づいて設定されるので、各被験者の個人差を推定結果に反映させることができず、誤った判断がなされる可能性があった。

また、被験者の感情を生体情報に基づいて推定するシステムでは、予め生体情報と感情情報との対応関係をデータベース化する必要がある。このデータベース化においては、被験者の感情を冷静状態から興奮状態まで連続的に変化させ、様々な感情において生体情報をサンプリングすることが望ましい。しかしながら、サンプリング中の被験者の感情を冷静状態から興奮状態まで広範囲にわたって漏れなく変化させることは難しかった。

本発明の目的は、上記した従来技術の課題を解決し、被験者の生体情報と感情情報との対応関係を予めデータベース化する際に、被験者のストレスを変化させることができ、かつ被験者の個人差を推定結果に反映することで正確な感情推定を可能にした感情推定方法および装置を提供することにある。

上記の目的を達成するために、本発明は、被験者の感情を生体情報に基づいて推定する感情推定装置において、以下のような手段を講じた点に特徴がある。

(1)被験者に通信サービスを提供する手段と、通信サービスを利用する被験者の生体情報を計測する生体計測手段と、通信サービスを利用する被験者の感情を代表する感情情報を計測する感情計測手段と、生体情報および感情情報を紐付けて記憶する記憶手段と、生体計測手段で計測された生体情報と紐付けられた感情情報を記憶手段から抽出して被験者の感情を推定する感情推定手段とを具備したことを特徴とする。

(2)生体情報および感情情報が被験者ごとに紐付けて記憶され、感情推定手段は、被験者の生体情報と紐付けられた感情情報を記憶手段から抽出して被験者の感情を推定することを特徴とする。

(3)被験者が利用する通信サービスの品質を指定する通信品質指定手段と、被験者が利用する通信の品質を前記指定品質に制御する通信品質制御手段とを具備したことを特徴とする。

本発明によれば、以下のような効果が達成される。

(1)被験者の生体情報および感情情報を計測して両者を紐付けるデータベースを予め構築する際に、被験者に通信サービスを利用させることで外的ストレスを与えることができるので、様々な感情における生体情報を簡単に取得できるようになる。

(2)被験者ごとに生体情報と感情情報との対応関係をデータベースに記録して感情を推定するので、各被験者の個人差を反映した正確な感情推定が可能になる。

(3)被験者の生体情報および感情情報を計測して両者を紐付けるデータベースを予め構築する際に、被験者が使用する通信サービスの品質を強制的に劣化させることで、被験者に与える外的ストレスを定量的に変化させることができるので、様々な感情における生体情報を簡単に取得できるようになる。

以下、図面を参照して本発明の最良の実施形態について詳細に説明する。図１は、本発明に係る感情推定装置の主要部の構成を示した機能ブロック図である。本実施形態では、被験者２により操作される被験者端末５と、被験者端末５がクライアントとして機能する際にアクセス先となるWebサーバ３あるいは被験者端末５が携帯電話やソフトフォンなどの通話端末として機能する際に相手端末となる通話端末６のアクセスポイント(AP)４とが、ネットワーク(NW)７を介して接続されている。

前記NW７と被験者端末５との間には、本発明に係る感情推定装置１が接続されている。この感情推定装置１は、被験者端末５とWebサーバ３または通話端末６との間の通信品質を制御する通信品質制御部１ａ、および通信品質を劣化させて被験者２に外的ストレスを付加した際の当該被験者２の生体情報および感情情報を計測してデータベースを予め構築し、その後、被験者２の生体情報のみに基づいて当該被験者２の感情を推定する感情推定部１ｂを含む。

図２は、前記感情推定部１ｂの主要部の構成を示した機能ブロック図であり、ここでは、本発明の説明に不要な構成は図示が省略されている。

感情計測部１１は、被験者２の感情情報を計測する。本実施形態では、被験者２の感情を代表する情報として音声が計測される。行動依存感情推定部１２は、被験者２の音声信号を適宜の音声心理分析に適用して当該被験者２の感情を推定する。

音声を分析して心理状態を推定する技術は公知であり、例えば、アルファ・オメガソフトの音声心理分析ソフト「Trust Pro」(http://pr.fujitsu.com/jp/news/2001/02/15-3.html)や、トラステック社の「Truster」(http://www/syatyu.com/shop/143/top.htm)等が知られている。

生体計測部１３は、被験者の生体情報を計測する。本実施形態では、生体情報として被験者２の脈波データから一連の脈拍間隔データ(R-R間隔)が計測され、さらにR-R間隔を周波数解析して求めた０．０４〜０．１５Ｈｚのパワースペクトル成分（低周波数成分LF）の積分値と０．１５〜０．４０Ｈｚのパワースペクトル成分（高周波数成分HF）の積分値との比、すなわち交感・副交感神経の相対的な活動比であるLF/HF値が計測される。

通信品質指定部１５は、被験者２に外的ストレスを付加して当該被験者２の感情を強制的に変化させるために、前記通信品質制御部１ａに対して通信品質を劣化させる指示を出力する。データベース(DB)１４には、前記行動依存感情推定部１２による推定結果および前記生体計測部１３による計測結果（LF/HF値）が相互に紐付けられて記録される。生体依存感情推定部１６は、前記生体計測部１３による計測結果に基づいて前記DB１４を検索し、当該計測結果と紐付けられている感情レベルを現在の被験者２の感情と推定して出力する。

次いで、フローチャートを参照して本実施形態の動作を詳細に説明する。図３は、本発明の一実施形態の動作を示したフローチャートであり、ここでは、被験者端末５がソフトフォンのアプリケーションを実装したパーソナルコンピュータあるいは携帯電話であり、被験者２が被験者端末５で相手端末６と通話する際の感情推定を例にして説明する。

ステップＳ１では、DB１４に被験者２の生体情報および感情情報を紐付けて記録する「DB構築処理」、および構築済みのDB１４に生体情報の計測結果を適用して被験者２の感情を推定する「感情推定処理」の一方が選択される。本実施形態では、感情推定に先立ってDB１４を構築する必要があるので、ここでは「DB構築処理」が選択されてステップＳ２へ進む。

ステップＳ２では、前記通信品質指定部１５から前記通信品質制御部１ａに対して、通信の品質レベルQを指定する信号が出力される。本実施形態では、通信品質レベルQに関して最高レベルの「１」から最低レベル「５」までの５つのレベルが設定可能であり、ここでは最高レベルの「１」が指定される。

ステップＳ３において、被験者端末５と相手端末６との間に通信セッションが確立されて通話が開始されると、ステップＳ４では、前記感情計測部１１による感情計測および行動依存感情推定部１２による感情推定が開始され、現在の被験者の感情レベルが算出される。ステップＳ５では、前記生体計測部１３による生体計測が開始され、現在の被験者のLF/HF値が計測される。

ステップＳ６では、前記感情の推定結果および生体情報の計測結果が相互に紐付けられ、図４に一例を示したように、被験者識別子(ID)をインデックスとしてDB１４に記録される。すなわち、本実施形態では感情の推定結果と生体情報の計測結果との対応関係が被験者ごとに記録される。上記の感情推定、生体計測およびその記録は、ステップＳ７において所定のサンプリング期間が完了したと判定されるまで継続される。

サンプリング期間が完了するとステップＳ８へ進み、前記感情推定、生体計測およびその記録が中断される。ステップＳ９では、現在の通信品質レベルが「５」であるか否かが判定され、最初は「５」以外なのでステップＳ１０へ進む。ステップＳ１０では、通信品質レベルが現在よりも１段階だけ下げられ、その後、ステップＳ４へ戻って上記の処理が繰り返される。すなわち、通信品質を劣化させながら、感情の推定結果と生体情報の計測結果との対応関係がDB１４に記録される。全ての通信品質レベルでの感情推定、生体計測およびその記録が終了し、DB１４の構築が完了すると当該処理は終了する。

その後、前記ステップＳ１において「感情推定」が選択されるとステップＳ１１へ進む。ステップＳ１１において通信の開始が検知されるとステップＳ１２へ進み、被験者２の生体情報が計測される。ステップＳ１３では、被験者IDおよび生体情報の計測結果を検索キーとして前記DB１４が参照され、当該生体情報の計測結果と紐付けられている感情レベルが抽出される。ステップＳ１４では、前記抽出された感情レベルに基づいて被験者２の現在の感情の推定結果が出力される。本実施形態では、例えば生体情報の計測結果(LF/HF値)が一致するエントリが複数存在する場合には、当該エントリの感情レベルの平均値に基づいて被験者２の感情が推定される。ステップＳ１５では、前記感情の推定結果が出力される。

なお、上記の実施形態では、被験者端末５がソフトフォンあるいは携帯電話であり、被験者端末５と相手端末６との通話時に、被験者２の感情を通話音声に基づいて推定するものとして説明したが、本発明はこれのみに限定されるものではない。

例えば、被験者端末５がクライアントとしてWebサーバ３へアクセスする際の感情を推定するのであれば、被験者２が被験者端末５のキーボードを操作する際の押下強度や押下速度を計測し、図５に一例を示したように、押下強度が強いほど、あるいは押下速度が速いほど、被験者２の感情が高ぶっていると推定するようにしても良い。

また、被験者端末５とWebサーバ３との間で交換されるパケットを監視し、被験者２による強制終了操作が検知される頻度に基づいて被験者の感情を推定するようにしても良い。すなわち、HTTPによる通信中にTCP RSTメッセージが検知される頻度や、FTPによる通信中にABORコマンドが検知される頻度を監視し、図６に一例を示したように、これらの発生頻度が高いほど被験者２の感情が高ぶっていると推定するようにしても良い。

さらに、VoIPのようなリアルタイム系の通信であれば、セッションの確立から解放までの継続時間を計測し、図７に一例を示したように、セッションの継続時間が基準時間trefよりも短いほど、被験者２の感情が高ぶっていると推定するようにしても良い。さらに、カメラ（図示せず）で被験者２の表情を撮影し、これを適宜の表情心理分析に適用して被験者の感情を推定するようにしても良い。

さらに、上記の実施形態では生体情報として、脈拍間隔データ(R-R間隔)から求まる交感・副交感神経の相対的な活動比（LF/HF値）を採用するものとして説明したが、本発明はこれのみに限定されるものではなく、体温、血圧、心尖拍動、筋電位、眼振モード、眼振頻度、心・血管内圧、呼吸流速、呼吸圧および換気量を採用しても良い。

本発明に係る感情推定装置の主要部の構成を示した機能ブロック図である。感情推定部１ｂの主要部の構成を示した機能ブロック図である。本発明の一実施形態の動作を示したフローチャートである。データベースの内容を模式的に表現した図である。被験者によるキーボードの操作と感情との関係を示した図である。 TCP RSTメッセージやABORコマンドの発生頻度と被験者の感情との関係を示した図である。セッションの継続時間と被験者の感情との関係を示した図である。

１…感情推定装置，１ａ…通信品質制御部，１ｂ…感情推定部，２…被験者，３…Webサーバ，４…アクセスポイント(AP)，５…被験者端末，６…通話端末，７…ネットワーク(NW)，１１…感情計測部，１２…行動依存感情推定部，１３…生体計測部，１４…データベース(DB)，１５…通信品質指示部，１６…生体依存感情推定部

Claims

被験者の感情を生体情報に基づいて推定する感情推定装置において、
被験者に通信サービスを提供する手段と、
通信サービスを利用する被験者の生体情報を計測する生体計測手段と、
通信サービスを利用する被験者の感情を代表する感情情報を計測する感情計測手段と、
前記生体情報および感情情報を紐付けて記憶する記憶手段と、
前記生体計測手段で計測された生体情報と紐付けられた感情情報を前記記憶手段から抽出して被験者の感情を推定する感情推定手段とを具備したことを特徴とする感情推定装置。
前記生体情報および感情情報が被験者ごとに紐付けて記憶され、
前記感情推定手段は、被験者の生体情報と紐付けられた感情情報を前記記憶手段から抽出して被験者の感情を推定することを特徴とする請求項１に記載の感情推定装置。
前記生体計測手段は、被験者の心拍の揺らぎに基づいて交感・副交感神経の相対的な活動比を計測することを特徴とする請求項１または２に記載の感情推定装置。
前記感情計測手段は、被験者の音声に基づいて感情情報を計測することを特徴とする請求項１ないし３のいずれかに記載の感情推定装置。
前記感情計測手段は、被験者が利用中の通信サービスに対する入力操作に基づいて感情情報を計測することを特徴とする請求項１ないし３のいずれかに記載の感情推定装置。
前記感情計測手段は、被験者が利用中の通信サービスが当該被験者により強制終了された頻度に基づいて感情情報を計測することを特徴とする請求項１ないし３のいずれかに記載の感情推定装置。
前記感情計測手段は、前記通信が強制終了された頻度を、HTTPによる通信中にTCP RSTメッセージが送出されて強制終了された頻度で代表することを特徴とする請求項８に記載の感情推定装置。
前記感情計測手段は、前記通信が強制終了された頻度を、FTPによる通信中にABORコマンドが送出されて強制終了された頻度で代表することを特徴とする請求項８に記載の感情推定装置。
前記感情計測手段は、リアルタイム系の通信の継続時間に基づいて感情情報を計測することを特徴とする請求項６に記載の感情推定装置。
前記感情計測手段は、利用者の表情を写した映像信号に基づいて感情情報を計測することを特徴とする請求項６に記載の感情推定装置。
被験者が利用する通信サービスの品質を指定する通信品質指定手段と、
被験者が利用する通信の品質を前記指定品質に制御する通信品質制御手段とを具備したことを特徴とする請求項１ないし１０のいずれかに記載の感情推定装置。
被験者の感情を生体情報に基づいて推定する感情推定方法において、
被験者に通信サービスを提供する手順と、
通信サービスを利用する被験者の生体情報を計測する手順と、
通信サービスを利用する被験者の感情を代表する感情情報を計測する手順と、
前記生体情報および感情情報を紐付けて記憶する手順と、
被験者の生体情報を計測する手順と、
前記生体情報の計測結果と紐付けられた感情情報を抽出する手順と、
前記抽出された感情情報に基づいて被験者の感情を推定する手順とを含むことを特徴とする感情推定方法。