JP2018102617A - 感情推定装置、方法およびプログラム - Google Patents

Abstract

【課題】外的事象を監視する手段を必要とすることなく被験者の感情を推定できるようにし、構成が簡単で広範囲の用途に適用可能とする。
【解決手段】学習モードにおいて、感情入力デバイス２により入力された被験者の感情を表す情報を教師データとし、それと並行して計測デバイス３により計測された被験者の心電Ｈ、皮膚電位Ｇ、眼球運動ＥＭ、モーションＢＭおよび活動量Ｅｘの各計測データの特徴量を変数として、重回帰分析により、感情の変化を感情の活性度（Arousal）およびその強度（Valence）別に推定するための回帰式を生成する。そして、被験者の感情の変化を推定する際に、計測デバイス３により計測された被験者の心電Ｈ、皮膚電位Ｇ、眼球運動ＥＭ、モーションＢＭおよび活動量Ｅｘの各計測データの特徴量の変化と、上記回帰式とを用いて、被験者の感情の変化を推定する。
【選択図】図２

Description

この発明は、被験者の感情を推定する感情推定装置、方法およびプログラムに関する。

従来、車両運転中の安全性向上のために、人の心理状態を推定する技術が提案されている。例えば特許文献１には、被験者の心拍数や血圧等の生体情報を計測すると共に、被験者の心理状態に影響を与える可能性のある外的事象を受けたときの被験者の認知反応を取得し、この認知反応をもとに被験者の心理状態の変化への影響度を取得して、この影響度と上記生体情報とに基づいて被験者の心理状態を推定する技術が記載されている。

特許第４７４８０８４号公報

しかし、特許文献１に記載された技術では、被験者の心理状態を推定する場合、被験者の心理状態に影響を与える可能性のある外的事象の発生を検出し、さらにその時の被験者の認知反応を検出する必要がある。例えば、車両の運転中であれば、渋滞や割り込み、道路の状況等を、ＶＩＣＳ（登録商標）情報の取得手段や車速センサ、車間距離検出用のレーダセンサ、カメラ等を用いて検出し、さらにその時の被験者の認知反応を生体センサにより検出しなければならない。このため、外的事象を監視する手段を備える装置であることが前提となり、用途が限定されると共に装置の複雑化や大型化が避けられない。

この発明は上記事情に着目してなされたもので、外的事象の情報を必要とすることなく被験者の感情を推定できるようにし、構成が簡単で広範囲の用途に適用可能とした感情推定装置、方法およびプログラムを提供しようとするものである。

上記課題を解決するためにこの発明の第１の態様は、被験者の感情を表す情報を取得すると共に、前記被験者の活動状態を表す情報を取得し、取得された前記被験者の感情を表す情報と、前記被験者の活動状態を表す情報との関連性を表す学習データを生成してメモリに記憶する。そしてこの状態で、取得された前記被験者の現在の活動状態を表す情報と、前記メモリに記憶された学習データとに基づいて、前記被験者の現在の感情を推定するようにしたものである。

この発明の第２の態様は、前記学習データを生成する際に、取得された前記被験者の感情を表す情報を正解値とすると共に、同時に取得された前記被験者の活動状態を表す情報を変数として、前記被験者の感情を表す情報と前記活動状態を表す情報との関係性を表す回帰式を生成し、当該生成された回帰式を前記学習データとして前記メモリに記憶するようにしたものである。

この発明の第３の態様は、前記被験者の感情を表す情報として、感情の活性度（Arousal）とその強度（Valence）とにより表した情報を取得する。そして、前記被験者の感情を表す情報と前記活動状態を表す情報との関係性を表す回帰式を、前記感情の活性度（Arousal）および強度（Valence）の各々について生成し、当該生成された各回帰式を前記学習データとして前記メモリに記憶するようにしたものである。

この発明の第４の態様は、前記学習データを生成する際に、時系列方向に所定の単位時間幅を有するウィンドウを時間位置をシフトしながら複数設定し、当該ウィンドウごとに、ウィンドウ内における前記被験者の感情を表す情報の変化と前記被験者の活動状態を表す情報の変化との関連性を表す学習データを生成するようにしたものである。

この発明の第５の態様は、前記学習データを生成する際に、前記ウィンドウの単位時間幅および時系列方向へのシフト量の少なくとも一方を一定量可変するごとに、当該ウィンドウ内における前記被験者の感情を表す情報の変化と前記被験者の活動状態を表す情報の変化との関連性を表す学習データをそれぞれ生成する。そして、前記生成された学習データごとに、当該学習データに基づいて得られる推定値としての感情を表す情報の変化と、前記第１の取得部により取得された正解値としての感情を表す情報の変化との差を算出し、当該差が最小となるときの前記ウィンドウの単位時間幅およびシフト量の少なくとも一方を選択するようにしたものである。

この発明の第６の態様は、前記被験者の活動状態を表す情報として、心電、皮膚電位、眼球運動、モーションおよび活動量のうちの少なくとも１つを計測して得られた計測情報を取得するようにしたものである。

この発明の第７の態様は、前記感情推定部により推定された感情の値を感情の正解値の範囲と比較し、その比較結果に応じて、前記メモリに記憶された学習データを更新する学習データ更新部を、さらに具備するようにしたものである。

この発明の第１の態様によれば、先ず同一時間帯に取得された被験者の感情を表す情報と活動状態を表す情報とをもとに学習データが生成されメモリに記憶される。そしてこの状態で、被験者の現在の活動状態を表す情報が取得されると、当該現在の活動状態を表す情報と上記学習データとから被験者の現在の感情が推定される。すなわち、被験者の活動状態を表す情報が取得されるごとに、当該活動状態を表す情報と事前に生成しておいた学習データとをもとにこの時の被験者の感情がリアルタイムに推定される。従って、被験者の活動状態を表す情報を取得するだけで、被験者周辺の環境条件などの外的事象を監視することなく被験者の感情を推定できるようになる。また、被験者の外的事象を監視する手段が不要になることから、比較的簡単な構成で広範囲の用途に適用することができる。

この発明の第２の態様によれば、取得された被験者の感情を表す情報を正解値とし、同時に取得された被験者の活動状態を表す情報を変数とする回帰式が生成され、この回帰式が学習データとして記憶される。このため、大量の学習データを記憶しておくことなく、回帰式を用いた演算処理により被験者の感情を推定することが可能となる。

この発明の第３の態様によれば、感情の活性度（Arousal）とその強度（Valence）のそれぞれについて、被験者の感情を表す情報と活動状態を表す情報との関係性を表す回帰式が生成される。このため、被験者の感情を活性度（Arousal）と強度（Valence）に分けて推定することができ、被験者の感情の推定結果を、上記活性度（Arousal）と強度（Valence）とにより表される情報として出力することが可能となる。

この発明の第４の態様によれば、時系列上において所定の単位時間幅を有するウィンドウが時間位置をシフトしながら複数設定され、これらのウィンドウごとに被験者の感情を表す情報の変化と活動状態を表す情報の変化との関連性を表す学習データが生成される。このため、被験者の感情の変化を時間帯別に推定することが可能となる。

この発明の第５の態様によれば、上記ウィンドウの単位時間幅および時系列方向へのシフト量の少なくとも一方を一定量可変するごとに対応する学習データが生成され、この生成された学習データごとに、当該学習データに基づいて得られる推定値としての感情を表す情報の変化と、正解値としての感情を表す情報の変化との差が算出されて、当該差が最小となるときのウィンドウの単位時間幅又はシフト量が選択される。このため、感情の推定結果を正解値により近づけることができ、これにより被験者の感情の変化をより高精度に推定することが可能となる。

この発明の第６の態様によれば、被験者の活動状態を表す情報として、感情と相関を有する心電、皮膚電位、眼球運動、モーションおよび活動量のうち少なくとも１つが計測され、その計測データが学習データの生成および感情の推定処理に利用される。このため、被験者の感情を非侵襲で推定することが可能となる。この場合、上記複数の状態を２つ以上同時に計測すると、より精度の高い推定が可能となる。

この発明の第７の態様によれば、感情の推定値がその時の被験者の感情の正解値の範囲からずれた場合には、学習データが更新される。このようにすると、学習データが経年または時系列で変化したとしても、この変化に追従して学習データを更新することができ、これによりその時々で常に正解値に近い推定値を得ることが可能となる。

すなわちこの発明の各態様によれば、外的事象の情報を必要とすることなく被験者の感情を推定できるようになり、構成が簡単で広範囲の用途に適用可能とした感情推定装置、方法およびプログラムを提供することができる。

この発明の一実施形態に係る感情推定システムの全体構成を示す図。 図１に示したシステムで使用される感情推定装置の構成を示す機能ブロック図。 図２に示した感情推定装置における学習フェーズの処理手順と処理内容を示すフローチャート。 図３に示した学習モードのうち学習データの生成・記憶処理の処理手順と処理内容の前半部分を示すフローチャート。 図３に示した学習モードのうち学習データの生成・記憶処理の処理手順と処理内容の後半部分を示すフローチャート。 図２に示した感情推定装置における感情推定モードの処理手順と処理内容を示すフローチャート。 図１に示したシステムで使用される感情情報入力装置において入力される感情情報の定義を説明するための図。 図１に示したシステムの感情情報入力装置を用いた感情情報の入力結果の一例を示す図。 図１に示したシステムの感情情報入力装置において入力された感情情報をクラス分けした図。 図１に示したシステムの感情情報入力装置において入力された感情情報の変化量を示す図。

以下、図面を参照してこの発明に係わる実施形態を説明する。
［一実施形態］
（構成）
図１は、この発明の一実施形態に係る感情推定装置を備えたシステムの全体構成を示す図である。この一実施形態に係る感情推定システムは、感情推定装置１と、感情入力デバイス２と、計測デバイス３とを備える。上記感情入力デバイス２および計測デバイス３と、感情推定装置１との間は、通信ネットワーク４を介して通信可能となっている。

感情入力デバイス２は、例えばスマートフォンまたはタブレット型端末を使用し、アプリケーションプログラムの制御の下で感情入力画面を表示する。感情入力画面は、感情の活性度（Arousal）を縦軸にとり、活性度の強度（Valence）を横軸にとることで、感情を二次元座標平面で表したものである。上記感情入力画面上において、被験者が自身のその時の感情に対応する位置をプロットすると、感情入力デバイス２はこのプロットされた位置座標を被験者の感情を表す情報として認識する。なお、上記感情をArousalとValenceとからなる二次元座標平面で表す手法は、ラッセルの円環モデルとして知られている。図７にその概要を示す。

図８は感情入力デバイス２による時間帯別の感情の入力結果の一例を示したもので、活性度（Arousal）により「やる気」のあるなしとその程度が表され、活性度の強度（Valence）により「気分」がワクワクかイライラかとその程度が表される。

感情入力デバイス２は、上記感情を表す情報として検出した位置座標を、ArousalとValenceとで表される二次元座標平面の象限とArousalおよびValenceの各値に変換する。そして、この変換後のデータに入力日時を表すタイムスタンプデータを付与し、これを感情入力データ（以後スケールデータと呼ぶ）として、無線インタフェースを使用することにより通信ネットワーク４を介して感情推定装置１へ送信する。

計測デバイス３は、例えばウェアラブル端末に内蔵され、図１に示すように被験者の手首に装着される。計測デバイス３は、人の感情と相関を持つ人の活動状態を表す情報を計測する。人の活動状態を表す情報としては生体情報と行動情報がある。これらの生体情報および行動情報を計測するために、計測デバイス３は複数種類の生体センサおよび行動センサを内蔵する。これらの生体センサおよび行動センサは、例えば、心電Ｈ、皮膚電位Ｇ、モーションＢＭおよび活動量Ｅｘを計測するセンサからなる。

心電センサは、予め設定した周期或いは任意のタイミングで被験者の心電Ｈの波形データを計測し、その計測データを出力する。皮膚電位センサは、例えばポリグラフ計からなり、上記予め設定した周期或いは任意のタイミングで被験者の皮膚電位Ｇを計測し、その計測データを出力する。モーションＢＭを計測するセンサとしては、例えば３軸加速度センサが用いられ、３軸加速度の計測データを出力する。活動量Ｅｘを計測するセンサとしては活動量計が用いられ、身体活動の強度（メッツ）と、身体活動の量（エクササイズ）を表す計測データを出力する。

なお、人の感情と相関を持つ生体情報を計測するセンサとしては、他に、眼球運動ＥＭを計測するセンサがある。このセンサは、小型イメージセンサからなり、例えばメガネ又はゴーグルのフレームに設置される。

計測デバイス３は、上記各センサにより得られた各計測データに計測日時を表すタイムスタンプデータを付与し、この計測データを、無線インタフェースにより通信ネットワーク４を介して感情推定装置１へ送信する。なお、計測デバイス３はウェアラブル端末に内蔵する以外に、衣服やベルト、ヘルメット等に取着するタイプでもよい。

また、上記感情入力デバイス２および計測デバイス３が計測データを送信するために使用する無線インタフェースとしては、例えば、無線ＬＡＮ（Local Area Network）やBluetooth（登録商標）等の小電力型無線データ通信規格を採用した無線インタフェースが使用される。なお、感情入力デバイス２と通信ネットワーク４との間を接続するインタフェースとしては、公衆移動通信ネットワークやＵＳＢ（Universal Serial Bus）等の有線信号ケーブルを使用してもよい。

感情推定装置１は、例えばパーソナルコンピュータまたはサーバコンピュータからなり、次のように構成される。図２はその機能構成を示すブロック図である。すなわち、感情推定装置１は、制御ユニット１０と、記憶ユニット２０と、インタフェースユニット３０とを備える。

インタフェースユニット３０は、通信ネットワーク４により規定された通信プロトコルに従ってデータ通信を行うもので、上記感情入力デバイス２および計測デバイス３が送信したスケールデータおよび計測データを、通信ネットワーク４を介してそれぞれ受信する。なお、インタフェースユニット３０は入出力インタフェース機能も備え、この入出力インタフェース機能により、キーボードやマウス等の入力デバイスから出力されたデータを受信し、かつ制御ユニット１０から出力された表示データを図示しないディスプレイへ出力して表示させる。

記憶ユニット２０は、記憶媒体としてＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）等の随時書き込み読み出しが可能な不揮発性メモリを使用したもので、一実施形態を実施する上で必要な記憶領域として、スケールデータ記憶部２１と、計測データ記憶部２２と、学習データ記憶部２３とを備えている。

スケールデータ記憶部２１は、上記感情入力デバイス２から送信された、被験者の感情を表すスケールデータを記憶するために使用される。計測データ記憶部２２は、上記計測デバイス３から送信された計測データを記憶するために使用される。学習データ記憶部２３は、制御ユニット１０により生成された学習データを記憶するために使用される。

制御ユニット１０は、ＣＰＵ（Central Processing Unit）および作業用メモリを有し、一実施形態を実施する上で必要な制御機能として、スケールデータ取得制御部１１と、計測データ取得制御部１２と、特徴量抽出部１３と、学習データ生成部１４と、感情推定部１５と、推定結果出力部１６とを備えている。これらの制御機能はいずれも、図示しないプログラムメモリに格納されたアプリケーションプログラムを上記ＣＰＵに実行させることにより実現される。

スケールデータ取得制御部１１は、インタフェースユニット３０と共同して第１の取得部の機能を実現するもので、感情入力デバイス２において感情の入力操作が行われた場合に、当該感情入力デバイス２から送信されたスケールデータをインタフェースユニット３０を介して取得し、取得したスケールデータをスケールデータ記憶部２１に記憶させる処理を行う。

計測データ取得制御部１２は、インタフェースユニット３０と共同して第２の取得部の機能を実現するもので、上記計測デバイス３から送信された計測データをインタフェースユニット３０を介して取得し、取得した計測データを計測データ記憶部２２に記憶させる処理を行う。

特徴量抽出部１３は、時系列上の異なる複数の時間位置に設定されるウィンドウごとに、上記スケールデータ記憶部２１および計測データ記憶部２２からそれぞれ上記ウィンドウに含まれるスケールデータおよび各計測データを読み込む。そして、読み込んだスケールデータおよび各計測データのそれぞれについて、特徴量を抽出してその変化量を算出し、その算出結果を学習データ生成部１４に渡す。

なお、ウィンドウは所定の単位時間幅を有し、時系列上で隣り合うウィンドウ同士が互いに重ならないように上記単位時間幅ずつシフトすることにより設定されるか、又は時系列上で隣り合うウィンドウ同士が部分的に重なるように上記単位時間幅より短い時間ずつ順次シフトすることにより設定される。また、ウィンドウの単位時間幅は所定の範囲で一定量ずつ可変可能である。

学習データ生成部１４は、学習モードにおいて、上記特徴量抽出部１３によりウィンドウごとに抽出されたスケールデータのArousalおよびValence別の特徴量の変化量を正解値（教師データ）とし、各計測データの特徴量の変化量を変数として、重回帰分析を行うことで、被験者の感情と各計測データの特徴量との関係性を表す回帰式をArousalおよびValence別に生成する。そして、生成した回帰式を、どの時間位置のウィンドウであるかを示すウィンドウ識別情報と対応付けて、感情推定に使用する学習データとして学習データ記憶部２３に記憶させる。

また学習データ生成部１４は、上記ArousalおよびValence別の回帰式を、ウィンドウの単位時間幅を一定量ずつ可変するごとにそれぞれ生成する。そして、この生成された回帰式を用いて算出した感情の推定値の時系列方向の合計と、教師データとして与えられたスケールデータの感情情報の正解値の合計との差分が最も小さくなるときのウィンドウの単位時間幅とシフト量を選択し、この選択したウィンドウの単位時間幅とシフト量、それに対応する回帰式を感情推定部１５に提供する。

感情推定部１５は、上記学習データが記憶された後の感情推定モードにおいて、特徴量抽出部１３からウィンドウごとに各計測データから抽出された特徴量の変化量を読み込むと共に、上記学習データ記憶部２３から上記ウィンドウに対応するArousalおよびValence別の回帰式を読み込む。そして、上記各計測データの特徴量の変化と上記回帰式を用いて、ArousalおよびValence別に感情変化の推定値を算出し、その算出結果を推定結果出力部１６へ出力する。

推定結果出力部１６は、上記感情推定部１５から出力されたArousalおよびValence別の感情変化の推定値をもとに、被験者のこの時の感情の変化を表す表示情報を生成し、インタフェースユニット３０から通知先の管理装置へ送信する。

（動作）
次に、以上のように構成された感情推定装置１の動作を、システム全体の動作と共に説明する。
（１）学習データの生成
被験者の感情推定処理に先立ち、感情推定装置１は学習モードを設定し、以下のように被験者固有の学習データを生成する。図３はその処理手順と処理内容を示すフローチャートである。

例えば、製造設備の作業者を被験者とし、当該被験者に実際に作業をしてもらいながら、所定の時間間隔又は任意のタイミングでその時々の被験者自身の感情を、感情入力デバイス２により入力してもらう。

（１−１）被験者の感情情報の入力および被験者の活動状態を表す生体・行動情報の計測と、その入力データおよび計測データの収集
感情入力デバイス２は、先に述べたように感情を活性度（Arousal）とその強度（Valence）とからなる二次元座標平面で表したもので、被験者がプロットした二次元座標平面における座標値を検出する。また、このとき感情入力デバイス２は、上記二次元座標平面を図９に示すように４つの象限“１”，“２”，“３”，“４”に分け、さらにArousalおよびValenceの各軸の値を図１０に示すように交点を０として、−１００〜＋１００により表している。感情入力デバイス２は、上記検出した座標値を、上記象限を表す情報と、上記ArousalおよびValenceの各軸の値に変換する。そして、この変換後の情報に入力日時を表すタイムスタンプデータを付加し、これをスケールデータとして感情推定装置１へ送信する。

またそれと並行して計測デバイス３では、上記作業中の被験者の心電Ｈ、皮膚電位Ｇ、モーションＢＭおよび活動量Ｅｘが一定の時間間隔で計測され、その各計測データが計測時刻を表すタイムスタンプデータと共に感情推定装置１へ送信される。また、被験者の眼球運動ＥＭが図示しないイメージセンサにより計測され、その計測データもタイムスタンプデータと共に感情推定装置１へ送信される。

感情推定装置１は、上記感情入力デバイス２から送信されるスケールデータを、ステップＳ１１により、スケールデータ取得制御部１１の制御の下でインタフェースユニット３０を介して受信し、この受信したスケールデータをスケールデータ記憶部２１に記憶させる。またそれと共に、上記計測デバイス３およびイメージセンサから送信される各計測データを、ステップＳ１２により、計測データ取得制御部１２の制御の下でインタフェースユニット３０を介して受信し、この受信した各計測データを計測データ記憶部２２に記憶させる。

（１−２）学習データの生成
上記スケールデータおよび各計測データが一定期間分（例えば１日分又は１週間分）蓄積されると、感情推定装置１はステップＳ１３により、特徴量抽出部１３および学習データ生成部１４の制御の下、学習データの生成処理を以下のように実行する。図４および図５はその処理手順と処理内容を示すフローチャートである。

すなわち、先ずステップＳ１３１によりウィンドウＷｉ（ｉ＝１，２，３，…）の単位時間幅を初期値に設定し、ステップＳ１３２によりｉ＝１番目のウィンドウを選択する。次に特徴量抽出部１３が、ステップＳ１３３により、上記１番目のウィンドウの期間に含まれる複数のスケールデータを上記スケールデータ記憶部２１から読み込み、ステップＳ１３４によりArousalおよびValence別にその特徴量の変化量を算出する。例えば、いま図１０に示すように１つのウィンドウの期間内にスケールデータＫ１，Ｋ２が入力された場合には、象限が“３”→“４”、Arousal＋２０、Valence＋５０のように変化量が算出される。なお、象限が“３”→“２”のように対角状に変化した場合にも、ArousalおよびValence別にその特徴量の変化量を算出すればよい。

特徴量抽出部１３は、続いてステップＳ１３５により、上記１番目のウィンドウの期間に計測された各計測データ、つまり心電Ｈ、皮膚電位Ｇ、モーションＢＭ、活動量Ｅｘおよび眼球運動ＥＭの全計測データを上記計測データ記憶部２２から読み込み、ステップＳ１３６においてこれらの計測データから特徴量を抽出する。

例えば、心電Ｈの特徴量としては、心拍の間隔（R-R Interval：RRI ）、当該RRI のパワースペクトルの高周波成分（HF）および低周波成分（LF）が抽出される。皮膚電位Ｇの特徴量としては、皮膚電気抵抗（Galvanic Skin Response：GSR）が抽出される。眼球運動ＥＭの特徴量としては、視線速度や瞳孔サイズが抽出される。モーションＢＭの特徴量としては例えば手の動きの速度が抽出される。手の動きの速度は、例えば３軸加速度センサにより計測される３軸加速度から算出できる。活動量Ｅｘの特徴量は、身体活動の強度（METs）とエクササイズ（EX）により表される。エクササイズ（EX）は、身体活動の強度（METs）×身体活動の実施時間により算出される。

そして特徴量抽出部１３は、上記抽出された心電Ｈ、皮膚電位Ｇ、モーションＢＭ、活動量Ｅｘおよび眼球運動ＥＭの各特徴量の、上記ウィンドウの期間内における変化量をそれぞれ算出する。

次に学習データ生成部１４は、ステップＳ１３７において、上記ステップＳ１３４で算出されたスケールデータの特徴量の変化量と、上記ステップＳ１３６により算出された各計測データの特徴量の変化量とに基づいて、ArousalおよびValence別に学習データを生成する。例えば、スケールデータのArousalおよびValence別の特徴量の変化量を教師データとし、各計測データの特徴量の変化量を一次指標となる独立変数として、重回帰分析を行う。そして、被験者の感情の変化と各生体・行動情報の変化との関係性を表す回帰式をArousalおよびValence別に生成する。

以下にｉ番目のウィンドウに対応する回帰式を示す。
Ａ^i ＝ｆ（α1Ｈi ，α2Ｇi ，α3ＥＭi ，α4ＢＭi ，α5Ｅｘi ）
Ｖ^i ＝ｆ（α1Ｈi ，α2Ｇi ，α3ＥＭi ，α4ＢＭi ，α5Ｅｘi ）
但し、Ａ^i ，Ｖ^i はArousalおよびValenceの変化の推定値、α1，α2，α3 ，α4，α5 はそれぞれ計測データＨi ，Ｇi ，ＥＭi ，ＢＭi ，Ｅｘの特徴量に対する重み付け係数、ｆは一次指標である計測データＨi ，Ｇi ，ＥＭi ，ＢＭi ，Ｅｘの特徴量から得られる指標の総合計を示す。重み付け係数は、例えば学習段階で得られる母集団データの中の比率などを考慮して加重平均などにより設定してもよい。なお、Ａ^iおよびＶ^i の“^”は、「ハット」と読み、本来はＡ、Ｖの頭部に記述される記号である。

学習データ生成部１４は、上記生成されたｉ番目のウィンドウに対応するArousalおよびValenceの回帰式を、ステップＳ１３８により学習データ記憶部２３に保存する。そして、ステップＳ１３９により、すべてのウィンドウＷｉについて回帰式の生成処理が終了したか否かを判定し、未選択のウィンドウが残っていればステップＳ１３２に戻り、次の未選択のウィンドウを選択してステップＳ１３３〜Ｓ１３９による一連の学習データ生成処理を繰り返す。

（１−３）ウィンドウの単位時間幅とシフト量の最適値の決定
特徴量抽出部１３および学習データ生成部１４は、ウィンドウの単位時間幅とシフト量の最適値を決定するために、ウィンドウの単位時間幅を一定量ずつ可変すると共に、ウィンドウの時系列方向へのシフト量を一定量ずつ可変する。そして、そのすべての組み合わせの中で、回帰式により得られる感情推定値と、感情入力デバイス２により入力された感情情報の正解値との差分が最も小さい組み合わせを選択し、この選択したウィンドウの単位時間幅とシフト量、およびこの組み合わせのときに生成された回帰式を感情推定モード用として設定する。

以上の処理を以下に説明する。図５はその処理手順と処理内容を示すフローチャートである。
すなわち、学習データ生成部１４は、ステップＳ１４１により、ウィンドウＷｉごとに生成された各回帰式をもとに感情の推定値Ａ^i ，Ｖ^iをそれぞれ算出し、算出されたすべてのＡ^i ，Ｖ^iの合計Ａ^，Ｖ^を算出する。そして、ステップＳ１４２により、感情入力デバイス２により入力された感情情報の真値の合計Ａ，Ｖと、上記感情の推定値の合計Ａ^，Ｖ^との差分を
Σ（Ａ−Ａ^），Σ（Ｖ−Ｖ^）
により算出し、その算出結果を学習データ記憶部２３に保存する。なお、図５では図示の簡単のためΣ（Ａ−Ａ^）のみを代表して示している。

学習データ生成部１４は、次にステップＳ１４３において、ウィンドウの単位時間幅とシフト量の可変を終了したか否か、つまりウィンドウの単位時間幅とシフト量のすべての組み合わせについて回帰式の生成処理を終了したか否かを判定する。この判定の結果、まだ終了していなければ、ステップＳ１４４によりウィンドウＷｉの単位時間幅とシフト量を一定量可変し、図４に示すステップＳ１３２に戻る。そして、ステップＳ１３２〜Ｓ１４３による処理を実行する。以後、ウィンドウの単位時間幅とシフト量のすべての組み合わせについて回帰式の生成処理が終了するまで、上記ステップＳ１３２〜Ｓ１４４による処理を繰り返す。

そして、ウィンドウの単位時間幅とシフト量のすべての組み合わせについて回帰式の生成処理が終了すると、学習データ生成部１４はステップＳ１４５に移行し、上記ウィンドウの単位時間幅とシフト量のすべての組み合わせについて計算された、感情情報の真値の合計Ａ，Ｖと、上記感情の推定値の合計Ａ^，Ｖ^との差分をΣ（Ａ−Ａ^），Σ（Ｖ−Ｖ^）を比較する。そして、Σ（Ａ−Ａ^），Σ（Ｖ−Ｖ^）がいずれも最小となるウィンドウの単位時間幅とシフト量の組み合わせを選択する。

学習データ生成部１４は、続いてステップＳ１４６において、上記選択されたウィンドウの単位時間幅とシフト量の組み合わせを特徴量抽出部１３に設定すると共に、ステップＳ１４７において上記選択した組み合わせに対応する回帰式を学習データ記憶部２３に記憶させる。かくして、学習データの生成を終了する。

（２）感情の推定
上記学習データの生成が終了すると、感情推定装置１はこの学習データを用いて、以後被験者の作業中の感情の推定を行う。図６はその処理手順と処理内容を示すフローチャートである。

計測デバイス３は、被験者の作業中に所定の時間間隔又はタイミングにおいて被験者の心電Ｈ、皮膚電位Ｇ、眼球運動ＥＭ、モーションＢＭおよび活動量Ｅｘを計測し、その計測データを感情推定装置１へ送信する。

感情推定装置１は、上記計測デバイス３およびイメージセンサから送信される各計測データを、ステップＳ２１により、計測データ取得制御部１２の制御の下で、インタフェースユニット３０を介して受信して計測データ記憶部２２に記憶させる。そして感情推定装置１は、特徴量抽出部１３により、上記学習データ生成処理において設定されたウィンドウの単位時間幅で、上記各計測データを計測データ記憶部２２から読み込み、この計測データから特徴量を抽出する。このとき抽出される特徴量は、学習モードで抽出されるものと同じであるため、ここでの説明は省略する。

感情推定装置１は、次にステップＳ２２において、感情推定部１５の制御の下、上記計測データが得られた時間帯に対応するArousalおよびValence別の回帰式を学習データ記憶部２３から読み出す。続いてステップＳ２３において、上記測定データの特徴量と上記回帰式に基づいて、上記測定データが得られた時間帯における被験者の感情の推定値Ａ^i ，Ｖ^iを算出する。そして、推定結果出力部１６がステップＳ２４において、上記算出されたArousalおよびValence別の感情推定値Ａ^i ，Ｖ^iをもとに、被験者のこの時の感情を表す表示データを生成し、当該表示データを例えば管理者の端末へ送信して表示させる。

管理者は、端末に表示された被験者の感情の推定結果に応じて、被験者に対し休憩を指示したり、作業の継続を指示する。

（効果）
以上詳述したように一実施形態では、学習モードにおいて、感情入力デバイス２により入力された被験者の感情を表す情報を教師データとし、それと同一時間帯に計測デバイス３により計測された被験者の心電Ｈ、皮膚電位Ｇ、眼球運動ＥＭ、モーションＢＭおよび活動量Ｅｘの各計測データの特徴量を変数として、重回帰分析により、感情の変化を感情の活性度（Arousal）およびその強度（Valence）別に推定するための回帰式を生成する。そして、被験者の感情の変化を推定する際に、計測デバイス３により計測された被験者の心電Ｈ、皮膚電位Ｇ、眼球運動ＥＭ、モーションＢＭおよび活動量Ｅｘの各計測データの特徴量の変化と、上記回帰式とを用いて、被験者の感情の変化を推定するようにしている。

従って、推定モードにおいては、被験者の生体情報および行動情報の計測データと、学習データとして事前に生成した回帰式とをもとに、その時の被験者の感情変化をリアルタイムに推定することができる。このため、被験者周辺の環境条件などの外的事象を監視することなく被験者の感情変化を推定できるようになり、また被験者の外的事象を監視する手段が不要になることから、比較的簡単な構成で広範囲の用途に適用することができる。

また、感情の変化を、ArousalとValenceとから構成される二次元座標平面の象限と、ArousalおよびValenceの各変化量により表すようにしているので、感情の変化を簡単かつ的確に表すことができる。

さらに、時系列データからなる各計測データをもとに感情変化を推定するために、時系列上にウィンドウを設定し、このウィンドウに対し回帰式を生成するようにしたので、被験者の感情の変化を時間帯ごとに適切に推定することが可能となる。しかも、ウィンドウを設定する際に、ウィンドウの単位時間幅とシフト量をそれぞれ一定量ずつ可変してそのすべての組み合わせについて回帰式を生成し、これらの回帰式により得られる感情の推定値と、感情入力デバイス２により入力された感情の真値との差分が最小となるウィンドウの単位時間幅とシフト量の組み合わせを選択し設定するようにしている。このため、被験者の感情変化を高精度に推定することが可能となる。

［他の実施形態］
なお、この発明は上記実施形態に限定されるものではない。例えば、人の感情と生体情報および行動情報との関係性は、月日や曜日、季節、環境の変化等により変化する場合がある。そこで、学習データは、定期的又は必要時に更新することが望ましい。例えば、感情推定部１５により得られた感情の推定値を感情の正解値と比較してその差を算出し、算出された差が予め設定された正解値の範囲を超える場合には、上記学習データ記憶部２３に記憶されている学習データを更新する処理を行う。この場合、上記正解値は感情の推定値の変化の傾向から推定することができる。または、被験者が定期的に感情入力デバイス２により感情の正解値を入力し、この入力された値を使用してもよい。

また、一実施形態では被験者の感情を表す情報を、スマートフォンまたはタブレット型端末からなる感情入力デバイス２を用いて感情推定装置１に入力する場合を例にとって説明した。しかし、これに限定されるものではなく、例えば被験者がアンケート用紙等の紙媒体に記載した自身の感情情報をスキャナ等を用いて読み取り、その情報を感情推定装置１に入力するようにしてもよい。

さらに、被験者の顔の表情をカメラ等により検出し、この顔表情の検出情報を感情を表す情報として感情推定装置１に入力するようにしてもよい。またさらに、被験者の音声をマイクロフォンにより検出し、その検出情報を感情を表す情報として感情推定装置１に入力するようにしてもよい。また、不特定多数の人の感情を表す情報をアンケート等により収集して、収集した情報の平均等を母集団データとして個人の感情情報を補正するようにしてもよい。その他、人の感情を表す情報を感情推定装置１に入力するための手法については、如何なる手法を用いてもよい。

また一実施形態では、被験者の感情を表す情報を、感情の活性度（Arousal）とその強度（Valence）とにより２次元平面で表した場合を例にとって説明した。しかし、これについても他の表現手法を採用してもよい。

さらに一実施形態では、被験者の活動状態を表す情報として、心電Ｈ、皮膚電位Ｇ、眼球運動ＥＭ、モーションＢＭおよび活動量Ｅｘの各計測データを感情推定装置１に入力し、これらをすべて用いて感情を推定するようにした。しかし、それに限らず、上記各計測データのうちの少なくとも１つの計測データを用いて感情を推定するようにしてもよい。例えば、心電Ｈは生体情報の中でも感情に対する寄与率が高いので、心電Ｈの計測データのみを用いて感情を推定することは十分に可能である。なお、ここに例示した生体情報以外の他の生体情報を用いてもよいことは言うまでもない。

さらには、感情推定装置をスマートフォンやウェアラブル端末により構成し、これらの端末に計測デバイスの機能を収容するようにしてもよく、また感情推定装置に感情入力デバイスの機能を備えるようにしてもよい。

その他、被験者の活動状態を表す情報としての生態・行動情報の種類や、感情変化と生体・行動情報の変化との関係性を表すモデルの構成、学習データの生成処理手順とその処理内容、勘定の推定処理とその処理内容、感情推定装置の種類や構成等についても、この発明の要旨を逸脱しない範囲で種々変形して実施できる。

要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

上記実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られるものではない。
（付記１）
被験者の感情を活性度（Arousal）とその強度（Valence）とにより表される情報として入力することが可能な感情入力デバイスと、前記被験者の状態を表す情報を計測してその計測情報を出力する計測デバイスとの間で、情報伝送が可能な感情推定装置であって、ハードウェアプロセッサと、メモリとを有し、
前記ハードウェアプロセッサは、
前記感情入力デバイスから、入力された感情情報を取得し、
前記計測デバイスから、前記計測情報を取得し、
学習モードにおいて、前記取得された感情情報を第１の感情情報とすると共に、前記取得された計測情報を第１の計測情報とし、当該第１の感情情報と第１の計測情報との関連性を表す学習データを生成して前記メモリに記憶し、
前記学習データが生成された後の感情推定モードにおいて、前記取得された計測情報を第２の計測情報とし、当該第２の計測情報と前記メモリに記憶された学習データとに基づいて、前記第２の計測情報に対応する第２の感情情報を推定するように構成される感情推定装置。

（付記２）
少なくとも１つのハードウェアプロセッサおよびメモリを備える装置が実行する感情推定方法であって、
前記少なくとも１つのハードウェアプロセッサおよびメモリを用いて、被験者の感情を活性度（Arousal）とその強度（Valence）とにより表される情報として入力することが可能な感情入力デバイスから、入力された感情情報を取得する感情情報取得過程と、
前記少なくとも１つのハードウェアプロセッサおよびメモリを用いて、前記被験者の状態を表す情報を計測する計測デバイスから、計測情報を取得する計測情報取得過程と、
前記少なくとも１つのハードウェアプロセッサおよびメモリを用いて、学習モードにおいて、前記取得された感情情報を第１の感情情報とすると共に、前記取得された計測情報を第１の計測情報とし、当該第１の感情情報と第１の計測情報との関連性を表す学習データを生成して、前記メモリに記憶する学習データ生成過程と、
前記少なくとも１つのハードウェアプロセッサおよびメモリを用いて、前記学習データが生成された後の推定モードにおいて、前記取得された計測情報を第２の計測情報とし、当該第２の計測情報と前記メモリに記憶された学習データとに基づいて、前記第２の計測情報に対応する第２の感情情報を推定する感情推定過程と
を具備する感情推定方法。

１…感情推定装置、２…感情入力デバイス、３…計測デバイス、４…通信ネットワーク、１０…制御ユニット、１１…スケールデータ取得制御部、１２…計測データ取得制御部、１３…特徴量抽出部、１４…学習データ生成部、１５…感情推定部、１６…推定結果出力部、２０…記憶ユニット、２１…スケールデータ記憶部、２２…計測データ記憶部、２３…学習データ記憶部、３０…インタフェースユニット。

Claims (9)

1. 被験者の感情を表す情報を取得する第１の取得部と、
   前記被験者の活動状態を表す情報を取得する第２の取得部と、
   前記第１の取得部により取得された前記被験者の感情を表す情報と、前記第２の取得部により取得された前記被験者の活動状態を表す情報との関連性を表す学習データを生成して、メモリに記憶する学習データ生成部と、
   前記学習データが生成された後に、前記第２の取得部により取得された前記被験者の現在の活動状態を表す情報と、前記メモリに記憶された学習データとに基づいて、前記被験者の現在の感情を推定する感情推定部と
   を具備する感情推定装置。
2. 前記学習データ生成部は、前記第１の取得部により取得された前記被験者の感情を表す情報を正解値とすると共に、前記第２の取得部により同時に取得された前記被験者の活動状態を表す情報を変数として、前記被験者の感情を表す情報と前記活動状態を表す情報との関係性を表す回帰式を生成し、当該生成された回帰式を前記学習データとして前記メモリに記憶する請求項１に記載の感情推定装置。
3. 前記第１の取得部は、前記被験者の感情を表す情報として、感情の活性度（Arousal）とその強度（Valence）とにより表した情報を取得し、
   前記学習データ生成部は、前記被験者の感情を表す情報と前記活動状態を表す情報との関係性を表す回帰式を、前記感情の活性度（Arousal）および強度（Valence）の各々について生成し、当該生成された各回帰式を前記学習データとして前記メモリに記憶する請求項２に記載の感情推定装置。
4. 前記学習データ生成部は、時系列方向に所定の単位時間幅を有するウィンドウを時間位置をシフトしながら複数設定し、当該ウィンドウごとに、ウィンドウ内における前記被験者の感情を表す情報の変化と前記被験者の活動状態を表す情報の変化との関連性を表す学習データを生成する請求項１に記載の感情推定装置。
5. 前記学習データ生成部は、
   前記ウィンドウの単位時間幅および時系列方向へのシフト量の少なくとも一方を一定量可変するごとに、当該ウィンドウ内における前記被験者の感情を表す情報の変化と前記被験者の活動状態を表す情報の変化との関連性を表す学習データをそれぞれ生成する生成部と、
   前記生成された学習データごとに、当該学習データに基づいて得られる推定値としての感情を表す情報の変化と、前記第１の取得部により取得された正解値としての感情を表す情報の変化との差を算出し、当該差が最小となるときの前記ウィンドウの単位時間幅およびシフト量の少なくとも一方を選択する選択部と
   を備える請求項４に記載の感情推定装置。
6. 前記第２の取得部は、前記被験者の活動状態を表す情報として、心電、皮膚電位、眼球運動、モーションおよび活動量のうちの少なくとも１つを計測して得られた計測情報を取得する請求項１乃至５のいずれかに記載の感情推定装置。
7. 前記感情推定部により推定された感情の値を感情の正解値の範囲と比較し、その比較結果に応じて、前記メモリに記憶された学習データを更新する学習データ更新部を、さらに具備する請求項１乃至６のいずれかに記載の感情推定装置。
8. プロセッサとメモリを備える感情推定装置が実行する感情推定方法であって、
   前記感情推定装置が、被験者の感情を表す情報を取得する過程と、
   前記感情推定装置が、前記被験者の活動状態を表す情報を取得する過程と、
   前記感情推定装置が、前記取得された前記被験者の感情を表す情報と、前記取得された前記被験者の活動状態を表す情報との関連性を表す学習データを生成して、前記メモリに記憶する過程と、
   前記感情推定装置が、前記学習データが生成された後に、前記被験者の現在の活動状態を表す情報を取得し、当該取得された現在の活動状態を表す情報と、前記メモリに記憶された学習データとに基づいて、前記被験者の現在の感情を推定する過程と
   を具備する感情推定方法。
9. 請求項１乃至請求項７のいずれかに記載の感情推定装置が具備する各部としてプロセッサを機能させる感情推定プログラム。