JP2017176580A - 感情制御装置、感情制御方法、およびプログラム - Google Patents

Abstract

【課題】 複数の分析結果に基づいてユーザの感情の状態を精度よく推定し、感情を制御することが可能な、感情制御装置等を提供する。【解決手段】 感情制御装置１は、ユーザの心拍変動情報を取得し（ステップＳ１）、この心拍変動情報に基づいて第１の感情分類２０Ａへ分類し（ステップＳ２）、ユーザの瞳孔サイズ情報を取得（ステップＳ３）、この瞳孔サイズ情報に基づいて第２の感情分類２０Ｂへ分類する（ステップＳ４）。そして、第１の感情分類２０Ａおよび前記第２の感情分類２０Ｂの分類結果に基づいて、ユーザの感情状態を判定し（ステップＳ５）、感情状態に応じた所定の制御を実行する（ステップＳ６）。【選択図】図４

Description

本発明は、感情制御装置、感情制御方法、およびプログラムに関し、特に、ユーザの感情を推定する技術に関する。

従来から、ユーザの感情を推定し、推定した感情に応じた処理を実行するシステムが存在する（例えば特許文献１など）。この種のシステムは、ユーザの感情を的確に推定することが極めて重要である。
ところで、心拍センサから取得される心拍データを利用して、感情の状態を推定する方法が知られている（非特許文献１）。この方法によれば、心拍数および心拍変動の高周波成分を組み合わせることにより、低覚醒／中性、高覚醒／快、高覚醒／不快、等の状態を推定する。

また特許文献２には、心拍変動の高周波成分、低周波成分等に基づいて、交感神経活動度指標（ＬＦ／ＨＦ）等を算出し、ストレスに関係する自律神経機能を評価することが記載されている。

特許第４４６５７３０号公報 特許第４４８７０１５号公報

豊沢聡，河合隆史，「視聴者の心拍活動を用いた映像短縮方法とその評価」，映像情報メディア学会誌，63(1)，2009，pp86-94

しかしながら、心拍変動は個人差（年齢や疾患など）や測定条件によって値が大きく変動し、また、感情を司る自律神経機能以外の様々な臓器、器官の機能が心拍変動に影響を与えているため、心拍変動のみから感情の状態を正確に把握することは難しい、という問題がある。

本発明は、前述した問題点に鑑みてなされたものであり、その目的とすることは、複数の分析結果に基づいてユーザの感情の状態を精度よく推定し、感情を制御することが可能な、感情制御装置等を提供することである。

前述した目的を達成するための第１の発明は、複数の分析結果に基づいてユーザの感情状態を判定する感情状態判定手段と、前記感情状態に応じた所定の制御を実行する感情制御手段と、を備えることを特徴とする感情制御装置である。

第１の発明において、ユーザの心拍変動情報を取得し、この心拍変動情報に基づいて第１の感情分類へ分類する第１の感情分類手段と、ユーザの瞳孔サイズ情報を取得し、この瞳孔サイズ情報に基づいて第２の感情分類へ分類する第２の感情分類手段と、を更に備え、前記感情状態判定手段は、前記第１の感情分類および前記第２の感情分類の分類結果に基づいて、ユーザの感情状態を判定することが望ましい。

第１の発明において、前記第２の感情分類手段は、取得した瞳孔サイズ情報を周囲の明るさに応じて補正し、補正した瞳孔サイズ情報に基づいて第２の感情分類へ分類することが望ましい。

第２の発明は、複数の分析結果に基づいてユーザの感情状態を判定する感情状態判定ステップと、前記感情状態に応じた所定の制御を実行する感情制御ステップと、を含むことを特徴とする感情制御方法である。

第３の発明は、請求項１から請求項３のいずれかに記載の感情制御装置として機能させることを特徴とするプログラムである。

本発明により、複数の分析結果に基づいてユーザの感情の状態を精度よく推定し、感情を制御することが可能な、感情制御装置等が提供される。

感情制御装置１のハードウェア構成 判定対象の感情状態を表す図 感情制御情報３１を例示する図 感情制御装置１の動作を説明するフローチャート

以下図面に基づいて、本発明の実施形態（以下、本実施形態）を詳細に説明する。

（感情制御装置１のハードウェア構成）
図１は、本実施形態に係る感情制御装置１のハードウェア構成を示す図である。図に示すように、感情制御装置１は、制御部１１、記憶部１２、通信制御部１３、入力部１４、表示部１５、周辺機器Ｉ／Ｆ部１６、などが、バス１９を介して接続されて構成される。感情制御装置１は、例えば、スマートフォン、ウェアラブルデバイス、パーソナルコンピュータ等の形態で実現される。

また、図に示すように、赤外線カメラ３Ａと心拍センサ３Ｂが通信制御部１３を介して感情制御装置１と接続される。

赤外線カメラ３Ａは、ユーザの瞳孔を映した赤外線画像を撮影する。この赤外線カメラ３Ａは、例えば、ユーザが装着可能な眼鏡型のウェアラブルデバイスに赤外線ライトとともに搭載される。そして、赤外線カメラ３Ａは、赤外線ライトにより照らされたユーザの目を撮影する。撮影した赤外線画像データは、感情制御装置１に転送され、記憶部１２に格納される。

心拍センサ３Ｂは、ユーザの腕、指、耳たぶ等から心拍データを計測する。心拍データとは、少なくとも心拍変動を算出可能なデータであり、例えば、心拍の波形データや心拍間隔（拍動の一拍と次の一拍の間の時間）のデータである。この心拍センサ３Ｂは、例えば、腕、指、耳たぶ等に装着可能なウェアラブルデバイスに搭載される。心拍センサ３Ｂにより計測された心拍データは、感情制御装置１に転送され、記憶部１２に格納される。また心拍センサ３Ｂとして、ユーザの顔を撮影するカメラ（ＣＣＤカメラ等の通常カメラ）を用いもよい。この場合、撮影した画像データに対して、顔の血流の微小な変化と連動する顔色の変化を画像解析することで、心拍データを得る。

赤外線カメラ３Ａと心拍センサ３Ｂは、別々のデバイスに搭載してもよいが、一つのデバイスに搭載してもよい。例えば、赤外線カメラ３Ａと心拍センサ３Ｂ（通常カメラ）を一つの眼鏡型のウェアラブルデバイスに搭載することが可能である。或いは、この眼鏡型のウェアラブルデバイスの通常カメラに換えて、耳たぶから心拍データを取得する心拍センサを備えるように構成してもよい。

制御部１１は、ＣＰＵ(Central Processing
Unit)、ＲＯＭ(Read Only Memory)、ＲＡＭ(Random
Access Memory)等で構成される。ＣＰＵは、記憶部１２、ＲＯＭ、記録媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行することによって本発明に係る感情制御装置１の全ての制御を実行する。
ＲＯＭは、不揮発性メモリであり、プログラムやデータ等を恒久的に保持している。ＲＡＭは、揮発性メモリであり、記憶部１２、ＲＯＭ、記録媒体等からロードしたプログラム、データ等を一時的に保持するとともに、制御部１１が各種処理を行う為に使用するワークエリアを備える。

記憶部１２は、フラッシュメモリ、ＨＤＤ（Hard Disk
Drive）等であり、制御部１１が実行するプログラム、プログラム実行に必要なデータ等が格納される。プログラム等は、制御部１１により必要に応じて読み出されＲＡＭに移されて実行される。

通信制御部１３は、通信制御端末、通信ポート等を有し、感情制御装置１とネットワーク間の通信を媒介する通信インターフェースであり、ネットワークを介して、赤外線カメラ３Ａおよび心拍センサ３Ｂとのデータ通信の制御を行う。

入力部１４は、データの入力を行い、例えば、タッチパネル等の入力装置を有する。
表示部１５は、液晶パネル等のディスプレイ装置、ディスプレイ装置と連携してコンピュータのビデオ機能を実現するための論理回路等（ビデオアダプタ等）を有する。尚、入力部１４及び表示部１５は、タッチパネルディスプレイのように、一体となっていても良い。

周辺機器Ｉ／Ｆ（インターフェース）部１６は、感情制御装置１と周辺機器を接続させるためのポートであり、周辺機器Ｉ／Ｆ部１６を介して感情制御装置１は周辺機器とのデータ通信を行う。周辺機器Ｉ／Ｆ部１６は、ＵＳＢ、ＨＤＭＩ（登録商標）、ＭＨＬ、イヤホンマイクコネクタ等で構成されている。周辺機器との接続形態は有線、無線を問わない。

バス１９は、各部間の制御信号、データ信号等の授受を媒介する経路である。
また、図１に示したハードウェア構成のほかに、不可聴な超音波を発生させる超音波スピーカ、振動を発生させる振動モータ、周囲の明るさを検知するためのカメラ等のデバイスを備える。

図２は、感情制御装置１が判定対象とするユーザの「感情状態」を表す図である。図に示すように、第１の感情分類２０Ａ（ポジティブ−ネガティブ）および第２の感情分類２０Ｂ（ストレス−リラックス）の各分類により特定される４つの感情状態１〜感情状態４を判定対象とする。第１の感情分類２０Ａは、ユーザの心拍変動情報に基づいて定まるユーザの感情状態であり、ユーザの感情状態をポジティブ（肯定的感情）またはネガティブ（否定的感情）に分類する。第２の感情分類２０Ｂは、ユーザの瞳孔サイズ情報に基づいて定まるユーザの感情状態であり、ユーザの感情状態をストレスまたはリラックスに分類する。本発明では、心拍変動情報に基づく第１の感情分類２０Ａと、瞳孔サイズ情報に基づく第２の感情分類２０Ｂの２つの分類結果に基づいて、ユーザの感情状態（感情状態１〜感情状態４）を判定する。

「感情状態１」は、第１の感情分類２０Ａが「ポジティブ」、且つ、第２の感情分類２０Ｂが「ストレス」の場合の感情状態である。この場合の具体的な感情状態は、例えば“楽しい”“嬉しい”である。
「感情状態２」は、第１の感情分類２０Ａが「ポジティブ」、且つ、第２の感情分類２０Ｂが「リラックス」の場合の感情状態である。この場合の具体的な感情状態は、例えば“マインドフルネス（瞑想）”である。
「感情状態３」は、第１の感情分類２０Ａが「ネガティブ」、且つ、第２の感情分類２０Ｂが「ストレス」の場合の感情状態である。この場合の具体的な感情状態は、例えば“怒り”“悲しみ”“恐怖”である。
「感情状態４」は、第１の感情分類２０Ａが「ネガティブ」、且つ、第２の感情分類２０Ｂが「リラックス」の場合の感情状態である。この場合の具体的な感情状態は、例えば“無力感”“倦怠感”である。

図３は、各感情状態に応じた制御情報である感情制御情報３１を例示する図である。感情制御装置１は、この感情制御情報３１を参照し、各感情状態に対応する感情制御情報３１に基づいて、所定の感情制御を実行する。図に示すように、各感情状態（感情状態１、感情状態２、・・・）に対応する感情制御情報３１（３１ａ、３１ｂ、３１ｃ、…）が設定されている。感情制御は、ユーザ自身やユーザ以外の他者になるべく意識されない態様で実行されることが望ましい。ユーザの感情を他者に気づかれずにユーザの無意識下でコントロールするためである。感情制御情報３１ａ、３１ｂ、３１ｃ、…はこのような感情制御を例示したものである。

例えば、感情制御情報３１ａは、「明るさ」によってユーザの感情制御を行う例であり、感情状態に応じて、感情制御装置１の表示部１５（表示画面）の明るさ（光量）を「１（暗い）〜１０（明るい）」の１０段階で変化させる。
感情制御情報３１ｂは、「色」によってユーザの感情制御を行う例であり、感情状態に応じて、感情制御装置１の表示部１５（表示画面）の背景色を変化させる。
感情制御情報３１ｃは、心拍を模した「振動」によってユーザの感情制御を行う例であり、感情状態に応じて、感情制御装置１が備える振動センサの振動数（Ｈｚ）を変化させる。

この他、感情制御装置１は、超音波スピーカにより不可聴な超音波を感情状態に応じて出力させてもよい。また、感情制御装置１とネットワークを介して接続された外部装置を用いて感情制御を行ってもよい。例えば、外部の照明装置を用いて照明色や照明量を感情状態に応じて制御したり、外部のアロマ発生器を用いて感情状態に応じて所定のアロマを発生させるように制御してもよい。

次に、図４のフローチャートを参照して、感情制御装置１の動作について説明する。赤外線カメラ３Ａと心拍センサ３Ｂが起動されており、赤外線カメラ画像と心拍データが測定可能な状態になっているものとする。
感情制御装置１の制御部１１は、赤外線カメラ３Ａに測定命令を送信し、赤外線カメラ３Ａによる赤外線カメラ画像の測定（撮影）を開始する。そして、制御部１１は、赤外線カメラ３Ａから赤外線カメラ画像を時々刻々と受信し、受信した赤外線カメラ画像に対して画像処理を施すことで、ユーザの瞳孔サイズの時系列データを取得する（ステップＳ１）。
瞳孔サイズの取得方法の詳細は割愛するが、例えば、赤外線カメラ画像中の瞳孔に円の半径を変えながらフィッテイングさせ、最もフィッテイング精度の高い円の半径を瞳孔サイズ（瞳孔径）として取得すればよい。
なお、瞳孔サイズは、本発明における「瞳孔サイズ情報」の一例である。

ここで、周囲の明るさが変動すると瞳孔サイズも変動するため、周囲の明るさに応じて瞳孔サイズを補正することが望ましい。具体的には、赤外線カメラ画像の測定と同期して、感情制御装置１に内蔵されたカメラまたは感情制御装置１と外部接続されたカメラを用いて、周囲の明るさの変動を検知し、予め設定・記憶されている明るさと瞳孔サイズの対応関係を保持するデータベースを参照して、明るさに起因する瞳孔サイズの変化の影響を相殺するように、瞳孔サイズの時系列データを補正する。これにより、明るさが一定の状況下における瞳孔サイズの時系列データが得られる。

続いて、感情制御装置１の制御部１１は、ステップＳ１により取得した瞳孔サイズの時系列データに基づいて、ユーザの感情を第１の感情分類２０Ａ（ポジティブ−ネガティブ）へ分類する（ステップＳ２）。
具体的には、瞳孔サイズの変動の傾向を時系列分析し、瞳孔サイズが拡大している場合には、ユーザの感情を「ポジティブ」へ分類し、瞳孔サイズが縮小している場合には、ユーザの感情を「ネガティブ」へ分類する。

続いて、感情制御装置１の制御部１１は、感情制御装置１とネットワーク接続された心拍センサ３Ｂから、例えば心拍間隔（拍動の一拍と次の一拍との時間間隔）の時系列データ（以下、心拍変動時系列データ）を受信し、この心拍変動時系列データをスプライン補間等によりデータ配列が等間隔となるように補間した後、フーリエ解析を実行し心拍変動の周波数成分を抽出する。そして、高周波（ＨＦ：Ｈｉｇｈ Ｆｒｅｑｕｅｎｃｙ）成分と低周波（ＬＦ：Ｌｏｗ Ｆｒｅｑｕｅｎｃｙ）成分の大きさの比であり、ストレス指標として知られる「ＬＦ／ＨＦ比」を算出する（ステップＳ３）。なお、ＬＦ／ＨＦ比は、本発明における「心拍変動情報」の一例である。

続いて、感情制御装置１の制御部１１は、ステップＳ３により算出したＬＦ／ＨＦ比に基づいて、ユーザの感情を第２の感情分類（ストレス−リラックス）へ分類する（ステップＳ４）。
具体的には、ＬＦ／ＨＦ比が予め設定されている所定の基準値を超えている場合には、ユーザの感情を「ストレス」へ分類し、それ以外の場合には、ユーザの感情を「リラックス」へ分類する。

そして、感情制御装置１の制御部１１は、ステップＳ２およびステップＳ４における第１の感情分類２０Ａおよび第２の感情分類２０Ｂの分類結果に基づいて、ユーザの感情状態を判定する（ステップＳ５）。

具体的には、感情制御装置１の制御部１１は、分類結果に基づいて、ユーザの感情状態を、図２に示す（１）感情状態１（「ポジティブ」＋「ストレス」）（２）感情状態２（「ポジティブ」＋「リラックス」）（３）感情状態３（「ネガティブ」＋「ストレス」）（４）感情状態４（「ネガティブ」＋「リラックス」）のいずれに該当するかを判定する。

そして、感情制御装置１の制御部１１は、図３の感情制御情報３１を参照して、ステップＳ５において判定した感情状態に応じた感情制御を実行する（ステップＳ６）。

例えば、ステップＳ２において第１の感情分類２０Ａが「ネガティブ」へ分類され、ステップＳ４において第２の感情分類２０Ｂが「ストレス」へ分類されたとする。この場合、ステップＳ５において、制御部１１は、ユーザの感情状態を感情状態３（「ネガティブ」＋「ストレス」）と判定する。そして、制御部１１は、感情制御情報３１を参照して、感情状態３に応じた感情制御を実行する。例えば、表示部１５の明るさを１０段階中の「２」とする（通常より明るさを落とす）、または、画面の背景色を「青」色に変更する、などして感情状態３（“怒り”など）の感情を鎮めるような感情制御を実行する。

以上、本実施形態では、ユーザの心拍変動情報を取得し（ステップＳ１）、この心拍変動情報に基づいて第１の感情分類２０Ａへ分類し（ステップＳ２）、ユーザの瞳孔サイズ情報を取得（ステップＳ３）、この瞳孔サイズ情報に基づいて第２の感情分類２０Ｂへ分類する（ステップＳ４）。そして、第１の感情分類２０Ａおよび前記第２の感情分類２０Ｂの分類結果に基づいて、ユーザの感情状態を判定し（ステップＳ５）、感情状態に応じた所定の制御を実行する（ステップＳ６）。複数の生体情報の分析結果を用いてユーザの感情状態を精度よく推定できるため、ユーザの感情を好適に制御することが可能となる。

尚、本実施形態では、心拍変動と瞳孔サイズの生体情報を用いてユーザの感情状態を推定したが、感情状態の推定に用いる生体情報はこれらに限定されない。例えば、ユーザの脈拍、発汗量、心拍数、呼吸、体温、筋電、血流、身体の動き、音声等の生体情報を用いてもよい。

以上、添付図面を参照しながら、本発明に係る感情制御装置等の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

１ ：感情制御装置
３Ａ ：赤外線カメラ
３Ｂ ：心拍センサ
２０Ａ ：第１の感情分類
２０Ｂ ：第２の感情分類
３１ ：感情制御情報

Claims (5)

1. 複数の分析結果に基づいてユーザの感情状態を判定する感情状態判定手段と、
   前記感情状態に応じた所定の制御を実行する感情制御手段と、
   を備えることを特徴とする感情制御装置。
2. ユーザの心拍変動情報を取得し、この心拍変動情報に基づいて第１の感情分類へ分類する第１の感情分類手段と、
   ユーザの瞳孔サイズ情報を取得し、この瞳孔サイズ情報に基づいて第２の感情分類へ分類する第２の感情分類手段と、を更に備え、
   前記感情状態判定手段は、前記第１の感情分類および前記第２の感情分類の分類結果に基づいて、ユーザの感情状態を判定する
   ことを特徴とする請求項１に記載の感情制御装置。
3. 前記第２の感情分類手段は、取得した瞳孔サイズ情報を周囲の明るさに応じて補正し、補正した瞳孔サイズ情報に基づいて第２の感情分類へ分類する
   ことを特徴とする請求項２に記載の感情制御装置。
4. 複数の分析結果に基づいてユーザの感情状態を判定する感情状態判定ステップと、
   前記感情状態に応じた所定の制御を実行する感情制御ステップと、
   を含むことを特徴とする感情制御方法。
5. 請求項１から請求項３のいずれかに記載の感情制御装置として機能させることを特徴とするプログラム。

Images