JP2015229040A - 感情分析システム、感情分析方法および感情分析プログラム - Google Patents

Abstract

【課題】対象者の感情を効果的に分析できる感情分析システム、感情分析方法及び感情分析プログラムを提供する。
【解決手段】感情分析システム１は、対象者の脳波を測定する脳波計２１と、脳波計２１が測定した脳波を、感情に対応付けて格納された脳波の特徴パターンと比較し、対象者の感情の強度を推測するパターン識別部と、対象者が観ている映像を撮像するカメラ２２と、パターン識別部で推測される対象者の感情の強度と、カメラ２２で撮像される映像とを対応付けて記憶する記憶部とを備える。
【選択図】図１

Description

本発明は、対象者の感情を効果的に分析できる感情分析システム、感情分析方法および感情分析プログラムに関する。

従来から個人の感情を考慮した商品やサービスの提供が提案されている。個人の感情調査には、アンケート調査が行われることが一般的である。しかしながら、アンケート調査では、意識的もしくは無意識に、質問に対して本心とは異なる回答をすることがあり、アンケートの調査結果が本当の感情を表していないことがある。

このため、近年では、脳波等の生理的指標を用いて、個人の感情を分析することが行われている。脳波は、ヒトや動物の脳から生じる電気活動を、頭皮上、蝶形骨底、鼓膜、脳表、脳深部などに置いた電極で記録したものであり、医療での臨床検査、医学、生理学、心理学、工学などの研究手法として用いられている。この応用として、簡易脳波計を用いて脳波を測定し、脳波情報から対象者の感情や生理的状態を判別する試みが行われている（例えば特許文献１参照）。

特開２０１０−１３１３２８号公報

以上のように、近年では、脳波等の生理的指標を用いて、個人の感情を分析することが行われている。

本発明は、対象者の感情を効果的に分析できる感情分析システム、感情分析方法及び感情分析プログラムを提供することを目的とする。

上記の課題を解決すべく、本発明に係る感情分析システムは、対象者の脳波を測定する脳波測定部と、脳波測定部が測定した脳波を、感情に対応付けて格納された脳波の特徴パターンと比較し、対象者の感情の強度を推測するパターン識別部と、対象者が観ている映像を撮像する撮像部と、パターン識別部で推測される対象者の感情の強度と、撮像部で撮像される映像とを対応付けて記憶する記憶部とを備える。このような構成により、対象者がどのような映像をみているときに、どのような感情（例えば、好き、興味がある、ストレスを感じている、眠気を感じている、集中している）であったかを容易に分析することができる。

本発明では、対象者の注視点を検出する注視点検出部をさらに備え、記憶部は、パターン識別部で推測される対象者の感情の強度と、注視点検出部で検出される対象者の注視点とを対応付けて記憶してもよい。このような構成により、対象者が映像のどの部分を注視しているがわかる。このため、より効果的に対象者の感情を分析することができる。

本発明では、音声を集音する集音部をさらに備え、記憶部は、パターン識別部で推測される対象者の感情の強度と、集音部で集音される音声とを対応付けて記憶するようにしてもよい。このような構成により、音声についても対象者の感情を分析することができる。

本発明では、集音部は、音声の音源位置、音圧及び周波数特性の少なくとも一つを検出し、記憶部は、パターン識別部で推測される対象者の感情の強度と、集音部で検出される音声の音源位置、音圧及び周波数特性の少なくとも一つとを対応付けて記憶するようにしてもよい。このような構成により、音声の音源位置、音圧及び周波数特性についても対象者の感情を分析することができる。

本発明では、記憶部に記憶した対象者の感情の強度の時間に対する変化を表わすグラフを表示する表示部と、表示部に表示したグラフの中の一時刻を指定する指定手段とを備え、記表示部は、指定手段により指定された時刻に撮像された映像を表示するようにしてもよい。このような構成により、対象者がどのような映像を見ているときに、どのような感情（例えば、好き、興味がある、ストレスを感じている、眠気を感じている、集中している）であったかを、さらに容易に分析することができる。

上記の課題を解決すべく、本発明の感情分析方法は、対象者の脳波を測定する段階と、脳波測定部が測定した脳波を、感情に対応付けて格納された脳波の特徴パターンと比較し、対象者の感情の強度を推測する段階と、対象者が観ている映像を撮像する段階と、パターン識別部で推測される対象者の感情の強度と、撮像部で撮像される映像とを対応付けて記憶する段階とを備える。

上記の課題を解決すべく、本発明のプログラムは、コンピュータに、上述の感情分析方法における各段階を実行させる。

実施形態に係る感情分析システム１の概略図である。 ヘッドセット装置２の構成図である。 データ処理装置３の機能ブロック図である。 表示部３６により表示装置に表示される画像の一例を示す図である。 データ取得時の感情分析システム１の動作を示すフローチャートである。 感情分析時の感情分析システム１の動作を示すフローチャートである。

以下、図面を参照して本発明の実施の形態を説明する。
図１は、本発明の実施形態に係る感情分析システム１の概略を示す構成図である。図２は、ヘッドセット装置２の構成図である。図３は、データ処理装置３の機能ブロック図である。以下、図１〜図３を参照して、感情分析システム１について説明する。

感情分析システム１は、ヘッドセット装置２と、データ処理装置３とを備える。ヘッドセット装置２は、対象者Ｃの頭部にセットされ、対象者Ｃの脳波、対象者が観ている映像及び聴いている音声や視線の向き等のデータを取得する。データ処理装置３は、ヘッドセット装置２から送信されるデータを必要に応じて処理する。

ヘッドセット装置２は、対象者Ｃの脳波を検出するための脳波計２１（脳波測定部）と、対象者Ｃが観ている映像を撮像するカメラ２２（撮像部）と、対象者Ｃが聴いている音声を集音するマイク２３（集音部）と、対象者Ｃの注視点を検出する検出器２４（注視点検出部）と、送信部２５と、電源２６とを備える。

脳波計２１は、一対又は複数個の電極を備える。該電極は、対象者Ｃの頭部に装着されて対象者Ｃの頭部の電位を検出する。なお、脳波は脳内の部位によって異なった波形を示すが、本実施形態では、国際１０−２０法で定めるＦｐ１の部位の脳波を測定するように電極を設置するとよい。脳波計２１は、電極で検出された対象者Ｃの頭部の電位を増幅して時系列に出力する。

カメラ２２は、例えば、固体撮像素子であり、対象者Ｃの頭の向きに合わせて装着される。これにより、カメラ２２は、対象者Ｃの視角内に映る映像、例えば、対象者Ｃが観ている映像を撮像することができる。カメラ２２は、撮像した映像を電気信号に変換して時系列に出力する。

マイク２３は、対象者Ｃが聴いている音声を集音する。また、マイク２３は、複数のマイクを備え、音声の音源位置、音圧及び周波数特性を検出し、前記音声と合わせて時系列に出力する。なお、音声の音源位置、音圧及び周波数特性の検出処理は、データ処理装置３で行うようにしてもよい。

検出器２４は、カメラ２２と連動して動作し、対象者Ｃの視線方向から対象者Ｃの注視点を検出する。具体的には、検出器２４は、対象者Ｃの視線方向を割出し、該視線方向に基づいて対象者Ｃの注視点を検出する。なお、対象者Ｃの視線方向の割出には、強膜反射法、角膜反射法、ＥＯＧ（Electro-Oculography）法、サーチコイル法、画像解析法等、種々の手法を用いることができる。なお、注視点の検出には、初めに、割り出した視線方向と、実際に対象者Ｃが観ている点を一致させる作業（いわゆるキャリブレーション）が必要である。

送信部２５は、脳波計２１、カメラ２２、マイク２３、検出器２４で取得した脳波、映像、音声、音源位置、音圧、周波数特性、注視点（以下、単にデータとも称する）をデータ処理装置３へ出力する。データ処理装置３に送信されるデータは、時系列とすることが好ましい。また、データの送信は、有線、無線のどちらであっても構わない。電源２６は、ヘッドセット装置２の動作に必要な電力を供給する。

データ処理装置３は、キーボード、マウス、タッチパネル等の入出力装置、ＣＰＵ（Central Processing Unit）等の演算部及びＲＡＭ（Random Access Memory）、ＲＯＭ（read only memory）等の記憶装置を備えた本体、ＬＣＤ（Liquid Crystal Display）等の表示装置、音声を出力するスピーカなどから構成されるコンピュータシステムである。

データ処理装置３は、コンピュータシステムの記憶装置に格納されたプログラムを演算部により実行することにより実現することができる。この記憶装置および演算部は、通信回線を介して接続されたサーバ、クラウドなどの物理的に離間した装置に組み込まれていてもよい。

データ処理装置３は、受信部３１と、パターン識別部３２と、記憶部３３と、操作受付部３４と、音声再生部３５と、表示部３６と、電源３７とを備える。

受信部３１は、ヘッドセット装置２から時系列に送信されるデータを受信する。

パターン識別部３２は、受信部３１で受信した脳波を、複数の感情（例えば、「好き」、「興味」、「ストレス」、「眠気」、「集中」）ごとに、予め取得した特徴パターンと比較し、対象者Ｃの各感情の強度（度合い）を推測する。パターン識別部３２は、推測した感情の強度を、「好き」、「興味」、「ストレス」、「眠気」、「集中」といった感情毎に時系列に出力する。つまり、パターン識別部３２からは、対象者Ｃの感情の強度の推移（時間に対する変化）が、「好き」、「興味」、「ストレス」、「眠気」、「集中」といった感情毎に出力される。

ここで、特徴パターンとは、感情を表現する脳波の特徴値、あるいは特徴値の集合である。特徴パターンは、「好き」、「興味」、「ストレス」、「眠気」、「集中」といった感情毎に用意されている。特徴パターンの一例としては、好きな匂いと嫌いな匂いを特徴づけるＦｐ１の部位の脳波における６〜８Ｈｚの周波数が挙げられる。すなわち、好きな匂いを対象者に与えたところ、Ｆｐ１の部位の脳波において、６〜８Ｈｚの周波数成分の振幅が低下し、嫌いな匂いを対象者に与えると６〜８Ｈｚの周波数成分の振幅が上昇するというパターンが示される。

このことから、Ｆｐ１の部位の脳波における６〜８Ｈｚの周波数成分の増減が、好きな匂いと嫌いな匂いを特徴づけるパターンとして用いる。特徴パターンは、このように単一の周波数の特性でもよく、複数の周波数の特性の組合せでもよい。また、特定の感情を示すものであれば、周波数の特性以外の特徴パターンでもよい。

パターン識別部３２は、上述したような各感情と特徴パターンとを対応関係を付けたデータベースを備え、特徴値に対応する対象者Ｃの各感情の強度を推測する。データベースに格納する対応関係は、以下のようにしてあらかじめ取得される。すなわち、脳波計２１によって脳波を測定するとともに、対象者自身が脳波測定時に当てはまる各感情を特定することにより、データを収集する。そして、測定した脳波を解析し、脳波の特徴値（例えば脳波を特徴づける周波数成分）を抽出する。そして収集したデータを統計的に処理することで、特徴値と感情の対応関係を求める。

データベースに格納する各感情（例えば、「好き」、「興味」、「ストレス」、「眠気」、「集中」）と特徴パターンとの対応関係は、例えば、対象者毎に、予め取得して格納するとよい。或いは、多数の対象者について共通化された対応関係を予め取得して格納してもよい。また、対象者毎の対応関係および共通の対応関係の両方を格納しておき、対象者について個別の対応関係が得られている感情については個別の特徴パターンを利用し、個別の対応関係が得られていない感情については共通の特徴パターンを用いるようにしてもよい。

はじめに、脳波をたとえば高速フーリエ変換などを用いて周波数解析を行い、行が時間、列が周波数成分のｎ×ｍデータ行列を作成する。続いて、ｎ×ｍデータ行列を正規化し、正規化したデータ行列から相関行列を求める。そして、相関行列を固有値分解した上で、主因子法を用いて因子を抽出する。抽出した因子のうち、高い寄与率である因子（例えば、寄与率５０％、６０％、７０％、８０％、９０％、１００％など）を用いてバリマックス回転を行い、最小二乗法により因子得点を求めることにより、特徴値を抽出する。なお、特徴値の抽出方法については、上記に限定されず、脳波の特徴が抽出できるものであればよい。

特徴パターンに対応付けて格納される感情は、好き、興味、ストレス、眠気、集中、きらい、怒り、悲しみ、幸福、興奮、楽しいなど気持ちを表すもの、空腹、眠気など生理的な情報を表すものなど、意識的、無意識的を問わず、脳波に特徴的なパターンを生じさせる感情であればいかなるものでもよい。また、感情は、単一の感情であってもよく、また複数の感情の組み合せでもよい。

パターン識別部３２は、脳波計２１で計測される脳波における特定の周波数成分の大きさをデータベースに格納された「好き」、「興味」、「ストレス」、「眠気」、「集中」といった各感情の特徴パターンと比較・照会する。そして、対象者Ｃの各感情（例えば、「好き」、「興味」、「ストレス」、「眠気」、「集中」）毎に強度を推測し、時系列に出力する。

記憶部３３は、例えば、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の記憶媒体であり、受信部３１で受信されるヘッドセット装置２からのデータと、パターン識別部３２から出力される対象者Ｃの各感情の強度とを時系列に対応づけて記憶する。具体的には、カメラ２２で撮像される映像、マイク２３で集音される音声及び音声の音源位置、音圧及び周波数特性、検出器２４で検出される対象者Ｃの注視点を、パターン識別部３２で推測された対象者Ｃの各感情に時系列に対応づけて記憶する。

操作受付部３４は、ユーザの操作入力を受け付ける。具体的には、感情分析システム１のＯＮ／ＯＦＦや、記憶部３３に記憶されている各感情のうちどの感情を表示させるかといった操作等を受け付ける。

音声再生部３５は、操作受付部３４で受け付けられた操作内容に応じて、記憶部３３に記憶されている音声データをスピーカへ出力し、音声を再生する。

表示部３６は、操作受付部３４で受け付けられる操作内容に応じて、記憶部３３に記憶されている各感情及び対応づけられているデータをＬＣＤ等の表示装置に表示させる。電源３７は、データ処理装置３の動作に必要な電力を供給する。

図４は、表示部３６により表示装置の画面Ｄに表示される画像の一例を示す図である。図４には、各感情のうち「好き」を選択した場合に、表示装置の画面Ｄに表示される画面の例を示している。図４に示すように、画面には、「好き」の強度の推移を示すグラフＧが時系列に表示される。図４では、グラフＧは、縦軸に好き度（％）、横軸に時間（Ｔ）として表示されている。

また、右下には、「好き」の感情のグラフＧを表示していることがわかるように、枠Ｂ内には、「好き」の文字が表示される。さらに「好き」の文字の下には、ユーザが表示装置の画面Ｄに表示された好きの感情を示すグラフＧのうち、ポインタＰ１で指定した時刻での好き度の数値（％）が表示されている（図４では、９０％）。

また、枠Ａ内には、ポインタＰ１で指定された時刻に対応づけて記憶されている他のデータである、映像、音声の音源位置、音圧及び周波数特性、対象者Ｃの注視点が表示される。枠Ａに表示する映像は、静止画または動画のいずれであってもよい。動画を表示する場合には、ポインタＰ１で指定された時刻から所定時間（例えば５秒間）の動画を表示するようにしてもよいし、ポインタＰ１で指定された時刻を含む所定時間（例えばポインタＰ１で指定した時刻の前後各５秒、合計１０秒間）の動画を表示するようにしてもよい。動画を表示する場合には、所定期間の動画を繰り返し表示するように構成してもよい。ここで、音声の音源位置、音圧、周波数特性は、円Ｘとして、注視点は、点Ｐ２として映像に重ねて表示される。図４では、円Ｘの中心が音源位置、円Ｘの大きさ（直径）が音圧を表している。また、周波数特性は、例えば、色の変化により表示することができる。なお、図４に示す以外の方法で、音声の音源位置、音圧及び周波数特性や対象者Ｃの注視点を表示するようにしてもよい。

また、音声再生部３５は、記憶部３３に記憶されている音声データのうちポインタＰ１で指定された時刻に対応する部分を再生し、スピーカから出力する。例えば、音声再生部３５は、ポインタＰ１で指定された時刻から所定時間（例えば５秒間）の音声を再生するようにしてもよいし、ポインタＰ１で指定された時刻を含む所定時間（例えばポインタＰ１で指定した時刻の前後各５秒、合計１０秒間）の音声を再生するようにしてもよい。音声再生部３５は、音声を繰り返し再生するように構成してもよい。

図５は、データ取得時の感情分析システム１の動作を示すフローチャートである。
感情分析システム１の処理を開始すると、ヘッドセット装置２により、カメラ２２で撮像される映像、マイク２３で集音される音声、音声の音源位置、音圧及び周波数特性、検出器２４で検出される対象者Ｃの注視点のデータが取得される（ステップＳ１０１）。

ヘッドセット装置２で取得されるデータは、時系列にデータ処理装置３へ送信される（ステップＳ１０２）。

データ処理装置３では、ヘッドセット装置２から送信される脳波を、感情に対応付けて格納された脳波の特徴パターンとの比較を、「好き」、「興味」、「ストレス」、「眠気」、「集中」といった感情毎に行い、対象者Ｃの感情の強度の推移を、感情毎に時系列に出力する（ステップＳ１０３）。

記憶部３３は、受信部３１で受信されるヘッドセット装置２からのデータと、推測した対象者Ｃの各感情の推移とを時系列に対応づけて記憶する（ステップＳ１０４）。データ取得の処理が終了すると、感情分析システム１は、一連の動作を終了する。

図６は、感情分析時の感情分析システム１の動作を示すフローチャートである。
操作受付部３４が記憶部３３に記憶されている対象者Ｃの各感情のうち、いずれかの感情を表示するかの選択指示を受け付ける（ステップＳ２０１）。次に、表示部３６は、図４に示すように、記憶部３３に記憶されている対象者Ｃの感情（例えば「好き」）の強度推移を表すグラフＧを表示装置に表示する（ステップＳ２０２）。

次に、操作受付部３４で表示装置に表示されたグラフＧの特定の時刻をポインタＰ１で指定する指示が受け付けられると（ステップＳ２０３）、表示部３６は、指定された時刻に対応づけて記憶されている他のデータである、映像、音声の音源位置、音圧及び周波数特性及び対象者Ｃの注視点等を表示する（ステップＳ２０４）。

また、音声再生部３５は、指定された時刻の脳波に対応づけて記憶されている音声をスピーカに出力し、音声を再生する（ステップＳ２０５）。感情分析の処理が終了すると、感情分析システム１は、一連の動作を終了する。

以上のように、本発明の感情分析システム１は、カメラ２２で撮像される映像、マイク２３で集音される音声及び音声の音源位置、音圧及び周波数特性、検出器２４で検出される対象者Ｃの注視点と、パターン識別部３２で推測された対象者Ｃの各感情の強度とを時系列に対応づけて記憶部３３に記憶している。

そして、ユーザが、表示装置に表示させる感情を選択すると、選択された感情の強度の推移を表すグラフが表示される。次に、表示されたグラフの特定の時刻をポインタＰ１で指定すると、表示部３６は、指定された時刻に対応づけて記憶されている他のデータである、映像、音声の音源位置、音圧及び周波数特性、対象者Ｃの注視点等を表示する。また、音声再生部３５は、記憶部３３に記憶されている音声データの指定された時刻に対応する部分を再生し、スピーカに出力する。

このため、対象者がどのような感情（例えば、好き、興味がある、ストレスを感じている、眠気を感じている、集中している）のときに、どのような映像を見ていたか、音声はどうであったか、映像のどこを注視していたかを容易に確認することができる。この結果、対象者の感情を効果的に分析することができる。

なお、本発明の一実施形態である感情分析システム１を例に本発明を説明したが、本発明は、上記の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。例えば、上記実施形態では、推測した脳波の周波数成分を解析することで特徴値を求めたが、特徴値の求め方はこれに限定されず、例えば、振幅（ピークトゥピーク値や実効値）、絶対値、変化の急峻度など求めてこれを特徴値としてもよい。

また、図４に示した画面Ｄにおいて、ポインタＰ１で指定された時刻における、複数の感情（選択した感情を含んでもよい）の強度をレーダチャートにより表示してもよい。これにより、選択した感情以外の感情が支配的になっていないか等、選択した感情以外の感情を考慮しながら感情の分析をすることができる。

以上で説明したように、本発明の感情分析処理システム、感情分析方法、および感情分析プログラムは、対象者の感情を効果的に分析できる。このため、マーケティング等に利用することができる。

１ 感情分析システム
２ ヘッドセット装置
３ データ処理装置
２１ 脳波計
２２ カメラ
２３ マイク
２４ 検出部
２５ 送信部
２６ 電源
３１ 受信部
３２ パターン識別部
３３ 記憶部
３４ 操作受付部
３５ 音声再生部
３６ 表示部
３７ 電源

Claims (7)

1. 対象者の脳波を測定する脳波測定部と、
   前記脳波測定部が測定した脳波を、感情に対応付けて格納された脳波の特徴パターンと比較し、前記対象者の感情の強度を推測するパターン識別部と、
   前記対象者が観ている映像を撮像する撮像部と、
   前記パターン識別部で推測される前記対象者の感情の強度と、前記撮像部で撮像される映像とを対応付けて記憶する記憶部と
   を備える感情分析システム。
2. 前記対象者の注視点を検出する注視点検出部をさらに備え、
   前記記憶部は、前記パターン識別部で推測される前記対象者の感情の強度と、前記注視点検出部で検出される前記対象者の注視点とを対応付けて記憶する請求項１に記載の感情分析システム。
3. 音声を集音する集音部をさらに備え、
   前記記憶部は、前記パターン識別部で推測される前記対象者の感情の強度と、前記集音部で集音される音声とを対応付けて記憶する請求項１又は２に記載の感情分析システム。
4. 前記集音部は、前記音声の音源位置、音圧及び周波数特性の少なくとも一つを検出し、
   前記記憶部は、前記パターン識別部で推測される前記対象者の感情の強度と、前記集音部で検出される前記音声の音源位置、音圧及び周波数特性の少なくとも一つとを対応付けて記憶する請求項３に記載の感情分析システム。
5. 前記記憶部に記憶した前記対象者の感情の強度の時間に対する変化を表わすグラフを表示する表示部と、
   前記表示部に表示した前記グラフの中の一時刻を指定する指定手段とを備え、
   前記表示部は、前記指定手段により指定された時刻に撮像された映像を表示することを特徴とする請求項１から４のいずれか１項に記載の感情分析システム。
6. 対象者の脳波を測定する段階と、
   前記脳波測定部が測定した脳波を、感情に対応付けて格納された脳波の特徴パターンと比較し、前記対象者の感情の強度を推測する段階と、
   前記対象者が観ている映像を撮像する段階と、
   前記パターン識別部で推測される前記対象者の感情の強度と、前記撮像部で撮像される映像とを対応付けて記憶する段階と
   を備える感情分析方法。
7. コンピュータに、請求項６に記載の各段階を実行させるためのプログラム。
   
   

Images