JP2015109964A - 感情推定装置、感情推定処理システム、感情推定方法および感情推定プログラム - Google Patents

Abstract

【課題】頭部に装着する脳波計を用いることなく、対象者の感情を推定し、対象者の感情情報を得る装置を提供する。【解決手段】感情推定装置３は、対象者１の脳波以外の生体情報を受け取り、生体情報と脳波との相関関係に基づき生体情報から対象者の脳波を推定する脳波推定部と、脳波推定部が推定した脳波を、感情に対応付けて格納された特徴パターンと比較し、対象者の感情を推定するパターン識別部とを備える。脳波推定部は生体情報の時系列データを受け取り、当該受け取った時系列データの周波数成分を解析して、生体情報における所定の周波数成分に基づき脳波における所定の周波数成分を推定して出力する。【選択図】図１

Description

本発明は、生体情報から脳波を推定し、推定された脳波から感情を推定する感情推定装置、感情推定処理システム、感情推定方法および感情推定プログラムに関する。

脳波は、ヒトや動物の脳から生じる電気活動を、頭皮上、蝶形骨底、鼓膜、脳表、脳深部などに置いた電極で記録したものであり、医療での臨床検査、医学、生理学、心理学、工学などの研究手法として用いられている。この応用として、簡易脳波計を用いて脳波を測定し、脳波情報から対象者の嗜好や生理的状態を判別する試みが行われている（例えば特許文献１参照）。

特開２０１０−１３１３２８号公報

しかし、特許文献１に記載の技術では、従来の大型の設備と比べて対象者の負担が小さいとはいえ、簡易脳波計を頭部に装着する必要がある。頭部に装着することから、脳波計を利用したシステムは、人の目を気にする人や、日常的に使う人から敬遠され、普及させることが難しいという課題がある。

そこで本発明では、頭部に装着する脳波計を用いることなく、対象者の感情を推定し、対象者の感情情報を得る感情推定装置、感情推定処理システム、感情推定方法および感情推定プログラムを提供することを目的とする。

上記の課題を解決すべく、本発明に係る感情推定装置は、対象者の脳波以外の生体情報を受け取り、生体情報と脳波との相関関係に基づき生体情報から対象者の脳波を推定する脳波推定部と、脳波推定部が推定した脳波を、感情に対応付けて格納された脳波の特徴パターンと比較し、対象者の感情を推定するパターン識別部とを備える。このような構成により、頭部に装着する脳波計を用いることなく、対象者の感情を推定することができる。

本発明では、脳波推定部は生体情報の時系列データを受け取り、当該受け取った時系列データの周波数成分を解析して、生体情報における所定の周波数成分に基づき脳波における所定の周波数成分を推定して出力するとよい。このような構成により、瞬時に脳波を推定し、得られた脳波から感情推定を行うことができる。

また、本発明では、脳波推定部は、受け取った生体情報に基づいて、国際１０−２０法で定めるＦｐ１部位の脳波を推定するとよい。Ｆｐ１は感情や情動に関する反応を示す部位であるため、Ｆｐ１における脳波を推定することは感情の推定に利用する上で好適である。

上記の課題を解決すべく、本発明の感情推定装置の他の例は、対象者の脳波以外の生体情報を受け取る受信手段と、受信した生体情報に含まれるパラメータに基づき感情への該当度を示すスコアを算出するスコア算出手段とを備える。

上記の課題を解決すべく、本発明の感情推定処理システムは、対象者の脳波を除く生体情報を取得する生体情報検出装置と、上述のいずれかの感情推定装置と、生体情報から当該対象者の感情を推定する感情推定装置とを備える。

本発明では、感情推定処理システムは、感情情報推定装置が推定した対象者の感情に応じて、処理を行う感情情報処理装置をさらに備えるとよい。

上記の課題を解決すべく、本発明の感情推定方法は、対象者の脳波を除く生体情報を取得する段階と、生体情報と脳波との相関関係に基づいて、取得した生体情報から対象者の脳波を推定する段階と、推定した脳波を、感情に対応付けて格納された脳波の特徴パターンと比較し、対象者の感情を推定する段階とを備える。

また、本発明の感情推定方法の他の例は、対象者の脳波以外の生体情報を受け取る段階と、生体情報に含まれるパラメータに基づき感情への該当度を示すスコアを算出する段階とを備える。

上記の課題を解決すべく、本発明のプログラムは、コンピュータに、上述のいずれかの感情推定方法における各段階を実行させる。

本発明の実施形態に係る感情推定処理システムの概略を示す構成図である。 感情推定装置３の機能ブロック図である。 感情情報処理装置４の機能ブロック図である。 本発明の実施形態に係る感情推定処理システムにより行われる感情推定および推定された感情に応じた処理の手順を示すフローチャートである。 脈波測定装置２１の外観図である。 脈波測定装置２１を対象者の耳に装着した状態を示す模式図である。 第２実施形態における感情推定装置３の機能ブロック図である。

〔第１実施形態〕
以下、図面を参照して本発明の実施形態を説明する。
図１は、本発明の第１実施形態に係る感情推定処理システムの概略を示す構成図である。図１に示すように、感情推定処理システムは、生体情報検出装置２と、感情推定装置３と、感情情報処理装置４とを備える。生体情報検出装置２は、対象者１の脳波以外の生体情報（例えば心拍、脈拍、筋電、血流、体温、呼吸、瞳孔の動きなど）を、対象者１への接触、非接触にかかわらず取得する装置（生体センサー）である。生体情報は、対象者１の生理的なシグナルに応じて変化する情報であればよい。本例では、生体情報検出装置２は、対象者１の腕につけて脈拍を測定する。生体情報検出装置２は、感情推定装置３との間で無線通信を行う機能を有し、取得した生体情報を、感情推定装置３に送信する。ここで生体情報検出装置２が取得し送信する生体情報は、時系列のデータとすることが好ましい。なお、生体情報検出装置２が感情推定装置３との間で行う通信は有線通信であってもよい。本例では、生体情報検出装置２で測定された脈拍を、無線通信によって感情推定装置３へ送信される。

感情推定装置３は、入出力部、ＣＰＵ等の演算部、ＲＡＭ、ＲＯＭ等の記憶装置等から構成されるコンピュータシステムである。感情推定装置３は、コンピュータシステムの記憶装置に格納されたプログラムを、演算部により実行することにより実現することができる。この記憶装置および演算部は生体情報検出装置２と同一の装置に組み込まれていてもよく、あるいは通信回線を介して接続されたサーバ、クラウドなどの生体情報検出装置２とは物理的に離間した装置に組み込まれていてもよい。

図２は、感情推定装置３の機能ブロック図である。図２に示すように、感情推定装置３は、脳波推定部３ａと、パターン識別部３ｂとを備える。脳波推定部３ａは、生体情報検出装置２により取得された対象者１の生体情報に基づいて、生体情報が取得されたときの対象者１の脳波情報を推定する。脳波推定部３ａは、予め得ておいた生体情報と脳波との相関関係に基づいて、生体情報から脳波を推定する。予め得ておいた生体情報と脳波との相関関係とは、例えば、生体情報におけるある周波数成分が、脳波におけるある周波数成分に対応するといった関係であってもよい。脳波推定部３ａは、生体情報検出装置２から生体情報の時系列データを受け取り、当該受け取った時系列データの周波数成分を解析する。そして、生体情報における所定の周波数成分に基づき脳波における所定の周波数成分を推定して出力するとよい。なお、脳波は脳内の部位によって異なった波形を示すが、本実施形態の感情推定装置３における脳波推定部３ａでは、国際１０−２０法で定めるＦｐ１の部位の脳波を推定するように構成するとよい。本例の脳波推定部３ａは、生体情報検出装置２により得られた脈波のデータから、対象者１の好き及び／又は楽しいという感情を反映するＦｐ１の部位の脳波における周波数成分の大きさを推定する。

生体情報と脳波との相関関係は、生体情報と脳波とを対応付けて測定した一または複数のデータを解析することにより予め求める。例えば、脳波と生体信号との相関係数が大きくなる最適な周波数を、遺伝的アルゴリズムを利用して求めるとよい。

パターン識別部３ｂは、脳波推定部３ａが推定した脳波を、感情に対応付けた特徴パターンと比較し、対象者１の感情を推定する。ここで、特徴パターンとは、感情を表現する脳波の特徴値、あるいは特徴値の集合である。特徴パターンの一例としては、好きな匂いと嫌いな匂いを特徴づけるＦｐ１の部位の脳波における６〜８Ｈｚの周波数が挙げられる。すなわち、好きな匂いを対象者に与えたところ、Ｆｐ１の部位の脳波において、６〜８Ｈｚの周波数成分の振幅が低下し、嫌いな匂いを対象者に与えると６〜８Ｈｚの周波数成分の振幅が上昇するというパターンが示される。このことから、Ｆｐ１の部位の脳波における６〜８Ｈｚの周波数成分の増減が、好きな匂いと嫌いな匂いを特徴づけるパターンとして用いる。特徴パターンは、このように単一の周波数の特性でもよく、複数の周波数の特性の組合せでもよい。また、特定の感情を示すものであれば、周波数の特性以外の特徴パターンでもよい。

パターン識別部３ｂは、上述したような感情と特徴パターンとを対応関係を付けたデータベースを備え、脳波推定部３ａが推定した脳波をデータベースと比較・照会して、特徴値に対応する感情を対象者１の感情であると推定する。データベースに格納する対応関係は、例えば、既存の脳波計を利用して、以下のようにしてあらかじめ取得される。すなわち、脳波計によって脳波を測定するとともに、対象者自身が脳波測定時に当てはまる感情を特定することにより、データを収集する。そして、測定した脳波を解析し、脳波の特徴値（例えば脳波を特徴づける周波数成分）を抽出する。そして収集したデータを統計的に処理することで、特徴値と感情の対応関係を求めるとよい。

データベースに格納する感情と特徴パターンとの対応関係は、例えば、対象者毎に、予め取得して格納するとよい。或いは、多数の対象者について共通化された対応関係を予め取得して格納してもよい。また、対象者毎の対応関係および共通の対応関係の両方を格納しておき、対象者について個別の対応関係が得られている感情については個別の特徴パターンを利用し、個別の対応関係が得られていない感情については共通の特徴パターンを用いるようにしてもよい。

感情パターンを構成する脳波の特徴値は、例えば次のような方法により抽出する。はじめに、脳波を高速フーリエ変換して周波数成分の解析を行い、行が時間、列が周波数成分のｎ×ｍデータ行列を作成する。続いて、ｎ×ｍデータ行列を正規化し、正規化したデータ行列から相関行列を求める。そして、相関行列を固有値分解した上で、主因子法を用いて因子を抽出する。抽出した因子のうち、高い寄与率である因子（例えば、寄与率５０％、６０％、７０％、８０％、９０％、１００％など）を用いてバリマックス回転を行い、最小二乗法により因子得点を求めることにより、特徴値を抽出する。なお、特徴値の抽出方法については、上記に限定されず、脳波の特徴が抽出できるものであればよい。

特徴パターンに対応付けて格納される感情は、好き、きらい、集中、リラックス、怒り、悲しみ、幸福、興奮、好奇心、楽しいなど気持ちを表すもの、空腹、眠気など生理的な情報を表すものなど、意識的、無意識的を問わず、脳波に特徴的なパターンを生じさせる感情であればいかなるものでもよい。また、感情は、単一の感情であってもよく、また複数の感情の組み合せでもよい。

パターン識別部３ｂは、予め指定された特定の感情に該当するか否かを推定してもよいし、データベースに格納された複数の感情のいずれに該当するかを推定してもよい。本例では、脳波推定部３ａが推定した脳波における特定の周波数成分の大きさをデータベースに格納された「好き」および／または「楽しい」という感情の特徴パターンと比較・紹介する。そして、特徴パターンに当てはまるという結果を得た場合、対象者１の感情が「好き」および／または「楽しい」であると推定する。他の例では、匂いを嗅がせたときに、好き嫌いを示す６〜８Ｈｚの周波数成分が上昇していることを示す特徴値が抽出されている場合に、対象者１がその匂いを好いていると推定する。感情推定装置３は、推定した感情情報を、無線または有線の通信機能により、感情情報処理装置４に送信する。

感情情報処理装置４は、感情推定装置３が推定した感情の情報に応じて、処理を行う。図３は、感情情報処理装置４の構成の一例を示す機能ブロック図である。図３に示すように、本実施形態における感情情報処理装置４は、受信した感情情報を格納する記憶装置４ａ、感情情報を可視化して表示する画像提示手段４ｂ、感情情報に応じた情報提供を行う情報提供手段４ｃなどを備える装置である。感情情報処理装置４は、感情推定装置３から受信した感情情報に応じて、様々な処理を行う。感情情報処理装置４は、感情推定装置３と同一の装置に組み込まれていてもよく、あるいは通信回線を介して接続されたサーバ、クラウド、携帯情報端末などの感情推定装置３とは物理的に離間した装置に組み込まれていてもよい。本例における感情情報処理装置４は、対象者１が所持する音楽プレーヤであり、感情推定装置３により推定された対象者１の感情情報に基づき、対象者１の好き及び／又は楽しいという感情に適した音楽を、自動で推薦し再生する。

感情推定装置３が推定する感情、および感情情報処理装置４が行う推定された対象者１の感情情報に応じた処理は、上記に限定されず、感情に応じた何らかの作用が生じればよい。例えば、感情推定装置３により「眠気」が推定されたときに対象者１の眠気を覚ますように音楽プレーヤの再生音量を増加させるように構成してもよい。

図４は、本実施形態の感情推定処理システムにより行われる感情推定および推定された感情に応じた処理の手順を示すフローチャートである。感情推定の処理を開始すると、生体情報検出装置２は、対象者１の生体情報を検出する（ステップＳ１００）。続いて、感情推定装置３の脳波推定部３ａは、生体情報から脳波を推定する（ステップＳ１２０）。続いて、感情推定装置３のパターン識別部３ｂは、推定された脳波を、感情に対応付けて格納された脳波の特徴パターンと比較し、対象者１の感情を推定する（ステップＳ１４０）。続いて、感情情報処理装置４において、感情情報を提示あるいは保管するとともに、推定された感情に応じた処理を実行して（ステップ１６０）一連の処理を終了する。

〔第２実施形態〕
第２実施形態に係る感情推定処理システムは、体情報検出装置２が取得した生体情報に基づいて感情推定装置３が対象者の感情を推定する際に、脳波を推定する過程を経ることなく感情を推定する点で第１実施形態と異なる。その他の第１実施形態と共通する構成についてはここでの説明を省略する。

生体情報検出装置２は、対象者１の脳波以外の生体情報（例えば心拍、脈拍、筋電、血流、体温、呼吸、瞳孔の動きなど）を取得する装置であればいかなるものでも構わないが、本実施形態では、生体情報検出装置２として、脈波測定装置２１が用いられる。脈波測定装置２１は、いわゆるインナーイヤー型イヤホンに脈波検出機能を付加したものであり、対象者の耳に装着され、外耳道の表面付近の血管を流れる血液の脈波を測定する。

図５は脈波測定装置２１の外観図である。また、図６は、脈波測定装置２１を対象者の耳Ｅに装着した状態を示す模式図である。脈波測定装置２１は、インナーイヤー型イヤホンと同様、対象者１の外耳道に挿入される挿入部２１１と、挿入部２１１から延出し信号送受信のためのケーブルが接続されるケーブル引出部２１２とを備える。挿入部２１１内には、通常のイヤホンと同様に音を発するためのドライバユニット、振動板等が設けられる。脈波測定装置２１は、さらに挿入部２１１の側面の外耳道と接する部位に、センサ部２１３を備える。センサ部２１３は、所定の波長の波長９４０ｎｍの近赤外光を発する発光部２１３ａと、発光部２１３ａが発した近赤外光の外耳道内壁面による反射光を受光する受光部２１３ｂとを備える。発光部２１３ａ及び受光部２１３ｂは挿入部２１１の内部に配置され、挿入部２１１の外壁に設けられた透光部を介して近赤外光を出射し受光する。

受光部２１３ｂの受光光量は、近赤外光が照射される領域にある血管中のヘモグロビンの密度に応じて変化する。このため、受光部２１３ｂの受光光量は脈波を反映したものとなる。受光部２１３ｂは、受光光量に対応するアナログ電圧（または電流）を出力し、図示せぬＡＤ変換器によりこのアナログ値を９６Ｈｚでサンプリングし、脈波の時系列データとする。脈波測定装置２１は、感情推定装置３にケーブルを介して接続され、取得した脈波の時系列データを、感情推定装置３に送信する。なお、脈波測定装置２１はケーブルを介さず無線通信により脈波の時系列データを送信してもよい。

図７は、第２実施形態における感情推定装置３の機能ブロック図である。図７に示すように、感情推定装置３は、と、スコア算出部３ｄとを備える。速度脈波算出部３ｃは、脈波測定装置２１により取得された対象者１の脈波の時系列データに基づいて、後述の方法により速度脈波を算出する。

速度脈波算出部３ｃは、はじめに時系列データに対し式（１）の移動平均フィルタを適用して、高周波のノイズ成分を除去する。

ここで、Ｍはウインドウサイズ、Ｎはデータ数、ｘは脈波、ｘ’はフィルタ後の脈波であり、本例ではＭを５秒に相当するサイズのウインドウとした。また、添え字ｉおよびｊは時系列データの順序を示す。

続いて速度脈波算出部３ｃは、フィルタ後の脈波ｘ‘に対し、式（２）を適用し、速度脈波（velocity pulse wave）ｘ’’を算出する。

スコア算出部３ｄは、速度脈波算出部３ｃが算出した速度脈波に現れる各種パラメータ（例えば平均、分散、脈拍数、極大値、極小値、極大値と極小値の比など）を、感情への該当性を評価するスコアを求めるための所定の数式に当てはめることにより、当該感情に対象者１が該当している程度を示すスコアを算出する。すなわち、スコア算出部３ｄが算出する各感情のスコアは、感情の推定値である。

スコアの算出に用いる所定の数式は、多数の被験者に対して分析対象とする感情が生じる程度を変化させつつ脈波を取得し、取得した脈波から速度脈波を求め、速度脈波に現れる各種パラメータを重回帰分析することにより、当該感情と速度脈波のパラメータとの相関関係を表わす数式として求められる。

スコア算出部３ｄは、例えば、「眠気」の程度を示すスコア（Drowsiness score）を求める数式として下記の式（３）を有する。

ここでｘ１は脈拍の平均値である。

スコア算出部３ｄは、「眠気」以外にも様々な感情についてスコアを算出する数式を予め有し、速度脈波算出部３ｃが算出した速度脈波に現れるパラメータを各数式に適用して、各感情についてのスコアを算出し、感情情報処理装置４に出力する。

スコア算出部３ｄが有する感情のスコアを算出する数式は、例えば、対象者毎に、予め取得して格納するとよい。或いは、多数の対象者について共通化された数式を予め取得して格納してもよい。また、対象者毎の数式および共通の数式の両方を格納しておき、対象者について個別の数式が得られている感情については個別の数式を利用し、個別の数式が得られていない感情については共通の数式を用いるようにしてもよい。

感情情報処理装置４は、感情推定装置３が出力する各感情のスコアに応じて、処理を行う。例えば、感情推定装置３が出力する「眠気」のスコアが所定値を超えている場合に対象者１の眠気を覚ますように音楽プレーヤの再生音量を増加させるように構成するとよい。

以上、本発明の一実施形態である感情推定処理システムを例に本発明を説明したが、本発明は、上記の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

上記の各実施形態では、生体情報検出装置２が取得する生体情報として脈拍や脈波を用いたが、生体情報は脳波以外であれば、心拍、筋電、血流、体温、呼吸、瞳孔の動きなどであってもよい。このとき、取得し利用する生体情報に応じて生体情報と脳波との相関関係が異なるので、適切な相関関係を予め求めて利用する必要があることは言うまでもない。また、上記の実施形態では、推定した脳波の周波数成分を解析することで特徴値を求めたが、特徴値の求め方はこれに限定されず、例えば、振幅（ピークトゥピーク値や実効値）、絶対値、変化の急峻度など求めてこれを特徴値としてもよい。また、感情推定装置３により得た感情の情報を用いて感情情報処理装置４が行う処理も任意である。例えば感情情報処理装置４は、対象者１の感情に応じて各種の情報を提示してもよいし、感情に応じて各種の機器を作動させ、或いは作動を停止するようにしてもよい。

また、上記の第２実施形態では、脈波から速度脈波を求め、速度脈波のパラメータからスコアを算出したが、脈波のような一次的に得られる生体情報をそのまま利用してスコアを算出するようにしてもよい。

以上で説明したように、本発明の感情推定装置、感情推定処理システム、感情推定方法、および感情推定プログラムは、対象者１の感情を推定することで、対象者１との非言語でのコミュニケーションに利用することができる。

１ 対象者
２ 生体情報検出装置
３ 感情推定装置
３ａ 脳波推定部
３ｂ パターン識別部
３ｃ 速度脈波算出部
３ｄ スコア算出部
４ 感情情報処理装置
４ａ 記憶装置
４ｂ 画像提示手段
４ｃ 情報提供手段
２１ 脈波測定装置
２１１ 挿入部
２１２ ケーブル引出部
２１３ センサ部
２１３ａ 発光部
２１３ｂ 受光部

Claims (9)

1. 対象者の脳波以外の生体情報を受け取り、前記生体情報と脳波との相関関係に基づき前記生体情報から前記対象者の脳波を推定する脳波推定部と、
   前記脳波推定部が推定した脳波を、感情に対応付けて格納された脳波の特徴パターンと比較し、前記対象者の感情を推定するパターン識別部と
   を備える感情推定装置。
2. 前記脳波推定部は前記生体情報の時系列データを受け取り、当該受け取った時系列データの周波数成分を解析して、前記生体情報における所定の周波数成分に基づき脳波における所定の周波数成分を推定して出力することを特徴とする、請求項１に記載の感情推定装置。
3. 前記脳波推定部は、受け取った生体情報に基づいて、国際１０−２０法で定めるＦｐ１の部位の脳波を推定することを特徴とする、請求項１または２に記載の感情推定装置。
4. 対象者の脳波以外の生体情報を受け取る受信手段と、
   受信した前記生体情報に含まれるパラメータに基づき感情への該当度を示すスコアを算出するスコア算出手段と
   を備える感情推定装置。
5. 対象者の脳波を除く生体情報を取得する生体情報検出装置と、
   請求項１から４のいずれか１項に記載の感情推定装置と
   を備えることを特徴とする感情推定処理システム。
6. 前記感情情報推定装置が推定した対象者の感情に応じて、処理を行う感情情報処理装置をさらに備えることを特徴とする請求項５に記載の感情推定処理システム。
7. 対象者の脳波を除く生体情報を取得する段階と、
   前記生体情報と脳波との相関関係に基づいて、前記生体情報から前記対象者の脳波を推定する段階と、
   推定した前記脳波を、感情に対応付けて格納された脳波の特徴パターンと比較し、前記対象者の感情を推定する段階と
   を備える感情推定方法。
8. 対象者の脳波以外の生体情報を受け取る段階と、
   前記生体情報に含まれるパラメータに基づき感情への該当度を示すスコアを算出する段階と
   を備える感情推定方法。
9. コンピュータに、請求項６または８に記載の各段階を実行させるためのプログラム。
   
   

Images