JP2018187044A - 感情推定装置、感情推定方法およびコンピュータプログラム - Google Patents
感情推定装置、感情推定方法およびコンピュータプログラム Download PDFInfo
- Publication number
- JP2018187044A JP2018187044A JP2017091522A JP2017091522A JP2018187044A JP 2018187044 A JP2018187044 A JP 2018187044A JP 2017091522 A JP2017091522 A JP 2017091522A JP 2017091522 A JP2017091522 A JP 2017091522A JP 2018187044 A JP2018187044 A JP 2018187044A
- Authority
- JP
- Japan
- Prior art keywords
- emotion
- signal source
- estimation
- electroencephalogram
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Magnetic Resonance Imaging Apparatus (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
【課題】ユーザの脳波に基づいて、ユーザが抱く様々な感情を精度よく識別する。【解決手段】脳波計12は、被験者であるユーザの脳波を計測する。感情推定装置16は、脳波計12により計測されたユーザの脳波データを取得する。感情推定装置16は、脳波データが示す脳波の態様に基づいて、予め定められた脳の複数の部位の中から脳波の信号源を推定する。感情推定装置16は、推定した信号源に基づいて、ユーザの感情を推定する。【選択図】図1
Description
本発明はデータ処理技術に関し、特に感情推定装置、感情推定方法およびコンピュータプログラムに関する。
従来の感情推定処理では、ユーザの頭皮上に配置された電極により検知された脳波(Electroencephalogram:EEG)のデータから、直接、ユーザが抱く感情を推定することが行われてきた。
しかし、脳波は空間分解能が低く、脳波からは限られた情報しか取り出すことができなかった。そのため、ユーザの脳波から直接、ユーザが抱く様々な感情を精度よく識別することは容易でないと本発明者は認識した。
本発明は、上記課題に鑑みてなされたものであり、1つの目的は、ユーザの脳波に基づいて、ユーザが抱く様々な感情を精度よく識別することである。
上記課題を解決するために、本発明のある態様の感情推定装置は、ユーザの脳波を取得する脳波取得部と、脳波取得部により取得された脳波の態様に基づいて、脳の複数の部位の中から脳波の信号源を推定する信号源推定部と、信号源推定部により推定された脳波の信号源に基づいて、ユーザの感情を推定する感情推定部と、を備える。
本発明の別の態様は、感情推定方法である。この方法は、ユーザの脳波を取得するステップと、取得するステップで取得した脳波の態様に基づいて、脳の複数の部位の中から脳波の信号源を推定する信号源推定ステップと、信号源推定ステップで推定した脳波の信号源に基づいて、ユーザの感情を推定する感情推定ステップと、をコンピュータが実行する。
なお、以上の構成要素の任意の組合せ、本発明の表現を、プログラム、プログラムを格納した記録媒体などの間で変換したものもまた、本発明の態様として有効である。
本発明によれば、ユーザの脳波に基づいて、ユーザが抱く様々な感情を精度よく識別することができる。
実施例の感情推定システムの構成を説明する前に概要を説明する。
従来、所定の行動を実施したユーザ(被験者とも言える)、または所定の刺激を受けたユーザの脳波と、そのときにユーザが想起した感情との相関を利用して、ユーザの感情を識別していた。例えば、喜びを想起しやすい画像をユーザに提示し、その際に計測したユーザの脳波と、ユーザの感情「喜び」とを対応付けて記録した。その後、上記脳波と特徴が類似する脳波を計測した場合、ユーザが喜びを感じていると判断していた。この態様では、識別可能な感情の種類は限定され、また、感情識別の精度も高くなかった。
従来、所定の行動を実施したユーザ(被験者とも言える)、または所定の刺激を受けたユーザの脳波と、そのときにユーザが想起した感情との相関を利用して、ユーザの感情を識別していた。例えば、喜びを想起しやすい画像をユーザに提示し、その際に計測したユーザの脳波と、ユーザの感情「喜び」とを対応付けて記録した。その後、上記脳波と特徴が類似する脳波を計測した場合、ユーザが喜びを感じていると判断していた。この態様では、識別可能な感情の種類は限定され、また、感情識別の精度も高くなかった。
また、ユーザの頭皮上で検出された脳波には、空間分解能が低いという欠点がある。例えば、ユーザが運動をしていると、感情生起に伴う脳活動の信号と、運動に伴う脳活動の信号とが混じって検出されてしまう。そのため、運動時のユーザの感情を精度よく識別することは困難であった。
本発明者は、ユーザが異なる感情を抱く場合に、有意に活動が増加する脳の部位が異なるという知見を得た。この脳の部位は、具体的には、脳の表面の部位であり、言い換えれば、大脳皮質における部位である。実施例の感情推定システムは、本発明者の上記知見に基づくものであり、ユーザの脳波から、活動が増加した脳部位(実施例では「信号源」と呼ぶ)を推定する。そして、活動が増加した脳部位(実施例では信号源の部位)に基づいて、ユーザが抱く感情を推定する。
また、実施例の感情推定システムは、脳波の信号源とユーザの感情との対応関係、言い換えれば相関を機械学習により記憶する。そして、機械学習の結果を用いて脳波の信号源からユーザの感情を推定する。実施例の感情推定システムによると、ユーザが抱く様々な感情を精度よく識別することを実現できる。
図1は、実施例の感情推定システム10の構成を示す。感情推定システム10は、脳波計12、fMRI(functional Magnetic Resonance Imaging)装置14、感情推定装置16を備える。実施例では、図1の各装置は、LAN等の通信網を介して接続される。変形例として、USBストレージ等の記録メディアを介して、オフラインでデータが入出力されてもよい。
脳波計12は、ユーザの頭皮上に配置された複数の電極(言い換えればセンサ)を介して、ユーザの脳波を示す信号(以下「脳波信号」と呼ぶ。)を検出する。電極の数は適宜変更可能であるが、実施例では60個である。すなわち、脳波計12は、60チャネルの脳波信号を検出する。脳波計12は、検出した60チャネルの脳波信号を示すデータを感情推定装置16へ出力する。
脳波信号を示すデータは、例えば、時間と振幅を対応付けたデータであってもよい。また、周波数とパワースペクトル密度を対応付けたデータ、すなわち周波数特性を示すデータでもよい。脳波計12は、公知の方法により、脳波信号を増幅してもよく、また、脳波信号からノイズを除去してもよい。
fMRI装置14は、MRI(Magnetic Resonance Imaging)を利用して、脳の活動に関連した血流動態反応を視覚化する装置である。fMRI装置14は、ユーザの脳において活動する脳部位を示すデータである脳活動データを感情推定装置16へ出力する。脳活動データは、実測に基づく脳波の信号源を示すデータとも言える。感情推定装置16は、ユーザの脳波からその信号源を推定し、推定した信号源に基づいてユーザが抱く感情を推定する情報処理装置である。
なお、図1の各装置の筐体数に制限はない。例えば、図1に示す少なくとも1つの装置は、複数の情報処理装置が連携することにより実現されてもよい。また、図1に示す複数の装置の機能が、単一の情報処理装置により実現されてもよい。
図2は、図1の感情推定装置16の機能構成を示すブロック図である。本明細書のブロック図において示される各ブロックは、ハードウェア的には、コンピュータのCPU・メモリをはじめとする素子や機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。これらの機能ブロックはハードウェア、ソフトウェアの組合せによっていろいろなかたちで実現できることは、当業者には理解されるところである。
感情推定装置16は、fMRI結果取得部20、信号源推定関数生成部22、信号源推定関数記憶部24、脳波取得部26、信号源推定部28、学習部30、感情推定関数記憶部32、感情推定部34、推定結果記憶部36を備える。これらの機能ブロックに対応するモジュールを含むコンピュータプログラムが、所定の記録媒体に格納され、また、感情推定装置16のストレージへインストールされてもよい。感情推定装置16のCPUは、このコンピュータプログラムをメインメモリへ読み出して実行することにより、各機能ブロックの機能を発揮してもよい。
fMRI結果取得部20は、fMRI装置14から入力された脳活動データを取得する。実施例において「データを取得する」とは、外部から送信されたデータを受信し、そのデータをメモリまたはストレージに記憶させることを含む。
実施例では、脳の表面(例えば大脳皮質)を3ミリメートル角に分割した複数の部位を定義し、実施例では3000個の部位を定義する。これらの複数の部位は、例えば、扁桃体、島皮質、帯状回前部等の公知の部位を含んでもよく、それらの公知の部位をより細分化した部位を含んでもよい。信号源推定関数生成部22は、脳波データから当該脳波の信号源を推定するための信号源推定関数を生成する。
実施例における信号源推定関数は、60チャネルの脳波データを入力として受け付け、3000個の脳部位それぞれの活動の有無を示すデータを出力する関数である。言い換えれば、それぞれの脳部位が信号源か否かを示すデータを出力する関数である。信号源推定関数は、60チャネルの脳波データから、3000個の脳部位それぞれに対して信号源としての重み付けを行う60×3000の行列であってもよい。
信号源推定関数生成部22の上記処理は、公知のソフトウェアである株式会社国際電気通信基礎技術研究所が提供するVBMEG(Variational Bayesian Multimodal EncephaloGraphy)により実現される。VBMEGは、脳波データに基づいて脳の皮質電流を推定することにより信号源を推定するソフトウェアである。脳波データは、脳波の波形を示すデータでもよく、時系列での振幅の推移を示すデータでもよく、特許文献1に記載された脳波の周波数特性を示すデータでもよい。
具体的には、信号源推定関数生成部22は、VBMEGが提供する所定のAPI(Application Programming Interface)に、(1)fMRIにより撮像された脳の構造を示す画像データ、(2)fMRIにより計測された脳活動データ、(3)頭皮上における電極の設置位置を示すデータ、(4)脳波取得部26により取得された脳波信号のデータを入力することにより、VBMEGに信号源推定関数を生成させる。
信号源推定関数生成部22は、生成した信号源推定関数を信号源推定関数記憶部24に格納する。信号源推定関数記憶部24は、信号源推定関数生成部22により生成された信号源推定関数を記憶する記憶領域である。
なお、信号源推定関数生成部22は、脳を構成する複数の部位(実施例では3000個)のうち人の感情を司る部位(例えば数10個〜100個程度)を母集団として、脳波の信号源をその母集団から推定する信号源推定関数を生成してもよい。言い換えれば、運動を司る部位等、感情に影響しない部位を信号源から除外してもよい。この態様によると、感情推定におけるパラメータ数を低減し、後述の機械学習および感情推定処理の性能・効率を向上することができる。
脳波取得部26は、脳波計12から入力された脳波信号のデータを取得する。信号源推定部28は、脳波取得部26により取得された脳波の態様に基づいて、予め定められた脳の複数の部位の中から脳波の信号源を1つ以上推定する。具体的には、信号源推定部28は、信号源推定関数記憶部24に記憶された信号源推定関数に60チャネルの脳波データを入力することにより、信号源推定関数の出力として、1つ以上の信号源を示すデータ(以下「信号源データ」とも呼ぶ。)を取得する。
学習部30は、ユーザの複数種類の感情と、ユーザが各感情を抱く場合の脳波の信号源との対応関係、言い換えれば、相関を機械学習する。学習部30は、信号源推定部28により推定された脳波の信号源と、そのときのユーザの主観的な感情とを対応付けたデータを、機械学習のための教師データとして使用する。なお、学習部30が機械学習に使用する信号源を示すデータは、脳を構成する複数の部位のうち人の感情を司る部位に限定したデータでもよく、言い換えれば、運動を司る部位等、感情に影響しない部位を除外したデータでもよい。この態様によると、機械学習の性能・効率を向上することができる。
学習部30は、複数の教師データと、公知のSLR(Sparse Logistic Regression)アルゴリズムとに基づいて、脳波の信号源を示す情報が入力された場合に、特定の感情をユーザが抱いているか否かを示すデータを出力する関数である感情推定関数を生成する。感情推定関数は感情推定モデルとも言える。SLRを用いた機械学習および関数(言い換えればモデル)の生成方法は公知であるため詳細な説明を省略する。
また、学習部30は、複数種類の感情に対応する複数種類の感情推定関数を生成する。複数種類の感情は、例えば、喜び、怒り、第1態様のイライラ、第2態様のイライラを含んでもよい。第1態様のイライラは、トラックボール操作の課題について、思い通りの操作ができるが課題達成ができないイライラであってもよい。また、第2態様のイライラは、思い通りの操作ができず課題達成ができないイライラであってもよい。
実施例では、第1の感情(例えば第1態様のイライラ)を想起させる画像または課題をユーザに提示し、学習部30は、その際の信号源と第1の感情とを対応付けた第1の教師データを設定する。学習部30は、複数の第1の教師データに基づいて、第1の感情推定関数を生成する。第1の感情推定関数は、脳波の信号源データが入力された場合に、ユーザが第1の感情を抱いているか否かを示すデータを出力する。
同様に、実施例では、第2の感情(例えば第2態様のイライラ)を想起させる画像または課題をユーザに提示し、学習部30は、その際の信号源と第2の感情とを対応付けた第2の教師データを設定する。学習部30は、複数の第2の教師データに基づいて、第2の感情推定関数を生成する。第2の感情推定関数は、脳波の信号源データが入力された場合に、ユーザが第2の感情を抱いているか否かを示すデータを出力する。
学習部30は、複数種類の感情に対応する複数種類の感情推定関数を感情推定関数記憶部32に格納する。感情推定関数記憶部32は、学習部30により生成された複数種類の感情推定関数を記憶する記憶領域である。
感情推定部34は、信号源推定部28により推定された脳波の信号源に基づいて、ユーザの感情を推定する。感情推定部34は、学習部30による機械学習の結果に基づいて、信号源推定部28により推定された信号源に対応するユーザの感情を推定する。言い換えれば、推定された信号源に対して相関が強い感情をユーザが抱く感情として推定する。なお、感情推定部34が感情推定に使用する信号源を示すデータは、脳を構成する複数の部位のうち人の感情を司る部位に限定したデータでもよく、言い換えれば、運動を司る部位等、感情に影響しない部位を除外したデータでもよい。この態様によると、感情推定処理の性能・効率を向上することができる。
感情推定部34は、信号源推定部28により推定された信号源を示すデータを複数種類の感情推定関数へ入力することにより、複数種類の感情の有無を推定する。具体的には、感情推定部34は、信号源推定部28により取得された信号源データを、感情推定関数記憶部32に格納された、複数種類の感情に対応する複数種類の感情推定関数へ入力する。感情推定部34は、複数種類の感情推定関数からの出力として、複数種類の感情の有無を示すデータを取得する。例えば、感情推定部34は、怒り・喜び・第1態様のイライラ・第2態様のイライラのそれぞれについて、現在ユーザが各感情を抱いているか否かを示すデータ(例えば二値データ)を取得してもよい。
感情推定部34は、感情の推定結果のデータ、例えば、複数種類の感情それぞれの有無を示すデータを推定結果記憶部36へ格納する。感情の推定結果のデータは、例えば、(1)喜びの有無、(2)怒りの有無、(3)第1態様のイライラの有無、(4)第2態様のイライラの有無・・・を示すデータであってもよい。推定結果記憶部36は、感情推定部34による感情の推定結果のデータを記憶する記憶領域である。
推定結果記憶部36に記憶されたユーザの感情の推定結果は、所定の外部装置または表示装置へ出力されてもよい。例えば、感情推定装置16の表示制御部(不図示)は、推定結果記憶部36に記憶された推定結果データを所定の表示装置に表示させてもよい。また、感情推定装置16の推定結果提供部(不図示)は、推定結果記憶部36に記憶された推定結果データを所定の外部装置へ送信してもよい。
以上の構成による感情推定システム10の動作を説明する。
まず、学習フェーズの動作を説明する。fMRI装置14は、ユーザの脳活動を計測し、計測した脳活動データを感情推定装置16へ出力する。
まず、学習フェーズの動作を説明する。fMRI装置14は、ユーザの脳活動を計測し、計測した脳活動データを感情推定装置16へ出力する。
図3は、学習フェーズにおける感情推定装置16の動作を示すフローチャートである。感情推定装置16のfMRI結果取得部20が、fMRI装置14により生成された脳活動データを取得すると(S10のY)、信号源推定関数生成部22は、VBMEGを起動して信号源推定関数を生成する(S12)。具体的には、信号源推定関数生成部22は、ユーザの脳構造データ、電極位置、脳活動データをパラメータとして、VBMEGが提供する公知の関数をコールすることにより信号源推定関数を生成する。
信号源推定関数生成部22は、生成した信号源推定関数のデータを信号源推定関数記憶部24へ格納する(S14)。脳活動データを未取得であれば(S10のN)、S12とS14の処理をスキップする。
脳波計12は、特定の感情(例えば喜び)を想起させる画像を閲覧するユーザ、または、特定の感情(例えば第1態様のイライラ)を想起させる課題に取り組むユーザの頭皮上に設置された電極を介して、ユーザの脳波を計測する。脳波計12は、様々な画像を閲覧するユーザまたは様々な課題に取り組むユーザの脳波を計測し、複数種類の感情に対応する複数種類の脳波を計測する。脳波計12は、複数種類の脳波データを感情推定装置16へ出力する。
感情推定装置16の脳波取得部26が、複数種類の感情に応じた複数種類の脳波データを脳波計12から取得すると(S16のY)、信号源推定部28は、脳波の信号源を推定する。具体的には、信号源推定部28は、複数種類の脳波データと、信号源推定関数記憶部24に格納された信号源推定関数とにしたがって、複数種類の感情に対応する信号源(すなわち感情の種類ごとの信号源)を推定する(S18)。学習部30は、ユーザが抱いた感情とそのときの信号源とを対応付けた教師データであり、感情ごとに複数の教師データを生成する。
学習部30は、ユーザが抱いた感情ごとに、複数の教師データと公知のSLRアルゴリズムとにしたがって機械学習を実行する(S20)。学習部30は、複数種類の感情に対応する複数の感情推定関数を生成し、生成した複数の感情推定関数を感情推定関数記憶部32へ格納する(S22)。複数の感情推定関数は、例えば、喜びの有無を推定するための関数、第1態様のイライラの有無を推定するための関数、第2態様のイライラの有無を推定するための関数を含む。脳波データを未取得であれば(S16のN)、S18〜S22をスキップする。
次に、感情推定フェーズ、言い換えれば、学習結果の利用フェーズの動作を説明する。脳波計12は、感情を推定すべき対象であるユーザの脳波を計測する。この時点では、ユーザがどのような感情を抱いているかはわからない。脳波計12は、計測した脳波データを感情推定装置16へ出力する。
図4は、感情推定フェーズにおける感情推定装置16の動作を示すフローチャートである。脳波取得部26が、脳波計12で生成されたユーザの脳波データを取得すると(S30のY)、信号源推定部28は、脳波データと、信号源推定関数記憶部24に格納された信号源推定関数とに基づいて、脳波の信号源を推定する(S32)。感情推定部34は、脳波の信号源と、感情推定関数記憶部32に格納された複数の感情推定関数とに基づいて、ユーザが抱く感情を推定する(S34)。
感情推定部34は、ユーザが抱く感情の推定結果を推定結果記憶部36へ格納する(S36)。脳波データを未取得であれば(S30のN)、S32〜S36をスキップする。検査者は、推定結果記憶部36に記憶された推定結果を確認することで、ユーザが抱く感情を把握できる。また、図1に不図示の情報処理装置は、感情推定装置16にアクセスして推定結果記憶部36に記憶された推定結果を参照し、または、推定結果記憶部36に記憶された推定結果を感情推定装置16から受信して参照することにより、ユーザが抱く感情に即した情報処理を実行できる。例えば、ユーザが抱く感情に応じた画像や情報をユーザの情報端末等に提供し、表示させることができる。
実施例の感情推定装置16によると、ユーザの頭皮上で計測された脳波から一旦信号源を推定し、信号源からユーザの感情を推定する。これにより、運動に関係した脳活動と、感情に関係する脳活動とを空間的に分離でき、運動中のユーザの感情を識別する精度を向上することができる。
また、感情推定装置16によると、信号源から感情を推定するモデルを機械学習により構築する、これにより、様々な種類の感情を識別する精度を向上することができる。例えば、人では気づきにくい信号源と感情との相関を反映した感情推定処理を実現できる。また、感情推定装置16によると、複数種類の感情に対応する複数種類の感情推定関数を生成し、複数種類の感情推定関数の出力結果に基づいてユーザが抱く感情を推定する。これにより、様々な種類の感情の有無を精度よく推定することができる。
以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、変形例を示す。
(変形例1)
上記実施例では言及していないが、感情推定装置16は、複数種類の感情に対応する複数種類の信号源推定関数を使用して複数種類の感情に対応する信号源を特定してもよい。
上記実施例では言及していないが、感情推定装置16は、複数種類の感情に対応する複数種類の信号源推定関数を使用して複数種類の感情に対応する信号源を特定してもよい。
まず、学習フェーズの処理を説明する。fMRI装置14は、特定の感情を想起させる画像を閲覧するユーザ、または、特定の感情を想起させる課題に取り組むユーザの脳活動を計測する。そして、ユーザに提示する画像や課題を順次変更し、fMRI装置14は、それぞれの画像または課題が提示されたユーザの脳活動を計測する。これにより、fMRI装置14は、複数種類の感情に対応する複数種類の脳活動を計測し、計測した複数種類の脳活動データを感情推定装置16へ出力する。
感情推定装置16の信号源推定関数生成部22は、複数種類の感情に対応する複数種類の脳活動データに基づいて、複数種類の感情に対応する複数種類の信号源推定関数を生成する。複数種類の信号源推定関数は、例えば、第1の感情(例えば第1態様のイライラ)に対応する第1の信号源推定関数と、第1の感情とは異なる第2の感情(例えば第2態様のイライラ)に対応する第2の信号源推定関数を含む。第1の信号源推定関数と第2の信号源推定関数は、いずれも30×6000の行列であってもよいが、複数の脳部位への重み付けが互いに異なる。
具体的には、信号源推定関数生成部22は、ユーザの脳構造データ、電極位置、脳活動データをパラメータとして指定しつつ、VBMEGが提供する公知の関数をコールすることを感情ごとに繰り返してもよい。すなわち、図3のS12およびS14の処理を感情ごとに繰り返すことにより、各感情に対応する信号源推定関数を生成してもよい。
信号源推定部28は、感情の種類ごとに脳波データと信号源推定関数との組合せを設定し、その組合せにしたがって、感情の種類ごとに信号源を推定する。例えば、信号源推定部28は、ユーザが喜びを感じた場合の脳波データと、喜びに対応する信号源推定関数との組合せに基づいて、感情「喜び」に対応する信号源を推定する。
学習部30は、実施例と同様に、信号源と感情との相関を機械学習し、複数種類の感情に対応する複数の感情推定関数を生成する。すなわち、学習部30は、第1の感情(例えば第1態様のイライラ)に対応する第1の感情推定関数と、第1の感情とは異なる第2の感情(例えば第2態様のイライラ)に対応する第2の感情推定関数を生成する。
次に、感情推定フェーズの処理を説明する。信号源推定部28は、脳波取得部26により取得された脳波データと、信号源推定関数記憶部24に格納された複数の信号源推定関数に基づいて信号源を推定する。具体的には、信号源推定部28は、第1の信号源推定関数に基づいて上記脳波データに対応する信号源を推定するとともに、第2の信号源推定関数に基づいて上記脳波データに対応する信号源を推定する。
感情推定部34は、第1の信号源推定関数により推定された信号源のデータを第1の感情推定関数へ入力することにより、第1の感情の有無を推定する。それとともに、感情推定部34は、第2の信号源推定関数により推定された信号源のデータを第2の感情推定関数へ入力することにより、第2の感情の有無を推定する。本変形例の態様によると、信号源推定関数を感情の種類ごとに設けることにより、感情の推定精度を一層向上することができる。
(変形例2)
上記実施例では、機械学習のアルゴリズムとしてSLRを使用したが、他の種類のアルゴリズムを使用してもよい。例えば、SVM(Support Vector Machine)のアルゴリズムを使用してもよい。
上記実施例では、機械学習のアルゴリズムとしてSLRを使用したが、他の種類のアルゴリズムを使用してもよい。例えば、SVM(Support Vector Machine)のアルゴリズムを使用してもよい。
(変形例3)
上記実施例では、脳波の信号源と感情との相関を機械学習したが、必ずしも機械学習を使用しなくてもよい。例えば、感情推定装置16は、脳波の信号源の複数のパターンと、パターンごとの感情とを予め対応付けたデータを記憶部に記憶し、学習部30は、信号源推定部28により推定された信号源のパターンに対応付けられた感情を、ユーザが抱く感情として推定してもよい。すなわち、脳波の信号源と感情との相関を人間の知見により予め定めてもよい。
上記実施例では、脳波の信号源と感情との相関を機械学習したが、必ずしも機械学習を使用しなくてもよい。例えば、感情推定装置16は、脳波の信号源の複数のパターンと、パターンごとの感情とを予め対応付けたデータを記憶部に記憶し、学習部30は、信号源推定部28により推定された信号源のパターンに対応付けられた感情を、ユーザが抱く感情として推定してもよい。すなわち、脳波の信号源と感情との相関を人間の知見により予め定めてもよい。
(変形例4)
上記実施例では、信号源を推定するためにVBMEGを使用したが、他の手法により信号源を推定してもよい。例えば、sLORETA(standardized Low-Resolution Brain Electromagnetic Tomography)を使用して信号源を推定してもよい。sLORETAは、脳機能イメージング解析の手法であり、脳波や脳磁図による脳内神経活動を脳図譜(言い換えれば標準脳)に重畳して描く解析手法である。
上記実施例では、信号源を推定するためにVBMEGを使用したが、他の手法により信号源を推定してもよい。例えば、sLORETA(standardized Low-Resolution Brain Electromagnetic Tomography)を使用して信号源を推定してもよい。sLORETAは、脳機能イメージング解析の手法であり、脳波や脳磁図による脳内神経活動を脳図譜(言い換えれば標準脳)に重畳して描く解析手法である。
(変形例5)
上記実施例では、fMRI装置14を使用して、ユーザの脳波の信号源(言い換えれば脳活動)を特定したが、fMRI装置14を使用しない構成も可能である。例えば、解剖学的な知見、および/または、脳波計12の電極の三次元位置から推定される頭蓋骨の形状に基づいて、脳波の態様と信号源との対応関係を仮定または特定する構成でもよく、この場合、fMRI装置14は不要になる。信号源推定部28は、上記対応関係に基づいて信号源を推定してもよい。
上記実施例では、fMRI装置14を使用して、ユーザの脳波の信号源(言い換えれば脳活動)を特定したが、fMRI装置14を使用しない構成も可能である。例えば、解剖学的な知見、および/または、脳波計12の電極の三次元位置から推定される頭蓋骨の形状に基づいて、脳波の態様と信号源との対応関係を仮定または特定する構成でもよく、この場合、fMRI装置14は不要になる。信号源推定部28は、上記対応関係に基づいて信号源を推定してもよい。
上述した実施の形態および変形例の任意の組み合わせもまた本発明の実施の形態として有用である。組み合わせによって生じる新たな実施の形態は、組み合わされる実施の形態および変形例それぞれの効果をあわせもつ。また、請求項に記載の各構成要件が果たすべき機能は、実施の形態および変形例において示された各構成要素の単体もしくはそれらの連携によって実現されることも当業者には理解されるところである。
10 感情推定システム、 16 感情推定装置、 20 fMRI結果取得部、 22 信号源推定関数生成部、 26 脳波取得部、 28 信号源推定部、 30 学習部、 34 感情推定部。
Claims (6)
- ユーザの脳波を取得する脳波取得部と、
前記脳波取得部により取得された脳波の態様に基づいて、脳の複数の部位の中から前記脳波の信号源を推定する信号源推定部と、
前記信号源推定部により推定された脳波の信号源に基づいて、ユーザの感情を推定する感情推定部と、
を備えることを特徴とする感情推定装置。 - ユーザの複数種類の感情と、ユーザが各感情を抱く場合の脳波の信号源との対応関係を機械学習する学習部をさらに備え、
前記感情推定部は、前記学習部による機械学習の結果に基づいて、前記推定された脳波の信号源に対応するユーザの感情を推定することを特徴とする請求項1に記載の感情推定装置。 - 前記学習部は、脳波の信号源を示す情報が入力された場合に感情の有無を出力する関数であって、前記複数種類の感情に対応する複数種類の関数を生成し、
前記感情推定部は、前記推定された脳波の信号源を示す情報を前記複数種類の関数へ入力することにより、前記複数種類の感情それぞれの有無を推定することを特徴とする請求項2に記載の感情推定装置。 - 前記学習部は、前記複数種類の関数として、第1の感情に対応する第1の感情推定関数と、前記第1の感情とは異なる第2の感情に対応する第2の感情推定関数とを生成し、
前記信号源推定部は、前記第1の感情に対応する第1の信号源推定関数に基づいて、前記取得された脳波の信号源を推定するとともに、前記第2の感情に対応する第2の信号源推定関数に基づいて、前記取得された脳波の信号源を推定し、
前記感情推定部は、前記第1の信号源推定関数により推定された脳波の信号源を示す情報を前記第1の感情推定関数へ入力することにより、前記第1の感情の有無を推定し、前記第2の信号源推定関数により推定された脳波の信号源を示す情報を前記第2の感情推定関数へ入力することにより、前記第2の感情の有無を推定することを特徴とする請求項3に記載の感情推定装置。 - ユーザの脳波を取得するステップと、
前記取得するステップで取得した脳波の態様に基づいて、脳の複数の部位の中から前記脳波の信号源を推定する信号源推定ステップと、
前記信号源推定ステップで推定した脳波の信号源に基づいて、ユーザの感情を推定する感情推定ステップと、
をコンピュータが実行することを特徴とする感情推定方法。 - ユーザの脳波を取得する機能と、
前記取得する機能により取得された脳波の態様に基づいて、脳の複数の部位の中から前記脳波の信号源を推定する信号源推定機能と、
前記信号源推定機能により推定された脳波の信号源に基づいて、ユーザの感情を推定する感情推定機能と、
をコンピュータに実現させるためのコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017091522A JP2018187044A (ja) | 2017-05-02 | 2017-05-02 | 感情推定装置、感情推定方法およびコンピュータプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017091522A JP2018187044A (ja) | 2017-05-02 | 2017-05-02 | 感情推定装置、感情推定方法およびコンピュータプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018187044A true JP2018187044A (ja) | 2018-11-29 |
Family
ID=64477767
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017091522A Pending JP2018187044A (ja) | 2017-05-02 | 2017-05-02 | 感情推定装置、感情推定方法およびコンピュータプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018187044A (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021106669A (ja) * | 2019-12-27 | 2021-07-29 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置、及び情報処理プログラム |
KR102334595B1 (ko) * | 2020-12-21 | 2021-12-02 | 건국대학교 산학협력단 | 감정 인식 방법 및 장치 |
JP6976498B1 (ja) * | 2021-03-15 | 2021-12-08 | 三菱電機株式会社 | 感情推定装置および感情推定方法 |
CN114041795A (zh) * | 2021-12-03 | 2022-02-15 | 北京航空航天大学 | 基于多模态生理信息与深度学习的情绪识别方法及系统 |
WO2022210084A1 (ja) * | 2021-03-31 | 2022-10-06 | 三井化学株式会社 | モデル生成方法、コンピュータプログラム、情報処理装置、情報処理システム、情報処理方法、及び訓練データの生成方法 |
WO2023002914A1 (ja) * | 2021-07-19 | 2023-01-26 | 国立大学法人九州大学 | 脳活動推定方法、脳活動推定装置および脳活動推定プログラム |
WO2023073956A1 (ja) * | 2021-10-29 | 2023-05-04 | Vie Style株式会社 | プログラム、情報処理方法、及び情報処理装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08131413A (ja) * | 1994-11-08 | 1996-05-28 | Nec Corp | 生体内部状態推定装置 |
JP2006280806A (ja) * | 2005-04-04 | 2006-10-19 | Advanced Telecommunication Research Institute International | 脳内電流源推定方法、生体情報推定方法、脳内電流源推定装置、及び生体情報推定装置 |
JP2017074356A (ja) * | 2015-10-16 | 2017-04-20 | 国立大学法人広島大学 | 感性評価方法 |
-
2017
- 2017-05-02 JP JP2017091522A patent/JP2018187044A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08131413A (ja) * | 1994-11-08 | 1996-05-28 | Nec Corp | 生体内部状態推定装置 |
JP2006280806A (ja) * | 2005-04-04 | 2006-10-19 | Advanced Telecommunication Research Institute International | 脳内電流源推定方法、生体情報推定方法、脳内電流源推定装置、及び生体情報推定装置 |
JP2017074356A (ja) * | 2015-10-16 | 2017-04-20 | 国立大学法人広島大学 | 感性評価方法 |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021106669A (ja) * | 2019-12-27 | 2021-07-29 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置、及び情報処理プログラム |
JP7296121B2 (ja) | 2019-12-27 | 2023-06-22 | 株式会社Agama-X | 情報処理装置、及び情報処理プログラム |
KR102334595B1 (ko) * | 2020-12-21 | 2021-12-02 | 건국대학교 산학협력단 | 감정 인식 방법 및 장치 |
JP6976498B1 (ja) * | 2021-03-15 | 2021-12-08 | 三菱電機株式会社 | 感情推定装置および感情推定方法 |
WO2022195661A1 (ja) * | 2021-03-15 | 2022-09-22 | 三菱電機株式会社 | 感情推定装置および感情推定方法 |
CN116963667A (zh) * | 2021-03-15 | 2023-10-27 | 三菱电机株式会社 | 情绪推测装置以及情绪推测方法 |
US12097031B2 (en) | 2021-03-15 | 2024-09-24 | Mitsubishi Electric Corporation | Emotion estimation apparatus and emotion estimation method |
WO2022210084A1 (ja) * | 2021-03-31 | 2022-10-06 | 三井化学株式会社 | モデル生成方法、コンピュータプログラム、情報処理装置、情報処理システム、情報処理方法、及び訓練データの生成方法 |
WO2023002914A1 (ja) * | 2021-07-19 | 2023-01-26 | 国立大学法人九州大学 | 脳活動推定方法、脳活動推定装置および脳活動推定プログラム |
WO2023073956A1 (ja) * | 2021-10-29 | 2023-05-04 | Vie Style株式会社 | プログラム、情報処理方法、及び情報処理装置 |
CN114041795A (zh) * | 2021-12-03 | 2022-02-15 | 北京航空航天大学 | 基于多模态生理信息与深度学习的情绪识别方法及系统 |
CN114041795B (zh) * | 2021-12-03 | 2023-06-30 | 北京航空航天大学 | 基于多模态生理信息与深度学习的情绪识别方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2018187044A (ja) | 感情推定装置、感情推定方法およびコンピュータプログラム | |
CN111417342B (zh) | 脑网络的活动估计系统、方法和存储介质 | |
Babiloni et al. | Estimation of the cortical functional connectivity with the multimodal integration of high-resolution EEG and fMRI data by directed transfer function | |
McIntosh et al. | Partial least squares analysis of neuroimaging data: applications and advances | |
Eichele et al. | EEGIFT: Group independent component analysis for event‐related EEG data | |
JP3831788B2 (ja) | 活動筋肉表示装置 | |
De Martino et al. | Predicting EEG single trial responses with simultaneous fMRI and relevance vector machine regression | |
US20160051162A1 (en) | Method for locating a brain activity associated with a task | |
JP2018529409A (ja) | 超高密度の電極に基づく脳撮像システム | |
Brodski-Guerniero et al. | Information-theoretic evidence for predictive coding in the face-processing system | |
US20160051161A1 (en) | Method for locating a brain activity associated with a task | |
CN114052668B (zh) | 一种基于脑磁图数据的脑功能分析方法 | |
JP2020510470A (ja) | 所与のプロセスの遂行に関わる少なくとも1つの脳ネットワークを決定する方法、命令、デバイス及びプログラム | |
JP2019025311A (ja) | データ生成装置、生体データ計測システム、識別器生成装置、データ生成方法、識別器生成方法及びプログラム | |
Fu et al. | Adaptive covariance estimation of non-stationary processes and its application to infer dynamic connectivity from fMRI | |
JP6203324B1 (ja) | 認知状態推定システム及び認知状態推定方法 | |
WO2022004841A1 (ja) | 推定システム、推定方法、プログラム、推定モデル、脳活動トレーニング装置、脳活動トレーニング方法、および、脳活動トレーニングプログラム | |
KR20200099811A (ko) | 휴지기 뇌파를 이용한 뇌전증 진단 정보 제공 장치 및 방법 | |
Luria et al. | Bayesian multi-dipole modelling in the frequency domain | |
CN109965873B (zh) | 生物功能测量分析系统、方法及记录介质 | |
Baillet | Electromagnetic brain mapping using MEG and EEG | |
Wang et al. | Dynamic predictions: Oscillatory mechanisms underlying multisensory sequence processing | |
Schiavone et al. | Towards real-time visualization of a juggler’s brain | |
Fabbiano et al. | An innovative strategy for correctly interpreting simultaneous acquisition of EEG signals and FMRI images | |
JP2018046899A (ja) | 脳活動状態定量化方法および脳活動状態計測装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200416 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210311 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210323 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20211005 |