JP2009066186A - 脳活動状態推定方法および情報処理システム - Google Patents
脳活動状態推定方法および情報処理システム Download PDFInfo
- Publication number
- JP2009066186A JP2009066186A JP2007237607A JP2007237607A JP2009066186A JP 2009066186 A JP2009066186 A JP 2009066186A JP 2007237607 A JP2007237607 A JP 2007237607A JP 2007237607 A JP2007237607 A JP 2007237607A JP 2009066186 A JP2009066186 A JP 2009066186A
- Authority
- JP
- Japan
- Prior art keywords
- hemoglobin concentration
- brain activity
- measurement
- user
- activity state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Investigating Or Analysing Materials By Optical Means (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
【課題】利用者のその時々の脳活動状態を正確に推定できるようにする。
【解決手段】推定準備工程において、利用者が異なる情動状態にある複数の期間で、それぞれ各計測チャンネルのヘモグロビン濃度関連値(ヘモグロビン濃度変化量またはヘモグロビン濃度それ自体)を計測し、その複数の期間につき、それぞれ、計測チャンネルの組合せにより選択された2チャンネルのヘモグロビン濃度関連値の間の相互相関係数を計測チャンネルの組合せの総数分有する特徴ベクトルを算出して、自己組織化マップによってクラスタリングする。推定実行工程では、ヘモグロビン濃度関連値から特徴ベクトルを算出して学習データとし、直前のクラスタリング結果の各クラスタ76e,76f,76gから代表ベクトルとして抽出した特徴ベクトルを教師データとして、機械学習を行って、そのときの利用者の情動状態を推定するとともに、そのときの特徴ベクトルをクラスタリングする。
【選択図】図12
【解決手段】推定準備工程において、利用者が異なる情動状態にある複数の期間で、それぞれ各計測チャンネルのヘモグロビン濃度関連値(ヘモグロビン濃度変化量またはヘモグロビン濃度それ自体)を計測し、その複数の期間につき、それぞれ、計測チャンネルの組合せにより選択された2チャンネルのヘモグロビン濃度関連値の間の相互相関係数を計測チャンネルの組合せの総数分有する特徴ベクトルを算出して、自己組織化マップによってクラスタリングする。推定実行工程では、ヘモグロビン濃度関連値から特徴ベクトルを算出して学習データとし、直前のクラスタリング結果の各クラスタ76e,76f,76gから代表ベクトルとして抽出した特徴ベクトルを教師データとして、機械学習を行って、そのときの利用者の情動状態を推定するとともに、そのときの特徴ベクトルをクラスタリングする。
【選択図】図12
Description
この発明は、人の脳の活動状態を推定する方法およびシステムに関する。
fNIRS(functional near infrared spectroscopy)法として知られているように、近赤外光の照射により人の脳血流中のヘモグロビン濃度ないしヘモグロビン濃度変化を計測することによって、人の脳の活動状態を推定することが考えられている。
具体的に、ある被験者の情動状態を推定する場合、当該の被験者から得られた計測値を、あらかじめ多くの被験者につき計測することにより得られた各種の情動状態、例えば「喜怒哀楽」の4種の情動状態についての平均的な計測値と比較することによって、そのときの当該の被験者の情動状態を推定することが考えられる。
また、特許文献1(特開2006−95266号公報)には、機能的近赤外分光法を利用して、被験者の「喜怒哀楽」などの感性状態を定量的に判別する方法として、
(S1)リファレンスデータ収集ステップで、感性に影響を与える複数種類の状況に対応して、被験者の脳表層のn箇所の測定部位における血液中のヘモグロビン濃度を所定のサンプリング周期で測定し、そのn個のヘモグロビン濃度の時間的変化のデータから、組合せにより選択したk組(k=nC2)の2つの異なる時間的変化のデータにつき、サンプリング周期の時間ごとに相互相関係数を演算し、そのk組の2つの異なる時間的変化のデータに関するk種類の相互相関係数の時間的変化のパターンを、k種類のリファレンスデータとして収集し、
(S2)判定条件決定ステップで、そのk種類のリファレンスデータから、所定の判別法によって、被験者の感性状態を判別するのに必要な判定条件を求め、
(S3)評価用データ収集ステップで、所定の状況下にある被験者につき、上記のk種類の相互相関係数の時間的変化のパターンを、k種類の評価用データとして収集し、
(S4)判別ステップで、そのk種類の評価用データと上記の判定条件とを入力として、所定の判別法によって、被験者の感性状態を定量的に判別する、
方法が示されている。
(S1)リファレンスデータ収集ステップで、感性に影響を与える複数種類の状況に対応して、被験者の脳表層のn箇所の測定部位における血液中のヘモグロビン濃度を所定のサンプリング周期で測定し、そのn個のヘモグロビン濃度の時間的変化のデータから、組合せにより選択したk組(k=nC2)の2つの異なる時間的変化のデータにつき、サンプリング周期の時間ごとに相互相関係数を演算し、そのk組の2つの異なる時間的変化のデータに関するk種類の相互相関係数の時間的変化のパターンを、k種類のリファレンスデータとして収集し、
(S2)判定条件決定ステップで、そのk種類のリファレンスデータから、所定の判別法によって、被験者の感性状態を判別するのに必要な判定条件を求め、
(S3)評価用データ収集ステップで、所定の状況下にある被験者につき、上記のk種類の相互相関係数の時間的変化のパターンを、k種類の評価用データとして収集し、
(S4)判別ステップで、そのk種類の評価用データと上記の判定条件とを入力として、所定の判別法によって、被験者の感性状態を定量的に判別する、
方法が示されている。
特許文献1には、上記の判別法として線形写像判別法を用いて、判定条件として線形写像を求め、評価用データを入力ベクトルとすることや、上記の判別法としてニューラルネットワークを用いて、判定条件をニューラルネットワークの出力層に与え、評価用データをニューラルネットワークの入力層に与えることも、示されている。
また、特許文献2(特開2003−296696号公報)などの特許文献や、機械学習に関する著作物には、機械学習の一方法である自己組織化マップ(SOM:Self Organizing Maps)によって多次元データをクラスタリングすることが示されている。
自己組織化マップでは、多数の多次元データを、2次元マップ上に写像し、視覚的に分かりやすく、それぞれの多次元データの性質ごとに、クラスタリングすることができる。
例えば、図15の左側のテーブル101に示す16種の動物を、それぞれの属性1(小さいか否か)から属性16(草食性か否か)までの16の属性の値を多次元データとして、自己組織化マップによってクラスタリングすると、クラスタリング結果のマップとして、図15の右側に示すようなマップ102が得られる。
上に挙げた先行技術文献は、以下の通りである。
特開2006−95266号公報
特開2003−296696号公報
人の情動状態と脳血流中のヘモグロビン濃度ないしヘモグロビン濃度変化との関係は、一義的ではなく、人によって異なる。例えば、人が喜んでいるときのヘモグロビン濃度ないしヘモグロビン濃度変化は、喜びの程度が同じであっても、人によって異なる。人の思考状態と脳血流中のヘモグロビン濃度ないしヘモグロビン濃度変化との関係も、人によって異なる。
そのため、上記のように特定の当該の被験者から得られた計測値を、多くの被験者から得られた平均的な計測値と比較することによって、そのときの当該の被験者の脳活動状態を推定する方法では、当該の被験者の脳活動状態を正確に推定することができない。
さらに、あらかじめ当該の被験者が各種の脳活動状態にあるときの計測値を各種の参照データとして準備しておき、単純に、そのときの当該の被験者から得られた計測値を各種の参照データと比較して、そのときの当該の被験者の脳活動状態を判別する方法でも、そのときの当該の被験者の脳活動状態が、実際には当初想定した上記の各種の脳活動状態のうちのいずれでもないときでも、そのときの当該の被験者の脳活動状態を、上記の各種の脳活動状態のうちのいずれかであると、決め打ち的に判定してしまうため、必ずしも当該の被験者の脳活動状態を正確に判別することができない。
そこで、この発明は、利用者のその時々の脳活動状態を正確に推定することができるようにしたものである。
この発明の脳活動状態推定方法は、
利用者の脳表層における複数の部位を計測チャンネルとして、各計測チャンネルのヘモグロビン濃度変化量またはヘモグロビン濃度それ自体をヘモグロビン濃度関連値として計測して、上記利用者の脳活動状態を推定する方法であって、
推定準備工程と推定実行工程とを備え、
上記推定準備工程は、
上記利用者が異なる脳活動状態にある複数の期間で、それぞれ各計測チャンネルのヘモグロビン濃度関連値を計測するステップと、
その得られた各計測チャンネルのヘモグロビン濃度関連値をもとに、上記複数の期間につき、それぞれ、計測チャンネルの組合せにより選択された2チャンネルのヘモグロビン濃度関連値の間の相互相関係数を、計測チャンネルの組合せの総数分、有する特徴ベクトルを算出するステップと、
その算出された上記複数の期間についての特徴ベクトルを、機械学習によってクラスタリングするステップとを備え、
上記推定実行工程は、
上記利用者が脳活動状態にあるときの、各計測チャンネルのヘモグロビン濃度関連値を計測するステップと、
その得られた各計測チャンネルのヘモグロビン濃度関連値をもとに、計測チャンネルの組合せにより選択された2チャンネルのヘモグロビン濃度関連値の間の相互相関係数を、計測チャンネルの組合せの総数分、有する特徴ベクトルを算出するステップと、
その算出された特徴ベクトルを学習データとし、直前のクラスタリング結果における各クラスタから代表ベクトルとして抽出した特徴ベクトルを教師データとして、機械学習を行って、そのときの上記利用者の脳活動状態を推定するとともに、上記学習データとしての特徴ベクトルをクラスタリングして、クラスタリング結果を更新するステップとを備える、
ことを特徴とする。
利用者の脳表層における複数の部位を計測チャンネルとして、各計測チャンネルのヘモグロビン濃度変化量またはヘモグロビン濃度それ自体をヘモグロビン濃度関連値として計測して、上記利用者の脳活動状態を推定する方法であって、
推定準備工程と推定実行工程とを備え、
上記推定準備工程は、
上記利用者が異なる脳活動状態にある複数の期間で、それぞれ各計測チャンネルのヘモグロビン濃度関連値を計測するステップと、
その得られた各計測チャンネルのヘモグロビン濃度関連値をもとに、上記複数の期間につき、それぞれ、計測チャンネルの組合せにより選択された2チャンネルのヘモグロビン濃度関連値の間の相互相関係数を、計測チャンネルの組合せの総数分、有する特徴ベクトルを算出するステップと、
その算出された上記複数の期間についての特徴ベクトルを、機械学習によってクラスタリングするステップとを備え、
上記推定実行工程は、
上記利用者が脳活動状態にあるときの、各計測チャンネルのヘモグロビン濃度関連値を計測するステップと、
その得られた各計測チャンネルのヘモグロビン濃度関連値をもとに、計測チャンネルの組合せにより選択された2チャンネルのヘモグロビン濃度関連値の間の相互相関係数を、計測チャンネルの組合せの総数分、有する特徴ベクトルを算出するステップと、
その算出された特徴ベクトルを学習データとし、直前のクラスタリング結果における各クラスタから代表ベクトルとして抽出した特徴ベクトルを教師データとして、機械学習を行って、そのときの上記利用者の脳活動状態を推定するとともに、上記学習データとしての特徴ベクトルをクラスタリングして、クラスタリング結果を更新するステップとを備える、
ことを特徴とする。
上記の、この発明の脳活動状態推定方法では、推定準備工程で、当該の利用者が異なる脳活動状態にある複数の期間についての、それぞれ各計測チャンネルのヘモグロビン濃度関連値から算出された特徴ベクトルを、機械学習によりクラスタリングすることによって、脳活動状態と脳血流中のヘモグロビン濃度ないしヘモグロビン濃度変化との関係についての当該の利用者の傾向を検出することができ、当該の利用者に固有のクラスタリング結果を得ることができる。
そして、推定実行工程では、この当該利用者に固有のクラスタリング結果における各クラスタから代表ベクトルとして抽出した特徴ベクトルを教師データとし、そのとき算出された特徴ベクトルを学習データとして、機械学習を行って、そのときの当該利用者の脳活動状態を推定するので、当該利用者のその時々の脳活動状態を、いずれのクラスタに属する状態であるか、いずれのクラスタにも属さない状態であるか、を含めて、正確に推定することができる。
人の脳の活動は、情緒、感情、感性などの情動的なものと、想像、意識、認識、思想、意思、意欲などの思考的なものとに、大別される。そこで、以下では、情動状態を推定する場合と思考状態を推定する場合とにつき、この発明の最良の形態を示す。
[1.情報処理システムの例:図1および図2]
(1−1.システム全体の構成:図1)
図1に、この発明の情報処理システムの一例を示す。
(1−1.システム全体の構成:図1)
図1に、この発明の情報処理システムの一例を示す。
この例の情報処理システムは、計測装置10、情報処理端末20、ディスプレイ31およびスピーカ35を備えるものとして構成される。
計測装置10は、機能的近赤外分光法によって、利用者1の脳表層における血流中のヘモグロビン濃度ないしヘモグロビン濃度変化を計測するもので、詳細は後述するが、計測装置本体部11、利用者1の頭部に装着される計測具12、および計測装置本体部11と計測具12とを接続するケーブル13によって構成される。
情報処理端末20は、パーソナルコンピュータやモバイルコンピュータなどの、利用者側の情報処理装置である。
具体的に、情報処理端末20は、CPU21を備え、そのバス22には、プログラムやデータが展開されるメインメモリ23、ハードディスクなどの不揮発性記憶媒体からなる記憶装置部24、および操作入力部25が接続される。
記憶装置部24には、この発明の脳活動状態推定方法を実行するためのプログラムを含む各種のプログラム、および必要な固定データが記録される。さらに、記憶装置部24には、画像データや音楽データなどのコンテンツデータが記録され、記憶装置部24は、利用者1のデータベースを構成する。
さらに、バス22には、入出力インタフェース26、画像処理出力部27、音声処理出力部28、およびインターネットなどの外部ネットワークに接続するための外部ネットワークインタフェース29が接続され、計測装置本体部11が入出力インタフェース26に接続され、画像処理出力部27にディスプレイデ31が接続され、音声処理出力部28にスピーカ35が接続される。
利用者1に対する刺激付与の一例の情報呈示として、画像や文字を表示する場合、その画像や文字はディスプレイ31上に表示される。刺激付与の一例の情報呈示として、音楽などの音声を出力する場合、その音声はスピーカ35から出力される。
(1−2.計測装置:図2)
図2に、計測装置10の一例を示す。
図2に、計測装置10の一例を示す。
利用者1の脳表層2の複数の部位が、それぞれ計測部位2aとされる。
駆動回路14によって駆動された発光部15から出射した近赤外光が、発光プローブを構成する光ファイバ16aを通じて、それぞれの計測部位2aに照射される。
それぞれの計測部位2aに照射された近赤外光は、それぞれの計測部位2aにおける血流中のヘモグロビン濃度ないしヘモグロビン濃度変化に応じて、それぞれの計測部位2aを透過し、利用者1の頭外に出射する。
それぞれの出射光は、受光プローブを構成する光ファイバ16bを通じて、受光部17で受光され、電気信号の受光信号に変換される。
それぞれの受光信号は、信号処理部18で、デジタルデータの計測値に変換され、さらに血流成分より高周波の脈波成分などのノイズ成分を除去するためにフィルタリングされて、入出力インタフェース19を通じて情報処理端末20に送出される。
ただし、上記のフィルタリングなどの処理は、情報処理端末20で実行されるようにしてもよい。
(1−3.計測対象と計測チャンネル:図2)
機能的近赤外分光法による計測装置としては、ヘモグロビン濃度それ自体(ヘモグロビン濃度の絶対値)を計測することができず、ヘモグロビン濃度変化量しか計測することができないものも多い。
機能的近赤外分光法による計測装置としては、ヘモグロビン濃度それ自体(ヘモグロビン濃度の絶対値)を計測することができず、ヘモグロビン濃度変化量しか計測することができないものも多い。
そのため、計測装置10として、このようにヘモグロビン濃度変化量しか計測することができないものを用いる場合には、あらかじめ、利用者1に刺激が与えられてなく、利用者1が安定しているときの計測値(この値自体がヘモグロビン濃度ではない)を、基準値として取得しておき、後述の冗長チャンネル検出工程、推定準備工程および推定実行工程のそれぞれの計測タイミングでは、その基準値に対する変化量をヘモグロビン濃度変化量として計測する。
以下では、このヘモグロビン濃度変化量、またはヘモグロビン濃度それ自体を、ヘモグロビン濃度関連値と定義する。
計測部位2aは、計測チャンネルを形成する。計測チャンネルは、脳活動状態を正確に推定するためには、数チャンネル程度では不十分で、最少でも10数チャンネル程度は必要である。
さらに、ヘモグロビン濃度関連値としては、酸素化ヘモグロビン濃度関連値または脱酸素化ヘモグロビン濃度関連値のみを計測してもよいが、脳活動状態をより正確に推定するためには、酸素化ヘモグロビン濃度関連値と脱酸素化ヘモグロビン濃度関連値の双方を計測することが望ましい。
以下に示す例は、酸素化ヘモグロビン濃度関連値と脱酸素化ヘモグロビン濃度関連値の双方を計測する場合で、Mチャンネルの計測チャンネル中の半分の計測チャンネルは酸素化ヘモグロビン濃度関連値を計測し、残りの半分の計測チャンネルは脱酸素化ヘモグロビン濃度関連値を計測するものとする。
[2.冗長チャンネル検出工程:図3〜図5]
後述の推定準備工程および推定実行工程では、各計測チャンネルのヘモグロビン濃度関連値から特徴ベクトルを算出する。
後述の推定準備工程および推定実行工程では、各計測チャンネルのヘモグロビン濃度関連値から特徴ベクトルを算出する。
特徴ベクトルは、多チャンネルの計測チャンネル中の、組合せ(数学の「順列・組合せ」で言う「組合せ」)により選択された2チャンネルのヘモグロビン濃度関連値の間の相互相関係数を、計測チャンネルの組合せの総数分、有する多次元データである。そのため、計測チャンネル数が多いと、特徴ベクトル算出のための演算が膨大となる。
一方、人の頭の大きさなどは、人によって様々であり、人が脳活動状態にあるとき、その人の脳血流中のヘモグロビン濃度が変化する部位も、人によって異なる。そのため、計測装置10としては、多くの利用者を対象に、計測チャンネルが脳表層の広範囲に渡って多めに設定される。
そのため、特定の当該の利用者1について見ると、いずれの脳活動状態にあるときでも、脳表層2における血流中のヘモグロビン濃度がほとんど変化せず、脳活動状態の推定に役立たない計測チャンネルが存在し得る。
そこで、図1の例の情報処理システムでは、推定準備工程に先立つ冗長チャンネル検出工程で、以下のように、脳活動状態の推定に役立たない計測チャンネルを冗長チャンネルとして検出する。
一例として、後述の推定実行工程で情動状態を、
状態A:快く感じている状態、
状態B:不快に感じている状態、
状態C:哀しんでいる、または怒っている状態、
状態D:特別の反応がない状態、
の4つの状態に分けて推定する場合について示す。
状態A:快く感じている状態、
状態B:不快に感じている状態、
状態C:哀しんでいる、または怒っている状態、
状態D:特別の反応がない状態、
の4つの状態に分けて推定する場合について示す。
この場合、図3に示すように、期間T1から期間T4までの4つの期間において、期間T1では、利用者1が快く感じるような画像を表示し、期間T2では、利用者1が不快に感じるような画像を表示し、期間T3では、利用者1が哀しみ、または怒るような画像を表示し、期間T4では、利用者1が特別の反応を示さないような画像を表示するように、期間T1〜T4で、異なる4つの静止画を表示し、利用者1に異なる4種類の刺激を与える。
期間T1〜T4では、同時に、それぞれの期間内の定められた計測期間において、上記のように計測装置10によって、各計測チャンネルの酸素化ヘモグロビン濃度関連値または脱酸素化ヘモグロビン濃度関連値を計測する。
図3は、計測チャンネル数Mが40の場合で、チャンネルCH1,CH3‥‥CH39は、酸素化ヘモグロビン濃度関連値を計測するものであり、チャンネルCH2,CH4‥‥CH40は、脱酸素化ヘモグロビン濃度関連値を計測するものである。
さらに、それぞれの計測チャンネルにつき、図4の式(1)で表される相互相関係数Ci,j,kを算出する。
式(1)で、iは計測チャンネルの番号、jおよびkは刺激の番号(j≠k)、t1およびt2は計測期間の始点および終点の時点、Ji(t)は、刺激jを与えたときの時点tにおけるヘモグロビン濃度関連値、Ki(t)は、刺激kを与えたときの時点tにおけるヘモグロビン濃度関連値である。
式(1)で表される相互相関係数Ci,j,kは、絶対値が1に近いと、刺激jと刺激kに関してチャンネルiは正相関していることになり、当該チャンネルiでは刺激jと刺激kの差がヘモグロビン濃度の変化にほとんど反映されてなく、情報として冗長である(必要性がない)ことを意味する。
そのため、期間T4の後において、それぞれの計測チャンネルにつき、j=1,k=2の場合、j=1,k=3の場合、j=1,k=4の場合、j=2,k=3の場合、j=2,k=4の場合、およびj=3,k=4の場合の、刺激に係る全ての組合せにつき、相互相関係数Ci,j,kの絶対値が、1に近い定められた閾値以上となるか否かを検出する。
そして、刺激に係る全ての組合せにつき、相互相関係数Ci,j,kの絶対値が閾値以上となる計測チャンネルが存在する場合には、その計測チャンネルを冗長チャンネルと決定して、そのチャンネル番号を登録する。
一方、刺激に係る全ての組合せにつき、相互相関係数Ci,j,kの絶対値が閾値以上となる計測チャンネルが存在しない場合には、冗長チャンネルは存在しないものとして、その旨を登録する。
冗長チャンネルであるか否かを判断する方法としては、上記のように同一チャンネルについての個々の相互相関係数Ci,j,kの絶対値が閾値以上となるか否かを判断する代わりに、図4の式(2)または式(3)で表される、同一チャンネルについての刺激に係る上記の6個の組合せについての6個の相互相関係数の絶対値の積Cisまたは総和Ciwを求め、その積Cisまたは総和Ciwが、定められた閾値以上になるか否かを判断するようにしてもよい。
ただし、式(2)で表される積Cisから判断する場合には、閾値を、例えば0.9の6乗の0.53とし、式(3)で表される総和Ciwから判断する場合には、閾値を、例えば0.9の6倍の0.54とする。
図5に、情報処理端末20のCPU21が実行する以上のような冗長チャンネル検出工程での一連の処理の一例を示す。
この例では、利用者1が頭部に計測装置10の計測具12を装着し、情報処理端末20に処理開始を指示することによって、CPU21は、まずステップ41で、順位gを1とし、次にステップ42で、g番目の画像を表示し、g番目の刺激を与える。
次に、ステップ43で、計測装置10によって各計測チャンネルのヘモグロビン濃度関連値(酸素化ヘモグロビン濃度関連値または脱酸素化ヘモグロビン濃度関連値)を計測して、保存する。
次に、ステップ44で、gを1だけインクリメントし、さらにステップ45で、gが4を超えたか否かを判断し、gが4を超えていなければ、ステップ45からステップ42に戻って(進んで)、g番目の画像を表示し、さらにステップ43に進んで、各計測チャンネルのヘモグロビン濃度関連値を計測して、保存する。
gが4を超えたときには、ステップ45からステップ46に進んで、各計測チャンネルにつき、図4の式(1)で表される相互相関係数Ci,j,kを算出し、さらにステップ47に進んで、上記のように刺激に係る全ての組合せについての相互相関係数の絶対値を閾値と比較することによって、または図4の式(2)または式(3)で表される積Cisまたは総和Ciwを閾値と比較することによって、冗長チャンネルが存在するか否かを判断する。
そして、冗長チャンネルが存在するときには、ステップ47からステップ48に進んで、その冗長チャンネルのチャンネル番号を登録し、冗長チャンネルが存在しないときには、ステップ47からステップ49に進んで、その旨を登録する。
以上の例は、情動状態を4つの状態に分けて推定する場合に備えて、4種類の刺激を順次与える場合であるが、例えば、情動状態を5つの状態に分けて推定する場合には、5種類の刺激を順次与えるようにすればよい。
なお、同一の利用者でも、情動状態にあるときと思考状態にあるときとで、冗長チャンネルが異なり得る場合には、情動状態の推定に備えて、上記のように利用者1に情動を想起させる刺激を与えて冗長チャンネル検出工程を実行し、その結果の冗長チャンネルを登録するとともに、これとは別に、思考状態の推定に備えて、利用者1に思考を想起させる刺激を与えて冗長チャンネル検出工程を実行し、その結果の冗長チャンネルを登録する。
また、冗長チャンネル検出工程では、後述の推定準備工程および推定実行工程と同様に、必ずしも画像表示などによる刺激は必要がなく、例えば、利用者1が、手元にある異なる情動状態となるような複数の画像を順次観察して、または画像の観察などをしないで、異なる情動状態に順次、なるようにしてもよい。
以上のような冗長チャンネル検出工程の実行の結果、当該の利用者1については、Nチャンネルの計測チャンネルが冗長チャンネルとして検出されたとき、以後の推定準備工程および推定実行工程では、後述のように、残余のLチャンネル(L=M−N)の計測チャンネルのヘモグロビン濃度関連値(酸素化ヘモグロビン濃度関連値または脱酸素化ヘモグロビン濃度関連値)の計測値から、特徴ベクトルを算出する。例えば、M=40,N=8であるとき、L=32である。
これによって、後述のように、推定準備工程および推定実行工程での特徴ベクトル算出の演算量が著しく減少し、脳活動状態の推定のリアルタイム化を、より確実に実現することができる。
[3.推定準備工程:図6〜図10]
上記のように、脳活動状態の推定は、各計測チャンネルのヘモグロビン濃度関連値から特徴ベクトルを算出することによって行う。
上記のように、脳活動状態の推定は、各計測チャンネルのヘモグロビン濃度関連値から特徴ベクトルを算出することによって行う。
しかし、人の情動状態と特徴ベクトルの値との関係は、一義的ではなく、人によって異なる。例えば、人が喜んでいるときの特徴ベクトルの値は、喜びの程度が同じであっても、人によって異なる。人の思考状態と特徴ベクトルの値との関係も、人によって異なる。
そのため、図1の例の情報処理システムでは、脳活動状態と特徴ベクトルとの関係についての当該の利用者1の傾向を検出するために、以下のような推定準備工程を実行する。
以下では、最初に、情動状態を推定する場合の推定準備工程を示し、その後、思考状態を推定する場合の推定準備工程を示す。
(3−1.刺激の付与と計測:図6)
推定準備工程では、例えば、上記の例の冗長チャンネル検出工程と同様に、異なる静止画を順次表示し、利用者1に異なる刺激を順次与える。
推定準備工程では、例えば、上記の例の冗長チャンネル検出工程と同様に、異なる静止画を順次表示し、利用者1に異なる刺激を順次与える。
ただし、この場合、推定準備工程の実行によって、後述のように、ある程度のクラスタリング結果が得られるように、利用者1が同じ情動状態となるような同じ種類の画像でも、内容の異なる複数の画像を順次表示する。
具体的に、例えば、後述の推定実行工程で情動状態を上記の状態A,B,C,Dの4つの状態に分けて推定する場合には、図6に示すように、期間T1,T2,T3‥‥において、画像♯1,♯2,♯3‥‥として、利用者1が快く感じるような画像、不快に感じるような画像、哀しみ、または怒るような画像、および特別の反応を示さないような画像を、各種類ごとに複数ずつ、適宜の順序で順次表示する。
期間T1,T2,T3‥‥では、同時に、それぞれの期間内の定められた計測タイミングにおいて、上記のように計測装置10によって、各計測チャンネルの酸素化ヘモグロビン濃度関連値または脱酸素化ヘモグロビン濃度関連値を計測する。
ただし、この場合の計測チャンネルは、上記のMチャンネル中の、上記の冗長チャンネル検出工程で冗長チャンネルとして検出されたNチャンネルを除く、Lチャンネルである。
(3−2.相互相関係数および特徴ベクトルの算出:図6および図7)
さらに、図6に示すように、表示した画像ごとに、すなわち利用者1に与えた刺激ごとに、そのLチャンネルの計測チャンネルの酸素化ヘモグロビン濃度関連値または脱酸素化ヘモグロビン濃度関連値の計測値から、特徴ベクトルを算出する。
さらに、図6に示すように、表示した画像ごとに、すなわち利用者1に与えた刺激ごとに、そのLチャンネルの計測チャンネルの酸素化ヘモグロビン濃度関連値または脱酸素化ヘモグロビン濃度関連値の計測値から、特徴ベクトルを算出する。
特徴ベクトルは、Lチャンネルの計測チャンネル中の、組合せにより選択された2チャンネルのヘモグロビン濃度関連値の間の相互相関係数を、計測チャンネルの組合せの総数分、有する多次元データとする。
したがって、冗長チャンネルを除外しないで、Mチャンネルの計測チャンネルを、そのまま特徴ベクトルの算出に用いる場合には、組合せの総数、すなわち1つの特徴ベクトルにおける相互相関係数の総数は、MC2となり、M=40のときには40C2=780となるのに対して、冗長チャンネルを除いたLチャンネルの計測チャンネルのみを、特徴ベクトルの算出に用いる場合には、組合せの総数、すなわち1つの特徴ベクトルにおける相互相関係数の総数は、LC2となり、L=32のときには32C2=496となる。
したがって、冗長チャンネルを除外することによって、特徴ベクトル算出の演算量が著しく減少し、特徴ベクトルを短時間で算出することができる。
さらに、特徴ベクトルにおける個々の相互相関係数としては、図7の式(5)および式(6)で示すように、パラメータαを用いたシグモイド関数を乗じた値を算出する。
式(5)の相互相関係数Cj,k(t)は、時点tにおけるチャンネルj,k間の相互相関係数を示すもので、Xj(τ),Xk(τ)は、それぞれチャンネルj,kの時点tの近傍の時間τにおけるヘモグロビン濃度関連値である。
式(6)は、この場合のシグモイド関数を示す。シグモイド関数は、一般には、式(6)においてα=1とされるが、この場合には、αを1ではない適切な値とする。
さらに、この場合のzは、式(5)に示すように、Xj(τ),Xk(τ)中の小さい方が返る関数とする。
このように式(5)により相互相関係数Cj,k(t)を算出することによって、ヘモグロビン濃度関連値にオフセット値やノイズ成分が存在する場合、その影響を低減して、相互相関係数Cj,k(t)を算出し、特徴ベクトルを算出することができる。
一般に知られているように、人の脳血流反応は、実際の脳活動に対して数秒程度の遅れを伴って変化する。
そのため、ある刺激を与えたとき、ある時点tでの相互相関係数および特徴ベクトルだけではなく、その時点tの数秒前の時点toでの相互相関係数および特徴ベクトルを併せて算出する、などというように、ある刺激を与えたとき、複数の時点での相互相関係数および特徴ベクトルを算出し、その複数の特徴ベクトルを用いて、後述のように機械学習を行う構成とすることもでき、これによれば、情動状態をより正確に推定することが可能となる。
(3−3.自己組織化マップによるクラスタリング:図8および図9)
さらに、推定準備工程では、上記の方法によって図6に示すように刺激ごとに順次算出された特徴ベクトルV1,V2,V3‥‥を、機械学習によって、例えば自己組織化マップ(SOM)によって、クラスタリングする。
さらに、推定準備工程では、上記の方法によって図6に示すように刺激ごとに順次算出された特徴ベクトルV1,V2,V3‥‥を、機械学習によって、例えば自己組織化マップ(SOM)によって、クラスタリングする。
そのために、初期状態のマップとして、図8(A)に簡略化して示すように、それぞれ上記の特徴ベクトルと同様の多次元データからなる、かつ、その多次元データの値が互いに異なる多数のベクトルが、ランダムに配置されたマップ51が用意される。
そして、情報処理端末20のCPU21は、最初の刺激(画像♯1の表示)に対する特徴ベクトルV1を、マップ51上の、多次元データの値が特徴ベクトルV1のそれに最も近いベクトルが配置された座標位置に写像する。
図8(B)は、特徴ベクトルV1が、図8(A)の初期状態のマップ51の中心位置に配置されているベクトルに最も近く、その中心位置に写像されて、マップ51がマップ52に変化した状態を示す。
情報処理端末20のCPU21は、このように特徴ベクトルV1を写像するとともに、以後の特徴ベクトルのクラスタリングのために、特徴ベクトルV1の写像位置の近傍位置に配置されているベクトルの多次元データの値を、特徴ベクトルV1の多次元データの値に近づける方向に幾分補正する。マップ52上では特徴ベクトルV1の周囲の8個のベクトルの方向が、初期状態のマップ51上のそれに対して変化しているのは、この処理が実行されたことを示している。
以後の特徴ベクトルV2,V3‥‥も、同様に順次、直前のマップ上に写像する。
なお、上記のように冗長チャンネルを除く計測チャンネルについてのみ、相互相関係数および特徴ベクトルを算出する場合には、マップ51上の各ベクトルについても、特徴ベクトル中に存在しないデータ(相互相関係数)に対応するデータは無視して、ベクトルを生成し、または特徴ベクトルと比較する。
また、この場合の写像方法としては、線形写像より非線形写像の方が、情動状態の推定精度をより高めることができる。
図9に、情報処理端末20のCPU21が実行する以上のような推定準備工程での一連の処理の一例を示す。
この例では、利用者1が頭部に計測装置10の計測具12を装着し、情報処理端末20に処理開始を指示することによって、CPU21は、まずステップ61で、順位hを1とし、次にステップ62で、h番目の画像を表示し、h番目の刺激を与える。
次に、ステップ63で、計測装置10によって冗長チャンネルを除く各計測チャンネルのヘモグロビン濃度関連値(酸素化ヘモグロビン濃度関連値または脱酸素化ヘモグロビン濃度関連値)を計測し、次にステップ64で、図7の式(5)で表される相互相関係数Cj,k(t)を、計測チャンネルの組合せの総数分算出し、さらにステップ65で、h番目の刺激を与えたときの特徴ベクトルVhを算出する。
さらに、ステップ66で、自己組織化マップによって、その特徴ベクトルVhを写像し、次にステップ67で、hを1だけインクリメントし、さらにステップ68で、hが予定数xを超えたか否かを判断する。
そして、hが予定数xを超えていなければ、ステップ68からステップ62に戻って(進んで)、インクリメント後のhにつき、ステップ62からステップ67までの処理を順次実行し、hが予定数xを超えたときには、ステップ68からステップ69に進んで、それまでのクラスタリング結果を保存して、推定準備工程での一連の処理を終了する。
(3−4.クラスタリング結果の一例:図10)
図10に、推定準備工程でのクラスタリング結果の一例を示す。
図10に、推定準備工程でのクラスタリング結果の一例を示す。
この例は、上記の推定準備工程で、画像♯1,♯2,♯3‥‥♯26として、図示するような人物や動物などの画像を順次表示した場合である。
ただし、このクラスタリング結果のマップ71を上記のディスプレイ31の画面上に表示する場合、マップ71上に写像された、それぞれの画像が表示されたときのそれぞれの特徴ベクトルは、そのまま画面上に表示することができないため、写像された特徴ベクトルに代えて、当該の特徴ベクトルが算出されたときに表示された画像を、マップ71上に配置し、画面上に表示したものである。
この例のクラスタリング結果は、
(A)画像♯16,♯17,♯18,♯26などが表示されたとき、クラスタ72aで示すように、ほぼ同様の情動状態となった、
(B)画像♯6,♯10,♯22などが表示されたとき、クラスタ72bで示すように、同様の情動状態となったが、その情動状態は、上記(A)のときとは全く異なる、
(C)画像♯13,♯14などが表示されたとき、クラスタ72cで示すように、同様の情動状態となったが、その情動状態は、上記(A)(B)のときとは異なる、
(D)画像♯4,♯9,♯15が表示されたとき、クラスタ72dで示すように、同様の情動状態となったが、その情動状態は、上記(A)(B)(C)のときとは異なる、
ことを示しており、4つのクラスタ72a〜72dが形成されたことを示している。
(A)画像♯16,♯17,♯18,♯26などが表示されたとき、クラスタ72aで示すように、ほぼ同様の情動状態となった、
(B)画像♯6,♯10,♯22などが表示されたとき、クラスタ72bで示すように、同様の情動状態となったが、その情動状態は、上記(A)のときとは全く異なる、
(C)画像♯13,♯14などが表示されたとき、クラスタ72cで示すように、同様の情動状態となったが、その情動状態は、上記(A)(B)のときとは異なる、
(D)画像♯4,♯9,♯15が表示されたとき、クラスタ72dで示すように、同様の情動状態となったが、その情動状態は、上記(A)(B)(C)のときとは異なる、
ことを示しており、4つのクラスタ72a〜72dが形成されたことを示している。
実際上、クラスタ72aは、情動状態が上記の状態A(快く感じている状態)となったときであり、クラスタ72bは、情動状態が上記の状態B(不快に感じている状態)となったときであり、クラスタ72cは、情動状態が上記の状態C(哀しんでいる、または怒っている状態)となったときであり、クラスタ72dは、情動状態が上記の状態D(特別の反応がない状態)となったときである。
利用者1は、この画面上に表示されたマップ71を見て、情報処理端末20の操作入力部25での操作入力によって、それぞれのクラスタ内を指示し、クラスタ72aに対しては「快感」または「喜び」、クラスタ72bに対しては「不快」、クラスタ72cに対しては「悲しみ」または「怒り」、クラスタ72dに対しては「無反応」または「不要」、などというように、それぞれのクラスタに対して名称を付けることができる。
(3−5.思考状態を推定する場合の推定準備工程)
以上は、情動状態を推定する場合の推定準備工程であるが、思考状態を推定する場合の推定準備工程も、基本的に同じである。
以上は、情動状態を推定する場合の推定準備工程であるが、思考状態を推定する場合の推定準備工程も、基本的に同じである。
一例として、後述の推定実行工程で思考状態を、
状態O:カーソルを上に動かすことをイメージしている状態、
状態P:カーソルを下に動かすことをイメージしている状態、
状態Q:カーソルを左に動かすことをイメージしている状態、
状態R:カーソルを右に動かすことをイメージしている状態、
状態S:カーソルが位置しているアイコンを選択することをイメージしている状態、
の5つの状態に分けて推定する場合について示す。
状態O:カーソルを上に動かすことをイメージしている状態、
状態P:カーソルを下に動かすことをイメージしている状態、
状態Q:カーソルを左に動かすことをイメージしている状態、
状態R:カーソルを右に動かすことをイメージしている状態、
状態S:カーソルが位置しているアイコンを選択することをイメージしている状態、
の5つの状態に分けて推定する場合について示す。
この場合、推定準備工程では、利用者1に対する刺激として、それぞれ上記の状態O,P,Q,R,Sをイメージさせるような画像を、例えば5回ずつ、適宜の順序で順次表示し、または、利用者1に刺激を与えることなく、利用者1が、手元にある画像を観察して、または画像の観察などをしないで、状態O,P,Q,R,Sを、例えば5回ずつ、適宜の順序で順次、イメージする。
さらに、推定準備工程では、情動状態を推定する場合と同様に、図9に示したような一連の処理によって、各回につき、冗長チャンネルを除く各計測チャンネルのヘモグロビン濃度関連値を計測し、相互相関係数Cj,k(t)および特徴ベクトルを算出し、算出された特徴ベクトルを自己組織化マップによってクラスタリングする。
[4.推定実行工程(脳活動状態の推定と推定結果の利用):図11〜図14]
図1の例の情報処理システムでは、上記の推定準備工程の実行後、推定準備工程でのクラスタリング結果を利用して、以下のように、その時々の利用者1の脳活動状態を推定し、その推定結果に応じた処理を実行する。
図1の例の情報処理システムでは、上記の推定準備工程の実行後、推定準備工程でのクラスタリング結果を利用して、以下のように、その時々の利用者1の脳活動状態を推定し、その推定結果に応じた処理を実行する。
(4−1.情動状態の推定:図11〜図13)
推定実行工程でも、画像の表示などにより利用者1に刺激を与えることによって、または利用者1に刺激を与えることなく、利用者1が情動を想起するが、一例として、推定準備工程でのクラスタリング結果として、図11に示すように、図10に示したマップ71が得られている状態で、画像を表示して、利用者1に刺激を与える場合を示す。
推定実行工程でも、画像の表示などにより利用者1に刺激を与えることによって、または利用者1に刺激を与えることなく、利用者1が情動を想起するが、一例として、推定準備工程でのクラスタリング結果として、図11に示すように、図10に示したマップ71が得られている状態で、画像を表示して、利用者1に刺激を与える場合を示す。
この場合、推定準備工程で画像を表示したときと同様に、当該の画像を表示したときの冗長チャンネルを除く各計測チャンネルの酸素化ヘモグロビン濃度関連値または脱酸素化ヘモグロビン濃度関連値を計測し、図7の式(5)で表される相互相関係数Cj,k(t)を、冗長チャンネルを除く計測チャンネルの組合せの総数分算出し、特徴ベクトルを算出する。
さらに、マップ71上のクラスタ72a〜72dから、それぞれ1つの特徴ベクトルを、例えば、当該クラスタの重心に最も近い位置の特徴ベクトル、または当該クラスタ内で最も特徴的な特徴ベクトルを、代表ベクトルとして抽出する。
具体的に、図11において、それぞれ1つの画像を枠で囲んで示すように、クラスタ72aからは画像♯17に対応する特徴ベクトルを、クラスタ72bからは画像♯10に対応する特徴ベクトルを、クラスタ72cからは画像♯13に対応する特徴ベクトルを、クラスタ72dからは画像♯15に対応する特徴ベクトルを、それぞれ代表ベクトルとして抽出する。
さらに、それぞれの代表ベクトルを教師データとし、このとき算出された特徴ベクトルを学習データとして、バックプロパゲーション・ニューラルネットワークなどの機械学習によって、学習データとしての特徴ベクトルを、それぞれの教師データとしての代表ベクトルと比較して、このときの利用者1の情動状態を推定するとともに、自己組織化マップによって、このときの学習データとしての特徴ベクトルをマップ71上に写像し、クラスタリング結果を更新する。
したがって、例えば、推定実行工程で当該の画像として画像♯26が表示され、そのときの学習データとしての特徴ベクトルが、ある値以下の範囲内で、画像♯17に対応する教師データとしての代表ベクトルに最も近ければ、そのときの利用者1の情動状態は、クラスタ72aに属し、状態A(快く感じている状態)であると判断されるとともに、そのときの学習データとしての特徴ベクトルが、クラスタ72a内に写像される。
また、例えば、推定実行工程で当該の画像として画像♯5が表示され、そのときの学習データとしての特徴ベクトルが、いずれの教師データとしての代表ベクトルに対しても、ある値以下の範囲内になければ、そのときの利用者1の情動状態は、いずれのクラスタにも属さないと判断されるとともに、そのときの学習データとしての特徴ベクトルが、いずれのクラスタ内でもない領域に写像される。
情動状態の推定結果としては、いずれのクラスタに属する状態であるか、いずれのクラスタにも属さない状態であるか、という結論的な判断のほかに、各状態(各クラスタ)についての推定値が存在する。例えば、上記のように当該の画像として画像♯26が表示されたときの推定値は、状態Aについては1(100%)に近く、状態B,C,Dについては0(0%)であるが、当該の画像として画像♯5が表示されたときの推定値は、状態A,B,C,Dのいずれについても0である。
図12に、推定準備工程でのクラスタリング結果の別の例と、推定実行工程での教師データ生成の態様を示す。
この例は、情動状態を、
状態E:好感触を持っている状態、
状態F:好感触も不快感も持っていない普通の状態、
状態G:不快感を持っている状態、
の3つの状態に分けて推定する場合である。
状態E:好感触を持っている状態、
状態F:好感触も不快感も持っていない普通の状態、
状態G:不快感を持っている状態、
の3つの状態に分けて推定する場合である。
推定準備工程では、自己組織化マップによるクラスタリング結果として、図12の左側に示すようなマップ75が生成される。小さい○マークは状態Eのときの特徴ベクトルを、小さい△マークは状態Fのときの特徴ベクトルを、小さい×マークは状態Gのときの特徴ベクトルを、それぞれ示し、マップ75上では、3つのクラスタ76e,76fおよび76gが形成されている。
ただし、この例は、推定準備工程では、ある画像を表示し、利用者1に刺激を与えたとき、複数の時点でヘモグロビン濃度関連値を計測し、複数の特徴ベクトルを特徴ベクトル群として算出して、クラスタリングする場合である。
そのため、この例では、推定実行工程でも、ある画像を表示し、利用者1に刺激を与えたとき、複数の時点でヘモグロビン濃度関連値を計測し、複数の特徴ベクトルを特徴ベクトル群として算出する。
さらに、推定実行工程では、クラスタ76e,76f,76gの、それぞれ重心を中心とする一定範囲の領域77e,77f,77gから、それぞれに写像された複数の特徴ベクトルを、それぞれ代表ベクトル群として抽出して教師データとし、そのとき算出された特徴ベクトル群を学習データとして、機械学習によって、そのときの利用者1の情動状態を推定するとともに、自己組織化マップによって、そのときの学習データとしての特徴ベクトル群をマップ75上にクラスタリングし、クラスタリング結果を更新する。
図12の例では、クラスタリング結果の更新によって、マップ75は、同図の右側に示すようになる。☆マークは、このとき特徴ベクトル群として算出された複数の特徴ベクトルを示す。
すなわち、この例は、推定実行工程において、そのときの利用者1の情動状態が、クラスタ76eに属し、状態E(好感触を持っている状態)であると判断されるとともに、そのときの学習データとしての特徴ベクトル群が、クラスタ76e内に写像された場合である。
図11および図12に示した以上のような推定実行工程は、利用者1による当該システムの利用状況に応じて、何回も繰り返し実行されるもので、次回の推定実行工程では、直前の回の推定実行工程で更新されたクラスタリング結果をもとに、新たな教師データとしての新たな代表ベクトルまたは代表ベクトル群を抽出して、そのときの利用者1の情動状態を推定するとともに、そのときの学習データとしての特徴ベクトルまたは特徴ベクトル群を写像し、クラスタリング結果を更新する。
そして、このように推定実行工程を繰り返すことによって、データの増加により、自己組織化マップ上のクラスタリング結果として汎化性の高い教師データを得ることができ、より高精度の状態推定を行うことができるようになる。
また、推定実行工程で算出された特徴ベクトルによっては、自己組織化マップ上のクラスタが分裂することもあるが、その場合には、利用者1の情動状態として、新たな種類の情動状態が出現したと判断され、その結果が以後の状態推定に生かされる。
図13に、情報処理端末20のCPU21が実行する1回の推定実行工程での一連の処理の一例を示す。
この例では、利用者1が頭部に計測装置10の計測具12を装着した状態で、CPU21は、一連の処理を開始して、まずステップ81で、画像を表示し、利用者1に刺激を与える。
次に、ステップ82で、計測装置10によって冗長チャンネルを除く各計測チャンネルのヘモグロビン濃度関連値(酸素化ヘモグロビン濃度関連値または脱酸素化ヘモグロビン濃度関連値)を計測し、次にステップ83で、図7の式(5)で表される相互相関係数Cj,k(t)を、計測チャンネルの組合せの総数分算出し、さらにステップ84で、特徴ベクトルを算出する。
なお、上記のように複数の時点でヘモグロビン濃度関連値を計測し、複数の特徴ベクトルを特徴ベクトル群として算出する場合には、それぞれの時点ごとに、ステップ82〜84の処理を繰り返し実行し、または、ステップ82〜84において、複数の時点の分、それぞれの処理を実行する。
次に、ステップ85で、推定準備工程でのクラスタリング結果、または直前の回の推定実行工程で更新されたクラスタリング結果をもとに、各クラスタの代表ベクトルまたは代表ベクトル群を抽出し、さらにステップ86で、その抽出された代表ベクトルまたは代表ベクトル群を教師データとし、ステップ84で算出された特徴ベクトルまたは特徴ベクトル群を学習データとして、機械学習によって、そのときの利用者1の情動状態を推定する。
次に、ステップ87で、自己組織化マップによって、学習データとしての特徴ベクトルまたは特徴ベクトル群をクラスタリングして、クラスタリング結果を更新し、さらにステップ88に進んで、ステップ86での推定結果に応じた処理を実行する。
(4−2.情動状態の推定結果に応じた処理)
推定実行工程で上記の方法で得られた推定結果は、一例として、情報処理端末20の記憶装置部24に記録されている画像や音楽などのコンテンツの検索に用いることができる。
推定実行工程で上記の方法で得られた推定結果は、一例として、情報処理端末20の記憶装置部24に記録されている画像や音楽などのコンテンツの検索に用いることができる。
そのためには、あらかじめ、記憶装置部24に記録されるコンテンツに対して、それぞれのコンテンツの内容や印象を示すものとして、「喜び」や「悲しみ」など、情動状態と関連づけられる情報が、タグ情報として付属される。
ただし、利用者1が、このようなタグ情報を付属させることなく、情報処理端末20のCPU21が、画像や音楽のタイトルやジャンル、画像の撮影場所、音楽のテンポなど、コンテンツに付随している情報から、推定結果の情動状態に適合するか否かを判断するように構成することもできる。
具体的に、情報処理端末20のCPU21は、推定実行工程で、そのときの利用者1の情動状態が上記の状態A(快く感じている状態)であると判断したときには、「喜び」などのタグ情報や、「結婚式」「アップテンポ」などの付随情報を有するコンテンツを検索する。
該当するコンテンツが複数存在する場合には、CPU21は、その中からランダムにコンテンツを選択し、または優先順位が最も高いコンテンツや視聴履歴回数が最も多いコンテンツを選択し、あるいは各コンテンツのタイトルなどを利用者1に呈示することによって利用者1にコンテンツを選択させて、コンテンツを再生する。
これによれば、利用者1は、操作入力部25で検索のための文字入力などをすることなく、そのときの自身の情動状態に合うコンテンツを検索再生させ、視聴することができる。
(4−3.思考状態の推定および推定結果に応じた処理:図14)
思考状態を推定する場合の推定実行工程も、上記の情動状態を推定する場合と同じである。
思考状態を推定する場合の推定実行工程も、上記の情動状態を推定する場合と同じである。
さらに、思考状態を推定する場合、その推定結果は、例えば、当該システムのディスプレイ31上に表示されたカーソルやアイコンの操作に用いることができる。
具体的に、思考状態を上記の状態O,P,Q,R,Sに分けて推定する場合、例えば、図14に示すように、ディスプレイ31上にアイコン91a,91b,91c‥‥が表示され、アイコン91a上にカーソル92が存在しているとき、情報処理端末20のCPU21が、そのときの利用者1の思考状態が上記の状態P(カーソルを下に動かすことをイメージしている状態)であると判断すると、CPU21は、カーソル92をアイコン91a上からアイコン91e上に移動させる。
また、このようにアイコン91e上にカーソル92が存在しているとき、CPU21が、そのときの利用者1の思考状態が上記の状態R(カーソルを右に動かすことをイメージしている状態)であると判断すると、CPU21は、カーソル92をアイコン91e上からアイコン91f上に移動させる。
さらに、このようにアイコン91f上にカーソル92が存在しているとき、CPU21が、そのときの利用者1の思考状態が上記の状態S(カーソルが位置しているアイコンを選択することをイメージしている状態)であると判断すると、CPU21は、アイコン91fを選択して、当該のアイコン91fで示されるファイルを開くなどの処理を行う。
したがって、利用者1は、操作入力部25を構成するキーボードやマウスなどを操作することなく、希望する操作をイメージするだけで、カーソル92を移動させ、アイコンを選択することができる。
なお、思考状態の推定結果としても、結論的な判断のほかに、各状態(各クラスタ)についての推定値が存在し、例えば、そのときの利用者1の思考状態が上記の状態O,P,Q,R中のいずれかと判断される場合でも、当該状態についての推定値が相対的に高いときと相対的に低いときとがある。
そこで、この場合、結論的な判断が同じでも、その推定値が閾値を超えるときには、推定値が閾値以下であるときに比べて、例えばカーソル92を速く移動させるような構成とすることもできる。
[5.他の実施形態または例]
(5−1.刺激について)
上述した例は、利用者1に対する刺激として静止画を表示する場合であるが、刺激として動画を表示してもよい。
(5−1.刺激について)
上述した例は、利用者1に対する刺激として静止画を表示する場合であるが、刺激として動画を表示してもよい。
ただし、1つの刺激としての動画が数10分にも及ぶような長時間のものであるときには、そのうちの冒頭部分やクライマックス部分などの数分程度の部分のみを、または当該の動画が映画などの本編であって別に数分程度の予告編が存在するときにはその予告編の動画を、表示することが望ましい。
また、刺激として音楽などの音声を出力してもよい。例えば、刺激として音楽を出力し、推定実行工程では、そのときの利用者1の情動状態と判断された状態に適合する動画または静止画を検索し、再生表示するように構成することもできる。
そのほか、刺激として質問文などの言葉を、文字で表示し、または音声で出力してもよい。
もちろん、上述したように、利用者1に刺激を与えることなく、利用者1が自発的に情動や思考を想起するようにしてもよい。
(5−2.情報処理システムについて)
情報処理システムとしても、例えば、推定準備工程で得られたクラスタリング結果、および各回の推定実行工程で算出された特徴ベクトルまたは特徴ベクトル群を、利用者1の情報処理端末20から、インターネットを介して、コンテンツ配信元のサーバに送信し、コンテンツ配信元のサーバにおいて、当該の利用者1に係るクラスタリング結果を登録するとともに、図13のステップ85〜87で示したような、情動状態の推定およびクラスタリング結果の更新に係る処理を実行し、さらに図13のステップ88で示した処理として、コンテンツを検索し、コンテンツデータを情報処理端末20に送信するように、システムを構成することもできる。
情報処理システムとしても、例えば、推定準備工程で得られたクラスタリング結果、および各回の推定実行工程で算出された特徴ベクトルまたは特徴ベクトル群を、利用者1の情報処理端末20から、インターネットを介して、コンテンツ配信元のサーバに送信し、コンテンツ配信元のサーバにおいて、当該の利用者1に係るクラスタリング結果を登録するとともに、図13のステップ85〜87で示したような、情動状態の推定およびクラスタリング結果の更新に係る処理を実行し、さらに図13のステップ88で示した処理として、コンテンツを検索し、コンテンツデータを情報処理端末20に送信するように、システムを構成することもできる。
主要部については図中に全て記述したので、ここでは省略する。
Claims (11)
- 利用者の脳表層における複数の部位を計測チャンネルとして、各計測チャンネルのヘモグロビン濃度変化量またはヘモグロビン濃度それ自体をヘモグロビン濃度関連値として計測して、上記利用者の脳活動状態を推定する方法であって、
推定準備工程と推定実行工程とを備え、
上記推定準備工程は、
上記利用者が異なる脳活動状態にある複数の期間で、それぞれ各計測チャンネルのヘモグロビン濃度関連値を計測するステップと、
その得られた各計測チャンネルのヘモグロビン濃度関連値をもとに、上記複数の期間につき、それぞれ、計測チャンネルの組合せにより選択された2チャンネルのヘモグロビン濃度関連値の間の相互相関係数を、計測チャンネルの組合せの総数分、有する特徴ベクトルを算出するステップと、
その算出された上記複数の期間についての特徴ベクトルを、機械学習によってクラスタリングするステップとを備え、
上記推定実行工程は、
上記利用者が脳活動状態にあるときの、各計測チャンネルのヘモグロビン濃度関連値を計測するステップと、
その得られた各計測チャンネルのヘモグロビン濃度関連値をもとに、計測チャンネルの組合せにより選択された2チャンネルのヘモグロビン濃度関連値の間の相互相関係数を、計測チャンネルの組合せの総数分、有する特徴ベクトルを算出するステップと、
その算出された特徴ベクトルを学習データとし、直前のクラスタリング結果における各クラスタから代表ベクトルとして抽出した特徴ベクトルを教師データとして、機械学習を行って、そのときの上記利用者の脳活動状態を推定するとともに、上記学習データとしての特徴ベクトルをクラスタリングして、クラスタリング結果を更新するステップとを備える、
ことを特徴とする脳活動状態推定方法。 - 請求項1の脳活動状態推定方法において、
さらに、上記利用者が異なる脳活動状態にある複数の期間で、それぞれ各計測チャンネルのヘモグロビン濃度関連値を計測して、その複数の期間の間でのヘモグロビン濃度関連値の変化が閾値以下となる計測チャンネルが存在するか否かを判断し、存在するときには、当該の計測チャンネルを冗長チャンネルとして登録する冗長チャンネル検出工程を備え、
上記推定準備工程および上記推定実行工程では、上記冗長チャンネルを計測チャンネルから除いて、上記相互相関係数および上記特徴ベクトルを算出する、
ことを特徴とする脳活動状態推定方法。 - 請求項1の脳活動状態推定方法において、
計測チャンネルの一部は酸素化ヘモグロビン濃度関連値を計測し、他の一部は脱酸素化ヘモグロビン濃度関連値を計測することを特徴とする脳活動状態推定方法。 - 請求項1の脳活動状態推定方法において、
上記相互相関係数は、シグモイド関数を乗じたものとすることを特徴とする脳活動状態推定方法。 - 請求項1の脳活動状態推定方法において、
上記推定準備工程および上記推定実行工程では、上記特徴ベクトルとして、それぞれ、複数の時点でのヘモグロビン濃度関連値にもとづく複数の特徴ベクトルからなる特徴ベクトル群を算出することを特徴とする脳活動状態推定方法。 - 請求項1の脳活動状態推定方法において、
上記推定準備工程および上記推定実行工程では、自己組織化マップによって上記特徴ベクトルをクラスタリングすることを特徴とする脳活動状態推定方法。 - 請求項1の脳活動状態推定方法において、
上記利用者の脳活動状態として、情動状態を推定することを特徴とする脳活動状態推定方法。 - 請求項1の脳活動状態推定方法において、
上記利用者の脳活動状態として、思考状態を推定することを特徴とする脳活動状態推定方法。 - 請求項1の脳活動状態推定方法において、
上記推定実行工程では、推定結果に応じた処理を実行することを特徴とする脳活動状態推定方法。 - 利用者の脳表層における複数の部位を計測チャンネルとして、各計測チャンネルのヘモグロビン濃度変化量またはヘモグロビン濃度それ自体をヘモグロビン濃度関連値として計測する計測装置と、この計測装置と接続される情報処理装置とを備える情報処理システムであって、
上記情報処理装置は、
上記利用者が異なる脳活動状態にある複数の期間で、それぞれ上記計測装置によって得られた各計測チャンネルのヘモグロビン濃度関連値をもとに、上記複数の期間につき、それぞれ、計測チャンネルの組合せにより選択された2チャンネルのヘモグロビン濃度関連値の間の相互相関係数を、計測チャンネルの組合せの総数分、有する特徴ベクトルを算出し、その算出された上記複数の期間についての特徴ベクトルを、機械学習によってクラスタリングする推定準備工程と、
上記利用者が脳活動状態にあるとき、上記計測装置によって得られた各計測チャンネルのヘモグロビン濃度関連値をもとに、計測チャンネルの組合せにより選択された2チャンネルのヘモグロビン濃度関連値の間の相互相関係数を、計測チャンネルの組合せの総数分、有する特徴ベクトルを算出し、その算出された特徴ベクトルを学習データとし、直前のクラスタリング結果における各クラスタから代表ベクトルとして抽出した特徴ベクトルを教師データとして、機械学習を行って、そのときの上記利用者の脳活動状態を推定するとともに、上記学習データとしての特徴ベクトルをクラスタリングして、クラスタリング結果を更新する推定実行工程と、
を実行することを特徴とする情報処理システム。 - 利用者の脳表層における複数の部位を計測チャンネルとして、各計測チャンネルのヘモグロビン濃度変化量またはヘモグロビン濃度それ自体をヘモグロビン濃度関連値として計測して、上記利用者の脳活動状態を推定するために、コンピュータを、
上記利用者が異なる脳活動状態にある複数の期間で、それぞれ各計測チャンネルのヘモグロビン濃度関連値を計測するステップと、
その得られた各計測チャンネルのヘモグロビン濃度関連値をもとに、上記複数の期間につき、それぞれ、計測チャンネルの組合せにより選択された2チャンネルのヘモグロビン濃度関連値の間の相互相関係数を、計測チャンネルの組合せの総数分、有する特徴ベクトルを算出するステップと、
その算出された上記複数の期間についての特徴ベクトルを、機械学習によってクラスタリングするステップと、
上記利用者が脳活動状態にあるときの、各計測チャンネルのヘモグロビン濃度関連値を計測するステップと、
その得られた各計測チャンネルのヘモグロビン濃度関連値をもとに、計測チャンネルの組合せにより選択された2チャンネルのヘモグロビン濃度関連値の間の相互相関係数を、計測チャンネルの組合せの総数分、有する特徴ベクトルを算出するステップと、
その算出された特徴ベクトルを学習データとし、直前のクラスタリング結果における各クラスタから代表ベクトルとして抽出した特徴ベクトルを教師データとして、機械学習を行って、そのときの上記利用者の脳活動状態を推定するとともに、上記学習データとしての特徴ベクトルをクラスタリングして、クラスタリング結果を更新するステップと、
を実行する手段として機能させることを特徴とする脳活動状態推定用プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007237607A JP2009066186A (ja) | 2007-09-13 | 2007-09-13 | 脳活動状態推定方法および情報処理システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007237607A JP2009066186A (ja) | 2007-09-13 | 2007-09-13 | 脳活動状態推定方法および情報処理システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009066186A true JP2009066186A (ja) | 2009-04-02 |
Family
ID=40603076
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007237607A Pending JP2009066186A (ja) | 2007-09-13 | 2007-09-13 | 脳活動状態推定方法および情報処理システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009066186A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011024925A (ja) * | 2009-07-29 | 2011-02-10 | Shimadzu Corp | 光計測システム |
KR101033385B1 (ko) | 2009-11-30 | 2011-05-09 | 재단법인대구경북과학기술원 | fNIRS 기반 발달장애인 장애 진단 방법 및 장치 |
WO2011065237A1 (ja) * | 2009-11-27 | 2011-06-03 | 株式会社日立製作所 | 生体光計測装置 |
JP2014236332A (ja) * | 2013-05-31 | 2014-12-15 | 日本放送協会 | 視聴状態推定装置及びそのプログラム |
WO2016093048A1 (ja) * | 2014-12-09 | 2016-06-16 | 株式会社Nttデータ・アイ | 脳疾患診断支援システム、脳疾患診断支援方法及びプログラム |
-
2007
- 2007-09-13 JP JP2007237607A patent/JP2009066186A/ja active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011024925A (ja) * | 2009-07-29 | 2011-02-10 | Shimadzu Corp | 光計測システム |
WO2011065237A1 (ja) * | 2009-11-27 | 2011-06-03 | 株式会社日立製作所 | 生体光計測装置 |
JP5386594B2 (ja) * | 2009-11-27 | 2014-01-15 | 株式会社日立製作所 | 生体光計測装置 |
KR101033385B1 (ko) | 2009-11-30 | 2011-05-09 | 재단법인대구경북과학기술원 | fNIRS 기반 발달장애인 장애 진단 방법 및 장치 |
JP2014236332A (ja) * | 2013-05-31 | 2014-12-15 | 日本放送協会 | 視聴状態推定装置及びそのプログラム |
WO2016093048A1 (ja) * | 2014-12-09 | 2016-06-16 | 株式会社Nttデータ・アイ | 脳疾患診断支援システム、脳疾患診断支援方法及びプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Bobade et al. | Stress detection with machine learning and deep learning using multimodal physiological data | |
CN105844072B (zh) | 刺激提示系统、刺激提示方法、计算机以及控制方法 | |
JP6404239B2 (ja) | 認知機能評価装置、認知機能評価装置の作動方法、システム及びプログラム | |
US11301775B2 (en) | Data annotation method and apparatus for enhanced machine learning | |
JP5958825B2 (ja) | 感性評価システム、感性評価方法、およびプログラム | |
KR101842750B1 (ko) | 뇌파 훈련을 위한 실시간 시뮬레이터 및 이를 이용한 인터페이스 장치 | |
KR20150076167A (ko) | 감각 및 인지 프로파일링을 위한 시스템 및 방법 | |
Khan et al. | Towards estimating computer users’ mood from interaction behaviour with keyboard and mouse | |
Khalili et al. | Emotion detection using brain and peripheral signals | |
US20170112423A1 (en) | System and Method for Stimulus Optimization Through Closed-Loop, Iterative Biological Sensor Feedback | |
Yu et al. | A hybrid user experience evaluation method for mobile games | |
JP2009066186A (ja) | 脳活動状態推定方法および情報処理システム | |
CN116807476B (zh) | 基于界面式情感交互的多模态心理健康评估系统及方法 | |
JP2010042236A (ja) | ヒトの感覚判定方法及びその判定装置 | |
van den Broek et al. | Prerequisites for affective signal processing (ASP) | |
van den Broek et al. | Unobtrusive sensing of emotions (USE) | |
Asif et al. | Emotion recognition using temporally localized emotional events in EEG with naturalistic context: DENS# dataset | |
JP6910919B2 (ja) | システム及び意思疎通を図るために行うアクションの評価方法 | |
Landowska | Emotion monitor-concept, construction and lessons learned | |
KR20220060976A (ko) | 효율적인 멀티모달 특징그룹과 모델 선택 기반 감정인식을 위한 딥러닝 방법 및 장치 | |
Koelstra | Affective and Implicit Tagging using Facial Expressions and Electroencephalography. | |
Gunes et al. | Automatic measurement of affect in dimensional and continuous spaces: Why, what, and how? | |
Ruotsalo et al. | Affective Relevance | |
Soleymani | Implicit and Automated Emtional Tagging of Videos | |
Matthews et al. | Towards arousal sensing with high fidelity detection of visual focal attention |