JP2009066186A - 脳活動状態推定方法および情報処理システム - Google Patents

Abstract

【課題】利用者のその時々の脳活動状態を正確に推定できるようにする。
【解決手段】推定準備工程において、利用者が異なる情動状態にある複数の期間で、それぞれ各計測チャンネルのヘモグロビン濃度関連値（ヘモグロビン濃度変化量またはヘモグロビン濃度それ自体）を計測し、その複数の期間につき、それぞれ、計測チャンネルの組合せにより選択された２チャンネルのヘモグロビン濃度関連値の間の相互相関係数を計測チャンネルの組合せの総数分有する特徴ベクトルを算出して、自己組織化マップによってクラスタリングする。推定実行工程では、ヘモグロビン濃度関連値から特徴ベクトルを算出して学習データとし、直前のクラスタリング結果の各クラスタ７６ｅ，７６ｆ，７６ｇから代表ベクトルとして抽出した特徴ベクトルを教師データとして、機械学習を行って、そのときの利用者の情動状態を推定するとともに、そのときの特徴ベクトルをクラスタリングする。
【選択図】図１２

Description

この発明は、人の脳の活動状態を推定する方法およびシステムに関する。

ｆＮＩＲＳ（ｆｕｎｃｔｉｏｎａｌ ｎｅａｒ ｉｎｆｒａｒｅｄ ｓｐｅｃｔｒｏｓｃｏｐｙ）法として知られているように、近赤外光の照射により人の脳血流中のヘモグロビン濃度ないしヘモグロビン濃度変化を計測することによって、人の脳の活動状態を推定することが考えられている。

具体的に、ある被験者の情動状態を推定する場合、当該の被験者から得られた計測値を、あらかじめ多くの被験者につき計測することにより得られた各種の情動状態、例えば「喜怒哀楽」の４種の情動状態についての平均的な計測値と比較することによって、そのときの当該の被験者の情動状態を推定することが考えられる。

また、特許文献１（特開２００６−９５２６６号公報）には、機能的近赤外分光法を利用して、被験者の「喜怒哀楽」などの感性状態を定量的に判別する方法として、
（Ｓ１）リファレンスデータ収集ステップで、感性に影響を与える複数種類の状況に対応して、被験者の脳表層のｎ箇所の測定部位における血液中のヘモグロビン濃度を所定のサンプリング周期で測定し、そのｎ個のヘモグロビン濃度の時間的変化のデータから、組合せにより選択したｋ組（ｋ＝_ｎＣ_２）の２つの異なる時間的変化のデータにつき、サンプリング周期の時間ごとに相互相関係数を演算し、そのｋ組の２つの異なる時間的変化のデータに関するｋ種類の相互相関係数の時間的変化のパターンを、ｋ種類のリファレンスデータとして収集し、
（Ｓ２）判定条件決定ステップで、そのｋ種類のリファレンスデータから、所定の判別法によって、被験者の感性状態を判別するのに必要な判定条件を求め、
（Ｓ３）評価用データ収集ステップで、所定の状況下にある被験者につき、上記のｋ種類の相互相関係数の時間的変化のパターンを、ｋ種類の評価用データとして収集し、
（Ｓ４）判別ステップで、そのｋ種類の評価用データと上記の判定条件とを入力として、所定の判別法によって、被験者の感性状態を定量的に判別する、
方法が示されている。

特許文献１には、上記の判別法として線形写像判別法を用いて、判定条件として線形写像を求め、評価用データを入力ベクトルとすることや、上記の判別法としてニューラルネットワークを用いて、判定条件をニューラルネットワークの出力層に与え、評価用データをニューラルネットワークの入力層に与えることも、示されている。

また、特許文献２（特開２００３−２９６６９６号公報）などの特許文献や、機械学習に関する著作物には、機械学習の一方法である自己組織化マップ（ＳＯＭ：Ｓｅｌｆ Ｏｒｇａｎｉｚｉｎｇ Ｍａｐｓ）によって多次元データをクラスタリングすることが示されている。

自己組織化マップでは、多数の多次元データを、２次元マップ上に写像し、視覚的に分かりやすく、それぞれの多次元データの性質ごとに、クラスタリングすることができる。

例えば、図１５の左側のテーブル１０１に示す１６種の動物を、それぞれの属性１（小さいか否か）から属性１６（草食性か否か）までの１６の属性の値を多次元データとして、自己組織化マップによってクラスタリングすると、クラスタリング結果のマップとして、図１５の右側に示すようなマップ１０２が得られる。

上に挙げた先行技術文献は、以下の通りである。
特開２００６−９５２６６号公報 特開２００３−２９６６９６号公報

人の情動状態と脳血流中のヘモグロビン濃度ないしヘモグロビン濃度変化との関係は、一義的ではなく、人によって異なる。例えば、人が喜んでいるときのヘモグロビン濃度ないしヘモグロビン濃度変化は、喜びの程度が同じであっても、人によって異なる。人の思考状態と脳血流中のヘモグロビン濃度ないしヘモグロビン濃度変化との関係も、人によって異なる。

そのため、上記のように特定の当該の被験者から得られた計測値を、多くの被験者から得られた平均的な計測値と比較することによって、そのときの当該の被験者の脳活動状態を推定する方法では、当該の被験者の脳活動状態を正確に推定することができない。

さらに、あらかじめ当該の被験者が各種の脳活動状態にあるときの計測値を各種の参照データとして準備しておき、単純に、そのときの当該の被験者から得られた計測値を各種の参照データと比較して、そのときの当該の被験者の脳活動状態を判別する方法でも、そのときの当該の被験者の脳活動状態が、実際には当初想定した上記の各種の脳活動状態のうちのいずれでもないときでも、そのときの当該の被験者の脳活動状態を、上記の各種の脳活動状態のうちのいずれかであると、決め打ち的に判定してしまうため、必ずしも当該の被験者の脳活動状態を正確に判別することができない。

そこで、この発明は、利用者のその時々の脳活動状態を正確に推定することができるようにしたものである。

この発明の脳活動状態推定方法は、
利用者の脳表層における複数の部位を計測チャンネルとして、各計測チャンネルのヘモグロビン濃度変化量またはヘモグロビン濃度それ自体をヘモグロビン濃度関連値として計測して、上記利用者の脳活動状態を推定する方法であって、
推定準備工程と推定実行工程とを備え、
上記推定準備工程は、
上記利用者が異なる脳活動状態にある複数の期間で、それぞれ各計測チャンネルのヘモグロビン濃度関連値を計測するステップと、
その得られた各計測チャンネルのヘモグロビン濃度関連値をもとに、上記複数の期間につき、それぞれ、計測チャンネルの組合せにより選択された２チャンネルのヘモグロビン濃度関連値の間の相互相関係数を、計測チャンネルの組合せの総数分、有する特徴ベクトルを算出するステップと、
その算出された上記複数の期間についての特徴ベクトルを、機械学習によってクラスタリングするステップとを備え、
上記推定実行工程は、
上記利用者が脳活動状態にあるときの、各計測チャンネルのヘモグロビン濃度関連値を計測するステップと、
その得られた各計測チャンネルのヘモグロビン濃度関連値をもとに、計測チャンネルの組合せにより選択された２チャンネルのヘモグロビン濃度関連値の間の相互相関係数を、計測チャンネルの組合せの総数分、有する特徴ベクトルを算出するステップと、
その算出された特徴ベクトルを学習データとし、直前のクラスタリング結果における各クラスタから代表ベクトルとして抽出した特徴ベクトルを教師データとして、機械学習を行って、そのときの上記利用者の脳活動状態を推定するとともに、上記学習データとしての特徴ベクトルをクラスタリングして、クラスタリング結果を更新するステップとを備える、
ことを特徴とする。

上記の、この発明の脳活動状態推定方法では、推定準備工程で、当該の利用者が異なる脳活動状態にある複数の期間についての、それぞれ各計測チャンネルのヘモグロビン濃度関連値から算出された特徴ベクトルを、機械学習によりクラスタリングすることによって、脳活動状態と脳血流中のヘモグロビン濃度ないしヘモグロビン濃度変化との関係についての当該の利用者の傾向を検出することができ、当該の利用者に固有のクラスタリング結果を得ることができる。

そして、推定実行工程では、この当該利用者に固有のクラスタリング結果における各クラスタから代表ベクトルとして抽出した特徴ベクトルを教師データとし、そのとき算出された特徴ベクトルを学習データとして、機械学習を行って、そのときの当該利用者の脳活動状態を推定するので、当該利用者のその時々の脳活動状態を、いずれのクラスタに属する状態であるか、いずれのクラスタにも属さない状態であるか、を含めて、正確に推定することができる。

人の脳の活動は、情緒、感情、感性などの情動的なものと、想像、意識、認識、思想、意思、意欲などの思考的なものとに、大別される。そこで、以下では、情動状態を推定する場合と思考状態を推定する場合とにつき、この発明の最良の形態を示す。

［１．情報処理システムの例：図１および図２］
（１−１．システム全体の構成：図１）
図１に、この発明の情報処理システムの一例を示す。

この例の情報処理システムは、計測装置１０、情報処理端末２０、ディスプレイ３１およびスピーカ３５を備えるものとして構成される。

計測装置１０は、機能的近赤外分光法によって、利用者１の脳表層における血流中のヘモグロビン濃度ないしヘモグロビン濃度変化を計測するもので、詳細は後述するが、計測装置本体部１１、利用者１の頭部に装着される計測具１２、および計測装置本体部１１と計測具１２とを接続するケーブル１３によって構成される。

情報処理端末２０は、パーソナルコンピュータやモバイルコンピュータなどの、利用者側の情報処理装置である。

具体的に、情報処理端末２０は、ＣＰＵ２１を備え、そのバス２２には、プログラムやデータが展開されるメインメモリ２３、ハードディスクなどの不揮発性記憶媒体からなる記憶装置部２４、および操作入力部２５が接続される。

記憶装置部２４には、この発明の脳活動状態推定方法を実行するためのプログラムを含む各種のプログラム、および必要な固定データが記録される。さらに、記憶装置部２４には、画像データや音楽データなどのコンテンツデータが記録され、記憶装置部２４は、利用者１のデータベースを構成する。

さらに、バス２２には、入出力インタフェース２６、画像処理出力部２７、音声処理出力部２８、およびインターネットなどの外部ネットワークに接続するための外部ネットワークインタフェース２９が接続され、計測装置本体部１１が入出力インタフェース２６に接続され、画像処理出力部２７にディスプレイデ３１が接続され、音声処理出力部２８にスピーカ３５が接続される。

利用者１に対する刺激付与の一例の情報呈示として、画像や文字を表示する場合、その画像や文字はディスプレイ３１上に表示される。刺激付与の一例の情報呈示として、音楽などの音声を出力する場合、その音声はスピーカ３５から出力される。

（１−２．計測装置：図２）
図２に、計測装置１０の一例を示す。

利用者１の脳表層２の複数の部位が、それぞれ計測部位２ａとされる。

駆動回路１４によって駆動された発光部１５から出射した近赤外光が、発光プローブを構成する光ファイバ１６ａを通じて、それぞれの計測部位２ａに照射される。

それぞれの計測部位２ａに照射された近赤外光は、それぞれの計測部位２ａにおける血流中のヘモグロビン濃度ないしヘモグロビン濃度変化に応じて、それぞれの計測部位２ａを透過し、利用者１の頭外に出射する。

それぞれの出射光は、受光プローブを構成する光ファイバ１６ｂを通じて、受光部１７で受光され、電気信号の受光信号に変換される。

それぞれの受光信号は、信号処理部１８で、デジタルデータの計測値に変換され、さらに血流成分より高周波の脈波成分などのノイズ成分を除去するためにフィルタリングされて、入出力インタフェース１９を通じて情報処理端末２０に送出される。

ただし、上記のフィルタリングなどの処理は、情報処理端末２０で実行されるようにしてもよい。

（１−３．計測対象と計測チャンネル：図２）
機能的近赤外分光法による計測装置としては、ヘモグロビン濃度それ自体（ヘモグロビン濃度の絶対値）を計測することができず、ヘモグロビン濃度変化量しか計測することができないものも多い。

そのため、計測装置１０として、このようにヘモグロビン濃度変化量しか計測することができないものを用いる場合には、あらかじめ、利用者１に刺激が与えられてなく、利用者１が安定しているときの計測値（この値自体がヘモグロビン濃度ではない）を、基準値として取得しておき、後述の冗長チャンネル検出工程、推定準備工程および推定実行工程のそれぞれの計測タイミングでは、その基準値に対する変化量をヘモグロビン濃度変化量として計測する。

以下では、このヘモグロビン濃度変化量、またはヘモグロビン濃度それ自体を、ヘモグロビン濃度関連値と定義する。

計測部位２ａは、計測チャンネルを形成する。計測チャンネルは、脳活動状態を正確に推定するためには、数チャンネル程度では不十分で、最少でも１０数チャンネル程度は必要である。

さらに、ヘモグロビン濃度関連値としては、酸素化ヘモグロビン濃度関連値または脱酸素化ヘモグロビン濃度関連値のみを計測してもよいが、脳活動状態をより正確に推定するためには、酸素化ヘモグロビン濃度関連値と脱酸素化ヘモグロビン濃度関連値の双方を計測することが望ましい。

以下に示す例は、酸素化ヘモグロビン濃度関連値と脱酸素化ヘモグロビン濃度関連値の双方を計測する場合で、Ｍチャンネルの計測チャンネル中の半分の計測チャンネルは酸素化ヘモグロビン濃度関連値を計測し、残りの半分の計測チャンネルは脱酸素化ヘモグロビン濃度関連値を計測するものとする。

［２．冗長チャンネル検出工程：図３〜図５］
後述の推定準備工程および推定実行工程では、各計測チャンネルのヘモグロビン濃度関連値から特徴ベクトルを算出する。

特徴ベクトルは、多チャンネルの計測チャンネル中の、組合せ（数学の「順列・組合せ」で言う「組合せ」）により選択された２チャンネルのヘモグロビン濃度関連値の間の相互相関係数を、計測チャンネルの組合せの総数分、有する多次元データである。そのため、計測チャンネル数が多いと、特徴ベクトル算出のための演算が膨大となる。

一方、人の頭の大きさなどは、人によって様々であり、人が脳活動状態にあるとき、その人の脳血流中のヘモグロビン濃度が変化する部位も、人によって異なる。そのため、計測装置１０としては、多くの利用者を対象に、計測チャンネルが脳表層の広範囲に渡って多めに設定される。

そのため、特定の当該の利用者１について見ると、いずれの脳活動状態にあるときでも、脳表層２における血流中のヘモグロビン濃度がほとんど変化せず、脳活動状態の推定に役立たない計測チャンネルが存在し得る。

そこで、図１の例の情報処理システムでは、推定準備工程に先立つ冗長チャンネル検出工程で、以下のように、脳活動状態の推定に役立たない計測チャンネルを冗長チャンネルとして検出する。

一例として、後述の推定実行工程で情動状態を、
状態Ａ：快く感じている状態、
状態Ｂ：不快に感じている状態、
状態Ｃ：哀しんでいる、または怒っている状態、
状態Ｄ：特別の反応がない状態、
の４つの状態に分けて推定する場合について示す。

この場合、図３に示すように、期間Ｔ１から期間Ｔ４までの４つの期間において、期間Ｔ１では、利用者１が快く感じるような画像を表示し、期間Ｔ２では、利用者１が不快に感じるような画像を表示し、期間Ｔ３では、利用者１が哀しみ、または怒るような画像を表示し、期間Ｔ４では、利用者１が特別の反応を示さないような画像を表示するように、期間Ｔ１〜Ｔ４で、異なる４つの静止画を表示し、利用者１に異なる４種類の刺激を与える。

期間Ｔ１〜Ｔ４では、同時に、それぞれの期間内の定められた計測期間において、上記のように計測装置１０によって、各計測チャンネルの酸素化ヘモグロビン濃度関連値または脱酸素化ヘモグロビン濃度関連値を計測する。

図３は、計測チャンネル数Ｍが４０の場合で、チャンネルＣＨ１，ＣＨ３‥‥ＣＨ３９は、酸素化ヘモグロビン濃度関連値を計測するものであり、チャンネルＣＨ２，ＣＨ４‥‥ＣＨ４０は、脱酸素化ヘモグロビン濃度関連値を計測するものである。

さらに、それぞれの計測チャンネルにつき、図４の式（１）で表される相互相関係数Ｃｉ,ｊ,ｋを算出する。

式（１）で、ｉは計測チャンネルの番号、ｊおよびｋは刺激の番号（ｊ≠ｋ）、ｔ１およびｔ２は計測期間の始点および終点の時点、Ｊｉ（ｔ）は、刺激ｊを与えたときの時点ｔにおけるヘモグロビン濃度関連値、Ｋｉ（ｔ）は、刺激ｋを与えたときの時点ｔにおけるヘモグロビン濃度関連値である。

式（１）で表される相互相関係数Ｃｉ,ｊ,ｋは、絶対値が１に近いと、刺激ｊと刺激ｋに関してチャンネルｉは正相関していることになり、当該チャンネルｉでは刺激ｊと刺激ｋの差がヘモグロビン濃度の変化にほとんど反映されてなく、情報として冗長である（必要性がない）ことを意味する。

そのため、期間Ｔ４の後において、それぞれの計測チャンネルにつき、ｊ＝１，ｋ＝２の場合、ｊ＝１，ｋ＝３の場合、ｊ＝１，ｋ＝４の場合、ｊ＝２，ｋ＝３の場合、ｊ＝２，ｋ＝４の場合、およびｊ＝３，ｋ＝４の場合の、刺激に係る全ての組合せにつき、相互相関係数Ｃｉ,ｊ,ｋの絶対値が、１に近い定められた閾値以上となるか否かを検出する。

そして、刺激に係る全ての組合せにつき、相互相関係数Ｃｉ,ｊ,ｋの絶対値が閾値以上となる計測チャンネルが存在する場合には、その計測チャンネルを冗長チャンネルと決定して、そのチャンネル番号を登録する。

一方、刺激に係る全ての組合せにつき、相互相関係数Ｃｉ,ｊ,ｋの絶対値が閾値以上となる計測チャンネルが存在しない場合には、冗長チャンネルは存在しないものとして、その旨を登録する。

冗長チャンネルであるか否かを判断する方法としては、上記のように同一チャンネルについての個々の相互相関係数Ｃｉ,ｊ,ｋの絶対値が閾値以上となるか否かを判断する代わりに、図４の式（２）または式（３）で表される、同一チャンネルについての刺激に係る上記の６個の組合せについての６個の相互相関係数の絶対値の積Ｃｉｓまたは総和Ｃｉｗを求め、その積Ｃｉｓまたは総和Ｃｉｗが、定められた閾値以上になるか否かを判断するようにしてもよい。

ただし、式（２）で表される積Ｃｉｓから判断する場合には、閾値を、例えば０．９の６乗の０．５３とし、式（３）で表される総和Ｃｉｗから判断する場合には、閾値を、例えば０．９の６倍の０．５４とする。

図５に、情報処理端末２０のＣＰＵ２１が実行する以上のような冗長チャンネル検出工程での一連の処理の一例を示す。

この例では、利用者１が頭部に計測装置１０の計測具１２を装着し、情報処理端末２０に処理開始を指示することによって、ＣＰＵ２１は、まずステップ４１で、順位ｇを１とし、次にステップ４２で、ｇ番目の画像を表示し、ｇ番目の刺激を与える。

次に、ステップ４３で、計測装置１０によって各計測チャンネルのヘモグロビン濃度関連値（酸素化ヘモグロビン濃度関連値または脱酸素化ヘモグロビン濃度関連値）を計測して、保存する。

次に、ステップ４４で、ｇを１だけインクリメントし、さらにステップ４５で、ｇが４を超えたか否かを判断し、ｇが４を超えていなければ、ステップ４５からステップ４２に戻って（進んで）、ｇ番目の画像を表示し、さらにステップ４３に進んで、各計測チャンネルのヘモグロビン濃度関連値を計測して、保存する。

ｇが４を超えたときには、ステップ４５からステップ４６に進んで、各計測チャンネルにつき、図４の式（１）で表される相互相関係数Ｃｉ,ｊ,ｋを算出し、さらにステップ４７に進んで、上記のように刺激に係る全ての組合せについての相互相関係数の絶対値を閾値と比較することによって、または図４の式（２）または式（３）で表される積Ｃｉｓまたは総和Ｃｉｗを閾値と比較することによって、冗長チャンネルが存在するか否かを判断する。

そして、冗長チャンネルが存在するときには、ステップ４７からステップ４８に進んで、その冗長チャンネルのチャンネル番号を登録し、冗長チャンネルが存在しないときには、ステップ４７からステップ４９に進んで、その旨を登録する。

以上の例は、情動状態を４つの状態に分けて推定する場合に備えて、４種類の刺激を順次与える場合であるが、例えば、情動状態を５つの状態に分けて推定する場合には、５種類の刺激を順次与えるようにすればよい。

なお、同一の利用者でも、情動状態にあるときと思考状態にあるときとで、冗長チャンネルが異なり得る場合には、情動状態の推定に備えて、上記のように利用者１に情動を想起させる刺激を与えて冗長チャンネル検出工程を実行し、その結果の冗長チャンネルを登録するとともに、これとは別に、思考状態の推定に備えて、利用者１に思考を想起させる刺激を与えて冗長チャンネル検出工程を実行し、その結果の冗長チャンネルを登録する。

また、冗長チャンネル検出工程では、後述の推定準備工程および推定実行工程と同様に、必ずしも画像表示などによる刺激は必要がなく、例えば、利用者１が、手元にある異なる情動状態となるような複数の画像を順次観察して、または画像の観察などをしないで、異なる情動状態に順次、なるようにしてもよい。

以上のような冗長チャンネル検出工程の実行の結果、当該の利用者１については、Ｎチャンネルの計測チャンネルが冗長チャンネルとして検出されたとき、以後の推定準備工程および推定実行工程では、後述のように、残余のＬチャンネル（Ｌ＝Ｍ−Ｎ）の計測チャンネルのヘモグロビン濃度関連値（酸素化ヘモグロビン濃度関連値または脱酸素化ヘモグロビン濃度関連値）の計測値から、特徴ベクトルを算出する。例えば、Ｍ＝４０，Ｎ＝８であるとき、Ｌ＝３２である。

これによって、後述のように、推定準備工程および推定実行工程での特徴ベクトル算出の演算量が著しく減少し、脳活動状態の推定のリアルタイム化を、より確実に実現することができる。

［３．推定準備工程：図６〜図１０］
上記のように、脳活動状態の推定は、各計測チャンネルのヘモグロビン濃度関連値から特徴ベクトルを算出することによって行う。

しかし、人の情動状態と特徴ベクトルの値との関係は、一義的ではなく、人によって異なる。例えば、人が喜んでいるときの特徴ベクトルの値は、喜びの程度が同じであっても、人によって異なる。人の思考状態と特徴ベクトルの値との関係も、人によって異なる。

そのため、図１の例の情報処理システムでは、脳活動状態と特徴ベクトルとの関係についての当該の利用者１の傾向を検出するために、以下のような推定準備工程を実行する。

以下では、最初に、情動状態を推定する場合の推定準備工程を示し、その後、思考状態を推定する場合の推定準備工程を示す。

（３−１．刺激の付与と計測：図６）
推定準備工程では、例えば、上記の例の冗長チャンネル検出工程と同様に、異なる静止画を順次表示し、利用者１に異なる刺激を順次与える。

ただし、この場合、推定準備工程の実行によって、後述のように、ある程度のクラスタリング結果が得られるように、利用者１が同じ情動状態となるような同じ種類の画像でも、内容の異なる複数の画像を順次表示する。

具体的に、例えば、後述の推定実行工程で情動状態を上記の状態Ａ，Ｂ，Ｃ，Ｄの４つの状態に分けて推定する場合には、図６に示すように、期間Ｔ１，Ｔ２，Ｔ３‥‥において、画像♯１，♯２，♯３‥‥として、利用者１が快く感じるような画像、不快に感じるような画像、哀しみ、または怒るような画像、および特別の反応を示さないような画像を、各種類ごとに複数ずつ、適宜の順序で順次表示する。

期間Ｔ１，Ｔ２，Ｔ３‥‥では、同時に、それぞれの期間内の定められた計測タイミングにおいて、上記のように計測装置１０によって、各計測チャンネルの酸素化ヘモグロビン濃度関連値または脱酸素化ヘモグロビン濃度関連値を計測する。

ただし、この場合の計測チャンネルは、上記のＭチャンネル中の、上記の冗長チャンネル検出工程で冗長チャンネルとして検出されたＮチャンネルを除く、Ｌチャンネルである。

（３−２．相互相関係数および特徴ベクトルの算出：図６および図７）
さらに、図６に示すように、表示した画像ごとに、すなわち利用者１に与えた刺激ごとに、そのＬチャンネルの計測チャンネルの酸素化ヘモグロビン濃度関連値または脱酸素化ヘモグロビン濃度関連値の計測値から、特徴ベクトルを算出する。

特徴ベクトルは、Ｌチャンネルの計測チャンネル中の、組合せにより選択された２チャンネルのヘモグロビン濃度関連値の間の相互相関係数を、計測チャンネルの組合せの総数分、有する多次元データとする。

したがって、冗長チャンネルを除外しないで、Ｍチャンネルの計測チャンネルを、そのまま特徴ベクトルの算出に用いる場合には、組合せの総数、すなわち１つの特徴ベクトルにおける相互相関係数の総数は、_ＭＣ_２となり、Ｍ＝４０のときには_４０Ｃ_２＝７８０となるのに対して、冗長チャンネルを除いたＬチャンネルの計測チャンネルのみを、特徴ベクトルの算出に用いる場合には、組合せの総数、すなわち１つの特徴ベクトルにおける相互相関係数の総数は、_ＬＣ_２となり、Ｌ＝３２のときには_３２Ｃ_２＝４９６となる。

したがって、冗長チャンネルを除外することによって、特徴ベクトル算出の演算量が著しく減少し、特徴ベクトルを短時間で算出することができる。

さらに、特徴ベクトルにおける個々の相互相関係数としては、図７の式（５）および式（６）で示すように、パラメータαを用いたシグモイド関数を乗じた値を算出する。

式（５）の相互相関係数Ｃｊ,ｋ（ｔ）は、時点ｔにおけるチャンネルｊ,ｋ間の相互相関係数を示すもので、Ｘｊ（τ），Ｘｋ（τ）は、それぞれチャンネルｊ,ｋの時点ｔの近傍の時間τにおけるヘモグロビン濃度関連値である。

式（６）は、この場合のシグモイド関数を示す。シグモイド関数は、一般には、式（６）においてα＝１とされるが、この場合には、αを１ではない適切な値とする。

さらに、この場合のｚは、式（５）に示すように、Ｘｊ（τ），Ｘｋ（τ）中の小さい方が返る関数とする。

このように式（５）により相互相関係数Ｃｊ,ｋ（ｔ）を算出することによって、ヘモグロビン濃度関連値にオフセット値やノイズ成分が存在する場合、その影響を低減して、相互相関係数Ｃｊ,ｋ（ｔ）を算出し、特徴ベクトルを算出することができる。

一般に知られているように、人の脳血流反応は、実際の脳活動に対して数秒程度の遅れを伴って変化する。

そのため、ある刺激を与えたとき、ある時点ｔでの相互相関係数および特徴ベクトルだけではなく、その時点ｔの数秒前の時点ｔｏでの相互相関係数および特徴ベクトルを併せて算出する、などというように、ある刺激を与えたとき、複数の時点での相互相関係数および特徴ベクトルを算出し、その複数の特徴ベクトルを用いて、後述のように機械学習を行う構成とすることもでき、これによれば、情動状態をより正確に推定することが可能となる。

（３−３．自己組織化マップによるクラスタリング：図８および図９）
さらに、推定準備工程では、上記の方法によって図６に示すように刺激ごとに順次算出された特徴ベクトルＶ１，Ｖ２，Ｖ３‥‥を、機械学習によって、例えば自己組織化マップ（ＳＯＭ）によって、クラスタリングする。

そのために、初期状態のマップとして、図８（Ａ）に簡略化して示すように、それぞれ上記の特徴ベクトルと同様の多次元データからなる、かつ、その多次元データの値が互いに異なる多数のベクトルが、ランダムに配置されたマップ５１が用意される。

そして、情報処理端末２０のＣＰＵ２１は、最初の刺激（画像♯１の表示）に対する特徴ベクトルＶ１を、マップ５１上の、多次元データの値が特徴ベクトルＶ１のそれに最も近いベクトルが配置された座標位置に写像する。

図８（Ｂ）は、特徴ベクトルＶ１が、図８（Ａ）の初期状態のマップ５１の中心位置に配置されているベクトルに最も近く、その中心位置に写像されて、マップ５１がマップ５２に変化した状態を示す。

情報処理端末２０のＣＰＵ２１は、このように特徴ベクトルＶ１を写像するとともに、以後の特徴ベクトルのクラスタリングのために、特徴ベクトルＶ１の写像位置の近傍位置に配置されているベクトルの多次元データの値を、特徴ベクトルＶ１の多次元データの値に近づける方向に幾分補正する。マップ５２上では特徴ベクトルＶ１の周囲の８個のベクトルの方向が、初期状態のマップ５１上のそれに対して変化しているのは、この処理が実行されたことを示している。

以後の特徴ベクトルＶ２，Ｖ３‥‥も、同様に順次、直前のマップ上に写像する。

なお、上記のように冗長チャンネルを除く計測チャンネルについてのみ、相互相関係数および特徴ベクトルを算出する場合には、マップ５１上の各ベクトルについても、特徴ベクトル中に存在しないデータ（相互相関係数）に対応するデータは無視して、ベクトルを生成し、または特徴ベクトルと比較する。

また、この場合の写像方法としては、線形写像より非線形写像の方が、情動状態の推定精度をより高めることができる。

図９に、情報処理端末２０のＣＰＵ２１が実行する以上のような推定準備工程での一連の処理の一例を示す。

この例では、利用者１が頭部に計測装置１０の計測具１２を装着し、情報処理端末２０に処理開始を指示することによって、ＣＰＵ２１は、まずステップ６１で、順位ｈを１とし、次にステップ６２で、ｈ番目の画像を表示し、ｈ番目の刺激を与える。

次に、ステップ６３で、計測装置１０によって冗長チャンネルを除く各計測チャンネルのヘモグロビン濃度関連値（酸素化ヘモグロビン濃度関連値または脱酸素化ヘモグロビン濃度関連値）を計測し、次にステップ６４で、図７の式（５）で表される相互相関係数Ｃｊ,ｋ（ｔ）を、計測チャンネルの組合せの総数分算出し、さらにステップ６５で、ｈ番目の刺激を与えたときの特徴ベクトルＶｈを算出する。

さらに、ステップ６６で、自己組織化マップによって、その特徴ベクトルＶｈを写像し、次にステップ６７で、ｈを１だけインクリメントし、さらにステップ６８で、ｈが予定数ｘを超えたか否かを判断する。

そして、ｈが予定数ｘを超えていなければ、ステップ６８からステップ６２に戻って（進んで）、インクリメント後のｈにつき、ステップ６２からステップ６７までの処理を順次実行し、ｈが予定数ｘを超えたときには、ステップ６８からステップ６９に進んで、それまでのクラスタリング結果を保存して、推定準備工程での一連の処理を終了する。

（３−４．クラスタリング結果の一例：図１０）
図１０に、推定準備工程でのクラスタリング結果の一例を示す。

この例は、上記の推定準備工程で、画像♯１，♯２，♯３‥‥♯２６として、図示するような人物や動物などの画像を順次表示した場合である。

ただし、このクラスタリング結果のマップ７１を上記のディスプレイ３１の画面上に表示する場合、マップ７１上に写像された、それぞれの画像が表示されたときのそれぞれの特徴ベクトルは、そのまま画面上に表示することができないため、写像された特徴ベクトルに代えて、当該の特徴ベクトルが算出されたときに表示された画像を、マップ７１上に配置し、画面上に表示したものである。

この例のクラスタリング結果は、
（Ａ）画像♯１６，♯１７，♯１８，♯２６などが表示されたとき、クラスタ７２ａで示すように、ほぼ同様の情動状態となった、
（Ｂ）画像♯６，♯１０，♯２２などが表示されたとき、クラスタ７２ｂで示すように、同様の情動状態となったが、その情動状態は、上記（Ａ）のときとは全く異なる、
（Ｃ）画像♯１３，♯１４などが表示されたとき、クラスタ７２ｃで示すように、同様の情動状態となったが、その情動状態は、上記（Ａ）（Ｂ）のときとは異なる、
（Ｄ）画像♯４，♯９，♯１５が表示されたとき、クラスタ７２ｄで示すように、同様の情動状態となったが、その情動状態は、上記（Ａ）（Ｂ）（Ｃ）のときとは異なる、
ことを示しており、４つのクラスタ７２ａ〜７２ｄが形成されたことを示している。

実際上、クラスタ７２ａは、情動状態が上記の状態Ａ（快く感じている状態）となったときであり、クラスタ７２ｂは、情動状態が上記の状態Ｂ（不快に感じている状態）となったときであり、クラスタ７２ｃは、情動状態が上記の状態Ｃ（哀しんでいる、または怒っている状態）となったときであり、クラスタ７２ｄは、情動状態が上記の状態Ｄ（特別の反応がない状態）となったときである。

利用者１は、この画面上に表示されたマップ７１を見て、情報処理端末２０の操作入力部２５での操作入力によって、それぞれのクラスタ内を指示し、クラスタ７２ａに対しては「快感」または「喜び」、クラスタ７２ｂに対しては「不快」、クラスタ７２ｃに対しては「悲しみ」または「怒り」、クラスタ７２ｄに対しては「無反応」または「不要」、などというように、それぞれのクラスタに対して名称を付けることができる。

（３−５．思考状態を推定する場合の推定準備工程）
以上は、情動状態を推定する場合の推定準備工程であるが、思考状態を推定する場合の推定準備工程も、基本的に同じである。

一例として、後述の推定実行工程で思考状態を、
状態Ｏ：カーソルを上に動かすことをイメージしている状態、
状態Ｐ：カーソルを下に動かすことをイメージしている状態、
状態Ｑ：カーソルを左に動かすことをイメージしている状態、
状態Ｒ：カーソルを右に動かすことをイメージしている状態、
状態Ｓ：カーソルが位置しているアイコンを選択することをイメージしている状態、
の５つの状態に分けて推定する場合について示す。

この場合、推定準備工程では、利用者１に対する刺激として、それぞれ上記の状態Ｏ，Ｐ，Ｑ，Ｒ，Ｓをイメージさせるような画像を、例えば５回ずつ、適宜の順序で順次表示し、または、利用者１に刺激を与えることなく、利用者１が、手元にある画像を観察して、または画像の観察などをしないで、状態Ｏ，Ｐ，Ｑ，Ｒ，Ｓを、例えば５回ずつ、適宜の順序で順次、イメージする。

さらに、推定準備工程では、情動状態を推定する場合と同様に、図９に示したような一連の処理によって、各回につき、冗長チャンネルを除く各計測チャンネルのヘモグロビン濃度関連値を計測し、相互相関係数Ｃｊ,ｋ（ｔ）および特徴ベクトルを算出し、算出された特徴ベクトルを自己組織化マップによってクラスタリングする。

［４．推定実行工程（脳活動状態の推定と推定結果の利用）：図１１〜図１４］
図１の例の情報処理システムでは、上記の推定準備工程の実行後、推定準備工程でのクラスタリング結果を利用して、以下のように、その時々の利用者１の脳活動状態を推定し、その推定結果に応じた処理を実行する。

（４−１．情動状態の推定：図１１〜図１３）
推定実行工程でも、画像の表示などにより利用者１に刺激を与えることによって、または利用者１に刺激を与えることなく、利用者１が情動を想起するが、一例として、推定準備工程でのクラスタリング結果として、図１１に示すように、図１０に示したマップ７１が得られている状態で、画像を表示して、利用者１に刺激を与える場合を示す。

この場合、推定準備工程で画像を表示したときと同様に、当該の画像を表示したときの冗長チャンネルを除く各計測チャンネルの酸素化ヘモグロビン濃度関連値または脱酸素化ヘモグロビン濃度関連値を計測し、図７の式（５）で表される相互相関係数Ｃｊ,ｋ（ｔ）を、冗長チャンネルを除く計測チャンネルの組合せの総数分算出し、特徴ベクトルを算出する。

さらに、マップ７１上のクラスタ７２ａ〜７２ｄから、それぞれ１つの特徴ベクトルを、例えば、当該クラスタの重心に最も近い位置の特徴ベクトル、または当該クラスタ内で最も特徴的な特徴ベクトルを、代表ベクトルとして抽出する。

具体的に、図１１において、それぞれ１つの画像を枠で囲んで示すように、クラスタ７２ａからは画像♯１７に対応する特徴ベクトルを、クラスタ７２ｂからは画像♯１０に対応する特徴ベクトルを、クラスタ７２ｃからは画像♯１３に対応する特徴ベクトルを、クラスタ７２ｄからは画像♯１５に対応する特徴ベクトルを、それぞれ代表ベクトルとして抽出する。

さらに、それぞれの代表ベクトルを教師データとし、このとき算出された特徴ベクトルを学習データとして、バックプロパゲーション・ニューラルネットワークなどの機械学習によって、学習データとしての特徴ベクトルを、それぞれの教師データとしての代表ベクトルと比較して、このときの利用者１の情動状態を推定するとともに、自己組織化マップによって、このときの学習データとしての特徴ベクトルをマップ７１上に写像し、クラスタリング結果を更新する。

したがって、例えば、推定実行工程で当該の画像として画像♯２６が表示され、そのときの学習データとしての特徴ベクトルが、ある値以下の範囲内で、画像♯１７に対応する教師データとしての代表ベクトルに最も近ければ、そのときの利用者１の情動状態は、クラスタ７２ａに属し、状態Ａ（快く感じている状態）であると判断されるとともに、そのときの学習データとしての特徴ベクトルが、クラスタ７２ａ内に写像される。

また、例えば、推定実行工程で当該の画像として画像♯５が表示され、そのときの学習データとしての特徴ベクトルが、いずれの教師データとしての代表ベクトルに対しても、ある値以下の範囲内になければ、そのときの利用者１の情動状態は、いずれのクラスタにも属さないと判断されるとともに、そのときの学習データとしての特徴ベクトルが、いずれのクラスタ内でもない領域に写像される。

情動状態の推定結果としては、いずれのクラスタに属する状態であるか、いずれのクラスタにも属さない状態であるか、という結論的な判断のほかに、各状態（各クラスタ）についての推定値が存在する。例えば、上記のように当該の画像として画像♯２６が表示されたときの推定値は、状態Ａについては１（１００％）に近く、状態Ｂ，Ｃ，Ｄについては０（０％）であるが、当該の画像として画像♯５が表示されたときの推定値は、状態Ａ，Ｂ，Ｃ，Ｄのいずれについても０である。

図１２に、推定準備工程でのクラスタリング結果の別の例と、推定実行工程での教師データ生成の態様を示す。

この例は、情動状態を、
状態Ｅ：好感触を持っている状態、
状態Ｆ：好感触も不快感も持っていない普通の状態、
状態Ｇ：不快感を持っている状態、
の３つの状態に分けて推定する場合である。

推定準備工程では、自己組織化マップによるクラスタリング結果として、図１２の左側に示すようなマップ７５が生成される。小さい○マークは状態Ｅのときの特徴ベクトルを、小さい△マークは状態Ｆのときの特徴ベクトルを、小さい×マークは状態Ｇのときの特徴ベクトルを、それぞれ示し、マップ７５上では、３つのクラスタ７６ｅ，７６ｆおよび７６ｇが形成されている。

ただし、この例は、推定準備工程では、ある画像を表示し、利用者１に刺激を与えたとき、複数の時点でヘモグロビン濃度関連値を計測し、複数の特徴ベクトルを特徴ベクトル群として算出して、クラスタリングする場合である。

そのため、この例では、推定実行工程でも、ある画像を表示し、利用者１に刺激を与えたとき、複数の時点でヘモグロビン濃度関連値を計測し、複数の特徴ベクトルを特徴ベクトル群として算出する。

さらに、推定実行工程では、クラスタ７６ｅ，７６ｆ，７６ｇの、それぞれ重心を中心とする一定範囲の領域７７ｅ，７７ｆ，７７ｇから、それぞれに写像された複数の特徴ベクトルを、それぞれ代表ベクトル群として抽出して教師データとし、そのとき算出された特徴ベクトル群を学習データとして、機械学習によって、そのときの利用者１の情動状態を推定するとともに、自己組織化マップによって、そのときの学習データとしての特徴ベクトル群をマップ７５上にクラスタリングし、クラスタリング結果を更新する。

図１２の例では、クラスタリング結果の更新によって、マップ７５は、同図の右側に示すようになる。☆マークは、このとき特徴ベクトル群として算出された複数の特徴ベクトルを示す。

すなわち、この例は、推定実行工程において、そのときの利用者１の情動状態が、クラスタ７６ｅに属し、状態Ｅ（好感触を持っている状態）であると判断されるとともに、そのときの学習データとしての特徴ベクトル群が、クラスタ７６ｅ内に写像された場合である。

図１１および図１２に示した以上のような推定実行工程は、利用者１による当該システムの利用状況に応じて、何回も繰り返し実行されるもので、次回の推定実行工程では、直前の回の推定実行工程で更新されたクラスタリング結果をもとに、新たな教師データとしての新たな代表ベクトルまたは代表ベクトル群を抽出して、そのときの利用者１の情動状態を推定するとともに、そのときの学習データとしての特徴ベクトルまたは特徴ベクトル群を写像し、クラスタリング結果を更新する。

そして、このように推定実行工程を繰り返すことによって、データの増加により、自己組織化マップ上のクラスタリング結果として汎化性の高い教師データを得ることができ、より高精度の状態推定を行うことができるようになる。

また、推定実行工程で算出された特徴ベクトルによっては、自己組織化マップ上のクラスタが分裂することもあるが、その場合には、利用者１の情動状態として、新たな種類の情動状態が出現したと判断され、その結果が以後の状態推定に生かされる。

図１３に、情報処理端末２０のＣＰＵ２１が実行する１回の推定実行工程での一連の処理の一例を示す。

この例では、利用者１が頭部に計測装置１０の計測具１２を装着した状態で、ＣＰＵ２１は、一連の処理を開始して、まずステップ８１で、画像を表示し、利用者１に刺激を与える。

次に、ステップ８２で、計測装置１０によって冗長チャンネルを除く各計測チャンネルのヘモグロビン濃度関連値（酸素化ヘモグロビン濃度関連値または脱酸素化ヘモグロビン濃度関連値）を計測し、次にステップ８３で、図７の式（５）で表される相互相関係数Ｃｊ,ｋ（ｔ）を、計測チャンネルの組合せの総数分算出し、さらにステップ８４で、特徴ベクトルを算出する。

なお、上記のように複数の時点でヘモグロビン濃度関連値を計測し、複数の特徴ベクトルを特徴ベクトル群として算出する場合には、それぞれの時点ごとに、ステップ８２〜８４の処理を繰り返し実行し、または、ステップ８２〜８４において、複数の時点の分、それぞれの処理を実行する。

次に、ステップ８５で、推定準備工程でのクラスタリング結果、または直前の回の推定実行工程で更新されたクラスタリング結果をもとに、各クラスタの代表ベクトルまたは代表ベクトル群を抽出し、さらにステップ８６で、その抽出された代表ベクトルまたは代表ベクトル群を教師データとし、ステップ８４で算出された特徴ベクトルまたは特徴ベクトル群を学習データとして、機械学習によって、そのときの利用者１の情動状態を推定する。

次に、ステップ８７で、自己組織化マップによって、学習データとしての特徴ベクトルまたは特徴ベクトル群をクラスタリングして、クラスタリング結果を更新し、さらにステップ８８に進んで、ステップ８６での推定結果に応じた処理を実行する。

（４−２．情動状態の推定結果に応じた処理）
推定実行工程で上記の方法で得られた推定結果は、一例として、情報処理端末２０の記憶装置部２４に記録されている画像や音楽などのコンテンツの検索に用いることができる。

そのためには、あらかじめ、記憶装置部２４に記録されるコンテンツに対して、それぞれのコンテンツの内容や印象を示すものとして、「喜び」や「悲しみ」など、情動状態と関連づけられる情報が、タグ情報として付属される。

ただし、利用者１が、このようなタグ情報を付属させることなく、情報処理端末２０のＣＰＵ２１が、画像や音楽のタイトルやジャンル、画像の撮影場所、音楽のテンポなど、コンテンツに付随している情報から、推定結果の情動状態に適合するか否かを判断するように構成することもできる。

具体的に、情報処理端末２０のＣＰＵ２１は、推定実行工程で、そのときの利用者１の情動状態が上記の状態Ａ（快く感じている状態）であると判断したときには、「喜び」などのタグ情報や、「結婚式」「アップテンポ」などの付随情報を有するコンテンツを検索する。

該当するコンテンツが複数存在する場合には、ＣＰＵ２１は、その中からランダムにコンテンツを選択し、または優先順位が最も高いコンテンツや視聴履歴回数が最も多いコンテンツを選択し、あるいは各コンテンツのタイトルなどを利用者１に呈示することによって利用者１にコンテンツを選択させて、コンテンツを再生する。

これによれば、利用者１は、操作入力部２５で検索のための文字入力などをすることなく、そのときの自身の情動状態に合うコンテンツを検索再生させ、視聴することができる。

（４−３．思考状態の推定および推定結果に応じた処理：図１４）
思考状態を推定する場合の推定実行工程も、上記の情動状態を推定する場合と同じである。

さらに、思考状態を推定する場合、その推定結果は、例えば、当該システムのディスプレイ３１上に表示されたカーソルやアイコンの操作に用いることができる。

具体的に、思考状態を上記の状態Ｏ，Ｐ，Ｑ，Ｒ，Ｓに分けて推定する場合、例えば、図１４に示すように、ディスプレイ３１上にアイコン９１ａ，９１ｂ，９１ｃ‥‥が表示され、アイコン９１ａ上にカーソル９２が存在しているとき、情報処理端末２０のＣＰＵ２１が、そのときの利用者１の思考状態が上記の状態Ｐ（カーソルを下に動かすことをイメージしている状態）であると判断すると、ＣＰＵ２１は、カーソル９２をアイコン９１ａ上からアイコン９１ｅ上に移動させる。

また、このようにアイコン９１ｅ上にカーソル９２が存在しているとき、ＣＰＵ２１が、そのときの利用者１の思考状態が上記の状態Ｒ（カーソルを右に動かすことをイメージしている状態）であると判断すると、ＣＰＵ２１は、カーソル９２をアイコン９１ｅ上からアイコン９１ｆ上に移動させる。

さらに、このようにアイコン９１ｆ上にカーソル９２が存在しているとき、ＣＰＵ２１が、そのときの利用者１の思考状態が上記の状態Ｓ（カーソルが位置しているアイコンを選択することをイメージしている状態）であると判断すると、ＣＰＵ２１は、アイコン９１ｆを選択して、当該のアイコン９１ｆで示されるファイルを開くなどの処理を行う。

したがって、利用者１は、操作入力部２５を構成するキーボードやマウスなどを操作することなく、希望する操作をイメージするだけで、カーソル９２を移動させ、アイコンを選択することができる。

なお、思考状態の推定結果としても、結論的な判断のほかに、各状態（各クラスタ）についての推定値が存在し、例えば、そのときの利用者１の思考状態が上記の状態Ｏ，Ｐ，Ｑ，Ｒ中のいずれかと判断される場合でも、当該状態についての推定値が相対的に高いときと相対的に低いときとがある。

そこで、この場合、結論的な判断が同じでも、その推定値が閾値を超えるときには、推定値が閾値以下であるときに比べて、例えばカーソル９２を速く移動させるような構成とすることもできる。

［５．他の実施形態または例］
（５−１．刺激について）
上述した例は、利用者１に対する刺激として静止画を表示する場合であるが、刺激として動画を表示してもよい。

ただし、１つの刺激としての動画が数１０分にも及ぶような長時間のものであるときには、そのうちの冒頭部分やクライマックス部分などの数分程度の部分のみを、または当該の動画が映画などの本編であって別に数分程度の予告編が存在するときにはその予告編の動画を、表示することが望ましい。

また、刺激として音楽などの音声を出力してもよい。例えば、刺激として音楽を出力し、推定実行工程では、そのときの利用者１の情動状態と判断された状態に適合する動画または静止画を検索し、再生表示するように構成することもできる。

そのほか、刺激として質問文などの言葉を、文字で表示し、または音声で出力してもよい。

もちろん、上述したように、利用者１に刺激を与えることなく、利用者１が自発的に情動や思考を想起するようにしてもよい。

（５−２．情報処理システムについて）
情報処理システムとしても、例えば、推定準備工程で得られたクラスタリング結果、および各回の推定実行工程で算出された特徴ベクトルまたは特徴ベクトル群を、利用者１の情報処理端末２０から、インターネットを介して、コンテンツ配信元のサーバに送信し、コンテンツ配信元のサーバにおいて、当該の利用者１に係るクラスタリング結果を登録するとともに、図１３のステップ８５〜８７で示したような、情動状態の推定およびクラスタリング結果の更新に係る処理を実行し、さらに図１３のステップ８８で示した処理として、コンテンツを検索し、コンテンツデータを情報処理端末２０に送信するように、システムを構成することもできる。

この発明の情報処理システムの一例を示す図である。 計測装置の一例を示す図である。 冗長チャンネル検出工程での計測の説明に供する図である。 冗長チャンネル検出のための計算式の一例を示す図である。 冗長チャンネル検出工程での一連の処理の一例を示す図である。 推定準備工程での計測および特徴ベクトル算出の説明に供する図である。 特徴ベクトルを構成する相互相関係数の計算式の一例を示す図である。 自己組織化マップによるクラスタリングの説明に供する図である。 推定準備工程での一連の処理の一例を示す図である。 推定準備工程でのクラスタリング結果の一例を示す図である。 図１０のクラスタリング結果が得られている状態での推定実行工程の説明に供する図である。 推定準備工程でのクラスタリング結果の別の例と推定実行工程での教師データ生成の態様を示す図である。 １回の推定実行工程での一連の処理の一例を示す図である。 思考状態の推定結果に応じた処理の一例の説明に供する図である。 自己組織化マップによる動物のクラスタリングの例を示す図である。

符号の説明

主要部については図中に全て記述したので、ここでは省略する。

Claims (11)

1. 利用者の脳表層における複数の部位を計測チャンネルとして、各計測チャンネルのヘモグロビン濃度変化量またはヘモグロビン濃度それ自体をヘモグロビン濃度関連値として計測して、上記利用者の脳活動状態を推定する方法であって、
   推定準備工程と推定実行工程とを備え、
   上記推定準備工程は、
   上記利用者が異なる脳活動状態にある複数の期間で、それぞれ各計測チャンネルのヘモグロビン濃度関連値を計測するステップと、
   その得られた各計測チャンネルのヘモグロビン濃度関連値をもとに、上記複数の期間につき、それぞれ、計測チャンネルの組合せにより選択された２チャンネルのヘモグロビン濃度関連値の間の相互相関係数を、計測チャンネルの組合せの総数分、有する特徴ベクトルを算出するステップと、
   その算出された上記複数の期間についての特徴ベクトルを、機械学習によってクラスタリングするステップとを備え、
   上記推定実行工程は、
   上記利用者が脳活動状態にあるときの、各計測チャンネルのヘモグロビン濃度関連値を計測するステップと、
   その得られた各計測チャンネルのヘモグロビン濃度関連値をもとに、計測チャンネルの組合せにより選択された２チャンネルのヘモグロビン濃度関連値の間の相互相関係数を、計測チャンネルの組合せの総数分、有する特徴ベクトルを算出するステップと、
   その算出された特徴ベクトルを学習データとし、直前のクラスタリング結果における各クラスタから代表ベクトルとして抽出した特徴ベクトルを教師データとして、機械学習を行って、そのときの上記利用者の脳活動状態を推定するとともに、上記学習データとしての特徴ベクトルをクラスタリングして、クラスタリング結果を更新するステップとを備える、
   ことを特徴とする脳活動状態推定方法。
2. 請求項１の脳活動状態推定方法において、
   さらに、上記利用者が異なる脳活動状態にある複数の期間で、それぞれ各計測チャンネルのヘモグロビン濃度関連値を計測して、その複数の期間の間でのヘモグロビン濃度関連値の変化が閾値以下となる計測チャンネルが存在するか否かを判断し、存在するときには、当該の計測チャンネルを冗長チャンネルとして登録する冗長チャンネル検出工程を備え、
   上記推定準備工程および上記推定実行工程では、上記冗長チャンネルを計測チャンネルから除いて、上記相互相関係数および上記特徴ベクトルを算出する、
   ことを特徴とする脳活動状態推定方法。
3. 請求項１の脳活動状態推定方法において、
   計測チャンネルの一部は酸素化ヘモグロビン濃度関連値を計測し、他の一部は脱酸素化ヘモグロビン濃度関連値を計測することを特徴とする脳活動状態推定方法。
4. 請求項１の脳活動状態推定方法において、
   上記相互相関係数は、シグモイド関数を乗じたものとすることを特徴とする脳活動状態推定方法。
5. 請求項１の脳活動状態推定方法において、
   上記推定準備工程および上記推定実行工程では、上記特徴ベクトルとして、それぞれ、複数の時点でのヘモグロビン濃度関連値にもとづく複数の特徴ベクトルからなる特徴ベクトル群を算出することを特徴とする脳活動状態推定方法。
6. 請求項１の脳活動状態推定方法において、
   上記推定準備工程および上記推定実行工程では、自己組織化マップによって上記特徴ベクトルをクラスタリングすることを特徴とする脳活動状態推定方法。
7. 請求項１の脳活動状態推定方法において、
   上記利用者の脳活動状態として、情動状態を推定することを特徴とする脳活動状態推定方法。
8. 請求項１の脳活動状態推定方法において、
   上記利用者の脳活動状態として、思考状態を推定することを特徴とする脳活動状態推定方法。
9. 請求項１の脳活動状態推定方法において、
   上記推定実行工程では、推定結果に応じた処理を実行することを特徴とする脳活動状態推定方法。
10. 利用者の脳表層における複数の部位を計測チャンネルとして、各計測チャンネルのヘモグロビン濃度変化量またはヘモグロビン濃度それ自体をヘモグロビン濃度関連値として計測する計測装置と、この計測装置と接続される情報処理装置とを備える情報処理システムであって、
    上記情報処理装置は、
    上記利用者が異なる脳活動状態にある複数の期間で、それぞれ上記計測装置によって得られた各計測チャンネルのヘモグロビン濃度関連値をもとに、上記複数の期間につき、それぞれ、計測チャンネルの組合せにより選択された２チャンネルのヘモグロビン濃度関連値の間の相互相関係数を、計測チャンネルの組合せの総数分、有する特徴ベクトルを算出し、その算出された上記複数の期間についての特徴ベクトルを、機械学習によってクラスタリングする推定準備工程と、
    上記利用者が脳活動状態にあるとき、上記計測装置によって得られた各計測チャンネルのヘモグロビン濃度関連値をもとに、計測チャンネルの組合せにより選択された２チャンネルのヘモグロビン濃度関連値の間の相互相関係数を、計測チャンネルの組合せの総数分、有する特徴ベクトルを算出し、その算出された特徴ベクトルを学習データとし、直前のクラスタリング結果における各クラスタから代表ベクトルとして抽出した特徴ベクトルを教師データとして、機械学習を行って、そのときの上記利用者の脳活動状態を推定するとともに、上記学習データとしての特徴ベクトルをクラスタリングして、クラスタリング結果を更新する推定実行工程と、
    を実行することを特徴とする情報処理システム。
11. 利用者の脳表層における複数の部位を計測チャンネルとして、各計測チャンネルのヘモグロビン濃度変化量またはヘモグロビン濃度それ自体をヘモグロビン濃度関連値として計測して、上記利用者の脳活動状態を推定するために、コンピュータを、
    上記利用者が異なる脳活動状態にある複数の期間で、それぞれ各計測チャンネルのヘモグロビン濃度関連値を計測するステップと、
    その得られた各計測チャンネルのヘモグロビン濃度関連値をもとに、上記複数の期間につき、それぞれ、計測チャンネルの組合せにより選択された２チャンネルのヘモグロビン濃度関連値の間の相互相関係数を、計測チャンネルの組合せの総数分、有する特徴ベクトルを算出するステップと、
    その算出された上記複数の期間についての特徴ベクトルを、機械学習によってクラスタリングするステップと、
    上記利用者が脳活動状態にあるときの、各計測チャンネルのヘモグロビン濃度関連値を計測するステップと、
    その得られた各計測チャンネルのヘモグロビン濃度関連値をもとに、計測チャンネルの組合せにより選択された２チャンネルのヘモグロビン濃度関連値の間の相互相関係数を、計測チャンネルの組合せの総数分、有する特徴ベクトルを算出するステップと、
    その算出された特徴ベクトルを学習データとし、直前のクラスタリング結果における各クラスタから代表ベクトルとして抽出した特徴ベクトルを教師データとして、機械学習を行って、そのときの上記利用者の脳活動状態を推定するとともに、上記学習データとしての特徴ベクトルをクラスタリングして、クラスタリング結果を更新するステップと、
    を実行する手段として機能させることを特徴とする脳活動状態推定用プログラム。