JP2009521246A - 精神状態の検出およびそれを用いる対話 - Google Patents

Abstract

精神状態を検出する方法は、プロセッサ内において、１つ以上の生体信号検出器から被検体の生体信号を受信するステップと、プロセッサ内において、生体信号が被検体における特定の精神状態の存在を表すか否かを判断するステップと、を含む。検出された精神状態を使用する方法は、プロセッサ内において、被検体内に精神状態が存在するか否かを表す信号を受信するステップを含む。精神状態は、感情、好み、または知覚等、非熟慮型の精神状態であってもよい。プロセッサは、これらの方法を実行するように構成されることができ、機械可読媒体にタンジブルに格納されたコンピュータプログラムプロダクトは、これらの方法をプロセッサに実行させるように動作可能な命令を有することができる。

Description

本発明は、概して、非熟慮型の精神状態の検出に関する。

人間と機械との間の対話は、通常、キーボード、ジョイスティック、またはその他の手動で動作可能なデバイス等の扱い難い入力デバイスの使用に限定される。そのようなインタフェースの使用は、予め計画された意識的なコマンドのみを提供するようにユーザの能力を限定する。

身体障害者にそのような予め計画された意識的なコマンドを提供することを支援するために、多数の入力デバイスが開発されてきた。これらの入力デバイスのいくつかは、眼球運動を検出して、または音声起動して、これらのデバイスを動作させるためにユーザに要求される身体運動を最小限に抑える。それにもかかわらず、そのような入力デバイスは、ユーザによって意識して制御および動作されなくてはならない。しかしながら、人間のアクションは、ほとんど人間が気付いていない、または意識して制御していないものによって、すなわち無意識的な心によって駆動される。無意識的に制御された通信は、人間と人間との通信においてのみ存在し、しばしば「直感」と称される。

ユーザの対話能力を改善するために、人間ユーザと、電子娯楽プラットフォームまたはその他の対話型エンティティ等の機械との間の無意識的に制御された通信を容易にする方法を提供することが望ましい。ユーザと、膨大なデータ処理リソースの使用を当該ユーザに要求することなく多数のアプリケーションに適合するよう適応可能な１つ以上の対話型エンティティとの対話の手段を提供することも望ましいであろう。１人以上のユーザと、既知の対話システムにおける１つ以上の不利点を改良または克服する１つ以上の対話型エンティティとの間の対話方法を提供することも望ましいであろう。人間−機械間の対話を簡略化する技術を提供することはさらに望ましいであろう。この技術は、ロバストかつ強力であり、人間−機械間の対話が人間ユーザにとって可能な限り自然であるように、自然で無意識的な人間の対話技術を使用することが望ましいであろう。

１つの態様において、本発明は、精神状態を検出する方法を対象とする。当該発明は、プロセッサ内において、１つ以上の生体信号検出器から被検体の生体信号を受信するステップと、プロセッサ内において、生体信号が被検体における特定の精神状態の存在を表すか否かを判断するステップと、を含む。

本発明の実装は、以下の特徴のうち１つの以上を含み得る。特定の精神状態は、感情、好み、知覚、生理的状態、または健康状態等、非熟慮型の精神状態であってもよい。プロセッサから、特定の精神状態が存在するか否かを表す信号が生成され得る。生体信号は、脳波（ＥＥＧ）信号を含んでもよい。生体信号を異なる表現に変換することができ、当該異なる表現の１つ以上の特徴を表す値を判断し、当該値を精神状態符号と比較することができる。非熟慮型の精神状態の存在を判断するステップは、実質的に精神状態符号の較正を行うことなく実行され得る。受信するステップおよび判断するステップは、実質的にリアルタイムで発生し得る。

別の態様において、本発明は、検出された精神状態を使用する方法を対象とする。当該方法は、プロセッサ内において、被検体内に精神状態が存在するか否かを表す信号を受信するステップを含む。

本発明の実装は、以下の特徴のうちの１つ以上を含み得る。特定の精神状態は、感情、好み、知覚、生理的状態、または健康状態等、非熟慮型の精神状態であってもよい。信号を格納してもよく、または、その信号に基づいて環境を修正するためにアクションを選択してもよい。標的感情を表すデータを格納し、標的感情に対する被検体の感情反応を変更することが予測される環境変数への変更を、プロセッサによって決定し、環境変数の変更を生じさせてもよい。標的感情が喚起されたか否かは、当該感情が被検体内に存在するか否かを表す信号に基づいて判断され得る。標的感情を喚起する際に環境変数の有効性を表す重み付けを格納し、変更を決定する際に当該重み付けを使用してもよい。当該感情が存在するか否かを表す信号に基づく学習エージェントを用いて、重み付けを更新してもよい。環境変数は、物理的環境または仮想環境において発生し得る。

別の態様において、本発明は、機械可読媒体にタンジブルに格納されたコンピュータプログラムプロダクトであって、上述した方法をプロセッサに実行させるように動作可能な命令を備えるプロダクトを対象とする。別の態様において、本発明は、上述した方法を実行するように構成されたプロセッサを有するシステムを対象とする。

別の態様において、本発明は、精神状態を検出および使用する方法を対象とする。当該方法は、１つ以上の生体信号検出器を用いて被検体の生体信号を検出するステップと、生体信号を第１のプロセッサへ導くステップと、第１のプロセッサ内において、生体信号が被検体における特定の精神状態の存在を表すか否かを判断するステップと、特定の精神状態が存在するか否かを表す信号を第１のプロセッサから生成するステップと、第２のプロセッサにおいて信号を受信するステップと、信号を格納する、または当該信号に基づいて環境を修正するステップと、を含む。

別の態様において、本発明は、１つ以上の生体信号検出器と、当該１つ以上の生体信号検出器から生体信号を受信し、生体信号が被検体における特定の精神状態の存在を示すか否かを判断し、当該特定の信号が存在するか否かを表す信号を生成するように構成された第１のプロセッサと、信号を受信し、当該信号を格納する、または当該信号に基づいて環境を修正するように構成された第２のプロセッサと、を備える装置を対象とする。

別の態様において、本発明は、ユーザと環境との対話方法を対象とする。当該方法は、ユーザからの１つ以上の生体信号を受けて、所定の精神状態の存在を検出および分類するステップと、ユーザの感情反応に影響を及ぼす１つ以上の環境変数を選択するステップと、選択された環境変数を変更するための１つ以上のアクションを実行し、それによってユーザの感情反応を変更するステップとを含む。

添付の図面および以下の説明において、本発明の１つ以上の実施形態に関する詳細を説明する。説明および図面から、ならびに特許請求の範囲から、本発明のその他の特徴、目的、および利点が明らかになるであろう。

種々の図面における類似の参照符号は、類似の要素を示す。

本発明は、概して、ユーザから機械への通信に関する。特に、被検体の精神状態を検出および分類し、この精神状態を表すための信号を生成して機械へ導くことができる。本発明はまた、概して、１人以上のユーザと機械によって制御された対話環境との無意識に制御された通信を使用する、対話方法にも関する。本発明は、電子娯楽プラットフォームまたはユーザがリアルタイムで対話を行うその他のプラットフォームにおける使用に適しており、当該例示的な、しかし限定的でない用途に関連して本発明を説明することは、好都合であろう。

図１に戻ると、被検体の熟慮型または非熟慮型の精神状態を検出および分類し、これらの精神状態を表す信号を生成するためのシステム１０が示されている。一般に、非熟慮型の精神状態は、主観的性質の随意活動を欠く精神状態である。これらの非熟慮型の精神状態は、無意識的な心と呼ばれる場合があるが、この文脈において無意識的とは意識して選択されないことを示し、非熟慮型の精神状態は、（必ずというわけではないが）意識的に経験し得るものであることを理解すべきである。対照的に、熟慮型の精神状態は、被検体が、あるタスク、画像、または意図された経験に集中している場合に発生する。

非熟慮型の精神状態には、感情、好み、知覚、生理的状態、および健康状態を含む、システム１０によって検出され得るいくつかのカテゴリがある。「感情」は、興奮、喜び、恐怖、悲しみ、倦怠感、およびその他の感情を含む。「好み」は、概して、観察した何らかのものへ向かう、またはそれから離れる傾向（例えば、好き嫌い）として現れる。「知覚」は、喉の渇き、痛み、およびその他の身体感覚を含み、当該感覚を取り除く、または強化するために、対応する衝動を伴ってもよい。「生理的状態」は、心拍数、体温、および発汗等の身体生理機能を実質的に直接制御する脳の状態を指す。「健康状態」は、身体的疾病の原因、症状または副作用であるが、従来は知覚とも生理的状態とも関連付けられていない脳の状態をいう。てんかんの発作は、健康状態の一例である。ある人が緑内障を有する場合に、脳が後頭葉において視覚情報を処理する態様は、健康状態の別の例である。当然ながら、いくつかの非熟慮型の精神状態は、これらのカテゴリのうち１つを超えるものに分類される場合もあり、または、これらのカテゴリのいずれにも合致しない場合もあることを理解すべきである。

システム１０は、２つの主要コンポーネント、被検体２０によって着用または携行される神経生理学的信号取得デバイス１２と、精神状態検出エンジン１４とを含む。手短に説明すると、神経生理学的信号取得デバイス１２は被検体２０からの生体信号を検出し、精神状態検出エンジン１４は、これらの生体信号を、被検体における特定の精神状態の存在（および選択的に強度）を表す信号に変換する１つ以上の検出アルゴリズム１１４を実装する。精神状態検出エンジン１４は、検出アルゴリズム１１４を実行する少なくとも１つのプロセッサを含み、当該プロセッサは、ソフトウェア命令によってプログラムされた汎用デジタルプロセッサ、または、例えばＡＳＩＣ等の特殊プロセッサであってもよい。特にソフトウェア実装の場合、精神状態検出エンジン１４は、複数のコンピュータにおいて動作する分散システムであってもよいことを理解すべきである。

動作中、精神状態検出エンジンは、事実上リアルタイムで精神状態を検出することができ、例えば非熟慮型の精神状態について、待ち時間は５０ミリ秒未満となることが予測される。これは、例えば、検出された精神状態に基づいて修正されている仮想環境内のアバターにより、遅延にフラストレーションを感じることなく、人対人の対話に十分な速度によって精神状態の検出を可能にし得る。熟慮型の精神状態の検出は、これより若干遅く、例えば数百ミリ秒未満であるが、人間対機械間の対話におけるユーザのフラストレーションを回避するには十分な速さである。

精神状態検出エンジン１４は、アプリケーションプログラミングインタフェース（ＡＰＩ）等のインタフェースによって、精神状態を表す信号を使用するシステム３０に連結される。システム３０は、被検体２０の精神状態に関するデータを要求するシステム１０へのクエリを生成し、当該被検体の精神状態を表す入力信号を受信し、これらの信号を使用することができる、アプリケーションエンジン３２を含む。したがって、精神状態検出アルゴリズムの結果は、所定の非熟慮型の精神状態の入力信号代表として、システム３０へ導かれる。選択的に、システム３０は、被検体がさらされる環境３４を制御することができ、被検体の精神状態を表す信号を使用して、環境３４を修正するために実行するイベントを決定することができる。例えば、システム３０は、標的感情を表すデータを格納することができ、当該標的感情を喚起するように環境３４を制御することができる。あるいは、当該システムは、主としてデータ収集用に使用されてよく、被検体の精神状態に関する情報を格納し、ユーザ（被検体ではない場合がある）に対して人間可読形式で表示することができる。システム３０は、エンジン３２に連結されたローカルデータストア３６を含んでもよく、例えばインターネット等のネットワークに連結されてもよい。エンジン３２は、少なくとも１つのプロセッサを含んでもよく、当該プロセッサは、ソフトウェア命令によってプログラムされた汎用デジタルプロセッサ、または、例えばＡＳＩＣ等の特殊プロセッサであってもよい。また、システム３０は、複数のコンピュータにおいて動作する分散システムであってもよいことを理解すべきである。

神経生理学的信号取得デバイス１２は、被検体から種々の生体信号、特に、脳波（ＥＥＧ）信号、眼電図（ＥＯＧ）信号、筋電図（ＥＭＧ）信号等、身体によって作り出された電気信号を検出することができる生体信号検出器を含む。しかしながら、システム１０によって計測および使用されるＥＥＧ信号は、例えば０．３〜８０Ｈｚ等、ＥＥＧのために習慣的に記録される周波数範囲外の信号を含み得ることに留意すべきである。概して、システム１０は、被検体からの電気信号、特にＥＥＧ信号のみを使用して、かつ、心拍数モニタ、血圧モニタ等によって得られるような、心拍数、血圧、呼吸または電気皮膚反応等のその他の生理的過程を直接計測することなく、精神状態（熟慮型および非熟慮型の両方）の検出が可能であると考えられる。また、検出および分類され得る精神状態は、例えば覚醒している場合または一種の睡眠状態（レム睡眠またはノンレム睡眠の段階等）にある場合、従来ＥＥＧ信号を使用して計測される、被検体の脳活動の全体的な相関よりも特異的である。例えば、興奮等の特定の感情、または、オブジェクトをプッシュまたはプルするコマンド等の特定の意図したタスクが検出され得る。

例示的な実施形態において、神経生理学的信号取得デバイスは、被検体２０の頭部に取り付けられるヘッドセットを含む。ヘッドセットは、被検体またはユーザからＥＥＧ信号を捕捉するための一連の頭皮電極を含む。これらの頭皮電極は、頭皮に直接接触してもよいし、あるいは、頭皮上への直接設置を必要としない非接触型のものであってもよい。高解像度の３Ｄ脳スキャンを提供するシステム、例えばＭＲＩまたはＣＡＴスキャン等とは異なり、ヘッドセットは概して携帯型かつ非制約型である。

一連の頭皮電極により、頭皮全体において検出される電気的変動は、大部分が頭蓋骨上またはその付近に位置する脳組織の活動に起因するものである。ソースは大脳皮質の電気的活動であり、そのかなりの部分は、頭皮の下にある脳の外面上に並んでいる。頭皮電極は、脳によって自然に作り出された電気信号を拾い、脳の表面全体にわたって電気的刺激を観察することを可能にする。

図２は、ヘッドセットの一部を形成する頭皮電極の位置決めの一例を示す。図２に示す電極設置は、「１０−２０」システムと称され、電極位置と、その下にある大脳皮質のエリアとの関係に基づくものである。電極設置システム２００上の各点は、考えられる頭皮電極の位置を示す。各面には、負荷および数を識別するための文字、または、半球位置を識別するためのその他の文字が示されている。文字Ｆ、Ｔ、Ｃ、Ｐ、および０は、前頭骨（Ｆｒｏｎｔａｌ）、側頭部（Ｔｅｍｐｏｒａｌ）、中頭部（Ｃｅｎｔｒａｌ）、頭骨頭頂部（Ｐａｒｉｅｔａｌ）、および後頭部（Ｏｃｃｉｐｉｔａｌ）を表す。偶数は右半球を指し、奇数は左半球を指す。文字Ｚは、正中線上に設置された電極を指す。正中線は、ナジオンから始まり、頭部の背後にあるイニオンで終わる、矢状面上の頭皮に沿った線である。「１０」および「２０」は、正中線分割のパーセンテージを指す。正中線は、７つの位置、すなわちナジオン、Ｆｐｚ、Ｆｚ、Ｃｚ、Ｐｚ、Ｏｚ、およびイニオンに分割され、隣接する位置間の角度間隔は、それぞれ正中線長さの１０％、２０％、２０％、２０％、２０％、および１０％である。

この例示的な実施形態において、ヘッドセットは３２本の頭皮電極を含むが、その他の実施形態では、異なる数および異なる設置の頭皮電極を含んでもよい。例えば、ヘッドセットは、基準電極と接地電極に加え、１６本の電極を含んでもよい。

図１Ａに戻ると、精神状態を検出および分類するためのシステムと、精神状態を表す信号を使用するシステムを含む外部デバイス１５０とを含む、装置１００が示されている。装置１００は、ヘッドセット１０２からの信号から、被検体の精神状態を検出および分類するための処理電子機器１０３とともに、上述したようなヘッドセット１０２を含む。

ヘッドセット１０２によって検出された信号のそれぞれは、信号強度を高めるための増幅器とノイズを除去するためのフィルタとを含み得るセンサインタフェース１０４を介して送り込まれ、続いてアナログ／デジタル変換器１０６によってデジタル化される。頭皮センサのそれぞれによって捕捉された信号のデジタル化されたサンプルは、後続の処理のため、装置１０３の動作中にデータバッファ１０８内へ格納される。装置１００は、処理システム１０９に望ましい機能ステップを実行させるために、デジタルシグナルプロセッサ（ＤＳＰ）１１２と、コプロセッサ１１０と、別名コンピュータプログラムまたはコンピュータ制御論理として知られている、一連の命令を格納するための関連メモリと、を含む処理システム１０９をさらに含む。コプロセッサ１１０は、入出力インタフェース１１６を介して、無線２．４ＧＨｚデバイス、ＷｉＦｉもしくはＢｌｕｅｔｏｏｔｈデバイス、または８０２．１ｌｂ／ｇデバイス等の伝送デバイス１１８に接続される。伝送デバイス１１８は、装置１００を外部デバイス１５０に接続する。

とりわけ、メモリは、所定の非熟慮型の精神状態を検出および分類するための、デジタルシグナルプロセッサ１１２によって実行される少なくとも１つのアルゴリズム１１４を定義する、一連の命令を含む。一般に、ＤＳＰ１１２は、ノイズを除去するためにデジタル信号処理を実行し、当該信号を「展開する」ために被検体の皮質の特定形状から変換し、変換された信号に対して感情検出アルゴリズムを実行する。感情検出アルゴリズムは、分類および較正目的で、特定の被検体に適応するニューラルネットワークとして動作することができる。感情検出アルゴリズムに加え、ＤＳＰは、熟慮型の精神状態用、および、まばたき、ウィンク、微笑み等の表情用の検出アルゴリズムも格納することができる。

コプロセッサ１１０は、デバイス側のアプリケーションプログラミングインタフェース（ＡＰＩ）として機能し、その他の機能の中でも、伝送デバイス１１８を動作させるために無線通信プロトコル等の通信プロトコルスタックを実行する。特に、コプロセッサ１１０は、被検体における感情等の、特定の非熟慮型の精神状態の存在または強度に関するクエリ等、外部デバイス１５０から受信したクエリを処理および優先順位付けする。コプロセッサ１１０は、特定のクエリをＤＳＰ１１２への電子コマンドに変換し、ＤＳＰ１１２から受信したデータを外部デバイス１５０への応答に変換する。

この実施形態において、精神状態検出エンジンはソフトウェア内で実装され、一連の命令は処理システム１０９のメモリ内に格納される。当該一連の命令は、本願に記載の発明の機能を処理システム１０９に実行させる。その他の実施形態において、精神状態検出エンジンは、例えば、特定用途向け集積回路（ＡＳＩＣ）等のハードウェアコンポーネントを使用して、またはソフトウェアおよびハードウェア両方の組み合わせを使用して、主にハードウェア内に実装されることができる。

外部デバイス１５０は、汎用コンピュータまたはゲーム機等のプロセッサを有し、一種の感情等、所定の非熟慮型の精神状態の有無を表す信号を使用する機械である。外部デバイスが汎用コンピュータである場合、当該デバイスは一般に、被検体の精神状態を表す入力信号を受信するために、被検体の精神状態に関するデータを要求する、装置１００へのクエリを生成するためのエンジンとして作用する１つ以上のアプリケーション１５２を実行することになる。アプリケーション１５２は、例えば実環境または仮想環境等の環境を修正することによって、ユーザの精神状態を表すデータに応答することもできる。したがって、ユーザの精神状態は、ゲームシステムまたはその他のアプリケーション（シミュレータまたはその他の対話環境を含む）用の制御入力として使用され得る。

精神状態を表す信号を受信し、それに応答するシステムは、ソフトウェア内において実装されることができ、一連の命令はデバイス１５０のメモリ内に格納され得る。その他の実施形態において、精神状態を表す信号を受信しそれに応答するシステムは、例えば、特定用途向け集積回路（ＡＳＩＣ）等のハードウェアコンポーネントを使用して、またはソフトウェアおよびハードウェア両方の組み合わせを使用して、主にハードウェア内に実装されることができる。

装置１００のその他の実装が可能である。デジタルシグナルプロセッサの代わりに、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）を使用してもよい。別個のデジタルシグナルプロセッサとコプロセッサではなく、単一のプロセッサによって処理機能を実行することができる。バッファ１０８は、削除またはマルチプレクサ（ＭＵＸ）と置換することができ、データは、処理システムのメモリ内に直接格納されることができる。ＭＵＸは、必要とされるのが単一のＡ／Ｄ変換器のみとなるよう、Ａ／Ｄ変換器段階の前に設置されてもよい。装置１００とプラットフォーム１２０との間の接続は、無線ではなく有線であってもよい。

図１Ａでは精神状態検出エンジンを単一のデバイスとして示しているが、その他の実装も可能である。例えば、図１Ｂに示すように、当該装置は、ヘッドセット、ＭＵＸ、ＭＵＸの前または後ろにＡ／Ｄ変換器１０６、無線伝送デバイス、電源用の電池、および、電池使用を制御する、ＭＵＸまたはＡ／Ｄ変換器から無線チップへデータを送信する等のためのマイクロコントローラを含む、ヘッドセットアセンブリ１２０を含む。Ａ／Ｄ変換器１０６等は、ヘッドセット１０２上に物理的に位置付けられてもよい。当該装置は、ヘッドセットアセンブリからデータを受信するための無線受信機と、例えばＤＳＰ１１２およびコプロセッサ１１０等の処理システムとを含む別個のプロセッサユニット１２２であってもよい。プロセッサユニット１２２は、外部デバイス１５０のＵＳＢ入力に接続するケーブル１２４等の有線または無線接続によって、外部デバイス１５０に接続され得る。この実装は、ヘッドセットに付着した部分の数およびその結果として生じる重量を削減しながら無線ヘッドセットを提供するために有利となり得る。

別の例として、図１Ｃに示すように、専用デジタルシグナルプロセッサ１１２がデバイス１７０に直接統合される。デバイス１７０は、アプリケーション１１４を実行するための汎用デジタルプロセッサ、または被検体の非熟慮型の精神状態に関する情報を使用するアプリケーション固有のプロセッサも含む。この場合、精神状態検出エンジンの機能は、ヘッドセットアセンブリ１２０と、アプリケーション１５２を実行するデバイス１７０との間に散在する。さらに別の例として、図１Ｄに示すように、専用ＤＳＰがなく、代わりに精神状態検出アルゴリズム１１４が、アプリケーション１５２を実行するものと同じプロセッサによって、汎用コンピュータ等のデバイス１８０において実行される。この最後の実施形態は、特に精神状態検出アルゴリズム１１４およびアプリケーション１５２の両方をソフトウェアで実装するのに適合し、一連の命令はデバイス１８０のメモリ内に格納される。

動作中、システム２００に従って配置された頭皮電極を含むヘッドセット１０２は、ＥＥＧ信号を検出するために、被検体の頭部に設置される。図３は、それらのＥＥＧ信号の捕捉中に装置１００によって行われる一連のステップおよび処理システム１０９によって行われる後続のデータ準備作業を示す。

ステップ３００において、ＥＥＧ信号が捕捉され、続いて、アナログ／デジタル変換器１０６を使用してデジタル化される。データサンプルは、データバッファ１０８に格納される。ヘッドセット１０２によって検出されるＥＥＧ信号は、多種多様な性質を有し得るが、説明を目的として、典型的な性質は以下の通りであるとする。振幅１０〜４０００μＶ、周波数範囲０．１６〜２５６Ｈｚ、およびサンプリングレート１２８〜２０４８Ｈｚ。

ステップ３０２において、データサンプルは後続の分析のために調節される。データサンプルから排除されることが望ましい、考えられるノイズ源は、信号収集、格納、および取り出しのときに導入された外部干渉を含む。ＥＥＧ信号では、外部干渉の例として、５０／６０Ｈｚのパワー線信号と、ＥＥＧ取得ハードウェア内にあるスイッチング回路に源を発する高周波ノイズとを含む。この調節ステップにおいて行われる典型的な動作は、ハイパスフィルタによるベースラインの除去である。ヘッドセット１０２から低品質の信号が検出された場合、データサンプルが収集されないことを確実にするために、さらなる確認が実行される。信号品質情報は、訂正措置を取るのを補助するために、ユーザへ送り返される。

続いて、信号干渉を除去するためにアーチファクト除去ステップ３０４が行われる。この例において、ＥＥＧ信号は、ユーザの頭皮上にある多数の位置における電位の計測結果から成る。これらの信号は、いくつかの「信号源」ｓ_ｍの観察結果ｘ_ｎのセットとして表されることができ、ここで、ｎ∈［１：Ｎ］、ｍ∈［１：Ｍ］、ｎはチャネルインデックス、Ｎはチャネルの数、ｍはソースインデックス、Ｍはソースの数である。ｓ_ｍとｘ_ｎとの間の関係を説明する伝達関数ＦおよびＧのセットが存在する場合、いずれのソースまたはコンポーネントが観察結果ｘ_ｎおよびそれらの性質に対して明確な影響を有するかを、あるレベルの信頼度で識別することができる。ｘ_ｎの振幅に対して最大の影響を有するコンポーネントを発見するために、独立成分分析（ＩＣＡ）等の異なる技術が、装置１００によって適用される。これらのコンポーネントは、多くの場合、パワー線ノイズ、信号脱落、および筋肉等の干渉、まばたき、ならびに眼球運動アーチファクトに由来するものである。

ＥＥＧ信号は、ステップ３０６、３０８、および３１０において、ヘッドセット１０２のユーザにおける精神状態の検出および分類を容易にする、異なる表現に変換される。

ステップ３０６において、データサンプルは、第１にエポック内で等しい長さの時間セグメントに分割される。図５に示す例示的な実施形態では、エポック内に等しい継続時間の時間セグメントが７本あるが、別の実施形態では、時間セグメントの数および長さは変更され得る。さらに、別の実施形態において、時間セグメントは、等しい継続時間のものでなくてもよく、また、エポック内で重複していてもいなくてもよい。各エポックの長さは、アーチファクト除去または符号更新等の、検出システム内におけるイベントに応じて動的に変動し得る。しかしながら一般に、エポックは、精神状態に変化が発生した場合、当該変化を確実に検出できるような、十分に長いものが選択される。図５は、ヘッドセット１０２内にある３２本の電極から検出されたＥＥＧ信号のグラフである。３つのエポック５００、５０２、および５０４が示されており、それぞれユーザの精神状態における変化の発現の前後に２秒ずつを有している。一般に、イベント前のベースラインは２秒に限定され、一方、イベント後の部分（感情反応を含有するＥＥＧ信号）は、検出されている現在の感情に応じて変動する。

処理システム１０９は、エポック５００、５０２、および５０４を時間セグメントに分割する。図５に示す例において、エポック５００は１秒間のセグメント５０６〜５１８に分割され、当該セグメントのそれぞれは０．５秒だけ重複している。４秒間のエポックは、結果として７つのセグメントをもたらす。

続いて、処理システム１０９は、ステップ３０８および３１０において、各ＥＥＧ信号表現のうちの１つ以上の特徴を表す値がステップ３１２において計算および照合され得るよう、ＥＥＧ信号を異なる表現に変換するために作用する。例えば、各時間セグメントおよび各チャネルについて、ＥＥＧ信号は、時間領域（時間関数としての信号強度）から周波数領域（周波数関数としての信号強度）に変換され得る。例示的な実施形態において、ＥＥＧ信号は、それぞれ０．１６および２５６Ｈｚの低および高遮断周波数によって、（周波数領域への変換中に）帯域通過する。

別の例として、ＥＥＧ信号は、１次導関数に近似する微分領域（時間関数としての信号強度における限界的変化）に変換されてもよい。周波数領域を差動領域（周波数関数としての信号強度における限界的変化）に変換してもよいが、これには、異なる時間セグメントからの周波数スペクトルの比較が必要となる場合がある。

ステップ３１２において、各ＥＥＧ信号表現のうちの１つ以上の特徴を表す値を計算（または、変換によってスカラ値が生成された場合、前のステップから収集）することができ、被検体の精神状態の多次元的表現を提供するために、種々の値を集合させることができる。ＥＥＧ信号の変換された表現から計算される値に加えて、いくつかの値が元のＥＥＧ信号から計算され得る。

特徴の値の計算例として、周波数領域において、複数の周波数帯域のそれぞれにおける総信号パワーが計算され得る。本願に記載の例示的な実施形態においては、以下の周波数範囲とともに、７つの周波数帯域が使用される。δ（２〜４Ｈｚ）、θ（４〜８Ｈｚ）、α１（８〜１０Ｈｚ）、α２（１０〜１３Ｈｚ）、β１（１３〜２０Ｈｚ）、β２（２０〜３０Ｈｚ）、およびγ（３０〜４５）。これらの周波数帯域のそれぞれにおける信号パワーが計算される。また、チャネルまたは帯域の種々の組み合わせについて、信号パワーを計算することもできる。例えば、すべての周波数帯域にわたる各空間チャネル（各電極）の合計信号パワーを測定することができ、または、すべてのチャネルにわたる所与の周波数帯域の合計信号パワーを測定することもできる。

本発明のその他の実施形態において、周波数帯域の数および範囲のいずれも、とりわけ用いられる特定のアプリケーションまたは検出方法に応じて、例示的な実施形態と異なっていてもよい。また、周波数帯域は重複していてもよい。さらに、実成分、位相、ピーク周波数、または平均周波数等、総信号パワー以外の特徴を、各周波数帯域の周波数領域表現から計算することができる。

この例示的な実施形態において、信号表現は、時間領域、周波数領域、および空間領域内にある。複数の異なる表現をｘ^ｎ _ｉｊｋとして示すことができ、ここで、ｎ、ｉ、ｊ、ｋはそれぞれ、エポック、チャネル、周波数帯域、およびセグメントインデックスである。これらのパラメータを表す典型的な値は、以下の通りである。

ｉ∈［１：３２］３２の空間的に区別可能なチャネル（Ｆｐ_１〜ＣＰｚ参照）
ｊ∈［１：７］７の区別可能な周波数帯域（δ〜γ参照）
ステップ３１０〜３１２において行われる動作は、多くの場合、多数の状態変数を作り出す。例えば、７つの周波数帯域を使用して、３２のチャネルから成る２つの４秒間エポックの相関値を計算することで、次式のような百万を超える状態変数が求められる。

^３２Ｃ_２×７^２×７^２＝１１９０８９６
種々の異なる変換領域からの広範な特徴とともに、個々のＥＥＧ信号および異なるセンサからのＥＥＧ信号の組み合わせを使用することができるため、処理システム１０９によって分析される次元の数は極めて大きい。精神状態を検出および分類する際には、皮質の全体またはかなりの部分およびすべての特徴が考慮されることから、この膨大な数の次元は、処理システム１０９が広範な精神状態を検出することを可能にする。

ステップ３１２で処理システム１０９によって計算されるその他の一般的な特徴は、各チャネルにおける信号パワーと、各チャネル内の各周波数帯域におけるパワーの限界的変化と、異なるチャネル間における相関／コヒーレンスと、各周波数帯域におけるパワーの限界的変化間における相関とを含む。これらの特性間での選定は、区別することが望ましい精神状態の種類次第である。一般に、短期的な感情爆発の場合には限界特性がより重要となり、一方、長期的な精神状態では、その他の特性がより重要である。

ＥＥＧ信号を異なる表現に変換し、ＥＥＧ信号表現の種々の特徴を表す値を計測するために、種々の技術を使用することができる。例えば、ステップ３０８において、処理システム１０９により、高速フーリエ変換（ＦＦＴ）およびバンドパスフィルタリング等、従来の周波数分析技術を行うことができ、一方、ステップ３１０において、信号コヒーレンスおよび相関の計測を行うことができる（後者の場合、コヒーレンスまたは相関値は、ステップ３１２において照合され、精神状態の多次元的表現の一部となることができる）。異なるチャネル間の相関／コヒーレンスが計算されると仮定すると、これは、例えば空間コヒーレンス／相関領域（電極対の関数としてのコヒーレンス／相関）等の領域とみなされる場合もある。例えば、その他の実施形態では、ステップ３１０において、ウェーブレット変換、動的システム分析、またはその他の線形もしくは非線形の数学的変換が使用され得る。

ＦＦＴは、２Ｎ_２から２Ｎｌｏｇ_２ＮまでのＮ個のデータポイントに必要な演算の数を削減する離散フーリエ変換の効率的なアルゴリズムである。時間領域におけるデータチャネルをＦＦＴを通過させると、複素周波数領域における当該データセグメントの記述を生成する。

コヒーレンスは、２つの異なる時系列の間における連関または結合の量の尺度である。したがって、周波数帯域Ｃ_ｎにおいて、２つのチャネルａとｂとの間でコヒーレンス演算を行うことができ、ここで、周波数ｆμについてのチャネルａおよびｂのフーリエ成分は、ｘａ_μおよびｘｂ_μである：
したがって、周波数帯域ω_ｎにおいて、２つのチャネルａとｂとの間でコヒーレンス演算を行うことができ、ここで、周波数ｆ_uのチャネルａおよびｂのフーリエ成分はｘ_ａμおよびｘ_ｂμである：

相関は、２つの異なる時系列の間における連関または結合の量を評価するためにコヒーレンスの代替となるものである。上記コヒーレンスの部分と同じ仮定に対して、相関ｒ_ａｂは、２つのチャネルｘ_ａ（ｔ_ｉ）とｘ_ｂ（ｔ_ｉ）との間でコヒーレンス演算を行うことができ、以下のように定義される。

ここで、ｘ_ａｉおよびｘ_ｂｉは、共通のバンドパスフィルタリング１０１０が既に適用されている。

図４は、好ましくはリアルタイムで行われ、続いて処理システム１０９によって行われる、種々のデータ処理作業を示す。ステップ４００において、ユーザの精神状態を分類するために、各信号表現の１つ以上の特徴について計算された値を、処理システム１０９のメモリ内に格納された１つ以上の精神状態符号と比較する。各精神状態符号は、所定の精神状態の指標となる基準特徴値を定義する。

計算された特徴値のパターンを精神状態符号と一致させるために、処理デバイス１０９によって多数の技術が使用され得る。信号表現が、格納されている符号に対応する精神状態の指標となるものであるか否かを分類するために、多層パーセプトロンニューラルネットワークを使用することができる。処理システム１０９は、ｎ個の入力を有する標準的なパーセプトロン、ｍ個の隠れノードの１つ以上の隠れ層、およびｌ個の出力ノードを有する出力層を使用することができる。出力ノードの数は、処理システムが独立した精神状態をいくつ認識しようと試みているかによって決定される。また、使用されるネットワークの数は、検出されている精神状態の数によって変動し得る。ニューラルネットワークの出力ベクトルは、以下のように表現することができる。

ここで、

はｍ×（ｎ＋１）の重み行列、

はｌ×（ｍ＋１）の重み行列（重み行列における追加列は、バイアス項の追加を可能にする）であり、

は入力ベクトルである。Ｆ_１およびＦ_２は、別の列ベクトルを作り出すために列ベクトルの成分に別々に作用する活性化関数であり、

は出力ベクトルである。活性化関数は、入力によってノードがどのように活性化されるかを判断する。処理システム１０９は、シグモイド関数を使用する。その他の可能性として、双曲正接関数、さらには１次関数がある。重み行列は、再帰的にまたは一度にすべてのいずれかで決定され得る。

未知のサンプルセットの、既知のものとの類似性を測定するための距離計測は、ニューラルネットワークの代替技術として使用され得る。修正されたマハラノビス距離、標準化されたユークリッド距離、および投影距離等の距離を使用して、計算された特徴値と、種々の精神状態符号によって定義された基準特徴値との間の類似性を測定し、それによって、ユーザの精神状態がそれらの符号のそれぞれをいかによく反映しているかを示すことができる。

精神状態符号および重み付けは、予め定義され得る。例えば、いくつかの精神状態について、（例えば、被験者における精神状態を意図的に喚起し、結果として生じる符号を計測することによって）特定の符号が生み出されると、この符号をメモリにロードして特定のユーザによって較正することなく使用することができるような人間集団全体で、符号は十分に均一である。他方、いくつかの精神状態について、予め定義された符号を使用することができない、または被検体による限定された満足でのみ使用することができるような人間集団全体で、符号は十分に均一ではない。そのような場合、以下で論じるように、装置１００により（例えば、ユーザが何らかの結果に対して意図的な努力をすることを要求し、結果として生じる符号を計測することによって）特定のユーザについての符号（および重み付け）が生成され得る。当然ながら、いくつかの精神状態について、被験者から予め決定された符号および／または重み付けの精度は、特定のユーザの較正によって改善され得る。例えば、特定のユーザについて非熟慮型の精神状態の主観的強度を較正するために、当該ユーザは、特定の精神状態を作り出すことが予測される刺激にさらされる場合があり、結果として生じる生体信号は予め定義された符号と比較される。精神状態の強度に関してユーザがクエリを受け、結果として生じるユーザからのフィードバックが重み付けを調整するために適用される場合がある。また、格納された多次元的表現の範囲の統計解析によって、較正が実行される場合がある。熟慮型の精神状態を較正するために、ユーザは、何らかの結果に対して意図的な努力をすることを要求される場合があり、結果として生じる精神状態の多次元的表現は、符号または重み付けを調整するために使用され得る。

装置１００は、ユーザの種々の精神状態を表す符号指標を生成および更新するように適応されることもできる。ステップ４０２において、ステップ３００〜３１０で生成されたＥＥＧ信号の、複数の異なる表現のデータサンプルが、好ましくは装置１００のすべてのユーザについて、処理システム１０９によってメモリ内に保存される。このようにして、処理デバイス１０９に、装置１００のユーザ１人以上について精神状態検出の精度を漸次改善させることができる、データサンプルの進化型データベースが作成される。

ステップ４０４において、異なる精神状態を特徴付ける上で、特徴のそれぞれがいかに重要であるかを判断するために、１つ以上の統計的技術が適用される。異なる座標には、それらがどの程度異なっているかに基づく評価が与えられる。処理システム１０９によって実装される技術では、脳の領域または異なる精神活動中に活性化するＥＥＧ信号からの脳波周波数をハイライトするために仮説検定処理を使用する。単純化したレベルでは、このアプローチは一般に、定義された期間からのデータサンプルのセットを前提として、ＥＥＧ信号の表現について何らかの平均化された（平均）パワー値が他と異なるか否かを判断することを伴う。そのような「平均差」検定は、すべての信号表現について、処理システム１０９により実行される。

好ましくは、処理システム１０９は、活性化における差異を検索するために、一対のスチューデントのＴ検定と組み合わせて、分散分析（ＡＮＯＶＡ）のＦ比率検定を実装する。Ｔ検定は、２つの群に関する一方向ＡＮＯＶＡ検定と機能的に同等であるが、分析される平均差の方向（すなわち、精神状態１の平均値が精神状態２の平均値よりも大きいか、その逆であるか）の計測も可能にする。スチューデントのＴ検定を表す一般的公式は、以下の通りである。

Ｔ式の下半分において分母を作っている「ｎ」は、分子内で対照をなしている平均を構成する特定の精神状態について記録された時系列の数（すなわち、更新中に記録された、重複している、または重複していないエポックの数）である。

その結果生じたｔ値は、一般に分析される何千もの特徴について重要性レベルを判断するための、特徴空間の次元の評価を含む種々の手法において、処理システム１０９によって使用される。特徴は、線形または非線形スケールで、またはバイナリ方式で、ある重要性のレベルを満たさないこれらの特徴を除去することによって、重み付けされ得る。

符号更新中に何千もの仮説検定から生成されるｔ値の範囲を使用して、当該更新中に検出された精神状態がどの程度隔てられているかについての全体的な表示をユーザに与えることができる。ｔ値は、２つのアクションについての特定の平均隔たりを表示するものであり、すべての座標にわたるｔ値の範囲は、座標のすべてが平均していかに隔たっているかに関する距離関数を提供する。

上述した技術は、処理システム１０９が各個別座標についての分析を同時に実行することから単変量アプローチと称され、それらの個々のｔ検定またはＡＮＯＶＡ検定の結果に基づいて特徴選択決定を行う。ステップ４０６において、質量単変量アプローチの使用による確率誤差の可能性の増大を調整するための、補正がなされ得る。この目的に適した統計的技術は、次の多重度補正方法：Ｂｏｎｆｅｒｒｏｎｉ、Ｆａｌｓｅ Ｄｉｓｃｏｖｅｒｙ Ｒａｔｅ、ａｎｄ Ｄｕｎｎ Ｓｉｄａｋを含む。

代替的なアプローチは、処理システム１０９が、座標間のあらゆるポテンシャル共分散を明らかにするであろう質量多変数仮説検定で、すべての座標を同時に分析することである。したがって処理システム１０９は、判別関数分析および多変量分散分析（ＭＡＮＯＶＡ）等の技術を用いることができ、当該技術は、多変数方式で特徴空間を選択するための手段を提供するだけでなく、リアルタイム環境において未知の信号表現を実際に分類するために、分析中に作成された固有値を使用することも可能にする。

ステップ４０８において、処理システム１０９は、特定の精神状態を検出する上で最大の重要性を有する座標が所与の優先順位となるよう座標に重み付けすることによって、入力リアルタイムデータを分類する準備を行う。これは、適応重み付け前処理、ニューラルネットワークトレーニング、または統計的重み付けを適用することによって行われ得る。

処理システム１０９内のメモリに格納された符号は、ステップ４１０において更新または較正される。更新プロセスは、進化型データベースに追加されるデータサンプルを採取することを伴う。このデータは、特定の精神状態を検出するように誘発される。例えば、意図的な努力の精神状態を更新するために、ユーザは、当該意図的な努力に集中するように指示され、信号データサンプルはデータベースに追加され、当該検出のための符号を修正するために処理システム１０９によって使用される。符号が存在する場合、検出は、当該検出を定義する符号を更新するためのフィードバックを提供することができる。例えば、ユーザがオブジェクトを押し退けさせるための符号の改善を希望する場合、既存の検出を使用して、符号が更新された際にフィードバックを提供することができる。そのシナリオにおいて、ユーザには、検出が改善し、更新プロセスに強化を提供していることが分かる。

ステップ４１２において、教師付き学習アルゴリズムは、ステップ４１０から更新データを動的に採取し、それを記録されたデータサンプルの進化型データベースと組み合わせて、更新された精神状態を表す符号を改善する。符号は、初めは空であってもよいし、基準または汎用開始符号を形成するために組み合わせられている場合があるその他のユーザからの履歴データを使用して準備されてもよい。

ステップ４１４において、更新された精神状態を表す符号は、ステップ４１６における符号フィードバック評価だけでなく精神状態分類（ステップ４００）にも利用可能となる。ユーザが所与の精神状態を表す符号を生み出した場合、精神状態検出がいかに進歩しているかを反映したリアルタイムでの評価が利用可能である。したがって、装置１００は、符号の進歩を経時的に観察できるようにするためのフィードバックをユーザに提供することができる。上記の考察では、特定の精神状態の有無を判断することに焦点を置いた。しかしながら、当該特定の精神状態の強度を測定することも可能である。強度は、変換された信号のユーザから符号までの「距離」を計測することによって測定され得る。距離が大きくなるほど、強度は低くなる。ユーザが経験した主観的強度までの距離を、強度スケールに較正するために、ユーザは、精神状態の強度に関してクエリを受ける場合がある。結果として生じるユーザからのフィードバックは、重み付けを調整するために適用されて、距離を強度スケールまで較正する。

前述のことから、装置１００は有利にも、符号のオンライン作成をほぼリアルタイムで可能にすることが十分理解されるであろう。ユーザの精神状態の検出および符号の作成は数分以内に達成されることができ、続いて、当該精神状態を表すユーザの符号が更新されると、経時的に微調整される。これは、対話型アプリケーションにおいて極めて重要となる場合があり、その場合、経時的な漸進的改善だけでなく、短期的結果も重要である。

前述のことから、装置１００は有利にも、予め生成された符号（予め定義されたものか特定のユーザについて作成されたものかにかかわらず）を有する精神状態の検出をリアルタイムで可能にすることも十分に理解されるであろう。したがって、ユーザにおける特定の精神状態の有無、または当該特定の精神状態の強度を検出することは、リアルタイムで達成され得る。

さらに、予め定義する必要がない精神状態について符号を作成することができる。装置１００は、予め定義された精神状態および予め定義された刺激によって誘発された精神状態だけでなく、記録された精神状態も分類することができる。

それぞれの、かつすべての人間の脳は、微妙に異なっている。主要な脳回（隆線）および溝（陥凹）等の肉眼で見える構造が一般的であるが、これらの一般化がなされ得るのは最大スケールの形態にある場合においてのみである。皮質の複雑で細かなひだは、指紋のように個別的である。ひだにおけるこの変動は、脳の異なる部分を異なる個人における頭蓋骨に近づけてしまう。

そのため、頭皮上で組み合わせて計測した場合、電気的刺激は個人間で異なる。これは、頭皮上で記録されたＥＥＧが、必然的に人により異なって解釈されることを意味する。歴史的に、ＥＥＧ計測による制御の手段を個人に提供することを目標とするシステムは、多くの場合において使用されるシステムの、そし常にユーザによる、広範囲のトレーニングを必要としてきた。

本明細書に記載の精神状態検出システムは、多くの空間エリアにわたる膨大な数の特徴の次元、周波数範囲、およびその他の次元を利用することができる。符号を作成および更新する際、システムは、特定の精神状態を区別するための能力によって特徴をランク付けし、それによって、所与の精神状態における脳の活動をよりうまく捕捉することができるそれらの特徴をハイライトする。ユーザによって選択された特徴は、特定の精神状態を区別することが可能な頭皮上で計測された電気信号の性質を反映しており、したがって、ユーザの特定の皮質における信号が、頭皮上でどのように現れているかを反映している。つまり、特定の精神状態を識別するユーザの個々の電気信号は、識別され符合内に格納されている。これにより、ＥＥＧの個人差を補償するアルゴリズムを用いて、数分以内でのリアルタイムの精神状態の検出または生成が可能になる。

ここでシステム３０に戻ると、図６は、精神状態を表す信号を使用するシステムの実施形態である、プラットフォーム６００の概略表現図を示す。プラットフォーム６００は、ソフトウェアとして、ハードウェア（例えば、ＡＳＩＣ）として、またはハードウェアとソフトウェアの組み合わせとして実装され得る。プラットフォームは、１人以上の被検体からの、所定の非熟慮型の精神状態、例えば異なる感情反応の入力信号代表を受信するように適応される。図６において、第１のユーザからの感情反応の入力信号代表は入力１〜入力ｎとして参照され、第１の入力デバイス６０２において受信され、一方、第２のユーザからの感情反応の対応する入力信号代表は第２の入力デバイス６０４によって受信され扱われる。入力ハンドラ６０６は、１人または複数の被検体からの感情反応の複数の入力代表を扱い、ニューラルネットワークまたはその他の学習エージェント６０８にとっての各入力の取り扱いを容易にする。さらに、プラットフォーム６００は、例えばセンサまたはメモリ等のさらなるデバイス６１０から、一連の環境入力を受信するように適応される。これらの環境入力は、現在の状態の代表、または１人以上の被検体に何らかの手法で影響を与える環境変数の値である。環境変数は、室内の温度または照明条件等の物理的環境、または電子娯楽環境における被検体−アバター間の対話性質等の仮想環境において発生し得る。入力ハンドラ６１２は、被検体が知覚した環境変数の入力代表を処理し、学習エージェント６０８による環境入力の取り扱いを容易にするように作用する。

一連の重み付け６１４は、プラットフォーム６００によって維持され、被検体入力ならびに入力ハンドラ６０６および６１２によって提供された環境入力の処理の際に、学習エージェント６０８によって使用される。出力ハンドラ６１６は、被検体によって知覚され得る選択された環境変数を変更する複数の可能なアクションを行わせるように適応された出力デバイス６１８に、学習エージェント６０８によって提供された、１つまたは複数の出力信号を扱う。

図７に示すように、ステップ７００において、ヘッドセット１０２が取り付けられた被検体のうちの１人以上の、所定の非熟慮型の精神状態、例えば感情反応が検出および分類される。検出される感情反応は、喜び、恐怖、悲しみ、またはその他任意の無意識的に選択された感情反応であってもよい。

プラットフォーム６００内に維持されている重み付け６１４は、それぞれ被検体において特定の感情を喚起する上での環境変数の有効性の代表であり、特定の感情に対するユーザの感情反応をもたらすためにはいずれのアクション６１８を実行すべきか選択するため、また選択されたアクションのそれぞれによって引き起こされる、選択された環境変数における相対的変化を測定するために、学習エージェント６０８によって使用される。

各被検体は、問題になっている特定の対話環境と対話しているため、重み付けは、アクション６１８のそれぞれによってもたらされた環境変数における変化に対する各被検体の感情反応性にしたがって、学習エージェント６０８により更新される。

したがって、ステップ７０２において、被検体内で標的感情反応を喚起する上で最も有効であると考えられるアクションを実行させるために、対話環境内において変更されることができる環境変数に適用され得る可能なアクション４１８に、学習エージェント４０８によって重み付け６０４が適用される。例えば、特定のアプリケーションは、悲しみの感情反応を除去するという目標を有する場合がある。したがって、特定の被検体について、喜び、平静さ、安らぎ、または類似する肯定的感情の感情反応を喚起する可能性が高い、音楽をかける、被検体がいる室内の照明レベルを上げる等の選択アクションに、重み付けが適用される。

ステップ７０４において、学習エージェント６０８および出力ハンドラ６１６は、選択されたアクション６１８を実行に移させることにより、被検体によって知覚される環境変数に変化をもたらす。ステップ７０６において、ユーザの感情反応は、ここでも、各被検体のＥＥＧ信号における感情反応の存在、ならびにプラットフォーム６００において検出された感情を代表する出力信号６０２および４０４の受信を検出および分類することによって監視される。学習エージェント６０８は、各被検体の感情状態における相対的変化を観察し、ステップ７０８において、当該被検体の感情反応を最適化する上でのそれらの有効性に応じ、重み付けを更新する。

図６に示す例において、プラットフォーム６００は、ローカル対話環境において動作する。図８は、リモート環境およびネットワーク化された環境の両方において動作する代替プラットフォーム８００を示す。１人以上の被検体の対応する検出された感情反応および環境変数の状態または値を処理すること、ならびにローカル対話環境において選択された環境変数を変更するためにアクションに重み付けを適用することに加え、学習エージェント６０８は、被検体のうち１人以上によって知覚される、選択された環境変数を変更するためにアクション８０６を実行できるようにする目的で、インターネット等のデータネットワーク８０４を介してリモート出力ハンドラ８０２と相互接続されている。例えば、ゲーム環境において、アクション６１８は、ユーザのローカルゲーム機またはパーソナルコンピュータ等のローカル対話環境において行われてよく、一方、アクション８０６は、リモートゲーム機またはパーソナルコンピュータにおいて行われてよい。ネットワーク化されたゲーム機を伴うシナリオにおいて、第１の被検体はフラストレーションの感情を経験しており、学習エージェント６０８は、別の被検体が使用しているリモートゲーム機において、ローカル被検体が経験しているフラストレーションのレベルを低減し得る所定のパラメータを変更するために、当該リモートゲーム機においてアクションを行わせることができる。

さらに別の変形を図９に示す。同図に示すプラットフォーム７９０は、ネットワーク化された環境またはリモート対話環境が学習エージェント６０８による１つ以上の環境変数の変更に支配されないよう、ネットワーク８０４と出力ハンドラ８０２との間に余分の学習エージェントまたはプロセッサ９０２が設けられていることを除いて、図６のプラットフォーム８００と同一であるが、ローカル環境条件および／またはプロセッサ９０２が相互接続され得るその他１つ以上の対話環境からの矛盾する入力を考慮するために、何らかのローカルインテリジェンスが設けられている。

本発明の実施形態および本明細書に記載した機能動作のすべては、デジタル電子回路において、または本明細書で開示した構成手段およびその構成均等物を含む、コンピュータソフトウェア、ファームウェア、もしくはハードウェアにおいて、またはそれらの組み合わせにおいて、実装され得る。本発明の実施形態は、１つ以上のコンピュータプログラムプロダクト、すなわち、情報担体内においてタンジブルに具現化された１つ以上のコンピュータプログラムとして、例えば、機械可読ストレージデバイスにおいて、または、例えばプログラマブルプロセッサ、コンピュータ、もしくは複数のプロセッサもしくはコンピュータ等のデータ処理装置によって実行するための、もしくはその動作を制御するための、伝播信号において実装され得る。コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、またはコードとしても知られている）は、コンパイラ型またはインタープリタ型言語を含むあらゆる形のプログラミング言語で書き込まれることができ、スタンドアロンプログラムとして、またはモジュール、コンポーネント、サブルーチン、もしくはコンピュータ環境での使用に適したその他のユニットとしてのものを含むあらゆる形で配備されることができる。コンピュータプログラムは、必ずしもファイルに対応していない。プログラムは、その他のプログラムもしくはデータを保持しているファイルの一部、問題になっているプログラム専用の単一ファイル、または複数の協調ファイル（例えば、１つ以上のモジュール、サブプログラム、またはコードの一部を格納しているファイル）内に格納され得る。コンピュータプログラムは、１つのコンピュータまたは１つのサイトにある複数のコンピュータにおいて実行されるように、または複数のサイトに分配されて通信ネットワークにより相互接続されるように配備されることができる。

本明細書に記載したプロセスおよび論理の流れは、入力データに動作し出力データを生成することによって機能を実行するための１つ以上のコンピュータプログラムを実行する、１つ以上のプログラマブルプロセッサによって実行され得る。当該プロセスおよび論理の流れは、例えばＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）等の特殊用途の論理回路によって実行されてもよく、装置はそれらの論理回路として実装されてもよい。

本発明の多数の実施形態について説明した。それでもやはり、本発明の精神と範囲を逸脱することなく、種々の修正形態がなされ得ることが理解されるであろう。

例えば、精神状態検出エンジン１１４から情報を「プル」するためにインタフェースを介してクエリするという状況で本発明を説明したが、精神状態検出エンジンは、インタフェースを介してシステム３０へ情報を「プッシュ」するように構成されてもよい。

別の例として、システム１０は、心拍数、血圧、呼吸、および電気抵抗（ガルバニック皮膚反応またはＧＳＲ）等、被検体のその他の生理的作用の直接計測ができる追加センサを選択的に含んでもよい。いくつかのそのようなセンサ、ガルバニック皮膚反応を計測するためのセンサをヘッドセット１０２自体に組み込んでよい。そのような追加センサからのデータを使用して、非熟慮型状態の検出を検証または較正することが可能である。

したがって、その他の実施形態は、特許請求の範囲内である。

図１は、非熟慮型の精神状態、例えば感情等、精神状態を検出および分類するためのシステムであって、検出された精神状態を使用するシステムと、被検体との対話を示す概略図である。 図１Ａは、感情等の非熟慮型の精神状態等の精神状態を検出および分類するための装置の概略図である。 図１Ｂ〜１Ｄは、図１Ａに示す装置の変形である。 図１Ｂ〜１Ｄは、図１Ａに示す装置の変形である。 図１Ｂ〜１Ｄは、図１Ａに示す装置の変形である。 図２は、生体信号検出器の位置を、図１に示す装置において使用されるヘッドセットの一部を形成する頭皮電極の形で示す概略図である。 図３および４は、精神状態の検出および分類中に、図１に示す装置によって実行される大まかな機能ステップを示すフローチャートである。 図３および４は、精神状態の検出および分類中に、図１に示す装置によって実行される大まかな機能ステップを示すフローチャートである。 図５は、図１の装置によって処理された生体信号およびそれらの生体信号の変換をグラフ表示したものである。 図６は、環境変数を制御するために検出された感情を使用するための、プラットフォームの概略図である。 図７は、図１に示す装置およびプラットフォームの、使用時におけるハイレベルな機能性を示すフローチャートである。 図８および図９は、図４に示すプラットフォームの２つの変形である。 図８および図９は、図４に示すプラットフォームの２つの変形である。

Claims (27)

1. 精神状態を検出する方法であって、
   プロセッサ内において、１つ以上の生体信号検出器から被検体の生体信号を受信することと、
   該プロセッサ内において、該生体信号が該被検体における特定の精神状態の存在を表すか否かを判断することと
   を含む、方法。
2. 前記特定の精神状態は、非熟慮型の精神状態を含む、請求項１に記載の方法。
3. 前記非熟慮型の精神状態は、感情、好み、知覚、生理的状態、または健康状態である、請求項２に記載の方法。
4. 前記特定の精神状態が存在するか否かを表す、前記プロセッサからの信号を生成することをさらに含む、請求項１に記載の方法。
5. 前記生体信号は脳波計（ＥＥＧ）信号を含む、請求項１に記載の方法。
6. 判断することは、前記生体信号を異なる表現に変換することを含む、請求項１に記載の方法。
7. 判断することは、前記異なる表現のうちの１つ以上の特徴に対する値を計算することを含む、請求項６に記載の方法。
8. 判断することは、前記値を精神状態符号と比較することを含む、請求項７に記載の方法。
9. 前記特定の精神状態は非熟慮型の精神状態を含み、該非熟慮型の精神状態の存在を判断することは、前記精神状態符号の較正を実質的に行うことなく実行される、請求項８に記載の方法。
10. 受信することおよび判断することは、実質的にリアルタイムで発生する、請求項１に記載の方法。
11. 機械可読媒体にタンジブルに格納されたコンピュータプログラムプロダクトであって、請求項１〜１０のいずれかに記載の方法をプロセッサに実行させるように動作可能な命令を備える、プロダクト。
12. 請求項１〜１０のいずれかに記載の方法を実行するように構成されたプロセッサを備える、システム。
13. 検出された精神状態を使用する方法であって、
    プロセッサ内において、被検体内に精神状態が存在するか否かを表す信号を受信することを含む、方法。
14. 前記特定の精神状態は、非熟慮型の精神状態を含む、請求項１３に記載の方法。
15. 前記非熟慮型の精神状態は、感情、好み、知覚、生理的状態、または健康状態である、請求項１４に記載の方法。
16. 前記信号を格納することをさらに含む、請求項１３に記載の方法。
17. 前記信号に基づいて、環境を修正するためのアクションを選択することをさらに含む、請求項１３に記載の方法。
18. 前記非熟慮型の状態は感情であり、前記方法は、
    標的感情を表すデータを格納することと、
    前記プロセッサを用いて、被検体の感情反応を該標的感情に変更することが予測される環境変数への変更を決定することと、
    該環境変数への該変更を引き起こすことと
    を含む、請求項１３に記載の方法。
19. 前記標的感情が前記被検体内に存在するか否かを表す信号に基づいて、前記感情が喚起されたか否かを判断することをさらに含む、請求項１８に記載の方法。
20. 前記標的感情を喚起する際に、前記環境変数の有効性を表す重み付けを格納することと、前記変更を決定する際に、該重み付けを使用することとをさらに含む、請求項１９に記載の方法。
21. 前記感情が存在するか否かを表す前記信号に基づく学習エージェントを用いて、前記重み付けを更新することをさらに含む、請求項２０に記載の方法。
22. 前記環境変数は、身体環境または仮想環境において発生する、請求項１３に記載の方法。
23. 機械可読媒体にタンジブルに格納されたコンピュータプログラムプロダクトであって、請求項１３〜２２のいずれかに記載の方法をプロセッサに実行させるように動作可能な命令を備える、プロダクト。
24. 請求項１３〜２２のいずれかに記載の方法を実行するように構成されたプロセッサを備える、システム。
25. 精神状態を検出および使用する方法であって、
    １つ以上の生体信号検出器を用いて被検体の生体信号を検出することと、
    該生体信号を第１のプロセッサへ導くことと、
    該第１のプロセッサ内において、該生体信号が該被検体における特定の精神状態の存在を表すか否かを判断することと、
    該特定の精神状態が存在するか否かを表す信号を該第１のプロセッサから生成することと、
    第２のプロセッサにおいて該信号を受信することと、
    該信号を格納するか、または該信号に基づいて環境を修正することと
    を含む、方法。
26. １つ以上の生体信号検出器と、
    該１つ以上の生体信号検出器から生体信号を受信し、該生体信号が被検体における特定の精神状態の存在を示すか否かを判断し、該特定の精神状態が存在するか否かを表す信号を生成するように構成された第１のプロセッサと、
    該信号を受信し、該信号を格納するか、または該信号に基づいて環境を修正するように構成された第２のプロセッサと
    を備える、装置。
27. ユーザと環境との対話の方法であって、
    該ユーザからの１つ以上の生体信号に応答して、所定の精神状態の存在を検出および分類することと、
    該ユーザの感情反応に影響を及ぼす１つ以上の環境変数を選択することと、
    該選択された環境変数を変更するための１つ以上のアクションを実行し、それによってユーザの該感情反応を変更することと
    を含む、方法。

Images