JP2021511567A - 高速、正確、且つ直感的なユーザ対話のための適合を伴う脳−コンピュータインタフェース - Google Patents

Abstract

本明細書に記載する実施形態は、人間−マシン対話の高速度及び高精度を得るように戦略的に設計されるユーザインタフェース／ユーザエクスペリエンスを提示し更新しながら、追加の情報源を提供する追加のセンサを有する又は有さない、脳活動を追跡する脳−コンピュータインタフェースの実装に使用するためのシステム、装置、及び方法に関する。本明細書に記載する実施形態は、神経信号を使用してマシン及び装置のユーザ操作を仲介する、ハードウェアに依存しない脳−コンピュータインタフェースの実装にも関する。

Description

関連出願の相互参照
[0001] 本願は、参照によりその開示の全体を本明細書に援用する、２０１８年１月１８日に出願され「高速、正確、且つ直感的なユーザ対話のための適合を伴う脳−コンピュータインタフェース（Brain-Computer Interface with Adaptations for High-Speed, Accurate, and Intuitive User Interactions）」と題された米国仮特許出願第６２／６１８，８４６号の優先権及び利益を主張する。

背景
[0002] 本明細書に記載する実施形態は、リアルタイムの眼球運動及び／又は頭部動作追跡を脳活動追跡と統合して、人間−マシン対話の高速度及び高精度を得るように戦略的に設計されるユーザインタフェース（ＵＩ）又はユーザエクスペリエンス（ＵＸ）を提示し更新する、脳−コンピュータインタフェースの実装に使用するためのシステム、装置、及び方法に関する。本明細書に記載する実施形態は、リアルタイムの視標追跡及び神経活動のオンライン分析を使用してマシンのユーザ操作を仲介する、ハードウェアに依存しない脳−コンピュータインタフェースの実装にも関する。

[0003] 脳−コンピュータインタフェース（ＢＣＩ）は、結線された脳と外部装置との間の直接通信路を用いて脳活動単独でコンピュータ又は外部装置を制御できるようにするハードウェア及びソフトウェア通信システムである。ＢＣＩは、脳信号を解釈することにより動作中のマシン及びアプリケーションへのアクセスを直接提供するための支援技術として主に設計されている。ＢＣＩ開発の主な目的の１つは、他者との効果的なコミュニケーションが極めて困難であり得る筋萎縮性側索硬化症、脳幹卒中、又は脊髄損傷等の神経学的な神経筋疾患によって完全に麻痺し又は「固定」された重度障害者にコミュニケーション能力を与えることである。

[0004] 脳コンピュータインタフェースの一部の既知の実装形態は、Farwell及びDonchinによって設計されたもの等のスペラを含む。このスペラでは、アルファベットの２６文字が他の幾つかの記号及びコマンドと共に、無作為に点滅する行及び列を有する６×６行列内で画面上に表示される。ユーザは画面に注意を集中し、書こうとする文字に連続的に意識を置く一方、シグネチャ神経脳信号に関して脳の神経反応がモニタされる。検出されると、シグネチャ脳信号はシステムが所望の記号を識別することを可能にする。このFarwell-Donchinスペラは、人が１分当たり約２文字の速度でスペルすることを可能にする。

[0005] ＢＣＩシステムは、マウス及びキーボード等の従来の入出力インタフェースを必要とすることなしに、身体的に能力がある人でさえコンピュータ若しくは他のデータ処理マシン及び／又はソフトウェアアプリケーションを操作することを支援し強化するように設計することができる。ＢＣＩは、従来の入力方法よりもコンピュータとの直感的且つ自然な対話のためのインタフェースを提供することもできる。加えてＢＣＩは、人間及び動物の認知体系及び／又は感覚運動体系及びそれらの機能を増強すること、修復すること、並びにマップし調査することを含む他の多くの機能を提供するように開発することもできる。ＢＣＩの一部の応用は、とりわけワードプロセッサ、適応ウェブブラウザ、脳による車椅子又は神経プロテーゼの制御、及びゲームを含む。

概要
[0006] 眼球運動及び脳活動を追跡してユーザの注視又は注目のリアルタイムの位置決め及び所望のアクションの選択／活性化を仲介するための、ハードウェアに依存しない統合型動眼神経ハイブリッド脳コンピュータインタフェース（ＢＣＩ）プラットフォームの様々な実施形態のためのシステム、装置、及び方法を本明細書に記載する。本開示は、高速度及び高精度で動作する脳コンピュータインタフェースの需要に対処するための統合型ＢＣＩシステムを提示する。

図面の簡単な説明
[0007]一実施形態による、ハイブリッド脳コンピュータインタフェースシステムの概略図である。 [0008]ＢＣＩ装置の一実施形態を使用して１つの刺激アイコンを選択／選択解除するためのポインティング制御機能及びアクション制御機能の実装形態の一例における一連のステップの説明図である。 [0009]選択肢を提示する間のＵＩ／ＵＸを示す。 [0009]ポインティング制御機能の実施後のＵＩ／ＵＸを示す。 [0009]アクション制御機能の実施後のＵＩ／ＵＸを示す。 [0010]一実施形態による、アイトラッカ及び神経記録ヘッドセットを装着したユーザを示す。 [0011]図３Ｄに示すアイトラッカ及び神経記録ヘッドセットによって取得された信号の例を示す。 [0011]図３Ｄに示すアイトラッカ及び神経記録ヘッドセットによって取得された信号の例を示す。 [0012]一実施形態による、ＢＣＩ装置で使用される分類器の一例による信号分析の説明図である。 [0013]一実施形態による、ユーザの意図を明らかにするために脳コンピュータインタフェース装置内のプロセッサがたどる動作フローの一例を示す。 [0014]刺激グループ（例えばタググループ点滅）の一例を提示する、ＢＣＩシステム、スペラのＵＩ／ＵＸの一例を示す。 [0015]一実施形態によるＢＣＩシステムを使用し、ユーザが意図する標的タグ又は刺激を含む刺激（又はタググループ）、及び含まない刺激（又はタググループ）を提示することに応じて取得された神経信号の例を示す。 [0016]一実施形態によるＢＣＩシステムを使用し、タググループ点滅を繰り返し提示することに応じて様々な脳領域から取得された脳信号の例を示す。 [0017]ＢＣＩシステムの一実施形態によって取得された脳活動信号の説明図を示す。 [0018]一実施形態による、ＢＣＩシステム内の分類器による脳活動信号の分析の一例を示す。 [0019]一実施形態による、ＢＣＩシステムにおいて対象となる標的又はタグを決定する方法の一例を示す流れ図である。 [0020]一実施形態による、ＢＣＩシステムを実装する際に使用されるユーザの関心のある標的又はタグを決定するために使用される分析方法の一例を示す。 [0020]一実施形態による、ＢＣＩシステムを実装する際に使用されるユーザの関心のある標的又はタグを決定するために使用される分析方法の一例を示す。 [0021]一実施形態による、ＢＣＩシステムにおいて対象となるタグを決定する方法の一例の概略的な流れ図を示す。 [0022]一実施形態による、対象となるタグを決定するために使用されるタグ間の距離に依存する関係を示す、可視タグ又は可視記号を有するＵＩ／ＵＸの一例を示す。 [0023]一実施形態による、標的タグを決定するために使用される、近くのタグによって誘発される脳信号活動間の距離に依存する関係を示す。 [0023]一実施形態による、標的タグを決定するために使用される、近くのタグによって誘発される脳信号活動間の距離に依存する関係を示す。 [0024]一実施形態による、ＢＣＩシステムにおいて対象となる標的又はタグを決定する方法の一例を示す流れ図である。 [0025]一実施形態による、対象となるタグを決定する際のタグに関連するスコアの距離に基づくスケーリング方法の一例の概略的な流れ図を示す。 [0026]一実施形態による、対象となるタグを決定する際にスコアの距離に基づくスケーリングを組み込む方法の一例の概略的な流れ図を示す。 [0027]一実施形態による、ＢＣＩシステムにおいて対象となる標的又はタグを決定する方法の一例を示す流れ図である。 [0028]一実施形態による、眼球運動信号に基づいて視覚スコアを生成する手続きの一例の概略的な流れ図を示す。 [0029]一実施形態による、様々なセンサからの信号を組み込む対象となるタグを決定する方法の一例を示す流れ図である。 [0030]一実施形態による、標的タグを決定するために様々なセンサからの信号の分析を組み合わせる手続きの一例の流れ図を示す。

詳細な説明
[0031] 本明細書に記載する実施形態は、人間−マシン対話の高速度及び高精度を得るように戦略的に設計されるユーザインタフェース（ＵＩ）又はユーザエクスペリエンス（ＵＸ）をユーザに提示する間に記録される脳活動を分析する脳−コンピュータインタフェース（ＢＣＩ）の実装に使用するためのシステム、装置、及び方法に関する。本明細書に記載する実施形態は、神経脳信号の分析を使用してインタフェース、装置、及び／又はマシンのユーザ操作を仲介する、ハードウェアに依存しない脳−コンピュータインタフェースの実装にも関する。

[0032] ＢＣＩ技術が患者により適したものになり、一般公衆にとって有用なものになり、現実世界の作業を制御する際に使用されるようになるには、現在の実装と比較して自然な対話のペースに適合するように情報の転送速度を改善しなければならず、誤り率を減らさなければならず、対話インタフェースの複雑さを最低限に抑えなければならない。加えて、ＢＣＩの応用はユーザの高い認知的負荷を要求し、従って現実世界へと静かな実験室環境から離れるようにＵＩ／ＵＸ及び基礎を成す信号処理を改善する必要がある。ＢＣＩの装置及び応用をより容易且つ直感的であるように構成するために、高速度及び高精度で動作して自然な直感的プロセスによるユーザ仲介アクション選択を可能にする、脳マシンインタフェースの実装における改善された装置及び技法が求められている。

ＢＣＩシステム
[0033] 本明細書で説明するように、ＢＣＩは脳活動単独で又は脳活動を動眼活動若しくは運動神経（例えばＥＭＧ）活動等の他の活動と組み合わせてコンピュータ又は外部装置を制御できるようにするハードウェア及びソフトウェア通信システムである。ＢＣＩシステムは、インタフェースによる刺激の表示、インタフェース上のユーザの注目箇所を位置決めするためのハードウェア機器、脳活動を記録し処理するための装置、及びインタフェースの制御を行うための機器を含み、インタフェースの制御はユーザの環境を制御することになり得る。これらの標準機能は（１）ポインティング制御機能、（２）アクション制御機能、及び（３）ユーザインタフェース／ユーザエクスペリエンス（ＵＩ／ＵＸ）機能として特徴付けることができる。ポインティング制御機能は、制御するための１つ又は複数のマニピュレータの小さなセットまでユーザが絞り込むことを可能にするマウスポインタ等の従来のポインティング装置と類比で説明することができる。アクション制御機能は、ユーザがアクションを実施してＵＩ／ＵＸの変更、ひいては接続されたマシンの変更を生じさせることを可能にする、アクション（例えば選択、選択解除等）、例えばマウスのクリック又はキーボード上のキーストロークを仲介する装置と類比で説明することができる。ＢＣＩシステムにおけるＵＩ／ＵＸ機能は、選択メニュー、ナビゲーション制御等を提供するような他の機能に加えて、ポインティング制御機能及びアクション制御機能を実装する環境を作成し維持するオペレーティングシステムと類比で説明することができる。

[0034] アクション制御機能によって実行されるアクションは多くのもののうちの１つとすることができ、様々な装置又はマシンを制御するように設計されるＵＩ／ＵＸの様々なバージョンに合うように適合され得る。幾つか例を挙げると、アクションは活性化又は非活性化、ＵＩ／ＵＸの連続的な変更又は半連続的な変更であり得る。とりわけ例えばスクロール、ホバリング、又はピンチ、ズーム、チルト、回転、スワイプである。アクションは、強調表示等の不連続的な開始及び停止を用いてＵＩ／ＵＸの急激な変更を生じさせることもできる。ＵＩ／ＵＸによるアクション制御の他の一部の例は仮想キーボード制御、チェックボックス、ラジオボタン、ドロップダウンリスト、リストボックス、トグル、テキストフィールド、検索フィールド、ブレッドクラムナビゲータ、スライダ、メニューナビゲーション、オブジェクト又は項目を配置及び配置解除するアクション、オブジェクト又は項目を移動させるアクション、オブジェクトを拡大し及び／又は縮小するアクション、一人称観察者又はプレーヤの移動又はナビゲーション、観察者の視点の変更、及びグラビング、ピッキング、又はホバリング等のアクションを含み得る。アクション制御のこれらの側面の幾つかを以下で開示する。

[0035] ＢＣＩシステムを実装する一部の実施形態では、ポインティング制御機能及びユーザの注目箇所を識別するための方法がＵＩ／ＵＸを操作することによって、及び／又はユーザの注目箇所に関する情報を与え得る脳信号を使用することによって実装され得る。本明細書に記載するＢＣＩシステムの一部の実施形態では、ポインティング制御機能及びユーザの注目箇所を識別することが、眼球運動追跡装置及び／又は頭部動作追跡装置、又は他の身体動作追跡装置若しくは体位追跡装置を含むことができる。更に他の実施形態では、ポインティング制御機能を実装するために、脳信号、視標追跡信号、筋電図（ＥＭＧ）信号等の運動神経信号、及びＵＩ／ＵＸの戦略的操作の組み合わせを同時に（例えばＢＣＩシステム）又は個々に使用することができる。上述の信号に加えて、ハイブリッド又はその他のＢＣＩシステムは様々な周辺センサからの他の信号（例えば頭部位置追跡信号）をモニタし使用することもできる。一部の実施形態では、ハイブリッド又はその他のＢＣＩシステムは、動眼信号又は神経活動信号と統合可能なＥＭＧ信号を記録するための筋電計（ＥＭＧ）を任意選択的に含むことができる。

[0036] 一部の実施形態では、アクション制御機能及びユーザの意図を識別するための方法が脳内の神経信号のモニタする任意の適切な形態を含むことができる。かかる形態は、例えば電気撮像法、又は光学撮像法、又は磁気撮像法による脳撮像を含み得る。例えば一部の実施形態では、ＢＣＩシステムは、ユーザの脳信号をＢＣＩコマンドに変換する増幅器及びプロセッサを介して伝えられる脳活動の神経信号を記録する電極を使用することができる。一部の実施形態では、ＢＣＩシステムは脳活動に基づくマシン制御を実施する洗練されたＵＩ／ＵＸを実装することができる。以下で説明するように、ＢＣＩシステムとの人間の対話の高速度及び高精度を実現するためにこれらの特徴の１つ又は複数に対する特定の適応を実装することができる。例えば一部の実施形態では、ＢＣＩシステムは、参照によりその開示を全て本明細書に援用する、２０１７年８月２５日に出願され「高速視標追跡機能を有する脳−コンピュータインタフェース（Brain-computer interface with high-speed eye tracking features）」と題された米国特許出願第６２／５４９２５３号（「’２５３号出願」）に記載されているものとほぼ同様であり得る。

[0037] ＵＩ／ＵＸは、ＢＣＩシステムによって満たされる需要を考慮して適合させることができる。例えば、移動性を得るために患者によって使用されるＢＣＩシステムは、低い認知的負荷と共に使い易さを目標とするＵＩ／ＵＸを含み得る。別の例として、学習ツールとして子ども向けに使用されるＢＣＩシステムは子どもによる直感的対話に合わせたＵＩ／ＵＸを含み得る。同様に、ゲーム体験を対象としたＢＣＩシステムは高速度及び高精度等を与えるように設計されたＵＩ／ＵＸを含み得る。例えば一部の実施形態では、ＢＣＩシステム及び／又はユーザインタフェース／ユーザエクスペリエンス（ＵＩ／ＵＸ）は、参照によりその開示を全て本明細書に援用する、２０１７年１１月１３日に出願され「高速、正確、且つ直感的なユーザ対話のための適合を伴う脳−コンピュータインタフェース（Brain-computer interface with adaptations for high-speed, accurate, and intuitive user interactions）」と題された米国特許出願第６２／５８５２０９号（「’２０９号出願」）に記載されているものとほぼ同様であり得る。

[0038] 図１は、一実施形態による脳コンピュータインタフェースシステム１００の概略図である。この脳コンピュータインタフェースシステム１００（本明細書では「ハイブリッドＢＣＩシステム」又は「ＢＣＩシステム」又は「システム」とも呼ぶ）の一例は、ユーザの脳の１つ又は複数の制御信号を記録するための神経記録ヘッドセット１０４（例えば神経記録装置）を含むＢＣＩシステムである。ＢＣＩシステム１００は、ビデオベースのアイトラッカであり得るアイトラッカ１０２（例えば視標追跡装置）も含むことができる。アイトラッカ１０２は付属品とすることができ、又はＢＣＩシステム１００に統合され得る。アイトラッカ１０２は、任意の時点におけるユーザの注目箇所を示すユーザの目の動眼反応を捕捉し、記録し、及び／又は伝送するように構成され得る（即ちポインティング制御機能）。神経記録ヘッドセット１０４は、ユーザの認知的な意図を示す１つ又は複数の脳領域からの神経制御信号を捕捉し、記録し、及び／又は伝送するように構成され得る（即ちアクション制御機能）。一部の実施形態では、神経記録ヘッドセット１０４が、ポインティング制御機能を実装するユーザの注目箇所を示すように適合され得る。神経制御信号は、任意の適切な手法によって記録される任意形式の神経活動、例えば脳波記録（ＥＥＧ）、皮質脳波記録（ＥＣｏＧ）、又は脳磁気図記録（ＭＥＧ）、内因性信号イメージング（ＩＳＩ）等とすることができる。神経活動の形式の例は、事象関連電位（ＥＲＰ）、運動心像、定常状態視覚誘発電位（ＳＳＶＥＰ）、一過性視覚誘発電位（ＴＶＥＰ）、脳状態コマンド、視覚誘発電位（ＶＥＰ）、Ｐ３００誘発電位、感覚誘発電位、運動誘発電位等の誘発電位、ミュー律動又はベータ律動等の感覚運動律動、事象関連脱同期（ＥＲＤ）、事象関連同期（ＥＲＳ）、緩徐脳電位（ＳＣＰ）等を含む。このＢＣＩシステム１００の一例は、脳−コンピュータインタフェース装置１１０、１つ又は複数の任意選択的な周辺センサ１０８、及び任意選択的に視聴覚ディスプレイ１０６も含むことができる。ＢＣＩシステム１００の一部の実施形態は、音、接触、向き等の他の様式によってユーザの挙動に関するデータを収集するために、及び豊かで多様なユーザエクスペリエンスを提供するために、（図１には不図示の）他の周辺センサ１０８及び周辺アクチュエータも含むことができる。

[0039] ＢＣＩシステム１００の一部の実施形態では、神経記録ヘッドセット１０４及びアイトラッカ１０２のそれぞれから収集される神経信号及び動眼信号（及び周辺センサ１０８からの他の周辺信号）は、それらの信号を個々に又はアンサンブルとして一緒に処理する脳−コンピュータインタフェース（ＢＣＩ）装置１１０に伝達することができる。信号の処理に関連して、ＢＣＩ装置１１０は、処理される信号を誘発したＵＩ／ＵＸによって提示された刺激に関するデータにアクセスしかかるデータを処理することもできる。組み合わせられた情報により、ＢＣＩ装置１１０は、以下でより詳細に説明するように統計モデルに基づいて関連する信号特徴を検出し、適切な信頼スコアを適用してユーザの意図を予測することができる。この予測された意図は、例えばディスプレイ１０６によって提示されるＵＩ／ＵＸによってユーザに伝達し、ＵＩ／ＵＸ内の及び任意の接続された制御可能マシン内の変化を生じさせるために使用することができる。

２次元空間及び３次元空間内の視標追跡−ポインティング制御機能
[0040] 一部の実施形態では、アイトラッカ１０２は、２次元空間又は３次元空間内のユーザの眼球運動を素早くたどることにより、ユーザが自らの視野内のどこを見ているのかを決定するために使用することができる。例えばユーザが自らの眼球運動の随意調節を有するという条件で、ビデオベースアイトレーサ１０２を使用して、ユーザの目のそれぞれがユーザの視野内のどの部分空間を「指しているのか」を決定することができる。換言すれば、アイトラッカ１０２は、ポインティング制御機能としてユーザの眼球運動の軌跡を使用することができ、被験者の意図及び挙動に関する重要な情報を明らかにする。一部の実施形態では、ユーザが視覚空間内のどこに注目しているのか、どの刺激に注目しているのか、又はどの刺激に反応したのかの側面がＢＣＩシステム１００内で効果的に使用され得る。互いに対する両方の目の動き軌道を同時に追跡することにより、アイトラッカ１０２はユーザの注目の奥行をレジスタし、従って３次元空間内のポインティング制御を可能にすることもできる。

[0041] 一部の実施形態では、アイトラッカ１０２は、ユーザの目を撮像するための頭部装着型の視標追跡ビデオカメラを使用することにより、ユーザの瞳孔及び照明源の表面角膜反射（ＣＲ）を追跡することに依拠する。これらの２つの特徴間の位置差を使用して観察者の視線方向を決定することができる。アイトラッカ１０２として使用可能な頭部装着型の視標追跡装置の一部の例は、数ある商業的なベンダの中でSenseMotoric Instruments、Tobii Eye Tracking、及びPupil-labsから入手可能である。一部の実施形態では、アイトラッカ１０２はユーザの目を照らす１つ又は複数の照明源を含むことができる。照明源は任意の適切な波長の光を放つことができ、任意の適切な位置に搭載され得る。照明源は、機能制御及びデータ伝送等のために有線通信又は無線通信によって接続され得る。

[0042] アイトラッカ１０２は、瞳孔及びそれぞれの目からの１つ又は複数の照明源の角膜反射を同時に撮像するようにそれぞれ構成される左右のアイカメラを含むことができる。これらのカメラは有線接続又は無線接続によって互いに接続することができ、図１に示す脳−コンピュータインタフェース（ＢＣＩ）装置１１０等の外部装置に接続され得る。アイトラッカは、ユーザの視野を捕捉する追加のシーンカメラを含むこともできる。シーンカメラからの信号も有線通信又は無線通信の方法によってＢＣＩ装置１１０等の外部装置に中継することができる。

[0043] 一部の実施形態では、アイトラッカ１０２は、別個のディスプレイ１０６ではなく統合型ディスプレイ１０６を含むことができる。例えば、ディスプレイ１０６と一体化されたアイトラッカ１０２は仮想現実空間を見るように構成されるシステムであり得る。一部の実施形態では、ディスプレイ１０６と一体化されたアイトラッカ１０２は拡張現実空間を見るように構成され得る。つまり、ディスプレイ１０６によって提示されるスーパーインポーズされたＵＩ／ＵＸが追加された状態で現実世界を見るようにアイグラスとして機能する。

脳信号の神経記録−アクション制御機能
[0044] ＢＣＩシステム１００の目的は、例えばユーザが意図するアクションを予測すること及び／又はユーザの活動に関連する信号を解釈してユーザが意図するアクションを決定すること等、脳活動をモニタすることでユーザの意図を明らかにすることにより、関連するＵＩ／ＵＸ、及び／又は接続された外部装置、及び／又はマシンを能動的に制御することである。この目的の要は、脳信号をアクション制御機能にする、ユーザの意図を示し得る脳信号である。ＢＣＩシステム１００は、ユーザによって行われる認知的作業によって同時に誘発され又はかかる認知的作業に関係する幾つかのシグネチャ脳信号のうちの１つ又は複数を使用することができる。これらの脳信号の一部は、人がそれらを自在に変調できるようになり得るやり方で復号することができる。制御信号と見なされるこれらの信号を使用することは、ＢＣＩシステム１００がユーザの意図を解釈することを可能にし得る。

[0045] 神経記録ヘッドセット１０４は、任意の適切な手法を使用し、ニューロン間で情報を交換する電気化学送信機によって生成される神経活動を記録するように適合され得る。神経活動はニューロンによって生成される一次イオン電流を電気的に記録することによって直接捕捉することができ、イオン電流は神経集合体の中及び神経集合体中を流れる。神経活動は、一次電流に関連する又は一次電流から生じる二次電流又は神経系内の他の変化を記録することによって間接的に捕捉することもできる。例えば神経活動は、一次電流の結果として生じる記録中の光学変化により、光学撮像（例えば機能的磁気共鳴画像法、ｆＭＲＩ）等の他の方法によってモニタすることもできる。脳の神経活動を記録する他の手法は、脳波記録（ＥＥＧ）、皮質脳波記録（ＥＣｏＧ）、機能的近赤外（ＦＮＩＲ）画像法、及び他の同様の内因性信号イメージング（ＩＳＩ）法、脳磁気図記録（ＭＥＧ）等を含む。

[0046] 神経活動の形を取る様々なシグネチャ脳信号が、アクション制御機能を実装するために使用される制御信号として使用可能である。時間に関する神経活動の一部の例は、事象関連電位（ＥＲＰ）、誘発電位（ＥＰ、例えば感覚誘発電位、運動誘発電位、視覚誘発電位）、運動心像、緩徐皮質電位、感覚運動律動、事象関連脱同期（ＥＲＤ）、事象関連同期（ＥＲＳ）、脳状態依存信号、及び様々な認知的作業又は感覚運動作業の基礎を成す他の未発見のシグネチャ活動電位を含む。神経活動は周波数領域とすることもできる。数ある中でも一部の例は、感覚運動律動、事象関連スペクトル摂動（ＥＲＳＰ）、シータ、ガンマ、又はミュー律動等の特定の信号周波数帯域を含む。

[0047] 本明細書で説明するように、神経記録ヘッドセット１０４は、脳活動を測定する記録段階によってユーザの意図に関する情報を集めるために神経活動信号を記録することができ、その情報をコマンドに変換可能な扱い易い電気信号に変換する。一部の実施形態では、神経記録ヘッドセット１０４は、時間分解能が高く、セットアップ及びメンテナンスのコストが低く、携帯性が高く、ユーザに対して非侵襲的な脳波記録（ＥＥＧ）によって電気生理学的活動を記録するように構成され得る。神経記録ヘッドセット１０４は、異なる脳領域から脳波記録信号を取得するセンサを有する１組の電極を含み得る。これらのセンサは、ニューロン内の樹状突起のシナプス興奮中の電流の流れによって引き起こされ、それにより二次電流の影響を中継する電気信号を測定することができる。神経信号は、ユーザの頭部、頭皮、顔面、耳、首、及び／又は他の部分上に配置されるとき所望の脳領域上に適切に配置される神経記録ヘッドセット１０４内の電極によって記録することができる。神経記録ヘッドセットの一例は、とりわけBiosemi、Wearable Sensing、及びG.Tec等の商業的なベンダから入手可能であり得る。例えば一部の実施形態では、神経記録ヘッドセット１０４、神経脳活動信号を集める際の神経記録ヘッドセット１０４の動作、及び神経記録ヘッドセット１０４からの信号転送が、参照によりその開示を全て上記で本明細書に援用する’２５３号出願に記載されているもの、及び／又は参照によりその開示を全て上記で本明細書に援用する’２０９号出願に記載されているものとほぼ同様であり得る。

[0048] ユーザの意図を復号するために記録され分析される神経活動は、ユーザの意図を示す任意形式の制御信号であり得る。制御信号の一例は事象関連電位（例えばＰ３００信号）であり得る。事象関連電位、即ちＥＲＰは、時間的に相関する事象又は刺激提示に関係するシグネチャ神経活動であり得る。ＥＲＰは、その検出及び識別を助ける独特な形状及び特徴（トリガ刺激から約３００ｍｓでピークに達することが知られているＰ３００信号等）を有することができる。ＥＲＰは様々な脳領域にわたって大きさ及び形状に違いがある場合もあり、ＥＲＰが脳領域間をどのようにマップするのかは特定の脳機能及び／又はユーザの意図を示し得る。神経記録ヘッドセットから取得される神経活動データは特定のＥＲＰ信号について分析することができ、適切に検出され分類されると、ＢＣＩ装置１１０はＵＩ／ＵＸの所望の部分上で検出済みのＥＲＰに関連する任意の特定のアクションを実施することができる。

[0049] 制御信号の別の例は、運動の精神的なプロセスをユーザが経験することに関連する神経活動信号である運動心像信号の形式であり得る。つまり運動心像信号は、ユーザがアクションを想像し及び／又はアクションを行う間、様々な脳領域から記録され、ＢＣＩシステム１００によって分析され得る脳信号である。ＢＣＩシステムは、訓練セッション中に高精細度でジェスチャを認識するのを助けるために、角度計及び捻転計等の周辺センサ１０８によって収集される情報を使用することもできる。

ＵＩ／ＵＸの表示及び提示
[0050] 本明細書で説明するように、ＢＣＩシステム１００内のＵＩ／ＵＸは、ユーザ（例えばユーザの脳、目、筋肉／運動神経等）とＢＣＩ装置１１０との間の通信のリンクとして機能し、ユーザがポインティング制御機能によって特定の刺激に注目しそれを指さし、アクション制御機能を使用して特定の刺激を選択し又は選択解除することを可能にする。本明細書で述べるように、ＵＩ／ＵＸは制御インタフェースの一例であり得る。ＵＩ／ＵＸは、ディスプレイによって提示される一連の視覚的に刺激のある２次元画像を含むことができる。ＵＩ／ＵＸは、ユーザにとって最も直感的でありユーザの意図を識別することをより容易且つ明白にするやり方で提示されるようにＢＣＩ装置１１０によって設計され操作され得る。ＵＩ／ＵＸは、ユーザの注目を集めるように設計される、及び／又はユーザ制御の方法の可用性に関する情報を含むＵＩ／ＵＸに関する情報を伝えるように設計される１つ又は複数の刺激を提示することができる。刺激は任意の適切なやり方で提示することができる。例えば、ＵＩ／ＵＸは刺激として「タグ」（例えば制御項目）を提示するように設計することができる。それぞれの刺激は１つ又は複数のタグを含み得る。例えばタグは、ユーザの注目を集めるために且つＵＩ／ＵＸを制御するその可用性を示すために特定のやり方で外観を変える視覚的アイコンとすることができる。例えば、１つ又は複数のタグのグループを特定のやり方で点滅させ又はその外観を変えさせることができる。タグ又は制御項目はアクションに関連することができる。例えば、本明細書では「タグ点滅」とも呼ぶタグの外観の一過性の変化は、１つ又は複数の特定のアクションを行うためにそれらのタグが使用可能であることを示すことができる。一度に２つ以上のタグを点滅させることができ、タグのグループ分け（「タググループ」とも呼ぶ）は任意の特定のやり方で行われる（例えばタグの行、列、疑似ランダムグループ分け等）。タグ点滅の後、ユーザがタグ点滅の位置までfoveateしたことを示す信号をアイトラッカ１０２が捕捉することができ、及び／又はシグネチャ脳活動の発生を示す信号を神経記録ヘッドセット１０４が捕捉することができる。ＢＣＩ装置１１０は、本明細書で更に詳細に説明するように、これらの信号を分析しユーザの意図を明らかにすることができる。この決定に基づき、ＵＩ／ＵＸはタグ点滅に関連する１つ又は複数の特定のアクションを実施することができる。

[0051] 上記で説明したように、ＵＩ／ＵＸは、インタフェース（ＵＩ）としても働くユーザエクスペリエンス（ＵＸ）と呼べるものを共に形成する、幾つかの様式にある刺激の豊かな混合とすることもできる。ユーザインタフェースに関して上記で説明したように、戦略的に設計されたユーザエクスペリエンスは、（タグ点滅と同様に）提示を操作する任意の様式によってユーザの刺激を提示するプロセスを含む。脳活動信号及び関連する眼球運動信号及び／又は他の周辺信号を分析し、ユーザの意図を復号すると、ＵＩ／ＵＸは提示される刺激に関連する１つ又は複数の特定のアクションを実施することができる。

[0052] 一部の例は視覚刺激、聴覚刺激、触覚刺激、又は前庭刺激を含む。一部の実施形態では、図１に示すディスプレイ１０６等のディスプレイ上に視覚刺激を提示するＵＩ／ＵＸをレンダリングすることができる。他の様式の刺激は、同じくＢＣＩシステム１００の一部である適切な周辺アクチュエータ（図１には不図示）によって届けることができる。

[0053] 一部の実施形態では、ディスプレイ１０６は、ＢＣＩシステム１００の残りの部分と接続されデータ通信することができる別個の独立型視聴覚ディスプレイユニットとすることができる。つまりオーディオシステム（例えばスピーカ又はヘッドフォン）を備える独立型ディスプレイ（例えば液晶ディスプレイ）は、ＢＣＩシステム１００の他の構成要素、例えばＢＣインタフェース装置１１０、アイトラッカ１０２、及び神経記録ヘッドセット１０４のうちの１つ又は複数と双方向通信することができる。一部の実施形態では、ディスプレイ１０６がアイグラス領域の一部であるようにアイトラッカ１０２に統合され得る。統合されるアイトラッカ１０２及びディスプレイ１０６は、ディスプレイ１０６上に提示されるＵＩ／ＵＸ形式で仮想現実空間を見るように構成され得る。一部の実施形態では、統合されるアイトラッカ１０２及びディスプレイ１０６は、ディスプレイ１０６が半透明のアイグラス領域上にあり、ユーザが拡張現実空間を見ることを可能にするように構成することができる。つまりユーザは、ユーザが対話可能なＵＩ／ＵＸをユーザに提示する統合型ディスプレイ１０６でもある半透明のアイグラス領域によって現実世界を見ることができる。

非視覚的様式で動作する周辺装置
[0054] 一部の実施形態では、ＢＣＩシステム１００が、幾つかの周辺センサ１０８（図１の破線の四角形によって示す任意選択的なユニットとして示す）及び周辺アクチュエータ（図１には不図示）を含むことができる。１つ又は複数の周辺アクチュエータは豊かで多様なユーザエクスペリエンスを提供するように構成することができ、１つ又は複数の周辺センサ１０８はユーザ及びユーザの環境のそれぞれから多様な入力を捕捉するように構成することができる。これらの周辺アクチュエータ１１２及びセンサ１０８は個々に又は（アイトラッカ１０２のように）他の装置に組み込んで適切に搭載することができる。例えばＢＣＩシステム１００は、聴覚刺激を中継するためのイヤフォン及びユーザの音声コマンド等の音を捕捉するためのマイクロフォンを含むことができる。イヤフォン（聴覚アクチュエータ又は聴覚出力装置）及びマイクロフォン（聴覚センサ又は聴覚入力装置）は、ハイブリッドシステム１００に有線チャネル又は無線チャネルによって接続される独立型装置とすることができる。或いはイヤフォン及びマイクロフォンは、アイトラッカ１０２又は神経記録ヘッドセット１０４に搭載し、統合することができる。同様に、体の動きのレジスタするために、加速度計、角度計、捻転計、赤外線カメラ等の光センサ、奥行センサ、マイクロフォン等の周辺センサをＢＣＩシステム１００に含める及び／又は結合することができる。例えば、角度計を使用することができるジェスチャを形成する手足の動きをレジスタする、加速度計は体の動きをレジスタするために使用することができる。周辺センサは、ユーザの現実世界の視野を捕捉するように構成される視野カメラも含むことができる。視野カメラによって取得される信号は分析し、選択可能な選択肢等を用いてＵＩ／ＵＸによってスーパーインポーズされる現実世界の画像を有する拡張現実エクスペリエンス又は複合現実エクスペリエンスを生成しユーザに提示するために使用することができる。ＢＣＩシステム１００に接続可能な周辺アクチュエータは、提供されるユーザエクスペリエンスを豊かにする接触及び振動等の力を加え作り出すことができる触覚装置又は運動感覚装置を含むことができる。

脳−コンピュータインタフェース装置
[0055] 一部の実施形態では、脳−コンピュータインタフェース装置（即ちＢＣＩ装置）１１０がとりわけ３つの主要な機能を達成するように構成され得る。第１に、ＢＣＩ装置１１０は、本明細書に記載したように戦略的に設計されたＵＩ／ＵＸを生成するように構成することができる。例えば、戦略的に設計されたユーザエクスペリエンスは訓練セッション用又は試験セッション用であり得る。一部の実施形態では、ユーザエクスペリエンスは仮想現実環境及び／又は拡張現実環境として設計され得る。一部の実施形態では、ＵＩ／ＵＸは例えば特定のユーザの履歴、反応時間、ユーザ選択等の特定のニーズに合わせて調整することができる。ＢＣＩ装置１１０はＵＩ／ＵＸを生成し更新する際にこれらの全ての要件を考慮することができる。第２に、ＵＩ／ＵＸの設計及び生成に加えて、ＢＣＩ装置１１０は（例えばアイトラッカ１０２から）ポインティング制御信号及び（例えば神経記録ヘッドセット１０４から）アクション制御信号（及び該当する場合は周辺センサ１０８から周辺信号）を受信し、それらの信号を個々に又はアンサンブルとして処理してユーザの意図を明らかにするように構成することができる。ＢＣＩ装置１１０は分析に適した任意の方法を実行することができる。例えばＢＣＩ装置１１０は、信号から有意味の特徴を検出し、統計モデルを構築し適用して信号を解釈し、信号を分類し、信号及び信号を誘発する刺激を採点し、任意の所与のタグ又は刺激がユーザの意図する点（例えば標的タグ又は標的刺激）である確率を計算し、標的タグ又は標的刺激及びユーザが望む関連するアクションを決定すること等ができる。第３にＢＣＩ装置１１０は、ユーザの意図に応じて指示されている標的タグ又は標的刺激の変更を実施することにより、ポインティング制御機能及びアクション制御機能を実装するように構成することができる。

[0056] 一部の実施形態では、ＢＣＩ装置１１０が、ＢＣＩシステム１００の一部であり得る他の周辺装置、例えば上記で述べた視覚的様式以外の様式で機能する周辺センサ及びアクチュエータにも接続され得る。かかる周辺センサは音声マイクロフォン、触覚センサ、加速度計、角度計等を含むことができ、周辺アクチュエータは音声スピーカ、触覚刺激プロバイダ等を含むことができる。

[0057] 一部の実施形態では、ＢＣＩ装置１１０は、有線又は無線通信チャネルによってＢＣＩ装置１１０と１つ又は複数の外部装置との間で信号を送受信するように構成される入出力ユニット１４０を含むことができる。例えば入出力ユニット１４０は、１つ又は複数のデータ通信ポートを介してアイトラッカ１０２、神経記録ヘッドセット１０４、及び任意選択的な視聴覚ディスプレイ１０６との間で信号を送受信することができる。ＢＣＩ装置１１０は、遠隔サーバ（図１には不図示）に接続し、遠隔サーバ内に含まれるデータベース又は他の適切な情報にアクセスできるようにするように構成することもできる。ＢＣＩ装置１１０は、転送されるデータの種類に適合する適切な通信チャネルを扱うように構成されるコミュニケータ１８０を含むことができる。コミュニケータ１８０は、ＢＣＩ装置１１０の他の部分と共にＩ／Ｏユニット１４０に接続され、入出力ユニット１４０の機能を制御することができる。信号の転送は有線イーサネット、シリアル、FireWire、若しくはＵＳＢ接続等の有線接続によって、又はBluetooth、近距離無線通信等の任意の適切な通信チャネルによって無線で実行することもできる。

[0058] 一部の実施形態では、ＢＣＩ装置１１０内の入出力ユニット１４０の機能が、信号の取得、信号の前処理、及び／又は信号の増強等の幾つかの手続きを含むことができる。取得及び／又は前処理された信号は、ＢＣインタフェース装置１１０内のプロセッサ１２０に送ることができる。一部の実施形態では、プロセッサ１２０及びその下位要素（不図示）は、入力データを処理し、メモリ１６０との間でデータをやり取りするように構成され得る。プロセッサ１２０は、遠隔サーバ（図１には不図示）にアクセスし遠隔サーバの情報を利用するためにコミュニケータ１８０に接続することもできる。

[0059] ＢＣＩ装置１１０内のプロセッサ１２０は、ディスプレイ１０６上に又はアイトラッカ１０２に統合されたディスプレイ上にレンダリング可能なＵＩ／ＵＸを構築し維持する機能を実行するように構成され得る。一部の実施形態では、プロセッサ１２０及びその下位要素は、脳信号のユーザ固有の解釈を可能にするのに必要な機能を実行し、外部装置に中継されるように入出力ユニット１４０への出力信号をパッケージ化するように構成され得る。プロセッサ１２０及びその下位要素の他の機能は、特徴抽出、分類、及び制御インタフェースの操作等の幾つかの手続きを含むことができる。

[0060] 一部の実施形態では、ユーザエクスペリエンスを改善するために、アクション制御の実施が５秒以内に、又は４秒以内に、又は３秒以内に、又は２秒以内に、又は１秒以内に、又は０．９秒以内に、又は０．８秒以内に、又は０．７秒以内に、又は０．６秒以内に、又は０．５秒以内に生じるように、速度について最適化するようにＢＣＩ装置１１０を構成することができる。一部の実施形態では、ユーザエクスペリエンスを改善するために、アクション制御速度（秒単位）掛けるシステムの平均精度（％単位）の実施が５（例えば１０ｓ^*５０％精度）未満、又は４未満、又は３未満、２未満、又は１．１２５（例えば１．５ｓ^*７５％精度）未満、又は１未満、又は０．９（例えば１ｓ^*９０％精度）未満、又は０．８未満、又は０．７未満、又は０．６未満、又は０．５（例えば０．６ｓ^*８３．３３％精度）未満、又は０．４未満、又は０．３未満、又は０．２未満、又は更には０．１未満になるように、速度^*精度％の値を低減し又は最小化するようにＢＣＩ装置１１０を調整することができる。

アクションの指し示し及び選択−ＢＣＩシステムの機能
[0061] 図２は、入力記号の一例にユーザが注目しその選択を制御する具体例の一例に関する（上記のシステム１００と同様の）ＢＣＩシステムの機能を示す。図２の説明のための一連の操作上の事象の例は、刺激（例えば１組のアクションに関連する１組のタグを含む刺激）を提示すること、結果として生じる神経活動信号及び動眼信号、及び／又は該当する場合は周辺信号を取得すること、取得した信号を分析し、それらの信号を解釈してユーザの意図を推論し又は復号すること、及び（例えばアクションの１つ又は複数に関連するタグの１つ又は複数を選択することによって）ＵＩ／ＵＸの変更を生じさせることを含む。ＵＩ／ＵＸを変更するために実施される１つ又は複数のアクションは、ひいてはＵＩ／ＵＸによって接続される１つ又は複数の外部マシンを制御することもできる。

[0062] 図２に示すＢＣＩシステムの機能の具体例は、入力刺激を提示するステップ２５１から始まる。入力刺激は、例えばＵＩ／ＵＸ２７１の一例に示す１組のタグ又は記号２７９であり得る。ＵＩ／ＵＸ２７１内の全てのタグ２７９は可視とすることができるが、タグ２７９の１つ又は複数は、選択にそのタグを使用できるかどうかを示すために視覚的外観を一過性に変更させることができる。外観の変更は、タグの任意の適切な特性（例えば塗りつぶし、透明度、輝度、コントラスト、色、形状、サイズ、向き、テクスチャ、色調、輪郭、位置、３Ｄ環境内の奥行、移動度等）の変更であり得る。例えば、潜在的な選択を示すためにタグ２７９の１つ又は複数を点滅させることができる（他の場合は本明細書では「タグ点滅」と呼ぶ）。可視タグ２７９の様々なグループを一緒に点滅させ、タグ点滅の幾つかの組み合わせ又はタググループ点滅の幾つかをもたらすことができ、各タグ点滅又はタググループ点滅は刺激である。刺激の例が視覚的様式にあり、変更が視覚的様式で提示されると記載したが、刺激を提示し同様のアクション選択を実行するために任意の適切な様式を使用できることに留意すべきである。例えば、聴覚音をタグとして使用することができる。聴覚タグの任意の適切な聴覚特性を一過性に変更して、それらのタグの選択の可用性を示すことができる。例えば、ＵＩ／ＵＸの聴覚空間内のタグ点滅として使用されるように、音量、持続時間、ピッチ、チャープ、音色等の特性を一過性に変更することができる。

[0063] 提示される様々なタグ、例えばＵＩ／ＵＸ２７１内の３つの記号２７９は、それぞれ仲介であり得る、選択時の別個のアクション。可視タグの１つは、標的タグ又はユーザが選択したいタグであり得る。ＢＣＩシステム（上記のＢＣＩシステム１００等）の目標は、図２に示す手続きの一例により、ユーザが選択したい標的タグが可視タグ２７９のどれなのかを決定することである。

[0064] ＵＩ／ＵＸ２７１は、ステップ２５１で、各可視タグ２７９を刺激として（例えばタグの点滅によって）１回又は複数回提示するように構成することができ、ステップ２５３でＢＣＩシステム（例えばシステム１００）が、刺激の提示２７７に関する情報（例えばＵＩ／ＵＸ２７１のどの位置に、どの時点において、どのタグ又はタググループが提示されたのか等）と共に、結果として生じる脳活動信号２７３及び／又は眼球運動信号２７５並びに他の周辺センサの信号（不図示）を該当する場合は取得する。可視タグ２７９は、タグを単独で点滅させること又はタググループの組み合わせを点滅させることによって提示することができる。タググループでのタグ点滅は、標的タグ２８５を特定するのに必要な点滅の回数を減らすことができる。刺激の提示は、ユーザが気付かないことが予期される、タグに結び付いていないゴースト点滅の目に見えない刺激を疑似的に提示することも含み得る。ゴースト点滅はＵＩ／ＵＸ２７１による刺激の提示を較正するために使用することができる。例えばゴースト点滅は、特定のタグ２７９に対するユーザの注視又は注目を示す信号を分析する間の検出閾値を設定するために使用することができる。

[0065] 図２に示す手続きのステップ２５５は、取得した動眼信号２７５及び／又は神経信号２７３（及び他のセンサからの他の周辺信号）を分析することを含み、この分析は以下で更に開示するように個々に又は統合的手法におけるアンサンブルとして実行することができる。信号神経及び動眼（及び周辺）信号の分析は、刺激情報２７７（例えば提示される刺激の時空間的特性）の脈絡で行われる。分析は幾つかの計算的方法の１つ又は複数のステップを含むことができる。例えば、信号の前処理、特徴検出及び特徴抽出、次元縮退、教師付き分類、教師なし分類、又は半教師付き分類、信号を解釈するための１つ又は複数の事前構築統計モデルの構築又は適用、各分析の信頼スコア（例えば分類の信頼スコア）の計算、刺激情報２７７を組み込み使用するための適切なやり方の計算（例えば１つ又は複数のスケーリング関数の適用）、各タグ２７９が標的タグ２８５である尤度の計算、標的タグ２８５の同一性の決定に関する復号及び／又は意思決定等である。

[0066] 例えば、ステップ２５７は、ステップ２５５で実行した分析に基づいて標的タグ２８５の同一性を判定することを含み得る。ステップ２５７における決定又は判定は任意の適切な方法を使用して行うことができる。例えば、１つ又は複数の閾値交差アルゴリズム又は機械学習ツールを使用する。

[0067] ステップ２５７における決定は、ステップ２５９におけるタグ２７９の１つの選択をもたらし得る。ステップ２５９における選択は、ひいては関連するアクションが実行されることをもたらし得る。例えば標的タグ２８５が八角形のタグだと正しく識別される場合、八角形に関連するアクション２を実行することができる。標的タグ２８５の識別が正しかったかどうかを確かめるために、ユーザ認証の１つ又は複数のステップを含めることもできる。ユーザは、標的タグ２８５の識別が正しかったのか間違っていたのかに関するフィードバックを与えることができる。このユーザフィードバックは、標的タグ２８５の決定に使用される様々な分析プロセス及び統計モデルを支持し又は訂正するために使用し、特定のユーザ又は特定の使用事例等により適合するようにＢＣＩシステムを訓練することができる。このフィードバックはユーザを訓練するために使用することもできる。例えば２５７で決定を下すための情報が、例えば曖昧さ又は１つ若しくは複数の信号が弱すぎることを理由に十分ではない場合、異なる状況（例えばより優れた集中）下で再試行するためのインジケータをユーザに与えることができる。

ＢＣＩシステムとのユーザ対話
[0068] 図３Ａ〜図３Ｇは、上記で開示したＢＣＩシステム１００と構造及び又は機能の点で同じ又は同様であり得る、ＢＣＩシステム３００とのユーザ対話の一例及びＢＣＩシステム３００内の基礎を成す処理の一部を示す。例えば、ＢＣＩシステム３００はアイトラッカ３０２、神経記録ヘッドセット３０４、ＢＣＩ装置（不図示）、及びディスプレイ３０６を含み得る。図示の例では、ユーザが単語及び／又は文をスペルするのを助けるために、ＢＣＩシステム３００がポインティング制御を実施する動眼信号並びにアクション制御を実施する神経信号の両方を使用することができる。例えばＢＣＩシステム３００は、２ステッププロセスで単語をスペルするために使用されるＵＩ／ＵＸ３７１、及びＵＩ／ＵＸ３７１を提示するディスプレイ３０６を含むことができる。図３Ａ〜図３Ｃに示すように、ＵＩ／ＵＸ３７１はタググループ点滅３７９（例えばキーボード上でよく見られる文字、数字、及び記号）形式の刺激を提示することができる。

[0069] 図３Ａ〜図３Ｃに関して説明するポインティング制御機能は、（図３Ｄに一例を示す）アイトラッカ３０２によって取得されるデータを用いて実装することができる。アイトラッカ３０２は、ユーザが自分の注視を集中させている場所を検出するための動眼信号を記録し、ＢＣＩ装置（不図示）によって処理可能なそれぞれの目に対応する信号を出力するように構成され得る。動眼信号の例を図３Ｅに示す。アクション制御機能（即ち標的タグの決定及び標的タグの活性化）は、（その一例を図３Ｆに示す）神経記録ヘッドセット３０４によって記録されるデータを用いて実装される。神経記録ヘッドセット３０４はユーザの脳内の特定の領域からの神経信号を記録するように構成することができ、ＢＣＩ装置（不図示）はその信号を分析することができ、その例を図３Ｆに示す。ＢＣＩ装置（不図示）は動眼信号（図３Ｅ）及び神経信号（図３Ｆ）から有意味の特徴を抽出し、教師なし及び／又は半教師付きのやり方で又は訓練によって構築される統計モデルに基づいて信号を分類することによってそれらの特徴を分析することができる。ＢＣＩ装置は、標的タグ３８５の決定及び選択において刺激情報を組み込むことができる。

[0070] 例えばユーザは、図３Ａに示すように標的タグ（例えばＱの文字）を含むタググループに自分の注視を集中させることができる。この例では、タググループ点滅が強調表示された円の形式にあり得る。ユーザがその特定のタググループに集中したことを示す動眼信号を分析した後、図３Ｂに示すように、図３Ａの強調表示された円によって示されるタググループを拡大し、ＵＩ／ＵＸ３７１を図３Ｂに示すものに変更することができる。ユーザが選択するために、図３Ｂ及び図３Ｃ内の拡大されたグループの１組の異なるタグ点滅３７９を連続して提示することができる。図３Ｃに示すように、タグ点滅は文字を拡大すること及び太字にすることであり得る。

[0071] （図３Ｇに示す）分類に使用する信号の投影３８１の一例によって示すように、動眼信号、神経信号、及び／又は他の関連信号を適切に分析した後で標的タグ３８５を選択することができる。使用しようとする各文字を選択するためにこの手続きを繰り返すことにより、上記のＢＣＩシステム３００及び実装手続きを使用して単語及び／又は文をスペルすることができる。

神経信号の復号
[0072] 図２に示すプロセスシーケンス、並びに図３に示すポインティング制御及びアクション制御の実装例は個々の刺激について例示され得るが、ＵＩ／ＵＸ又はユーザエクスペリエンスによって仮想的な又は拡張された多様な環境を提示する間、一連の同様のステップを有する同様のプロセスをたどることができる。プロセス４００の一例を図４に示す。図４に示すように、プロセス４００は、訓練セッションを形成する一連のサブステップ（破線の四角形によって任意選択的として示す）を含むことができ、又は如何なる訓練データもなしに新たな刺激を提示するために使用することができる。

[0073] 図４に示すプロセス４００の一例は、記録済みの信号を解釈すること、ユーザの意図を明らかにすること、及びユーザの意図に基づいて作動することに関与するステップの幾つかを記載する。プロセス４００は、所与の時点において、アイトラッカ及び／又は神経記録ヘッドセット（及び他の周辺センサ及び／又はアクチュエータ）を含むシステムに関連する特定のユーザのために、時間指定されたデータ取得及びＵＩ／ＵＸの提示によってＢＣＩシステムを始動する最初のステップ４０１を含む。この刺激提示及び信号取得の始動は、上記のＢＣＩシステム１００又は３００と同様のＢＣＩシステムの一部である構成要素によって実行され得る。

[0074] プロセス４００は、統計モデルを生成し訓練するためのステップのサブセット（任意選択的に訓練セッションに使用され、図４の破線の四角形内に示す）を含むことができる。（訓練環境に関連し得る）訓練刺激の提示後、訓練セッション用のステップのサブセットは、取得済みの信号及びユーザに提示される訓練刺激に関する情報を受信するステップ４０３を含むことができる。ステップ４０５で、ＢＣＩシステムは任意の適切な分析手続きによって取得済みの信号を分析することができる。例えば信号内の特定の情報を与える特徴を検出し抽出することにより、及び／又は動眼信号及び／又は神経（及び／又は周辺）信号を考慮する１つ又は複数の統計モデルを構築／適用することにより。ステップ４０７で、ＢＣＩシステムは任意の適切な方法を使用して取得済みの信号を解釈し、分類し、及び／又はラベル付けすることができる。例えばＢＣＩシステムは、各信号を分類済みのグループ及び分類の信頼度を測定する信頼スコアに関連付けることができる。ステップ４０７は、提示される刺激に関する情報を用いて分類及び／又はラベルを更新することも含むことができる（例えば以下で更に詳細に説明する距離スケーリング法）。ステップ４０９で、ＢＣＩシステムは、信号を解釈するために及びユーザの意図を明らかにするために使用される分析ツールを評価するための相互検証ステップを含むことができる。

[0075] 訓練セッション後に又は訓練セッションなしに、ステップ４０１のデータ取得開始後にＵＩ／ＵＸ又はユーザエクスペリエンスによってユーザに刺激を提示することができる。これらの新たな刺激は、ＢＣＩシステムの適切なセンサによって信号として捕捉される動眼反応、神経反応、及び／又は周辺反応を誘発し得る。プロセス４００のステップ４１１に示すように、これらの信号は反応を誘発した刺激に関する情報に関連して受信され得る。ステップ４１３で、ＢＣＩシステムは新たな統計モデルを生成し又は訓練に由来する事前生成され相互検証された統計モデルを使用することができる。統計モデルを使用し、ＢＣＩシステムはステップ４０５及びステップ４０７に関して記載したのと同様の分析手続きをたどり信号を分析し解釈することができる。例えばＢＣＩシステムは、採点システムに基づいて信号を分類し及び／又はラベル付けすることができ、採点システム内の刺激情報を組み込む。入手可能なそれぞれの刺激及び／又は反応信号に関連するスコアに基づき、ステップ４１５で、ＢＣＩシステムはユーザの意図を明らかにする（例えばユーザにとって関心のある標的タグを識別する）ことができる。ステップ４１７で、ＢＣＩシステムは明らかにされた標的タグの選択を実施することができ、かかる選択は標的タグの選択に関連する１つ又は複数のアクションをもたらし得る。例えばステップ４１７は、スペラ内の文字を選択すること、又はゲーム内のキャラクタを選択すること、又は拡張現実システム内で操作可能なＴＶシステムに関連するオン機能を選択すること等を含み得る。

信号の分析
[0076] 本明細書に記載の通り、ＢＣＩシステム１００、３００は動眼活動信号及び神経活動信号（及び他の周辺信号）をアンサンブルとして組み合わせて又は個々に処理して、高速度及び高精度でユーザの意図を明らかにしユーザの意図に作用することができる。プロセス２００又はプロセス４００等の１つ又は複数のプロセスを使用して適切な刺激を提示し、ユーザの意図を明らかにすることができる。以下で説明するように、ＢＣＩシステムは信号を分析しユーザの意図を明らかにするのに適した分析パイプラインを採用することができる。

[0077] ＢＣＩシステム及び／又はＢＣＩシステムを実装するプロセスの一部の実施形態は、例えば受信され処理される様々な信号（例えば動眼信号、神経信号、周辺信号等）に由来する補完的な情報源を使用し、ポインティング制御機能及びアクション制御機能を実装するために統合的手法を使用することができる。更に、信号を処理しＢＣＩインタフェースを実装する統合的手法は、使用状況、ユーザの履歴、及びナビゲートされるＵＩ／ＵＸの特定の詳細等の他のパラメータに従って個々の信号に適切に重み付けすることを可能にし得る。

[0078] 信号（例えば神経活動信号、動眼信号等）を分析してユーザの意図を明らかにするための分析パイプラインの一例は、選択の精度を改善するために（１）１つ又は複数のフィルタシステム（例えば二重カルマンフィルタ又は他の任意の無遅延フィルタ）による信号の１つ又は複数の適切な前処理、（２）信号の有意のエポック（例えば刺激若しくはタグ点滅後の又はそれと同時のエポック）内でレジスタされる事象を分類するためのベイズ線形判別分類器、（３）加重信号パッケージにわたる空間フィルタリング、（４）バギングアンサンブル分類器アルゴリズム、及び（５）実験的作業中にプログラムルーチンと共に分類アルゴリズムからの情報を組み込む高次のオラクルアルゴリズムを含むことができる。

刺激−反応の関係
[0079] 動眼信号、神経信号、又は他の周辺信号（例えばジェスチャ、体位、音声コマンド等）を含む、刺激の提示中に及び提示後に取得される信号は情報が豊富であり得る。しかし、分析手続きは、関連するエポック及び／又は特徴を信号から抽出して標的タグを分析し決定することができる。例えばＢＣＩシステムは、単語をスペルする際に使用するための図５Ａに示すＵＩ／ＵＸ５７１を含むことができる。ユーザが単語をスペルするためにＩの文字を使用したい可能性がある例では、図５Ａ〜図５Ｂに示すようにＩの文字が標的タグ５８５になる。図５Ａに示す例では、刺激又はタグ点滅の一例が可視タグ又は文字の行又は列であり得る。例えばタグ点滅５７９Ａの一例は、タグＧ〜Ｌの行を含む強調表示されたタググループ形式で刺激を提示する。タグ点滅５７９Ｂの別の例（現在は提示されていない、例えば文字が強調表示されていない）はタグＡ、Ｇ、Ｍ、Ｓ、Ｙ、及び５を含むことができる。タグ点滅は行、列、又は外観の特定の変更によって（例えば強調表示、拡大、太文字化等によって）一緒に提示される任意選択されたタググループであり得る。

[0080] １つ又は複数の刺激の提示中に取得される神経活動信号は、制御信号と呼ばれる特定の識別可能なシグネチャ事象又は反応を含むことができる。シグネチャ神経反応又は別様に呼ばれる制御信号は、本明細書に記載するようにユーザの認知的な意図に関連し得る特定の脳活動信号である。従って、刺激又はタグ点滅の提示中に１つ又は複数の脳領域内でシグネチャ脳活動反応又は制御信号が発生することは、そのタグ点滅がユーザの意図を明らかにするために情報を与えることを示し得る。

[0081] 図５Ｂは、２つの刺激の提示中及び提示後に取得され得る神経活動信号の２つの例を示し、時点０において刺激が提示されている（例えば図５Ａに関して説明したタグ点滅５７９Ａ及び５７９Ｂの提示）。例えば信号５７３Ａはタグ点滅５７９Ａの後で誘発され取得された神経信号とすることができ、信号５７３Ｂは図５Ａのタグ点滅５７９Ｂの後で取得された神経信号とすることができる。図示のようにＩが標的タグ５８５であり、標的タグ５８５はタグ点滅５７９Ａの一部であり、標的タグ５８５を含むタグ点滅５７９Ａに応じた神経信号５７３Ａは、２００ｍｓ〜３００ｍｓの時点あたりのトレース５７３Ａの特異な上方向への振れとして示す信号の一過性の振幅変化によって示すシグネチャ神経反応（例えば事象関連電位等）を含み得る。信号を取得する方法に基づき、制御信号は任意の適切なパラメータの変化であり得る。例えば周波数変化の上方向又は下方向への振れ等である。一方、標的タグ５８５を含まないタグ点滅５７９Ｂに応じた信号５７３Ｂは如何なるシグネチャ神経反応も欠いている可能性がある。神経活動信号は、作業、提示される刺激、及び信号の記録元である脳領域に基づく制御信号又はシグネチャ反応を含む場合も含まない場合もある。図５Ｃは、刺激を繰り返し提示する間に脳領域の３つの例から記録される信号の例を示す。図示のように、刺激の提示は１回又は複数回繰り返すことができ、信号対雑音比を上げること及び標的タグを決定する精度を高めることを助けることができる。刺激を繰り返し提示することは、ユーザ対話の速度等の他の要件を考慮して適切に使用することができる。

特徴抽出
[0082] ＢＣＩシステム１００、３００の一部の実施形態では、又はＢＣＩシステムを実装するためのプロセス２００又は４００の一部の実施形態では、ユーザの意図に関する情報を集めるために刺激の提示後に取得される信号が完全に使用され得る。ＢＣＩシステム１００、３００の他の一部の実施形態では、又はＢＣＩシステムを実装するためのプロセス２００又は４００の一部の実施形態では、取得済みの信号によって提供される情報を最適に使用するために１つ又は複数の次元縮退法を使用することができる。例えばユーザの意図を明らかにするために使用される分析手続きは、上記で開示したように取得済みの信号から特徴を検出し及び／又は抽出する１つ又は複数のステップを含み得る。信号の特徴は、信号を表す幾つかのパラメータを含むことができる。一部の条件の例では、特徴は信号の成分（例えば主成分又は独立成分）又は他の同様の次元縮退法を使用して得られる値又はベクトルを含むこともできる。特徴の一部の例は、ピーク振幅、持続時間、周波数帯域幅、基準線からの平均偏差等を含むこともできる。特徴の１つ又は複数は他の特定のパラメータに固有であり得る。例えば特徴は、刺激提示後２００ｍｓ〜５００ｍｓにおけるピーク振幅、又は特定の周波数範囲内の周波数応答のピーク振幅等を含み得る。

[0083] 刺激提示後４００ｍｓの時点における神経信号６７３の負の偏差のピーク振幅である特徴６８７Ａの一例を示す、神経信号の一例を図６Ａに示す。特徴の別の例は、刺激提示後１００ｍｓから２００ｍｓの間にある時点における正の偏差のピーク振幅である６８７Ｂであり得る。同様に、標的タグを含む刺激によって誘発される脳活動反応又は神経信号と標的タグを含まない刺激によって誘発される脳活動反応又は神経信号とを区別するために、１つ又は複数の特徴を定め使用することができる。例えば幾つかの刺激又はタグ点滅を提示することができ、同時発生信号を取得することができ、ＢＣＩシステムは取得済みの信号に対して１つ又は複数の特徴抽出ルーチンを実行して１つ又は複数の特定の特徴、例えば図６Ａに示す特徴６８７Ａ及び６８７Ｂ（特徴１及び特徴２）を抽出することができる。信号に由来する抽出済みの１つ又は複数の特徴は次元（例えばDim1及びDim2）と見なし、信号を評価するために使用することができる。図６Ｂは、４つの刺激又はタグ点滅（ＴＦ１、ＴＦ２、ＴＦ３、及びＴＦ４）の一連の繰り返しの提示中に取得される信号から抽出される、抽出済みの特徴６８７Ａ及び６８７ＢをDim1及びDim2として投影するやり方の一例を示す。例えば、タグ点滅ＴＦ２は標的タグを含むことができ、軸Dim1及びDim2上にプロットされる特徴６８７Ａ及び６８７Ｂの両方についてより大きな振幅をレジスタするのに対し、タグ点滅ＴＦ３は標的タグを含まない可能性があり、それぞれの軸Dim1及びDim2上にプロットされる両方の特徴６８７Ａ及び６８７Ｂについてより小さな（又はゼロの）振幅をレジスタする。以下で説明するように、ＢＣＩシステム（例えばシステム１００、３００）又はＢＣＩシステムを実装するための方法（例えばプロセス２００、４００）の中の１つ又は複数の分類器又はインタプリタがそれらの特徴及び又は次元を使用して、信号及び信号を誘発する刺激（又はタグ点滅）を適切なやり方で分類し及び又はラベル付けすることができる。

標的タグの識別
[0084] 上記で説明したように、ＢＣＩシステムの目的の１つは１組の選択肢を刺激として提示し、特定のアクションを仲介し得る或る特定の刺激を選択するユーザの意図を脳活動の神経信号から復号することである。１組の刺激は１組の可視タグとすることができ、そのうちのユーザにとって関心のある或る特定のタグを標的タグとすることができる。従って別の言い方をすれば、ＢＣＩシステムの目的は利用可能な１組の可視タグから標的タグの同一性を特定の精度及び信頼度で識別することであり得る。標的タグを識別するプロセスは、特定のタグが提示される事前尤度、特定のタグがシグネチャ脳活動反応を誘発し得る尤度等の幾つかの情報源を組み込むことができる。

[0085] この機能を実行するために、ＢＣＩシステム１００、３００は図７に示すプロセス７００を実施することができる。プロセス７００は、上記で説明したプロセス２００及び／又はプロセス４００の一部又はかかるプロセスと同じ若しくはほぼ同様であり得る。例えばプロセス７００は、訓練刺激及び又は新たな刺激の提示を伴う１つ又は複数の訓練セッション及び／又は試験セッションを含み得る。プロセス７００は、神経信号、動眼信号、及び／又は周辺信号等の信号を取得すること及び分析することも含むことができる。従って、そのような同様の部分及び／又は側面は本明細書では更に詳細に説明しない。

[0086] 図７の流れ図に示すように、プロセス７００は、刺激を提示する（例えばタグ又は制御項目の点滅）ステップ７０１、及びステップ７０１の刺激提示と同時の及び／又はその後の神経活動信号を含む様々な信号を取得するステップ７０３を含むことができる。例えば、プロセス７００は制御インタフェースによって刺激を提示することを含み得る。一部の実施形態では、視覚的表現のサイズ、色、向き、輝度、厚さ、又は移動度等、刺激又はタグ（例えば制御項目）に関連する視覚的表現の外観を変更することによって刺激を提示するようにプロセッサを構成することができる。プロセス７００は、ステップ７０３で、刺激の提示後に刺激に関連するユーザの１組の神経信号を神経記録装置から受信することができる。或いは又は加えて、プロセス７００は、刺激に関連する１組の眼球運動信号を視標追跡装置から受信することを含み得る。ステップ７０５で、上記で説明したように、神経信号を処理することを含め、取得済みの信号（例えば神経信号、眼球運動信号）を適切に処理（例えば前処理、フィルタリング、特徴抽出等）して、例えばＥＥＧ信号から１組の特徴に関連する情報（例えば神経信号に含まれる反応の振幅、反応の持続時間、反応の形状、１組の刺激からの刺激を提示することに対する反応のタイミング、神経信号に関連する周波数等）を抽出することができる。ステップ７０７で、任意の適切な統計モデル又は数学的構造を信号に適用することにより、処理済みの信号を解釈することができる。ステップ７０７で、信号がシグネチャ神経反応を含む尤度又は神経信号が制御信号を含む尤度を計算するために使用される信頼度採点システムに基づき、処理済みの信号を分類し又はラベル付けし又は採点することもできる。ステップ７０９で、信号を誘発した刺激又はタグ点滅に処理済みの信号又はラベル付け／採点された信号を関連付けることができる。換言すれば、ステップ７０９で、神経信号の処理済みの及び分析済みの結果を信号内の反応を引き起こすタグ点滅に関連付け又は結び付けることができる。ステップ７０１〜７０９は、様々な別個の刺激又はタグ点滅を提示するために、又は単一の刺激若しくはタグ点滅を繰り返し提示するためにも繰り返すことができる（条件が比較可能である限り、信号対雑音比、ＳＮＲを高めるために刺激を繰り返し提示することによる信号及び分析結果を平均することができる）。ステップ７１１で、プロセス７００は、それぞれの可視刺激又はタグ（例えば制御項目）が標的タグである尤度又はスコアを決定する（例えば計算する）ことを含み得る。その後、全ての可視タグの尤度又はスコアを評価するステップ７１３で、最も高い尤度又はスコアを有するタグを標的タグだと決定し、選択のために返す。上記で説明したように、標的タグを識別することはタグが標的タグであり得る尤度又はタグが提示され得る尤度を検討することも含むことができる。例えばＵＩ／ＵＸが英単語のスペラである場合、ＢＣＩシステムは英語のアルファベット内の特定の文字が標的タグであり得る尤度又は特定の文字が提示される確率を検討することを含み得る。英語では一部の文字（例えば母音）が他の文字（例えばｚ、ｑ等の文字）よりもはるかに多く使用されるので、この検討は標的タグを識別する速度及び精度可能である。標的タグを識別することは、ユーザの注目箇所を決定することも含むことができ及び／又は決定することにも関連することができ、注目箇所は刺激又はタグに関連する。タグ及び／又は注目箇所に基づき、ＢＣＩシステムはユーザが意図するアクションを突き止めそれを実施する（例えばタグ又は制御項目を活性化し又は非活性化する）ことができる。

スコアテーブル
[0087] システム１００、３００等のＢＣＩシステムのＵＩ／ＵＸにより、ユーザに刺激又はタグの一連又は組み合わせを提示することができる。タグは、マシン、装置、及び／又はインタフェースの制御をユーザに与える１つ又は複数のアクションにそれぞれ関連し得る。任意の所与のステップにおいて、タグの１つ（又は複数）が、選択時にユーザが望むアクションをもたらすことができる標的タグであり得る。上記で説明したように、目的は提示されるタグ又はタググループの組み合わせの中の標的タグを神経信号（及び動眼信号又は周辺信号等の他の関連信号）から識別することである。

[0088] 標的タグを識別することは、提示される各刺激又はタグ（若しくはタググループ）によって誘発される神経信号を分析する任意の適切な方法を使用して実現することができる。方法の一例は、可視タグのそれぞれが標的タグである尤度をあり得る全ての可視タグについて計算することである。計算された尤度を有する各可視タグは、任意の適切な採点方式に従ってスコアを関連付けることもできる。従って、全ての可視タグがスコアテーブルを形成するスコアを有することができ、以下でより詳細に説明するように、かかるスコアテーブルはスコアが最も高い可視タグが標的タグとして識別されるように評価され得る。

[0089] 図８Ａは、所与の例においてＢＣＩシステムのＵＩ／ＵＸ内の可視タグがユーザにとって関心のある標的タグである尤度を計算するために使用可能な分析方法の一部の例を示す。尤度は提示される刺激又はタグをランク付けするスコア、例えば信頼スコアに関連し得る。例えば、タググループ（ｔ１、ｔ２等）として適切な組み合わせで点滅として提示したとき特定の標的反応及び特定の非標的反応を誘発することが知られているＰ個のタグをユーザに提示することができる。ＢＣＩシステムは、タグ（又はタググループ）点滅ｔの提示中に誘発される刺激−反応を採点する（ｙ_t）ために使用可能な１つ又は複数の特徴を含む特徴ベクトルを生成することができる。スコアｙ_tは、既知の刺激に対する反応の事前知識を用いて計算される尤度メトリクに基づき得る。例えば、制御信号又はシグネチャ反応信号（例えばＥＲＰ又はＰ３００）を含む刺激又はタグ点滅ｔに対する所与の刺激反応ｘ_tの尤度は、タグ点滅が標的タグを含んでいたかどうかに基づいて適切な分析方法によって計算され得る。８９１及び８９３等、方法の一部の例を図８Ａに示す。図８Ｂに示す分布の例に示すように、標的タグ及び非標的タグの刺激反応のスコアを使用し、標的反応の平均（μ_a）及び分散（σ_a ²）並びに非標的反応の平均（μ_n）及び分散（σ_n ²）を伴う分布を計算することができる。

[0090] 刺激として提示したときに特定のタグがシグネチャ反応を誘発する確率は、任意の適切な方法を使用して計算することができる。例えば図８Ａ及び図８Ｂに示すように、訓練データセットからの既知のシグネチャ反応との比較と共に又はかかる比較なしにタグの提示ごとに誘発される神経信号を分析して、８９１及び８９３等の方程式を使用して確率メトリクを生成することができる。分析から生じる確率メトリクは信頼スコア８９５を生成するために使用することができる。提示されたタグ及び提示されていないタグを含む利用可能な全ての（可視及び不可視）タグに対応する信頼スコアはスコアの分布であり得る。図８Ｂにスコア分布の２つの例を示す。ゼロスコア付近を中心とするヌル分布は、シグネチャ反応を誘発しない既知のタグに対応する（平均（μ_n＝０）及び分散（σ_n ²）を有する非標的タグの刺激反応である）。サンプルの分布は、潜在的な標的反応のスコアの平均（μ_a）及び分散（σ_a ²）を伴う、シグネチャ反応を誘発した可能性がある潜在的な標的タグから生じるスコアのものである。分布間の分離及び／又は重複は、刺激、ユーザ、及び／又はＵＩ／ＵＸの特性に関係する要因に依存し得る。

[0091] 一部の実施形態では、特定のスコア（例えば０．３及び０．９の値を有するスコア８９５）がヌル分布に属するのかサンプル分布に属するのかを区別するために、任意の適切な方法を使用することができる。例えば、タグが標的タグかどうかを割り振るのを助けるための基準８９７として閾値のスコア値（例えばスコア＝０．１）を使用することができる。他の一部の実施形態では、全てのタグからのスコアを分類しなくてもよいが互いに比較することができ、最も高いスコアを有するタグを標的タグとして選択することができる。一部の実施形態では、神経反応の特定の特徴に適合するように開発される分類器のアンサンブルを介して神経反応が供給されてもよく、図９に示す方法の例に示し以下で説明するように、分類器のアンサンブルの出力を使用して信頼スコアを生成することができる。

[0092] 一部の実施形態では、例えば取得済みの信号が満たす場合にシグネチャ反応が誘発されたことを示し得る有意味の閾値又は基準を設定するために、訓練データを事前に収集し分析することを使用することができる。例えば特定のシグネチャ反応（例えばＰ３００反応）を誘発することが知られている刺激によって誘発される反応を使用して未知の刺激又は新たな刺激に由来する反応を比較することができる。シグネチャ刺激をレジスタするために、様々なパラメータにおいて１つ又は複数の基準を設定することができる。例えば基準は、振幅、周波数、脳領域、開始潜時、反応の持続時間、反応の形状等のパラメータに対して設定することができる。分布は、シグネチャ反応又は制御反応を誘発する既知の刺激によって誘発される既知の反応に由来するかかるパラメータの１つ又は複数で作られ得る。新たな刺激によって誘発される新たな未知の反応に由来する１つ又は複数のパラメータをそれらの分布と比較して、新たな反応が１つ又は複数のシグネチャ反応を含むかどうかを確かめることができる。例えば、新たな刺激に対する反応期の一例の振幅パラメータをＰ３００信号等の既知の制御反応に由来する振幅パラメータの分布、平均、及び分散と比較することができる。既知のＰ３００信号の分布、平均、及び分散と比較してパラメータがどこに含まれるのかに基づき、Ｐ３００信号等のシグネチャ又は制御脳信号としての資格を得るかどうかの信頼スコアを新たな刺激又はタグへの反応に与えることができる。かかる信頼スコア（例えばＰ３００スコア）は、新たな刺激又は未知の刺激に対する全ての新たな反応について計算し、例えばスコアテーブル内にまとめることができる。

[0093] 神経反応ごとに計算される信頼スコアは、反応を誘発した対応する刺激又はタグに関連付けることができる。一部の実施形態では、反応ごとにスコアを計算し、（適切に同様の条件下で）同じ刺激によって誘発される反応を平均してより優れた信号対雑音の考慮を実現することができる。一部の実施形態では、パラメータの事前分布又は期待分布と単独で比較されるパラメータから個々の刺激−反応の対のスコアを得ることができる。一部の実施形態では、スコアの事前分布は計算済みのスコアを期待スコア分布と比較するためにも生成することができる。スコアテーブル内にまとめられる、提示される様々な刺激又はタグに関連する信頼スコアを比較することにより、ＢＣＩシステムは、最も高い信頼スコアで反応を誘発した刺激又はタグを見つけるように適合され得る。更に、タグは提示中にグループ分けすることができ、最も高い信頼スコアで反応を誘発した標的タグであるタググループ内の個々のタグを容易に検出できるようにするためにグループ分けは変えることができる。

[0094] 一部の実施形態では、信号を分類し又はラベル付けするために１つ又は複数の分析方法を使用することができる。その後、分析方法は、１つ又は複数の性能パラメータに基づいてその利点について評価することができる。次いで、１つ又は複数の分析方法の結果を組み合わせてスコアテーブルを生成することができる。例えば、神経活動信号は幾つかの統計モデルを使用して幾つかの分類器によって処理することができ、処理される各分類を分類の精度に基づいて評価することができる。次いで一緒に使用されるように分類器のアンサンブルを選択して、スコアテーブル内に供給される複合分類スコアを形成することができる。

[0095] 一部の実施形態では、他の様々な変数に基づく採点方式を採用することができる。例えば採点方式は、利用可能な可視タグの数、シグネチャ反応を誘発した既知の刺激又はタグ（例えば既知のＰ３００刺激）の数、シグネチャ反応を誘発する可能性がある様々なタグの差の程度等に基づき得る。例えば採点方式は、０を通る−１から＋１の値域の中にあることができ、シグネチャ反応（例えばＰ３００）を誘発した尤度が高い刺激又はタグは＋１に近いを有し、シグネチャ反応を誘発した尤度が最も低い刺激は−１に近いスコアを有し、曖昧な反応を有する中間的な刺激は０に近いスコアを有する。

分析方法のアンサンブル：例−メランジュ
[0096] 上記で説明したように、一部の実施形態ではスコアテーブルを生成するために２つ以上の分析方法を使用することができ、その方法は１つ又は複数の性能パラメータに基づいて評価される。例えば、神経活動信号は幾つかの分類器によって処理することができ、各分類器は他の分類器に対して評価される。次いで分類器のアンサンブルを一緒に使用して、スコアテーブル内に供給される複合分類スコアを形成することができる。スコアテーブルは、他の様々な情報源（例えば刺激情報、動眼信号等の他の信号源からの情報等）を用いて更新することができる。図９は、様々な特徴ベクトル及び分類方式を使用する３つ以上の異なる分類器を使用する方法の一例を示す。図９のプロットの一例に示すように、分類器のそれぞれからのラベル付けを評価する。最も優れたＮ個の分類器を選択し（Ｎは所定数又はユーザの自由裁量等である）、アンサンブル分類器又は「メランジュ」が生成される。メランジュを使用して神経信号を分析することにより、複合スコアテーブルが生成される。この複合スコアテーブルは、他の情報源（例えば刺激情報、眼球運動情報等）を用いて更新することができる。例えば複合スコアテーブルは距離テーブルによって更新されるように供給することができ、距離テーブルは、以下でより詳細に説明する他の近くのタグに対して誘発される反応に対するタグの近接度に基づく効果を組み込む。

[0097] 一部の実施形態では、分類器は（例えば１つ又は複数のスコアデータセットを含む）スコアテーブルを使用し、例えば図４に示すような訓練段階中に構成することができる。例えば方法は、制御インタフェースによってユーザに刺激を提示することを含むことができ、刺激はアクションに関連するタグ（例えば制御項目）を含む。この方法は、ユーザの挙動に関連する１組の入力を視標追跡装置及び神経記録装置から受信することを含み得る。この方法は、刺激に関連する１組の入力及び情報に基づいてスコアテーブルを生成すること、及びユーザが意図するアクションに関連する情報（例えばユーザが意図するアクションを示す情報）を受信することを含み得る。次いで、１組の分類器がスコアテーブルをユーザが意図するアクションに関連させ、（例えば後の期間において）例えば図７に示す方法７００又は本明細書に記載の他の方法に従ってユーザが意図するアクションを予測し又は明らかにするために後のユーザであることができるように、スコアテーブル及びユーザが意図するアクションに関連する情報を使用して１組の分類器を構成することができる。

[0098] 一部の実施形態では、この方法は、１組の分類器を使用して決定されるアクションの精度を評価することに基づき、１組の分類器を修正して修正済みの１組の分類器を生成することを更に含むことができる。加えて又は或いは、この方法は、決定されるアクションの精度を評価することに基づき、視標追跡装置又は神経記録装置の１つ又は複数から受信される入力に適用される１組の重みを生成することを含み得る。重みは、決定されるアクションの精度、ユーザのエクスペリエンス、及びユーザに関連する履歴情報に関連することができる。次いでこの方法は、後の期間において制御インタフェースによってユーザに刺激を提示すること、並びに後の期間におけるユーザの挙動に関連する１組の入力を視標追跡装置及び神経記録装置から受信することを含む。この方法は、後の期間において提示される刺激に関連する１組の入力及び情報に基づいてスコアテーブル又はスコアデータセットを生成すること、及び任意選択的にスコアテーブル内のスコアに１組の重みを適用することを含み得る。この方法は、修正済みの１組の分類器を使用し、後の期間においてユーザが意図するアクションを決定することも含み得る。

刺激情報の使用：例−距離スケーリング
[0099] ＢＣＩシステム１００、３００、及び／又はＢＣＩシステムを実装するプロセス２００、４００、及び／又は７００の一部の実施形態では、刺激がどのように提示されたのかに関して入手可能な情報を使用して標的タグの識別精度を改善することができる。例えばプロセス７００に関して上記で説明した神経信号から計算される尤度及び信頼スコアと共に、ＵＩ／ＵＸによって提示される刺激又はタグ点滅の空間的配置、タグ点滅の時間順序又は時系列、タググループ内のタグのグループ分け、タグ点滅に関連する突出度等を使用することができる。

[0100] 刺激情報を使用する方法の一例を、距離テーブルと呼ぶものを生成するための距離スケーリングの形で本明細書に記載する。例えば視覚的インタフェースによってＵＩ／ＵＸを提示するＢＣＩシステムの一部の実施形態では、刺激として提示されるタグ間の物理的距離を使用して或る特定のタグが標的タグである尤度をより上手く推定することができる。換言すれば、ディスプレイ内の提示タグ間のユークリッド距離を使用して、その刺激によって誘発される反応を分析することに基づいて可視タグごとに計算されるスコアテーブル内の信頼スコアを更新することができる。

[0101] 特定のタグが標的タグ（例えば図１０Ａに示すＡの文字）である場合、その標的タグ（例えばＡ）は単独で又はタググループ（例えばＡを含む列又は行の提示）内で提示されるとき、神経活動信号内に記録され得るシグネチャ反応又は制御信号を誘発し得る。全てのタグに関連する尤度及び／又はスコアを計算するステップの後、この特定のタグ（Ａ）がスコアテーブル内の高い信頼スコアに関連することができる（赤色の円によって示す）。とりわけ一部の実施形態では、標的タグ（例えばＡ）が提示されなくても、この標的タグの近くのタグ（例えばＡと空間的に近接するＢ、Ｇ、Ｈ、Ｍ、Ｃの文字）を提示することも、高スコアをもたらす制御信号と同様であり得る神経反応を誘発することがある。換言すれば、対象となる標的タグではない一部の可視タグも、標的タグへの近接度を理由に高い信頼スコアを生む制御信号と同様の信号を提示時に誘発し得る。図１０Ｂは、標的タグＡへの近接度により、図１０Ｃに示すタグの提示によって誘発された信号振幅のプロットの一例を示す。

[0102] 標的タグに近いタグによって誘発される信号は標的タグが誘発する信号ほど突出していない可能性があるが、それでもなお分析の特定の基準を満たす又は特定の閾値を超えるほどに顕著であり得る。しかし、時間的近接度、注意散漫、ランダムスプリアス信号等の様々な理由により、スコアテーブル内で比較的高い信頼スコアを有し得るタグから標的タグを明確にする及び／又は区別するために、近接タグに由来するそれらの信号は標的タグを識別するプロセス中に活用することができる。

[0103] 例えば一部の例では、タグ点滅内で一緒に提示されるとき又は提示されるとき又は時系列が近いとき、Ａの文字及び−の記号等の２つのタグはシグネチャ反応を有する信号、例えばＰ３００を誘発し、高スコアを生む場合がある。ＢＣＩシステムの一例は、過去に提示されたタグの刺激−反応情報と共に、全ての可視タグの空間的配置に関する情報を使用して標的タグをＡの文字であるように正しく識別することができる。例えばＢＣＩシステムは、Ａへの近接度が原因で高スコア（Ｂ、Ｇ、及びＨの文字の周りの円によって示す）を生んでいる可能性があるＡに近い文字（例えばＢ、Ｇ、Ｈの文字）、及び標的タグＡからの距離が原因で低スコア（３、４、及び９の数字の周りの円によって示す）を有する、Ａに対して遠位だが高スコアの文字「−」に近い文字（例えば３、４、９の数字）を含む様々なタグの提示に対する反応を比較して、標的タグが「−」の文字ではなくＡであることを正しく識別することができる。図１０Ａの例は、２つ以上のタグに由来する互角のスコアに対処するために、及び／又はかかるスコアの曖昧さを除去するためにタグの空間的関係をどのように使用できるのかを示すが、互角の反応を有するタグに対処するために及び／又はかかるタグの曖昧さを除去するために提示時のタグの時間的関係も同様に使用することができる。図１１は、スコアテーブル内のスコアを更新するために近接タグによって誘発される信号を使用するプロセス１１００の一例を示す。

[0104] プロセス１１００は、図７に示すプロセス７００と同じ又は同様であり得る。例えばプロセス１１００は、１つ又は複数のタグを用いて刺激又はタグ点滅を提示するステップ１１０１、脳活動信号を記録するステップ１１０３を含むことができる。プロセス１１００は、１つ又は複数の、脳活動信号を処理するステップ１１０３、信号を分類し及び／又は採点するステップ１１０５、並びに尤度を計算するステップ１１０７も含むことができる。プロセス１１００は、各可視タグをスコアに関連付け、スコアテーブルを生成するステップ１１０９も含むことができる。加えてプロセス１１００は、各タグ点滅後に、刺激又はタグ点滅の特定の例において点滅させた１つ又は複数のタグに対するその可視タグの近接度に基づき、可視スコアごとに１つ又は複数の距離スコアを計算するステップ１１１１を含むことができる。

[0105] 換言すれば、各タグ点滅後に、ステップ１１１１は利用可能な全てのタグのそれぞれについて、点滅タグのそれぞれに対するそのタグの近接度に基づいてスコア（例えば距離スコア）を計算し、距離テーブルを生成することを含む。距離テーブルの距離スコアは、ステップ１１１３でスコアテーブル内の信頼スコアを更新するために使用することができる。その後ステップ１１１５で、最も高いスコアに関連するタグを得るために更新済みのスコアテーブルを評価することができ、そのタグを標的タグによってであるように決定することができる。

[0106] 図１２は、距離テーブルを生成するために距離スコアを計算する方法の一例を示す。例えばタグ１〜５は利用可能な１組のタグとすることができ、その中でユーザはタグ１を選択したい。従ってタグ１が標的タグである。ＵＩ／ＵＸの所与のインスタンスにおいて、グループ分けされたタグ点滅としてタグ１及びタグ５を一緒に提示することができる。利用可能な１組のタグ内の各タグは、提示される事前確率を有することができる。例えば５個のタグがあり、提示される可能性が全て等しい場合、５個のタグのそれぞれは１／５（０．２）の提示確率を有し得る。同様に、利用可能な１組のタグ内の２つ以上のタグが、一緒に選択される事前確率を有することができる。例えば図１２に示すように、タググループ（１，５）内で一緒に点滅させるタグ１及びタグ５は、それらのタグの個々の確率をそれらのタグの確率の和によって正規化することで与えられる、提示される事前確率をそれぞれ有し得る。

[0107] 図１２に示すように、他の全てのタグからタグのそれぞれについて距離測度を計算することができる。例えば、タグ１から他の全ての利用可能なタグ１〜５までの距離は測度ｄ_i1＝（ｉ＝１，２，３，４，５）として計算することができる。事前確率及び距離測度の計算後、各タグ点滅からの距離測度によってスケーリングされる、そのタグが標的である尤度の測度を各可視タグ（１，２，３，４，５）に割り当てることができる。つまり、どのタグを点滅させるのかに関係なく各可視タグに標的タグである事前尤度スコアを割り当てることができ、それぞれのタグ点滅ごとに、最後のタグ点滅又はタググループ点滅内のタグからの適切な距離スケーリングを用いて各可視タグの尤度スコアを更新することができる。例えば（タグ１及びタグ５で構成される）タググループを点滅させる場合、タグｘ（例えばタグ３）が標的タグである尤度はｄ’_x,g（例えばｄ’_3,g）であるように採点することができる。点滅させるグループ（１及び５）内のタグの提示確率（ｐ’１及びｐ’５）の和によって与えられ、採点されるタグ（３）からのそのタグ（１又は５）の対応する距離（ｄ_3,1又はｄ_3,5）によってスケーリングされる各提示確率（ｐ’１又はｐ’５）。図１２の例に示すように、従って各タグの提示に関する情報から距離に基づく尤度スコア又は距離スコアを全ての可視タグに割り当てることができる。上記で説明したように神経活動信号を分析すること及び信頼スコアを計算することによって生成されるスコアテーブル（例えばＰ３００スコアテーブル）を更新するために供給することができる、距離テーブル（例えばＰ３００距離テーブル）内の全ての距離スコアの集合。

[0108] 図１３は、プロセス１１１０と同様のプロセスがたどる別の一連のステップの例を示し、（例えば分類器を使用して）神経活動信号を分析することによるスコアテーブルの信頼スコア及び距離テーブルの距離スコアを組み合わせてスコアｓ１、ｓ２、ｓ３等を有する更新済みのスコアテーブルを形成することができ、最も高いスコアを有するタグ又は刺激を標的タグとして識別するために更新済みのスコアテーブルを評価することができる。図１３に示すように、信頼スコアを用いてスコアテーブルを生成すること、距離スコアを用いてスコアテーブルを更新すること、及び更新済みのスコアテーブルを評価することは、それぞれの刺激又はタグ点滅後に行うことができる。最も高いスコアを有すること並びに最も高いスコアが１つ又は複数の閾値基準を満たすことに基づいて独特なタグの刺激を標的タグとして識別できる場合、識別された標的タグを選択されるように返し、標的タグを識別するそのインスタンスを終了し、スコアテーブルをクリアすることができる。

[0109] しかし、どのタグも（スコアテーブル内で最も高いスコアを有するタグを含む）１つ又は複数の閾値基準を満たすスコアを有さず、従ってどのタグも標的タグとして識別できない場合、その結果はデータが不十分である状態を示すことができ、かかる状態は別の一連の新たなタグ点滅と、その後に続く信頼スコアの計算、距離スコアの計算、及びスコアテーブルの更新にＵＩ／ＵＸが進んで最新のタグ点滅に由来するデータを組み込むことをもたらし得る。次いで、最も高いスコアが閾値基準を満たすことについて更新済みのスコアテーブルを再び評価することができる。この一連の新たなタグ点滅と、その後に続くスコアテーブルを更新するための信頼スコア及び距離スコアの計算は、少なくともオンタグが標的タグとして識別されるための閾値基準を満たすスコアを有する状態にスコアテーブルが達するまで繰り返し続けることができる。

眼球運動信号の使用：例−視覚スコアテーブル
[0110] ＢＣＩシステム（例えばシステム１００、３００）の一部の実施形態では、又はＢＣＩシステムを実装するためのプロセス（例えばプロセス２００、４００、７００、１１００、及び／又は１４００）は、１つ又は複数のアイトラッカから入手可能な眼球運動情報を組み込むように構成され得る。つまり、スコアテーブルを更新して利用可能な１組のタグから標的タグを識別するために、１つ又は複数の動眼信号に由来する情報を使用することができる。

[0111] 図１４は、プロセス１４００を概説する流れ図を示す。プロセス１４００は、プロセス２００、４００、７００、及び／又は１１００と同じ又はほぼ同様であり得る。例えばプロセス１４００は、１つ又は複数のタグを用いて刺激又はタグ点滅を提示するステップ１４０１を含むことができる。プロセス１４００は、脳活動信号及び眼球運動信号を記録するステップ１４０３を含むことができる。ステップ１４０５及び１４０７で、取得済みの脳活動信号及び眼球運動信号を処理することができ、適切な統計モデルをそれぞれ適用することができる。その後、１つ又は複数の適切な採点方式を使用し、脳活動信号を分析することに基づいてスコアにタグを割り当て又はスコアにタグを関連付けることができる。ステップ１４０７で、１つ又は複数のスコアに基づき、各タグが標的タグである尤度メトリクを計算することができる。

[0112] 加えて、プロセス１４００は、各タグに関連する動眼スコアを計算するためのステップ１４０９を含むことができる。ステップ１４０９及び１４１１での計算後、距離テーブルの距離スコア及び／又は視覚スコアテーブルの動眼スコアを用いてステップ１４０７のスコアテーブルを更新することができる。更新済みのスコアテーブルは、標的タグを識別するためにステップ１４１５で評価することができる。刺激の提示及び神経活動信号の取得と同時に取得される眼球運動情報を組み込むのに適した任意の方法を使用して動眼スコアを計算することにより、ビジョンテーブルを生成することができる。図１５は示し、動眼スコアを計算して視覚スコアテーブルを生成するための一部の実施形態で使用される手続きの例。

[0113] 図１５に示すように、神経活動信号（例えばＥＥＧ信号）の取得に対応して取得される視標追跡信号は任意の適切な分析方法を使用して前処理することができる。例えば視標追跡信号は（例えばカルマンフィルタリング手法を使用して）フィルタリングすることができ、サッカードの検出及び／又は除去ルーチンにかけることができる。その後、３次元ＵＩ／ＵＸを使用する一部の実施形態では、検出されたサッカードに対応する眼球運動信号を２次元空間にマップされるものから３次元空間上にマップされるものへと変換することができる。一部の実施形態では、視標追跡信号は、参照によりその開示を全て上記で本明細書に援用する’２５３号出願に記載されている、及び／又は参照によりその開示を全て上記で本明細書に援用する’２０９号出願に記載されているものとほぼ同様の又は同じ機器及び／又は方法を使用して取得し分析することができる。

[0114] ＵＩ／ＵＸが事実上２次元であるように設計される一部の実施形態では、サッカードに対応する眼球運動信号が２次元マッピング内に保たれる。

[0115] マッピング後、ユーザの注視の程度及び方向の推定を生成するために１つ又は複数の注視ベクトルを計算することができる。計算される注視ベクトルは、振幅及び方向の平均推定値並びに注視角の分散を有し得る。ＢＣＩシステム又はＢＣＩシステムを実装するプロセスは、それを使用してユーザがタグを見ることができる、利用可能な１組の所与のタグの各可視タグの周りの注視角又は視角の不明瞭な境界を計算することを含み得る。ＢＣＩシステムは、眼球運動の運動学及びユーザの眼球運動に関する情報を使用して視力モデルを構築し及び／又は更新して、ＵＩ／ＵＸ１５７１を使用して図１５に示す予測注視ベクトル１８９を生成することができる。図１５の例におけるＢＣＩシステム１５００は、視力モデルからの予期される視角を入手可能な他のユーザデータ（例えばユーザの目の間隔、アイトラッカのメーカー及び型式等）と共に組み込むことができる。分析される視力モデル、及びサッカード眼球運動信号、及び注視ベクトルに由来する結果の組み合わせを使用して視覚スコアテーブルを生成することができ、計算される注視ベクトル１５８９への近接度に基づいて各可視タグに動眼スコアが割り当てられる。図１５に示すように、スコアｖ１、ｖ２、ｖ３等を有する視覚スコアテーブルを使用して、信頼スコアから計算された（及び／又は距離スコアを用いて更新された）スコアテーブルを更新することができる。

スコアテーブルを更新するための感覚情報の使用
[0116] ＢＣＩシステム（例えばシステム１００、３００）の一部の実施形態では、又はＢＣＩシステムを実装するためのプロセス（例えばプロセス２００、４００、７００、１１００、１４００、及び／又は１６００）は、生体（又は非生体）データを取得する任意の数のセンサから入手可能な情報を組み込むように構成することができる。例えば、複合スコアテーブルを更新して利用可能な１組のタグから標的タグを識別するために、１つ又は複数の生理学的信号、又は挙動信号、又は外部信号（摂動又はユーザが現在置かれている環境内の事象等を示す）の情報を使用することができる。

[0117] 図１６は、複合スコアテーブルを形成するために様々なセンサからのデータを統合するプロセス１６００の一例を概説する流れ図を示す。プロセス１６００は、プロセス２００、４００、７００、１１００、及び／又は１４００と同じ又はほぼ同様であり得る。例えばプロセス１６００は、１つ又は複数のタグを用いて刺激又はタグ点滅を提示するステップ１６０１を含むことができる。プロセス１６００は、様々なセンサのアレイから脳活動信号及び同時発生信号を記録するステップ１６０３を含むことができる。ステップ１６０５及び１６０７で、信号ストリームごとの適切な加重ベクトルを用いて、取得済みの脳活動信号及び様々なセンサからの信号を処理することができ、適切な統計モデルを別々に又はアンサンブルとして一緒に適用することができる。１つ又は複数の適切な採点方式を使用し、脳活動信号を分析することに基づいて及び様々なセンサのそれぞれからの信号を分析することにより、ステップ１６０９で尤度スコアを計算し、ステップ１６１１でタグに割り当て又は関連付けることができる。つまり、タグ点滅ごとに、メインスコアテーブルを更新する脳活動信号を分析することによるタグのスコアに加えて、センサ（１，２，．．．Ｘ）のそれぞれからの全ての信号ストリームを、例えばセンサ（１，２，．．．Ｘ）スコアテーブル内へと更新されるスコア（Ｓ１，Ｓ２，．．ＳＸ）に関連付けることができる。プロセス１６００は、複合スコアテーブルを生成する、センサ（１，２，．．．Ｘ）のそれぞれに対応するスコアテーブルのスコアを用いてメインスコアテーブルを更新するステップ１６１３を含むことができる。ステップ１６１７で、プロセス１６００は、複合スコアテーブル内で最も高いスコアを有するタグを標的タグとして返すことができる。

マスタスコアテーブルの使用
[0118] 図１７は、標的タグを識別するのを助けるための幾つかの情報源を組み込む、マスタスコアテーブルを生成する方法１７００の一例を示す。例えば図１７に示すように、スコアセットを生成するために幾つかの情報源をそれぞれ使用することができ、標的タグの識別を更新するために様々なスコアセットを適切に組み合わせることができる。

[0119] 一部の実施形態では、分類器のアンサンブルを介した供給によって様々な情報源からの様々なスコアを更に分析することができる。様々なスコアは、例えば神経反応を分析することによる信頼スコア（例えば図１７に示すＰ３００スコア）、タグ間の空間的関係に関する情報を使用することによって生成される距離スコア、タグを提示する時系列に関する情報を使用することによる時間スコア、（例えば眼球運動追跡データ又は頭部動作追跡データのエポックを分析することによる）ユーザの目及び／又は頭部の位置に関する情報を使用するビジョンスコア、ユーザが着用する又はユーザの環境内に配置されるセンサ（例えばセンサＸ）から得られる他の感覚パラメータに関する情報（例えば音声コマンド、頭部動作、ジェスチャ等）を使用する他の感覚スコアとすることができる。図１７に示す方法１７００に示すように、利用可能な各タグに対応するそのそれぞれのスコアテーブルからのこれらのスコアの１つ又は複数を組み合わせてアンサンブルスコアデータセットを形成することができる。

[0120] 一部の実施形態では、スコアテーブルのスコアは、図９に示すアンサンブル分類器の例等、分類器のアンサンブルを介して供給することができる。分類器のアンサンブルを一緒に使用して、マスタスコアテーブル内に供給される複合分類スコアを形成することができる。図９に示すように、例えば信頼スコアは分類器１によって最も上手く分類できる一方、距離スコアは分類器２によって最も上手く分類でき、その後も同様に続き、各スコアセットは対応する１組の最も優れたＮ個の分類器を有する。次いで最も優れたＮ個の分類器を選択し（Ｎは所定数又はユーザの自由裁量等である）、アンサンブル分類器（例えば「メランジュ」）が生成される。複合アンサンブル分類器（例えばメランジュ）は、各情報源に対応する各スコアテーブルのスコアを含む特定のデータセットに対して最も優れたＮ個の分類器を適切に使用することができる。一部の実施形態では、複合スコアはその分類に基づいて重み付けすることができる。

[0121] 方法１７００と同様の方法を使用するＢＣＩシステムの一部の実施形態では、（アンサンブル分類器の使用の有無にかかわらず）幾つかのスコアテーブルからのスコアに重み付けすることは、各情報源がどれ位情報を与え得るのかに基づくことができる。図１７に示すように一部の実施形態では、一部の例では訓練セットの選択の精度、訓練中のユーザのパフォーマンス等のパラメータに従い、（アンサンブル分類の有無にかかわらず）複合加重スコアセットに再び重み付けすることができる。一部の実施形態では、複合スコアセットは、ユーザの履歴、エクスペリエンスのレベル、ＵＩ／ＵＸの履歴、ユーザの統計等の適切な情報源に従って適切に重み付けすることもできる。結果として生じる全ての可視タグの複合加重スコアセットは、図１７に示すマスタスコアテーブルを生成するために使用することができる。最も高いスコアを有するタグを標的タグとして識別するために、閾値交差基準等の適切な手法を使用してこのマスタスコアテーブルを評価することができる。同様の又は異なるタグ又はタググループ点滅の複数回の提示を使用してこのマスタスコアテーブルを更新し、マスタスコアテーブルを毎回評価しながら推定の精度を高めること又は繰り返し可能な標的タグの選択を得ることができる。

結論
[0122] 要約すると、ユーザによってリアルタイムで操作可能な統合型脳コンピュータインタフェースの実装に使用するためのシステム及び方法を本明細書に記載した。開示したシステムは、ポインティング制御機能を実装するための眼球運動追跡システム、及びアクション制御機能を実装するための脳活動追跡システムを含む。高速且つ正確な操作を可能にするように戦略的に設計されるＵＩ／ＵＸの提示により、両方の機能が実装される。加えて、開示したシステム及び方法は、任意の適切なプラットフォーム上にリアルタイムＢＣＩを実装して仮想環境、拡張環境、又は実環境のユーザ操作を仲介するために、ハードウェアに依存しないように構成される。図１１は本発明のＢＣＩシステム及び方法の使用空間の説明図を示す。

[0123] 様々な実施形態を上記で説明してきたが、それらは限定ではなく例として示してきたに過ぎないことを理解すべきである。上記の方法は、特定の事象が特定の順序で発生することを示すが、特定の事象の順序は修正され得る。加えて、事象のうちの特定のものは、可能であれば並列プロセスによって同時に実行することができ、更には上記で説明したように逐次的に実行することができる。

[0124] 上記で説明した概略図及び／又は実施形態は特定の構成要素が特定の向き又は位置に配置されることを示すが、構成要素の配置は修正され得る。実施形態を個々に図示し説明してきたが、形式及び詳細の点で様々な変更を加えることができることが理解されよう。相互排他的な組み合わせを除く任意の組み合わせで本明細書に記載の機器及び／又は方法の任意の部分を組み合わせることができる。本明細書に記載の実施形態は、記載した様々な実施形態の機能、構成要素、及び／又は特徴の様々な組み合わせ及び／又はサブコンビネーションを含むことができる。

Claims (22)

1. ユーザに制御インタフェースを提示するように構成されるディスプレイであって、前記制御インタフェースはアクションにそれぞれ関連する複数の制御項目を含む、ディスプレイと、
   前記ユーザに関連する神経信号を記録するように構成される神経記録装置と、
   前記ディスプレイ及び前記神経記録装置に動作可能に結合されるインタフェース装置であって、
   メモリ、並びに
   前記メモリに動作可能に結合され、
   前記制御インタフェースによって１組の刺激を個々に提示することであって、前記１組の刺激の各刺激は前記複数の制御項目の１組の制御項目を含む、提示すること、
   前記１組の刺激の各刺激を提示した後、その刺激に関連する１組の神経信号を前記神経記録装置から受信すること、
   前記１組の刺激の各刺激の前記１組の神経信号に基づいて前記複数の制御項目の各制御項目に関連するスコアを決定すること、
   前記複数の制御項目の各制御項目に関連する前記スコアに基づいて前記ユーザの注目箇所を決定することであって、前記注目箇所は前記複数の制御項目の少なくとも１つの制御項目に関連する、決定すること、及び
   前記注目箇所に基づいて前記ユーザが意図するアクションを決定すること
   を行うように構成されるプロセッサ
   を含む、インタフェース装置と
   を含む、機器。
2. 前記神経信号が、事象関連電位（ＥＲＰ）、運動心像信号、定常状態視覚誘発電位（ＳＳＶＥＰ）、一過性視覚誘発電位（ＴＶＥＰ）、脳状態コマンド、視覚誘発電位（ＶＥＰ）、Ｐ３００誘発電位、感覚誘発電位、運動誘発電位等の誘発電位、ミュー律動又はベータ律動等の感覚運動律動、事象関連脱同期（ＥＲＤ）、事象関連同期（ＥＲＳ）、緩徐脳電位（ＳＣＰ）、又は脳状態依存信号の少なくとも１つを含む脳波記録（ＥＥＧ）信号を含み、
   前記プロセッサが、前記１組の刺激の各刺激の前記１組の神経信号を処理して前記ＥＥＧ信号から１組の特徴に関連する情報を抽出するように更に構成され、
   前記プロセッサが、前記１組の特徴に関連する前記情報を使用して、前記複数の制御項目の各制御項目に関連する前記スコアを決定するように構成される、
   請求項１に記載の機器。
3. 前記１組の特徴が、前記神経信号に含まれる反応の振幅、前記反応の持続時間、前記反応の形状、前記１組の刺激からの刺激を前記提示することに対する前記反応のタイミング、又は前記神経信号に関連する周波数の少なくとも１つを含む、請求項２に記載の機器。
4. 前記ユーザに関連する眼球運動信号を記録するように構成される視標追跡装置を更に含み、
   前記プロセッサが、前記１組の刺激の各刺激を提示した後、その刺激に関連する１組の眼球運動信号を前記視標追跡装置から受信するように更に構成され、
   前記プロセッサが、前記１組の刺激の各刺激に関連する前記１組の神経信号及び前記１組の眼球運動信号に基づいて前記複数の制御項目の各制御項目に関連する前記スコアを決定するように構成される、
   請求項１に記載の機器。
5. 前記１組の制御項目の各制御項目が視覚的表現に関連し、
   前記プロセッサが、提示される前記１組の刺激の刺激ごとに、その刺激に含まれる前記１組の制御項目の各制御項目に関連する前記視覚的表現の外観を変更することによって前記１組の刺激を個々に提示するように構成される、
   請求項１に記載の機器。
6. 前記外観を変更することが、前記視覚的表現のサイズ、色、色調、テクスチャ、輪郭、向き、輝度、厚さ、又は移動度の少なくとも１つを変更することを含む、請求項５に記載の機器。
7. 前記プロセッサが、前記複数の制御項目の各制御項目の尤度推定を計算することによって前記複数の制御項目の各制御項目に関連する前記スコアを決定するように構成され、前記複数の制御項目の各制御項目の前記尤度推定は、前記制御項目が前記ユーザの前記注目箇所に関連する尤度を示す、請求項１に記載の機器。
8. 前記プロセッサは、前記ユーザが意図する前記アクションを実施するように更に構成され、前記アクションは前記複数の制御項目からの制御項目の活性化又は非活性化の少なくとも１つである、請求項１に記載の機器。
9. 前記注目箇所が第１の期間中の第１の注目箇所であり、前記アクションが第１のアクションであり、前記プロセッサが、
   前記第１の期間の後の第２の期間中に前記ユーザの第２の注目箇所を決定することであって、前記第２の注目箇所は前記複数の制御項目の少なくとも１つの制御項目に関連する、決定すること、
   前記ユーザが意図する第２のアクションを前記第２の注目箇所に基づいて決定することであって、前記第２のアクションは前記第１のアクションと異なる、決定すること、及び
   前記第１のアクションを実施した後、前記ユーザが意図する前記第２のアクションを実施すること
   を行うように更に構成される、請求項８に記載の機器。
10. 前記プロセッサが、１組の統計モデルを使用して少なくとも１つの分類方式に従って前記１組の刺激の各刺激に関連する前記１組の神経信号を分類するように更に構成され、
    前記プロセッサが、前記１組の刺激の各刺激に関連する前記１組の神経信号の前記分類に基づき、前記複数の制御項目の各制御項目に関連する前記スコアを決定するように構成される、
    請求項１に記載の機器。
11. プロセッサによって実行される命令を表すコードを記憶する非一時的プロセッサ可読媒体であって、前記命令は、
    １組のアクションを実行するためにユーザによって操作されるように構成される制御インタフェースを生成すること、
    前記制御インタフェースによって前記ユーザに刺激を提示することであって、前記刺激は１組の制御項目を含み、前記１組の制御項目の各制御項目は前記１組のアクションの少なくとも１つのアクションに関連する、提示すること、
    前記ユーザに前記刺激を提示した後、前記ユーザに関連する情報を神経記録装置から受信すること、
    前記神経記録装置から受信される前記情報に基づいて前記１組の制御項目の各制御項目に関連するスコアを決定すること、
    各制御項目に関連する前記スコアに基づいて前記ユーザの注目箇所を決定する、前記１組の制御項目を形成すること、
    前記ユーザの前記注目箇所に関連する前記１組の制御項目から少なくとも１つの制御項目を識別すること
    を前記プロセッサに行わせるためのコードを含む、非一時的プロセッサ可読媒体。
12. 前記神経記録装置から受信される前記情報が前記ユーザに関連する神経信号を含み、前記神経信号は、事象関連電位（ＥＲＰ）、運動心像信号、定常状態視覚誘発電位（ＳＳＶＥＰ）、一過性視覚誘発電位（ＴＶＥＰ）、脳状態コマンド、視覚誘発電位（ＶＥＰ）、Ｐ３００誘発電位、感覚誘発電位、運動誘発電位等の誘発電位、ミュー律動又はベータ律動等の感覚運動律動、事象関連脱同期（ＥＲＤ）、事象関連同期（ＥＲＳ）、緩徐脳電位（ＳＣＰ）、又は脳状態依存信号の少なくとも１つを含む脳波記録（ＥＥＧ）信号を含み、
    前記命令が、前記神経信号を処理して前記ＥＥＧ信号から１組の特徴に関連する情報を抽出することを前記プロセッサに行わせるためのコードを更に含み、
    前記１組の制御項目の各制御項目に関連する前記スコアを前記処理に決定させるための前記コードが、前記１組の特徴に関連する前記情報を使用して前記１組の制御項目の各制御項目に関連する前記スコアを前記プロセッサに決定させるためのコードを含む、
    請求項１１に記載の非一時的プロセッサ可読媒体。
13. 前記スコアが関連する各制御項目を決定する、前記１組の制御項目を形成することを前記プロセッサに行わせるための前記コードが、
    前記１組の制御項目の各制御項目について尤度推定を計算することであって、前記１組の制御項目の各制御項目の前記尤度推定は、その制御項目が前記ユーザの前記注目箇所に関連する尤度を示す、尤度推定を計算すること、及び
    前記１組の制御項目の各制御項目について、その制御項目の前記尤度推定に基づいて１組のスコアを決定すること
    を前記プロセッサに行わせるためのコードを含み、
    前記ユーザの前記注目箇所を前記プロセッサに決定させるための前記コードが、前記１組の制御項目の各制御項目の前記１組のスコアに基づいて前記ユーザの前記注目箇所を前記プロセッサに決定させるためのコードを含む、
    請求項１１に記載の非一時的プロセッサ可読媒体。
14. 前記刺激が前記１組の制御項目に関連する１組の視覚的表現を含み、前記１組の視覚的表現の各視覚的表現は前記１組の制御項目の少なくとも１つの制御項目に関連し、前記１組の制御項目の他の各制御項目の前記視覚的表現に対して異なる位置において前記制御インタフェース内で配置されるように構成され、
    前記１組の制御項目の各制御項目に関連する前記スコアを前記プロセッサに決定させるための前記コードが、前記１組の視覚的表現の各視覚的表現の前記位置に基づき、前記１組の制御項目に関連する１組の距離スコアを前記プロセッサに計算させるためのコードを含み、
    前記ユーザの前記注目箇所を前記プロセッサに決定させるための前記コードが、前記１組の距離スコアに少なくとも部分的に基づいて前記ユーザの前記注目箇所を前記プロセッサに決定させるためのコードを含む、
    請求項１１に記載の非一時的プロセッサ可読媒体。
15. 前記刺激が前記１組の制御項目に関連する１組の視覚的表現を含み、前記１組の視覚的表現の各視覚的表現は前記１組の制御項目の少なくとも１つの制御項目に関連し、前記１組の制御項目の他の各制御項目の前記視覚的表現が提示されるときと異なる時点において前記制御インタフェース内で提示されるように構成され、
    前記１組の制御項目の各制御項目に関連する前記スコアを前記プロセッサに決定させるための前記コードが、前記１組の視覚的表現の各視覚的表現が提示される前記時点に基づき、前記１組の制御項目に関連する１組の時間スコアを前記プロセッサに計算させるためのコードを含み、
    前記ユーザの前記注目箇所を前記プロセッサに決定させるための前記コードが、前記１組の時間スコアに少なくとも部分的に基づいて前記ユーザの前記注目箇所を前記プロセッサに決定させるためのコードを含む、
    請求項１１に記載の非一時的プロセッサ可読媒体。
16. 前記命令が、
    前記ユーザの眼球運動信号を示す情報を視標追跡装置から受信すること、及び
    前記視標追跡装置から受信される前記情報に基づいて前記１組の制御項目に関連する１組の動眼スコアを決定すること
    を前記プロセッサに行わせるためのコードを更に含み、
    前記ユーザの前記注目箇所を前記プロセッサに決定させるための前記コードが、前記１組の動眼スコアに更に基づいて前記ユーザの前記注目箇所を前記プロセッサに決定させるためのコードを含む、
    請求項１１に記載の非一時的プロセッサ可読媒体。
17. 前記刺激が前記１組の制御項目に関連する１組の視覚的表現を含み、前記１組の視覚的表現の各視覚的表現は前記１組の制御項目の少なくとも１つの制御項目に関連し、
    前記１組の制御項目の他の各制御項目の前記視覚的表現に対して異なる位置において前記制御インタフェース内で配置されるように、及び
    前記１組の制御項目の他の各制御項目の前記視覚的表現が提示されるときと異なる時点において前記制御インタフェース内で提示されるように構成され、
    前記１組の制御項目の各制御項目に関連する前記スコアを前記プロセッサに決定させるための前記コードが、
    前記１組の視覚的表現の各視覚的表現の前記位置に基づき、前記１組の制御項目に関連する１組の距離スコアを計算すること、
    前記１組の視覚的表現の各視覚的表現が提示される前記時点に基づき、前記１組の制御項目に関連する１組の時間スコアを計算すること、及び
    視標追跡装置から受信される情報に基づいて前記１組の制御項目に関連する１組の動眼スコアを計算すること
    を前記プロセッサに行わせるためのコードを含み、
    前記ユーザの前記注目箇所を前記プロセッサに決定させるための前記コードが、前記１組の距離スコア、前記１組の時間スコア、及び前記１組の動眼スコアの加重平均に少なくとも部分的に基づいて前記ユーザの前記注目箇所を前記プロセッサに決定させるためのコードを含む、
    請求項１１に記載の非一時的プロセッサ可読媒体。
18. 前記１組の制御項目の各制御項目に関連する前記スコアを前記プロセッサに決定させるための前記コードが、
    複数の分類器に関連する１組の性能パラメータを評価することに基づいて前記複数の分類器から１組の分類器を選択すること、
    前記１組の分類器を使用してアンサンブル分類器を生成すること、及び
    １組のスコアを生成するために前記アンサンブル分類器を使用して前記神経記録装置から受信される前記情報を分析すること
    を前記プロセッサに行わせるためのコードを含み、
    前記ユーザの前記注目箇所を前記プロセッサに決定させるための前記コードが、前記１組のスコアに少なくとも部分的に基づいて前記ユーザの前記注目箇所を前記プロセッサに決定させるためのコードを含む、
    請求項１１に記載の非一時的プロセッサ可読媒体。
19. 第１の期間において制御インタフェースによってユーザに刺激を提示することであって、前記刺激は１組のアクションに関連する１組の制御項目を含む、提示すること、
    前記第１の期間における前記ユーザの挙動に関連する第１の１組の入力を視標追跡装置及び神経記録装置から受信すること、
    前記第１の１組の入力及び前記第１の期間において提示される前記刺激に関連する情報に基づいて第１のスコアデータセットを生成すること、
    前記第１の期間において前記ユーザが意図したアクションに関連する情報を受信すること、
    前記第１のスコアデータセット及び前記第１の期間において前記ユーザが意図する前記アクションに関連する前記情報を使用して１組の分類器を構成することであって、それにより前記１組の分類器が前記第１のスコアデータセットを前記第１の期間において前記ユーザが意図する前記アクションに関連付けることができる、構成すること、
    前記第１の期間の後の第２の期間において、前記制御インタフェースによって前記ユーザに前記刺激を提示すること、
    前記第２の期間における前記ユーザの挙動に関連する第２の１組の入力を前記視標追跡装置及び前記神経記録装置から受信すること、
    前記第２の１組の入力及び前記第２の期間において提示される前記刺激に関連する情報に基づいて第２のスコアデータセットを生成すること、
    前記第１のスコアデータセット及び前記第１の期間において前記ユーザが意図する前記アクションに関連する前記情報を使用して構成される前記１組の分類器を使用し、前記第２の期間において前記ユーザが意図するアクションを前記第２のスコアデータセットに基づいて決定すること
    を含む、方法。
20. 前記１組の分類器を使用して決定される前記アクションの精度を評価することに基づき、前記１組の分類器を修正して修正済みの１組の分類器を生成すること、
    前記第１の期間及び前記第２の期間の後の第３の期間において、前記制御インタフェースによって前記ユーザに前記刺激を提示すること、
    前記第３の期間における前記ユーザの挙動に関連する第３の１組の入力を前記視標追跡装置及び前記神経記録装置から受信すること、
    前記第３の期間において提示される前記刺激に関連する前記第３の１組の入力及び情報に基づいて第３のスコアデータセットを生成すること、及び
    前記修正済みの１組の分類器を使用し、前記第３の期間において前記ユーザが意図するアクションを前記第３のスコアデータセットに基づいて決定すること
    を更に含む、請求項１９に記載の方法。
21. 決定される前記アクションの精度を評価することに基づき、前記視標追跡装置又は前記神経記録装置の１つ又は複数から受信される入力に適用される１組の重みを生成すること、
    前記第１の期間及び前記第２の期間の後の第３の期間において、前記制御インタフェースによって前記ユーザに前記刺激を提示すること、
    前記第３の期間における前記ユーザの挙動に関連する第３の１組の入力を前記視標追跡装置及び前記神経記録装置から受信すること、
    前記第３の期間において提示される前記刺激に関連する前記第３の１組の入力及び情報に基づいて第３のスコアデータセットを生成すること、
    加重スコアデータセットを生成するにより、前記第３のスコアデータセットに前記１組の重みを適用すること、及び
    前記１組の分類器を使用し且つ前記加重スコアデータセットに基づき、前記第３の期間において前記ユーザが意図するアクションを決定すること
    を更に含む、請求項１９に記載の方法。
22. 前記１組の重みは、決定される前記アクションの精度、前記ユーザのエクスペリエンス、及び前記ユーザに関連する履歴情報の少なくとも１つに関連する、請求項２１に記載の方法。

Images