JP2020532031A - 高速視標追跡機能を有する脳−コンピュータインタフェース - Google Patents

Abstract

本明細書に記載する実施形態は、リアルタイムの眼球運動追跡を脳活動追跡と統合して、人間−マシン対話の高速度及び高精度を得るように戦略的に設計されるユーザインタフェースを提示し更新する、脳−コンピュータインタフェースの実装に使用するためのシステム、装置、及び方法に関する。本明細書に記載する実施形態は、リアルタイムの視標追跡及び神経信号のオンライン分析を使用してマシンのユーザ操作を仲介する、ハードウェアに依存しない脳−コンピュータインタフェースの実装にも関する。

Description

関連出願の相互参照
[0001] 本願は、参照によりその開示の全体を本明細書に援用する、２０１７年８月２３日に出願され「高速視標追跡機能を有する脳−コンピュータインタフェース（Brain-Computer Interface with High-Speed Eye Tracking Features）」と題された米国仮特許出願第６２／５４９，２５３号の優先権及び利益を主張する。

背景
[0002] 本明細書に記載する実施形態は、リアルタイムの眼球運動追跡を脳活動追跡と統合して、人間−マシン対話の高速度及び高精度を得るように戦略的に設計されるユーザインタフェースを提示し更新する、脳−コンピュータインタフェースの実装に使用するためのシステム、装置、及び方法に関する。本明細書に記載する実施形態は、リアルタイムの視標追跡及び神経活動のオンライン分析を使用してマシンのユーザ操作を仲介する、ハードウェアに依存しない脳−コンピュータインタフェースの実装にも関する。

[0003] 脳−コンピュータインタフェース（ＢＣＩ）は、結線された脳と外部装置との間の直接通信路を用いて脳活動単独でコンピュータ又は外部装置を制御できるようにするハードウェア及びソフトウェア通信システムである。ＢＣＩは、脳信号を解釈することにより動作中のマシン及びアプリケーションへのアクセスを直接提供するための支援技術として主に設計されている。ＢＣＩ開発の主な目的の１つは、他者との効果的なコミュニケーションが極めて困難であり得る筋萎縮性側索硬化症、脳幹卒中、又は脊髄損傷等の神経学的な神経筋疾患によって完全に麻痺し又は「固定」された重度障害者にコミュニケーション能力を与えることである。

[0004] 脳コンピュータインタフェースの一部の既知の実装形態は、Farwell及びDonchinによって設計されたもの等のスぺラを含む。このスぺラでは、アルファベットの２６文字が他の幾つかの記号及びコマンドと共に、無作為に点滅する行及び列を有する６ｘ６行列内で画面上に表示される。ユーザは画面に注意を集中し、書こうとする文字に連続的に意識を置く一方、シグネチャ信号がないかどうか脳の神経反応がモニタされる。検出されると、シグネチャ信号はシステムが所望の記号を識別することを可能にする。このFarwell-Donchinスぺラは、健常者が１分当たり約２文字の速度でスペルすることを可能にする。

[0005] しかしＢＣＩは、マウス及びキーボード等の従来の入出力インタフェースを必要とすることなしに、コンピュータ若しくは他のデータ処理マシン及び／又はソフトウェアアプリケーションを操作することについて、身体的に可能な人さえも支援するように設計することができる。ＢＣＩは、従来の入力制御よりもコンピュータとの直感的且つ自然な対話のためのインタフェースを提供することもできる。加えてＢＣＩは、人間及び動物の認知体系及び／又は感覚運動体系及びそれらの機能を増強すること、修復すること、並びにマップし調査することを含む他の多くの機能を提供するように開発することもできる。ＢＣＩの一部の応用は、とりわけワードプロセッサ、適応ウェブブラウザ、脳による車椅子又は神経プロテーゼの制御、及びゲームを含む。しかし、殆どの応用は専ら訓練又はデモンストレーション目的で設計されている。

概要
[0006] 眼球運動及び脳活動を追跡してユーザの注視又は注目のリアルタイムの位置決め及び所望のアクションの選択／活性化を仲介するための、ハードウェアに依存しない統合型動眼神経ハイブリッド脳コンピュータインタフェース（ＢＣＩ）プラットフォームの様々な実施形態のためのシステム、装置、及び方法を本明細書に記載する。本開示は、高速度及び高精度で動作する脳コンピュータインタフェースの需要に対処するための統合型ハイブリッドＢＣＩシステムを提示する。

図面の簡単な説明
[0007]一実施形態による、ハイブリッド脳コンピュータインタフェースシステムの概略図である。 [0008]ビデオベースの視標追跡装置の説明図である。 [0009]ビデオベースの視標追跡装置の正面図及び背面図を示す。 [0010]例示的な神経記録ヘッドセットの説明図である。 [0011]神経脳信号を記録するためのユーザの頭皮上の電極配置位置の一例の側面図（左）及び上面図（右）を示す。 [0012]垂直の破線で示す時点において提示される非標的刺激（マゼンタ）に対立するものとしての所望の標的刺激（黒）によって誘発された事象関連電位（ＥＲＰ）の差、神経活動の種類を示す脳から記録された反応の一例を示す。 [0013]刺激を区別しユーザの意図に基づいて刺激を選択し又は選択解除するための、刺激ドライバ神経活動（Ｐ３００信号）の一例を使用するハイブリッドＢＣＩシステムの一例の概略図である。 [0014]（ａ）はユーザ選択前のユーザインタフェースの一例の説明図であり、[0014]（ｂ）はユーザ選択後のユーザインタフェースの一例の説明図であり、[0015]（ｃ）はビデオベースのアイトラッカ及び神経記録ヘッドセットによって（ａ）及び（ｂ）インタフェースと対話するユーザを示す。 [0016]図５Ａの（ｃ）に示すビデオベースのアイトラッカ及び脳活動をモニタする神経記録ヘッドセットによって生成され記録された信号の例を示す。 [0016]図５Ａの（ｃ）に示すビデオベースのアイトラッカ及び脳活動をモニタする神経記録ヘッドセットによって生成され記録された信号の例を示す。 [0017]被験者が自分の決定を意識的に知覚する前でさえ所望のアクションを開始し、実施するために実装可能な高速眼球運動追跡システムの動作を示す。 [0018]一実施形態による、ハイブリッド脳コンピュータインタフェース装置の概略図である。 [0019]一実施形態による、ハイブリッド脳コンピュータインタフェース装置の動作のプロセスの一例を示す。 [0020]一実施形態による、ハイブリッドＢＣＩシステムを使用して１組の神経記録電極から経時的に記録された１組の脳信号の一例を示す。 [0021]別の実施形態による、ハイブリッドＢＣＩシステムを使用して経時的に記録された１組の神経脳信号の一例を示す。 [0022]一実施形態による、ユーザ選択前のユーザインタフェース（左）及びユーザ選択後のユーザインタフェース（右）の一例の事例を示す。 [0023]別の実施形態による、ユーザ選択前後の別のレイアウトをたどる別のユーザインタフェースの一例の事例を示す。 [0024]移動オブジェクトの動的なタグ付けの操作を時間に関して示すユーザインタフェースの一例の幾つかの事例を示す。 [0025]ユーザの能力及びＢＣＩシステムの種類に基づくＢＣＩシステムの利用空間の説明図を示す。

詳細な説明
[0026] 本明細書に記載する実施形態は、リアルタイムの眼球運動追跡を脳活動追跡と統合して、人間−マシン対話の高速度及び高精度を得るように戦略的に設計されるユーザインタフェースを提示し更新する、ハイブリッド脳−コンピュータインタフェース（ＢＣＩ）の実装に使用するためのシステム、装置、及び方法に関する。本明細書に記載する実施形態は、リアルタイムの視標追跡及び神経脳信号のオンライン分析を使用してマシンのユーザ操作を仲介する、ハードウェアに依存しない脳−コンピュータインタフェースの実装にも関する。

[0027] ＢＣＩ技術を患者により適したものにし、一般公衆に有用であるようにし、現実世界の作業の制御において使用されるようにするために、現在の実装と比較して自然な対話のペースに適合するように情報の転送速度を改善しなければならず、誤り率を減らさなければならず、対話インタフェースの複雑さを最低限に抑えなければならない。加えて、ＢＣＩの応用はユーザの高い認知的負荷を要求し、従って現実世界へと静かな実験室環境から離れるようにユーザインタフェースを改善する必要がある。ＢＣＩの装置及び応用をより容易且つ直感的であるように構成するために、高速度及び高精度で動作して自然な直感的プロセスによるユーザ仲介アクション選択を可能にする、脳マシンインタフェースの実装における改善された装置及び技法が求められている。

ハイブリッドＢＣＩシステム
[0028] 本明細書で説明するように、ＢＣＩは脳活動単独でコンピュータ又は外部装置を制御できるようにするハードウェア及びソフトウェア通信システムである。ハイブリッドＢＣＩシステムは、インタフェースによる刺激の表示、インタフェース上のユーザの注目箇所を位置決めするためのハードウェア機器、脳活動を記録し処理するための装置、及びインタフェースの制御を行うための機器を含み、インタフェースの制御はユーザの環境を制御することになり得る。これらの標準機能は（１）ポインティング制御機能、（２）アクション制御機能、及び（３）ユーザインタフェース機能として特徴付けることができる。ポインティング制御機能は、制御するための少数のマニピュレータまでユーザが絞り込むことを可能にするマウスポインタ等の従来のポインティング装置と類比で説明することができる。アクション制御機能は、ユーザがアクションによって変化をもたらすことを可能にする選択装置、例えばマウスのクリック又はキーボードのストロークと類比で説明することができる。アクションは多くのもののうちの１つ、例えばとりわけ活性化又は非活性化、ユーザインタフェースの連続的な変更（例えばスクロール）又は不連続的な開始及び停止（例えば強調表示、ホバリング等）、ピンチ、ズーム、チルト、回転、スワイプを伴うユーザインタフェースの急激な変更とすることができる。ユーザインタフェースによるアクション制御の他の一部の例は仮想キーボード制御、メニューナビゲーション、オブジェクト又は項目を配置及び配置解除するアクション、オブジェクト又は項目を移動させるアクション、オブジェクトを拡大及び／又は縮小するアクション、一人称観察者又はプレーヤの移動又はナビゲーション、観察者の視点の変更、及びグラビング、ピッキング、又はホバリング等のアクションを含み得る。アクション制御のこれらの側面の幾つかを以下で開示する。ハイブリッドＢＣＩシステムにおけるユーザインタフェース機能は、選択メニュー、ナビゲーション制御等を提供するような他の機能に加えて、ポインティング及びアクション制御機能を実装する環境を作成し維持するオペレーティングシステムと類比で説明することができる。

[0029] 本明細書に記載のハイブリッドＢＣＩシステムの一部の実施形態では、ユーザの注目箇所を識別するためのポインティング制御機能及び方法は視標追跡装置を含み得る。一部の実施形態では、ユーザの意図を識別するためのアクション制御機能及び方法は脳内の神経信号をモニタする任意の適切な形態を含み得る。かかる形態は、例えば電気的方法又は光学的方法による脳撮像を含み得る。例えば一部の実施形態では、ハイブリッドＢＣＩシステムは、ユーザの脳信号をＢＣＩコマンドに変換する増幅器及びプロセッサを介して伝えられる脳活動の神経信号を記録する電極を使用することができる。一部の実施形態では、ハイブリッドＢＣＩシステムは脳活動に基づくマシン制御を実装する洗練されたユーザインタフェースを実装することができる。以下で詳細に説明するように、ハイブリッドＢＣＩシステムとの人間の対話の高速度及び高精度を実現するためにこれらの特徴の１つ又は複数に対する特定の適応を実装することができる。

[0030] 図１は、一実施形態によるハイブリッド脳コンピュータインタフェースシステム１００の概略図である。このハイブリッド脳コンピュータインタフェースシステム１００（本明細書では「ハイブリッドＢＣＩシステム」又は「ＢＣＩシステム」又は「システム」とも呼ぶ）の一例は、ビデオベースのアイトラッカ１０２と、ユーザの脳の１つ又は複数の制御信号を記録するための神経記録ヘッドセット１０４とを含む統合型動眼神経ハイブリッドＢＣＩシステムである。制御信号は、脳波記録（ＥＥＧ）、皮質脳波記録（ＥＣｏＧ）、又は脳磁気図記録（ＭＥＧ）等の任意の適切な手法によって記録される神経活動の任意の形式であり得る。神経活動の形式の例は、事象関連電位（ＥＲＰ）、運動心像、視覚誘発電位（ＶＥＰ）、脳状態依存信号等を含む。このハイブリッドＢＣＩシステム１００の一例は、脳−コンピュータインタフェース装置１１０、及び任意選択的に視聴覚ディスプレイ１０６も含む。

[0031] ハイブリッドＢＣＩシステム１００の一部の実施形態では、ビデオベースのアイトラッカ１０２からユーザの注目箇所を決定することができ（即ちポインティング制御機能）、神経脳活動データを収集するために神経記録ヘッドセット１０４を使用することができる（即ちアクション制御機能）。収集された神経及び視標追跡データは、どの刺激が提示されたのかに関するデータと共にアンサンブルとして信号を処理する脳−コンピュータインタフェース装置１１０に伝達することができる。組み合わせられた情報により、脳−コンピュータインタフェース装置１１０は、統計モデルに基づいて関連する信号特徴を検出してユーザの意図を予測することができる。この予測された意図は、例えばディスプレイ１０６によって提示されるユーザインタフェースによってユーザに伝達することができ、作用され得る。

ビデオベースの視標追跡−ポインティング制御機能
[0032] 一部の実施形態では、ビデオベースのアイトラッカ１０２は、２次元空間又は３次元空間内のユーザの眼球運動を素早くたどることにより、ユーザの視野内のどこをユーザが見ているのかを決定するために使用することができる。例えばユーザが自らの眼球運動の随意調節を有するという条件で、ビデオベースアイトレーサ１０２を使用して、ユーザの目がユーザの視野内のどの部分空間を「指しているのか」を決定することができる。換言すれば、ビデオベースのアイトラッカ１０２は、ポインティング制御機能としてユーザの眼球運動の軌跡を使用することができ、被験者の意図及び挙動に関する重要な情報を明らかにする。一部の実施形態では、ユーザが視覚空間内のどこに注目しているのか、どの刺激に注目しているのか、又はどの刺激に反応したのかの側面がＢＣＩシステム１００内で効果的に使用され得る。

[0033] 一部の実施形態では、ビデオベースのアイトラッカ１０２は、ユーザの目を撮像するための頭部装着型の視標追跡ビデオカメラを使用することにより、ユーザの瞳孔及び照明源の表面角膜反射（ＣＲ）を追跡することに依拠する。これらの２つの特徴間の位置差を使用して観察者の視線方向を決定することができる。ビデオベースのアイトラッカ１０２として使用可能な頭部装着型の視標追跡装置の一部の例を図２Ａ及び図２Ｂに示し、それらは数ある商業的なベンダの中でSenseMotoric Instruments、Tobii Eye Tracking、及びPupil-labsから入手可能である。例えば図２Ｂの説明図は、左右のアイカメラが示されているビデオベースのアイトラッカの正面図及び背面図を示す。これらのカメラは有線接続又は無線接続によって互いに接続され得る。ビデオベースのアイトラッカは、使用の視野を捕捉する追加のシーンカメラを含むこともできる。

[0034] 一部の実施形態では、ビデオベースのアイトラッカ１０２は瞳孔の画像と照明源の角膜反射とを同時に記録する。ビデオベースのアイトラッカ１０２は、虹彩によって最適に反射され且つ人間には見えず、そのためユーザを妨げず又はユーザの気を散らさない近赤外（ＩＲ）照明源を使用することができる。強いＩＲ反射率は、瞳孔の検出に特に有益な高コントラスト画像をもたらす。一部の実施形態では、ビデオベースのアイトラッカ１０２は、平行光線が遠方の照明源から放射され光学部品によってコリメートされる、コリメートされた遠距離光源を使用することができる。一部の実施形態では、ビデオベースのアイトラッカ１０２は目を照らすためにコリメートされていない近光源を使用することができ、これにより照明源は目から有限距離（典型的には５０ｍｍ以下）に取り付けられ、光源と目との間には光線をコリメートするための光学部品はない。

[0035] 本明細書で説明するように、ビデオベースのアイトラッカ１０２は目から反射される光を利用し、その光はビデオカメラ又はこの用途のために特別に設計される他の任意の適切な光学センサによって検知される。次いで、検知した光を分析して反射の変化から眼球回転を抽出する。一部の実施形態では、ビデオベースのアイトラッカ１０２は、経時的に追跡するための特徴として角膜反射（即ち第１のプルキンエ像）及び瞳孔の中心を使用することができる。一部の実施形態では、ビデオベースのアイトラッカ１０２は、より敏感な手法で眼球運動を追跡するための特徴として、角膜の前方からの反射（即ち第１のプルキンエ像）及びレンズの裏側からの反射（即ち第４のプルキンエ像）を使用することができる。一部の実施形態では、ビデオベースのアイトラッカ１０２は、例えば網膜血管等の眼球内の特徴を撮像すること、及び眼球が回転するときのこれらの特徴の動きをたどることによって一層敏感な追跡方法を使用することができる。

[0036] 一部の実施形態では、ビデオベースのアイトラッカ１０２は、以下で説明するような統合型ディスプレイを含むことができる。ディスプレイ１０６に統合されるビデオベースのアイトラッカ１０２は、仮想現実空間を見るように構成されるシステムであり得る。一部の実施形態では、ディスプレイ１０６に統合されるビデオベースのアイトラッカ１０２が拡張現実空間を見るように構成され得る。

脳信号の神経記録−アクション制御機能
[0037] 任意のＢＣＩシステムの要は、脳信号をアクション制御機能にする、制御信号として使用可能な脳信号である。モニタされる脳活動の主な種類の１つである電気生理学的活動が、ニューロン間で情報を交換する電気化学送信機によって生成される。ニューロンは、神経細胞群の中及び神経細胞群を横断して流れるイオン電流を発生させる。多種多様な電流経路は、樹状幹を介してソースからシンクに電流を伝える双極子として単純化することができる。これらの細胞内電流は一次電流として知られている。電荷の保存は、一次電流が二次電流として知られる細胞外電流によってエンクローズされることを指示する。

[0038] 本明細書で説明するように、神経記録ヘッドセット１０４は、脳信号を使用して脳活動を測定する記録段階によってユーザの意図に関する情報を集め、その情報をコマンドに変換可能な扱い易い電気信号に変換する。一部の実施形態では、神経記録ヘッドセット１０４は、時間分解能が高く、セットアップ及びメンテナンスのコストが低く、携帯性が高く、ユーザに対して非侵襲的な脳波記録（ＥＥＧ）によって電気生理学的活動を記録するように構成され得る。神経記録ヘッドセット１０４は、異なる脳領域から脳波記録信号を取得するセンサを有する１組の電極を含む。これらのセンサは、ニューロン内の樹状突起のシナプス興奮中の電流の流れによって引き起こされる電気神経活動を測定し、二次電流の影響に極めて敏感である。神経信号は、神経記録ヘッドセット１０４内に適切に配置され、ユーザの頭皮上に配置される電極によって記録される。神経記録ヘッドセット１０４の一実施形態の説明図の一例を図３Ａに示し、同様の神経記録ヘッドセットは数ある商業的なベンダの中でBiosemi、Wearable Sensing、及びG.Tecから入手可能である。

[0039] 一部の実施形態では、神経記録ヘッドセット１０４は電極、増幅器、Ａ／Ｄ変換器、及び記録装置を含むことができる。一部の実施形態では、神経記録ヘッドセット１０４上の電極が頭皮から信号を取得することができ、増幅器がアナログ信号を強めて神経信号の振幅を大きくすることができる。一部の実施形態では、神経記録ヘッドセット１０４内に配置される１つ又は複数の電極が増幅器、Ａ／Ｄ変換器、及び各電極からの信号を記憶するための１つ又は複数の記録装置に直接接続され得る。一部の実施形態では、これらの構成要素が神経記録ヘッドセット１０４内に収容され得る。一部の実施形態では、神経記録ヘッドセット１０４内で即時信号増幅しか行うことができず、Ａ／Ｄ変換及び記録等の他のプロセスは信号をＢ−Ｃインテグレーティング装置１１０に転送した後で実行することができる。

[0040] 一部の実施形態では、神経記録ヘッドセット１０４上の電極は、一般に採用されておりアメリカ脳波学会（American Electroencephalographic Society）によって標準化されているInternational 10-20システムに基づいて頭皮上に配置されるように構成され得る。図３Ｂは、このシステムによる電極の配置の説明図の一例を示す。この10-20システムは、電極の位置を定めるために頭部上の２つの基準点を使用する。これらの基準点の１つは、目と同じレベルで鼻の上部に位置する鼻根点である。もう一方の基準点は、頭蓋骨の基部の骨の塊に見られる外後頭隆起点である。横断面及び正中面がこれらの２つの点から頭蓋骨を分ける。電極位置は、これらの面を１０％及び２０％の間隔で印付けすることによって決定される。各位置における文字はＡが耳垂、Ｃが中央領域、Ｐｇが鼻咽頭、Ｐが頭頂部、Ｆが前頭部、Ｆｐが前頭極、Ｏが後頭部を表すように特定の脳領域に対応する。図３Ｃは、神経記録ヘッドセット１０４を使用して記録された、刺激駆動「神経活動」と一般に呼ばれる刺激後の１組の脳反応の一例を示す。神経信号は、活性電極（信号電極とも呼ばれる）と基準電極との間の電位差として経時的に測定される。一部の実施形態では、接地電極として知られる第３の電極を使用して活性電極と基準電極との間の差動電圧を測定することができる。一部の実施形態では、神経記録ヘッドセット１０４が１つ又は複数の活性電極と、１つ又は複数の基準電極と、１つの接地電極とを含むことができる。一部の実施形態では、神経記録ヘッドセット１０４が、少数の７個の活性電極を含むことができる。一部の実施形態では、神経記録ヘッドセットが最大１２８個又は２５６個の活性電極を含むことができる。電極は塩化銀（ＡｇＣｌ）又は他の任意の適切な材料で作ることができる。電極は、正確な信号を記録するために電極−頭皮の接触インピーダンスを適切に調整することができるように構成され得る。電極−組織の界面は抵抗性であり得るだけでなく容量性の場合があり、従って低域通過フィルタとして振る舞う。インピーダンスは、界面層、電極表面積、及び温度等の幾つかの要因に依存する。

[0041] ユーザの頭皮を横断して非侵襲的に記録される神経信号は、頭皮、頭蓋骨、及び他の多くの層を交差しなければならず、かかる交差は神経信号を弱くし、取得しにくくする場合がある。神経信号は、脳内で又は頭皮の外部で発生する背景雑音の影響を受けることもあり、かかる雑音は記録済みの信号から有意味の情報を抽出する能力に影響を及ぼし得る。神経記録ヘッドセット１０４を含むシステム１００の実施形態は、神経信号の取得を改善するために幾つかの適応を組み込むことができる。例えばゲル（即ち導電性ゲル）を使用して皮膚と各電極との間に導電経路を作り出し、インピーダンスを減少させることができる。一部の実施形態では、神経記録ヘッドセット１０４がゲルの使用を必要としない「ドライ」電極を含むことができ、かかるドライ電極はチタン及びステンレス鋼等の他の材料で作られ得る。一部の実施形態では、神経記録ヘッドセット１０４が、非常に高い電極／皮膚界面インピーダンスに対応するための前置増幅回路を有するドライ活性電極を含み得る。一部の実施形態では、神経記録ヘッドセット１０４が、能動回路を一切有さないが、超高入力インピーダンスで構成される神経記録システムにリンクされ得るドライ受動電極を含むことができる。

[0042] 電気的な生体信号の振幅は、典型的にはマイクロボルトのオーダである。その結果、信号は電子雑音に非常に敏感である。一部の実施形態では、ＢＣＩシステム１００が、とりわけ電磁干渉遮蔽又は同相信号の低減等の適応により雑音の影響を低減するように設計され得る。

ユーザインタフェースの表示及び提示
[0043] 本明細書で説明するように、ハイブリッドＢＣＩシステム１００内のユーザインタフェースは、ユーザ（例えばユーザの脳、目等）とＢＣインタフェース装置１１０との間の通信のリンクとして機能し、ユーザがポインティング制御機能によって特定の刺激に注目しそれを指示し、アクション制御機能を使用して特定の刺激を選択し又は選択解除することを可能にする。戦略的に設計されたユーザインタフェースは任意の様式によって、最も一般的には視覚モードによってユーザに刺激を提示するプロセスを含む。例えばユーザインタフェースは、視覚刺激、聴覚刺激、触覚刺激、又は前庭刺激をユーザに提示するように構成され得る。一部の実施形態では、図１に示すディスプレイ１０６等のディスプレイ上に視覚刺激を提示するユーザインタフェースをレンダリングすることができる。

[0044] 一部の実施形態では、ディスプレイ１０６は、ハイブリッドＢＣＩシステム１００の残りの部分と接続されデータ通信することができる別個の独立型視聴覚ディスプレイユニットとすることができる。つまりオーディオシステム（例えばスピーカ又はヘッドフォン）を備える独立型ディスプレイ（例えば液晶ディスプレイ）は、ハイブリッドＢＣＩシステム１００の他の構成要素、例えばＢＣインタフェース装置１１０、ビデオベースのアイトラッカ１０２、及び神経記録ヘッドセット１０４のうちの１つ又は複数と双方向通信することができる。一部の実施形態では、ディスプレイ１０６がアイグラス領域の一部であるようにビデオベースのアイトラッカ１０２に統合され得る。統合されるビデオベースのアイトラッカ１０２及びディスプレイ１０６は、ディスプレイ１０６上に提示されるユーザインタフェース形式で仮想現実空間を見るように構成され得る。一部の実施形態では、統合されるビデオベースのアイトラッカ１０２及びディスプレイ１０６は、ディスプレイ１０６が半透明のアイグラス領域上にあり、ユーザが拡張現実空間を見ることを可能にするように構成することができる。つまりユーザは、ユーザが対話可能なユーザインタフェースをユーザに提示する統合型ディスプレイ１０６でもある半透明のアイグラス領域によって現実世界を見ることができる。

脳−コンピュータインタフェース装置
[0045] 一部の実施形態では、ＢＣインタフェース装置１１０が３つの主要な機能を達成するように構成され得る。第１に、ＢＣインタフェース装置１１０は、戦略的に設計されたユーザインタフェースを生成するように構成することができる。例えば、戦略的に設計されたユーザインタフェースは訓練セッション用又は試験セッション用であり得る。一部の実施形態では、ユーザインタフェースは仮想現実インタフェース及び／又は拡張現実インタフェースとして設計され得る。一部の実施形態では、ユーザインタフェースは例えば特定のユーザの履歴、反応時間、ユーザ選択等の特定のニーズについて調整することができる。第２に、ユーザインタフェースの設計及び生成に加えて、ＢＣインタフェース装置１１０は（例えばビデオベースのアイトラッカ１０２からの）ポインティング制御信号及び（例えば神経記録ヘッドセット１０４からの）アクション制御信号を受信し、それらの信号をアンサンブルとして処理してユーザの意図を決定するように構成することができる。最後にＢＣインタフェース装置１１０は、（１）神経信号から有意味の特徴を検出すること、及び（２）ユーザの意図に応じて指示されている刺激の変更を実施することにより、ポインティング制御機能及びアクション制御機能を実装するように構成することができる。一部の実施形態では、ＢＣインタフェース装置１１０は、例えば視覚的な様式以外の様式で機能する周辺センサ及びアクチュエータ等、ハイブリッドＢＣＩシステム１００の一部であり得る他の周辺装置に接続することもできる。かかる周辺センサは、オーディオマイクロホン、触覚センサ、加速度計、角度計等を含むことができ、周辺アクチュエータはオーディオスピーカ、触覚刺激プロバイダ等を含むことができる。

[0046] 一部の実施形態では、ＢＣインタフェース装置１１０は、１つ又は複数のデータ通信ポートを介してビデオベースのアイトラッカ１０２、神経記録ヘッドセット１０４、及び任意選択的な視聴覚ディスプレイ１０６との間で信号を送受信する入出力ユニット１４０を含むことができる。信号の転送は有線接続によって、又はBluetooth等の任意の適切な通信チャネルによって無線で行うこともできる。入出力ユニット１４０の機能は、信号の取得、信号の前処理、及び／又は信号の増強等の幾つかの手続きを含むことができる。取得及び／又は前処理された信号は、ＢＣインタフェース装置１１０内のプロセッサ１２０に送ることができる。一部の実施形態では、プロセッサ１２０及びその下位要素（不図示）は、入力データを処理し、メモリ１６０との間でデータをやり取りし、ディスプレイ１０６上に又はビデオベースのアイトラッカ１０２に統合されたディスプレイ上にレンダリング可能なユーザインタフェースを構築し維持する機能を実行するように構成され得る。一部の実施形態では、プロセッサ１２０及びその下位要素は、脳信号のユーザ固有の解釈を可能にするのに必要な機能を実行し、外部装置に中継されるように入出力ユニット１４０への出力信号をパッケージ化するように構成され得る。プロセッサ１２０及びその下位要素の他の機能は、特徴抽出、分類、及び制御インタフェースの操作等の幾つかの手続きを含むことができる。

ハイブリッドＢＣＩシステムにおける制御信号
[0047] 本明細書で説明するように、ハイブリッドＢＣＩシステム１００の目的は、脳活動をモニタし、アクション制御機能として使用可能な制御信号を見つけることによってユーザの意図を解釈することである。ユーザの意図の形成は、認知的作業として表すことができる。図１に示す統合型ハイブリッドＢＣＩシステム１００は、ユーザによって行われる認知的作業によって同時に誘発され又はかかる認知的作業に関係する幾つかのシグネチャ脳信号のうちの１つを使用することができる。これらの脳信号の一部は、人がそれらを自在に変調できるようになり得るやり方で復号することができる。制御信号と見なされるこれらの信号を使用することは、ハイブリッドＢＣＩシステム１００がユーザの意図を解釈することを可能にし得る。従ってハイブリッドＢＣＩシステム１００は、脳からの制御信号を記録及び使用し、脳とコンピュータとの間のインタフェースを制御するアクション制御機能としてそれらを使用することができる。任意の適切な神経活動が、アクション制御機能を実装するために使用される制御信号であり得る。時間に関する神経活動の一部の例は、事象関連電位（ＥＲＰ）、誘発電位（ＥＰ、例えば視覚誘発電位（ＶＥＰ）、聴覚誘発電位、感覚誘発電位、運動誘発電位）、運動心像信号、緩徐皮質電位、脳状態依存信号、及び様々な認知的作業又は感覚運動作業の基礎を成す他の未発見のシグネチャ活動電位を含む。

[0048] 神経活動の形式の一例として、事象関連電位即ちＥＲＰは、時間的に相関する事象又は刺激提示に関係するシグネチャ神経活動であり得る。ＥＲＰは、その検出及び識別を助ける独特な形状及び特徴（トリガ刺激から約３００ｍｓでピークに達することが知られているＰ３００信号等）を有することができる。ＥＲＰは様々な脳領域にわたって程度及び形状に違いがある場合もあり、ＥＲＰが脳領域間をどのようにマップするのかは特定の脳機能及び／又はユーザ意図を示し得る。神経記録ヘッドセットから取得される神経活動データは特定のＥＲＰ信号について分析することができ、適切に検出され分類されると、ＢＣＩ装置１１０はユーザインタフェースの所望の部分上に検出済みのＥＲＰに関連する任意の特定のアクションを実装することができる。

[0049] 制御信号の別の例は、随意運動又は不随意運動の基礎を成す精神的な認知プロセスをユーザが経験することに関連する神経活動信号である運動心像信号の形式であり得る。つまり運動心像信号は、ユーザがアクションを想像し及び／又はアクションを行う間、様々な脳領域から記録され、ＢＣＩシステム１００によって分析され得る脳信号である。ユーザが身体の動き又はジェスチャを行うことが期待される実施形態では、ＢＣＩシステムは訓練セッション中に高精細度でジェスチャを認識するのを助けるために、角度計、捻転計、加速度計等のＢＣＩ装置１１０に結合される１組の周辺センサによって収集される情報を使用することもできる。他の一部の実施形態では、運動心像信号を誘発する１組の動きを想像すれば十分であり得るので、（例えばユーザの１組の動きとその動きによって誘発される１組の運動心像信号との間の関連性をＢＣＩシステムが学習することが認められる訓練セッションの後）身体的な動きをユーザが行うことが要求されない場合がある。

[0050] 制御信号の更に別の例は、脳状態信号又は脳状態依存信号の形式にあり得る。例えばＢＣＩシステムを使用して、ユーザの脳の特定の注意状態又は知覚状態に関連するＥＥＧ信号のパターン又は頭皮トポグラフィを検出することができる。ＢＣＩシステムによって使用可能な神経活動は周波数領域とすることもできる。数ある中でも一部の例は、感覚運動律動、事象関連スペクトル摂動（ＥＲＳＰ）、デルタ、シータ、アルファ、ベータ、ガンマ、又はミュー律動等の特定の信号周波数帯域を含む。一例であるＰ３００誘発電位を以下で説明する。

Ｐ３００信号
[0051] Ｐ３００誘発電位は、低頻度の聴覚刺激、視覚刺激、又は体性感覚刺激による神経信号における正のピークである。Ｐ３００信号は、刺激文脈並びに注意及び覚醒レベルの処理に依存する「内因性」脳信号である。何らかの特定の理論に束縛されることを意図するものではないが、Ｐ３００は、適切な反応を行うために環境のメンタルモデルを変更するのに必要なメカニズムの神経シグネチャだと広く考えられている。従ってＰ３００信号は、注意及びワーキングメモリ等の認知プロセスの重要なシグネチャである。有利には、Ｐ３００に基づくＢＣＩの使用は訓練を必要としない。

[0052] 内因性のＰ３００反応は、統計的に異常な刺激又は幾つかの頻繁な刺激のうちのオドボール刺激として知られている刺激に対応してから約３００ｍｓ（９００ｍｓまで）で誘発される。Ｐ３００信号は、幾つかの脳領域にわたって位置することができ、幾つかの脳プロセスを示し得る。視覚標的を用いて制御された作業を行う被験者に関連する脳活動の記録は、特定の刺激に関連するこれらの一貫したシグネチャ信号の発生を示している。標的に関係する反応は脳の頭頂葉皮質及び帯状束領域において発生することができ、新奇性に関係する活性化は下頭頂葉及び前頭前野において主に生じ得る。刺激の様式に固有の寄与は、視覚的な様式では下側頭皮質及び上頭頂皮質から生じ、聴覚的な様式では上側頭皮質から生じる。

[0053] この大きな（＞１０μＶの）陽性波は、次の刺激の性質について確信がないとき参加者に生じ得る。Ｐ３００は、一連の頻繁な無関係の「非標的」又は「標準」刺激の中で不定期の関連（「標的」）刺激を検出しなければならない「オドボール」パラダイムに一般に関連する。特定の刺激を他の刺激と区別する特定の刺激の関連性を明らかにするために、及びその刺激に注目したときにユーザの意図を明らかにするために、ハイブリッドＢＣＩシステム１００はＰ３００信号等の任意の神経活動を使用することができる。

[0054] システム１００の一例の神経記録ヘッドセット１０４の一例を使用して記録された、別の非標的刺激が提示された場合の特徴的信号の欠如（マゼンタ）と比較した、特定の標的刺激によって誘発されたＰ３００信号（黒線）の一例を図３Ｃに示す。システム１００のユーザインタフェースの一例によって提示されるオドボールパラダイムは、刺激の様式（視覚、聴覚、体性感覚）又は反応の様式（ボタンの押下、カウント）に関係なく、標準刺激と比較し、標的に対する頭頂中心部頭皮の分布（parietocentral scalp distribution）と共にＰ３００反応を確実にもたらすことができる。Ｐ３００反応は、この成分の内因性の性質を際立たせる、一連の規則的な刺激が刺激欠落によって中断されるときにも観測され得る。

[0055] Ｐ３００の振幅は、標的刺激のより低い確率及びより高い識別性と共に大きくなり得る。標的刺激の開始に対するＰ３００信号の潜時は、標的刺激を標準刺激と区別するのがより困難なとき増加し得るが、他の理由で反応時間が長くなるときは増加しない可能性がある。このようにＰ３００の潜時は、反応の選択及び実行と刺激評価の精神時間測定を区別するための魅力的なツールである。Ｐ３００信号の発生及び特定の刺激とのその関連性は、Ｐ３００誘発刺激を非誘発刺激に優先して選択するためのアクション制御機能としてシステム１００によって利用され得る。

[0056] 図４Ａは、一実施形態による、ハイブリッドＢＣＩシステム１００の動作中に神経活動がアクション制御機能としてどのように使用され得るのかの一事例の流れ図を示す。一部の実施形態では、Ｐ３００信号は、第１の刺激を第２の刺激と（変化又は差異として）区別することによってユーザの意図を決定し、ユーザの意図に作用して或る刺激を別の刺激に優先して選択するために使用される神経活動であり得る。記録された反応内のＰ３００信号の有無は、選択を行うために使用することができる。

[0057] 一部の実施形態では、ハイブリッドＢＣＩシステム１００は、ユーザインタフェースによってディスプレイ１０６上の様々な刺激の提示を操作し、刺激提示後の幾つかの脳領域にわたる記録済みの脳信号に基づいてユーザの意図を決定するために使用することができる。神経活動は様々な脳領域にわたって形状及び程度に違いがあり得る。例えば頭頂中心部のＰ３００又はＰ３ｂは、注意が払われる作業関連逸脱刺激、作業に無関係だが、前頭骨中心部の頭皮トポグラフィを有する僅かに早い陽性波を標的が誘発するよりも顕著な逸脱刺激によって誘発される。この新奇Ｐ３００又はＰ３ａ成分は、一連の反復される標準事象及び標的事象内に独特且つ極めて顕著な（「新奇」）刺激を挿入することによって誘発され得る（例えば一連の単純な幾何学的図形内の視覚的なフラクタル）。しかし同様のＰ３ａ成分は、困難な標的／標準区別を使用するパラダイムにおいて、極めて相違した繰り返しのディストラクタによっても誘発され得る。

ＶＥＰ信号
[0058] 視覚誘発電位（ＶＥＰ）信号は、視覚刺激を受けた後に視覚皮質において生じる脳活動変調である。これらの変調は、刺激が中心視野に近づくときのＶＥＰの大きな振幅により検出が比較的容易である。本明細書で開示するハイブリッドＢＣＩシステム１００では、ポインティング制御機能を可能にするための統合型の手法を採用するためにＶＥＰを視標追跡入力と組み合わせて使用することができる。

[0059] ＶＥＰは、一過性ＶＥＰ（ＴＶＥＰ）及び定常状態ＶＥＰ（ＳＳＶＥＰ）として分類することができる。ＴＶＥＰは視覚刺激の周波数が６Ｈｚ未満であるとき発生するのに対し、ＳＳＶＥＰはそれよりも高い周波数の刺激に反応して発生する。ＴＶＥＰは視野内の任意の変化、例えば点滅光、オン若しくはオフにされるパターン、又はそのコントラストが急に反転されるパターンによって誘発され得る。ＴＶＥＰは提示される刺激と共に変化し、ＢＣＩシステムでは殆ど使用されない。

[0060] ＢＣＩシステムでより一般的に使用されるＳＳＶＥＰは、６Ｈｚを超える周波数で変化する視覚刺激によって誘発される。刺激が点滅である場合、ＳＳＶＥＰは正弦波状の波形を示し、その基本周波数は刺激の点滅周波数と同じである。刺激がパターンである場合、ＳＳＶＥＰはリバーサルレート（reversal rate）及びその高調波で発生する。ＴＶＥＰとは対照的に、ＳＳＶＥＰの構成離散周波数成分は長期間にわたって振幅及び位相の点で厳密に一定のままである。ＳＳＶＥＰは、瞬き及び眼球運動によって生成されるアーティファクト及び筋電図の雑音混入の影響をＴＶＥＰよりも受けない。

ハイブリッドＢＣＩシステム：統合型の手法
[0061] 本明細書に記載の通り、ポインティング制御機能を使用可能にし、アクション制御機能を使用可能にするための制御信号として神経活動（例えばＥＲＰ、又は感覚運動信号、運動心像信号、脳状態信号等）を使用できるようにするために、ビデオベースの視標追跡をＶＥＰ若しくはＥＲＰ形式の神経活動又は他の形式の神経活動と組み合わせて使用することができる。ＢＣインタフェース装置１１０は、統合信号をアンサンブルとして処理するように構成することができる。一部の実施形態では、ユーザの注視点を特定するための統合型のハイブリッド手法を得るために、ハイブリッドＢＣＩシステム１００は、ビデオベースのアイトラッカ１０２からの視標追跡信号に加えて神経記録ヘッドセット１０４からのＳＳＶＥＰ信号を使用することができる。つまり一部の実施形態では、ビデオベースのアイトラッカ１０２を使用し、眼筋の動きを伝える動眼データによって任意の適切な形式の眼球運動情報、例えば衝動性、中心固視、及び／又は瞳孔拡張情報、並びに中心固視情報を検出することができる。衝動性眼球位置に関する情報は神経記録ヘッドセット１０４から取得される神経活動、例えば視覚反応によって誘発されるＥＲＰから間接的に得ることもできる。例えばハイブリッドＢＣＩシステム１００は、因果関係を形成するためにＥＲＰの発生を時間及び空間における特定の刺激の提示と相関させるように構成され得る。従ってビデオベースのアイトラッカ１０２からの動眼データは、視覚誘発神経活動からのデータ及びディスプレイによって与えられるユーザインタフェース内の刺激の戦略的な提示と組み合わせることができる。

[0062] 眼球運動を追跡するための統合型のハイブリッド手法は、注視を決定するために提供される情報内でビデオベースのアイトラッカ１０２からの信号と視覚誘発神経活動とが互いを補完しながら、ポインティング制御機能としてユーザが自身の視線方向の随意運動によって標的を素早く選択することを可能にする。ユーザは標的への注意を視覚的に固定し、ＢＣインタフェース装置１１０は、神経活動の特徴分析及びビデオベースのアイトラッカ信号の特徴分析によって標的を識別することができる。特にハイブリッドＢＣＩシステム１００では、ビデオベースのアイトラッカ１０２及び神経記録ヘッドセット１０４からの信号が、信号源ごとに適切な重み付けを伴ってＢＣインタフェース装置１１０によってアンサンブルとして分析される。

[0063] 例えばハイブリッドＢＣＩシステム１００は、神経記録ヘッドセット１０４によって記録される、ユーザによって望まれ得る特定の刺激によって誘発される視覚誘発神経活動を利用することができる。ビジュアルディスプレイ（例えばディスプレイ１０６）上に提示されるユーザインタフェースは、記号又はコマンドの行列を特定の配置で含むことができる。例えば記号は行及び列内に配置することができ、この行列の行又は列は神経信号をモニタしながら無作為に点滅させることができる。ユーザが所望の記号を注視すると、所望の記号を含む行又は列が点滅するときだけ神経活動を誘発され得る。ハイブリッドＢＣＩシステム１００は、三角測量によって測量しユーザにとって望ましい標的記号を素早く特定し決定するために、ビデオベースのアイトラッカ１０２からのデータ（即ち眼球運動データ）及び神経記録ヘッドセット１０４からのデータ（即ち刺激提示データ）を使用することができる。

[0064] ハイブリッドＢＣＩシステム１００は、所望の標的刺激を決定するためにアンサンブル処理技法を使用することができる。アンサンブル処理技法は、眼球位置、刺激提示、視覚反応に関連する神経活動及び脳信号を含む、利用可能な１つ又は複数の情報源からの信号を適切に重み付けすることによって同時に処理することができる。所望の標的記号を特定し決定すると、ハイブリッドＢＣＩシステム１００は記録済みの神経活動（例えばＰ３００信号）を使用してアクション制御機能を実装することができる。

[0065] 例えばハイブリッドＢＣＩシステム１００の他の一部の実施形態では、１つ又は複数のモードの下で動作し、アクション制御機能は、神経活動が誘発される時点における眼球位置の位置にかかわらず、その時点における刺激提示にのみに基づいて刺激を選択するように実装され得る。このモードでは、アンサンブル処理中に刺激提示情報を優先するように信号の重み付けを歪めることができる。

[0066] 或いは一部の実施形態では、アクション制御機能が１つ又は複数のモードで実施されてもよく、ハイブリッドＢＣＩシステムは神経活動が検出される時点において（適切なユーザ反応時間及び反応遅延を考慮して）ユーザが注視している可能性がある任意の特徴を選択する。従って、どの刺激が神経活動を誘発させた可能性があるのかにかかわらず、神経活動が検出されるときにユーザの注視が通過する任意の記号又は刺激が選択される。この機能は、アンサンブル処理中にどの刺激を選択するのかを決定するために、眼球位置信号を優先するように重み付けを変えることによって実装され得る。ハイブリッドＢＣＩシステム１００の実施形態は、上記で提示した両方のシナリオ、並びに使用される様々な信号、例えば眼球位置信号、刺激提示情報（刺激の特性、提示の時空間的側面、提示の順序等を含む）及び記録される神経活動に与えられる重み付けを適切に変更することによってそれらのモードの例の間で同じく動作し得る他の中間モードが可能な動作モードを含み得る。ハイブリッドＢＣＩシステム１００は、ユーザの目の生体モデル、特定の刺激によって生成される特定の神経活動の過去の情報又はリアルタイムで集められる）累積情報に基づく尤度推定を含む他の情報源を使用することもできる。

[0067] 一部の実施形態では、ユーザの選択を複数回サンプリングするために、配置された記号を異なる組み合わせで数回点滅させることができる。それぞれの組み合わせからの信号を平均して、正しい記号を検出する精度を改善することができる。視覚的記号は聴覚刺激又は触覚刺激等の他の様式の刺激を伴い得る。

[0068] ＢＣＩシステムでは概して試行の反復が面倒な場合があり、Ｐ３００等の神経活動信号を用いた選択のプロセスを遅くすることがある。しかし、反復を減らすことは選択の精度を下げるリスクをおかす可能性がある。本明細書に記載のハイブリッドＢＣＩシステム１００では、以下で説明するような洗練された分類器を用いることにより、反復試行の数を少なく維持しながら神経活動に基づく選択の精度を改善することができる。刺激提示の特性（例えば視覚的記号の表示）を最適化することにより、及び刺激の適切な特性（例えば記号の寸法又は色、その配置等）を選択し変更することにより、視覚誘発神経活動の検出精度及び全般的なユーザエクスペリエンスを改善することもできる。エクスペリエンスは、挙動を予測するためにユーザからの特定のフィードバックを使用するようにユーザインタフェースを構成することによって改善することもできる。

[0069] 神経記録ヘッドセット１０４からの神経活動に加えてビデオベースのアイトラッカ１０２を使用する利点の１つは、ロバストな信号取得を維持しながら眼球運動を非常に迅速に分析できることである。洗練された分析ルーチンを実施することにより、ユーザの注視位置及び注目位置をリアルタイムで処理することができる。更にビデオベースのアイトラッカ１０２は、神経記録ヘッドセット１０４によって記録される神経活動と同じ雑音源の影響を受けない可能性がある。本明細書に記載の統合型の手法において神経活動並びにビデオベースのアイトラッカ信号の両方を使用して眼球運動を処理することは、望ましい高速且つ高精度のインタフェースに適したよりロバストな信号を提供することができる。この構成では、一方のチャネルが他方のチャネルの弱点を補償することができる。更に、両方のデータセットをアンサンブルとして処理する手法は、ユーザの履歴及びナビゲートされるインタフェースの特定の詳細等の他のパラメータに従って個々の信号に適切に重み付けすることを可能にする。

[0070] 一部の実施形態では、動眼反応を使用して刺激提示の順序を変更することができる。視覚誘発神経活動は、高精度の眼球運動検出を有しながら刺激の反復的な点滅を必要とする。そのような点滅はユーザエクスペリエンスに不快な影響を及ぼす可能性がある。これを回避するために、ハイブリッドＢＣＩシステム１００は、例えば動眼情報からユーザの注目の象限を推定し、ディスプレイのその象限に点滅させる必要がある視覚刺激の数を減らし又は制限することができる。従ってディスプレイの小区分の点滅はサッカードにリンクすることができ、その位置へのサッカード後にのみ点滅をトリガすることができる。

ハイブリッドＢＣＩシステムとのユーザ対話
[0071] 図５Ａ〜図５Ｄは、一実施形態による、ハイブリッドＢＣＩシステム１００とのユーザの対話を示す。この例ではハイブリッドＢＣＩシステム１００が２段階プロセスで単語をスペルするために使用されており、図５Ａの（ａ）ではディスプレイ１０６が字（例えばキーボード上で一般に見つかる文字、数字、及び記号）の幾つかのサブグループを提示する。図５Ａの（ｃ）に示すように、ユーザはビデオベースのアイトラッカ１０２及び神経記録ヘッドセット１０４を着用する。ユーザが所望の文字を含むサブグループ（例えば図５Ａの（ａ）の中の強調表示した円によって示すサブグループ）に注視を集中させると、ディスプレイ１０６内で提示されるユーザインタフェースは、注目されたサブグループが拡大されている図５Ａの（ｂ）に示すユーザインタフェースに変わる。ユーザは、そのサブグループ内の所望の特定の文字に自分の注視を集中させることによって文字を選択するアクションを行うことができる。次いで、単語又は文を形成する際に使用される文字の選択を行うために記録される神経活動を使用することによってアクション制御機能が実施される。

[0072] 図５Ａの（ａ）及び（ｂ）に関して上記で説明したポインティング制御機能は、図５Ａの（ｃ）に示すビデオベースのアイトラッカ１０２を用いて実施される。ビデオベースのアイトラッカ１０２は、ユーザが何処に自分の注視を集中させているのかを検出し、例えば図５Ｂに示すような信号を出力するように構成される。アクション制御機能（即ち活性化）は、図５Ａの（ｃ）に示す神経記録ヘッドセット１０４を用いて実装される。神経記録ヘッドセット１０４は、ユーザの脳からの神経信号を記録し、例えば図５Ｃに示すような信号を出力するように構成される。次いでプロセッサ（不図示）が、視標追跡信号（図５Ｂ）及び神経信号（図５Ｃ）から有意味の特徴をアンサンブルとして抽出し、教師なし及び／又は半教師付きのやり方で又は各々のユーザとの厳しい訓練によって構築される事前モデルに基づいて信号を分類することによってそれらを分析することができる。分析されるデータは、ユーザの注目箇所及び／又は注目が予測される記号の選択若しくは活性化等のユーザ挙動を予測するために使用され得る。

[0073] 図５Ｄは、ビデオベースの視標追跡をたどる時間に関する事象の流れの一例を示す。一部の実施形態では、図５Ｄの例に示すように、ユーザによる自己運動の意識的知覚の前でさえ、ハイブリッドＢＣＩシステムによって衝動性眼球運動を検出することができる。つまり眼球運動は、ユーザの意識的な決断の直後に更にはその前に発生するときオンラインで検出され得る。例えばユーザは、図５Ａの（ａ）に示す或る文字のグループに注目することができ、別のグループへの眼球運動を行い始めることができる。自分自身の動きを意識的に認識する前にさえ、本明細書で開示するハイブリッドＢＣＩシステムは眼球運動を検出し使用してユーザインタフェースを適切であるように適応させることができ、この事例では適応は次の文字のグループを拡大することである。

ハイブリッドＢＣＩシステムの一例
[0074] 図６は、一実施形態によるハイブリッドＢＣＩシステム６００を示す。一部の実施形態では、ＢＣＩシステム６００は、図１に関して上記で説明したハイブリッドＢＣＩシステム１００の対応する部分と構造及び／又は機能の点で同様であり得る。例えばＢＣＩシステム６００は、ハイブリッドＢＣＩシステム１００のビデオベースのアイトラッカ１０６、神経記録ヘッドセット１０４、任意選択的なディスプレイ１０６、及び脳−コンピュータインタフェース装置１１０と同じ又は同様であり得るビデオベースのアイトラッカ６０６、神経記録ヘッドセット６０４、任意選択的なディスプレイ６０６、及び脳−コンピュータインタフェース装置６１０を含む。従って、そのような同様の部分及び／又は側面についてはここで更に詳細に説明することはない。

[0075] 一部の実施形態では、脳−コンピュータインタフェース装置６１０のプロセッサ６２０は、入出力ユニット６４０を介して視標追跡及び神経信号データを受信し、互いに同期するように信号データをタイムスタンプする同期事象ロガー６２２を含むことができる。一部の実施形態では、同期事象ロガー６２２は高速眼球運動分類を実行するように構成され得る。

[0076] 注視信号は、衝動性（短い持続時間）及び中心固視（長い持続時間）の期間に分解することができる。現在の標準の閾値に基づくサッカード検出アルゴリズムに固有の時間的遅延を克服できる場合、これらの異なる注視の成分をより上手く利用することができる。加えて、ビデオベースのアイトラッカは、とりわけ瞬き及び目に対するカメラの動きに関係する非生理学的アーティファクトに関連し得る。数ある中でもこれらの制限を克服するために、一部の実施形態では、同期事象ロガー６２２はカスタム機械学習アルゴリズムを有する確率的フィルタシステムを組み込んで、アイトラッカカメラのサンプリングレート要件を最小化しながら高速眼球運動検出を可能にすることができる。具体的には同期事象ロガー６２２は、明確な訓練を必要とせず、運動開始の２マイクロ秒以内にリアルタイムでサッカードを検出することができる機械学習分類器と組み合わせられる無遅延フィルタを実装することができる。

[0077] 典型的には、現在利用可能なＢＣＩによって実装される時系列にわたる任意の平滑化関数（例えばバターワースフィルタ、移動平均、フィルタ）は実際の測定値と比較して平滑化された値に遅延を生ぜしめ、高速リアルタイム注視分類システムを妨げる。一部の実施形態では、本明細書に記載の脳−コンピュータインタフェース装置６１０が、注視運動学及びビデオベースのアイトラッカの技術的パラメータに基づく状態及び測定モデルと共に、ダイナミカルシステムとして注視を推定する非線形生成モデルを使用することができる。一部の実施形態では、雑音の多い注視データの隠れ状態を推定し基礎を成すシステムモデルを概算するために二重カルマンフィルタに基づく二重推定を使用することができる。かかる実装形態は、時間的遅延を生ぜしめることなしに注視データのフィルタリングを可能にし得る。加えて、カメラのサンプリングレートが下げられる場合又は一過性アーティファクトが生じる場合、理論的な注視運動学モデルを使用して欠落した注視データを推定することができる。同時にこれは、ユーザの明示的知識なしに自動的に訓練され、眼球運動を運動後ではなく運動中にリアルタイムで検出する機械学習分類システムをもたらす。

[0078] 一部の実施形態では、同期事象ロガー６２２は、統合型の手法の例の中で説明したように異なる生理学的信号を使用して注意のアンサンブル推定を実施するように構成することができる。一部の実施形態では、同期事象ロガー６２２は選択精度を上げるために（１）ベイズ線形判別システム、（２）最新式の前処理、（３）空間フィルタリング、（４）バギングアンサンブル分類器アルゴリズム、及び（５）実験的作業中にプログラムルーチンと共に分類アルゴリズムからの情報を組み込む高次のオラクルアルゴリズムを使用する分析パイプラインを実装するように構成することができる。脳−コンピュータインタフェース装置６１０は、パイプライン内の分離可能成分の並列化及び非同期処理を使用して消費者レベルのパーソナルコンピュータ上での性能を保証するように構成することもできる。

[0079] 一部の実施形態では、同期事象ロガー６２２は、本明細書に記載の通りユーザの意図を検出するために、収集されたアンサンブル内の動眼神経データのリアルタイム処理について構成され得る。例えば、提示される各視覚刺激は神経記録ヘッドセット６０４によって捕捉されるシグネチャ神経活動（例えばＰ３００信号）を誘発し得る。本明細書に記載の通り、神経活動はユーザの刺激に対する注意及び行動する意図を示す制御信号として働くことができ、視覚刺激又はタグごとの神経活動分類スコアに従って特定の視覚刺激又はタグにおける明白な注意の確率を推定することができる。網膜内の高忠実度の中心窩領域の受容野に応じて、注視固定を中心とした視覚空間内の角度（degrees）に基づく空間的不確実性並びに明白な注意を反映する刺激に関連する信号の減衰があり得る。神経活動スコアの定量化及び信号の減衰は、異なる生理学的信号を組み合わせる機械学習の課題並びに時間の経過に伴う神経活動信号の潜時における時間的ドリフトを解決する、リアルタイム且つ正確な動眼神経記録に基づくユーザ意図分類に使用することができる。更にかかる定量化及び信号の減衰は、個々の視覚刺激及び注視位置信号が複数のオブジェクトについて明白な注意の確率を更新することができるように信号情報を最大化する。

[0080] 一部の実施形態では、プロセッサ６２０が、ユーザインタフェースによってレンダリングされる訓練環境を提示するように構成されるトレーナ６２４を含み得る。訓練環境は、１組の所定の制御された刺激をユーザに提示し、結果として起きる眼球運動及び／又は脳活動を記録するように構成され得る。この１組の制御された刺激並びに制御された刺激のそれぞれに対応する誘発された眼球活動及び脳活動はメモリ６６０内に記憶され、個々のユーザに合わせて作られる統計モデルを構築するための訓練データとしてモデルビルダ６２６によって使用され得る。モデルビルダ６２６は、次元縮退法、特徴抽出法、機械学習ツール等の１つ又は複数の統計ツールを使用して分類器等を構築することができる。モデルはトレーナ６２４によって提供される訓練データを用いて構築し、試験し、クロス確認することができ、次いでその特定のユーザからの新たなデータと共に使用してユーザインタフェースとの対話の高精度及び高速度を実現することができる。

[0081] 一部の実施形態では、プロセッサ６２０が予測器６２８を含むことができ、予測器６２８は特定のユーザから新たなデータを受信し、モデルビルダ６２６からの結果に基づいてそのデータを分類し、最大尤度推定、最大事後推定等の統計ツールを使用してユーザ挙動の予測を生成することができる。一部の実施形態では、プロセッサ６２０が、視標追跡及び脳信号データ並びにプロセッサ６２０の他の下位要素（例えばトレーナ６２４、モデルビルダ６２６、及び予測器６２８）からのデータを受信するアーキテクチャデベロッパ６３２も含むことができる。アーキテクチャデベロッパ６３２はリアルタイムの使用を意図するものではないが、潜在的なＢＣＩアルゴリズム検出アーキテクチャの試作モデルを作ることに向けてロバストな統計分析をオフラインで行うためのものであり得る。

ハイブリッドＢＣＩシステムの使用及び実装
[0082] 図７は、一実施形態による、統合型ハイブリッド脳コンピュータインタフェース装置の動作のプロセス７００の一例を示す。一部の実施形態では、プロセス７００は、或る時点において神経記録ヘッドセット及びアイトラッカ（及び他の周辺センサ及び／又はアクチュエータ）に関連する特定のユーザについてデータの取得及び前処理を開始する最初のステップ７０１を含む。この開始及び信号取得は、例えば同期事象ロガー６２２によって実行され得る。プロセス７００は、上記のトレーナ６２４等のトレーナによって実施される訓練環境を適用するステップ７０３も含む。訓練環境の提示は、ステップ７０５で表示される１組の予めプログラムされ制御された刺激を含むことができ、結果として起きる眼球運動及び脳活動をステップ７０７で記録することができる。変更されるが制御された刺激の提示並びに対応する眼球運動及び脳データの収集は、一連の刺激についてステップ７１９によって示すように繰り返すことができる。データはモデルビルダ（例えばモデルビルダ６２６）に供給することができ、モデルは訓練セット内の新たな刺激の各組を用いて更新され得る。その後プロセス７００は、１つ又は複数の新奇刺激を含むが、システムが訓練された事前プログラム刺激の１つ又は複数に関連し得る新たな環境を提示することを含み得る。モデルビルダ６２６によって構築される統計モデルを使用し、予測器６２８は任意の適切な統計ツールを使用して、ステップ７１３で注目箇所を決定すること等のユーザ挙動の予測を生成し、ステップ７１５で脳データからユーザの（即ち表示された特定の記号を選択し又は活性化する）意図を推定することができる。この予測に基づき、プロセス７００はユーザインタフェース内のユーザの意図を実現するステップ７１７を含む。例えばステップ７１７は、スぺラ内の文字を選択すること、又はゲーム内のキャラクタを選択すること、又は拡張現実システム内で操作可能なＴＶシステムに関連するオン機能を選択することを含み得る。

ハイブリッドＢＣＩシステムの適応
動作モード
[0083] 本明細書に記載のハイブリッドＢＣＩシステム１００及び／又は６００並びに他の実施形態は、ＶＥＰ、聴覚誘発電位（ＡＥＰ）、又はＰ３００信号等の外部刺激によって誘発される脳活動を使用する外因性ＢＣＩシステムとして構成することができる。外因性システムは広範な訓練を必要とせず、それは神経活動からのその制御信号を容易且つ迅速に設定できるからである。とりわけ信号制御はより少ない神経記録チャネルを用いて実現することができ、最大６０ビット／分の速い情報転送速度を実現することができる。

[0084] 一部の実施形態では、ハイブリッドＢＣＩシステム１００、６００は、外部刺激なしに脳律動及び脳電位の自己調整に基づく内因性ＢＣＩシステムとして動作するように適応され得る。例えばニューロフィードバック訓練により、ユーザは感覚運動律動における変調等、ＢＣＩによって復号され得る特定の脳パターンを生成することを学習する。内因性ＢＣＩの１つの利点は、ユーザが自由にＢＣＩを操作し、２次元空間内の任意の点へのカーソル等のポインティング制御機能の動きに変わる随意運動を行い又は想像できることである。ユーザインタフェースの操作上の制御を得るために手のジェスチャ等の他の特徴もキューと共に訓練し、キューとして使用することができ、提示されている選択肢にユーザが制限されることに対する任意の制約を軽減することができる。

[0085] 一部の実施形態では、ハイブリッドＢＣＩシステム１００、６００は同期（キューペース：cue-paced）モード又は非同期（自己ペース：self-paced）モードで使用することができる。ＢＣＩの同期モードは、特定の刺激によって引き起こされる脳活動の既定の時間窓に注目するより単純な設計のものとすることができる。同期モードでは、ハイブリッドＢＣＩシステム１００、６００は既定の時間窓の間の脳信号だけ分析することができ、窓の外側の如何なる脳信号も無視することができる。従ってユーザは、ハイブリッドＢＣＩシステム１００、６００によって決定される特定の期間中にしかコマンドを送ることが認められない。同期モードの１つの利点は、精神活動の開始が事前に分かっており、特定のキューに関連することである。ユーザは瞬き及び他の眼球運動又は身体運動を何気なく行うこともあり、それらはアーティファクトを生じさせることがある。指定の時間窓の外側の脳信号は分析されないので、判断を誤らせるようなこれらのアーティファクトの効果が回避される。

[0086] 一部の実施形態では、ハイブリッドＢＣＩシステム１００、６００が非同期モードで動作することができ、非同期モードはユーザが行動するときに関係なく脳信号を継続的に分析する。より複雑であり、従って計算上の要求が一層大きいが、非同期モードはユーザが如何なる外部キューも待つ必要がないので人間−マシン対話のより自然なモードを提供することができる。加えて、ユーザは自らのアクションの通常の過程中にハイブリッドＢＣＩシステム１００、６００と対話するので、より豊富なデータが収集される。

高速信号検出及び分類の実装
[0087] 本明細書に記載の動眼神経統合型ハイブリッドＢＣＩシステムは、ビデオベースのアイトラッカ１０２からの信号等の動眼信号、並びに選択及び活性化信号としてのＶＥＰを含む神経信号それぞれの強みを知的且つ柔軟に活用する。このシステムの１つの重要な構成要素は眼球運動の高速分類である。同期事象ロガー６２２の動作に関して上記で説明したように、ハイブリッドＢＣＩシステム６００は遅延のないやり方でサッカード検出を行うように構成され得る。例えばハイブリッドＢＣＩシステム６００は、注視運動学及びビデオベースのアイトラッカの技術的パラメータに基づく状態及び測定モデルと共に、ダイナミカルシステムとして注視を推定する非線形生成モデルを使用して注視データをゼロ遅延でフィルタすることができる。雑音の多い注視データの隠れ状態を推定し基礎を成すシステムモデルを概算するために二重カルマンフィルタに基づく二重推定を使用することができる。従って、時間的遅延を生ぜしめることなしに注視データのフィルタリングを実現することができる。加えて、カメラのサンプリングレートが下げられる場合又は一過性アーティファクトが生じる場合、理論的な注視運動学モデルが欠落した注視データを推定することができる。ハイブリッドＢＣＩシステム６００は、明確な訓練セッションなしに自動的に訓練され、眼球運動のリアルタイム検出を可能にする機械学習分類システムを含むこともできる。

[0088] 一部の実施形態では、無遅延のサッカード検出は、眼球運動が進行中でありながらサッカードの開始を検出する能力になり得る。例えば図５Ｄに示すように、検出潜時（サッカード開始の約２ｍｓ後）は、視覚的シーンの変化の人間による知覚（約５０〜１５０ｍｓ）よりも短い場合がある。従って、ハイブリッドＢＣＩシステム１００及び／又は６００は、視覚情報の変化をユーザが認識する前に、ユーザが何処を見るのかの予測としてサッカード開始ベクトルを使用し、それに応じてユーザ環境を更新することができる。例えばプログラム又はゲーム中に、ユーザはゲームを一時停止することを思い立つ場合がある。ユーザの目が一時停止メニュー項目に向けて方向を変え始めるときサッカード開始ベクトルを使用して、ユーザが注視を変えて一時停止メニュー項目に注目する前に一時停止する意図を予測し、一時停止メニューを選択することができる。一部の実施形態では、検出潜時は約１．００ｍｓ、２．００ｍｓ、３．００ｍｓ、５．００ｍｓ、１０．００ｍｓ、又は１５．００ｍｓ（又はその間の任意の期間）であり得る。

アーティファクトの処置
[0089] アーティファクトとは脳活動を不純にする不所望の信号であり、大部分が非脳起源である。神経学的現象の形状が影響を受けるので、アーティファクトはＢＣＩベースシステムの性能を低下させる可能性がある。アーティファクトは、起源が生理学的若しくは非生理学的、又は技術的アーティファクトであり得る。

[0090] 生理学的アーティファクトは、通常は筋肉活動、眼球活動、及び心臓活動に起因する。脳信号における大きな乱れは、患者が会話し、咀嚼し、又は嚥下しているときに生じる筋収縮によって引き起こされる電気的活動から生じ得る。他のアーティファクトは、瞬き及び他の眼球運動によって引き起こされ得る。瞬きは、低周波数パターンを生成する眼球運動とは対照的に、脳信号上の概して高振幅のパターンを作る。心臓活動に関連するアーティファクトは、脳活動内に律動信号を生ぜしめる。技術的アーティファクトは、主に電力線雑音又は電極インピーダンスの変化によるものであり、適切なフィルタリング又は遮蔽によって通常は回避することができる。生理学的アーティファクトの回避は困難であり、阻止手法はアーティファクトによって不純にされたエポックを破棄することを提案する。アーティファクトの振幅が小さ過ぎる場合は自動阻止が失敗し得る。加えて阻止方法は、アーティファクトによって不純にされた信号を廃棄するとき、ユーザが装置の制御を失う対話の部分を引き起こす。サンプルを阻止する代わりに、アーティファクト除去手法は、神経学的現象をそのまま維持しながらアーティファクトを識別し除去しようと試みる。神経におけるアーティファクトを除去するための一般的な方法は、線形フィルタリング、線形結合及び回帰、ＢＳＳ及びＰＣＡである。脳信号の記録からアーティファクトを除去する代わりに、システム１００及び／又は６００は使用可能な通信路を提供するためにアーティファクトを処理することができる。

[0091] 一部の実施形態では、ハイブリッドＢＣＩシステム１００、６００は、ユーザエクスペリエンスに資するようにアーティファクトから利益を得ることができる。例えばシステム１００、６００は、瞬目、歯を食いしばること、及び他の心臓に関係する変化等のアーティファクト運動を検出するように構成され得る。これらのアーティファクトを検出し分類することは、無雑音の応用のために元の神経信号を使用する余地を与える。一部の実施形態では、動眼神経データ内の検出されたアーティファクトは、ユーザの挙動におけるそれらのアーティファクトの既知の因果関係を理由に活用することもできる。例えば瞬目、歯を食いしばること、及び顔の表情等のアーティファクトは、以下で開示するようにアクション制御機能を実装するための制御信号として使用することができる。

[0092] 非同期モードで動作するハイブリッドＢＣＩシステム１００、６００の実施形態は、クラスタリングモデルと共にワーム訓練セット（warm training set）を組み込む教師なし分類システムと、ｎ次元特徴空間内のユークリッド距離の検査とを使用することができる。によって実行され得るアーティファクト識別手法はデータのスライディングウィンドウを使用し、スライディングウィンドウでは特徴が計算され、ｎ次元空間上のクラスタリングモデルに基づいて分類される。経時的に記述されたアーティファクトの強度を使用して、任意の適切なクラスタベースの技法、例えば各クラスタ重心までのデータ点のユークリッド距離に基づく分類法によって分類することができる。

[0093] 従来のＢＣＩシステムはデータを記録し、設定された時間間隔において記録済みの信号を抽出し処理してユーザの意図及びユーザの状態を決定する。一部の実施形態では、本明細書に記載のハイブリッドＢＣＩシステム１００及び／又は６００は、「事象」の存在を確認するために記録済みのデータを各入力サンプルと共に処理し、「事象」の存在又は欠如を使用してプログラムによる連鎖反応をトリガするように構成され得る。これは、特定の挙動を予期して処理パイプラインを変更し又はユーザの環境を何らかのやり方で修正する、データの更なる分析であり得る。このプロセスは、（任意の装置源からの）各入力サンプルに対する処理パイプラインを分離し、そのデータを分類器に通してそのデータの種類を決定することによりマルチスレッド環境で処理することができる。

[0094] 事象は、瞬目、事象の電位、動きのアーティファクト、過度な信号雑音、及び観察された活動の急激な低下を含む。分析段階に続いて、インタフェースは分類可能な事象が生じたかどうかを判定することができ、かかる事象が生じている場合、特定の一連の事象をトリガすることができる。記録済みの活動のエポックの一例を図８Ａに示す。例えば瞬目が観察されると、トリガは次の５ミリ秒間にわたって到来する目のデータを無視するようにシステムに命令することができる。事象の電位が観察される場合、トリガは環境変化と事象の突然の存在との間の相関を識別し、どの特定の変化がユーザの脳活動に影響を及ぼしたのかを識別するようにシステムに命令することができる。かかる事象の例は、図８Ａの緑色及び赤色のバーによって強調表示されている。

[0095] ＢＣＩ実装への過去の手法は、事象後の固定された時間遅延（即ち５０ｍｓ）を利用する。固定された時間遅延が経過した後、ユーザ環境が変更され、その期間に関するデータが分析される。対照的に、一部の実施形態によるシステム１００及び／又は６００は、特定の時間遅延又は期間を使用しない代わりに、入力データを連続的に分析する手法を実装することができる。システムが（実験者によって定められる）特定の種類の事象を識別し分類すると、抽出済みの適切なデータを追加の情報について分析することができる。例えば図８Ｂに示すような事象が検出される場合、その検出は一連のプロセスをトリガすることができる。従って、脳活動は制御信号として働くことができ、特定の特徴を検出することは追加の事象、アクション、及び／又は結果のためのアクチュエータになり得る。この手法は、例えばユーザが古い住所を新しい住所で置換するために自分の郵送宛先及び電話帳を定期的に更新し得るポーリングモデルと対照的に、即座のアクションを直接トリガするマウスのクリック又はボタンの押下等のアクションを行うことと類似性を示し得る。

ユーザインタフェースの適応
[0096] 本明細書に記載の通り、ハイブリッドＢＣＩシステム１００、６００におけるユーザインタフェースは視聴覚ディスプレイ（例えば図１のディスプレイ１０６）によって提示することができる。ユーザインタフェースは、ユーザがポインティング制御機能によって特定の刺激に注目しそれを指示し、アクション制御機能を使用して特定の刺激を選択し又は選択解除することを可能にする。これを行うために、ユーザインタフェースはユーザが行うことができる利用可能な選択肢のグループである選択セットを含む。選択セットの例は、制御ディスプレイ上に戦略的に配置される英数字行列上の文字／数字、又は方向矢印、又は明確な形をしたアイコン若しくは標的のグループを含むことができる。選択方法は、ユーザからのコマンドがＢＣＩによって直接的に又は間接的にどのように解釈されるのかを記述する。直接選択はユーザが選択セットから任意の項目を直接選択できるようにするのに対し、間接選択はユーザが選択を行うことができる前に中間ステップを必要とする。

[0097] 図９Ａは、記号（文字又は数字）を含むユーザインタフェースのレイアウトの２つの例を示す。一方の例では、記号の全てを一度にまとめて提示し点滅させる。第２の例では、１つの記号（Ｘ）だけを点滅グループ内で示す一方、他の記号はアスタリスク形式で隠されている。一部の実施形態では、この第２のレイアウトは、神経活動に基づくＢＣＩ分類精度を下げることが知られている知覚上の問題を減らしながら処理時間を改善することができる。このレイアウトはユーザインタフェース戦略の変更を示すためにも使用することができ、例えばこのレイアウトは以下で更に説明する「保持−解除モード」に入ることを示し得る。

[0098] ユーザインタフェースは、ユーザとＢＣＩとの間のインタフェースの特性を示すように構成され得る。ユーザインタフェースは（１）空間、（２）感覚、及び（３）活性化／非活性化という３種類の特性を含むことができる。空間特性は、アイコン又は標的の寸法、数、及び形状を含む。感覚特性は、聴覚、視覚、又は体性感覚のどれでも、ユーザに提供される刺激及びフィードバックを含む。活性化／非活性化は、人間／技術の対話の質を含む。

[0099] 対話の質は、労力（ＢＣＩの使用がどれ位困難か）、変位（応答するのにどれ位の動きが必要か）、柔軟性（ＢＣＩを使用することができる方法の数）、耐久性（ＢＣＩのハードウェアがどれ位信頼できるのか）、メンテナンス性（ＢＣＩをどれ位容易に修復できるのか）、及び活性化又は解除の方法（選択を行う／活性化する又は止める／非活性化する能力、及びその選択がどのように行われるのか）によって特徴付けることができる。活性化及び非活性化は異なる機能を有することができ、アクション制御入力として活性化だけを使用することはトリガ又は瞬間的なスイッチとして考えることができる。この場合、活性化だけが効果をもたらし、活性化が保持される持続時間が結果を変えることはない。活性化及び非活性化の両方を使用することはより複雑な制御機能を可能にし、制御入力がボタンとして機能し得る。例えばテレビのリモコン上で音量キーの１つを活性化して保持し、音量を上げ続けることができる。この場合、選択を保持することは継続的変化を引き起こすのに対し、選択を解除することは現状を維持する。

神経活動に基づく保持−解除モデル
[0100] 本明細書に記載の通り、ＢＣＩシステム１００、６００はそのユーザインタフェースの一部として神経活動に基づくＢＣＩ機能を組み込むことができ、かかるＢＣＩ機能では、神経活動に基づくＢＣＩにおける標的の最初の活性化及び非活性化（保持−解除）を別々に制御することができる。かかる制御は、間接的な選択を必要とする応用又は状態間の素早い変更を必要とする応用でハイブリッドＢＣＩシステム１００、６００を使用することを可能にし得る。更に、かかる制御は選択を保持すること又は解除標的に注意を切り替えることによって被選択標的の承認−取消を可能にし得る。

[0101] 潜在的な現実世界の応用では、ＢＣＩディスプレイ上の標的は様々な活性化／非活性化特性を有することができる。現実世界での応用のためのハイブリッドＢＣＩユーザインタフェースレイアウトの一例を図８Ｂに示す。一部の項目は、微調整、例えば図８Ｂ内のレイアウトの項目Ｂ１に示す車椅子をリクライニングさせること、温度を変更すること（項目Ａ３及びＢ３）、又はテレビの音量を上げること（項目Ｃ２及びＤ２）を可能にするために保持−解除対応とすることができる。ドアの解錠／施錠（項目Ｄ１及びＥ１）等の安全にとって極めて重要な項目は、活性化前に短い保持期間を必要とする保持−解除の承認−取消ステップを必要とすることができる。残りの項目は、照明をオンにすること又はテレビチャンネルを変えること（Ｃ１、Ａ２、及びＢ２）等の従来の個別の神経活動に基づくアクションを行う。保持−解除応答を有する標的をユーザが（調節又は承認のために）選択すると画面は保持−解除モード（図９Ｂの右パネル）に変わり、この画面では前に選択された標的及び解除標的だけが活性状態にあり、ＢＣＩ行列上の残りの標的は選択することができない。所望の標的をＢＣＩが正しく識別した場合、ユーザは被選択標的を保持し、ＢＣＩはユーザがそのアクション（車椅子のリライニング又はテレビの音量の変更）の停止を望むまで、又は選択を確認する（それにより安全にとって極めて重要なアクションを不注意に活性化することを防ぐ）ための指定の持続時間にわたってそのアクションを行う。従って保持−解除機能は、既存の支援技術で利用可能な複数の制御モードを反映するように神経活動に基づくＢＣＩの有用性を拡張する。

[0102] 保持プロセスの間、ＢＣＩによって要求される唯一の情報は、ユーザが自分の選択を変更する（例えば音量の上げ下げ又は車椅子のリクライニングを停止する）ときである。解放決定の２進の性質は、ＢＣＩが複数の点滅シーケンス後の代わりに非常に少ない点滅から決定を下すことを可能にする。ＢＣＩのユーザにとって、これは従来の神経活動に基づくＢＣＩ手法を使用するよりも速い応答時間及び連続した制御につながる。

神経活動に基づく誘発刺激のマッピング
[0103] （ユーザの環境に加えられる変更に反応してユーザの脳活動がどのように変化するのかを観察する）従来のＢＣＩシステムは、取得される全てのデータを一度に分析する前にユーザが有する可能性がある全ての有り得る挙動を誘発し、そこからユーザの意図を明らかにしようと概して試みる。一部の実施形態では、本明細書に記載のハイブリッドＢＣＩシステム１００及び／又は６００は、変更が加えられる度にユーザの脳活動を分析することができ、とりわけ環境に加えられる次の変更を知らせるためにこの分析段階から得られる情報を使用する。例えばユーザが１０の可能なアクションを有する場合、環境に１０の変更を加えてどの変更が（プログラムによって定められる）最も理想的な反応を誘発するのかを観察することができる。或いは、ハイブリッドＢＣＩシステム１００及び／又は６００において、同じユーザが同じ１０の選択肢を有する場合、加えられる次の変更を知らせるために第１の変更から得られる情報を使用し、特定のアクションを先制して排除し、それにより意図からアクションに移るのにかかる持続時間を短縮することができる。従って、各変更が１つだけの潜在的なユーザの意図よりも多くを知らせるので、環境に加えられる各変更にユーザの脳がどのように反応するのかについての知識は完全には必要とされない。このことは記録すべき情報量を減らし、代わりにユーザの意図を識別するのにどの情報が必要になるのかを知的に決定し、その情報を迅速に取得し、意図されたアクションの作成に進む。

[0104] 一部の実施形態では、ハイブリッドＢＣＩシステム１００及び／又は６００は、取得済みの神経信号から特徴抽出を行い神経活動に基づくシステムを用いて情報伝送速度を改善するために、誤り訂正コードを実装することもできる。加えてハイブリッドＢＣＩシステムは、適切な背景に標的をスーパーインポーズすることによって又は運動に基づく代替的な刺激の種類を使用することによって、神経活動に基づくそれら、ＢＣＩシステムにおける主な雑音源の１つである不応性効果を低減するための新規の手法を利用することができる。

動的刺激の検出及びタグ付け
[0105] 一部の実施形態では、ハイブリッドＢＣＩシステム１００及び／又は６００は、そのユーザインタフェース内で提示される拡張現実又は仮想現実において動的刺激を組み込み又は既存の動的刺激にタグ付けすることができる。つまりハイブリッドＢＣＩシステム１００、６００は移動刺激を識別し、その刺激の動きを時間に関して追跡するためにその刺激に動的にタグ付けすることができる。かかる動的な識別及びタグ付けの実装形態の一例を図９に示す。

[0106] ハイブリッドＢＣＩシステム１００、６００は、移動オブジェクトの存在を検出し、移動オブジェクト上に選択タグを配置することができる。タグは追跡タイムライン上で点滅し、オブジェクトとのコロケーションを維持することができる。ユーザは、ＢＣＩ選択を使用してそのオブジェクトに対するアクションをトリガすることができる。或いはハイブリッドＢＣＩシステム１００、６００は、主に追跡の開始又は終了に関係することができる。神経活動が誘発されたかどうかを確認するために、追跡の開始又は終了付近の神経データの時間窓を調べることができる。これは新たなオブジェクトがユーザにとって関心があり得るものであり、何らかのアクションをトリガし得ることを示す。一部の実施形態では、オブジェクトの最初の動きによってサッカードがトリガされたかどうかを確認するために視標追跡情報を使用して、アクションをトリガする前に興味対象としてのオブジェクトの仮定を更に強化することができる。かかるアクションは、他の任意のものに加えて上記で説明した動的なタグの配置であり得る。

特徴抽出及びモデル構築
[0107] 様々な思考活動（認知的作業）が脳信号の異なるパターンをもたらす。一部の実施形態では、ハイブリッドＢＣＩシステム６００（及び／又は１００）は、各信号パターンをその特徴に従ってクラスに分類するパターン認識システムを含むことができる。パターン認識システムは、特定のクラスに対する類似性並びに残りのクラスとの違いを反映する脳信号からの幾つかの特徴を抽出する。信号の異なる種類を区別するのに必要な弁別的情報を含む信号の特性から特徴を測定し又は導出することができる。上記で説明したように、のモデルビルダ６２６は、特定のハードウェア周辺機器等に結合される特定のユーザインタフェースの下、特定のユーザに対応するデータから抽出される特徴の統計モデルを構築するために多数の統計ツールを使用することができる。

[0108] 脳信号内の対象となる情報は典型的には高雑音環境で隠され、脳信号は同時に存在する多数の情報源を含む。対象となり得る信号は、様々な脳作業に起因する複数の信号によって時間及び空間の点で重複する場合がある。そのため多くの事例において、所望の帯域パワーを抽出するために帯域通過フィルタ等の単純な方法を使用するだけでは不十分である。

[0109] 脳信号は複数のチャネルによって測定することもできる。測定したチャネルによって与えられる全ての情報が、対象となる基礎現象を理解することに全般的に関連するとは限らない。主成分分析又は独立成分分析等の次元縮退技法を適用して元のデータの次元を減らし、無関係且つ冗長な情報を除去することができる。これにより計算コストを低減することができる。

[0110] 脳信号は本質的に非定常でもあり、従って一部の実施形態では特定の特徴が生じるときに関する時間情報を得ることが望ましい場合がある。信号を短いセグメントに分割する一部の手法を使用することができ、各セグメントからパラメータを推定することができる。高速フーリエ変換（ＦＦＴ）、ウェーブレット変換、又は適応自己回帰成分等の方法を含む１つ又は複数のデータ変換を行うことができ、又は定常部分空間分析（ＳＳＡ）等の技法を実行して脳信号の非定常時間変化を明らかにすることができる。ＳＳＡは、多変量時系列を定常成分及び非定常成分に分解する。単一の特徴ベクトルに連結される前に、複数の特徴が幾つかのチャネルから及び幾つかの時間セグメントから抽出され得る。

信号の分類及び予測
[0111] ハイブリッドＢＣＩシステム１００、６００における分類ステップの狙いは、特徴ステップによって与えられる脳活動を特徴付ける特徴ベクトルに基づいてユーザの意図を認識することである。分類アルゴリズムは、オフラインセッション、オンラインセッション、又は両方の種類のセッションによって開発することができる。オフラインセッションは、適応又は閉ループシステムから収集されるＢＣＩ競合データセット等のデータセットの検査を含む。全セッションにわたる観察からデータの統計を推定することができ、長期間の計算を実行することができる。この結果は、アルゴリズムを微調整するために分析者によって検討され得る。ハイブリッドＢＣＩシステムの一部の実施形態では、現実世界を評価する因果的なやり方でデータをオンライン処理することができる。使用される分析アルゴリズムは、例えばユーザのモチベーション又は関与が変化することを受けてユーザプロファイルが経時変化し得る環境内で試験することができる。

[0112] 分類アルゴリズムは、ラベル付きデータセットを使用する教師付き学習により、ユーザによって較正され得る。しかし、脳信号並びに眼球運動信号は、その際立った特性の経時変化を伴って本質的に非定常であり得る。例えば較正セッション中に実験サンプル内で観察されるパターンは、オンラインセッション中に記録されるパターンと異なり得る。或いはユーザの漸進的なメンタルトレーニング、又は集中力、注意力、若しくはモチベーションの変化さえも脳信号に影響を及ぼす可能性がある。一部の実施形態では、本明細書に記載のハイブリッドＢＣＩシステム６００（及び／又は１００）が、際立った特徴の変化に適応し得る適応アルゴリズムを使用することができる。

[0113] 一部の実施形態では、ハイブリッドＢＣＩシステム１００、６００は、信号を検出し分類するための半教師付き学習アルゴリズムを使用することができる。小さいラベル付きデータセットを使用して半教師付き学習分類器を最初に訓練することができ、その後オンライン試験データを用いて分類器を更新することができる。この手法は、オンラインセッション中に分類器を連続的に更新することによって必要とされる訓練時間を短縮することができる。

[0114] 一部の実施形態では、ハイブリッドＢＣＩシステム１００、６００は、教師なし学習又は強化学習又はそれらの方法の組み合わせを使用して、脳信号及び／又は眼球運動信号を検出し分類することができる。教師なしの方法を使用して、ラベルなしデータ内の隠れた構造を見つけてそれらを分類することができる。ハイブリッドＢＣＩ装置の一部の実施形態は、ユーザ及びマシンの相互適応学習又は共変量シフト適応のための技法に依存する教師なしの方法を使用することができる。一部の実施形態は、被験者が誤った決定に気付いたときに誘発される神経信号を区別することに基づく強化学習法を使用することができる。これらのフィードバック信号は、その誤りが将来繰り返されるのを防ぐための学習信号として使用され得る。

結論
[0115] 要約すると、ユーザによってリアルタイムで操作可能な統合型ハイブリッド脳コンピュータインタフェースの実装に使用するためのシステム及び方法を本明細書に記載した。開示したシステムは、ポインティング制御機能を実装するための眼球運動追跡システム、及びアクション制御機能を実装するための脳活動追跡システムを含む。高速且つ正確な操作を可能にするように戦略的に設計されるユーザインタフェースの提示により、両方の機能が実装される。加えて、開示したシステム及び方法は、任意の適切なプラットフォーム上にリアルタイムハイブリッドＢＣＩを実装して仮想環境、拡張環境、又は実環境のユーザ操作を仲介するために、ハードウェアに依存しないように構成される。図１１は本発明のハイブリッドＢＣＩシステム及び方法の使用空間の説明図を示す。

[0116] 様々な実施形態を上記で説明してきたが、それらは限定ではなく例として示してきたに過ぎないことを理解すべきである。上記の方法は、特定の事象が特定の順序で発生することを示すが、特定の事象の順序は修正され得る。加えて、事象のうちの特定のものは、可能であれば並列プロセスによって同時に実行することができ、更には上記で説明したように逐次的に実行することができる。

[0117] 上記で説明した概略図及び／又は実施形態は特定の構成要素が特定の向き又は位置に配置されることを示すが、構成要素の配置は修正され得る。実施形態を個々に図示し説明してきたが、形式及び詳細の点で様々な変更を加えることができることが理解されよう。相互排他的な組み合わせを除く任意の組み合わせで本明細書に記載の機器及び／又は方法の任意の部分を組み合わせることができる。本明細書に記載の実施形態は、記載した様々な実施形態の機能、構成要素、及び／又は特徴の様々な組み合わせ及び／又はサブコンビネーションを含むことができる。

Claims (22)

1. ユーザに対話型環境を提示するように構成されるディスプレイと、
   前記ユーザによって生成される眼球運動信号を記録するように構成されるアイトラッカと、
   前記ユーザによって生成される神経信号を記録するように構成される神経記録装置と、
   前記ディスプレイ、前記アイトラッカ、及び前記神経記録装置に動作可能に結合されるインタフェース装置であって、
   メモリ、及び
   前記メモリに動作可能に結合され、
   前記アイトラッカから前記眼球運動信号を受信し、前記神経記録装置から前記神経信号を受信すること、
   前記対話型環境によって前記ユーザに刺激を生成し提示すること、
   前記眼球運動信号及び前記神経信号を処理して、前記眼球運動信号及び前記神経信号の少なくとも１つに基づいて前記ユーザの注目箇所を決定すること、
   前記神経記録装置から受信される前記神経信号を処理して、前記ユーザが意図するアクションを決定すること、及び
   前記ユーザが意図する前記アクションを実施し、前記対話型ユーザインタフェースの前記提示を更新すること
   を行うように構成されるプロセッサ
   を含む、インタフェース装置と
   を含む、機器。
2. 前記アイトラッカがビデオベースのアイトラッカであり、
   前記神経信号が、視覚誘発電位、運動心像信号、事象関連電位（ＥＲＰ）、及び脳状態依存信号を含む脳波記録（ＥＥＧ）信号を含み、
   前記プロセッサが前記眼球運動信号と前記ＥＥＧ信号とを統合して前記ユーザの前記注目箇所を決定するように更に構成される、
   請求項１に記載の機器。
3. 前記神経信号が、視覚誘発電位、聴覚誘発電位、運動心像信号、事象関連電位（ＥＲＰ）、及び脳状態依存信号の少なくとも１つを含む脳波記録（ＥＥＧ）信号を含む、
   請求項１に記載の機器。
4. 前記刺激が、視覚刺激、聴覚刺激、及び触覚刺激の少なくとも１つを含む、請求項１に記載の機器。
5. 前記プロセッサが前記ディスプレイの１組の部分を画定し、前記ユーザの前記注目箇所を前記決定することに基づき、前記ディスプレイの前記１組の部分の１つの部分の中で前記刺激を繰り返し提示するように更に構成される、請求項１に記載の機器。
6. 前記プロセッサが、前記眼球運動信号及び前記神経信号の前記少なくとも１つを処理して前記ユーザの前記注目箇所を決定するために、無遅延フィルタ及び分類器を実装するように更に構成される、請求項１に記載の機器。
7. 前記プロセッサが、前記眼球運動信号及び前記神経信号の前記少なくとも１つを処理して前記ユーザの前記注目箇所を決定するために、二重カルマンフィルタ及び分類器を実装するように更に構成される、請求項１に記載の機器。
8. 前記プロセッサが、
   シミュレートされたユーザの１組の眼球運動の運動学モデルを生成すること、
   前記眼球運動信号内の１組の欠落データ点を識別すること、
   前記運動学モデルに基づき、前記眼球運動信号内の前記１組の欠落データ点を置換するための１組の置換データ点を計算すること、及び
   前記１組の欠落データ点を置換し更新済みの眼球運動信号を生成するために前記１組の置換データ点を組み込むこと
   を行うように更に構成される、請求項１に記載の機器。
9. プロセッサによって実行される命令を表すコードを記憶する非一時的プロセッサ可読媒体であって、前記命令は
   １組のアクションを行うためにユーザによって操作され得る対話型ユーザ環境を生成すること、
   前記対話型ユーザ環境によって前記ユーザに提示可能な１組の刺激を定めること、
   前記１組の刺激からの少なくとも１つの刺激を前記ユーザに提示すること、
   前記ユーザの挙動に関係する入力をアイトラッカ及び神経記録装置から受信すること、
   前記受信される入力及び前記提示される刺激に基づき、前記ユーザが意図するアクションを決定すること、及び
   前記対話型ユーザ環境によって前記アクションを実施すること
   を前記プロセッサに行わせるためのコードを含む、非一時的プロセッサ可読媒体。
10. 入力を受信するための前記コードが、
    前記アイトラッカから受信される前記入力から、前記ユーザによって生成される眼球運動信号を抽出すること、
    前記神経記録装置から受信される前記入力から、前記ユーザによって生成される神経信号を抽出することであって、前記神経信号は脳波記録（ＥＥＧ）信号を含み、前記ＥＥＧ信号は視覚誘発電位、運動心像信号、事象関連電位（ＥＲＰ）、及び脳状態依存信号を含む、抽出すること、及び
    統合型の手法を使用して前記眼球運動信号及び前記ＥＥＧ信号を処理して前記ユーザの注目箇所を決定すること
    を前記プロセッサに行わせるためのコードを含む、請求項９に記載の非一時的プロセッサ可読媒体。
11. 入力を受信するための前記コードが、
    前記神経記録装置から受信される前記入力から、前記ユーザによって生成される脳波記録（ＥＥＧ）信号を抽出することであって、前記ＥＥＧ信号は視覚誘発電位、聴覚誘発電位、運動心像信号、事象関連電位（ＥＲＰ）、及び脳状態依存信号の少なくとも１つを含む、抽出すること、及び
    前記ＥＥＧ信号を処理して前記ユーザの注目箇所を決定すること
    を前記プロセッサに行わせるためのコードを含む、請求項９に記載の非一時的プロセッサ可読媒体。
12. 前記ユーザが意図する前記アクションを決定することを前記プロセッサに行わせるための前記コードが、
    前記１組の刺激からの前記提示される刺激に関係する情報を抽出すること、
    前記アイトラッカから受信される前記入力、前記神経記録装置から受信される前記入力、及び前記提示される刺激に関係する前記情報のそれぞれに１組の重みを定め適用し、前記アイトラッカから受信される前記入力、前記神経記録装置から受信される前記入力、及び前記提示される刺激に関係する前記情報のそれぞれの加重表現を生成すること、
    前記加重表現を組み合わせてアンサンブル表現を形成すること、及び
    前記アンサンブル表現を処理して前記ユーザが意図する前記アクションの予測を生成すること
    を前記プロセッサに行わせるためのコードを含む、請求項９に記載の非一時的プロセッサ可読媒体。
13. 前記ユーザが意図する前記アクションを決定することを前記プロセッサに行わせるための前記コードが、
    前記アイトラッカから受信される前記入力から眼球運動信号を抽出すること、
    前記眼球運動信号に基づいて前記ユーザの注目箇所を決定するために、無遅延フィルタ及び分類器を実装すること
    を前記プロセッサに行わせるためのコードを含む、請求項９に記載の非一時的プロセッサ可読媒体。
14. 入力を受信するための前記コードが、
    前記アイトラッカから受信される前記入力から眼球運動信号を抽出すること、
    前記眼球運動信号内の１組の欠落データ点を識別すること、
    シミュレートされたユーザの眼球運動に関する運動学モデルを生成すること、
    前記運動学モデルに基づき、前記眼球運動信号内の前記１組の欠落データ点を置換するための１組の置換データ点を推定すること、及び
    前記１組の欠落データ点を置換して更新済みの眼球運動信号を生成するために前記１組の置換データ点を組み込むこと
    を前記プロセッサに行わせるためのコードを含む、請求項９に記載の非一時的プロセッサ可読媒体。
15. 入力を受信するための前記コードが、
    前記アイトラッカから受信される前記入力から眼球運動信号を抽出すること、
    前記眼球運動信号内のアーティファクトデータ点を識別すること、
    シミュレートされたユーザの眼球運動に関する運動学モデルを生成すること、
    前記運動学モデルに基づき、前記眼球運動信号内の前記アーティファクトデータ点を置換するための１組の置換データ点を推定すること、及び
    前記アーティファクトデータ点を置換して更新済みの眼球運動信号を生成するために前記１組の置換データ点を組み込むこと
    を前記プロセッサに行わせるためのコードを含む、請求項９に記載の非一時的プロセッサ可読媒体。
16. 対話型ユーザインタフェースによって刺激をユーザに提示すること、
    前記ユーザの挙動に関連する入力をアイトラッカ及び神経記録装置から受信すること、
    前記提示される刺激に関係する情報を受信すること、
    前記ユーザの挙動に関連する前記入力及び前記提示される刺激に関係する前記情報を含む１組のアンサンブルデータを生成すること、
    前記１組のアンサンブルデータを処理して前記ユーザが意図するアクションを決定すること、及び
    前記対話型ユーザインタフェースによって前記アクションを実施すること
    を含む、方法。
17. 前記提示される刺激が動的な視覚刺激を含み、
    前記動的な視覚刺激の動きを検出すること、
    前記動的な視覚刺激の前記動きを追跡すること、及び
    前記動的な視覚刺激にタグ付けすること
    を更に含む、請求項１６に記載の方法。
18. 前記アイトラッカから受信される前記入力から眼球運動信号を抽出すること、
    前記神経記録装置から受信される前記入力から神経信号を抽出することであって、前記神経信号は脳波記録（ＥＥＧ）信号を含み、前記ＥＥＧ信号は視覚誘発電位、運動心像信号、事象関連電位（ＥＲＰ）、及び脳状態依存信号を含む、抽出すること、及び
    前記眼球運動信号と前記ＥＥＧ信号とを統合して前記ユーザの注目箇所を決定すること
    を更に含む、請求項１６に記載の方法。
19. 前記アイトラッカから受信される前記入力から眼球運動信号を抽出すること、及び
    前記ユーザの注目箇所を決定するために、前記眼球運動信号に基づいて、組み合わせられる無遅延フィルタ及び分類器を実装すること
    を更に含む、請求項１６に記載の方法。
20. 前記アイトラッカから受信される前記入力から眼球運動信号を抽出すること、
    前記眼球運動信号内の１組の欠落データ点を識別すること、
    シミュレートされたユーザの眼球運動を予測するための運動学モデルを生成すること、
    前記運動学モデルによる前記シミュレートされたユーザの前記予測された眼球運動に基づき、前記眼球運動信号内の前記１組の欠落データ点を置換するための１組の置換データ点を推定すること、及び
    前記１組の欠落データ点を置換し更新済みの眼球運動信号を生成するために前記１組の置換データ点を組み込むこと
    を更に含む、請求項１６に記載の方法。
21. １組のアンサンブルデータを前記生成することが、
    前記アイトラッカから受信される前記入力から眼球運動信号を抽出すること、
    前記神経記録装置から受信される前記入力から神経信号を抽出すること、
    前記眼球運動信号、前記神経信号、及び前記提示される刺激に関係する前記情報のそれぞれに１組の重みを定め適用し、前記眼球運動信号、前記神経信号、及び前記刺激に関係する前記情報の加重表現を生成すること、及び
    前記眼球運動信号、前記神経信号、及び前記刺激に関係する前記情報の前記加重表現を組み合わせて前記１組のアンサンブルデータを形成すること
    を含む、請求項１６に記載の方法。
22. 前記アイトラッカから受信される前記入力から眼球運動信号を抽出すること、
    前記アイトラッカから受信される前記入力から前記アイトラッカの技術的パラメータを抽出すること、
    前記アイトラッカの前記技術的パラメータに基づき、前記ユーザの眼球運動を予測するための非線形生成運動学モデルを生成すること、
    前記アイトラッカから受信される前記眼球運動信号及び前記非線形生成運動学モデルによって予測される前記眼球運動信号に基づき、更新済みの眼球運動信号を計算すること、及び
    前記更新済みの眼球運動信号に関連する前記ユーザの注目箇所を決定すること
    を更に含む、請求項１６に記載の方法。