JP2022509752A

JP2022509752A - 拡張現実のための脳コンピュータ・インターフェース

Info

Publication number: JP2022509752A
Application number: JP2021524324A
Authority: JP
Inventors: フォースランド，アンドレアス; ゼルマン，レオナード
Original assignee: コグニクソン
Priority date: 2018-10-29
Filing date: 2019-10-29
Publication date: 2022-01-24
Also published as: EP3874351A1; EP4403109A2; US10990175B2; EP4403109A3; WO2020092420A1; CA3118301A1; CN113227944B; US20200133393A1; AU2019369395A1; AU2019369395B2; JP2024096856A; EP3874351A4; CN113227944A

Abstract

ヘッドセット内の脳コンピュータ・インターフェースの方法およびシステムであって、拡張現実ディスプレイ、一つまたは複数のセンサー、処理モジュール、少なくとも1つのバイオフィードバック装置、およびバッテリーを含む。インターフェースは、生体信号を読み取るセンサーを有し、バイオフィードバックを提供し、生体信号の処理、解析、および出力へのマッピングを実行するプリント回路基板を含んでいてもよい。出力は、拡張現実ディスプレイ上のオーディオおよびビジュアル、または人間のユーザーが感じうる振動パターンによるオーディオおよび触覚を含む、ユーザーの複数の感覚脳系の刺激を介してフィードバックを提供する。これらすべてが一緒になって、生体信号を検出し、次いで感覚フィードバックを提供することによって、閉ループ・システムを形成し、これは生体信号を向上させる。

Description

典型的な脳‐コンピュータ・インターフェース（brain-computer interface、BCI）が使用されるとき、BCIからの脳信号を処理し、それに基づいて作用するために、外部装置またはコンピュータおよびモニタが必要とされる。これは、常にではないが典型的には、BCIと、データを処理するとともに視覚情報を表示し、BCIと同期させるための多様な別個のシステムおよび装置との間の有線接続を必要とする。通例、脳‐コンピュータ・インターフェースのために使用される装置は、ぶらぶらした複数のワイヤを必要とすることがあり、このことは、それらのワイヤのいずれかが損傷した場合には、脳‐コンピュータ・インターフェースが機能しなくなる可能性があるという意味で、複数の障害点を呈する。典型的には、BCIシステムのセットアップは時間集約的であり、ほとんどの場合、部屋または実験室内での位置に依存する。さらに、脳からの生体信号に基づくフィードバックを受信することにおいて遅延があり、別個の装置から結果を読み取るためには、別の人間が存在する必要がある場合がある。

これらの問題に加えて、BCIにおいて使用される典型的なプリント回路基板は、しばしば平坦な形状であり、現場条件において実用的な機能を提供しない可能性がある。よって、改良された形状因子と十分な内部フィールド計算資源を有する脳‐コンピュータ・インターフェースが必要である。

本明細書に開示されているのは、脳‐コンピュータ・インターフェースおよびヘッドセットの実施形態であり、これは、拡張現実ディスプレイ、一つまたは複数のセンサー、処理モジュール、少なくとも1つのバイオフィードバック装置、およびバッテリーを含む。

いくつかの実施形態では、インターフェースは、人間の頭部に適合する形状に輪郭形成されたプリント回路基板を含んでいてもよい。基板は、フレキシブル基板であってもよいし、別個のセクションが互いに連結された基板であってもよい。ある実施形態では、基板は、第1の領域、第2の領域、および第3の領域の3つの部分を含む。プリント回路基板の第1の領域は、アナログフロントエンドを含んでいてもよく、戦略的に位置されたセンサーを使用して、脳対（皮膚）表面の生体信号を入力してもよい。プリント回路基板の第2の領域は、生体信号を処理、解析して、触覚、聴覚、視覚出力を含む、拡張現実眼鏡への出力にすることを実行してもよい。プリント回路基板の第3の領域は、触覚および聴覚フィードバックを提供してもよい。聴覚、視覚、触感の3つの感覚モダリティのすべて、またはいずれかからのフィードバックを経験した後、ユーザーは、脳からの新たな異なる生体信号を生成することがあり、よって、フィードバックループの結果、ヘッドセットのユーザーによる成功裏の挙動および行動につながる神経経路の創出および強化がもたらされうる。

任意の特定の要素または工程の議論を容易に識別するために、参照符号における最上位の数字（単数または複数）は、その要素が最初に導入された図の番号を指す。

ある実施形態によるヘッドセット100を示す。

ある実施形態による、分解されたBCIヘッドセット200を示す。

ある実施形態によるヘッドセット300を示す。

ある実施形態によるヘッドセット400を示す。

ある実施形態によるヘッドセット500の断面を示す。

ある実施形態によるヘッドセット600の断面を示す。

ある実施形態によるヘッドセット700の断面を示す。

ある実施形態による方法800を示す。

ある実施形態による装置900を示す。

ある実施形態によるBCI＋ARシステム1000を示す。

ある実施形態によるBCI＋AR環境1100を示す。

ある実施形態による拡張現実装置論理1200を示す。

本開示は、従来のBCIシステムに見出される快適さ、ワイヤレス移動性、使いやすさ、信頼性、および他の制約の問題に対し、ヘッドセット内の特別に設計されたプリント回路基板を利用する、新規の輪郭形状および生体信号データの統合されたオンボード処理を利用して取り組むものである。生体信号を内部的に処理できることは、外部のモバイル装置またはコンピュータが生体信号処理を行なう必要性を減らすまたはなくす可能性がある。

生体信号データは、ヘッドセット上の、またはヘッドセットに接続されたセンサーから収集され、ヘッドセット上のプリント回路基板に入力され、ヘッドセット上で処理され、次いで、視覚、聴覚、および触覚トランスデューサを含むがこれらに限定されないトランスデューサに出力される。ある実施形態では、回路基板は、アナログフロントエンドに接続された多様なセンサーを有してもよい。たとえば、取り付けられたEEG電極が利用されてもよいが、頭部のEEGだけでない複数の源からのデータを処理するために、回路基板に有線接続された、腕または他の身体部分に取り付けられたEMGセンサーもあってもよい。

出力は、たとえば、ユーザーが着用しうる拡張現実ヘッドセットに適用されてもよい。バイオフィードバックとして刺激されうる感覚は、たとえば、圧力のために膨張可能なバッグに送られる出力コマンド、治療感覚を高めるための温度、電気刺激、またはさらには制御された動きのための人工手／腕／脚もしくは車椅子のような外部装置またはシステムへのコマンドを含みうる。

これらの出力に応答して、ユーザーの脳の新しい、変更された神経信号が強化されてもよく、こうしてフィードバックループが確立される。その結果、意図をヘッドセットのユーザーによる新しい経験に翻訳する独特かつ創造的な方法を発見することができる。

ヘッドセットは、外部のモバイル装置またはコンピュータに頼ることなく、スタンドアローンで機能することができ、そのためポータブルで、「読み出し専用」装置として自立的になる、すなわち、拡張現実を表示する能力はない。あるいはまた、ヘッドセットのユーザーからの生体信号に基づいて出力を提供する、モバイル装置またはコンピュータと無線で通信してもよい。ヘッドセットは、従来のBCIヘッドセットよりも小さなパッケージに、より多くの処理能力を統合する独特なデザインである。ポータブル性のファクターは、現代の利便性から離れた場所でこの体験をしたいと望む個人や、障害のある人々に対して、重要な影響を与える可能性がある。たとえば、この装置の用途の1つは、拡張された支援された通信装置（augmented assisted communications device）またはリモートコントロール装置を含みうる。本開示に記載されるシステムおよび装置は、普通ならコミュニケーションするのが困難な人々、または自分の環境をうまく制御するのに十分な身体的能力を有する人々を支援しうる。そのような人々の脳信号は、言葉や手をベースにしたコミュニケーションとは異なる仕方で、自分の考えを伝えたり、自分の環境にある対象をリモート制御したりすることができうる。

ある実施形態は、視覚誘発電位（Visual Evoked Potential、VEP）一致の感知および報告のために、および任意的には一般属性（Generic Attributes、GATT）装置キーボードまたはマウス・インターフェースを通じた人間インターフェース装置（human Interface Device、HID）としてホスト・コンピューティング装置にインターフェースするために特に設計された、完全に自己完結したEEG（electroencephalography［脳波記録法］）ヘッドセット装置を含む。ある実施形態では、視覚誘発（Visual Evocation）は、定常状態視覚誘発電位（steady state Visual Evoked Potential、SSVEP）であってもよい。

該自己完結した装置は、一つまたは複数のセンサーをもつ、ヘッドバンドまたは他の外部頭皮センサー接点配置を有していてもよい。装置はまた、GATTプロトコルを通じてHIDを用いてホストにインターフェースする、センサー増幅器、CPU、アナログ‐デジタル（A2D）変換器、およびBLE（Bluetooth Low Energy［ブルートゥース低エネルギー］）のようなサポート回路を含んでいてもよい。HIDワイヤレス・キーボードまたはマウス・インターフェースとして振る舞うことで、この自己完結した装置は、デスクトップ・コンピュータ、モバイル装置および家電機器、ならびにメディアおよび娯楽設備を含むがこれらに限定されない、任意のHIDインターフェース互換装置を制御するために使用されうる。

装置は：（a）装置がモニタリングしうる種々の周波数でのVEP一致〔マッチ〕、（b）周波数についての電力閾値、および（c）閾値を超える連続した反復サイクル数について構成可能でありうる。装置は、HIDホストへの、構成可能な関連するHIDキーボードまたはマウスのレポートを生成してもよい。この機能は、iOS、Android、OSX、Windows、およびLinux装置に対する直接制御を許容しうる。

人工知能（AI）セクション：
BCIはパターン認識およびパーソナライズのためにAIを利用することがある。伝統的なBCI＋AI解決策は、固定された位置、高価な設備、および超高速連続インターネット接続に限定されている。

BCIは「オフライン・ファースト」設計アプローチを利用してもよい。オフライン・ファースト技法は、オフライン時でもBCIパフォーマンスを最適化し、パーソナライズする。

オンライン時に、機械学習（Machine Learning、ML）トレーニングが適用され、個別化された認識器・分類器（Recognizer-Categorizer、RC）が生成される。MLトレーニングの導出された出力は、クラウドのエキスパートシステム（Expert system、ES）知識ベースに格納される。

MLおよびESは、従来のリアルタイム・システムでは使用されない。MLおよびESから導出された合成洞察（Synthesized Insights、SIs）は、オフライン使用のためにBCI装置（たとえば、前記プリント回路基板の記憶）に自動的にロードされうる個別化された実行可能な認識器・分類器生成する新たな方法で使用される。

本開示は、資源制約されたIoTを向上させるためにクラウドで利用されるAIを含む方法に向けられる。本開示の装置は、クラウドへの連続的な超広帯域ストリーミング接続は信頼できない（not reliable）場合に、AIによってローカルに生成される個別化されたコードを実行するウェアラブルおよび埋め込み可能な装置を含む。

本開示は、ローカルにまたはモバイル・コンテキストでAIをサポートできないモバイル装置に対してAIを追加することに向けた解決策を提供する。AIを利用した脳波データの処理に加えて、このBCI＋AIのために開発された方法およびシステムは、一般に、広範囲の資源制約されたIoT、ウェアラブルおよび埋め込み可能な装置にも適用可能でありうる。

BCIヘッドセットの実施形態では、いくつかのAI技法が利用されうる。MLは、自動同調する動的ノイズ低減器、特徴抽出器、および認識器・分類器として利用されうる。また、ES知識ベースに入力されたトレーニング・データのパイプラインでもある。ESはオフラインRCに活用される、認識された脳波パターンを評価する。ESは、資源制約された装置（Resource Constrained Device、RCD）上でローカルに動作しうる、パーソナライズされAI最適化されたRCを生成するために必要な知識を有している。RCDは、限られた処理および記憶能力をもち、しばしばバッテリーで動作する装置でありうる。これは、従来の技法では得られない、BCIについての優れた堅牢性および機能性を提供する可能性がある。次のオンライン・セッションで同期された諸トレーニング・セットへの再統合のために、成功した認識マッチのEEG EPOCを保存することによって、オフラインでのMLトレーニング・フィードバックが組み込まれる。

BCIヘッドセットは、2センサー、3接触点（2個のセンサー、グラウンド‐リファレンス）と、プロセッサと、およびBLE（Bluetooth Low Energy［ブルートゥース低エネルギー］）接続性とを有する、電池式のワイヤレスの消費者グレードの生体信号感知装置であって、頭蓋点（O₁-O₂）をモニタリングするだけでBCIとして作用するためにSSVEP脳信号の検出および処理のために特に設計されたものであってもよい。

本開示は、プリント回路基板（PCB）を、処理されている脳波および他の生体信号源と相関させることができる、ヘッドセット内の脳コンピュータ・インターフェースに向けられる。PCBは、ブルートゥース低エネルギー・モジュール、マイクロプロセッサ、およびUSBブリッジを含むマイクロコントローラを利用してもよい。さらに、ある実施形態では、EEGアナログ‐デジタル・プロセッサは、テキサスインスツルメンツADS1299を使用してチャネルを受信するアナログフロントエンドを含み、これは、シリアル周辺インターフェース（serial peripheral interface、SPI）バッファを通じてマイクロプロセッサに信号を送出する。脳波はマイクロSDを用いて記録することができる。さらに、ユーザーは、音楽、音、または任意の触覚シーケンスをマイクロSDにダウンロードすることができる。ある実施形態では、ヘッドセットは、モーター増幅器OLEDモジュールを含んでいてもよく、これは、I2C OLEDのような2ライン×180ピクセルのOLEDであってもよい。視覚的な観点から、OLEDモジュールは、ユーザーがオンボードBCI設定を閲覧および／または修正することを許容しうるフィードバック機構を提供する。

触覚的なモーター・コントローラは、基本的な触覚的振動を含む組み込みのマイクロコントローラチップを含んでいてもよい。ユーザーは、これらの振動をスタックしてもよく、また、オーディオに基づいて振動を生成してもよく、あるいは、ヘッドセットが音楽に合わせて振動するよう触覚振動をセットアップしてもよい。

オーディオ・フィードバックは、さまざまな基本音（fundamental tone）を含んでいてもよい。ある実施形態では、ユーザーは、脳コンピュータ・インターフェース上でのオーディオ・フィードバックを追加、修正、または管理することができる。

動作モード
BCIヘッドセットの4つの動作モードは：ロー（Raw）、シマー（Simmer）、クックト（Cooked）、および人間インターフェース装置‐キーボード（Human Interface Device-keyboard、HID-KB）を含みうる。

ロー・モード：

ロー・モードは、データをフィルタリングし、認識し、または該データと相互作用することができるモバイルまたはデスクトップのインターネット接続された装置を介したクラウドでの、またはローカルでのさらなる処理のために、EEGセンサー・ストリームを含みうる完全な生体信号センサー・データ・ストリームをストリームすることができる。このモードは、AIおよび／またはクラウドベースの認識システムをトレーニングするために有用である。

シマー・モード：

シマー・モードは、ロー・モードとクックト・モードのハイブリッドの組み合わせである。オンボード・プロセッサは、生の（raw）データ・ストリームにカスタム（クックト）メッセージを散在させることができる。このモードは、AIおよび／またはクラウドベースの認識システムをトレーニングし、それをローカルの認識器および診断と比較する場合に最も有用である。

クックト・モード：

クックト・モードは、ローカルの認識器および診断によって生成されうる完全に処理されたカスタム・メッセージである。生のデータは渡されない。これは、動作のために必要とされる帯域幅を減らす。

HID-KBモード：

HID-KBモードは、標準的なブルートゥース・キーボードに見えるようにヘッドセット・インターフェースを構成する。これにより、ヘッドセットは、デスクトップ・コンピュータ、モバイル装置および家電機器、ならびにメディアおよび娯楽設備を含むが、これらに限定されない、多くのアプリケーションとともに機能することができる。HID-KBモードの1つの利点は、SSVEPがオペレーティング・システム・アクセシビリティ機能とともに使用できることである。これはまた、ブルートゥース・キーボードを利用することができる多くのコンピュータおよびオペレーティング・システムとともに利用されるユニバーサル・アクセスを、ヘッドセットに許容しうる。ある実施形態では、プリント回路基板は、ブルートゥース・キーボードをエミュレートし、モバイル装置、コンピュータ、車のフロントガラス、飛行機の風防、オートバイのバイザー、オートバイのヘルメット、仮想現実眼鏡、混合現実眼鏡、または拡張現実眼鏡に対して、文字、記号、数字およびそれらの組み合わせのうちの少なくとも1つを出力することができる。

装置構築
2つの主センサーは、ユーザーの頭部の中心または正面に移動されてもよく、ヘッドセットは、ベータ波またはシータ波のようなさまざまな脳波を効率的に検出および追跡することができる。ヘッドセットの実装は、2つのセンサーに限定されるものではなく、最大8つのセンサー、グラウンド、およびリファレンスを有することができる。

ヘッドセットおよびプリント回路基板は、視覚誘発電位、聴覚誘発電位、および運動誘発電位に敏感である。また、ARヘッドセットにおける定常状態の視覚誘発電位（点滅光を含む）にも敏感である。

プリント回路基板のある実施形態では、プリント回路基板は、機能性において、視覚誘発電位のみに制限され、これにより、クラウドまたは外部コンピュータを使用せずに、完全にプリント回路基板上で、一層高速な処理が可能になる。

プリント回路基板の別の実施形態では、プリント回路基板は、機能性において、聴覚誘発電位のみに制限され、これにより、クラウドまたは外部コンピュータを使用せずに、完全にプリント回路基板上で、一層高速な処理が可能になる。

プリント回路基板の別の実施形態では、プリント回路基板は、機能性において、触覚誘発電位のみに制限され、これにより、クラウドまたは外部コンピュータを使用せずに、完全にプリント回路基板上で、一層高速な処理が可能になる。

プリント回路基板は、EEG（Electroencephalography［脳波記録法］）、ECG（Electrocardiography［心電図記録法］）、EMG（Electromyography［筋電図記録法］）、EOG（ElectroOculography［眼電図記録法］）、機能的近赤外分光法（functional near-infrared spectroscopy、fNIRS）、ECG、EEG、または他の生体信号からのある種の入力を、特定のタイプのフィードバックにマッピングするように事前に構成されてもよい。プリント回路基板は、音、音楽、単語、投影されるビジュアル、および触覚的ファイルの観点で構成可能である。プリント回路基板はまた、音ファイル、触覚ファイル、特徴抽出のためのある種のアルゴリズム、およびパターンマッチングのデフォルトを有する。

たとえば、ヘッドセットは、プリント回路基板が信号10ヘルツを読むときに、文字「A」を出力するようにあらかじめ構成されることができる。同様に、すべてのアルファベット、数字、単語、音楽および触覚振動は、聴覚、視覚または触覚入力にマッピングされうる。

さらに、そのような事前構成は、ある顧客またはユーザーに固有なカスタマイズされた振動ファイル、サウンドファイル、または異なるアルゴリズムが存在しうるように、各ユーザーにカスタマイズされることができる。これらの事前構成は、アプリケーションから無線で実装されてもよく、よって、ユーザーは、プリント回路基板のUSBにプラグ接続する必要がない。

たとえば、与えられた3つの周波数、7、11、および19ヘルツについて、それぞれ前の項目、次の項目、または選択項目に移動するように、アクセシビリティ・コントロールが設定されてもよい。たとえば、プリント回路基板が信号7ヘルツを読む場合、「前の項目」コントロールがARヘッドセットでポップアップしてもよい。

ある実施形態では、各ユーザーは、専用の「プライベート・クラウド」を、自身のデータ、パーソナライズされたファイル、および選好のすべてとともに有していてもよく、そのため、BCIは、それがインターネットに接続するときに、サーバーと同期することができる。

ある実施形態では、無線経由の（Over the Air）ダウンロードまたはファームウェア更新がBCIにプッシュされてもよい。更新は、イベントベースの変更またはシステムのフル更新でありうる。

プリント回路基板を拡張現実眼鏡に取り付けるために使用される接続（connection）は、切断され（severed）てもよく、よって、プリント回路基板の全機能性を維持しつつ、プリント回路基板が別の拡張現実眼鏡に接続されることを可能にする。ヘッドセットは、Microsoft Hololens^TM、Magic Leap^TM、および人間のための視覚ディスプレイを通じて拡張現実を提供することができるその他の製品など、異なる拡張現実眼鏡とともに機能することができる。

ある実施形態では、ヘッドセット内の脳コンピュータ・インターフェースのシステムは：拡張現実ディスプレイと；ユーザーからの生体信号を読み取るための一つまたは複数のセンサーと；該生体信号を解析し、拡張現実ディスプレイ上の出力にマッピングするプロセッサを含む処理モジュールと；該処理モジュールと通信する少なくとも1つのバイオフィードバック装置であって、該少なくとも1つのバイオフィードバック装置はユーザーにフィードバックを提供する、バイオフィードバック装置と；バッテリーとを含む。バッテリーは、前記拡張現実ディスプレイ、前記一つまたは複数のセンサー、前記処理モジュール、前記少なくとも1つのバイオフィードバック装置、およびそれらの組み合わせのうちの少なくとも1つに電力を提供する。

ある実施形態では、ヘッドセットにおいて脳コンピュータ・インターフェース（BCI）を実装する方法が、拡張現実ディスプレイを利用することと；ユーザーからの生体信号を読み取るための一つまたは複数のセンサーを利用することと；生体信号を解析し、拡張現実ディスプレイ上の出力にマッピングするプロセッサを含む処理モジュールを利用することと；処理モジュールと通信する少なくとも1つのバイオフィードバック装置を利用することであって、前記少なくとも1つのバイオフィードバック装置はユーザーにフィードバックを提供する、ことと；バッテリーを利用することとを含み、バッテリーは、前記拡張現実ディスプレイ、前記一つまたは複数のセンサー、前記処理モジュール、前記少なくとも1つのバイオフィードバック装置、およびそれらの組み合わせのうちの少なくとも1つに電力を提供する。

本ヘッドセットは、従来の設計よりも機能性を改善する一方で、BCIヘッドセットにおける資源制約の困難な商業上の問題に対処する。本ヘッドセットはまた、完全な移動性をもってユーザーを解放する可能性があり、これにより、研究者は現場で真の縦断的研究を行なうことが可能となり、エンドユーザーに、自分の環境を探索し、それと相互作用する、より大きな自由を与える。

生体信号は処理され、リアルタイムで解析される。より多くの処理をプリント基板上で行なうことにより、追加的な電子設備をなくし、それをセットアップし使用するための高価な時間および労力の量を削減することによって、コストが削減され、それにより、より頻繁な使用が可能になる。

さらに、フィードバック応答の待ち時間は、拡張現実、触覚、および／またはオーディオ・システムを通じて短縮される。

ここで図面を参照すると、図1は、PCB 102、ストラップ104、ディスプレイ106、輪郭成形されたスリーブ108、および視覚的ディスプレイ源110を含むヘッドセット100の実施形態を示す。ディスプレイ106および視覚的ディスプレイ源110は、任意のARヘッドセットであってもよく、それに限定されない。PCB 102は、人間の頭部の背面のまわりの輪郭に沿うように曲がった形状である。輪郭成形されたスリーブ108は、PCB 102およびバッテリーのような他のアイテムを固定する。ストラップ104は、PCB 102および人の頭部の背面のまわりを取り囲み、ヘッドセット100を人の頭部の背面と接触した状態に維持することができる。いくつかの実施形態において、ストラップ104は、輪郭成形されたスリーブ108を横断するが、ストラップ104は、輪郭成形されたスリーブ108の外側後面を横断してもよく、または輪郭成形されたスリーブ108の一部として製造されてもよい。ストラップ104は、PCB 102をディスプレイ106および視覚的ディスプレイ源110に電気的および物理的に結合することができる。PCB 102は、視覚的ディスプレイ源110およびディスプレイ106を通じてユーザーにビデオ信号を出力することができる。いくつかの実施態様では、ディスプレイ106は、拡張現実画像を提供する。ヘッドセット100は、本開示のシステムおよび方法に有用なヘッドセットの例示的な例であり、図1または図2に示される構成要素に限定されない。

図2では、分解されたBCIヘッドセット200は、PCB 102、ストラップ104、ディスプレイ106、輪郭成形されたスリーブ108、視覚的ディスプレイ源110、およびパッド202を含む。パッド202は、視覚的ディスプレイ源110上に（on）位置してもよく、ユーザーの額と該ユーザーの額に接触する視覚的ディスプレイ源110の部分との間のクッションを提供する。分解されたBCIヘッドセット200は、本開示のシステムおよび方法に有用なヘッドセットの例示的な例であり、図2に示される構成要素に限定されない。

図3は、輪郭成形されたスリーブ302、カバー306、led 308、およびPCB 304を有するヘッドセット300の前面斜視図を示す。輪郭成形されたスリーブ302はPCB 304を含んでいてもよい。PCB 304の第1の領域は、アナログフロントエンドを含んでいてもよく、ヘッドセット300がEEG（脳波記録法）、ECG（心電図記録法）、EMG（筋電図記録法）、または他の生体信号を読み取ることを許容する。カバー306は、輪郭成形されたスリーブ302を通じてPCBへのアクセスを提供する。

ある実施形態では、輪郭成形されたスリーブ302に穴（led 308）が設けられており、これにより、多色LED光をパイプで取り出し、外部から見えるようにして、ユーザーに、電源オン／オフ、点滅、データ／活動があるかどうかといったカラーコード化された状態指標を、種々のモードなどについてカラーコード化されて、提供することができる。led 308は、輪郭成形されたスリーブ302の中心にあってもよいが、それに限定されない。ある実施形態では、この機能的ライティング・インジケータは、単一のled光、複数のled光、アニメーション光などであってもよい。ライト・インジケータ機能は、個々のユーザーのためにカスタマイズされてもよい。

図4を参照すると、ヘッドセット400の一部は、輪郭成形されたスリーブ402、センサー404、センサー406、センサー408、追加センサー410、PCB 412、スリット414、およびクラスプ（clasp）416を含む。輪郭形成されたスリーブ402は、人の頭部と接触するように形成された、ヘッドセットの前記一部における3つのサンバースト型の形状を含んでいてもよく、これらの形状はセンサー404、センサー406およびセンサー408を表わす。これらのセンサーを表わす形状は、任意の形状でありうる。ある実施形態では、形状は、輪郭成形されたスリーブ402内に凹んでいる。凹んだ領域は、センサーをより快適で安定にすることを可能にする。いくつかの実施形態では、センサーは、上、下、左、または右に調整されてもよい。センサー404、センサー406、およびセンサー408は、脳信号を検出し、それらをPCB 412に印加し、該PCB 412が脳信号を処理する。4つの追加センサー410がある。これらの追加センサーも、脳信号を感知し、さらなる処理のためにそれらをPCB 412に印加してもよい。

ヘッドセット400の別の実施形態では、ヘッドセットは、計7個のセンサーの代わりに、4個の追加センサー410のみを有する。

PCB 412の異なる実施形態は、センサーのレイアウトが6つの1×1、または3つの2×1、または3つの1×2となるように、プリント回路基板においてブレークポイント（break point）間でケーブルを利用することができる。

輪郭成形されたスリーブ402は、後面と底面との間にスリット414を含んでいてもよい。スリット414は、クラスプ416を解放し、輪郭成形されたスリーブ402の底部と後部の間を広げること（spreading apart）によって開くことができる。このスリット414は、異なる種類のヘッド・ストラップの交換可能性を可能にするように機能しうる。

図5を参照すると、ある実施形態によるヘッドセット500の断面は、輪郭成形されたスリーブ502と、プリント回路基板の第3の領域506と、ヘッドセットの輪郭成形されたスリーブ502に取り付けられたセンサー504とを含む。3つの領域が示されているが、プリント回路基板は単一のフレキシブル基板であってもよく、基板上の構成要素の位置決めは重要ではない。

第3の領域506は、触覚フィードバックを提供する。生体信号は、リアルタイムで処理され、解析されうる。生体信号は、ヘッドセット400内でローカルに処理され、よってオンラインでまたはクラウド内でストリーミングされない。これはローカル化と呼ばれる。

図6を参照すると、ある実施形態によるヘッドセット600の断面が、輪郭成形されたスリーブ602、第1の領域604、第2の領域606、第3の領域608、およびセンサー610を含む。輪郭成形されたスリーブ602の上部は、ヘッドセット内の埋め込まれたプリント回路基板を示すために取り除かれている。センサー610がプリント回路基板の第3の領域608に取り付けられる。ヘッドセット600の断面は、プリント回路基板の第1の領域604および第2の領域606をも示している。ある実施形態では、ARヘッドセット・ストラップがBCIの内部を通過しうるチャネル612領域がある。チャネル612は、BCIの一方の側から他方の側（第3の領域608の近傍）に存在してもよい。ある実施形態では、BCIの両側には、ARヘッドセット・ストラップの両端が通りうる穴がある。

図7を参照すると、ヘッドセット700の断面が、輪郭成形されたスリーブ702と、第1の領域704と、第2の領域706と、第3の領域708と、バッテリー710と、センサー712と、センサー714とを有する。バッテリー710は、LiPo、LiOn等のバッテリーであってもよく、カスタム形状／設計のバッテリーであってもよい。

ケースの下部を除去したヘッドセット600の断面は、輪郭成形されたスリーブ702の内側のPCBを示し、PCBがヘッドセット内にどのように埋め込まれるかを例証している。第1の領域704、第2の領域706、および第3の領域708が、PCB上に示されている。バッテリー710は、ヘッドセットの底部に位置される。バッテリー710に取り付けられたセンサー712およびセンサー714がある。ヘッドセット600は、ステータスled 716をも有していてもよい。

図8を参照すると、方法800は、ヘッドセット内に脳コンピュータ・インターフェースを実装することに関わる諸段階を含む。それらの段階は、アナログフロントエンドとしてPCBの第1の領域を用いて生体信号を読み取る段階（ブロック802）、捕捉された生体信号を処理する段階（ブロック804）、生体信号を解析する段階（ブロック806）、生体信号をコマンド（単数または複数）にマッピングする段階（ブロック808）、該コマンドを実行する段階（ブロック810）、および該コマンドを将来の使用のために記録する段階（ブロック812）を含む。

方法800は、BCIを介して脳波を読み取り、ユーザーの感覚系（sensomatic system）（視覚、音、振動／触覚）を通じたバイオフィードバックを介して脳に書き込むための閉ループ方法であってもよい。ある実施形態では、閉ループ・システムは、後頭葉を介して視覚皮質を読み取り（視覚）、体性感覚皮質（somatosensory cortex）に書き込む（感覚）。

ある実施形態では、プロセッサは、生体信号を解析し、生体信号をデジタル対話装置のための出力にマッピングする。デジタル対話装置は、拡張現実ディスプレイ、ユーザーに近接したデジタル対話装置、リモートに位置するデジタル対話装置およびそれらの組み合わせのうちの少なくとも1つを含みうる。ユーザーに近接したデジタル対話装置は、スマートフォン、タブレット、コンピュータなどを含みうる。リモートに位置するデジタル対話装置は、リモートに位置するコンピュータ、タブレット、スマートフォン、モニタなどを含みうる。

ある実施形態では、コマンドは、以下のうちの少なくとも1つである：何もしない；後の使用のためにデータをログ記録する；オーディオ・ファイルを再生する；視覚要素を操作する；振動パターンを再生する；別の装置にメッセージまたはコマンドを送信する；義肢をリモート制御する；ライトをオン／オフする；tvチャネルを変更する、およびそれらの組み合わせ。

ある実施形態では、コマンドは、将来の使用および強化学習としての改善された機械学習パフォーマンスおよび人間の神経パフォーマンス／想起のために、記録されてもよい。

ある実施形態では、PCBが読むことができる生体信号は、EEG（脳波記録法）、ECG（心電図記録法）、EMG （筋電図記録法）、EOG（筋電図記録法）、視覚誘発電位、定常状態視覚誘発電位、定常状態聴覚誘発電位、および運動誘発電位のうちの少なくとも1つを含む。

図9を参照すると、装置900は、プリント回路基板902と、第1の領域904と、第2の領域906と、第3の領域908と、アナログフロントエンド910と、処理、解析およびマッピング912論理と、バイオフィードバック914と、センサー・ヘッダ916と、EEGアナログ‐デジタル918と、触覚コントローラ920と、オーディオ・ドライバ／増幅器922と、OLED 924と、マイクロsdカード926と、USB/TTLブリッジ928と、ブルートゥース低エネルギー・モジュール930と、マイクロプロセッサ932と、および電力管理834とを含む。

プリント回路基板902は、第1の領域904（アナログフロントエンド910）、第2の領域906（処理、解析およびマッピング912）、および第3の領域908（バイオフィードバック914）の3つの領域を含む。

第1の領域904は、センサー・ヘッダ916、EEGアナログ‐デジタル918変換器などを含むアナログフロントエンド910である。プリント回路基板の第1の領域は、生体信号を受領し、それをデジタル信号に変換する。第2の領域906は、ブルートゥース低エネルギー・モジュール930、OLED 924、マイクロsdカード926、マイクロプロセッサ932、電力管理モジュール934などを含む。プリント回路基板の第2の領域は、マイクロプロセッサ932を使用して生体信号を処理し、解析し、生体信号を拡張現実眼鏡での出力にマッピングする。出力は、聴覚および視覚出力または触覚出力を含んでいてもよい。電力管理モジュールは、ブルートゥース低エネルギー・モジュール930を含むさまざまなコンポーネントおよびモジュールへの電力を制御することができる。第3の領域908は、USB/TTLブリッジ928、オーディオ・ドライバ／増幅器922、または触覚コントローラ920を使用するバイオフィードバック914を提供する。

図10は、本開示のある実施形態によるBCI＋ARシステム1000を示す。センサー1002は、ユーザー1004からの信号を受領する。これらの信号は、オペレーティング・システム1006内でイベントをトリガーする。次いで、それらの信号は、ハードウェア1008を使用して出力にマッピングされる。出力は、オーディオおよびビデオを含んでいてもよく、または触覚振動パターンを含む触覚出力であってもよい。

図11は、BCI＋AR環境1100の実施形態を示す。BCI＋AR環境1100は、センサー1102、EEGアナログ‐デジタル変換器1104、オーディオ／ビデオ／触覚出力1108、処理1106、ストラップ1110、拡張現実眼鏡1112、人間のユーザー1114、およびBCI 1116を有する。人間のユーザー1114は、ヘッドセットの一部であるBCI 1116を着用している。人間のユーザー1114が環境と対話するとき、BCI 1116内に位置するセンサー1102が意図を読み取り、オペレーティング・システムをトリガーする。EEGアナログ‐デジタル変換器1104は、センサー1102の出力（たとえば、意図）を受領する。EEGアナログ‐デジタル変換器1104は、センサー出力をデジタル信号に変換し、該デジタル信号は処理1106に送られる。次いで、信号は処理され、解析され、オーディオ／ビデオ／触覚出力1108にマッピングされ、拡張現実眼鏡1112上に表示される。

ある実施形態では、ストラップ1110は、AR＋BCIを人の頭部に固定するためのヘッド・ストラップである。いくつかの実施形態、たとえば、埋め込み可能なBCIおよびARシステムにおいては、ストラップは必要ないことがある。ストラップレス・システムは、スマート眼鏡またはコンタクトレンズを使用してもよい。異なる実施形態では、複数のセンサーが存在してもよいが、最低でも一つのセンサーが存在してもよい。出力を見た後、ユーザーは、脳からの異なる生体信号を有することがあり、よって、これは閉ループ・バイオフィードバック・システムである。ユーザーがSSVEP刺激に対して、より焦点を合わせるにつれて、オーディオは周波数、パワー（音量）、および選択されたキュー〔手がかり〕オーディオによってフィードバックし、人間がその刺激に対する焦点を強化することにおいて人間を支援する。これはまた、触覚の振動タイプおよび強度、ならびにディスプレイにおける追加的な周辺的な視覚的手がかりによって生じることもある。これらのフィードバックは、スマートフォンを介してARヘッドセットを通じて再生されうるオーディオおよび触覚に依存しない。感覚ミックスに対して、実は脳の全く異なる部位を通る嗅覚（臭い）フィードバックのものをリモートに付加することさえ可能である。これは、人の認知訓練において最も強力なバイオフィードバック強化の1つであることが示されている。

限定しない例として、誰かが初めてBCIを使用する場合、その人は「ナイーブ」ユーザー、あるいは脳がこの種のユーザー・インターフェースで訓練されたことがない人と見なされる。ユーザーがそれを使い続けるにつれて、脳はそれほどナイーブでなくなり、能力が向上し、訓練される。それを行なうのがますます速くなることがありうる。これは強化学習である――BCIは、誰かが自分の意図および注目をオブジェクトに揃えて、それをクリックすることを可能にする。

ある実施形態では、ユーザー・インターフェース経験を豊かにするために、複数のフィードバック・モダリティ（聴覚、視覚、触覚、および嗅覚）が、その個人のための、またはそのタイプの訓練のための最も有利なフィードバック・モダリティを選択するために利用可能であってもよい。たとえば、適切な脳波周波数がユーザーによって生成される場合、この信号の強度に関するリアルタイムのフィードバックが、聴覚または触覚フィードバックの強度および周波数を調整することによって表現されてもよい。さらに、マルチモーダル・フィードバックを使用する可能性は、複数の感覚脳領域が同時に刺激されることを意味し、これは、神経信号およびフィードバックの表現を高め、それによって、学習および神経可塑性を加速する。

臭いを強化因子（reinforcer）として用いることの利点は、臭いを感知する脳領域（嗅覚皮質）と記憶を形成する（海馬）および感情を生み出す（扁桃核）脳領域との間の直接的なリンクのためでありうる。臭いは、記憶のエンコード、統合を強化し、想起をトリガーしうる。

図12は、例示的な拡張現実装置論理1200の構成要素を示す。拡張現実装置論理1200は、グラフィックスエンジン1202、カメラ1204、一つまたは複数のCPU 1208および／またはGPU 1210を含む処理ユニット1206、WiFi 1212無線インターフェース、ブルートゥース1214無線インターフェース、スピーカー1216、マイクロフォン1218、一つまたは複数のメモリ1220、論理1222、視覚的ディスプレイ1224、および振動／触覚ドライバ1226を有する。

処理ユニット1206は、場合によっては、AR関連機能のような特定の機能のために最適化された、特注の処理ユニットのようなプログラマブルデバイスを含むことができる。拡張現実装置論理1200は、専用の奥行きセンサー、追加インターフェースなど、図示されていない他の構成要素を有していてもよい。

図12のコンポーネントの一部または全部は、ARヘッドセットに収容されてもよい。いくつかの実施形態では、これらのコンポーネントの一部は、ARヘッドセットのコンポーネントと接続された、またはARヘッドセットのコンポーネントと無線通信する別個の筐体内に収容されてもよい。たとえば、いくつかのコンポーネントのための別個の筐体が、着用されるまたはベルトであるように、または装着者のポケットに収まるように設計されてもよく、または、コンポーネントのうちの一つまたは複数が、ARヘッドセット内のディスプレイおよびカメラ装置と無線で通信する別個のコンピュータ装置（スマートフォン、タブレット、ラップトップまたはデスクトップ・コンピュータなど）内に収容されてもよく、それにより、ヘッドセットおよび別個の装置は、完全な拡張現実装置論理1200を構成する。

メモリ1220は、実行するために処理ユニット1206に印加される論理1222を備える。場合によっては、論理1222の異なる部分が、処理ユニット1206の異なるコンポーネントによって実行されてもよい。論理1222は、典型的には、オペレーティング・システムのコード、ならびに本明細書に開示されたプロセスの諸側面を実行するためにオペレーティング・システム上で実行されるように構成された一つまたは複数のアプリケーションのコードを含む。

本開示の装置、方法、およびシステムは、いくつかの好ましい実施形態に基づいて上記に記載されている。異なる変形の異なる側面は、互いとの組み合わせで記載されていると考えられ、本稿に基づいて当業者が読んだときに読まれるとみなされうるすべての組み合わせが、本発明の概念の範囲内である。好ましい実施形態は、本稿の保護の広がりを制限しない。

このように、本願の本発明の実施形態を、その例示的な実施形態を参照して詳細に説明したが、本発明の範囲から逸脱することなく、修正および変形が可能であることは明らかであろう。

Claims

ヘッドセット内の脳コンピュータ・インターフェースのシステムであって：
拡張現実ディスプレイと；
ユーザーからの生体信号を読み取るための一つまたは複数のセンサーと；
該生体信号を解析し、該生体信号をデジタル対話装置のための出力にマッピングするプロセッサを含む処理モジュールであって、前記デジタル対話装置は、前記拡張現実ディスプレイ、ユーザーに近接したデジタル対話装置、リモートに位置するデジタル対話装置およびそれらの組み合わせのうちの少なくとも1つを含む、処理モジュールと；
前記処理モジュールと通信する少なくとも1つのバイオフィードバック装置であって、該少なくとも1つのバイオフィードバック装置は、前記ユーザー、前記デジタル対話装置およびそれらの組み合わせのうちの少なくとも1つにフィードバックを提供するように構成されている、バイオフィードバック装置と；
バッテリーとを有しており、前記バッテリーは、前記拡張現実ディスプレイ、前記一つまたは複数のセンサー、前記処理モジュール、前記少なくとも1つのバイオフィードバック装置、およびそれらの組み合わせのうちの少なくとも1つに電力を提供する、
システム。
前記生体信号は、EEG（Electroencephalography［脳波記録法］）またはECG（Electrocardiography［心電図記録法］）またはEMG（Electromyography［筋電図記録法］）またはEOG（Electrooculography［眼電図記録法］）およびそれらの組み合わせのうちの少なくとも1つを含む、請求項１に記載のシステム。
前記処理モジュールによって実行される処理は、視覚誘発電位を含む、請求項１に記載のシステム。
前記ヘッドセットは、プリント回路基板をさらに含み、前記プリント回路基板は、前記一つまたは複数のセンサー、前記処理モジュール、前記少なくとも1つのバイオフィードバック装置、前記バッテリー、およびそれらの組み合わせのうちの少なくとも1つを含む、請求項１に記載のシステム。
前記プリント回路基板は、ブルートゥース・キーボードをエミュレートし、データをモバイル装置、コンピュータ、および前記拡張現実ディスプレイのうちの少なくとも1つに出力するように構成され、前記出力データは、文字、記号、数字、およびそれらの組み合わせのうちの少なくとも1つを含む、請求項４に記載のシステム。
前記生体信号は、リアルタイムで処理され、解析される、請求項１に記載のシステム。
前記処理モジュールは、ロー・モード、シマー・モード、クックト・モード、人間インターフェース装置‐キーボード・モード、およびそれらの組み合わせのうちの少なくとも1つを含みうる異なるモードを有する、請求項１に記載のシステム。
前記ロー・モードは、データをフィルタリングし、認識し、またはデータと相互作用することができるモバイルまたはデスクトップのインターネット接続された装置を介してクラウドで、または、ローカルにさらに処理するために、データの完全なバイオセンサー・ストリームをストリームする、請求項７に記載のシステム。
前記クックト・モードは、ローカルな認識器および診断によって生成された完全に処理されたカスタム・メッセージであり、ロー・データはユーザーに渡されない、請求項７に記載のシステム。
前記シマー・モードは、前記ロー・モードと前記クックト・モードとの間のハイブリッド組み合わせであり、前記プロセッサは、ロー・データ・ストリームに、クックト・メッセージを散在させる、請求項７に記載のシステム。
ヘッドセット内の脳コンピュータ・インターフェース（BCI）を実装する方法であって：
拡張現実ディスプレイを利用することと；
ユーザーからの生体信号を読み取るための一つまたは複数のセンサーを利用することと；
該生体信号を解析し、該生体信号をデジタル対話装置のための出力にマッピングするプロセッサを含む処理モジュールを利用することであって、前記デジタル対話装置は、前記拡張現実ディスプレイ、ユーザーに近接したデジタル対話装置、リモートに位置するデジタル対話装置およびそれらの組み合わせのうちの少なくとも1つを含む、ことと；
前記処理モジュールと通信する少なくとも1つのバイオフィードバック装置を利用することであって、該少なくとも1つのバイオフィードバック装置は、前記ユーザー、前記デジタル対話装置およびそれらの組み合わせのうちの少なくとも1つにフィードバックを提供するように構成されている、ことと；
バッテリーを利用することとを含み、前記バッテリーは、前記拡張現実ディスプレイ、前記一つまたは複数のセンサー、前記処理モジュール、前記少なくとも1つのバイオフィードバック装置、およびそれらの組み合わせのうちの少なくとも1つに電力を提供する、
方法。
前記生体信号は、EEG（Electroencephalography［脳波記録法］）、ECG（Electrocardiography［心電図記録法］）、EMG（Electromyography［筋電図記録法］）、EOG（Electrooculography［眼電図記録法］）、視覚誘発電位、聴覚誘発電位および運動誘発電位のうちの少なくとも1つを含む、請求項１１に記載の方法。
前記処理モジュールによって実行される処理は、視覚誘発電位を含む、請求項１１に記載の方法。
前記ヘッドセットは、プリント回路基板をさらに含み、前記プリント回路基板は、前記一つまたは複数のセンサー、前記処理モジュール、前記少なくとも1つのバイオフィードバック装置、前記バッテリー、およびそれらの組み合わせのうちの少なくとも1つを含む、請求項１１に記載の方法。
前記プリント回路基板は、モバイル装置またはコンピュータに無線で接続することができ、前記プリント回路基板は、ブルートゥース・キーボードをエミュレートし、データを前記モバイル装置、前記コンピュータ、および前記拡張現実ディスプレイのうちの少なくとも1つに出力するように構成され、前記出力データは、文字、記号、数字、およびそれらの組み合わせのうちの少なくとも1つを含む、請求項１４に記載の方法。
前記生体信号は、リアルタイムで処理され、解析される、請求項１１に記載の方法。
前記処理モジュールは、ロー・モード、シマー・モード、クックト・モード、人間インターフェース装置‐キーボード・モード、およびそれらの組み合わせのうちの少なくとも1つを含む異なるモードを有する、請求項１１に記載の方法。
前記ロー・モードは、モバイルまたはデスクトップのインターネット接続された装置を介してクラウドで、または、ローカルにさらに処理するために、データの完全なバイオセンサー・ストリームをストリームし、前記インターネット接続された装置は、データをフィルタリングすること、認識すること、およびデータと相互作用することのうち少なくとも1つを実行するように構成されている、請求項１７に記載の方法。
前記クックト・モードは、ローカルな認識器および診断によって生成された完全に処理されたカスタム・メッセージであり、ロー・データはユーザーに渡されない、請求項１７に記載の方法。
前記シマー・モードは、前記ロー・モードと前記クックト・モードとの間のハイブリッド組み合わせであり、前記プロセッサは、ロー・データ・ストリームに、クックト・メッセージを散在させる、請求項１７に記載の方法。