JP2013544546A - Ssvepに基づく電気デバイス制御システムおよび方法 - Google Patents

Ssvepに基づく電気デバイス制御システムおよび方法 Download PDF

Info

Publication number
JP2013544546A
JP2013544546A JP2013531539A JP2013531539A JP2013544546A JP 2013544546 A JP2013544546 A JP 2013544546A JP 2013531539 A JP2013531539 A JP 2013531539A JP 2013531539 A JP2013531539 A JP 2013531539A JP 2013544546 A JP2013544546 A JP 2013544546A
Authority
JP
Japan
Prior art keywords
visual stimulus
stimulus generator
generators
visual
spectral density
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013531539A
Other languages
English (en)
Other versions
JP5688154B2 (ja
Inventor
ヨッドハナン ウォンサワット、
ユンヨン プンサワッド、
Original Assignee
オフィス オブ ザ ナショナル ブロードキャスティング アンド テレコミュニケーションズ コミッション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オフィス オブ ザ ナショナル ブロードキャスティング アンド テレコミュニケーションズ コミッション filed Critical オフィス オブ ザ ナショナル ブロードキャスティング アンド テレコミュニケーションズ コミッション
Publication of JP2013544546A publication Critical patent/JP2013544546A/ja
Application granted granted Critical
Publication of JP5688154B2 publication Critical patent/JP5688154B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/377Electroencephalography [EEG] using evoked responses
    • A61B5/378Visual stimuli

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Psychiatry (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • Psychology (AREA)
  • Dermatology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

SSVEPに基づく電気テ゛ハ゛イス制御システムにおいて、ユーサ゛ー状態検出モシ゛ュールは特定の期間に亘って両目が閉じた状態のようなユーサ゛ーの挙動を検出し得る。システム制御ユニットはそれに応答して一式の視覚刺激発生器を活性化し得る。各視覚刺激発生器は固有の提示周波数で視覚信号を出力し得る。ユーサ゛ーは特定の電気テ゛ハ゛イスまたはインタフェースに関連する特定の視覚刺激発生器を選択的に注視することができ、その間にEEG取得ユニットはユーサ゛ーの脳により生成されたSSVEPに関連するEEG信号を捕捉する。テ゛ハ゛イス同定モシ゛ュールは特定の基本周波数Fkに関連するEEGハ゜ワースヘ゜クトル振幅テ゛ータを生成し、主要周波数FDを判定し、FDに等しい提示周波数で視覚刺激を出力する視覚刺激発生器を同定する。システム制御ユニットは、電気テ゛ハ゛イスの制御指令をマルチテ゛ハ゛イスインタフェースユニットへ送信し、同定された視覚刺激発生器に関連する電気テ゛ハ゛イスの動作状態が変化する。
【選択図】図1

Description

本開示は、定常状態視覚誘発電位(SSVEP)に基づくブレイン・コンピュータ・インタフェース(BCI)技術に関する。特に、本開示の特徴は、脳波(EEG)信号の捕捉のために簡単な電極構成、脳波信号を解析する計算効率のよい正確な処理および特定機器に関連する視覚刺激発生器、簡単で信頼性のあるマルチデバイス電力インタフェースユニット、および視覚疲労および/またはユーザーのイライラを回避または除外する簡単かつ堅牢で支援不要なシステム活性化処理を提供する、SSVEPに基づく電気デバイスまたはアプライアンス制御システムおよび方法に関する。
ブレイン・コンピュータ・インタフェース(BCI)システムおよびデバイスが開発されたことで、人の頭皮から計測される脳波のさまざまな側面が集中的に研究されてきた。BCIは脳と外部デバイスとの間の直接コミュニケーション経路である。BCIは人の認識または感覚運動機能を支援、補強、または修復を目的とすることが多い。
BCI技術は、筋電図(EMG)、皮質電図(ECoG)、または脳波図(EEG)信号を利用してユーザーが神経機能代替デバイスを自在に制御する手助けとなるシステムの開発に大きな役割を果たす。EEGは、重篤な障害を持つ者に適用可能な一般的な非侵襲的モダリティである。EEG信号は人の頭皮外部で検出可能な電気的活動に起因する。EEG信号は脳内の神経発火により生成され、同様の空間的定位の何千何百万もの皮質ニューロンにより生成されるシナプス後電位により引き起こされる関連するシナプス活動を反映する。
EEG信号の取得は、頭皮電極またはリード線を伴い、典型的には国際10−20法により特定される位置を用いる。EEGにおいて、感覚的刺激により誘発される微少電位は特に重要である。なぜなら、これら時間的に同期した一過性小波は一次感覚線維により運ばれる求心性斉射に応じて細胞群がどのように振る舞うかを示すからである。ちょっとした刺激を被験者に提示すると、この刺激に対する一過性脳反応が起きる。
一般に、EEGに基づく神経機能代替システムは、信号取得システム、信号処理アルゴリズム、およびアプリケーションデバイスからなる。EEGに基づく神経機能代替システムでは、自然EEGおよび視覚誘発電位(VEP)のような事象関連電位(ERP)の二つのモダリティが広く用いられる。誘発電位は脳における刺激の影響を示し、感覚および知覚処理の変化に敏感である。VEP技術の主要な利点は、計測デバイスのサンプリングレートにのみ制限されるその時間分解能にある。
VEPは一過性視覚誘発電位(TVEP)および定常状態視覚誘発電位(SSVEP)に分類することができる。SSVEPは視覚刺激に対する6Hzよりも高い周波数で変調される周期的応答であり、視覚野に対応する頭皮位置で記録することができる。視覚刺激は、発光ダイオード(LED)または液晶ディスプレイ(LCD)に表示されるチェッカーボードまたは他のパターンにより生成することができる。SSVEPは、視覚刺激およびその高調波の周波数と同じ基本周波数を有する。SSVEPに基づくシステムでは、多数の周波数でコード化された複数の刺激が視野中に提示され、多数の刺激の中の一つにユーザーの関心または注意が移ることでさまざまなSSVEP応答が生成され得る。
刺激選択を対象とする従来技術では、思考中の被験者に視覚疲労の負担をかけることなくEEGに基づく神経機能代替システムを正確に動作させるための信頼できるSSVEP信号を生成することができない。さらに、従来の刺激システムは無用に複雑化した電気回路が必要となり、システムのオーバーヘッドおよび/またはコストが増大してしまう。
また、従来の電極構成も無用に複雑である。例えば、信頼できるSSVEP信号を得るために64もの異なる頭皮位置に電極を配置していたため、コストが増大するとともに信号処理が望ましくなく長時間化する。人の頭皮に少ない電極を配置してSSVEP信号を取得する試みがいくつかなされたが、そのような試行ではSSVEP信号が貧弱かつ不正確なものとなり、ひいては神経機能代替デバイスの制御が貧弱、不正確、および不確実になる。
SSVEP信号の処理に用いられる既存のアルゴリズムから別の問題が生じる。現在のアルゴリズムは複雑であり、不正確または矛盾した結果をもたらし、近いまたは隣り合う同様の刺激を効果的に区別する能力に欠ける。EEGに基づく神経機能代替システムの現在の実装はEEG信号に応じて複数のデバイスを制御する方法として使用し易く、融通が利き、信頼があり、および費用効率に優れたというものではないため、さらに別の問題が生じる。
EEGに基づく神経機能代替システムは障害者の生活に大きなプラスの影響をもたらす潜在性があるため、既存のEEGに基づく神経機能代替システムを改良する必要がある。それゆえ、EEGに基づく神経機能代替システムに関する上記問題の少なくとも一つに対処する解決策を提供することが望まれる。
本開示のある局面に従うと、個人の脳により生成されるEEGデータに基づいた一式のデバイスを制御する自動化処理が提供される。一式のデバイスは、一式の視覚刺激発生器と一式の電気デバイスとを備え、各電気デバイスは所定の視覚刺激発生器と関連する。当該処理は、各視覚刺激発生器を、視覚刺激発生器どうしが区別されるような各視覚刺激発生器による視覚刺激の出力が回避される第1の状態(例えば、休眠または不活性状態、またはデバイス制御動作に関連する周波数でSSVEPが生成されることが回避される状態)に遷移させ、個人の脳により生成される第1のEEGデータを取得し、第1のEEGデータが視覚刺激発生器の活性化指令を表す個人の自力の挙動に関連するかを判定し、視覚刺激発生器の活性化指令に応じて、一式の視覚刺激発生器における各視覚刺激発生器を、各視覚刺激発生器が一式の視覚刺激発生器における視覚刺激発生器どうしが区別されるような視覚刺激を出力する第2の状態に遷移させる。視覚刺激発生器の活性化指令がない場合、視覚刺激発生器を第1の状態を維持することができる。第2の状態のとき、各視覚刺激発生器は、視覚刺激どうしが区別される提示周波数で視覚刺激を出力し得る。第1のEEGデータが視覚刺激発生器の活性化指令を表す自力の挙動に関連することの判定において、第1のEEGデータを解析して、活性化指令の合間などの特定の期間に亘ってまたは対して覚醒した個人が両目を閉じた状態および/または閉眼−開眼の連続を同定してもよい。
本開示に係る処理は、さらに、ユーザーが特定の視覚刺激発生器を注視していた間に個人の脳により生成されるSSVEPに関連する第2のEEGデータを取得し、第2のEEGデータがユーザーが注視していた特定の視覚刺激発生器を指し示しているかを判定する。第2のEEGデータがユーザーが注意を向けていた一式の視覚刺激発生器における特定の視覚刺激発生器を指し示していない場合、各視覚刺激発生器を第1の状態に遷移させることができる。
さらに、当該処理は、ユーザーが注視していた特定の視覚刺激発生器を同定し、特定の視覚刺激発生器に関連または対応する特定の電気デバイスの動作状態を(例えば、電源状態の確定、変更、または切り替えにより)調整する。特定の電気デバイスの動作状態の調整に際して(例えば、調整前、調整後、調整中)、各視覚刺激発生器を第1の状態に遷移させるまたは戻すことができる。
本開示のある局面に従うと、システムユーザーの脳によるSSVEPの生成に基づく一式の電気デバイスの制御システムは、それぞれが視覚刺激を出力する一式の視覚刺激発生器と、各視覚刺激発生器に接続され、選択的に各視覚刺激発生器に視覚刺激発生器どうしが区別されるような視覚刺激を出力させる視覚刺激発生器制御器と、ユーザーの脳により生成されるEEGデータを提供するEEGシステムまたはユニットと、デバイス同定システムとを備えている。デバイス同定システムは、ユーザー状態検出モジュールの一部が存在するメモリに接続された処理装置を備えている。ユーザー状態検出モジュールは、実行されるとユーザーの自力の挙動に応じて生成されるEEGデータが特定の期間に亘って覚醒した個人が両目を閉じた状態および/または閉眼−開眼の連続といった視覚刺激発生器の活性化指令に関連するかを判定するプログラム命令集合を含む。視覚刺激発生器制御器は、視覚刺激生成器の活性化指令が検出されるまで、視覚刺激発生器を、視覚刺激発生器どうしが区別されるような各視覚刺激発生器による視覚刺激の出力が回避される第1の状態に保持することができ、その後、視覚刺激発生器制御器は、各視覚刺激発生器が視覚刺激発生器どうしが区別されるような視覚刺激を出力する第2の状態に視覚刺激発生器を遷移させることができる。
メモリは、捕捉したEEGデータに基づいてユーザーが注視していた特定の視覚刺激生成器を同定するプログラム命令集合を有するデバイス同定モジュールをさらに備えてもよく、これにより特定の視覚刺激発生器に関連する電気デバイスの同定および選択的統制が容易になる。
本開示のある局面に従うと、EEG10−20モンタージュ規格に従って空間的に組織された一式の電極を有し、O1−Fz間の第1のEEG信号差およびO2−Fz間の第2のEEG信号差の少なくとも一つを検出するEEG取得システムが提供される。一式の電極は、所定時にEEG信号を検出する5個よりも少ない電極を有していてもよい。
上記に追加的にまたは代わるものとして、本開示のある局面に従うと、個人の脳により生成されるSSVEPに基づく一式のデバイスの制御処理は、個人が基準の景色を注視していた間に個人の脳により生成されるEEGデータに関連する第1のEEGデータを取得し、第1のEEGデータに関連するとともに一式の基本周波数fおよび各基本周波数fの一式の高調波倍数nfに関連する複数の基準パワースペクトル密度振幅値を生成し、複数の基準パワースペクトル密度振幅値を用いてデバイス同定閾値Tを生成する。
当該処理は、さらに、それぞれが一式の基本周波数fにおける関連する基本周波数fにほぼ等しい固有の提示周波数で視覚刺激を提供する一式の視覚刺激発生器における特定の視覚刺激発生器に個人が注視していた間に個人の脳により生成されるSSVEPに関連する第2のEEGデータを生成し、第2のEEGデータに関連するとともに一式の基本周波数fおよび各基本周波数fの一式の高調波倍数nfに関連する複数の基準パワースペクトル密度振幅値を生成し、少なくとも一つの基準パワースペクトル密度振幅値およびデバイス同定閾値Tの比較に基づいて複数の活性パワースペクトル密度振幅値における各活性パワースペクトル密度振幅値を選択的にスケーリングすることで複数の閾値活性パワースペクトル密度振幅値を生成し、主要活性パワースペクトル密度振幅値が複数の閾値活性パワースペクトル密度振幅値に関連して存在するかを判定してもよい。
かかる処理は、主要活性パワースペクトル密度振幅値に関連するとともに一式の基本周波数fにおける特定の基本周波数fに等しい優位周波数fを同定し、優位周波数fに関連する提示周波数で視覚刺激を提供する特定の視覚刺激発生器を同定し、特定の視覚刺激発生器に関連する電気デバイスを同定し、特定の視覚刺激発生器に関連する電気デバイスの動作状態を設定または調整してもよい。
本開示のある局面に従うと、個人の脳により生成されるSSVEPに基づく一式のデバイスの制御システムは、それぞれが視覚刺激を出力する一式の視覚刺激発生器と、各視覚刺激発生器に接続され、選択的に各視覚刺激発生器に視覚刺激発生器どうしが区別されるような視覚刺激を出力させる視覚刺激発生器制御器と、ユーザーの脳により生成されるEEGデータを提供するEEGデータ供給または取得システムと、デバイス同定システムとを備えている。デバイス同定システムは、デバイス同定モジュールの一部が存在するメモリに接続された処理装置を備えている。
デバイス同定モジュールは、実行されるとデバイス同定動作により特定の視覚刺激発生器を同定するプログラム命令集合を含み、当該デバイス同定動作は、個人が特定の視覚刺激発生器を注視していた間に取得したEEGデータに関連するとともに一式の基本周波数fおよび一式の高調波倍数nfに関連する複数の活性パワースペクトル密度振幅値を生成し、少なくとも一つの基準パワースペクトル密度振幅値およびデバイス同定閾値Tの比較に基づいて複数の活性パワースペクトル密度振幅値における各活性パワースペクトル密度振幅値を選択的にスケーリングすることで複数の閾値活性パワースペクトル密度振幅値を生成し、主要活性パワースペクトル密度振幅値が複数の閾値活性パワースペクトル密度振幅値に関連して存在するかを判定する。
上記デバイス同定動作は、さらに、主要活性パワースペクトル密度振幅値に関連するとともに一式の基本周波数fにおける特定の基本周波数fに等しい優位周波数fを判定し、優位周波数fに関連する周波数で視覚刺激を提供する一式の視覚刺激発生器における特定の視覚刺激発生器を同定し、特定の視覚刺激発生器に関連する電気デバイスを同定し、特定の視覚刺激発生器およびそれに関連する電気デバイスのグループからの少なくとも一つに関連する一式の識別子を出力してもよい。
本開示のある局面に従うと、上記システムは、さらに、一つ以上の識別子、指令、または命令の受信に応じて、特定の視覚刺激発生器に関連する電気デバイスの動作状態を変化させるシステム制御ユニットを備えていてもよい。システム制御ユニットは、識別子に基づいて電気デバイス制御指令を出力することができる。上記システムは、さらに、システム制御ユニットと通信し、特定の視覚刺激発生器に関連する電気デバイスの動作状態を設定または調整するデバイス制御インタフェースを備えていてもよい。
上記メモリは、校正動作を実行するプログラム命令集合を含む校正ユニットを含んでいてもよい。当該校正動作は、個人が基準の景色を注視していた間に個人の脳により生成されるEEG信号に関連する基準EEGデータを解析し、基準EEGデータに関連するとともに一式の基本周波数fおよび各基本周波数fの一式の高調波倍数nfに関連する複数の基準パワースペクトル密度振幅値を生成し、複数の基準パワースペクトル密度振幅値を用いてデバイス同定閾値Tを生成する。
本開示のある局面に従うと、実行されると下記の実施形態のような本開示の実施形態に従ったSSVEPに基づくデバイス制御動作を容易または可能にするプログラム命令列を格納する一つ以上のコンピュータ読み取り可能な記録媒体がさらに提供される。
以下、本開示の実施形態を次の図面を参照しながら説明する。
本開示の実施形態に係るSSVEPに基づくアプライアンス制御システムの概略図である。 本開示の実施形態に係る国際EEG10−20モンタージュに関連する電極構成の概略図である。 本開示の実施形態に係るシステム制御および通信ユニットのブロック図である。 本開示の実施形態に係るデバイス同定ユニットのブロック図である。 本開示の実施形態に係る代表的な機器構成GUI500の概略図である。 本開示の実施形態に係る代表的なSSVEPに基づく電気デバイスまたはアプライアンス制御処理のフローチャートである。 本開示の実施形態に係る代表的な基準パラメータ生成処理のフローチャートである。 本開示の実施形態に係る代表的なデバイス同定処理のフローチャートである。
本開示の実施形態は、SSVEPに関連するEEG信号の捕捉および解析に基づくアプライアンスなどの一つ以上の電気デバイスの動作を選択的に制御するシステム、装置、デバイス、および処理に関する。SSVEPは、ユーザーが視覚刺激発生器を選択的に注視しているときに発生する。多くの実施形態では多数の視覚刺激発生器が含まれており、各視覚刺激発生器は所定の電気デバイスまたはアプライアンスに関連するものである。各視覚刺激発生器は、視覚刺激発生器どうしが区別されるまたは区別され得るようなユーザーに対する視覚的または光学的刺激または信号を出力、表示、または提示する。例えば、詳細な実施形態によると、各視覚刺激発生器は、固有または弁別的な提示周波数および/または弁別的な空間提示パターンで視覚刺激を出力することができる。視覚刺激により、提示周波数に関連するSSVEP周波数でユーザーの脳に部分的にSSVEPがもたらされ、引き起こされ、または発生し得る。視覚刺激発生器は、LED列または他のタイプの光学信号提示デバイスであり得る。
EEG取得システム、サブシステム、またはユニットにより、ユーザーの脳により生成されるEEG信号を容易に捕捉または獲得できる。ユーザー装着型ヘッドギアはユーザーの頭皮に対して特定の位置に、SSVEPに関連するEEG信号を捕捉することができる一式の電極を配置することができる。
多くの実施形態では一式の電極は少数または最小数の電極を有する。システム制御および通信ユニットは、EEG信号をサンプリングされたEEGデータとして捕捉することができる。デバイス同定ユニットは、捕捉されたEEG信号を計算効率のよい処理方法で解析することができ、どの視覚刺激発生器が捕捉されたEEG信号を生じさせたかを判定する。これにより、ユーザーが注視していた視覚刺激発生器に関連する電気デバイスまたはアプライアンスが同定される。
デバイス同定ユニットはデバイス識別子(ID)および/または電源インタフェースIDをシステム制御および通信ユニットへ伝送することができ、システム制御および通信ユニットは関連デバイス制御指令および/または関連電源インタフェース制御指令をマルチデバイスインタフェースユニットへ発行する。これに応じて、マルチデバイスインタフェースユニットは、視覚刺激発生器に関連する電気デバイスまたはアプライアンスの動作状態を伝送、調整、または設定することができる。例えば、マルチデバイスインタフェースユニットは、電気デバイスまたはアプライアンスに関連する電源インタフェースをオフ状態からオン状態へ、またはオン状態からオフ状態へ遷移させることができる。これにより、視覚刺激発生器に関連する電気デバイスまたはアプライアンスをオフ状態かオン状態へ、またはオン状態からオフ状態へ遷移させることができる。したがって、EEG取得ユニット、システム制御および通信ユニット、デバイス同定ユニット、およびマルチデバイスインタフェースユニットは、ユーザーが注視していた視覚刺激発生器に関連する電気デバイスの動作状態を自動的に変更することができる。
多くの実施形態では、システム制御および通信ユニットは、視覚刺激発生器を、デバイス同定ユニットが視覚刺激活性化指令に関連または代表する自力または自立のユーザーの活動または挙動が起きたと判定または検出しない限り、視覚刺激発生器どうしが区別されるような各視覚刺激発生器の視覚刺激の生成が回避される状態に遷移させる。多くの実施形態では、自力のユーザーの挙動は、所定時間に亘って継続する、覚醒したユーザーが両目を閉じた状態または状況を含む。ユーザーが生成した視覚刺激発生器の活性化指令が検知または同定されると、デバイス同定ユニットはシステム制御および通信ユニットへ、視覚刺激発生器どうしが区別(例えば、時間的および/または空間的な区別)されるような各視覚刺激発生器による視覚刺激の生成を可能にする活性化通知を送ることができる。
ある実施形態では、デバイス同定ユニットは、捕捉したEEG信号が両目を閉じた状況を表すまたは関連するかどうかを、そして場合によっては両目を閉じた状況がユーザーが覚醒した状態またはユーザーが寝ている状態に関連するかどうかを判定することができる。所定の期間に亘る両目を閉じて覚醒しているユーザーの状態に応じてまたは続いて、システム制御および通信ユニットは一式の視覚刺激発生器を活性状態に遷移させる。これにより、両目を開けたユーザーは関心のある電気デバイスに関連する活性状態の視覚刺激発生器に注視することができる。したがって、電気デバイスの同定およびユーザーが両目を所定の期間閉じていることに対する制御動作のために、システムが使用可能にされ、活性化され、またはリセットされる。ある実施形態では、両目を閉じた覚醒したユーザー状態が所定の期間に亘って検知され、続いて(例えば、両目が閉じた状態にすぐに続く)両目が開いた状態が検知されたことに応じて一式の視覚刺激発生器の(再)活性化が発生し得る。
本開示の多くの実施形態は、通常のデバイスまたはアプライアンスの動作中の、またはユーザーが寝ているまたは寝そうにしているときにおける継続的な、進行中の、または不要に持続しまたは長期の視覚刺激発生器の活性化を回避する(例えば、特定の覚醒したユーザーの目が閉じる挙動に関連する視覚刺激発生器の活性化指令が検出されない限り視覚刺激発生器は非活性化状態のままである)。結果として、本開示の実施形態により、ユーザーの注意散漫および/または視覚疲労を最小化またはなくすことができる。
特定期間に亘る両目を閉じた状況の検知に応じたシステムの(再)活性化またはリセットの後、デバイス同定ユニットは、捕捉されたEEG信号を解析し、ここに記述した一つ以上の方法でユーザーが関心を持つ電気デバイスを同定することができる。システム制御および通信ユニットはマルチデバイスユニットへ適当な制御指令を発行することができ、これにより関心のある電気デバイスの動作状態を切り替えることができる。続いてシステム制御および通信ユニットは一式の視覚刺激発生器を休止またはオフ状態に遷移させることができ、これによりユーザーの視覚疲労を低減、最小化、またはなくすことができる。ある実施形態では、システムはさらに、両目を閉じたユーザーの休眠状態の検出に応じて一式の視覚刺激発生器を非活性状態に遷移させるかまたは一式の視覚刺激発生器を非活性状態のままにすることができる。
本開示の実施形態は、どの視覚刺激発生器が視覚刺激発生器が駆動される提示周波数に関連付けられたSSVEP信号を発生させたかをEEGに基づいて判定することで、電気デバイスを活性化または非活性化するようになっている。また、本開示の多くの実施形態では、ユーザーが電気デバイスを自力で選択的に活性化または非活性化することができるようなシステム活性化処理が提供される。このため、本開示の実施形態は、身体が不自由であるまたは身体障害者のユーザーにとって特に役立つまたは有用であり得る。本開示の実施形態はまた、健常者にとっても役立つまたは便利であり得る。
以下、図1から8を参照して、既存のSSVEPに基づくBCIシステムおよび技術に関連する一つ以上の上記問題に対処する本開示の実施形態を説明する。便宜のため、ここでの説明は主として電気デバイスまたはアプライアンスの制御システム、デバイス、および技術に向けられている。しかし、これは、ここで説明する動作、機能、または性能特性などの基本原理を必要とするまたは要求する他のアプリケーションから本開示の多くの実施形態を排除するものではない。
以下の説明において、同様または類似の参照符号は同様または類似の要素を表す。さらに、特定の図面に示した特定の参照符号の説明は、そのような参照符号が示されている別の図面の同時検討を示唆し得る。さらに、ユニット、モジュール、および要素(エレメント)という用語は、ここに記載したさまざまな実施形態においてハードウェアおよびソフトウェアの一方または両方を含み得る。本開示において、一式(セット)という用語は、既知の数学定義に従って(例えば、Peter J. Eccles,"An Introduction to Mathematical Reasoning: Numbers, Sets, and Functions," CambridgeUniversity Press (1998)の"Chapter 11: Properties of Finite Sets"(例えば、p.140に示される)に記載されているような方法で)、少なくとも1のカーディナリティを数学的に表す非空有限の要素組織として定義される(つまり、ここで定義されるセットは一重項または一要素集合、または多重要素集合に相当し得る)。一般に、セットの要素は、デバイス、構造、信号、関数または関数処理、または検討中のセットのタイプに依存する値を含み得るまたはあり得る。
代表的なシステムの特徴
図1は、本開示の実施形態に係るSSVEPに基づくアプライアンス制御システム10の概略図である。実施形態において、システム10は、複数の視覚刺激発生器20a−dと、EEG信号取得ユニット100と、システム制御および通信ユニット200と、デバイス同定ユニット300と、少なくとも電気デバイスまたはアプライアンス50a−dに動作電力を選択的に供給するマルチデバイス電源インタフェースユニット400のようなマルチデバイスインタフェースユニットとを備えている。
多くの実施形態では、EEG信号取得ユニット100、システム制御および通信ユニット200、デバイス同定ユニット300、およびマルチデバイス電源インタフェースユニット400は、例えば、幹線、家庭用、または線路電源に接続された一つ以上の電気コンセントを介して主または一次電源80に接続され得る。視覚刺激発生器20a−d、EEG信号取得ユニット100、およびデバイス同定ユニット300は、後述するようにシステム制御および通信ユニット200に接続され得る。さらに、マルチデバイス電源インタフェースユニット400はシステム制御および通信ユニット200と無線または有線通信することができる。
マルチデバイス電源インタフェースユニット400は、制御モジュール410と、各電気デバイスまたはアプライアンス50a−dに接続され得る電気コンセントのような複数の電源インタフェース420a−dと、システム制御および通信ユニット200からの指令またはデバイス制御命令を受信する通信モジュール450と、後述するようにそのような指令に応じて特定の電源インタフェース420a−dに選択的に電力を供給する中継モジュール460とを備えている。
各視覚刺激発生器20a−dは、視覚刺激または光学信号を供給、出力、表示、または提示する。多くの実施形態では、視覚刺激発生器20a−dの少なくとも一つはLED列を有し、実施例では当該LED列は少なくとも一つの中心波長の光を出力する3×4またはその他のサイズのLEDの列である。さらにまたは代替的には、視覚刺激発生器20a−dはフラットパネルディスプレイ画面の一部のような別のタイプのデバイスであり得る。
視覚刺激発生器20a−dはシステム制御および通信ユニット200により選択的に使用可能化、制御、または駆動され得る。多くの実施形態では、システム制御および通信ユニット200は、各活性状態の視覚刺激発生器20a−dが視覚刺激発生器20a−dどうしが区別されるまたは区別され得るような視覚刺激を出力することができるように、一式の視覚刺激発生器20a−dを選択的に駆動または信号供給する。例えば、システム制御および通信ユニット200は、固有または弁別的な提示パターンに従って各視覚刺激発生器20a−dを駆動することができる。多くの実施形態では、提示パターンは、特定の視覚刺激発生器20a−dが固有または弁別的な提示周波数で視覚刺激を出力するような時間的パターンであり得る。ある実施形態では、提示パターンは、さらにまたは代替的に空間パターンおよび/または光学波長交代または変調方式を含み得る。
視覚刺激発生器20a−dは、マルチデバイス電源インタフェースユニット400に接続された各電気デバイス50a−dと関連し得る。多くの実施形態では、システム制御および通信ユニット200および/またはデバイス同定ユニット300は、特定の視覚刺激発生器20a−dおよび/または電気デバイス50a−dとマルチデバイス電源インタフェースユニット400により与えられる特定の電源インタフェース420a−dとの間の関連付け、関係、またはマッピングを設定することができる。その結果、特定の電源インタフェース420a−dに接続された特定の電気デバイスまたはアプライアンス50a−dは特定の視覚刺激発生器20a−dに関連付けられる。
例えば、適当な視覚刺激発生器IDを適当な電気デバイスIDまたは適当な電源インタフェースIDに関連付けることにより、特定の視覚刺激発生器20a−dと特定の電気デバイス50a−dまたは特定の電源インタフェース420a−dとの間の関係を設定することができる。そのようなIDは関連するメモリアドレスに(例えば、データ構造に)格納することができる。第1から第4の電気デバイス50a−dがテレビ50a、扇風機50b、ステレオシステム50c、および照明50dであるような実施例では、第1の視覚刺激発生器20aはテレビ50aに関連付けられ、第2の視覚刺激発生器20bは扇風機50bに関連付けられ、第3の視覚刺激発生器20cはステレオシステム50cに関連付けられ、第4の視覚刺激発生器20dは照明50dに関連付けられる。
特定の視覚刺激発生器20a−dと特定の電気デバイス50a−dとの間の視覚的または概念的関連付けは、電気デバイス50a−dに対する視覚刺激発生器の場所または位置によりユーザーに自然に伝わる。より詳細には、視覚刺激発生器20a−dは、視覚刺激発生器20a−dを電気デバイス50a−d上に、または隣りに、または近くに設置または配置することより、特定の電気デバイス50a−dに概念的または視覚的に関連付けすることができる。この結果、ユーザーが視覚刺激発生器20a−dを注視したとき、特定の視覚刺激発生器20a−dおよびそれに関連する電気デバイス50a−dの両者がユーザーの視野に入る。別の実施形態では、電気デバイス50a−dに対する視覚刺激発生器の位置により特定の視覚刺激発生器20a−dを特定の電気デバイス50a−dに関連付ける必要はなく、むしろ、そのような概念的な関連付けはユーザーが学習または記憶することができる。
多くの実施形態では、各視覚刺激発生器20a−dは、関連する固有または弁別的なSSVEP生成周波数および/またはユーザーの脳の一部におけるSSVEP生成パターンを引き起こすまたは生じさせる、区別されるまたは区別され得る提示周波数または周期に従って視覚的または光学的刺激または信号を出力する。実施例では、第1の視覚刺激発生器20aはおよそ6Hzの提示周波数で光学信号を出力するように駆動され、第2の視覚刺激発生器20bはおよそ7Hzの提示周波数で光学信号を出力するように駆動され、第3の視覚刺激発生器20cはおよそ8Hzの提示周波数で光学信号を出力するように駆動され、第4の視覚刺激発生器20dはおよそ13Hzの提示周波数で光学信号を出力するように駆動される。
ユーザーが活性状態の特定の視覚刺激発生器20a−dを注視すると、その視覚刺激発生器により出力される光学信号は、視覚刺激発生器20a−dが駆動される提示周波数に関連する基本周波数および一式の高調波倍数を含むパワースペクトルを有するSSVEP信号を引き起こし得る。したがって、特定の視覚刺激発生器20a−dは、視覚刺激発生器20a−dが駆動される提示周波数に相関するようにSSVEPを誘発し得る。
EEG信号取得ユニット100は、SSVEP信号に関連するEEG信号を検知する。ある実施形態では、EEG信号取得ユニット100は、複数の電極120a−dからEEG信号を受信する信号増幅ユニット110を備えている。電極120a−dはユーザー装着型ヘッドギア130により運ぶことができ、または電極120a−dはユーザーの頭皮により直接配置することができる。詳細には、電極120a−dは湿式電極または乾式電極であり得る。例えば、電極120a−dは湿式電極または乾式電極であり得る。電極120a−dは、国際EEG10−20モンタージュにより定義された特定の頭皮位置に関連するであろう所定位置にヘッドギア130により運ばれ、または支持され、または搭載され得る。
図2は、本開示の実施形態に係るEEG10−20モンタージュ規格に関連する電極構成の概略図である。ある実施形態では、第1および第2の電極120a,bは、視覚野の部分に関連する後頭部頭皮位置であるO1およびO2に関連するまたは関連するであろう位置にヘッドギア130により運ばれる。第3の電極120cはFzに関連するであろう位置にヘッドギア130により運ばれ、第4の電極120dはCzに関連するであろう位置にヘッドギア130により運ばれる。後述するように、ある実施形態では、O1,O2,およびFzに配置された電極120a−cを有する電極構造によりEEG情報を補足することで、ユーザーが制御しようとする特定の電気デバイス50a−dの同定を、信頼性があり、正確で、計算効率のよいものにすることができる。
ある実施形態では、最大数の電極120a−dがいつでもEEG信号を検出する。例えば、この最大数の電極120a−dは3つ(例えば、O1およびO2の少なくとも一つとFzおよびCzとに関連するEEG信号の捕捉に関連する)または4つ(例えば、O1,O2,Fz,およびCzのそれぞれに関連するEEG信号の捕捉に関連する)である。別の実施形態では、3つまたは4つよりも多い電極120a−dによりEEG信号を捕捉することができる。
図1に戻り、信号増幅ユニット110は各電極120a−dに接続され、それから関連するEEG信号を受信する。信号増幅ユニット110は、増幅され、場合によりフィルタリング(例えば、50Hzのノッチフィルタ、および場合により5−30Hzのバンドパスフィルタ)され、さもなくば処理されたEEG信号をシステム制御および通信ユニット200に供給する。ある実施形態では、信号増幅ユニット110は第1のEEG信号および第2のEEG信号をシステム制御および通信ユニット200に供給する。第1のEEG信号は第1および第3の電極120a,c間の信号差により定義され、第2のEEG信号は第2のおよび第3の電極120b、c間の信号差により定義される。すなわち、信号増幅ユニット110は二つのチャンネルにEEG信号を出力する。第1のチャンネルはO1−Fzにより定義されるEEG信号を伝送し、第2のチャンネルはO2−Fzにより定義されるEEG信号を伝送する。信号増幅ユニット110は、Czに関連する第4の電極120dにより供給される信号を基準信号として使用することができる。
視覚刺激発生器20a−dが活性化しているとき、システム制御および通信ユニット200は信号増幅ユニット110から受信したEEG信号に関連するデジタルEEGデータを捕捉またはサンプリングする。システム制御および通信ユニット200は、a)第1のEEG信号を信号差O1−Fzに関連する第1のEEGデータとして、b)第2のEEG信号を信号差O2−Fzに関連する第2のEEGデータとして、保存することができる。システム制御および通信ユニット200はそのようなEEGデータを解析のためにデバイス同定ユニット300に送信する。
デバイス同定ユニット300は、システム制御および通信ユニット200により捕捉されたEEGデータを受信し、獲得し、または取得し、視覚刺激発生器および/またはデバイス同定動作に応じてそのようなデータの特徴を解析または特徴化する。多くの実施形態では、デバイス同定ユニット300はEEGパワースペクトルに関連するデータを解析する。例えば、デバイス同定ユニット300はパワースペクトル密度データを生成し、そのようなデータに特定の操作をして、後述するようにパワースペクトル密度データを引き起こした視覚刺激発生器20a−dをリアルタイムまたはほぼリアルタイムで判定または同定することができる。
リアルタイムまたはほぼリアルタイムのデバイス同定動作に先だって、システム10は、ユーザーからの一つ以上のタイプの基準EEGデータの捕捉および解析を含む校正動作を行う。校正動作は、ユーザーが視覚刺激発生器の提示周波数に関連するまたは関連付けられる視覚刺激のない周囲環境の一部に視野を向けているときに両目が開いた基準EEGデータを捕捉する両目開眼校正動作を含む。より詳細には、両目が開いた基準EEGデータは、ユーザーが基準環境、景色、または画像を注視しているときに捕捉することができる。基準環境または景色は、視覚刺激発生器の提示周波数またはそれら提示周波数の高調波周波数またはそれに近い周波数で視覚刺激を提供する光学信号源がないまたは排除された周囲環境の一部であり得る。例えば、ユーザーが周囲照明下で標準環境を見ており、ユーザーの視界内または近傍のどの視覚刺激発生器20a−dおよび関連する電気デバイス50a−dもオフ状態にあるときに、両目が開いた基準EEGデータを捕捉することができる。ある実施形態では、同一または実質的に同一の配色で、広域スペクトルの光学信号源で均一にまたは実質的に均一に照明された壁(例えば、普通の室内照明で照明された白い壁)のような中性の基準の景色をユーザーが見ているときに、両目が開いた基準EEGデータを捕捉することができる。
さらに、校正動作は、ユーザーが両目を閉じた状態を所定時間維持しているときに両目が閉じた基準EEGデータを捕捉する両目閉眼校正動作を含み得る。多くの実施形態では、校正動作の一部として、デバイス同定ユニット300は、基準パワースペクトル密度データ、一式の基準パラメータまたは値、および閾パラメータまたは値を生成して、a)ユーザーが注視していた視覚刺激発生器20a−dをリアルタイムまたはほぼリアルタイムで同定することができ、b)後述するように、視覚刺激発生器20a−dによる視覚刺激提示を自力で自動的に活性化または非活性化させることができる。
代表的なシステム制御および通信ユニットの特徴
図3は、本開示の実施形態に係るシステム制御および通信ユニット200のブロック図である。実施形態において、システム制御および通信ユニット200は、制御器210と、データ取得またはサンプリングユニット220と、メモリ225と、第1の通信モジュール230と、一式の視覚刺激ドライバ240と、第2の通信モジュール250とを備えている。ある実施形態はさらに中継器255を備えている。システム制御および通信ユニット200の特定の要素は、データバス290および/または制御バス292などの一式の共有または共通の信号経路により接続されてデータおよび/または信号を伝送できるようになっている。
制御器210は、マイクロコントローラまたはマイクロプロセッサの一部のような命令プロセッサを含み得る。制御器210は、本開示の実施形態に従ったSSVEPに基づく電気デバイス制御処理の一部を定義および/または実施するプログラム命令列に従って動作することができる。そのようなプログラム命令はメモリ225に存在する。
データ取得ユニット220は信号増幅ユニット110から受信したEEG信号をサンプリングし、サンプリングデータをメモリ225に保存する。ある実施形態では、データ取得ユニット220はマイクロコントローラにより与えられるオンチップ要素であり得る。メモリ225は、バッファ、ランダムアクセスメモリ(RAM)、およびリードオンリーメモリ(ROM)のような一つ以上の揮発性および/または不揮発性データ格納要素を含み得る。マイクロコントローラに基づいた実施形態では、メモリ225はオンチップメモリおよび/またはオフチップメモリを含み得る。
第1の通信モジュール230はデバイス同定ユニット300とデータ転送する。より詳細には、第1の通信モジュール230はサンプリングされたEEGEEGデータをデバイス同定ユニット300へ送信する。第1の通信モジュール230は、さらに電源インタフェースID、視覚刺激発生器ID、および/または電気デバイスまたはアプライアンスIDなどのデータをデバイス同定ユニット300から受信することができる。概して、第1の通信モジュール230は、シリアルインタフェース(例えば、RS−232またはユニバーサルシリアルバス(USB)インタフェース)などの標準的なデータ転送インタフェースを含み得る。
第2の通信モジュール250はマルチデバイス電源インタフェースユニット400と選択的に通信する。例えば、第2の通信モジュール250は電源インタフェースIDまたは電気デバイスIDをマルチデバイス電源インタフェースユニット400へ送信することができる。多くの実施形態では、第2の通信モジュール250無線信号通信を行う。第2の通信モジュール250は中継器255に接続可能である。マルチデバイス電源インタフェースユニット400への信号伝送が必要な場合、制御器210は選択的に中継器255を活性化して第2の通信モジュール250に電力を供給することができる。
最後に、一式の視覚刺激ドライバ240は視覚刺激発生器20a−dに選択的に一式のドライブ信号を供給する。実施例では、一式のドライブ信号は矩形波信号を含み得る。所定の矩形波信号はLED列のような関連する視覚刺激発生器20a−dを駆動することができる。
代表的なデバイス同定ユニットの特徴
図4は、本開示の実施形態に係るデバイス同定ユニット300のブロック図である。実施形態において、デバイス同定ユニット300は、処理ユニット302と、少なくとも一つのデータ格納ユニット304と、表示デバイス308に接続されたグラフィックユニット306と、一式の入力デバイス312に接続されたI/Oユニット310と、メモリ320とを備えている。ある実施形態では、デバイス同定ユニット300は、さらに、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、またはインターネット316のようなネットワークに接続され得るネットワークインタフェースユニット314を備えている。デバイス同定ユニット300の要素は共通の一式のバス390により接続され得る。
処理ユニット302は、格納されたプログラム命令列を実行する命令プロセッサを含み得る。I/Oユニット310は、システム制御および通信ユニット200を含むデータ転送を可能にするシリアルインタフェース(例えば、RS−232および/またはUSBインタフェース)などの一つ以上のタイプのI/Oインタフェースを含み得る。例えば、I/Oユニット310はシステム制御および通信ユニット200からサンプリングされたEEGデータを受信し、そのデータをメモリ320に保存することができる。I/Oユニット310は、さらに、一つ以上のコンピュータマウス、キーボード、タッチ画面、および/または他のタイプのユーザー入力インタフェースを含み得る一式の入力デバイス312から入力を受信する。表示デバイス308はコンピュータモニターを含み得る。データ格納ユニット304は、ハードディスクドライブおよび/または固定のまたはリムーバブルのコンピュータ読み取り可能媒体によりプログラム命令列またはデータを読み書きする他のタイプのデバイスを含み得る。
メモリ320は、揮発性(例えば、RAM)および/または不揮発性(例えば、ROM)メモリのような一つ以上のタイプのコンピュータ読み取り可能媒体を含み得る。そのような媒体には、オペレーティングシステム322(例えば、マイクロソフトウィンドウズ(登録商標)ベースのオペレーティングシステム)、機器構成モジュール330、校正モジュール332、ユーザー状態検出モジュール334、デバイス同定モジュール336、EEG信号解析ライブラリ338、機器構成メモリ340、サンプリングデータメモリ342、および同定メモリ344が存在する。多くの実施形態では、機器構成モジュール330、校正モジュール332、ユーザー状態検出モジュール334、デバイス同定モジュール336、およびEEG信号解析ライブラリ338は、本開示の実施形態に従ったSSVEPベースのデバイス制御処理の一部を可能にする、定義するおよび/または実施するプログラム命令列を含む。機器構成メモリ340は、特定の視覚刺激発生器20a−dと特定の電気デバイス50a−dおよび/または電源インタフェース420a−dとの間の関連または関係を定義するまたは示すデータを含み得る機器構成データを保持し得る。機器構成メモリ340は、さらに、サンプリングレートおよびデバイス同定動作において考慮すべきサンプル数などのEEGデータ解析パラメータを含み得る。サンプリングデータメモリ342はデータ取得ユニット220から受信したサンプリングされたEEGデータを格納することができ、同定メモリ344は、本開示の実施形態に従った電気デバイス50a−dの同定および制御のための処理データを格納することができる。そのような処理データは、例えば、後述するパワースペクトルデータに相当し得る。機器構成モジュール330、校正モジュール332、ユーザー状態検出モジュール334、およびデバイス同定モジュール336の一つ以上は、機器構成メモリ340、サンプリングデータメモリ342、同定メモリ344、および/またはEEG信号解析ライブラリ338の一つ以上にアクセスして本開示の特徴に従ったSSVEPに基づく電気デバイス制御動作を円滑化することができる。
実施例では、デバイス同定ユニット300はデスクトップまたはラップトップコンピュータシステムなどのパーソナルコンピュータを含む。機器構成モジュール330、校正モジュール332、ユーザー状態検出モジュール334、デバイス同定モジュール336、およびEEG信号解析ライブラリ338の一つ以上の部分は、LabVIEW(www.ni.com/labview/, National Instruments Corporation, Austin, TX USA)などの視覚プログラミング、計測、データ解析、テスト、および/または制御環境によってまたは関連して実施することができる。さらにまたは代替的に、そのようなモジュール330−338の一つ以上の部分は、C,C++,C#,またはJavaなどのプログラミング言語に従って記述されたプログラム命令列により実施することができる。
代表的なSSVEPに基づくデバイス制御処理の特徴
概して、本開示に従ったSSVEPに基づくデバイス制御処理は、システム構成処理と、校正処理と、ユーザー状態検出処理と、デバイス同定処理とを備えている。そのような処理の一部は、機器構成モジュール330、校正モジュール332、ユーザー状態検出モジュール334、およびデバイス同定モジュール336に関連するプログラム命令実行に関連してそれぞれ生じる。多くの実施形態では、EEG信号解析ライブラリ338は、SSVEPに基づくデバイス制御処理の部分的に校正モジュール332、ユーザー状態検出モジュール334、および/またはデバイス同定モジュール336がアクセスし、呼び出し、または起動することができる標準および/またはカスタマイズされたEEG信号解析ルーチンまたは関数(例えば、標準信号解析ルーチン、関数、または操作に基づくもの)に関するプログラム命令列を有する。以下、実施形態に係るSSVEPに基づくデバイス制御処理の特徴について詳細に説明する。
代表的なシステム構成およびデバイス関連付け処理の特徴
多くの実施形態では、システム構成またはセットアップ動作は、視覚刺激発生器20a−dと電気デバイス50a−dおよび/または電気デバイス50a−dが接続される電源インタフェース420a−dとの間の一つ以上の関連または関係を設定することを含み得る。システム構成またはセットアップ動作は、さらに、EEGデータ獲得パラメータ、例えば、サンプリングレートおよび/またはデバイス同定のために考慮すべきサンプル数(またはそれに応じて考慮すべき期間)を定義または特定することを含む。上述したように、システム構成動作はGUIにより実施され得る。
図5は、本開示の実施形態に係る代表的な機器構成GUI500の概略図である。実施形態において、機器構成GUI500は、ユーザー入力に応じて機器構成データまたはパラメータの生成を支援するグラフィカルウィンドウ502を備えている。グラフィカルウィンドウ502は多数のグラフィカルコントロールを含み得る。例えば、グラフィカルウィンドウ502は、検討中の多数の電気デバイス50a−dを定義するためのユーザー入力に関連する一式のボタン510a−dとしてのいくつかと、EEGサンプリングレートを特定するユーザー入力を受けるテキストボックスまたはリストボックス520と、デバイス同定動作において解析すべきEEGサンプル数を特定するユーザー入力を受けるテキストボックスまたはリストボックス522と、同定タイムアウト期間を特定するユーザー入力を受けるテキストボックスまたはリストボックス524と、両目を閉じた活性期間を特定するユーザー入力を受けるテキストボックスまたはリストボックス526と、校正開始ボタン528とを含み得る。ある実施形態では、グラフィカルウィンドウ502はEEG信号表示ウィンドウ530およびパワースペクトル表示ウィンドウ532も含み得る。
多くの実施形態では、グラフィカルウィンドウ502は、各視覚刺激発生器20a−dに関連する視覚刺激発生器アイコンまたはシンボル22a−dと、各電気デバイスまたはアプライアンス50a−dに関連する電気デバイスまたはアプライアンスアイコン52a−dと、場合によってはマルチデバイス電源インタフェースユニット400により制御される各電源インタフェース420a−dに関連する電源インタフェースアイコン422a−dとを有する。視覚刺激発生器アイコン22a−d、電気デバイスアイコン52a−d、および電源インタフェースアイコン422a−dは空間的に表示されまたは互いに関連して向けられて、各視覚刺激発生器20a−d、各電気デバイス50a−d、および各電源インタフェース420a−dが物理的および概念的に互いに関連することを表すようになっている。ある実施形態では、上記アイコンは、最新の物理的および概念的関連を反映するように互いに関連した位置にグラフィカルに(再)配置または再整列され得る。
多くの実施形態では、機器構成モジュール330が機器構成GUI500を生成するまたは生成の管理をする。機器構成モジュール330はさらに、機器構成GUI500により受けたユーザー入力に応じて機器構成メモリ340に機器構成データまたはパラメータを格納する。身体障害者ユーザーについては、システム機器構成動作は介護人や身内などの補助者により起動することができる。
代表的な校正処理の特徴
校正動作は、機器構成メモリ340に格納可能な校正データまたはパラメータを(例えば、ユーザーによる校正ボタン528の選択に応じて)校正モジュールが生成することを含む。多くの実施形態では、校正動作は、視覚刺激発生器20a−d、デバイス50a−d、および/または電源インタフェース420a−dの同定を行う両目開眼校正動作を含む。ある実施形態では、校正動作は、さらに、ユーザーの挙動に応じて視覚刺激発生器20a−dを非活性状態から活性状態へ選択的かつ自動的に遷移させる両目閉眼校正動作を含む。概して、校正動作は、(例えば、神経学的状態または脳の機能が安定または長期に亘って概して安定しているユーザーには)1度だけ、またはシステムパフォーマンスの観点から必要に応じて実行され得る。
A)代表的な両目閉眼校正処理の特徴
両目閉眼校正動作は、覚醒したユーザーが両目を閉じている間または間中の一つ以上の両目閉眼校正期間において両目が閉じた基準EEGデータをデータ取得ユニットが捕捉することを含む。両目閉眼構成期間は、所定のまたはプログラムで特定される期間であり、例えば、およそ1−10秒(例えば、およそ2−8秒、またはおよそ2−6秒、またはおよそ1−4または2−4秒)、または、実施形態の詳細に依存した別の期間であり得る。ある実施形態では、校正モジュール332は、校正GUI500へのテキスト表示および/または一式の可聴音または音声メッセージなどにより、ユーザーに目を閉じるよう指示を出すことができる。両目閉眼期間におけるEEGデータの取得に続いて、校正モジュール332は、さらに、一つ以上の可聴音または音声メッセージによりユーザーに目を再び開けるように指示を出すことができる。
覚醒したユーザーの両目が閉じたEEGデータの捕捉中または後に、データ取得ユニット220または校正モジュール332は、捕捉した両目が閉じた基準EEGデータを所定のEEG周波数帯域でフィルタリングすることができる。例えば、校正モジュール332は、両目が閉じた基準EEGデータについてバンドパスフィルタリングを施して、およそ8−12Hzの周波数範囲または帯域外の周波数を持つEEGデータを排除するおよび/または大幅に減衰させることができる。そのような実施形態では、バンドパスフィルタリングされたEEGデータはアルファ帯域データを含み、より低い周波数(シータおよびデルタ)およびより高い周波数(ベータおよびガンマ)帯域を排除または実質的に排除している。
概して、人が両目を閉じたとき、アルファ帯域のEEG信号の振幅は大きく増大し、ベータ帯域のEEG信号は大きく減少する。同様に、人の両目が開いているとき、アルファ帯域のEEG信号の振幅はベータ帯域の信号の振幅に対して大きく減少する。したがって、区別されるまたは区別され得るアルファおよび/またはベータ帯域の信号の振幅を単独または互いに関連して考慮して用いて、a)覚醒したユーザーが両目を閉じたまたは開けたかどうか、および/またはb)ユーザーが両目を長期間閉じたままにしそうな状態に遷移したかどうかを判定することができる。
校正モジュール332は、一つ以上の覚醒したユーザーの両目が閉じた状態、例えば、所定のまたはプログラムで特定される期間に亘って存在または存続する覚醒したユーザーの両目が閉じた状態に関連するEEG信号エネルギーの一つ以上の基準量を判定または生成することができる。ある実施形態では、校正モジュール332は、次式のようなおよそ1−4秒(例えば、および1,2,または3秒)の最小活性化指令期間に関連する覚醒したユーザーの両目が閉じたEEG信号エネルギーの基準量を生成する。
ただし、X はフィルタリングされた両目が閉じた基準EEG信号の平均値のi番目のサンプル、Nは最小活性化指令期間に亘って考慮した総サンプル数である(例えば、EEGサンプリングレートが125Hzで最小活性化指令期間が2秒のときNは250である)。校正モジュール332はTを、ユーザーが視覚刺激発生器の活性化指令を発したかを判定するための活性化指令の閾エネルギーとして定義することができる。後述するように、後校正システム動作において、ユーザー状態検出モジュール334は、Tに対して捕捉したEEGデータをリアルタイム、ほぼリアルタイム、または定期的に解析して、覚醒したユーザーが視覚刺激発生器の活性化指令を発したかを判定することができる。例えば、ユーザー状態検出モジュール334は、Tに対して捕捉したEEGデータを解析して、両目が開いた状態から最小活性化指令期間に亘って持続する両目が閉じた状態へ遷移し、続いて最大活性化指令期間(例えば、およそ3−5秒、またはおよそ4秒)の満了前に両目が開いた状態へ遷移することを検知することができる。
ある実施形態では、校正モジュール332は、さらにまたは代替的に、ユーザーが睡眠状態のような両目を実質的または長期的な期間に亘り閉じたままにしそうなまたはする状態に遷移したかを示し得るEEG信号エネルギーの基準量を判定または生成することができる。例えば、校正モジュール332は、次式のような所定のまたはプログラムで特定されるおよそ5−30秒(例えば、およそ6−20秒、またはおよそ6,8,または10棒)の睡眠兆候期間に関連する覚醒したユーザーの両目が閉じたEEG信号エネルギーの基準量を判定または生成することができる。
ただし、X はフィルタリングされた両目が閉じた基準EEG信号の平均値のi番目のサンプル、Nは睡眠兆候期間に亘って考慮した総サンプル数である(例えば、EEGサンプリングレートが125Hzで睡眠兆候期間が6秒のときNは750である)。校正モジュール332はTを、ユーザーが睡眠状態のような両目を長期間閉じる状態に陥るまたは陥りそうかを判定するための覚醒状態/睡眠状態の閾値として定義することができる。
ある実施形態では、Tは、Tのある倍数のような、最小および/または最大活性化指令期間に対する睡眠兆候期間の長さに依存してTに数学的な相関を持つものとして定義され得る。後述するように、
後校正システム動作において、ユーザー状態検出モジュール334は、Tに対して捕捉したEEGデータをリアルタイム、ほぼリアルタイム、または定期的に解析して、ユーザーが寝ている、寝そうな、または両目を長期間閉じたままにしそうな可能性を判定することができる。
B)代表的な両目開眼校正処理の特徴
両目開眼校正動作は、両目開眼校正期間においてデータ取得ユニットがユーザーから両目が開いた基準EEGデータを捕捉することを含む。両目開眼校正期間では、ユーザーは、視覚刺激発生器20a−dが周期的に視覚刺激を提示するレートに関して視覚刺激または光学信号が一定または基本的に一定のままである環境の一部を注視している間、両目を開けたままにする。多くの実施形態では、両目開眼校正動作中に、システム制御および通信ユニット200は視覚刺激発生器20a−dを利用不可または非活性化し、ユーザーは視覚刺激発生器の提示周波数および少なくともある程度のその高調波倍数(例えば、2−5次高調波近傍)とほぼ同じ周波数で光学信号が循環的または周期的に提示または表示される環境の一部を見なくて済む。
両目開眼校正期間はおよそ1−8秒(例えば、およそ2−6秒、またはおよそ2,3,および4秒)、または、実施形態の詳細に依存した別の期間であり得る。ある実施形態では、システム10はユーザーに壁または何もないまたは実質的に光学的に均一である表面を注視して、両目を所定の期間(例えば、少なくともおよそ2−4秒)開けたままにする指示を出すことができる。校正GUI500上へのテキスト表示および/または一式の可聴音または音声メッセージでそのようなユーザー指令を出すことができる。両目開眼校正期間におけるEEGデータの取得に続いて、システム10は、ユーザーに両目開眼校正動作が完了したことを一つ以上の可聴音または音声メッセージにより通報することができる。これにより、システム10が本開示のある実施形態に従って視覚刺激発生器20a−d、電気デバイス50a−d、および/または電源インタフェース420a−dを同定および/または制御する準備ができたことをユーザーに伝えることができる。
システム制御および通信ユニット200の第1の通信モジュール230は両目が開いた基準EEGデータをサンプリングデータメモリ342に転送することができ、以下に詳述するように、校正モジュール332はそのようなEEGデータに関連する一式の基準同定値またはパラメータおよびデバイス同定閾値またはパラメータを生成または判定することができる。
多くの実施形態では、校正モジュール332は、視覚刺激発生器20a−dの動作に係る各提示周波数fに関連する複数の基準パワースペクトル密度振幅値(以下、基準パワースペクトル密度振幅基関数b)を、そのような提示周波数に関連する基準パワースペクトル密度パラメータを判定するために、生成する。
わかり易くするために、以下では、4つの提示周波数f,f,f,およびfを想定する。上記のように、ユーザーが提示周波数fで視覚刺激を出力するある視覚刺激発生器20a−dを注視したとき、そのような視覚刺激は実質的に同じ周波数を呈するSSVEPを生じさせるまたは生じさせると期待される。それゆえ、視覚刺激発生器20a−dが活性化すると、捕捉されたEEGから生成されたパワースペクトル密度データは基本周波数fおよびfの高調波を有する成分を含むまたは含むと期待される。
基本周波数fごとに、fおよびfの特定の高調波について基準パワースペクトル密度振幅基関数bが生成され得る。高調波は、例えば、fの1次高調波およびfの2次高調波であり、ここではそれぞれ2fおよび3fと参照する。より詳細には、実施例では、f,f,f,およびfならびにそれらの1次および2次高調波のそれぞれに関連する基準パワースペクトル密度振幅基関数bは次の通りである。
上記式において、δはおよそ0.1−1.0Hz(例えば、0.25Hz、または0.5Hz)の周波数オフセットである。周波数オフセットδは所定値であり、ある実施形態ではサンプリング期間に対するサンプリングレートの比率に関連し得る。例えば、EEGデータサンプリングレートがおよそ125Hzの場合、デバイス同定動作はおよそ2秒の現在または最新のデバイス同定期間または時期に捕捉されるEEGサンプルを考慮して、δは125/250つまりδ=0.5となり得る。
校正モジュール332は、さらに、各基本周波数fに関連する複数の代表または平均基準パワースペクトル密度振幅基関数bnkを生成し得る。bnkという表記に関して、n=1は基本周波数fに関連し、n=2は基本周波数の1次高調波2fに関連し、n=3は基本周波数の2次高調波3fに関連する。ある実施形態では、各代表基準パワースペクトル密度振幅基関数bnkは特定の基準パワースペクトル密度振幅基関数bの正規形に関連し得る。例えば、複数の平均基準パワースペクトル密度振幅基関数bnkは次の通り生成され得る。
校正モジュール332は、さらに、各基本周波数fに関連する合成基準パワースペクトル密度振幅値BLを生成し得る。合成基準パワースペクトル密度振幅値BLは平均基準パワースペクトル密度振幅基関数bnkを用いて、例えば、次式に従って生成され得る。
したがって、基本周波数fからfについて次式が成り立つ。
最終的に、デバイス同定閾値Tが次式のように生成され得る。
ただし、M=1,2,3,4は各基本周波数f,f,f,およびfに関連する。
校正モジュール332は、合成基準パワースペクトル密度振幅値BLおよびデバイス同定閾値Tを機器構成メモリ340に格納することができる。後述するように、デバイス同定動作は特定の合成基準パワースペクトル密度振幅値BLおよびデバイス同定閾値Tを含み得る。
代表的なユーザー状態検出処理の特徴
校正動作に続いて、システム10は、デバイス同定動作を実行して本開示の多くの実施形態に従って視覚刺激発生器20a−d、電気デバイス50a−d、および/または電源インタフェース420a−dを同定することができる。多くの実施形態では、校正動作が終了すると、システム制御および通信ユニット200は視覚刺激発生器20a−dを非活性または休止状態に遷移させる。さらに、校正動作が終了すると、データ取得ユニット220は、継続的に、基本的に継続的に、周期的に、または定期的にEEGデータを捕捉し、第1の通信モジュール230はそのようなEEGデータをデバイス同定ユニットのサンプリングデータメモリ342に転送する。ユーザー状態検出モジュール334は捕捉されたリアルタイムまたはほぼリアルタイムのEEGデータを解析して、視覚刺激発生器の指令または電気デバイスの制御指令といったシステム10への指令をユーザーが発したことを表す、関連する、または伝える一式の自力または自律のユーザーの挙動を同定することができる。多くの実施形態では、ユーザー状態検出モジュール334はEEGデータを解析して、ユーザーがa)起きているか眠りに落ちているか、およびb)もし起きていれば視覚刺激発生器の活性化または電気デバイスの制御信号を発したかを判定することができる。
長期間両目が閉じた状態の検出
ある実施形態では、ユーザーが両目を長時間閉じたままにしそうまたはするであろう(例えば、ユーザーが眠りそう、または眠ってしまった)状態になったかを判定するために、ユーザー状態検出モジュール334は、バンドパスフィルタリングされたリアルタイムまたはほぼリアルタイムの周期的に、例えば、およそ1−10秒ごと(例えば、およそ4−8秒ごと、またはおよそ6秒ごと)にサンプリングされたEEGデータ(例えば、アルファ帯域の周波数に関連またはほぼ関連してバンドパスフィルタリングされたEEGデータ)の正規化エネルギーを判定することができる。もしそのようなEEGデータの正規化エネルギーが覚醒状態/睡眠状態の閾値Tよりも大きければ、ユーザー状態検出モジュール334は、ユーザーの両目が少なくとも睡眠兆候期間は閉じており、長期間閉じたままになりそうであると判定する。もしユーザー状態検出モジュール334が、ユーザーが両目を長期間閉じたままにしそうまたはするであろうと判定した場合、ユーザー状態検出モジュール334はシステム制御および通信ユニット200に睡眠の通知をすることができ、それに応じてシステム制御および通信ユニット200は視覚刺激発生器20a−dを非活性状態のままにする。もし現在または最新のEEGサンプル系列の正規化エネルギーがT以下であれば、ユーザー状態検出モジュール334はユーザーが両目を長期間閉じなかったと判定し、ユーザーが起きていることが示される。
ユーザー指令の検出
ユーザー状態検出モジュール334は、ユーザーが選択的にシステム10に視覚刺激発生器20a−dを活性化させるおよび/または一つ以上の自力または自律のユーザーの挙動の結果として電気デバイスの制御動作を実行させることができる視覚刺激発生器の活性化指令または電気デバイスの制御指令をユーザーが発したかを判定することができる。
ある実施形態では、視覚刺激発生器の活性化指令または電気デバイスの制御指令は、所定のまたはプログラムで特定される期間、時間間隔、または窓に亘って覚醒したユーザーが両目を閉じた状況に関連する。例えば、視覚刺激発生器の活性化指令は、第1の期間に亘って覚醒したユーザーが両目を閉じた状況に関連し得るものであり、第2の期間内に発生する。ある実施形態では、視覚刺激発生器の活性化指令は、最小活性化指令期間(例えば、およそ1−3秒)などの所定の期間に亘って両目が閉じた状況への遷移に関連し得るものであり、最小活性化指令期間に少なくとも等しく、典型的には少なくともわずかにそれよりも長い最大活性化指令期間(例えば、およそ3−4秒)などのある期間内に終了する。したがって、最小活性化指令期間は最大活性化指令期間に含まれ得る。さらに、最大活性化指令期間は、典型的には、睡眠兆候期間よりも短いまたはかなり短い。最大活性化指令期間内での両目が閉じた状況の終了は、ユーザーが起きているまたは起きたままになりそうであり、ユーザーが両目を長期間閉じたままにしそうまたはするであろう状態(例えば、睡眠に関する状態)になったことを表す。
上記を考慮して、ユーザー状態検出モジュール334は、Tに対して継続的または反復的に捕捉したEEGデータを解析して、両目が開いた状態から両目が閉じた状態へ遷移したこと、および両目が閉じた状態が最小活性化指令期間に亘って持続することを確認することができる。ユーザー状態検出モジュール334は、さらに、継続的に捕捉したEEGデータを解析して、最大活性化指令期間に先だって両目が閉じた状態から両目が開いた状態へ戻る遷移を確認することができる。もしそうであれば、ユーザー状態検出モジュール334は、ユーザーが視覚刺激発生器の活性化指令を発したと判定する。
ユーザー状態検出モジュール334がユーザーが視覚刺激発生器の活性化指令を発したと判断すると、ユーザー状態検出モジュール334はシステム制御および通信ユニット200およびデバイス同定ユニット300に活性化を通知する。視覚刺激発生器の活性化指令が検出されるまで、つまり、システム制御および通信ユニット200が活性化の通知を受けるまで、システム制御および通信ユニット200は視覚刺激発生器20a−dを非活性状態のままにする。
代表的なデバイス同定処理の特徴
システム活性化の通知に応じて、システム制御および通信ユニット200は、各視覚刺激発生器20a−dが特定の基本周波数fで光学信号を提示または出力するように視覚刺激発生器20a−dを活性化または駆動する。さらに、デバイス同定モジュール336は、ユーザーが注視した特定の視覚刺激発生器20a−dを同定するために、リアルタイム、ほぼリアルタイム、または最新の捕捉されたEEGデータを解析する。
より詳細には、多くの実施形態では、デバイス同定モジュール336は、視覚刺激発生器20a−dが活性化していたときにおよそ1−8秒(例えば、およそ2,3,または4秒)などの現在または最新のデバイス同定期間または時期において捕捉されたEEGデータに関連する複数の最初の、起源の、または原始のパワースペクトル密度振幅値を生成する。そのようなパワースペクトル密度振幅値は以下では活性パワースペクトル密度振幅基関数gとして参照する。
基本周波数fごとに、fおよびfの特定の高調波、例えば2fおよび3fについて活性パワースペクトル密度振幅基関数gが生成され得る。より詳細には、基本周波数f,f,f,およびfを含む実施例では、 各基本周波数fおよびその1次および2次高調波のそれぞれに関連する活性パワースペクトル密度振幅基関数gは次の通りである。
上記式において、δはおよそ0.1−1.0Hz(例えば、0.25Hz、または0.5Hz)の周波数オフセットである。
デバイス同定モジュール336は、各基本周波数fに関連する複数の基準参照代表または平均活性パワースペクトル密度振幅基関数gnkも生成し得る。ある実施形態では、各基準参照代表活性パワースペクトル密度振幅基関数gnkは特定の活性パワースペクトル密度振幅基関数gに関連し得るものであり、BLに対するその値に応じて選択的にスケーリング、フィルタリング、または重み付けされる。実施例では、複数の基準参照平均活性パワースペクトル密度振幅基関数gnkは次のように生成され得る。ただし、n=1は基本周波数f(つまり1f)に関連し、n=2は基本周波数の1次高調波2fに関連し、n=3は基本周波数の2次高調波3fに関連する。
A)基本周波数fに関連
B)基本周波数fに関連
C)基本周波数fに関連
D)基本周波数fに関連
デバイス同定モジュール336は、さらに、各基本周波数fに関連する合成活性パワースペクトル密度振幅値gを生成し得る。ある実施形態では、gは特定の基準参照平均活性パワースペクトル密度振幅基関数gnkを用いて生成され、例えば次式に従う。
したがって、基本周波数fからfについて次式が成り立つ。
デバイス同定モジュール336は、さらに、各基本周波数fに関連する閾値活性パワースペクトル密度振幅値gTkを生成し得る。閾値活性パワースペクトル密度振幅値gTkは関連する合成基準パワースペクトル密度振幅値BLおよびデバイス同定閾値Tに対して判定され、例えば次式に従う。
したがって、基本周波数fからfについて次式が成り立つ。
次に、デバイス同定モジュール336は、閾値活性パワースペクトル密度振幅値gTkに基づいて、主たる、主要な、または最大の活性パワースペクトル密度振幅値Gを生成または判定することができる。例えば、最大活性パワースペクトル密度振幅値Gは次式に従って定義することができる。
最大活性パワースペクトル密度振幅値Gは、考慮中のパワースペクトル密度データ内の主要周波数fに関連または表し得る。各視覚刺激発生器20a−dはf,f,f,またはfの一つに等しいまたは基本的に等しい提示周波数で駆動されるため、主要または最大活性パワースペクトル密度振幅値Gは基本周波数f,f,f,またはfのいずれが特に主要周波数fであるかに関連するまたは表す。これにより、視覚刺激発生器20a−dのいずれが、活性パワースペクトル密度振幅基関数が生成されたEEGサンプルの生成を特に引き起こし、誘発し、または影響を及ぼしたかが示される。
最大活性パワースペクトル密度振幅値Gの生成後、デバイス同定モジュール336は主要提示周波数fを判定し、主要提示周波数fに関連する視覚刺激発生器ID、電気デバイスID、および電源インタフェースIDの少なくとも一つを判定する。続いてデバイス同定モジュール336は、視覚刺激発生器ID、電気デバイスID、および電源インタフェースIDの一つ以上をシステム制御および通信ユニット200に送信して、ユーザーが注視していた視覚刺激発生器20a−dに関連するデバイス50a−dの制御(例えば、活性化または非活性化)を行わせる。
上記の校正およびデバイス同定処理に関する理解を深めるために、第1から第4の視覚刺激提示周波数f,f,f,およびfがおよそ6Hz,7Hz,8Hz,および13Hzにそれぞれ等しい実施例において、デバイス同定ユニット300は、表1に示したような基本周波数および関連する1次および2次高調波周波数を考慮する。
上記式を考慮すると、もしも各合成活性パワースペクトル密度振幅値gがデバイス同定閾値Tよりも小さいことがあれば、関連する各閾値活性パワースペクトル密度振幅値gTkはゼロになり、最大活性パワースペクトル密度振幅値Gはそれに応じてゼロに等しくなる。そのような状況では、主要提示周波数fおよびユーザーが注視していた特定の視覚刺激発生器20a−dを正しく判定できなくなる。
デバイス同定モジュール336が主要提示周波数fを判定できない場合、デバイス同定モジュール336は次の(例えば、直近に解析したEEGデータサンプル系列にオーバーラップする、直後に続く、または別途続く)EEGサンプル系列を解析して、主要提示周波数fをうまく識別しようと(再び)試みることができる。多くの実施形態では、デバイス同定モジュール336が所定の期間内または所定回数の同定の試みの後に主要提示周波数fを判定できない場合、デバイス同定モジュール336はシステム制御および通信ユニット200に同定失敗を通知することができる。そして、システム制御および通信ユニット200は視覚刺激発生器20a−dを非活性化することができる。ユーザー状態検出モジュールが(例えば、覚醒したユーザーが両目をおよそ2秒間閉じたことに応じて)別の視覚刺激発生器の活性化指令を検出した後、システム制御および通信ユニット200は視覚刺激発生器20a−dを再活性化することができ、デバイス同定モジュール336は上記と同じまたは類似の方法で主要提示周波数fを判定しようと(再び)試みることができる。
代表的なデバイス制御処理の特徴
視覚刺激発生器ID、デバイスID、および電源インタフェースIDの少なくとも一つを受けると、システム制御および通信ユニット200は第2の通信モジュール250を活性化し、関連するデバイス制御指令をマルチデバイス電源インタフェースユニット400に送信することができる。例えば、システム制御および通信ユニット200は、デバイスIDおよび/または電源インタフェースIDなどのIDを含むデバイス制御指令をマルチデバイス電源インタフェースユニット400に送信することができる。それに応じて、マルチデバイス電源インタフェースユニット400は、中継モジュール460に適当な電源インタフェースの制御指令を発することで、受信した電源インタフェースIDまたはデバイスIDに関連する特定の電源インタフェース420a−dの動作状態を設定または調整すること(例えば、活性化または非活性化、または電源状態の切り替え)ができる。その結果、同定された電源インタフェース420a−dに接続された電気デバイス50a−dを制御することができる。考慮している電気デバイス50a−dがオフされていたら、それをオン状態に遷移させることができる。さもなくば、考慮している電気デバイス50a−dをオン状態からオフ状態へ遷移させることができる。
ある実施形態では、マルチデバイス電源インタフェース400への電源インタフェースIDの送信後にシステム制御および通信ユニット200は視覚刺激発生器20a−dを非活性化することができる。ユーザー状態検知モジュール334により検出され得る視覚刺激発生器の活性化指令に関連する覚醒したユーザーの目が閉じた状態の検出といった特定のユーザー挙動の検出に応じて、視覚刺激発生器20a−dは再活性化され得る。
図6は、本開示の実施形態に係る代表的なSSVEPに基づく電気デバイスまたはアプライアンス制御処理600のフローチャートである。実施形態に係る処理600において、第1の処理部分602において、システム機器構成パラメータが設定される。システム機器構成パラメータは、考慮すべき電気デバイス50a−dの数、EEGサンプリングパラメータ(例えば、サンプリングレートおよび/またはデバイス同定の試行中に考慮すべきサンプル数)、同定タイムアウト期間または同定試行数、視覚刺激発生器の活性化指令を表し得る両目が閉じた活性期間、および/または視覚刺激発生器アイコン22a−dまたはIDと電気デバイスアイコン52a−dまたはIDおよび電源インタフェースアイコン422a−dまたはIDの一方または両方との間の一式の関連性を含み得る。多くの実施形態において、機器構成パラメータは機器構成GUI500により設定され得る。機器構成パラメータはデバイス同定ユニットの機器構成メモリ340に格納され得る。
第2の処理部分604において、ユーザーに関連する校正データまたはパラメータが取得、生成、または取り込まれる。校正データは、機器構成メモリ340に格納され得る両目閉眼校正データおよび両目開眼校正データを含み得る。第3の処理部分606において、視覚刺激発生器20a−dが活性状態に遷移され、第4の処理部分608において、ユーザーの自力の挙動に関連する視覚刺激発生器の活性化指令が検出されたかが判定される。活性化指令は、所定の期間、例えば、およそ2秒間存在または継続する覚醒したユーザーが両目を閉じた状況の検出に例えば関連し得る。もし適当な期間に亘って覚醒したユーザーが両目を閉じた状況が検出されなければ、例えば、覚醒したユーザーが意図的に視覚刺激発生器の活性化指令を生成しない、または、ユーザーが眠ってしまうことで、処理600は第4の処理部分608に留まり得る。
視覚刺激発生器を活性化させるユーザー指令の検出に続いて、第5の処理部分610において、視覚刺激発生器20a−dが活性化され、第6の処理部分612において、視覚刺激発生器20a−dが活性化しているときにSSVEPの生成に関連するEEGデータが捕捉される。第7の処理部分620において、デバイス同定の試行が開始され、その間にデバイス同定動作が行われて特定の視覚刺激発生器20a−d、特定の電気デバイス50a−d、および/または特定の電源インタフェース420a−dが同定され得る。第8の処理部分630において、同定タイムアウト内に特定の視覚刺激発生器20a−d、特定の電気デバイス50a−d、および/または特定の電源インタフェース420a−dの同定が成功したかが判定される。もしそうであれば、第9の処理部分632において、適当な制御指令が発せられ、同定された視覚刺激発生器20a−dに関連する電気デバイス50a−dの動作が制御される。第9の処理部分632において、ユーザーが注視していた視覚刺激発生器20a−dとして自動的に同定された視覚刺激発生器20a−dに関連する特定の電気デバイス50a−dの動作状態が設定または遷移され得る(例えば、電源状態を切り替える)。
第10の処理部分634において、一つ以上の視覚刺激発生器が非活性化された状況が発生したかが判定される。そのような状況は最新の成功したデバイス同定の試行、またはタイムアウト期間を過ぎてデバイス同定の試行が失敗したことに関連し得る。不活性化状態が発生した、または、デバイス同定が成功せずに同定タイムアウト期間が過ぎた場合、第11の処理部分640において、視覚刺激発生器20a−dが利用不可能にされ、その後処理600は第3の処理部分606に戻り、視覚刺激発生器が(再)活性化される状況が発生したかが判定される。
図7は、本開示の実施形態に係る代表的な基準パラメータ生成処理700のフローチャートである。実施形態に係る処理700において、第1の処理部分702において、両目が開いた基準EEGデータが捕捉され、複数の視覚刺激発生器の基本周波数、それら基本周波数に対する所定のカスの高調波、および考慮している基本周波数および高調波周波数に対する所定の周波数オフセットに関連する複数の基準パワースペクトル密度振幅プリミティブbが生成される。第2の処理部分704において、考慮している基本周波数および基本周波数の高調波に関連する代表または平均の基準パワースペクトル密度振幅プリミティブbnkが生成され、第3の処理部分706において、考慮している各基本周波数に関連する合成基準パワースペクトル密度振幅値BLが生成される。第4の処理部分708において、合成基準パワースペクトル密度振幅値BLを用いてデバイス同定閾値Tが生成される。
図8は、本開示の実施形態に係る代表的なデバイス同定処理800のフローチャートである。実施形態に係る処理800において、第1の処理部分802において、ユーザーが一式の活性状態の視覚刺激発生器20a−dにおける特定の活性状態の視覚刺激発生器20a−dを注視している間にEEGデータが捕捉される。第2の処理部分804において、活性状態の視覚刺激発生器20a−dに関連する基本周波数、それら基本周波数の所定数の高調波(例えば、1次および2次高調波)、および考慮している基本周波数および高周波周波数に対する所定の周波数オフセット(例えば、周波数オフセットδに相当)に関連する複数の活性パワースペクトル密度振幅プリミティブgが生成される。第3の処理部分806において、考慮している基本周波数および基本周波数の高調波に関連する基準参照代表または平均活性パワースペクトル密度振幅基関数gnkが生成され、第4の処理部分808において、代表または平均活性パワースペクトル密度振幅基関数を用いて各基本周波数fに関連する合成活性パワースペクトル密度振幅値gが生成される。
第5の処理部分810において、各基本周波数に関連する閾値活性パワースペクトル密度振幅値gTkが生成される。ある実施形態では、第5の処理部分において、各合成活性パワースペクトル密度振幅値gとデバイス同定閾値Tとが比較され得る。合成活性パワースペクトル密度振幅値gがデバイス同定閾値T以上であれば、第5の処理部分において、関連する合成基準パワースペクトル密度振幅値BLに対して合成活性パワースペクトル密度振幅値gが参照され、閾値活性パワースペクトル密度振幅値gTkが合成活性パワースペクトル密度振幅値gと合成基準パワースペクトル密度振幅値BLとの差に設定される。もし合成活性パワースペクトル密度振幅値gがデバイス同定閾値Tよりも小さければ、閾値活性パワースペクトル密度振幅値gTkはゼロに設定され得る。
第6の処理部分812において、主要または最大活性パワースペクトル密度振幅値Gを閾値活性パワースペクトル密度振幅値gTkから判定することができるかが判定される。もしそうであれば、第7の処理部分814において、最大活性パワースペクトル密度振幅値Gに関連する主要基本周波数fが同定され、第8の処理部分816において、主要基本周波数fでまたは基本的に主要基本周波数fで駆動された特定の視覚刺激発生器20a−dが同定される。さらに、第9の処理部分818において、視覚刺激発生器ID、電気デバイスID、および電源インタフェースIDの少なくとも一つがシステム制御および通信ユニット200に送信され、同定された視覚刺激発生器20a−dに関連する特定の電気デバイス50a−dの動作状態(例えば、電源状態)が設定、調整、または切り替えられる。
主要活性パワースペクトル密度振幅値が存在しなければ、第10の処理部分820において、同定タイムアウト期間またはデバイス同定試行の最大回数が超えたかが判定される。もしそうでなければ、処理800は第1の処理部分802に戻る。それ以外の場合、第11の処理部分822において、システム制御および通信ユニット200に同定失敗が通知され、それに応じて視覚刺激発生器20a−dが非活性化され得る。
以上のように、本開示のさまざまな実施形態は上記の課題の少なくとも一つの課題を解決するためのものである。これら実施形態は下記の特許請求の範囲に当然含まれるものであり、記述したような特定の形態や要素の配置に限定されず、当業者であれば本開示から下記の特許請求の範囲に当然含まれるさまざまな変形および/または修正を思いつくであろう。

Claims (47)

  1. 個人の脳によるEEGデータの生成に基づいて一式の視覚刺激発生器および一式の電気デバイスのグループから少なくとも一つを制御する方法であって、
    前記一式の視覚刺激発生器における各視覚刺激発生器を、前記一式の視覚刺激発生器における視覚刺激発生器どうしが区別されるような各視覚刺激発生器による視覚刺激の出力が回避される第1の状態に自動的に遷移させ、
    前記個人の脳により生成される第1のEEGデータを自動的に獲得し、
    前記第1のEEGデータが視覚刺激発生器の活性化指令を表す前記個人の自力の挙動に関連するかを自動的に判定し、
    前記一式の視覚刺激発生器における各視覚刺激発生器を、各視覚刺激発生器が前記一式の視覚刺激発生器における視覚刺激発生器どうしが区別されるような視覚刺激を出力する第2の状態に遷移させる、方法。
  2. 前記第1のEEGデータが視覚刺激発生器の活性化指令を表す前記個人の自力の挙動に関連するかの判定に応じて、前記一式の視覚刺激発生器における各視覚刺激発生器を前記第2の状態に遷移させる、請求項1の方法。
  3. 前記一式の視覚刺激発生器における各視覚刺激発生器が前記第1の状態にあるときに、前記第1のEEGデータを獲得して、前記第1のEEGデータが視覚刺激発生器の活性化指令を表す前記個人の自力の挙動に関連するかを判定する、請求項1の方法。
  4. 視覚刺激発生器の活性化指令を表す自力ユーザー挙動が、前記個人が覚醒しているときに所定の期間に亘って両目を閉じた状態を含む、請求項1の方法。
  5. 前記所定の期間が1−10秒程度である、請求項4の方法。
  6. 前記所定の期間が1-4秒程度である、請求項4の方法。
  7. 前記一式の視覚刺激発生器における各視覚刺激発生器の前記第1の状態への遷移において、前記一式の視覚刺激発生器における各視覚刺激発生器を非活性状態に遷移させる、請求項1の方法。
  8. 前記一式の視覚刺激発生器における各視覚刺激発生器の前記第2の状態への遷移において、各視覚刺激発生器が前記一式の視覚刺激発生器における視覚刺激発生器どうしが区別される視覚刺激の提示周波数で動作する、請求項1の方法。
  9. ユーザーが前記一式の視覚刺激発生器における特定の視覚刺激発生器を注視していた間に前記個人の脳により生成されるSSVEPに関連する第2のEEGデータを獲得し、
    前記第2のEEGデータが前記ユーザーが注視していた前記一式の視覚刺激発生器における前記特定の視覚刺激発生器を指し示しているかを判定する、請求項1の方法。
  10. 前記第2のEEGデータが前記ユーザーが注意を向けていた前記一式の視覚刺激発生器における前記特定の視覚刺激発生器を指し示していない場合、各視覚刺激発生器を前記第1の状態に遷移させる、請求項9の方法。
  11. 前記一式の電気デバイスにおける各電気デバイスと前記一式の視覚刺激発生器における各視覚刺激発生器との間の関連を確立し、
    前記第2のEEGデータに基づいて、前記ユーザーが注視していた前記一式の視覚刺激発生器における前記特定の視覚刺激発生器を自動的に同定し、
    前記ユーザーが注視していた前記一式の視覚刺激発生器における前記自動的に同定された視覚刺激発生器に関連する前記一式の電気デバイスにおける特定の電気デバイスの動作状態を自動的に調整する、請求項9の方法。
  12. 前記一式の電気デバイスにおける前記特定の電気デバイスの動作状態の調整において、前記特定のデバイスの電源状態を切り替える、請求項11の方法。
  13. 前記一式の電気デバイスにおける前記特定の電気デバイスの動作状態の自動的な調整に際して、前記一式の視覚刺激発生器における各視覚刺激発生器を前記第1の状態に自動的に遷移させる、請求項11の方法。
  14. 第3のEEGデータを獲得し、
    前記第3のEEGデータが視覚刺激発生器の活性化指令を表す前記個人の自力の挙動に関連するかを自動的に判定し、
    前記第3のEEGデータが視覚刺激発生器の活性化指令を表す前記個人の自力の挙動に関連するまで、前記一式の視覚刺激発生器における各視覚刺激発生器を前記第1の状態に保つ、請求項13の方法。
  15. システムユーザーの脳によるSSVEPの生成に基づく一式の電気デバイスの制御システムであって、
    各視覚刺激発生器が視覚刺激を出力する一式の視覚刺激発生器と、
    各視覚刺激発生器に接続され、選択的に各視覚刺激発生器に前記一式の視覚刺激発生器における視覚刺激発生器どうしが区別される視覚刺激を出力させる視覚刺激発生器制御器と、
    ユーザーの脳により生成されるEEGデータを捕捉するEEGデータ取得システムと、
    デバイス同定システムとを備え、
    前記デバイス同定システムは、
    処理装置と、
    前記処理装置に接続されたメモリとを備え、
    前記メモリは、実行されるとユーザーの自力の挙動に応じて生成されるEEGデータが視覚刺激発生器の活性化指令に関連するかを判定するプログラム命令集合を有するユーザー状態検出モジュールを備えている、システム。
  16. 前記ユーザーの自力の挙動が、所定の期間に亘って覚醒したユーザーが両目を閉じた状態である、請求項15のシステム。
  17. 前記所定の期間が1−10秒程度である、請求項16のシステム。
  18. 前記所定の期間が1-4秒程度である、請求項16のシステム。
  19. 前記ユーザー状態検出モジュールは、実行されると前記視覚刺激発生器の活性化指令に応じて前記視覚刺激発生器制御器に活性化通知を送るプログラム命令集合を有する、請求項15のシステム。
  20. 前記視覚刺激発生器制御器は、視覚刺激生成器の活性化指令を受信するまで、各視覚刺激発生器を、前記一式の視覚刺激発生器における各視覚刺激発生器どうしが区別されるような各視覚刺激発生器による視覚刺激の出力が回避される第1の状態に保持する、請求項19のシステム。
  21. 前記活性化通知の受信に応じて、前記視覚刺激発生器制御器は、前記一式の視覚刺激発生器における各視覚刺激発生器を、各視覚刺激発生器が前記一式の視覚刺激発生器における視覚刺激発生器どうしが区別されるような視覚刺激を出力する第2の状態に遷移させ、
    前記メモリは、捕捉したEEGデータに基づいてユーザーが注視していた前記一式の視覚刺激発生器における特定の視覚刺激生成器を同定するプログラム命令集合を有するデバイス同定モジュールをさらに備えている、請求項19のシステム。
  22. 前記EEGデータ取得システムは、標準EEG10−20モンタージュに従って空間的に組織された一式の電極を有し、O1−Fz間の第1のEEG信号差およびO2−Fz間の第2のEEG信号差の少なくとも一つを検出する、請求項15のシステム。
  23. 前記一式の電極は、所定時にEEG信号を検出する5個よりも少ない電極を有する、請求項22のシステム。
  24. 個人の脳により生成されるSSVEPに基づく一式のデバイス制御方法であって、
    前記個人が基準の景色を注視していた間に前記個人の脳により生成されるEEG信号に関連する第1のEEGデータを提供し、
    前記第1のEEGデータに関連するとともに一式の基本周波数fおよび各基本周波数fの一式の高調波倍数nfに関連する複数の基準パワースペクトル密度振幅値を生成し、
    前記複数の基準パワースペクトル密度振幅値を用いてデバイス同定閾値Tを生成し、
    各視覚刺激発生器が前記一式の基本周波数fにおける関連する基本周波数fにほぼ等しい固有の提示周波数で視覚刺激を提供する一式の視覚刺激発生器における特定の視覚刺激発生器に前記個人が注視していた間に前記個人の脳により生成されるSSVEPに関連する第2のEEGデータを生成し、
    前記第2のEEGデータに関連するとともに前記一式の基本周波数fおよび前記一式の高調波倍数nfに関連する複数の基準パワースペクトル密度振幅値を生成し、
    少なくとも一つの基準パワースペクトル密度振幅値および前記デバイス同定閾値Tの比較に基づいて前記複数の活性パワースペクトル密度振幅値における各活性パワースペクトル密度振幅値を選択的にスケーリングすることで複数の閾値活性パワースペクトル密度振幅値を生成し、
    主要活性パワースペクトル密度振幅値が前記複数の閾値活性パワースペクトル密度振幅値に関連して存在するかを判定する、方法。
  25. 主要活性パワースペクトル密度振幅値に関連するとともに前記一式の基本周波数fにおける特定の基本周波数fに等しい優位周波数fを同定し、
    前記優位周波数fに関連する提示周波数で視覚刺激を提供する前記一式の視覚刺激発生器における視覚刺激発生器を同定する、請求項24の方法。
  26. 前記優位周波数fに関連する提示周波数で視覚刺激を提供する前記視覚刺激発生器に関連する電気デバイスを同定し、
    前記優位周波数fに関連する提示周波数で視覚刺激を提供する前記視覚刺激発生器に関連する前記電気デバイスの動作状態を設定または調整する、請求項25の方法。
  27. 前記電気デバイスの動作状態の設定または調整において、デバイス制御指令に応じて前記デバイスの動作状態を自動制御するデバイスインタフェースユニットへデバイス制御指令を発行する、請求項26の方法。
  28. 前記デバイスインタフェースユニットが前記デバイス制御指令に応じて前記デバイスの電源状態を切り替えるものである、請求項26の方法。
  29. 前記一式の視覚刺激発生器における各視覚刺激発生器が個別の電気デバイスに関連する、請求項26の方法。
  30. 前記基準の景色が、前記一式の基本周波数fにおける前記基本周波数fにほぼ等しい周波数の視覚刺激がない景色および環境の一部のうちの一つである、請求項24の方法。
  31. 個人の脳により生成されるSSVEPに基づく一式のデバイス制御システムであって、
    各視覚刺激発生器が視覚刺激を出力する一式の視覚刺激発生器と、
    各視覚刺激発生器に接続され、選択的に各視覚刺激発生器に前記一式の視覚刺激発生器における視覚刺激発生器どうしが区別されるような視覚刺激を出力させる視覚刺激発生器制御器と、
    ユーザーの脳により生成されるEEGデータを捕捉するEEGデータ取得システムと、
    デバイス同定システムとを備え、
    前記デバイス同定システムは、
    処理装置と、
    前記処理装置に接続されたメモリとを備え、
    前記メモリは、実行されるとデバイス同定動作により前記一式の視覚刺激発生器における特定の視覚刺激発生器を同定するプログラム命令集合を含み、
    前記デバイス同定動作は、
    前記個人が前記一式の視覚刺激発生器における前記特定の視覚刺激発生器を注視していた間に取得したEEGデータに関連するとともに一式の基本周波数fおよび一式の高調波倍数nfに関連する複数の活性パワースペクトル密度振幅値を生成し、
    少なくとも一つの基準パワースペクトル密度振幅値およびデバイス同定閾値Tの比較に基づいて前記複数の活性パワースペクトル密度振幅値における各活性パワースペクトル密度振幅値を選択的にスケーリングすることで複数の閾値活性パワースペクトル密度振幅値を生成し、
    主要活性パワースペクトル密度振幅値が前記複数の閾値活性パワースペクトル密度振幅値に関連して存在するかを判定する、システム。
  32. 前記デバイス同定動作は、主要活性パワースペクトル密度振幅値に関連するとともに前記一式の基本周波数fにおける特定の基本周波数fに等しい優位周波数fを判定し、
    前記優位周波数fに関連する周波数で視覚刺激を出力する前記一式の視覚刺激発生器における視覚刺激発生器を同定する、請求項31のシステム。
  33. 前記デバイス同定動作は、前記優位周波数fに関連する周波数で視覚刺激を出力する前記視覚刺激発生器に関連する電気デバイスを同定する、請求項32のシステム。
  34. 前記デバイス同定動作は、前記優位周波数fに関連する周波数で視覚刺激を出力する前記視覚刺激発生器およびそれに関連する電気デバイスのグループからの少なくとも一つに関連する識別子を出力する、請求項32のシステム。
  35. 前記識別子の受信に応じて、前記優位周波数fに関連する周波数で視覚刺激を出力する前記視覚刺激発生器に関連する前記電気デバイスの動作状態を変化させるシステム制御ユニットを備えている、請求項34のシステム。
  36. 前記システム制御ユニットが前記識別子に基づいて電気デバイス制御指令を出力するものである、請求項35のシステム。
  37. 前記システム制御ユニットと通信し、前記電気デバイス制御指令に応じて、前記優位周波数fに関連する周波数で視覚刺激を出力する前記視覚刺激発生器に関連する前記電気デバイスの動作状態を設定または調整するデバイス制御インタフェースを備えている、請求項36のシステム。
  38. 前記デバイス制御インタフェースが、前記電気デバイス制御指令に応じて、前記優位周波数fに関連する周波数で視覚刺激を出力する前記視覚刺激発生器に関連する前記電気デバイスの電源状態を切り替えるものである、請求項37のシステム。
  39. 前記メモリは、実行されると校正動作を行うプログラム命令集合を含む校正ユニットを含み、
    前記校正動作は、
    前記個人が基準の景色を注視していた間に前記個人の脳により生成されるEEG信号に関連する基準EEGデータを解析し、
    前記基準EEGデータに関連するとともに前記一式の基本周波数fおよび各基本周波数fの前記一式の高調波倍数nfに関連する複数の基準パワースペクトル密度振幅値を生成し、
    前記複数の基準パワースペクトル密度振幅値を用いて前記デバイス同定閾値Tを生成する、請求項31のシステム。
  40. 前記基準の景色が、前記一式の基本周波数fにおける前記基本周波数fにほぼ等しい周波数の視覚刺激がない景色および環境の一部のうちの一つである、請求項39のシステム。
  41. EEG取得ユニットと、各視覚刺激発生器が視覚刺激発生器どうしが区別されるような視覚刺激を出力する一式の視覚刺激発生器と、前記一式の視覚刺激発生器に関連する一式の電気デバイスと、デバイス同定ユニットと、システム制御ユニットとを備え、個人の脳により生成されるSSVEPに基づく一式の電気デバイス制御システムを動作させるためのプログラム命令列であって実行されると前記システムに制御動作を実行させるプログラム命令列を格納しているコンピュータ読み取り可能な記録媒体であって、
    前記制御動作は、
    前記一式の視覚刺激発生器における各視覚刺激発生器を、前記一式の視覚刺激発生器における視覚刺激発生器どうしが区別されるような各視覚刺激発生器による視覚刺激の出力が回避される第1の状態に自動的に遷移させ、
    前記個人の脳により生成される第1のEEGデータを自動的に取得し、
    前記第1のEEGデータが視覚刺激発生器の活性化指令を表す前記個人の自力の挙動に関連するかを自動的に判定し、
    前記一式の視覚刺激発生器における各視覚刺激発生器を、各視覚刺激発生器が前記一式の視覚刺激発生器における視覚刺激発生器どうしが区別されるような視覚刺激を出力する第2の状態に遷移させる、コンピュータ読み取り可能な記録媒体。
  42. 前記第1のEEGデータが視覚刺激発生器の活性化指令を表す前記個人の自力の挙動に関連するかの判定において、EEGデータを解析して活性化指令の合間において覚醒した個人が両目を閉じた状態を同定する、請求項41のコンピュータ読み取り可能な記録媒体。
  43. 実行されると前記システムに制御動作を実行させるプログラム命令列をさらに含み、
    前記制御動作は、
    ユーザーが前記一式の視覚刺激発生器における特定の視覚刺激発生器を注視していた間に前記個人の脳により生成されるSSVEPに関連する第2のEEGデータを取得し、
    前記第2のEEGデータが前記ユーザーが注視していた前記一式の視覚刺激発生器における前記特定の視覚刺激発生器を指し示しているかを自動的に判定し、
    前記特定の視覚刺激発生器に関連する前記一式の電気デバイスにおける特定の電気デバイスを同定し、
    前記特定の電気デバイスの動作状態を自動的に遷移させる、請求項41のコンピュータ読み取り可能な記録媒体。
  44. EEG取得ユニットと、各視覚刺激発生器が視覚刺激発生器どうしが区別されるような視覚刺激を出力する一式の視覚刺激発生器と、前記一式の視覚刺激発生器に関連する一式の電気デバイスと、デバイス同定ユニットと、システム制御ユニットとを備え、個人の脳により生成されるSSVEPに基づく一式の電気デバイス制御システムを動作させるためのプログラム命令列であって実行されると前記システムに制御動作を実行させるプログラム命令列を格納しているコンピュータ読み取り可能な記録媒体であって、
    前記制御動作は、
    前記個人が基準の景色を注視していた間に前記個人の脳により生成されるEEG信号に関連する第1のEEGデータを取得し、
    前記第1のEEGデータに関連するとともに一式の基本周波数fおよび各基本周波数fの一式の高調波倍数nfに関連する複数の基準パワースペクトル密度振幅値を生成し、
    前記複数の基準パワースペクトル密度振幅値を用いてデバイス同定閾値Tを生成し、
    各視覚刺激発生器が前記一式の基本周波数fにおける関連する基本周波数fにほぼ等しい固有の提示周波数で視覚刺激を提供する一式の視覚刺激発生器における特定の視覚刺激発生器に前記個人が注視していた間に前記個人の脳により生成されるSSVEPに関連する第2のEEGデータを取得し、
    前記第2のEEGデータに関連するとともに前記一式の基本周波数fおよび前記一式の高調波倍数nfに関連する複数の基準パワースペクトル密度振幅値を生成し、
    少なくとも一つの基準パワースペクトル密度振幅値および前記デバイス同定閾値Tの比較に基づいて前記複数の活性パワースペクトル密度振幅値における各活性パワースペクトル密度振幅値を選択的にスケーリングすることで複数の閾値活性パワースペクトル密度振幅値を生成し、
    主要活性パワースペクトル密度振幅値が前記複数の閾値活性パワースペクトル密度振幅値に関連して存在するかを判定する、コンピュータ読み取り可能な記録媒体。
  45. 実行されると前記システムに制御動作を実行させるプログラム命令列をさらに含み、
    前記制御動作は、
    少なくとも一つの基準パワースペクトル密度振幅値および前記デバイス同定閾値Tの比較に基づいて前記複数の活性パワースペクトル密度振幅値における各活性パワースペクトル密度振幅値を選択的にスケーリングすることで複数の閾値活性パワースペクトル密度振幅値を生成し、
    主要活性パワースペクトル密度振幅値が前記複数の閾値活性パワースペクトル密度振幅値に関連して存在するかを判定する、請求項44のコンピュータ読み取り可能な記録媒体。
  46. 実行されると前記システムに制御動作を実行させるプログラム命令列をさらに含み、
    前記制御動作は、
    主要活性パワースペクトル密度振幅値に関連するとともに前記一式の基本周波数fにおける特定の基本周波数fに等しい優位周波数fを同定し、
    前記優位周波数fに関連する提示周波数で視覚刺激を提供する前記一式の視覚刺激発生器における視覚刺激発生器を同定する、請求項45のコンピュータ読み取り可能な記録媒体。
  47. 実行されると前記システムに制御動作を実行させるプログラム命令列をさらに含み、
    前記制御動作は、
    前記優位周波数fに関連する提示周波数で視覚刺激を提供する前記視覚刺激発生器に関連する電気デバイスを同定し、
    前記優位周波数fに関連する提示周波数で視覚刺激を提供する前記視覚刺激発生器に関連する前記電気デバイスの動作状態を設定または調整する、請求項46のコンピュータ読み取り可能な記録媒体。
JP2013531539A 2010-09-29 2010-09-29 Ssvepに基づく電気デバイス制御システムおよび方法 Expired - Fee Related JP5688154B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/TH2010/000036 WO2012044261A1 (en) 2010-09-29 2010-09-29 System and method for ssvep based control of electrical devices

Publications (2)

Publication Number Publication Date
JP2013544546A true JP2013544546A (ja) 2013-12-19
JP5688154B2 JP5688154B2 (ja) 2015-03-25

Family

ID=45893451

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013531539A Expired - Fee Related JP5688154B2 (ja) 2010-09-29 2010-09-29 Ssvepに基づく電気デバイス制御システムおよび方法

Country Status (2)

Country Link
JP (1) JP5688154B2 (ja)
WO (1) WO2012044261A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015229027A (ja) * 2014-06-05 2015-12-21 国立大学法人 熊本大学 刺激特定方法、刺激特定装置及びプログラム
JP2016067922A (ja) * 2014-09-25 2016-05-09 エスエヌユー アールアンドディービー ファウンデーション ブレイン−マシンインタフェース装置および方法
KR20210042522A (ko) * 2019-10-10 2021-04-20 한국과학기술연구원 뇌-컴퓨터 인터페이스에 기반하여 로봇을 제어하는 방법 및 그에 따른 식사 보조 로봇의 제어 장치
JP2022509752A (ja) * 2018-10-29 2022-01-24 コグニクソン 拡張現実のための脳コンピュータ・インターフェース

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201238562A (en) * 2011-03-25 2012-10-01 Univ Southern Taiwan Brain wave control system and method
CN102722244B (zh) * 2012-05-25 2014-10-15 西安交通大学 基于运动翻转视觉感知的稳态诱发电位脑-机接口方法
US10155121B2 (en) 2012-08-25 2018-12-18 National Chiao Tung University Stimuli generating methods, devices and control systems to induce visual evoked potentials using imperceptible flickering multi-color lights
JP6356400B2 (ja) * 2013-09-13 2018-07-11 学校法人明治大学 周波数検出装置
CN106455991B (zh) 2014-05-09 2019-09-20 波士顿科学医学有限公司 用于映射心脏组织的医疗装置
CN103970273B (zh) * 2014-05-09 2017-02-15 西安交通大学 基于随机共振增强的稳态运动视觉诱发电位脑机接口方法
WO2016054575A1 (en) * 2014-10-03 2016-04-07 Boston Scientific Scimed Inc. Medical system for mapping cardiac tissue
CN107072566A (zh) 2014-10-03 2017-08-18 波士顿科学医学有限公司 用于映射心脏组织的医疗装置
CN105942975B (zh) * 2016-04-20 2018-07-06 西安电子科技大学 基于稳态视觉诱发的脑电信号处理方法
EP3471596A1 (en) * 2016-06-17 2019-04-24 Koninklijke Philips N.V. System and method for determining sleep need dissipation without monitoring brain activity during a sleep session
JP6546129B2 (ja) * 2016-07-19 2019-07-17 日本電信電話株式会社 影響マップ作成装置、その方法、及びプログラム
CN106155329B (zh) * 2016-09-06 2019-01-08 西安交通大学 基于往复摆动视觉感知的稳态诱发电位脑-机接口方法
CN106468952B (zh) * 2016-09-06 2019-02-26 西安交通大学 基于旋转视觉感知的稳态运动诱发电位脑-机接口方法
CN106468953B (zh) * 2016-09-06 2019-02-26 西安交通大学 螺旋运动视觉感知的稳态运动诱发电位脑-机接口方法
RU2627075C1 (ru) * 2016-10-28 2017-08-03 Ассоциация "Некоммерческое партнерство "Центр развития делового и культурного сотрудничества "Эксперт" Нейрокомпьютерная система для выбора команд на основе регистрации мозговой активности
CN107024987B (zh) * 2017-03-20 2020-04-14 南京邮电大学 一种基于eeg的实时人脑注意力测试和训练系统
KR101973081B1 (ko) * 2017-03-28 2019-04-26 서울대학교산학협력단 최적의 시각 자극 판별 방법 및 시스템
CN106980283B (zh) * 2017-05-03 2019-01-22 李泽轩 一种生物电信号交互控制平台的控制方法
KR101970804B1 (ko) * 2017-08-09 2019-04-19 계명대학교 산학협력단 일상생활 동작훈련 순서가 적용된 거울신경세포 활성화 게임 방식의 재활 시스템 및 그 제어방법
CN109271020B (zh) * 2018-08-23 2020-09-01 西安交通大学 一种基于眼动追踪的稳态视觉诱发脑机接口性能评价方法
CN110547760A (zh) * 2019-08-09 2019-12-10 西安交通大学 一种幼儿弱视脑电客观检测仪
GB201916339D0 (en) * 2019-11-11 2019-12-25 Myndplay Ltd Mind-controlled switch
CN114730213A (zh) * 2019-11-20 2022-07-08 奈克斯特曼德公司 脑计算机接口
CN112817451B (zh) * 2021-01-28 2022-07-08 清华大学 基于稳态视觉诱发电位的多目标定位方法和装置
CN113349803B (zh) * 2021-06-30 2022-09-13 杭州回车电子科技有限公司 稳态视觉诱发电位诱发方法、装置、电子装置和存储介质
WO2023138999A1 (en) 2022-01-19 2023-07-27 Signify Holding B.V. A brain control interface system for determining a baseline for detecting brain activity
CN116919424B (zh) * 2023-08-24 2024-05-03 之江实验室 脑机接口康复装置和电子设备
GB2624538A (en) * 2023-10-23 2024-05-22 Wewow Ltd An acoustic insulation device

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5840040A (en) * 1992-12-18 1998-11-24 The Regents Of The University Of California Encephalolexianalyzer
JPH1173286A (ja) * 1997-08-28 1999-03-16 Omron Corp ポインタ制御装置及び方法
US20030069516A1 (en) * 2001-10-04 2003-04-10 International Business Machines Corporation Sleep disconnect safety override for direct human-computer neural interfaces for the control of computer controlled functions
JP2003135414A (ja) * 2001-11-08 2003-05-13 Sangaku Renkei Kiko Kyushu:Kk 非同期光入力賦活による脳波測定方法とそれを用いた視覚障害判定方法、及びそのための脳波測定装置
US20050088617A1 (en) * 2003-10-27 2005-04-28 Jen-Chuen Hsieh Method and apparatus for visual drive control
WO2008025048A2 (de) * 2006-09-01 2008-03-06 Austrian Research Centers Gmbh - Arc Verfahren sowie einrichtung zur steuerung von geräten mit hilfe von elektroenzephalogrammen (eeg) bzw. elektrokortikogrammen (ecog)
JP4392465B2 (ja) * 2007-10-29 2010-01-06 パナソニック株式会社 脳波インタフェースシステムのための起動装置、方法およびコンピュータプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010057658A (ja) * 2008-09-03 2010-03-18 Institute Of Physical & Chemical Research 検出装置および方法、並びにプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5840040A (en) * 1992-12-18 1998-11-24 The Regents Of The University Of California Encephalolexianalyzer
JPH1173286A (ja) * 1997-08-28 1999-03-16 Omron Corp ポインタ制御装置及び方法
US20030069516A1 (en) * 2001-10-04 2003-04-10 International Business Machines Corporation Sleep disconnect safety override for direct human-computer neural interfaces for the control of computer controlled functions
JP2003135414A (ja) * 2001-11-08 2003-05-13 Sangaku Renkei Kiko Kyushu:Kk 非同期光入力賦活による脳波測定方法とそれを用いた視覚障害判定方法、及びそのための脳波測定装置
US20050088617A1 (en) * 2003-10-27 2005-04-28 Jen-Chuen Hsieh Method and apparatus for visual drive control
WO2008025048A2 (de) * 2006-09-01 2008-03-06 Austrian Research Centers Gmbh - Arc Verfahren sowie einrichtung zur steuerung von geräten mit hilfe von elektroenzephalogrammen (eeg) bzw. elektrokortikogrammen (ecog)
JP4392465B2 (ja) * 2007-10-29 2010-01-06 パナソニック株式会社 脳波インタフェースシステムのための起動装置、方法およびコンピュータプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JPN6014018297; Xiaorong Gao,他3名: 'A BCI-Based Environmental Controller for the Motio' IEEE TRANSACTION ON NEURAL SYSTEMS AND REHABILITAT VOL.11,NO.2, 200306, pp.137-140 *
JPN6014018299; Mohd Shaifulrizal b Abd Rani and Wahidah bt. Manso: 'DETECTION OF EYE BLINKS FROM EEG SIGNALS FOR HOME' Proceeding of the 6th International Symposium on M , 20090326, pp.1-4 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015229027A (ja) * 2014-06-05 2015-12-21 国立大学法人 熊本大学 刺激特定方法、刺激特定装置及びプログラム
JP2016067922A (ja) * 2014-09-25 2016-05-09 エスエヌユー アールアンドディービー ファウンデーション ブレイン−マシンインタフェース装置および方法
JP2022509752A (ja) * 2018-10-29 2022-01-24 コグニクソン 拡張現実のための脳コンピュータ・インターフェース
KR20210042522A (ko) * 2019-10-10 2021-04-20 한국과학기술연구원 뇌-컴퓨터 인터페이스에 기반하여 로봇을 제어하는 방법 및 그에 따른 식사 보조 로봇의 제어 장치
KR102349087B1 (ko) * 2019-10-10 2022-01-12 한국과학기술연구원 뇌-컴퓨터 인터페이스에 기반하여 로봇을 제어하는 방법 및 그에 따른 식사 보조 로봇의 제어 장치
US11426878B2 (en) 2019-10-10 2022-08-30 Korea Institute Of Science And Technology Method for controlling robot based on brain-computer interface and apparatus for controlling meal assistance robot thereof

Also Published As

Publication number Publication date
JP5688154B2 (ja) 2015-03-25
WO2012044261A1 (en) 2012-04-05

Similar Documents

Publication Publication Date Title
JP5688154B2 (ja) Ssvepに基づく電気デバイス制御システムおよび方法
Cecotti A self-paced and calibration-less SSVEP-based brain–computer interface speller
JP5711056B2 (ja) 脳波インターフェースシステム
CN100366215C (zh) 基于脑电稳态诱发响应的控制方法及系统和感官测试方法及系统
KR101585150B1 (ko) 뇌 연결성에 기반한 멀티모드 뇌-컴퓨터 인터페이스 시스템
Streltsova et al. Time course and specificity of sensory-motor alpha modulation during the observation of hand motor acts and gestures: a high density EEG study
US20100094156A1 (en) System and Method for Biofeedback Administration
US20080082020A1 (en) System and method for biofeedback administration
US11467662B1 (en) Identifying object of user focus with eye tracking and visually evoked potentials
Durka et al. User-centered design of brain-computer interfaces: OpenBCI. pl and BCI Appliance
Wittevrongel et al. Faster p300 classifier training using spatiotemporal beamforming
JPWO2008117521A1 (ja) 脳波識別の要否を決定する装置および方法
Ghodake et al. Brain controlled home automation system
Xia et al. Asynchronous brain–computer interface based on steady-state visual-evoked potential
Gembler et al. Exploring the possibilities and limitations of multitarget SSVEP-based BCI applications
JPWO2010004710A1 (ja) 咀嚼筋電を用いたインタフェースシステム
Francis et al. Brain-computer interfacing for wheelchair control by detecting voluntary eye blinks
Dasgupta et al. Brain controlled robotic platform using steady state visual evoked potentials acquired by EEG
Elijah et al. Act now, play later: Temporal expectations regarding the onset of self-initiated sensations can be modified with behavioral training
Talsma et al. A retinotopic attentional trace after saccadic eye movements: evidence from event-related potentials
Graimann et al. Non-invasive brain-computer interfaces for semi-autonomous assistive devices
RU2725782C2 (ru) Система для коммуникации пользователей без использования мышечных движений и речи
KR20170013092A (ko) 디스플레이 자극을 이용한 의도 인식용 뇌파 기반 뇌-기계 인터페이스 장치 및 방법
Aspiotis et al. Active touch classification using EEG signals
Tavares et al. Steady-state visual evoked potential-based real-time bci for smart appliance control

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130909

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140507

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140807

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150113

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150123

R150 Certificate of patent or registration of utility model

Ref document number: 5688154

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees