JP2013544546A - Ssvepに基づく電気デバイス制御システムおよび方法 - Google Patents
Ssvepに基づく電気デバイス制御システムおよび方法 Download PDFInfo
- Publication number
- JP2013544546A JP2013544546A JP2013531539A JP2013531539A JP2013544546A JP 2013544546 A JP2013544546 A JP 2013544546A JP 2013531539 A JP2013531539 A JP 2013531539A JP 2013531539 A JP2013531539 A JP 2013531539A JP 2013544546 A JP2013544546 A JP 2013544546A
- Authority
- JP
- Japan
- Prior art keywords
- visual stimulus
- stimulus generator
- generators
- visual
- spectral density
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/377—Electroencephalography [EEG] using evoked responses
- A61B5/378—Visual stimuli
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Psychiatry (AREA)
- Heart & Thoracic Surgery (AREA)
- General Physics & Mathematics (AREA)
- Neurosurgery (AREA)
- Neurology (AREA)
- Psychology (AREA)
- Dermatology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Human Computer Interaction (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
【選択図】図1
Description
図1は、本開示の実施形態に係るSSVEPに基づくアプライアンス制御システム10の概略図である。実施形態において、システム10は、複数の視覚刺激発生器20a−dと、EEG信号取得ユニット100と、システム制御および通信ユニット200と、デバイス同定ユニット300と、少なくとも電気デバイスまたはアプライアンス50a−dに動作電力を選択的に供給するマルチデバイス電源インタフェースユニット400のようなマルチデバイスインタフェースユニットとを備えている。
図3は、本開示の実施形態に係るシステム制御および通信ユニット200のブロック図である。実施形態において、システム制御および通信ユニット200は、制御器210と、データ取得またはサンプリングユニット220と、メモリ225と、第1の通信モジュール230と、一式の視覚刺激ドライバ240と、第2の通信モジュール250とを備えている。ある実施形態はさらに中継器255を備えている。システム制御および通信ユニット200の特定の要素は、データバス290および/または制御バス292などの一式の共有または共通の信号経路により接続されてデータおよび/または信号を伝送できるようになっている。
図4は、本開示の実施形態に係るデバイス同定ユニット300のブロック図である。実施形態において、デバイス同定ユニット300は、処理ユニット302と、少なくとも一つのデータ格納ユニット304と、表示デバイス308に接続されたグラフィックユニット306と、一式の入力デバイス312に接続されたI/Oユニット310と、メモリ320とを備えている。ある実施形態では、デバイス同定ユニット300は、さらに、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、またはインターネット316のようなネットワークに接続され得るネットワークインタフェースユニット314を備えている。デバイス同定ユニット300の要素は共通の一式のバス390により接続され得る。
概して、本開示に従ったSSVEPに基づくデバイス制御処理は、システム構成処理と、校正処理と、ユーザー状態検出処理と、デバイス同定処理とを備えている。そのような処理の一部は、機器構成モジュール330、校正モジュール332、ユーザー状態検出モジュール334、およびデバイス同定モジュール336に関連するプログラム命令実行に関連してそれぞれ生じる。多くの実施形態では、EEG信号解析ライブラリ338は、SSVEPに基づくデバイス制御処理の部分的に校正モジュール332、ユーザー状態検出モジュール334、および/またはデバイス同定モジュール336がアクセスし、呼び出し、または起動することができる標準および/またはカスタマイズされたEEG信号解析ルーチンまたは関数(例えば、標準信号解析ルーチン、関数、または操作に基づくもの)に関するプログラム命令列を有する。以下、実施形態に係るSSVEPに基づくデバイス制御処理の特徴について詳細に説明する。
多くの実施形態では、システム構成またはセットアップ動作は、視覚刺激発生器20a−dと電気デバイス50a−dおよび/または電気デバイス50a−dが接続される電源インタフェース420a−dとの間の一つ以上の関連または関係を設定することを含み得る。システム構成またはセットアップ動作は、さらに、EEGデータ獲得パラメータ、例えば、サンプリングレートおよび/またはデバイス同定のために考慮すべきサンプル数(またはそれに応じて考慮すべき期間)を定義または特定することを含む。上述したように、システム構成動作はGUIにより実施され得る。
校正動作は、機器構成メモリ340に格納可能な校正データまたはパラメータを(例えば、ユーザーによる校正ボタン528の選択に応じて)校正モジュールが生成することを含む。多くの実施形態では、校正動作は、視覚刺激発生器20a−d、デバイス50a−d、および/または電源インタフェース420a−dの同定を行う両目開眼校正動作を含む。ある実施形態では、校正動作は、さらに、ユーザーの挙動に応じて視覚刺激発生器20a−dを非活性状態から活性状態へ選択的かつ自動的に遷移させる両目閉眼校正動作を含む。概して、校正動作は、(例えば、神経学的状態または脳の機能が安定または長期に亘って概して安定しているユーザーには)1度だけ、またはシステムパフォーマンスの観点から必要に応じて実行され得る。
両目閉眼校正動作は、覚醒したユーザーが両目を閉じている間または間中の一つ以上の両目閉眼校正期間において両目が閉じた基準EEGデータをデータ取得ユニットが捕捉することを含む。両目閉眼構成期間は、所定のまたはプログラムで特定される期間であり、例えば、およそ1−10秒(例えば、およそ2−8秒、またはおよそ2−6秒、またはおよそ1−4または2−4秒)、または、実施形態の詳細に依存した別の期間であり得る。ある実施形態では、校正モジュール332は、校正GUI500へのテキスト表示および/または一式の可聴音または音声メッセージなどにより、ユーザーに目を閉じるよう指示を出すことができる。両目閉眼期間におけるEEGデータの取得に続いて、校正モジュール332は、さらに、一つ以上の可聴音または音声メッセージによりユーザーに目を再び開けるように指示を出すことができる。
後校正システム動作において、ユーザー状態検出モジュール334は、TSに対して捕捉したEEGデータをリアルタイム、ほぼリアルタイム、または定期的に解析して、ユーザーが寝ている、寝そうな、または両目を長期間閉じたままにしそうな可能性を判定することができる。
両目開眼校正動作は、両目開眼校正期間においてデータ取得ユニットがユーザーから両目が開いた基準EEGデータを捕捉することを含む。両目開眼校正期間では、ユーザーは、視覚刺激発生器20a−dが周期的に視覚刺激を提示するレートに関して視覚刺激または光学信号が一定または基本的に一定のままである環境の一部を注視している間、両目を開けたままにする。多くの実施形態では、両目開眼校正動作中に、システム制御および通信ユニット200は視覚刺激発生器20a−dを利用不可または非活性化し、ユーザーは視覚刺激発生器の提示周波数および少なくともある程度のその高調波倍数(例えば、2−5次高調波近傍)とほぼ同じ周波数で光学信号が循環的または周期的に提示または表示される環境の一部を見なくて済む。
校正動作に続いて、システム10は、デバイス同定動作を実行して本開示の多くの実施形態に従って視覚刺激発生器20a−d、電気デバイス50a−d、および/または電源インタフェース420a−dを同定することができる。多くの実施形態では、校正動作が終了すると、システム制御および通信ユニット200は視覚刺激発生器20a−dを非活性または休止状態に遷移させる。さらに、校正動作が終了すると、データ取得ユニット220は、継続的に、基本的に継続的に、周期的に、または定期的にEEGデータを捕捉し、第1の通信モジュール230はそのようなEEGデータをデバイス同定ユニットのサンプリングデータメモリ342に転送する。ユーザー状態検出モジュール334は捕捉されたリアルタイムまたはほぼリアルタイムのEEGデータを解析して、視覚刺激発生器の指令または電気デバイスの制御指令といったシステム10への指令をユーザーが発したことを表す、関連する、または伝える一式の自力または自律のユーザーの挙動を同定することができる。多くの実施形態では、ユーザー状態検出モジュール334はEEGデータを解析して、ユーザーがa)起きているか眠りに落ちているか、およびb)もし起きていれば視覚刺激発生器の活性化または電気デバイスの制御信号を発したかを判定することができる。
ある実施形態では、ユーザーが両目を長時間閉じたままにしそうまたはするであろう(例えば、ユーザーが眠りそう、または眠ってしまった)状態になったかを判定するために、ユーザー状態検出モジュール334は、バンドパスフィルタリングされたリアルタイムまたはほぼリアルタイムの周期的に、例えば、およそ1−10秒ごと(例えば、およそ4−8秒ごと、またはおよそ6秒ごと)にサンプリングされたEEGデータ(例えば、アルファ帯域の周波数に関連またはほぼ関連してバンドパスフィルタリングされたEEGデータ)の正規化エネルギーを判定することができる。もしそのようなEEGデータの正規化エネルギーが覚醒状態/睡眠状態の閾値TSよりも大きければ、ユーザー状態検出モジュール334は、ユーザーの両目が少なくとも睡眠兆候期間は閉じており、長期間閉じたままになりそうであると判定する。もしユーザー状態検出モジュール334が、ユーザーが両目を長期間閉じたままにしそうまたはするであろうと判定した場合、ユーザー状態検出モジュール334はシステム制御および通信ユニット200に睡眠の通知をすることができ、それに応じてシステム制御および通信ユニット200は視覚刺激発生器20a−dを非活性状態のままにする。もし現在または最新のEEGサンプル系列の正規化エネルギーがTS以下であれば、ユーザー状態検出モジュール334はユーザーが両目を長期間閉じなかったと判定し、ユーザーが起きていることが示される。
ユーザー状態検出モジュール334は、ユーザーが選択的にシステム10に視覚刺激発生器20a−dを活性化させるおよび/または一つ以上の自力または自律のユーザーの挙動の結果として電気デバイスの制御動作を実行させることができる視覚刺激発生器の活性化指令または電気デバイスの制御指令をユーザーが発したかを判定することができる。
システム活性化の通知に応じて、システム制御および通信ユニット200は、各視覚刺激発生器20a−dが特定の基本周波数fkで光学信号を提示または出力するように視覚刺激発生器20a−dを活性化または駆動する。さらに、デバイス同定モジュール336は、ユーザーが注視した特定の視覚刺激発生器20a−dを同定するために、リアルタイム、ほぼリアルタイム、または最新の捕捉されたEEGデータを解析する。
視覚刺激発生器ID、デバイスID、および電源インタフェースIDの少なくとも一つを受けると、システム制御および通信ユニット200は第2の通信モジュール250を活性化し、関連するデバイス制御指令をマルチデバイス電源インタフェースユニット400に送信することができる。例えば、システム制御および通信ユニット200は、デバイスIDおよび/または電源インタフェースIDなどのIDを含むデバイス制御指令をマルチデバイス電源インタフェースユニット400に送信することができる。それに応じて、マルチデバイス電源インタフェースユニット400は、中継モジュール460に適当な電源インタフェースの制御指令を発することで、受信した電源インタフェースIDまたはデバイスIDに関連する特定の電源インタフェース420a−dの動作状態を設定または調整すること(例えば、活性化または非活性化、または電源状態の切り替え)ができる。その結果、同定された電源インタフェース420a−dに接続された電気デバイス50a−dを制御することができる。考慮している電気デバイス50a−dがオフされていたら、それをオン状態に遷移させることができる。さもなくば、考慮している電気デバイス50a−dをオン状態からオフ状態へ遷移させることができる。
Claims (47)
- 個人の脳によるEEGデータの生成に基づいて一式の視覚刺激発生器および一式の電気デバイスのグループから少なくとも一つを制御する方法であって、
前記一式の視覚刺激発生器における各視覚刺激発生器を、前記一式の視覚刺激発生器における視覚刺激発生器どうしが区別されるような各視覚刺激発生器による視覚刺激の出力が回避される第1の状態に自動的に遷移させ、
前記個人の脳により生成される第1のEEGデータを自動的に獲得し、
前記第1のEEGデータが視覚刺激発生器の活性化指令を表す前記個人の自力の挙動に関連するかを自動的に判定し、
前記一式の視覚刺激発生器における各視覚刺激発生器を、各視覚刺激発生器が前記一式の視覚刺激発生器における視覚刺激発生器どうしが区別されるような視覚刺激を出力する第2の状態に遷移させる、方法。 - 前記第1のEEGデータが視覚刺激発生器の活性化指令を表す前記個人の自力の挙動に関連するかの判定に応じて、前記一式の視覚刺激発生器における各視覚刺激発生器を前記第2の状態に遷移させる、請求項1の方法。
- 前記一式の視覚刺激発生器における各視覚刺激発生器が前記第1の状態にあるときに、前記第1のEEGデータを獲得して、前記第1のEEGデータが視覚刺激発生器の活性化指令を表す前記個人の自力の挙動に関連するかを判定する、請求項1の方法。
- 視覚刺激発生器の活性化指令を表す自力ユーザー挙動が、前記個人が覚醒しているときに所定の期間に亘って両目を閉じた状態を含む、請求項1の方法。
- 前記所定の期間が1−10秒程度である、請求項4の方法。
- 前記所定の期間が1-4秒程度である、請求項4の方法。
- 前記一式の視覚刺激発生器における各視覚刺激発生器の前記第1の状態への遷移において、前記一式の視覚刺激発生器における各視覚刺激発生器を非活性状態に遷移させる、請求項1の方法。
- 前記一式の視覚刺激発生器における各視覚刺激発生器の前記第2の状態への遷移において、各視覚刺激発生器が前記一式の視覚刺激発生器における視覚刺激発生器どうしが区別される視覚刺激の提示周波数で動作する、請求項1の方法。
- ユーザーが前記一式の視覚刺激発生器における特定の視覚刺激発生器を注視していた間に前記個人の脳により生成されるSSVEPに関連する第2のEEGデータを獲得し、
前記第2のEEGデータが前記ユーザーが注視していた前記一式の視覚刺激発生器における前記特定の視覚刺激発生器を指し示しているかを判定する、請求項1の方法。 - 前記第2のEEGデータが前記ユーザーが注意を向けていた前記一式の視覚刺激発生器における前記特定の視覚刺激発生器を指し示していない場合、各視覚刺激発生器を前記第1の状態に遷移させる、請求項9の方法。
- 前記一式の電気デバイスにおける各電気デバイスと前記一式の視覚刺激発生器における各視覚刺激発生器との間の関連を確立し、
前記第2のEEGデータに基づいて、前記ユーザーが注視していた前記一式の視覚刺激発生器における前記特定の視覚刺激発生器を自動的に同定し、
前記ユーザーが注視していた前記一式の視覚刺激発生器における前記自動的に同定された視覚刺激発生器に関連する前記一式の電気デバイスにおける特定の電気デバイスの動作状態を自動的に調整する、請求項9の方法。 - 前記一式の電気デバイスにおける前記特定の電気デバイスの動作状態の調整において、前記特定のデバイスの電源状態を切り替える、請求項11の方法。
- 前記一式の電気デバイスにおける前記特定の電気デバイスの動作状態の自動的な調整に際して、前記一式の視覚刺激発生器における各視覚刺激発生器を前記第1の状態に自動的に遷移させる、請求項11の方法。
- 第3のEEGデータを獲得し、
前記第3のEEGデータが視覚刺激発生器の活性化指令を表す前記個人の自力の挙動に関連するかを自動的に判定し、
前記第3のEEGデータが視覚刺激発生器の活性化指令を表す前記個人の自力の挙動に関連するまで、前記一式の視覚刺激発生器における各視覚刺激発生器を前記第1の状態に保つ、請求項13の方法。 - システムユーザーの脳によるSSVEPの生成に基づく一式の電気デバイスの制御システムであって、
各視覚刺激発生器が視覚刺激を出力する一式の視覚刺激発生器と、
各視覚刺激発生器に接続され、選択的に各視覚刺激発生器に前記一式の視覚刺激発生器における視覚刺激発生器どうしが区別される視覚刺激を出力させる視覚刺激発生器制御器と、
ユーザーの脳により生成されるEEGデータを捕捉するEEGデータ取得システムと、
デバイス同定システムとを備え、
前記デバイス同定システムは、
処理装置と、
前記処理装置に接続されたメモリとを備え、
前記メモリは、実行されるとユーザーの自力の挙動に応じて生成されるEEGデータが視覚刺激発生器の活性化指令に関連するかを判定するプログラム命令集合を有するユーザー状態検出モジュールを備えている、システム。 - 前記ユーザーの自力の挙動が、所定の期間に亘って覚醒したユーザーが両目を閉じた状態である、請求項15のシステム。
- 前記所定の期間が1−10秒程度である、請求項16のシステム。
- 前記所定の期間が1-4秒程度である、請求項16のシステム。
- 前記ユーザー状態検出モジュールは、実行されると前記視覚刺激発生器の活性化指令に応じて前記視覚刺激発生器制御器に活性化通知を送るプログラム命令集合を有する、請求項15のシステム。
- 前記視覚刺激発生器制御器は、視覚刺激生成器の活性化指令を受信するまで、各視覚刺激発生器を、前記一式の視覚刺激発生器における各視覚刺激発生器どうしが区別されるような各視覚刺激発生器による視覚刺激の出力が回避される第1の状態に保持する、請求項19のシステム。
- 前記活性化通知の受信に応じて、前記視覚刺激発生器制御器は、前記一式の視覚刺激発生器における各視覚刺激発生器を、各視覚刺激発生器が前記一式の視覚刺激発生器における視覚刺激発生器どうしが区別されるような視覚刺激を出力する第2の状態に遷移させ、
前記メモリは、捕捉したEEGデータに基づいてユーザーが注視していた前記一式の視覚刺激発生器における特定の視覚刺激生成器を同定するプログラム命令集合を有するデバイス同定モジュールをさらに備えている、請求項19のシステム。 - 前記EEGデータ取得システムは、標準EEG10−20モンタージュに従って空間的に組織された一式の電極を有し、O1−Fz間の第1のEEG信号差およびO2−Fz間の第2のEEG信号差の少なくとも一つを検出する、請求項15のシステム。
- 前記一式の電極は、所定時にEEG信号を検出する5個よりも少ない電極を有する、請求項22のシステム。
- 個人の脳により生成されるSSVEPに基づく一式のデバイス制御方法であって、
前記個人が基準の景色を注視していた間に前記個人の脳により生成されるEEG信号に関連する第1のEEGデータを提供し、
前記第1のEEGデータに関連するとともに一式の基本周波数fkおよび各基本周波数fkの一式の高調波倍数nfkに関連する複数の基準パワースペクトル密度振幅値を生成し、
前記複数の基準パワースペクトル密度振幅値を用いてデバイス同定閾値TIを生成し、
各視覚刺激発生器が前記一式の基本周波数fkにおける関連する基本周波数fkにほぼ等しい固有の提示周波数で視覚刺激を提供する一式の視覚刺激発生器における特定の視覚刺激発生器に前記個人が注視していた間に前記個人の脳により生成されるSSVEPに関連する第2のEEGデータを生成し、
前記第2のEEGデータに関連するとともに前記一式の基本周波数fkおよび前記一式の高調波倍数nfkに関連する複数の基準パワースペクトル密度振幅値を生成し、
少なくとも一つの基準パワースペクトル密度振幅値および前記デバイス同定閾値TIの比較に基づいて前記複数の活性パワースペクトル密度振幅値における各活性パワースペクトル密度振幅値を選択的にスケーリングすることで複数の閾値活性パワースペクトル密度振幅値を生成し、
主要活性パワースペクトル密度振幅値が前記複数の閾値活性パワースペクトル密度振幅値に関連して存在するかを判定する、方法。 - 主要活性パワースペクトル密度振幅値に関連するとともに前記一式の基本周波数fkにおける特定の基本周波数fkに等しい優位周波数fDを同定し、
前記優位周波数fDに関連する提示周波数で視覚刺激を提供する前記一式の視覚刺激発生器における視覚刺激発生器を同定する、請求項24の方法。 - 前記優位周波数fDに関連する提示周波数で視覚刺激を提供する前記視覚刺激発生器に関連する電気デバイスを同定し、
前記優位周波数fDに関連する提示周波数で視覚刺激を提供する前記視覚刺激発生器に関連する前記電気デバイスの動作状態を設定または調整する、請求項25の方法。 - 前記電気デバイスの動作状態の設定または調整において、デバイス制御指令に応じて前記デバイスの動作状態を自動制御するデバイスインタフェースユニットへデバイス制御指令を発行する、請求項26の方法。
- 前記デバイスインタフェースユニットが前記デバイス制御指令に応じて前記デバイスの電源状態を切り替えるものである、請求項26の方法。
- 前記一式の視覚刺激発生器における各視覚刺激発生器が個別の電気デバイスに関連する、請求項26の方法。
- 前記基準の景色が、前記一式の基本周波数fkにおける前記基本周波数fkにほぼ等しい周波数の視覚刺激がない景色および環境の一部のうちの一つである、請求項24の方法。
- 個人の脳により生成されるSSVEPに基づく一式のデバイス制御システムであって、
各視覚刺激発生器が視覚刺激を出力する一式の視覚刺激発生器と、
各視覚刺激発生器に接続され、選択的に各視覚刺激発生器に前記一式の視覚刺激発生器における視覚刺激発生器どうしが区別されるような視覚刺激を出力させる視覚刺激発生器制御器と、
ユーザーの脳により生成されるEEGデータを捕捉するEEGデータ取得システムと、
デバイス同定システムとを備え、
前記デバイス同定システムは、
処理装置と、
前記処理装置に接続されたメモリとを備え、
前記メモリは、実行されるとデバイス同定動作により前記一式の視覚刺激発生器における特定の視覚刺激発生器を同定するプログラム命令集合を含み、
前記デバイス同定動作は、
前記個人が前記一式の視覚刺激発生器における前記特定の視覚刺激発生器を注視していた間に取得したEEGデータに関連するとともに一式の基本周波数fkおよび一式の高調波倍数nfkに関連する複数の活性パワースペクトル密度振幅値を生成し、
少なくとも一つの基準パワースペクトル密度振幅値およびデバイス同定閾値TIの比較に基づいて前記複数の活性パワースペクトル密度振幅値における各活性パワースペクトル密度振幅値を選択的にスケーリングすることで複数の閾値活性パワースペクトル密度振幅値を生成し、
主要活性パワースペクトル密度振幅値が前記複数の閾値活性パワースペクトル密度振幅値に関連して存在するかを判定する、システム。 - 前記デバイス同定動作は、主要活性パワースペクトル密度振幅値に関連するとともに前記一式の基本周波数fkにおける特定の基本周波数fkに等しい優位周波数fDを判定し、
前記優位周波数fDに関連する周波数で視覚刺激を出力する前記一式の視覚刺激発生器における視覚刺激発生器を同定する、請求項31のシステム。 - 前記デバイス同定動作は、前記優位周波数fDに関連する周波数で視覚刺激を出力する前記視覚刺激発生器に関連する電気デバイスを同定する、請求項32のシステム。
- 前記デバイス同定動作は、前記優位周波数fDに関連する周波数で視覚刺激を出力する前記視覚刺激発生器およびそれに関連する電気デバイスのグループからの少なくとも一つに関連する識別子を出力する、請求項32のシステム。
- 前記識別子の受信に応じて、前記優位周波数fDに関連する周波数で視覚刺激を出力する前記視覚刺激発生器に関連する前記電気デバイスの動作状態を変化させるシステム制御ユニットを備えている、請求項34のシステム。
- 前記システム制御ユニットが前記識別子に基づいて電気デバイス制御指令を出力するものである、請求項35のシステム。
- 前記システム制御ユニットと通信し、前記電気デバイス制御指令に応じて、前記優位周波数fDに関連する周波数で視覚刺激を出力する前記視覚刺激発生器に関連する前記電気デバイスの動作状態を設定または調整するデバイス制御インタフェースを備えている、請求項36のシステム。
- 前記デバイス制御インタフェースが、前記電気デバイス制御指令に応じて、前記優位周波数fDに関連する周波数で視覚刺激を出力する前記視覚刺激発生器に関連する前記電気デバイスの電源状態を切り替えるものである、請求項37のシステム。
- 前記メモリは、実行されると校正動作を行うプログラム命令集合を含む校正ユニットを含み、
前記校正動作は、
前記個人が基準の景色を注視していた間に前記個人の脳により生成されるEEG信号に関連する基準EEGデータを解析し、
前記基準EEGデータに関連するとともに前記一式の基本周波数fkおよび各基本周波数fkの前記一式の高調波倍数nfkに関連する複数の基準パワースペクトル密度振幅値を生成し、
前記複数の基準パワースペクトル密度振幅値を用いて前記デバイス同定閾値TIを生成する、請求項31のシステム。 - 前記基準の景色が、前記一式の基本周波数fkにおける前記基本周波数fkにほぼ等しい周波数の視覚刺激がない景色および環境の一部のうちの一つである、請求項39のシステム。
- EEG取得ユニットと、各視覚刺激発生器が視覚刺激発生器どうしが区別されるような視覚刺激を出力する一式の視覚刺激発生器と、前記一式の視覚刺激発生器に関連する一式の電気デバイスと、デバイス同定ユニットと、システム制御ユニットとを備え、個人の脳により生成されるSSVEPに基づく一式の電気デバイス制御システムを動作させるためのプログラム命令列であって実行されると前記システムに制御動作を実行させるプログラム命令列を格納しているコンピュータ読み取り可能な記録媒体であって、
前記制御動作は、
前記一式の視覚刺激発生器における各視覚刺激発生器を、前記一式の視覚刺激発生器における視覚刺激発生器どうしが区別されるような各視覚刺激発生器による視覚刺激の出力が回避される第1の状態に自動的に遷移させ、
前記個人の脳により生成される第1のEEGデータを自動的に取得し、
前記第1のEEGデータが視覚刺激発生器の活性化指令を表す前記個人の自力の挙動に関連するかを自動的に判定し、
前記一式の視覚刺激発生器における各視覚刺激発生器を、各視覚刺激発生器が前記一式の視覚刺激発生器における視覚刺激発生器どうしが区別されるような視覚刺激を出力する第2の状態に遷移させる、コンピュータ読み取り可能な記録媒体。 - 前記第1のEEGデータが視覚刺激発生器の活性化指令を表す前記個人の自力の挙動に関連するかの判定において、EEGデータを解析して活性化指令の合間において覚醒した個人が両目を閉じた状態を同定する、請求項41のコンピュータ読み取り可能な記録媒体。
- 実行されると前記システムに制御動作を実行させるプログラム命令列をさらに含み、
前記制御動作は、
ユーザーが前記一式の視覚刺激発生器における特定の視覚刺激発生器を注視していた間に前記個人の脳により生成されるSSVEPに関連する第2のEEGデータを取得し、
前記第2のEEGデータが前記ユーザーが注視していた前記一式の視覚刺激発生器における前記特定の視覚刺激発生器を指し示しているかを自動的に判定し、
前記特定の視覚刺激発生器に関連する前記一式の電気デバイスにおける特定の電気デバイスを同定し、
前記特定の電気デバイスの動作状態を自動的に遷移させる、請求項41のコンピュータ読み取り可能な記録媒体。 - EEG取得ユニットと、各視覚刺激発生器が視覚刺激発生器どうしが区別されるような視覚刺激を出力する一式の視覚刺激発生器と、前記一式の視覚刺激発生器に関連する一式の電気デバイスと、デバイス同定ユニットと、システム制御ユニットとを備え、個人の脳により生成されるSSVEPに基づく一式の電気デバイス制御システムを動作させるためのプログラム命令列であって実行されると前記システムに制御動作を実行させるプログラム命令列を格納しているコンピュータ読み取り可能な記録媒体であって、
前記制御動作は、
前記個人が基準の景色を注視していた間に前記個人の脳により生成されるEEG信号に関連する第1のEEGデータを取得し、
前記第1のEEGデータに関連するとともに一式の基本周波数fkおよび各基本周波数fkの一式の高調波倍数nfkに関連する複数の基準パワースペクトル密度振幅値を生成し、
前記複数の基準パワースペクトル密度振幅値を用いてデバイス同定閾値TIを生成し、
各視覚刺激発生器が前記一式の基本周波数fkにおける関連する基本周波数fkにほぼ等しい固有の提示周波数で視覚刺激を提供する一式の視覚刺激発生器における特定の視覚刺激発生器に前記個人が注視していた間に前記個人の脳により生成されるSSVEPに関連する第2のEEGデータを取得し、
前記第2のEEGデータに関連するとともに前記一式の基本周波数fkおよび前記一式の高調波倍数nfkに関連する複数の基準パワースペクトル密度振幅値を生成し、
少なくとも一つの基準パワースペクトル密度振幅値および前記デバイス同定閾値TIの比較に基づいて前記複数の活性パワースペクトル密度振幅値における各活性パワースペクトル密度振幅値を選択的にスケーリングすることで複数の閾値活性パワースペクトル密度振幅値を生成し、
主要活性パワースペクトル密度振幅値が前記複数の閾値活性パワースペクトル密度振幅値に関連して存在するかを判定する、コンピュータ読み取り可能な記録媒体。 - 実行されると前記システムに制御動作を実行させるプログラム命令列をさらに含み、
前記制御動作は、
少なくとも一つの基準パワースペクトル密度振幅値および前記デバイス同定閾値TIの比較に基づいて前記複数の活性パワースペクトル密度振幅値における各活性パワースペクトル密度振幅値を選択的にスケーリングすることで複数の閾値活性パワースペクトル密度振幅値を生成し、
主要活性パワースペクトル密度振幅値が前記複数の閾値活性パワースペクトル密度振幅値に関連して存在するかを判定する、請求項44のコンピュータ読み取り可能な記録媒体。 - 実行されると前記システムに制御動作を実行させるプログラム命令列をさらに含み、
前記制御動作は、
主要活性パワースペクトル密度振幅値に関連するとともに前記一式の基本周波数fkにおける特定の基本周波数fkに等しい優位周波数fDを同定し、
前記優位周波数fDに関連する提示周波数で視覚刺激を提供する前記一式の視覚刺激発生器における視覚刺激発生器を同定する、請求項45のコンピュータ読み取り可能な記録媒体。 - 実行されると前記システムに制御動作を実行させるプログラム命令列をさらに含み、
前記制御動作は、
前記優位周波数fDに関連する提示周波数で視覚刺激を提供する前記視覚刺激発生器に関連する電気デバイスを同定し、
前記優位周波数fDに関連する提示周波数で視覚刺激を提供する前記視覚刺激発生器に関連する前記電気デバイスの動作状態を設定または調整する、請求項46のコンピュータ読み取り可能な記録媒体。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/TH2010/000036 WO2012044261A1 (en) | 2010-09-29 | 2010-09-29 | System and method for ssvep based control of electrical devices |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013544546A true JP2013544546A (ja) | 2013-12-19 |
JP5688154B2 JP5688154B2 (ja) | 2015-03-25 |
Family
ID=45893451
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013531539A Expired - Fee Related JP5688154B2 (ja) | 2010-09-29 | 2010-09-29 | Ssvepに基づく電気デバイス制御システムおよび方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5688154B2 (ja) |
WO (1) | WO2012044261A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015229027A (ja) * | 2014-06-05 | 2015-12-21 | 国立大学法人 熊本大学 | 刺激特定方法、刺激特定装置及びプログラム |
JP2016067922A (ja) * | 2014-09-25 | 2016-05-09 | エスエヌユー アールアンドディービー ファウンデーション | ブレイン−マシンインタフェース装置および方法 |
KR20210042522A (ko) * | 2019-10-10 | 2021-04-20 | 한국과학기술연구원 | 뇌-컴퓨터 인터페이스에 기반하여 로봇을 제어하는 방법 및 그에 따른 식사 보조 로봇의 제어 장치 |
JP2022509752A (ja) * | 2018-10-29 | 2022-01-24 | コグニクソン | 拡張現実のための脳コンピュータ・インターフェース |
Families Citing this family (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW201238562A (en) * | 2011-03-25 | 2012-10-01 | Univ Southern Taiwan | Brain wave control system and method |
CN102722244B (zh) * | 2012-05-25 | 2014-10-15 | 西安交通大学 | 基于运动翻转视觉感知的稳态诱发电位脑-机接口方法 |
US10155121B2 (en) | 2012-08-25 | 2018-12-18 | National Chiao Tung University | Stimuli generating methods, devices and control systems to induce visual evoked potentials using imperceptible flickering multi-color lights |
JP6356400B2 (ja) * | 2013-09-13 | 2018-07-11 | 学校法人明治大学 | 周波数検出装置 |
CN106455991B (zh) | 2014-05-09 | 2019-09-20 | 波士顿科学医学有限公司 | 用于映射心脏组织的医疗装置 |
CN103970273B (zh) * | 2014-05-09 | 2017-02-15 | 西安交通大学 | 基于随机共振增强的稳态运动视觉诱发电位脑机接口方法 |
WO2016054575A1 (en) * | 2014-10-03 | 2016-04-07 | Boston Scientific Scimed Inc. | Medical system for mapping cardiac tissue |
CN107072566A (zh) | 2014-10-03 | 2017-08-18 | 波士顿科学医学有限公司 | 用于映射心脏组织的医疗装置 |
CN105942975B (zh) * | 2016-04-20 | 2018-07-06 | 西安电子科技大学 | 基于稳态视觉诱发的脑电信号处理方法 |
EP3471596A1 (en) * | 2016-06-17 | 2019-04-24 | Koninklijke Philips N.V. | System and method for determining sleep need dissipation without monitoring brain activity during a sleep session |
JP6546129B2 (ja) * | 2016-07-19 | 2019-07-17 | 日本電信電話株式会社 | 影響マップ作成装置、その方法、及びプログラム |
CN106155329B (zh) * | 2016-09-06 | 2019-01-08 | 西安交通大学 | 基于往复摆动视觉感知的稳态诱发电位脑-机接口方法 |
CN106468952B (zh) * | 2016-09-06 | 2019-02-26 | 西安交通大学 | 基于旋转视觉感知的稳态运动诱发电位脑-机接口方法 |
CN106468953B (zh) * | 2016-09-06 | 2019-02-26 | 西安交通大学 | 螺旋运动视觉感知的稳态运动诱发电位脑-机接口方法 |
RU2627075C1 (ru) * | 2016-10-28 | 2017-08-03 | Ассоциация "Некоммерческое партнерство "Центр развития делового и культурного сотрудничества "Эксперт" | Нейрокомпьютерная система для выбора команд на основе регистрации мозговой активности |
CN107024987B (zh) * | 2017-03-20 | 2020-04-14 | 南京邮电大学 | 一种基于eeg的实时人脑注意力测试和训练系统 |
KR101973081B1 (ko) * | 2017-03-28 | 2019-04-26 | 서울대학교산학협력단 | 최적의 시각 자극 판별 방법 및 시스템 |
CN106980283B (zh) * | 2017-05-03 | 2019-01-22 | 李泽轩 | 一种生物电信号交互控制平台的控制方法 |
KR101970804B1 (ko) * | 2017-08-09 | 2019-04-19 | 계명대학교 산학협력단 | 일상생활 동작훈련 순서가 적용된 거울신경세포 활성화 게임 방식의 재활 시스템 및 그 제어방법 |
CN109271020B (zh) * | 2018-08-23 | 2020-09-01 | 西安交通大学 | 一种基于眼动追踪的稳态视觉诱发脑机接口性能评价方法 |
CN110547760A (zh) * | 2019-08-09 | 2019-12-10 | 西安交通大学 | 一种幼儿弱视脑电客观检测仪 |
GB201916339D0 (en) * | 2019-11-11 | 2019-12-25 | Myndplay Ltd | Mind-controlled switch |
CN114730213A (zh) * | 2019-11-20 | 2022-07-08 | 奈克斯特曼德公司 | 脑计算机接口 |
CN112817451B (zh) * | 2021-01-28 | 2022-07-08 | 清华大学 | 基于稳态视觉诱发电位的多目标定位方法和装置 |
CN113349803B (zh) * | 2021-06-30 | 2022-09-13 | 杭州回车电子科技有限公司 | 稳态视觉诱发电位诱发方法、装置、电子装置和存储介质 |
WO2023138999A1 (en) | 2022-01-19 | 2023-07-27 | Signify Holding B.V. | A brain control interface system for determining a baseline for detecting brain activity |
CN116919424B (zh) * | 2023-08-24 | 2024-05-03 | 之江实验室 | 脑机接口康复装置和电子设备 |
GB2624538A (en) * | 2023-10-23 | 2024-05-22 | Wewow Ltd | An acoustic insulation device |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5840040A (en) * | 1992-12-18 | 1998-11-24 | The Regents Of The University Of California | Encephalolexianalyzer |
JPH1173286A (ja) * | 1997-08-28 | 1999-03-16 | Omron Corp | ポインタ制御装置及び方法 |
US20030069516A1 (en) * | 2001-10-04 | 2003-04-10 | International Business Machines Corporation | Sleep disconnect safety override for direct human-computer neural interfaces for the control of computer controlled functions |
JP2003135414A (ja) * | 2001-11-08 | 2003-05-13 | Sangaku Renkei Kiko Kyushu:Kk | 非同期光入力賦活による脳波測定方法とそれを用いた視覚障害判定方法、及びそのための脳波測定装置 |
US20050088617A1 (en) * | 2003-10-27 | 2005-04-28 | Jen-Chuen Hsieh | Method and apparatus for visual drive control |
WO2008025048A2 (de) * | 2006-09-01 | 2008-03-06 | Austrian Research Centers Gmbh - Arc | Verfahren sowie einrichtung zur steuerung von geräten mit hilfe von elektroenzephalogrammen (eeg) bzw. elektrokortikogrammen (ecog) |
JP4392465B2 (ja) * | 2007-10-29 | 2010-01-06 | パナソニック株式会社 | 脳波インタフェースシステムのための起動装置、方法およびコンピュータプログラム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010057658A (ja) * | 2008-09-03 | 2010-03-18 | Institute Of Physical & Chemical Research | 検出装置および方法、並びにプログラム |
-
2010
- 2010-09-29 WO PCT/TH2010/000036 patent/WO2012044261A1/en active Application Filing
- 2010-09-29 JP JP2013531539A patent/JP5688154B2/ja not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5840040A (en) * | 1992-12-18 | 1998-11-24 | The Regents Of The University Of California | Encephalolexianalyzer |
JPH1173286A (ja) * | 1997-08-28 | 1999-03-16 | Omron Corp | ポインタ制御装置及び方法 |
US20030069516A1 (en) * | 2001-10-04 | 2003-04-10 | International Business Machines Corporation | Sleep disconnect safety override for direct human-computer neural interfaces for the control of computer controlled functions |
JP2003135414A (ja) * | 2001-11-08 | 2003-05-13 | Sangaku Renkei Kiko Kyushu:Kk | 非同期光入力賦活による脳波測定方法とそれを用いた視覚障害判定方法、及びそのための脳波測定装置 |
US20050088617A1 (en) * | 2003-10-27 | 2005-04-28 | Jen-Chuen Hsieh | Method and apparatus for visual drive control |
WO2008025048A2 (de) * | 2006-09-01 | 2008-03-06 | Austrian Research Centers Gmbh - Arc | Verfahren sowie einrichtung zur steuerung von geräten mit hilfe von elektroenzephalogrammen (eeg) bzw. elektrokortikogrammen (ecog) |
JP4392465B2 (ja) * | 2007-10-29 | 2010-01-06 | パナソニック株式会社 | 脳波インタフェースシステムのための起動装置、方法およびコンピュータプログラム |
Non-Patent Citations (2)
Title |
---|
JPN6014018297; Xiaorong Gao,他3名: 'A BCI-Based Environmental Controller for the Motio' IEEE TRANSACTION ON NEURAL SYSTEMS AND REHABILITAT VOL.11,NO.2, 200306, pp.137-140 * |
JPN6014018299; Mohd Shaifulrizal b Abd Rani and Wahidah bt. Manso: 'DETECTION OF EYE BLINKS FROM EEG SIGNALS FOR HOME' Proceeding of the 6th International Symposium on M , 20090326, pp.1-4 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015229027A (ja) * | 2014-06-05 | 2015-12-21 | 国立大学法人 熊本大学 | 刺激特定方法、刺激特定装置及びプログラム |
JP2016067922A (ja) * | 2014-09-25 | 2016-05-09 | エスエヌユー アールアンドディービー ファウンデーション | ブレイン−マシンインタフェース装置および方法 |
JP2022509752A (ja) * | 2018-10-29 | 2022-01-24 | コグニクソン | 拡張現実のための脳コンピュータ・インターフェース |
KR20210042522A (ko) * | 2019-10-10 | 2021-04-20 | 한국과학기술연구원 | 뇌-컴퓨터 인터페이스에 기반하여 로봇을 제어하는 방법 및 그에 따른 식사 보조 로봇의 제어 장치 |
KR102349087B1 (ko) * | 2019-10-10 | 2022-01-12 | 한국과학기술연구원 | 뇌-컴퓨터 인터페이스에 기반하여 로봇을 제어하는 방법 및 그에 따른 식사 보조 로봇의 제어 장치 |
US11426878B2 (en) | 2019-10-10 | 2022-08-30 | Korea Institute Of Science And Technology | Method for controlling robot based on brain-computer interface and apparatus for controlling meal assistance robot thereof |
Also Published As
Publication number | Publication date |
---|---|
JP5688154B2 (ja) | 2015-03-25 |
WO2012044261A1 (en) | 2012-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5688154B2 (ja) | Ssvepに基づく電気デバイス制御システムおよび方法 | |
Cecotti | A self-paced and calibration-less SSVEP-based brain–computer interface speller | |
JP5711056B2 (ja) | 脳波インターフェースシステム | |
CN100366215C (zh) | 基于脑电稳态诱发响应的控制方法及系统和感官测试方法及系统 | |
KR101585150B1 (ko) | 뇌 연결성에 기반한 멀티모드 뇌-컴퓨터 인터페이스 시스템 | |
Streltsova et al. | Time course and specificity of sensory-motor alpha modulation during the observation of hand motor acts and gestures: a high density EEG study | |
US20100094156A1 (en) | System and Method for Biofeedback Administration | |
US20080082020A1 (en) | System and method for biofeedback administration | |
US11467662B1 (en) | Identifying object of user focus with eye tracking and visually evoked potentials | |
Durka et al. | User-centered design of brain-computer interfaces: OpenBCI. pl and BCI Appliance | |
Wittevrongel et al. | Faster p300 classifier training using spatiotemporal beamforming | |
JPWO2008117521A1 (ja) | 脳波識別の要否を決定する装置および方法 | |
Ghodake et al. | Brain controlled home automation system | |
Xia et al. | Asynchronous brain–computer interface based on steady-state visual-evoked potential | |
Gembler et al. | Exploring the possibilities and limitations of multitarget SSVEP-based BCI applications | |
JPWO2010004710A1 (ja) | 咀嚼筋電を用いたインタフェースシステム | |
Francis et al. | Brain-computer interfacing for wheelchair control by detecting voluntary eye blinks | |
Dasgupta et al. | Brain controlled robotic platform using steady state visual evoked potentials acquired by EEG | |
Elijah et al. | Act now, play later: Temporal expectations regarding the onset of self-initiated sensations can be modified with behavioral training | |
Talsma et al. | A retinotopic attentional trace after saccadic eye movements: evidence from event-related potentials | |
Graimann et al. | Non-invasive brain-computer interfaces for semi-autonomous assistive devices | |
RU2725782C2 (ru) | Система для коммуникации пользователей без использования мышечных движений и речи | |
KR20170013092A (ko) | 디스플레이 자극을 이용한 의도 인식용 뇌파 기반 뇌-기계 인터페이스 장치 및 방법 | |
Aspiotis et al. | Active touch classification using EEG signals | |
Tavares et al. | Steady-state visual evoked potential-based real-time bci for smart appliance control |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130909 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140423 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140507 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140807 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150113 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150123 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5688154 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |