JP2021511567A - 高速、正確、且つ直感的なユーザ対話のための適合を伴う脳−コンピュータインタフェース - Google Patents
高速、正確、且つ直感的なユーザ対話のための適合を伴う脳−コンピュータインタフェース Download PDFInfo
- Publication number
- JP2021511567A JP2021511567A JP2020537522A JP2020537522A JP2021511567A JP 2021511567 A JP2021511567 A JP 2021511567A JP 2020537522 A JP2020537522 A JP 2020537522A JP 2020537522 A JP2020537522 A JP 2020537522A JP 2021511567 A JP2021511567 A JP 2021511567A
- Authority
- JP
- Japan
- Prior art keywords
- user
- control
- processor
- stimulus
- score
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 title abstract description 8
- 230000006978 adaptation Effects 0.000 title description 5
- 238000000034 method Methods 0.000 claims abstract description 148
- 230000001537 neural effect Effects 0.000 claims abstract description 120
- 230000009471 action Effects 0.000 claims description 89
- 230000008569 process Effects 0.000 claims description 69
- 210000004556 brain Anatomy 0.000 claims description 55
- 230000000007 visual effect Effects 0.000 claims description 51
- 230000000763 evoking effect Effects 0.000 claims description 42
- 230000004424 eye movement Effects 0.000 claims description 31
- 230000003565 oculomotor Effects 0.000 claims description 30
- 238000006243 chemical reaction Methods 0.000 claims description 22
- 238000013179 statistical model Methods 0.000 claims description 15
- 210000005036 nerve Anatomy 0.000 claims description 13
- 230000033764 rhythmic process Effects 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 9
- 230000006399 behavior Effects 0.000 claims description 8
- 230000001953 sensory effect Effects 0.000 claims description 7
- 230000001419 dependent effect Effects 0.000 claims description 6
- 230000001052 transient effect Effects 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 230000004438 eyesight Effects 0.000 claims description 3
- 230000001960 triggered effect Effects 0.000 claims description 3
- 230000009849 deactivation Effects 0.000 claims 1
- 230000007177 brain activity Effects 0.000 abstract description 33
- 238000007792 addition Methods 0.000 abstract 1
- 230000004044 response Effects 0.000 description 53
- 210000001508 eye Anatomy 0.000 description 50
- 230000006870 function Effects 0.000 description 50
- 230000004397 blinking Effects 0.000 description 49
- 230000002093 peripheral effect Effects 0.000 description 36
- 238000004458 analytical method Methods 0.000 description 35
- 238000012549 training Methods 0.000 description 21
- 238000009826 distribution Methods 0.000 description 16
- 239000002131 composite material Substances 0.000 description 14
- 230000006854 communication Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 11
- 230000008904 neural response Effects 0.000 description 10
- 230000008859 change Effects 0.000 description 9
- 239000013598 vector Substances 0.000 description 9
- 230000000694 effects Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 230000001149 cognitive effect Effects 0.000 description 6
- 238000000537 electroencephalography Methods 0.000 description 6
- 239000000203 mixture Substances 0.000 description 6
- 230000003190 augmentative effect Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 101100063432 Caenorhabditis elegans dim-1 gene Proteins 0.000 description 4
- 101000773151 Homo sapiens Thioredoxin-like protein 4B Proteins 0.000 description 4
- 102100030273 Thioredoxin-like protein 4B Human genes 0.000 description 4
- 230000004886 head movement Effects 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 230000004304 visual acuity Effects 0.000 description 4
- 238000002566 electrocorticography Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 230000001976 improved effect Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 230000004434 saccadic eye movement Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 241000699666 Mus <mouse, genus> Species 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000036992 cognitive tasks Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002599 functional magnetic resonance imaging Methods 0.000 description 2
- 230000001939 inductive effect Effects 0.000 description 2
- 238000002582 magnetoencephalography Methods 0.000 description 2
- 230000003767 neural control Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012634 optical imaging Methods 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 230000011514 reflex Effects 0.000 description 2
- 230000000638 stimulation Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 206010033799 Paralysis Diseases 0.000 description 1
- 230000036982 action potential Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 206010002026 amyotrophic lateral sclerosis Diseases 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000003925 brain function Effects 0.000 description 1
- 201000007293 brain stem infarction Diseases 0.000 description 1
- 235000012813 breadcrumbs Nutrition 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 230000001054 cortical effect Effects 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 210000001787 dendrite Anatomy 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000003155 kinesthetic effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000001404 mediated effect Effects 0.000 description 1
- 230000003924 mental process Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001095 motoneuron effect Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000008035 nerve activity Effects 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 238000002610 neuroimaging Methods 0.000 description 1
- 208000018360 neuromuscular disease Diseases 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 239000000700 radioactive tracer Substances 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 208000020431 spinal cord injury Diseases 0.000 description 1
- 230000004936 stimulating effect Effects 0.000 description 1
- 230000007598 synaptic excitation Effects 0.000 description 1
- 230000001720 vestibular Effects 0.000 description 1
- 230000002747 voluntary effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
- A61B5/7435—Displaying user selection data, e.g. icons in a graphical user interface
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
- A61B5/333—Recording apparatus specially adapted therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/372—Analysis of electroencephalograms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/377—Electroencephalography [EEG] using evoked responses
- A61B5/378—Visual stimuli
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
- G06F3/0202—Constructional details or processes of manufacture of the input device
- G06F3/0219—Special purpose keyboards
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
- G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
- G06F3/0233—Character input methods
- G06F3/0236—Character input methods using selection techniques to select from displayed items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Physics & Mathematics (AREA)
- Veterinary Medicine (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Psychiatry (AREA)
- Psychology (AREA)
- Child & Adolescent Psychology (AREA)
- Dermatology (AREA)
- Hospice & Palliative Care (AREA)
- Educational Technology (AREA)
- Developmental Disabilities (AREA)
- Social Psychology (AREA)
- Neurosurgery (AREA)
- Neurology (AREA)
- Artificial Intelligence (AREA)
- Cardiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Signal Processing (AREA)
- Mathematical Physics (AREA)
- Fuzzy Systems (AREA)
- Evolutionary Computation (AREA)
- Ophthalmology & Optometry (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
[0001] 本願は、参照によりその開示の全体を本明細書に援用する、2018年1月18日に出願され「高速、正確、且つ直感的なユーザ対話のための適合を伴う脳−コンピュータインタフェース(Brain-Computer Interface with Adaptations for High-Speed, Accurate, and Intuitive User Interactions)」と題された米国仮特許出願第62/618,846号の優先権及び利益を主張する。
[0002] 本明細書に記載する実施形態は、リアルタイムの眼球運動及び/又は頭部動作追跡を脳活動追跡と統合して、人間−マシン対話の高速度及び高精度を得るように戦略的に設計されるユーザインタフェース(UI)又はユーザエクスペリエンス(UX)を提示し更新する、脳−コンピュータインタフェースの実装に使用するためのシステム、装置、及び方法に関する。本明細書に記載する実施形態は、リアルタイムの視標追跡及び神経活動のオンライン分析を使用してマシンのユーザ操作を仲介する、ハードウェアに依存しない脳−コンピュータインタフェースの実装にも関する。
[0006] 眼球運動及び脳活動を追跡してユーザの注視又は注目のリアルタイムの位置決め及び所望のアクションの選択/活性化を仲介するための、ハードウェアに依存しない統合型動眼神経ハイブリッド脳コンピュータインタフェース(BCI)プラットフォームの様々な実施形態のためのシステム、装置、及び方法を本明細書に記載する。本開示は、高速度及び高精度で動作する脳コンピュータインタフェースの需要に対処するための統合型BCIシステムを提示する。
[0031] 本明細書に記載する実施形態は、人間−マシン対話の高速度及び高精度を得るように戦略的に設計されるユーザインタフェース(UI)又はユーザエクスペリエンス(UX)をユーザに提示する間に記録される脳活動を分析する脳−コンピュータインタフェース(BCI)の実装に使用するためのシステム、装置、及び方法に関する。本明細書に記載する実施形態は、神経脳信号の分析を使用してインタフェース、装置、及び/又はマシンのユーザ操作を仲介する、ハードウェアに依存しない脳−コンピュータインタフェースの実装にも関する。
[0033] 本明細書で説明するように、BCIは脳活動単独で又は脳活動を動眼活動若しくは運動神経(例えばEMG)活動等の他の活動と組み合わせてコンピュータ又は外部装置を制御できるようにするハードウェア及びソフトウェア通信システムである。BCIシステムは、インタフェースによる刺激の表示、インタフェース上のユーザの注目箇所を位置決めするためのハードウェア機器、脳活動を記録し処理するための装置、及びインタフェースの制御を行うための機器を含み、インタフェースの制御はユーザの環境を制御することになり得る。これらの標準機能は(1)ポインティング制御機能、(2)アクション制御機能、及び(3)ユーザインタフェース/ユーザエクスペリエンス(UI/UX)機能として特徴付けることができる。ポインティング制御機能は、制御するための1つ又は複数のマニピュレータの小さなセットまでユーザが絞り込むことを可能にするマウスポインタ等の従来のポインティング装置と類比で説明することができる。アクション制御機能は、ユーザがアクションを実施してUI/UXの変更、ひいては接続されたマシンの変更を生じさせることを可能にする、アクション(例えば選択、選択解除等)、例えばマウスのクリック又はキーボード上のキーストロークを仲介する装置と類比で説明することができる。BCIシステムにおけるUI/UX機能は、選択メニュー、ナビゲーション制御等を提供するような他の機能に加えて、ポインティング制御機能及びアクション制御機能を実装する環境を作成し維持するオペレーティングシステムと類比で説明することができる。
[0040] 一部の実施形態では、アイトラッカ102は、2次元空間又は3次元空間内のユーザの眼球運動を素早くたどることにより、ユーザが自らの視野内のどこを見ているのかを決定するために使用することができる。例えばユーザが自らの眼球運動の随意調節を有するという条件で、ビデオベースアイトレーサ102を使用して、ユーザの目のそれぞれがユーザの視野内のどの部分空間を「指しているのか」を決定することができる。換言すれば、アイトラッカ102は、ポインティング制御機能としてユーザの眼球運動の軌跡を使用することができ、被験者の意図及び挙動に関する重要な情報を明らかにする。一部の実施形態では、ユーザが視覚空間内のどこに注目しているのか、どの刺激に注目しているのか、又はどの刺激に反応したのかの側面がBCIシステム100内で効果的に使用され得る。互いに対する両方の目の動き軌道を同時に追跡することにより、アイトラッカ102はユーザの注目の奥行をレジスタし、従って3次元空間内のポインティング制御を可能にすることもできる。
[0044] BCIシステム100の目的は、例えばユーザが意図するアクションを予測すること及び/又はユーザの活動に関連する信号を解釈してユーザが意図するアクションを決定すること等、脳活動をモニタすることでユーザの意図を明らかにすることにより、関連するUI/UX、及び/又は接続された外部装置、及び/又はマシンを能動的に制御することである。この目的の要は、脳信号をアクション制御機能にする、ユーザの意図を示し得る脳信号である。BCIシステム100は、ユーザによって行われる認知的作業によって同時に誘発され又はかかる認知的作業に関係する幾つかのシグネチャ脳信号のうちの1つ又は複数を使用することができる。これらの脳信号の一部は、人がそれらを自在に変調できるようになり得るやり方で復号することができる。制御信号と見なされるこれらの信号を使用することは、BCIシステム100がユーザの意図を解釈することを可能にし得る。
[0050] 本明細書で説明するように、BCIシステム100内のUI/UXは、ユーザ(例えばユーザの脳、目、筋肉/運動神経等)とBCI装置110との間の通信のリンクとして機能し、ユーザがポインティング制御機能によって特定の刺激に注目しそれを指さし、アクション制御機能を使用して特定の刺激を選択し又は選択解除することを可能にする。本明細書で述べるように、UI/UXは制御インタフェースの一例であり得る。UI/UXは、ディスプレイによって提示される一連の視覚的に刺激のある2次元画像を含むことができる。UI/UXは、ユーザにとって最も直感的でありユーザの意図を識別することをより容易且つ明白にするやり方で提示されるようにBCI装置110によって設計され操作され得る。UI/UXは、ユーザの注目を集めるように設計される、及び/又はユーザ制御の方法の可用性に関する情報を含むUI/UXに関する情報を伝えるように設計される1つ又は複数の刺激を提示することができる。刺激は任意の適切なやり方で提示することができる。例えば、UI/UXは刺激として「タグ」(例えば制御項目)を提示するように設計することができる。それぞれの刺激は1つ又は複数のタグを含み得る。例えばタグは、ユーザの注目を集めるために且つUI/UXを制御するその可用性を示すために特定のやり方で外観を変える視覚的アイコンとすることができる。例えば、1つ又は複数のタグのグループを特定のやり方で点滅させ又はその外観を変えさせることができる。タグ又は制御項目はアクションに関連することができる。例えば、本明細書では「タグ点滅」とも呼ぶタグの外観の一過性の変化は、1つ又は複数の特定のアクションを行うためにそれらのタグが使用可能であることを示すことができる。一度に2つ以上のタグを点滅させることができ、タグのグループ分け(「タググループ」とも呼ぶ)は任意の特定のやり方で行われる(例えばタグの行、列、疑似ランダムグループ分け等)。タグ点滅の後、ユーザがタグ点滅の位置までfoveateしたことを示す信号をアイトラッカ102が捕捉することができ、及び/又はシグネチャ脳活動の発生を示す信号を神経記録ヘッドセット104が捕捉することができる。BCI装置110は、本明細書で更に詳細に説明するように、これらの信号を分析しユーザの意図を明らかにすることができる。この決定に基づき、UI/UXはタグ点滅に関連する1つ又は複数の特定のアクションを実施することができる。
[0054] 一部の実施形態では、BCIシステム100が、幾つかの周辺センサ108(図1の破線の四角形によって示す任意選択的なユニットとして示す)及び周辺アクチュエータ(図1には不図示)を含むことができる。1つ又は複数の周辺アクチュエータは豊かで多様なユーザエクスペリエンスを提供するように構成することができ、1つ又は複数の周辺センサ108はユーザ及びユーザの環境のそれぞれから多様な入力を捕捉するように構成することができる。これらの周辺アクチュエータ112及びセンサ108は個々に又は(アイトラッカ102のように)他の装置に組み込んで適切に搭載することができる。例えばBCIシステム100は、聴覚刺激を中継するためのイヤフォン及びユーザの音声コマンド等の音を捕捉するためのマイクロフォンを含むことができる。イヤフォン(聴覚アクチュエータ又は聴覚出力装置)及びマイクロフォン(聴覚センサ又は聴覚入力装置)は、ハイブリッドシステム100に有線チャネル又は無線チャネルによって接続される独立型装置とすることができる。或いはイヤフォン及びマイクロフォンは、アイトラッカ102又は神経記録ヘッドセット104に搭載し、統合することができる。同様に、体の動きのレジスタするために、加速度計、角度計、捻転計、赤外線カメラ等の光センサ、奥行センサ、マイクロフォン等の周辺センサをBCIシステム100に含める及び/又は結合することができる。例えば、角度計を使用することができるジェスチャを形成する手足の動きをレジスタする、加速度計は体の動きをレジスタするために使用することができる。周辺センサは、ユーザの現実世界の視野を捕捉するように構成される視野カメラも含むことができる。視野カメラによって取得される信号は分析し、選択可能な選択肢等を用いてUI/UXによってスーパーインポーズされる現実世界の画像を有する拡張現実エクスペリエンス又は複合現実エクスペリエンスを生成しユーザに提示するために使用することができる。BCIシステム100に接続可能な周辺アクチュエータは、提供されるユーザエクスペリエンスを豊かにする接触及び振動等の力を加え作り出すことができる触覚装置又は運動感覚装置を含むことができる。
[0055] 一部の実施形態では、脳−コンピュータインタフェース装置(即ちBCI装置)110がとりわけ3つの主要な機能を達成するように構成され得る。第1に、BCI装置110は、本明細書に記載したように戦略的に設計されたUI/UXを生成するように構成することができる。例えば、戦略的に設計されたユーザエクスペリエンスは訓練セッション用又は試験セッション用であり得る。一部の実施形態では、ユーザエクスペリエンスは仮想現実環境及び/又は拡張現実環境として設計され得る。一部の実施形態では、UI/UXは例えば特定のユーザの履歴、反応時間、ユーザ選択等の特定のニーズに合わせて調整することができる。BCI装置110はUI/UXを生成し更新する際にこれらの全ての要件を考慮することができる。第2に、UI/UXの設計及び生成に加えて、BCI装置110は(例えばアイトラッカ102から)ポインティング制御信号及び(例えば神経記録ヘッドセット104から)アクション制御信号(及び該当する場合は周辺センサ108から周辺信号)を受信し、それらの信号を個々に又はアンサンブルとして処理してユーザの意図を明らかにするように構成することができる。BCI装置110は分析に適した任意の方法を実行することができる。例えばBCI装置110は、信号から有意味の特徴を検出し、統計モデルを構築し適用して信号を解釈し、信号を分類し、信号及び信号を誘発する刺激を採点し、任意の所与のタグ又は刺激がユーザの意図する点(例えば標的タグ又は標的刺激)である確率を計算し、標的タグ又は標的刺激及びユーザが望む関連するアクションを決定すること等ができる。第3にBCI装置110は、ユーザの意図に応じて指示されている標的タグ又は標的刺激の変更を実施することにより、ポインティング制御機能及びアクション制御機能を実装するように構成することができる。
[0061] 図2は、入力記号の一例にユーザが注目しその選択を制御する具体例の一例に関する(上記のシステム100と同様の)BCIシステムの機能を示す。図2の説明のための一連の操作上の事象の例は、刺激(例えば1組のアクションに関連する1組のタグを含む刺激)を提示すること、結果として生じる神経活動信号及び動眼信号、及び/又は該当する場合は周辺信号を取得すること、取得した信号を分析し、それらの信号を解釈してユーザの意図を推論し又は復号すること、及び(例えばアクションの1つ又は複数に関連するタグの1つ又は複数を選択することによって)UI/UXの変更を生じさせることを含む。UI/UXを変更するために実施される1つ又は複数のアクションは、ひいてはUI/UXによって接続される1つ又は複数の外部マシンを制御することもできる。
[0068] 図3A〜図3Gは、上記で開示したBCIシステム100と構造及び又は機能の点で同じ又は同様であり得る、BCIシステム300とのユーザ対話の一例及びBCIシステム300内の基礎を成す処理の一部を示す。例えば、BCIシステム300はアイトラッカ302、神経記録ヘッドセット304、BCI装置(不図示)、及びディスプレイ306を含み得る。図示の例では、ユーザが単語及び/又は文をスペルするのを助けるために、BCIシステム300がポインティング制御を実施する動眼信号並びにアクション制御を実施する神経信号の両方を使用することができる。例えばBCIシステム300は、2ステッププロセスで単語をスペルするために使用されるUI/UX371、及びUI/UX371を提示するディスプレイ306を含むことができる。図3A〜図3Cに示すように、UI/UX371はタググループ点滅379(例えばキーボード上でよく見られる文字、数字、及び記号)形式の刺激を提示することができる。
[0072] 図2に示すプロセスシーケンス、並びに図3に示すポインティング制御及びアクション制御の実装例は個々の刺激について例示され得るが、UI/UX又はユーザエクスペリエンスによって仮想的な又は拡張された多様な環境を提示する間、一連の同様のステップを有する同様のプロセスをたどることができる。プロセス400の一例を図4に示す。図4に示すように、プロセス400は、訓練セッションを形成する一連のサブステップ(破線の四角形によって任意選択的として示す)を含むことができ、又は如何なる訓練データもなしに新たな刺激を提示するために使用することができる。
[0076] 本明細書に記載の通り、BCIシステム100、300は動眼活動信号及び神経活動信号(及び他の周辺信号)をアンサンブルとして組み合わせて又は個々に処理して、高速度及び高精度でユーザの意図を明らかにしユーザの意図に作用することができる。プロセス200又はプロセス400等の1つ又は複数のプロセスを使用して適切な刺激を提示し、ユーザの意図を明らかにすることができる。以下で説明するように、BCIシステムは信号を分析しユーザの意図を明らかにするのに適した分析パイプラインを採用することができる。
[0079] 動眼信号、神経信号、又は他の周辺信号(例えばジェスチャ、体位、音声コマンド等)を含む、刺激の提示中に及び提示後に取得される信号は情報が豊富であり得る。しかし、分析手続きは、関連するエポック及び/又は特徴を信号から抽出して標的タグを分析し決定することができる。例えばBCIシステムは、単語をスペルする際に使用するための図5Aに示すUI/UX571を含むことができる。ユーザが単語をスペルするためにIの文字を使用したい可能性がある例では、図5A〜図5Bに示すようにIの文字が標的タグ585になる。図5Aに示す例では、刺激又はタグ点滅の一例が可視タグ又は文字の行又は列であり得る。例えばタグ点滅579Aの一例は、タグG〜Lの行を含む強調表示されたタググループ形式で刺激を提示する。タグ点滅579Bの別の例(現在は提示されていない、例えば文字が強調表示されていない)はタグA、G、M、S、Y、及び5を含むことができる。タグ点滅は行、列、又は外観の特定の変更によって(例えば強調表示、拡大、太文字化等によって)一緒に提示される任意選択されたタググループであり得る。
[0082] BCIシステム100、300の一部の実施形態では、又はBCIシステムを実装するためのプロセス200又は400の一部の実施形態では、ユーザの意図に関する情報を集めるために刺激の提示後に取得される信号が完全に使用され得る。BCIシステム100、300の他の一部の実施形態では、又はBCIシステムを実装するためのプロセス200又は400の一部の実施形態では、取得済みの信号によって提供される情報を最適に使用するために1つ又は複数の次元縮退法を使用することができる。例えばユーザの意図を明らかにするために使用される分析手続きは、上記で開示したように取得済みの信号から特徴を検出し及び/又は抽出する1つ又は複数のステップを含み得る。信号の特徴は、信号を表す幾つかのパラメータを含むことができる。一部の条件の例では、特徴は信号の成分(例えば主成分又は独立成分)又は他の同様の次元縮退法を使用して得られる値又はベクトルを含むこともできる。特徴の一部の例は、ピーク振幅、持続時間、周波数帯域幅、基準線からの平均偏差等を含むこともできる。特徴の1つ又は複数は他の特定のパラメータに固有であり得る。例えば特徴は、刺激提示後200ms〜500msにおけるピーク振幅、又は特定の周波数範囲内の周波数応答のピーク振幅等を含み得る。
[0084] 上記で説明したように、BCIシステムの目的の1つは1組の選択肢を刺激として提示し、特定のアクションを仲介し得る或る特定の刺激を選択するユーザの意図を脳活動の神経信号から復号することである。1組の刺激は1組の可視タグとすることができ、そのうちのユーザにとって関心のある或る特定のタグを標的タグとすることができる。従って別の言い方をすれば、BCIシステムの目的は利用可能な1組の可視タグから標的タグの同一性を特定の精度及び信頼度で識別することであり得る。標的タグを識別するプロセスは、特定のタグが提示される事前尤度、特定のタグがシグネチャ脳活動反応を誘発し得る尤度等の幾つかの情報源を組み込むことができる。
[0087] システム100、300等のBCIシステムのUI/UXにより、ユーザに刺激又はタグの一連又は組み合わせを提示することができる。タグは、マシン、装置、及び/又はインタフェースの制御をユーザに与える1つ又は複数のアクションにそれぞれ関連し得る。任意の所与のステップにおいて、タグの1つ(又は複数)が、選択時にユーザが望むアクションをもたらすことができる標的タグであり得る。上記で説明したように、目的は提示されるタグ又はタググループの組み合わせの中の標的タグを神経信号(及び動眼信号又は周辺信号等の他の関連信号)から識別することである。
[0096] 上記で説明したように、一部の実施形態ではスコアテーブルを生成するために2つ以上の分析方法を使用することができ、その方法は1つ又は複数の性能パラメータに基づいて評価される。例えば、神経活動信号は幾つかの分類器によって処理することができ、各分類器は他の分類器に対して評価される。次いで分類器のアンサンブルを一緒に使用して、スコアテーブル内に供給される複合分類スコアを形成することができる。スコアテーブルは、他の様々な情報源(例えば刺激情報、動眼信号等の他の信号源からの情報等)を用いて更新することができる。図9は、様々な特徴ベクトル及び分類方式を使用する3つ以上の異なる分類器を使用する方法の一例を示す。図9のプロットの一例に示すように、分類器のそれぞれからのラベル付けを評価する。最も優れたN個の分類器を選択し(Nは所定数又はユーザの自由裁量等である)、アンサンブル分類器又は「メランジュ」が生成される。メランジュを使用して神経信号を分析することにより、複合スコアテーブルが生成される。この複合スコアテーブルは、他の情報源(例えば刺激情報、眼球運動情報等)を用いて更新することができる。例えば複合スコアテーブルは距離テーブルによって更新されるように供給することができ、距離テーブルは、以下でより詳細に説明する他の近くのタグに対して誘発される反応に対するタグの近接度に基づく効果を組み込む。
[0099] BCIシステム100、300、及び/又はBCIシステムを実装するプロセス200、400、及び/又は700の一部の実施形態では、刺激がどのように提示されたのかに関して入手可能な情報を使用して標的タグの識別精度を改善することができる。例えばプロセス700に関して上記で説明した神経信号から計算される尤度及び信頼スコアと共に、UI/UXによって提示される刺激又はタグ点滅の空間的配置、タグ点滅の時間順序又は時系列、タググループ内のタグのグループ分け、タグ点滅に関連する突出度等を使用することができる。
[0110] BCIシステム(例えばシステム100、300)の一部の実施形態では、又はBCIシステムを実装するためのプロセス(例えばプロセス200、400、700、1100、及び/又は1400)は、1つ又は複数のアイトラッカから入手可能な眼球運動情報を組み込むように構成され得る。つまり、スコアテーブルを更新して利用可能な1組のタグから標的タグを識別するために、1つ又は複数の動眼信号に由来する情報を使用することができる。
[0116] BCIシステム(例えばシステム100、300)の一部の実施形態では、又はBCIシステムを実装するためのプロセス(例えばプロセス200、400、700、1100、1400、及び/又は1600)は、生体(又は非生体)データを取得する任意の数のセンサから入手可能な情報を組み込むように構成することができる。例えば、複合スコアテーブルを更新して利用可能な1組のタグから標的タグを識別するために、1つ又は複数の生理学的信号、又は挙動信号、又は外部信号(摂動又はユーザが現在置かれている環境内の事象等を示す)の情報を使用することができる。
[0118] 図17は、標的タグを識別するのを助けるための幾つかの情報源を組み込む、マスタスコアテーブルを生成する方法1700の一例を示す。例えば図17に示すように、スコアセットを生成するために幾つかの情報源をそれぞれ使用することができ、標的タグの識別を更新するために様々なスコアセットを適切に組み合わせることができる。
[0122] 要約すると、ユーザによってリアルタイムで操作可能な統合型脳コンピュータインタフェースの実装に使用するためのシステム及び方法を本明細書に記載した。開示したシステムは、ポインティング制御機能を実装するための眼球運動追跡システム、及びアクション制御機能を実装するための脳活動追跡システムを含む。高速且つ正確な操作を可能にするように戦略的に設計されるUI/UXの提示により、両方の機能が実装される。加えて、開示したシステム及び方法は、任意の適切なプラットフォーム上にリアルタイムBCIを実装して仮想環境、拡張環境、又は実環境のユーザ操作を仲介するために、ハードウェアに依存しないように構成される。図11は本発明のBCIシステム及び方法の使用空間の説明図を示す。
Claims (22)
- ユーザに制御インタフェースを提示するように構成されるディスプレイであって、前記制御インタフェースはアクションにそれぞれ関連する複数の制御項目を含む、ディスプレイと、
前記ユーザに関連する神経信号を記録するように構成される神経記録装置と、
前記ディスプレイ及び前記神経記録装置に動作可能に結合されるインタフェース装置であって、
メモリ、並びに
前記メモリに動作可能に結合され、
前記制御インタフェースによって1組の刺激を個々に提示することであって、前記1組の刺激の各刺激は前記複数の制御項目の1組の制御項目を含む、提示すること、
前記1組の刺激の各刺激を提示した後、その刺激に関連する1組の神経信号を前記神経記録装置から受信すること、
前記1組の刺激の各刺激の前記1組の神経信号に基づいて前記複数の制御項目の各制御項目に関連するスコアを決定すること、
前記複数の制御項目の各制御項目に関連する前記スコアに基づいて前記ユーザの注目箇所を決定することであって、前記注目箇所は前記複数の制御項目の少なくとも1つの制御項目に関連する、決定すること、及び
前記注目箇所に基づいて前記ユーザが意図するアクションを決定すること
を行うように構成されるプロセッサ
を含む、インタフェース装置と
を含む、機器。 - 前記神経信号が、事象関連電位(ERP)、運動心像信号、定常状態視覚誘発電位(SSVEP)、一過性視覚誘発電位(TVEP)、脳状態コマンド、視覚誘発電位(VEP)、P300誘発電位、感覚誘発電位、運動誘発電位等の誘発電位、ミュー律動又はベータ律動等の感覚運動律動、事象関連脱同期(ERD)、事象関連同期(ERS)、緩徐脳電位(SCP)、又は脳状態依存信号の少なくとも1つを含む脳波記録(EEG)信号を含み、
前記プロセッサが、前記1組の刺激の各刺激の前記1組の神経信号を処理して前記EEG信号から1組の特徴に関連する情報を抽出するように更に構成され、
前記プロセッサが、前記1組の特徴に関連する前記情報を使用して、前記複数の制御項目の各制御項目に関連する前記スコアを決定するように構成される、
請求項1に記載の機器。 - 前記1組の特徴が、前記神経信号に含まれる反応の振幅、前記反応の持続時間、前記反応の形状、前記1組の刺激からの刺激を前記提示することに対する前記反応のタイミング、又は前記神経信号に関連する周波数の少なくとも1つを含む、請求項2に記載の機器。
- 前記ユーザに関連する眼球運動信号を記録するように構成される視標追跡装置を更に含み、
前記プロセッサが、前記1組の刺激の各刺激を提示した後、その刺激に関連する1組の眼球運動信号を前記視標追跡装置から受信するように更に構成され、
前記プロセッサが、前記1組の刺激の各刺激に関連する前記1組の神経信号及び前記1組の眼球運動信号に基づいて前記複数の制御項目の各制御項目に関連する前記スコアを決定するように構成される、
請求項1に記載の機器。 - 前記1組の制御項目の各制御項目が視覚的表現に関連し、
前記プロセッサが、提示される前記1組の刺激の刺激ごとに、その刺激に含まれる前記1組の制御項目の各制御項目に関連する前記視覚的表現の外観を変更することによって前記1組の刺激を個々に提示するように構成される、
請求項1に記載の機器。 - 前記外観を変更することが、前記視覚的表現のサイズ、色、色調、テクスチャ、輪郭、向き、輝度、厚さ、又は移動度の少なくとも1つを変更することを含む、請求項5に記載の機器。
- 前記プロセッサが、前記複数の制御項目の各制御項目の尤度推定を計算することによって前記複数の制御項目の各制御項目に関連する前記スコアを決定するように構成され、前記複数の制御項目の各制御項目の前記尤度推定は、前記制御項目が前記ユーザの前記注目箇所に関連する尤度を示す、請求項1に記載の機器。
- 前記プロセッサは、前記ユーザが意図する前記アクションを実施するように更に構成され、前記アクションは前記複数の制御項目からの制御項目の活性化又は非活性化の少なくとも1つである、請求項1に記載の機器。
- 前記注目箇所が第1の期間中の第1の注目箇所であり、前記アクションが第1のアクションであり、前記プロセッサが、
前記第1の期間の後の第2の期間中に前記ユーザの第2の注目箇所を決定することであって、前記第2の注目箇所は前記複数の制御項目の少なくとも1つの制御項目に関連する、決定すること、
前記ユーザが意図する第2のアクションを前記第2の注目箇所に基づいて決定することであって、前記第2のアクションは前記第1のアクションと異なる、決定すること、及び
前記第1のアクションを実施した後、前記ユーザが意図する前記第2のアクションを実施すること
を行うように更に構成される、請求項8に記載の機器。 - 前記プロセッサが、1組の統計モデルを使用して少なくとも1つの分類方式に従って前記1組の刺激の各刺激に関連する前記1組の神経信号を分類するように更に構成され、
前記プロセッサが、前記1組の刺激の各刺激に関連する前記1組の神経信号の前記分類に基づき、前記複数の制御項目の各制御項目に関連する前記スコアを決定するように構成される、
請求項1に記載の機器。 - プロセッサによって実行される命令を表すコードを記憶する非一時的プロセッサ可読媒体であって、前記命令は、
1組のアクションを実行するためにユーザによって操作されるように構成される制御インタフェースを生成すること、
前記制御インタフェースによって前記ユーザに刺激を提示することであって、前記刺激は1組の制御項目を含み、前記1組の制御項目の各制御項目は前記1組のアクションの少なくとも1つのアクションに関連する、提示すること、
前記ユーザに前記刺激を提示した後、前記ユーザに関連する情報を神経記録装置から受信すること、
前記神経記録装置から受信される前記情報に基づいて前記1組の制御項目の各制御項目に関連するスコアを決定すること、
各制御項目に関連する前記スコアに基づいて前記ユーザの注目箇所を決定する、前記1組の制御項目を形成すること、
前記ユーザの前記注目箇所に関連する前記1組の制御項目から少なくとも1つの制御項目を識別すること
を前記プロセッサに行わせるためのコードを含む、非一時的プロセッサ可読媒体。 - 前記神経記録装置から受信される前記情報が前記ユーザに関連する神経信号を含み、前記神経信号は、事象関連電位(ERP)、運動心像信号、定常状態視覚誘発電位(SSVEP)、一過性視覚誘発電位(TVEP)、脳状態コマンド、視覚誘発電位(VEP)、P300誘発電位、感覚誘発電位、運動誘発電位等の誘発電位、ミュー律動又はベータ律動等の感覚運動律動、事象関連脱同期(ERD)、事象関連同期(ERS)、緩徐脳電位(SCP)、又は脳状態依存信号の少なくとも1つを含む脳波記録(EEG)信号を含み、
前記命令が、前記神経信号を処理して前記EEG信号から1組の特徴に関連する情報を抽出することを前記プロセッサに行わせるためのコードを更に含み、
前記1組の制御項目の各制御項目に関連する前記スコアを前記処理に決定させるための前記コードが、前記1組の特徴に関連する前記情報を使用して前記1組の制御項目の各制御項目に関連する前記スコアを前記プロセッサに決定させるためのコードを含む、
請求項11に記載の非一時的プロセッサ可読媒体。 - 前記スコアが関連する各制御項目を決定する、前記1組の制御項目を形成することを前記プロセッサに行わせるための前記コードが、
前記1組の制御項目の各制御項目について尤度推定を計算することであって、前記1組の制御項目の各制御項目の前記尤度推定は、その制御項目が前記ユーザの前記注目箇所に関連する尤度を示す、尤度推定を計算すること、及び
前記1組の制御項目の各制御項目について、その制御項目の前記尤度推定に基づいて1組のスコアを決定すること
を前記プロセッサに行わせるためのコードを含み、
前記ユーザの前記注目箇所を前記プロセッサに決定させるための前記コードが、前記1組の制御項目の各制御項目の前記1組のスコアに基づいて前記ユーザの前記注目箇所を前記プロセッサに決定させるためのコードを含む、
請求項11に記載の非一時的プロセッサ可読媒体。 - 前記刺激が前記1組の制御項目に関連する1組の視覚的表現を含み、前記1組の視覚的表現の各視覚的表現は前記1組の制御項目の少なくとも1つの制御項目に関連し、前記1組の制御項目の他の各制御項目の前記視覚的表現に対して異なる位置において前記制御インタフェース内で配置されるように構成され、
前記1組の制御項目の各制御項目に関連する前記スコアを前記プロセッサに決定させるための前記コードが、前記1組の視覚的表現の各視覚的表現の前記位置に基づき、前記1組の制御項目に関連する1組の距離スコアを前記プロセッサに計算させるためのコードを含み、
前記ユーザの前記注目箇所を前記プロセッサに決定させるための前記コードが、前記1組の距離スコアに少なくとも部分的に基づいて前記ユーザの前記注目箇所を前記プロセッサに決定させるためのコードを含む、
請求項11に記載の非一時的プロセッサ可読媒体。 - 前記刺激が前記1組の制御項目に関連する1組の視覚的表現を含み、前記1組の視覚的表現の各視覚的表現は前記1組の制御項目の少なくとも1つの制御項目に関連し、前記1組の制御項目の他の各制御項目の前記視覚的表現が提示されるときと異なる時点において前記制御インタフェース内で提示されるように構成され、
前記1組の制御項目の各制御項目に関連する前記スコアを前記プロセッサに決定させるための前記コードが、前記1組の視覚的表現の各視覚的表現が提示される前記時点に基づき、前記1組の制御項目に関連する1組の時間スコアを前記プロセッサに計算させるためのコードを含み、
前記ユーザの前記注目箇所を前記プロセッサに決定させるための前記コードが、前記1組の時間スコアに少なくとも部分的に基づいて前記ユーザの前記注目箇所を前記プロセッサに決定させるためのコードを含む、
請求項11に記載の非一時的プロセッサ可読媒体。 - 前記命令が、
前記ユーザの眼球運動信号を示す情報を視標追跡装置から受信すること、及び
前記視標追跡装置から受信される前記情報に基づいて前記1組の制御項目に関連する1組の動眼スコアを決定すること
を前記プロセッサに行わせるためのコードを更に含み、
前記ユーザの前記注目箇所を前記プロセッサに決定させるための前記コードが、前記1組の動眼スコアに更に基づいて前記ユーザの前記注目箇所を前記プロセッサに決定させるためのコードを含む、
請求項11に記載の非一時的プロセッサ可読媒体。 - 前記刺激が前記1組の制御項目に関連する1組の視覚的表現を含み、前記1組の視覚的表現の各視覚的表現は前記1組の制御項目の少なくとも1つの制御項目に関連し、
前記1組の制御項目の他の各制御項目の前記視覚的表現に対して異なる位置において前記制御インタフェース内で配置されるように、及び
前記1組の制御項目の他の各制御項目の前記視覚的表現が提示されるときと異なる時点において前記制御インタフェース内で提示されるように構成され、
前記1組の制御項目の各制御項目に関連する前記スコアを前記プロセッサに決定させるための前記コードが、
前記1組の視覚的表現の各視覚的表現の前記位置に基づき、前記1組の制御項目に関連する1組の距離スコアを計算すること、
前記1組の視覚的表現の各視覚的表現が提示される前記時点に基づき、前記1組の制御項目に関連する1組の時間スコアを計算すること、及び
視標追跡装置から受信される情報に基づいて前記1組の制御項目に関連する1組の動眼スコアを計算すること
を前記プロセッサに行わせるためのコードを含み、
前記ユーザの前記注目箇所を前記プロセッサに決定させるための前記コードが、前記1組の距離スコア、前記1組の時間スコア、及び前記1組の動眼スコアの加重平均に少なくとも部分的に基づいて前記ユーザの前記注目箇所を前記プロセッサに決定させるためのコードを含む、
請求項11に記載の非一時的プロセッサ可読媒体。 - 前記1組の制御項目の各制御項目に関連する前記スコアを前記プロセッサに決定させるための前記コードが、
複数の分類器に関連する1組の性能パラメータを評価することに基づいて前記複数の分類器から1組の分類器を選択すること、
前記1組の分類器を使用してアンサンブル分類器を生成すること、及び
1組のスコアを生成するために前記アンサンブル分類器を使用して前記神経記録装置から受信される前記情報を分析すること
を前記プロセッサに行わせるためのコードを含み、
前記ユーザの前記注目箇所を前記プロセッサに決定させるための前記コードが、前記1組のスコアに少なくとも部分的に基づいて前記ユーザの前記注目箇所を前記プロセッサに決定させるためのコードを含む、
請求項11に記載の非一時的プロセッサ可読媒体。 - 第1の期間において制御インタフェースによってユーザに刺激を提示することであって、前記刺激は1組のアクションに関連する1組の制御項目を含む、提示すること、
前記第1の期間における前記ユーザの挙動に関連する第1の1組の入力を視標追跡装置及び神経記録装置から受信すること、
前記第1の1組の入力及び前記第1の期間において提示される前記刺激に関連する情報に基づいて第1のスコアデータセットを生成すること、
前記第1の期間において前記ユーザが意図したアクションに関連する情報を受信すること、
前記第1のスコアデータセット及び前記第1の期間において前記ユーザが意図する前記アクションに関連する前記情報を使用して1組の分類器を構成することであって、それにより前記1組の分類器が前記第1のスコアデータセットを前記第1の期間において前記ユーザが意図する前記アクションに関連付けることができる、構成すること、
前記第1の期間の後の第2の期間において、前記制御インタフェースによって前記ユーザに前記刺激を提示すること、
前記第2の期間における前記ユーザの挙動に関連する第2の1組の入力を前記視標追跡装置及び前記神経記録装置から受信すること、
前記第2の1組の入力及び前記第2の期間において提示される前記刺激に関連する情報に基づいて第2のスコアデータセットを生成すること、
前記第1のスコアデータセット及び前記第1の期間において前記ユーザが意図する前記アクションに関連する前記情報を使用して構成される前記1組の分類器を使用し、前記第2の期間において前記ユーザが意図するアクションを前記第2のスコアデータセットに基づいて決定すること
を含む、方法。 - 前記1組の分類器を使用して決定される前記アクションの精度を評価することに基づき、前記1組の分類器を修正して修正済みの1組の分類器を生成すること、
前記第1の期間及び前記第2の期間の後の第3の期間において、前記制御インタフェースによって前記ユーザに前記刺激を提示すること、
前記第3の期間における前記ユーザの挙動に関連する第3の1組の入力を前記視標追跡装置及び前記神経記録装置から受信すること、
前記第3の期間において提示される前記刺激に関連する前記第3の1組の入力及び情報に基づいて第3のスコアデータセットを生成すること、及び
前記修正済みの1組の分類器を使用し、前記第3の期間において前記ユーザが意図するアクションを前記第3のスコアデータセットに基づいて決定すること
を更に含む、請求項19に記載の方法。 - 決定される前記アクションの精度を評価することに基づき、前記視標追跡装置又は前記神経記録装置の1つ又は複数から受信される入力に適用される1組の重みを生成すること、
前記第1の期間及び前記第2の期間の後の第3の期間において、前記制御インタフェースによって前記ユーザに前記刺激を提示すること、
前記第3の期間における前記ユーザの挙動に関連する第3の1組の入力を前記視標追跡装置及び前記神経記録装置から受信すること、
前記第3の期間において提示される前記刺激に関連する前記第3の1組の入力及び情報に基づいて第3のスコアデータセットを生成すること、
加重スコアデータセットを生成するにより、前記第3のスコアデータセットに前記1組の重みを適用すること、及び
前記1組の分類器を使用し且つ前記加重スコアデータセットに基づき、前記第3の期間において前記ユーザが意図するアクションを決定すること
を更に含む、請求項19に記載の方法。 - 前記1組の重みは、決定される前記アクションの精度、前記ユーザのエクスペリエンス、及び前記ユーザに関連する履歴情報の少なくとも1つに関連する、請求項21に記載の方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2024026938A JP2024075573A (ja) | 2018-01-18 | 2024-02-26 | 高速、正確、且つ直感的なユーザ対話のための適合を伴う脳-コンピュータインタフェース |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862618846P | 2018-01-18 | 2018-01-18 | |
US62/618,846 | 2018-01-18 | ||
PCT/US2019/014315 WO2019144019A1 (en) | 2018-01-18 | 2019-01-18 | Brain-computer interface with adaptations for high-speed, accurate, and intuitive user interactions |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024026938A Division JP2024075573A (ja) | 2018-01-18 | 2024-02-26 | 高速、正確、且つ直感的なユーザ対話のための適合を伴う脳-コンピュータインタフェース |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021511567A true JP2021511567A (ja) | 2021-05-06 |
Family
ID=67301248
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020537522A Pending JP2021511567A (ja) | 2018-01-18 | 2019-01-18 | 高速、正確、且つ直感的なユーザ対話のための適合を伴う脳−コンピュータインタフェース |
JP2024026938A Pending JP2024075573A (ja) | 2018-01-18 | 2024-02-26 | 高速、正確、且つ直感的なユーザ対話のための適合を伴う脳-コンピュータインタフェース |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024026938A Pending JP2024075573A (ja) | 2018-01-18 | 2024-02-26 | 高速、正確、且つ直感的なユーザ対話のための適合を伴う脳-コンピュータインタフェース |
Country Status (6)
Country | Link |
---|---|
US (1) | US20200337653A1 (ja) |
EP (1) | EP3740126A4 (ja) |
JP (2) | JP2021511567A (ja) |
KR (1) | KR20200108888A (ja) |
CN (1) | CN111712192B (ja) |
WO (1) | WO2019144019A1 (ja) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3672478A4 (en) | 2017-08-23 | 2021-05-19 | Neurable Inc. | BRAIN COMPUTER INTERFACE WITH HIGH SPEED EYE TRACKING |
JP7496776B2 (ja) | 2017-11-13 | 2024-06-07 | ニューラブル インコーポレイテッド | 高速、正確及び直観的なユーザ対話のための適合を有する脳-コンピュータインターフェース |
US10664050B2 (en) | 2018-09-21 | 2020-05-26 | Neurable Inc. | Human-computer interface using high-speed and accurate tracking of user interactions |
US11314329B1 (en) * | 2019-01-28 | 2022-04-26 | Meta Platforms, Inc. | Neural decoding with co-learning for brain computer interfaces |
EP4062265B1 (en) * | 2019-11-20 | 2024-05-22 | Nextmind Sas | Brain-computer interface |
KR20210076451A (ko) * | 2019-12-16 | 2021-06-24 | 현대자동차주식회사 | 사용자 인터페이스 시스템 및 그의 동작 방법 |
EP4078341A1 (en) * | 2019-12-18 | 2022-10-26 | Nextmind Sas | Brain-computer interface |
WO2021136849A1 (en) * | 2020-01-03 | 2021-07-08 | Nextmind Sas | Human interface system |
CN114981759A (zh) | 2020-01-07 | 2022-08-30 | 奈克斯特曼德公司 | 脑机接口 |
CN112207816B (zh) * | 2020-08-25 | 2022-08-26 | 天津大学 | 基于视图编解码的脑控机械臂系统和控制方法 |
US11500463B2 (en) * | 2020-12-30 | 2022-11-15 | Imagine Technologies, Inc. | Wearable electroencephalography sensor and device control methods using same |
CN112817451B (zh) * | 2021-01-28 | 2022-07-08 | 清华大学 | 基于稳态视觉诱发电位的多目标定位方法和装置 |
CN115390655A (zh) * | 2021-05-24 | 2022-11-25 | 华为技术有限公司 | 人机交互方法、人机交互装置及存储介质 |
CN113934300B (zh) * | 2021-10-19 | 2022-08-23 | 北京烽火万家科技有限公司 | 基于脑机接口的设备控制方法、装置、电子设备及介质 |
US11715130B2 (en) * | 2021-12-13 | 2023-08-01 | Fmr Llc | Systems and methods for designing targeted marketing campaigns |
US20230325480A1 (en) * | 2022-03-28 | 2023-10-12 | Lenovo (Singapore) Pte. Ltd | Device and method for accessing electronic device |
GB2618335B (en) * | 2022-05-03 | 2024-07-24 | L Univ Ta Malta | A method of determining a point of regard using electrooculography under non-stationary head pose and position conditions |
CN115358367B (zh) * | 2022-08-09 | 2023-04-18 | 浙江大学 | 一种基于多模型学习集成的动态自适应脑机接口解码方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4465414B2 (ja) * | 2008-07-11 | 2010-05-19 | パナソニック株式会社 | 脳波を用いた機器の制御方法および脳波インタフェースシステム |
JP2010218491A (ja) * | 2009-03-19 | 2010-09-30 | Nomura Research Institute Ltd | コンテンツ配信システム、コンテンツ配信方法及びコンピュータプログラム |
JPWO2009139119A1 (ja) * | 2008-05-15 | 2011-09-15 | パナソニック株式会社 | 脳波信号の識別方法を調整する装置、方法およびプログラム |
WO2016193979A1 (en) * | 2015-06-03 | 2016-12-08 | Innereye Ltd. | Image classification by brain computer interface |
WO2017046698A1 (en) * | 2015-09-16 | 2017-03-23 | Liquidweb S.R.L. | System for controlling assistive technologies and related method |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6380937B1 (en) * | 1999-11-03 | 2002-04-30 | International Business Machines Corporation | Method and system for dynamically representing cluster analysis results |
US8292433B2 (en) * | 2003-03-21 | 2012-10-23 | Queen's University At Kingston | Method and apparatus for communication between humans and devices |
WO2005051193A1 (en) * | 2003-11-28 | 2005-06-09 | The Australian National University | Assessment of neural function |
US9101279B2 (en) * | 2006-02-15 | 2015-08-11 | Virtual Video Reality By Ritchey, Llc | Mobile user borne brain activity data and surrounding environment data correlation system |
EP2231007A1 (en) | 2008-01-11 | 2010-09-29 | Oregon Health and Science University | Rapid serial presentation communication systems and methods |
CN101681201B (zh) * | 2008-01-25 | 2012-10-17 | 松下电器产业株式会社 | 脑波接口系统、脑波接口装置、方法 |
US20100145215A1 (en) * | 2008-12-09 | 2010-06-10 | Neurofocus, Inc. | Brain pattern analyzer using neuro-response data |
EP2552305B1 (en) * | 2010-03-31 | 2017-05-17 | Agency For Science, Technology And Research | A method and system for motor rehabilitation |
US8463721B2 (en) * | 2010-08-05 | 2013-06-11 | Toyota Motor Engineering & Manufacturing North America, Inc. | Systems and methods for recognizing events |
KR101293863B1 (ko) * | 2011-06-29 | 2013-08-16 | 한양대학교 산학협력단 | 안정상태 시각유발전위를 이용한 qwerty 타입의 문자 입력 인터페이스 장치 및 문자 입력 방법 |
US10137363B2 (en) * | 2013-06-20 | 2018-11-27 | Uday Parshionikar | Gesture based user interfaces, apparatuses and control systems |
EP3140779A4 (en) * | 2014-05-09 | 2017-11-29 | Google LLC | Systems and methods for using eye signals with secure mobile communications |
JP2017532093A (ja) * | 2014-09-04 | 2017-11-02 | ユニバーシティー ヘルス ネットワーク | 脳活動信号に基づく治療および/またはユーザ装置の制御の方法およびシステム |
US9632664B2 (en) * | 2015-03-08 | 2017-04-25 | Apple Inc. | Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback |
EP3440494A4 (en) * | 2016-04-08 | 2019-12-18 | Vizzario, Inc. | METHODS AND SYSTEMS FOR OBTAINING, ANALYZING AND GENERATING VISUAL PERFORMANCE DATA AND MODIFYING MEDIA BASED ON THE DATA |
US20170322679A1 (en) * | 2016-05-09 | 2017-11-09 | John C. Gordon | Modifying a User Interface Based Upon a User's Brain Activity and Gaze |
US20180039329A1 (en) * | 2016-08-04 | 2018-02-08 | David M. Tumey | Brain actuated control utilizing visually evoked potentials |
EP3672478A4 (en) | 2017-08-23 | 2021-05-19 | Neurable Inc. | BRAIN COMPUTER INTERFACE WITH HIGH SPEED EYE TRACKING |
CN107346179A (zh) * | 2017-09-11 | 2017-11-14 | 中国人民解放军国防科技大学 | 基于诱发式脑机接口的多移动目标选择方法 |
JP7496776B2 (ja) | 2017-11-13 | 2024-06-07 | ニューラブル インコーポレイテッド | 高速、正確及び直観的なユーザ対話のための適合を有する脳-コンピュータインターフェース |
-
2019
- 2019-01-18 EP EP19741853.6A patent/EP3740126A4/en active Pending
- 2019-01-18 CN CN201980013115.5A patent/CN111712192B/zh active Active
- 2019-01-18 KR KR1020207023722A patent/KR20200108888A/ko not_active Application Discontinuation
- 2019-01-18 JP JP2020537522A patent/JP2021511567A/ja active Pending
- 2019-01-18 WO PCT/US2019/014315 patent/WO2019144019A1/en unknown
-
2020
- 2020-07-10 US US16/926,331 patent/US20200337653A1/en active Pending
-
2024
- 2024-02-26 JP JP2024026938A patent/JP2024075573A/ja active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2009139119A1 (ja) * | 2008-05-15 | 2011-09-15 | パナソニック株式会社 | 脳波信号の識別方法を調整する装置、方法およびプログラム |
JP4465414B2 (ja) * | 2008-07-11 | 2010-05-19 | パナソニック株式会社 | 脳波を用いた機器の制御方法および脳波インタフェースシステム |
JP2010218491A (ja) * | 2009-03-19 | 2010-09-30 | Nomura Research Institute Ltd | コンテンツ配信システム、コンテンツ配信方法及びコンピュータプログラム |
WO2016193979A1 (en) * | 2015-06-03 | 2016-12-08 | Innereye Ltd. | Image classification by brain computer interface |
WO2017046698A1 (en) * | 2015-09-16 | 2017-03-23 | Liquidweb S.R.L. | System for controlling assistive technologies and related method |
JP2018529171A (ja) * | 2015-09-16 | 2018-10-04 | リキッドウェブ・ソチエタ・ア・レスポンサビリタ・リミタータLIQUIDWEB S.r.l. | 支援技術を制御するためのシステムおよびその方法 |
Non-Patent Citations (3)
Title |
---|
JIANG 他: "Hybrid Brain-Computer Interface(BCI) based on the EEG and EOG signals", BIO-MEDICAL MATERIALS AND ENGINEERING, vol. 24, no. 6, JPN6023003032, 2014, pages 2919 - 2925, ISSN: 0004974624 * |
坂井 優亮 他: "P300型BCIのための注視位置と事象関連電位に関する一考察", 電子情報通信学会技術研究報告 MBE2012−30−MBE2012−35 MEとバイオサイバネティッ, vol. 第112巻,第220号, JPN6023003035, 20 September 2012 (2012-09-20), JP, pages 1 - 4, ISSN: 0004974623 * |
西納 修一 他: "文字入力型BCIの日本語の特徴を用いた高速化に関する基礎的検討", 電子情報通信学会技術研究報告 AI2016−1−AI2016−11 人工知能と知識処理, vol. 第116巻,第117号, JPN6023003034, 20 June 2016 (2016-06-20), JP, pages 47 - 50, ISSN: 0004974622 * |
Also Published As
Publication number | Publication date |
---|---|
EP3740126A4 (en) | 2022-02-23 |
JP2024075573A (ja) | 2024-06-04 |
US20200337653A1 (en) | 2020-10-29 |
KR20200108888A (ko) | 2020-09-21 |
EP3740126A1 (en) | 2020-11-25 |
CN111712192A (zh) | 2020-09-25 |
CN111712192B (zh) | 2024-07-02 |
WO2019144019A1 (en) | 2019-07-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200337653A1 (en) | Brain-computer interface with adaptations for high-speed, accurate, and intuitive user interactions | |
US12001602B2 (en) | Brain-computer interface with adaptations for high-speed, accurate, and intuitive user interactions | |
US11972049B2 (en) | Brain-computer interface with high-speed eye tracking features | |
US11366517B2 (en) | Human-computer interface using high-speed and accurate tracking of user interactions | |
Lotte et al. | Electroencephalography (EEG)-based brain-computer interfaces | |
Krepki et al. | Berlin brain–computer interface—The HCI communication channel for discovery | |
Bevilacqua et al. | A novel BCI-SSVEP based approach for control of walking in virtual environment using a convolutional neural network | |
JP2019513516A (ja) | 人の視覚パフォーマンスを査定するために視覚データを入手し、集計し、解析する方法およびシステム | |
JP2024012497A (ja) | コミュニケーション方法及びシステム | |
KR102029219B1 (ko) | 뇌 신호를 추정하여 사용자 의도를 인식하는 방법, 그리고 이를 구현한 헤드 마운트 디스플레이 기반 뇌-컴퓨터 인터페이스 장치 | |
Barbel | NeuroGaze in Virtual Reality: Assessing an EEG and Eye Tracking Interface against Traditional Virtual Reality Input Devices | |
Sun et al. | Image Segmentation-P300 Selector: A Brain-Computer Interface System for Target Selection. | |
Hammon | Adaptive online brain-computer interface for interpretation and visualization of desired reach |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220117 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230126 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230418 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230726 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20231024 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240226 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20240412 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20240502 |