JP2021502659A - 高速、正確及び直観的なユーザ対話のための適合を有する脳−コンピュータインターフェース - Google Patents
高速、正確及び直観的なユーザ対話のための適合を有する脳−コンピュータインターフェース Download PDFInfo
- Publication number
- JP2021502659A JP2021502659A JP2020544378A JP2020544378A JP2021502659A JP 2021502659 A JP2021502659 A JP 2021502659A JP 2020544378 A JP2020544378 A JP 2020544378A JP 2020544378 A JP2020544378 A JP 2020544378A JP 2021502659 A JP2021502659 A JP 2021502659A
- Authority
- JP
- Japan
- Prior art keywords
- user
- control
- stimulus
- signal
- processor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003993 interaction Effects 0.000 title abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 65
- 230000004424 eye movement Effects 0.000 claims abstract description 61
- 230000001537 neural effect Effects 0.000 claims description 128
- 230000033001 locomotion Effects 0.000 claims description 88
- 210000004556 brain Anatomy 0.000 claims description 45
- 230000000007 visual effect Effects 0.000 claims description 44
- 230000000763 evoking effect Effects 0.000 claims description 26
- 238000012549 training Methods 0.000 claims description 25
- 230000009471 action Effects 0.000 claims description 22
- 230000004044 response Effects 0.000 claims description 17
- 230000006399 behavior Effects 0.000 claims description 14
- 238000013179 statistical model Methods 0.000 claims description 10
- 210000005036 nerve Anatomy 0.000 claims description 8
- 230000033764 rhythmic process Effects 0.000 claims description 8
- 230000001953 sensory effect Effects 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 3
- 230000001720 vestibular Effects 0.000 claims description 3
- 230000001419 dependent effect Effects 0.000 claims 3
- 238000012790 confirmation Methods 0.000 claims 2
- 230000001052 transient effect Effects 0.000 claims 2
- 230000007177 brain activity Effects 0.000 abstract description 15
- 210000001508 eye Anatomy 0.000 description 103
- 239000003550 marker Substances 0.000 description 49
- 230000008569 process Effects 0.000 description 24
- 230000002093 peripheral effect Effects 0.000 description 23
- 238000004891 communication Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 15
- 238000001994 activation Methods 0.000 description 13
- 230000008859 change Effects 0.000 description 13
- 238000012545 processing Methods 0.000 description 13
- 230000004913 activation Effects 0.000 description 12
- 238000004458 analytical method Methods 0.000 description 12
- 230000006978 adaptation Effects 0.000 description 11
- 238000001514 detection method Methods 0.000 description 9
- 210000003128 head Anatomy 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000005286 illumination Methods 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 6
- 230000008904 neural response Effects 0.000 description 6
- 210000002569 neuron Anatomy 0.000 description 6
- 210000004761 scalp Anatomy 0.000 description 6
- 230000003190 augmentative effect Effects 0.000 description 5
- 230000001149 cognitive effect Effects 0.000 description 5
- 210000001747 pupil Anatomy 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000011514 reflex Effects 0.000 description 4
- 230000000638 stimulation Effects 0.000 description 4
- 230000003213 activating effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 239000000499 gel Substances 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000002582 magnetoencephalography Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 210000003625 skull Anatomy 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 241000699666 Mus <mouse, genus> Species 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000002566 electrocorticography Methods 0.000 description 2
- 238000000537 electroencephalography Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002599 functional magnetic resonance imaging Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000001976 improved effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000003767 neural control Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000012634 optical imaging Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000008433 psychological processes and functions Effects 0.000 description 2
- 230000002269 spontaneous effect Effects 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 230000004936 stimulating effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 229910001200 Ferrotitanium Inorganic materials 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 206010033799 Paralysis Diseases 0.000 description 1
- 241001637516 Polygonia c-album Species 0.000 description 1
- 208000006011 Stroke Diseases 0.000 description 1
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 description 1
- 206010002026 amyotrophic lateral sclerosis Diseases 0.000 description 1
- 210000004227 basal ganglia Anatomy 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 210000001638 cerebellum Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000036992 cognitive tasks Effects 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 230000001054 cortical effect Effects 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 210000001787 dendrite Anatomy 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 230000004418 eye rotation Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 210000000873 fovea centralis Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000003834 intracellular effect Effects 0.000 description 1
- 230000003155 kinesthetic effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000001404 mediated effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001095 motoneuron effect Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000003333 near-infrared imaging Methods 0.000 description 1
- 238000002610 neuroimaging Methods 0.000 description 1
- 230000000926 neurological effect Effects 0.000 description 1
- 208000018360 neuromuscular disease Diseases 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000001936 parietal effect Effects 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000002685 pulmonary effect Effects 0.000 description 1
- 230000010344 pupil dilation Effects 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 210000001210 retinal vessel Anatomy 0.000 description 1
- 230000004434 saccadic eye movement Effects 0.000 description 1
- HKZLPVFGJNLROG-UHFFFAOYSA-M silver monochloride Chemical compound [Cl-].[Ag+] HKZLPVFGJNLROG-UHFFFAOYSA-M 0.000 description 1
- 208000011726 slow pulse Diseases 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 208000020431 spinal cord injury Diseases 0.000 description 1
- 229910001220 stainless steel Inorganic materials 0.000 description 1
- 239000010935 stainless steel Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000000528 statistical test Methods 0.000 description 1
- 230000007598 synaptic excitation Effects 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 239000010936 titanium Substances 0.000 description 1
- 238000009423 ventilation Methods 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/377—Electroencephalography [EEG] using evoked responses
- A61B5/378—Visual stimuli
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/038—Indexing scheme relating to G06F3/038
- G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Psychiatry (AREA)
- Psychology (AREA)
- Neurosurgery (AREA)
- Neurology (AREA)
- Dermatology (AREA)
- Child & Adolescent Psychology (AREA)
- Evolutionary Computation (AREA)
- Signal Processing (AREA)
- Physiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Social Psychology (AREA)
- Data Mining & Analysis (AREA)
- Developmental Disabilities (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
Abstract
Description
[0001] 本願は、2017年11月13日付けで出願された「Brain-Computer Interface with Adaptations for High-Speed, Accurate, and Intuitive User Interactions」という名称の米国仮特許出願第62/585,209号に対する優先権及びその利益を主張するものであり、この開示は、全体的に参照により本明細書に援用される。
[0002] 本明細書に記載される実施形態は、脳活動追跡を使用して、ヒューマン−マシン対話の高い速度及び精度のために戦略的に設計されるユーザインターフェース(UI)又はUXを提示及び更新し、マシンのユーザ操作を仲介する脳−コンピュータインターフェースの実施において使用されるシステム、デバイス及び方法に関する。本明細書に記載される実施形態は、眼球運動追跡と神経活動の分析とを統合して、マシンのユーザ操作を仲介するハードウェア非依存脳−コンピュータインターフェースの実施にも関する。
[0006] 眼球運動及び脳活動を追跡して、ユーザの注視又は注目のリアルタイムポジショニング及び所望の動作の選択/アクティブ化を仲介する、ハードウェア非依存動眼−神経統合ハイブリッド脳コンピュータインターフェース(BCI)プラットフォームの種々の実施形態のためのシステム、デバイス及び方法が本明細書に記載される。本開示は、高速及び正確に動作する脳コンピュータインターフェースのニーズに対処する統合ハイブリッドBCIシステムを提示する。
[0024] 本明細書に記載される実施形態は、リアルタイム眼球運動追跡を脳活動追跡と統合して、ヒューマン−マシン対話の高い速度及び精度のために戦略的に設計されるUIを提示及び更新するハイブリッド脳−コンピュータインターフェース(BCI)の実施において使用されるシステム、デバイス及び方法に関する。本明細書に記載される実施形態は、リアルタイム眼球追跡及び神経脳信号のオンライン分析を使用して、マシンのユーザ操作を仲介するハードウェア非依存脳−コンピュータインターフェースの実施にも関する。
[0026] 本明細書に記載されるように、BCIは、脳活動単独でコンピュータ又は外部デバイスを制御できるようにするハードウェア及びソフトウェア通信システムである。ハイブリッドBCIシステムは、インターフェースを通した刺激の表示、インターフェース上のユーザの焦点を位置特定するハードウェア装置、脳活動を記録し及び処理するデバイス及びユーザの環境にわたる制御に変換され得るインターフェースの制御を行う装置を含む。これらの標準特徴は、(1)ポインティング制御特徴、(2)動作制御特徴、及び(3)UI特徴として特徴付けることができる。ポインティング制御特徴は、ユーザが制御する1つ又は複数のマニピュレータの小さい組に狭められるようにするマウスポインタのような従来のポインティングデバイスに類似し得る。動作制御特徴は、ユーザが、UIへの変更、したがって接続されたマシンへの変更を行う動作を実施できるようにする選択デバイス、例えばマウスクリック又はキーボードでの打鍵に類似し得る。ハイブリッドBCIシステムでのUI特徴は、選択メニュー、ナビゲーション制御等の提供のような他の特徴に加えて、ポインティング特徴及び動作制御特徴を実施する環境をもたらし、維持するオペレーティングシステムに類似し得る。
[0031] 幾つかの実施形態では、ビデオベースの眼球追跡器102は、二次元又は三次元空間においてユーザの眼球運動を高速で辿ることにより、ユーザが視野内の何れの箇所を見ているかを特定するために使用することができる。例えば、ユーザが眼球運動の自発的な制御を有する場合、ビデオベースの眼球追跡器102は、各目が「指している」視野内のサブ空間を特定するために使用することができる。換言すれば、ビデオベースの眼球追跡器102は、ユーザの眼球運動軌跡をポインティング制御特徴として使用し、対象者の意図及び挙動についての有意な情報を明らかにすることができる。幾つかの実施形態では、視覚空間内の何れの箇所に注目が集められているか、フォーカスしている刺激がどのようなものであるか、又はどのような刺激に応答しているかの態様は、BCIシステム100において効率的に使用することができる。互いに関して両目の運動軌跡を同時に追跡することにより、ビデオベースの眼球追跡器102は、ユーザの焦点深度を登録することもでき、それにより三次元空間においてポインティング制御を可能にすることができる。
[0037] ハイブリッドBCIシステム100の目的は、脳活動の監視からのユーザ意図を解釈することにより、外部マシンを能動的に制御することである。この目的の中核は、ユーザの意図を示すことができる脳信号であり、それにより、脳信号は、動作制御特徴になる。ハイブリッドBCIシステム100は、ユーザによって実行される認知タスクによって同時に誘発又は関連する幾つかのシグネチャ脳信号の1つ又は複数を使用することができる。これらの脳信号の幾つかは、人々が随意に変調することを学習し得る方法で復号化することができる。制御信号とされるこれらの信号の使用により、ハイブリッドBCIシステム100は、ユーザの意図を解釈することが可能になる。
[0050] 本明細書に記載されるように、ハイブリッドBCIシステム100におけるUIは、ユーザ(例えば、ユーザの脳、目等)とBCインターフェースデバイス110との間の通信リンクとして機能し、ユーザがポインティング制御特徴を通して特定の刺激に焦点を合わせ及びポインティングし、動作制御特徴を使用して特定の刺激を選択又は選択解除できるようにする。UIは、ディスプレイを介して提示される一連の視覚的に刺激する二次元画像であり得る。UIは、一緒になって、これもインターフェースとして機能するUXと呼ぶことができるものを形成する、幾つかのモダリティでの刺激の豊富な混合でもあり得る。戦略的に設計されたUXは、任意のモダリティを通してユーザに刺激を提示するプロセスを含み、幾つかの例には、視覚刺激、聴覚刺激、触覚刺激、前庭刺激又はそれらの組合せがある。幾つかの実施形態では、視覚刺激を提示するUIを、図1に示されるディスプレイ106のようなディスプレイにレンダリングすることができる。他のモダリティの刺激は、これらもハイブリッドBCIシステム100の一部である適した周辺機器アクチュエータ(図1に示されず)を通して送達することができる。
[0052] 幾つかの実施形態では、ハイブリッドBCIシステム100は、図1において任意選択的なユニットとして示される(破線の枠で示される)幾つかの周辺機器アクチュエータ112及びセンサ108を含むことができる。1つ又は複数の周辺機器アクチュエータ112は、豊富なマルチモーダルUXを送達するように構成することができ、1つ又は複数の周辺機器センサ108は、ユーザ及びユーザの環境のそれぞれからマルチモーダル入力を捕捉するように構成することができる。これらの周辺機器アクチュエータ112及びセンサ108は、個々に又は他のデバイス(ビデオベースの眼球追跡器102のような)に組み込まれることによって適宜搭載することができる。例えば、ハイブリッドBCIシステム100は、聴覚刺激を中継するイヤホン及びユーザの音声コマンドのような音を捕捉するマイクロホンを含むことができる。イヤホン(聴覚センサ)及びマイクロホン(聴覚アクチュエータ)は、ハイブリッドシステム100に有線又は無線チャネルを通して接続されるスタンドアロンデバイスの何れかであり得る。代替的に、イヤホン及びマイクロホンは、ビデオベースの眼球追跡器102又は神経記録ヘッドセット104と共に搭載及び統合することができる。同様に、加速度計、ゴニオメータ、捻転計のような周辺機器センサもハイブリッドBCIシステム100に含まれて、体の運動を登録することができる。例えば、ゴニオメータは、ジェスチャを形成する四肢の運動を登録するために使用することができ、加速度計は、体の運動の登録に使用することができる。周辺機器センサは、ユーザの現実世界視野を捕捉するように構成された視野カメラを含むこともできる。視野カメラによって取得された信号は、分析され、選択可能な選択肢等を有するUIが重ねられた現実世界イメージを有する拡張又は混合現実経験を生成し、ユーザに提示するために使用することができる。ハイブリッドBCIシステム100に接続することができる周辺機器アクチュエータは、提示されるUXを豊かにするタッチ及び振動のような力を与え及びもたらすことができる触覚又は運動感覚デバイスを含むことができる。
[0053] 幾つかの実施形態では、脳−コンピュータインターフェースデバイス(又はBCIデバイス)110は、3つの主機能を達成するように構成することができる。第1に、BCIデバイス110は、戦略的に設計されたUI又はUXを生成するように構成することができる。例えば、戦略的に設計されたUXは、トレーニングセッション又はテストセッションに向けられたものであり得る。幾つかの実施形態では、UXは、仮想現実環境及び/又は拡張現実環境として設計することができる。幾つかの実施形態では、UIは、例えば、特定のユーザ履歴、反応時間、ユーザの好み等の特定のニーズに合わせることができる。BCIデバイス110は、UI/UXの生成及び更新においてこれらの全ての要件を考慮することができる。第2に、UI/UXの設計及び生成に加えて、BCインターフェースデバイス110は、ポインティング制御信号を受信し(例えば、ビデオベースの眼球追跡器102から)、動作制御信号を受信し(例えば、神経記録ヘッドセット104から)、信号をアンサンブルとして処理して、ユーザの意図を特定するように構成することができる。最後に、BCIデバイス110は、(1)神経信号から有意義な特徴を検出し、(2)ユーザの意図に従ってポインティングしている刺激への変更を実施することにより、ポインティング制御特徴及び動作制御特徴を実施するように構成することができる。幾つかの実施形態では、BCIデバイス110は、上述した視覚モダリティ以外のモダリティで機能し、ハイブリッドBCIシステム100の一部であり得る他の周辺機器デバイス、例えば周辺機器センサ及びアクチュエータに接続することもできる。そのような周辺機器センサは、オーディオマイクロホン、触覚センサ、加速度計、ゴニオメータ等を含み得、周辺機器アクチュエータは、オーディオスピーカ、触覚刺激提供器等を含むことができる。
[0057] 図2は、入力記号例に焦点を合わせ、入力記号例の選択を制御するユーザの例示の一例のハイブリッドBCIシステムの動作を示す。図2における一連の動作事象の説明のための例は、UI又はUXの提示中、1人又は複数のユーザの眼球運動信号及び神経活動を捕捉することと、これらの信号を解釈して、ユーザの意図を推測することと、UIを介して1つ又は複数のマシンを制御することによって変更を行うこととを含む。ハイブリッドBCIシステムの動作のこの例示のための例は、ステップ251において、UI271を通して入力刺激(例えば、記号)を提示することで開始される。刺激を提示すると、眼球運動及びユーザからの神経応答に従い、ステップ253において、ハイブリッドBCIシステムは、1つ又は複数の眼球運動信号275(例えば、ビデオベースの眼球追跡器からのポインティング制御特徴を実施する眼球運動を示す)を取得する。ステップ253において、ハイブリッドBCIシステムは、1つ又は複数の神経活動信号273(例えば、神経記録ヘッドセットからのユーザの認知意図を示す動作制御特徴を実施する)を受信することもできる。この信号取得ステップ253は、他の周辺機器センサ及びアクチュエータから信号を受信することと、図2において刺激情報277で示される刺激提示についての情報を受信することとを含むことができる。
[0059] 図3A〜図3Eは、実施形態によるハイブリッドBCIシステム100とのユーザ対話の一例を示す。この例では、ハイブリッドBCIシステム100は、2ステッププロセスで言葉を綴るために使用されており、図3Aでは、ディスプレイ106は、文字の幾つかのサブグループ(例えば、キーボードで一般に見られる文字、数字及び記号)をUI371上に提示する。ユーザは、図3Cに示されるビデオベースの眼球追跡器102及び神経記録ヘッドセット104を装着する。ユーザが所望の文字を含むサブグループ(例えば、図3Aにおいて強調表示された円で示されるサブグループ)に注視を合わせる場合、ディスプレイ106に提示されたUI371は、焦点が合わせられたサブグループが拡大されている、図3Bに示されるものに変わる。次に、ユーザは、そのサブグループ内の特定の所望の文字に注視を合わせることによって文字を選択する動作を実行することができる。次に、動作制御特徴は、記録された神経活動を使用して、言葉又は文章の形成に使用する文字の選択を実行することによって実施される。
[0061] 図2に示されるプロセスシーケンス並びに図3A〜図3Eに示されるポインティング制御及び動作制御実施の例は、個々の刺激で例示することができるが、UI又はUXを介した仮想環境又は拡張マルチモーダル環境の提示中、同様のシーケンスのステップを有する同様のプロセスに従うことができる。図4に示されるように、プロセス400は、トレーニングセッションを形成する一連のサブステップ(任意選択的なものとして破線の枠で示されている)を含むことができるか、又は任意のトレーニングデータなしで新規の刺激の提示に使用することができる。
[0065] 図5は、実施形態によるハイブリッドBCIシステム500を示す。幾つかの実施形態では、BCIシステム500は、図1を参照して上述したハイブリッドBCIシステム100の対応する部分と構造及び/又は機能において同様であり得る。例えば、BCIシステム500は、ハイブリッドBCIシステム100のビデオベースの眼球追跡器106、神経記録ヘッドセット104、任意選択的なディスプレイ106及び脳−コンピュータインターフェースデバイス110と同じ又は同様であり得るビデオベースの眼球追跡器506、神経記録ヘッドセット504、任意選択的なディスプレイ506及び脳−コンピュータインターフェースデバイス510を含む。したがって、そのような同様の部分及び/又は態様について、本明細書においてこれ以上詳述しない。
[0071] 本明細書に記載されるように、ハイブリッドBCIシステム100、500は、統合様式において、他の適切な信号に加えて眼球運動信号を神経活動信号と併せて処理して、高速及び高精度でBCIシステムのポインティング制御特徴及び動作制御特徴を実施することができる。幾つかの実施形態では、ポインティング制御特徴は、幾つかの情報ソースを使用してハイブリッド様式で実施することができる。すなわち、BCインターフェースデバイス110(又は510)は、統合信号をアンサンブルとして処理するように構成することができる。例えば、幾つかの実施形態では、ビデオベースの眼球追跡器102は、眼筋の運動を伝達する眼球運動データを通して、任意の適した形態の眼球運動情報、例えばサッケード、中心窩視及び/又は瞳孔拡張情報並びに中心窩視情報を検出するために使用することができる。サッカード眼球位置についての情報は、神経記録ヘッドセット104から取得される神経活動、例えば視覚応答によって誘発されるERPから間接的に取得することもできる。例えば、ハイブリッドBCIシステム100、500は、ERPの発生を時間及び空間における特定の刺激の提示と相関付けて、因果関係を形成するように構成することができる。注視位置についての間接的情報は、刺激がUI/UXエンジンによって生成され、ユーザに提示された様式の知識から取得することもできる。したがって、ビデオベースの眼球追跡器102からの眼球運動データは、信号分析器524による分析前に、神経記録ヘッドセット104からの視覚的に誘発された神経活動からのデータ及びディスプレイ506を通して送達されたUIにおける刺激の戦略的提示と組み合わせることができる。更に、幾つかの実施形態では、信号分析器524は、注視運動学の理論モデル又はユーザの眼球の生物学的モデルからのデータを含むこともでき、それによりポインティング制御特徴を実施するために眼球位置の推定を通知する。モデルは、両眼視パラメータを含むことができ、それにより焦点深度を推定し、三次元空間でのポインティング制御を可能にする。
[0075] 本明細書に記載されるように、ハイブリッドBCIシステム100、500の動作は、ハイブリッドBCIシステムの機能にとって中核的なUI又はUXを含む。UI又はUXは、ユーザ(例えば、ユーザの脳、目等)とBCインターフェースデバイス110との間の通信リンクとして機能し、ユーザがポインティング制御特徴を通して特定の刺激に焦点を合わせてポインティングし、動作制御特徴を使用して特定の刺激を選択又は選択解除できるようにする。単純な例では、UIは、ディスプレイを介して提示される一連の視覚的に刺激する二次元画像であり得る。ディスプレイ(ディスプレイ106のような)に表示される視覚刺激を提示するUIの例は、図2(UI271)及び図3(UI371)に示されている。
[0078] 幾つかの実施形態では、UIは、静的視覚画像のみならず、ビデオを形成する動いている一連の視覚画像からなるように構成することができる。ビデオは、UI/UXエンジン526によってBCIデバイス510内にプログラムされる合成生成された一連の画像であり得るか、又は通信機580を通してリモートソースから取得され、所望のUIに合うように更新することができる。合成生成されるか又は取得されたビデオは、ディスプレイ(106、506)を通してユーザに中継することができる。ビデオは、ユーザの現実世界環境において発生しており、ユーザの視野を捕捉する視野カメラを含む任意の適した1つの眼鏡を通してユーザに中継され、BCIデバイス510にコピーされる一連のリアルタイム事象を含むこともできる。幾つかの実施形態では、眼鏡及び視野カメラは、ビデオベースの眼球追跡器102に組み込むことができる。
[0081] ハイブリッドBCIシステム100、500及び本明細書に記載される他の実施形態は、空間次元において二次元又は三次元UI又はUXをサポートするように構成することができる。本明細書に記載されるように、UI又はUXは、UI/UXエンジン526によって生成される完全な仮想環境であり得る。又は、UI/UXは、眼鏡を通して中継され、ユーザの拡張現実経験を作るUIが重ねられたユーザの現実世界環境であり得る。
[0086] 幾つかの実施形態では、ハイブリッドBCIシステム100、500は、ナビゲーションが関わる二次元又は三次元空間におけるUXの提示を含むことができる。例えば、UIは、Pacman又はQuakeのようなナビゲーションゲームをプレイするように構成することができる。他の場合、UIは、現実世界でユーザの車椅子をナビゲートするように構成することができる。UI/UXエンジン526は、ユーザ、BCIデバイス110(510)により、又はユーザの環境(視野カメラによって中継される)から提供される状況ベースの情報を使用し、ナビゲーションを仲介する適切な制御と共に提示されるUI又はUXを生成/更新することができる。一実施形態によるナビゲーション制御インターフェースの図例を図7に示す。
[0089] 幾つかの実施形態では、ハイブリッドBCIシステム100、500は、ユーザが拡張又は混合現実空間において対話できるようにするために使用することができる。すなわち、ハイブリッドBCIシステム100、500を使用して、ユーザが見ることができるあらゆるものを捕捉するように構成された周辺機器センサ108、508の1つとして視野カメラを含む1つの眼鏡を通して現実世界をユーザに中継し得る。例えば、眼鏡及び視野カメラは、ビデオベースの眼球追跡器102の一体部分として組み込むことができる。眼鏡は、視覚刺激を提示することが可能な統合ディスプレイ(例えば、液晶ディスプレイ)であるように構成することができる。視覚画像又は視覚ビデオは、必要に応じて、三次元空間をシミュレートするように各目に適宜合わせられて統合ディスプレイにおいて投影することができ、それによりユーザが拡張又は混合現実を経験できるようにする。例えば、投影される画像は、ポインティング制御特徴及び動作制御特徴を実施することによってアクティブ化又は選択することができるメニュー及びボタンのような制御インターフェースであり得る。投影される画像又はビデオは、ユーザが見る現実世界イメージを補うように生成されたリッチな三次元環境でもあり得る。
[0094] 幾つかの実施形態では、ハイブリッドBCIシステム100、500は、UI又はUXの生成において適合を組み込んで、高速及び高精度での動作のし易さを可能にすることができる。これらの適合は、ユーザに提示されるUIの可視属性を含み得る。適合は、明らかに可視ではないが、UI又はUXの生成及び保守並びにポインティング制御特徴及び/又は動作制御特徴がどのように実施されるかに組み込まれるUIの属性を含むこともできる。適合の幾つかについて以下に開示される。
[0095] 幾つかの実施形態では、ハイブリッドBCIシステム100、500は、三次元態様を組み込んで、動作可能なメニュー項目をユーザに提示することができる。乱雑さを見せずに良いサイズのメニュー項目を提示する選択肢を含め、三次元において動作可能なメニューの提示には、幾つかの利点があり得る。メニュー項目の三次元提示は、拡張又は混合現実を提示する場合と同様に、視覚UI又はUXの表示又は提示に利用可能な空間が限られている状況下でも有用であり得る。
[0098] 幾つかの実施形態では、ハイブリッドBCIシステム100、500は、幾つかの動作可能な項目を有する状況下で動作するために使用することができる。6つの動作可能な項目を含むUI1071の例示のための一例を図10Aに示す。特定の状況下では、UIに一度に提示される動作可能な項目の数を少なくすることが適し得る。これは、ポインティング制御特徴の実施中、ユーザの焦点の特定における不確実性を下げるためでもあり得る。動作制御特徴の実施中、選択される動作可能な項目の不確実性を下げるためでもあり得る。更に、ハイブリッドBCIシステム100、500の幾つかの実施形態では、UIは、刺激を閃光させ、神経記憶ヘッドセット504を通して同時に収集された神経活動を相関させ、この相関データを更に使用して、動作可能な項目の選択を実施するように構成され得る。これらの状況下では、刺激の繰り返しの閃光を最小に抑えて、UXを強化することが望ましいことがある。これらの要件下でUI/UXエンジン524によって採用される一戦略は、選択肢項目を戦略的にプールすることであり得る。したがって、図10A及び図10Bに示される例では、1ステップで6つの潜在的な選択肢における1つの選択(図10Aに示される)の代わりに、UIは、2ステップ選択プロセスで動作するように変更することができる。例えば、第1のステップにおいて、UIは、選択肢1、2及び3を一緒にプールして、プールされた事前選択選択肢1を形成し、選択肢4、5及び6を一緒にプールして、プールされた事前選択選択肢2を形成するように変更され得る。したがって、ユーザは、第1のステップにおいて、2つの可能な事前選択選択肢の一方をポイントして選択し得る。第1のステップにおいて、ポインティング制御特徴及び選択制御特徴を事前選択選択肢に対して実施すると、UIは、次に、図10Bに示されるように、第1のステップにおいて選択したものに応じて、事前選択選択肢1又は事前選択選択肢2に含まれる実際の個々の選択肢を提示するように変更することができる。この手順は、選択に関わるステップ数を増やし得るが、選択肢を事前選択プールにプールするプロセスは、個々の選択肢の閃光数を下げ得る。更に、正確な選択肢を選択する精度は、第1のステップ及び第2のステップの両方における不確実性の低下に起因して増大し得る。
[0099] ハイブリッドBCIシステム100又は500は、視覚補助(例えば、カーソル)を使用して、ポインティング制御特徴の現在ステータスを示すことによって動作することができる。カーソルは、ポインティング制御特徴及び動作制御特徴を実施しながら、属性(例えば、色、形状、輝度等)を使用してシステムの現在ステータスを示すことができる記号又はマーカであり得る。例えば、マーカは、ポインティングしている間、ソリッドカラーであるが、異なる色に変わってポインティング制御(すなわちUIに提示された選択肢の選択)の実施完了を表すことができる。マーカは、更に別の形状又は色に更に変えて、動作制御特徴(すなわち選択肢のアクティブ化)の実施完了を表すことができる。
[0108] ハイブリッドBCIシステム100、500の幾つかの実施形態では、UIは、その状況でハイブリッドBCIシステムの動作の中核をなし得る特定の重要な記号をアクティブ化及び/又は非アクティブ化する好都合なメカニズムを提供するように構成することができる。例えば、ハイブリッドBCIシステムが、ある特定のアプリケーション又は関連するデバイスを制御するUI/UXインターフェースの実行に使用される場合、UIは、選択されると、その特定のアプリケーション又は接続されたデバイスの幾つかの態様を一元制御することができる関連する主要記号又はアイコンを含み得る。
[0115] まとめると、ユーザによってリアルタイムで動作可能な統合ハイブリッド脳コンピュータインターフェースの実施で使用されるシステム及び方法が本明細書に記載される。開示されるシステムは、ポインティング制御特徴を実施する眼球運動追跡システムと、動作制御特徴を実施する脳活動追跡システムとを含む。両方の特徴は、高速及び正確な動作を可能にするように戦略的に設計されるUIの提示を通して実施される。更に、開示されるシステム及び方法は、ハードウェア非依存であり、任意の適したプラットフォームでリアルタイムハイブリッドBCIを実施して、仮想、拡張又は現実環境のユーザ操作を仲介するように構成される。
Claims (22)
- 制御インターフェースをユーザに提示するように構成されたディスプレイと、
前記ユーザに関連する眼球運動信号を記録するように構成された眼球追跡デバイスと、
前記ユーザに関連する神経信号を記録するように構成された神経記録デバイスと、
前記ディスプレイ、前記眼球追跡デバイス及び前記神経記録デバイスに動作可能に結合されたインターフェースデバイスと
を含む装置であって、
前記インターフェースデバイスは、
メモリと、
前記メモリに動作可能に結合されたプロセッサと
を含み、
前記プロセッサは、
前記眼球追跡デバイスから前記眼球運動信号を受信し、及び前記神経記録デバイスから前記神経信号を受信することと、
刺激を生成し、及び前記制御インターフェースを介して及び前記ユーザに提示することであって、前記刺激は、一連の動作に関連する一連の制御項目を含む、生成及び提示することと、
前記眼球運動信号及び前記神経信号の少なくとも一方に基づいて前記ユーザの焦点を特定することであって、前記焦点は、前記一連の制御項目からの少なくとも1つの制御項目に関連する、特定することと、
前記焦点及び前記少なくとも1つの制御項目に基づいて、前記ユーザによって意図される動作を特定することと、
前記ユーザによって意図される前記動作を実施することと
を行うように構成される、装置。 - 前記眼球追跡デバイスは、光学センサを含み、
前記神経信号は、視覚誘発電位、感覚誘発電位、運動イメージ信号、事象関連電位(ERP)、感覚運動リズム、事象関連脱同期(ERD)、事象関連同期(ERS)、緩変動電位(SCP)及び脳状態依存信号の少なくとも1つを含む脳波図(EEG)信号を含み、及び
前記プロセッサは、前記眼球運動信号と前記EEG信号とを統合して、前記ユーザの前記焦点を特定するように更に構成される、請求項1に記載の装置。 - 前記ディスプレイは、前記制御インターフェースを三次元空間として提示するように構成される、請求項1に記載の装置。
- 前記刺激は、視覚刺激、聴覚刺激、前庭刺激及び触覚刺激の少なくとも1つを含む、請求項1に記載の装置。
- 前記一連の制御項目は、視覚環境を通してナビゲーションを制御することに関連する、請求項1に記載の装置。
- 前記一連の制御項目は、前記ユーザの視覚運動の速度を制御することに関連する制御項目の第1のサブセット及び前記ユーザの視覚運動の方向を制御することに関連する制御項目の第2のサブセットを含む、請求項5に記載の装置。
- 前記ディスプレイは、現実世界環境のビューを提示するように更に構成され、及び前記現実世界環境の前記ビューの上に前記制御インターフェースを提示するように構成される、請求項1に記載の装置。
- 前記一連の制御項目は、制御項目の第1の組であり、前記刺激は、第1の刺激であり、
前記ディスプレイは、現実世界環境のビューを提示するように更に構成され、及び前記現実世界環境の前記ビューの上に前記制御インターフェースを提示するように構成され、及び
前記プロセッサは、
前記投影された現実世界環境に関連する画像の組を受信することと、
前記画像の組を分析して、前記プロセッサに動作可能に接続された少なくとも1つのマシンを識別することと、
前記マシンに関連する一連の動作の情報を取得することと、
前記情報に基づいて制御項目の第2の組を生成することと、
前記制御インターフェースを介して及び前記ユーザに、前記制御項目の第2の組を含む第2の刺激を提示することと
を行うように更に構成される、請求項1に記載の装置。 - プロセッサによって実行される命令を表すコードを記憶する非一時的プロセッサ可読媒体であって、前記命令は、前記プロセッサに、
一連の動作を実行するようにユーザによって操作されるように構成された制御インターフェースを生成することと、
刺激を生成し、及び前記制御インターフェースを介して及び前記ユーザに提示することであって、前記刺激は、一連の動作に関連する一連の制御項目を含む、生成及び提示することと、
眼球追跡デバイスから情報を受信し、及び神経記録デバイスから情報を受信することであって、前記眼球追跡デバイス及び前記神経記録デバイスは、前記ユーザの挙動を監視するように構成される、受信することと、
前記眼球追跡デバイスからの前記情報及び前記神経記録デバイスからの前記情報の少なくとも一方に基づいて前記ユーザの焦点を特定することと、
前記ユーザの前記焦点に関連する、前記一連の制御項目からの少なくとも1つの制御項目を識別することと、
前記少なくとも1つの制御項目に基づいて、前記ユーザによって意図される動作を特定することと
を行わせるコードを含む、非一時的プロセッサ可読媒体。 - 前記命令は、前記プロセッサに、前記ユーザによって意図される前記動作を実行させるコードを更に含む、請求項9に記載の非一時的プロセッサ可読媒体。
- 前記命令は、前記プロセッサに、
前記ユーザによる確認のために、前記ユーザによって意図される前記動作の指示を前記ユーザに提示することと、
前記ユーザによる確認を表す信号を受信することに応答して、前記ユーザによって意図される前記動作を実行することと
を行わせるコードを更に含む、請求項9に記載の非一時的プロセッサ可読媒体。 - 前記眼球追跡デバイスから受信される前記情報は、前記ユーザに関連する眼球運動信号を含み、及び
前記神経記録デバイスから受信される前記情報は、前記ユーザに関連する神経信号を含み、前記神経信号は、脳波図(EEG)信号を含み、前記EEG信号は、視覚誘発電位、感覚誘発電位、運動イメージ信号、事象関連電位(ERP)、感覚運動リズム、事象関連脱同期(ERD)、事象関連同期(ERS)、緩変動電位(SCP)及び脳状態依存信号の少なくとも1つを含み、及び
前記プロセッサに前記焦点を特定させる前記コードは、前記プロセッサに、前記眼球運動信号と前記EEG信号とを統合して、前記ユーザの前記焦点を特定させるコードを含む、請求項9に記載の非一時的プロセッサ可読媒体。 - 前記プロセッサに前記刺激を提示させる前記コードは、前記プロセッサに、前記制御インターフェースによって画定される三次元仮想空間において前記一連の制御項目を提示させるコードを含む、請求項9に記載の非一時的プロセッサ可読媒体。
- 前記命令は、前記プロセッサに、前記一連の制御項目をグループの組にグループ化させるコードを更に含み、前記プロセッサに前記刺激を提示させる前記コードは、前記プロセッサに、前記グループの組にグループ化された前記制御項目の前記組を提示させるコードを含む、請求項9に記載の非一時的プロセッサ可読媒体。
- 前記一連の制御項目は、ドラッグ可能制御項目を含み、前記ドラッグ可能制御項目は、前記ユーザに関連する眼球運動信号に基づいて操作されるように構成され、前記眼球運動信号は、前記眼球追跡デバイスから受信される情報に含まれる、請求項9に記載の非一時的プロセッサ可読媒体。
- 前記少なくとも1つの制御項目は、第1の制御項目であり、及び前記ユーザの前記焦点は、第1の時間におけるものであり、前記命令は、前記プロセッサに、
ドラッグ可能制御項目として前記第1の制御項目を識別することであって、前記ドラッグ可能制御項目は、前記ユーザに関連する眼球運動信号に基づいて操作され、及び前記眼球追跡デバイスから受信される前記情報に含まれるように構成される、識別すること、
前記第1の時間後の第2の時間における前記ユーザの焦点を特定すること、
前記第2の時間における前記ユーザの前記焦点に関連するロケーションに前記ドラッグ可能制御項目を移動させること、
前記第2の時間における前記ユーザの前記焦点に関連する第2の制御項目を識別することであって、前記第2の制御項目は、前記ドラッグ可能制御項目と異なる、識別すること、
前記第2の制御項目に基づいて、前記ユーザによって意図される前記動作を特定すること
を行わせるコードを更に含む、請求項9に記載の非一時的プロセッサ可読媒体。 - 前記少なくとも1つの制御項目は、第1の制御項目であり、及び前記ユーザの前記焦点は、第1の時間におけるものであり、
前記一連の制御項目は、スティッキー制御項目の組を含み、前記スティッキー制御項目は、前記ユーザに関連する眼球運動信号に基づいて操作されるように構成され、前記眼球運動信号は、前記眼球追跡デバイスから受信される前記情報に含まれ、前記命令は、前記プロセッサに、
前記制御インターフェースに含まれるグラッブ可能オブジェクトを提供することであって、前記グラッブ可能オブジェクトは、前記スティッキー制御項目を操作するように構成される、提供することと、
スティッキー制御項目として前記第1の制御項目を識別することと、
前記第1の時間における前記ユーザの前記焦点に関連する前記スティッキー制御項目に基づいて、前記スティッキー制御項目を前記グラッブ可能オブジェクトに関連付けることと、
前記第1の時間後の第2の時間における前記ユーザの焦点を特定することと、
前記第2の時間における前記ユーザの前記焦点に関連する第2の制御項目を識別することであって、前記第2の制御項目は、前記スティッキー制御項目と異なる、識別することと、
前記グラッブ可能オブジェクトから前記スティッキー制御項目を関連付け解除し、及び前記スティッキー制御項目を前記第2の制御項目に関連付けることと、
前記スティッキー制御項目と前記第2の制御項目との間の前記関連付けに基づいて、前記ユーザによって意図される前記動作を特定することと
を行わせるコードを更に含む、請求項9に記載の非一時的プロセッサ可読媒体。 - 第1の時間期間において、制御インターフェースを介して刺激をユーザに提示することであって、前記刺激は、一連の動作に関連する制御項目を含む、提示することと、
眼球追跡デバイス及び神経記録デバイスから、前記第1の時間期間における前記ユーザの挙動に関連する入力の第1の組を受信することと、
前記入力の第1の組及び前記第1の時間期間において提示された前記刺激に関連する情報に基づいて、データの第1のアンサンブル組を生成することと、
前記第1の時間期間において前記ユーザによって意図される動作に関連する情報を受信することと、
前記データの第1のアンサンブル組を、前記第1の時間期間において前記ユーザによって意図される前記動作に関連付けるように統計モデルをトレーニングすることと、
前記第1の時間期間後の第2の時間期間において、前記制御インターフェースを介して前記刺激をユーザに提示することと、
前記眼球追跡デバイス及び前記神経記録デバイスから、前記第2の時間期間における前記ユーザの挙動に関連する入力の第2の組を受信することと、
前記入力の第2の組及び前記第2の時間期間において提示された前記刺激に関連する情報に基づいて、データの第2のアンサンブル組を生成することと、
前記統計モデル及び前記データの第2のアンサンブル組を使用して、前記第2の時間期間において前記ユーザによって意図される予測動作を特定することと
を含む方法。 - 前記刺激は、動的視覚刺激を含み、前記方法は、
前記動的視覚刺激の運動を検出することと、
前記動的視覚刺激の前記運動を追跡することと、
前記動的視覚刺激をタグ付けすることと、
前記動的視覚刺激に関連する事象を識別することと、
前記動的視覚刺激に関連する前記事象に基づいて前記制御インターフェースを変更することと
を更に含む、請求項18に記載の方法。 - 前記眼球追跡デバイスから受信された前記入力から眼球運動信号を抽出することと、
前記神経記録デバイスから受信された前記入力から神経信号を抽出することであって、前記神経信号は、脳波図(EEG)信号を含み、前記EEG信号は、視覚誘発電位、感覚誘発電位、運動イメージ信号、事象関連電位(ERP)、感覚運動リズム、事象関連脱同期(ERD)、事象関連同期(ERS)、緩変動電位(SCP)及び脳状態依存信号の少なくとも1つを含む、抽出することと、
前記眼球運動信号と前記EEG信号とを統合して、前記ユーザの焦点を特定することと
を更に含む、請求項18に記載の方法。 - 前記第1の時間期間において前記提示することは、前記制御インターフェースを介して不可視一連の制御項目を提示することを含み、前記方法は、
前記眼球追跡デバイスから受信された前記入力の第1の組から眼球運動信号の組を抽出することであって、前記眼球運動信号は、前記不可視制御項目に関連する前記ユーザの焦点を示す、抽出すること
を更に含み、前記統計モデルを前記トレーニングすることは、前記眼球運動信号の組を使用して、真の否定応答の組を確立することを含む、請求項18に記載の方法。 - 前記眼球追跡デバイスから受信された前記入力の第2の組から眼球運動信号の組を抽出することであって、前記眼球運動信号は、前記第2の時間期間における前記ユーザの前記焦点を示す、抽出することと、
前記眼球運動信号を前記真の否定応答の組と比較することと、
前記比較に基づいて、前記ユーザによって意図される前記予測動作が、漂游注視に関連する疑似動作であると特定することと
を更に含む、請求項21に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762585209P | 2017-11-13 | 2017-11-13 | |
US62/585,209 | 2017-11-13 | ||
PCT/US2018/060797 WO2019094953A1 (en) | 2017-11-13 | 2018-11-13 | Brain-computer interface with adaptations for high-speed, accurate, and intuitive user interactions |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021502659A true JP2021502659A (ja) | 2021-01-28 |
JP7496776B2 JP7496776B2 (ja) | 2024-06-07 |
Family
ID=66438077
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020544378A Active JP7496776B2 (ja) | 2017-11-13 | 2018-11-13 | 高速、正確及び直観的なユーザ対話のための適合を有する脳-コンピュータインターフェース |
Country Status (6)
Country | Link |
---|---|
US (1) | US12001602B2 (ja) |
EP (1) | EP3710915A4 (ja) |
JP (1) | JP7496776B2 (ja) |
KR (1) | KR20200098524A (ja) |
CN (1) | CN111542800A (ja) |
WO (1) | WO2019094953A1 (ja) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2967322A4 (en) * | 2013-03-11 | 2017-02-08 | Magic Leap, Inc. | System and method for augmented and virtual reality |
KR20230113418A (ko) | 2013-03-15 | 2023-07-28 | 매직 립, 인코포레이티드 | 디스플레이 시스템 및 방법 |
WO2019040665A1 (en) | 2017-08-23 | 2019-02-28 | Neurable Inc. | BRAIN-COMPUTER INTERFACE PROVIDED WITH HIGH-SPEED OCULAR FOLLOWING CHARACTERISTICS |
CN111712192A (zh) | 2018-01-18 | 2020-09-25 | 神经股份有限公司 | 具有对于高速、准确和直观的用户交互的适配的大脑-计算机接口 |
WO2019144776A1 (zh) * | 2018-01-23 | 2019-08-01 | 天津大学 | 一种基于非对称脑电特征的脑-机接口系统编解码方法 |
US10664050B2 (en) | 2018-09-21 | 2020-05-26 | Neurable Inc. | Human-computer interface using high-speed and accurate tracking of user interactions |
US11756442B1 (en) * | 2019-05-10 | 2023-09-12 | Alan N. Schwartz | System and method for individualized data education system |
US11093038B2 (en) | 2019-05-14 | 2021-08-17 | Synchron Australia Pty Limited | Systems and methods for generic control using a neural signal |
SE2050318A1 (en) * | 2020-03-23 | 2021-09-24 | Croseir Ab | A system |
US11468288B2 (en) | 2020-07-28 | 2022-10-11 | Oken Technologies, Inc. | Method of and system for evaluating consumption of visual information displayed to a user by analyzing user's eye tracking and bioresponse data |
CN112764544B (zh) * | 2021-01-28 | 2022-04-22 | 中国人民解放军国防科技大学 | 一种结合眼动仪与异步运动想象技术实现虚拟鼠标的方法 |
EP4294259A1 (en) | 2021-01-29 | 2023-12-27 | The Trustees Of Columbia University In The City Of New York | Systems, methods, and media for decoding observed spike counts for spiking cells |
US20220240833A1 (en) * | 2021-02-03 | 2022-08-04 | Synchron Australia Pty Limited | Neuromonitoring diagnostic systems |
CN113080968B (zh) * | 2021-03-29 | 2022-10-14 | 中国人民解放军联勤保障部队第九六〇医院 | 基于心率变异性的综合性心理状态测评系统 |
CN113425247B (zh) * | 2021-06-10 | 2022-12-23 | 北京邮电大学 | 眼动数据可视化方法、装置及设备 |
US11638061B1 (en) | 2021-12-01 | 2023-04-25 | Rovi Guides, Inc. | Augmented reality display for content consumption relative to a field of view |
US11979630B2 (en) * | 2021-12-01 | 2024-05-07 | Rovi Guides, Inc. | Augmented reality display for content consumption based on field of view |
CN114343677B (zh) * | 2022-01-12 | 2023-06-20 | 合肥哈工艾斯德康智能科技有限公司 | 一种方向性实体面孔刺激的n170脑电信号采集分析系统 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10260773A (ja) * | 1997-03-19 | 1998-09-29 | Nippon Telegr & Teleph Corp <Ntt> | 情報入力方法及びその装置 |
WO2009093435A1 (ja) * | 2008-01-25 | 2009-07-30 | Panasonic Corporation | 脳波インタフェースシステム、脳波インタフェース装置、方法およびコンピュータプログラム |
JP2012221498A (ja) * | 2011-04-08 | 2012-11-12 | Sony Computer Entertainment Inc | ユーザーの視線、及びジェスチャによるフィードバック提供システム、及び方法 |
US20120296476A1 (en) * | 2009-10-30 | 2012-11-22 | Richard John Cale | Environmental control method and system |
US20140247232A1 (en) * | 2013-03-01 | 2014-09-04 | Tobii Technology Ab | Two step gaze interaction |
US20140347265A1 (en) * | 2013-03-15 | 2014-11-27 | Interaxon Inc. | Wearable computing apparatus and method |
JP2016207115A (ja) * | 2015-04-28 | 2016-12-08 | 京セラドキュメントソリューションズ株式会社 | 情報処理装置、画像処理装置へのジョブ指示方法 |
WO2017104869A1 (ko) * | 2015-12-17 | 2017-06-22 | 주식회사 룩시드랩스 | 아이 브레인 인터페이스(ebi) 장치 및 그 제어 방법 |
Family Cites Families (186)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4013068A (en) | 1974-10-15 | 1977-03-22 | Settle Wayne L | Electroencephalographic activated control system |
US4158196A (en) | 1977-04-11 | 1979-06-12 | Crawford George E Jr | Man-machine interface system |
US4595990A (en) | 1980-12-31 | 1986-06-17 | International Business Machines Corporation | Eye controlled information transfer |
US5137027A (en) | 1987-05-01 | 1992-08-11 | Rosenfeld Joel P | Method for the analysis and utilization of P300 brain waves |
US5269325A (en) | 1989-05-26 | 1993-12-14 | Biomagnetic Technologies, Inc. | Analysis of biological signals using data from arrays of sensors |
US5342410A (en) | 1990-10-05 | 1994-08-30 | Eric Braverman | Apparatus and method for increasing the amplitude of P300 waves in the human brain |
US5213338A (en) | 1991-09-30 | 1993-05-25 | Brotz Gregory R | Brain wave-directed amusement device |
US5339826A (en) | 1991-12-09 | 1994-08-23 | Westinghouse Electric Corp. | Method for training material evaluation with method of EEG spectral estimation |
US5692517A (en) | 1993-01-06 | 1997-12-02 | Junker; Andrew | Brain-body actuated system |
US5363858A (en) | 1993-02-11 | 1994-11-15 | Francis Luca Conte | Method and apparatus for multifaceted electroencephalographic response analysis (MERA) |
US5325862A (en) | 1993-03-26 | 1994-07-05 | The United States Of America As Represented By The Secretary Of The Navy | Method and/or system for personal identification and impairment assessment from brain activity patterns |
JP2899194B2 (ja) | 1993-06-30 | 1999-06-02 | キヤノン株式会社 | 意思伝達支援装置及び意思伝達支援方法 |
US5638826A (en) | 1995-06-01 | 1997-06-17 | Health Research, Inc. | Communication method and system using brain waves for multidimensional control |
US5742286A (en) | 1995-11-20 | 1998-04-21 | International Business Machines Corporation | Graphical user interface system and method for multiple simultaneous targets |
US5899867A (en) | 1996-10-11 | 1999-05-04 | Collura; Thomas F. | System for self-administration of electroencephalographic (EEG) neurofeedback training |
US5931908A (en) | 1996-12-23 | 1999-08-03 | The Walt Disney Corporation | Visual object present within live programming as an actionable event for user selection of alternate programming wherein the actionable event is selected by human operator at a head end for distributed data and programming |
JPH1165794A (ja) | 1997-08-25 | 1999-03-09 | Yoshimichi Yonezawa | 誘発脳波を用いた入力装置 |
US5983129A (en) | 1998-02-19 | 1999-11-09 | Cowan; Jonathan D. | Method for determining an individual's intensity of focused attention and integrating same into computer program |
US7084884B1 (en) | 1998-11-03 | 2006-08-01 | Immersion Corporation | Graphical object interactions |
US6090051A (en) | 1999-03-03 | 2000-07-18 | Marshall; Sandra P. | Method and apparatus for eye tracking and monitoring pupil dilation to evaluate cognitive activity |
GB2348520B (en) | 1999-03-31 | 2003-11-12 | Ibm | Assisting user selection of graphical user interface elements |
US6380937B1 (en) | 1999-11-03 | 2002-04-30 | International Business Machines Corporation | Method and system for dynamically representing cluster analysis results |
US6626433B2 (en) | 2000-02-22 | 2003-09-30 | Joseph Scibetta | Card game |
US20020065851A1 (en) | 2000-06-02 | 2002-05-30 | Watson Emerson C. | System and method for creating a website |
JP2002236957A (ja) | 2001-02-09 | 2002-08-23 | Victor Co Of Japan Ltd | 電子投票装置、電子投票システム |
AU2002305384B2 (en) | 2001-05-04 | 2006-06-01 | University Of Virginia Patent Foundation | Method, apparatus, and computer program product for assessment of attentional impairments |
JP2003114820A (ja) | 2001-07-31 | 2003-04-18 | Sanyo Electric Co Ltd | 電子アルバム装置 |
JP2003058298A (ja) | 2001-08-20 | 2003-02-28 | Fuji Xerox Co Ltd | 情報分類装置、情報分類方法、情報分類プログラム及びコンピュータ読み取り可能な記録媒体 |
US7209788B2 (en) | 2001-10-29 | 2007-04-24 | Duke University | Closed loop brain machine interface |
US7828551B2 (en) | 2001-11-13 | 2010-11-09 | Prometric, Inc. | Method and system for computer based testing using customizable templates |
US6712468B1 (en) | 2001-12-12 | 2004-03-30 | Gregory T. Edwards | Techniques for facilitating use of eye tracking data |
US20040076930A1 (en) | 2002-02-22 | 2004-04-22 | Steinberg Linda S. | Partal assessment design system for educational testing |
US20030195798A1 (en) | 2002-04-11 | 2003-10-16 | John Goci | Voter interface for electronic voting system |
AU2003228850A1 (en) | 2002-05-03 | 2003-11-17 | Sarnoff Corporation | Single trial detection in encephalography |
US6917370B2 (en) | 2002-05-13 | 2005-07-12 | Charles Benton | Interacting augmented reality and virtual reality |
US6847844B2 (en) | 2002-06-06 | 2005-01-25 | University Of Pittsburgh Of The Commonwealth System Of Higher Education | Method of data communication with implanted device and associated apparatus |
US20040092809A1 (en) | 2002-07-26 | 2004-05-13 | Neurion Inc. | Methods for measurement and analysis of brain activity |
US20040044295A1 (en) | 2002-08-19 | 2004-03-04 | Orthosoft Inc. | Graphical user interface for computer-assisted surgery |
US7766743B2 (en) | 2002-08-29 | 2010-08-03 | Douglas Schoellkopf Jebb | Methods and apparatus for evaluating a user's affinity for a property |
US7347818B2 (en) | 2003-02-24 | 2008-03-25 | Neurotrax Corporation | Standardized medical cognitive assessment tool |
US8292433B2 (en) | 2003-03-21 | 2012-10-23 | Queen's University At Kingston | Method and apparatus for communication between humans and devices |
US8260428B2 (en) * | 2003-05-01 | 2012-09-04 | California Institute Of Technology | Method and system for training a visual prosthesis |
US7546158B2 (en) | 2003-06-05 | 2009-06-09 | The Regents Of The University Of California | Communication methods based on brain computer interfaces |
US20040249302A1 (en) | 2003-06-09 | 2004-12-09 | Cyberkinetics, Inc. | Methods and systems for processing of brain signals |
US20050046698A1 (en) | 2003-09-02 | 2005-03-03 | Knight Andrew Frederick | System and method for producing a selectable view of an object space |
US20050085744A1 (en) | 2003-10-20 | 2005-04-21 | Stmicroelectronics S.R.I. | Man-machine interfaces system and method, for instance applications in the area of rehabilitation |
US7120486B2 (en) | 2003-12-12 | 2006-10-10 | Washington University | Brain computer interface |
EP1720447A4 (en) | 2004-02-13 | 2009-10-28 | Georgia Tech Res Inst | CONTROL WITH DISPLAY FOR SEARCH OF COMMOTIONS AND LIGHT BRAIN INJURY LESIONS |
US20050191609A1 (en) | 2004-02-14 | 2005-09-01 | Adaptigroup Llc | Method and system for improving performance on standardized examinations |
WO2005096205A1 (en) | 2004-03-31 | 2005-10-13 | Neptec Design Group Ltd. | Medical patient monitoring systems, methods and user interfaces |
US7379562B2 (en) | 2004-03-31 | 2008-05-27 | Microsoft Corporation | Determining connectedness and offset of 3D objects relative to an interactive surface |
US20090099623A1 (en) | 2004-09-13 | 2009-04-16 | Neuronix Ltd. | Systems and methods for treatment of medical conditions related to the central nervous system and for enhancing cognitive functions |
WO2006051709A1 (ja) | 2004-11-10 | 2006-05-18 | Matsushita Electric Industrial Co., Ltd. | 誤操作検出装置およびこれを有する機器、誤操作検出方法、並びに機器評価方法 |
US20070060830A1 (en) | 2005-09-12 | 2007-03-15 | Le Tan Thi T | Method and system for detecting and classifying facial muscle movements |
CN101331490A (zh) | 2005-09-12 | 2008-12-24 | 埃默迪弗系统股份有限公司 | 心理状态的检测和使用心理状态的互动 |
US7865235B2 (en) | 2005-09-12 | 2011-01-04 | Tan Thi Thai Le | Method and system for detecting and classifying the mental state of a subject |
US7513775B2 (en) | 2005-10-05 | 2009-04-07 | Exam Innovations, Inc. | Presenting answer options to multiple-choice questions during administration of a computerized test |
US20070086773A1 (en) | 2005-10-14 | 2007-04-19 | Fredrik Ramsten | Method for creating and operating a user interface |
EP1943583B1 (en) | 2005-10-28 | 2019-04-10 | Tobii AB | Eye tracker with visual feedback |
US20070166675A1 (en) | 2005-12-15 | 2007-07-19 | Posit Science Corporation | Cognitive training using visual stimuli |
JP4969462B2 (ja) | 2006-01-24 | 2012-07-04 | 本田技研工業株式会社 | 注意領域を推定するシステムおよび方法 |
US7580742B2 (en) | 2006-02-07 | 2009-08-25 | Microsoft Corporation | Using electroencephalograph signals for task classification and activity recognition |
WO2008013907A2 (en) | 2006-07-25 | 2008-01-31 | Novavision, Inc. | Dynamic stimuli for visual field testing and therapy |
JP5249223B2 (ja) | 2006-09-07 | 2013-07-31 | ザ プロクター アンド ギャンブル カンパニー | 感情反応及び選択傾向を測定するための方法 |
CN1927551A (zh) | 2006-09-30 | 2007-03-14 | 电子科技大学 | 一种视导脑声控的残障辅助机器人 |
US20080218472A1 (en) | 2007-03-05 | 2008-09-11 | Emotiv Systems Pty., Ltd. | Interface to convert mental states and facial expressions to application input |
JP5132182B2 (ja) | 2007-04-25 | 2013-01-30 | キヤノン株式会社 | 医療用検査システムおよびその処理方法、プログラム、記憶媒体 |
US20090082692A1 (en) | 2007-09-25 | 2009-03-26 | Hale Kelly S | System And Method For The Real-Time Evaluation Of Time-Locked Physiological Measures |
US7556377B2 (en) * | 2007-09-28 | 2009-07-07 | International Business Machines Corporation | System and method of detecting eye fixations using adaptive thresholds |
WO2009057260A1 (ja) | 2007-10-29 | 2009-05-07 | Panasonic Corporation | 脳波インタフェースシステムのための起動装置、方法およびコンピュータプログラム |
US20100298649A1 (en) | 2007-11-02 | 2010-11-25 | Siegbert Warkentin | System and methods for assessment of the aging brain and its brain disease induced brain dysfunctions by speech analysis |
WO2009086088A1 (en) | 2007-12-21 | 2009-07-09 | Honda Motor Co., Ltd. | Controlled human pose estimation from depth image streams |
US8244475B2 (en) | 2007-12-27 | 2012-08-14 | Teledyne Scientific & Imaging, Llc | Coupling human neural response with computer pattern analysis for single-event detection of significant brain responses for task-relevant stimuli |
US8265743B2 (en) | 2007-12-27 | 2012-09-11 | Teledyne Scientific & Imaging, Llc | Fixation-locked measurement of brain responses to stimuli |
AU2009204001A1 (en) | 2008-01-11 | 2009-07-16 | Oregon Health & Science University | Rapid serial presentation communication systems and methods |
CN101502418B (zh) | 2008-02-05 | 2011-05-04 | 周常安 | 耳戴式脑电检测装置 |
WO2009139119A1 (ja) | 2008-05-15 | 2009-11-19 | パナソニック株式会社 | 脳波信号の識別方法を調整する装置、方法およびプログラム |
CN102124432B (zh) | 2008-06-20 | 2014-11-26 | 因文西斯系统公司 | 对用于过程控制的实际和仿真设施进行交互的系统和方法 |
US8755901B2 (en) | 2008-07-11 | 2014-06-17 | Medtronic, Inc. | Patient assignment of therapy parameter to posture state |
WO2010004698A1 (ja) | 2008-07-11 | 2010-01-14 | パナソニック株式会社 | 脳波を用いた機器の制御方法および脳波インタフェースシステム |
CN101339455B (zh) | 2008-08-07 | 2010-09-29 | 北京师范大学 | 基于人脸识别特异性波n170成分的脑机接口系统 |
US8933957B2 (en) | 2008-08-18 | 2015-01-13 | The Boeing Company | Methods and systems for emphasizing selected aviation chart information |
US20100145215A1 (en) | 2008-12-09 | 2010-06-10 | Neurofocus, Inc. | Brain pattern analyzer using neuro-response data |
US20100223549A1 (en) * | 2009-02-27 | 2010-09-02 | Greg Edwards | System and method for controlling entertainment devices using a display |
US8155736B2 (en) | 2009-03-16 | 2012-04-10 | Neurosky, Inc. | EEG control of devices using sensory evoked potentials |
JP5243318B2 (ja) | 2009-03-19 | 2013-07-24 | 株式会社野村総合研究所 | コンテンツ配信システム、コンテンツ配信方法及びコンピュータプログラム |
CA2697566A1 (en) | 2009-03-20 | 2010-09-20 | Jon Erik Ween | Cognitive assessment tool and method |
CN101515199B (zh) | 2009-03-24 | 2011-01-05 | 北京理工大学 | 一种基于视线跟踪和p300脑电电位的字符输入装置 |
WO2010147913A1 (en) | 2009-06-15 | 2010-12-23 | Brain Computer Interface Llc | A brain-computer interface test battery for the physiological assessment of nervous system health |
KR20110072730A (ko) | 2009-12-23 | 2011-06-29 | 한국과학기술원 | 적응형 뇌-컴퓨터 인터페이스 장치 |
AU2009251137B2 (en) | 2009-12-23 | 2013-04-11 | Canon Kabushiki Kaisha | Method for Arranging Images in electronic documents on small devices |
US8758018B2 (en) | 2009-12-31 | 2014-06-24 | Teledyne Scientific & Imaging, Llc | EEG-based acceleration of second language learning |
US9507418B2 (en) | 2010-01-21 | 2016-11-29 | Tobii Ab | Eye tracker based contextual action |
WO2011105000A1 (ja) | 2010-02-25 | 2011-09-01 | パナソニック株式会社 | 脳波インタフェースシステム、脳波インタフェース提供装置、脳波インタフェースの実行方法、および、プログラム |
US9361130B2 (en) | 2010-05-03 | 2016-06-07 | Apple Inc. | Systems, methods, and computer program products providing an integrated user interface for reading content |
US9468541B2 (en) | 2010-05-05 | 2016-10-18 | University Of Maryland College Park | Time domain-based methods for noninvasive brain-machine interfaces |
US9183560B2 (en) | 2010-05-28 | 2015-11-10 | Daniel H. Abelow | Reality alternate |
US20110301486A1 (en) | 2010-06-03 | 2011-12-08 | Cordial Medical Europe | Measurement of auditory evoked responses |
US8750857B2 (en) | 2010-06-04 | 2014-06-10 | Qualcomm Incorporated | Method and apparatus for wireless distributed computing |
US8593375B2 (en) * | 2010-07-23 | 2013-11-26 | Gregory A Maltz | Eye gaze user interface and method |
EP2598972A1 (en) | 2010-07-30 | 2013-06-05 | Katholieke Universiteit Leuven | Brain-computer interfaces and use thereof |
US20120034583A1 (en) | 2010-08-04 | 2012-02-09 | Vetprep.Com, Inc. | Veterinary exam preparation on mobile devices |
US8463721B2 (en) | 2010-08-05 | 2013-06-11 | Toyota Motor Engineering & Manufacturing North America, Inc. | Systems and methods for recognizing events |
KR101023249B1 (ko) | 2010-08-13 | 2011-03-21 | 동국대학교 산학협력단 | 뇌파를 이용한 인지 훈련 응용 프로그램 생성 장치, 방법 및 그 기록 매체 |
US10043351B2 (en) | 2010-08-23 | 2018-08-07 | Ncr Corporation | Self-service terminal |
JP5544620B2 (ja) | 2010-09-01 | 2014-07-09 | 独立行政法人産業技術総合研究所 | 意思伝達支援装置及び方法 |
EP3780002A1 (en) | 2010-11-24 | 2021-02-17 | Digital Artefacts, LLC | Systems and methods to assess cognitive function |
CN102098639B (zh) | 2010-12-28 | 2013-09-11 | 中国人民解放军第三军医大学野战外科研究所 | 脑机接口短消息发送控制装置及发送控制方法 |
WO2012137801A1 (ja) | 2011-04-07 | 2012-10-11 | Necカシオモバイルコミュニケーションズ株式会社 | 入力装置及び入力方法並びにコンピュータプログラム |
WO2012154620A2 (en) | 2011-05-06 | 2012-11-15 | Magic Leap, Inc. | Massive simultaneous remote digital presence world |
EP2712432A4 (en) | 2011-05-10 | 2014-10-29 | Kopin Corp | HEADSET COMPUTER WITH MOTION AND LANGUAGE COMMANDS TO CONTROL AN INFORMATION DISPLAY AND REMOTE DEVICES |
JP5816917B2 (ja) | 2011-05-13 | 2015-11-18 | 本田技研工業株式会社 | 脳活動計測装置、脳活動計測方法、及び脳活動推定装置 |
JP5711056B2 (ja) | 2011-06-21 | 2015-04-30 | アイシン精機株式会社 | 脳波インターフェースシステム |
US20150038869A1 (en) | 2011-07-16 | 2015-02-05 | Cerora, Inc. | Systems and methods for the physiological assessment of brain health and the remote quality control of eeg systems |
US9323325B2 (en) | 2011-08-30 | 2016-04-26 | Microsoft Technology Licensing, Llc | Enhancing an object of interest in a see-through, mixed reality display device |
US20150212695A1 (en) | 2011-10-05 | 2015-07-30 | Google Inc. | Suggested action feedback |
US8878785B1 (en) | 2011-10-05 | 2014-11-04 | Google Inc. | Intent determination using geometric shape input |
WO2013059940A1 (en) | 2011-10-27 | 2013-05-02 | Tandemlaunch Technologies Inc. | System and method for calibrating eye gaze data |
US10013053B2 (en) | 2012-01-04 | 2018-07-03 | Tobii Ab | System for gaze interaction |
JP5873362B2 (ja) | 2012-03-13 | 2016-03-01 | 日本放送協会 | 視線誤差補正装置、そのプログラム及びその方法 |
FR2989482B1 (fr) | 2012-04-12 | 2022-12-23 | Marc Massonneau | Procede de determination de la direction du regard d'un utilisateur. |
CN103421859B (zh) | 2012-05-14 | 2016-08-31 | 中原工学院 | 用无纺布型填料的液态淋浇发酵塔生产细菌纤维素的方法 |
JP2013244116A (ja) | 2012-05-24 | 2013-12-09 | Panasonic Corp | 注意状態推定装置及び注意状態推定方法 |
US9152226B2 (en) | 2012-06-15 | 2015-10-06 | Qualcomm Incorporated | Input method designed for augmented reality goggles |
US9824604B2 (en) | 2012-09-04 | 2017-11-21 | Conduent Business Services, Llc | Creating assessment model for educational assessment system |
US9983670B2 (en) | 2012-09-14 | 2018-05-29 | Interaxon Inc. | Systems and methods for collecting, analyzing, and sharing bio-signal and non-bio-signal data |
US9176581B2 (en) * | 2012-09-28 | 2015-11-03 | Intel Corporation | System and method for inferring user intent based on eye movement during observation of a display screen |
US9743002B2 (en) | 2012-11-19 | 2017-08-22 | Magna Electronics Inc. | Vehicle vision system with enhanced display functions |
WO2014085910A1 (en) | 2012-12-04 | 2014-06-12 | Interaxon Inc. | System and method for enhancing content using brain-state data |
US9629976B1 (en) * | 2012-12-21 | 2017-04-25 | George Acton | Methods for independent entrainment of visual field zones |
CN103092340B (zh) | 2012-12-26 | 2016-03-02 | 北京大学 | 一种脑-机接口视觉刺激方法及信号识别方法 |
WO2014116826A1 (en) | 2013-01-24 | 2014-07-31 | The Trustees Of Columbia University In The City Of New York | Mobile, neurally-assisted personal assistant |
US10231614B2 (en) | 2014-07-08 | 2019-03-19 | Wesley W. O. Krueger | Systems and methods for using virtual reality, augmented reality, and/or a synthetic 3-dimensional information for the measurement of human ocular performance |
US20140228701A1 (en) | 2013-02-11 | 2014-08-14 | University Of Washington Through Its Center For Commercialization | Brain-Computer Interface Anonymizer |
US10133342B2 (en) | 2013-02-14 | 2018-11-20 | Qualcomm Incorporated | Human-body-gesture-based region and volume selection for HMD |
CN105142498B (zh) | 2013-03-15 | 2022-10-11 | 感知技术有限公司 | 增强光学和感知数字护目镜 |
KR101680995B1 (ko) * | 2013-03-15 | 2016-11-29 | 인텔 코포레이션 | 생물 물리학적 신호의 수집된 시간적 및 공간적 패턴에 기초한 뇌-컴퓨터 인터페이스(bci) 시스템 |
US9301675B2 (en) | 2013-03-15 | 2016-04-05 | Neuro Kinetics, Inc | Method and apparatus for validating testing procedures in objective ophthalmic eye testing for eye evaluation applications requiring subject compliance with eye fixation to a visual target |
US9532748B2 (en) | 2013-04-22 | 2017-01-03 | Personal Neuro Devices Inc. | Methods and devices for brain activity monitoring supporting mental state development and training |
EP3917167A3 (en) | 2013-06-14 | 2022-03-09 | Oticon A/s | A hearing assistance device with brain computer interface |
US9329682B2 (en) | 2013-06-18 | 2016-05-03 | Microsoft Technology Licensing, Llc | Multi-step virtual object selection |
US10558272B2 (en) | 2013-06-20 | 2020-02-11 | Uday Parshionikar | Gesture control via eye tracking, head tracking, facial expressions and other user actions |
US10137363B2 (en) * | 2013-06-20 | 2018-11-27 | Uday Parshionikar | Gesture based user interfaces, apparatuses and control systems |
US9389685B1 (en) | 2013-07-08 | 2016-07-12 | University Of South Florida | Vision based brain-computer interface systems for performing activities of daily living |
JP2016532396A (ja) | 2013-09-03 | 2016-10-13 | シーイング マシーンズ リミテッド | 低電力眼追跡システムおよび眼追跡方法 |
CN105578954B (zh) * | 2013-09-25 | 2019-03-29 | 迈恩德玛泽控股股份有限公司 | 生理参数测量和反馈系统 |
CA2963072A1 (en) | 2013-10-29 | 2015-05-07 | Milbat - Giving Quality To Life | Walker-assist device |
KR101554412B1 (ko) | 2014-01-07 | 2015-09-18 | 한국과학기술원 | 시선 추적 및 뇌파 측정을 이용하여 사용자가 주시하는 물체에 대한 사용자의 의도를 추출하는 웨어러블 디바이스 |
KR101579364B1 (ko) | 2014-01-16 | 2015-12-21 | 서울대학교산학협력단 | 뇌파 모니터링 및 뇌 컴퓨터 인터페이스를 위한 뇌전도 전극과 취득 시스템을 내장한 무선 이어훅 이어셋 |
US9552060B2 (en) | 2014-01-28 | 2017-01-24 | Microsoft Technology Licensing, Llc | Radial selection by vestibulo-ocular reflex fixation |
CN103793058B (zh) * | 2014-02-13 | 2016-09-28 | 山西大学 | 一种主动式脑机交互系统运动想象任务分类方法及装置 |
CN103955269A (zh) | 2014-04-09 | 2014-07-30 | 天津大学 | 一种基于虚拟现实环境的智能眼镜脑-机接口方法 |
CN106537290B (zh) | 2014-05-09 | 2019-08-27 | 谷歌有限责任公司 | 与真实和虚拟对象交互的基于生物力学的眼球信号的系统和方法 |
WO2015183737A1 (en) * | 2014-05-30 | 2015-12-03 | The Regents Of The University Of Michigan | Brain-computer interface for facilitating direct selection of multiple-choice answers and the identification of state changes |
CA2960148C (en) | 2014-09-04 | 2022-10-04 | University Health Network | Method and system for brain activity signal-based treatment and/or control of user devices |
US10120413B2 (en) | 2014-09-11 | 2018-11-06 | Interaxon Inc. | System and method for enhanced training using a virtual reality environment and bio-signal data |
US20170139556A1 (en) * | 2014-10-01 | 2017-05-18 | Quantum Interface, Llc | Apparatuses, systems, and methods for vehicle interfaces |
US9946339B2 (en) | 2014-10-08 | 2018-04-17 | Microsoft Technology Licensing, Llc | Gaze tracking through eyewear |
WO2016064314A1 (en) | 2014-10-24 | 2016-04-28 | Telefonaktiebolaget L M Ericsson (Publ) | Customization of help information based on eeg data |
US9936195B2 (en) | 2014-11-06 | 2018-04-03 | Intel Corporation | Calibration for eye tracking systems |
KR102326489B1 (ko) | 2014-11-24 | 2021-11-16 | 삼성전자주식회사 | 디스플레이를 제어하는 전자 장치 및 방법 |
WO2016085212A1 (ko) | 2014-11-24 | 2016-06-02 | 삼성전자 주식회사 | 디스플레이를 제어하는 전자 장치 및 방법 |
US20160187976A1 (en) | 2014-12-29 | 2016-06-30 | Immersion Corporation | Systems and methods for generating haptic effects based on eye tracking |
US9632664B2 (en) | 2015-03-08 | 2017-04-25 | Apple Inc. | Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback |
CN104837088A (zh) | 2015-05-29 | 2015-08-12 | 成都腾悦科技有限公司 | 一种基于NFC的脑电α波信号感应蓝牙耳机 |
IL239191A0 (en) | 2015-06-03 | 2015-11-30 | Amir B Geva | Image sorting system |
US20190246982A1 (en) | 2015-08-05 | 2019-08-15 | Emotiv Inc. | Method and system for collecting and processing bioelectrical signals |
KR102196975B1 (ko) | 2015-08-15 | 2020-12-30 | 구글 엘엘씨 | 실제 객체 및 가상 객체와 상호작용하기 위한 생체기계적 기반의 안구 신호를 위한 시스템 및 방법 |
US10491711B2 (en) | 2015-09-10 | 2019-11-26 | EEVO, Inc. | Adaptive streaming of virtual reality data |
ITUB20153680A1 (it) | 2015-09-16 | 2017-03-16 | Liquidweb Srl | Sistema di controllo di tecnologie assistive e relativo metodo |
JP6684559B2 (ja) | 2015-09-16 | 2020-04-22 | 株式会社バンダイナムコエンターテインメント | プログラムおよび画像生成装置 |
NZ742518A (en) | 2015-11-04 | 2019-08-30 | Magic Leap Inc | Dynamic display calibration based on eye-tracking |
KR101723841B1 (ko) | 2015-12-17 | 2017-04-18 | 주식회사 룩시드랩스 | 아이 브레인 인터페이스(ebi) 장치 및 그 제어 방법 |
CA3020390A1 (en) | 2016-04-08 | 2017-10-12 | Vizzario, Inc. | Methods and systems for obtaining, aggregating, and analyzing vision data to assess a person's vision performance |
US10522106B2 (en) | 2016-05-05 | 2019-12-31 | Ostendo Technologies, Inc. | Methods and apparatus for active transparency modulation |
US20170322679A1 (en) * | 2016-05-09 | 2017-11-09 | John C. Gordon | Modifying a User Interface Based Upon a User's Brain Activity and Gaze |
US20180039329A1 (en) | 2016-08-04 | 2018-02-08 | David M. Tumey | Brain actuated control utilizing visually evoked potentials |
JP6813670B2 (ja) | 2016-09-30 | 2021-01-13 | 株式会社ソニー・インタラクティブエンタテインメント | 異なるレンダリング及び音像定位を使用する無線ヘッドマウントディスプレイ |
RU2627075C1 (ru) | 2016-10-28 | 2017-08-03 | Ассоциация "Некоммерческое партнерство "Центр развития делового и культурного сотрудничества "Эксперт" | Нейрокомпьютерная система для выбора команд на основе регистрации мозговой активности |
WO2018099436A1 (en) | 2016-12-01 | 2018-06-07 | Huang Sin Ger | A system for determining emotional or psychological states |
WO2018127782A1 (en) | 2017-01-03 | 2018-07-12 | Xing Zhou | Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command |
WO2018156992A1 (en) | 2017-02-23 | 2018-08-30 | Miller Charles Robert Iii | Device and system for user context-cortical sensing and determination |
WO2019040665A1 (en) | 2017-08-23 | 2019-02-28 | Neurable Inc. | BRAIN-COMPUTER INTERFACE PROVIDED WITH HIGH-SPEED OCULAR FOLLOWING CHARACTERISTICS |
CN111712192A (zh) | 2018-01-18 | 2020-09-25 | 神经股份有限公司 | 具有对于高速、准确和直观的用户交互的适配的大脑-计算机接口 |
US20190286234A1 (en) | 2018-03-19 | 2019-09-19 | MindMaze Holdiing SA | System and method for synchronized neural marketing in a virtual environment |
US10664050B2 (en) | 2018-09-21 | 2020-05-26 | Neurable Inc. | Human-computer interface using high-speed and accurate tracking of user interactions |
-
2018
- 2018-11-13 KR KR1020207016971A patent/KR20200098524A/ko not_active Application Discontinuation
- 2018-11-13 WO PCT/US2018/060797 patent/WO2019094953A1/en unknown
- 2018-11-13 CN CN201880085323.1A patent/CN111542800A/zh active Pending
- 2018-11-13 JP JP2020544378A patent/JP7496776B2/ja active Active
- 2018-11-13 EP EP18875541.7A patent/EP3710915A4/en active Pending
-
2020
- 2020-05-12 US US16/872,730 patent/US12001602B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10260773A (ja) * | 1997-03-19 | 1998-09-29 | Nippon Telegr & Teleph Corp <Ntt> | 情報入力方法及びその装置 |
WO2009093435A1 (ja) * | 2008-01-25 | 2009-07-30 | Panasonic Corporation | 脳波インタフェースシステム、脳波インタフェース装置、方法およびコンピュータプログラム |
US20120296476A1 (en) * | 2009-10-30 | 2012-11-22 | Richard John Cale | Environmental control method and system |
JP2012221498A (ja) * | 2011-04-08 | 2012-11-12 | Sony Computer Entertainment Inc | ユーザーの視線、及びジェスチャによるフィードバック提供システム、及び方法 |
US20140247232A1 (en) * | 2013-03-01 | 2014-09-04 | Tobii Technology Ab | Two step gaze interaction |
US20140347265A1 (en) * | 2013-03-15 | 2014-11-27 | Interaxon Inc. | Wearable computing apparatus and method |
JP2016207115A (ja) * | 2015-04-28 | 2016-12-08 | 京セラドキュメントソリューションズ株式会社 | 情報処理装置、画像処理装置へのジョブ指示方法 |
WO2017104869A1 (ko) * | 2015-12-17 | 2017-06-22 | 주식회사 룩시드랩스 | 아이 브레인 인터페이스(ebi) 장치 및 그 제어 방법 |
Also Published As
Publication number | Publication date |
---|---|
EP3710915A1 (en) | 2020-09-23 |
JP7496776B2 (ja) | 2024-06-07 |
KR20200098524A (ko) | 2020-08-20 |
US20200268296A1 (en) | 2020-08-27 |
EP3710915A4 (en) | 2021-08-11 |
US12001602B2 (en) | 2024-06-04 |
WO2019094953A1 (en) | 2019-05-16 |
CN111542800A (zh) | 2020-08-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7496776B2 (ja) | 高速、正確及び直観的なユーザ対話のための適合を有する脳-コンピュータインターフェース | |
US11972049B2 (en) | Brain-computer interface with high-speed eye tracking features | |
US20200337653A1 (en) | Brain-computer interface with adaptations for high-speed, accurate, and intuitive user interactions | |
Si-Mohammed et al. | Towards BCI-based interfaces for augmented reality: feasibility, design and evaluation | |
JP7492951B2 (ja) | ユーザ相互作用の高速且つ正確な追跡を使用する人間/コンピュータインターフェース | |
Lotte et al. | Electroencephalography (EEG)-based brain-computer interfaces | |
Kohli et al. | A review on Virtual Reality and Augmented Reality use-cases of Brain Computer Interface based applications for smart cities | |
Blasco et al. | Visual evoked potential-based brain–machine interface applications to assist disabled people | |
JP2019513516A (ja) | 人の視覚パフォーマンスを査定するために視覚データを入手し、集計し、解析する方法およびシステム | |
Edlinger et al. | How many people can use a BCI system? | |
JP2024012497A (ja) | コミュニケーション方法及びシステム | |
Moore Jackson et al. | Applications for brain-computer interfaces | |
Rajyalakshmi et al. | Exploration of recent advances in the field of brain computer interfaces | |
CN111629653B (zh) | 具有高速眼睛跟踪特征的大脑-计算机接口 | |
Scherer et al. | Non-manual Control Devices: Direct Brain-Computer Interaction | |
Bansal et al. | EEG Based BCI—Control Applications | |
Barbel | NeuroGaze in Virtual Reality: Assessing an EEG and Eye Tracking Interface against Traditional Virtual Reality Input Devices | |
Faller et al. | Brain–Computer Interfaces for Mediating Interaction in Virtual and Augmented Reality | |
Hanna | Wearable Hybrid Brain Computer Interface as a Pathway for Environmental Control | |
Plass-Oude Bos et al. | Looking around with your brain in a virtual world | |
Vi | Designing Interactive Applications Using Active and Passive EEG-based BCI Systems | |
Guerreiro | Myographic Mobile Accessibility for Tetraplegics |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211109 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221017 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221202 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230301 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230428 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230602 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230920 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20231218 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20240219 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240321 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240329 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20240430 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240528 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7496776 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |