CN111629653A - 具有高速眼睛跟踪特征的大脑-计算机接口 - Google Patents
具有高速眼睛跟踪特征的大脑-计算机接口 Download PDFInfo
- Publication number
- CN111629653A CN111629653A CN201880069216.XA CN201880069216A CN111629653A CN 111629653 A CN111629653 A CN 111629653A CN 201880069216 A CN201880069216 A CN 201880069216A CN 111629653 A CN111629653 A CN 111629653A
- Authority
- CN
- China
- Prior art keywords
- user
- eye
- signal
- signals
- neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000001537 neural effect Effects 0.000 claims abstract description 116
- 238000000034 method Methods 0.000 claims abstract description 80
- 230000033001 locomotion Effects 0.000 claims abstract description 57
- 210000004556 brain Anatomy 0.000 claims description 76
- 230000004424 eye movement Effects 0.000 claims description 66
- 230000009471 action Effects 0.000 claims description 41
- 230000000007 visual effect Effects 0.000 claims description 36
- 230000008569 process Effects 0.000 claims description 32
- 230000000763 evoking effect Effects 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 16
- 230000000638 stimulation Effects 0.000 claims description 15
- 230000006399 behavior Effects 0.000 claims description 11
- 230000002452 interceptive effect Effects 0.000 claims description 9
- 238000000537 electroencephalography Methods 0.000 claims description 6
- 230000009977 dual effect Effects 0.000 claims description 5
- 230000015654 memory Effects 0.000 claims description 4
- 238000001308 synthesis method Methods 0.000 claims 1
- 230000007177 brain activity Effects 0.000 abstract description 28
- 230000003993 interaction Effects 0.000 abstract description 12
- 238000004458 analytical method Methods 0.000 abstract description 11
- 238000012549 training Methods 0.000 description 22
- 230000008859 change Effects 0.000 description 20
- 230000004044 response Effects 0.000 description 19
- 230000004913 activation Effects 0.000 description 17
- 238000001514 detection method Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 14
- 230000000694 effects Effects 0.000 description 13
- 230000001360 synchronised effect Effects 0.000 description 13
- 230000006854 communication Effects 0.000 description 10
- 238000013459 approach Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 210000004761 scalp Anatomy 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 230000004434 saccadic eye movement Effects 0.000 description 8
- 230000004397 blinking Effects 0.000 description 7
- 230000009849 deactivation Effects 0.000 description 7
- 230000002093 peripheral effect Effects 0.000 description 7
- 230000003190 augmentative effect Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 6
- 238000001914 filtration Methods 0.000 description 6
- 230000001960 triggered effect Effects 0.000 description 6
- 238000005286 illumination Methods 0.000 description 5
- 230000001976 improved effect Effects 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 4
- 230000000875 corresponding effect Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000003340 mental effect Effects 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000001936 parietal effect Effects 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 210000001747 pupil Anatomy 0.000 description 4
- 238000013179 statistical model Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 230000001364 causal effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000007635 classification algorithm Methods 0.000 description 3
- 230000001149 cognitive effect Effects 0.000 description 3
- 230000036992 cognitive tasks Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000001953 sensory effect Effects 0.000 description 3
- 210000003625 skull Anatomy 0.000 description 3
- 230000003238 somatosensory effect Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000001052 transient effect Effects 0.000 description 3
- 230000021542 voluntary musculoskeletal movement Effects 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 210000001787 dendrite Anatomy 0.000 description 2
- 238000005183 dynamical system Methods 0.000 description 2
- 238000004070 electrodeposition Methods 0.000 description 2
- 210000001652 frontal lobe Anatomy 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000008450 motivation Effects 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 230000000926 neurological effect Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000003565 oculomotor Effects 0.000 description 2
- 210000002589 oculomotor nerve Anatomy 0.000 description 2
- 210000001152 parietal lobe Anatomy 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 230000033764 rhythmic process Effects 0.000 description 2
- 230000001711 saccadic effect Effects 0.000 description 2
- 230000008093 supporting effect Effects 0.000 description 2
- 210000003478 temporal lobe Anatomy 0.000 description 2
- 238000012876 topography Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 208000012661 Dyskinesia Diseases 0.000 description 1
- 229910001200 Ferrotitanium Inorganic materials 0.000 description 1
- 241000167880 Hirundinidae Species 0.000 description 1
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 206010033799 Paralysis Diseases 0.000 description 1
- 206010053694 Saccadic eye movement Diseases 0.000 description 1
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 206010002026 amyotrophic lateral sclerosis Diseases 0.000 description 1
- 230000009118 appropriate response Effects 0.000 description 1
- 230000037007 arousal Effects 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000003925 brain function Effects 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 235000015111 chews Nutrition 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000001054 cortical effect Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000005857 detection of stimulus Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 210000000624 ear auricle Anatomy 0.000 description 1
- 238000002566 electrocorticography Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 230000004418 eye rotation Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000012880 independent component analysis Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003834 intracellular effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000002582 magnetoencephalography Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 230000004118 muscle contraction Effects 0.000 description 1
- 230000017311 musculoskeletal movement, spinal reflex action Effects 0.000 description 1
- 210000001989 nasopharynx Anatomy 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000008904 neural response Effects 0.000 description 1
- 238000002610 neuroimaging Methods 0.000 description 1
- 208000018360 neuromuscular disease Diseases 0.000 description 1
- 210000000869 occipital lobe Anatomy 0.000 description 1
- 230000002360 prefrontal effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000010344 pupil dilation Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 210000001210 retinal vessel Anatomy 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000001020 rhythmical effect Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- HKZLPVFGJNLROG-UHFFFAOYSA-M silver monochloride Chemical compound [Cl-].[Ag+] HKZLPVFGJNLROG-UHFFFAOYSA-M 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 208000020431 spinal cord injury Diseases 0.000 description 1
- 229910001220 stainless steel Inorganic materials 0.000 description 1
- 239000010935 stainless steel Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000007598 synaptic excitation Effects 0.000 description 1
- 239000010936 titanium Substances 0.000 description 1
- 230000001720 vestibular Effects 0.000 description 1
- 210000000857 visual cortex Anatomy 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/377—Electroencephalography [EEG] using evoked responses
- A61B5/378—Visual stimuli
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/377—Electroencephalography [EEG] using evoked responses
- A61B5/38—Acoustic or auditory stimuli
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6802—Sensor mounted on worn items
- A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2503/00—Evaluating a particular growth phase or type of persons or animals
- A61B2503/12—Healthy persons not otherwise provided for, e.g. subjects of a marketing survey
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/038—Indexing scheme relating to G06F3/038
- G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Human Computer Interaction (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- General Physics & Mathematics (AREA)
- Pathology (AREA)
- Psychiatry (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychology (AREA)
- Ophthalmology & Optometry (AREA)
- Signal Processing (AREA)
- Physiology (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Dermatology (AREA)
- Neurosurgery (AREA)
- Neurology (AREA)
- Fuzzy Systems (AREA)
- Acoustics & Sound (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- User Interface Of Digital Computer (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Eye Examination Apparatus (AREA)
- Position Input By Displaying (AREA)
Abstract
本文描述的实施例涉及用于在大脑‑计算机接口的实现中使用的系统、设备和方法，该大脑‑计算机接口将实时眼睛运动跟踪与大脑活动跟踪相集成以呈现和更新针对人‑机器交互的高速度和精度而策略性地设计的用户接口。本文描述的实施例还涉及硬件不可知的大脑‑计算机接口的实现，该大脑‑计算机接口使用实时眼睛跟踪和神经活动的在线分析来传达对于机器的用户操纵。
Description
对相关申请的交叉引用
本申请要求于2017年8月23日提交的标题为“Brain-Computer Interface withHigh-Speed Eye Tracking Features”的美国临时专利申请序列No.62/549,253的优先权和权益，其公开内容在此通过引用整体并入。
技术领域
本文描述的实施例涉及用于在大脑-计算机接口的实现中使用的系统、设备和方法，该大脑-计算机接口集成了实时的眼睛运动跟踪与大脑活动跟踪以呈现和更新针对人-机器交互的高速度和精度而策略性地设计的用户接口。本文描述的实施例还涉及硬件不可知的大脑-计算机接口的实现，该大脑-计算机接口使用实时的眼睛跟踪和神经活动的在线分析来传达对于机器的用户操纵。
背景技术
大脑-计算机接口(BCI)是准许大脑活动单独利用连线的大脑与外部设备之间的直接通信路径来控制计算机或外部设备的硬件和软件通信系统。BCI已主要被设计作为一种辅助技术，以直接根据解读大脑信号来提供对于正在操作的机器和应用的访问。BCI开发的主要目的之一是为因神经系统性神经肌肉紊乱(诸如肌萎缩性侧索硬化、大脑干中风或脊髓损伤)而完全瘫痪或“锁住”的严重残疾人士提供交流能力，对于这些严重残疾人士来说，要与他人进行有效的交流非常困难。
大脑-计算机接口的一些已知实现包括诸如Farwell和Donchin设计的拼写器。在这种拼写器中，字母表的26个字母与若干个其他符号和命令一起按6×6的矩阵显示在屏幕上，该矩阵具有随机闪烁的行和列。用户将注意力聚焦中在屏幕上，并接连地专注于要写入的字符，同时针对签名信号(signature signal)监视大脑的神经反应。一旦被检测到，签名信号就允许系统识别出所需的字符。Farwell-Donchin拼写器允许健康的人以每分钟大约2个字符的速度进行拼写。
然而，BCI可以被设计为甚至帮助身体上能行的人操作计算机或其他数据处理机器和/或软件应用，而无需诸如鼠标和键盘之类的常规输入或输出接口。BCI还可以提供用于比传统的输入控制更加直观和自然地与计算机交互的界面。此外，还可以开发BCI，以提供许多其他功能，包括增强、修复以及映射和研究人和动物的认知和/或感觉运动系统及其功能。一些BCI应用包括文字处理器、经改动的Web浏览器、轮椅或神经假肢的大脑控制以及游戏等，但是大多数应用仅是为训练或演示目的而设计的。
发明内容
本文针对硬件不可知的、集成的眼动(oculomotor)神经混合式大脑计算机接口(BCI)平台的各种实施例描述了系统、设备和方法，以跟踪眼睛的运动和大脑活动，从而传达用户的注视或注意力的实时定位以及期望动作的选择/激活。本公开提出了一种集成的混合式BCI系统，以解决对于以高速和高精度操作的大脑计算机接口的需求。
附图说明
图1是根据一个实施例的混合式大脑计算机接口系统的示意图。
图2A是基于视频的眼睛跟踪设备的图示。
图2B示出了基于视频的眼睛跟踪设备的前视图和后视图。
图3A是示例性神经记录头戴装置(headset)的图示。
图3B示出了用于记录神经大脑信号的在用户的头皮上的示例性电极放置位置的侧视图(左)和俯视图(右)。
图3C示出了从大脑记录的示例性响应，其指示由期望的目标刺激(黑色)与非目标刺激(品红色)引发的事件相关电位(ERP)(一种神经活动)之间的差异，按垂直虚线表示的时间点呈现。
图4是使用示例性刺激驱动器神经活动(P300信号)来辨别刺激并基于用户意图选择或取消选择刺激的示例性混合式BCI系统的示意图。
图5A和5B是在用户选择之前和之后的示例性用户界面的图示。
图5C示出了用户通过基于视频的眼睛跟踪器(eye-tracker)和神经记录头戴装置来与图5A和5B中的界面进行交互。
图5D和5E示出了由图5C中所示的监测大脑活动的基于视频的眼睛跟踪器和神经记录头戴装置产生并记录的示例信号。
图5F示出了高速的眼睛运动跟踪系统的操作，该眼睛运动跟踪系统被实现为甚至在对象有意识地感知到他们的决策之前开始和实现期望的动作。
图6是根据一个实施例的混合式大脑计算机接口设备的示意图。
图7示出了根据一个实施例的混合式大脑计算机接口设备的示例性操作过程。
图8A示出了根据一个实施例的使用混合式BCI系统从一组神经记录电极随时间记录的一组示例性大脑信号。
图8B示出了根据另一实施例的使用混合式BCI系统随时间记录的一组示例性神经大脑信号。
图9A示出了根据一个实施例的在用户选择之前(左)和之后(右)的示例性用户界面的实例。
图9B示出了根据另一实施例的在用户选择之前和之后的遵循另一布局的另一示例性用户界面的实例。
图10示出了示例性用户界面的若干个实例，其例示了及时地动态标记运动对象的操作。
图11示出了基于用户能力和BCI系统类型的BCI系统的利用空间的图示。
具体实施方式
本文描述的实施例涉及用于在混合式大脑-计算机接口(BCI)的实现中使用的系统、设备和方法，该混合式大脑-计算机接口将实时眼睛运动跟踪与大脑活动跟踪相集成以呈现和更新针对人-机器交互的高速度和精度而策略性地设计的用户接口。本文描述的实施例还涉及硬件不可知的大脑-计算机接口的实现，该大脑-计算机接口使用实时的眼睛跟踪和神经活动的在线分析来传达对于机器的用户操纵。
为了使BCI技术更好地适合患者、对普通大众有用并且在真实世界的任务的控制中使用，与当前的实现相比，信息传递速率必须提高以满足自然的交互速度，错误率必须降低，并且交互界面的复杂度必须最小化。此外，BCI应用要求来自用户的高认知负担，因此必须改进用户界面，以从安静的实验室环境转移到真实世界。为了将BCI设备和应用配置得更容易、更直观，在实现大脑机器接口时存在对于改进的设备和技术的需求，这些大脑机器接口高速且高精度地操作以使得能够通过自然直观的过程进行用户传达的动作选择。
混合式BCI系统
如本文所述，BCI是准许大脑活动单独控制计算机或外部设备的一种硬件和软件通信系统。混合式BCI系统包括通过接口的刺激的显示器、用于定位界面上的用户的焦点的硬件装置、用于记录和处理大脑活动的设备以及用于实现界面的控制的装置，这些可以转化为对用户的环境的控制。这些标准的特征可以被表征为(1)指点控制特征、(2)动作控制特征和(3)用户界面特征。指点控制特征可以类似于传统的指点设备，如鼠标指针，其允许用户缩小到一小组操纵器进行控制。动作控制特征可以类似于选择设备，例如鼠标点击或键盘敲击，其允许用户利用动作来实现改变。动作可以是例如激活或去激活、对用户界面的连续更改(例如，滚动)或利用离散的开始和停止(例如，高亮、悬停等)对用户界面的急剧改变、捏合、缩放、加标题、旋转、滑动等许多动作之一。经由用户界面的动作控制的一些其他示例包括：虚拟键盘控制，菜单导航，放置和拿起对象或物品的动作，移动对象或物品、展开和/或缩小对象的动作，第一人称观察者或玩家的移动或导航，改变观察者的视角，以及如抓取、拾取或悬停之类的动作。下面公开了这些动作控制的一些方面。混合式BCI系统中的用户界面特征可以类似于创建并维护环境的操作系统，该环境实现指点和动作控制以及提供选择菜单、导航控制等其他特征。
在本文描述的混合式BCI系统的一些实施例中，用于识别用户的焦点的指点控制特征和方法可以包括眼睛跟踪设备。在一些实施例中，用于识别用户的意图的动作控制特征和方法可以包括监视大脑中的神经信号的任何合适形式。这可以包括例如通过电气或光学方法进行的大脑成像。例如，在一些实施例中，混合式BCI系统可以使用记录大脑活动的神经信号的电极，这些神经信号通过放大器和处理器，放大器和处理器将用户的大脑信号转换为BCI命令。在一些实施例中，混合式BCI系统可以实现复杂的用户界面，这些用户界面实现对机器的基于大脑活动的控制。如下面详细描述的，可以实现这些特征中的一个或多个特征的具体修改，以取得与混合式BCI系统的人类交互的高速度和精度。
图1是根据一个实施例的混合式大脑计算机接口系统100的示意图。示例性的混合式大脑计算机接口系统100(本文也称为“混合式BCI系统”或“BCI系统”或“系统”)是集成的眼动神经混合式BCI系统，其包括基于视频的眼睛跟踪器102和用于记录用户的大脑的一个或多个控制信号的神经记录头戴装置104。控制信号可以是通过如脑电图(EEG)、脑皮层电图(ECoG)或脑磁图(MEG)等任何合适的方法记录的任何形式的神经活动。神经活动的示例性形式包括事件相关电位(ERP)、运动想象(motor imagery)、视觉诱发电位(VEP)、与大脑状态有关的信号等。示例性的混合式BCI系统100还包括大脑-计算机接口设备110以及可选的视听显示器106。
在混合式BCI系统100的一些实施例中，可以从基于视频的眼睛跟踪器102(即，指点控制特征)确定用户的焦点，并且神经记录头戴装置104可用于收集神经大脑活动数据(即，动作控制特征)。所收集的神经和眼睛跟踪数据可以传送到大脑-计算机接口设备110，大脑-计算机接口设备110将信号与关于呈现了哪些刺激的数据作为整体(ensemble)进行处理。利用组合的信息，大脑-计算机接口设备110可以基于统计模型检测有关信号特征以预测用户的意图。然后，可以将该预测的意图经由例如通过显示器106呈现的用户界面传送给用户，并对其进行操作。
基于视频的眼睛跟踪-指点控制特征
在一些实施例中，基于视频的眼睛跟踪器102可以用于通过在二维或三维空间中快速跟从用户的眼睛运动来确定用户在他们的视野中看向何处。例如，假如用户自愿控制他们的眼睛运动，则基于视频的眼睛追踪器102可用于确定其眼睛“指向”其视野中的哪些子空间。换句话说，基于视频的眼睛跟踪器102可使用用户的眼睛运动轨迹作为指点控制特征，揭示关于主体的意图和行为的重要信息。在一些实施例中，可以在BCI系统100中有效地使用以下方面：他们的注意力聚焦在视觉空间中的何处、他们聚焦的是什么刺激或他们响应了什么刺激。
在一些实施例中，通过使用头戴式眼睛跟踪摄像机来对用户的眼睛进行成像，基于视频的眼睛跟踪器102依赖于跟踪用户的瞳孔和照明源的第一表面角膜反射(CR)。这两个特征之间的位置差可用于确定观察者的眼睛在头部的方位。可用作基于视频的眼睛跟踪器102的一些示例性的头戴式眼睛跟踪设备在图2A和2B中示出，并且可以从SenseMotoricInstruments、Tobii Eye Tracking和Pupil-labs等其他商业供应商获得。例如，图2B中的图示出了基于视频的眼睛跟踪器的前视图和后视图，其中示出了左眼相机和右眼相机。相机可以通过有线或无线连接相互连接。基于视频的眼睛跟踪器还可以包括捕获用户的视野的附加的场景相机。
在一些实施例中，基于视频的眼睛跟踪器102同时记录瞳孔的图像和照明源的角膜反射。基于视频的眼睛跟踪器102可以使用近红外(IR)照明源，IR照明源可以最佳地由虹膜反射并且对于人类是不可见的，因此它不会使用户受到打扰或分心。强的IR反射产生高对比度的图像，这特别有利于瞳孔检测。在一些实施例中，基于视频的眼睛跟踪器102可以使用准直的远距离光源，其中平行光从远处的照明源发出并由光学部件准直。在一些实施例中，基于视频的眼睛跟踪器102可以使用非准直的近光源来照明眼睛，其中该照明源安装在距眼睛有限的距离(通常为50毫米或更小)处，并且在源和眼睛之间没有光学部件来准直光线。
如本文所述，基于视频的眼睛跟踪器102利用从眼睛反射的光，该光由摄像机或为此目的专门设计的任何其他合适的光学传感器感测。然后，对感测到的光进行分析以从反射变化中提取眼睛转动。在一些实施例中，基于视频的眼睛跟踪器102可以使用角膜反射(即，第一Purkinje图像)和瞳孔的中心作为随时间跟踪的特征。在一些实施例中，基于视频的眼睛跟踪器102可以将来自角膜前部(即第一Purkinje图像)和晶状体后部(即第四Purkinje图像)的反射作为特征来以更敏感的方式跟踪眼睛的运动。在一些实施例中，基于视频的眼睛跟踪器102可以使用甚至更灵敏的通过对眼睛内的特征(诸如，例如视网膜血管)进行成像并在眼睛转动时跟从这些特征的运动来跟踪的方法。
在一些实施例中，基于视频的眼睛跟踪器102可以包括如下所述的集成显示器。与显示器106集成的基于视频的眼睛跟踪器102可以是被配置为观看虚拟现实空间的系统。在一些实施例中，与显示器106集成的基于视频的眼睛跟踪器102可以被配置为观看增强现实空间。
大脑信号的神经记录-动作控制特征
任何BCI系统的中心都是可以用作控制信号的大脑信号，使大脑信号成为动作控制特征。作为要监测的大脑活动的主要类型之一的电生理活动是由在神经元之间交换信息的电化学传递物产生的。神经元产生在神经元集团内和跨神经元集团流动的离子电流。种类繁多的电流通路可以简化为通过树突干线从源头(source)到汇槽(sink)的偶极传导电流。这些细胞内的电流被称为初级电流(primary current)。电荷的守恒性表明，初级电流被细胞外的电流流动包围，细胞外的电流被称为次级电流。
如本文所述，神经记录头戴装置104使用大脑信号通过记录阶段收集关于用户意图的信息，该记录阶段测量大脑活动并将信息转化为易处理的电信号，该电信号可以被转换为命令。在一些实施例中，神经记录头戴装置104可以被配置为通过脑电图(EEG)来记录电生理活动，脑电图(EEG)具有高时间分辨率、低设立和维护成本、高便携性并且对用户无创。神经记录头戴装置104包括具有传感器的一组电极，这些传感器获取来自不同大脑区域的脑电图信号。这些传感器测量在神经元中的树突的突触激励期间的电流流动引起的电神经活动，并且对次级电流的影响极为敏感。神经信号是通过适当地布置在记录神经记录头戴装置104中并放置在用户的头皮上的电极记录的。图3A中示出了神经记录头戴装置104的实施例的示图，并且类似的神经记录头戴装置可从Biosemi、Wearable Sensing和G.Tec等其他商业供应商获得。
在一些实施例中，神经记录头戴装置104可以包括电极、放大器、A/D转换器和记录设备。在一些实施例中，神经记录头戴装置104上的电极可以从头皮获取信号，并且放大器可以放大模拟信号以增大神经信号的幅度。在一些实施例中，布置在神经记录头戴装置104中的一个或多个电极可以直接连接到放大器、A/D转换器和用于存储来自每个电极的信号的一个或多个记录设备。在一些实施例中，这些部件可以容纳在神经记录头戴装置104中。在一些实施例中，仅即时的信号放大可以在神经记录头戴装置104中进行，而诸如A/D转换和记录之类的其他过程可以在将信号传输到B-C集成设备110之后进行。
在一些实施例中，神经记录头戴装置104上的电极可以被布置为基于普遍遵循的国际10-20系统(由美国脑电图学会标准化)放置在头皮上。图3B示出了根据该系统的电极布置的示例性图解。10-20系统使用头上的两个参考点来定义电极位置。这些参考点之一是位于与眼睛处于同一水平的鼻子顶部的鼻根(nasion)。另一个参考点是在头骨底部的骨块中找到的枕外隆凸尖(inion)。横向平面和正中平面将头骨从这两个点分开。电极位置是通过以10％和20％的间隔标记这些平面来确定的。每个位置的字母对应于特定的大脑区域，其方式为A代表耳垂，C代表中央区域，Pg代表鼻咽，P代表顶叶，F代表额叶，Fp代表额极，并且O代表枕叶区域。图3C示出了使用神经记录头戴装置104记录的在刺激之后的一组示例性大脑响应(所谓的刺激驱动的“神经活动”)。神经信号被测量为有源电极(也称为信号电极)和参考电极之间的随时间变化的电势差。在一些实施例中，可以使用第三电极(称为接地电极)来测量有源电极和参考电极之间的差分电压。在一些实施例中，神经记录头戴装置104可以包括一个或多个有源电极、一个或多个参考电极和一个接地电极。在一些实施例中，神经记录头戴装置104可以包括仅七个有源电极。在一些实施例中，神经记录头戴装置可以包括多达128或256个有源电极。电极可以由氯化银(AgCl)或任何其他合适的材料制成。电极可以被配置为使得可以适当地调整电极-头皮的接触阻抗以记录精确的信号。电极-组织界面既可以是电阻性也可以是电容性的，因此它起着低通滤波器的作用。阻抗取决于多种因素，例如界面层、电极表面积和温度。
跨用户头皮的非侵入式记录的神经信号必须穿过头皮、头骨和许多其他层，这会使它们变得微弱且难以获取。神经信号也可能会受到在大脑内或在头皮外产生的背景噪声影响，这会影响从记录的信号中提取有意义的信息的能力。包括神经记录头戴装置104的系统100的实施例可以合并若干修改，以改善神经信号的获取。例如，凝胶(例如，导电凝胶)可以用于在皮肤和每个电极之间建立导电路径以降低阻抗。在一些实施例中，神经记录头戴装置104可以包括不需要使用凝胶的“干”电极，“干”电极可以用诸如钛和不锈钢之类的其他材料制成。在一些实施例中，神经记录头戴装置104可以包括具有前置放大电路的干式有源电极，以适应非常高的电极/皮肤界面阻抗。在一些实施例中，神经记录头戴装置104可以包括不具有任何有源电路的干式无源电极，但是可以链接到配置有超高输入阻抗的神经记录系统。
电生物信号的幅度通常在微伏量级上。因此，信号对电子噪声非常敏感。在一些实施例中，可以将BCI系统100设计为通过诸如电磁干扰屏蔽或共模信号降低等之类的修改来减小噪声的影响。
显示器和用户界面的呈现
如本文所述，混合式BCI系统100中的用户界面用作用户(例如，用户的大脑、眼睛等)与BC接口设备110之间的通信链接，并使得用户能够聚焦于特定刺激并通过指点控制特征指点特定刺激，并使用动作控制特征选择或取消选择特定刺激。经过策略性地设计的用户界面包括通过任何形态(最常见的是通过视觉形态)向用户呈现刺激的过程。例如，用户界面可以被配置为向用户呈现视觉刺激、听觉刺激、触觉刺激或前庭刺激。在一些实施例中，呈现视觉刺激的用户界面可以被渲染在显示器上，如图1中所示的显示器106。
在一些实施例中，显示器106可以是分开的、独立的视听显示单元，其可以与混合式BCI系统100的其余部分连接并进行数据通信。即，配备有音频系统(例如扬声器或耳机)的显示器(例如液晶显示器)可以与混合式BCI系统100的一个或多个其他部件(例如BC接口设备110、基于视频的眼睛跟踪器102和神经记录头戴装置104)进行双向通信。在一些实施例中，显示器106可以集成到基于视频的眼睛跟踪器102中，成为眼镜区域的一部分。集成的基于视频的眼睛跟踪器102和显示器106可以被配置为以显示器106上呈现的用户界面的形式查看虚拟现实空间。在一些实施例中，集成的基于视频的眼睛跟踪器102和显示器106可以被配置为使得显示器106在半透明的眼镜区域上，允许用户查看增强现实空间。即，用户可以通过半透明的眼镜区域查看真实世界，半透明的眼镜区域也是为用户呈现他/她可以交互的用户界面的集成显示器106。
大脑-计算机接口设备
在一些实施例中，BC接口设备110可以被配置为完成三个主要功能。首先，BC接口设备110可以被配置为产生策略性地设计的用户界面。例如，策略性地设计的用户界面可以用于训练阶段或用于测试阶段。在一些实施例中，用户界面可以被设计为虚拟现实界面和/或增强现实界面。在一些实施例中，用户界面可以被量身定制用于特定需求，诸如例如特定用户历史、反应时间、用户偏好等。第二，除了设计和产生用户界面之外，BC接口设备110还可以被配置为接收指点控制信号(例如，从基于视频的眼睛跟踪器102)和动作控制信号(例如，从神经记录头戴装置104)，并将这些信号作为整体进行处理以确定用户的意图。最后，BC接口设备110可以被配置为通过(1)从神经信号中检测有意义的特征以及(2)按照用户的意图实现对正在指点的刺激的改变来实现指点控制特征和动作控制特征。在一些实施例中，BC接口设备110还可以连接到可能是混合式BCI系统100的一部分的其他外围设备，诸如例如以除了视觉形态之外的形态工作的外围传感器和致动器。这种外围传感器可以包括音频麦克风、触觉传感器、加速度计、测角仪等，并且外围致动器可以包括音频扬声器、触觉刺激提供器等。
在一些实施例中，BC接口设备110可以包括输入/输出单元140，输入/输出单元140通过一个或多个数据通信端口从基于视频的眼睛跟踪器102、神经记录头戴装置104和可选的视听显示器106接收和发送信号。信号的传输还可以通过有线连接或通过如蓝牙等任何合适的通信信道无线地进行。输入/输出单元140的功能可以包括若干个过程，如信号采集、信号预处理和/或信号增强等。所获取的和/或经过预处理的信号可以通过信道被传送到BC接口设备110内的处理器120。在一些实施例中，处理器120及其子部件(未示出)可以被配置为处理传入的数据，向存储器160发送数据和从存储器160检索数据，以及执行构建和维护可在显示器106上或在与基于视频的眼睛跟踪器102集成的显示器上呈现的用户界面的功能。在一些实施例中，处理器120及其子部件可以被配置为执行特定于用户的大脑信号解读所需的功能，并将输出信号打包到输入/输出单元140以便中继到外部设备。处理器120及其子部件的其他功能可以包括若干个过程，如特征提取、分类和控制接口的操纵。
混合式BCI系统中的控制信号
如本文所述，混合式BCI系统100的目的是通过监视脑部活动并定位可用作动作控制特征的控制信号来解读用户意图。用户意图的形成可以表示为认知任务。图1中示出的集成混合式BCI系统100可以使用由用户执行的认知任务同时诱发或与由用户执行的认知任务相关的若干个签名大脑信号之一。这些大脑信号中的一些可以以人们可以学习随意调制它们的方式被解码。使用被视为控制信号的这些信号可以使得混合式BCI系统100能够解读用户的意图。因此，混合式BCI系统100可以记录和使用来自大脑的控制信号并将其用作控制大脑和计算机之间的接口的动作控制特征。任何合适的神经活动可以是用于实现动作控制特征的控制信号。神经活动的一些示例在时间上包括事件相关电位(ERP)、诱发电位(EP，例如视觉诱发电位(VEP)、听觉诱发电位、感觉诱发电位、运动诱发电位)、运动想象信号、慢皮质电位、与大脑状态有关的信号以及尚未发现的在各种认知或感觉运动任务之下的其他签名活动潜能。
作为神经活动的示例形式，事件相关电位或ERP可以是与在时间上具有相关性的事件或刺激表现有关的签名神经活动。ERP可以具有不同的形状和特征(如已知的P300信号在触发刺激后约300毫秒达到峰值)，这有助于它们的检测和识别。ERP的大小和形状也可以跨不同的大脑区域变化，并且它们如何跨大脑区域映射可以指示特定的大脑功能和/或用户意图。从神经记录头戴装置获取的神经活动数据可以针对特定的ERP信号被分析，并且一旦被检测和适当地分类，BCI设备110就可以在用户界面的期望部分上实现与检测到的ERP相关联的任何特定动作。
另一示例性控制信号可以是运动想象信号的形式，该运动想象信号是与正在经历自愿或非自愿运动之下的心理认知过程的用户相关联的神经活动信号。即，运动想象信号是可以在用户想象动作和/或执行动作的同时从各种大脑区域记录并由BCI系统100分析的大脑信号。在期望用户做出身体运动或手势的实施例中，BCI系统还可以使用由耦合到BCI设备110的一组外围传感器(诸如测角仪、扭力计、加速度计等)收集的信息，以帮助在训练阶段期间高清晰度地识别手势。在一些其他实施例中，用户可能不需要进行身体运动，因为想象一组运动来诱发运动想象信号(例如，在允许BCI系统学习用户的一组运动与由这些动作诱发的一组运动想象信号之间的关联的训练阶段之后)可能就足够了。
控制信号的另一示例可以是大脑状态信号或与大脑状态有关的信号的形式。例如，BCI系统可以用于检测与用户的大脑的特定注意力状态或感知状态相关联的EEG信号的模式或头皮形貌。可以由BCI系统使用的神经活动也可以是频域。其中的一些示例包括运动感觉节奏、事件相关频谱扰动(ERSP)、特定信号频带，如Delta、Theta、Alpha、Beta、Gamma或Mu节奏等。下面介绍一个示例，即P300诱发电位。
P300信号
P300诱发电位是神经信号中由于不常见的听觉、视觉或体感刺激导致的正峰。P300信号是取决于刺激上下文的处理以及注意力和唤醒的水平的“内源性”大脑信号。不希望受到任何特定理论的束缚，P300被广泛认为是改变环境的心理模型以做出适当响应所需的机制的神经签名。因此，P300信号是诸如注意力和工作记忆之类的认知过程的重要签名。有利的是，基于P300的BCI的使用不需要训练。
内源性P300应答是在注意到统计学上不可能的刺激或若干种常见刺激中的所谓的奇怪刺激后大约300毫秒(多达900毫秒)引起的。P300信号可以位于若干个大脑区域上，并且可以指示若干个大脑过程。与主体执行具有视觉目标的受控任务相关联的大脑活动记录已经表明这些一致的签名信号的发生与特定刺激相关联。与目标相关的响应可以发生在大脑的顶叶皮层和扣带区域，并且与新型事物相关的激活可以主要发生在顶下壁和额叶前区。对于视觉形态，特定于刺激形态的贡献来自下颞叶和顶叶皮质，而对于听觉形态，来自上颞叶。
当参与者不确定即将到来的刺激的性质时，可能会发生这种较大的(>10μV)正偏转。P300通常与“奇怪”范例相关联，其中偶然有关的(“目标”)刺激必须在一系列常见的无关“非目标”或“标准”刺激中检测到。混合式BCI系统100可以使用任何神经活动(如P300信号)来确定特定刺激的相关性(该相关性将其与其他刺激区分开)，并且确定在聚焦于刺激时的用户意图。
在图3C中示出了使用示例性系统100的示例性神经记录头戴装置104记录的由特定目标刺激诱发的示例性P300信号(黑色轨迹)，作为对比的是在呈现另一非目标刺激(品红色)时缺少明显信号的情况。与标准刺激相比，通过系统100的示例性用户界面呈现的奇怪范例可以可靠地产生对于目标的具有顶头皮分布的P300响应，而与刺激(视觉、听觉、体感)或响应(按钮、计数)形态无关。当规律的刺激系列被刺激遗漏打断时，也可以观察到P300反应，这突显了该成分的内源性质。
P300的幅度可以随着目标刺激的更低概率和更高可辨别性而增大。当目标刺激更难与标准刺激区别开时而不是当响应时间由于其他原因而增加时，P300信号相对于目标刺激开始的延迟可以增加。P300延迟因此是将刺激评估的心理测时(mental chronometry)与响应选择和执行分开的有吸引力的工具。系统100可以利用P300信号的发生及其与特定刺激的关联作为动作控制特征来选择引发P300的刺激而不选择未引发的刺激。
图4A示出了根据一个实施例的在混合式BCI系统100的操作期间如何将神经活动用作动作控制特征的示例性实例的流程图。在一些实施例中，P300信号可以通过区分第一刺激与第二刺激(作为变化或差异)来确定用户选择一个刺激而非另一个刺激的意图并对其采取动作的神经活动。记录的响应中是否存在P300信号可用于做出选择。
在一些实施例中，混合式BCI系统100可用于通过用户界面在显示器106上操纵各种刺激的呈现，并基于在刺激呈现之后在若干个大脑区域上记录的大脑信号来确定用户意图。神经活动的形状和大小在各种大脑区域上有所不同。例如，顶叶中心的P300或P3b是由所注意的与任务有关的异常刺激引起的，与任务无关但比目标更显着的异常刺激引发具有额叶中心的头皮形貌的稍微更早的正偏转。这种新型的P300或P3a成分可以通过在重复的标准和目标事件系列(例如，简单几何图形系列中的视觉分形)中插入独特且高度突出(“新型”)的刺激来激发。但是，类似的P3a成分也可以通过使用困难的目标/标准区分的范例中的高度不同的重复干扰项来引发。
VEP信号
视觉诱发电位(VEP)信号是在接收到视觉刺激后在视觉皮层中发生的大脑活动调制。当刺激移动接近中央视野时，由于VEP的幅度较大，因此相对容易检测到这些调制。在本文公开的混合式BCI系统100中，VEP可以与眼睛跟踪输入结合使用，以采用集成方法来启用指点控制特征。
VEP可分为瞬态VEP(TVEP)和稳态VEP(SSVEP)。TVEP在视觉刺激的频率低于6Hz时发生，而SSVEP响应于较高频率的刺激产生。TVEP可以由视野中的任何改变引起，例如闪烁的光、打开或关闭的图案或其对比度的突然反转。TVEP随着所呈现的刺激而变化，并且在BCI系统中很少使用。
BCI系统中更常使用的SSVEP是以高于6Hz的频率改变的视觉刺激引发的。如果刺激是闪烁，则SSVEP显示出正弦波状的波形，其基本频率与刺激的闪动频率相同。如果刺激是图案，则SSVEP会以反转速率及其谐波发生。与TVEP相比，SSVEP的组成离散频率成分的幅度和相位在长时间段内保持近似恒定。SSVEP比TVEP更不易受眨眼和眼睛运动产生的伪影以及肌电图噪声污染影响。
混合式BCI系统：集成方法
如本文所述，基于视频的眼睛跟踪可以与VEP或ERP形式或者其他形式的神经活动结合使用，以启用指点控制特征并使用神经活动作为控制信号(例如ERP，或感觉运动信号、运动想象信号、大脑状态信号等)。BC接口设备110可以被配置为将集成信号作为整体进行处理。在一些实施例中，除了来自基于视频的眼睛跟踪器102的眼睛运动信号之外，混合式BCI系统100还可以使用来自神经记录头戴装置104的SSVEP信号，以具有集成的混合方法来定位用户的注视点。即，在一些实施例中，基于视频的眼睛跟踪器102可用于通过传达眼睛肌肉的运动的眼动数据来检测任何合适形式的眼睛运动信息，例如扫视、成凹(foveation)和/或瞳孔扩张信息，以及成凹信息。也可以从神经活动(例如从神经记录头戴装置104获取的由视觉响应引发的ERP)间接获得关于扫视眼睛位置的信息。例如，混合式BCI系统100可以被配置为使ERP的发生与特定刺激的呈现在时间和空间上相关联以形成因果关系。因此，来自基于视频的眼睛跟踪器102的眼动数据可以与来自视觉诱发的神经活动和刺激在通过显示器给出的用户界面中的策略性呈现的数据相结合。
作为指点控制特征，跟踪眼睛运动的集成混合方法允许用户通过其眼睛注视的自愿运动来快速选择目标，其中来自基于视频的眼睛跟踪器102的信号和视觉诱发的神经活动在为定位注视提供的信息中相互补充以作为指定控制特征。用户在视觉上将注意力固定在目标上，并且BC接口设备110可以通过神经活动的特征分析和基于视频的眼睛跟踪器信号的特征分析来识别目标。值得注意的是，在混合式BCI系统100中，来自基于视频的眼睛跟踪器102和神经记录头戴装置104的信号作为整体被BC接口设备110分析，其中对每个信号源进行适当的加权。
例如，混合式BCI系统100可以利用由神经记录头戴装置104记录的、由用户可能期望的特定刺激引发的视觉诱发的神经活动。在视觉显示器(例如，显示器106)上呈现的用户界面可以包括特定布置的符号或命令的矩阵。例如，符号可以按行和列布置，并且该矩阵的行或列可以在监视神经信号的同时随机闪烁。当用户注视期望的符号时，仅当包含期望的符号的行或列闪烁时，才能引发神经活动。混合式BCI系统100可以使用来自基于视频的眼睛跟踪器102的数据(即，眼睛运动数据)和来自神经记录头戴装置104的数据(即，刺激呈现数据)来实现指点控制特征，以便三角测量并快速定位和确定用户期望的目标符号。
混合式BCI系统100可以使用整体处理技术来确定期望的目标刺激。通过适当地加权，整体处理技术可以同时处理来自一个或多个可用信息源的信号，包括眼睛位置、刺激呈现、神经活动和与视觉响应相关联的大脑信号。在定位并确定期望的目标符号后，混合式BCI系统100可以使用记录的神经活动(例如P300信号)来实现动作控制特征。
例如，在以一种或多种模式操作的混合式BCI系统100的一些其他实施例中，动作控制特征可以被实现为仅基于引发神经活动时的刺激呈现来选择刺激，而不管此时的眼睛位置如何。在这种模式下，在整体处理期间，信号的加权可能会偏向于刺激呈现信息。
可替代地，在一些实施例中，可以以一种或多种模式来实现动作控制特征，其中混合式BCI系统在检测到神经活动(导致合适的用户响应时间和反应延迟)的时间点选择用户可能注视的任何特征。因此，在检测到神经活动时用户的注视越过的任何符号或刺激将被选择，而与哪个刺激可能引起了神经活动无关。该特征可以通过变更有利于眼睛位置信号的权重来实现，以确定在整体处理期间要选择哪个刺激。混合式BCI系统100的实施例可以包括能够支持上面给出的两种场景的操作模式，以及还可以通过适当地变更赋予所使用的各种信号(例如眼睛位置信号、刺激呈现信息(包括刺激的性质、呈现的时空方面、呈现的顺序等))和所记录的神经活动的加权而在这些示例性模式之间操作的其他中间模式。混合式BCI系统100还可以使用其他信息源，包括用户的眼睛的生物模型、基于先前的信息或实时收集的累积信息对正由特定刺激产生的特定神经活动的似然估计。
在一些实施例中，可以以不同的组合将布置的符号闪烁几次以多次采样用户的选择。然后可以平均来自每个组合的信号以提高检测正确符号的精度。视觉符号可以伴随着如听觉或触觉刺激的其他形态的刺激。
通常，在BCI系统中，试验的重复可能很麻烦，并且会减慢使用如P300的神经活动信号的选择过程。然而，减少重复可能面临降低选择的精度的风险。在本文描述的混合式BCI系统100中，通过使用如下所述的复杂分类器，可以提高基于神经活动的选择的精度，同时保持很少的重复试验。通过优化刺激呈现(例如视觉符号的显示)的性质以及通过选择和改变刺激的适当性质(例如符号的尺寸或颜色，它们的布置等)，还可以提高视觉诱发的神经活动的检测精度和总体上的用户体验。还可以通过配置用户界面以使用来自用户的特定反馈预测行为来改善体验。
除了来自神经记录头戴装置104的神经活动之外，使用基于视频的眼睛跟踪器102的优点之一是可以非常快速地分析眼睛运动，同时保持健壮的信号获取。通过实现复杂的分析例程，用户的注视和聚焦的位置可以被实时处理。此外，基于视频的眼睛跟踪器102可能不易受到与通过神经记录头戴装置104记录的神经活动相同的噪声源影响。在如本文所述的集成方法中使用神经活动与基于视频的眼睛跟踪器信号这两者来处理眼睛运动可以提供更健壮的信号，符合所期望的高速和高精度接口。在这种配置中，一个通道可以弥补另一个通道的弱点。此外，将两个数据集作为整体进行处理的方法允许根据其他参数(如用户历史和导航的界面的特定细节等)对各个信号进行适当的加权。
在一些实施例中，眼动响应可用于改变刺激呈现顺序。在具有高精度的眼睛运动检测时，视觉诱发的神经活动需要重复的刺激闪烁。这可能对用户体验造成不愉快的影响。为了避免这个，混合式BCI系统100可以例如根据眼动信息来估计用户的聚焦象限，并减少或限制必须闪烁到显示器的那个象限的视觉刺激的数量。因此，显示器的子部分的闪烁可以链接到扫视，并且只有在扫视到该位置后才能触发闪烁。
与混合式BCI系统的用户交互
图5A-5E示出了根据一个实施例的与混合式BCI系统100的用户交互。在该示例中，混合式BCI系统100用于在两步过程中拼写单词，并且在图5A中显示器106呈现了字符的几个子组(例如，键盘上常见的字母、数字和符号)。用户佩戴了基于视频的眼睛跟踪器102和神经记录头戴装置104，如图5C中所示。当用户将其注视聚焦在包含期望字母的子组(例如，图5A中的高亮圆圈所指示的子组)上时，显示器106中呈现的用户界面变为图5B中所示的用户界面，其中聚焦的子组被放大。然后，用户可以通过将注视聚焦在该子组中的特定的期望字母上来执行选择字母的动作。然后通过使用所记录的神经活动来实现动作控制特征以执行要用于形成单词或句子的字母的选择。
上面参考图5A和5B描述的指点控制特征是利用图5C中所示的基于视频的眼睛跟踪器102实现的。基于视频的眼睛跟踪器102被配置为检测用户正将他们的注视聚焦在何处，然后输出例如图5D中所示的信号。动作控制特征(即，激活)是利用图5C中所示的神经记录头戴装置104实现的。神经记录头戴装置104被配置为记录来自用户大脑的神经信号，然后输出例如图5E中所示的信号。然后，处理器(未示出)可以从作为整体的眼睛跟踪信号(图5D)和神经信号(图5E)中提取有意义的特征，并且要么以无监督和/或半监督的方式，要么通过基于经过对每个特定用户的严格训练而建立的先前模型对信号进行分类，来对它们进行分析。分析后的数据然后可以用于预测用户行为，诸如用户的焦点，和/或选择或激活预测焦点所在的的符号。
图5F示出了基于视频的眼睛跟踪之后的时间上的示例性事件流。在一些实施例中，如图5F中的示例所示，即使在用户的自我运动的有意识感知之前，混合式BCI系统也可以检测到扫视眼睛运动。即，当眼睛运动紧接在用户的有意识的决策之后或甚至在用户的有意识的决策之前发生，也可以在线检测到眼睛运动。例如，用户可以聚焦在如图5A中所示的一组字母上，并且可能开始做出朝向另一组的眼睛运动。甚至在他们有意识地注意到自己的运动之前，本文公开的混合式BCI系统也可以检测并使用眼睛运动来适当地修改用户界面，在这种情况下是放大下一组字母。
示例性的混合式BCI系统
图6示出了根据一个实施例的混合式BCI系统600。在一些实施例中，BCI系统600可以在结构和/或功能上类似于上面参照图1描述的混合式BCI系统100的对应部分。例如，BCI系统600包括可以与混合式BCI系统100的基于视频的眼睛跟踪器106、神经记录头戴装置104、可选的显示器106和大脑-计算机接口设备110相同或相似的基于视频的眼睛跟踪器606、神经记录头戴装置604、可选的显示器606以及大脑-计算机接口设备610。因此，在此不进一步详细描述这样的类似部分和/或方面。
在一些实施例中，大脑-计算机接口设备610的处理器620可以包括同步的事件日志记录器622，该同步的事件日志记录器622经由I/O单元640接收眼睛跟踪和神经信号数据，并且对信号数据加时间戳以相互同步。在一些实施例中，同步的事件日志记录器622可以被配置为执行高速眼睛运动分类。
注视信号可以分解为扫视(短持续时间)时段和成凹(长持续时间)时段。如果可以克服当前标准的基于阈值的扫视检测算法中固有的时间滞后，则可以更好地利用这些不同的注视成分。另外，基于视频的眼睛跟踪器可以与非生理伪影(特别是与眨眼有关的)和相对于眼睛的相机运动相关联。为了克服这些限制等，在一些实施例中，同步的事件日志记录器622可以并入具有自定义机器学习算法的概率过滤系统，以允许在使眼睛跟踪器相机采样率要求最小化的情况下进行高速眼睛运动检测。特别地，同步的事件日志记录器622可以实现与机器学习分类器结合的无滞后滤波器，机器学习分类器无需明确的训练并且可以在移动开始的2毫秒内实时检测扫视。
通常，由当前可用的BCI实现的时间序列上的任何平滑函数(例如Butterworth滤波器、移动平均值、滤波器)都会在平滑值中引入与实际测量值相比的滞后，从而阻碍了高速的实时注视分类系统。在一些实施例中，本文描述的大脑-计算机接口设备610可以使用非线性的产生式模型，非线性的产生式模型利用基于注视运动学和基于视频的眼睛跟踪器的技术参数的状态和测量模型将注视估计为动态学系统。在一些实施例中，可以使用基于双重卡尔曼滤波器的双重估计以便估计嘈杂的注视数据的隐藏状态并近似底层系统模型。这种实现方式可以允许注视数据的过滤而不引入时间滞后。此外，当摄像机采样率降低或瞬态伪影发生时，理论上的注视运动学模型可用于估计缺失的注视数据。同时，这导致机器学习分类系统在没有用户的显性知识的情况下自动训练，以在运动期间(而非之后)实时检测眼睛的运动。
在一些实施例中，同步的事件日志记录器622可以被配置为使用如在集成方法的示例中描述的迥然不同的生理信号来实现对注意力的整体估计。在一些实施例中，同步的事件日志记录器622可以被配置为实现使用以下项的分析流水线：(1)贝叶斯线性辨别系统，(2)最先进的预处理，(3)空间滤波，(4)套袋整体分类器算法和(5)高阶oracle算法，其在实验任务期间利用程序例程并入来自分类算法的信息，以提高选择精确度。大脑-计算机接口设备610也可以被配置为使用流水线中的可分离成分的并行化和异步处理，以确保在消费者级别的个人计算机上的性能。
在一些实施例中，同步的事件日志记录器622可以被配置用于实时处理所收集的整体中的动眼-神经数据，以检测用户意图，如本文所述。例如，所呈现的每个视觉刺激可以诱发由神经记录头戴装置604捕获的签名神经活动(例如P300信号)。如本文所述，神经活动可以用作指示用户对刺激的注意力和动作意图的控制信号，并且在特定视觉刺激或标记下的外显注意力(overt attention)的可能性可以根据每个视觉刺激或标签的神经活动分类得分进行估算。根据视网膜中的高保真中央凹区的感受野，基于以注视固定为中心的视觉空间中的度数，在与刺激相关联的信号中可以存在反映出空间不确定性和外显注意力的衰减。神经活动得分的量化和信号中的衰减可以用于实时、准确的基于动眼-神经记录的用户意图分类，解决了组合迥然不同的生理信号的机器学习挑战以及随着时间推移的神经活动信号延迟中的时间漂移。此外，它最大化了信号信息，使得个体视觉刺激和注视位置信号可以更新对多个对象的外显注意力的概率。
在一些实施例中，处理器620可以包括训练器624，训练器624被配置为呈现通过用户界面渲染的训练环境。训练环境可以被配置为向用户呈现一组预定的受控刺激并记录因而发生的眼睛运动和/或大脑活动。然后，这组受控刺激和所诱发的与每个受控刺激对应的眼睛和大脑活动可以存储在存储器660中，并由模型构建器626用作训练数据以构建针对个体用户量身定制的统计模型。模型构建器626可以使用一种或多种如降维方法之类的统计工具、特征提取方法、机器学习工具来构建分类器等。模型可以使用由训练器624提供的训练数据来构建、测试和交叉验证，然后可以与来自该特定用户的新数据一起使用，以实现与用户界面交互的高精度和速度。
在一些实施例中，处理器620可以包括预测器628，预测器628可以从特定用户接收新数据，基于来自模型构建器626的结果对数据进行分类，并且使用如最大似然估计、最大后验估计等的统计工具来产生用户行为的预测。在一些实施例中，处理器620还可以包括架构开发器632，架构开发器632接收眼睛跟踪和大脑信号数据以及来自处理器620的其他子部件(例如，训练器624、模型构建器626和预测器628)的数据。架构开发器632可能不打算用于实时使用，而是朝着潜在的BCI算法检测架构的原型设计，用于离线的健壮统计分析。
混合式BCI系统的使用和实现
图7示出了根据一个实施例的集成的混合式大脑-计算机接口设备的操作的示例性过程700。在一些实施例中，过程700包括在某个时间点针对与神经记录头戴装置和眼睛跟踪器(以及其他外围传感器和/或致动器)相关联的特定用户开始数据获取和预处理的初始步骤701。这种开始和信号获取可以通过例如同步的事件日志记录器622实行。过程700还包括应用由如上面所述的训练器624的训练器实现的训练环境的步骤703。训练环境的呈现可以包括在步骤705中显示的一组预编程的受控刺激，并且因而发生的眼睛运动和大脑活动可以在步骤707中记录。对于刺激序列，如步骤719所示，可以重复变化但受控的刺激的呈现以及对应的眼睛和大脑数据的收集。可以将数据馈送到模型构建器(例如，模型构建器626)，并且可以使用训练集中的每组新刺激来更新模型。随后，过程700可以包括包含一个或多个新型刺激但可能与用于训练系统的一个或多个预编程的刺激相关联的新环境的呈现。使用由模型构建器626构建的统计模型，预测器628然后可以使用任何合适的统计工具来产生用户行为的预测，如在步骤713中确定焦点并在步骤715中从大脑数据估计用户意图(即，选择或激活所显示的特定符号)。基于这些预测，过程700然后包括步骤717，以在用户界面中实现用户的意图。例如，步骤717可以包括选择拼写器中的字母，选择游戏中的角色或选择与可以在增强现实系统中操作的电视系统相关联的ON功能。
混合式BCI系统修改
操作模式
本文描述的混合式BCI系统100和/或600和其他实施例可以被配置为使用由外部刺激(例如VEP、听觉诱发电位(AEP)或P300信号)引发的大脑活动的外源性BCI系统。外源性系统无需进行大量训练，因为它们来自神经活动的控制信号可以容易且快速地设置。值得注意的是，信号控制可以通过较少的神经记录通道来实现，并且可以实现高达60比特/分钟的高信息传输率。
在一些实施例中，混合式BCI系统100、600可以被修改作为内源性BCI系统操作，内源性BCI系统基于大脑节奏和电位的自我调节而无外部刺激。例如，通过神经反馈训练，用户可以学习产生可被BCI解码的特定大脑模式，诸如感觉运动节奏的调制。内源性BCI的一个优点是，用户可以随意操作BCI并做出成像的自愿运动，将其转化为指点控制特征(如光标)到二维空间中的任何点的运动。其他特征(如手势)也可以进行训练，并用作提示，以获得对用户界面的操作控制，从而减轻了对用户受制于所呈现的选择的限制。
在一些实施例中，混合式BCI系统100、600可以以同步(提示速度)模式或以异步(自定速度)模式使用。BCI中的同步模式可以是更简单的设计，着重于由特定刺激触发的大脑活动的预定时间窗口。在同步模式下，混合式BCI系统100、600可以仅分析预定时间窗口期间的大脑信号，并且可以忽略窗口外的任何大脑信号。因此，仅允许用户在混合式BCI系统100、600确定的特定时段内发送命令。同步模式的一个优点是，心理活动的发作是预先知道的并与特定提示相关联。用户也可能无意间执行了眨眼以及其他眼睛或身体的运动，这可能会产生伪影。由于未分析指定时间窗外的大脑信号，因此避免了这些伪影的误导性影响。
在一些实施例中，混合式BCI系统100、600可以在异步模式下操作，该异步模式持续地分析大脑信号，而不管用户何时进行动作。虽然更复杂并且因此要求更多计算，但是异步模式可以提供更自然的人机交互模式，由于用户不必等待任何外部提示。此外，当用户在他或她的动作的常规过程期间与混合式BCI系统100、600交互时，将收集更丰富的数据。
实现高速信号检测和分类
本文描述的动眼神经集成混合式BCI系统智能且灵活地利用动眼信号(如来自基于视频的眼睛跟踪器102的信号)和包括VEP的神经信号的强度分别作为选择和激活信号。这个系统的一个关键部件是眼睛运动的高速分类。如上参考同步的事件日志记录器622的操作所描述的，混合式BCI系统600可以被配置为以无滞后的方式执行扫视检测。例如，混合式BCI系统600可以使用将注视估计作为动态学系统的非线性的产生式模型来零滞后地过滤注视数据，其中状态和测量模型基于视频眼睛跟踪器的注视运动学和技术参数。基于双重卡尔曼滤波器的双重估计可以用于估计嘈杂的注视数据的隐藏状态并近似底层系统模型。因此，注视数据的过滤可以在不引入时间滞后的情况下完成。此外，理论上的注视运动学模型可以在降低相机采样率时或在瞬态伪影发生时估计缺失的注视数据。混合式BCI系统600还可以包括在无需外显训练阶段的情况下自动训练的机器学习分类系统，从而支持眼睛运动的实时检测。
在一些实施例中，无滞后的扫视运动检测可以转化为在进行眼睛运动时检测扫视运动发作的能力。如例如图5F中所示，检测延迟(扫视开始后约2ms)可以短于人类对视觉场景变化的感知(大约50-150ms)。因此，混合式BCI系统100和/或600可以使用扫视开始矢量作为用将看向何处的预测，然后在用户觉察到视觉信息的变化之前相应地更新用户环境。例如，在节目或游戏期间，用户可能计划暂停游戏。当用户的眼睛开始朝暂停菜单项移动时，扫视开始向量可用于预测暂停的意图，并在用户将注视转移到聚焦在暂停菜单项上之前选择暂停菜单。在一些实施例中，检测延迟可以是大约1.00ms、2.00ms、3.00ms、5.00ms、10.00ms或15.00ms(或之间的任何时间段)。
伪影的处理
伪影是污染大脑活动的不期望的信号，并且大部分是非大脑起源的。由于神经现象的形状受到影响，伪影可能会降低基于BCI的系统的性能。伪影可能是生理起源的，也可能是非生理的或技术的伪影。
生理伪影通常是由于肌肉、眼部和心脏活动引起的。由于肌肉收缩引起的电活动会引起大脑信号中的大扰动，这种肌肉收缩发生在患者说话、咀嚼或吞咽时。其他伪影可以通过眨眼和其他研究运动产生。眨眼通常会在大脑信号上产生高振幅模式，而眼睛会产生低频模式。与心脏活动相关联的伪影将有节奏的信号引入大脑活动中。技术伪影主要归因于电源线噪声或电极阻抗的变化，通常可以通过适当的滤波或屏蔽来避免。生理伪影的避免是困难的，并且排斥方法建议丢弃被伪影污染的时期。当伪影幅度太小时，自动排斥可能会失败。此外，当丢弃被伪影污染的信号时，排斥方法导致用户失去设备控制的交互的一部分。代替排斥样本，伪影去除方法试图识别并消除伪影，同时保持神经系统现象完整。去除神经中的伪影的常用方法是线性滤波、线性组合和回归、BSS和PCA。代替从大脑信号的记录中除去伪影，系统100和/或600可以处理伪影以提供可以使用的通信路径。
在一些实施例中，混合式BCI系统100、600可以从伪影中获得优势，从而有利于用户体验。例如，系统100、600可以被配置为检测有伪影的运动，如眨眼、下颌咬紧和其他与心脏有关的变化。对这些伪影的检测和分类为将无噪声应用提供了使用原始神经信号的范围。在一些实施例中，动眼神经数据中检测到的伪影也可以由于它们在用户行为中的已知因果关系而被利用。例如，如下所述，如眨眼、下颌咬紧和面部表情之类的伪影可以用作控制信号，以实现动作控制特征。
以异步模式操作的混合式BCI系统100、600的实施例可以使用结合了带有聚类模型的热训练集以及n维特征空间内的欧几里得距离的检查的无监督分类系统。伪影识别方法可以通过使用数据的滑动窗口来执行，在该滑动窗口上计算特征并然后基于n维空间上的聚类模型对特征进行分类。随时间描述的伪影强度可以用于通过任何合适的基于聚类的技术进行分类，例如，基于数据点到每个聚类质心的欧几里得距离的分类方法。
常规的BCI系统记录数据并以设置的时间间隔提取和处理所记录的信号以确定用户意图和用户状态。在一些实施例中，本文所述的混合式BCI系统100和/或600可以被配置为处理记录的数据，利用每个传入的样本检查“事件”的存在，并使用“事件”的存在或不存在来触发程序的连锁反应。这可以促进数据分析，从而在预期某些行为的情况下改变处理流水线，或者以某种方式修改用户的环境。通过在每个传入样本(来自任何设备源)上剥离处理流水线并然后使该数据经过分类器以确定其类型，可以在多线程环境中处理此过程。
事件包括眨眼、事件电位、运动伪影、过多的信号噪声和观察到的活动中的突然下降。在分析阶段之后，界面可以确定是否发生了可分类事件，如果是，则它可以触发特定事件序列。图8A中是示出了所记录的活动的示例性时期。例如，当观察到眨眼时，触发器可以指示系统在接下来的5毫秒内忽略传入的眼睛数据。当观察到事件电位时，触发器可以指示系统识别环境变化与事件的突然存在之间的相关性，以识别哪个特定的变化影响了用户的大脑活动。此类示例性事件在图8A中用绿色和红色条突出示出。
先前的BCI实现方法是在事件发生后利用固定的时延(即50ms)。在经过固定的时延后，改变用户环境，并分析与该时间段有关的数据。相反，根据一些实施例的100和/或600可以实现一种方法，其中不使用特定的时延或时间段，而是以连续的方式分析传入的数据。当系统识别并分类特定类型(由实验人员定义)的事件时，可以针对附加信息分析所提取的适当数据。例如，当检测到事件(诸如图8B中所示的事件)时，检测可以触发一系列过程。因此，大脑活动可以充当控制信号，并且特定特征的检测可以变为其他事件、动作和/或结果的致动器。这种方法可以类似于执行如单击鼠标或按下直接触发即时操作的按钮之类的操作，这不同于轮询模型，在轮询模型中，例如，用户可能会定期更新其邮寄地址和电话簿以将旧地址替换为新地址。
用户界面修改
如本文所述，可以通过视听显示器(例如，图1中的显示器106)来呈现混合式BCI系统100、600中的用户界面。用户界面使得用户能够通过指点控制特征聚焦并指点特定刺激，并使用动作控制特征选择或取消选择特定刺激。为了实行此操作，用户界面包括一个选择集，选择集是用户可以做出的一组可用选择。选择集的示例可以包括字母数字矩阵上的字母/数字、方向箭头、或在控制显示器上策略性地布置的具有不同形状的多组图标或目标。选择方法描述了BCI将如何直接或间接解读来自用户的命令。直接选择允许用户直接从选择集中选择任何项，而间接选择需要在用户可以做出选择之前的中介步骤。
图9A示出了包括符号(字母或数字)的用户界面的两个示例性布局。在一个示例中，在某个时间一起呈现和闪烁所有符号。在第二示例中，在闪烁的组中显示仅一个符号(X)，而其他的符号则以星号形式隐藏。在一些实施例中，该第二布局可以改善处理时间，同时减少已知的感知问题，从而减少基于神经活动的BCI分类精度。该布局还可以用于指示用户界面策略的变化，例如，布局可以指示进入“保持释放模式”，这将在下面进一步描述。
用户界面可以被配置为呈现用户与BCI之间的接口的特性。用户界面可以包括三种类型的特性：(1)空间，(2)感官和(3)激活/去激活。空间特性包括图标或目标的大小、数量和形状；感官特性包括提供给用户的刺激和反馈，无论是听觉、视觉还是体感；激活/去激活包括人/技术交互的质量。
交互的质量可以由努力(使用BCI的难度)、位移(需要多少运动来响应)、灵活性(可以使用BCI的方式的数量)、耐用性(BCI硬件的可靠性)、可维护性(BCI的维修的容易程度)以及激活或释放的方法(做出/激活或停止/去激活选择的能力以及如何做出选择)。激活和去激活可以具有不同的功能，并且可以想到仅将作为动作控制输激活用作入触发器或瞬时开关。在这种情况下，仅激活会产生作用，并且保持激活的持续时间不会改变结果。同时使用激活和去激活允许更复杂的控制功能，并且控制输入可以充当按钮。例如，在电视遥控器上，您可以激活并包括其中一个音量键以保持增大音量。在这种情况下，保持选择会导致连续变化，而释放它会保持当前状态。
基于神经活动的保持释放模型
如本文所述，BCI系统100、600可以合并基于神经活动的BCI功能作为其用户界面的一部分，其中基于神经活动的BCI中的目标的初始激活和去激活(保持释放)可以是分开控制。这可以允许将混合式BCI系统100、600用于需要间接选择的应用程序或需要在状态之间快速改变的应用程序中。此外，通过保持选择或切换对于释放目标的注意力，它可以允许选定目标的确认-取消。
在潜在的实际应用中，BCI显示器上的目标可以具有不同的激活/去激活特性。图8B示出了用于实际应用的示例性混合式BCI用户界面布局。一些项目可以支持保持-释放，从而允许微调，例如，倾斜轮椅(如图8B的项目B1所示)，改变温度(项目A3和B3)或增大电视机的音量(项目C2和D2)。诸如解锁/锁上门(项目D1和E1)之类的安全关键项目可能需要保持-释放的确认-取消步骤，在激活之前需要短暂的保持时间。其余项目将执行传统的基于离散神经活动的动作，诸如打开灯或改变电视频道(C1、A2和B2)。一旦用户选择了具有保持-释放响应的目标(用于调整或确认)，屏幕就会切换到保持-释放模式(图.9B，右侧面板)，其中仅先前选择的目标和释放目标将活跃，而BCI矩阵上的其余目标将无法选择。如果BCI正确识别了期望的目标，则用户将保持所选择的目标，并且BCI将执行动作，直到用户希望该动作停止(倾斜轮椅或改变电视音量)或者长达指定的持续时间以确认该选择(由此防止对安全至关重要的动作的意外激活)。因此，保持释放功能以反映现有辅助技术上可用的多种控制模式扩展了基于神经活动的BCI的使用。
在保持过程期间，BCI所需的唯一信息是用户何时改变他们的选择(例如，停止增大/减小音量或倾斜轮椅)。释放决策的二进制性质允许BCI从非常少的闪烁中做出决策，而不是在多个闪烁序列之后。对于BCI用户而言，这转化成比使用传统的基于神经活动的BCI方法更快的响应时间和更连续的控制。
基于神经活动的引发刺激映射
传统的BCI系统(其观察用户的大脑活动如何响应于对其环境的改变而改变)通常试图在分析一次获得的所有数据并从中确定用户意图之前试图引起用户可能具有的所有可能的行为。在一些实施例中，本文描述的混合式BCI系统100和/或600可以在每次做出改变时分析用户的大脑活动，特别是使用从该分析阶段获得的信息来通知对环境的下一次改变。例如，如果用户有10个可能的动作，则可以对环境做出10个改变，以观察哪个改变引起最理想的响应(由程序定义)。可替代地，在混合式BCI系统100和/或600中，如果同一用户有相同的10个选择，则从第一个改变中获得的信息可以用于通知要做出的下一个改变，并抢先消除某些动作，从而减少了从意图到动作所耗费的时间。因此，不需要完全了解用户的大脑如何响应对环境做出的每一次改变，因为每一次改变都通知不超过仅一个潜在的用户意图。这减少了要记录的信息量，并改为智能地确定识别用户意图所需的哪些信息、快速获取该信息，并且然后继续创建意欲的动作。
在一些实施例中，混合式BCI系统100和/或600还可以实现纠错码来实行从获取的神经信号中的特征提取，以提高使用基于神经活动的系统的信息传输速率。另外，通过将目标叠加在适当的背景上或使用基于移动的替代刺激类型，混合式BCI系统可以利用新方法来减少不服管束的影响(其为基于神经活动的BCI系统中的噪声的主要来源之一)。
动态刺激检测和标记
在一些实施例中，混合式BCI系统100和/或600可以在其用户界面中呈现的增强现实或虚拟现实中合并动态刺激或标记现有动态刺激。即，混合式BCI系统100、600可以识别运动的刺激并动态标记该刺激以及时地跟踪其运动。图9中示出了这种动态识别和标记的示例性实现。
混合式BCI系统100、600可以检测运动对象的存在并将选择标签放置到运动对象上。这些标记可以在轨道时间线上闪烁并保持与对象的共址。然后，用户可以使用BCI选择来触发针对该对象的动作。可替代地，混合式BCI系统100、600可以主要关注跟踪的开始或结束。可以检查跟踪开始或结束附近的神经数据的时间窗口，以查看是否引起了神经活动。这将表明该新对象可能是用户感兴趣的，然后可以触发某个动作。在一些实施例中，可以使用眼睛跟踪信息来查看对象初始运动是否触发了扫视，以在触发动作之前进一步支持将对象假定为兴趣对象。此类动作可以是上述动态标签放置以及其他。
特征提取与模型构建
各种思维活动(认知任务)导致大脑信号的模式不同。在一些实施例中，混合式BCI系统600(和/或100)可以包括模式识别系统，该模式识别系统根据以下特征将每个信号模式分为类。模式识别系统从大脑信号中提取一些特征，这些特征反映出与某个类的相似性以及与其他类的差异。然后可以测量这些特征或从包含辨别性信息的信号性质中得出。如上所述，针对在耦合到特定的硬件外围设备的特定用户界面下、从与特定用户相对应的数据中提取的特征，模型构建器626可以使用一系列统计工具来建立统计模型。
大脑信号中感兴趣的信息通常隐藏在高度嘈杂的环境中，并且大脑信号包括大量同时发生的源。可能感兴趣的信号可能在时间和空间上被来自不同大脑任务的多个信号重叠。因此，在许多情况下，仅使用简单的方法(例如带通滤波器)来提取期望的频带功率是不够的。
也可以通过多个通道来测量大脑信号。由所测量的通道提供的所有信息通常并非都与理解感兴趣的底层现象有关。可以应用降维技术(例如主成分分析或独立成分分析)来减少原始数据的维度，消除不相关和冗余的信息。由此，可以降低计算成本。
大脑信号在本质上也是不稳定的，因此，在一些实施例中，可能期望的是获得关于某个特征何时发生的时间信息。可以使用将信号分成短片段的一些方法，可以从每个片段中估计参数。可以执行一个或多个数据转换，包括如快速傅立叶变换(FFT)、小波变换或自适应自回归分量之类的方法，或者可以执行固定子空间分析(SSA)之类的技术，以揭示大脑信号的非固定时间变化。SSA将多元时间序列分解为固定成分和非固定成分。在被连接成单个特征向量之前，可以从若干个通道和多个时间片段中提取多个特征。
信号分类与预测
混合式BCI系统100、600中的分类步骤的目的是基于表征特征步骤所提供的大脑活动的特征向量来识别用户的意图。可以经由离线、在线或这两种阶段来开发分类算法。离线阶段涉及对数据集的检查，例如BCI竞争数据集，这些数据集是从自适应或闭环系统中收集的。可以从跨整个阶段的观察中估计数据的统计，并且可以执行长期计算。分析人员可以对结果进行审查，以期对算法进行微调。在混合式BCI系统的一些实施例中，可以以因果的方式在线评估数据，以评估真实世界。例如，可以在如下环境中测试所使用的分析算法：在该环境中，由于用户动机或参与度的变化，用户配置文件可能会随时间变化。
分类算法可以由用户通过使用加标签的数据集的监督学习来校准。但是，大脑信号以及眼睛运动信号本质上是不固定的，其区别特性随时间而改变。例如，在校准阶段期间在实验样本中观察到的模式可能与在线阶段期间记录的模式有所不同。可替代地，对用户的渐进式心理训练或者甚至专注度、注意力或动机的变化都可能影响大脑信号。在一些实施例中，本文所述的混合式BCI系统600(和/或100)可以使用自适应算法，该自适应算法可以适应区别特征中的变化。
在一些实施例中，混合式BCI系统100、600可以使用半监督学习算法来检测和分类信号。可以使用小的带标签的数据集对半监督学习分类器进行初始训练，之后可以利用在线测试数据对分类器进行更新。这种方法可以通过以连续方式在在线阶段期间更新分类器来减少所需的训练时间。
在一些实施例中，混合式BCI系统100、600可以使用无监督学习或强化学习或这些方法的组合来检测和分类大脑信号和/或眼睛运动信号。无监督方法可以用于找到不带标签的数据中的隐藏结构，以便对它们进行分类。混合式BCI设备的一些实施例可以使用无监督方法，这无监督方法依赖于用户和机器的互适应学习或者协变量迁移适应的技术。一些实施例可以使用基于区分当受试者意识到错误决策时引发的神经信号的强化学习的方法。这些反馈信号可以用作学习信号，以防止将来重复该错误。
结论
总之，本文描述了在用户可实时操作的集成混合式大脑-计算机接口的实现中使用的系统和方法。所公开的系统包括实现指点控制特征的眼睛跟踪系统和实现动作控制特征的大脑活动跟踪系统。这两个特征都是通过呈现用户界面来实现的，该用户界面被策略性设计为实现高速且精确的操作。此外，所公开的系统和方法被配置为与硬件无关，以在传达虚拟、增强或真实环境的用户操纵的任何合适的平台上实现实时的混合式BCI。图11示出了具有创造性的混合式BCI系统和方法的使用空间的图示。
尽管上面已经描述了各种实施例，但是应该理解，它们仅是以示例而非限制的方式呈现的。当上述方法指示以某些次序发生的某些事件时，可以修改某些事件的次序。另外，某些事件可以在可能的情况下在并行过程中同时执行，也可以如上所述顺序执行。
在上述示意图和/或实施例指示以某些方位或位置布置的某些部件的情况下，可以修改部件的布置。尽管已经具体示出和描述了实施例，但是应当理解，可以做出形式和细节上的各种改变。除了相互排斥的组合之外，本文描述的装置和/或方法的任何部分可以以任何组合进行组合。本文描述的实施例可以包括所描述的不同实施例的功能、部件和/或特征的各种组合和/或子组合。
Claims (22)
1.一种装置，包括：
显示器，被配置为向用户呈现交互式环境；
眼睛跟踪器，被配置为记录由用户产生的眼睛运动信号；
神经记录设备，被配置为记录由用户产生的神经信号；
接口设备，可操作地耦合到显示器、眼睛跟踪器和神经记录设备，该接口设备包括：
存储器；以及
处理器，可操作地耦合到存储器并被配置为：
接收来自眼睛跟踪器的眼睛运动信号和来自神经记录设备的神经信号；
经由交互式环境产生并向用户呈现刺激；
处理眼睛运动信号和神经信号，以基于眼睛运动信号和神经信号中的至少一个确定用户的焦点；
处理从神经记录设备接收的神经信号，以确定用户意欲的动作；以及
实现用户意欲的动作并更新交互式用户界面的呈现。
2.如权利要求1所述的装置，其中：
眼睛跟踪器是基于视频的眼睛跟踪器，
神经信号包括脑电图(EEG)信号，所述EEG信号包括视觉诱发电位、运动想象信号、事件相关电位(ERP)和与大脑状态有关的信号，并且
所述处理器还被配置为综合所述眼睛运动信号和所述EEG信号以确定用户的焦点。
3.如权利要求1所述的装置，其中：
神经信号包括脑电图(EEG)信号，所述EEG信号包括视觉诱发电位、听觉诱发电位、运动想象信号、事件相关电位(ERP)和与大脑状态有关的信号中的至少一个。
4.如权利要求1所述的装置，其中所述刺激包括视觉刺激、听觉刺激和触觉刺激中的至少一个。
5.如权利要求1所述的装置，其中所述处理器还被配置为定义所述显示器的一组部分，并且基于所述用户的焦点的确定，在所述显示器的所述一组部分中的一个部分中重复地呈现所述刺激。
6.如权利要求1所述的装置，其中所述处理器还被配置为实现无滞后滤波器和分类器，以处理眼睛运动信号和神经信号中的至少一个，从而确定用户的焦点。
7.如权利要求1所述的装置，其中所述处理器还被配置为实现双重卡尔曼滤波器和分类器，以处理眼睛运动信号和神经信号中的至少一个，从而确定用户的焦点。
8.如权利要求1所述的装置，其中所述处理器还被配置为：
产生模拟用户的一组眼睛运动的运动学模型；
识别眼睛运动信号中的缺失数据点集；
基于运动学模型，计算用于替换眼睛运动信号中的缺失数据点集的替换数据点集；以及
合并替换数据点集以替换缺失数据点集并产生更新的眼睛运动信号。
9.一种非暂时性处理器可读介质，其存储有表示将由处理器执行的指令的代码，所述指令包括使所述处理器执行以下操作的代码：
产生能被用户操纵以执行一组动作的交互式用户环境；
定义能经由交互式用户环境呈现给用户的一组刺激；
向用户呈现所述一组刺激中的至少一个刺激；
从眼睛跟踪器和神经记录设备接收与用户行为相关的输入；
基于所接收的输入和所呈现的刺激，确定用户意欲的动作；以及
经由交互式用户环境实现所述动作。
10.如权利要求9所述的非暂时性处理器可读介质，其中，接收输入的代码包括使所述处理器执行以下操作的代码：
从自眼睛跟踪器接收的输入中提取由用户产生的眼睛运动信号；
从自神经记录设备接收的输入中提取由用户产生的神经信号，所述神经信号包括脑电图(EEG)信号，所述EEG信号包括视觉诱发电位、运动想象信号、事件相关电位(ERP)和与大脑状态有关的信号；以及
使用综合方法处理所述眼睛运动信号和所述EEG信号，以确定用户的焦点。
11.如权利要求9所述的非暂时性处理器可读介质，其中，接收输入的代码包括使所述处理器执行以下操作的代码：
从自神经记录设备接收的输入中提取由用户产生的脑电图(EEG)信号，所述EEG信号包括视觉诱发电位、听觉诱发电位、运动想象信号、事件相关电位(ERP)和与大脑状态有关的信号中的至少一个；以及
处理所述EEG信号以确定用户的焦点。
12.如权利要求9所述的非暂时性处理器可读介质，其中，使所述处理器确定用户意欲的动作的代码包括使所述处理器执行以下操作的代码：
从所述一组刺激中提取与所呈现的刺激相关的信息；
定义一组权重并将其应用于从眼睛跟踪器接收的输入、从神经记录设备接收的输入和与所呈现的刺激相关的信息中的每一个，以产生从眼睛跟踪器接收的输入、从神经记录设备接收的输入和与所呈现的刺激相关的信息中的每一个的加权表示；
组合所述加权表示以形成整体表示；以及
处理所述整体表示以产生用户意欲的动作的预测。
13.如权利要求9所述的非暂时性处理器可读介质，其中，使所述处理器确定用户意欲的动作的代码包括使所述处理器执行以下操作的代码：
从自眼睛跟踪器接收的输入中提取眼睛运动信号；以及
基于所述眼睛运动信号，实现无滞后滤波器和分类器以确定用户的焦点。
14.如权利要求9所述的非暂时性处理器可读介质，其中，接收输入的代码包括使所述处理器执行以下操作的代码：
从自眼睛跟踪器接收的输入中提取眼睛运动信号；
识别眼睛运动信号中的缺失数据点集；
针对模拟用户的眼睛运动产生运动学模型；
基于所述运动学模型，估计用于替换眼睛运动信号中的缺失数据点集的替换数据点集；以及
合并所述替换数据点集以替换所述缺失数据点集从而产生更新的眼睛运动信号。
15.如权利要求9所述的非暂时性处理器可读介质，其中，接收输入的代码包括使所述处理器执行以下操作的代码：
从自眼睛跟踪器接收的输入中提取眼睛运动信号；
识别眼睛运动信号中的人为数据点；
针对模拟用户的眼睛运动产生运动学模型；
基于所述运动学模型，估计用于替换眼睛运动信号中的人为数据点的替换数据点集；以及
合并所述替换数据点集以替换所述人为数据点，从而产生更新的眼睛运动信号。
16.一种方法，包括：
经由交互式用户界面向用户呈现刺激；
从眼睛跟踪器和神经记录设备接收与用户行为相关联的输入；
接收与所呈现的刺激相关的信息；
产生包括与用户行为相关联的输入和与所呈现的刺激相关的信息的整体数据集；
处理所述整体数据集以确定用户意欲的动作；以及
经由交互式用户界面实现所述动作。
17.如权利要求16所述的方法，其中，所呈现的刺激包括动态视觉刺激，所述方法还包括：
检测所述动态视觉刺激的运动；
跟踪所述动态视觉刺激的运动；以及
标记所述动态视觉刺激。
18.如权利要求16所述的方法，还包括：
从自眼睛跟踪器接收的输入中提取眼睛运动信号；
从自神经记录设备接收的输入中提取神经信号，所述神经信号包括脑电图(EEG)信号，所述EEG信号包括视觉诱发电位、运动想象信号、事件相关电位(ERP)和与大脑状态有关的信号；以及
综合所述眼睛运动信号和所述EEG信号以确定用户的焦点。
19.如权利要求16所述的方法，还包括：
从自眼睛跟踪器接收的输入中提取眼睛运动信号；以及
基于所述眼睛运动信号，实现与分类器组合的无滞后滤波器，以确定用户的焦点。
20.如权利要求16所述的方法，还包括：
从自眼睛跟踪器接收的输入中提取眼睛运动信号；
识别所述眼睛运动信号中的缺失数据点集；
产生用于预测模拟用户的眼睛运动的运动学模型；
基于通过所述运动学模型预测的模拟用户的眼睛运动，估计用于替换所述眼睛运动信号中的缺失数据点集的替换数据点集；以及
合并所述替换数据点集以替换所述缺失数据点集并产生更新的眼睛运动信号。
21.如权利要求16所述的方法，其中产生整体数据集包括：
从自眼睛跟踪器接收的输入中提取眼睛运动信号；
从自神经记录设备接收的输入中提取神经信号；
定义一组权重并将其应用于所述眼睛运动信号、所述神经信号和与所呈现的刺激相关的信息中的每一个，以产生所述眼睛运动信号、所述神经信号和所述与刺激相关的信息的加权表示；以及
组合所述眼睛运动信号、所述神经信号和所述与刺激相关的信息的加权表示，以形成整体数据集。
22.如权利要求16所述的方法，还包括：
从自眼睛跟踪器接收的输入中提取眼睛运动信号；
从自眼睛跟踪器收到的输入中提取眼睛跟踪器的技术参数；
基于眼睛跟踪器的技术参数，产生非线性的产生式运动学模型以预测用户的眼睛运动；
基于自眼睛跟踪器接收的眼睛运动信号和通过所述非线性的产生式运动学模型预测的眼睛运动信号，计算更新的眼睛运动信号；以及
确定与所述更新的眼睛运动信号相关联的用户的焦点。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201762549253P | 2017-08-23 | 2017-08-23 | |
| US62/549,253 | 2017-08-23 | ||
| PCT/US2018/047598 WO2019040665A1 (en) | 2017-08-23 | 2018-08-22 | BRAIN-COMPUTER INTERFACE PROVIDED WITH HIGH-SPEED OCULAR FOLLOWING CHARACTERISTICS |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111629653A true CN111629653A (zh) | 2020-09-04 |
| CN111629653B CN111629653B (zh) | 2024-06-21 |
Family
ID=65439242
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201880069216.XA Active CN111629653B (zh) | 2017-08-23 | 2018-08-22 | 具有高速眼睛跟踪特征的大脑-计算机接口 |
Country Status (6)
| Country | Link |
|---|---|
| US (3) | US11269414B2 (zh) |
| EP (1) | EP3672478B1 (zh) |
| JP (2) | JP7532249B2 (zh) |
| KR (1) | KR102718810B1 (zh) |
| CN (1) | CN111629653B (zh) |
| WO (1) | WO2019040665A1 (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114460958A (zh) * | 2021-12-06 | 2022-05-10 | 中国电子科技集团公司第十四研究所 | 一种基于层级式架构的脑机融合飞行控制系统 |
| TWI778521B (zh) * | 2021-02-18 | 2022-09-21 | 龍華科技大學 | 智慧腦機介面裝置 |
| CN116982932A (zh) * | 2023-06-21 | 2023-11-03 | 首都医科大学附属北京天坛医院 | 一种基于眼动双任务的脑疾病预测设备、系统及可读存储介质 |
Families Citing this family (39)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ITUB20153680A1 (it) * | 2015-09-16 | 2017-03-16 | Liquidweb Srl | Sistema di controllo di tecnologie assistive e relativo metodo |
| WO2019040665A1 (en) | 2017-08-23 | 2019-02-28 | Neurable Inc. | BRAIN-COMPUTER INTERFACE PROVIDED WITH HIGH-SPEED OCULAR FOLLOWING CHARACTERISTICS |
| CN111542800B (zh) | 2017-11-13 | 2024-09-17 | 神经股份有限公司 | 具有对于高速、精确和直观的用户交互的适配的大脑-计算机接口 |
| JP7664702B2 (ja) | 2018-01-18 | 2025-04-18 | ニューラブル インコーポレイテッド | 高速、正確、且つ直感的なユーザ対話のための適合を伴う脳－コンピュータインタフェース |
| JP7107725B2 (ja) * | 2018-04-10 | 2022-07-27 | 浜松ホトニクス株式会社 | 眼球運動特徴量算出システム、眼球運動特徴量算出方法及び眼球運動特徴量算出プログラム |
| WO2020033548A2 (en) * | 2018-08-07 | 2020-02-13 | Interactive Strength, Inc. | Interactive exercise machine data architecture |
| US10664050B2 (en) | 2018-09-21 | 2020-05-26 | Neurable Inc. | Human-computer interface using high-speed and accurate tracking of user interactions |
| US20200265270A1 (en) * | 2019-02-20 | 2020-08-20 | Caseware International Inc. | Mutual neighbors |
| WO2020191042A1 (en) * | 2019-03-21 | 2020-09-24 | Valve Corporation | Brain-computer interfaces for computing systems |
| CN110442232A (zh) * | 2019-06-18 | 2019-11-12 | 中国人民解放军军事科学院国防科技创新研究院 | 联合眼动和脑机接口的可穿戴式增强现实机器人控制系统 |
| EP4004691A1 (en) * | 2019-07-31 | 2022-06-01 | Nextmind Sas | Brain-computer interface |
| CN110710978B (zh) * | 2019-11-10 | 2025-02-14 | 中科搏锐（北京）科技有限公司 | 一种基于眼动追踪-脑功能活动检测的多模态沉浸式同步采集系统 |
| SE2050318A1 (en) * | 2020-03-23 | 2021-09-24 | Croseir Ab | A system |
| US11468288B2 (en) | 2020-07-28 | 2022-10-11 | Oken Technologies, Inc. | Method of and system for evaluating consumption of visual information displayed to a user by analyzing user's eye tracking and bioresponse data |
| CN112085052B (zh) * | 2020-07-28 | 2024-07-16 | 中国科学院深圳先进技术研究院 | 运动想象分类模型的训练方法、运动想象方法及相关设备 |
| US11157081B1 (en) * | 2020-07-28 | 2021-10-26 | Shenzhen Yunyinggu Technology Co., Ltd. | Apparatus and method for user interfacing in display glasses |
| US11567574B2 (en) | 2020-09-22 | 2023-01-31 | Optum Technology, Inc. | Guided interaction with a query assistant software using brainwave data |
| CN112381124B (zh) * | 2020-10-30 | 2023-11-14 | 华南理工大学 | 一种基于动态逆学习网络的提高脑机接口性能的方法 |
| US11609633B2 (en) * | 2020-12-15 | 2023-03-21 | Neurable, Inc. | Monitoring of biometric data to determine mental states and input commands |
| US20220211316A1 (en) * | 2021-01-04 | 2022-07-07 | Larry Lior Turetsky | Using Reorganization and Plasticity to Accelerate Injury Recovery (URePAIR) |
| CN112764544B (zh) * | 2021-01-28 | 2022-04-22 | 中国人民解放军国防科技大学 | 一种结合眼动仪与异步运动想象技术实现虚拟鼠标的方法 |
| WO2022162469A1 (en) * | 2021-01-29 | 2022-08-04 | Xr Health Il Ltd | Systems and methods for assessing partial impulsivity in virtual or augmented reality |
| SI26152A (sl) | 2021-02-04 | 2022-08-31 | Likar Borut | Postopek obvladovanja dvosmerne interakcije pri uporabi avdio-video komunikacijskih platform z uporabo digitalnih kanalov |
| CN112990074B (zh) * | 2021-03-31 | 2023-04-07 | 北京理工大学 | 基于vr的多场景自主式控制的混合脑机接口在线系统 |
| US20240260559A1 (en) * | 2021-04-11 | 2024-08-08 | Vikas Khurana | Device and process for trapping and compressing organisms |
| KR102703208B1 (ko) * | 2021-09-01 | 2024-09-05 | 주식회사 비에스테크닉스 | 사용자 열 감성을 이용한 스마트기기 온도제어 시스템 및 방법 |
| NL1044171B1 (en) * | 2021-09-22 | 2023-03-29 | Zander Laboratories B V | A method performed by an information processing device, a program product and a system for processing context related operational and human mental brain activity data. |
| WO2023049325A1 (en) * | 2021-09-24 | 2023-03-30 | The Regents Of The University Of California | Digitally assisted sensor recording circuit with continuous offset cancellation |
| KR102817475B1 (ko) * | 2021-11-18 | 2025-06-10 | 고려대학교산학협력단 | 사용자의 정보 처리 양상을 반영한 사용자 맞춤형 인터페이스 배치 장치 및 그 동작방법 |
| CN114527867A (zh) * | 2021-11-18 | 2022-05-24 | 中国航空工业集团公司沈阳飞机设计研究所 | 一种融合眼位信息的无人机脑机辅助控制方法及设备 |
| WO2023107176A1 (en) * | 2021-12-07 | 2023-06-15 | University Of Pittsburgh - Of The Commonwealth System Of Higher Education | Systems and methods for brain-computer interface and calibrating the same |
| CN114762606B (zh) * | 2022-03-28 | 2025-04-08 | 北京理工大学 | 面向目标表演的关注度评价方法和装置 |
| CN114569350A (zh) * | 2022-04-13 | 2022-06-03 | 北京信息科技大学 | 一种头戴式眼电操控的智能轮椅及其控制方法 |
| CN115067971B (zh) * | 2022-05-18 | 2023-12-19 | 上海暖禾脑科学技术有限公司 | 基于脑电信号反馈控制虚拟对象的神经反馈系统 |
| CN116382465B (zh) * | 2023-02-17 | 2024-02-13 | 中国科学院自动化研究所 | 光学脑机接口系统和方法 |
| FR3153513A1 (fr) * | 2023-09-29 | 2025-04-04 | Orange | Contrôleur de signalisation individuelle et coiffure le comportant, Stimulateur neuronal, Signalisation individuelle, procédé de contrôle de signalisation individuelle et procédé de signalisation individuelle |
| WO2025122906A1 (en) * | 2023-12-07 | 2025-06-12 | Dandelion Science Corp. | Method and system for tagging visual features in video material and neuroimaging recovery of visual evoked potentials |
| CN117891338A (zh) * | 2023-12-29 | 2024-04-16 | 北京津发科技股份有限公司 | 脑机接口设备的控制方法、装置和脑机接口设备 |
| CN118519539B (zh) * | 2024-07-23 | 2024-10-18 | 华南理工大学 | 基于头动信号和ssvep的多模态脑机接口字符输入方法 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101515199A (zh) * | 2009-03-24 | 2009-08-26 | 北京理工大学 | 一种基于视线跟踪和p300脑电电位的字符输入装置 |
| US20090289895A1 (en) * | 2008-01-25 | 2009-11-26 | Toru Nakada | Electroencephalogram interface system, electroencephalogram interface apparatus, method, and computer program |
| US20100100001A1 (en) * | 2007-12-27 | 2010-04-22 | Teledyne Scientific & Imaging, Llc | Fixation-locked measurement of brain responses to stimuli |
| US20110159467A1 (en) * | 2009-12-31 | 2011-06-30 | Mark Peot | Eeg-based acceleration of second language learning |
| JP2013244116A (ja) * | 2012-05-24 | 2013-12-09 | Panasonic Corp | 注意状態推定装置及び注意状態推定方法 |
| CN103955269A (zh) * | 2014-04-09 | 2014-07-30 | 天津大学 | 一种基于虚拟现实环境的智能眼镜脑-机接口方法 |
| WO2014116826A1 (en) * | 2013-01-24 | 2014-07-31 | The Trustees Of Columbia University In The City Of New York | Mobile, neurally-assisted personal assistant |
| US20140347265A1 (en) * | 2013-03-15 | 2014-11-27 | Interaxon Inc. | Wearable computing apparatus and method |
| US20160198091A1 (en) * | 2013-09-03 | 2016-07-07 | Seeing Machines Limited | Low power eye tracking system and method |
| WO2017104869A1 (ko) * | 2015-12-17 | 2017-06-22 | 주식회사 룩시드랩스 | 아이 브레인 인터페이스(ebi) 장치 및 그 제어 방법 |
| US20170188933A1 (en) * | 2014-05-30 | 2017-07-06 | The Regents Of The University Of Michigan | Brain-computer interface for facilitating direct selection of multiple-choice answers and the identification of state changes |
Family Cites Families (184)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4013068A (en) | 1974-10-15 | 1977-03-22 | Settle Wayne L | Electroencephalographic activated control system |
| US4158196A (en) | 1977-04-11 | 1979-06-12 | Crawford George E Jr | Man-machine interface system |
| US4595990A (en) | 1980-12-31 | 1986-06-17 | International Business Machines Corporation | Eye controlled information transfer |
| US5137027A (en) | 1987-05-01 | 1992-08-11 | Rosenfeld Joel P | Method for the analysis and utilization of P300 brain waves |
| US5269325A (en) | 1989-05-26 | 1993-12-14 | Biomagnetic Technologies, Inc. | Analysis of biological signals using data from arrays of sensors |
| US5342410A (en) | 1990-10-05 | 1994-08-30 | Eric Braverman | Apparatus and method for increasing the amplitude of P300 waves in the human brain |
| US5213338A (en) | 1991-09-30 | 1993-05-25 | Brotz Gregory R | Brain wave-directed amusement device |
| US5339826A (en) | 1991-12-09 | 1994-08-23 | Westinghouse Electric Corp. | Method for training material evaluation with method of EEG spectral estimation |
| US5692517A (en) | 1993-01-06 | 1997-12-02 | Junker; Andrew | Brain-body actuated system |
| US5363858A (en) | 1993-02-11 | 1994-11-15 | Francis Luca Conte | Method and apparatus for multifaceted electroencephalographic response analysis (MERA) |
| US5325862A (en) | 1993-03-26 | 1994-07-05 | The United States Of America As Represented By The Secretary Of The Navy | Method and/or system for personal identification and impairment assessment from brain activity patterns |
| JP2899194B2 (ja) | 1993-06-30 | 1999-06-02 | キヤノン株式会社 | 意思伝達支援装置及び意思伝達支援方法 |
| US5638826A (en) | 1995-06-01 | 1997-06-17 | Health Research, Inc. | Communication method and system using brain waves for multidimensional control |
| US5742286A (en) | 1995-11-20 | 1998-04-21 | International Business Machines Corporation | Graphical user interface system and method for multiple simultaneous targets |
| US5899867A (en) | 1996-10-11 | 1999-05-04 | Collura; Thomas F. | System for self-administration of electroencephalographic (EEG) neurofeedback training |
| US5931908A (en) | 1996-12-23 | 1999-08-03 | The Walt Disney Corporation | Visual object present within live programming as an actionable event for user selection of alternate programming wherein the actionable event is selected by human operator at a head end for distributed data and programming |
| JPH10260773A (ja) | 1997-03-19 | 1998-09-29 | Nippon Telegr & Teleph Corp <Ntt> | 情報入力方法及びその装置 |
| JPH1165794A (ja) | 1997-08-25 | 1999-03-09 | Yoshimichi Yonezawa | 誘発脳波を用いた入力装置 |
| US5983129A (en) | 1998-02-19 | 1999-11-09 | Cowan; Jonathan D. | Method for determining an individual's intensity of focused attention and integrating same into computer program |
| US7084884B1 (en) | 1998-11-03 | 2006-08-01 | Immersion Corporation | Graphical object interactions |
| US6090051A (en) | 1999-03-03 | 2000-07-18 | Marshall; Sandra P. | Method and apparatus for eye tracking and monitoring pupil dilation to evaluate cognitive activity |
| GB2348520B (en) | 1999-03-31 | 2003-11-12 | Ibm | Assisting user selection of graphical user interface elements |
| US6380937B1 (en) | 1999-11-03 | 2002-04-30 | International Business Machines Corporation | Method and system for dynamically representing cluster analysis results |
| US6626433B2 (en) | 2000-02-22 | 2003-09-30 | Joseph Scibetta | Card game |
| US20020065851A1 (en) | 2000-06-02 | 2002-05-30 | Watson Emerson C. | System and method for creating a website |
| JP2002236957A (ja) | 2001-02-09 | 2002-08-23 | Victor Co Of Japan Ltd | 電子投票装置、電子投票システム |
| EP1392161A4 (en) | 2001-05-04 | 2008-02-20 | Univ Virginia | METHOD, APPARATUS AND COMPUTER PROGRAM PRODUCT FOR EVALUATING ATTENTION DISORDERS |
| JP2003114820A (ja) | 2001-07-31 | 2003-04-18 | Sanyo Electric Co Ltd | 電子アルバム装置 |
| JP2003058298A (ja) | 2001-08-20 | 2003-02-28 | Fuji Xerox Co Ltd | 情報分類装置、情報分類方法、情報分類プログラム及びコンピュータ読み取り可能な記録媒体 |
| US7209788B2 (en) | 2001-10-29 | 2007-04-24 | Duke University | Closed loop brain machine interface |
| US6948153B2 (en) | 2001-11-13 | 2005-09-20 | Prometric | Method and system for computer based testing using an amalgamated resource file |
| US6712468B1 (en) | 2001-12-12 | 2004-03-30 | Gregory T. Edwards | Techniques for facilitating use of eye tracking data |
| US20040076930A1 (en) | 2002-02-22 | 2004-04-22 | Steinberg Linda S. | Partal assessment design system for educational testing |
| US20030195798A1 (en) | 2002-04-11 | 2003-10-16 | John Goci | Voter interface for electronic voting system |
| WO2003093947A2 (en) | 2002-05-03 | 2003-11-13 | The Trustees Of Columbia University In The City Of New York | Single trial detection in encephalography |
| US6917370B2 (en) | 2002-05-13 | 2005-07-12 | Charles Benton | Interacting augmented reality and virtual reality |
| US6847844B2 (en) | 2002-06-06 | 2005-01-25 | University Of Pittsburgh Of The Commonwealth System Of Higher Education | Method of data communication with implanted device and associated apparatus |
| US20040092809A1 (en) | 2002-07-26 | 2004-05-13 | Neurion Inc. | Methods for measurement and analysis of brain activity |
| US20040044295A1 (en) | 2002-08-19 | 2004-03-04 | Orthosoft Inc. | Graphical user interface for computer-assisted surgery |
| US7766743B2 (en) | 2002-08-29 | 2010-08-03 | Douglas Schoellkopf Jebb | Methods and apparatus for evaluating a user's affinity for a property |
| US7347818B2 (en) | 2003-02-24 | 2008-03-25 | Neurotrax Corporation | Standardized medical cognitive assessment tool |
| US8292433B2 (en) | 2003-03-21 | 2012-10-23 | Queen's University At Kingston | Method and apparatus for communication between humans and devices |
| US8260428B2 (en) | 2003-05-01 | 2012-09-04 | California Institute Of Technology | Method and system for training a visual prosthesis |
| US7546158B2 (en) | 2003-06-05 | 2009-06-09 | The Regents Of The University Of California | Communication methods based on brain computer interfaces |
| US20040249302A1 (en) | 2003-06-09 | 2004-12-09 | Cyberkinetics, Inc. | Methods and systems for processing of brain signals |
| US20050046698A1 (en) | 2003-09-02 | 2005-03-03 | Knight Andrew Frederick | System and method for producing a selectable view of an object space |
| US20050085744A1 (en) | 2003-10-20 | 2005-04-21 | Stmicroelectronics S.R.I. | Man-machine interfaces system and method, for instance applications in the area of rehabilitation |
| US7120486B2 (en) | 2003-12-12 | 2006-10-10 | Washington University | Brain computer interface |
| AU2005214713A1 (en) | 2004-02-13 | 2005-09-01 | Emory University | Display enhanced testing for concussions and mild traumatic brain injury |
| US20050191609A1 (en) | 2004-02-14 | 2005-09-01 | Adaptigroup Llc | Method and system for improving performance on standardized examinations |
| US7379562B2 (en) | 2004-03-31 | 2008-05-27 | Microsoft Corporation | Determining connectedness and offset of 3D objects relative to an interactive surface |
| WO2005096206A1 (en) | 2004-03-31 | 2005-10-13 | Neptec Design Group Ltd. | Medical patient monitoring and data input systems, methods and user interfaces |
| US20090099623A1 (en) | 2004-09-13 | 2009-04-16 | Neuronix Ltd. | Systems and methods for treatment of medical conditions related to the central nervous system and for enhancing cognitive functions |
| WO2006051709A1 (ja) | 2004-11-10 | 2006-05-18 | Matsushita Electric Industrial Co., Ltd. | 誤操作検出装置およびこれを有する機器、誤操作検出方法、並びに機器評価方法 |
| US20070060830A1 (en) | 2005-09-12 | 2007-03-15 | Le Tan Thi T | Method and system for detecting and classifying facial muscle movements |
| WO2007096706A2 (en) | 2005-09-12 | 2007-08-30 | Emotiv Systems Pty Ltd. | System and method for interaction with a subject based on detection of mental states |
| US7865235B2 (en) | 2005-09-12 | 2011-01-04 | Tan Thi Thai Le | Method and system for detecting and classifying the mental state of a subject |
| US7513775B2 (en) | 2005-10-05 | 2009-04-07 | Exam Innovations, Inc. | Presenting answer options to multiple-choice questions during administration of a computerized test |
| US20070086773A1 (en) | 2005-10-14 | 2007-04-19 | Fredrik Ramsten | Method for creating and operating a user interface |
| WO2007050029A2 (en) | 2005-10-28 | 2007-05-03 | Tobii Technology Ab | Eye tracker with visual feedback |
| EP1960985A1 (en) | 2005-12-15 | 2008-08-27 | Posit Science Corporation | Cognitive training using visual stimuli |
| JP4969462B2 (ja) | 2006-01-24 | 2012-07-04 | 本田技研工業株式会社 | 注意領域を推定するシステムおよび方法 |
| US7580742B2 (en) | 2006-02-07 | 2009-08-25 | Microsoft Corporation | Using electroencephalograph signals for task classification and activity recognition |
| US7748846B2 (en) * | 2006-07-25 | 2010-07-06 | Novavision, Inc. | Dynamic fixation stimuli for visual field testing and therapy |
| MX2009002419A (es) | 2006-09-07 | 2009-03-16 | Procter & Gamble | Metodos para medir la respuesta emocional y preferencia de seleccion. |
| CN1927551A (zh) | 2006-09-30 | 2007-03-14 | 电子科技大学 | 一种视导脑声控的残障辅助机器人 |
| US20080218472A1 (en) | 2007-03-05 | 2008-09-11 | Emotiv Systems Pty., Ltd. | Interface to convert mental states and facial expressions to application input |
| JP5132182B2 (ja) | 2007-04-25 | 2013-01-30 | キヤノン株式会社 | 医療用検査システムおよびその処理方法、プログラム、記憶媒体 |
| US20090082692A1 (en) | 2007-09-25 | 2009-03-26 | Hale Kelly S | System And Method For The Real-Time Evaluation Of Time-Locked Physiological Measures |
| US7556377B2 (en) | 2007-09-28 | 2009-07-07 | International Business Machines Corporation | System and method of detecting eye fixations using adaptive thresholds |
| US8369939B2 (en) | 2007-10-29 | 2013-02-05 | Panasonic Corporation | Activation apparatus, method, and computer program for brainwave interface system |
| WO2009056650A1 (en) | 2007-11-02 | 2009-05-07 | Siegbert Warkentin | System and methods for assessment of the aging brain and its brain disease induced brain dysfunctions by speech analysis |
| WO2009086088A1 (en) * | 2007-12-21 | 2009-07-09 | Honda Motor Co., Ltd. | Controlled human pose estimation from depth image streams |
| US8244475B2 (en) | 2007-12-27 | 2012-08-14 | Teledyne Scientific & Imaging, Llc | Coupling human neural response with computer pattern analysis for single-event detection of significant brain responses for task-relevant stimuli |
| CA2711844A1 (en) | 2008-01-11 | 2009-07-16 | Oregon Health & Science University | Rapid serial presentation communication systems and methods |
| CN101502418B (zh) | 2008-02-05 | 2011-05-04 | 周常安 | 耳戴式脑电检测装置 |
| WO2009139119A1 (ja) | 2008-05-15 | 2009-11-19 | パナソニック株式会社 | 脳波信号の識別方法を調整する装置、方法およびプログラム |
| US8594814B2 (en) | 2008-06-20 | 2013-11-26 | Invensys Systems, Inc. | Systems and methods for immersive interaction with actual and/or simulated facilities for process, environmental and industrial control |
| US8515550B2 (en) | 2008-07-11 | 2013-08-20 | Medtronic, Inc. | Assignment of therapy parameter to multiple posture states |
| WO2010004698A1 (ja) | 2008-07-11 | 2010-01-14 | パナソニック株式会社 | 脳波を用いた機器の制御方法および脳波インタフェースシステム |
| CN101339455B (zh) | 2008-08-07 | 2010-09-29 | 北京师范大学 | 基于人脸识别特异性波n170成分的脑机接口系统 |
| US8933957B2 (en) | 2008-08-18 | 2015-01-13 | The Boeing Company | Methods and systems for emphasizing selected aviation chart information |
| US20100145215A1 (en) | 2008-12-09 | 2010-06-10 | Neurofocus, Inc. | Brain pattern analyzer using neuro-response data |
| US20100223549A1 (en) | 2009-02-27 | 2010-09-02 | Greg Edwards | System and method for controlling entertainment devices using a display |
| US8155736B2 (en) | 2009-03-16 | 2012-04-10 | Neurosky, Inc. | EEG control of devices using sensory evoked potentials |
| JP5243318B2 (ja) | 2009-03-19 | 2013-07-24 | 株式会社野村総合研究所 | コンテンツ配信システム、コンテンツ配信方法及びコンピュータプログラム |
| US20100240016A1 (en) | 2009-03-20 | 2010-09-23 | Jon Ween | Cognitive assessment tool and method |
| EP2442714A1 (en) | 2009-06-15 | 2012-04-25 | Brain Computer Interface LLC | A brain-computer interface test battery for the physiological assessment of nervous system health |
| AU2010312327B2 (en) | 2009-10-30 | 2016-05-19 | Richard John Cale | Environmental control method and system |
| AU2009251137B2 (en) | 2009-12-23 | 2013-04-11 | Canon Kabushiki Kaisha | Method for Arranging Images in electronic documents on small devices |
| KR20110072730A (ko) | 2009-12-23 | 2011-06-29 | 한국과학기술원 | 적응형 뇌-컴퓨터 인터페이스 장치 |
| US9507418B2 (en) | 2010-01-21 | 2016-11-29 | Tobii Ab | Eye tracker based contextual action |
| JP4856791B2 (ja) | 2010-02-25 | 2012-01-18 | パナソニック株式会社 | 脳波インタフェースシステム、脳波インタフェース提供装置、脳波インタフェースの実行方法、および、プログラム |
| US9361130B2 (en) | 2010-05-03 | 2016-06-07 | Apple Inc. | Systems, methods, and computer program products providing an integrated user interface for reading content |
| WO2011140303A1 (en) | 2010-05-05 | 2011-11-10 | University Of Maryland, College Park | Time domain-based methods for noninvasive brain-machine interfaces |
| US9183560B2 (en) | 2010-05-28 | 2015-11-10 | Daniel H. Abelow | Reality alternate |
| US20110301486A1 (en) | 2010-06-03 | 2011-12-08 | Cordial Medical Europe | Measurement of auditory evoked responses |
| US8750857B2 (en) | 2010-06-04 | 2014-06-10 | Qualcomm Incorporated | Method and apparatus for wireless distributed computing |
| US8593375B2 (en) | 2010-07-23 | 2013-11-26 | Gregory A Maltz | Eye gaze user interface and method |
| WO2012013535A1 (en) | 2010-07-30 | 2012-02-02 | Katholieke Universiteit Leuven | Brain-computer interfaces and use thereof |
| US20120034583A1 (en) | 2010-08-04 | 2012-02-09 | Vetprep.Com, Inc. | Veterinary exam preparation on mobile devices |
| US8463721B2 (en) | 2010-08-05 | 2013-06-11 | Toyota Motor Engineering & Manufacturing North America, Inc. | Systems and methods for recognizing events |
| KR101023249B1 (ko) | 2010-08-13 | 2011-03-21 | 동국대학교 산학협력단 | 뇌파를 이용한 인지 훈련 응용 프로그램 생성 장치, 방법 및 그 기록 매체 |
| US10043351B2 (en) | 2010-08-23 | 2018-08-07 | Ncr Corporation | Self-service terminal |
| JP5544620B2 (ja) | 2010-09-01 | 2014-07-09 | 独立行政法人産業技術総合研究所 | 意思伝達支援装置及び方法 |
| EP3780002B1 (en) | 2010-11-24 | 2024-07-17 | Clinical Ink, Inc. | Systems and methods to assess cognitive function |
| CN102098639B (zh) | 2010-12-28 | 2013-09-11 | 中国人民解放军第三军医大学野战外科研究所 | 脑机接口短消息发送控制装置及发送控制方法 |
| US20140043229A1 (en) | 2011-04-07 | 2014-02-13 | Nec Casio Mobile Communications, Ltd. | Input device, input method, and computer program |
| US20120257035A1 (en) | 2011-04-08 | 2012-10-11 | Sony Computer Entertainment Inc. | Systems and methods for providing feedback by tracking user gaze and gestures |
| CA2835120C (en) | 2011-05-06 | 2019-05-28 | Magic Leap, Inc. | Massive simultaneous remote digital presence world |
| US10627860B2 (en) | 2011-05-10 | 2020-04-21 | Kopin Corporation | Headset computer that uses motion and voice commands to control information display and remote devices |
| JP5816917B2 (ja) | 2011-05-13 | 2015-11-18 | 本田技研工業株式会社 | 脳活動計測装置、脳活動計測方法、及び脳活動推定装置 |
| JP5711056B2 (ja) | 2011-06-21 | 2015-04-30 | アイシン精機株式会社 | 脳波インターフェースシステム |
| WO2013012739A1 (en) | 2011-07-16 | 2013-01-24 | Simon Adam J | Systems and methods for the physiological assessment of brian health and the remote quality control of eeg systems |
| US9323325B2 (en) | 2011-08-30 | 2016-04-26 | Microsoft Technology Licensing, Llc | Enhancing an object of interest in a see-through, mixed reality display device |
| US20150212695A1 (en) | 2011-10-05 | 2015-07-30 | Google Inc. | Suggested action feedback |
| US8878785B1 (en) | 2011-10-05 | 2014-11-04 | Google Inc. | Intent determination using geometric shape input |
| WO2013059940A1 (en) | 2011-10-27 | 2013-05-02 | Tandemlaunch Technologies Inc. | System and method for calibrating eye gaze data |
| US10013053B2 (en) | 2012-01-04 | 2018-07-03 | Tobii Ab | System for gaze interaction |
| JP5873362B2 (ja) | 2012-03-13 | 2016-03-01 | 日本放送協会 | 視線誤差補正装置、そのプログラム及びその方法 |
| FR2989482B1 (fr) | 2012-04-12 | 2022-12-23 | Marc Massonneau | Procede de determination de la direction du regard d'un utilisateur. |
| CN103421859B (zh) | 2012-05-14 | 2016-08-31 | 中原工学院 | 用无纺布型填料的液态淋浇发酵塔生产细菌纤维素的方法 |
| US9152226B2 (en) | 2012-06-15 | 2015-10-06 | Qualcomm Incorporated | Input method designed for augmented reality goggles |
| US9824604B2 (en) | 2012-09-04 | 2017-11-21 | Conduent Business Services, Llc | Creating assessment model for educational assessment system |
| EP3441896B1 (en) | 2012-09-14 | 2021-04-21 | InteraXon Inc. | Systems and methods for collecting, analyzing, and sharing bio-signal and non-bio-signal data |
| US9176581B2 (en) | 2012-09-28 | 2015-11-03 | Intel Corporation | System and method for inferring user intent based on eye movement during observation of a display screen |
| US9743002B2 (en) | 2012-11-19 | 2017-08-22 | Magna Electronics Inc. | Vehicle vision system with enhanced display functions |
| US10009644B2 (en) | 2012-12-04 | 2018-06-26 | Interaxon Inc | System and method for enhancing content using brain-state data |
| US9629976B1 (en) | 2012-12-21 | 2017-04-25 | George Acton | Methods for independent entrainment of visual field zones |
| CN103092340B (zh) | 2012-12-26 | 2016-03-02 | 北京大学 | 一种脑-机接口视觉刺激方法及信号识别方法 |
| US10231614B2 (en) | 2014-07-08 | 2019-03-19 | Wesley W. O. Krueger | Systems and methods for using virtual reality, augmented reality, and/or a synthetic 3-dimensional information for the measurement of human ocular performance |
| US20140228701A1 (en) | 2013-02-11 | 2014-08-14 | University Of Washington Through Its Center For Commercialization | Brain-Computer Interface Anonymizer |
| US10133342B2 (en) | 2013-02-14 | 2018-11-20 | Qualcomm Incorporated | Human-body-gesture-based region and volume selection for HMD |
| EP2962175B1 (en) | 2013-03-01 | 2019-05-01 | Tobii AB | Delay warp gaze interaction |
| US9198571B2 (en) * | 2013-03-15 | 2015-12-01 | Neuro Kinetics, Inc | Method of measuring and analyzing ocular response in a subject using stable pupillary parameters with video oculography system |
| KR101680995B1 (ko) | 2013-03-15 | 2016-11-29 | 인텔 코포레이션 | 생물 물리학적 신호의 수집된 시간적 및 공간적 패턴에 기초한 뇌-컴퓨터 인터페이스(bci) 시스템 |
| EP3981320A1 (en) | 2013-03-15 | 2022-04-13 | Percept Technologies, Inc. | Enhanced optical and perceptual digital eyewear |
| US9532748B2 (en) | 2013-04-22 | 2017-01-03 | Personal Neuro Devices Inc. | Methods and devices for brain activity monitoring supporting mental state development and training |
| EP2813175A3 (en) | 2013-06-14 | 2015-04-01 | Oticon A/s | A hearing assistance device with brain-computer interface |
| US9329682B2 (en) | 2013-06-18 | 2016-05-03 | Microsoft Technology Licensing, Llc | Multi-step virtual object selection |
| US10137363B2 (en) | 2013-06-20 | 2018-11-27 | Uday Parshionikar | Gesture based user interfaces, apparatuses and control systems |
| US10558272B2 (en) | 2013-06-20 | 2020-02-11 | Uday Parshionikar | Gesture control via eye tracking, head tracking, facial expressions and other user actions |
| US9389685B1 (en) | 2013-07-08 | 2016-07-12 | University Of South Florida | Vision based brain-computer interface systems for performing activities of daily living |
| CN109875501B (zh) | 2013-09-25 | 2022-06-07 | 曼德美姿集团股份公司 | 生理参数测量和反馈系统 |
| US10733866B2 (en) | 2013-10-29 | 2020-08-04 | The Sheba Fund For Health Services And Research | Walker-assist device |
| KR101554412B1 (ko) * | 2014-01-07 | 2015-09-18 | 한국과학기술원 | 시선 추적 및 뇌파 측정을 이용하여 사용자가 주시하는 물체에 대한 사용자의 의도를 추출하는 웨어러블 디바이스 |
| KR101579364B1 (ko) | 2014-01-16 | 2015-12-21 | 서울대학교산학협력단 | 뇌파 모니터링 및 뇌 컴퓨터 인터페이스를 위한 뇌전도 전극과 취득 시스템을 내장한 무선 이어훅 이어셋 |
| US9552060B2 (en) | 2014-01-28 | 2017-01-24 | Microsoft Technology Licensing, Llc | Radial selection by vestibulo-ocular reflex fixation |
| CN103793058B (zh) | 2014-02-13 | 2016-09-28 | 山西大学 | 一种主动式脑机交互系统运动想象任务分类方法及装置 |
| US9600069B2 (en) | 2014-05-09 | 2017-03-21 | Google Inc. | Systems and methods for discerning eye signals and continuous biometric identification |
| EP3188656B1 (en) | 2014-09-04 | 2021-12-15 | University Health Network | Method and system for brain activity signal-based treatment and/or control of user devices |
| US10120413B2 (en) | 2014-09-11 | 2018-11-06 | Interaxon Inc. | System and method for enhanced training using a virtual reality environment and bio-signal data |
| US20170139556A1 (en) | 2014-10-01 | 2017-05-18 | Quantum Interface, Llc | Apparatuses, systems, and methods for vehicle interfaces |
| US9946339B2 (en) | 2014-10-08 | 2018-04-17 | Microsoft Technology Licensing, Llc | Gaze tracking through eyewear |
| BR112017003946B1 (pt) * | 2014-10-24 | 2022-11-01 | Telefonaktiebolaget Lm Ericsson (Publ) | Método e dispositivo de computação para ajudar um usuário particular a utilizar uma interface de usuário, e, meio não-transitório legível por máquina |
| US9936195B2 (en) | 2014-11-06 | 2018-04-03 | Intel Corporation | Calibration for eye tracking systems |
| KR102326489B1 (ko) | 2014-11-24 | 2021-11-16 | 삼성전자주식회사 | 디스플레이를 제어하는 전자 장치 및 방법 |
| WO2016085212A1 (ko) | 2014-11-24 | 2016-06-02 | 삼성전자 주식회사 | 디스플레이를 제어하는 전자 장치 및 방법 |
| US20160187976A1 (en) | 2014-12-29 | 2016-06-30 | Immersion Corporation | Systems and methods for generating haptic effects based on eye tracking |
| US9632664B2 (en) | 2015-03-08 | 2017-04-25 | Apple Inc. | Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback |
| JP6295995B2 (ja) | 2015-04-28 | 2018-03-20 | 京セラドキュメントソリューションズ株式会社 | 情報処理装置、画像処理装置へのジョブ指示方法 |
| CN104837088A (zh) | 2015-05-29 | 2015-08-12 | 成都腾悦科技有限公司 | 一种基于NFC的脑电α波信号感应蓝牙耳机 |
| IL239191A0 (en) | 2015-06-03 | 2015-11-30 | Amir B Geva | Image sorting system |
| US20190246982A1 (en) | 2015-08-05 | 2019-08-15 | Emotiv Inc. | Method and system for collecting and processing bioelectrical signals |
| GB2561455B (en) | 2015-08-15 | 2022-05-18 | Google Llc | Systems and methods for biomechically-based eye signals for interacting with real and virtual objects |
| US10491711B2 (en) | 2015-09-10 | 2019-11-26 | EEVO, Inc. | Adaptive streaming of virtual reality data |
| ITUB20153680A1 (it) | 2015-09-16 | 2017-03-16 | Liquidweb Srl | Sistema di controllo di tecnologie assistive e relativo metodo |
| JP6684559B2 (ja) | 2015-09-16 | 2020-04-22 | 株式会社バンダイナムコエンターテインメント | プログラムおよび画像生成装置 |
| KR102744773B1 (ko) | 2015-11-04 | 2024-12-18 | 매직 립, 인코포레이티드 | 눈-추적 기반 동적 디스플레이 교정 |
| KR101723841B1 (ko) | 2015-12-17 | 2017-04-18 | 주식회사 룩시드랩스 | 아이 브레인 인터페이스(ebi) 장치 및 그 제어 방법 |
| JP2019513516A (ja) | 2016-04-08 | 2019-05-30 | ヴィッツァリオ，インコーポレイテッド | 人の視覚パフォーマンスを査定するために視覚データを入手し、集計し、解析する方法およびシステム |
| US10522106B2 (en) | 2016-05-05 | 2019-12-31 | Ostendo Technologies, Inc. | Methods and apparatus for active transparency modulation |
| US20170322679A1 (en) | 2016-05-09 | 2017-11-09 | John C. Gordon | Modifying a User Interface Based Upon a User's Brain Activity and Gaze |
| US20180039329A1 (en) | 2016-08-04 | 2018-02-08 | David M. Tumey | Brain actuated control utilizing visually evoked potentials |
| JP6813670B2 (ja) | 2016-09-30 | 2021-01-13 | 株式会社ソニー・インタラクティブエンタテインメント | 異なるレンダリング及び音像定位を使用する無線ヘッドマウントディスプレイ |
| RU2627075C1 (ru) * | 2016-10-28 | 2017-08-03 | Ассоциация "Некоммерческое партнерство "Центр развития делового и культурного сотрудничества "Эксперт" | Нейрокомпьютерная система для выбора команд на основе регистрации мозговой активности |
| CN110023816A (zh) | 2016-12-01 | 2019-07-16 | 黄绅嘉 | 辨别情绪或心理状态的系统 |
| WO2018127782A1 (en) | 2017-01-03 | 2018-07-12 | Xing Zhou | Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command |
| US20210141453A1 (en) | 2017-02-23 | 2021-05-13 | Charles Robert Miller, III | Wearable user mental and contextual sensing device and system |
| WO2019040665A1 (en) | 2017-08-23 | 2019-02-28 | Neurable Inc. | BRAIN-COMPUTER INTERFACE PROVIDED WITH HIGH-SPEED OCULAR FOLLOWING CHARACTERISTICS |
| CN111542800B (zh) | 2017-11-13 | 2024-09-17 | 神经股份有限公司 | 具有对于高速、精确和直观的用户交互的适配的大脑-计算机接口 |
| JP7664702B2 (ja) | 2018-01-18 | 2025-04-18 | ニューラブル インコーポレイテッド | 高速、正確、且つ直感的なユーザ対話のための適合を伴う脳－コンピュータインタフェース |
| US20190286234A1 (en) | 2018-03-19 | 2019-09-19 | MindMaze Holdiing SA | System and method for synchronized neural marketing in a virtual environment |
| US10664050B2 (en) | 2018-09-21 | 2020-05-26 | Neurable Inc. | Human-computer interface using high-speed and accurate tracking of user interactions |
-
2018
- 2018-08-22 WO PCT/US2018/047598 patent/WO2019040665A1/en unknown
- 2018-08-22 EP EP18848298.8A patent/EP3672478B1/en active Active
- 2018-08-22 JP JP2020532856A patent/JP7532249B2/ja active Active
- 2018-08-22 CN CN201880069216.XA patent/CN111629653B/zh active Active
- 2018-08-22 KR KR1020207008357A patent/KR102718810B1/ko active Active
-
2020
- 2020-02-21 US US16/797,376 patent/US11269414B2/en active Active
-
2022
- 2022-01-31 US US17/589,175 patent/US11972049B2/en active Active
-
2024
- 2024-03-22 US US18/613,371 patent/US20250053238A1/en active Pending
- 2024-07-31 JP JP2024124668A patent/JP2024167203A/ja active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100100001A1 (en) * | 2007-12-27 | 2010-04-22 | Teledyne Scientific & Imaging, Llc | Fixation-locked measurement of brain responses to stimuli |
| US20090289895A1 (en) * | 2008-01-25 | 2009-11-26 | Toru Nakada | Electroencephalogram interface system, electroencephalogram interface apparatus, method, and computer program |
| CN101515199A (zh) * | 2009-03-24 | 2009-08-26 | 北京理工大学 | 一种基于视线跟踪和p300脑电电位的字符输入装置 |
| US20110159467A1 (en) * | 2009-12-31 | 2011-06-30 | Mark Peot | Eeg-based acceleration of second language learning |
| JP2013244116A (ja) * | 2012-05-24 | 2013-12-09 | Panasonic Corp | 注意状態推定装置及び注意状態推定方法 |
| WO2014116826A1 (en) * | 2013-01-24 | 2014-07-31 | The Trustees Of Columbia University In The City Of New York | Mobile, neurally-assisted personal assistant |
| US20140347265A1 (en) * | 2013-03-15 | 2014-11-27 | Interaxon Inc. | Wearable computing apparatus and method |
| US20160198091A1 (en) * | 2013-09-03 | 2016-07-07 | Seeing Machines Limited | Low power eye tracking system and method |
| CN103955269A (zh) * | 2014-04-09 | 2014-07-30 | 天津大学 | 一种基于虚拟现实环境的智能眼镜脑-机接口方法 |
| US20170188933A1 (en) * | 2014-05-30 | 2017-07-06 | The Regents Of The University Of Michigan | Brain-computer interface for facilitating direct selection of multiple-choice answers and the identification of state changes |
| WO2017104869A1 (ko) * | 2015-12-17 | 2017-06-22 | 주식회사 룩시드랩스 | 아이 브레인 인터페이스(ebi) 장치 및 그 제어 방법 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI778521B (zh) * | 2021-02-18 | 2022-09-21 | 龍華科技大學 | 智慧腦機介面裝置 |
| CN114460958A (zh) * | 2021-12-06 | 2022-05-10 | 中国电子科技集团公司第十四研究所 | 一种基于层级式架构的脑机融合飞行控制系统 |
| CN116982932A (zh) * | 2023-06-21 | 2023-11-03 | 首都医科大学附属北京天坛医院 | 一种基于眼动双任务的脑疾病预测设备、系统及可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3672478B1 (en) | 2024-10-30 |
| JP7532249B2 (ja) | 2024-08-13 |
| US20250053238A1 (en) | 2025-02-13 |
| EP3672478A1 (en) | 2020-07-01 |
| WO2019040665A1 (en) | 2019-02-28 |
| EP3672478A4 (en) | 2021-05-19 |
| KR102718810B1 (ko) | 2024-10-16 |
| KR20200101906A (ko) | 2020-08-28 |
| JP2020532031A (ja) | 2020-11-05 |
| JP2024167203A (ja) | 2024-12-03 |
| US11972049B2 (en) | 2024-04-30 |
| US11269414B2 (en) | 2022-03-08 |
| US20220404910A1 (en) | 2022-12-22 |
| US20200192478A1 (en) | 2020-06-18 |
| CN111629653B (zh) | 2024-06-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11972049B2 (en) | Brain-computer interface with high-speed eye tracking features | |
| US12053308B2 (en) | Brain-computer interface with adaptations for high-speed, accurate, and intuitive user interactions | |
| US12001602B2 (en) | Brain-computer interface with adaptations for high-speed, accurate, and intuitive user interactions | |
| Hosni et al. | EEG-EOG based virtual keyboard: Toward hybrid brain computer interface | |
| Andreeßen | Towards real-world applicability of neuroadaptive technologies: investigating subject-independence, task-independence and versatility of passive brain-computer interfaces | |
| Das et al. | A Review on Algorithms for EEG-Based BCIs | |
| Devi | The Fusion of Human-Computer Interaction and Artificial Intelligence Leads to the Emergence of Brain Computer Interaction | |
| Chandra et al. | Effective Brain Controlled Interface for Wheelchair: An Organized Review | |
| Maruthachalam | Analysis of artifacts in EEG signals for building BCIs | |
| Chatzilari et al. | Multimodal BCIs–the hands-free Tetris paradigm | |
| Vasiljevas | Human-assistive interface model of physiological computing systems | |
| Sahu et al. | Feature extraction and analysis of overt and covert EEG signals with speller devices | |
| Bonci et al. | An Introductory Tutorial on Brain–Computer Interfaces and Their Applications. Electronics 2021, 10, 560 | |
| Hanna | Wearable Hybrid Brain Computer Interface as a Pathway for Environmental Control | |
| Anil | Towards Tactile P300 and Steady State Visual Evoked Potential (SSVEP) Brain Computer Interface Paradigms for Communication Applications | |
| Ma | Research on Human-Machine Interfaces of Vigilance Estimation and Robot Control based on Biomedical Signals |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |