CN105051647B - 基于生物物理信号的搜集时间和空间模式的大脑计算机接口(bci)系统 - Google Patents

基于生物物理信号的搜集时间和空间模式的大脑计算机接口(bci)系统 Download PDF

Info

Publication number
CN105051647B
CN105051647B CN201380073072.2A CN201380073072A CN105051647B CN 105051647 B CN105051647 B CN 105051647B CN 201380073072 A CN201380073072 A CN 201380073072A CN 105051647 B CN105051647 B CN 105051647B
Authority
CN
China
Prior art keywords
user
brain
stimulation
brain activity
activity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201380073072.2A
Other languages
English (en)
Other versions
CN105051647A (zh
Inventor
R·P·克劳福德
G·J·安德森
D·P·库恩斯
P·怀亚特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN105051647A publication Critical patent/CN105051647A/zh
Application granted granted Critical
Publication of CN105051647B publication Critical patent/CN105051647B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/117Identification of persons
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/377Electroencephalography [EEG] using evoked responses
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7246Details of waveform analysis using correlation, e.g. template matching or determination of similarity
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02Operational features
    • A61B2560/0223Operational features of calibration, e.g. protocols for calibrating sensors
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/04Constructional details of apparatus
    • A61B2560/0475Special features of memory means, e.g. removable memory cards

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Neurology (AREA)
  • Dermatology (AREA)
  • Neurosurgery (AREA)
  • Psychiatry (AREA)
  • Artificial Intelligence (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Psychology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

本文大体上描述用于基于生物物理信号的搜集时间和空间模式来提供大脑计算机接口(BCI)系统的实施例。在一些实施例中,向用户提供刺激。响应于向用户提供刺激来搜集与用户的大脑活动关联的时间和空间模式。与用户的大脑活动关联的生物物理信号的搜集时间和空间模式相关来识别用户大脑签名。基于通过使与大脑活动关联的搜集时间和空间模式相关而识别的用户大脑签名来进行处理器控制的功能。

Description

基于生物物理信号的搜集时间和空间模式的大脑计算机接口 (BCI)系统
背景技术
环境的通信和控制对于日常生活是重要的。特别地,残疾人竭尽全力来通信。大脑计算机接口(BCI)在大脑与计算机或电子设备之间实现直接通信。BCI还可以在其中现有通信方法展现缺点的应用中应用,例如,在有噪工业应用、秘密行动和移动受到约束的军事环境中,等。在消费者市场中,BCI可提供作为游戏或娱乐接口的优势或可加速现有计算机-用户交互或实现全新的计算机-用户交互。
不管功能如何,大脑的每个部位由叫作神经元的神经细胞组成。整体来看,大脑是密集网络,其包括大约一千亿个神经元。这些神经元中的每个与数千个个其他神经元通信以便调节物理过程并且产生思维。神经元通过物理连接向其他神经元发送电信号或通过交换叫作神经递质的化学物质来通信。当它们通信时,神经元消耗氧和葡萄糖,其通过到大脑活跃区的增加血流量来补充。
大脑监测技术的发展允许在大脑处理信息或对各种刺激作出响应时观察电、化学、流体、磁等变化。对可以对很多种用户和应用提供新的通信和控制选项的大脑计算机接口(BCI)系统的研究在继续。通过大脑活动监测,可搜集特有的精神轮廓的数据库。
设备和数据安全威胁是普遍存在的并且对高度准确和精确的验证系统和方法分配非常高的值。尽管在验证系统中采用若干形式的生物学上截然不同的签名(signature)或生物计量(指纹、视网膜模式、语音特性,等),很少有开发涉及大脑中的独特性作为验证技术。
一些BCI系统依靠脑电描记(EEG),其的特征在于相对高的时间分辨率,而且还在于非常低的空间分辨率。BCI系统的进一步研究在进行中,从而解决涉及它们的可靠使用的许多问题和挑战。
附图说明
图1图示根据实施例用于通过大脑活动相似性的相关来提供精神和社会匹配的系统;
图2图示根据实施例将大脑解剖结构和活动与已知信息和预先记录的签名比较来识别个体独特性并且对其分配独特性概率的系统;
图3图示根据实施例用于搜集BCI输入的消费级可穿戴系统;
图4a-c图示根据实施例的神经成像设备的部件;
图5是根据实施例用于提供计算体验的控制的方法的流程图;
图6a-b图示根据实施例的视觉搜索;
图7图示根据实施例用于提供心灵感应搜索的BCI系统;
图8图示根据实施例使用BCI系统的无线心灵感应通信;
图9是根据实施例用于进行心灵感应上下文搜索的联网系统;
图10是根据实施例用于使用BCI系统提供心灵感应增强现实的流程图;
图11a-d示出根据实施例的AR呈现和控制的示例;
图12图示根据实施例可提供心灵感应增强现实的系统;
图13图示根据实施例用于代表由BCI系统提供的精神桌面空间的视觉空间的皮层代表区;
图14是根据实施例的视系统的图;
图15示出根据实施例的视觉空间的生理隔离段;
图16是示出根据实施例如由BCI系统利用的初级运动皮质和初级感觉皮质的人类皮质的模型;
图17是演示在人类皮质的中央前回上的初级运动皮质的局部解剖地组织的关系的模型;
图18图示根据实施例用于对应用分配BCI测量和其他模态的用户界面;
图19示出根据实施例接受BCI输入和其他模态输入的BCI系统;
图20图示根据实施例用于确定用户意图的方法的流程图;
图21是根据实施例用于分配BCI输入来控制应用的方法的流程图;
图22是根据实施例用于由BCI系统调整上下文因素的方法的流程图;以及
图23图示用于基于生物物理信号的搜集时间和空间模式来提供大脑计算机接口(BCI)系统的示例机器的框图。
具体实施方式
根据本文描述的实施例,例如回转、皮层厚度、头皮厚度等大脑/颅骨解剖特性可用于识别/验证目的。测量的刺激/响应大脑特性(例如,解剖和生理的)可转化成特定模式来对大脑归类以用于识别和/或验证目的。人可响应于刺激根据大脑活动中的相似性而相关。关于其他大脑签名的信息(例如,解剖和生理的)和与相似大脑的比较可用于预测对新刺激的大脑响应以及用于识别和/或验证目的。大脑识别和/或验证技术结合其他识别和/或验证技术(例如,密码、其他生物计量参数)可用于提高身份/验证灵敏度和特异性。
感测大脑或神经元活动信号的较新技术发展对创建更尖端BCI使用和系统提供机会。基于生物物理信号的搜集时间和空间模式,测量并且识别人的精神状态或精神表征,这现在是可能的。例如,生物物理信号的时间和空间模式可通过但不限于电、流体、化学、磁传感器而获得。
搜集电信号的设备的示例包括脑电描记(EEG)。EEG使用直接放置在头皮上的电极来测量由大脑中的活动产生的弱(5-100μV)电势。测量并且感测流体信号的设备包括多普勒超声和测量化学信号的设备,其包括功能近红外光谱(fNIRS)。多普勒超声测量对大脑供应的动脉网络的脑血流速度(CBFV)。认知活动在这些动脉内产生可使用多普勒超声检测的CBFV增加。fNIRS技术通过将近红外光从头皮表面投射到大脑内并且在光折射并且反射回到表面时在各种波长测量光学变化而起作用。fNIRS有效地测量脑血流动力学并且检测局部化血容量和氧合变化。因为与大脑活动关联的组织氧合的变化将近红外光子的吸收和散射调制为变化的量,fNIRS可用于建立大脑活动的功能图。测量磁信号的设备包括脑磁图描记(MEG)。MEG测量由大脑的电活动产生的磁场。MEG实现更深层成像并且因为颅骨对磁波是大致透明的而比EEG更灵敏。
通过使用生物物理传感器设备(如上文描述的以及其他),生物物理信号的时间和空间模式可用于测量并且识别人的精神状态或精神表征来揭露信息,例如认知工作负荷、注意/分心、心情、社会动力学、记忆和其他。这些数据的使用对人机交互的机会开启新的前沿。
商业、政治制度和社会对找到志趣相投的人以用于包括营销、消息传递和社会联网的目的给予高度重视。可帮助识别志趣相投(或相反地,非志趣相投)的人的系统和技术将因此被给予高度重视。关于大脑如何对相似刺激作出响应的信息可用于弄清不同人或人群之间的“精神相似性”并且对其评分。这可结合精神、个性或社会特质的其他测量使用来使匹配评价更成熟。
通过用大脑监测设备测试人并且然后使他们通过一系列想象或发人深省的体验(通过任何想象的感觉通道、视觉、听觉、触觉等),所得的空间和时间大脑活动模式可被捕捉并且表征。不同人的大脑活动作出相似响应的程度将提供精神相似性的测量。相反,人的大脑活动对相同刺激作出不同响应的程度将提供精神差异性的测量。对刺激集的响应的集合可用于建立特有的精神轮廓并且起到服务于建立精神偏好的模型的作用,其将等同于例如Meyers-Briggs®或五因素模型(FFM)等用于表征个性特质的概念。
人的政治、精神或社会适应性(或不适应性)可使用生物物理信号的时间和空间模式以及刺激响应数据、基于精神响应的某些相似性或相关性有助于更好配对这一理论来预测。与其他的该比较可以通过要用作约会服务(例如,Match.com®)的部分的基于web的系统和基础设施而发生。
可证明该想法有用的特定示例包括比较精神轮廓与工作满意度信息来帮助识别并且预测潜在职业匹配(或不匹配),其中关系满意度帮助识别并且预测潜在社会适应性(或不适应性),政治倾向帮助识别并且预测政党结盟(或不结盟),产品使用、满意度或兴趣帮助识别营销策略,等。
图1图示根据实施例用于通过大脑活动相似性的相关来提供精神和社会匹配的系统100。该系统收集空间和半球信息来限定到BCI系统的输入。提供刺激110的库来激起受检者112、114中的大脑活动。刺激110的库包括涉及设计成调动大脑的各种媒体(例如,图片、电影、音轨、书面或口头疑问或问题)中的任一个的刺激集。刺激选项是很多的并且想象特定刺激110灶的库,其的范围可以在从一般(例如,设计成测试情绪敏感性)到非常特定(例如,家庭和抚养子女取向)。在向受检者112、114呈现刺激时,由数据收集和记录系统120、122记录大脑活动。测量所得的大脑激活模式的神经成像设备可包括EEG、fNIRS、MEG、MRI(磁共振成像)、超声,等。然而,实施例不意在局限于本文专门提到的测量系统。
记录的大脑活动然后使用模式识别和分类系统130来处理。模式识别系统130处理记录的大脑活动来表征大脑激活模式并且对其分类。从可应用的模式识别领域存在许多技术和算法,其包括分类、聚类、回归、范畴序列标记、实值序列标记、解析、贝叶斯网络、马尔可夫随机场、集成学习等。用于获得或分析大脑活动的另外的方法:修正的朗伯-比尔定律、事件相关组成、多体素模式分析、光谱分析、对于fNIRS的MVPA(多体素模式分析)的使用,等。简单的大脑EEG信号表征可用于识别目的。可实现通用模式识别技术和算法。模式和分类结果132在精神轮廓模型化系统140处与来自数据库150的个人数据和其他特质结合来开发受检者112、114的精神轮廓模型。精神轮廓模型化系统140从而创建这样的模型,其使大脑模式识别结果与其他个人数据和特质(例如性别、年龄、地理位点、遗传信息,等)结合,以根据特定刺激构建精神轮廓。
来自数据库150的个人数据和其他特质可通过调查问卷、观察等获得,并且在个性特质数据库中维持。精神轮廓模型化系统140通过将受检者的精神轮廓与其他精神轮廓的数据库比较来产生受检者的精神轮廓匹配。精神轮廓分析系统160使受检者之间的概率相关。精神轮廓分析系统160计算对于广泛话题中的任一个的精神匹配的统计信息和概率,例如社会、问题解决、音乐体裁倾向、财务取向等。给出已知条件,通用统计技术可用于将模式识别转化成概率关系。
因此,系统100响应于刺激110将记录的大脑活动模式转化成对于该刺激的特有精神轮廓。刺激110的库被转化成对于每个个体的精神轮廓的库。精神轮廓还包括来自数据库150的个人数据和特质的整合。精神轮廓分析系统160基于两个人之间对于刺激或刺激集的模式匹配的相似性或差异性的程度来得到精神轮廓的相似性或差异性。该结果(精神轮廓匹配结果170)代表“精神匹配”的概率得分值。
BCI系统还可用于使用大脑签名来提供用户识别和验证。每个人具有唯一大脑解剖模型和生理特性,其根据他们的遗传、环境和情境影响(可以利用它们以用于识别和验证目的)而变化。
图2图示根据实施例将大脑解剖和活动与已知信息和预先记录的签名比较来识别个体独特性并且对其分配独特性概率的系统200。因此,大脑解剖模型和生理独特性可用于安全和/或验证目的。在图2中,示出基于对活动的大脑响应的校准过程202和验证过程204。在校准过程202中,向第一受检者212提供刺激210。该刺激210可包括呈现给用户、将激起某些特有大脑活动响应的图像、陈述或问题。受检者的响应由数据收集和记录系统220测量。数据收集和记录系统220还测量与大脑解剖结构和活动关联的活动。测量所得的大脑激活模式的神经成像设备可包括EEG、fNIRS、MEG、MRI、超声,等。
与大脑解剖结构和活动关联的数据提供给模式识别设备230,其分析与大脑解剖结构和活动关联的数据来识别模式。识别大脑的解剖特性,例如回转、皮层厚度等。从可应用的模式识别领域再次存在许多技术和算法,其包括分类、聚类、回归、范畴序列标记、实值序列标记、解析、贝叶斯网络、马尔可夫随机场、集成学习等。用于获得或分析大脑活动的另外的方法:修正的朗伯-比尔定律、事件相关组成、多体素模式分析、光谱分析、对于fNIRS的MVPA(多体素模式分析)的使用,等。简单的大脑EEG信号表征可用于识别目的。可实现通用模式识别技术和算法。
大脑测量存储在记忆轮廓存储器系统240中。数据库250维持人群的大脑解剖结构和活动签名的集合。在验证过程204期间,向第二受检者272提供刺激270。该第二受检者272可以是第一受检者212或使数据维持在数据库250中的另一个受检者。受检者的响应由数据收集和记录系统274测量。响应可包括与大脑解剖结构和活动关联的数据。大脑解剖结构可再次使用例如超声和/或EEG、fNIRS、MEG、MRI等技术获得。与大脑解剖结构和活动关联的数据提供给模式识别设备276,其分析与大脑解剖结构和活动关联的来识别模式。再次识别大脑的解剖特性,例如回转、皮层厚度等。
分析设备260接收来自模式识别设备的结果、之前处理的大脑测量和与来自数据库(其维持人群的大脑解剖结构和活动签名的集合)的与受检者关联的预测数据。分析设备260确定被验证的受检者是否与受检者之前处理的大脑测量和预测数据相关。大脑解剖结构和活动模式从而与在校准会话期间收集的已知或预测签名、之前的签名集合或来自‘相似’大脑签名库的预测先验比较。分析设备260对验证分配真实性置信度。对验证的真实性置信度可基于在给定已知条件情况下下将模式识别转化成概率关系的统计技术。
如果分析设备260确定来自受检者272的响应不可接受,可拒绝受检者。然而,如果被验证的受检者272的大脑测量与受检者之前的处理大脑测量和预测数据相关,可接受受检者。这些大脑签名识别技术可结合其他不确定验证方法(例如,手写识别)使用,来提高验证方法的灵敏度和特异性。
因此,系统可用于将大脑解剖结构和活动与已知信息和预先记录的签名比较来识别独特性并且分配独特性概率。备选地,系统可使用潜在更有鉴别能力且安全的方法,其可涉及一系列记忆思维(例如,儿童、汽车、瀑布)、肌肉激活模式(例如,跳跃、发网球、在钢琴上演奏歌曲)或用户将在精神上闪过激起特有大脑活动的想象活动(例如,宠爱猫、对方程13 x 14求解、吃香蕉)。
在另一个实施例中,BCI系统可用于允许用户控制处理设备,例如计算机、膝上型电脑、移动电话、平板计算机、智能电视、远程控制、微波等。BCI系统可用于通过使精神状况与媒体和搜索服务关联来指示设备实施活动。当前BCI系统依靠EEG,其的特征在于相对高的时间分辨率而且也在于相对低的空间分辨率。低空间分辨率极限不与已经示出为对于提取高级信息有用的某些分析技术兼容。尽管现今基于现有技术创建的产品对于精密应用不够好,技术已经可用于提供娱乐级实现。
图3图示根据实施例用于搜集BCI输入的可穿戴系统300的示例。可穿戴大脑系统300可利用EEG传感器310,其用头带312保持靠着前额的位置。备选地或除EEG传感器310外,可穿戴系统300可包括若干电极316,其可附连到用户的头部来检测EEG信号。可穿戴大脑成像设备300可允许用户通过测量大脑中的电活动而粗略控制一个因素,例如小风扇输出的气压水平。EEG的性质限制对头皮分布的总统计估计的空间分辨率,其典型地导致BCI-EEG设备利用光谱分析来分析并且梳理EEG信号内包含的唯一频带。
图4a-c图示根据实施例的神经成像设备400的部件。对于更复杂的BCI输入,传感器远离EEG移到神经成像方法,其提供与MRI或PET扫描相似的更高空间分辨率。光学大脑成像或甚至光学和EEG的组合提供具有空间和时间分辨率的系统,用于区分数百或甚至数千个唯一激活模式。在图4a中,对受检者提供帽子或头盔410,其包括多个传感器和源412。这些传感器和源412提供给处理设备420,其可耦合于受检者。图4b示出在神经成像设备400中使用的检测器430和源432。传感器432可包括EEG。还可使用近红外光谱(NIRS)检测器430。图4c图示控制模块440。
使用BCI系统来提供控制计算体验的一个实施例涉及心灵感应搜索。在用户暴露于各种媒体(例如,音乐或图像)时通过监测BCI模式,BCI系统可创建关联数据库。随后,当用户处于搜索模式时,精神意象可重新创建那些大脑活动模式来帮助使搜索更高效。提供控制计算体验的另一个实施例涉及心灵感应通信。在监测大脑活动模式时,通过在相同媒体集上训练两个或以上用户,系统可以创建用户可以用来彼此通信的共同精神词汇。提供控制计算体验的另一个实施例涉及心灵感应增强现实。用户可训练与3D模型和/或那些模型的动画配对的精神意象来进行特定动作。从而,通过思考模型,用户可在通过具有AR能力的设备观看时促使出现3D模型或动画。
图5是根据实施例用于提供计算体验的控制的方法500的流程图。在记录用户的大脑活动时对该用户呈现刺激510。刺激可以是复合刺激,例如与声音配对的图像,以允许更可靠的相关。具有与特定刺激可靠相关的一个或多个大脑活动测量使用引导测试520来识别。大脑活动测量可以是一个或多个类型,例如fNIRS和EEG。存储候选大脑活动-刺激配对530。在用户想象刺激(如与实际看见、听见、触摸等相比)时具有可靠相关的大脑活动-刺激配对通过引导测试来识别540。存储大脑活动-想象-刺激配对的列表550。在检测到相关大脑活动测量以允许心灵感应搜索、心灵感应通信和心灵感应AR时检索并且显示刺激560。相关的强度通过使用引导测试来再测试大脑活动-刺激配对而恢复570。
关于心灵感应搜索,用户典型地知道他们在搜索什么内容并且提供进入搜索部件的输入搜索项。例如,为了搜索库中的歌曲“歌曲1”,用户提供输入搜索项,其与歌曲名称、艺术家、专辑名称、体裁或其他重叠。然而,用户可对于复杂搜索具有变化水平的搜索素养或可具有太糟糕地限定有效搜索的搜索请求的模糊概念。这因此产生差的搜索结果。然而,根据实施例进行的心灵感应搜索允许用户通过使用用户的精神可视化来针对图像或音乐数据库进行免提搜索。根据实施例的心灵感应搜索允许例如图像搜索、视频搜索、音乐搜索或web搜索等搜索。心灵感应搜索还可允许用户在不知道实际词的情况下进行搜索。
BCI系统建立在使唯一思维模式与归类到用户大脑模式(其响应于思维的基本元素(例如,移动、光/黑暗模式、注意力设置,等)而出现)的内容的数据库匹配的概念上。一旦记录用户的大脑模式并且使其相关,BCI系统独自从大脑模式重建思维。当用户发起搜索时,新的思维将与来自之前思维的已知元素和存储在数据库中的内容匹配。搜索结果可基于与已知要与数据库中的内容关联的元素匹配的新思维中元素的数量而加权。搜索结果采用用户可以有想法这一方式而看上去是心灵感应的,并且使BCI系统进行心灵感应搜索,其返回与想法匹配的结果。
一个示例包括在搜索图像的用户。记忆作为图像的精神表征而存储,其可或可不容易转化成词。或许图像是白鸽后跟黑鸽610的图片,如在图6a中表示的。
对于前面提到的图片的互联网搜索可利用“白鸽后跟黑鸽”而用言语搜索。将纯视觉概念转化成文本搜索产生伪结果620,如在图6b中示出的。将可视化转化成视觉搜索不仅是直观的,而且拥有更有效搜索的潜力,其中言语信息不容易从输出转化成基于文本的搜索。
其中心灵感应搜索将对于除基于文本的搜索以外的非言语搜索产生较好结果的另一个示例涉及对音乐的搜索。例如,用户可想要1984年动画杰作“迷情记”,但无法记得艺术家、歌曲名称、专辑或歌词。用户可以想起歌曲的声音并且进行心灵感应搜索的BCI系统在用户未提供文本输入的情况下提供使大脑激活与“迷情记”的声音的用户思维匹配的音乐结果。BCI系统可通过使来自学习阶段的大脑活动的那些模式与通过想起歌曲而产生的大脑激活匹配而进行这样的搜索。
认知心理学对神经网络模型提供强力支持,其提出大脑中的表征作为在特定时间和空间关系中共同出现的分布式大脑活动的模式而存储。例如,对特定输入(例如图片)的响应导致在你的大脑中的时间和皮层空间位点中在特定模式中跨大脑分布的神经活动的分布,其产生输入的视觉表征作为输出。
沿这些相同线,刺激感知的心理物理过程在大脑中以个体组成在大脑中传递信号并且然后基于引起注意的元素而重组来开始。例如,当观看者感知对象时,颜色信息、形状信息、移动信息等初始作为个体组成进入大脑并且注意或另一个机制使元素绑定到一起来形成一致感知。这些概念因为刺激未表示为整个对象或未在大脑的单个统一部分中表示而是重要的。
根据实施例的心灵感应搜索可使用像多体素模式分析(MVPA)的技术来实现。MVPA建立在刺激采用分布式方式表示并且感知为它们个体元素的重建这一认识上。MVPA是定量神经成像方法,其识别与例如感知视觉刺激、感知听觉刺激、同时记得三个项目、注意对象的一个维度而未聚焦在另一个上等特定思维相关的分布式大脑活动模式。MVPA识别整个大脑中分布的活动的空间和时间模式,其识别复杂精神表征或状态。精神表征可以是例如记忆活动等认知活动,例如检索长期记忆或感知输入的表示,其包括听觉刺激。MVPA传统上利用在体积像素(即,体素)中测量的大脑活动之间的时间相关,这些体积像素响应于刺激在指定时刻或作为狭义定义的认知活动(例如,长期记忆检索)的部分而变得活跃。生物物理信号的时间和空间模式还可用于测量和识别人的生物物理状态或精神表征来揭示信息,例如认知工作负荷、注意/分心、心情、社会动态、记忆及其他。
MVPA可响应于特定刺激识别人的唯一激活模式,然后独自重建该刺激大脑活动模式。例如,来自用户的大脑激活的视频可在MVPA已经训练成学习来自视频的大脑响应后重建。首先,可对用户示出视频剪辑,并且然后每个用户响应于每个视频的特异活动模式可使用MVPA来分析以识别与视频的元素关联的大脑活动。在学习片段后,大脑活动独自可识别来自视频的足够元素以通过使大脑活动与数据库中存储的视频元素匹配来重建它。
然而,MVAP主要应用于MRI神经成像。MRI是强大的神经成像技术,但它依靠大的超导磁体,其使得在移动设置中大脑成像设备变得不切实际。例如fNIRS等光学成像技术是相对新兴的,但为可能扩展到很多种使用和应用的低成本、可穿戴技术方案提供可能性。
根据实施例,MVPA和fNIRS可组合以在具有切实可行的可穿戴设备的MVAP中提供切实可行的分析方法来提供新颖的BCI软件交互和功能性,其能够区分几十至潜在数百个大脑活动模式。
对于提供心灵感应搜索的BCI系统,学习阶段用于响应于刺激来学习大脑激活模式并且搜索阶段用于使精神轮廓与可搜索内容匹配。在学习阶段中,系统响应于指定类型的内容(例如,视频、音乐,等)识别大脑活动的稳定模式。模式采用与内容类型(例如,对于图片或视频的图像性质)有关的方式归类。可使用的神经成像设备再次包括fNIRS、EEG、MEG、MRI等。用于获得或分析大脑活动的方法可再次包括修正的朗伯-比尔定律、事件相关组成、多体素模式分析、光谱分析、对于fNIRS的MVPA的使用。
图7图示根据实施例用于提供心灵感应搜索的BCI系统700。在图7中,BCI跟踪模块710监测与显示器720上的图像或词有关的大脑活动读数。BCI搜索坐标模块730在用户忙于进行搜索时检索早先的BCI词关联。那些关联用于对搜索结果加权或排序。训练系统740显示刺激(例如,视觉、声音、嗅觉、触觉等或组合),同时测量用户的大脑活动,从而允许BCI测量与特定图像或词关联。
图8图示根据实施例使用BCI系统800的无线心灵感应通信。在图8中,在两个受检者(第一用户(user1 810)和第二用户(user2 820))之间提供无线通信802。根据实施例的BCI系统使用户能够使用脑波和其他大脑活动测量来通信词和符号。用户首先使他们的BCI系统在与相同刺激有关的共同大脑活动测量集上训练,如在上文关于心灵感应搜索解释的。然后,当一个用户使用与该刺激有关的思维模式时,BCI系统通过显示该相同刺激来提醒其他用户,从而允许有一种“测心术”。用户界面可显得像具有简单词和符号的文本交谈UI。用户界面可以是基于音频或基于触觉的系统。
无线通信可包括视觉830和/或声音850。对于视觉,用户在进行每个的大脑活动测量时观看相同图像832。第一用户(user1 810)想要激起图像X 834。第二用户(user2 812)看到user1想起显示的图像X 836。
对于声音,用户在进行每个的大脑活动测量时听见相同声音。第一用户(user1810)想激起声音X 854。第二用户(user2 812)通过耳机听见user1 810所想的声音X 856。发送用户可在UI上识别。用户可以思考来选择消息的接收者。
可使用的神经成像设备再次包括fNIRS、EEG、MEG、MRI等。用于获得或分析大脑活动的方法可再次包括修正的朗伯-比尔定律、事件相关组成、多体素模式分析、光谱分析等。
图9是根据实施例用于进行心灵感应上下文搜索的联网系统900。在图9中,联网BCI模块910监测从其他用户的BCI系统920的无线传输。UI 930(例如聊天界面)显示与来自另一个人的大脑活动测量关联的刺激。刺激还可包括其他感觉或组合,例如声音、词、触觉等。训练系统940在测量用户的大脑活动时向用户显示例如视觉、声音、嗅觉、触觉等刺激或组合。这允许大脑活动测量与特定图像关联。生物计量和环境传感器阵列950可用于提供刺激并且获得大脑活动测量。可开发上下文构建块960,其确定用户活动,例如散步、跑步和与某人交谈。传感器阵列950可安装到用户的头上。
图10是根据实施例用于使用BCI系统来提供心灵感应增强现实的流程图1000。BCI系统使用户能够通过有意识地指导思想来看见、听见和感觉增强现实(AR)对象。AR对象可通过监测BCI输入并且呈现用户可未有目的调用的对应AR体验而呈现。如在之前的相关公开中解释的,训练BCI系统以使大脑活动测量与某些图像关联,从而如果用户创建匹配大脑活动模式则允许稍后显示图像。
在图10中,BCI系统监测BCI输入1010。做出是否检测到模式匹配的确定1020。如果否的话,则在1022处系统继续监测BCI输入并且对于匹配来分析BCI输入。如果检测到模式匹配,则在1024处,BCI系统创建渲染,其反映与模式匹配1030相关的AR。系统播放(plays)AR体验1040。之后,BCI过程可返回1042以继续监测BCI输入并且对于匹配来分析BCI输入。
由于由BCI系统监测而发动AR体验。AR体验可以是视觉、听觉、触觉或任何其他基于感觉的体验。此外,用户可通过思想来指示AR角色的移动。这允许用户玩这样的游戏,其中他们控制移动或竞赛的AR角色。此外,BCI系统可对于可以与当前BCI输入交互的提示来监测环境。例如,系统可以进行对象识别,并且如果用户产生与漫画有关的大脑活动测量,可呈现识别对象的漫画版本。在另一个实施例中,用户可通过思考对象的位置来调用它的3D取向。简单的系统(例如,MINDBENDER®)允许用户通过使用注意力集中来移动对象。然而,这些简单系统不涉及AR表示或控制。
图11a-d示出根据实施例的AR呈现和控制的示例。图11a中的AR 1110可在用户产生对应于蜥蜴1112的大脑活动测量时呈现。在该示例中,用户安排一串标记1120、产生与蜥蜴1112匹配的大脑活动并且然后在显示AR体验时观看。在图11b中,AR 1110从平板1114移动到该串标记1120上。在图11c中,AR 1110沿该串标记1120朝膝上型电脑1140甚至移得更远。在图11d中,AR 1110到达膝上型电脑1140。图11a-d中的显示可通过电话、头部安装的显示器或另一个感觉模态。
图12图示根据实施例可提供心灵感应增强现实的系统1200。然而可再次使用传感器和检测器1210(例如,fNIRS、EEG、MEG、修正的朗伯-比尔定律、事件相关组成,等)连同生物计量和环境传感器阵列1212。大脑活动传感器可安装在用户的头部上。在实施例中,有AR能力的计算设备1220可与可包括双面对拍摄装置1232的媒体系统1230一起使用,该双面对拍摄装置1232中的一个可以是顶面拍摄装置。
AR渲染模块1240可采用令人信服的方式自动使AR角色与环境混合。使用识别传感器的数据库1250并且实现AR角色和AR环境内容。可提供面部检测子系统1260来识别受检者的面部。此外,视频分析1270可包括对象识别1272、投影信标跟踪1274和环境特性识别1276,例如识别水平面来界定AR角色动作,因此它未穿过地板。RFID扫描仪系统1280可用于扫描具有嵌入式标签的对象。还可利用集成投影仪1234。
BCI系统1200可进一步包括BCI到AR映射模块1282,其从BCI中间件1284接收输入并且将它映射到AR体验。大脑活动模式的数据库1286提供与AR体验的匹配。这些匹配对于“盒外”用户可是普遍的,或它们可通过匹配过程来创建。AR呈现系统1288可连接到BCI传感器1210,并且可以是无线或有线的。还可实现允许用户在AR角色的“精神控制”中竞争的游戏模块1290。
图13图示根据实施例用于代表由BCI系统1300提供的精神桌面空间的视觉空间的皮层代表区。BCI系统1300能够使用精神桌面用于访问、导航、命令和控制数字设备和内容功能。现在可用的人机接口依靠物理感觉(例如视觉)和物理移动(例如手控制鼠标或键盘)来提供交互式平台用于访问并且控制数字设备和内容。这些物理和感知输入和控制受到限制并且制约更新颖且高效人机接口的潜在表达。提供大脑计算机接口的现有系统基于脑电描记(EEG)技术和来自预定库的限定输出并且使输入开放的控制功能。此外,输入使用电活动的光谱分析来提供,其基本上与根据实施例精神姿势在视觉BCI工作空间中使用的空间和半球信息的使用不同。
根据关于图13描述的实施例,BCI系统1300使用户能够通过使精神注意力聚焦在视野的不同段上来操作计算设备。该视野称为“精神桌面”。当用户在精神上使他们的视野的左上象限可视化或注意该左上象限时,可执行关联的命令。然而,这不意指用户改变对该区域的眼睛聚焦,而可简单地思考该区域(即,使其可视化)。视野区域具有到大脑活动测量的特别强的映射。
图13示出精神桌面,其包括左场1310和右场1320。该左场1310设置成包括左-左上象限1312、左-右上象限1314、左-左下象限1316和左-右下象限1318。右场1320设置成包括右-左上象限1322、右-右上象限1324、右-左下象限1326和右-右下象限1328。
来自视网膜的视觉信号到达视交叉1330,其中视神经部分相交。每个视网膜侧面上的图像经由视交叉1330处的视神经而穿越大脑的相对侧。另一方面,时间图像停留在相同侧上。这允许来自两个眼睛的视场的任一侧的图像传输到大脑的适合的侧,从而使侧面组合在一起。这允许注意右视野的两个眼睛的部分在大脑中的左视觉系统中被处理,并且反之亦然。视束在左膝状体核1340和右膝状体核1360中终止。左膝状体核1340和右膝状体核1360对于从眼睛视网膜接收的视觉信息是主要中继中心。左膝状体核1340和右膝状体核1360经由视束从视交叉1330并且从网状激活系统接收信息。来自左和右膝状体核的信号通过视辐射1370、1372来发送,其充当到初级视觉皮层1390的直接通路。另外,左膝状体核1340和右膝状体核1360从初级视觉皮层接收许多强的反馈连接。Meyer回路1380、1382分别是退出左外侧膝状体核1340和右外侧膝状体核1360并且投射到初级视觉皮层1390的视辐射的部分。视觉皮层1390负责处理视觉信息。
对于“精神桌面”,眼睛跟踪技术可用于实施计算机接口的导航和命令和控制。然而,眼睛跟踪技术局限于物理空间并且遭受与原型操作系统模型相同的限制。例如,抬头并且向左看用于解释对该区域的鼠标指针。
计算机接口利用由计算机显示器上的物理空间表示的数字桌面空间。相比之下,根据实施例的精神桌面将物理桌面分离成精神工作空间,即,基于个体视野区将工作空间分成视觉空间区的精神桌面,称为视觉半野。
视觉信息自然地在左和右眼内通过左和右眼以及上和下和左和右分区而隔离。这些分区创建半野,每个在对应的大脑区中表示。因为视网膜区在对应大脑区中表示,半野周围的大脑的定位称为视网膜定位。
通过查看视觉空间中的区或在精神上使其可视化,精神桌面的工作空间便于访问分配的信息,例如,应用快捷方式、文件或菜单。总的来说,精神桌面对用户创建想象桌面空间以供采用与当前操作系统中的数字桌面相似的方式使用。
通过人类初级视觉皮层中的视网膜定位组织来提取八个视觉半野,精神桌面可由BCI系统实现。图14是根据实施例的视系统1400的图。在图14中,视神经1410从眼睛1412跟踪至大脑的枕叶中的人类初级视觉皮层1420。
视觉信号从眼睛1412并且通过视神经1410传递到视交叉。例如,查看中间线右侧的右上视野或使其可视化在对应于右眼的右上中的相同半野的视觉皮层中产生伴随的大脑活动。视觉皮层的视网膜定位允许使用从大脑活动解码为对于精神桌面的可用信息的视觉空间信息来识别用户希望访问的区。如上文描述的,每个视网膜侧面上的图像经由视交叉1430处的视神经1410穿越大脑的相对侧。另一方面,时间图像停留在相同侧。外侧膝状体核1440(左和右)是对于从眼睛1412接收的视觉信息的主要中继中心。
信号通过视辐射1450从膝状体核1440发送。视辐射1450是到初级视觉皮层1420的直接通路。无意识视觉输入从视网膜直接前往上丘1460。
表1图示左和右场象限通过视交叉、左和右膝状体核和视辐射(其包括Meyer回路)到视觉皮层的映射。
图15示出根据实施例的视觉空间1500的生理隔离段。BCI系统对视觉空间的生理隔离段分配内容。在图15中,视觉空间1500组织为左半野1510和右半野1520。视觉空间1500还设置成上半野1530和下半野1540。从而,根据实施例,可对视觉空间1500分配内容,用户可基于视觉空间1500中合适区域的可视化来实现该内容。内容可以是任何事物,例如应用快捷方式、文件指针、文件等。用户将简单地查看特定半野或使其可视化来访问分配给根据视觉空间的生理隔离段而看到或可视化的位点的任何内容。视觉空间1500的八个半野中的每个可具有分配给空间中通过半野空间中的可视化或任何活动而访问的区的内容。例如,第一应用快捷方式1550可分配给左-左上半野。文件指针1552可分配给左-左下半野。
训练系统可用于映射每个个体的视野来限定图15中视觉空间1500的区以对应于视野的区。精神桌面的敏锐度可用视野中的空间边界来改善。此外,用户可使用头部安装的显示器来便于使精神桌面上可用的视觉空间1500的分区可视化。个体的精神桌面可远程存储(例如,云存储)以在任何设备上实现精神桌面工作空间。
图16是示出根据实施例如被BCI系统利用的初级运动皮层1610和初级感觉皮层1612的人类皮层1600的模型。初级运动皮层1610和初级感觉皮层1612分别在中央沟1630前后,由垂直切片指示。中央沟1630是大脑皮层中的褶皱,其代表使顶叶1640与额叶1650分离以及使初级运动皮层1610与初级体感皮层1660分离的大脑的显著界标。
根据实施例,精神姿势映射到自局部解剖地组织的的大脑区(例如在人类大脑中发现的初级运动和/或体感皮层)出现的大脑活动。这两个大脑区域每个具有这样的区,其分成专用于控制对应身体位点的离散区域。在图16中,在额叶1650的中线大体示出补充运动皮层1660。补充运动皮层1660是有助于控制移动的大脑皮层1600的部分。初级运动皮层1610定位在额叶1650的后部。初级运动皮层1610涉及移动的规划和执行。后顶叶皮层1640从起到在空间中定位身体和外部对象作用的三个感觉系统接收输入:视觉系统、听觉系统和体感系统。体感系统提供关于通过触摸(即,与皮肤的物理接触)在我们外部环境中的对象以及通过刺激肌肉和关节关于我们身体部位的位置和移动的信息。进而,后顶叶皮层1640的输出中的许多前往额叶运动皮层1670的区域。运动前区皮层1670位于在初级运动皮层1610正前方的额叶1650内。运动前区皮层1670涉及准备并且执行肢体移动并且与其他区协调来选择合适的移动。
利用物理或感知输入的用户界面使用一组协议来执行预定动作。例如,键盘使用键(其具有分配给每个的角色),或鼠标使用X-Y位点并且点击来指示响应。相似地,BCI系统需要建立广泛、实用的BCI输入的基础。根据实施例,BCI系统实现并且处理精神姿势来执行功能或提供其他类型的输入。精神姿势是从大脑活动解释、要采用键盘上的键提供预定输入以用于灵活控制它们的输出相同的方式用作计算机输入的思维姿势库。
例如,启用触摸的表面具有预设姿势,例如拧捏、挤压和滑动。这些触摸姿势起到跨任务建立触摸界面和使用的基础的作用。相似地,精神姿势遵循通过BCI姿势(即,精神姿势)的库为BCI输入建立基础的相同原理,以实现跨任务和甚至平台的使用。
精神姿势通过思维而可执行并且直接从大脑活动记录。与基于实际移动的触摸姿势相比,精神姿势是想象的运动移动。精神姿势的库和使用很多想象移动而不是例如触摸等单模态的灵活性的组合呈现到BCI系统的极其强大接口的可能。精神姿势优于传统输入的益处包括(1)用户不必物理输入任何信息,这将允许人在没有肢体或没有控制那些肢体的情况下执行动作,(2)精神姿势可自任何想象运动移动(其作为物理输入将是不实际的)(例如踢)出现,(3)可能精神姿势的范围在例如鼠标、键盘和轨迹板等传统输入(其依靠手动输入)上扩大灵活性或效用,以及(4)精神姿势可以是半野特定的,因为许多大脑具有左和右单侧性大脑半球,其可创建独立运动信号。
精神姿势的示例包括但不限于单指移动、不同数量的指移动(例如,1、2或3个手指移动)、挥手、踢、脚趾移动、眨眼、转头、点头、弯腰等。由精神姿势表示的移动是纯想象的移动,其可与多种计算机输入关联。例如,操作系统可对单指移动分配功能性和对双指移动分配不同功能性。备选地,媒体播放器可以对不同精神姿势分配它的功能(例如,播放/暂停、倒退、随机播放)中的每个。
精神姿势的一个可能实现将是软件开发工具包(SDK),其具有开发者分配给他们的软件内的专用功能的精神姿势库。SDK是软件开关工具集,其允许对系统创建应用。SDK将使开发者能够访问可采用灵活、开发的方式使用的精神姿势。例如,视频游戏开发者可以使用精神姿势SDK来开发对视频游戏的方面的BCI控制或移动原始设备制造商(OEM)可以使用精神姿势SDK来开发对他们的移动设备上的专用功能的精神姿势控制。
精神姿势还可以与可以结合多个输入源的另一个系统一起使用。如果存在跨通道感知计算技术方案,精神姿势可以是要与其他感知输入结合的额外输入源。例如,空中姿势可以与精神姿势结合以基于左侧或右侧精神姿势输入来对用左或右手空中姿势编码。
图17是演示在人类皮层的中央前回上的初级运动皮层1710的局部解剖地组织的模型1700。身体的每个部位由皮层的截然不同的区域用与它的相应身体部位的控制关联的皮层数量表示。图17示出负责准备和执行脚1720、臀部1722、躯干1724、手臂1726、手1728、面部1730、舌头1732和喉1734的移动的区域。
具有高到足以从皮层段(其窄到足以区分相邻区域)提取信号的空间分辨率的任何大脑成像设备可用于实现精神桌面。当前可用的设备的一些示例包括密集电极EEG、fNIRS、MRI或MEG。
对于来自大脑的每个信号,半球(左和右)空间位点和区域负责对于运动信号的源编码。例如,左手食指的活动或想象活动将在右半球中的手指区域中产生活动。精神姿势将对左边的单指移动编码,并且活跃区域的位点和数量将对精确手指和一定数量指(即,1、2、3或4指)姿势编码。
从而,根据实施例用于实现精神桌面(其对输入使用精神姿势)的系统可包括神经成像设备,例如fNIRS、EEG、MEG、MRI、超声等。用于获得或分析大脑活动的方法还可包括修正的朗伯-比尔定律、事件相关组成、多体素模式分析、光谱分析、对于fNIRS的MVPA的使用。
根据实施例,BCI系统提供精神桌面,其将计算机内容和功能映射到视野的不同段。BCI系统允许在上文引用的系统的应用中训练用户。从大脑活动解释的思维姿势的库可用于影响计算机导航、命令和控制。此外,可提供开发系统以允许软件开发者利用精神姿势。
图18图示根据实施例用于对应用分配BCI测量和其他模态的用户界面1800。在图18中,在左边示出一列应用1810。BCI测量和其他模态1820在右边示出。可实现其他应用1810以及其他BCI测量和其他模态1820。可选择BCI测量和其他模态1820用于分配给左边的应用1810中的至少一个。从而,根据实施例的BCI系统可在多模态系统中使用。
通过使BCI与其他模态(例如,姿势、语音、眼睛跟踪和面部/面部表情跟踪)结合,可对用户提供控制电子设备的新用户体验和方式。从而,根据实施例的BCI系统识别输入的两个BCI类型以及其他模态。另外,可实现激起大脑活动的反馈回路的一些方法,并且上下文感测可更改BCI输入的使用。
图19示出根据实施例接受BCI输入1910和其他模态输入1912的BCI系统1900。在图19中,BCI输入1910提供给BCI系统1900以用应用1920实现。额外模态1912也提供给BCI系统1900以用应用1920实现。然而,BCI输入1910和额外模态1912中的一些可互斥,而一些可在一起使用。对BCI数据库1930的感知计算可用于保持对自然UI输入和BCI输入如何一起工作的探索。协调模块1940从BCI输入1912接收输入、从数据库1930接收额外输入模态1912和感知计算输入并且然后关于确定的用户意图做出确定。协调模块1940基于来自BCI应用协调模块1970的结果做出用户意图的最终确定并且发起最终命令。UI 1960(如在图19中示出的)可用于对应用1920分配BCI 1910和额外模态1912输入。应用关联数据库1932可用于存储BCI/应用关联。BCI应用协调模块1970监测分配的应用是否运行并且对相关应用发起BCI控制。
BCI输入质量模块1972监测降低传感器输入的环境信号。BCI系统进一步包括因子条件1934的因子数据库,其包括上文描述的变量和它们的禁止特定形式输入1910、1912的水平。导引器模块1980接收输入1910、1912、将它们与因子数据库1934权衡并且向应用1920发送命令来控制如何使用输入1910、1912,例如关闭、打开、权重超过其他的一些测量,等。上下文构建块子系统1982测量环境和用户因子。由导引器模块1980做出是否出现可能干扰的确定。如果检测到干扰,导引器模块1980调整BCI输入1910。
利用例如手势、语音和眼睛跟踪等输入模态,一个挑战是通过那些模态中的一个来对迫近命令提醒系统(例如,语音命令)。系统可在实际命令之前或之后将疏忽的噪声或移动解释为命令。紧接命令之前的来自用户的BCI模式可以发出下一个主要传感器检测事件可解释为命令的信号。
在系统同时经受来自一个或多个模态的输入时,BCI输入可以指示哪个模态具有优先权。使用跨通道BCI输入的一个示例将是使用BCI输入来确定姿势是用右手还是用左手姿势库。备选地,BCI输入可与另一个模态同时使用来加强输入命令。例如,大脑活动模式可作为语音命令同时被测量。大脑活动模式可用于帮助系统区分2个相似探测命令。
根据实施例包括生活博客和“全面回顾”系统的BCI系统(其从穿戴者角度记录音频和视频)可用于帮助具有认知障碍的人。软件算法可用于确定传感器输入的方面。例如,健忘的老人可以穿戴这样的设备,并且当BCI检测到混乱状态时,通过电模式和/或血流量,系统可以在听筒中给出音频信息,其使用户想起视野中的人和物体的名字。
可提供看见和思考命令以及跟踪。用户可以使用眼睛跟踪输入来选择目标,并且然后使用BCI系统来提供输入以对聚焦的目标起作用,例如用户正在看的物体基于大脑活动模式而变色。该示例也可以适用于视觉媒体,例如,用户可以聚焦在角色上,并且用户的大脑活动模式可以将该角色标记为更有趣。此外,在用户阅读时,可检测到混乱来指示未理解文本,这可帮助教学。
BCI输入可用于解决跨通道中断。BCI输入可用于中断在对另一个模态作出响应的系统。例如,在游戏中,用户可使用空中姿势以在一定方向上移动角色,然后使用BCI输入中的改变来停止该角色。UI反馈也可与BCI输入一起使用。例如,在系统识别BCI输入时,BCI系统可向用户提供各种反馈,从而使用户能够知道已经接收并且确认输入。BCI反馈可以与其他模态反馈(例如姿势)一起出现。此外,UI可用于BCI输入的用户映射。用户界面允许用户将大脑活动模式映射到指定模态使得系统在出现对应BCI模式时激活对于该模态的命令机会之窗。因为感测的输入与大脑活动模式加上另一个模态相关,用户可将大脑活动模式映射到指定模态,使得系统在识别命令中具有较高可靠性。用户还可将不同模态映射到不同大脑活动使得一个模式将意指相关模态可是活跃的,而另一个模式激活不同模态。
BCI输入也可用于激活系统资源。例如,可在用户变得更警觉时提醒系统离开功率状态。这可在用户在做视觉设计时使用。BCI系统可以在用户处于浏览模式时允许处理器进入睡眠状态。当大脑活动模式指示用户即将采取行动(例如进行编辑)时,系统可以使处理器上电,因此处理器在用户开始动作时更积极响应。
根据实施例,BCI系统1900使用户能够对可没有焦点的一个应用分配BCI输入,其中焦点指当前引起OS注意的应用。应用然后将对BCI输入作出响应,即使用户在做别的事情也如此。UI使用户能够分配应用。
实施例的其他示例可包括音乐和视频实现,其中在用户编辑文档时接受BCI输入用于控制。通信信道可在用户在创造时通过即时通讯(IM)客户端示出用户的状态,例如忙于思考。特定大脑区便于在任务与BCI输入之间切换来改变音乐、可便于在任务之间切换。BCI系统可映射到音乐播放器使得每当大脑的任务切换部分变得活跃时,音乐播放器跳到下一首歌以便于切换到新的任务。另外,自主车辆将允许驾驶员逃避驾驶命令以享受车辆中的非驾驶活动。然而,当驾驶的职责回到驾驶员时,非驾驶活动退出。BCI系统可将车载信息娱乐系统的娱乐特征映射到认知工作负荷以在达到某一工作负荷水平时关闭娱乐特征。
BCI系统还可以关于用户上下文做出确定一遍允许在指定时间使用各种BCI输入。状态指示符可以对用户示出BCI输入作为输入何时可用。其他上下文确定可由根据实施例的BCI系统提供。例如,用户的活动可由生物计量传感器确定(测量为心率、呼吸、移动)、由加速计和陀螺仪确定,和用户位置,例如站立vs.躺下。在某一活动水平处,可防止系统使用不可靠BCI输入,或系统可以调整到不同情况。BCI系统可确定用户是否忙于会话并且信息可用作BCI输入。用于做出上下文确定的BCI输入还可包括禁止可靠BCI输入、引起用户分心的环境条件,其包括声音、视觉刺激、不可预测噪声、气味、播放的媒体和由于电干扰(例如磁场、环境温度和其他环境因子)而可以禁止准确测量的其他因子和环境条件。
不同类型的大脑活动传感器对于用户在做的指定任务具有不同的强度和益处。例如,在其中期望更高空间分辨率的实例中,系统可选择fNIRS输入而不是具有较低空间分辨率的EEG。在其他实例中,可期望快速反馈,因此系统可选择EEG或还具有更高时间分辨率的另一个技术。环境传感器可以确定用户活动来影响哪个BCI输入是最佳的。例如电磁能等环境因子已知能被EEG检测。在其中电磁(EM)能将干预EEG记录的实例中,BCI系统可切换到较好输入源。
图20图示根据实施例用于确定用户意图的方法2000的流程图。BCI系统确定用户意图2010。感知计算系统解释用户输入2020。协调模块然后做出用户意图的最终确定并且发起最终命令2030。
图21是根据实施例用于分配BCI输入以用于控制应用的方法2100的流程图。用户使BCI输入与应用匹配2110。BCI应用协调模块监测应用使用2120。做出应用是否在使用中的确定2130。如果应用不在使用中2132,过程返回以使BCI输入与应用匹配。如果应用在使用中2134,分配的BCI输入用于控制应用2140。
图22是根据实施例用于由BCI系统调整上下文因子的方法2200的流程图。BCI输入子系统在运行中2210。上下文构建块子系统测量环境和用户因子2220。由引导器模块做出是否出现可能干扰的确定2230。如果否的话,则在2232处,过程回到过程的开始。如果检测到可能干扰2234,导引器模块调整BCI输入2240。过程可回到开始2242。
从而,根据本文描述的实施例,大脑/颅骨解剖特性(例如回转、皮层厚度、头皮厚度等)可用于识别/验证目的。测量的刺激/响应大脑特性(例如,解剖和生理的)可转化成特定模式来对大脑归类以用于识别/验证目的。解剖和生理大脑数据可耦合来确定用户的身份和真实性。关于其他大脑签名(例如,解剖和生理的)的信息以及与相似大脑的比较可用于预测对新刺激的大脑响应并且用于识别和/或验证目的。大脑识别和/或验证技术结合其他识别和/或验证技术(例如,密码、其他生物计量参数)可用于提高身份/验证灵敏度和特异性。
图23图示根据实施例用于基于生物物理信号的搜集时间和空间模式来提供大脑计算机接口(BCI)系统的示例机器2300的框图,在该示例机器上可执行本文论述的技术(例如,方法)中的任一个或多个。在备选实施例中,机器2300可作为独立设备操作或可连接(例如,联网)到其他机器。在联网部署中,机器2300可在服务器-客户端网络环境中以服务器机器和/或客户端机器的身份操作。在示例中,机器2300可以在对等(P2P)(或其他分布式)网络环境中充当对等机。机器2300可以是个人计算机(PC)、平板PC、机顶盒(STB)、个人数字助理(PDA)、移动电话、web家电、网络路由器、交换机或网桥或能够执行规定要由该机器采取的动作的指令(相继或用别的方式)的任何机器。此外,尽管图示单个机器,术语“机器”还应视为包括各自或联合执行指令集(或多个集)来进行本文论述的方法中的任一个或多个的机器的任何集合,例如云计算、软件及服务(SaaS)、其他计算机集群配置。
如本文描述的示例可包括逻辑或许多部件、模块或机构或可在它们上操作。模块是能够进行规定操作的有形实体(例如,硬件)并且可以配置成采用某一方式配置或设置。在示例中,电路可以采用作为模块的规定方式设置(例如,在内部或关于外部实体,例如其他电路)。在示例中,一个或多个计算机系统(例如,独立客户端或服务器计算机系统)或一个或多个硬件处理器2302中的至少一部分可由作为操作以进行规定操作的模块的固件或软件(例如,指令、应用部分或应用)配置。在示例中,软件可驻存在至少一个机器可读介质上。在示例中,软件在由模块的底层硬件执行时促使硬件进行规定操作。
因此,术语“模块”理解成包括包含有形实体,其是物理构造、专门配置(例如,硬接线)或暂时(例如,短暂地)配置(例如,编程)来以规定方式操作或进行本文描述的任何操作中的至少部分的实体。考虑其中模块被暂时配置的示例,模块不必在任一个时刻例示。例如,在模块包括使用软件来配置的通用硬件处理器2302的情况下,通用硬件处理器可以在不同时间配置为相应不同的模块。软件因此可配置硬件处理器例如以在一个时间实例处构成特定模块并且在不同的时间实例处构成不同的模块。术语“应用”或其变化形式在本文可扩大用于包括例程、程序模块、程序、部件及类似物,并且可在各种系统配置上实现,其包括单处理器或多处理器系统、基于微处理器的电子器件、单核或多核系统、其组合及类似物。从而,术语应用可用于指软件的实施例或指设置成进行本文描述的任何操作中的至少部分的硬件。
机器(例如,计算机系统)2300可包括硬件处理器2302(例如,中央处理单元(CPU)、图形处理单元(GPU)、硬件处理器核或其任何组合)、主存储器2304和静态存储器2306,其中的至少一些可经由互联(例如,总线)2308而与其他通信。机器2300可进一步包括显示单元2310、字母数字输入设备2312(例如,键盘)和用户界面(UI)导航设备2314(例如,鼠标)。在示例中,显示单元2310、输入设备2312和UI导航设备2314可以是触屏显示器。机器2300可额外包括存储设备(例如,驱动单元)2316、信号生成设备2318(例如,扬声器)、网络接口设备2320和一个或多个传感器2321,例如全球定位系统(GPS)传感器、罗盘、加速计或其他传感器。机器2300可包括输出控制器2328,例如串行(例如,通用串行总线(USB)、并行或其他接线或无线(例如,红外(IR)))连接,用于通信或控制一个或多个外围设备(例如,打印机、读卡器,等)。
存储设备2316可包括至少一个机器可读介质2322,在其上存储体现本文描述的技术或功能中的任一个或多个或由本文描述的技术或功能中的任一个或多个所利用的数据结构或指令2324(例如,软件)的一个或多个集。指令2324在其由机器2300执行期间还可至少部分驻存在例如主存储器2304、静态存储器2306等额外机器可读存储器中或硬件处理器2302内。在示例中,硬件处理器2302、主存储器2304、静态存储器2306或存储设备2316中的一个或任何组合可以构成机器可读介质。
尽管机器可读介质2322图示为单个介质,术语“机器可读介质”可包括单个介质或多个介质(例如,集中或分布式数据库,和/或关联的高速缓存和服务器),其配置成存储一个或多个指令2324。
术语“机器可读介质”可包括任何介质,其能够存储供机器2300执行的指令、对它们编码或运送它们并且促使机器2300进行本公开的技术中的任一个或多个,或能够存储由这样的指令使用或与这样的指令关联的数据结构、对它们编码或运送它们。非限制性机器可读介质示例可以包括固态存储器以及光和磁介质。在示例中,大容量机器可读介质包括具有多个带静止质量的粒子的机器可读介质。大容量机器可读介质的特定示例可包括:非易失性存储器,例如半导体存储器设备(例如,电可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM))和闪速存储器设备;磁盘,例如内部硬盘和可移动盘;磁光盘;和CD-ROM以及DVD-ROM盘。
指令2324可利用许多传输协议(例如,帧延迟、互联网协议(IP)、传输控制协议(TCP)、用户数据报协议(UDP)、超文本传输协议(HTTP),等)中的任一个经由网络接口设备2320使用传输介质在通信网络2326上进一步传送或接收。示例通信网络可包括局域网(LAN)、广域网(WAN)、分组数据网络(例如,互联网)、移动电话网络(例如,信道接入方法,其包括码分多址(CDMA)、时分多址(TDMA)、频分多址(FDMA)和正交频分多址(OFDMA),和例如全球移动通信系统(GSM)、通用移动电信系统(UMTS)、CDMA 2000 1x*标准和长期演进(LTE)等蜂窝网络)、普通老式电话(POTS)网络和无线数据网络(例如,电气和电子工程师协会(IEEE)802.11标准系列,其包括IEEE 802.11标准(WiFi)、IEEE 802.16标准(WiMax®及其他)、对等(P2P)网络或现在已知或后来开发的其他协议。
例如,网络接口设备2320可包括一个或多个物理插孔(例如,以太网、同轴、听筒插孔)或一个或多个天线,用于连接到通信网络2326。在示例中,网络接口设备2320可包括多个天线,用于使用单输入多输出(SIMO)、多输入多输出(MIMO)或多输入单输出(MISO)技术中的至少一个来无线通信。术语“传输介质”应视为包括能够存储供机器2300执行的指令、对它们编码或运送它们的任何无形介质,并且包括用于促进这样的软件的通信的数字或模拟通信信号或其他无形介质。
额外注释&示例:
示例1可包括主旨(例如设备、装置、客户端或系统),其包括用于供应给用户的刺激的库、用于响应于从刺激库向用户供应刺激来搜集与大脑活动关联的生物物理信号的时间和空间模式的数据收集设备,和处理设备,用于使与大脑活动关联的生物物理信号的搜集时间和空间模式相关来识别用户的大脑签名并且基于通过使与大脑活动关联的生物物理信号的搜集时间和空间模式相关而识别的用户的大脑签名来进行处理器控制的功能。
示例2可可选地包括示例1的主旨,其中处理设备将从用户的大脑签名得到的用户的精神轮廓与来自预定人群的精神轮廓的数据库的精神轮廓比较。
示例3可可选地包括示例1-2中任一个或多个的主旨,其中处理设备对于一系列话题中的任一个计算用户的精神轮廓的匹配的统计信息和概率。
示例4可可选地包括示例1-3中任一个或多个的主旨,其中处理设备基于与用户的大脑活动关联的生物物理信号的时间和空间模式根据刺激构建用户的精神轮廓。
示例5可可选地包括示例1-4中任一个或多个的主旨,其中处理设备使用户的大脑签名与个人数据和从数据库获得的其他特质结合来开发用户的精神轮廓模型。
示例6可可选地包括示例1-5中任一个或多个的主旨,其中处理设备使受检者之间的概率相关并且计算用户的精神轮廓模型与至少一个其他用户的精神轮廓模型之间的精神匹配的统计信息和概率。
示例7可可选地包括示例1-6中任一个或多个的主旨,其中处理设备提供用户的识别和验证,其中用户的精神轮廓由处理设备在校准阶段期间基于向用户呈现来自刺激库的刺激而创建,处理设备进一步确定被验证的用户的精神轮廓是否与在校准阶段期间创建的用户的精神轮廓相关。
示例8可可选地包括示例1-7中任一个或多个的主旨,其中处理设备设置成通过监测从用户的大脑计算机接口系统的传输、显示与来自用户的大脑活动测量关联的刺激、搜索大脑活动测量来定位与大脑活动测量关联的搜索对象以及基于大脑活动测量与搜索对象(具有与之相关的关联大脑活动测量)之间的匹配来返回搜索结果而进行心灵感应上下文搜索。
示例9可可选地包括示例1-8中任一个或多个的主旨,其中处理设备通过接收来自大脑计算机接口(BCI)传感器和检测器以及生物计量和环境传感器阵列的输入来提供心灵感应增强现实,处理设备设置成将从识别的传感器输入的数据库获得的输入、AR角色和AR环境内容映射到AR体验,处理设备使AR角色与环境混合并且基于从来自大脑计算机接口(BCI)传感器和检测器以及生物计量和环境传感器阵列的输入得到的用户意图向用户呈现AR体验。
示例10可可选地包括示例1-9中任一个或多个的主旨,其中处理设备对用户的左和右眼中的每个创建代表左和右半野的精神桌面,处理设备进一步使每个眼隔离为上分区和下分区,其中精神桌面包括具有分配给其的信息的用户的视野的八个区域,处理设备检测精神桌面的区中的精神上的可视化并且根据分配给精神可视化区的信息来实现功能。
示例11可可选地包括示例1-10中任一个或多个的主旨,其中处理设备设置成分析接收的输入,其包括:与用户的大脑活动关联的生物物理信号的时间和空间模式以及对利用应用的实现接收的额外输入模态,和从感知计算到BCI数据库的感知计算输入,处理设备进一步设置成基于与从感知计算数据库获得的输入和从因子数据库获得的因子关联的输入和相互关联数据确定用户的意图,其中处理设备基于确定的用户意图发起命令。
示例12可可选地包括示例1-11中任一个或多个的主旨,其中处理设备设置成确定是否出现干扰并且调整用户的生物物理信号的时间和空间模式来解释干扰。
示例13可可选地包括示例1-12中任一个或多个的主旨,其进一步包括用户界面,用于分配与用户的大脑活动关联的生物物理信号的时间和空间模式以及到应用的额外模态输入。
示例14可包括示例1-13中任一个的主旨(例如用于进行动作的方法或手段)或可可选地与其结合,用于向用户提供刺激、响应于向用户提供刺激来搜集与大脑活动关联的生物物理信号的时间和空间模式、使与大脑活动关联的生物物理信号的搜集时间和空间模式相关来识别用户大脑签名并且基于通过使与大脑活动关联的生物物理信号的搜集时间和空间模式相关而识别的用户的大脑签名来进行处理器控制的功能。
示例15可可选地包括示例14的主旨,其中处理器控制的功能包括确定用户的识别模式与用户组共同的模式之间的至少一个相似性。
示例16可可选地包括示例14-15中任一个或多个的主旨,其进一步包括对用户提供大脑监测设备并且通过与刺激关联的一系列体验来运行用户,其中使搜集的时间和空间模式相关包括表征搜集的空间和时间大脑活动模式来识别用户大脑签名。
示例17可可选地包括示例14-16中任一个或多个的主旨,其中进行处理器控制的功能进一步包括基于用户大脑签名来构建用户的特有精神轮廓、建立精神偏好和个性特质的模型和使用建立的模型来预测用户与关联的人的亲密性。
示例18可可选地包括示例14-17中任一个或多个的主旨,其中使生物物理信号的搜集时间和空间模式相关进一步包括将响应刺激的记录大脑活动模式转化成与刺激关联的特有精神轮廓、对于数据库中的每个个体维持对刺激的精神轮廓、将个人数据和特质集成到精神轮廓、识别响应于刺激的用户的精神轮廓和与刺激关联的其他用户的至少一个精神轮廓之间的精神匹配以及提供精神匹配的概率或百分比分值。
示例19可可选地包括示例14-18中任一个或多个的主旨,其中向用户提供刺激、响应于向用户提供刺激来搜集与大脑活动关联的生物物理信号的时间和空间模式以及使生物物理信号的搜集时间和空间模式相关进一步包括基于刺激来校准用户的大脑签名并且通过将当前测量的大脑签名与校准的大脑签名比较来验证用户。
示例20可可选地包括示例14-19中任一个或多个的主旨,其中校准用户的大脑签名包括向用户呈现刺激集来激起大脑活动响应、响应于呈现的刺激集来测量大脑解剖结构和活动、进行大脑解剖结构和活动的测量的模式识别来产生用户的大脑签名、存储产生的大脑签名已经将存储的大脑签名添加到预定人群的解剖和生理大脑签名的数据库。
示例21可可选地包括示例14-20中任一个或多个的主旨,其中呈现刺激集进一步包括通过思维来运行用户以激起某些特有大脑活动。
示例22可可选地包括示例14-21中任一个或多个的主旨,其中通过思维运行用户包括通过从由一系列记忆思维、肌肉激活模式和想象活动组成的组选择的一个来运行用户。
示例23可可选地包括示例14-22中任一个或多个的主旨,其中测量大脑解剖结构和活动包括使用功能近红外光谱、脑电描记、脑磁描记、磁共振成像和超声中的至少一个来测量大脑解剖结构和活动。
示例24可可选地包括示例14-23中任一个或多个的主旨,其中测量大脑解剖结构和活动包括测量解剖特性。
示例25可可选地包括示例14-24中任一个或多个的主旨,其中测量解剖特性包括测量回转、皮层厚度和头皮厚度中的至少一个。
示例26可可选地包括示例14-25中任一个或多个的主旨,其中进行大脑解剖结构和活动的测量的模式识别进一步包括基于修正的朗伯-比尔定律、事件相关组成、多体素模式分析(MVPA)、光谱分析、对于fNIRS的MVPA的使用中的至少一个来进行模式识别。
示例27可可选地包括示例14-26中任一个或多个的主旨,其中进行大脑解剖结构和活动的测量的模式识别进一步包括将解剖和生理测量转化成可以用于对大脑归类以用于识别和验证的特定模式。
示例28可可选地包括示例14-27中任一个或多个的主旨,其中验证用户包括向用户呈现之前应用的刺激集来激起大脑活动响应,基于之前应用的刺激集来测量用户的大脑解剖结构和活动,进行大脑解剖结构和活动的测量的模式识别来产生用户的大脑签名,以及通过将大脑签名与用户的校准大脑签名比较来分析通过进行模式识别而获得的用户的大脑签名。
示例29可可选地包括示例14-28中任一个或多个的主旨,其中分析用户的大脑签名包括将大脑签名与预定人群的解剖和生理大脑签名比较。
示例30可可选地包括示例14-29中任一个或多个的主旨,其中分析用户的大脑签名包括将大脑签名与额外识别和验证技术比较来提高识别和验证技术的灵敏度和特异性。
示例31可可选地包括示例14-30中任一个或多个的主旨,其中将大脑签名与额外识别和验证技术比较包括将大脑签名与手写识别结果、密码询问和额外生物计量参数中的至少一个比较。
示例32可可选地包括示例14-31中任一个或多个的主旨,其中基于用户大脑签名进行处理器控制的功能包括指示设备响应于与大脑活动关联的生物物理信号的搜集时间和空间模式来进行功能。
示例33可可选地包括示例14-32中任一个或多个的主旨,其中向用户提供刺激、响应于向用户提供刺激来搜集与大脑活动关联的生物物理信号的时间和空间模式、使生物物理信号的搜集时间和空间模式相关并且基于用户大脑签名来进行处理器控制的功能进一步包括向用户呈现刺激集、获得用户的大脑计算机接口(BCI)测量、识别来自BCI测量、具有与预定刺激的可靠相关的候选大脑活动-刺激配对、存储候选大脑活动-刺激配对、确定在用户在想象刺激时具有可靠相关的大脑活动-刺激配对、存储在用户在想象刺激时具有可靠相关的大脑活动-刺激配对以及在检测到相关BCI测量来进行心灵感应计算机控制时检索并且显示刺激。
示例34可可选地包括示例14-33中任一个或多个的主旨,其中向用户呈现刺激集进一步包括向用户呈现复合刺激来提高相关可靠性。
示例35可可选地包括示例14-34中任一个或多个的主旨,其中心灵感应计算机控制包括由用户通过重新创建与搜索对象关联的BCI测量配对的刺激的精神意象而进行的心灵感应搜索。
示例36可可选地包括示例14-35中任一个或多个的主旨,其中心灵感应搜索通过使用户的思维模式与归类到响应于与思维模式关联的大脑活动测量而开发的用户的大脑模式的内容的数据库匹配来进行以产生搜索结果并且基于与已知与数据库中的内容关联的元素匹配的思维模式中的元素数量来对搜索结果加权。
示例37可可选地包括示例14-36中任一个或多个的主旨,其中心灵感应搜索包括对于图像的搜索,其中用户想起是搜索的对象的图像并且提供使大脑活动-刺激配对与用户的图像思考匹配的图像结果。
示例38可可选地包括示例14-37中任一个或多个的主旨,其中心灵感应搜索包括对音乐作品的搜索,其中用户想起与该音乐作品关联的声音并且提供使大脑活动-刺激配对与音乐作品关联的声音的用户思考匹配的音乐结果。
示例39可可选地包括示例14-38中任一个或多个的主旨,其中心灵感应搜索包括使用多体素模式分析(MVPA)和功能近红外光谱(fNIRS)的组合进行的心灵感应搜索来识别与特定思维相关的分布式大脑活动的模式。
示例40可可选地包括示例14-39中任一个或多个的主旨,其中心灵感应计算机控制包括心灵感应通信,其中用共同精神词汇训练的至少两个用户使用该共同精神词汇以基于大脑活动-刺激配对而彼此通信。
示例41可可选地包括示例14-40中任一个或多个的主旨,其中发送用户在接收用户的用户界面上识别,并且其中发送用户想起接收用户以选择接收用户来发送消息。
示例42可可选地包括示例14-41中任一个或多个的主旨,其中心灵感应计算机控制包括通过思考使精神意象与模型关联的大脑活动-刺激配对而进行的心灵感应增强现实(AR)来进行预定动作。
示例43可可选地包括示例14-42中任一个或多个的主旨,其中预定动作包括对用户呈现由AR对象产生的与大脑活动-刺激配对关联的感觉信号,其中这些感觉信号包括视觉、听觉和触觉信号。
示例44可可选地包括示例14-43中任一个或多个的主旨,其中预定动作包括呈现未有目的地由用户通过监测BCI输入而调用的AR体验。
示例45可可选地包括示例14-44中任一个或多个的主旨,其中预定动作包括通过思考大脑活动-刺激配对来指示AR角色的移动。
示例46可可选地包括示例14-45中任一个或多个的主旨,其中预定动作包括使用与监测的环境提示配对的大脑活动-刺激而发起的动作。
示例47可可选地包括示例14-46中任一个或多个的主旨,其中基于用户大脑签名进行处理器控制的功能包括通过由用户将精神注意力聚焦在用户视野的不同段上来操作计算设备。
示例48可可选地包括示例14-47中任一个或多个的主旨,其中向用户提供刺激、响应于向用户提供刺激来搜集与大脑活动关联的生物物理信号的时间和空间模式、使生物物理信号的搜集时间和空间模式相关并且基于用户大脑签名来进行处理器控制的功能进一步包括:基于用户的视野区将精神桌面工作空间分成视觉空间区;训练用户以将用户的视野映射到用户的初级视觉皮层区,其中初级视觉皮层区对应于视觉空间区中的一个;对由视觉空间区表示的视野的生理隔离段分配内容;以及通过使视觉空间区中的一个在精神上可视化来访问分配给可视化视觉空间区的内容而访问分配的信息。
示例49可可选地包括示例14-48中任一个或多个的主旨,其中视觉空间区包括对于左眼和右眼中的每个的左和右半野,并且其中每个半野分成上和下分区。
示例50可可选地包括示例14-49中任一个或多个的主旨,其中向用户提供刺激、响应于向用户提供刺激来搜集与大脑活动关联的生物物理信号的时间和空间模式、使生物物理信号的搜集时间和空间模式相关并且基于用户大脑签名来进行处理器控制的功能进一步包括:由用户想象与提供计算机输入关联的身体位点的移动、记录自专用于控制对应身体位点移动的局部解剖地组织的大脑区出现的大脑活动、使局部解剖地组织的大脑区中的记录大脑活动与对应身体位点的移动相关、通过使身体位点的移动可视化来进行精神姿势以在局部解剖地组织的大脑区中产生活动、检测对应于记录的大脑活动的大脑活动以及响应于检测到对应于记录大脑活动的大脑活动来进行与对应身体位点的移动关联的计算机输入。
示例51可可选地包括示例14-50中任一个或多个的主旨,其进一步包括接收感知计算输入,其中基于用户大脑签名进行处理器控制的功能包括利用感知计算输入使与大脑活动关联的生物物理信号的时间和空间模式否相关来确定用户的意图并且基于确定的用户意图发起命令来控制电子设备。
示例52可可选地包括示例14-51中任一个或多个的主旨,其中接收感知计算输入包括接收姿势、语音、眼睛跟踪和面部表情输入。
示例53可可选地包括示例14-52中任一个或多个的主旨,其中接收感知计算输入包括接收以下中的至少一个:姿势、语音、眼睛跟踪或面部表情输入。
示例54可可选地包括示例14-53中任一个或多个的主旨,其中使生物物理信号的搜集时间和空间模式相关进一步包括识别对在发起指示下一个传感器检测的事件是命令之前与来自用户的大脑活动关联的生物物理信号的时间和空间模式的模式。
示例55可可选地包括示例14-54中任一个或多个的主旨,其进一步包括接收感知计算输入,其中进行处理器控制的功能进一步包括指示来自大脑活动的模态和具有优先权的感知计算输入。
示例56可可选地包括示例14-55中任一个或多个的主旨,其进一步包括测量与用户的大脑活动关联的生物物理信号的时间和空间模式同时接收感知计算输入,以及同时使用与用户的大脑活动关联的生物物理信号的时间和空间模式和接收的感知计算输入来加强输入命令。
示例57可可选地包括示例14-56中任一个或多个的主旨,其中向用户提供刺激、响应于向用户提供刺激来搜集与大脑活动关联的生物物理信号的时间和空间模式、使生物物理信号的搜集时间和空间模式相关并且基于用户大脑签名来进行处理器控制的功能进一步包括:测量与用户的大脑活动关联的生物物理信号的时间和空间模式、基于测量的与用户的大脑活动关联的生物物理信号的时间和空间模式来确定用户的状态以及基于确定的状态向用户提供响应。
示例58可可选地包括示例14-57中任一个或多个的主旨,其进一步包括接收感知计算输入,其中该感知计算输入包括眼睛跟踪以选择目标,并且其中用户的生物物理信号的时间和空间模式用于对目标起作用。
示例59可可选地包括示例14-58中任一个或多个的主旨,其中基于用户大脑签名进行处理器控制的功能进一步包括使用与用户的大脑活动关联的生物物理信号的时间和空间模式来中断对另一个模态作出响应的系统。
示例60可可选地包括示例14-59中任一个或多个的主旨,其中基于用户大脑签名进行处理器控制的功能进一步包括使用与用户的大脑活动关联的生物物理信号的时间和空间模式以在与用户的大脑活动关联的生物物理信号的时间和空间模式已经被识别并且接收时向用户提供反馈。
示例61可可选地包括示例14-60中任一个或多个的主旨,其中基于用户大脑签名进行处理器控制的功能进一步包括在确定用户状态中的改变已经基于使生物物理信号的搜集时间和空间模式相关而改变时提醒系统改变状态。
示例62可可选地包括示例14-61中任一个或多个的主旨,其进一步包括在出现大脑活动时将用户的大脑活动映射到命令机会窗口的激活。
示例63可可选地包括示例14-62中任一个或多个的主旨,其进一步包括获得感知计算输入、搜集来自数据库(其设置成维持对感知计算输入和用户的生物物理信号的时间和空间模式如何相互关联的探索)的数据、分析用户的生物物理信号的时间和空间模式、感知计算输入和来自数据库的输入来确定用户意图以及基于确定的用户输入来生成命令。
示例64可可选地包括示例14-63中任一个或多个的主旨,其进一步包括测量环境和用户因子、确定可能干扰以及基于确定的可能干扰来调整用户的生物物理信号的时间和空间模式。
示例65可可选地包括示例14-64中任一个或多个的主旨,其中处理器控制的功能包括从由以下组成的组选择的一个:通过思考使精神意象与模型关联的大脑活动-刺激配对来进行预定动作而进行心灵感应增强现实(AR);呈现未有目的地由用户通过监测BCI输入而调用的AR体验;通过思考大脑活动-刺激配对来指示AR角色的移动;以及使用与监测的环境提示配对的大脑活动-刺激发起的动作。
示例66可包括示例1-65中任一个的主旨或可可选地与示例1-65中任一个的主旨结合以包括这样的主旨(例如用于进行动作的部件,或机器可读介质,其包括指令,这些指令在由机器执行时促使机器进行动作),其包括向用户提供刺激、响应于向用户提供刺激来搜集与大脑活动关联的生物物理信号的时间和空间模式、使与大脑活动的生物物理信号的搜集时间和空间模式相关来识别用户大脑签名以及基于通过使与大脑活动关联的生物物理信号的搜集时间和空间模式相关而识别的用户大脑签名来进行处理器控制的功能。
示例67可可选地包括示例66的主旨,其中向用户提供刺激、响应于向用户提供刺激来搜集与大脑活动关联的生物物理信号的时间和空间模式以及使生物物理信号的搜集时间和空间模式相关进一步包括基于刺激来校准用户的大脑签名以及通过将当前测量的大脑签名与校准的大脑签名比较来验证用户。
示例68可可选地包括示例66-67中任一个或多个的主旨,其中校准用户的大脑签名包括向用户呈现刺激集来激起大脑活动响应、响应于呈现的刺激集来测量大脑解剖结构和活动、进行大脑解剖结构和活动的测量的模式识别来产生用户的大脑签名、存储产生的大脑签名以及向预定人群的解剖和生理大脑签名的数据库添加存储的大脑签名。
示例69可可选地包括示例66-68中任一个或多个的主旨,其中验证用户包括向用户呈现之前应用的刺激集来激起大脑活动响应、基于之前应用的刺激集来测量用户的大脑解剖结构和活动、进行大脑解剖结构和活动的测量的模式识别来产生用户的大脑签名以及分析通过将大脑签名与存储的用户的大脑签名比较来进行模式识别而获得的用户的大脑签名。
示例70可可选地包括示例66-69中任一个或多个的主旨,其中基于用户大脑签名进行处理器控制的功能包括响应于与大脑活动关联的生物物理信号的搜集时间和空间模式来指示设备进行功能。
示例71可可选地包括示例66-70中任一个或多个的主旨,其中向用户提供刺激、响应于向用户提供刺激来搜集与大脑活动关联的生物物理信号的时间和空间模式、使生物物理信号的搜集时间和空间模式相关并且基于用户大脑签名来进行处理器控制的功能进一步包括:向用户呈现刺激集、获得用户的大脑计算机接口(BCI)测量、识别来自BCI测量、具有与预定刺激的可靠相关的候选大脑活动-刺激配对、存储候选大脑活动-刺激配对、确定在用户在想象刺激时具有可靠相关的大脑活动-刺激配对、存储在用户在想象刺激时具有可靠相关的大脑活动-刺激配对以及在检测到相关大脑活动测量来进行心灵感应计算机控制时检索并且显示刺激。
示例72可可选地包括示例66-71中任一个或多个的主旨,其中心灵感应计算机控制包括由用户通过重新创建与搜索对象关联的BCI测量配对的刺激的精神意象而进行的心灵感应搜索。
示例73可可选地包括示例66-72中任一个或多个的主旨,其中心灵感应搜索通过使用户的思维模式与归类到响应于与思维模式关联的大脑活动测量而开发的用户的大脑模式的内容的数据库匹配来进行以产生搜索结果并且基于与已知与数据库中的内容关联的元素匹配的思维模式中的元素数量来对搜索结果加权。
示例74可可选地包括示例66-73中任一个或多个的主旨,其中心灵感应计算机控制包括心灵感应通信,其中用共同精神词汇训练的至少两个用户使用该共同精神词汇以基于大脑活动-刺激配对而彼此通信。
示例75可可选地包括示例66-74中任一个或多个的主旨,其中发送用户在接收用户的用户界面上识别。
示例76可可选地包括示例66-75中任一个或多个的主旨,其中发送用户想起接收用户以选择接收用户来发送消息。
示例77可可选地包括示例66-76中任一个或多个的主旨,其中心灵感应计算机控制包括通过思考使精神意象与模型关联的大脑活动-刺激配对来进行预定动作而进行心灵感应增强现实(AR)
示例78可可选地包括示例66-77中任一个或多个的主旨,其中基于用户大脑签名进行处理器控制的功能包括通过由用户将精神注意力聚焦在用户视野的不同段上来操作计算设备。
示例79可可选地包括示例66-78中任一个或多个的主旨,其中向用户提供刺激、响应于向用户提供刺激来搜集与大脑活动关联的生物物理信号的时间和空间模式、使生物物理信号的搜集时间和空间模式相关并且基于用户大脑签名来进行处理器控制的功能进一步包括:基于用户的视野区将精神桌面工作空间分成视觉空间区;训练用户以将用户的视野映射到用户的初级视觉皮层区,其中初级视觉皮层区对应于视觉空间区中的一个;对由视觉空间区表示的视野的生理隔离段分配内容;以及通过使视觉空间区中的一个在精神上可视化来访问分配给可视化视觉空间区的内容而访问分配的信息。
示例80可可选地包括示例66-79中任一个或多个的主旨,其进一步包括接收感知计算输入,其中基于用户大脑签名进行处理器控制的功能包括利用感知计算输入使与大脑活动关联的生物物理信号的时间和空间模式相关来确定用户的意图并且发起命令以基于确定的用户意图来控制电子设备。
示例81可可选地包括示例66-80中任一个或多个的主旨,其中接收感知计算输入包括接收姿势、语音、眼睛跟踪和面部表情输入。
示例82可可选地包括示例66-81中任一个或多个的主旨,其中接收感知计算输入包括接收以下中的至少一个:姿势、语音、眼睛跟踪或面部表情输入。
示例83可可选地包括示例66-82中任一个或多个的主旨,其中使生物物理信号的搜集时间和空间模式相关进一步包括识别对在发起指示下一个传感器检测的事件是命令之前与来自用户的大脑活动关联的生物物理信号的时间和空间模式的模式。
示例84可可选地包括示例66-83中任一个或多个的主旨,其进一步包括接收感知计算输入,其中进行处理器控制的功能进一步包括指示来自大脑活动的模态和具有优先权的感知计算输入。
示例85可可选地包括示例66-84中任一个或多个的主旨,其进一步包括测量与用户的大脑活动关联的生物物理信号的时间和空间模式同时接收感知计算输入,以及同时使用与用户的大脑活动关联的生物物理信号的时间和空间模式和接收的感知计算输入来加强输入命令。
示例86可可选地包括示例66-85中任一个或多个的主旨,其中向用户提供刺激、响应于向用户提供刺激来搜集与大脑活动关联的生物物理信号的时间和空间模式、使生物物理信号的搜集时间和空间模式相关并且基于用户大脑签名来进行处理器控制的功能进一步包括:测量与用户的大脑活动关联的生物物理信号的时间和空间模式、基于测量的与用户的大脑活动关联的生物物理信号的时间和空间模式来确定用户的状态以及基于确定的状态向用户提供响应。
示例87可可选地包括示例66-86中任一个或多个的主旨,其进一步包括接收感知计算输入,其中该感知计算输入包括眼睛跟踪以选择目标,并且其中用户的生物物理信号的时间和空间模式用于对目标起作用。
示例88可可选地包括示例66-87中任一个或多个的主旨,其中基于用户大脑签名进行处理器控制的功能进一步包括使用与用户的大脑活动关联的生物物理信号的时间和空间模式来中断对另一个模态作出响应的系统。
示例89可可选地包括示例66-88中任一个或多个的主旨,其中心灵感应计算机控制包括从由以下组成的组选择的一个:由用户通过重新创建与搜索对象关联的BCI测量配对的刺激的精神意象来进行的心灵感应搜索;心灵感应通信,其中用共同精神词汇训练的至少两个用户使用该共同精神词汇以基于活动-刺激配对而彼此通信;和通过思考使精神意象与模型关联的大脑活动-刺激配对来进行预定动作而进行心灵感应增强现实(AR)。
示例90可可选地包括示例66-89中任一个或多个的主旨,其中基于用户大脑签名进行处理器控制的功能包括从由以下组成的组选择的一个:通过使检测的精神注意力聚焦在用户视野的不同段上来操作计算设备;基于用户的视野区通过将精神桌面工作空间分成视觉空间区而提供精神桌面;训练用户将用户的视野映射到用户的初级视觉皮层区,其中初级视觉皮层区对应于视觉空间区中的一个;对由视觉空间区表示的视野的生理隔离段分配内容并且通过使视觉空间区中的一个在精神上可视化来访问分配给可视化视觉空间区的内容而访问分配的信息;利用感知计算输入使与大脑活动关联的生物物理信号的时间和空间模式相关来确定用户的意图并且基于确定的用户意图来发起命令以控制电子设备;通过测量与用户的大脑活动关联的生物物理信号的时间和空间模式以基于用户大脑签名来进行处理器控制的功能;基于测量的与用户的大脑活动关联的生物物理信号的时间和空间模式来确定用户的状态;以及基于确定的状态对用户提供响应;以及使用与用户的大脑活动关联的生物物理信号的时间和空间模式来中断对另一个模态作出响应的系统。
上文的详细描述包括对附图(其形成详细描述的一部分)的参考。图通过图示的方式示出可实践的特定实施例。这些实施例在本文也称为“示例”。这样的示例可以包括除示出或描述的那些以外的元件。然而,还预想这样的示例,其包括示出或描述的元件。此外,还预想使用示出或描述的那些元件的任何组合或排列(或其一个或多个方面)、或关于特定示例(或其一个或多个方面)或关于本文示出或描述的其他示例(或其一个或多个方面)的示例。
在该文献中提及的出版物、专利和专利文献通过引用而全部合并于此,好像通过引用而单独合并一样。在该文献与通过引入而这样合并的那些文献之间的使用不一致的情况下,合并的参考文献中的使用应该视为该文献的使用的补充;对于不可调和的不一致,控制在该文献中的使用。
在该文献中,如在专利文献中常见的,使用术语“一”,来包括一个或超过一个,其独立于“至少一个”或“一个或多个”的任何其他实例或使用。在该文献中,术语“或”用于指非排他性,或使得“A或B”包括“A但不是B”、“B但不是A”以及“A和B”,除非另外指出。在附上的权利要求中,术语“包含”和“在…中”用作相应术语“包括”和“其中”的易懂语的等同物。而且,在下列权利要求中,术语“包含”和“包括”是开放式的,即,包括除在权利要求中在这样的术语后列出的那些以外的元件的系统、设备、物品或过程仍被认为落在该权利要求的范围内。此外,在下列权利要求中,术语“第一”、“第二”和“第三”等仅仅用作标签,并且不意在对它们的对象施加数值要求。
上文的描述意在为说明性,而非限制性的。例如,上文描述的示例(或其一个或多个方面)可互相结合使用。可以例如由本领域内技术人员在回顾上文的描述时使用其他实施例。提供本摘要以允许读者快速确定本技术公开的本质和要点,例如在美国遵守37C.F.R. §1.72(b)。认为并且理解它将不用于解释或限制权利要求的范围或含义。而且,在上文的详细描述中,各种特征可分组在一起来使本公开流线化。然而,权利要求可未阐述本文公开的特征,因为实施例可包括所述特征的子集。此外,实施例可包括比特定示例中公开的那些更少的特征。从而,下列权利要求由此并入详细描述中,其中每个权利要求立足于它自身作为独立的实施例。本文公开的实施例的范围应参考附上的权利要求连同这样的权利要求所拥有的等同物的全范围而确定。

Claims (36)

1.一种用于提供大脑计算机接口的系统,其包括:
用于供应给用户的刺激库;
数据收集设备,用于响应于从所述刺激库向所述用户供应刺激来搜集与大脑活动关联的生物物理信号的时间和空间模式;以及
处理设备,用于使与大脑活动关联的生物物理信号的搜集时间和空间模式相关来识别所述用户的大脑签名并且基于通过使与大脑活动关联的生物物理信号的搜集时间和空间模式相关而识别的用户的大脑签名来进行处理器控制的功能。
2.如权利要求1所述的系统,其中所述处理设备基于与所述用户的大脑活动关联的生物物理信号的时间和空间模式根据刺激构建所述用户的精神轮廓。
3.如权利要求1或2所述的系统,其中所述处理设备提供用户的识别和验证,其中用户的精神轮廓由所述处理设备在校准阶段期间基于向所述用户呈现来自所述刺激库的刺激而创建,所述处理设备进一步确定被验证的用户的精神轮廓是否与在校准阶段期间创建的用户的精神轮廓相关。
4.如权利要求1或2所述的系统,其中所述处理设备设置成通过监测从用户的大脑计算机接口系统的传输、显示与来自所述用户的大脑活动测量关联的刺激、搜索所述大脑活动测量来定位与所述大脑活动测量关联的搜索对象以及基于所述大脑活动测量与具有与之相关的关联大脑活动测量的搜索对象之间的匹配来返回搜索结果而进行心灵感应上下文搜索。
5.如权利要求1或2所述的系统,其中所述处理设备通过接收来自大脑计算机接口传感器和检测器以及生物计量和环境传感器阵列的输入来提供心灵感应增强现实,所述处理设备设置成将从识别的传感器输入的数据库获得的输入和数据、增强现实特征和增强现实环境内容映射到增强现实体验,所述处理设备使增强现实特征与环境混合并且基于从来自所述大脑计算机接口传感器和检测器以及所述生物计量和环境传感器阵列的输入得到的用户意图向用户呈现增强现实体验。
6.如权利要求1或2所述的系统,其中所述处理设备对用户的左和右眼中的每个创建代表左和右半野的精神桌面,所述处理设备进一步使每个眼隔离为上分区和下分区,其中所述精神桌面包括具有分配给其的信息的用户的视野的八个区域,所述处理设备检测精神桌面中的区的精神上的可视化并且根据分配给精神可视化区的信息来实现功能。
7.如权利要求1或2所述的系统,其中所述处理设备设置成基于感知计算输入、与所述用户的大脑活动关联的生物物理信号的时间和空间模式以及所述感知计算输入和与所述用户的大脑关联的生物物理信号的时间和空间模式的相互关联来确定用户意图,其中所述处理设备基于确定的用户意图发起命令。
8.如权利要求1或2所述的系统,其中所述处理设备设置成确定是否出现干扰并且调整所述用户的生物物理信号的时间和空间模式来解释所述干扰。
9.一种用于提供大脑计算机接口的方法,其包括:
向用户提供刺激;
响应于向所述用户提供刺激来搜集与大脑活动关联的生物物理信号的时间和空间模式;
使与大脑活动关联的生物物理信号的搜集时间和空间模式相关来识别用户大脑签名;以及
基于通过使与大脑活动关联的生物物理信号的搜集时间和空间模式相关而识别的用户的大脑签名来进行处理器控制的功能。
10.如权利要求9所述的方法,其中所述处理器控制的功能包括确定所述用户的识别模式与用户组共同的模式之间的至少一个相似性。
11.如权利要求9或10所述的方法,其中向用户提供刺激、响应于向所述用户提供刺激来搜集与大脑活动关联的生物物理信号的时间和空间模式以及使生物物理信号的搜集时间和空间模式相关进一步包括基于刺激来校准用户的大脑签名并且通过将当前测量的大脑签名与校准的大脑签名比较来验证所述用户。
12.如权利要求11所述的方法,其中验证所述用户包括:
向用户呈现之前应用的刺激集来激起大脑活动响应;
基于之前应用的刺激集来测量所述用户的大脑解剖结构和活动;
进行大脑解剖结构和活动的测量的模式识别来产生所述用户的大脑签名;
分析通过将所述大脑签名与所述用户的校准大脑签名比较来进行所述模式识别而获得的所述用户的大脑签名。
13.如权利要求12所述的方法,其中分析所述用户的大脑签名包括将所述大脑签名与预定人群的解剖和生理大脑签名比较。
14.如权利要求9或10所述的方法,其中所述处理器控制的功能包括由用户通过重新创建与搜索对象关联的大脑计算机接口测量配对的刺激的精神意象而进行的心灵感应搜索。
15.如权利要求14所述的方法,其中所述心灵感应搜索通过使用户的思维模式与归类到响应于与思维模式关联的大脑活动测量而开发的用户的大脑模式的内容的数据库匹配以产生搜索结果并且基于已知与所述数据库中的内容关联的元素匹配的思维模式中的元素数量来对所述搜索结果加权而进行。
16.如权利要求9或10所述的方法,其中所述处理器控制的功能包括心灵感应通信,其中用共同精神词汇训练的至少两个用户使用所述共同精神词汇以基于大脑活动-刺激配对而彼此通信。
17.如权利要求9或10所述的方法,其中基于所述用户大脑签名进行处理器控制的功能包括通过使检测的精神注意力聚焦在所述用户的视野的不同段中而操作计算设备。
18.如权利要求9或10所述的方法,其中向用户提供刺激、响应于向所述用户提供刺激来搜集与大脑活动关联的生物物理信号的时间和空间模式、使生物物理信号的搜集时间和空间模式相关以及基于所述用户大脑签名进行处理器控制的功能进一步包括:
基于用户的视野区将精神桌面工作空间分成视觉空间区;
训练用户将所述用户的视野映射到所述用户的初级视觉皮层区,其中所述初级视觉皮层区对应于所述视觉空间区中的一个;
对由所述视觉空间区表示的视野的生理隔离段分配内容;以及
通过使所述视觉空间区中的一个在精神上可视化来访问分配给可视化视觉空间区的内容而访问分配的信息。
19.如权利要求9或10所述的方法,其中向用户提供刺激、响应于向所述用户提供刺激来搜集与大脑活动关联的生物物理信号的时间和空间模式、使生物物理信号的搜集时间和空间模式相关以及基于所述用户大脑签名进行处理器控制的功能进一步包括:
由用户想象与提供计算机输入关联的身体位点的移动;
记录自专用于控制对应身体位点移动的局部解剖地组织的大脑区出现的大脑活动;
使所述局部解剖地组织的大脑区中的记录大脑活动与对应身体位点的移动相关;
通过使所述身体位点的移动可视化来进行精神姿势以在所述局部解剖地组织的大脑区中产生活动;
检测对应于记录的大脑活动的大脑活动;以及
响应于检测到对应于记录大脑活动的大脑活动来进行与对应身体位点的移动关联的计算机输入。
20.如权利要求9或10所述的方法,其进一步包括测量环境和用户因子,确定可能干扰并且基于确定的可能干扰来调整所述用户的生物物理信号的时间和空间模式。
21.至少一个机器可读介质,其包括指令,所述指令在由所述机器执行时促使所述机器实现如权利要求9-20中任一项所述的方法。
22.一种用于提供大脑计算机接口的系统,其包括:
用于向用户供应刺激的部件;
用于响应于从向所述用户供应刺激的部件来供应刺激而搜集与大脑活动关联的生物物理信号的时间和空间模式的部件;
使与大脑活动关联的生物物理信号的搜集时间和空间模式相关来识别所述用户的大脑签名并且基于通过使与大脑活动关联的生物物理信号的搜集时间和空间模式相关而识别的用户的签名来进行处理器控制的功能的部件。
23.如权利要求22所述的系统,其中用于相关的部件将使从所述用户的大脑签名得到的用户的精神轮廓与来自预定人群的精神轮廓的数据库的精神轮廓比较。
24.如权利要求22所述的系统,其中用于相关的部件使与所述用户的大脑活动关联的生物物理信号的时间和空间模式与个人数据和特质组合以根据所述刺激构建所述用户的精神轮廓。
25.一种用于提供大脑计算机接口的装置,其包括:
用于向用户提供刺激的部件;
用于响应于向所述用户提供刺激来搜集与大脑活动关联的生物物理信号的时间和空间模式的部件;
用于使与大脑活动关联的生物物理信号的搜集时间和空间模式相关来识别用户大脑签名的部件;以及
用于基于通过使与大脑活动关联的生物物理信号的搜集时间和空间模式相关而识别的用户的大脑签名来进行处理器控制的功能的部件。
26.如权利要求25所述的装置,其中所述处理器控制的功能包括确定所述用户的识别模式与用户组共同的模式之间的至少一个相似性。
27.如权利要求25或26所述的装置,其中向用户提供刺激、响应于向所述用户提供刺激来搜集与大脑活动关联的生物物理信号的时间和空间模式以及使生物物理信号的搜集时间和空间模式相关进一步包括基于刺激来校准用户的大脑签名并且通过将当前测量的大脑签名与校准的大脑签名比较来验证所述用户。
28.如权利要求27所述的装置,其中验证所述用户包括:
向用户呈现之前应用的刺激集来激起大脑活动响应;
基于之前应用的刺激集来测量所述用户的大脑解剖结构和活动;
进行大脑解剖结构和活动的测量的模式识别来产生所述用户的大脑签名;
分析通过将所述大脑签名与所述用户的校准大脑签名比较来进行所述模式识别而获得的所述用户的大脑签名。
29.如权利要求28所述的装置,其中分析所述用户的大脑签名包括将所述大脑签名与预定人群的解剖和生理大脑签名比较。
30.如权利要求25或26所述的装置,其中所述处理器控制的功能包括由用户通过重新创建与搜索对象关联的大脑计算机接口测量配对的刺激的精神意象而进行的心灵感应搜索。
31.如权利要求30所述的装置,其中所述心灵感应搜索通过使用户的思维模式与归类到响应于与思维模式关联的大脑活动测量而开发的用户的大脑模式的内容的数据库匹配以产生搜索结果并且基于已知与所述数据库中的内容关联的元素匹配的思维模式中的元素数量来对所述搜索结果加权而进行。
32.如权利要求25或26所述的装置,其中所述处理器控制的功能包括心灵感应通信,其中用共同精神词汇训练的至少两个用户使用所述共同精神词汇以基于大脑活动-刺激配对而彼此通信。
33.如权利要求25或26所述的装置,其中基于所述用户大脑签名进行处理器控制的功能包括通过使检测的精神注意力聚焦在所述用户的视野的不同段中而操作计算设备。
34.如权利要求25或26所述的装置,其中向用户提供刺激、响应于向所述用户提供刺激来搜集与大脑活动关联的生物物理信号的时间和空间模式、使生物物理信号的搜集时间和空间模式相关以及基于所述用户大脑签名进行处理器控制的功能进一步包括:
基于用户的视野区将精神桌面工作空间分成视觉空间区;
训练用户将所述用户的视野映射到所述用户的初级视觉皮层区,其中所述初级视觉皮层区对应于所述视觉空间区中的一个;
对由所述视觉空间区表示的视野的生理隔离段分配内容;以及
通过使所述视觉空间区中的一个在精神上可视化来访问分配给可视化视觉空间区的内容而访问分配的信息。
35.如权利要求25或26所述的装置,其中向用户提供刺激、响应于向所述用户提供刺激来搜集与大脑活动关联的生物物理信号的时间和空间模式、使生物物理信号的搜集时间和空间模式相关以及基于所述用户大脑签名进行处理器控制的功能进一步包括:
由用户想象与提供计算机输入关联的身体位点的移动;
记录自专用于控制对应身体位点移动的局部解剖地组织的大脑区出现的大脑活动;
使所述局部解剖地组织的大脑区中的记录大脑活动与对应身体位点的移动相关;
通过使所述身体位点的移动可视化来进行精神姿势以在所述局部解剖地组织的大脑区中产生活动;
检测对应于记录的大脑活动的大脑活动;以及
响应于检测到对应于记录大脑活动的大脑活动来进行与对应身体位点的移动关联的计算机输入。
36.如权利要求25或26所述的装置,其进一步包括用于测量环境和用户因子,确定可能干扰并且基于确定的可能干扰来调整所述用户的生物物理信号的时间和空间模式的部件。
CN201380073072.2A 2013-03-15 2013-03-15 基于生物物理信号的搜集时间和空间模式的大脑计算机接口(bci)系统 Expired - Fee Related CN105051647B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2013/032037 WO2014142962A1 (en) 2013-03-15 2013-03-15 Brain computer interface (bci) system based on gathered temporal and spatial patterns of biophysical signals

Publications (2)

Publication Number Publication Date
CN105051647A CN105051647A (zh) 2015-11-11
CN105051647B true CN105051647B (zh) 2018-04-13

Family

ID=51537329

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380073072.2A Expired - Fee Related CN105051647B (zh) 2013-03-15 2013-03-15 基于生物物理信号的搜集时间和空间模式的大脑计算机接口(bci)系统

Country Status (6)

Country Link
US (1) US20160103487A1 (zh)
EP (1) EP2972662A4 (zh)
JP (1) JP6125670B2 (zh)
KR (1) KR101680995B1 (zh)
CN (1) CN105051647B (zh)
WO (1) WO2014142962A1 (zh)

Families Citing this family (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9405366B2 (en) * 2013-10-02 2016-08-02 David Lee SEGAL Systems and methods for using imagined directions to define an action, function or execution for non-tactile devices
US10069867B2 (en) * 2013-11-29 2018-09-04 Nokia Technologies Oy Method and apparatus for determining privacy policy for devices based on brain wave information
AU2015221370A1 (en) 2014-02-21 2016-09-15 Trispera Dental Inc. Augmented reality dental design method and system
US10595741B2 (en) * 2014-08-06 2020-03-24 Institute Of Automation Chinese Academy Of Sciences Method and system for brain activity detection
US20170039473A1 (en) * 2014-10-24 2017-02-09 William Henry Starrett, JR. Methods, systems, non-transitory computer readable medium, and machines for maintaining augmented telepathic data
US20160148529A1 (en) * 2014-11-20 2016-05-26 Dharma Systems Inc. System and method for improving personality traits
WO2016080366A1 (ja) * 2014-11-21 2016-05-26 国立研究開発法人産業技術総合研究所 脳波による認証装置、認証方法、認証システム及びプログラム
EP3229678A1 (en) * 2014-12-14 2017-10-18 Universität Zürich Brain activity prediction
US9577992B2 (en) 2015-02-04 2017-02-21 Aerendir Mobile Inc. Data encryption/decryption using neuro and neuro-mechanical fingerprints
US9590986B2 (en) 2015-02-04 2017-03-07 Aerendir Mobile Inc. Local user authentication with neuro and neuro-mechanical fingerprints
US9836896B2 (en) 2015-02-04 2017-12-05 Proprius Technologies S.A.R.L Keyless access control with neuro and neuro-mechanical fingerprints
US10357210B2 (en) 2015-02-04 2019-07-23 Proprius Technologies S.A.R.L. Determining health change of a user with neuro and neuro-mechanical fingerprints
CN107533233B (zh) 2015-03-05 2021-01-29 奇跃公司 用于增强现实的系统和方法
IL239191A0 (en) 2015-06-03 2015-11-30 Amir B Geva Image sorting system
US9507974B1 (en) * 2015-06-10 2016-11-29 Hand Held Products, Inc. Indicia-reading systems having an interface with a user's nervous system
EP3333671B1 (en) * 2015-08-05 2020-12-30 Seiko Epson Corporation Mental image playback device
US10373143B2 (en) 2015-09-24 2019-08-06 Hand Held Products, Inc. Product identification using electroencephalography
US9672760B1 (en) * 2016-01-06 2017-06-06 International Business Machines Corporation Personalized EEG-based encryptor
US10169560B2 (en) * 2016-02-04 2019-01-01 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Stimuli-based authentication
JP6668811B2 (ja) * 2016-02-23 2020-03-18 セイコーエプソン株式会社 訓練装置、訓練方法、プログラム
US10044712B2 (en) * 2016-05-31 2018-08-07 Microsoft Technology Licensing, Llc Authentication based on gaze and physiological response to stimuli
KR102491130B1 (ko) 2016-06-20 2023-01-19 매직 립, 인코포레이티드 시각적 프로세싱 및 지각 상태들을 포함하는 신경학적 상태들의 평가 및 수정을 위한 증강 현실 디스플레이 시스템
JP2017227780A (ja) * 2016-06-23 2017-12-28 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
US10694946B2 (en) * 2016-07-05 2020-06-30 Freer Logic, Inc. Dual EEG non-contact monitor with personal EEG monitor for concurrent brain monitoring and communication
EP3825826A1 (en) 2016-07-11 2021-05-26 Arctop Ltd Method and system for providing a brain computer interface
US10621636B2 (en) 2016-08-17 2020-04-14 International Business Machines Corporation System, method and computer program product for a cognitive monitor and assistant
KR101798640B1 (ko) 2016-08-31 2017-11-16 주식회사 유메딕스 뇌파 획득 장치 및 이를 이용한 행동 패턴 실험 장치
US10445565B2 (en) * 2016-12-06 2019-10-15 General Electric Company Crowd analytics via one shot learning
CA3046939A1 (en) * 2016-12-21 2018-06-28 Innereye Ltd. System and method for iterative classification using neurophysiological signals
CN110691550B (zh) * 2017-02-01 2022-12-02 塞雷比安公司 确定感知体验的处理系统和方法、计算机可读介质
KR101939611B1 (ko) * 2017-07-11 2019-01-17 연세대학교 산학협력단 뇌기능 정합 방법 및 장치
EP3669343B1 (en) * 2017-08-15 2023-12-13 Akili Interactive Labs, Inc. Cognitive platform including computerized elements
EP3684463A4 (en) 2017-09-19 2021-06-23 Neuroenhancement Lab, LLC NEURO-ACTIVATION PROCESS AND APPARATUS
CN111542800A (zh) * 2017-11-13 2020-08-14 神经股份有限公司 具有对于高速、精确和直观的用户交互的适配的大脑-计算机接口
JP2021504853A (ja) 2017-11-21 2021-02-15 アークトップ リミテッド 脳活動の迅速な復号と連携したインタラクティブ電子コンテンツ送付
US10582316B2 (en) 2017-11-30 2020-03-03 Starkey Laboratories, Inc. Ear-worn electronic device incorporating motor brain-computer interface
CN108108603A (zh) * 2017-12-04 2018-06-01 阿里巴巴集团控股有限公司 登录方法及装置和电子设备
US11717686B2 (en) 2017-12-04 2023-08-08 Neuroenhancement Lab, LLC Method and apparatus for neuroenhancement to facilitate learning and performance
US10671164B2 (en) 2017-12-27 2020-06-02 X Development Llc Interface for electroencephalogram for computer control
US10952680B2 (en) 2017-12-27 2021-03-23 X Development Llc Electroencephalogram bioamplifier
CN108056774A (zh) * 2017-12-29 2018-05-22 中国人民解放军战略支援部队信息工程大学 基于视频刺激材料的实验范式情绪分析实现方法及其装置
US11318277B2 (en) 2017-12-31 2022-05-03 Neuroenhancement Lab, LLC Method and apparatus for neuroenhancement to enhance emotional response
US10775887B2 (en) * 2018-01-22 2020-09-15 Hrl Laboratories, Llc Neuro-adaptive body sensing for user states framework (NABSUS)
US10901508B2 (en) * 2018-03-20 2021-01-26 X Development Llc Fused electroencephalogram and machine learning for precognitive brain-computer interface for computer control
US10682099B2 (en) * 2018-03-23 2020-06-16 Abl Ip Holding Llc Training of an electroencephalography based control system
US10866638B2 (en) * 2018-03-23 2020-12-15 Abl Ip Holding Llc Neural control of controllable device
US10551921B2 (en) * 2018-03-23 2020-02-04 Abl Ip Holding Llc Electroencephalography control of controllable device
US10682069B2 (en) * 2018-03-23 2020-06-16 Abl Ip Holding Llc User preference and user hierarchy in an electroencephalography based control system
US11364361B2 (en) 2018-04-20 2022-06-21 Neuroenhancement Lab, LLC System and method for inducing sleep by transplanting mental states
US20190336024A1 (en) * 2018-05-07 2019-11-07 International Business Machines Corporation Brain-based thought identifier and classifier
JP7352914B2 (ja) 2018-06-04 2023-09-29 国立大学法人大阪大学 想起画像推定装置、想起画像推定方法、制御プログラム、記録媒体
WO2019241319A1 (en) 2018-06-13 2019-12-19 The Research Foundation For The State University Of New York Chromatic bioluminescence as a cellular level readout system of neural activity
US10999066B1 (en) 2018-09-04 2021-05-04 Wells Fargo Bank, N.A. Brain-actuated control authenticated key exchange
WO2020056418A1 (en) 2018-09-14 2020-03-19 Neuroenhancement Lab, LLC System and method of improving sleep
KR102029760B1 (ko) 2018-10-17 2019-10-08 전남대학교산학협력단 사용자 감정 분석을 이용한 이벤트 탐지 시스템 및 방법
JP2022505836A (ja) * 2018-10-25 2022-01-14 アークトップ リミテッド デジタルコンテンツ体験との改善されたヒューマンインタラクションのための共感的コンピューティングシステムおよび方法
EP3651038A1 (en) * 2018-11-12 2020-05-13 Mastercard International Incorporated Brain activity-based authentication
US20200170524A1 (en) * 2018-12-04 2020-06-04 Brainvivo Apparatus and method for utilizing a brain feature activity map database to characterize content
WO2020132941A1 (zh) * 2018-12-26 2020-07-02 中国科学院深圳先进技术研究院 识别方法及相关装置
US11803627B2 (en) * 2019-02-08 2023-10-31 Arm Limited Authentication system, device and process
RU2704497C1 (ru) * 2019-03-05 2019-10-29 Общество с ограниченной ответственностью "Нейроботикс" Способ формирования системы управления мозг-компьютер
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep
CN110192861A (zh) * 2019-06-14 2019-09-03 广州医科大学附属肿瘤医院 一种智能辅助脑功能实时检测系统
US10684686B1 (en) 2019-07-01 2020-06-16 INTREEG, Inc. Dynamic command remapping for human-computer interface
KR102313622B1 (ko) 2019-08-21 2021-10-19 한국과학기술연구원 생체신호 기반 아바타 제어시스템 및 방법
CN110824979B (zh) * 2019-10-15 2020-11-17 中国航天员科研训练中心 一种无人设备控制系统和方法
US11780445B2 (en) * 2020-01-13 2023-10-10 Ford Global Technologies, Llc Vehicle computer command system with a brain machine interface
US11237634B2 (en) 2020-02-04 2022-02-01 Hrl Laboratories, Llc System and method for asynchronous brain control of one or more tasks
US20210353439A1 (en) * 2020-05-12 2021-11-18 California Institute Of Technology Decoding movement intention using ultrasound neuroimaging
CN111752392B (zh) * 2020-07-03 2022-07-08 福州大学 脑机接口中精准视觉刺激控制方法
CN113509188B (zh) * 2021-04-20 2022-08-26 天津大学 脑电信号的扩增方法、装置、电子设备以及存储介质
KR102460337B1 (ko) * 2020-08-03 2022-10-31 한국과학기술연구원 초음파 자극 제어 장치 및 방법
CN112016415B (zh) * 2020-08-14 2022-11-29 安徽大学 结合集成学习与独立分量分析的运动想象分类方法
CN111984122A (zh) * 2020-08-19 2020-11-24 北京鲸世科技有限公司 脑电数据匹配方法及系统、存储介质及处理器
KR20240038786A (ko) * 2021-07-29 2024-03-25 모세 오페르 비-감각 정보 렌더링 및 주입을 위한 방법 및 시스템
CN114489335B (zh) * 2022-01-21 2023-12-01 上海瑞司集测科技有限公司 脑机接口的检测方法、装置、存储介质及系统
US11782509B1 (en) * 2022-05-19 2023-10-10 Ching Lee Brainwave audio and video encoding and playing system
CN115344122A (zh) * 2022-08-15 2022-11-15 中国科学院深圳先进技术研究院 声波无创脑机接口及控制方法
CN116400800B (zh) * 2023-03-13 2024-01-02 中国医学科学院北京协和医院 一种基于脑机接口和人工智能算法的als患者人机交互系统及方法
CN116570835B (zh) * 2023-07-12 2023-10-10 杭州般意科技有限公司 一种基于场景和用户状态的干预刺激模式的确定方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1363535B1 (en) * 2001-01-30 2012-01-04 R. Christopher Decharms Methods for physiological monitoring, training, exercise and regulation
JP2002236096A (ja) * 2001-02-08 2002-08-23 Hitachi Ltd 光トポグラフィ装置とデータ生成装置
JP2004248714A (ja) * 2003-02-18 2004-09-09 Kazuo Tanaka 生体信号を用いた認証方法および認証装置
JP2005160805A (ja) * 2003-12-03 2005-06-23 Mitsubishi Electric Corp 個人認識装置および属性判定装置
JP2006072606A (ja) * 2004-09-01 2006-03-16 National Institute Of Information & Communication Technology インターフェイス装置、インターフェイス方法及びその装置を用いた制御訓練装置
JP5150942B2 (ja) * 2006-02-03 2013-02-27 株式会社国際電気通信基礎技術研究所 活動補助システム
JP5542051B2 (ja) * 2007-07-30 2014-07-09 ニューロフォーカス・インコーポレーテッド 神経応答刺激及び刺激属性共鳴推定を行うシステム、方法、及び、装置
US8244475B2 (en) * 2007-12-27 2012-08-14 Teledyne Scientific & Imaging, Llc Coupling human neural response with computer pattern analysis for single-event detection of significant brain responses for task-relevant stimuli
US8542916B2 (en) * 2008-07-09 2013-09-24 Florida Atlantic University System and method for analysis of spatio-temporal data
US20100145215A1 (en) * 2008-12-09 2010-06-10 Neurofocus, Inc. Brain pattern analyzer using neuro-response data
JP2010257343A (ja) * 2009-04-27 2010-11-11 Niigata Univ 意思伝達支援装置
CN101571748A (zh) * 2009-06-04 2009-11-04 浙江大学 一种基于增强现实的脑机交互系统
CN101963930B (zh) * 2009-07-21 2013-06-12 纬创资通股份有限公司 自动化测试装置
US20110112426A1 (en) * 2009-11-10 2011-05-12 Brainscope Company, Inc. Brain Activity as a Marker of Disease
KR101070844B1 (ko) * 2010-10-01 2011-10-06 주식회사 바로연결혼정보 이상형을 연결시켜주기 위한 감성 매칭시스템 및 매칭방법
JP5816917B2 (ja) * 2011-05-13 2015-11-18 本田技研工業株式会社 脳活動計測装置、脳活動計測方法、及び脳活動推定装置
WO2012165602A1 (ja) * 2011-05-31 2012-12-06 国立大学法人名古屋工業大学 認知機能障害判別装置、認知機能障害判別システム、およびプログラム

Also Published As

Publication number Publication date
JP2016513319A (ja) 2016-05-12
JP6125670B2 (ja) 2017-05-10
US20160103487A1 (en) 2016-04-14
WO2014142962A1 (en) 2014-09-18
KR101680995B1 (ko) 2016-11-29
KR20150106954A (ko) 2015-09-22
EP2972662A1 (en) 2016-01-20
CN105051647A (zh) 2015-11-11
EP2972662A4 (en) 2017-03-01

Similar Documents

Publication Publication Date Title
CN105051647B (zh) 基于生物物理信号的搜集时间和空间模式的大脑计算机接口(bci)系统
Palmer et al. Face pareidolia recruits mechanisms for detecting human social attention
JP6952713B2 (ja) 反射を利用する拡張現実システムおよび方法
Li Understanding vision: theory, models, and data
US9058698B2 (en) Creating a customized avatar that reflects a user's distinguishable attributes
Kiani et al. Object category structure in response patterns of neuronal population in monkey inferior temporal cortex
US10558047B2 (en) Augmented reality spectroscopy
CN104871160B (zh) 用于感觉和认知剖析的系统和方法
CN110024014A (zh) 包括计算机化唤起元素的认知平台
Oh et al. Cybersickness and its severity arising from virtual reality content: A comprehensive study
CN105393252A (zh) 生理数据采集和分析
Anwar et al. A game player expertise level classification system using electroencephalography (EEG)
CN109152559A (zh) 用于定量评估视觉运动神经响应的方法和系统
Karbauskaitė et al. Kriging predictor for facial emotion recognition using numerical proximities of human emotions
Wang et al. Measuring the visual salience of 3d printed objects
Pasquali et al. Detecting lies is a child (robot)’s play: Gaze-based lie detection in hri
Mateos-García et al. Driver Stress Detection from Physiological Signals by Virtual Reality Simulator
Gu et al. Modulating human brain responses via optimal natural image selection and synthetic image generation
Occelli et al. Assessing the effect of sound complexity on the audiotactile cross-modal dynamic capture task
Udayakumar et al. Sentiment Analysis Using Machine Learning Algorithms
Taubert et al. Shape-invariant encoding of dynamic primate facial expressions in human perception
Arranz Paraíso et al. Is there a correlation between psychophysical visual surround suppression and IQ?
Mueller et al. Macaques recognize features in synthetic images derived from ventral stream neurons
Fuentes-Hurtado et al. Evolutionary computation for modelling social traits in realistic looking synthetic faces
Carr Evaluating the Usability of Passthought Authentication

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180413

Termination date: 20190315