CN101821699B - 涉及脑计算机接口的改进 - Google Patents

涉及脑计算机接口的改进 Download PDF

Info

Publication number
CN101821699B
CN101821699B CN200880110433.5A CN200880110433A CN101821699B CN 101821699 B CN101821699 B CN 101821699B CN 200880110433 A CN200880110433 A CN 200880110433A CN 101821699 B CN101821699 B CN 101821699B
Authority
CN
China
Prior art keywords
user
brain
user profiles
application
computer interfaces
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN200880110433.5A
Other languages
English (en)
Other versions
CN101821699A (zh
Inventor
G·N·加西亚莫利纳
A·A·M·L·布鲁克斯
M·C·达姆斯特拉
J·韦达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN101821699A publication Critical patent/CN101821699A/zh
Application granted granted Critical
Publication of CN101821699B publication Critical patent/CN101821699B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Neurosurgery (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Neurology (AREA)
  • Dermatology (AREA)
  • Psychology (AREA)
  • Biophysics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Psychiatry (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

一种创建用在脑计算机接口(40)中的用户简档(24)的方法包括：执行训练练习；在训练练习期间测量用户的脑信号(20)；将用户的脑信号的特定信号映射到预定的脑力任务描述；以及创建用户简档(24)，其包括映射到脑力任务描述的用户的脑信号。这样创建的用户简档可以用在针对应用(34)为用户(18)创建脑计算机接口的方法中。该方法包括：访问包括映射到脑力任务描述的用户的脑信号的用户简档；访问包括该应用的多个属性的应用简档(38)；将来自用户简档的一个或多个脑力任务描述匹配到来自应用简档的相应的属性；以及由此创建脑计算机接口。

Description

涉及脑计算机接口的改进
技术领域
本发明涉及一种创建用于脑计算机(brain computer)接口中的用户简档(profile)的方法和系统，并且涉及一种用于针对应用为用户创建脑计算机接口的方法和系统。
背景技术
许多年来，人们已经推测(speculate)脑电图活动或对脑功能的其他电生理学测量可以提供用于发送消息和命令到外部世界的新的非肌肉(muscular)通道，该通道通常被称为脑计算机接口(BCI)。在过去的20年间，已经兴起了有成果的BCI研究计划。受到对脑功能的提高的理解的鼓励，随着强大的低成本计算机设备的出现，并且随着对残疾人的需求和潜能的认知的提高，这些计划集中在开发新的通信和控制技术。
最流行的脑计算机接口使用从头皮记录的脑电图(EEG)活动或在皮层(cortex)内记录的单神经元活动。这些活动可以在计算环境中使用以控制光标移动、选择字母或图标，或者可以用于操作神经假体。每个BCI的中心是变换算法，其将来自用户的电生理学输入转换为控制一个或多个外部设备的输出。BCI的操作取决于两个自适应控制器之间的有效交互、在提供给BCI的电生理学输入中编码他或她的命令的用户以及辨识该输入中包含的命令并在设备控制中表达它们的BCI。可以在J.R.Wolpaw，N.B.，D.J.McFarland，G.Pfurtscheller，T.M.Vaughan在Clinical Neurophysiology，113(2002)第767-791页发表的“Brain-computer interfaces for communication and control”和T.M.Vaughan，W.J.H.，L.J.Trejo，W.Z.Rymer在IEEE Transactions onNeural Systems andRehabilitation Engineering，2003 11(2)第94-109页上发表的“Brain-ComputerInterface Technology：A Review of theSecond International Meeting”中找到关于BCI的进一步详述。
BC I可以被提供给具有严重残疾的个人以提高它们的生活质量。脑信号可以例如能够为残疾人提供对诸如轮椅、车辆或辅助机器人之类的设备的增强控制。随着BCI技术的改进，它或许将扩展到为具有不太严重残疾、局部残疾或根本没有医学残疾的人们提供服务。例如，BCI可以用于监控长途驾驶员或飞机驾驶员的注意力。BCI可以用于控制在危险或敌对情况中运行的机器人。在其他应用中，BCI可以用于提供视频游戏中的附加控制或创建神经艺术和音乐。
BCI的应用领域可以被看作是从一端处的二进制开关(一个比特，开或关)运行到另一端处的模拟复杂的机器人技术的连续统一体。当前的BCI具有高达25比特/分钟的最大信息传送速率。更高的速度和准确性的获得要求在信号采集和处理方面、变换算法方面、以及用户训练方面进行改进。BCI信号的选择受到应用的影响。为了实现精确的控制功能，比如物理设备的快速运动，一些EEG信号的相对较慢的变化可能是不够的，而神经元放电(spike)序列的更快动态性可能足够。然而，这种选择导致另一个折衷：表面电极是便利的并且包含很小的危险，而脑内的电极移植是侵入性的并且因此包含更大危险。
在个人用户正确使用BCI之前，需要大量的训练。首先，用户必须学会如何调制他们的脑活动，从而生成适当的电生理学信号，并且另外，所使用的BCI必须记录(log)用户的许多信号并设计一个模型或提取特征。然而，脑电图(EEG)信号是天然地不稳定的、对于不同主体而言是不同的并且通常非常嘈杂，因为它们受到各种人工制品比如肌电图(EMG)和眼电图(EOG)信号的污染。肌电图(EMG)检测当肌细胞收缩时由这些细胞产生的电位以及也检测当肌细胞处于静止时这些细胞产生的电位。眼电图描记法是用于测量视网膜的静息电位的技术。它可以用来检测眼睛移动，并且使眼睛适应变化的光条件。
信号变化性和噪声可以明显扭曲EEG分类器的性能(performance)。因此对于许多BCI系统，通常需要冗长的和耗时的训练过程来学习脑信号的特定特性；参见例如，X.Liao，D.Y.，C.Li在Journal of NeuralEngineering，20074(3)，第246-254页发表的“Transductive SVM forreducing the training effort in BCI”。一般地，主体把针对BCI的训练体验为：耗费太多的时间、单调乏味且令人烦恼。在一些实验中，甚至向成年人提供奖金也不会显著减少训练时间，而向小孩提供糖果却是成功的。特别是对于残疾人或老年人，该训练是一个非常沉重的负担。
发明内容
因此，本发明的目的是改进现有技术。
根据本发明的第一方面，提供一种创建用于脑计算机接口的用户简档的方法，该方法包括：执行训练练习、在训练练习期间测量用户的脑信号、将用户的脑信号的特定信号映射到预定的脑力任务描述以及创建包括映射到脑力任务描述的用户的脑信号的用户简档。
根据本发明的第二方面，提供一种创建用于脑计算机接口的用户简档的系统，该系统包括：被设置为执行训练练习的训练单元；被设置为在训练练习期间测量用户的脑信号的头单元；以及处理功能，其被设置为将用户的脑信号的特定信号映射到预定的脑力任务描述并且创建包括映射到脑力任务描述的用户的脑信号的用户简档。
根据本发明的第三方面，提供一种在计算机可读介质上的计算机程序产品以用于创建用于脑计算机接口的用户简档，该产品包括指令用于执行训练练习、在训练练习期间测量用户的脑信号、将用户的脑信号的特定信号映射到预定的脑力任务描述以及创建包括映射到脑力任务描述的用户的脑信号的用户简档。
根据本发明的第四方面，提供一种针对应用为用户创建脑计算机接口的方法，该方法包括：访问包括映射到脑力任务描述的用户的脑信号的用户简档；访问包括该应用的多个属性的应用简档；将来自用户简档的一个或多个脑力任务描述匹配到来自应用简档的相应的属性；以及由此创建脑计算机接口。
根据本发明的第五方面，提供一种用于针对应用为用户创建脑计算机接口的系统，该系统包括：数据库，其被设置为存储包括映射到脑力任务描述的用户脑信号的用户简档和包括该应用的多个属性的应用简档；处理器，其被设置为访问用户简档和应用简档、将来自用户简档的一个或多个脑力任务描述匹配到来自应用简档的相应的属性并且由此创建脑计算机接口。
根据本发明的第六方面，提供一种在计算机可读介质上的计算机程序产品以用于针对应用为用户创建脑计算机接口，该产品包括指令用于访问包括映射到脑力任务描述的用户的脑信号的用户简档；访问包括该应用的多个属性的应用简档；将来自用户简档的一个或多个脑力任务描述匹配到来自应用简档的相应的属性；以及由此创建脑计算机接口。
由于本发明，可以克服与脑计算机接口的常规使用相关联的问题，所述常规使用需要大量的训练，而该训练花费大量的时间并且单调乏味、令人烦恼且冗长复杂。本发明经由将训练和BCI的使用分成两个部分：通用训练和使用，而提供一种解决方案。该训练可以包含竞争元素以激发用户，并且可以聚焦于速度和准确性。所测量的脑信号被映射到脑力任务描述上，并且被存储在数据库中。在BCI的使用中，该数据库用于将脑力任务描述和相关的脑信号映射到所述应用的功能的特定特征上。这样一来，通用训练仅仅必须执行一次，并且可以在没有大量单独了解/训练不同的应用的情况下控制这些不同的应用。这构成了BCI的清楚的可用性改进。
本发明带来的主要优点在于，对于用户来说，不再需要针对不同应用重复训练任务。用户可以参与单个训练课(training session)并且这将用于生成用户简档。该简档可以包含例如用户可以以稳定且可重复的方式执行三个不同的任务的细节以及所述三个不用任务随后在用户简档中定义的细节。当用户将被设置(setup)以使用新应用时，随后发生从该应用的功能到用户简档的内容的映射。在上面的实例中，随后所述映射将采用该新应用其中的三个功能并且将这些映射到特定用户的用户简档中所包含的三个中。该用户简档还可以包括一组用户偏好，例如该用户偏爱用于完成某些活动的某些脑力任务，并且/或者该用户容易变得疲倦。
脑信号在某种程度上被证明是私人(personal)的，并且因此原则上可以用于对个体进行认证或识别，例如在J.Thorpe，P.C.v.O.，A.Somayaji在美国California，ACSA 2005NewSecurity Paradigms Workshop 2005 Lake Arrowhead上发表的“Pass-thoughts：Authenticating with Our Minds”中所示。本发明不是关于认证和识别的，但是该属性也指示训练是独特于每个用户的。
有利地，所述训练进一步包括在训练练习期间测量用户的疲劳度，并且进一步包括在用户简档中记录与所测量的疲劳度有关的信息。记录关于用户的疲劳度的信息提高了脑计算机接口的最终性能，因为将用户简档映射到新应用可以考虑与在用户简档中记录的用户可以执行的特定任务相关联的疲劳水平。例如，用户可能能够非常准确地执行任务A，但是迅速变得疲劳并且执行得越来越差，而任务B可以以10％的误差界限执行，但是用户能够在更长的时间周期上保持该执行水平。当新应用的映射发生时，这些疲劳水平可以用于确定新应用的哪些功能匹配于哪个任务。例如，一个应用可以指示功能X在该应用中不太常见，但是需要高度的准确性，因此这可以被映射到任务A。相似地，高频率功能Y可以被映射到任务B，对于任务B用户不太可能感到疲劳。
所述训练还可以优选地被设置为进一步包括：当所测量的疲劳度超过预定阈值时，终止训练练习。因为在用户简档的创建期间测量疲劳度，所以这也可以用于控制监控用户以产生用户简档的时间长度。这导致包含很可能在表示用户的执行(performance)方面一贯准确的任务的用户简档，因为它们没有在疲劳的同时创建用户简档。
理想地，所述方法还进一步包括：接收定义与预定的智力描述有关的约束的手动输入；以及在用户简档中记录该手动输入。有用的是能够让用户输入修改用户简档。这可以由适当合格的技师或医疗从业者提供。这将允许修改用户简档以考虑比如安全性等方面并且将确保映射到用户简档的应用不会对用户施加过度的压力。例如，用户可以执行的特定任务可以具有由医生添加到它的限制，该医生确保应用将不会在该应用会造成对用户的压力所处的时间点之后继续操作。
现在将仅仅通过实例并参照附图来描述本发明的实施例。
附图说明
在附图中：
图1是用于创建用于脑计算机接口的用户简档的系统的示意图，
图2是创建用户简档的方法的流程图，
图3是用户简档的示意图，
图4是用于创建脑计算机接口的系统的示意图，
图5是正在与应用简档相匹配的用户简档的示意图，
图6是创建脑计算机接口的方法的流程图，以及
图7和8是BCI创建的特定实例的示意图。
具体实施方式
本发明基于以下认识：训练和脑计算机接口的使用可以是两个在时间上完全分离的活动。下面的描述由两个部分构成：第一部分涉及训练，而第二部分涉及脑计算机接口的使用。在这两种情况下，目的是减少用户必须经历的所需的训练时间并且因此减少了乏味且提高了主体的便利性。
图1示出训练与创建脑计算机接口有关的用户的基本方案。该附图示出创建用于脑计算机接口的用户简档的系统10。训练单元12连接到头单元14。头单元14包括例如借助于具有多个电极的帽子(cap)与主体18的头皮(scalp)16接触的电极，以测量来自用户18的脑部的特定部分的脑信号20。此外，训练单元12被设置为执行训练练习并与主体18交互以影响脑信号20。在一个优选实施例中，该交互由两个部分组成。首先，主体18可以操作输出设备，比如键盘、鼠标、特殊按钮和各种类型的传感器；其次，主体18暴露于一个或多个输出，比如视频、声音、气味和振动。头单元14被设置为在训练练习期间测量用户的脑信号20。
连接到训练单元12的是处理功能22，其被设置为将用户脑信号20的特定信号映射到预定的脑力任务描述并且创建包括映射到脑力任务描述的用户的脑信号20的用户简档24。因此，许多脑信号20和相关的数据被存储在数据库26中。该数据库典型地包含脑力任务描述(MTD)和相关信号的集合、所提取的特征和/或拟合的模型(SFM)。
如前所述，训练的目的是创建典型地包含脑力任务描述(MTD)和相关信号的集合、所提取的特征和/或拟合的模型(SFM)的数据库26。用户18被要求执行特定的脑力任务并且所测量的相关信号被存储。作为可替代方案或此外，特殊特征可以从信号中提取或者一些模型可以得以训练(train)。
在这样的训练期间，可以努力使得它不那么单调乏味或令人厌烦。例如，主体18可以提供他/她的较早测量的视觉/听觉表示，并且给定的任务是改进它们的性能(performance)。而且，主体18可以提供有其他(也许是专家)用户的测量并且被鼓励尽可能接近地模仿它们的性能。一些任务可以聚焦在速度或准确性上以挑战主体18。如果主体18感觉舒适，则可以继续进行具有大量不同脑力任务的训练。最终的集合比特定应用所要求的更广泛(extensive)。MTD和相关的SFM的组可以覆盖宽范围的潜在应用和偏好。
用户简档24对于用户18来说是特定的，并且定义了用户可以一贯地承担的并达到所要求的准确性水平的脑力任务(MTD)。每个脑力任务描述与映射到这些任务的用户的脑信号的对应组被一同存储在用户简档24中。基本上，用户简档24将存储用户能够胜任地执行的任务并且可以用作运行脑计算机接口的基础。用户简档可以仅仅存储少量的特定任务并将脑信号关联起来，比如三个这样的任务。然而，在BCI环境中，这将足以操作大量的潜在应用。
处理功能22可以进一步被设置为在训练练习期间测量用户的疲劳度。这可以例如通过以下操作来实现：监控重复的任务，并注意用户的脑信号20在一个时间周期上的变化。如果用户18花费更长的时间执行特定任务或者以增加的误差幅度执行该任务，则这将指示用户正变得疲劳。处理功能22进一步被设置为在用户简档24中记录与所测量的疲劳度相关的信息。该信息可以采取关于特定任务的时间信息的形式，例如指示用户18仅仅能够执行任务达时间t或可以记录用户18仅仅能够执行相应任务特定次数的陈述。疲劳信息还可以包括误差幅度的细节，其有效地陈述哪些任务可以以高度必然性被执行，以及哪些任务可能产生错误的结果或偶尔不可检测。
处理功能22还可以进一步被设置为当所测量的疲劳度超过预定阈值时终止训练练习。这允许用户18继续进行尽可能长的训练练习而不使用户18感到疲劳，但是同时仍然收集关于用户18可以完成的任务的有用信息。用户简档24被扩展为包括用户18能够有效执行的最大量的任务。
系统10也进一步包括用户接口28，其被设置为接收定义与预定的脑力任务描述有关的约束的手工输入，其中处理功能22被进一步设置为在用户简档24中记录该手工输入。这允许合适的医生检查，并(如果需要的话)根据从医生的专业角度看来是否应该对记录在用户简档24中的某些任务加以限制从而保护用户18的良好状态而修改用户简档24。
图2概括了生成用户简档24的方法。创建用于脑计算机接口的用户简档24的方法包括：执行(步骤S21)训练练习；在训练练习期间测量(步骤S22)用户的脑信号20；将用户的脑信号20的特定信号映射(步骤S23)到预定的脑力任务描述(MTD)；以及创建(步骤S24)包括映射到脑力任务描述的用户脑信号的用户简档24。
图3更详细地示出所生成的用户简档24。该简档24是用于用户A的，并且包括一系列映射到特定脑力任务描述23的脑信号测量20。与每对映射到脑力任务描述23的信号20一起被包括的是相应的疲劳度测量25。该疲劳度测量25可以是与用户18可以在预定的准确性(比如+/-5％)内执行特定脑信号20的次数一样简单的东西。在简档24的该实例中，可以看出，用户18已经不能执行脑力任务描述数字2到足够的准确性水平，并且因此没有脑信号20作为到该任务描述23的映射被记录在简档24中。
所述各种脑力任务描述23描述了多个任务，比如开/关、是/否、罗经点的选择或滑块的移动等，这些脑力任务描述23是在一般意义下控制应用所需的，或者包括对数据库26中这样的任务的引用。任务描述23可以涉及相同的功能(例如二元任务描述(两种状态之间的切换)可以在不同任务中23中出现)，但是具有与它们相关联的不同脑信号20和疲劳度水平25。用户18能够以高度准确性执行第一二元任务，但是相对较快地变得疲劳，而第二二元任务可能具有较低的准确性，但是用户18在变得疲劳之前能够以多得多的次数执行该第二任务。
这样一来，用户18执行各种预定的训练练习，并且由此生成它们的用户简档24。该简档24定义了用户执行某些一般化脑力任务23的能力并且有利地包括针对每个相应的任务23的疲劳度信息。用户简档24可以包括一长列表的任务23或可以仅仅包含两个或三个任务，这取决于个人用户18。用户简档24定义特定用户18可以以在单独任务23在实际应用中的部署中有用的足够水平的可重复性和准确性执行所述单独任务23的程度。
图4示出所生成的用户简档24在使用设备30的实际实例中的应用，例如，所述设备30可以是电力轮椅。该设备30包括脑计算机接口40和应用34。用于为用户创建脑计算机接口40的系统包括：存储用户简档24(由映射到脑力任务描述23的用户的脑信号20组成)的数据库26；包括应用34的多个属性的应用简档38；以及处理器36，其被设置为访问用户简档24和应用简档38，以将来自用户简档24的一个或多个脑力任务描述23匹配到来自应用简档38的相应的属性并且由此创建脑计算机接口40。
在提供使用BCI40的系统时，主要特征是提供一种原则上能够(部分地)借助于具有下列特征的BCI而被操作的设备30(如图4所示)。应用简档38可用于描述被要求来借助于BCI控制设备30的控制信号的类型。该描述可以非常简短，如“存在单一的开/关功能”，或非常详尽，比如包括可能的可替代方案和其他选项的一长列表的动作。用户简档24用于描述特定用户18的偏好以控制特定BCI，并且简档24和38都被提供给其中存储了一组MTD和相关的SFM的数据库26。因此，设备30从数据库接收所需的信息以最优地编程该设备。
总之，设备30中的BCI40几乎立刻被提供在可能地多个冗长的训练课期间获得的针对特定BCI、针对特定用户、针对该特定任务所需的信息。一旦BCI40处于使用中，具有MTD和SFM的数据库26可被更新以改进针对该用户18的未来BCI应用。该更新过程可以在后台运行。用户简档24可以使用图形用户接口简单地输入或它可以存储在智能卡上。
图5示出用于为轮椅的特定应用生成BCI40的匹配过程。用于轮椅的应用简档38包含三个属性27，它们是开/关命令(用于打开和关闭轮椅)、8点罗盘属性(用于移动轮椅)和4点罗盘属性(再次用于移动轮椅)。每个属性27还具有相应的准确性信息29，其定义了执行属性27所需的期望的准确性水平。疲劳信息也可以包含在准确性信息29内。以与用户简档24相同的方式，属性27可以不被明确地陈述，但可以包含对数据库26中的条目的数字标记。
示出了用户A的用户简档24中的相关条目。用户18具有他们能够以不同的疲劳/准确性水平25执行的两个开/关任务23。用户18还可以执行所述4点罗盘任务23，但是不能执行8点罗盘任务23。该任务23没有出现在它们的简档24中。在训练阶段期间，用户18可能不能以足够的准确性水平执行该任务23，并且因此它未被加入到它们的简档24。用户18可以以中等水平的准确性/疲劳度25执行4点罗盘任务23。
当要为特定轮椅应用的特定用户18创建BCI40时，随后发生脑力任务描述23到应用简档38中的相应属性27的匹配。在该实例中，用户简档24中的第二任务23被匹配到应用简档38中的第一属性27，并且用户简档24中的第三任务23被匹配到应用简档38中的第三属性27。以此方式，创建BCI40，其允许用户18控制轮椅。8点罗盘的属性27可以不被匹配，但是用户简档24中4点罗盘任务23的存在足以为用户18提供工作的BCI40。
本发明可以用在至少具有一些用于控制应用34的BCI的任何设备30中。该技术可以用在辅助残疾人领域，而且可以用于娱乐领域。其主要优点在于，所要求的训练更短并且不那么(或者甚至根本不会)单调乏味或令人烦恼。本发明提供一种用于训练BCI的系统，其中在训练课中，脑力任务描述(MTD)和相关信号的集合、所提取的特征和/或拟合模型(SFM)从主体18获得并且存储在数据库26中，并且随后当其要被使用时，设备的应用简档38被获得并用于从数据库26选择数据以编程设备30中的BCI40。
图6概括了为应用34的用户18创建脑计算机接口40的方法。该方法包括以下步骤：访问(步骤S41)用户简档24，该用户简档包括映射到脑力任务描述23的用户的脑信号20；访问(步骤S42)包括应用34的多个属性的应用简档38；将来自用户简档24的一个或多个脑力任务描述23匹配(步骤S43)到来自应用简档38的相应的属性27；以及由此创建(步骤S44)脑计算机接口40。一旦已经为用户18创建了用户简档24，该用户简档可以被反复地使用以生成针对特定应用34的个人用户18的个性化脑计算机接口40。这一点是自动完成的，并且确保了用户18不必每当他们希望使用新应用34时重新完成训练。
处理器36将已知的用户能力(被嵌入在用户简档24中)映射到应用34的功能(如由应用简档38定义的)。例如，应用34可以在简档38内定义特定应用提供的10个功能，无论该应用涉及一件硬件(比如轮椅)还是涉及软件功能(比如电子邮件应用)。然而，用户18的特定用户简档24可以仅仅定义用户18可以以令人满意的水平执行的5个任务。在这种情况下，处理器36选择应用简档38中的10个属性27的5个属性以匹配用户简档24中的脑力任务描述23。随后这用于配置脑计算机接口40。
如上所讨论，关于用户简档24的创建，可以在用户简档24中记录关于用户的疲劳水平的细节。这可以被处理器36访问并且用在将脑力任务描述23匹配到应用34的属性的过程中。应用简档38可以指定某些最常用的功能，以及哪些需要最高的准确性等等。当做出关于与该应用34相关而发生的特定匹配的决定时，这可以由处理器36考虑。
图7示出与特定应用34相关的用户18的BCI40的创建，该特定应用为电力轮椅30。与用户18相关联的用户简档24以及涉及设备30和控制设备30的应用的应用简档38在附接到数据库26的处理器36中被组合在一起。发生将用于轮椅30的应用简档38中的属性P1到Pn链接到用户简档24中定义的条目(或能力)R1到Rm的匹配。在图中可以看出，属性和功能被配对并且这用于生成脑计算机接口40，用户18现在可以使用该脑计算机接口控制轮椅30。用户18不需要经受进一步的或附加的训练以使用轮椅30，因为BCI40的生成基于它们的已知的能力并且被匹配到用户的任务。
图8示出设备属性(P1到Pn)与用户简档中的条目(R1到Rm)之间的匹配的详细实例。匹配的结果是一组对(Px1，Ry1)到(Pxk，Ryk)，其用于创建BCI40。匹配的实例可以是：Pxk：该设备30需要至少5个命令(左、右、后、前和停止)，以及Pyk：该用户可以可靠地执行5个独立的脑力任务。

Claims (16)

1.一种创建用于脑计算机接口(40)的用户简档(24)的方法，该方法包括：
-执行(S21)训练练习，
-在训练练习期间测量(S22)用户的脑信号(20)，
-将用户的脑信号的特定信号映射(S23)到预定的一般化脑力任务描述(23)，所述一般化脑力任务描述(23)中的一个或者多个能够匹配到应用的相应属性(27)，以及
-创建(S24)包括映射到一般化脑力任务描述(23)的用户的脑信号(20)的用户简档(24)。
2.根据权利要求1所述的方法，进一步包括在训练练习期间测量用户的疲劳度。
3.根据权利要求2所述的方法，进一步包括在用户简档(24)中记录与所测量的疲劳度相关的信息(25)。
4.根据权利要求2或3所述的方法，进一步包括当所测量的疲劳度(25)超过预定的阈值时终止训练练习。
5.根据权利要求1到3中任何一项所述的方法，进一步包括接收定义与预定的一般化脑力任务描述(23)相关的约束的手动输入，以及在用户简档(24)中记录该手动输入。
6.一种创建用于脑计算机接口(40)的用户简档(24)的系统(10)，包括：
-训练单元(12)，其被设置为执行训练练习；
-头单元(14)，其被设置为在训练练习期间测量用户的脑信号(20)；以及
-处理功能(22)，其被设置为将用户的脑信号(20)的特定信号映射到预定的一般化脑力任务描述(23)，并且创建包括映射到一般化脑力任务描述(23)的用户的脑信号(20)的用户简档(24)，其中所述一般化脑力任务描述(23)中的一个或者多个能够匹配到应用的相应属性(27)。
7.根据权利要求6所述的系统(10)，其中所述处理功能(22)进一步被设置为在训练练习期间测量用户的疲劳度。
8.根据权利要求7所述的系统(10)，其中所述处理功能(22)进一步被设置为在用户简档(24)中记录与测量的疲劳度相关的信息(25)。
9.根据权利要求7或8所述的系统(10)，其中所述处理功能(22)进一步被设置为当所测量的疲劳度(25)超过预定的阈值时终止所述训练练习。
10.根据权利要求6-8中任一项所述的系统(10)，进一步包括用户接口(28)，其被设置为接收定义与预定的一般化脑力任务描述(23)有关的约束的手动输入，其中所述处理功能(22)被进一步设置为在用户简档(24)中记录手动输入。
11.一种针对应用(34)为用户(18)创建脑计算机接口(40)的方法，包括：
-访问(S41)包括映射到一般化脑力任务描述(23)的用户的脑信号(20)的用户简档(24)，
-访问(S42)包括该应用的多个属性(27)的应用简档(38)；
-将来自用户简档(24)的一个或多个一般化脑力任务描述(23)匹配(S43)到来自应用简档(38)的相应的属性(27)；以及
-由此创建(S44)脑计算机接口(40)。
12.根据权利要求11所述的方法，进一步包括访问用户简档(24)中的疲劳组件(25)并且由此调节脑计算机接口(40)。
13.根据权利要求11或12所述的方法，进一步包括访问用户简档(24)中的手动输入组件并且由此调节脑计算机接口(40)。
14.一种用于针对应用(34)为用户(18)创建脑计算机接口(40)的系统，包括：
-数据库(26)，其被设置为存储包括映射到一般化脑力任务描述(23)的用户脑信号(20)的用户简档(24)和包括该应用(34)的多个属性(27)的应用简档(38)，以及
-处理器(36)，其被设置为访问用户简档(24)和应用简档(38)，以将来自用户简档(24)的一个或多个一般化脑力任务描述(23)匹配到来自应用简档(38)的相应的属性(27)并且由此创建脑计算机接口(40)。
15.根据权利要求14所述的系统，其中所述处理器(36)进一步被设置为访问用户简档(24)中的疲劳组件(25)并且由此调节脑计算机接口(40)。
16.根据权利要求14或15所述的系统，其中所述处理器(36)被进一步设置为访问用户简档(24)中的手动输入组件并由此调节脑计算机接口(40)。
CN200880110433.5A 2007-10-04 2008-09-29 涉及脑计算机接口的改进 Active CN101821699B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP07117858A EP2045690A1 (en) 2007-10-04 2007-10-04 Improvements relating to brain computer interfaces
EP07117858.6 2007-10-04
PCT/IB2008/053951 WO2009044325A1 (en) 2007-10-04 2008-09-29 Improvements relating to brain computer interfaces

Publications (2)

Publication Number Publication Date
CN101821699A CN101821699A (zh) 2010-09-01
CN101821699B true CN101821699B (zh) 2017-05-24

Family

ID=39033733

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200880110433.5A Active CN101821699B (zh) 2007-10-04 2008-09-29 涉及脑计算机接口的改进

Country Status (5)

Country Link
US (1) US8862219B2 (zh)
EP (2) EP2045690A1 (zh)
JP (1) JP5657387B2 (zh)
CN (1) CN101821699B (zh)
WO (1) WO2009044325A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9713444B2 (en) 2008-09-23 2017-07-25 Digital Artefacts, Llc Human-digital media interaction tracking
CN102939791B (zh) * 2010-05-17 2015-09-23 塔塔咨询服务有限公司 用于具有听觉、言语和视觉障碍的人的手持式通信辅助器
CN102500105B (zh) * 2011-11-29 2015-04-29 重庆大学 基于脑机接口的游戏装置及其游戏方法
SG11201501332WA (en) * 2012-08-24 2015-05-28 Agency Science Tech & Res Autodidactic cognitive training device and method thereof
US9389685B1 (en) 2013-07-08 2016-07-12 University Of South Florida Vision based brain-computer interface systems for performing activities of daily living
US9737231B2 (en) * 2014-03-08 2017-08-22 Memkite As Brain signal-based instant search
EP3226966B1 (en) * 2014-12-03 2018-10-24 Koninklijke Philips N.V. System for increasing the restorative value of a nap
IL239191A0 (en) * 2015-06-03 2015-11-30 Amir B Geva Image sorting system
ITUB20153680A1 (it) * 2015-09-16 2017-03-16 Liquidweb Srl Sistema di controllo di tecnologie assistive e relativo metodo
TWI676536B (zh) * 2016-01-22 2019-11-11 大陸商鴻富錦精密工業（武漢）有限公司 基於腦電訊號控制之智慧型機器人系統和方法
CN106529906A (zh) * 2016-11-03 2017-03-22 上海海事大学 一种利用脑信息的职业招聘系统和方法
CN107157705A (zh) * 2017-05-09 2017-09-15 京东方科技集团股份有限公司 康复系统和方法
RU2017129475A (ru) * 2017-08-18 2019-02-18 Общество С Ограниченной Ответственностью "Нейроленд" Система и способ для бесконтактного управления пользовательским интерфейсом
US11316977B2 (en) * 2017-10-27 2022-04-26 Tata Consultancy Services Limited System and method for call routing in voice-based call center
CN107890349A (zh) * 2017-12-14 2018-04-10 上海惠诚科教器械股份有限公司 一种基于脑电波实时反馈的正念训练系统
CN109480870B (zh) * 2018-10-30 2021-08-31 北京机械设备研究所 一种面向rsvp脑-机接口的脑力负荷识别方法
CN109464152B (zh) * 2019-01-09 2021-11-26 浙江强脑科技有限公司 脑部疲劳状态的检测方法、设备及计算机可读存储介质
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2525600Y (zh) * 2002-01-18 2002-12-11 东北大学 基于脑电信号的残疾人环境控制装置
CN1833616A (zh) * 2005-12-15 2006-09-20 西安交通大学 一种多导脑生物信息反馈仪

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6354618A (ja) * 1986-08-25 1988-03-09 Canon Inc 入力装置
JP2527828B2 (ja) 1990-02-27 1996-08-28 三菱電機株式会社 半導体パッケ―ジ
JP3161990B2 (ja) * 1997-03-04 2001-04-25 株式会社脳機能研究所 ロボットの制御装置
JP3543453B2 (ja) * 1995-12-01 2004-07-14 株式会社日立製作所 光生体計測法を用いた生体入力装置
JPH11203022A (ja) * 1998-01-16 1999-07-30 Technos Japan:Kk 生体信号を機器の制御信号として応用する方法及びその装置
JP2000172407A (ja) * 1998-12-07 2000-06-23 Hitachi Ltd 生体信号による機器制御装置
US6723047B1 (en) * 1999-06-09 2004-04-20 Hitachi, Ltd. Volition induction apparatus and input/output apparatus which use optical measuring instrument, and recording medium
JP4687935B2 (ja) * 2000-03-13 2011-05-25 国立大学法人北海道大学 個人適応型生体信号被動機器制御システム
JP4517537B2 (ja) * 2001-05-22 2010-08-04 国立大学法人北海道大学 個人適応型生体信号被動機器制御システム及びその制御方法
JP3949469B2 (ja) * 2002-02-22 2007-07-25 三菱電機株式会社 脳波信号を用いた制御装置及び制御方法
US20030176806A1 (en) * 2002-02-26 2003-09-18 Pineda Jaime A. Method and system for an intelligent supervisory control system
JP3993069B2 (ja) * 2002-10-30 2007-10-17 三菱電機株式会社 脳波信号を利用した制御装置
JP2004180817A (ja) * 2002-12-02 2004-07-02 National Institute Of Advanced Industrial & Technology 生体信号を利用した作業支援マニピュレータシステム
US7113854B2 (en) * 2003-10-22 2006-09-26 Sunrise Medical Hhg Inc. Personal mobility vehicle control system with input functions programmably mapped to output functions
JP2006072606A (ja) * 2004-09-01 2006-03-16 National Institute Of Information & Communication Technology インターフェイス装置、インターフェイス方法及びその装置を用いた制御訓練装置
US7991461B2 (en) * 2005-01-06 2011-08-02 Braingate Co., Llc Patient training routine for biological interface system
JP2006281923A (ja) * 2005-03-31 2006-10-19 National Institute Of Information & Communication Technology 乗用走行車両の制御方法及び装置
DE102006008495B4 (de) 2006-02-23 2018-01-25 Cortec Gmbh Vorrichtung und Verfahren zur Echtzeit-Ansteuerung eines Effektors

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2525600Y (zh) * 2002-01-18 2002-12-11 东北大学 基于脑电信号的残疾人环境控制装置
CN1833616A (zh) * 2005-12-15 2006-09-20 西安交通大学 一种多导脑生物信息反馈仪

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
.2007,第4卷(第3期),246-254. *
JOURNAL OF NEURAL ENGINEERING&gt *
XIANG LIAO ET AL..Transductive SVM for reducing the training effort in BCIs.&lt *

Also Published As

Publication number Publication date
EP2210160B1 (en) 2015-03-04
US8862219B2 (en) 2014-10-14
JP2010541091A (ja) 2010-12-24
WO2009044325A1 (en) 2009-04-09
EP2045690A1 (en) 2009-04-08
JP5657387B2 (ja) 2015-01-21
EP2210160A1 (en) 2010-07-28
CN101821699A (zh) 2010-09-01
US20110238685A1 (en) 2011-09-29

Similar Documents

Publication Publication Date Title
CN101821699B (zh) 涉及脑计算机接口的改进
Oberman et al. Face to face: Blocking facial mimicry can selectively impair recognition of emotional expressions
Tangermann et al. Review of the BCI competition IV
Wolpaw et al. Brain-computer interface technology: a review of the first international meeting
AlZoubi et al. Detecting naturalistic expressions of nonbasic affect using physiological signals
Rezazadeh et al. Using affective human–machine interface to increase the operation performance in virtual construction crane training system: A novel approach
Haider et al. Application of P300 event-related potential in brain-computer interface
JP2021114317A (ja) 顔の幾何学的形状の歪みによるコンピュータの制御
Augstein et al. A human-centered taxonomy of interaction modalities and devices
Xu et al. Accelerating reinforcement learning using eeg-based implicit human feedback
Orhan RSVP Keyboard™: An EEG Based BCI Typing System with Context Information Fusion
Balducci et al. Affective states recognition through touch dynamics
Ansari et al. BCI: an optimised speller using SSVEP
Huang et al. EEG-based vibrotactile evoked brain-computer interfaces system: a systematic review
Quek et al. Designing future BCIs: Beyond the bit rate
Blankertz et al. Detecting mental states by machine learning techniques: the berlin brain–computer interface
Mao et al. Effects of Skin Friction on Tactile P300 Brain‐Computer Interface Performance
Raley et al. Augmented cognition overview: improving information intake under stress
Jaber et al. Elicitation hybrid spatial features from HD-sEMG signals for robust classification of gestures in real-time
Arpaia et al. Wearable Brain-Computer Interfaces: Prototyping EEG-Based Instruments for Monitoring and Control
Courtemanche et al. Multiresolution feature extraction during psychophysiological inference: addressing signals Asynchronicity
Matanga et al. Analysis of user control attainment in SMR-based brain computer interfaces
Reddy et al. Brain Waves Computation using ML in Gaming Consoles
Gad BRAIN-COMPUTER INTERFACE FOR SUPERVISORY CONTROLS OF UNMANNED AERIAL VEHICLES
Ghader et al. Exploiting Federated Learning for EEG-based Brain-Computer Interface System

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant