CN107405101A - 大脑活动测量和反馈系统 - Google Patents

Abstract

一种头戴式设备(2)包括具有大脑电活动(EEG)传感器(22)的EEG感测装置(3)，所述EEG感测装置(3)被配置来安装在佩戴者的头部上，以便将所述EEG传感器(22)定位在所述佩戴者的头皮之上的选定感兴趣位置处，所述EEG感测装置包括传感器支撑件(4)和组装到所述传感器支撑件的柔性电路(6)。所述传感器支撑件和所述柔性电路包括：中央主干(4a、6a)，其被配置来在从佩戴者头部的鼻子到后部的中心的方向上沿着所述头部的顶部的中心平面延伸；前侧向分支(4b、6b)，其被配置来横跨佩戴者头部的前部部分延伸，从所述中央主干侧向延伸；中央侧向分支(4c、6c)，其被配置来基本上在所述佩戴者的耳朵之间横跨佩戴者头部的顶部部分延伸；以及后侧向分支(4d、6d)，其被配置来横跨佩戴者头部的后部部分延伸。所述传感器支撑件(4)包括底壁(401)和侧壁(402)，所述侧壁(402)沿着所述底壁的边缘延伸以形成所述柔性电路(6)插入其中的基本上平坦的“U”形通道(403)，并且所述底壁包括EEG传感器孔(404)以允许触及所述柔性电路上的EEG传感器触点或电极。

Description

大脑活动测量和反馈系统

技术领域

本发明涉及测量或监测用户的皮层活动并且任选地生成刺激且/或向用户提供反馈的头部安装式装置。使用本发明的应用可包括游戏、训练、感官运动技能的学习、神经损伤或疾病的诊断或治疗。

相关技术描述

因中风而发生的神经损伤常常表现为轻偏瘫或身体的其他部分麻痹。当前的康复程序常常基于由受损的身体部分进行的锻炼，实时追踪所述受损的身体部分的移动以向患者和/或执业医生提供反馈。计算机控制的机械致动系统已经用于在患者执行预定移动模式时追踪身体部分(诸如患者的手臂)的位置和所述身体部分所施加的力。为了减少患者疲劳，此类系统可例如通过可在执行移动的过程中进行协助的致动器来支持患者。此类装置的缺点是它们可能复杂且昂贵。同样，常规系统基于追踪实际移动，并且因此不适于在中风发生之后很早阶段的诊断或治疗，在这些阶段中移动受到影响或非常有限。如果例如身体部分移动过快或如果较重致动设备的一部分落在患者身上，常规系统还可能给患者带来风险。常规系统也不是特别便携的，这通常会阻止家庭使用和在医院环境中的使用，并且还可能难以适应特定患者的康复要求，因为所允许的移动范围常常受到机械系统的约束。

US 2011/0054870公开了用于患者康复的基于VR的系统，其中患者身体部分的位置由运动摄像机追踪。使用软件来创建在监视器上向患者显示的运动化身(motionavatar)。在一个实例中，如果患者在规定两只手臂移动时仅移动右臂，则化身也可显示左臂的运动。

在2006年10月23日的ACM国际多媒体技术大会上，Chen,Y等人的‘The design ofa real-time,multimodal biofeedback system for stroke patient rehabilitation’中公开了类似的系统，其中使用红外摄像机来追踪患者手臂上的标记物的3维位置。使用监视器，在完成预定义的移动模式时在VR中显示患者手臂的位置，诸如所显示图像的抓取。

某些基于VR的系统的缺点是它们仅测量身体部分对所指示任务的响应。因此，这些系统不直接响应于身体部分的所显示移动而测量皮层活动，而是仅以大脑的区域可控制身体部分的方式进行测量。这可导致所治疗的大脑区域不是受损的大脑区域，或者至少不能直接监测大脑的特定区域。此外，患者没有完全沉浸在VR环境中，因为他们面向单独的监视器屏幕来观看VR环境。

在WO 2011/123059和US 2013/046206中描述了具有大脑监测和运动追踪的基于VR的系统，已知系统的主要缺点是它们不能可靠地或准确地控制刺激或动作信号与大脑活动信号之间的同步，这可导致根据刺激或动作不正确地或不准确地处理并读取大脑响应信号。

在常规系统中，为了使多模式数据(包括生理的、行为的、环境的、多媒体的以及触觉的等等)与刺激源(例如，显示、音频、电或磁刺激)同步，以分散的方式连接多种独立的、专用的(即，针对每个数据源)单元，这意味着每个单元将其固有的性质(模块延迟和抖动)带到系统中。另外，这些单元可具有不同的时钟，因此以不同的格式并且以不同的速度采集异构数据。具体地说，不存在包括对虚拟和/或增强现实信息(其中一些内容可能在某种程度上与任何相关用户的生理/行为活动相关，并且被系统记录)和/或来自环境的任何信息的立体显示的综合系统。不能满足以上提及的要求可能在不同的应用领域中在各种情况下具有消极影响，如在以下非详尽的实例列表中简单提及的：

a)对刺激表现的神经响应的分析在许多应用神经领域中是重要的。当前的解决方案包括同步质量，尤其是在所测量的神经信号(例如，EEG)与刺激信号(例如，提示的显示)之间的抖动量方面。因此，不仅降低了所采集信号的信噪比，而且使分析限于较低频率(通常小于30Hz)。确保最少抖动的同步将会开辟在更高频率中的神经信号探索以及基于精确(亚毫秒)计时的刺激(不仅是非侵入性刺激，而且是直接在神经位点处的侵入性刺激和皮下刺激)的新可能性。

b)虚拟现实和身体感知：如果不能实现用户移动的捕捉与所述移动到实时重现所述移动的虚拟人物(化身)上的映射之间的同步，则通过屏幕或头部安装式显示器对所进行移动的延后视觉反馈将会使用户感觉他/她不是这种移动的创造者。这可能在运动康复(其中，患者接受训练以恢复移动性)中并且对于极度危险的操作(如通过远程操纵机器人来解除炸弹)的训练或执行具有重要影响。

c)大脑-计算机接口：如果运动意图(如脑电图数据所记录的)、肌肉活动与向大脑身体控制的神经假体的输出之间的同步失败，则不可能使运动动作与神经激活连结起来，从而无法得知运动动作所基于的、成功控制神经假体所必需的神经机制。

d)神经检查：脑电图(EEG)数据谱对于表面的非侵入性记录可达到100Hz。在这种情况下，时间分辨率在数十毫秒的范围内。如果EEG与诱发特定大脑响应(例如，对于发生在虚拟环境中的确定动作的P300响应)的事件之间的同步失败，则不可能使大脑响应与引发所述大脑响应的具体事件相关联。

(e)截肢患者进行的使用先进神经假体装置的功能性神经再支配训练：与FES和皮下刺激联接的混合式大脑-计算机接口(BCI)系统可用于将功能性神经再支配发挥并优化到截肢者的残肢或其他身体部分周围的残余肌肉中。为了最佳的结果，在传感器数据与刺激数据之间具有高质量同步对于生成精确的刺激参数是重要的。

在非医疗应用中，尤其是在消费者应用(诸如游戏或体育活动训练)中，感测系统和反馈系统的高便携性和易用性是重要的因素。

装置的成本当然也是消费者应用中的重要问题。在医疗应用中，诊断或治疗的成本是重要的，因此此类成本不仅受到所使用装置自身的成本的影响，而且受到使用装置的成本的影响，使用装置的成本包括：组装、操纵以及获得和解释结果的容易性；再使用和消毒。

EEG电极的放置已经被广泛地研究，并且常用的模型之一是所谓的“10-20电极放置系统”。在医疗或研究应用中使用的常规头部安装式脑电图(EEG)感测装置通常包括纺织帽，并且多个传感器夹在所述帽上。所述帽通常具备在对应于所使用电极放置模型的位置中的孔或其他固定装置。电极然后连线到放大和计算装置。提供帽带来稳定地且准确地调整并定位所述帽，以便将电极正确地定位并压在用户的头部上。帽的定位、电极的连接以及帽带或其他固定装置使得此类常规系统对于许多消费者应用而言是无趣的，并且甚至对于医疗应用而言是繁琐的。缺点包括：视觉上不美观；由于气流减少而引起电极触点过热；由于对解剖学枕骨隆突-鼻根距离进行调整以确保10-20系统而引起耗时的帽放置和复杂的组装(例如，电极的放置、触点、连接性等)；需要分离的电子元件和帽电极，以允许清洗电极。

在US4967038和US5038782中公开了通过将电极安装并连接到柔性电路来避免单独的线路连接的医疗EEG头部帽。在EP0541393中公开了具有弹性带的另一种医疗EEG头部部件。所有这三种现有系统均遭受许多以上提及的缺点。

在US 2015/0011857、US 2013/0172721、WO 2013/124366、US2011/0282231以及US2013/0303874中公开了另外的EEG头部安装式装置，然而这些装置也具有至少一些缺点，所述缺点包括：难以针对不同头部大小进行调整、非最佳的电极放置、难以允许清洗电极/头戴式设备以便再使用、佩戴不适和/或制造成本高。

发明概述

本发明的目的是提供一种佩戴方便且舒适的、可靠的并且使用简单的大脑活动测量和反馈系统。

提供可容易地清洗和消毒的系统将是有利的。

提供节省放置和操作时间的系统将是有利的。

提供可适于家庭使用、走动应用或可移动应用的大脑活动测量和反馈系统将是有利的。

提供对于制造和使用具有成本效益的系统将是有利的。

提供为用户提供虚拟或增强现实环境的大脑活动测量和反馈系统是将有利的，所述虚拟或增强现实环境可用于例如在大脑损伤的治疗中或在运动技能的训练中改善认知和感官运动系统的响应。

提供确保对生理刺激和响应信号的测量和控制的准确实时整合的生理参数测量和运动追踪系统(例如，头部和身体的移动)将是有利的。

提供可生成不同来源的多个刺激信号(例如，视觉的、听觉的、触摸感官的、电的、磁的)且/或可另外测量不同类型的多个生理响应信号(例如，身体部分移动、眼睛移动、皮肤电反应)的大脑活动测量和反馈系统将是有利的。

减少输入模块(测量)和输出模块(刺激)以及系统操作之间的电干扰将是有利的。

容易使系统适于各种头部和身体大小将是有利的。

提供更具沉浸感的VR体验将是有利的。

确保皮肤与电极端之间的高质量电接触或电化学接触将是有利的。

不必在用户需要取下头部安装式显示器组件时移除电极传感网以便维持电接触或电化学接触将是有利的。

本文公开的是一种头戴式设备，其包括具有大脑电活动(EEG)传感器的EEG感测装置，所述EEG感测装置被配置来安装在佩戴者的头部上，以便将EEG传感器定位在佩戴者的头皮之上的选定感兴趣位置处。EEG感测装置包括传感器支撑件和组装到所述传感器支撑件的柔性电路，EEG传感器连接到所述柔性电路。传感器支撑件和柔性电路包括：中央主干，其被配置来在从鼻根到枕骨隆突的方向上沿着头部的顶部的中心平面延伸；从中央主干侧向延伸的前侧向分支，其被配置来横跨佩戴者头部的前部部分延伸；从中央主干侧向延伸的中央侧向分支，其被配置来基本上在佩戴者的耳朵之间横跨佩戴者头部的顶部部分延伸；以及从中央主干侧向延伸的后侧向分支，其被配置来横跨佩戴者头部的后部部分延伸。

根据本发明的第一方面，传感器支撑件包括底壁和侧壁，所述侧壁沿着底壁的边缘延伸以形成柔性电路组装在其中的基本上平坦的“U”形通道。

根据本发明的第二方面，尤其是对于使用湿电极的实施方案，柔性电路包括与EEG传感器触点或电极相邻的孔，其中EEG传感器孔与柔性电路孔重叠，使得在传感器支撑件的顶部表面与底部表面之间提供贯穿通路，以允许当头戴式设备定位在佩戴者头部上时从头戴式设备的顶侧加入导电凝胶。

可选地或另外，贯穿通路还可充当进入通路以用于插入互补电极或其他传感器，以便例如测试或校准头戴式设备的电极或添加另外的传感器或刺激装置，诸如温度传感器和NIRS、tDCS、tRNS、tACS装置。在具体实施方案中，贯穿通路可有利地用于供放置在这些贯穿通路上或其中或放置在其他额外的孔中的近红外光发射器和接收器(NIRS)进入。近红外光谱法可以对测量脑组织的血氧水平非常有用。这样可以同时记录电平和血氧水平。

侧向分支中的每一个还包括在从前到后或从后到前的方向上延伸的延伸部。EEG传感器沿着主干、分支和延伸部定位在离散间隔开的位置中，例如在根据国际10-20系统或根据其他EEG定位系统的位置中。

根据本发明的第三方面，中央侧向分支包括在从前到后和从后到前两个方向上延伸的延伸部，使得中央侧向分支可被张紧到前侧向分支和后侧向分支两者。

在优选实施方案中，柔性密封材料填充在通道中的柔性电路之上，以便使柔性电路上的电路轨道和部件密封在通道内。

在优选实施方案中，传感器支撑件是单件式零件。

在优选实施方案中，传感器支撑件由柔性聚合物材料模制或形成。

在优选实施方案中，柔性电路包括单件式柔性衬底。

头戴式设备传感器支撑件还可包括张紧器锚固件，其被配置来将弹性张紧器锚固在EEG感测装置的主干、分支和延伸部中的位置之间，并且还锚固在EEG感测装置与头部安装式框架支撑件之间。

传感器支撑件的底壁包括EEG传感器孔，以允许触及柔性电路上的EEG传感器触点或电极。

在有利实施方案中，靠近柔性电路上的每个EEG传感器定位有离散EEG信号放大器，其被配置来放大由对应EEG传感器拾取的大脑电活动信号。根据变体，EEG传感器可包括被动或主动传感器。

EEG传感器可包括：呈导电电路垫形式的电极，所述电极位于柔性电路的衬底的旨在面向佩戴者的头皮的表面上；或突出的导电可压缩元件，所述导电可压缩元件安装在柔性衬底上并且电连接到柔性电路的衬底的电路迹线。EEG传感器可根据变体通过湿触点(例如，使用软凝胶)、或以类似于湿触点的方式起作用的半固体结构、或干触点来接触头皮。此外，根据某些变体的EEG传感器可不与头皮直接接触，例如基于近红外光或电容充电的传感器

在某些实施方案中，头戴式设备可包括头部安装式显示器(HMD)，其固定到头部安装式框架支撑件并且被配置来定位在头戴式设备的佩戴者的眼睛之上。

HMD可包括：显示单元，其具有呈电子屏幕形式的显示装置，所述显示装置被配置用于定位在佩戴者眼睛前方以向佩戴者呈现视觉信息；以及任选地另外的部件，其向佩戴者提供反馈、刺激或信息。

HMD可容纳：各种感测装置和信息捕捉和传输装置，诸如一个或多个摄像机、深度传感器、头部移动感测单元、以无线方式将头戴式设备互连到外部电子装置和计算系统的无线通信装置；以及用于头戴式设备的自主操作的机载电源。

在某些实施方案中，头戴式设备还可并入被配置来测量不同生理参数的多个传感器，所述多个传感器选自由以下各项组成的组：脑皮层电图(ECOG)传感器、眼睛移动传感器以及头部移动感测单元。

在某些实施方案中，头戴式设备还可有利地并入一个或多个大脑或神经刺激装置，例如功能性电刺激(FES)装置，其包括例如被配置用于经颅交流电刺激(tACS)、直流电刺激(tDCS)、经颅磁刺激(TMS)以及经颅超声刺激的电极。

在某些实施方案中，头戴式设备还可并入可操作来检测用户身体部分的位置/运动的位置/运动检测系统，所述位置/运动检测系统包括一个或多个彩色摄像机和一个深度传感器。

本文还公开了生理参数测量系统，其包括控制系统、感测系统和刺激系统，所述感测系统包括一个或多个生理传感器，所述一个或多个生理传感器至少包括安装在头戴式设备中的大脑电活动传感器。刺激系统可包括一个或多个刺激装置，所述一个或多个刺激装置至少包括视觉刺激系统。控制系统可包括：采集模块，其被配置来从感测系统接收传感器信号；以及控制模块，其被配置来处理来自采集模块的信号并且控制向刺激系统的一个或多个装置生成刺激信号。控制系统还包括时钟模块，其中控制系统被配置来使用来自时钟模块的时钟信号给与刺激信号相关的信号和传感器信号加时间戳，使得能够通过时间戳来使刺激信号与传感器信号同步。

加时间戳的与刺激信号相关的信号可以是从刺激系统接收的内容代码信号。

所述系统可有利地包括显示寄存器，其被配置来接收显示内容，这表示在显示器上激活显示内容之前的最后阶段，所述显示寄存器被配置来生成用于传输到控制系统的显示内容代码信号，时间戳由时钟模块附到显示内容代码信号。

感测系统可包括生理传感器，其选自包括以下各项的组：肌电图(EMG)传感器、眼电图(EOG)传感器、心电图(ECG)传感器、惯性传感器(INS)、体温传感器、皮肤电传感器、脉搏血氧仪传感器以及呼吸传感器。

刺激系统可包括刺激装置，其选自包括以下各项的组：音频刺激装置、功能性电刺激(FES)装置以及触觉反馈装置，所述功能性电刺激装置连接到控制系统并且可操作来对用户的一个或多个身体部分进行电刺激。FES装置可选自由以下电极组成的组，所述电极被配置来刺激神经或肌肉、被配置用于经颅交流电刺激(tACS)、直流电刺激(tDCS)、经颅磁刺激(TMS)以及经颅超声刺激。

每个刺激装置可包括嵌入式传感器，所述嵌入式传感器的信号由同步装置记录。

在一个实施方案中，所述系统还可包括机器人系统，其用于驱使用户的肢体的移动并且被配置来提供触觉反馈。

时钟模块可被配置来与其他系统的时钟模块同步，所述其他系统包括外部计算机。

所述系统可有利地包括锻炼逻辑单元，其被配置来向显示单元生成包括指令和挑战的视觉显示帧。

所述系统可有利地包括事件管理器单元，其被配置来向刺激单元生成并传输刺激参数。

本发明的另外的目的和有利特征将从权利要求书、详述和附图显而易见。

附图简述

为了更好地理解本发明并且示出其实施方案可如何实施，现将通过实例来参考附图，在附图中：

图1a和图1b是现有技术系统的示意性图示；

图2a是示出其中向用户显示的显示内容与从用户测量的响应信号(例如，大脑活动信号)同步的本发明实施方案的示意图；

图2b是示出其中向用户播放的音频内容与从用户测量的响应信号(例如，大脑活动信号)同步的本发明实施方案的示意图；

图2c是示出其中向用户施加的多个信号与从用户测量的响应信号(例如，大脑活动信号)同步的本发明实施方案的示意图；

图2d是示出其中包括触觉反馈系统的本发明实施方案的示意图；

图2e是示出其中向用户施加神经刺激信号的本发明实施方案的示意图；

图3a是根据本发明的生理参数测量系统的实施方案的简化示意图；

图3b是图3a的系统的控制系统的详细示意图；

图3c是图3b的控制系统的生理追踪模块的详细示意图；

图4a是根据本发明的实施方案的头戴式设备的头部安装式显示单元的实施方案的透视图；

图4b和图4c是安装在用户头部上的根据本发明的实施方案的头戴式设备前透视图和后透视图；

图4d是安装在用户头部上的根据本发明的实施方案的头戴式设备示意性顶视图；

图4e和图4f是根据本发明的实施方案的头戴式设备的EEG感测装置的底视图和侧视图；

图4g和图4h是根据本发明的实施方案的EEG感测装置的支撑件的一部分的透视图；

图4i是根据本发明的实施方案的EEG感测装置的柔性电路的顶侧视图；

图4j是根据本发明的实施方案的EEG感测装置的柔性电路的底侧视图；

图5是示出根据国际10-20系统的脑电图位置的布置和它们的命名的顶视图；

图6是EMG传感器在用户身体上的示例性布置的前视图；

图7是使用系统的实施方案来训练中风患者的过程的图解视图；

图8是在图7的过程中向用户显示的屏幕截图的视图；

图9是根据本发明的示例性实施方案的生理参数测量系统的物理组装的透视图；

图10是根据本发明的示例性实施方案的生理参数测量系统的示例性刺激和反馈试验的示意性框图；

图11是根据本发明的示例性实施方案的生理参数测量系统的采集模块的示意性框图；

图12是示出由根据本发明的示例性实施方案的生理参数测量系统的时钟模块给信号加时间戳的图；

图13是示出在根据本发明的示例性实施方案的生理参数测量系统的控制系统中处理生理信号数据的方法的数据流程图；

图14是示出在根据本发明的示例性实施方案的生理参数测量系统的控制系统中处理事件的方法的流程图；

图15a是根据本发明的实施方案的头戴式设备的一部分的底视图，其详细示出电极孔；

图15b是图15a的头戴式设备的一部分的顶视图；

图15c是图15a的穿过线A-A的剖视图；

图15d是图15b的穿过线D-D的透视剖视图；

图15e是安装在用户头部上的图15a的头戴式设备的一部分的剖视图。

示例性实施方案的详述

参考附图，根据本发明的实施方案的生理参数测量和运动追踪系统通常包括控制系统12、感测系统13和刺激系统17。

感测系统包括一个或多个生理传感器，所述一个或多个生理传感器至少包括例如呈脑电图(EEG)传感器22形式的大脑电活动传感器。感测系统可包括其他生理传感器，所述其他生理传感器选自包括以下各项的组：连接到用户身体内的肌肉的肌电图(EMG)传感器24、眼电图(EOG)传感器25(眼睛移动传感器)、心电图(ECG)传感器27、安装在用户头部上并且任选地安装在其他身体部分(诸如用户肢体)上的惯性传感器(INS)29、体温传感器、皮肤电传感器。感测系统还包括位置和/或运动传感器，以确定用户身体部分的位置和/或移动。位置和运动传感器还可被配置来测量在用户视野中的物体的位置和/或移动。可注意到，位置和运动的概念与可根据位置变化来确定运动的程度相关。在本发明的实施方案中，位置传感器可用于确定物体或身体部分的位置和运动两者，或者运动传感器(诸如惯性传感器)可用于测量身体部分或物体的移动而无需计算其位置。在有利实施方案中，至少一个位置/运动传感器包括安装在被配置来由用户佩戴的头戴式设备2上的摄像机30和任选地距离传感器28。

刺激系统17包括一个或多个刺激装置，所述一个或多个刺激装置至少包括视觉刺激系统32。刺激系统可包括其他刺激装置，所述其他刺激装置选自包括以下各项的组：音频刺激装置33，和连接到用户的功能性电刺激(FES)装置31(例如，用来刺激神经或肌肉、或用户大脑的部分，例如，刺激肢体的移动)，以及触觉反馈装置(例如，用户可使用他的手抓住的并且为用户提供触觉反馈的机器人手臂)。刺激系统还可包括模数转换器(ADC)37a和数模转换器(DAC)37b以用于通过控制系统的控制模块51传送并处理信号。刺激系统的装置还可有利地包括生成内容代码信号39的装置，所述内容代码信号39馈送回到控制系统12，以便给所述内容代码信号加时间戳并且使刺激信号与由感测系统的传感器生成的测量信号同步。

控制系统12包括时钟模块106和采集模块53，所述采集模块53被配置来从刺激系统接收内容代码信号并且从感测系统接收传感器信号，并且使用来自时钟模块的时钟信号给这些信号加时间戳。控制系统还包括控制模块，其处理来自采集模块的信号并且控制向刺激系统的装置输出刺激信号。控制模块还包括存储器55以存储测量结果、控制参数以及可用于生理参数测量和运动追踪系统的操作的其他信息。

图3a是根据本发明的实施方案的生理参数测量和运动追踪系统10的简化示意图。系统10包括控制系统12，其可连接到以下单元中的一个或多个：生理参数感测系统14；位置/运动检测系统16；以及头戴式设备2，所有这些单元将在以下更详细地进行描述。

生理参数感测系统14包括一个或多个传感器20，其被配置来测量用户的生理参数。传感器20包括安装在头戴式设备中的多个脑电图(EEG)传感器22，其被配置来通过测量用户大脑中的电活动来测量皮层活动。EEG传感器测量由大脑神经元内的离子电流导致的电压波动。

图5示出图示化头部的顶视图，其示出对应于国际10-20系统的电极布置的位置的已知命名，其中阴影组包括在本发明的实施方案的许多用途中主要感兴趣的区域。

图4a、图4b和图4c示出根据本发明的实施方案的定位在用户头部上的头戴式设备的脑电图传感器22的布置。

根据本发明的实施方案的头戴式设备2包括：头部安装式框架支撑件9，其被配置来将头戴式设备定位并固定在用户头部上；以及大脑活动(EEG)感测装置3，其附接到头部安装式框架支撑件。

在某些实施方案中，头戴式设备还可包括固定到头部安装式框架支撑件的头部安装式显示器19，所述头部安装式显示器(HMD)19固定到头部安装式框架支撑件并且被配置来定位在头戴式设备的佩戴者的眼睛之上。在实施方案中，HMD 19可移动地附接到头部安装式框架支撑件。

HMD 19包括安装在显示单元支撑件36中的显示单元32，所述显示单元具有呈电子屏幕形式的显示装置，所述显示装置被配置用于定位在佩戴者眼睛前方以向佩戴者呈现视觉信息。HMD还可包括向佩戴者提供反馈、刺激或信息的其他部件，诸如为佩戴者生成声音的音频单元33。HMD还可方便地容纳电子元件并且支撑另外的信息捕捉装置，诸如一个或多个摄像机30、深度传感器28、麦克风以及各种传感器(诸如头部移动感测单元40、50，眼睛注视感测单元100)。HMD还可方便地容纳用于无线通信的无线通信装置，其使用各种已知的无线通信协议中的任一种或多种来以无线方式将头戴式设备互连到外部电子装置和计算机系统。HMD还可有利地容纳用于头戴式设备的自主操作的呈电池形式的机载电源。头戴式设备还可有利地具备一个或多个连接器，其被配置用于将头戴式设备连接到外部电源和计算系统或传感器。本说明书中将更进一步提供HMD的各种传感器和部件的另外描述。

EEG感测装置3固定到头部安装式框架支撑件，并且被配置来定位在头戴式设备的佩戴者的头部上，以便将电极定位在佩戴者头皮之上的用于所涉及应用(例如，用于医疗应用、用于游戏应用、用于训练应用、用于研究应用、用于大脑监测应用)的选定感兴趣位置处。在优选实施方案中，电极位置对应于根据国际10-20系统已知的位置，然而可使用其他系统并且电极位置可根据大脑电活动的研究结果加以改进。

EEG感测装置3包括EEG传感器支撑件4和组装到EEG传感器支撑件4的柔性电路6。

柔性电路6被配置来捕捉并处理大脑活动电信号，并且包括其上或其中安装有EEG传感器22和EEG信号处理电路8的柔性电路衬底601，所述EEG信号处理电路8包括电子部件8a和电路迹线8b，所述电路迹线8b将部件和传感器互连并且通过位于柔性电路端部处的连接部分41将柔性电路互连到外部电源和电路。在有利实施方案中，柔性电路包括可插式电连接器，其用于插到HMD上的互补可插式电连接器。可插式连接器41是特别有利的，因为它使用户能够取下HMD而不必移除电极头戴式设备。这允许电极的电触点或电化学触点在佩戴者的头皮上维持在适当位置并且不受干扰。

柔性电路衬底可有利地以本身在柔性印刷电路技术中已经熟知的薄型柔性半刚性聚合物衬底的形式提供。多个EEG传感器22包括在空间上定位在柔性电路上的所需大脑电活动测量位置处的电极，并且靠近每个电极定位有离散EEG信号放大器8b。放大器紧邻电极允许由电极拾取的大脑电活动在传输到信号分析电路之前被局部放大，以便提高所测量大脑活动信号的信噪比。

EEG感测装置的柔性电路6和支撑件4被配置成使得当它们被弯折以适形于基本上对应于人类头部的上半部分的大体形态的大体上球形或椭圆形三维形式时，EEG传感器准确地定位在根据选定传感器放置的所需位置中。正确且快速定位电极的准确性和容易性尤其是由感测装置3的有利形状，并且具体是由支撑件4和安装在支撑件4上的柔性电路6的形状提供。

在有利实施方案中，支撑件包括：中央主干4a，其被配置来在从佩戴者头部的鼻子到后部的中心的方向上沿着头部的顶部的中心平面延伸；以及从中央主干4a侧向延伸的前侧向分支4b，其被配置来横跨佩戴者头部的前部部分延伸；中央侧向分支4c，其被配置来基本上在佩戴者的耳朵之间横跨佩戴者头部的顶部部分延伸；以及后侧向分支4d，其被配置来横跨佩戴者头部的后部部分延伸。所述侧向分支中的每一个还包括延伸部，其分别包括后延伸部4b1和侧延伸部4b2、前延伸部4c1和后延伸部4c2、以及前延伸部4d1和侧延伸部4d2。柔性衬底6具有适形于支撑件的形状并且因此包括安装在支撑件的对应部分中的中央主干6a、前侧向分支6b、中央侧向分支6c以及后侧向分支6d。所述侧向分支中的每一个还包括延伸部，其分别包括安装在支撑件4的对应延伸部中的后延伸部6b1和侧延伸部6b2、前延伸部6c1和后延伸部6c2、以及前延伸部6d1和侧延伸部6d2。EEG传感器沿着主干、分支和延伸部定位在离散间隔开的位置中。如图4d中最好地示出，主干、分支和延伸部在这个实例中被配置来将EEG传感器定位在根据国际10-20系统的某些感兴趣位置处。

支撑件4可有利地由柔性弹性或半刚性材料(而不是常规帽中使用的纺织织物)制成，所述材料具有足够的柔性来从支撑件4的主平面弯折以适形于佩戴者头部的圆形形状，但是在与弯折平面正交的方向上具有与安装在其中的柔性电路衬底相结合的足够的自支撑刚性，以在分支之间大体上保持其形状。实际上，薄型柔性电路衬底在垂直于衬底的主表面的方向B上是具有很大柔性，但是在平行于主表面的方向P上针对弯折是相对刚性的。在有利实施方案中，支撑件可由弹性聚合物材料(诸如硅橡胶聚合物或类似材料)模制为单件，例如注射模制、压模模制或吹塑模制。支撑件包括底壁401和侧壁402，所述侧壁402沿着底壁的边缘延伸以形成柔性电路6插入其中的基本上平坦的“U”形通道403。柔性密封材料5(例如聚合物弹性铸封树脂或基于硅橡胶的铸封材料)可填充在通道中的柔性电路之上，从而形成支撑件的顶壁，以便密封柔性电路上的电路轨道和部件。这有利地允许头戴式设备2的EEG感测装置3能够防液体并且容易地可清洗和可消毒(如果需要的话)而不会损坏包含在其中的电子电路。具有与底壁类似或不同的材料的柔性顶壁也可组装在柔性电路上，并且使用机械装置粘结、焊接或紧固到底壁。

如在图4g、图4h以及图15a-15e中最好地看到，支撑件的底壁401有利地包括EEG传感器孔404以允许触及柔性电路衬底上的EEG传感器触点或电极221。在一个实施方案中，EEG传感器孔可包括在电极221下方的第一部分404a和与柔性电路中的孔602对准或重叠的第二部分404b，使得形成从支撑件4的底部表面406延伸到顶部表面506的贯穿通路。贯穿通路提供从感测装置的顶部到佩戴者头皮的途径，以便当感测装置安装在佩戴者头皮上时从装置的顶部注入导电凝胶37。导电凝胶37提供佩戴者皮肤与电极221之间的良好的电接触。可选地，可在不移除感测装置的情况下通过在贯穿通路中注入水来使基于凝胶或水的电极再润湿。如在图15e中最好地示出，凝胶37能够注入在孔的第二部分404a中并且侧向扩散以填充孔404的第二部分404b，以便接触布置在柔性电路底侧上的电极221。

可选地或另外，贯穿通路还可充当进入通路以用于插入互补电极或其他传感器，以便例如测试或校准头戴式设备的电极，或添加另外的传感器或刺激装置，诸如温度传感器和NIRS、tDCS、tRNS、tACS装置。在具体实施方案中，贯穿通路可有利地用于供放置在这些贯穿通路上或其中或放置在其他额外的孔中的近红外光发射器和接收器(NIRS)进入。近红外光谱法可以对测量脑组织的血氧水平非常有用。这样可同时记录电平和血氧水平。

支撑件4还包括例如呈固定孔形式的张紧器锚固件405，其允许弹性系带7或其他形式的弹性张紧器锚固在EEG感测装置的主干、分支和延伸部中的位置之间，并且还锚固在EEG感测装置与头部安装式框架支撑件9之间。柔性电路衬底601可具备对应的张紧器孔605，其与支撑件中的孔405对准。弹性张紧器7在结构中施加一定的张力，以确保感测装置3的分支和延伸部紧密配合地适形于佩戴者头部的形状，并且进一步确保各种EEG传感器22在佩戴者头皮上的正确定位。具体地说，感测装置的主干和分支布置确保前部电极、后部电极和中央电极的正确定位，由此，弹性张紧器允许中央与前部以及中央与后部之间的距离的一定调整，以适形于不同的头部大小。感测装置可以各种大小提供，由此，在三种不同大小的情况下，可利用准确的电极放置来覆盖成人头部大小的超过95％的范围。对于儿童，可提供另外的大小。不同大小可基本上涉及中央主干和中央侧向分支的长度。为了覆盖大部分解剖学范围，锚固件405定位在每个分支和延伸部的末端处，并且还定位在分支内的相反位置中，以便锚固连接到末端的弹性张紧器7的相反端部，如例如在图4b、图4c和图4d中最好地示出。每个弹性系带的长度可在感测装置的组装过程中预先调整好并且在此之后保持固定的长度，但是在一些实施方案中，弹性张紧器中的一些或全部可具有可调整的长度。弹性张紧器可以不同形式提供，例如以基于弹性纺织品的带的形式。

在替代实施方案中，张紧器7中的一些或全部可与支撑件4一体地形成为单个零件。例如，张紧器中的一些或全部可由例如与支撑件相同的柔性聚合物材料与支撑件4一起模制。在这种实施方案中，弹性张紧器可具备较薄的壁或较小的宽度，或具备蛇形部分以便与支撑件部分相比增加弹性张紧器的弹性。此外，在一体式的支撑件4和张紧器7零件的形成过程中，可在不同的部分中并入不同的材料，例如通过包覆模制或通过在已注射或模制的主要支撑件材料中焊接另一种材料的嵌件，或例如通过双组分注射模制。

头部安装式框架支撑件9可具有各种构型，其功能是在一定弹性张力下支撑感测装置(如上所述)，并且根据实施方案，进一步支撑头部安装式显示器。在一个实施方案中，如示意性地示出，头部安装式框架支撑件9可包括具有可调整的直径以允许正确配合在佩戴者头部周围的头带，所述头带至少在弹性张紧器7的牵拉方向上针对弯折是刚性的。在本发明的范围内可使用其他头部安装式结构，包括支撑HMD和感测装置的头盔状结构。

在有利实施方案中，EEG电极可呈导电电路垫的形式，其位于柔性电路衬底的旨在面向佩戴者头皮的表面上。液态或自支撑导电凝胶或固态凝胶可定位在电极上以用于与佩戴者的头皮接触。在另一个实施方案中，柔性电路衬底上的电触点与佩戴者头皮之间的导电桥可由导电珠、导电柱或其他突出元件提供，以用于干电极或湿电极与佩戴者的头皮接触。EEG电极还可呈突出的导电可压缩元件的形式，例如冲压并形成的金属片触点，其安装在柔性衬底上并且通过压接、焊接、软钎焊(soldering)或其他本身已知的技术电连接到衬底的电路迹线，以用于连接柔性电路板上的电子部件。

根据本发明的变体的EEG传感器可包括不需要与头皮(或皮肤)的任何直接电接触的传感器，并且根据以下讨论的本身已知的测量原理可具体地包括基于(i)近红外光和(ii)电容充电的传感器：

(i)近红外光谱法(NIRS)使用以下事实：NIR光在人体组织中的透射和吸收包含关于血红蛋白浓度变化的信息。当大脑的特定区域被激活时，所述区域中的局部血量快速变化。光学成像可通过确定光学吸收系数连续监测血液血红蛋白水平来测量大脑特定区域的位置和活动。NIRS可用于通过检测与神经活动相关联的血液血红蛋白浓度的变化进行在人类受试者中通过完整颅骨的大脑功能的非侵入性评估。

(ii)电容电极是基于对由于大脑活动而引起的身体表面上的电荷位移的测量。这种电荷变化可继而影响靠近身体的金属板上的电荷。因为这个电板不需要与身体直接电接触，所以它可与身体隔离。因此，电容EEG(cEEG)的测量也可能通过空气进行。高灵敏度的信号放大器优选地连接到这个板，其对大脑信号进行放大和处理。

一个或多个传感器20可另外包括传感器24，其被配置来例如通过测量当肌细胞被电激活或神经激活时由所述细胞生成的电位来测量用户的肌肉的移动。合适的传感器是肌电图EMG传感器。传感器24可安装在用户身体的各种部分上以捕捉特定的肌肉动作。例如，对应伸手任务，它们可布置在手、手臂和胸中的一个或多个上。图6示出示例性传感器布置，其中传感器24在身体上布置成：二头肌上的第一组24a；三头肌上的第二组24b；以及胸肌上的第三组24c。

一个或多个传感器20可另外包括传感器25，其被配置来测量由于眼睛移动而引起的电位。合适的传感器是眼电图(EOG)传感器。在一个实施方案中，如图4a所示，存在可布置成在操作上邻近用户眼睛的四个传感器。然而，应理解，可使用其他数量的传感器。在有利实施方案中，传感器25方便地连接到头戴式设备的显示单元支撑件36，例如，传感器25与显示单元支撑件36附连或嵌入其中。

可选地或另外，传感器20可包括以下传感器中的一个或多个：脑皮层电图(ECOG)传感器；心电图(ECG)传感器；皮肤电反应(GSR)传感器；呼吸传感器；脉搏血氧仪传感器；温度传感器；用于使用微电极系统测量神经元反应的单个单元和多个单元记录芯片。应理解，传感器20可以是侵入性的(例如，ECOG、单个单元和多个单元记录芯片)或非侵入性的(例如，EEG)。脉搏血氧仪传感器用于监测患者的氧饱和度，通常放置在指尖上，并且可用于监测患者的状态。这个信号特别可用于从心血管问题恢复后、接受强化护理或特殊护理的患者。应理解，对于具有ECG和/或呼吸传感器的实施方案，可处理由传感器提供的信息以允许追踪用户的进展。还可结合EEG信息来处理所述信息以预测对应于用户状态的事件，诸如在移动发生之前预测用户身体部分的移动。应理解，对于具有GSR传感器的实施方案，可处理由传感器提供的信息以给出用户情绪状态的指示。例如，可在所附实施例的过程中使用所述信息来测量在任务过程中用户的积极性水平。

在有利实施方案中，生理参数感测系统14的头戴式设备2包括无线收发器，其可操作来将数据无线地传送到外部装置，例如传送到生理参数处理模块54的无线收发器或骨骼追踪模块52的无线收发器。

位置/运动检测系统16包括一个或多个传感器26，其适合于追踪用户骨骼结构或骨骼结构的一部分(诸如手臂)的运动。在有利实施方案中，传感器包括一个或多个摄像机，其可布置成与用户分开或附接到头戴式设备2。至少一个或每个摄像机被布置来捕捉用户的移动并且将图像流传递到骨骼追踪模块，所述骨骼追踪模块将在以下更详细地进行描述。

在一个实施方案中，传感器26可包括三个摄像机：两个彩色摄像机28a、28b，和一个深度传感器摄像机30。然而，在另一个实施方案中，可能存在一个彩色摄像机28和一个深度传感器30。合适的彩色摄像机可例如具有VGA 640x480像素的分辨率和至少60帧/秒的帧速率。摄像机的视野还可与头部安装式显示器的视野匹配，如将在以下更详细地讨论的。合适的深度摄像机可具有QQ VGA160x120像素的分辨率。

在有利实施方案中，两个彩色摄像机28a和28b以及深度传感器30布置在头戴式设备2的显示单元支撑件36(其在以下更详细地进行讨论)上，如图4所示。彩色摄像机28a、28b可布置在用户的眼睛之上，使得它们例如以用户的瞳孔轴之间的距离间隔开，这个距离是约65mm。这种布置使得立体显示能够被捕捉并且因此在VR中重新创建，如将在以下更详细地讨论的。深度传感器30可布置在两个摄像机28a、28b之间。

参考图4a-4c，头戴式设备2包括显示单元32，其具有用于向用户传递视觉信息的显示装置34a、34b。在有利实施方案中，显示装置34包括抬头显示器，其安装在用户眼睛前方的显示单元的内侧，使得用户不需要调整其注视来看到显示在所述显示器上的信息。抬头显示器可包括不透明屏幕，诸如LCD或LED屏幕，以用于提供完全VR环境。可选地，抬头显示器可包括透明屏幕，使得当数据显示在所述显示器上时用户可透视所述显示器。这种显示器有利于提供增强现实AR方面。可能存在两个显示器34a、34b，每只眼睛一个显示器，或者可能存在可由两只眼睛观看的单个显示器。显示单元可包括2D或3D显示器，其可以是立体显示器。虽然所述系统在本文中描述为向用户提供VR图像，但是应理解，在其他实施方案中，所述图像可以是增强现实图像、混合现实图像或视频图像。

在图4a-4c的实例中，显示单元32安装到显示单元支撑件36。显示单元支撑件36将显示单元32支撑在用户上，并且为用户上的头戴式设备2提供可移动支撑。在所述实例中，显示单元支撑件36在用户的眼睛周围延伸，如在图4a至图4c中最好地看到。

在替代实施方案中，显示单元32可与头戴式设备分开。例如，显示装置34包括监视器或TV显示器屏幕或投影仪和投影仪屏幕。

在有利实施方案中，系统10包括头部移动感测单元40。头部移动感测单元包括移动感测单元42，其用于当用户在系统10的操作过程中移动其头部时追踪用户的头部移动。头部移动感测单元42被配置来提供与用户头部的X、Y、Z坐标位置以及摇摆、倾斜和偏转有关的数据。这个数据被提供给头部追踪模块，其将在以下更详细地进行讨论并且处理所述数据，使得显示单元32可根据头部移动更新所显示的VR图像。例如，当用户移动其头部来向左看时，所显示的VR图像向左移动。虽然这种操作不是必要的，但是它有利于提供更具沉浸感的VR环境方面。为了维持现实性，已发现由头部移动感测单元42感测到的移动和更新后的VR图像来定义的最大环路延迟是20ms。

在有利实施方案中，头部移动感测单元42包括加速度感测装置44，诸如被配置来测量头部的加速度的加速度计。在有利实施方案中，传感器44包括三个平面内加速度计，其中每个平面内加速度计被布置成对于沿着单独的垂直板的加速度是敏感的。这样，所述传感器可操作来测量三维加速度。然而，应理解，其他加速度计布置是可能的，例如，可能仅存在两个平面内加速度计，其被布置成对于沿着单独的垂直板的加速度是敏感的，使得测量二维加速度。合适的加速度计包括压电、压阻和电容变体。

在有利实施方案中，头部移动感测单元42还包括头部取向感测装置47，其可操作来提供与头部的取向有关的数据。合适的头部取向感测装置的实例包括陀螺仪和磁力仪48，其被配置来测量用户头部的取向。

在有利实施方案中，头部移动感测单元42可布置在头戴式设备2上。例如，移动感测单元42可容纳在与显示单元支撑件36一体地形成或附接到显示单元支撑件36的移动感测单元支撑件50中。

在有利实施方案中，系统10可包括眼睛注视感测单元100。眼睛注视感测单元100包括用于感测用户的注视方向的一个或多个眼睛注视传感器102。在有利实施方案中，眼睛注视传感器102包括一个或多个摄像机，其布置成在操作上邻近用户的一只或两只眼睛。所述或每个摄像机102可被配置来通过使用瞳孔中央和红外/近红外非准直光创建角膜反射(CR)来追踪眼睛注视。然而，应理解，可使用其他感测装置，例如：眼电图(EOG)；或附接眼睛的追踪。来自移动感测单元42的数据被提供到眼睛追踪模块，其将在以下更详细地进行讨论并且处理所述数据，使得显示单元32可根据眼睛移动更新所显示的VR图像。例如，当用户移动其眼睛来向左看时，所显示的VR图像向左摇动。虽然这种操作不是必要的，但是它有利于提供更具沉浸感的VR环境。为了维持现实性，已发现由眼睛注视感测单元100感测到的移动和更新后的VR图像来定义的最大环路延迟是约50ms，然而在有利实施方案中，所述延迟是20ms或更低。

在有利实施方案中，眼睛注视感测单元100可布置在头戴式设备2上。例如，眼睛注视感测单元42可附接到显示单元支撑件36，如图4a所示。

控制系统12处理来自生理参数感测系统14和位置/运动检测系统16、以及任选地来自头部移动感测单元40和眼睛注视感测模块100中的一个或两个的数据以及供应到输入单元的操作者输入数据，以生成由显示单元32显示的VR(或AR)数据。为了进行这种功能，在图1和图2所示的有利实施方案中，控制系统12可组织成多个模块，诸如：骨骼追踪模块52；生理参数处理模块54；VR生成模块58；头部追踪模块58；以及眼睛注视追踪模块104，这些模块在以下进行讨论。

骨骼追踪模块52处理来自位置/运动检测系统16的感官数据以获得用于VR生成模块58的关节位置/移动数据。在有利实施方案中，如图3b所示的骨骼追踪模块52包括校准单元60、数据融合单元62以及骨骼追踪单元64，这些单元的操作现在将进行讨论。

位置/运动检测系统16的传感器26向数据融合单元62提供与用户的全部或一部分骨骼结构的位置/移动有关的数据。所述数据还可包括与环境有关的信息，例如用户所在房间的大小和布置。在传感器26包括深度传感器30和彩色摄像机28a、28b的示例性实施方案中，所述数据包括颜色和深度像素信息。

数据融合单元62使用这个数据和校准单元62来生成3D点云，其包括用户和环境的外部表面的3D点模型。校准单元62包括与传感器26的校准参数有关的数据和数据匹配算法。例如，校准参数可包括与摄像机中的光学元件的变形、颜色校准以及热像素和暗像素舍弃和内插有关的数据。数据匹配算法可操作来匹配来自摄像机28a和28b的彩色图像以估计深度图，相对于由深度传感器30生成的深度图来参考所述深度图。所生成的3D点云包括具有估计深度的像素阵列，使得可在三维坐标系中表示所述像素。还估计并保留像素的颜色。

数据融合单元62将包括3D点云信息和像素颜色信息的数据与彩色图像一起供应到骨骼追踪单元64。骨骼追踪单元64处理这个数据以计算用户骨骼的位置并且由此估计3D关节位置。在有利实施方案中，为了实现这个操作，骨骼追踪单元被组织成若干操作框：1)使用3D点云数据和彩色图像根据环境分割用户；2)根据彩色图像检测用户的头部和身体部分；3)根据3D点云数据检索用户的骨骼模型；4)使用反向运动学算法以及骨骼模型来改进关节位置估计。骨骼追踪单元64向VR生成模块58(其在以下更详细地进行讨论)输出关节位置数据。由时钟模块给关节位置数据加时间戳，使得可通过处理给定时间段内的关节位置数据来计算身体部分的运动。

参考图2和图3，生理参数处理模块54处理来自生理参数感测系统14的感官数据，以提供由VR生成模块58使用的数据。处理后的数据可例如包括与用户移动特定身体部分的意图或用户的认知状态(例如，响应于移动特定身体部分或所感知的身体部分运动的认知状态)有关的信息。处理后的数据可用于例如作为神经康复计划的一部分来追踪用户的进展，且/或向用户提供实时反馈以用于增强的自适应治疗和恢复，如在以下更详细地讨论的。

当用户进行在VR环境中指示的特定身体部分移动/预期移动时，测量并记录皮层活动。在所附实施例中提供此类所指示移动的实例。为了测量皮层活动，EEG传感器22被用于响应于执行和/或观察到可在VR中看作用户化身的移动/预期移动来提取事件相关电位和事件相关光谱扰动。

例如，以下频带提供与各种操作有关的数据：慢皮层电位(SCP)，其在0.1-1.5Hz的范围内并且发生在大脑的运动区域中，提供与移动的准备有关的数据；大脑感官运动区域中的μ节奏(mu-rhythm)(8-12Hz)，其提供与身体部分移动的执行、观察和想象有关的数据；β振荡(beta oscillation)(13-30Hz)，其提供与感官运动整合和移动准备有关的数据。应理解，可监测以上电位或其他合适的电位中的一个或多个。在一段时间内监测此类电位可用于提供与用户的恢复有关的信息。

参考图5，提供传感器20的示例性布置，其适合于在用户进行各种感官运动和/或认知任务时测量神经事件。EEG传感器22可有利地布置成组，以测量大脑的一个或多个区域中的运动区域，例如：中央(C1-C6、Cz)；额中央(FC1-FC4、FCZ)；中央顶骨(CP3、CP4、CPZ)。在有利实施方案中，中央侧向EEG传感器C1、C2、C3以及C4被布置来测量手臂/手的移动。中央、额中央以及中央顶骨传感器可用于测量SCP。还可提供EOG传感器25来测量眼睛移动信号。这样，在处理其他组的信号时可隔离并考虑眼睛移动信号以避免污染。

在有利实施方案中，生理参数处理模块54包括再参考单元66，其被布置来从生理参数感测系统14接收数据并且被配置来处理所述数据以减少外部噪声对数据的影响。例如，再参考单元66可处理来自EEG、EOG或EMG传感器中的一个或多个的数据。再参考单元66可包括一个或多个再参考框：合适的再参考框的实例包括乳突电极平均参考和通用平均参考。在示例性实施方案中，乳突电极平均参考应用于一些传感器，并且通用平均参考应用于所有传感器。然而，应理解，其他合适的噪声滤波技术可应用于各种传感器和传感器组。

在有利实施方案中，再参考单元66的处理后的数据可输出到滤波单元68，然而，在没有再参考单元的实施方案中，来自生理参数感测系统14的数据直接馈送到滤波单元68。滤波单元68可包括光谱滤波模块70，其被配置来针对EEG、EOG和EMG传感器中的一个或多个对数据进行带通滤波。关于EEG传感器，可针对传感器中的一个或多个对数据进行带通滤波以获得以下频带中的一个或多个上的活动：SCP、θ、α、β、γ、μ、γ以及δ。在有利实施方案中，针对所有EEG传感器对频带SCP(0.1-1.5Hz)、α和μ(8-12Hz)、β(18-30Hz)、δ(1.5-3.5Hz)、θ(3-8Hz)、低γ(30-100Hz)以及高γ(高于100Hz)进行滤波。关于EMG和EOG传感器，可应用类似的光谱滤波，但是使用不同的光谱滤波参数。例如，对于EMG传感器，可应用30Hz高通截止光谱滤波。

可选地或另外，滤波单元66可包括空间滤波模块72。在有利实施方案中，空间滤波模块72应用于来自EEG传感器的SCP频带数据(其由光谱滤波模块70提取)，然而它也可应用于其他所提取频带。空间滤波的合适形式是空间平滑，其包括对相邻电极进行加权平均以减少数据的空间变异性。空间滤波也可应用于来自EOG和EMG传感器的数据。

可选地或另外，滤波单元66可包括拉普拉斯(Laplacian)滤波模块74，其通常用于来自EEG传感器的数据，但是也可应用于来自EOG和EMG传感器的数据。在有利实施方案中，拉普拉斯滤波模块72应用于EEG传感器的由光谱滤波模块70提取的α、μ和β频带数据中的每一个，然而它可应用于其他频带。拉普拉斯滤波模块72被配置来进一步减少噪声并且增加数据的空间分辨率。

生理参数感测系统14还可包括事件标记单元76。在有利实施方案中，当生理参数感测系统14包括再参考单元和/或滤波单元68时，事件标记单元76被布置来从串联布置情况下(如图3c的实施方案所示)的这些单元中的一个或两个接收处理后的数据。事件标记单元76可操作来使用由锻炼逻辑单元(其将在以下更详细地讨论)确定的基于事件的标记物来提取感官数据段。例如，当从锻炼逻辑单元向用户发送移动身体部分的特定指令时，在所述指令之后的合适时间范围内提取数据段。在EEG传感器的实例中，数据可包括来自特定皮层区域的数据以因此测量用户对指令的响应。例如，可向用户发送移动其手臂的指令，并且所提取数据段可包括在指令之后2秒的时间段内的皮层活动。其他示例性事件可包括：中央和中央顶骨电极中响应于偶尔刺激的电位；在即将移动之前出现的移动相关电位，其是中央SCP(慢皮层电位)；以及错误相关电位。

在有利实施方案中，事件标记单元被配置来进行以下操作中的一项或多项：从SCP频带数据提取事件相关电位数据段；从α和β或μ或γ频带数据提取事件相关光谱扰动标记物数据段；从β频带数据提取自发数据段。在前述各项中，自发数据段对应于没有事件标记物的EEG段，并且不同于事件相关电位，所述事件相关电位的提取取决于事件标记物的时间位置。

生理参数感测系统14还可包括假象检测单元78，其被布置来从事件标记单元76接收所提取数据段并且可操作来进一步处理数据段以识别所述段中的特定假象。例如，所识别的假象可包括：1)移动假象：用户移动对传感器/传感器组的影响；2)电干扰假象：来自干线电源的通常是50Hz的干扰；3)眼睛移动假象：此类假象可由生理参数感测系统14的EOG传感器25识别。在有利实施方案中，假象检测单元78包括假象检测器模块80，其被配置来检测数据段中的特定假象。例如，需要删除的错误段，或段的一部分，这部分是错误的并且需要从所述段去除。有利实施方案还包括假象去除模块82，其被布置来接收来自事件标记单元76的数据段和由假象检测器模块80检测到的假象，以进行从数据段去除检测到的假象的操作。这种操作可包括统计法，诸如回归模型，其可操作来从数据段去除假象而不会丢失所述段。然后将所得数据段输出到VR生成模块58，在其中可处理所述数据段以提供实时VR反馈，这可以基于移动意图，如将在以下讨论的。也可存储数据以使用户的进展能够被追踪。

在包括其他传感器(诸如ECG、呼吸传感器和GSR传感器)的实施方案中，应理解，来自此类传感器的数据可在适用的情况下使用以上所提及技术中的一种或多种加以处理，所述技术例如：降噪；滤波；进行事件标记以提取事件相关数据段；从所提取数据段去除假象。

头部追踪模块56被配置来处理来自头部移动感测单元40的数据以确定头部移动的程度。将处理后的数据发送到VR生成模块58，在其中处理所述处理后的数据以提供实时VR反馈，以便在VR环境中重新创建相关联的头部移动。例如，当用户移动其头部来向左看时，所显示的VR图像向左移动。

眼睛注视追踪模块104被配置来处理来自眼睛注视感测单元100的数据以确定用户注视的变化。将处理后的数据发送到VR生成模块58，在其中处理所述处理后的数据以提供实时VR反馈，以便在VR环境中重新创建注视的变化。

现在参考图3b，VR生成模块58被布置来接收来自骨骼追踪模块52、生理参数处理模块54、以及任选地来自头部追踪模块56和眼睛注视追踪模块104中的一个或两个的数据，并且被配置来处理这个数据以使得其关于锻炼逻辑单元(其在以下更详细地讨论)的状态被情境化，并且基于处理后的数据生成VR环境。

VR生成模块可组织成若干单元：锻炼逻辑单元84；VR环境单元86；身体模型单元88；化身姿势生成单元90；VR内容整合单元92；音频生成单元94；以及反馈生成单元96。

锻炼逻辑单元84可操作来与用户输入端(诸如键盘或其他合适的输入装置)通过接口连接。用户输入端可用于从任务库选择特定任务且/或设定任务的特定参数。

身体模型单元88可被布置来从锻炼逻辑单元84接收与选定任务所需的特定身体部分有关的数据。例如，这可包括身体的完整骨骼结构或特定身体部分(诸如手臂)。身体模型单元88然后例如从身体部分库检索所需身体部分的模型。所述模型可包括3D点云模型或其他合适的模型。

化身姿势生成单元90被配置来基于来自身体部分模型88的身体部分模型生成化身。

在有利实施方案中，VR环境单元86被布置来从锻炼逻辑单元84接收与选定任务所需的特定物体相关的数据。例如，所述物体可包括向用户显示的圆盘或球。

VR内容整合单元可被布置来接收来自化身姿势生成单元90的化身数据和来自VR环境单元86的环境数据，并且将数据整合在VR环境中。然后将整合数据传送到锻炼逻辑单元58并且也输出到反馈生成单元86。反馈生成单元86被布置来将VR环境数据输出到头戴式设备2的显示装置34。

在任务操作过程中，锻炼逻辑单元84接收来自骨骼追踪模块64的包括关节位置信息的数据、来自生理参数处理模块54的包括生理数据段的数据、来自身体模型单元88的数据以及来自VR环境单元86的数据。锻炼逻辑单元84可操作来处理关节位置信息数据，所述数据继而被发送到化身姿势生成单元90以用于进一步处理和随后的显示。锻炼逻辑单元84可任选地操纵数据，以便所述数据可用于向用户提供VR反馈。这种处理和操纵的实例包括：放大错误移动；自动校正移动以引发正强化；将一个肢体的移动映射到另一个肢体。

当用户移动时，由锻炼逻辑单元84检测与VR环境中的由VR环境单元86定义的物体的相互作用和/或碰撞以进一步更新提供给用户的反馈。

锻炼逻辑单元84还可提供音频反馈。例如，音频生成单元(未示出)可从锻炼逻辑单元接收音频数据，所述音频数据随后由反馈单元94处理并且例如由安装到头戴式设备2的耳机(未示出)输出给用户。音频数据可与视觉反馈同步，例如以便更好地指示与VR环境中的物体的碰撞并且提供更具沉浸感的VR环境。

在有利实施方案中，锻炼逻辑单元84可向生理参数感测系统14发送指令，以通过生理参数感测系统14的传感器20中的一个或多个向用户提供反馈。例如，可向EEG 22和/或EMG 24传感器供应传送给用户的电位。参考所附实施例，可在任务过程中提供这种反馈。例如，在没有手臂移动的阶段5中，可向布置在手臂上的EMG 24传感器和/或EEG传感器发送电位以试图刺激用户移动其手臂。在另一个实施例中，可在任务启动之前，例如在任务之前的设定时间段提供这种反馈，以试图增强记忆和学习状态。

在有利实施方案中，控制系统包括时钟模块106。时钟模块用于将时间信息分配给数据以及输入和输出以及处理的各种阶段。时间信息可用于确保数据被正确地处理，例如，来自各种传感器的数据以正确的时间间隔被组合。这对于确保来自各种传感器的多模式输入的准确实时处理以及向用户生成实时反馈是特别有利的。时钟模块可被配置来与控制系统的一个或多个模块通过接口连接以给数据加时间戳。例如：时钟模块106与骨骼追踪模块52通过接口连接以给从位置/运动检测系统16接收的数据加时间戳；时钟模块106与生理参数处理模块54通过接口连接以给从生理参数感测系统14接收的数据加时间戳；时钟模块106与头部追踪模块58通过接口连接以给从头部移动感测单元40接收的数据加时间戳；时钟模块106与眼睛注视追踪模块104通过接口连接以给从眼睛注视感测单元100接收的数据加时间戳。VR生成模块58上的各种操作也可与时钟模块通过接口连接以给数据(例如输出到显示装置34的数据)加时间戳。

与将若干独立的装置连接在一起的复杂常规系统不同，在本发明的实施方案中，同步发生在数据生成(对于感测和刺激两者)的来源处，从而确保具有最小的延迟并且重要的是低抖动的准确同步。例如，对于具有60Hz刷新率的立体头部安装式显示器，延后将小至16.7ms。在常规的独立式或独立系统的组合的情况下，这在目前是不可能的。本发明的重要特征是它能够组合异构数据集合，从而在来源处将其同步到专用系统体系结构中，以用于确保具有最小延迟的多模式反馈。可佩戴的紧密头部安装式装置允许便于记录来自大脑和其他身体部分的生理数据。

同步概念：

延迟或延后(T)：它是用户的实际动作或大脑状态的时间与其对应的反馈/刺激的时间之间的时间差。它在典型的应用中是正的常数。抖动(数。抖是延迟或延后的试验间偏差。对于需要例如具有沉浸感的VR或AR的应用，延迟T和抖动Δ抖两者应尽可能最小化。而在大脑计算机接口和离线应用中，延迟T可折中但是抖动Δ折应尽可能小。

参考图1a和图1b，示意性地示出两个常规的现有技术系统体系结构。在这些体系结构中，可在某种程度上确保同步，但是抖动(度上确没有完全最小化。

设计-I(图1a)：

在这种设计中，向用户供应视觉提示的时间被直接记录在计算机中，同时采集EEG信号，所述EEG信号是通过USB连接或串行连接采集的。这意味着，计算机假设其记录有从用户大脑采集的信号的时间是向用户显示提示的时间。应注意，在这种设计中存在固有的延迟和抖动。第一，由于计算机的USB/串行端口连接性，样本到计算机中的记录具有非零可变延迟。第二，在从计算机释放显示器命令的时间，其经历由于基础显示器驱动器、图形处理单元和信号传播而引起的各种延后，所述延后也不是常数。因此，这两种延后累加并且损害视觉诱发电位的对准。

设计-II(图1b):

为了避免以上问题，已知使用光电二极管来测量提示并且使其信号直接与EEG放大器同步。在这种设计中，将通常光电二极管放置在显示器上以感测光。通常，在屏幕的附接有光电二极管的部分被点亮的同时，向用户呈现提示。这样，呈现提示的时间由光电二极管记录并且被供应到EEG放大器。这样，EEG和视觉提示信息在来源处直接同步。这个程序对于发光的视觉诱发试验是准确的，但是具有许多缺点：

□其可编码的视觉提示的数量受限于光电二极管的数量。典型的基于虚拟现实的视觉刺激将具有大量事件要与生理信号一起准确地记录。

□光电二极管在头部安装式显示器的典型微显示器(例如，1平方英寸大小，具有800x600的像素密度)中的使用将是困难的，并且甚至更严重的是，将会减小可用性。还应注意，为了光电二极管能运行，应向二极管供应充足的光，这引起限制。

□当多个刺激(诸如音频的、磁的、电的以及机械的)需要与多个传感器数据(诸如EEG、EMG、ECG、视频摄像机、惯性传感器、呼吸传感器、脉搏血氧仪、电皮肤电位等)同步时，以上缺点进一步复杂化。

在本发明的实施方案中，提供对于许多不同传感器和许多不同刺激是准确的且可测量的系统来解决以上缺点。这通过采用供应时间戳信息的集中式时钟系统来实现，并且每个传感器的样本与此相关地记录到时间戳。

在一个实施方案中，每个刺激装置可有利地配备有嵌入式传感器，所述传感器的信号由同步装置记录。这样，控制器可解释多个传感器数据，并且刺激数据可被准确地解释以用于系统的另外操作。

在一个实施方案中，为了减少来自每个传感器的要同步的数据的量，可读取来自显示寄存器的视频内容代码，而不是使用真实的传感器。

参考图2a，示意性地示出其中馈送到头戴式设备上的微显示器的内容与大脑活动信号(EEG信号)同步的本发明实施方案。

通常，在控制系统中生成的视觉/视频内容首先被推送到显示寄存器(在显示器上激活视频内容之前的最后阶段)。在我们的设计中，控制器将代码与视频内容一起发送到寄存器的一部分(比如，N比特)，这部分对应于一个或多个像素(像素不能过多，以便用户不受干扰；建议微显示器中的角点像素，因为它们对于用户可能是不可见的)。将通过控制器描述显示内容究竟是什么来定义所述代码。现在使用时钟信号，采集模块从显示寄存器读取代码并且附上时间戳并且发送到下一个模块。同时，EEG样本也被采样并且附有相同的时间戳。这样，当EEG样本和视频代码样本到达控制器时，可相应地解释这些样本。

应注意，在具有单个时钟的一个嵌入式系统中采用所有这些模块。这导致最少的延迟以及最少的抖动。

相同的原理可用于如图2b所示的音频刺激。音频刺激可通过发送到数模(DAC)转换器的数据来采样。

更一般地，可使用传感器和模数(ADC)转换器将如图2c所示的任何种类的刺激(诸如经颅刺激(tACS)、tDCS、TMS等)送到采集模块。这还可通过发送供应到DAC的数字信号来实现，如在音频刺激的情况下所示的。来自EEG、视频摄像机数据或任何其他传感器(例如，INS：惯性传感器)的多个数据在相同的框架中同步。应注意，每个传感器或刺激可使用不同的采样频率来采样。重要的一点是，传感器或刺激数据样本附有使用时钟模块来定义的时间戳。

实施例1：系统(10)在示例性“触及物体”任务中的操作

在这个具体实施例中，在VR环境112中向用户显示物体110(诸如3D圆盘)。用户被指示使用用户的虚拟手臂114触及所述物体。在第一实例中，手臂114基于来自骨骼追踪模块16的来源于位置/运动检测系统16的传感器的数据被赋予生命。在其中由骨骼追踪模块16检测到的移动可忽略不计或不存在的第二实例中，则移动是基于与来自生理参数处理模块52的由生理参数感测系统14检测到的预期动作有关的数据，并且具体地说，所述数据可来自EEG传感器22和/或EMG传感器24。

图7和图8a-8g更详细地描述所述过程。在图7中的阶段1，用户(诸如患者或操作者)与VR生成模块58的锻炼逻辑单元84的用户输入端通过接口连接，以从可能已存储的任务库选择任务。在这个实施例中，选择‘触及物体任务’。在这个阶段，可向用户提供先前类似任务的结果108，如图8a所示。可提供这些结果来帮助选择特定任务或任务难度。用户也可例如基于先前任务的成功水平来输入参数以调整任务难度。

在阶段2，锻炼逻辑单元84启动任务。这包括以下步骤：锻炼逻辑单元84与VR环境单元86通过接口连接，以从零件库检索与选定任务相关联的零件(诸如圆盘110)。锻炼逻辑单元84还与身体模型单元88通过接口连接，以从身体部分库检索与锻炼相关联的身体部分(在这个实施例中是单个手臂114)的3D点云模型。然后将身体部分数据供应到化身姿势生成单元90，以便可创建身体部分114的化身。VR内容整合单元92接收与VR环境中的身体部分的化身和零件有关的数据并且将其整合在VR环境中。这个数据然后由锻炼逻辑单元84接收并且输出到头戴式设备2的显示装置34，如图8b所示。例如通过将目标路径染成蓝色来指示目标路径，用户沿着所述目标路径移动手臂114的手115。

在阶段3，锻炼逻辑单元84询问骨骼追踪模块16以确定是否已发生任何手臂移动。手臂移动来源于由用户佩戴的位置/运动检测系统16的传感器。如果发生的移动的量可忽略不计(例如，小于预定量的量，所述量可由用户的状态和移动的位置确定)或没有发生移动，则执行阶段5，否则执行阶段4。

在阶段4，锻炼逻辑单元84处理移动数据以确定移动是否正确。如果用户在正确的方向上，例如沿着目标路径118朝向物体110移动他们的手115，则执行阶段4a并且目标路径的颜色可改变，例如它被染成绿色，如图8c所示。否则，如果用户在不正确的方向上，例如远离物体110移动他们的手115，则执行阶段4b并且目标路径的颜色可改变，例如它被染成红色，如图8d所示。

在阶段4a和4b之后，执行阶段4c，其中锻炼逻辑单元84确定手115是否已触及物体110。如果手已触及物体，如图8e所示，则执行阶段6，否则再执行阶段3。

在阶段5，锻炼逻辑单元84询问生理参数处理模块52以确定是否已发生任何生理活动。生理活动来源于由用户佩戴的生理参数感测系统模块14的传感器，例如EEG和/或EMG传感器。可组合EEG和EMG传感器以提高检测率，并且在来自一种类型的传感器的信号不存在时，可使用来自另一种类型的传感器的信号。如果存在这种活动，则它可由锻炼逻辑单元84处理并且与手115的移动相关。例如，来自生理参数处理模块52的事件相关数据段的特性，诸如信号部分的强度或持续时间，可用于计算手移动115的量值。然后执行阶段6。

在阶段6a，如果用户已成功完成任务，则为了向用户提供反馈116，可计算奖励得分，所述奖励得分可基于计算出的手115移动的轨迹的准确度。图8e示出向用户显示的反馈116。还可更新来自先前任务的结果。

然后执行阶段6b，其中生理参数感测系统模块14的传感器(例如，EEG和EMG传感器)的标记物强度可用于提供反馈118。图8f示出向用户显示的反馈120的实例，其中标记物强度显示为最大值的百分比。还可更新来自先前任务的结果。然后执行阶段7，其中任务终止。

在阶段8，如果在设定的时间段内没有由生理参数感测系统模块14的传感器或位置/运动检测系统16的传感器提供的数据，则发生超时122，如图8g所示，并且执行阶段7。

实施例2：使用头部安装式显示器、机器人系统和功能性电刺激的具有虚拟现实反馈的混合式大脑-计算机接口

目的：为具有由神经问题(例如，ALS、中风、大脑损伤、闭锁综合征、帕金森病等)导致的上部移动移动缺陷的患者提供最佳训练。这些患者将需要训练来恢复丧失的/退化的移动功能。读取患者进行功能性移动的意图并且在完成移动时提供协助的系统可增强康复结果。

出于这种目的，系统在恢复丧失的移动功能时可利用赫布学习(Hebbianlearning)来使大脑的输入和输出区域相关联。赫布原理是“大脑中的同时重复激活的任何两个细胞系统倾向于变得‘相关联’，使得一个系统中的活动促进另一个系统中的活动”。

在目前的实施例中，两个细胞系统是大脑的参与感官处理和生成运动命令的区域。当由于神经损伤而丧失所述关联时，可通过赫布学习恢复或重建所述关联。为了这种训练的最佳结果，必须确保系统输入和输出的接近完美的同步，并且在较小延后和更重要地几乎可忽略不计的抖动的情况下向患者提供实时多感官反馈。

图9所示的物理实施方案包括可佩戴的系统，其具有：头部安装式显示器(HMD)19，其用于在微显示器上显示虚拟现实3D视频内容(例如，以第一人称视角)；立体视频摄像机30；以及深度摄像机28，其数据用于追踪在视野范围内的佩戴者自己的手臂、物体以及任何第二人(运动追踪单元)。另外，整合在如先前所述的头戴式设备2(为了简化，未在这个图中详细示出)中的放置在佩戴者1的头部上的EEG电极22、放置在手臂上的EMG电极24将分别测量大脑和肌肉的电活动，用于推断用户进行目标导向的移动的意图。另外，存在用于追踪头部移动的惯性测量单元(IMU)29。在虚拟现实显示器中再现执行的或预期的移动。在通过生物传感器数据(即，EEG、EMG和运动追踪)证明有移动的情况下，反馈机制使用机器人系统41帮助患者进行目标导向的移动。此外，功能性电刺激(FES)系统31激活手臂肌肉来完成计划移动。另外，反馈机制应提供与移动意图紧密耦合的适当刺激以确保赫布学习机制的实施。

以下段落描述进行典型的目标导向的任务的典型试验，其可由患者重复若干次以完成典型的训练课程。如图10所示，3D视觉提示81(在这种情况下是门把手)显示在HMD中时可指示患者1进行对应于打开门的移动。在视觉提示之后，患者可试图进行所提出的移动。与呈现视觉提示的时间同步采集传感器数据(EEG、EMG、IMU、运动数据)。控制系统51随后提取传感器数据并且推断用户意图，并且达成共识来通过使手臂移动的机器人41向用户提供反馈，并且HMD显示化身83的移动，所述化身83基于推断的数据被赋予生命。功能性电刺激(FES)31也可与其他反馈一起同步，从而确保它们之间的一致性。

这个系统的示例性体系结构在图2d中示出。采集单元采集生理数据(即，EEG 22、EMG 24、IMU 29以及摄像机系统30)。摄像机系统数据包括立体视频帧和深度传感器数据。另外，刺激相关数据(诸如视频的特定图像帧显示在HMD上的时间、机器人的运动数据和传感器23的数据以及FES 31刺激数据)也由采集单元53采样。这个单元使每个传感器和刺激样本与从时钟输入端获得的时间戳(TS)相关联。同步的数据然后由控制系统处理，并且用于通过VR HMD显示器、机器人移动以及FES刺激向用户生成适当的反馈内容。

系统的输入端：

-惯性测量单元(IMU)传感器29，其例如包括加速度计、陀螺仪、磁力仪：目的，追踪头部移动。这个数据用于再现VR内容以及在数据质量可能由于移动而降低的情况下分割EEG数据。

-摄像机系统30、28：摄像机系统包括立体摄像机30和深度传感器28。组合这两个传感器的数据以计算佩戴者自己的上肢移动的追踪数据，并且用于追踪佩戴者自己的手臂移动。这些移动然后用于在微显示器32上对虚拟现实中的化身赋予生命，并且用于检测是否存在目标导向的移动，这然后用于触发通过显示器32、机器人41和刺激装置FES 31的反馈。在本发明的示例性应用中，传感器EEG22和EMG 24可用于推断是否存在进行目标导向的移动的意图。

系统的输出端/反馈系统

-头戴式设备2的微显示器34：再现2D/3D虚拟现实内容，其中佩戴者经历虚拟世界以及他自己的化身的第一人称视角，其中化身的手臂与他自己的移动相关地移动。

-机器人系统41：本发明中描述的机器人系统用于驱使手臂的移动，其中用户1握住触觉旋钮。系统提供一系列的移动以及日常生活活动的自然移动的触觉反馈。

-功能性电刺激(FES)装置31：FES系统的粘合性电极放置在用户的手臂上以刺激神经，所述神经在被激活时可恢复手臂丧失的随意移动。另外，所得的手移动引起向大脑的动觉反馈。

数据处理

以下段落描述从输入端到输出端的数据操纵。

采集单元53：

采集单元53的描述确保系统的输入/传感器数据和输出/刺激/反馈的接近完美的同步，如图11所示。每个传感器数据可具有不同的采样频率，并且所述数据的采样可能由于非共享的内部时钟而没有在同一时间启动。在这个实施例中，EEG数据的采样频率是1kHz，EMG数据是10kHz，IMU数据是300Hz，视频摄像机数据是120帧/秒(fps)。类似地，刺激信号具有不同的频率，其中显示器刷新率是60Hz，机器人传感器是1KHz，并且FES数据是1KHz。

采集单元53目的在于解决输入和输出准确地同步的问题。为了实现这个目的，系统的输出是使用专用传感器感测的或从刺激之前的阶段间接地记录，例如如下进行：

□感测微显示器：通常，在控制系统中生成的视频内容首先被推送到显示寄存器35(在显示器上激活视频内容之前的最后阶段)。控制器将代码与视频内容一起发送到寄存器的一部分(比如，N比特)，这部分对应于一个或多个像素(像素不能过多，以便用户不受干扰)。微显示器中的角点像素是优选的，因为它们可能对于用户是不可见的。可通过控制器或锻炼逻辑单元描述显示内容来定义代码(总计2^ΛN)。

□感测FES：FES数据可从其最后生成阶段(即，从DAC)读取。

□感测机器人的移动：机器人电机嵌入有传感器，所述传感器提供关于角位移、力矩和电机的其他控制参数的信息。

现在使用频率优选地远高于输入和输出的频率(例如，1GHz)、但是至少是传感器和刺激单元当中的最高采样频率的两倍的时钟信号，采集模块读取传感器样本并且附上时间戳，如图12所示。当传感器的样本从其ADC 37a到达时，使用时钟信号的紧接着的下一个上升沿来注释所述样本的到达时间。类似地，对于每一个传感器和刺激数据，使时间戳相关联。当这些样本到达控制器时，控制器根据到达的时间戳来解释样本，从而导致跨传感器和刺激的最小化抖动。

生理数据分析

生理数据信号EEG和EMG是带噪电信号并且优选地使用适当的统计法对其进行预处理。另外，还可通过在抖动可忽略不计的情况下使刺激和行为的事件与生理数据测量更好地同步来减少噪声。

图13示出预处理的各种阶段(滤波68、恒定相位延迟提取(epoch extraction)以及特征提取阶段)。来自所有电极的EEG样本首先在各种频带(例如，针对慢皮层电位的0.1-1Hz、针对α波和罗兰多μ节奏(Rolandic mu rhythm)的8-12Hz、针对β频带的18-30Hz，以及针对γ频带的30-100Hz)中进行光谱滤波。这些光谱带中的每一个在不同位置处包含神经振荡的不同方面。在这个阶段之后，信号经历空间滤波以另外提高信噪比。空间滤波包括简单处理，诸如使用高斯窗口或拉普拉斯窗口对空间卷积进行通用平均值去除。在这个阶段之后，基于来自事件管理器71的时间标记物将传入的样本分割到时间窗口中。这些事件对应于患者被给予刺激或作出反应的时间。

这些EEG段然后被馈送到特征提取单元69，在其中首先进行时间校正。时间校正的一个简单实例是从来自选定光谱带数据的试验数据去除基线或从所述试验数据偏移。这些试验的质量可使用诸如异常值检测(Outlier间校正的一个简单实例是从来的统计法来评估。另外，如果存在通过IMU传感器数据记录的头部移动，则试验被注释为假象试验。最后，根据每个试验计算出良好地描述基础神经处理的特征。这些特征然后被馈送到统计单元67。

类似地，首先对EMG电极样本进行光谱滤波，并且对其应用空间滤波。从EMG信号的包络或功率获得移动信息。与EEG试验类似，EMG光谱数据被分割并且传到特征提取单元69。EMG特征数据的输出然后被发送到统计单元67。

统计单元67组合各种生理信号和运动数据以解释用户进行目标导向的移动的意图。这个程序单元主要包括用于特征解释中的检测、分类和回归分析的机器学习方法。这个模块的输出是意图概率和相关参数，所述意图概率和相关参数驱动锻炼逻辑单元84中的锻炼的逻辑。这个锻炼逻辑单元84生成刺激参数，所述刺激参数然后被发送到刺激系统17的反馈/刺激生成单元。

贯穿这些阶段，确保具有最小的延迟和更重要地最少的抖动。

事件检测和事件管理器

事件(诸如患者被刺激或在VR显示器中被呈现指示的时间、患者进行动作的时间)对于解释生理数据是必需的。图14示出事件检测。对应于移动以及外部物体或第二个人的移动的事件需要被检测。出于这个目的，在追踪单元模块73中整合来自摄像机系统30(立体摄像机和来自深度传感器的3D点云)的数据以产生各种追踪信息，诸如：(i)患者的骨骼追踪数据，(ii)物体追踪数据，以及(iii)第二用户追踪数据。基于行为分析的要求，这些追踪数据可用于生成各种事件(例如，患者抬起他的手来握住门把手的时间)。

IMU数据提供头部移动信息。分析这个数据以得到事件，诸如用户移动头部来看虚拟门把手。

视频显示代码对应于视频内容(例如，虚拟门把手的显示或任何虚拟刺激)。这些代码还表示虚拟事件。类似地，FES刺激事件、机器人移动以及触觉反馈事件被检测并传送到事件管理器71中。分析器模块75(包括移动分析器75a、IMU分析器75b、FES分析器75c以及机器人传感器分析器75d)为事件管理器71处理各种传感器和刺激信号。

事件管理器71然后发送这些事件以用于标注生理数据、运动追踪数据等。另外，这些事件还被发送到锻炼逻辑单元以用于为患者调节锻炼或挑战的动力学。

控制系统的其他方面

控制系统根据生理数据解释传入的运动数据、意图概率，并且激活锻炼逻辑单元并且生成刺激/反馈参数。以下框是控制系统的主要部分。

-VR反馈：运动数据(骨骼追踪、物体追踪和用户追踪数据)用于以化身和虚拟物体的形式在头部安装式显示器上再现3D VR反馈。

-锻炼逻辑单元84：锻炼逻辑单元实施虚拟显示帧的序列，其包括对患者的指令和挑战(各种难度水平的要进行的目标任务)。逻辑单元也对事件管理器71的事件作出反应。最后，这个单元将刺激参数发送到刺激单元。

-机器人和FES刺激生成单元:这个单元生成进行机器人系统41的目标移动所需的输入和相关联的触觉反馈。另外，可以使FES模块的刺激模式(电流强度和电极位置)对患者是同步的且一致的。

实施例3：大脑计算机接口和具有增强现实反馈的运动数据激活神经刺激

目的

系统可提供与患者在真实世界中进行的动作有关的神经刺激，从而引起针对预期行为的神经模式加强。

描述

使用摄像机系统捕捉场景中的用户的动作和第二个人以及物体的动作以用于行为分析。另外，以模态(EEG、ECOG等)中的一种记录神经数据，所述模态与IMU数据同步。从摄像机系统捕捉的视频与虚拟物体交错以生成3D增强现实反馈，并且通过头部安装式显示器提供给用户。最后，在控制系统中生成适当的神经刺激参数并且发送到神经刺激。

对于用户行为测量和生理测量与神经刺激之间的延后和抖动应最优化以用于神经模式的有效加强。

这个实施例的实施类似于实施例2，不同的是头部安装式显示器(HMD)显示增强现实内容而不是虚拟现实(见图2e)。这意味着，虚拟物体嵌入在使用立体摄像机捕捉的3D场景中，并且显示在微显示器上，从而确保场景的第一人称视角。另外，通过诸如深部脑刺激和皮层刺激，以及非侵入性刺激(诸如经颅直流电刺激(tDCS)、经颅交流电刺激(tACS)、经颅磁刺激(TMS)和经颅超声刺激)来实施直接神经刺激。系统可有利地使用一种模态或有时多于一种刺激模态以使效果优化。这个系统利用实施例1中所述的采集单元。

参考标号列表

10 生理参数测量和运动追踪系统

2 头戴式设备

3 EEG感测装置

4 EEG传感器支撑件

4a 中央分支

4b 前侧向分支

4b1、4b2 后延伸部和侧延伸部

4c 中央侧向分支

4c1、4c2 前延伸部、后延伸部

4d 后侧向分支

4d1、4d2 前延伸部和侧延伸部

401 底壁

404 电极孔

404a 电极孔部分

404b 贯穿通路部分

405 张紧器锚固件→固定孔

406 底部表面

402 侧壁

403 通道

5 铸封材料(顶壁)

顶部表面506

6 柔性电路

22 EEG传感器

221 EEG电极

8 EEG信号处理电路

8a 离散EEG信号放大器

8b 电路迹线

601 柔性电路衬底

602 电极孔

605 张紧器孔

6a 中央分支

6b 前侧向分支

6b1、6b2 后延伸部和侧延伸部

6c 中央侧向分支

6c1、6c2 前延伸部、后延伸部

6d 后侧向分支

6d1、6d2 前延伸部和侧延伸部

41 连接部分

7 张紧器→弹性系带

37 导电凝胶

9 头部安装式框架支撑件

带

调整旋钮

19 头部安装式显示器

32 显示单元

34 显示装置

35 显示寄存器

36 显示单元支撑件

33 音频单元

100 眼睛注视感测单元

102 眼睛注视传感器

40 头部移动感测单元

42 移动感测单元

44 加速度感测装置

47 头部取向感测装置

46 陀螺仪

48 磁力仪

50 移动感测单元支撑件(安装到HMD系统)

12 控制系统

51 控制模块

57 输出信号(视频、音频、刺激)

53 采集模块

55 存储器

52 骨骼追踪模块

60 数据融合单元

62 校准单元

64 骨骼追踪单元

54 生理参数处理模块

66 再参考单元

68 滤波单元

70 光谱滤波模块

72 空间平滑滤波模块

74 拉普拉斯滤波模块

76 事件标记单元

78 假象单元

80 假象检测模块

82 假象去除模块

69 特征提取单元

67 统计单元

56 头部追踪模块

104 眼睛注视追踪模块

58 VR生成模块

84 锻炼逻辑单元

输入单元

86 VR环境单元

88 身体模型单元

90 化身姿势生成单元

92 VR内容整合单元

94 音频生成单元

96 反馈生成单元

106 时钟模块

71 事件管理器

73 追踪单元

用户追踪

→户追 骨骼追踪单元

→骼追踪 眼睛注视追踪模块

物体追踪

75 分析器模块

75a 移动

75b IMU

75c FES

75d 机器人传感器

13 感测系统

14 生理参数感测系统

20 传感器

22 脑电图(EEG)传感器

24 肌电图(EMG)传感器-连接到身体内的肌肉

25 眼电图(EOG)传感器-眼睛移动传感器

27 心电图(ECG)

29 惯性传感器(INS)/惯性测量单元(IMU)传感器

40 头部移动感测单元

体温传感器

皮肤电传感器

16 位置/运动检测系统

26 传感器

28 深度/距离传感器

30 摄像机(彩色)

21 传感器输出信号

17 刺激系统

31 功能性电刺激(FES)系统

音频刺激系统→音频单元33

视频刺激系统→显示单元32

37a 模数转换器(ADC)

37b 数模转换器(DAC)

39 内容代码信号

41 触觉反馈装置→机器人

23 用户反馈传感器

Claims (30)

1.一种头戴式设备(2)，其包括具有大脑电活动(EEG)传感器(22)的EEG感测装置(3)，所述EEG感测装置(3)被配置来安装在佩戴者的头部上，以便将所述EEG传感器(22)定位在所述佩戴者的头皮之上的选定感兴趣位置处，所述EEG感测装置包括传感器支撑件(4)和组装到所述传感器支撑件的柔性电路(6)，所述传感器支撑件和所述柔性电路包括：中央主干(4a、6a)，其被配置来在从鼻根到枕骨隆突的方向上沿着所述头部的顶部的中心平面延伸；前侧向分支(4b、6b)，其被配置来横跨佩戴者头部的前部部分延伸，从所述中央主干侧向延伸；中央侧向分支(4c、6c)，其被配置来基本上在所述佩戴者的耳朵之间横跨佩戴者头部的顶部部分延伸；以及后侧向分支(4d、6d)，其被配置来横跨佩戴者头部的后部部分延伸，其中所述传感器支撑件(4)包括底壁(401)和侧壁(402)，所述侧壁(402)沿着所述底壁的边缘延伸以形成所述柔性电路(6)插入其中的基本上平坦的“U”形通道(403)，并且所述底壁包括EEG传感器孔(404)以允许触及所述柔性电路上的EEG传感器触点或电极。

2.根据权利要求1所述的头戴式设备，其中所述侧向分支中的每一个还包括延伸部(4b1、4b2；6b1、6b2；4c1、4c2；6c1、6c2；4d1、4d2；6d1、6d2)，所述延伸部包括在从前到后或从后到前的方向上延伸的延伸部，并且其中EEG传感器沿着所述主干、所述分支和所述延伸部定位在离散间隔开的位置中。

3.根据前述任一项权利要求所述的头戴式设备，其中顶壁或柔性密封材料(5)安装或填充在所述通道中的所述柔性电路之上，以便以防水方式将所述柔性电路上的电路轨道和部件密封在所述通道内。

4.根据前述任一项权利要求所述的头戴式设备，其中所述传感器支撑件是由柔性聚合物材料模制或形成的单件式零件。

5.根据前述任一项权利要求所述的头戴式设备，其中所述柔性电路包括单件式柔性衬底。

6.根据前述任一项权利要求所述的头戴式设备，其中所述传感器支撑件还包括张紧器锚固件(405)，所述张紧器锚固件(405)被配置来将弹性张紧器(7)锚固在所述EEG感测装置的所述主干、所述分支和所述延伸部中的位置之间，并且还锚固在所述EEG感测装置与头部安装式框架支撑件(9)之间。

7.根据前一项权利要求所述的头戴式设备，其中所述柔性电路包括用于所述张紧锚固件的孔(605)。

8.根据前述任一项权利要求所述的头戴式设备，其中靠近所述柔性电路上的每个EEG传感器定位有离散EEG信号放大器(8b)，所述EEG信号放大器(8b)被配置来放大由所述对应EEG传感器拾取的大脑电活动信号。

9.根据前述任一项权利要求所述的头戴式设备，其中所述EEG传感器包括呈导电电路垫形式的电极，所述电极位于所述柔性电路的衬底的旨在面向所述佩戴者的头皮的表面上。

10.根据前述任一项权利要求所述的头戴式设备，其中所述EEG传感器包括突出的导电可压缩元件，所述导电可压缩元件安装在所述柔性衬底上并且电连接到所述柔性电路的衬底的电路迹线。

11.根据前述任一项权利要求所述的头戴式设备，其还包括头部安装式显示器(HMD)(19)，所述HMD固定到头部安装式框架支撑件并且被配置来定位在所述头戴式设备的佩戴者的眼睛之上，其中所述HMD包括：显示单元，其具有呈电子屏幕形式的显示装置，所述显示装置被配置用于定位在所述佩戴者的眼睛前方以向所述佩戴者呈现视觉信息；以及任选地另外的部件，其向所述佩戴者提供反馈、刺激或信息。

12.根据紧邻的前一项权利要求所述的头戴式设备，其中所述HMD容纳信息捕捉装置，诸如一个或多个摄像机(30)、深度传感器(28)以及头部移动感测单元(40、50)。

13.根据紧邻的前两项前述权利要求中任一项所述的头戴式设备，其中所述HMD容纳无线通信装置，以便以无线方式将所述头戴式设备互连到外部电子装置和计算系统。

14.根据紧邻的前三项权利要求中任一项所述的头戴式设备，其中所述HMD容纳用于所述头戴式设备的自主操作的机载电源。

15.根据前述任一项权利要求所述的头戴式设备，其中所述头戴式设备还并入被配置来测量不同生理参数的多个传感器，所述多个传感器选自由以下各项组成的组：ECOG传感器、眼睛移动传感器以及头部移动感测单元。

16.根据前述任一项权利要求所述的头戴式设备，其中所述头戴式设备还并入可操作来检测用户的身体部分的位置/运动的位置/运动检测系统，所述位置/运动检测系统包括一个或多个彩色摄像机和一个深度传感器。

17.根据前述任一项权利要求11-16所述的头戴式设备，其中所述柔性电路包括可插式电连接器(41)，其用于插到所述HMD上的互补可插式电连接器。

18.根据前述任一项权利要求所述的头戴式设备，其中所述柔性电路包括与所述EEG传感器触点或电极相邻的孔，并且其中所述EEG传感器孔(404)与所述柔性电路孔重叠，使得在所述感测装置(3)的顶部表面(506)与底部表面(406)之间提供贯穿通路。

19.一种头戴式设备(2)，其包括具有大脑电活动(EEG)传感器(22)的EEG感测装置(3)，所述EEG感测装置(3)被配置来安装在佩戴者的头部上，以便将所述EEG传感器(22)定位在所述佩戴者的头皮之上的选定感兴趣位置处，所述EEG感测装置包括传感器支撑件(4)和组装到所述传感器支撑件的柔性电路(6)，所述传感器支撑件和所述柔性电路包括：中央主干(4a、6a)，其被配置来在从鼻根到枕骨隆突的方向上沿着所述头部的顶部的中心平面延伸；前侧向分支(4b、6b)，其被配置来横跨佩戴者头部的前部部分延伸，从所述中央主干侧向延伸；中央侧向分支(4c、6c)，其被配置来基本上在所述佩戴者的耳朵之间横跨佩戴者头部的顶部部分延伸；以及后侧向分支(4d、6d)，其被配置来横跨佩戴者头部的后部部分延伸，其中所述传感器支撑件(4)包括底壁(401)，所述底壁(401)包括EEG传感器孔(404)以允许触及所述柔性电路上的EEG传感器触点或电极，并且其中所述柔性电路包括与所述EEG传感器触点或电极相邻的孔，所述孔与所述EEG传感器孔重叠，使得在所述感测装置(3)的顶部表面(506)与底部表面(406)之间提供贯穿通路。

20.一种头戴式设备(2)，其包括具有大脑电活动(EEG)传感器(22)的EEG感测装置(3)，所述EEG感测装置(3)被配置来安装在佩戴者的头部上，以便将所述EEG传感器(22)定位在所述佩戴者的头皮之上的选定感兴趣位置处，所述EEG感测装置包括传感器支撑件(4)和组装到所述传感器支撑件的柔性电路(6)，所述传感器支撑件和所述柔性电路包括：中央主干(4a、6a)，其被配置来在从鼻根到枕骨隆突的方向上沿着所述头部的顶部的中心平面延伸；前侧向分支(4b、6b)，其被配置来横跨佩戴者头部的前部部分延伸，从所述中央主干侧向延伸；中央侧向分支(4c、6c)，其被配置来基本上在所述佩戴者的耳朵之间横跨佩戴者头部的顶部部分延伸；以及后侧向分支(4d、6d)，其被配置来横跨佩戴者头部的后部部分延伸，其中所述侧向分支中的每一个还包括延伸部(4b1、4b2；6b1、6b2；4c1、4c2；6c1、6c2；4d1、4d2；6d1、6d2)，所述中央侧向分支包括在从前到后和从后到前两个方向上延伸的延伸部，使得所述中央侧向分支可弹性地张紧到所述前侧向分支和所述后侧向分支两者。

21.根据权利要求19或20所述的头戴式设备，其包括根据权利要求1-18中任一项所述的头戴式设备的所述特征中的任何一个或多个。

22.一种生理参数测量系统，其包括头戴式设备、控制系统(12)、感测系统(13)以及刺激系统(17)，所述感测系统包括一个或多个生理传感器，所述一个或多个生理传感器至少包括安装在所述头戴式设备中的大脑电活动传感器(22)，所述EEG传感器(22)被配置来在佩戴者的头部上安装在所述佩戴者的头皮之上的选定感兴趣位置处，所述头戴式设备包括传感器支撑件(4)和组装到所述传感器支撑件的柔性电路(6)，所述传感器支撑件和所述柔性电路包括：中央主干(4a、6a)，其被配置来在从鼻根到枕骨隆突的方向上沿着所述头部的顶部的中心平面延伸；前侧向分支(4b、6b)，其被配置来横跨佩戴者头部的前部部分延伸，从所述中央主干侧向延伸；中央侧向分支(4c、6c)，其被配置来基本上在所述佩戴者的耳朵之间横跨佩戴者头部的顶部部分延伸；以及后侧向分支(4d、6d)，其被配置来横跨佩戴者头部的后部部分延伸，所述刺激系统(17)包括一个或多个刺激装置，所述一个或多个刺激装置至少包括视觉刺激系统(32)，所述控制系统包括：采集模块(53)，其被配置来从所述感测系统接收传感器信号；以及控制模块(51)，其被配置来处理来自所述采集模块的所述信号并且控制向所述刺激系统的一个或多个装置生成刺激信号，其中所述控制系统还包括时钟模块(106)，并且其中所述控制系统被配置来使用来自所述时钟模块的时钟信号给与所述刺激信号相关的信号和所述传感器信号加时间戳，使得能够通过所述时间戳来使所述刺激信号与所述传感器信号同步，并且其中所述加时间戳的与所述刺激信号相关的信号包括从所述刺激系统接收的内容代码信号(39)。

23.根据前一项权利要求所述的系统，其还包括显示寄存器，所述显示寄存器被配置来接收显示内容，这表示在显示器上激活所述显示内容之前的最后阶段，所述显示寄存器被配置来生成用于传输到所述控制系统的显示内容代码信号，时间戳由所述时钟模块附到所述显示内容代码信号。

24.根据前述权利要求中任一项所述的系统，其中所述感测系统包括生理传感器，所述生理传感器选自包括以下各项的组：肌电图(EMG)传感器(24)、眼电图(EOG)传感器(25)、心电图(ECG)传感器(27)、惯性传感器(INS)(29)、体温传感器、皮肤电传感器、脉搏血氧仪传感器、呼吸传感器。

25.根据前述权利要求中任一项所述的系统，其中所述刺激系统包括刺激装置，所述刺激装置选自包括以下各项的组：音频刺激装置(33)、功能性电刺激(FES)装置(31)以及触觉反馈装置，所述功能性电刺激(FES)装置连接到所述控制系统并且可操作来对所述用户的一个或多个身体部分进行电刺激，所述FES装置选自由以下电极组成的组，所述电极被配置来刺激神经或肌肉、被配置用于经颅交流电刺激(tACS)、直流电刺激(tDCS)、经颅磁刺激(TMS)以及经颅超声刺激。

26.根据前述任一项权利要求所述的系统，其中每个刺激装置包括嵌入式传感器，所述嵌入式传感器的信号由同步装置记录。

27.根据前述权利要求中任一项所述的系统，其还包括机器人系统，所述机器人系统用于驱使所述用户的肢体移动并且被配置来提供触觉反馈。

28.根据前述权利要求中任一项所述的系统，其中所述时钟模块被配置来与其他系统的时钟模块同步，所述其他系统包括外部计算机。

29.根据前述权利要求中任一项所述的系统，其还包括：锻炼逻辑单元，其被配置来向所述显示单元生成包括指令和挑战的视觉显示帧；和/或事件管理器单元，其被配置来向所述刺激单元生成并传输刺激参数。

30.根据前述权利要求中任一项所述的系统，其中所述头戴式设备包括根据权利要求1-19中任一项所述的头戴式设备的所述特征中的任何一个或多个。