CN105578954A - 生理参数测量和反馈系统 - Google Patents

Abstract

测量大脑的电活动(EEG)和身体部位的位置/运动(例如，手臂的运动)。呈现移动身体部位或从大脑活动确定的意向运动的虚拟表示，作为向在可以实现为平视显示器的显示器上的对象的反馈。时钟模块可操作以对从脑电活动感测系统和位置/运动检测系统传送的信息加盖时间戳，用于关节处理。该非侵入式基于EEG的大脑-计算机-接口对于中风康复特别有用。

Description

生理参数测量和反馈系统

技术领域

本发明一般地涉及测量用户响应于刺激的生理参数和向用户提供反馈的系统。本发明的特定领域之一涉及测量用户的生理参数，以监视响应于显示的身体部位的运动的皮层活动，其中显示的运动以虚拟现实或增强现实向用户显示。所述系统可用于在用户经历中风之后，治疗用户的神经损伤和/或神经疾病，或帮助从用户的神经损伤和/或神经疾病复原。然而，系统可用于其它应用，比如游戏，或者了解为体育运动相关活动或其它活动所需的运动技巧。

背景技术

脑血管疾病是归因于大脑内的血管的问题而出现的病情，并且会导致中风。根据世界卫生组织所说，全球每年约1500万人罹患中风。在这些人中，约1/3死亡，而另外的1/3永久残废。中风随后导致的神经损伤常常表现为轻偏瘫或者身体的其他局部麻痹。

因而，中风患者的康复的领域一直是各种研究的主题。目前的康复过程通常基于受损身体部位进行的锻炼，实时追踪受损身体部位的运动，以向患者和/或执业医生提供反馈。当患者执行预定的运动模式时，计算机控制的机械驱动系统被用来追踪诸如患者的手臂之类的身体部位的位置及其施加的力。为了减轻患者疲劳，例如利用在运动的执行期间，可以提供帮助的驱动器，这种系统可以支持患者。这种设备的缺点是它们复杂并且昂贵。另外，常规的系统基于追踪实际的运动，并且因此不适合于发生中风之后的运动受损或者非常有限的极早阶段中的诊断或治疗。这些系统还可能给患者带来风险，例如如果使身体部位运动过快，或者如果沉重的驱动装备的部件落在患者身上。这些系统也不是特别轻便，从而通常无法家用和在医院环境中使用，并且还难以适应于特定患者的康复要求，因为允许的运动的范围通常受机械系统限制。

US2011/0054870公开了一种用于患者康复的基于VR的系统，其中通过运动摄像头追踪患者的身体部位的位置。使用软件来创建运动化身，在监视器上向患者显示所述运动化身。在例子中，当规定双臂的运动时，如果患者只运动右臂，那么化身还可显示左臂的运动。

在Chen,Y等的“Thedesignofareal-time,multimodalbiofeedbacksystemforstrokepatientrehabilitation”(ACMInternationalConferenceonMultimedia,2006年10月23日)中公开了类似的系统，其中使用红外摄像头来追踪在患者的手臂上的标记的3维位置。利用监视器，在VR中，当完成预定的运动模式(比如所显示图像的抓握)时，显示患者的手臂的位置。

某些基于VR的系统的缺陷在于它们只测量身体部位对于所指示任务的响应。因而，它们不直接测量响应于显示的身体部位的运动的皮层活动，只测量大脑的某一区域可以控制身体部位的方式。这会导致除了受到损伤的那些区域，大脑的各个区域都被治疗，或者至少不能直接监视大脑的特定区域。此外，患者未完全沉浸在VR环境中，因为他们看向分离的监视器屏幕来观看VR环境。

在WO2011/123059和US2013/046206中，描述了具有大脑监视和运动追踪的基于VR的系统，已知系统的主要缺陷在于它们既不可靠又不精确地控制刺激或动作信号和大脑活动信号之间的同步，随着刺激或动作的作用，这会导致大脑响应信号的不正确或不精确的处理和读出。

在常规系统中，为了使多模态数据(包括生理、行为、环境、多媒体和触觉，等等)与刺激源(例如，显示、音频、电或磁刺激)同步，以分散方式连接几个(即，对于每个数据源)独立的专用单元，意味着每个单元把其固有的特性(模块延时和抖动)带进系统中。另外，这些单元可以具有不同的时钟，因此以不同的格式和不同的速度获取不同种类的数据。特别地，不存在包含其中一些内容可以在一定程度与任何相关用户的生理/行为活动相关并由系统登记的虚拟和/或增强现实信息，和/或来自环境的任意信息的立体显示的综合系统。在不同的应用领域中，未实现上述要求在各种情况下会有消极结果，如在以下的非穷举的例子列表中简要地提及：

a)在许多应用神经科学领域中，对于刺激呈现的神经响应的分析很重要。目前的解决方案损害了同步质量，尤其在测量的神经信号(例如，EEG)和刺激信号(例如，线索的显示)之间的抖动量方面。归因于此，不仅获取的信号的信噪比被降低，而且还把分析局限于更低的频率(通常小于30Hz)。确保最小抖动的更好的同步会开辟在更高频率下的神经信号探测，以及基于精确(亚毫秒)定时的刺激(不仅非侵入式刺激，而且直接在神经部位的侵入式刺激和皮下刺激)的新的可能性。

b)虚拟现实和身体感知：如果未实现用户运动的捕捉与用户运动到实时再现所述运动的虚拟人物(化身)的映射之间的同步，那么经由屏幕或头戴式显示器的所进行的运动的延迟视觉反馈会给用户他/她不是所述运动的创造者的感觉。这在训练患者以恢复运动性的运动康复方面，以及对诸如通过远程操纵机器人拆除炸弹之类极其危险的操作的训练或执行来说具有重要后果。

c)大脑-计算机接口：如果(如通过脑电图数据登记的)运动意图、肌肉活动和向大脑身体控制的神经假体的输出之间的同步失败，那么不能把运动动作和神经激活链接起来，妨碍了解对于成功控制神经假体所需的运动动作的底层的神经机制。

d)神经检查：对于表面的非侵入式记录，脑电图(EEG)数据的频谱可高达100Hz。在这种情况下，时间分辨率在数十毫秒的范围中。如果EEG和诱发特定的大脑响应(例如对于在虚拟环境中发生的确定动作的P300响应)之间的同步失败，那么不能使大脑响应和引起所述响应的特定事件相关。

(e)由截肢患者使用复杂的神经义肢设备的功能性神经再支配训练：与FES耦接的混合大脑计算机接口(BCI)系统和皮下刺激可用于精心设计和把功能性神经再支配优化到截肢者的残肢或其他身体部位周围的残留肌肉中。为了得到最佳结果，重要的是获得传感器数据和刺激数据之间的高质量同步，用于生成精确的刺激参数。

发明内容

本发明的目的是提供一种生理参数测量和运动追踪系统，所述系统向用户提供虚拟或增强现实环境，可利用所述环境来改善认知和感觉运动系统的响应，例如在大脑损伤的治疗中或者在运动技能的训练中。

有利的是提供一种确保生理刺激和响应信号的测量和控制的精确实时整合的生理参数测量和运动追踪系统(例如，头部和身体的运动)。

有利的是提供一种可以生成不同来源的多种刺激信号(例如，视觉刺激信号、听觉刺激信号、触摸感觉刺激信号、电刺激信号、磁刺激信号…)和/或可以测量不同种类的多种生理响应信号(例如，大脑活动、身体部位运动、眼睛运动、皮肤电响应)的生理参数测量和运动追踪系统。

有利的是减少系统的线缆的数目。

有利的是减少输入模块(测量)、输出模块(刺激)和系统操作之间的电干扰。

有利的是提供一种便携并且易于使用，以致可适合于家用、门诊应用或者移动应用的系统。

有利的是容易地使系统适合于各种头部和身体大小。

有利的是提供一种穿戴舒适，并且可以容易地附着到用户身上和从用户身上去除的系统。

有利的是提供一种生产成本有效的系统。

有利的是提供一种可靠并且使用安全的系统。

有利的是提供更沉浸的VR体验。

有利的是提供全部在一个功能操作和一个存储器中同步和使用的所有输入数据和输出数据。

有利的是提供一种易于可洗并且可消毒的系统。

有利的是提供一种包括数量优化的大脑活动传感器的系统，所述传感器提供足够的大脑活动，还节省用于布置和操作的时间。有利的是具有不同的电极配置，以容易地根据需要适合于目标大脑区域。

有利的是提供一种允许去除头戴式显示器，而不干扰大脑活动和其它生理和运动追踪模块，从而对患者来说允许暂停的系统。

有利的是无论何时需要则在AR和VR之间切换，用于实现透视效果，而不去除HMD。

有利的是使多个用户的生理、行为、运动和他们的刺激数据同步，用于离线和实时分析。

这里公开一种生理参数测量和运动追踪系统，所述系统包含控制系统、感测系统和刺激系统，感测系统包含一个或多个生理传感器，所述一个或多个生理传感器至少包括脑电活动传感器，刺激系统包含一个或多个刺激设备，所述一个或多个刺激设备至少包括视觉刺激系统，控制系统包含配置成从感测系统接收传感器信号的采集模块，和配置成处理来自采集模块的信号、并控制给刺激系统的一个或多个设备的刺激信号的生成的控制模块。控制系统还包含时钟模块，其中控制系统被配置成接收来自刺激系统的信号，并且用来自时钟模块的时钟信号对刺激系统信号和传感器信号加盖时间戳。刺激系统信号可以是从刺激系统传送的内容代码信号。

大脑活动传感器可包括用于大脑监视的接触式传感器(EEG)或非接触式传感器(MRI、PET)，侵入式传感器(单和多电极阵列)和非侵入式传感器(EEG、MEG)。

感测系统还可包含生理传感器，所述生理传感器包括肌电图(EMG)传感器、眼电图(EOG)传感器、心电图(ECG)传感器、惯性传感器、体温传感器、皮肤电传感器、呼吸传感器、脉搏血氧饱和度传感器中的任意一个或多个。

感测系统还可包含位置和/或运动传感器，以确定用户的身体部位的位置和/或运动。

在实施例中，至少一个所述位置/运动传感器包含摄像头和可选的深度传感器。

刺激系统还可包含刺激设备，刺激设备包括音频刺激设备(33)、功能电刺激(FES)设备(31)、机器人驱动器和触觉反馈设备中的任意一个或多个。

这里另外公开一种生理参数测量和运动追踪系统，包括：向用户显示信息的显示系统；包含一个或多个感测装置的生理参数感测系统，所述感测装置被配置成感测用户的大脑中的电活动，并且生成脑电活动信息；配置成提供与用户的身体部位的位置/运动对应的身体部位位置信息的位置/运动检测系统；布置成从生理参数感测系统接收脑电活动信息、并且从位置/运动检测系统接收身体部位位置信息的控制系统，控制系统被配置成向显示系统提供包含身体部位的目标位置的目标位置信息，显示系统被配置成显示目标位置信息，控制系统还被配置成向显示系统提供身体部位位置信息，所述身体部位位置信息向用户提供身体部位的运动或者身体部位的意向运动的视图。生理参数测量和运动追踪系统还包含时钟模块，所述时钟模块可操作以对从生理参数感测系统和位置/运动检测系统传送的信息加盖时间戳，所述系统可操作以处理所述信息，以实现实时操作。

在实施例中，控制系统可被配置成判定是否由位置/运动检测系统感测到不存在运动或者存在小于预定量的运动量，并且如果判定无运动或者运动的量小于预定量，那么至少部分基于脑电活动信息向显示系统提供身体部位位置信息，以使显示的身体部位的运动至少部分基于脑电活动信息。

在实施例中，生理参数感测系统包含配置成测量不同生理参数的多个传感器，所述传感器选自包含EEG传感器、ECOG传感器、EMG传感器、GSR传感器、呼吸传感器、ECG传感器、温度传感器、呼吸传感器和脉搏-血氧饱和度传感器的群组。

在实施例中，位置/运动检测系统包含可操作以提供用户的图像流的一个或多个摄像头。

在实施例中，位置/运动检测系统包含可操作以提供场景中的一个或多个物体的图像流的一个或多个摄像头。

在实施例中，位置/运动检测系统包含可操作以提供场景中的一个或多个人的图像流的一个或多个摄像头。

在实施例中，所述摄像头包含深度感测摄像头和一个或多个彩色摄像头。

在实施例中，控制系统可操作以向生理参数感测系统供给信息，使得提供信号以刺激用户的运动或状态。

在实施例中，系统还可包含形成单一单元的头戴式设备，所述单一单元包含可操作以向用户显示虚拟或增强现实图像或视频的所述显示系统；和被配置成感测大脑中的电活动的所述感测装置，感测装置包含分布于用户的大脑的感觉和运动区的多个传感器。

在实施例中，将大脑活动传感器成组布置，以测量大脑的特定区域中的电活动。

在实施例中，显示单元安装在显示单元支持物上，所述显示单元支持物被配置成围绕用户的眼睛，并且至少部分围绕用户的后脑延伸。

在实施例中，传感器连接到柔性的头盖形传感器支持物，所述头盖形传感器支持物被配置成在用户的头上延伸。头盖形传感器支持物可包含上面安装了传感器的板子和/或帽子，所述板子连接到配置成围绕用户的头顶延伸的带子，或者与所述带子一体形成，所述带子在其端部连接到显示系统支持物。头戴式设备从而可形成易于穿戴的单元。

在实施例中，头盖形传感器支持物可包含多个衬垫，第一组衬垫被布置成从第一衬垫支持物延伸，所述第一衬垫支持物沿近似正交的方向从显示单元支持物延伸，第二组衬垫被布置成从第二衬垫支持物延伸，所述第二衬垫支持物沿近似正交的方向从显示单元支持物延伸。

在实施例中，头戴式设备可包含配置成测量不同生理参数的多个传感器，所述多个传感器选自包含EEG传感器、ECOG传感器、眼睛运动传感器和头部运动传感器的群组。

在实施例中，头戴式设备还可包含可操作以检测用户的身体部位的位置/运动的所述位置/运动检测系统中的一个。

在实施例中，位置/运动检测系统可包含深度传感器和一个或多个彩色摄像头。

在实施例中，头戴式设备包含无线数据传送装置，所述无线数据传送装置被配置成无线地传送来自下述系统中的一个或多个系统的数据：生理参数感测系统；位置/运动检测系统；头部运动感测单元。

在实施例中，系统还可包含连接到控制系统、并且可操作以电刺激用户的一个或多个身体部位的功能电刺激(FES)系统，FES包括选自由配置成刺激神经或肌肉的电极、经颅交流电刺激(tACS)、直流电刺激(tDCS)、经颅磁刺激(TMS)和经颅超声刺激组成的群组的一个或多个刺激设备。

在实施例中，系统还可包含用于驱动用户的肢体的运动、并被配置成提供触觉反馈的机器人系统。

在实施例中，系统还可包含配置成生成包括给显示单元的指令和挑战的视觉显示帧的锻练逻辑单元。

在实施例中，系统还可包含事件管理器单元，事件管理器单元被配置成生成刺激参数，并把刺激参数传送给刺激单元。

在实施例中，每个刺激设备可包含其信号由同步设备登记的嵌入式传感器。

在实施例中，系统还可包含显示寄存器，所述显示寄存器被配置成接收表示在显示器上激活显示内容之前的最后阶段的显示内容，所述显示寄存器被配置成生成用于传输给控制系统的显示内容代码，时间戳由时钟模块附加到显示内容代码。

在实施例中，刺激系统包含刺激设备，所述刺激设备可包含音频刺激设备、功能电刺激(FES)设备和触觉反馈设备。

时钟模块可被配置成与包括外部计算机的其它系统的时钟模块同步。

根据权利要求，根据详细说明和附图，本发明的进一步的目的和有利特征将是明显的。

附图说明

为了更好地理解本发明，和示出可如何实现本发明的实施例，现在将通过示例的方式参考附图进行说明，在附图中：

图1a和1b是现有系统的示意图解；

图2a是图解说明本发明的其中使向用户显示的显示内容与从用户测量的响应信号(例如，大脑活动信号)同步的实施例的示意图；

图2b是图解说明本发明的其中使向用户播放的音频内容与从用户测量的响应信号(例如，大脑活动信号)同步的实施例的示意图；

图2c是图解说明本发明的其中使向用户施加的多个信号与从用户测量的响应信号(例如，大脑活动信号)同步的实施例的示意图；

图2d是图解说明本发明的其中包括触觉反馈系统的实施例的示意图；

图2e是图解说明本发明的其中向用户施加神经刺激信号的实施例的示意图；

图3a是按照本发明的生理参数测量和运动追踪系统的简化示意图；

图3b是图3a的系统的控制系统的详细示意图；

图3c是图3b的控制系统的生理追踪模块的详细示意图；

图4a和4b是按照本发明的实施例的头戴式设备的透视图；

图5是EEG传感器在用户的头部上的例证布置的平面图；

图6是EMG传感器在用户的身体上的例证布置的前视图；

图7是用于利用系统的实施例，训练中风患者的处理的示意图；

图8是在图7的处理期间向用户显示的屏幕截图的视图；

图9是按照本发明的例证实施例的生理参数测量和反馈系统的物理设置的透视图；

图10是按照本发明的例证实施例的生理参数测量和反馈系统的示例刺激和反馈试验的示意方框图；

图11是按照本发明的例证实施例的生理参数测量和反馈系统的采集模块的示意方框图；

图12是图解说明由按照本发明的例证实施例的生理参数测量和反馈系统的时钟模块对信号加盖时间戳的示图；

图13是图解说明处理按照本发明的例证实施例的生理参数测量和反馈系统的控制系统中的生理信号数据的方法的数据流程图；

图14是图解说明处理按照本发明的例证实施例的生理参数测量和反馈系统的控制系统中的事件的方法的流程图。

具体实施方式

参考附图，按照本发明的实施例的生理参数测量和运动追踪系统通常包括控制系统12、感测系统13和刺激系统17。

感测系统包含一个或多个生理传感器，所述一个或多个生理传感器至少包括脑电活动传感器，例如呈脑电图(EEG)传感器22的形式。感测系统可包含选自包括连接到用户的身体中的肌肉的肌电图(EMG)传感器24、眼电图(EOG)传感器25(眼动传感器)、心电图(ECG)传感器27、安装在用户的头部并且可选地安装在诸如用户的肢体之类的其它身体部位的惯性传感器(INS)29、体温传感器、皮肤电传感器的群组的其它生理传感器。感测系统还包含位置和/或运动传感器，以确定用户的身体部位的位置和/或运动。位置和运动传感器还可被配置成测量在用户的视野中的物体的位置和/或运动。注意，位置和运动的概念与可从位置中的变化确定运动的程度相关。在本发明的实施例中，位置传感器可用来确定物体或身体部位的位置和运动，或者运动传感器(比如惯性传感器)可用来测量身体部位或物体的运动，而不必需计算其位置。在有利的实施例中，至少一个位置/运动传感器包含安装在配置成由用户穿戴的头戴式设备18上的摄像头30和可选的距离传感器28。

刺激系统17包含一个或多个刺激设备，所述一个或多个刺激设备至少包括视觉刺激系统32。刺激系统可包含选自包括音频刺激设备33、连接到用户的功能电刺激(FES)设备31(例如，刺激神经、或者肌肉或者用户的大脑的各个部分，例如以刺激肢体的运动)和触觉反馈设备(例如，用户可以用他的手抓握，并且向用户提供触觉反馈的机械臂)的群组的其它刺激设备。刺激系统还可包含用于由控制系统的控制模块51传送和处理信号的模数转换器(ADC)37a和数模转换器(DAC)37b。有利的是，刺激系统的设备还可包含生成内容代码信号39的装置，内容代码信号39被反馈给控制系统12，以便对所述内容代码信号加盖时间戳，并且使刺激信号与由感测系统的传感器生成的测量信号同步。

控制系统12包含时钟模块106和采集模块53，采集模块53被配置成接收来自刺激系统的内容代码信号和来自感测系统的传感器信号，并用来自时钟模块的时钟信号对这些信号加盖时间戳。控制系统还包含控制模块，所述控制模块处理来自采集模块的信号，并且控制向刺激系统的各个设备的刺激信号的输出。控制模块还包含存储器55以存储测量结果、控制参数以及对生理参数测量和运动追踪系统的操作有用的其它信息。

图3a是按照本发明的实施例的生理参数测量和运动追踪系统10的简化示意图。系统10包含控制系统12，控制系统12可连接到以下单元中的一个或多个：生理参数感测系统14；位置/运动检测系统16；和头戴式设备18，所有这些单元将在下面更详细地说明。

生理参数感测系统14包含配置成测量用户的生理参数的一个或多个传感器20。在有利的实施例中，传感器20包含配置成例如通过直接测量用户大脑中的电活动来测量用户的皮层活动的一个或多个传感器。合适的传感器是脑电图(EEG)传感器22。EEG传感器沿着头皮测量电活动，比如由大脑的神经内的离子电流流动引起的电压波动。合适的EEG传感器的例子是G.TechMedicalEngineeringGmbHg.scarabeo型号。图4a示出脑电图传感器22在用户的头部上的例证布置。在该例证布置中，传感器被布置成第一组22a，以使得测量接近用户的头顶的皮层活动。图5示出进一步的例证布置的平面图，其中传感器被布置成第一组22c、第二组22d和第三组22e。在每个组内，可存在组的进一步的子集。各个组被配置和布置成测量特定区域中的皮层活动。可被包含的各个组的功能在下面更详细地讨论。要意识到本发明可扩展为任何合适的传感器配置。

在有利的实施例中，将传感器22附着到柔性的头盖形传感器支持物27上，所述头盖形传感器支持物27由聚合物材料或其它合适材料制成。头盖形传感器支持物27可包含板子27a，板子27a连接到围绕用户的头部延伸的安装带27b，如图4a中所示。在如图4b中所示的另一个实施例中，头盖形传感器支持物27可包含在用户的头部的相当大部分上延伸的类似于浴帽的帽子27c。传感器被适当地附着到头盖形传感器支持物上，例如，它们可被固定到头盖形传感器支持物27上，或者嵌入其中。有利的是，可相对于头盖形传感器支持物布置传感器，以致当头盖形传感器支持物被安置在用户的头部上时，便利地布置传感器20，以测量特定区域，例如由图4和5中的组22a、22c-d定义的那些区域的皮层活动。此外，传感器20被便利地固定到用户身上和从用户身上去除。

在有利的实施例中，头盖形传感器支持物的大小和/或布置是可调节的，以适应具有不同头部大小的用户。例如，安装带27b可以具有可调节的部分，或者帽子可具有按比如在棒球帽上建立的可调节带子之类的配置的可调节的部分。

在有利的实施例中，另外地或替代地，一个或多个传感器20可包含配置成例如通过测量当肌细胞被电激活或神经激活时由细胞生成的电位，来测量用户的肌肉的运动的传感器24。合适的传感器是肌电图EMG传感器。传感器24可被安装在用户的身体的各个部位，以捕捉特定肌肉动作。例如，对于伸出手的任务，传感器可被布置在手、手臂和胸部中的一个或多个之上。图6示出一种例证传感器布置，其中传感器24按：二头肌上的第一组24a；三头肌上的第二组24b；和胸肌上的第三组24c被布置在身体上。

在有利的实施例中，一个或多个传感器20可包括配置成测量由眼睛运动引起的电位的传感器25。合适的传感器是眼电图(EOG)传感器。在有利的实施例中，如图4a中所示，存在操作上接近用户的眼睛布置的4个传感器。然而，要意识到可以使用其它数目的传感器。在有利的实施例中，传感器25被便利地连接到头戴式设备的显示单元支持物36，例如它们被附着到显示单元支持物36上或者被嵌入其中。

替代地或者另外地，传感器20可包含下述传感器中的一个或多个：皮层脑电图(ECOG)；心电图(ECG)；皮肤电响应(GSR)传感器；呼吸传感器；脉搏-血氧饱和度传感器；温度传感器；用于利用微电极系统来测量神经响应的单一单元和多单元记录芯片。要意识到传感器20可以是侵入式的(例如ECOG、单一单元和多单元记录芯片)或者非侵入式的(例如，EEG)。脉搏-血氧饱和度传感器用于监视患者的氧饱和度，通常放置在指尖上，并且可用来监视患者的状态。此信号对于在从心血管问题恢复之后在重症护理或特殊护理下的患者特别有用。要意识到对于具有ECG和/或呼吸传感器的实施例，由传感器提供的信息可被处理，以使得能够追踪用户的进展。也可结合EEG信息处理该信息，以预测与用户的状态对应的事件，比如在运动发生之前，用户的身体部位的运动。要意识到对于具有GSR传感器的实施例，由传感器提供的信息可被处理，以给出用户的情绪状态的指示。例如，在附加的例子中，该信息可用来测量在任务期间用户的动机的水平。

在有利的实施例中，生理参数感测系统14包含无线收发器，所述无线收发器可操作以把感觉数据无线传送给生理参数处理模块54的无线收发器。按照这种方式，头戴式设备18便于使用，因为不存在由有线连接引起的障碍。

参见图4a、4b，位置/运动检测系统16包含一个或多个传感器26，传感器26适合于追踪骨骼结构或用户，或者诸如手臂之类的骨骼结构的一部分的运动。在有利的实施例中，传感器包含可与用户分离地布置的、或者附着到头戴式设备18上的一个或多个摄像头。该摄像头或每个摄像头被布置成捕捉用户的运动，并把图像流传给骨骼追踪模块，骨骼追踪模块将在下面更详细地说明。

在有利的实施例中，传感器26包含3个摄像头：2个彩色摄像头28a、28b和深度传感器摄像头30。然而，在备选实施例中，存在1个彩色摄像头28和深度传感器30。合适的彩色摄像头可具有VGA640×480像素的分辨率和至少60帧/秒的帧速率。摄像头的视场也可和头戴式显示器的视场匹配，如下面将更详细地讨论。合适的深度摄像头可具有QQVGA160×120像素的分辨率。例如，包含彩色摄像头和深度传感器的合适的设备是MicrosoftKinect。合适的彩色摄像头还包括来自AptinaImagingCorporation的各种型号，比如AR或MT系列。

在有利的实施例中，2个彩色摄像头28a和28b以及深度传感器30被布置在头戴式设备18(在下面更详细地讨论)的显示单元支持物36上，如图4中所示。彩色摄像头28a、28b可被布置在用户的眼睛上，以使它们被隔开例如用户的瞳孔轴之间的距离，所述距离约为65mm。这种布置使得能够捕捉，并且从而在VR中重建立体显示，如下面将更详细地讨论。深度传感器30可被布置在2个摄像头28a、28b之间。

在有利的实施例中，位置/运动检测系统14包含无线收发器，所述无线收发器可操作以把感觉数据无线传送给骨骼追踪模块52的无线收发器。按照这种方式，头戴式设备18便于使用，因为不存在由有线连接引起的障碍。

参见图4，头戴式设备18包含显示单元32，显示单元32具有用于向用户传达视觉信息的显示装置34a、34b。在有利的实施例中，显示装置34包含平视显示器，所述平视显示器安装在位于用户的眼睛前方的显示单元的内侧，以致用户不需要调节他们的凝视以看到显示在其上的信息。平视显示器可包含诸如LCD或LED屏幕之类的不透明屏幕，用于提供全VR环境。替代地，它可包含透明屏幕，以致当数据被显示在其上时，用户可以看穿该显示器。这种显示器在提供增强现实AR方面是有利的。如图中所示，可存在用于每只眼睛一个的2个显示器34a、34b，或者可存在双眼可见的单一显示器。显示单元可包含可以是立体显示器的2D或3D显示器。尽管这里把系统描述成向用户提供VR图像，不过要意识到在其它实施例中，图像可以是增强现实图像、混合现实图像或视频图像。

在图4的例子中，显示单元32附着到显示单元支持物36上。显示单元支持物36支持用户身上的显示单元32，并为用户身上的头戴式设备18提供可去除支持。在该例子中，显示单元支持物36从接近眼睛之处围绕用户的头部延伸，并且呈一对护目镜的形式，如图4a和4b中最佳所示。

在备选实施例中，显示单元32从头戴式设备分离。例如，显示装置34包含监视器或TV显示屏，或者投影仪和投影仪屏幕。

在有利的实施例中，部分或全部的生理参数感测系统14和显示单元32是作为头戴式设备18的集成部分形成的。利用可去除附接(比如螺栓和螺孔附接或者弹簧夹附接)或者永久附接(比如一体成型连接或者焊接连接或者缝合连接)，头盖形传感器支持物27可被连接到显示单元支持物36。有利的是，系统10的头戴组件便于穿戴，并且可容易地附着到用户身上和从用户身上去除。在图4a的例子中，利用螺栓和螺孔附接，接近用户的耳朵，带子27a被连接到支持物36。在图4b的例子中，利用缝合连接，环绕帽子的边缘，将帽子27c连接到支持物36。

在有利的实施例中，系统10包含头部运动感测单元40。头部运动感测单元包含用于在系统10的操作期间，当用户移动其头部时追踪用户的头部运动的运动感测单元42。头部运动感测单元42被配置成提供和用户头部的X、Y、Z坐标位置以及转动、俯仰和偏转有关的数据。此数据被提供给头部追踪模块，头部追踪模块在下面更详细地讨论，并且处理所述数据，以使显示单元32可以按照头部运动来更新显示的VR图像。例如，当用户移动其头部以向左看时，显示的VR图像向左移动。虽然这种操作不是必需的，不过它有利于提供更加沉浸的VR环境。为了维持真实性，发现由头部运动感测单元42感测的运动和更新的VR图像定义的循环的最大延时为20ms。

在有利的实施例中，头部运动感测单元42包含加速度感测装置44，比如配置成测量头部的加速度的加速度计。在有利的实施例中，传感器44包含3个面内加速度计，其中每个面内加速度计被布置成对沿着分离的垂直板的加速度敏感。按照这种方式，传感器可操作以测量3个维度中的加速度。然而，要意识到其它加速度计布置也是可能的，例如，可以只存在2个面内加速度计，所述2个面内加速度计被布置成对沿着分离的垂直板的加速度敏感，以便测量2维加速度。合适的加速度计包括压电式、压阻式和电容式变型。合适的加速度计的例子是XsensTechnologiesB.V.MTI10系列传感器。

在有利的实施例中，头部运动感测单元42还包含头部朝向感测装置47，头部朝向感测装置47可操作以提供与头部的朝向有关的数据。合适的头部朝向感测装置的例子包括陀螺仪和磁力计。头部朝向感测装置被配置成测量用户的头部的朝向。

在有利的实施例中，头部运动感测单元42可被布置在头戴式设备18上。例如，运动感测单元42可被封装在与头盖形传感器支持物27和/或显示单元支持物36一体地形成，或者附接到头盖形传感器支持物27和/或显示单元支持物36的运动感测单元支持物50中，如图4a、4b中所示。

在有利的实施例中，系统10包含眼凝视感测单元100。眼凝视感测单元100包含用于感测用户的凝视方向的一个或多个眼凝视传感器102。在有利的实施例中，眼凝视传感器102包含操作上接近用户的一只或两只眼睛布置的一个或多个摄像头。该摄像头或每个摄像头102可被配置成通过利用瞳孔的中心和红外/近红外非准直光来创建角膜反射(CR)，以追踪眼凝视。然而，要意识到可以使用其它感测手段，例如：眼电图(EOG)；或者眼睛附着追踪。将来自运动感测单元42的数据提供给眼睛追踪模块，眼睛追踪模块在下面更详细地讨论，并且处理所述数据，以使显示单元32可以按照眼睛运动来更新显示的VR图像。例如，当用户移动其眼睛以向左看时，显示的VR图像向左平移。虽然这种操作不是必需的，不过它有利于提供更加沉浸的VR环境。为了维持真实性，发现由眼凝视感测单元100感测的运动和更新的VR图像定义的循环的最大延时约为50ms，不过，在有利的实施例中，所述最大延时为20ms或更小。

在有利的实施例中，可将眼凝视感测单元100布置在头戴式设备18上。例如，可将眼凝视感测单元42附着到显示单元支持物36上，如图4a中所示。

控制系统12处理来自生理参数感测系统14和位置/运动检测系统16，以及可选的头部运动感测单元40和/或眼凝视感测模块100中的一个或二者的数据，连同提供给输入单元的操作员输入数据，以生成由显示单元32显示的VR(或AR)数据。为了进行这种功能，在图1和2中所示的有利的实施例中，可将控制系统12组织成多个模块，比如：下面讨论的骨骼追踪模块52；生理参数处理模块54；VR生成模块58；头部追踪模块58；和眼凝视追踪模块104。

骨骼追踪模块52处理来自位置/运动检测系统16的感觉数据，以获得用于VR生成模块58的关节位置/运动数据。在有利的实施例中，如图3b中所示，骨骼追踪模块52包含校准单元60、数据融合单元62和骨骼追踪单元64，现在将讨论这些单元的操作。

位置/运动检测系统16的传感器26把与用户的整个或部分骨骼结构的位置/运动有关的数据提供给数据融合单元62。所述数据可能还包含与环境有关的信息，例如，用户所在房间的大小和布置。在其中传感器26包含深度传感器30和彩色摄像头28a、28b的例证实施例中，数据包含颜色和深度像素信息。

数据融合单元62使用该数据以及校准单元62，来生成包含用户的外表面和环境的3D点模型的3D点云。校准单元62包含与传感器26的校准参数有关的数据和数据匹配算法。例如，校准参数可包含与摄像头中的光学元件的形变、颜色校准以及热像素和暗像素丢弃和插值有关的数据。数据匹配算法可操作以匹配来自摄像头28a和28b的彩色图像，以估计相对于从深度传感器30生成的深度图参照的深度图。生成的3D点云包含具有估计的深度的像素的阵列，以使得可在3维坐标系中表示所述像素。还估计和保持像素的颜色。

数据融合单元62把包含3D点云信息和像素颜色信息的数据，连同彩色图像一起提供给骨骼追踪单元64。骨骼追踪单元64处理该数据，以计算用户的骨骼的位置，并据此估计3D关节位置。在有利的实施例中，为了实现该操作，将骨骼追踪单元组织成几个操作块：1)利用3D点云数据和彩色图像，从环境中分割用户；2)从彩色图像中，检测用户的头部和身体部位；3)从3D点云数据取回用户的骨骼模型；4)使用逆运动学算法连同骨骼模型一起来改善关节位置估计。骨骼追踪单元64把关节位置数据输出给VR生成模块58，VR生成模块在下面更详细地讨论。关节位置数据由时钟模块加盖时间戳，以致可以通过处理给定时间段内的关节位置数据来计算身体部位的运动。

参见图2和3，生理参数处理模块54处理来自生理参数感测系统14的感觉数据，以提供由VR生成模块58使用的数据。处理后的数据例如可包含和用户移动特定身体部位的意图或者用户的认知状态(例如，响应于移动特定身体部位或者感知的身体部位的运动的认知状态)有关的信息。处理后的数据可用来追踪用户的进展，例如，作为神经康复程序的一部分，和/或向用户提供实时反馈用于增强适应性治疗和恢复，如下面更详细地讨论。

当用户进行在VR环境中指示的特定身体部位运动/意向运动时，测量并记录皮层活动。在附加的例子中，提供了这种指示的运动的例子。为了测量皮层活动，响应于在VR中可被视为用户的化身的运动/意向运动的执行和/或观察，使用EEG传感器22来提取事件相关电位和事件相关频谱扰动。

例如，以下频带提供和各种操作有关的数据：在0.1-1.5Hz的范围中，并且出现在大脑的运动区中的皮层慢电位(SCPs)提供和用于运动的准备有关的数据；在大脑的感觉运动区中的μ-节律(8-12Hz)提供与身体部位的运动的执行、观察和想象有关的数据；β振荡(13-30Hz)提供与感觉运动整合和运动准备有关的数据。要意识到可以监视上述电位中的一个或多个电位或者其它合适的电位。在一段时间内监视这种电位可用来提供和用户的恢复有关的信息。

参见图5，提供传感器20的有利的例证布置，所述布置适合于在用户进行各种感觉运动和/或认知任务时测量神经事件。有利的是布置EOG传感器25，以测量眼睛运动信号。按照这种方式，当处理其它组的信号时，可以隔离和考虑眼睛运动信号，以避免污染。有利的是，可将EEG传感器22布置成多组，以测量大脑的一个或多个区域中的运动区，例如：中央(C1-C6、Cz)；额叶-中央(FC1-FC4、FCZ)；中央-顶叶(CP3、CP4、CPZ)。在有利的实施例中，布置中心侧向EEG传感器C1、C2、C3和C4，以测量手臂/手运动。中央、额叶-中央和中央-顶叶传感器可用于测量SCP。

在有利的实施例中，生理参数处理模块54包含重参考单元66，重参考单元66被布置成从生理参数感测系统14接收数据，并被配置成处理所述数据，以减小外部噪声对所述数据的影响。例如，它可处理来自EEG、EOG或EMG传感器中的一个或多个传感器的数据。重参考单元66可包含一个或多个重参考块：合适的重参考块的例子包括乳突电极平均参考和普通平均参考。在该例证实施例中，乳突电极平均参考适用于一些传感器，而普通平均参考适用于所有的传感器。然而，要意识到其它合适的噪声滤波技术可适用于各种传感器和传感器组。

在有利的实施例中，可将重参考单元66的处理后的数据输出给滤波单元68，然而在其中不存在重参考单元的实施例中，将来自生理参数感测系统14的数据直接提供给滤波单元68。滤波单元68可包含频谱滤波模块70，频谱滤波模块70被配置成对于EEG、EOG和EMG传感器中的一个或多个，对数据进行带通滤波。就EEG传感器来说，在有利的实施例中，对于所述传感器中的一个或多个传感器，数据被带通滤波，以获得在频带：SCP、θ、α、β、γ、μ、γ、δ中的一个或多个频带上的活动。在有利的实施例中，对于所有的EEG传感器，频带SCP(0.1-1.5Hz)、α和μ(8-12Hz)、β(18-30Hz)、δ(1.5-3.5Hz)、θ(3-8Hz)和γ(30-100Hz)被滤波。就EMG和EOG传感器来说，可以应用相似的频谱滤波，不过利用不同的频谱滤波参数。例如，对于EMG传感器，可以应用30Hz高通截止频率的频谱滤波。

替代地或另外地，滤波单元66可包含空间滤波模块72。在有利的实施例中，空间滤波模块72适用于来自EEG传感器的SCP频带数据(其由频谱滤波模块70提取)，然而，空间滤波模块72也适用于其它提取的频带。一种合适的形式的空间滤波是空间平滑，空间平滑包含相邻电极的加权平均，以减小数据的空间变异性。空间滤波还可适用于来自EOG和EMG传感器的数据。

替代地或另外地，滤波单元66可包含拉普拉斯滤波模块74，拉普拉斯滤波模块74通常用于来自EEG传感器的数据，不过也可适用于来自EOG和EMG传感器的数据。在有利的实施例中，拉普拉斯滤波模块72适用于由频谱滤波模块70提取的EEG传感器的α、μ和β频带数据中的每个，然而，它可适用于其它频带。配置拉普拉斯滤波模块72，以进一步降低噪声并且增大数据的空间分辨率。

生理参数感测系统14还可包含事件标记单元76。在有利的实施例中，当生理参数感测系统14包含重参考单元和/或滤波单元68时，当被串联布置时，事件标记单元76被布置成从这些单元中的一个或二者接收处理后的数据(如在图3c的实施例中所示)。事件标记单元76可操作以使用由锻炼逻辑单元(下面将更详细地讨论)确定的基于事件的标记来提取各段感觉数据。例如，当从锻炼逻辑单元向用户发送移动身体部位的特定指令时，在所述指令之后的合适的时间帧内提取一段数据。在EEG传感器的例子中，该数据可包含来自特定皮层区的数据，从而测量用户对于所述指令的响应。例如，可向用户发送移动其手臂的指令，并且提取的数据段可包含在所述指令之后的2秒时间段内的皮层活动。其它例证事件可包含：响应于中央电极和中央-顶叶电极中的不常见刺激的电位；作为在运动之前轻微出现的中央SCP(皮层慢电位)的运动相关电位；和误差相关电位。

在有利的实施例中，事件标记单元被配置成进行下述操作中的一个或多个操作：从SCP频带数据中提取事件相关电位数据段；从α和β或μ或γ频带数据中提取事件相关频谱扰动标记数据段；从β频带数据中提取自发数据段。在上述例子中，自发数据段对应于无事件标记的EEG段，并且不同于事件相关电位，其提取取决于事件标记的时间位置。

生理参数感测系统14还可包含伪迹检测单元78，伪迹检测单元78被布置成从事件标记单元76接收提取的数据段，并且可操作以进一步处理所述数据段，以识别数据段中的特定伪迹。例如，识别的伪迹可包含1)运动伪迹：用户运动对传感器/传感器组的影响；2)电干扰伪迹：来自干线供电的一般50Hz的干扰；3)眼睛运动伪迹：这种伪迹可由生理参数感测系统14的EOG传感器25识别。在有利的实施例中，伪迹检测单元78包含伪迹检测器模块80，伪迹检测器模块80被配置成检测数据段中的特定伪迹。例如，需要删除的错误段，或者错误的并且需要从段中去除的一部分段。有利的实施例还包含伪迹去除模块82，伪迹去除模块82被布置成接收来自事件标记单元76的数据段和从伪迹检测器模块80检测的伪迹，以进行从数据段中去除检测的伪迹的操作。这种操作可包含诸如回归模型之类的统计方法，回归模型可操作以从数据段中去除伪迹而不损失数据段。之后将作为结果的数据段输出给VR生成模块58，在VR生成模块58中，处理所述数据段，以提供可基于运动意图的实时VR反馈，如下面将讨论的。还可存储数据，以使得能够追踪用户的进展。

在包含其它传感器(比如ECG、呼吸传感器和GSR传感器)的实施例中，要意识到在适用的情况下，可利用上述技术中的一种或多种技术来处理来自这种传感器的数据，例如：降噪；滤波；提取事件相关数据段的事件标记；从提取的数据段中的伪迹去除。

将头部追踪模块56配置成处理来自头部运动感测单元40的数据，以确定头部运动的程度。将处理后的数据发送给VR生成模块58，在VR生成模块58中处理所述数据，来提供实时VR反馈，以在VR环境中重建相关联的头部运动。例如，当用户移动他们的头部向左看时，显示的VR图像向左移动。

将眼凝视追踪模块104配置成处理来自眼凝视感测单元100的数据，以确定用户的凝视中的变化。将处理后的数据发送给VR生成模块58，在VR生成模块58中处理所述数据，来提供实时VR反馈，以在VR环境中重建凝视中的变化。

现在参见图3b，VR生成模块58被布置成从骨骼追踪模块52、生理参数处理模块54，和可选的头部追踪模块56和眼凝视追踪模块104中的一个或二者接收数据，并被配置成处理该数据，以致相对于锻练逻辑单元(下面更详细地讨论)的状态，将所述数据置于上下文中，并基于处理后的数据生成VR环境。

在有利的实施例中，可将VR生成模块组织成几个单元：锻练逻辑单元84；VR环境单元86；身体模型单元88；化身姿势生成单元90；VR内容整合单元92；音频生成单元94；和反馈生成单元96。现在将讨论这些单元的操作。

在有利的实施例中，锻练逻辑单元84可操作以与用户输入设备(比如键盘或其它合适的输入设备)接口。用户输入设备可用来从任务库中选择特定任务，和/或为任务设定特定参数。附加的例子提供这种任务的细节。

在有利的实施例中，将身体模型单元88布置成从锻练逻辑单元84接收与为选择的任务所需要的身体的特定部位有关的数据。例如，这可包含身体的整个骨骼结构或者诸如手臂之类的身体的特定部位。身体模型单元88之后例如从身体部位库取回所需的身体部位的模型。模型可包含3D点云模型或者其它合适的模型。

将化身姿势生成单元90配置成基于来自身体部位模型88的身体部位的模型生成化身。

在有利的实施例中，将VR环境单元86布置成从锻练逻辑单元84接收与为选择的任务所需要的特定物体有关的数据。例如，所述物体可包含将向用户显示的盘或球。

可将VR内容整合单元布置成接收来自化身姿势生成单元90的化身数据和来自VR环境单元86的环境数据，并在VR环境中整合所述数据。之后将整合后的数据传送给锻练逻辑单元58，并且还输出给反馈生成单元86。将反馈生成单元86布置成把VR环境数据输出给头戴式设备18的显示装置34。

在任务的操作期间，锻练逻辑单元84接收来自骨骼追踪模块64的包含关节位置信息的数据、来自生理参数处理模块54的包含生理数据段的数据、来自身体模型单元88的数据和来自VR环境单元86的数据。锻练逻辑单元84可操作以处理关节位置信息数据，该数据转而被发送给化身姿势生成单元90，用于进一步处理和随后显示。锻练逻辑单元84可以可选地操纵该数据，以使该数据可用来向用户提供VR反馈。这样的处理和操纵的例子包括错误运动的放大；导致正强化的运动的自动校正；一个肢体到另一个肢体的运动的映射。

当用户移动时，通过锻练逻辑单元84检测与如在VR环境中由VR环境单元86定义的物体的相互作用和/或碰撞，以进一步更新提供给用户的反馈。

锻练逻辑单元84还可提供音频反馈。例如，音频生成单元(未示出)可从锻练逻辑单元接收音频数据，所述音频数据随后由反馈单元94处理，并输出给用户，例如通过安装到头戴式设备18上的耳机(未示出)。可使音频数据与视觉反馈同步，例如以更好地指示与VR环境中的物体的碰撞，并且提供更加沉浸的VR环境。

在有利的实施例中，锻练逻辑单元84可向生理参数感测系统14发送指令，以经由生理参数感测系统14的传感器20中的一个或多个传感器向用户提供反馈。例如，EEG22和/或EMG24传感器可被供给被转移给用户的电位。参考附加例子，这种反馈可在任务期间提供。例如，在其中不存在手臂运动的阶段5，可向布置在手臂上的EMG24传感器和/或EEG传感器发送电位，以试图刺激用户移动他们的手臂。在另一个例子中，可在任务开始之前(例如，设定的任务之前的一段时间)提供这种反馈，以试图增强记忆和学习的状态。

在有利的实施例中，控制系统包含时钟模块106。时钟模块可用来向输入和输出及处理的数据和各个阶段分配时间信息。时间信息可用来确保数据被正确处理，例如，按正确的时间间隔组合来自各个传感器的数据。这特别有利于确保来自各个传感器的多模态输入的精确的实时处理，并且生成给用户的实时反馈。可将时钟模块配置成与控制系统的一个或多个模块接口，以对数据加盖时间戳。例如：时钟模块106与骨骼追踪模块52接口，以对从位置/运动检测系统16接收的数据加盖时间戳；时钟模块106与生理参数处理模块54接口，以对从生理参数感测系统14接收的数据加盖时间戳；时钟模块106与头部追踪模块58接口，以对从头部运动感测单元40接收的数据加盖时间戳；时钟模块106与眼凝视追踪模块104接口，以对从眼凝视感测单元100接收的数据加盖时间戳。VR生成模块58上的各种操作也可与时钟模块接口，以对数据(例如输出给显示装置34的数据)加盖时间戳。

和把几个独立设备连接在一起的复杂的常规系统不同，在本发明中，同步发生在(用于感测和刺激二者的)数据生成的源头处，从而确保具有最小延时、并且重要的是低抖动的精确的同步。例如，对于具有60Hz的刷新速率的立体头戴式显示器，延迟会小到16.7ms。就常规的独立或单独系统的组合来说，目前这是不可能的。本发明的一个重要特征在于能够组合不同种类的全套数据，在源头把它们同步到专用系统体系结构中，用于确保具有最小延时的多模态反馈。可穿戴的紧凑式头戴式设备允许容易地记录来自大脑和其它身体部位的生理数据。

同步概念：

延时或延迟(T)：它是用户的实际动作或大脑状态的时刻与其对应的反馈/刺激的时刻之间的时间差。在典型应用中，它是正常数。抖动(ΔT)是在延时或延迟方面的试验间偏差。对于需要例如沉浸式VR或AR的应用，延时T和抖动ΔT都应被最小化到最小可能值。尽管在大脑计算机接口和离线应用中，可以牺牲延时T，但是抖动ΔT应尽可能小。

参见图1a和1b，示意地图解说明了两种常规的现有系统体系结构。在这些系统体系结构中，可在一定程度上确保同步，但是抖动(ΔT)未被完全最小化。

设计-I(图1a)：

在此设计中，在获取经由USB连接或串行连接获取的EEG信号的同时，视觉线索被提供给用户的时刻被直接登记在计算机中。意味着计算机假定登记从用户的大脑获取的EEG信号的时刻是向用户显示线索的时刻。注意在此设计中，存在固有延迟和抖动。首先归因于与计算机的USB/串行端口连接，把样本登记到计算机中具有非零的可变延时。其次，从计算机发出显示命令的时刻，其经历归因于底层的显示驱动器、图形处理单元和信号传播的也不是常量的各种延迟。从而这两种延迟相加，并且损害视觉诱发电位的对准。

设计-II(图1b)：

为了避免以上问题，已知利用光电二极管来测量线索，并使其信号直接与EEG放大器同步。在此设计中，通常将光电二极管放置在显示器上以感测光。通常，在屏幕的附着有光电二极管的部分被点亮的同时，线索被呈现给用户。这样，利用光电二极管登记呈现线索的时刻，并提供给EEG放大器。这样，在源头直接使EEG和视觉线索信息同步。对于点亮视觉诱发试验，此过程精确，然而具有许多缺陷：

·它可以编码的视觉线索的数目受限于光电二极管的数目。典型的基于虚拟现实的视觉刺激必须精确地登记大量的事件连同生理信号。

·在头戴式显示器的典型微显示器(例如，1平方英寸大小，具有800×600的像素密度)中使用光电二极管会比较困难，并且更糟的是会降低可用性。另外注意为了光电二极管起作用，应向二极管提供足够的光，从而导致局限。

·当需要使多个刺激(比如音频刺激、磁刺激、电刺激和机械刺激)和多个传感器数据(比如EEG、EMG、ECG、摄像头、惯性传感器、呼吸传感器、脉搏血氧饱和度、皮肤电位等)同步时，上述缺陷被进一步复杂化。

在本发明的实施例中，解决了上述缺陷，以提供一种精确并且可扩展为许多不同传感器和许多不同刺激的系统。这是通过采用提供时间戳信息的集中式时钟系统来实现的，并且每个传感器的样本与时间戳相关地登记。

在实施例中，有利的是，每个刺激设备装备嵌入式传感器，所述嵌入式传感器的信号由同步设备登记。这样，控制器可以解读多个传感器数据，并且可以为系统的进一步操作精确地解读刺激数据。

在实施例中，为了减少来自每个传感器的待同步的数据量，代替利用真实传感器，可以读取来自显示寄存器的视频内容代码。

参见图2a，示意地图解说明本发明的其中使提供给头戴式设备上的微显示器的内容与大脑活动信号(例如，EEG信号)同步的实施例。

通常，首先将在控制系统中生成的视觉/视频内容推送给显示寄存器(在显示器上激活视频内容之前的最终阶段)。在我们的设计中，连同视频内容一起，控制器把代码发送给与一个或多个像素(不太多的像素，以使用户不被干扰；推荐微显示器中的角落像素，因为它们对于用户可能不可见)对应的寄存器的一部分(比方说N位)。代码将由控制器定义，描述显示内容具体是什么。现在利用时钟信号，采集模块从显示寄存器读取代码，并附加时间戳，并且发送给接下来的模块。同时，EEG样本也被采样，并被附加相同的时间戳。这样，当使EEG样本和视频代码样本到达控制器时，可以相应地解读这些样本。

注意，在具有单一时钟的一个嵌入式系统中采用所有这些模块。这导致最小延时以及最小抖动。

相同的原理可用于音频刺激，如图2b中图解所示。音频刺激可由发送给数模(DAC)转换器的数据采样。

更一般地，利用传感器和模数(ADC)转换器，如图2c中图解所示，可将任意种类的刺激(比如经颅刺激(tACS)、tDCS、TMS等)引导到采集模块。如在音频刺激的情况下图解所示，这也可通过发送供给DAC的数字信号来实现。在相同的构架中，使来自EEG、摄像头数据或任何其它传感器(例如，INS：惯性传感器)的多个数据同步。注意，每个传感器或刺激可利用不同的采样频率来采样。重点在于传感器或刺激数据样本被附加时钟模块定义的时间戳。

例1：例证的“伸手去拿物体”任务中的系统(10)的操作

在该特定例子中，在VR环境112中向用户显示诸如3D盘之类的物体110。指示用户利用其虚拟手臂114去拿物体。在第一种情况下，基于从位置/运动检测系统16的传感器得到的来自骨骼追踪模块16的数据，动画表现手臂114。在第二种情况下，其中由骨骼追踪模块16检测的运动可忽略不计或者未检测到运动，那么运动基于由生理参数感测系统14检测的、来自生理参数处理模块52的与意向运动相关的数据，并且特别地，所述数据可来自EEG传感器22和/或EMG传感器24。

图7和8a-8g更详细地说明该处理。在图7中的阶段1，诸如患者或操作员之类的用户与VR生成模块58的锻练逻辑单元84的用户输入设备接口，以从可存储的任务库选择任务。在这个例子中，选择“伸手去拿物体任务”。在这个阶段，可向用户提供先前类似任务的结果108，如图8a中所示。可提供这些结果，以帮助选择特定任务或任务难度。用户还可例如基于先前任务的成功的程度，输入参数来调节任务的难度。

在阶段2，锻练逻辑单元84初始化任务。这包含锻练逻辑单元84与VR环境单元86接口，以从部件库取回与选择的任务相关联的部件(比如盘110)的步骤。锻练逻辑单元84还与身体模型单元88接口，以从身体部位库取回与锻练相关联的身体部位(在此例子中，单个手臂114)的3D点云模型。随后将身体部位数据提供给化身姿势生成单元90，使得可以创建身体部位114的化身。VR内容整合单元92接收与身体部位的化身和VR环境中的部件相关的数据，并在VR环境中整合这些数据。该数据之后由锻练逻辑单元84接收，并被输出给头戴式设备18的显示装置34，如图8b中所示。通过把用于用户沿其移动手臂114的手115的目标路径118例如着色成蓝色，指示该目标路径118。

在阶段3，锻练逻辑单元84询问骨骼追踪模块16，以判定是否发生了任何手臂运动。手臂运动得自于用户穿戴的位置/运动检测系统16的传感器。如果发生可忽略不计的运动量(例如，小于预定量的量，其可由用户的状态和运动的位置确定)或者未发生运动，那么执行阶段5，否则执行阶段4。

在阶段4，锻练逻辑单元84处理运动数据，以判定运动是否正确。如果用户已在正确的方向上(例如沿着目标路径118，朝着物体110)移动他们的手115，那么执行阶段4a，并且目标路径的颜色可改变，例如，将其着色成绿色，如图8c中所示。否则，如果用户在不正确的方向上(例如远离物体110)移动他们的手115，那么执行阶段4b，并且目标路径的颜色可改变，例如，将其着色成红色，如图8d中所示。

在阶段4a和4b之后，执行阶段4c，在阶段4c中锻练逻辑单元84判定手115是否触及物体110。如果手已触及物体，如图8e中所示，那么执行阶段6，否则重新执行阶段3。

在阶段5，锻练逻辑单元84询问生理参数处理模块52，以判定是否已经发生任何生理活动。生理活动得自于用户穿戴的生理参数感测系统模块14的传感器，例如EEG和/或EMG传感器。可以将EEG和EMG传感器结合以改善检测率，并且在缺乏来自一种类型的传感器的信号时，可以使用来自另一种类型的传感器的信号。如果存在这种活动，那么它可由锻练逻辑单元84处理，并与手115的运动相关。例如，可以使用来自生理参数处理模块52的事件相关数据段的特性(比如信号的一部分的强度或持续时间)来计算手115运动的幅度。之后执行阶段6。

在阶段6a，如果用户已成功完成任务，那么为了向用户提供反馈116，则可以计算奖励得分，所述奖励得分可以基于计算的手115运动的轨迹的精确性。图8e示出向用户显示的反馈116。来自先前任务的结果也可被更新。

之后执行阶段6b，在阶段6b中，生理参数感测系统模块14的传感器(例如EEG和EMG传感器)的标记强度可用来提供反馈118。图8f示出向用户显示的反馈120的例子，其中将标记强度显示成最大值的百分率。来自先前任务的结果也被更新。之后，执行阶段7，在阶段7中终止任务。

在阶段8，如果在设定的时间段内，不存在由生理参数感测系统模块14的传感器，或者位置/运动检测系统16的传感器提供的数据，那么发生超时122，如在图8g中所示，并且执行阶段7。

例2：具有利用头戴式显示器、机器人系统和功能电刺激的虚拟现实反馈的混合大脑计算机接口

目的：向具有由神经问题(例如，ALS、中风、脑损伤、闭锁综合症、帕金森疾病等)引起的上肢运动障碍的患者提供最佳训练。这些患者需要训练来重整丧失/退化的运动功能。读取他们的进行功能性运动的意图，并在完成所述运动方面提供帮助的系统可增强康复成果。

为此，在重整丧失的运动功能方面，系统可采用Hebbian学习使大脑的输入区和输出区相关联。Hebbian原理是“同时重复活动的大脑中的细胞的任意两个系统将趋向于变得'关联'，以使一个细胞系统中的活动促进另一个细胞系统中的活动”。

在本例中，两个细胞系统是大脑的涉及感觉处理和生成运动命令的区域。当关联由于神经损伤而丧失时，经由Hebbian训练可以修复或重建所述关联。为了此训练的最佳结果，必须确保系统输入和输出的近乎完美的同步，并且以小延迟、更重要的是抖动几乎可忽略不计地向患者提供实时多感官反馈。

图9中图解所示的物理实施例包含可穿戴系统，所述可穿戴系统具有在微显示器上显示虚拟现实3D视频内容(例如，以第一人的视角)的头戴式显示器(HMD)18、立体视频摄像头30和深度摄像头28(运动追踪单元)，所述立体视频摄像头30和深度摄像头28的数据用于追踪穿戴者自己的手臂、物体和在视野之内的任意第二人。另外，放置在穿戴者1头上的EEG电极22、放置在手臂上的EMG电极24将分别测量大脑和肌肉的电活动，用于推断用户进行目标导向运动的意图。另外，存在用于追踪头部运动的惯性测量单元(IMU)29。在虚拟现实显示器中呈现执行或意向的运动。在通过生理传感器数据(即，EEG、EMG和运动追踪)，有运动的迹象的情况下，反馈机制利用机器人系统41帮助患者进行目标导向运动。此外，功能电刺激(FES)系统31激活手臂的肌肉完成计划的运动。另外，反馈机制应当提供和运动意图紧密耦合的适当刺激，以确保Hebbian学习机制的实现。在下面的文本中，我们描述实现传感器数据和刺激数据的高质量同步的体系结构。

下面的段落描述进行典型的目标导向任务方面的典型试验，所述目标导向任务可由患者重复数次以完成典型训练期。如图10中所示，当显示在HMD中时，3D视觉线索81(在这种情况下，门把手)指示患者1进行与开门对应的运动。遵循该视觉线索，患者可试图进行建议的运动。与视觉线索的呈现时刻同步地获得传感器数据(EEG、EMG、IMU、运动数据)。控制系统51随后提取传感器数据，推断用户意图，在通过移动手臂的机器人41向用户提供反馈方面达成共识，并且HDM显示基于推断的数据而动画表现的化身83的运动。还使功能电刺激(FES)31与其它反馈一起同步，以确保它们之间的一致。

图2d中图解说明这种系统的例证体系结构。采集单元获取生理数据(即，EEG22、EMG24、IMU29和摄像头系统30)。摄像头系统数据包括立体视频帧和深度传感器数据。另外，刺激相关的数据，比如在HMD上显示视频的特定图像帧的时刻，机器人的运动数据、传感器23的数据和FES31刺激数据也由采集单元53采样。采集单元53使每个传感器和刺激样本与从时钟输入获得的时间戳(TS)相关联。同步的数据随后由控制系统处理，并且用在通过VRHMD显示器、机器人运动以及FES刺激，生成给用户的适当的反馈内容中。

系统的输入：

-惯性测量单元(IMU)传感器29，例如包括加速度计、陀螺仪、磁力计:用途，追踪头部运动。该数据用于呈现VR内容，以及在数据质量可能因运动而恶化的情况下分割EEG数据。

-摄像头系统30、28：摄像头系统包括立体摄像头30和深度传感器28。结合这两个传感器的数据，以计算穿戴者自身上肢的运动的追踪数据，并且用于追踪穿戴者自身的手臂运动。这些运动随后用于在微显示器32上在虚拟现实中动画表现化身，和检测是否存在目标导向运动，所述目标导向运动随后用于通过显示器32、机器人41和刺激设备FES31来触发反馈。传感器EEG22&EMG24用于推断是否存在进行目标导向运动的意图。

系统/反馈系统的输出

-头戴式设备18的微显示器34：呈现2D/3D虚拟现实内容，在所述2D/3D虚拟现实内容中，穿戴者体验虚拟世界的第一人视角以及他自己的化身，所述化身的手臂与他自己的运动有关地移动。

-机器人系统41：本发明中描述的机器人系统用于在用户1握着触觉旋钮的情况下，驱动手臂的运动。系统提供一系列运动以及日常生活的活动的自然运动的触觉反馈。

-功能电刺激(FES)设备31：将FES系统的胶粘电极放置在用户的手臂上以刺激神经，当被激活时，所述神经可以修复丧失的手臂的自发运动。另外，作为结果的手的运动导致给大脑的动觉反馈。

数据处理

下面的段落描述从输入到输出为止的数据操纵。

采集单元53：

采集单元53的说明确保系统的输入/传感器数据和输出/刺激/反馈的近乎完美的同步，如图11中图解所示。每个传感器数据可具有不同的采样频率，并且归因于非共享的内部时钟，每个传感器数据的采样不会在完全相同的时刻开始。在这个例子中，EEG数据的采样频率为1kHz，EMG数据为10KHz，IMU数据为300Hz，摄像头数据为120帧/秒(fps)。类似地，刺激信号具有不同的频率，其中显示器刷新速率为60Hz，机器人传感器为1KHz，而FES数据为1KHz。

采集单元53目的在于精确地解决输入和输出的同步的问题。为了实现这一点，或者利用专用传感器感测系统的输出，或者从在刺激之前的阶段间接记录系统的输出，例如如下所示：

●感测微显示器：通常，首先将在控制系统中生成的视频内容推送给显示寄存器35(在显示器上激活视频内容之前的最后阶段)。连同视频内容一起，控制器把代码发送给与一个或多个像素(不太多的像素，以使用户不被干扰)对应的寄存器的一部分(比方说N位)。优选微显示器中的角落像素，因为它们对于用户可能不可见。代码(总共2^N)可由控制器或者锻练逻辑单元定义，描述显示内容。

●感测FES：可以从FES数据的最后的生成阶段(即，从DAC)读取FES数据。

●感测机器人的运动：机器人电动机嵌有提供关于电动机的角位移、转矩和其它控制参数的信息的传感器。

现在利用具有优选地远高于输入和输出的频率的频率(例如，1GHz)，但是至少2倍于传感器和刺激单元之中的最高采样频率的时钟信号，采集模块读取传感器样本并附加时间戳，如图12中图解所示。当传感器的样本从其ADC37a到达时，其到达时间用时钟信号的下一个即时上升沿标注。类似地，对于每个传感器和刺激数据关联时间戳。当这些样本到达控制器时，它按照到达的时间戳解读样本，导致最小化传感器和刺激间的抖动。

生理数据分析

生理数据信号EEG和EMG是噪声电信号，并且优选利用适当的统计方法被预处理。另外，通过在抖动可忽略不计的情况下，更好地使刺激和行为的事件与生理数据测量同步，也可减小噪声。

图13图解说明预处理的各个阶段(滤波阶段68、历元提取和特征提取阶段)。首先在各个频带(例如，对于皮层慢电位来说0.1-1Hz、对于α波和Rolandicμ节律来说8-12Hz、对于β频带来说18-30Hz、对于γ频带来说30-100Hz)中，对来自所有电极的EEG样本频谱滤波。这些频带中的每个包含在不同位置的神经振荡的不同方面。在该阶段之后，信号经历空间滤波，以另外改善信噪比。空间滤波包括诸如普通的平均去除到具有高斯窗或拉普拉斯窗的空间卷积的简单处理。在该阶段之后，基于从事件管理器71到来的事件标记，输入的样本被分割到时间窗口。这些事件对应于患者被给予刺激或者作出响应的时刻。

随后将这些EEG段提供给特征提取单元69，在特征提取单元69中首先进行时间校正。时间校正的一个简单例子是从来自选择的频带数据的试验数据去除基线或偏移。利用诸如离群点检测之类的统计方法，评估这些试验的质量。另外，如果存在通过IMU传感器数据登记的头部运动，那么试验被标注为伪迹试验。最后，根据很好地描述底层的神经处理的每个试验来计算特征。随后将这些特征提供给统计单元67。

类似地，EMG电极样本首先被频谱滤波，并且被施加空间滤波。从EMG信号的包络或功率获得运动信息。类似于EEG试验，EMG频谱数据被分割，并且被传给特征提取单元69。随后将EMG特征数据的输出发送给统计单元67。

统计单元67结合各个生理信号和运动数据，以解读用户进行目标导向运动的意图。该程序单元主要包括用于在特征的解读中的检测、分类和回归分析的机器学习方法。该模块的输出是驱动锻练逻辑单元84中的锻练的逻辑的意图概率和相关参数。该锻练逻辑单元84生成刺激参数，随后将所述刺激参数发送给刺激系统17的反馈/刺激生成单元。

在所有这些阶段中，确保具有最小的时滞，并且更重要的是最小的抖动。

事件检测&事件管理器

诸如刺激患者或者在VR显示器中向患者呈现指令的时刻、患者进行动作的时刻之类的事件是生理数据的解读所必需的。图14图解说明事件检测。需要检测与运动对应的事件以及外部物体或第二人的事件。为此，在追踪单元模块73中整合来自摄像头系统30(立体摄像头和来自深度传感器的3D点云)的数据，以产生各种追踪信息，比如：(i)患者的骨骼追踪数据，(ii)物体追踪数据，和(iii)第二用户追踪数据。基于行为分析的要求，这些追踪数据可用于生成各种事件(例如，患者抬起他的手去握着门把手的时刻)。

IMU数据提供头部运动信息。分析该数据以得到诸如用户移动头部以看向虚拟门把手之类的事件。

视频显示代码对应于视频内容(例如，虚拟门把手的显示或者任何视觉刺激)。这些代码还表示视觉事件。类似地，检测FES刺激事件、机器人运动和触觉反馈事件，并传送到事件管理器71中。包括运动分析器75a、IMU分析器75b、FES分析器75c和机器人传感器分析器75d的分析器模块75为事件管理器71处理各种传感器和刺激信号。

事件管理器71随后发送这些事件，用于标记生理数据、运动追踪数据等。另外，这些事件也被发送给锻练逻辑单元，用于为患者适应锻练或挑战的动态。

控制系统的其它方面

控制系统解读输入的运动数据，从生理数据解读意图概率，激活锻练逻辑单元，并且生成刺激/反馈参数。以下块是控制系统的主要部分。

-VR反馈：运动数据(骨骼追踪、物体追踪和用户追踪数据)用于以化身和虚拟物体的形式，在头戴式显示器上呈现3DVR反馈。

-锻练逻辑单元84：锻练逻辑单元实现包括给患者的指令和挑战(按各种难度等级进行的目标任务)的视觉显示帧序列。该逻辑单元还对事件管理器71的事件作出响应。最后，该单元把刺激参数发送给刺激单元。

-机器人&FES刺激生成单元：该单元生成为进行机器人系统41的目标运动所需的输入和相关联的触觉反馈。另外，可以使用于FES模块的刺激模式(电流强度和电极位置)同步并且适合于患者。

例3：具有增强现实反馈的大脑计算机接口和运动数据激活的神经刺激

目的

系统可提供与患者在真实世界中进行的动作有关的精确神经刺激，导致用于意向行为的神经模式的强化。

说明

利用摄像头系统捕捉用户的动作以及场景中的第二人和物体的动作，用于行为分析。另外，在使模式(EEG、ECOG等)之一与IMU数据同步的情况下，记录神经数据。从摄像头系统捕捉的视频与虚拟物体交织，以生成3D增强现实反馈，并通过头戴式显示器提供给用户。最后，在控制系统中生成适当的神经刺激参数，并发送给神经刺激。

由于用户的行为和生理测量之间的延迟和抖动，神经刺激应被优化，用于有效地强化神经模式。

这个例子的实现类似于例2，除了头戴式显示器(HMD)显示增强现实内容而不是虚拟现实之外(参见图2e)。意味着虚拟物体被嵌入利用立体摄像头捕捉，并显示在微显示器上的3D场景中，以确保场景的第一人视角。另外，通过诸如深部大脑刺激和皮层刺激，和诸如经颅直流电刺激(tDCS)、经颅交流电刺激(tACS)、经颅磁刺激(TMS)和经颅超声刺激之类的非侵入式刺激，实现直接神经刺激。有利的是，系统有时可使用一种或不止一种刺激形式来优化效果。该系统采用在例1中描述的采集单元。

在下面的段落§1-§41中，总结了生理参数测量和运动追踪系统的实施例的各个方面或结构：

§1.一种生理参数测量和运动追踪系统，包含：向用户显示信息的显示系统；包含配置成感测用户的大脑中和/或用户的肌肉中的电活动的一个或多个感测装置的生理参数感测系统，生理参数感测单元可操作以提供与用户的大脑和/或肌肉中的电活动有关的电活动信息；配置成提供与用户的身体部位的位置/运动对应的身体部位位置信息的位置/运动检测单元；布置成接收来自生理参数感测系统的电活动信息和来自位置/运动检测系统的身体部位位置信息的控制系统，控制系统被配置成向显示系统提供包含身体部位的目标位置的目标位置信息，显示系统被配置成显示所述目标位置信息，控制系统还被配置成基于身体部位位置信息向显示系统提供第四条信息，所述第四条信息向用户提供身体部位的运动或者与身体部位的运动相关的运动的视图，控制系统还被配置成基于电活动信息测量对于显示的身体部位的运动的生理和/或行为响应。

§2.一种生理参数测量和运动追踪系统，包含：向用户显示信息的显示系统；包含配置成感测用户的大脑和/或肌肉中的电活动的一个或多个感测装置的生理参数感测系统，生理参数感测系统可操作以提供与用户的大脑和/或肌肉中的电活动有关的电活动信息；布置成接收来自生理参数感测系统的电活动信息的控制系统，控制系统被配置成向显示系统提供包含身体部位的目标位置的目标位置信息，显示系统被配置成显示所述目标位置信息，控制系统还被配置成至少部分基于电活动信息向显示系统提供第四条信息，所述第四条信息向用户提供身体部位的运动或者身体部位的意向运动的视图。

§3.按照段落§2所述的生理参数测量和运动追踪系统，包括：配置成提供与用户的身体部位的位置/运动对应的身体部位位置信息的位置/运动检测系统；控制系统还被配置成接收来自位置/运动检测系统的身体部位位置信息，其中控制系统被配置成判定是否由位置/运动检测系统感测到不存在运动或者存在小于预定量的运动量，并且如果判定无运动或者运动量小于预定量，那么至少部分基于电活动信息向显示系统提供第四条信息，以使显示的身体部位的运动至少部分基于电活动信息。

§4.按照段落§3的生理参数测量和运动追踪系统，其中如果由位置/运动检测系统感测的运动量在预定量之上，那么控制系统可操作以基于身体部位位置信息来提供所述第四条信息。

§5.按照上述段落§1-§4任意之一所述的生理参数测量和运动追踪系统，其中控制系统被配置成向显示装置提供第五条信息，以向用户提供与在身体部位的运动或者身体部位的意向运动的完成之后获得的电活动信息的参数有关的反馈。

§6.按照段落§5所述的生理参数测量和运动追踪系统，其中所述参数是根据感测的信号强度的幅度和/或持续时间计算的。

§7.按照上述段落§1-§6任意之一所述的生理参数测量和运动追踪系统，其中生理参数感测系统包含一个或多个EEG传感器和/或一个或多个ECOG传感器和/或一个或多个单或多单元记录芯片，前述传感器用于测量用户的大脑中的电活动。

§8.按照上述段落§1-§7任意之一所述的生理参数测量和运动追踪系统，其中生理参数感测系统包含测量用户的肌肉中的电活动的一个或多个EMG传感器。

§9.按照上述段落§1-§8任意之一所述的生理参数测量和运动追踪系统，其中生理参数感测系统包含一个或多个GSR传感器，生理参数感测系统可操作以把来自该或每个GSR传感器的信息提供给控制单元，控制单元可操作以处理所述信息，以确定用户的动机的水平。

§10.按照上述段落§1-§9任意之一所述的生理参数测量和运动追踪系统，其中生理参数感测系统包含一个或多个：呼吸传感器；和/或一个或多个ECG传感器；和/或温度传感器，生理参数感测系统可操作以把来自该或每个前述传感器的信息提供给控制单元，控制单元可操作以处理所述信息，以预测和用户的状态对应的事件。

§11.按照上述段落§1和§3-§10任意之一所述的生理参数测量和运动追踪系统，其中位置/运动检测系统包含可操作以提供用户的图像流的一个或多个摄像头。

§12.按照段落§11所述的生理参数测量和运动追踪系统，其中摄像头包含深度感测摄像头和一个或多个彩色摄像头。

§13.按照上述段落§1-§12任意之一所述的生理参数测量和运动追踪系统，其中控制系统可操作以向生理参数感测系统供给信息，使得信号被提供给传感器，以刺激用户的运动或状态。

§14.按照上述段落§1-§13任意之一所述的生理参数测量和运动追踪系统，包含时钟模块，所述时钟模块可操作以对往来于下述中的一个或多个传送的信息加盖时间戳：生理参数感测系统；位置/运动检测系统；控制系统；显示系统，所述系统可操作以处理所述信息，以使生理参数测量和运动追踪系统的实时操作成为可能。

§15.一种用于测量用户的生理参数并提供虚拟现实显示的头戴式设备，包含：可操作以向用户显示虚拟现实图像或增强现实图像或混合现实或视频的显示系统；包含多个传感器的生理参数感测系统，所述传感器可操作以测量用户的大脑中的电活动，所述多个传感器被布置以使它们分布于用户的大脑的感觉和运动区。

§16.按照段落§15所述的头戴式设备，其中传感器被布置以使它们分布于用户的相当大部分头皮上。

§17.按照上述段落§15-§16任意之一所述的头戴式设备，其中按至少1个传感器/10cm²的密度布置传感器。

§18.按照上述段落§15-§17任意之一所述的头戴式设备，其中将传感器成组布置，以测量大脑的特定区域中的电活动。

§19.按照上述段落§15-§18任意之一所述的头戴式设备，其中显示单元安装在显示单元支持物上，将所述显示单元支持物配置成围绕用户的眼睛、并且至少部分围绕用户的后脑延伸。

§20.按照上述段落§15-§19任意之一所述的头戴式设备，其中传感器连接到柔性的头盖形传感器支持物，所述头盖形传感器支持物被配置成在用户的头部的相当大部分上延伸。

§21.按照段落§20所述的头戴式设备，其中头盖形传感器支持物包含帽子，所述帽子在边缘连接到显示单元支持物。

§22.按照段落§20所述的头戴式设备，其中头盖形传感器支持物包含上面安装传感器的板子，所述板子连接到配置成围绕用户的头顶延伸的带子，所述带子在其端部连接到显示系统支持物，并被布置成近似垂直于所述支持物。

§23.按照段落§20所述的头戴式设备，其中头盖形传感器支持物包含多个衬垫，第一组衬垫被布置成从第一衬垫支持物延伸，所述第一衬垫支持物沿近似正交的方向从显示单元支持物延伸，第二组衬垫被布置成从第二衬垫支持物延伸，所述第二衬垫支持物沿近似正交的方向从显示单元支持物延伸。

§24.按照段落§15-§23任意之一所述的头戴式设备，其中生理参数感测系统包含诸如EEG传感器之类的一个或多个非侵入式传感器。

§25.按照段落§15-§24任意之一所述的头戴式设备，其中生理参数感测系统包含诸如ECOG传感器之类的一个或多个侵入式传感器。

§26.按照段落§15-§25任意之一所述的头戴式设备，其中生理参数感测系统包含一个或多个眼睛运动传感器，该或每个眼睛运动传感器操作上接近用户的一只或两只眼睛地布置在头戴式设备上。

§27.按照段落§26所述的头戴式设备，其中该或每个眼睛运动传感器可操作以感测由眼睛运动引起的电活动。

§28.按照段落§27所述的头戴式设备，其中该或每个眼睛运动传感器是EOG传感器。

§29.按照段落§15-§28任意之一所述的头戴式设备，其中头戴式设备还包含可操作以检测用户的身体部位的位置/运动的位置/运动检测系统。

§30.按照段落§29所述的头戴式设备，其中位置/运动检测系统包含深度传感器和一个或多个彩色摄像头。

§31.按照段落§15-§30任意之一所述的头戴式设备，其中头戴式设备包含头部运动感测单元，所述头部运动感测单元可操作以在设备的操作期间感测用户的头部运动。

§32.按照段落§31所述的头戴式设备，其中头部运动感测单元包含加速度传感器和方位传感器。

§33.按照段落§15-§32任意之一所述的头戴式设备，其中头戴式设备包含无线数据传送装置，所述无线数据传送装置被配置成无线传送来自下述系统中的一个或多个系统的数据：生理参数感测系统；位置/运动检测系统；头部运动感测单元。

§34.按照段落§15-§33任意之一所述的头戴式设备，其中显示系统和生理参数感测系统包含在段落§1-§14任意之一中定义的显示系统和生理参数感测系统的特征中的任意一个或多个特征。

§35.一种生理参数测量和运动追踪系统，包含控制系统、感测系统和刺激系统，感测系统包含一个或多个生理传感器，所述一个或多个生理传感器至少包括脑电活动传感器，刺激系统包含一个或多个刺激设备，所述一个或多个刺激设备至少包括视觉刺激系统，控制系统包含配置成从感测系统接收传感器信号的采集模块，和配置成处理来自采集模块的信号、并控制给刺激系统的一个或多个设备的刺激信号的生成的控制模块，其中控制系统还包含时钟模块，并且其中控制系统被配置成用来自时钟模块的时钟信号对与刺激信号相关的信号和传感器信号加盖时间戳，通过时间戳的方式使刺激信号与传感器信号同步。

§36.按照§35所述的系统，其中与刺激信号相关的所述加盖时间戳的信号是从刺激系统接收的内容代码信号(39)。

§37.按照§36所述的系统，其中所述系统还包含显示寄存器，所述显示寄存器被配置成接收表示在显示器上激活显示内容之前的最后阶段的显示内容，显示寄存器被配置成生成用于传输给控制系统的显示内容代码信号，时间戳由时钟模块附加到所述显示内容代码信号。

§38.按照§35、§36或§37所述的系统，其中感测系统包含选自包括肌电图(EMG)传感器、眼电图(EOG)传感器、心电图(ECG)传感器、惯性传感器(INS)、体温传感器、皮肤电传感器的群组的生理传感器。

§39.按照§35-38任意之一所述的系统，其中感测系统包含确定用户的身体部位的位置和/或运动的位置和/或运动传感器。

§40.按照§39所述的系统，其中至少一个所述位置/运动传感器包含摄像头和可选的深度传感器。

§41.按照§35-40任意之一所述的系统，其中刺激系统包含选自包括音频刺激设备、功能电刺激(FES)设备和触觉反馈设备的群组的刺激设备。

§42.按照§35-41任意之一所述的系统，还包含按照§1-§34所述的系统的附加特征中的任意一个或多个附加特征。

附图标记列表

10生理参数测量和运动追踪系统

12控制系统

51控制模块

57输出信号(视频、音频、刺激)

53采集模块

55存储器

52骨骼追踪模块

60数据融合单元

62校准单元

64骨骼追踪单元

54生理参数处理模块

66重参考单元

68滤波单元

70频谱滤波模块

72空间平滑滤波模块

74拉普拉斯滤波模块

76事件标记单元

78伪迹单元

80伪迹检测模块

82伪迹去除模块

69特征提取单元

67统计单元

56头部追踪模块

104眼凝视追踪模块

58VR生成模块

84锻练逻辑单元

输入单元

86VR环境单元

88身体模型单元

90化身姿势生成单元

92VR内容整合单元

94音频生成单元

96反馈生成单元

106时钟模块

71事件管理器

73追踪单元

用户追踪

→64骨骼追踪单元

→104眼凝视追踪模块

物体追踪

75分析器模块

75a运动

75bIMU

75cFES

75d机器人传感器

18头戴式设备

40头部运动感测单元

42运动感测单元

44加速度感测装置

47头部朝向感测装置

46陀螺仪

48磁力计

50运动感测单元支持物(安装到HMD系统)

32显示单元

34显示装置

35显示寄存器

36显示单元支持物

33音频单元

27头盖形传感器支持物(用于安装传感器20)

27a板子

27b安装带

100眼凝视感测单元

102眼凝视传感器

13感测系统

14生理参数感测系统

20传感器

22脑电图(EEG)-连接到头部显示单元

24肌电图(EMG)-连接到身体中的肌肉

25眼电图(EOG)-眼睛运动传感器

27心电图(ECG)

29惯性传感器(INS)/惯性测量单元(IMU)传感器

40头部运动感测单元

体温传感器

皮肤电传感器

16位置/运动检测系统

26传感器

28深度/距离传感器

30摄像头(彩色)

21传感器输出信号

17刺激系统

31功能电刺激(FES)系统

音频刺激系统→音频单元33

视频刺激系统→显示单元32

37a模数转换器(ADC)

37b数模转换器(DAC)

39内容代码信号

41触觉反馈设备→机器人

23用户反馈传感器

Claims (27)

1.一种生理参数测量和运动追踪系统，包含：向用户显示信息的显示系统；包含一个或多个感测装置的生理参数感测系统，所述感测装置被配置成感测用户的大脑中的电活动，并且生成脑电活动信息；配置成提供与用户的身体部位的位置/运动对应的身体部位位置信息的位置/运动检测系统；布置成接收来自生理参数感测系统的脑电活动信息和接收来自位置/运动检测系统的身体部位位置信息的控制系统，控制系统被配置成向显示系统提供包含身体部位的目标位置的目标位置信息，显示系统被配置成显示目标位置信息，控制系统还被配置成向显示系统提供身体部位位置信息，所述身体部位位置信息向用户提供身体部位的运动或者身体部位的意向运动的视图，其中生理参数测量和运动追踪系统还包含时钟模块，所述时钟模块可操作以对从生理参数感测系统和位置/运动检测系统传送的信息加盖时间戳，所述系统可操作以处理所述信息，以使实时操作成为可能。

2.按照权利要求1所述的系统，其中时钟模块被配置成对与配置成刺激用户的大脑活动的刺激信号相关的信号和测量的大脑活动信号加盖时间戳，通过时间戳的方式使刺激信号能够与大脑活动信号同步。

3.按照权利要求1或2所述的系统，其中控制系统被配置成判定是否由位置/运动检测系统感测到不存在运动或者存在小于预定量的运动量，并且如果判定无运动或者运动量小于预定量，那么至少部分基于脑电活动信息向显示系统提供身体部位位置信息，以使显示的身体部位的运动至少部分基于脑电活动信息。

4.按照权利要求1-3任意之一所述的系统，其中生理参数感测系统包含配置成测量不同生理参数的多个传感器，所述传感器选自由EEG传感器、ECOG传感器、EMG传感器、GSR传感器、呼吸传感器、ECG传感器、温度传感器、呼吸传感器和脉搏血氧饱和度传感器组成的群组。

5.按照权利要求1-4任意之一所述的系统，其中位置/运动检测系统包含深度感测摄像头和可操作以提供用户的图像流的一个或多个彩色摄像头。

6.按照权利要求1-5任意之一所述的系统，其中控制系统可操作以向生理参数感测系统供给信息，以生成刺激用户的运动或状态的信号。

7.按照权利要求1-6任意之一所述的系统，包含形成单一单元的头戴式设备，所述单一单元包含可操作以向用户显示虚拟或增强现实图像或视频的所述显示系统；并且所述感测装置被配置成感测大脑中的电活动，感测装置包含分布于用户的大脑的感觉和运动区的多个传感器。

8.按照权利要求7所述的系统，其中传感器连接到柔性的头盖形传感器支持物，所述头盖形传感器支持物被配置成在用户的头上延伸，并连接到显示系统支持物。

9.按照权利要求7或8所述的系统，其中头盖形传感器支持物包含多个衬垫，第一组衬垫被布置成从第一衬垫支持物延伸，所述第一衬垫支持物沿近似正交的方向从显示单元支持物延伸，第二组衬垫被布置成从第二衬垫支持物延伸，所述第二衬垫支持物沿近似正交的方向从显示单元支持物延伸。

10.按照权利要求7-9任意之一所述的系统，其中头戴式设备包含配置成测量不同生理参数的所述多个传感器，所述多个传感器选自由EEG传感器、ECOG传感器、眼睛运动传感器和头部运动感测单元组成的群组。

11.按照权利要求7-10任意之一所述的系统，其中头戴式设备还包含可操作以检测用户的身体部位的位置/运动的所述位置/运动检测系统之一，位置/运动检测系统包含深度传感器和一个或多个彩色摄像头。

12.按照权利要求6-11任意之一所述的系统，其中头戴式设备包含无线数据传送装置，所述无线数据传送装置被配置成无线传送来自下述系统中的一个或多个系统的数据：生理参数感测系统；位置/运动检测系统；头部运动感测单元。

13.按照权利要求1-12任意之一所述的系统，还包括连接到控制系统并且可操作以电刺激用户的一个或多个身体部位的功能电刺激(FES)系统，FES包括选自由配置成刺激神经或肌肉的电极、经颅交流电刺激(tACS)、直流电刺激(tDCS)、经颅磁刺激(TMS)和经颅超声刺激组成的群组的一个或多个刺激设备。

14.按照权利要求1-13任意之一所述的系统，还包括用于驱动用户的肢体的运动并被配置成提供触觉反馈的机器人系统。

15.按照权利要求1-14任意之一所述的系统，还包括配置成生成包括给显示单元的指令和挑战的视觉显示帧的锻练逻辑单元。

16.按照权利要求1-15任意之一所述的系统，还包括事件管理器单元，事件管理器单元被配置成生成刺激参数，并把刺激参数传送给刺激单元。

17.按照权利要求1-16任意之一所述的系统，其中每个刺激设备包含其信号由同步设备登记的嵌入式传感器。

18.按照权利要求1-17任意之一所述的系统，还包括显示寄存器，所述显示寄存器被配置成接收表示在显示器上激活显示内容之前的最后阶段的显示内容，所述显示寄存器被配置成生成用于传输给控制系统的显示内容代码，时间戳由时钟模块附加到锁定内容代码。

19.一种生理参数测量和运动追踪系统，所述系统包含控制系统(12)、感测系统(13)和刺激系统(17)，感测系统包含一个或多个生理传感器，所述一个或多个生理传感器至少包括脑电活动传感器(22)，刺激系统(17)包含一个或多个刺激设备，所述一个或多个刺激设备至少包括视觉刺激系统(32)，控制系统包含配置成从感测系统接收传感器信号的采集模块(53)，和配置成处理来自采集模块的信号并控制给刺激系统的一个或多个设备的刺激信号的生成的控制模块(51)，其中控制系统还包含时钟模块(106)，并且其中控制系统被配置成用来自时钟模块的时钟信号对与刺激信号相关的信号和传感器信号加盖时间戳，通过时间戳的方式使刺激信号能够与传感器信号同步。

20.按照权利要求19所述的系统，其中与刺激信号相关的所述加盖时间戳的信号是从刺激系统接收的内容代码信号(39)。

21.按照权利要求20所述的系统，其中所述系统还包含显示寄存器，所述显示寄存器被配置成接收表示在显示器上激活显示内容之前的最后阶段的显示内容，显示寄存器被配置成生成用于传输给控制系统的显示内容代码信号，时间戳由时钟模块附加到所述显示内容代码信号。

22.按照权利要求19-21任意之一所述的系统，其中感测系统包含选自包括肌电图(EMG)传感器(24)、眼电图(EOG)传感器(25)、心电图(ECG)传感器(27)、惯性传感器(INS)(29)、体温传感器、皮肤电传感器、脉搏血氧饱和度传感器、呼吸传感器的群组的生理传感器。

23.按照权利要求19-22任意之一所述的系统，其中感测系统包含确定用户的身体部位的位置和/或运动的位置和/或运动传感器。

24.按照权利要求23所述的系统，其中至少一个所述位置/运动传感器包含摄像头(30)和可选的深度传感器(28)。

25.按照权利要求19-24任意之一所述的系统，其中刺激系统包含选自包括音频刺激设备(33)、功能电刺激(FES)设备(31)和触觉反馈设备的群组的刺激设备。

26.按照权利要求19-25任意之一所述的系统，其中时钟模块被配置成与包括外部计算机的其它系统的时钟模块同步。

27.按照权利要求19-26任意之一所述的系统，还包括按照权利要求1-18任意之一所述的系统的附加特征中的任意一个或多个附加特征。