CN113111761A - 基于脑机接口与虚拟现实的手部运动能力恢复系统及方法 - Google Patents

Abstract

本发明公开了一种基于脑机接口与虚拟现实的手部运动能力恢复系统及方法，所述系统包括：EEG脑电帽，被配置为采集用户的脑电信号并传送至脑电信号处理模块；脑电信号处理模块，被配置为对接收到的脑电信号进行预处理，利用运动想象算法提取脑电信号的运动想象意图分类；柔性康复手套，被配置为采用气泵作为动力输出源，根据运动想象意图控制手部进行相应的手部动作，同时检测用户手部动作及幅度；虚拟现实模块，被配置为将检测到的用户手部动作及幅度信息转换为电压信号，基于电压值信号的范围反馈相应的手势动作。本发明运动想象算法分类速度快，此种算法将特征提取与分类步骤同时完成，极大缩短了算法的执行时间，更适合于在线系统分析。

Description

基于脑机接口与虚拟现实的手部运动能力恢复系统及方法

技术领域

本发明涉及康复训练控制技术领域，尤其涉及基于脑机接口与虚拟现实的手部运动能力恢复系统及方法。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

脑机接口(Brain-Computer Interface，BCI)技术是在人脑与计算机或其它电子设备之间建立的直接的交流和控制通道，通过这种通道，人就可以直接通过脑来表达想法或操纵设备，而不需要语言或动作，这可以有效增强身体严重残疾的患者与外界交流或控制外部环境的能力，以提高患者的生活质量，更为中风及偏瘫患者的康复训练带来了希望。

现有技术在单次实验的情况下，对左手、右手以及脚部三类不同运动想象状态采用LVQNN算法进行在线模式识别，对三种(左手、右手以及脚部)运动想象EEG(脑电信号)成功进行分类，但是测试四名受试者的时候，发现分类正确率仅达到了60％。

当前脑机技术的发展迅速，运动想象逐渐兴起。运动想象是指没有实际的肢体活动的行为，是通过大脑意念自发形成脑电信号，脑电采集器采集分析信号，通过硬件控制器实现机械肢体动作。与诱发脑电信号不同的是，运动想象不需要外界刺激，至于要大脑进行想象运动，脑电信号便会形成特异波形。所以，运动想象有简单，灵活，无创伤的优点，对于老年人、行动不便者、中风瘫痪等疾病患者是一种有效的训练康复手段。

传统康复手套采用机械关节辅助手部康复，因为大多数脑卒中患者手部运动不灵活，大脑无法感知手部的触觉，过度的硬性康复训练容易对患者造成意外伤害。由于脑卒中病人神经通路出现问题，所以康复训练中病人也无法通过及时的训练反馈得知自己的康复训练进度。因此，现有的康复训练系统普遍存在运动想象分类正确率较低，稳定性差，传统康复手套设计不合理，反馈系统不完善等问题。

发明内容

为了解决上述问题，本发明提出了一种基于脑机接口与虚拟现实的手部运动能力恢复系统及方法，能够提高运动想象分类的精度，解决传统硬性康复手套容易对患者造成意外伤害的问题。

在一些实施方式中，采用如下技术方案：

一种基于脑机接口与虚拟现实的手部运动能力恢复系统，包括：

EEG脑电帽，被配置为采集用户的脑电信号并传送至脑电信号处理模块；

脑电信号处理模块，被配置为对接收到的脑电信号进行预处理，利用运动想象算法提取脑电信号的运动想象意图分类；

柔性康复手套，被配置为采用气泵作为动力输出源，根据运动想象意图控制手部进行相应的手部动作，同时检测用户手部动作及幅度；

虚拟现实模块，被配置为将检测到的用户手部动作及幅度信息转换为电压信号，基于电压值信号的范围反馈相应的手势动作。

作为进一步地方案，所述脑电信号处理模块对接收到的脑电信号进行预处理，具体包括：使用数字带通滤波器对脑电信号进行滤波处理。

作为进一步地方案，利用运动想象算法提取脑电信号的运动想象意图分类，具体包括：

使用空间协方差矩阵表示脑电信号，通过样本协方差矩阵表示脑电信号矢量；

基于样本协方差矩阵，通过梯度下降算法计算不同已知类别标签的黎曼平均值；

计算出未知类别的协方差矩阵与不同已知类别的协方差矩阵之间的黎曼距离，从而估计出未知类别协方差矩阵所属的类别标签。

作为进一步地方案，未知标签信号的样本协方差矩阵具体为：

其中，X为未知标签信号，T_s为采样时间点的数量。

作为进一步地方案，基于样本协方差矩阵，通过梯度下降算法计算不同已知类别标签的黎曼平均值，具体为：

P₁，...，P_N为一组正定对称矩阵，N为正定对称矩阵的数量，其中Exp()是Log()的逆运算；

判断||Xi||<∈是否成立，ò取一个无限接近0的数，若成立，则输出μ作为这一组已知类别标签的黎曼均值，否则返回循环继续计算。

作为进一步地方案，计算出未知类别的协方差矩阵与不同已知类别的协方差矩阵之间的黎曼距离，具体包括：

其中，

是每个条件的类内协方差矩阵，其中k＝[1:K]表示类索引集；λ_i,i＝1...n是

的实特征值，P为未知类别的协方差矩阵，F为F-范数。

作为进一步地方案，取黎曼距离值的最小者对应的类别作为未知信号X的类别标签。

作为进一步地方案，所述柔性康复手套中加入六轴传感器和弯曲度传感器，所述弯曲度传感器数据具体为：在单片机上设置五个ADC规则通道，每个通道接收不同手指对应的弯曲度传感器的电压信号，对所述信号进行AD转换得到每个手指的弯曲程度数据。

作为进一步地方案，所述柔性康复手套基于脑电信号处理模块输出的运动想象意图分类信号作为输入，通过控制气泵的抽拉动作完成相应的手部动作。

在另一些实施方式中，采用如下技术方案：

一种基于脑机接口与虚拟现实的手部运动能力恢复方法，包括：

采集用户的脑电信号并进行预处理；

利用运动想象算法提取脑电信号的运动想象意图分类；

采用气泵作为动力输出源，根据运动想象意图控制手部进行相应的手部动作，同时检测用户手部动作及幅度；

将检测到的用户手部动作及幅度信息转换为电压信号，基于电压值信号的范围反馈相应的手势动作。

与现有技术相比，本发明的有益效果是：

本发明运动想象算法分类速度快，此种算法将特征提取与分类步骤同时完成，极大缩短了算法的执行时间，更适合于在线系统分析。

本发明运动想象算法无需训练，只需计算未知类别脑电信号与已知类别脑电信号的黎曼距离就可以进行类别判断。

本发明康复训练过程柔和，此种柔性手套采用气泵作为动力源，不会因为过度训练对患者造成意外伤害。

本发明根据个体差异进行针对性训练强度，柔性手套感知功能可以感知采集患者手部动作幅度，进一步有针对性的进行恢复训练，因为个体差异的不同不能一味的选用同样的训练强度。根据患者患病情况不同进行相应的训练会达到更好的恢复效果。

本发明具备虚拟现实反馈功能，脑机接口与虚拟现实反馈系统的结合可以提高患者的主动参与的积极性，使患者可以自主感受到恢复训练进度，提高恢复程度的精准度。可以最大程度的促进患者受损运动传到路的恢复。

本发明的其他特征和附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本方面的实践了解到。

附图说明

图1是本发明实施例中基于脑机接口与虚拟现实的手部运动能力恢复系统工作过程示意图。

具体实施方式

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例一

根据本发明实施例，公开了一种基于脑机接口与虚拟现实的手部运动能力恢复系统，参照图1，具体包括以下部分：

EEG脑电帽，被配置为采集用户的脑电信号并传送至脑电信号处理模块；

脑电信号处理模块，被配置为对接收到的脑电信号进行预处理，利用运动想象算法提取脑电信号的运动想象意图分类；

柔性康复手套，被配置为采用气泵作为动力输出源，根据运动想象意图控制手部进行相应的手部动作，同时检测用户手部动作及幅度；

虚拟现实模块，被配置为将检测到的用户手部动作及幅度信息转换为电压信号，基于电压值信号的范围反馈相应的手势动作。

本发明实施例系统的主要工作过程为：

通过对脑电信号的收集分析意图提取，并通过柔性康复手套核心控制器发出控制命令，控制柔性手套进行抓紧或者伸张动作。

整个过程主要包括脑电信号的采集，脑电信号分析及意图提取，手部软康复和虚拟现实四部分。系统工作流程为：患者想象手部抓紧动作，脑电信号采集系统采集患者脑电信号，并传送进脑电信号处理模块。脑电信号处理模块对患者脑电信号进行分析并进行意图提取。提取出患者抓紧意图之后，将患者意图发送给柔性康复手套。柔性康复手套可以有两个工作状态：

1.检测状态下，康复手套只具有检测功能，检测患者手部抓紧的动作及幅度，并将信息传送给虚拟现实模块，虚拟现实模块，将检测到的动作及幅度通过文字、图片等形式显示在电脑屏幕上，给患者反馈。

2.康复状态下，检测手套具有康复功能，根据患者传送过来的抓紧意图，康复手套进行抓紧动作，同时带动患者手部进行抓紧动作。在此过程中，将检测到的患者手部状态、康复手套施加的力等信息传输给虚拟现实模块，通过电脑屏幕进行显示，反馈给患者。

具体地，EEG脑电帽采用32通道脑电无线采集系统(包括EEG脑电帽、无线脑电信号放大器和专用路由器)，具有优异的电磁兼容性能和抗运动干扰能力。设置脑电帽采样频率为250Hz，整个过程保持电极阻抗不超过5k欧姆，本采集系统不仅可以在线采集数据，还可以保存脑电数据方便以后做离线数据分析。EEG脑电帽采集的数据通过WiFi传输到脑电信号处理模块。

脑电信号处理模块首先对接收到的脑电信号进行预处理，对脑电信号使用数字带通滤波器进行2Hz到40Hz滤波，从而消除工频以及高频的频率干扰，滤波采用的是Butterworth滤波器，从而达到对脑电信号的频域滤波。

运动想象算法及意图提取过程具体如下：

使用空间协方差矩阵表示EEG信号，协方差矩阵的定义公式如(1)：

∑＝E{(X_t-E{X_t})(X_t-E{X_t})^T} (1)

其中X_t表示为特定时间点t处的EEG信号矢量，E{X_t}表示X_t的期望值。

样本协方差矩阵的计算公式如下所示。已知类别标签信号X_i的样本协方差矩阵的计算公式如(2)：

对于未知标签信号X的样本协方差矩阵的计算公式如(3)：

通过上述公式完成黎曼空间的转化，通过样本协方差矩阵表示EEG信号矢量。

利用此协方差矩阵计算黎曼平均值，具体操作步骤如下。

针对不同类别的协方差矩阵P_i之间的黎曼平均值由式(4)给出：

该平均值也称为几何平均值，据定理可知，这种流形中的均值有且只有一个，但是此式子只是为了证明均值存在。若要计算需要使用有效的迭代算法，说明如下。

此种均值需要结合一种梯度下降算法实现，具体运算过程结合如下公式进行说明：

首先输入一组已知类别标签的样品协方差矩阵(SCM)，即P₁，...，P_N。

接下来利用公式(5)和(6)做循环计算：

最后判断||Xi||<∈(ò取一个无限接近0的数)是否成立，判断此式是否成立，是则输出μ作为这一组已知类别标签的黎曼均值，否则返回循环继续计算。

通过此迭代算法可以把k个不同类别标签的黎曼均值计算出来。

前面计算出了g个未知类别标签的信号矢量X的样本协方差矩阵P，为方便叙述，本方法选取任意一个未知类别标签的协方差矩阵做阐述。

一个未知类别的协方差矩阵P与不同类别的协方差矩阵

之间的黎曼距离计算公式如下式(7)：

其中

是每个条件的类内协方差矩阵，其中k＝[1:K]表示类索引集。

λ_i,i＝1...n是

的实特征值。

根据(7)式计算出未知SCM与不同类别SCM的几何平均值之间的黎曼距离，通过(8)式便可估计出未知SCM所属的类别标签

也就是取这些黎曼距离值的最小者对应的类别作为未知信号X的类别标签。

柔性康复手套采用气泵作为动力主要输出源，因为气泵作为力量输出源相对于传统的硬性手套更柔和，可以最大程度避免对患者的意外伤害。并且本柔性手套具有感知与康复功能，感知功能可以检测患者手部抓紧与放松状态下的动作及幅度。在康复功能下，可以根据运动想象意图控制手部进行相应的手部动作，并同时检测患者手部动作及幅度。

感知功能：柔性康复手套中加入MPU6050六轴传感器和弯曲度传感器，弯曲度传感器数据是利用STM32F103单片机接收经过电阻——电压转换电路转换过的弯曲度传感器的电压信号，每只手有五根手指，在单片机上设置五个ADC规则通道，用自带的AD转换电路进行AD转换得到手指的弯曲程度，ADC通道0～4分别代表大拇指、食指、中指、无名指、小指弯曲度的值。通过计算机上串口调试助手读出其经过AD转换过后不同弯曲程度时的数值，并对其进行分别量化和判断处理，得到最后的手指弯曲数据。

康复功能：根据脑电信号处理模块分析出的抓紧或者放松信号，将输出信号作为手部康复部分的输入信号。从而使柔性康复手套发出控制指令，控制气泵进行缓慢抽拉动作，以达到手部的抓取或者放松动作的完成。同时进行的还有感知功能的运行，传感器实时监测电阻的变化，将信息传送至虚拟现实部分反馈给患者手部此刻的动作状态。

虚拟现实的开发平台选择的是Unity3D，所用的语言为C#。由于弯曲度传感器会根据弯曲度的大小程度变化电阻值，电阻值通过电阻电压转换电路转换为电压信号，通过电压信号值的范围定义虚拟现实中手部的动作，具体电压电阻值量化公式如下：

假设接收到的数值为X，用X来除以0.06，即X/0.06为弯曲度传感器的电压值的量化V_x*3.3/4096(V_x为传感器上的电压)

V_x*3.3/4096＝X/0.06

V_x＝3.3*(R/(R+20K))

R的阻值与弯曲度传感器的弯曲程度成相关比例，X的值和弯曲度成正相关。当手做出某个手势时，主控芯片获取当前五根手指的弯曲数据及手部在空间中的姿态数据，然后通过WiFi模块发送给虚拟现实系统，虚拟现实系统对应数据库中手部动作信息与电压值信号范围，然后做出相应的手势动作，从而达到反馈给患者手部信息的作用。

实施例二

根据本发明的实施例，公开了一种基于脑机接口与虚拟现实的手部运动能力恢复方法的实施例，包括以下步骤：

(1)采集用户的脑电信号并进行预处理；

(2)利用运动想象算法提取脑电信号的运动想象意图分类；

(3)采用气泵作为动力输出源，根据运动想象意图控制手部进行相应的手部动作，同时检测用户手部动作及幅度；

(4)将检测到的用户手部动作及幅度信息转换为电压信号，基于电压值信号的范围反馈相应的手势动作。

需要说明的是，上述各步骤的具体实现方式已经在实施例一中进行了详细的说明，不再赘述。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种基于脑机接口与虚拟现实的手部运动能力恢复系统，其特征在于，包括：

EEG脑电帽，被配置为采集用户的脑电信号并传送至脑电信号处理模块；

脑电信号处理模块，被配置为对接收到的脑电信号进行预处理，利用运动想象算法提取脑电信号的运动想象意图分类；

柔性康复手套，被配置为采用气泵作为动力输出源，根据运动想象意图控制手部进行相应的手部动作，同时检测用户手部动作及幅度；

虚拟现实模块，被配置为将检测到的用户手部动作及幅度信息转换为电压信号，基于电压值信号的范围反馈相应的手势动作。

2.如权利要求1所述的一种基于脑机接口与虚拟现实的手部运动能力恢复系统，其特征在于，所述脑电信号处理模块对接收到的脑电信号进行预处理，具体包括：使用数字带通滤波器对脑电信号进行滤波处理。

3.如权利要求1所述的一种基于脑机接口与虚拟现实的手部运动能力恢复系统，其特征在于，利用运动想象算法提取脑电信号的运动想象意图分类，具体包括：

使用空间协方差矩阵表示脑电信号，通过样本协方差矩阵表示脑电信号矢量；

基于样本协方差矩阵，通过梯度下降算法计算不同已知类别标签的黎曼平均值；

计算出未知类别的协方差矩阵与不同已知类别的协方差矩阵之间的黎曼距离，从而估计出未知类别协方差矩阵所属的类别标签。

4.如权利要求3所述的一种基于脑机接口与虚拟现实的手部运动能力恢复系统，其特征在于，未知标签信号的样本协方差矩阵具体为：

其中，X为未知标签信号，T_s为采样时间点的数量。

5.如权利要求3所述的一种基于脑机接口与虚拟现实的手部运动能力恢复系统，其特征在于，基于样本协方差矩阵，通过梯度下降算法计算不同已知类别标签的黎曼平均值，具体为：

P₁，...，P_N为一组正定对称矩阵，N为正定对称矩阵的数量，其中Exp()是Log()的逆运算；

判断||Xi||<∈是否成立，ò取一个无限接近0的数，若成立，则输出μ作为这一组已知类别标签的黎曼均值，否则返回循环继续计算。

6.如权利要求3所述的一种基于脑机接口与虚拟现实的手部运动能力恢复系统，其特征在于，计算出未知类别的协方差矩阵与不同已知类别的协方差矩阵之间的黎曼距离，具体包括：

其中，

是每个条件的类内协方差矩阵，其中k＝[1:K]表示类索引集；λ_i,i＝1...n是

的实特征值，P为未知类别的协方差矩阵，F为F-范数。

7.如权利要求6所述的一种基于脑机接口与虚拟现实的手部运动能力恢复系统，其特征在于，取黎曼距离值的最小者对应的类别作为未知信号X的类别标签。

8.如权利要求1所述的一种基于脑机接口与虚拟现实的手部运动能力恢复系统，其特征在于，所述柔性康复手套中加入六轴传感器和弯曲度传感器，所述弯曲度传感器数据具体为：在单片机上设置五个ADC规则通道，每个通道接收不同手指对应的弯曲度传感器的电压信号，对所述信号进行AD转换得到每个手指的弯曲程度数据。

9.如权利要求1所述的一种基于脑机接口与虚拟现实的手部运动能力恢复系统，其特征在于，所述柔性康复手套基于脑电信号处理模块输出的运动想象意图分类信号作为输入，通过控制气泵的抽拉动作完成相应的手部动作。

10.一种基于脑机接口与虚拟现实的手部运动能力恢复方法，其特征在于，包括：

采集用户的脑电信号并进行预处理；

利用运动想象算法提取脑电信号的运动想象意图分类；

采用气泵作为动力输出源，根据运动想象意图控制手部进行相应的手部动作，同时检测用户手部动作及幅度；

将检测到的用户手部动作及幅度信息转换为电压信号，基于电压值信号的范围反馈相应的手势动作。

Images