CN114082169B - 基于脑电信号的伤残手软体康复机器人运动想象识别方法 - Google Patents

Abstract

本发明公开了基于脑电信号的伤残手软体康复机器人运动识别方法，包括步骤：(1)针对脑电信号在采集过程中可能出现眨眼产生的眼电干扰，采用离散小波变换和独立成分分析结合样本熵的新方法进行了去噪处理；(2)采用一种融合通道注意力模块的卷积神经网络结合支持向量机模型对信号进行特征提取和分类，识别患者的运动意图；(3)增强现实技术应用到人机交互系统，不仅帮助患者更好地进行运动想象，从而使他们产生更加容易识别的脑电信号，而且能够增加患者主动康复训练的趣味性。本发明基于脑电信号的伤残手软体康复机器人运动识别方法解决了单一脑电信号利用率低的问题，提高了脑电信号的信噪比以及识别精度。

Description

基于脑电信号的伤残手软体康复机器人运动想象识别方法

技术领域

本发明涉及一种基于脑电信号的伤残手软体康复机器人运动想象识别方法，属于模式识别技术领域。

背景技术

脑卒中，俗称中风，是世界范围内常见的脑血管疾病之一，脑卒中后约70％-85％的患者会伴有偏瘫。人类的手部对生活自理能力和生活质量的影响远较下肢更为明显，然而在脑损伤后偏瘫患者手部功能的恢复也远较下肢更为困难和缓慢，这使得脑卒中后手部功能的康复成为世界性难题。随着计算机技术的不断发展以及对脑功能的深入研究，脑机接口(Brain-computer Interface,BCI)技术为中风偏瘫患者的康复治疗提供了一种新的思路。

广义上讲，BCI是指在人脑和计算机或其他电子设备之间建立的一种不需要依赖外周神经系统及肌肉组织进行信息传输的全新的信息交流系统。BCI的实现方式有很多种，包括脑电图、脑磁图、磁共振成像等。其中，除脑电图外其他几种方式费用昂贵、技术复杂、成像速度缓慢，因此通常人们所讲的BCI大部分是指基于脑电图得BCI。脑电图处理的原始信号称为脑电信号。所以，将BCI应用于偏瘫患者进行康复治疗的实质，就是将系统采集到的EEG经翻译解码后转化输出控制命令来支配外部设备作用于手部肌肉。外部设备部分补偿了患者弱化的机体功能，辅助协调手部执行实际动作。偏瘫患者通过重复训练，进行脑功能重塑的同时也促进了局部手部神经的康复，从而达到较好的康复训练效果，使得手部运动功能逐步恢复。

根据BCI在康复领域的应用情况，大致总结出目前基于BCI的三种康复治疗方式：第一种，依托BCI解码患者的脑电意图，直接用于控制外部硬件系统，如控制神经假肢、智能轮椅、荧幕光标等；第二种，对于神经阻断但手部尚在的残疾人可以利用BCI系统转换获取特征信号指令，借助设备辅助手部完成简单日常基本动作。第三种，由于神经科学的发展，科学家发现基于BCI的康复系统可以激发瘫痪患者的主动运动意图，从而促使受伤的运动神经通路修复，改善康复治疗的效果。因此国内外有许多学者和研究机构将瘫痪患者的运动功能康复治疗和BCI技术相结合，并取得了丰硕的成果。

基于康复训练领域的BCI技术研究，涉及医学、心理学、信号处理等交叉学科的内容，研究难度较大。相关研究表明，BCI技术应用于手部康复训练系统的研究有着极大的价值。

发明内容

本发明的目的在于提供基于脑电信号的伤残手软体康复机器人运动想象识别方法，应用于伤残手康复领域。本发明解决了三方面的问题：第一，采用离散小波变换和独立成分分析结合样本熵的方法对采集到的脑电信号进行预处理，提高脑电信号的信噪比，第二，是运动意图识别方法，通过融合通道注意力模块的卷积神经网络和支持向量机模型对脑电信号进行分类识别，提高了脑电信号的识别精度；第二，将增强现实技术应用到人机交互系统，不仅能有效的帮助患者更好地进行运动想象，从而使他们产生更加容易识别的脑电信号，而且能够增加患者主动康复训练的趣味性。

本发明的目的通过以下技术方案予以实现：

基于脑电信号的伤残手软体康复机器人运动想象识别方法，包括以下步骤：

⑴本发明针对恢复期前期，根据手抓握、伸展视频引导被试者进行左右手运动想象相应的手部运动，同时脑电信号采集设备实时获取左右手运动想象产生的脑电信号；

⑵对采集到的脑电信号X_N×M(t)采用离散小波变换将不同通道连续的脑电信号分解成δ、θ、α、β和γ波段，记为D_5N×M(t)＝[d_1δ,d_1θ,d_1α,d_1β,d_1γ,....d_ij,...,d_Nδ,d_Nθ,d_Nα,d_Nβ,d_Nγ]^T，其中d_ij表示第i个(i＝1,2,...,N)通道脑电信号的j(j＝{δ,θ,α,β,γ})波段；然后采用独立成分分析和样本熵去除在采集脑电信号过程中因眨眼产生的眼电信号干扰，也即眼电伪迹，得到不含眼电伪迹的脑电信号T_N×M；其中，样本熵是用来度量信号或系统的稳定程度，若处理后的信号越不稳定，则熵值越大；反之处理后的信号越稳定，熵值越小；

⑶将T_N×M作为融合通道注意力模块的卷积神经网络模型的输入样本，经过通道注意力模块增强对运动意图识别有用的脑电信号特征，弱化无用特征，得到对输入数据按通道程度加权后的输出数据

卷积层利用n个卷积核学习/>

的特征，得到n个特征映射Mapi(i＝1,2,...,n)；池化层采用平均池化对卷积层的每个Map进行降采样；全连接层采用一个1×1的映射矩阵w将池化层的n个Map进行全连接，生成n×(N-2)×(M-2)/4个神经元；输出层输出脑电信号的类别，并通过反向传播算法将误差反向传播，从而对卷积神经网络的参数进行更新；

⑷用最小二乘支持向量机替换原始卷积神经网络中的输出层，并以全连接层得到的特征作为最小二乘支持向量机的输入，分类提取出运动意图所需的信号；

⑸针对恢复期前期的伤残手患者，将增强现实技术应用到患者手部康复训练系统中，开发“摘苹果”康复训练环境；训练开始后，患者通过想象手的抓握与伸展动作触发脑电信号，同时采集患者脑电信号进行预处理及特征提取，最终获得其运动意图，进而实现摘苹果的动作；在此训练环境中，设置两个训练模式：计时模式，计算机统计患者摘光树上的苹果需要花费的时间；限时模式，计算机统计在规定时间内患者摘到的苹果数；当患者成功摘到苹果时，计算机会给出“摘到i个苹果”(i＝1,2,..N)的听觉反馈以及触觉反馈。

本发明的目的还可以通过以下技术措施进一步实现：

进一步的，步骤(1)中其脑电信号的采集具体包括：

步骤(1.1)：当t＝0s时，被试者准备开始实验，并调整身体使其进入放松状态；

步骤(1.2)：当t＝2s时，计算机发出开始提示音后，被试者根据视频引导执行相应的实验任务；

步骤(1.3)：当t＝6s时，计算机发出停止提示音后，被试者停止执行实验任务，稍作休息后继续下次实验。

进一步的，步骤(2)脑电信号的预处理具体包括：

步骤(2.1)：设X_N×M(t)表示采集到的脑电信号，其中N表示通道个数，M表示每个通道信号的长度；对每个通道的脑电信号进行离散小波变换分解，重构相应层的小波系数得到脑电信号信号的δ、θ、α、β和γ波段，记为D_5N×M(t)＝[d_1δ,d_1θ,d_1α,d_1β,d_1γ,....d_ij,...,d_Nδ,d_Nθ,d_Nα,d_Nβ,d_Nγ]^T，其中d_ij表示第i个(i＝1,2,...,N)通道脑电信号的j(j＝{δ,θ,α,β,γ})波段；

步骤(2.2)：对步骤(2.1)进行零均值化和白化处理；

零均值化也叫做数据的中心化，即从观测数据中去除其均值，其算法如下：

D'(t)＝D(t)-E[D(t)] (1)

其中，D(t)为经过离散小波变换的脑电信号，也即观测信号，D'(t)为去除均值后的观测信号，E[D(t)]为观测信号的均值；

信号的白化过程可通过特征值分解的方法实现：

令C_x为D'(t)的协方差矩阵，即C_x＝E[D'(t)D'(t)^T]，该矩阵可分解为：

C_x＝UΛU^T (2)

其中，U为C_x的特征向量所构成的正交矩阵，Λ＝diag(λ₁,λ₂,....λ_N)为C_x的特征值所构成的对角矩阵，则白化矩阵V可表示为：

V＝Λ^-1/2U^T (3)

其白化过程为：

Z(t)＝VD'(t)＝VAS(t)＝BS(t) (4)其中，Z(t)为新的观测信号，A为混合矩阵，S(t)为源信号，B为正交矩阵；

步骤(2.3)：采用独立成分分析中基于负熵最大化判据的新型快速固定点算法—FastICA算法对Z(t)进行分解；其中，负熵是用来度量非高斯性的一种标准，而非高斯性可以用来度量分离结果之间的相互独立性。当负熵达到最大时，则表明已完成对各独立分量的分离，设信号中的一个独立成分为y,负熵的定义如下：

J(y)＝H(y_gauss)-H(y) (5)

其中，J表示代价函数；y_gauss是与y具有相同均值和方差的高斯随机变量；H(·)表示变量的微分熵,其计算方法如下：

H(y)＝-∫P_y(ξ)lgP_y(ξ)dξ (6)

由Y(t)＝WZ(t)，W为分离矩阵，Y(t)为输出列向量，y＝w^TZ(t)中w_i为W的第i行，则FastICA中的目标函数可以表示为：

其中，G_i(·)表示一种非二次函数，

为分离出的第i个独立分量，v是均值取值为0方差设定为1的高斯变量，随机变量y与v具有相同的数学性质；

根据拉格朗日定理，在

约束条件下/>

的最优值可通过下式得到：

其中，g(·)为函数G_i(·)的一阶导数；β可以通过β＝E{w_i(0)^TZ(t)g(w_i(0)^TZ(t))}获得，其中w_i(0)为w_i的初始值，接下来利用牛顿迭代法求解得到迭代公式：

经多次迭代后对于w_i(k+1)进一步做标准化处理，如下式：

然后判断w_i(k+1)是否收敛，若不收敛，则重新进行迭代，直到收敛为止，并输出求解出的脑电信号与眼电伪迹的独立分量；

步骤(2.4)：伪迹波段选择；将样本熵方法运用在FastICA分离出的眼电伪迹分量识别中,其公式为：

SampEn(m,r,N)＝-ln[B^m(r)/B^m+1(r)] (11)

其中，SampEn(m,r,N)为样本熵，N为信号的长度，r为相似容限，m为嵌入维数；

将计算得到的样本熵值按从小到大的顺序重新排列后，依次表示为λ_k(1＜k＜N)，根据信号的样本熵值测量眼电伪迹与脑电信号的复杂度，并结合公式(12)区分眼电伪迹和脑电信号，将满足该公式的样本熵值所对应的独立分量判定为眼电伪迹；

λ_k+1-λ_k＜λ_k-λ_k-1,(2≤k≤n) (12)

步骤(2.5)：眼电伪迹去除；根据步骤步骤(2.4)中判定为眼电伪迹的成分直接置零，其他独立成分保持不变,得到伪迹去除后的d_ij组成的矩阵P_L×M＝[p₁,p₂,...,p_i,...,p_L]^T，其中p_i为去除伪迹后的d_ij；

步骤(2.6)：重构脑电信号。利用P_L×M＝[p₁,p₂,...,p_i,...,p_L]^T更新d_ij得到D”_5N×M＝[d'_1δ,d'_1θ,d'_1α,d'_1β,d'_1γ,....d'_ij,...,d'_Nδ,d'_Nθ,d'_Nα,d'_Nβ,d'_Nγ]，其中：

对D”中各波段重构即可得到伪迹去除后的脑电信号T_N×M＝[t₁,...,t_i,...,t_N]^T，其中：

t_i＝d'_1δ+d'_1θ+d'_1α+d'_1β+d'_1γ (14)

进一步的，步骤(3)脑电信号的特征提取具体包括：

步骤(3.1)：输入层I1的输入为不含眼电伪迹的脑电数据T_N×M；

步骤(3.2)：对输入数据T_N×M进行计算，得到通道权向量M，将该通道权重向量加权到输入数据的每个通道特征上，得到对输入数据按通道重要程度加权后的输出数据

该过程公式：

步骤(3.3)：卷积层C2利用n个卷积核学习

的特征，其中，卷积核为3×3的矩阵，将相应元素逐一相乘并对乘积求和，得到n个特征映射Mapi(i＝1,2,...,n)，卷积后每个Map的大小为(N-2)×(M-2)，卷积层上的每个Map通过下式求得：

式中，y_j ²为C卷积层上第j个Map，k_j ²和b_j ²分别表示第j个Map的卷积核和偏置，f为输入层到卷积层的激活函数，此处选用ReLU函数，形式如下：

f(x)＝ReLu(x)＝max(0,x) (17)

步骤(3.4)：池化层P3采用平均池化对卷积层的每个Map进行降采样，池化层上的每个Map通过下式求得：

式中，y_j ²和y_j ³分别对应卷积层和池化层的第j个Map，α_j ³和b_j ³分别为池化层上第j个Map的乘子和偏置，Ds()为降采样函数，f为ReLU激活函数，池化后池化层上每个Map大小变为卷积层的一半。

步骤(3.5)：全连接层F4采用一个1×1的映射矩阵w将池化层的n个Map进行全连接，生成n×(N-2)×(M-2)/4个神经元，全连接层的每个神经元通过下式求得：

式中，y_j ⁴和b_j ⁴为全连接层的第j个神经元和偏置，f为sigmoid激活函数，形式如下：

步骤(3.6)：输出层O5输出脑电信号的类别，并通过反向传播算法将误差反向传播，从而对卷积神经网络的参数进行更新，输出层的每个神经元y_i ⁵的值计算公式如下：

式中，b_i ⁵为输出层的第i个的偏置，ω_ji表示连接全连接层第j个和输出层第i个神经元的权值，f为sigmoid激活函数。

进一步的，步骤(4)脑电信号的分类具体包括：

利用最小二乘支持向量机替代卷积神经网络的输出层，卷积神经网络的全连接层作为最小二乘支持向量机的输入；将卷积神经网络特征提取获得的特征向量送入最小二乘支持向量机进行训练，最后获得测试样本的分类结果；最小二乘支持向量机算法在优化目标时选取的损失函数如下：

其中，c为惩罚因子，

进一步的，步骤(5)中，在针对恢复期前期开发了“摘苹果”虚拟训练环境的基础上，再开发一种针对恢复期后期的伤残手患者康复训练环境，具体内容如下：

针对恢复期后期的伤残手患者，根据食指伸展、剪刀手、OK、大拇指弯曲、钩状握拳的视频分别引导被试者进行左右手运动想象相应的手部运动，同时脑电信号采集设备实时获取左右手运动想象产生的脑电信号；开发“手势匹配”康复训练环境，手势包括食指伸展、剪刀手、OK、大拇指弯曲、钩状握拳，并以Kinect2深度摄像机进行手势识别；训练开始后，患者根据计算机出现的手势，通过想象相应手的动作触发脑电信号，同时采集患者脑电信号进行预处理及特征提取，最终获得其运动意图，进而实现相应的动作；在此训练环境中，设置两个训练模式：计时模式，计算机统计患者正确匹配5个手势需要花费的时间；限时模式，计算机统计在规定时间内患者正确匹配的手势个数；当患者做出正确的手势时，计算机会给出“匹配正确”的听觉反馈以及视觉反馈；当患者做出错误的手势时，计算机会给出“匹配错误”的听觉反馈和视觉反馈。

相比现有技术，本发明的有益效果是：

1.针对脑电信号含有眼电伪迹的干扰，相较于传统的预处理采用1-50HZ的带通滤波器和50HZ的陷波滤波器，本发明采用离散小波变换和独立成分分析和样本熵去除，提高脑电信号的信噪比；

2.针对特征识别率不高的问题，本发明利用卷积神经网络自提取特征与支持向量机针对小样本的优势，采用卷积神经网络结合支持向量机的特征提取与模式分类模型，并在卷积神经网络中加入通道注意力机制模块，增加有用的特征信息弱化无用特征信息，来提高脑电信号的识别精度。

3.增强现实技术应用到人机交互系统，不仅能有效的帮助被试者更好地进行运动想象，从而使他们产生更加容易识别的脑电信号，而且能够增加患者主动康复训练的趣味性。

附图说明

图1是本发明的整体结构图；

图2是脑电信号预处理结构图；

图3是脑电信号特征提取及分类的结构图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明。

如图1所示，基于脑电信号的伤残手软体康复机器人运动想象识别系统主要由三部分组成：基于脑电信号的运动想象识别模块、基于视听触觉反馈的人机交互康复系统和软体手套的硬件控制系统。

基于脑电信号的运动想象识别模块。该部分主要负责脑电信号的预处理、特征提取及模式识别工作。其具体工作流程为：首先，采用脑电采集设备采集患者根据视频引导产生的的脑电信号，并将信号进行预处理，去除在采集脑电信号过程中产生的眼电信号干扰，得到不含眼电伪迹的脑电信号；接着利用融合通道注意力模块的卷积神经网络和支持向量机模型识别分类患者的运动意图。

基于视听触觉反馈的人机交互康复系统。该部分主要针对恢复期前期和恢复期后期的患者，制定了相应的康复训练。

针对恢复期前期的伤残手患者，将增强现实技术应用到患者手部康复训练系统中，开发“摘苹果”康复训练环境。训练开始后，患者通过想象手的抓握与伸展动作触发脑电信号，同时采集患者脑电信号进行预处理及特征提取，最终获得其运动意图，进而实现摘苹果的动作。在此训练环境中，设置两个训练模式：计时模式，计算机统计患者摘光树上的苹果需要花费的时间；限时模式，计算机统计在规定时间内患者摘到的苹果数。当患者成功摘到苹果时，计算机会给出“摘到i个苹果”(i＝1,2,..N)的听觉反馈以及触觉反馈。

针对恢复期后期的伤残手患者，开发“手势匹配”康复训练环境，手势包括食指伸展、剪刀手、OK、大拇指弯曲、钩状握拳，并以Kinect2深度摄像机进行手势识别。训练开始后，患者根据计算机出现的手势，通过想象相应手的动作触发脑电信号，同时采集患者脑电信号进行预处理及特征提取，最终获得其运动意图，进而实现相应的动作。在此训练环境中，设置两个训练模式：计时模式，计算机统计患者正确匹配5个手势需要花费的时间；限时模式，计算机统计在规定时间内患者正确匹配的手势个数。当患者做出正确的手势时，计算机会给出“匹配正确”的听觉反馈以及视觉反馈；当患者做出错误的手势时，计算机会给出“匹配错误”的听觉反馈和视觉反馈。

如图2所示，对采集到的脑电信号X_N×M(t)采用离散小波变换将不同通道连续的脑电信号分解成不同频率的5个波段,包括δ、θ、α、β和γ波段，记为D_5N×M(t)＝[d_1δ,d_1θ,d_1α,d_1β,d_1γ,....d_ij,...,d_Nδ,d_Nθ,d_Nα,d_Nβ,d_Nγ]^T，其中d_ij表示第i个(i＝1,2,...,N)通道脑电信号的j(j＝{δ,θ,α,β,γ})波段；然后采用独立成分分析和样本熵去除在采集脑电信号过程中因眨眼产生的眼电信号干扰，也即眼电伪迹，得到不含眼电伪迹的脑电信号T_N×M；其中，样本熵是用来度量信号或系统的稳定程度，若处理后的信号越不稳定，则熵值越大；反之处理后的信号越稳定，熵值越小；

对实时采集到的患者的运动想象脑电信号预处理包括以下步骤：

步骤1.1：对每个通道的脑电信号X_N×M(t)进行离散小波变换分解，重构相应层的小波系数得到脑电信号信号的δ、θ、α、β和γ波段，记为D_5N×M(t)＝[d_1δ,d_1θ,d_1α,d_1β,d_1γ,....d_ij,...,d_Nδ,d_Nθ,d_Nα,d_Nβ,d_Nγ]^T，其中d_ij表示第i个(i＝1,2,...,N)通道脑电信号的j(j＝{δ,θ,α,β,γ})波段；

步骤1.2：对步骤1.1进行零均值化和白化处理；

零均值化也叫做数据的中心化，即从观测数据中去除其均值，其算法如下：

D'(t)＝D(t)-E[D(t)] (1)

其中，D(t)为经过离散小波变换的脑电信号，也即观测信号，D'(t)为去除均值后的观测信号，E[D(t)]为观测信号的均值；

信号的白化过程可通过特征值分解的方法实现：

令C_x为D'(t)的协方差矩阵，即C_x＝E[D'(t)D'(t)^T]，该矩阵可分解为：

C_x＝UΛU^T (2)

其中，U为C_x的特征向量所构成的正交矩阵，Λ＝diag(λ₁,λ₂,....λ_N)为C_x的特征值所构成的对角矩阵，则白化矩阵V可表示为：

V＝Λ^-1/2U^T (3)

其白化过程为：

Z(t)＝VD'(t)＝VAS(t)＝BS(t) (4)

其中，Z(t)为新的观测信号，A为混合矩阵，S(t)为源信号，B为正交矩阵；

步骤1.3：采用独立成分分析中基于负熵最大化判据的新型快速固定点算法—FastICA算法对Z(t)进行分解；其中，负熵是用来度量非高斯性的一种标准，而非高斯性可以用来度量分离结果之间的相互独立性。当负熵达到最大时，则表明已完成对各独立分量的分离；设信号中的一个独立成分为y,负熵的定义如下：

J(y)＝H(y_gauss)-H(y) (5)

其中，J表示代价函数；y_gauss是与y具有相同均值和方差的高斯随机变量；H(·)表示变量的微分熵,其计算方法如下：

H(y)＝-∫P_y(ξ)lgP_y(ξ)dξ (6)

由Y(t)＝WZ(t)，W为分离矩阵，Y(t)为输出列向量，y＝w^TZ(t)中w_i为W的第i行，则FastICA中的目标函数可以表示为：

其中，G_i(·)表示一种非二次函数，

为分离出的第i个独立分量，v是均值取值为0方差设定为1的高斯变量，随机变量y与v具有相同的数学性质；

根据拉格朗日定理，在

约束条件下/>

的最优值可通过下式得到：

其中，g(·)为函数G_i(·)的一阶导数；β可以通过β＝E{w_i(0)^TZ(t)g(w_i(0)^TZ(t))}获得，其中w_i(0)为w_i的初始值，接下来利用牛顿迭代法求解得到迭代公式：

经多次迭代后对于w_i(k+1)进一步做标准化处理，如下式：

然后判断w_i(k+1)是否收敛，若不收敛，则重新进行迭代，直到收敛为止，并输出求解出的脑电信号与眼电伪迹的独立分量；

步骤1.4：伪迹波段选择；将样本熵方法运用在FastICA分离出的眼电伪迹分量识别中,其公式为：

SampEn(m,r,N)＝-ln[B^m(r)/B^m+1(r)] (11)

其中，SampEn(m,r,N)为样本熵，N为信号的长度，r为相似容限，m为嵌入维数；

将计算得到的样本熵值按从小到大的顺序重新排列后，依次表示为λ_k(1＜k＜N)，根据信号的样本熵值测量眼电伪迹与脑电信号的复杂度，并结合公式(12)区分眼电伪迹和脑电信号，将满足该公式的样本熵值所对应的独立分量判定为眼电伪迹；

λ_k+1-λ_k＜λ_k-λ_k-1,(2≤k≤n) (12)

步骤1.5：眼电伪迹去除；根据步骤步骤(2.4)中判定为眼电伪迹的成分直接置零，其他独立成分保持不变,得到伪迹去除后的d_ij组成的矩阵P_L×M＝[p₁,p₂,...,p_i,...,p_L]^T，其中p_i为去除伪迹后的d_ij；

步骤1.6：重构脑电信号。利用P_L×M＝[p₁,p₂,...,p_i,...,p_L]^T更新d_ij得到D”_5N×M＝[d'_1δ,d'_1θ,d'_1α,d'_1β,d'_1γ,....d'_ij,...,d'_Nδ,d'_Nθ,d'_Nα,d'_Nβ,d'_Nγ]，其中：

对D”中各波段重构即可得到伪迹去除后的脑电信号T_N×M＝[t₁,...,t_i,...,t_N]^T，其中：

t_i＝d'_1δ+d'_1θ+d'_1α+d'_1β+d'_1γ (14)

如图3所示，将T_N×M作为融合通道注意力模块的卷积神经网络模型的输入样本，经过通道注意力模块增强对运动意图识别有用的脑电信号特征，弱化无用特征，得到对输入数据按通道程度加权后的输出数据

卷积层利用n个卷积核学习/>

的特征，得到n个特征映射Mapi(i＝1,2,...,n)；池化层采用平均池化对卷积层的每个Map进行降采样；全连接层采用一个1×1的映射矩阵w将池化层的n个Map进行全连接，生成n×(N-2)×(M-2)/4个神经元；输出层输出脑电信号的类别，并通过反向传播算法将误差反向传播，从而对卷积神经网络的参数进行更新；

脑电信号进行特征提取及分类识别的具体步骤：

步骤2.1：输入层I1的输入为不含眼电伪迹的脑电数据T_N×M；

步骤2.2：对输入数据T_N×M进行计算，得到通道权向量M，将该通道权重向量加权到输入数据的每个通道特征上，得到对输入数据按通道重要程度加权后的输出数据

该过程公式：

步骤2.3：卷积层C2利用n个卷积核学习

的特征，其中，卷积核为3×3的矩阵，将相应元素逐一相乘并对乘积求和，得到n个特征映射Mapi(i＝1,2,...,n)，卷积后每个Map的大小为(N-2)×(M-2)，卷积层上的每个Map通过下式求得：

式中，y_j ²为C卷积层上第j个Map，k_j ²和b_j ²分别表示第j个Map的卷积核和偏置，f为输入层到卷积层的激活函数，此处选用ReLU函数，形式如下：

f(x)＝Re Lu(x)＝max(0,x) (17)

步骤2.4：池化层P3采用平均池化对卷积层的每个Map进行降采样，池化层上的每个Map通过下式求得：

式中，y_j ²和y_j ³分别对应卷积层和池化层的第j个Map，α_j ³和b_j ³分别为池化层上第j个Map的乘子和偏置，Ds()为降采样函数，f为ReLU激活函数，池化后池化层上每个Map大小变为卷积层的一半；

步骤2.5：全连接层F4采用一个1×1的映射矩阵w将池化层的n个Map进行全连接，生成n×(N-2)×(M-2)/4个神经元，全连接层的每个神经元通过下式求得：

式中，y_j ⁴和b_j ⁴为全连接层的第j个神经元和偏置，f为sigmoid激活函数，形式如下：

步骤2.6：输出层O5输出脑电信号的类别，并通过反向传播算法将误差反向传播，从而对卷积神经网络的参数进行更新，输出层的每个神经元y_i ⁵的值计算公式如下：

式中，b_i ⁵为输出层的第i个的偏置，ω_ji表示连接全连接层第j个和输出层第i个神经元的权值，f为sigmoid激活函数；

步骤2.7：利用最小二乘支持向量机替代卷积神经网络的输出层，卷积神经网络的全连接层作为最小二乘支持向量机的输入；将卷积神经网络特征提取获得的特征向量送入最小二乘支持向量机进行训练，最后获得测试样本的分类结果；最小二乘支持向量机算法在优化目标时选取的损失函数如下：

其中，c为惩罚因子，

除上述实施例外，本发明还可以有其他实施方式，凡采用等同替换或等效变换形成的技术方案，均落在本发明要求的保护范围内。

Claims (6)

1.一种基于脑电信号的伤残手软体康复机器人运动想象识别方法，其特征在于，该方法包含下列步骤：

⑴本发明针对恢复期前期，根据手抓握、伸展视频引导被试者进行左右手运动想象相应的手部运动，同时脑电信号采集设备实时获取左右手运动想象产生的脑电信号；

⑵对采集到的脑电信号X_N×M(t)采用离散小波变换将不同通道连续的脑电信号分解成δ、θ、α、β和γ波段，记为D_5N×M(t)＝[d_1δ,d_1θ,d_1α,d_1β,d_1γ,....d_ij,...,d_Nδ,d_Nθ,d_Nα,d_Nβ,d_Nγ]^T，其中d_ij表示第i个通道脑电信号的j波段，i＝1,2,...,N，j＝{δ,θ,α,β,γ}；然后采用独立成分分析和样本熵去除在采集脑电信号过程中因眨眼产生的眼电信号干扰，也即眼电伪迹，得到不含眼电伪迹的脑电信号T_N×M；其中，样本熵是用来度量信号或系统的稳定程度，若处理后的信号越不稳定，则熵值越大；反之处理后的信号越稳定，熵值越小；

⑶将T_N×M作为融合通道注意力模块的卷积神经网络模型的输入样本，经过通道注意力模块增强对运动意图识别有用的脑电信号特征，弱化无用特征，得到对输入数据按通道程度加权后的输出数据

卷积层利用n个卷积核学习/>

的特征，得到n个特征映射Mapi，i＝1,2,...,n；池化层采用平均池化对卷积层的每个Map进行降采样；全连接层采用一个1×1的映射矩阵w将池化层的n个Map进行全连接，生成n×(N-2)×(M-2)/4个神经元；输出层输出脑电信号的类别，并通过反向传播算法将误差反向传播，从而对卷积神经网络的参数进行更新；

⑷用最小二乘支持向量机替换原始卷积神经网络中的输出层，并以全连接层得到的特征作为最小二乘支持向量机的输入，分类提取出运动意图所需的信号；

⑸针对恢复期前期的伤残手患者，将增强现实技术应用到患者手部康复训练系统中，开发“摘苹果”康复训练环境；训练开始后，患者通过想象手的抓握与伸展动作触发脑电信号，同时采集患者脑电信号进行预处理及特征提取，最终获得其运动意图，进而实现摘苹果的动作；在此训练环境中，设置两个训练模式：计时模式，计算机统计患者摘光树上的苹果需要花费的时间；限时模式，计算机统计在规定时间内患者摘到的苹果数；当患者成功摘到苹果时，计算机会给出“摘到i个苹果”，i＝1,2,..N，的听觉反馈以及触觉反馈。

2.如权利要求1所述的基于脑电信号的伤残手软体康复机器人运动想象识别方法，其特征在于，所述步骤(1)中，其中脑电信号的采集包括以下步骤：

步骤(1.1)：当t＝0s时，被试者准备开始实验，并调整身体使其进入放松状态；

步骤(1.2)：当t＝2s时，计算机发出开始提示音后，被试者根据视频引导执行相应的实验任务；

步骤(1.3)：当t＝6s时，计算机发出停止提示音后，被试者停止执行实验任务，稍作休息后继续下次实验。

3.如权利要求1所述的基于脑电信号的伤残手软体康复机器人运动想象识别方法，其特征在于，所述步骤(2)中，其中脑电信号的预处理包括以下步骤：

步骤(2.1)：设X_N×M(t)表示采集到的脑电信号，其中N表示通道个数，M表示每个通道信号的长度；对每个通道的脑电信号进行离散小波变换分解，重构相应层的小波系数得到脑电信号的δ、θ、α、β和γ波段，记为D_5N×M(t)＝[d_1δ,d_1θ,d_1α,d_1β,d_1γ,....d_ij,...,d_Nδ,d_Nθ,d_Nα,d_Nβ,d_Nγ]^T，其中d_ij表示第i个通道脑电信号的j波段，i＝1,2,...,N，j＝{δ,θ,α,β,γ}；

步骤(2.2)：对步骤(2.1)进行零均值化和白化处理；

零均值化也叫做数据的中心化，即从观测数据中去除其均值，其算法如下：

D'(t)＝D(t)-E[D(t)] (1)

其中，D(t)为经过离散小波变换的脑电信号，也即观测信号，D'(t)为去除均值后的观测信号，E[D(t)]为观测信号的均值；

信号的白化过程可通过特征值分解的方法实现：

令C_x为D'(t)的协方差矩阵，即C_x＝E[D'(t)D'(t)^T]，该矩阵可分解为：

C_x＝UΛU^T (2)

其中，U为C_x的特征向量所构成的正交矩阵，Λ＝diag(λ₁,λ₂,....λ_N)为C_x的特征值所构成的对角矩阵，则白化矩阵V可表示为：

V＝Λ^-1/2U^T (3)

其白化过程为：

Z(t)＝VD'(t)＝VAS(t)＝BS(t) (4)

其中，Z(t)为新的观测信号，A为混合矩阵，S(t)为源信号，B为正交矩阵；

步骤(2.3)：采用独立成分分析中基于负熵最大化判据的新型快速固定点算法—FastICA算法对Z(t)进行分解；其中，负熵是用来度量非高斯性的一种标准，而非高斯性可以用来度量分离结果之间的相互独立性，当负熵达到最大时，则表明已完成对各独立分量的分离；设信号中的一个独立成分为y,负熵的定义如下：

J(y)＝H(y_gauss)-H(y) (5)

其中，J表示代价函数；y_gauss是与y具有相同均值和方差的高斯随机变量；H(·)表示变量的微分熵,其计算方法如下：

H(y)＝-∫P_y(ξ)lgP_y(ξ)dξ (6)

由Y(t)＝WZ(t)，W为分离矩阵，Y(t)为输出列向量，y＝w_i ^TZ(t)中w_i为W的第i行，则FastICA中的目标函数可以表示为：

其中，G(·)表示一种非二次函数，

为分离出的第i个独立分量，v是均值取值为0方差设定为1的高斯变量，随机变量y与v具有相同的数学性质；

根据拉格朗日定理，在

约束条件下/>

的最优值可通过下式得到：

其中，g(·)为函数G(·)的一阶导数；β可以通过β＝E{w_i(0)^TZ(t)g(w_i(0)^TZ(t))}获得，其中w_i(0)为w_i的初始值，接下来利用牛顿迭代法求解得到迭代公式：

经多次迭代后对于w_i(k+1)进一步做标准化处理，如下式：

/>

然后判断w_i(k+1)是否收敛，若不收敛，则重新进行迭代，直到收敛为止，并输出求解出的脑电信号与眼电伪迹的独立分量；

步骤(2.4)：伪迹波段选择；将样本熵方法运用在FastICA分离出的眼电伪迹分量识别中,其公式为：

SampEn(m,r,N)＝-ln[B^m(r)/B^m+1(r)] (11)

其中，SampEn(m,r,N)为样本熵，N为信号的长度，r为相似容限，m为嵌入维数；

将计算得到的样本熵值按从小到大的顺序重新排列后，依次表示为λ_k，根据信号的样本熵值测量眼电伪迹与脑电信号的复杂度，并结合公式(12)区分眼电伪迹和脑电信号，将满足该公式的样本熵值所对应的独立分量判定为眼电伪迹；

λ_k+1-λ_k＜λ_k-λ_k-1,2≤k≤n (12)

步骤(2.5)：眼电伪迹去除；根据步骤(2.4)中判定为眼电伪迹的成分直接置零，其他独立成分保持不变,得到伪迹去除后的d_ij组成的矩阵P_L×M＝[p₁,p₂,...,p_i,...,p_L]^T，其中p_i为去除伪迹后的d_ij；

步骤(2.6)：重构脑电信号，利用P_L×M＝[p₁,p₂,...,p_i,...,p_L]^T更新d_ij得到D”_5N×M＝[d′_1δ,d′_1θ,d′_1α,d′_1β,d′_1γ,....d′_ij,...,d'_Nδ,d'_Nθ,d'_Nα,d'_Nβ,d'_Nγ]，其中：

对D”中各波段重构即可得到伪迹去除后的脑电信号T_N×M＝[t₁,...,t_i,...,t_N]^T，其中：

t_i＝d′_1δ+d′_1θ+d′_1α+d′_1β+d′_1γ (14)。

4.如权利要求1所述的基于脑电信号的伤残手软体康复机器人运动想象识别方法，其特征在于，所述步骤(3)中，其中脑电信号的特征提取包括以下步骤：

步骤(3.1)：输入层I1的输入为不含眼电伪迹的脑电数据T_N×M；

步骤(3.2)：对输入数据T_N×M进行计算，得到通道权重向量M，将通道权重向量M加权到输入数据的每个通道特征上，得到对输入数据按通道重要程度加权后的输出数据

该过程公式：

步骤(3.3)：卷积层C2利用n个卷积核学习

的特征，其中，卷积核为3×3的矩阵，将相应元素逐一相乘并对乘积求和，得到n个特征映射Mapi，i＝1,2,...,n；卷积后每个Map的大小为(N-2)×(M-2)，卷积层上的每个Map通过下式求得：

式中，y_j ²为C卷积层上第j个Map，k_j ²和b_j ²分别表示第j个Map的卷积核和偏置，f为输入层到卷积层的激活函数，此处选用ReLU函数，形式如下：

f(x)＝ReLu(x)＝max(0,x) (17)

步骤(3.4)：池化层P3采用平均池化对卷积层的每个Map进行降采样，池化层上的每个Map通过下式求得：

式中，y_j ²和y_j ³分别对应卷积层和池化层的第j个Map，α_j ³和b_j ³分别为池化层上第j个Map的乘子和偏置，Ds()为降采样函数，f为ReLU激活函数，池化后池化层上每个Map大小变为卷积层的一半；

步骤(3.5)：全连接层F4采用一个1×1的映射矩阵w将池化层的n个Map进行全连接，生成n×(N-2)×(M-2)/4个神经元，全连接层的每个神经元通过下式求得：

式中，y_j ⁴和b_j ⁴为全连接层的第j个神经元和偏置，f为sigmoid激活函数，形式如下：

步骤(3.6)：输出层O5输出脑电信号的类别，并通过反向传播算法将误差反向传播，从而对卷积神经网络的参数进行更新，输出层的每个神经元y_i ⁵的值计算公式如下：

式中，b_i ⁵为输出层的第i个的偏置，ω_ji表示连接全连接层第j个和输出层第i个神经元的权值，f为sigmoid激活函数。

5.如权利要求1所述的基于脑电信号的伤残手软体康复机器人运动想象识别方法，其特征在于，所述步骤(4)中，其中脑电信号的分类包括以下步骤：

利用最小二乘支持向量机替代卷积神经网络的输出层，卷积神经网络的全连接层作为最小二乘支持向量机的输入；将卷积神经网络特征提取获得的特征向量送入最小二乘支持向量机进行训练，最后获得测试样本的分类结果，最小二乘支持向量机算法在优化目标时选取的损失函数如下：

其中，c为惩罚因子，

6.如权利要求1所述的基于脑电信号的伤残手软体康复机器人运动想象识别方法，其特征在于，所述步骤(5)中，在针对恢复期前期开发了“摘苹果”虚拟训练环境的基础上，再开发一种针对恢复期后期的伤残手患者康复训练环境，具体内容如下：

针对恢复期后期的伤残手患者，根据食指伸展、剪刀手、OK、大拇指弯曲、钩状握拳的视频分别引导被试者进行左右手运动想象相应的手部运动，同时脑电信号采集设备实时获取左右手运动想象产生的脑电信号；开发“手势匹配”康复训练环境，手势包括食指伸展、剪刀手、OK、大拇指弯曲、钩状握拳，并以Kinect2深度摄像机进行手势识别；训练开始后，患者根据计算机出现的手势，通过想象相应手的动作触发脑电信号，同时采集患者脑电信号进行预处理及特征提取，最终获得其运动意图，进而实现相应的动作；在此训练环境中，设置两个训练模式：计时模式，计算机统计患者正确匹配5个手势需要花费的时间；限时模式，计算机统计在规定时间内患者正确匹配的手势个数；当患者做出正确的手势时，计算机会给出“匹配正确”的听觉反馈以及视觉反馈；当患者做出错误的手势时，计算机会给出“匹配错误”的听觉反馈和视觉反馈。

Images