CN113239744A - 基于深度学习的脑电-肌电信号融合识别方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的脑电‑肌电信号融合识别方法，通过基于深度自注意力机制的循环神经网络对预处理后的脑电信号进行高维编码及序列解码，获得脑电分类特征矩阵；对预处理后的肌电信号进行强度特征提取，获得肌电特征向量；通过无监督稀疏自编码器对脑电分类特征矩阵和肌电特征向量进行特征融合，生成最终指令。本发明将多头自注意力机制和编码‑解码模型结合应用到脑电特征提取领域，提高脑电分类识别精度；利用自适应方法，解决肌电信号存在个体差异和位置差异的问题，通过提取肌电信号的强度特征来实现动作强度的估计；利用无监督稀疏自编码器对不同生物电特征进行编码和解码，以高效、鲁棒性的方法实现对脑电和肌电特征的融合。

Description

基于深度学习的脑电-肌电信号融合识别方法

技术领域

本发明属于脑电信号和肌电信号的特征提取和融合识别技术领域，具体涉及一种基于深度学习的脑电-肌电信号融合识别方法。

背景技术

脑电信号是用非侵入式柔性电极在头皮采集记录的电信号，这种电信号由大脑活动时大量神经元同步发生的突触后电位经总和后形成，是脑神经细胞生理活动在大脑皮层或头皮表面的总体反映。当人体想象肢体运动而没有实际的肢体动作时，神经元之间活动产生电信号，这些信号能量累积超过一定阈值时，就会产生脑电信号，运动想象产生的脑电信号具有事件相关同步和去同步的特征，通过分析运动想象脑电信号，可以判断想象者的运动意图，从而实现对外部设备的控制。

肌电信号是用表面电极在人体皮肤采集的电信号，这种电信号是肌肉运动时各运动单元所产生的动作电位序列在皮肤表面叠加而成。当人体进行实际的肢体动作时，该运动意图产生于大脑，编码于神经信号中传达到脊髓，二次编码后经神经通路传递到对应的肢体(如上肢)，神经信号造成肌肉纤维收缩产生电位差，肌肉牵引骨骼完成该运动，通过对该信号的强度特征进行解码，即可以估计肌电信号对动作的期望强度，以控制外部设备的运动强度。

运动想象EEG信号是一种随机非平稳信号，信号幅度较微弱，受自身和外界环境的干扰较强，但是不受限于肢体的残疾程度，脑功能完整就能够利用EEG实现对外物的控制，因而在脑-机接口和人机交互系统中得到广泛应用。但是与sEMG信号相比，基于EEG信号的运动想象意图识别准确率较低。sEMG信号因为无创性，信噪比高，易于采集等优点被越来越多的应用于假肢控制和人机交互等领域。传统人机交互系统多为单通道交互方式，如采用语音或手势等，交互方式简单、应用领域单一。在新型人机交互领域，将脑电、肌电进行有效融合，可以实现较好的交互体验。对脑电与肌电的准确识别是多通道人机交互系统实现的基础，因此对脑电-肌电信号融合分类识别探索与研究，具有非常重要的现实意义。

发明内容

鉴于此，本发明的主要目的在于提供一种基于深度学习的脑电-肌电信号融合识别方法。

为达到上述目的，本发明实施例的技术方案是这样实现的：

本发明实施例提供一种基于深度学习的脑电-肌电信号融合识别方法，该方法为：

通过基于深度自注意力机制的循环神经网络对预处理后的脑电信号进行高维编码及序列解码，获得脑电分类特征矩阵；

对预处理后的肌电信号进行强度特征提取，获得肌电特征向量；

通过无监督稀疏自编码器对脑电分类特征矩阵和肌电特征向量进行特征融合，生成最终指令。

上述方案中，所述通过基于深度自注意力机制的循环神经网络对预处理后的脑电信号进行高维编码，具体为：通过基于空洞卷积的时间卷积网络对脑电信号输入序列以规则间隔进行处理，且将步幅设置为大于一个采样，对生成的输出序列进行下采样，产生一组有效地降采样后的滤波序列，以学习数据序列中不同点可能重复出现类似特征的规律提取滤波序列中的特征序列；根据所述特征序列获得加权之后的特征向量MultiHead(α,β,P)。

上述方案中，所述根据所述特征序列获得加权之后的特征向量MultiHead(α,β,P)，具体为：将所述特征序列输入到编码器循环神经网络，编码器由N个相同层的堆栈组成，每个堆栈层有两个子层，第一个子层是多头自注意力子层，采用集成的方式从不同头获取特征信息，通过全连接进行线性变换映射成多个α、β、P，输入的n*d的矩阵将得到一个加权之后的特征向量MultiHead(α,β,P)：

MultiHead(α,β,P)＝Concat(head₁,...,head_h)W^O

where head_i＝Attention(αW_i ^α,βW_i ^β,pW_i ^p)

其中，α、β、P分别代表脑电信号采集时获取到的α、β、脑诱发电位特征向量；第二个子层是前馈神经网络，由分段线性激活函数Maxout、第二层的线性激活函数和dropout神经网络组成，将所述加权之后的特征向量作为输入，每一行进行铺平操作，再连接一个全连接层，同一层的不同行全连接层用一样的参数，不同层用不同的参数，每个层经dropout网络添加一道概率随机舍弃部分神经元，脑电信号特征序列经整个编码器的处理后得到编码后的n*d的矩阵输入解码器。

上述方案中，所述对预处理后的脑电信号进行序列解码，具体为：编码后的矩阵输入解码器由N个层堆叠而成，每个层都拥有三个子层，第一个子层为多头自注意力子层，第二个子层是前馈神经网络，第三个子层是深度自注意力机制，矩阵输入解码器输的向量维度为d，经第一个子层时对未来信息进行掩码，输出k*d的矩阵，第二个子层对输入的矩阵进行自注意力机制加权，输出k*d的矩阵，第三个子层采用全连接层，解码器的6个层都需要输入前序编码器的输出矩阵，最后得到输出的k*d的脑电分类特征矩阵。

上述方案中，所述对预处理后的肌电信号进行强度特征提取，获得肌电特征向量，具体为：将传感器采集得到肌电信号经过绝对值均值处理后送入肌电记录器，肌电记录器实时记录并更新肌电绝对值均值的最大值和最小值，并将其用于调整比例因子K_E；

选用肌电信号的绝对值均值(Mean absolute value，MAV)进行动作强度的估计。

上述方案中，所述选用肌电信号的绝对值均值(Mean absolute value，MAV)进行动作强度的估计，具体为:

其中，EMG(i)为第i个采样时刻采集的肌电信号，N为滑动窗口的长度；

设计调节因子K_E为

其中，K为预设的常数，Max_E和Min_E分别为肌电绝对值均值的最大值和最小值，Max_E和Min_E的更新过程如下:

1).计算MAV的均值

其中，MAV(t)为当前采样时刻的MAV值，MAV(t-n)为前n采样时刻的MAV值；

2).数据更新

E＝(EMG-Min_E)×K_E

在动作强度估计中增加去抖动环节f(E)：

其中，E₀为手臂放松状态下测量得到的肌电信号的绝对值均值；

动作强度的估计值为

F_d＝E×f(E)

将F_d对应于对外部设备的控制时长、强度，i个时刻的动作强度F_d构成动作强度特征矩阵，且保持维数与脑电特征矩阵相同。

上述方案中，通过无监督稀疏自编码器对脑电分类特征矩阵和肌电特征向量进行特征融合，生成最终指令，具体为：稀疏自编码器包括输入层m，隐层h和输出层n，训练目标是使m与n近似相等，训练过程包括编码和解码，设u和g分别表示编码和解码函数，则编码和解码过程可用函数表示为：

h＝u(m)＝s_u(w₁m+a)

n＝g(h)＝s_g(w₂h+b)

式中，w₁和w₂分别表示输入层到隐层和隐层到输出层的权重，a和b分别表示隐层和输出层的偏置，s_u和s_g分别为编码及解码过程的激活函数，取为softmax函数，函数定义如下：

其中Z_i为特征矩阵第i个节点的输入值，C为输出节点个数，即分类类别个数，通过softmax函数将多分类输出值转换为范围在[0，1]的概率分布，最终选取概率值最高的类别作为识别结果，生成指令信息。

与现有技术相比，本发明的有益效果：

(1)本发明将多头自注意力机制和“编码-解码”模型结合应用到脑电特征提取领域，提高脑电分类识别精度；

(2)本发明利用自适应方法，解决肌电信号存在个体差异和位置差异的问题，通过提取肌电信号的强度特征来实现动作强度的估计；

(3)本发明利用无监督稀疏自编码器对不同生物电特征进行编码和解码，以高效、鲁棒性的方法实现对脑电和肌电特征的融合。

附图说明

图1为本发明实施例提供一种基于深度学习的脑电-肌电信号特征融合识别方法的流程图；

图2为本发明的基于深度自注意力机制的脑电信号解码流程图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明实施例提供一种基于深度学习的脑电-肌电信号特征融合识别方法，如图1、2所示，该方法具体通过以下步骤实现：

步骤101：通过基于深度自注意力机制的循环神经网络对预处理后的脑电信号进行高维编码。

具体地，通过基于空洞卷积的时间卷积网络对脑电信号输入序列以规则间隔进行处理，且将步幅设置为大于一个采样，有效地对生成的输出序列进行下采样，产生一组有效地降采样后的滤波序列。将特征序列输入到编码器循环神经网络。编码器由N个相同层的堆栈组成。每个堆栈层有两个子层。第一个子层是多头自注意力子层，采用集成的方式从不同头获取特征信息，通过全连接进行线性变换映射成多个α、β、P，线性映射得到的结果维度可以不变、也可以减少。输入的n*d的矩阵将得到一个加权之后的特征向量MultiHead(α,β,P)：

MultiHead(α,β,P)＝Concat(head₁,...,head_h)W^O

where head_i＝Attention(αW_i ^α,βW_i ^β,pW_i ^p)

α、β、P分别代表脑电信号采集时获取到的α、β、脑诱发电位特征向量，最终输出与输入序列的维度一致，由此可以进行更深层的特征抽取。每个编码子层之间采用残差连接方式，尽可能保留输入信息，接着进行层归一化。

第二个子层是前馈神经网络，由分段线性激活函数Maxout、第二层的线性激活函数和dropout神经网络组成，将加权后的特征向量作为输入，每一行进行铺平操作，再连接一个全连接层，同一层的不同行全连接层用一样的参数，不同层用不同的参数，每个层经dropout网络添加一道概率随机舍弃部分神经元，以减弱特征向量的协同作用以缓解过拟合，脑电信号特征序列经整个编码器的处理后得到编码后的n*d的矩阵。

max表示使用Maxout激活函数：

其中，x为上一层网络的输出，

为相应的线性变换。

步骤102：对编码后的矩阵输入“编码-解码”循环神经网络的解码器中进行解码。

具体地，将编码后的矩阵输入解码器循环神经网络中进行解码，具体为：解码器由N个层堆叠而成，每个层都拥有三个子层。其中前两个层与编码器类似，它和编码器的不同之处在于解码器多了一个深度自注意力机制，用于表征当前特征表示和编码的特征向量之间的关系。

深度自注意力机制的具体计算过程，可归纳为两个过程：第一个过程是根据类别对应特征和提取特征计算权重系数，第二个过程根据权重系数对权值进行加权求和；第一个过程又可以细分为两个阶段：第一个阶段根据类别对应特征和提取特征计算两者的相似性或者相关性；第二个阶段对第一阶段的原始分值进行归一化处理。

输入解码器的向量维度为d，经第一个子层时为了防止序列获取未来信息，对未来信息进行掩码，确保了模型不会将填充作为输入，输出k*d的矩阵。第二个子层对输入的矩阵进行自注意力机制加权，输出k*d的矩阵。第三个层采用全连接层，此时解码器的6个层都需要输入前序编码器的输出矩阵，最后得到输出的k*d的特征矩阵。

步骤103：对预处理后的肌电信号进行强度特征提取，获得强度特征估计。

具体地，传感器采集得到肌电信号经过绝对值均值处理后送入肌电记录器，肌电记录器实时记录并更新肌电绝对值均值的最大值和最小值，并将其用于调整比例因子K_E。

肌电信号的绝对值均值(Mean absolute value，MAV)是能够直观地反映出肌肉的收缩强度的一个时域特征，因此选用MAV进行动作强度的估计，MAV的计算如下:

其中，EMG(i)为第i个采样时刻采集的肌电信号，N为滑动窗口的长度。

设计调节因子K_E为

其中，K为预设的常数，Max_E和Min_E分别为肌电绝对值均值的最大值和最小值。Max_E和Min_E的更新过程如下:

1).计算MAV的均值

其中，MAV(t)为当前采样时刻的MAV值，MAV(t-n)为前n采样时刻的MAV值。

2).数据更新

E＝(EMG-Min_E)×K_E

为了减少试验者的手臂在放松状态下由于微小干扰而造成的微弱抖动肌电信号，在动作强度估计中增加了去抖动环节f(E)。

其中，E₀为手臂放松状态下测量得到的肌电信号的绝对值均值。

动作强度特征估计值为

F_d＝E×f(E)

将F_i对应于对外部设备的控制时长、强度，即可实现动作的精准控制。i个时刻的动作强度F_d构成动作强度特征矩阵，且保持维数与脑电特征矩阵相同。

步骤104：通过无监督稀疏自编码器对脑电-肌电信号进行特征级融合，生成最终指令。

具体地，将脑电特征矩阵和肌电特征向量组成特征矩阵输入稀疏自编码器中，对特征进行融合。稀疏自编码器包括输入层m，隐层h和输出层n，训练目标是使m与n近似相等。训练过程包括编码和解码，设u和g分别表示编码和解码函数，则编码和解码过程可用函数表示为：

h＝u(m)＝s_u(w₁m+a)

n＝g(h)＝s_g(w₂h+b)

式中，w₁和w₂分别表示输入层到隐层和隐层到输出层的权重，a和b分别表示隐层和输出层的偏置，s_u和s_g分别为编码及解码过程的激活函数，取为softmax函数，函数定义如下：

其中Z_i为特征矩阵第i个节点的输入值，C为输出节点个数，即分类类别个数。通过softmax函数将多分类输出值转换为范围在[0，1]的概率分布。最终选取概率值最高的类别作为识别结果，生成指令信息。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (7)

1.一种基于深度学习的脑电-肌电信号融合识别方法，其特征在于，该方法为：

通过基于深度自注意力机制的循环神经网络对预处理后的脑电信号进行高维编码及序列解码，获得脑电分类特征矩阵；

对预处理后的肌电信号进行强度特征提取，获得肌电特征向量；

通过无监督稀疏自编码器对脑电分类特征矩阵和肌电特征向量进行特征融合，生成最终指令。

2.根据权利要求1所述的基于深度学习的脑电-肌电信号融合识别方法，其特征在于，所述通过基于深度自注意力机制的循环神经网络对预处理后的脑电信号进行高维编码，具体为：通过基于空洞卷积的时间卷积网络对脑电信号输入序列以规则间隔进行处理，且将步幅设置为大于一个采样，对生成的输出序列进行下采样，产生一组有效地降采样后的滤波序列，以学习数据序列中不同点可能重复出现类似特征的规律提取滤波序列中的特征序列；根据所述特征序列获得加权之后的特征向量MultiHead(α,β,P)。

3.根据权利要求2所述的基于深度学习的脑电-肌电信号融合识别方法，其特征在于，所述根据所述特征序列获得加权之后的特征向量MultiHead(α,β,P)，具体为：将所述特征序列输入到编码器循环神经网络，编码器由N个相同层的堆栈组成，每个堆栈层有两个子层，第一个子层是多头自注意力子层，采用集成的方式从不同头获取特征信息，通过全连接进行线性变换映射成多个α、β、P，输入的n*d的矩阵将得到一个加权之后的特征向量MultiHead(α,β,P)：

MultiHead(α,β,P)＝Concat(head₁,...,head_h)W^O

where head_i＝Attention(αW_i ^α,βW_i ^β,pW_i ^p)

其中，α、β、P分别代表脑电信号采集时获取到的α、β、脑诱发电位特征向量；第二个子层是前馈神经网络，由分段线性激活函数Maxout、第二层的线性激活函数和dropout神经网络组成，将所述加权之后的特征向量作为输入，每一行进行铺平操作，再连接一个全连接层，同一层的不同行全连接层用一样的参数，不同层用不同的参数，每个层经dropout网络添加一道概率随机舍弃部分神经元，脑电信号特征序列经整个编码器的处理后得到编码后的n*d的矩阵输入解码器。

4.根据权利要求1-3任意一项所述的基于深度学习的脑电-肌电信号融合识别方法，其特征在于，所述对预处理后的脑电信号进行序列解码，具体为：编码后的矩阵输入解码器由N个层堆叠而成，每个层都拥有三个子层，第一个子层为多头自注意力子层，第二个子层是前馈神经网络，第三个子层是深度自注意力机制，矩阵输入解码器输的向量维度为d，经第一个子层时对未来信息进行掩码，输出k*d的矩阵，第二个子层对输入的矩阵进行自注意力机制加权，输出k*d的矩阵，第三个子层采用全连接层，解码器的6个层都需要输入前序编码器的输出矩阵，最后得到输出的k*d的脑电分类特征矩阵。

5.根据权利要求4所述的基于深度学习的脑电-肌电信号融合识别方法，其特征在于，所述对预处理后的肌电信号进行强度特征提取，获得肌电特征向量，具体为：将传感器采集得到肌电信号经过绝对值均值处理后送入肌电记录器，肌电记录器实时记录并更新肌电绝对值均值的最大值和最小值，并将其用于调整比例因子K_E；

选用肌电信号的绝对值均值(Mean absolute value，MAV)进行动作强度的估计。

6.根据权利要求5所述的基于深度学习的脑电-肌电信号融合识别方法，其特征在于，所述选用肌电信号的绝对值均值(Mean absolute value，MAV)进行动作强度的估计，具体为:

其中，EMG(i)为第i个采样时刻采集的肌电信号，N为滑动窗口的长度；

设计调节因子K_E为

其中，K为预设的常数，Max_E和Min_E分别为肌电绝对值均值的最大值和最小值，Max_E和Min_E的更新过程如下:

1).计算MAV的均值

其中，MAV(t)为当前采样时刻的MAV值，MAV(t-n)为前n采样时刻的MAV值；

2).数据更新

E＝(EMG-Min_E)×K_E

在动作强度估计中增加去抖动环节f(E)：

其中，E₀为手臂放松状态下测量得到的肌电信号的绝对值均值；

动作强度的估计值为

F_d＝E×f(E)

将F_d对应于对外部设备的控制时长、强度，i个时刻的动作强度F_d构成动作强度特征矩阵，且保持维数与脑电特征矩阵相同。

7.根据权利要求6所述的基于深度学习的脑电-肌电信号融合识别方法，其特征在于，通过无监督稀疏自编码器对脑电分类特征矩阵和肌电特征向量进行特征融合，生成最终指令，具体为：稀疏自编码器包括输入层m，隐层h和输出层n，训练目标是使m与n近似相等，训练过程包括编码和解码，设u和g分别表示编码和解码函数，则编码和解码过程可用函数表示为：

h＝u(m)＝s_u(w₁m+a)

n＝g(h)＝s_g(w₂h+b)

式中，w₁和w₂分别表示输入层到隐层和隐层到输出层的权重，a和b分别表示隐层和输出层的偏置，s_u和s_g分别为编码及解码过程的激活函数，取为softmax函数，函数定义如下：

其中Z_i为特征矩阵第i个节点的输入值，C为输出节点个数，即分类类别个数，通过softmax函数将多分类输出值转换为范围在[0，1]的概率分布，最终选取概率值最高的类别作为识别结果，生成指令信息。

Images