CN111657941B - 基于肌肉核心激活区域的电极校正及肌电模式识别方法 - Google Patents

Abstract

本发明公开了一种基于肌肉核心激活区域的电极校正及肌电模式识别方法，采用高密度阵列电极对目标肌肉的肌电信号进行采集，利用矩阵分解算法提取肌肉核心激活区域，并将不同批次数据的核心激活区域进行对齐，解决肌电模式识别中的电极偏移问题，能够提升肌电模式识别效果；在此基础上，还提供一种通过深度学习的肌电模式识别框架进行肌电模式识别的方案，进一步提升了识别效果。整个方法对训练样本的多样性要求低，不需要采集多批次数据覆盖足够的电极偏移情况，不需要带有偏移信息的新样本进行模型参数的微调，本发明为解决基于肌电的模式识别中的电极偏移问题提供了新思路。

Description

基于肌肉核心激活区域的电极校正及肌电模式识别方法

技术领域

本发明涉及生物信号处理领域，尤其涉及一种基于肌肉核心激活区域的电极校正及肌电模式识别方法。

背景技术

肌电信号(EMG)是伴随肌肉收缩的重要生物信号，包含丰富的神经信息和运动控制信息。在实际应用中，肌电信号通常通过分立式或高密度的无创电极从皮肤表面采集，被称为表面肌电信号(sEMG)。肌电控制是一种通过测量表面肌电信号而将身体运动或意图转换为机器指令的技术，在假体、康复训练等医学领域和人机交互、消费电子等商业领域均具有广泛的应用前景。

肌电控制的主要步骤包括肌电信号采集、肌电模式识别和硬件设备实现。其中，肌电模式识别的准确性很大程度上决定了肌电控制系统的性能。几十年来，支持向量机(SVM)、线性判别分析(LDA)、K近邻(KNN)等经典的机器学习方法已成功地应用于肌电模式识别。近年来，深度学习网络也被引入到肌电模式识别中，虽然基于深度学习的肌电模式识别研究才刚刚起步，但是其在提高肌电模式识别的准确性和鲁棒性方面已表现出巨大的潜力。

大多数肌电模式识别方法在理想的实验室条件下都能取得令人满意的效果，但由于其对电极位移、力量水平或方向的变化和肌肉疲劳等特性敏感，所以应用于实际的肌电控制系统中仍然具有困难。特别是由于电极更换或人体运动引起的电极位移，会导致训练数据和测试数据之间的分布差异较大，从而降低分类器的性能。因为在实际应用中电极的更换是不可避免的，所以研究对电极位移不敏感的鲁棒算法具有重要的现实意义。

一些研究试图通过优化电极尺寸、朝向、电极间距等结构来减弱电极位移的影响，这种方法在肌电控制系统中不方便且难以实现。为了适应电极位移带来的数据分布变化，通常采用的一种策略是采集电极不同贴附位置的数据作为训练集，提高分类器的泛化能力。但是当训练数据和测试数据的分布存在显著差异时，该策略的性能较差。另一种常用的策略是利用少量带有偏移信息的新数据来辅助更新或微调已训练好的分类器的参数。但是这样每次模型参数微调需要采集新的数据，这对肌电控制系统的实际应用非常不利。鉴于此，有必要研究电极偏移问题的解决方案来确保肌电模式识别效果。

发明内容

本发明的目的是提供一种基于肌肉核心激活区域的电极校正及肌电模式识别方法，采用高密度阵列电极对目标肌肉的肌电信号进行采集，利用矩阵分解算法提取肌肉核心激活区域，并将不同批次数据的核心激活区域进行对齐，解决肌电模式识别中的电极偏移问题，能够提升肌电模式识别效果；在此基础上，还提供一种通过深度学习的肌电模式识别框架进行肌电模式识别的方案，进一步提升了识别效果。

本发明的目的是通过以下技术方案实现的：

一种基于肌肉核心激活区域的电极校正方法，包括：

使用电极阵列采集用户执行手势动作时产生的表面肌电信号，构建包含不同性别、不同年龄的多位健康用户在不同电极贴附位置下的手势肌电数据集；

对手势肌电数据集进行预处理，提取出源信号和混合系数矩阵，将二范数能量最大的源信号对应的混合系数向量映射到电极阵列的对应位置，提取肌肉核心激活区域，通过核心激活区域的对齐实现电极的自适应校准。

一种肌电模式识别方法，包括：利用前述的方式进行电极校正，从核心激活区域每个通道中提取肌电特征并进行拼接，获得特征图像；将特征图像输入至预先训练好的肌电模式识别网络中，获得肌电模式识别结果；其中，所述肌电模式识别网络包含依次设置的卷积神经网络与长短期记忆神经网络。

由上述本发明提供的技术方案可以看出，通过定位肌肉核心激活区域的方法，无监督地、自适应地实现电极的自适应校准，其特点是对训练样本的多样性要求低，不需要采集多批次数据覆盖足够的电极偏移情况，不需要带有偏移信息的新样本进行模型参数的微调，本发明为解决基于肌电的模式识别中的电极偏移问题提供了新思路。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种基于肌肉核心激活区域的电极校正及肌电模式识别方法的流程图；

图2为本发明实施例提供的手势动作示意图；

图3为本发明实施例提供的代表性手势的肌肉核心激活区域示意图；

图4为本发明实施例提供的肌电模式识别网络的结构示意图；

图5为本发明实施例提供的在实验中得到的平均识别准确率和标准差示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

本发明实施例提供一种基于肌肉核心激活区域的电极校正方法，如图1所示，其主要包括：

使用电极阵列采集用户执行手势动作时产生的表面肌电信号，构建包含不同性别、不同年龄的多位健康用户在不同电极贴附位置下的手势肌电数据集；

对手势肌电数据集进行预处理，提取出源信号和混合系数矩阵，将二范数能量最大的源信号对应的混合系数向量映射到电极阵列的对应位置，提取肌肉核心激活区域，通过核心激活区域的对齐实现电极的自适应校准。

在上述方法的基础上，本发明实施例还提供一种肌电模式识别方法，包括：利用方式进行电极校正，从核心激活区域每个通道中提取肌电特征并进行拼接，获得特征图像；将特征图像输入至预先训练好的肌电模式识别网络中，获得肌电模式识别结果；其中，所述肌电模式识别网络包含依次设置的卷积神经网络与长短期记忆神经网络。

为了便于理解，下面针对电极校正方法以及肌电模式识别方法的具体实现过程做详细的介绍。

一、电极校正方法。

1、电极偏移实验设计与信号采集。

1)手势动作选取。

本发明实施例中，手势肌电数据集包含了K种手势动作，手势动作在执行时主要涉及肘、腕、以及各指关节的不同状态。如图2所示，给出了手势动作的示例。

2)实验方案与数据采集。

本发明实施例中，募集了不同性别、不同年龄的多位健康受试者，分别采集在不同电极贴附位置下的手势动作肌电信号。所有参与者都被要求用右手执行手势动作。实验前，受试者以舒适的姿势坐在实验台一侧，右臂轻放在实验台上，用酒精擦拭前臂的皮肤，并均匀涂抹导电膏以降低皮肤电极阻抗。所有手势者被要求练习选取的手势动作，直到能够按照实验方案完成任务。

由于高密度表面肌电(HD-sEMG)阵列电极在克服电极位移影响中具有先天的优势，通过电极阵列实现对目标肌肉的全覆盖，无遗漏地收集肌肉空间激活信息，其在克服电极偏移上的潜力值得进一步挖掘。因此，本发明实施例中，所述电极阵列为高密度的柔性电极阵列，行通道数为p，列通道数为q，柔性电极阵列内部相邻通道间距离为d(电极阵列的相邻行、列通道间距相等)。示例性的，可设置：p＝8，q＝6，d＝14mm。

为了验证所提出的电极校准方法的可行性和优越性，共设计了两种无旋转的电极偏移实验方案：

方案一：有监督电极偏移实验。本实验的目的是为了验证对于已知位置的偏移所提算法的有效性。示例性的，肌电数据采集时，在用户前臂背侧放置电极阵列，用于捕捉前臂伸肌肌群的肌电信号。第一次放置的初始位置需要保证目标肌肉被充分覆盖，并尽可能位于电极片中心位置。接下来的实验中，以初始位置为参考，电极分别向内侧远端、外侧远端、内侧近端和外侧近端方向移动一个电极间距的距离，在每个电极贴附位置下都逐一执行K类手势任务。

方案二：无监督电极偏移实验。本实验的目的是为了模拟真实的应用场景，验证所提算法的有效性。示例性的，肌电数据采集时，在用户前臂伸肌和屈肌上分别放置柔性电极，用于捕捉前臂两大肌群的肌电信号。该方案的实验在若干天内完成，在保持电极片的朝向基本不变且保证目标肌肉被充分覆盖的前提下，分别收集在五个未知位置上的手势肌电信号，同样，在每个电极贴附位置下都逐一执行K类手势任务。

上述两类方案中，所有手势动作都是在中等力量水平下进行的，并且在每次手势动作之间休息指定时间(具体时间可按实际情况自行设定)，以避免肌肉疲劳。每个手势动作重复N次，时间间隔若干秒，每次手势动作持续若干秒。

手势动作的执行分为三个阶段：开始阶段、维持阶段和结束阶段；在开始阶段(大约L₁秒)，手势动作即将开始执行，肌肉开始收缩；在维持阶段(大约L₂秒)，动作保持静止，所有关节和肌肉收缩模式固定；在结束阶段(大约L₃秒)，肌肉即将放松，手臂回到初始位置。

2、数据预处理。

本发明实施例中，对每一手势动作产生的表面肌电信号均采用下述方式进行预处理：

1)坏通道舍弃与替换。示例性的，可通过幅度阈值检测法，将幅值异常的通道舍弃，并取相邻通道的平均值代替。

2)活动段分割。采用肌电幅度阈值法做活动段分割。

3)滤波与归一化。通常情况下，可使用带通滤波器对每一个活动段进行滤波，再使用高斯标准化方法对通道进行归一化；示例性的，可使用20-500Hz的有限长脉冲响应(FIR)滤波器消除高频噪声和低频运动伪迹，再使用高斯标准化方法对通道进行归一化，以消除数据间的分布差异。

4)利用滑动分析窗进行样本扩充。由于手势保持阶段肌肉收缩模式固定，因此，选取维持阶段数据，使用滑动分析窗的方法进行样本扩充。示例性的，可设置窗长为W，滑动步长为L，每个活动段可以获得M个滑动分析窗，每一手势动作包含L₂秒活动段，每个样本窗的大小为W×(p×q)(实验方案一)或W×(2×p×q)(实验方案二)。

3、电极自适应校准。

主成分分析(PCA)、独立成分分析(ICA)和非负矩阵分解(NMF)等各类矩阵分解算法可以从HD-sEMG信号中提取肌肉激活信号或贡献源信号，通过选择对手势任务有重要贡献的激活模式或源信号进而确定肌肉的核心激活区，同时核心激活区域可以用于电极自适应校准。示例性的，参考算法的稳定性和生理可解释性，采用FastICA(快速独立成分分析)算法对肌电信号进行矩阵分解。

需要说明的是，在手势执行过程中，与任务相关的肌肉应该被HD-sEMG电极充分覆盖，并且不同采集批次的电极朝向基本一致。同时，每一类手势的执行方式需要保持相似。这样，对于相同手势，其肌肉核心激活区域是一致的，电极校准可以通过对准来自不同批次样本的肌肉核心激活区域来实现；对于不同的手势，核心激活区域信号的空间分布是不同的，这种差异可以用来对手势的类别进行分类。基于肌肉核心激活区域的电极校准算法通过对单块高密度电极阵列实现，主要步骤如下：

1)根据可解释方差大于等于95％的准则，对于每个滑动分析窗内信号阵列(前述数据预处理方案中第4步的结果)，利用快速独立成分分析算法分解为多路源信号S＝[S1,S2,…,Sn]和对应的混合系数向量A＝[A1,A2，…,An]；其中，n为信号数目(即电极数目)。

2)将混合系数向量Aj内部所有元素的平方和记为sqr(Aj)，对每个混合系数向量Aj分别进行归一化，即将Aj除以sqr(Aj)，然后将相应的源信号Sj对应乘以sqr(Aj)；j＝1,2,…,n。

3)选择二范数能量最大的源信号对应的混合系数向量作为主模式，计算主模式元素的绝对值，并从小到大用序号1～p×q重新标记每个元素。

4)将主模式映射到电极阵列的相应位置，以边长为a通道的正方形滑动窗遍历，选择滑动窗口中序号和最大的区域作为核心激活区域；如果序号和最大的区域不唯一，则选择其中元素方差最小的一个。此步骤中涵盖了通过核心激活区域(a×a个通道)的对齐实现电极的自适应校准操作。

本领域技术人员可以理解，电极校正实际上是指对电极采集到的信号进行空间位置的校正。

图3给出了方案一中代表性手势的肌肉核心激活区域示意图。在图中，每一行代表一个手势的结果，核心激活区域用实线矩形框标出。第一列表示电极的基准位置(BL)，后四列表示四种电极偏移的情况，即分别朝着电极间间隔距离的内侧-远端(MD)、外侧-远端(LD)、内侧-近端(MP)和外侧-近端(LP)方向移动。每一幅子图的下方给出了该偏移位置下，核心激活区域相对于基准位置下移动的方向和距离大小。结果表明，核心激活区域的位移与电极的位移一致。尽管核心激活区的绝对位置随着电极的移动而改变，但核心激活区的相对位置没有改变。实验结果验证了核心活动区域提取算法的有效性。

二、肌电模式识别方法。

本发明实施例中，每个滑动分析窗内的信号需要提取肌电特征，进行数据降维。示例性的，可提取平均绝对值(MAV)、方差(VAR)、波长(WL)和零点数(ZC)共四维时域特征。之后，按照阵列电极的空间排列方式，将肌电特征排列成图像。肌电模式识别的输入为校正后按照电极阵列的空间排列方式所提取到的特征图像，输出为对应的手势动作类别。如果用于测试，则直接将特征图像输入至训练好的肌电模式识别网络中；如果用于训练，还需要为特征图像赋予类别标签。

本发明实施例中，提出了基于深度学习的肌电模式识别框架。肌电模式识别网络可采用深度学习领域的任意可能的网络模型构建。众所周知，不同类型的网络有其自身的优势。一般来说，卷积神经网络(CNN)具有很强的捕捉信号空间特征的能力，但很难提取出丰富的sEMG信号时序信息。然而，以长短期记忆神经网络(LSTM)为代表的时序神经网络具有很强的提取时序信息的能力。考虑到不同手势的HD-sEMG信号具有不同的空间分布特征和时间连续性，本发明实施例采用基于CNN+LSTM的肌电模式识别网络。

如图4所示，为肌电模式识别网络的结构。卷积神经网络包括：多个交替设置的卷积层(Convolution Layer)与池化层(Pooling Layer)、平展层(Flatten)和全连接层(FC)；卷积层包含不同数量的卷积核用于局部特征提取，池化层用于提取有效特征和降低特征的维数；最后一个池化层的输出通过平展层展开为一维矢量，再经过全连接层降维后输入至长短期记忆神经网络；所述平展层和全连接层的数目为M，平展层和全连接层一对一连接，M为每一手势动作经过滑动窗处理后得到的肌电特征图像数目。此外，在每一平展层和全连接层之间使用批量标准化(BN)来减少内部协变量偏移，采用L2_正则化方法防止过拟合。每个隐藏层后采用ReLU激活函数。初始学习率设置为0.001，Adam被选为网络的优化器。在肌电模式识别网络中，CNN模块可以看作一个特征提取器，将CNN模型的全连接层输出的特征向量输入LSTM模块。

长短期记忆神经网络中设有M个记忆单元，每一记忆单元按照编号顺序独立连接相应编号的全连接层，M实际上也对应了M个滑动分析窗，也即LSTM层综合了M个滑动分析窗中包含的时间信息，对整个数据活动段的类别做出决策。最后一个记忆单元的输出经softmax函数计算后得到肌电模式识别结果。

为了验证所提出的电极校准算法的有效性和优越性，分别进行了有电极校准算法和无电极校准算法的手势识别实验。基于留一交叉验证法，共采用了两种分类器(肌电模式识别网络)训练策略。策略1：用四批数据对分类器进行训练，剩余一批数据进行测试。策略2：用一批数据对分类器进行训练，其余四批数据对分类器进行测试。

通过对肌电模式识别网络进行训练，获得最优网络参数；训练过程如下：1)获取训练集及相应的标签。2)通过训练时训练集误差和训练集收敛时间，确定网络层数和各隐层节点数量。例如，当训练误差收敛，泛化误差降低到较低水平时(低于设定下限值)，网络层数和隐层单元数是最优选择。3)将训练样本和相应的标签送至肌电模式识别网络中，设置网络每次迭代的训练样本数以及总迭代的次数，调整各类超参数(例如，正则化、神经元节点随机失活概率和学习率等相关参数)，通过随机梯度下降法使得训练误差收敛到设定的范围(具体标准可根据需求自行设定)，准确率上升并稳定满足设定标准。

训练完毕后，将测试数据输入到训练好的解码网络进行模式识别，测试网络的性能。

图5所示为在两种训练策略下，肌电模式识别网络在测试集上的识别准确率统计结果，标记1代表未采用电极校准算法，标记2代表采用电极校准算法，左侧实验通过方案一采集数据，右侧实验通过方案二采集数据；实验结果表明，本发明提出的算法应用在含有电极偏移的模式识别任务中具有令人满意的识别准确率和较高的鲁棒性。对比两种训练策略，可以发现在使用校准算法时，仅用少量的一批数据训练得到的网络也能获得较高的分类精度，这种训练策略符合肌电控制的实际应用场景。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (7)

1.一种基于肌肉核心激活区域的电极校正方法，其特征在于，包括：

使用电极阵列采集用户执行手势动作时产生的表面肌电信号，构建包含不同性别、不同年龄的多位健康用户在不同电极贴附位置下的手势肌电数据集；

对手势肌电数据集进行预处理，提取出源信号和混合系数矩阵，将二范数能量最大的源信号对应的混合系数向量映射到电极阵列的对应位置，提取肌肉核心激活区域，通过核心激活区域的对齐实现电极的自适应校准；

其中，对每一手势动作产生的表面肌电信号均采用下述方式进行预处理：通过幅度阈值检测法，将幅值异常的通道舍弃，并取相邻通道的平均值代替；采用肌电幅度阈值法做活动段分割，使用带通滤波器对每一个活动段进行滤波，再使用高斯标准化方法对通道进行归一化；选取维持阶段数据，使用滑动分析窗的方法进行样本扩充；

对于每个滑动分析窗内信号阵列，利用快速独立成分分析算法分解为多路源信号S＝[S1,S2,…,Sn]和对应的混合系数向量A＝[A1,A2，…,An]；其中，n为信号数目；

将混合系数向量Aj内部所有元素的平方和记为sqr(Aj)，对每个混合系数向量Aj分别进行归一化，即将Aj除以sqr(Aj)，然后将相应的源信号Sj对应乘以sqr(Aj)；j＝1,2,…,n；选择二范数能量最大的源信号对应的混合系数向量作为主模式，计算主模式元素的绝对值，并从小到大用序号1～p×q重新标记每个元素；

将主模式映射到电极阵列的相应位置，以边长为a通道的正方形滑动窗遍历，选择滑动窗口中序号和最大的区域作为核心激活区域；如果序号和最大的区域不唯一，则选择其中元素方差最小的一个。

2.根据权利要求1所述的一种基于肌肉核心激活区域的电极校正方法，其特征在于，所述电极阵列为高密度的柔性电极阵列，行通道数为p，列通道数为q，柔性电极阵列内部相邻通道间距离为d。

3.根据权利要求1或2所述的一种基于肌肉核心激活区域的电极校正方法，其特征在于，所述使用电极阵列采集用户执行手势动作时产生的表面肌电信号包括：

在用户前臂背侧放置电极阵列，用于捕捉前臂伸肌肌群的肌电信号；或者，在用户前臂伸肌和屈肌上分别放置柔性电极，用于捕捉前臂两大肌群的肌电信号；

在任一种电极阵列放置方式下，用户逐一执行预先设计的所有手势动作。

4.根据权利要求3所述的一种基于肌肉核心激活区域的电极校正方法，其特征在于，每次手势动作之间休息指定时间；每个手势动作重复N次，时间间隔若干秒，每次手势动作持续若干秒；

手势动作的执行分为三个阶段：开始阶段、维持阶段和结束阶段；在开始阶段，手势动作即将开始执行，肌肉开始收缩；在维持阶段，动作保持静止，所有关节和肌肉收缩模式固定；在结束阶段，肌肉即将放松，手臂回到初始位置。

5.一种肌电模式识别方法，其特征在于，包括：利用权利要求1-4任一项所述的基于肌肉核心激活区域的电极校正方法进行电极校正，从核心激活区域每个通道中提取肌电特征并进行拼接，获得特征图像；将特征图像输入至预先训练好的肌电模式识别网络中，获得肌电模式识别结果；其中，所述肌电模式识别网络包含依次设置的卷积神经网络与长短期记忆神经网络。

6.根据权利要求5所述的一种肌电模式识别方法，其特征在于，

卷积神经网络包括：多个交替设置的卷积层与池化层、平展层和全连接层；卷积层包含不同数量的卷积核用于局部特征提取，池化层用于提取有效特征和降低特征的维数；最后一个池化层的输出通过平展层展开为一维矢量，再经过全连接层降维后输入至长短期记忆神经网络；所述平展层和全连接层的数目为M，平展层和全连接层一对一连接，M为每一手势动作对应的肌电特征图像数目；

长短期记忆神经网络中设有M个记忆单元，每一记忆单元按照编号顺序独立连接相应编号的全连接层；最后一个记忆单元的输出经softmax函数计算后得到肌电模式识别结果。

7.根据权利要求5或6所述的一种肌电模式识别方法，其特征在于，通过对肌电模式识别网络进行训练，获得最优网络参数；训练过程如下：

获取训练集及相应的标签；

通过训练时训练集误差和训练集收敛时间，确定网络层数和各隐层节点数量；

将训练样本和相应的标签送至肌电模式识别网络中，设置网络每次迭代的训练样本数以及总迭代的次数，调整各类超参数，通过随机梯度下降法使得训练误差收敛到设定的范围，准确率上升并稳定满足设定标准。

Images