CN114169375A - 一种基于力度无关鲁棒特征的肌电手势识别方法 - Google Patents

Abstract

本发明涉及一种基于力度无关鲁棒特征的肌电手势识别方法。包括：离线训练阶段，首先需要对用户的原始肌电信号数据进行预处理；接着采用CSP算法，两两动作之间计算得到一个最大化二者之间区别的二分类空间投影矩阵，组合空间投影矩阵，得到适用于多分类的空间投影矩阵；再通过差分、取方差、归一化，用线性无关分析将数据投影到低维空间，得到训练特征；最后训练特征和训练标签共同训练分类器；在线测试阶段，新得到的肌电数据同样经过预处理，接着用离线训练阶段得到的投影矩阵，得到投影后的新信号，然后新信号经过差分、取方差、数据归一化，再用离线训练阶段得到的降维矩阵进行降维，最后将特征输入离线训练阶段训练好的分类器输出预测的类别。

Description

一种基于力度无关鲁棒特征的肌电手势识别方法

技术领域

本发明涉及一种基于力度无关鲁棒特征的肌电手势识别方法。

背景技术

表面肌电信号(surface electromyogram，sEMG)是由运动关联肌肉的运动单元电位(Motor Unit Action Potential，MUAP)，沿着肌纤维方向传播，在皮肤表面形成的叠加电信号。相比刺入式肌电信号而言，表面肌电信号采集方式简单，过程无创。一方面，表面肌电信号被认为蕴含了用户大量的运动信息，可以从中解码得到肌肉收缩力、关节力矩等信息，被广泛运用于预测肢体状态或预测关节连续信息。另一方面，表面肌电信号具有“电-机械延时”(electromechanical delay,EMD)特性，表面肌电信号的产生到实际动作的执行之间存在着一定的延迟，有助于预判用户的运动意图。以上优势使得基于表面肌电信号开发的人机交互系统在日常生活中越来越常见，且朝着便携可穿戴的方向发展。

目前基于表面肌电信号的人机交互系统通常包括离线处理和在线分析两个过程。离线处理阶段，首先在实验室环境下采集用户已知动作标签的肌电信号，接着通过预处理、特征提取。最后动作特征和它对应的标签共同完成分类器的训练。在线分析时，当获取到一段未知动作的肌电信号时，同样也要经过预处理、特征提取的步骤，送入离线处理阶段得到的分类器，实时输出该段肌电信号所对应的类别。经历了几十年的研究，目前的动作识别从最初的二分类，已经发展成对几十种手部、腕部动作进行预测，其分类精度基本超过了90％。

但是只有在理想的实验室条件下，肌电信号模式识别才具备高分类准确率。因为分类准确率高的一个前提是肌电信号包含了受试者的完整的运动意图，受试者在做同一类动作时能够产生重复可持续的肌电信号。但是在实际应用当中，肌电信号模式识别受到肌肉收缩力、电极偏移、个体性差异、肌肉疲劳，肢体姿态等因素的影响，很难处于理想的实验环境。其中力度的变化是影响分类准确率的一个主要因素。在实验室条件中，受试者在完成动作时，肌肉收缩总是处于一个适中的水平，然而在实际应用当中，使用者总是有需要用不同等级力度执行动作的情况，这种情况下就会导致分类准确率的下降，所以设计一种能够减小力度变化对于分类准确率影响的方法是十分必要的。

目前已经发表或公开的减小力度对于动作分类影响的策略当中，主要包含两类方法：一是利用深度学习模型来挖掘力度无关特征，如将频域特征结合卷积神经网络(CNNS)，达到了95％的分类准确率。基于深度学习的方法能减小力度对于分类准确率的影响，但是模型结构复杂、需要大量的多种力度的数据训练模型。另一类方法是通过分析肌电信号，找到力度变化当中保持鲁棒性的信息，从而提取力度无关的鲁棒特征。对数据进行非负矩阵分解(Non-negative matrix factorization，NMF)，得到肌肉协同矩阵W和肌肉激活矩阵V，将肌肉协同矩阵W作为特征；从时域当中提取谱矩特征，接着利用余弦相似度来估计提取的功率谱之间的方向，从而提取到与幅值无关的时域功率谱描述符特征(Time-domain powerspectral descriptors，TD-PSD)。提取鲁棒性特征用于解决力度影响，能够降低因为数据量或数据类型扩增而引起的数据采集阶段和模型训练阶段的耗时，但是目前鲁棒特征的提取得到的分类准确率还比较低。

发明内容

本发明的目的在于解决因力度变化导致分类准确率下降的问题，同时减少离线阶段需要采集的数据量，加快运行速度，提高用户的使用舒适度，因此提供一种基于力度无关鲁棒特征的肌电手势识别方法。

为实现上述目的，本发明的技术方案是：一种基于力度无关鲁棒特征的肌电手势识别方法，包括：

离线训练阶段：首先需要对用户的原始肌电信号数据进行预处理，将属于相同动作的活动段归为一类；接着采用一对一的CSP算法，两两动作之间计算得到一个最大化二者之间区别的二分类空间投影矩阵，组合空间投影矩阵，得到适用于多分类的空间投影矩阵；再通过差分、取方差、归一化，用线性无关分析将数据投影到低维空间，得到训练特征，此处得到降维矩阵；最后训练特征和训练标签共同训练分类器；

在线测试阶段：将新得到的肌电数据同样经过预处理，接着用离线训练阶段得到的多分类的空间投影矩阵，得到投影后的新信号，然后新信号经过差分、取方差、数据归一化，再用离线训练阶段得到的降维矩阵进行降维，最后将特征输入离线训练阶段训练好的分类器输出预测的类别。

在本发明一实施例中，离线训练阶段中，所述预处理包括去除50Hz工频噪声、全波整流、4阶巴特沃夫带通滤波、活动段提取。

在本发明一实施例中，活动段提取过程中，为保证手势识别的实时性，设置窗长为150ms、步长为75ms的滑窗。

在本发明一实施例中，所述适用于多分类的空间投影矩阵的计算方式如下：

设肌电信号一共有C个类别，x_i和x_j分别是第i类和第j类的肌电信号，它们的信号维度是m×n，m为通道数，n为每个通道的采样点数；监督分类就是将同类手势的活动段组合在一起，接着计算第i类信号和第j类信号的平均协方差矩阵，其数学表达式如公式(1)所示：

n为实验的次数，然后求出第i类信号和第j类信号的平均协方差矩阵之和，并对其进行特征值分解，如公式(2)、(3)所示：

R_c＝R_i+R_j (2)

其中，U_c是特征向量矩阵，λ_c是U_c中每个特征向量对应的特征值所构成的对角矩阵，将特征值进行降序排列，得到白化矩阵P：

对R_i和R_j和进行如下的转换：

S_i＝PR_iP^T,S_j＝PR_jP^T (5)

再对S_i和S_j做特征分解，得到：

其中B_i＝B_j＝B，λ_i+λ_j＝I，由于两类特征值矩阵之和始终为I，则S_i的最大特征值所对应的特征向量使得S_j有最小的特征值，于是可以得到投影矩阵F：

F＝B^TP (7)

F是一个M×M的矩阵，F的每一行是一个空域滤波器，取l个最大特征值对应的特征向量和l个最小特征值对应的特征向量组成最终的最佳空间投影矩阵W，原始信号通过投影得到新信号：

Z＝WX (8)

最后将二分类的CSP算法拓展到多分类，采用的是一对一即CSP-OvO的做法：C个类别中每两个类别计算得到一个空间投影矩阵，然后得到的所有空间投影矩阵按行组合，最终得到适用于C分类的空间投影矩阵W。

在本发明一实施例中，所述通过差分、取方差、归一化，用线性无关分析将数据投影到低维空间，得到训练特征，此处得到降维矩阵；最后训练特征和训练标签共同训练分类器的具体实现过程如下：

首先对原始肌电信号X经适用于多分类的空间投影矩阵得到的新信号Z0，求出Z0的一阶、二阶差分信号Z1、Z2，并对Z0、Z1、Z2取方差，得到d0、d1、d2：

d0＝var(Z0) (9)

d1＝var(ΔZ0) (10)

d2＝var(Δ²Z0) (11)

ΔZ0表示Z0的一阶差分信号，Δ²Z0表示Z0的二阶差分信号，由于对信号取差分会降低信号的总能量，因此采用幂变换的方法来对差分信号进行标准化：

其中λ＝0.1，接着对特征进行对数变换：

f＝[f1 f2 f3] (15)

c＝log(f/sum(f)) (16)

然后通过线性无关分析将特征投影到类内距离最小，类间距离最大的低维空间，既减小特征的维数，又在不减小类间的距离的基础上减小同一类动作的类内距离，在此处计算得到降维矩阵G，最后训练特征和训练标签共同训练分类器模型。

相较于现有技术，本发明具有以下有益效果：

1、本发明离线阶段训练集包含的力度既可以是多力度，也可以是多力度，在单力度数据训练的情况下，识别率也比较高；

2、从减小同类动作的类内距离，增加不同类动作的类间距离来设计特征，这种特性使得特征在面对不同分类策略的分类器都有较高的识别率；

3、提取的特征维数小，测试阶段直接使用离线阶段得到的投影矩阵而不需要重新计算，运行速度快；

4、在上肢健全的受试者和上肢截肢的受试者上都验证了提出的特征，在力度变化的情况下，相比其他特征，识别正确率更高。

本发明可应用于所有基于表面肌电信号的人机交互系统中，如假肢控制，智能遥控等。对于上肢健全的用户，该方法能够应用于智能家居和游戏当中，例如可以佩戴智能肌电手环来控制灯的开关，视频的暂停和停止；应用在游戏的人机交互中，如实况网球游戏等，可以提升玩家的游戏体验感。对于上肢截肢的用户，由于他们的缺少必要的肌肉结构，从残肢上获取其运动意图十分困难，本发明可以从残肢中获取的肌电信号中提取到能够反映使用者意图的特征，帮助上肢截肢者在力度变化的情况下完成各类日常生活所需要的动作。

附图说明

图1为本发明力度鲁棒特征提取流程图。

图2为本发明数据预处理流程图。

图3为本发明空间投影矩阵的计算流程图。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

本发明一种基于力度无关鲁棒特征的肌电手势识别方法，包括：

离线训练阶段：首先需要对用户的原始肌电信号数据进行预处理，将属于相同动作的活动段归为一类；接着采用一对一的CSP算法，两两动作之间计算得到一个最大化二者之间区别的二分类空间投影矩阵，组合空间投影矩阵，得到适用于多分类的空间投影矩阵；再通过差分、取方差、归一化，用线性无关分析将数据投影到低维空间，得到训练特征，此处得到降维矩阵；最后训练特征和训练标签共同训练分类器；

在线测试阶段：将新得到的肌电数据同样经过预处理，接着用离线训练阶段得到的多分类的空间投影矩阵，得到投影后的新信号，然后新信号经过差分、取方差、数据归一化，再用离线训练阶段得到的降维矩阵进行降维，最后将特征输入离线训练阶段训练好的分类器输出预测的类别。

以下为本发明具体实现过程。

如图1所示，本发明一种基于力度无关鲁棒特征的肌电手势识别方法，通过4个部分的技术方案实现：第一部分是数据预处理，包括全波整流、4阶巴特沃夫带通滤波、50Hz陷波器去除电力干扰、活动段提取；第二部分是空间投影矩阵的计算，通过一对一的CSP算法，得到适用于多分类的空间投影矩阵；第三部分是训练特征的提取和分类器的训练，首先训练数据通过空间投影矩阵得到投影后的新信号，接着对新信号取一阶、二阶差分信号、取方差，然后通过归一化，得到训练特征，最后训练特征和训练标签共同完成分类器的训练；第四部分是测试特征的提取和动作的在线识别，测试特征预处理后，通过离线阶段得到的空间投影矩阵，得到投影后的新信号，接着取方差再经过归一化得到测试特征，最后测试特征送入离线阶段训练好的分类器，输出预测的动作类别。

第一部分：数据预处理。这一部分的流程图如图2所示。

对于获取的原始数据，首先需要进行数据预处理，主要包括滤除50Hz的工频噪声、全波整流、4阶巴特沃夫带通滤波(频率范围为20-450Hz)、以及活动段提取等步骤。其中，活动段提取过程中，为了保证手势识别的实时性，设置窗长为150ms、步长为75ms的滑窗。

第二部分是空间投影矩阵的计算。空间投影矩阵的计算步骤如图3所示：

设一共有C个类别，x_i和x_j分别是第i类和第j类的肌电信号，它们的信号维度是m×n，m为通道数，n为每个通道的采样点数；监督分类就是将同类手势的活动段组合在一起，接着计算第i类信号和第j类信号的平均协方差矩阵，其数学表达式如公式(1)所示：

n为实验的次数，然后求出第i类信号和第j类信号的平均协方差矩阵之和，并对其进行特征值分解，如公式(2)、(3)所示：

R_c＝R_i+R_j (2)

其中，U_c是特征向量矩阵，λ_c是U_c中每个特征向量对应的特征值所构成的对角矩阵，将特征值进行降序排列，得到白化矩阵P：

对R_i和R_j和进行如下的转换：

S_i＝PR_iP^T,S_j＝PR_jP^T (5)

再对S_i和S_j做特征分解，得到：

其中B_i＝B_j＝B，λ_i+λ_j＝I，由于两类特征值矩阵之和始终为I，则S_i的最大特征值所对应的特征向量使得S_j有最小的特征值，于是可以得到投影矩阵F：

F＝B^TP (7)

F是一个M×M的矩阵，F的每一行是一个空域滤波器，取l个最大特征值对应的特征向量和l个最小特征值对应的特征向量组成最终的最佳空间投影矩阵W，原始信号通过投影得到新信号：

Z＝WX (8)

最后将二分类的CSP算法拓展到多分类，采用的是一对一(CSP-OvO)的做法：C个类别中每两个类别计算得到一个空间投影矩阵，然后得到的所有空间投影矩阵按行组合，最终得到适用于C分类的空间投影矩阵W。

第三部分是训练特征的提取和分类器的训练。传统的CSP算法在训练数据和测试数据是相同力度的情况下，从训练集得到的空间投影矩阵能够最大化测试集中类与类的区别，但是当测试数据和测试数据包含不同力度的数据时，训练集得到的空间投影矩阵往往不适用于测试集，从而导致了识别正确率的下降。临床应用当中更多是后面的这种情况，因此需要对CSP算法进行改进。由于CSP算法将时间序列看作是高斯信号，完全忽略了隐含在时间序列中的时间相关性信息，差分信号是后一时刻的信号与前一时刻的差值组成的信号，将差分信号加入到CSP特征的提取过程当中，不仅加入了时间相关性信息，还减小了力度变化给信号带来的不稳定性。

具体特征提取的步骤如下：

首先对原始肌电信号X按照上一节步骤得到投影后的新信号Z0，求出Z0的一阶、二阶差分信号Z1、Z2，并对Z0、Z1、Z2取方差，得到d0、d1、d2：

d0＝var(Z0) (9)

d1＝var(ΔZ0) (10)

d2＝var(Δ²Z0) (11)

ΔZ0表示Z0的一阶差分信号，Δ²Z0表示Z0的二阶差分信号，由于对信号取差分会降低信号的总能量，因此采用幂变换的方法来对差分信号进行标准化：

其中λ＝0.1，接着对特征进行对数变换，对数变换有以下优势：(1)不会改变数据的性质和相关关系，进行转换后不会改变CSP算法的性质。(2)当输入x的数值较小时，输出y的值变化较快，随着x不断变大，y越来越平缓。经过对数变换之后，力度小的数据范围变大，而力度大的数据范围变小，不同力度的数据之间的差异被减小；

f＝[f1 f2 f3] (15)

c＝log(f/sum(f)) (16)

然后通过线性无关分析(Uncorrelated Linear Discriminant Analysis，ULDA)将特征投影到类内距离最小，类间距离最大的低维空间，既减小特征的维数，又在不减小类间的距离的基础上减小同一类动作的类内距离，在此处计算得到的降维矩阵G用于后续测试数据的降维，最后训练特征和训练标签共同训练分类器模型。

第四部分是测试特征的提取和动作的在线识别。测试特征首先经过预处理，接着用训练阶段得到的空间投影矩阵得到投影后的新信号，接着通过差分处理、取方差、归一化，然后用训练阶段得到的降维矩阵G对数据进行降维，最后测试特征送入训练好的分类器，输出预测的类别。

本发明是一种基于力度无关鲁棒特征的肌电手势识别方法，为减小力度对于动作识别率的影响提出一种策略。本发明产品的使用主要包括离线训练阶段和在线测试阶段。离线训练阶段，首先需要对用户的原始肌电信号数据进行预处理，包括去除50Hz工频噪声，全波整流，4阶巴特沃夫带通滤波、活动段提取。对于预处理后的数据，将属于相同动作的活动段归为一类。接着采用一对一的CSP算法，两两动作之间计算得到一个最大化二者之间区别的二分类空间投影矩阵，组合空间投影矩阵，得到适用于多分类的空间投影矩阵。再通过差分、取方差、归一化，用线性无关分析将数据投影到低维空间，得到训练特征。最后训练特征和训练标签共同训练分类器。在线测试阶段，新得到的肌电数据同样经过预处理，接着用离线阶段得到的投影矩阵，得到投影后的新信号，然后新信号经过差分、取方差、数据归一化，再用离线阶段得到的降维矩阵进行降维，最后将特征输入离线阶段训练好的分类器输出预测的类别。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (5)

1.一种基于力度无关鲁棒特征的肌电手势识别方法，其特征在于，包括：

离线训练阶段：首先需要对用户的原始肌电信号数据进行预处理，将属于相同动作的活动段归为一类；接着采用一对一的CSP算法，两两动作之间计算得到一个最大化二者之间区别的二分类空间投影矩阵，组合空间投影矩阵，得到适用于多分类的空间投影矩阵；再通过差分、取方差、归一化，用线性无关分析将数据投影到低维空间，得到训练特征，此处得到降维矩阵；最后训练特征和训练标签共同训练分类器；

在线测试阶段：将新得到的肌电数据同样经过预处理，接着用离线训练阶段得到的多分类的空间投影矩阵，得到投影后的新信号，然后新信号经过差分、取方差、数据归一化，再用离线训练阶段得到的降维矩阵进行降维，最后将特征输入离线训练阶段训练好的分类器输出预测的类别。

2.根据权利要求1所述的一种基于力度无关鲁棒特征的肌电手势识别方法，其特征在于，离线训练阶段中，所述预处理包括去除50Hz工频噪声、全波整流、4阶巴特沃夫带通滤波、活动段提取。

3.根据权利要求2所述的一种基于力度无关鲁棒特征的肌电手势识别方法，其特征在于，活动段提取过程中，为保证手势识别的实时性，设置窗长为150ms、步长为75ms的滑窗。

4.根据权利要求1所述的一种基于力度无关鲁棒特征的肌电手势识别方法，其特征在于，所述适用于多分类的空间投影矩阵的计算方式如下：

设肌电信号一共有C个类别，x_i和x_j分别是第i类和第j类的肌电信号，它们的信号维度是m×n，m为通道数，n为每个通道的采样点数；监督分类就是将同类手势的活动段组合在一起，接着计算第i类信号和第j类信号的平均协方差矩阵，其数学表达式如公式(1)所示：

n为实验的次数，然后求出第i类信号和第j类信号的平均协方差矩阵之和，并对其进行特征值分解，如公式(2)、(3)所示：

R_c＝R_i+R_j (2)

其中，U_c是特征向量矩阵，λ_c是U_c中每个特征向量对应的特征值所构成的对角矩阵，将特征值进行降序排列，得到白化矩阵P：

对R_i和R_j和进行如下的转换：

S_i＝PR_iP^T,S_j＝PR_jP^T (5)

再对S_i和S_j做特征分解，得到：

其中B_i＝B_j＝B，λ_i+λ_j＝I，由于两类特征值矩阵之和始终为I，则S_i的最大特征值所对应的特征向量使得S_j有最小的特征值，于是可以得到投影矩阵F：

F＝B^TP (7)

F是一个M×M的矩阵，F的每一行是一个空域滤波器，取l个最大特征值对应的特征向量和l个最小特征值对应的特征向量组成最终的最佳空间投影矩阵W，原始信号通过投影得到新信号：

Z＝WX (8)

最后将二分类的CSP算法拓展到多分类，采用的是一对一即CSP-OvO的做法：C个类别中每两个类别计算得到一个空间投影矩阵，然后得到的所有空间投影矩阵按行组合，最终得到适用于C分类的空间投影矩阵W。

5.根据权利要求1所述的一种基于力度无关鲁棒特征的肌电手势识别方法，其特征在于，所述通过差分、取方差、归一化，用线性无关分析将数据投影到低维空间，得到训练特征，此处得到降维矩阵；最后训练特征和训练标签共同训练分类器的具体实现过程如下：

首先对原始肌电信号X经适用于多分类的空间投影矩阵得到的新信号Z0，求出Z0的一阶、二阶差分信号Z1、Z2，并对Z0、Z1、Z2取方差，得到d0、d1、d2：

d0＝var(Z0) (9)

d1＝var(ΔZ0) (10)

d2＝var(Δ²Z0) (11)

ΔZ0表示Z0的一阶差分信号，Δ²Z0表示Z0的二阶差分信号，由于对信号取差分会降低信号的总能量，因此采用幂变换的方法来对差分信号进行标准化：

其中λ＝0.1，接着对特征进行对数变换：

f＝[f1 f2 f3] (15)

c＝log(f/sum(f)) (16)

然后通过线性无关分析将特征投影到类内距离最小，类间距离最大的低维空间，既减小特征的维数，又在不减小类间的距离的基础上减小同一类动作的类内距离，在此处计算得到降维矩阵G，最后训练特征和训练标签共同训练分类器模型。

Images