CN114330433A - 基于虚拟惯性测量信号生成模型的动作识别方法及系统 - Google Patents

Abstract

本发明提出了一种基于虚拟惯性测量信号生成模型的动作识别方法及系统，包括构建包括若干训练样本的训练样本集；利用所述训练样本集，对基于生成对抗网络模型的虚拟惯性测量信号生成模型进行迭代对抗训练，在肢体表面肌电信号与肢体惯性测量信号之间构建起跨模态关联关系模型，实现由表面肌电信号生成虚拟的惯性测量信号，并将基于生成对抗网络模型的虚拟惯性测量信号生成模型应用于肢体动作识别中，通过输入的表面肌电信号生成尽可能逼真的虚拟惯性测量信号，进而在不更改硬件的情况下，拓展现有单模态肢体动作识别系统输入信息的模态数量，提升其识别人体动作时的精度。

Description

基于虚拟惯性测量信号生成模型的动作识别方法及系统

技术领域

本发明涉及动作识别技术领域，特别是涉及一种基于虚拟惯性测量信号生成模型的动作识别方法及系统。

背景技术

肢体动作识别系统主要通过表面肌电电极、惯性测量单元(IMU)或数据手套等传感器获取的肢体动作数据识别用户的肢体动作，并将识别结果转化为对设备的指令，是实现自然人机交互的重要途径之一。其中肢体动作识别系统又分为单模态的肢体动作识别系统和多模态的肢体动作识别系统。单模态的肢体动作识别系统依赖一种类型传感器获取的肢体动作数据进行肢体动作识别，而多模态的肢体动作识别系统依赖两种或多种类型传感器获取的肢体动作数据进行肢体动作识别。

多模态的肢体动作识别系统由于增加了输入数据的模态数量，对于提升识别复杂肢体动作的准确率具有重要的意义。表面肌电信号可用于解析手指和手腕运动，而肢体动作惯性测量信号可用于解析前臂运动和位置，因此融合表面肌电与运动传感信号的多模态肢体动作识别系统将有助于提升肢体动作识别系统在识别复杂肢体动作时的精度。另一方面，虽然多模态的肢体动作识别系统相比的单模态的肢体动作识别系统可实现更高的识别精度，其需要多模态肢体动作数据作为输入，导致硬件的传感器数量和种类都有所增加，也增加了硬件成本和研发难度。

针对以上问题，本发明结合生成对抗网络模型，在前臂表面肌电信号数据与肢体动作惯性测量信号数据之间构建此类跨模态关联关系模型，提出了一种基于虚拟惯性测量信号生成模型的动作识别方法及系统。

发明内容

本发明的目的是提供一种基于虚拟惯性测量信号生成模型的动作识别方法及系统，解决现有的动作识别方法中，采用单模态的肢体动作识别系统的精度不够，而采用多模态的肢体动作识别系统又会增加硬件成本以及研发的复杂程度的问题。

为实现上述目的，本发明提供了一种虚拟惯性测量信号生成模型的训练方法，包括以下步骤：

构建包括若干训练样本的训练样本集；每个训练样本包括同一肢体动作对应的训练用表面肌电信号和训练用惯性测量信号；

构建虚拟惯性测量信号生成模型；所述虚拟惯性测量信号生成模型为生成对抗网络模型；所述虚拟惯性测量信号生成模型中包括参考特征提取器、生成器和判别器；所述虚拟惯性测量信号生成模型用于根据表面肌电信号生成对应的虚拟惯性测量信号；

利用所述训练样本集，以所述训练用表面肌电信号为所述虚拟惯性测量信号生成模型中生成器的输入，以所述训练用表面肌电信号对应的训练用惯性测量信号为所述虚拟惯性测量信号生成模型中生成器的目标输出，对所述虚拟惯性测量信号生成模型进行迭代对抗训练，得到训练好的虚拟惯性测量信号生成模型。

可选地，所述参考特征提取器用于对输入其的信号进行特征提取，得到参考信号特征；

所述生成器用于：对输入其的所述训练用表面肌电信号进行特征提取，得到肌电信号特征；将参考特征提取器输出的所述参考信号特征与所述肌电信号特征进行拼接，得到融合信号特征；根据所述融合信号特征生成虚拟惯性测量信号；所述虚拟惯性测量信号用于输入所述参考特征提取器以及所述判别器；

所述判别器用于判别输入其的所述虚拟惯性测量信号与所述训练用惯性测量信号近似程度；

所述生成器根据所述近似程度调整生成器中的各权重系数。

可选地，所述利用所述训练样本集，对所述虚拟惯性测量信号生成模型进行迭代对抗训练，具体包括：

所述参考特征提取器对输入其的信号进行特征提取，得到参考信号特征；

所述生成器：对输入其的所述训练用表面肌电信号进行特征提取，得到肌电信号特征；将所述参考信号特征与所述肌电信号特征进行拼接，得到融合信号特征；并根据所述融合信号特征生成虚拟惯性测量信号；所述虚拟惯性测量信号用于输入所述判别器；

所述判别器对输入其的所述虚拟惯性测量信号与所述训练用惯性测量信号近似程度进行判别，得到判别值；

判断是否达到训练终止条件，若是，则停止迭代对抗训练，得到训练好的虚拟惯性测量信号生成模型；若否，则将所述虚拟惯性测量信号输入到所述参考特征提取器中，开始下一轮对抗训练。

可选地，所述构建虚拟惯性测量信号生成模型，具体包括：

构建包括卷积神经网络和全连接网络的参考特征提取器；在所述参考特征提取器中，所述卷积神经网络包括4个卷积层；所述全连接网络包括3个全连接层；

构建包括卷积神经网络、全连接网络和反卷积神经网络的生成器；在所述生成器中，所述卷积神经网络包括4个卷积层，所述全连接网络包括3个全连接层，所述反卷积神经网络包括3个反卷积层和1个卷积层；所述全连接网络的输出与所述参考特征提取器的输出相拼接后输入所述反卷积神经网络；

构建包括卷积神经网络、全连接网络和最小二乘损失函数的判别器；在所述判别器中，所述卷积神经网络包括4个卷积层，所述全连接网络包括3个全连接层。

可选地，所述训练方法还包括：

生成所述参考特征提取器的初始输入信号：构建一个与所述训练用惯性测量信号具有相同尺寸的图像，并对图像中每个像素赋予值域范围在[0,1]区间内的随机实数值，得到所述初始输入信号。

另一方面，本发明还提供了一种基于虚拟惯性测量信号生成模型的动作识别方法，包括以下步骤：

获取表面肌电信号；

利用前文所述的虚拟惯性测量信号生成模型的训练方法得到训练好的虚拟惯性测量信号生成模型；

将表面肌电信号输入到训练好的虚拟惯性测量信号生成模型中，得到虚拟惯性测量信号；

将表面肌电信号和虚拟惯性测量信号输入到动作识别模型中，得到动作识别结果。

可选地，所述动作识别模型为双流神经网络模型，所述动作识别模型包括两个神经网络分支、特征层融合模块以及softmax分类器。

另一方面，本发明还提供了一种基于虚拟惯性测量信号生成模型的动作识别系统，包括以下单元：

表面肌电信号获取单元，用于获取表面肌电信号；

虚拟信号生成模型训练单元，用于根据前文所述的虚拟惯性测量信号生成模型的训练方法得到训练好的虚拟惯性测量信号生成模型；

虚拟惯性测量信号获取单元，用于将所述表面肌电信号输入到所述训练好的虚拟惯性测量信号生成模型中，得到虚拟惯性测量信号；

动作识别单元，用于将所述表面肌电信号和所述虚拟惯性测量信号输入到动作识别模型中，得到动作识别结果。

可选地，所述动作识别模型为双流神经网络模型，所述动作识别模型包括两个神经网络分支、特征层融合模块以及softmax分类器。

根据本发明提供的具体发明内容，本发明公开了以下技术效果：

本发明提供的基于虚拟惯性测量信号生成模型的动作识别方法及系统，包括构建包括若干训练样本的训练样本集；每个训练样本包括同一肢体动作对应的训练用表面肌电信号和训练用惯性测量信号；构建基于生成对抗网络模型的虚拟惯性测量信号生成模型；利用所述训练样本集，以所述训练用表面肌电信号为所述虚拟惯性测量信号生成模型中生成器的输入，以所述训练用表面肌电信号对应的训练用惯性测量信号为所述虚拟惯性测量信号生成模型中生成器的目标输出，对所述虚拟惯性测量信号生成模型进行迭代对抗训练，得到训练好的虚拟惯性测量信号生成模型；将训练好的虚拟惯性测量信号生成模型用于识别肢体动作。本发明的方法将基于生成对抗网络的虚拟惯性测量信号生成模型应用于动作识别中，通过输入的表面肌电信号生成尽可能逼真的虚拟惯性测量信号，进而在不更改硬件的情况下，拓展现有单模态肢体动作识别系统输入信息的模态数量，提升其识别人体动作时的精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例1提供的一种虚拟惯性测量信号生成模型的训练方法的流程图；

图2为本发明实施例1提供的训练方法中步骤A3的流程图；

图3为本发明实施例2提供的一种基于虚拟惯性测量信号生成模型的动作识别方法的流程图；

图4为本发明实施例3提供的一种基于虚拟惯性测量信号生成模型的动作识别系统的结构示意图；

图5为本发明实施例4提供的动作识别方法中对抗式训练的流程图；

图6为本发明实施例4提供的动作识别方法中多模态上肢动作识别模型的结构示意图。

符号说明：

1：表面肌电信号获取单元；2：虚拟信号生成模型训练单元；3：虚拟惯性测量信号获取单元；4：动作识别单元。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于表面肌电信号的肢体动作识别方法及系统，解决现有的动作识别方法中，采用单模态的肢体动作识别系统的精度不够，而采用多模态的肢体动作识别系统又会增加硬件成本以及研发的复杂程度的问题。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

实施例1：

如图1所示，本发明提供了一种虚拟惯性测量信号生成模型的训练方法，包括以下步骤：

A1、构建包括若干训练样本的训练样本集；每个训练样本包括同一肢体动作对应的训练用表面肌电信号和训练用惯性测量信号。步骤A1具体包括以下步骤：

在公开的上肢动作多模态数据集NinaPro的第五个子数据集NinaPro-DB5的53种上肢动作的多模态数据中，选取每种上肢动作的多次对应的多模态数据用于构建训练样本集；

抽取变量名为“emg”的8通道的训练用表面肌电信号和变量名为“acc”的3通道的训练用惯性测量信号，并分别把抽取的训练用表面肌电信号和训练用惯性测量信号按照变量“subject”所对应的被试编号由000-009的顺序分割后，再按照变量“restimulus”所属的不同的肢体动作由000-052的顺序进行再分割。

将所分割的训练用表面肌电信号和训练用惯性测量信号进行滤波处理后，按矩阵列将两者的数据矩阵拼接为一个列数为11的多模态数据矩阵，并使用移动步长为10ms的滑动采样窗口对该多模态数据矩阵进行分割采样。

将通过滑动采样窗口分割采样得到的每个多模态数据矩阵样本拆分为列数为8的训练用表面肌电信号样本和列数为3的训练用惯性测量信号样本，然后分别对两者进行归一化操作并进行矩阵重组(reshape)，形成第i个(i＝2,3,4,…,N，其中N为滑动采样窗口分割采样得到的样本总数)训练用表面肌电数据图像样本和第i个(i＝2,3,4,…,N，其中N为滑动采样窗口分割采样得到的样本总数)训练用惯性测量数据图像样本，将所有的训练用表面肌电数据图像样本和训练用惯性测量数据图像样本以文件形式存储，完成多模态训练样本集的构建。

A2、构建虚拟惯性测量信号生成模型；所述虚拟惯性测量信号生成模型为生成对抗网络模型；所述虚拟惯性测量信号生成模型中包括参考特征提取器、生成器和判别器；所述虚拟惯性测量信号生成模型用于根据表面肌电信号生成对应的虚拟惯性测量信号；步骤A2具体包括以下步骤：

构建包括卷积神经网络和全连接网络的参考特征提取器；在所述参考特征提取器中，所述卷积神经网络包括4个卷积层；所述全连接网络包括3个全连接层；所述参考特征提取器用于对输入其的信号进行特征提取，得到参考信号特征。

构建包括卷积神经网络、全连接网络和反卷积神经网络的生成器；在所述生成器中，所述卷积神经网络包括4个卷积层，所述全连接网络包括3个全连接层，所述反卷积神经网络包括3个反卷积层和1个卷积层；所述全连接网络的输出与所述参考特征提取器的输出相拼接后输入所述反卷积神经网络；所述生成器用于：对输入其的所述训练用表面肌电信号进行特征提取，得到肌电信号特征；将参考特征提取器输出的所述参考信号特征与所述肌电信号特征进行拼接，得到融合信号特征；根据所述融合信号特征生成虚拟惯性测量信号；所述虚拟惯性测量信号用于输入所述参考特征提取器以及所述判别器。

构建包括卷积神经网络、全连接网络和最小二乘损失函数的判别器；在所述判别器中，所述卷积神经网络包括4个卷积层，所述全连接网络包括3个全连接层；所述判别器用于判别输入其的所述虚拟惯性测量信号与所述训练用惯性测量信号近似程度。

所述生成器还用于根据所述近似程度调整生成器中的各权重系数。

A3、利用所述训练样本集，对所述虚拟惯性测量信号生成模型进行迭代对抗训练，得到训练好的虚拟惯性测量信号生成模型，在迭代对抗训练中，以所述训练用表面肌电信号为所述虚拟惯性测量信号生成模型中生成器的输入，以所述训练用表面肌电信号对应的训练用惯性测量信号为所述虚拟惯性测量信号生成模型中生成器的目标输出；如图2所示，步骤A3具体包括以下步骤：

A31、生成所述参考特征提取器的初始输入信号：构建一个与所述训练用惯性测量信号具有相同尺寸的图像，并对图像中每个像素赋予值域范围在[0,1]区间内的随机实数值，得到所述初始输入信号，将初始输入信号输入参考特征提取器中。

A32、所述参考特征提取器对输入其的信号进行特征提取，得到参考信号特征。

A33、所述生成器根据输入其的训练用表面肌电信号和所述参考信号特征，生成虚拟惯性测量信号：对输入其的所述训练用表面肌电信号进行特征提取，得到肌电信号特征；将所述参考信号特征与所述肌电信号特征进行拼接，得到融合信号特征；并根据所述融合信号特征生成虚拟惯性测量信号；所述虚拟惯性测量信号用于输入所述判别器。

A34、所述判别器对输入其的所述虚拟惯性测量信号与所述训练用惯性测量信号近似程度进行判别，得到判别值。

A35、判断是否达到训练终止条件，若是，则停止迭代对抗训练，得到训练好的虚拟惯性测量信号生成模型；若否，则将所述虚拟惯性测量信号输入到所述参考特征提取器中，回到步骤A32，开始下一轮对抗训练。

本实施例中，在肢体表面肌电信号与肢体惯性测量信号之间构建起跨模态关联关系模型，实现由表面肌电信号生成虚拟的肢体动作惯性测量信号，将可以在不增加传感器数量和种类的情况下，拓展现有单模态肢体动作识别系统输入数据的模态数量，提升了肢体动作识别的精度。

实施例2：

如图3所示，对应于实施例1的一种虚拟惯性测量信号生成模型的训练方法，本发明还提供了一种基于虚拟惯性测量信号生成模型的动作识别方法，包括以下步骤：

B1、获取表面肌电信号。

B2、利用如实施例1所述的虚拟惯性测量信号生成模型的训练方法得到训练好的虚拟惯性测量信号生成模型。

B3、将表面肌电信号输入到训练好的虚拟惯性测量信号生成模型中，得到虚拟惯性测量信号。

B4、将表面肌电信号和虚拟惯性测量信号输入到动作识别模型中，得到动作识别结果；动作识别模型为双流神经网络模型，所述动作识别模型包括两个神经网络分支、特征层融合模块以及softmax分类器。

实施例3：

如图4所示，对应于实施例2的一种基于虚拟惯性测量信号生成模型的动作识别方法，本发明还提供了一种基于虚拟惯性测量信号生成模型的动作识别系统，包括以下单元：

表面肌电信号获取单元1，用于获取表面肌电信号。

虚拟信号生成模型训练单元2，用于根据前文所述的虚拟惯性测量信号生成模型的训练方法得到训练好的虚拟惯性测量信号生成模型。

虚拟惯性测量信号获取单元3，用于将所述表面肌电信号输入到所述训练好的虚拟惯性测量信号生成模型中，得到虚拟惯性测量信号。

动作识别单元4，用于将所述表面肌电信号和所述虚拟惯性测量信号输入到动作识别模型中，得到动作识别结果；动作识别模型为双流神经网络模型，所述动作识别模型包括两个神经网络分支、特征层融合模块以及softmax分类器。

实施例4：

本实施例中使用一个具体的例子详细说明并验证本发明提供的动作识别方法达到的效果。

(1).构建包含表面肌电信号数据和惯性测量信号数据的多模态训练样本集，包括以下子步骤：

(1.1).在公开的上肢动作多模态数据集NinaPro的第五个子数据集NinaPro-DB5的53种上肢动作的多模态数据中，选取每种上肢动作的第1,3,4,6次重复所对应的多模态数据用于构建训练样本集；可以理解的基础上，选取其他肢体动作的数据集构建训练样本集均属于本发明保护的范畴。

(1.2).在步骤(1.1)所选取的上肢动作多模态数据中，抽取变量名为“emg”的8通道表面肌电信号数据、变量名为“acc”的3通道惯性测量信号数据、以及变量名为“restimulus”的上肢动作标签，并分别把抽取的表面肌电信号数据、惯性测量信号数据以及上肢动作标签按照变量“subject”所对应的被试编号由000-009的顺序分割后，再按照变量“restimulus”所对应的上肢动作标签由000-052的顺序进行再分割。

(1.3).对步骤(1.2)中所分割的表面肌电信号数据和惯性测量信号数据进行滤波处理后，按矩阵列将两者的数据矩阵拼接为一个列数为11的多模态数据矩阵，并使用移动步长为10ms的滑动采样窗口对该多模态数据矩阵进行分割采样。

(1.4).将步骤(1.3)中通过滑动采样窗口分割采样得到的每个多模态数据矩阵样本拆分为列数为8的表面肌电数据样本和列数为3的惯性测量数据样本，然后分别对两者进行归一化操作并进行矩阵重组(reshape)，形成第i个(i＝2,3,4,…,N，其中N为步骤(1.3)中滑动采样窗口分割采样得到的样本总数)表面肌电数据图像样本和第i个(i＝2,3,4,…,N，其中N为步骤(1.3)中滑动采样窗口分割采样得到的样本总数)惯性测量数据图像样本，将所有的表面肌电数据图像样本、惯性测量数据图像样本以及其相应上肢动作标签以文件形式存储，完成多模态训练样本集的构建。

(2).设计一个包含参考特征提取器、生成模型、判别模型的最小二乘生成对抗网络，包括以下子步骤：

(2.1).设计由4个卷积层构成的卷积神经网络、由3个全连接层构成的全连接网络组成的参考特征提取器E。

(2.2).设计由4个卷积层构成的卷积神经网络、由3个全连接层构成的全连接网络、以及由3个反卷积层和1个卷积层构成的反卷积神经网络组成的生成器G，其中在生成器G中，全连接网络的输出与参考特征提取器E的输出相拼接后输入反卷积神经网络。

(2.3).设计由4个卷积层构成的卷积神经网络、由3个全连接层构成的全连接网络、以及最小二乘损失函数组成的判别器D。

(3).使用步骤(1)所构建的多模态训练样本集，通过对抗式训练方法训练步骤(2)所设计的最小二乘生成对抗网络，如图5所示，对抗式训练方法包括以下子步骤：

(3.1).在步骤(1)所构建的多模态训练样本集中，首先选取第1个表面肌电数据图像样本输入步骤(2.2)所设计的生成器G中，与惯性测量数据图像样本具有相同尺寸的随机噪声图像输入步骤(2.1)所设计的参考特征提取器E中，将参考特征提取器E的输出与生成器G中全连接网络的输出拼接后输入生成器G的反卷积神经网络中，生成第1个虚拟惯性测量数据图像样本。

随机噪声图像的获得方法：构建一个与惯性测量数据图像样本具有相同尺寸的图像，并对图像中每个像素赋予值域范围在[0,1]区间内的随机实数值。

(3.2).在步骤(1)所构建的多模态训练样本集中，选取第1个惯性测量数据图像样本，将其与步骤(3.1)生成的第1个虚拟惯性测量数据图像样本一起输入步骤(2.3)所设计的判别器D中，判别器D输出一个概率值，当概率值接近1时则判别器D判断输入的样本为真实的惯性测量数据图像样本，当概率值接近0时则判别器D判断输入的样本为生成器G所生成的虚拟惯性测量数据图像样本。

(3.3).在步骤(1)所构建的多模态训练样本集中，依次选取第i个(i＝2,3,4,…)表面肌电数据图像样本输入步骤(2.2)所设计的生成器G中，生成器G在之前输出的第i-1个虚拟惯性测量数据图像样本输入步骤(2.1)所设计的参考特征提取器E中，将参考特征提取器E的输出与生成器G中全连接网络的输出拼接后输入生成器G的反卷积神经网络中，生成第i个虚拟惯性测量数据图像样本。

(3.4).在步骤(1)所构建的多模态训练样本集中，依次选取第i个(i＝2,3,4,…)惯性测量数据图像样本，将其与步骤(3.3)生成的第i个虚拟惯性测量数据图像样本一起输入步骤(2.3)所设计的判别器D中，判别器D输出一个概率值，反复重复步骤(3.3)、步骤(3.4)，当判别器D输出的概率值近似于0.5时，触发对抗式训练终止条件，对抗式训练停止，并将此时参考特征提取器E、生成器G、判别器D的参数分别以文件形式保存，同时把步骤(3.1)和步骤(3.3)中所生成的所有虚拟惯性测量数据图像样本以文件形式保存到步骤(1)所构建的训练样本集中。

在以上步骤(3)中的对抗式训练是基于一个循环交替的极大极小博弈过程，即判别器D输出的概率值接近0时，生成器G自动进行参数更新，使生成的虚拟惯性测量数据图像样本的数据分布更接近真实惯性测量数据图像样本的数据分布，从而使判别器D产生错误判断的概率增加，最终使判别器D输出的概率值接近0.5，此时生成器G生成的虚拟惯性测量数据图像样本足够接近真实惯性测量数据图像样本，判别器D无法判断其真实性。

(4).构建测试样本集，包括以下子步骤：

(4.1).在公开数据集NinaPro的第五个子数据集NinaPro-DB5的53种上肢动作的多模态数据中，选取每种上肢动作的第2和第5次重复所对应的多模态数据，从其中抽取变量名为“emg”的8通道表面肌电信号数据以及变量名为“restimulus”的上肢动作标签，并分别把抽取的表面肌电信号数据和上肢动作标签按照变量“subject”所对应的被试编号由000-009的顺序分割后，再按照变量“restimulus”所对应的上肢动作标签由000-052的顺序进行再分割。

(4.2).对步骤(4.1)中所分割的表面肌电信号数据进行滤波处理后，使用移动步长为10ms的滑动采样窗口对其进行分割采样。

(4.3).将步骤(4.2)中通过滑动采样窗口分割采样得到的每个表面肌电数据样本进行归一化操作并进行矩阵重组(reshape)，形成测试样本集中的测试用表面肌电数据图像样本。

(4.4).载入步骤(3.4)所保存的参考特征提取器E和生成器G参数，重建参考特征提取器E和生成器G。

(4.5).以步骤(4.3)所形成的第j个(j＝1,2,3,4…)测试用表面肌电数据图像样本代替步骤(3.1)和步骤(3.3)中所使用训练样本集中的训练用表面肌电数据图像样本，重复步骤(3.1)和步骤(3.3)的全部过程，生成测试样本集中的第j个(j＝1,2,3,4…)虚拟惯性测量数据图像样本。

(4.6).将步骤(4.3)所形成的第j个(j＝1,2,3,4…)测试用表面肌电数据图像样本，步骤(4.5)所生成的第j个(j＝1,2,3,4…)测试用虚拟惯性测量数据图像样本以及它们的真实标签以文件形式存储，完成测试样本集的构建。

(5).构建多模态上肢动作识别系统，并对其进行上肢动作识别测试，验证步骤(3)所训练最小二乘生成对抗网络的有效性，包括以下子步骤：

(5.1).训练一个单模态的上肢动作识别模型，使用步骤(1)所构建训练样本集中的测试用表面肌电数据图像样本作为训练样本，相应上肢动作标签作为类别标签，基于随机梯度下降法求解模型参数，通过多次迭代的训练得到单模态上肢动作识别模型A。

在步骤(5.1)中训练的单模态上肢动作识别模型为单流神经网络模型，其由1个卷积层、3个局部连接层、3个全连接层以及softmax分类器构成。

(5.2).训练一个多模态的上肢动作识别模型，使用步骤(1)所构建训练样本集中的所有测试用表面肌电数据图像样本和步骤(3.4)所保存的所有测试用虚拟惯性测量数据图像样本作为训练样本，相应上肢动作标签作为类别标签，基于随机梯度下降法求解模型参数，通过多次迭代的训练得到多模态上肢动作识别模型B。

如图6所示，在步骤(5.2)中训练的多模态上肢动作识别模型为双流神经网络模型，其由两个神经网络分支、特征层融合模块以及softmax分类器构成，其中每个神经网络分支由1个卷积层以及3个局部连接层构成，两个分支分别以步骤(4)所构建测试样本集中的测试用表面肌电数据图像样本与测试用虚拟惯性测量数据图像样本作为输入，且两个分支之间不共享、不传递任何参数，两个分支的输出经过拼接后被输入由3个全连接层构成的特征层融合模块中进一步提取高层抽象特征，特征层融合模块所输出的高层抽象特征被输入一个softmax分类器中进行分类，获得最终的预测标签。

(5.3).使用步骤(4)所构建测试样本集中的测试用表面肌电数据图像样本作为步骤(5.1)训练得到的单模态上肢动作识别模型A的输入，得到测试样本集中所有测试用表面肌电数据图像样本的预测标签，将每个测试用表面肌电数据图像样本的预测标签与该样本的真实标签进行对比，统计得到上肢识别准确率Acc1。

(5.4).使用步骤(4)所构建测试样本集中的测试用表面肌电数据图像样本与测试用虚拟惯性测量数据图像样本作为步骤(5.2)训练得到的多模态上肢动作识别模型B的输入，得到步骤(4)所构建测试样本集中所有测试用表面肌电数据图像样本的预测标签，将每个测试用表面肌电数据图像样本的预测标签与该样本的真实标签进行对比，统计得到上肢识别准确率Acc2。

(5.5).对比步骤(5.3)所得到的上肢识别准确率Acc1与步骤(5.4)所得到的上肢识别准确率Acc2，若Acc2>Acc1，则证明步骤(3)所训练的最小二乘生成对抗网络是有效的。

50ms、100ms、150ms以及200ms四种不同滑动采样窗口长度下步骤(5.3)所得到的上肢动作识别准确率Acc1和步骤(5.4)所得到的上肢动作识别准确率Acc2如表1所示，可见当使用表面肌电数据图像样本与虚拟惯性测量数据图像样本作为输入的多模态上肢动作识别模型可以获得比仅使用表面肌电数据图像样本作为输入的单模态上肢动作识别模型更高的识别准确率，证明本发明所生成的虚拟惯性测量信号数据有助于提升上肢动作识别时的准确率。

表1

技术中的程序部分可以被认为是以可执行的代码和/或相关数据的形式而存在的“产品”或“制品”，通过计算机可读的介质所参与或实现的。有形的、永久的储存介质可以包括任何计算机、处理器、或类似设备或相关的模块所用到的内存或存储器。例如，各种半导体存储器、磁带驱动器、磁盘驱动器或者类似任何能够为软件提供存储功能的设备。

所有软件或其中的一部分有时可能会通过网络进行通信，如互联网或其他通信网络。此类通信可以将软件从一个计算机设备或处理器加载到另一个。例如：从视频目标检测设备的一个服务器或主机计算机加载至一个计算机环境的硬件平台，或其他实现系统的计算机环境，或与提供目标检测所需要的信息相关的类似功能的系统。因此，另一种能够传递软件元素的介质也可以被用作局部设备之间的物理连接，例如光波、电波、电磁波等，通过电缆、光缆或者空气等实现传播。用来载波的物理介质如电缆、无线连接或光缆等类似设备，也可以被认为是承载软件的介质。在这里的用法除非限制了有形的“储存”介质，其他表示计算机或机器“可读介质”的术语都表示在处理器执行任何指令的过程中参与的介质。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；本领域的技术人员应该理解，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。

同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种虚拟惯性测量信号生成模型的训练方法，其特征在于，所述训练方法包括：

构建包括若干训练样本的训练样本集；每个训练样本包括同一肢体动作对应的训练用表面肌电信号和训练用惯性测量信号；

构建虚拟惯性测量信号生成模型；所述虚拟惯性测量信号生成模型为生成对抗网络模型；所述虚拟惯性测量信号生成模型中包括参考特征提取器、生成器和判别器；所述虚拟惯性测量信号生成模型用于根据表面肌电信号生成对应的虚拟惯性测量信号；

利用所述训练样本集，以所述训练用表面肌电信号为所述虚拟惯性测量信号生成模型中生成器的输入，以所述训练用表面肌电信号对应的训练用惯性测量信号为所述虚拟惯性测量信号生成模型中生成器的目标输出，对所述虚拟惯性测量信号生成模型进行迭代对抗训练，得到训练好的虚拟惯性测量信号生成模型。

2.根据权利要求1所述的训练方法，其特征在于，所述参考特征提取器用于对输入其的信号进行特征提取，得到参考信号特征；

所述生成器用于：对输入其的所述训练用表面肌电信号进行特征提取，得到肌电信号特征；将参考特征提取器输出的所述参考信号特征与所述肌电信号特征进行拼接，得到融合信号特征；根据所述融合信号特征生成虚拟惯性测量信号；所述虚拟惯性测量信号用于输入所述参考特征提取器以及所述判别器；

所述判别器用于判别输入其的所述虚拟惯性测量信号与所述训练用惯性测量信号近似程度；

所述生成器根据所述近似程度调整生成器中的各权重系数。

3.根据权利要求2所述的训练方法，其特征在于，所述利用所述训练样本集，对所述虚拟惯性测量信号生成模型进行迭代对抗训练，具体包括：

所述参考特征提取器对输入其的信号进行特征提取，得到参考信号特征；

所述生成器：对输入其的所述训练用表面肌电信号进行特征提取，得到肌电信号特征；将所述参考信号特征与所述肌电信号特征进行拼接，得到融合信号特征；并根据所述融合信号特征生成虚拟惯性测量信号；所述虚拟惯性测量信号用于输入所述判别器；

所述判别器对输入其的所述虚拟惯性测量信号与所述训练用惯性测量信号近似程度进行判别，得到判别值；

判断是否达到训练终止条件，若是，则停止迭代对抗训练，得到训练好的虚拟惯性测量信号生成模型；若否，则将所述虚拟惯性测量信号输入到所述参考特征提取器中，开始下一轮对抗训练。

4.根据权利要求1所述的训练方法，其特征在于，所述构建虚拟惯性测量信号生成模型，具体包括：

构建包括卷积神经网络和全连接网络的参考特征提取器；在所述参考特征提取器中，所述卷积神经网络包括4个卷积层；所述全连接网络包括3个全连接层；

构建包括卷积神经网络、全连接网络和反卷积神经网络的生成器；在所述生成器中，所述卷积神经网络包括4个卷积层，所述全连接网络包括3个全连接层，所述反卷积神经网络包括3个反卷积层和1个卷积层；所述全连接网络的输出与所述参考特征提取器的输出相拼接后输入所述反卷积神经网络；

构建包括卷积神经网络、全连接网络和最小二乘损失函数的判别器；在所述判别器中，所述卷积神经网络包括4个卷积层，所述全连接网络包括3个全连接层。

5.根据权利要求1所述的训练方法，其特征在于，所述训练方法还包括：

生成所述参考特征提取器的初始输入信号：构建一个与所述训练用惯性测量信号具有相同尺寸的图像，并对图像中每个像素赋予值域范围在[0,1]区间内的随机实数值，得到所述初始输入信号。

6.一种基于虚拟惯性测量信号生成模型的动作识别方法，其特征在于，所述动作识别方法包括：

获取表面肌电信号；

利用如权利要求1-5任意一项所述的训练方法得到训练好的虚拟惯性测量信号生成模型；

将所述表面肌电信号输入到所述训练好的虚拟惯性测量信号生成模型中，得到虚拟惯性测量信号；

将所述表面肌电信号和所述虚拟惯性测量信号输入到动作识别模型中，得到动作识别结果。

7.根据权利要求6所述的动作识别方法，其特征在于，所述动作识别模型为双流神经网络模型，所述动作识别模型包括两个神经网络分支、特征层融合模块以及softmax分类器。

8.一种基于虚拟惯性测量信号生成模型的动作识别系统，其特征在于，所述动作识别系统包括：

表面肌电信号获取单元，用于获取表面肌电信号；

虚拟信号生成模型训练单元，用于根据如权利要求1-5任意一项所述的训练方法得到训练好的虚拟惯性测量信号生成模型；

虚拟惯性测量信号获取单元，用于将所述表面肌电信号输入到所述训练好的虚拟惯性测量信号生成模型中，得到虚拟惯性测量信号；

动作识别单元，用于将所述表面肌电信号和所述虚拟惯性测量信号输入到动作识别模型中，得到动作识别结果。

9.根据权利要求8所述的动作识别系统，其特征在于，所述动作识别模型为双流神经网络模型，所述动作识别模型包括两个神经网络分支、特征层融合模块以及softmax分类器。

Images