CN115826767B - 多模态跨被试上肢动作识别模型及其构建方法和应用方法 - Google Patents

Abstract

多模态跨被试上肢动作识别模型及其构建方法和应用方法，涉及上肢动作识别领域，包括数据采集及预处理；将预处理后的数据划分为训练集、校准集和测试集；信号分割及网络特征图构建；多模态跨被试上肢动作识别模型的构建；多模态跨被试上肢动作识别模型的训练、微调及测试。本发明使用多模态信号（sEMG信号和姿态角信号）+FT策略，通过构建多模态跨被试上肢动作识别模型学习多个被试个体间的共同特征，使用多模态信号增加被试个体间数据分布的相似性，减少了被试个体间的数据分布差异，提高了模型的训练效率和对被试上肢动作的识别正确率，减少了模型训练时间，降低了被试训练负担，提高了模型实用性。

Description

多模态跨被试上肢动作识别模型及其构建方法和应用方法

技术领域

本发明涉及上肢动作识别技术领域，具体涉及一种多模态跨被试上肢动作识别模型及其构建方法和应用方法。

背景技术

表面肌电信号（surface electromyography，sEMG）（以下简称sEMG信号）是肌肉收缩过程中众多运动神经单元动作电位在时间与空间上的叠加，可以直观的反应人体运动意图及活动强度。sEMG信号由于其无创性且易采集的特征，被广泛用作人工智能假肢及康复机器人的控制信号。

基于sEMG信号的上肢动作识别方法是一种将人体上肢动作的sEMG信号转化为控制人工智能假肢或康复机器人指令的一种技术，该技术在人工智能假肢及康复机器人控制应用中取得了令人瞩目的成就。然而，sEMG信号是一种非平稳的时变信号，由于不同被试个体间的sEMG信号会因为不同的运动习惯存在着巨大的差异，从而导致不同被试个体间的上肢动作识别性能下降，导致基于sEMG信号的上肢动作识别方法在被试个体间上肢动作分类任务中的分类正确率很低。通过重新采集被试的sEMG信号来重新训练模型可以解决上述问题。但是，重新采集数据并训练模型会增加使用者的训练负担，从而降低人工智能假肢或康复机器人在现实生活中的实用性。

目前，深度学习技术被广泛的应用在基于sEMG信号的上肢动作识别方法中。其中，微调（fine-tune，FT）策略（以下简称FT策略）在一定程度上可以解决由于更换被试所导致的模型性能下降的问题。使用FT策略的深度学习方法可以使用当前被试的少量数据对使用其他被试的数据训练的模型进行微调和校准，从而使训练好的模型可以应用到目标被试的数据上。然而，使用这种FT策略迁移单个被试模型到新的被试的方法具有一定的局限性。首先，不同被试个体间的sEMG信号的数据分布上存在巨大差异，通过FT策略校准的模型的性能会由于数据分布的巨大差异而显著下降。其次，单一的sEMG信号难以充分描述不同被试个体间运动任务的共同特征，进一步增加了模型的训练难度。

发明内容

为了解决上述现有技术存在的不足之处，本发明提出一种多模态跨被试上肢动作识别模型及其构建方法和应用方法。本发明通过构建多模态信息减少不同被试个体间的数据分布差异，充分描述多个被试个体间的共同特征提高模型对上肢动作的识别能力，从而提升FT策略微调模型的能力，减少模型的训练时间，降低被试的训练负担，提高模型的实用性。

本发明为解决技术问题所采用的技术方案如下：

本发明的多模态跨被试上肢动作识别模型，包括：sEMG信号特征提取网络、姿态角信号特征提取网络、融合模块和分类模块；

所述sEMG信号特征提取网络包括：第一卷积模块、第二卷积模块、第三卷积模块和第一扁平化层；所述第一卷积模块包括：第一卷积层、第一批归一化层、第一激活函数层、第一池化层和第一随机失活层；所述第二卷积模块包括：第二卷积层、第二批归一化层、第二激活函数层、第二池化层和第二随机失活层；所述第三卷积模块包括：第三卷积层、第三批归一化层和第三激活函数层；

所述姿态角信号特征提取网络包括：第四卷积模块和第二扁平化层；所述第四卷积模块包括：第四卷积层、第四批归一化层、第四激活函数层、第三池化层和第三随机失活层；

所述融合模块包括：网络拼接层；

所述分类模块包括：全连接层和归一化指数函数层。

进一步的，所述sEMG信号特征提取网络的输入大小为（375,7）；所述姿态角信号特征提取网络的输入大小为（25,3）；所述第一卷积层、第二卷积层、第三卷积层和第四卷积层中卷积核的大小均为3，所述第一卷积层、第二卷积层、第三卷积层和第四卷积层中卷积核的数量分别为64、64、96和128；所述第一激活函数层、第二激活函数层、第三激活函数层和第四激活函数层中激活函数均为线性整流函数；所述第一池化层的大小和步长均为15，所述第二池化层的大小和步长均为5，所述第三池化层的大小和步长均为5；所述第一随机失活层、第二随机失活层和第三随机失活层的随机失活概率均为0.15；所述第一扁平化层和第二扁平化层的大小分别为640和320；所述网络拼接层的大小为960；所述全连接层的大小为128；所述归一化指数函数层的大小为9。

本发明的多模态跨被试上肢动作识别模型的构建方法，包括以下步骤：

步骤一、数据采集及预处理；

通过sEMG信号传感器和惯性测量单元采集上肢动作的sEMG信号和姿态角信号，采集过程中每个上肢动作均重复多次；对采集到的sEMG信号和姿态角信号进行滤波和归一化处理；

步骤二、数据集划分；

将预处理后的数据划分为训练集、校准集和测试集；

步骤三、信号分割及网络特征图构建；

步骤四、多模态跨被试上肢动作识别模型的构建；

步骤五、多模态跨被试上肢动作识别模型的训练、微调及测试。

进一步的，步骤一的具体操作步骤如下：

步骤1.1、数据采集；

安装数据采集系统，包括：sEMG信号传感器、惯性测量单元、绿色激光笔和HoloLens；sEMG信号传感器布置在被试人体手臂表面，惯性测量单元安装在绿色激光笔上，被试手持绿色激光笔、头戴HoloLens，HoloLens中嵌入上肢动作顺序，sEMG信号传感器、惯性测量单元、HoloLens均与计算机相连，被试通过控制绿色激光笔投影的十字跟踪HoloLens上对应的十字执行相应的上肢动作，所述上肢动作包括：肘关节弯曲、腕关节弯曲、腕关节伸展、腕关节内旋、腕关节外旋、腕关节弯曲内旋、腕关节弯曲外旋、腕关节伸展内旋和腕关节伸展外旋；采集过程中每个上肢动作均重复5次，每次动作持续时间均为12s，即静止在原始位置时间为3s，向目标位置运动时间为3s，保持在目标位置时间为3s，返回到原始位置运动时间为3s；每个上肢动作对应一个数据文件，在每个数据文件中按上肢动作顺序存储对应的上肢动作标签；

步骤1.2、数据预处理；

首先使用4阶巴特沃斯滤波器对sEMG信号进行20Hz-500Hz的带通滤波处理和50Hz的陷通滤波处理，然后使用卡尔曼滤波方法对姿态角信号进行平滑处理，最后使用归一化方法对sEMG信号和姿态角信号进行归一化处理。

进一步的，步骤二的具体操作步骤如下：

步骤2.1、将每个上肢动作对应的数据文件按照数据文件中对应的上肢动作标签划分为若干个信号段，每个信号段对应上肢动作的1次重复数据，将每个上肢动作的1次重复数据单独存储到一个文件中；

步骤2.2、按照被试个体间评估方法，选取N个被试依次作为目标被试，余下的N-1个被试均作为训练被试；将目标被试的上肢动作的1次重复数据作为校准集，将此目标被试的余下的重复数据作为测试集；将训练被试的上肢动作的多次重复数据作为训练集。

进一步的，步骤三的具体操作步骤如下：

步骤3.1、使用滑动窗口对每个信号段对应的数据进行分割，获取多个长度相同的子信号段；

步骤3.2、将每个滑动窗口内的多个通道的sEMG信号数据根据模型的输入构建sEMG信号特征图；

步骤3.3、将每个滑动窗口内的多个通道的姿态角信号数据根据模型的输入构建姿态角信号特征图。

进一步的，步骤3.1中，所述滑动窗口大小设定为250ms，所述滑动窗口步长设定为50ms，使用滑动窗口对每次重复动作的中间5s数据进行分割，即向目标位置运动的最后1s的数据+保持在目标位置3s的数据+返回到原始位置运动的最早1s的数据，每个上肢动作的1次重复数据中包含96个样本；

步骤3.2中，每个滑动窗口内的sEMG信号数据均包括窗口长度*通道数=375*7个采样点，将每个滑动窗口内的sEMG信号数据调整为（375,7）的数据格式；

步骤3.3中，每个滑动窗口内的姿态角信号数据均包括窗口长度*轴=25*3个采样点，将每个滑动窗口内的姿态角信号数据调整为（25,3）的数据格式。

进一步的，步骤四的具体操作步骤如下：

步骤4.1、利用多流卷积神经网络结构设计sEMG信号特征提取网络，通过sEMG信号特征提取网络提取sEMG信号数据中所包含的特征；所述sEMG信号特征提取网络包括：第一卷积模块、第二卷积模块、第三卷积模块和第一扁平化层；所述第一卷积模块包括：第一卷积层、第一批归一化层、第一激活函数层、第一池化层和第一随机失活层；所述第二卷积模块包括：第二卷积层、第二批归一化层、第二激活函数层、第二池化层和第二随机失活层；所述第三卷积模块包括：第三卷积层、第三批归一化层和第三激活函数层；

步骤4.2、利用多流卷积神经网络结构设计姿态角信号特征提取网络，通过姿态角信号特征提取网络提取姿态角信号数据中所包含的特征；所述姿态角信号特征提取网络包括：第四卷积模块和第二扁平化层；所述第四卷积模块包括：第四卷积层、第四批归一化层、第四激活函数层、第三池化层和第三随机失活层；

步骤4.3、设计融合模块；

所述融合模块包括：网络拼接层；

步骤4.4、设计分类模块；

所述分类模块包括：全连接层和归一化指数函数层；

步骤4.5、将sEMG信号特征图输入至sEMG信号特征提取网络中，依次经过第一卷积层、第一批归一化层、第一激活函数层、第一池化层、第一随机失活层、第二卷积层、第二批归一化层、第二激活函数层、第二池化层、第二随机失活层、第三卷积层、第三批归一化层、第三激活函数层和第一扁平化层得到sEMG信号特征；

将姿态角信号特征图输入至姿态角信号特征提取网络中，依次经过第四卷积层、第四批归一化层、第四激活函数层、第三池化层、第三随机失活层和第二扁平化层得到姿态角信号特征；

将第一扁平化层和第二扁平化层输出的结果通过网络拼接层进行融合得到多模态信号特征；将得到的多模态信号特征输入到分类模块中，通过分类模块输出上肢动作识别结果，得到每个上肢动作输出的概率。

进一步的，步骤五的具体操作步骤如下：

步骤5.1、训练阶段；

使用被试1至被试N-1的训练集中的sEMG信号数据和姿态角信号数据分别构建对应的sEMG信号特征图和姿态角信号特征图；然后将sEMG信号特征图和姿态角信号特征图分别输入到多模态跨被试上肢动作识别模型，即将sEMG信号特征图输入至sEMG信号特征提取网络中，将姿态角信号特征图输入至姿态角信号特征提取网络中，将所得结果经过融合模块进行融合后获得多模态信号特征，将多模态信号特征输入到分类模块中，通过分类模块输出上肢动作识别结果，将此上肢动作识别结果送入到交叉熵损失函数得到对应的损失函数，使用随机梯度下降方法对该损失函数进行优化并对模型进行调参，获取已训练好的学习到不同被试个体间共同特征的多模态跨被试上肢动作识别模型；

步骤5.2、微调阶段；

通过FT策略使用目标被试N的校准集中的sEMG信号数据和姿态角信号数据构建对应的sEMG信号特征图和姿态角信号特征图；然后将sEMG信号特征图和姿态角信号特征图分别输入到已训练好的多模态跨被试上肢动作识别模型，即将sEMG信号特征图输入至sEMG信号特征提取网络中，将姿态角信号特征图输入至姿态角信号特征提取网络中，将所得结果经过融合模块进行融合后获得多模态信号特征，将多模态信号特征输入到分类模块中，通过分类模块输出上肢动作识别结果，将此上肢动作识别结果送入到交叉熵损失函数得到对应的损失函数，使用随机梯度下降方法对该损失函数进行优化并对模型进行调参，完成多模态跨被试上肢动作识别模型的微调和校准，得到经过校准后的多模态跨被试上肢动作识别模型；

步骤5.3、测试阶段；

使用目标被试N的测试集中的sEMG信号数据和姿态角信号数据构建对应的sEMG信号特征图和姿态角信号特征图；然后将sEMG信号特征图和姿态角信号特征图分别输入到已校准好的多模态跨被试上肢动作识别模型，输出最终的识别结果。

本发明的多模态跨被试上肢动作识别模型的应用方法，该多模态跨被试上肢动作识别模型应用在外部机械手系统的在线控制中，包括以下步骤：

所述外部机械手系统包括：机械手、机械手硬件控制模块、电机控制板、电机和电源模块；采用sEMG信号传感器采集sEMG信号，采用惯性测量单元采集姿态角信号，通过UDP通讯协议将采集到的sEMG信号和姿态角信号传递给计算机中的上肢动作识别程序模块，上肢动作识别程序模块中嵌入多模态跨被试上肢动作识别模型，上肢动作识别程序模块通过串口通讯协议对外部机械手系统中的机械手硬件控制模块发出上肢动作指令，机械手硬件控制模块接收上肢动作指令并对其进行数据转换，将转换后的上肢动作指令传输给电机控制板，电机控制板根据接收的上肢动作指令驱动电机运动从而驱动机械手完成相应动作。

本发明的有益效果是：

本发明的多模态跨被试上肢动作识别模型的构建方法，主要包括：数据采集及预处理；将预处理后的数据划分为训练集、校准集和测试集；信号分割及网络特征图构建；多模态跨被试上肢动作识别模型的构建；多模态跨被试上肢动作识别模型的训练、微调及测试。所构建的多模态跨被试上肢动作识别模型具体包括：sEMG信号特征提取网络、姿态角信号特征提取网络、融合模块和分类模块。所构建的多模态跨被试上肢动作识别模型可应用在外部机械手系统的在线控制中。与现有技术相比，本发明具有以下优点：

本发明通过构建多模态跨被试上肢动作识别模型学习多个被试个体间的共同特征，构建过程中使用多模态信号（sEMG信号和姿态角信号）增加被试个体间数据分布的相似性，减少被试个体间的数据分布差异，从而解决基于单一模态的FT策略在数据分布存在巨大差异情况下的局限性，提高多模态跨被试上肢动作识别模型的性能和训练效率，进而提高多模态跨被试上肢动作识别模型对被试上肢动作的识别正确率。

本发明使用多模态信号（sEMG信号和姿态角信号）+FT策略，依次将每个被试作为目标被试的平均识别正确率为98.3%；本发明能够提升FT策略微调多模态跨被试上肢动作识别模型的能力，减少模型的训练时间，降低被试的训练负担，提高多模态跨被试上肢动作识别模型在现实生活中的实用性，从而促进多模态跨被试上肢动作识别模型在人机交互设备上的推广和应用。

附图说明

图1为HoloLens提示的各上肢动作运动轨迹；

图2为多模态跨被试上肢动作识别模型的结构组成示意图；

图3为多模态跨被试上肢动作识别模型的信号处理过程示意图；

图4为步骤五的多模态跨被试上肢动作识别模型的训练、微调及测试的具体流程图；

图5为本发明的一种多模态跨被试上肢动作识别模型应用流程图。

具体实施方式

如图2和图3所示，本发明的一种多模态跨被试上肢动作识别模型，主要包括：sEMG信号特征提取网络、姿态角信号特征提取网络、融合模块和分类模块；利用多流卷积神经网络结构设计sEMG信号特征提取网络和姿态角信号特征提取网络，sEMG信号特征提取网络用于提取sEMG信号数据中所包含的特征，姿态角信号特征提取网络用于提取姿态角信号数据中所包含的特征。

该sEMG信号特征提取网络主要包括：三个卷积模块和一个扁平化层（第一扁平化层Flatten_1），该网络的输入大小为（375,7），第一卷积模块1包括5个部分：第一卷积层Conv_1、第一批归一化层Norm_1、第一激活函数层ReLu_1、第一池化层Pool_1和第一随机失活层Dropout_1，第二卷积模块2包括5个部分：第二卷积层Conv_2、第二批归一化层Norm_2、第二激活函数层ReLu_2、第二池化层Pool_2和第二随机失活层Dropout_2，第三卷积模块3包括3个部分：第三卷积层Conv_3、第三批归一化层Norm_3和第三激活函数层ReLu_3；第一卷积层Conv_1、第二卷积层Conv_2和第三卷积层Conv_3中卷积核的大小均为3，第一卷积层Conv_1、第二卷积层Conv_2和第三卷积层Conv_3中卷积核的数量分别为64、96和128，第一激活函数层ReLu_1、第二激活函数层ReLu_2和第三激活函数层ReLu_3中激活函数均为线性整流函数（Rectified Linear Unit，ReLU），第一池化层Pool_1的大小和步长均为15，第二池化层Pool_2的大小和步长均为5，第一随机失活层Dropout_1和第二随机失活层Dropout_2的随机失活概率均为0.15；第一扁平化层Flatten_1的大小为640。

该姿态角信号特征提取网络主要包括：一个卷积模块（第四卷积模块4）和一个扁平化层（第二扁平化层Flatten_2）；该网络的输入大小为（25,3），第四卷积模块4包括5个部分：第四卷积层Conv_4、第四批归一化层Norm_4、第四激活函数层ReLu_4、第三池化层Pool_3和第三随机失活层Dropout_3；第四卷积层Conv_4中卷积核的大小为3，第四卷积层Conv_4中卷积核的数量为64，第四激活函数层ReLu_4中激活函数为线性整流函数（RectifiedLinear Unit，ReLU），第三池化层Pool_3的大小和步长均为5，第三随机失活层Dropout_3的随机失活概率为0.15；第二扁平化层Flatten_2的大小为320。

该融合模块主要包括：网络拼接层Concatenation，网络拼接层Concatenation的大小为960；

该分类模块主要包括：全连接层FC和归一化指数函数层Softmax，全连接层FC的大小为128，归一化指数函数层Softmax的大小为9。

本发明的一种多模态跨被试上肢动作识别模型的构建方法，具体包括以下步骤：

步骤一、数据采集及预处理；

步骤1.1、数据采集；

数据采集系统主要包括：sEMG信号传感器、惯性测量单元、绿色激光笔和HoloLens（全息透镜）；sEMG信号传感器布置在被试人体手臂表面，将惯性测量单元安装在绿色激光笔上，被试手持绿色激光笔、头戴HoloLens，HoloLens中嵌入按照实验设计的上肢动作顺序，将sEMG信号传感器、惯性测量单元、HoloLens均与计算机相连，即可开始采集数据；被试按照实验设计的上肢动作顺序做出相应的上肢动作，具体为：被试通过控制绿色激光笔投影的十字跟踪HoloLens上对应的十字从而执行相应的上肢动作，HoloLens提示的各上肢动作运动轨迹如图1所示，共包括9个上肢动作：a）肘关节弯曲，b）腕关节弯曲，c）腕关节伸展，d）腕关节内旋，e）腕关节外旋，f）腕关节弯曲内旋，g）腕关节弯曲外旋，h）腕关节伸展内旋，i）腕关节伸展外旋，上肢动作顺序为由a、b、c、d、e、f、g、h、i；原始位置为HoloLens上对应的十字中心，人体手臂和手掌向前伸直，并且手心朝上，此状态时的肘关节位置和腕关节位置作为原始位置；如图1中a）所示，上肢动作为肘关节弯曲，图中的十字中心为肘关节的原始位置，上臂不动，前臂沿着箭头方向向上弯曲，完成肘关节弯曲动作，动作完成后手臂需要返回至原始位置；如图1中b）所示，上肢动作为腕关节弯曲，图中的十字中心为腕关节的原始位置，手臂不动，腕关节沿着箭头方向向左弯曲，完成腕关节弯曲动作，动作完成后手臂需要返回至原始位置；如图1中c）所示，上肢动作为腕关节伸展，图中的十字中心为腕关节的原始位置，手臂不动，腕关节沿着箭头方向向右伸展，完成腕关节伸展动作，动作完成后手臂需要返回至原始位置；如图1中d）所示，上肢动作为腕关节内旋，图中的十字中心为腕关节的原始位置，手臂不动，腕关节沿着箭头方向向内旋转，完成腕关节内旋动作，动作完成后手臂需要返回至原始位置；如图1中e）所示，上肢动作为腕关节外旋，图中的十字中心为腕关节的原始位置，手臂不动，腕关节沿着箭头方向向外旋转，完成腕关节外旋动作，动作完成后手臂需要返回至原始位置；如图1中f）所示，上肢动作为腕关节弯曲内旋，图中的十字中心为腕关节的原始位置，手臂不动，腕关节沿着箭头方向向内弯曲旋转，完成腕关节弯曲内旋动作，动作完成后手臂需要返回至原始位置；如图1中g）所示，上肢动作为腕关节弯曲外旋，图中的十字中心为腕关节的原始位置，手臂不动，腕关节沿着箭头方向向外弯曲旋转，完成腕关节弯曲外旋动作，动作完成后手臂需要返回至原始位置；如图1中h）所示，上肢动作为腕关节伸展内旋，图中的十字中心为腕关节的原始位置，手臂不动，腕关节沿着箭头方向向内伸展旋转，完成腕关节伸展内旋动作，动作完成后手臂需要返回至原始位置；如图1中i）所示，上肢动作为腕关节伸展外旋，图中的十字中心为腕关节的原始位置，手臂不动，腕关节沿着箭头方向向外伸展旋转，完成腕关节伸展外旋动作，动作完成后手臂需要返回至原始位置；

通过sEMG信号传感器和惯性测量单元采集若干上肢动作的sEMG信号和姿态角信号，采集过程中每个上肢动作均重复多次，具体为：采集过程中每个上肢动作均重复5次，每次动作持续时间均为12s，即静止在原始位置时间为3s，向目标位置运动时间为3s，保持在目标位置时间为3s，返回到原始位置运动时间为3s；每个上肢动作对应一个数据文件，在每个数据文件中按照上肢动作顺序存储对应的上肢动作标签；

其中，sEMG信号传感器具体可采用美国Noraxon公司的Noraxon-DTS采集系统，sEMG信号传感器所采集的sEMG信号为7通道的稀疏通道肌电信号，采样频率为1500Hz；惯性测量单元（Inertial measurement unit，IMU）是一种惯性传感器，主要用于检测和测量加速度、倾斜、冲击、振动、旋转和多自由度（DoF）运动，是解决导航、定向和运动载体控制的重要部件，惯性测量单元具体可采用MPU6050芯片，惯性测量单元所采集的姿态角信号为3轴的欧拉角，采样频率为100Hz；绿色激光笔具体可采用掌坤SUPlaser激光笔，产品功率大于20MW，光色绿光，波长为650nm/532nm，锂电池充电（小于1A），产品射程大于1000m；HoloLens是微软推出的一款混合现实（MR）设备，具有较好的佩戴体验的真实感和自然度。

步骤1.2、数据预处理；

对采集到的sEMG信号和姿态角信号进行滤波和归一化处理；具体为：使用4阶巴特沃斯滤波器对sEMG信号进行20Hz-500Hz的带通滤波处理和50Hz的陷通滤波处理，同时使用卡尔曼滤波方法对姿态角信号进行平滑处理，最后使用归一化方法对sEMG信号和姿态角信号进行归一化处理；

所说的归一化方法表达式如下所示：

式中，

为信号的第i个采样点，/>

为信号整体的均值，/>

为信号整体的方差。

步骤二、数据集划分；

将预处理后的数据划分为训练集、校准集和测试集，具体操作步骤如下：

步骤2.1、将每个上肢动作对应的数据文件按照数据文件中对应的上肢动作标签划分为若干个信号段，每个信号段对应上肢动作的1次重复数据，具体为：将每个上肢动作的1次重复数据单独存储到一个文件中，每个上肢动作标签均包括5个文件；

步骤2.2、按照被试个体间评估方法，选取N个被试依次作为目标被试，余下的N-1个被试均作为训练被试；具体为：将目标被试的上肢动作的1次重复数据作为校准集，将此目标被试的余下的重复数据作为测试集；将训练被试的上肢动作的多次重复数据作为训练集。

步骤三、信号分割及网络特征图构建；

步骤3.1、信号分割；

使用滑动窗口对每个信号段对应的数据进行分割，获取多个长度相同的子信号段；具体为：滑动窗口大小设定为250ms，滑动窗口步长设定为50ms，使用滑动窗口对每次重复动作的中间5s数据（即向目标位置运动的最后1s数据+保持在目标位置3s的数据+返回到原始位置运动的最早1s数据）进行分割，每个上肢动作的1次重复数据中包含96个样本；

步骤3.2、sEMG信号特征图构建；

将每个滑动窗口内的多个通道的sEMG信号数据根据模型的输入构建sEMG信号特征图；每个滑动窗口内的sEMG信号数据均包括375*7（窗口长度*通道数）个采样点，将每个滑动窗口内的sEMG信号数据调整为（375,7）的数据格式；

步骤3.3、姿态角信号特征图构建；

将每个滑动窗口内的多个通道的姿态角信号数据根据模型的输入构建姿态角信号特征图；每个滑动窗口内的姿态角信号数据均包括25*3（窗口长度*轴）个采样点，将每个滑动窗口内的姿态角信号数据调整为（25,3）的数据格式。

步骤四、多模态跨被试上肢动作识别模型的构建；

所构建的多模态跨被试上肢动作识别模型主要包括：sEMG信号特征提取网络、姿态角信号特征提取网络、融合模块和分类模块；如图2所示，具体操作步骤如下：

步骤4.1、设计sEMG信号特征提取网络，通过sEMG信号特征提取网络可以提取sEMG信号数据中所包含的特征；

利用多流卷积神经网络结构设计sEMG信号特征提取网络，所设计的sEMG信号特征提取网络主要包括：三个卷积模块和一个扁平化层（第一扁平化层Flatten_1），该网络的输入大小为（375,7），第一卷积模块1包括5个部分：第一卷积层Conv_1、第一批归一化层Norm_1、第一激活函数层ReLu_1、第一池化层Pool_1和第一随机失活层Dropout_1，第二卷积模块2包括5个部分：第二卷积层Conv_2、第二批归一化层Norm_2、第二激活函数层ReLu_2、第二池化层Pool_2和第二随机失活层Dropout_2，第三卷积模块3包括3个部分：第三卷积层Conv_3、第三批归一化层Norm_3和第三激活函数层ReLu_3；第一卷积层Conv_1、第二卷积层Conv_2和第三卷积层Conv_3中卷积核的大小均为3，第一卷积层Conv_1、第二卷积层Conv_2和第三卷积层Conv_3中卷积核的数量分别为64、96和128，第一激活函数层ReLu_1、第二激活函数层ReLu_2和第三激活函数层ReLu_3中激活函数均为线性整流函数（RectifiedLinear Unit，ReLU），第一池化层Pool_1的大小和步长均为15，第二池化层Pool_2的大小和步长均为5，第一随机失活层Dropout_1和第二随机失活层Dropout_2的随机失活概率均为0.15；第一扁平化层Flatten_1的大小为640；

步骤4.2、设计姿态角信号特征提取网络，通过姿态角信号特征提取网络可以提取姿态角信号数据中所包含的特征；

利用多流卷积神经网络结构设计姿态角信号特征提取网络，所设计的姿态角信号特征提取网络主要包括：一个卷积模块（第四卷积模块4）和一个扁平化层（第二扁平化层Flatten_2）；该网络的输入大小为（25,3），第四卷积模块4包括5个部分：第四卷积层Conv_4、第四批归一化层Norm_4、第四激活函数层ReLu_4、第三池化层Pool_3和第三随机失活层Dropout_3；第四卷积层Conv_4中卷积核的大小为3，第四卷积层Conv_4中卷积核的数量为64，第四激活函数层ReLu_4中激活函数为线性整流函数（Rectified Linear Unit，ReLU），第三池化层Pool_3的大小和步长均为5，第三随机失活层Dropout_3的随机失活概率为0.15；第二扁平化层Flatten_2的大小为320；

步骤4.3、设计融合模块；

所设计的融合模块主要包括：网络拼接层Concatenation，网络拼接层Concatenation的大小为960；

步骤4.4、设计分类模块；

所设计的分类模块主要包括：全连接层FC和归一化指数函数层Softmax，全连接层FC的大小为128，归一化指数函数层Softmax的大小为9；

步骤4.5、如图3所示，将sEMG信号特征图输入至sEMG信号特征提取网络中，依次经过第一卷积层Conv_1、第一批归一化层Norm_1、第一激活函数层ReLu_1、第一池化层Pool_1、第一随机失活层Dropout_1、第二卷积层Conv_2、第二批归一化层Norm_2、第二激活函数层ReLu_2、第二池化层Pool_2、第二随机失活层Dropout_2、第三卷积层Conv_3、第三批归一化层Norm_3、第三激活函数层ReLu_2和第一扁平化层Flatten_1得到sEMG信号特征；

将姿态角信号特征图输入至姿态角信号特征提取网络中，依次经过第四卷积层Conv_4、第四批归一化层Norm_4、第四激活函数层ReLu_4、第三池化层Pool_3、第三随机失活层Dropout_3和第二扁平化层Flatten_2得到姿态角信号特征；

将第一扁平化层Flatten_1和第二扁平化层Flatten_2输出的结果通过网络拼接层Concatenation进行融合得到多模态信号特征；

将得到的多模态信号特征输入到分类模块中，通过分类模块输出上肢动作识别结果，可得到每个上肢动作输出的概率。

步骤五、多模态跨被试上肢动作识别模型的训练、微调及测试；如图4所示，具体操作步骤如下：

步骤5.1、训练阶段；

训练过程中使用多个训练被试（被试1至被试N-1）的训练集中的sEMG信号数据和姿态角信号数据分别构建对应的sEMG信号特征图和姿态角信号特征图；然后将sEMG信号特征图和姿态角信号特征图分别输入到多模态跨被试上肢动作识别模型，即将sEMG信号特征图输入至sEMG信号特征提取网络中，将姿态角信号特征图输入至姿态角信号特征提取网络中，将所得结果经过融合模块进行融合后获得多模态信号特征，将多模态信号特征输入到分类模块中，通过分类模块输出上肢动作识别结果，将此上肢动作识别结果送入到交叉熵损失函数得到对应的损失函数，使用随机梯度下降方法对该损失函数进行优化并对模型进行调参，获取学习到不同被试个体间的共同特征的多模态跨被试上肢动作识别模型，并将训练好的模型进行保存；

步骤5.2、微调阶段；

微调过程中通过FT策略使用目标被试N的校准集中的sEMG信号数据和姿态角信号数据构建对应的sEMG信号特征图和姿态角信号特征图；然后将sEMG信号特征图和姿态角信号特征图分别输入到已训练好的多模态跨被试上肢动作识别模型，即将sEMG信号特征图输入至sEMG信号特征提取网络中，将姿态角信号特征图输入至姿态角信号特征提取网络中，将所得结果经过融合模块进行融合后获得多模态信号特征，将多模态信号特征输入到分类模块中，通过分类模块输出上肢动作识别结果，将此上肢动作识别结果送入到交叉熵损失函数得到对应的损失函数，使用随机梯度下降方法对该损失函数进行优化并对模型进行调参，完成多模态跨被试上肢动作识别模型的微调和校准，得到经过校准后的多模态跨被试上肢动作识别模型，并将校准后的模型进行保存；

步骤5.3、测试阶段；

测试过程中使用目标被试N的测试集中的sEMG信号数据和姿态角信号数据构建对应的sEMG信号特征图和姿态角信号特征图；然后将sEMG信号特征图和姿态角信号特征图分别输入到已校准好的多模态跨被试上肢动作识别模型，输出最终的识别结果，并统计目标被试测试集中的识别正确率。经过统计，与其他方法（方法一、方法二和方法三）相比，使用本发明的一种多模态跨被试上肢动作识别模型，依次将每个被试作为目标被试的平均识别正确率为98.3%。

具体为：

方法一：仅使用sEMG信号，其方法实现过程参考本发明的模型构建方法的步骤一至步骤五，依次将每个被试作为目标被试的平均识别正确率为33.2%；

方法二：使用sEMG信号并使用FT策略，其方法实现过程参考本发明的模型构建方法的步骤一至步骤五，依次将每个被试作为目标被试的平均识别正确率为85.4%；

方法三：使用多模态信号（sEMG信号和姿态角信号），其方法实现过程参考本发明的模型构建方法的步骤一至步骤五，依次将每个被试作为目标被试的平均识别正确率为91.3%；

方法四：使用本发明的多模态跨被试上肢动作识别模型（多模态信号+FT策略），依次将每个被试作为目标被试的平均识别正确率为98.3%。

本发明的一种多模态跨被试上肢动作识别模型可以应用在外部机械手系统的在线控制中；其具体的应用方法步骤如下：

根据现有技术可知，外部机械手系统主要包括：机械手、机械手硬件控制模块、电机控制板、电机、电源模块；其中，机械手硬件控制模块具体可采用STM32F103控制板，sEMG信号和姿态角信号通过STM32F103控制板进行同步，波特率为115200bits，停止位为1，无奇偶校验位；电机控制板具体可采用PWM驱动方法进行驱动；电源模块采用220V转10V电源模块。

如图5所示，首先采用sEMG信号传感器采集sEMG信号，采用惯性测量单元采集姿态角信号，通过UDP通讯协议将采集到的sEMG信号和姿态角信号传递给计算机中的上肢动作识别程序模块，上肢动作识别程序模块中嵌入了本发明的多模态跨被试上肢动作识别模型，上肢动作识别程序模块通过串口通讯协议对外部机械手系统中的机械手硬件控制模块发出上肢动作指令，机械手硬件控制模块接收上肢动作指令并对其进行数据转换，将转换后的上肢动作指令传输给电机控制板，电机控制板根据接收的上肢动作指令驱动电机运动从而驱动机械手完成相应动作。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (3)

1.多模态跨被试上肢动作识别模型的构建方法，其特征在于，包括以下步骤：

步骤一、数据采集及预处理；

通过sEMG信号传感器和惯性测量单元采集上肢动作的sEMG信号和姿态角信号，采集过程中每个上肢动作均重复多次；对采集到的sEMG信号和姿态角信号进行滤波和归一化处理；

步骤1.1、数据采集；

安装数据采集系统，包括：sEMG信号传感器、惯性测量单元、绿色激光笔和HoloLens；sEMG信号传感器布置在被试人体手臂表面，惯性测量单元安装在绿色激光笔上，被试手持绿色激光笔、头戴HoloLens，HoloLens中嵌入上肢动作顺序，sEMG信号传感器、惯性测量单元、HoloLens均与计算机相连，被试通过控制绿色激光笔投影的十字跟踪HoloLens上对应的十字执行相应的上肢动作，所述上肢动作包括：肘关节弯曲、腕关节弯曲、腕关节伸展、腕关节内旋、腕关节外旋、腕关节弯曲内旋、腕关节弯曲外旋、腕关节伸展内旋和腕关节伸展外旋；采集过程中每个上肢动作均重复5次，每次动作持续时间均为12s，即静止在原始位置时间为3s，向目标位置运动时间为3s，保持在目标位置时间为3s，返回到原始位置运动时间为3s；每个上肢动作对应一个数据文件，在每个数据文件中按上肢动作顺序存储对应的上肢动作标签；

步骤1.2、数据预处理；

首先使用4阶巴特沃斯滤波器对sEMG信号进行20Hz-500Hz的带通滤波处理和50Hz的陷通滤波处理，然后使用卡尔曼滤波方法对姿态角信号进行平滑处理，最后使用归一化方法对sEMG信号和姿态角信号进行归一化处理；

步骤二、数据集划分；

将预处理后的数据划分为训练集、校准集和测试集；

步骤2.1、将每个上肢动作对应的数据文件按照数据文件中对应的上肢动作标签划分为若干个信号段，每个信号段对应上肢动作的1次重复数据，将每个上肢动作的1次重复数据单独存储到一个文件中；

步骤2.2、按照被试个体间评估方法，选取N个被试依次作为目标被试，余下的N-1个被试均作为训练被试；将目标被试的上肢动作的1次重复数据作为校准集，将此目标被试的余下的重复数据作为测试集；将训练被试的上肢动作的多次重复数据作为训练集；

步骤三、信号分割及网络特征图构建；

步骤3.1、使用滑动窗口对每个信号段对应的数据进行分割，获取多个长度相同的子信号段；所述滑动窗口大小设定为250ms，所述滑动窗口步长设定为50ms，使用滑动窗口对每次重复动作的中间5s数据进行分割，即向目标位置运动的最后1s的数据+保持在目标位置3s的数据+返回到原始位置运动的最早1s的数据，每个上肢动作的1次重复数据中包含96个样本；

步骤3.2、将每个滑动窗口内的多个通道的sEMG信号数据根据模型的输入构建sEMG信号特征图；每个滑动窗口内的sEMG信号数据均包括窗口长度*通道数＝375*7个采样点，将每个滑动窗口内的sEMG信号数据调整为(375,7)的数据格式；

步骤3.3、将每个滑动窗口内的多个通道的姿态角信号数据根据模型的输入构建姿态角信号特征图；每个滑动窗口内的姿态角信号数据均包括窗口长度*轴＝25*3个采样点，将每个滑动窗口内的姿态角信号数据调整为(25,3)的数据格式；

步骤四、多模态跨被试上肢动作识别模型的构建；

步骤4.1、利用多流卷积神经网络结构设计sEMG信号特征提取网络，通过sEMG信号特征提取网络提取sEMG信号数据中所包含的特征；所述sEMG信号特征提取网络包括：第一卷积模块、第二卷积模块、第三卷积模块和第一扁平化层；所述第一卷积模块包括：第一卷积层、第一批归一化层、第一激活函数层、第一池化层和第一随机失活层；所述第二卷积模块包括：第二卷积层、第二批归一化层、第二激活函数层、第二池化层和第二随机失活层；所述第三卷积模块包括：第三卷积层、第三批归一化层和第三激活函数层；

步骤4.2、利用多流卷积神经网络结构设计姿态角信号特征提取网络，通过姿态角信号特征提取网络提取姿态角信号数据中所包含的特征；所述姿态角信号特征提取网络包括：第四卷积模块和第二扁平化层；所述第四卷积模块包括：第四卷积层、第四批归一化层、第四激活函数层、第三池化层和第三随机失活层；

步骤4.3、设计融合模块；

所述融合模块包括：网络拼接层；

步骤4.4、设计分类模块；

所述分类模块包括：全连接层和归一化指数函数层；

步骤4.5、将sEMG信号特征图输入至sEMG信号特征提取网络中，依次经过第一卷积层、第一批归一化层、第一激活函数层、第一池化层、第一随机失活层、第二卷积层、第二批归一化层、第二激活函数层、第二池化层、第二随机失活层、第三卷积层、第三批归一化层、第三激活函数层和第一扁平化层得到sEMG信号特征；

将姿态角信号特征图输入至姿态角信号特征提取网络中，依次经过第四卷积层、第四批归一化层、第四激活函数层、第三池化层、第三随机失活层和第二扁平化层得到姿态角信号特征；

将第一扁平化层和第二扁平化层输出的结果通过网络拼接层进行融合得到多模态信号特征；将得到的多模态信号特征输入到分类模块中，通过分类模块输出上肢动作识别结果，得到每个上肢动作输出的概率；

步骤五、多模态跨被试上肢动作识别模型的训练、微调及测试；

步骤5.1、训练阶段；

使用被试1至被试N-1的训练集中的sEMG信号数据和姿态角信号数据分别构建对应的sEMG信号特征图和姿态角信号特征图；然后将sEMG信号特征图和姿态角信号特征图分别输入到多模态跨被试上肢动作识别模型，即将sEMG信号特征图输入至sEMG信号特征提取网络中，将姿态角信号特征图输入至姿态角信号特征提取网络中，将所得结果经过融合模块进行融合后获得多模态信号特征，将多模态信号特征输入到分类模块中，通过分类模块输出上肢动作识别结果，将此上肢动作识别结果送入到交叉熵损失函数得到对应的损失函数，使用随机梯度下降方法对该损失函数进行优化并对模型进行调参，获取已训练好的学习到不同被试个体间共同特征的多模态跨被试上肢动作识别模型；

步骤5.2、微调阶段；

通过FT策略使用目标被试N的校准集中的sEMG信号数据和姿态角信号数据构建对应的sEMG信号特征图和姿态角信号特征图；然后将sEMG信号特征图和姿态角信号特征图分别输入到已训练好的多模态跨被试上肢动作识别模型，即将sEMG信号特征图输入至sEMG信号特征提取网络中，将姿态角信号特征图输入至姿态角信号特征提取网络中，将所得结果经过融合模块进行融合后获得多模态信号特征，将多模态信号特征输入到分类模块中，通过分类模块输出上肢动作识别结果，将此上肢动作识别结果送入到交叉熵损失函数得到对应的损失函数，使用随机梯度下降方法对该损失函数进行优化并对模型进行调参，完成多模态跨被试上肢动作识别模型的微调和校准，得到经过校准后的多模态跨被试上肢动作识别模型；

步骤5.3、测试阶段；

使用目标被试N的测试集中的sEMG信号数据和姿态角信号数据构建对应的sEMG信号特征图和姿态角信号特征图；然后将sEMG信号特征图和姿态角信号特征图分别输入到已校准好的多模态跨被试上肢动作识别模型，输出最终的识别结果。

2.根据权利要求1所述的多模态跨被试上肢动作识别模型的构建方法，其特征在于，所述sEMG信号特征提取网络的输入大小为(375,7)；所述姿态角信号特征提取网络的输入大小为(25,3)；所述第一卷积层、第二卷积层、第三卷积层和第四卷积层中卷积核的大小均为3，所述第一卷积层、第二卷积层、第三卷积层和第四卷积层中卷积核的数量分别为64、64、96和128；所述第一激活函数层、第二激活函数层、第三激活函数层和第四激活函数层中激活函数均为线性整流函数；所述第一池化层的大小和步长均为15，所述第二池化层的大小和步长均为5，所述第三池化层的大小和步长均为5；所述第一随机失活层、第二随机失活层和第三随机失活层的随机失活概率均为0.15；所述第一扁平化层和第二扁平化层的大小分别为640和320；所述网络拼接层的大小为960；所述全连接层的大小为128；所述归一化指数函数层的大小为9。

3.采用权利要求1所述的多模态跨被试上肢动作识别模型的构建方法构建的多模态跨被试上肢动作识别模型在外部机械手系统的在线控制中的应用方法，其特征在于，包括以下步骤：

所述外部机械手系统包括：机械手、机械手硬件控制模块、电机控制板、电机和电源模块；采用sEMG信号传感器采集sEMG信号，采用惯性测量单元采集姿态角信号，通过UDP通讯协议将采集到的sEMG信号和姿态角信号传递给计算机中的上肢动作识别程序模块，上肢动作识别程序模块中嵌入多模态跨被试上肢动作识别模型，上肢动作识别程序模块通过串口通讯协议对外部机械手系统中的机械手硬件控制模块发出上肢动作指令，机械手硬件控制模块接收上肢动作指令并对其进行数据转换，将转换后的上肢动作指令传输给电机控制板，电机控制板根据接收的上肢动作指令驱动电机运动从而驱动机械手完成相应动作。

Images