CN114863572A - 一种多通道异构传感器的肌电手势识别方法 - Google Patents

一种多通道异构传感器的肌电手势识别方法 Download PDF

Info

Publication number
CN114863572A
CN114863572A CN202210792782.1A CN202210792782A CN114863572A CN 114863572 A CN114863572 A CN 114863572A CN 202210792782 A CN202210792782 A CN 202210792782A CN 114863572 A CN114863572 A CN 114863572A
Authority
CN
China
Prior art keywords
network
convolution
individual
layer
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210792782.1A
Other languages
English (en)
Other versions
CN114863572B (zh
Inventor
袁学东
邹联军
李沿宏
邹可
江茜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202210792782.1A priority Critical patent/CN114863572B/zh
Publication of CN114863572A publication Critical patent/CN114863572A/zh
Application granted granted Critical
Publication of CN114863572B publication Critical patent/CN114863572B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Abstract

本发明涉及一种多通道异构传感器的肌电手势识别方法，包括提出一种多模态个性共性特征融合网络，该网络首先通过多流个性网络充分提取多异构传感器的个性特征，个性网络使用多时间尺度卷积同时提取长时和短时时序信息；并利用共性网络不断融合新的个性特征与旧的共性特征，得到新的共性特征，学习多异构传感器的互补性信息。最后，加入个性网络交叉熵损失函数，加速梯度反向传播，引导网络更好地学习个性共性特征，进一步提高手势识别性能。本发明一种多通道异构传感器的肌电手势识别方法能够很好地利用多通道异构传感器数据，提高肌电手势识别准确率，增强识别系统稳定性。

Description

一种多通道异构传感器的肌电手势识别方法
技术领域
本发明属于深度学习与多通道异构传感器肌电手势识别相结合的领域，涉及一种多通道异构传感器的肌电手势识别方法。
背景技术
单一传感器信息的识别系统，会因为多种因素的影响，如噪声、故障等问题导致系统稳定性不足，在实际应用场景中的性能表现仍有待进一步提升。肌电手势识别实际应用场景中，不同姿态下的同一个手势动作会产生差异，手臂的大尺度连续运动也会对手势动作识别产生影响，sEMG（surface Electromyogram Signal表面肌电信号）传感器从人体神经活动角度描述整个手势动作过程，而惯性传感器可以直观地反映肢体3D运动信息，有助于弥补仅利用sEMG传感器对动作信息捕捉不够全面的缺陷。因此现有的一些表面肌电信号采集设备，除了基础的sEMG传感器，还常常配套有加速度计、陀螺仪、磁力计等惯性传感器，辅助于肌电手势识别，以提升识别性能，增强识别系统的稳定性。
人工智能的发展日新月异，计算机性能也在逐步提高，其中深度学习神经网络方法近年来得到快速发展，但在现有文献中，一些融合惯性传感器的肌电手势识别网络，往往只是将不同模态数据映射到同一个特征子空间中来学习共同的特征，或者将提取到的IMU数据特征与sEMG数据特征进行拼接的简单融合，没有考虑到IMU不同传感器数据和sEMG数据的个性特征与共性特征的过度耦合问题。一方面，只学习共同特征意味着巨大的信息损失，降低了特征的差异性，另一方面，不同模态之间的信息有互补作用，需要学习到不同模态数据的共性特征。
发明内容
针对上述问题，本发明的目的在于提供一种多通道异构传感器的肌电手势识别方法，采用的多模态共性个性特征融合网络的特征提取部分整体分为个性网络与共性网络，提高手势识别模型的整体性能；加入个性网络交叉熵损失函数，使个性网络能够正确、有效地提取个性特征，确保多模态个性特征的融合效果，充分发挥网络框架的强大特征提取能力，进一步提高手势识别准确率。技术方案如下：
一种多通道异构传感器的肌电手势识别方法，包括以下步骤：
步骤1：获取肌电数据，对每个多通道异构传感器的原始数据通过滑动窗口生成单个网络输入样本，并将其归一化处理；
步骤2：构建多模态个性共性特征融合网络，该网络包括多模态特征提取网络和分类网络，所述多模态特征提取网络包括个性网络和共性网络；通过个性网络学习到多异构传感器具有区分性的个性特征，再通过不同传感器个性网络之间的特征交互，使共性网络学习到多异构传感器具有互补性的共性特征，最终输出多模态融合特征；所述分类网络根据所述多模态融合特征输出手势分类结果；
步骤3：使用训练样本集对多模态个性共性特征融合网络进行有监督的训练，得到最优的网络模型，损失函数为个性网络交叉熵损失函数和多模态特征交叉熵损失函数的组合。
进一步的，所述步骤1中单个异构传感器输入样本为
Figure 157528DEST_PATH_IMAGE001
，m表示第m个传感 器，W为时间窗口的长度，C m 为第m个传感器采集通道数，
Figure 668144DEST_PATH_IMAGE002
表示W×C m 的特征空间；
所述步骤2中多模态特征提取网络包括；
个性网络：个性网络的输入为单个异构传感器输入样本F m ，每一个传感器数据都 有独有的特征提取网络；个性网络包括四层个性卷积模块，四层个性卷积模块的输出特征 依次为
Figure 651143DEST_PATH_IMAGE003
，每层特征除了作为下一层个性卷积模块的输入特征外，还将作为同 网络层的共性网络中多模态卷积融合模块的输入；
Figure 390560DEST_PATH_IMAGE004
则作为个性网络最终输出的个性特 征
Figure 673774DEST_PATH_IMAGE005
，C pout 为个性特征PF m 的特征通道数；
共性网络：共性网络的输入为多个异构传感器数据串联而成，表示为F∈R W×C ，C为 多个异构传感器采集通道数之和；共性网络包括四层多模态卷积融合模块，与所述个性网 络的四层个性卷积模块一一对应；四层多模态卷积融合模块对应的四层特征依次为CF1、 CF2、CF3、CF4；多模态卷积融合模块有多个输入，分别为上一层网络的共性特征
Figure 89712DEST_PATH_IMAGE006
和本网络层中个性网络的个性特征
Figure 825587DEST_PATH_IMAGE007
，i为第i层网络，其中个性特 征PF i 为M个传感器第i层个性特征在特征通道维度上的串联，C f 为个性特征PF i 的特征通道 数，C in 为共性特征CF i-1的特征通道数；共性网络的最终输出为第四个多模态卷积融合模块 的输出特征CF4，也是多模态个性共性特征融合网络最终输出的多模态融合特征
Figure 601651DEST_PATH_IMAGE008
即
Figure 864005DEST_PATH_IMAGE009
，其中，C out 为多模态融合特征MF的特征通道数；
所述步骤2中分类网络包括全局均值池化层、全连接层、Dropout层和Softmax层；
第一层全局均值池化层将特征图所有像素值相加求平均，得到一个数值，即用该 数值表示对应特征图，多模态融合特征MF通过全局均值池化层后得到多模态数据融合特征
Figure 60631DEST_PATH_IMAGE010
；
第二层全连接层降低多模态数据融合特征MF GAP 的维度，增加网络的非线性表达能力；
第三层Dropout层训练过程中随机丢弃神经元，防止网络过拟合；
最后一层Softmax层使用Softmax激活函数激活全连接层得到最终手势分类结果。
更进一步的，所述个性网络中四层个性卷积模块包括多时间尺度卷积模块、一维卷积注意力模块和ReLU激活层，依次起到特征提取、特征注意力重映射和激活输出的功能，个性卷积模块只有一个输入和输出。
更进一步的，所述多时间尺度卷积模块输入特征通道数为C inf ，输出特征通道数为C outf ；多时间尺度卷积模块包括5条支路，为4条卷积支路和1条short-cut支路；多时间尺度卷积模块的第一个组成部分为瓶颈层，所有支路先经过瓶颈层，降低特征维度；在瓶颈层中，使用C inf ／r个卷积核大小为1的一维滤波器，将通道大小为C inf 的输入序列转化为通道大小为C inf ／r的时间序列，减少后面卷积层的参数；其中，r为压缩率；
在经过瓶颈层后，支路2、3、4分别由两层卷积核大小3、3、5的一维卷积层构成，其中第二层为膨胀率d分别为1、3、5的膨胀卷积；前4路的输出特征大小都为C inf ／r，此时采用特征通道维度级联拼接的方式对4路输出特征进行聚合；聚合后的特征大小为C inf ／r×4，然后通过1x1一维卷积将特征通道维度升到C outf ，得到所有卷积支路的输出特征；同时，short-cut支路也通过1x1一维卷积将特征通道维度由C inf 升到C outf ，再与卷积支路的输出特征逐元素求和，输出多时间尺度卷积模块的最终特征。
更进一步的，所述共性网络中多模态卷积融合模块中的处理步骤如下：
步骤2a：对新的个性特征组合PF i 进行通道混洗，打乱原本特征通道的顺序，加强不同传感器个性特征的信息流通；
步骤2b：上一层网络的共性特征CF i-1和通道混洗后的个性特征组合都将送入一个个性卷积模块中，卷积核个数都为最终模块输出的一半C out/2；
步骤2c：将两路卷积后的特征按特征通道维度串联起来，再进行一次通道混洗，并 通过一个新的个性卷积模块后得到共性更新特征
Figure 893589DEST_PATH_IMAGE011
；
步骤2d：旧的共性特征CF old 通过1x1一维卷积将维度转换为C out ，与共性更新特征 CF update 逐元素相加，得到新的共性特征
Figure 224076DEST_PATH_IMAGE012
。
更进一步的，步骤3中关于个性特征PF m 的个性网络交叉熵损失函数为：
Figure 950724DEST_PATH_IMAGE013
式中：
Figure 223311DEST_PATH_IMAGE014
为Softmax激活函数，
Figure 933778DEST_PATH_IMAGE015
，含义为降维矩阵；f GAP 为全局均值池化函 数；
Figure 536798DEST_PATH_IMAGE016
表示预测属于真实标签值j的概率值；E为手势的识别数量；
所述最优的网络模型最终的总损失函数由多路个性网络交叉熵损失函数
Figure 524476DEST_PATH_IMAGE017
和主 损失函数多模态特征交叉熵损失函数
Figure 62905DEST_PATH_IMAGE018
构成，m表示第m个异构传感器，总损失函数
Figure 119723DEST_PATH_IMAGE019
表示 如下：
Figure 35421DEST_PATH_IMAGE020
式中：M表示异构传感器种类的总数量。
与现有技术相比，本发明的有益效果是：本发明提出一种多通道异构传感器的肌电手势识别方法，该方法能够充分利用多通道异构传感器的区分性信息和互补性信息，分别提取个性特征和共性特征，得到最优的多模态特征，从而更好地利用多通道异构传感器信息，得出最优的手势识别结果，进而有效提高肌电手势识别准确率，增强肌电手势识别系统的稳定性。
附图说明
图1为多模态个性共性特征融合网络整体结构图。
图2为多时间尺度卷积模块结构图。
图3为多模态卷积融合模块结构图。
具体实施方式
下面结合附图和具体实施例对本发明做进一步详细说明。
本发明是通过以下技术方案来实现的：一种多通道异构传感器的肌电手势识别方法，该方法包括如下步骤：
步骤1：获取肌电数据，对每个多通道异构传感器的原始数据通过滑动窗口生成单个网络输入样本，并将其归一化处理。
1）肌电数据采用Ninapro-DB7的数据，采样率为2000Hz，12个传感器。
2）使用滑动窗口生成单个样本数据，本实施例决策窗口设置为200ms，每次滑动50ms。此时sEMG数据输入大小为400×12，Acc数据输入大小为400×36，Gyro数据输入大小为400×36，Mag数据输入大小为400×36。
3）多通道sEMG数据统一归一化，其他传感器由于各个采集通道位置不同导致数据尺度变换不同，对每个采集通道的加速度计、陀螺仪、磁力计三轴数据依次归一化。
步骤2：构建多模态个性共性特征融合网络，该网络包括多模态特征提取网络和分类网络，所述多模态特征提取网络包括个性网络和共性网络；通过个性网络学习到多异构传感器具有区分性的个性特征，再通过不同传感器个性网络之间的特征交互，使共性网络学习到多异构传感器具有互补性的共性特征，最终输出多模态融合特征；所述分类网络根据所述多模态融合特征输出手势分类结果。
1）个性网络：个性网络的输入为单个异构传感器输入样本F m ，每一个传感器数据 都有独有的特征提取网络；个性网络包括四层个性卷积模块（Personality Convolutional Module，P-Conv），四层个性卷积模块的输出特征依次为
Figure 595715DEST_PATH_IMAGE003
，每层特征除了作为 下一层个性卷积模块的输入特征外，还将作为同网络层的共性网络中多模态卷积融合模块 （Multimodal Convolutional Fusion Module，MCFM）的输入；
Figure 836203DEST_PATH_IMAGE004
则作为个性网络最终输出 的个性特征
Figure 865470DEST_PATH_IMAGE005
，C pout 为个性特征PF m 的特征通道数。
个性网络中四层个性卷积模块包括多时间尺度卷积模块、一维卷积注意力模块和ReLU激活层，依次起到特征提取、特征注意力重映射和激活输出的功能，个性卷积模块只有一个输入和输出。
如图2所示，多时间尺度卷积模块输入特征通道数为C inf ，输出特征通道数为C outf ；多时间尺度卷积模块包括5条支路，为4条卷积支路和1条short-cut支路；多时间尺度卷积模块的第一个组成部分为瓶颈层，所有支路先经过瓶颈层，降低特征维度；在瓶颈层中，使用C inf ／r个卷积核大小为1的一维滤波器，将通道大小为C inf 的输入序列转化为通道大小为C inf ／r的时间序列，减少后面卷积层的参数；其中，r为压缩率。
在经过瓶颈层后，支路2、3、4分别由两层卷积核大小3、3、5的一维卷积层构成，其中第二层为膨胀率d分别为1、3、5的膨胀卷积；前4路的输出特征大小都为C inf ／r，此时采用特征通道维度级联拼接的方式对4路输出特征进行聚合；聚合后的特征大小为C inf ／r×4，然后通过1x1一维卷积将特征通道维度升到C outf ，得到所有卷积支路的输出特征；同时，short-cut支路也通过1x1一维卷积将特征通道维度由C inf 升到C outf ，再与卷积支路的输出特征逐元素求和，输出多时间尺度卷积模块的最终特征。
2）共性网络：共性网络的输入为多个异构传感器数据串联而成，表示为F∈R W×C ，C 为多个异构传感器采集通道数之和；共性网络包括四层多模态卷积融合模块，与所述个性 网络的四层个性卷积模块一一对应；四层多模态卷积融合模块对应的四层特征依次为CF1、 CF2、CF3、CF4；如图3所示，多模态卷积融合模块有多个输入，分别为上一层网络的共性特征
Figure 216817DEST_PATH_IMAGE006
和本网络层中个性网络的个性特征
Figure 162777DEST_PATH_IMAGE021
，i为第i层网络，其中，个性特 征PF i 为M个传感器第i层个性特征在特征通道维度上的串联，C f 为个性特征PF i 的特征通道 数，C in 为共性特征CF i-1的特征通道数；共性网络的最终输出为第四个多模态卷积融合模块 的输出特征CF4，也是多模态个性共性特征融合网络最终输出的多模态融合特征
Figure 574166DEST_PATH_IMAGE022
即
Figure 854844DEST_PATH_IMAGE009
，其中，C out 为多模态融合特征MF的特征通道数。
共性网络中多模态卷积融合模块中的处理步骤如下：
（a）对新的个性特征组合PF i 进行通道混洗，打乱原本特征通道的顺序，加强不同传感器个性特征的信息流通。
（b）上一层网络的共性特征CF i-1和通道混洗后的个性特征组合都将送入一个个性卷积模块中，卷积核个数都为最终模块输出的一半C out/2。
（c）将两路卷积后的特征按特征通道维度串联起来，再进行一次通道混洗，并通过 一个新的个性卷积模块后得到共性更新特征
Figure 744303DEST_PATH_IMAGE011
，C out 为CF update 的特征通道数。
（d）旧的共性特征CF old 通过1x1一维卷积将维度转换为C out ，与CF update 逐元素相加， 得到新的共性特征
Figure 810347DEST_PATH_IMAGE012
。
3）分类网络：分类网络包括全局均值池化层、全连接层、Dropout层和Softmax层； 第一层全局均值池化层将特征图所有像素值相加求平均，得到一个数值，即用该数值表示 对应特征图，多模态融合特征MF通过全局均值池化层后得到多模态数据融合特征
Figure 392639DEST_PATH_IMAGE010
；第二层全连接层降低多模态数据融合特征MF GAP 的维度，增加网络的非线性 表达能力；第三层Dropout层训练过程中随机丢弃神经元，防止网络过拟合；最后一层 Softmax层使用Softmax激活函数激活全连接层得到最终手势分类结果。
分类网络的全连接层输出大小为128，Dropout层随机丢弃率为0.5。
如图1所示，多模态个性共性特征融合网络整体依次可分为两个阶段：多模态特征 提取阶段和分类阶段。其中，F m 表示单个异构传感器输入样本，
Figure 662077DEST_PATH_IMAGE023
为第i层网络第m个的个性 网络输出特征，PF m 为第m个个性网络最终输出特征，MF为多模态融合特征，
Figure 355227DEST_PATH_IMAGE024
表示共性网 络分类损失函数，
Figure 10199DEST_PATH_IMAGE025
表示第m个个性网络分类损失函数。
多模态特征提取阶段：个性网络的输入为取完窗口的原始传感器数据，即sEMG数据、Acc数据、Gyro数据、Mag数据，最终输出个性特征大小为400×128，中间网络层特征通道数依次为64和128。共性网络的输入为多个异构传感器数据串联而成，多模态卷积融合模块的输入由每层的个性特征和上一层的共性特征构成，个性特征组合和上一层共性特征卷积后的特征通道大小为模块输出特征的一半，这两个特征在特征通道维度串联后再次被送入卷积，得到共性特征的更新，再与上一层共性特征进行加权求和。4层多模块卷积融合模块的输出大小依次为64、128、128、128。
分类阶段：将大小为400×512的多模态特征送入全局均值池化层，得到大小为512的一维向量，通过具有Dropout的全连接层，将大小降到128，随机丢弃率为0.5，最后采用Softmax激活的全连接层输出最终手势识别结果。
步骤3：使用训练样本集对多模态个性共性特征融合网络进行有监督的训练，得到最优的网络模型，损失函数为个性网络交叉熵损失函数和多模态特征交叉熵损失函数的组合。
使用训练数据对构建的神经网络进行有监督的训练，网络最终的损失函数由个性网络交叉熵损失函数和多模态特征交叉熵损失函数构成，并采用随机梯度下降方法对模型进行训练，训练次数为40个周期，初始学习率为0.01，每10个训练周期学习率减半。L2正则化参数设置为0.0005。隐藏层激活函数全部采用ELU激活函数。在有监督的模型训练中，将每种手势的六次采集数据分为训练集和测试集。训练集为六次实验中的第1、3、4和第6次实验，测试集为剩余的第2和第5次实验。
关于个性特征PF m 的个性网络交叉熵损失函数为：
Figure 763391DEST_PATH_IMAGE027
式中：
Figure 753082DEST_PATH_IMAGE014
为Softmax激活函数，
Figure 374556DEST_PATH_IMAGE015
，含义为降维矩阵；f GAP 为全局均值池化函 数；
Figure 24980DEST_PATH_IMAGE016
表示预测属于真实标签值j的概率值；E为手势的识别数量；
网络最终的损失函数由多路个性网络交叉熵损失函数和多模态特征交叉熵损失 函数构成，共性网络分类损失函数
Figure 558861DEST_PATH_IMAGE028
，个性网络分类损失函数
Figure 927525DEST_PATH_IMAGE017
，m表示第m个异构传感器， 总损失函数
Figure 821532DEST_PATH_IMAGE019
表示如下：
Figure 592042DEST_PATH_IMAGE029
式中：M表示异构传感器种类的总数量。
由于肌电信号数据比较稀疏，数据量较少，容易产生过拟合，同时考虑到在运动重复过程中，EMG的幅度和持续时间不能被完全复制，因此对训练样本使用时间扭曲和幅度扭曲的方法进行两倍的扩充。保存训练的最优模型，输入测试数据集，统计所有人的平均手势识别准确率。
通过消融实验测试本发明方法的有效性，使用Ninapro-DB7公开数据集的实验结果如表1所示。
表1 实验结果
Figure DEST_PATH_IMAGE031
综上，本发明的方法能够充分利用多通道异构传感器的区分性信息和互补性信息，分别提取个性特征和共性特征，得到最优的多模态特征，从而有效提高肌电手势识别准确率，增强肌电手势识别系统的稳定性。

Claims (6)

1.一种多通道异构传感器的肌电手势识别方法，其特征在于，包括以下步骤：
步骤1：获取肌电数据，对每个多通道异构传感器的原始数据通过滑动窗口生成单个网络输入样本，并将其归一化处理；
步骤2：构建多模态个性共性特征融合网络，该网络包括多模态特征提取网络和分类网络，所述多模态特征提取网络包括个性网络和共性网络；通过个性网络学习到多异构传感器具有区分性的个性特征，再通过不同传感器个性网络之间的特征交互，使共性网络学习到多异构传感器具有互补性的共性特征，最终输出多模态融合特征；所述分类网络根据所述多模态融合特征输出手势分类结果；
步骤3：使用训练样本集对多模态个性共性特征融合网络进行有监督的训练，得到最优的网络模型。
2.根据权利要求1所述的一种多通道异构传感器的肌电手势识别方法，其特征在于，步 骤1中单个异构传感器输入样本为
Figure DEST_PATH_IMAGE001
，m表示第m个传感器，W为时间窗口的长度，C m 为第m个传感器采集通道数，
Figure DEST_PATH_IMAGE002
表示W×C m 的特征空间；
所述步骤2中的多模态特征提取网络包括；
个性网络：个性网络的输入为单个异构传感器输入样本F m ，每一个传感器数据都有独有 的特征提取网络；个性网络包括四层个性卷积模块，四层个性卷积模块的输出特征依次为
Figure DEST_PATH_IMAGE003
，每层特征除了作为下一层个性卷积模块的输入特征外，还将作为同网络层 的共性网络中多模态卷积融合模块的输入；
Figure DEST_PATH_IMAGE004
则作为个性网络最终输出的个性特征
Figure 527065DEST_PATH_IMAGE005
，C pout 为个性特征PF m 的特征通道数；
共性网络：共性网络的输入为多个异构传感器数据串联而成，表示为F∈R W×C ，C为多个 异构传感器采集通道数之和；共性网络包括四层多模态卷积融合模块，与所述个性网络的 四层个性卷积模块一一对应；四层多模态卷积融合模块对应的四层特征依次为CF1、CF2、 CF3、CF4；多模态卷积融合模块有多个输入，分别为上一层网络的共性特征
Figure DEST_PATH_IMAGE006
和 本网络层中个性网络的个性特征
Figure 506523DEST_PATH_IMAGE007
，i为第i层网络，其中，个性特征PF i 为M个传感 器第i层个性特征在特征通道维度上的串联，C f 为个性特征PF i 的特征通道数，C in 为共性特 征CF i-1的特征通道数；共性网络的最终输出为第四个多模态卷积融合模块的输出特征CF4， 也是多模态个性共性特征融合网络最终输出的多模态融合特征
Figure DEST_PATH_IMAGE008
即
Figure DEST_PATH_IMAGE009
，其中，C out 为多模态融合特征MF的特征通道数；
所述步骤2中的分类网络包括全局均值池化层、全连接层、Dropout层和Softmax层；
第一层全局均值池化层将特征图所有像素值相加求平均，得到一个数值，即用该数值 表示对应特征图，多模态融合特征MF通过全局均值池化层后得到多模态数据融合特征
Figure 148244DEST_PATH_IMAGE010
；
第二层全连接层降低多模态数据融合特征MF GAP 的维度，增加网络的非线性表达能力；
第三层Dropout层训练过程中随机丢弃神经元，防止网络过拟合；
最后一层Softmax层使用Softmax激活函数激活全连接层得到最终手势分类结果。
3.根据权利要求2所述的一种多通道异构传感器的肌电手势识别方法，其特征在于，所述个性网络中四层个性卷积模块包括多时间尺度卷积模块、一维卷积注意力模块和ReLU激活层，依次起到特征提取、特征注意力重映射和激活输出的功能，个性卷积模块只有一个输入和输出。
4.根据权利要求3所述的一种多通道异构传感器的肌电手势识别方法，其特征在于，所述多时间尺度卷积模块输入特征通道数为C inf ，输出特征通道数为C outf ；多时间尺度卷积模块包括5条支路，为4条卷积支路和1条short-cut支路；多时间尺度卷积模块的第一个组成部分为瓶颈层，所有支路先经过瓶颈层，降低特征维度；在瓶颈层中，使用C inf ／r个卷积核大小为1的一维滤波器，将通道大小为C inf 的输入序列转化为通道大小为C inf ／r的时间序列，减少后面卷积层的参数；其中，r为压缩率；
在经过瓶颈层后，支路2、3、4分别由两层卷积核大小3、3、5的一维卷积层构成，其中第二层为膨胀率d分别为1、3、5的膨胀卷积；前4路的输出特征大小都为C inf ／r，此时采用特征通道维度级联拼接的方式对4路输出特征进行聚合；聚合后的特征大小为C inf ／r×4，然后通过1x1一维卷积将特征通道维度升到C outf ，得到所有卷积支路的输出特征；同时，short-cut支路也通过1x1一维卷积将特征通道维度由C inf 升到C outf ，再与卷积支路的输出特征逐元素求和，输出多时间尺度卷积模块的最终特征。
5.根据权利要求2所述的一种多通道异构传感器的肌电手势识别方法，其特征在于，所述共性网络中多模态卷积融合模块中的处理步骤如下：
步骤2a：对新的个性特征组合PF i 进行通道混洗，打乱原本特征通道的顺序，加强不同传感器个性特征的信息流通；
步骤2b：上一层网络的共性特征CF i-1和通道混洗后的个性特征组合都将送入一个个性卷积模块中，卷积核个数都为最终模块输出的一半C out/2；
步骤2c：将两路卷积后的特征按特征通道维度串联起来，再进行一次通道混洗，并通过 一个新的个性卷积模块后得到共性更新特征
Figure DEST_PATH_IMAGE011
；
步骤2d：旧的共性特征CF old 通过1x1一维卷积将维度转换为C out ，与共性更新特征 CF update 逐元素相加，得到新的共性特征
Figure DEST_PATH_IMAGE012
。
6.根据权利要求2所述的一种多通道异构传感器的肌电手势识别方法，其特征在于，步骤3中关于个性特征PF m 的个性网络交叉熵损失函数为：
Figure 340191DEST_PATH_IMAGE013
式中：
Figure DEST_PATH_IMAGE014
为Softmax激活函数，
Figure 216880DEST_PATH_IMAGE015
，含义为降维矩阵；f GAP 为全局均值池化函数；
Figure DEST_PATH_IMAGE016
为预测属于真实标签值j的概率值；E为手势的识别数量；
所述最优的网络模型最终的总损失函数由多路个性网络交叉熵损失函数
Figure DEST_PATH_IMAGE017
和主损失 函数多模态特征交叉熵损失函数
Figure DEST_PATH_IMAGE018
构成，m表示第m个异构传感器，总损失函数
Figure 491873DEST_PATH_IMAGE019
表示如下：
Figure DEST_PATH_IMAGE020
式中：M表示异构传感器种类的总数量。
CN202210792782.1A 2022-07-07 2022-07-07 一种多通道异构传感器的肌电手势识别方法 Active CN114863572B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210792782.1A CN114863572B (zh) 2022-07-07 2022-07-07 一种多通道异构传感器的肌电手势识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210792782.1A CN114863572B (zh) 2022-07-07 2022-07-07 一种多通道异构传感器的肌电手势识别方法

Publications (2)

Publication Number Publication Date
CN114863572A true CN114863572A (zh) 2022-08-05
CN114863572B CN114863572B (zh) 2022-09-23

Family

ID=82626326

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210792782.1A Active CN114863572B (zh) 2022-07-07 2022-07-07 一种多通道异构传感器的肌电手势识别方法

Country Status (1)

Country Link
CN (1) CN114863572B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117218453A (zh) * 2023-11-06 2023-12-12 中国科学院大学 一种不完备多模态医学影像学习方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105446461A (zh) * 2014-06-24 2016-03-30 北京创思博德科技有限公司 手势识别方法及使用该方法的手掌虚拟键盘及其输入方法
CN109271901A (zh) * 2018-08-31 2019-01-25 武汉大学 一种基于多源信息融合的手语识别方法
CN110619288A (zh) * 2019-08-30 2019-12-27 武汉科技大学 一种手势识别方法、控制装置及可读存储介质
US20200143169A1 (en) * 2018-11-01 2020-05-07 Microsoft Technology Licensing, Llc Video recognition using multiple modalities
CN111340103A (zh) * 2020-02-24 2020-06-26 安徽大学 一种基于图嵌入典型相关分析的特征层融合方法及其装置
CN111476161A (zh) * 2020-04-07 2020-07-31 金陵科技学院 一种融合图像和生理信号双通道的体感动态手势识别方法
CN112603758A (zh) * 2020-12-21 2021-04-06 上海交通大学宁波人工智能研究院 一种基于sEMG与IMU信息融合的手势识别方法
CN113205074A (zh) * 2021-05-29 2021-08-03 浙江大学 一种融合肌电和微惯性测量单元多模态信号的手势识别方法
CN113255602A (zh) * 2021-06-29 2021-08-13 江南大学 基于多模态数据的动态手势识别方法
CN113466852A (zh) * 2021-06-08 2021-10-01 江苏科技大学 应用于随机干扰场景下的毫米波雷达动态手势识别方法
CN113627401A (zh) * 2021-10-12 2021-11-09 四川大学 融合双注意力机制的特征金字塔网络的肌电手势识别方法
CN113887675A (zh) * 2021-12-06 2022-01-04 四川大学 一种异构传感器特征融合的手势识别方法
CN114265498A (zh) * 2021-12-16 2022-04-01 中国电子科技集团公司第二十八研究所 一种多模态手势识别和视觉反馈机制结合的方法
CN114548237A (zh) * 2022-01-28 2022-05-27 广州杰赛科技股份有限公司 一种人机交互的多模态数据融合方法、装置及设备

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105446461A (zh) * 2014-06-24 2016-03-30 北京创思博德科技有限公司 手势识别方法及使用该方法的手掌虚拟键盘及其输入方法
CN109271901A (zh) * 2018-08-31 2019-01-25 武汉大学 一种基于多源信息融合的手语识别方法
US20200143169A1 (en) * 2018-11-01 2020-05-07 Microsoft Technology Licensing, Llc Video recognition using multiple modalities
CN110619288A (zh) * 2019-08-30 2019-12-27 武汉科技大学 一种手势识别方法、控制装置及可读存储介质
CN111340103A (zh) * 2020-02-24 2020-06-26 安徽大学 一种基于图嵌入典型相关分析的特征层融合方法及其装置
CN111476161A (zh) * 2020-04-07 2020-07-31 金陵科技学院 一种融合图像和生理信号双通道的体感动态手势识别方法
CN112603758A (zh) * 2020-12-21 2021-04-06 上海交通大学宁波人工智能研究院 一种基于sEMG与IMU信息融合的手势识别方法
CN113205074A (zh) * 2021-05-29 2021-08-03 浙江大学 一种融合肌电和微惯性测量单元多模态信号的手势识别方法
CN113466852A (zh) * 2021-06-08 2021-10-01 江苏科技大学 应用于随机干扰场景下的毫米波雷达动态手势识别方法
CN113255602A (zh) * 2021-06-29 2021-08-13 江南大学 基于多模态数据的动态手势识别方法
CN113627401A (zh) * 2021-10-12 2021-11-09 四川大学 融合双注意力机制的特征金字塔网络的肌电手势识别方法
CN113887675A (zh) * 2021-12-06 2022-01-04 四川大学 一种异构传感器特征融合的手势识别方法
CN114265498A (zh) * 2021-12-16 2022-04-01 中国电子科技集团公司第二十八研究所 一种多模态手势识别和视觉反馈机制结合的方法
CN114548237A (zh) * 2022-01-28 2022-05-27 广州杰赛科技股份有限公司 一种人机交互的多模态数据融合方法、装置及设备

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
ANANDA SANKAR KUNDU等: "Hand Gesture Recognition Based Omnidirectional Wheelchair Control Using IMU and EMG Sensors", 《J INTELL ROBOT SYST》 *
HAOJIE DUAN等: "Gesture recognition based on multi-modal feature weight", 《CONCURRENCY AND COMPUTATION: PRACTICE AND EXPERIENCE》 *
刘肖: "基于多传感器融合的手势识别算法研究", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 *
李沿宏等: "融合注意力机制的多流卷积肌电手势识别网络", 《计算机应用研究》 *
程文韬: "基于RGB-D图像多模态融合的手势识别研究_程文韬", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117218453A (zh) * 2023-11-06 2023-12-12 中国科学院大学 一种不完备多模态医学影像学习方法
CN117218453B (zh) * 2023-11-06 2024-01-16 中国科学院大学 一种不完备多模态医学影像学习方法

Also Published As

Publication number Publication date
CN114863572B (zh) 2022-09-23

Similar Documents

Publication Publication Date Title
Rahman et al. A new benchmark on american sign language recognition using convolutional neural network
CN108596039B (zh) 一种基于3d卷积神经网络的双模态情感识别方法及系统
Wadhawan et al. Deep learning-based sign language recognition system for static signs
CN109472194B (zh) 一种基于cblstm算法模型的运动想象脑电信号特征识别方法
CN109409222B (zh) 一种基于移动端的多视角人脸表情识别方法
Robert et al. Hybridnet: Classification and reconstruction cooperation for semi-supervised learning
CN106803098A (zh) 一种基于语音、表情与姿态的三模态情感识别方法
CN107153810A (zh) 一种基于深度学习的手写体数字识别方法及系统
Nanehkaran et al. Analysis and comparison of machine learning classifiers and deep neural networks techniques for recognition of Farsi handwritten digits
CN107491729B (zh) 基于余弦相似度激活的卷积神经网络的手写数字识别方法
Yamashita et al. Hand posture recognition based on bottom-up structured deep convolutional neural network with curriculum learning
CN111950455A (zh) 一种基于lffcnn-gru算法模型的运动想象脑电信号特征识别方法
CN110674774A (zh) 一种改进的深度学习人脸面部表情识别方法及系统
CN112668486A (zh) 一种预激活残差深度可分离卷积网络面部表情识别方法、装置和载体
Das et al. Determining attention mechanism for visual sentiment analysis of an image using svm classifier in deep learning based architecture
Cheng et al. Student action recognition based on deep convolutional generative adversarial network
Ahammad et al. Recognizing Bengali sign language gestures for digits in real time using convolutional neural network
Elkhayati et al. UnCNN: A new directed CNN model for isolated Arabic handwritten characters recognition
CN114863572B (zh) 一种多通道异构传感器的肌电手势识别方法
CN111310820A (zh) 基于交叉验证深度cnn特征集成的地基气象云图分类方法
Youme et al. Generalization of bangla sign language recognition using angular loss functions
Zhao et al. Multi‐mode neural network for human action recognition
Gong et al. Human interaction recognition based on deep learning and HMM
Li Parallel two-class 3D-CNN classifiers for video classification
Jadhav et al. Content based facial emotion recognition model using machine learning algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant