CN110443309A - 一种结合跨模态关联关系模型的肌电信号手势识别方法 - Google Patents

一种结合跨模态关联关系模型的肌电信号手势识别方法 Download PDF

Info

Publication number
CN110443309A
CN110443309A CN201910725778.1A CN201910725778A CN110443309A CN 110443309 A CN110443309 A CN 110443309A CN 201910725778 A CN201910725778 A CN 201910725778A CN 110443309 A CN110443309 A CN 110443309A
Authority
CN
China
Prior art keywords
data
electromyography signal
hand gestures
gesture
hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910725778.1A
Other languages
English (en)
Inventor
耿卫东
胡钰
戴青锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201910725778.1A priority Critical patent/CN110443309A/zh
Publication of CN110443309A publication Critical patent/CN110443309A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种结合跨模态关联关系模型的肌电信号手势识别方法，步骤如下：设计一种结合深度学习和对抗学习的跨模态关联关系模型，并对其网络结构参数进行优化；将肌电信号和跨模态关联关系模型生成的虚拟手部姿态作为输入，设计一种基于多模态融合的手势分类深度学习框架，并对其网络结构参数进行优化；将测试数据输入到训练好的跨模态关联模型中，输出虚拟手部姿态，再由虚拟手部姿态与肌电信号输入到训练好的手势分类模型中得到手势类别。本发明基于跨模态关联关系模型及多模态融合的深度学习框架对手势进行识别。使用基于生成式对抗网络的跨模态关联关系模型和多模态融合的肌电手势识别方法能够有效提升基于单帧的手势识别率。

Description

一种结合跨模态关联关系模型的肌电信号手势识别方法
技术领域
本发明属于计算机与生物信号相结合领域，尤其涉及一种结合跨模态关联关系模型的肌电信号手势识别方法。
背景技术
基于肌电的手势识别通过分析表面肌电信号(surface electromyography,sEMG)来获取大脑对手部运动的指令信号，识别出手势使得机器能够获得手部运动意图，进而构成基于表面肌电的人机交互界面。目前基于肌电的交互系统主要应用于1)辅助技术，包括假肢控制、轮椅控制和辅助机器人；2)康复技术，如基于肌电的外骨骼和康复游戏；3)输入技术，如臂环和基于肌电的人机界面；4)无声语音识别。通过基于肌电的硬件获取到包含肌电信号和惯性传感单元的数据对手势进行识别，由人类的神经直接向机器发出准确指令，可以应用于机器人、临床、虚拟现实等研究应用中，为人类与机器提供新型交互方式。其中肌电信号手势识别是十分重要的基础研究，能够协助机器更加准确地理解人类的身体语言及运动意图。
经典基于机器学习的方法中最终的两个步骤为特征提取和手势分类。特征提取由一个短时间的原始信号窗口生成额外的新信息并提升信息的密度，能够提取出原始表面肌电信号中隐含的信息，因此需要对原始肌电信号进行特征提取，并且在近几十年中，特征提取在表面肌电手势识别中占据主导地位。在确定最优的特征组合即特征集后，可以将经典的机器学习方法用于肌电手势的分类，常用的有支持向量机、线性判别分析、K近邻、多层感知神经网络和随机森林等等。
随着基于深度学习的方法在过去几年中获得了较人工选择特征更高的识别率后，越来越多的研究者加入到基于肌电信号大数据的深度学习肌电手势识别研究中。基于深度学习的肌电手势识别目前处于起步阶段，主要利用卷积神经网络对肌电特征进行自动提取。逐渐地，循环神经网络等时序模型也被应用于肌电手势识别中。研究者们提出多模态融合的方法，将惯性测量单元、数据手套等传感器的数据与肌电信合结合共同进行手势识别，能够有效提升手势识别准确率，但是额外佩戴的传感器会降低整个系统用户使用时的体验。时序肌电信号与时序手部姿态数据之间存在内在的生理学关系，因为手势是由特定肌电信号驱动产生。但目前没有将肌电信号与手部姿态数据关联关系融入到手势分类中，并且本发明将两种模态之间的内在关联模型构建出来，结合肌电信号和虚拟手部姿态数据共同进行手势识别，能够在测试阶段只使用肌电信号(不降低用户体验)的同时提高识别准确率。
发明内容
本发明的目的在于针对现有技术的不足，提供一种结合跨模态关联关系模型的肌电信号手势识别方法，通过设计跨模态关联关系模型结构及分类模型，提高了手势识别的准确性。
本发明的目的是通过以下技术方案来实现的：一种结合跨模态关联关系模型的肌电信号手势识别方法，包括如下步骤：
(1)获取肌电数据及手部姿态数据，数据预处理，包括以下子步骤：
(1.1)从公开数据集NinaProDB1、NinaProDB2、NinaProDB3、NinaProDB4、NinaProDB5、NinaProDB6、NinaProDB7、CapgMyoDBa、CapgMyoDBb、CapgMyoDBc和csl-hdemg中获取手势动作肌电信号；
(1.2)对获取的手势动作肌电信号进行滤波降噪；
(1.3)为公开数据集NinaProDB3、NinaProDB4、NinaProDB6、NinaProDB7、CapgMyoDBa、CapgMyoDBb、CapgMyoDBc和csl-hdemg生成手部姿态数据(除NinaProDB1、NinaProDB2和NinaProDB5外的其他8个数据集没有包含手部姿态数据，故在预处理步骤为这8个数据集进行手部姿态数据生成)；
(2)训练数据集和测试数据集的划分，包括以下子步骤：
(2.1)根据获取到的肌电信号手势标签，将每个肌电信号文件中的肌电信号和手部姿态数据文件中的手部姿态数据分别分割为若干个手势段，每个手势段包含一次动作重复，且手势段中的肌电信号和手部姿态数据每帧对应；
(2.2)按照被试间评估方法，将手势的多次动作重复分别划分到训练数据集和测试数据集中，完成原始训练和测试数据集的划分；
(3)构建肌电图像：单帧肌电信号的每个通道的数据重新排布，使得每两个通道均能够相邻，肌电图像的宽为1，高为重新排列后的通道数，颜色通道数为1；
(4)构建基于生成式对抗网络的跨模态关联关系模型，包括以下子步骤：
(4.1)设计基于生成式对抗网络的跨模态关联关系的模型结构，模型结构包含生成器和判别器；由生成器生成虚拟手部姿态数据，由判别器判断其与输入肌电信号是否匹配；
(4.2)训练数据集中包含每一帧肌电信号及与其对应的手部姿态数据，将肌电信号构成肌电图像，将训练数据集中当前帧肌电图像与前一帧手部姿态数据作为生成器训练时的输入，当前帧手部姿态数据作为生成器训练时的监督信息，生成器的输出与肌电信号结合作为判别器训练时的输入，判别器的输出为肌电信号与手部姿态数据是否匹配，通过对抗学习，对模型参数进行逐步逐一优化，得到最优模型参数；
(5)基于跨模态关联关系模型的肌电信号多类手势识别，包括以下步骤：
(5.1)设计多模态融合的分类模型结构，模型结构主要由卷积神经网络构成，并通过早融合的方式将肌电信号与手部姿态数据这两个模态的数据进行融合；多模态网络对输入的肌电信号和虚拟手部姿态数据分别构建肌电图像和手部姿态图像，再进行特征提取，最终进行手势标签的识别；
(5.2)由步骤(4)训练得到的最优模型参数、输入肌电图像及休息手部姿态数据，得到与肌电信号对应的虚拟手部姿态数据；
(5.3)将步骤(5.2)中生成的虚拟手部姿态数据和肌电信号作为步骤(5.1)的输入数据对模型进行训练，得到最优模型参数，完成分类模型的训练；
(5.4)将测试数据集中的每帧肌电信号构建其肌电图像，然后由步骤(4)训练得到的最优模型参数、输入肌电图像和休息手部姿态数据，得到测试数据集中肌电图像对应的虚拟手部姿态数据；
(5.5)将每帧肌电图像和生成的虚拟手部姿态数据输入到步骤(5.3)中训练好的分类模型中，输出分类结果。
进一步地，所述步骤(1.2)中，对NinaProDB1和NinaProDB5采用低通巴特沃斯滤波器，对NinaProDB2采用低通巴特沃斯滤波器并降采样到100HZ，对其他数据集不做滤波处理。
进一步地，所述步骤(1.3)中，对不包含手部姿态数据的数据集进行手部姿态生成，即人为指定每类手势其静止态手部姿态的手指关节角，并通过将休息手部姿态球面插值到每类手势的静止态手部姿态来获得手部姿态的变化过程。
进一步地，所述步骤(2.2)中，训练数据集和测试数据集采用被试内评估的方法；NinaProDB1每个被试的每类手势包含10次重复，每个被试的第1,3,4,6,8,9和10次重复作为训练数据，第2,5,7次作为测试数据；NinaProDB2、NinaProDB3、NinaProDB4、NinaProDB5和NinaProDB7每个被试的每类手势包含6次重复，每个被试的第1,3,4,6次重复作为训练数据，第2,5次作为测试数据；NinaProDB6包含120次重复，奇数次作为训练，偶数次作为测试；CapgMyoDBa、CapgMyoDBb、CapgMyoDBc和csl-hdemg数据集采用留一测试。
进一步地，所述步骤(4.1)中，模型结构包含生成器和判别器，生成器网络由多流结构组成，肌电信号流由4层卷积层，后接4层全连接层组成，前一帧手部姿态数据流由2层全连接层组成，然后将肌电信号流和前一帧手部姿态数据流进行连接融合，后接1层长短时记忆单元(LSTM)和3层全连接层；判别器的输入为肌电信号与手部姿态数据连接融合，后接4层全连接层，最后一层全连接层得到最终判断结果。
进一步地，所述步骤(5.1)中，多模态融合的网络结构为一个多流结构，输入分别为单帧肌电信号和单帧虚拟手部姿态数据，将虚拟手部姿态数据先输入到一个全连接层，然后将其输出与单帧肌电信号进行连接融合，后接2层卷积层、2层局部连接层和3层全连接层，最后识别部分由一个G-Way全连接层和softmax层构成。
进一步地，所述步骤(5.1)中，多模态网络对输入的肌电信号构建肌电图像的方法与步骤(3)相同；多模态网络对输入的手部姿态数据构建手部姿态数据图像的方法具体为：单帧手部姿态数据转化为手部姿态图像，手部姿态图像的宽为1，高为数据通道数，颜色通道数为1。
进一步地，所述步骤(5.1)中，构建手部姿态图像时，将包含18个通道的单帧手部姿态数据转化为维度为(1,18,1)的图像，其中第一和第二个维度为图像的长和宽、第三个维度为图像的颜色通道数。
进一步地，所述步骤(5.3)中，分类模型的训练过程为：单帧肌电信号与其对应的虚拟手部姿态数据共同作为分类模型的输入，监督信息为类别标签，经过训练得到的模型参数进行存储。
本发明的有益效果是：本发明提出一种结合跨模态关联关系模型的肌电信号手势识别方法，通过将肌电信号和手部姿态数据两个模态间的跨模态关联关系融入到肌电信号手势识别中，有效地提高基于单帧的手势识别准确率，同时在测试运行时只基于肌电信号进行识别，确保了系统的可用性。
附图说明
图1为本发明方法流程图；
图2为本发明跨模态关联关系模型网络结构图；
图3为本发明分类模型网络结构图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细说明。
如图1所示，本发明提供的一种结合跨模态关联关系模型的肌电信号手势识别方法，具体实施步骤如下：
步骤(1)从公开数据集NinaProDB1、NinaProDB2、NinaProDB3、NinaProDB4、NinaProDB5、NinaProDB6、NinaProDB7、CapgMyoDBa、CapgMyoDBb、CapgMyoDBc和csl-hdemg中获取手势动作肌电数据；对NinaProDB1和NinaProDB5采用低通巴特沃斯滤波器，对NinaProDB2采用低通巴特沃斯滤波器并降采样到100HZ，对其他数据集不做滤波处理。对不包含手部姿态数据的数据集进行手部姿态生成，即人为指定每类手势其静止态手部姿态的手指关节角，并通过将休息手部姿态球面插值到每类手势的静止态手部姿态来获得手部姿态的变化过程。具体过程为：第一步，将每次手势重复划分为三段，中间一段为静止手势，前一段和后一段为动态手势变化过程；第二步，手包含18个关节角，我们指定处于休息姿态的手势其关节角都为0。以休息手势为初始姿态，旋转每个关节角使其达到每个指定手势，这过程中的关节角旋转角度为每类手势的手部姿态角度；第三步，针对静止手势段，其每帧的手部姿态都是每类手势的手部姿态关节角度；第四步，针对动态手势变化段，其变化过程中的每一帧由休息手部姿态到每类手部姿态之间进行球面插值获得。
步骤(2)训练数据集和测试数据集的划分，将每个肌电信号文件中的肌电信号和手部姿态数据文件中的手部姿态数据分别分割为若干个手势段，每个手势段包含一次动作重复，且手势段中的肌电信号和手部姿态数据每帧对应；按照被试间评估方法，将手势的多次动作重复分别划分到训练数据集和测试数据集中，完成训练和测试数据集的划分：NinaProDB1每个被试的每类手势包含10次重复，每个被试的第1,3,4,6,8,9和10次重复作为训练数据，第2,5,7次作为测试数据；NinaProDB2、NinaProDB3、NinaProDB4、NinaProDB5和NinaProDB7每个被试的每类手势包含6次重复，每个被试的第1,3,4,6次重复作为训练数据，第2,5次作为测试数据；NinaProDB6包含120次重复，奇数次作为训练，偶数次作为测试；CapgMyoDBa、CapgMyoDBb、CapgMyoDBc和csl-hdemg数据集采用留一测试。
步骤(3)构建肌电图像。单帧肌电信号的每个通道的数据重新排布，使得每两个通道均能够相邻，肌电图像的宽为1，高为重新排列后的通道数，颜色通道数为1。
步骤(4)构建基于生成式对抗网络的跨模态关系模型。设计基于生成式对抗网络的跨模态关联关系的模型结构，模型结构包含生成器和判别器；由生成器生成虚拟手部姿态数据，由判别器判断其与输入肌电信号是否匹配；生成器网络由多流结构组成，肌电信号流由4层卷积层，后接4层全连接层组成，前一帧手部姿态数据流由2层全连接层组成，然后将肌电信号流和前一帧手部姿态数据流进行连接融合，后接1层长短时记忆单元(LSTM)和3层全连接层；判别器的输入为肌电信号与手部姿态数据连接融合，后接4层全连接层，最后一层全连接层得到最终判断结果。将训练数据集中当前帧肌电图像与前一帧手部姿态数据作为生成器训练时的输入，当前帧手部姿态数据作为生成器训练时的监督信息，生成器的输出与肌电信号结合作为判别器训练时的输入，判别器的输出为肌电信号与手部姿态数据是否匹配，通过对抗学习，对模型参数进行逐步逐一优化，得到最优模型参数。生成器和判别器的网络结构如下表所示：
生成器的输入为当前帧肌电信号和前一帧手部姿态数据，输出为当前帧手部姿态数据，将输出的虚拟当前帧手部姿态数据与真实当前帧手部姿态数据联合输入为判别器中。由于对抗学习需要正例样本和负例样本，正例样本为真实手部姿态数据、负例样本为生成的虚拟手部姿态数据，它们分别和肌电信号组合输入到判别器中，有判别器判断其是否与输入的肌电信号匹配。通过对抗学习，迭代优化生成器和判别器的参数，最终判别器无法分清生成器生成的手部姿态数据和真实手部姿态数据，得到跨模态关联关系模型。
步骤(5)基于跨模态关联关系模型的肌电信号多类手势识别。设计多模态融合的分类模型结构，模型结构主要由卷积神经网络构成，并通过早融合的方式将肌电信号与手部姿态数据这两个模态的数据进行融合；多模态网络对输入的肌电信号和虚拟手部姿态数据分别构建肌电图像和手部姿态图像，再进行特征提取，最终进行手势标签的识别。多模态融合的网络结构为一个多流结构，输入分别为单帧肌电信号和单帧虚拟手部姿态数据，将虚拟手部姿态数据先输入到一个全连接层，然后将其输出与单帧肌电信号进行连接融合，后接2层卷积层、2层局部连接层和3层全连接层，最后识别部分由一个G-Way全连接层和softmax层构成，早融合后的网络结构如下表所示：
层 名称 参数
1 卷积层1 64核，核大小(3*3)
2 卷积层2 64核，核大小(3*3)
3 局部连接层1 64核
4 局部连接层2 64核
5 全连接层1 512维输出
6 全连接层2 512维输出
7 全连接层3 128维输出
8 G-Way全连接层和softmax层
多模态网络对输入的肌电信号构建肌电图像的方法与步骤(3)相同；多模态网络对输入的手部姿态数据构建手部姿态数据图像的方法具体为：单帧手部姿态数据转化为手部姿态图像，手部姿态图像的宽为1，高为数据通道数，颜色通道数为1。构建手部姿态图像时，将包含18个通道的单帧手部姿态数据转化为维度为(1,18,1)的图像，其中第一和第二个维度为图像的长和宽、第三个维度为图像的颜色通道数。
训练过程为：训练数据集中每个样本进行肌电图像的构建和手部姿态图像的构建，由步骤(4)训练得到的最优模型参数、输入肌电图像及休息手部姿态数据，得到与肌电信号对应的虚拟手部姿态数据。然后将训练数据集中单帧肌电信号与其对应的虚拟手部姿态数据共同作为分类模型的输入，监督信息为类别标签，经过训练得到的模型参数进行存储。测试过程为：将测试数据集中每个样本进行肌电图像的构建，得到肌电图像测试数据集，然后由步骤(4)训练得到的最优模型参数、输入肌电图像和休息手部姿态数据，得到测试数据集中肌电图像对应的虚拟手部姿态图像，最后将测试数据集中的肌电信号和其对应的虚拟手部姿态图像输入已训练好的分类模型中，得到手势识别标签，计算识别准确率为(识别正确样本数/总测试样本数)*100％。
对NinaProDB1、NinaProDB2、NinaProDB3、NinaProDB4、NinaProDB5、NinaProDB6、NinaProDB7、CapgMyoDBa、CapgMyoDBb、CapgMyoDBc和csl-hdemg数据集的手势全集进行识别。NinaProDB1包含52手势，NinaProDB2包含50手势，NinaProDB3包含50手势，NinaProDB4包含52手势，NinaProDB5包含52手势，NinaProDB6包含6手势，NinaProDB7包含40手势，CapgMyoDBa和CapgMyoDBb均包含8手势，CapgMyoDBc包含12手势，csl-hdemg包含27手势。主要在单帧上进行测试，150ms的结果为在单帧识别结果上进行投票的结果。方法一为已有方法，即不结合跨模态关联关系模型的肌电手势识别，方法二为本发明方法，即结合跨模态关联关系模型的肌电信号手势识别方法的识别率结果为：
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应视为本发明的保护范围。

Claims (9)

1.一种结合跨模态关联关系的肌电信号手势识别方法，其特征在于，包括如下步骤：
(1)获取肌电信号及手部姿态数据，数据预处理，包括以下子步骤：
(1.1)从公开数据集NinaProDB1、NinaProDB2、NinaProDB3、NinaProDB4、NinaProDB5、NinaProDB6、NinaProDB7、CapgMyoDBa、CapgMyoDBb、CapgMyoDBc和csl-hdemg中获取手势动作肌电信号；
(1.2)对获取的手势动作肌电信号进行滤波降噪；
(1.3)为公开数据集NinaProDB3、NinaProDB4、NinaProDB6、NinaProDB7、CapgMyoDBa、CapgMyoDBb、CapgMyoDBc和csl-hdemg生成手部姿态数据。
(2)训练数据集和测试数据集的划分，包括以下子步骤：
(2.1)根据获取到的肌电信号手势标签，将每个肌电信号文件中的肌电信号和手部姿态数据文件中的手部姿态数据分别分割为若干个手势段，每个手势段包含一次动作重复，且手势段中的肌电信号和手部姿态数据每帧对应；
(2.2)按照被试间评估方法，将手势的多次动作重复分别划分到训练数据集和测试数据集中，完成训练和测试数据集的划分。
(3)构建肌电图像：单帧肌电信号的每个通道的数据重新排布，使得每两个通道均能够相邻，肌电图像的宽为1，高为重新排列后的通道数，颜色通道数为1。
(4)构建基于生成式对抗网络的跨模态关联关系模型，包括以下子步骤：
(4.1)设计基于生成式对抗网络的跨模态关联关系的模型结构，模型结构包含生成器和判别器；由生成器生成虚拟手部姿态数据，由判别器判断其与输入肌电信号是否匹配；
(4.2)将训练数据集中当前帧肌电图像与前一帧手部姿态数据作为生成器训练时的输入，当前帧手部姿态数据作为生成器训练时的监督信息，生成器的输出与肌电信号结合作为判别器训练时的输入，判别器的输出为肌电信号与手部姿态数据是否匹配，通过对抗学习，对模型参数进行逐步逐一优化，得到最优模型参数。
(5)基于跨模态关联关系模型的肌电信号多类手势识别，包括以下步骤：
(5.1)设计多模态融合的分类模型结构，模型结构主要由卷积神经网络构成，并通过早融合的方式将肌电信号与手部姿态数据这两个模态的数据进行融合；多模态网络对输入的肌电信号和虚拟手部姿态数据分别构建肌电图像和手部姿态图像，再进行特征提取，最终进行手势标签的识别；
(5.2)由步骤(4)训练得到的最优模型参数、输入肌电图像及休息手部姿态数据，得到与肌电信号对应的虚拟手部姿态数据；
(5.3)将步骤(5.2)中生成的虚拟手部姿态数据和肌电信号作为步骤(5.1)的输入数据对模型进行训练，得到最优模型参数，完成分类模型的训练；
(5.4)将测试数据集中的每帧肌电信号构建其肌电图像，然后由步骤(4)训练得到的最优模型参数、输入肌电图像和休息手部姿态数据，得到测试数据集中肌电图像对应的虚拟手部姿态数据；
(5.5)将每帧肌电图像和生成的虚拟手部姿态数据输入到步骤(5.3)中训练好的分类模型中，输出分类结果。
2.根据权利要求1所述一种结合跨模态关联关系模型的肌电信号手势识别方法，其特征在于，所述步骤(1.2)中，对NinaProDB1和NinaProDB5采用低通巴特沃斯滤波器，对NinaProDB2采用低通巴特沃斯滤波器并降采样到100HZ，对其他数据集不做滤波处理。
3.根据权利要求1所述一种结合跨模态关联关系模型的肌电信号手势识别方法，其特征在于，所述步骤(1.3)中，对不包含手部姿态数据的数据集进行手部姿态生成，即人为指定每类手势其静止态手部姿态的手指关节角，并通过将休息手部姿态球面插值到每类手势的静止态手部姿态来获得手部姿态的变化过程。
4.根据权利要求1所述一种结合跨模态关联关系模型的肌电信号手势识别方法，其特征在于，所述步骤(2.2)中，训练数据集和测试数据集采用被试内评估的方法；NinaProDB1每个被试的每类手势包含10次重复，每个被试的第1,3,4,6,8,9和10次重复作为训练数据，第2,5,7次作为测试数据；NinaProDB2、NinaProDB3、NinaProDB4、NinaProDB5和NinaProDB7每个被试的每类手势包含6次重复，每个被试的第1,3,4,6次重复作为训练数据，第2,5次作为测试数据；NinaProDB6包含120次重复，奇数次作为训练，偶数次作为测试；CapgMyoDBa、CapgMyoDBb、CapgMyoDBc和csl-hdemg数据集采用留一测试。
5.根据权利要求1所述一种结合跨模态关联关系模型的肌电信号手势识别方法，其特征在于，所述步骤(4.1)中，模型结构包含生成器和判别器，生成器网络由多流结构组成，肌电信号流由4层卷积层，后接4层全连接层组成，前一帧手部姿态数据流由2层全连接层组成，然后将肌电信号流和前一帧手部姿态数据流进行连接融合，后接1层长短时记忆单元(LSTM)和3层全连接层；判别器的输入为肌电信号与手部姿态数据连接融合，后接4层全连接层，最后一层全连接层得到最终判断结果。
6.根据权利要求1所述一种结合跨模态关联关系模型的肌电信号手势识别方法，其特征在于，所述步骤(5.1)中，多模态融合的网络结构为一个多流结构，输入分别为单帧肌电信号和单帧虚拟手部姿态数据，将虚拟手部姿态数据先输入到一个全连接层，然后将其输出与单帧肌电信号进行连接融合，后接2层卷积层、2层局部连接层和3层全连接层，最后识别部分由一个G-Way全连接层和softmax层构成。
7.根据权利要求1所述一种结合跨模态关联关系模型的肌电信号手势识别方法，其特征在于，所述步骤(5.1)中，多模态网络对输入的肌电信号构建肌电图像的方法与步骤(3)相同；多模态网络对输入的手部姿态数据构建手部姿态数据图像的方法具体为：单帧手部姿态数据转化为手部姿态图像，手部姿态图像的宽为1，高为数据通道数，颜色通道数为1。
8.根据权利要求7所述一种结合跨模态关联关系模型的肌电信号手势识别方法，其特征在于，构建手部姿态图像时，将包含18个通道的单帧手部姿态数据转化为维度为(1,18,1)的图像，其中第一和第二个维度为图像的长和宽、第三个维度为图像的颜色通道数。
9.根据权利要求1所述一种结合跨模态关联关系模型的肌电信号手势识别方法，其特征在于，所述步骤(5.3)中，分类模型的训练过程为：单帧肌电信号与其对应的虚拟手部姿态数据共同作为分类模型的输入，监督信息为类别标签，经过训练得到的模型参数进行存储。
CN201910725778.1A 2019-08-07 2019-08-07 一种结合跨模态关联关系模型的肌电信号手势识别方法 Pending CN110443309A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910725778.1A CN110443309A (zh) 2019-08-07 2019-08-07 一种结合跨模态关联关系模型的肌电信号手势识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910725778.1A CN110443309A (zh) 2019-08-07 2019-08-07 一种结合跨模态关联关系模型的肌电信号手势识别方法

Publications (1)

Publication Number Publication Date
CN110443309A true CN110443309A (zh) 2019-11-12

Family

ID=68433791

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910725778.1A Pending CN110443309A (zh) 2019-08-07 2019-08-07 一种结合跨模态关联关系模型的肌电信号手势识别方法

Country Status (1)

Country Link
CN (1) CN110443309A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111553307A (zh) * 2020-05-08 2020-08-18 中国科学院合肥物质科学研究院 一种融合生物电阻抗信息和肌电信息的手势识别系统
CN112603758A (zh) * 2020-12-21 2021-04-06 上海交通大学宁波人工智能研究院 一种基于sEMG与IMU信息融合的手势识别方法
CN113052203A (zh) * 2021-02-09 2021-06-29 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种面向多种类数据的异常检测方法及装置
CN114330433A (zh) * 2021-12-24 2022-04-12 南京理工大学 基于虚拟惯性测量信号生成模型的动作识别方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108388348A (zh) * 2018-03-19 2018-08-10 浙江大学 一种基于深度学习和注意力机制的肌电信号手势识别方法
CN108431736A (zh) * 2015-10-30 2018-08-21 奥斯坦多科技公司 用于身体上姿势接口以及投影显示的系统和方法
CN108520535A (zh) * 2018-03-26 2018-09-11 天津大学 基于深度恢复信息的物体分类方法
CN109213305A (zh) * 2017-06-29 2019-01-15 沈阳新松机器人自动化股份有限公司 一种基于表面肌电信号的手势识别方法
CN109299342A (zh) * 2018-11-30 2019-02-01 武汉大学 一种基于循环生成式对抗网络的跨模态检索方法
CN109924977A (zh) * 2019-03-21 2019-06-25 西安交通大学 一种基于cnn和lstm的表面肌电信号分类方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108431736A (zh) * 2015-10-30 2018-08-21 奥斯坦多科技公司 用于身体上姿势接口以及投影显示的系统和方法
CN109213305A (zh) * 2017-06-29 2019-01-15 沈阳新松机器人自动化股份有限公司 一种基于表面肌电信号的手势识别方法
CN108388348A (zh) * 2018-03-19 2018-08-10 浙江大学 一种基于深度学习和注意力机制的肌电信号手势识别方法
CN108520535A (zh) * 2018-03-26 2018-09-11 天津大学 基于深度恢复信息的物体分类方法
CN109299342A (zh) * 2018-11-30 2019-02-01 武汉大学 一种基于循环生成式对抗网络的跨模态检索方法
CN109924977A (zh) * 2019-03-21 2019-06-25 西安交通大学 一种基于cnn和lstm的表面肌电信号分类方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YU HU ET AL.: "a novel attention-based hybrid CNN-RNN architecture for sEMG-based gesture recognition", 《PLOS ONE》 *
YU HU ET AL: "sEMG-Based Gesture Recognition With Embedded Virtual Hand Poses and Adversarial Learning", 《IEEE ACCESS》 *
梁秀波等: "运动传感驱动的3D直观手势交互", 《计算机辅助设计与图形学学报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111553307A (zh) * 2020-05-08 2020-08-18 中国科学院合肥物质科学研究院 一种融合生物电阻抗信息和肌电信息的手势识别系统
CN111553307B (zh) * 2020-05-08 2023-03-24 中国科学院合肥物质科学研究院 一种融合生物电阻抗信息和肌电信息的手势识别系统
CN112603758A (zh) * 2020-12-21 2021-04-06 上海交通大学宁波人工智能研究院 一种基于sEMG与IMU信息融合的手势识别方法
CN113052203A (zh) * 2021-02-09 2021-06-29 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种面向多种类数据的异常检测方法及装置
CN114330433A (zh) * 2021-12-24 2022-04-12 南京理工大学 基于虚拟惯性测量信号生成模型的动作识别方法及系统

Similar Documents

Publication Publication Date Title
CN110443309A (zh) 一种结合跨模态关联关系模型的肌电信号手势识别方法
CN111461176B (zh) 基于归一化互信息的多模态融合方法、装置、介质及设备
CN107679522B (zh) 基于多流lstm的动作识别方法
CN103268495B (zh) 计算机系统中基于先验知识聚类的人体行为建模识别方法
CN103970271B (zh) 融合运动和生理传感数据的日常活动识别方法
CN108899050A (zh) 基于多模态情绪识别系统的语音信号分析子系统
CN108388348A (zh) 一种基于深度学习和注意力机制的肌电信号手势识别方法
CN101618280B (zh) 具有人机交互功能的仿人头像机器人装置及行为控制方法
Li et al. Automatic recognition of sign language subwords based on portable accelerometer and EMG sensors
CN104134060B (zh) 基于肌电信号和运动传感器的手语翻译和显示发声系统
CN102354349B (zh) 提高孤独症儿童社会互动能力的人机互动多模态早期干预系统
CN108805087A (zh) 基于多模态情绪识别系统的时序语义融合关联判断子系统
CN108805089A (zh) 基于多模态的情绪识别方法
CN106096662B (zh) 基于加速度传感器的人体运动状态识别
CN108983973B (zh) 一种基于手势识别的仿人灵巧肌电假手控制方法
CN110110169A (zh) 人机交互方法及人机交互装置
CN106203484B (zh) 一种基于类别分层机制的人体运动状态分类方法
CN109409296A (zh) 将人脸表情识别和语音情感识别融合的视频情感识别方法
CN107609572A (zh) 基于神经网络和迁移学习的多模态情感识别方法、系统
CN104484644B (zh) 一种手势识别方法和装置
CN104166548B (zh) 基于运动想象脑电数据的深度学习方法
CN105739688A (zh) 一种基于情感体系的人机交互方法、装置和交互系统
CN107092894A (zh) 一种基于lstm模型的运动行为识别方法
CN107678550A (zh) 一种基于数据手套的手语手势识别系统
CN104461000B (zh) 一种基于少量缺失信号的在线连续人体运动识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191112