CN112732092B - 基于双视图多尺度卷积神经网络的表面肌电信号识别方法 - Google Patents

基于双视图多尺度卷积神经网络的表面肌电信号识别方法 Download PDF

Info

Publication number
CN112732092B
CN112732092B CN202110088663.3A CN202110088663A CN112732092B CN 112732092 B CN112732092 B CN 112732092B CN 202110088663 A CN202110088663 A CN 202110088663A CN 112732092 B CN112732092 B CN 112732092B
Authority
CN
China
Prior art keywords
convolution
size
features
layer
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110088663.3A
Other languages
English (en)
Other versions
CN112732092A (zh
Inventor
张燕
杨帆
弓正菁
李璇
杨安杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei University of Technology
Original Assignee
Hebei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei University of Technology filed Critical Hebei University of Technology
Priority to CN202110088663.3A priority Critical patent/CN112732092B/zh
Publication of CN112732092A publication Critical patent/CN112732092A/zh
Application granted granted Critical
Publication of CN112732092B publication Critical patent/CN112732092B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于双视图多尺度卷积神经网络的表面肌电信号识别方法。将表面肌电信号转换为一维表面肌电图像；利用希尔伯特曲线进行时间域和电极域的填充，变为二维表面肌电子图像；构建并训练卷积神经网络，经过输入部分的卷积特征提取后，将输出送到卷积神经网络流中；在第一层经过下采样确定每个卷积神经网络流的尺度；经过常规卷积或跨步卷积后的融合卷积特征经过视图聚合模块中的特征级融合将两个卷积神经网络流位于同一层的输出卷积特征进行拼接并输入到层融合，再将特征级融合后的卷积特征进行拼接，最终输出识别结果。本发明使一维图像转换为二维图像，使神经网络能够提取低层和高层深度特征，提高手势识别精度。

Description

基于双视图多尺度卷积神经网络的表面肌电信号识别方法
技术领域
本发明属于模式识别技术领域，具体是一种基于双视图多尺度卷积神经网络的表面肌电信号识别方法。
背景技术
在最近的人机交互领域，人们对于利用手势识别的用户界面产生了极大的兴趣。人机交互界面主要可以分为基于视觉的人机交互界面和基于传感器的人机交互界面。由于基于视觉的人机交互界面存在交互能力差、不够便捷的问题，故基于传感器的人机交互界面成为研究热点。表面肌电图是一种包括运动指令的神经信号，可以在残肢肌肉表面无创提取且蕴含丰富的手势动作信息。基于表面肌电信号的人机交互界面相比其他人机交互界面，具有对遮挡鲁棒、对外界干扰鲁棒以及更好的可穿戴性三大优势，成为近年来人机交互界面领域研究的重点之一。
对于手势识别，关键是从表面肌电信号中准确地将手势分类。分类的方法主要分为两大类：机器学习方法和深度学习方法。基于表面肌电信号的机器学习方法在手势识别领域应用广泛，完整的模式识别系统应由数据采集、特征提取、分类器定义和新数据推理组成，之后将得到的特征输入到分类器中。基于表面肌电信号的深度学习方法是近几年手势识别方法的研究热点，一般的CNN模型架构应由卷积层、池化层、完全连接层和Softmax输出组成，其分类精度较高。
已有基于深度学习技术进行表面肌电信号手势识别的方法大多基于单视图卷积神经网络。而在利用其它输入数据进行手势识别的领域，利用多视图数据输入的多流卷积神经网络已经成为主流手段。单视图卷积神经网络已经成为深度学习技术在表面肌电信号手势识别领域应用的局限之一。已有基于卷积神经网络在进行表面肌电信号手势识别中都是沿着水平方向增加结构的深度，从而可以提取到更准确的深度特征，但是网络的学习深度特征并不全面。
发明内容
针对现有技术的不足，本发明拟解决的技术问题是，提供一种基于双视图多尺度卷积神经网络的表面肌电信号识别方法。
本发明解决所述技术问题的技术方案是，提供一种基于双视图多尺度卷积神经网络的表面肌电信号识别方法，其特征在于，该方法包括以下步骤：
步骤1、获取表面肌电信号，预处理后用M帧长度的滑动窗口采集N个通道表面肌电信号，构建为N张长度为M的一维表面肌电图像和M张长度为N的一维表面肌电图像；
步骤2、对步骤1得到的所有一维表面肌电图像进行时间域或电极域上的希尔伯特曲线填充，得到二维表面肌电子图像；将所有二维表面肌电子图像分为训练集和测试集；
步骤3、根据步骤2得到的二维表面肌电子图像构建双视图多尺度卷积神经网络，该卷积神经网络由两个输入部分、两个卷积神经网络流、一个视图聚合模块和一个分类模块组成；
步骤4、使用步骤2得到的训练集对步骤3构建的双视图多尺度卷积神经网络进行训练，得到双视图多尺度卷积神经网络模型；
步骤5、使用步骤4得到的双视图多尺度卷积神经网络模型，对测试集进行识别，得到手势识别的结果。
与现有技术相比，本发明有益效果在于：
(1)本方法首先将表面肌电信号经过低通滤波和归一化处理，并转换为一维表面肌电图像；之后利用希尔伯特曲线进行时间域和电极域的填充，变为二维表面肌电子图像，并输入到双视图多尺度卷积神经网络的输入部分；构建并训练双视图多尺度卷积神经网络，经过输入部分的卷积特征提取处理后，将输出送到卷积神经网络流中；在第一层经过下采样获得更粗略尺度的卷积特征，并确定每个卷积神经网络流的尺度s；经过常规卷积或跨步卷积后的融合卷积特征经过视图聚合模块中的特征级融合将两个卷积神经网络流位于同一层的输出卷积特征进行拼接并输入到视图聚合模块中的层融合，层融合中的拼接单元将特征级融合后的卷积特征进行拼接，再将层拼接后的卷积特征输入全连接层中，视图聚合模块的全连接层的输出作为G-way全连接层的输入，Softmax分类器输出手势识别结果。
(2)本发明通过在基于卷积神经网络的肌电手势识别中引入希尔伯特填充曲线技术，利用希尔伯特法在保留局部性的同时将一维表面肌电图像转换为二维图像，二维图像在卷积过程中可以得到更深的信息，在二维图像应用希尔伯特填充曲线法可以从时间域和电极域的两个角度进行一维表面肌电图像向二维表面肌电图像转换。
(3)本发明通过在基于卷积神经网络的肌电手势识别中引入多视图的方案，这样可以将时间域和电极域的二维表面肌电图像均利用起来，避免了单一域作为输入时造成的分类影响。
(4)本发明通过在基于卷积神经网络的肌电手势识别中引入多尺度卷积神经网络来使得输入的数据不仅可以沿着水平方向增加结构的深度d，学习到更深的深度特征；还可以沿着垂直方向来改变尺度s，将深度信息从更高分辨率传递到更低分辨率，这样会使网络更全面的学习深度特征。
(5)本发明通过在基于卷积神经网络的肌电手势识别中引入视图聚合网络技术，实现高层深度特征和低层深度特征均被利用，从而使卷积神经网络将每一层的深度特征均提取出来，最终通过融合这些深度特征，获得前臂肌肉区域活动的完整深度表示，用于解析肌肉活动对应的手势动作，提升分类准确率。
(6)本发明提出的双视图多尺度卷积神经网络相比传统单视图卷积神经网络和其他先进的方法，在NinaPro-DB1数据库可以取得更好的识别精度。本发明提出的方法对于基于表面肌电信号的假肢控制，人机交互等领域有着重要意义。
(7)本发明在应用深度学习方法进行表面肌电信号手势识别的领域应用希尔伯特曲线填充法、多视图、多流分治和视图聚合网络，从而使一维表面肌电图像能够转换为二维表面肌电图像，进而使神经网络能够更好地从表面肌电信号中提取低层和高层深度特征，利用不同视图所蕴含表面肌电图像信息的不同以及内嵌的视图聚合模块，可以从不同角度、不同层、不同深度更多的提取手部动作的深度特征，提高手势识别精度。
附图说明
图1为本发明一种实施例的卷积神经网络的结构示意图；
图2为本发明一种实施例的卷积神经网络结构中卷积神经网络流一的架构示意图；
图3为本发明一种实施例的卷积神经网络结构中卷积神经网络流二的架构示意图；
图4为本发明一种实施例的卷积神经网络结构中输入部分的结构示意图；
图5为本发明一种实施例的卷积神经网络结构中下采样的结构示意图；
图6为本发明一种实施例的卷积神经网络结构中常规卷积的结构示意图；
图7为本发明一种实施例的卷积神经网络结构中跨步卷积的结构示意图；
图8为本发明一种实施例的卷积神经网络结构中视图聚合模块的结构示意图；
图9为本发明一种实施例的卷积神经网络结构中分类模块的结构示意图；
图10为在NinaPro-DB1数据集上进行测试时，在不同迭代次数下，本发明的双视图多尺度卷积神经网络与传统单视图多尺度卷积神经网络的手势识别准确率结果图。
具体实施方式
下面给出本发明的具体实施例。具体实施例仅用于进一步详细说明本发明，不限制本申请权利要求的保护范围。
本发明提供了一种基于双视图多尺度卷积神经网络(简称卷积神经网络)的表面肌电信号识别方法(简称方法)，其特征在于，该方法包括以下步骤：
步骤1、获取表面肌电信号，预处理后用M帧长度的滑动窗口采集N个电极通道表面肌电信号，构建为N张长度为M的一维表面肌电图像和M张长度为N的一维表面肌电图像；
优选地，步骤1中，预处理是：使用低通滤波器过滤噪声信号以及使用Max-Min标准化对信号进行归一化处理。
步骤2、对步骤1得到的所有一维表面肌电图像进行时间域或电极域上的希尔伯特曲线填充，得到二维表面肌电子图像；将所有二维表面肌电子图像分为训练集和测试集；
优选地，步骤2具体是：对步骤1得到的N张长度为M的一维表面肌电图像进行时间域上的希尔伯特曲线填充，得到N张H×H的二维表面肌电子图像，H为M的平方根；对步骤1得到的M张长度为N的一维表面肌电图像电极域上的希尔伯特曲线填充，得到M张W×W的二维表面肌电子图像，W为N的平方根；将所有二维表面肌电子图像分为训练集和测试集。
如图1所示，图中fv(·)表示希尔伯特曲线填充法，v1表示填充时间域后的二维表面肌电子图像，v2表示填充电极域后的二维表面肌电子图像；
进一步地，步骤2中，当进行时间维度上的填充时，对于每个电极n和每个时间步长m，希尔伯特曲线会将时间步长m生成为图像坐标(i,j)(i＝j，且m＝i×j)，以使位置(i,j)处的图像值等于电极n在时间步长m处的信号值，最终得到N张H×H的二维表面肌电子图像；
当进行电极维度上的填充时，对于每个电极n和每个时间步长m，希尔伯特曲线会将电极n生成为图像坐标(i,j)(i＝j,且n＝i×j)，以使位置(i,j)处的图像值等于时间步长m在电极n处的信号值，最终得到M张W×W的二维表面肌电子图像；
当采用长度小于H2或W2的一维表面肌电图像时，可以填充只有零的行和列，将其填充为H2或W2，进而得到二维表面肌电子图像；
步骤3、根据步骤2得到的二维表面肌电子图像构建双视图多尺度卷积神经网络，该卷积神经网络由两个输入部分(输入部分一和输入部分二)、两个卷积神经网络流(卷积神经网络流一和卷积神经网络流二)、一个视图聚合模块和一个分类模块组成(如图1所示)；
优选地，步骤3中，每个输入部分均由一个具有64个3×3的二维卷积核、卷积核步长为1的卷积层构成；在卷积层之前进行批次归一化，卷积层之后进行批次归一化和ReLU非线性激活，如图4所示，图中BN(BatchNormalization)表示批次归一化。将填充时间域后的二维表面肌电子图像经过输入部分一后输入到双视图多尺度卷积神经网络的卷积神经网络流一中，将填充电极域后的二维表面肌电子图像经过输入部分二后输入到双视图多尺度卷积神经网络的卷积神经网络流二中。
优选地，步骤3中，每个卷积神经网络流均由第一层L＝1、第二层L＝2、第三层L＝3以及第四层L＝4四层构成；第一层L＝1由下采样构成，下采样由2×2的最大池化层构成，如图5所示；通过下采样获得更粗略尺度的卷积特征，并确定每个卷积神经网络流的尺度s(卷积神经网络流一的框架具有三个尺度，卷积神经网络流二的框架具有两个尺度)，具体是：在L＝1、s＝2时，输入尺寸为8×8的卷积特征，生成的输出卷积特征是经过下采样后的尺寸为4×4的卷积特征；在L＝1、s＝3时，输入尺寸为4×4的卷积特征，生成的输出卷积特征是经过下采样后的尺寸为2×2的卷积特征。
第二层至第四层L＝2～4均由常规卷积和跨步卷积构成；
所述常规卷积由两个二维卷积核的卷积层构成，如图6所示，第一个是64个3×3的二维卷积核、卷积核步长为1、零填充为same的卷积层，第二个是64个2×2的二维卷积核、卷积核步长为1、零填充为same的卷积层；两个卷积层依次进行卷积特征提取，批次归一化和ReLU非线性激活应用于每个卷积层之后，即先进行第一个卷积层的卷积特征提取，在第一个卷积层之后进行批次归一化和ReLU非线性激活，再进行第二个卷积层的卷积特征提取，在第二个卷积层之后进行批次归一化和ReLU非线性激活；
所述跨步卷积由两个二维卷积核的卷积层构成，如图7所示，第一个是64个3×3的二维卷积核、卷积核步长为1、无零填充的卷积层，第二个是64个2×2的二维卷积核、卷积核步长为1、零填充为same的卷积层；两个卷积层依次进行卷积特征提取，批次归一化和ReLU非线性激活应用于每个卷积层之后，即先进行第一个卷积层的卷积特征提取，在第一个卷积层之后进行批次归一化和ReLU非线性激活，再进行第二个卷积层的卷积特征提取，在第二个卷积层之后进行批次归一化和ReLU非线性激活；
如图2所示，卷积神经网络流一的第二层的具体结构是：在层L＝2、尺度s＝1时，生成的输出卷积特征是L＝1、s＝1、输入尺寸为8×8的卷积特征经过常规卷积后得到的尺寸为8×8的卷积特征；在L＝2、s＝2时，生成的输出卷积特征是L＝1、s＝1、输入尺寸为8×8的卷积特征经过跨步卷积后得到的尺寸为4×4的卷积特征以及L＝1、s＝2、输入尺寸为4×4的卷积特征经过常规卷积后得到的尺寸为4×4的卷积特征的融合，最终融合成尺寸为4×4的卷积特征；在L＝2、s＝3时，生成的输出卷积特征是L＝1、s＝2、输入尺寸为4×4的卷积特征经过跨步卷积后得到的尺寸为2×2的卷积特征以及L＝1、s＝3、输入尺寸为2×2的卷积特征经过常规卷积后得到的尺寸为2×2的卷积特征的融合，最终融合成尺寸为2×2的卷积特征；
如图2所示，卷积神经网络流一的第三层的具体结构是：在L＝3、s＝2时，生成的输出卷积特征是L＝1、s＝1、输入尺寸为8×8的卷积特征以及L＝2、s＝1、输入尺寸为8×8的卷积特征融合成尺寸为8×8的卷积特征；将L＝1、s＝2、输入尺寸为4×4的卷积特征和L＝2、s＝2、输入尺寸为4×4的卷积特征融合成尺寸为4×4的卷积特征；再将融合得到的尺寸为4×4的卷积特征经过常规卷积后得到的尺寸为4×4的卷积特征与融合得到的尺寸为8×8的卷积特征经过跨步卷积后得到的尺寸为4×4的卷积特征进行融合，最终融合成尺寸为4×4的卷积特征；在L＝3、s＝3时，生成的输出卷积特征是L＝1、s＝2、输入尺寸为4×4的卷积特征和L＝2、s＝2、输入尺寸为4×4的卷积特征融合成尺寸为4×4的卷积特征；将L＝1、s＝3、输入尺寸为2×2的卷积特征和L＝2、s＝3、输入尺寸为2×2的卷积特征融合成尺寸为2×2的卷积特征；再将融合得到的尺寸为2×2的卷积特征经过常规卷积后得到的尺寸为2×2的卷积特征与融合得到的尺寸为4×4的卷积特征经过跨步卷积后得到的尺寸为2×2的卷积特征进行融合，最终融合成尺寸为2×2的卷积特征；
如图2所示，卷积神经网络流一的第四层的具体结构是：在L＝4、s＝3时，生成的输出卷积特征是L＝2、s＝2、输入尺寸为4×4的卷积特征和L＝3、s＝2、输入尺寸为4×4的卷积特征融合成尺寸为4×4的卷积特征；将L＝2、s＝3、输入尺寸为2×2的卷积特征和L＝3、s＝3、输入尺寸为2×2的卷积特征融合成尺寸为2×2的卷积特征；再将融合得到的尺寸为2×2的卷积特征经过常规卷积后得到的尺寸为2×2的卷积特征与融合得到的尺寸为4×4的卷积特征经过跨步卷积后得到的尺寸为2×2的卷积特征进行融合，最终融合成尺寸为2×2的卷积特征。
如图3所示，卷积神经网络流二的第二层的具体结构是：在L＝2、s＝1时，输入尺寸为4×4的卷积特征，生成的输出卷积特征是经过常规卷积后得到的尺寸为4×4的卷积特征；在L＝2、s＝2时，生成的输出卷积特征是L＝1、s＝1、输入尺寸为4×4的卷积特征经过跨步卷积后得到的尺寸为2×2的卷积特征与L＝1、s＝2、输入尺寸为2×2的卷积特征经过常规卷积后得到的尺寸为2×2的卷积特征的融合，最终融合成尺寸为2×2的卷积特征；
如图3所示，卷积神经网络流二的第三层的具体结构是：在L＝3、s＝1时，生成的输出卷积特征是L＝1、s＝1、输入尺寸为4×4的卷积特征和L＝2、s＝1、输入尺寸为4×4的卷积特征融合成尺寸为4×4的卷积特征；再将融合得到的尺寸为4×4的卷积特征经过常规卷积后得到的尺寸为4×4的卷积特征；在L＝3、s＝2时，生成的输出卷积特征是L＝1、s＝1、输入尺寸为4×4的卷积特征和L＝2、s＝1、输入尺寸为4×4的卷积特征融合成尺寸为4×4的卷积特征；将L＝1、s＝2、输入尺寸为2×2的卷积特征和L＝2、s＝2、输入尺寸为2×2的卷积特征融合成尺寸为2×2的卷积特征，再将融合得到的尺寸为2×2的卷积特征经过常规卷积后得到的尺寸为2×2的卷积特征与融合得到的尺寸为4×4的卷积特征经过跨步卷积后得到的尺寸为2×2的卷积特征进行融合，最终融合成尺寸为2×2的卷积特征；
如图3所示，卷积神经网络流二的第四层的具体结构是：在L＝4、s＝2时，生成的输出卷积特征是L＝2、s＝1、输入尺寸为4×4的卷积特征和L＝3、s＝1、输入尺寸为4×4的卷积特征融合成尺寸为4×4的卷积特征；将L＝2、s＝2、输入尺寸为2×2的卷积特征与L＝3、s＝2、输入尺寸为2×2的卷积特征融合成尺寸为2×2的卷积特征；再将融合得到的尺寸为2×2的卷积特征经过常规卷积后得到的尺寸为2×2的卷积特征与融合得到的尺寸为4×4的卷积特征经过跨步卷积后得到的尺寸为2×2的卷积特征进行融合，最终融合成尺寸为2×2的卷积特征。
优选地，步骤3中，所述视图聚合模块包括特征级融合部分和层融合部分，如图8所示；特征级融合部分是将两个卷积神经网络流位于同一层(L＝2～4)的输出卷积特征进行拼接，得到特征级融合后的卷积特征；层融合部分包括一个层拼接单元和两个全连接层；第一个全连接层由256个隐藏单元构成，第二个全连接层由128个隐藏单元构成；层拼接单元是将特征级融合后的卷积特征进行拼接，得到层拼接后的卷积特征；层拼接后的卷积特征依次进入两个全连接层，每个全连接层后均进行批次归一化和ReLU非线性激活以及概率为25％的Dropout操作，即层拼接后的卷积特征进入第一个全连接层，再进行批次归一化和ReLU非线性激活，再进行概率为25％的Dropout操作，再进入第二个全连接层，再进行批次归一化和ReLU非线性激活，再进行概率为25％的Dropout操作。
优选地，步骤3中，所述分类模块由G-way全连接层和Softmax分类器构成，如图9所示，其中G为待分类手势数目；视图聚合模块的第二个全连接层的输出作为G-way全连接层的输入，Softmax分类器的输出为手势识别结果。
步骤4、使用步骤2得到的训练集对步骤3构建的双视图多尺度卷积神经网络进行训练，得到双视图多尺度卷积神经网络模型即最优双视图多尺度卷积神经网络；
进一步地，步骤4中，使用随机梯度下降法进行训练，并使用学习率衰减加速训练过程的收敛，同时使用所有可用的训练集进行训练，训练的模型参数作为训练时的初始化模型参数，从而避免训练样本过少的问题；训练结束后，保存训练得到的最优网络模型。
步骤5、使用步骤4得到的双视图多尺度卷积神经网络模型，对测试集进行识别，得到手势识别的结果。
实施例
本实施例使用包括27名被试者53个手势动作的10个电极通道的NinaPro-DB1稀疏多通道肌电数据集作为表面肌电信号。
步骤1、使用1Hz的Butterworth低通滤波器过滤噪声信号以及使用Max-Min标准化对信号进行归一化处理；之后使用640ms(NinaPro-DB1数据集的采样频率为100Hz，M＝64)滑动采样窗口对N＝10个电极通道的肌电数据进行采样，得到10张长度为64的一维表面肌电图像和64张长度为10的一维表面肌电图像；
步骤2、对10张长度为64的一维表面肌电图像应用时间域上的希尔伯特曲线填充，得到10张8×8的二维表面肌电子图像；对64张长度为10的一维表面肌电图像应用电极域上的希尔伯特曲线填充，得到64张4×4的二维表面肌电子图像。
本实施例中，步骤2中，H＝8，W＝4；NinaPro-DB1数据集中每名被试者、每个手势动作的10次重复中，选取第2次，第5次和第7次重复作为测试集，剩余的重复作为训练集，即将所有二维表面肌电子图像中的70％作为训练集，30％作为测试集。
步骤3、设计图1所示的双视图多尺度卷积神经网络结构。
步骤4、使用步骤2得到的训练集对步骤3构建的双视图多尺度卷积神经网络进行训练，得到最优网络模型。
步骤5、使用最优网络模型对测试集进行测试，并统计识别准确率。
识别准确率计算公式为：识别准确率＝正确总识别样本的样本数/总样本数×100％。
经测试，采用本方法，使用640ms滑动采样窗口进行采样时，可以取得87.62％的手势识别准确率。使用160ms滑动采样窗口进行采样时，可以取得85.24％的手势识别准确率。本方法识别精度远超传统算法。
由图10中可以看出，NinaPro-DB1数据集上，本发明提出的双视图多尺度卷积神经网络随着迭代次数的增加，其准确率在快速提升，当达到20次左右时准确率增长趋势趋于平缓，最终在迭代90次左右保持稳定。此外，本发明提出的双视图多尺度卷积神经网络在不同迭代次数下均可以取得超越单视图多尺度卷积神经网络的手势识别精度。
本发明未述及之处适用于现有技术。

Claims (10)

1.一种基于双视图多尺度卷积神经网络的表面肌电信号识别方法，其特征在于，该方法包括以下步骤：
步骤1、获取表面肌电信号，预处理后用M帧长度的滑动窗口采集N个通道表面肌电信号，构建为N张长度为M的一维表面肌电图像和M张长度为N的一维表面肌电图像；
步骤2、对步骤1得到的所有一维表面肌电图像进行时间域或电极域上的希尔伯特曲线填充，得到二维表面肌电子图像；将所有二维表面肌电子图像分为训练集和测试集；
当进行电极维度上的填充时，对于每个电极n和每个时间步长m，希尔伯特曲线将电极n生成为图像坐标(i,j)(i＝j,且n＝i×j)，以使位置(i,j)处的图像值等于时间步长m在电极n处的信号值，最终得到M张W×W的二维表面肌电子图像；
步骤3、根据步骤2得到的二维表面肌电子图像构建双视图多尺度卷积神经网络，该卷积神经网络由两个输入部分、两个卷积神经网络流、一个视图聚合模块和一个分类模块组成；
步骤4、使用步骤2得到的训练集对步骤3构建的双视图多尺度卷积神经网络进行训练，得到双视图多尺度卷积神经网络模型；
步骤5、使用步骤4得到的双视图多尺度卷积神经网络模型，对测试集进行识别，得到手势识别的结果。
2.根据权利要求1所述的基于双视图多尺度卷积神经网络的表面肌电信号识别方法，其特征在于，步骤1中，预处理是：使用低通滤波器过滤噪声信号以及使用Max-Min标准化对信号进行归一化处理。
3.根据权利要求1所述的基于双视图多尺度卷积神经网络的表面肌电信号识别方法，其特征在于，步骤2具体是：对步骤1得到的N张长度为M的一维表面肌电图像进行时间域上的希尔伯特曲线填充，得到N张H×H的二维表面肌电子图像，H为M的平方根；对步骤1得到的M张长度为N的一维表面肌电图像电极域上的希尔伯特曲线填充，得到M张W×W的二维表面肌电子图像，W为N的平方根；将所有二维表面肌电子图像分为训练集和测试集。
4.根据权利要求3所述的基于双视图多尺度卷积神经网络的表面肌电信号识别方法，其特征在于，步骤2中，当进行时间维度上的填充时，对于每个电极n和每个时间步长m，希尔伯特曲线将时间步长m生成为图像坐标(i,j)(i＝j，且m＝i×j)，以使位置(i,j)处的图像值等于电极n在时间步长m处的信号值，最终得到N张H×H的二维表面肌电子图像；
当采用长度小于H2或W2的一维表面肌电图像时，可以填充只有零的行和列，将其填充为H2或W2，进而得到二维表面肌电子图像。
5.根据权利要求1所述的基于双视图多尺度卷积神经网络的表面肌电信号识别方法，其特征在于，步骤3中，每个输入部分均由一个具有64个3×3的二维卷积核、卷积核步长为1的卷积层构成；在卷积层之前进行批次归一化，卷积层之后进行批次归一化和ReLU非线性激活。
6.根据权利要求1所述的基于双视图多尺度卷积神经网络的表面肌电信号识别方法，其特征在于，步骤3中，每个卷积神经网络流均由第一层L＝1、第二层L＝2、第三层L＝3以及第四层L＝4四层构成；
第一层L＝1由下采样构成，下采样由2×2的最大池化层构成；在L＝1、s＝2时，输入尺寸为8×8的卷积特征，生成的输出卷积特征是经过下采样后的尺寸为4×4的卷积特征；在L＝1、尺度s＝3时，输入尺寸为4×4的卷积特征，生成的输出卷积特征是经过下采样后的尺寸为2×2的卷积特征；
第二层至第四层L＝2～4均由常规卷积和跨步卷积构成；
所述常规卷积由两个二维卷积核的卷积层构成，第一个是64个3×3的二维卷积核、卷积核步长为1、零填充为same的卷积层，第二个是64个2×2的二维卷积核、卷积核步长为1、零填充为same的卷积层；两个卷积层依次进行卷积特征提取，批次归一化和ReLU非线性激活应用于每个卷积层之后；
所述跨步卷积由两个二维卷积核的卷积层构成，第一个是64个3×3的二维卷积核、卷积核步长为1、无零填充的卷积层，第二个是64个2×2的二维卷积核、卷积核步长为1、零填充为same的卷积层；两个卷积层依次进行卷积特征提取，批次归一化和ReLU非线性激活应用于每个卷积层之后。
7.根据权利要求1或6所述的基于双视图多尺度卷积神经网络的表面肌电信号识别方法，其特征在于，卷积神经网络流一的第二层的具体结构是：在层L＝2、尺度s＝1时，生成的输出卷积特征是L＝1、s＝1、输入尺寸为8×8的卷积特征经过常规卷积后得到的尺寸为8×8的卷积特征；在L＝2、s＝2时，生成的输出卷积特征是L＝1、s＝1、输入尺寸为8×8的卷积特征经过跨步卷积后得到的尺寸为4×4的卷积特征以及L＝1、s＝2、输入尺寸为4×4的卷积特征经过常规卷积后得到的尺寸为4×4的卷积特征的融合，最终融合成尺寸为4×4的卷积特征；在L＝2、s＝3时，生成的输出卷积特征是L＝1、s＝2、输入尺寸为4×4的卷积特征经过跨步卷积后得到的尺寸为2×2的卷积特征以及L＝1、s＝3、输入尺寸为2×2的卷积特征经过常规卷积后得到的尺寸为2×2的卷积特征的融合，最终融合成尺寸为2×2的卷积特征；
卷积神经网络流一的第三层的具体结构是：在L＝3、s＝2时，生成的输出卷积特征是L＝1、s＝1、输入尺寸为8×8的卷积特征以及L＝2、s＝1、输入尺寸为8×8的卷积特征融合成尺寸为8×8的卷积特征；将L＝1、s＝2、输入尺寸为4×4的卷积特征和L＝2、s＝2、输入尺寸为4×4的卷积特征融合成尺寸为4×4的卷积特征；再将融合得到的尺寸为4×4的卷积特征经过常规卷积后得到的尺寸为4×4的卷积特征与融合得到的尺寸为8×8的卷积特征经过跨步卷积后得到的尺寸为4×4的卷积特征进行融合，最终融合成尺寸为4×4的卷积特征；在L＝3、s＝3时，生成的输出卷积特征是L＝1、s＝2、输入尺寸为4×4的卷积特征和L＝2、s＝2、输入尺寸为4×4的卷积特征融合成尺寸为4×4的卷积特征；将L＝1、s＝3、输入尺寸为2×2的卷积特征和L＝2、s＝3、输入尺寸为2×2的卷积特征融合成尺寸为2×2的卷积特征；再将融合得到的尺寸为2×2的卷积特征经过常规卷积后得到的尺寸为2×2的卷积特征与融合得到的尺寸为4×4的卷积特征经过跨步卷积后得到的尺寸为2×2的卷积特征进行融合，最终融合成尺寸为2×2的卷积特征；
卷积神经网络流一的第四层的具体结构是：在L＝4、s＝3时，生成的输出卷积特征是L＝2、s＝2、输入尺寸为4×4的卷积特征和L＝3、s＝2、输入尺寸为4×4的卷积特征融合成尺寸为4×4的卷积特征；将L＝2、s＝3、输入尺寸为2×2的卷积特征和L＝3、s＝3、输入尺寸为2×2的卷积特征融合成尺寸为2×2的卷积特征；再将融合得到的尺寸为2×2的卷积特征经过常规卷积后得到的尺寸为2×2的卷积特征与融合得到的尺寸为4×4的卷积特征经过跨步卷积后得到的尺寸为2×2的卷积特征进行融合，最终融合成尺寸为2×2的卷积特征。
8.根据权利要求1或6所述的基于双视图多尺度卷积神经网络的表面肌电信号识别方法，其特征在于，卷积神经网络流二的第二层的具体结构是：在L＝2、s＝1时，输入尺寸为4×4的卷积特征，生成的输出卷积特征是经过常规卷积后得到的尺寸为4×4的卷积特征；在L＝2、s＝2时，生成的输出卷积特征是L＝1、s＝1、输入尺寸为4×4的卷积特征经过跨步卷积后得到的尺寸为2×2的卷积特征与L＝1、s＝2、输入尺寸为2×2的卷积特征经过常规卷积后得到的尺寸为2×2的卷积特征的融合，最终融合成尺寸为2×2的卷积特征；
卷积神经网络流二的第三层的具体结构是：在L＝3、s＝1时，生成的输出卷积特征是L＝1、s＝1、输入尺寸为4×4的卷积特征和L＝2、s＝1、输入尺寸为4×4的卷积特征融合成尺寸为4×4的卷积特征；再将融合得到的尺寸为4×4的卷积特征经过常规卷积后得到的尺寸为4×4的卷积特征；在L＝3、s＝2时，生成的输出卷积特征是L＝1、s＝1、输入尺寸为4×4的卷积特征和L＝2、s＝1、输入尺寸为4×4的卷积特征融合成尺寸为4×4的卷积特征；将L＝1、s＝2、输入尺寸为2×2的卷积特征和L＝2、s＝2、输入尺寸为2×2的卷积特征融合成尺寸为2×2的卷积特征，再将融合得到的尺寸为2×2的卷积特征经过常规卷积后得到的尺寸为2×2的卷积特征于融合得到的尺寸为4×4的卷积特征经过跨步卷积后得到的尺寸为2×2的卷积特征进行融合，最终融合成尺寸为2×2的卷积特征；
卷积神经网络流二的第四层的具体结构是：在L＝4、s＝2时，生成的输出卷积特征是L＝2、s＝1、输入尺寸为4×4的卷积特征和L＝3、s＝1、输入尺寸为4×4的卷积特征融合成尺寸为4×4的卷积特征；将L＝2、s＝2、输入尺寸为2×2的卷积特征与L＝3、s＝2、输入尺寸为2×2的卷积特征融合成尺寸为2×2的卷积特征；再将融合得到的尺寸为2×2的卷积特征经过常规卷积后得到的尺寸为2×2的卷积特征与融合得到的尺寸为4×4的卷积特征经过跨步卷积后得到的尺寸为2×2的卷积特征进行融合，最终融合成尺寸为2×2的卷积特征。
9.根据权利要求1所述的基于双视图多尺度卷积神经网络的表面肌电信号识别方法，其特征在于，步骤3中，所述视图聚合模块包括特征级融合部分和层融合部分；特征级融合部分是将两个卷积神经网络流位于同一层的输出卷积特征进行拼接，得到特征级融合后的卷积特征；层融合部分包括一个层拼接单元和两个全连接层；第一个全连接层由256个隐藏单元构成，第二个全连接层由128个隐藏单元构成；层拼接单元是将特征级融合后的卷积特征进行拼接，得到层拼接后的卷积特征；层拼接后的卷积特征依次进入两个全连接层，每个全连接层后均进行批次归一化和ReLU非线性激活以及概率为25％的Dropout操作。
10.根据权利要求1所述的基于双视图多尺度卷积神经网络的表面肌电信号识别方法，其特征在于，步骤3中，所述分类模块由G-way全连接层和Softmax分类器构成，其中G为待分类手势数目；视图聚合模块的第二个全连接层的输出作为G-way全连接层的输入，Softmax分类器的输出为识别结果。
CN202110088663.3A 2021-01-22 2021-01-22 基于双视图多尺度卷积神经网络的表面肌电信号识别方法 Active CN112732092B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110088663.3A CN112732092B (zh) 2021-01-22 2021-01-22 基于双视图多尺度卷积神经网络的表面肌电信号识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110088663.3A CN112732092B (zh) 2021-01-22 2021-01-22 基于双视图多尺度卷积神经网络的表面肌电信号识别方法

Publications (2)

Publication Number Publication Date
CN112732092A CN112732092A (zh) 2021-04-30
CN112732092B true CN112732092B (zh) 2023-04-07

Family

ID=75593766

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110088663.3A Active CN112732092B (zh) 2021-01-22 2021-01-22 基于双视图多尺度卷积神经网络的表面肌电信号识别方法

Country Status (1)

Country Link
CN (1) CN112732092B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113205074B (zh) * 2021-05-29 2022-04-26 浙江大学 一种融合肌电和微惯性测量单元多模态信号的手势识别方法
CN113505822B (zh) * 2021-06-30 2022-02-15 中国矿业大学 基于表面肌电信号的多尺度信息融合上肢动作分类方法
CN115908954B (zh) * 2023-03-01 2023-07-28 四川省公路规划勘察设计研究院有限公司 基于人工智能的地质灾害隐患识别系统、方法及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015090126A1 (zh) * 2013-12-16 2015-06-25 北京天诚盛业科技有限公司 人脸特征的提取、认证方法及装置
CN110269625A (zh) * 2019-05-31 2019-09-24 杭州电子科技大学 一种新型的多特征融合的心电认证方法及系统
CN111754463A (zh) * 2020-06-02 2020-10-09 石家庄铁道大学 一种基于卷积神经网络的无砟轨道ca砂浆层缺陷检测方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106157307B (zh) * 2016-06-27 2018-09-11 浙江工商大学 一种基于多尺度cnn和连续crf的单目图像深度估计方法
CN108491077B (zh) * 2018-03-19 2020-06-16 浙江大学 一种基于多流分治卷积神经网络的表面肌电信号手势识别方法
CN112119406A (zh) * 2018-05-29 2020-12-22 渊慧科技有限公司 利用快速更新循环神经网络和慢速更新循环神经网络的深度强化学习
CN109711383B (zh) * 2019-01-07 2023-03-31 重庆邮电大学 基于时频域的卷积神经网络运动想象脑电信号识别方法
CN110595775B (zh) * 2019-09-19 2021-03-30 电子科技大学 基于多分支多尺度卷积神经网络的滚动轴承故障诊断方法
CN111598130A (zh) * 2020-04-08 2020-08-28 天津大学 基于多视图卷积神经网络的中药识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015090126A1 (zh) * 2013-12-16 2015-06-25 北京天诚盛业科技有限公司 人脸特征的提取、认证方法及装置
CN110269625A (zh) * 2019-05-31 2019-09-24 杭州电子科技大学 一种新型的多特征融合的心电认证方法及系统
CN111754463A (zh) * 2020-06-02 2020-10-09 石家庄铁道大学 一种基于卷积神经网络的无砟轨道ca砂浆层缺陷检测方法

Also Published As

Publication number Publication date
CN112732092A (zh) 2021-04-30

Similar Documents

Publication Publication Date Title
CN108491077B (zh) 一种基于多流分治卷积神经网络的表面肌电信号手势识别方法
CN112732092B (zh) 基于双视图多尺度卷积神经网络的表面肌电信号识别方法
CN109948647B (zh) 一种基于深度残差网络的心电图分类方法及系统
CN111523601B (zh) 一种基于知识引导和生成对抗学习的潜在情绪识别方法
CN110399846A (zh) 一种基于多通道肌电信号相关性的手势识别方法
CN106980367A (zh) 一种基于肌电地形图的手势识别方法
CN110555468A (zh) 一种联合递归图和cnn的脑电信号识别方法及系统
CN110333783B (zh) 一种用于鲁棒肌电控制的无关手势处理方法及系统
CN113505822B (zh) 基于表面肌电信号的多尺度信息融合上肢动作分类方法
CN113205074B (zh) 一种融合肌电和微惯性测量单元多模态信号的手势识别方法
CN104484644B (zh) 一种手势识别方法和装置
CN113288183A (zh) 一种基于面颈部表面肌电的无声语音识别方法
CN111860410A (zh) 基于多特征融合cnn的肌电手势识别方法
CN111723662B (zh) 一种基于卷积神经网络的人体姿态识别方法
CN111738178A (zh) 一种基于深度学习的戴口罩人脸表情识别方法
CN115273236A (zh) 一种多模态的人体步态情感识别方法
CN113974627B (zh) 一种基于脑机生成对抗的情绪识别方法
CN114159079A (zh) 基于特征提取和gru深度学习模型的多类型肌肉疲劳检测方法
CN116612339B (zh) 一种核性白内障图像分级模型的构建装置及分级装置
CN109766559A (zh) 一种手语识别翻译系统及其识别方法
CN111783719A (zh) 一种肌电控制方法及装置
CN113974625B (zh) 一种基于脑机跨模态迁移的情绪识别方法
CN115909438A (zh) 基于深度时空域卷积神经网络的疼痛表情识别系统
Chen et al. Recognition of american sign language gestures based on electromyogram (emg) signal with xgboost machine learning
Du et al. InceptionSSVEP: a multi-scale convolutional neural network for steady-state visual evoked potential classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant