CN116400812B - 基于表面肌电信号的应急救援手势识别方法及装置 - Google Patents
基于表面肌电信号的应急救援手势识别方法及装置 Download PDFInfo
- Publication number
- CN116400812B CN116400812B CN202310653763.5A CN202310653763A CN116400812B CN 116400812 B CN116400812 B CN 116400812B CN 202310653763 A CN202310653763 A CN 202310653763A CN 116400812 B CN116400812 B CN 116400812B
- Authority
- CN
- China
- Prior art keywords
- gesture
- surface electromyographic
- feature extraction
- convolution
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 230000009471 action Effects 0.000 claims abstract description 144
- 238000010586 diagram Methods 0.000 claims abstract description 76
- 230000033001 locomotion Effects 0.000 claims abstract description 38
- 230000008569 process Effects 0.000 claims abstract description 21
- 238000007781 pre-processing Methods 0.000 claims abstract description 12
- 238000000605 extraction Methods 0.000 claims description 143
- 238000011176 pooling Methods 0.000 claims description 40
- 210000000245 forearm Anatomy 0.000 claims description 22
- 230000008859 change Effects 0.000 claims description 20
- 210000002569 neuron Anatomy 0.000 claims description 13
- 230000007306 turnover Effects 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 7
- 230000002040 relaxant effect Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 3
- 230000000875 corresponding effect Effects 0.000 description 41
- 239000011159 matrix material Substances 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 210000003205 muscle Anatomy 0.000 description 6
- 230000003183 myoelectrical effect Effects 0.000 description 6
- 210000003491 skin Anatomy 0.000 description 6
- 238000001914 filtration Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003153 chemical reaction reagent Substances 0.000 description 1
- 239000003245 coal Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000009429 distress Effects 0.000 description 1
- 239000002003 electrode paste Substances 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000001087 myotubule Anatomy 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 210000000434 stratum corneum Anatomy 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 210000004243 sweat Anatomy 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Dermatology (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于表面肌电信号的应急救援手势识别方法及装置，涉及动作识别技术领域，该方法包括：通过对用户执行应急救援手势动作过程中产生的多通路表面肌电信号进行预处理，得到多个通路的表面肌电信号时频图；将所述多个通路的表面肌电信号时频图输入双阶段手势识别模型，得到所述双阶段手势识别模型输出的手势类别识别结果和手势动作识别结果；其中，所述双阶段手势识别模型用于对输入的多通路表面肌电信号时频图识别出手势类别后，再根据手势类别的识别结果进行手势动作的识别。从而可以显著提高手势识别的精准度。
Description
技术领域
本发明涉及动作识别技术领域，尤其涉及一种基于表面肌电信号的应急救援手势识别方法及装置。
背景技术
随着越来越多的自动化设备被应用于煤矿开采等复杂恶劣的工作环境中，如何实现自动化设备的应急事故处理成为相关研究领域关注的重难点问题。考虑到矿井等高危作业环境中的设备检修很大程度上依赖于工作人员丰富的专业经验，而矿井事故发生时无法保证检修人员的安全，因此可以借助机械臂等灵巧设备实现工作人员专业经验在上述高危复杂场所中的充分应用，从而最大程度地降低事故损失度，保障人员安全。
在模式识别技术与远程通讯技术的发展下，根据操作者的手部动作对机械臂主从操控完成复杂工作环境中的危险应急任务，从而在充分应用操作者专业经验的前提下降低人员遇险风险，已逐渐成为国内外普遍认可的应急救援发展趋势。目前，研究者们大多通过采集手部动作数据并进行特征提取，与相应的手势动作模式建立映射关系，从而生成控制信号并借助远程通信技术实现机械臂的远程主从控制。
由于表面肌电信号与相应的手部动作联系紧密且不易受环境背景干扰，因此基于表面肌电信号的手势识别方法在自动化救援系统的构建中具有显著优势。目前，如何基于表面肌电信号对手部动作进行精准识别，是业界亟需解决的技术问题。
发明内容
针对现有技术存在的问题，本发明提供一种基于表面肌电信号的应急救援手势识别方法及装置。
第一方面，本发明提供一种基于表面肌电信号的应急救援手势识别方法，包括：
通过对用户执行应急救援手势动作过程中产生的多通路表面肌电信号进行预处理，得到多个通路的表面肌电信号时频图；所述表面肌电信号时频图用于表征表面肌电信号在时域、频域和幅值上的变化特征；
将所述多个通路的表面肌电信号时频图输入双阶段手势识别模型，得到所述双阶段手势识别模型输出的手势类别识别结果和手势动作识别结果；
其中，所述双阶段手势识别模型用于对输入的多通路表面肌电信号时频图识别出手势类别后，再根据手势类别的识别结果进行手势动作的识别；所述双阶段手势识别模型是基于带有手势类型和手势动作标签的样本多通路表面肌电信号时频图训练得到的。
可选地，所述双阶段手势识别模型包括第一特征提取模块、手势类别决策模块、分别对应不同手势类别的多个第二特征提取模块、以及每个所述第二特征提取模块之后连接的一个手势动作决策模块；
其中，所述第一特征提取模块用于分别对每个通路的表面肌电信号时频图进行特征提取得到第一特征后，再对各个通路的所述第一特征进行拼接，得到第二特征；
所述手势类别决策模块用于识别输入的所述第二特征所对应的手势类别，并闭合相应手势类别的第二特征提取模块的开关；
所述第二特征提取模块用于在所述开关闭合的情况下对输入的所述第二特征进行特征提取，得到第三特征；
所述手势动作决策模块用于对输入的所述第三特征进行手势动作的识别，得到手势动作识别结果。
可选地，所述第二特征提取模块包括并行的多个卷积特征提取支流，以及用于对所述多个卷积特征提取支流提取的特征进行拼接的一个拼接层；
所述多个卷积特征提取支流使用的卷积核尺寸不同。
可选地，所述第二特征提取模块包括并行的两个卷积特征提取支流；
其中，第一卷积特征提取支流包括级联的第一卷积层、第一最大池化层和第二卷积层；所述第一卷积层的核尺寸为15×15，所述第一最大池化层的核尺寸为3×3，所述第二卷积层的核尺寸为5×5；
第二卷积特征提取支流包括级联的第三卷积层、第二最大池化层和第四卷积层；所述第三卷积层的核尺寸为9×9，所述第二最大池化层的核尺寸为3×3，所述第四卷积层的核尺寸为3×3。
可选地，所述第一特征提取模块包括多个特征提取单元，每个所述特征提取单元用于对一个通路的表面肌电信号时频图进行特征提取；
其中，每个所述特征提取单元包括级联的第五卷积层、第三最大池化层和第六卷积层；所述第五卷积层的核尺寸为25×25，所述第三最大池化层的核尺寸为9×9，所述第六卷积层的核尺寸为15×15。
可选地，所述手势类别决策模块和所述手势动作决策模块均包括级联的一个卷积层、一个最大池化层、一个全连接层、一个多路全连接层和一个软分类层；
其中，所述手势类别决策模块的多路全连接层中包括G1个神经元，所述G1等于手势类别数目；
所述手势动作决策模块的多路全连接层中包括G2个神经元，所述G2等于相应手势类别下的手势动作数目。
可选地，所述手势类别包括转向动作、点击动作和抓握动作三类；
其中，所述转向动作中包括前臂左摆、前臂右摆、前臂上翻转和前臂下翻转四种手势动作；
所述点击动作中包括伸出食指的手势动作；
所述抓握动作中包括手掌抓握和手掌舒张两种手势动作。
第二方面，本发明还提供一种基于表面肌电信号的应急救援手势识别装置，包括：
信号处理模块，用于通过对用户执行应急救援手势动作过程中产生的多通路表面肌电信号进行预处理，得到多个通路的表面肌电信号时频图；所述表面肌电信号时频图用于表征表面肌电信号在时域、频域和幅值上的变化特征；
手势识别模块，用于将所述多个通路的表面肌电信号时频图输入双阶段手势识别模型，得到所述双阶段手势识别模型输出的手势类别识别结果和手势动作识别结果；
其中，所述双阶段手势识别模型用于对输入的多通路表面肌电信号时频图识别出手势类别后，再根据手势类别的识别结果进行手势动作的识别；所述双阶段手势识别模型是基于带有手势类型和手势动作标签的样本多通路表面肌电信号时频图训练得到的。
可选地，所述双阶段手势识别模型包括第一特征提取模块、手势类别决策模块、分别对应不同手势类别的多个第二特征提取模块、以及每个所述第二特征提取模块之后连接的一个手势动作决策模块；
其中，所述第一特征提取模块用于分别对每个通路的表面肌电信号时频图进行特征提取得到第一特征后，再对各个通路的所述第一特征进行拼接，得到第二特征；
所述手势类别决策模块用于识别输入的所述第二特征所对应的手势类别，并闭合相应手势类别的第二特征提取模块的开关；
所述第二特征提取模块用于在所述开关闭合的情况下对输入的所述第二特征进行特征提取，得到第三特征；
所述手势动作决策模块用于对输入的所述第三特征进行手势动作的识别，得到手势动作识别结果。
可选地，所述第二特征提取模块包括并行的多个卷积特征提取支流，以及用于对所述多个卷积特征提取支流提取的特征进行拼接的一个拼接层；
所述多个卷积特征提取支流使用的卷积核尺寸不同。
可选地，所述第二特征提取模块包括并行的两个卷积特征提取支流；
其中，第一卷积特征提取支流包括级联的第一卷积层、第一最大池化层和第二卷积层；所述第一卷积层的核尺寸为15×15，所述第一最大池化层的核尺寸为3×3，所述第二卷积层的核尺寸为5×5；
第二卷积特征提取支流包括级联的第三卷积层、第二最大池化层和第四卷积层；所述第三卷积层的核尺寸为9×9，所述第二最大池化层的核尺寸为3×3，所述第四卷积层的核尺寸为3×3。
可选地，所述第一特征提取模块包括多个特征提取单元，每个所述特征提取单元用于对一个通路的表面肌电信号时频图进行特征提取；
其中，每个所述特征提取单元包括级联的第五卷积层、第三最大池化层和第六卷积层；所述第五卷积层的核尺寸为25×25，所述第三最大池化层的核尺寸为9×9，所述第六卷积层的核尺寸为15×15。
可选地，所述手势类别决策模块和所述手势动作决策模块均包括级联的一个卷积层、一个最大池化层、一个全连接层、一个多路全连接层和一个软分类层；
其中，所述手势类别决策模块的多路全连接层中包括G1个神经元，所述G1等于手势类别数目；
所述手势动作决策模块的多路全连接层中包括G2个神经元，所述G2等于相应手势类别下的手势动作数目。
可选地，所述手势类别包括转向动作、点击动作和抓握动作三类；
其中，所述转向动作中包括前臂左摆、前臂右摆、前臂上翻转和前臂下翻转四种手势动作；
所述点击动作中包括伸出食指的手势动作；
所述抓握动作中包括手掌抓握和手掌舒张两种手势动作。
第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述第一方面所述的基于表面肌电信号的应急救援手势识别方法。
第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上所述第一方面所述的基于表面肌电信号的应急救援手势识别方法。
本发明提供的基于表面肌电信号的应急救援手势识别方法及装置，通过将多个通路的表面肌电信号时频图输入双阶段手势识别模型，该双阶段手势识别模型先对输入的多通路表面肌电信号时频图识别出手势类别，再根据手势类别的识别结果进行手势动作的识别，不仅可以提高模型的运行效率，也可以显著提高手势识别的精准度，从而为矿井等复杂恶劣工作环境中救援机械臂的主从控制提供精准输入信号，提高远程人机交互过程透明性，达到改善工作人员的工作环境和充分利用操作人员的专业经验完成对危险事故的紧急处置的目的，极大地提高了应急效率与自动化等级。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的基于表面肌电信号的应急救援手势识别方法的流程示意图；
图2为本发明提供的应急救援手势动作的示例图；
图3为本发明提供的表面肌电信号采集设备的系统示例图；
图4为本发明提供的双阶段手势识别模型的示例图；
图5为本发明提供的粗粒度特征提取模块的结构示例图；
图6为本发明提供的细粒度特征提取模块的结构示例图；
图7为本发明提供的决策模块的结构示例图；
图8为本发明提供的基于表面肌电信号的应急救援手势识别装置的结构示意图；
图9为本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明提供的基于表面肌电信号的应急救援手势识别方法的流程示意图，如图1所示，该方法包括如下步骤：
步骤100、通过对用户执行应急救援手势动作过程中产生的多通路表面肌电信号进行预处理，得到多个通路的表面肌电信号时频图；表面肌电信号时频图用于表征表面肌电信号在时域、频域和幅值上的变化特征。
步骤101、将多个通路的表面肌电信号时频图输入双阶段手势识别模型，得到双阶段手势识别模型输出的手势类别识别结果和手势动作识别结果。
其中，双阶段手势识别模型用于对输入的多通路表面肌电信号时频图识别出手势类别后，再根据手势类别的识别结果进行手势动作的识别；双阶段手势识别模型是基于带有手势类型和手势动作标签的样本多通路表面肌电信号时频图训练得到的。
具体地，本发明提出一种可面向矿井等复杂工作环境中用于救援机械臂的主从控制的基于表面肌电信号的手势识别方法，该方法的执行主体可以是用于进行手势识别的装置、设备或系统，为便于论述，以下以手势识别装置代称。
首先，可以由采集设备对用户（或称为操作者、使用者等）执行应急救援手势动作过程中产生的多通路表面肌电信号进行采集并传输给手势识别装置，手势识别装置获取到多通路表面肌电信号之后，可以先对表面肌电信号进行预处理，得到多个通路的表面肌电信号时频图。
然后，手势识别装置可以将该多个通路的表面肌电信号时频图输入预先训练好的双阶段手势识别模型，通过该双阶段手势识别模型便可以得到相应的手势类别识别结果和手势动作识别结果。
根据表面肌电信号自身的特点，一个手势动作往往和控制其动作的肌肉有着强关联性。因此，手势动作的分类和不同通路的表面肌电信号有着较强的关联性。基于此，本发明提出一种双阶段手势识别模型，该双阶段手势识别模型可以先对输入的多通路表面肌电信号时频图识别出手势类别，再根据手势类别的识别结果进行相应手势类别下的手势动作的识别，如此不仅可以提高模型的运行效率，也可以显著提高手势识别的精准度。
可选地，手势类别可以包括转向动作、点击动作和抓握动作三类；
其中，转向动作中包括前臂左摆、前臂右摆、前臂上翻转和前臂下翻转四种手势动作；
点击动作中包括伸出食指的手势动作；
抓握动作中包括手掌抓握和手掌舒张两种手势动作。
图2为本发明提供的应急救援手势动作的示例图，如图2所示，考虑到复杂工作环境中救援机械臂应对一些应急情况需要进行拉电闸、点击按钮和搬运电线上的碎石等动作，本发明以电闸的推拉和按钮的点击为基本动态动作进行了手势的分解，得到了三类手势动作，分别是转向动作、点击动作和抓握动作。其中，转向动作包括四种手势动作，分别是前臂的上下翻转运动、手臂的左右摆动运动。点击动作包括食指的伸出运动。抓握动作包括两种手势动作，分别是手掌抓握运动和手掌舒张的运动。
当然，本领域技术人员应当理解，手势类别和手势动作并不仅限于图2所示的例子，也可以根据实际场景的需要针对其他手势类别和手势动作训练双阶段手势识别模型后用于手势动作的识别，本发明对此并不限定。
图3为本发明提供的表面肌电信号采集设备的系统示例图，如图3所示，本发明设计了一种可穿戴式多通路表面肌电信号采集设备，具有多通路、便携、无线传输等特点，该表面肌电信号采集设备分为上位机和下位机两部分。下位机主要包括电源电路、信号滤波放大电路、单片机（Microcontroller Unit，MCU）控制电路和信号的无线发送电路等。该表面肌电信号采集设备具体的工作原理是：将多通路的电极贴放置在合适的肌肉位置上（一般为使用者的前臂），活动肌肉的表面肌电信号通过电极贴传输至单片机；然后，这些表面肌电信号再经过单片机的数模转换模块和无线传输模块被发送至上位机的无线接收模块，上位机通过无线接收模块接收来自下位机的表面肌电信号数据后，上位机在所设计的图形用户界面上显示并存储信号数据。
本领域技术人员应当理解，图3所示的表面肌电信号采集设备仅为一种示例，并不构成对本发明的限定，本发明的技术方案也可以基于其他的表面肌电信号采集设备实现。
关于表面肌电信号采集设备的佩戴方式，以下进行简要介绍：
（1）为了获取噪声少、幅度强的表面肌电信号，在佩戴表面肌电电极贴之前，可以使用酒精试剂擦拭皮肤以去除皮肤角质层的汗液与其他杂质，减少皮肤的阻抗。
（2）可以将表面肌电电极贴片安放在受支配运动的肌肉肌腹上。例如：可以选择桡侧腕屈肌、尺侧腕屈肌、旋前圆肌、拇长屈/展肌、指浅屈/展肌和指总伸肌等部位。
（3）可以将电极片的放置方向与肌纤维方向平行，电极片的大小和间距适宜以避免深层生理电信号的串扰。
（4）可以在表面肌电电极贴片安放位置处涂上一层导电凝胶，以减少皮肤的阻抗与外界噪声。
（5）为了增加所采集的表面肌电信号的电压的强度，可以将电极片紧紧贴附在皮肤上且可以通过绷带等方式施加一定的压力。电极的极片与肌肉之间的组织越少越好，应避开皮褶与骨性突起。
在使用者佩戴好表面肌电信号采集设备后，使用者可以根据当前复杂工作环境中的应急救援需求，并结合自身设备检修经验，执行相应的手势动作，然后采集设备采集相应的手势动作的表面肌电信号，由手势识别装置对表面肌电信号进行预处理，得到多个通路的表面肌电信号时频图后，输入至预先训练好的双阶段手势识别模型，得到相应的手势类别识别结果和手势动作识别结果，从而救援机械臂可以根据手势类别识别结果和手势动作识别结果执行相应的动作。优选地，每一个手势动作作为一个动态动作持续三秒，不同的手势动作之间休息七秒钟，一个采样周期为十秒。
在获取到使用者的手势动作的表面肌电信号后，可以先对其进行数据预处理，去除原始信号中的噪声和增强数据，提高后续模型对手势动作的识别的准确性。以下对数据预处理的方式进行举例说明。
（1）基线漂移处理。
在表面肌电信号采集的过程中，易受到电极与皮肤的相对位移、温度改变和电磁兼容等现象的干扰，对采集的表面肌电信号零电势面会造成上下漂移的现象。对于基线漂移的处理有很多方法，例如可以使用中值滤波方法，其计算公式如下：
式中，和/>分别为每个通路表面肌电信号中的第/>个采用中值滤波前与滤波后的样本点，/>函数输出信号/>中所包含数值的中位数，N为滤波窗口的长度，窗口长度太小会导致有效信号被滤除，而太长则会增加计算量，优选地，可以将N的值设置为5。
（2）小波阈值处理。
为了去除表面肌电信号中的高频噪声，可以使用dbN小波变换函数，其公式如下所示：
式中，表示经过基线漂移滤波处理后的每个通路的表面肌电信号，/>表示经过dbN小波变换后的表面肌电信号。
（3）活动段表面肌电信号提取。
在采集表面肌电信号的过程中，每一个手势动作的样本中有活动段和休息段的数据。可以使用平均标准差的方法提取活动段的表面肌电信号。
平均标准差方法是通过对每个通路的表面肌电信号加一个一维的移动窗口，计算一个窗口内的平均标准差的阈值来判断这个窗口内是否有信号的起始段和结束段，计算公式如下所示。
式中，代表手势执行过程中设备所采集的表面肌电信号的时间步数，/>是表面肌电信号的通路数，/>代表窗口的长度，/>代表在/>时间刻度上/>信号通路上的数值，/>表示相应的标准差，/>表示总的信号通路数，/>表示该窗口内所有信号通路的平均标准差。平均标准差方法对于经过上述预处理后的表面肌电信号的运动段的起始端和结束端的寻找具有很好的效果。优选地，可设置时间窗口的长度为10，窗口的移动步长为1，平均标准差阈值为0.04。
（4）基于滑动窗口法的表面肌电信号分割。
可以采用滑动重叠窗口的方法对每个通路的表面肌电信号进行分割来扩大可用识别的数据集，从而为提取表面肌电信号与手势之间的有效特征提供更有利的条件。优选地，可以使用长度为500毫秒，步长为200毫秒的滑动窗口。
手势识别装置获取多个通路的表面肌电信号数据并进行数据预处理后，便可以提取表面肌电信号在时域、频域和幅值上的变化特征，构造表面肌电信号时频图。
为了有效表征非平稳的多变的表面肌电信号，可以使用连续小波变换特征提取方法来构造时频图，从而对应急救援手势动作的表面肌电信号特征进行表征。连续小波变换的计算公式如下：
式中， 表示/>信号的连续小波变换结果，/>为经过滑动窗口分割后的一个通路的表面肌电信号，a>0为尺度因子，b为平移因子，/>为/>的复共轭，/>表示母小波函数。尺度因子决定了连续小波对不同频率的信号可以进行处理，而平移因子可以保证小波函数在时间轴上进行平移，以保证各个时间段信号的频域特征可以被提取。
通过小波变换来提取表面肌电信号在时域、频域和幅值上的变化特征，具体的表达形式为时频图。在时频图上，横坐标显示时域上的变化特征，纵坐标为频域变化特征，颜色的深浅可显示信号幅值的变化大小。
本发明提供的基于表面肌电信号的应急救援手势识别方法，通过将多个通路的表面肌电信号时频图输入双阶段手势识别模型，该双阶段手势识别模型先对输入的多通路表面肌电信号时频图识别出手势类别，再根据手势类别的识别结果进行手势动作的识别，不仅可以提高模型的运行效率，也可以显著提高手势识别的精准度，从而为矿井等复杂恶劣工作环境中救援机械臂的主从控制提供精准输入信号，提高远程人机交互过程透明性，达到改善工作人员的工作环境和充分利用操作人员的专业经验完成对危险事故的紧急处置的目的，极大地提高了应急效率与自动化等级。
可选地，双阶段手势识别模型包括第一特征提取模块、手势类别决策模块、分别对应不同手势类别的多个第二特征提取模块、以及每个第二特征提取模块之后连接的一个手势动作决策模块；
其中，第一特征提取模块用于分别对每个通路的表面肌电信号时频图进行特征提取得到第一特征后，再对各个通路的第一特征进行拼接，得到第二特征；
手势类别决策模块用于识别输入的第二特征所对应的手势类别，并闭合相应手势类别的第二特征提取模块的开关；
第二特征提取模块用于在开关闭合的情况下对输入的第二特征进行特征提取，得到第三特征；
手势动作决策模块用于对输入的第三特征进行手势动作的识别，得到手势动作识别结果。
具体地，多个通路的表面肌电信号时频图输入双阶段手势识别模型之后，该模型中的第一特征提取模块首先对每个通路的表面肌电信号时频图分别进行特征提取，得到每个通路分别对应的特征提取结果（即第一特征），然后，第一特征提取模块再对各个通路对应的特征提取结果进行拼接（例如：可以沿通道维度进行拼接），拼接得到的特征即为第二特征。
接下来，手势类别决策模块可以对输入的第二特征进行手势类别的推理，推理出使用者所做的手势类别并闭合相应手势类别的第二特征提取模块的开关，开关闭合表示该第二特征提取模块可以对输入的第二特征进行特征提取，得到特征提取结果，即第三特征。
最后，手势动作决策模块可以对相应的第二特征提取模块所输出的第三特征进行手势动作的识别，得到最终的手势动作识别结果，并将该手势动作识别结果和相应的手势类型识别结果一起输出作为最终的模型识别结果。
可选地，上述第一特征提取模块可以包括多个特征提取单元，每个特征提取单元用于对一个通路的表面肌电信号时频图进行特征提取；
其中，每个特征提取单元包括级联的第五卷积层、第三最大池化层和第六卷积层；第五卷积层的核尺寸为25×25，第三最大池化层的核尺寸为9×9，第六卷积层的核尺寸为15×15。
图4为本发明提供的双阶段手势识别模型的示例图，相应的手势识别过程主要包括信号输入阶段、手势动作粗粒度识别阶段和手势动作细粒度识别阶段。其中，手势动作粗粒度识别阶段主要由粗粒度特征提取模块、拼接模块和决策模块组成，手势动作细粒度识别阶段主要由细粒度特征提取模块和决策模块组成。
具体来讲，由多通路表面肌电采集设备获取使用者手势动作的表面肌电信号后，每个通路的表面肌电信号经过信号输入阶段后成为时频图。接下来，手势动作粗粒度识别阶段可以通过粗粒度特征提取模块从每个通路的时频图中提取对应通路表面肌电时频特征向量并将它们拼接在一起，得到多通路的二维矩阵特征。接下来，利用决策模块将这些特征进行压缩和融合，从而推理出使用者所做的手势类别并闭合对应手势类别的细粒度特征提取开关。与此同时，闭合开关的手势动作细粒度识别阶段能够通过细粒度特征提取模块从多通路的二维矩阵特征中提取到更加精细的特征。在此基础上，通过决策模块推理出对应手势类别下的手势动作。
图5为本发明提供的粗粒度特征提取模块的结构示例图，如图5所示，粗粒度特征提取模块由两个卷积层（Conv）和一个最大池化层（Maxpool）组成。其中，两个卷积层的核尺寸分别为25×25和15×15，深度均为48（此为优选的深度值，也可为其他深度值，本发明并不限定）；最大池化层的核尺寸为9×9。不同尺寸卷积块的感受野不同，尺寸大的卷积块能够更好地捕捉图像的全局特征。具体来讲，粗粒度特征提取模块用大核尺寸的卷积堆叠方式从不同的肌电通路的时频图进行粗粒度的特征提取，从而得到对应的特征矩阵。接着，拼接模块将每个通路得到的特征矩阵进行拼接形成多通路的特征矩阵并将它们送入决策模块。
可选地，上述第二特征提取模块可以包括并行的多个卷积特征提取支流，以及用于对多个卷积特征提取支流提取的特征进行拼接的一个拼接层；
多个卷积特征提取支流使用的卷积核尺寸不同。
具体地，不同尺寸卷积块的感受野不同，因此不同卷积核尺寸的卷积特征提取支流并行操作可以更好地提取精细特征。通过设置多个卷积特征提取支流，且卷积特征提取支流的卷积核尺寸不同，可以得到对应不同精细度的特征提取结果，然后再将这些不同精细度的特征提取结果进行拼接，便可以得到更加多样、更加精细的特征，从而提升后续决策模型进行手势动作识别的准确率。
可选地，第二特征提取模块可以包括并行的两个卷积特征提取支流；
其中，第一卷积特征提取支流包括级联的第一卷积层、第一最大池化层和第二卷积层；第一卷积层的核尺寸为15×15，第一最大池化层的核尺寸为3×3，第二卷积层的核尺寸为5×5；
第二卷积特征提取支流包括级联的第三卷积层、第二最大池化层和第四卷积层；第三卷积层的核尺寸为9×9，第二最大池化层的核尺寸为3×3，第四卷积层的核尺寸为3×3。
图6为本发明提供的细粒度特征提取模块的结构示例图，如图6所示，与粗粒度特征提取模块不同，细粒度特征提取模块由两个卷积特征提取支流和一个拼接层组成。两个卷积特征提取支流均由两个卷积层和一个最大池化层组成，它们的区别在于卷积核的尺寸不同。第一个支流的卷积核大小分别为15×15和5×5；第二个支流的卷积核大小分别为9×9和3×3。不同尺寸的卷积模块的并行操作可以更好的提取精细特征。具体来讲，当识别出手势的种类后，模型会闭合对应手势种类的开关，与此同时，对应该类别手势的细粒度特征提取模块的两个支流的卷积特征提取模块分别对输入的多通路拼接的特征矩阵进行更加精细的特征提取，得到对应不同精细度的特征矩阵。在此基础上，拼接层会将这些特征拼接成一个特征矩阵，并送入到决策模块。
可选地，手势类别决策模块和手势动作决策模块均包括级联的一个卷积层、一个最大池化层、一个全连接层、一个多路全连接层和一个软分类层；
其中，手势类别决策模块的多路全连接层中包括G1个神经元，G1等于手势类别数目；
手势动作决策模块的多路全连接层中包括G2个神经元，G2等于相应手势类别下的手势动作数目。
具体地，手势动作粗粒度识别阶段和手势动作细粒度识别阶段采用的决策模块，其结构基本相同，均包括级联的一个卷积层、一个最大池化层、一个全连接层（FC）、一个多路全连接层（G-way FC）和一个软分类层（Softmax）。
图7为本发明提供的决策模块的结构示例图，如图7所示，图中卷积层的核尺寸为3×3，深度为48；最大池化层的核尺寸为3×3；全连接层的节点数可以是512。
G-way FC表示该全连接层中有G个神经元，G对应待分类的手势数目。对于手势动作粗粒度识别阶段的决策模块，其多路全连接层中包括G1个神经元，G1等于手势类别数目，以图2所示的手势类别来说，G1=3。对于手势动作细粒度识别阶段的决策模块，其多路全连接层中包括G2个神经元，G2等于相应手势类别下的手势动作数目，以图2所示的手势动作来说，转向动作手势类别下的决策模块其G2=4，点击动作手势类别下的决策模块其G2=1，抓握动作手势类别下的决策模块其G2=2。
对于手势动作粗粒度识别阶段，决策模块将来自拼接模块的多通路特征矩阵进行通路压缩和特征拼接后，通过Softmax层推理出当前多通路表面肌电信号所表征的手势动作的种类。
对于手势动作细粒度识别阶段，决策模块先将细粒度特征提取模块拼接好的特征矩阵进行压缩和融合，然后通过Softmax层推理出使用者所做的手势动作。
本发明提出的面向复杂工作环境的基于表面肌电信号的应急救援手势识别方法，可以解决现有识别方法易受背景环境干扰与无法识别细微手指动作的问题，为矿井等复杂恶劣工作环境中救援机械臂的主从控制提供精准输入信号，提高远程人机交互过程透明性，从而充分利用操作人员的专业经验完成对危险事故的紧急处置，极大地提高了应急效率与自动化等级。
下面对本发明提供的基于表面肌电信号的应急救援手势识别装置进行描述，下文描述的基于表面肌电信号的应急救援手势识别装置与上文描述的基于表面肌电信号的应急救援手势识别方法可相互对应参照。
图8为本发明提供的基于表面肌电信号的应急救援手势识别装置的结构示意图，如图8所示，该装置包括：
信号处理模块800，用于通过对用户执行应急救援手势动作过程中产生的多通路表面肌电信号进行预处理，得到多个通路的表面肌电信号时频图；表面肌电信号时频图用于表征表面肌电信号在时域、频域和幅值上的变化特征；
手势识别模块810，用于将多个通路的表面肌电信号时频图输入双阶段手势识别模型，得到双阶段手势识别模型输出的手势类别识别结果和手势动作识别结果；
其中，双阶段手势识别模型用于对输入的多通路表面肌电信号时频图识别出手势类别后，再根据手势类别的识别结果进行手势动作的识别；双阶段手势识别模型是基于带有手势类型和手势动作标签的样本多通路表面肌电信号时频图训练得到的。
可选地，双阶段手势识别模型包括第一特征提取模块、手势类别决策模块、分别对应不同手势类别的多个第二特征提取模块、以及每个第二特征提取模块之后连接的一个手势动作决策模块；
其中，第一特征提取模块用于分别对每个通路的表面肌电信号时频图进行特征提取得到第一特征后，再对各个通路的第一特征进行拼接，得到第二特征；
手势类别决策模块用于识别输入的第二特征所对应的手势类别，并闭合相应手势类别的第二特征提取模块的开关；
第二特征提取模块用于在开关闭合的情况下对输入的第二特征进行特征提取，得到第三特征；
手势动作决策模块用于对输入的第三特征进行手势动作的识别，得到手势动作识别结果。
可选地，第二特征提取模块包括并行的多个卷积特征提取支流，以及用于对多个卷积特征提取支流提取的特征进行拼接的一个拼接层；
多个卷积特征提取支流使用的卷积核尺寸不同。
可选地，第二特征提取模块包括并行的两个卷积特征提取支流；
其中，第一卷积特征提取支流包括级联的第一卷积层、第一最大池化层和第二卷积层；第一卷积层的核尺寸为15×15，第一最大池化层的核尺寸为3×3，第二卷积层的核尺寸为5×5；
第二卷积特征提取支流包括级联的第三卷积层、第二最大池化层和第四卷积层；第三卷积层的核尺寸为9×9，第二最大池化层的核尺寸为3×3，第四卷积层的核尺寸为3×3。
可选地，第一特征提取模块包括多个特征提取单元，每个特征提取单元用于对一个通路的表面肌电信号时频图进行特征提取；
其中，每个特征提取单元包括级联的第五卷积层、第三最大池化层和第六卷积层；第五卷积层的核尺寸为25×25，第三最大池化层的核尺寸为9×9，第六卷积层的核尺寸为15×15。
可选地，手势类别决策模块和手势动作决策模块均包括级联的一个卷积层、一个最大池化层、一个全连接层、一个多路全连接层和一个软分类层；
其中，手势类别决策模块的多路全连接层中包括G1个神经元，G1等于手势类别数目；
手势动作决策模块的多路全连接层中包括G2个神经元，G2等于相应手势类别下的手势动作数目。
可选地，手势类别包括转向动作、点击动作和抓握动作三类；
其中，转向动作中包括前臂左摆、前臂右摆、前臂上翻转和前臂下翻转四种手势动作；
点击动作中包括伸出食指的手势动作；
抓握动作中包括手掌抓握和手掌舒张两种手势动作。
在此需要说明的是，本发明提供的上述装置，能够实现上述方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
图9为本发明提供的电子设备的结构示意图，如图9所示，该电子设备可以包括：处理器（processor）910、通信接口（Communications Interface）920、存储器（memory）930和通信总线940，其中，处理器910，通信接口920，存储器930通过通信总线940完成相互间的通信。处理器910可以调用存储器930中的逻辑指令，以执行上述各实施例提供的任一所述基于表面肌电信号的应急救援手势识别方法，例如：通过对用户执行应急救援手势动作过程中产生的多通路表面肌电信号进行预处理，得到多个通路的表面肌电信号时频图；表面肌电信号时频图用于表征表面肌电信号在时域、频域和幅值上的变化特征；将多个通路的表面肌电信号时频图输入双阶段手势识别模型，得到双阶段手势识别模型输出的手势类别识别结果和手势动作识别结果；其中，双阶段手势识别模型用于对输入的多通路表面肌电信号时频图识别出手势类别后，再根据手势类别的识别结果进行手势动作的识别；双阶段手势识别模型是基于带有手势类型和手势动作标签的样本多通路表面肌电信号时频图训练得到的。
此外，上述的存储器930中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
在此需要说明的是，本发明提供的电子设备，能够实现上述方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
另一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时可实现上述各实施例提供的任一所述基于表面肌电信号的应急救援手势识别方法，例如：通过对用户执行应急救援手势动作过程中产生的多通路表面肌电信号进行预处理，得到多个通路的表面肌电信号时频图；表面肌电信号时频图用于表征表面肌电信号在时域、频域和幅值上的变化特征；将多个通路的表面肌电信号时频图输入双阶段手势识别模型，得到双阶段手势识别模型输出的手势类别识别结果和手势动作识别结果；其中，双阶段手势识别模型用于对输入的多通路表面肌电信号时频图识别出手势类别后，再根据手势类别的识别结果进行手势动作的识别；双阶段手势识别模型是基于带有手势类型和手势动作标签的样本多通路表面肌电信号时频图训练得到的。
在此需要说明的是，本发明提供的非暂态计算机可读存储介质，能够实现上述方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (8)
1.一种基于表面肌电信号的应急救援手势识别方法，其特征在于，包括：
通过对用户执行应急救援手势动作过程中产生的多通路表面肌电信号进行预处理，得到多个通路的表面肌电信号时频图；所述表面肌电信号时频图用于表征表面肌电信号在时域、频域和幅值上的变化特征；在所述表面肌电信号时频图上，横坐标显示表面肌电信号在时域上的变化特征，纵坐标为表面肌电信号的频域变化特征，颜色的深浅显示表面肌电信号幅值的变化大小；
将所述多个通路的表面肌电信号时频图输入双阶段手势识别模型，得到所述双阶段手势识别模型输出的手势类别识别结果和手势动作识别结果；
其中，所述双阶段手势识别模型用于对输入的多通路表面肌电信号时频图识别出手势类别后，再根据手势类别的识别结果进行手势动作的识别；所述双阶段手势识别模型是基于带有手势类型和手势动作标签的样本多通路表面肌电信号时频图训练得到的；
所述双阶段手势识别模型包括第一特征提取模块、手势类别决策模块、分别对应不同手势类别的多个第二特征提取模块、以及每个所述第二特征提取模块之后连接的一个手势动作决策模块；
其中，所述第一特征提取模块用于分别对每个通路的表面肌电信号时频图进行特征提取得到第一特征后，再对各个通路的所述第一特征进行拼接，得到第二特征；
所述手势类别决策模块用于识别输入的所述第二特征所对应的手势类别，并闭合相应手势类别的第二特征提取模块的开关；
所述第二特征提取模块用于在所述开关闭合的情况下对输入的所述第二特征进行特征提取，得到第三特征；
所述手势动作决策模块用于对输入的所述第三特征进行手势动作的识别，得到手势动作识别结果；
所述第二特征提取模块包括并行的多个卷积特征提取支流，以及用于对所述多个卷积特征提取支流提取的特征进行拼接的一个拼接层；
所述多个卷积特征提取支流使用的卷积核尺寸不同。
2.根据权利要求1所述的基于表面肌电信号的应急救援手势识别方法，其特征在于，所述第二特征提取模块包括并行的两个卷积特征提取支流；
其中，第一卷积特征提取支流包括级联的第一卷积层、第一最大池化层和第二卷积层；所述第一卷积层的核尺寸为15×15，所述第一最大池化层的核尺寸为3×3，所述第二卷积层的核尺寸为5×5；
第二卷积特征提取支流包括级联的第三卷积层、第二最大池化层和第四卷积层；所述第三卷积层的核尺寸为9×9，所述第二最大池化层的核尺寸为3×3，所述第四卷积层的核尺寸为3×3。
3.根据权利要求1或2所述的基于表面肌电信号的应急救援手势识别方法，其特征在于，所述第一特征提取模块包括多个特征提取单元，每个所述特征提取单元用于对一个通路的表面肌电信号时频图进行特征提取；
其中，每个所述特征提取单元包括级联的第五卷积层、第三最大池化层和第六卷积层；所述第五卷积层的核尺寸为25×25，所述第三最大池化层的核尺寸为9×9，所述第六卷积层的核尺寸为15×15。
4.根据权利要求1所述的基于表面肌电信号的应急救援手势识别方法，其特征在于，所述手势类别决策模块和所述手势动作决策模块均包括级联的一个卷积层、一个最大池化层、一个全连接层、一个多路全连接层和一个软分类层；
其中，所述手势类别决策模块的多路全连接层中包括G1个神经元，所述G1等于手势类别数目；
所述手势动作决策模块的多路全连接层中包括G2个神经元，所述G2等于相应手势类别下的手势动作数目。
5.根据权利要求1或4所述的基于表面肌电信号的应急救援手势识别方法，其特征在于，所述手势类别包括转向动作、点击动作和抓握动作三类；
其中，所述转向动作中包括前臂左摆、前臂右摆、前臂上翻转和前臂下翻转四种手势动作；
所述点击动作中包括伸出食指的手势动作；
所述抓握动作中包括手掌抓握和手掌舒张两种手势动作。
6.一种基于表面肌电信号的应急救援手势识别装置，其特征在于，包括：
信号处理模块，用于通过对用户执行应急救援手势动作过程中产生的多通路表面肌电信号进行预处理，得到多个通路的表面肌电信号时频图；所述表面肌电信号时频图用于表征表面肌电信号在时域、频域和幅值上的变化特征；在所述表面肌电信号时频图上，横坐标显示表面肌电信号在时域上的变化特征，纵坐标为表面肌电信号的频域变化特征，颜色的深浅显示表面肌电信号幅值的变化大小；
手势识别模块，用于将所述多个通路的表面肌电信号时频图输入双阶段手势识别模型，得到所述双阶段手势识别模型输出的手势类别识别结果和手势动作识别结果；
其中，所述双阶段手势识别模型用于对输入的多通路表面肌电信号时频图识别出手势类别后，再根据手势类别的识别结果进行手势动作的识别；所述双阶段手势识别模型是基于带有手势类型和手势动作标签的样本多通路表面肌电信号时频图训练得到的；
所述双阶段手势识别模型包括第一特征提取模块、手势类别决策模块、分别对应不同手势类别的多个第二特征提取模块、以及每个所述第二特征提取模块之后连接的一个手势动作决策模块；
其中，所述第一特征提取模块用于分别对每个通路的表面肌电信号时频图进行特征提取得到第一特征后，再对各个通路的所述第一特征进行拼接，得到第二特征；
所述手势类别决策模块用于识别输入的所述第二特征所对应的手势类别，并闭合相应手势类别的第二特征提取模块的开关；
所述第二特征提取模块用于在所述开关闭合的情况下对输入的所述第二特征进行特征提取，得到第三特征；
所述手势动作决策模块用于对输入的所述第三特征进行手势动作的识别，得到手势动作识别结果；
所述第二特征提取模块包括并行的多个卷积特征提取支流，以及用于对所述多个卷积特征提取支流提取的特征进行拼接的一个拼接层；
所述多个卷积特征提取支流使用的卷积核尺寸不同。
7.一种电子设备，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述基于表面肌电信号的应急救援手势识别方法。
8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述基于表面肌电信号的应急救援手势识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310653763.5A CN116400812B (zh) | 2023-06-05 | 2023-06-05 | 基于表面肌电信号的应急救援手势识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310653763.5A CN116400812B (zh) | 2023-06-05 | 2023-06-05 | 基于表面肌电信号的应急救援手势识别方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116400812A CN116400812A (zh) | 2023-07-07 |
| CN116400812B true CN116400812B (zh) | 2023-09-12 |
Family
ID=87020154
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310653763.5A Active CN116400812B (zh) | 2023-06-05 | 2023-06-05 | 基于表面肌电信号的应急救援手势识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116400812B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117523669A (zh) * | 2023-11-17 | 2024-02-06 | 中国科学院自动化研究所 | 手势识别方法、装置、电子设备和存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103914149A (zh) * | 2014-04-01 | 2014-07-09 | 复旦大学 | 一种面向互动电视的手势交互方法和系统 |
| CN105654037A (zh) * | 2015-12-21 | 2016-06-08 | 浙江大学 | 一种基于深度学习和特征图像的肌电信号手势识别方法 |
| CN112308041A (zh) * | 2020-11-26 | 2021-02-02 | 中国人民解放军陆军工程大学 | 一种基于视觉的无人平台手势控制方法 |
| CN113239869A (zh) * | 2021-05-31 | 2021-08-10 | 西安电子科技大学 | 基于关键帧序列和行为信息的两阶段行为识别方法及系统 |
| CN113505822A (zh) * | 2021-06-30 | 2021-10-15 | 中国矿业大学 | 基于表面肌电信号的多尺度信息融合上肢动作分类方法 |
| CN113589920A (zh) * | 2020-04-30 | 2021-11-02 | 北京海益同展信息科技有限公司 | 手势识别方法、人机交互方法、装置、设备及存储介质 |
-
2023
- 2023-06-05 CN CN202310653763.5A patent/CN116400812B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103914149A (zh) * | 2014-04-01 | 2014-07-09 | 复旦大学 | 一种面向互动电视的手势交互方法和系统 |
| CN105654037A (zh) * | 2015-12-21 | 2016-06-08 | 浙江大学 | 一种基于深度学习和特征图像的肌电信号手势识别方法 |
| CN113589920A (zh) * | 2020-04-30 | 2021-11-02 | 北京海益同展信息科技有限公司 | 手势识别方法、人机交互方法、装置、设备及存储介质 |
| CN112308041A (zh) * | 2020-11-26 | 2021-02-02 | 中国人民解放军陆军工程大学 | 一种基于视觉的无人平台手势控制方法 |
| CN113239869A (zh) * | 2021-05-31 | 2021-08-10 | 西安电子科技大学 | 基于关键帧序列和行为信息的两阶段行为识别方法及系统 |
| CN113505822A (zh) * | 2021-06-30 | 2021-10-15 | 中国矿业大学 | 基于表面肌电信号的多尺度信息融合上肢动作分类方法 |
Non-Patent Citations (1)
| Title |
|---|
| sEMG-Based Gesture Recognition Method for Coal Mine Inspection Manipulator Using Multistream CNN;Lina Tong 等;《IEEE Sensors Journal》;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116400812A (zh) | 2023-07-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101987048B (zh) | 假肢控制方法和系统 | |
| CN116400812B (zh) | 基于表面肌电信号的应急救援手势识别方法及装置 | |
| CN105022488B (zh) | 基于ssvep脑电电位的无线bci输入系统 | |
| CN111544855B (zh) | 基于蒸馏学习和深度学习纯意念控制智能康复方法及应用 | |
| CN104997581B (zh) | 基于面部表情驱动脑电信号的假手控制方法及装置 | |
| CN106383579A (zh) | 一种基于emg和fsr的精细手势识别系统及方法 | |
| CN105708587B (zh) | 一种运动想象模式脑机接口触发的下肢外骨骼训练方法及系统 | |
| CN105468143A (zh) | 一种基于运动想象脑-机接口的反馈系统 | |
| CN101930285B (zh) | 基于表面肌电信号的手写识别方法 | |
| CN107957783A (zh) | 一种基于脑电与肌电信息的多模式智能控制系统及方法 | |
| CN108563324B (zh) | 一种面向过程控制的运动想象脑-机接口设计方法 | |
| CN111860410A (zh) | 基于多特征融合cnn的肌电手势识别方法 | |
| CN111584031B (zh) | 基于便携式脑电采集设备的脑控智能肢体康复系统及应用 | |
| CN105962935A (zh) | 用于运动学习功能改善的脑电神经反馈训练系统及其方法 | |
| CN107126303A (zh) | 一种基于手机app的上下肢运动辅助方法 | |
| CN103412640A (zh) | 牙齿控制的字符或命令输入的装置及方法 | |
| Li et al. | EEG signal classification method based on feature priority analysis and CNN | |
| CN108261274A (zh) | 一种用于假肢手控制与感知的双向残肢接口系统 | |
| CN111571619A (zh) | 一种基于ssvep脑控机械臂抓取的生活辅助系统与方法 | |
| CN109498362A (zh) | 一种偏瘫患者手部运动功能康复训练装置及模型训练方法 | |
| CN111259699A (zh) | 一种人体动作识别和预测方法及装置 | |
| Hasan et al. | Human hand gesture detection based on EMG signal using ANN | |
| CN115024735B (zh) | 一种基于运动意图识别模型的脑卒中患者康复方法及系统 | |
| CN106843509A (zh) | 一种脑机接口系统 | |
| CN114983446A (zh) | 一种基于肌电信号的手指多关节连续运动估计方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |