CN117312985A - 基于可解释深度学习的表面肌电信号相似手势识别方法 - Google Patents

基于可解释深度学习的表面肌电信号相似手势识别方法 Download PDF

Info

Publication number
CN117312985A
CN117312985A CN202311272367.4A CN202311272367A CN117312985A CN 117312985 A CN117312985 A CN 117312985A CN 202311272367 A CN202311272367 A CN 202311272367A CN 117312985 A CN117312985 A CN 117312985A
Authority
CN
China
Prior art keywords
gesture
surface electromyographic
recognition
channel
contribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311272367.4A
Other languages
English (en)
Inventor
王峰
佘锦华
赵娟
敖小虎
吴昊
王赫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Geosciences
Original Assignee
China University of Geosciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Geosciences filed Critical China University of Geosciences
Priority to CN202311272367.4A priority Critical patent/CN117312985A/zh
Publication of CN117312985A publication Critical patent/CN117312985A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/10—Pre-processing; Data cleansing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G06F2218/04—Denoising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于可解释深度学习的表面肌电信号相似手势识别方法，进行表面肌电信号采集及预处理；基于深度学习搭建识别模型；对所述识别模型引入可解释性分析；对引入了可解释性分析的识别模型进行优化；利用优化后的识别模型对实际获取的表面肌电信号进行识别。本发明的有益效果是：提供了可解释的分析，增强了对识别过程的理解，并作为提高识别性能的反馈。利用深度神经网络自动提取特征，而并非人工提取肌电特征，提高了识别模型的识别效率，使识别模型更具便捷；对识别过程做了可解释性分析，分析了特征相关性与输入特征的重要性归因。

Description

基于可解释深度学习的表面肌电信号相似手势识别方法
技术领域
本发明涉及表面肌电信号相似手势识别领域，尤其涉及一种基于可解释深度学习的表面肌电信号相似手势识别方法。
背景技术
人工智能和硬件设备领域的进步激发了人们对人机交互的兴趣。手势识别在促进这种交互中发挥着至关重要的作用，特别是在辅助和康复设备中，如机器人假肢和手部外骨骼，它们在很大程度上依赖于表面肌电信号。这些信号由放置在负责手势的肌肉上方的皮肤上的传感器捕获，随后使用各种信号处理技术和人工智能算法进行处理和分析，以识别与每个手势相关的特定肌肉激活模式。基于表面肌电信号的手势识别最重要的一个方面是相似手势识别，它能够识别相似的手势，包括抓握、功能性动作和许多其他日常生活动作。这种识别有助于使用自然手势精确控制虚拟物体或假手，从而增强用户体验和设备功能。
手势主要由各种手部肌肉收缩控制，而表面肌电信号是由肌肉纤维在收缩和放松阶段记录下来的。因此，目前的识别方法主要是基于表面肌电信号提取最佳特征并开发实用的分类算法。然而，在由几乎相同的肌肉收缩模式控制的相似手势之间存在微小差异的场景中，无论采用传统的机器学习方法还是深度学习方法，识别准确率通常都很低。识别相似手势的主要障碍是几乎相同的手部肌肉收缩模式。但即使是相似的手势，也会表现出肌肉力量的细微差别和肌肉协同作用组成的变化，这些都可以通过表面肌电信号采集电极通道捕捉到。尽管这一领域备受关注，但目前还没有一项研究对不同通道在类似手势识别中的贡献进行研究。此外，基于深度学习的方法通常用于手势识别，这些方法通常被视为“黑盒”系统。使用这些方法，我们只能观察到深度学习模型的输入和输出，但要理解神经网络为什么会做出特定的决定却很困难。因此，开发有效的解决方案来应对这一挑战对于提高基于表面肌电信号的相似手势识别的准确性和可靠性至关重要。现有技术中没有考虑相似动作的特征相似性，且需要通过手工提取特征，也缺乏特征相关性的解释不同个体之间的差异性，使得设计方法的通用性较差，并没有对提取的诸多信息进行评估和分析，存在很多冗余信息。
发明内容
为了解决上述问题，本发明提供了一种基于可解释深度学习的表面肌电信号相似手势识别方法，主要包括：
S1：进行表面肌电信号采集及预处理；
S2：根据处理后的表面肌电信号，基于深度学习搭建识别模型；
S3：对所述识别模型引入可解释性分析；
S4：对引入了可解释性分析的识别模型进行优化；
S5：利用优化后的识别模型对实际获取的表面肌电信号进行识别。
进一步地，步骤S1中，表面肌电信号采集及预处理的过程为：
将N个表面肌电信号传感器连接到前臂进行信号采集，在对N个表面肌电信号传感器采集到的表面肌电信号进行去噪处理；设置采集的时间为T，采集频率为F，可以得到TF×N的数据矩阵；该矩阵的列号表示表面肌电号传感器对应的电极号，行数是采样时间和频率的乘积；数据矩阵的每一行分配一个与所执行的手势对应的标签；每一行都被标记为i，表示在那一刻执行的手势动作种类；
为了检测表面肌电图数据中的活动段，根据标签i将其分为动作模式和休息模式，扫描每一行的标签，将标记为i＝0的数据分类为休息模式，而非零标签对应的数据分类为动作模式；
设置一个M×N大小的分析窗口来分析表面肌电图数据，只选择动作模式的数据，并将分析窗口的滑动步长设置为s，具有相同手势标签i的M×N数组被认为是有效数据，该数组的标签定义为i，数组的数量K可以计算为：
其中，M表示设置的分析窗口的宽度；N表示设置的分析窗口的长度，N的大小为采集电极的个数；
每个数组被转换为一个M×N矩阵Ak，其中k∈(1，K)，然后对矩阵Ak进行归一化，并将其值映射到(0,255)的范围，可以计算为
其中，minAk表示映射范围内的最小值，maxAk表示映射范围内的最大值；表示矩阵Ak数值映射到(0，255)之后的新的矩阵，该矩阵为转化灰度图像所需的矩阵；
将带有手势标签i的有效阵列数据转换为K个灰度图像，每个图像的大小都为M×N，为了提高相似手势识别的精度，将三个相邻的具有相同手势标签的灰度图像组合起来，形成一个三维彩色图像，得到一个表面肌电信号彩色图像的数据集。
进一步地，步骤S2中，采用图像级深度卷积神经网络架构，建立识别模型，以表面肌电信号彩色图像作为输入，并利用深度学习技术来识别这些图像中的模式；该识别模型包括卷积层、全连接层和softmax层；
从表面肌电信号彩色图像中提取特征，第l个卷积层接受输入α(l)，并通过将α(l)与卷积核ω(l)进行卷积而产生输出O(l)；卷积核的感受野大小为A×B，滑动长度为z，偏差项记为β(l)，卷积层执行的计算为：
其中，x表示图像中的第x行；y表示图像中的第y列；*表示卷积运算；表示第l个卷积层的输入，/>表示第l层卷积核在感受野A×B中的第a行，第b列的值的大小，a和b表示在感受野A×B中的第a行，第b列；
基于交叉熵的损失函数定义为：
其中，pi表示手势i的实际输出概率；qi表示手势i的期望输出概率；
该损失函数用于在离线训练阶段对识别模型进行训练，以确保该识别模型能够准确地预测与表面肌电信号彩色图像相关的每个手势。
进一步地，步骤S3的具体实现过程为：
首先，计算从所有输入电极通道获取的表面肌电信号数据在类似手势识别任务中的总贡献，任务的总贡献是指将所有通道信号输入识别模型后得到的输出f(C)与无输入时得到的输出之间的差异，所有通道的总贡献可以计算为：
其中，表示零输入；/>表示第n个输入电极通道的沙普利值，n＝1,2,...,N，N表示输入电极通道的总数；
然后，由N个输入电极通道所获得的总贡献必须公平地分配给每个通道，采用沙普利值作为衡量通道参与或不参与识别任务时，每个通道对手势识别性能的影响，每个通道的沙普利值是通过加权和聚合所有电极通道的可能组合来计算的，基于此，每个通道的沙普利值表示其对相似手势识别任务的贡献，可以计算为
其中，N表示电极通道的总数；S表示参与游戏交互的通道的数量；v(S)表示S的贡献值；v(S∪{n})-v(S)表示通道N对参与S的边际贡献；|S|！表示参与游戏交互的通道数量的数值阶乘；|N|！表示电极通道的总数的数值阶乘；|S|表示参与游戏交互的通道数量；|N|表示电极通道的总数；N\{n}表示集合N去掉元素n后的集合；
在识别相似手势的任务中，沙普利值的计算过程是由表面肌电信号电极通道之间的游戏交互作用决定的，为了确保准确估计每个通道的贡献，采用一种排列和组合技术，保证游戏中所有通道之间的交互的覆盖，具体来说，对长度范围从1到N内的所有可能的长度组合进行计算，每个组合都对应于一轮的游戏互动；
对于每一轮的游戏交互，根据相应的组合设置输入电极通道，作为组合的一部分的通道保持不变，而未包含的通道被设置为0，然后使用这些输入数据进行手势识别，并在深度神经网络中应用softmax层之前结果的预测矩阵，该矩阵由这一轮中不同渠道的得分组成，作为贡献值v(S)，在计算所有可行组合和贡献值后，基于公式(6)计算手势识别各通道的沙普利值，每个通道的沙普利值反映了其对识别相似手势的任务的贡献，并考虑到所有可能的通道联盟及其边际贡献；
最后得到每种手势类型的一个沙普利值数组，所有的手势数组都构成了一个矩阵，通过分析该矩阵中的沙普利值，可以实现对输入电极通道和相似手势识别之间的关系的全局解释，涉及到识别手势的每个通道的贡献可以计算为
其中，In表示第n个输入电极通道的平均沙普利值，表示其对手势识别的贡献；X表示数据集中的样本数；表示第n个输入电极通道的沙普利值，通过分析第j个样本来确定；
通过上述步骤，最终分析每个输入电极通道在相似手势识别中的贡献，计算结果的准确性可以通过公式(5)进行验证。
进一步地，步骤S4的具体实现过程为：
在全局解释分析之后，计算出输入电极通道n的贡献率，然后利用公式(8)进行归一化，从而得到每个手势的贡献率Cn，该比率反映了不同电极通道在相似手势识别任务中的不同重要程度；其中，
表示第n个输入电极通道的沙普利值，n∈[1,N]；/>表示第t个输入电极通道的沙普利值，t＝1,2,...,N；
通过使用每个电极通道的贡献率作为数据增强的权重来优化识别模型，具体地说，使用贡献率作为对识别模型输入部分的反馈，应用于深度神经网络的第一卷积层，如公式(9)所示：
通过将权值纳入卷积核中，可以增强从关键电极通道获得的数据，从而指导识别模型专注于学习这段数据；
此外，模型反馈还需要对模型参数进行微调，在微调阶段，所有的卷积层都是固定的，只有最后一个完全连接的层是可调的，这确保了在再训练过程中只有一小部分参数得到了优化；通过此训练过程得到的识别模型，可以有效地提高对相似手势的识别性能。
一种存储设备，所述存储设备存储指令及数据用于实现一种基于可解释深度学习的表面肌电信号相似手势识别方法。
一种基于可解释深度学习的表面肌电信号相似手势识别设备，包括：处理器及所述存储设备；所述处理器加载并执行所述存储设备中的指令及数据用于实现一种基于可解释深度学习的表面肌电信号相似手势识别方法。
本发明提供的技术方案带来的有益效果是：本发明首先进行表面肌电信号采集及预处理，基于深度学习搭建识别模型，利用深度神经网络自动提取特征，而并非人工提取肌电特征，提高了识别模型的识别效率，使识别模型更具便捷；然后对所述识别模型引入可解释性分析，开发了一种新的基于沙普利值的解决方案，用于精确识别和区分类似的手势，它强调了表面肌电图电极通道在识别过程中的影响，利用沙普利值量化每个通道对识别相似手势的贡献，该方法提供了可解释的分析，增强了对识别过程的理解，并作为提高识别性能的反馈；对引入了可解释性分析的识别模型进行优化；最后利用优化后的识别模型对实际获取的表面肌电信号进行识别。通过对识别过程做了可解释性分析，分析了特征相关性与输入特征的重要性归因。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明实施例中一种基于可解释深度学习的表面肌电信号相似手势识别方法的流程图。
图2是本发明实施例中硬件设备工作的示意图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
本发明的实施例提供了一种基于可解释深度学习的表面肌电信号相似手势识别方法。
请参考图1，图1是本发明实施例中一种基于可解释深度学习的表面肌电信号相似手势识别方法的流程图，具体包括：
步骤一：表面肌电信号采集及预处理
表面肌电信号是一种肌肉收缩时伴随的电信号，同时是一种具有非平稳性、低信噪比和多通道等特征的生物信号。表面肌电信号的每个通道反映了周围区域肌肉活动的合成，有效提取这些信号的特征是准确手势识别的关键。
将N个表面肌电信号传感器连接到前臂进行信号采集，在对N个表面肌电信号传感器采集到的表面肌电信号进行去噪处理。采集的时间为T，采集频率为F，可以得到TF×N的数据矩阵。该矩阵的列号表示表面肌电号传感器对应的电极号，行数是采样时间和频率的乘积。数据矩阵的每一行分配一个与所执行的手势对应的标签。每一行都被标记为i，表示在那一刻执行的手势动作种类。
为了检测表面肌电图数据中的活动段，根据标签i将其分为动作模式(i≠0)和休息模式(i＝0)。扫描每一行的标签，将标记为i＝0的数据分类为休息模式，而非零标签对应的数据分类为动作模式。
设置一个M×N大小的分析窗口来分析表面肌电图数据。只选择动作模式的数据，并将分析窗口的滑动步长设置为s。具有相同手势标签i的M×N数组被认为是有效数据，该数组的标签定义为i。数组的数量K可以计算为
其中，M表示设置的分析窗口的宽度；N表示设置的分析窗口的长度，N的大小为采集电极的个数；
每个数组被转换为一个M×N矩阵Ak，其中k∈(1，K)。然后对矩阵Ak进行归一化，并将其值映射到(0,255)的范围。可以计算为
其中，minAk表示映射范围内的最小值，maxAk表示映射范围内的最大值；表示矩阵Ak数值映射到(0，255)之后的新的矩阵，该矩阵为转化灰度图像所需的矩阵；
将带有手势标签i的有效阵列数据转换为K个灰度图像，每个图像的大小都为M×N。为了提高相似手势识别的精度，将三个相邻的具有相同手势标签的灰度图像组合起来，形成一个三维彩色图像，得到一个表面肌电信号彩色图像的数据集。
步骤二：基于深度学习的识别模型搭建
为了使用表面肌电信号彩色图像识别类似的手势，需要开发一个深度神经网络模型，其中包括卷积层、全连接层、softmax层。该模型以表面肌电信号彩色图像作为输入，并利用深度学习技术来识别这些图像中的模式。
采用图像级深度卷积神经网络架构，从表面肌电信号彩色图像中提取特征。第l个卷积层接受输入α(l)，并通过将α(l)与卷积核ω(l)进行卷积而产生输出O(l)。卷积核的感受野大小为A×B，滑动长度为z，偏差项记为β(l)。卷积层执行的计算为
式中：
x——图像中的第x行；
y——图像中的第y列；
*——卷积运算；
——第l个卷积层的输入；
——第l层卷积核在感受野A×B中的第a行，第b列的值的大小；
a和b——在感受野A×B中的第a行，第b列；
基于交叉熵的损失函数定义为
式中：
pi——手势i的实际输出概率；
qi——手势i的期望输出概率；
该损失函数用于在离线训练阶段对识别模型进行训练，确保分类器能够准确地预测与表面肌电信号彩色图像相关的每个手势。
步骤三：深度学习模型的可解释性分析
可解释性是指，让人工智能中的神经网络具有清晰的符号化的内部知识表达，匹配人类自身的知识框架，从而使人们可以在语义层面对神经网络进行诊断与修改。本发明将基于沙普利值的可解释方法引入识别模型，该方法为理解输入特征在识别相似手势中的贡献和意义提供了有效途径。通过将每个表面肌电信号的电极通道视为游戏中的“玩家”，可以用博弈论来解释识别结果。沙普利值代表一个通道在所有可能联盟中的边际贡献的加权平均值，可用来解释这些结果。
首先，计算从所有输入电极通道获取的表面肌电信号数据在类似手势识别任务中的总贡献。具体来说，任务的总贡献是指将所有通道信号输入识别模型后得到的输出f(C)与无输入时得到的输出之间的差异。所有通道的总贡献可以计算为
式中：
——零输入；
——第n个输入电极通道的沙普利值；
然后，由N个输入电极通道所获得的总贡献必须公平地分配给每个通道。在本发明中，采用沙普利值作为衡量通道参与或不参与识别任务时，每个通道对手势识别性能的影响。每个通道的沙普利值是通过加权和聚合所有电极通道的可能组合来计算的。基于此，每个通道的沙普利值表示其对相似手势识别任务的贡献，可以计算为
式中：
N——所有电极通道的集合；
S——参与游戏交互的通道的集合；
v(S)——S的贡献值；
v(S∪{n})-v(S)——通道N对参与S的边际贡献；
|S|！——参与游戏交互的通道数量的数值阶乘；
|N|！——电极通道的总数的数值阶乘；
|S|——参与游戏交互的通道数量；
|N|——电极通道的总数；
N\{n}——集合N去掉元素n后的集合；
在识别相似手势的任务中，沙普利值的计算过程是由表面肌电信号电极通道之间的游戏交互作用决定的。为了确保准确估计每个通道的贡献，采用一种排列和组合技术，保证游戏中所有通道之间的交互的覆盖。具体来说，对长度范围从1到N内的所有可能的长度组合进行计算。其中N是电极的总数，每个组合都对应于一轮的游戏互动。
对于每一轮的游戏交互，根据相应的组合设置输入电极通道。作为组合的一部分的通道保持不变，而未包含的通道被设置为0。然后使用这些输入数据进行手势识别，并在深度神经网络中应用softmax层之前结果的预测矩阵。该矩阵由这一轮中不同渠道的得分组成，作为贡献值v(S)。在计算所有可行组合和贡献值后，基于公式(6)计算手势识别各通道的沙普利值。每个通道的沙普利值反映了其对识别相似手势的任务的贡献，并考虑到所有可能的通道联盟及其边际贡献。通过计算每个通道的沙普利值，可以更好地理解每个通道在识别任务中的相对重要性。
最后得到每种手势类型的一个沙普利值数组，所有的手势数组都构成了一个矩阵。通过分析该矩阵中的沙普利值，可以实现对输入电极通道和相似手势识别之间的关系的全局解释。涉及到识别手势的每个通道的贡献可以计算为
式中：
In——第n个输入电极通道的平均沙普利值，表示其对手势识别的贡献；
X——数据集中的样本数；
——第n个输入电极通道的沙普利值，通过分析第j个样本来确定；
通过上述步骤，最终分析每个输入电极通道在相似手势识别中的贡献。计算结果的准确性可以通过公式(5)进行验证。
步骤四：识别模型的优化
在全局解释分析之后，可以计算出输入电极通道n的贡献率，然后利用公式(8)进行归一化，从而得到每个手势的贡献率Cn。该比率反映了不同电极通道在相似手势识别任务中的不同重要程度。
其中，表示第n个输入电极通道的沙普利值，n＝1,2,...,N；/>表示第t个输入电极通道的沙普利值，t＝1,2,...,N；
这里就相当于拿每一个电极通道的贡献值除以总的贡献值，进而算出每一个电极通道的贡献率。
通过使用每个电极通道的贡献率作为数据增强的权重来优化识别模型。具体地说，使用贡献率作为对模型输入部分的反馈。将该方法应用于深度神经网络的第一卷积层，如公式(9)所示，通过将权值纳入卷积核中，可以增强从关键电极通道获得的数据，从而指导识别模型专注于学习这段数据。
此外，模型反馈还需要对模型参数进行微调。在微调阶段，所有的卷积层都是固定的，只有最后一个完全连接的层是可调的。这确保了在再训练过程中只有一小部分参数得到了优化。通过此训练过程得到的识别模型，可以有效地提高对相似手势的识别性能。
请参见图2，图2是本发明实施例的硬件设备工作示意图，所述硬件设备具体包括：一种基于可解释深度学习的表面肌电信号相似手势识别设备401、处理器402及存储设备403。
一种基于可解释深度学习的表面肌电信号相似手势识别设备401：所述一种基于可解释深度学习的表面肌电信号相似手势识别设备401实现所述一种基于可解释深度学习的表面肌电信号相似手势识别方法。
处理器402：所述处理器402加载并执行所述存储设备403中的指令及数据用于实现所述一种基于可解释深度学习的表面肌电信号相似手势识别方法。
存储设备403：所述存储设备403存储指令及数据；所述存储设备403用于实现所述一种基于可解释深度学习的表面肌电信号相似手势识别方法。
本发明的有益效果是：本发明首先进行表面肌电信号采集及预处理，基于深度学习搭建识别模型，利用深度神经网络自动提取特征，而并非人工提取肌电特征，提高了识别模型的识别效率，使识别模型更具便捷；然后对所述识别模型引入可解释性分析，开发了一种新的基于沙普利值的解决方案，用于精确识别和区分类似的手势，它强调了表面肌电图电极通道在识别过程中的影响，利用沙普利值量化每个通道对识别相似手势的贡献，该方法提供了可解释的分析，增强了对识别过程的理解，并作为提高识别性能的反馈；对引入了可解释性分析的识别模型进行优化；最后利用优化后的识别模型对实际获取的表面肌电信号进行识别。通过对识别过程做了可解释性分析，分析了特征相关性与输入特征的重要性归因。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于可解释深度学习的表面肌电信号相似手势识别方法，其特征在于：包括：
S1：采集表面肌电信号并进行预处理；
S2：根据处理后的表面肌电信号，基于深度学习搭建识别模型；
S3：对所述识别模型引入可解释性分析；
S4：对引入了可解释性分析的识别模型进行优化；
S5：利用优化后的识别模型对实际获取的表面肌电信号进行识别。
2.如权利要求1所述的一种基于可解释深度学习的表面肌电信号相似手势识别方法，其特征在于：步骤S1中，表面肌电信号采集及预处理的过程为：
将N个表面肌电信号传感器连接到前臂进行信号采集，在对N个表面肌电信号传感器采集到的表面肌电信号进行去噪处理；设置采集的时间为T，采集频率为F，可以得到TF×N的数据矩阵；该矩阵的列号表示表面肌电号传感器对应的电极号，行数是采样时间和频率的乘积；数据矩阵的每一行分配一个与所执行的手势对应的标签；每一行都被标记为i，表示在那一刻执行的手势动作种类；
为了检测表面肌电图数据中的活动段，根据标签i将其分为动作模式和休息模式，扫描每一行的标签，将标记为i＝0的数据分类为休息模式，而非零标签对应的数据分类为动作模式；
设置一个M×N大小的分析窗口来分析表面肌电图数据，只选择动作模式的数据，并将分析窗口的滑动步长设置为s，具有相同手势标签i的M×N数组被认为是有效数据，该数组的标签定义为i，数组的数量K可以计算为：
其中，M表示设置的分析窗口的宽度；N表示设置的分析窗口的长度；
每个数组被转换为一个M×N矩阵Ak，其中k∈(1，K)，然后对矩阵Ak进行归一化，并将其值映射到(0,255)的范围，可以计算为
其中，minAk表示映射范围内的最小值，maxAk表示映射范围内的最大值；表示矩阵Ak数值映射到(0，255)之后的新的矩阵，该矩阵为转化灰度图像所需的矩阵；
将带有手势标签i的有效阵列数据转换为K个灰度图像，每个图像的大小都为M×N，为了提高相似手势识别的精度，将三个相邻的具有相同手势标签的灰度图像组合起来，形成一个三维彩色图像，得到一个表面肌电信号彩色图像的数据集。
3.如权利要求2所述的一种基于可解释深度学习的表面肌电信号相似手势识别方法，其特征在于：步骤S2中，采用图像级深度卷积神经网络架构，建立识别模型，以表面肌电信号彩色图像作为输入，并利用深度学习技术来识别这些图像中的模式；该识别模型包括卷积层、全连接层和softmax层；
从表面肌电信号彩色图像中提取特征，第l个卷积层接受输入α(l)，并通过将α(l)与卷积核ω(l)进行卷积而产生输出O(l)；卷积核的感受野大小为A×B，滑动长度为z，偏差项记为β(l)，卷积层执行的计算为：
其中，x表示图像中的第x行；y表示图像中的第y列；*表示卷积运算；表示第l个卷积层的输入；/>表示第l层卷积核在感受野A×B中的第a行，第b列的值的大小；a和b表示在感受野A×B中的第a行，第b列；
基于交叉熵的损失函数定义为：
其中，pi表示手势i的实际输出概率；qi表示手势i的期望输出概率；
该损失函数用于在离线训练阶段对识别模型进行训练，以确保该识别模型能够准确地预测与表面肌电信号彩色图像相关的每个手势。
4.如权利要求3所述的一种基于可解释深度学习的表面肌电信号相似手势识别方法，其特征在于：步骤S3的具体实现过程为：
首先，计算从所有输入电极通道获取的表面肌电信号数据在类似手势识别任务中的总贡献，任务的总贡献是指将所有通道信号输入识别模型后得到的输出f(C)与无输入时得到的输出之间的差异，所有通道的总贡献的计算公式为：
其中，表示零输入；/>表示第n个输入电极通道的沙普利值，n＝1,2,...,N，N表示输入电极通道的总数；
然后，由N个输入电极通道所获得的总贡献必须公平地分配给每个通道，采用沙普利值作为衡量通道参与或不参与识别任务时，每个通道对手势识别性能的影响，每个通道的沙普利值是通过加权和聚合所有电极通道的可能组合来计算的，基于此，每个通道的沙普利值表示其对相似手势识别任务的贡献，计算公式为：
其中，N表示电极通道的总数；S表示参与游戏交互的通道的数量；v(S)表示S的贡献值；v(S∪{n})-v(S)表示通道N对参与S的边际贡献；|S|！表示参与游戏交互的通道数量的数值阶乘；|N|！表示电极通道的总数的数值阶乘；|S|表示参与游戏交互的通道数量；|N|表示电极通道的总数；N\{n}表示集合N去掉元素n后的集合；
在识别相似手势的任务中，沙普利值的计算过程是由表面肌电信号电极通道之间的游戏交互作用决定的，对长度范围从1到N内的所有可能的长度组合进行计算，每个组合都对应于一轮的游戏互动；
对于每一轮的游戏交互，根据相应的组合设置输入电极通道，作为组合的一部分的通道保持不变，而未包含的通道被设置为0，然后使用这些输入数据进行手势识别，并在深度神经网络中应用softmax层之前结果的预测矩阵，该矩阵由这一轮中不同渠道的得分组成，作为贡献值v(S)，在计算所有可行组合和贡献值后，基于公式(6)计算手势识别各通道的沙普利值，每个通道的沙普利值反映了其对识别相似手势的任务的贡献，并考虑到所有可能的通道联盟及其边际贡献；
最后得到每种手势类型的一个沙普利值数组，所有的手势数组都构成了一个矩阵，通过分析该矩阵中的沙普利值，实现对输入电极通道和相似手势识别之间的关系的全局解释，识别手势的每个通道的贡献的计算公式为：
其中，In表示第n个输入电极通道的平均沙普利值，表示其对手势识别的贡献；X表示数据集中的样本数；表示第n个输入电极通道的沙普利值，通过分析第j个样本来确定；
通过上述步骤，最终分析每个输入电极通道在相似手势识别中的贡献，计算结果的准确性可以通过公式(5)进行验证。
5.如权利要求4所述的一种基于可解释深度学习的表面肌电信号相似手势识别方法，其特征在于：步骤S4的具体实现过程为：
在全局解释分析之后，计算出输入电极通道n的贡献率，然后利用公式(8)进行归一化，从而得到每个手势的贡献率Cn，该比率反映了不同电极通道在相似手势识别任务中的不同重要程度；其中，
表示第n个输入电极通道的沙普利值，n∈[1,N]；/>表示第t个输入电极通道的沙普利值，t＝1,2,...,N；
通过使用每个电极通道的贡献率作为数据增强的权重来优化识别模型，具体地说，使用贡献率作为对识别模型输入部分的反馈，应用于深度神经网络的第一卷积层，如公式(9)所示：
通过将权值纳入卷积核中，增强从关键电极通道获得的数据，从而指导识别模型专注于学习这段数据；
此外，模型反馈还需要对模型参数进行微调，在微调阶段，所有的卷积层都是固定的，只有最后一个完全连接的层是可调的，这确保了在再训练过程中只有一小部分参数得到了优化。
6.一种存储设备，其特征在于：所述存储设备存储指令及数据用于实现权利要求1～5任一项所述的基于可解释深度学习的表面肌电信号相似手势识别方法。
7.一种基于可解释深度学习的表面肌电信号相似手势识别设备，其特征在于：
包括：处理器及存储设备；所述处理器加载并执行所述存储设备中的指令及数据用于实现权利要求1～5任一项所述的基于可解释深度学习的表面肌电信号相似手势识别方法。
CN202311272367.4A 2023-09-27 2023-09-27 基于可解释深度学习的表面肌电信号相似手势识别方法 Pending CN117312985A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311272367.4A CN117312985A (zh) 2023-09-27 2023-09-27 基于可解释深度学习的表面肌电信号相似手势识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311272367.4A CN117312985A (zh) 2023-09-27 2023-09-27 基于可解释深度学习的表面肌电信号相似手势识别方法

Publications (1)

Publication Number Publication Date
CN117312985A true CN117312985A (zh) 2023-12-29

Family

ID=89280701

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311272367.4A Pending CN117312985A (zh) 2023-09-27 2023-09-27 基于可解释深度学习的表面肌电信号相似手势识别方法

Country Status (1)

Country Link
CN (1) CN117312985A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117742502A (zh) * 2024-02-08 2024-03-22 安徽大学 一种基于电容、距离传感器的双模态手势识别系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108388348A (zh) * 2018-03-19 2018-08-10 浙江大学 一种基于深度学习和注意力机制的肌电信号手势识别方法
CN116579480A (zh) * 2023-05-15 2023-08-11 东南大学 一种基于沙普利反馈机制的轨迹预测模型优化方法
US20230281047A1 (en) * 2022-03-07 2023-09-07 University Of Florida Research Foundation, Incorporated Hardware acceleration of explainable machine learning

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108388348A (zh) * 2018-03-19 2018-08-10 浙江大学 一种基于深度学习和注意力机制的肌电信号手势识别方法
US20230281047A1 (en) * 2022-03-07 2023-09-07 University Of Florida Research Foundation, Incorporated Hardware acceleration of explainable machine learning
CN116579480A (zh) * 2023-05-15 2023-08-11 东南大学 一种基于沙普利反馈机制的轨迹预测模型优化方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
杨亚慧: "基于卷积神经网络的表面肌电信号手势识别", 《微型机与应用》, 31 December 2017 (2017-12-31), pages 63 - 65 *
杨佳妮: "基于运动生理学机制的肌电手势识别建模", 《中国优秀硕士学位论文全文数据库（硕士）信息科技辑》, 15 December 2022 (2022-12-15), pages 1 - 5 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117742502A (zh) * 2024-02-08 2024-03-22 安徽大学 一种基于电容、距离传感器的双模态手势识别系统及方法
CN117742502B (zh) * 2024-02-08 2024-05-03 安徽大学 一种基于电容、距离传感器的双模态手势识别系统及方法

Similar Documents

Publication Publication Date Title
Christodoulou et al. Unsupervised pattern recognition for the classification of EMG signals
EP3836836B1 (en) Real-time spike detection and identification
Yang et al. Surface EMG based handgrip force predictions using gene expression programming
CN110826625B (zh) 一种基于表面肌电信号的手指手势分类方法
CN110333783B (zh) 一种用于鲁棒肌电控制的无关手势处理方法及系统
CN109598219B (zh) 一种用于鲁棒肌电控制的自适应电极配准方法
Thenmozhi et al. Feature selection using extreme gradient boosting Bayesian optimization to upgrade the classification performance of motor imagery signals for BCI
CN117312985A (zh) 基于可解释深度学习的表面肌电信号相似手势识别方法
CN113111831A (zh) 一种基于多模态信息融合的手势识别技术
CN111401166A (zh) 基于肌电信息解码的鲁棒手势识别方法
CN114548165A (zh) 一种可跨用户的肌电模式分类方法
AlOmari et al. Novel hybrid soft computing pattern recognition system SVM–GAPSO for classification of eight different hand motions
CN114569143A (zh) 一种基于注意力机制与多特征融合的肌电手势识别方法
Emimal et al. Classification of EMG signals with CNN features and voting ensemble classifier
Zanghieri sEMG-based Hand gesture recognition with deep learning
Wang et al. Explainable deep learning for sEMG-based similar gesture recognition: A Shapley-value-based solution
Song et al. Automatic identification of atrial fibrillation based on the modified Elman neural network with exponential moving average algorithm
Fonseca et al. Artificial neural networks applied to the classification of hand gestures using eletromyographic signals
Lin et al. DSDAN: Dual-Step Domain Adaptation Network Based on Bidirectional Knowledge Distillation for Cross-User Myoelectric Pattern Recognition
Gallón et al. Comparison of machine learning algorithms and feature extraction techniques for the automatic detection of surface EMG activation timing
Xue et al. SEMG based intention identification of complex hand motion using nonlinear time series analysis
Vasiliev et al. Robust neural network filtering in the tasks of building intelligent interfaces
Alagarsamy et al. Performing the classification of pulsation cardiac beats automatically by using CNN with various dimensions of kernels
Kurzynski et al. Multiclassifier system using class and interclass competence of base classifiers applied to the recognition of grasping movements in the control of bioprosthetic hand
CN113456065B (zh) 肢体动作识别方法、装置、系统以及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination