CN111209885B - 一种手势信息处理方法、装置、电子设备及存储介质 - Google Patents

一种手势信息处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111209885B
CN111209885B CN202010033904.XA CN202010033904A CN111209885B CN 111209885 B CN111209885 B CN 111209885B CN 202010033904 A CN202010033904 A CN 202010033904A CN 111209885 B CN111209885 B CN 111209885B
Authority
CN
China
Prior art keywords
recognition model
gesture
gesture recognition
different
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010033904.XA
Other languages
English (en)
Other versions
CN111209885A (zh
Inventor
洪晓林
郑青青
王新民
马锴
郑冶枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010033904.XA priority Critical patent/CN111209885B/zh
Publication of CN111209885A publication Critical patent/CN111209885A/zh
Priority to PCT/CN2020/130567 priority patent/WO2021143353A1/zh
Priority to US17/580,545 priority patent/US11755121B2/en
Application granted granted Critical
Publication of CN111209885B publication Critical patent/CN111209885B/zh
Priority to US18/227,857 priority patent/US20230376120A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G06F2218/04—Denoising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本发明提供了一种手势信息处理方法、装置、电子设备及存储介质，包括：确定手势信息使用环境中的肌电信号收集目标对象；通过固定窗口值和固定步长的滑动窗口截取肌电信号样本，形成目标对象的不同肌电信号，并对目标对象的不同肌电信号进行除噪处理；对经过除噪处理的不同肌电信号进行识别，确定不同肌电信号所表征的手势信息的概率；对不同肌电信号所表征的手势信息的概率进行加权处理，以确定与目标对象相匹配的手势信息。本发明能够实现对不同使用环境中的手势信息进行准确及时地识别，同时对自动提取的肌电信号特征的鲁棒性更强，从而提升了表面肌电信号分类准确率，并且减少了噪声对于手势信息识别的干扰，提升了用户的使用体验。

Description

一种手势信息处理方法、装置、电子设备及存储介质
技术领域
本发明涉及信息处理技术，尤其涉及一种手势信息处理方法、装置、电子设备及存储介质。
背景技术
手势动作是人类最基本的交流的方式，通过手势可以实现不同的动作，肌电信号是众多肌纤维中运动单元动作电位(MUAP Motor Unit Action Potential)在时间和空间上的叠加。用肌电仪记录下来的肌电信号，由记录方式的不同可以分为：表面肌电信号和针电极肌电信号，它们都包含了肌肉的解剖学和生理学特性。表面肌电信号(sEMG surfaceElectromyography)是浅层肌肉肌电信号和神经干上电活动在皮肤表面的综合效应，能在一定程度上反映神经肌肉的活动。相对于针电极肌电信号，表面肌电信号在测量上具有非侵入性、无创伤、操作简单等优点。因而，表面肌电信号在临床医学、康复医学与人机接口等方面均有重要的应用价值，传统的基于肌电信号进行手势识别技术通常都使用视觉传感器的手势识别(普通摄像头，深度摄像头等)和基于可穿戴式传感器(数据手套等)。但由于可穿戴式传感器的不便性与识别延迟性无法及时准确地对用户的手势进行识别。
发明内容
有鉴于此，本发明实施例提供一种手势信息处理方法、装置、电子设备及存储介质，本发明实施例的技术方案是这样实现的：
本发明实施例提供了一种手势信息处理方法，所述方法包括：
确定手势信息使用环境中的肌电信号收集目标对象；
采集与所述肌电信号收集目标对象相匹配的肌电信号样本以及相应的手势信息标签；
通过固定窗口值和固定步长的滑动窗口截取所述肌电信号样本，形成所述目标对象的不同肌电信号，并对所述目标对象的不同肌电信号进行除噪处理；
基于所述手势信息标签，对经过除噪处理的不同肌电信号进行识别，确定所述不同肌电信号所表征的手势信息的概率；
对所述不同肌电信号所表征的手势信息的概率进行加权处理，以确定与所述目标对象相匹配的手势信息。
上述方案中，所述方法还包括：
获取第一训练样本集合，其中所述第一训练样本集合包括至少一组肌电信号样本以及相应的手势信息标签；
对所述第一训练样本集合进行去噪处理，以形成相应的第二训练样本集合；
确定所述手势识别模型中第一神经网络模型的初始参数；
基于所述第一神经网络模型的初始参数，通过所述手势识别模型对所述第二训练样本集合进行处理，确定所述手势识别模型的不同神经网络对应的更新参数；
根据所述手势识别模型的不同神经网络对应的更新参数，通过所述第二训练样本集合对所述手势识别模型的第一神经网络模型的参数进行迭代更新，以实现通过所述手势识别模型对不同手势信息进行识别。
本发明实施例还提供了一种手势信息处理装置，所述装置包括：
信息处理模块，用于确定手势信息使用环境中的肌电信号收集目标对象；
第一信息传输模块，用于采集与所述肌电信号收集目标对象相匹配的肌电信号样本以及相应的手势信息标签；
所述信息处理模块，用于通过固定窗口值和固定步长的滑动窗口截取所述肌电信号样本，形成所述目标对象的不同肌电信号，并对所述目标对象的不同肌电信号进行除噪处理；
所述信息处理模块，用于基于所述手势信息标签，对经过除噪处理的不同肌电信号进行识别，确定所述不同肌电信号所表征的手势信息的概率；
所述信息处理模块，用于对所述不同肌电信号所表征的手势信息的概率进行加权处理，以确定与所述目标对象相匹配的手势信息。
上述方案中，
所述信息处理模块，用于确定与所述手势识别模型的使用环境相匹配的动态噪声阈值；
所述信息处理模块，用于根据所述动态噪声阈值对所述不同肌电信号进行去噪处理，以形成与所述动态噪声阈值相匹配的动态噪声肌电信号。
上述方案中，
所述信息处理模块，用于确定与所述手势识别模型相对应的固定噪声阈值，并根据所述固定噪声阈值对所述不同肌电信号进行去噪处理，以形成与所述固定噪声阈值相匹配的固定噪声肌电信号。
上述方案中，
所述信息处理模块，用于当所述手势识别模型的使用环境为机械骨骼时，确定相应的肌电信号的特征；
所述信息处理模块，用于根据所述肌电信号的特征，确定所述手势识别模型中的第一神经网络模型中不同网络的输出尺寸大小以及相应的卷积核数量；
所述信息处理模块，用于根据所机械骨骼的特征，对所述第一神经网络模型的时间卷积层网络、空间卷积层网络、全连接层网络和残差模块网络的数量进行调整，以实现所述手势识别模型的初始化参数与所述机械骨骼的特征相匹配。
上述方案中，所述装置还包括：
第二信息传输模块，用于获取第一训练样本集合，其中所述第一训练样本集合包括至少一组肌电信号样本以及相应的手势信息标签；
训练模块，用于对所述第一训练样本集合进行去噪处理，以形成相应的第二训练样本集合；
所述训练模块，用于确定所述手势识别模型中第一神经网络模型的初始参数；
所述训练模块，用于基于所述第一神经网络模型的初始参数，通过所述手势识别模型对所述第二训练样本集合进行处理，确定所述手势识别模型的不同神经网络对应的更新参数；
所述训练模块，用于根据所述手势识别模型的不同神经网络对应的更新参数，通过所述第二训练样本集合对所述手势识别模型的第一神经网络模型的参数进行迭代更新，以实现通过所述手势识别模型对不同手势信息进行识别。
上述方案中，
所述训练模块，用于确定与所述手势识别模型的使用环境相匹配的动态噪声阈值；
所述训练模块，用于根据所述动态噪声阈值对所述第一训练样本集合进行去噪处理，以形成与所述动态噪声阈值相匹配的第二训练样本集合；
所述训练模块，用于确定与所述手势识别模型相对应的固定噪声阈值，并根据所述固定噪声阈值对所述第一训练样本集合进行去噪处理，以形成与所述固定噪声阈值相匹配的第二训练样本集合。
上述方案中，
所述训练模块，用于根据所述手势识别模型的使用环境确定相应的训练样本收集对象；
所述训练模块，用于采集与所述训练样本收集对象相匹配的肌电信号样本以及相应的手势信息标签；
所述训练模块，用于通过固定窗口值和固定步长的滑动窗口截取所述肌电信号样本，以形成所述第一训练样本集合。
上述方案中，
所述训练模块，用于根据所述第一训练样本集合中的肌电信号的特征，确定所述第一神经网络模型中不同网络的输出尺寸大小以及相应的卷积核数量；
所述训练模块，用于根据所述手势识别模型的应用环境，对所述第一神经网络模型的时间卷积层网络、空间卷积层网络、全连接层网络和残差模块网络的数量进行调整，以实现所述手势识别模型的初始化参数与所述应用环境相匹配。
上述方案中，
所述训练模块，用于确定所述手势识别模型中第一神经网络模型所对应的分类损失函数和对比损失函数；
所述训练模块，用于根据所述分类损失函数和对比损失函数，确定与所述手势识别模型相匹配的融合损失函数，其中，所述融合损失函数用于达到相应收敛条件时，停止对所述手势识别模型的训练。
上述方案中，
所述训练模块，用于保持所述手势识别模型的初始参数不变，确定所述手势识别模型的输出结果；
所述训练模块，用于响应于所述手势识别模型的输出结果，将所述第二训练样本集合中不同训练样本，代入与所述手势识别模型相匹配的融合损失函数；
所述训练模块，用于确定所述融合损失函数满足收敛条件时对应所述手势识别模型中的不同网络的参数作为所述手势识别模型的更新参数。
上述方案中，
所述训练模块，用于基于所述第二训练样本集合，根据所述手势识别模型的不同神经网络对应的更新参数，对所述手势识别模型的不同神经网络所对应的参数分别进行迭代更新，直至所述势识别模型的不同神经网络所对应的损失函数满足对应的收敛条件。
上述方案中，
所述训练模块，用于获取同一目标对象的不同肌电信号，并对所述不同肌电信号进行除噪处理；
所述训练模块，用于通过所述手势识别模型基于所述手势信息标签，对经过除噪处理的不同肌电信号进行识别，确定所述不同肌电信号所表征的手势信息的概率；
所述训练模块，用于对所述不同肌电信号所表征的手势信息的概率进行加权处理，以确定与所述目标对象相匹配的手势信息。
本发明实施例还提供了一种电子设备，所述电子设备包括：
存储器，用于存储可执行指令；
处理器，用于运行所述存储器存储的可执行指令时，实现前序的手势信息处理方法。
本发明实施例还提供了一种计算机可读存储介质，存储有可执行指令，其特征在于，所述可执行指令被处理器执行时实现前序的手势信息处理方法。
本发明实施例具有以下有益效果：
通过本发明实施例所示的技术方案，通过确定手势信息使用环境中的肌电信号收集目标对象；采集与所述肌电信号收集目标对象相匹配的肌电信号样本以及相应的手势信息标签；通过固定窗口值和固定步长的滑动窗口截取所述肌电信号样本，形成所述目标对象的不同肌电信号，并对所述目标对象的不同肌电信号进行除噪处理；基于所述手势信息标签，对经过除噪处理的不同肌电信号进行识别，确定所述不同肌电信号所表征的手势信息的概率；对所述不同肌电信号所表征的手势信息的概率进行加权处理，以确定与所述目标对象相匹配的手势信息，由此，可以实现能够实现对不同使用环境中的手势信息进行准确及时地识别，同时对自动提取的肌电信号特征的鲁棒性更强，从而提升了表面肌电信号分类准确率，并且减少了噪声对于手势信息识别的干扰，提升了用户的使用体验。
附图说明
图1为本发明实施例中手势识别模型的应用环境示意图；
图2为本发明实施例提供的电子设备的组成结构示意图；
图3为传统方案中生成手势信息的过程示意图；
图4为传统方案中生成手势信息的过程示意图；
图5为本发明实施例提供的手势信息处理方法一个可选的流程示意图；
图6为本发明实施例提供的手势信息处理方法一个可选的流程示意图；
图7为本发明实施例提供的手势识别模型使用方法一个可选的流程示意图；
图8为本发明实施例中第一神经网络模型一个可选的结构示意图；
图9为本发明实施例中第一神经网络模型一个可选的结构示意图；
图10为本发明实施例中手势识别模型的应用环境示意图；
图11为本发明实施例提供的手势信息处理方法一个可选的流程示意图；
图12为本发明实施例提供的手势信息处理方法一个可选的流程示意图；
图13为本发明实施例提供的手势识别模型样本采集一个可选的示意图；
图14为本发明实施例提供的手势识别模型一个可选的模型结构示意图；
图15为本发明实施例提供的手势识别模型使用过程一个可选的流程示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。
1)人工神经网络：简称神经网络(Neural Network，NN)，在机器学习和认知科学领域，是一种模仿生物神经网络结构和功能的数学模型或计算模型，用于对函数进行估计或近似。
2)模型参数：是使用通用变量来建立函数和变量之间关系的一个数量。在人工神经网络中，模型参数通常是实数矩阵。
3)表面肌电图，Surface Electromyography(sEMG)，是指通过专用的肌电仪或多导生理仪对表面肌肉的生物电进行测量并记录得到的肌肉生物电图形。
4)残差网络Residual network(ResNet)：一种引入跳跃连接实现恒等映射的深度前馈神经网络。
5)Contrastive loss：对比损失函数，其可以学习一种映射关系，这种映射关系可以使得在高维空间中，相同类别但距离较远的点，通过函数映射到低维空间后，距离变近，不同类别但距离都较近的点，通过映射后再低维空间变得更远。这样的结果就是，在低维空间，同一种类的点会产生聚类的效果，不同种类的mean会隔开。类似fisher降维，但fisher降维不具有out-of-sample extension的效果，不能对new sample进行作用。
6)模型训练，对图像数据集进行多分类学习。该模型可采用TensorFlow、torch等深度学习框架进行构建，使用CNN等神经网络层的多层结合组成多分类模型。模型的输入为图像经过openCV等工具读取形成的三通道或原通道矩阵，模型输出为多分类概率，通过softmax等算法最终输出网页类别。在训练时，模型通过交叉熵等目标函数向正确趋势逼近。
7)响应于，用于表示所执行的操作所依赖的条件或者状态，当满足所依赖的条件或状态时，所执行的一个或多个操作可以是实时的，也可以具有设定的延迟；在没有特别说明的情况下，所执行的多个操作不存在执行先后顺序的限制。
8)客户端，终端中实现特定功能的载体，例如移动客户端(APP)是移动终端中特定功能的载体，例如执行用户手势识别的功能的程序。
9)Soft max：归一化指数函数，是逻辑函数的一种推广。它能将一个含任意实数的K维向量“压缩”到另一个K维实向量中，使得每一个元素的范围都在[0，1]之间，并且所有元素的和为1。
图1为本发明实施例中手势识别模型的应用环境示意图，其中，如图1所示，参考图1，终端(包括终端10-1和终端10-2)上设置有手势识别的客户端，可以采集不同用户的肌电样本；其中，人体执行不同的手势动作时，肌肉群在神经系统的协调下会产生不同的肌电信号。表面肌电图(sEMG)记录了人体肌肉皮肤表面的生物电信号，有效地捕捉了肌肉活动信息。通过对表面肌电图的手势分析，可解码出人体的手势动作意图。终端通过网络300连接服务器200，网络300可以是广域网或者局域网，又或者是二者的组合，使用无线链路实现数据传输。当然，终端10-1和终端10-2还可以表现为运行有手势识别模型的机械骨骼或者体感游戏机。通过将手势识别模型嵌入不同的硬件系统或者软件系统实现表面肌电信号的传输、解码及控制。例如1)与机械外骨骼结合的医疗系统可用于偏瘫、脊髓损伤患者手臂运动功能的主动式康复。2)和体育训练结合的监测系统可对肌肉的疲劳度、平衡度和使用效率进行实时评估，提高训练效率并减少训练损伤。3)和游戏结合的手势交互系统可实现人体通过手势运动来控制虚拟世界中物体的活动。
其中，终端(包括终端10-1和终端10-2)通过网络300从相应的服务器200中所获取的手势信息类型并不相同，例如：终端(包括终端10-1和终端10-2)既可以通过网络300从相应的服务器200中获取任意类型的手势信息，也可以通过网络300从相应的服务器200中获取仅与相应的控制指令相匹配的手势信息进行执行。在本发明的一些实施例中，服务器200中所保存的不同类型的手势信息可以是在不同编程语言的软件代码环境中所编写的，代码对象可以是不同类型的代码实体。例如，在C语言的软件代码中，一个代码对象可以是一个函数。在JAVA语言的软件代码中，一个代码对象可以是一个类，IOS端OC语言中可以是一段目标代码。在C++语言的软件代码中，一个代码对象可以是一个类或一个函数以执行来自于不同终端的肌电信号。其中本申请中不再对手势识别模型所要处理的手势信息的来源进行区分。
服务器200通过网络300向终端(终端10-1和/或终端10-2)发送不同类型的手势信息的过程中服务器200需要确定手势触发过程中所产生肌电信号进行识别，因此。作为一个事例，服务器200用于获获取同一目标对象的不同肌电信号，并对所述不同肌电信号进行除噪处理；通过所述手势识别模型基于所述手势信息标签，对经过除噪处理的不同肌电信号进行识别，确定所述不同肌电信号所表征的手势信息的概率；对所述不同肌电信号所表征的手势信息的概率进行加权处理，以确定与所述目标对象相匹配的手势信息。
当然，在使用服务器200中所运行的手势识别模型之前，还需要对相应的手势识别模型进行训练，以实现将训练完成的手势识别模型部署于在相应的服务器中，具体的，对于手势识别模型的训练过程包括：获取第一训练样本集合，其中所述第一训练样本集合包括至少一组肌电信号样本以及相应的手势信息标签；对所述第一训练样本集合进行去噪处理，以形成相应的第二训练样本集合；确定所述手势识别模型中第一神经网络模型的初始参数；基于所述第一神经网络模型的初始参数，通过所述手势识别模型对所述第二训练样本集合进行处理，确定所述手势识别模型的不同神经网络对应的更新参数；根据所述手势识别模型的不同神经网络对应的更新参数，通过所述第二训练样本集合对所述手势识别模型的第一神经网络模型的参数进行迭代更新，以实现通过所述手势识别模型对不同手势信息进行识别。
下面对本发明实施例的电子设备的结构做详细说明，电子设备可以各种形式来实施，如带有手势信息识别功能的专用终端，也可以为带有手势信息识别功能的电子设备，例如前述图1中的服务器200。图2为本发明实施例提供的电子设备的组成结构示意图，可以理解，图2仅仅示出了电子设备的示例性结构而非全部结构，根据需要可以实施图2示出的部分结构或全部结构。
本发明实施例提供的电子设备包括：至少一个处理器201、存储器202、用户接口203和至少一个网络接口204。电子设备中的各个组件通过总线系统205耦合在一起。可以理解，总线系统205用于实现这些组件之间的连接通信。总线系统205除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统205。
其中，用户接口203可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。
可以理解，存储器202可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。本发明实施例中的存储器202能够存储数据以支持终端(如10-1)的操作。这些数据的示例包括：用于在终端(如10-1)上操作的任何计算机程序，如操作系统和应用程序。其中，操作系统包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序可以包含各种应用程序。
在一些实施例中，本发明实施例提供的手势信息识别装置可以采用软硬件结合的方式实现，作为示例，本发明实施例提供的手势信息识别装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本发明实施例提供的手势信息识别方法。例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC，Application SpecificIntegrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)或其他电子元件。
作为本发明实施例提供的手势信息识别装置采用软硬件结合实施的示例，本发明实施例所提供的手势信息识别装置可以直接体现为由处理器201执行的软件模块组合，软件模块可以位于存储介质中，存储介质位于存储器202，处理器201读取存储器202中软件模块包括的可执行指令，结合必要的硬件(例如，包括处理器201以及连接到总线205的其他组件)完成本发明实施例提供的手势信息识别方法。
作为示例，处理器201可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
作为本发明实施例提供的手势信息识别装置采用硬件实施的示例，本发明实施例所提供的装置可以直接采用硬件译码处理器形式的处理器201来执行完成，例如，被一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，ComplexProgrammable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable GateArray)或其他电子元件执行实现本发明实施例提供的手势信息识别方法。
本发明实施例中的存储器202用于存储各种类型的数据以支持电子设备的操作。这些数据的示例包括：用于在电子设备上操作的任何可执行指令，如可执行指令，实现本发明实施例的从手势信息识别方法的程序可以包含在可执行指令中。
在另一些实施例中，本发明实施例提供的手势信息识别装置可以采用软件方式实现，图2示出了存储在存储器202中的手势信息识别装置2020，其可以是程序和插件等形式的软件，并包括一系列的模块，作为存储器202中存储的程序的示例，可以包括手势信息识别装置2020，手势信息识别装置2020中包括以下的软件模块：第一信息传输模块2081，信息处理模块2082。当手势信息识别装置2020中的软件模块被处理器201读取到RAM中并执行时，将实现本发明实施例提供的手势信息识别方法，下面对手势信息识别装置2020中各个软件模块的功能进行介绍：
信息处理模块2082，用于确定手势信息使用环境中的肌电信号收集目标对象；
第一信息传输模块2081，用于采集与所述肌电信号收集目标对象相匹配的肌电信号样本以及相应的手势信息标签；
所述信息处理模块2082，用于通过固定窗口值和固定步长的滑动窗口截取所述肌电信号样本，形成所述目标对象的不同肌电信号，并对所述目标对象的不同肌电信号进行除噪处理；
所述信息处理模块2082，用于基于所述手势信息标签，对经过除噪处理的不同肌电信号进行识别，确定所述不同肌电信号所表征的手势信息的概率；
所述信息处理模块2082，用于对所述不同肌电信号所表征的手势信息的概率进行加权处理，以确定与所述目标对象相匹配的手势信息。
结合图2示出的手势信息识别装置2020说明本发明实施例提供的手势信息处理方法，在介绍本发明实施例提供的手势信息处理方法之前，首先介绍本发明中手势识别模型根据肌电信号生成相应手势信息的过程中，图3为传统方案中生成手势信息的过程示意图，现有技术中可以基于PSD+Shallow ConvNet的sEMG分类首先通过计算原始表面肌电信号的功率谱密度(PSD)得到特征图，然后将特征图作为网络输入，使用卷积模块(卷积层、BatchNormalization层和最大池化层)提取PSD图谱中的时空特征，最终通过全连接及SoftMax得到对应的分类概率，或者，参考图4，图4为传统方案中生成手势信息的过程示意图，基于快速傅里叶变换(FFT fastFouriertransform)+主成分分析(PCAPrincipalComponentsAnalysis)+CNN的sEMG分类，以原始信号的频谱图为基础，通过PCA获取频谱图的前25个主成分，并将降维后的频谱图作为CNN的输入，使用一个卷积层提取其中的特征，最后通过全连接及SoftMax得到对应的分类概率。但是，现有技术中，基于PSD+Shallow ConvNet的sEMG分类算法由于需要人工提取特征信息，使得模型能学习到的特征有限，不足以拟合复杂的sEMG信号；而基于FFT+PCA+CNN的分类算法需要预先提取FFT特征以及经过主成分分析操作降低数据维度，不仅存在多个不确定超参数，也导致了特征提取和分类模型优化的目标不完全一致，无法进行实现端到端的信号解码。同时，现有的算法没有考虑过预测手势动作前后的连续性，也会导致实时预测手势稳定性较差，影响对用户连续手势的识别，影响用户的使用体验。
为解决上述问题，参考图5，结合图2示出的电子设备说明本发明实施例提供的手势信息处理方法，参见图5，图5为本发明实施例提供的手势信息处理方法一个可选的流程示意图，可以理解地，图5所示的步骤可以由运行手势信息处理装置的各种电子设备执行，例如可以是如带有手势信息识别功能的专用终端、电子设备或者电子设备集群。下面针对图5示出的步骤进行说明。
步骤501：手势信息处理装置获取第一训练样本集合。
其中所述第一训练样本集合包括至少一组肌电信号样本以及相应的手势信息标签。
步骤502：手势信息处理装置对所述第一训练样本集合进行去噪处理，以形成相应的第二训练样本集合。
在本发明的一些实施例中，对所述第一训练样本集合进行去噪处理，以形成相应的第二训练样本集合，可以通过以下方式实现：
确定与所述手势识别模型的使用环境相匹配的动态噪声阈值；根据所述动态噪声阈值对所述第一训练样本集合进行去噪处理，以形成与所述动态噪声阈值相匹配的第二训练样本集合。其中，由于手势识别模型的使用环境不同，与所述手势识别模型的使用环境相匹配的动态噪声阈值也不相同，例如，体感游戏中的机械手臂的使用环境中，终端所要识别并执行的手势信息与所述手势识别模型的使用环境相匹配的动态噪声阈值需要大于于精密机械手中的动态噪声阈值。
在本发明的一些实施例中，对所述第一训练样本集合进行去噪处理，以形成相应的第二训练样本集合，可以通过以下方式实现
确定与所述手势识别模型相对应的固定噪声阈值，并根据所述固定噪声阈值对所述第一训练样本集合进行去噪处理，以形成与所述固定噪声阈值相匹配的第二训练样本集合。其中，当手势识别模型固化于相应的硬件机构中，例如假肢系统或者体态监测系统中时，使用环境为大幅度手势动作的识别与触发时，由于噪声较为单一，通过固定手势识别模型相对应的固定噪声阈值，能够有效提升手势识别模型的训练速度，减少用户的等待时间，提升用户的使用体验。
在本发明的一些实施例中，手势信息处理方法还包括：
根据所述手势识别模型的使用环境确定相应的训练样本收集对象；采集与所述训练样本收集对象相匹配的肌电信号样本以及相应的手势信息标签；通过固定窗口值和固定步长的滑动窗口截取所述肌电信号样本，以形成所述第一训练样本集合。其中，用过确定相应的训练样本收集对象；采集与所述训练样本收集对象相匹配的肌电信号样本以及相应的手势信息标签，可以实现对特定领域中的目标所要使用的手势识别模型进行训练，以提升训练完成的手势识别模型的精确度。
步骤503：手势信息处理装置确定所述手势识别模型中第一神经网络模型的初始参数。
在本发明的一些实施例中，确定所述手势识别模型中第一神经网络模型的初始参数，可以通过以下方式实现：
根据所述第一训练样本集合中的肌电信号的特征，确定所述第一神经网络模型中不同网络的输出尺寸大小以及相应的卷积核数量；根据所述手势识别模型的应用环境，对所述第一神经网络模型的时间卷积层网络、空间卷积层网络、全连接层网络和残差模块网络的数量进行调整，以实现所述手势识别模型的初始化参数与所述应用环境相匹配。
在本发明的一些实施例中，手势信息处理方法还包括：
确定所述手势识别模型中第一神经网络模型所对应的分类损失函数和对比损失函数；根据所述分类损失函数和对比损失函数，确定与所述手势识别模型相匹配的融合损失函数，其中，所述融合损失函数用于达到相应收敛条件时，停止对所述手势识别模型的训练。
在本发明的一些实施例中，手势识别模型中的第一神经网络模型可以为训练好的神经网络，并且手势识别模型中的第一神经网络模型可以为规模较大的神经网络，例如：手势识别模型中的第一神经网络模型的网络参数的数量大于某一数值，但本发明实施例对此不作限定。可选地，手势识别模型中的第一神经网络模型可以为残差网络(ResNetResidual network)、卷积神经网络(CNN ConvolutionalNeural Network)、深度神经网络(DNN Deep Neural Network)或循环神经网络(RNN Recurrent Neural Network)等，本发明实施例对手势识别模型中的第一神经网络模型的类型不作限定。手势识别模型中的第一神经网络模型可以为适用于不同的计算机视觉任务的神经网络，例如：目标识别任务、目标分类任务、目标检测任务或姿态估计任务等。手势识别模型中的第一神经网络模型也可以为适用于不同的应用场景的神经网络，例如：安防监控场景、手势解锁场景、智能驾驶场景等，本发明实施例对手势识别模型中的第一神经网络模型的适用范围不作限定。可选地，手势识别模型中的第一神经网络模型的网络结构可以根据计算机视觉任务设计，或者，手势识别模型中的第一神经网络模型的网络结构可以采用现有的网络结构的至少一部分，例如：深度残差网络或者，视觉几何组网络(VGGNet Visual GeometryGroup Network)等，本发明实施例对手势识别模型中的第一神经网络模型的网络结构不作限定。
在本发明的一些实施例中，由于现有技术只用softmax loss作为模型的损失函数，但没有考虑到个体内同类信号差异。因此，本发明提出应用contrastive loss作为减小同类信号差异的损失，增加算法的鲁棒性。其中，还可以引入第二神经网络模型和第三神经网络模型，以分别确定用于评判手势信息分类的分类损失函数(classification loss)和对应的个体内部类间可分性的对比损失函数(contrastive loss)。
步骤504：手势信息处理装置基于所述第一神经网络模型的初始参数，通过所述手势识别模型对所述第二训练样本集合进行处理，确定所述手势识别模型的不同神经网络对应的更新参数。
步骤505：手势信息处理装置根据所述手势识别模型的不同神经网络对应的更新参数，通过所述第二训练样本集合对所述手势识别模型的第一神经网络模型的参数进行迭代更新。
由此，可以实现通过所述手势识别模型对不同手势信息进行识别。
继续参考图6，结合图2示出的电子设备说明本发明实施例提供的手势信息处理方法，参见图6，图6为本发明实施例提供的手势信息处理方法一个可选的流程示意图，可以理解地，图6所示的步骤可以由运行手势信息处理装置的各种电子设备执行，例如可以是如带有手势信息识别功能的专用终端、电子设备或者电子设备集群。下面针对图6示出的步骤进行说明。
步骤601：保持所述手势识别模型的初始参数不变，确定所述手势识别模型的输出结果；
步骤602：响应于所述手势识别模型的输出结果，将所述第二训练样本集合中不同训练样本，代入与所述手势识别模型相匹配的融合损失函数；
步骤603：确定所述融合损失函数满足收敛条件时对应所述手势识别模型中的不同网络的参数作为所述手势识别模型的更新参数。
步骤604：基于所述第二训练样本集合，根据所述手势识别模型的不同神经网络对应的更新参数，对所述手势识别模型的不同神经网络所对应的参数分别进行迭代更新，直至所述势识别模型的不同神经网络所对应的损失函数满足对应的收敛条件。
继续参考图7，结合图2示出的电子设备说明本发明实施例提供的手势信息处理方法，参见图7，图7为本发明实施例提供的手势识别模型使用方法一个可选的流程示意图，可以理解地，图7所示的步骤可以由运行手势识别模型的各种电子设备执行，例如可以是如带有手势信息识别功能的专用终端、电子设备或者电子设备集群。下面针对图7示出的步骤进行说明。
步骤701：服务器确定手势信息使用环境中的肌电信号收集目标对象；
步骤702：服务器采集与所述肌电信号收集目标对象相匹配的肌电信号样本以及相应的手势信息标签；
步骤703：服务器通过固定窗口值和固定步长的滑动窗口截取所述肌电信号样本，形成所述目标对象的不同肌电信号，并对所述目标对象的不同肌电信号进行除噪处理；
步骤704：服务器基于所述手势信息标签，对经过除噪处理的不同肌电信号进行识别，确定所述不同肌电信号所表征的手势信息的概率；
步骤705：服务器对所述不同肌电信号所表征的手势信息的概率进行加权处理，以确定与所述目标对象相匹配的手势信息。
在本发明的一些实施例中，获取目标对象的不同肌电信号，可以通过以下方式实现：
根据所述手势识别模型的使用环境确定相应的肌电信号收集对象；采集与所述肌电信号收集对象相匹配的肌电信号样本以及相应的手势信息标签；通过固定窗口值和固定步长的滑动窗口截取所述肌电信号样本，以形成所述目标对象的不同肌电信号。
在本发明的一些实施例中，对所述不同肌电信号进行除噪处理，可以通过以下方式实现：
确定与所述手势识别模型的使用环境相匹配的动态噪声阈值；根据所述动态噪声阈值对所述不同肌电信号进行去噪处理，以形成与所述动态噪声阈值相匹配的动态噪声肌电信号；当然，对于固定噪声的使用环境还可以通过以下方式实现：确定与所述手势识别模型相对应的固定噪声阈值，并根据所述固定噪声阈值对所述不同肌电信号进行去噪处理，以形成与所述固定噪声阈值相匹配的固定噪声肌电信号。其中，由于手势识别模型的使用环境不同，与所述手势识别模型的使用环境相匹配的动态噪声阈值也不相同，例如，体感游戏中的机械手臂的使用环境中，终端所要识别并执行的手势信息与所述手势识别模型的使用环境相匹配的动态噪声阈值需要大于于精密机械手中的动态噪声阈值。
其中，在本发明的一些实施例中当所述手势识别模型的使用环境为机械骨骼时，确定相应的肌电信号的特征；根据所述肌电信号的特征，确定所述手势识别模型中的第一神经网络模型中不同网络的输出尺寸大小以及相应的卷积核数量；根据所机械骨骼的特征，对所述第一神经网络模型的时间卷积层网络、空间卷积层网络、全连接层网络和残差模块网络的数量进行调整，以实现所述手势识别模型的初始化参数与所述机械骨骼的特征相匹配。由此，可以减少模型的训练时间，并且可以提供训练好模型以供用户通过小程序直接调用。
由此，证识别实时性的同时，通过将前后N次的模型分类概率进行加权平均得到最终的输出结果，使在实际应用过程中对于同一个手势的预测输出能更加稳定，增加手势识别模型的鲁棒性。
继续参考图8，图8为本发明实施例中第一神经网络模型一个可选的结构示意图，其中，第一神经网络模型采用全卷积残差神经网络，依次包括4个卷积层：卷积层1至卷积层4，其中，在卷积层1和卷积层2之间包括有17个串联的残差块和加法层，残差块17的输出与卷积层1的输出作为加法器的输入。
使用一个卷积层1，对输入的图像进行初步的特征提取，得到初步提取的特征。采用串联的残差块1至残差块17，对初步提取的特征不断进行特征提取并补充特征、纹理到前一残差块的输出的上。通过加法层将残差模块17的输出补充到初步提取的特征上。使用串联的卷积层2和卷积层3-像素重排层-卷积层4将加法层的输出的图像的分辨率放大到指定倍数超分辨率，得到超分辨率图像。
图9为本发明实施例中第一神经网络模型一个可选的结构示意图，其中残差块i的网络结构可如图9所示，包括串联的卷积层i1、卷积层i2和加法层i1。其中，0<i<1。加法层i1将残差块i的输入与卷积层i2的输出对应元素相加。并输入到之后的全接层中，通过全连接层和全连接层所接的归一化指数函数层进行处理，确定肌电信号属于相应手势信息的概率。
下面以机械外骨骼为例对本发明实施例所提供的手势识别模型进行说明，其中，图10为本发明实施例中手势识别模型的应用环境示意图，其中，如图10所示，参考图10，终端(包括机械外骨骼100-1和终端100-2)上设置有手势识别的客户端，可以采集不同用户的肌电样本；其中，人体执行不同的手势动作时，肌肉群在神经系统的协调下会产生不同的肌电信号。表面肌电图(sEMG)记录了人体肌肉皮肤表面的生物电信号，有效地捕捉了肌肉活动信息。通过对表面肌电图的手势分析，可解码出人体的手势动作意图。终端通过网络300连接服务器200，网络300可以是广域网或者局域网，又或者是二者的组合，使用无线链路实现数据传输。当然，终端10-1和终端10-2还可以表现为运行有手势识别模型的机械骨骼或者体感游戏机。通过将手势识别模型嵌入不同的硬件系统或者软件系统实现表面肌电信号的传输、解码及控制。例如1)与机械外骨骼结合的医疗系统可用于偏瘫、脊髓损伤患者手臂运动功能的主动式康复。2)和用户体态监测结合的监测系统可对机械外骨骼所依附肌肉的疲劳度、平衡度和使用效率进行实时评估，提高训练效率并减少目标用户的损伤。
参考图11，图11为本发明实施例提供的手势信息处理方法一个可选的流程示意图，具体包括以下步骤：
步骤1101：获取第一训练样本集合，其中所述第一训练样本集合包括至少一组肌电样本。
步1102：对所述第一训练样本集合进行去噪处理，以形成相应的第二训练样本集合。
参考图12，图12为本发明实施例提供的手势信息处理方法一个可选的流程示意图，其中，将原始的多通道表面肌电信号进行预处理得到训练样本，之后将训练样本输入深度残差网络进行特征提取，该特征主要包括了与肌电手势相关的时域特征以及空域特征，同时得到不同手势的概率并进行分类，最后通过迭代训练不断优化网络参数。
其中，参考图13，图13为本发明实施例提供的手势识别模型样本采集一个可选的示意图，可以通过相应的采集设备获取目标用户的皮层肌电数据。该数据集包含10个被测试对象(其中优选方案中，男性：5人，女性：5人)在两个时间段中采集的肌电数据。其中，将第一时间段的肌电数据作为训练样本数据集，将第二时间段的肌电数据作为测试样本数据集。
在本发明的一些实施例中，数据采集过程如下：
1)受试者坐在椅子上保持放松状态，佩戴采集装置(例如戴上MYO肌电手环)，手臂自然下垂。实验人员告知其数据采集流程及规范；
2)数据采集过程中，受试者被要求按照提示执行“放松”、“握拳”、“张手”、“左摆”、“右摆”、“点赞”、“剪刀手”、“食指”等八个不同的手势动作(如下图)；每个动作持续2s时间，并记录下对应的手势标签。
其中，在本发明的一些实施例中，可以通过滑动窗口截取表面肌电信号作为单个样本送入网络，其中截取时间窗口为200ms，窗口滑动步长为40ms，由于信号采样频率为200Hz，包含8个电极通道，故每个信号样本的维度为8x40。
步骤1103：确定所述手势识别模型中第一神经网络模型的初始参数。
其中，参考图14，图14为本发明实施例提供的手势识别模型一个可选的模型结构示意图，其中，第一神经网络模型可以使用残差网络(ResNet Residual network)，其中，第一神经网络模型根据输入的sEMG信号的时空属性，通过针对空间特性的空间卷积层和针对时间特性的时间卷积层的处理，其中，第一神经网络模型的模型参数如表1所示，输入网络的信号尺寸为8x40，前两层的时空卷积层Spatial Conv与Temporal Conv分别在空间(通道)维度与时间维度对信号进行卷积操作，步长stride均为1，实现对sEMG信号的空间滤波和时间滤波操作。经过时空卷积后输出一维的时间特征，并将这些特征经过6个残差模块进行后续的特征提取及融合，其中每个残差模块包含两个残差网络，每个残差网络均由卷积核为1*3的卷积层与Batch Normalization层组成。最后经过全连接层进一步地融合特征，并通过SoftMax输出肌电手势的分类结。
其中，本方案的网络结构在实际应用中可适当地增加时间卷积与空间卷积层的数量，增加全连接层个数，增加残差模块的数量以及修改不同的卷积核大小来实现。
进一步地，初始化的过程中，模型参数采用Xavier初始化方式，肌电手势分类和contrastive loss的损失权重分别为：0.8，0.2。在contrastive loss中使用的margin为1。
Layer name Output size Net
Input 8x40 --
Spatial Conv 1x40 8x1，128，stride 1x1
Temporal Conv 1x18 1x5，256，stride 1x2
ResBlock1 1x18 1x3，128，stride 1x1
ResBlock2 1x18 1x3，64，stride 1x1
ResBlock3 1x9 1x3，64，stride 1x2
ResBlock4 1x9 1x3，64，stride 1x1
ResBlock5 1x9 1x3，64，stride 1x1
ResBlock6 1x9 1x3，64，stride 1x1
Flatten 576 --
Fully connected 5 5
Output 5 5
表1
步骤1104：响应于所述第一神经网络模型的初始参数，通过所述手势识别模型对所述第二训练样本集合进行处理，确定所述手势识别模型的相应神经网络对应的更新参数。
步骤1105：根据所述手势识别模型的不同神经网络对应的更新参数所述手势识别模型的更新参数，通过所述第二训练样本集合对所述手势识别模型的第一神经网络模型的参数进行迭代更新，以实现通过所述手势识别模型对不同手势信息进行识别。
其中，现有技术只用softmax loss作为模型的损失函数，但没有考虑到个体内同类信号差异。因此，本发明提出应用contrastive loss作为减小同类信号差异的损失，增加算法的鲁棒性。
综上所述，本技术方案的模型损失主要分为两部分：一，用于评判手势分类的classification loss；二，用于增加个体内类间可分性的contrastive loss。整个网络模型的损失函数为：
L＝αLemg+βLcont，
其中
Figure BDA0002365336190000221
为/>
Figure BDA0002365336190000222
Lemg是约束样本对的特征距离的损失函数，通过最小化这个损失函数，可以使同类的样本对之间的特征分布尽量接近，而不同类的样本对的特征距离则超过一定的边界margin。根据上述规则，其数学表达式为：
Figure BDA0002365336190000223
其中，d为两个样本间的欧式距离，N为总样本对个数。度量类间与类内特征距离的损失函数同样可以泛化为其他损失，例如可用不同的特征距离加以度量(如余弦距离等)，或使用不同的度量函数，例如maximum mean error，hinge loss，triplet loss等。
在训练过程中，可以将所有的sEMG数据及其手势标签送进网络中学习，并通过误差反向传播完成模型的优化，直至损失函数达到相应的收敛条件。
参考图15，图15为本发明实施例提供的手势识别模型使用过程一个可选的流程示意图，为了保证肌电识别的实时性，每次送入模型进行分类的肌电数据样本长度一般在200ms-1s。由于现有技术中的肌电手势解码方案仅将每次的分类结果进行输出，但在实际过程中对于同一个手势常常出现预测不稳定的情况，特别是在识别前期。因此，通过图15所示，在保证识别实时性的同时，通过将前后N次的模型分类概率进行加权平均得到最终的输出结果，使在实际应用过程中对于同一个手势的预测输出能更加稳定。
有益技术效果：
1)相比于传统技术对手势信息的识别的处理，通过本申请所提供的技术方案可以对肌电信号进行端对端的解码分类，只需要输入原始信号即可直接得到解码结果，只需由输入数据进行驱动，无需手工设计提取特征的先验知识，使得对手势信息的识别更具有普适性；提示，本发明使用了残差网络结构自动提取的肌电信号特征的鲁棒性更强，从而提升了表面肌电信号分类准确率。
2)通过对肌电信号采用滑动窗口有重合性的截取，使得前后连续信号样本具有一定的信号重复以及特征重合，并且后处理通过投票的机制使得预测结果有更高的一致性，减少了预测结果的不稳定性。同时，由于采用了残差网络，在训练的时候容易收敛，减少了模型的训练时间，满足肌电手势控制系统的实时性要求的同时，提升了用户的使用体验。
以上所述，仅为本发明的实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (14)

1.一种手势信息处理方法，其特征在于，所述方法包括：
确定手势信息使用环境中的肌电信号收集目标对象；
采集与所述肌电信号收集目标对象相匹配的肌电信号样本以及相应的手势信息标签；
通过固定窗口值和固定步长的滑动窗口截取所述肌电信号样本，形成所述目标对象的不同肌电信号，并对所述目标对象的不同肌电信号进行除噪处理；
通过手势识别模型基于所述手势信息标签，对经过除噪处理的不同肌电信号进行识别，确定所述不同肌电信号所表征的手势信息的概率；
对所述不同肌电信号所表征的手势信息的概率进行加权处理，以确定与所述目标对象相匹配的手势信息；
其中，所述手势识别模型通过以下方式进行训练得到：
获取第一训练样本集合；所述第一训练样本集合包括至少一组肌电信号样本以及相应的手势信息标签；
对所述第一训练样本集合进行除噪处理，以形成相应的第二训练样本集合；
确定所述手势识别模型中第一神经网络模型的初始参数；
基于所述第一神经网络模型的初始参数，通过所述手势识别模型对所述第二训练样本集合进行处理，确定所述手势识别模型的不同神经网络对应的更新参数；
根据所述手势识别模型的不同神经网络对应的更新参数，通过所述第二训练样本集合对所述手势识别模型的第一神经网络模型的参数进行迭代更新，以实现通过所述手势识别模型对不同手势信息进行识别。
2.根据权利要求1所述的方法，其特征在于，所述对所述目标对象的不同肌电信号进行除噪处理，包括：
确定与所述手势识别模型的使用环境相匹配的动态噪声阈值；
根据所述动态噪声阈值对所述不同肌电信号进行去噪处理，以形成与所述动态噪声阈值相匹配的动态噪声肌电信号。
3.根据权利要求1所述的方法，其特征在于，所述对所述目标对象的不同肌电信号进行除噪处理，包括：
确定与所述手势识别模型相对应的固定噪声阈值，并根据所述固定噪声阈值对所述不同肌电信号进行去噪处理，以形成与所述固定噪声阈值相匹配的固定噪声肌电信号。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当所述手势识别模型的使用环境为机械骨骼时，确定相应的肌电信号的特征；
根据所述肌电信号的特征，确定所述手势识别模型中的第一神经网络模型中不同网络的输出尺寸大小以及相应的卷积核数量；
根据机械骨骼的特征，对所述第一神经网络模型的时间卷积层网络、空间卷积层网络、全连接层网络和残差模块网络的数量进行调整，以实现所述手势识别模型的初始化参数与所述机械骨骼的特征相匹配。
5.根据权利要求1所述的方法，其特征在于，所述对所述第一训练样本集合进行去噪处理，以形成相应的第二训练样本集合，包括：
确定与所述手势识别模型的使用环境相匹配的动态噪声阈值；
根据所述动态噪声阈值对所述第一训练样本集合进行去噪处理，以形成与所述动态噪声阈值相匹配的第二训练样本集合；或者，
确定与所述手势识别模型相对应的固定噪声阈值，并根据所述固定噪声阈值对所述第一训练样本集合进行去噪处理，以形成与所述固定噪声阈值相匹配的第二训练样本集合。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
根据所述手势识别模型的使用环境确定相应的训练样本收集对象；
采集与所述训练样本收集对象相匹配的肌电信号样本以及相应的手势信息标签；
通过固定窗口值和固定步长的滑动窗口截取所述肌电信号样本，以形成所述第一训练样本集合。
7.根据权利要求1所述的方法，其特征在于，所述确定所述手势识别模型中第一神经网络模型的初始参数，包括：
根据所述第一训练样本集合中的肌电信号的特征，确定所述第一神经网络模型中不同网络的输出尺寸大小以及相应的卷积核数量；
根据所述手势识别模型的应用环境，对所述第一神经网络模型的时间卷积层网络、空间卷积层网络、全连接层网络和残差模块网络的数量进行调整，以实现所述手势识别模型的初始化参数与所述应用环境相匹配。
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
确定所述手势识别模型中第一神经网络模型所对应的分类损失函数和对比损失函数；
根据所述分类损失函数和对比损失函数，确定与所述手势识别模型相匹配的融合损失函数，其中，所述融合损失函数用于达到相应收敛条件时，停止对所述手势识别模型的训练。
9.根据权利要求8所述的方法，其特征在于，所述基于所述第一神经网络模型的初始参数，通过所述手势识别模型对所述第二训练样本集合进行处理，确定所述手势识别模型的不同神经网络对应的更新参数，包括：
保持所述手势识别模型的初始参数不变，确定所述手势识别模型的输出结果；
响应于所述手势识别模型的输出结果，将所述第二训练样本集合中不同训练样本，代入与所述手势识别模型相匹配的融合损失函数；
确定所述融合损失函数满足收敛条件时对应所述手势识别模型中的不同网络的参数作为所述手势识别模型的更新参数。
10.根据权利要求8所述的方法，其特征在于，所述根据所述手势识别模型的不同神经网络对应的更新参数，通过所述第二训练样本集合对所述手势识别模型的第一神经网络模型的参数进行迭代更新，包括：
基于所述第二训练样本集合，根据所述手势识别模型的不同神经网络对应的更新参数，对所述手势识别模型的不同神经网络所对应的参数分别进行迭代更新，直至所述势识别模型的不同神经网络所对应的损失函数满足对应的收敛条件。
11.一种手势信息处理装置，其特征在于，所述装置包括：
信息处理模块，用于确定手势信息使用环境中的肌电信号收集目标对象；
第一信息传输模块，用于采集与所述肌电信号收集目标对象相匹配的肌电信号样本以及相应的手势信息标签；
所述信息处理模块，用于通过固定窗口值和固定步长的滑动窗口截取所述肌电信号样本，形成所述目标对象的不同肌电信号，并对所述目标对象的不同肌电信号进行除噪处理；
所述信息处理模块，用于通过手势识别模型基于所述手势信息标签，对经过除噪处理的不同肌电信号进行识别，确定所述不同肌电信号所表征的手势信息的概率；
所述信息处理模块，用于对所述不同肌电信号所表征的手势信息的概率进行加权处理，以确定与所述目标对象相匹配的手势信息；
所述装置还包括：
第二信息传输模块，用于获取第一训练样本集合；所述第一训练样本集合包括至少一组肌电信号样本以及相应的手势信息标签；
训练模块，用于对所述第一训练样本集合进行除噪处理，以形成相应的第二训练样本集合；确定所述手势识别模型中第一神经网络模型的初始参数；基于所述第一神经网络模型的初始参数，通过所述手势识别模型对所述第二训练样本集合进行处理，确定所述手势识别模型的不同神经网络对应的更新参数；根据所述手势识别模型的不同神经网络对应的更新参数，通过所述第二训练样本集合对所述手势识别模型的第一神经网络模型的参数进行迭代更新，以实现通过所述手势识别模型对不同手势信息进行识别。
12.根据权利要求11所述的装置，其特征在于，
所述信息处理模块，用于确定与所述手势识别模型的使用环境相匹配的动态噪声阈值；
所述信息处理模块，用于根据所述动态噪声阈值对所述不同肌电信号进行去噪处理，以形成与所述动态噪声阈值相匹配的动态噪声肌电信号。
13.一种电子设备，其特征在于，所述电子设备包括：
存储器，用于存储可执行指令；
处理器，用于运行所述存储器存储的可执行指令时，实现权利要求1至10任一项所述的手势信息处理方法。
14.一种计算机可读存储介质，存储有可执行指令，其特征在于，所述可执行指令被处理器执行时实现权利要求1至10任一项所述的手势信息处理方法。
CN202010033904.XA 2020-01-13 2020-01-13 一种手势信息处理方法、装置、电子设备及存储介质 Active CN111209885B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010033904.XA CN111209885B (zh) 2020-01-13 2020-01-13 一种手势信息处理方法、装置、电子设备及存储介质
PCT/CN2020/130567 WO2021143353A1 (zh) 2020-01-13 2020-11-20 一种手势信息处理方法、装置、电子设备及存储介质
US17/580,545 US11755121B2 (en) 2020-01-13 2022-01-20 Gesture information processing method and apparatus, electronic device, and storage medium
US18/227,857 US20230376120A1 (en) 2020-01-13 2023-07-28 Gesture information processing method and apparatus, electronic device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010033904.XA CN111209885B (zh) 2020-01-13 2020-01-13 一种手势信息处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111209885A CN111209885A (zh) 2020-05-29
CN111209885B true CN111209885B (zh) 2023-05-30

Family

ID=70789075

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010033904.XA Active CN111209885B (zh) 2020-01-13 2020-01-13 一种手势信息处理方法、装置、电子设备及存储介质

Country Status (3)

Country Link
US (2) US11755121B2 (zh)
CN (1) CN111209885B (zh)
WO (1) WO2021143353A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111209885B (zh) 2020-01-13 2023-05-30 腾讯科技（深圳）有限公司 一种手势信息处理方法、装置、电子设备及存储介质
CN111844032B (zh) * 2020-07-15 2022-04-12 京东科技信息技术有限公司 肌电信号处理、外骨骼机器人控制方法及装置
CN111870242A (zh) * 2020-08-03 2020-11-03 南京邮电大学 一种基于肌电信号的智能手势动作生成方法
CN112132192A (zh) * 2020-09-07 2020-12-25 北京海益同展信息科技有限公司 一种模型训练方法、装置、电子设备及存储介质
CN112507881A (zh) * 2020-12-09 2021-03-16 山西三友和智慧信息技术股份有限公司 一种基于时间卷积神经网络的sEMG信号分类方法及系统
CN112932508B (zh) * 2021-01-29 2022-10-14 电子科技大学 一种基于手臂肌电网络的手指活动识别系统
CN113312994A (zh) * 2021-05-18 2021-08-27 中国科学院深圳先进技术研究院 一种手势分类识别方法及其应用
CN113435340B (zh) * 2021-06-29 2022-06-10 福州大学 基于改进Resnet的实时手势识别方法
CN113625882B (zh) * 2021-10-12 2022-06-14 四川大学 一种基于稀疏多通道相关性特征的肌电手势识别方法
CN114356076B (zh) * 2021-12-13 2023-10-03 中国船舶重工集团公司第七0九研究所 一种手势操控方法和系统
CN114499712B (zh) * 2021-12-22 2024-01-05 天翼云科技有限公司 一种手势识别方法、设备及存储介质
US11768544B2 (en) * 2022-02-01 2023-09-26 Microsoft Technology Licensing, Llc Gesture recognition based on likelihood of interaction
CN114167996B (zh) * 2022-02-14 2022-05-17 浙江强脑科技有限公司 一种基于传感器的动作预判方法、装置及存储介质
CN114595725B (zh) * 2022-03-15 2024-02-20 合肥工业大学 一种基于加法网络和监督对比学习的脑电信号分类方法
CN114936583B (zh) * 2022-06-14 2024-03-29 中国科学技术大学 基于教师-学生模型的双步领域自适应的跨用户肌电模式识别方法
CN115719514B (zh) * 2022-11-23 2023-06-30 南京理工大学 一种面向手势识别的领域自适应方法及系统
CN116139387B (zh) * 2023-04-20 2023-08-29 浙江强脑科技有限公司 一种反应力训练的训练控制方法、终端设备及存储介质
CN116414289B (zh) * 2023-06-12 2023-08-22 上海海栎创科技股份有限公司 一种基于触控芯片的手势识别系统及方法
CN117216644B (zh) * 2023-11-09 2024-02-02 北京世纪慈海科技有限公司 基于电数字数据处理的人体姿态识别方法及装置
CN117238037B (zh) * 2023-11-13 2024-03-29 中国科学技术大学 动态动作识别方法、装置、设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108491077A (zh) * 2018-03-19 2018-09-04 浙江大学 一种基于多流分治卷积神经网络的表面肌电信号手势识别方法
CN109213305A (zh) * 2017-06-29 2019-01-15 沈阳新松机器人自动化股份有限公司 一种基于表面肌电信号的手势识别方法
CN110399846A (zh) * 2019-07-03 2019-11-01 北京航空航天大学 一种基于多通道肌电信号相关性的手势识别方法
CN110610172A (zh) * 2019-09-25 2019-12-24 南京邮电大学 一种基于rnn-cnn架构的肌电手势识别方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013516258A (ja) * 2010-01-11 2013-05-13 ユニヴェルシテ ドゥ モンス 脳波計信号から人工肢運動を決定する方法
US20150156545A1 (en) * 2012-01-04 2015-06-04 Thomson Licensing Method and system for providing media recommendations
US11442550B2 (en) * 2019-05-06 2022-09-13 Samsung Electronics Co., Ltd. Methods for gesture recognition and control
CN110658915A (zh) * 2019-07-24 2020-01-07 浙江工业大学 一种基于双流网络的肌电信号手势识别方法
CN111209885B (zh) * 2020-01-13 2023-05-30 腾讯科技（深圳）有限公司 一种手势信息处理方法、装置、电子设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109213305A (zh) * 2017-06-29 2019-01-15 沈阳新松机器人自动化股份有限公司 一种基于表面肌电信号的手势识别方法
CN108491077A (zh) * 2018-03-19 2018-09-04 浙江大学 一种基于多流分治卷积神经网络的表面肌电信号手势识别方法
CN110399846A (zh) * 2019-07-03 2019-11-01 北京航空航天大学 一种基于多通道肌电信号相关性的手势识别方法
CN110610172A (zh) * 2019-09-25 2019-12-24 南京邮电大学 一种基于rnn-cnn架构的肌电手势识别方法

Also Published As

Publication number Publication date
WO2021143353A1 (zh) 2021-07-22
US20220147151A1 (en) 2022-05-12
US20230376120A1 (en) 2023-11-23
CN111209885A (zh) 2020-05-29
US11755121B2 (en) 2023-09-12

Similar Documents

Publication Publication Date Title
CN111209885B (zh) 一种手势信息处理方法、装置、电子设备及存储介质
Altaheri et al. Deep learning techniques for classification of electroencephalogram (EEG) motor imagery (MI) signals: A review
Song et al. Design of a flexible wearable smart sEMG recorder integrated gradient boosting decision tree based hand gesture recognition
Shanmuganathan et al. R-CNN and wavelet feature extraction for hand gesture recognition with EMG signals
CN110555468A (zh) 一种联合递归图和cnn的脑电信号识别方法及系统
Chung et al. Real-time hand gesture recognition model using deep learning techniques and EMG signals
Salehzadeh et al. Human activity recognition using deep electroencephalography learning
Li et al. EEG signal classification method based on feature priority analysis and CNN
CN114424940A (zh) 基于多模态时空特征融合的情绪识别方法及系统
Tang et al. Wearable supernumerary robotic limb system using a hybrid control approach based on motor imagery and object detection
Alyasseri et al. EEG channel selection for person identification using binary grey wolf optimizer
Bhandari et al. Emotion recognition and classification using EEG: A review
Paul et al. Deep learning and its importance for early signature of neuronal disorders
Pinzón-Arenas et al. Percentage estimation of muscular activity of the forearm by means of EMG signals based on the gesture recognized using CNN
Jameil et al. Efficient cnn architecture on fpga using high level module for healthcare devices
Alhammadi et al. Cursor Control Using electroencephalogram (EEG) Technology
CN113618736A (zh) 一种机器人基于多维感知构建执行决策的方法、系统、设备及存储介质
CN113312994A (zh) 一种手势分类识别方法及其应用
Wang et al. Research on the key technologies of motor imagery EEG signal based on deep learning
CN110604578A (zh) 基于semg的人手手内动作识别方法
CN113749656B (zh) 基于多维生理信号的情感识别方法和装置
Idowu et al. Efficient classification of motor imagery using particle swarm optimization-based neural network for IoT applications
Zhou et al. Time–frequency feature transform suite for deep learning-based gesture recognition using sEMG signals
CN113070875A (zh) 一种基于脑波识别的机械手控制方法及装置
Vanny et al. Physiological responses-based emotion recognition using multi-class SVM with RBF Kernel

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant