CN113688802B - 基于肌电信号的手势识别方法、装置、设备及存储介质 - Google Patents

基于肌电信号的手势识别方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113688802B
CN113688802B CN202111235190.1A CN202111235190A CN113688802B CN 113688802 B CN113688802 B CN 113688802B CN 202111235190 A CN202111235190 A CN 202111235190A CN 113688802 B CN113688802 B CN 113688802B
Authority
CN
China
Prior art keywords
gesture recognition
results
voting
result
voting queue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111235190.1A
Other languages
English (en)
Other versions
CN113688802A (zh
Inventor
李志建
傅翼斐
陈皓
黄秀韦
陈海龙
邓涛
霍震
古家威
何昊名
高桑田
王济宇
张晟东
牛兰
蔡维嘉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202111235190.1A priority Critical patent/CN113688802B/zh
Publication of CN113688802A publication Critical patent/CN113688802A/zh
Application granted granted Critical
Publication of CN113688802B publication Critical patent/CN113688802B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及生物信号处理技术领域，具体公开了一种基于肌电信号的手势识别方法、装置、设备及存储介质，其中，方法包括以下步骤：实时获取肌电信号；获取不同分类器对所述肌电信号的分类结果；根据所述分类结果的一致性获取有效结果；将所述有效结果逐个投入第一投票队列中，获取初始手势识别结果；将所述初始手势识别结果逐个投入第二投票队列中，获取最终手势识别结果；该方法利用不同分类器获取具有一致性的有效结果，去除了肌电信号中难以进行准确分类的数据，然后通过第一投票队列和第二投票队列进行两级投票获取最终手势识别结果，有效去除了因噪声数据和分类器缺陷引起的误判结果，具有数据计算量少、识别准确度高、识别效率高的特点。

Description

基于肌电信号的手势识别方法、装置、设备及存储介质
技术领域
本申请涉及生物信号处理技术领域，具体而言，涉及一种基于肌电信号的手势识别方法、装置、设备及存储介质。
背景技术
肌电信号（Electromyography, EMG）是一种能够反映动物体运动模态的生理信号。肢体的特定关节运动由特定的肌肉群控制，肢体运动过程中产生的肌电信号可以反映出肌肉的激活方式以及肢体的运动姿态，因此，肌电信号被广泛应用于人体运动学、康复工程以及肢体病理学的相关研究中。
肌电信号可以用于手势识别，现有的基于肌电信号的手势识别方法普遍是利用训练好的单一分类器对肌电信号的数据进行分类以直接输出手势识别结果，容易因噪声数据、分类器误判等原因造成手势识别错误，存在准确度不足的问题。
针对上述问题，目前尚未有有效的技术解决方案。
发明内容
本申请的目的在于提供一种基于肌电信号的手势识别方法、装置、设备及存储介质，以解决因噪声数据、分类器误判等原因造成手势识别错误的问题，提高手势识别的准确度。
第一方面，本申请提供了一种基于肌电信号的手势识别方法，用于根据肌电信号进行手势识别，所述方法包括以下步骤：
实时获取肌电信号；
获取不同分类器对所述肌电信号的分类结果；
根据所述分类结果的一致性获取有效结果；
将所述有效结果逐个投入第一投票队列中，获取初始手势识别结果，所述初始手势识别结果为所述第一投票队列中当前占比最大的有效结果；
将所述初始手势识别结果逐个投入第二投票队列中，获取最终手势识别结果，所述最终手势识别结果为所述第二投票队列中占比达到预设的百分比阈值的初始手势识别结果。
本申请的一种基于肌电信号的手势识别方法，利用不同分类器获取具有一致性的有效结果，去除了肌电信号中难以进行准确分类的数据，然后通过第一投票队列和第二投票队列进行两级投票获取最终手势识别结果，有效去除了因噪声数据和分类器缺陷引起的误判结果，并能在初始手势识别结果占比达到预设的百分比阈值时完成手势识别，具有数据计算量少、识别准确度高、识别效率高的特点。
所述的一种基于肌电信号的手势识别方法，其中，所述获取不同分类器对所述肌电信号的分类结果的步骤包括：
从所述肌电信号的每一个通道中提取均方根特征值和绝对中位差特征值；
分别对所述均方根特征值和所述绝对中位差特征值进行归一化处理以获取特征向量；
将所述特征向量输入至不同分类器中进行分类计算，分别获取所述分类结果。
在该示例的一种基于肌电信号的手势识别方法中，均方根特征值和绝对中位差特征值分别具有噪声度量和鲁棒性度量的功能，对这些特征值进行归一化处理能获得标量的特征值，以此获取特征向量投入至分类器中进行分类计算，能确保分类器顺利地对肌电信号完成分类。
所述的一种基于肌电信号的手势识别方法，其中，所述肌电信号为六通道肌电信号。
所述的一种基于肌电信号的手势识别方法，其中，所述第一投票队列设有第一下限值，当所述第一投票队列中的所述有效结果的数量达到第一下限值后，所述第一投票队列开始获取所述初始手势识别结果。
在该示例的一种基于肌电信号的手势识别方法中，设置第一下限值，能确保第一投票队列具有足够多的有效结果再开始输出初始手势识别结果，从而确保初始手势识别结果具有代表性。
所述的一种基于肌电信号的手势识别方法，其中，所述第二投票队列设有第二下限值，当所述第二投票队列中的所述初始手势识别结果的数量达到第二下限值后，所述第二投票队列开始获取所述最终手势识别结果。
在该示例的一种基于肌电信号的手势识别方法中，设置第二下限值，能确保第二投票队列具有足够多的有效结果再开始进行最终手势识别结果的获取，从而确保最终手势识别结果的准确性。
所述的一种基于肌电信号的手势识别方法，其中，所述不同分类器包括SVM分类器、DNN分类器、KNN分类器、DL分类器、BP分类器、DBN分类器、RBF分类器、CNN分类器、RNN分类器、ANN分类器中至少两种。
在该示例的一种基于肌电信号的手势识别方法中，不同分类器的分类逻辑具有差异性，采用不同分类器对肌电信号进行分类以获取具有一致性的分类结果，能使有效结果具有代表性、准确性，实现多角度分类的效果。
所述的一种基于肌电信号的手势识别方法，其中，所述根据分类结果的一致性获取有效结果的步骤包括：
比较所有分类器对同一肌电信号计算获取的分类结果；
若所有分类结果一致，则将该分类结果视为所述有效结果。
在该示例的一种基于肌电信号的手势识别方法中，采用不同分类器进行有效结果的获取过程为直接根据分类器的分类结果是否一致来确定该分类结果是否为有效结果，具有判定迅速的特点。
第二方面，本申请还提供了一种基于肌电信号的手势识别装置，用于根据肌电信号进行手势识别，所述装置包括：
获取模块，用于实时获取肌电信号；
分类模块，用于获取不同分类器对所述肌电信号的分类结果；
有效结果模块，用于根据所述分类结果的一致性获取有效结果；
第一投票模块，用于将所述有效结果逐个投入第一投票队列中，获取初始手势识别结果，所述初始手势识别结果为所述第一投票队列中当前占比最大的有效结果；
第二投票模块，用于将所述初始手势识别结果逐个投入第二投票队列中，获取最终手势识别结果，所述最终手势识别结果为所述第二投票队列中占比达到预设的百分比阈值的初始手势识别结果。
本申请的一种基于肌电信号的手势识别装置，利用有效结果模块获取不同分类器中具有一致性的有效结果，去除了肌电信号中难以进行准确分类的数据，然后通过第一投票模块和第二投票模块进行两级投票获取最终手势识别结果，有效去除了因噪声数据和分类器缺陷引起的误判结果，并能在初始手势识别结果占比达到预设的百分比阈值时完成手势识别，具有数据计算量少、识别准确度高、识别效率高的特点。
第三方面，本申请还提供了一种电子设备，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如上述第一方面提供的所述方法中的步骤。
第四方面，本申请还提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如上述第一方面提供的所述方法中的步骤。
由上可知，本申请提供了一种基于肌电信号的手势识别方法、装置、设备及存储介质，其中，方法利用不同分类器获取具有一致性的有效结果，去除了肌电信号中难以进行准确分类的数据，然后通过第一投票队列和第二投票队列进行两级投票获取最终手势识别结果，有效去除了因噪声数据和分类器缺陷引起的误判结果，并能在初始手势识别结果占比达到预设的百分比阈值时完成手势识别，具有数据计算量少、识别准确度高、识别效率高的特点。
附图说明
图1为本申请实施例提供的基于肌电信号的手势识别方法的流程图。
图2为本申请实施例的基于肌电信号的手势识别方法中的神经网络结构的结构示意图。
图3为本申请实施例提供的基于肌电信号的手势识别装置的结构示意图。
图4为本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
第一方面，请参照图1，图1是本申请一些实施例中的一种基于肌电信号的手势识别方法，用于根据肌电信号进行手势识别，方法包括以下步骤：
S1、实时获取肌电信号；
具体地，该步骤获取的是手臂上的肌电信号。
具体地，肢体运动过程中会持续产生肌电信号，肌电信号（EMG）是众多肌纤维中运动单元动作电位（MUAP）在时间和空间上的叠加；手势动作中产生的肌电信号是浅层肌肉和神经干上电活动在皮肤表面的综合效应，因此，手臂上获取的肌电信号能反映神经肌肉的活动，即能反映出具体的手势动作。
更具体地，一个手势动作中会产生多个肌电信号，这些肌电信号在获取后表现为连续的数据流。
更具体地，肌电信号可以利用肌电手环进行采集，携带肌电手环的用户手部运动时会产生相应的肌电信号，这些肌电信号由手臂上的肌电手环采集记录，步骤S1实时获取肌电手环采集的肌电信号。
S2、获取不同分类器对肌电信号的分类结果；
具体地，分类器预先通过已知结果的肌电信号进行训练，利用这些预先训练好的不同分类器对获取到的肌电信号进行分类，以产生不同分类器针对于同一肌电信号产生的分类结果，持续获取这些分类结果即获取了一个手势动作中的多个时段的肌电信号对应的不同分类器的多个分类结果。
更具体地，由于获取到的肌电信号表现为连续的数据流，故分类器对肌电信号分类的过程为对由数据流截取分割的数据段进行计算分类。
更具体地，数据流的截取分割采用滑动窗口法（Sliding Window Algorithm）截取，即基于给定特定窗口大小的数组或字符串对数据流进行分段，使得截取分割获得的每段数据段具有等量的数据值，分类器的分类行为是对这些数据段进行计算分类，从而获取不同分类器对肌电信号的分类结果。
更具体地，分类器基于数据段进行训练，训练用的数据段的窗口大小与实际分类时的数据段的窗口大小相同。
具体地，分类结果可以是具体的手势类型，也可以是预先设置好的编号。
具体地，训练好的分类器设有对应的分类结果编号，如握拳的编号为1，摊开手掌的编号为2等，当分类器对肌电信号完成分类后，可以直接输出代表了手势类型的编号作为分类结果，减少数据传输量，提高后续数据处理效率。
S3、根据分类结果的一致性获取有效结果；
具体地，不同分类器的识别原理、准确率具有一定的差异性，因此，不同分类器针对于同一肌电信号的分类结果不一定保持一致，当分类结果出现不一致时，表明不同分类器的识别结果出现偏差，而现有分类器离线状态下的识别准确率普遍在85%附近，因此，多个分类器的分类结果同时出现偏差的概率较小，由此，步骤S3能根据分类结果的一致性去除争议较大的肌电信号对应的分类结果，保留一致性好的分类结果作为有效结果，以确保有效结果的准确性。
更具体地，该步骤中将从肌电信号中截取的容易引起不同分类器产生争议的数据段对应的分类结果去除，即将一致性差的分类结果视为无效结果，将一致性好的分类结果视为有效结果，避免难以准确分类的肌电信号影响了分类器的分类结果，从而提高了分类结果的准确度。
更具体地，步骤S2获取了对应于分类器数量的分类结果，这些分类结果或相同或不相同，当相同的分类结果达到一定数量时，即将该分类结果视为一致性好的分类结果，如：分类器为两个时，则两个分类结果相同时，则表明该相同的分类结果一致性好，能作为有效结果；又如：分类器为四个时，设置一致性好坏的判别标准为三个，则四个分类结果中若有三个分类结果相同时，则表明该相同的分类结果一致性好，能作为有效结果。
S4、将有效结果逐个投入第一投票队列中，获取初始手势识别结果，初始手势识别结果为第一投票队列中当前占比最大的有效结果；
具体地，肌电信号采用实时采集的方式获取，在采集过程中常常会出现噪声数据，这类数据不一定会造成不同分类器分类过程产生争议，但容易导致手势误判，如本来对应于编号1的肌电信号在噪声数据的影响下会导致不同分类器输出结果为编号2，而对肌电信号进行去噪处理方式较为复杂，且一般为对采集到的肌电信号直接进行去噪；本申请实施例中，采用两级投票队列对有效结果进行投票筛选以替代数据去噪处理，在保证最终输出结果具有高准确率的同时，无需对原始获取的肌电信号进行去噪处理，提高了手势识别效率。
具体地，步骤S2-S3均为对获取的肌电信号中截取的数据段进行分类以获取有效结果，因此，对于作为连续数据流的肌电信号而言，步骤S2-S3针对一定时间内获取的肌电信号进行分析会输出多个有效结果，将这些有效结果逐个投入到第一投票队列中，能获取多个初始手势识别结果。
更具体地，第一投票队列为基于有效结果进行结果输出的投票策略，其通过获取多个有效结果构成队列，并根据有效结果构成的队列获取其中占比最大的有效结果，然后将该有效结果视为初始手势识别结果进行输出，如：第一投票队列中投入的有效结果依次为111221，则此时编号为1的有效结果在队列中占比最大，则第一投票队列将编号为1的有效结果作为初始手势识别结果进行输出。
更具体地，影响分类器分类结果的噪声数据在整个肌电信号中占比较小，因此，对应于噪声数据产生的有效结果在全部有效结果中占比也较小，第一投票队列输出的初始手势识别结果为第一投票队列中当前占比最大的有效结果，能无视掉占比较小的有效结果，去除一部分噪声引起误判的有效结果和一些基于分类器自身分类缺陷引起误判的有效结果，输出占比较高的有效结果，从而将对应于噪声数据的有效结果去除。
S5、将初始手势识别结果逐个投入第二投票队列中，获取最终手势识别结果，最终手势识别结果为第二投票队列中占比达到预设的百分比阈值的初始手势识别结果。
具体地，由前述内容可知，现有分类器在离线状态下对肌电信号进行手势识别的准确率普遍在85%左右，即在没有噪声数据干扰的情况下，仍然有不小的误判率，步骤S3中已将一致性不好的分类结果去除，步骤S4也将一些误判的分类结果去除，但仍可能在短时间内出现多个误判分类结果的情况，因此，本申请实施例设置第二投票队列对初始手势识别结果进行筛选获取最终手势识别结果。
更具体地，第二投票队列为基于初始手势识别结果进行结果输出的投票策略，其通过获取多个初始手势识别结果构成队列，并根据初始手势识别结果构成的队列获取占比达到预设的百分比阈值的初始手势识别结果，然后将该初始手势识别结果视为最终手势识别结果进行输出，如：预设的百分比阈值为76%，第二投票队列中投入的初始手势识别结果依次为12112111，则此时编号为1的初始手势识别结果在队列中占比最大，但占比仅为75%，尚未达到预设的百分比阈值，则此时第二投票队列不进行输出，并在队列中继续增加初始手势识别结果，若下一投入至第二投票队列的初始手势识别结果为1，则第二投票队列为121121111，此时第二投票队列中编号为1的初始手势识别结果占比为78%，超过预设的百分比阈值76%，则此时第二投票队列将编号为1的初始手势识别结果作为最终手势识别结果进行输出。
更具体地，短时间内出现多个误判分类结果的情况，可能会导致步骤S4输出多个误判的初始手势识别结果，而最终手势识别结果为第二投票队列中占比达到预设的百分比阈值的初始手势识别结果，当这些误判的初始手势识别结果投入至第二投票队列中时，会导致误判的初始手势识别结果占比上升，但误判的初始手势识别结果占比未能达到预设的百分比阈值，故不会输出误判的初始手势识别结果作为最终手势识别结果，而在第二投票队列中持续投入初始手势识别结果，正确的初始手势识别结果占比能上升至预设的百分比阈值，将该正确的初始手势识别结果作为最终手势识别结果输出，能进一步确保手势识别的准确性。
更具体地，预设的百分比阈值为根据用户需求进行设定，需根据具体分类器在离线状态下对肌电信号进行手势识别的准确率和环境中产生噪声数据的频率进行设定，如准确率较低，则将百分比阈值设置较低，避免初始手势识别结果占比永远无法达到百分比阈值而导致手势一直无法识别。
更具体地，步骤S5输出的最终手势识别结果为第二投票队列中占比达到预设的百分比阈值的初始手势识别结果，使得本申请实施例的基于肌电信号的手势识别方法无需对整个手势动作对应的完整的肌电信号进行识别处理，仅在初始手势识别结果占比达到预设的百分比阈值便可确定并输出最终手势识别结果，从而有效减少数据计算量，提高识别效率。
本申请实施例的一种基于肌电信号的手势识别方法，利用不同分类器获取具有一致性的有效结果，去除了肌电信号中难以进行准确分类的数据，然后通过第一投票队列和第二投票队列进行两级投票获取最终手势识别结果，有效去除了因噪声数据和分类器缺陷引起的误判结果，并能在初始手势识别结果占比达到预设的百分比阈值时完成手势识别，具有数据计算量少、识别准确度高、识别效率高的特点。
在一些优选的实施方式中，由于投入分类器中的肌电信号为截取的数据段，步骤S2为根据肌电信号产生的时序依次将数据段投入分类器中进行分类；步骤S3为根据肌电信号产生的时序依次获取有效结果；步骤S4为依次将有效结果投入第一投票队列；步骤S5为依次将初始手势识别结果投入第二投票队列，从而使得最终手势识别结果具有时序性，能根据时序性进行手势识别。
在一些优选的实施方式中，若当前占比最大的有效结果为两个时，步骤S4跳过此时初始手势识别结果的获取，或输出该两个有效结果中的任一或两个作为初始手势识别结果。
具体地，在实际识别过程中，第一投票队列中可能存在有效结果占比相同的情况，如在第一投票队列为1111332222，此时编号1和编号2的占比均为40%，此时可跳过初始手势识别结果的输出，或输出1作为初始手势识别结果，或输出2作为初始手势识别结果，或输出1和2作为两个初始手势识别结果，避免第一投票队列输出出错。
更具体地，在本申请实施例中，若当前占比最大的有效结果为两个时，步骤S4优选为跳过此时初始手势识别结果的获取，避免这类结果投入到第二投票队列中影响了第二投票队列的识别准确度。
在一些优选的实施方式中，步骤S2包括：
S21、从肌电信号的每一个通道中提取均方根特征值和绝对中位差特征值；
具体地，肌电信号通过肌电手环采集，肌电手环上具有多个用于获取肌电信号的电极，即肌电手环利用多个通道同时获取肌电信号，每一个通道获取的数据流均能代表当前肌电信号变化特征。
具体地，均方根（RMS）特征值是将所有数据值平方求和、求均值、再开平方所得，绝对中位差（MAD）特征值是原始数据减去样本数据中的中位数获得的绝对值所构成的数据样本中的中位数，均方根特征值和绝对中位差特征值分别具有噪声度量和鲁棒性度量的功能。
S22、分别对均方根特征值和绝对中位差特征值进行归一化处理以获取特征向量；
具体地，对特征值进行归一化处理能获得标量的特征值，以此获取特征向量投入至分类器中进行分类计算，能确保分类器顺利地对肌电信号完成分类。
S23、将特征向量输入至不同分类器中进行分类计算，分别获取分类结果。
具体地，从肌电信号中根据特定窗口大小截取的一个数据段为一个分类对象，将同一个分类对象输入至不同分类器中进行分类计算，可获取不同分类器对该分类对象的分类结果。
在一些优选的实施方式中，肌电信号为六通道肌电信号。
具体地，已知肌电信号的通道数量基于肌电手环的采集电极确定，本申请实施例中，优选为获取六通道肌电信号；步骤S21从肌电信号中每一个通道中提取均方根特征值和绝对中位差特征值，再以步骤S22转化为相应的特征向量，使得六通道肌电信号采集后能转换为12维特征向量。
更具体地，基于肌电信号识别手势的过程中需要设计神经网络结构，如图2所示，该神经网络结构具有由左至右依次关联的输入层、隐藏层和输出层，其中输入层设有12个结点，对应于12维特征向量，隐藏层增设有19个结点，隐藏层激活函数采用sigmoid函数，输出层设有5个结点，对应于5种手势，输出层激活函数采用softmax函数，损失函数选择交叉熵；本申请实施例中的分类器均基于上述神经网络结构进行设计，能对肌电信号产生的12维特征向量进行识别以将肌电信号分类为5种手势中的一种。
更具体地，分类器训练过程也依据上述神经网络结构进行。
在一些优选的实施方式中，第一投票队列设有第一下限值，当第一投票队列中的有效结果的数量达到第一下限值后，第一投票队列开始获取初始手势识别结果。
具体地，步骤S3获取有效结果后便将有效结果投入至第一投票队列中，然而，在手势识别的初始阶段，第一投票队列中有效结果的数量较少，会导致第一投票队列起始时输出的初始手势识别结果缺乏足够多的样本进行分析，若起始时投入的是误判的有效结果，则会造成第一投票队列连续输出较多的误判的初始手势识别结果；因此，本申请实施例在第一投票队列中设置第一下限值，能确保第一投票队列具有足够多的有效结果再开始输出初始手势识别结果，从而确保初始手势识别结果具有代表性。
在一些优选的实施方式中，第一投票队列设有第一上限值，用于限定第一投票队列中存放的有效结果的数量，当第一投票队列中有效结果数量达到第一上限值后，再投入新的有效结果时，第一投票队列去除第一投票队列中最早加入的有效结果。
具体地，设置第一上限值可避免第一投票队列过于臃肿，避免第一投票队列中数据过多而减缓投票效率，并确保第一投票队列中的有效结果具有时效性，能代表最近产生的肌电信号的分类结果。
在一些优选的实施方式中，第一上限值大于或等于第一下限值，在本实施例中，优选为第一上限值等于第一下限值，从而使得初始手势识别结果为均基于相同数量的有效结果进行比对而产生，使输出的初始手势识别结果具有可比性、可靠性。
具体地，第一上限值和第一下限值为根据分类器分类速度、分类准确度进行设定，以高效、准确地获取初始手势识别结果。
在一些优选的实施方式中，第二投票队列设有第二下限值，当第二投票队列中的初始手势识别结果的数量达到第二下限值后，第二投票队列开始获取最终手势识别结果。
具体地，步骤S4获取初始手势识别结果后便将初始手势识别结果投入至第二投票队列中，然而，在手势识别的初始阶段，第二投票队列中初始手势识别结果的数量较少，会导致第二投票队列起始时初始手势识别结果缺乏足够多的样本比对而直接达到预设的百分比阈值而直接输出为最终手势识别结果，这种情况容易将误判的初始手势识别结果输出为最终手势识别结果；因此，本申请实施例在第二投票队列中设置第二下限值，能确保第二投票队列具有足够多的有效结果再开始进行最终手势识别结果的获取，从而确保最终手势识别结果的准确性。
在一些优选的实施方式中，第二投票队列设有第二上限值，用于限定第二投票队列中存放的初始手势识别结果的数量，当第二投票队列中初始手势识别结果数量达到第二上限值后，再投入新的初始手势识别结果时，第二投票队列去除第二投票队列中最早加入的初始手势识别结果。
具体地，设置第二上限值可避免第二投票队列过于臃肿，避免第二投票队列中数据过多而减缓投票效率，同时可避免因一些误判的初始手势识别结果留存在第二投票队列中导致第二投票队列长时间未能获取最终手势识别结果。
更具体地，第二上限值大于或等于第二下限值。
在一些优选的实施方式中，不同分类器包括SVM分类器、DNN分类器、KNN分类器、DL分类器、BP分类器、DBN分类器、RBF分类器、CNN分类器、RNN分类器、ANN分类器中至少两种。
具体地，不同分类器的分类逻辑具有差异性，采用不同分类器对肌电信号进行分类以获取具有一致性的分类结果，能使有效结果具有代表性、准确性，实现多角度分类的效果。
在一些优选的实施方式中，步骤S3包括：
S31、比较所有分类器对同一肌电信号计算获取的分类结果；
S32、若所有分类结果一致，则将该分类结果视为有效结果。
更具体地，采用不同分类器进行有效结果的获取过程为直接根据分类器的分类结果是否一致来确定该分类结果是否为有效结果，具有判定迅速的特点。
当分类器为两种时，步骤S3包括：
S31’、比较两种分类器对同一肌电信号计算获取的分类结果；
S32’、若两个分类结果一致，则将该分类结果视为有效结果。
更具体地，采用两种不同的分类器进行有效结果的获取过程为直接根据两种分类器的分类结果是否一致来确定该分类结果是否为有效结果，具有判定迅速的特点。
另外，在别的实施例中，当分类器为三种以上时，步骤S3还可以是包括：
S31’’、比较所有分类器对同一肌电信号计算获取的分类结果；
S32’’、若一种分类结果占比大于或等于一设定阈值时，则将该分类结果视为有效结果。
更具体地，采用三种以上不同的分类器进行有效结果的获取过程为根据占比最大的分类结果是否达到设定阈值来确定该分类结果是否为有效结果。
更具体地，设定阈值为70%-100%。
在一些优选的实施方式中，不同分类器优选为两种。
在一些优选的实施方式中，不同分类器优选为SVM分类器、DNN分类器两种。
第二方面，请参照图3，图3是本申请一些实施例中提供的一种基于肌电信号的手势识别装置，用于根据肌电信号进行手势识别，装置包括：
获取模块201，用于实时获取肌电信号；
分类模块202，用于获取不同分类器对肌电信号的分类结果；
有效结果模块203，用于根据分类结果的一致性获取有效结果；
第一投票模块204，用于将有效结果逐个投入第一投票队列中，获取初始手势识别结果，初始手势识别结果为第一投票队列中当前占比最大的有效结果；
第二投票模块205，用于将初始手势识别结果逐个投入第二投票队列中，获取最终手势识别结果，最终手势识别结果为第二投票队列中占比达到预设的百分比阈值的初始手势识别结果。
本申请实施例的一种基于肌电信号的手势识别装置，利用有效结果模块203获取不同分类器中具有一致性的有效结果，去除了肌电信号中难以进行准确分类的数据，然后通过第一投票模块204和第二投票模块205进行两级投票获取最终手势识别结果，有效去除了因噪声数据和分类器缺陷引起的误判结果，并能在初始手势识别结果占比达到预设的百分比阈值时完成手势识别，具有数据计算量少、识别准确度高、识别效率高的特点。
在一些优选的实施方式中，采用该基于肌电信号的手势识别装置执行上述第一方面的基于肌电信号的手势识别方法。
第三方面，请参照图4，图4为本申请实施例提供的一种电子设备的结构示意图，本申请提供一种电子设备3，包括：处理器301和存储器302，处理器301和存储器302通过通信总线303和/或其他形式的连接机构（未标出）互连并相互通讯，存储器302存储有处理器301可执行的计算机程序，当计算设备运行时，处理器301执行该计算机程序，以执行时执行上述实施例的任一可选的实现方式中的方法。
第四方面，本申请实施例提供一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，执行上述实施例的任一可选的实现方式中的方法。其中，存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（Static Random Access Memory, 简称SRAM），电可擦除可编程只读存储器（ElectricallyErasable Programmable Read-Only Memory, 简称EEPROM），可擦除可编程只读存储器（Erasable Programmable Read Only Memory, 简称EPROM），可编程只读存储器（Programmable Red-Only Memory, 简称PROM），只读存储器（Read-Only Memory, 简称ROM），磁存储器，快闪存储器，磁盘或光盘。
综上，本申请实施例提供了一种基于肌电信号的手势识别方法、装置、设备及存储介质，其中，方法利用不同分类器获取具有一致性的有效结果，去除了肌电信号中难以进行准确分类的数据，然后通过第一投票队列和第二投票队列进行两级投票获取最终手势识别结果，有效去除了因噪声数据和分类器缺陷引起的误判结果，并能在初始手势识别结果占比达到预设的百分比阈值时完成手势识别，具有数据计算量少、识别准确度高、识别效率高的特点。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (9)

1.一种基于肌电信号的手势识别方法，用于根据肌电信号进行手势识别，其特征在于，所述方法包括以下步骤：
实时获取一个手势动作中的多个时段的多个肌电信号；
根据肌电信号产生的时序依次获取不同分类器对同一肌电信号的分类结果；
根据肌电信号产生的时序依次获取多个有效结果，其中，所述有效结果通过以下方式获取：根据所述不同分类器对同一肌电信号的分类结果的一致性获取有效结果；
将所述有效结果逐个投入第一投票队列中，获取初始手势识别结果，所述初始手势识别结果为所述第一投票队列中当前占比最大的有效结果，第一投票队列设有第一上限值，用于限定第一投票队列中存放的有效结果的数量，当第一投票队列中有效结果数量达到第一上限值后，再投入新的有效结果时，第一投票队列去除第一投票队列中最早加入的有效结果；
将所述初始手势识别结果逐个投入第二投票队列中，获取最终手势识别结果，所述最终手势识别结果为所述第二投票队列中占比达到预设的百分比阈值的初始手势识别结果，所述第二投票队列设有第二下限值，当所述第二投票队列中的所述初始手势识别结果的数量达到第二下限值后，所述第二投票队列开始获取所述最终手势识别结果。
2.根据权利要求1所述的一种基于肌电信号的手势识别方法，其特征在于，所述根据肌电信号产生的时序依次获取不同分类器对同一肌电信号的分类结果的步骤包括：
从所述肌电信号的每一个通道中提取均方根特征值和绝对中位差特征值；
分别对所述均方根特征值和所述绝对中位差特征值进行归一化处理以获取特征向量；
将所述特征向量输入至不同分类器中进行分类计算，分别获取所述分类结果。
3.根据权利要求2所述的一种基于肌电信号的手势识别方法，其特征在于，所述肌电信号为六通道肌电信号。
4.根据权利要求1所述的一种基于肌电信号的手势识别方法，其特征在于，所述第一投票队列设有第一下限值，当所述第一投票队列中的所述有效结果的数量达到第一下限值后，所述第一投票队列开始获取所述初始手势识别结果。
5.根据权利要求1所述的一种基于肌电信号的手势识别方法，其特征在于，所述不同分类器包括SVM分类器、DNN分类器、KNN分类器、DL分类器、BP分类器、DBN分类器、RBF分类器、CNN分类器、RNN分类器、ANN分类器中至少两种。
6.根据权利要求1所述的一种基于肌电信号的手势识别方法，其特征在于，所述根据所述不同分类器对同一肌电信号的分类结果的一致性获取有效结果的步骤包括：
比较所有分类器对同一肌电信号计算获取的分类结果；
若所有分类结果一致，则将该分类结果视为所述有效结果。
7.一种基于肌电信号的手势识别装置，用于根据肌电信号进行手势识别，其特征在于，所述装置包括：
获取模块，用于实时获取一个手势动作中的多个时段的多个肌电信号；
分类模块，用于根据肌电信号产生的时序依次获取不同分类器对同一肌电信号的分类结果；
有效结果模块，用于根据肌电信号产生的时序依次获取多个有效结果，其中，所述有效结果通过以下方式获取：根据所述不同分类器对同一肌电信号的分类结果的一致性获取有效结果；
第一投票模块，用于将所述有效结果逐个投入第一投票队列中，获取初始手势识别结果，所述初始手势识别结果为所述第一投票队列中当前占比最大的有效结果，第一投票队列设有第一上限值，用于限定第一投票队列中存放的有效结果的数量，当第一投票队列中有效结果数量达到第一上限值后，再投入新的有效结果时，第一投票队列去除第一投票队列中最早加入的有效结果；
第二投票模块，用于将所述初始手势识别结果逐个投入第二投票队列中，获取最终手势识别结果，所述最终手势识别结果为所述第二投票队列中占比达到预设的百分比阈值的初始手势识别结果，所述第二投票队列设有第二下限值，当所述第二投票队列中的所述初始手势识别结果的数量达到第二下限值后，所述第二投票队列开始获取所述最终手势识别结果。
8.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如权利要求1-6任一所述方法中的步骤。
9.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时运行如权利要求1-6任一所述方法中的步骤。
CN202111235190.1A 2021-10-22 2021-10-22 基于肌电信号的手势识别方法、装置、设备及存储介质 Active CN113688802B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111235190.1A CN113688802B (zh) 2021-10-22 2021-10-22 基于肌电信号的手势识别方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111235190.1A CN113688802B (zh) 2021-10-22 2021-10-22 基于肌电信号的手势识别方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113688802A CN113688802A (zh) 2021-11-23
CN113688802B true CN113688802B (zh) 2022-04-01

Family

ID=78587744

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111235190.1A Active CN113688802B (zh) 2021-10-22 2021-10-22 基于肌电信号的手势识别方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113688802B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8949745B2 (en) * 2011-10-21 2015-02-03 Konntech Inc. Device and method for selection of options by motion gestures
CN106778743A (zh) * 2016-12-12 2017-05-31 深圳市捷顺科技实业股份有限公司 一种改进的车牌投票方法及装置
CN109800733A (zh) * 2019-01-30 2019-05-24 中国科学技术大学 数据处理方法及装置、电子设备

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030094489A1 (en) * 2001-04-16 2003-05-22 Stephanie Wald Voting system and method
US9922269B2 (en) * 2015-06-05 2018-03-20 Kla-Tencor Corporation Method and system for iterative defect classification
CN106293057A (zh) * 2016-07-20 2017-01-04 西安中科比奇创新科技有限责任公司 基于bp神经网络的手势识别方法
US10852829B2 (en) * 2016-09-13 2020-12-01 Bragi GmbH Measurement of facial muscle EMG potentials for predictive analysis using a smart wearable system and method
CN109213305A (zh) * 2017-06-29 2019-01-15 沈阳新松机器人自动化股份有限公司 一种基于表面肌电信号的手势识别方法
CN110399846A (zh) * 2019-07-03 2019-11-01 北京航空航天大学 一种基于多通道肌电信号相关性的手势识别方法
CN110618754B (zh) * 2019-08-30 2021-09-14 电子科技大学 基于表面肌电信号的手势识别方法和手势识别臂带
CN111046731B (zh) * 2019-11-11 2023-07-25 中国科学院计算技术研究所 基于表面肌电信号进行手势识别的迁移学习方法和识别方法
CN111103976B (zh) * 2019-12-05 2023-05-02 深圳职业技术学院 手势识别方法、装置及电子设备
CN111783718A (zh) * 2020-07-10 2020-10-16 浙江大华技术股份有限公司 目标对象状态识别方法、装置、存储介质及电子装置
CN112123332A (zh) * 2020-08-10 2020-12-25 北京海益同展信息科技有限公司 手势分类器的构建方法、外骨骼机器人控制方法及装置
CN112735597A (zh) * 2020-12-31 2021-04-30 荆门汇易佳信息科技有限公司 半监督自学习驱动的医学文本病症辨识方法
CN112926397B (zh) * 2021-01-28 2022-03-01 中国石油大学(华东) 基于两轮投票策略集成学习的sar图像海冰类型分类方法
CN113095408A (zh) * 2021-04-14 2021-07-09 中国工商银行股份有限公司 风险的确定方法、装置和服务器
CN113240034A (zh) * 2021-05-25 2021-08-10 北京理工大学 一种基于熵值法和d-s证据理论的深度决策融合方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8949745B2 (en) * 2011-10-21 2015-02-03 Konntech Inc. Device and method for selection of options by motion gestures
CN106778743A (zh) * 2016-12-12 2017-05-31 深圳市捷顺科技实业股份有限公司 一种改进的车牌投票方法及装置
CN109800733A (zh) * 2019-01-30 2019-05-24 中国科学技术大学 数据处理方法及装置、电子设备

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
EMG based Hand Gesture Recognition using Deep Learning;Mehmet Akif OZDEMIR 等;《2020 Medical Technologies Congress (TIPTEKNO)》;20201231;1-4 *
Hand Gestures Recognition Based on One-Channel Surface EMG Signal;Junyi Cao 等;《Journal of Software Engineering and Applications》;20191231;383-392 *
基于多通道表面肌电信号的手势识别方法研究;田浪博 等;《长春理工大学学报（自然科学版）》;20210430;第44卷(第2期);112-118 *
基于组合能量特征的表面肌电信号手势识别算法;宋佳强 等;《传感器与微系统》;20201231;第39卷(第6期);139-142 *
基于经验模态分解-小波包变换的表面肌电信号手势识别;冯凯 等;《中国医学物理学杂志》;20210430;第38卷(第4期);461-467 *

Also Published As

Publication number Publication date
CN113688802A (zh) 2021-11-23

Similar Documents

Publication Publication Date Title
WO2021143353A1 (zh) 一种手势信息处理方法、装置、电子设备及存储介质
CN111160139B (zh) 心电信号的处理方法、装置及终端设备
Limam et al. Atrial fibrillation detection and ECG classification based on convolutional recurrent neural network
Sztyler et al. Online personalization of cross-subjects based activity recognition models on wearable devices
KR102619981B1 (ko) 근전도 신호를 이용한 동작 분류 방법 및 장치
CN110333783B (zh) 一种用于鲁棒肌电控制的无关手势处理方法及系统
WO2019100565A1 (zh) 基于人工智能自学习的动态心电图分析方法和装置
US10061389B2 (en) Gesture recognition system and gesture recognition method
CN113693613B (zh) 脑电信号分类方法、装置、计算机设备及存储介质
CN111046731B (zh) 基于表面肌电信号进行手势识别的迁移学习方法和识别方法
US11037022B2 (en) Discovery of shifting patterns in sequence classification
CN107239684A (zh) 一种用于ecg身份识别的特征学习方法和系统
CN105550659A (zh) 基于随机投影的实时心电分类方法
CN113901891A (zh) 帕金森病握拳任务的评估方法及系统、存储介质及终端
CN113295702B (zh) 电气设备故障诊断模型训练方法和电气设备故障诊断方法
Jinliang et al. EEG emotion recognition based on granger causality and capsnet neural network
CN111898526B (zh) 基于多流卷积神经网络的肌电手势识别方法
CN111276159A (zh) 一种婴儿发音分析方法及服务器
CN115666387A (zh) 基于多导联的心电信号识别方法和心电信号识别装置
Ding et al. Cascaded convolutional neural network with attention mechanism for mobile EEG-based driver drowsiness detection system
CN114384999B (zh) 基于自适应学习的用户无关肌电手势识别系统
Cheng et al. Recognition of human activities using fast and adaptive sparse representation based on wearable sensors
CN113627391A (zh) 一种考虑个体差异的跨模式脑电信号识别方法
CN113688802B (zh) 基于肌电信号的手势识别方法、装置、设备及存储介质
CN113116363A (zh) 一种基于表面肌电信号判断手部疲劳度方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant