CN110710970B - 肢体动作的识别方法、装置、计算机设备及存储介质 - Google Patents

肢体动作的识别方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN110710970B
CN110710970B CN201910876338.6A CN201910876338A CN110710970B CN 110710970 B CN110710970 B CN 110710970B CN 201910876338 A CN201910876338 A CN 201910876338A CN 110710970 B CN110710970 B CN 110710970B
Authority
CN
China
Prior art keywords
classification model
target object
limb
identified
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910876338.6A
Other languages
English (en)
Other versions
CN110710970A (zh
Inventor
田彦秀
韩久琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jingdong Technology Information Technology Co Ltd
Original Assignee
Beijing Haiyi Tongzhan Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Haiyi Tongzhan Information Technology Co Ltd filed Critical Beijing Haiyi Tongzhan Information Technology Co Ltd
Priority to CN201910876338.6A priority Critical patent/CN110710970B/zh
Publication of CN110710970A publication Critical patent/CN110710970A/zh
Priority to PCT/CN2020/106654 priority patent/WO2021052045A1/zh
Application granted granted Critical
Publication of CN110710970B publication Critical patent/CN110710970B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本公开实施例提供了一种肢体动作的识别方法，包括：建立肢体动作的分类模型，其中，所述分类模型基于样本对象的表面肌电信号的训练集进行训练；将所述分类模型应用于目标对象的肢体动作的识别；在所述目标对象的肢体动作的识别过程中，获取识别所述目标对象的状态；当识别所述目标对象的状态满足所述分类模型的更新条件时，更新所述分类模型的参数，以修复所述分类模型识别所述目标对象的肢体动作的偏差。

Description

肢体动作的识别方法、装置、计算机设备及存储介质
技术领域
本公开涉及人工智能技术领域，尤其涉及一种肢体动作的识别方法、装置、计算机设备及存储介质。
背景技术
表面肌电信号(SEMG，Surface Electromyography)是一种与神经肌肉活动相关的生物电信号。当运动指令经由神经中枢系统传导至相关肌纤维时，会引起肌纤维上电位变化并发生肌纤维的收缩。该电位变化在皮肤表面处发生时间和空间上的叠加而形成表面肌电信号，可通过表面肌电电极采集下来。表面肌电信号包含了肌肉收缩的模式以及收缩强度等信息。不同的肢体动作对应不同的肌电信号。通过分析表面肌电信号就可以判别出该信号所对应的具体动作模式。因此，表面肌电信号被广泛运用于医学诊断、运动康复等领域。尤其在仿人型肌电假手控制中，表面肌电信号作为控制源驱动假手做出各种抓握手势获得了广泛的研究和关注。
表面肌电信号的特异性非常大。在进行手势模式识别中，第一方面，手势识别系统的性能会受到表面肌电信号个体差异的影响，这种个体差异往往由不同采集被试者的电极位移、或不同被试之间肌肉形状尺寸、发力大小、疲劳程度以及皮肤阻抗的不同造成，这种个体差异往往会导致来自不同被试的训练数据和测试数据具有不同的分布，使得从当前个体学习获得的分类器模型难以有效扩展和应用到其他个体上。另一方面，表面肌电信号具有时变性，随时间的推移，由于长期动态改变肌肉的收缩力，受试者容易疲劳，同一被试的肌肉形状尺寸、发力大小、疲劳程度以及皮肤阻抗等会发生变化，影响分类器模型的识别效果。
发明内容
有鉴于此，本公开实施例提供一种肢体动作的识别方法、装置、计算机设备及存储介质。
本公开实施例的技术方案是这样实现的：
第一方面，本公开实施例提供一种肢体动作的识别方法，包括：
建立肢体动作的分类模型，其中，所述分类模型基于样本对象的表面肌电信号的训练集进行训练；
将所述分类模型应用于目标对象的肢体动作的识别；
在所述目标对象的肢体动作的识别过程中，获取识别所述目标对象的状态；
当识别所述目标对象的状态满足所述分类模型的更新条件时，更新所述分类模型的参数，以修复所述分类模型识别所述目标对象的肢体动作的偏差。
其中，所述建立肢体动作的分类模型，包括：
对样本对象的表面肌电信号进行预处理和特征向量提取，获得特征向量样本集；
将所述特征向量样本集随机划分为训练集和测试集；
基于所述训练集和所述训练集中样本对象的标签训练肢体动作的分类模型，并利用所述测试集对所述分类模型的识别精度进行测试；
当所述分类模型的识别精度大于第一设置阈值时，获得训练后的所述分类模型。
其中，所述将所述分类模型应用于目标对象的肢体动作的识别，包括：
获取待识别的所述目标对象表面肌电信号的特征向量；
通过所述分类模型对所述特征向量进行降维处理和分类识别处理，得到所述目标对象的肢体动作的分类识别结果。
其中，所述获取识别所述目标对象的状态，包括：
获取所述分类模型待识别的目标对象是否发生变换的状态；
和/或，获取所述分类模型识别同一目标对象的持续时长；
和/或，获取所述分类模型识别同一目标对象的表面肌电信号的样本数量。
其中，所述当识别所述目标对象的状态满足所述分类模型的更新条件时，更新所述分类模型的参数，包括：
当满足以下更新条件至少之一时，更新所述分类模型的参数：
所述分类模型待识别的目标对象发生更换；
所述分类模型识别同一目标对象的持续时长大于持续时长阈值；
所述分类模型识别同一目标对象的表面肌电信号的样本数量，大于样本数量阈值。
其中，所述更新所述分类模型的参数，包括：
当所述分类模型待识别的目标对象发生更换时，通过有监督学习的训练方式更新所述分类模型的参数；
当所述分类模型识别同一目标对象的持续时长大于持续时长阈值时，或当所述分类模型识别同一所述待识别目标的表面肌电信号的样本数量大于第二设置阈值时，通过无监督学习的训练方式更新所述分类模型的参数。
其中，所述更新所述分类模型的参数，包括：
当所述分类模型为线性判别式分析LDA分类器时，通过带有标签的所述目标对象的表面肌电信号样本训练所述LDA分类器；
在所述分类模型的训练过程中，调整所述LDA分类器的类内散度矩阵和类间散度矩阵，直至满足如下条件：通过所述LDA分类器进行降维处理和分类处理后的同类所述目标对象样本的特征向量之间的距离满足第一距离阈值、不同类的所述目标对象样本的特征向量之间的距离满足第二距离阈值；
将调整后的满足所述条件的所述类内散度矩阵和所述类散度矩阵作为更新后的所述LDA分类器的参数。
第二方面，本公开实施例提供一种肢体动作的识别装置，所述装置包括构建模块和处理模块，其中
所述构建模块，用于建立肢体动作的分类模型，其中，所述分类模型基于样本对象的表面肌电信号的训练集进行训练；
所述处理模块，用于将所述分类模型应用于目标对象的肢体动作的识别；在所述目标对象的肢体动作的识别过程中，获取识别所述目标对象的状态；当识别所述目标对象的状态满足所述分类模型的更新条件时，更新所述分类模型的参数，以修复所述分类模型识别所述目标对象的肢体动作的偏差。
第三方面，本公开实施例提供一种计算机设备，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述可执行指令时，实现本公开实施例的肢体动作的方法。其中，可执行指令可以为安装包、程序、代码、插件、库(动态/静态库)。
第四方面，本公开实施例提供一种肢体动作的识别装置，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器；
其中，所述处理器用于运行所述计算机程序时，实现本公开实施例的肢体动作的方法。
第五方面，本公开实施例提供一种存储介质，存储有可执行指令，所述可执行指令被执行时，实现本公开实施例的肢体动作的方法。
应用本公开上述实施例具有以下有益效果：在所述目标对象的肢体动作的识别过程中，能够获取识别所述目标对象的状态，当识别所述目标对象的状态满足所述分类模型的更新条件时，更新所述分类模型的参数，以修复所述分类模型识别所述目标对象的肢体动作的偏差。这样，所述分类模型能够基于所述目标对象的状态进行及时更新，修复所述分类模型识别所述目标对象的肢体动作的偏差，减少了由目标对象的状态变化给分类模型带来的影响，确保了所述分类模型的识别准确率。
附图说明
图1为本公开实施例提供的一种肢体动作识别的方法流程示意图；
图2为本公开实施例提供的另一种肢体动作识别的方法流程示意图；
图3为本公开实施例提供的另一种肢体动作识别的方法流程示意图；
图4为本公开实施例提供的另一种肢体动作识别的方法流程示意图；
图5为本公开实施例提供的一种肢体动作识别的方法应用的模型示意图；
图6为本公开实施例提供的另一种肢体动作识别的方法流程示意图；
图7为本公开实施例提供的一种肢体动作识别的装置示意图；
图8为本公开实施例提供的计算机设备结构示意图。
具体实施方式
以下结合附图及实施例，对本公开进行进一步详细说明。应当理解，此处所提供的实施例仅仅用以解释本公开，并不用于限定本公开。另外，以下所提供的实施例是用于实施本公开的部分实施例，而非提供实施本公开的全部实施例，在不冲突的情况下，本公开实施例记载的技术方案可以任意组合的方式实施。
需要说明的是，在本公开实施例中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的方法或者装置不仅包括所明确记载的要素，而且还包括没有明确列出的其他要素，或者是还包括为实施方法或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的方法或者装置中还存在另外的相关要素(例如方法中的步骤或者装置中的单元，例如的单元可以是部分电路、部分处理器、部分程序或软件等等)。
例如，本公开实施例提供的肢体动作的识别方法包含了一系列的步骤，但是本公开实施例提供的基于一种肢体动作的识别方法不限于所记载的步骤，同样地，本公开实施例提供的基于一种肢体动作的识别装置包括了一系列模块，但是本公开实施例提供的装置不限于包括所明确记载的模块，还可以包括为获取相关信息、或基于信息进行处理时所需要设置的模块。
对本公开实施例进行进一步详细说明之前，对本公开实施例中涉及的名词和术语进行说明，本公开实施例中涉及的名词和术语适用于如下的解释。
1)分类模型，是指用于分类的算法模型或者函数，能够将数据库中或样本集中的数据映射到给定类别中的一类。例如，本公开用于对肢体动作进行分类的分类模型。
2)肢体动作，是指肢体运动时对应的姿态。例如，人体手臂相关的三指捏取、侧边捏取、钩取、强力抓取、圆柱抓取、中心抓取、手掌伸展和腕部弯曲姿态等。
为了方便理解本公开实施例，以下通过仿生学领域假肢的肢体动作识别为例进行本公开的应用场景说明：假肢使用者在控制假肢运动时，需要通过发出控制指令的方式控制假肢做出肢体动作。因此，可以通过在人体肢体上设置传感器对人体肢体的肌电信号进行采集，因为假肢使用者在意欲做出某种动作时，会在肌电信号上有所反馈，采集肌电信号后，通过对肌电信号进行分析，就可以确定假肢使用者意欲做出的具体姿态动作类型，从而控制假肢做出对应的动作。这样，假肢使用者无需通过机械开关或者人为选择的繁琐方式控制假肢运动，提升了假肢使用者的体验。本公开实施例就可以应用于假肢运动的控制。
接下来将对本公开实施例进行详细说明，请参见图1，本公开实施例提供一种肢体动作的识别方法，包括：
步骤11，建立肢体动作的分类模型，其中，所述分类模型基于样本对象的表面肌电信号的训练集进行训练；
这里，所述肢体动作的执行主体可以是指能够产生肌电信号并能够做出肢体动作的目标对象，例如人、动物等。以人为例，当所述肢体动作为人的手臂的动作时，所述肌电信号可以是通过利用两枚模块式双极差分电极分别从前臂肌肉上采集。这里，所述样本对象可以是在所述执行主体做出不同的姿态动作时采集的肌电信号的样本，例如在手臂做出弯曲、内翻、外翻等动作时采集的肌电信号的样本。这里，所述样本对象可以在不同时间段进行采集，所述样本对象的采集可以对应不同的执行主体，所述采集方式可以是按照设置采集频率进行采集。这里，所述分类模型可以是经过训练后使得分类准确率达到预期值的分类模型，例如，LDA分类器。这里，所述分类器可以是多个子分类器的组合或者级联。
步骤12，将所述分类模型应用于目标对象的肢体动作的识别；
这里，可以是将目标对象产生的肌电信号的特征向量输入所述分类模型，通过所述分类模型的降维处理和分类处理，确定所述目标对象的肢体动作的类型。例如，当采集到当前手臂的肌电信号样本后，将所述肌电信号对应的第一特征向量输入所述分类模型，如果所述分类模型的输出结果对应为第一类别，所述第一类别对应的肢体动作姿态为弯曲，则可以确定当前手臂做出的是弯曲的肢体动作。
步骤13，在所述目标对象的肢体动作的识别过程中，获取识别所述目标对象的状态；
这里，所述目标对象的状态可以是所述分类模型待识别的目标对象是否发生更换的状态，由于目标对象之间存在个体差异，这种个体差异往往由不同采集被试者的电极位移、或不同被试之间肌肉形状尺寸、发力大小、疲劳程度以及皮肤阻抗的不同造成，这种个体差异往往会导致来自不同被试的样本数据具有不同的分布。所述目标对象的状态还可以是所述分类模型识别同一目标对象的持续时长的状态，由于随时间的推移，长期动态改变肌肉的收缩力，受试者容易疲劳，也会导致样本数据具有不同的分布；所述目标对象的状态也可以是所述分类模型识别同一目标对象的表面肌电信号的样本数量的状态，由于目标对象做出的肢体动作越多推移，频繁动作会改变肌肉的收缩力，受试者容易疲劳，也会导致样本数据具有不同的分布。
步骤14，当识别所述目标对象的状态满足所述分类模型的更新条件时，更新所述分类模型的参数，以修复所述分类模型识别所述目标对象的肢体动作的偏差。
这里，所述更新条件可以预先设置，例如，设置为所述分类模型待识别的目标对象发生更换；或，设置为所述分类模型识别同一目标对象的持续时长大于持续时长阈值；或，设置为所述分类模型识别同一目标对象的表面肌电信号的样本数量，大于样本数量阈值。
这里，所述分类模型的参数可以是影响所述分类模型的分类准确率的配置参数。以LDA分类器为例，所述分类模型的参数可以是类内散度矩阵和/或类间散度矩阵对应的值。这里，所述肢体动作的偏差可以是指分类确定的肢体动作与实际对应的肢体动作之间的偏差，这可以通过准确率的方式量化体现。
本公开实施例中，在所述目标对象的肢体动作的识别过程中，能够获取识别所述目标对象的状态，当识别所述目标对象的状态满足所述分类模型的更新条件时，更新所述分类模型的参数，以修复所述分类模型识别所述目标对象的肢体动作的偏差。这样，所述分类模型能够基于所述目标对象的状态进行及时更新，修复所述分类模型识别所述目标对象的肢体动作的偏差，减少由目标对象的状态变化给分类模型带来的影响，确保了所述分类模型的识别准确率。
请参见图2，在一些实施例中，所述步骤11中，所述建立肢体动作的分类模型，包括：
步骤21，对样本对象的表面肌电信号进行预处理和特征向量提取，获得特征向量样本集；
这里，以手臂动作为例，在所述采集样本对象之前，先清洁手臂皮肤，刮除所选肌肉处表皮的汗毛，用清水洗净并用棉签蘸取医用酒精擦拭皮肤；然后，采集受试者前臂表面肌电信号，受试者做出圆柱抓取、钩取、侧边捏取、指向、球形抓取、三指捏取、精确捏取、放松姿态、内翻、外翻、抓握等手势，使用两枚肌电电极获取各手势的肌电样本对象并进行存储。
所述对样本对象的表面肌电信号进行预处理可以是对所述表面肌电信号进行滤波或去噪等处理；这里所述表面肌电信号的预处理和特征向量提取可以通过神经网络算法实现，例如BP神经网络算法等。这里，所述特征向量样本集中可以是包括多个肌电信号样本对应所述特征向量或所述特征向量对应矩阵的集合。
步骤22，将所述特征向量样本集随机划分为训练集和测试集；
这里，所述随机划分可以是从所述特征向量样本中随机抽出部分特征向量作为测试集，其余特征向量作为训练集。这里，所述测试集中的样本数量可以根据需求配置为任一数量。
步骤23，基于所述训练集和所述训练集中样本对象的标签训练肢体动作的分类模型，并利用所述测试集对所述分类模型的识别精度进行测试；
这里，所述样本对象的标签可以是用于表征圆柱抓取、钩取、侧边捏取、指向、球形抓取、三指捏取、精确捏取、放松姿态、内翻、外翻、抓握等姿势的标记标签。每个样本对象都对应一个所述标记标签。这里，所述分类模型的识别精度可以是指将测试集中的任一样本输入训练后的所述分类模型得到分类结果与对应标记标签比较后的准确率。
步骤24，当所述分类模型的识别精度大于第一设置阈值时，获得训练后的所述分类模型。
这里，所述第一设置阈值可以预先设置，第一设置阈值的大小可以根据实际需要灵活设置。
请参见图3，在一些实施例中，所述步骤12中，所述将所述分类模型应用于目标对象的肢体动作的识别，包括：
步骤31，获取待识别的所述目标对象表面肌电信号的特征向量；
这里，所述目标对象表面肌电信号的特征可以是时域特征，例如，积分肌电值特征，所述积分肌电值是通过对目标对象表面肌电信号进行积分获得的值；过零点数特征，过零点数是指目标对象表面肌电信号通过零点的次数，由于肌电信号源于中枢神经所发送的电脉冲，肌电信号的强度还与电脉冲的频率有关，所以，过零点数可以作为肌电信号的特征。所述特征可以是上述一个特征或多个特征对应的向量。
步骤32，通过所述分类模型对所述特征向量进行降维处理和分类识别处理，得到所述目标对象的肢体动作的分类识别结果。
这里，所述分类模型能够将高维的特征向量对应的特征点投影到一个低维空间，使得肌电信号的特征从高维特征空间投影到低维空间中，属于同一个肢体动作的特征点更加聚集，属于不同肢体动作的特征点更加分开，从而获得分类识别结果。
在一些实施例中，所述步骤13中，所述获取识别所述目标对象的状态，包括：
获取所述分类模型待识别的目标对象是否发生变换的状态；
和/或，获取所述分类模型识别同一目标对象的持续时长；
和/或，获取所述分类模型识别同一目标对象的表面肌电信号的样本数量。
这里，所述目标对象发生变换，可以是肢体发生变换，例如，从被试者的左手臂换到右手臂；还可以是被试个体发生变换，例如，从被试者A的手臂变换到被试着B的手臂。这里，所述识别同一目标对象的持续时长可以是从向所述分类模型输入第一个样本的特征向量开始计时，持续到当前时间为止的时长，例如0.5小时、1小时或2小时。这里，所述识别同一目标对象的表面肌电信号的样本数量可以是从向所述分类模型输入第一个样本特征向量开始，到当前输入第N个样本数量为止的N个数量。这里，获取所述目标对象的状态，一方面，当目标对象更换个体时，能够实时更新所述分类模型以适应新个体；另一方面，是随着时间的推移，能够基于长期动态改变肌肉的收缩力，受试者容易疲劳的情况，及时更新所述分类模型。
在一些实施例中，所述步骤14中，所述当识别所述目标对象的状态满足所述分类模型的更新条件时，更新所述分类模型的参数，包括：
当满足以下更新条件至少之一时，更新所述分类模型的参数：
所述分类模型待识别的目标对象发生更换；
所述分类模型识别同一目标对象的持续时长大于持续时长阈值；
所述分类模型识别同一目标对象的表面肌电信号的样本数量，大于样本数量阈值。
这里，所述时长阈值和所述样本数量阈值可以根据分类识别的识别精度要求进行灵活设置。例如，当识别精度要求较高时，设置一个较小的时长阈值和较小的数量阈值；当识别精度要求较低时，设置一个较大的时长阈值和较大的数量阈值；
在一些实施例中，所述步骤14中，所述更新所述分类模型的参数，包括：
当所述分类模型待识别的目标对象发生更换时，通过有监督学习的训练方式更新所述分类模型的参数；
这里，目标对象发生变更，变更的目标对象明确，这种情况适用于具有有标签数据样本的情况，通过使用变更后的目标对象的有标签标定数据，通过有监督学习方法对所述分类模型参数进行更新。
当所述分类模型识别同一目标对象的持续时长大于持续时长阈值时，或当所述分类模型识别同一所述待识别目标的表面肌电信号的样本数量大于第二设置阈值时，通过无监督学习的训练方式更新所述分类模型的参数。
这里，时间推移引起的样本特征变化是不确定的，不方便对样本数据进行标记，适合于通过无监督学习方法对所述分类模型参数进行更新。这里，持续时长阈值可以基于被测个体的大数据进行统计获取，例如0.5小时、1小时等。所述持续时长阈值可以灵活设置。
在一些实施例中，请参见图4，所述步骤14中，所述更新所述分类模型的参数，包括：
步骤41，当所述分类模型为线性判别式分析LDA分类器时，通过带有标签的所述目标对象的表面肌电信号样本训练所述LDA分类器；
这里，所述带有标签的所述目标对象的表面肌电信号样本可以是所述分类模型识别过程中识别过的表面肌电信号样本。
步骤42，在所述分类模型的训练过程中，调整所述LDA分类器的类内散度矩阵和类间散度矩阵，直至满足如下条件：通过所述LDA分类器进行降维处理和分类处理后的同类所述目标对象样本的特征向量之间的距离满足第一距离阈值、不同类的所述目标对象样本的特征向量之间的距离满足第二距离阈值；
这里，调整所述LDA分类器的类内散度矩阵和类间散度矩阵，可以是按照梯度进行调整。所述第一距离阈值和所述第二距离阈值可以根据识别需求进行灵活设置。这里，同类可以是指所述目标对象样本对应同一肢体动作，不同类可以是指所述目标对象样本对应不同的肢体动作。
步骤43，将调整后的满足所述条件的所述类内散度矩阵和所述类散度矩阵作为更新后的所述LDA分类器的参数。
这里，在所述LDA分类器的参数进行更新后，按照更新后的所述LDA分类器的参数对目标对象进行识别。
为了能够更加便于对本公开实施例提供的肢体动作的识别方法的实现流程进一步理解，以下分别通过1个可选的具体实施例对其进行进一步说明：
示例1：请参见图5，示例中，肢体动作识别对应为手势识别，所述手势识别分为训练阶段和识别阶段，其中，识别模型52包括LDA分类识别模型51。本公开实施例的肢体动作的识别方法可以应用于图5中的LDA分类识别模型。
请参见图6，该肢体动作的识别方法包括如下步骤：
步骤61，对样本对象的表面肌电信号进行预处理和特征向量提取，获得特征向量样本集；
步骤62，将所述特征向量样本集随机划分为训练集和测试集；
步骤63，基于所述训练集和所述训练集中样本对象的标签训练肢体动作的LDA分类模型，并利用所述测试集对所述LDA分类模型的识别精度进行测试；
步骤64，当所述LDA分类模型的识别精度大于第一设置阈值时，获得训练后的所述LDA分类模型；
步骤65，获取待识别的所述目标对象表面肌电信号的特征向量；
步骤66，通过所述LDA分类模型对所述特征向量进行降维处理和分类识别处理，得到所述目标对象的肢体动作的分类识别结果。其中，当所述LDA分类模型待识别的目标对象发生更换时，通过有监督学习的训练方式更新所述LDA分类模型的参数；当所述LDA分类模型识别同一目标对象的持续时长大于持续时长阈值时，或当所述LDA分类模型识别同一所述待识别目标的表面肌电信号的样本数量大于第二设置阈值时，通过无监督学习的训练方式更新所述LDA分类模型的参数。所述更新所述LDA分类模型的参数，包括：当所述LDA分类模型为线性判别式分析LDA分类器时，通过带有标签的所述目标对象的表面肌电信号样本训练所述LDA分类器；在所述LDA分类模型的训练过程中，调整所述LDA分类器的类内散度矩阵和类间散度矩阵，直至满足如下条件：通过所述LDA分类器进行降维处理和分类处理后的同类所述目标对象样本的特征向量之间的距离满足第一距离阈值、不同类的所述目标对象样本的特征向量之间的距离满足第二距离阈值；将调整后的满足所述条件的所述类内散度矩阵和所述类散度矩阵作为更新后的所述LDA分类器的参数。
本实施例中，在所述目标对象的肢体动作的识别过程中，能够获取识别所述目标对象的状态，当识别所述目标对象的状态满足所述LDA分类模型的更新条件时，更新所述分类模型的所述类内散度矩阵和所述类散度矩阵，以修复所述分类模型识别所述目标对象的肢体动作的偏差。这样，所述LDA分类模型能够基于所述目标对象的状态进行及时更新，修复所述LDA分类模型识别所述目标对象的肢体动作的偏差，减少由目标对象的状态变化给分类模型带来的影响，确保了所述LDA分类模型的识别准确率。
本公开实施例还提供一种肢体动作的识别装置，请参见图7，所述装置包括构建模块和处理模块，其中，
所述构建模块71，用于建立肢体动作的分类模型，其中，所述分类模型基于样本对象的表面肌电信号的训练集进行训练；
所述处理模块72，用于将所述分类模型应用于目标对象的肢体动作的识别；在所述目标对象的肢体动作的识别过程中，获取识别所述目标对象的状态；当识别所述目标对象的状态满足所述分类模型的更新条件时，更新所述分类模型的参数，以修复所述分类模型识别所述目标对象的肢体动作的偏差。
本公开实施例还提供一种计算机设备，请参见图8，为本公开实施例提供的一种肢体动作的识别装置示意图，包括：
存储器82，用于存储可执行指令；
处理器81，用于执行所述存储器82中存储的可执行指令时，所述处理器81执行所述计算机程序时包括实现如下步骤：建立肢体动作的分类模型，其中，所述分类模型基于样本对象的表面肌电信号的训练集进行训练；将所述分类模型应用于目标对象的肢体动作的识别；在所述目标对象的肢体动作的识别过程中，获取识别所述目标对象的状态；当识别所述目标对象的状态满足所述分类模型的更新条件时，更新所述分类模型的参数，以修复所述分类模型识别所述目标对象的肢体动作的偏差。
这里，所述处理器81执行所述计算机程序时还用于实现：对样本对象的表面肌电信号进行预处理和特征向量提取，获得特征向量样本集；将所述特征向量样本集随机划分为训练集和测试集；基于所述训练集和所述训练集中样本对象的标签训练肢体动作的分类模型，并利用所述测试集对所述分类模型的识别精度进行测试；当所述分类模型的识别精度大于第一设置阈值时，获得训练后的所述分类模型。
这里，所述处理器81执行所述计算机程序时还用于实现：获取待识别的所述目标对象表面肌电信号的特征向量；通过所述分类模型对所述特征向量进行降维处理和分类识别处理，得到所述目标对象的肢体动作的分类识别结果。
这里，所述处理器81执行所述计算机程序时还用于实现：获取所述分类模型待识别的目标对象是否发生变换的状态；和/或，获取所述分类模型识别同一目标对象的持续时长；和/或，获取所述分类模型识别同一目标对象的表面肌电信号的样本数量。
这里，所述处理器81执行所述计算机程序时还用于实现：当满足以下更新条件至少之一时，更新所述分类模型的参数：所述分类模型待识别的目标对象发生更换；所述分类模型识别同一目标对象的持续时长大于持续时长阈值；所述分类模型识别同一目标对象的表面肌电信号的样本数量，大于样本数量阈值。
这里，所述处理器81执行所述计算机程序时还用于实现：当所述分类模型待识别的目标对象发生更换时，通过有监督学习的训练方式更新所述分类模型的参数；当所述分类模型识别同一目标对象的持续时长大于持续时长阈值时，或当所述分类模型识别同一所述待识别目标的表面肌电信号的样本数量大于第二设置阈值时，通过无监督学习的训练方式更新所述分类模型的参数。
这里，所述处理器81执行所述计算机程序时还用于实现：当所述分类模型为线性判别式分析LDA分类器时，通过带有标签的所述目标对象的表面肌电信号样本训练所述LDA分类器；在所述分类模型的训练过程中，调整所述LDA分类器的类内散度矩阵和类间散度矩阵，直至满足如下条件：通过所述LDA分类器进行降维处理和分类处理后的同类所述目标对象样本的特征向量之间的距离满足第一距离阈值、不同类的所述目标对象样本的特征向量之间的距离满足第二距离阈值；将调整后的满足所述条件的所述类内散度矩阵和所述类散度矩阵作为更新后的所述LDA分类器的参数。
本公开实施例还提供一种肢体动作的识别装置，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器；
其中，所述处理器用于运行所述计算机程序时，实现本公开任一实施例中所述的肢体动作的识别方法。
本公开实施例还提供一种存储介质，存储有可执行指令，所述可执行指令被执行时，用于存储本公开任一实施例中所述的肢体动作的识别方法。
以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种肢体动作的识别方法，其特征在于，包括：
建立肢体动作的分类模型，其中，所述分类模型基于样本对象的表面肌电信号的训练集进行训练；
将所述分类模型应用于目标对象的肢体动作的识别；
在所述目标对象的肢体动作的识别过程中，获取识别所述目标对象的状态；
当识别所述目标对象的状态满足所述分类模型的更新条件时，更新所述分类模型的参数，以修复所述分类模型识别所述目标对象的肢体动作的偏差；
其中，当所述分类模型待识别的目标对象发生更换时，通过有监督学习的训练方式调整所述分类模型的类内散度矩阵和类间散度矩阵，并
将调整后的类内散度矩阵和类间散度矩阵作为更新后的所述分类模型的参数；
当所述分类模型识别同一目标对象的持续时长大于持续时长阈值时，或当所述分类模型识别同一所述待识别目标的表面肌电信号的样本数量大于第二设置阈值时，通过无监督学习的训练方式更新所述分类模型的参数。
2.根据权利要求1所述的方法，其特征在于，所述建立肢体动作的分类模型，包括：
对样本对象的表面肌电信号进行预处理和特征向量提取，获得特征向量样本集；
将所述特征向量样本集随机划分为训练集和测试集；
基于所述训练集和所述训练集中样本对象的标签训练肢体动作的分类模型，并利用所述测试集对所述分类模型的识别精度进行测试；
当所述分类模型的识别精度大于第一设置阈值时，获得训练后的所述分类模型。
3.根据权利要求1所述的方法，其特征在于，所述将所述分类模型应用于目标对象的肢体动作的识别，包括：
获取待识别的所述目标对象表面肌电信号的特征向量；
通过所述分类模型对所述特征向量进行降维处理和分类识别处理，得到所述目标对象的肢体动作的分类识别结果。
4.根据权利要求1所述的方法，其特征在于，所述获取识别所述目标对象的状态，包括：
获取所述分类模型待识别的目标对象是否发生变换的状态；
和/或，获取所述分类模型识别同一目标对象的持续时长；
和/或，获取所述分类模型识别同一目标对象的表面肌电信号的样本数量。
5.根据权利要求1所述的方法，其特征在于，所述当识别所述目标对象的状态满足所述分类模型的更新条件时，更新所述分类模型的参数，包括：
当满足以下更新条件至少之一时，更新所述分类模型的参数：
所述分类模型待识别的目标对象发生更换；
所述分类模型识别同一目标对象的持续时长大于持续时长阈值；
所述分类模型识别同一目标对象的表面肌电信号的样本数量，大于样本数量阈值。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述通过有监督学习的训练方式调整所述分类模型的类内散度矩阵和类间散度矩阵，包括：
通过带有标签的所述目标对象的表面肌电信号样本训练所述分类模型；
在所述分类模型的训练过程中，调整所述分类模型的类内散度矩阵和类间散度矩阵，直至满足如下条件：通过所述分类模型进行降维处理和分类处理后的同类所述目标对象样本的特征向量之间的距离满足第一距离阈值、不同类的所述目标对象样本的特征向量之间的距离满足第二距离阈值。
7.一种肢体动作的识别装置，其特征在于，所述装置包括构建模块和处理模块，其中，
所述构建模块，用于建立肢体动作的分类模型，其中，所述分类模型基于样本对象的表面肌电信号的训练集进行训练；
所述处理模块，用于将所述分类模型应用于目标对象的肢体动作的识别；在所述目标对象的肢体动作的识别过程中，获取识别所述目标对象的状态；当识别所述目标对象的状态满足所述分类模型的更新条件时，更新所述分类模型的参数，以修复所述分类模型识别所述目标对象的肢体动作的偏差；其中，当所述分类模型待识别的目标对象发生更换时，通过有监督学习的训练方式调整所述分类模型的类内散度矩阵和类间散度矩阵，并将调整后的类内散度矩阵和类间散度矩阵作为更新后的所述分类模型的参数；当所述分类模型识别同一目标对象的持续时长大于持续时长阈值时，或当所述分类模型识别同一所述待识别目标的表面肌电信号的样本数量大于第二设置阈值时，通过无监督学习的训练方式更新所述分类模型的参数。
8.一种计算机设备，其特征在于，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现如权利要求1至6任一项所述的肢体动作的方法。
9.一种肢体动作的识别装置，其特征在于，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器；
其中，所述处理器用于运行所述计算机程序时，实现权利要求1至6中任一项所述的肢体动作的识别方法。
10.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的肢体动作的识别方法。
CN201910876338.6A 2019-09-17 2019-09-17 肢体动作的识别方法、装置、计算机设备及存储介质 Active CN110710970B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910876338.6A CN110710970B (zh) 2019-09-17 2019-09-17 肢体动作的识别方法、装置、计算机设备及存储介质
PCT/CN2020/106654 WO2021052045A1 (zh) 2019-09-17 2020-08-03 肢体动作的识别方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910876338.6A CN110710970B (zh) 2019-09-17 2019-09-17 肢体动作的识别方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN110710970A CN110710970A (zh) 2020-01-21
CN110710970B true CN110710970B (zh) 2021-01-29

Family

ID=69210525

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910876338.6A Active CN110710970B (zh) 2019-09-17 2019-09-17 肢体动作的识别方法、装置、计算机设备及存储介质

Country Status (2)

Country Link
CN (1) CN110710970B (zh)
WO (1) WO2021052045A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110710970B (zh) * 2019-09-17 2021-01-29 北京海益同展信息科技有限公司 肢体动作的识别方法、装置、计算机设备及存储介质
CN111310658B (zh) * 2020-02-14 2023-06-27 京东科技信息技术有限公司 一种动作模式识别模型的更新方法和装置
CN111401440B (zh) * 2020-03-13 2023-03-31 重庆第二师范学院 目标分类识别方法、装置、计算机设备及存储介质
CN111839847B (zh) * 2020-07-02 2023-09-01 京东科技信息技术有限公司 肌电假肢控制方法、装置、电子设备和计算机可读介质
CN112132192A (zh) * 2020-09-07 2020-12-25 北京海益同展信息科技有限公司 一种模型训练方法、装置、电子设备及存储介质
CN113297935A (zh) * 2021-05-12 2021-08-24 中国科学院计算技术研究所 特征自适应的动作识别系统
CN114169375A (zh) * 2021-12-11 2022-03-11 福州大学 一种基于力度无关鲁棒特征的肌电手势识别方法
CN115120429B (zh) * 2022-06-17 2023-03-10 广东工业大学 一种基于表面肌电信号的智能轮椅人体跟随控制系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105446484A (zh) * 2015-11-19 2016-03-30 浙江大学 一种基于隐马尔科夫模型的肌电信号手势识别方法
KR101621232B1 (ko) * 2014-08-21 2016-05-17 인하대학교산학협력단 표면근전도 신호기반 부스트 분류기와 분류 매트릭스를 사용한 다중 보행단계 인식 방법
CN104899594B (zh) * 2014-03-06 2018-01-02 中国科学院沈阳自动化研究所 基于表面肌电信号分解的手部动作识别方法
CN109359622A (zh) * 2018-11-08 2019-02-19 西北工业大学 一种基于高斯混合模型的肌电动作识别在线更新算法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105224066A (zh) * 2014-06-03 2016-01-06 北京创思博德科技有限公司 一种基于云端处理的手势识别方法
CN106372666B (zh) * 2016-08-31 2019-07-19 同观科技（深圳）有限公司 一种目标识别方法及装置
WO2018102429A2 (en) * 2016-12-02 2018-06-07 Pison Technology, Inc. Detecting and using body tissue electrical signals
CN107456300A (zh) * 2017-09-21 2017-12-12 哈尔滨工业大学 基于fsm的多自由度假手快速肌电编码控制系统
CN109104728B (zh) * 2018-07-11 2021-09-14 浙江理工大学 一种基于改进lda降维的elm分类入侵检测方法
CN110141239B (zh) * 2019-05-30 2020-08-04 东北大学 一种用于下肢外骨骼的运动意图识别及装置方法
CN110710970B (zh) * 2019-09-17 2021-01-29 北京海益同展信息科技有限公司 肢体动作的识别方法、装置、计算机设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104899594B (zh) * 2014-03-06 2018-01-02 中国科学院沈阳自动化研究所 基于表面肌电信号分解的手部动作识别方法
KR101621232B1 (ko) * 2014-08-21 2016-05-17 인하대학교산학협력단 표면근전도 신호기반 부스트 분류기와 분류 매트릭스를 사용한 다중 보행단계 인식 방법
CN105446484A (zh) * 2015-11-19 2016-03-30 浙江大学 一种基于隐马尔科夫模型的肌电信号手势识别方法
CN109359622A (zh) * 2018-11-08 2019-02-19 西北工业大学 一种基于高斯混合模型的肌电动作识别在线更新算法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
丁其川 等.基于自更新混合分类模型的肌电运动识别方法.《自动化学报》.2019,第45卷(第8期),第1464-1474页. *
基于自更新混合分类模型的肌电运动识别方法;丁其川 等;《自动化学报》;20190830;第45卷(第8期);第1464-1474页 *

Also Published As

Publication number Publication date
WO2021052045A1 (zh) 2021-03-25
CN110710970A (zh) 2020-01-21

Similar Documents

Publication Publication Date Title
CN110710970B (zh) 肢体动作的识别方法、装置、计算机设备及存储介质
Abbaspour et al. Evaluation of surface EMG-based recognition algorithms for decoding hand movements
Krasoulis et al. Multi-grip classification-based prosthesis control with two EMG-IMU sensors
Benatti et al. Analysis of robust implementation of an EMG pattern recognition based control
Hofmann et al. Bayesian filtering of surface EMG for accurate simultaneous and proportional prosthetic control
Baldacchino et al. Simultaneous force regression and movement classification of fingers via surface EMG within a unified Bayesian framework
Jaramillo et al. Real-time hand gesture recognition with EMG using machine learning
Abu et al. Classification of EMG signal for multiple hand gestures based on neural network
Amirabdollahian et al. Application of support vector machines in detecting hand grasp gestures using a commercially off the shelf wireless myoelectric armband
Siu et al. A neural network estimation of ankle torques from electromyography and accelerometry
Kanoga et al. Subject transfer framework based on source selection and semi-supervised style transfer mapping for sEMG pattern recognition
Kadrolkar et al. Intent recognition of torso motion using wavelet transform feature extraction and linear discriminant analysis ensemble classification
Briouza et al. A brief overview on machine learning in rehabilitation of the human arm via an exoskeleton robot
Amamcherla et al. A machine learning system for classification of emg signals to assist exoskeleton performance
Shair et al. Finger movement discrimination of EMG signals towards improved prosthetic control using TFD
AlOmari et al. Novel hybrid soft computing pattern recognition system SVM–GAPSO for classification of eight different hand motions
Wang et al. Multi-finger myoelectric signals for controlling a virtual robotic prosthetic hand
CN111923048A (zh) 肌电信号分类、外骨骼机器人控制方法及装置
Herath et al. Brain-computer interfacing for flexion and extension of bio-inspired robot fingers
Fu et al. Identification of finger movements from forearm surface EMG using an augmented probabilistic neural network
Pritchard et al. Dynamic fusion of electromyographic and electroencephalographic data towards use in robotic prosthesis control
Torres et al. Finger movements classification from grasping spherical objects with surface electromyography using time domain based features
Maheen et al. Human Hand Gesture Recognition System Using Body Sensor Network
Bhattacharjee et al. Time-domain feature and ensemble model based classification of emg signals for hand gesture recognition
Lukodono et al. Arm Muscle Activation Performance Analysis Using Machine Learning Algorithm in the Assembly System

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 100176 601, 6th floor, building 2, No. 18, Kechuang 11th Street, Daxing Economic and Technological Development Zone, Beijing

Patentee after: Jingdong Technology Information Technology Co.,Ltd.

Address before: 100176 601, 6th floor, building 2, No. 18, Kechuang 11th Street, Daxing Economic and Technological Development Zone, Beijing

Patentee before: BEIJING HAIYI TONGZHAN INFORMATION TECHNOLOGY Co.,Ltd.