CN114638258A - 一种用于表面肌电信号手势识别的快速适配方法 - Google Patents

一种用于表面肌电信号手势识别的快速适配方法 Download PDF

Info

Publication number
CN114638258A
CN114638258A CN202210183516.9A CN202210183516A CN114638258A CN 114638258 A CN114638258 A CN 114638258A CN 202210183516 A CN202210183516 A CN 202210183516A CN 114638258 A CN114638258 A CN 114638258A
Authority
CN
China
Prior art keywords
network
training
gesture recognition
gesture
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210183516.9A
Other languages
English (en)
Inventor
康晓洋
赖志平
张学泽
王君孔帅
王洪波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN202210183516.9A priority Critical patent/CN114638258A/zh
Publication of CN114638258A publication Critical patent/CN114638258A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种用于表面肌电信号手势识别的快速适配方法；该方法包括离线预训练、在线校准和在线应用三个阶段。离线预训练阶段收集大量无标签的表面肌电信号数据，并构造表面肌电信号正负样本对来训练特征提取器网络。预训练完成后利用训练好的特征提取器构造分类网络，然后在线采集目标用户的少量表面肌电信号用于校准，校准完成后得到手势识别网络。在线应用阶段利用手势识别网络对实时样本进行手势识别得到对应的手势标签，输出识别的手势结果。本发明方法能够充分利用已有数据，并能够在只采集目标用户少量样本的情况快速完成校准，实现识别模型在目标被试上的快速应用和适配，进一步促进表面肌电信号在实际中的应用。

Description

一种用于表面肌电信号手势识别的快速适配方法
技术领域
本发明属于生物医学工程、人工智能和计算机应用技术领域，涉及表面肌电信号手势识别，更具体涉及一种基于表面肌电信号手势识别的快速适配方法。
背景技术
表面肌电信号是由于运动时肌肉收缩产生的一种生物电信号，通过放置在皮肤表面的电极采集得到，由于其无创、反映直接的特点，目前在人际交互、辅助诊断、医疗康复、假肢控制等领域被广泛使用。手势识别是其重要的内容之一，通过识别表面肌电信号对应的手势来实现与机器的自然交互。手势识别需要利用机器学习和深度学习等技术，解码出信号对应的模式，从而为信号与手势建立关联。然后，表面肌电信号作为一种微弱的生理信号，极易受采集环境和用户生理因素的影响，导致在实际使用时信号变化较大，需要重新采集使用者大量的数据进行适配，给使用者带来巨大负担，阻碍表面肌电信号在实际中的应用。
为了解决此问题，有方法通过在离线训练时进行数据增强的方式，模拟导致信号变化的因素，如电极移位或者脱落、肌力疲劳等，这类方法需要对导致表面肌电信号变化的因素很了解，并且需要能够比较准确建模或者模拟出这些因素导致的变化，十分依赖于设计者的专业知识并且难于覆盖所有的情况。也有方法采用在使用者身上采集数据对模型进行配准的方式，如肌肉配准、肌肉源选择等，这些方法适配过程不够高效，应对的场景也有限。
随着深度学习方法在手势识别领域的迅速发展，自适应的手势识别方法渐渐成为了解决适配问题的主要方法。但是，现有的手势识别模型适配技术大多需要大量带有手势标签的数据进行预训练，然后在使用者使用前采集一定规模的数据进行微调适配，不仅数据采集困难，数据标注也带来很大的劳动成本。如何解决需要大量数据标准问题及数据采集问题，是表面肌电信号手势识别应用的关键。但是，目前没有一个有效的解决方案。
发明内容
针对现有手势识别应用的实际需求及现有适配技术存在的缺陷，本发明提供一种新的用于表面肌电信号手势识别的快速适配方法，其无需要大量标注信号数据进行预训练，仅需采集使用者身上少量标注信号数据的快速适配技术，从前期和后期的数据采集来分别降低设计者及使用者的劳动成本，从而推广基于表面肌电信号的手势识别在实际中的应用。
本发明的目的主要通过以下技术方案实现。
一种用于表面肌电信号手势识别的快速适配方法，包括以下步骤：
(1)在无标签数据集上进行离线的自监督预训练
首先将利用同一设备采集的不同用途的手部表面肌电信号数据段去除标签并统一格式；接着利用滑动窗口对表面肌电信号数据段进行分割生成表面肌电信号样本；然后根据表面肌电信号样本的关系构造表面肌电信号正负样本对；再构造包含特征提取器和投影映射层的对比学习网络，利用对比学习方法进行预训练，更新网络参数；
(2)利用目标用户上采集的部分带标签数据进行校准
先采集使用者少量标记数据，利用滑动窗口法生成用于校准的表面肌电信号样本数据集；接着构造包含特征提取器和分类层的分类网络；再冻结特征提取器参数，基于校准的表面肌电信号样本数据集训练分类网络，更新网络参数，获得训练好的手势识别网络
(3)实时采集表面肌电信号数据进行手势识别
实时采集用户作手势时的表面肌电信号，依次利用训练好的手势识别网络对采集到的肌电信号样本进行手势分类和识别，最终输出手势识别的结果。
本发明中，步骤(1)中，表面肌电信号数据段统一成T×V的格式，T为信号数据段帧数，V为设备采样通道数。
本发明中，步骤(1)中，根据表面肌电信号样本在数据段的相邻位置关系构造正负样本对；对比学习网络中采用神经网络作为特征提取器，后接一个投影映射层将特征投影到低维的特征空间，每个样本对的两个样本分别送入对比学习网络计算相似度后得到每个样本对的损失，然后进行训练更新特征提取器参数；训练完成后丢弃投影映射层，仅保留训练好的特征提取器。
本发明中，特征提取器采用由4个时空卷积块、1个全局平均池化层组成的时空卷积神经网络实现；投影映射层采用一个两层的全连接网络实现。
本发明中，步骤(2)中，为了能够得到每个手势的输出概率值，在特征提取器后添加分类层，分类层的维度为手势类别总数，特征提取器输出的特征展平后被直接送入分类层。
本发明中，步骤(3)中，采用多数投票的方法确定最终的手势识别的结果。
本发明中，步骤(2)中训练对比学习网络和步骤(3)中训练分类网络均采用梯度下降法和反向传播算法。
与现有技术相比，本发明具有如下优点：
本发明方法能够充分利用已有数据，并能够在只采集目标用户少量样本的情况快速完成校准，实现识别模型在目标被试上的快速应用和适配，进一步促进表面肌电信号在实际中的应用。
本发明的预训练数据来源多样化，不仅限于手势识别采集的数据，还可以使用任意任务采集的数据。而且，不仅可以使用同一个采集被试下多天的数据，也可以使用不同采集被试的数据，可以大幅增加训练数据的规模，更有效地训练模型。此外，预训练时无需任何标签，可以使用实时保存的数据，一方面可以减少数据标注的成本，另一方面也可以进一步扩大数据集。
本发明在校准阶段仅需采集少量标记数据，并且标记过程可以进一步采用自动化的方式实现，降低了使用的门槛，大大提高了用户体验。在只有少量标记数据进行校准的情况下，能够最大程度地实现模型的快速迁移，保留原始模型的识别能力，保证识别效果。
附图说明
为了更清楚地说明本发明实施例的技术方案下面将对实施例描中所使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种用于表面肌电信号手势识别的快速适配方法的整体训练流程图。
图2为本发明实施例提供的一种正负样本对构造方法示意图。
图3为本发明实施例提供的一种预训练网络结构及训练方法示意图。
图4为本发明实施例提供的一种校准网络结构及训练方法示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
本发明基于相同动作的表面肌电信号数据分布相似性和差异性的假设。当不同用户做出相同手势动作或同一个用户在不同时间段内做出相同手势动作时，组成表面肌电信号的各运动单元动作基本不变，只是人体生理因素和外部环境因素导致了采集到的信号存在差异。因此，本发明将采用预训练和微调的方法来分别学习表面肌电信号的内在表征及在特定场景下的个性化表征，整体的流程如图1所示。实验表明，在使用全量校准数据的情况下，在两个公开的表面信号手势识别数据集上的识别准确率最高超过已有方法13.8％。在仅用40％的校准数据进行适配的情况下，仍旧实现了大于90％的识别准确率。预训练和微调的具体步骤如下：
1、获取用同一设备采集的、不同来源的手部表面肌电信号，去掉标签后统一成T×V的格式，T为信号数据段帧数，V为设备采样通道数。
示例性地，数据来源不仅可以是手势识别数据、还可以是手部姿态估计的数据，也可以是疾病诊断的数据。T为实际的数据段帧数，V取决于设备的采样通道，如V＝8。
2、利用窗口大小和窗口步长分别为w1和s1的滑动窗口法对表面肌电信号数据段进行分割生成表面肌电信号样本。
示例性地，可选取窗口大小w1＝150ms、步长s1＝150ms的滑动窗口分割样本。
3、利用分割得到的构造表面肌电信号正负样本对。
示例性地，如图2所示，一种可行的构造方式为：
同一数据段的相邻样本xi，m和xi，m+1构成正样本对
Figure BDA0003522577230000041
如图2中来自第i个数据段的样本xi0和xi1组成正样本(xi0，xi1)；
同一数据段的不相邻样本xi，m和xi，n构成负样本对，其中n≠m-1，m，m+1，如图2中来自第i个数据段的样本xi0和xi2组成负样本对(xi0，xi2)；
不同数据段的样本xi，m和xj，n构成负样本对，其中i≠j，数据段i和数据段j可以来自不同的采集会话，也可以来自不同的采集对象，如图2中来自第i个数据段的样本xi2和来自第j个数据段的样本xj2组成负样本对(xj0，xi2)。
4、选择合适的神经网络结构作为特征提取器提取样本对中的表面肌电信号特征，串联一个投影映射层将特征投影到低维的特征空间。
示例性地，如图3所示，选择时空卷积神经网络作为特征提取器，该网络由4个时空卷积层组成，能够实现对时间特征和空间特征的联合提取。投影映射层采用一个两层的全连接网络实现，维度分别为512和128，样本对(xi0，xi1)中的样本提取特征后会被投影到128维的特征空间中得到表征向量zi0和zi1。
5、基于步骤4中的表征向量zi0和zi1，计算正负样本对内样本的相似度，基于此相似度计算损失。
示例性地，相似度的计算采用cosine相似度进行计算，公式如下：
similarity(zi0，zi1)＝zi0·zi1/(||zi0||·||zi1||)
6、根据损失函数学习和更新特征提取器及投影映射层的参数，训练完成后丢弃投影映射层，仅保留特征提取器。
示例性地，训练过程如图3所示，参数学习和更新方式采用梯度下降法和反向传播算法。
7、用户佩戴好设备后，引导用户每个目标手势做p次，每次持续q秒，然后利用窗口大小和步长分别为w2和s2的滑动窗口法生成用于校准的样本。
示例性地，可对每个目标手势采集p＝1次，每次持续q＝3秒，滑动窗口的大小和步长可分别取w2＝150ms、s2＝70ms。
8、将步骤6训练好的特征提取器与一个维度为G的分类层串联、并冻结特征提取器的参数。
示例性地，网络结构如图4所示，网络结构由特征提取器，即步骤4中的时空卷积神经网络，串联上一个维度为G的全连接层构成的分类层维度组成，G为手势类别总数，如手势总数为8，则G＝8。
9、利用步骤7得到的表面肌电信号样本训练步骤8中构造的网络并更新网络，得到最终用于手势识别的网络。
示例性地，训练过程如图4所示，参数学习和更新方式采用梯度下降法和反向传播算法。
10、实时采集L个表面信号样本，并依次利用训练好的网络对样本对应的手势进行识别，当某一个手势识别结果满足某种条件时，输出手势识别的结果。
示例性地，可取样本个数L＝5，输出条件可以为多数投票法，并且胜者手势出现次数要大于等于2，多个手势胜出时取置信度最高的手势。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解上述实施例可以通过软件实现，也可以借助软件结合必要的硬件平台实现。基于这样的理解，上述实施例对应的技术方案可以通过软件产品的形式体现出来，该软件可以存储在存储介质中，并通过指令或者手动执行本发明实施例的方法。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (7)

1.一种用于表面肌电信号手势识别的快速适配方法，其特征在于，包括以下步骤：
在无标签数据集上进行离线的自监督预训练
首先将利用同一设备采集的不同用途的手部表面肌电信号数据段去除标签并统一格式；
接着利用滑动窗口对表面肌电信号数据段进行分割生成表面肌电信号样本；然后根据表面肌电信号样本的关系构造表面肌电信号正负样本对；再构造包含特征提取器和投影映射层的对比学习网络，利用对比学习方法进行预训练，更新网络参数；
利用目标用户上采集的部分带标签数据进行校准
先采集使用者少量标记数据，利用滑动窗口法生成用于校准的表面肌电信号样本数据
集；接着构造包含特征提取器和分类层的分类网络；再冻结特征提取器参数，基于校准的表面肌电信号样本数据集训练分类网络，更新网络参数，获得训练好的手势识别网络
（3）实时采集表面肌电信号数据进行手势识别
实时采集用户作手势时的表面肌电信号，依次利用训练好的手势识别网络对采集到的肌电信号样本进行手势分类和识别，最终输出手势识别的结果。
2.根据权利要求1所述的快速适配方法，其特征在于，步骤（1）中，表面肌电信号数据段统一成
Figure DEST_PATH_IMAGE002
的格式，
Figure DEST_PATH_IMAGE004
为信号数据段帧数，
Figure DEST_PATH_IMAGE006
为设备采样通道数。
3.根据权利要求1所述的快速适配方法，其特征在于，步骤（1）中，根据表面肌电信号样本在数据段的相邻位置关系构造正负样本对；对比学习网络中采用神经网络作为特征提取器，后接一个投影映射层将特征投影到低维的特征空间，每个样本对的两个样本分别送入对比学习网络计算相似度后得到每个样本对的损失，然后进行训练更新特征提取器参数；训练完成后丢弃投影映射层，仅保留训练好的特征提取器。
4.根据权利要求3所述的快速适配方法，其特征在于，特征提取器采用由4个时空卷积块、1个全局平均池化层组成的时空卷积神经网络实现；投影映射层采用一个两层的全连接网络实现。
5.根据权利要求1所述的快速适配方法，其特征在于，步骤（2）中，分类层的输出维度为手势类别总数，特征提取器输出的特征展平后被直接送入分类层。
6.根据权利要求1所述的快速适配方法，其特征在于，步骤（3）中，采用多数投票的方法确定最终的手势识别的结果。
7.根据权利要求1所述的快速适配方法，其特征在于，步骤（2）中训练对比学习网络和步骤（3）中训练分类网络均采用梯度下降法和反向传播算法。
CN202210183516.9A 2022-02-28 2022-02-28 一种用于表面肌电信号手势识别的快速适配方法 Pending CN114638258A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210183516.9A CN114638258A (zh) 2022-02-28 2022-02-28 一种用于表面肌电信号手势识别的快速适配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210183516.9A CN114638258A (zh) 2022-02-28 2022-02-28 一种用于表面肌电信号手势识别的快速适配方法

Publications (1)

Publication Number Publication Date
CN114638258A true CN114638258A (zh) 2022-06-17

Family

ID=81946858

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210183516.9A Pending CN114638258A (zh) 2022-02-28 2022-02-28 一种用于表面肌电信号手势识别的快速适配方法

Country Status (1)

Country Link
CN (1) CN114638258A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115719514A (zh) * 2022-11-23 2023-02-28 南京理工大学 一种面向手势识别的领域自适应方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115719514A (zh) * 2022-11-23 2023-02-28 南京理工大学 一种面向手势识别的领域自适应方法及系统
CN115719514B (zh) * 2022-11-23 2023-06-30 南京理工大学 一种面向手势识别的领域自适应方法及系统

Similar Documents

Publication Publication Date Title
CN111476292B (zh) 医学图像分类处理人工智能的小样本元学习训练方法
CN107610087B (zh) 一种基于深度学习的舌苔自动分割方法
CN111445905A (zh) 混合语音识别网络训练方法、混合语音识别方法、装置及存储介质
CN106846306A (zh) 一种超声图像自动描述方法和系统
CN109472198A (zh) 一种姿态鲁棒的视频笑脸识别方法
CN110610489B (zh) 基于注意力机制的光学喉镜图像病变区标注方法
CN109063643B (zh) 一种用于脸部信息部分隐藏条件下的面部表情痛苦度识别方法
CN112614571B (zh) 神经网络模型的训练方法、装置、图像分类方法和介质
CN113486771B (zh) 基于关键点检测的视频动作整齐度评估方法及系统
CN111430025B (zh) 一种基于医疗影像数据扩增的疾病诊断模型训练方法
CN111460976A (zh) 一种数据驱动的基于rgb视频的实时手部动作评估方法
CN114861731B (zh) 一种可跨场景通用的肌电模式识别方法
CN106056141A (zh) 一种使用空间稀疏编码的目标识别与角度粗估计算法
CN113901891A (zh) 帕金森病握拳任务的评估方法及系统、存储介质及终端
CN110477907A (zh) 一种智能辅助识别痫性发作的方法
CN114638258A (zh) 一种用于表面肌电信号手势识别的快速适配方法
CN115661856A (zh) 一种基于Lite-HRNet的自定义康复训练监测与评估方法
CN115188074A (zh) 一种互动式体育训练测评方法、装置、系统及计算机设备
Wang et al. SURVS: A Swin-Unet and game theory-based unsupervised segmentation method for retinal vessel
CN110163489B (zh) 一种戒毒运动锻炼成效评价方法
CN111325282A (zh) 适应多机型的乳腺x射线影像识别方法和装置
Verma et al. Hmm-based convolutional lstm for visual scanpath prediction
CN116597996A (zh) 基于自适应近邻传播自聚类模型的婴儿脑发育量化评估系统
US20220130048A1 (en) System and method for estimating motion of target inside tissue based on surface deformation of soft tissue
CN113781490A (zh) 基于自监督学习的眼底血管图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination