CN115719514A - 一种面向手势识别的领域自适应方法及系统 - Google Patents

一种面向手势识别的领域自适应方法及系统 Download PDF

Info

Publication number
CN115719514A
CN115719514A CN202211477992.8A CN202211477992A CN115719514A CN 115719514 A CN115719514 A CN 115719514A CN 202211477992 A CN202211477992 A CN 202211477992A CN 115719514 A CN115719514 A CN 115719514A
Authority
CN
China
Prior art keywords
domain
gesture recognition
source domain
gesture
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211477992.8A
Other languages
English (en)
Other versions
CN115719514B (zh
Inventor
卫文韬
任林燕
周博文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202211477992.8A priority Critical patent/CN115719514B/zh
Publication of CN115719514A publication Critical patent/CN115719514A/zh
Application granted granted Critical
Publication of CN115719514B publication Critical patent/CN115719514B/zh
Priority to US18/515,592 priority patent/US20240168554A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Neurosurgery (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)

Abstract

本发明的目的是提供一种面向手势识别的领域自适应方法及系统，涉及手势识别技术领域，获取用户的待识别目标域表面肌电信号；将待识别目标域表面肌电信号分别输入到多个目标域手势识别模型中，得到多个源域视角下的目标域手势识别结果；不同目标域手识别模型使用的训练数据的源域不同；根据多个源域视角下的手势识别结果，以及每个源域视角下的权重，确定待识别目标域表面肌电信号的手势种类。本发明通过构建不同源域下的目标域手势种类识别模型，并基于多个目标域手势识别模型的识别结果进行融合，提高手势识别的准确性。

Description

一种面向手势识别的领域自适应方法及系统
技术领域
本发明涉及手势识别技术领域，特别是涉及一种面向手势识别的领域自适应方法及系统。
背景技术
肌电手势识别系统在实际使用中不可避免地会遇到用户反复佩戴设备造成的电极位移、用户长期使用系统引起的肌肉疲劳、以及不同用户间存在的电极贴放位置不同、肌肉发力不同、皮肤阻抗不同、手势动作完成度不同等个体差异，这将导致来自不同用户、不同会话或不同肌肉疲劳状态的表面肌电信号之间存在较大的分布差异。从机器学习的角度来看，来自不同用户、不同会话或不同肌肉疲劳状态的表面肌电信号可以看作来自不同的领域，而不同领域之间的数据分布差异通常会引起领域偏移，使得手势识别模型的训练数据和测试数据之间不再符合“独立同分布”这一传统机器学习假设，从而导致训练好的模型在识别来自全新领域的数据时出现性能下降，严重影响肌电手势识别系统的跨领域手势识别鲁棒性和泛化能力。
为此，肌电人机接口领域的专家广泛采用机器学习中的领域自适应学习技术解决多种因素诱发的肌电信号领域偏移问题。在机器学习领域，通常把模型的训练数据看作是源域数据，待识别的全新数据看作是目标域数据，领域自适应学习的目标是最小化源域和目标域之间的概率分布差异并建立起能够在目标域中执行相应任务的机器学习模型。表面肌电信号具有多源性质，即来自不同用户、不同会话、不同肌肉疲劳状态下的表面肌电数据可以看作是来自于不同数据源的数据。因此，肌电手势识别中的领域自适应问题本质上是一个多源领域自适应问题，传统面向目标域与单个源域之间自适应学习的方法容易忽视不同源域与目标域之间的不同关联性。
发明内容
本发明的目的是提供一种面向手势识别的领域自适应方法及系统，能够对不同源域视角下的多个目标域手势识别模型结果进行融合，提高手势识别的准确性。
为实现上述目的，本发明提供了如下方案：
一种面向手势识别的领域自适应方法，包括：
获取用户的待识别目标域表面肌电信号；
将所述待识别目标域表面肌电信号分别输入到多个目标域手势识别模型中，得到多个源域视角下的目标域手势识别结果；所述目标域手势识别模型与源域视角一一对应；任一源域视角对应的目标域手势识别模型均是基于对应源域的源域手势识别模型和对应源域视角下的领域自适应模型构建的；
根据多个源域视角下的手势识别结果，以及每个源域视角下的权重，确定待识别目标域表面肌电信号的手势种类。
可选的，所述源域手势识别模型是通过同一源域下的多个表面肌电信号对初始源域手势识别模型训练得到的；所述初始源域手势识别模型包括特征提取器和手势分类器；所述特征提取器包括依次连接的卷积神经网络、循环神经网络和多个全连接层；所述手势分类器包括全连接层和softmax分类器；所述手势分类器中的全连接层包括多个隐单元；
所述领域自适应模型包括目标域特征编码器和领域判别器；所述目标域特征编码器的神经网络结构与对应源域的特征提取器相同；
所述目标域手势识别模型包括同一源域对应的训练后的目标域特征编码器和训练后的手势分类器。
可选的，在所述获取用户的待识别目标域表面肌电信号之前，还包括：
从多名被试者获取训练用表面肌电信号，构成训练表面肌电信号数据集，所述训练表面肌电信号数据集中同一被试者的多个训练表面肌电信号数据为同一源域视角下的数据；
对训练表面肌电信号数据集中多个训练用表面肌电信号中每一帧对应的手势种类进行标签标注；
构建多个初始源域手势识别模型；
确定任一源域为当前源域；
以当前源域的多个训练用表面肌电信号数据为输入，以当前源域的多个训练用表面肌电信号数据对应的手势种类的标签为输出，对任一所述初始源域手势识别模型进行训练，得到当前源域手势识别模型。
可选的，所述以当前源域的多个训练用表面肌电信号数据为输入，以当前源域的多个训练用表面肌电信号数据对应的手势种类的标签为输出，对任一所述初始源域手势识别模型进行训练，得到当前源域手势识别模型包括：
确定任一所述初始源域手势识别模型为当前初始源域手势识别模型；
确定当前初始源域手势识别模型中的特征提取器为当前特征提取器；
确定当前初始源域手势识别模型中的手势分类器为当前手势分类器；
将当前源域下的多个训练用表面肌电信号输入到当前特征提取器中得到多个当前源域表面肌电信号深度特征；所述当前源域表面肌电信号深度特征是当前特征提取器的输出结果；
将多个当前源域表面肌电信号深度特征输入到当前手势分类器中得到手势分类结果；所述手势分类结果包括任一当前源域表面肌电信号为每种手势类别概率。
可选的，在所述获取用户的待识别目标域表面肌电信号之前，还包括：
确定每个源域视角下的权重。
可选的，在所述以当前源域的多个训练用表面肌电信号数据为输入，以当前源域的多个训练用表面肌电信号数据对应的手势种类的标签为输出，对任一所述初始源域手势识别模型进行训练，得到当前源域手势识别模型之后，还包括：
根据训练后的当前特征提取器的网络结构构建当前目标域特征编码器；
根据训练后的当前特征提取器的参数作为初始参数；构建当前领域判别器；
将所述当前源域的多个训练用表面肌电信号数据输入当前目标域特征编码器中进行编码，生成多个训练用表面肌电信号数据在当前源域视角下的多个深度编码特征；
将同一训练用表面肌电信号数据的多个深度编码特征和多个所述深度编码特征均输入当前领域判别器中进行区分，根据区分结果更新当前目标域特征编码器和当前领域判别器的参数。
可选的，所述确定每个源域视角下的权重，包括：
确定多个所述当前源域下表面肌电信号深度特征服从的分布为第一分布；
确定当前源域下的多个目标域表面肌电信号深度特征服从的分布为第二分布；
确定所述第一分布和所述第二分布的推土机距离(Wasserstein distance)；
根据所述推土机距离，利用公式
Figure BDA0003960088480000041
确定当前源域视角下的权重；ωi表示第i个源域视角下的权重；
Figure BDA0003960088480000042
表示第i个源域对应的推土机距离。
可选的，所述待识别目标域表面肌电信号的手势种类为：
Figure BDA0003960088480000043
其中；
Figure BDA0003960088480000044
表示待识别目标域表面肌电信号的手势种类；
Figure BDA0003960088480000045
表示第i个源域视角下的权重；k表示源域的总数量；
Figure BDA0003960088480000046
表示第i个源域视角下的第j个目标域表面肌电信号
Figure BDA0003960088480000047
的目标域表面肌电信号深度特征
Figure BDA0003960088480000048
的鉴别结果。
一种面向手势识别的领域自适应系统，包括：
待识别目标域表面肌电信号获取模块，用于获取用户的待识别目标域表面肌电信号；
手势识别结果确定模块，用于将所述待识别目标域表面肌电信号分别输入到多个目标域手势识别模型中，得到多个源域视角下的目标域手势识别结果；所述目标域手势识别模型与源域视角一一对应；任一源域视角对应的目标域手势识别模型均是基于对应源域的源域手势识别模型和对应源域视角下的领域自适应模型构建的；
手势种类确定模块，用于根据多个源域视角下的手势识别结果，以及每个源域视角下的权重，确定待识别目标域表面肌电信号的手势种类。
可选的，所述源域手势识别模型是通过同一源域下的多个表面肌电信号对初始源域手势识别模型训练得到的；所述初始源域手势识别模型包括特征提取器和手势分类器；所述特征提取器包括依次连接的卷积神经网络、循环神经网络和多个全连接层；所述手势分类器包括全连接层和softmax分类器；所述手势分类器中的全连接层包括多个隐单元；
所述领域自适应模型包括目标域特征编码器和领域判别器；所述目标域特征编码器的神经网络结构与对应源域的特征提取器相同；
所述目标域手势识别模型包括同一源域对应的训练后的目标域特征编码器和训练后的手势分类器。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明的目的是提供一种面向手势识别的领域自适应方法及系统，获取用户的待识别目标域表面肌电信号；将待识别目标域表面肌电信号分别输入到多个手势识别模型中，得到多个源域视角下的目标域手势识别结果；任一目标域手势识别模型是基于当前源域手势识别模型和当前源域视角下的领域自适应模型构建的；任一源域手势识别模型由同一源域下的多个表面肌电信号训练所得，包括特征提取器和手势分类器；特征提取器由卷积神经网络、循环神经网络和若干全连接层相连构成；手势分类器由多个隐单元的全连接层和softmax分类器构成；任一源域视角下的领域自适应模型由目标域特征编码器和领域判别器构成；目标域特征编码器与当前源域特征提取器具备相同的神经网络结构，并使用其参数作为初始参数；当前源域的领域自适应模型的目标域特征编码器和当前源域的手势分类器共同构成目标域手势识别模型；不同目标域手势种类识别模型使用的训练数据的源域不同；根据多个源域视角下的手势识别结果，以及每个源域视角下的权重，确定待识别目标域表面肌电信号的手势种类。本发明通过构建不同源域视角下下的目标域手势识别模型，并基于多个手势识别模型的识别结果进行融合，提高手势识别的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1中面向手势识别的领域自适应方法流程图；
图2为本发明实施例2中面向手势识别的领域自适应方法流程图；
图3为本发明实施例3中手势种类识别模型结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种面向手势识别的领域自适应方法及系统，能够对不同源域视角下的多个目标域手势识别模型结果进行融合，提高手势识别的准确性。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例1
如图1所示，本实施例提供了一种面向手势识别的领域自适应方法，包括：
步骤101：获取用户的待识别目标域表面肌电信号。
步骤102：将待识别目标域表面肌电信号分别输入到多个目标域手势识别模型中，得到多个源域视角下的目标域手势识别结果；目标域手势识别模型与源域视角一一对应；任一源域视角对应的目标域手势识别模型均是基于对应源域的源域手势识别模型和对应源域视角下的领域自适应模型构建的；源域手势识别模型是通过同一源域下的多个表面肌电信号对初始源域手势识别模型训练得到的；初始源域手势识别模型包括特征提取器和手势分类器；特征提取器包括依次连接的卷积神经网络、循环神经网络和多个全连接层；手势分类器包括全连接层和softmax分类器；手势分类器中的全连接层包括多个隐单元；领域自适应模型包括目标域特征编码器和领域判别器；目标域特征编码器的神经网络结构与对应源域的特征提取器相同；目标域手势识别模型包括同一源域对应的训练后的目标域特征编码器和训练后的手势分类器。
步骤103：根据多个源域视角下的手势识别结果，以及每个源域视角下的权重，确定待识别目标域表面肌电信号的手势种类。
在步骤101之前，还包括：
步骤104：从多名被试者获取训练用表面肌电信号，构成训练表面肌电信号数据集，训练表面肌电信号数据集中同一被试者的多个训练表面肌电信号数据为同一源域视角下的数据。
步骤105：对训练表面肌电信号数据集中多个训练用表面肌电信号中每一帧对应的手势种类进行标签标注。
步骤106：构建多个初始源域手势识别模型。
步骤107：确定任一源域为当前源域。
步骤108：以当前源域的多个训练用表面肌电信号数据为输入，以当前源域的多个训练用表面肌电信号数据对应的手势种类的标签为输出，对任一初始源域手势识别模型进行训练，得到当前源域手势识别模型。
步骤108包括：
步骤1081：确定任一初始源域手势识别模型为当前初始源域手势识别模型。
步骤1082：确定当前初始源域手势识别模型中的特征提取器为当前特征提取器。
步骤1083：确定当前初始源域手势识别模型中的手势分类器为当前手势分类器。
步骤1084：将当前源域下的多个训练用表面肌电信号输入到当前特征提取器中得到多个当前源域表面肌电信号深度特征；当前源域表面肌电信号深度特征是当前特征提取器的输出结果。
步骤1085：将多个当前源域表面肌电信号深度特征输入到当前手势分类器中得到手势分类结果；手势分类结果包括任一当前源域表面肌电信号为每种手势类别概率。
在步骤108之后还包括：
步骤109：根据训练后的当前特征提取器的网络结构构建当前目标域特征编码器。
步骤1010：根据训练后的当前特征提取器的参数作为初始参数；构建当前领域判别器。
步骤1011：将当前源域的多个训练用表面肌电信号数据输入当前目标域特征编码器中进行编码，生成多个训练用表面肌电信号数据在当前源域视角下的多个深度编码特征。
步骤1012：将同一训练用表面肌电信号数据的多个深度编码特征和多个深度编码特征均输入当前领域判别器中进行区分，根据区分结果更新当前目标域特征编码器和当前领域判别器的参数。
在步骤101之前，还包括：
步骤109：确定每个源域视角下的权重。
例如，步骤109包括：
步骤1091：确定多个当前源域下表面肌电信号深度特征服从的分布为第一分布。
步骤1092：确定当前源域下的多个目标域表面肌电信号深度特征服从的分布为第二分布。
步骤1093：确定第一分布和第二分布的推土机距离(Wasserstein distance)。
步骤1094：根据推土机距离，利用公式
Figure BDA0003960088480000081
确定当前源域视角下的权重；ωi表示第i个源域视角下的权重；
Figure BDA0003960088480000082
表示第i个源域对应的推土机距离。
具体的，待识别目标域表面肌电信号的手势种类为：
Figure BDA0003960088480000083
其中；
Figure BDA0003960088480000084
表示待识别目标域表面肌电信号的手势种类；
Figure BDA0003960088480000085
表示第i个源域视角下的权重；k表示源域的总数量；
Figure BDA0003960088480000086
表示第i个源域视角下的第j个目标域表面肌电信号
Figure BDA0003960088480000087
的目标域表面肌电信号深度特征
Figure BDA0003960088480000088
的鉴别结果。
实施例2
如图2所示，本实施例提出了一种肌电手势识别无监督多视角对抗式领域自适应学习框架，以应用于上述实施例一提供的面向手势识别的领域自适应方法中。这一肌电手势识别无监督多视角对抗式领域自适应学习框架的构建过程包含基于多分支卷积循环神经网络的多视角肌电手势识别模型构建、多源视角下的无监督对抗式领域自适应学习模型构建、基于目标域和源域间相似度的多源视角融合三个主要步骤，每个步骤的详细描述如下：
1基于多分支卷积循环神经网络的多视角肌电手势识别模型构建
假设训练数据集包含属于k个源域(S1,S2,...,Sk)的表面肌电数据样本集
Figure BDA0003960088480000091
其中
Figure BDA0003960088480000092
Figure BDA0003960088480000093
表示该源域中的表面肌电数据样本，
Figure BDA0003960088480000094
表示
Figure BDA0003960088480000095
对应的手势动作标签，
Figure BDA0003960088480000096
表示该源域中的表面肌电数据样本总量。构建包含k个深度神经网络分支的多视角肌电手势识别模型，用于在不同源域彼此独立的视角下进行特征学习与手势分类。每个深度神经网络分支由源域特征提取器Fi和源域手势分类器Ci组成，使用其对应源域的有标签表面肌电数据进行预训练，且预训练过程中不同源域对应的深度神经网络分支之间不共享神经网络参数，以保证Fi和Ci的参数可以得到其对应源域视角下的最优解。
由于表面肌电本质上是时间序列，为了更有效地对每个源域的表面肌电数据进行时序建模，本实施例基于卷积循环神经网络(convolutional recurrent neuralnetwork，CRNN)设计多视角肌电手势识别模型中每个深度神经网络分支的结构。如图3所示，每个深度神经网络分支中的源域特征提取器Fi(i＝1,2,…,k)由卷积神经网络(convolutionalneural network，CNN)、循环神经网络(recurrentneural network，RNN)和若干全连接层相连构成。循环神经网络是一种具有时序记忆能力的神经网络，其在序列每个时间点上构建具备自反馈结构的隐单元，每个隐单元的反馈不仅仅进入输出端，而且还进入了下一个时间点的隐单元，网络每个时间点隐单元的输出不但与其输入和网络的权值有关，也与之前所有时间点隐单元的输入有关。
如图3所示，多视角肌电手势识别模型中每个源域视角下的肌电手势识别流程描述如下：首先对每段表面肌电信号序列进行滑动窗口采样，然后把每一个滑动采样窗口中的M帧L通道表面肌电信号归一化到[0,1]区间后转化为M×L的表面肌电图像，输入由卷积层和局部连接层构成的卷积神经网络进行特征学习，并使用全连接层将卷积神经网络学习到的卷积特征映射到向量空间，随后将全连接层输出的向量形式深度特征输入循环神经网络(RNN)单元。我们把每个滑动采样窗口看作时序上的一个时间点，则每个滑动采样窗口的表面肌电信号xt通过具备自反馈结构的RNN单元与前一个时间点(滑动采样窗口)的表面肌电信号xt-1以及后一个时间点(滑动采样窗口)的表面肌电信号xt+1互相关联起来，使RNN可以对表面肌电信号序列进行时序建模，并通过最后一个RNN单元输出所学习到的时序特征。输出的时序特征被输入一个由G个隐单元(hidden-units)的全连接层(G-way全连接层)和softmax分类器构成的手势分类器中进行手势识别，输出以每个手势类别概率为形式的手势分类结果，G等于手势动作类别的总数。
2多源视角下的无监督对抗式领域自适应学习模型构建
肌电手势识别中多源无监督领域自适应学习的目标是在已知属于k个源域(S1,S2,...,Sk)的有标签表面肌电数据样本集
Figure BDA0003960088480000101
和一部分目标域无标签表面肌电数据样本集
Figure BDA0003960088480000102
(NT为可用目标域无标签表面肌电数据样本集的样本总量)的情况下，最小化不同源域与目标域之间的分布差异并构建可以在目标域中执行手势识别任务的机器学习模型。为实现这一目标，本实施例在不同源域彼此独立的视角下进行无监督对抗式领域自适应学习，构建多源视角下的无监督对抗式领域自适应学习模型，从而使不同源域视角下学习得到源域最优深度特征中的知识能有效提升目标域肌电手势识别性能。如图2所示：
对于每个源域Si，首先建立Si视角下的目标域特征编码器
Figure BDA0003960088480000103
与领域判别器Di。源域Si视角下的目标域特征编码器
Figure BDA0003960088480000104
与源域特征提取器Fi具备相同的神经网络结构，并使用Fi的参数作为初始参数，其通过对目标域肌电数据XT进行编码，产生目标域肌电数据在源域Si视角下的深度特征
Figure BDA0003960088480000105
领域判别器Di接受
Figure BDA0003960088480000106
以及源域特征提取器Fi从源域Si的肌电数据中学习到的深度特征
Figure BDA0003960088480000107
并试图判断它们所属的领域。当Di正确地判断
Figure BDA0003960088480000108
来自目标域时，目标编码器
Figure BDA0003960088480000109
通过参数更新，试图使
Figure BDA00039600884800001010
更加逼近
Figure BDA00039600884800001011
从而导致Di产生错误判断的概率增加。我们在训练Di时固定
Figure BDA00039600884800001012
的参数，而在训练
Figure BDA0003960088480000111
时固定Di的参数，通过这样一个循环交替的二元极小极大博弈(two-playerminimax gaming)过程，使Di和
Figure BDA0003960088480000112
都能得到最优解，此时目标域肌电数据在源域Si视角下的深度特征
Figure BDA0003960088480000113
与源域Si肌电数据的深度特征
Figure BDA0003960088480000114
足够相似，使得领域判别器Di无法判断其输入的确切来源。通过上述流程，在每个源域的视角下实现源域与目标域之间的跨领域知识迁移，最终形成多源视角下的无监督对抗式领域自适应学习模型。
本实施例基于Wasserstein距离对领域判别器和目标域特征编码器进行优化。在所有领域判别器均满足1-Lipschitz连续(利普希茨连续条件)的约束条件下，领域判别器Di试图将源域Si肌电数据深度特征
Figure BDA0003960088480000115
与目标域肌电数据在源域Si视角下的深度特征
Figure BDA0003960088480000116
之间的Wasserstein距离(推土机距离)最大化以正确地区分
Figure BDA0003960088480000117
和
Figure BDA0003960088480000118
其目标函数可写作：
Figure BDA0003960088480000119
Figure BDA00039600884800001110
其中，
Figure BDA00039600884800001111
为源域肌电数据深度特征
Figure BDA00039600884800001112
服从的分布，
Figure BDA00039600884800001113
为目标域肌电数据XT服从的分布，
Figure BDA00039600884800001114
表示数学期望，Pgrad为领域判别器Di满足1-Lipschitz约束时的梯度惩罚项，
Figure BDA00039600884800001115
为
Figure BDA00039600884800001116
和
Figure BDA00039600884800001117
的概率分布中每两个样本之间直线上的随机采样点，λ为固定的惩罚项系数。
对目标域特征编码器
Figure BDA00039600884800001118
而言，其试图最小化
Figure BDA00039600884800001119
与
Figure BDA00039600884800001120
之间的Wasserstein距离，使领域判别器Di混淆
Figure BDA00039600884800001121
和
Figure BDA00039600884800001122
的几率增加，在领域判别器Di参数固定的前提下，
Figure BDA00039600884800001123
的目标函数等同于：
Figure BDA00039600884800001124
3基于目标域和源域间相似度的多源视角融合
本实施例在多源视角下的无监督对抗式领域自适应学习模型基础上进一步构建多源视角下的目标域手势识别模型，获得不同源域视角下的目标域肌电手势分类结果。如图3所示，第i个源域Si视角下的目标域手势识别模型由Si视角下的目标域特征编码器
Figure BDA00039600884800001125
和Si对应的源域手势分类器Ci组成，
Figure BDA0003960088480000121
用于从全新的待识别目标域肌电数据X′T中学习其在源域Si视角下的深度特征
Figure BDA0003960088480000122
随后
Figure BDA0003960088480000123
被输入Ci中进行手势分类，得到源域Si视角下的目标域手势分类结果。
通过上述流程，当有全新待识别目标域肌电数据X′T输入模型时，最终会得到k个源域S1，S2,S3,…,Sk视角下的目标域手势分类结果。本实施例对k个源域的不同视角进行加权融合得到最终的目标域手势分类结果。假设全新待识别目标域肌电数据X′T中的第j个数据样本为
Figure BDA0003960088480000124
则其手势类别软标签(soft label)
Figure BDA0003960088480000125
的计算公式为：
Figure BDA0003960088480000126
其中
Figure BDA0003960088480000127
为不同源域视角下的权重。多源领域自适应学习的相关研究指出，来自与目标域更为相似源域的分类结果将更为可信。为此，本实施例基于目标域和源域间的相似度确定不同源域视角下的权重，以在多源视角的融合中更加强调与目标域高度相似源域的视角。本实施例基于Wasserstein距离和基于混淆分数衡量目标域与不同源域间相似度确定不同源域权重。
(1)基于Wasserstein距离的源域视角权重计算方法：
Figure BDA0003960088480000128
其中，
Figure BDA0003960088480000129
是第i个源域Si肌电数据的深度特征与目标域肌电数据在Si视角下的深度特征之间的Wasserstein距离。
(2)基于混淆得分的源域视角权重计算方法：
Figure BDA00039600884800001210
Figure BDA00039600884800001211
其中，αi为领域判别器Di对源域Si中所有样本的判别损失平均值。
Figure BDA0003960088480000131
为混淆得分。
Figure BDA0003960088480000132
为目标域数据，F为特征提取器，领域判别器Di基于源域Si的领域判别器。对于输入的数据x(x来源于源域Si或者目标域)，由特征提取器提取特征F(x)传入领域判别器D，由领域判别器Di分类判断F(x)来源于源域Si或者目标域。对于来源于源域Si的数据，则不会出发其他的源域判别器，而对于来源于目标域的数据，域鉴别器D产生N个源域鉴别结果
Figure BDA0003960088480000133
用于更新域鉴别器D。
实施例3
本实施例提供了一种手势识别系统，包括：
待识别目标域表面肌电信号获取模块，用于获取用户的待识别目标域表面肌电信号。
手势识别结果确定模块，用于将待识别目标域表面肌电信号分别输入到多个目标域手势识别模型中，得到多个源域视角下的目标域手势识别结果；目标域手势识别模型与源域视角一一对应；任一源域视角对应的目标域手势识别模型均是基于对应源域的源域手势识别模型和对应源域视角下的领域自适应模型构建的。
手势种类确定模块，用于根据多个源域视角下的手势识别结果，以及每个源域视角下的权重，确定待识别目标域表面肌电信号的手势种类。
其中，源域手势识别模型是通过同一源域下的多个表面肌电信号对初始源域手势识别模型训练得到的；初始源域手势识别模型包括特征提取器和手势分类器；特征提取器包括依次连接的卷积神经网络、循环神经网络和多个全连接层；手势分类器包括全连接层和softmax分类器；手势分类器中的全连接层包括多个隐单元；领域自适应模型包括目标域特征编码器和领域判别器；目标域特征编码器的神经网络结构与对应源域的特征提取器相同；目标域手势识别模型包括同一源域对应的训练后的目标域特征编码器和训练后的手势分类器。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种面向手势识别的领域自适应方法，其特征在于，包括：
获取用户的待识别目标域表面肌电信号；
将所述待识别目标域表面肌电信号分别输入到多个目标域手势识别模型中，得到多个源域视角下的目标域手势识别结果；所述目标域手势识别模型与源域视角一一对应；任一源域视角对应的目标域手势识别模型均是基于对应源域的源域手势识别模型和对应源域视角下的领域自适应模型构建的；
根据多个源域视角下的手势识别结果，以及每个源域视角下的权重，确定待识别目标域表面肌电信号的手势种类。
2.根据权利要求1所述的一种面向手势识别的领域自适应方法，其特征在于，
所述源域手势识别模型是通过同一源域下的多个表面肌电信号对初始源域手势识别模型训练得到的；所述初始源域手势识别模型包括特征提取器和手势分类器；所述特征提取器包括依次连接的卷积神经网络、循环神经网络和多个全连接层；所述手势分类器包括全连接层和softmax分类器；所述手势分类器中的全连接层包括多个隐单元；
所述领域自适应模型包括目标域特征编码器和领域判别器；所述目标域特征编码器的神经网络结构与对应源域的特征提取器相同；
所述目标域手势识别模型包括同一源域对应的训练后的目标域特征编码器和训练后的手势分类器。
3.根据权利要求1所述的一种面向手势识别的领域自适应方法，其特征在于，在所述获取用户的待识别目标域表面肌电信号之前，还包括：
从多名被试者获取训练用表面肌电信号，构成训练表面肌电信号数据集，所述训练表面肌电信号数据集中同一被试者的多个训练表面肌电信号数据为同一源域视角下的数据；
对训练表面肌电信号数据集中多个训练用表面肌电信号中每一帧对应的手势种类进行标签标注；
构建多个初始源域手势识别模型；
确定任一源域为当前源域；
以当前源域的多个训练用表面肌电信号数据为输入，以当前源域的多个训练用表面肌电信号数据对应的手势种类的标签为输出，对任一所述初始源域手势识别模型进行训练，得到当前源域手势识别模型。
4.根据权利要求3所述的一种面向手势识别的领域自适应方法，其特征在于，所述以当前源域的多个训练用表面肌电信号数据为输入，以当前源域的多个训练用表面肌电信号数据对应的手势种类的标签为输出，对任一所述初始源域手势识别模型进行训练，得到当前源域手势识别模型包括：
确定任一所述初始源域手势识别模型为当前初始源域手势识别模型；
确定当前初始源域手势识别模型中的特征提取器为当前特征提取器；
确定当前初始源域手势识别模型中的手势分类器为当前手势分类器；
将当前源域下的多个训练用表面肌电信号输入到当前特征提取器中得到多个当前源域表面肌电信号深度特征；所述当前源域表面肌电信号深度特征是当前特征提取器的输出结果；
将多个当前源域表面肌电信号深度特征输入到当前手势分类器中得到手势分类结果；所述手势分类结果包括任一当前源域表面肌电信号为每种手势类别概率。
5.根据权利要求1所述的一种面向手势识别的领域自适应方法，其特征在于，在所述获取用户的待识别目标域表面肌电信号之前，还包括：
确定每个源域视角下的权重。
6.根据权利要求4所述的一种面向手势识别的领域自适应方法，其特征在于，在所述以当前源域的多个训练用表面肌电信号数据为输入，以当前源域的多个训练用表面肌电信号数据对应的手势种类的标签为输出，对任一所述初始源域手势识别模型进行训练，得到当前源域手势识别模型之后，还包括：
根据训练后的当前特征提取器的网络结构构建当前目标域特征编码器；
根据训练后的当前特征提取器的参数作为初始参数；构建当前领域判别器；
将所述当前源域的多个训练用表面肌电信号数据输入当前目标域特征编码器中进行编码，生成多个训练用表面肌电信号数据在当前源域视角下的多个深度编码特征；
将同一训练用表面肌电信号数据的多个深度编码特征和多个所述深度编码特征均输入当前领域判别器中进行区分，根据区分结果更新当前目标域特征编码器和当前领域判别器的参数。
7.根据权利要求6所述的一种面向手势识别的领域自适应方法，其特征在于，所述确定每个源域视角下的权重，包括：
确定多个所述当前源域下表面肌电信号深度特征服从的分布为第一分布；
确定当前源域下的多个目标域表面肌电信号深度特征服从的分布为第二分布；
确定所述第一分布和所述第二分布的推土机距离；
根据所述推土机距离，利用公式
Figure FDA0003960088470000031
确定当前源域视角下的权重；ωi表示第i个源域视角下的权重；
Figure FDA0003960088470000032
表示第i个源域对应的推土机距离。
8.根据权利要求1所述的一种面向手势识别的领域自适应方法，其特征在于，所述待识别目标域表面肌电信号的手势种类为：
Figure FDA0003960088470000033
其中；
Figure FDA0003960088470000034
表示待识别目标域表面肌电信号的手势种类；
Figure FDA0003960088470000035
表示第i个源域视角下的权重；k表示源域的总数量；
Figure FDA0003960088470000036
表示第i个源域视角下的第j个目标域表面肌电信号
Figure FDA0003960088470000037
的目标域表面肌电信号深度特征
Figure FDA0003960088470000038
的鉴别结果。
9.一种面向手势识别的领域自适应系统，其特征在于，包括：
待识别目标域表面肌电信号获取模块，用于获取用户的待识别目标域表面肌电信号；
手势识别结果确定模块，用于将所述待识别目标域表面肌电信号分别输入到多个目标域手势识别模型中，得到多个源域视角下的目标域手势识别结果；所述目标域手势识别模型与源域视角一一对应；任一源域视角对应的目标域手势识别模型均是基于对应源域的源域手势识别模型和对应源域视角下的领域自适应模型构建的；
手势种类确定模块，用于根据多个源域视角下的手势识别结果，以及每个源域视角下的权重，确定待识别目标域表面肌电信号的手势种类。
10.根据权利要求9所述的一种面向手势识别的领域自适应系统，其特征在于，
所述源域手势识别模型是通过同一源域下的多个表面肌电信号对初始源域手势识别模型训练得到的；所述初始源域手势识别模型包括特征提取器和手势分类器；所述特征提取器包括依次连接的卷积神经网络、循环神经网络和多个全连接层；所述手势分类器包括全连接层和softmax分类器；所述手势分类器中的全连接层包括多个隐单元；
所述领域自适应模型包括目标域特征编码器和领域判别器；所述目标域特征编码器的神经网络结构与对应源域的特征提取器相同；
所述目标域手势识别模型包括同一源域对应的训练后的目标域特征编码器和训练后的手势分类器。
CN202211477992.8A 2022-11-23 2022-11-23 一种面向手势识别的领域自适应方法及系统 Active CN115719514B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211477992.8A CN115719514B (zh) 2022-11-23 2022-11-23 一种面向手势识别的领域自适应方法及系统
US18/515,592 US20240168554A1 (en) 2022-11-23 2023-11-21 Domain adaptation method and system for gesture recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211477992.8A CN115719514B (zh) 2022-11-23 2022-11-23 一种面向手势识别的领域自适应方法及系统

Publications (2)

Publication Number Publication Date
CN115719514A true CN115719514A (zh) 2023-02-28
CN115719514B CN115719514B (zh) 2023-06-30

Family

ID=85256108

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211477992.8A Active CN115719514B (zh) 2022-11-23 2022-11-23 一种面向手势识别的领域自适应方法及系统

Country Status (2)

Country Link
US (1) US20240168554A1 (zh)
CN (1) CN115719514B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117311513A (zh) * 2023-10-26 2023-12-29 昆明理工大学 一种卷积神经网络结合子域适应的低采样率肌电手势识别方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090327171A1 (en) * 2008-06-26 2009-12-31 Microsoft Corporation Recognizing gestures from forearm emg signals
CN111209885A (zh) * 2020-01-13 2020-05-29 腾讯科技（深圳）有限公司 一种手势信息处理方法、装置、电子设备及存储介质
CN112668633A (zh) * 2020-12-25 2021-04-16 浙江大学 一种基于细粒度领域自适应的图迁移学习方法
CN113111831A (zh) * 2021-04-23 2021-07-13 浙江工业大学 一种基于多模态信息融合的手势识别技术
CN114098768A (zh) * 2021-11-25 2022-03-01 哈尔滨工业大学 基于动态阈值和EasyTL的跨个体表面肌电信号手势识别方法
CN114550304A (zh) * 2022-02-28 2022-05-27 中国科学技术大学 一种用于鲁棒肌电控制的跨用户手势识别方法
CN114638258A (zh) * 2022-02-28 2022-06-17 复旦大学 一种用于表面肌电信号手势识别的快速适配方法
CN114816069A (zh) * 2022-05-18 2022-07-29 山东产业技术研究院智能计算研究院 基于多源域集成迁移的跨用户肌电手势识别方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090327171A1 (en) * 2008-06-26 2009-12-31 Microsoft Corporation Recognizing gestures from forearm emg signals
CN111209885A (zh) * 2020-01-13 2020-05-29 腾讯科技（深圳）有限公司 一种手势信息处理方法、装置、电子设备及存储介质
CN112668633A (zh) * 2020-12-25 2021-04-16 浙江大学 一种基于细粒度领域自适应的图迁移学习方法
CN113111831A (zh) * 2021-04-23 2021-07-13 浙江工业大学 一种基于多模态信息融合的手势识别技术
CN114098768A (zh) * 2021-11-25 2022-03-01 哈尔滨工业大学 基于动态阈值和EasyTL的跨个体表面肌电信号手势识别方法
CN114550304A (zh) * 2022-02-28 2022-05-27 中国科学技术大学 一种用于鲁棒肌电控制的跨用户手势识别方法
CN114638258A (zh) * 2022-02-28 2022-06-17 复旦大学 一种用于表面肌电信号手势识别的快速适配方法
CN114816069A (zh) * 2022-05-18 2022-07-29 山东产业技术研究院智能计算研究院 基于多源域集成迁移的跨用户肌电手势识别方法及系统

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
DU Y, ET AL: "Surface EMG-based inter-session gesture recognition enhanced by deep domain adaptation", SENSORS, pages 1 - 22 *
GENG W, ET AL: "Gesture recognition by instantaneous surface EMG images", SCIENTIFIC REPORTS, pages 1 - 8 *
HU Y, ET AL: "A novel attention-based hybrid CNN-RNN architecture for sEMG-based gesture recognition", PLOS ONE, pages 1 - 18 *
WEI W, ET AL: "A hierarchical view pooling network for multichannel surface electromyography-based gesture recognition", COMPUTATIONAL INTELLIGENCE AND NEUROSCIENCE, pages 1 - 13 *
WEI W, ET AL: "A multi-stream convolutional neural network for sEMG-based gesture recognition in muscle-computer interface", PATTERN RECOGNITION LETTERS, pages 131 - 138 *
WEI W, ET AL: "Surface-electromyography-based gesture recognition by multi-view deep learning", IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING, pages 2964 - 2973 *
段涛: "基于肌动信号与肌电连续信号的假肢手控制研究", 华中科技大学, pages 1 - 87 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117311513A (zh) * 2023-10-26 2023-12-29 昆明理工大学 一种卷积神经网络结合子域适应的低采样率肌电手势识别方法
CN117311513B (zh) * 2023-10-26 2024-03-08 昆明理工大学 一种卷积神经网络结合子域适应的低采样率肌电手势识别方法

Also Published As

Publication number Publication date
US20240168554A1 (en) 2024-05-23
CN115719514B (zh) 2023-06-30

Similar Documents

Publication Publication Date Title
CN110609891B (zh) 一种基于上下文感知图神经网络的视觉对话生成方法
CN109753992B (zh) 基于条件生成对抗网络的无监督域适应图像分类方法
CN105739688A (zh) 一种基于情感体系的人机交互方法、装置和交互系统
CN109829436A (zh) 一种基于深度表观特征和自适应聚合网络的多人脸跟踪方法
CN109299262A (zh) 一种融合多粒度信息的文本蕴含关系识别方法
CN108804453A (zh) 一种视音频识别方法及装置
CN109871898B (zh) 一种利用生成对抗网络生成堆积物训练样本的方法
CN112036276A (zh) 一种人工智能视频问答方法
CN113344479B (zh) 面向在线课堂的学习参与度智能评估方法和装置
CN116363712B (zh) 一种基于模态信息度评估策略的掌纹掌静脉识别方法
CN112905762A (zh) 一种基于同等注意力图网络的视觉问答方法
CN115719514A (zh) 一种面向手势识别的领域自适应方法及系统
CN115512440A (zh) 一种基于多源域自适应的跨用户手势识别方法
CN115412324A (zh) 基于多模态条件对抗领域适应的空天地网络入侵检测方法
Qian et al. Hardness recognition of robotic forearm based on semi-supervised generative adversarial networks
CN116502069A (zh) 一种基于深度学习的触觉时序信号识别方法
CN114004257A (zh) 基于轻量级卷积神经网络的肌电手势识别方法
CN103942545A (zh) 一种基于双向压缩数据空间维度缩减的人脸识别方法和装置
CN116151226B (zh) 一种基于机器学习的聋哑人手语纠错方法、设备和介质
CN113255701A (zh) 一种基于绝对-相对学习架构的小样本学习方法和系统
CN116311477A (zh) 一种面向跨身份一致性的面部运动单元检测模型构建方法
CN114357166B (zh) 一种基于深度学习的文本分类方法
CN115795993A (zh) 一种双向判别性特征对齐的分层知识融合方法及装置
Kagalkar et al. Mobile Application Based Translation of Sign Language to Text Description in Kannada Language.
CN112102399A (zh) 一种基于生成式对抗网络的视觉里程计算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant