CN117292404A - 一种高精度手势数据识别方法、电子设备及存储介质 - Google Patents

一种高精度手势数据识别方法、电子设备及存储介质 Download PDF

Info

Publication number
CN117292404A
CN117292404A CN202311327282.1A CN202311327282A CN117292404A CN 117292404 A CN117292404 A CN 117292404A CN 202311327282 A CN202311327282 A CN 202311327282A CN 117292404 A CN117292404 A CN 117292404A
Authority
CN
China
Prior art keywords
gesture
domain
data
gesture data
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311327282.1A
Other languages
English (en)
Other versions
CN117292404B (zh
Inventor
张展
左德承
封威
冯懿
范柳丰
舒燕君
温冬新
董剑
王轶玮
周佩洁
曲思蒙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202311327282.1A priority Critical patent/CN117292404B/zh
Publication of CN117292404A publication Critical patent/CN117292404A/zh
Application granted granted Critical
Publication of CN117292404B publication Critical patent/CN117292404B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

一种高精度手势数据识别方法、电子设备及存储介质，属于人工智能技术领域。为提高基于数据手套的手势识别的准确率，本发明采集新目标手势数据，构建新目标手势数据集，获取源域手势数据，构建源域手势数据集；基于mPUL算法和TSC算法构建无用手势过滤模型；将新目标手势数据，利用构建的无用手势过滤模型进行手势过滤，得到目标域手势数据，构建目标域手势数据集；构建基于迁移学习的跨域手势识别模型；将采集的源域手势数据集、目标域手势数据集输入到构建的基于迁移学习的跨域手势识别模型，进行从源域到目标域的手势识别，得到高精度手势数据识别结果。本发明手势识别准确率高。

Description

一种高精度手势数据识别方法、电子设备及存储介质
技术领域
本发明属于人工智能技术领域，具体涉及一种高精度手势数据识别方法、电子设备及存储介质。
背景技术
随着科技的不断发展，人机交互逐渐成为人们生活中不可或缺的一部分。手势识别技术作为人机交互领域的一个重要分支，如今应用于智能家居、自动驾驶、虚拟现实等各种领域。
基于传感器的手势识别技术针对手势数据的产生者即佩戴传感器的实验者具有较高的要求，因为不同的使用者，乃至于同样的使用者使用不同的数据收集设备都会产生不同的手势特征，因而如何克服在手势识别过程中，实际的使用环境及新目标使用与已有的训练数据特征不同，而产生的种种问题是一类技术难点。
公开号为CN116594507A、发明名称为“一种可穿戴手语手势识别系统及方法”的发明专利，技术方案为手套本体的指尖位置设置有电子罗盘模块以采集手指间角度信息，手指位置设置了弯曲度传感器模块，手背位置设置了手掌姿态检测模块；主控模块分别与电子罗盘模块、弯曲度传感器模块、手掌姿态检测模块、语音模块和通信模块连接；主控模块将各个传感器采样一次汇总的数据，作为一帧数据，通过通信模块发送给上位机；并通过上位机将该数据与数据库中语义进行匹配，并将匹配结果通过通信模块发送给主控模块，主控模块通过语音模块对匹配结果进行语音播报。同时提出一种识别方法，可降低系统功耗、提高系统续航时间、并提高识别准确度，系统将采集到的数据通过所提出的手语手势识别方法进行识别。但在跨用户、跨设备的手势识别时存在预训练模型的准确率问题。在没有进行个性化训练的情况下，同一用户在更换手套设备后，应用原有手势识别模型进行手势识别的准确率会大幅度降低，需要对使用的手势识别模型进行针对该手势数据采集设备的个性化调整和训练，以提高准确性；而且因为不同用户的手势特征和习惯不同，对于同一手势的表现也会有所差异，所以对于不同用户使用相同设备时所产生的手势数据，更需要进行个性化训练。而且在实际的数据手套使用过程中，产生的无用数据规模大于真正有意义的手势数据量，在识别过程中可能会将此部分数据当作有用信息进行识别，导致识别产生延迟，甚至产出较多无用结果。
发明内容
本发明要解决的问题是提高基于数据手套的手势识别的准确率，提出一种高精度手势数据识别方法、电子设备及存储介质。
为实现上述目的，本发明通过以下技术方案实现：
一种高精度手势数据识别方法，包括如下步骤：
S1.采集新目标手势数据，构建新目标手势数据集，获取源域手势数据，构建源域手势数据集；
S2.基于mPUL算法和TSC算法构建无用手势过滤模型；
S3.将步骤S1得到的新目标手势数据，利用步骤S2构建的无用手势过滤模型进行手势过滤，得到目标域手势数据，构建目标域手势数据集；
S4.构建基于迁移学习的跨域手势识别模型；
S5.将步骤S1获取的源域手势数据集、步骤S3得到的目标域手势数据集输入到步骤S4构建的基于迁移学习的跨域手势识别模型，进行从源域到目标域的手势识别，得到高精度手势数据识别结果。
进一步的，步骤S1中的新目标手势数据为基于新用户采集的数据手套的手势数据或者基于新的手套设备采集的手势数据，源域手势数据为已有的手势数据。
进一步的，步骤S2的具体实现方法包括如下步骤：
S2.1.设置定义好的手势库为封闭世界CW条件，采集的手势数据为开放世界OW条件；
S2.2.基于mPUL算法对处于OW条件下的手势数据进行区分过滤；
S2.2.1.设置数据集(x,y)，x为手势数据实例，y为x的手势类型标签，则定义AO＝{a1,a2,…,am}，y∈AO，AO表示在训练手势样本过程中的一组手势类别；
设置A为开放世界中所有可能的手势类型，即则得到计算表达式为：
其中，为不在数据库中的手势类型；
则CW条件和OW条件的计算表达式为：
AO＝AinCW
S2.2.2.利用mPUL算法，将已标记实例的部分划分为正实例池和负实例池，同时将负实例池和无标签池设置为阴性无标签池NU，每个NU实例都属于正实例或者负实例，且NU中的一组负实例属于具有代表性的负实例即该集合包含所有负实例类别，其中包括未知的手势类型；
mPUL训练结果为一组m个分类器，每个分类器对手势类型ai(i∈1,……,m})的条件概率估计为
fi(x)＝p(yi＝1|x)
在手势类别分类阶段，对于手势数据实例x，使用m个二进制分类器计算fi(x)，最终输出具有最高条件概率p*＝maxifi(x)的类别y*，同时对未知活动的检测设定输出类别
设置混淆矩阵中的四个基本指标，用于评估分类模型的性能，包括：
TP(Ture Positive)：真正例：模型正确地将正例样本分类为正例的数量；
FN(False Negative)：假反例：实际为正例的样本被模型错误地分类为反例的数量；
FP(False Positive)：假正例：实际为反例的样本被模型错误地分类为正例的数量；
TN(Ture Negative)：真反例：模型正确地将反例样本分类为反例的数量；
S2.3.基于TSC算法对切换手势数据进行识别；
S2.3.1.构建平均混淆矩阵，针对每次使用过程中产生相同类别的手势序列并对此生成一个混淆矩阵最终生成平均混淆矩阵；
S2.3.2.设置每个手势类别中每个手势第i次出现为bi，其总出现次数定义为bMAX，每次该手势出现的同时，训练模型同时生成混淆矩阵CM，所有手势输入完成，对所有的CM求和同时定义平均混淆矩阵CMAVG，计算表达式为：
S2.3.3.将步骤S2.3.2得到的平均混淆矩阵输入至步骤S2.2.1构建的CW条件和OW条件阈值中，初始化起始阈值threshSTART＝0.99，设置最小阈值threshMIN＝0.7，同时定义目标手势数量gTARGET＝10，最小的手势数量为gMIN＝5，阈值tresh，进行迭代运算，计算表达式为：
其中，gRECOG为可识别手势数量；
在gRECOG<gTARGET时，若thresh<threshMIN，则将阈值减小0.005；此外若gTARGET>gMIN，那么更新阈值，thresh←threshSTART，并且gTARGET←gTARGET-1；最终得到可识别手势数量gRECOG，手势合并阈值thresh；
S2.3.4.利用步骤S2.3.3得到的gRECOG和thresh对步骤S2.3.2构建的平均混淆矩阵CMAVG进行解析，按行确定其中应该合并的手势种类，混淆矩阵的行对应手势标签，CMrr表示给定标签的准确度，若准确度低于阈值，则将手势gr映射为最易混淆的手势标签gj，得到过滤后的手势识别数据。
进一步的，步骤S3将步骤S1得到的新目标手势数据，利用步骤S2构建的无用手势过滤模型进行手势过滤，得到过滤后的手势识别数据，即为目标域手势数据。
进一步的，步骤S4的具体实现方法包括如下步骤：
S4.1.构建所述的基于迁移学习的跨域手势识别模型为基于域分离网络DSNs，包括5个部分：用以提取目标域的私有特征的目标域私有编码器用以提取源域的私有特征的源域私有编码器/>用以提取源域和目标域的共有特征的共享编码器Ec(X)，用以将私有特征和共有特征组成的样本进行解码的共享解码器D(Ec(X)+Ep(X))，在训练时对源域样本分类，在训练完成时直接在目标域上完成分类的分类器G(Ec(Xs)；
S4.2.对于目标域私有编码器、源域私有编码器、共享编码器，采用双层卷积的结构对手势数据进行编码，其中第一层卷积核大小kernel_size设置为3，经过ReLU层以加速模型收敛，同时采用kernel_size为2的最大池化层缓解卷积层对于位置关系的敏感问题，第二层卷积核大小kernel_size为5以捕捉不同区域的数据关联特征，其后采用ReLU层和最大池化层，其后接入全连接层输出运算得到的编码特征；
S4.3.对于共享解码器，首先使用全连接层对私有特征和公有特征进行解码处理，使用Reshape单元将全连接层输出修改为卷积神经网络对应的大小，其后采用kernel_size为5的两层卷积和ReLU层，采用UpSampling单元进行逆卷积，进行信号还原，最后通过卷积和ReLU层对还原的数据进行运算得到重构损失Lrecon。
进一步的，步骤S5的具体实现方法包括如下步骤：
S5.1.将步骤S1采集的源域手势数据输入到步骤S4构建的源域私有编码器和共享编码器分别提取源域手势数据的类别中心特征和样本特征；
将步骤S3得到的目标域手势数据输入到步骤S4构建的目标域私有编码器和共享编码器分别提取目标域手势数据的类别中心特征和样本特征；
然后计算差异损失函数Ldifference和相似性损失函数Lsimilarity，计算表达式为：
其中，表示源域的类别中心特征；/>表示源域的样本特征；/>表示目标域的类别中心特征；/>表示目标领域的样本特征；||·||F：表示矩阵的Frobenius范数；Ns：表示源域中的类别数量；Nt：表示目标域中的类别数量；/>表示源域中第i个类别的中心特征；/>表示源域中第j个类别的中心特征；/>表示目标域中第i个类别的中心特征；/>表示目标域中第j个类别的中心特征；k(·,·)：核函数，计算两个向量之间相似性的函数；
S5.2.将源域手势数据的共有特征、目标域手势数据的共有特征和目标域手势数据的私有特征输入到步骤S4构建的共享解码器，输出重构损失函数Lrecon，计算表达式为：
其中，为结构化相似性均方误差，x为输入信号，/>为输出信号；
S5.3.使用源域手势数据的共有特征和数据标签构建分类器损失函数Ltask，构建总体损失函数L的计算公式为：
L＝Ltask+αLrecon+βLdifference+γLsimilarity
其中，α、β、γ分别为控制分类器损失函数、差异损失函数、相似性损失函数的超参数；
重复步骤S5.1-S5.3使总体损失函数达到最低，输出高精度手势数据识别结果。
电子设备，包括存储器和处理器，存储器存储有计算机程序，所述的处理器执行所述计算机程序时实现所述的一种高精度手势数据识别方法的步骤。
计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的一种高精度手势数据识别方法。
本发明的有益效果：
本发明所述的一种高精度手势数据识别方法，改善了在没有进行个性化训练的情况下，同一用户在更换手套设备后或新用户使用设备，应用原有手势识别模型进行手势识别的准确率会大幅度降低的问题。算法实现通过收集少量新域数据，实现手势识别模型的迁移工作，提高针对新域的手势识别效率，从而提高系统用户体验，采用域分离网络的迁移学习方法，寻找不同用户以及不同数据手套的共有特征表示，同时捕获每个特定域的特征，在迁移过程中将源域的私有特征剔除，保留公有特征，保证实现模型正迁移，实验验证针对新目标算法达到平均识别准确率95％以上。
本发明所述的一种高精度手势数据识别方法，避免用户使用手套时会伴随产生的不属于预定义的手势库中的一些无意识的动作对手势识别系统产生影响。本发明定义了无用手势的具体概念，并根据其定义，设计考虑将无用手势分为两类即有用但无意义的相对无用手势和过渡手势，在处理相对无用手势时引入PUL的学习思路；在处理过渡手势时，算法利用模型混淆矩阵的思想，将分割出的过渡手势段与其前后的独立手势进行融合识别，实现对过渡手势的过滤，最终实现的算法针对无用手势的过滤准确率达到90％以上。
附图说明
图1为本发明所述的一种高精度手势数据识别方法的流程图；
图2为本发明理想状况、CW条件和OW条件下的手势实例划分示意图，其中(a)为理想状况，(b)为CW条件，(c)为OW条件；
图3为本发明mPUL算法对手势实例的划分示意图；
图4为本发明DSNs网络结构示意图；
图5为本发明mPUL算法对无用手势过滤的准确率曲线，其中(a)为m＝3时，mPUL算法对无用手势过滤的准确率，(b)为每个手势类型中被标记的手势实例数量为20时，得到算法对无用手势过滤的准确率；
图6为本发明手势分割出的手势序列曲线；
图7为本发明过渡手势算法训练后输出的手势识别序列曲线；
图8为本发明DSNs网络与直接训练得到的模型数据量规模识别效果对比曲线一，其中(a)为新用户A，(b)为新用户B；
图9为本发明DSNs网络与直接训练得到的模型训练次数识别效果对比曲线二。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施方式，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅用以解释本发明，并不用于限定本发明，即所描述的具体实施方式仅仅是本发明一部分实施方式，而不是全部的具体实施方式。通常在此处附图中描述和展示的本发明具体实施方式的组件可以以各种不同的配置来布置和设计，本发明还可以具有其他实施方式。
因此，以下对在附图中提供的本发明的具体实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定具体实施方式。基于本发明的具体实施方式，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他具体实施方式，都属于本发明保护的范围。
为能进一步了解本发明的发明内容、特点及功效，兹例举以下具体实施方式，并配合附图1-附图9详细说明如下：
具体实施方式一：
一种高精度手势数据识别方法，包括如下步骤：
S1.采集新目标手势数据，构建新目标手势数据集，获取源域手势数据，构建源域手势数据集；
进一步的，步骤S1中的新目标手势数据为基于新用户采集的数据手套的手势数据或者基于新的手套设备采集的手势数据，源域手势数据为已有的手势数据；
S2.基于mPUL算法和TSC算法构建无用手势过滤模型；
进一步的，步骤S2的具体实现方法包括如下步骤：
S2.1.设置定义好的手势库为封闭世界CW条件，采集的手势数据为开放世界OW条件；
S2.2.基于mPUL算法对处于OW条件下的手势数据进行区分过滤；
S2.2.1.设置数据集(x,y)，x为手势数据实例，y为x的手势类型标签，则定义AO＝{a1,a2,…,am}，y∈AO，AO表示在训练手势样本过程中的一组手势类别；
设置A为开放世界中所有可能的手势类型，即则得到计算表达式为：
其中，为不在数据库中的手势类型；
则CW条件和OW条件的计算表达式为：
AO＝AinCW
S2.2.2.利用mPUL算法，将已标记实例的部分划分为正实例池和负实例池，同时将负实例池和无标签池设置为阴性无标签池NU，每个NU实例都属于正实例或者负实例，且NU中的一组负实例属于具有代表性的负实例即该集合包含所有负实例类别，其中包括未知的手势类型；
mPUL训练结果为一组m个分类器，每个分类器对手势类型ai(i∈1,……,m})的条件概率估计为
fi(x)＝p(yi＝1|x)
在手势类别分类阶段，对于手势数据实例x，使用m个二进制分类器计算fi(x)，最终输出具有最高条件概率p*＝maxifi(x)的类别y*，同时对未知活动的检测设定输出类别
设置混淆矩阵中的四个基本指标，用于评估分类模型的性能，包括：
TP(Ture Positive)：真正例：模型正确地将正例样本分类为正例的数量；
FN(False Negative)：假反例：实际为正例的样本被模型错误地分类为反例的数量；
FP(False Positive)：假正例：实际为反例的样本被模型错误地分类为正例的数量；
TN(Ture Negative)：真反例：模型正确地将反例样本分类为反例的数量；
进一步的，在手势识别过程中，存在大量不在手势库中的手势数据，这部分数据存在足够的波动会被认为是完整手势，但是其并不在手势库定义中，所以使用神经网络模型进行识别时系统无法判断这部分在已定义的手势库外的数据，即会发生假阳性预测。而将所有手势都定义在手势训练数据库中，显然不可实现，在理想条件下，所有手势数据都有足够的已标记手势实例用来学习划分边界如图2(a)，而在CW假设条件下，每个类至少有一个已标记的实例如图2(b)，在OW假设条件下，有些类并没有进行标记如图2(c)。首先，如果在CW条件下已为所有手势类型做标记，则在模型训练过程中学习到的边界条件与理想条件下非常类似。其次，在OW条件下负训练样本并不代表负特征空间。因此如果直接使用已知条件进行训练对模型训练学习边界的划分效果降低。PUL(Positive-UnlabeledLearning，正样本和无标签学习)属于半监督学习的重要分支，是一种半监督二值分类方法，主要思想是根据仅有的正样本学习来对未知样本进行标记。mPUL是PUL的扩展，传统的PUL只处理只具有一个已知类的两类问题，而mPUL将问题扩展到M类(其中已知类数量m＜＜M)，用来处理OW世界未知手势类型数量的问题。传统的监督学习中，使用正实例和负实例来训练分类器，即若要建立识别手势ai的分类器，则需要ai的实例和的实例进行训练。传统训练方法通常会使用已定义在手势库中的除ai外所有手势类型作为负实例，但实际上在应用中负实例数量和种类远远不止这些，已定义的部分无法完全代表整体负实例。如图2(c)所示，在训练阶段使用一组不具有代表性的负实例将导致模型学习到错误的决策边界。而在mPUL算法中，为寻找具有代表性的负实例，同时使用有标签和无标签的数据。算法将已标记实例的部分划分为正实例池和负实例池，同时将负实例池和无标签池，将之称为阴性无标签池(NU，NegativeUnLabeledpool)，如图3所示。每个NU实例都属于正实例或者负实例，且NU中的一组负实例属于具有代表性的负实例即该集合包含所有负实例类别，其中包括未知的手势类型。
S2.3.基于TSC算法对切换手势数据进行识别；
S2.3.1.构建平均混淆矩阵，针对每次使用过程中产生相同类别的手势序列并对此生成一个混淆矩阵最终生成平均混淆矩阵；
S2.3.2.设置每个手势类别中每个手势第i次出现为bi，其总出现次数定义为bMAX，每次该手势出现的同时，训练模型同时生成混淆矩阵CM，所有手势输入完成，对所有的CM求和同时定义平均混淆矩阵CMAVG，计算表达式为：
S2.3.3.将步骤S2.3.2得到的平均混淆矩阵输入至步骤S2.2.1构建的CW条件和OW条件阈值中，初始化起始阈值threshSTART＝0.99，设置最小阈值threshMIN＝0.7，同时定义目标手势数量gTARGET＝10，最小的手势数量为gMIN＝5，阈值tresh，进行迭代运算，计算表达式为：
其中，gRECOG为可识别手势数量；
在gRECOG<gTARGET时，若thresh<threshMIN，则将阈值减小0.005；此外若gTARGET>gMIN，那么更新阈值，thresh←threshSTART，并且gTARGET←gTARGET-1；最终得到可识别手势数量gRECOG，手势合并阈值thresh；
进一步的，gRECOG是可以识别手势的数量或者算法无法识别任何手势即Fail；
S2.3.4.利用步骤S2.3.3得到的gRECOG和thresh对步骤S2.3.2构建的平均混淆矩阵CMAVG进行解析，按行确定其中应该合并的手势种类，混淆矩阵的行对应手势标签，CMrr表示给定标签的准确度，若准确度低于阈值，则将手势gr映射为最易混淆的手势标签gj，得到过滤后的手势识别数据。
进一步的，在实际应用中，用户所做手势不够标准或者在两个手势间切换过程中，手势识别系统通常会将之作为独立手势进行识别，最终可能会导致将本应识别出的手势识别为错误结果或者将本不应识别的手势识别输出，导致识别精确度降低。因此使用TSC算法(时间序列合并算法，TimeSeriesConsolidation)对模型进行训练。其主要思想基于平均混淆矩阵，针对每次使用过程中产生相同类别的手势序列并对此生成一个混淆矩阵最终生成平均混淆矩阵，通过此混淆矩阵对在识别过程中低于识别过滤阈值的手势，将之与最常被混淆的类别进行合并，即认为它们是同一种手势，由此过程产生针对用户个性化定制的手势类别，可以很好地保证手势识别的鲁棒性。
S3.将步骤S1得到的新目标手势数据，利用步骤S2构建的无用手势过滤模型进行手势过滤，得到目标域手势数据，构建目标域手势数据集；
进一步的，步骤S3将步骤S1得到的新目标手势数据，利用步骤S2构建的无用手势过滤模型进行手势过滤，得到过滤后的手势识别数据，即为目标域手势数据；
S4.构建基于迁移学习的跨域手势识别模型；
进一步的，步骤S4的具体实现方法包括如下步骤：
S4.1.构建所述的基于迁移学习的跨域手势识别模型为基于域分离网络DSNs，包括5个部分：用以提取目标域的私有特征的目标域私有编码器用以提取源域的私有特征的源域私有编码器/>用以提取源域和目标域的共有特征的共享编码器Ec(X)，用以将私有特征和共有特征组成的样本进行解码的共享解码器D(Ec(X)+Ep(X))，在训练时对源域样本分类，在训练完成时直接在目标域上完成分类的分类器G(Ec(Xs)；
S4.2.对于目标域私有编码器、源域私有编码器、共享编码器，采用双层卷积的结构对手势数据进行编码，其中第一层卷积核大小kernel_size设置为3，经过ReLU层以加速模型收敛，同时采用kernel_size为2的最大池化层缓解卷积层对于位置关系的敏感问题，第二层卷积核大小kernel_size为5以捕捉不同区域的数据关联特征，其后采用ReLU层和最大池化层，其后接入全连接层输出运算得到的编码特征；
S4.3.对于共享解码器，首先使用全连接层对私有特征和公有特征进行解码处理，使用Reshape单元将全连接层输出修改为卷积神经网络对应的大小，其后采用kernel_size为5的两层卷积和ReLU层，采用UpSampling单元进行逆卷积，进行信号还原，最后通过卷积和ReLU层对还原的数据进行运算得到重构损失Lrecon；
进一步的，针对跨用户、跨设备的手势识别时存在预训练模型的低准确率问题，在进行快速手势识别系统应用时，系统在不同用户、不同手套设备间快速准确的迁移尤为重要。个性化手势系统为控制变量，针对每个用户、每个手套都有与其对应的模型，研究通过迁移学习完成小样本的跨用户跨设备手势迁移技术，研究实现从源域到目标域的手势识别，在此过程中需要考虑迁移的效率、新样本规模、模型训练时间等因素，择优选取自适应的小样本迁移方法。
S5.将步骤S1获取的源域手势数据集、步骤S3得到的目标域手势数据集输入到步骤S4构建的基于迁移学习的跨域手势识别模型，进行从源域到目标域的手势识别，得到高精度手势数据识别结果。
进一步的，步骤S5的具体实现方法包括如下步骤：
S5.1.将步骤S1采集的源域手势数据输入到步骤S4构建的源域私有编码器和共享编码器分别提取源域手势数据的类别中心特征和样本特征；
将步骤S3得到的目标域手势数据输入到步骤S4构建的目标域私有编码器和共享编码器分别提取目标域手势数据的类别中心特征和样本特征；
然后计算差异损失函数Ldifference和相似性损失函数Lsimilarity，计算表达式为：
其中，表示源域的类别中心特征；/>表示源域的样本特征；/>表示目标域的类别中心特征；/>表示目标领域的样本特征；||·||F：表示矩阵的Frobenius范数；Ns：表示源域中的类别数量；Nt：表示目标域中的类别数量；/>表示源域中第i个类别的中心特征；/>表示源域中第j个类别的中心特征；/>表示目标域中第i个类别的中心特征；/>表示目标域中第j个类别的中心特征；k(·,·)：核函数，计算两个向量之间相似性的函数；
S5.2.将源域手势数据的共有特征、目标域手势数据的共有特征和目标域手势数据的私有特征输入到步骤S4构建的共享解码器，输出重构损失函数Lrecon，计算表达式为：
其中，为结构化相似性均方误差，x为输入信号，/>为输出信号；
S5.3.使用源域手势数据的共有特征和数据标签构建分类器损失函数Ltask，构建总体损失函数L的计算公式为：
L＝Ltask+αLrecon+βLdifference+γLsimilarity
其中，α、β、γ分别为控制分类器损失函数、差异损失函数、相似性损失函数的超参数；
重复步骤S5.1-S5.3使总体损失函数达到最低，输出高精度手势数据识别结果。
本实施方式进行实验验证：
1.基于mPUL算法的无用手势过滤算法实验：为了验证算法的有效性，实验设计训练样本数据集和测试样本数据集，其中m表示记录在手势库中的手势类型数量，l表示每个手势类型中被标记的手势数量。数据集设置整体手势数据类型为M＝12，实验验证随着m变化，mPUL算法对无用手势数据，即在M-m范围内的手势过滤识别的效果。实验设定两种参数，m和l。当m＝3时，mPUL算法对无用手势过滤的准确率如图5(a)所示，在设定训练集中l＝20，即每个手势类型中被标记的手势实例数量为20时，得到算法对无用手势过滤的准确率如图5(b)所示。
实验验证了在控制参量m＝3时，mPUL算法随着每个类型内有标签手势数据占比对无用手势的过滤准确率达到了94.7％，在控制手势库内每个手势类型内有标签手势数据的数量l＝20时，mPUL算法在手势库内手势类型数量从3到11，无用手势过滤准确率均在90％以上。由此，实验验证mPUL算法定义了较清晰的手势类型边界，可以较好地过滤掉无用手势。
2.基于TSC算法的无用手势过滤算法实验：为验证TSC算法有效性,实验设计100个实验者每人收集100个包含7个独立手势的连续手势，其中每个连续手势都包含动态和静态手势，实验验证算法是否能过滤掉分割算法认为独立手势的过渡手势段。
如图6所示，截取连续手势其中600帧的手势序列，其中手势分割算法按照运动传感器和拉伸传感器波动，划分出了9个手势段，而实际上其中仅包含4个手势其中G1与G2、G7、G8与G9应划分为一个手势，G3、G5为过渡手势段，应该过滤掉，不输出，而经过TSC算法进行手势识别网络训练后，实际输出的手势如图7所示，显然，可以看出无用手势过滤算法成功实现将混淆手势合并，并过滤掉其中不应输出的过渡手势段。
3.验证域分离网络迁移效果：实验将收集的10人手势数据集分为8人的源数据集和2人的新数据集，选用了2位用户的手势数据进行手势识别迁移实验验证。为验证迁移实验有效性，本发明将新数据集的小规模的样本数据直接输入至SqueezeNet-BiLSTM网络训练得到模型识别结果，同时使用8人手势大规模数据直接训练SqueezeNet-BiLSTM源模型，将定义为新目标的两位用户UserA和UserB的手势数据输入到网络中进行识别，得到的在数据库中的8人手势数据平均识别准确率及新目标UserA和UserB的手势数据识别准确率如下表1所示。
表1SqueezeNet-BiLSTM网络新目标实验效果
由表1可以看出，因为不同用户的手势数据特征存在较大差别，源手势识别模型中虽保有8人数据模型的公有特征，但是未提取新目标A和B的手势数据特征，使得模型对新目标手势识别准确率效果偏低。
针对小样本数据，实验设计选用不同规模的手势数据完成模型迁移，即选用不同种手势，每种手势数量分别选用5，10，20，30，40，50个，使用基于域分离网络的手势识别迁移模型，得到源模型对于用户A和用户B的手势识别迁移模型的识别准确率如图8所示。由图8可知，针对新目标A和B，识别准确率随着数据规模的增加而增加，而在使用基于DSNs网络的新目标手势识别模型对目标域进行识别，模型很好的提取了源域数据的具有一定普适性的特征并将之应用到目标域上，使识别准确率相对于直接训练得到较大的提升，在实际应用中用户可以仅收集少量数据就可以得到高识别精度的识别模型。
同时，针对实际应用，实验设计了针对新目标A，基于DSNs的迁移模型对手势数据的训练次数与使用数据直接进行新的训练得到的模型，实验得到二者识别准确率对比图如图9所示。由结果对比可知，使用DSNs网络对手势数据进行迁移，得到的手势识别结果可以在较低的训练次数及较小的数据规模时得到较好的识别结果，提升了系统对新目标新设备手势数据的识别能力。
具体实施方式二：
电子设备，包括存储器和处理器，存储器存储有计算机程序，所述的处理器执行所述计算机程序时实现所述的一种高精度手势数据识别方法的步骤。
本发明的计算机装置可以是包括有处理器以及存储器等装置，例如包含中央处理器的单片机等。并且，处理器用于执行存储器中存储的计算机程序时实现上述的一种高精度手势数据识别方法的步骤。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
具体实施方式三：
计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的一种高精度手势数据识别方法。
本发明的计算机可读存储介质可以是被计算机装置的处理器所读取的任何形式的存储介质，包括但不限于非易失性存储器、易失性存储器、铁电存储器等，计算机可读存储介质上存储有计算机程序，当计算机装置的处理器读取并执行存储器中所存储的计算机程序时，可以实现上述的一种高精度手势数据识别方法的步骤。
所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
虽然在上文中已经参考具体实施方式对本申请进行了描述，然而在不脱离本申请的范围的情况下，可以对其进行各种改进并且可以用等效物替换其中的部件。尤其是，只要不存在结构冲突，本申请所披露的具体实施方式中的各项特征均可通过任意方式相互结合起来使用，在本说明书中未对这些组合的情况进行穷举性的描述仅仅是出于省略篇幅和节约资源的考虑。因此，本申请并不局限于文中公开的特定具体实施方式，而是包括落入权利要求的范围内的所有技术方案。

Claims (8)

1.一种高精度手势数据识别方法，其特征在于，包括如下步骤：
S1.采集新目标手势数据，构建新目标手势数据集，获取源域手势数据，构建源域手势数据集；
S2.基于mPUL算法和TSC算法构建无用手势过滤模型；
S3.将步骤S1得到的新目标手势数据，利用步骤S2构建的无用手势过滤模型进行手势过滤，得到目标域手势数据，构建目标域手势数据集；
S4.构建基于迁移学习的跨域手势识别模型；
S5.将步骤S1获取的源域手势数据集、步骤S3得到的目标域手势数据集输入到步骤S4构建的基于迁移学习的跨域手势识别模型，进行从源域到目标域的手势识别，得到高精度手势数据识别结果。
2.根据权利要求1所述的一种高精度手势数据识别方法，其特征在于，步骤S1中的新目标手势数据为基于新用户采集的数据手套的手势数据或者基于新的手套设备采集的手势数据，源域手势数据为已有的手势数据。
3.根据权利要求1或2所述的一种高精度手势数据识别方法，其特征在于，步骤S2的具体实现方法包括如下步骤：
S2.1.设置定义好的手势库为封闭世界CW条件，采集的手势数据为开放世界OW条件；
S2.2.基于mPUL算法对处于OW条件下的手势数据进行区分过滤；
S2.2.1.设置数据集(x,y)，x为手势数据实例，y为x的手势类型标签，则定义AO＝{a1,a2,…,am}，y∈AO，AO表示在训练手势样本过程中的一组手势类别；
设置A为开放世界中所有可能的手势类型，即则得到计算表达式为：
其中，为不在数据库中的手势类型；
则CW条件和OW条件的计算表达式为：
AO＝Ain CW
S2.2.2.利用mPUL算法，将已标记实例的部分划分为正实例池和负实例池，同时将负实例池和无标签池设置为阴性无标签池NU，每个NU实例都属于正实例或者负实例，且NU中的一组负实例属于具有代表性的负实例即该集合包含所有负实例类别，其中包括未知的手势类型；
mPUL训练结果为一组m个分类器，每个分类器对手势类型ai(i∈1,……,m})的条件概率估计为
fi(x)＝p(yi＝1|x)
在手势类别分类阶段，对于手势数据实例x，使用m个二进制分类器计算fi(x)，最终输出具有最高条件概率p*＝maxifi(x)的类别y*，同时对未知活动的检测设定输出类别
设置混淆矩阵中的四个基本指标，用于评估分类模型的性能，包括：
TP(Ture Positive)：真正例：模型正确地将正例样本分类为正例的数量；
FN(False Negative)：假反例：实际为正例的样本被模型错误地分类为反例的数量；
FP(False Positive)：假正例：实际为反例的样本被模型错误地分类为正例的数量；
TN(Ture Negative)：真反例：模型正确地将反例样本分类为反例的数量；
S2.3.基于TSC算法对切换手势数据进行识别；
S2.3.1.构建平均混淆矩阵，针对每次使用过程中产生相同类别的手势序列并对此生成一个混淆矩阵最终生成平均混淆矩阵；
S2.3.2.设置每个手势类别中每个手势第i次出现为bi，其总出现次数定义为bMAX，每次该手势出现的同时，训练模型同时生成混淆矩阵CM，所有手势输入完成，对所有的CM求和同时定义平均混淆矩阵CMAVG，计算表达式为：
S2.3.3.将步骤S2.3.2得到的平均混淆矩阵输入至步骤S2.2.1构建的CW条件和OW条件阈值中，初始化起始阈值threshSTART＝0.99，设置最小阈值threshMIN＝0.7，同时定义目标手势数量gTARGET＝10，最小的手势数量为gMIN＝5，阈值tresh，进行迭代运算，计算表达式为：
其中，gRECOG为可识别手势数量；
在gRECOG＜gTARGET时，若thresh＜threshMIN，则将阈值减小0.005；此外若gTARGET＞gMIN，那么更新阈值，thresh←threshSTART，并且gTARGET←gTARGET-1；最终得到可识别手势数量gRECoG，手势合并阈值thresh；
S2.3.4.利用步骤S2.3.3得到的gRECOG和thresh对步骤S2.3.2构建的平均混淆矩阵CMAVG进行解析，按行确定其中应该合并的手势种类，混淆矩阵的行对应手势标签，CMrr表示给定标签的准确度，若准确度低于阈值，则将手势gr映射为最易混淆的手势标签gj，得到过滤后的手势识别数据。
4.根据权利要求3所述的一种基于数据手套的新目标手势识别方法，其特征在于，步骤S3将步骤S1得到的新目标手势数据，利用步骤S2构建的无用手势过滤模型进行手势过滤，得到过滤后的手势识别数据，即为目标域手势数据。
5.根据权利要求4所述的一种高精度手势数据识别方法，其特征在于，步骤S4的具体实现方法包括如下步骤：
S4.1.构建所述的基于迁移学习的跨域手势识别模型为基于域分离网络DSNs，包括5个部分：用以提取目标域的私有特征的目标域私有编码器用以提取源域的私有特征的源域私有编码器/>用以提取源域和目标域的共有特征的共享编码器Ec(X)，用以将私有特征和共有特征组成的样本进行解码的共享解码器D(Ec(X)+Ep(X))，在训练时对源域样本分类，在训练完成时直接在目标域上完成分类的分类器G(Ec(Xs))；
S4.2.对于目标域私有编码器、源域私有编码器、共享编码器，采用双层卷积的结构对手势数据进行编码，其中第一层卷积核大小kernel_size设置为3，经过ReLU层以加速模型收敛，同时采用kernel_size为2的最大池化层缓解卷积层对于位置关系的敏感问题，第二层卷积核大小kernel_size为5以捕捉不同区域的数据关联特征，其后采用ReLU层和最大池化层，其后接入全连接层输出运算得到的编码特征；
S4.3.对于共享解码器，首先使用全连接层对私有特征和公有特征进行解码处理，使用Reshape单元将全连接层输出修改为卷积神经网络对应的大小，其后采用kernel_size为5的两层卷积和ReLU层，采用UpSampling单元进行逆卷积，进行信号还原，最后通过卷积和ReLU层对还原的数据进行运算得到重构损失Lrecon。
6.根据权利要求5所述的一种高精度手势数据识别方法，其特征在于，步骤S5的具体实现方法包括如下步骤：
S5.1.将步骤S1采集的源域手势数据输入到步骤S4构建的源域私有编码器和共享编码器分别提取源域手势数据的类别中心特征和样本特征；
将步骤S3得到的目标域手势数据输入到步骤S4构建的目标域私有编码器和共享编码器分别提取目标域手势数据的类别中心特征和样本特征；
然后计算差异损失函数Ldifference和相似性损失函数Lsimilarity，计算表达式为：
其中，表示源域的类别中心特征；/>表示源域的样本特征；/>表示目标域的类别中心特征；/>表示目标领域的样本特征；||·||F：表示矩阵的Frobenius范数；Ns：表示源域中的类别数量；Nt：表示目标域中的类别数量；/>表示源域中第i个类别的中心特征；/>表示源域中第j个类别的中心特征；/>表示目标域中第i个类别的中心特征；/>表示目标域中第j个类别的中心特征；k(·,·)：核函数，计算两个向量之间相似性的函数；
S5.2.将源域手势数据的共有特征、目标域手势数据的共有特征和目标域手势数据的私有特征输入到步骤S4构建的共享解码器，输出重构损失函数Lrecon，计算表达式为：
其中，为结构化相似性均方误差，x为输入信号，/>为输出信号；
S5.3.使用源域手势数据的共有特征和数据标签构建分类器损失函数Ltask，构建总体损失函数L的计算公式为：
L＝Ltask+αLrecon+βLdifference+γLsimilarity
其中，α、β、γ分别为控制分类器损失函数、差异损失函数、相似性损失函数的超参数；
重复步骤S5.1-S5.3使总体损失函数达到最低，输出高精度手势数据识别结果。
7.电子设备，其特征在于，包括存储器和处理器，存储器存储有计算机程序，所述的处理器执行所述计算机程序时实现权利要求1-7任一项所述的一种高精度手势数据识别方法的步骤。
8.计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任一项所述的一种高精度手势数据识别方法。
CN202311327282.1A 2023-10-13 2023-10-13 一种高精度手势数据识别方法、电子设备及存储介质 Active CN117292404B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311327282.1A CN117292404B (zh) 2023-10-13 2023-10-13 一种高精度手势数据识别方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311327282.1A CN117292404B (zh) 2023-10-13 2023-10-13 一种高精度手势数据识别方法、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN117292404A true CN117292404A (zh) 2023-12-26
CN117292404B CN117292404B (zh) 2024-04-19

Family

ID=89247889

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311327282.1A Active CN117292404B (zh) 2023-10-13 2023-10-13 一种高精度手势数据识别方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN117292404B (zh)

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120272194A1 (en) * 2011-04-21 2012-10-25 Nokia Corporation Methods and apparatuses for facilitating gesture recognition
CN106295684A (zh) * 2016-08-02 2017-01-04 清华大学 一种基于微多普勒特征的动态连续/非连续手势识别方法
US20170344859A1 (en) * 2016-05-26 2017-11-30 Audun Bjornerud MO Method and system for providing gesture recognition services to user applications
CN110390275A (zh) * 2019-07-04 2019-10-29 淮阴工学院 一种基于迁移学习的手势分类方法
US20210279453A1 (en) * 2020-03-05 2021-09-09 King Fahd University Of Petroleum And Minerals Methods and systems for computerized recognition of hand gestures
CN113963211A (zh) * 2021-10-25 2022-01-21 中国科学技术大学 一种用于手势识别的无监督域适应训练方法及系统
CN114550304A (zh) * 2022-02-28 2022-05-27 中国科学技术大学 一种用于鲁棒肌电控制的跨用户手势识别方法
US20220198836A1 (en) * 2019-09-11 2022-06-23 Huawei Technologies Co., Ltd. Gesture recognition method, electronic device, computer-readable storage medium, and chip
CN114816069A (zh) * 2022-05-18 2022-07-29 山东产业技术研究院智能计算研究院 基于多源域集成迁移的跨用户肌电手势识别方法及系统
CN115100733A (zh) * 2022-05-05 2022-09-23 中南大学 Rfid手势识别方法、计算机装置、产品及存储介质
CN115223239A (zh) * 2022-06-23 2022-10-21 山东科技大学 一种手势识别方法、系统、计算机设备以及可读存储介质
CN115294658A (zh) * 2022-08-24 2022-11-04 哈尔滨工业大学 一种面向多应用场景的个性化手势识别系统及其手势识别方法
CN115343704A (zh) * 2022-07-29 2022-11-15 中国地质大学（武汉） 基于多任务学习的fmcw毫米波雷达的手势识别方法
CN115512440A (zh) * 2022-09-30 2022-12-23 燕山大学 一种基于多源域自适应的跨用户手势识别方法
CN116343261A (zh) * 2023-03-03 2023-06-27 深圳大学 基于多模态特征融合与小样本学习的手势识别方法和系统
WO2023185887A1 (zh) * 2022-03-29 2023-10-05 深圳市应和脑科学有限公司 模型获取系统、手势识别方法、装置、设备及存储介质

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120272194A1 (en) * 2011-04-21 2012-10-25 Nokia Corporation Methods and apparatuses for facilitating gesture recognition
US20170344859A1 (en) * 2016-05-26 2017-11-30 Audun Bjornerud MO Method and system for providing gesture recognition services to user applications
CN106295684A (zh) * 2016-08-02 2017-01-04 清华大学 一种基于微多普勒特征的动态连续/非连续手势识别方法
CN110390275A (zh) * 2019-07-04 2019-10-29 淮阴工学院 一种基于迁移学习的手势分类方法
US20220198836A1 (en) * 2019-09-11 2022-06-23 Huawei Technologies Co., Ltd. Gesture recognition method, electronic device, computer-readable storage medium, and chip
US20210279453A1 (en) * 2020-03-05 2021-09-09 King Fahd University Of Petroleum And Minerals Methods and systems for computerized recognition of hand gestures
CN113963211A (zh) * 2021-10-25 2022-01-21 中国科学技术大学 一种用于手势识别的无监督域适应训练方法及系统
CN114550304A (zh) * 2022-02-28 2022-05-27 中国科学技术大学 一种用于鲁棒肌电控制的跨用户手势识别方法
WO2023185887A1 (zh) * 2022-03-29 2023-10-05 深圳市应和脑科学有限公司 模型获取系统、手势识别方法、装置、设备及存储介质
CN115100733A (zh) * 2022-05-05 2022-09-23 中南大学 Rfid手势识别方法、计算机装置、产品及存储介质
CN114816069A (zh) * 2022-05-18 2022-07-29 山东产业技术研究院智能计算研究院 基于多源域集成迁移的跨用户肌电手势识别方法及系统
CN115223239A (zh) * 2022-06-23 2022-10-21 山东科技大学 一种手势识别方法、系统、计算机设备以及可读存储介质
CN115343704A (zh) * 2022-07-29 2022-11-15 中国地质大学（武汉） 基于多任务学习的fmcw毫米波雷达的手势识别方法
CN115294658A (zh) * 2022-08-24 2022-11-04 哈尔滨工业大学 一种面向多应用场景的个性化手势识别系统及其手势识别方法
CN115512440A (zh) * 2022-09-30 2022-12-23 燕山大学 一种基于多源域自适应的跨用户手势识别方法
CN116343261A (zh) * 2023-03-03 2023-06-27 深圳大学 基于多模态特征融合与小样本学习的手势识别方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHIPENG YU ET AL: "Surface EMG-Based Instantaneous Hand Gesture Recognition Using Convolutional Neural Network with the Transfer Learning Method", SENSORS, 5 April 2021 (2021-04-05) *
朱雯文;叶西宁;: "基于卷积神经网络的手势识别算法", 华东理工大学学报(自然科学版), no. 02, 30 April 2018 (2018-04-30) *

Also Published As

Publication number Publication date
CN117292404B (zh) 2024-04-19

Similar Documents

Publication Publication Date Title
Dwivedi et al. Grape disease detection network based on multi-task learning and attention features
Wang et al. Inferring salient objects from human fixations
Wu et al. A light CNN for deep face representation with noisy labels
Cao et al. Look and think twice: Capturing top-down visual attention with feedback convolutional neural networks
Yuan et al. Discriminative video pattern search for efficient action detection
Lu et al. Dense and sparse reconstruction error based saliency descriptor
Qu et al. Joint hierarchical category structure learning and large-scale image classification
Zhou et al. Jointly learning visually correlated dictionaries for large-scale visual recognition applications
WO2022042043A1 (zh) 机器学习模型的训练方法、装置和电子设备
He et al. Deep learning architecture for iris recognition based on optimal Gabor filters and deep belief network
Liu et al. Facial age estimation using a multi-task network combining classification and regression
Li et al. Sample awareness-based personalized facial expression recognition
CN115497124A (zh) 身份识别方法和装置及存储介质
CN114428860A (zh) 院前急救病例文本的识别方法、装置、终端及存储介质
De Rosa et al. Active incremental recognition of human activities in a streaming context
Dong et al. A supervised dictionary learning and discriminative weighting model for action recognition
Pan et al. Teach machine to learn: hand-drawn multi-symbol sketch recognition in one-shot
Wang et al. Interpret neural networks by extracting critical subnetworks
CN117292404B (zh) 一种高精度手势数据识别方法、电子设备及存储介质
Wang et al. One-Stage deep edge detection based on dense-scale feature fusion and pixel-level imbalance learning
CN113887509A (zh) 一种基于图像集合的快速多模态视频人脸识别方法
Dange et al. The cnn and dpm based approach for multiple object detection in images
Izadi Feature level fusion from facial attributes for face recognition
ALtememe et al. Gesture Interpreting of Alphabet Arabic Sign Language Based on Machine Learning algorithms
CN110532384A (zh) 一种多任务字典单分类方法、系统、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant