CN111428639A - 手势识别模型的训练方法、手势识别方法及装置 - Google Patents

手势识别模型的训练方法、手势识别方法及装置 Download PDF

Info

Publication number
CN111428639A
CN111428639A CN202010211278.9A CN202010211278A CN111428639A CN 111428639 A CN111428639 A CN 111428639A CN 202010211278 A CN202010211278 A CN 202010211278A CN 111428639 A CN111428639 A CN 111428639A
Authority
CN
China
Prior art keywords
gesture
gesture recognition
model
fusion
category
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010211278.9A
Other languages
English (en)
Inventor
贾红红
王镜茹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN202010211278.9A priority Critical patent/CN111428639A/zh
Publication of CN111428639A publication Critical patent/CN111428639A/zh
Priority to PCT/CN2020/141233 priority patent/WO2021190046A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供一种手势识别模型的训练方法、手势识别方法及装置，该手势识别模型的训练方法包括：获取训练集，所述训练集包括多张手势样本图像，所述多张手势样本图像中包含多种类别的手势；获取融合模型，所述融合模型中包括多个手势识别模型；获取每个所述手势识别模型对多张所述手势样本图像在每种所述类别的预测分数；根据所述预测分数，从多个待训练的权重组合中确定出所述融合模型的目标权重组合，其中，所述多个待训练的权重组合中的每个中包括每个所述手势识别模型分别对应的权重。本公开可以提升手势识别模型的识别准确率。

Description

手势识别模型的训练方法、手势识别方法及装置
技术领域
本公开实施例涉及手势识别技术领域，尤其涉及一种手势识别模型的训练方法、手势识别方法及装置。
背景技术
手势识别过程中对手势进行分类时，使用单一的手势识别模型对识别准确率的提升有限，而多模型融合已成为提升手势识别准确率的一种有效手段。
发明内容
本公开实施例提供一种手势识别方法、手势识别模组和显示装置，用于提升手势识别模型的识别准确率。
为了解决上述技术问题，本公开是这样实现的：
第一方面，本公开实施例提供了一种手势识别模型的训练方法，包括：
获取训练集，所述训练集包括多张手势样本图像，所述多张手势样本图像中包含多种类别的手势；
获取融合模型，所述融合模型中包括多个手势识别模型；
获取每个所述手势识别模型对多张所述手势样本图像在每种所述类别的预测分数；
根据所述预测分数，从多个待训练的权重组合中确定出所述融合模型的目标权重组合，其中，所述多个待训练的权重组合中的每个中包括每个所述手势识别模型分别对应的权重。
可选的，所述根据所述预测分数，从多个待训练的权重组合中确定出所述融合模型的目标权重组合包括：
根据所述预测分数计算所述多个待训练的权重组合分别对应的所述融合模型的识别准确率；
确定出识别准确率超过预设阈值的所述待训练的权重组合作为所述目标权重组合。
可选的，所述根据所述预测分数计算所述多个待训练的权重组合分别对应的所述融合模型的识别准确率包括：
针对每个所述手势样本图像，执行以下操作：
针对每种所述类别，将每个所述手势识别模型预测的预测分数乘以所述手势识别模型对应的权重，得到加权后的预测分数；并将所有所述手势识别模型对应的加权后的预测分数相加，得到所述手势样本图像在每种所述类别的融合预测分数；
将所述融合预测分数最大的所述类别，作为识别出的手势的类别；
将所述识别出的手势的类别与预先标注的手势的类别进行比较，确定识别是否正确；
根据多个所述手势样本图像识别是否正确，确定所述待训练的权重组合对应的所述融合模型的识别准确率。
可选的，所述获取多个所述手势识别模型对多张所述手势样本图像在每种所述类别的预测分数包括：
将所述预测分数进行归一化处理，得到归一化后的预测分数。
第二方面，本公开实施例提供了一种手势识别方法，包括：
获取融合模型中的每个手势识别模型对待识别的手势图像在每种类别的预测分数，所述融合模型中包括多个手势识别模型；
获取所述融合模型的目标权重组合，所述目标权重组合中包括每个所述手势识别模型对应的权重；
针对每种所述类别，将每个所述手势识别模型预测的预测分数乘以所述手势识别模型对应的权重，得到加权后的预测分数，并将所有所述手势识别模型的加权后的预测分数相加，得到每种所述类别的融合预测分数；
获取所述融合预测分数最大的所述类别，作为所述待识别的手势图像中的手势的类别；
其中，所述目标权重组合由上述手势识别模型的训练方法训练得到。
第三方面，本公开实施例提供了一种手势识别模型的训练模组，包括：
第一获取模块，用于获取训练集，所述训练集包括多张手势样本图像，所述多张手势样本图像中包含多种类别的手势；
第二获取模块，用于获取融合模型，所述融合模型中包括多个手势识别模型；
第三获取模块，用于获取每个所述手势识别模型对多张所述手势样本图像在每种所述类别的预测分数；
训练模块，用于根据所述预测分数，从多个待训练的权重组合中确定出所述融合模型的目标权重组合，其中，所述待训练的权重组合中的每个中包括每个所述手势识别模型对应的权重。
可选的，所述训练模块包括：
计算子模块，用于根据所述预测分数计算所述多个待训练的权重组合分别对应的所述融合模型的识别准确率；
确定子模块，用于确定出识别准确率超过预设阈值的所述待训练的权重组合作为所述目标权重组合。
可选的，所述计算子模块包括：
第一执行单元，用于针对每个所述手势样本图像，执行以下操作：
针对每种所述类别，将每个所述手势识别模型预测的预测分数乘以所述手势识别模型对应的权重，得到加权后的预测分数；并将所有所述手势识别模型对应的加权后的预测分数相加，得到所述手势样本图像在每种所述类别的融合预测分数；
将所述融合预测分数最大的所述类别，作为识别出的手势的类别；
将所述识别出的手势的类别与预先标注的手势的类别进行比较，确定识别是否正确；
第二执行单元，用于根据多个所述手势样本图像识别是否正确，确定所述待训练的权重组合对应的所述融合模型的识别准确率。
可选的，所述第三获取模块包括：
归一化处理子模块，用于将所述预测分数进行归一化处理，得到归一化后的预测分数。
第四方面，本公开实施例提供了一种手势识别模组，包括：
第一获取模块，用于获取融合模型中的每个手势识别模型对待识别的手势图像在每种类别的预测分数，所述融合模型中包括多个手势识别模型；
第二获取模块，用于获取所述融合模型的目标权重组合，所述目标权重组合中包括每个所述手势识别模型对应的权重；
处理模块，用于针对每种所述类别，将每个所述手势识别模型预测的预测分数乘以所述手势识别模型对应的权重，得到加权后的预测分数，并将所有所述手势识别模型的加权后的预测分数相加，得到每种所述类别的融合预测分数；
第三获取模块，用于获取融合预测分数最大的所述类别，作为所述待识别的手势图像中的手势的类别；
其中，所述目标权重组合由上述手势识别模型的训练方法训练得到。
第五方面，本公开实施例提供了一种手势识别模型的训练模组，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述手势识别模型的训练方法的步骤。
第六方面，本公开实施例提供了手势识别模组，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述手势识别方法的步骤。
第七方面，本公开实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现上述手势识别模型的训练方法的步骤，或者，所述计算机程序被处理器执行时实现上述手势识别方法的步骤。
在本公开实施例中，通过训练集对融合模型中多个手势识别模型的权重进行训练，可以准确且自适应的学习得到各个手势识别模型的权重，在进行手势识别时，无需人工手动设置权重，并且可以有效提升融合模型的手势识别的准确率。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本公开的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为本公开一实施例的手势识别模型的训练方法的流程示意图；
图2为本公开另一实施例的手势识别模型的训练方法的流程示意图；
图3为本公开又一实施例的手势识别模型的训练方法的流程示意图；
图4为本公开一实施例的手势识别方法示意图；
图5为本公开一实施例的手势识别模型的训练模组的结构示意图；
图6为本公开一实施例的手势识别模组的结构示意图；
图7为本公开另一实施例的手势识别模型的训练模组的结构示意图；
图8为本公开另一实施例的手势识别模组的结构示意图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
多模型融合即对多个模型的预测结果通过某种方式进行融合，用融合后的结果作为最终的识别分类结果，常用的融合方法有：投票法、平均法、最大值法等。对于不同模型的分类性能差异较小的情况下，即对于大多数样本每个模型基本可以正确分类，只在较少的样本上各个模型有差异，在这种情况下，使用投票法、平均法或者最大值法都不利于进一步提升最终的识别准确率。
为了解决现有的手势识别模型的识别准确率不高的问题，请参考图1，本公开实施例提供一种手势识别模型的训练方法，包括：
步骤11：获取训练集，所述训练集包括多张手势样本图像，所述多张手势样本图像中包含多种类别的手势；
手势的类别例如包括拳头、OK、比心、作揖、作别、祈祷、点赞等。可选地，所述多张手势样本图像中包含所有希望识别的手势的类别。
每一所述手势样本图像均预先标注有其包含的手势的类别的信息，以用于验证后续训练的权重组合对应的识别准确率。
可选的，每个所述手势样本图像包含一个类别的手势，以使得训练过程更简单。
可选地，所述训练集中包括的手势样本图像的个数超过预设阈值，例如超过100张，大量样本数据使得训练结果更准确。
步骤12：获取融合模型，所述融合模型中包括多个手势识别模型；
所述多个手势识别模型为不同的模型，例如采用不同的手势识别算法的模型。举例来说，所述多个手势识别模型可以包括以下至少之一：基于CPnet(通用深度网络)的手势识别模型、基于LSTM(长短时记忆神经网络)的手势识别模型、基于模板匹配法的手势识别模型等。
步骤13：获取每个所述手势识别模型对多张所述手势样本图像在每种所述类别的预测分数；
多张所述手势样本图像为所述训练集中的多张手势样本图像中的部分或全部。
可选的，获取每个所述手势识别模型对每张所述手势样本图像在每种所述类别的预测分数。所述预测分数为一个数值，可以是小数、正数或负数等。
举例来说，假设融合模型中具有p个手势识别模型，分别为M1，M2，…，Mp，训练集中包括N张手势样本图像，所述N张手势样本图像中包含c种类别的手势，每个所述手势识别模型对每张手势样本图像进行手势识别之后，可以得到c个预测分数[S1，S2，…，Sc]，其中，针对一张手势样本图像，一个所述类别对应一个预测分数。
对于一手势识别模型Mi，对训练集中的所有手势样本图像的预测结果Xi如下：
Figure BDA0002422908610000061
其中，上述矩阵中的第一行数据为手势识别模型Mi对训练集中的第一张手势样本图像在每种类别的预测分数，第N行数据手势识别模型Mi对训练集中的第N张手势样本图像在每种类别的预测分数，依此类推。S11为第一张手势样本图像在第一种类别的预测分数，S1c为第一张手势样本图像在第c种类别的预测分数，依此类推。
步骤14：根据所述预测分数从多个待训练的权重组合中确定出所述融合模型的目标权重组合，其中，所述多个待训练的权重组合中的每个中包括每个所述手势识别模型对应的权重。
本公开实施例中，所述多个待训练的权重组合是指参与训练的多个权重组合。
每个待训练的权重组合中包括：每个所述手势识别模型对应的权重，举例来说，融合模型中具有4个手势识别模型，分别为M1、M2、M3、M4，初始生成的待训练的权重组合为(w1、w2、w3、w4)，其中，w1为M1对应的权重，w2为M2对应的权重，w3为M3对应的权重，w4为M4对应的权重，对待训练的权重组合进行训练，并根据训练结果调整待训练的权重组合中的一个或多个权重，得到一个新的待训练的权重组合，例如为(w1’、w2、w3’、w4)，并继续对调整后的待训练的权重组合进行训练，以此类推，最终得到符合训练要求的目标权重组合(ws1、ws2、ws3、ws4)，其中，ws1为M1对应的目标权重，ws2为M2对应的目标权重，ws3为M3对应的目标权重，ws4为M4对应的目标权重。
本公开实施例中，通过训练集对融合模型中多个手势识别模型的权重进行训练，可以准确且自适应的学习得到各个手势识别模型的权重，在进行手势识别时，无需人工手动设置权重，并且可以有效提升融合模型的手势识别的准确率。
本公开实施例中，可选的，所述获取多个所述手势识别模型对多张所述手势样本图像在每种所述类别的预测分数包括：将所述预测分数进行归一化处理，得到归一化后的预测分数。即把多个手势识别模型对所有手势样本图像的预测结果归一化到统一范围内，例如[0,1]，以方便计算。本公开实施例中，可以采用多种归一化处理方法对预测分数进行归一化处理，例如(0,1)标准化、Z-score标准化、Sigmoid函数等。
请参考图2，本公开实施例中，可选的，上述步骤14中，所述根据所述预测分数从待训练的权重组合中确定出所述融合模型的目标权重组合包括：
步骤21：根据所述预测分数计算所述多个待训练的权重组合分贝对应的所述融合模型的识别准确率；
步骤22：确定出识别准确率超过预设阈值的所述待训练的权重组合作为所述目标权重组合。
所述预设阈值为98％或99％等，根据需要设定。
本公开实施例中，可选的，预先生成一待训练的权重组合，然后，根据所述预测分数计算所述待训练的权重组合对应的所述融合模型的识别准确率，若所述识别准确率低于预设阈值，则对所述待训练的权重组合进行调整，得到新的待训练的权重组合，然后继续根据所述预测分数计算新的所述待训练的权重组合对应的所述融合模型的识别准确率，依次类推，直至确定出识别准确率超过预设阈值的所述待训练的权重组合作为所述目标权重组合。
本公开实施例中，将识别准确率超过预设阈值的权重组合作为目标权重组合，可以有效提升融合模型的手势识别的准确率。
请参考图3，本公开实施例中，可选的，上述步骤21中，所述根据所述预测分数计算所述多个待训练的权重组合分别对应的所述融合模型的识别准确率包括：
步骤31：针对每个所述手势样本图像，执行以下操作：
步骤311：针对每种所述类别，将每个所述手势识别模型预测的预测分数乘以所述手势识别模型对应的权重，得到加权后的预测分数；
例如，假设训练集中包括100张手势样本图像，该100张手势样本图像中包含24种类别的手势，融合模型中包括4个手势识别模型。
假设一个待训练的权重组合为(w1，w2，w3，w4)。
假设对于手势样本图像1：
将手势识别模型1在类别1预测的预测分数S111乘以手势识别模型1对应的权重w1，即S111×w1；
将手势识别模型1在类别2预测的预测分数S112乘以手势识别模型1对应的权重w1，得到加权后的预测分数，即S112×w1；
……
将手势识别模型1在类别24预测的预测分数S1124乘以手势识别模型1对应的权重w1，得到加权后的预测分数，即S1124×w1。
步骤312：针对每种所述类别，将所有所述手势识别模型对应的加权后的预测分数相加，得到所述手势样本图像在每种所述类别的融合预测分数；
假设对于手势样本图像1：
针对类别1，将手势识别模型1-4对应的加权后的预测分数相加，得到融合预测分数，即S111×w1+S211×w1+S311×w1+S411×w1。
以此类推，针对类别2-24，将手势识别模型1-4对应的加权后的预测分数相加，得到对应的融合预测分数。
步骤313：将融合预测分数最大的所述类别，作为识别出的手势的类别；
假设对于手势样本图像1，类别6对应的融合预测分数最大，则将类别6作为识别出的类别。
步骤314：将识别出的手势的类别与预先标注的手势的类别进行比较，确定识别是否正确；
假设对于手势样本图像1，预先标注的手势的类别为类别6，则识别准确。假设预先标注的手势的类别为类别8，则认为识别错误。
步骤32：根据多个所述手势样本图像识别是否正确，确定所述待训练的权重组合对应的所述融合模型的识别准确率。
可选的，根据所有所述手势样本图像识别是否正确，确定所述待训练的权重组合对应的所述融合模型的识别准确率。
假设采用权重组合(w1，w2，w3，w4)，100张手势样本图像中，有85张手势样本图像识别正确，则可以确定该权重组合(w1，w2，w3，w4)的识别准确率为85％。
最后，根据上述步骤22，确定出识别准确率超过预设阈值的所述待训练的权重组合作为所述目标权重组合。
本公开的上述实施例中，可以采用神经网络算法，根据所述预测分数对待训练的权重组合进行训练。通过神经网络算法可以准确且自适应的学习得到各个手势识别模型的权重，确定出各个手势识别模型的权重的最优解。在通过神经网络算法对权重组合进行训练时，可以首先随机生成一初始权重组合，然后对该初始权重组合进行训练调整，以学习到最优的权重组合，当然，初始权重组合也可以是根据经验设定，以更快解决最优解。当然，本公开也不排除采用其他算法进行训练。
请参考图4，本公开实施例还提供一种手势识别方法，包括：
步骤41：获取融合模型中的每个手势识别模型对待识别的手势图像在每种类别的预测分数，所述融合模型中包括多个手势识别模型；
步骤42：获取所述融合模型的目标权重组合，所述目标权重组合中包括每个所述手势识别模型对应的权重；
步骤43：针对每种所述类别，将每个所述手势识别模型预测的预测分数乘以所述手势识别模型对应的权重，得到加权后的预测分数，并将所有所述手势识别模型的加权后的预测分数相加，得到每种所述类别的融合预测分数；
步骤44：获取所述融合预测分数最大的所述类别，作为所述待识别的手势图像中的手势的类别；
其中，所述目标权重组合由上述手势识别模型的训练方法训练得到。
举例来说，假设融合模型中具有p个手势识别模型，分别为M1，M2，…，Mp，融合模型能够识别的手势的类别为c种。
融合模型对应的目标权重组合为(w1，w2，…，wp)。
对于每个手势识别模型Mi(i＝1，2，…，p)，对待识别的手势图像在每种类别的预测分数为[Si,1，Si,2，…，Si,c]。
针对每个类别j(j＝1，2，…，c)，将手势识别模型预测Mi的预测分数Si,j乘以手势识别模型Mi对应的权重wi，得到加权后的预测分数Si,j×wi，并将所有所述手势识别模型的加权后的预测分数相加，得到融合预测分数：S1,j×w1+S2,j×w2+…+Sp,j×wp。
最后，将所有类别对应的融合预测分数进行比较，得到融合预测分数最大的所述类别，作为所述手势图像中的手势的类别。
本公开实施例种，将融合模型中各个手势识别模型在不同类别上的预测结果进行融合，并且各个手势识别模型对应的权重由准确且自适应的学习得到，从而无需人工手动设置权重，并且可以有效提升融合模型的手势识别的准确率。
请参考图5，本公开还提供一种手势识别模型的训练模组50，包括：
第一获取模块51，用于获取训练集，所述训练集包括多张手势样本图像，所述多张手势样本图像中包含多种类别的手势；
第二获取模块52，用于获取融合模型，所述融合模型中包括多个手势识别模型；
第三获取模块53，用于获取每个所述手势识别模型对多张所述手势样本图像在每种所述类别的预测分数；
训练模块54，用于根据所述预测分数，从多个待训练的权重组合中确定出所述融合模型的目标权重组合，其中，所述多个待训练的权重组合中的每个中包括每个所述手势识别模型对应的权重。
可选的，所述训练模块54包括：
计算子模块，用于根据所述预测分数计算所述多个待训练的权重组合分别对应的所述融合模型的识别准确率；
确定子模块，用于确定出识别准确率超过预设阈值的所述待训练的权重组合作为所述目标权重组合。
可选的，所述计算子模块包括：
第一执行单元，用于针对每个所述手势样本图像，执行以下操作：
针对每种所述类别，将每个所述手势识别模型预测的预测分数乘以所述手势识别模型对应的权重，得到加权后的预测分数；并将所有所述手势识别模型对应的加权后的预测分数相加，得到所述手势样本图像在每种所述类别的融合预测分数；
将所述融合预测分数最大的所述类别，作为识别出的手势的类别；
将所述识别出的手势的类别与预先标注的手势的类别进行比较，确定识别是否正确；
第二执行单元，用于根据多个所述手势样本图像识别是否正确，确定所述待训练的权重组合对应的所述融合模型的识别准确率。
可选的，所述第三获取模块53包括：
归一化处理子模块，用于将所述预测分数进行归一化处理，得到归一化后的预测分数。
请参考图6，本公开还提供一种手势识别模组，包括：
第一获取模块61，用于获取融合模型中的每个手势识别模型对待识别的手势图像在每种类别的预测分数，所述融合模型中包括多个手势识别模型；
第二获取模块62，用于获取所述融合模型的目标权重组合，所述目标权重组合中包括每个所述手势识别模型对应的权重；
处理模块63，用于针对每种所述类别，将每个所述手势识别模型预测的预测分数乘以所述手势识别模型对应的权重，得到加权后的预测分数，并将所有所述手势识别模型的加权后的预测分数相加，得到每种所述类别的融合预测分数；
第三获取模块64，用于获取融合预测分数最大的所述类别，作为所述待识别的手势图像中的手势的类别；
其中，所述目标权重组合由上述实施例中的手势识别模型的训练方法训练得到。
本公开还提供一种显示装置，包括上述手势识别模组。
请参考图7，本公开实施例还提供一种手势识别模型的训练模组70，包括处理器71，存储器72，存储在存储器72上并可在所述处理器71上运行的计算机程序，该计算机程序被处理器71执行时实现上述手势识别模型的训练方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
请参考图8，本公开实施例还提供一种手势识别模组80，包括处理器81，存储器82，存储在存储器82上并可在所述处理器81上运行的计算机程序，该计算机程序被处理器81执行时实现上述手势识别方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本公开实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述手势识别模型的训练方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本公开实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述手势识别方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。
上面结合附图对本公开的实施例进行了描述，但是本公开并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本公开的启示下，在不脱离本公开宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本公开的保护之内。

Claims (13)

1.一种手势识别模型的训练方法，其特征在于，包括：
获取训练集，所述训练集包括多张手势样本图像，所述多张手势样本图像中包含多种类别的手势；
获取融合模型，所述融合模型中包括多个手势识别模型；
获取每个所述手势识别模型对多张所述手势样本图像在每种所述类别的预测分数；
根据所述预测分数，从多个待训练的权重组合中确定出所述融合模型的目标权重组合，其中，所述多个待训练的权重组合中的每个中包括每个所述手势识别模型分别对应的权重。
2.如权利要求1所述的方法，其特征在于，所述根据所述预测分数，从多个待训练的权重组合中确定出所述融合模型的目标权重组合包括：
根据所述预测分数计算所述多个待训练的权重组合分别对应的所述融合模型的识别准确率；
确定出识别准确率超过预设阈值的所述待训练的权重组合作为所述目标权重组合。
3.如权利要求2所述的方法，其特征在于，所述根据所述预测分数计算所述多个待训练的权重组合分别对应的所述融合模型的识别准确率包括：
针对每个所述手势样本图像，执行以下操作：
针对每种所述类别，将每个所述手势识别模型预测的预测分数乘以所述手势识别模型对应的权重，得到加权后的预测分数；并将所有所述手势识别模型对应的加权后的预测分数相加，得到所述手势样本图像在每种所述类别的融合预测分数；
将所述融合预测分数最大的所述类别，作为识别出的手势的类别；
将所述识别出的手势的类别与预先标注的手势的类别进行比较，确定识别是否正确；
根据多个所述手势样本图像识别是否正确，确定所述待训练的权重组合对应的所述融合模型的识别准确率。
4.如权利要求1所述的方法，其特征在于，所述获取多个所述手势识别模型对多张所述手势样本图像在每种所述类别的预测分数包括：
将所述预测分数进行归一化处理，得到归一化后的预测分数。
5.一种手势识别方法，其特征在于，包括：
获取融合模型中的每个手势识别模型对待识别的手势图像在每种类别的预测分数，所述融合模型中包括多个手势识别模型；
获取所述融合模型的目标权重组合，所述目标权重组合中包括每个所述手势识别模型对应的权重；
针对每种所述类别，将每个所述手势识别模型预测的预测分数乘以所述手势识别模型对应的权重，得到加权后的预测分数，并将所有所述手势识别模型的加权后的预测分数相加，得到每种所述类别的融合预测分数；
获取所述融合预测分数最大的所述类别，作为所述待识别的手势图像中的手势的类别；
其中，所述目标权重组合由权利要求1-4任一项所述的方法训练得到。
6.一种手势识别模型的训练模组，其特征在于，包括：
第一获取模块，用于获取训练集，所述训练集包括多张手势样本图像，所述多张手势样本图像中包含多种类别的手势；
第二获取模块，用于获取融合模型，所述融合模型中包括多个手势识别模型；
第三获取模块，用于获取每个所述手势识别模型对多张所述手势样本图像在每种所述类别的预测分数；
训练模块，用于根据所述预测分数，从多个待训练的权重组合中确定出所述融合模型的目标权重组合，其中，所述多个待训练的权重组合中的每个中包括每个所述手势识别模型分别对应的权重。
7.如权利要求6所述的模组，其特征在于，所述训练模块包括：
计算子模块，用于根据所述预测分数计算所述多个待训练的权重组合分别对应的所述融合模型的识别准确率；
确定子模块，用于确定出识别准确率超过预设阈值的所述待训练的权重组合作为所述目标权重组合。
8.如权利要求7所述的模组，其特征在于，所述计算子模块包括：
第一执行单元，用于针对每个所述手势样本图像，执行以下操作：
针对每种所述类别，将每个所述手势识别模型预测的预测分数乘以所述手势识别模型对应的权重，得到加权后的预测分数；并将所有所述手势识别模型对应的加权后的预测分数相加，得到所述手势样本图像在每种所述类别的融合预测分数；
将所述融合预测分数最大的所述类别，作为识别出的手势的类别；
将所述识别出的手势的类别与预先标注的手势的类别进行比较，确定识别是否正确；
第二执行单元，用于根据多个所述手势样本图像识别是否正确，确定所述待训练的权重组合对应的所述融合模型的识别准确率。
9.如权利要求6所述的模组，其特征在于，所述第三获取模块包括：
归一化处理子模块，用于将所述预测分数进行归一化处理，得到归一化后的预测分数。
10.一种手势识别模组，其特征在于，包括：
第一获取模块，用于获取融合模型中的每个手势识别模型对待识别的手势图像在每种类别的预测分数，所述融合模型中包括多个手势识别模型；
第二获取模块，用于获取所述融合模型的目标权重组合，所述目标权重组合中包括每个所述手势识别模型对应的权重；
处理模块，用于针对每种所述类别，将每个所述手势识别模型预测的预测分数乘以所述手势识别模型对应的权重，得到加权后的预测分数，并将所有所述手势识别模型的加权后的预测分数相加，得到每种所述类别的融合预测分数；
第三获取模块，用于获取融合预测分数最大的所述类别，作为所述待识别的手势图像中的手势的类别；
其中，所述目标权重组合由权利要求1-4任一项所述的方法训练得到。
11.一种手势识别模型的训练模组，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至4中任一项所述的手势识别模型的训练方法的步骤。
12.一种手势识别模组，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求5所述的手势识别方法的步骤。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4中任一项所述的手势识别模型的训练方法的步骤，或者，所述计算机程序被处理器执行时实现如权利要求5所述的手势识别方法的步骤。
CN202010211278.9A 2020-03-24 2020-03-24 手势识别模型的训练方法、手势识别方法及装置 Pending CN111428639A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010211278.9A CN111428639A (zh) 2020-03-24 2020-03-24 手势识别模型的训练方法、手势识别方法及装置
PCT/CN2020/141233 WO2021190046A1 (zh) 2020-03-24 2020-12-30 手势识别模型的训练方法、手势识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010211278.9A CN111428639A (zh) 2020-03-24 2020-03-24 手势识别模型的训练方法、手势识别方法及装置

Publications (1)

Publication Number Publication Date
CN111428639A true CN111428639A (zh) 2020-07-17

Family

ID=71548659

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010211278.9A Pending CN111428639A (zh) 2020-03-24 2020-03-24 手势识别模型的训练方法、手势识别方法及装置

Country Status (2)

Country Link
CN (1) CN111428639A (zh)
WO (1) WO2021190046A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113139463A (zh) * 2021-04-23 2021-07-20 北京百度网讯科技有限公司 用于训练模型的方法、装置、设备、介质和程序产品
WO2021190046A1 (zh) * 2020-03-24 2021-09-30 京东方科技集团股份有限公司 手势识别模型的训练方法、手势识别方法及装置
CN113837025A (zh) * 2021-09-03 2021-12-24 深圳创维－Rgb电子有限公司 一种手势识别方法、系统、终端及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113688957A (zh) * 2021-10-26 2021-11-23 苏州浪潮智能科技有限公司 一种基于多模型融合的目标检测方法、装置、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107742102A (zh) * 2017-10-13 2018-02-27 北京华捷艾米科技有限公司 一种基于深度传感器的手势识别方法
CN109145793A (zh) * 2018-08-09 2019-01-04 东软集团股份有限公司 建立手势识别模型的方法、装置、存储介质及电子设备
WO2019080203A1 (zh) * 2017-10-25 2019-05-02 南京阿凡达机器人科技有限公司 一种机器人的手势识别方法、系统及机器人
CN109976526A (zh) * 2019-03-27 2019-07-05 广东技术师范大学 一种基于表面肌电传感器和九轴传感器的手语识别方法
CN110755073A (zh) * 2019-10-09 2020-02-07 华中科技大学 基于阻抗谱信号的智能骨骼及关节信息处理系统及方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10628664B2 (en) * 2016-06-04 2020-04-21 KinTrans, Inc. Automatic body movement recognition and association system
CN107679491B (zh) * 2017-09-29 2020-05-19 华中师范大学 一种融合多模态数据的3d卷积神经网络手语识别方法
CN111428639A (zh) * 2020-03-24 2020-07-17 京东方科技集团股份有限公司 手势识别模型的训练方法、手势识别方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107742102A (zh) * 2017-10-13 2018-02-27 北京华捷艾米科技有限公司 一种基于深度传感器的手势识别方法
WO2019080203A1 (zh) * 2017-10-25 2019-05-02 南京阿凡达机器人科技有限公司 一种机器人的手势识别方法、系统及机器人
CN109145793A (zh) * 2018-08-09 2019-01-04 东软集团股份有限公司 建立手势识别模型的方法、装置、存储介质及电子设备
CN109976526A (zh) * 2019-03-27 2019-07-05 广东技术师范大学 一种基于表面肌电传感器和九轴传感器的手语识别方法
CN110755073A (zh) * 2019-10-09 2020-02-07 华中科技大学 基于阻抗谱信号的智能骨骼及关节信息处理系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王健;朱恩成;黄四牛;任华;: "基于深度学习的动态手势识别方法", 计算机仿真 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021190046A1 (zh) * 2020-03-24 2021-09-30 京东方科技集团股份有限公司 手势识别模型的训练方法、手势识别方法及装置
CN113139463A (zh) * 2021-04-23 2021-07-20 北京百度网讯科技有限公司 用于训练模型的方法、装置、设备、介质和程序产品
CN113837025A (zh) * 2021-09-03 2021-12-24 深圳创维－Rgb电子有限公司 一种手势识别方法、系统、终端及存储介质

Also Published As

Publication number Publication date
WO2021190046A1 (zh) 2021-09-30

Similar Documents

Publication Publication Date Title
CN111428639A (zh) 手势识别模型的训练方法、手势识别方法及装置
CN108182427A (zh) 一种基于深度学习模型和迁移学习的人脸识别方法
CN109345515B (zh) 样本标签置信度计算方法、装置、设备及模型训练方法
CN110659311B (zh) 题目推送方法、装置、电子设备及存储介质
WO2020125404A1 (zh) 构建神经网络的方法、装置和计算机可读介质
CN111340233B (zh) 机器学习模型的训练方法及装置、样本处理方法及装置
CN111079837B (zh) 一种用于二维灰度图像检测识别分类的方法
CN115512391B (zh) 数据自适应重采样的目标检测模型训练方法、装置及设备
CN114549470B (zh) 基于卷积神经网络和多粒度注意力的手骨关键性区域获取方法
CN108509727B (zh) 数据建模中的模型选择处理方法及装置
CN115511069A (zh) 神经网络的训练方法、数据处理方法、设备及存储介质
CN111724370A (zh) 一种基于不确定性和概率的多任务无参考图像质量评估方法及系统
CN113011532A (zh) 分类模型训练方法、装置、计算设备及存储介质
CN115270752A (zh) 一种基于多层次对比学习的模板句评估方法
CN109409231B (zh) 基于自适应隐马尔可夫的多特征融合手语识别方法
CN114742319A (zh) 法考客观题成绩预测方法、系统及存储介质
WO2019232844A1 (zh) 手写模型训练方法、手写字识别方法、装置、设备及介质
CN111582446B (zh) 用于神经网络剪枝的系统和神经网络的剪枝处理方法
CN112446428B (zh) 一种图像数据处理方法及装置
CN115410250A (zh) 阵列式人脸美丽预测方法、设备及存储介质
CN111368792B (zh) 特征点标注模型训练方法、装置、电子设备及存储介质
CN115393914A (zh) 多任务模型训练方法、装置、设备及存储介质
CN109829490B (zh) 修正向量搜索方法、目标分类方法及设备
CN109086651B (zh) 手写模型训练方法、手写字识别方法、装置、设备及介质
CN112085584A (zh) 企业信用违约概率计算方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination