CN112949437A - 一种手势识别方法、手势识别装置及智能设备 - Google Patents

一种手势识别方法、手势识别装置及智能设备 Download PDF

Info

Publication number
CN112949437A
CN112949437A CN202110194549.9A CN202110194549A CN112949437A CN 112949437 A CN112949437 A CN 112949437A CN 202110194549 A CN202110194549 A CN 202110194549A CN 112949437 A CN112949437 A CN 112949437A
Authority
CN
China
Prior art keywords
gesture
information
target video
key point
gesture recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110194549.9A
Other languages
English (en)
Inventor
汤志超
程骏
郭渺辰
钱程浩
邵池
庞建新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ubtech Robotics Corp
Original Assignee
Ubtech Robotics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ubtech Robotics Corp filed Critical Ubtech Robotics Corp
Priority to CN202110194549.9A priority Critical patent/CN112949437A/zh
Publication of CN112949437A publication Critical patent/CN112949437A/zh
Priority to PCT/CN2021/124613 priority patent/WO2022174605A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Image Analysis (AREA)

Abstract

本申请适用于手势识别技术领域，提供了一种手势识别方法、手势识别装置及智能设备。该方法包括：获取包含手势的目标视频；将所述目标视频输入训练后的手势识别模型，得到所述目标视频中的手势的类别信息、定位框信息以及关键点信息，其中，所述手势识别模型通过携带标注信息的样本手势图像进行训练得到，所述标注信息包括所述样本手势图像中的手势的类别信息、定位框信息和关键点信息。通过本申请方案，可以提高手势识别的准确性和鲁棒性。

Description

一种手势识别方法、手势识别装置及智能设备
技术领域
本申请属于手势识别技术领域，尤其涉及一种手势识别方法、手势识别装置、智能设备及计算机可读存储介质。
背景技术
目前，手势识别在人机交互领域中有着重要的地位。通过手势识别技术，可以帮助人们解决相应场景下的问题，例如识别聋哑人的手语，以及与机器人进行猜拳游戏等。然而，目前的手势识别技术的识别准确性不高，不具备高鲁棒性。
发明内容
有鉴于此，本申请提供了一种手势识别方法、手势识别装置、智能设备及计算机可读存储介质，可以提高手势识别的准确性和鲁棒性。
第一方面，本申请提供了一种手势识别方法，包括：
获取包含手势的目标视频；
将上述目标视频输入训练后的手势识别模型，得到上述目标视频中的手势的类别信息、定位框信息以及关键点信息，其中，上述手势识别模型通过携带标注信息的样本手势图像进行训练得到，上述标注信息包括上述样本手势图像中的手势的类别信息、定位框信息和关键点信息。
第二方面，本申请提供了一种手势识别装置，包括：
获取单元，用于获取包含手势的目标视频；
识别单元，用于将上述目标视频输入训练后的手势识别模型，得到上述目标视频中的手势的类别信息、定位框信息以及关键点信息，其中，上述手势识别模型通过携带标注信息的样本手势图像进行训练得到，上述标注信息包括上述样本手势图像中的手势的类别信息、定位框信息和关键点信息。
第三方面，本申请提供了一种智能设备，包括存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，上述处理器执行上述计算机程序时实现如上述第一方面的方法的步骤。
第四方面，本申请提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现如上述第一方面的方法的步骤。
第五方面，本申请提供了一种计算机程序产品，上述计算机程序产品包括计算机程序，上述计算机程序被一个或多个处理器执行时实现如上述第一方面的方法的步骤。
由上可见，本申请方案中，在获取包含手势的目标视频后，将上述目标视频输入训练后的手势识别模型，得到上述目标视频中的手势的类别信息、定位框信息以及关键点信息，其中，上述手势识别模型通过携带标注信息的样本手势图像进行训练得到，上述标注信息包括上述样本手势图像中的手势的类别信息、定位框信息和关键点信息。本申请方案采用携带标注信息的样本手势图像训练手势识别模型，由于标注信息包括多种手势信息(即类别信息、定位框信息和关键点信息)，因此在训练手势识别模型的过程中，手势识别模型可以隐式地将该多种手势信息结合起来进行学习，从而使得训练得到的手势识别模型具有较高的准确性和鲁棒性。可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的手势识别方法的流程示意图；
图2是本申请实施例提供的手势识别方法的应用环境示意图；
图3是本申请实施例提供的手势识别装置的结构框图；
图4是本申请实施例提供的智能设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
为了说明本申请所提出的技术方案，下面通过具体实施例来进行说明。
下面对本申请实施例提供的一种手势识别方法进行描述。该手势识别方法应用于智能设备。请参阅图1，该手势识别方法包括：
步骤101，获取包含手势的目标视频。
在本申请实施例中，目标视频中包含手势，也即是说，目标视频是通过拍摄装置对人的手部进行拍摄得到的视频。具体地，该目标视频可以是通过连接智能设备的摄像头实时输入的视频，也可以是预先录制好的视频，此处不作限定。例如，用户可以预先通过自己的手机对正在做手势的手部进行拍摄，然后将拍摄得到的视频发送至智能设备，智能设备可以将该拍摄得到的视频作为目标视频。
其中，目标视频包括若干帧图像，在该若干帧图像中，存在至少一帧图像包含手势，也即存在两种情况，一种情况是目标视频的每一帧图像中均包含手势，另一种情况是目标视频的部分图像包含手势，另一部分图像不包含手势。
步骤102，将目标视频输入训练后的手势识别模型，得到目标视频中的手势的类别信息、定位框信息以及关键点信息。
在本申请实施例中，手势识别模型通过样本手势图像训练得到。为了提高手势识别模型的识别准确度，用于训练手势识别模型的样本手势图像的数量应该尽量多，例如，样本手势图像的数量可以为10000张。由于人手的灵活多变，人手可以做出的手势的类别数量非常多，因此手势识别模型无法做到识别出人手可以做出的所有手势的类别。基于此，可以基于应用场景与用户需求，选取至少一种手势作为预设手势，然后收集包含预设手势的样本手势图像，其中，每一张样本手势图像包含一种预设手势。示例性地，可以选取9种手势作为预设手势，这9种预设手势分别为手掌(palm)手势、石头(stone)手势、剪刀(scissor)手势、好的(OK)手势、帅气(awesome)手势、打电话(call)手势、发誓(swear)手势、摇滚(rock)手势以及第一(one)手势。
对于每一张样本手势图像，可以对其进行标注，使得该样本手势图像携带标注信息，标注信息可以包括该样本手势图像中的手势的类别信息、定位框信息和关键点信息，其中，类别信息用于指示手势的类别，定位框信息用于指示手势的定位框，定位框为手势的外接矩形，关键点信息用于指示手势的关键点(即单手的21个骨骼点)。
通过样本手势图像对手势识别模型进行训练，即可得到训练后的手势识别模型。将目标视频输入该训练后的手势识别模型，该训练后的手势识别模型可以输出目标视频中的手势的类别信息、定位框信息以及关键点信息，也即是说，该手势识别模型是一个多任务模型，可以完成多个任务，分别是输出手势的类别信息、输出手势的定位框信息以及输出手势的关键点信息。在训练过程中，多任务模型可以通过学习不同任务的联系和差异，提高每个任务的学习效率和质量，因此，本申请实施例中训练后的手势识别模型的手势识别的准确度相比于传统的手势识别模型要更高。
需要注意的是，在将目标视频输入训练后的手势识别模型后，手势识别模型实际上是对目标视频的每帧图像进行手势识别。对于目标视频的每帧图像，手势识别模型可以检测该图像中是否包含手势，如果该图像中包含手势，则输出该图像中的手势的类别信息、定位框信息和关键点信息，如果该图像中不包含手势，则不输出信息。其中，目标视频中每帧图像中的手势的类别信息用于指示该帧图像中的手势属于至少一种预设手势中的哪一种手势；目标视频中每帧图像中的手势的定位框信息用于指示该帧图像中的手势的定位框的位置，比如定位框信息为定位框的左上角坐标和右下角坐标；目标视频中每帧图像中的手势的关键点信息用于指示该帧图像中的手势的关键点的位置，比如关键点信息为关键点的坐标。
可选地，在将目标视频输入训练后的手势识别模型之前，还包括：
对目标视频的每帧图像进行归一化处理，得到归一化视频；
相应地，上述步骤102具体包括：
将归一化视频输入训练后的手势识别模型，得到目标视频中的手势的类别信息、定位框信息以及关键点信息。
在本申请实施例中，归一化处理可以是对目标视频的每帧图像在RGB三个通道的像素值进行均值和方差操作，使得像素值从0～255的范围内转变为-1～1的范围内。通过归一化处理，可以使目标视频的每帧图像满足手势识别模型对于图像格式的需求，便于后续利用手势识别模型进行手势识别。本申请实施例中将归一化处理后的目标视频记作归一化视频，将该归一化视频输入至训练后的手势识别模型，使得手势识别模型基于此而输出目标视频中的手势的类别信息、定位框信息以及关键定信息。
可选地，考虑到手势识别模型为多任务模型，能完成多种任务，因此，可以使手势识别模型包括手势分类分支、手势定位分支和关键点检测分支，其中每一分支相应地完成一种任务。
具体地，手势分类分支用于输出目标视频中的手势的类别信息。该手势分类分支的实现方式为对手势类别进行one-hot编码，利用softmax层输出手势类别的概率。通过手势分类分支，可以在至少一种预设手势中确定与目标视频中的手势匹配概率最高的目标预设手势，基于该目标预设手势确定目标视频中的手势的类别信息。例如，目标视频中包含未知手势X，在将该目标视频输入训练后的手势识别模型后，得到该手势X与预设手势A的匹配概率为14％，该手势X与预设手势B的匹配概率为85％，该手势X与预设手势C的匹配概率为1％，则可以确定预设手势B为目标预设手势，类别信息指示该未知手势X为预设手势B。
具体地，手势定位分支用于输出目标视频中的手势的定位框信息。通过手势定位分支，可以定位手势在目标视频中的位置，然后基于该位置确定目标视频中的手势的定位框信息。
具体地，关键点检测分支用于输出目标视频中的手势的关键点信息。该关键点检测分支的实现方式为网络回归。通过该关键点检测分支，可以检测出目标视频中的手势的关键点的位置，然后基于该位置确定目标视频中的手势的关键点信息。
可选地，手势识别模型还包括特征提取层(即BackBone网络)，该特征提取层可以是深度残差网络(Deep residual network,ResNet)，如ResNet50，也可以是shuffleNet和MobileNet等轻量级网络，具体选用何种网络作为特征提取层可以根据智能设备的性能确定，比如，如果智能设备为性能较强的台式电脑，可以选用ResNet50作为特征提取层，如果智能设备为性能较弱的手机，则可以选用MobileNet作为特征提取层。将目标视频输入手势识别模型后，通过该特征提取层可以对目标视频进行特征提取，从而得到目标视频的特征信息。请参阅图2，通过特征提取层得到目标视频的特征信息后，特征信息将会分别输入至手势分类分支、手势定位分支和关键点检测分支。然后手势分类分支可以基于特征信息输出目标视频中的手势的类别信息，手势定位分支可以基于特征信息输出目标视频中的手势的定位框信息，关键点检测分支可以基于特征信息输出目标视频中的手势的关键点信息。
可选地，手势分类分支、手势定位分支和关键点检测分支可以分别通过不同的损失函数训练得到。例如，在训练过程中，可以采用交叉熵损失函数对手势分类分支指导训练，采用GloU损失函数对手势定位分支指导训练，采用WingLoss损失函数对关键点检测分支指导训练。由于对不同的分支有针对性地采用不同的损失函数进行训练，可以使训练得到的分支的精确度更高。
可选地，在训练手势识别模型之前，还可以对样本手势图像进行增强处理，然后将使用增强处理后的样本手势图像对手势识别模型进行训练，从而使样本手势图像更加泛化，有利于手势识别模型的识别准确度的提高。其中，增强处理可以包括翻转和旋转等。
可选地，在上述步骤102之后，还包括：
基于目标视频中的手势的类别信息、定位框信息以及关键点信息，在目标视频中标示手势的类别、定位框和关键点；
输出标示有手势的类别、定位框和关键点的目标视频。
在本申请实施例中，手势识别模型输出目标视频中的手势的类别信息、定位框信息以及关键点信息后，可以基于目标视频中的手势的类别信息、定位框信息以及关键点信息，在目标视频中标示出手势的类别、定位框和关键点，然后输出标示有手势的类别、定位框和关键点的目标视频，以向用户展示该目标视频。用户在目标视频中，可以看到标示出的手势的类别、定位框和关键点，给用户带来更具视觉冲击力的体验感。
示例性地，针对目标视频的每一帧手势图像，可以基于手势图像中的手势的类别信息在手势图像中标示手势的类别，基于手势图像中的手势的定位框信息在手势图像中标示手势的定位框，以及基于手势图像中的手势的关键点信息在手势图像中标示手势的关键点。其中，手势图像指的是包含手势的图像。可以理解的是，对于目标视频中的非手势图像，将不会进行标示操作，其中，非手势图像指的是不包含手势的图像。
在一种应用场景中，本申请实施例提供的手势识别方法可以应用在机器人上，机器人通过执行该手势识别方法，可以实现与用户进行猜拳游戏。具体地，机器人可以实时识别用户的手势属于石头、剪刀和布中的哪一种手势，进而确定机器人当前应该出石头、剪刀和布中的哪一种。
由上可见，本申请方案中，在获取包含手势的目标视频后，将上述目标视频输入训练后的手势识别模型，得到上述目标视频中的手势的类别信息、定位框信息以及关键点信息，其中，上述手势识别模型通过携带标注信息的样本手势图像进行训练得到，上述标注信息包括上述样本手势图像中的手势的类别信息、定位框信息和关键点信息。本申请方案采用携带标注信息的样本手势图像训练手势识别模型，由于标注信息包括多种手势信息(即类别信息、定位框信息和关键点信息)，因此在训练手势识别模型的过程中，手势识别模型可以隐式地将该多种手势信息结合起来进行学习，从而使得训练得到的手势识别模型具有较高的准确性和鲁棒性。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
对应于前文所提出的手势识别方法，本申请实施例提供了一种手势识别装置。请参阅图3，本申请实施例中的手势识别装置300包括：
获取单元301，用于获取包含手势的目标视频；
识别单元302，用于将上述目标视频输入训练后的手势识别模型，得到上述目标视频中的手势的类别信息、定位框信息以及关键点信息，其中，上述手势识别模型通过携带标注信息的样本手势图像进行训练得到，上述标注信息包括上述样本手势图像中的手势的类别信息、定位框信息和关键点信息。
可选地，上述手势识别装置300还包括：
标示单元，用于基于上述目标视频中的手势的类别信息、定位框信息以及关键点信息，在上述目标视频中标示手势的类别、定位框和关键点；
输出单元，用于输出标示有手势的类别、定位框和关键点的上述目标视频。
可选地，上述标示单元，具体针对上述目标视频的每一帧手势图像，基于上述手势图像中的手势的类别信息在上述手势图像中标示手势的类别，基于上述手势图像中的手势的定位框信息在上述手势图像中标示手势的定位框，以及基于上述手势图像中的手势的关键点信息在上述手势图像中标示手势的关键点，其中，上述手势图像为包含手势的图像。
可选地，上述手势识别模型包括手势分类分支、手势定位分支和关键点检测分支；
上述手势分类分支用于输出上述目标视频中的手势的类别信息；
上述手势定位分支用于输出上述目标视频中的手势的定位框信息；
上述关键点检测分支用于输出上述目标视频中的手势的关键点信息。
可选地，上述手势识别模型还包括特征提取层，用于对上述目标视频进行特征提取，得到特征信息；
上述手势分类分支具体用于基于上述特征信息输出上述目标视频中的手势的类别信息；
上述手势定位分支具体用于基于上述特征信息输出上述目标视频中的手势的定位框信息；
上述关键点检测分支具体用于基于上述特征信息输出上述目标视频中的手势的关键点信息。
可选地，上述手势分类分支、上述手势定位分支和上述关键点检测分支分别通过不同的损失函数训练得到。
可选地，上述手势识别装置300还包括：
归一化单元，用于对上述目标视频的每帧图像进行归一化处理，得到归一化视频；
相应地，上述识别单元302，具体用于将上述归一化视频输入训练后的手势识别模型，得到上述目标视频中的手势的类别信息、定位框信息以及关键点信息。
由上可见，本申请方案中，在获取包含手势的目标视频后，将上述目标视频输入训练后的手势识别模型，得到上述目标视频中的手势的类别信息、定位框信息以及关键点信息，其中，上述手势识别模型通过携带标注信息的样本手势图像进行训练得到，上述标注信息包括上述样本手势图像中的手势的类别信息、定位框信息和关键点信息。本申请方案采用携带标注信息的样本手势图像训练手势识别模型，由于标注信息包括多种手势信息(即类别信息、定位框信息和关键点信息)，因此在训练手势识别模型的过程中，手势识别模型可以隐式地将该多种手势信息结合起来进行学习，从而使得训练得到的手势识别模型具有较高的准确性和鲁棒性。
本申请实施例还提供了一种智能设备，该智能设备可以是机器人、手机、台式电脑或平板电脑，此处不作限定。请参阅图4，本申请实施例中的智能设备4包括：存储器401，一个或多个处理器402(图4中仅示出一个)、双目摄像头403及存储在存储器401上并可在处理器上运行的计算机程序。其中，双目摄像头403包括第一摄像头及第二摄像头；存储器401用于存储软件程序以及单元，处理器402通过运行存储在存储器401的软件程序以及单元，从而执行各种功能应用以及数据处理，以获取上述预设事件对应的资源。具体地，处理器402通过运行存储在存储器401的上述计算机程序时实现以下步骤：
获取包含手势的目标视频；
将上述目标视频输入训练后的手势识别模型，得到上述目标视频中的手势的类别信息、定位框信息以及关键点信息，其中，上述手势识别模型通过携带标注信息的样本手势图像进行训练得到，上述标注信息包括上述样本手势图像中的手势的类别信息、定位框信息和关键点信息。
假设上述为第一种可能的实施方式，则在第一种可能的实施方式作为基础而提供的第二种可能的实施方式中，在上述将上述目标视频输入训练后的手势识别模型，得到上述目标视频中的手势的类别信息、定位框信息以及关键点信息之后，处理器402通过运行存储在存储器401的上述计算机程序时还实现以下步骤：
基于上述目标视频中的手势的类别信息、定位框信息以及关键点信息，在上述目标视频中标示手势的类别、定位框和关键点；
输出标示有手势的类别、定位框和关键点的上述目标视频。
在上述第二种可能的实施方式作为基础而提供的第三种可能的实施方式中，上述基于上述目标视频中的手势的类别信息、定位框信息以及关键点信息，在上述目标视频中标示手势的类别、定位框和关键点，包括：
针对上述目标视频的每一帧手势图像，基于上述手势图像中的手势的类别信息在上述手势图像中标示手势的类别，基于上述手势图像中的手势的定位框信息在上述手势图像中标示手势的定位框，以及基于上述手势图像中的手势的关键点信息在上述手势图像中标示手势的关键点，其中，上述手势图像为包含手势的图像。
在上述第一种可能的实施方式作为基础而提供的第四种可能的实施方式中，上述手势识别模型包括手势分类分支、手势定位分支和关键点检测分支；
上述手势分类分支用于输出上述目标视频中的手势的类别信息；
上述手势定位分支用于输出上述目标视频中的手势的定位框信息；
上述关键点检测分支用于输出上述目标视频中的手势的关键点信息。
在上述第四种可能的实施方式作为基础而提供的第五种可能的实施方式中，上述手势识别模型还包括特征提取层，用于对上述目标视频进行特征提取，得到特征信息；
上述手势分类分支具体用于基于上述特征信息输出上述目标视频中的手势的类别信息；
上述手势定位分支具体用于基于上述特征信息输出上述目标视频中的手势的定位框信息；
上述关键点检测分支具体用于基于上述特征信息输出上述目标视频中的手势的关键点信息。
在上述第四种可能的实施方式作为基础而提供的第六种可能的实施方式中，上述手势分类分支、上述手势定位分支和上述关键点检测分支分别通过不同的损失函数训练得到。
在上述第一种可能的实施方式作为基础，或上述第二种可能的实施方式作为基础，或上述第三种可能的实施方式作为基础，或上述第四种可能的实施方式作为基础，或上述第五种可能的实施方式作为基础，或上述第六种可能的实施方式作为基础而提供的第七种可能的实施方式中，在上述将上述目标视频输入训练后的手势识别模型之前，处理器402通过运行存储在存储器401的上述计算机程序时还实现以下步骤：
对上述目标视频的每帧图像进行归一化处理，得到归一化视频；
相应地，上述将上述目标视频输入训练后的手势识别模型，得到上述目标视频中的手势的类别信息、定位框信息以及关键点信息，包括：
将上述归一化视频输入训练后的手势识别模型，得到上述目标视频中的手势的类别信息、定位框信息以及关键点信息。
应当理解，在本申请实施例中，所称处理器402可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器401可以包括只读存储器和随机存取存储器，并向处理器402提供指令和数据。存储器401的一部分或全部还可以包括非易失性随机存取存储器。例如，存储器401还可以存储设备类别的信息。
由上可见，本申请方案中，在获取包含手势的目标视频后，将上述目标视频输入训练后的手势识别模型，得到上述目标视频中的手势的类别信息、定位框信息以及关键点信息，其中，上述手势识别模型通过携带标注信息的样本手势图像进行训练得到，上述标注信息包括上述样本手势图像中的手势的类别信息、定位框信息和关键点信息。本申请方案采用携带标注信息的样本手势图像训练手势识别模型，由于标注信息包括多种手势信息(即类别信息、定位框信息和关键点信息)，因此在训练手势识别模型的过程中，手势识别模型可以隐式地将该多种手势信息结合起来进行学习，从而使得训练得到的手势识别模型具有较高的准确性和鲁棒性。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将上述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者外部设备软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关联的硬件来完成，上述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读存储介质可以包括：能够携带上述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机可读存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，上述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括是电载波信号和电信信号。
以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种手势识别方法，其特征在于，包括：
获取包含手势的目标视频；
将所述目标视频输入训练后的手势识别模型，得到所述目标视频中的手势的类别信息、定位框信息以及关键点信息，其中，所述手势识别模型通过携带标注信息的样本手势图像进行训练得到，所述标注信息包括所述样本手势图像中的手势的类别信息、定位框信息和关键点信息。
2.根据权利要求1所述的手势识别方法，其特征在于，在所述将所述目标视频输入训练后的手势识别模型，得到所述目标视频中的手势的类别信息、定位框信息以及关键点信息之后，还包括：
基于所述目标视频中的手势的类别信息、定位框信息以及关键点信息，在所述目标视频中标示手势的类别、定位框和关键点；
输出标示有手势的类别、定位框和关键点的所述目标视频。
3.根据权利要求2所述的手势识别方法，其特征在于，所述基于所述目标视频中的手势的类别信息、定位框信息以及关键点信息，在所述目标视频中标示手势的类别、定位框和关键点，包括：
针对所述目标视频的每一帧手势图像，基于所述手势图像中的手势的类别信息在所述手势图像中标示手势的类别，基于所述手势图像中的手势的定位框信息在所述手势图像中标示手势的定位框，以及基于所述手势图像中的手势的关键点信息在所述手势图像中标示手势的关键点，其中，所述手势图像为包含手势的图像。
4.根据权利要求1所述的手势识别方法，其特征在于，所述手势识别模型包括手势分类分支、手势定位分支和关键点检测分支；
所述手势分类分支用于输出所述目标视频中的手势的类别信息；
所述手势定位分支用于输出所述目标视频中的手势的定位框信息；
所述关键点检测分支用于输出所述目标视频中的手势的关键点信息。
5.根据权利要求4所述的手势识别方法，其特征在于，所述手势识别模型还包括特征提取层，用于对所述目标视频进行特征提取，得到特征信息；
所述手势分类分支具体用于基于所述特征信息输出所述目标视频中的手势的类别信息；
所述手势定位分支具体用于基于所述特征信息输出所述目标视频中的手势的定位框信息；
所述关键点检测分支具体用于基于所述特征信息输出所述目标视频中的手势的关键点信息。
6.根据权利要求4所述的手势识别方法，其特征在于，所述手势分类分支、所述手势定位分支和所述关键点检测分支分别通过不同的损失函数训练得到。
7.根据权利要求1-6任一项所述的手势识别方法，其特征在于，在所述将所述目标视频输入训练后的手势识别模型之前，还包括：
对所述目标视频的每帧图像进行归一化处理，得到归一化视频；
相应地，所述将所述目标视频输入训练后的手势识别模型，得到所述目标视频中的手势的类别信息、定位框信息以及关键点信息，包括：
将所述归一化视频输入训练后的手势识别模型，得到所述目标视频中的手势的类别信息、定位框信息以及关键点信息。
8.一种手势识别装置，其特征在于，包括：
获取单元，用于获取包含手势的目标视频；
识别单元，用于将所述目标视频输入训练后的手势识别模型，得到所述目标视频中的手势的类别信息、定位框信息以及关键点信息，其中，所述手势识别模型通过携带标注信息的样本手势图像进行训练得到，所述标注信息包括所述样本手势图像中的手势的类别信息、定位框信息和关键点信息。
9.一种智能设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。
CN202110194549.9A 2021-02-21 2021-02-21 一种手势识别方法、手势识别装置及智能设备 Pending CN112949437A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110194549.9A CN112949437A (zh) 2021-02-21 2021-02-21 一种手势识别方法、手势识别装置及智能设备
PCT/CN2021/124613 WO2022174605A1 (zh) 2021-02-21 2021-10-19 一种手势识别方法、手势识别装置及智能设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110194549.9A CN112949437A (zh) 2021-02-21 2021-02-21 一种手势识别方法、手势识别装置及智能设备

Publications (1)

Publication Number Publication Date
CN112949437A true CN112949437A (zh) 2021-06-11

Family

ID=76244979

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110194549.9A Pending CN112949437A (zh) 2021-02-21 2021-02-21 一种手势识别方法、手势识别装置及智能设备

Country Status (2)

Country Link
CN (1) CN112949437A (zh)
WO (1) WO2022174605A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113407083A (zh) * 2021-06-24 2021-09-17 上海商汤科技开发有限公司 一种数据标注方法及装置、电子设备和存储介质
CN114155562A (zh) * 2022-02-09 2022-03-08 北京金山数字娱乐科技有限公司 手势识别方法及装置
WO2022174605A1 (zh) * 2021-02-21 2022-08-25 深圳市优必选科技股份有限公司 一种手势识别方法、手势识别装置及智能设备
WO2024007938A1 (zh) * 2022-07-04 2024-01-11 北京字跳网络技术有限公司 一种多任务预测方法、装置、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229318A (zh) * 2017-11-28 2018-06-29 北京市商汤科技开发有限公司 手势识别和手势识别网络的训练方法及装置、设备、介质
CN108229324A (zh) * 2017-11-30 2018-06-29 北京市商汤科技开发有限公司 手势追踪方法和装置、电子设备、计算机存储介质
CN109359538A (zh) * 2018-09-14 2019-02-19 广州杰赛科技股份有限公司 卷积神经网络的训练方法、手势识别方法、装置及设备
CN109657537A (zh) * 2018-11-05 2019-04-19 北京达佳互联信息技术有限公司 基于目标检测的图像识别方法、系统和电子设备
WO2020029466A1 (zh) * 2018-08-07 2020-02-13 北京字节跳动网络技术有限公司 图像处理方法和装置
CN111126339A (zh) * 2019-12-31 2020-05-08 北京奇艺世纪科技有限公司 手势识别方法、装置、计算机设备和存储介质
CN111857356A (zh) * 2020-09-24 2020-10-30 深圳佑驾创新科技有限公司 识别交互手势的方法、装置、设备和存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2980728A1 (en) * 2014-08-01 2016-02-03 Imersivo, S.L. Procedure for identifying a hand gesture
CN111104820A (zh) * 2018-10-25 2020-05-05 中车株洲电力机车研究所有限公司 一种基于深度学习的手势识别方法
CN110796096B (zh) * 2019-10-30 2023-01-24 北京达佳互联信息技术有限公司 一种手势识别模型的训练方法、装置、设备及介质
CN112949437A (zh) * 2021-02-21 2021-06-11 深圳市优必选科技股份有限公司 一种手势识别方法、手势识别装置及智能设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229318A (zh) * 2017-11-28 2018-06-29 北京市商汤科技开发有限公司 手势识别和手势识别网络的训练方法及装置、设备、介质
CN108229324A (zh) * 2017-11-30 2018-06-29 北京市商汤科技开发有限公司 手势追踪方法和装置、电子设备、计算机存储介质
WO2020029466A1 (zh) * 2018-08-07 2020-02-13 北京字节跳动网络技术有限公司 图像处理方法和装置
CN109359538A (zh) * 2018-09-14 2019-02-19 广州杰赛科技股份有限公司 卷积神经网络的训练方法、手势识别方法、装置及设备
CN109657537A (zh) * 2018-11-05 2019-04-19 北京达佳互联信息技术有限公司 基于目标检测的图像识别方法、系统和电子设备
CN111126339A (zh) * 2019-12-31 2020-05-08 北京奇艺世纪科技有限公司 手势识别方法、装置、计算机设备和存储介质
CN111857356A (zh) * 2020-09-24 2020-10-30 深圳佑驾创新科技有限公司 识别交互手势的方法、装置、设备和存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022174605A1 (zh) * 2021-02-21 2022-08-25 深圳市优必选科技股份有限公司 一种手势识别方法、手势识别装置及智能设备
CN113407083A (zh) * 2021-06-24 2021-09-17 上海商汤科技开发有限公司 一种数据标注方法及装置、电子设备和存储介质
CN114155562A (zh) * 2022-02-09 2022-03-08 北京金山数字娱乐科技有限公司 手势识别方法及装置
WO2024007938A1 (zh) * 2022-07-04 2024-01-11 北京字跳网络技术有限公司 一种多任务预测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
WO2022174605A1 (zh) 2022-08-25

Similar Documents

Publication Publication Date Title
CN109359538B (zh) 卷积神经网络的训练方法、手势识别方法、装置及设备
JP6893233B2 (ja) 画像に基づくデータ処理方法、装置、電子機器、コンピュータ可読記憶媒体およびコンピュータプログラム
CN110020620B (zh) 一种大姿态下的人脸识别方法、装置及设备
CN112949437A (zh) 一种手势识别方法、手势识别装置及智能设备
US9349076B1 (en) Template-based target object detection in an image
CN109902659B (zh) 用于处理人体图像的方法和装置
CN109902548B (zh) 一种对象属性识别方法、装置、计算设备及系统
CN111460967B (zh) 一种违法建筑识别方法、装置、设备及存储介质
CN112052186B (zh) 目标检测方法、装置、设备以及存储介质
CN111783621B (zh) 人脸表情识别及模型训练的方法、装置、设备及存储介质
WO2023010758A1 (zh) 一种动作检测方法、装置、终端设备和存储介质
CN109116129B (zh) 终端检测方法、检测设备、系统及存储介质
CN113128368B (zh) 一种人物交互关系的检测方法、装置及系统
CN110852311A (zh) 一种三维人手关键点定位方法及装置
CN114402369A (zh) 人体姿态的识别方法、装置、存储介质及电子设备
CN111290684B (zh) 图像显示方法、图像显示装置及终端设备
CN113011403B (zh) 手势识别方法、系统、介质及设备
US20230334893A1 (en) Method for optimizing human body posture recognition model, device and computer-readable storage medium
CN113015022A (zh) 行为识别方法、装置、终端设备及计算机可读存储介质
CN110866900A (zh) 水体颜色识别方法及装置
CN112712005A (zh) 识别模型的训练方法、目标识别方法及终端设备
CN112667510A (zh) 测试方法、装置、电子设备及存储介质
CN106155542A (zh) 图片处理方法及装置
CN109753883A (zh) 视频定位方法、装置、存储介质和电子设备
CN110490065B (zh) 人脸识别方法及装置、存储介质、计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination