CN112262393A - 手势识别方法和装置、电子设备及存储介质 - Google Patents

手势识别方法和装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112262393A
CN112262393A CN202080000947.6A CN202080000947A CN112262393A CN 112262393 A CN112262393 A CN 112262393A CN 202080000947 A CN202080000947 A CN 202080000947A CN 112262393 A CN112262393 A CN 112262393A
Authority
CN
China
Prior art keywords
human hand
image
hand
gesture
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080000947.6A
Other languages
English (en)
Inventor
赵海宇
陈凯歌
牛达明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sensetime International Pte Ltd
Original Assignee
Sensetime International Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from SG10201912990QA external-priority patent/SG10201912990QA/en
Application filed by Sensetime International Pte Ltd filed Critical Sensetime International Pte Ltd
Publication of CN112262393A publication Critical patent/CN112262393A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Social Psychology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Psychiatry (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

公开了一种手势识别方法和装置、电子设备及存储介质。所述方法包括：对待处理图像进行检测，获得人手检测结果；响应于人手检测结果包括人手检测框，确定所述人手检测框中的人手姿态符合目标手势中的人手姿态；确定所述人手在所述待处理图像中的预先定义的区域内；确定所述人手做出目标手势。

Description

手势识别方法和装置、电子设备及存储介质
相关申请的交叉引用
本申请要求2019年12月23日提交的题为“手势识别方法和装置、电子设备及存储介质”、申请号为10201912990Q的新加坡专利申请的优先权，以上申请的全部内容通过引用并入本文。
技术领域
本公开涉及计算机视觉技术，具体涉及一种手势识别方法和装置、电子设备及存储介质。
背景技术
近年来，随着人工智能技术的不断发展，人工智能技术在计算机视觉、语音识别等方面均取得了比较好的效果。通过使用人工智能技术，在一些相对特殊的场景，例如桌面游戏场景，中进行手势识别。
发明内容
本公开提供了一种手势识别方案。
根据本公开的第一方面，提供了一种手势识别方法。所述方法包括：对待处理图像进行检测，获得人手检测结果；响应于人手检测结果包括人手检测框，确定所述人手检测框中的人手姿态符合目标手势中的人手姿态；确定所述人手在所述待处理图像中的预先定义的区域内；确定所述人手做出目标手势。
结合本公开提供的任一实施方式，响应于人手检测结果包括所述人手检测框，确定所述人手检测框中的所述人手姿态符合所述目标手势中的人手姿态，包括：响应于人手检测结果包括人手检测框，裁剪出所述待处理图像中位于人手检测框中的图像；根据所述裁剪出的图像，确定所述裁剪出的图像中的人手姿态符合目标手势中的人手姿态。
结合本公开提供的任一实施方式，所述目标手势中的人手姿态为两手均为正面；确定所述人手检测框中的所述人手姿态符合所述目标手势中的人手姿态，包括：将所述人手检测框中的图像输入至人手分类神经网络，获得人手分类结果，所述人手分类结果包括人手为正面或者人手为其他姿态；在两个人手检测框的人手分类结果均为正面的情况下，确定所述人手检测框中的所述人手姿态符合所述目标手势中的人手姿态。
结合本公开提供的任一实施方式，所述人手分类神经网络采用人手图像样本训练得到，所述人手图像样本中包括人手为正面的图像样本，所述人手为正面的图像样本的标注信息为人手的手心。
结合本公开提供的任一实施方式，确定所述人手在所述待处理图像中的预先定义的区域内，包括：确定所述人手检测框的中心点在所述预先定义的区域内。
结合本公开提供的任一实施方式，所述待处理图像是对目标区域进行采集得到的图像，所述预先定义的区域包括所述待处理图像中、与所述目标区域中的两个子区域分别对应的两个设定的子区域；确定所述人手检测框的所述中心点在所述预先定义的区域内，包括：确定两个人手检测框的中心点分别在所述两个设定的子区域中。
结合本公开提供的任一实施方式，所述待处理图像为在俯视视角下采集到的所述目标区域的图像。
根据本公开的第二方面，提供了一种手势识别装置。所述装置包括：获得单元，用于对待处理图像进行检测，获得人手检测结果；第一确定单元，用于响应于人手检测结果包括人手检测框，确定所述人手检测框中的人手姿态符合目标手势中的人手姿态；第二确定单元，用于确定所述人手在所述待处理图像中的预先定义的区域内；第三确定单元，用于确定所述人手做出目标手势。
结合本公开提供的任一实施方式，所述第一确定单元还用于：响应于人手检测结果包括所述人手检测框，裁剪出所述待处理图像中位于人手检测框中的图像；根据所述裁剪出的图像，确定所述裁剪出的图像中的人手姿态符合目标手势中的人手姿态。
结合本公开提供的任一实施方式，所述目标手势中的人手姿态为两手均为正面；所述第一确定单元还用于：将所述人手检测框中的图像输入至人手分类神经网络，获得人手分类结果，所述人手分类结果包括人手为正面或者人手为其他姿态；在两个人手检测框的人手分类结果均为正面的情况下，确定所述人手检测框中的所述人手姿态符合所述目标手势中的人手姿态。
结合本公开提供的任一实施方式，所述人手分类神经网络采用人手图像样本训练得到，所述人手图像样本中包括人手为正面的图像样本，所述人手为正面的图像样本的标注信息为人手的手心。
结合本公开提供的任一实施方式，所述第二确定单元还用于：确定所述人手检测框的中心点在所述预先定义的区域内。
结合本公开提供的任一实施方式，所述待处理图像是对目标区域进行采集得到的图像，所述预先定义的区域包括所述待处理图像中、与所述目标区域中的两个子区域分别对应的两个设定的子区域；所述第二确定单元还用于：确定两个人手检测框的中心点分别在所述两个设定的子区域中。
结合本公开提供的任一实施方式，所述待处理图像为在俯视视角下采集到的所述目标区域的图像。
根据本公开的第三方面，提供了一种电子设备。所述电子设备包括处理器和存储有可在所述处理器上运行的计算机指令的存储器，其中，所述处理器用于在执行所述计算机指令时实现第一方面所述的手势识别方法。
根据本公开的第四方面，提供了一种非易失性计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时，促使所述处理器实现第一方面所述的手势识别方法。
本公开一个或多个实施例的手势识别方法和装置、电子设备及存储介质，通过对人手检测结果中人手检测框中的人手姿态进行检测，在确定人手姿态符合目标手势中的人手姿态的基础上，加上检测位置信息的约束，进行目标手势识别，可以利用单帧图像实现快速、高精度的目标手势识别。
附图说明
为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书一个或多个实施例中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开至少一个实施例提供的手势识别方法的流程图；
图2为本公开至少一个实施例提供的手势识别方法的应用场景的示意图；
图3A～3F为本公开至少一个实施例提供的人手分类结果的示意图；
图4为本公开至少一个实施例提供的手势识别方法的应用场景的示意图；
图5为本公开至少一个实施例提供的手势识别装置的结构示意图；
图6为本公开至少一个实施例提供的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书一个或多个实施例中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书一个或多个实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本公开保护的范围。
本公开至少一个实施例提供了一种手势识别方法，所述手势识别方法可以由终端设备或服务器等电子设备执行，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等，所述方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
图1示出了该手势识别方法的流程，如图1所示，可以包括步骤101～步骤104。
在步骤101中，对待处理图像进行检测，获得人手检测结果。
在本公开实施例中，所述待处理图像可以是图像采集设备(例如摄像机)所采集的桌面区域的图像。所述图像可以包括完整的桌面图像，也可以包括桌面的部分图像。
摄像机所采集的待处理图像可以是视频流中的一帧，也可以是实时获取的图像，并公开对此不作限制。
在本公开实施例中，可以利用深度学习网络，例如faster RCNN网络，对待处理图像进行检测，获得人手检测结果。在检测到人手的情况下，人手检测结果可以包括人手检测框、人手检测框的位置等等。本领域技术人员应当理解，faster RCNN网络仅为示例，也可以采用其他的网络进行人手检测，本公开对此不进行限制。
在步骤102中，响应于人手检测结果包括人手检测框，确定所述人手检测框中的人手姿态符合目标手势中的人手姿态。
在一些实施例中，可以采用俯视视角采集待处理图像，也即通过鸟瞰摄像机(Birdview camera)采集所述待处理图像。对于桌面这一应用场景来说，俯视视角是较佳的拍摄视角，该视角通常可以避免其他物体对检测目标的遮挡。然而本领域技术人员应当理解，采用其他视角摄像机采集的图像，也可以应用本公开实施例提出的手势识别方法。
在本公开实施例中，可以通过对人手检测框中的图像进行检测，通过将检测到的特征与目标手势中人手姿态的特征进行比较，以确定人手检测框中的人手姿态是否符合目标手势的人手姿态。也可以通过对所述人手检测框中的人手姿态进行分类，通过分类结果判断是否符合目标手势的人手姿态。具体判断方法容后详述。
在步骤103中，确定所述人手在所述待处理图像中的预先定义的区域内。
在本公开实施例中，在人手检测结果包括人手检测框的情况下，人手检测结果中也包含了人手检测框的位置信息，也即确定了人手在所述待处理图像中的位置信息。
对于出现在特定区域才成立的目标手势而言，通过利用在待处理图像中预先定义的区域对人手检测框中的人手提供位置约束，从而可以进一步确定检测出的人手是否满足对于目标手势的要求。其中，待处理图像中预先定义的区域，可以根据拍摄待处理图像的摄像机的位置、内部参数以及实际空间中目标手势所对应的特定区域来确定。
在步骤104中，确定所述人手做出目标手势。
在人手检测框中的人手姿态符合目标手势中的人手姿态，且人手处于所述待处理图像中的预先定义的区域内的情况下，确定检测框中的人手做出目标手势。
在本公开实施例中，通过对人手检测结果中人手检测框中的人手姿态进行检测，在确定人手姿态符合目标手势中的人手姿态的基础上，加上检测位置信息的约束，进行目标手势识别。因此，可以利用单帧图像实现快速、高精度的目标手势识别。
在一些实施例中，在检测出人手的情况下，也即在人手检测结果包括人手检测框的情况下，可以裁剪出所述待处理图像中位于人手检测框中的图像；根据裁剪出的图像，确定所述裁剪出的图像中的人手姿态符合目标手势中的人手姿态。
通过将人手检测框中的图像进行裁剪，并根据裁剪出的图像进行人手姿态的检测，可以提高人手姿态检测的效率和准确度。
在一些实施例中，可以将人手检测框的中心点确定为人手的位置。本领域技术人员应当理解，也可以将人手检测框的其他位置点确定为人手的位置，例如对于待识别目标手势与其中一个手指的关系最为密切时，可以将该手指在人手检测框中的位置确定为人手的位置。人手位置的具体确定方式可以根据待识别目标手势与人手检测框的关系来确定。
在一些实施例中，可以通过以下方法确定人手检测框中的人手姿态符合目标手势中的人手姿态：将人手检测框中的图像输入至预先训练的人手分类神经网络，获得人手分类结果，根据所述分类结果来判断人手检测框中的人手姿态是否符合目标手势中的人手姿态。
所采用的人手分类神经网络可以是卷积分类模型，例如使用Rsenet18作为主干网络的卷积分类模型。本领域技术人员应当理解，所采用的人手分类神经网络可以根据所需获得的分类类型来确定；而所需获得的分类类型，可以根据待识别的目标手势来确定，本公开对此不进行限定。
在一个示例中，在待识别的目标手势只涉及人手的正面时，所需获得的分类类型可以包括人手为正面或其他姿态，其中，其他姿态包括了人手为正面以外的人手姿态以及人手被遮挡的情况。可以利用包括人手为正面和/或人手为其他姿态的图像样本对所述人手分类神经网络进行训练，所述人手为正面的图像样本的标注信息为人手的手心。
在一个示例中，在待识别的目标手势涉及人手的正面、反面时，所需获得的分类类型可以包括人手为正面、人手为反面、人手为其他姿态，其中，其他姿态包括了人手为正面、人手为反面以外的人手姿态，以及人手被遮挡的情况。可以利用包括人手为正面的图像样本、人手为反面、人手为其他姿态的图像样本对所述人手分类神经网络进行训练，其中，所述人手为正面的图像样本的标注信息为人手的手心，所述人手为反面的图像样本的标注信息可以是表示反面的标识。
在一个示例中，在待识别的目标手势涉及特定的姿态时，分类类型中需要包含该特定姿态，则可以利用包含该特定姿态和其他姿态的样本人手图像对所述人手分类神经网络进行训练，以使所训练的人手分类神经网络能够从人手检测框中的图像中识别出该特定姿态。
本领域技术人员应当理解，也可以采用其他方法确定人手检测框中的人手姿态符合目标手势中的人手姿态，利用对所述人手检测框中的人手姿态进行手势检测等等，本公开实施例对此不进行限制。
以下针对待识别目标手势中为两手均为正面、且两手分别位于桌面两个特定子区域上方为例，对本公开实施例提出的手势识别方法进行具体描述。本领域技术人员应当理解，该手势识别方法不限于识别上述目标手势，也可以用于识别其他目标手势。
图2为本公开至少一个实施例提供的手势识别方法的应用场景的示意图。如图2所示，待识别的目标手势为在桌面20的两个区域221和222上方做出两手手心向上的手势。两个区域221和222在人员21附近。
对以俯视角度拍摄的包含桌面20的全部区域或部分区域的待处理图像进行检测，获得人手检测结果。
当检测到人员21的人手，也即在人手检测结果中包括人手检测框的情况下，将所述人手检测框中的图像输入至人手分类神经网络，获得人手分类结果。所述人手分类神经网络用于对输入图像是人手的正面还是其他姿态进行分类，得到的人手分类结果包括人手为正面或者人手为其他姿态。在两个人手检测框的分类结果均为人手为正面时，确定所述人手检测框中的人手姿态均为人手为正面，符合目标手势中的人手姿态。
在确定了两手均为正面的情况下，确定两个人手检测框的位置是否在待处理图像的两个设定的子区域中。其中，待处理图像的两个设定的子区域根据拍摄所述待处理图像的摄像机的位置、内部参数以及桌面20上两个区域221和222的位置确定。响应于两个人手检测框的中心点分别在所述两个设定的子区域中，确定所述人手做出目标手势。其中，两个设定的子区域是待处理图像中，与目标区域中的两个子区域分别对应的区域。当目标区域为游戏桌时，目标区域中的两个子区域可以是游戏桌上的两个子区域，两个设定的子区域是待处理图像中、与游戏桌上的两个子区域分别对应的区域。
在一个示例中，可以将根据所述人手检测框裁剪出来的图像，输入至所述人手分类神经网络，获得人手分类结果。在所述待处理图像中包含了多个人手检测框的情况下，则将多个裁剪出来的图像分别输入至所述人手分类神经网络。
对于以上所述的用于对输入图像进行人手为正面或人手为其他姿态分类的人手分类神经网络，可以利用以下方法进行训练。
获取人包括人手为正面和人手为其他姿态的图像样本，并且对于人手为正面的图像样本，对该图像样本中人手的手心进行标注。
图3A和3B为示例性的人手为正面的图像样本。可以将正面看到掌心的人手图像作为人手为正面的图像样本，所述人手为正面的图像样本的标注信息为人手的手心。其中，图3A和图3B中手心处的白点是人手为正面的图像样本的标注。人手为正面的图像样本的标注信息也可以是手掌上的任意形状，例如一些点、圆形、正方形，在此不作限制。图3C～3F为示例性的其他姿态人手图像，其为人手反面、或者手心被遮挡的人手图像，可以将其标注为其他姿态。
利用如图3A-3F所示的图像样本对所述人手分类神经网络进行训练，完成训练的神经网络即能够对于人手检测框中的图像进行分类，获得人手为正面或者人手为其他姿态的分类结果。
在一些实施例中，还可以利用三分类人手分类神经网络对人手检测框中的图像进行分类，获得人手为正面，或者人手为反面，或者人手为其他姿态的分类结果。该人手分类神经网络可以通过人手为正面、人手为反面、人手为其他姿态的图像样本进行训练。仍以图3A～3F为例。图3A和3B为示例性的人手为正面的图像样本，所述人手为正面的图像样本的标注信息为人手的手心。图3C和图3D为示例性的人手为反面的图像样本。可以将具有完整手背和五个手指的人手图像作为人手为反面的图像，并将其标注为反面。图3E和图3F为示例性的人手为其他姿态的图像样本。可以将未能看到掌心，并且也未能看到完整手背和五个手指的人手图像作为人手为其他姿态的图像样本，并将其标注为其他姿态。图3E和图3F虽然整体姿态向上，但未能看到掌心，因此属于其他姿态。利用如上所述的图像样本对所述人手分类神经网络进行训练，完成训练的神机网络即能够对于人手检测框中的图像进和分类，获得人手为正面，或者人手为反面，或者人手为其他姿态的分类结果。
在本公开实施例中，利用人手分类神经网络对人手检测框中的图像进行分类，从而识别人手是否呈现正面的姿态，也即手心向上的姿态。在此情况下所采用的人手分类神经网络，相较于视频分类神经网络，训练样本易于获取和标注，且神经网络的识别速度高，可以实现对人手姿态的实时识别。
在人手分类结果符合目标手势中的人手姿态的基础中，通过利用待处理图像上预先定义的区域进行位置约束，可以进一步确定所检测到的人手做出目标手势。
以下目标手势为荷官的净手手势为例对本公开实施例提出的手势识别方法进行说明。
图4为本公开至少一个实施例提供的手势识别方法的应用场景的示意图。如图4所示，在游戏场景中，可通过游戏桌40进行游戏，玩家421、422、423与荷官43位于游戏桌的相对侧。游戏桌的区域主要包括：荷官的被兑换物区47(荷官前方的区域)、玩家的被兑换物区441、442(玩家前方的区域)、游戏进行区域46，以及预先定义的区域41(也可称其为热区)。
荷官的净手手势是指荷官在做完特定操作后、或者在执行特征操作前，双手掌心向上，平放在荷官的被兑换物区(如图4中的被兑换物区47)的两侧，向他人展示手中并未夹带任何物品，说明可进入下一游戏阶段。
本公开实施例中，可以将游戏桌上荷官前方被兑换物区47两侧的两个子区域(例如图4中的子区域411和子区域412)作为实际空间的特定区域(即目标区域的两个子区域)。通过拍摄所述待处理图像的摄像机45位置、内部参数以及特定区域(如子区域411和412)的位置来确定在待处理图像上对应的两个设定的子区域，以对所述人手分类结果进行位置约束。
对于包含游戏桌40的全部区域或部分区域的待处理图像进行检测，在所获得的人手检测结果包括人手检测框的情况下，将所述人手检测框中的图像输入至预先训练的人手分类神经网络，所述人手分类神经网络能够对输入图像进行人手为正面或人手为其他姿态的分类。响应于两个人手检测框的图像的分类结果均为人手为正面，进一步确定两个人手检测的位置是否处于所述待处理图像的两个设定的子区域中。在两个人手检测分别处于所述两个设定的子区域中时，表明两只手分别进入游戏桌40上的热区，则可以确定所检测到的人手做出净手手势。
在确定荷官做出净手手势后，可以通过产生触发信号而直接进入下一个处理流程，例如开启游戏过程监控，无需用户额外通过按钮(硬件触发器)来开启监控，从而提高用户的体验感受。并且，通过识别荷官的净手手势，还可以监控荷官手中是否加带任何违禁物品。
图5为本公开至少一个实施例提供的手势识别装置的结构示意图。如图5所示，所述装置包括：获得单元501，用于对待处理图像进行检测，获得人手检测结果；第一确定单元502，用于响应于人手检测结果包括人手检测框，确定所述人手检测框中的人手姿态符合目标手势中的人手姿态；第二确定单元503，用于确定所述人手在所述待处理图像中的预先定义的区域内；第三确定单元504，用于确定所述人手做出目标手势。
在一些实施例中，第一确定单元502具体用于：响应于人手检测结果包括人手检测框，裁剪出所述待处理图像中位于人手检测框中的图像；根据裁剪出的图像，确定所述裁剪出的图像中的人手姿态符合目标手势中的人手姿态。
在一些实施例中，所述目标手势中的人手姿态为两手均为正面；所述第一确定单元在用于确定所述人手检测框中的人手姿态符合目标手势中的人手姿态时，具体用于：将所述人手检测框中的图像输入至人手分类神经网络，获得人手分类结果，所述人手分类结果包括人手为正面或者人手为其他姿态；在两个人手检测框的人手分类结果均为正面的情况下，确定所述人手检测框中的人手姿态符合目标手势中的人手姿态。
在一些实施例中，所述人手分类神经网络采用人手图像样本训练得到，所述人手图像样本中包括人手为正面的图像样本，所述人手为正面的图像样本的标注信息为人手的手心。
在一些实施例中，第二确定单元具体用于：确定所述人手检测框的中心点在所述预先定义的区域内。
在一些实施例中，所述待处理图像是对目标区域进行采集得到的图像，所述预先定义的区域包括所述待处理图像中、与所述目标区域中的两个子区域分别对应的两个设定的子区域；第二确定单元504具体用于：确定两个人手检测框的中心点分别在两个设定的子区域中。
在一些实施例中，所述待处理图像为在俯视视角下采集到的所述游戏桌上的图像。
图6为本公开至少一个实施例提供的电子设备的结构示意图。所述设备包括：处理器601和用于存储处理器可执行指令的存储器602；其中，所述处理器601被配置为调用所述存储器602存储的指令，以实现至少一个实施例所述的手势识别方法。所述电子设备还可以进一步包括网络接口603以和其他设备，如摄像机，进行通信，以及总线604。处理器601、存储器602和网络接口603通过总线604相互通信。
本公开还提出了一种非易失性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，促使所述处理器实现至少一个实施例所述的手势识别方法。
本领域技术人员应明白，本说明书一个或多个实施例可提供为方法、系统或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书中的“和/或”表示至少具有两者中的其中一个，例如，“A和/或B”包括三种方案：A、B、以及“A和B”。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于手势识别装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的行为或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中描述的主题及功能操作的实施例可以在以下中实现：数字电子电路、有形体现的计算机软件或固件、包括本说明书中公开的结构及其结构性等同物的计算机硬件、或者它们中的一个或多个的组合。本说明书中描述的主题的实施例可以实现为一个或多个计算机程序，即编码在有形非暂时性程序载体上以被数据处理装置执行或控制数据处理装置的操作的计算机程序指令中的一个或多个模块。可替代地或附加地，程序指令可以被编码在人工生成的传播信号上，例如机器生成的电、光或电磁信号，该信号被生成以将信息编码并传输到合适的接收机装置以由数据处理装置执行。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备、或它们中的一个或多个的组合。
本说明书中描述的处理及逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行，以通过根据输入数据进行操作并生成输出来执行相应的功能。所述处理及逻辑流程还可以由专用逻辑电路—例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)来执行，并且装置也可以实现为专用逻辑电路。
适合用于执行计算机程序的计算机包括，例如通用和/或专用微处理器，或任何其他类型的中央处理单元。通常，中央处理单元将从只读存储器和/或随机存取存储器接收指令和数据。计算机的基本组件包括用于实施或执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘等，或者计算机将可操作地与此大容量存储设备耦接以从其接收数据或向其传送数据，抑或两种情况兼而有之。然而，计算机不是必须具有这样的设备。此外，计算机可以嵌入在另一设备中，例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏操纵台、全球定位系统(GPS)接收机、或例如通用串行总线(USB)闪存驱动器的便携式存储设备，仅举几例。
适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、媒介和存储器设备，例如包括半导体存储器设备(例如EPROM、EEPROM和闪存设备)、磁盘(例如内部硬盘或可移动盘)、磁光盘以及CD ROM和DVD-ROM盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。
虽然本说明书包含许多具体实施细节，但是这些不应被解释为限制任何公开的范围或所要求保护的范围，而是主要用于描述特定公开的具体实施例的特征。本说明书内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。
类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中，或者封装成多个软件产品。
以上所述仅为本说明书一个或多个实施例的较佳实施例而已，并不用以限制本说明书一个或多个实施例，凡在本说明书一个或多个实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书一个或多个实施例保护的范围之内。

Claims (16)

1.一种手势识别方法，包括：
对待处理图像进行检测，获得人手检测结果；
响应于人手检测结果包括人手检测框，确定所述人手检测框中的人手姿态符合目标手势中的人手姿态；
确定所述人手在所述待处理图像中的预先定义的区域内；
确定所述人手做出目标手势。
2.根据权利要求1所述的方法，其中，响应于人手检测结果包括所述人手检测框，确定所述人手检测框中的所述人手姿态符合所述目标手势中的人手姿态，包括：
响应于人手检测结果包括所述人手检测框，裁剪出所述待处理图像中位于人手检测框中的图像；
根据所述裁剪出的图像，确定所述裁剪出的图像中的人手姿态符合目标手势中的人手姿态。
3.根据权利要求1或2所述的方法，其中，所述目标手势中的人手姿态为两手均为正面；
确定所述人手检测框中的所述人手姿态符合所述目标手势中的所述人手姿态，包括：
将所述人手检测框中的图像输入至人手分类神经网络，获得人手分类结果，所述人手分类结果包括人手为正面或者人手为其他姿态；
在两个人手检测框的人手分类结果均为正面的情况下，确定所述人手检测框中的所述人手姿态符合所述目标手势中的人手姿态。
4.根据权利要求3所述的方法，其中，所述人手分类神经网络采用人手图像样本训练得到，所述人手图像样本中包括人手为正面的图像样本，所述人手为正面的图像样本的标注信息为人手的手心。
5.根据权利要求1至4任一项所述的方法，其中，确定所述人手在所述待处理图像中的所述预先定义的区域内，包括：
确定所述人手检测框的中心点在所述预先定义的区域内。
6.根据权利要求5所述的方法，其中，所述待处理图像是对目标区域进行采集得到的图像，所述预先定义的区域包括所述待处理图像中、与所述目标区域中的两个子区域分别对应的两个设定的子区域；
确定所述人手检测框的所述中心点在所述预先定义的区域内，包括：确定两个人手检测框的中心点分别在所述两个设定的子区域中。
7.根据权利要求6所述的方法，其中，所述待处理图像为在俯视视角下采集到的所述目标区域的图像。
8.一种手势识别装置，包括：
获得单元，用于对待处理图像进行检测，获得人手检测结果；
第一确定单元，用于响应于人手检测结果包括人手检测框，确定所述人手检测框中的人手姿态符合目标手势中的人手姿态；
第二确定单元，用于确定所述人手在所述待处理图像中的预先定义的区域内；
第三确定单元，用于确定所述人手做出目标手势。
9.根据权利要求8所述的装置，其中，所述第一确定单元还用于：
响应于人手检测结果包括所述人手检测框，裁剪出所述待处理图像中位于人手检测框中的图像；
根据所述裁剪出的图像，确定所述裁剪出的图像中的人手姿态符合目标手势中的人手姿态。
10.根据权利要求8或9所述的装置，其中，所述目标手势中的人手姿态为两手均为正面；
所述第一确定单元还用于：
将所述人手检测框中的图像输入至人手分类神经网络，获得人手分类结果，所述人手分类结果包括人手为正面或者人手为其他姿态；
在两个人手检测框的人手分类结果均为正面的情况下，确定所述人手检测框中的所述人手姿态符合所述目标手势中的人手姿态。
11.根据权利要求10所述的装置，其中，所述人手分类神经网络采用人手图像样本训练得到，所述人手图像样本中包括人手为正面的图像样本，所述人手为正面的图像样本的标注信息为人手的手心。
12.根据权利要求8至11任一项所述的装置，其中，所述第二确定单元还用于：
确定所述人手检测框的中心点在所述预先定义的区域内。
13.根据权利要求12所述的装置，其中，所述待处理图像是对目标区域进行采集得到的图像，所述预先定义的区域包括所述待处理图像中、与所述目标区域中的两个子区域分别对应的两个设定的子区域；
所述第二确定单元还用于：
确定两个人手检测框的中心点分别在所述两个设定的子区域中。
14.根据权利要求13所述的装置，其中，所述待处理图像为在俯视视角下采集到的所述目标区域的图像。
15.一种电子设备，包括：
处理器；
存储有可在所述处理器上运行的计算机指令的存储器，
其中，所述处理器用于在执行所述计算机指令时实现权利要求1至7任一项所述的手势识别的方法。
16.一种非易失性计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时，促使所述处理器实现权利要求1至7任一项所述的手势识别的方法。
CN202080000947.6A 2019-12-23 2020-03-13 手势识别方法和装置、电子设备及存储介质 Pending CN112262393A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
SG10201912990QA SG10201912990QA (en) 2019-12-23 2019-12-23 Gesture Recognition Method And Apparatus, Electronic Device, And Storage Medium
SG10201912990Q 2019-12-23
PCT/IB2020/052291 WO2021130548A1 (en) 2019-12-23 2020-03-13 Gesture recognition method and apparatus, electronic device, and storage medium

Publications (1)

Publication Number Publication Date
CN112262393A true CN112262393A (zh) 2021-01-22

Family

ID=74225405

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080000947.6A Pending CN112262393A (zh) 2019-12-23 2020-03-13 手势识别方法和装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112262393A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023024536A1 (zh) * 2021-08-27 2023-03-02 上海商汤智能科技有限公司 一种绘图方法、装置、计算机设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106647305A (zh) * 2016-12-28 2017-05-10 重庆金鑫科技产业发展有限公司 一种控制方法及终端
CN108229318A (zh) * 2017-11-28 2018-06-29 北京市商汤科技开发有限公司 手势识别和手势识别网络的训练方法及装置、设备、介质
CN108346168A (zh) * 2018-02-12 2018-07-31 腾讯科技（深圳）有限公司 一种手势图像生成方法、装置及存储介质
CN109063653A (zh) * 2018-08-07 2018-12-21 北京字节跳动网络技术有限公司 图像处理方法和装置
CN110287891A (zh) * 2019-06-26 2019-09-27 北京字节跳动网络技术有限公司 基于人体关键点的手势控制方法、装置及电子设备
CN110458095A (zh) * 2019-08-09 2019-11-15 厦门瑞为信息技术有限公司 一种有效手势的识别方法、控制方法、装置和电子设备
US20200026910A1 (en) * 2017-03-31 2020-01-23 Beijing Sensetime Technology Development Co., Ltd. Gesture identification, control, and neural network training methods and apparatuses, and electronic devices

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106647305A (zh) * 2016-12-28 2017-05-10 重庆金鑫科技产业发展有限公司 一种控制方法及终端
US20200026910A1 (en) * 2017-03-31 2020-01-23 Beijing Sensetime Technology Development Co., Ltd. Gesture identification, control, and neural network training methods and apparatuses, and electronic devices
CN108229318A (zh) * 2017-11-28 2018-06-29 北京市商汤科技开发有限公司 手势识别和手势识别网络的训练方法及装置、设备、介质
CN108346168A (zh) * 2018-02-12 2018-07-31 腾讯科技（深圳）有限公司 一种手势图像生成方法、装置及存储介质
CN109063653A (zh) * 2018-08-07 2018-12-21 北京字节跳动网络技术有限公司 图像处理方法和装置
CN110287891A (zh) * 2019-06-26 2019-09-27 北京字节跳动网络技术有限公司 基于人体关键点的手势控制方法、装置及电子设备
CN110458095A (zh) * 2019-08-09 2019-11-15 厦门瑞为信息技术有限公司 一种有效手势的识别方法、控制方法、装置和电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023024536A1 (zh) * 2021-08-27 2023-03-02 上海商汤智能科技有限公司 一种绘图方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
CN109711243B (zh) 一种基于深度学习的静态三维人脸活体检测方法
CN110738101B (zh) 行为识别方法、装置及计算机可读存储介质
US11307668B2 (en) Gesture recognition method and apparatus, electronic device, and storage medium
CN105631408B (zh) 基于视频的面孔相册处理方法和装置
US9477887B2 (en) Apparatus and method for analyzing trajectory
JP7212154B2 (ja) 目標追跡方法、装置、電子デバイス、及び記録媒体
CN110688929B (zh) 一种人体骨架关节点定位方法及装置
CN108124486A (zh) 基于云端的人脸活体检测方法、电子设备和程序产品
CN108280418A (zh) 脸部图像的欺骗识别方法及装置
KR20210084449A (ko) 목표 대상 인식 시스템, 방법, 장치, 전자 디바이스 및 기록 매체
CN107679448A (zh) 眼球动作分析方法、装置及存储介质
CN112166435B (zh) 目标跟踪方法、装置、电子设备及存储介质
CN102375970A (zh) 一种基于人脸的身份认证方法和认证装置
JP2007257088A (ja) ロボット装置及びそのコミュニケーション方法
JP2018081630A (ja) 検索装置、検索方法およびプログラム
KR20220098312A (ko) 이미지 내 관련 대상 검출 방법, 장치, 디바이스 및 기록 매체
Chua et al. Vision-based hand grasping posture recognition in drinking activity
CN112262393A (zh) 手势识别方法和装置、电子设备及存储介质
CN113785304A (zh) 人脸识别方法和装置
EP4300446A1 (en) Methods and systems for detecting fraud during biometric identity verification
CN109740557B (zh) 对象检测方法及装置、电子设备和存储介质
JP2017097549A (ja) 画像処理装置、方法、及びプログラム
CN113486761B (zh) 一种指甲识别方法、装置、设备及存储介质
CN114170651A (zh) 表情识别方法、装置、设备及计算机存储介质
JP2019096252A (ja) 撮影映像から人の行動を表すコンテキストを推定するプログラム、装置及び方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination