CN113031464B - 设备控制方法、装置、电子设备及存储介质 - Google Patents
设备控制方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113031464B CN113031464B CN202110301465.0A CN202110301465A CN113031464B CN 113031464 B CN113031464 B CN 113031464B CN 202110301465 A CN202110301465 A CN 202110301465A CN 113031464 B CN113031464 B CN 113031464B
- Authority
- CN
- China
- Prior art keywords
- target
- hand
- image
- detected
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Automation & Control Theory (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本公开提供了一种设备控制方法、装置、电子设备及存储介质，该方法包括：对获取的第一待检测图像进行手部检测，确定与预设手势类别匹配的目标手部的手部检测信息；基于所述目标手部的手部检测信息，对获取的第二待检测图像中与所述目标手部相连的目标肢体进行肢体跟踪检测，并确定所述目标手部在所述第二待检测图像中的手势识别结果；其中，所述第二待检测图像为在所述第一待检测图像之后获取到的图像；基于所述手势识别结果，控制目标设备。
Description
技术领域
本公开涉及计算机视觉技术领域，具体而言，涉及一种设备控制方法、装置、电子设备及存储介质。
背景技术
随着科学技术的发展，人们不断的对人机交互的水平和质量提出新的要求和调整。其中，由于手势具有直观性、自然性等特点，使得手势已成为人机交互的一种重要手段。因此，基于计算机视觉的手势识别成为了人机交互领域的研究重点。
一般的，可以通过获取的图像，确定用户的手势类别，利用确定的手势类别，实现对目标设备的控制，但是在人机交互场景内存在多个用户时，不同用户的手势之间可能存在干扰。因此，目前亟需一种设备控制方案，以解决上述问题。
发明内容
有鉴于此，本公开至少提供一种设备控制方法、装置、电子设备及存储介质。
第一方面，本公开提供了一种设备控制方法，包括：
对获取的第一待检测图像进行手部检测，确定与预设手势类别匹配的目标手部的手部检测信息；
基于所述目标手部的手部检测信息，对获取的第二待检测图像中与所述目标手部相连的目标肢体进行肢体跟踪检测，并确定所述目标手部在所述第二待检测图像中的手势识别结果；其中，所述第二待检测图像为在所述第一待检测图像之后获取到的图像；
基于所述手势识别结果，控制目标设备。
上述方法中，通过对第一待检测图像进行手部检测，确定与预设手势类别匹配的目标手部的手部检测信息，并基于目标手部的手部检测信息，对获取的第二待检测图像中与目标手部相连的目标肢体进行肢体跟踪检测，确定目标手部在第二待检测图像中的手势识别结果。这样可以借助肢体跟踪来实现对不易跟踪检测的目标手部的追踪，进而可以基于手势识别结果，控制目标设备。在诸多用户的手部中，或是在同一用户的两个手部中，通过锁定目标手部，并借助肢体与手部之间的唯一匹配性，以跟踪目标手部为目的进行了肢体跟踪，并以肢体跟踪结果为依据，得到目标手部在第二待检测图像中的手势识别结果，从而有效缓解除目标手部对应的目标用户之外的其他用户的手部动作，对目标用户控制目标设备产生的干扰，提高了目标设备的控制精准度。
由此可见，采用本公开提供的技术方案，可以有效甄别多个用户中用于控制目标设备的目标用户，并在一定程度上，当目标用户的两个手部都存在手部动作的情况下，择一确定目标手部，以对目标设备进行准确控制。需要说明的是，若部分控制操作是通过用户的两个手部分别执行相应动作来触控的，那么采用本公开提供的技术方案可以锁定目标用户，并基于目标用户的两个手部对应的手部动作来实现目标设备的控制。
一种可能的实施方式中，在所述基于所述手势识别结果，控制目标设备之前，还包括：
检测所述目标手部是否满足截止条件；
在检测到所述目标手部满足截止条件的情况下，在所述第二待检测图像中，重新确定与所述预设手势类别匹配的目标手部的手部检测信息。
这里，在检测到目标手部满足截止条件时，表征该目标用户的目标手部不再对目标设备进行控制，则可以重新确定与预设手势类别匹配的目标手部的手部检测信息，使得第二待检测图像中的至少一个用户可以实时的控制目标设备。
一种可能的实施方式中，所述目标手部满足所述截止条件包括以下一种或多种：
在所述第二待检测图像中，所述目标手部的手势识别结果指示的手势类别为无效手势类别，所述无效手势类别包括如下至少一项：所述手势类别与所述预设手势类别不匹配，以及所述目标手部未发生移动；
在所述第二待检测图像包括多帧的情况下，所述目标手部的手势识别结果指示的手势类别为所述无效手势类别的帧数大于或等于数量阈值，和/或持续时长大于或等于时长阈值；
在所述第二待检测图像中，所述目标手部的手势识别结果指示的手势类别为有效手势类别，且所述有效手势类别用于指示重新确定目标手部和/或手部检测信息。
一种可能的实施方式中，所述对获取的第一待检测图像进行手部检测，包括：
对获取的所述第一待检测图像进行肢体检测，得到肢体检测信息；
基于所述肢体检测信息，对所述第一待检测图像进行手部检测，确定与所述肢体关联的所述目标手部的所述手部检测信息。
由于在图像中较难对手部进行跟踪检测，而肢体的追踪检测较易实现，且手部与肢体相连，故可以先对第一待检测图像进行肢体检测，确定肢体检测信息，再基于肢体检测信息对第一待检测图像进行手部检测，可以较准确的确定与肢体关联的目标手部的手部检测信息。
一种可能的实施方式中，所述对获取的第一待检测图像进行手部检测，包括：
对获取的所述第一待检测图像分别进行肢体检测和手部检测，得到肢体检测信息和所述手部检测信息；
基于所述肢体检测信息和所述手部检测信息，确定所述手部与所述肢体之间的距离；
基于所述距离，确定与所述肢体关联的所述目标手部的所述手部检测信息。
这里，可以通过手部与肢体之间的距离，确定与肢体关联的目标手部的手部检测信息，确定过程简单、易实现。
一种可能的实施方式中，所述控制目标设备，包括如下至少一种：
调整所述目标设备的音量；
调整所述目标设备的工作模式，所述工作模式包括关闭或开启所述目标设备的至少部分功能；
在所述目标设备的显示界面中显示移动标识，或调整所述显示界面中所述移动标识的显示位置；
所述显示界面中至少部分显示内容的缩小或放大；
所述显示界面的滑动或跳转。
这里，可以基于手势识别结果，控制目标设备的音量、控制目标设备的关闭、目标设备的显示界面中移动标识的显示位置等，实现了对目标设备的灵活控制。
一种可能的实施方式中，在所述第一待检测图像中包括多个用户的情况下，在所述基于所述目标手部的手部检测信息，对获取的第二待检测图像中与所述目标手部相连的目标肢体进行肢体跟踪检测之前，还包括：
确定所述第一待检测图像中每个用户的目标关节点位置信息；
将所述第一待检测图像中的每个用户作为目标用户，基于所述目标用户的所述目标关节点位置信息，确定所述目标用户的目标关节点与多个用户中除所述目标用户之外的其他用户的目标关节点之间的水平距离；
在基于所述水平距离，确定所述其他用户中不存在干扰用户的情况下，则将所述目标用户的默认手势类别，作为所述目标用户的所述预设手势类别，所述干扰用户包括所述水平距离小于所述目标用户对应的距离阈值的用户。
一种可能的实施方式中，还包括：
在基于所述水平距离，确定所述其他用户中存在干扰用户的情况下，则对所述目标用户的默认手势类别进行调整，并将调整后的默认手势类别作为所述目标用户的所述预设手势类别，调整所述默认手势类别包括以下至少一种操作：增加所述默认手势类别的种类、增加用于控制所述目标设备的至少一个功能的手势类别的种类，以及将手势类别的移动检测调整为手部检测框的移动检测。
上述实施方式中，在第一待检测图像中包括多个用户时，可以将每个用户作为目标用户，基于目标用户的目标关节点位置信息、和其他用户的目标关节点位置信息，确定目标用户与其他用户的目标关节点之间的水平距离，在基于水平距离，确定其他用户中存在干扰用户时，则可以调整目标用户对应的手势容错机制，即可以将调整后的默认手势类别作为目标用户的预设手势类别，缓解干扰用户对目标用户的手势类别检测产生的影响。
一种可能的实施方式中，根据下述步骤确定所述目标用户对应的所述距离阈值：
确定所述目标用户的第一关节点的位置信息和第二关节点的位置信息；
基于所述第一关节点的位置信息和所述第二关节点的位置信息，确定用于表征所述目标用户肩宽的中间距离；
基于所述中间距离，确定所述目标用户对应的所述距离阈值。
采用上述方法，可以基于确定的第一关节点的位置信息和第二关节点的位置信息，确定表征目标用户肩宽的中间距离，进而可以基于目标用户对应的中间距离，确定目标用户的距离阈值，不同的用户对应不同的距离阈值，通过为每个目标用户确定对应的距离阈值，可以较准确的判断其他用户是否会对目标用户造成干扰。
以下装置、电子设备等的效果描述参见上述方法的说明，这里不再赘述。
第二方面，本公开提供了一种设备控制装置，包括：
第一确定模块，用于对获取的第一待检测图像进行手部检测，确定与预设手势类别匹配的目标手部的手部检测信息；
检测模块，用于基于所述目标手部的手部检测信息，对获取的第二待检测图像中与所述目标手部相连的目标肢体进行肢体跟踪检测，并确定所述目标手部在所述第二待检测图像中的手势识别结果；其中，所述第二待检测图像为在所述第一待检测图像之后获取到的图像；
控制模块，用于基于所述手势识别结果，控制目标设备。
一种可能的实施方式中，在所述基于所述手势识别结果，控制目标设备之前，还包括：第二确定模块，用于：
检测所述目标手部是否满足截止条件；
在检测到所述目标手部满足截止条件的情况下，在所述第二待检测图像中，重新确定与所述预设手势类别匹配的目标手部的手部检测信息。
一种可能的实施方式中，所述目标手部满足所述截止条件包括以下一种或多种：
在所述第二待检测图像中，所述目标手部的手势识别结果指示的手势类别为无效手势类别，所述无效手势类别包括如下至少一项：所述手势类别与所述预设手势类别不匹配，以及所述目标手部未发生移动；
在所述第二待检测图像包括多帧的情况下，所述目标手部的手势识别结果指示的手势类别为所述无效手势类别的帧数大于或等于数量阈值，和/或持续时长大于或等于时长阈值；
在所述第二待检测图像中，所述目标手部的手势识别结果指示的手势类别为有效手势类别，且所述有效手势类别用于指示重新确定目标手部和/或手部检测信息。
一种可能的实施方式中，所述第一确定模块，在对获取的第一待检测图像进行手部检测时，用于：
对获取的所述第一待检测图像进行肢体检测，得到肢体检测信息；
基于所述肢体检测信息，对所述第一待检测图像进行手部检测，确定与所述肢体关联的所述目标手部的所述手部检测信息。
一种可能的实施方式中，所述第一确定模块，在对获取的第一待检测图像进行手部检测时，用于：
对获取的所述第一待检测图像分别进行肢体检测和手部检测，得到肢体检测信息和所述手部检测信息；
基于所述肢体检测信息和所述手部检测信息，确定所述手部与所述肢体之间的距离；
基于所述距离，确定与所述肢体关联的所述目标手部的所述手部检测信息。
一种可能的实施方式中，所述控制模块，在控制目标设备时，包括如下至少一种：
调整所述目标设备的音量；
调整所述目标设备的工作模式，所述工作模式包括关闭或开启所述目标设备的至少部分功能；
在所述目标设备的显示界面中显示移动标识，或调整所述显示界面中所述移动标识的显示位置；
所述显示界面中至少部分显示内容的缩小或放大；
所述显示界面的滑动或跳转。
一种可能的实施方式中，在所述第一待检测图像中包括多个用户的情况下，在基于所述目标手部的手部检测信息，对获取的第二待检测图像中与所述目标手部相连的目标肢体进行肢体跟踪检测之前，还包括：调整模块，用于：
确定所述第一待检测图像中每个用户的目标关节点位置信息；
将所述第一待检测图像中的每个用户作为目标用户，基于所述目标用户的所述目标关节点位置信息，确定所述目标用户的目标关节点与多个用户中除所述目标用户之外的其他用户的目标关节点之间的水平距离；
在基于所述水平距离，确定所述其他用户中不存在干扰用户的情况下，则将所述目标用户的默认手势类别，作为所述目标用户的所述预设手势类别，所述干扰用户包括所述水平距离小于所述目标用户对应的距离阈值的用户。
一种可能的实施方式中，所述调整模块，还用于：
在基于所述水平距离，确定所述其他用户中存在干扰用户的情况下，则对所述目标用户的默认手势类别进行调整，并将调整后的默认手势类别作为所述目标用户的所述预设手势类别，调整所述默认手势类别包括以下至少一种操作：增加所述默认手势类别的种类、增加用于控制所述目标设备的至少一个功能的手势类别的种类，以及将手势类别的移动检测调整为手部检测框的移动检测。
一种可能的实施方式中，所述装置还包括距离阈值确定模块，所述距离阈值确定模块，用于根据下述步骤确定所述目标用户对应的所述距离阈值：
确定所述目标用户的第一关节点的位置信息和第二关节点的位置信息；
基于所述第一关节点的位置信息和所述第二关节点的位置信息，确定用于表征所述目标用户肩宽的中间距离；
基于所述中间距离，确定所述目标用户对应的所述距离阈值。
第三方面，本公开提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述第一方面或任一实施方式所述的设备控制方法的步骤。
第四方面，本公开提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述第一方面或任一实施方式所述的设备控制方法的步骤。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种设备控制方法的流程示意图；
图2示出了本公开实施例所提供的一种设备控制方法中，肢体关节点和手部检测框的示意图；
图3示出了本公开实施例所提供的一种设备控制装置的架构示意图；
图4示出了本公开实施例所提供的一种电子设备的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
一般的，可以通过获取的图像，确定用户的手势类别，利用确定的手势类别，实现对目标设备的控制，但是在人机交互场景内存在多个用户时，不同用户的手势之间可能存在干扰，降低了通过人机交互实现目标设备控制的控制效果。为了解决上述问题，提高基于人机交互实现的控制目标设备的控制效果，本公开实施例提供了一种设备控制方案。
针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。
下面将结合本公开中附图，对本公开中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本公开实施例进行理解，首先对本公开实施例所公开的一种设备控制方法进行详细介绍。本公开实施例所提供的设备控制方法的执行主体一般为具有一定计算能力的计算机设备，该计算机设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、蜂窝电话、无绳电话、个人数字助理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该设备控制方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
参见图1所示，为本公开实施例所提供的设备控制方法的流程示意图，该方法包括S101-S103，其中：
S101，对获取的第一待检测图像进行手部检测，确定与预设手势类别匹配的目标手部的手部检测信息；
S102，基于所述目标手部的手部检测信息，对获取的第二待检测图像中与所述目标手部相连的目标肢体进行肢体跟踪检测，并确定所述目标手部在所述第二待检测图像中的手势识别结果；其中，所述第二待检测图像为在所述第一待检测图像之后获取到的图像；
S103，基于所述手势识别结果，控制目标设备。
其中，手部检测信息指的是检测得到的与预设手势类别匹配的目标手部在第一待检测图像中的特征信息，可以包括手部位置信息、手势类别、手部标识信息等。示例性的，手部位置信息可以为目标手部对应的手部检测框的顶点在第一待检测图像对应的图像坐标系下的坐标信息，或者，手部位置信息可以为目标手部对应的轮廓区域在第一待检测图像对应的图像坐标系下的坐标信息等。手势类别可以为目标手部在第一待检测图像上的手势动作的类别，比如，手势类别可以为“ok”的手势动作的类别。手部标识信息可以是为目标手部匹配的任一标识，该标识信息可以由数字、文字、图案等构成，比如，手部标识信息可以为左手a1。
第一待检测图像与第二待检测图像可以为视频流中在时序上相邻的两帧视频图像，或是对原始视频流进行抽帧、采样等得到的视频序列中在时序上相邻的两帧视频图像。
在实际应用中，若第一待检测图像与第二待检测图像之间存在其他图像，那么通常情况下是可以对各对象在其他图像中产生的变化忽略不计的，比如，第一待检测图像与第二待检测图像分别对应的采集时刻形成的时间差较小，可视为采集到的不同视频图像之间的差异较小，并不会影响后续分析、处理结果。
上述方法中，通过对第一待检测图像进行手部检测，确定与预设手势类别匹配的目标手部的手部检测信息，并基于目标手部的手部检测信息，对获取的第二待检测图像中与目标手部相连的目标肢体进行肢体跟踪检测，确定目标手部在第二待检测图像中的手势识别结果。这样可以借助肢体跟踪来实现对不易跟踪检测的目标手部的追踪，进而可以基于手势识别结果，控制目标设备。在诸多用户的手部中，或是在同一用户的两个手部中，通过锁定目标手部，并借助肢体与手部之间的唯一匹配性，以跟踪目标手部为目的进行了肢体跟踪，并以肢体跟踪结果为依据，得到目标手部在第二待检测图像中的手势识别结果，从而有效缓解除目标手部对应的目标用户之外的其他用户的手部动作，对目标用户控制目标设备产生的干扰，提高了目标设备的控制精准度。
由此可见，采用本公开提供的技术方案，可以有效甄别多个用户中用于控制目标设备的目标用户，并在一定程度上，当目标用户的两个手部都存在手部动作的情况下，择一确定目标手部，以对目标设备进行准确控制。需要说明的是，若部分控制操作是通过用户的两个手部分别执行相应动作来触控的，那么采用本公开提供的技术方案可以锁定目标用户，并基于目标用户的两个手部对应的手部动作来实现目标设备的控制。
下述对S101-S103进行详细说明。
针对S101：
这里，第一待检测图像可以为设置的目标区域的当前图像，目标区域为设置的可以对目标设备进行控制的任一场景区域。具体实施时，可以在目标设备上设置摄像设备，或者，也可以在目标设备的周围区域内设置摄像设备，以便摄像设备可以获取目标设备对应的目标区域的第一待检测图像。其中，摄像设备对应的拍摄区域包含该目标区域，即目标区域位于摄像设备的拍摄范围内。
对第一待检测图像进行手部检测，得到第一待检测图像中包括的每个用户的手部检测信息，再根据每个用户对应的手部检测信息指示的手势类别信息，确定与预设手势类别匹配的目标手部的手部检测信息。
预设手势类别可以为设置的手势动作的类别，设置的手势动作可以用于对目标设备进行控制等，比如，预设手势类别可以为“OK”的手势动作的类别、也可以为“比心”的手势动作的类别等。
若第一待检测图像中存在多个用户的手部检测信息指示的手势类别与预设手势类别相同时，则可以根据每个用户的肢体中心点位置信息，从手势类别信息与预设手势类别相同的多个用户中，确定目标用户，比如选择肢体中心点位置处于第一待检测图像中间的用户作为目标用户，将目标用户的手部作为目标手部。
一种可选实施方式中，对获取的第一待检测图像进行手部检测，包括：
S1011，对获取的第一待检测图像进行肢体检测，得到肢体检测信息。
S1012，基于所述肢体检测信息，对所述第一待检测图像进行手部检测，确定与所述肢体关联的所述目标手部的所述手部检测信息。
这里，可以先对第一待检测图像进行肢体检测，确定第一待检测图像中包括的每个用户的肢体检测信息。该肢体检测信息可以包括多个肢体关节点位置信息、该用户对应的肢体标识(该肢体标识可以与手部检测信息中包括的手部标识信息关联)等；或者该肢体检测信息可以包括用户的肢体轮廓信息，肢体轮廓信息中包括多个肢体轮廓点的位置信息。其中，该肢体检测信息可以为用户的半身肢体检测信息。
若在第一待检测图像之前的历史待检测图像中存在用户的肢体标识，则将追踪确定的用户在历史待检测图像中的肢体标识，确定为该用户在第一待检测图像中的肢体标识；若在第一待检测图像之前的历史待检测图像中不存在用户的肢体标识，则为该用户生成对应的肢体标识。
再可以利用至少一个用户的肢体检测信息，对第一待检测图像进行手部检测，确定与肢体关联的目标手部的手部检测信息。比如，可以根据肢体检测信息，确定与肢体关联的手部在第一待检测图像上的手部区域图像，对手部区域图像进行手部检测，得到与肢体关联的手部的手部检测信息；再根据手部检测信息中包括的手势类别，确定与预设手势类别匹配的目标手部。
具体实施时，可以对构建的第一神经网络进行训练，使得训练后的第一神经网络满足第一预设条件，比如，使得训练后的第一神经网络的损失值小于设置的损失阈值；其中，训练后的第一神经网络用于对第一待检测图像进行肢体检测，确定第一待检测图像中包括的至少一个用户的肢体检测信息。其中，肢体检测信息中包括的肢体关节点的数量和肢体关节点的位置，可以根据需要进行设置。比如，肢体关节点的数量可以为14个、17个等。以及还可以训练用于对手部进行检测的第二神经网络，使得训练后的第二神经网络满足第二预设条件，进而可以利用训练好的第二神经网络，基于肢体检测信息，对第一待检测图像进行手部检测，确定与肢体关联的目标手部的手部检测信息。
由于在图像中较难对手部进行跟踪检测，而肢体的追踪检测较易实现，且手部与肢体相连，故可以先对第一待检测图像进行肢体检测，确定肢体检测信息，再基于肢体检测信息对第一待检测图像进行手部检测，可以较准确的确定与肢体关联的目标手部的手部检测信息。
一种可能的实施方式中，所述对获取的第一待检测图像进行手部检测，包括：
S1013，对获取的所述第一待检测图像分别进行肢体检测和手部检测，得到肢体检测信息和所述手部检测信息；
S1014，基于所述肢体检测信息和所述手部检测信息，确定所述手部与所述肢体之间的距离；
S1015，基于所述距离，确定与所述肢体关联的所述目标手部的所述手部检测信息。
示例性的，可以使用第一神经网络对第一待检测图像进行肢体检测，得到至少一个用户的肢体检测信息，以及使用第二神经网络对第一待检测图像进行手部检测，得到至少一个手部对应的手部检测信息。根据手部检测信息指示的手势类别，确定目标手部。
再根据肢体检测信息指示的肢体中心点位置信息和手部检测信息指示的手部中心点位置信息，确定手部与肢体之间的距离；进而再将与目标手部之间的距离最短的肢体、和目标手部进行关联，即得到了与肢体关联的目标手部的手部检测信息。
这里，可以通过手部与肢体之间的距离，确定与肢体关联的目标手部的手部检测信息，确定过程简单、易实现。
参见图2所示的一种设备控制方法中，肢体关节点和手部检测框的示意图。图2中目标用户的肢体关节点信息可以包括头部顶点5、头部中心点4、颈部关节点3、左肩关节点9、右肩关节点6、左手肘关节点10、右手肘关节点7、左手腕关节点11、右手腕关节点8、半身肢体中心点12、胯部关节点1、胯部关节点2、和胯部中心点0；手部检测框可以包括右手检测框的四个顶点13、15、16、17和右手框的中心点14；以及左手检测框的四个顶点18、20、21、22和左手框的中心点19。
针对S102：
将目标手部对应的用户作为对目标设备进行控制的目标用户，基于目标用户的目标手部的手部检测信息，对获取的第二待检测图像中与目标手部相连的目标肢体进行肢体跟踪检测，确定目标用户在第二待检测图像中的肢体信息，并根据确定的目标用户的肢体信息，确定目标手部在第二待检测图像中的手势识别结果。其中，该手势识别结果包括但不限于手势类别、手部位置信息等。
第二待检测图像为在第一待检测图像之后获取到的一帧或者多帧图像。
一种可选实施方式中，在所述基于所述手势识别结果，控制目标设备之前，还包括：
一、检测所述目标手部是否满足截止条件；
二、在检测到所述目标手部满足截止条件的情况下，在所述第二待检测图像中，重新确定与所述预设手势类别匹配的目标手部的手部检测信息。其中，所述目标手部满足截止条件包括以下一种或多种：
条件一、在所述第二待检测图像中，所述目标手部的手势识别结果指示的手势类别为无效手势类别，所述无效手势类别包括如下至少一项：所述手势类别与所述预设手势类别不匹配，以及所述目标手部未发生移动；
条件二、在所述第二待检测图像包括多帧的情况下，所述目标手部的手势识别结果指示的手势类别为所述无效手势类别的帧数大于或等于数量阈值，和/或持续时长大于或等于时长阈值；
条件三、在所述第二待检测图像中，所述目标手部的手势识别结果指示的手势类别为有效手势类别，且所述有效手势类别用于指示重新确定目标手部和/或手部检测信息。
实施时，可以实时的对目标手部进行检测，判断目标手部是否满足截止条件，在检测到目标手部满足截止条件时，表征目标手部不再对目标设备进行控制，则可以重新确定与预设手势类别匹配的目标手部的手部检测信息，使得第二待检测图像中的至少一个用户可以实时的控制目标设备。
在检测到目标手部满足截止条件时，则在第二待检测图像中，重新确定与预设手势类别匹配的目标手部的手部检测信息，以便利用重新确定的目标手部的手势识别结果，对目标设备进行控制。
其中，截止条件包括但不限于条件一、条件二、和条件三中的一项或多项，比如，截止条件还可以包括：若在第二待检测图像中无法检测到目标手部的手部检测信息时，则重新确定与预设手势类别匹配的目标手部的手部检测信息。
在条件一中，若第二待检测图像中，目标手部的手势识别结果指示的手势类别为与预设手势类别不匹配时，和/或，若第二待检测图像中，目标手部的手势识别结果指示目标手部未发生移动时，确定满足条件一。示例性，可以根据目标手部在多帧第二待检测图像中的位置信息，判断目标手部是否发生移动。
在条件二中，在检测到在连续N帧第二待检测图像中目标手部未发生移动、且N的值大于或等于数量阈值时，确定满足条件二，N为正整数；或者，在检测到在连续N帧第二待检测图像中目标手部的手势类别与预设手势类别不匹配、且N的值大于或等于数量阈值时确定满足条件二。其中，数量阈值可以根据需要进行设置，比如，数量阈值可以为3、5、10等。或者，在目标手部的手势识别结果指示的手势类别为无效手势类别的持续时长大于或等于时长阈值时，确定满足条件二。时长阈值可以根据实际需要进行设置。
在条件三中，可以预先设置一个截止手势类别，该截止手势类别用于指示重新确定目标手部和/或手部检测信息，比如，该截止手势类别可以为竖拇指的手势类别，在检测到目标手部的手势类别为竖拇指时，则确定该目标手部满足条件三。
针对S103：
在确定了目标手部在第二待检测图像中的手势识别结果后，可以根据手势识别结果，控制目标设备。其中，目标设备可以为智能电视、智能显示屏等。
一种可选实施方式中，控制目标设备，包括如下至少一种：调整所述目标设备的音量；调整所述目标设备的工作模式，所述工作模式包括关闭或开启所述目标设备的至少部分功能；在所述目标设备的显示界面中显示移动标识，或调整所述显示界面中所述移动标识的显示位置；所述显示界面中至少部分显示内容的缩小或放大；所述显示界面的滑动或跳转。
这里，可以基于手势识别结果，控制目标设备的音量、控制目标设备的关闭、目标设备的显示界面中移动标识的显示位置等等，实现了对目标设备的灵活控制。
对基于手势识别结果，调整目标设备的音量进行示例性说明。若手势识别结果中包括的手势类别为设置的用于控制音量的第一目标手势类别时，比如，第一目标手势类别可以为竖食指和中指的手势类别，若手势识别结果指示的目标手部的手势类别为竖食指和中指的手势类别时，则可以确定该目标手部触发了调整目标设备的音量的功能，进而可以根据目标手部的移动方向和距离，确定音量放大、或减小，以及确定放大后的音量值或减小后的音量值，比如，若检测到目标手部从下往上移动，表征对目标设备的音量进行放大，并可以根据从下往上移动的距离、和当前音量，确定放大后的音量值；若检测到目标手部从上往下移动，表征对目标设备的音量进减小，并可以根据从上往下移动的距离、和当前音量值，确定减小后的音量值。
对基于手势识别结果，调整目标设备的工作模式进行示例性说明。比如，若手势识别结果中的手势类别为设置的用于关闭目标设备的第二目标手势类别时，比如，第二目标手势类别可以为OK的手势类别，若手势识别结果指示的目标手部的手势类别为OK的手势类别时，则可以确定该目标手部触发了关闭目标设备的功能，进而可以响应用户触发的功能关闭目标设备。
还可以基于手势识别结果指示的目标手部的位置信息，确定移动标识在目标设备上的显示位置，控制目标设备的显示界面在该显示位置处显示移动标识，其中，移动标识可以为移动光标等。
若手势识别结果中的手势类别与单击对应的第三目标手势类别相同时，比如，第三目标手势类别可以为竖食指的手势类别，若手势识别结果指示的目标手部的手势类别为竖食指的手势类别时，则可以确定该目标用户在与目标手部的当前位置处匹配的、目标设备的目标显示位置处触发了单击功能，则可以控制目标设备展示与单击操作对应的、且与目标显示位置处匹配的展示内容，控制显示界面的滑动或跳转。
考虑到在第一待检测图像中包括多个用户时，若用户与用户之间的距离较近时，用户与用户的手势之间可能存在干扰，若检测到用户与用户之间存在干扰时，可以对调整预设手势类别检测的容错机制。
一种可选实施方式中，在所述第一待检测图像中包括多个用户的情况下，在所述基于所述目标手部的手部检测信息，对获取的第二待检测图像中与所述目标手部相连的目标肢体进行肢体跟踪检测之前，还包括：
步骤一、确定所述第一待检测图像中每个用户的目标关节点位置信息；
步骤二、将所述第一待检测图像中的每个用户作为目标用户，基于所述目标用户的所述目标关节点位置信息，确定所述目标用户的目标关节点与多个用户中除所述目标用户之外的其他用户的目标关节点之间的水平距离；
步骤三、在基于所述水平距离，确定所述其他用户中不存在干扰用户的情况下，则将所述目标用户的默认手势类别，作为所述目标用户的所述预设手势类别，所述干扰用户包括所述水平距离小于所述目标用户对应的距离阈值的用户。
步骤四、在基于所述水平距离，确定所述其他用户中存在干扰用户的情况下，则对所述目标用户的默认手势类别进行调整，并将调整后的默认手势类别作为所述目标用户的所述预设手势类别，调整所述默认手势类别包括以下至少一种操作：增加所述默认手势类别的种类、增加用于控制所述目标设备的至少一个功能的手势类别的种类，以及将手势类别的移动检测调整为手部检测框的移动检测。
上述实施方式中，在第一待检测图像中包括多个用户时，可以将每个用户作为目标用户，基于目标用户的目标关节点位置信息、和其他用户的目标关节点位置信息，确定目标用户与其他用户的目标关节点之间的水平距离，在基于水平距离，确定其他用户中存在干扰用户时，则可以调整目标用户对应的手势容错机制，即可以将调整后的默认手势类别作为目标用户的预设手势类别，缓解干扰用户对目标用户的手势类别检测产生的影响。
针对步骤一、可以对第一待检测图像进行肢体检测，确定第一待检测图像中每个用户的肢体检测信息，该肢体检测信息中可以包括目标关节点位置信息，得到了每个用户的关节点位置信息。其中，目标关节点可以根据需要进行选取，比如，目标关节点可以为肢体中心点，即图2中的半身肢体中心点12，也可以为图2中的跨部中心点0。
针对步骤二、再可以将第一待检测图像中的每个用户作为目标用户，基于目标用户的目标关节点位置信息，确定目标用户的目标关节点与多个用户中除目标用户之外的其他用户的目标关节点之间的水平距离，即可以将目标用户与其他用户的目标关节点位置信息指示的横坐标值相减，确定目标用户的目标关节点与多个用户中除目标用户之外的其他用户的目标关节点之间的水平距离。
再可以基于目标用户与其他用户之间的水平距离，确定其他用户中是否存在干扰用户，若不存在，则执行步骤三；若存在，则执行步骤四。其中，在其他用户与目标用户之间的水平距离，小于确定的目标用户对应的距离阈值时，确定其他用户为干扰用户；若其他用户与目标用户之间的水平距离，大于或等于确定的目标用户对应的距离阈值时，确定其他用户不是干扰用户。
其中，可以根据下述步骤A1至步骤A3确定所述目标用户对应的所述距离阈值：
步骤A1、确定所述目标用户的第一关节点的位置信息和第二关节点的位置信息；
步骤A2、基于所述第一关节点的位置信息和所述第二关节点的位置信息，确定用于表征所述目标用户肩宽的中间距离；
步骤A3、基于所述目标用户对应的所述中间距离，确定所述目标用户对应的所述距离阈值。
示例性的，第一关节点可以为图2中的左肩关节点9、第二关节点可以为图2中的颈部关节点3；或者，第一关节点可以为图2中的右肩关节点6、第二关节点可以为图2中的颈部关节点3；或者，第一关节点可以为图2中的右肩关节点6、第二关节点可以为图2中的左肩关节点9。
再可以基于第一关节点的位置信息和第二关节点的位置信息，确定用于表征目标用户肩宽的中间距离，比如，可以将第一关节点的位置信息指示的横坐标值与第二关节点的位置信息指示的横坐标值相减，确定中间距离。
最后基于目标用户对应的中间距离，确定目标用户对应的距离阈值。比如可以将确定的中间距离作为目标用户对应的距离阈值；或者，也可以将确定的中间距离进行缩小或放大，将缩小或放大后的中间距离作为目标用户对应的距离阈值。
采用上述方法，可以基于确定的第一关节点的位置信息和第二关节点的位置信息，确定表征目标用户肩宽的中间距离，进而可以基于目标用户对应的中间距离，确定目标用户的距离阈值，不同的用户对应不同的距离阈值，通过为每个目标用户确定对应的距离阈值，可以较准确的判断其他用户是否会对目标用户造成干扰。
在步骤三中，若目标用户不存在干扰用户时，可以将目标用户的默认手势类别，作为目标用户的预设手势类别，无需对默认手势类别进行调整。在步骤四中，若确定目标用户存在干扰用户时，可以对目标用户对应的默认手势类别进行调整，将调整后的默认手势类别作为目标用户的预设手势类别。
比如，可以增加默认手势类别的种类，比如，调整前的默认手势类别为单指转圈的动态手势，调整后的默认手势类别可以包括：单指转圈的手势类别、和拳头转圈的手势类别等。
再比如，可以增加用于控制目标设备的至少一个功能的手势类别的种类，比如，增加前的控制目标设备的音量的第一目标手势类别为竖食指和中指的手势类别，增加后的控制目标设备的音量的第一目标手势类别可以包括：竖食指和中指的手势类别、手掌的手势类别、竖三根手指的手势类别等。
或者，还可以增加截止手势类别的种类，比如，增加前的截止手势类别的种类为竖拇指的手势类别；增加后的截止手势类别的种类可以为竖拇指的手势类别、竖食指的手势类别、和竖尾指的手势类别等。
再比如，还可以将手势类别的移动检测调整为手部检测框的移动检测，即调整前通过对手势类别的实时移动进行检测，基于手势类别的检测结果确定移动标识在目标设备上的显示位置。具体实施时，调整前：可以先对目标手部进行检测，确定该目标手部对应的当前手势类别，在该当前手势类别与设置的移动手势类别匹配时，则确定目标手部的手部位置，并基于目标手部的手部位置，确定移动标识在目标设备上的显示位置；在该当前手势类别与设置的移动手势类别不匹配时，则不进行确定目标手部的手部位置的步骤，即此时无法对显示设备上移动标识的移动进行控制，其中，目标手部的手部位置可以为目标手部对应的手部检测框的中心点的位置，或者，也可以为目标手部上设置的手部中心点的位置。
调整后：可以对手部检测框的实时移动进行检测，基于手部检测框的检测结果确定移动标识在目标设备上的显示位置。具体实施时，可以确定目标手部的手部检测框的位置信息，基于该手部检测框的位置信息(比如，可以为手部检测框的中心点的位置信息)，确定移动标识在目标设备上的显示位置，此时无需对目标手部的当前手势类别进行检测。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于相同的构思，本公开实施例还提供了一种设备控制装置，参见图3所示，为本公开实施例提供的一种设备控制装置的架构示意图，包括第一确定模块301、检测模块302、控制模块303，具体的：
第一确定模块301，用于对获取的第一待检测图像进行手部检测，确定与预设手势类别匹配的目标手部的手部检测信息；
检测模块302，用于基于所述目标手部的手部检测信息，对获取的第二待检测图像中与所述目标手部相连的目标肢体进行肢体跟踪检测，并确定所述目标手部在所述第二待检测图像中的手势识别结果；其中，所述第二待检测图像为在所述第一待检测图像之后获取到的图像；
控制模块303，用于基于所述手势识别结果，控制目标设备。
一种可能的实施方式中，在所述基于所述手势识别结果，控制目标设备之前，还包括：第二确定模块304，用于：
检测所述目标手部是否满足截止条件；
在检测到所述目标手部满足截止条件的情况下，在所述第二待检测图像中，重新确定与所述预设手势类别匹配的目标手部的手部检测信息。
一种可能的实施方式中，所述目标手部满足所述截止条件包括以下一种或多种：
在所述第二待检测图像中，所述目标手部的手势识别结果指示的手势类别为无效手势类别，所述无效手势类别包括如下至少一项：所述手势类别与所述预设手势类别不匹配，以及所述目标手部未发生移动；
在所述第二待检测图像包括多帧的情况下，所述目标手部的手势识别结果指示的手势类别为所述无效手势类别的帧数大于或等于数量阈值，和/或持续时长大于或等于时长阈值；
在所述第二待检测图像中，所述目标手部的手势识别结果指示的手势类别为有效手势类别，且所述有效手势类别用于指示重新确定目标手部和/或手部检测信息。
一种可能的实施方式中，所述第一确定模块301，在对获取的第一待检测图像进行手部检测时，用于：
对获取的所述第一待检测图像进行肢体检测，得到肢体检测信息；
基于所述肢体检测信息，对所述第一待检测图像进行手部检测，确定与所述肢体关联的所述目标手部的所述手部检测信息。
一种可能的实施方式中，所述第一确定模块301，在对获取的第一待检测图像进行手部检测时，用于：
对获取的所述第一待检测图像分别进行肢体检测和手部检测，得到肢体检测信息和所述手部检测信息；
基于所述肢体检测信息和所述手部检测信息，确定所述手部与所述肢体之间的距离；
基于所述距离，确定与所述肢体关联的所述目标手部的所述手部检测信息。
一种可能的实施方式中，所述控制模块303，在控制目标设备时，包括如下至少一种：
调整所述目标设备的音量；
调整所述目标设备的工作模式，所述工作模式包括关闭或开启所述目标设备的至少部分功能；
在所述目标设备的显示界面中显示移动标识，或调整所述显示界面中所述移动标识的显示位置；
所述显示界面中至少部分显示内容的缩小或放大；
所述显示界面的滑动或跳转。
一种可能的实施方式中，在所述第一待检测图像中包括多个用户的情况下，在基于所述目标手部的手部检测信息，对获取的第二待检测图像中与所述目标手部相连的目标肢体进行肢体跟踪检测之前，还包括：调整模块305，用于：
确定所述第一待检测图像中每个用户的目标关节点位置信息；
将所述第一待检测图像中的每个用户作为目标用户，基于所述目标用户的所述目标关节点位置信息，确定所述目标用户的目标关节点与多个用户中除所述目标用户之外的其他用户的目标关节点之间的水平距离；
在基于所述水平距离，确定所述其他用户中不存在干扰用户的情况下，则将所述目标用户的默认手势类别，作为所述目标用户的所述预设手势类别，所述干扰用户包括所述水平距离小于所述目标用户对应的距离阈值的用户。
一种可能的实施方式中，所述调整模块305，还用于：
在基于所述水平距离，确定所述其他用户中存在干扰用户的情况下，则对所述目标用户的默认手势类别进行调整，并将调整后的默认手势类别作为所述目标用户的所述预设手势类别，调整所述默认手势类别包括以下至少一种操作：增加所述默认手势类别的种类、增加用于控制所述目标设备的至少一个功能的手势类别的种类，以及将手势类别的移动检测调整为手部检测框的移动检测。
一种可能的实施方式中，所述装置还包括距离阈值确定模块，所述距离阈值确定模块306，用于根据下述步骤确定所述目标用户对应的所述距离阈值：
确定所述目标用户对应的第一关节点的位置信息和第二关节点的位置信息；
基于所述第一关节点的位置信息和所述第二关节点的位置信息，确定用于表征所述目标用户肩宽的中间距离；
基于所述目标用户对应的所述中间距离，确定所述目标用户对应的所述距离阈值。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模板可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
基于同一技术构思，本公开实施例还提供了一种电子设备。参照图4所示，为本公开实施例提供的电子设备的结构示意图，包括处理器401、存储器402、和总线403。其中，存储器402用于存储执行指令，包括内存4021和外部存储器4022；这里的内存4021也称内存储器，用于暂时存放处理器401中的运算数据，以及与硬盘等外部存储器4022交换的数据，处理器401通过内存4021与外部存储器4022进行数据交换，当电子设备400运行时，处理器401与存储器402之间通过总线403通信，使得处理器401在执行以下指令：
对获取的第一待检测图像进行手部检测，确定与预设手势类别匹配的目标手部的手部检测信息；
基于所述目标手部的手部检测信息，对获取的第二待检测图像中与所述目标手部相连的目标肢体进行肢体跟踪检测，并确定所述目标手部在所述第二待检测图像中的手势识别结果；其中，所述第二待检测图像为在所述第一待检测图像之后获取到的图像；
基于所述手势识别结果，控制目标设备。
此外，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的设备控制方法的步骤。
本公开实施例所提供的设备控制方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的设备控制方法的步骤，具体可参见上述方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。
Claims (12)
1.一种设备控制方法，其特征在于，包括：
对获取的第一待检测图像进行手部检测，确定与预设手势类别匹配的目标手部的手部检测信息；
基于所述目标手部的手部检测信息，对获取的第二待检测图像中与所述目标手部相连的目标肢体进行肢体跟踪检测，并确定所述目标手部在所述第二待检测图像中的手势识别结果；其中，所述第二待检测图像为在所述第一待检测图像之后获取到的图像；
基于所述手势识别结果，控制目标设备；
在所述第一待检测图像中包括多个用户的情况下，在所述基于所述目标手部的手部检测信息，对获取的第二待检测图像中与所述目标手部相连的目标肢体进行肢体跟踪检测之前，还包括：
确定所述第一待检测图像中每个用户的目标关节点位置信息；将所述第一待检测图像中的每个用户作为目标用户，基于所述目标用户的所述目标关节点位置信息，确定所述目标用户的目标关节点与多个用户中除所述目标用户之外的其他用户的目标关节点之间的水平距离；在基于所述水平距离，确定所述其他用户中不存在干扰用户的情况下，则将所述目标用户的默认手势类别，作为所述目标用户的所述预设手势类别。
2.根据权利要求1所述的方法，其特征在于，在所述基于所述手势识别结果，控制目标设备之前，还包括：
检测所述目标手部是否满足截止条件；
在检测到所述目标手部满足截止条件的情况下，在所述第二待检测图像中，重新确定与所述预设手势类别匹配的目标手部的手部检测信息。
3.根据权利要求2所述的方法，其特征在于，所述目标手部满足所述截止条件包括以下一种或多种：
在所述第二待检测图像中，所述目标手部的手势识别结果指示的手势类别为无效手势类别，所述无效手势类别包括如下至少一项：所述手势类别与所述预设手势类别不匹配，以及所述目标手部未发生移动；
在所述第二待检测图像包括多帧的情况下，所述目标手部的手势识别结果指示的手势类别为所述无效手势类别的帧数大于或等于数量阈值，和/或持续时长大于或等于时长阈值；
在所述第二待检测图像中，所述目标手部的手势识别结果指示的手势类别为有效手势类别，且所述有效手势类别用于指示重新确定目标手部和/或手部检测信息。
4.根据权利要求1～3任一所述的方法，其特征在于，所述对获取的第一待检测图像进行手部检测，包括：
对获取的所述第一待检测图像进行肢体检测，得到肢体检测信息；
基于所述肢体检测信息，对所述第一待检测图像进行手部检测，确定与所述肢体关联的所述目标手部的所述手部检测信息。
5.根据权利要求1～3任一所述的方法，其特征在于，所述对获取的第一待检测图像进行手部检测，包括：
对获取的所述第一待检测图像分别进行肢体检测和手部检测，得到肢体检测信息和所述手部检测信息；
基于所述肢体检测信息和所述手部检测信息，确定所述手部与所述肢体之间的距离；
基于所述距离，确定与所述肢体关联的所述目标手部的所述手部检测信息。
6.根据权利要求1～3任一所述的方法，其特征在于，所述控制目标设备，包括如下至少一种：
调整所述目标设备的音量；
调整所述目标设备的工作模式，所述工作模式包括关闭或开启所述目标设备的至少部分功能；
在所述目标设备的显示界面中显示移动标识，或调整所述显示界面中所述移动标识的显示位置；
所述显示界面中至少部分显示内容的缩小或放大；
所述显示界面的滑动或跳转。
7.根据权利要求1～3任一所述的方法，其特征在于，所述干扰用户包括所述水平距离小于所述目标用户对应的距离阈值的用户。
8.根据权利要求1～3任一所述的方法，其特征在于，还包括：
在基于所述水平距离，确定所述其他用户中存在干扰用户的情况下，则对所述目标用户的默认手势类别进行调整，并将调整后的默认手势类别作为所述目标用户的所述预设手势类别，调整所述默认手势类别包括以下至少一种操作：增加所述默认手势类别的种类、增加用于控制所述目标设备的至少一个功能的手势类别的种类，以及将手势类别的移动检测调整为手部检测框的移动检测。
9.根据权利要求7所述的方法，其特征在于，根据下述步骤确定所述目标用户对应的所述距离阈值：
确定所述目标用户的第一关节点的位置信息和第二关节点的位置信息；
基于所述第一关节点的位置信息和所述第二关节点的位置信息，确定用于表征所述目标用户肩宽的中间距离；
基于所述中间距离，确定所述目标用户对应的所述距离阈值。
10.一种设备控制装置，其特征在于，包括：
第一确定模块，用于对获取的第一待检测图像进行手部检测，确定与预设手势类别匹配的目标手部的手部检测信息；
检测模块，用于基于所述目标手部的手部检测信息，对获取的第二待检测图像中与所述目标手部相连的目标肢体进行肢体跟踪检测，并确定所述目标手部在所述第二待检测图像中的手势识别结果；其中，所述第二待检测图像为在所述第一待检测图像之后获取到的图像；
控制模块，用于基于所述手势识别结果，控制目标设备；
在所述基于所述目标手部的手部检测信息，对获取的第二待检测图像中与所述目标手部相连的目标肢体进行肢体跟踪检测之前，还包括：调整模块，用于在所述第一待检测图像中包括多个用户的情况下，确定所述第一待检测图像中每个用户的目标关节点位置信息；将所述第一待检测图像中的每个用户作为目标用户，基于所述目标用户的所述目标关节点位置信息，确定所述目标用户的目标关节点与多个用户中除所述目标用户之外的其他用户的目标关节点之间的水平距离；在基于所述水平距离，确定所述其他用户中不存在干扰用户的情况下，则将所述目标用户的默认手势类别，作为所述目标用户的所述预设手势类别。
11.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至9任一所述的设备控制方法的步骤。
12.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至9任一所述的设备控制方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110301465.0A CN113031464B (zh) | 2021-03-22 | 2021-03-22 | 设备控制方法、装置、电子设备及存储介质 |
| PCT/CN2021/102478 WO2022198819A1 (zh) | 2021-03-22 | 2021-06-25 | 基于图像识别的设备控制方法及装置、电子设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110301465.0A CN113031464B (zh) | 2021-03-22 | 2021-03-22 | 设备控制方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113031464A CN113031464A (zh) | 2021-06-25 |
| CN113031464B true CN113031464B (zh) | 2022-11-22 |
Family
ID=76472174
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110301465.0A Active CN113031464B (zh) | 2021-03-22 | 2021-03-22 | 设备控制方法、装置、电子设备及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN113031464B (zh) |
| WO (1) | WO2022198819A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113791548A (zh) * | 2021-09-26 | 2021-12-14 | 北京市商汤科技开发有限公司 | 设备控制方法、装置、电子设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA3051912A1 (en) * | 2012-02-24 | 2013-08-29 | Thomas J. Moscarillo | Gesture recognition devices and methods |
| WO2015037310A1 (ja) * | 2013-09-13 | 2015-03-19 | ソニー株式会社 | 情報処理装置、および情報処理方法 |
| CN106843469A (zh) * | 2016-12-27 | 2017-06-13 | 广东小天才科技有限公司 | 一种控制穿戴设备报时的方法及穿戴设备 |
| CN107832736A (zh) * | 2017-11-24 | 2018-03-23 | 南京华捷艾米软件科技有限公司 | 实时人体动作的识别方法和实时人体动作的识别装置 |
| CN110213493A (zh) * | 2019-06-28 | 2019-09-06 | Oppo广东移动通信有限公司 | 设备成像方法、装置、存储介质及电子设备 |
| CN111273777A (zh) * | 2020-02-11 | 2020-06-12 | Oppo广东移动通信有限公司 | 虚拟内容的控制方法、装置、电子设备及存储介质 |
| CN111736693A (zh) * | 2020-06-09 | 2020-10-02 | 海尔优家智能科技（北京）有限公司 | 智能设备的手势控制方法及装置 |
Family Cites Families (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8166421B2 (en) * | 2008-01-14 | 2012-04-24 | Primesense Ltd. | Three-dimensional user interface |
| GB201305812D0 (en) * | 2013-03-28 | 2013-05-15 | Univ Warwick | Gesture tracking and classification |
| CN104123007B (zh) * | 2014-07-29 | 2017-01-11 | 电子科技大学 | 一种多维加权的3d动态手势识别方法 |
| CN104536562B (zh) * | 2014-12-11 | 2017-12-15 | 北京工业大学 | 一种基于体感技术及云计算的文件传输方法 |
| EP3139247A1 (en) * | 2015-09-03 | 2017-03-08 | Siemens Aktiengesellschaft | Method of and system for performing buyoff operations in a computer-managed production facility |
| JP2017097577A (ja) * | 2015-11-24 | 2017-06-01 | キヤノン株式会社 | 姿勢推定方法及び姿勢推定装置 |
| CN105912974A (zh) * | 2015-12-18 | 2016-08-31 | 乐视致新电子科技（天津）有限公司 | 一种手势识别方法及装置 |
| CN106296741A (zh) * | 2016-08-15 | 2017-01-04 | 常熟理工学院 | 纳米视觉图像中细胞高速运动特征标注方法 |
| CN107358149B (zh) * | 2017-05-27 | 2020-09-22 | 深圳市深网视界科技有限公司 | 一种人体姿态检测方法和装置 |
| CN107765573A (zh) * | 2017-10-19 | 2018-03-06 | 美的集团股份有限公司 | 一种家用电器的控制方法及家用电器、存储介质 |
| CN108229324B (zh) * | 2017-11-30 | 2021-01-26 | 北京市商汤科技开发有限公司 | 手势追踪方法和装置、电子设备、计算机存储介质 |
| CN109918975B (zh) * | 2017-12-13 | 2022-10-21 | 腾讯科技（深圳）有限公司 | 一种增强现实的处理方法、对象识别的方法及终端 |
| CN108629283B (zh) * | 2018-04-02 | 2022-04-08 | 北京小米移动软件有限公司 | 人脸跟踪方法、装置、设备及存储介质 |
| CN108846853A (zh) * | 2018-04-26 | 2018-11-20 | 武汉幻视智能科技有限公司 | 一种基于目标跟踪和姿态检测的教学行为分析方法及装置 |
| WO2019216593A1 (en) * | 2018-05-11 | 2019-11-14 | Samsung Electronics Co., Ltd. | Method and apparatus for pose processing |
| CN109325408A (zh) * | 2018-08-14 | 2019-02-12 | 莆田学院 | 一种手势判断方法及存储介质 |
| CN111079481B (zh) * | 2018-10-22 | 2023-09-26 | 西安邮电大学 | 一种基于二维骨架信息的攻击性行为识别方法 |
| US20200142495A1 (en) * | 2018-11-05 | 2020-05-07 | Eyesight Mobile Technologies Ltd. | Gesture recognition control device |
| CN109710071B (zh) * | 2018-12-26 | 2022-05-17 | 青岛小鸟看看科技有限公司 | 一种屏幕控制方法和装置 |
| CN109902588B (zh) * | 2019-01-29 | 2021-08-20 | 北京奇艺世纪科技有限公司 | 一种手势识别方法、装置及计算机可读存储介质 |
| CN109977906B (zh) * | 2019-04-04 | 2021-06-01 | 睿魔智能科技（深圳）有限公司 | 手势识别方法及系统、计算机设备及存储介质 |
| CN110322760B (zh) * | 2019-07-08 | 2020-11-03 | 北京达佳互联信息技术有限公司 | 语音数据生成方法、装置、终端及存储介质 |
| CN110674712A (zh) * | 2019-09-11 | 2020-01-10 | 苏宁云计算有限公司 | 交互行为识别方法、装置、计算机设备和存储介质 |
| CN110647834B (zh) * | 2019-09-18 | 2021-06-25 | 北京市商汤科技开发有限公司 | 人脸和人手关联检测方法及装置、电子设备和存储介质 |
| CN112166435A (zh) * | 2019-12-23 | 2021-01-01 | 商汤国际私人有限公司 | 目标跟踪方法、装置、电子设备及存储介质 |
| CN111103891B (zh) * | 2019-12-30 | 2021-03-16 | 西安交通大学 | 一种基于骨骼点检测的无人机快速姿势控制系统与方法 |
| CN111580652B (zh) * | 2020-05-06 | 2024-01-16 | Oppo广东移动通信有限公司 | 视频播放的控制方法、装置、增强现实设备及存储介质 |
| CN112307896A (zh) * | 2020-09-27 | 2021-02-02 | 青岛邃智信息科技有限公司 | 一种社区监控场景下电梯猥亵行为异常检测方法 |
| CN112287869A (zh) * | 2020-11-10 | 2021-01-29 | 上海依图网络科技有限公司 | 一种图像数据检测方法及装置 |
| CN112379773B (zh) * | 2020-11-12 | 2024-05-24 | 深圳市洲明科技股份有限公司 | 多人三维动作捕捉方法、存储介质及电子设备 |
| CN112270302A (zh) * | 2020-11-17 | 2021-01-26 | 支付宝(杭州)信息技术有限公司 | 肢体控制方法、装置和电子设备 |
| CN112363626B (zh) * | 2020-11-25 | 2021-10-01 | 广东魅视科技股份有限公司 | 基于人体姿态和手势姿态视觉识别的大屏幕交互控制方法 |
| CN112328090B (zh) * | 2020-11-27 | 2023-01-31 | 北京市商汤科技开发有限公司 | 手势识别方法及装置、电子设备和存储介质 |
| CN112506340B (zh) * | 2020-11-30 | 2023-07-25 | 北京市商汤科技开发有限公司 | 设备控制方法、装置、电子设备及存储介质 |
| CN112506342B (zh) * | 2020-12-04 | 2022-01-28 | 郑州中业科技股份有限公司 | 基于动态手势识别的人机交互方法及系统 |
-
2021
- 2021-03-22 CN CN202110301465.0A patent/CN113031464B/zh active Active
- 2021-06-25 WO PCT/CN2021/102478 patent/WO2022198819A1/zh active Application Filing
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA3051912A1 (en) * | 2012-02-24 | 2013-08-29 | Thomas J. Moscarillo | Gesture recognition devices and methods |
| WO2015037310A1 (ja) * | 2013-09-13 | 2015-03-19 | ソニー株式会社 | 情報処理装置、および情報処理方法 |
| CN106843469A (zh) * | 2016-12-27 | 2017-06-13 | 广东小天才科技有限公司 | 一种控制穿戴设备报时的方法及穿戴设备 |
| CN107832736A (zh) * | 2017-11-24 | 2018-03-23 | 南京华捷艾米软件科技有限公司 | 实时人体动作的识别方法和实时人体动作的识别装置 |
| CN110213493A (zh) * | 2019-06-28 | 2019-09-06 | Oppo广东移动通信有限公司 | 设备成像方法、装置、存储介质及电子设备 |
| CN111273777A (zh) * | 2020-02-11 | 2020-06-12 | Oppo广东移动通信有限公司 | 虚拟内容的控制方法、装置、电子设备及存储介质 |
| CN111736693A (zh) * | 2020-06-09 | 2020-10-02 | 海尔优家智能科技（北京）有限公司 | 智能设备的手势控制方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 商汤科技：面向增强现实的视觉定位技术的创新突破与应用;章国锋;《杭州科技》;20191215;25-28 * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022198819A1 (zh) | 2022-09-29 |
| CN113031464A (zh) | 2021-06-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11983326B2 (en) | Hand gesture input for wearable system | |
| US11567573B2 (en) | Neuromuscular text entry, writing and drawing in augmented reality systems | |
| Rautaray et al. | Real time multiple hand gesture recognition system for human computer interaction | |
| CN112926423B (zh) | 捏合手势检测识别方法、装置及系统 | |
| CN104281260A (zh) | 操作虚拟世界里的电脑和手机的方法、装置以及使用其的眼镜 | |
| CN112987933A (zh) | 设备控制方法、装置、电子设备及存储介质 | |
| US20120212413A1 (en) | Method and System for Touch-Free Control of Devices | |
| EP3951564A1 (en) | Methods and apparatus for simultaneous detection of discrete and continuous gestures | |
| EP4307096A1 (en) | Key function execution method, apparatus and device, and storage medium | |
| Rautaray et al. | Design of gesture recognition system for dynamic user interface | |
| Vivek Veeriah et al. | Robust hand gesture recognition algorithm for simple mouse control | |
| CN113031464B (zh) | 设备控制方法、装置、电子设备及存储介质 | |
| Halarnkar et al. | Gesture recognition technology: a review | |
| Ghodichor et al. | Virtual mouse using hand gesture and color detection | |
| US11782548B1 (en) | Speed adapted touch detection | |
| CN115061577A (zh) | 手部投影交互方法、系统及存储介质 | |
| CN115686187A (zh) | 手势识别方法、装置、电子设备及存储介质 | |
| CN112306242A (zh) | 一种基于书空手势的交互方法和系统 | |
| Vasanthagokul et al. | Virtual Mouse to Enhance User Experience and Increase Accessibility | |
| Islam et al. | Developing a novel hands-free interaction technique based on nose and teeth movements for using mobile devices | |
| Chen | Universal Motion-based control and motion recognition | |
| Yang et al. | A HCI interface based on hand gestures | |
| Dave et al. | Project MUDRA: Personalization of Computers using Natural Interface | |
| WO2020170851A1 (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
| Bose et al. | Gesture based painting system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40046435 Country of ref document: HK |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |