CN112506340B - 设备控制方法、装置、电子设备及存储介质 - Google Patents

设备控制方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112506340B
CN112506340B CN202011379307.9A CN202011379307A CN112506340B CN 112506340 B CN112506340 B CN 112506340B CN 202011379307 A CN202011379307 A CN 202011379307A CN 112506340 B CN112506340 B CN 112506340B
Authority
CN
China
Prior art keywords
target
position information
display
hand detection
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011379307.9A
Other languages
English (en)
Other versions
CN112506340A (zh
Inventor
孔祥晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN202011379307.9A priority Critical patent/CN112506340B/zh
Publication of CN112506340A publication Critical patent/CN112506340A/zh
Application granted granted Critical
Publication of CN112506340B publication Critical patent/CN112506340B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开提供了一种设备控制方法、装置、电子设备及存储介质，该方法包括：获取目标区域的待检测图像；对所述待检测图像进行检测，确定所述待检测图像中包括的目标用户的手部检测框的位置信息；基于所述手部检测框的位置信息，确定移动标识在显示设备中的目标显示位置；控制所述显示设备在所述目标显示位置处展示所述移动标识。

Description

设备控制方法、装置、电子设备及存储介质
技术领域
本公开涉及人机交互技术领域，具体而言，涉及一种设备控制方法、装置、电子设备及存储介质。
背景技术
随着技术的发展，可以通过视觉输入的方式，将信息输入至设备中，实现对设备的控制。具体的，基于视觉的输入是通过摄像头捕捉手部运动，将手部动作转换成对应的命令，实现手势输入，这种方法可以让人摆脱人机交互时人与设备接触的限制。
一般的，可以使用人工智能(Artificial Intelligence，AI)的方法对手势进行识别，实现对设备的控制。因此，对手势的快速、准确的追踪已成为人机交互的重点。
发明内容
有鉴于此，本公开至少提供一种设备控制方法、装置、电子设备及存储介质。
第一方面，本公开提供了一种设备控制方法，包括：
获取目标区域的待检测图像；
对所述待检测图像进行检测，确定所述待检测图像中包括的目标用户的目标关节点位置信息、和手部检测框的位置信息；
基于所述手部检测框的位置信息、和目标关节点位置信息，确定移动标识在显示设备中的目标显示位置；
控制所述显示设备在所述目标显示位置处展示所述移动标识。
采用上述方法，基于确定的待检测图像中包括的目标用户的手部检测框的位置信息，确定移动标识在显示设备中的目标显示位置，通过对手部检测框进行实时追踪，实现用户对显示设备中移动标识的控制，即实现移动标识的目标显示位置的动态展示，避免了基于手部的手势对移动标识进行追踪时，因手部手势的模糊而造成的移动标识追踪的终止或是误识别，提高了移动标识追踪的准确性。相比较于基于手部的手势实现移动标识的追踪、展示的情况而言，采用上述方法可以在追踪移动标识的过程中省去对手部的手势进行检测的过程，缩短了显示设备响应用户操作所耗费的整体时长，提高了移动标识追踪的效率，提升了显示设备的控制效果。
一种可能的实施方式中，在所述显示设备上不存在所述移动标识的情况下，所述基于所述手部检测框的位置信息，确定移动标识在显示设备中的目标显示位置，包括：
基于所述手部检测框的位置信息、和所述待检测图像与所述显示设备的显示界面之间的比例关系，确定所述移动标识在所述显示设备中的目标显示位置。
在显示设备上不存在移动标识时，可以基于手部检测框的位置信息、和待检测图像与显示设备的现实界面之间的比例关系，确定移动标识在显示设备中的目标显示位置，目标显示位置的确定过程较为简便，确定效率较高。
一种可能的实施方式中，在所述显示设备上存在所述移动标识的情况下，所述基于所述手部检测框的位置信息，确定移动标识在显示设备中的目标显示位置，包括：
基于所述手部检测框的位置信息、和时序上位于所述待检测图像之前的相邻历史待检测图像对应的手部检测框的历史位置信息，确定所述手部检测框的移动轨迹；
基于所述手部检测框的移动轨迹、和所述相邻历史待检测图像对应的所述移动标识的历史显示位置，确定所述移动标识在显示设备中的目标显示位置。
上述方法中，在显示设备上存在移动标识时，先确定手部检测框的移动轨迹，再综合考虑相邻历史待检测图像对应的移动标识的历史显示位置、以及手部检测框的移动轨迹，较准确的确定移动标识在显示设备中的目标显示位置。
一种可能的实施方式中，在检测到所述目标用户的手部检测框的数量为两个的情况下，所述基于所述手部检测框的位置信息，确定移动标识在显示设备中的目标显示位置，包括：
从两个手部检测框中选择左手的手部检测框或者右手的手部检测框，基于选择的手部检测框的位置信息，确定所述移动标识在所述显示设备中的目标显示位置。
上述实施方式中，在检测到目标用户的手部检测框的数量为两个时，从两个手部检测框中选择左手的手部检测框或者右手的手部检测框，手部检测框的选择较为灵活，进而可以基于选择的手部检测框的位置信息，确定移动标识在显示设备中的目标显示位置，比如，目标用户的惯用手为右手时，可以基于选择的右手的手部检测框的位置信息，确定移动标识在显示设备中的目标显示位置。
一种可能的实施方式中，所述移动标识包括第一移动标识和第二移动标识，在检测到所述目标用户的手部检测框的数量为两个的情况下，所述方法还包括：
响应于分屏操作，控制所述显示设备将显示界面划分为左局部显示界面和右局部显示界面；
基于所述目标用户左手的手部检测框的位置信息，确定所述左局部显示界面的所述第一移动标识的第一目标显示位置；以及基于所述目标用户右手的手部检测框的位置信息，确定所述右局部显示界面的所述第二移动标识的第二目标显示位置。
上述实施方式中，在检测到目标用户的手部检测框的数量为两个时，响应于分屏操作，可以控制显示设备将显示界面划分为左局部显示界面和右局部显示界面，再基于目标用户左手的手部检测框的位置信息，确定左局部显示界面的第一移动标识的第一目标显示位置；以及基于目标用户右手的手部检测框的位置信息，确定右局部显示界面的第二移动标识的第二目标显示位置，实现了利用目标用户的左手和右手对显示设备的控制，提高了显示设备的控制效率。
一种可能的实施方式中，在控制所述显示设备在所述目标显示位置处展示所述移动标识之后，包括：
基于所述待检测图像，确定所述目标用户的手势类别；
基于所述手势类别、和设置的不同手势类别与操作功能的对应关系，确定所述目标用户在所述目标显示位置处触发的目标操作；
控制所述显示设备执行所述目标操作。
采用上述方法，通过基于待检测图像，确定目标用户的手势类别，根据确定的手势类别，较准确的确定目标用户在目标显示位置处触发的目标操作，进而可以控制显示设备较准确的执行目标操作。
一种可能的实施方式中，在控制所述显示设备在所述目标显示位置处展示所述移动标识之后，包括：
确定所述移动标识在所述目标显示位置处的停留时长；
基于所述停留时长、和设置的不同停留时长与操作功能的对应关系，确定所述目标用户在所述目标显示位置处触发的目标操作；
控制所述显示设备执行所述目标操作。
采用上述方法，通过确定移动标识在目标显示位置处的停留时长，根据该停留时长，确定目标用户在目标显示位置处触发的目标操作，无需对目标用户的手势进行识别，使得目标操作的确定过程较简单。
一种可能的实施方式中，在所述基于所述手部检测框的位置信息，确定移动标识在显示设备中的目标显示位置之前，所述方法还包括：
对所述待检测图像进行检测，确定所述待检测图像中包括的所述目标用户的目标关节点位置信息；
所述基于所述手部检测框的位置信息，确定移动标识在显示设备中的目标显示位置，包括：
基于所述手部检测框的位置信息、所述目标关节点位置信息、以及与所述目标用户对应的参考比例，确定所述移动标识在所述显示设备中的目标显示位置，其中，所述参考比例用于对手部检测框的位置与目标关节点位置之间的距离进行放大。
一种可能的实施方式中，所述基于所述手部检测框的位置信息、所述目标关节点位置信息、以及与所述目标用户对应的参考比例，确定所述移动标识在所述显示设备中的目标显示位置，包括：
基于所述手部检测框的位置信息、所述目标关节点位置信息、以及与所述目标用户对应的参考比例，确定所述移动标识在所述待检测图像对应的图像坐标系下的中间位置信息；
基于所述中间位置信息，确定所述移动标识在所述显示设备中的所述目标显示位置。
采用上述方法，可以先基于手部检测框的位置信息、目标关节点位置信息、和参考比例，较准确的确定移动标识在待检测图像对应的图像坐标系下的中间位置信息，进一步的，可以较准确的确定移动标识在显示设备中的目标显示位置。
一种可能的实施方式中，所述基于所述手部检测框的位置信息、所述目标关节点位置信息、以及与所述目标用户对应的参考比例，确定所述移动标识在所述待检测图像对应的图像坐标系下的中间位置信息，包括：
基于所述手部检测框的位置信息、和所述目标关节点位置信息，得到所述手部检测框与所述目标关节点之间的第一距离；
基于所述参考比例对所述第一距离进行放大，得到目标距离；
基于所述目标距离、和所述手部检测框的位置信息，确定所述移动标识在所述待检测图像对应的图像坐标系下的中间位置信息。
上述方法中，通过使用参考比例对手部检测框与目标关节点之间的第一距离进行放大，得到目标距离，通过对第一距离进行放大后，可以使得手部检测框的移动较为明显，进而基于目标距离和手部检测框的位置信息，可以较准确的确定移动标识对应的中间位置信息。
一种可能的实施方式中，根据下述步骤确定所述参考比例：
获取所述手部检测框与所述目标关节点之间的距离，以得到所述待检测图像中所述目标用户的手臂长度；
获取所述目标关节点与所述待检测图像各顶点之间的距离，以得到第二距离，所述第二距离为所述目标关节点与所述各顶点之间的距离中的最大距离；
将所述手臂长度与所述第二距离的比值，确定为所述参考比例。
上述方法中，通过确定待检测图像中目标用户的手臂长度、以及第二距离，将手臂长度和第二距离的比值，确定为参考比例，使得基于确定的参考比例对第一距离放大时，可以避免确定的目标距离大于第二距离，造成确定的中间位置信息超出了待检测图像的范围的情况发生。
一种可能的实施方式中，所述方法还包括：
响应于所述显示设备在所述目标显示位置处展示所述移动标识，获取所述目标区域的下一帧待检测图像；
响应于所述下一帧待检测图像中包括的所述目标用户的目标关节点位置信息与所述待检测图像中包括的所述目标用户的目标关节点位置信息之间的距离大于变化阈值的情况下，则对所述目标用户对应的所述参考比例进行更新，并使用更新后的所述参考比例，确定所述下一帧待检测图像对应的所述显示设备中所述移动标识的目标显示位置。
采用上述方法，通过确定下一帧待检测图像中包括的目标用户的目标关节点位置信息与待检测图像中包括的目标用户的目标关节点位置信息之间的距离，在确定的该距离大于变化阈值时，确定目标用户在待检测图像中的位置与目标用户在下一帧待检测图像中的位置之间变化较大，待检测图像对应的参考比例不适用于下一帧待检测图像，则对目标用户对应的参考比例进行更新，并使用更新后的参考比例，确定下一帧待检测图像对应的显示设备中所述移动标识的目标显示位置，较准确的显示移动标识。
以下装置、电子设备等的效果描述参见上述方法的说明，这里不再赘述。
第二方面，本公开提供了一种设备控制装置，包括：
获取模块，用于获取目标区域的待检测图像；
检测模块，用于对所述待检测图像进行检测，确定所述待检测图像中包括的目标用户的手部检测框的位置信息；
确定模块，用于基于所述手部检测框的位置信息，确定移动标识在显示设备中的目标显示位置；
控制模块，用于控制所述显示设备在所述目标显示位置处展示所述移动标识。
一种可能的实施方式中，在所述显示设备上不存在所述移动标识的情况下，所述确定模块，在基于所述手部检测框的位置信息，确定移动标识在显示设备中的目标显示位置时，用于：
基于所述手部检测框的位置信息、和所述待检测图像与所述显示设备的显示界面之间的比例关系，确定所述移动标识在所述显示设备中的目标显示位置。
一种可能的实施方式中，在所述显示设备上存在所述移动标识的情况下，所述确定模块，在基于所述手部检测框的位置信息，确定移动标识在显示设备中的目标显示位置时，用于：
基于所述手部检测框的位置信息、和时序上位于所述待检测图像之前的相邻历史待检测图像对应的手部检测框的历史位置信息，确定所述手部检测框的移动轨迹；
基于所述手部检测框的移动轨迹、和所述相邻历史待检测图像对应的所述移动标识的历史显示位置，确定所述移动标识在显示设备中的目标显示位置。
一种可能的实施方式中，在检测到所述目标用户的手部检测框的数量为两个的情况下，所述确定模块，在基于所述手部检测框的位置信息，确定移动标识在显示设备中的目标显示位置时，用于：
从两个手部检测框中选择左手的手部检测框或者右手的手部检测框，基于选择的手部检测框的位置信息，确定所述移动标识在所述显示设备中的目标显示位置。
一种可能的实施方式中，所述移动标识包括第一移动标识和第二移动标识，在检测到所述目标用户的手部检测框的数量为两个的情况下，所述装置还包括：划分模块，用于：
响应于分屏操作，控制所述显示设备将显示界面划分为左局部显示界面和右局部显示界面；
基于所述目标用户左手的手部检测框的位置信息，确定所述左局部显示界面的所述第一移动标识的第一目标显示位置；以及基于所述目标用户右手的手部检测框的位置信息，确定所述右局部显示界面的所述第二移动标识的第二目标显示位置。
一种可能的实施方式中，在控制所述显示设备在所述目标显示位置处展示所述移动标识之后，包括：第一展示模块，用于：
基于所述待检测图像，确定所述目标用户的手势类别；
基于所述手势类别、和设置的不同手势类别与操作功能的对应关系，确定所述目标用户在所述目标显示位置处触发的目标操作；
控制所述显示设备执行所述目标操作。
一种可能的实施方式中，在控制所述显示设备在所述目标显示位置处展示所述移动标识之后，包括：第二展示模块，用于：
确定所述移动标识在所述目标显示位置处的停留时长；
基于所述停留时长、和设置的不同停留时长与操作功能的对应关系，确定所述目标用户在所述目标显示位置处触发的目标操作；
控制所述显示设备执行所述目标操作。
一种可能的实施方式中，在所述基于所述手部检测框的位置信息，确定移动标识在显示设备中的目标显示位置之前，所述装置还包括：
关节点确定模块，用于对所述待检测图像进行检测，确定所述待检测图像中包括的所述目标用户的目标关节点位置信息；
所述确定模块，在基于所述手部检测框的位置信息，确定移动标识在显示设备中的目标显示位置时，用于：
基于所述手部检测框的位置信息、所述目标关节点位置信息、以及与所述目标用户对应的参考比例，确定所述移动标识在所述显示设备中的目标显示位置，其中，所述参考比例用于对手部检测框的位置与目标关节点位置之间的距离进行放大。
一种可能的实施方式中，所述确定模块，在基于所述手部检测框的位置信息、所述目标关节点位置信息、以及与所述目标用户对应的参考比例，确定所述移动标识在所述显示设备中的目标显示位置时，用于：
基于所述手部检测框的位置信息、所述目标关节点位置信息、以及与所述目标用户对应的参考比例，确定所述移动标识在所述待检测图像对应的图像坐标系下的中间位置信息；
基于所述中间位置信息，确定所述移动标识在所述显示设备中的所述目标显示位置。
一种可能的实施方式中，所述确定模块，在基于所述手部检测框的位置信息、所述目标关节点位置信息、以及与所述目标用户对应的参考比例，确定所述移动标识在所述待检测图像对应的图像坐标系下的中间位置信息时，用于：
基于所述手部检测框的位置信息、和所述目标关节点位置信息，得到所述手部检测框与所述目标关节点之间的第一距离；
基于所述参考比例对所述第一距离进行放大，得到目标距离；
基于所述目标距离、和所述手部检测框的位置信息，确定所述移动标识在所述待检测图像对应的图像坐标系下的中间位置信息。
一种可能的实施方式中，所述确定模块，用于根据下述步骤确定所述参考比例：
获取所述手部检测框与所述目标关节点之间的距离，以得到所述待检测图像中所述目标用户的手臂长度；
获取所述目标关节点与所述待检测图像各顶点之间的距离，以得到第二距离，所述第二距离为所述目标关节点与所述各顶点之间的距离中的最大距离；
将所述手臂长度与所述第二距离的比值，确定为所述参考比例。
一种可能的实施方式中，所述装置还包括：参考比例确定模块，用于：
响应于所述显示设备在所述目标显示位置处展示所述移动标识，获取所述目标区域的下一帧待检测图像；
响应于所述下一帧待检测图像中包括的所述目标用户的目标关节点位置信息与所述待检测图像中包括的所述目标用户的目标关节点位置信息之间的距离大于变化阈值的情况下，则对所述目标用户对应的所述参考比例进行更新，并使用更新后的所述参考比例，确定所述下一帧待检测图像对应的所述显示设备中所述移动标识的目标显示位置。
第三方面，本公开提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述第一方面或任一实施方式所述的设备控制方法的步骤。
第四方面，本公开提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述第一方面或任一实施方式所述的设备控制方法的步骤。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种设备控制方法的流程示意图；
图2示出了本公开实施例所提供的一种设备控制方法中，目标用户的半身肢体关键点位置信息和手部检测框位置信息的示意图；
图3示出了本公开实施例所提供的一种设备控制装置的架构示意图；
图4示出了本公开实施例所提供的一种电子设备的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
一般的，可以使用人工智能(Artificial Intelligence，AI)的方法对手势进行识别，实现对设备的控制。因此，对手势的快速、准确的追踪已成为人机交互的重点。为了提高动态手势的检测准确度和检测效率，保证对显示设备的实时控制，本公开实施例提供了一种设备控制方法。
针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。
下面将结合本公开中附图，对本公开中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本公开实施例进行理解，首先对本公开实施例所公开的一种设备控制方法进行详细介绍。本公开实施例所提供的设备控制方法的执行主体一般为具有一定计算能力的计算机设备，该计算机设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该设备控制方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
参见图1所示，为本公开实施例所提供的设备控制方法的流程示意图，该方法包括S101-S104，其中：
S101，获取目标区域的待检测图像。
S102，对待检测图像进行检测，确定待检测图像中包括的目标用户的手部检测框的位置信息。
S103，基于手部检测框的位置信息，确定移动标识在显示设备中的目标显示位置。
S104，控制显示设备在目标显示位置处展示移动标识。
上述方法中，基于确定的待检测图像中包括的目标用户的手部检测框的位置信息，确定移动标识在显示设备中的目标显示位置，通过对手部检测框进行实时追踪，实现用户对显示设备中移动标识的控制，即实现移动标识的目标显示位置的动态展示，避免了基于手部的手势对移动标识进行追踪时，因手部手势的模糊而造成的移动标识追踪的终止或是误识别，提高了移动标识追踪的准确性。相比较于基于手部的手势实现移动标识的追踪、展示的情况而言，采用上述方法可以在追踪移动标识的过程中省去对手部的手势进行检测的过程，缩短了显示设备响应用户操作所耗费的整体时长，提高了移动标识追踪的效率，提升了显示设备的控制效果。
下述对S101-S104进行具体说明。
针对S101以及S102：
这里，目标区域可以为能够观看到显示设备的显示界面的任一区域，比如，可以将正对显示设备的区域设置为目标区域。具体实施时，可以在显示设备附近设置摄像设备，摄像设备可以实时采集目标区域的场景图像，该场景图像即为待检测图像，进而可以从摄像设备内获取目标区域的待检测图像。其中，可以根据目标区域的位置确定摄像设备的安装位置，使得安装的摄像设备的拍摄区域包含目标区域。
待检测图像可以为目标区域对应的任一帧图像，比如，待检测图像可以为当前时刻目标区域对应的图像，也可以历史时刻目标区域对应的图像。在获取到待检测图像之后，可以对待检测图像进行检测，确定待检测图像包括的目标用户的手部检测框的位置信息。
具体实施时，可以训练用于对关键点进行检测的目标神经网络，使得训练后的目标神经网络满足预设条件，比如，使得训练后的目标神经网络的损失值小于设置的损失阈值。进而可以通过训练后的目标神经网络对待检测图像进行检测，确定待检测图像中的目标用户的手部检测框的位置信息。
示例性的，目标神经网络可以对待检测图像进行识别，确定待检测图像中包括的目标用户的半身肢体关键点位置信息，目标神经网络再可以基于半身肢体关键点位置信息和待检测图像，确定目标用户的手部检测框的位置信息。其中，半身肢体关键点的数量和位置可以根据需要进行设置，比如，肢体关键点的数量可以为14个或17个等。手部检测框的位置信息包括检测框的四个顶点的坐标信息、和手部检测框的中心点的坐标信息。
参见图2所示的一种设备控制方法中，目标用户的半身肢体关键点位置信息和手部检测框位置信息的示意图。图2中目标用户的半身肢体关键点可以包括头部顶点5、头部中心点4、颈部关节点3、左肩部关节点9、右肩关节点6、左手肘关节点10、右手肘关节点7、左手腕关节点11、右手腕关节点8、半身肢体中心点12、胯部关节点1、胯部关节点2、和胯部中心点0；手部检测框可以包括左手检测框的四个顶点13、15、16、17和左手框的中心点14；以及右手检测框的四个顶点18、20、21、22和右手框的中心点19。
针对S103：
这里，可以基于手部检测框的位置信息，确定移动标识在显示设备中的目标显示位置，移动标识在显示设备中的目标显示位置与手部检测框的位置相对应，即可以通过对手部检测框的实时追踪，确定移动标识在显示设备上实时的目标显示位置。
其中，移动标识为在显示设备上显示的、用于对控制设备的移动位置进行显示的标识，比如移动标识可以为移动光标。这里，可以将手部作为控制设备，通过手部的手势动作，实现对显示设备的控制。
一种可选实施方式中，在显示设备上不存在移动标识的情况下，基于手部检测框的位置信息，确定移动标识在显示设备中的目标显示位置，包括：基于手部检测框的位置信息、和待检测图像与显示设备的显示界面之间的比例关系，确定移动标识在显示设备中的目标显示位置。
这里，在显示设备上不存在移动标识时，即不存在任一目标用户对显示设备触发动态手势交互时，可以基于手部检测框的位置信息、和待检测图像与显示设备的显示界面之间的比例关系，确定移动标识在所述显示设备中的目标显示位置。
具体实施时，可以通过待检测图像与显示设备的显示界面之间的比例关系、以及目标用户的手部检测框的位置信息，确定目标用户的手部检测框的中心点位置信息在显示界面上的目标位置信息，再将该目标用户的手部检测框的中心点位置信息在显示界面上的目标位置信息，确定为移动标识在显示设备中的目标显示位置。
在显示设备上不存在移动标识时，可以基于手部检测框的位置信息、和待检测图像与显示设备的现实界面之间的比例关系，确定移动标识在显示设备中的目标显示位置，目标显示位置的确定过程较为简便，确定效率较高。
在另一种可选实施方式中，在显示设备上存在移动标识的情况下，基于手部检测框的位置信息，确定移动标识在显示设备中的目标显示位置，包括：
步骤一、基于手部检测框的位置信息、和时序上位于待检测图像之前的相邻历史待检测图像对应的手部检测框的历史位置信息，确定手部检测框的移动轨迹；
步骤二、基于手部检测框的移动轨迹、和相邻历史待检测图像对应的移动标识的历史显示位置，确定移动标识在显示设备中的目标显示位置。
在显示设备上存在移动标识时，可以确定时序上位于该待检测图像之前的相邻历史待检测图像对应的手部检测框的历史位置信息、以及相邻历史待检测图像对应的移动标识的历史显示位置，基于待检测图像的手部检测框的位置信息、和该手部检测框的历史位置信息，确定手部检测框的移动轨迹。再可以根据手部检测框的移动轨迹、和该移动标识的历史显示位置，确定移动标识在显示设备中的目标显示位置。比如，手部检测框的移动轨迹指示手部向右方向移动了x像素值，向上方向移动了y像素值，故可以根据移动轨迹对移动标识的历史显示位置进行调整，生成移动标识在显示设备中的目标显示位置。
上述方法中，在显示设备上存在移动标识时，先确定手部检测框的移动轨迹，再综合考虑相邻历史待检测图像对应的移动标识的历史显示位置、以及手部检测框的移动轨迹，较准确的确定移动标识在显示设备中的目标显示位置。
一种可选实施方式中，在检测到目标用户的手部检测框的数量为两个的情况下，基于手部检测框的位置信息，确定移动标识在显示设备中的目标显示位置，包括：从两个手部检测框中选择左手的手部检测框或者右手的手部检测框，基于选择的手部检测框的位置信息，确定移动标识在显示设备中的目标显示位置。
上述实施方式中，在检测到目标用户的手部检测框的数量为两个时，从两个手部检测框中选择左手的手部检测框或者右手的手部检测框，手部检测框的选择较为灵活，进而可以基于选择的手部检测框的位置信息，确定移动标识在显示设备中的目标显示位置。在一种实现方式中，可以基于目标用户的历史触控习惯来判定选择哪只手对应的手部检测框的位置信息，或是按照预先设置的默认检测方式，来确定基于哪只手对应的手部检测框的位置信息确定移动标识在显示设备中的目标显示位置。比如，目标用户的惯用手为右手时，可以基于选择的右手的手部检测框的位置信息，确定移动标识在显示设备中的目标显示位置。
这里，在检测到目标用户的手部检测框的数量为一个时，则可以基于检测到的手部检测框的位置想信息，确定移动标识在显示设备中的目标显示位置。
在检测到目标用户的手部检测框的数量为两个时，则可以从两个手部检测框中选择左手的手部检测框，或者，选择右手的手部检测框，比如，可以设置右手作为默认手部，则可以从两个手部检测框中选择右手的手部检测框，进而再基于选择的手部检测框的位置信息，确定移动标识在显示设备中的目标显示位置。
示例性的，还可以响应于触发的手部选择操作，基于用户选择的手部检测框的位置信息，确定移动标识在显示设备中的目标显示位置。
在另一种可选实施方式中，移动标识包括第一移动标识和第二移动标识，在检测到目标用户的手部检测框的数量为两个的情况下，方法还包括：
步骤一、响应于分屏操作，控制显示设备将显示界面划分为左局部显示界面和右局部显示界面；
步骤二、基于目标用户左手的手部检测框的位置信息，确定左局部显示界面的第一移动标识的第一目标显示位置；以及基于目标用户右手的手部检测框的位置信息，确定右局部显示界面的第二移动标识的第二目标显示位置。
在步骤一中，示例性的，可以在检测到目标用户的手部检测框的数量为两个时，自动生成分屏操作，响应于分屏操作，控制显示设备将显示界面划分为左局部显示界面和右局部显示界面。或者，还可以在检测到目标用户的手部检测框的数量为两个、且每个手部检测框均处于移动状态时，自动生成分屏操作，响应于分屏操作，控制显示设备将显示界面划分为左局部显示界面和右局部显示界面。或者，还可以响应于触发的分屏操作，控制显示设备将显示界面划分为左局部显示界面和右局部显示界面。
当然，在局部显示界面划分时，不仅限于将显示界面划分为左局部显示界面和右局部显示界面，还可以将显示界面划分为上局部显示界面和下局部显示界面等，在此对于显示界面的划分方式、两个甚至多个局部显示界面的划分比例等，不予限定。
在步骤二中，具体实施时，可以基于目标用户左手的手部检测框的位置信息、和待检测图像与显示设备的左局部显示界面之间的比例关系，确定左局部显示界面的第一移动标识的第一目标显示位置；以及可以基于目标用户右手的手部检测框的位置信息、和待检测图像与显示设备的右局部显示界面之间的比例关系，确定右局部显示界面的第二移动标识的第二目标显示位置。
上述实施方式中，在检测到目标用户的手部检测框的数量为两个时，响应于分屏操作，可以控制显示设备将显示界面划分为左局部显示界面和右局部显示界面，再基于目标用户左手的手部检测框的位置信息，确定左局部显示界面的第一移动标识的第一目标显示位置；以及基于目标用户右手的手部检测框的位置信息，确定右局部显示界面的第二移动标识的第二目标显示位置，实现了利用目标用户的左手和右手对显示设备的控制，提高了显示设备的控制效率。
一种可选实施方式中，在基于手部检测框的位置信息，确定移动标识在显示设备中的目标显示位置之前，方法还包括：对待检测图像进行检测，确定待检测图像中包括的目标用户的目标关节点位置信息；
基于手部检测框的位置信息，确定移动标识在显示设备中的目标显示位置，包括：基于手部检测框的位置信息、目标关节点位置信息、以及目标用户对应的参考比例，确定移动标识在显示设备中的目标显示位置，其中，参考比例用于对手部检测框的位置与目标关节点位置之间的距离进行放大。
示例性的，可以对待检测图像进行肢体检测，确定待检测图像中包括的目标用户的目标关节点位置信息。承接上述示例进行说明，在对待检测图像进行肢体检测后，生成目标用户的半身肢体关键点位置信息和手部检测框的位置信息；进而可以从生成的目标用户的半身肢体关键点位置信息中确定目标用户的目标关节点位置信息。
例如，目标关节点位置信息可以为左肩关节点位置信息、和/或右肩关节点位置信息，在目标关节点位置信息为左肩关节点位置信息时，手部检测框的位置信息可以为左手检测框的位置信息；在目标关节点位置信息为右肩关节点位置信息时，手部检测框的位置信息可以为右手检测框的位置信息。
本实施方式中，可以先确定目标用户对应的参考比例，该参考比例用于对手部检测框的中心点位置与目标关节点位置之间的距离进行放大，比如，在目标关节点位置为左肩关节点位置、手部检测框的中心点位置为左手检测框中心点的位置时，该参考比例可以对左肩关节点至左手检测框的中心点的直线距离进行放大。
这里，在获取了每一帧待检测图像之后，可以根据获取的待检测图像，实时确定待检测图像对应的参考比例，即每一帧待检测图像对应的参考比例可能不同。或者，也可以在确定了参考比例之后，将确定的该参考比例作为每一帧待检测图像对应的参考比例，即每一帧待检测图像对应的参考比例相同。
作为一可选实施方式，该方法还包括：
步骤一、响应于显示设备在目标显示位置处展示移动标识，获取目标区域的下一帧待检测图像。
步骤二、响应于下一帧待检测图像中包括的目标用户的目标关节点位置信息与待检测图像中包括的目标用户的目标关节点位置信息之间的距离大于变化阈值的情况下，则对目标用户对应的参考比例进行更新，并使用更新后的参考比例，确定下一帧待检测图像对应的显示设备中移动标识的目标显示位置。
这里，可以响应于显示设备在目标显示位置处展示移动标识，获取目标区域的下一帧待检测图像。并可以对下一帧待检测图像进行检测，确定下一帧待检测图像中包括的目标用户的目标关节点位置信息。
进而可以确定下一帧待检测图像中包括的目标用户的目标关节点位置信息、与待检测图像中包括的目标用户的目标关节点位置信息之间的距离，在确定的该距离大于变化阈值时，则表征目标用户在待检测图像中的位置与目标用户在下一帧待检测图像中的位置变化较大，待检测图像对应的参考比例不适用于下一帧待检测图像，故可以对目标用户对应的参考比例进行更新，并使用更新后的参考比例，确定下一帧待检测图像对应的显示设备中移动标识的目标显示位置；在确定的该距离小于或等于变化阈值时，则表征目标用户在待检测图像中的位置与目标用户在下一帧待检测图像中的位置变化较小，可以将待检测图像对应的参考比例，确定为下一帧待检测图像对应的参考比例。
一般的，在目标用户的位置发生改变时，目标用户的目标关节点与待检测图像各顶点之间的距离相应会发生改变，此时待检测图像对应的参考比例不适用于下一帧待检测图像，故需要重新确定下一帧待检测图像对应的参考比例。因此，还可以从确定的目标用户的关键点信息中选择能够表征目标用户位置的关键点，比如，选择的关键点可以为颈部关键点、半身肢体中心点、胯部中心点等。进而基于选择的关键点，判断是否需要重新确定下一帧待检测图像对应的参考比例，即基于选择的关键点的位置信息与下一帧待检测图像中关键点的位置信息之间的距离，确定是否需要重新确定下一帧待检测图像对应的参考比例。
采用上述方法，通过确定下一帧待检测图像中包括的目标用户的目标关节点位置信息与待检测图像中包括的目标用户的目标关节点位置信息之间的距离，在确定的该距离大于变化阈值时，确定目标用户在待检测图像中的位置与目标用户在下一帧待检测图像中的位置之间变化较大，待检测图像对应的参考比例不适用于下一帧待检测图像，则对目标用户对应的参考比例进行更新，并使用更新后的参考比例，确定下一帧待检测图像对应的显示设备中所述移动标识的目标显示位置，较准确的显示移动标识。
其中，可以根据下述步骤确定参考比例：
步骤一、获取手部检测框与目标关节点之间的距离，以得到待检测图像中目标用户的手臂长度。
步骤二、获取目标关节点与待检测图像各顶点之间的距离，以得到第二距离，第二距离为目标关节点与各顶点之间的距离中的最大距离。
步骤三、将手臂长度与第二距离的比值，确定为参考比例。
在步骤一中，可以先确定手部检测框的中心点与目标关节点之间的距离，以得到待检测图像中目标用户的手臂长度。示例性的，参见图2所示，可以计算右肩关节点6(目标关节点)与右手肘关节点7之间的第一直线距离、计算右手肘关节点7与右手腕关节点8之间的第二直线距离、以及计算右手腕关节点8与右手框的中心点19(手部检测框)之间的第三直线距离，并将第一直线距离、第二直线距离和第三直线距离之间的和，确定为目标用户的手臂长度。或者，可以计算左肩关节点9(目标关节点)与左手肘关节点10之间的第一直线距离、计算左手肘关节点10与左手腕关节点11之间的第二直线距离、以及计算左手腕关节点11与左手框中心点14(手部检测框)之间的第三直线距离，并将第一直线距离、第二直线距离、和第三直线距离的和，确定为目标用户的手臂长度。
在步骤二中，可以在计算了目标关节点分别与待检测图像的四个顶点之间的直线距离之后，从生成的四个直线距离中确定第二距离，即从计算得到的四个直线距离中选择最大距离作为第二距离。
或者，还可以预先以待检测图像的中心像素点为原点，将待检测图像平均划分为四个区域，位于左上方的第一区域、位于右上方的第二区域、位于左下方的第三区域、和位于右下方的第四区域。进而，可以基于目标关节点位置信息，确定目标关节点所处的区域；再可以基于目标关节点所处的区域，确定与目标关节点距离最远的目标顶点，计算目标关节点与目标顶点之间的直线距离，即得到第二距离。比如若目标关节点位于第三区域内，则确定右上角的顶点为目标顶点；若目标关节点位于第四区域内，则确定左上角的顶点为目标顶点。
在步骤三中，可以将最远直线距离c与第二距离d的比值，确定为参考比例，即参考比例为c/d。
上述方法中，通过确定待检测图像中目标用户的手臂长度、以及第二距离，将手臂长度与第二距离的比值，确定为参考比例，使得基于确定的参考比例对第一距离放大时，可以避免确定的目标距离大于第二距离，造成确定的中间位置信息超出了待检测图像的范围的情况发生。
一种可选实施方式中，基于手部检测框的位置信息、目标关节点位置信息、以及目标用户对应的参考比例，确定移动标识在显示设备中的目标显示位置，包括：
步骤一、基于手部检测框的位置信息、目标关节点位置信息、以及与目标用户对应的参考比例，确定移动标识在待检测图像对应的图像坐标系下的中间位置信息。
步骤二、基于中间位置信息，确定移动标识在显示设备中的目标显示位置。
可以先基于手部检测框的位置信息指示的中心点位置坐标、目标关节点位置信息、以及目标用户对应的参考比例，确定移动后的手部检测框的中心点位置坐标，将移动后的手部检测框的中心点位置坐标，确定为移动标识在待检测图像对应的图像坐标系下的中间位置信息。再可以基于移动标识在待检测图像对应的图像坐标系下的中间位置信息，确定移动标识在显示设备中的目标显示位置。比如，可以基于显示设备的显示界面与待检测图像之间的比例关系，将移动标识在待检测图像对应的图像坐标系下的中间位置信息，转换至显示设备的显示界面对应的坐标系下，确定移动标识在显示设备中的目标显示位置。
采用上述方法，可以先基于手部检测框的位置信息、目标关节点位置信息、和参考比例，较准确的确定移动标识在待检测图像对应的图像坐标系下的中间位置信息，进一步的，可以较准确的确定移动标识在显示设备中的目标显示位置。
其中，基于手部检测框的位置信息、目标关节点位置信息、以及目标用户对应的参考比例，确定移动标识在待检测图像对应的图像坐标系下的中间位置信息，包括：
一、基于手部检测框的位置信息、和目标关节点位置信息，得到手部检测框与目标关节点之间的第一距离。
二、基于参考比例对第一距离进行放大，得到目标距离；
三、基于目标距离、和手部检测框的位置信息，确定移动标识在待检测图像对应的图像坐标系下的中间位置信息。
这里，可以基于手部检测框的位置信息和目标关节点位置信息，计算手部检测框与目标关节点之间的第一距离，比如，若手部检测框的中心点的位置信息为(x1，y1)、目标关节点位置信息为(x2，y2)、第一距离为C1，则
再可以基于参考比例c/d对第一距离C1进行放大，确定目标距离D1，C1/D1＝c/d，即目标距离D1＝C1×c/d。最后，可以基于目标距离、和手部检测框的位置信息指示的手部中心点位置坐标，确定距离放大后的手部检测框的中心点的位置信息；并将距离放大后的手部检测框的中心点的位置信息，确定为移动标识在待检测图像对应的图像坐标系下的中间位置信息。
上述方法中，通过使用参考比例对手部检测框与目标关节点之间的第一距离进行放大，得到目标距离，通过对第一距离进行放大后，可以使得手部检测框的移动较为明显，进而基于目标距离和手部检测框的位置信息，可以较准确的确定移动标识对应的中间位置信息。
针对S104：
在确定了移动标识在显示设备中的目标显示位置之后，可以控制显示设备在显示界面的目标显示位置处展示移动标识。
一种可选实施方式中，在控制显示设备在目标显示位置处展示移动标识之后，包括：
第一、基于待检测图像，确定目标用户的手势类别。
第二、基于手势类别、和设置的不同手势类别与操作功能的对应关系，确定目标用户在目标显示位置处触发的目标操作。
第三、控制显示设备执行目标操作。
这里可以基于待检测图像和手部检测框位置信息，确定手部对应的局部区域；对手部对应的局部区域进行检测，确定目标用户的手势类别。基于手势类别、和设置的不同手势类别与操作功能的对应关系，确定目标用户在目标显示位置处触发的目标操作。比如，设置的不同手势类别与操作功能的映射关系可以包括：拳头的手势类别对应单击操作，五指张开的手势类别对应双击操作，OK的手势类别对应确认操作等。进而在检测到目标用户的手势类别为拳头时，确定目标用户在目标显示位置处触发了单击操作，可以控制显示设备执行单击操作。具体的，目标操作对应的展示内容可以根据实际需要进行设置。
采用上述方法，通过基于待检测图像，确定目标用户的手势类别，根据确定的手势类别，较准确的确定目标用户在目标显示位置处触发的目标操作，进而可以控制显示设备较准确的执行目标操作。
另一种可选实施方式中，在控制显示设备在目标显示位置处展示移动标识之后，包括：
第一、确定移动标识在目标显示位置处的停留时长。
第二、基于停留时长、和设置的不同停留时长与操作功能的对应关系，确定目标用户在目标显示位置处触发的目标操作。
第三、控制显示设备执行目标操作。
这里，还可以确定移动标识在目标显示位置处的停留时长，根据停留时长、和设置的不同停留时长与操作功能的对应关系，确定目标用户在目标显示位置处触发的目标操作，比如，设置的不同停留时长与操作功能的映射关系可以为：3秒≤停留时长<5秒对应单击操作，5秒≤停留时长对应双击操作等。进而在确定停留时长为3秒时，确定目标用户在目标显示位置处触发了单击操作，可以控制显示设备执行单击操作。
采用上述方法，通过确定移动标识在目标显示位置处的停留时长，根据该停留时长，确定目标用户在目标显示位置处触发的目标操作，无需对目标用户的手势进行识别，使得目标操作的确定过程较简单。
在具体实施时，还可以利用停留时长和手势类别，确定目标用户在目标显示位置处触发的目标操作，进而控制显示设备执行目标操作。比如，在检测到目标用户的手势类别为拳头、且移动标识在目标显示位置处的停留时长小于或等于3秒时，确定目标用户在目标显示位置处触发了单击操作；在检测到目标用户的手势类别为拳头、且移动标识在目标显示位置处的停留时长大于3秒且小于5秒时，确定目标用户在目标显示位置处触发了双击操作。其中，确定目标用户在目标显示位置处触发的目标操作的方式有多种，此处仅为示例性说明。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于相同的构思，本公开实施例还提供了一种设备控制装置，参见图3所示，为本公开实施例提供的设备控制装置的架构示意图，包括获取模块301、检测模块302、确定模块303、控制模块304，具体的：
获取模块301，用于获取目标区域的待检测图像；
检测模块302，用于对所述待检测图像进行检测，确定所述待检测图像中包括的目标用户的手部检测框的位置信息；
确定模块303，用于基于所述手部检测框的位置信息，确定移动标识在显示设备中的目标显示位置；
控制模块304，用于控制所述显示设备在所述目标显示位置处展示所述移动标识。
一种可能的实施方式中，在所述显示设备上不存在所述移动标识的情况下，所述确定模块303，在基于所述手部检测框的位置信息，确定移动标识在显示设备中的目标显示位置时，用于：
基于所述手部检测框的位置信息、和所述待检测图像与所述显示设备的显示界面之间的比例关系，确定所述移动标识在所述显示设备中的目标显示位置。
一种可能的实施方式中，在所述显示设备上存在所述移动标识的情况下，所述确定模块303，在基于所述手部检测框的位置信息，确定移动标识在显示设备中的目标显示位置时，用于：
基于所述手部检测框的位置信息、和时序上位于所述待检测图像之前的相邻历史待检测图像对应的手部检测框的历史位置信息，确定所述手部检测框的移动轨迹；
基于所述手部检测框的移动轨迹、和所述相邻历史待检测图像对应的所述移动标识的历史显示位置，确定所述移动标识在显示设备中的目标显示位置。
一种可能的实施方式中，在检测到所述目标用户的手部检测框的数量为两个的情况下，所述确定模块303，在基于所述手部检测框的位置信息，确定移动标识在显示设备中的目标显示位置时，用于：
从两个手部检测框中选择左手的手部检测框或者右手的手部检测框，基于选择的手部检测框的位置信息，确定所述移动标识在所述显示设备中的目标显示位置。
一种可能的实施方式中，所述移动标识包括第一移动标识和第二移动标识，在检测到所述目标用户的手部检测框的数量为两个的情况下，所述装置还包括：划分模块305，用于：
响应于分屏操作，控制所述显示设备将显示界面划分为左局部显示界面和右局部显示界面；
基于所述目标用户左手的手部检测框的位置信息，确定所述左局部显示界面的所述第一移动标识的第一目标显示位置；以及基于所述目标用户右手的手部检测框的位置信息，确定所述右局部显示界面的所述第二移动标识的第二目标显示位置。
一种可能的实施方式中，在控制所述显示设备在所述目标显示位置处展示所述移动标识之后，包括：第一展示模块306，用于：
基于所述待检测图像，确定所述目标用户的手势类别；
基于所述手势类别、和设置的不同手势类别与操作功能的对应关系，确定所述目标用户在所述目标显示位置处触发的目标操作；
控制所述显示设备执行目标操作。
一种可能的实施方式中，在控制所述显示设备在所述目标显示位置处展示所述移动标识之后，包括：第二展示模块307，用于：
确定所述移动标识在所述目标显示位置处的停留时长；
基于所述停留时长、和设置的不同停留时长与操作功能的对应关系，确定所述目标用户在所述目标显示位置处触发的目标操作；
控制所述显示设备执行目标操作。
一种可能的实施方式中，在所述基于所述手部检测框的位置信息，确定移动标识在显示设备中的目标显示位置之前，所述装置还包括：
关节点确定模块308，用于对所述待检测图像进行检测，确定所述待检测图像中包括的所述目标用户的目标关节点位置信息；
所述确定模块303，在基于所述手部检测框的位置信息、和目标关节点位置信息，确定移动标识在显示设备中的目标显示位置时，用于：
基于所述手部检测框的位置信息、目标关节点位置信息、以及与所述目标用户对应的参考比例，确定移动标识在显示设备中的目标显示位置，其中，所述参考比例用于对手部检测框的位置与目标关节点位置之间的距离进行放大。
一种可能的实施方式中，所述确定模块303，在基于所述手部检测框的位置信息、所述目标关节点位置信息、以及与所述目标用户对应的参考比例，确定所述移动标识在所述显示设备中的目标显示位置时，用于：
基于所述手部检测框的位置信息、所述目标关节点位置信息、以及与所述目标用户对应的参考比例，确定所述移动标识在所述待检测图像对应的图像坐标系下的中间位置信息；
基于所述中间位置信息，确定所述移动标识在显示设备中的目标显示位置。
一种可能的实施方式中，所述确定模块303，在基于所述手部检测框的位置信息、所述目标关节点位置信息、以及与所述目标用户对应的参考比例，确定所述移动标识在所述待检测图像对应的图像坐标系下的中间位置信息时，用于：
基于所述手部检测框的位置信息、和所述目标关节点位置信息，得到所述手部检测框与所述目标关节点之间的第一距离；
基于所述参考比例对所述第一距离进行放大，得到目标距离；
基于所述目标距离、和所述手部检测框的位置信息，确定所述移动标识在所述待检测图像对应的图像坐标系下的中间位置信息。
一种可能的实施方式中，所述确定模块303，用于根据下述步骤确定参考比例：
获取所述手部检测框与所述目标关节点之间的距离，以得到所述待检测图像中所述目标用户的手臂长度；
获取所述目标关节点与所述待检测图像各顶点之间的距离，以得到第二距离，所述第二距离为所述目标关节点与所述各顶点之间的距离中的最大距离；
将所述手臂长度与所述第二距离的比值，确定为所述参考比例。
一种可能的实施方式中，所述装置还包括：参考比例确定模块309，用于：
获取所述待检测图像之前的历史待检测图像对应的目标关节点的历史位置信息；
响应于所述显示设备在所述目标显示位置处展示所述移动标识，获取所述目标区域的下一帧待检测图像；
响应于所述下一帧待检测图像中包括的所述目标用户的目标关节点位置信息与所述待检测图像中包括的所述目标用户的目标关节点位置信息之间的距离大于变化阈值的情况下，则对所述目标用户对应的所述参考比例进行更新，并使用更新后的所述参考比例，确定所述下一帧待检测图像对应的所述显示设备中所述移动标识的目标显示位置。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模板可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
基于同一技术构思，本公开实施例还提供了一种电子设备。参照图4所示，为本公开实施例提供的电子设备的结构示意图，包括处理器401、存储器402、和总线403。其中，存储器402用于存储执行指令，包括内存4021和外部存储器4022；这里的内存4021也称内存储器，用于暂时存放处理器401中的运算数据，以及与硬盘等外部存储器4022交换的数据，处理器401通过内存4021与外部存储器4022进行数据交换，当电子设备400运行时，处理器401与存储器402之间通过总线403通信，使得处理器401在执行以下指令：
获取目标区域的待检测图像；
对所述待检测图像进行检测，确定所述待检测图像中包括的目标用户的手部检测框的位置信息；
基于所述手部检测框的位置信息，确定移动标识在显示设备中的目标显示位置；
控制所述显示设备在所述目标显示位置处展示所述移动标识。
此外，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的设备控制方法的步骤。
本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的设备控制方法的步骤，具体可参见上述方法实施例，在此不再赘述。
其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。

Claims (14)

1.一种设备控制方法，其特征在于，包括：
获取目标区域的待检测图像；
对所述待检测图像进行检测，确定所述待检测图像中包括的目标用户的手部检测框的位置信息；
基于所述手部检测框的位置信息，确定移动标识在显示设备中的目标显示位置；
控制所述显示设备在所述目标显示位置处展示所述移动标识；
在所述基于所述手部检测框的位置信息，确定移动标识在显示设备中的目标显示位置之前，所述方法还包括：对所述待检测图像进行检测，确定所述待检测图像中包括的所述目标用户的目标关节点位置信息；
所述基于所述手部检测框的位置信息，确定移动标识在显示设备中的目标显示位置，包括：基于所述手部检测框的位置信息、所述目标关节点位置信息、以及与所述目标用户对应的参考比例，确定所述移动标识在所述显示设备中的目标显示位置，其中，所述参考比例用于对手部检测框的位置与目标关节点位置之间的距离进行放大。
2.根据权利要求1所述的方法，其特征在于，在所述显示设备上不存在所述移动标识的情况下，所述基于所述手部检测框的位置信息，确定移动标识在显示设备中的目标显示位置，包括：
基于所述手部检测框的位置信息、和所述待检测图像与所述显示设备的显示界面之间的比例关系，确定所述移动标识在所述显示设备中的目标显示位置。
3.根据权利要求1或2所述的方法，其特征在于，在所述显示设备上存在所述移动标识的情况下，所述基于所述手部检测框的位置信息，确定移动标识在显示设备中的目标显示位置，包括：
基于所述手部检测框的位置信息、和时序上位于所述待检测图像之前的相邻历史待检测图像对应的手部检测框的历史位置信息，确定所述手部检测框的移动轨迹；
基于所述手部检测框的移动轨迹、和所述相邻历史待检测图像对应的所述移动标识的历史显示位置，确定所述移动标识在显示设备中的目标显示位置。
4.根据权利要求1～3任一所述的方法，其特征在于，在检测到所述目标用户的手部检测框的数量为两个的情况下，所述基于所述手部检测框的位置信息，确定移动标识在显示设备中的目标显示位置，包括：
从两个手部检测框中选择左手的手部检测框或者右手的手部检测框，基于选择的手部检测框的位置信息，确定所述移动标识在所述显示设备中的目标显示位置。
5.根据权利要求1～4任一所述的方法，其特征在于，所述移动标识包括第一移动标识和第二移动标识，在检测到所述目标用户的手部检测框的数量为两个的情况下，所述方法还包括：
响应于分屏操作，控制所述显示设备将显示界面划分为左局部显示界面和右局部显示界面；
基于所述目标用户左手的手部检测框的位置信息，确定所述左局部显示界面的所述第一移动标识的第一目标显示位置；以及基于所述目标用户右手的手部检测框的位置信息，确定所述右局部显示界面的所述第二移动标识的第二目标显示位置。
6.根据权利要求1～5任一所述的方法，其特征在于，在控制所述显示设备在所述目标显示位置处展示所述移动标识之后，包括：
基于所述待检测图像，确定所述目标用户的手势类别；
基于所述手势类别、和设置的不同手势类别与操作功能的对应关系，确定所述目标用户在所述目标显示位置处触发的目标操作；
控制所述显示设备执行所述目标操作。
7.根据权利要求1～6任一所述的方法，其特征在于，在控制所述显示设备在所述目标显示位置处展示所述移动标识之后，包括：
确定所述移动标识在所述目标显示位置处的停留时长；
基于所述停留时长、和设置的不同停留时长与操作功能的对应关系，确定所述目标用户在所述目标显示位置处触发的目标操作；
控制所述显示设备执行所述目标操作。
8.根据权利要求1所述的方法，其特征在于，所述基于所述手部检测框的位置信息、所述目标关节点位置信息、以及与所述目标用户对应的参考比例，确定所述移动标识在所述显示设备中的目标显示位置，包括：
基于所述手部检测框的位置信息、所述目标关节点位置信息、以及与所述目标用户对应的参考比例，确定所述移动标识在所述待检测图像对应的图像坐标系下的中间位置信息；
基于所述中间位置信息，确定所述移动标识在所述显示设备中的所述目标显示位置。
9.根据权利要求8所述的方法，其特征在于，所述基于所述手部检测框的位置信息、所述目标关节点位置信息、以及与所述目标用户对应的参考比例，确定所述移动标识在所述待检测图像对应的图像坐标系下的中间位置信息，包括：
基于所述手部检测框的位置信息、和所述目标关节点位置信息，得到所述手部检测框与所述目标关节点之间的第一距离；
基于所述参考比例对所述第一距离进行放大，得到目标距离；
基于所述目标距离、和所述手部检测框的位置信息，确定所述移动标识在所述待检测图像对应的图像坐标系下的中间位置信息。
10.根据权利要求1～9任一所述的方法，其特征在于，根据下述步骤确定所述参考比例：
获取所述手部检测框与所述目标关节点之间的距离，以得到所述待检测图像中所述目标用户的手臂长度；
获取所述目标关节点与所述待检测图像各顶点之间的距离，以得到第二距离，所述第二距离为所述目标关节点与所述各顶点之间的距离中的最大距离；
将所述手臂长度与所述第二距离的比值，确定为所述参考比例。
11.根据权利要求1～10任一所述的方法，其特征在于，所述方法还包括：
响应于所述显示设备在所述目标显示位置处展示所述移动标识，获取所述目标区域的下一帧待检测图像；
响应于所述下一帧待检测图像中包括的所述目标用户的目标关节点位置信息与所述待检测图像中包括的所述目标用户的目标关节点位置信息之间的距离大于变化阈值的情况下，则对所述目标用户对应的所述参考比例进行更新，并使用更新后的所述参考比例，确定所述下一帧待检测图像对应的所述显示设备中所述移动标识的目标显示位置。
12.一种设备控制装置，其特征在于，包括：
获取模块，用于获取目标区域的待检测图像；
检测模块，用于对所述待检测图像进行检测，确定所述待检测图像中包括的目标用户的手部检测框的位置信息；
确定模块，用于基于所述手部检测框的位置信息，确定移动标识在显示设备中的目标显示位置；
控制模块，用于控制所述显示设备在所述目标显示位置处展示所述移动标识；
在所述基于所述手部检测框的位置信息，确定移动标识在显示设备中的目标显示位置之前，所述装置还包括：关节点确定模块，用于对所述待检测图像进行检测，确定所述待检测图像中包括的所述目标用户的目标关节点位置信息；
所述确定模块，在基于所述手部检测框的位置信息，确定移动标识在显示设备中的目标显示位置时，用于：基于所述手部检测框的位置信息、所述目标关节点位置信息、以及与所述目标用户对应的参考比例，确定所述移动标识在所述显示设备中的目标显示位置，其中，所述参考比例用于对手部检测框的位置与目标关节点位置之间的距离进行放大。
13.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至11任一所述的设备控制方法的步骤。
14.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至11任一所述的设备控制方法的步骤。
CN202011379307.9A 2020-11-30 2020-11-30 设备控制方法、装置、电子设备及存储介质 Active CN112506340B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011379307.9A CN112506340B (zh) 2020-11-30 2020-11-30 设备控制方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011379307.9A CN112506340B (zh) 2020-11-30 2020-11-30 设备控制方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112506340A CN112506340A (zh) 2021-03-16
CN112506340B true CN112506340B (zh) 2023-07-25

Family

ID=74968919

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011379307.9A Active CN112506340B (zh) 2020-11-30 2020-11-30 设备控制方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112506340B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113031464B (zh) * 2021-03-22 2022-11-22 北京市商汤科技开发有限公司 设备控制方法、装置、电子设备及存储介质
CN112987933A (zh) * 2021-03-25 2021-06-18 北京市商汤科技开发有限公司 设备控制方法、装置、电子设备及存储介质
WO2022096957A1 (en) * 2021-06-22 2022-05-12 Sensetime International Pte. Ltd. Body and hand association method and apparatus, device, and storage medium
AU2021204619A1 (en) 2021-06-22 2023-01-19 Sensetime International Pte. Ltd. Body and hand association method and apparatus, device, and storage medium
CN113347526B (zh) * 2021-07-08 2022-11-22 歌尔科技有限公司 耳机的音效调节方法、装置及可读存储介质
CN113703577A (zh) * 2021-08-27 2021-11-26 北京市商汤科技开发有限公司 一种绘图方法、装置、计算机设备及存储介质
CN113835527A (zh) * 2021-09-30 2021-12-24 北京市商汤科技开发有限公司 设备控制方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109255324A (zh) * 2018-09-05 2019-01-22 北京航空航天大学青岛研究院 手势处理方法、交互控制方法及设备
CN109358750A (zh) * 2018-10-17 2019-02-19 Oppo广东移动通信有限公司 一种控制方法、移动终端、电子设备及存储介质
CN111860082A (zh) * 2019-04-30 2020-10-30 阿里巴巴集团控股有限公司 信息处理方法、装置以及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3608754A1 (en) * 2017-04-07 2020-02-12 Shenzhen Royole Technologies Co., Ltd. Hand gesture recognition method and related device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109255324A (zh) * 2018-09-05 2019-01-22 北京航空航天大学青岛研究院 手势处理方法、交互控制方法及设备
CN109358750A (zh) * 2018-10-17 2019-02-19 Oppo广东移动通信有限公司 一种控制方法、移动终端、电子设备及存储介质
CN111860082A (zh) * 2019-04-30 2020-10-30 阿里巴巴集团控股有限公司 信息处理方法、装置以及系统

Also Published As

Publication number Publication date
CN112506340A (zh) 2021-03-16

Similar Documents

Publication Publication Date Title
CN112506340B (zh) 设备控制方法、装置、电子设备及存储介质
CN109934065B (zh) 一种用于手势识别的方法和装置
US20120243733A1 (en) Moving object detecting device, moving object detecting method, moving object detection program, moving object tracking device, moving object tracking method, and moving object tracking program
CN112926423B (zh) 捏合手势检测识别方法、装置及系统
CN110648397B (zh) 场景地图生成方法、装置、存储介质及电子设备
CN110986969B (zh) 地图融合方法及装置、设备、存储介质
JP5510907B2 (ja) タッチ位置入力装置及びタッチ位置入力方法
TW201939260A (zh) 一種利用手勢模擬滑鼠操作的方法、裝置及終端
CN115335872A (zh) 目标检测网络的训练方法、目标检测方法及装置
CN109375833B (zh) 一种触控指令的生成方法及设备
CN111354029A (zh) 手势深度确定方法、装置、设备及存储介质
CN111986229A (zh) 视频目标检测方法、装置及计算机系统
WO2024012268A1 (zh) 虚拟操作方法、装置、电子设备及可读存储介质
CN113052907A (zh) 一种动态环境移动机器人的定位方法
JP2021144359A (ja) 学習装置、推定装置、学習方法、及びプログラム
US20220050528A1 (en) Electronic device for simulating a mouse
JPH08212327A (ja) 身振り認識装置
US20210326657A1 (en) Image recognition method and device thereof and ai model training method and device thereof
CN115061577A (zh) 手部投影交互方法、系统及存储介质
US9761009B2 (en) Motion tracking device control systems and methods
CN114360047A (zh) 举手手势识别方法、装置、电子设备及存储介质
CN112132085A (zh) 一种图像处理方法、电子设备
CN112633305A (zh) 关键点标注方法及相关设备
CN111368675A (zh) 手势深度信息的处理方法、装置、设备及存储介质
TWI815593B (zh) 用於偵測手勢的方法和系統，以及電腦可讀儲存媒體

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant