CN114327047B - 设备控制方法、设备控制装置及存储介质 - Google Patents

Abstract

本公开是关于一种设备控制方法、设备控制装置及存储介质。设备控制方法包括：获取第一帧用户图像和第二帧用户图像，所述第一帧用户图像和所述第二帧用户图像中均包括有用户手部图像和用户躯干图像；基于所述第一帧用户图像中的用户躯干图像创建第一坐标系，利用所述第一帧用户图像中的用户手部图像和所述第二帧用户图像中的用户手部图像在所述第一坐标系中的用户手部坐标，确定表征用户手部变化的第一向量；确定所述第一向量映射在所述设备上的对应操作，并控制设备执行所述操作。通过本公开，可以在第一坐标系中确定表征用户手势变化的第一向量，利用第一向量实现对用户手势移动距离的量化，通过量化后的手势移动距离对设备进行控制准确度更高。

Description

设备控制方法、设备控制装置及存储介质

技术领域

本公开涉及智能终端遥控领域，尤其涉及一种设备控制方法、设备控制装置及存储介质。

背景技术

大屏的智能设备通常需要通过与其匹配的遥控器进行控制。控制过程完全依赖遥控器实现。通过遥控器对智能设备进行按键遥控，存在操作单一及灵活度低的缺陷。随着遥控技术的发展，相关技术中，通过采集用户双眼以及手指图像实现对智能设备的滑动操控。但该实现方式需要准确采集到用户的眼部信息。如果用户的眼部周围有头发、眼镜的遮挡或者化妆等其他装饰的干扰，有效性将会大大降低。

发明内容

为克服相关技术中存在的问题，本公开提供一种设备控制方法、设备控制装置及存储介质。

根据本公开实施例的第一方面，提供一种设备控制方法，所述设备控制方法包括：获取第一帧用户图像和第二帧用户图像，所述第一帧用户图像和所述第二帧用户图像中均包括有用户手部图像和用户躯干图像；基于所述第一帧用户图像中的用户躯干图像创建第一坐标系，利用所述第一帧用户图像中的用户手部图像和所述第二帧用户图像中的用户手部图像在所述第一坐标系中的用户手部坐标，确定表征用户手部变化的第一向量；确定所述第一向量映射在所述设备上的对应操作，并控制设备执行所述操作。

在一种实施方式中，所述利用所述第一帧用户图像中的用户手部图像和所述第二帧用户图像中的用户手部图像在所述第一坐标系中的用户手部坐标，确定表征用户手部变化的第一向量，包括：确定设备当前所处的控制模式；基于所述控制模式，利用所述第一帧用户图像中的用户手部图像和所述第二帧用户图像中的用户手部图像，在所述第一坐标系中的用户手部坐标，确定表征用户手部变化的第一向量。在一种实施方式中，所述控制模式为鼠标模式；

基于所述控制模式，利用所述第一帧用户图像中的用户手部图像和所述第二帧用户图像中的用户手部图像在所述第一坐标系中的用户手部坐标，确定表征用户手部变化的第一向量，包括：确定第一帧用户图像中手指指尖的第一坐标，并确定第二帧用户图像中手指指尖的第二坐标；以所述手指指尖的第一坐标作为起始点，并以所述手指指尖的第二坐标作为终止点，进行连线，确定表征用户手部变化的第一向量。

在一种实施方式中，所述控制模式为框选模式；

基于所述控制模式，利用所述第一帧用户图像中的用户手部图像和所述第二帧用户图像中的用户手部图像在所述第一坐标系中的用户手部坐标，确定表征用户手部变化的第一向量，包括：确定第一帧用户图像中手掌中心点的第一坐标，并确定第二帧用户图像中手掌中心点的第二坐标；以所述手掌中心点的第一坐标作为起始点，并以所述手掌中心点的第二坐标作为终止点，进行连线，确定表征用户手部变化的第一向量。

在一种实施方式中，确定所述第一向量映射在所述设备上的对应操作，包括：将所述第一向量映射到第二坐标系中，得到第二向量，所述第二坐标系为以设备屏幕上指定的点为原点建立的坐标系，所述第一坐标系和所述第二坐标系互为镜像；确定所述第二向量在所述设备上的对应操作。

在一种实施方式中，控制设备执行所述操作，包括：若控制模式为鼠标模式，控制设备屏幕上的鼠标按所述第二向量移动；若控制模式为框选模式，按所述第二向量控制设备在所述设备的屏幕上进行区域框选处理，所述区域框选处理包括若确定所述第二向量的终点坐标落入框选区域，对所述框选区域进行高亮操作。

在一种实施方式中，将所述用户手部的第一向量映射到第二坐标系中，得到第二向量，包括：将所述第一向量的方向作为第二向量的方向；根据所述第一向量的长度以及深度距离，确定所述第二向量的长度，所述深度距离为用户距离屏幕的距离，且所述深度距离通过第一帧用户图像或第二帧用户图像确定；在第二坐标系中根据所述第二向量的方向和所述第二向量的长度，确定所述第二向量。

在一种实施方式中，根据所述第一向量的长度以及深度距离，确定所述第二向量的长度，包括：将第一向量的长度与深度距离相乘后再与系数相乘，得到所述第二向量的长度，所述系数根据设备的屏幕尺寸确定。

在一种实施方式中，所述第一帧用户图像和第二帧用户图像通过双目摄像头拍摄；

获取第一帧用户图像和第二帧用户图像之后，所述设备控制方法还包括：确定所述第一帧用户图像的深度距离和所述第二帧用户图像的深度距离；若所述第一帧用户图像的深度距离与所述第二帧用户图像的深度距离的差值绝对值大于第一预设阈值，或所述第一帧用户图像的用户躯干图像中预设骨骼点与所述第二帧用户图像的用户躯干图像中预设骨骼点间的距离差值绝对值大于第二设定阈值，则所述第二帧用户图像为无效图像，重新选取下一帧用户图像作为第二帧用户图像。

在一种实施方式中，利用所述第一帧用户图像和所述第二帧用户图像中的用户手部坐标，确定用户手部的第一向量，包括：

以所述第一帧用户图像中用户手部坐标作为手势起点，所述第二帧用户图像中用户手部坐标作为手势终点，确定所述手势起点与所述手势终点间的距离；若所述手势起点与所述手势终点间的距离大于或等于第三设定阈值，则从所述手势起点到所述手势终点进行连线，得到用户手部的第一向量。

根据本公开实施例的第二方面，提供一种设备控制装置，所述设备控制装置包括：

获取模块，用于获取第一帧用户图像和第二帧用户图像，所述第一帧用户图像和所述第二帧用户图像中均包括有用户手部图像和用户躯干图像；确定模块，用于基于所述第一帧用户图像中的用户躯干图像创建第一坐标系，利用第一帧用户图像中的用户手部图像和第二帧用户图像中的用户手部图像在第一坐标系中的用户手部坐标，确定表征用户手部变化的第一向量；设备控制模块，用于确定所述第一向量映射在设备上的对应操作，并控制设备执行操作。

在一种实施方式中，所述确定模块用于：确定设备当前所处的控制模式；基于控制模式，利用第一帧用户图像中的用户手部图像和第二帧用户图像中的用户手部图像在第一坐标系中的用户手部坐标，确定表征用户手部变化的第一向量

在一种实施方式中，所述控制模式为鼠标模式；

确定模块，用于确定第一帧用户图像中手指指尖的第一坐标，并确定第二帧用户图像中手指指尖的第二坐标；以所述手指指尖的第一坐标作为起始点，并以所述手指指尖的第二坐标作为终止点，进行连线，确定表征用户手部变化的第一向量。

在一种实施方式中，所述控制模式为框选模式；

确定模块，用于确定第一帧用户图像中手掌中心点的第一坐标，并确定第二帧用户图像中手掌中心点的第二坐标；以所述手掌中心点的第一坐标作为起始点，并以所述手掌中心点的第二坐标作为终止点，进行连线，确定表征用户手部变化的第一向量。

在一种实施方式中，所述设备控制模块，用于将所述第一向量映射到第二坐标系中，得到第二向量，所述第二坐标系为以设备屏幕上指定的点为原点建立的坐标系，所述第一坐标系和所述第二坐标系互为镜像；确定所述第二向量在所述设备上的对应操作。

在一种实施方式中，所述设备控制模块，用于若控制模式为鼠标模式，控制设备屏幕上的鼠标按所述第二向量移动；若控制模式为框选模式，按所述第二向量控制设备在所述设备的屏幕上进行区域框选处理，所述区域框选处理包括若确定所述第二向量的终点坐标落入框选区域，对所述框选区域进行高亮操作。

在一种实施方式中，所述设备控制模块，用于将所述第一向量的方向作为第二向量的方向；根据所述第一向量的长度以及深度距离，确定所述第二向量的长度，所述深度距离为用户距离屏幕的距离，且所述深度距离通过第一帧用户图像或第二帧用户图像确定；在第二坐标系中根据所述第二向量的方向和所述第二向量的长度，确定所述第二向量。

在一种实施方式中，所述设备控制模块，用于将第一向量的长度与深度距离相乘后再与系数相乘，得到所述第二向量的长度，所述系数根据设备的屏幕尺寸确定。

在一种实施方式中，所述第一帧用户图像和第二帧用户图像通过双目摄像头拍摄；

所述获取模块：用于在获取第一帧用户图像和第二帧用户图像之后，确定所述第一帧用户图像的深度距离和所述第二帧用户图像的深度距离；若所述第一帧用户图像的深度距离与所述第二帧用户图像的深度距离的差值绝对值大于第一预设阈值，或所述第一帧用户图像的用户躯干图像中预设骨骼点与所述第二帧用户图像的用户躯干图像中预设骨骼点间的距离差值绝对值大于第二设定阈值，则所述第二帧用户图像为无效图像，重新选取下一帧用户图像作为第二帧用户图像。

在一种实施方式中，所述设备控制模块，用于以所述第一帧用户图像中用户手部坐标作为手势起点，所述第二帧用户图像中用户手部坐标作为手势终点，确定所述手势起点与所述手势终点间的距离；若所述手势起点与所述手势终点间的距离大于或等于第三设定阈值，则从所述手势起点到所述手势终点进行连线，得到用户手部的第一向量。

根据本公开实施例的第三方面，提供一种设备控制装置，包括：

处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行第一方面中任意一种实施方式中所述的设备控制方法。

根据本公开实施例的第四方面，提供一种存储介质，所述存储介质中存储有指令，当所述存储介质中的指令由设备的处理器执行时，使得设备能够执行第一方面中任意一种实施方式中所述的设备控制方法。

本公开的实施例提供的技术方案可以包括以下有益效果：获取第一帧用户图像和第二帧用户图像，在第一帧用户图像的用户躯干图像中创建第一坐标系。利用第一帧用户图像中的用户手部图像和第二帧用户图像中的用户手部图像在第一坐标系中的用户手部坐标，确定表征用户手部变化的第一向量；确定用户手部的第一向量在设备上的对应操作，并控制设备执行操作。如此，可以在第一坐标系中确定表征用户手势变化的第一向量，利用第一向量实现对用户手势移动距离的量化，通过量化后的手势移动距离对设备进行控制准确度更高。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是根据一示例性实施例示出的一种设备控制方法的流程图。

图2是根据一示例性实施例示出的控制模式的示意图。

图3是根据一示例性实施例示出的鼠标模式和框选模式的检测示意图。

图4是根据一示例性实施例示出的第一坐标系和第二坐标系的示意图。

图5是根据一示例性实施例示出的确定第二向量的流程图。

图6是根据一示例性实施例示出的判断第二帧用户图像有效性的流程图。

图7是根据一示例性实施例示出的设备控制方法的示意性流程图。

图8是根据一示例性实施例示出的鼠标模式下设备控制方法的示意性流程图。

图9是根据一示例性实施例示出的框选模式下设备控制方法的示意性流程图。

图10是根据一示例性实施例示出的一种设备控制装置框图。

图11是根据一示例性实施例示出的一种用于设备控制的装置的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

相关技术中，针对大屏的智能设备，如电视机、游戏机等，都需要通过遥控器进行控制操作。操作方式包括有按键操作和手持体感器进行操作。其中，手持的体感器内集成有加速度传感器和陀螺仪。例如，相关技术中提出通过空鼠遥控器对智能设备进行控制。空鼠遥控器包括陀螺仪、空鼠模块、重力感应开关以及红外线发射模块等。该空鼠遥控器将红外线遥控器功能、键盘功能、空中飞鼠功能、游戏手柄功能以及激光指示笔功能结合到一起实现对智能设备的控制。但按键操作和基于手持体感器进行操作实质上都没能脱离实际的物理遥控器操作。利用按键遥控方式控制智能设备的操作单一，灵活度低。而体感遥控不够简便、识别操作较少，不能满足用户控制智能设备的需求。

随着技术的发展，相关技术中，使用摄像头采集双眼以及手指图像实现设备的滑动操控。但使用摄像头采集双眼以及手指图像实现设备的滑动操控可能具有以下问题中的至少一种。

1、需要准确采集到用户的眼部信息。但如果用户的眼部周围有头发、眼镜的遮挡或者化妆等其他装饰的干扰，有效性将会大大降低。

2、并不适用于所有用户。例如，对于单目失明或者患有一些眼类疾病的用户来说无法准确的提取到眼部关键信息，导致无法利用该方法实现他们的使用需求。

3、实现功能单一。使用摄像头采集双眼以及手指图像仅能实现设备的滑动操控。例如音量加减等，用户的操控体验较差。

有鉴于此，本公开提供了一种设备控制方法。按时间间隔获取多帧用户图像，获取的用户图像中包括有用户手部图像和用户躯干图像。在用户躯干图像中以指定的躯干骨骼点为原点建立坐标系，在该坐标系中确定各帧用户手部图像中用户手部的坐标。利用各帧用户手部图像中用户手部的坐标生成表征用户手势位置变化的向量。确定用户手势位置变化的向量在设备上所对应的操作，并控制设备执行该操作。本公开提供的设备控制方法，在以躯干骨骼点为原点建立的坐标系中，确定表征用户手势位置变化的向量。相比于相关技术中以眼部为参考确定用户做出滑动动作而言，对用户手势的位置变化进行量化，提高了手势控制的精度。且躯干骨骼点相比于眼部关键点更容易提取，能够提高对设备控制的准确度。

本公开提供的设备控制方法适用于能够采集到包括用户图像的设备。用户图像中包括有用户手部图像和用户躯干图像。用户图像中还包括有深度信息。用户图像可以通过设备自带的双目摄像头进行采集。双目摄像头分为主摄像头和副摄像头，安装在设备的顶部，可为伸出式或内嵌式，理想情况下两个摄像头参数相同且共面，或者通过图像矫正处理使两摄像头拍摄的图像共面。用户图像也可以通过为了应用本公开提供的设备控制方法安装在设备上的能够获得深度信息的摄像设备进行用户图像采集，并将采集的用户图像发送至设备进行处理。其中，设备包括电视机、平板和游戏机等。

本公开下述实施例将结合附图对一种设备控制方法进行说明。为了便于描述，本公开将间隔预设时间间隔的两帧用户图像中的其中一帧用户图像，采用第一帧用户图像表征。将间隔预设时间间隔的两帧用户图像中的另一帧用户图像，采用第二帧用户图像表征。

图1是根据一示例性实施例示出的一种设备控制方法的流程图。如图1所示，设备控制方法，包括以下步骤。

在步骤S11中，获取第一帧用户图像和第二帧用户图像。

本公开实施例中获取第一帧用户图像和第二帧用户图像的时间间隔可以根据实际情况确定。示例地，可以通过摄像头采集用户图像的帧率确定。第一帧用户图像和第二帧用户图像中均包括有用户手部图像和用户躯干图像。

在步骤S12中，基于第一帧用户图像中的用户躯干图像创建第一坐标系，利用第一帧用户图像中的用户手部图像和第二帧用户图像中的用户手部图像在第一坐标系中的用户手部坐标，确定表征用户手部变化的第一向量。

第一坐标系是以用户躯干中预设的躯干骨骼点为原点创建的坐标系。

本公开实施例，对每帧用户图像中的用户手部图像和用户躯干图像进行特征提取，提取用户手部特征点以及用户躯干中预设的躯干骨骼点。其中用户手部特征点可以包括各手指指尖，手指关节和手掌掌心等。预设的躯干骨骼点可以包括肩部中心骨骼点、左右肩峰骨骼点和剑突等。以第一帧用户图像中提取出来预设的躯干骨骼点为原点，建立二维直角坐标系。为了便于表述，将以预设的躯干骨骼点为原点建立的二维直角坐标系，采用第一坐标系表征。作为原心的躯干骨骼点可以为肩部中心骨骼点、左右肩峰骨骼点或剑突等，本公开不作限定。示例地，可以以肩部中心骨骼点为原点建立第一坐标系。

在第一帧用户图像和第二帧用户图像的用户手部图像中包括有用户手部轮廓。通过图像分割、轮廓提取和曲率计算等方法确定表征用户手部的用户手部特征点在第一坐标系中的用户手部坐标。本实施例使用躯干骨骼点作为原点建立坐标系的好处是，用户在做手势时大部分动作由手臂完成，而躯干保持相对固定，不会有很大的位移量。相比使用眼部特征点进行手势控制来说误差较小。可以理解为，利用眼部特征点进行手势控制时若用户脸部范围出现了移动或者旋转，以眼部特征点进行的手势控制会受到影响。

以第一帧用户图像中用户手部坐标作为手势起点，第二帧用户图像中用户手部坐标作为手势终点，从手势起点到手势终点进行连线，得到表征用户手部变化的第一向量。

在一种实施方式中，通过手势起点和手势终点间的距离，确保用户做出有效的手势。若用户做出有效的手势则确定用户手部的第一向量，并根据第一向量实现对设备的控制。若用户做出无效的手势，则不予响应。判断用户是否做出有效手势的过程包括：以第一帧用户图像中用户手部坐标作为手势起点，第二帧用户图像中用户手部坐标作为手势终点，确定手势起点与手势终点间的距离。若手势起点与手势终点间的距离大于或等于第三设定阈值，则从手势起点到手势终点进行连线，得到用户手部的第一向量。

在步骤S13中，确定第一向量映射在设备上的对应操作，并控制设备执行操作。

在本公开实施例中，预先设定用户手部的第一向量与设备执行操作的对比关系。在对应关系中确定用户手部的第一向量在设备上的对应操作，并控制设备执行操作。示例地，用户手部的第一向量对应的操作为调节设备的音量。若用户手部的第一向量的方向为从上到下，则将设备的音量按第一向量的长度映射的调节量进行调小。若用户手部的第一向量的方向为从下到上，则将设备的音量按第一向量的长度映射的调节量进行调大。使用摄像头进行用户图像采集，对采集到的用户图像进行特征提取形成控制设备的手势，取代了目前使用物理遥控器操作的方法，操作更灵活简便。

通过以躯干骨骼点为原点创建第一坐标系，并在第一坐标系中确定用户手部的第一向量，通过第一向量对应的操作，实现对设备的控制。可覆盖特殊人群的使用，适用人群广，控制精度高。

在本公开实施例中，为了适应不同用户的个性化需求，设置多种控制模式。在选定控制模式后按预设的时间间隔获取第一帧用户图像和第二帧用户图像。对第一帧用户图像和第二用户图像进行用户手部特征点提取，并在第一帧用户图像的用户躯干图像中提取躯干骨骼点。以提取的躯干骨骼点为原点建立第一坐标系。将第一帧用户图像中的用户手部特征点在第一坐标系中的坐标采用第一坐标表征。将第二帧用户图像中的用户手部特征点在第一坐标系中的坐标采用第二坐标表征。以第一坐标为起点，以第二坐标为终点确定表征用户手部变化的第一向量。基于第一向量，实现在选定的控制模式下对设备的控制。因此，本公开提供的设备控制方法包括确定设备当前所处的控制模式。基于控制模式，利用第一帧用户图像中的用户手部图像和第二帧用户图像中的用户手部图像在第一坐标系中的用户手部坐标，确定表征用户手部变化的第一向量。

在一种实施方式中，预先设定用户手势与控制模式的对应关系，确定检测到的用户手势对应的控制模式，在确定的控制模式下进行对设备的控制操作。本实施例按下列方式确定设备当前所处的控制模式。响应于检测到用户手势，且用户手势持续存在的时间超过第一时间阈值，确定用户手势对应的控制模式。本公开中的控制模式包括鼠标模式或框选模式。通过检测用户手势，确定设备当前所处的控制模式，并控制设备进入该控制模式。本实施例提供了鼠标模式和框选模式供用户进行选择，以增加控制模式的多元化。

图2是根据一示例性实施例示出的控制模式的示意图。如图2所示，20表示设备的屏幕边界。21表示设备的顶部导航栏。22表示主页内容栏。23表示当设备进入框选模式后可对相应的主页内容栏。在框选模式下可以对主页内容栏中的功能进行框选操作。24表示当设备进入鼠标模式后可在屏幕上出现光标图案。在鼠标模式下光标图案可进行移动操作。

示例地，以控制模式为鼠标模式为例，说明基于控制模式，利用第一帧用户图像中的用户手部图像和第二帧用户图像中的用户手部图像，在第一坐标系中的用户手部坐标，确定表征用户手部变化的第一向量，包括：确定第一帧用户图像中手指指尖的第一坐标，并确定第二帧用户图像中手指指尖的第二坐标。以手指指尖的第一坐标作为起始点，并以手指指尖的第二坐标作为终止点，进行连线，得到表征用户手部变化的第一向量。

在设备处于鼠标模式的情况下，对第一帧用户图像和第二帧用户图像，通过图像分割、轮廓提取、曲率计算提取出手指指尖的坐标信息。将手指指尖在第一帧用户图像中的坐标采用第一坐标表征。将手指指尖在第二帧用户图像中的坐标采用第二坐标表征。以手指指尖的第一坐标作为起始点，并以手指指尖的第二坐标作为终止点，进行连线，得到设备在鼠标模式下用户手部的第一向量。

示例地，以控制模式为框选模式为例，说明基于控制模式，利用第一帧用户图像中的用户手部图像和第二帧用户图像中的用户手部图像，在第一坐标系中的用户手部坐标，确定表征用户手部变化的第一向量，包括：确定第一帧用户图像中手掌中心点的第一坐标，并确定第二帧用户图像中手掌中心点的第二坐标。以手掌中心点的第一坐标作为起始点，并以手掌中心点的第二坐标作为终止点，进行连线，得到表征用户手部变化的第一向量。

在设备处于框选模式的情况下，对第一帧用户图像和第二帧用户图像，通过图像分割、质心提取方法得出手掌中心点的坐标。将手掌中心点在第一帧用户图像中的坐标采用第一坐标表征。将手掌中心点在第二帧用户图像中的坐标采用第二坐标表征。以手掌中心点的第一坐标作为起始点，并以手掌中心点的第二坐标作为终止点，进行连线，得到设备在框选模式下用户手部的第一向量。

应理解，本公开以用户伸出手指的手势对应鼠标模式，以张开手掌的手势对应框选模式，但并不限于此。且伸出的手指可以为任意手指，框选模式下可以以张开手掌中指定的部位为参考，并不限于手掌中心点。

在一些可能的实施方式中，设备上设置有框选模式和鼠标模式，在对设备进行控制前，需要进行框选模式检测和鼠标模式检测，通过检测结果确定控制设备进入的控制模式。其中，鼠标模式检测是指检测用户是否做出鼠标模式对应的手势。框选模式检测是指检测用户是否做出框选模式对应的手势。在本示例中，设置模式标记位，用于标记设备首次进行模式检测时，以模式标记位表征的模式开始进行模式检测。例如，模式标记位k置0，表征开启框选模式。模式标记位k置1，表征开启鼠标模式。结合附图3说明通过检测用户手势，确定控制设备进入的控制模式。图3是根据一示例性实施例示出的鼠标模式和框选模式的检测示意图。如图3所示，以首次为框选模式检测为例进行说明。

步骤S410中，框选模式检测开始，进行步骤S430。即进行框选模式初始化。

步骤S430中，检测用户是否做出手掌张开的手势，若检测到用户做出手掌张开的手势，则进行S450。若检测到用户未做出手掌张开的手势，则进行步骤S420。

步骤S450中，检测手势持续的时间是否超过第一时间阈值，若检测到手掌张开的手势持续的时间未超过第一时间阈值，则进行步骤S430继续检测用户是否做出手掌张开的手势。若检测到手掌张开的手势持续的时间超过第一时间阈值，则进行步骤S460。

步骤S460中，开启框选模式。即控制设备进入框选模式，并进行步骤S480。

步骤S480中，将模式标记位k置为1。

类似地，下述实施例结合图3说明鼠标模式检测的过程。

在步骤S420中，鼠标模式开始，进行步骤S440。即进行鼠标模式初始化。

在步骤S440中，检测用户是否做出食指伸直的手势，若检测到用户做出食指伸直的手势，则进行步骤S450。若未检测到用户做出食指伸直的手势，则进行步骤S410，进行框选模式检测。

在步骤S450中，检测手势持续时间是否超过第一时间阈值，若检测食指伸直的手势持续时间超过第一时间阈值，则进行步骤S470。若检测食指伸直的动作手势持续时间未超过第一时间阈值，则返回进行步骤S440，继续检测用户是否做出食指伸直的手势。

在步骤S470中，开启鼠标模式。即控制设备进入鼠标模式，并进行步骤S490。

在步骤S490中，将模式标记位k置为0。

在本实施例中，当设备处于鼠标模式后，即模式标记位k置0后，将不再进行鼠标模式检测，只进行框选模式的检测。相同的，当设备处于框选模式时，即模式标记位k置1后，将不再进行框选模式检测，只进行框选鼠标模式的检测。可以理解为，当模式标记位k置0时，直接检测用户是否做出了鼠标模式对应的手势。当模式标记位k置1时，直接检测用户是否做出了框选模式对应的手势。

在本公开中，可以通过用户手部的第一向量在设备上的对应操作，实现对设备的控制。实际生活中用户对设备进行控制时，用户距设备有一段距离。因为距离导致设备检测到的用户手部移动的距离与用户手部实际移动的距离不匹配。由于距离的不匹配导致通过手势对设备的控制精度不够，控制效果达不到用户期望。为了提高通过手势对设备的控制精度，本公开以设备屏幕上指定的点为原点建立坐标系，为了区别于以躯干骨骼点为原点创建的第一坐标系，将以设备屏幕上指定的点为原点建立坐标系，采用第二坐标系表征。将第一向量映射到第二坐标系中，得到第二向量。确定第二向量在设备上所对应的操作。通过第二向量实现对设备的准确控制。

图4是根据一示例性实施例示出的第一坐标系和第二坐标系的示意图。如图4所示，31表示以设备屏幕的中心点o为原点建立的第二坐标系。32表示根据用户图像中，以肩部中心骨骼点为原点o′创建的第一坐标系。在第二坐标系中，以水平向右为x轴正方向，以竖直向上为y轴正方向。第一坐标系的x、y轴方向与第二坐标系保持一致。通过图4可知，第一坐标系和第二坐标系互为镜像。在图4中33表示中鼠标模式下，根据用户手部图像提取到的手指指尖坐标。34表示在框选模式下，根据用户手部图像提取到的手掌中心点坐标。35表示根据用户躯干图像提取到的肩部中心骨骼点坐标。

在本公开实施例中，肩部中心骨骼点35的坐标提取过程为：首先开启骨骼数据跟踪功能并进行初始化，将带有深度信息的用户图像帧，使用现有的骨骼点提取算法框架，如开发包Kinect SDK进行躯干骨骼点数据提取并进行平滑滤波，将提取到的骨骼点信息以结构体的形式存放到内存中，该结构体中的每个元素代表一个关节的信息。期间进行骨骼点提取有效性判断，若提取的骨骼点少于设定值m，则进行下一帧图像的骨骼点数据提取，最后通过姿态估计以及模板匹配得出肩部中心骨骼点坐标信息，其中m值根据经验或实测值设定。

在本公开实施例中，仅需要提取躯干骨骼点(如肩部中心骨骼点)，相比于相关技术中提取眼部关键点(如瞳孔)而言，减少了肤色以及眼部遮挡导致的特征点提取不准确，避免了因特征点提取不准确导致对设备进行手势控制的精度低。另外利用躯干骨骼点为参照，对于单目失明或者患有一些眼类疾病的用户更友好。

在本公开实施例中，确定肩部中心骨骼点坐标，用于检验第二帧用户图像是否有效。根据第一帧用户图像中的肩部中心骨骼点在第一坐标系中的肩部中心骨骼点坐标，和第二帧用户图像中的肩部中心骨骼点在第一坐标系中的肩部中心骨骼点坐标，确定第一帧用户图像中的肩部中心骨骼点坐标与第二帧用户图像中的肩部中心骨骼点坐标间的距离差值绝对值。若第一帧用户图像中的肩部中心骨骼点坐标与第二帧用户图像中的肩部中心骨骼点坐标间的距离差值绝对值大于第二设定阈值，则表明第二帧用户图像为无效图像。若第二帧用户图像为无效图像，则选择下一帧用户图像作为第二帧用户图像。

将第一向量映射到第二坐标系中得到第二向量后，根据第二向量在设备上的对应操作，控制设备执行该操作。下述实施例将说明在不同控制模式下，根据第二向量在设备上所对应的操作，实现对设备的控制。

在本公开实施例中，若控制模式为鼠标模式，控制设备屏幕上的鼠标按第二向量移动。若鼠标按第二向量移动，当移动到屏幕边界时将不在移动。

若控制模式为框选模式，按第二向量控制设备在设备的屏幕上进行区域框选处理。本实施例中，区域框选处理包括若确定第二向量的终点坐标落入框选区域，对框选区域进行高亮操作。

在本公开实施例中，图5是根据一示例性实施例示出的确定第二向量的流程图。如图5所示，将用户手部的第一向量映射到第二坐标系中，得到第二向量，包括以下步骤。

在步骤S21中，将第一向量的方向作为第二向量的方向。

在步骤S22中，根据第一向量的长度以及深度距离，确定第二向量的长度。

示例地，以将第一向量的长度与深度距离相乘后再与系数相乘的方式，确定第二向量的长度。其中，系数根据设备的屏幕尺寸确定。深度距离为用户距离屏幕的距离，且深度距离通过第一帧用户图像或第二帧用户图像确定。

在步骤S23中，在第二坐标系中根据第二向量的方向和第二向量的长度，确定第二向量。

通过第二向量实现对设备的控制，相比于相关技术中已有的手势遥控只能识别出某个方向上产生的滑动事件，本公开能够对滑动位移进行具体量化形成对应在设备屏幕上移动的距离值。

在一种实施方式中，按预设的时间间隔获取第一帧用户图像和第二帧用户图像之后，设备控制方法还包括，基于第一帧用户图像的深度距离和第二帧用户图像的深度距离间的关系，或第一帧用户图像的用户躯干图像中预设骨骼点与第二帧用户图像的用户躯干图像中预设骨骼点间的距离，判断第二帧用户图像是否有效。若第二帧用户图像为无效图像，则用下一帧用户图像作为第二帧用户图像。

图6是根据一示例性实施例示出的判断第二帧用户图像有效性的流程图。如图6所示，按预设的时间间隔获取第一帧用户图像和第二帧用户图像之后，设备控制方法还包括下列步骤。

在步骤S31中，确定第一帧用户图像的深度距离和第二帧用户图像的深度距离。

在步骤S32中，若第一帧用户图像的深度距离与第二帧用户图像的深度距离的差值绝对值大于第一预设阈值，或第一帧用户图像的用户躯干图像中预设骨骼点与第二帧用户图像的用户躯干图像中预设骨骼点间的距离差值绝对值大于第二设定阈值，则第二帧用户图像为无效图像，重新选取下一帧用户图像作为第二帧用户图像。

在本实施例中，以第一帧用户图像中预设骨骼点为原点建立第一坐标系，在第一坐标系中确定第二帧用户图像中预设骨骼点的坐标。通过第一帧用户图像中预设骨骼点的坐标，以及第二帧用户图像中预设骨骼点的坐标，可以确定第一帧用户图像的用户躯干图像中预设骨骼点与第二帧用户图像的用户躯干图像中预设骨骼点间的距离差值绝对值。若第一帧用户图像的用户躯干图像中预设骨骼点与第二帧用户图像的用户躯干图像中预设骨骼点间的距离差值绝对值大于第二设定阈值，则第二帧用户图像为无效图像。在第二用户图像为无效图像的情况下，可以重新选取下一帧用户图像作为第二帧用户图像，也可以根据设置重新选取间隔设定帧数量的用户图像作为第二帧用户图像。

在本公开实施例中，通过检测用户手势，确定控制设备进入的控制模式。进入控制模式后，按预设的时间间隔获取第一帧用户图像和第二帧用户图像。根据第一帧用户图像和第二帧用户图像确定在第一坐标系下用户手部的第一向量。将第一向量映射到第二坐标系中得到第二向量。第一向量表征用户手势的位置变化，而第二向量表示用户手势在设备屏幕上的位置变化。设备根据第二向量做出相应的光标移动或者框选操作，从而完成用户通过手势操控设备的行为。

通过获取具有深度信息的用户图像可以计算出用户距离设备的深度信息，可以精确得出在不同深度下用户手势移动距离对应在设备屏幕上相应的移动距离，比不具有深度信息的用户图像计算距离的方法更准确。

在本公开实施例中，在设备上预先设置对设备进行确认操作的用户确认手势。将第一向量映射到第二坐标系中得到第二向量后，继续检测用户确认手势。响应于检测到用户确认手势，则按第二向量对设备进行确认操作。示例的，若检测到用户握拳的手势，则对设备屏幕上第二向量的终点所在的区域进行点击操作。例如，在框选模式下，检测到用户握拳的手势，则对设备屏幕上第二向量的终点框选出来的区域进行点击操作，设备响应于点击操作，进行翻页或进入该框选区域对应的功能等。本公开中，不仅可以实现将用户手势对应在设备屏幕上移动距离量化，而且可以根据第二向量进行确认操作，而不是简单的滑动确认。

下述实施例将结合附图对上述各实施方式进行示例性说明。图7是根据一示例性实施例示出的设备控制方法的示意性流程图。如图7所示，本实施例中，对设备进行控制需经过图像采集71，以获取包括用户手部图像和用户躯干图像的图像。模式检测72，用户对图像中用户的手势进行检测，确定控制设备进入的控制模式。关键点提取73，以提取每帧图像中用户手部的关键点，以及预设的躯干骨骼点，例如手指指尖点、手掌中心点和肩部中心骨骼点坐标信息。动作判断74，用于在关键点提取时通过阈值判断采集到的用户图像是否为有效帧以及用户手势是否为有效动作。向量计算75，以提取出来的躯干骨骼点为原点建立第一坐标系，在第一坐标系中确定用户手部关键点的坐标。针对用户手部关键点的坐标按获取图像的顺序进行连线，得到第一向量。将第一向量映射到以设备屏幕中心为原点建立的第二坐标系中，得到第二向量。即计算用户至设备的深度距离值、表征用户手势位置变化的第一向量的长度和方向，以及设备屏幕上位置变化的第二向量的长度和方向。动作响应76，用于在设备屏幕上根据用户手势动作按第二向量做出相应的响应。即在设备屏幕上进行相应的光标移动、框选和点击操作。

按图7所示的设备控制流程，分别说明框选模式下的设备控制方法和鼠标模式下的设备控制方法。图8是根据一示例性实施例示出的鼠标模式下设备控制方法的示意性流程图。图9是根据一示例性实施例示出的框选模式下设备控制方法的示意性流程图。本实施例中，出现的图像和用户图像，以及智能终端、终端和设备，本领域技术人员应理解其含义的一致性。

在一种实施方式中，如图8所示，鼠标模式下设备控制方法包括以下步骤。

步骤510从采集的连续多帧图像中选取第1帧和第n帧图像。其中第1帧图像为选取鼠标模式或框选模式后开始采集，第n帧图像是间隔n帧之后采集的图像，n的具体数值根据摄像头采集的帧率决定。

步骤520获取第1帧图像中用户的手指指尖点作为手势起点，获取第1帧图像的用户深度距离、肩部中心骨骼点坐标。本示例中，深度距离的获取过程为：根据其中一帧主、副摄像头分别拍摄的骨骼点信息，在经过矫正后计算出视差。根据视差计算出用户至终端的深度距离。

步骤530获取第n帧图像中用户的手指指尖点作为手势终点，获取第n帧图像的用户深度距离、肩部中心骨骼点坐标。

步骤540若采集的第n帧用户图像为无效图像，重新选取一帧作为第n帧图像。本示例中，当采集的第1帧用户图像的深度距离和第n帧用户图像的深度距离差值大于第一预设阈值，或者采集的第1帧用户图像的肩部中心骨骼点和第n帧用户图像的肩部中心骨骼点间距离差值大于第二设定阈值时，认定采集的第n帧用户图像为无效图像。

步骤550由手势起点指向手势终点，形成第一向量。即根据采集的用户图像计算出第一坐标系下用户手势操控位置变化的第一向量。

步骤560若第一向量长度小于设定阈值l3时，认定用户未做出有效的手势操控。智能终端不进行手势操控响应。

步骤570确定第二向量，方向和第一向量相同，根据第一向量的长度以及深度距离信息得到第二向量的长度。该步骤中将第一向量转化为第二坐标系下屏幕上位置变化的第二向量，第二向量的方向和第一向量相同。

本示例中，第二向量的长度等于第一向量长度乘以深度距离乘以系数j，其中系数j可以根据智能终端屏幕尺寸大小进行预设。

步骤580智能终端根据第二向量做出相应的光标移动。

本示例中，智能终端根据第二向量在智能终端的屏幕上做出相应的光标移动。当光标位置到达智能终端屏幕边界后，光标位置保持不动。

步骤590检测用户是否作出握拳确认手势，智能终端在屏幕上进行点击动作响应，反之则不执行点击动作响应。

本示例中，还进行确认手势检测，当智能终端根据第二向量做出相应的光标移动后进行握拳手势检测，若用户做出握拳手势且动作持续时间超过设定值t2时认定为点击确认动作，智能终端在屏幕上进行点击动作响应，反之则不执行点击动作响应。

在另一种实施方式中，如图9所示，框选模式下设备控制方法包括以下步骤。图9和该流程和图8示出的鼠标模式下设备控制方法的步骤类似，区别在于步骤620获取第1帧图像中用户的手掌中心点作为手势起点，步骤630获取第n帧图像中用户的手掌中心点作为手势终点，步骤680智能终端根据第二向量做出相应的框选动作。在本示例中，当第二向量的终点坐标落在某个框选区域范围内时，对该选框进行选中高亮操作；当第二向量的终点坐标落在相邻的两个选框A和B之间时，计算终点坐标距离选框A和B中心的距离并进行比较，若第二向量终点至选框A中心距离较近，则对选框A进行选中高亮操作。本示例中对图9中与图8相似的步骤已在上述示例中进行说明，此处将不在进行赘述。

基于相同的构思，本公开实施例还提供一种设备控制装置。

可以理解的是，本公开实施例提供的设备控制装置为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。结合本公开实施例中所公开的各示例的单元及算法步骤，本公开实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同的方法来实现所描述的功能，但是这种实现不应认为超出本公开实施例的技术方案的范围。

图10是根据一示例性实施例示出的一种设备控制装置框图。参照图10，该设备控制装置100包括获取模块101，确定模块102和设备控制模块103。

获取模块101，用于获取第一帧用户图像和第二帧用户图像，第一帧用户图像和第二帧用户图像中均包括有用户手部图像和用户躯干图像；确定模块102，用于基于第一帧用户图像中的用户躯干图像创建第一坐标系，利用第一帧用户图像中的用户手部图像和第二帧用户图像中的用户手部图像，在第一坐标系中的用户手部坐标，确定表征用户手部变化的第一向量；设备控制模块103，用于确定第一向量映射在设备上的对应操作，并控制设备执行操作。

在一种实施方式中，确定模块102用于确定设备当前所处的控制模式；基于控制模式，利用第一帧用户图像中的用户手部图像和第二帧用户图像中的用户手部图像，在第一坐标系中的用户手部坐标，确定表征用户手部变化的第一向量。

在一种实施方式中，控制模式为鼠标模式；

确定模块102，用于确定第一帧用户图像中手指指尖的第一坐标，并确定第二帧用户图像中手指指尖的第二坐标；以手指指尖的第一坐标作为起始点，并以手指指尖的第二坐标作为终止点，进行连线，确定表征用户手部变化的第一向量。

在一种实施方式中，控制模式为框选模式；

确定模块102，用于确定第一帧用户图像中手掌中心点的第一坐标，并确定第二帧用户图像中手掌中心点的第二坐标；以手掌中心点的第一坐标作为起始点，并以手掌中心点的第二坐标作为终止点，进行连线，确定表征用户手部变化的第一向量。

在一种实施方式中，设备控制模块103用于：

将第一向量映射到第二坐标系中，得到第二向量，第二坐标系为以设备屏幕上指定的点为原点建立的坐标系，第一坐标系和第二坐标系互为镜像；确定第二向量在设备上的对应操作。

在一种实施方式中，设备控制模块103用于：

若控制模式为鼠标模式，控制设备屏幕上的鼠标按第二向量移动；若控制模式为框选模式，按第二向量控制设备在设备的屏幕上进行区域框选处理，区域框选处理包括若确定第二向量的终点坐标落入框选区域，对框选区域进行高亮操作。

在一种实施方式中，设备控制模块103用于：

将第一向量的方向作为第二向量的方向；根据第一向量的长度以及深度距离，确定第二向量的长度，深度距离为用户距离屏幕的距离，且深度距离通过第一帧用户图像或第二帧用户图像确定；在第二坐标系中根据第二向量的方向和第二向量的长度，确定第二向量。

在一种实施方式中，设备控制模块103用于：

将第一向量的长度与深度距离相乘后再与系数相乘，得到第二向量的长度，系数根据设备的屏幕尺寸确定。

在一种实施方式中，第一帧用户图像和第二帧用户图像通过双目摄像头拍摄；

获取模块101：用于在获取第一帧用户图像和第二帧用户图像之后，确定第一帧用户图像的深度距离和第二帧用户图像的深度距离；若第一帧用户图像的深度距离与第二帧用户图像的深度距离的差值绝对值大于第一预设阈值，或第一帧用户图像的用户躯干图像中预设骨骼点与第二帧用户图像的用户躯干图像中预设骨骼点间的距离差值绝对值大于第二设定阈值，则第二帧用户图像为无效图像，重新选取下一帧用户图像作为第二帧用户图像。

在一种实施方式中，设备控制模块103用于：

以第一帧用户图像中用户手部坐标作为手势起点，第二帧用户图像中用户手部坐标作为手势终点，确定手势起点与手势终点间的距离；若手势起点与手势终点间的距离大于或等于第三设定阈值，则从手势起点到手势终点进行连线，得到用户手部的第一向量。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图11是根据一示例性实施例示出的一种用于设备控制的装置的框图。例如，装置200可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图11，装置200可以包括以下一个或多个组件：处理组件202，存储器204，电力组件206，多媒体组件208，音频组件210，输入/输出(I/O)接口212，传感器组件214，以及通信组件216。

处理组件202通常控制装置200的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件202可以包括一个或多个处理器220来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件202可以包括一个或多个模块，便于处理组件202和其他组件之间的交互。例如，处理组件202可以包括多媒体模块，以方便多媒体组件208和处理组件202之间的交互。

存储器204被配置为存储各种类型的数据以支持在装置200的操作。这些数据的示例包括用于在装置200上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器204可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电力组件206为装置200的各种组件提供电力。电力组件206可以包括电源管理系统，一个或多个电源，及其他与为装置200生成、管理和分配电力相关联的组件。

多媒体组件208包括在所述装置200和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件208包括一个前置摄像头和/或后置摄像头。当装置200处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件210被配置为输出和/或输入音频信号。例如，音频组件210包括一个麦克风(MIC)，当装置200处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器204或经由通信组件216发送。在一些实施例中，音频组件210还包括一个扬声器，用于输出音频信号。

I/O接口212为处理组件202和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件214包括一个或多个传感器，用于为装置200提供各个方面的状态评估。例如，传感器组件214可以检测到装置200的打开/关闭状态，组件的相对定位，例如所述组件为装置200的显示器和小键盘，传感器组件214还可以检测装置200或装置200一个组件的位置改变，用户与装置200接触的存在或不存在，装置200方位或加速/减速和装置200的温度变化。传感器组件214可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件214还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件214还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件216被配置为便于装置200和其他设备之间有线或无线方式的通信。装置200可以接入基于通信标准的无线网络，如WiFi，4G或5G，或它们的组合。在一个示例性实施例中，通信组件216经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件216还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，装置200可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器204，上述指令可由装置200的处理器220执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

可以理解的是，本公开中“多个”是指两个或两个以上，其它量词与之类似。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

进一步可以理解的是，术语“第一”、“第二”等用于描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开，并不表示特定的顺序或者重要程度。实际上，“第一”、“第二”等表述完全可以互换使用。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。

进一步可以理解的是，除非有特殊说明，“连接”包括两者之间不存在其他构件的直接连接，也包括两者之间存在其他元件的间接连接。

进一步可以理解的是，本公开实施例中尽管在附图中以特定的顺序描述操作，但是不应将其理解为要求按照所示的特定顺序或是串行顺序来执行这些操作，或是要求执行全部所示的操作以得到期望的结果。在特定环境中，多任务和并行处理可能是有利的。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利范围指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利范围来限制。

Claims (12)

1.一种设备控制方法，其特征在于，所述设备控制方法包括：

获取第一帧用户图像和第二帧用户图像，所述第一帧用户图像和所述第二帧用户图像中均包括有用户手部图像和用户躯干图像；

基于所述第一帧用户图像中的用户躯干图像创建第一坐标系，利用所述第一帧用户图像中的用户手部图像和所述第二帧用户图像中的用户手部图像在所述第一坐标系中的用户手部坐标，确定表征用户手部变化的第一向量；

确定所述第一向量映射在所述设备上的对应操作，并控制设备执行所述操作；

所述确定所述第一向量映射在所述设备上的对应操作，包括：

将所述第一向量映射到第二坐标系中，得到第二向量，所述第二坐标系为以设备屏幕上指定的点为原点建立的坐标系，所述第一坐标系和所述第二坐标系互为镜像；

确定所述第二向量在所述设备上的对应操作。

2.根据权利要求1所述的设备控制方法，其特征在于，所述利用所述第一帧用户图像中的用户手部图像和所述第二帧用户图像中的用户手部图像在所述第一坐标系中的用户手部坐标，确定表征用户手部变化的第一向量，包括：

确定设备当前所处的控制模式；

基于所述控制模式，利用所述第一帧用户图像中的用户手部图像和所述第二帧用户图像中的用户手部图像在所述第一坐标系中的用户手部坐标，确定表征用户手部变化的第一向量。

3.根据权利要求2所述的设备控制方法，其特征在于，所述控制模式为鼠标模式；

基于所述控制模式，利用所述第一帧用户图像中的用户手部图像和所述第二帧用户图像中的用户手部图像在所述第一坐标系中的用户手部坐标，确定表征用户手部变化的第一向量，包括：

确定第一帧用户图像中手指指尖的第一坐标，并确定第二帧用户图像中手指指尖的第二坐标；

以所述手指指尖的第一坐标作为起始点，并以所述手指指尖的第二坐标作为终止点，进行连线，确定表征用户手部变化的第一向量。

4.根据权利要求2所述的设备控制方法，其特征在于，所述控制模式为框选模式；

基于所述控制模式，利用所述第一帧用户图像中的用户手部图像和所述第二帧用户图像中的用户手部图像在所述第一坐标系中的用户手部坐标，确定表征用户手部变化的第一向量，包括：

确定第一帧用户图像中手掌中心点的第一坐标，并确定第二帧用户图像中手掌中心点的第二坐标；

以所述手掌中心点的第一坐标作为起始点，并以所述手掌中心点的第二坐标作为终止点，进行连线，确定表征用户手部变化的第一向量。

5.根据权利要求1所述的设备控制方法，其特征在于，控制设备执行所述操作，包括：

若控制模式为鼠标模式，控制设备屏幕上的鼠标按所述第二向量移动；

若控制模式为框选模式，按所述第二向量控制设备在所述设备的屏幕上进行区域框选处理，所述区域框选处理包括若确定所述第二向量的终点坐标落入框选区域，对所述框选区域进行高亮操作。

6.根据权利要求1所述的设备控制方法，其特征在于，将所述用户手部的第一向量映射到第二坐标系中，得到第二向量，包括：

将所述第一向量的方向作为第二向量的方向；

根据所述第一向量的长度以及深度距离，确定所述第二向量的长度，所述深度距离为用户距离屏幕的距离，且所述深度距离通过第一帧用户图像或第二帧用户图像确定；

在第二坐标系中根据所述第二向量的方向和所述第二向量的长度，确定所述第二向量。

7.根据权利要求6所述的设备控制方法，其特征在于，根据所述第一向量的长度以及深度距离，确定所述第二向量的长度，包括：

将第一向量的长度与深度距离相乘后再与系数相乘，得到所述第二向量的长度，所述系数根据设备的屏幕尺寸确定。

8.根据权利要求1至7中任意一项所述的设备控制方法，其特征在于，所述第一帧用户图像和第二帧用户图像通过双目摄像头拍摄；

获取第一帧用户图像和第二帧用户图像之后，所述设备控制方法还包括：

确定所述第一帧用户图像的深度距离和所述第二帧用户图像的深度距离；

若所述第一帧用户图像的深度距离与所述第二帧用户图像的深度距离的差值绝对值大于第一预设阈值，或所述第一帧用户图像的用户躯干图像中预设骨骼点与所述第二帧用户图像的用户躯干图像中预设骨骼点间的距离差值绝对值大于第二设定阈值，则所述第二帧用户图像为无效图像，重新选取下一帧用户图像作为第二帧用户图像。

9.根据权利要求1至7中任意一项所述的设备控制方法，其特征在于，利用所述第一帧用户图像中的用户手部图像和所述第二帧用户图像中的用户手部图像，在所述第一坐标系中的用户手部坐标，确定表征用户手部变化的第一向量，包括：

以所述第一帧用户图像中用户手部坐标作为手势起点，所述第二帧用户图像中用户手部坐标作为手势终点，确定所述手势起点与所述手势终点间的距离；

若所述手势起点与所述手势终点间的距离大于或等于第三设定阈值，则从所述手势起点到所述手势终点进行连线，确定表征用户手部变化的第一向量。

10.一种设备控制装置，其特征在于，所述设备控制装置包括：

获取模块，用于获取第一帧用户图像和第二帧用户图像，所述第一帧用户图像和所述第二帧用户图像中均包括有用户手部图像和用户躯干图像；

确定模块，用于基于所述第一帧用户图像中的用户躯干图像创建第一坐标系，利用所述第一帧用户图像中的用户手部图像和所述第二帧用户图像中的用户手部图像，在所述第一坐标系中的用户手部坐标，确定表征用户手部变化的第一向量；

设备控制模块，用于确定所述第一向量映射在所述设备上的对应操作，并控制设备执行所述操作；

所述设备控制模块采用如下方式确定所述第一向量映射在所述设备上的对应操作：

将所述第一向量映射到第二坐标系中，得到第二向量，所述第二坐标系为以设备屏幕上指定的点为原点建立的坐标系，所述第一坐标系和所述第二坐标系互为镜像；

确定所述第二向量在所述设备上的对应操作。

11.一种设备控制装置，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行权利要求1至9中任意一项所述的设备控制方法。

12.一种存储介质，其特征在于，所述存储介质中存储有指令，当所述存储介质中的指令由设备的处理器执行时，使得设备能够执行权利要求1至9中任意一项所述的设备控制方法。