CN105528059A - 一种三维空间手势操作方法及系统 - Google Patents

Abstract

本发明公开一种三维空间手势操作方法及系统，方法包括：体感设备检测到工作空间中有操作标识物的进入，将所述工作空间沿Z轴划分为多个空间区域；主机设备从所述体感设备获取所述操作标识物的Z轴位置作为操作Z轴位置，如果所述操作Z轴位置在其中一个空间区域的Z轴范围内，则以Z轴范围包括所述操作Z轴位置的空间区域作为所述操作标识物所处的操作区域；主机设备根据所述操作X轴位置和所述操作Y轴位置的变化，以及所述操作标识物所处的操作区域，执行相应的操作。本发明降低操作过程中由深度数据造成的误差积累，提高手势识别的正确率。

Description

一种三维空间手势操作方法及系统

技术领域

本发明涉及手势操作控制相关技术领域，特别是一种三维空间手势操作方法及系统。

背景技术

随着穿戴式设备逐步被消费者所认识，国内外著名企业开始积极参与消费领域便携式终端的研究。现有的便携式终端的操作通常依赖于机械按键、触摸屏或者语音交互方式。近年来各大厂商相继开发了手势操作技术，希望通过手势来控制便携式终端的技术。

目前主要的手势操作方式是基于视觉的手势识别的操作方法，包括手势图像采集装置和控制器，实现主要功能包括手势图像采集、图像数据录入、手势图像识别、操作指令执行。以Leapmotion公司推出运动控制系统Leap3D为例。当Leap3D启动时，即可生成一块4立方英尺的3D空间，在此空间内的手指动作都会被捕捉到。Leap3D由一块USB设备和一套由公司设计的复杂软件组成，USB设备中装有标准的传感器和摄像头，可以追踪多个物体并识别手势。

目前进行手势操作的方法为：通过摄像头拍摄用户的手势的视频，然后将拍摄视频转换为X,Y,Z轴的三维坐标直接映射，获得该手势对应的运动轨迹。由于目前软件和应用对Z轴信息需求量小，采用此类实时对XYZ轴映射的方法造成手势识别误差大，手势识别的正确率低。

发明内容

基于此，有必要针对现有技术的手势识别误差大、手势识别的正确率低的技术问题，提供一种三维空间手势操作方法及系统。

一种三维空间手势操作方法，包括：

体感设备检测到工作空间中有操作标识物的进入，所述工作空间采用包括X轴、Y轴和Z轴的三维空间坐标系标识所述工作空间内的空间位置，将所述工作空间沿Z轴划分为多个空间区域，每个所述空间区域所包括的Z轴位置作为所述空间区域的Z轴范围；

主机设备从所述体感设备获取所述操作标识物的Z轴位置作为操作Z轴位置，如果所述操作Z轴位置在其中一个空间区域的Z轴范围内，则以Z轴范围包括所述操作Z轴位置的空间区域作为所述操作标识物所处的操作区域；

主机设备从所述体感设备获取所述操作标识的X轴位置和Y轴位置作为操作X轴位置和操作Y轴位置，根据所述操作X轴位置和所述操作Y轴位置的变化，以及所述操作标识物所处的操作区域，执行相应的操作。

一种三维空间手势操作系统，包括：

操作标识物检测模块，用于体感设备检测到工作空间中有操作标识物的进入，所述工作空间采用包括X轴、Y轴和Z轴的三维空间坐标系标识所述工作空间内的空间位置，将所述工作空间沿Z轴划分为多个空间区域，每个所述空间区域所包括的Z轴位置作为所述空间区域的Z轴范围；

操作区域确定模块，用于主机设备从所述体感设备获取所述操作标识物的Z轴位置作为操作Z轴位置，如果所述操作Z轴位置在其中一个空间区域的Z轴范围内，则以Z轴范围包括所述操作Z轴位置的空间区域作为所述操作标识物所处的操作区域；

操作模块，用于主机设备从所述体感设备获取所述操作标识的X轴位置和Y轴位置作为操作X轴位置和操作Y轴位置，根据所述操作X轴位置和所述操作Y轴位置的变化，以及所述操作标识物所处的操作区域，执行相应的操作。

本发明将三维空间坐标安装Z轴分成多个空间区域，在每个空间区域采用X轴和Y轴的二维数据进行识别，从而降低用户学习和使用的不便，同时降低操作过程中由深度数据造成的误差积累，提高手势识别的正确率。

附图说明

图1为本发明一种三维空间手势操作方法的工作流程图；

图2为三维空间坐标系的示意图；

图3为工作区域的分割示意图；

图4为本发明一种三维空间手势操作系统的结构模块图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步详细的说明。

如图1所示为本发明一种三维空间手势操作方法的工作流程图，包括：

步骤S101，体感设备检测到工作空间中有操作标识物的进入，所述工作空间采用包括X轴、Y轴和Z轴的三维空间坐标系标识所述工作空间内的空间位置，将所述工作空间沿Z轴划分为多个空间区域，每个所述空间区域所包括的Z轴位置作为所述空间区域的Z轴范围；

步骤S102，主机设备从所述体感设备获取所述操作标识物的Z轴位置作为操作Z轴位置，如果所述操作Z轴位置在其中一个空间区域的Z轴范围内，则以Z轴范围包括所述操作Z轴位置的空间区域作为所述操作标识物所处的操作区域；

步骤S103，主机设备从所述体感设备获取所述操作标识的X轴位置和Y轴位置作为操作X轴位置和操作Y轴位置，根据所述操作X轴位置和所述操作Y轴位置的变化，以及所述操作标识物所处的操作区域，执行相应的操作。

如图2所示为三维空间坐标系的示意图，其包括X轴、Y轴和Z轴。体感设备可以采用摄像头和传感器获取进入工作空间的操作标识物的三维坐标。X轴、Y轴和Z轴的方向可以如图2所示的方向，然而，由于工作空间由体感设备确定，因此根据体感设备的不同设置，X轴、Y轴和Z轴的方向也可以互换。

操作标识物指的是进入工作空间以手势方式对主机设备进行控制的物体，例如手指或者指挥棒等。操作标识物的位置可以指的是操作标识物顶端的位置，或者操作标识物中心的位置，获取操作标识物的位置的具体方法可以采用现有的追踪识别技术实现。

本实施例，在步骤S102确定操作标识物所处的操作区域，然后对于同一操作区域，在步骤S103中，仅采用X轴和Y轴位置进行识别，从而减少识别误差，提高手势识别的正确率。

如图3所示为工作区域的分割示意图，在其中一个实施例中：

所述空间区域包括沿Z轴依次设置的启动空间区域31、活跃空间区域32和触摸空间区域33；

所述根据所述操作X轴位置和所述操作Y轴位置的变化，以及所述操作标识物所处的操作区域，执行相应的操作，具体包括：

在所述主机设备的显示装置上显示光标以及至少一个图标，所述光标在显示装置上的位置为光标位置，在所述操作区域内，所述光标位置跟随所述操作X轴位置和所述操作Y轴位置的变化而移动；

如果所述操作区域为启动空间区域31，则启动所述显示装置，且不对所述光标位置的图标执行操作；

如果所述操作区域为活跃空间区域32，则以所述操作Z轴位置离开所述启动空间区域的Z轴范围时的光标位置作为操作起始点位置，操作区域为活跃空间区域时的光标位置为活跃位置，对由所述操作起始点位置和所述活跃位置确定的范围内的图标执行操作；

如果所述操作区域为触摸空间区域33，则对所述光标位置的图标执行操作。

如图3所示为空间区域的示意图，作为一个最佳实施例，操作标识物为手指1，工作空间3由体感设备2确定，工作空间3包括三个空间区域，依次为启动空间区域31、活跃空间区域32和触摸空间区域33。手指1依次进入启动空间区域31、活跃空间区域32和触摸空间区域33。光标位置跟随手指1的X轴位置和Y轴位置变化而移动。

当手指1进入启动空间区域31，此时启动显示装置。然而，在启动空间区域31中，光标仅跟随手指1的移动，但不对光标位置的图标执行操作。

图标可以是文件图标或者应用程序快捷方式的图标。

当手指1继续进入活跃空间区域32，则将手指1从启动空间区域31离开并进入活跃空间区域32的位置作为操作起始点位置，然后光标跟随手指1在进入了活跃空间区域32后的位置进行移动，手指1进入活跃空间区域32后的光标位置为活跃位置，对由操作起始点位置和活跃位置确定的范围内的图标执行操作。操作起始点位置和活跃位置可以作为一个矩形的两个对角顶点的坐标确定一个矩形作为范围，并对该范围内的图标进行操作，操作可以为拖动图标或者选定多个图标。

当手指1继续进入触摸空间区域33，则对手指1进入触摸空间区域33时的光标位置的图标执行操作，操作可以是点击图标或者双击图标等。

本实施例将工作空间3分成三层，且不同层之中的操作各有不同，在同一层中，仅需要对手指1的X轴和Y轴位置进行识别，通过三层不同的操作，共同完成对图标的操作。

在其中一个实施例中，还包括：

当检测到所述操作标识物离开所述工作空间，则关闭所述显示装置。

本实施例中当操作标识物离开所述工作空间，则关闭所述显示装置，从而节省电源。

在其中一个实施例中，所述工作空间采用如下方式确定：

在由所述体感设备所确定的视场锥体中，确定与所述视场锥体相交的基准面，以所述基准面为底部生成一个长方体的空间作为所述工作空间。

如图3所示，其中，视场锥体21由体感设备2所确定，而基准面34与视场锥体21，优选地，基准面34与视场锥体21的底部平行，然后以该基准面34为底部形成工作空间3。通过设置不同的基准面34，可以灵活地得到不同大小的工作空间3，例如当设置较低的基准面34，则得到较小的工作空间3，而设置较高的基准面34，则得到较大的工作空间3。

在其中一个实施例中：

当所述体感设备检测到工作空间中有操作标识物的进入，在所述主机设备的显示装置上显示用于标识所述操作区域的标志。

该标志可以在显示装置上通过特殊图标显示，也可以通过改变光标在不同的操作区域中的显示方式实现，例如在不同的操作区域采用不同颜色的光标。

作为一个最佳的实施例，主机设备为采用Android系统的电子设备，例如采用Android操作系统的手机，其工作原理如下：

(1)手指首先处于工作空间外，此时不响应任何显示和操作，对应手机关屏，关机等现象。

(2)手指继续往Z轴方向深入，进入工作空间。此时可进行显示和操作。

首先进入启动空间区域。此时对应Android手机的操作方式为：将手指放在触摸屏上方，此时未接触触摸屏，移动手指可看到光标(或定义为图像A)在手机显示屏上移动，不进行其他操作，主要作用为找到操作起始点。

然后进入活跃空间区域。进入活跃空间区域在手机显示屏上由图像A变为图像B，显示进入活跃空间区域。此时对应Android手机的操作方式为：接触到手机触摸屏，可在起始点确定的前提下进行移动，滑动等连续操作。

最后进入触摸空间区域。此时对应Android手机进行操作，即进行选取、点击、双击等操作，进入触摸空间区域时在手机显示屏上由图像B变为图片C。

作为另一个最佳的实施例，主机设备为采用windows系统的电子设备，例如采用windows操作系统的个人电脑，其工作原理如下：

(1)手指首先处于工作区域外，此时不响应任何显示和操作，对应不接触鼠标，不开显示屏。

(2)手指继续往Z轴方向深入，进入工作区域。此时可进行显示和操作。

首先进入启动空间区域。此时对应PC的操作方式为：在显示屏上寻找光标，不进行其他操作，主要作用为找到操作起始点，此时光标为图像A。

然后进入活跃空间区域。进入活跃空间区域在显示屏上由图像A变为图像B，显示进入活跃空间区域。此时对应的操作方式为：移动鼠标，寻找操作点。

最后进入触摸空间区域。此时对应PC进行操作，即进行点击、双击、右键等操作，进入触摸空间区域时在手机显示屏上由图像B变为图片C。

如图4所示为本发明一种三维空间手势操作系统的结构模块图，包括：

操作标识物检测模块411，用于体感设备检测到工作空间中有操作标识物的进入，所述工作空间采用包括X轴、Y轴和Z轴的三维空间坐标系标识所述工作空间内的空间位置，将所述工作空间沿Z轴划分为多个空间区域，每个所述空间区域所包括的Z轴位置作为所述空间区域的Z轴范围；

操作区域确定模块412，用于主机设备从所述体感设备获取所述操作标识物的Z轴位置作为操作Z轴位置，如果所述操作Z轴位置在其中一个空间区域的Z轴范围内，则以Z轴范围包括所述操作Z轴位置的空间区域作为所述操作标识物所处的操作区域；

操作模块413，用于主机设备从所述体感设备获取所述操作标识的X轴位置和Y轴位置作为操作X轴位置和操作Y轴位置，根据所述操作X轴位置和所述操作Y轴位置的变化，以及所述操作标识物所处的操作区域，执行相应的操作。

在其中一个实施例中：

所述空间区域包括沿Z轴依次设置的启动空间区域、活跃空间区域和触摸空间区域；

所述根据所述操作X轴位置和所述操作Y轴位置的变化，以及所述操作标识物所处的操作区域，执行相应的操作，具体包括：在所述主机设备的显示装置上显示光标以及至少一个图标，所述光标在显示装置上的位置为光标位置，在所述操作区域内，所述光标位置跟随所述操作X轴位置和所述操作Y轴位置的变化而移动；

如果所述操作区域为启动空间区域，则启动所述显示装置，且不对所述光标位置的图标执行操作；

如果所述操作区域为活跃空间区域，则以所述操作Z轴位置离开所述启动空间区域的Z轴范围时的光标位置作为操作起始点位置，操作区域为活跃空间区域时的光标位置为活跃位置，对由所述操作起始点位置和所述活跃位置确定的范围内的图标执行操作；

如果所述操作区域为触摸空间区域，则对所述光标位置的图标执行操作。

在其中一个实施例中，还包括：

当检测到所述操作标识物离开所述工作空间，则关闭所述显示装置。

在其中一个实施例中，所述工作空间采用如下方式确定：

在由所述体感设备所确定的视场锥体中，确定与所述视场锥体相交的基准面，以所述基准面为底部生成一个长方体的空间作为所述工作空间。

在其中一个实施例中：

当所述体感设备检测到工作空间中有操作标识物的进入，在所述主机设备的显示装置上显示用于标识所述操作区域的标志。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种三维空间手势操作方法，其特征在于，包括：

体感设备检测到工作空间中有操作标识物的进入，所述工作空间采用包括X轴、Y轴和Z轴的三维空间坐标系标识所述工作空间内的空间位置，将所述工作空间沿Z轴划分为多个空间区域，每个所述空间区域所包括的Z轴位置作为所述空间区域的Z轴范围；

主机设备从所述体感设备获取所述操作标识物的Z轴位置作为操作Z轴位置，如果所述操作Z轴位置在其中一个空间区域的Z轴范围内，则以Z轴范围包括所述操作Z轴位置的空间区域作为所述操作标识物所处的操作区域；

主机设备从所述体感设备获取所述操作标识的X轴位置和Y轴位置作为操作X轴位置和操作Y轴位置，根据所述操作X轴位置和所述操作Y轴位置的变化，以及所述操作标识物所处的操作区域，执行相应的操作。

2.根据权利要求1所述的三维空间手势操作方法，其特征在于：

所述空间区域包括沿Z轴依次设置的启动空间区域、活跃空间区域和触摸空间区域；

所述根据所述操作X轴位置和所述操作Y轴位置的变化，以及所述操作标识物所处的操作区域，执行相应的操作，具体包括：

在所述主机设备的显示装置上显示光标以及至少一个图标，所述光标在显示装置上的位置为光标位置，在所述操作区域内，所述光标位置跟随所述操作X轴位置和所述操作Y轴位置的变化而移动；

如果所述操作区域为启动空间区域，则启动所述显示装置，且不对所述光标位置的图标执行操作；

如果所述操作区域为活跃空间区域，则以所述操作Z轴位置离开所述启动空间区域的Z轴范围时的光标位置作为操作起始点位置，操作区域为活跃空间区域时的光标位置为活跃位置，对由所述操作起始点位置和所述活跃位置确定的范围内的图标执行操作；

如果所述操作区域为触摸空间区域，则对所述光标位置的图标执行操作。

3.根据权利要求2所述的三维空间手势操作方法，其特征在于，还包括：

当检测到所述操作标识物离开所述工作空间，则关闭所述显示装置。

4.根据权利要求1所述的三维空间手势操作方法，其特征在于，所述工作空间采用如下方式确定：

在由所述体感设备所确定的视场锥体中，确定与所述视场锥体相交的基准面，以所述基准面为底部生成一个长方体的空间作为所述工作空间。

5.根据权利要求1所述的三维空间手势操作方法，其特征在于：

当所述体感设备检测到工作空间中有操作标识物的进入，在所述主机设备的显示装置上显示用于标识所述操作区域的标志。

6.一种三维空间手势操作系统，其特征在于，包括：

操作标识物检测模块，用于体感设备检测到工作空间中有操作标识物的进入，所述工作空间采用包括X轴、Y轴和Z轴的三维空间坐标系标识所述工作空间内的空间位置，将所述工作空间沿Z轴划分为多个空间区域，每个所述空间区域所包括的Z轴位置作为所述空间区域的Z轴范围；

操作区域确定模块，用于主机设备从所述体感设备获取所述操作标识物的Z轴位置作为操作Z轴位置，如果所述操作Z轴位置在其中一个空间区域的Z轴范围内，则以Z轴范围包括所述操作Z轴位置的空间区域作为所述操作标识物所处的操作区域；

操作模块，用于主机设备从所述体感设备获取所述操作标识的X轴位置和Y轴位置作为操作X轴位置和操作Y轴位置，根据所述操作X轴位置和所述操作Y轴位置的变化，以及所述操作标识物所处的操作区域，执行相应的操作。

7.根据权利要求6所述的三维空间手势操作系统，其特征在于：

所述空间区域包括沿Z轴依次设置的启动空间区域、活跃空间区域和触摸空间区域；

所述根据所述操作X轴位置和所述操作Y轴位置的变化，以及所述操作标识物所处的操作区域，执行相应的操作，具体包括：在所述主机设备的显示装置上显示光标以及至少一个图标，所述光标在显示装置上的位置为光标位置，在所述操作区域内，所述光标位置跟随所述操作X轴位置和所述操作Y轴位置的变化而移动；

如果所述操作区域为启动空间区域，则启动所述显示装置，且不对所述光标位置的图标执行操作；

如果所述操作区域为活跃空间区域，则以所述操作Z轴位置离开所述启动空间区域的Z轴范围时的光标位置作为操作起始点位置，操作区域为活跃空间区域时的光标位置为活跃位置，对由所述操作起始点位置和所述活跃位置确定的范围内的图标执行操作；

如果所述操作区域为触摸空间区域，则对所述光标位置的图标执行操作。

8.根据权利要求7所述的三维空间手势操作系统，其特征在于，还包括：

当检测到所述操作标识物离开所述工作空间，则关闭所述显示装置。

9.根据权利要求6所述的三维空间手势操作系统，其特征在于，所述工作空间采用如下方式确定：

在由所述体感设备所确定的视场锥体中，确定与所述视场锥体相交的基准面，以所述基准面为底部生成一个长方体的空间作为所述工作空间。

10.根据权利要求6所述的三维空间手势操作系统，其特征在于：

当所述体感设备检测到工作空间中有操作标识物的进入，在所述主机设备的显示装置上显示用于标识所述操作区域的标志。