CN109582136B - 三维窗口手势导航方法、装置、移动终端及存储介质 - Google Patents

Abstract

本发明公开了一种三维窗口手势导航方法，通过采集用户手掌的图片、以及用户手掌相应的位置信息；根据所述图片和所述位置信息，进行无效数据过滤，得到手势图形和手势坐标数据；根据所述手势图形和所述手势坐标数据，转化得到对应标准的动作执行数据；根据所述动作执行数据，对三维窗口进行相应操作并显示。本发明还公开了一种三维窗口手势导航装置、移动终端以及计算机可读存储介质。本发明使得用户可以利用日常的手势操作与虚拟设备进行交互，用户操作起来自然直观、简单便捷；符合大脑的思维方式，可以有效避免由于动作和显示的场景不协调所带来的眩晕感。

Description

三维窗口手势导航方法、装置、移动终端及存储介质

技术领域

本发明涉及计算机人机交互技术领域，尤其涉及一种三维窗口手势导航方法、装置、移动终端及存储介质。

背景技术

随着虚拟现实技术的发展和计算机性能的提高，为了让用户拥有便捷的人机交互方式，虚拟现实设备可以显示三维场景窗口，用户可以通过各种方式与虚拟现实设备进行交互。但现有的人机交互方式不够自然直观、便捷，容易让用户产生晕眩感。例如，在目前常见的产品中，用户可以通过具有定位功能的手柄与虚拟物体或者系统菜单进行交互，或者先通过射线点击虚拟物体、再通过按键选择进行交互。然而利用具有定位功能的手柄与虚拟物体或者系统菜单进行交互，当用户距离三维场景窗口较远时，用户需要走到近处操作，这显然不够便捷。先通过射线点击虚拟物体、再通过按键选择进行交互，本质上是遥控器的操作方式，对用户来说不够自然直观、便捷。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种三维窗口手势导航方法，旨在解决现有的人机交互方式不够自然直观、便捷的技术问题。

为实现上述目的，本发明提供一种三维窗口手势导航方法，包括：

采集用户手掌的图片、以及用户手掌相应的位置信息；

根据所述图片和所述位置信息，进行无效数据过滤，得到手势图形和手势坐标数据；

根据所述手势图形和所述手势坐标数据，转化得到对应标准的动作执行数据；

根据所述动作执行数据，对三维窗口进行相应操作并显示。

可选地，根据所述手势图形和所述手势坐标数据，转化得到对应标准的动作执行数据的步骤包括：

根据所述手势图形，判断所述用户是否为手掌张开；

若所述用户为手掌张开，则根据所述手势坐标数据，确定所述用户在三维窗口上选择窗口的第一执行动作；

根据所述第一执行动作，转换得到对应标准的动作执行数据。

可选地，所述根据所述手势图形和所述手势坐标数据，转化得到对应标准的动作执行数据的步骤包括：

当所述三维窗口中已选择窗口时，根据所述手势图形，判断所述用户是否由手掌张开变为手指闭拢；

若所述用户由手掌张开变为手指闭拢，则根据所述手势坐标数据，确定所述用户在所述三维窗口上锁定所述选择窗口的第二执行动作；

根据所述第二执行动作，转化得到对应标准的动作执行数据。

可选地，所述根据所述手势图形和所述手势坐标数据，转化得到对应标准的动作执行数据的步骤包括：

当所述三维窗口中已锁定窗口时，根据所述手势图形和所述手势坐标数据，判断所述用户是否保持手指闭拢在三维空间移动；

若所述用户保持手指闭拢在三维空间移动，根据所述手势坐标数据，确定所述用户在所述三维窗口上移动所述锁定窗口的第三执行动作；

根据所述第三执行动作，转化得到对应标准的动作执行数据。

可选地，所述根据所述手势图形和所述手势坐标数据，转化得到对应标准的动作执行数据的步骤包括：

当所述三维窗口中已锁定窗口时，根据所述手势图形和所述手势坐标数据，判断所述用户是否由手指闭拢逐渐变为手掌张开、同时快速向下移动；

若所述用户由手指闭拢逐渐变为手掌张开、同时快速向下移动，根据所述手势坐标数据，确定所述用户在所述三维窗口上删除所述锁定窗口的第四执行动作；

根据所述第四执行动作，转化得到对应标准的动作执行数据。

可选地，所述根据所述动作执行数据，对三维窗口进行相应操作并显示的步骤包括：

根据所述动作执行数据，确定所述用户手掌的运动轨迹、运动时长；

根据所述运动轨迹、所述运动时长，按照比例匹配对应的窗口运动轨迹、窗口移动速度；

根据所述窗口运动轨迹、所述窗口移动速度，对三维窗口进行相应操作并显示。

可选地，所述三维窗口手势导航方法还包括：

当所述三维窗口中选择窗口或锁定窗口后，对所述选择窗口或所述锁定窗口进行突出显示。

此外，为实现上述目的，本发明还提供一种三维窗口手势导航装置，所述三维窗口手势导航装置包括：

采集模块，用于采集用户手掌的图片、以及用户手掌相应的位置信息；

第一数据处理模块，用于根据所述图片和所述位置信息，进行无效数据过滤，得到手势图形和手势坐标数据；

第二数据处理模块，用于根据所述手势图形和所述手势坐标数据，转化得到对应标准的动作执行数据；

窗口显示模块，用于根据所述动作执行数据，对三维窗口进行相应操作并显示。

此外，为实现上述目的，本发明还提供一种移动终端，所述移动终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的三维窗口手势导航程序，所述三维窗口手势导航程序被所述处理器执行时实现如上所述的三维窗口手势导航方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有三维窗口手势导航程序，所述三维窗口手势导航程序被处理器执行时实现如上所述的三维窗口手势导航方法的步骤。

本发明实施例提出的一种三维窗口手势导航方法，通过采集用户手掌的图片、以及用户手掌相应的位置信息；根据所述图片和所述位置信息，进行无效数据过滤，得到手势图形和手势坐标数据；根据所述手势图形和所述手势坐标数据，转化得到对应标准的动作执行数据；根据所述动作执行数据，对三维窗口进行相应操作并显示。通过识别出用户手势，然后根据用户手势对三维窗口作出对应显示窗口的响应，使得用户可以利用日常的手势操作与虚拟设备进行交互，用户操作起来自然直观、简单便捷；用户日常的手势操作转化为显示窗口的响应，用户眼睛能直观看到窗口的变化，手眼协调，符合大脑的思维方式，可以有效避免由于动作和显示的场景不协调所带来的眩晕感。

附图说明

图1是本发明实施例一个可选的移动终端的硬件结构示意图；

图2为为本发明三维窗口手势导航方法第一实施例的流程示意图；

图3为用户手掌张开选择窗口的一场景示意图；

图4为突出显示窗口的一场景示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。

终端可以以各种形式来实施。例如，本发明中描述的终端可以包括诸如手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(Personal Digital Assistant，PDA)、便捷式媒体播放器(Portable Media Player，PMP)、导航装置、可穿戴设备、智能手环、计步器等移动终端，以及诸如数字TV、台式计算机等固定终端。

后续描述中将以移动终端为例进行说明，本领域技术人员将理解的是，除了特别用于移动目的的元件之外，根据本发明的实施方式的构造也能够应用于固定类型的终端。

如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

尽管图1未示出，可选地，终端还可以包括摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块、蓝牙模块等等，在此不再赘述。

本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及三维窗口手势导航程序。

在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的三维窗口手势导航程序，并执行以下操作：

采集用户手掌的图片、以及用户手掌相应的位置信息；

根据所述图片和所述位置信息，进行无效数据过滤，得到手势图形和手势坐标数据；

根据所述手势图形和所述手势坐标数据，转化得到对应标准的动作执行数据；

根据所述动作执行数据，对三维窗口进行相应操作并显示。

进一步地，处理器1001可以调用存储器1005中存储的三维窗口手势导航程序，还执行以下操作：

根据所述手势图形，判断所述用户是否为手掌张开；

若所述用户为手掌张开，则根据所述手势坐标数据，确定所述用户在三维窗口上选择窗口的第一执行动作；

根据所述第一执行动作，转换得到对应标准的动作执行数据。

进一步地，处理器1001可以调用存储器1005中存储的三维窗口手势导航程序，还执行以下操作：

当所述三维窗口中已选择窗口时，根据所述手势图形，判断所述用户是否由手掌张开变为手指闭拢；

若所述用户由手掌张开变为手指闭拢，则根据所述手势坐标数据，确定所述用户在所述三维窗口上锁定所述选择窗口的第二执行动作；

根据所述第二执行动作，转化得到对应标准的动作执行数据。

进一步地，处理器1001可以调用存储器1005中存储的三维窗口手势导航程序，还执行以下操作：

当所述三维窗口中已锁定窗口时，根据所述手势图形和所述手势坐标数据，判断所述用户是否保持手指闭拢在三维空间移动；

若所述用户保持手指闭拢在三维空间移动，根据所述手势坐标数据，确定所述用户在所述三维窗口上移动所述锁定窗口的第三执行动作；

根据所述第三执行动作，转化得到对应标准的动作执行数据。

进一步地，处理器1001可以调用存储器1005中存储的三维窗口手势导航程序，还执行以下操作：

当所述三维窗口中已锁定窗口时，根据所述手势图形和所述手势坐标数据，判断所述用户是否由手指闭拢逐渐变为手掌张开、同时快速向下移动；

若所述用户由手指闭拢逐渐变为手掌张开、同时快速向下移动，根据所述手势坐标数据，确定所述用户在所述三维窗口上删除所述锁定窗口的第四执行动作；

根据所述第四执行动作，转化得到对应标准的动作执行数据。

进一步地，处理器1001可以调用存储器1005中存储的三维窗口手势导航程序，还执行以下操作：

根据所述动作执行数据，确定所述用户手掌的运动轨迹、运动时长；

根据所述运动轨迹、所述运动时长，按照比例匹配对应的窗口运动轨迹、窗口移动速度；

根据所述窗口运动轨迹、所述窗口移动速度，对三维窗口进行相应操作并显示。

进一步地，处理器1001可以调用存储器1005中存储的三维窗口手势导航程序，还执行以下操作：

当所述三维窗口中选择窗口或锁定窗口后，对所述选择窗口或所述锁定窗口进行突出显示。

基于上述硬件结构，提出本发明方法各个实施例。

参照图2，在本发明三维窗口手势导航方法第一实施例中，三维窗口手势导航方法包括：

步骤S10，采集用户手掌的图片、以及用户手掌相应的位置信息；

深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。深度学习是无监督学习的一种。深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。深度学习的概念由Hinton等人于2006年提出。基于深信度网提出非监督贪心逐层训练算法，为解决深层结构相关的优化难题带来希望，随后提出多层自动编码器深层结构。此外Lecun等人提出的卷积神经网络是第一个真正多层结构学习算法，它利用空间相对关系减少参数数目以提高训练性能。

本发明实施例的移动终端基于人工智能机器深度学习方法，经过深度学习，可以识别出用户的手势，以及用户手势的运动变化。采用机器深度学习的方法有助于提升手势识别的准确率，并且可以根据现场的环境进一步训练，以提升现场的识别准确率。当用户伸出手掌时，移动终端通过摄像头采集用户手掌的图片、以及用户手掌的位置信息；并在用户手掌运动时，采集每个时刻的用户手掌图片、以及各个时刻用户手掌的位置信息。其中，手掌运动是指手掌整体移动或者手掌本身变化，如手掌上下移动、或者手掌由张开变为手指闭拢。

其中，位置信息，是指在各个时刻用户手掌在三维空间的位置，移动终端将用户手掌位置信息转化为三维坐标数据，以便进一步分析用户手掌的运动情况。

步骤S20，根据图片和位置信息，进行无效数据过滤，得到手势图形和手势坐标数据；

移动终端采集到用户手掌的图片和位置信息后，首先将明显不是预设手势的图片、以及该图片对应的手掌位置信息过滤掉，剩下有效图片和有效坐标数据；然后分析中的手掌形状得到手势图形，将有效图片对应的用户手掌的位置信息转化成可以执行的三维坐标数据；最后得到移动终端可以执行处理的手势图形和手势坐标数据。

其中，手势图形，是指将用户利用手掌作出的各种形状或者手势、转化成移动终端可处理的图形数据，并且这些图形数据符合预设的形状或手势。移动终端可以根据这些手势图形，经进一步数据处理，在三维窗口上对虚拟窗口作出对应的变化操作。

在本实施例中，三维窗口的显示位置、用户手掌位置都可以通过三维坐标表示。移动终端中建立有三维坐标模型，三维坐标模型的坐标数据可以表示三维窗口对应的显示位置、以及用户手掌位置。用户手掌在三维空间移动的方向、距离都相同的情况下，用户与三维窗口距离不同时，得到的手势坐标数据不同；在用户手掌移动的方向、距离都相同的情况下，移动终端可以根据采集到手掌图片距离的不同，确定不同的手势坐标数据。如，用户与三维窗口距离2米时，用户手掌移动4米；用户与三维窗口距离4米时，用户手掌移动2米；如果两次手掌移动都在同一方向上，那么得到的手势坐标数据相同。

手势坐标数据，是指根据用户手掌的位置信息，采用移动终端中三维坐标模型，用坐标数据的形式表示用户手掌位置；表示用户手掌位置的坐标数据就是手势坐标数据。

步骤S30，根据手势图形和手势坐标数据，转化得到对应标准的动作执行数据；

根据手势图形和手势坐标数据，分析出用户手掌的运动情况，运动情况包括手掌的移动情况、手掌的形状变化情况。然后根据用户手掌的运动情况，确定用户想要对三维窗口进行的执行动作；在确定用户想要对三维窗口进行的执行动作后，将用户想要的执行动作转化成移动终端可以执行的数据。

其中，动作执行数据，是指用户手掌的运动轨迹和运动时长。移动终端通过动作执行数据可实现：虚拟窗口的选择、虚拟窗口大小变化、虚拟窗口位置变化、虚拟窗口变化速度等等。具体地，移动终端根据手势图形确定三维窗口的操作动作的数据、根据手势坐标数据确定三维窗口操作位置的数据、根据手势坐标数据的变化速度确定三维窗口操作速度的数据。移动终端根据这些数据，可以对三维窗口中的虚拟窗口进行相应的操作，如移动虚拟窗口、放大虚拟窗口，使三维窗口的变化符合用户手势的操作。

步骤S40，根据动作执行数据，对三维窗口进行相应操作并显示。

移动终端根据动作执行数据，确定用户手掌的运动轨迹、以及运动时长，匹配；根据用户手掌的运动轨迹、以及运动时长，按照比例匹配对应的窗口运动轨迹、窗口移动速度；在三维窗口中，对对应的虚拟窗口作出与用户手势对应的操作，如移动虚拟窗口、放大虚拟窗口，使得三维窗口操作变化的速度与用户手掌运动或变化速度的速度相对应。

为了方便理解，举例进行说明。例如，用户手掌伸出并由手掌张开变为手指闭拢并向下移动，用户想要对三维窗口执行的动作为：选择并锁定手掌张开时手心对准的虚拟窗口，并将锁定的虚拟窗口向下移动。移动终端检测到用户手掌后，通过摄像头采集用户手掌的图片、用户手掌相应的位置；然后根据采集到的用户手掌图片，判断出用户的手势，根据手掌位置的变化情况，过滤掉一些明显不符合移动终端预设的手势和手掌运动；根据用户的手势和手掌位置的变化，确定用户想要执行的动作为：选择并锁定虚拟窗口，并将锁定的虚拟窗口向下移动；再根据手势坐标数据确定锁定的虚拟窗口向下移动的幅度；移动终端将用户想要执行的这些动作转化为可以执行的数据，并在三维窗口上执行并显示：手掌张开时，选中手心对准的虚拟窗口；手指并拢时，锁定选中的虚拟窗口；手掌向下移动时，按照与用户手掌移动的速度匹配的速度向下移动。

在本实施例中，当检测到用户手掌时，采集用户手掌的图片、以及用户手掌相应的位置信息；根据图片和位置信息，进行无效数据过滤，得到手势图形和手势坐标数据；根据手势图形和手势坐标数据，转化得到对应标准的动作执行数据；根据动作执行数据，对三维窗口进行相应操作并显示。使得用户可以利用日常的手势操作与虚拟设备进行交互，用户操作起来自然直观、简单便捷；用户日常的手势操作转化为三维窗口进行相应操作并显示，用户眼睛能直观看到三维窗口的变化，手眼协调，符合大脑的思维方式，可以有效避免由于动作和显示的场景不协调所带来的眩晕感。

可选地，步骤S40包括：

步骤S41，根据动作执行数据，确定所述用户手掌的运动轨迹、运动时长；

移动终端通过采集用户手掌相应的位置信息，处理得到各个时刻手势坐标数据后，确定用户手掌的运动轨迹，以及用户手掌移动或者手势变化的运动时长。

运动轨迹，是指用户在对三维窗口进行手势操作时，用户手掌移动的轨迹。

运动时长，是指用户利用手掌进行手势操作时的操作时长，操作时长包括手掌的移动时长、手掌的形状变化时长。

步骤S42，根据运动轨迹、运动时长，按照比例匹配对应的窗口运动轨迹、窗口移动速度；

在确定用户手掌的运动轨迹，以及用户手掌移动或者手势变化的运动时长后；可以利用三维坐标的坐标数据表示用户手掌的运动轨迹，然后根据对应的三维坐标数据确定出三维窗口的窗口移动轨迹；用户手掌移动或者手势变化的运动时长，就是三维窗口按照窗口移动轨迹变化所需的时长，根据三维窗口的窗口运动轨迹、三维窗口按照窗口移动轨迹变化所需的时长，可以确定三维窗口的窗口移动速度。

窗口运动轨迹，是指三维窗口中，虚拟窗口的运动及变化轨迹，窗口运动轨迹与用户手掌的运动轨迹相匹配。

窗口移动速度，是指三维窗口中，虚拟窗口的变化速度，包括：选择速度、锁定速度、移动速度等；窗口移动速度与用户手掌的移动速度相匹配。

为了方便理解，举例进行说明。例如，用户在距离三维窗口一定距离时，手掌移动20厘米，即可将虚拟窗口B从三维窗口的最左上方平行移动到三维窗口的最右上方，虚拟窗口B在三维窗口移动的距离为2米；当用户用时为2秒时，手掌的移动速度为0.1米/秒，虚拟窗口B的移动速度需为1米/秒；当用户用时为1秒时，手掌的移动速度为0.2米/秒，虚拟窗口B的移动速度需为2米/秒。

步骤S43，根据窗口运动轨迹、窗口移动速度，对三维窗口进行相应操作并显示。

按照匹配的窗口运动轨迹、以及窗口移动移动速度，根据用户手势作出的操作，对三维窗口作出与用户手势操作对应操作，并在三维窗口上显示操作变化的过程。

为了方便理解，通过例子进行说明。例如，用户在2秒内通过手掌操作将三维窗口中的虚拟窗口A从中上方向三维窗口中间移动，那么三维窗口中显示对应的虚拟窗口A也应该在2秒内完成从左向中间移动。当用户离三维窗口较近时，用户手掌在空中滑动了40厘米，用了2秒，完成将三维窗口中的虚拟窗口A从中上方向三维窗口中间移动；当用户离三维窗口较远时，用户手掌在空中滑动了20厘米，也用了2秒，完成将三维窗口中的虚拟窗口A从中上方向三维窗口中间移动。虽然两次用户手掌的移动速度不相同，但是在三维窗口中虚拟窗口A的移动速度都一样。这更符合人的大脑思维，使用户可以达到手眼协调。

在本实施例中，通过用户手掌相应的位置信息，处理得到各个时刻手势坐标数据后，从而确定用户手掌的运动轨迹、用户手掌移动的运动时长；然后根据用户手掌的运动轨迹、用户手掌移动的运动时长确定三维窗口的窗口运动轨迹、窗口移动速度；使得用户手掌的操作速度与三维窗口的变化速度匹配，符合真实世界的大脑认知；避免了手眼不协调给用户带来的晕眩感，大大地提升了用户的使用舒适感。

进一步地，在本发明三维窗口手势导航方法第二实施例中，步骤S30包括：

步骤A1，根据手势图形判断用户是否为手掌张开；

移动终端在通过采集用户手掌的图片、用户手掌相应的位置信息，处理得到各个时刻的手势图形、各个时刻手势坐标数据后；根据手势图形判断用户的手势是否为手掌张开。

其中，用户可以随意改变手指的弯曲度和弯曲方向，从而形成不同的手势。手掌张开，是指用户的一种手势，用户手指弯曲后与掌心平面夹角大于一定角度，且手掌大致处于打开、五指无并拢或部分手指并拢的状态。这里指的手掌张开可以是手掌掌心、五指完全打开，掌心与手指在同一平面的状态；也可以是手掌打开、部分手指并拢，掌心与手指在同一平面的状态；还可以是掌心与手指不在同一平面，五指完全打开或部分手指并拢的状态等；是比较符合用户日常使用的一个手势，符合大脑思维。

步骤A2，若用户为手掌张开，则根据手势坐标数据，确定用户在三维窗口上选择窗口的第一执行动作；

参照图3，图3为用户手掌张开选择窗口的一场景示意图。用户利用手掌张开的手势，对准三维窗口，用户手掌手心对准三维窗口的位置，就是用户选择的窗口的所在位置。如果用户的手势为手掌张开那么根据手势坐标数据，确定用户手心的指向位置，以便进一步确定用户想要选择操作的对象；从而确定用户在三维窗口上选择窗口的第一执行动作。例如，用户手掌张开，手心指向虚拟窗口C，那么移动终端在采集用户手掌的图片、用户手掌相应的位置信息后，处理确定手势图形为手掌张开，移动终端将根据手势坐标数据确定用户想要在三维窗口上执行的操作为：选择窗口为虚拟窗口C。如果用户的手势不是手掌张开，那么确定用户不是想要执行选择窗口的操作。

第一执行动作，是指用户利用手掌张开的手势，手心指向三维窗口、并通过移动手掌使手心指向三维窗口的不同位置的动作；以实现通过改变手心指向位置在三维窗口上选择窗口。移动终端需要确定用户的手势动作、以及用户手势运动变化的速度、运动轨迹。

步骤A3，根据第一执行动作，转换得到对应标准的动作执行数据。

为了方便理解，接步骤A2中的例子，继续作说明。移动终端确定用户想要在三维窗口上执行的操作为：选择窗口为虚拟窗口C、用户的操作轨迹后；根据用户选择虚拟窗口C的操作，转化成移动终端可以执行的数据；移动终端执行转化后的数据，即可利用与用户操作速度、轨迹匹配的动作，在三维窗口进行选择虚拟窗口C的操作、并显示。

在本实施例中，通过根据手势图形和手势坐标数据，在用户为手掌张开时，确定用户在三维窗口上选择窗口的第一执行动作；然后将用户在三维窗口上选择窗口的第一执行动作转换成移动终端可以执行的数据，移动终端执行转化后的数据，即可利用与用户操作速度、轨迹匹配的动作，在三维窗口进行选择窗口的操作、并显示；使得用户可以利用日常的手势就可以对三维窗口进行选择操作，操作简单便捷，符合人脑的日常思维；避免了用户的操作动作与窗口变化不协调，造成晕眩感；提高了三维场景的舒适度。

可选地，步骤S30包括：

步骤B1，当三维窗口中已选择窗口时，根据手势图形，判断用户是否由手掌张开变为手指闭拢；

当三维窗口中已经选择窗口时，根据手势图形，判断用户的手势是否从用户手指弯曲后与掌心平面夹角大于一定角度，且手掌大致处于打开、五指无并拢或部分手指并拢的状态，变为五指完全并拢的状态，从而判断用户的手势是否由手掌张开变为手指闭拢。

其中，手指闭拢，是指用户的一种手势，五指的每个手指至少与另外四个手指中的一个手指接触、手掌五指大致处于闭拢靠在一起的状态；是比较符合用户日常的一个手势，符合大脑思维。

步骤B2，若用户由手掌张开变为手指闭拢，则根据手势坐标数据，确定用户在三维窗口上锁定所述选择窗口的第二执行动作；

如果用户的手势由手掌张开变为手指闭拢，那么根据各个时刻的手势坐标数据，确定用户由手掌张开变为手指闭拢前一刻、用户手掌张开手心的指向位置；用户手心的指向位置就是所要锁定的窗口，即用户锁定的窗口是用户由手掌张开变为手指闭拢前一刻，处于手掌张开时手心的指向位置所选择的窗口；从而确定用户在三维窗口上锁定选择的窗口的第二执行动作。如果用户的手势不是由手掌张开变为手指闭拢，那么确定用户不是想要执行锁定窗口的操作。

第二执行动作，是指用户利用手掌张开的手势，手心指向三维窗口、在三维窗口上选择窗口后，手指闭拢的动作，以实现锁定已选择的窗口。移动终端需要确定用户的手势动作、以及用户手势运动变化的速度、运动轨迹。

步骤B3，根据第二执行动作，转化得到对应标准的动作执行数据。

为了方便理解，举例进行说明。例如，三维窗口中已经选择了虚拟窗口C，选择虚拟窗口C时用户的手势为手掌张开；此时用户将手势由手掌张开，如图3所示，变为手指并拢；三维窗口中的虚拟窗口C由选择状态变为锁定状态。用户将虚拟窗口C由选择状态操作成为锁定状态的动作，就是用户在三维窗口上锁定选择的窗口的第二执行动作，这里第二执行动作，包括用户手势的变化运动速度、运动轨迹；移动终端根据第二执行动作转换得到可以执行的数据，移动终端执行转化后的数据，即可利用与用户操作速度、轨迹匹配的动作，在三维窗口进行锁定虚拟窗口C的操作、并显示。

在本实施例中，通过根据手势图形和手势坐标数据，在用户由手掌张开变为手指闭拢时，确定用户在三维窗口上锁定所选择的窗口的第二执行动作；然后将用户在三维窗口上锁定所选择的窗口的第二执行动作转换成移动终端可以执行的数据，移动终端执行转化后的数据，即可利用与用户操作速度、轨迹匹配的动作，在三维窗口进行锁定窗口的操作、并显示；使得用户可以利用日常的手势就可以对三维窗口进行选择并锁定操作，操作简单便捷，符合人脑的日常思维；避免了用户的操作动作与窗口变化不协调，造成晕眩感；提高了三维场景的舒适度。

可选地，三维窗口手势导航方法还包括：

当三维窗口中选择窗口或锁定窗口后，对选择窗口或锁定窗口进行突出显示。

三维窗口中可以显示用户手掌的指向位置，如，在三维窗口上用箭头所在位置代表用户手掌的指向位置，以便用户可以明确当前操作的指向位置。如图4所示，图4为突出显示窗口的一场景示意图。当三维窗口中选择窗口后，对选择的窗口进行突出显示；当三维窗口中锁定窗口后，对锁定的窗口进行突出显示；当三维窗口中锁定窗口后，再选择窗口时，对锁定的窗口进行突出显示，以区别与锁定的窗口的突出显示方式，对再选择的窗口突出显示。其中，突出显示，可以是颜色不同的突出、高亮突出等等方式。同时，为了更符合三维立体显示，窗口离用户越远、窗口显示越小，窗口离用户越近、窗口显示越大；离用户远的窗口会被离用户近的窗口遮住。

在本实施例中，对选择的窗口、锁定的窗口进行突出显示，使得用户在进行操作的同时可以直观看到三维窗口的变化，用户可以明确已选择的窗口、已锁定的窗口等；使得用户可以感知到用户手掌的指向位置，以进一步进行操作。操作方法简单、便捷，且符合用户的大脑思维；为用户提高了舒适度。

进一步地，在本发明三维窗口手势导航方法第三实施例中，步骤S30包括：

步骤C1，当三维窗口中已锁定窗口时，根据手势图形和手势坐标数据，判断用户是否保持手指闭拢在三维空间移动；

用户保持手指闭拢在三维空间左右上下移动时，可以实现对应在三维窗口中，左右上下移动锁定的窗口。用户保持手指闭拢在三维空间向用户后方方向移动时，可以实现对应在三维窗口放大锁定的窗口。在放大窗口的状态下，锁定窗口后，用户保持手指闭拢在三维空间向用户前方方向移动时，可以实现对应在三维窗口正在放大的窗口进行还原、还原直至原来的大小和位置。当三维窗口中已锁定窗口时，根据手势图形和手势坐标数据，判断用户的手势是否保持手指闭拢在三维空间前后左右上下移动。

步骤C2，若用户保持手指闭拢在三维空间移动，根据手势图形和手势坐标数据，确定用户在三维窗口上移动所述锁定窗口的第三执行动作；

如果用户的手势保持手指闭拢在三维空间前后左右上下移动，那么根据各个时刻的手势坐标数据，确定用户保持手指闭拢在三维空间前后左右上下移动的速度和移动的幅度；用户保持手指闭拢在三维空间前后左右上下移动的速度和移动的幅度，就是用户在三维窗口上移动锁定的窗口的第三执行动作。如果用户的手势不是保持手指闭拢在三维空间前后左右上下移动，那么确定用户不是想要执行移动、放大、或还原窗口的操作。

第三执行动作，是指用户利用手掌张开的手势，手心指向三维窗口在三维窗口上选择窗口、手指闭拢锁定已选择的窗口后，保持手指闭拢在三维空间前后左右上下移动的动作，以实现对锁定的窗口前后左右上下移动。移动终端需要确定用户的手势动作、以及用户手势运动变化的速度、运动轨迹。

步骤C3，根据第三执行动作，转化得到对应标准的动作执行数据。

如果第三执行动作是用户保持手指闭拢在前后移动，那么转化得到对应标准的动作执行数据，移动终端执行动作执行数据后，即可利用与用户操作速度、轨迹匹配的动作，在三维窗口中进行前后移动锁定的窗口的操作；如果第三执行动作是用户保持手指闭拢在左右移动，那么转化得到对应标准的动作执行数据，移动终端执行动作执行数据后，即可利用与用户操作速度、轨迹匹配的动作，在三维窗口中进行左右移动锁定的窗口的操作；如果第三执行动作是用户保持手指闭拢在上下移动，那么转化得到对应标准的动作执行数据，移动终端执行动作执行数据后，即可利用与用户操作速度、轨迹匹配的动作，在三维窗口中进行上下移动锁定的窗口的操作；在三维窗口中的操作速度、运动轨迹都与用户手势操作的速度、运动轨迹相匹配。

在本实施例中，通过根据手势图形和手势坐标数据，在锁定窗口状态下、用户保持手指闭拢在前后左右上下移动时，确定用户在三维窗口上移动锁定的窗口的第三执行动作；然后将用户在三维窗口上移动锁定的窗口的第三执行动作转换成移动终端可以执行的数据，移动终端执行转化后的数据，即可利用与用户操作速度、轨迹匹配的动作，在三维窗口进行移动、放大、还原窗口的操作、并显示；使得用户可以利用日常的手势就可以对三维窗口进行选择、锁定、移动、放大、还原等操作，操作简单便捷，符合人脑的日常思维；避免了用户的操作动作与窗口变化不协调，造成晕眩感；提高了三维场景的舒适度。

可选地，步骤S30包括：

步骤D1，当三维窗口中已锁定窗口时，根据手势图形和手势坐标数据，判断用户是否由手指闭拢逐渐变为手掌张开、同时快速向下移动；

在三维窗口中已锁定窗口状态下、根据手势图形和手势坐标数据，判断用户的手势是否由手指闭拢逐渐变为手掌张开、同时在三维空间快速向下移动。为了便于理解，用户由手指闭拢逐渐变为手掌张开、同时快速向下移动的动作，可以理解为现实世界中，人手中抓住一个物体向下扔掉的动作。

步骤D2，若用户由手指闭拢逐渐变为手掌张开、同时快速向下移动，根据手势坐标数据，确定用户在三维窗口上删除所述锁定窗口的第四执行动作；

如果用户的手势由手指闭拢逐渐变为手掌张开、同时快速向下移动，那么根据各个时刻的手势坐标数据，确定用户想要执行的动作是删除当前锁定的窗口，从而确定用户在三维窗口上删除锁定的窗口的第四执行动作。如果用户的手势不是由手指闭拢逐渐变为手掌张开、同时快速向下移动，那么确定用户不是想要执行删除窗口的操作。

第四执行动作，是指在窗口锁定的状态下、用户由手指闭拢逐渐变为手掌张开、同时快速向下移动的动作，以实现对当前锁定的窗口进行删除。移动终端需要确定用户的手势动作、以及用户手势运动变化的速度、运动轨迹。步骤D3，根据第四执行动作，转化得到对应标准的动作执行数据。

为了方便理解，举例进行说明。例如，用户在选择窗口并锁定窗口后，手势为手指闭拢的状态，用户在手指闭拢逐渐变为手掌张开、同时快速向下移动；移动终端根据用户手指闭拢逐渐变为手掌张开、同时快速向下移动的动作，确定需要对三维窗口执行的动作为删除正在锁定的窗口，转化得到对应标准的动作执行数据，移动终端执行动作执行数据后，即可利用与用户操作速度、轨迹匹配的动作，在三维窗口中删除正在锁定的窗口、并显示。

在本实施例中，通过根据手势图形和手势坐标数据，在锁定窗口状态下，用户在手指闭拢逐渐变为手掌张开、同时快速向下移动时，确定用户在三维窗口上删除锁定的窗口的第四执行动作；然后将用户在三维窗口上删除锁定的窗口的第四执行动作转换成移动终端可以执行的数据，移动终端执行转化后的数据，即可利用与用户操作速度、轨迹匹配的动作，在三维窗口进行删除锁定的窗口的操作、并显示；使得用户可以利用日常的手势就可以对三维窗口进行选择、锁定、删除等操作，用户可以快速地删除不需要的窗口数据，操作简单便捷，符合人脑的日常思维；避免了用户的操作动作与窗口变化不协调，造成晕眩感；提高了三维场景的舒适度。

此外，本发明实施例还提出一种三维窗口手势导航装置，三维窗口手势导航装置包括：

采集模块，用于采集用户手掌的图片、以及用户手掌相应的位置信息；

第一数据处理模块，用于根据所述图片和所述位置信息，进行无效数据过滤，得到手势图形和手势坐标数据；

第二数据处理模块，用于根据所述手势图形和所述手势坐标数据，转化得到对应标准的动作执行数据；

窗口显示模块，用于根据所述动作执行数据，对三维窗口进行相应操作并显示。

可选地，第二数据处理模块还用于：

根据所述手势图形，判断所述用户是否为手掌张开；

若所述用户为手掌张开，则根据所述手势坐标数据，确定所述用户在三维窗口上选择窗口的第一执行动作；

根据所述第一执行动作，转换得到对应标准的动作执行数据。

可选地，第二数据处理模块还用于：

当所述三维窗口中已选择窗口时，根据所述手势图形，判断所述用户是否由手掌张开变为手指闭拢；

若所述用户由手掌张开变为手指闭拢，则根据所述手势坐标数据，确定所述用户在所述三维窗口上锁定所述选择窗口的第二执行动作；

根据所述第二执行动作，转化得到对应标准的动作执行数据。

可选地，第二数据处理模块还用于：

当所述三维窗口中已锁定窗口时，根据所述手势图形和所述手势坐标数据，判断所述用户是否保持手指闭拢在三维空间移动；

若所述用户保持手指闭拢在三维空间移动，根据所述手势坐标数据，确定所述用户在所述三维窗口上移动所述锁定窗口的第三执行动作；

根据所述第三执行动作，转化得到对应标准的动作执行数据。

可选地，第二数据处理模块还用于：

当所述三维窗口中已锁定窗口时，根据所述手势图形和所述手势坐标数据，判断所述用户是否由手指闭拢逐渐变为手掌张开、同时快速向下移动；

若所述用户由手指闭拢逐渐变为手掌张开、同时快速向下移动，根据所述手势坐标数据，确定所述用户在所述三维窗口上删除所述锁定窗口的第四执行动作；

根据所述第四执行动作，转化得到对应标准的动作执行数据。

可选地，窗口显示模块还用于：

根据所述动作执行数据，确定所述用户手掌的运动轨迹、运动时长；

根据所述运动轨迹、所述运动时长，按照比例匹配对应的窗口运动轨迹、窗口移动速度；

根据所述窗口运动轨迹、所述窗口移动速度，对三维窗口进行相应操作并显示。

可选地，窗口显示模块还用于：

当所述三维窗口中选择窗口或锁定窗口后，对所述选择窗口或所述锁定窗口进行突出显示。

此外，本发明实施例还提出一种移动终端，移动终端包括：存储器1005、处理器1001及存储在存储器1005上并可在处理器1001上运行的三维窗口手势导航程序，三维窗口手势导航程序被处理器1001执行时实现上述的三维窗口手势导航方法各实施例的步骤。

此外，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者一个以上程序，所述一个或者一个以上程序还可被一个或者一个以上的处理器执行以用于实现上述三维窗口手势导航方法各实施例的步骤。

本发明移动终端和可读存储介质(即计算机可读存储介质)的具体实施方式的拓展内容与上述三维窗口手势导航方法各实施例基本相同，在此不做赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (9)

1.一种三维窗口手势导航方法，其特征在于，所述三维窗口手势导航方法包括：

采集用户手掌的图片、以及用户手掌相应的位置信息；

根据所述图片和所述位置信息，进行无效数据过滤，得到手势图形和手势坐标数据；

根据所述手势图形和所述手势坐标数据，转化得到对应标准的动作执行数据；

根据所述动作执行数据，对三维窗口进行相应操作并显示；

所述根据所述动作执行数据，对三维窗口进行相应操作并显示的步骤包括：

根据所述动作执行数据，确定所述用户手掌的运动轨迹、运动时长；

根据所述运动轨迹、所述运动时长，按照比例匹配对应的窗口运动轨迹、

窗口移动速度；

根据所述窗口运动轨迹、所述窗口移动速度，对三维窗口进行相应操作并显示；

所述手势坐标数据，是指根据所述用户手掌的位置信息，采用移动终端中三维坐标模型，用坐标数据的形式表示用户手掌位置；

所述三维坐标模型的坐标数据表示三维窗口对应的显示位置、以及用户手掌位置；

所述窗口离用户越远、所述窗口显示越小，所述窗口离用户越近、所述窗口显示越大，离用户远的窗口会被离用户近的窗口遮住。

2.如权利要求1所述的三维窗口手势导航方法，其特征在于，所述根据所述手势图形和所述手势坐标数据，转化得到对应标准的动作执行数据的步骤包括：

根据所述手势图形，判断所述用户是否为手掌张开；

若所述用户为手掌张开，则根据所述手势坐标数据，确定所述用户在三维窗口上选择窗口的第一执行动作；

根据所述第一执行动作，转换得到对应标准的动作执行数据。

3.如权利要求1所述的三维窗口手势导航方法，其特征在于，所述根据所述手势图形和所述手势坐标数据，转化得到对应标准的动作执行数据的步骤包括：

当所述三维窗口中已选择窗口时，根据所述手势图形，判断所述用户是否由手掌张开变为手指闭拢；

若所述用户由手掌张开变为手指闭拢，则根据所述手势坐标数据，确定所述用户在所述三维窗口上锁定所述选择窗口的第二执行动作；

根据所述第二执行动作，转化得到对应标准的动作执行数据。

4.如权利要求1所述的三维窗口手势导航方法，其特征在于，所述根据所述手势图形和所述手势坐标数据，转化得到对应标准的动作执行数据的步骤包括：

当所述三维窗口中已锁定窗口时，根据所述手势图形和所述手势坐标数据，判断所述用户是否保持手指闭拢在三维空间移动；

若所述用户保持手指闭拢在三维空间移动，根据所述手势坐标数据，确定所述用户在所述三维窗口上移动所述锁定窗口的第三执行动作；

根据所述第三执行动作，转化得到对应标准的动作执行数据。

5.如权利要求1所述的三维窗口手势导航方法，其特征在于，所述根据所述手势图形和所述手势坐标数据，转化得到对应标准的动作执行数据的步骤包括：

当所述三维窗口中已锁定窗口时，根据所述手势图形和所述手势坐标数据，判断所述用户是否由手指闭拢逐渐变为手掌张开、同时快速向下移动；

若所述用户由手指闭拢逐渐变为手掌张开、同时快速向下移动，根据所述手势坐标数据，确定所述用户在所述三维窗口上删除所述锁定窗口的第四执行动作；

根据所述第四执行动作，转化得到对应标准的动作执行数据。

6.如权利要求1-5中任一项所述的三维窗口手势导航方法，其特征在于，所述三维窗口手势导航方法还包括：

当所述三维窗口中选择窗口或锁定窗口后，对所述选择窗口或所述锁定窗口进行突出显示。

7.一种三维窗口手势导航装置，其特征在于，所述三维窗口手势导航装置包括：

采集模块，用于采集用户手掌的图片、以及用户手掌相应的位置信息；

第一数据处理模块，用于根据所述图片和所述位置信息，进行无效数据过滤，得到手势图形和手势坐标数据；

第二数据处理模块，用于根据所述手势图形和所述手势坐标数据，转化得到对应标准的动作执行数据；

窗口显示模块，用于根据所述动作执行数据，对三维窗口进行相应操作并显示；

所述窗口显示模块还用于：

根据所述动作执行数据，确定所述用户手掌的运动轨迹、运动时长；

根据所述运动轨迹、所述运动时长，按照比例匹配对应的窗口运动轨迹、

窗口移动速度；

根据所述窗口运动轨迹、所述窗口移动速度，对三维窗口进行相应操作并显示；

所述手势坐标数据，是指根据所述用户手掌的位置信息，采用移动终端中三维坐标模型，用坐标数据的形式表示用户手掌位置；

所述三维坐标模型的坐标数据表示三维窗口对应的显示位置、以及用户手掌位置；

所述窗口离用户越远、所述窗口显示越小，所述窗口离用户越近、所述窗口显示越大，离用户远的窗口会被离用户近的窗口遮住。

8.一种移动终端，其特征在于，所述移动终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的三维窗口手势导航程序，所述三维窗口手势导航程序被所述处理器执行时实现如权利要求1至6中任一项所述的三维窗口手势导航方法的步骤。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有三维窗口手势导航程序，所述三维窗口手势导航程序被处理器执行时实现如权利要求1至6中任一项所述的三维窗口手势导航方法的步骤。

Images