CN105224089A - 手势操作方法及装置、移动终端 - Google Patents

Abstract

本发明提供一种手势操作方法及装置、移动终端，所述手势操作方法包括：采集手势指令；将所述手势指令解析为投影平面的平面特征和Z轴方向的垂直特征，所述Z轴垂直于所述投影平面；根据手势指令与操作指令的对应关系，确定与所采集手势指令对应的目标操作指令；执行所述目标操作指令。该手势操作方法解决了现有技术中无法在非接触时实现人机交互的问题。而且，由于所采集的手势指令为三维手势，在解析手势指令过程中，仍将其保持三维方向解析，获取的手势解析结果更加准确，使得手势操作方法能够响应更加多样化的手势，响应效率更高，更、稳定。

Description

手势操作方法及装置、移动终端

技术领域

本发明涉及计算机技术领域，特别是涉及一种手势操作方法及手势操作装置、移动终端。

背景技术

现有的计算机在使用过程中，一般通过用户的键盘输入以及鼠标的点击、拖拽等动作实现对计算机的操作，键盘输入可以有输入指令或使用快捷键等，鼠标的点击或拖拽可以实现指定操作，而随着计算机技术的发展和用户需求的多样化，现有技术中操作方法单调，均需要用户与鼠标、键盘等外设设备直接接触，对鼠标、键盘等外设设备的依赖性较强。

随着技术的发展，手势控制技术逐渐应用于计算机操作中。现有手势控制技术由简单粗略的到复杂精细的，大致可以分为三个等级：二维手型识别、二维手势识别、三维手势识别。手势控制技术在现阶段已经有很多应用，分别应用于电视游戏，智能机器人，传统的手机控制主要依据二维手型识别，依据设备特有的接触面板(电容面板、电感面板)通过各种手势，包括点击、滑动等等基本操作来完成，其本身带来很多方便，但存在的主要问题是功耗较高。识别的受限性。现在利用非接触方式实现的手势控制作为对移动设备的操作已经成为研究热点，但是如何准确的进行手势识别，并将之应用于移动设备还存在欠缺，识别的手势简单，且应用局限。

GMDGestureControl是基于Android平台的应用程序，就是一个包含各种手势的小仓库，是一款适用于Android系统平板电脑和手机的手势控制增强性应用程序。可以利用大尺寸屏幕和多点触摸的优势来通过单根或多跟指手势进行快速操控。此应用程序不单操作极其简单还支持创建多种自定义手势，特别适合平板电脑和没有实体键的手机使用，而且还具有极佳的手势识别率。但某种情况下可能不支持设备，因此需要使用应用程序自带的多点触摸模块来测量多点触摸设备，并没有达到在非接触时能够完成移动设备和人体的交互。

因此，提供一种手势操作技术，在避免与触摸屏接触的情况下实现人体与设备的交互，成为当前亟待解决的问题。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种手势操作方法及装置、移动终端，用于解决现有技术中无法在非接触时实现人机交互的问题。

为实现上述目的及其他相关目的，本发明提供一种手势操作方法，所述手势操作方法包括以下步骤：采集手势指令；将所述手势指令解析为投影平面的平面特征和Z轴方向的垂直特征，所述Z轴垂直于所述投影平面；根据手势指令与操作指令的对应关系，确定与所采集手势指令对应的目标操作指令；执行所述目标操作指令。

于本发明的一实施方式中，所述投影平面的平面特征包括手势图形特征和平面位置特征。

于本发明的一实施方式中，所述手势图形特征包括手指长度特征和手指间距离特征。

于本发明的一实施方式中，所述手势操作方法还包括：建立手势模型库，所述手势模型库用于存储手势指令与操作指令的对应关系。

于本发明的一实施方式中，手势模型库中，所述手势指令对应多个操作指令；根据手势指令与操作指令的对应关系，确定与所采集手势指令对应的目标操作指令包括：根据手势指令与操作指令的对应关系，确定与手势指令对应的所有操作指令；于与手势指令对应的所有操作指令中确定目标操作指令。

相应的，本发明还提供了一种手势操作装置，所述手势操作装置包括：采集单元，用于采集手势指令；图形处理单元，与所述采集单元连接，用于将所述手势指令解析为投影平面的平面特征和Z轴方向的垂直特征，所述Z轴垂直于所述投影平面；手势模型库，用于存储手势指令与操作指令的对应关系；手势匹配单元，与所述图形处理单元和所述手势模型库连接，用于根据手势指令与操作指令的对应关系，确定与所采集手势指令对应的目标操作指令；

中央处理器，与所述手势匹配单元连接，用于执行所述目标操作指令。

于本发明的一实施方式中，所述投影平面的平面特征包括手势图形特征和平面位置特征。

于本发明的一实施方式中，所述手势图形特征包括手指长度特征和手指间距离特征。

于本发明的一实施方式中，所述手势模型库中，所述手势指令对应多个操作指令；所述手势匹配单元包括：模糊匹配单元，与所述图形处理单元和所述手势模型库连接，用于根据手势指令与操作指令的对应关系，确定与手势指令对应的所有操作指令；目标确定单元，与所述模糊匹配单元和中央处理器连接，用于在与手势指令对应的所有操作指令中确定目标操作指令。

进一步的，本发明还提供了一种移动终端，所述移动终端包括任一如上所述的手势操作装置。

如上所述，本发明的手势操作方法及装置、移动终端，具有以下有益效果：

在采集手势指令之后，将所述手势指令解析为投影平面的平面特征和与所述投影平面垂直的Z轴方向的垂直特征，然后根据手势指令与操作指令的对应关系，确定与所采集手势指令对应的目标操作指令；最后执行所述目标操作指令。该手势操作方法解决了现有技术中无法在非接触时实现人机交互的问题。由于所采集的手势指令为三维手势，在解析手势指令过程中，仍将其保持三维方向解析，获取的手势解析结果更加准确，使得手势操作方法能够响应更加多样化的手势，响应效率更高，更稳定。

进一步的，将所述投影平面的平面特征解析为手势图形特征和平面位置特征，将所述手势图形特征解析为手指长度特征和手指间距离特征。从而将投影平面的平面特征利用更加简单、容易分辨和采集的方式进行解析，简化了手势指令的解析难度，提交了解析效率，进而提高了该手势操作方法的响应效率。

更进一步的，所述手势操作方法还包括：建立手势模型库，所述手势模型库用于存储手势指令与操作指令的对应关系，所述手势指令对应多个操作指令；在根据手势指令与操作指令的对应关系，确定与所采集手势指令对应的目标操作指令时：先根据手势指令与操作指令的对应关系，确定与手势指令对应的所有操作指令；再于与手势指令对应的所有操作指令中确定目标操作指令。从而将手势指令相似的多个操作指令作为一个操作指令集合，方便用户根据需要准确选择目标操作指令，进一步提高了手势操作的准确度，用户体验也更好。

附图说明

图1显示为本发明手势操作方法的流程示意图。

图2显示为本发明手势操作装置一个实施例的结构示意图。

图3显示为本发明手势操作装置另一个实施例的结构示意图。

元件标号说明

1手势操作装置

11采集单元

12图形处理单元

13手势模型库

14手势匹配单元

15中央处理器

2手势操作装置

21采集单元

22图形处理单元

23手势模型库

24手势匹配单元

241模糊匹配单元

242目标确定单元

25中央处理器

S11～S14步骤

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

请参阅图1，本发明提供一种手势操作方法的流程示意图。图1中手势操作方法包括：

步骤S11，采集手势指令；

步骤S12，将所述手势指令解析为投影平面的平面特征和Z轴方向的垂直特征，所述Z轴垂直于所述投影平面；

步骤S13，根据手势指令与操作指令的对应关系，确定与所采集手势指令对应的目标操作指令；

步骤S14，执行所述目标操作指令。

本实施例中，所述投影平面的平面特征包括手势图形特征和平面位置特征。

具体的，将三维手势指令在时间-空间上的运动变化分解为投影平面的平面特征和Z轴方向的垂直特征，分别对应投影平面内的图像特征变化与Z轴方向的运动变化。进一步的，所述投影平面的平面特征包括手势图形特征和平面位置特征，分别对应手形的变化、整体手的二维平面位置变化。

本实施例中，三维手势指令在垂直于投影平面Z轴方向的运动分量由手掌面积的大小来表示，对应Z轴方向的垂直特征。当手掌面积逐渐增大时,表示手在向手势采集设备(如摄像机)靠近运动；反之，则表示远离手势采集设备的运动。

本实施例中，所述手势图形特征包括手指长度特征和手指间距离特征。以无知完全伸展开的手势为例，分别标记手掌心和五个手指的位置，手形的变化可以简化为各个手指长度的改变以及手指之间距离的改变,因此可以将手势图形特征通过各个手指的长度以及手指之间的距离进行表示。

具体的，设大拇指、食指、中指、无名指和小指与手掌心连线的长度分别为L(0)-L(4),设相邻手指之间的距离分别为D(0)-D(4)，其中，D(0)表示大拇指与食指指尖的距离，D(1)表示食指与中指指尖的距离,依此类推，D(4)表示小指与大拇指的距离。这样就可以区分出五指，当手势图像中存在手指遮挡情况时,被遮挡手指的长度设定为0,相邻指尖的距离则成为可见的手指指尖间的距离。通过L(0)-L(4)，D(0)-D(4)可以大致表示出手形的基本特征，即手势图形特征。

较佳的，为了使其具备尺度缩放的不变性，对手指长度和手指间距离进行归一化处理，从而具备了尺度缩放不变性。

本实施例中，所述手势操作方法还包括：建立手势模型库，所述手势模型库用于存储手势指令与操作指令的对应关系。

本实施例中，在采集手势指令之后，将所述手势指令解析为投影平面的平面特征和与所述投影平面垂直的Z轴方向的垂直特征，然后根据手势指令与操作指令的对应关系，确定与所采集手势指令对应的目标操作指令；最后执行所述目标操作指令。由于所采集的手势指令为三维手势，在解析手势指令过程中，仍将其保持三维方向解析，获取的手势解析结果更加准确，使得手势操作方法能够响应更加多样化的手势，响应效率更高，更稳定。

而且，将所述投影平面的平面特征解析为手势图形特征和平面位置特征，将所述手势图形特征解析为手指长度特征和手指间距离特征。从而将投影平面的平面特征利用更加简单、容易分辨和采集的方式进行解析，简化了手势指令的解析难度，提交了解析效率，进而提高了该手势操作方法的响应效率。

在另一个实施例中，所述手势模型库中手势指令对应多个操作指令；步骤S13根据手势指令与操作指令的对应关系，确定与所采集手势指令对应的目标操作指令包括：根据手势指令与操作指令的对应关系，确定与手势指令对应的所有操作指令；于与手势指令对应的所有操作指令中确定目标操作指令。从而将手势指令相似的多个操作指令作为一个操作指令集合，方便用户根据需要准确选择目标操作指令，进一步提高了手势操作的准确度，用户体验也更好。

请参阅图2，为本发明手势操作装置一个实施例的结构示意图。图2中手势操作装置1包括：

采集单元11，用于采集手势指令；

图形处理单元12，与所述采集单元11连接，用于将所述手势指令解析为投影平面的平面特征和Z轴方向的垂直特征，所述Z轴垂直于所述投影平面；

手势模型库13，用于存储手势指令与操作指令的对应关系；

手势匹配单元14，与所述图形处理单元12和所述手势模型库13连接，用于根据手势指令与操作指令的对应关系，确定与所采集手势指令对应的目标操作指令；

中央处理器15，与所述手势匹配单元14连接，用于执行所述目标操作指令。

本实施例中，所述投影平面的平面特征包括手势图形特征和平面位置特征。所述手势图形特征包括手指长度特征和手指间距离特征。

本实施例中手势操作装置1在通过采集单元11采集手势指令之后，通过图形处理单元12将所述手势指令解析为投影平面的平面特征和与所述投影平面垂直的Z轴方向的垂直特征，然后手势匹配单元14根据手势模型库13中手势指令与操作指令的对应关系，确定与所采集手势指令对应的目标操作指令；最后通过中央处理器15执行所述目标操作指令。由于所采集的手势指令为三维手势，在解析手势指令过程中，仍将其保持三维方向解析，获取的手势解析结果更加准确，使得手势操作方法能够响应更加多样化的手势，响应效率更高，更稳定。

进一步的，将所述投影平面的平面特征解析为手势图形特征和平面位置特征，将所述手势图形特征解析为手指长度特征和手指间距离特征。从而将投影平面的平面特征利用更加简单、容易分辨和采集的方式进行解析，简化了手势指令的解析难度，提交了解析效率，进而提高了该手势操作方法的响应效率。

请参阅图3，为本发明手势操作装置另一个实施例的结构示意图。图3中手势操作装置2包括：

采集单元21，用于采集手势指令；

图形处理单元22，与所述采集单元21连接，用于将所述手势指令解析为投影平面的平面特征和Z轴方向的垂直特征，所述Z轴垂直于所述投影平面；

手势模型库23，用于存储手势指令与操作指令的对应关系；

手势匹配单元24，与所述图形处理单元22和所述手势模型库23连接，用于根据手势指令与操作指令的对应关系，确定与所采集手势指令对应的目标操作指令；

中央处理器25，与所述手势匹配单元24连接，用于执行所述目标操作指令。

与上一实施例相比，本实施例中所述手势模型库23中所述手势指令对应多个操作指令；所述手势匹配单元24进一步包括：

模糊匹配单元241，与所述图形处理单元22和所述手势模型库23连接，用于根据手势指令与操作指令的对应关系，确定与手势指令对应的所有操作指令；

目标确定单元242，与所述模糊匹配单元241和中央处理器25连接，用于在与手势指令对应的所有操作指令中确定目标操作指令。

本实施例中，所述手势模型库23中手势指令对应多个操作指令，模糊匹配单元241先根据手势指令与操作指令的对应关系，确定与手势指令对应的所有操作指令，然后目标确定单元242于与手势指令对应的所有操作指令中确定目标操作指令。从而将手势指令相似的多个操作指令作为一个操作指令集合，方便用户根据需要准确选择目标操作指令，进一步提高了手势操作的准确度，用户体验也更好。

本发明还提供了一种移动终端，所述移动终端包括任一如上所述的手势操作装置。

综上所述，本发明手势操作方法在采集手势指令之后，将所述手势指令解析为投影平面的平面特征和与所述投影平面垂直的Z轴方向的垂直特征，然后根据手势指令与操作指令的对应关系，确定与所采集手势指令对应的目标操作指令；最后执行所述目标操作指令。该手势操作方法解决了现有技术中无法在非接触时实现人机交互的问题。由于所采集的手势指令为三维手势，在解析手势指令过程中，仍将其保持三维方向解析，获取的手势解析结果更加准确，使得手势操作方法能够响应更加多样化的手势，响应效率更高，更稳定。

而且，将所述投影平面的平面特征解析为手势图形特征和平面位置特征，将所述手势图形特征解析为手指长度特征和手指间距离特征。从而将投影平面的平面特征利用更加简单、容易分辨和采集的方式进行解析，简化了手势指令的解析难度，提交了解析效率，进而提高了该手势操作方法的响应效率。

另外，从而将手势指令相似的多个操作指令作为一个操作指令集合，方便用户根据需要准确选择目标操作指令，进一步提高了手势操作的准确度，用户体验也更好。

所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种手势操作方法，其特征在于，所述手势操作方法包括以下步骤：

采集手势指令；

将所述手势指令解析为投影平面的平面特征和Z轴方向的垂直特征，所述Z轴垂直于所述投影平面；

根据手势指令与操作指令的对应关系，确定与所采集手势指令对应的目标操作指令；

执行所述目标操作指令。

2.根据权利要求1所述的手势操作方法，其特征在于：所述投影平面的平面特征包括手势图形特征和平面位置特征。

3.根据权利要求2所述的手势操作方法，其特征在于：所述手势图形特征包括手指长度特征和手指间距离特征。

4.根据权利要求1至3中任一所述的手势操作方法，其特征在于：所述手势操作方法还包括：建立手势模型库，所述手势模型库用于存储手势指令与操作指令的对应关系。

5.根据权利要求4所述的手势操作方法，其特征在于：手势模型库中，所述手势指令对应多个操作指令；根据手势指令与操作指令的对应关系，确定与所采集手势指令对应的目标操作指令包括：

根据手势指令与操作指令的对应关系，确定与手势指令对应的所有操作指令；

于与手势指令对应的所有操作指令中确定目标操作指令。

6.一种手势操作装置，其特征在于，所述手势操作装置包括：

采集单元，用于采集手势指令；

图形处理单元，与所述采集单元连接，用于将所述手势指令解析为投影平面的平面特征和Z轴方向的垂直特征，所述Z轴垂直于所述投影平面；

手势模型库，用于存储手势指令与操作指令的对应关系；

手势匹配单元，与所述图形处理单元和所述手势模型库连接，用于根据手势指令与操作指令的对应关系，确定与所采集手势指令对应的目标操作指令；

中央处理器，与所述手势匹配单元连接，用于执行所述目标操作指令。

7.根据权利要求6所述的手势操作装置，其特征在于：所述投影平面的平面特征包括手势图形特征和平面位置特征。

8.根据权利要求7所述的手势操作装置，其特征在于：所述手势图形特征包括手指长度特征和手指间距离特征。

9.根据权利要求7所述的手势操作装置，其特征在于：所述手势模型库中，所述手势指令对应多个操作指令；所述手势匹配单元包括：

模糊匹配单元，与所述图形处理单元和所述手势模型库连接，用于根据手势指令与操作指令的对应关系，确定与手势指令对应的所有操作指令；

目标确定单元，与所述模糊匹配单元和中央处理器连接，用于在与手势指令对应的所有操作指令中确定目标操作指令。

10.一种移动终端，其特征在于，所述移动终端包括权利要求6至9中任一项所述的手势操作装置。