CN106293099A - 手势识别方法及系统 - Google Patents

Abstract

本申请公开了一种手势识别方法及系统。其中，该手势识别方法包括：获取用户手部的轮廓特征信息；根据所述轮廓特征信息生成用于描述手部的特征描述因子；以及从预先构建的手部模型集合中确定与所述特征描述因子匹配的手部模型，并输出对应于所述手部模型的手势操作信息。根据本申请实施例的技术方案，可以在虚拟现实和增强现实领域中，以较低的硬件环境实现手势交互，从而达到模拟手部的真实动作的效果。

Description

手势识别方法及系统

技术领域

本公开一般涉及计算机技术领域，具体涉及虚拟现实和增强现实技术领域，尤其涉及一种手势识别方法及系统。

背景技术

手势交互能在不同场景下为用户提供自然交互的可能，其广泛应用于游戏、房地产、教育、旅游、影视等众多领域，用户无需穿戴任何设备，便可以实现如同人手跟自然世界一样的交互动作。同时，该技术是虚拟现实和增强现实应用领域中最为关键的人机交互技术之一，是实现更好的交互体验或更为复杂功能的基础。通过手势交互技术，可以极大地增强用户在使用虚拟现实(VR)/增强现实(AR)设备时的真实感和沉浸感。当前，精准捕捉、低延时、低功耗、便于携带、低成本的手势交互系统是该领域研究发展的重点方向。

从交互上看，手势作为是一种输入模式，其通过相关的外部设备获取模拟手部动作的输出。人机交互是指人与机器之间的互动方式，这种互动方式经历了鼠标、物理硬件、屏幕触控、远距离的体感操作的逐步发展的过程。传统的手势交互方式具体如下：

1)利用鼠标、光标的轨迹模拟手势交互。通过手部握住鼠标在显示屏上下左右滑动，来近似模拟手部方位运动。该方案缺点为，鼠标的动作非常单一，只有二维而没有信息，无法模拟手部的真实动作。

2)使用触摸板进行单指或多指等多种手势交互。例如，使用笔记本外置的触摸板设备，通过单指或多指的滑动，近似模拟手部的方位运动。这类方法与鼠标光标的手势交互相同，无法模拟手部的真实动作。

3)触摸屏上的手势交互。移动端(平板、手机)使用触摸屏的手势交互，主要有长按、轻触、滑动、拖动、旋转、缩放、摇动这八种手势，其优点是增加了可便携性，简单模拟了手势交互动作，其缺点是手势交互动作过于单一，无法模拟手部的真实动作。

由此可见，目前的手势交互方式大部分无法完全模拟手部的真实动作，而且无法应用在虚拟现实和增强现实领域中。然而，针对此问题，现有技术并没有提供一种有效的解决方案。

发明内容

鉴于现有技术中的上述缺陷或不足，期望提供一种应用在虚拟现实和增强现实领域中，完成这些场景下的手势动作的交互的技术方案，从而可以提供用户使用VR/AR等设备时的用户体验。

第一方面，本发明提供了一种手势识别方法，包括：获取用户手部的轮廓特征信息；根据所述轮廓特征信息生成用于描述手部的特征描述因子；以及从预先构建的手部模型集合中确定与所述特征描述因子匹配的手部模型，并输出对应于所述手部模型的手势操作信息。

第二方面，本发明还提供了一种手势识别系统，包括穿戴式设备和终端设备，其中，所述穿戴式设备包括：用于置于用户头部的头部显示结构，所述头部显示结构能够根据所述终端设备提供的二维图像向用户呈现三维全景图像；所述终端设备包括：获取模块，用于获取用户手部的轮廓特征信息；生成模块，用于根据所述轮廓特征信息生成用于描述手部的特征描述因子；以及处理模块，用于从预先构建的手部模型集合中确定与所述特征描述因子匹配的手部模型，并输出对应于所述手部模型的手势操作信息。

根据本申请实施例提供的技术方案，整个交互过程对硬件性能大大降低，只需要在头戴式设备上增设处理芯片或者采用智能移动设备自带的处理芯片，即可完成整个手势交互过程，解决了手势交互方式大部分无法完全模拟手部的真实动作的缺陷，从而可以在虚拟现实和增强现实领域中实现手势交互。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是根据本申请的手势识别方法流程图；

图2A是根据本申请的手势识别系统的结构示意图；

图2B是根据本申请的手势识别系统中终端设备的结构框图；

图3是根据本申请的手势交互过程示意图；以及

图4是根据本申请的使用VR/AR设备与终端设备进行手势交互的效果示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

相较于传统的几种手势交互方式，现有技术中也存在可以实现真实模拟手部动作的手势交互方式，例如：方式1，通过在手部固定至少一个传感器设备，从而对手部的动作进行捕捉，这种手势交互方式能够真实模拟手部的动作，但是其严重依赖外部的传感器设备，成本高、体积大，便携性差，更为关键的是，还需要在用户手部上固定传感器，这给用户操作带来不好的体验。方式2，通过使用双目摄像头或者深度摄像头获取手部的三维信息，将手部的三维姿态重建出来，从而模拟真实的手部动作，虽然这种手势交互方式无需在手部增加额外的传感器设备，但是这种方式需要结合PC才能完成，这是由于模拟过程的算法过于复杂对处理芯片的要求过高，因此严重依赖于PC的硬件性能，导致其无法集成在注重便携性的智能移动设备上来实现。

可以看出，这两种方式虽然可以模拟用户手部的动作，但是其由于各自的缺陷导致无法应用在日渐成熟的虚拟现实和增强现实技术领域，从而无法为用户提供一种较好用户体验的手势交互方案。

而本申请提供的实施例提供的技术方案着重从虚拟现实和增强现实领域，提出一种可以实现虚拟现实/增强现实等头戴式设备与智能移动设备之间的手势交互方案，整个交互过程对硬件性能大大降低，只需要在头戴式设备上增设处理芯片或者采用智能移动设备自带的处理芯片，即可完成整个手势交互过程。

请参考图1，图1是根据本申请的手势识别方法流程图，如图1所示，该流程包括以下步骤(步骤S102-步骤S106)：

步骤S102、获取用户手部的轮廓特征信息；

步骤S104、根据所述轮廓特征信息生成用于描述手部的特征描述因子；以及

步骤S106、从预先构建的手部模型集合中确定与所述特征描述因子匹配的手部模型，并输出对应于所述手部模型的手势操作信息。

通过上述步骤，在较低的硬件条件下，即可以实现虚拟现实/增强现实等头戴式设备与智能移动设备之间的手势交互。

在上述步骤S102中，对于获取用户手部的轮廓特征信息的过程，可以通过这样的方式来实施：先通过图像传感器获取用户手部及周围环境的图像信息，再根据预置的手部形状和颜色纹理特征，从所述图像信息中提取出所述轮廓特征信息。

在本申请实施例中，所述图像传感器为移动设备的自带摄像头，进一步地，提取操作也可以采用移动设备的处理芯片来完成。

当然，在实际应用中，可以将图像传感器设置在其它设备上，例如与移动设备配合使用的AR/VR设备，这样当AR/VR设备通过摄像头采集到用户手部及周围环境的图像信息之后，再由移动设备的处理芯片对图像信息进行提取操作。

本申请实施例中，所述手部模型集合中的每个手部模型均是根据预先定义的模型分类算法对多个手部训练数据进行离线学习后得到的。

本申请实施例中，所述手势操作信息可以包括：抓握操作、拿捏操作、或点击操作。

在实际应用中，随着VR/AR技术的不断发展，用户与VR/AR设备之间交互时采用的手部操作的方式会越来越多。对此，本申请实施例并不作出限制。

也就是说，对于上述手势识别方法的实施过程，可以首先借助智能移动设备等终端设备的图像传感器，采集包含用户手部的图像信息，再根据手部的形状、颜色纹理特征(都是预先设置好的)，将手从图像中分割出来(从所述图像信息中提取出所述轮廓特征信息)，并生成手部的特征描述子。

需要说明的是，如果为了提高从所述图像信息中提取出所述轮廓特征信息的效率，在连续采集到的几帧图像中，如果发现轮廓特征信息变化不大(意味着用户手部的动作变化不大)，可以不采集当前图像，而仍然使用从上一帧图像中提取到的轮廓特征信息和特征描述因子。

然后，再根据当前的手部特征描述因子从预先训练好的不同类型手部模型找到相对应的手部模型，进而获得此手部类型的手势操作信息(例如，手的位置信息对应着不同的操作指令)。

通过手势类型和位置的变化，输出相应的抓握、拿捏、点击等动作。最后，由智能移动设备接入虚拟现实(VR)或增强现实(AR)等设备中，生成全景的实时视频内容，使用前面获取的手势动作，完成在虚拟现实应用场景中的交互。

对应于上述手势识别方法，本申请实施例还提供了一种手势识别系统，如图2A(图2A是根据本申请的手势识别系统的结构示意图)所示，该手势识别系统包括穿戴式设备1和终端设备2，其中：

所述穿戴式设备1包括：

用于置于用户头部的头部显示结构11，所述头部显示结构11能够根据所述终端设备2提供的二维图像向用户呈现三维全景图像。

请同时参考图2B，图2B是根据本申请的手势识别系统中终端设备的结构框图，如图2B所示，所述终端设备2可以进一步包括：

获取模块21，用于获取用户手部的轮廓特征信息；

生成模块22，用于根据所述轮廓特征信息生成用于描述手部的特征描述因子；以及

处理模块23，用于从预先构建的手部模型集合中确定与所述特征描述因子匹配的手部模型，并输出对应于所述手部模型的手势操作信息。

本申请实施例中，所述获取模块21可以进一步包括：

获取单元211，用于通过图像传感器获取用户手部及周围环境的图像信息；以及

提取单元212，用于根据预置的手部形状和颜色纹理特征，从所述图像信息中提取出所述轮廓特征信息。

在本申请实施例中，所述图像传感器为移动设备的自带摄像头，进一步地，提取操作也可以采用移动设备的处理芯片来完成。

当然，在实际应用中，可以将图像传感器设置在其它设备上，例如与移动设备配合使用的AR/VR设备，这样当AR/VR设备通过摄像头采集到用户手部及周围环境的图像信息之后，再由移动设备的处理芯片对图像信息进行提取操作。

本申请实施例中，所述手部模型集合中的每个手部模型均是根据预先定义的模型分类算法对多个手部训练数据进行离线学习后得到的。

本申请实施例中，所述手势操作信息可以包括：抓握操作、拿捏操作、或点击操作。

在实际应用中，随着VR/AR技术的不断发展，用户与VR/AR设备之间交互时采用的手部操作的方式会越来越多。对此，本申请实施例并不做出限制。

为进一步理解手势识别系统中各部部分的工作过程，可以参考附图3(图3是根据本申请的手势交互过程示意图)，此处结合图3对各部分的功能进行进一步的说明。

智能移动设备(即移动设备2)，此部分主要作为输入源，产生图像数据、虚拟现实3D场景内容，同时为手的分类识别算法和3D虚拟场景构建提供CPU/GPU计算支持。

手势识别算法，其可以由人工获取大量不同手部类型的不同视角不同姿态的训练数据，然后按照模型分类算法，利用机器学习的方法离线训练数据，获取分类后的多种手部模型，最后根据输入的真实数据(所述特征描述因子)得到用户手部的手类型及位置，进而在虚拟现实应用场景中呈现出手势操作信息。

虚拟现实头盔(即上述穿戴式设备1)，此部分主要生成全景的视频，增强了虚拟现实应用全屏体验，从而增强应用的沉浸感体验。

虚拟现实应用场景部分，此部分将交互技术与全景视频相结合，进一步增强了虚拟现实应用的沉浸感体验。

为便于理解手势识别系统中穿戴式设备与终端设备之间进行交互的过程，以及呈现在用户眼前的虚拟现实效果，可以参考图4(图4是根据本申请的使用VR/AR设备与终端设备进行手势交互的效果示意图)，以下对用户使用手势识别系统的过程进行简单介绍：

首先，将智能移动设备固定在VR/AR设备(例如，目前常见的VR)里面，打开智能移动设备外置图像传感器，从图像传感器接入实时数据；用户伸出手在外置图像传感器视野内上下左右晃动，从而获取到手的运动图像信息，通过使用手势识别算法，定位不同手势的类型及位置等变化信息，从而触发光标对特定图像或图标的点击操作，最终实现虚拟现实场景的交互。

本申请实施例，利用智能移动设备的外接摄像头，获取视野内手部的彩色图，再通过手部分类识别算法，准确检测图像中不同手型的二维位置信息。然后，根据手的位置变化，实现点击、抓握、翻页、浏览等交互动作。该手势交互方法简单、可靠，在对硬件条件比较低的情况，仍然可以满足虚拟现实应用场景中大部分的交互要求。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种手势识别方法，其特征在于，所述方法包括：

获取用户手部的轮廓特征信息；

根据所述轮廓特征信息生成用于描述手部的特征描述因子；以及

从预先构建的手部模型集合中确定与所述特征描述因子匹配的手部模型，并输出对应于所述手部模型的手势操作信息。

2.根据权利要求1所述的方法，其特征在于，获取用户手部的轮廓特征信息包括：

通过图像传感器获取用户手部及周围环境的图像信息；以及

根据预置的手部形状和颜色纹理特征，从所述图像信息中提取出所述轮廓特征信息。

3.根据权利要求2所述的方法，其特征在于，所述图像传感器为移动设备的自带摄像头。

4.根据权利要求1所述的方法，其特征在于，所述手部模型集合中的每个手部模型均是根据预先定义的模型分类算法对多个手部训练数据进行离线学习后得到的。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述手势操作信息包括：抓握操作、拿捏操作、或点击操作。

6.一种手势识别系统，包括穿戴式设备和终端设备，其特征在于：

所述穿戴式设备包括：

用于置于用户头部的头部显示结构，所述头部显示结构能够根据所述终端设备提供的二维图像向用户呈现三维全景图像；

所述终端设备包括：

获取模块，用于获取用户手部的轮廓特征信息；

生成模块，用于根据所述轮廓特征信息生成用于描述手部的特征描述因子；以及

处理模块，用于从预先构建的手部模型集合中确定与所述特征描述因子匹配的手部模型，并输出对应于所述手部模型的手势操作信息。

7.根据权利要求6所述的系统，其特征在于，所述获取模块包括：

获取单元，用于通过图像传感器获取用户手部及周围环境的图像信息；以及

提取单元，用于根据预置的手部形状和颜色纹理特征，从所述图像信息中提取出所述轮廓特征信息。

8.根据权利要求7所述的系统，其特征在于，所述图像传感器为所述移动设备的自带摄像头。

9.根据权利要求6所述的系统，其特征在于，所述手部模型集合中的每个手部模型均是根据预先定义的模型分类算法对多个手部训练数据进行离线学习后得到的。

10.根据权利要求6至9中任一项所述的系统，其特征在于，所述手势操作信息包括：抓握操作、拿捏操作、或点击操作。