CN105892637A - 手势识别方法及虚拟现实显示输出设备 - Google Patents

Abstract

本发明公开一种用于虚拟现实显示输出设备的手势识别方法及虚拟现实显示输出设备，识别方法包括：从第一红外摄像头获取第一红外视频，从第二红外摄像头获取第二红外视频；将所述第一红外视频和所述第二红外视频所包括的图像中相同的物体采用双目成像方式计算物体到摄像头的距离作为该物体的深度；根据所述深度从所述第一红外视频和所述第二红外视频的图像中检测出手图形；对多帧图像中的所述手图形进行跟踪得到手势；获取所述手势对应的执行指令；执行所述执行指令。本发明通过红外摄像头到红外视频，红外视频一方面能减少可见光的影响，另外一方面红外视频中能够减少环境对双目成像的干扰，使得手势识别更为准确。

Description

手势识别方法及虚拟现实显示输出设备

技术领域

本发明涉及虚拟现实显示相关技术领域，特别是一种用于虚拟现实显示输出设备的手势识别方法及虚拟现实显示输出设备。

背景技术

虚拟现实(Virtual Reality，VR)技术就是利用电脑或其他智能计算设备为核心，结合光电传感技术生成逼真的视、听、触一体化的特定范围内的虚拟环境。虚拟现实系统中主要包括输入设备和输出设备。一种典型的虚拟现实显示输出设备为头戴式显示器(Head Mount Display，HMD)，配合输入设备的交互能够让用户产生独立封闭的沉浸式交互体验。目前消费品的HMD主要有两种产品形态一种是利用个人电脑(PC)计算能力接入方式的PC头盔显示设备、另一种是基于手机的计算处理能力的便携式头盔显示设备。

VR系统，操控主要有手柄、遥控器、运动传感器等。这些操作严重影响VR系统的沉浸感。因此，现有技术对VR系统的输入出现采用手势输入的技术方案。然而，现有技术的手势识别主要基于普通摄像头完成，采用普通摄像头，受可见光的影响非常严重。

发明内容

基于此，有必要针对现有技术VR系统的手势识别容易受可见光影响的技术问题，提供一种用于虚拟现实显示输出设备的手势识别方法及虚拟现实显示输出设备。

本发明提供一种用于虚拟现实显示输出设备的手势识别方法，包括：

视频获取步骤，包括：从第一红外摄像头获取第一红外视频，从第二红外摄像头获取第二红外视频；

深度获取步骤，包括：将所述第一红外视频和所述第二红外视频所包括的图像中相同的物体采用双目成像方式计算物体到摄像头的距离作为该物体的深度；

手分离步骤，包括：根据所述深度从所述第一红外视频和所述第二红外视频的图像中检测出手图形；

手势获取步骤，包括：对多帧图像中的所述手图形进行跟踪得到手势；

指令获取步骤，包括：获取所述手势对应的执行指令；

执行步骤，包括：执行所述执行指令。

进一步的，所述深度获取步骤，具体包括：

对所述第一红外视频和所述第二红外视频中具有相同时间戳的图像中的同一个物体采用双目成像方式计算出物体到摄像头的距离作为该物体的深度。

进一步的，所述手分离步骤，具体包括：

将从所述第一红外视频和所述第二红外视频的图像中所述深度在预设距离范围内，且运动剧烈程度在预设剧烈程度范围内的物体判断为手图形。

进一步的，所述指令获取步骤，具体包括:

获取所述虚拟现实显示输出设备的当前状态，获取在所述当前状态下所述手势对应的执行指令。

进一步的，所述指令获取步骤，具体包括：

将所述手势输入手势分类模型，得到所述手势的手势类型，获取所述手势类型对应的执行指令，所述手势分类模型为采用多个预先获取的手势采用机器学习进行训练后得到的关于手势的类型分类模型。

本发明提供一种虚拟现实显示输出设备，包括：

视频获取模块，用于：从第一红外摄像头获取第一红外视频，从第二红外摄像头获取第二红外视频；

深度获取模块，用于：将所述第一红外视频和所述第二红外视频所包括的图像中相同的物体采用双目成像方式计算物体到摄像头的距离作为该物体的深度；

手分离模块，用于：根据所述深度从所述第一红外视频和所述第二红外视频的图像中检测出手图形；

手势获取模块，用于：对多帧图像中的所述手图形进行跟踪得到手势；

指令获取模块，用于：获取所述手势对应的执行指令；

执行模块，用于：执行所述执行指令。

进一步的，所述深度获取模块，具体用于：

对所述第一红外视频和所述第二红外视频中具有相同时间戳的图像中的同一个物体采用双目成像方式计算出物体到摄像头的距离作为该物体的深度。

进一步的，所述手分离模块，具体用于：

将从所述第一红外视频和所述第二红外视频的图像中所述深度在预设距离范围内，且运动剧烈程度在预设剧烈程度范围内的物体判断为手图形。

进一步的，所述指令获取模块，具体用于:

获取所述虚拟现实显示输出设备的当前状态，获取在所述当前状态下所述手势对应的执行指令。

进一步的，所述指令获取模块，具体用于：

将所述手势输入手势分类模型，得到所述手势的手势类型，获取所述手势类型对应的执行指令，所述手势分类模型为采用多个预先获取的手势采用机器学习进行训练后得到的关于手势的类型分类模型。

本发明通过红外摄像头得到红外视频，红外视频一方面能减少可见光的影响，另外一方面红外视频中能够减少环境对双目成像的干扰，使得手势识别更为准确。

附图说明

图1为本发明一种用于虚拟现实显示输出设备的手势识别方法的工作流程图；

图2为本发明最佳实施例的工作流程图；

图3为本发明提供一种虚拟现实显示输出设备的结构模块图；

图4为本发明虚拟现实显示输出设备的结构示意图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步详细的说明。

如图1所示为一种用于虚拟现实显示输出设备的手势识别方法，包括：

步骤S101，包括：从第一红外摄像头获取第一红外视频，从第二红外摄像头获取第二红外视频；

步骤S102，包括：将所述第一红外视频和所述第二红外视频所包括的图像中相同的物体采用双目成像方式计算物体到摄像头的距离作为该物体的深度；

步骤S103，包括：根据所述深度从所述第一红外视频和所述第二红外视频的图像中检测出手图形；

步骤S104，包括：对多帧图像中的所述手图形进行跟踪得到手势；

步骤S105，包括：获取所述手势对应的执行指令；

步骤S106，包括：执行所述执行指令。

当用户佩戴并启动虚拟现实显示输出设备后，虚拟现实显示输出设备的显示屏显示图像，并同时触发步骤S101，步骤S101中的第一红外摄像头和第二红外摄像头，优选为添加红外滤光片(建议为850nm的红外带通滤光片)的红外摄像头，通过采用红外摄像头，获得红外图像，从而避免光照对成像系统的影响。

用户进行手势动作，步骤S101中会获取到包括用户手势动作的视频，对所获得的视频中的每帧图像执行步骤S102得到图像中每个物体的深度。由于第一红外视频和第二红外视频均由多帧图像组成，每帧图像即为一副红外图，由于不同物体在红外图中均有差异，因此较为容易将每帧图像中的不同物体分离出来，对两个红外视频中每帧图像的相同物体采用双目成像方式计算出该物体到摄像头的距离。双目成像主要的功能为双目测距，主要是利用了目标点，在左右两幅视图上成像的横向坐标之间存在的差异(即视差)与目标点到成像平面的距离Z存在着反比例的关系借助由两个摄像头的间距导致的视差计算出目标点与摄像头的距离。由于用户做手势时一般会在距离摄像头一定距离范围内，因此在步骤S103中，通过物体深度，可以判断出该物体是否为用户的手图形，当分离出手图形后，在步骤S104中，可以采用粒子跟踪、meanshift等方法可以实现手的跟踪。步骤S105选出该手势对应的执行指令，并在步骤S106中执行相应的执行指令，从而对虚拟现实显示输出设备执行相应的操作，例如通过向上或向下手势控制虚拟现实显示输出设备输出的图片或视频亮度增大或减少，通过向左或向右手势控制虚拟现实显示输出设备输出的视频快退或者快进，通过向左或向右手势控制虚拟现实显示显示上一图片或者下一图片。

本发明通过红外摄像头，降低外界环境的光照影响，同时因为红外图中能较为容易将每帧图像中的不同物体分离出来，因此减少环境对双目成像的干扰，使得手势识别更为准确。

在其中一个实施例中，所述步骤S102，具体包括：

对所述第一红外视频和所述第二红外视频中具有相同时间戳的图像中的同一个物体采用双目成像方式计算出物体到摄像头的距离作为该物体的深度。

本实施例将具有相同时间戳的同一物体采用双目成像计算，使得物体的深度的计算更为准确。

在其中一个实施例中，所述步骤S103，具体包括：

将从所述第一红外视频和所述第二红外视频的图像中所述深度在预设距离范围内，且运动剧烈程度在预设剧烈程度范围内的物体判断为手图形。

本实施例进一步限定手图形的检测条件，由于用户做手势时会在一定的距离范围下做较为剧烈的运动，因此通过物体的深度以及运动剧烈程度能更为准确地判读出该物体是否为用户的手图形。上述距离范围和剧烈程度范围均可以由本领域技术人员通过有限次实验得到。

在其中一个实施例中，所述步骤S105，具体包括:

获取所述虚拟现实显示输出设备的当前状态，获取在所述当前状态下所述手势对应的执行指令。

本实施例获取所述虚拟现实显示输出设备的当前状态，例如正在观看视频，或者正在某个游戏场景，对于不同的状态，同一手势具有不同的意义，因此，本实施例结合当前状态获取手势所对应的执行指令，使得该执行指令更能反映用户要求。

在其中一个实施例中，所述步骤S105，具体包括：

将所述手势输入手势分类模型，得到所述手势的手势类型，获取所述手势类型对应的执行指令，所述手势分类模型为采用多个预先获取的手势采用机器学习进行训练后得到的关于手势的类型分类模型。

该手势分类模型的输入为空间手势，输出为手势类型。机器学习可以是有监督方式，例如有监督训练时指定每个用于训练的手势的类型，通过多次训练后得出手势分类模型。也可以是无监督方式，类如类型归类，如采用K最邻近结点算法(k-Nearest Neighbor algorithm，KNN)，将用于训练的手势根据其空间位置进行归类。

本实施例采用机器学习方式建立手势分类模型，便于将手势归类，从而增加手势识别的鲁棒性。

如图2所示为本发明最佳实施例的工作流程图，本实施例的摄像头在普通的摄像头的传感器前添加红外滤光片(建议为850nm的红外带通滤光片)得到红外摄像头，这样能够避免光照对成像系统的影响，红外图像采集及传输采用usb3.0通信协议，方法包括：

步骤S201，两个红外摄像头分别进行采集。

步骤S202，深度图成像：每个红外摄像头都会采集到一幅红外图，由于两个摄像头之间有间距，会导致同一物体在两幅红外图中的位置不同，通过这种位置差，结合双目成像的原理，就可以计算该物体到摄像头的距离。对图像的所有像素进行这样的计算，即可实现深度图的成像；

步骤S203，手的检测与跟踪：由于深度图中的数据源表示的是物体到摄像头的距离，那么通过距离阈值，运动剧烈程度等信息可以实现手的检测。粒子跟踪、meanshift等方法可以实现手的跟踪。本模块的目的是，手进入视野即可实现有限的识别。

步骤S204，手势识别：在手已经有效地检测和跟踪的前提下，可以对手的运动轨迹、当前的状态进行分析，判断用户当前在做什么动作。也可以将最近一段时间内手的运动序列图，结合手势库，用机器学习的方法进行分类识别；

步骤S205，识别出用户目前在做的动作后，以事件的形式，实现与VR系统的交互。

如图3所示为本发明一种虚拟现实显示输出设备的结构模块图，包括：

视频获取模块301，用于：从第一红外摄像头获取第一红外视频，从第二红外摄像头获取第二红外视频；

深度获取模块302，用于：将所述第一红外视频和所述第二红外视频所包括的图像中相同的物体采用双目成像方式计算物体到摄像头的距离作为该物体的深度；

手分离模块303，用于：根据所述深度从所述第一红外视频和所述第二红外视频的图像中检测出手图形；

手势获取模块304，用于：对多帧图像中的所述手图形进行跟踪得到手势；

指令获取模块305，用于：获取所述手势对应的执行指令；

执行模块306，用于：执行所述执行指令。

在其中一个实施例中，所述深度获取模块302，具体用于：

对所述第一红外视频和所述第二红外视频中具有相同时间戳的图像中的同一个物体采用双目成像方式计算出物体到摄像头的距离作为该物体的深度。

在其中一个实施例中，所述手分离模块303，具体用于：

将从所述第一红外视频和所述第二红外视频的图像中所述深度在预设距离范围内，且运动剧烈程度在预设剧烈程度范围内的物体判断为手图形。

在其中一个实施例中，所述指令获取模块305，具体用于:

获取所述虚拟现实显示输出设备的当前状态，获取在所述当前状态下所述手势对应的执行指令。

在其中一个实施例中，所述指令获取模块305，具体用于：

将所述手势输入手势分类模型，得到所述手势的手势类型，获取所述手势类型对应的执行指令，所述手势分类模型为采用多个预先获取的手势采用机器学习进行训练后得到的关于手势的类型分类模型。

如图4所示为本发明虚拟现实显示输出设备的结构示意图。虚拟现实显示输出设备可以是利用PC计算能力接入方式的PC头盔显示设备、或者基于手机的计算处理能力的便携式头盔显示设备、或者是头盔显示设备自带计算处理能力，其主要包括：处理器401、存储器402以及两个红外摄像头403等。

其中存储器402中存储前述方法的具体代码，由处理器401具体执行，通过红外摄像头403捕捉手势，并由处理401器根据前述方法进行处理后执行相应操作。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种用于虚拟现实显示输出设备的手势识别方法，其特征在于，包括：

视频获取步骤，包括：从第一红外摄像头获取第一红外视频，从第二红外摄像头获取第二红外视频；

深度获取步骤，包括：将所述第一红外视频和所述第二红外视频所包括的图像中相同的物体采用双目成像方式计算物体到摄像头的距离作为该物体的深度；

手分离步骤，包括：根据所述深度从所述第一红外视频和所述第二红外视频的图像中检测出手图形；

手势获取步骤，包括：对多帧图像中的所述手图形进行跟踪得到手势；

指令获取步骤，包括：获取所述手势对应的执行指令；

执行步骤，包括：执行所述执行指令。

2.根据权利要求1所述的用于虚拟现实显示输出设备的手势识别方法，其特征在于，所述深度获取步骤，具体包括：

对所述第一红外视频和所述第二红外视频中具有相同时间戳的图像中的同一个物体采用双目成像方式计算出物体到摄像头的距离作为该物体的深度。

3.根据权利要求1所述的用于虚拟现实显示输出设备的手势识别方法，其特征在于，所述手分离步骤，具体包括：

将从所述第一红外视频和所述第二红外视频的图像中所述深度在预设距离范围内，且运动剧烈程度在预设剧烈程度范围内的物体判断为手图形。

4.根据权利要求1所述的用于虚拟现实显示输出设备的手势识别方法，其特征在于，所述指令获取步骤，具体包括:

获取所述虚拟现实显示输出设备的当前状态，获取在所述当前状态下所述手势对应的执行指令。

5.根据权利要求1所述的用于虚拟现实显示输出设备的手势识别方法，其特征在于，所述指令获取步骤，具体包括：

将所述手势输入手势分类模型，得到所述手势的手势类型，获取所述手势类型对应的执行指令，所述手势分类模型为采用多个预先获取的手势采用机器学习进行训练后得到的关于手势的类型分类模型。

6.一种虚拟现实显示输出设备，其特征在于，包括：

视频获取模块，用于：从第一红外摄像头获取第一红外视频，从第二红外摄像头获取第二红外视频；

深度获取模块，用于：将所述第一红外视频和所述第二红外视频所包括的图像中相同的物体采用双目成像方式计算物体到摄像头的距离作为该物体的深度；

手分离模块，用于：根据所述深度从所述第一红外视频和所述第二红外视频的图像中检测出手图形；

手势获取模块，用于：对多帧图像中的所述手图形进行跟踪得到手势；

指令获取模块，用于：获取所述手势对应的执行指令；

执行模块，用于：执行所述执行指令。

7.根据权利要求6所述的虚拟现实显示输出设备，其特征在于，所述深度获取模块，具体用于：

对所述第一红外视频和所述第二红外视频中具有相同时间戳的图像中的同一个物体采用双目成像方式计算出物体到摄像头的距离作为该物体的深度。

8.根据权利要求6所述的虚拟现实显示输出设备，其特征在于，所述手分离模块，具体用于：

将从所述第一红外视频和所述第二红外视频的图像中所述深度在预设距离范围内，且运动剧烈程度在预设剧烈程度范围内的物体判断为手图形。

9.根据权利要求6所述的虚拟现实显示输出设备，其特征在于，所述指令获取模块，具体用于:

获取所述虚拟现实显示输出设备的当前状态，获取在所述当前状态下所述手势对应的执行指令。

10.根据权利要求6所述的虚拟现实显示输出设备，其特征在于，所述指令获取模块，具体用于：

将所述手势输入手势分类模型，得到所述手势的手势类型，获取所述手势类型对应的执行指令，所述手势分类模型为采用多个预先获取的手势采用机器学习进行训练后得到的关于手势的类型分类模型。