CN104808795A - 一种增强现实眼镜的手势识别方法及增强现实眼镜系统 - Google Patents

Abstract

本发明的实施方式提供了一种增强现实眼镜的手势识别方法。该方法包括：获取深度相机通过实时拍摄增强现实眼镜前方的场景而获得的深度图像，并基于深度图像计算指尖的深度值、以及深度图像中指尖的二维坐标；采用转换矩阵对深度图像中指尖的二维坐标进行转换，并根据转换得到的二维坐标，在增强现实眼镜的显示界面中生成一虚拟目标；实时分析指尖的深度值的大小变化情况，以及显示界面中虚拟目标的位置变化情况，以触发相应事件。本发明的方法通过将增强现实眼镜定位的指尖位置与人眼视角下的指尖位置相对准，实现准确识别用户手势的目的，具有高精度、响应快等优点。此外，本发明的实施方式提供了一种增强现实眼镜系统。

Description

一种增强现实眼镜的手势识别方法及增强现实眼镜系统

技术领域

本发明的实施方式涉及增强现实技术领域，更具体地，本发明的实施方式涉及一种增强现实眼镜的手势识别方法及增强现实眼镜系统。

背景技术

本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

增强现实技术，是一种将真实世界信息和虚拟信息“无缝”集成的技术，是把原本在真实世界一定时间空间范围内的信息(如视觉、声音、味道、触觉等)通过电脑技术模拟仿真后再与虚拟信息叠加，令真实世界的信息和虚拟信息实时地叠加到了同一个画面或空间，再被人类感官所感知，从而达到超越现实的感官体验。增强现实技术可广泛应用到军事、医疗、建筑、教育、工程、影视、娱乐等领域。

增强现实眼镜是增强现实技术在可穿戴式计算机领域的一种应用产品，拥有透射式的近眼显示系统、独立的操作系统和强大的图像处理能力，用户既能看到真实场景又能看到计算机生成的虚拟信息。使用增强现实眼镜时，用户的手类似于电脑的光标，增强现实眼镜通过识别用户的手势实现人机交互，用户可以通过变换手势对眼镜显示的界面(以下简称为“显示界面”)进行操作，实现单击、双击、缩放、滑动等效果。

目前常见的增强现实眼镜，多是先利用RGB摄像头获取用户的手形图像，然后对手形图像进行识别，识别过程一般包括手形分割、识别、跟踪三个步骤。当手从增强现实眼镜前方挥动时，利用RGB摄像头拍摄图像，基于拍摄到的图像，将手形从背景中分割出来，然后对手形进行识别，以及分析不同采样时刻手形移动的方向及重心坐标的变化量，据此响应某一条界面操作指令。

发明内容

但是，目前的增强现实眼镜只能获取RGB摄像头成像系统中的手形坐标，却不能获知人眼视角下手的位置，这就可能导致手势识别结果与用户期望的界面操作不匹配，也就不能准确理解用户的操作意图。因此目前现有的增强现实眼镜存在手势识别误差大的缺点，不利于人机交互过程，一定程度上降低了用户的体验感。

为此，非常需要一种改进的增强现实眼镜，以提高手势识别的精准程度，准确理解用户的操作意图。

在本上下文中，本发明的实施方式期望提供一种增强现实眼镜的手势识别方法及增强现实眼镜系统。

在本发明实施方式的第一方面中，提供了一种增强现实眼镜的手势识别方法，包括：

步骤A1，获取深度相机通过实时拍摄增强现实眼镜前方的场景而获得的深度图像，并基于所述深度图像计算指尖的深度值、以及所述深度图像中指尖的二维坐标；

步骤A2，采用转换矩阵对所述深度图像中指尖的二维坐标进行转换，并根据转换得到的二维坐标，在增强现实眼镜的显示界面中生成一虚拟目标；

步骤A3，实时分析指尖的深度值的大小变化情况，以及所述显示界面中虚拟目标的位置变化情况，以触发相应事件；

其中，所述转换矩阵按照如下方式计算：

步骤B1，在所述显示界面中显示一光标；

步骤B2，提示用户控制所述光标移动以对准所述显示界面中指尖的光学透视图像；当用户控制所述光标移动以对准所述显示界面中指尖的光学透视图像时，计算该时刻所述显示界面中所述光标的二维坐标，同时获取该时刻深度相机获得的深度图像，并基于所述深度图像计算指尖的深度值、以及所述深度图像中指尖的二维坐标；将该时刻计算得到的所述显示界面中所述光标的二维坐标，以及指尖的深度值、所述深度图像中指尖的二维坐标组成一转换匹配组；

步骤B3，提示用户变换指尖的深度和位置，并重复执行所述步骤B2，直至得到第一预设组数的转换匹配组；

步骤B4，将所有转换匹配组包含的所述显示界面中所述光标的二维坐标组成第一标定矩阵，并将所有转换匹配组包含的指尖的深度值、以及所述深度图像中指尖的二维坐标组成第二标定矩阵；

步骤B5，计算将所述第二标定矩阵转换成为所述第一标定矩阵所需的矩阵，并将计算得到的矩阵确定为所述转换矩阵。

在本发明实施方式的第二方面中，提供了一种增强现实眼镜系统，包括：

增强现实眼镜、标定装置，其中所述增强现实眼镜能够与所述标定装置连接或断开；

所述增强现实眼镜包括：

近眼显示镜片，用于呈现一显示界面，以透射增强现实眼镜前方的场景并显示虚拟信息；并在所述增强现实眼镜连接所述标定装置时，于所述显示界面中显示一光标；

深度相机，用于通过实时拍摄增强现实眼镜前方的场景而获得深度图像；

图像处理模块，用于基于所述深度图像，计算指尖的深度值、以及所述深度图像中指尖的二维坐标；

虚拟目标生成模块，用于采用转换矩阵对所述图像处理模块计算得到的所述深度图像中指尖的二维坐标进行转换，并根据转换得到的二维坐标，在所述显示界面中生成一虚拟目标；

响应模块，用于实时分析指尖的深度值的大小变化情况，以及所述显示界面中虚拟目标的位置变化情况，以触发相应事件；

模式选择模块，用于在所述增强现实眼镜未连接所述标定装置时，启动所述虚拟目标生成模块和所述响应模块，在所述增强现实眼镜连接所述标定装置时，关闭所述虚拟目标生成模块和所述响应模块；

所述标定装置包括：

提示模块，用于提示用户控制所述光标移动以对准所述显示界面中指尖的光学透视图像，以及提示用户变换指尖的深度和位置；

标定执行模块，用于当用户控制所述光标移动以对准所述显示界面中指尖的光学透视图像时，计算该时刻所述显示界面中所述光标的二维坐标，同时获取所述图像处理模块基于该时刻所述深度相机获得的深度图像而计算的指尖的深度值、以及所述深度图像中指尖的二维坐标；将该时刻计算得到的所述显示界面中所述光标的二维坐标，以及指尖的深度值、所述深度图像中指尖的二维坐标组成一转换匹配组；

重复标定模块，用于每当用户变换指尖的深度和位置之后，重复触发所述标定执行模块，直到获得第一预设组数的转换匹配组；

转换模块，用于将所有转换匹配组包含的所述显示界面中所述光标的二维坐标组成第一标定矩阵，并将所有转换匹配组包含的指尖的深度值、以及所述深度图像中指尖的二维坐标组成第二标定矩阵；然后计算将所述第二标定矩阵转换成为所述第一标定矩阵所需的矩阵，并将计算得到的矩阵确定为所述转换矩阵。

根据本发明实施方式的增强现实眼镜的手势识别方法及增强现实眼镜系统，可以获取指尖的三维信息，通过将增强现实眼镜定位的指尖位置与人眼视角下的指尖位置相对准，实现准确识别用户手势，进而达到准确理解用户的操作意图的目的，具有高精度、响应快等优点，有利于人机交互，能显著提升用户的体验感。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：

图1示意性地示出了本发明的实施方式可以在其中实施的应用场景；

图2示意性地示出了本发明示例性设备提供的增强现实眼镜系统的一种结构框图；

图3示意性地示出了本发明实施例一中增强现实眼镜100的手势识别流程；

图4A、图4B示意性地示出了本发明实施例二中图像处理模块103的一种处理流程；

图4C示意性地示出了本发明实施例二中由深度图像转换的灰度直方图；

图5A、图5B示意性地示出了本发明实施例三中图像处理模块103的一种处理流程；

图5C示意性地示出了本发明实施例三中由红外图像转换的第二灰度直方图；

图6示意性地示出了本发明实施例四提供的增强现实眼镜系统的另一种结构框图；

图7示意性地示出了本发明示例性方法提供的增强现实眼镜的手势识别方法的流程图；

图8示意性地示出了本发明示例性方法提供的转换矩阵按照计算流程图；

图9示意性地示出了本发明示例性方法提供的偏离矩阵按照计算流程图。

在附图中，相同或对应的标号表示相同或对应的部分。

具体实施方式

下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

本领域技术技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。

根据本发明的实施方式，提出了一种增强现实眼镜的手势识别方法及增强现实眼镜系统。

在本文中，需要理解的是，所涉及的术语“指尖的深度值”表示三维空间中，指尖距离深度相机的距离。

此外，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。

下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。

发明概述

本发明人发现，目前的增强现实眼镜只能获取二维的手形坐标，但根据这种二维的手形坐标定位出的手的位置与人眼视角下手的位置存在较大差异，这会导致手势识别结果与用户期望的界面操作不匹配等问题。

本发明提供了一种增强现实眼镜的手势识别方法及增强现实眼镜系统。增强现实眼镜手势识别的方法可以是：获取深度相机通过实时拍摄增强现实眼镜前方的场景而获得的深度图像，并基于所述深度图像计算指尖的深度值、以及所述深度图像中指尖的二维坐标；采用转换矩阵对所述深度图像中指尖的二维坐标进行转换，并根据转换得到的二维坐标，在增强现实眼镜的显示界面中生成一虚拟目标；实时分析指尖的深度值的大小变化情况，以及所述显示界面中虚拟目标的位置变化情况，以触发相应事件。

通过以上方法，本发明利用深度相机获取指尖的三维信息，通过转换矩阵将增强现实眼镜定位的指尖位置转换为人眼视角下的指尖位置，以准确识别出用户手势，理解用户意图并执行用户期望的界面操作。由于能够准确地识别用户手势并理解用户意图，本发明具有高精度、响应快等优点，有利于人机交互，能显著提升用户的体验感。

在介绍了本发明的基本原理之后，下面具体介绍本发明的各种非限制性实施方式。

应用场景总览

首先参考图1，其示出了本发明的实施方式可以在其中实施的应用场景。图1中所示的场景包括增强现实眼镜100、标定装置200。

用户佩戴增强现实眼镜100后，可以看到透射至增强现实眼镜100的真实场景以及增强现实眼镜100显示的虚拟信息。

当增强现实眼镜100与标定装置200连接在一起时，标定装置200计算出转换矩阵。

在增强现实眼镜100与标定装置200断开连接之后，当用户期望对增强现实眼镜100显示的虚拟信息进行操作时，用户在增强现实眼镜100的前方挥动手势，然后增强现实眼镜100利用转换矩阵计算人眼视角下的指尖位置，以准确识别用户指尖的移动轨迹，并根据识别结果执行特定的界面操作，使用户的期望实现。

标定装置200可以是独立的服务器，也可以是由装载于服务器中的APP程序所实现的虚拟装置。

增强现实眼镜100与标定装置200之间可以通过有线方式(如USB)连接，也可以通过无线方式(如蓝牙、WIFI等)连接。

示例性系统

下面结合图1的应用场景，参考图2对本发明示例性实施方式的增强现实眼镜系统进行介绍。

需要注意的是，上述应用场景仅是为了便于理解本发明的精神和原理而示出，本发明的实施方式在此方面不受任何限制。相反，本发明的实施方式可以应用于适用的任何场景。

参见图2，为本发明实施例提供的增强现实眼镜100的设备结构示意图。如图2所示，增强现实眼镜100可以包括：近眼显示镜片101、深度相机102、图像处理模块103、模式选择模块104、虚拟目标生成模块109、响应模块110，以上各个模块可以通过集成芯片实现信号连接。标定装置200可以包括：提示模块105、标定执行模块106、重复标定模块107、转换模块108，以上各个模块通过可以集成芯片实现信号连接。

增强现实眼镜100与标定装置200可以通过数据线连接，也可以通过蓝牙、WIFI等无线技术连接。

下面对增强现实眼镜100的各个组成部分分别进行详细介绍：

近眼显示镜片101设置于增强现实眼镜100的最前部，能够透射增强现实眼镜前方的场景并显示虚拟信息，并将透射的场景及虚拟信息显示于一显示界面中。

深度相机102设置于摄增强现实眼镜100的侧部，通过实时拍摄增强现实眼镜100前方的场景(以下简称前方场景)，来计算前方场景中各个物体到增强现实眼镜100的距离(即深度信息)。深度相机102将计算结果以深度图像的形式呈现出来，深度图像中各个点的像素值代表了该点所对应的物体的深度信息。深度相机102可以是基于飞行时间原理的深度相机102，即通过给目标连续发送光脉冲，然后用传感器接收从目标返回的光，通过探测光脉冲的飞行时间(往返时间)来计算目标到增强现实眼镜100的距离。

图像处理模块103实时地获取深度相机102拍摄得到的深度图像，由于深度图像记载了前方场景中各个物体的深度信息，因此可通过在深度图像中定位用户的指尖，并计算得出指尖的深度值Z、以及深度图像中指尖的二维坐标(X’，Y’)。

本发明中，图像处理模块103计算得到的指尖的深度值、以及深度图像中指尖的二维坐标，即为增强现实眼镜100对指尖位置的定位结果。

模式选择模块104实时地判断增强现实眼镜100是否与标定装置200相连接，当二者连接时，模式选择模块104启动标定模式，并关闭虚拟目标生成模块109和响应模块110，当二者断开时，模式选择模块104启动响应模式，并启动虚拟目标生成模块109和响应模块110。

在标定模式下，近眼显示镜片101的显示界面中显示一光标。

在标定模式下，提示模块105提示用户可以通过与增强现实眼镜100相连接的光标控制装置(例如可以是鼠标、键盘等)控制显示界面中的光标移动，以对准显示界面中指尖的光学透视图像。当用户控制显示界面中的光标移动以对准显示界面中指尖的光学透视图像时，标定执行模块106计算该时刻显示界面中光标的二维坐标(X，Y)，同时标定执行模块106获取图像处理模块103根据该时刻深度相机102获得的深度图像而计算的指尖的深度值Z、以及深度图像中指尖的二维坐标(X’，Y’)；然后，标定执行模块106将该时刻计算得到的所述显示界面中所述光标的二维坐标(X，Y)，以及指尖的深度值Z、所述深度图像中指尖的二维坐标(X’，Y’)组成一转换匹配组。

在标定模式下，每获取一个转换匹配组，提示模块105提示用户变换指尖的深度和位置。当用户变换指尖的深度和位置之后，重复标定模块107再次触发所述第一标定模块，以获得一个新的转换匹配组，直到获得第一预设组数的转换匹配组。

在标定模式下，转换模块108将所有转换匹配组包含的所述显示界面中所述光标的二维坐标(X，Y)组成第一标定矩阵M1，并将所有转换匹配组包含的指尖的深度值Z、以及所述深度图像中指尖的二维坐标(X’，Y’)组成第二标定矩阵M2。最后，转换模块108计算将第二标定矩阵M2转换成为第一标定矩阵M1所需的矩阵，并将计算得到的矩阵确定为转换矩阵A。第一标定矩阵M1、第二标定矩阵M2与转换矩阵A具有如下关系：M2＝A*M1。

本发明中，显示界面中指尖的光学透视图像即为人眼视角下的指尖位置，用户控制显示界面中的光标移动以对准显示界面中指尖的光学透视图像，即令人眼视角下的指尖位置反映于增强现实眼镜100中，此时，显示界面中光标的二维坐标(X，Y)所反映的信息就是人眼视角下的指尖位置。由于转换矩阵能够将第二标定矩阵(包含图像处理模块103计算得到的指尖的深度值Z、以及深度图像中指尖的二维坐标(X’，Y’)，即为增强现实眼镜100对指尖位置的定位结果)转换成为第一标定矩阵(包含显示界面中光标的二维坐标(X，Y)，即反映了人眼视角下的指尖位置)，也就是说，转换矩阵能够将增强现实眼镜100对指尖位置的定位结果转换至人眼视角下的指尖位置。

在响应模式下，虚拟目标生成模块109采用转换矩阵对图像处理模块103计算得到的深度图像中指尖的二维坐标进行转换，并根据转换得到的二维坐标，在显示界面中生成一虚拟目标，该虚拟目标既是增强现实眼镜100对指尖的定位结果，又能够与人眼视角下的指尖位置相匹配。

在响应模式下，响应模块110实时分析指尖的深度值的大小变化情况，以及显示界面中虚拟目标的位置变化情况，以触发相应事件。

本发明示例性实施方式的增强现实眼镜系统，在标定模式下计算出转换矩阵，在响应模式下，通过转换矩阵将增强现实眼镜100对指尖的定位结果转换为人眼视角下的指尖位置，能够准确识别出用户手势，理解用户意图并执行用户期望的界面操作。由于能够准确地识别用户手势并理解用户意图，本发明示例性实施方式的增强现实眼镜100具有高精度、响应快等优点，能显著提升用户的体验感。

实施例一

参见图3所示，为本发明一实施例的增强现实眼镜100的手势识别流程。

当增强现实眼镜100与标定装置200相连接时，模式选择模块104启动标定模式。例如用户可以在首次穿戴增强现实眼镜时将增强现实眼镜100与标定装置200相连接。

近眼显示镜片101在其显示界面中显示一光标。

提示模块105提示用户通过与增强现实眼镜100相连接的光标控制装置(例如可以是鼠标、键盘等)控制显示界面中的光标移动，以对准显示界面中指尖的光学透视图像(即人眼在显示界面中看到的指尖)。

深度相机102，实时拍摄增强现实眼镜前方的场景而获得深度图像。

在用户控制光标移动以对准显示界面中指尖的光学透视图像的同时，图像处理模块103计算该时刻显示界面中光标的二维坐标(X，Y)，同时，图像处理模块103获取该时刻深度相机102获得的深度图像，并且图像处理模块103基于所述深度图像计算指尖的深度值Z、以及所述深度图像中指尖的二维坐标(X’，Y’)。标定执行模块106获取此时图像处理模块103计算得到的显示界面中光标的二维坐标(X，Y)、指尖的深度值Z、以及所述深度图像中指尖的二维坐标(X’，Y’)，组成一转换匹配组。

由于三维空间中，用户的指尖可能存在小幅抖动，导致深度相机102获得的深度图像含有噪声，考虑到这一情况，为了降低噪声带来的不利影响，可选地，图像处理模块103获取到深度图像之后，可以先使用双指数边缘平滑滤波算法来对深度图像进行处理，以去除噪声。

每当标定执行模块106获得一组转换匹配组时，提示模块105提示用户变换指尖的深度和位置。

当用户变换指尖的深度和位置之后，重复标定模块107再次触发标定执行模块106，直到标定执行模块106获得第一预设组数的转换匹配组。可选地，第一预设组数为6组，以得到较好的标定结果。

转换模块108将全部转换匹配组包含的显示界面中光标的二维坐标(X，Y)组成第一标定矩阵M1，并将全部转换匹配组包含的指尖的深度值Z、以及深度图像中指尖的二维坐标(X’，Y’)组成第二标定矩阵M2；然后计算将第二标定矩阵M2转换成为第一标定矩阵M1所需的矩阵，得到转换矩阵A。第一标定矩阵M1、第二标定矩阵M2与转换矩阵A具有如下关系：M2＝A*M1。

可选地，转换模块108可以利用奇异值分解算法计算转换矩阵A。

模式选择模块104根据用户的需要启动响应模式。

深度相机102实时拍摄增强现实眼镜前方的场景而获得深度图像。

图像处理模块103基于深度相机102实时获得的深度图像，计算指尖的深度值Z、以及所述深度图像中指尖的二维坐标(X’，Y’)。

虚拟目标生成模块109采用所述转换矩阵对图像处理模块103计算得到的所述深度图像中指尖的二维坐标(X’，Y’)进行转换，并根据转换得到的二维坐标(x，y)，在显示界面中生成一虚拟目标，即虚拟目标位于显示界面中的二维坐标(x，y)之处。由于转换得到的二维坐标(x，y)是实时变换的，因此虚拟目标的位置也是实时变化的。

响应模块110实时分析指尖的深度值Z的大小变化情况，以及显示界面中虚拟目标的位置(x，y)变化情况，以触发相应事件。

可选地，响应模块110包括点击触发单元。其中，点击触发单元根据预设的时间间隔进行采样，并判断在相邻两次采样时刻，虚拟目标的位置(x，y)是否位于显示界面的同一区域(区域的大小可以预先设置，例如预先将近眼显示镜片101划分为若干个等大面积的区域，或者，将显示界面中显示同一功能项的面积作为同一区域)，如果虚拟目标的位置均位于显示界面的同一区域，且该相邻两次采样时刻指尖的深度值Z之差大于预设深度差值(例如为30mm)，判断用户的手势为点击，用户期望执行点击相应功能的操作，此时，点击触发单元执行点击事件。

可选地，响应模块110包括点击滑动触发单元。其中，滑动触发单元根据预设的时间间隔进行采样，并判断在相邻两次采样时刻，虚拟目标的两维坐标(x和y)分别变化的情况。当虚拟目标的某一维坐标(例如x或y)的差值大于第一预设坐标差值(例如为60mm)，且另一维坐标(例如y或x)的差值小于第二预设坐标差值(例如为60mm)时，判断用户的手势为滑动，用户期望执行滑动操作，此时，滑动触发单元执行滑动事件。例如，在相邻两次采样时刻，若虚拟目标的水平坐标x的差值大于60mm，而垂直坐标y的差值小于60mm，则滑动触发单元执行水平方向的滑动事件。

本发明示例性增强现实眼镜100中，图像处理模块103是用于根据深度相机102实时获得的深度图像，计算指尖的深度值Z、以及深度图像中指尖的二维坐标(X’，Y’)。下面通过实施例二和实施例三对对图像处理模块103的具体处理流程进行详细介绍。

为了方便说明，下文将三维空间中手部的各个点称为“手部真实点”，将深度图像/红外图像中对应手部的各个像素点称为“手部像素点”，则深度图像/红外图像中的全部“手部像素点”即组成了“手形区域”。

实施例二

参见图4A所示，为本发明示例性增强现实眼镜100中图像处理模块103的一种处理流程。

步骤S11，图像处理模块103获取深度相机102拍摄的深度图像，并在该深度图像中分割手形区域。

如图4B所示，步骤S11可以具体按照如下步骤实现：

步骤S111，将深度图像转换为灰度直方图。

该步骤中，灰度直方图表示深度图像中具有每种像素值的像素点总数(即像素数量)，如图4C所示为由深度图像转换的灰度直方图，横纵坐标轴分别表示像素值和像素数量，灰度直方图中的各个点(例如图4C中连续波形上的点)即对应了深度图像中的各个像素点。

深度图像的全部像素值在[0，255]区间，以2个像素值为单位宽度将[0，255]区间分割成若干个子区间，然后统计每个子区间的像素数量，然后将结果记录于灰度直方图中。例如深度图像中有8个像素点的像素值在子区间[252，253]内，则记子区间[252，253]的像素数量为8，在灰度直方图的横坐标(像素值)为[252，253]之处，其纵坐标(像素数量)为8。

由于深度图像中像素值越大，对应的深度值越小，因此在灰度直方图中，越靠近右边界的点，其深度值越小，对应的物体越靠近深度相机102。一般情况下，当用户通过手势操作增强现实眼镜100时，相比于其他物体，手到深度相机102的距离最小，即手离深度相机102最近，基于这一情况，可认为灰度直方图中靠近右边界的若干点对应的是手形区域(深度图像中对应手部区域的全部像素点)，而要想分割手形区域，就需要确定手形区域的两个边界的像素值，以下分别称为右边界像素值Boundary-R和左边界像素值Boundary-L。

步骤S112，将灰度直方图中最接近该灰度直方图的最大像素值、且所对应的像素数量大于一预设数量的像素值确定为右边界像素值Boundary-R。

如图4C中，该灰度直方图的右边界处的像素值为最大像素值，而此处的点几乎为零，这表示最靠近深度相机102的地方没有物体出现。以右边界为起点，依次遍历灰度直方图的各个横坐标，当某一点的像素数量大于预设数量(例如为0，表示该点处出现了物体)时，由于相比于其他物体，手距离深度相机102最近，因此，该点应是手部像素点，且该手部像素点对应的应是手部距离深度相机102最近的手部真实点，因此可将该点的像素值确定为右边界像素值Boundary-R。确定了手形区域的右边界像素值Boundary-R之后，下一步需确定手形区域的左边界像素值Boundary-L。

步骤S113，令所述右边界像素值Boundary-R减去预设边界差值得到左边界预测最小值min(Boundary-L)。

根据深度相机102对手部跟踪的实际测试可知，一般情况下，各个手部真实点到深度相机102的最大距离与最小距离之间相差不超过150mm，映射到深度图像上为15个像素值，因此，手形区域的右边界像素值Boundary-R与左边界像素值Boundary-L的差值不会超过15，也就是说，左边界像素值Boundary-L必定出现于右边界像素值Boundary-R与左边界预测最小值min(Boundary-L)之间。

步骤S114，在所述右边界像素值Boundary-R和所述左边界预测最小值min(Boundary-L)之间确定左边界像素值Boundary-L。

为了更精确地确定左边界像素值Boundary-L，可选地，该步骤可以按照如下方式实现：确定直方图中所述右边界像素值Boundary-R和所述左边界预测最小值min(Boundary-L)之间、对应的像素数量最少的像素点，该像素点对应的是手部边缘的手部真实点，将该像素点的像素值确定为左边界预选值pre(Boundary-L)；当左边界预选值pre(Boundary-L)太靠近右边界像素值Boundary-R时，以左边界预选值pre(Boundary-L)作为左边界像素值Boundary-L分割出的手形区域会表现为手形不全，为了避免该情况发生，若所述左边界预选值pre(Boundary-L)与所述右边界像素值Boundary-R之间的差值大于预设阈值(该预设阈值能够保证分割出的手形区域表现为完整的手形)，则将所述左边界预选值pre(Boundary-L)确定为所述左边界像素值Boundary-L，否则，直接将所述左边界预测最小值min(Boundary-L)确定为左边界像素值Boundary-L。

步骤S115，将深度图像中大于等于所述左边界像素值Boundary-L、小于等于所述右边界像素值Boundary-R的区域分割出来作为所述手形区域。

可选地，该步骤可以先根据左边界像素值Boundary-L和右边界像素值Boundary-R，对深度图像进行二值化处理，即将介于所述左边界像素值Boundary-L和所述右边界像素值Boundary-R之间的区域与其他区域分别采用两种不同的灰度值进行区分，然后再分割出手形区域。

步骤S12，图像处理模块103在分割的手形区域中定位指尖对应的像素点，并将指尖对应的像素点的像素值确定为所述指尖的深度值。

具体地，由于在三维空间的手部，指尖所占的面积最小，因此指尖对应的像素点总数应最少，因此该步骤可以先确定灰度直方图中、介于所述右边界像素值Boundary-R与所述左边界像素值Boundary-L之间、且所对应的像素数量最小的像素值，然后在分割出的手形区域中定位该像素值所对应的像素点，即为指尖对应的像素点。

步骤S13，图像处理模块103将深度图像中指尖对应的像素点的二维坐标，确定为该深度图像中指尖的二维坐标。

实施例三

参见图5A所示，为本发明示例性增强现实眼镜100中图像处理模块103的另一种处理流程。

步骤S21，图像处理模块103获取深度相机102拍摄的深度图像，以及红外传感器拍摄的红外图像，并基于该深度图像和红外图像，分割手形区域。

具体的，红外传感器可以是内置于深度相机102中，也可以是单独设置于增强现实眼镜100中。

如图5B所示，步骤S21可以具体按照如下步骤实现：

步骤S211，将获取的深度图像转换为第一灰度直方图。

步骤S212，将第一灰度直方图中最接近最大像素值、且所对应的像素数量大于第一预设数量的像素值确定为第一右边界像素值。

步骤S213，令第一右边界像素值减去第一预设边界差值得到第一左边界预测最小值。

步骤S214，在第一右边界像素值和第一左边界预测最小值之间确定第一左边界像素值。

步骤S215，以第一右边界像素值和所述第一左边界像素值为边界，确定第一区间。

以上步骤S211～步骤S215的具体实施过程可以参考实施例二中步骤S111～步骤S115进行，此处不再赘述。

步骤S216，将获取的红外图像转换为第二灰度直方图。

该步骤中，第二灰度直方图表示红外图像中具有每种像素值的像素点总数(即像素数量)，如图5C所示为由红外图像转换的第二灰度直方图，横纵坐标轴分别表示像素值和像素数量，第二灰度直方图中的各个点(例如图5C中连续波形上的点)即对应了红外图像中的各个像素点。

红外图像的全部像素值在[0，255]区间，以2个像素值为单位宽度将[0，255]区间分割成若干个子区间，然后统计每个子区间的像素数量，然后将结果记录于第二灰度直方图中。例如红外图像中有8个像素点的像素值在子区间[252，253]内，则记子区间[252，253]的像素数量为8，在第二灰度直方图的横坐标(像素值)为[252，253]之处，其纵坐标(像素数量)为8。

由于红外图像中像素值越大，对应的深度值越小，因此在第二灰度直方图中，越靠近右边界的点，其深度值越小，对应的物体越靠近红外传感器。一般情况下，当用户通过手势操作增强现实眼镜100时，相比于其他物体，手到红外传感器的距离最小，即手离红外传感器最近，基于这一情况，可认为第二灰度直方图中靠近右边界的若干点对应的是手形区域(红外图像中对应手部区域的全部像素点)。以下将红外图像中手形区域的两个边界的像素值，分别记为第二右边界像素值Boundary-R2和第二左边界像素值Boundary-L2。

步骤S217，将第二灰度直方图中最接近该第二灰度直方图的最大像素值、且所对应的像素数量大于第二预设数量的像素值确定为第二右边界像素值Boundary-R2；

如图5C中，第二灰度直方图的右边界处的像素值为最大像素值，而此处的点几乎为零，这表示最靠近红外传感器的地方没有物体出现。以右边界为起点，依次遍历第二灰度直方图的各个横坐标，当某一点的像素数量大于预设数量(例如为0，表示该点处出现了物体)时，由于相比于其他物体，手距离红外传感器最近，因此，该点应是手部像素点，且该手部像素点对应的应是手部距离红外传感器最近的手部真实点，因此可将该点的像素值确定为第二右边界像素值Boundary-R2。确定了红外图像中手形区域的第二右边界像素值Boundary-R2之后，下一步需确定手形区域的第二左边界像素值Boundary-L。

步骤S218，令第二右边界像素值减去第二预设边界差值得到第二左边界预测最小值min(Boundary-L2)。

根据红外传感器对手部跟踪的实际测试可知，一般情况下，各个手部真实点到红外传感器的最大距离与最小距离之间相差不超过150mm，映射到红外图像上为25个像素值，因此，手形区域的第二右边界像素值Boundary-R2与第二左边界像素值Boundary-L2的差值不会超过25，也就是说，第二左边界像素值Boundary-L2必定出现于第二右边界像素值Boundary-R2与第二左边界预测最小值min(Boundary-L2)之间。

步骤S219，在第二右边界像素值Boundary-R2和第二左边界预测最小值min(Boundary-L2)之间确定第二左边界像素值Boundary-L2。

为了更精确地确定第二左边界像素值Boundary-L2，可选地，该步骤可以按照如下方式实现：确定直方图中第二右边界像素值Boundary-R2和左边界预测最小值之间、对应的像素数量最少的像素点，该像素点对应的是手部边缘的手部真实点，将该像素点的像素值确定为第二左边界预选值pre(Boundary-L2)；当第二左边界预选值pre(Boundary-L2)太靠近第二右边界像素值Boundary-R2时，以第二左边界预选值pre(Boundary-L2)作为第二左边界像素值Boundary-L2分割出的手形区域会表现为手形不全，为了避免该情况发生，若第二左边界预选值pre(Boundary-L2)与第二右边界像素值Boundary-R2之间的差值大于某一预设阈值(该预设阈值能够保证分割出的手形区域表现为完整的手形)，则将第二左边界预选值pre(Boundary-L2)确定为第二左边界像素值Boundary-L2，否则，直接将第二左边界预测最小值min(Boundary-L2)确定为第二左边界像素值Boundary-L2。

步骤S220，以第二右边界像素值Boundary-R2和所述第二左边界像素值Boundary-L2为边界，确定第二区间。

步骤S221，计算第一区间与第二区间的交集，得到交叉区间。

步骤S222，将深度图像中像素值介于所述交叉区间的区域分割出来作为所述手形区域。

可选地，该步骤可以先根据交叉区间的边界值，对深度图像进行二值化处理，即将介于交叉区间的区域与其他区域分别采用两种不同的灰度值进行区分，然后再分割出手形区域。

步骤S22，图像处理模块103在分割的手形区域中定位指尖对应的像素点，并将指尖对应的像素点的像素值确定为所述指尖的深度值。

具体地，由于在三维空间的手部，指尖所占的面积最小，因此指尖对应的像素点总数应最少，因此该步骤可以先确定第一灰度直方图中、介于交叉区间内、且所对应的像素数量最小的像素值，然后在分割出的手形区域中定位该像素值所对应的像素点，即为指尖对应的像素点。

步骤S23，图像处理模块103将深度图像中指尖对应的像素点的二维坐标，确定为该深度图像中指尖的二维坐标。

实施例四

本发明示例性增强现实眼镜100中，转换矩阵的作用是将增强现实眼镜100定位的指尖位置转换为人眼视角下的指尖位置，但是根据转换矩阵得到的转换结果有可能存在误差，例如，随着增强现实眼镜100在用户面部的前后、左右移动，增强现实眼镜100定位的指尖位置(即虚拟目标的位置)就不能与人眼视角下的指尖位置准确匹配。考虑到这一情况，可选地，如图6所示，本发明示例性的标定装置200除了包含提示模块105、标定执行模块106、重复标定模块107、转换模块108之外，还可以包括偏离模块601和纠正模块602。偏离模块601和纠正模块602用于对转换矩阵进行纠正，以使转换矩阵的转换结果准确。

以下为对转换矩阵进行纠正的流程：

模式选择模块104根据用户的需要启动纠正模式。

在纠正模式下，近眼显示镜片101在其显示界面中显示一光标，提示模块105提示用户控制所述光标移动以对准所述显示界面中指尖的光学透视图像。

在纠正模式下，当用户控制光标移动以对准所述显示界面中指尖的光学透视图像时，图像处理模块103计算该时刻显示界面中光标的二维坐标(X，Y)，并获取该时刻深度相机102获得的深度图像，并基于所述深度图像计算指尖的深度值Z；同时，标定执行模块106获取图像处理模块103计算得到的显示界面中光标的二维坐标(X，Y)和指尖的深度值Z，并且标定执行模块106利用已计算出的转换矩阵对所述深度图像中指尖的二维坐标(X’，Y’)进行转换，得到转换后的二维坐标(X’，Y’)；将该时刻计算得到的显示界面中所述光标的二维坐标(X，Y)，以及指尖的深度值Z、所述转换后的二维坐标(X’，Y’)组成一偏离匹配组。

每当标定执行模块106获得一组偏离匹配组时，提示模块105提示用户变换指尖的深度和位置。

在纠正模式下，当用户变换指尖的深度和位置之后，重复标定模块107再次触发标定执行模块106，直到标定执行模块106获得第二预设组数的偏离匹配组。可选地，第二预设组数为4组，以得到较好的标定结果。

在纠正模式下，偏离模块601将全部偏离匹配组包含的显示界面中光标的二维坐标(X，Y)组成第三标定矩阵M3，并将全部偏离匹配组包含的指尖的深度值Z、以及所述转换后的二维坐标(X’，Y’)组成第四标定矩阵M4；偏离模块601计算将第四标定矩阵M4转换成为第三标定矩阵M3所需的矩阵，并将计算得到的矩阵确定为偏离矩阵Γ。第三标定矩阵M3、第四标定矩阵M4与偏离矩阵Γ之间的关系为：M3＝M4*Γ。

在纠正模式下，纠正模块602采用偏离矩阵Γ对已计算得到的转换矩阵A进行矫正。例如，A’＝Γ*A，其中A’为纠正后的转换矩阵。

当纠正模式关闭、响应模式启动时，转换模块108利用纠正后的转换矩阵，将增强现实眼镜100定位的指尖位置转换为人眼视角下的指尖位置，以使增强现实眼镜100定位的指尖位置与人眼视角下的指尖位置更加匹配。

示例性方法

在介绍了本发明示例性实施方式的增强现实眼镜系统之后，接下来，参考图7对本发明示例性实施方式的增强现实眼镜的手势识别方法进行说明。

如图7所示，增强现实眼镜的手势识别方法，包括：

步骤S71，启动响应模式，并执行以下步骤S711～步骤S713：

步骤S711，获取深度相机通过实时拍摄增强现实眼镜前方的场景而获得的深度图像，并基于所述深度图像计算指尖的深度值、以及所述深度图像中指尖的二维坐标；

步骤S712，采用转换矩阵对所述深度图像中指尖的二维坐标进行转换，并根据转换得到的二维坐标，在增强现实眼镜的显示界面中生成一虚拟目标；

步骤S713，实时分析指尖的深度值的大小变化情况，以及所述显示界面中虚拟目标的位置变化情况，以触发相应事件。

可选地，步骤S713包括：若在相邻两次采样时刻，所述虚拟目标均位于所述显示界面的同一区域，且该相邻两次采样时刻指尖的深度值之差大于预设深度差值，则执行点击事件。

可选地，步骤S713还包括：若在相邻两次采样时刻，所述虚拟目标的一维坐标的差值大于第一预设坐标差值，且另一维坐标的差值小于第二预设坐标差值，则执行滑动事件。

所述转换矩阵按照如图8所示的步骤计算：

步骤S81，启动标定模式，在所述显示界面中显示一光标；

步骤S82，提示用户控制所述光标移动以对准所述显示界面中指尖的光学透视图像；当用户控制所述光标移动以对准所述显示界面中指尖的光学透视图像时，计算该时刻所述显示界面中所述光标的二维坐标，同时获取该时刻深度相机获得的深度图像，并基于所述深度图像计算指尖的深度值、以及所述深度图像中指尖的二维坐标；将该时刻计算得到的所述显示界面中所述光标的二维坐标，以及指尖的深度值、所述深度图像中指尖的二维坐标组成一转换匹配组；

步骤S83，提示用户变换指尖的深度和位置，并重复执行所述步骤S82，直至得到第一预设组数的转换匹配组；

步骤S84，将所有转换匹配组包含的所述显示界面中所述光标的二维坐标组成第一标定矩阵，并将所有转换匹配组包含的指尖的深度值、以及所述深度图像中指尖的二维坐标组成第二标定矩阵；

步骤S85，计算将所述第二标定矩阵转换成为所述第一标定矩阵所需的矩阵，并将计算得到的矩阵确定为所述转换矩阵。

可选地，基于所述深度图像计算指尖的深度值、以及所述深度图像中指尖的二维坐标的步骤，包括：在所述深度图像中分割手形区域；在所述手形区域中定位指尖对应的像素点，并将指尖对应的像素点的像素值确定为所述指尖的深度值；将所述深度图像中指尖对应的像素点的二维坐标，确定为所述深度图像中指尖的二维坐标。

可选地，在所述深度图像中分割手形区域的步骤，包括：将所述深度图像转换为灰度直方图，所述灰度直方图的两个坐标轴分别表示像素值和像素数量；将所述灰度直方图中最接近该灰度直方图的最大像素值、且所对应的像素数量大于预设数量的像素值确定为右边界像素值；令所述右边界像素值减去预设边界差值得到左边界预测最小值；在所述右边界像素值和所述左边界预测最小值之间确定左边界像素值；将所述深度图像中大于等于所述左边界像素值、小于等于所述右边界像素值的区域分割出来作为所述手形区域。

可选地，在所述右边界像素值和所述左边界预测最小值之间确定左边界像素值的步骤，包括：将所述右边界像素值和所述左边界预测最小值之间、所对应的像素数量最少的像素值，确定为左边界预选值；若所述左边界预选值与所述右边界像素值之间的差值大于预设阈值，则将所述左边界预选值确定为所述左边界像素值，否则，将所述左边界预测最小值确定为所述左边界像素值。

可选地，在所述手形区域中定位指尖对应的像素点的步骤，包括：确定所述灰度直方图中、介于所述右边界像素值与所述左边界像素值之间、且所对应的像素数量最小的像素值，并在所述手形区域中定位该像素值所对应的像素点，将定位出的像素点确定为指尖对应的像素点。

可选地，在所述深度图像中分割手形区域的步骤，包括：

将所述深度图像转换为第一灰度直方图，所述第一灰度直方图的两个坐标轴分别表示像素值和像素数量；将所述第一灰度直方图中最接近该第一灰度直方图的最大像素值、且所对应的像素数量大于第一预设数量的像素值确定为第一右边界像素值；令所述第一右边界像素值减去第一预设边界差值得到第一左边界预测最小值；在所述第一右边界像素值和所述第一左边界预测最小值之间确定第一左边界像素值；以所述第一右边界像素值和所述第一左边界像素值为边界，确定第一区间；

获取红外传感器实时拍摄的红外图像，将所述红外图像转换为第二灰度直方图，所述第二灰度直方图的两个坐标轴分别表示像素值和像素数量；将所述第二灰度直方图中最接近该第二灰度直方图的最大像素值、且所对应的像素数量大于第二预设数量的像素值确定为第二右边界像素值；令所述第二右边界像素值减去第二预设边界差值得到第二左边界预测最小值；在所述第二右边界像素值和所述第二左边界预测最小值之间确定第二左边界像素值；以所述第二右边界像素值和所述第二左边界像素值为边界，确定第二区间；以及，

计算所述第一区间与所述第二区间的交集，得到交叉区间；将所述深度图像中像素值介于所述交叉区间的区域分割出来作为所述手形区域。

可选地，在所述第一右边界像素值和所述第一左边界预测最小值之间确定第一左边界像素值的步骤，包括：将所述第一右边界像素值和所述第一左边界预测最小值之间、所对应的像素数量最少的像素值，确定为第一左边界预选值；若所述第一左边界预选值与所述第一右边界像素值之间的差值大于第一预设阈值，则将所述第一左边界预选值确定为所述第一左边界像素值，否则，将所述第一左边界预测最小值确定为所述第一左边界像素值；以及，

在所述第二右边界像素值和所述第二左边界预测最小值之间确定第二左边界像素值的步骤，包括：将所述第二右边界像素值和所述第二左边界预测最小值之间、所对应的像素数量最少的像素值，确定为第二左边界预选值；若所述第二左边界预选值与所述第二右边界像素值之间的差值大于第二预设阈值，则将所述第二左边界预选值确定为所述第二左边界像素值，否则，将所述第二左边界预测最小值确定为所述第二左边界像素值。

可选地，在所述手形区域中定位指尖对应的像素点的步骤，包括：确定所述第一灰度直方图中、介于所述交叉区间中、且所对应的像素数量最小的像素值确定为指尖对应的像素值，并在所述手形区域中定位该像素值所对应的像素点，将定位出的像素点确定为指尖对应的像素点。

可选地，增强现实眼镜的手势识别方法，还包括：采用偏离矩阵对所述转换矩阵进行矫正。

其中，偏离矩阵按照如图9所示的步骤计算：

步骤S91，启动纠正模式，在所述显示界面中显示所述光标；

步骤S92，提示用户控制所述光标移动以对准所述显示界面中指尖的光学透视图像；当用户控制所述光标移动以对准所述显示界面中指尖的光学透视图像时，计算该时刻所述显示界面中所述光标的二维坐标，同时获取该时刻深度相机获得的深度图像，并基于所述深度图像计算指尖的深度值，以及利用已计算出的转换矩阵对所述深度图像中指尖的二维坐标进行转换，得到转换后的二维坐标；将该时刻计算得到的所述显示界面中所述光标的二维坐标，以及指尖的深度值、所述转换后的二维坐标组成一偏离匹配组；

步骤S93，提示用户变换指尖的深度和位置，并重复执行所述步骤S92，直至得到第二预设组数的偏离匹配组；

步骤S94，将所有偏离匹配组包含的所述显示界面中所述光标的二维坐标组成第三标定矩阵，并将所有偏离匹配组包含的指尖的深度值、以及所述转换后的二维坐标组成第四标定矩阵；

步骤S95，计算将所述第四标定矩阵转换成为所述第三标定矩阵所需的矩阵，并将计算得到的矩阵确定为所述偏离矩阵。

应当注意，尽管在上文详细描述中提及了增强现实眼镜的若干模块，但是这种划分仅仅并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块的特征和功能可以在一个模块中具体化。反之，上文描述的一个模块的特征和功能可以进一步划分为由多个模块来具体化。

此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

Claims (17)

1.一种增强现实眼镜的手势识别方法，包括：

步骤A1，获取深度相机通过实时拍摄增强现实眼镜前方的场景而获得的深度图像，并基于所述深度图像计算指尖的深度值、以及所述深度图像中指尖的二维坐标；

步骤A2，采用转换矩阵对所述深度图像中指尖的二维坐标进行转换，并根据转换得到的二维坐标，在增强现实眼镜的显示界面中生成一虚拟目标；

步骤A3，实时分析指尖的深度值的大小变化情况，以及所述显示界面中虚拟目标的位置变化情况，以触发相应事件；

其中，所述转换矩阵按照如下方式计算：

步骤B1，在所述显示界面中显示一光标；

步骤B2，提示用户控制所述光标移动以对准所述显示界面中指尖的光学透视图像；当用户控制所述光标移动以对准所述显示界面中指尖的光学透视图像时，计算该时刻所述显示界面中所述光标的二维坐标，同时获取该时刻深度相机获得的深度图像，并基于所述深度图像计算指尖的深度值、以及所述深度图像中指尖的二维坐标；将该时刻计算得到的所述显示界面中所述光标的二维坐标，以及指尖的深度值、所述深度图像中指尖的二维坐标组成一转换匹配组；

步骤B3，提示用户变换指尖的深度和位置，并重复执行所述步骤B2，直至得到第一预设组数的转换匹配组；

步骤B4，将所有转换匹配组包含的所述显示界面中所述光标的二维坐标组成第一标定矩阵，并将所有转换匹配组包含的指尖的深度值、以及所述深度图像中指尖的二维坐标组成第二标定矩阵；

步骤B5，计算将所述第二标定矩阵转换成为所述第一标定矩阵所需的矩阵，并将计算得到的矩阵确定为所述转换矩阵。

2.根据权利要求1所述的方法，其中，所述基于所述深度图像计算指尖的深度值、以及所述深度图像中指尖的二维坐标的步骤，包括：

在所述深度图像中分割手形区域；

在所述手形区域中定位指尖对应的像素点，并将指尖对应的像素点的像素值确定为所述指尖的深度值；

将所述深度图像中指尖对应的像素点的二维坐标，确定为所述深度图像中指尖的二维坐标。

3.根据权利要求2所述的方法，其中，所述在所述深度图像中分割手形区域的步骤，包括：

将所述深度图像转换为灰度直方图，所述灰度直方图的两个坐标轴分别表示像素值和像素数量；

将所述灰度直方图中最接近该灰度直方图的最大像素值、且所对应的像素数量大于预设数量的像素值确定为右边界像素值；

令所述右边界像素值减去预设边界差值得到左边界预测最小值；

在所述右边界像素值和所述左边界预测最小值之间确定左边界像素值；

将所述深度图像中大于等于所述左边界像素值、小于等于所述右边界像素值的区域分割出来作为所述手形区域。

4.根据权利要求3所述的方法，其中，所述预设数量为0，所述预设边界差值为15。

5.根据权利要求3所述的方法，其中，所述在所述右边界像素值和所述左边界预测最小值之间确定左边界像素值的步骤，包括：

将所述右边界像素值和所述左边界预测最小值之间、所对应的像素数量最少的像素值，确定为左边界预选值；

若所述左边界预选值与所述右边界像素值之间的差值大于预设阈值，则将所述左边界预选值确定为所述左边界像素值，否则，将所述左边界预测最小值确定为所述左边界像素值。

6.根据权利要求5所述的方法，其中，所述在所述手形区域中定位指尖对应的像素点的步骤，包括：

确定所述灰度直方图中、介于所述右边界像素值与所述左边界像素值之间、且所对应的像素数量最小的像素值，并在所述手形区域中定位该像素值所对应的像素点，将定位出的像素点确定为指尖对应的像素点。

7.根据权利要求2所述的方法，其中，所述在所述深度图像中分割手形区域的步骤，包括：

将所述深度图像转换为第一灰度直方图，所述第一灰度直方图的两个坐标轴分别表示像素值和像素数量；

将所述第一灰度直方图中最接近该第一灰度直方图的最大像素值、且所对应的像素数量大于第一预设数量的像素值确定为第一右边界像素值；

令所述第一右边界像素值减去第一预设边界差值得到第一左边界预测最小值；

在所述第一右边界像素值和所述第一左边界预测最小值之间确定第一左边界像素值；

以所述第一右边界像素值和所述第一左边界像素值为边界，确定第一区间；

获取红外传感器实时拍摄的红外图像，将所述红外图像转换为第二灰度直方图，所述第二灰度直方图的两个坐标轴分别表示像素值和像素数量；

将所述第二灰度直方图中最接近该第二灰度直方图的最大像素值、且所对应的像素数量大于第二预设数量的像素值确定为第二右边界像素值；

令所述第二右边界像素值减去第二预设边界差值得到第二左边界预测最小值；

在所述第二右边界像素值和所述第二左边界预测最小值之间确定第二左边界像素值；

以所述第二右边界像素值和所述第二左边界像素值为边界，确定第二区间；

计算所述第一区间与所述第二区间的交集，得到交叉区间；

将所述深度图像中像素值介于所述交叉区间的区域分割出来作为所述手形区域。

8.根据权利要求7所述的方法，其中，第一预设数量为0，第一预设边界差值为15，第二预设数量为0，第二预设边界差值为25。

9.根据权利要求7所述的方法，其中，

所述在所述第一右边界像素值和所述第一左边界预测最小值之间确定第一左边界像素值的步骤，包括：

将所述第一右边界像素值和所述第一左边界预测最小值之间、所对应的像素数量最少的像素值，确定为第一左边界预选值；

若所述第一左边界预选值与所述第一右边界像素值之间的差值大于第一预设阈值，则将所述第一左边界预选值确定为所述第一左边界像素值，否则，将所述第一左边界预测最小值确定为所述第一左边界像素值；

所述在所述第二右边界像素值和所述第二左边界预测最小值之间确定第二左边界像素值的步骤，包括：

将所述第二右边界像素值和所述第二左边界预测最小值之间、所对应的像素数量最少的像素值，确定为第二左边界预选值；

若所述第二左边界预选值与所述第二右边界像素值之间的差值大于第二预设阈值，则将所述第二左边界预选值确定为所述第二左边界像素值，否则，将所述第二左边界预测最小值确定为所述第二左边界像素值。

10.根据权利要求9所述的方法，其中，所述在所述手形区域中定位指尖对应的像素点的步骤，包括：

确定所述第一灰度直方图中、介于所述交叉区间中、且所对应的像素数量最小的像素值确定为指尖对应的像素值，并在所述手形区域中定位该像素值所对应的像素点，将定位出的像素点确定为指尖对应的像素点。

11.根据权利要求1所述的方法，还包括：采用偏离矩阵对所述转换矩阵进行矫正；

其中，所述偏离矩阵按照如下方式计算：

步骤C1，启动纠正模式，在所述显示界面中显示所述光标；

步骤C2，提示用户控制所述光标移动以对准所述显示界面中指尖的光学透视图像；当用户控制所述光标移动以对准所述显示界面中指尖的光学透视图像时，计算该时刻所述显示界面中所述光标的二维坐标，同时获取该时刻深度相机获得的深度图像，并基于所述深度图像计算指尖的深度值，以及利用已计算出的转换矩阵对所述深度图像中指尖的二维坐标进行转换，得到转换后的二维坐标；将该时刻计算得到的所述显示界面中所述光标的二维坐标，以及指尖的深度值、所述转换后的二维坐标组成一偏离匹配组；

步骤C3，提示用户变换指尖的深度和位置，并重复执行所述步骤C2，直至得到第二预设组数的偏离匹配组；

步骤C4，将所有偏离匹配组包含的所述显示界面中所述光标的二维坐标组成第三标定矩阵，并将所有偏离匹配组包含的指尖的深度值、以及所述转换后的二维坐标组成第四标定矩阵；

步骤C5，计算将所述第四标定矩阵转换成为所述第三标定矩阵所需的矩阵，并将计算得到的矩阵确定为所述偏离矩阵。

12.根据权利要求1所述的方法，其中，所述步骤A3包括：

若在相邻两次采样时刻，所述虚拟目标均位于所述显示界面的同一区域，且该相邻两次采样时刻指尖的深度值之差大于预设深度差值，则执行点击事件。

13.根据权利要求12所述的方法，其中，所述步骤A3还包括：

若在相邻两次采样时刻，所述虚拟目标的一维坐标的差值大于第一预设坐标差值，且另一维坐标的差值小于第二预设坐标差值，则执行滑动事件。

14.一种增强现实眼镜系统，包括：增强现实眼镜、标定装置，其中所述增强现实眼镜能够与所述标定装置连接或断开；

所述增强现实眼镜包括：

近眼显示镜片，用于呈现一显示界面，以透射增强现实眼镜前方的场景并显示虚拟信息；并在所述增强现实眼镜连接所述标定装置时，于所述显示界面中显示一光标；

深度相机，用于通过实时拍摄增强现实眼镜前方的场景而获得深度图像；

图像处理模块，用于基于所述深度图像，计算指尖的深度值、以及所述深度图像中指尖的二维坐标；

虚拟目标生成模块，用于采用转换矩阵对所述图像处理模块计算得到的所述深度图像中指尖的二维坐标进行转换，并根据转换得到的二维坐标，在所述显示界面中生成一虚拟目标；

响应模块，用于实时分析指尖的深度值的大小变化情况，以及所述显示界面中虚拟目标的位置变化情况，以触发相应事件；

模式选择模块，用于在所述增强现实眼镜未连接所述标定装置时，启动所述虚拟目标生成模块和所述响应模块，在所述增强现实眼镜连接所述标定装置时，关闭所述虚拟目标生成模块和所述响应模块；

所述标定装置包括：

提示模块，用于提示用户控制所述光标移动以对准所述显示界面中指尖的光学透视图像，以及提示用户变换指尖的深度和位置；

标定执行模块，用于当用户控制所述光标移动以对准所述显示界面中指尖的光学透视图像时，计算该时刻所述显示界面中所述光标的二维坐标，同时获取所述图像处理模块基于该时刻所述深度相机获得的深度图像而计算的指尖的深度值、以及所述深度图像中指尖的二维坐标；将该时刻计算得到的所述显示界面中所述光标的二维坐标，以及指尖的深度值、所述深度图像中指尖的二维坐标组成一转换匹配组；

重复标定模块，用于每当用户变换指尖的深度和位置之后，重复触发所述标定执行模块，直到获得第一预设组数的转换匹配组；

转换模块，用于将所有转换匹配组包含的所述显示界面中所述光标的二维坐标组成第一标定矩阵，并将所有转换匹配组包含的指尖的深度值、以及所述深度图像中指尖的二维坐标组成第二标定矩阵；然后计算将所述第二标定矩阵转换成为所述第一标定矩阵所需的矩阵，并将计算得到的矩阵确定为所述转换矩阵。

15.根据权利要求14所述的增强现实眼镜系统，其中，所述响应模块包括：

点击触发单元，用于判断在相邻两次采样时刻，所述虚拟目标均位于所述显示界面的同一区域，且该相邻两次采样时刻指尖的深度值之差大于预设深度差值时，执行点击事件。

16.根据权利要求15所述的增强现实眼镜系统，其中，所述响应模块还包括：

滑动触发单元，用于判断在相邻两次采样时刻，所述虚拟目标的一维坐标的差值大于第一预设坐标差值，且另一维坐标的差值小于第二预设坐标差值时，执行滑动事件。

17.根据权利要求14所述的增强现实眼镜系统，还包括：光标控制装置；

所述光标控制装置能够与所述增强现实眼镜连接或断开；

所述光标控制装置用于根据用户的操控使所述光标移动位置。