CN109933190A - 一种头戴显示设备及其交互方法 - Google Patents

Abstract

本发明公开了一种头戴显示设备及其交互方法，交互方法包括：头戴显示设备上的深度相机采集所述头戴显示设备佩戴者的手部深度图像，其中，所述手部包括所述佩戴者的手指；对所述手部深度图像进行处理，确定所述佩戴者手指的空间位置，根据所述手指的空间位置以及所述头戴显示设备内生成的虚拟键盘的空间位置，确定所述手指当前触控的所述虚拟键盘的输入按键，所述头戴显示设备执行与所述输入按键相关联的交互操作。本发明实施例的手指触控虚拟键盘交互更符合用户操作习惯，提高了输入操作的准确度，避免了携带手柄等交互工具的繁琐，提高了产品的市场竞争力。

Description

一种头戴显示设备及其交互方法

技术领域

本发明涉及头戴显示设备技术领域，具体涉及一种头戴显示设备及其交互方法。

背景技术

伴随着技术的成熟，深度相机发展迅速，受到了业界广泛关注，基于深度相机的深度感知场景的应用和研究也越来越多，比如虚拟现实领域，应用虚拟现实技术的头戴显示设备的交互方式对虚拟现实体验至关重要。

目前，头戴显示设备的交互方式多为通过手柄或触摸屏实现。手柄交互存在体积大，不方便随身携带的缺点，而触摸屏的交互方式不直观，同时准确率不高，双手不能随意活动，用户体验差。由此可知，头戴显示设备的交互方式亟待改进。

发明内容

本发明提供了一种头戴显示设备及其交互方法，利用手指触控虚拟键盘交互更符合用户操作习惯，提高了输入操作的准确度，避免了携带手柄等交互工具的繁琐，提高了产品的市场竞争力。

根据本申请的一个方面，提供了一种头戴显示设备的交互方法，包括：

头戴显示设备上的深度相机采集所述头戴显示设备佩戴者的手部深度图像，其中，所述手部包括所述佩戴者的手指；

对所述手部深度图像进行处理，确定所述佩戴者手指的空间位置，

根据所述手指的空间位置以及所述头戴显示设备内生成的虚拟键盘的空间位置，确定所述手指当前触控的所述虚拟键盘的输入按键，所述头戴显示设备执行与所述输入按键相关联的交互操作。

根据本申请的另一个方面，提供了一种头戴显示设备，包括：

深度相机，用于采集所述头戴显示设备佩戴者手部的深度图像，其中，所述手部包括所述佩戴者手指；

处理器，与所述深度相机连接，用于对所述手部深度图像进行处理，确定所述佩戴者手指的空间位置，根据所述手指的空间位置以及存储器中存储的头戴式显示设备内生成的虚拟键盘的空间位置，确定所述手指当前触控的所述虚拟键盘的输入按键，控制执行与所述输入按键相关联的交互操作；

存储器，与所述处理器连接，用于存储所述虚拟键盘的空间位置信息。

本发明实施例的头戴显示设备的及其交互方法，头戴显示设备的深度相机采集佩戴者的手部深度图像，对图像进行处理，确定手指的空间位置，根据确定出的手指的空间位置以及头戴显示设备内生成和显示的虚拟键盘的空间位置，计算出手指当前触控的虚拟键盘的输入按键，头戴显示设备执行与输入按键相关联的交互操作。由此，利用手指触控虚拟键盘的交互方式，更符合用户的操作习惯，避免了携带手柄等外部交互工具，根据手指位置和输入按键位置来实现输入提高了输入操作的准确性，从而大大提升了头戴显示设备的市场竞争力。

附图说明

图1是本发明一个实施例的头戴显示设备交互方法的流程图；

图2是本发明另一个实施例的头戴显示设备交互方法的流程示意图；

图3是本发明一个实施例的头戴显示设备交互方法的应用场景示意图；

图4a是本发明一个实施例的目标连通区域的示意图；

图4b是本发明一个实施例的分割出的手掌的示意图；

图5是本发明一个实施例的头戴显示设备的框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的设计构思在于：针对现有技术的头戴显示设备交互方式携带不便，交互方式不直观、准确率不高的技术问题，提出一种利用手指触控虚拟键盘的交互方式，通过深度相机获取佩戴者的手部深度图像，对深度图像进行处理得到手指的空间位置，根据手指的空间位置以及头戴显示设备内生成并显示的虚拟键盘的空间位置进而确定出佩戴者手指当前点选的输入按键，根据点选的输入按键执行相应交互，与现有技术相比，避免了携带手柄等外部交互工具，并且与触摸屏相比，提高了交互的直观性和准确率，更重要的是，手指触控虚拟键盘的输入按键更符合佩戴者的裸手操作习惯，交互方式更新颖，优化了用户体验。

图1是本发明一个实施例的头戴显示设备的交互方法的流程图，如图1所示，本实施例的头戴显示设备的交互方法包括下列步骤：

步骤S101，头戴显示设备上的深度相机采集所述头戴显示设备佩戴者的手部深度图像，其中，所述手部包括所述佩戴者的手指；

步骤S102，对所述手部深度图像进行处理，确定所述佩戴者手指的空间位置，

步骤S103，根据所述手指的空间位置以及所述头戴显示设备内生成的虚拟键盘的空间位置，确定所述手指当前触控的所述虚拟键盘的输入按键，所述头戴显示设备执行与所述输入按键相关联的交互操作。

由图1所示可知，本实施例的头戴显示设备的交互方法，通过头戴显示设备上的深度相机采集佩戴者的手部深度图像，对手部深度图像进行处理，确定出手指的位置，根据手指的位置以及虚拟键盘的位置计算出手指当前触控的输入按键，并执行与输入关键关联的交互操作完成交互，交互方式更加直观、新颖，准确率大大提高，并且符合用户操作习惯，改善了用户体验。

本发明实施例的头戴显示设备的交互方法应用于头戴显示设备中，头戴显示设备具有深度相机，这里的头戴显示设备可以是头戴虚拟现实VR(Virtual Reality,简称VR)设备，也可以是头戴增强现实AR(Augmented Reality，简称AR)设备或者是头戴混合现实设备，对此不做限制。

根据实现原理不同，深度相机可以分为三种，分别是RGB-D双目深度相机、结构光深度相机和TOF(Time Of Flight，飞行时间)深度相机。RGB-D深度相机利用视差计算深度，深度信息依赖软件算法得出，算法复杂度高，难度很大，处理芯片需要很高的计算性能。结构光深度相机容易受光照影响，不适用于室外环境。TOF深度相机抗干扰性能好，受环境影响小，功耗低。

基于此，本实施例中，头戴显示设备上的深度相机采集所述头戴显示设备佩戴者手部的深度图像包括：头戴显示设备上的TOF深度相机采集头戴显示设备佩戴者手部的深度图像。也就是说，本实施例中深度相机采用TOF深度相机，接下来结合图2至图4b对本实施例的头戴显示设备的交互方法的实现步骤进行重点说明。

本实施例的方法应用于头戴显示设备中，参见图3，头戴显示设备具有TOF深度相机，TOF深度相机采集佩戴者手部深度图像，将手部深度图像发送给头戴显示设备中的处理器进行处理，处理器根据手部的位置和存储的虚拟键盘(虚拟键盘显示在头戴显示设备的显示屏上)的位置，确定出手指点选的具体输入按键，在确定出输入按键后，头戴显示设备执行与输入按键相关联的交互操作。比如，输入按键为方向键中的→(右移方向键)，头戴显示设备根据该输入按键执行比如控制头戴显示设备的显示屏幕上的鼠标光标向右移动，或控制头戴显示设备的显示屏幕上的游戏应用中游戏人物向右移动预定距离等交互操作。

总的来说，本实施例的头戴显示设备的交互方法包括深度相机采集佩戴者的手部深度图像，处理器对手部深度图像进行处理确定出手指的位置，根据手指的位置进行虚拟键盘触控检测三大步骤。如前述，头戴显示设备上具有TOF深度相机，TOF深度相机主要用于拍摄佩戴者的手部深度图像。得到手部深度图像之后，按照图2所示步骤对手部深度图像进行处理。

参见图2，本实施例的交互的方法包括：对手部深度图像处理步骤以及输入按键确定步骤，其中，对手部深度图像处理步骤包括：步骤S201至步骤S203，分别是连通区域检测、手掌分割和指尖定位，具体的是对手部深度图像进行连通区域检测，得到目标连通区域，在目标连通区域中分割出手掌，并保留手掌对应的像素点，得到手掌像素点集；过滤手掌像素点集中的像素点，根据过滤后剩下的像素点定位出手指的指尖对应的像素点，由手指的指尖对应的像素点确定出手指的位置。

首先执行步骤S201，连通区域检测；

对TOF深度相机采集的手部深度图像进行连通区域检测。例如在深度图上进行四邻域或八邻域的连通区域检测，得到多个连通区域；判断各连通区域内像素点的深度值是否均在预设的深度值阈值范围内，是则，确定该连通区域为目标连通区域；其中，深度值阈值范围的上限值根据手掌和手臂的深度值确定，所述深度值阈值范围的下限值根据所述手掌和所述手臂的深度值确定。

注：在图像中，最小的单位是像素，每个像素周围有8个邻接像素，常见的邻接关系有两种：4邻接与8邻接。4邻接一共4个点，即上下左右，8邻接的点一共有8个，除上下左右外还包括了对角线位置的点，连通区域检测是判断深度图上的像素点与其邻接点的深度值的差异是否在预设范围内，如果差异在预设范围内则认为两个点是连通的，否则认为不连通，连通点还具有传递性，比如若点A与点B连通，点B与点C连通，则点A与点C连通。

本实施例中，对手部深度图进行连通区域检测后可以得到多个连通区域，比如3个，对这多个连通区域进一步筛选，将符合预设条件，即连通区域内像素点的深度值均在预设的深度值阈值范围内的连通区域，作为目标连通区域。

这里的深度值阈值范围的上限值根据手掌和手臂的深度值确定，深度值阈值范围的下限值根据手掌和手臂的深度值确定。比如，深度值阈值范围的是10厘米到200厘米，10厘米对应佩戴者手部的手臂的深度值，200厘米对应佩戴者手部的手掌的深度值，根据该预设的深度值阈值范围将包含手掌和手臂的区域挑选出来作为最终的连通区域S_all。

本实施例的检测得到的目标连通区域如图4a所示，该目标连通区域中包括佩戴者手部的手掌以及一段手臂，确定出目标连通区域之后，在目标连通区域中分割出手掌，并保留与手掌对应的像素点，得到手掌像素点集；过滤手掌像素点集中的像素点，根据过滤后剩下的像素点定位出与手指的指尖对应的像素点，由与手指的指尖对应的像素点确定出手指的空间位置。

步骤S202，手掌分割

手掌分割是在目标连通区域中分割出手掌，并保留手掌对应的像素点，得到手掌像素点集。具体包括：计算目标连通区域内各像素点在相机坐标系下的坐标值，将目标连通区域中深度值最大的像素点作为与最长手指的指尖对应的像素点，根据像素点在相机坐标系下的坐标值，计算目标连通区域内的像素点与最长手指的指尖对应的像素点之间的第二距离，将计算出的第二距离与预设的第二距离阈值进行比较，保留与小于第二距离阈值的第二距离对应的像素点，由保留的像素点得到手掌像素点集。

接上例，在步骤S201得到的连通区域S_all中，选择深度值最大的像素点A作为最长手指的指尖，最长手指是所述佩戴者的全部手指中长度最大的手指，普通人的中指最长，所以最长手指或最远端手指的指尖为中指的指尖。将连通区域S_all所有的点根据相机小孔成像模型，计算相机坐标系下三维坐标值，然后根据所有点的三维坐标值与A点的三维坐标值计算各点到A点的第二距离，比如某一像素点B的三维坐标值为(x，y，z)，A点的三维坐标为(x0，y0，z0)，按照下列公式计算像素点B与A点的第二距离。

所有像素点与A点的第二距离计算完毕之后，将第二距离在一定范围内的点即，距离Dis小于第二距离阈值的点保留，得到手掌，从而完成了手掌分割。分割后的手掌的示意图参见图4b，可以看出，本实施例从图4a所示的目标连通区域中分割出了手掌区域。

将这些保留下来的所有像素点形成的集合，记为手掌像素点集Points_Hand。

步骤S203，指尖定位

本步骤是通过过滤手掌像素点集中的像素点，根据过滤后剩下的像素点定位出手指的指尖对应的像素点。具体包括：计算手掌像素点集中所有像素点的重心，并计算重心在相机坐标系下的坐标值，根据手掌像素点集中所有像素点在相机坐标系下的坐标值以及重心在相机坐标系下的坐标值，计算手掌像素点集中各像素点到重心的第三距离，将第三距离和确定的第三距离阈值进行比较，其中，第三距离阈值根据基准距离Dis_base和第一常数确定，基准距离是指最长手指(比如中指)的指尖对应的像素点到重心的距离。若第三距离小于第三距离阈值，则从手掌像素点集中过滤与第三距离对应的像素点，过滤后剩下的像素点形成新点集(即手指对应的像素点的集合)；根据新点集进行连通区域检测，得到与佩戴者手指对应的新连通区域，在新连通区域内，查找深度值最大的像素点并将深度值最大的像素点作为手指的指尖对应的像素点。

继续沿用上面的例子来说明指尖定位过程。根据步骤S202中所保留下来的手掌点集Points_Hand，计算这个手掌点集中所有点的重心Point_Center，重心即是掌心。假设手掌点集Points_Hand为(x1，y1，z1)……(xn，yn，zn)，则重心坐标为：

然后，计算点A与重心之间的基准距离Dis_base(即掌心与最长手指的指尖的距离)，距离计算公式参见前述像素点B与点A的距离计算公式。

接着，计算前述手掌点集Points_Hand中各点与重心Point_Center的第三距离，判断各第三距离与第三距离阈值的大小，将第三距离小于第三距离阈值对应的点均过滤掉，保留下来的点形成新点集Points_Finger。

这里的第三距离阈值根据点A与重心之间的基准距离Dis_base以及第一常数alpha确定，具体的，第三距离阈值等于Dis_base*(1-alpha)。第一常数是预先统计大量用户的手指长度、指尖到掌心距离后，根据手指长度与指尖到掌心距离的比值确定的。

最后，在新点集Points_Finger里，进行连通区域的检测从而找到五个新连通区域(对应五个手指)。检测步骤参见前述步骤S201中说明，这里不再赘述。在每个新连通区域里，查找深度值最大的那个点，深度值最大的那个点即为指尖(中指指尖参见图4b中示意的点A)，从而找到了五个指尖，指尖定位工作完成。

这里，将五个指尖的像素点形成的点集记为Points_FingerTip。

步骤S204，虚拟键盘触控检测

在进行虚拟键盘触控检测之前需要统一坐标系，即，将相机坐标系下各指尖对应的像素点的坐标转换到世界坐标系下，根据世界坐标系下各指尖对应的像素点的坐标值以及世界坐标系下虚拟键盘的各输入按键的坐标值，计算各指尖与各输入按键之间的距离，若指尖与输入按键之间的距离小于第一距离阈值，则将该输入按键作为手指当前触控的输入按键。

需要说明的是，经过上面步骤S201-S203检测到的指尖以及计算出的指尖的三维坐标是相机坐标系下的坐标值，TOF相机安装在头戴显示设备上，为了进行触控检测需要将上述指尖的三维坐标根据头部的旋转和平移信息进行坐标转换，从而转化为世界坐标系下的坐标，本实施例中将转换后的指尖的坐标记为Points_FingerTip_World。

由于预先设置的虚拟键盘的位置坐标也是在世界坐标系下的，这样就把指尖的坐标和虚拟键盘的坐标统一到同一个坐标系下来进行衡量。触控检测具体是：计算手指的指尖与各输入按键之间的第一距离，当指尖和虚拟键盘的输入按键之间的距离小于第一距离阈值时，就认为指尖触控了虚拟键盘的输入按键，后续根据指尖触控的输入按键执行相关联的交互操作，从而完成一次交互。

与前述的头戴显示设备的交互方法同属于一个技术构思，本发明实施例还提供了一种头戴显示设备，图5是本发明一个实施例的头戴显示设备的框图，参见图5，本实施例的头戴显示设备500包括：

深度相机501，用于采集头戴显示设备佩戴者手部的深度图像，其中，所述手部包括所述佩戴者手指；

处理器502，与所述深度相机501连接，用于对所述手部深度图像进行处理，确定所述佩戴者手指的空间位置，根据所述手指的空间位置以及存储器503中存储的头戴式显示设备内生成的虚拟键盘的空间位置，确定所述手指当前触控的所述虚拟键盘的输入按键，控制执行与所述输入按键相关联的交互操作；

存储器503，与所述处理器502连接，用于存储所述虚拟键盘的空间位置信息。

在本发明的一个实施例中，处理器502，具体用于根据所述手指的指尖的空间位置以及各所述输入按键的空间位置，获得所述手指的指尖与各所述输入按键之间的第一距离，当所述第一距离小于预设的第一距离阈值时，确定与所述第一距离对应的输入按键为所述手指当前触控的输入按键。

在本发明的一个实施例中，深度相机501包括TOF深度相机。

在本发明的一个实施例中，处理器502具体用于对所述手部深度图像进行连通区域检测，得到目标连通区域，其中，所述手部包括所述佩戴者的手指和手掌；在所述目标连通区域中分割出所述手掌，并保留与所述手掌对应的像素点，得到手掌像素点集；过滤所述手掌像素点集中的像素点，根据所述过滤后剩下的像素点定位出与所述手指的指尖对应的像素点，由与所述手指的指尖对应的像素点确定出所述手指的空间位置。

在本发明的一个实施例中，处理器502，具体用于计算所述目标连通区域内各像素点在相机坐标系下的坐标值，将所述目标连通区域中深度值最大的像素点作为与最长手指的指尖对应的像素点，其中，所述最长手指是所述佩戴者的全部手指中长度最大的手指；

根据所述像素点在相机坐标系下的坐标值，计算所述目标连通区域内的像素点与所述最长手指的指尖对应的像素点之间的第二距离，将计算出的所述第二距离与预设的第二距离阈值进行比较，保留与小于所述第二距离阈值的第二距离对应的像素点，由保留的像素点得到手掌像素点集。

在本发明的一个实施例中，处理器502，具体用于计算所述手掌像素点集中所有像素点的重心，并计算所述重心在所述相机坐标系下的坐标值，

根据所述手掌像素点集中所有像素点在所述相机坐标系下的坐标值以及所述重心在所述相机坐标系下的坐标值，计算所述手掌像素点集中各像素点到所述重心的第三距离，将所述第三距离和确定的第三距离阈值进行比较，其中，所述第三距离阈值根据基准距离和第一常数确定，所述基准距离是指所述最长手指的指尖对应的像素点到所述重心的距离；若所述第三距离小于所述第三距离阈值，则从所述手掌像素点集中过滤与所述第三距离对应的像素点，过滤后剩下的像素点形成新点集；根据所述新点集进行连通区域检测，得到与所述佩戴者手指对应的新连通区域，在所述新连通区域内，查找深度值最大的像素点并将所述深度值最大的像素点作为所述手指的指尖对应的像素点。

在本发明的一个实施例中，处理器502，具体用于在所述手部深度图像上进行四邻域或八邻域的连通区域检测，得到多个所述连通区域；判断所述连通区域内像素点的深度值是否均在预设的深度值阈值范围内，是则，确定所述连通区域为所述目标连通区域，其中，所述手部包括所述佩戴者的手指、手掌和手臂，所述深度值阈值范围的上限值根据所述手掌和所述手臂的深度值确定，所述深度值阈值范围的下限值根据所述手掌和所述手臂的深度值确定。

此外，上述的存储器503中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明的另一个实施例提供一种计算机可读存储介质，计算机可读存储介质存储计算机指令，计算机指令使所述计算机执行上述的方法。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图的一个流程或多个流程和/或方框图的一个方框或多个方框中指定的功能的装置。

需要说明的是术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本发明的说明书中，说明了大量具体细节。然而能够理解的是，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。类似地，应当理解，为了精简本发明公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，正如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

以上所述，仅为本发明的具体实施方式，在本发明的上述教导下，本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白，上述的具体描述只是更好的解释本发明的目的，本发明的保护范围以权利要求的保护范围为准。

Claims (10)

1.一种头戴显示设备的交互方法，其特征在于，包括：

头戴显示设备上的深度相机采集所述头戴显示设备佩戴者的手部深度图像，其中，所述手部包括所述佩戴者的手指；

对所述手部深度图像进行处理，确定所述佩戴者手指的空间位置，

根据所述手指的空间位置以及所述头戴显示设备内生成的虚拟键盘的空间位置，确定所述手指当前触控的所述虚拟键盘的输入按键，所述头戴显示设备执行与所述输入按键相关联的交互操作。

2.根据权利要求1所述的方法，其特征在于，所述根据所述手指的空间位置以及所述头戴显示设备内生成的虚拟键盘的空间位置，确定所述手指当前触控的所述虚拟键盘的输入按键包括：

根据所述手指的指尖的空间位置以及各所述输入按键的空间位置，获得所述手指的指尖与各所述输入按键之间的第一距离，当所述第一距离小于预设的第一距离阈值时，确定与所述第一距离对应的输入按键为所述手指当前触控的输入按键。

3.根据权利要求1所述的方法，其特征在于，所述对所述手部深度图像进行处理，确定所述佩戴者手指的空间位置包括：

对所述手部深度图像进行连通区域检测，得到目标连通区域，其中，所述手部包括所述佩戴者的手指和手掌；

在所述目标连通区域中分割出所述手掌，并保留与所述手掌对应的像素点，得到手掌像素点集；

过滤所述手掌像素点集中的像素点，根据所述过滤后剩下的像素点定位出与所述手指的指尖对应的像素点，由与所述手指的指尖对应的像素点确定出所述手指的空间位置。

4.根据权利要求3所述的方法，其特征在于，所述在所述目标连通区域中分割出所述手掌，并保留与所述手掌对应的像素点，得到手掌像素点集包括：

计算所述目标连通区域内各像素点在相机坐标系下的坐标值，将所述目标连通区域中深度值最大的像素点作为与最长手指的指尖对应的像素点，其中，所述最长手指是所述佩戴者的全部手指中长度最大的手指；

根据所述像素点在相机坐标系下的坐标值，计算所述目标连通区域内的像素点与所述最长手指的指尖对应的像素点之间的第二距离，将计算出的所述第二距离与预设的第二距离阈值进行比较，保留与小于所述第二距离阈值的第二距离对应的像素点，由保留的像素点得到手掌像素点集。

5.根据权利要求4所述的方法，其特征在于，所述过滤所述手掌像素点集中的像素点，根据所述过滤后剩下的像素点定位出与所述手指的指尖对应的像素点包括：

计算所述手掌像素点集中所有像素点的重心，并计算所述重心在所述相机坐标系下的坐标值，

根据所述手掌像素点集中所有像素点在所述相机坐标系下的坐标值以及所述重心在所述相机坐标系下的坐标值，计算所述手掌像素点集中各像素点到所述重心的第三距离，

将所述第三距离和确定的第三距离阈值进行比较，其中，所述第三距离阈值根据基准距离和第一常数确定，所述基准距离是指所述最长手指的指尖对应的像素点到所述重心的距离；

若所述第三距离小于所述第三距离阈值，则从所述手掌像素点集中过滤与所述第三距离对应的像素点，过滤后剩下的像素点形成新点集；

根据所述新点集进行连通区域检测，得到与所述佩戴者手指对应的新连通区域，

在所述新连通区域内，查找深度值最大的像素点并将所述深度值最大的像素点作为所述手指的指尖对应的像素点。

6.根据权利要求3所述的方法，其特征在于，对所述手部深度图像进行连通区域检测，得到目标连通区域包括：

在所述手部深度图像上进行四邻域或八邻域的连通区域检测，得到多个所述连通区域；

判断所述连通区域内像素点的深度值是否均在预设的深度值阈值范围内，是则，确定所述连通区域为所述目标连通区域，

其中，所述手部包括所述佩戴者的手指、手掌和手臂，所述深度值阈值范围的上限值根据所述手掌和所述手臂的深度值确定，所述深度值阈值范围的下限值根据所述手掌和所述手臂的深度值确定。

7.根据权利要求1所述的方法，其特征在于，所述头戴显示设备上的深度相机采集所述头戴显示设备佩戴者手部的深度图像包括：

所述头戴显示设备上的TOF深度相机采集所述头戴显示设备佩戴者手部的深度图像。

8.一种头戴显示设备，其特征在于，包括：

深度相机，用于采集所述头戴显示设备佩戴者手部的深度图像，其中，所述手部包括所述佩戴者手指；

处理器，与所述深度相机连接，用于对所述手部深度图像进行处理，确定所述佩戴者手指的空间位置，根据所述手指的空间位置以及存储器中存储的头戴式显示设备内生成的虚拟键盘的空间位置，确定所述手指当前触控的所述虚拟键盘的输入按键，控制执行与所述输入按键相关联的交互操作；

存储器，与所述处理器连接，用于存储所述虚拟键盘的空间位置信息。

9.根据权利要求8所述的头戴显示设备，其特征在于，所述处理器，具体用于根据所述手指的指尖的空间位置以及各所述输入按键的空间位置，获得所述手指的指尖与各所述输入按键之间的第一距离，当所述第一距离小于预设的第一距离阈值时，确定与所述第一距离对应的输入按键为所述手指当前触控的输入按键。

10.根据权利要求8所述的头戴显示设备，其特征在于，所述深度相机包括TOF深度相机。