CN113282169A - 头戴式显示设备的交互方法、装置及头戴式显示设备 - Google Patents

Abstract

本申请公开了一种头戴式显示设备的交互方法、装置及头戴式显示设备。该方法包括：实时获取手势图像；利用第一手势识别模型对手势图像进行识别，得到第一手势识别结果，若第一手势识别结果满足第一预设交互条件，则响应于第一手势识别结果，在显示界面上激活滑动菜单并展示滑动菜单中的意向菜单元素；利用第二手势识别模型对手势图像进行识别，得到第二手势识别结果，若第二手势识别结果满足第二预设交互条件，则响应于第二手势识别结果，对意向菜单元素进行确认，以在显示界面上展示与意向菜单元素对应的用户界面内容。本申请不需要用户使用外部输入设备与头戴式显示设备进行交互，简化了用户操作，提高了交互效率以及用户的虚拟交互体验。

Description

头戴式显示设备的交互方法、装置及头戴式显示设备

技术领域

本申请涉及头戴式显示设备技术领域，具体涉及一种头戴式显示设备的交互方法、装置及头戴式显示设备。

背景技术

随着科技的进步，市场需求的多元化发展，虚拟现实设备等头戴式显示设备正变得越来越普遍，并应用在许多领域，如电脑游戏，健康和安全，工业和教育培训等领域。例如混合虚拟现实系统正在被整合到移动通讯设备、游戏机、个人电脑、电影院、主题公园、大学实验室、学生教室以及医院锻炼健身室等生活中的各个角落。

一般而言，现有的头戴式显示设备中涉及到的技术主要包括虚拟现实(VirtualReality，简称VR)、增强现实(Augmented Reality，简称AR)、混合现实(Mixed Reality，简称MR)，以及它们的某种组合和/或衍生组合等，其实现原理是在将显示内容呈现给用户之前以某种方式进行调整，以给用户提供更好的沉浸式体验。

以虚拟现实系统为例，典型的虚拟现实系统一般包括一个或多个用于向用户呈现和显示内容的设备，例如可以包含由用户佩戴并配置为向用户输出虚拟现实内容的头戴式显示器(Head Mounted Display，简称HMD)，虚拟现实内容可能包括完全生成的内容或生成的内容与捕获的内容(例如，真实世界的视频、图像等)相结合。在用户操作使用期间，用户通常与虚拟现实系统交互，以选择内容、启动应用程序或以其他方式配置系统。

然而发明人发现，上述交互方案中缺少可用于与头戴式显示设备进行交互的简单、方便且快速的输入设备，例如可用于在菜单中定位和选择用户界面元素的输入设备。在某些头戴式显示设备中，可以通过用户的双手提供用户与菜单或图标等用户界面元素的交互，然而，这种交互方式会出现用户的一只手阻挡另一只手的情况，使得头戴式显示设备难以准确确定用户的意图行为。此外，如果用户需要手持外部硬件元件进行交互，可能会降低各种不便于手持外部硬件元件的用户的可访问性，进而导致用户的虚拟交互体验较差。

发明内容

有鉴于此，本申请的主要目的在于提供了一种头戴式显示设备的交互方法、装置及头戴式显示设备，用于解决现有的头戴式显示设备的交互方法交互效率不高，用户体验较差等技技术问题。

依据本申请的第一方面，提供了一种头戴式显示设备的交互方法，包括：

实时获取手势图像；

利用第一手势识别模型对所述手势图像进行识别，得到第一手势识别结果，若所述第一手势识别结果满足第一预设交互条件，则响应于所述第一手势识别结果，在显示界面上激活滑动菜单并展示滑动菜单中的意向菜单元素；

利用第二手势识别模型对所述手势图像进行识别，得到第二手势识别结果，若所述第二手势识别结果满足第二预设交互条件，则响应于所述第二手势识别结果，对所述意向菜单元素进行确认，以在所述显示界面上展示与所述意向菜单元素对应的用户界面内容。

依据本申请的第二方面，提供了一种头戴式显示设备的交互装置，包括：

手势图像获取单元，用于实时获取手势图像；

意向菜单元素展示单元，用于利用第一手势识别模型对所述手势图像进行识别，得到第一手势识别结果，若所述第一手势识别结果满足第一预设交互条件，则响应于所述第一手势识别结果，在显示界面上激活滑动菜单并展示滑动菜单中的意向菜单元素；

意向菜单元素确认单元，用于利用第二手势识别模型对所述手势图像进行识别，得到第二手势识别结果，若所述第二手势识别结果满足第二预设交互条件，则响应于所述第二手势识别结果，对所述意向菜单元素进行确认，以在所述显示界面上展示与所述意向菜单元素对应的用户界面内容。

依据本申请的第三方面，提供了一种头戴式显示设备，包括：处理器，存储计算机可执行指令的存储器，

所述可执行指令在被所述处理器执行时，实现前述头戴式显示设备的交互方法。

依据本申请的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现前述的头戴式显示设备的交互方法。

本申请的有益效果是：本申请实施例的头戴式显示设备的交互方法，通过利用预先训练好的第一手势识别模型对获取到的手势图像进行实时识别，然后根据第一手势识别结果在显示界面上激活滑动菜单并向用户展示滑动菜单中的意向菜单元素；然后利用预先训练好的第二手势识别模型继续对获取到的手势图像进行实时识别，之后根据第二手势识别结果，实现用户对意向菜单元素的确认，从而可以在显示界面上展示与意向菜单元素对应的用户界面内容。本申请实施例的头戴式显示设备的交互过程的实现不需要用户使用外部输入设备或者复杂的手势动作来与头戴式显示设备进行交互，简化了用户操作，降低了用户学习成本，进而提高了头戴式显示设备的整体交互效率；此外提高了各种不便于手持外部输入设备的用户对虚拟现实等头戴式显示设备的可访问性，进而提高了用户的虚拟交互体验。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本申请一个实施例的头戴式显示设备的交互方法的流程示意图；

图2为本申请一个实施例的头戴式显示设备的交互装置的框图；

图3为本申请一个实施例中头戴式显示设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本申请的示例性实施例。提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。

图1示出了根据本申请一个实施例的头戴式显示设备的交互方法的流程示意图，参见图1，本申请实施例的头戴式显示设备的交互方法包括如下步骤S110至步骤S130：

步骤S110，实时获取手势图像。

本申请实施例的头戴式显示设备可以是各种能够实现VR或AR等技术的设备，例如可以是VR眼镜、VR头盔等，因此无论采用何种形式的头戴式显示设备，均能够适用本申请实施例的头戴式显示设备的交互方法。

在与头戴式显示设备进行交互时，可以实时采集用户的手势图像，这里的手势图像可以理解为是包含用户手部动作的图像，利用头戴式显示设备内置的手势追踪相机可对用户的手部动作进行实时追踪，进而可以实时采集到用户的手势图像。

步骤S120，利用第一手势识别模型对手势图像进行识别，得到第一手势识别结果，若第一手势识别结果满足第一预设交互条件，则响应于第一手势识别结果，在显示界面上激活滑动菜单并展示滑动菜单中的意向菜单元素。

在采集到手势图像后，本申请实施例可以利用预先训练好的第一手势识别模型对实时采集的手势图像进行识别，这里的第一手势识别模型可以理解为是对事先定义好的手势动作进行识别的模型，用以对实时采集到的手势图像中包含的手势动作进行识别，进而得到第一手势识别结果。

在得到第一手势识别结果后，需要判断第一手势识别结果是否满足第一预设交互条件，这里的第一预设交互条件可以根据实际需求事先定义好，例如可以设置当用户手势动作满足何种条件时才会触发在显示界面上激活滑动菜单并展示滑动菜单中的意向菜单元素的交互操作。

如果第一手势识别结果满足第一预设交互条件，则可以根据第一手势识别结果，在显示界面上激活滑动菜单并展示滑动菜单中的意向菜单元素，这里的滑动菜单是指可根据用户的手势操作进行滑动展示的菜单，意向菜单元素则可以是虚拟场景下用户想要与之交互的菜单元素，例如可以包括交互GUI元素，如用户与之交互以操作显示界面上的菜单或子菜单，还可以包括单个GUI元素，如可由用户选择和/或操纵的元素。在各种虚拟现实交互场景中，这样的单个GUI元素具体可以包括切换(或可切换)元素、下拉元素、菜单选择元素如基于复选框的菜单、二维或三维形状、内容显示窗口等中的一个或多个。当然，具体展示哪些类型的意向菜单元素，本领域技术人员可根据实际需求灵活设置，在此不作具体限定。

步骤S130，利用第二手势识别模型对手势图像进行识别，得到第二手势识别结果，若第二手势识别结果满足第二预设交互条件，则响应于第二手势识别结果，对意向菜单元素进行确认，以在显示界面上展示与意向菜单元素对应的用户界面内容。

在采集到手势图像后，本申请实施例还可以进一步利用预先训练好的第二手势识别模型对实时采集的手势图像进行识别，得到第二手势识别结果。这里的第二手势识别模型也可以理解为是对事先定义好的手势动作进行识别的模型，当然这里定义的手势动作应当区别于第一手势识别模型所定义的手势动作，从而满足用户不同的交互需求。

在得到第二手势识别结果后，需要判断第二手势识别结果是否满足第二预设交互条件，这里的第二预设交互条件也可以根据实际需求事先定义好，例如可以设置当用户的手势动作满足何种条件时才会产生对意向菜单元素进行确认的交互效果。

本申请实施例的头戴式显示设备的交互过程的实现不需要用户使用外部输入设备或者复杂的手势动作来与头戴式显示设备进行交互，简化了用户操作，降低了用户学习成本，进而提高了头戴式显示设备的整体交互效率；此外提高了各种不便于手持外部输入设备的用户对虚拟现实等头戴式显示设备的可访问性，进而提高了用户的虚拟交互体验。

在本申请的一个实施例中，头戴式显示设备包括手势追踪相机，手势追踪相机为深度相机、双目红外相机或者双目彩色相机中的任意一种。

本申请实施例的头戴式显示设备可以采用深度相机、双目红外相机或者双目彩色相机中的任意一种手势追踪相机来实时采集手势图像，如果采用深度相机可以直接得到手势动作的三维空间信息，如果采用双目红外相机或者双目彩色相机，则可以直接得到手势动作的二维位置信息，通过立体视觉技术也可以进一步转换成三维空间信息。

为了保证手势识别过程的追踪稳定性和追踪精度，本申请实施例对相机的配置规格有一些基础要求：1)FOV(Field of View，视场角)：100°及以上；2)分辨率：最小640*480；3)拍摄帧率：最小30Hz；4)最小追踪距离：10cm～100cm。当然，具体如何配置相机参数，本领域技术人员可根据实际需求灵活设置，在此不作具体限定。

在本申请的一个实施例中，手势图像为多帧连续的手势图像，第一预设交互条件包括第一预设动作，利用第一手势识别模型对手势图像进行识别，得到第一手势识别结果，若第一手势识别结果满足第一预设交互条件，则响应于第一手势识别结果，在显示界面上激活滑动菜单并展示滑动菜单中的意向菜单元素包括：利用预先训练好的第一手势识别模型对多帧连续的手势图像逐帧进行识别，对应每帧手势图像得到一个当前帧的第一手势动作；对每个当前帧的第一手势动作，若满足第一预设动作，则直接输出当前帧的第一手势动作在当前帧的手势图像中的位置信息，若不满足第一预设动作，则不输出当前帧的第一手势动作在当前帧的手势图像中的位置信息；根据多个满足第一预设动作的第一手势动作在手势图像中的位置信息，确定第一手势动作的移动方向；以及，根据第一手势动作的移动方向，在显示界面上激活相应的滑动菜单并展示滑动菜单中的意向菜单元素。

本申请实施例的手势图像为连续采集到的多帧手势图像，第一手势识别结果中可以包含识别到的用户的第一手势动作。对于当前帧的手势图像来说，在利用第一手势识别模型进行识别时，可以识别得到当前帧的第一手势动作，然后判断当前帧的第一手势动作是否满足第一预设动作，如果满足，那么可以直接输出当前帧的第一手势动作在当前帧的手势图像中的具体位置信息；如果不满足，则可以不用输出当前帧的第一手势动作在当前帧的手势图像中的位置信息。

需要说明的是，对于实时获取到的每一帧手势图像，都可以按照上述步骤进行处理，因此在此不作赘述。

本申请实施例提供的一种交互方式可以是用户通过做出满足一定条件的手势动作以滑动菜单并查看菜单上的用户界面元素。因此，本申请实施例在实现上述交互功能时，可以先确定用户的第一手势动作是否满足上述第一预设交互条件。

具体地，当用户当前的第一手势动作满足第一预设动作时，说明用户是存在对菜单进行滑动的交互需求的，那么为了进一步实现滑动展示的交互效果，这里可以结合该第一手势动作在前几帧如前5帧连续的手势图像中的位置信息，来确定第一手势动作的移动方向，进而可以根据第一手势动作的移动方向，在显示界面上滑动展示菜单及菜单中的意向菜单元素。这里选取的帧数的大小可以根据实际情况来灵活设置，但一定是小于该第一手势动作在整个交互操作的持续帧数的。帧数取值越小，则越能够较快确定出移动方向，而帧数取值越大，则越能够确保移动方向确定的准确性。

当然，为了进一步确保交互操作的准确性，避免用户的误操作，在识别到用户当前的第一手势动作满足第一预设动作时，还可以对该第一手势动作进行实时追踪，如果连续一定帧数用户始终保持着该第一手势动作，则才认为用户想要触发滑动菜单的操作，进而再执行后续的移动方向的确认步骤。

在本申请的一个实施例中，根据多个满足第一预设动作的第一手势动作在手势图像中的位置信息，确定第一手势动作的移动方向包括：确定滑动菜单的尺寸信息和物理三维空间中的可操作区域信息；将滑动菜单的尺寸信息与物理三维空间中的可操作区域信息进行计算换算，得到滑动菜单与物理三维空间中的可操作区域的对应关系；根据对应关系，将多个满足第一预设动作的第一手势动作的位置信息依次映射到滑动菜单上，以确定出第一手势动作的移动方向。

为了基于用户的手势动作实现对显示界面上的滑动菜单的滑动展示，可以先建立用户的手势动作的位置信息与滑动菜单的对应关系。具体地，基于头戴式显示设备的手势交互特点，通常用户在手相对头戴式显示设备的正前方大概长*宽为80cm*70cm左右的可操作区域范围内进行手势操作是比较舒服和自然的，而头戴式显示设备呈现的滑动菜单也通常设有一定的尺寸信息。

因此这里可以将滑动菜单的尺寸信息与上述物理三维空间中的可操作区域信息进行计算换算，进而可以得到滑动菜单与物理三维空间中的可操作区域的对应关系，之后在实现滑动展示的效果时，就可以根据该对应关系，将每一个识别到的满足第一预设动作的第一手势动作的位置信息依次映射到滑动菜单上，即对应到滑动菜单上的一个具体位置，从而确定出了第一手势动作的移动方向。

在本申请的一个实施例中，移动方向包括水平移动方向和垂直移动方向，多个第一手势动作对应的位置信息均包括X轴位置坐标和Y轴位置坐标，根据第一手势动作的移动方向，在显示界面上激活相应的滑动菜单并展示滑动菜单中的意向菜单元素包括：若移动方向为水平移动方向，则获取多个第一手势动作对应的Y轴位置坐标的平均值，作为各个第一手势动作在水平移动方向上的Y轴位置坐标，以及获取各个第一手势动作对应的X轴位置坐标，作为各个第一手势动作在水平移动方向上的X轴位置坐标；然后根据对应关系，将水平移动方向上的Y轴位置坐标以及水平移动方向上的X轴位置坐标依次映射到滑动菜单上，以实现对滑动菜单的水平滑动展示；若移动方向为垂直移动方向，则获取多个第一手势动作对应的X轴位置坐标的平均值，作为各个第一手势动作在垂直移动方向上的X轴位置坐标，以及获取各个第一手势动作对应的Y轴位置坐标，作为各个第一手势动作在垂直移动方向上的Y轴位置坐标；然后根据对应关系，将垂直移动方向上的X轴位置坐标以及垂直移动方向上的Y轴位置坐标依次映射到滑动菜单上，以实现对滑动菜单的垂直滑动展示。

本申请实施例的滑动菜单的移动方向主要包括水平移动方向和垂直移动方向，当第一手势识别模型识别到用户在进行握拳手势动作的移动时，通过一定帧数的握拳手势动作的位置信息判断当前握拳手势动作是以左右水平的X轴方向移动，还是以上下垂直的Y轴方向上移动。

本申请实施例的水平移动方向和垂直移动方向是指用户佩戴好头戴式显示设备后，手相对人眼的移动方向。如果当前识别到的握拳手势动作是以水平方向进行移动，那么可以获取初始Z帧的Y轴的位置坐标值并计算平均值，将该平均值作为当前握拳手势动作运动的Y轴方向上的位置信息，也即在水平移动场景下，Y轴的位置坐标值是相同的。然后将该Y轴的位置坐标值以及每一帧实时获取到的X轴上的位置坐标值通过上述实施例得到的对应关系实时映射到头戴式显示设备所显示的滑动菜单的对应位置上，从而实现滑动菜单在水平方向上的滑动展示。

如果当前识别到的握拳手势动作是以垂直方向进行移动，那么可以获取初始Z帧的X轴的位置坐标值并计算平均值，将该平均值作为当前握拳手势动作运动的X轴方向上的位置信息，也即在垂直移动场景下，X轴的位置坐标值是相同的。然后将该X轴的位置坐标值以及每一帧实时获取到的Y轴上的位置坐标值通过上述实施例得到的对应关系实时映射到头戴式显示设备所显示的滑动菜单的对应位置上，从而实现滑动菜单在垂直方向上的滑动展示。

由于头戴式显示设备显示的滑动菜单是在三维空间下的滑动菜单，因此在本申请的一个实施例中，如果头戴式显示设备采用的手势追踪相机是双目红外相机或者双目彩色相机，那么第一手势识别模型输出的握拳手势动作的位置信息为图像坐标系下的二维位置信息，这时为了能够将握拳手势动作的位置信息映射到三维空间下的滑动菜单上，可以先通过立体视觉技术将握拳手势动作在图像坐标系下的二维位置信息换算到相机坐标系下，然后再将换算后得到的三维空间信息映射到滑动菜单上。而如果头戴式显示设备采用的手势追踪相机为深度相机，那么第一手势识别模型输出的握拳手势动作的位置信息就是相机坐标系下的三维空间信息，此时无需再进行位置信息的换算。

在本申请的一个实施例中，第一预设动作为握拳手势动作，第一手势识别结果包括识别出的多个满足握拳手势动作以及多个满足握拳手势动作在手势图像中的位置信息。

本申请实施例事先设定的第一预设动作条件可以是指用户单手的握拳手势动作，即用户触发第一预设交互条件的第一手势动作是由一只手完成的手势动作，不需要用户同时使用两只手和虚拟现实场景呈现的虚拟内容进行交互，由此可以简化用户操作，降低用户的学习成本，进而提高用户与头戴式显示设备的交互效率。

因此，本申请实施例在识别到当前帧的手势动作为用户单手的握拳手势动作时，说明用户当前的第一手势动作满足第一预设动作，可以进一步输出第一手势动作的位置信息。当然，本申请实施例限定的单手的握拳手势动作仅是本申请列举的一种示意性实施例，实际应用时，本领域技术人员可根据实际需求灵活设置其他形式的第一预设动作，在此不一一列举。

在本申请的一个实施例中，第二预设交互条件包括第二预设动作，利用第二手势识别模型对手势图像进行识别，得到第二手势识别结果，若第二手势识别结果满足第二预设交互条件，则响应于第二手势识别结果，对意向菜单元素进行确认包括：利用预先训练好的第二手势识别模型对当前帧的手势图像进行识别，得到当前帧的第二手势动作；若当前帧的第二手势动作满足第二预设动作，则对意向菜单元素进行确认；若当前帧的第二手势动作不满足第二预设动作，则不对意向菜单元素进行确认。

通过上述实施例可以实现滑动菜单的滑动展示并得到滑动菜单上的意向菜单元素，为了进一步确保交互操作的准确性，避免用户的误操作，提高用户的虚拟交互体验，本申请实施例还可以利用预先训练好的第二手势识别模型对实时采集的手势图像进行识别，得到识别到的第二手势动作，然后确定识别到的第二手势动作是否满足第二预设动作，如果满足，则说明用户触发了对意向菜单元素的确认操作，这时可以基于用户的确认操作进一步展示与该意向菜单元素对应的虚拟内容，从而完成与头戴式显示设备的交互过程。

本申请实施例设置的用于确认意向菜单元素的手势动作同样为简单的手势动作，使得用户操作简单方便，降低了用户学习成本，提高了交互效率。

在本申请的一个实施例中，第二预设动作为单手的拇指与食指挤压捏合的手势动作，第二手势识别结果包括识别出的单手的拇指与食指挤压捏合的手势动作。

本申请实施例事先设定的第二预设动作条件可以是指用户单手的拇指与食指挤压捏合的手势动作，在识别到当前帧的手势动作为用户单手的拇指与食指挤压捏合的手势动作时，说明用户当前的第二手势动作满足第二预设动作，由此触发了第二预设交互条件。因此用户触发第二预设交互条件的第二手势动作同样是由一只手完成的手势动作，不需要用户同时使用两只手和虚拟现实场景呈现的虚拟内容进行交互确认，由此可以简化用户操作，降低用户的学习成本，进而提高用户与头戴式显示设备的交互效率。

当然，本申请实施例限定的单手的拇指与食指挤压捏合的手势动作仅是本申请列举的一种示意性实施例，实际应用时，本领域技术人员可根据实际需求灵活设置其他形式的第二预设动作，在此不一一列举。

在本申请的一个实施例中，第一手势识别模型和第二手势识别模型均可以基于卷积神经网络训练得到，通过本申请实施例的头戴式显示设备内置的手势追踪相机采集120个以上的用户的手势动作案例，得到共计230万张图像信息数据，并进行手势动作信息的标注，以此作为训练样本，其中包含握拳手势动作的训练样本用于训练出识别握拳手势动作的第一手势识别模型，包含单手的拇指和食指挤压捏合动作的训练样本用于训练出识别单手的拇指和食指挤压捏合的第二手势识别模型。

具体地，对于第一手势识别模型，通过输入当前实时拍摄的手势图像，识别当前手势图像中是否有握拳手势动作，如果有，则输出握拳手势动作在手势图像中的位置信息，该位置信息可以为第一手势识别模型识别到的握拳手势动作在手势图像上的区域窗口所对应的中心位置。之后根据第一手势识别模型输出的第一手势识别结果和已标注的手势动作信息计算训练损失值，并根据训练损失值对第一手势识别模型进行更新，以此得到训练后的第一手势识别模型。

对于第二手势识别模型，通过输入当前实时拍摄的手势图像，识别当前手势图像中是否有单手的拇指和食指挤压捏合的手势动作，如果有，则认为触发了对意向菜单元素的确认操作。之后根据第二手势识别模型输出的第二手势识别结果和已标注的手势动作信息计算训练损失值，并根据训练损失值对第二手势识别模型进行更新，以此得到训练后的第二手势识别模型。

在本申请的一个实施例中，为了提高滑动操作的准确性，在对识别到的手势动作的三维空间信息进行映射之前，还可以通过手势动作的三维空间信息进行基于滑动窗口的平滑滤波处理，从而提高位置信息在三维空间下的抖动精度误差的稳定性，减少由于图像数据噪声或者模型识别误差导致的位置信息的抖动误差。

与前述头戴式显示设备的交互方法同属于一个技术构思，本申请实施例还提供了头戴式显示设备的交互装置。图2示出了本申请一个实施例的头戴式显示设备的交互装置的框图，参见图2，头戴式显示设备的交互装置200包括：手势图像获取单元210、意向菜单元素展示单元220和意向菜单元素确认单元230。其中，

手势图像获取单元210，用于实时获取手势图像；

意向菜单元素展示单元220，用于利用第一手势识别模型对手势图像进行识别，得到第一手势识别结果，若第一手势识别结果满足第一预设交互条件，则响应于第一手势识别结果，在显示界面上激活滑动菜单并展示滑动菜单中的意向菜单元素；

意向菜单元素确认单元230，用于利用第二手势识别模型对手势图像进行识别，得到第二手势识别结果，若第二手势识别结果满足第二预设交互条件，则响应于第二手势识别结果，对意向菜单元素进行确认，以在显示界面上展示与意向菜单元素对应的用户界面内容。

在本申请的一个实施例中，手势图像为多帧连续的手势图像，第一预设交互条件包括第一预设动作，意向菜单元素展示单元220具体用于：利用预先训练好的第一手势识别模型对多帧连续的手势图像逐帧进行识别，对应每帧手势图像得到一个当前帧的第一手势动作；对每个当前帧的第一手势动作，若满足第一预设动作，则直接输出当前帧的第一手势动作在当前帧的手势图像中的位置信息，若不满足第一预设动作，则不输出当前帧的第一手势动作在当前帧的手势图像中的位置信息；根据多个满足第一预设动作的第一手势动作在手势图像中的位置信息，确定第一手势动作的移动方向；以及，根据第一手势动作的移动方向，在显示界面上激活相应的滑动菜单并展示滑动菜单中的意向菜单元素。

在本申请的一个实施例中，意向菜单元素展示单元220具体用于：确定滑动菜单的尺寸信息和物理三维空间中的可操作区域信息；将滑动菜单的尺寸信息与物理三维空间中的可操作区域信息进行计算换算，得到滑动菜单与物理三维空间中的可操作区域的对应关系；根据对应关系，将多个满足第一预设动作的第一手势动作的位置信息依次映射到滑动菜单上，以确定出第一手势动作的移动方向。

在本申请的一个实施例中，移动方向包括水平移动方向和垂直移动方向，多个第一手势动作对应的位置信息均包括X轴位置坐标和Y轴位置坐标，意向菜单元素展示单元220具体用于：若移动方向为水平移动方向，则获取多个第一手势动作对应的Y轴位置坐标的平均值，作为各个第一手势动作在水平移动方向上的Y轴位置坐标，以及获取各个第一手势动作对应的X轴位置坐标，作为各个第一手势动作在水平移动方向上的X轴位置坐标；然后根据对应关系，将水平移动方向上的Y轴位置坐标以及水平移动方向上的X轴位置坐标依次映射到滑动菜单上，以实现对滑动菜单的水平滑动展示；若移动方向为垂直移动方向，则获取多个第一手势动作对应的X轴位置坐标的平均值，作为各个第一手势动作在垂直移动方向上的X轴位置坐标，以及获取各个第一手势动作对应的Y轴位置坐标，作为各个第一手势动作在垂直移动方向上的Y轴位置坐标；然后根据对应关系，将垂直移动方向上的X轴位置坐标以及垂直移动方向上的Y轴位置坐标依次映射到滑动菜单上，以实现对滑动菜单的垂直滑动展示。

在本申请的一个实施例中，第一预设动作为握拳手势动作，第一手势识别结果包括识别出的多个满足握拳手势动作以及多个满足握拳手势动作在手势图像中的位置信息。

在本申请的一个实施例中，第二预设交互条件包括第二预设动作，意向菜单元素确认单元230具体用于：利用预先训练好的第二手势识别模型对当前帧的手势图像进行识别，得到当前帧的第二手势动作；若当前帧的第二手势动作满足第二预设动作，则对意向菜单元素进行确认；若当前帧的第二手势动作不满足第二预设动作，则不对意向菜单元素进行确认。

在本申请的一个实施例中，第二预设动作为单手的拇指与食指挤压捏合的手势动作，第二手势识别结果包括识别出的单手的拇指与食指挤压捏合的手势动作。

需要说明的是：

图3示意了头戴式显示设备的结构示意图。请参考图3，在硬件层面，该头戴式显示设备包括存储器和处理器，可选地还包括接口模块、通信模块等。存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器等。当然，该头戴式显示设备还可能包括其他业务所需要的硬件。

处理器、接口模块、通信模块和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

存储器，用于存放计算机可执行指令。存储器通过内部总线向处理器提供计算机可执行指令。

处理器，执行存储器所存放的计算机可执行指令，并具体用于实现以下操作：

实时获取手势图像；

利用第一手势识别模型对手势图像进行识别，得到第一手势识别结果，若第一手势识别结果满足第一预设交互条件，则响应于第一手势识别结果，在显示界面上激活滑动菜单并展示滑动菜单中的意向菜单元素；

利用第二手势识别模型对手势图像进行识别，得到第二手势识别结果，若第二手势识别结果满足第二预设交互条件，则响应于第二手势识别结果，对意向菜单元素进行确认，以在显示界面上展示与意向菜单元素对应的用户界面内容。

上述如本申请图2所示实施例揭示的头戴式显示设备的交互装置执行的功能可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central ProcessingUnit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

该头戴式显示设备还可执行图1中头戴式显示设备的交互方法执行的步骤，并实现头戴式显示设备的交互方法在图1所示实施例的功能，本申请实施例在此不再赘述。

本申请实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序当被处理器执行时，实现前述的头戴式显示设备的交互方法，并具体用于执行：

实时获取手势图像；

利用第一手势识别模型对手势图像进行识别，得到第一手势识别结果，若第一手势识别结果满足第一预设交互条件，则响应于第一手势识别结果，在显示界面上激活滑动菜单并展示滑动菜单中的意向菜单元素；

利用第二手势识别模型对手势图像进行识别，得到第二手势识别结果，若第二手势识别结果满足第二预设交互条件，则响应于第二手势识别结果，对意向菜单元素进行确认，以在显示界面上展示与意向菜单元素对应的用户界面内容。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其特征在于包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种头戴式显示设备的交互方法，其特征在于，包括：

实时获取手势图像；

利用第一手势识别模型对所述手势图像进行识别，得到第一手势识别结果，若所述第一手势识别结果满足第一预设交互条件，则响应于所述第一手势识别结果，在显示界面上激活滑动菜单并展示滑动菜单中的意向菜单元素；

利用第二手势识别模型对所述手势图像进行识别，得到第二手势识别结果，若所述第二手势识别结果满足第二预设交互条件，则响应于所述第二手势识别结果，对所述意向菜单元素进行确认，以在所述显示界面上展示与所述意向菜单元素对应的用户界面内容。

2.根据权利要求1所述的方法，其特征在于，所述手势图像为多帧连续的手势图像，所述第一预设交互条件包括第一预设动作，所述利用第一手势识别模型对所述手势图像进行识别，得到第一手势识别结果，若所述第一手势识别结果满足第一预设交互条件，则响应于所述第一手势识别结果，在显示界面上激活滑动菜单并展示滑动菜单中的意向菜单元素包括：

利用预先训练好的第一手势识别模型对多帧连续的手势图像逐帧进行识别，对应每帧手势图像得到一个当前帧的第一手势动作；

对每个当前帧的第一手势动作，若满足第一预设动作，则直接输出当前帧的第一手势动作在当前帧的手势图像中的位置信息，若不满足所述第一预设动作，则不输出当前帧的第一手势动作在当前帧的手势图像中的位置信息；

根据多个满足所述第一预设动作的第一手势动作在手势图像中的位置信息，确定所述第一手势动作的移动方向；以及，

根据所述第一手势动作的移动方向，在所述显示界面上激活相应的滑动菜单并展示滑动菜单中的意向菜单元素。

3.根据权利要求2所述的方法，其特征在于，所述根据多个满足所述第一预设动作的第一手势动作在手势图像中的位置信息，确定所述第一手势动作的移动方向包括：

确定滑动菜单的尺寸信息和物理三维空间中的可操作区域信息；

将所述滑动菜单的尺寸信息与所述物理三维空间中的可操作区域信息进行计算换算，得到所述滑动菜单与所述物理三维空间中的可操作区域的对应关系；

根据所述对应关系，将多个满足第一预设动作的第一手势动作的位置信息依次映射到所述滑动菜单上，以确定出所述第一手势动作的移动方向。

4.根据权利要求3所述的方法，其特征在于，所述移动方向包括水平移动方向和垂直移动方向，所述多个第一手势动作对应的位置信息均包括X轴位置坐标和Y轴位置坐标，所述根据所述第一手势动作的移动方向，在所述显示界面上激活相应的滑动菜单并展示滑动菜单中的意向菜单元素包括：

若所述移动方向为所述水平移动方向，则获取多个第一手势动作对应的Y轴位置坐标的平均值，作为各个第一手势动作在所述水平移动方向上的Y轴位置坐标，以及获取各个第一手势动作对应的X轴位置坐标，作为各个第一手势动作在所述水平移动方向上的X轴位置坐标；然后根据所述对应关系，将所述水平移动方向上的Y轴位置坐标以及所述水平移动方向上的X轴位置坐标依次映射到所述滑动菜单上，以实现对所述滑动菜单的水平滑动展示；

若所述移动方向为所述垂直移动方向，则获取多个第一手势动作对应的X轴位置坐标的平均值，作为各个第一手势动作在所述垂直移动方向上的X轴位置坐标，以及获取各个第一手势动作对应的Y轴位置坐标，作为各个第一手势动作在所述垂直移动方向上的Y轴位置坐标；然后根据所述对应关系，将所述垂直移动方向上的X轴位置坐标以及所述垂直移动方向上的Y轴位置坐标依次映射到所述滑动菜单上，以实现对所述滑动菜单的垂直滑动展示。

5.根据权利要求2-4任一项所述的方法，其特征在于，所述第一预设动作为握拳手势动作，所述第一手势识别结果包括识别出的多个满足握拳手势动作以及所述多个满足握拳手势动作在手势图像中的位置信息。

6.根据权利要求1所述的方法，其特征在于，所述第二预设交互条件包括第二预设动作，所述利用第二手势识别模型对所述手势图像进行识别，得到第二手势识别结果，若所述第二手势识别结果满足第二预设交互条件，则响应于所述第二手势识别结果，对所述意向菜单元素进行确认包括：

利用预先训练好的第二手势识别模型对当前帧的手势图像进行识别，得到当前帧的第二手势动作；

若当前帧的第二手势动作满足第二预设动作，则对所述意向菜单元素进行确认；若当前帧的第二手势动作不满足所述第二预设动作，则不对所述意向菜单元素进行确认。

7.根据权利要求6所述的方法，其特征在于，所述第二预设动作为单手的拇指与食指挤压捏合的手势动作，所述第二手势识别结果包括识别出的单手的拇指与食指挤压捏合的手势动作。

8.一种头戴式显示设备的交互装置，其特征在于，包括：

手势图像获取单元，用于实时获取手势图像；

意向菜单元素展示单元，用于利用第一手势识别模型对所述手势图像进行识别，得到第一手势识别结果，若所述第一手势识别结果满足第一预设交互条件，则响应于所述第一手势识别结果，在显示界面上激活滑动菜单并展示滑动菜单中的意向菜单元素；

意向菜单元素确认单元，用于利用第二手势识别模型对所述手势图像进行识别，得到第二手势识别结果，若所述第二手势识别结果满足第二预设交互条件，则响应于所述第二手势识别结果，对所述意向菜单元素进行确认，以在所述显示界面上展示与所述意向菜单元素对应的用户界面内容。

9.根据权利要求8所述的装置，其特征在于，所述手势图像为多帧连续的手势图像，所述第一预设交互条件包括第一预设动作，所述意向菜单元素展示单元具体用于：

利用预先训练好的第一手势识别模型对多帧连续的手势图像逐帧进行识别，对应每帧手势图像得到一个当前帧的第一手势动作；

对每个当前帧的第一手势动作，若满足第一预设动作，则直接输出当前帧的第一手势动作在当前帧的手势图像中的位置信息，若不满足所述第一预设动作，则不输出当前帧的第一手势动作在当前帧的手势图像中的位置信息；

根据多个满足所述第一预设动作的第一手势动作在手势图像中的位置信息，确定所述第一手势动作的移动方向；以及，

根据所述第一手势动作的移动方向，在所述显示界面上激活相应的滑动菜单并展示滑动菜单中的意向菜单元素。

10.一种头戴式显示设备，其特征在于，包括：处理器，存储计算机可执行指令的存储器，

所述可执行指令在被所述处理器执行时，实现所述权利要求1至7之任一所述头戴式显示设备的交互方法。

Images