CN115878013A - 菜单交互方法及相关设备 - Google Patents

Abstract

本申请提供一种菜单交互方法，应用于扩展现实设备，所述方法包括：采集用户手部的图像；根据用户手部的图像识别用户的手势；若用户的手势为预设手势，显示菜单唤起对象；若接收到针对菜单唤起对象的第一预设操作，显示虚拟菜单。本申请可以提高菜单唤起的准确率，避免误操作。

Description

菜单交互方法及相关设备

技术领域

本申请涉及人机交互技术领域，尤其涉及一种菜单交互方法及相关设备。

背景技术

随着扩展现实(Extended Reality，XR)(例如虚拟现实(Virtual Reality，VR)、增强现实(Augmented Reality，AR)、混合现实(Mixed Reality，MR))技术的兴起，手势交互成为未来自然交互的发展趋势。手势交互也叫裸手交互，即手上不握持任何遥控工具，通过手势来进行控制。通过手势交互，用户可实现三维(Three Dimension，3D)空间下对XR设备的操作。

XR设备中，手势交互的一个重要功能是唤起虚拟菜单进行操作。然而，现有的手势唤起菜单方式存在一定的缺陷。例如，现有一种手势唤起菜单方式，当识别到预定义的手势，例如左手掌心朝向XR设备、五指张开时，唤起虚拟菜单，手势消除时，虚拟菜单消失。这种手势唤起菜单方式准确率低，容易产生误操作，例如用户只是单纯抬手但是被识别为唤起菜单。

发明内容

本申请实施例提供了一种菜单交互方法及相关设备，可以提高菜单唤起的准确率，避免误操作。

本申请第一方面提供了一种菜单交互方法，应用于扩展现实设备，所述方法包括：采集用户手部的图像；根据所述图像识别所述用户的手势；若所述用户的手势为预设手势，显示菜单唤起对象；若接收到针对所述菜单唤起对象的第一预设操作，显示虚拟菜单。

本申请实施例提供的菜单交互方法通过手势唤起菜单唤起对象，通过菜单唤起对象唤起虚拟菜单，提高了菜单唤起的准确率，避免了误操作。

在一些可选的实施方式中，所述扩展现实设备包括虚拟现实设备、增强现实设备和混合现实设备。

在一些可选的实施方式中，所述扩展现实设备包括头戴式扩展现实设备。

在一些可选的实施方式中，所述显示菜单唤起对象包括：根据所述手部的手指的活动范围确定第一显示位置；在所述第一显示位置显示所述菜单唤起对象。

根据所述手部的手指的活动范围确定第一显示位置，可以方便用户进行单手操作，解决双手操作导致的菜单项被遮挡导致功能失效的问题，同时避免双手抬起导致的疲劳。

在一些可选的实施方式中，所述显示虚拟菜单包括：根据所述手部的手指的活动范围确定第二显示位置；在所述第二显示位置显示所述虚拟菜单。

在一些可选的实施方式中，所述菜单唤起对象是按钮或图标。

在一些可选的实施方式中，所述方法还包括：若接收到针对所述虚拟菜单中的菜单项的第二预设操作，执行所述菜单项对应的功能。

在一些可选的实施方式中，所述方法还包括：若接收到第三预设操作，显示虚拟菜单设置界面，所述虚拟菜单设置界面包括菜单唤起用手选项。

在一些可选的实施方式中，所述显示菜单唤起对象之前，所述方法还包括：判断所述扩展现实设备当前显示的虚拟界面是否为应用界面；若接收到针对所述菜单唤起对象的第一预设操作，并且所述扩展现实设备当前显示的虚拟界面为应用界面，则显示所述菜单唤起对象。

在一些可选的实施方式中，所述显示虚拟菜单包括：若显示所述菜单唤起对象之前，所述扩展现实设备显示的虚拟界面为应用界面，则显示第一虚拟菜单。

在一些可选的实施方式中，所述第一虚拟菜单包括用于显示最近应用的第一菜单项、用于显示常用应用的第二菜单项、用于回到所述扩展现实设备的主界面的第三菜单项。

在一些可选的实施方式中，所述方法还包括：若接收到针对所述第一菜单项的用户操作，显示最近应用选择界面，所述最近应用选择界面包括所述扩展现实设备最近使用的应用的图标和返回按钮；若接收到针对所述第二菜单项的用户操作，显示常用应用选择界面，所述常用应用选择界面包括所述扩展现实设备常用的应用的图标和返回按钮；若接收到针对所述第三菜单项的用户操作，显示所述扩展现实设备的主界面。

在一些可选的实施方式中，所述第一虚拟菜单包括所述应用界面对应应用的功能按钮。

在一些可选的实施方式中，所述显示虚拟菜单包括：若显示所述菜单唤起对象之前，所述扩展现实设备显示的虚拟界面不是应用界面，则显示第二虚拟菜单。

本申请第二方面提供了一种计算机可读存储介质，包括计算机指令，当所述计算机指令在扩展现实设备上运行时，使得所述扩展现实设备执行如第一方面所述的菜单交互方法。

本申请第三方面提供了一种扩展现实设备，所述扩展现实设备包括处理器和存储器，所述存储器用于存储指令，所述处理器用于调用所述存储器中的指令，使得所述扩展现实设备执行如第一方面所述的菜单交互方法。

本申请第四方面提供了一种芯片系统，该芯片系统应用于扩展现实设备；芯片系统包括接口电路和处理器；接口电路和处理器通过线路互联；接口电路用于从扩展现实设备的存储器接收信号，并向处理器发送信号，信号包括存储器中存储的计算机指令；当处理器执行该计算机指令时，芯片系统执行如第一方面所述的菜单交互方法。

本申请第五方面提供了一种计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行如第一方面所述的菜单交互方法。

应当理解地，上述提供的第二方面的计算机可读存储介质、第三方面所述的扩展现实设备、第四方面所述的芯片系统、及第五方面所述的计算机程序产品均与上述第一方面的方法对应，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。

附图说明

图1是本申请实施例提供的菜单交互方法的应用场景示意图。

图2是现有的手势唤起菜单方式的示意图。

图3是本申请实施例提供的扩展现实设备的结构图。

图4是本申请实施例提供的菜单交互方法的流程图。

图5是当用户的手势为预设手势时，在第一显示位置显示菜单唤起对象的示意图。

图6是在接收到针对菜单唤起对象的预设操作后，显示的虚拟菜单的示意图。

图7是本申请实施例提供的菜单交互方法的示意图。

图8是本申请实施例提供的扩展现实设备的硬件结构示意图。

图9是本申请实施例提供的扩展现实设备的软件结构示意图。

具体实施方式

为了便于理解，示例性的给出了部分与本申请实施例相关概念的说明以供参考。

虚拟现实(Virtual Reality，VR)是利用电脑模拟产生一个三维空间的虚拟世界，提供使用者关于视觉、听觉、触觉等感官的模拟，让使用者如同身历其境一般，可以及时、没有限制地观察三维空间内的事物。

增强现实(Augmented Reality，AR)是一种将虚拟信息与真实世界巧妙融合的技术，运用多媒体、三维建模、智能交互、传感等多种技术，将电脑生成的虚拟信息融入到真实世界，真实的环境和虚拟的物体实时地叠加到了同一个空间内，被人类感官所感知，从而达到超越现实的感官体验。与VR相比，VR的整个世界是虚拟的，包含物体和环境；AR则是在真实环境上迭加虚拟的内容。

混合现实(Mixed Reality，MR)是虚拟现实技术的进一步发展，该技术通过在现实场景呈现虚拟场景信息，在现实世界、虚拟世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。与AR相比，MR更加强调虚拟对象与实体环境的结合度。

各种“现实”(Reality)显示技术(包括VR、AR、MR等)统称为扩展现实(ExtendedReality，XR)。

需要说明的是，本申请中“至少一个”是指一个或者多个，“多个”是指两个或多于两个。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。本申请的说明书和权利要求书及附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不是用于描述特定的顺序或先后次序。

为了更好地理解本申请实施例提供的菜单交互方法及相关设备，下面首先对本申请菜单交互方法的应用场景进行描述。图1是本申请实施例提供的菜单交互方法的应用场景示意图。

如图1所示，本申请实施例提供的菜单交互方法应用于XR设备10(图中以XR眼镜为例进行说明)。用户11可以通过手势唤起XR设备10的虚拟菜单，对虚拟菜单进行操作。

目前，针对XR设备10的手势唤起菜单方式存在菜单唤起准确率低的问题。例如，现有一种手势唤起菜单方式，当识别到预定义的手势，例如左手掌心朝向XR设备、五指张开时，唤起虚拟菜单，手势消除时，虚拟菜单消失。由于手的运动可以对应三种情况：和虚拟对象交互、和物理环境交互、下意思的动作，这种手势唤起菜单方式准确率低，容易产生误识别。例如，用户只是单纯抬手但是被识别为唤起菜单。此外，这种手势唤起菜单方式需要双手操作，其中一只手保持唤起手势以维持虚拟菜单，另一只手和虚拟菜单交互，操作成本高，容易导致双手疲劳。在双手操作过程中，当双手有重叠时，虚拟菜单中的一些菜单项可能会被遮挡而无法操作，导致对应的功能无法实现。

本申请实施例提供了一种三维环境视图中的菜单交互方法，该方法对用户的手势进行识别，在用户的手势为预设手势时，显示菜单唤起对象，通过对菜单唤起对象进行操作来唤起虚拟菜单。本申请实施例提供的菜单交互方法提高了通过手势唤起菜单的准确率，避免了误操作。本申请实施例提供的菜单交互方法可以在指定位置显示菜单唤起对象，以支持单手操作，提高了用户操作的便捷性，避免了虚拟菜单的菜单项被遮挡导致部分功能无法实现。

本申请实施例中，XR设备10可以是VR设备、AR设备或MR设备等。

本申请实施例中，XR设备10可以是头戴式XR设备(例如XR眼镜或XR头盔)。头戴式XR设备包括镜片，XR设备10的显示面板可以是镜片或者可以附加在镜片上。

在本申请的一个实施例中，XR设备10为头戴式VR设备，头戴式VR设备显示的虚拟对象构成三维环境视图。

在本申请的另一个实施例中，XR设备10为头戴式AR设备或头戴式MR设备，头戴式AR设备或头戴式MR设备的镜片是透明的，用户11透过镜片观看物理环境时，头戴式AR设备或头戴式MR设备显示的虚拟对象与物理环境相融合，构成三维环境视图。

图3是本申请实施例提供的XR设备的结构图。如图3所示，本申请实施例提供的XR设备30包括显示单元301、摄像头302、手势识别单元303、交互控制单元304、处理器305。

显示单元301用于显示虚拟对象(例如虚拟菜单)。显示单元301包括显示面板(图上未示出)。显示单元301可以是液晶显示屏、触摸液晶显示屏、基于光学原理的穿透式投影显示屏等，也可以是基于视频合成技术的透射式显示装置。

摄像头302用于采集用户手部/手掌的图像(即手部图像)。摄像头302采集的手部图像可以包括景深信息。XR设备30可以包括至少两个摄像头，其中一个可以为深度摄像头，用于采集景深信息。

手势识别单元303用于根据摄像头302采集的手部图像识别用户的手势。

交互控制单元304用于接收针对虚拟对象的用户操作(例如点击菜单唤起对象)。交互控制单元304可以根据针对虚拟对象的用户操作生成控制指令。

处理器305用于根据用户的手势或者针对虚拟对象的用户操作，控制显示单元301显示虚拟界面。例如，若手势识别单元303识别到用户的手势为预设手势，控制显示单元301显示菜单唤起对象。若交互控制单元304接收到对菜单唤起对象的点击操作，控制显示单元301显示虚拟菜单。

在图3所示实施例中，手势识别单元303、交互控制单元304与处理器305为不同的模块。在本申请其他的实施例中，实现手势识别单元303、交互控制单元304可以包含在处理器305中。

图4是本申请实施例提供的菜单交互方法的流程图。本申请实施例提供的菜单交互方法应用于XR设备(例如AR设备)。

401，在XR设备开机工作后，XR设备通过摄像头采集用户手部的图像(即手部图像)。

参见图3所示，XR设备(例如AR眼镜)包括显示单元，显示单元包括显示面板。在XR设备开机工作后，显示单元可以在显示面板上显示虚拟界面，虚拟界面包括至少一个虚拟对象。

在本申请的一个实施例中，XR设备为头戴式AR设备，显示面板就是镜片或者附加在镜片上。用户可以透过显示面板(即镜片)观察到物理环境。因此，用户可以同时观察到虚拟对象和物理环境，虚拟对象和物理对象构成三维环境视图。

在XR设备是头戴式设备(例如XR眼镜)的情况下，XR设备可以检测用户是否戴上XR设备，在检测到用户戴上XR设备后，控制摄像头采集用户手部的图像。

或者，XR设备可以包括预设按键，XR设备可以检测用户是否按下预设按键，在检测到用户按下预设按键后，控制摄像头采集用户手部的图像。

正常情况下，用户的手掌自然下垂，XR设备无法采集到用户手部的图像。当用户想唤起菜单时，抬起手掌至XR设备能够拍摄的位置，XR设备控制摄像头对用户的手掌进行拍摄，获得用户手部的图像。

402，XR设备根据用户手部的图像识别用户的手势。

在本申请的一个实施例中，可以从手部图像中提取手部关键点，根据手部关键点识别用户的手势。

手部关键点可以包括每个手指的指尖、指关节(每个手指有3个指关节)、手腕中点共21个关键点。或者，手部关键点可以包括指关节(每个手指有3个指关节)、手腕中点共16个关键点。

在本申请的一个实施例中，可以采用OpenPose算法从手部图像中提取手部关键点。

在本申请其他的实施例中，可以采用其他的算法从手部图像中提取手部关键点。例如，采用派系过滤算法(Clique Percolation Method，CPM)从手部图像中提取手部关键点。

可以将手部关键点输入预先训练好的深度神经网络模型，得到用户的手势。

深度神经网络模型预先使用标注有真实的手势类型的样本集进行训练。样本集中的每个手势样本图像包括手部关键点。将每个手部样本图像的手部关键点输入深度神经网络模型，根据深度神经网络模型输出的手势类型和真实的手势类型调整深度神经网络模型的网络参数，使损失函数最小化。

XR设备根据用户手部的图像识别的手势可以包括静态手势，也可以包括动态手势。静态手势可以包括手掌(例如左手手掌)张开掌心朝向XR设备、握拳、伸出一指、伸出两指、伸出三指、伸出四指、伸出五指、OK等。动态手势可以包括手掌张开朝向XR设备并向XR设备移动、左右摆手、打开手掌、翻转手掌等。

在从手部图像中提取手部关键点之前，可以对手部图像进行预处理。

预处理是对手部图像的大小、方向、颜色等进行转换，获得更多样性的图像，以提高手部图像的识别正确率。

对手部图像进行预处理可以包括对手部图像进行缩放。可以对手部图像进行任意比例的缩放(可以放大也可以缩小)。例如，对手部图像进行0.5倍缩放。又如，对手部图像进行0.75倍缩放。再如，对手部图像进行1.5倍缩放。

对手部图像进行预处理还可以包括对手部图像进行裁剪。可以对手部图像进行随机裁剪。

对手部图像进行预处理还可以包括对手部图像进行平移。可以将手部图像沿水平方向(即x轴)平移。或者，可以将手部图像沿垂直方向(即y轴)平移。或者，可以将手部图像沿水平方向和垂直方向平移。

对手部图像进行预处理还可以包括对手部图像进行旋转和/或翻转。可以对手部图像进行任意角度和方向(顺时针或逆时针)的旋转。例如，将手部图像逆时针旋转90度。又如，将手部图像顺时针旋转180度。再如，将手部图像顺时针旋转270度。可以对手部图像进行水平翻转或垂直翻转。

对手部图像进行预处理还可以包括对手部图像进行颜色转换。例如，将手部图像由彩色图像转换为灰度图像。又如，将手部图像由RBG图像转换为YUV图像。

可以理解，可以对手部图像进行一种或多种预处理。例如，对手部图像进行0.75倍缩放得到缩放后的图像，再对缩放后的图像进行裁剪。又如，对手部图像进行颜色转换，从彩色图像转换为灰度图像，再对灰度图像顺时针旋转90度。

403，若用户的手势为预设手势，XR设备显示菜单唤起对象。

若用户的手势为预设手势，表示满足菜单唤起条件，XR设备显示菜单唤起对象。

例如，预先定义的菜单唤起手势(即预设手势)为手掌(例如左手手掌)张开掌心朝向XR设备的手势，当识别的用户的手势为手掌(例如左手手掌)张开掌心朝向XR设备的手势时，显示菜单唤起对象。

预设手势可以是静态手势，也可以是动态手势。静态手势可以包括手掌(例如左手手掌)张开掌心朝向XR设备、握拳、伸出一指、伸出两指、伸出三指、伸出四指、伸出五指、OK等。动态手势可以包括手掌张开朝向XR设备并向XR设备移动、左右摆手、打开手掌、翻转手掌等。若预设手势要求手掌张开，还可以要求手指之间的间距大于预设值。

菜单唤起对象可以是按钮，也可以是图标。

菜单唤起对象可以是任意形状，例如圆形、正方形或长方形。

在本申请的一个实施例中，可以根据手部图像对应的手掌上手指的活动范围确定第一显示位置，在该第一显示位置显示菜单唤起对象。手部图像对应的手掌就是手部图像所拍摄的手掌，例如，手部图像为左手图像，手部图像对应的手掌为左手。又如，手部图像为右手图像，手部图像对应的手掌为右手。根据手部图像对应的手掌上手指的活动范围确定第一显示位置，目的是方便用户单手操作。

例如，可以根据手部图像对应的手掌上大拇指的活动范围确定第一显示位置，在该第一显示位置显示菜单唤起对象，以利于大拇指对菜单唤起对象进行操作。

在本申请其他的实施例中，可以根据手部图像对应的手掌上其他手指的活动范围确定第一显示位置，以利于其他手指对菜单唤起对象进行操作。

确定的第一显示位置可以在手掌内。

图5是当用户的手势为预设手势时，在第一显示位置显示菜单唤起对象的示意图，图中以第一显示位置在手掌内为例进行说明。参见图5所示，当用户的手势为预设手势时，可以在食指根部显示菜单唤起对象。在本申请的其他实施例中，可以在其他位置显示菜单唤起对象，例如在掌心或者其他手指的根部。

菜单唤起对象显示的第一显示位置可以在手掌外。

在手掌外时的第一显示位置可以是方便用户单手操作的位置。例如，当用户的手势为预设手势时，第一显示位置可以在大拇指和食指之间的区域，显示菜单唤起对象。

应当理解，XR设备可以将菜单唤起对象显示在其他位置。

XR设备(例如AR设备或MR设备)的摄像头可以具有较大的视场角，使得摄像头在用户看到手掌之前采集手部图像并识别用户的手势是否为预设手势，并在用户的手势为预设手势时显示菜单唤起对象。

在本申请的一个实施例中，XR设备可以在检测到用户的手势为预设手势时，就显示菜单唤起对象。

在本申请的另一个实施例中，在显示菜单唤起对象之前，XR设备可以判断XR设备当前显示的虚拟界面是否为应用界面。若用户的手势为预设手势，并且XR设备当前显示的虚拟界面为应用界面，则显示菜单唤起对象。否则，若用户的手势为预设手势，但XR设备当前显示的虚拟界面不是应用界面，则不显示菜单唤起对象。应用界面可以限定为第三方应用的应用界面，也可以是任意应用的应用界面。

404，若接收到针对菜单唤起对象的第一预设操作，XR设备显示虚拟菜单。

在显示菜单唤起对象后，用户可以对菜单唤起对象进行第一预设操作(例如单击菜单唤起对象)，来唤起虚拟菜单。举例来说，用户使用大拇指单击菜单唤起对象，即可以显示虚拟菜单。

在本申请的一个实施例中若预设时间(例如15秒)内未接收到针对菜单唤起对象的第一预设操作，XR设备可以取消显示菜单唤起对象。

在本申请的一个实施例中，对菜单唤起对象的第一预设操作可以是单击、双击、长按中的任意一种。

在本申请的一个实施例中，菜单唤起对象显示在手部图像对应的手掌上的大拇指或其他手指易于操作的区域(即第一显示位置)，因此，用户可以使用同一只手的大拇指或其他手指对菜单唤起对象进行操作，从而实现单手操作。应当理解，用户可以用另一只手来对菜单唤起对象进行操作。

在本申请的一个实施例中，可以根据手部图像对应的手掌上手指的活动范围确定第二显示位置，在第二显示位置显示虚拟菜单。根据手部图像对应的手掌上手指的活动范围确定第二显示位置，目的是方便用户单手操作。

虚拟菜单包括若干菜单项，第二显示位置就是各个菜单项要显示的位置。可以将菜单项显示在手掌的指定区域。例如，菜单项可以显示在手掌的掌心、除大拇指外的手指的根部、除大拇指外的手指的指尖。

当菜单项多于五个时，可以在两个手指之间放置菜单项。

可以根据显示菜单唤起对象之前XR设备显示的虚拟界面，确定虚拟菜单的内容。在本申请的一个实施例中，若显示菜单唤起对象之前，XR设备显示的虚拟界面为应用界面，则显示第一虚拟菜单。若显示菜单唤起对象之前，XR设备显示的虚拟界面不是应用界面，则显示第二虚拟菜单。

在本申请的一个实施例中，第一虚拟菜单可以包括用于显示最近应用的第一菜单项、用于显示常用应用的第二菜单项、用于回到XR设备的主界面的第三菜单项。若接收到针对第一菜单项的用户操作，XR设备可以显示最近应用选择界面，最近应用选择界面包括XR设备最近使用的应用的图标和返回按钮。若接收到针对第二菜单项的用户操作，XR设备可以显示常用应用选择界面，常用应用选择界面包括XR设备常用的应用的图标和返回按钮。若接收到针对第三菜单项的用户操作，XR设备可以显示XR设备的主界面。

在本申请的另一个实施例中，显示菜单唤起对象之前，XR设备显示的虚拟界面为应用界面，第一虚拟菜单可以包括该应用界面对应应用的功能按钮。

图6是在接收到针对菜单唤起对象的第一预设操作后，显示的虚拟菜单(图中所示为第一虚拟菜单)的示意图。在显示菜单唤起对象之前，XR设备显示的虚拟界面为浏览器界面，在接收到针对菜单唤起对象的第一预设操作后，XR设备显示的虚拟界面包括“首页”、“设置”、“打开”、“关闭”、“退出”五个按钮，分别分布于掌心和大拇指以外的其余四指的指尖。其中，“首页”按钮用于返回浏览器的首页，“设置”按钮用于打开浏览器的设置界面，“打开”按钮用于打开新的网页，“关闭”按钮用于关闭当前页面，“退出”按钮用于退出浏览器。

第二虚拟菜单可以包括用于进入系统设置界面的菜单项。

405，若接收到针对虚拟菜单中的菜单项的第二预设操作，XR设备执行该菜单项对应的功能。

在本申请的一个实施例中，对菜单唤起对象的第二预设操作可以是单击、双击、长按中的任意一种。

例如，当用户通过大拇指点击虚拟菜单中的一个菜单项时，如果菜单项为具体的操作，则执行该操作。例如，参见图6所示，若用户点击“首页”，返回浏览器首页。

显示虚拟菜单后，用户即可通过虚拟菜单的菜单项来进行操作，例如对应用进行操作或者进行系统设置。

本申请实施例提供的菜单交互方法通过手势唤起菜单唤起对象，再通过菜单唤起对象唤起虚拟菜单，可以很大程度上降低误操作。

本申请实施例提供的菜单交互方法中，当菜单唤起对象显示在手部图像对应的手掌上的大拇指或其他手指易于操作的区域时，用户可以进行单手操作，解决双手操作导致的菜单项被遮挡导致功能失效的问题，同时避免双手抬起导致的疲劳。

本申请实施例中，XR设备可以设置唤起虚拟菜单的用手。若设置用左手唤起菜单，则预设手势为左手对应的手势；若设置用右手唤起菜单，则预设手势为右手对应的手势。

在本申请的一个实施例中，当接收到用户的第三预设操作时，XR设备可以显示虚拟菜单设置界面，虚拟菜单设置界面可以包括菜单唤起用手选项，供用户选择用左手和/或右手唤起菜单。例如，XR设备的系统设置界面可以包括虚拟菜单设置选项，用户可以通过点击虚拟菜单设置选项进入虚拟菜单设置界面。

图7是根据本申请实施例提供的菜单交互方法唤起虚拟菜单的示意图。7A中，当用户想唤起虚拟菜单时，抬起手掌朝向XR设备。XR设备通过摄像头采集用户手部的图像，并根据用户手部的图像识别用户的手势。7B中，当用户的手势为预设手势时，XR设备显示菜单唤起对象。7C中，用户点击菜单唤起对象以唤起虚拟菜单。7D中，在接收到用户点击菜单唤起对象的操作后，XR设备显示虚拟菜单。

图8是本申请实施例提供的扩展现实设备的硬件结构示意图。如图8所示，扩展现实设备80可以包括：射频(Radio Frequency，RF)电路801、存储器802、输入单元803、显示单元804、传感器805、音频电路806、Wi-Fi模块807、处理器808以及电源809等部件。本领域技术人员可以理解，图8中示出的结构并不构成对扩展现实设备80的限定，扩展现实设备80可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

RF电路801可用于收发信息或在通话过程中，对信号进行接收和发送，特别地，接收基站的下行信息后，转给处理器808进行处理；另外，将涉及上行的数据发送给基站。通常，RF电路801包括，但不限于：天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low Noise Amplifier，LNA)、双工器等。

存储器802可用于存储软件程序以及模块，处理器808通过运行存储在存储器802中的软件程序以及模块，从而执行扩展现实设备的各种功能应用以及数据处理。存储器802可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据扩展现实设备的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器802可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

输入单元803可用于接收输入的音频或视频信号。具体地，输入单元803可包括摄像头8031以及其他输入设备8032。摄像头8031用于拍摄图像(例如用户的手部图像)。摄像头8031可以包括深度摄像头和RGB摄像头(也称为彩色摄像头)。深度摄像头用于获取深度信息。景深信息可以使用任何合适的技术来获得，包括但不限于飞行时间、结构化光、以及立体图像。RGB摄像头(也称为彩色摄像机)用于获取轮廓/平面信息。

除了摄像头8031，输入单元803还可以包括其他输入设备8032。具体地，其他输入设备8032可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

显示单元804可用于显示由用户输入的信息或提供给用户的信息以及扩展现实设备的各种菜单。显示单元804可包括显示面板8041，可选地，可以采用液晶显示面板(LiquidCrystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板8041。

显示单元804可以包括构成镜片的透镜，从而使虚拟界面可以经由透镜(例如，经由透镜上的投影、纳入透镜中的波导系统，和/或任何其他合适方式)被显示。透镜中可以充分透明以允许用户透过透镜进行观看。显示面板8041输出扩展现实设备80输出的图像信号。

扩展现实设备还可包括至少一种传感器805，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板8041的亮度，接近传感器可在扩展现实设备移动到耳边时，关闭显示面板8041和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别扩展现实设备手势的应用(比如横竖屏切换、相关游戏、磁力计手势校准)、振动识别相关功能(比如计步器、敲击)等；此外，扩展现实设备还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

音频电路806、扬声器8061，传声器8062可提供用户与扩展现实设备之间的音频接口。音频电路806可将接收到的音频数据转换后的电信号，传输到扬声器8061，由扬声器8061转换为声音信号输出；另一方面，传声器8062将收集的声音信号转换为电信号，由音频电路806接收后转换为音频数据，再将音频数据输出处理器808处理后，经RF电路801发送给另一扩展现实设备，或者将音频数据输出至存储器802以便进一步处理。

Wi-Fi属于短距离无线传输技术，扩展现实设备通过Wi-Fi模块807可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图8示出了Wi-Fi模块807，但是可以理解的是，其并不属于扩展现实设备的必需构成，完全可以根据需要、在不改变发明本质的范围内进行省略。

处理器808是扩展现实设备的控制中心，利用各种接口和线路连接整个扩展现实设备的各个部分，通过运行或执行存储在存储器802内的软件程序和/或模块，以及调用存储在存储器802内的数据，执行扩展现实设备的各种功能和处理数据，从而对扩展现实设备进行整体监控。可选地，处理器808可包括一个或多个处理单元；优选的，处理器808可集成应用处理器和调制解调器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器808中。

扩展现实设备还包括给各个部件供电的电源809(比如电池)，可选地，电源可以通过电源管理系统与处理器808逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

尽管未示出，扩展现实设备还可以包括其他模块(例如蓝牙模块)，在此不再赘述。

图8中描述的扩展现实设备可以用于实施本申请方法实施例中的部分或全部流程，可参见前述方法实施例中的相关阐述，这里不再赘述。

图9是本申请实施例提供的扩展现实设备的软件结构示意图。在本申请的一个实施例中，扩展现实设备安装有安卓系统，安卓系统从上至下分别为应用程序层、应用程序框架层、原生C/C++库与安卓运行时、硬件抽象层和内核层。

应用程序层可以包括一系列应用程序包。如图9所示，应用程序包可以包括图库、日历、地图、WLAN、音乐、短信、通话、导航、蓝牙、视频等。

应用程序框架层可以包括窗口管理器、活动管理器、输入管理器、资源管理器、通知管理器视图系统、内容提供器等。

窗口管理器提供窗口管理服务(Window Manager Service，WMS),WMS可以用于窗口管理、窗口动画管理、surface管理以及作为输入系统的中转站。

活动管理器可以提供活动管理服务(Activity Manager Service，AMS)，AMS可以用于系统组件(例如活动、服务、内容提供者、广播接收器)的启动、切换、调度以及应用进程的管理和调度工作。

输入管理器可以提供输入管理服务(Input Manager Service，IMS)，IMS可以用于管理系统的输入，例如触摸屏输入、按键输入、传感器输入等。IMS从输入设备节点取出事件，通过和WMS的交互，将事件分配至合适的窗口。

资源管理器为应用程序提供各种资源，比如本地化字符串、图标、图片、布局文件、视频文件等。

通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息、发出提示音、扩展现实设备振动、指示灯闪烁等。

视图系统包括可视控件，例如显示文字的控件、显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。

内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。该数据可以包括视频、图像、音频、拨打和接听的电话、浏览历史和书签、电话簿等。

原生C/C++库可以包括多个功能模块。例如：表面管理器(surface manager)、媒体框架(Media Framework)、C标准函数库(libc)、OpenGL ES、SQLite、Webkit等。

表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2D和3D图层的融合。

媒体框架支持多种常用的音频、视频格式回放和录制，以及静态图像文件等。媒体框架可以支持多种音视频编码格式，例如：MPEG4、H.264、MP3、AAC、AMR、JPG、PNG等。

C标准函数库是在C语言程序设计中，所有匹配标准的头文件(head file)的集合，以及常用的函数库实现程序。

OpenGL ES提供应用程序中2D图形和3D图形的绘制和操作。

SQLite为扩展现实设备的应用程序提供轻量级关系型数据库。

安卓运行时包括安卓运行时和核心库。安卓运行时负责将源代码转换为机器码。安卓运行时主要包括采用提前(ahead or time，AOT)编译技术和及时(just in time，JIT)编译技术。核心库主要用于提供基本的Java类库的功能，例如基础数据结构、数学、IO、工具、数据库、网络等库。核心库为用户进行安卓应用开发提供了API。

硬件抽象层运行于用户空间(user space)，对内核层驱动进行封装，向上层提供调用接口。

内核层是硬件和软件之间的层。内核层至少包含显示驱动、摄像头驱动、音频驱动、传感器驱动。

本实施例还提供一种计算机存储介质，该计算机存储介质中存储有计算机指令，当该计算机指令在扩展现实设备上运行时，使得扩展现实设备执行上述相关方法步骤实现上述实施例中的菜单交互方法。

本实施例还提供了一种计算机程序产品，当该计算机程序产品在扩展现实设备上运行时，使得扩展现实设备执行上述相关步骤，以实现上述实施例中的菜单交互方法。

另外，本申请的实施例还提供一种装置，这个装置具体可以是芯片，组件或模块，该装置可包括相连的处理器和存储器；其中，存储器用于存储计算机执行指令，当装置运行时，处理器可执行存储器存储的计算机执行指令，以使芯片执行上述各方法实施例中的菜单交互方法。

其中，本实施例提供的扩展现实设备、计算机存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，该模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

该作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (16)

1.一种菜单交互方法，应用于扩展现实设备，其特征在于，所述方法包括：

采集用户手部的图像；

根据所述图像识别所述用户的手势；

若所述用户的手势为预设手势，显示菜单唤起对象；

若接收到针对所述菜单唤起对象的第一预设操作，显示虚拟菜单。

2.如权利要求1所述的菜单交互方法，其特征在于，所述扩展现实设备包括虚拟现实设备、增强现实设备和混合现实设备。

3.如权利要求1所述的菜单交互方法，其特征在于，所述扩展现实设备包括头戴式扩展现实设备。

4.如权利要求1所述的菜单交互方法，其特征在于，所述显示菜单唤起对象包括：

根据所述手部的手指的活动范围确定第一显示位置；

在所述第一显示位置显示所述菜单唤起对象。

5.如权利要求1所述的菜单交互方法，其特征在于，所述显示虚拟菜单包括：

根据所述手部的手指的活动范围确定第二显示位置；

在所述第二显示位置显示所述虚拟菜单。

6.如权利要求1所述的菜单交互方法，其特征在于，所述菜单唤起对象是按钮或图标。

7.如权利要求1至6中任一项所述的菜单交互方法，其特征在于，所述方法还包括：

若接收到针对所述虚拟菜单中的菜单项的第二预设操作，执行所述菜单项对应的功能。

8.如权利要求1至6中任一项所述的菜单交互方法，其特征在于，所述方法还包括：

若接收到第三预设操作，显示虚拟菜单设置界面，所述虚拟菜单设置界面包括菜单唤起用手选项。

9.如权利要求1至8中任一项所述的菜单交互方法，其特征在于，所述显示菜单唤起对象之前，所述方法还包括：

判断所述扩展现实设备当前显示的虚拟界面是否为应用界面；

若接收到针对所述菜单唤起对象的第一预设操作，并且所述扩展现实设备当前显示的虚拟界面为应用界面，则显示所述菜单唤起对象。

10.如权利要求1至9中任一项所述的菜单交互方法，其特征在于，所述显示虚拟菜单包括：

若显示所述菜单唤起对象之前，所述扩展现实设备显示的虚拟界面为应用界面，则显示第一虚拟菜单。

11.如权利要求10所述的菜单交互方法，其特征在于，所述第一虚拟菜单包括用于显示最近应用的第一菜单项、用于显示常用应用的第二菜单项、用于回到所述扩展现实设备的主界面的第三菜单项。

12.如权利要求11所述的菜单交互方法，其特征在于，所述方法还包括：

若接收到针对所述第一菜单项的用户操作，显示最近应用选择界面，所述最近应用选择界面包括所述扩展现实设备最近使用的应用的图标和返回按钮；

若接收到针对所述第二菜单项的用户操作，显示常用应用选择界面，所述常用应用选择界面包括所述扩展现实设备常用的应用的图标和返回按钮；

若接收到针对所述第三菜单项的用户操作，显示所述扩展现实设备的主界面。

13.如权利要求10所述的菜单交互方法，其特征在于，所述第一虚拟菜单包括所述应用界面对应应用的功能按钮。

14.如权利要求1至8中任一项所述的菜单交互方法，其特征在于，所述显示虚拟菜单包括：

若显示所述菜单唤起对象之前，所述扩展现实设备显示的虚拟界面不是应用界面，则显示第二虚拟菜单。

15.一种计算机可读存储介质，其特征在于，包括计算机指令，当所述计算机指令在扩展现实设备上运行时，使得所述扩展现实设备执行如权利要求1至14任一项所述的菜单交互方法。

16.一种扩展现实设备，其特征在于，所述扩展现实设备包括处理器和存储器，所述存储器用于存储指令，所述处理器用于调用所述存储器中的指令，使得所述扩展现实设备执行如权利要求1至14中任一项所述的菜单交互方法。

Images