CN108958590A - 应用于头戴式显示设备的菜单操作方法及头戴式显示设备 - Google Patents

Abstract

本发明公开了一种应用于头戴式显示设备的菜单操作方法及头戴式显示设备，所述菜单操作方法包括：响应菜单的调用请求，通过头戴式显示设备的显示屏幕显示一菜单，所述菜单中每个可选选项对应一个方向；响应操作体的指示操作，确定所述菜单中与所述指示操作指示的方向对应的可选选项为已选选项。与现有技术中通过晃动头戴式显示设备将光标对准菜单的选项进行选择的方式相比，本发明实施例提供的通过操作体输入指示方向的指示操作来选择菜单的选项的方式所需要的精确度大大降低，提高了输入速度和输入效率，并且无需用户频繁地晃动头部以将光标和菜单选项进行对准，也避免了用户颈部疲劳的问题。

Description

应用于头戴式显示设备的菜单操作方法及头戴式显示设备

技术领域

本发明涉及人机交互领域，尤其涉及一种应用于头戴式显示设备的菜单操作方法及头戴式显示设备。

背景技术

在现有技术中，各类应用主要通过菜单选项实现各项功能，一般通过平铺、线性排列等方式显示多个菜单选项，这样，用户通过移动虚拟的触点，例如鼠标等方式选中对应菜单选项，从而使得触发应用实现该被选中的菜单选项对应的功能。而随着虚拟现实(英文：Virtual Reality；简称：VR)技术和增强现实(英文：Augmented Reality；简称：AR)技术的发展，头戴式显示设备能够向用户提供虚拟现实体验和增强现实体验，请参考图1，图1为用户使用头戴式显示设备时的示意图，如图1所示，用户可以通过卡接装置或者系带等方式佩戴头戴式显示设备10，头戴式显示设备10即能够通过显示屏幕显示相应的虚拟现实画面或增强现实画面，并根据用户的位移、头部移动等显示相应变化的虚拟现实画面或者增强现实画面，从而能够向用户提供虚拟现实体验和增强现实体验。

在这种情况下，现有的菜单操作方法并不能完全适应头戴式显示设备的交互操控特点，例如，请继续参考图1，头戴式显示设备的显示屏幕显示了一菜单111和光标121，其中菜单111不会随着头戴式显示设备的晃动而改变位置，光标121会随着头戴式显示设备的晃动而改变位置，也即，光标121对准的菜单111上的菜单选项即是当前选择的菜单选项，再通过触控板、实体按键等接受用户的确定操作，即完成了该菜单选项的选择。

由于在用户选择菜单选项的过程中，需要晃动头部来调整光标121的位置来对准需要选择的菜单选项，菜单选项所占据的面积越小，则将光标121与菜单选项进行对准时的精确度要求越高，特别地，在菜单包括多级别时，每个级别都需要用户多次晃动头部以将光标对准菜单选项，输入速度较慢，输入效率较低，并且还容易导致用户颈部疲劳。

可以看出，现有技术中存在头戴显示设备的菜单操作方法的输入速度较慢、输入效率较低和容易导致用户颈部疲劳的技术问题。

发明内容

本发明的目的是提供一种应用于头戴式显示设备的菜单操作方法及头戴式显示设备，以解决现有技术中存在的头戴显示设备的菜单操作方法的输入速度较慢、输入效率较低和容易导致用户颈部疲劳的技术问题。

为了实现上述发明目的，本发明第一方面提供了一种应用于头戴式显示设备的菜单操作方法，包括：

响应菜单的调用请求，通过头戴式显示设备的显示屏幕显示一菜单，所述菜单中每个可选选项对应一个方向；

响应操作体的指示操作，确定所述菜单中与所述指示操作指示的方向对应的可选选项为已选选项。

可选地，所述操作体为手持式设备、手或手指，所述响应操作体的指示操作，确定将所述菜单中与所述指示操作指示的方向对应的可选选项为已选选项，具体包括：

所述手持式设备具有摇杆，获取所述摇杆在所述手持式设备执行所述指示操作时相对于限位结构的位置，确定所述手持式设备在执行所述指示操作时指示的方向，并将所述菜单中与所述指示操作指示的方向对应的可选选项作为所述已选选项；或者

所述手持式设备具有摇杆，获取所述摇杆在所述手持式设备执行所述指示操作过程中的位置变化数据，确定所述手持式设备在执行所述指示操作时指示的方向，并将所述菜单中与所述指示操作指示的方向对应的可选选项作为所述已选选项；或者

所述手持式设备具有惯性测量单元，获取所述惯性测量单元在所述手持式设备执行所述指示操作时采集的运动轨迹和/或姿态变化，确定所述手持式设备在执行所述指示操作时指示的方向，并将所述菜单中与所述指示操作指示的方向对应的可选选项作为所述已选选项；或者

所述手持式设备具有激光定位装置，获取所述激光定位装置采集的定位数据，确定所述手持式设备的运动轨迹/或姿态变化，从而确定所述手持式设备在执行所述指示操作时指示的方向，并将所述菜单中与所述指示操作指示的方向对应的可选选项作为所述已选选项；或者

所述手持式设备具有摄像头，获取所述摄像头在所述手持式设备执行所述指示操作时采集的图像变化数据，确定所述手持式设备的运动轨迹和/或姿态变化，从而确定手持式设备在执行所述指示操作时指示的方向，并确定所述菜单中与所述第二运动方向对应的可选选项作为所述已选选项；或者

所述头戴式显示设备具有摄像头，获取所述摄像头在手或手指执行所述指示操作时采集的多帧图像，确定手或手指在执行所述指示操作时的运动轨迹，从而确定手或手指在执行所述指示操作时指示的方向，并确定所述菜单中与所述指示操作时指示的方向对应的可选选项作为所述已选选项；或者

所述头戴式显示设备具有摄像头，获取所述摄像头在所述手指执行所述指示操作时采集的图像变化数据，确定所述手指的指尖指向，从而确定手指的指尖指向为所述指示操作指示的方向，继而能够确定所述菜单中与所述指示操作时指示的方向对应的可选选项作为所述已选选项；或者

所述头戴式显示设备具有触摸板，获取所述触摸板在手指执行所述指示操作过程中采集的触摸数据，确定手指在所述触摸板上的运动轨迹，并根据所述运动轨迹确定出手指在触摸板上的运动方向，从而确定手指在触摸板上的运动方向为手指在执行指示操作时指示的方向，继而确定菜单中与所述指示操作时指示的方向对应的可选选项作为所述已选选项。

可选地，在通过头戴式显示设备的显示屏幕显示一菜单之后，在响应操作体的指示操作，确定所述菜单中与所述指示操作指示的方向对应的可选选项为已选选项之前，所述方法还包括：

将所述菜单中的预设可选选项作为已选选项。

可选地，在所述预设可选选项与所述指示操作指示的方向对应的可选选项相同时，所述方法还包括：

生成并输出用于表征预设可选选项与所述指示操作指示的方向对应的可选选项相同的提示信息。

可选地，所述菜单的界面为圆形或者环形，所述菜单中处于同一级别的多个可选选项均匀排布在所述圆形或者环形的四周。

可选地，在确定所述菜单中与所述指示操作指示的方向对应的可选选项为已选选项时，所述方法还包括：

将所述已选选项的显示效果调整为与所述菜单中的其他选项不相同。

可选地，在确定所述菜单中与所述指示操作指示的方向对应的可选选项为已选选项之后，所述方法还包括：

响应所述操作体的确定操作，进入所述已选选项对应的下一级菜单，或者执行所述已选选项对应的功能。

本发明第二方面提供了一种头戴式显示设备，包括头戴式结构、显示屏幕和可读存储介质，所述可读存储介质上存储有程序，所述程序被处理器执行时实现以下步骤：

响应菜单的调用请求，通过所述显示屏幕显示一菜单，所述菜单中每个可选选项对应一个方向；

响应操作体的指示操作，确定所述菜单中与所述指示操作指示的方向对应的可选选项为已选选项。

可选地，所述操作体为手持式设备、手或手指；所述程序被处理器执行时实现响应操作体的指示操作，确定所述菜单中与所述指示操作指示的方向对应的可选选项为已选选项的步骤时，具体包括以下步骤：

所述手持式设备具有摇杆，获取所述摇杆在所述手持式设备执行所述指示操作时相对于限位结构的位置，确定所述手持式设备在执行所述指示操作时指示的方向，并将所述菜单中与所述指示操作指示的方向对应的可选选项作为所述已选选项；或者

所述手持式设备具有摇杆，获取所述摇杆在所述手持式设备执行所述指示操作过程中的位置变化数据，确定所述手持式设备在执行所述指示操作时指示的方向，并将所述菜单中与所述指示操作指示的方向对应的可选选项作为所述已选选项；或者

所述手持式设备具有惯性测量单元，获取所述惯性测量单元在所述手持式设备执行所述指示操作时采集的运动轨迹和/或姿态变化，确定所述手持式设备在执行所述指示操作时指示的方向，并将所述菜单中与所述指示操作指示的方向对应的可选选项作为所述已选选项；或者

所述手持式设备具有激光定位装置，获取所述激光定位装置采集的定位数据，确定所述手持式设备的运动轨迹/或姿态变化，从而确定所述手持式设备在执行所述指示操作时指示的方向，并将所述菜单中与所述指示操作指示的方向对应的可选选项作为所述已选选项；或者

所述手持式设备具有摄像头，获取所述摄像头在所述手持式设备执行所述指示操作时采集的图像变化数据，确定所述手持式设备的运动轨迹和/或姿态变化，从而确定手持式设备在执行所述指示操作时指示的方向，并确定所述菜单中与所述第二运动方向对应的可选选项作为所述已选选项；或者

所述头戴式显示设备具有摄像头，获取所述摄像头在手或手指执行所述指示操作时采集的多帧图像，确定手或手指在执行所述指示操作时的运动轨迹，从而确定手或手指在执行所述指示操作时指示的方向，并确定所述菜单中与所述指示操作时指示的方向对应的可选选项作为所述已选选项；或者

所述头戴式显示设备具有摄像头，获取所述摄像头在所述手指执行所述指示操作时采集的图像变化数据，确定所述手指的指尖指向，从而确定手指的指尖指向为所述指示操作指示的方向，继而能够确定所述菜单中与所述指示操作时指示的方向对应的可选选项作为所述已选选项；或者

所述头戴式显示设备具有触摸板，获取所述触摸板在手指执行所述指示操作过程中采集的触摸数据，确定手指在所述触摸板上的运动轨迹，并根据所述运动轨迹确定出手指在触摸板上的运动方向，从而确定手指在触摸板上的运动方向为手指在执行指示操作时指示的方向，继而确定菜单中与所述指示操作时指示的方向对应的可选选项作为所述已选选项。

可选地，所述程序被处理器执行时实现在通过头戴式显示设备的显示屏幕显示一菜单的步骤之后，在响应操作体的指示操作，确定所述菜单中与所述指示操作指示的方向对应的可选选项为已选选项的步骤之前，还实现以下步骤：将所述菜单中的预设可选选项作为已选选项。

可选地，所述程序被处理器执行时实现所述预设可选选项与所述指示操作指示的方向对应的可选选项相同的步骤时，还实现以下步骤：

生成并输出用于表征预设可选选项与所述指示操作指示的方向对应的可选选项相同的提示信息。

可选地，所述程序被处理器执行时实现确定所述菜单中与所述指示操作指示的方向对应的可选选项为已选选项的步骤时，还实现以下步骤：

将所述已选选项的显示效果调整为与所述菜单中的其他选项不相同。

可选地，所述程序被处理器执行时实现确定所述菜单中与所述指示操作指示的方向对应的可选选项为已选选项的步骤之后，还实现以下步骤：

响应所述操作体的确定操作，进入所述已选选项对应的下一级菜单，或者执行所述已选选项对应的功能。

本发明实施例中的一个或者多个技术方案，至少具有如下技术效果或者优点：

与现有技术中通过晃动头戴式显示设备将光标对准菜单的选项进行选择的方式相比，本发明实施例提供的通过操作体输入指示方向的指示操作来选择菜单的选项的方式所需要的精确度大大降低，提高了输入速度和输入效率，并且无需用户频繁地晃动头部以将光标和菜单选项进行对准，也避免了用户颈部疲劳的问题。

附图说明

图1为用户使用头戴式显示设备时的示意图；

图2为本发明实施例提供的应用于头戴式显示设备的菜单操作方法的流程示意图；

图3A为本发明实施例提供的菜单变化的示意图；

图3B为本发明实施例提供的8个可选选项均匀排布在环形菜单界面上的示意图；

图4为本发明实施例提供的具有摇杆装置的手持式设备的示意图；

图5为本发明实施例提供的根据摇杆的位置确定指示操作指示的方向的示意图；

图6为本发明实施例提供的摇杆的运动轨迹的示意图；

图7为本发明实施例提供的应用于头戴式显示设备的菜单操作方法的流程示意图；

图8为本发明实施例提供的头戴式显示设备的模块示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供了一种应用于头戴式显示设备的菜单操作方法以及头戴式显示设备，用于解决现有技术中存在的头戴显示设备的菜单操作方法的输入速度较慢、输入效率较低和容易导致用户颈部疲劳的技术问题。

请参考图2，图2为本发明实施例提供的应用于头戴式显示设备的菜单操作方法的流程示意图，如图2所示，该方法包括：

S1：响应菜单的调用请求，通过头戴式显示设备的显示屏幕显示一菜单，菜单中每个可选选项对应一个方向；例如，头戴式显示设备在接收到菜单的调用请求后，即能够响应菜单的调用请求，通过头戴式显示设备的显示屏幕显示对应的菜单，同时菜单中每个可选选项都会对应一个方向，具体地，菜单的界面可以为环形，则多个可选选项可以排布在环形的界面上，这样，每个可选选项都会对应一个方向，对应的方向可以是该可选选项所处位置相对于整个菜单界面的方向；

S2：响应操作体的指示操作，确定菜单中与指示操作指示的方向对应的可选选项为已选选项；例如，操作体可以是手持式设备、手指等等，操作体的指示操作指示的方向为“从左至右”这一方向，这样，即能够确定S1中显示的菜单中与“从左至右”这一方向对应的可选选项为已选选项，也即完成了对该可选选项的选择。

通过上述部分可以看出，与现有技术中通过晃动头戴式显示设备将光标对准菜单的选项进行选择的方式相比，本发明实施例提供的通过操作体输入指示方向的指示操作来选择菜单的选项的方式所需要的精确度大大降低，提高了输入速度和输入效率，并且无需用户频繁地晃动头部以将光标和菜单选项进行对准，也避免了用户颈部疲劳的问题。

在接下来的部分中，将结合附图，来详细介绍上述技术方案。

实施例一：

在S1中，用户可以向头戴式显示设备输入菜单的调用请求，例如可以在头戴式显示设备或者手柄等手持式设备上设置一个用于调用菜单的专用按钮，这样可以按压头该专用按钮，或者在手柄等手持式设备包括摇杆时，可以按下摇杆，来实现向头戴式显示设备输入调用请求，等等，在此不再赘述。当然了，在用户通过手柄等手持式设备向头戴式显示设备输入菜单的调用请求时，需要保证手持式设备和头戴式显示设备之间通过有线或者无线的方式相连，使得手持式设备能够利用有线或者无线的方式，向头戴式显示设备发送用户输入的菜单的调用请求。

这样，头戴式显示设备在接收到菜单的调用请求后，即能够响应该调用请求，然后在头戴式显示设备的显示屏幕显示一个菜单，该菜单中每个可选选项对应一个方向，请参考图3A，图3A为本发明实施例提供的菜单变化的示意图，如图3A所示，该菜单的界面为圆环形，该菜单的第一级包括四个可选选项，分别为菜单1、菜单2、菜单3和菜单4，这四个可选选项均匀排布在菜单的当前界面上，这样，该四个第一级别的可选选项分别对应上、右、下和左四个方向，菜单1的第二级同样包括四个可选选项，分别为菜单1.1、菜单1.2、菜单1.3和菜单1.4，这四个可选选项均匀排布在菜单的当前界面上，同样地，该四个第二级别的可选选项分别对应上、右、下和左四个方向，环形界面的内部区域可以用于显示菜单当前级别的名称等等，在此不做限制。当然了，根据菜单当前级别的可选选项的数目以及每个可选选项所占空间的大小，本领域所属的技术人员可以确定每个可选选项对应的方向，在此就不再赘述了。

菜单中可选选项与其对应的方向之间的对应关系可以由本领域所属的技术人员根据实际情况进行设，一般来讲，较佳地，菜单中处于同一级别的可选选项与其对应的方向之间是一一对应的关系，这样，用户通过操作体执行指示操作时，根据该指示操作指示的方向，即能够直接确定出该指示操作指示的方向对应的可选选项，从而确定该可选选项为已选选项，可以看出，这一方式使得用户的操作结果更加直观，便于用户更快地进行选择；若菜单中同一级别中的多个可选选项对应同一个方向，也即在该方向上有两个或者更多的可选选项，这样，若用户通过操作体执行指示的方向为该方向的指示操作时，根据该指示操作指示的方向，即能够选中其中的一个可选选项，如果需要切换到同一方向的其他可选选项，则需要通过操作体再次执行指示该方向的指示操作，或者通过其他方式如按压特定的按钮等等来进行切换，具体的选中策略和切换策略在此不做限制，这一方式能够在同一级别中向用户提供更多可选选项，相对地，因为需要进行可选选项的切换，所以用户选择时可能需要花费更多的时间。

需要说明的是，在其他实施例中，菜单的界面还可以为圆形、正多边形或者其他合适的形状，在此不做限制，当然，本领域所属的技术人员能够根据实际情况对菜单界面的形状和可选选项的排布情况进行调整，例如可选选项在界面上可以均匀地排布，也可以非均匀地排布，以满足实际情况的需要，在此不做限制。

较佳地，菜单中处于同一级别的可选选项的数量不超过8个，因为在同一级别的可选选项为8个的时候，若这8个可选选项均匀排布在菜单界面上，请参考图3B，图3B为本发明实施例提供的8个可选选项均匀排布在环形菜单界面上的示意图，如图3B所示，每个可选选项对应的角度为45°，若可选选项的数量更多，则每个可选选项对应的角度会小于45°，会明显提高用户使用操作体进行滑动操作时的精确度要求，从而降低用户输入速度和输入效率。

当然了，在具体实施过程中，在通过头戴式显示设备的显示屏幕显示菜单之后，之前运行的程序可以继续运行，也可以暂停，在此不做限制。较佳地，可以对菜单进行分类，若菜单的级别数较少，例如只有一级或者两级，且每一级别的可选选项较少，例如每一级别只有2个或者3个可选选项，这样表明该菜单在用户的操作下能够在数秒内完成，则该菜单可以分类到“快捷菜单”这一类，在所调用的菜单为“快捷菜单”这一类时，之前运行的程序可以继续运行，从而能够向用户提供不间断的虚拟现实体验或者增强现实体验；若菜单的级别数较多，并且每一级别的可选选项也较多，则表明用户可能需要花费较多的时间来完成对该菜单的操作，因此可以该菜单可以分类到“长时菜单”这一类，在所调用的菜单为“长时菜单”这一类时，之前运行的程序会暂停或者停止运行，这样能够避免用户在进行菜单操作的过程中同时关注程序的运行情况，从而减轻用户的记忆负担。

在S2中，在头戴式显示设备通过显示屏幕显示了菜单之后，用户即能够通过操作体执行指示操作，这样，头戴式显示设备即能够响应操作体的指示操作，从而确定菜单中与指示操作指示的方向对应的可选选项为已选选项。

在实际应用中，操作体具体可以为手持式设备或者手指，根据操作体的具体形式，头戴式显示设备响应操作体的指示操作时会采用不同的方式，在接下来的部分中将分别进行介绍。

在具体实施过程中，在操作体具体为手持式设备且该手持式设备具有摇杆时，请参考图4，图4为本发明实施例提供的具有摇杆装置的手持式设备的示意图，如图4所示，该手持式设备具体为双手式手柄40，其包括两个摇杆，分别为411和421，其中摇杆411设置在手柄的左手握持部位，便于左手的大拇指对摇杆411进行操作，摇杆411能够在限位结构412的作用下在平面上进行360°的旋转，同样地，摇杆装置421设置在手柄的右手握持部位，以便于右手的大拇指对摇杆421进行操作，摇杆421也能够在其所处的限位结构422的作用下在平面上进行360°的旋转，这样，用户在使用手柄40的过程中，即能够通过左手或者右手的大拇指拨动摇杆411或者421，从而实现指示操作的输入。在实际应用中，手持式设备还可以为单手式手柄，便于用户单手进行操作，在此不做限制。

摇杆装置能够通过电位器或者滑动变阻器，确定摇杆相对于限位结构所处的位置，从而确定指示操作指示的方向，请继续参考图5，图5为本发明实施例提供的根据摇杆的位置确定指示操作指示的方向的示意图，如图5所示，摇杆411相对于限位结构412所处的位置为正北方，所以能够确定指示操作指示的方向为正北方，或者是从下至上这一方向，请同时参考图3A，在图3A所示的菜单界面中，菜单1为正北方向上的可选选项，则此时即能够确定菜单1为指示操作指示的方向对应的可选选项，继而将该可选选项确定为已选选项。

当然了，除了根据摇杆相对于限位结构所处的位置来确定指示操作指示的方向之外，还可以根据用户操作摇杆时摇杆的运动轨迹来确定指示操作指示的方向，继而确定指示操作指示的方向对应的可选选项为已选选项，具体来讲，可以是通过电位器或者滑动变阻器记录摇杆运动时的电位变化信息，再根据电位变化信息确定出摇杆的位置变化信息，位置变化信息也即摇杆的运动轨迹，例如，请参考图6，图6为本发明实施例提供的摇杆的运动轨迹的示意图，如图6所示，摇杆的运动轨迹为从第一位置601运动至第二位置602，所以手持式设备在执行指示操作时指示的方向为正北方向，或者是从下至上这一方向，请继续参考图3A，在图3A所示的菜单界面中，菜单1为菜单中正北方向或从下至上这一方向对应的可选选项，从而即能够将菜单1确定为已选选项。

在具体实施过程中，在操作体具体为手持式设备且该手持式设备具有惯性测量单元(英文：inertial measurement unit；简称：IMU)时，惯性测量单元能够采集操作体的姿态变化信息以及加速度变化信息，这样，若用户使用具有惯性测量单元的手持式设备在空中进行滑动操作，则根据惯性测量单元记录的姿态变化信息以及加速度变化信息，即能够确定该手持式设备的运动轨迹和/或姿态变化，从而根据运动轨迹和/或姿态变化确定出该手持式设备在执行指示操作过程中指示的方向，继而确定菜单中与指示操作指示的方向对应的可选选项为已选选项，继而将该可选选项确定为已选选项。

在具体实施过程中，在手持式设备上设置有激光定位装置时，即激光定位装置能够采集对手持式设备进行激光定位时的定位数据，这样，根据激光定位装置采集到的定位数据，即能够确定该手持式设备的运动轨迹和/或姿态变化，从而根据运动轨迹/或姿态变化，确定出手持式设备在执行指示操作时指示的方向，继而确定菜单中与指示操作指示的方向对应的可选选项为已选选项。

在实际应用中，激光定位方式是通过激光定位基站出射激光扫描线对四周空间进行扫描，光敏传感器被激光扫描线扫描后会生成电信号，根据光敏传感器生成的电信号即能够确定光敏传感器相对于激光定位基站的位置，从而能够确定出手持式设备的运动轨迹/或姿态变化，当然，根据激光定位方式所采用的算法不同，对激光扫描线和光敏传感器的数量、角度或位置等的要求也不相同，在此就不再赘述了。在本实施例中，上设置的激光定位装置可以是激光定位基站，也可以是光敏传感器，在此不做限制。

在具体实施过程中，在手持式设备上设置有摄像头时，可以通过摄像头不断拍摄外界环境图像，这样，根据外接环境图像的变化数据，利用SLAM(英文：simultaneouslocalization and mapping；中文：即时定位与地图构建)技术，即能够确定出手持式设备的运动轨迹，还能够确定手持式设备的姿态变化，从而根据运动轨迹和/或姿态变化确定出手持式设备在执行指示操作时指示的方向，继而确定菜单中与指示操作指示的方向对应的可选选项为已选选项。

当然，在实际应用中，还可以在外部空间中设置一个或者多个预设图标，预设图标例如可以是包括特定形状或特定内容的标识的图像等，这样，根据摄像头采集预设图标的图像的变化数据，利用SLAM技术，同样能够确定出手持式设备的运动轨迹或姿态变化，从而能够确定出指示操作指示的方向。

在具体实施过程中，在头戴式显示设备具有摄像头时，可以通过该摄像头拍摄手或者手指在执行指示操作时的运动图像，这样，根据摄像头所拍摄的包含手或手指在执行指示操作时的多帧图像，即能够利用图像识别技术，识别出每帧图像中的手或手指，然后组合多帧图像，即能够确定出手或者手指在执行指示操作时的运动轨迹，从而根据运动轨迹确定手或者手指在执行指示操作时指示的方向，继而确定菜单中与指示操作指示的方向对应的可选选项为已选选项。

在另一实施例中，还可以通过摄像头获取手或者手指在执行指示操作时采集的图像，并根据该图像确定手指的指尖指向，从而确定手指的指尖指向为指示操作指示的方向，当然具体以哪一根或者几根手指的指尖指向为准在此不做限制，本领域所属的技术人员能够根据实际情况进行设置，继而能够确定菜单中与指示操作时指示的方向对应的可选选项作为已选选项。

在具体实施过程中，在头戴显示设备设置有触摸板时，触摸板是可以检测手指在触摸板上的滑动、点击等操作的装置，这样，根据触摸板采集的手指的触摸数据，即能够确定出手指在触摸板上的运动轨迹，从而根据运动轨迹确定出手指的运动方向，该运动方向也即手指在执行指示操作时指示的方向，继而确定菜单中与指示操作指示的方向对应的可选选项为已选选项。

当然了，通过本实施例的介绍，本领域所属的技术人员能够根据实际情况，通过如超声波、电磁波或微型雷达等其他检测装置，来获取操作体执行指示操作时的运动轨迹，以满足实际情况的需要，在此就不再赘述了。

在确定将菜单中与指示操作指示的方向对应的可选选项为已选选项的时候，本发明实施例提供的方法还包括：将该已选选项的显示效果调整为与菜单中的其他选项不相同。

具体来讲，请继续参考图3A，如图3A所示，在确定菜单中与指示操作指示的方向对应的可选选项“菜单1”为已选选项之后，即能够将该已选选项的显示效果进行调整，例如可以将该已选选项所在区域的背景色、区域大小或者区域内的文字大小等调整为与其他可选区域不相同，使得该已选选项能够与其他可选选项区分开来，较佳地，可以将背景色调整为深色，将该已选区域的外框增大，或者将该已选选项内的文字调整为比其他可选选项中的文字更大等等，从而使得已选选项能够以较为突出的视觉效果展示给用户。

在具体实施过程中，在响应操作体的指示操作，确定出了菜单中与该指示操作指示的方向对应的可选选项为已选选项之后，再次检测到了指示相同方向的指示操作，也即用户连续两次输入了相同的指示操作，则此时可以生成并输出一个用于表征根据当前的指示操作确定的已选选项与上一次指示操作指示的方向确定的已选选项相同的提示信息，例如，可以在显示屏幕上显示一个类似“重复操作，当前选项已选择”的文字消息，也可以通过耳机、扬声器等输出一个类似“重复操作，当前选项已选择”的语音消息等等，在此不再赘述。

当然，若检测到了指示不同方向的指示操作，则将前一个指示操作指示的方向对应的可选选项切换到后一个指示操作指示的方向对应的可选选项即可，在此就不再赘述了。

在具体实施过程中，在确定菜单中与指示操作指示的方向对应的可选选项为已选选项之后，本发明实施例提供的方法还包括：响应操作体的确定操作，进入已选选项对应的下一级菜单，或者执行已选选项对应的功能。

具体来讲，在通过前述步骤确定菜单中的一个可选选项为已选选项之后，若用户通过操作体输入确定操作，则表明用户希望执行该已选选项对应的功能，菜单中已选选项对应的功能可以是展示下一级菜单的多个可选选项，也可以对应一个特殊的功能，在此不做限制。

在实际应用中，根据操作体的具体形式，操作体的确定操作也对应有不同的呈现形式，例如，确定操作可以是用户按压了手持式设备或者头戴式显示设备上的某个实体按键，则通过检测该按键是否被按压而生成特定的电信号，即能够检测用户是否通过手指输入了确定操作；在操作体为手持式设备，且通过惯性测量单元、激光定位装置或者摄像头来获取操作体的姿态变化和/或运动轨迹时，确定操作可以是用户使用手持式设备完成了顺时针方向的画圈或旋转等等，在这种情况下，通过惯性测量单元、激光定位装置或者摄像头获取操作体的姿态变化和/或运动轨迹，判断姿态变化和/或运动轨迹是否与确定操作预设的姿态变化和/或运动轨迹一致，即能够检测用户是否通过操作体输入了确定操作；在操作体为手或者手指，且头戴显示设备通过摄像头采集手或手指运动的图像数据时，确定操作可以是一个特定的手势，例如可以是手由摊开状态变为握拳状态，或者可以是任意两个手指之间的触碰，或者可以是手或者手指在空中画一个顺时针方向的圈等等，在这种情况下，通过摄像头获取手或手指的多帧运动图像，检测手或手指的运动轨迹是否与确定操作预设的特定手势相同，即能够检测用户是否通过操作体输入了确定操作；在操作体为手指且头戴显示设备通过触摸板接收手指的输入时，确定操作可以是用户通过手指单击触摸板，在这种情况下，通过检测触摸板是否被单击而生成相应的电信号，即能够检测用户是否输入了确定操作。通过本实施例的介绍，在操作体为其他形式时，本领域所属的技术人员能够根据实际情况选择合适的方式，来检测用户是否输入了确定操作，在此就不再赘述了。

在检测到用户输入了确定操作之后，即能够响应操作体的确定操作，若该已选选项包括下一级菜单，则可以进入该已选选项对应的下一级菜单，从而向用户展示下一级菜单中的多个可选选项，或者可以直接执行该已选选项对应的功能，例如可以是调整头戴式显示设备的显示屏幕的亮度等等。当然了，在展示下一级菜单中的多个可选选项之后，可以继续响应操作体的指示操作，从而确定下一级菜单中与此次接收到的指示操作指示的方向对应的可选选项为已选选项，具体过程与前述步骤一致，在此就不再赘述了。

实施例二：

请参考图7，图7为本发明实施例提供的应用于头戴式显示设备的菜单操作方法的流程示意图，如图7所示，该菜单操作方法包括：

S101：响应菜单的调用请求，通过头戴式显示设备的显示屏幕显示一菜单，菜单中每个可选选项对应一个方向；

S102：将菜单中的预设可选选项作为已选选项；

S103：响应操作体的指示操作，确定菜单中与指示操作指示的方向对应的可选选项为已选选项。

本实施例中介绍的应用于头戴式显示设备的菜单操作方法与实施例一中介绍的菜单操作方法相比，多了“将菜单中的预设可选选项作为已选选项”这一步骤，也即在显示屏幕上显示菜单后，还将菜单中预设的可选选项直接作为已选选项，从而方便用户在已选选项为预设可选选项的基础上输入后续的指示操作、确定操作等等，避免用户在看到显示屏幕上显示的包括多个可选选项的菜单时的迷茫感觉。

S101和S103在实施例一中已经进行了详细介绍，为了说明书的简洁，在此就不再赘述了。需要说明的是，在用户侧看来，S101和S102可以是同时执行的，也即用户在输入菜单的调用请求后，显示屏幕上呈现的菜单已经将预设可选选项作为已选选项，在此不再赘述。

在具体实施过程中，若预设可选选项和根据指示操作确定出的可选选项相同，则可以生成并输出用于表征预设可选选项和根据指示操作确定出的可选选项相同的提示信息，提示信息的具体内容和方式在此不做限制，能够实现提示用户的目的即可。

当然了，后续的步骤如调整菜单中已选选项的显示效果、响应操作体的确定操作等等请继续参考实施例一中的介绍，在此就不再赘述了。

通过上述的实施例一和二可以看出，与现有技术中通过晃动头戴式显示设备将光标对准菜单的选项进行选择的方式相比，本发明实施例提供的通过操作体输入指示方向的指示操作来选择菜单的选项的方式所需要的精确度大大降低，提高了输入速度和输入效率，并且无需用户频繁地晃动头部以将光标和菜单选项进行对准，也避免了用户颈部疲劳的问题。

基于同一发明构思，本发明实施例另一方面还提供一种头戴式显示设备，请参考图8，图8为本发明实施例提供的头戴式显示设备的模块示意图，如图8所示，该头戴式显示设备包括头戴式结构801、显示屏幕802和可读存储介质803，可读存储介质803上存储有程序，程序被处理器执行时实现以下步骤：

响应菜单的调用请求，通过显示屏幕802显示一菜单，菜单中每个可选选项对应一个方向；

响应操作体的指示操作，确定菜单中与指示操作指示的方向对应的可选选项为已选选项。

在具体实施过程中，操作体为手持式设备、手或手指；程序被处理器执行时实现响应操作体的指示操作，确定菜单中与指示操作指示的方向对应的可选选项为已选选项的步骤时，具体包括以下步骤：

手持式设备具有摇杆，获取摇杆在手持式设备执行指示操作时相对于限位结构的位置，确定手持式设备在执行指示操作时指示的方向，并将菜单中与指示操作指示的方向对应的可选选项作为已选选项；或者

手持式设备具有摇杆，获取摇杆在手持式设备执行指示操作过程中的位置变化数据，确定手持式设备在执行指示操作时指示的方向，并将菜单中与指示操作指示的方向对应的可选选项作为已选选项；或者

手持式设备具有惯性测量单元，获取惯性测量单元在手持式设备执行指示操作时采集的运动轨迹和/或姿态变化，确定手持式设备在执行指示操作时指示的方向，并将菜单中与指示操作指示的方向对应的可选选项作为已选选项；或者

手持式设备具有激光定位装置，获取激光定位装置采集的定位数据，确定手持式设备的运动轨迹/或姿态变化，从而确定手持式设备在执行指示操作时指示的方向，并将菜单中与指示操作指示的方向对应的可选选项作为已选选项；或者

手持式设备具有摄像头，获取摄像头在手持式设备执行指示操作时采集的图像变化数据，确定手持式设备的运动轨迹和/或姿态变化，从而确定手持式设备在执行指示操作时指示的方向，并确定菜单中与第二运动方向对应的可选选项作为已选选项；或者

头戴式显示设备具有摄像头，获取摄像头在手或手指执行指示操作时采集的多帧图像，确定手或手指在执行指示操作时的运动轨迹，从而确定手或手指在执行指示操作时指示的方向，并确定菜单中与指示操作时指示的方向对应的可选选项作为已选选项；或者

头戴式显示设备具有摄像头，获取摄像头在手指执行指示操作时采集的图像变化数据，确定手指的指尖指向，从而确定手指的指尖指向为指示操作指示的方向，继而能够确定菜单中与指示操作时指示的方向对应的可选选项作为已选选项；或者

头戴式显示设备具有触摸板，获取触摸板在手指执行指示操作过程中采集的触摸数据，确定手指在触摸板上的运动轨迹，并根据运动轨迹确定出手指在触摸板上的运动方向，从而确定手指在触摸板上的运动方向为手指在执行指示操作时指示的方向，继而确定菜单中与指示操作时指示的方向对应的可选选项作为已选选项。

在具体实施过程中，程序被处理器执行时实现在通过头戴式显示设备的显示屏幕802显示一菜单的步骤之后，在响应操作体的指示操作，确定菜单中与指示操作指示的方向对应的可选选项为已选选项的步骤之前，还实现以下步骤：将菜单中的预设可选选项作为已选选项。

在具体实施过程中，程序被处理器执行时实现预设可选选项与指示操作指示的方向对应的可选选项相同的步骤时，还实现以下步骤：生成并输出用于表征预设可选选项与指示操作指示的方向对应的可选选项相同的提示信息。

在具体实施过程中，程序被处理器执行时实现确定菜单中与指示操作指示的方向对应的可选选项为已选选项的步骤时，还实现以下步骤：将已选选项的显示效果调整为与菜单中的其他选项不相同。

在具体实施过程中，程序被处理器执行时实现确定菜单中与指示操作指示的方向对应的可选选项为已选选项的步骤之后，还实现以下步骤：响应操作体的确定操作，进入已选选项对应的下一级菜单，或者执行已选选项对应的功能。

本发明实施例中介绍的头戴式显示设备与前述实施例一和二介绍的应用于头戴式显示设备的菜单操作方法，是基于同一发明构思下的两个方面，在前述实施例一和二已经详细介绍了应用于头戴式显示设备的菜单操作方法的情况下，本发明所属领域的技术人员能够根据前述部分的介绍，清楚地了解头戴式显示设备的结构及运行过程，在此为了说明书的简洁，就不再赘述了。

本发明实施例中的一个或者多个技术方案，至少具有如下技术效果或者优点：

与现有技术中通过晃动头戴式显示设备将光标对准菜单的选项进行选择的方式相比，本发明实施例提供的通过操作体输入指示方向的指示操作来选择菜单的选项的方式所需要的精确度大大降低，提高了输入速度和输入效率，并且无需用户频繁地晃动头部以将光标和菜单选项进行对准，也避免了用户颈部疲劳的问题。

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

本说明书(包括任何附加权利要求、摘要和附图)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (13)

1.一种应用于头戴式显示设备的菜单操作方法，其特征在于，包括：

响应菜单的调用请求，通过头戴式显示设备的显示屏幕显示一菜单，所述菜单中每个可选选项对应一个方向；

响应操作体的指示操作，确定所述菜单中与所述指示操作指示的方向对应的可选选项为已选选项。

2.如权利要求1所述的菜单操作方法，其特征在于，所述操作体为手持式设备、手或手指；所述响应操作体的指示操作，确定将所述菜单中与所述指示操作指示的方向对应的可选选项为已选选项，具体包括：

所述手持式设备具有摇杆，获取所述摇杆在所述手持式设备执行所述指示操作时相对于限位结构的位置，确定所述手持式设备在执行所述指示操作时指示的方向，并将所述菜单中与所述指示操作指示的方向对应的可选选项作为所述已选选项；或者

所述手持式设备具有摇杆，获取所述摇杆在所述手持式设备执行所述指示操作过程中的位置变化数据，确定所述手持式设备在执行所述指示操作时指示的方向，并将所述菜单中与所述指示操作指示的方向对应的可选选项作为所述已选选项；或者

所述手持式设备具有惯性测量单元，获取所述惯性测量单元在所述手持式设备执行所述指示操作时采集的运动轨迹和/或姿态变化，确定所述手持式设备在执行所述指示操作时指示的方向，并将所述菜单中与所述指示操作指示的方向对应的可选选项作为所述已选选项；或者

所述手持式设备具有激光定位装置，获取所述激光定位装置采集的定位数据，确定所述手持式设备的运动轨迹/或姿态变化，从而确定所述手持式设备在执行所述指示操作时指示的方向，并将所述菜单中与所述指示操作指示的方向对应的可选选项作为所述已选选项；或者

所述手持式设备具有摄像头，获取所述摄像头在所述手持式设备执行所述指示操作时采集的图像变化数据，确定所述手持式设备的运动轨迹和/或姿态变化，从而确定手持式设备在执行所述指示操作时指示的方向，并确定所述菜单中与所述第二运动方向对应的可选选项作为所述已选选项；或者

所述头戴式显示设备具有摄像头，获取所述摄像头在手或手指执行所述指示操作时采集的多帧图像，确定手或手指在执行所述指示操作时的运动轨迹，从而确定手或手指在执行所述指示操作时指示的方向，并确定所述菜单中与所述指示操作时指示的方向对应的可选选项作为所述已选选项；或者

所述头戴式显示设备具有摄像头，获取所述摄像头在所述手指执行所述指示操作时采集的图像变化数据，确定所述手指的指尖指向，从而确定手指的指尖指向为所述指示操作指示的方向，继而能够确定所述菜单中与所述指示操作时指示的方向对应的可选选项作为所述已选选项；或者

所述头戴式显示设备具有触摸板，获取所述触摸板在手指执行所述指示操作过程中采集的触摸数据，确定手指在所述触摸板上的运动轨迹，并根据所述运动轨迹确定出手指在触摸板上的运动方向，从而确定手指在触摸板上的运动方向为手指在执行指示操作时指示的方向，继而确定菜单中与所述指示操作时指示的方向对应的可选选项作为所述已选选项。

3.如权利要求1或2所述的菜单操作方法，其特征在于，在通过头戴式显示设备的显示屏幕显示一菜单之后，在响应操作体的指示操作，确定所述菜单中与所述指示操作指示的方向对应的可选选项为已选选项之前，所述方法还包括：

将所述菜单中的预设可选选项作为已选选项。

4.如权利要求3所述的菜单操作方法，其特征在于，在所述预设可选选项与所述指示操作指示的方向对应的可选选项相同时，所述方法还包括：

生成并输出用于表征预设可选选项与所述指示操作指示的方向对应的可选选项相同的提示信息。

5.如权利要求1所述的菜单操作方法，其特征在于，所述菜单的界面为圆形或者环形，所述菜单中处于同一级别的多个可选选项均匀排布在所述圆形或者环形的四周。

6.如权利要求1所述的菜单操作方法，其特征在于，在确定所述菜单中与所述指示操作指示的方向对应的可选选项为已选选项时，所述方法还包括：

将所述已选选项的显示效果调整为与所述菜单中的其他选项不相同。

7.如权利要求1所述的菜单操作方法，其特征在于，在确定所述菜单中与所述指示操作指示的方向对应的可选选项为已选选项之后，所述方法还包括：

响应所述操作体的确定操作，进入所述已选选项对应的下一级菜单，或者执行所述已选选项对应的功能。

8.一种头戴式显示设备，其特征在于，包括头戴式结构、显示屏幕和可读存储介质，所述可读存储介质上存储有程序，所述程序被处理器执行时实现以下步骤：

响应菜单的调用请求，通过所述显示屏幕显示一菜单，所述菜单中每个可选选项对应一个方向；

响应操作体的指示操作，确定所述菜单中与所述指示操作指示的方向对应的可选选项为已选选项。

9.如权利要求8所述的头戴式显示设备，其特征在于，所述操作体为手持式设备、手或手指；所述程序被处理器执行时实现响应操作体的指示操作，确定所述菜单中与所述指示操作指示的方向对应的可选选项为已选选项的步骤时，具体包括以下步骤：

所述手持式设备具有摇杆，获取所述摇杆在所述手持式设备执行所述指示操作时相对于限位结构的位置，确定所述手持式设备在执行所述指示操作时指示的方向，并将所述菜单中与所述指示操作指示的方向对应的可选选项作为所述已选选项；或者

所述手持式设备具有摇杆，获取所述摇杆在所述手持式设备执行所述指示操作过程中的位置变化数据，确定所述手持式设备在执行所述指示操作时指示的方向，并将所述菜单中与所述指示操作指示的方向对应的可选选项作为所述已选选项；或者

所述手持式设备具有惯性测量单元，获取所述惯性测量单元在所述手持式设备执行所述指示操作时采集的运动轨迹和/或姿态变化，确定所述手持式设备在执行所述指示操作时指示的方向，并将所述菜单中与所述指示操作指示的方向对应的可选选项作为所述已选选项；或者

所述手持式设备具有激光定位装置，获取所述激光定位装置采集的定位数据，确定所述手持式设备的运动轨迹/或姿态变化，从而确定所述手持式设备在执行所述指示操作时指示的方向，并将所述菜单中与所述指示操作指示的方向对应的可选选项作为所述已选选项；或者

所述手持式设备具有摄像头，获取所述摄像头在所述手持式设备执行所述指示操作时采集的图像变化数据，确定所述手持式设备的运动轨迹和/或姿态变化，从而确定手持式设备在执行所述指示操作时指示的方向，并确定所述菜单中与所述第二运动方向对应的可选选项作为所述已选选项；或者

所述头戴式显示设备具有摄像头，获取所述摄像头在手或手指执行所述指示操作时采集的多帧图像，确定手或手指在执行所述指示操作时的运动轨迹，从而确定手或手指在执行所述指示操作时指示的方向，并确定所述菜单中与所述指示操作时指示的方向对应的可选选项作为所述已选选项；或者

所述头戴式显示设备具有摄像头，获取所述摄像头在所述手指执行所述指示操作时采集的图像变化数据，确定所述手指的指尖指向，从而确定手指的指尖指向为所述指示操作指示的方向，继而能够确定所述菜单中与所述指示操作时指示的方向对应的可选选项作为所述已选选项；或者

所述头戴式显示设备具有触摸板，获取所述触摸板在手指执行所述指示操作过程中采集的触摸数据，确定手指在所述触摸板上的运动轨迹，并根据所述运动轨迹确定出手指在触摸板上的运动方向，从而确定手指在触摸板上的运动方向为手指在执行指示操作时指示的方向，继而确定菜单中与所述指示操作时指示的方向对应的可选选项作为所述已选选项。

10.如权利要求8或9所述的头戴式显示设备，其特征在于，所述程序被处理器执行时实现在通过头戴式显示设备的显示屏幕显示一菜单的步骤之后，在响应操作体的指示操作，确定所述菜单中与所述指示操作指示的方向对应的可选选项为已选选项的步骤之前，还实现以下步骤：将所述菜单中的预设可选选项作为已选选项。

11.如权利要求10所述的头戴式显示设备，其特征在于，所述程序被处理器执行时实现所述预设可选选项与所述指示操作指示的方向对应的可选选项相同的步骤时，还实现以下步骤：

生成并输出用于表征预设可选选项与所述指示操作指示的方向对应的可选选项相同的提示信息。

12.如权利要求8所述的头戴式显示设备，其特征在于，所述程序被处理器执行时实现确定所述菜单中与所述指示操作指示的方向对应的可选选项为已选选项的步骤时，还实现以下步骤：

将所述已选选项的显示效果调整为与所述菜单中的其他选项不相同。

13.如权利要求8所述的头戴式显示设备，其特征在于，所述程序被处理器执行时实现确定所述菜单中与所述指示操作指示的方向对应的可选选项为已选选项的步骤之后，还实现以下步骤：

响应所述操作体的确定操作，进入所述已选选项对应的下一级菜单，或者执行所述已选选项对应的功能。