CN108008873A - 一种头戴式显示设备的用户界面操作方法 - Google Patents

Abstract

本申请公开了一种头戴式显示设备的用户界面的操作方法。该方法包括：在所述头戴式显示设备的显示屏上显示图形化用户界面，所述图形化用户界面包括一个或多个导航区域，其中每个导航区域对应于一个用于控制所述头戴式显示设备运行的预定控制指令；由所述头戴式显示设备的输入设备检测用户在一个操作区域的输入操作，其中所述操作区域是所述输入设备能够检测的一个或多个操作区域中的一个，并且所述一个或多个操作区域中的每个操作区域对应于所述图形化用户界面中的一个导航区域；以及根据所检测到的输入操作生成与其对应的预定控制指令。

Description

一种头戴式显示设备的用户界面操作方法

技术领域

本申请涉及头戴式显示设备技术领域，更具体地，涉及一种头戴式显示设备的用户界面操作方法。

背景技术

随着计算机和图像处理技术的快速发展，各种头戴式显示设备被开发出来，并且应用于很多应用场合，例如军事、导航、电子游戏、娱乐、传媒等。增强现实(AugmentedReality，AR)眼镜是一种典型的头戴式显示设备，其能够将真实世界信息和虚拟世界信息“无缝”集成，并且显示给使用者，从而达到超越现实的感官体验。

然而，现有的AR眼镜的用户界面的操作方式并不友好，不便于使用者的操作，因而影响了使用感受。此外，一些AR眼镜的用户界面的操作方式对于硬件和软件的要求过高，极大提高了设备成本。

发明内容

本申请的一个目的在于提供一种用于头戴式显示设备的用户界面的操作方法，改善近眼显示方式下的用户操作体验。

本发明提供了一种头戴式显示设备的用户界面的操作方法。该方法包括：在所述头戴式显示设备的显示屏上显示图形化用户界面，所述图形化用户界面包括一个或多个导航区域，其中每个导航区域对应于一个用于控制所述头戴式显示设备运行的预定控制指令；由所述头戴式显示设备的输入设备检测用户在一个操作区域的输入操作，其中所述操作区域是所述输入设备能够检测的一个或多个操作区域中的一个，并且所述一个或多个操作区域中的每个操作区域对应于所述图形化用户界面中的一个导航区域；以及根据所检测到的输入操作生成与其对应的预定控制指令。

以上为本申请的概述，可能有简化、概括和省略细节的情况，因此本领域的技术人员应该认识到，该部分仅是示例说明性的，而非旨在以任何方式限定本申请范围。本概述部分既非旨在确定所要求保护主题的关键特征或必要特征，也非旨在用作为确定所要求保护主题的范围的辅助手段。

附图说明

通过下面说明书和所附的权利要求书并与附图结合，将会更加充分地清楚理解本申请内容的上述和其他特征。可以理解，这些附图仅描绘了本申请内容的若干实施方式，因此不应认为是对本申请内容范围的限定。通过采用附图，本申请内容将会得到更加明确和详细地说明。

图1示出了根据本申请一个实施例的头戴式显示设备的示意图；

图2a示出了根据本申请一个实施例的头戴式显示设备的图形化用户界面的示意图；

图2b示出了图2a所示的头戴式显示设备的图形化用户界面的导航区域与对应操作区域的示意图；

图3示出了根据本申请一个实施例的头戴式显示设备的图形化用户界面的操作方法；

图4a和4b示出了根据本申请一个实施例的头戴式显示设备的图形化用户界面中光标在导航区域和主界面区域的显示形式示意图；

图5a至5d示出了根据本申请一个实施例的头戴式显示设备的图形化用户界面中光标在预定控制指令生成的各个阶段的显示形式示意图。

具体实施方式

在下面的详细描述中，参考了构成其一部分的附图。在附图中，类似的符号通常表示类似的组成部分，除非上下文另有说明。详细描述、附图和权利要求书中描述的说明性实施方式并非旨在限定。在不偏离本申请的主题的精神或范围的情况下，可以采用其他实施方式，并且可以做出其他变化。可以理解，可以对本申请中一般性描述的、在附图中图解说明的本申请内容的各个方面进行多种不同构成的配置、替换、组合，设计，而所有这些都明确地构成本申请内容的一部分。

图1示出了根据本申请一个实施例的头戴式显示设备10的示意图。

如图1所示，该头戴式显示设备10包括眼镜架1、眼镜腿2、弹性夹片3以及软性支撑层4。借助于这些机械构件，头戴式显示设备10能够被稳定地佩戴于用户的头部。其中，眼镜腿2安装在眼镜架1的两侧，眼镜腿2的末端朝内侧弯曲形成第一圆弧部，夹持机构包括弹性夹片3，弹性夹片3反向延伸的设置在眼镜腿2内侧，弹性夹片3的末端朝内侧弯曲形成第二圆弧部，其中，弹性夹片3由不锈钢弹片制成，其能够加大眼镜腿2的夹持力度，从而提高夹持稳定性。软性支撑层4可以被设置于眼镜腿的圆弧部内侧，其可以为橡胶层或/和泡沫层，优选为橡胶层。通过设置软性支撑层4，使贴合与头部位置的压迫感降低，摩擦力增加，使得佩戴更稳固、更舒适，提高了用户的体验度。

眼镜架1和眼镜腿2可以通过弹性连接件A相互连接。

除了上述机械构件之外，头戴式显示设备10还包括设置于眼镜架1上的遮光镜片11、设置于眼镜架1中间部的深度摄像头模组12、设置于眼镜架1两侧下端的光机13。深度摄像头模组12、光机13与控制电路板耦接，并且光机13与成像镜片(位于遮光镜片11的后侧)光学连接，从而光机13输出的光学信号能够在成像镜片(图中未示出)中成像。可以理解，对于佩戴头戴式显示设备10的用户来说，该成像镜片构成了显示屏，其上可以观察到头戴式显示设备10的显示内容，例如图形化用户界面等。成像镜片可以是例如一个半透半反射镜/膜，或者是全息衍射波导光栅，或者其他适合的成像元件。可以理解，本申请不限制头戴式显示设备的成像原理。

对于图1所示的头戴式显示设备10，其是增强现实技术眼镜，用户可以观察到成像镜片(显示屏)上的内容，并且同时透过成像镜片和遮光镜片11观察到现实环境中的实体物体、背景等。可以理解，在一些替代的实施例中，头戴式显示设备也可以是虚拟现实技术眼镜，虚拟现实技术眼镜不具有可透光的镜片，因而用户仅能够观察到显示屏所呈现的画面内容，而不能够透过显示屏直接观察到现实环境中的实体物体。

如图1所示，深度摄像头模组12大体朝向眼镜架1的前方设置，其作为一种输入设备用于采集眼镜架1前方一定范围内对象的图像，例如佩戴头戴式显示设备10的用户抬起的手部(或其手部的一部分)的位置和/或姿态。在一些实施例中，所检测的手部的位置和/或姿态经过图像处理后可以被识别出来。这样，用户手部的操作即可被识别为相应的输入操作。

本申请的发明人发现，现有的头戴式显示设备通常会采用复杂的语音或手势来实现对设备所显示的图形化用户界面的操作，此类操作方式通常会对用户的操作能力和熟练程度提出较高要求，并且容易受到外界环境因素的干扰。更重要的是，此类操作方式对于设备软硬件配置的要求较高，整体上提高了设备成本和使用功耗。

针对头戴式显示设备的特点，本申请的发明人提供了一种头戴式显示设备的用户界面的操作方法，用户可以通过较为简单的操作方式完成对图形化用户界面的控制，从而大大提高了操作效率，降低了设备整体成本和使用功耗。

图2a是根据本申请一个实施例的头戴式显示设备的图形化用户界面的示意图。其中，该头戴式显示设备可以是增强现实技术眼镜或虚拟现实技术眼镜，其均配备有显示屏，例如上文所描述的图1所示的实施例中的成像镜片。当用户佩戴头戴式显示设备时，显示屏基本位于用户的视野中，从而用户可以观察到显示屏以及其中显示的图形化用户界面和其他可视化内容。

如图2a所示，图形化用户界面200包括主界面区域202。其中，主界面区域202用于显示应用程序的运行页面，例如，即时通信、短消息或游戏等应用程序的运行页面。在一些实施例中，主界面区域202也可用于显示头戴式显示设备被用户要求显示的其他任何页面，如系统主页面、系统设置页面、信息推送页面等等。虽然图中显示的主界面区域202为方形，但该主界面区域202也可以是圆形、弧形及其他任何形状及其组合。此外，尽管图中显示的主界面区域202为平面，但其也可以是曲面或其他任何适于显示的形状。

如图2a所示，图形化用户界面200还包括围绕主界面区域202的多个导航区域，其中每个导航区域分别对应于用于控制所述头戴式显示设备运行的预定控制指令。具体参照图2a所示，图形化用户界面200包括位于主界面区域202的上侧中间位置的导航区域201a、其上侧两边位置的导航区域201b和201c以及位于主界面区域202的下侧的导航区域201d。导航区域201a和导航区域201d分别对应的预定控制指令为“向上滚动”和“向下滚动”，响应于用户在这些导航区域201a和201d上的操作，进行所述操作后，图形化用户界面200的主界面区域202中所显示页面内容可以被分别向上或向下滚动。导航区域201b对应的预定控制指令为“返回”，响应于用户操作，可以使得主界面区域202所显示的应用程序或内容页面返回上一级菜单、系统主页面或先前页面等等。导航区域201c对应的预定控制指令为“关闭”，响应于用户操作，可以关闭主界面区域202所显示的应用程序或内容页面。

虽然如图所示的导航区域位于主界面区域202的周边位置，但在其他实施例中，所述一个或多个导航区域也可以位于图形化用户界面200中的其他位置。在一些实施例中，所述一个或多个导航区域位于主界面区域202的左右两侧。在一些实施例中，导航区域也可以是半透明显示区域，从而不会遮挡图形化用户界面200上显示的内容。一些实施例中，导航区域201还可以被设置为在正常情况下处于隐藏状态，可以通过用户的操作(如手势、触碰或语音操作)来唤出至显示状态。例如，在某些需要全屏显示的应用程序界面下，例如影音播放程序，这些导航区域201可以被暂时地隐藏，并且响应于用户的操作被唤出或重新隐藏。

此外，虽然图2a显示了4个导航区域，但在其他实施例中，图形化用户界面200可以包括任意数量的导航区域，并且该导航区域的数量可以通过用户自定义来选择。虽然图中显示的导航区域为方形，但所示多个导航区域也可以是圆形、弧形及其他任何形状及其组合。此外，尽管图中显示的导航区域为平面，但其也可以是曲面或其他任何适于显示的形状。

导航区域201a、201b、201c和201d所对应的预定控制指令可以是预先设置的用于控制头戴式显示设备运行的任何控制指令。除了如上所述的“返回”、“关闭”、“向上滚动”和“向下滚动”指令，预定控制指令还可以是用于分别向左或向右滚动图形化用户界面200的主界面区域202中所显示内容的“向左滚动”和“向右滚动”指令，其所对应的导航区域分别位于图形化用户界面200的左侧和右侧。在一些实施例中，预定控制指令还可以是用于控制图形化用户界面200所显示的应用程序的具体功能的指令，比如控制游戏应用中的人物角色的上下左右的运动、控制应用程序菜单栏的主要菜单功能之间的切换。在一些实施例中，该预定控制指令还可以是用于对图形化用户界面200所显示内容的快捷操作，比如复制、粘贴、搜索和翻译等。在一些实施例中，预定控制指令还可以由用户进行自定义设置。在一些实施例中，预定控制指令还可以被设置为宏指令，其包括先后执行的一系列操作指令，从而有效简化用户操作难度。

如图2a所示，导航区域201a、201b、201c和201d上分别具有对应于其预定控制指令的标识，从而用于指示用户该导航区域所对应的预定控制指令。以导航区域201a和201d为例，其分别具有向上和向下的箭头，从而指示分别对应于“向上滚动”和“向下滚动”指令。在一些实施例中，一个或多个导航区域可以通过数字或字母编号，用于指示该导航区域所对应的预定控制指令。可以理解，图形化用户界面的设计人员可以根据需要给导航区域选择适合的标识，以便用户直观地了解导航区域对应的控制指令，从而更便于操作。

图形化用户界面200的每个导航区域均对应于一个操作区域，用户可以在这些操作区域进行操作，该操作能够被头戴式显示设备的输入设备所检测。该头戴式显示设备通过其输入设备检测用户在一个操作区域的输入操作，并根据所检测到的输入操作生成与其对应的预定控制指令。用于检测用户输入操作的输入设备可以是能够用于识别用户输入操作的任何设备。

取决于输入设备的不同，操作区域的具体位置也可能有变化。在一些实施例中，该输入设备可以为一个或多个图像传感器，用于采集在一个或多个操作区域的用户手势。当用户佩戴头戴式显示设备时，操作区域大体位于用户视野范围内，与头戴式显示设备所显示的图形化用户界面200存在重叠。这样，用户可以通过观察图形化用户界面200来确定自己的手部是否位于对应的操作区域内，从而采取不同的手势或将手部移动到不同的位置。该头戴式显示设备可以通过识别在一个或多个操作区域的用户手势来生成与其对应的预定控制指令。例如，图像传感器可以是图1所示的深度摄像头模组12。

在一些实施例中，上述一个或多个操作区域可以至少一部分处于图形化用户界面的范围之内，或者可以全部处于图形化用户界面的范围之内。例如，对于采用图像传感器来检测用户手势的实施例中，所检测的一个或多个操作区域可以与图形化用户界面200的一个或多个导航区域分别至少部分地重叠。具体参照图2b，操作区域203a位于图形化用户界面200的主界面区域202的上侧中间位置，对应于导航区域201a，并且与导航区域201a至少部分地重叠。操作区域203b和203c分别位于图形化用户界面200的主界面区域202的上侧两边位置，分别对应于导航区域201b和201c，并分别与其至少部分重叠。操作区域203d位于图形化用户界面200的主界面区域202的下侧，对应于导航区域201d，并与其至少部分重叠。相应的，图像传感器通过检测用户在操作区域203a或203d的手势操作，从而生成上述“向上滚动”和“向下滚动”的预定控制指令。通过检测用户在操作区域203b和203c的手势操作，从而生成上述“返回”和“关闭”的预定控制指令。

在一些实施例中，一个或多个操作区域中的一个操作区域的范围覆盖与其对应的导航区域的范围，并且延伸至所述导航区域之外。例如，操作区域可以完全覆盖导航区域，并且从导航区域向其外周围的区域延伸一定距离，例如至少延伸20％，或者至少延伸30％，或者至少延伸40％，或者至少延伸50％，或者至少延伸100％的长度(以导航区域的对应边长计算)。继续参照图2b，操作区域203b覆盖与其对应的导航区域201b的范围并且延伸到导航区域201b之外。当用户在使用头戴式显示装置时，受到头部晃动和视觉差异等因素的影响，可能导致操作的缺乏精确性，而由于操作区域203b延伸到导航区域201b的范围之外，用户在导航区域201b之外而落入操作区域203b中的输入操作，也可以生成与导航区域201b对应的预定控制指令。具体地，当用户的操作输入在导航区域201b的上侧邻近部分时，图像传感器所检测到的用户输入操作落入操作区域203b中，并仍然可以生成上述“返回”的预定控制指令。这种方式不仅降低了对于用户操作精确性的要求，同时也避免了因操作精度的需求而引入较大的导航区域，兼顾了图形化用户界面200的美观。需要说明的是，虽然在图2b中将操作区域203a-203d表示为虚线框，但是在实际应用中，这些操作区域可能并不被实际显示出来。在一些实施例中，一个或多个操作区域中的每一个操作区域的范围覆盖与其对应的导航区域的范围。可以理解，操作区域向导航区域外的延伸既可以是朝向主显示界面内部的延伸，也可以延伸到图形化用户界面之外。特别地，当采用图像传感器检测用户操作时，检测用户操作的操作区域的范围可以向图形化用户界面之外扩展，这可以通过适当地设计图像传感器的视角范围来实现。

在一些实施例中，对于一个或多个导航区域中相互紧邻的导航区域，与其分别对应的操作区域的范围不相互重叠。具体参照图2b，导航区域201a、201b和201c相邻，而其各自对应的操作区域203a、203b和203c的范围不相互重叠。这种情况下，可以确保用户指向于单个导航区域的输入操作，不容易落入相邻导航区域所对应的操作区域中，从而生成相邻导航区域对应的预定控制指令，或者生成多个预定控制指令，导致误操作或系统错误。具体地，在图2b所示的图形化用户界面中，由于操作区域203a和203b不相互重叠，因此用户指向于导航区域201b的手势操作，不容易误落入操作区域203a中，这样不容易发生用户误操作而生成对应于相邻的导航区域201a的“向上滚动”的预定控制指令。进一步地，不同的操作区域可以在其相邻的边界附近设置一定的间隔，但同时在不相邻的边界处可以向外部延伸，从而增大操作区域的面积和范围，正如图2b所示。

在一些实施例中，一个或多个操作区域中的每一个操作区域的范围可以与其对应的导航区域的范围基本重叠。例如，除了采用图像传感器作为输入设备，头戴式显示设备的输入设备也可以采用触摸板，该触摸板包括一个或多个操作区域，其中每个操作区域对应于图形化用户界面200的一个导航区域，并且与该导航区域的范围基本重叠。通过识别用户在不同操作区域的触碰，系统生成与所述导航区域对应的预定控制指令。触摸板可以是透明的，并且设置为与头戴式显示设备的显示屏重叠。这样，触摸板的各个操作区域可以与显示屏上显示的分别的导航区域相对应。

在上述通过图像传感器或透明触摸板检测操作区域中的输入操作时，由于用户可以直观地观察到输入操作的实际发生位置，因而图形化显示界面上可以不显示光标或类似的操作定位设置。但是在一些情况下，用户无法直观地观察输入操作的发生位置，因而需要在图形化显示界面上显示光标来进行定位。

图4a和4b示出了具有光标404的图形化用户界面400。如图4a和4b所示，用户可以根据光标404的位置来选择或确认输入操作所发生的操作区域，以及输入操作发生的状态及结果等信息。具体地，当光标叠放于图形化用户界面400的某导航区域对应的操作区域的范围内时，用户可以继续通过手势、语音或触摸(例如触摸另外提供的触摸屏)等操作来在该导航区域对应的操作区域中输入操作。

在一些实施例中，导航区域与操作区域基本重叠的设计可以用于需要通过光标定位用户输入操作的位置的场合下，因为用户需要通过观察光标在导航区域中的显示来准确地确定输入操作的实际位置。例如，触摸板可以位于例如图1所示的头戴式显示设备的眼镜架外侧，而非位于显示屏所在的镜框内。因而触摸板可以是不透明的。头戴式显示设备可以检测用户在触摸板上的操作，例如向上或向下滑动，而该操作使得图形化用户界面200上显示的光标相应地向上或向下移动。这样，用户可以通过操作触摸板来将光标移动到预设的导航区域。移动光标至所需的操作区域的输入操作可以进一步地结合触发生成该操作区域对应的控制指令。具体地，在将光标移动到操作区域后，用户再通过点击触摸板的操作来实际触发与操作区域对应的控制指令，或者也可以通过其他输入设备检测到的输入操作来触发控制指令。

在一些实施例中，该头戴式设备的输入设备还可以为运动传感器，用于检测用户的不同动作或姿态，来生成其对应的预定控制指令。运动传感器例如是惯性传感器或视觉感测设备，或者其他类似设备，或上述一种或多种设备的组合。例如，运动传感器可以检测到用户或其身体的局部(例如头部)沿某一方向移动的操作，从而相应在图形化用户界面中移动光标。在将光标移动到指定的操作区域后，也可以通过其他输入设备检测到的用户操作来触发控制指令的生成。例如，该头戴式显示设备的输入设备为声音传感器，通过采集用户的语音来触发光标驻留在的导航区域所对应的控制指令。虽然如上所述的输入设备属于头戴式显示设备的一部分，但在一些实施例中，上述输入设备也可以是与头戴式显示设备适配连接的任何外接设备，例如鼠标、键盘等。这些外接设备既可以通过有线连接方式与头戴式显示设备连接，也可以通过蓝牙、WIFI等无线连接方式连接至该头戴式显示设备。

在另一些实施例中，触摸板可以配合其他输入设备使用。例如，触摸板可以配合运动传感器或者其他类似设备使用。运动传感器可以检测到佩戴头戴式显示设备的用户的头部运动或姿态变化，例如绕某一个或某几个转动轴的转动。根据检测到的头部运动或姿态变化，光标在图形化用户界面200上的移动可以相应变化，例如光标可以由主界面区域移动到导航区域，或者由一个导航区域移动到另一个导航区域，这些导航区域均分别具有相对应的操作区域。在光标移动到用户期待的导航区域后，用户可以点击触摸板。这样，触摸板根据检测到的触摸操作触发生成光标所在导航区域相对应的控制指令。

图3示出了根据本申请一个实施例的头戴式显示设备的图形化用户界面的操作方法300。下面将结合图2a或图2b所示的图形化用户界面200来对图3所示的操作方法300进行详细描述。

如图3所示，在步骤S302中，在头戴式显示设备的显示屏上显示图形化用户界面200，该图形化用户界面200包括显示即时通信应用程序的运行页面的主界面区域202，以及导航区域201a、201b、201c和201d。导航区域201a和导航区域201d对应于控制即时通信显示页面“向上滚动”和“向下滚动”的预定控制指令，导航区域201b和201c对应于控制即时通信显示页面“返回”和“关闭”的预定控制指令。可以理解，本实施例中所述的导航区域的位置和相关联的控制指令仅仅是示例性的。在实际应用中，可以根据操作的实际需要进行设计或修改导航区域的位置和其相关联的控制指令。

在步骤S304中，通过头戴式显示设备的输入设备，检测用户在操作区域203a、203b、203c或203d进行输入操作，该头戴式显示设备的输入设备可以是如上所述的任意一种或多种输入设备。其中操作区域203a、203b、203c或203d能够被该一种或多种输入设备所检测，并且操作区域203a、203b、203c或203d分别对应于导航区域201a、201b、201c和201d。

在步骤S306中，根据上述输入设备所检测到的操作区域中的输入操作生成与其对应的预定控制指令。具体地，当输入设备检测到在操作区域203d中的输入操作时，则根据该检测到的输入操作生成与操作区域203d所对应的导航区域201d相对应的预定控制指令“向下滚动”，这种情况下，主界面区域202所显示的即时通信联系人列表向下滚动，从而使用户可以看到上面未显示的即时通信联系人。

更具体地，当该头戴式显示设备的输入设备为图像传感器，并且操作区域203d与导航区域201d相互重叠时，用户可以通过使用手指直接点击视线中的导航区域201d，或者通过简单的特定手势操作将图形化用户界面200中的光标移动到导航区域201d中并点击该光标，来完成在操作区域203d中输入操作。图像传感器识别用户的手势，从而检测到用户在操作区域203d的输入操作。随后，根据上述的输入操作，生成与操作区域203d所对应的导航区域201d相对应的“向下滚动”预定控制指令，从而将主界面区域202所显示的即时通信联系人列表向下滚动。

在另一些实施例中，光标的移动也可以通过其他输入设备来检测其他类型的输入操作来实现。例如，可以通过运动传感器或者其他类似设备检测到佩戴头戴式显示设备的用户的头部运动或姿态变化，例如绕某一个或某几个转动轴的转动。根据检测到的头部运动或姿态变化，光标可以在图形化用户界面200上相应地移动位置。之后，可以继续检测用户手指点击光标所在的导航区域的动作来完成输入操作，从而生成相应的控制指令；又或者通过检测特定的手势操作来完成输入操作，从而生成相应的控制指令。

由于不同的应用程序或显示内容所需的导航区域和操作区域的形式不一定相同，因此在一些实施例中，该方法300在步骤302和步骤304之前，还可以包括额外的步骤(图中未示出)。具体地，在接收应用程序运行指令后或页面内容显示指令后，根据指令要求运行的应用程序或显示页面内容的信息，选择相匹配的导航区域和操作区域。比如，在接到运行一些需要占据显示屏或界面的全部区域的沉浸型应用程序时，可以选择之前所述的隐藏式或半透明浮动式的导航区域。

通过上述的方法，用户可以通过具有导航区域的图形化用户界面，快速实现基本的操作，而无需进行额外的软件功能设计或硬件设置，有效的降低了头戴式显示设备的成本，并且增加了设备可适配的应用程序的范围。此外，由于该操作方式相对简单，用户学习成本低，可以有效提高该设备的用户体验。

正如前述，在一些实施例中，在图形化用户界面上显示光标有助于用户确认自己的输入操作。光标在图形化用户界面上的定位可以通过多种方式来实现。在一些实施例中，光标可以根据图像传感器检测到的用户的操作手势来定位。图像传感器的检测范围通常与显示屏的显示范围大体对应。这样，当用户的手部在图像传感器检测范围内移动时，其能够通过显示屏观察到其手部的移动。相应地，头戴式显示设备的控制器可以运行一定的图像识别算法，识别用户的操作手势中的一些特征识别点，例如手指的关节点(包括指尖)或者手掌心。这样，光标可以被进一步地被设置为跟随特征识别点移动，也即由特征识别点定位。在另一些例子中，光标也可以通过其他方式来定位。例如，可选地，当识别出操作手势为指向性手势时(一个或两个手指伸出，一般默认食指会出现)，可以使用食指指尖定位光标。换言之，特征识别点可以是用户食指的第一指关节。当用户观察到其食指第一指关节在显示屏中移动时，光标也随之移动，这种光标定位方式非常直观、方便，并且符合人们的操作和使用习惯。替换地，当识别为非指向性手势时(多于两根手指伸出)，则以手掌心作为特征识别点来定位光标。

在一些实施例中，当头戴式显示设备对应的输入设备为触摸板时，触摸板的触摸区域可以整体对应于图形化用户界面的整体或部分显示区域，当用户的手指在触摸区域中划动时，通过触摸板上的传感器，图形化用户界面上所显示的光标也相应的发生移动。

在另一些实施例中，光标可以被固定地显示在图形化用户界面中，诸如固定显示于显示屏中央，且大体对应于用户视线的中心线。当用户的头部左右或上下转动时，图形化用户界面被显示出来的部分可能会变化(用户视觉感受是其视线在扫描图形化用户界面)，从而使得光标相对于图形化用户界面所显示的内容运动。这样，用户即可根据实际需要，通过用户头部的运动，将光标定位于图形化用户界面所显示整体页面的某个特定区域或位置。

在一些实施例中，当头戴式显示设备的输入设备检测到用户在一个操作区域的输入操作时，如果光标处于该操作区域中，则根据所检测到的输入操作生成与所检测到的输入操作对应的预定控制指令。而如果光标未处于其中检测到输入操作的操作区域时，则先将所述光标移动到所述操作区域对应的导航区域，也即将光标移动到检测到的输入操作所在的操作区域中的某一位置。具体参照图2b，在一些实施例中，当头戴式显示设备的输入设备检测到操作区域203a范围内的输入操作时，其首先判断图形显示界面200上的光标(图中未示出)的位置，如果该光标处于该操作区域203a的范围内，则相应生成与操作区域203a相对应的“向上滚动”的预定控制指令。如果检测到该光标处于该操作区域203a的范围之外，则用户需要将光标移动到操作区域203a所对应的导航区域201a处，然后才会生成与操作区域203a相对应的“向上滚动”的预定控制指令。这种通过光标位置的预判定，可以有效提高操作的精确性，避免误操作的发生。

图形化用户界面400中的光标404可以具有不同的显示形式，通过光标404的显示形式来指示光标404所处于的区域，具体地，例如，确认光标404是否处于某个导航区域或操作区域中。具体如图4a和图4b所示，当图形化用户界面400中的光标404位于导航区域401a或其所对应的操作区域(图中未示出)时，其显示形式为较大圆环(如图4a所示)。用户在观察到被显示为较大圆环的光标404时，其会了解到可以进行点击操作。相反，当光标处于主界面区域402而不是导航区域或操作区域中时，光标显示形式为实心小圆(如图4b所示)。在此情况下，由于光标的位置不属于任一导航区域或操作区域中，因此用户即使进行了一些操作，例如点击操作，也不能够产生对应的控制指令。如果需要进行操作，用户应将光标移动到希望进行操作的操作区域(或者是该操作区域对应的导航区域)。这样，用户再次点击光标所在的操作区域后，即可产生对应的控制指令。这种设置有助于避免误操作。

在一些实施例中，还可以通过光标404的不同显示形式来表示输入操作发生的状态和结果等，诸如输入操作的开始、进行中和结束。在另一些实施例中，还可以通过光标404的显示形式的变化来向用户指示预定控制指令的状态，比如，当根据检测到的输入操作生成预定控制指令的同时或之后，通过更改光标的显示形式以向用户提示预定控制指令的生成。具体如图5a至5d所示，光标504处于导航区域501a所对应的操作区域中。当用户未输入操作时，光标504为较大圆环(如图5a所示)。而当检测到用户在该操作区域503a的输入操作正在进行中时，比如用户正做手势、正按压触摸区域或正发出语音命令时等等，光标504变为较小圆环(如图5b所示)。此时，用户可以通过中断操作，来中止在该操作区域的输入操作。当检测到用户在该操作区域503a的输入操作完成时，光标504显示为实心小圆(如图5c所示)，从而指示用户输入操作已经完成，与操作区域503a相对应的预定控制指令“向上滚动”已生成。在完成上述输入操作之后，光标504的形状恢复为较大圆环(如图5d所示)。动态显示的光标有助于用户了解操作进度。

在一些实施例中，图形化用户界面还包括信息显示层，其被固定地显示在显示屏的预定位置，并且可选地，其还可以重叠于主界面区域和/或辅助界面区域上。信息显示层可用于显示一些系统参数，或者其他需要被长期显示的信息，例如当前时间、设备运行状态参数等。

在一些实施例中，图形化用户界面还可以包括虚拟内容层。该虚拟内容层可以包括通过图像传感器或其他方式获取的显示内容。例如，可以通过GPS定位装置确定用户的位置，然后，头戴式显示设备可以基于所确定的用户位置获取对应的图像，例如反映该位置处实际环境或背景的图像，并且将其显示在显示屏上。虚拟内容层显示内容的显示类别对于显示距离没有限制，完全取决于所依附的信息来源。例如，如果扫描一张图片，则在图片上叠加出的虚拟信息跟随真实图片的远近变化而变化。再例如，如果显示真实的地理信息坐标，则显示距离服从真实的地理信息。但是，由于人眼感知的特点，显示远于一定距离后，人眼对于距离的远近感知不会很明显。

那些本技术领域的一般技术人员可以通过研究说明书、公开的内容及附图和所附的权利要求书，理解和实施对披露的实施方式的其他改变。在权利要求中，措词“包括”不排除其他的元素和步骤，并且措辞“一”、“一个”不排除复数。在本申请的实际应用中，一个零件可能执行权利要求中所引用的多个技术特征的功能。权利要求中的任何附图标记不应理解为对范围的限制。

Claims (12)

1.一种头戴式显示设备的用户界面的操作方法，其特征在于，包括：

在所述头戴式显示设备的显示屏上显示图形化用户界面，所述图形化用户界面包括一个或多个导航区域，其中每个导航区域对应于一个用于控制所述头戴式显示设备运行的预定控制指令；

由所述头戴式显示设备的输入设备检测用户在一个操作区域的输入操作，其中所述操作区域是所述输入设备能够检测的一个或多个操作区域中的一个，并且所述一个或多个操作区域中的每个操作区域对应于所述图形化用户界面中的一个导航区域；

根据所检测到的输入操作生成与其对应的预定控制指令。

2.根据权利要求1所述的操作方法，其特征在于，所述输入设备是图像传感器，所述图像传感器检测的一个或多个操作区域与所述图形化用户界面的一个或多个导航区域分别至少部分地重叠。

3.根据权利要求2所述的操作方法，其特征在于，所述一个或多个操作区域中的一个操作区域的范围覆盖与其对应的导航区域的范围，并且延伸至所述导航区域之外。

4.根据权利要求3所述的操作方法，其特征在于，对于所述一个或多个导航区域中相互紧邻的导航区域，与其分别对应的操作区域的范围不相互重叠。

5.根据权利要求1所述的操作方法，其特征在于，所述图形化用户界面包括光标，所述根据所检测到的输入操作生成与其对应的预定控制指令的步骤还包括：

检测所述光标是否处于在其中检测到输入操作的操作区域；

如果所述光标处于在其中检测到输入操作的操作区域，根据所检测到的输入操作生成与其对应的预定控制指令；以及

如果所述光标未处于其中检测到输入操作的操作区域，将所述光标移动到所述操作区域对应的导航区域，并根据所检测到的输入操作生成与其对应的预定控制指令。

6.根据权利要求1所述的操作方法，其特征在于，所述图形化用户界面包括光标，所述在所述头戴式显示设备的显示屏上显示图形化用户界面的步骤还包括：

以不同的显示形式显示处于导航区域和处于图形化用户界面的其他区域的光标。

7.根据权利要求6所述的操作方法，其特征在于，所述根据所检测到的输入操作生成与其对应的预定控制指令的步骤还包括：

在生成所述预定控制指令的同时或之后，更改所述光标的显示形式以向用户提示所述预定控制指令的生成。

8.根据权利要求1所述的操作方法，其特征在于，所述预定控制指令包括所述图形化用户界面中显示内容的滚动，或者所述图形化用户界面中应用程序的关闭或返回。

9.根据权利要求1所述的操作方法，其特征在于，所述一个或多个导航区域包括位于所述图形化用户界面的上侧或下侧的导航区域，其分别对应于使得所述图形化用户界面中显示内容的向上或向下滚动的预定控制指令。

10.根据权利要求1所述的操作方法，其特征在于，所述一个或多个导航区域包括位于所述图形化用户界面的左侧或右侧的导航区域，其分别对应于使得所述图形化用户界面中显示内容的向左或向右滚动的预定控制指令。

11.根据权利要求1所述的操作方法，其特征在于，所述头戴式显示设备是增强现实技术眼镜或虚拟现实技术眼镜。

12.根据权利要求1所述的操作方法，其特征在于，所述输入设备包括触摸板、语音输入设备或外部输入设备。