CN108073432B - 一种头戴式显示设备的用户界面显示方法 - Google Patents

Abstract

本申请公开了一种头戴式显示设备的用户界面显示方法。该方法包括：提供图形化用户界面，该图形化用户界面包括主界面区域和辅助界面区域；将图形化用户界面的至少一部分显示于头戴式显示设备的显示屏上，从而对于佩戴头戴式显示设备的用户，其观察到所显示的图形化用户界面的至少一部分与其相距第一预定距离；接收用户界面移动指令；以及响应于用户界面移动指令，调整图形化用户界面在显示屏上的显示，从而对于该用户，其观察到所显示的图形化用户界面绕其转动。

Description

一种头戴式显示设备的用户界面显示方法

技术领域

本申请涉及可穿戴技术领域，更具体地，涉及一种头戴式显示设备的用户界面显示方法。

背景技术

随着计算机和图像处理技术的快速发展，各种头戴式显示设备被开发出来，并且应用于很多应用场合，例如军事、导航、电子游戏、娱乐、传媒等。增强现实(AugmentedReality，AR)眼镜是一种典型的头戴式显示设备，其能够将真实世界信息和虚拟世界信息“无缝”集成，并且显示给使用者，从而达到超越现实的感官体验。

然而，受限于有限的显示屏面积，现有的AR眼镜的用户界面显示不友好，不便于使用者的操作，因而影响了使用感受。

发明内容

本申请的一个目的在于提供一种用于头戴式显示设备的用户界面显示方法，改善近眼显示方式下界面显示和人机交互效果。

在一个实施例中，提供了一种头戴式显示设备的用户界面显示方法。该方法包括：提供图形化用户界面，该图形化用户界面包括主界面区域和辅助界面区域；将图形化用户界面的至少一部分显示于头戴式显示设备的显示屏上，从而对于佩戴头戴式显示设备的用户，其观察到所显示的图形化用户界面的至少一部分与其相距第一预定距离；接收用户界面移动指令；以及响应于用户界面移动指令，调整图形化用户界面在显示屏上的显示，从而对于该用户，其观察到所显示的图形化用户界面绕其转动。

以上为本申请的概述，可能有简化、概括和省略细节的情况，因此本领域的技术人员应该认识到，该部分仅是示例说明性的，而不旨在以任何方式限定本申请范围。本概述部分既非旨在确定所要求保护主题的关键特征或必要特征，也非旨在用作为确定所要求保护主题的范围的辅助手段。

附图说明

通过下面说明书和所附的权利要求书并与附图结合，将会更加充分地清楚理解本申请内容的上述和其他特征。可以理解，这些附图仅描绘了本申请内容的若干实施方式，因此不应认为是对本申请内容范围的限定。通过采用附图，本申请内容将会得到更加明确和详细地说明。

图1a示出了根据本申请一个实施例的头戴式显示设备的示意图；

图1b是根据本申请一个实施例的头戴式显示设备的图形化用户界面的示意图；

图1c是根据本申请一个实施例的头戴式显示设备的图形化用户界面的示意图；

图2示出了不同的显示深度的示例；

图3示出了从用户角度观察图形化用户界面的一个实施例；

图4示出了根据本申请一个实施例的用户界面显示方法；

图5示出了根据本申请另一个实施例的用户界面显示方法；

图6示出了根据本申请又一个实施例的用户界面显示方法；

图7中列出了一些可以使用的操作手势。

具体实施方式

在下面的详细描述中，参考了构成其一部分的附图。在附图中，类似的符号通常表示类似的组成部分，除非上下文另有说明。详细描述、附图和权利要求书中描述的说明性实施方式并非旨在限定。在不偏离本申请的主题的精神或范围的情况下，可以采用其他实施方式，并且可以做出其他变化。可以理解，可以对本申请中一般性描述的、在附图中图解说明的本申请内容的各个方面进行多种不同构成的配置、替换、组合，设计，而所有这些都明确地构成本申请内容的一部分。

图1a示出了根据本申请一个实施例的头戴式显示设备10的示意图。

如图1a所示，该头戴式显示设备10包括眼镜架1、眼镜腿2、弹性夹片3以及软性支撑层4。借助于这些机械构件，头戴式显示设备10能够被稳定地佩戴于用户的头部。其中，眼镜腿2安装在眼镜架1的两侧，眼镜腿2的末端朝内侧弯曲形成第一圆弧部，夹持机构包括弹性夹片3，弹性夹片3反向延伸的设置在眼镜腿2内侧，弹性夹片3的末端朝内侧弯曲形成第二圆弧部，其中，弹性夹片3由不锈钢弹片制成，其能够加大眼镜腿2的夹持力度，从而提高夹持稳定性。软性支撑层4可以被设置于眼镜腿的圆弧部内侧，其可以为橡胶层或/和泡沫层，优选为橡胶层。通过设置软性支撑层4，使贴合与头部位置的压迫感降低，摩擦力增加，使得佩戴更稳固、更舒适，提高了用户的体验度。

眼镜腿4和眼镜架2可以通过弹性连接件A相互连接。

除了上述机械构件之外，头戴式显示设备10还包括设置于眼镜架1上的遮光镜片11、设置于眼镜架1中间部的深度摄像头模组12、设置于眼镜架1两侧下端的光机13。深度摄像头模组12、光机13与控制电路板耦接，并且光机13与成像镜片(位于遮光镜片11的后侧)光学连接，从而光机13输出的光学信号能够在成像镜片(图中未示出)中成像。可以理解，对于佩戴头戴式显示设备10的用户来说，该成像镜片构成了显示屏，其上可以观察到头戴式显示设备10的显示内容，例如图形化用户界面等。成像镜片可以是例如一个半透半反射镜/膜，或者是全息衍射波导光栅，或者其他适合的成像元件。可以理解，本申请不限制头戴式显示设备的成像原理。

对于图1所示的头戴式显示设备10，其是增强现实技术眼镜，用户可以观察到成像镜片(显示屏)上的内容，并且同时透过成像镜片和遮光镜片11观察到现实环境中的实体物体、背景等。可以理解，在一些替代的实施例中，头戴式显示设备也可以是虚拟现实技术眼镜，用户不能够观察到现实环境中的实体物体。

本申请的发明人发现，对于头戴式显示设备而言，其内容显示通常会发生在现实场景或虚拟场景中，因此供用户观察并交互的图形化用户界面的可显示区域通常会远远大于桌面设备以及移动设备。此外，现有的头戴式显示设备缺少可精确定位的输入设备，用户输入指令或输入其他信息时需要较多的操作，如果图形化用户界面的操作层级或步骤过多，会显著影响交互和使用体验。

针对头戴式显示设备的上述特点，本申请的发明人提供了一种界面层级较少但单个层级中显示内容较为丰富的图形化用户界面，用户可以通过较为简单的操作来控制头戴式显示设备的运行，从而大大提高了操作效率。

图1b是根据本申请一个实施例的头戴式显示设备的图形化用户界面的示意图。其中，该头戴式显示设备可以是增强现实技术眼镜或虚拟现实技术眼镜，其均配备有显示屏，例如图1a所示的实施例中描述的成像镜片。当用户佩戴头戴式显示设备时，显示屏基本位于用户的视野中，从而用户可以观察到显示屏以及其中显示的图形化用户界面和其他可视化内容。

此外，头戴式显示设备通常还具有一个或多个图像传感器，其用于采集用户手势，从而头戴式显示设备可以通过识别不同的用户手势来确定用户将要进行的操作和输入的指令。该图像传感器例如是图1a所示的深度摄像头模组。对于一些虚拟现实或增强现实技术眼镜，图像传感器还可以采集用户所在环境的图像，从而可以将所采集的环境图像与图形化用户界面或其他可视化内容融合地显示在显示屏中。

如图1b所述，该图形化用户界面100包括主界面区域102和辅助界面区域104。其中，主界面区域102中包括一个或多个主界面图标106，其中每个主界面图标106对应于一个应用程序。例如，主界面图标106可以是天气预报应用程序的图标，也可以是电子邮件应用程序的图标，或者其他应用程序的图标。在一些实施例中，每个主界面图标的大小可以由应用程序的设计者确定，或者可以由用户设定。相应地，用户可以在主界面区域中根据自己需要设定主界面图标的排列和位置，从而使得主界面区域能够被充分利用。

在一些实施例中，主界面图标106中的一个或多个可以是多层级图标。具体地，每个多层级图标都可以包括多个显示层级，以分别显示不同的对象和内容。例如，多层级图标可以是两层级图标，其包括用于显示图形或模型的图形层，以及用于显示文字、图标、字符或类似信息的信息层。再例如，多层级图标也可以是三层级图标，除了前述的图形层和信息层之外，还可以包括背景层，其用于显示背景图像，从而提供另两个层级信息的可见性或者增强视觉效果。可以理解，由于在主界面图标中设置了信息层，因此应用程序的内部数据、信息或状态可以通过该信息层显示出来，从而用户无需在前台运行主界面图标对应的应用程序即可了解该应用程序的信息。这种设计大大方便了用户的使用，提高了显示效率。例如，对于采用多层级图标形式的邮件应用程序，当接收到新的电子邮件时，该电子邮件的主题、发件人、发件时间等信息可以被提取出来，并且通过信息层显示在显示屏上。这样，用户在阅读了这些预先显示的信息后，即可决定是否需要打开电子邮件程序来阅读邮件正文。

在图1b所示的图形化用户界面中，主界面区域102还包括被表示为“+”的光标108。用户可以根据光标108所处的位置来选择主界面区域中的应用程序。例如，当光标叠放于某一应用程序的上方时，用户可以通过手势、语音或触摸(例如触摸另外提供的触摸屏)来输入指令，从而启动该应用程序。

在一些实施例中，光标108可以被固定地显示在图形化用户界面100中，例如被固定地显示在被显示屏所显示出来的图形化用户界面的中心位置，其大体位于显示屏中心且对应于用户视线的中心线。当用户的头部左右或上下转动时，图形化用户界面100被显示出来的部分可能会变化(用户视觉感受是其视线在扫描图形化用户界面100)，从而使得光标108相对于图形化用户界面100上的应用程序图标移动。这样，用户即可根据实际需要将光标108定位于其所需要的应用程序，进而选择打开该应用程序。

在另一些例子中，光标也可以通过其他方式来定位。例如，光标可以根据图像传感器检测到的用户的操作手势来定位。图像传感器的检测范围通常与显示屏的显示范围大体对应。这样，当用户的手部在图像传感器检测范围内移动时，其能够通过显示屏观察到其手部的移动。相应地，头戴式显示设备的控制器可以运行一定的图像识别算法，识别用户的操作手势中的一些特征识别点，例如手指的关节点(包括指尖)或者手掌心。这样，光标可以被进一步地被设置为跟随特征识别点移动，也即由特征识别点定位。

可选地，当识别出操作手势为指向性手势时(两个或少于两个手指伸出，一般默认食指会出现)，可以使用食指指尖定位光标。换言之，特征识别点可以是用户食指的第一指关节。当用户观察到其食指第一指关节在显示屏中移动时，光标也随之移动，这种光标定位方式非常直观、方便，并且符合人们的操作和使用习惯。替换地，当识别为非指向性手势时(多于两根手指伸出)，则以手掌心作为特征识别点来定位光标。

可以理解，上述的两种光标定位方式可以综合地使用。例如，当图像传感器未检测到用户的操作手势时，光标被固定地显示在被显示的图形化用户界面的预定位置；而当检测到操作手势时，则可以使用操作手势中的特征识别点定位光标在图形化用户界面中的位置。

仍参考图1b所示，辅助界面区域104与主界面区域102相邻，并且从主界面区域102的右侧水平延伸出来。在一些实施例中，辅助界面区域104大体与主界面区域102等高。辅助界面区域104用于扩展图形化用户界面100的面积，从而允许其上排列更多的可视化元素。在一些实施例中，辅助界面区域104用于排列一个或多个应用程序图标。这些应用程序可以是未被运行的应用程序，也可以是正在运行的应用程序。在图1b中，辅助界面区域104被显示为包括2行、5列的图标阵列，但是可以理解，这仅仅作为示例。例如应用程序图标也可以排列为1行、3行、4行或更多行。在一些实施例中，辅助界面区域104的长度取决于用户或头戴式显示设备设置或确定的可以被包括在图形化用户界面中的应用程序图标的数量。例如，当图标阵列为2行排列时，如果一共包含4个图标，则辅助界面区域104被显示为2列，但如果一共包含8个图标，则辅助界面区域104被显示为4列。换言之，辅助界面区域104的长度可以随应用程序图标数量的增加而延长，或者随数量减少而缩短。

在一些实施例中，辅助界面区域104可以始终存在。在另一些实施例中，辅助界面区域104也可以根据一些用户操作指令而展开或折叠。例如在图1a中，在主界面102的右侧边缘设置有展开/收缩控件110，用户可以点击该控件110来使得辅助界面区域104在展开状态和收缩状态之间切换。当处于收缩状态时，辅助界面区域104被从图形化用户界面中隐藏，因而即使辅助界面区域104已经处于显示屏的显示范围内，该区域也不会被显示。

与主界面区域102类似，辅助界面区域104中也可以具有光标。用户可以借助光标进行定位，从而选取所需的应用程序，或者进行其他适合的操作。

图1c示出了根据本申请另一实施例的头戴式显示设备的图形化用户界面150的示意图。

如图1c所示，除了图1b所示的主界面区域102和辅助界面区域104，该图形化用户界面150还包括运行程序界面区域112。在图1b中，该运行程序界面区域112处于主界面区域102和辅助界面区域104之间，但是可以理解，在一些例子中，运行程序界面区域112也可以位于其他位置，并且可以与主界面区域102和辅助界面区域104位于不同的显示深度。在此所述的显示深度是指，对于佩戴头戴式显示设备的用户来说，其观察到的所显示的界面与其之间的距离。

运行程序界面区域112用于显示部分正在运行的窗口型应用程序的界面。通常来说，窗口型应用程序，例如天气预报应用程序、音乐播放器应用程序、闹钟应用程序或者记事本应用程序，其不需要占据太多的显示面积，因此可以以窗口形式显示在显示屏中。在图1c所示的示例中，运行程序界面区域112包括一个正在运行的窗口型应用程序，其例如是电影播放器；但是在一些其他的例子，运行程序界面区域112可以同时显示多个窗口型应用程序。

在一些实施例中，运行程序界面区域112可以随着正在运行的应用程序的种类、数量的变化而变化。例如，当头戴式显示设备当前未在前台运行应用程序时，运行程序界面区域112可以被隐藏，也即如图1b所示。然而，当用户打开一个窗口型应用程序，例如通过点击辅助界面区域中的一个应用程序图标来启动该应用程序时，运行程序界面区域112可以被展开，并且其上出现实时运行的该窗口型应用程序，以供用户观察和使用。进一步地，当用户又打开另一窗口型应用程序时，运行程序界面区域112可以增加该新打开的窗口型应用程序的显示(例如，这两个应用程序的界面不会充满运行程序界面区域112；或者这两个应用程序的界面可以部分重叠，以避免充满运行程序界面区域112)，或者替代地，新打开的窗口型应用程序可以取代之前打开的窗口型应用程序出现在运行程序界面区域112中。

在一些实施例中，运行程序界面区域112可以与主界面区域102和辅助界面区域104同时出现。在另一些实施例中，运行程序界面区域112可以不与另两个区域同时出现。例如，当运行程序界面区域112出现后，主界面区域102可以被隐藏。隐藏后的主界面区域102即使处于显示屏的显示范围内，也不会被显示。进一步地，用户可以通过提供另外的主界面恢复指令来恢复隐藏后的主界面区域，从而使得其能够被重新显示于显示屏上。可选地，重新出现的主界面区域可以与运行程序界面不发生重叠，但是也可以至少部分地重叠以减小整个图形化用户界面的横向长度。

可以理解，出于显示效果的考虑，有一些应用程序不属于窗口型应用程序，其在显示时往往需要占据显示屏或界面的全部区域，例如一些游戏程序。这些应用程序通常被称为沉浸型应用程序。对于这些应用程序，当其被启动后，例如通过点击应用程序图标来启动后，图形化用户界面的其他全部界面均被隐藏，而仅保留该应用程序的用户界面。

正如前述，在一些情况下，运行程序界面区域112可以具有与图形化用户界面150的其他区域具有不同的显示深度。图2示出了不同的显示深度的示例。如图2所示，对于用户来说，其观察到的第一立体区域202与其相距第一距离，该第一距离例如为0.5至1.0米；此外，其还观察到第二立体区域204与其相距第二距离，该第二距离比第一距离远，例如为1.0至2.0米(不包括1.0米)。这两个立体区域202与204看上去像是以用户为圆心的两个同轴圆柱体。当用户头部水平转动时，第一立体区域202和第二立体区域204中的每个圆柱面与用户的距离基本上不变。

在一些实施例中，当图1b和1c所示的图形化用户界面100和150被显示在显示屏上时，从用户的角度观察，这些用户界面被贴放于立体区域的一个圆柱面或多个圆柱面上。在一些例子中，主界面区域和辅助界面区域被设置在离用户较近的第一立体区域202，而运行程序界面区域则被设置在离用户较远的第二立体区域204。

在一些实施例中，也可以利用图像传感器来检测用户所处的外部环境，以确定外部环境中是否存在一明显的实体平面，例如墙面、桌面等。这些实体平面的面积通常超过预定显示面积(例如，超过100平方厘米)，或者其面积相对于整个显示屏检测范围的显示比例超过预定显示比例(例如超过10％)。当确定存在上述实体平面时，头戴式显示设备可以将该图形化用户界面投影地显示在该实体平面上。这样，图形化用户界面与用户的距离大体与该实体平面与用户的距离相等。可以理解，在一些情况下，实体平面可能与显示屏并不平行，因而其不同区域距离显示屏或用户的距离并不相等。上述实体平面与用户的距离可以是实体平面中心与用户之间的距离，或者实体平面不同区域与用户之间距离的平均值。

图3示出了从用户角度观察图形化用户界面的一个实施例。在图3所示的实施例中，图形化用户界面的所有区域均被设置于以用户为轴的同一圆柱面上，沿水平方向排列，并且大体具有相等的高度。

需要说明的是，图1b和图1c所示的图形化用户界面均是在理想状态下(也即显示屏的分辨率和大小足够高的情况下)，用户可以观察到视图，也即图形化用户界面100的主界面区域102和辅助界面区域104被同时显示在显示屏中。但是，对于头戴式显示设备来说，通常其显示屏具有的分辨率和大小是有限的，当两个界面区域102和104中均排列了较多应用程序图标的情况下，显示屏有可能不能够将这两个界面区域的全部内容一同显示。相应地，为了能够根据用户需要显示图形化用户界面，头戴式显示设备的系统提供了用户界面移动指令。例如，当用户输入用户界面移动指令时，图形化用户界面100可以在显示屏的显示范围内移动，从而使得图形化用户界面100的不同区域被显示。

如图3所示，图形化用户界面从左至右依次排列了主界面区域302、运行程序界面区域312以及辅助界面区域304。其中，用户视线朝向主界面区域302，其引导头戴式显示设备的显示屏朝向该主界面区域302，因而主界面区域302会被显示在显示屏中，而显示屏未正对的运行程序界面区域312与辅助界面区域304不会被显示在显示屏中(在图中以虚线显示)。

如果用户视线转向运行程序界面区域312，头戴式显示设备上的运动传感器(例如陀螺仪)能够检测到用户头部的水平转动，从而生成用户界面移动指令。这样，响应于该指令，运行程序界面区域312可以被显示在显示屏中(假设用户打开了某个窗口型应用程序，从而激活该区域312)，而其他两个区域不会被显示。类似地，如果用户视线进一步地转向辅助界面区域304，则显示屏中会显示该辅助界面区域304。可以理解，在一些实施例中，不同区域的切换可以是渐变地(在切换时可以同时显示两个相邻区域的交届部分)，或者也可以是突变的(在切换时仅会显示一个区域)。

在一些实施例中，用户可以通过其他方式输入或提供用户界面移动指令。例如，用户可以通过操作手势来提供用户界面移动指令。具体地，用户可以将手部放置在头戴式显示设备的图像传感器的检测区域，并且水平地侧向移动其手部，例如保持五指伸开的状态水平侧向移动手掌。当手掌向左移动时，图形化用户界面整体上看上去会被手掌拖拽而向左移动或滚动，而相对于显示屏而言，图形化用户界面在其中被显示的区域则向右移动，例如从主界面区域移动到辅助界面区域。类似地，当手掌向右移动时，图形化用户界面的显示区域可以向左移动；当手掌向上移动时，图形化用户界面的显示区域可以向下移动；当手掌向下移动时，图形化用户界面的显示区域可以向上移动。

在一些实施例中，图形化用户界面还包括信息显示层，其被固定地显示在显示屏的预定位置，并且可选地，其还可以重叠于主界面区域和/或辅助界面区域上。信息显示层可于显示一些系统参数，或者其他需要被长期显示的信息，例如当前时间、设备运行状态参数等。

在一些实施例中，图形化用户界面还可以包括虚拟内容层。该虚拟内容层可以包括通过图像传感器或其他方式获取的显示内容。例如，可以通过GPS定位装置确定用户的位置，然后，头戴式显示设备可以基于所确定的用户位置获取对应的图像，例如反映该位置处实际环境或背景的图像，并且将其显示在显示屏上。虚拟内容层显示内容的显示类别对于显示距离没有限制，完全取决于所依附的信息来源。例如，如果扫描一张图片，则在图片上叠加出的虚拟信息跟随真实图片的远近变化而变化。再例如，如果显示真实的地理信息坐标，则显示距离服从真实的地理信息。但是，由于人眼感知的特点，显示远于一定距离后，人眼对于距离的远近感知不会很明显。

在实际应用中，用户可以通过各种输入接口对头戴式显示设备进行操作，例如利用操作手势(通过图像传感器)、语音(通过麦克风)或触摸(通过触摸板)来进行操作。这些操作可以使得图形化用户界面的显示发生变化，从而满足用户的需要。

图4示出了根据本申请一个实施例的用户界面显示方法400。该方法400可以对图1b或图1c所示的图形化用户界面进行操作。

如图4所示，在步骤S402中，提供图形化用户界面，该图形化用户界面包括主界面区域和辅助界面区域；在步骤S404中，将图形化用户界面的至少一部分显示于头戴式显示设备的显示屏上，从而对于佩戴头戴式显示设备的用户，其观察到所显示的图形化用户界面的至少一部分与其相距第一预定距离；在步骤S406中，接收用户界面移动指令；以及在步骤S408中，响应于用户界面移动指令，调整图形化用户界面在显示屏上的显示，从而对于该用户，其观察到所显示的图形化用户界面绕其转动。

特别地，在一些实施例中，该方法400还包括步骤S410，接收应用程序运行指令；以及步骤S412，响应于应用程序运行指令，将运行程序界面区域显示于头戴式显示设备的显示屏上，从而对于用户，其观察到所显示的运行程序界面区域与其相距第二预定距离。可选地，响应于应用程序运行指令，可以在显示屏上隐藏主界面区域。其中，应用程序运行指令可以是用户单击了某个应用程序的图标。该单击操作可以例如是用户的食指指尖与拇指指尖接触后分开，或者是用户的食指指尖沿视线方向向前移动。

进一步地，头戴式显示设备还可以接收主界面恢复指令；从而其响应于该主界面恢复指令，重新将主界面区域显示于所述显示屏上，从而主界面区域与运行程序界面区域至少部分地重叠。例如，该主界面恢复指令可以通过手掌回推手势来生成。

图5示出了根据本申请另一实施例的用户界面显示方法500。该方法500可以对图1b或图1c所示的图形化用户界面进行操作。

如图5所示，在步骤S502中，提供图形化用户界面，该图形化用户界面包括主界面区域、辅助界面区域和运行程序界面区域；在步骤S504中，将主界面区域和辅助界面区域的至少一部分显示于头戴式显示设备的显示屏上，从而对于佩戴头戴式显示设备的用户，其观察到所显示的主界面区域和辅助界面区域的至少一部分与其相距第一预定距离；在步骤S506中，接收应用程序运行指令；以及在步骤S508中，响应于应用程序运行指令，将运行程序界面区域显示于头戴式显示设备的显示屏上，从而对于用户，其观察到所显示的运行程序界面区域与其相距第二预定距离。可选地，方法500还包括步骤S510，响应于应用程序运行指令，在显示屏上隐藏主界面区域。

图6示出了根据本申请又一实施例的用户界面显示方法600。该方法600可以对图1b或图1c所示的图形化用户界面进行操作。

如图6所示，在步骤S602，在头戴式显示设备的显示屏上显示图形化用户界面，其中图形化用户界面包括光标；在步骤S604中，利用头戴式显示设备的图像传感器检测佩戴头戴式显示设备的用户的操作手势；以及在步骤S606中，当未检测到操作手势时，光标被固定地显示在被显示的图形化用户界面的预定位置；或者当检测到操作手势时，使用操作手势中的特征识别点定位光标在所述图形化用户界面中的位置。

在一些实施例中所述操作手势为指向性手势，所述特征识别点为伸出的一根手指的指关节点。在一些实施例中，所述伸出的手指的指关节点为食指的第一指关节点。在一些实施例中，所述操作手势为非指向性手势，所述特征识别点为手掌心。在一些实施例中，所述预定位置为所述显示屏的中心位置。

可以理解，用户可以以各种手势来操作图形化用户界面。图7中列出了一些可以使用的操作手势，以及其所对应的指令。其中，Z方向大体与用户视线方向平行，而XY平面则大体与用户的视线方向垂直。可以理解，这些操作手势仅仅是示例性的，不应作为对本申请的限制。

如图7所示，可以提供两种手势作为点击手势。其中，点击手势1为食指指尖与拇指指尖接触后分开，而点击手势2为食指在Z轴方向上向前移动，当检测到这些手势后，头戴式显示设备可以确定用户期望进行点击光标所在位置的应用程序的图标，从而选定或打开该应用程序。

还提供两种手势来作为拖拽手势，分别为点击拖拽手势和抓-拖拽手势。其中，点击拖拽手势为食指指尖与拇指指尖接触，但是不释放(不分开)而继续进行拖拽(例如沿某一方向或沿某一路径移动)，这样，被拖拽的图标可以被在图形化用户界面中移动。类似地，抓-拖拽手势可以为手掌握拳不释放并且移动，从而带动刚握拳时光标所在位置的图标或其他元素在图形化用户界面中移动。

还提供了向上滚动手势，其为单手手掌向上方向挥动或移动，从而使得图形化用户界面或其他显示元素(例如图标)上移。在一些情况下，该手势还可以控制显示元素放大，例如当被操作元素为一幅图像时，用户输入该手势可以使得图像被放大。

还提供了向下滚动手势，其为单手手掌向下方向挥动或移动，从而使得图形化用户界面或其他显示元素(例如图标)下移。在一些情况下，该手势还可以控制显示元素缩小，例如当被操作元素为一幅图像时，用户输入该手势可以使得图像被缩小。

还提供了左转/向左滚动手势，其为单手手掌向左方向挥动或移动，从而使得图形化用户界面或其他显示元素(例如图标)左移(例如操作一平面图标)或左转(例如操作一立体图标对显示元素)。

还提供了右转/向右滚动手势，其为单手手掌向右方向挥动或移动，从而使得图形化用户界面或其他显示元素(例如图标)右移(例如操作一平面图标)或右转(例如操作一立体图标对显示元素)。

还提供了关闭手势，其为五指伸出，并且手掌向前推出。这可以使得图形化用户界面的某些区域或某些窗口、界面被关闭。例如，当用户希望关闭主界面区域时，其可以采用该手势操作。

还提供了呼出主界面区域的手势，其为五指伸出，并且手掌向回，向眼前回推。当检测到该手势后，头戴式显示设备即确定用户提供了主界面恢复指令，从而其可以恢复主界面区域的显示。

可以看出，这些手势操作简单，并且相互之间具有显著差别，便于图像传感器的检测和识别，从而大大提高了头戴式显示设备的操作效率。

那些本技术领域的一般技术人员可以通过研究说明书、公开的内容及附图和所附的权利要求书，理解和实施对披露的实施方式的其他改变。在权利要求中，措词“包括”不排除其他的元素和步骤，并且措辞“一”、“一个”不排除复数。在本申请的实际应用中，一个零件可能执行权利要求中所引用的多个技术特征的功能。权利要求中的任何附图标记不应理解为对范围的限制。

Claims (27)

1.一种头戴式显示设备的用户界面显示方法，其特征在于，包括：

提供图形化用户界面，所述图形化用户界面包括主界面区域和辅助界面区域；

将所述图形化用户界面的至少一部分显示于所述头戴式显示设备的显示屏上，从而对于佩戴所述头戴式显示设备的用户，其观察到所显示的图形化用户界面的至少一部分与其相距第一预定距离；

接收用户界面移动指令；以及

响应于所述用户界面移动指令，调整所述图形化用户界面在所述显示屏上的显示，从而对于所述用户，其观察到所显示的图形化用户界面绕其转动，

其中，所述图形化用户界面还包括运行程序界面区域，所述方法还包括：

接收应用程序运行指令；以及

响应于所述应用程序运行指令，将所述运行程序界面区域显示于所述头戴式显示设备的显示屏上，从而对于所述用户，其观察到所显示的运行程序界面区域与其相距第二预定距离。

2.根据权利要求1所述的用户界面显示方法，其特征在于，所述主界面区域包括一个或多个主界面图标，并且所述一个或多个主界面图标的大小和/或位置能够由用户进行配置。

3.根据权利要求2所述的用户界面显示方法，其特征在于，所述一个或多个主界面图标中的至少一个为多层级图标。

4.根据权利要求1所述的用户界面显示方法，其特征在于，所述主界面区域和辅助界面区域相邻。

5.根据权利要求1所述的用户界面显示方法，其特征在于，所述辅助界面区域包括一个或多个应用程序图标。

6.根据权利要求5所述的用户界面显示方法，其特征在于，所述一个或多个应用程序图标规则排列于所述辅助界面区域。

7.根据权利要求1所述的用户界面显示方法，其特征在于，所述接收用户界面移动指令的步骤包括：

利用所述头戴式显示设备的图像传感器检测所述用户的操作手势；以及

响应于所述操作手势，生成所述用户界面移动指令。

8.根据权利要求7所述的用户界面显示方法，其特征在于，所述操作手势包括单手手掌的水平侧向移动。

9.根据权利要求1所述的用户界面显示方法，其特征在于，所述接收用户界面移动指令的步骤还包括：

利用所述头戴式显示设备的陀螺仪检测所述用户头部的水平转动；以及

响应于所述用户头部的水平转动，生成所述用户界面移动指令。

10.根据权利要求1所述的用户界面显示方法，其特征在于，所述辅助界面区域是通过点击所述主界面区域中的展开/收缩控件展开或收缩的。

11.根据权利要求1所述的用户界面显示方法，其特征在于，所述图形化用户界面还包括信息显示层，其被固定地显示在所述显示屏的预定位置，并且重叠于所述主界面区域和/或所述辅助界面区域上。

12.根据权利要求1所述的用户界面显示方法，其特征在于，所述图形化用户界面还包括虚拟内容层。

13.根据权利要求1所述的用户界面显示方法，其特征在于，所述方法还包括：

响应于所述应用程序运行指令，在所述显示屏上隐藏所述主界面区域。

14.根据权利要求13所述的用户界面显示方法，其特征在于，所述方法还包括：

接收主界面恢复指令；以及

响应于所述主界面恢复指令，重新将所述主界面区域显示于所述显示屏上，从而所述主界面区域与所述运行程序界面区域至少部分地重叠。

15.根据权利要求1所述的用户界面显示方法，其特征在于，所述第一预定距离比所述第二预定距离短。

16.根据权利要求15所述的用户界面显示方法，其特征在于，所述第一预定距离为0.5至1.0米，所述第二预定距离为1.0至2.0米。

17.根据权利要求1所述的用户界面显示方法，其特征在于，所述第一预定距离是通过下述方式确定的：

利用所述头戴式显示设备的图像传感器检测外部环境，以确定所述外部环境中是否存在超过预定显示面积或显示比例的实体平面；以及

如果存在所述实体平面，则将所述实体平面距离所述用户的距离作为所述第一预定距离。

18.根据权利要求1所述的用户界面显示方法，其特征在于，所述头戴式显示设备是增强现实技术眼镜或虚拟现实技术眼镜。

19.一种头戴式显示设备的用户界面显示方法，其特征在于，包括：

提供图形化用户界面，所述图形化用户界面包括主界面区域、辅助界面区域和运行程序界面区域；

将所述主界面区域和所述辅助界面区域的至少一部分显示于所述头戴式显示设备的显示屏上，从而对于佩戴所述头戴式显示设备的用户，其观察到所显示的主界面区域和辅助界面区域的至少一部分与其相距第一预定距离；

接收应用程序运行指令；以及

响应于所述应用程序运行指令，将所述运行程序界面区域显示于所述头戴式显示设备的显示屏上，从而对于所述用户，其观察到所显示的运行程序界面区域与其相距第二预定距离。

20.根据权利要求19所述的用户界面显示方法，其特征在于，所述方法还包括：

响应于所述应用程序运行指令，在所述显示屏上隐藏所述主界面区域。

21.一种头戴式显示设备的用户界面显示方法，其特征在于，包括：

在所述头戴式显示设备的显示屏上显示图形化用户界面，其中所述图形化用户界面包括光标，其中，对于佩戴所述头戴式显示设备的用户，其观察到所显示的图形化用户界面的至少一部分与其相距第一预定距离；

利用所述头戴式显示设备的图像传感器检测佩戴所述头戴式显示设备的用户的操作手势；以及

当未检测到所述操作手势时，所述光标被固定地显示在被显示的所述图形化用户界面的预定位置；

当检测到所述操作手势时，使用所述操作手势中的特征识别点定位所述光标在所述图形化用户界面中的位置，

其中，所述图形化用户界面还包括运行程序界面区域，所述方法还包括：

接收应用程序运行指令；以及

响应于所述应用程序运行指令，将所述运行程序界面区域显示于所述头戴式显示设备的显示屏上，从而对于所述用户，其观察到所显示的运行程序界面区域与其相距第二预定距离。

22.根据权利要求21所述的用户界面显示方法，其特征在于，所述预定位置由所述用户视野的中心线来定位。

23.根据权利要求21所述的用户界面显示方法，其特征在于，所述特征识别点包括手指的关节点或手掌心。

24.根据权利要求21所述的用户界面显示方法，其特征在于，所述操作手势为指向性手势，所述特征识别点为伸出的一根手指的指关节点。

25.根据权利要求24所述的用户界面显示方法，其特征在于，所述伸出的手指的指关节点为食指的第一指关节点。

26.根据权利要求21所述的用户界面显示方法，其特征在于，所述操作手势为非指向性手势，所述特征识别点为手掌心。

27.根据权利要求21所述的用户界面显示方法，其特征在于，所述预定位置为所述显示屏的中心位置。

Images