CN110291577A - 用于改进的增强现实体验的配对的局部和全局用户界面 - Google Patents

Abstract

方法、系统和用户界面加强在外部环境内具有移动自由度的用户的增强现实体验。创建局部用户界面并在第一可观看区域中向所述用户显示所述局部用户界面。创建全局用户界面并在第二可观看区域中向所述用户显示所述全局用户界面，所述第二可观看区域与所述第一可观看区域相比距所述用户更远。将所述局部用户界面维持在第一空间位置，所述第一空间位置相对于所述用户的身体的一部分是静止的；并且将所述全局用户界面维持在第二空间位置，所述第二空间位置相对于所述外部环境是静止的。

Description

用于改进的增强现实体验的配对的局部和全局用户界面

相关申请的交叉引用

本申请要求2017年2月10日提交的标题为PAIRED LOCAL AND GLOBAL USERINTERFACES FOR AN IMPROVED AUGMENTED REALITY EXPERIENCE的美国专利申请序列号15/429,781的优先权，所述专利申请出于所有目的在此像本申请中全面阐述一样以引用的方式并入。

背景技术

用于增强现实系统的一类用户界面由通过专用光学显示装置产生的可观看虚拟图像构成。在一些情况下，装置安装在用户头上或周围；在其他情况下，装置可以是手持式装置，诸如智能手机。用户通常通过做手势，像指向、轻扫或手指、手或手臂的其他受控动作来与用户界面中的一个或多个图像元素交互。

这种当前的增强现实系统通常创建一个或多个虚拟图像，所述虚拟图像构成可由用户观看的单个界面。在头戴式显示装置的情况下，系统控制器通过控制显示装置的像素而实现这种情形，用户经由显示装置观看外部环境。构成用户界面的图像在用户看来似乎定位在显示屏后方某一距离处，但足够近以便方便地按需要进行操纵。当前系统通常还采用一些手段来追踪用户身体的特定部分并相应地移动用户界面，使得界面相对于该身体部分保持静止。这允许用户方便地观看界面并与界面交互，而不管用户自己的位置的改变。在许多情况下，追踪的是用户的头部位置，使得即使当头倾斜或旋转时，用户界面仍在对于用户眼睛方便的定向上和距用户眼睛方便的距离处呈现。在一些其他情况下，可以追踪用户的腰部位置，使得当用户从一个位置行走到另一位置时，用户界面对应地移动，从而保持靠近用户。

然而，可以设想增强现实应用，无论是在教育、商务还是游戏中，在所述应用中在某些位置处提供由位于外部环境中的一个或多个虚拟图像构成的第二用户界面将为有帮助的，所述位置相对于该环境的实体物体或特征为固定或静止的，而不管用户的位置的改变。相关的期望的特征将为允许用户致使图像从可以称作“局部”界面的第一标准用户界面漂移到第二或“全局”用户界面的构件，或在相反方向上从全局界面漂移到局部界面，在第一标准用户界面中图像与用户有效地相联系，在第二用户界面中图像与外部环境有效地相联系。

当前可用的增强现实系统中的用户手势的追踪和解释通常取决于使用红外投影仪和红外相机来捕获关于深度、形状和运动的必要信息。这将这些系统的使用范围限于相对低环境光的环境，通常是室内，而不是非常明亮或自然光的室外环境。如果可以在不使用IR成像的情况下收集感兴趣的信息，那么这些系统可能得到显著改进，从而允许系统成功地在室外以及室内使用。

因此，需要向用户提供配对的局部用户界面和全局用户界面的改进的增强现实系统和方法，用户可以在广泛的环境光等级内在室内或室外环境中方便地并且直观地与所述局部用户界面和全局用户界面交互。将需要使得用户能够按需要在两个界面之间移动图像，但是局部界面中的图像的默认状态将相对于用户的身体或头保持静止，而全局界面中的图像的默认状态将相对于外部物理环境保持静止。另一个期望的特征将为允许用户易于改变可观看的方面，诸如局部界面和全局界面中的任一者或两者中的图像的形状大小或维度(2D或3D)。

发明内容

本发明的实施方案大体上涉及用于加强在外部环境内具有移动自由度的用户的增强现实体验的方法、系统和用户界面。在一个实施方案中，所述方法包括：创建局部用户界面并在第一可观看区域中向所述用户显示所述局部用户界面；以及创建全局用户界面并在第二可观看区域中向所述用户显示所述全局用户界面，所述第二可观看区域与所述第一可观看区域相比距所述用户更远。将所述局部用户界面维持在第一空间位置，所述第一空间位置相对于所述用户的身体的一部分是静止的；并且将所述全局用户界面维持在第二空间位置，所述第二空间位置相对于所述外部环境是静止的。

在一个方面，所述局部用户界面包括第一虚拟图像元素，并且其中响应于所述用户选择所述第一虚拟图像元素并通过手势指示所述外部环境中的期望位置，在所述全局用户界面中在所述期望位置创建并显示对应的第二虚拟图像元素，如所述用户所观看。

在另一方面，所述全局用户界面包括第一虚拟图像元素，并且其中响应于所述用户选择所述第一虚拟图像元素并通过手势指示所述第一可观看区域中的期望位置，在所述局部用户界面中在所述期望位置创建并显示对应的第二虚拟图像元素，如所述用户所观看。

在一个实施方案中，所述系统包括：显示器；以及联接到所述显示器的至少一个处理器。所述处理器被配置为：创建局部用户界面，并控制所述显示器在第一可观看区域中向所述用户提供所述局部用户界面；创建全局用户界面，并控制所述显示器在第二可观看区域中向所述用户提供所述全局用户界面，所述第二可观看区域与所述第一可观看区域相比距所述用户更远；以及响应于所述用户的移动，进一步控制所述显示器将所述局部用户界面维持在第一空间位置，所述第一空间位置相对于所述用户的身体的一部分是静止的；并且将所述全局用户界面维持在第二空间位置，所述第二空间位置相对于所述外部环境是静止的。

可以通过参考说明书的剩余部分和附图来实现对本文中公开的特定实施方案的本质和优点的进一步理解。

附图说明

图1是根据一个实施方案的增强现实系统的表示；

图2是根据一个实施方案的本地和全局用户界面的表示；

图3是根据一个实施方案的系统的头戴式显示器的表示；

图4是根据一个实施方案的增强现实系统的示意性框图。

具体实施方式

本文中描述的实施方案使得用户能够快速且直观地与增强现实系统交互，所述增强现实系统利用虚拟图像来增强用户的外部环境，所述虚拟图像可以在局部用户界面中，或在与局部用户界面配对的全局用户界面中。实施方案大体上涉及以某一方式向用户提供配对的用户界面，使得局部用户界面相对于用户的身体的一部分保持静止，而全局用户界面相对于外部环境保持静止。

本发明的实施方案解决的主要问题是当前的增强现实系统的用户通常不能相对于外部环境的特征在空间中定位虚拟图像，因为提供的单个用户界面保持靠近用户并且通常跟随用户的身体的一部分(通常是头)运动。因此，所有虚拟图像与用户的身体一起移动。然而，本发明提供配对的局部用户界面和全局用户界面，所述局部用户界面和全局用户界面操作地联接使得用户不仅可以方便地与局部界面中的图像交互，而且还可以与拴系到外部环境的特征而不是用户身体或相对于外部环境的特征而不是用户身体定位的其他图像交互。

图1是根据本发明的一些实施方案的在操作中的增强现实系统100的示意性表示。处理器104可操作地连接(通常通过有线连接)到显示装置102，显示装置102可以呈定位在用户106的视线中的眼镜或护目镜的形式。处理器104创建虚拟的局部用户界面108并控制显示装置102在可观看区域110中提供该界面。区域110位于用户106前方并靠近用户106，使得用户106可以易于通过诸如指向、扭转等手势而按需要选择和激活界面108的元素。在一些实施方案中，手势可以包括直接操纵诸如旋钮、操纵杆等物理装置，而不是或外加自由空间中的手势。在一些实施方案中，作为观看手势并将手势解释为用户与用户界面交互的手段的替代方案，可以确定(使用瞄准用户面部的相机)用户的凝视方向。

处理器104还创建虚拟的全局用户界面112并控制显示装置102在可观看区域114中提供该界面。区域114在外部环境中位于相比于区域110距用户更远之处，外部环境通常包括真实的3维物体，一些在区域114后面，而另一些在区域114前方，如由用户所感知的。为了方便起见，图中示出了简单的立方体和圆柱体形状来表示无限的多种真实世界物体中的任一者，诸如家具、书、玩具等物品。用户106可以上文关于局部界面108描述的相同的方式与全局界面112的元素交互。

处理器104控制局部界面108的定位，使得局部界面108甚至在用户改变位置时也相对于用户保持静止。这通过追踪用户身体的一部分，通常是头，以及控制显示装置对应地改变界面108的位置来实现。如果用户将他的头例如转向右侧，那么界面108旋转以进行匹配；如果用户将他的头向前或向后伸或将头倾斜，那么界面108可以对应地移位或倾斜。在一些实施方案中，可以追踪并使用用户的头的所有六个自由度(沿着x轴、y轴和z轴，以及围绕偏航轴、俯仰轴和滚动轴的旋转)来对应地控制局部界面的位置和定向。

在一些实施方案中，可以追踪身体的另一部分。在用户的腰部可能例如存在传感器从而向处理器提供追踪信息，使得当用户106在房间内到处行走时，局部用户界面108也移动，从而跟上用户的步伐并有效地“拴系”到用户。

在图中分别用竖直虚线A和B来粗略地指示用户106和局部界面108的位置，其中在竖直虚线之间的倾斜虚线指示该等位置之间的“拴系”关系。如上文所指出，处理器104结合追踪用户的传感器(未示出)和显示装置102操作，以便将两个位置之间的距离维持为固定的预定值，并且在必要时调整偏航、俯仰和滚动中的一个或多个。在图中用竖直虚线C粗略地指示全局用户界面112的位置。注意，在界面108与112之间或在界面112与用户之间不存在位置“拴系”，但在该对界面之间存在强的功能或操作关系，如一对弯曲箭头所指示。下文将更详细地描述这种关系。

图2是通过本发明的增强现实系统实施方案产生和维护的虚拟的局部用户界面和全局用户界面208和214的示意性表示。局部用户界面208(在可观看区域210中)示出为具有几个形状不同的虚拟图像元素或图标216。在一些实施方案中，两个或更多个图像元素216可以具有相同形状和大小，但以某一方式，例如利用文字符号或通过颜色编码，以便对其进行区分并向用户指示其个别功能。在图中所示的情况下，界面214中的一个图像元素是星星形状，并且用户对该图像元素的选择可能导致在可观看区域212内在全局用户界面214中产生对应的星星形状图像元素。全局界面中的星星图像元素示出为2维的，具有特定大小和颜色或表面图案，但系统可以向用户提供许多选项，诸如使星星图像元素为3维的，改变其大小、颜色、不透明度等。

另一组选项可以允许用户控制在全局界面214中创建的图像元素的运动的方面。可以例如使星星图像元素看起来在可观看区域210中的实际实体物体周围操纵，从而部分地或完全消失在物体后面并接着重新出现，或从物体“弹开”，或在与物体碰撞后裂成碎片。可以易于设想许多其他相关选项。

可以通过用户与局部界面208的元素之间的手势交互，或通过用户与全局界面214之间的手势交互来起始这些视觉效应。通过对由安装在显示装置上的两个或更多个相机捕获的真实图像执行的图像处理来检测手势。在一些应用中，在用户正在经由增强现实系统听音乐或玩具有音效的沉浸式游戏的情况下，也可以通过用户手势来调整或控制音频特性，诸如音量、音调或声源的明显位置。

在一些实施方案中，可以通过处理器自动控制可观看区域212中的图像的外观和运动的方面和/或与该等图像相关联的音频，而不需要来自用户的直接输入。还可以自动控制与该等图像相关的音效。

可以通过使用一个或多个相机来确定可观看区域210中的实际物体的位置。使用两个侧向偏移的相机允许非常方便地实时地从用户的位置确定物体的3维位置，所使用的原理与人类视觉系统用来确定深度的视差基本上相同。这对于单个相机提供深度信息的实施方案是优选的，因为它避免了对用于每一确定的两个按时间顺序的图像捕获的需要。

在一些实施方案中，可以通过相机检测并通过图像处理来解释用户与全局用户界面214中的图像元素交互的手势，从而致使在局部界面208中产生对应的图像元素。图中的双头箭头指示这种可能性(全局界面中的动作致使局部界面中的效应，而不是，或以及相反过程)，该图示出在一个示例中在界面214中选择星星图像元素可能导致在界面208中产生对应的星星图像元素。任一图像元素可以2维或3维形式创建，并且可以在配对的局部界面和全局界面中的任一者中从一个维度改变为另一维度。

在一些情况下，其中在全局界面中产生的图像元素是3维的，如果用户改变位置和定向，那么可以通过系统处理器分析由用户身上的追踪传感器提供的数据并使用所述数据来控制显示装置对应地产生由全局界面中的图像元素表示的虚拟物体的不同视图。例如如果用户最初将图像元素感知为正面可完全由用户观看到的纸牌，并且接着用户转动他的头，那么牌将看起来相对于外部环境中的任何固定物体保持在其初始位置，但可以看见牌的边缘或甚至其背面。

在其他情况下，其中在全局界面中产生的图像元素是3维的并且改变其位置和/或定向，用户对应地感知到第二图像元素的不同特征。位置和/或定向的改变可以响应于通过用户与全局用户界面交互或通过为用户运行增强现实体验的软件进行的控制而发生。在前一种情况下，交互通常是手势，其图像被相机捕获，由图像处理解释，并且用来对应地控制显示装置。

图3是包括显示屏320和相机322的头戴式显示装置302的示意性表示。在一些特别期望的实施方案中，显示屏320使用有机发光二极管(OLED)技术，包括波导光学元件和/或块状光学元件来聚集和引导来自有机LED的光。在其他实施方案中，可以使用其他类型的光源和光学元件。头部位置传感器324和头部定向传感器326示出为集成到显示装置302中，但在一些实施方案中，这些传感器中的一个或两个可以单独安装在其他支撑件上，由用户佩戴。

图4是增强现实系统400的示意性框图。系统400包括传感器单元402，传感器单元402又包括两个面向外的相机(允许实时地确定三维中的物体位置，如上文所讨论)、可以取决于GPS、WiFi、蓝牙或其他明确建立的技术的位置确定传感器、诸如陀螺仪的定向确定传感器、加速度计，或磁性传感器，和任选地一个或多个其他传感器，诸如麦克风(用于例如语音命令)或生物传感器。面向内的相机可以用于凝视方向确定。在一些实施方案中，这些传感器的小的子集，诸如向外的相机，和一个头部定位传感器对于传感器单元402可为足够的。

传感器系统400还包括控制单元404，控制单元404包括一个或多个处理器，可操作地联接到传感器单元402、存储器系统405和显示装置406。控制单元404内的处理器结合来自存储器系统405、网络系统408和输入接口系统410(简单的硬件装置，诸如电源按钮、亮度控制旋钮等)的指令和数据操作以将从传感器单元402搜集的信息变换为可由单元404的输出控制系统使用的数据。又将该数据馈送到显示器406以产生本发明的配对的局部用户界面和全局用户界面。根据运行的特定应用，还可以将一些数据馈送到辅助装置，诸如扬声器，并且可以将一些提供给网络系统408。

本文中描述的实施方案向增强现实系统的用户提供各种益处。具体地说，实施方案使得用户能够通过利用可以在局部用户界面中或在与局部用户界面配对的全局用户界面中的虚拟图像增强外部环境，使得局部用户界面相对于用户的身体的一部分保持静止，而全局用户界面相对于外部环境中的物体保持静止来实时地与系统直观地且方便地交互。这些益处在使用户参与并维持用户涉及多种游戏、教育和商业或商务应用中的任一者时特别有价值。

尽管已经关于说明书的特定实施方案描述了说明书，但是这些特定实施方案仅仅是说明性的而不是限制性的。

任何合适的编程语言可以用来实现特定实施方案的例程，包括C、C++、Java、汇编语言等。可以采用不同的编程技术，诸如面向程序或对象的。例程可以在单个处理装置或多个处理器上执行。尽管可以按特定顺序呈现步骤、操作或计算，但该顺序在不同的特定实施方案中可以改变。在一些特定实施方案中，可以同时执行如本说明书中循序示出的多个步骤。

特定实施方案可以在计算机可读存储介质中实现以供指令执行系统、设备、系统或装置使用或结合指令执行系统、设备、系统或装置使用。特定实施方案可以控制逻辑的形式在软件或硬件或两者的组合中实现。控制逻辑在由一个或多个处理器执行时可以是可操作的以执行特定实施方案中描述的内容。例如，诸如硬件存储装置的有形介质可以用来存储控制逻辑，控制逻辑可以包括可执行指令。

特定实施方案可以通过使用编程的通用数字计算机，通过使用专用集成电路、可编程逻辑装置、现场可编程门阵列、光学、化学、生物、量子或纳米工程系统、部件和机构来实现。一般来说，特定实施方案的功能可以通过本领域已知的任何方式实现。可以使用分布式联网的系统、部件和/或电路。数据的通信或传送可以是有线的、无线的，或通过任何其他方式。

还将了解，附图/图式中示出的元件中的一个或多个也可以按更加分开或集成的方式实现，或甚至在某些情况下移除或表现为不可操作的，如根据特定应用为有用的。实现可以存储在机器可读介质中以准许计算机执行上述方法中的任一者的程序或代码也在精神和范围内。

“处理器”包括处理数据、信号或其他信息的任何合适的硬件和/或软件系统、机构或部件。处理器可以包括具有通用中央处理单元、多个处理单元、用于实现功能性的专用电路的系统，或其他系统。处理无需限于地理位置，或具有临时限制。例如，处理器可以“实时地”、“离线地”、以“批量模式”等执行其功能。处理的部分可以由不同的(或相同的)处理系统在不同时间并且在不同位置执行。处理系统的示例可以包括服务器、客户端、终端用户装置、路由器、交换机、联网存储器等。计算机可以是与存储器通信的任何处理器。存储器可以是任何合适的处理器可读存储介质，诸如随机存取存储器(RAM)、只读存储器(ROM)、磁盘或光盘，或适合用于存储指令以供处理器执行的其他有形介质。

如本文中说明书和所附权利要求书全篇中所使用，除非上下文另外清楚指示，否则“一个”、“一种”和“所述”包括复数指代。而且，如本文中说明书和所附权利要求书全篇中所使用，除非上下文另外清楚指示，否则“之中”的含义包括“之中”和“之上”。

因此，尽管本文中已经描述了特定实施方案，但是上述公开内容中预期修改、各种变化和取代的范围，并且将了解，在一些情况下在不脱离如所阐述的范围和精神的情况下将采用特定实施方案的一些特征而不对应地使用其他特征。因此，可以进行许多修改以使特定情形或材料适应基本范围和精神。

Claims (20)

1.一种用于加强在外部环境内具有移动自由度的用户的增强现实体验的方法，所述方法包括：

创建局部用户界面并在第一可观看区域中向所述用户显示所述局部用户界面；以及

创建全局用户界面并在第二可观看区域中向所述用户显示所述全局用户界面，所述第二可观看区域与所述第一可观看区域相比距所述用户更远；

其中将所述局部用户界面维持在第一空间位置，所述第一空间位置相对于所述用户的身体的一部分是静止的；并且

其中将所述全局用户界面维持在第二空间位置，所述第二空间位置相对于所述外部环境是静止的。

2.如权利要求1所述的方法，其中所述局部用户界面包括第一虚拟图像元素，并且其中响应于所述用户选择所述第一虚拟图像元素并通过手势指示所述外部环境中的期望位置，在所述全局用户界面中在所述期望位置创建并显示对应的第二虚拟图像元素，如所述用户所观看。

3.如权利要求1所述的方法，其中所述全局用户界面包括第一虚拟图像元素，并且其中响应于所述用户选择所述第一虚拟图像元素并通过手势指示所述第一可观看区域中的期望位置，在所述局部用户界面中在所述期望位置创建并显示对应的第二虚拟图像元素，如所述用户所观看。

4.如权利要求2所述的方法，其中所述第一图像元素和所述第二图像元素中的至少一者是三维的。

5.如权利要求2所述的方法，其中所述第二图像元素是三维的，使得如果所述用户改变位置和定向，由所述用户对应地感知到所述第二图像元素的不同特征。

6.如权利要求2所述的方法，其中所述第二图像元素是三维的，使得如果所述第二图像元素响应于通过所述用户与所述全局用户界面交互或通过运行所述增强现实体验的软件进行的控制而改变位置和定向，由所述用户对应地感知到所述第二图像元素的不同特征。

7.如权利要求2所述的方法，其中由所述用户感知到所述第二图像元素是不透明的。

8.如权利要求2所述的方法，其中所述第二虚拟图像元素响应于所述用户的与所述全局用户界面交互的故意的手势而在所述外部环境中移动。

9.如权利要求1所述的方法，其中使用由所述用户佩戴的光学头戴式显示装置来执行所述局部用户界面的所述显示和所述全局用户界面的所述显示。

10.如权利要求9所述的方法，其中所述光学头戴式显示装置包括：

OLED显示器；

头部位置传感器；

头部定向传感器；以及

第一相机和第二相机，所述第一相机和所述第二相机背向所述用户向外定向；

其中所述第一相机和所述第二相机在电磁光谱的可见光范围中捕获图像。

11.如权利要求10所述的方法，其中通过由所述第一相机和所述第二相机捕获的图像的图像处理来确定所述用户在所述外部环境中观看到的真实物理距所述用户的距离。

12.如权利要求10所述的方法，其中所述光学头戴式显示器还包括朝向所述用户定向的第三相机，其中所述第三相机在所述电磁光谱的所述可见光范围内捕获所述用户的眼球的图像。

13.一种用于加强在外部环境内具有移动自由度的用户的增强现实体验的系统，所述系统包括：

显示装置；以及

至少一个处理器，所述至少一个处理器联接到所述显示装置并且被配置为：

创建局部用户界面；

控制所述显示器在第一可观看区域中向所述用户提供所述局部用户界面；

创建全局用户界面；

控制所述显示器在第二可观看区域中向所述用户提供所述全局用户界面，所述第二可观看区域与所述第一可观看区域相比距所述用户更远；以及

响应于所述用户的移动，进一步控制所述显示装置以：

将所述局部用户界面维持在第一空间位置，所述第一空间位置相对于所述用户的身体的一部分是静止的；并且

将所述全局用户界面维持在第二空间位置，所述第二空间位置相对于所述外部环境是静止的。

14.如权利要求13所述的系统，其中所述局部用户界面包括第一虚拟图像元素，并且其中响应于所述用户选择所述第一虚拟图像元素并通过手势指示所述外部环境中的期望位置，在所述全局用户界面中在所述期望位置创建并显示对应的第二虚拟图像元素，如所述用户所观看。

15.如权利要求13所述的系统，其中所述全局用户界面包括第一虚拟图像元素，并且其中响应于所述用户选择所述第一虚拟图像元素并通过手势指示所述第一可观看区域中的期望位置，在所述局部用户界面中在所述期望位置创建并显示对应的第二虚拟图像元素，如所述用户所观看。

16.如权利要求11所述的系统，其中使用由所述用户佩戴的光学头戴式显示装置来执行所述局部用户界面的所述显示和所述全局用户界面的所述显示，所述光学头戴式显示装置包括：

OLED显示器；

头部位置传感器；

头部定向传感器；以及

第一相机和第二相机，所述第一相机和所述第二相机背向所述用户向外定向；

其中所述第一相机和所述第二相机在电磁光谱的可见光范围中捕获图像。

17.一种非暂时性计算机可读存储装置，所述非暂时性计算机可读存储装置包括一个或多个指令，所述一个或多个指令可由一个或多个处理器执行以用于加强在外部环境内具有移动自由度的用户的增强现实体验，所述一个或多个指令在被执行时可操作以执行：

创建局部用户界面并在第一可观看区域中向所述用户显示所述局部用户界面；以及

创建全局用户界面并在第二可观看区域中向所述用户显示所述全局用户界面，所述第二可观看区域与所述第一可观看区域相比距所述用户更远；

其中将所述局部用户界面维持在第一空间位置，所述第一空间位置相对于所述用户的身体的一部分是静止的；并且

其中将所述全局用户界面维持在第二空间位置，所述第二空间位置相对于所述外部环境是静止的。

18.如权利要求17所述的非暂时性计算机可读存储装置，

其中所述局部用户界面包括第一虚拟图像元素，并且其中响应于所述用户选择所述第一虚拟图像元素并通过手势指示所述外部环境中的期望位置，在所述全局用户界面中在所述期望位置创建并显示对应的第二虚拟图像元素，如所述用户所观看；并且

其中所述全局用户界面包括第一虚拟图像元素，并且其中响应于所述用户选择所述第一虚拟图像元素并通过手势指示所述第一可观看区域中的期望位置，在所述局部用户界面中在所述期望位置创建并显示对应的第二虚拟图像元素，如所述用户所观看。

19.如权利要求17所述的非暂时性计算机可读存储装置，其中使用由所述用户佩戴的光学头戴式显示装置来执行所述局部用户界面的所述显示和所述全局用户界面的所述显示，所述光学头戴式显示装置包括：

OLED显示器；

头部位置传感器；

头部定向传感器；以及

第一相机和第二相机，所述第一相机和所述第二相机背向所述用户向外定向；

其中所述第一相机和所述第二相机在电磁光谱的可见光范围中捕获图像。

20.一种设备，所述设备包括：

用于创建局部用户界面和全局用户界面的构件；

用于在第一可观看区域中向用户显示所述局部用户界面的构件，所述用户在外部环境内具有移动自由度；以及

用于在第二可观看区域中向所述用户显示所述全局用户界面的构件，所述第二可观看区域与所述第一可观看区域相比距所述用户更远；

其中将所述局部用户界面维持在第一空间位置，所述第一空间位置相对于所述用户的身体的一部分是静止的；并且

其中将所述全局用户界面维持在第二空间位置，所述第二空间位置相对于所述外部环境是静止的。