CN108886578A - 用于增强现实姿势对准的虚拟提示 - Google Patents

Abstract

一种方法包括确定物理空间中的增强现实设备的当前姿势，以及经由增强现实设备的显示器可视地呈现物理空间的增强现实视图，该物理空间的增强现实视图包括指示物理空间中的预定姿势的预定姿势提示和指示物理空间中的当前姿势的当前姿势提示。

Description

用于增强现实姿势对准的虚拟提示

背景技术

增强现实设备可以被配置为显示增强现实图像，从而提供虚拟对象(有时被称为全息图)存在于真实世界物理空间中的错觉。此外，增强现实设备可以被配置为捕获增强现实图像以供稍后回放。所捕获的增强现实图像可以具有表示图像捕获时的相机位置的特定姿势(例如，6个自由度(DOF)：x、y、z、偏转、俯仰、滚动)。

发明内容

本发明内容被提供为了以简化的形式介绍一些概念，这些概念将在下面的具体实施方式中进一步描述。本发明内容不旨在标识所要求保护的技术主题的关键特征或必要特征，也不旨在被用来限制所要求保护的技术主题的范围。此外，所要求保护的技术主题不限于解决在本公开的任何部分中所提到的任何或所有缺点的实施方式。

方法包括确定物理空间中的增强现实设备的当前姿势，以及经由增强现实设备的显示器可视地呈现物理空间的增强现实视图，物理空间的增强现实视图包括指示物理空间中的预定姿势的预定姿势提示和指示物理空间中的当前姿势的当前姿势提示。

附图说明

图1示出了在增强现实视图中可视地呈现虚拟提示的增强现实设备，该虚拟提示有助于增强现实设备的姿势对准。

图2示出了由包括预定姿势提示和当前姿势提示的增强现实设备可视地呈现的增强现实视图。

图3至图4示意性地示出了图2的预定姿势提示和当前姿势提示的相对位置。

图5至图7示出了随时间而移动更接近预定姿势提示的当前姿势提示。

图8示出了视觉对准提示，其指示当前姿势至少部分地与预定姿势对准。

图9示出了利用虚拟提示可视地呈现物理空间的增强现实视图的方法。

图10示出了可佩戴的近眼(near-eye)显示系统和被配置为呈现虚拟提示的板外计算机的各方面。

图11示出了近眼显示系统的示例显示窗口的各方面。

图12和图13示出了虚拟对象的立体显示。

具体实施方式

在一些场景中，用户可能希望捕获当相机具有特定的预定姿势(例如，以6个自由度)时的增强现实图像。例如，用户可以通过捕获增强现实图像的序列来尝试创建增强现实视频。然而，在对于序列中每个所捕获的增强现实图像没有适当的姿势对准的情况下，随着相机姿势从一个所捕获的图像变化到下一个所捕获的图像，增强现实视频可以显现为“在周围跳跃(jump around)”或以其他方式失真。通常，用户可能希望出于任何原因从任何预定姿势捕获图像。

相应地，本说明书涉及用于帮助将增强现实设备的当前姿势与预定姿势对准的各种方法。更具体地，本说明书涉及以虚拟提示的形式呈现姿势信息，姿势信息指示真实世界物理空间中的预定姿势和增强现实设备的当前姿势。虚拟提示可以向用户提供反馈，该反馈可以允许用户将增强现实设备的当前姿势与预定姿势对准。在一些场景中，虚拟提示可以包括视觉提示。在一些场景中，虚拟提示可以包括音频提示。在一些实施方式中，虚拟提示的状态可以改变以指示当前姿势与预定姿势适当地对准。

图1示出了移动计算设备100形式的增强现实设备的非限制性示例，该移动计算设备100包括面向外部的视点相机102和显示器104。视点相机102在视场108内对物理空间106进行成像，并且显示器104可视地呈现由视点相机102捕获的图像。物理空间106可以包括真实世界的对象，诸如立方体110。在没有使用诸如移动计算设备100的增强现实设备的情况下，真实世界立方体110是可见的。

移动计算设备100可以被配置为经由显示器104可视地呈现物理空间106的增强现实视图112。增强现实视图112可以包括被覆盖在物理空间106的图像上的一个或多个虚拟对象。在被图示的示例中，虚拟对象包括虚拟卡车114和当前姿势提示118。当前姿势提示118指示移动计算设备100在物理空间106中的当前姿势。当前姿势提示118具有随着移动计算设备100的当前姿势而改变的设备锁定的位置。注意，虚拟对象114和118仅可以经由显示器104而被看到。

移动计算设备100可以被配置为捕获物理空间106的增强现实图像116。增强现实图像116可以包括真实世界对象(诸如立方体110)和虚拟对象(诸如虚拟卡车114和当前姿势提示118)的组合。增强现实图像类似于常规的数字照片，因为它在特定时刻记录相机的视图，并允许用户在任何后续时间查看该所记录的视图。然而，与仅包括在捕获时由相机成像的真实世界对象的常规照片不同，增强现实图像还记录在捕获时与真实世界对象混合的虚拟对象。增强现实图像可以以任何合适的格式被保存，以便在移动计算设备100和/或另一计算设备上进行后续回放。例如，增强现实图像可以经由计算机网络被发送到云存储位置。

当前姿势提示118可以辅助用户将移动计算设备100和/或相机102的姿势与预定姿势对准，以便从预定姿势的视角查看物理空间106和/或从预定姿势的视角捕获增强现实图像116。移动计算设备100可以从增强现实图像116中省略当前姿势提示118，使得当前姿势提示118在回放期间不显现在增强现实图像116中。

图2和图5至图8示出了可以由增强现实设备可视地呈现的不同增强现实视图，诸如图1的移动计算设备100或图10的可穿戴立体显示系统10。不同的增强现实视图包括虚拟提示以辅助用户将增强现实设备的当前姿势与预定姿势对准。

图2示出了真实世界物理空间106的增强现实视图200，该增强现实视图200可以由图1的移动计算设备100的显示器104可视地呈现。增强现实视图200在时间T0具有移动计算设备100的当前姿势的视角。增强现实视图200包括真实世界立方体110、虚拟卡车114、当前姿势提示118和预定姿势提示120。当前姿势提示118包括可用于瞄准增强现实设备的相机的一组四个虚拟共面标记。当前姿势提示118的四个虚拟共面标记至少部分地指示当前姿势的视场。

当前姿势提示118具有设备锁定位置，当增强现实设备的当前姿势在物理空间106中改变时，该设备锁定位置随着相机的视角而改变。这样，即使当相机在物理空间106中移动时，当前姿势提示118显现为占据显示器的相同部分并且显现为在相机前方处于相同距离处。

预定姿势提示120包括四个虚拟共面标记，其至少部分地指示来自预定姿势的视场。即使当移动计算设备100的当前姿势改变时，预定姿势提示120也具有相对于物理空间106固定的世界锁定位置。此外，预定姿势提示120包括虚线形式的视线指示器，其从以预定姿势的视场为中心的目标十字线延伸到预定姿势的查看目标(例如，虚拟卡车114)。

由预定姿势提示120指示的预定姿势可以假定物理空间106中的任何合适姿势。而且，预定姿势可以由移动计算设备100以任何合适的方式接收或确定。在一些情况下，预定姿势可以在先前所捕获的物理空间106的图像的捕获期间被确定。在一个示例中，在由相机102捕获先前所捕获的图像期间，预定姿势由移动计算设备100的姿势感测系统确定。在另一示例中，预定姿势由另一相机或增强现实设备确定。在任一种情况下，预定姿势可以被存储在存储器中(例如，预定姿势可以被存储为与先前所捕获的图像相关联的元数据)。在另一示例中，预定姿势可以由另一源提供，诸如由移动计算设备100执行的应用程序。在一个示例中，地图应用程序可以包括各种地标可以从其被查看的路标点，并且地图应用程序可以提供从其查看和/或捕获地标的预定姿势。

此外，当移动计算设备100可视地呈现增强现实视图200时，移动计算设备100可以从远程源(例如，另一增强现实设备、云存储)接收预定姿势，或者可以从存储器中检索预定姿势。以这种方式，移动计算设备100可以在增强现实视图200中将预定姿势提示120适当地定位在预定姿势处(例如，经由共享坐标系的使用)。

不同的虚拟提示118、120可以具有不同的外观，以便将不同的虚拟提示彼此区分开。例如，不同的虚拟提示可以具有不同的模式。在被图示的示例中，当前姿势提示118是纯白色，而预定姿势提示120具有斜条纹。在另一示例中，不同的虚拟提示可以是颜色编码的。在一个示例中，当前姿势提示是蓝色的，预定姿势提示是黄色的，并且指示当前姿势提示至少部分地与预定姿势提示对准的视觉对准提示是绿色的。虚拟提示可以以任何合适的方式可视地与彼此区分开。

任何合适类型的虚拟提示可以通过增强现实设备而被呈现。在一些实施方式中，虚拟提示可以包括单独的旋转和方向视觉对准指示符。在一些实施方式中，虚拟提示可以包括连续视场帧与世界锁定连续帧的对准。在一些实施方式中，虚拟提示可以包括一组设备锁定标记与平面上的一组世界锁定标记的对准。在一些实施方式中，虚拟提示可以包括先前所捕获的图像的世界锁定的“幽灵(ghost)”图像(例如，至少部分半透明)，该图像位于先前所捕获的图像在其处被捕获的预定姿势处。在一些实施方式中，虚拟提示可以包括先前全息图姿势的重影场景。在一些实施方式中，虚拟提示可以包括不同轴的3D/2D对准。在一些实施方式中，在当前姿势移近预定姿势时，虚拟提示的各种特性可以改变。例如，在当前姿势移近预定姿势时，虚拟提示的亮度、透明度、颜色或声音可以改变。

图3至图4示意性地示出了在时间T0的虚拟卡车114、当前姿势提示118和预定姿势提示120的相对位置。特别地，图3示出了相对位置的侧视角，而图4示出了相对位置的俯视视角。

图5至图8示出了随着当前姿势移动得更接近物理空间106中的预定姿势，当前姿势提示118随着时间的推移而继续移动接近预定姿势提示120。图5示出了在时间T0之后的时间T1的来自移动计算设备100的姿势的真实世界物理空间106的增强现实视图500。在图5中，相对于在时间T0的移动计算设备100的姿势，移动计算设备100的当前姿势已经移动到更接近物理空间106中的预定姿势。相应地，当前姿势提示118显现为更接近预定姿势提示120，并且相对于增强现实视图200更接近增强现实视图500中的虚拟卡车114。因为预定姿势提示120具有世界锁定位置，所以预定姿势提示120相对于物理空间106未被改变的位置。

图6示出了在时间T1之后的时间T2的来自移动计算设备100的姿势的真实世界物理空间106的增强现实视图600。在图6中，相对于在时间T1的移动计算设备100的姿势，移动计算设备100的当前姿势已经移动到更接近物理空间106中的预定姿势。相应地，当前姿势提示118显现为更接近预定姿势提示120，并且相对于增强现实视图500更接近增强现实视图600中的虚拟卡车114。

图7示出了在时间T2之后的时间T3的来自移动计算设备100的姿势的真实世界物理空间106的增强现实视图700。在图7中，相对于在时间T2的的移动计算设备100的姿势，移动计算设备100的当前姿势已经移动到更接近物理空间106中的预定姿势。相应地，当前姿势提示118显现为更接近预定姿势提示120，并且相对于增强现实视图600更接近增强现实视图700中的虚拟卡车114。

图8示出了在时间T3之后的时间T4的来自移动计算设备100的姿势的真实世界物理空间106的增强现实视图800。在图8中，移动计算设备100的当前姿势已经移动到与预定姿势对准。这样，当前姿势提示和预定姿势提示已经合并，并且已由视觉对准提示122替换。移动计算设备100在增强现实视图800中可视地呈现视觉对准提示120，以可视地指示移动计算设备100的当前姿势至少部分地与预定姿势对准。

视觉对准提示122可以指示当前姿势与预定姿势之间的任何合适的对准形式。例如，如果两个姿势在彼此的旋转阈值和/或平移阈值内，则当前姿势和预定姿势可以被对准。

视觉对准提示122可以采用任何合适的形式。视觉对准提示122相对于预定姿势提示和当前姿势提示可以具有不同的形状、图案、颜色或其他视觉特性。显示器的其他可见方面可以附加地或备选地改变以指示对准。作为一个示例，当对准被实现时，整个显示器可以被赋予绿色。

在一些增强现实设备包括音频扬声器的实施方式中，增强现实设备可以被配置为经由音频扬声器可听地呈现音频对准提示，该音频对准提示指示当前姿势提示与增强现实视图中的预定姿势提示至少部分对准。响应于与预定姿势对准的当前姿势，音频对准提示可以可听地被呈现。音频对准提示可以在任何合适的持续时间内可听地被呈现。例如，在图8中，“蜂鸣声(BEEP)”声音效果形式的音频对准提示124可听地被呈现，以指示当前姿势与预定姿势的对准。在其他示例中，音频提示可以包括铃声、嗡嗡声、滴答声或其他声音。在一些实施方式中，移动计算设备100可以在不呈现任何视觉对准提示的情况下呈现音频对准提示。例如，在当前姿势移近预定姿势时，移动计算设备100可以呈现增加音量的音调或嗡嗡声。在另一示例中，移动计算设备100可以呈现周期性哔哔声，并且随着当前姿势移近预定姿势，哔哔声之间的持续时间可以减小。

当预定姿势提示和当前姿势提示的对准被实现时，例如，图像可以由相机102从预定姿势的视角捕获。注意，所捕获的图像可以是包括被覆盖在物理空间106上的一个或多个虚拟对象(例如，虚拟卡车114)的增强现实图像，或者所捕获的图像可以不包括任何虚拟对象或者其他方式的虚拟增强。在一些实施方式中，响应于对准被实现，图像可以自动被捕获。

此外，所捕获的图像可以被合并到可以作为动画被组装的所捕获的图像的序列中。移动计算设备100可以被配置为从使用虚拟提示而被捕获的图像来组装任何合适类型的动画。在一个示例中，移动计算设备1000可以在不同时间捕获不同图像的序列，同时当前姿势提示与预定姿势提示对准。换言之，虚拟提示可以被用来在不同时间(例如，小时、天、周、年)将移动计算设备100返回到物理空间106中的相同位置，以随着时间的推移而从相同的视角捕获物理空间106的图像。此外，移动计算设备100可以被配置为在不同时间可视地呈现包括从预定姿势的视角捕获的物理空间106的图像序列的延时动画。

在另一示例中，移动计算设备100可以在当前姿势提示与第一预定姿势提示对准时捕获图像。在图像被捕获时，移动计算设备100可以可视地呈现在物理空间中具有与第一预定姿势提示的姿势不同的姿势的下一预定姿势提示。一旦移动计算设备100的当前姿势与下一预定姿势提示对准，移动计算设备100就可以捕获另一图像。这些步骤可以被重复以从物理空间106中的多个不同的预定姿势捕获图像序列。此外，移动计算设备100可以被配置为可视地呈现定格动画，该定格动画包括从多个不同的预定姿势的视角被捕获的物理空间的图像序列。在这样的场景中，预定姿势的序列可以包括任何合适数量的不同预定姿势。在一些这样的场景中，序列可以基于序列中的初始预定姿势自动被生成。例如，在360°动画中，第一预定姿势可以被确定，并且序列中的每个后续预定姿势可以从序列中的先前预定姿势径向被偏移。

虚拟提示可以在任何合适的操作模式期间和/或在任何合适的条件下由移动计算设备100呈现。例如，虚拟提示可以在图像和/或动画捕捉模式期间被呈现，诸如上述示例。这种操作模式可以以任何合适的方式被启动。在一个示例中，为了初始化定格动画捕捉模式，用户可以说“停止动作”或使用手势来显示停止动作捕捉对话框。该对话框可以显示先前所捕获的图像的预览以及在这些图像上显示功能。此外，为了捕获附加图像，用户可以说“捕获”或空中敲击对话框中可视地被呈现的虚拟捕获按钮。虚拟提示可以可视地被呈现以辅助用户对准移动计算设备100以从期望的视角捕获图像。用户可以空中敲击或提供其他用户输入以捕获图像。此外，对话框可以使各种所捕获的图像能够被重新排序或移除、清除来自序列的所有图像、按次序循环单个图像、设置序列的帧速率、以及查看、存储、共享和/或输出例如作为动画、被格式化为GIF的图像的序列。

图9示出了利用虚拟提示可视地呈现物理空间的增强现实视图的方法900。例如，方法900可以由图1的移动计算设备100、图10的可穿戴立体显示系统10或者通过任何其他合适的增强现实设备来执行。在902处，方法900包括接收物理空间中的预定姿势。在一个示例中，在经由增强现实设备的相机捕获物理空间的先前所捕获的图像期间，预定姿势经由增强现实设备的姿势感测系统被确定。在904处，方法900包括确定物理空间中的增强现实设备的当前姿势。例如，当前姿势可以由增强现实设备的姿势感测系统确定。在906处，方法900包括经由增强现实设备的显示器可视地呈现物理空间的增强现实视图，该物理空间的增强现实视图包括指示物理空间中的预定姿势的预定姿势提示和指示物理空间中的当前姿势的当前姿势提示。预定姿势提示可以具有相对于物理空间固定的世界锁定位置，并且当前姿势提示可以具有随着增强现实设备的当前姿势而改变的设备锁定位置。虚拟提示可以可视地被呈现作为辅助以使增强现实设备与预定姿势对准，使得增强现实设备可以从预定姿势的视角可视地呈现物理空间的视图(例如，增强现实视图或非增强现实视图)。

在一些实施方式中，在908处，方法900可选地可以包括确定当前姿势提示是否与预定姿势提示对准。如果当前姿势提示与预定姿势提示对准，则方法900移动到910。否则方法900返回到908。在910处，方法900可选地可以包括经由显示器可视地呈现视觉对准提示，该视觉对准提示指示当前姿势提示至少部分地与增强现实视图中的预定姿势提示对准。在增强现实设备包括音频扬声器的一些实施方式中，在912处，方法可选地可以包括经由音频扬声器可听地呈现音频对准提示，该音频对准提示指示当前姿势提示至少部分地与增强现实视图中的预定姿势提示对准。

在一些实施方式中，在914处，方法900可选地可以包括：在当前姿势提示在第一时间与预定姿势提示对准时，经由增强现实设备的相机捕获第一图像。响应于实现对准，这种图像捕获可以被手动触发或自动触发。

在一些实施方式中，增强现实设备可以被配置为使用虚拟提示来组装物理空间的延时动画。这样，方法900可以对延时动画的每个帧被重复。

虚拟提示可以由任何合适的增强现实设备呈现。图10示出了可以被配置为呈现虚拟提示的可穿戴立体显示系统10的各方面。显示系统包括右显示窗口12R和左显示窗口12L、右耳罩式扬声器14R和左耳罩式扬声器14L、以及被配置为搁置在佩戴者头部上的框架16。右显示窗口和左显示窗口中的每一个包括显示投影组件(参见下文)，其被配置为将计算机化的显示图像投影到佩戴者的视场(FOV)中。在一些实施方式中，从佩戴者的视角来看，右显示窗口和左显示窗口是完全或部分透明的，以给予佩戴者他或她的周围环境的清晰视图。在一些实施方式中，右显示窗口和左显示窗口是不透明的，使得佩戴者完全被经由显示系统所提供的虚拟现实(VR)图像吸引，该虚拟现实(VR)图像可选地可以与由面向场景的相机捕获的真实图像混合。在一些实施方式中，右显示窗口和左显示窗口的不透明度可经由调光滤波器动态控制。相应地，基本透视显示窗口可以被切换到完全不透明度以得到完全沉浸式MR体验。

显示系统10包括机载计算机18和机载通信系统20。在一些实施方式中，机载计算机被配置为绘制计算机化的显示图像，其被提供给右显示窗口和左显示窗口12。在一些实施方式中，这种绘制由通过机载通信系统接收的数据全部或部分地控制。在一些实施方式中，这些数据可以由板外计算机18’传送。例如，板外计算机可以是游戏控制台、台式计算机或服务器系统。在一些实施方式中，板外计算机可以是笔记本计算机或平板计算机、智能手机、手持游戏设备等。控制显示图像的绘制的显示图像或数据可以以任何方式从板外计算机18’被传送到机载计算机18。将这种数据进行编码的信号可以通过相应计算机的通信系统20之间的有线或无线通信链路来承载。在一些实施方式中，这里归属于板外计算机18的部分或全部功能可以在机载计算机18’中被实施。

当显示系统10在操作中时，计算机18向右显示窗口12R发送适当的控制信号，使右显示窗口形成右显示图像。同样，计算机向左显示窗口12L发送适当的控制信号，使左显示窗口形成左显示图像。显示系统的佩戴者分别通过右眼和左眼查看右显示图像和左显示图像。当右显示图像和左显示图像以适当的方式被组合和呈现时，佩戴者体验虚拟图像的错觉——即，所指定位置处的一个或多个虚拟对象，并且具有所指定的3D内容和其他显示属性。这种虚拟图像可具有任何期望的复杂性；例如，它可以包括具有前景和背景部分两者的完整虚拟场景。

显示系统10还包括姿势感测系统或位置感测组件22，其可用于在适当的参考系中确定显示系统的位置和取向。在一些实施方式中，位置感测组件返回显示系统的三个笛卡尔坐标的六个自由度(6DOF)估计加上围绕三个笛卡尔轴中的每一个的旋转。为此，位置感测组件可以包括加速度计、陀螺仪、磁力计和全球定位系统(GPS)接收器中的任何一个、一些或每个。位置感测组件的输出可以被用来将虚拟显示对象(全局定义的)的位置、大小和取向映射到显示系统的右显示窗口和左显示窗口12上。

显示系统10还包括以彩色或单色平面成像相机21和深度成像相机23形式的面向世界的机器视觉系统。术语“相机”在本文中是指具有至少一个光学孔径和传感器阵列的任何机器视觉组件，其被配置为对场景或主体成像。深度成像相机可以被配置为获取场景或主体的时间分辨的深度图序列。如本文中所使用的，术语“深度图”指的是被注册到成像场景的对应区域(Xi，Yi)的像素阵列，其具有的深度值Zi用于指示对于每个像素的对应区域的深度。“深度”被定义为与相机光轴平行的坐标，其随着与相机距离的增加而增加。在操作上，深度成像相机可以被配置为获取2D图像数据，深度图经由下游处理从2D图像数据而被获得。术语“深度视频”在本文中是指时间分辨的深度图序列。

深度成像相机的配置可以从一个实施方式到下一个实施方式不同。在一个示例中，来自深度成像相机中的两个立体定向成像阵列的亮度或颜色数据可以被共同注册(co-registered)并用来构建深度图。更一般地，利用基于光学层析成像的成像特征的共同注册，进入场景的深度坐标可以使用一个或多个平面成像相机来获得。高光谱平面成像可以与该方法一起被使用，以用于改善的特征辨别。在其他示例中，与深度成像相机相关联的照明源可以被配置为将包括许多离散特征(例如，线或点)的结构化照明图案投射到主体上。深度成像相机中的成像阵列可以被配置为对从主体被反射回来的结构化照明进行成像。基于成像主体的各个区域中的相邻特征之间的间隔，主体的深度图可以被构建。在更多其他示例中，照明源可以向主体投射脉冲或以其他方式调制的红外(IR)或近红外照明。成像阵列的传感器元件可以被寻址，以便相对于照明源的周期性调制解析来自每个传感器元件的相位偏移。可选地被转换到深度域的相位偏移可以与对应于所寻址的传感器元件的图像部分相关联。在一些实施方式中，快速连续的IR采集系列可以被用来获得相位偏移。在其他实施方式中，深度成像相机中的成像阵列对可以被配置为检测从主体被反射回来的脉冲照明。两个阵列都可以包括与脉冲照明同步的电子快门，但用于阵列的集成时间可以不同，使得基于在两个阵列的相应元件中所接收的光的相对量，脉冲照明的像素分辨飞行时间(ToF)，从照明源到主体然后到阵列是可辨别的。

在一些实施方式中，离散平面成像相机和深度成像相机可以被布置为具有沿相同方向定向的平行光轴。在一些实施方式中，从平面成像相机和深度成像相机被输出的图像或视频可以被共同注册并组合成单一(例如，RGB+深度)数据结构或流。在深度成像相机是适当配置的ToF深度成像相机的示例中，表示深度和亮度(例如，IR+深度)两者的数据流可以通过组合相位不同的输出而是可用的。

在一些实施方式中，对象识别引擎被布置在面向世界的机器视觉系统的下游。使用图像标识算法，对象识别引擎可以被配置为将由机器视觉系统解析的对象与被存储在数据库中或者启发式地定义的多个对象进行比较，并标识匹配。对于一些对象，对象识别引擎可以标识通用匹配(该对象是人)和/或特定匹配(该对象是与特定计算机身份相关联的特定人)。

图11以一个非限制性实施方式示出了右显示窗口或左显示窗口12的各方面。显示窗口包括背光24和液晶显示器(LCD)矩阵26。背光可以包括发光二极管(LED)的整体，例如白色LED或红色、绿色和蓝色LED的分布。背光可以被设置以通过LCD矩阵引导其发射，LCD矩阵基于来自机载计算机18的控制信号形成显示图像。LCD矩阵可以包括被布置在矩形网格或其他几何形状上的多个可单独寻址的像素。在一些实施方式中，传送红光的像素可以在矩阵中被并置(juxtapose)到传送绿光和蓝光的像素，以使LCD矩阵形成彩色图像。在一种实施方式中，LCD矩阵可以是硅基液晶(LCOS)矩阵。在其他实施方式中，数字微镜阵列可以被使用以代替LCD矩阵，或者有源LED矩阵可以替代地被使用。在更多其他实施方式中，扫描光束技术可以被用来形成右显示图像和左显示图像。

继续在图11中，显示窗口12还包括眼睛跟踪组件，其被配置为感测显示系统10的佩戴者的右眼或左眼28的瞳孔位置。在图11的实施方式中，眼睛跟踪组件采用成像系统的形式，该成像系统对来自佩戴者眼睛所反射的眼灯30的光进行成像。眼灯可以包括被配置为照亮眼睛的IR或近红外LED。在一个实施方式中，眼灯可以提供相对窄角度的照明，以在眼睛的角膜34上创建镜面闪烁32。成像系统包括至少一个相机36，其被配置为对眼灯的发射波长范围内的光成像。该相机可以被布置并且以其他方式被配置为捕获来自眼灯的从眼睛被反射的光。来自相机的图像数据被运送到机载计算机18中的相关联的逻辑。在那里，图像数据可以被处理以解析诸如瞳孔中心38、瞳孔轮廓40和/或来自角膜的一个或多个镜面闪烁32之类的特征。图像数据中的这些特征的位置可以被用作模型(例如，多项式模型)中的输入参数，其将特征位置与眼睛的凝视矢量42相关联。凝视矢量可以被用来瞄准佩戴者的FOV中的对象，以致动基于凝视的UI控件等。

在大多数情况下，来自LCD矩阵26的显示图像不适合于由显示系统10的佩戴者直接查看。特别地，显示图像可以偏离佩戴者的眼睛，可以具有不期望的聚散度(vergence)和/或非常小的出射光瞳孔。通过使显示图像通过水平和垂直光瞳孔扩展器44，显示图像被呈现在基本上覆盖眼睛的区域上。这使得佩戴者能够在光学系统和眼睛之间的适当水平和垂直偏移范围内看到显示图像。

佩戴者对虚拟显示图像的距离的感知受到右显示图像和左显示图像之间的位置差异的影响。该原理在图12中通过示例的方式被图示。图12示出了出于说明的目的彼此重叠的右图像帧48R和左图像帧48L。右图像帧和左图像帧分别对应于右显示窗口和左显示窗口的LCD矩阵26的图像形成区域。这样，右图像帧包围右显示图像50R，并且左图像帧包围左显示图像50L。适当地被绘制，右显示图像和左显示图像可以作为虚拟图像显现给佩戴者。在图12的示例中，虚拟图像呈现可由佩戴者查看的可单独绘制的轨迹的表面。参考图13，可查看表面的每个轨迹i具有与右显示图像和左显示图像的每个像素(Xi，Yi)相关联的深度坐标Zi。期望的深度坐标可以以下面的方式来模拟。

在开始，到显示系统10的焦平面F的距离Z0被选择。然后，左光学系统和右光学系统被配置为以适合于所选距离的聚散度呈现它们各自的显示图像。在一个实施方式中，Z0可以被设置为“无穷大”，使得每个光学系统呈现准直光线形式的显示图像。在另一实施方式中，Z0可以被设置为两米，要求每个光学系统以发散光的形式呈现显示图像。在一些实施方式中，Z0可以在设计时被选择，并且对于由显示系统呈现的所有虚拟图像保持不变。在其他实施方式中，光学系统可以配置有电子可调整的光学功率，以允许Z0根据虚拟图像通过其要被呈现的距离范围而动态地变化。

一旦已经建立到焦平面的距离Z0，可以设置用于可查看表面上的每个轨迹i的深度坐标Z。这是通过相对于它们各自的图像帧调整与右显示图像和左显示图像中的轨迹i相对应的两个像素的位置差异来完成的。在图13中，对应于右图像帧中的轨迹i的像素被表示为Ri，并且左图像帧的对应像素被表示为Li。在图13中，位置差异是正的——即，R在重叠图像帧中位于Li的右侧。这导致轨迹i显现在焦平面F后面。如果位置差异(disparity)为负，则轨迹将显现在焦平面的前方。最后，如果右显示图像和左显示图像重叠(没有差异，Ri和Li重合)，则轨迹将显现为直接位于焦平面上。在不将本公开内容与任何特定理论联系起来的情况下，位置差异D可以通过下式与Z、Z0和佩戴者的瞳孔间距离(IPD)相关。

在上述方法中，试图在右显示图像和左显示图像的对应像素之间引入的位置差异是“水平差异”，即与显示系统10的佩戴者的瞳孔间轴平行的差异。水平差异模仿真实对象深度对人类视觉系统的影响，其中在右眼和左眼中所接收的真实对象的图像沿着瞳孔间轴自然地偏移。

可以绘制任何期望复杂度的虚拟图像。在一个实施方式中，机载计算机18或板外计算机18'中的逻辑在被固定到显示系统10的参考系中维持佩戴者前方的笛卡尔空间的模型。佩戴者的瞳孔位置被映射到该空间，如同被定位在预定深度Z0处的图像帧48R和48L。然后，虚拟图像52被构造，其中图像的可查看表面的每个轨迹i具有在公共参考系中的坐标Xi、Yi和Zi。对于可查看表面的每个轨迹，两个线段被构造——第一线段到佩戴者右眼的瞳孔位置，第二线段到佩戴者左眼的瞳孔位置。对应于轨迹i的右显示图像的像素Ri被视为右图像帧48R中的第一线段的交叉点。同样，左显示图像的像素Li被视为左图像帧48L中的第二线段的交叉点。该过程自动提供适当的移位和缩放量以正确地绘制可查看表面，将每个轨迹i放置在距佩戴者期望的距离处。

此外，图12示出了捕获图像帧48C，其对应于被用来捕获增强现实图像以供稍后回放(例如，作为增强现实GIF的一部分)的面向世界的相机的视角。捕获图像帧48C包围捕获显示图像50C。图13的方法和相关描述可以被用来生成捕获图像48C，以使在所捕获的增强现实图像中，虚拟图像将显现为具有相对于真实世界图像的正确位置。本质上，相机镜头可以被认为是第三只眼睛，并且虚拟世界的视角可以以用于左眼和右眼的相同方式来绘制。

前述描述或附图的任何方面都不应被解释为限制意义，因为许多变型落入本公开的精神和范围内。例如，尽管图10的显示系统10是近眼显示系统，其中右显示图像显现在右显示窗口后面，而左显示图像显现在左显示窗口后面，但是右显示图像和左显示图像也可以被形成在同一屏幕上。在用于例如膝上型计算机或家庭影院系统的立体显示系统中，右显示图像可以使用一种偏振状态的光在显示屏上来形成，并且左显示图像可以使用不同偏振状态的光在同一显示屏幕上来形成。用户的眼镜中的正交对准的偏振滤光器可以被用来确保每个显示图像在适当的眼睛中被接收。

任何合适的增强现实设备可以被用来呈现虚拟提示，以辅助将增强现实设备的当前姿势与预定姿势对准。上述示例设备及其相应的传感器、逻辑和其他硬件组件是非限制性的。虽然以上描述使用术语“增强现实”来描述虚拟对象与真实世界对象的混合，但是以上描述同样适用于虚拟现实(即，只有虚拟对象而没有真实世界对象)和混合现实(即，增强现实的子集，其中虚拟对象具有相对于真实对象的世界锁定位置)。这样，在上面的描述中，术语“增强现实”可以与“虚拟现实”和“混合现实”互换。

在一些实施方式中，增强现实设备可以包括物理提示和虚拟提示的组合，以辅助增强现实设备的当前姿势与预定姿势对准。例如，当前姿势提示可以是增强现实设备的光学系统的永久特征，诸如十字准线或目标十字线。此外，预定姿势提示可以是相对于永久当前姿势提示可视地被呈现的虚拟指示符。

通信系统20可以被配置为将计算机与一个或多个其他机器通信地耦合。通信系统可以包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信系统可以被配置用于经由无线电话网络或有线或无线局域网或广域网进行通信。在一些实施方式中，通信系统可以允许计算机经由诸如因特网的网络向其他设备发送消息和/或从其他设备接收消息。

从前面的描述显而易见的是，本文所描述的方法和过程可以被限制到一个或多个计算机(即计算机)的计算机系统。这些方法和过程可以被实现为计算机应用程序或服务、应用程序编程接口(API)、库和/或其他计算机程序产品。

以简化形式在图10中被示出的是被用来支持本文所描述的方法和过程的计算机系统的非限制性示例。计算机系统中的每个计算机18包括逻辑机器76和指令存储机器78。计算机系统还包括显示窗口12R和12L形式的显示器、通信系统20以及图10中未被示出的各种组件。计算系统18可以代表任何合适的计算设备，诸如移动计算设备100、显示设备10或另一计算设备。

每个逻辑机器76包括被配置为执行指令的一个或多个物理设备。例如，逻辑机器可以被配置为执行作为一个或多个应用程序、服务、程序、例程、库、对象、组件、数据结构或其他逻辑构造的一部分的指令。这样的指令可以被实现以执行任务，实现数据类型，转换一个或多个组件的状态，实现技术效果，或以其他方式达到期望的结果。

每个逻辑机器76可以包括被配置为执行软件指令的一个或多个处理器。附加地或备选地，逻辑机器可以包括被配置为执行硬件或固件指令的一个或多个硬件或固件逻辑机器。逻辑机器的处理器可以是单核或多核的，并且在其上被执行的指令可以被配置用于顺序、并行和/或分布式处理。逻辑机器的各个组件可选地可以分布在两个或多个单独的设备中，这些设备可以被远程定位和/或被配置用于协同处理。逻辑机器的各方面可以由被配置在云计算配置中的远程可访问的联网计算设备虚拟化和执行。

每个指令存储机器78包括一个或多个物理设备，其被配置为保持由相关联的逻辑机器76可执行的指令，以实现本文所描述的方法和过程。当这样的方法和过程被实现时，指令存储机器的状态可以被转换——例如，以保持不同的数据。指令存储机器可以包括可移动和/或内置设备；它可以包括光学存储器(例如，CD、DVD、HD-DVD、蓝光光盘等)、半导体存储器(例如，RAM、EPROM、EEPROM等)和/或磁存储器(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)，以及其他的。指令存储机器可以包括易失性、非易失性、动态、静态、读/写、只读、随机访问、顺序访问、位置可寻址、文件可寻址和/或内容可寻址设备。

将被理解的是，每个指令存储机器78包括一个或多个物理设备。然而，本文所描述的指令的各方面备选地可以由通信介质(例如，电磁信号、光信号等)传播，该通信介质在有限的持续时间内不被物理设备保持。

逻辑机器和指令存储机器的各方面可以一起被集成到一个或多个硬件逻辑组件中。这种硬件逻辑组件可以包括例如现场可编程门阵列(FPGA)、程序和专用集成电路(PASIC/ASIC)、程序和应用程序专用标准产品(PSSP/ASSP)、片上系统(SOC)和复杂可编程逻辑器件(CPLD)。

术语“程序”和“引擎”可以被用来描述被实现为执行特定功能的计算机系统的方面。在一些情况下，程序或引擎可以经由执行由指令存储机器保持的指令的逻辑机器来实例化。将被理解的是，不同的程序和/或引擎可以从相同的应用程序、服务、代码块、对象、库、例程、API、功能等来实例化。同样，相同的程序和/或引擎可以由不同的应用程序、服务、代码块、对象、例程、API、功能等来实例化。术语“程序”和“引擎”可以包含单个可执行文件、数据文件、库、驱动程序、脚本、数据库记录等或它们的组合。

将被理解的是，本文所使用的“服务”是跨多个用户会话可执行的应用程序。服务可以对一个或多个系统组件、程序和/或其他服务是可用的。在一些实施方式中，服务可以在一个或多个服务器计算设备上运行。

通信系统20可以被配置为将计算机与一个或多个其他机器通信地耦合。通信系统可以包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信系统可以被配置用于经由无线电话网络或有线或无线局域网或广域网进行通信。在一些实施方式中，通信系统可以允许计算机经由诸如因特网的网络向其他设备发送消息和/或从其他设备接收消息。

在示例中，方法包括：确定物理空间中的增强现实设备的当前姿势，以及经由增强现实设备的显示器可视地呈现物理空间的增强现实视图，物理空间的增强现实视图包括指示物理空间中的预定姿势的预定姿势提示和指示物理空间中的当前姿势的当前姿势提示。在该示例和/或其他示例中，预定姿势提示可以具有相对于物理空间固定的世界锁定位置，并且当前姿势提示可以具有随着增强现实设备的当前姿势而改变的设备锁定位置。在该示例和/或其他示例中，在物理空间的先前所捕获的图像的捕获期间，预定姿势可以经由增强现实设备的姿势感测系统来确定。在该示例和/或其他示例中，方法进一步可以包括：经由显示器可视地呈现视觉对准提示，该视觉对准提示指示当前姿势提示至少部分地与预定姿势提示对准。在该示例和/或其他示例中，方法进一步可以包括：经由增强现实设备的音频扬声器可听地呈现音频对准提示，该音频对准提示指示当前姿势提示至少部分地与预定姿势提示对准。在该示例和/或其他示例中，方法进一步可以包括：在当前姿势提示与预定姿势提示对准时，在第一时间经由增强现实设备的相机捕获第一图像，以及在当前姿势提示与预定姿势提示对准时，在第一时间之后的第二时间经由相机捕获第二图像。在该示例和/或其他示例中，预定姿势提示可以是第一预定姿势提示，并且方法进一步可以包括：在当前姿势提示与第一预定姿势提示对准时，经由增强现实设备的相机捕获第一图像，经由显示器可视地呈现与第一预定姿势提示不同的第二预定姿势提示，以及在当前姿势提示与第二预定姿势提示对准时，经由相机捕获第二图像。

在示例中，增强现实设备包括：相机，该相机被配置为对物理空间成像；姿势感测系统，该姿势感测系统被配置为确定物理空间中的增强现实设备的当前姿势；显示器，逻辑机器，以及存储机器，该存储机器保持由逻辑机器可执行的指令，以便：接收物理空间中的预定姿势，以及经由显示器可视地呈现物理空间的增强现实视图，该物理空间的增强现实视图包括指示物理空间中的预定姿势的预定姿势提示和指示物理空间中的当前姿势的当前姿势提示。在该示例和/或其他示例中，预定姿势提示可以具有相对于物理空间固定的世界锁定位置，并且当前姿势提示可以具有随着增强现实设备的当前姿势而改变的设备锁定位置。在该示例和/或其他示例中，存储机器进一步可以保持由逻辑机器可执行的指令，以经由显示器可视地呈现视觉对准提示，该视觉对准提示指示当前姿势提示至少部分地与预定姿势提示对准。在该示例和/或其他示例中，预定姿势提示、当前姿势提示和视觉对准提示可以在视觉上彼此不同。在该示例和/或其他示例中，增强现实设备进一步可以包括音频扬声器，并且存储机器进一步可以保持由逻辑机器可执行的指令，以经由音频扬声器可听地呈现音频对准提示，该音频对准提示指示当前姿势提示至少部分地与预定姿势提示对准。在该示例和/或其他示例中，在物理空间的先前所捕获的图像的捕获期间，预定姿势可以经由姿势感测系统来确定。在该示例和/或其他示例中，预定姿势提示可以包括具有处于预定姿势的世界锁定位置的先前所捕获的图像。在该示例和/或其他示例中，预定姿势提示可以至少部分地指示来自预定姿势的视场，并且当前姿势提示可以至少部分地指示当前姿势的视场。在该示例和/或其他示例中，预定姿势提示可以包括第一共面标记集，并且当前姿势提示可以包括第二共面标记集。在该示例和/或其他示例中，存储机器进一步可以保持由逻辑机器可执行的指令，以在当前姿势提示与增强现实视图中的预定姿势提示对准时，在第一时间经由相机捕获物理空间的第一图像，以及在当前姿势提示与增强现实视图中的预定姿势提示对准时，在第一时间之后的第二时间经由相机捕获物理空间的第二图像。在该示例和/或其他示例中，预定姿势提示可以是第一预定姿势提示，并且存储机器进一步可以保持由逻辑机器可执行的指令，以在当前姿势提示与第一预定姿势提示对准时，经由相机捕获物理空间的第一图像，经由显示器可视地呈现与第一预定姿势提示不同的第二预定姿势提示，以及在当前姿势提示与第二预定姿势提示对准时，经由相机捕获第二图像。

在示例中，方法包括：在通过增强现实设备的相机捕获先前所捕获的物理空间图像期间，接收由增强现实设备采取的先前姿势，确定增强现实设备在物理空间中的当前姿势，以及经由增强现实设备的显示器可视地呈现包括预定姿势提示和当前姿势提示的物理空间的增强现实视图，其中预定姿势提示指示物理空间中的预定姿势，并且具有相对于物理空间固定的世界锁定位置，并且其中当前姿势提示指示物理空间中的当前姿势，并且具有随着增强现实设备的当前姿势而改变的设备锁定位置。在该示例和/或其他示例中，方法进一步可以包括经由显示器可视地呈现视觉对准提示，该视觉对准提示指示当前姿势提示至少部分地与预定姿势提示对准。

将被理解的是，本文所描述的配置和/或方法本质上是示例性的，并且这些特定实施例或示例不应被视为具有限制意义，因为许多变型是可能的。本文所描述的特定例程或方法可以表示任何数量的处理策略中的一个或多个。这样，所示出和/或描述的各种动作可以以所示出和/或描述的次序、以其他次序、并行地或省略地来执行。同样，上述过程的顺序可以被改变。

本公开的技术主题包括本文所公开的各种过程、系统和配置以及其他特征、功能、动作和/或属性的所有新颖和非显而易见的组合和子组合，以及其任何和所有等同物。

Claims (15)

1.一种增强现实设备，包括：

相机，所述相机被配置为对物理空间成像；

姿势感测系统，所述姿势感测系统被配置为确定所述物理空间中的所述增强现实设备的当前姿势；

显示器；

逻辑机器；以及

存储机器，所述存储机器保持由所述逻辑机器可执行的指令，以便：

接收所述物理空间中的预定姿势；以及

经由所述显示器可视地呈现所述物理空间的增强现实视图，

所述物理空间的所述增强现实视图包括指示所述物理空间中的所述预定姿势的预定姿势提示和指示所述物理空间中的所述当前姿势的当前姿势提示。

2.根据权利要求1所述的增强现实设备，其中所述预定姿势提示具有相对于所述物理空间固定的世界锁定位置，并且其中所述当前姿势提示具有随着所述增强现实设备的所述当前姿势而改变的设备锁定位置。

3.根据权利要求1所述的增强现实设备，其中所述存储机器进一步保持由所述逻辑机器可执行的指令，以便：

经由所述显示器可视地呈现视觉对准提示，所述视觉对准提示指示所述当前姿势提示至少部分地与所述预定姿势提示对准。

4.根据权利要求3所述的增强现实设备，其中所述预定姿势提示、所述当前姿势提示和所述视觉对准提示在视觉上彼此不同。

5.根据权利要求1所述的增强现实设备，进一步包括：

音频扬声器；以及

其中所述存储机器进一步保持由所述逻辑机器可执行的指令，以便：

经由所述音频扬声器可听地呈现音频对准提示，所述音频对准提示指示所述当前姿势提示至少部分地与所述预定姿势提示对准。

6.根据权利要求1所述的增强现实设备，其中在所述物理空间的先前所捕获的图像的捕获期间，所述预定姿势经由所述姿势感测系统而被确定。

7.根据权利要求6所述的增强现实设备，其中所述预定姿势提示包括具有处于所述预定姿势的世界锁定位置的所述先前所捕获的图像。

8.根据权利要求1所述的增强现实设备，其中所述预定姿势提示至少部分地指示来自所述预定姿势的视场，并且其中所述当前姿势提示至少部分地指示所述当前姿势的视场。

9.根据权利要求1所述的增强现实设备，其中所述预定姿势提示包括第一共面标记集，并且其中所述当前姿势提示包括第二共面标记集。

10.根据权利要求1所述的增强现实设备，其中所述存储机器进一步保持由所述逻辑机器可执行的指令，以便：

在所述当前姿势提示与所述增强现实视图中的所述预定姿势提示对准时，在第一时间经由所述相机捕获所述物理空间的第一图像；以及

在所述当前姿势提示与所述增强现实视图中的所述预定姿势提示对准时，在所述第一时间之后的第二时间经由所述相机捕获所述物理空间的第二图像。

11.一种方法，包括：

确定物理空间中的增强现实设备的当前姿势；以及

经由所述增强现实设备的显示器可视地呈现所述物理空间的增强现实视图，所述物理空间的所述增强现实视图包括指示所述物理空间中的预定姿势的预定姿势提示和指示所述物理空间中的所述当前姿势的当前姿势提示。

12.根据权利要求11所述的方法，其中所述预定姿势提示具有相对于所述物理空间固定的世界锁定位置，并且其中所述当前姿势提示具有随着所述增强现实设备的所述当前姿势而改变的设备锁定位置。

13.根据权利要求11所述的方法，其中在所述物理空间的先前所捕获的图像的捕获期间，所述预定姿势经由所述增强现实设备的姿势感测系统而被确定。

14.根据权利要求11所述的方法，进一步包括：

经由所述显示器可视地呈现视觉对准提示，所述视觉对准提示指示所述当前姿势提示至少部分地与所述预定姿势提示对准。

15.根据权利要求11所述的方法，进一步包括：

经由所述增强现实设备的音频扬声器可听地呈现音频对准提示，所述音频对准提示指示所述当前姿势提示至少部分地与所述预定姿势提示对准。