CN111226189B - 内容显示属性管理 - Google Patents

Abstract

提供了用于插入和转换内容的系统和方法。例如，插入的内容可以包括被插入到物理空间或诸如图像的物理空间的表示中的增强现实内容。示例系统和方法可以包括接收图像并在图像内识别与显示管理实体相关联的物理位置。示例系统和方法还可包括检索与显示管理实体相关联的内容显示参数。另外，示例系统和方法还可包括识别要显示的内容以及使用与显示管理实体相关联的显示参数来显示内容。

Description

内容显示属性管理

相关申请的交叉引用

本申请要求于2017年10月20日提交的美国申请No.62/574,984的优先权，其全部公开内容通过引用合并于此。

背景技术

内容可以插入到图像或用户的视野中，或以其他方式在三维(3D)环境中进行跟踪。例如，增强现实(AR)系统可以通过插入内容来为用户生成沉浸式增强环境。沉浸式增强环境可以通过将计算机生成的内容叠加在用户真实世界的视野上来生成。例如，计算机生成的内容可以包括标签，文本信息，图像，子画面和三维实体。可以将计算机生成的内容显示在用户视野中的某个位置，以便看起来像覆盖现实世界中的对象，并且即使在用户视野之外，也相对于真实世界在空间上保留下来。类似地，计算机生成的内容可以覆盖在显示的图像上。各种属性可用于在特定环境中显示计算机生成的内容。

发明内容

本公开描述了用于管理在显示插入的内容中使用的属性的系统和方法。例如，可以使用与物理位置和至少一个内容显示属性相关联的内容显示属性实体来显示插入的内容。

一方面，一种非暂时性计算机可读存储介质，包括存储在其上的指令，所述指令在由至少一个处理器执行时被配置为使计算系统至少：接收图像；识别与图像内的显示管理实体相关联的物理位置；检索与显示管理实体相关联的内容显示参数；识别要显示的增强现实内容；以及使用与显示管理实体相关联的显示参数在物理位置处显示增强现实内容。

另一方面，一种方法，包括：将显示管理实体与物理空间中的物理位置相关联；确定显示管理实体的显示参数；并存储显示参数。

又一方面，一种系统，包括：至少一个处理器；以及存储指令的存储器，所述指令当由所述至少一个处理器执行时，使所述系统：将第一显示管理实体与物理空间中的第一物理位置相关联；存储第一显示管理实体的第一显示参数；将第二显示管理实体与物理空间中的第二物理位置相关联；存储第二显示管理实体的第二显示参数；使用第一显示参数在第一位置处显示第一增强现实内容；以及使用第二显示参数在第二位置处显示第二增强现实内容。

一种或多种实现方式的细节在附图和以下描述中阐述。根据说明书和附图以及权利要求书，其他特征将显而易见。

附图说明

图1是示出根据示例实现方式的系统的框图。

图2是示例物理空间的第三人视角，其中用户通过图1的示例HMD正在体验AR环境。

图3A、图3B和图3C是描绘根据本文所述的实现方式的示例性头戴式显示设备和控制器的图。

图4是经由示例便携式电子设备经历AR环境的用户的示意图。

图5是根据本文描述的实现方式的设置用于显示内容的物理位置的示例方法的图。

图6是根据本文描述的实现方式的插入内容的示例方法的图。

图7A-图7H是根据本文所述的实现方式的插入和显示内容的步骤的示意图。

图8是根据本文描述的实现方式的插入内容的示例方法的图。

图9A-图9D是根据本文所述的实现方式的插入和显示内容的步骤的示意图。

图10示出了可用于实现本文描述的技术的计算机设备和移动计算机设备的示例。

具体实施方式

现在将详细参考本公开的非限制性示例，其示例在附图中示出。下面通过参考附图描述示例，其中，相同的附图标记指代相同的元件。当示出相同的附图标记时，不重复对应的描述，并且对于相同的元件的描述，感兴趣的读者参考先前讨论的附图。

增强现实(AR)系统包括将计算机生成的内容插入用户周围的物理空间的用户的感知中的系统。计算机生成的内容可以包括标签，文本信息，图像，子画面和三维实体。在一些实现方式中，出于娱乐，教育或信息目的而插入内容。例如，增强现实系统可以允许学生进行虚拟实地考察。在虚拟实地考察期间，学生可以使用增强现实来查看代表人工制品，动物和其他实体的内容。在一些实施例中，在用户占用的物理空间中的一个或多个物理位置处顺序地显示内容。

物理位置可以与显示管理实体相关联(例如，物理位置可以与显示管理实体具有一对一的关系)。在一些实现方式中，数据管理实体是存储各种类型的数据的数据结构的实例。例如，显示管理实体可以存储在存储器设备、文件或数据库中。在一些实现方式中，数据管理实体存储物理位置的坐标或以其他方式与物理位置相关联。显示管理实体可以例如存储在相关联的物理位置处显示内容时可以使用的一个或多个显示参数。

显示参数的非限制性示例包括针对一个或多个维度的显示尺寸参数，显示定向参数和显示偏移参数。可以例如将显示参数设置为适合周围的物理空间。当在物理位置显示内容时，可以将显示参数应用于内容。以此方式，内容的尺寸可以适当地被调整、正确被放置以进行查看以及正确地被定向。显示管理实体还可以与物理或数字视觉实体相关联，诸如可以显示在内容下方的表面或舞台。尽管本文中的许多示例涉及视觉内容和显示参数，但是某些实现方式也将类似的概念应用于音频内容和参数。例如，显示管理实体可以与用于呈现音频内容的参数相关联，诸如音频音量参数和偏移参数(例如，以控制声音从何处发出或看起来从哪里发出)。

教师或向导可以促进虚拟实地考察，并且可以例如在虚拟实地考察期间选择、切换或以其他方式管理显示给学生或访客的组的内容。可替代地，用户可以独立地探索虚拟实地考察的内容而无需教师或向导。在一些实现方式中，随着虚拟实地考察的进行，在特定物理位置处示出的内容改变。例如，可以在特定位置处顺序地显示内容集合，并且可以响应于用户输入或基于特定的时间流逝量而改变在特定位置处显示的内容。当显示不同的内容时，可以将与物理位置相关联的显示管理实体的显示参数应用于该内容。以这种方式，可以在物理位置处显示内容序列，以使得序列中的所有内容项都以相似的方式显示(例如，使用相同的显示参数)。

在一些实现方式中，序列的内容项可以在物理位置的序列中移位，其中使用相关联的显示管理实体在每个物理位置处显示内容项。例如，一个班级可以参加虚拟实地考察，其中在三个或更多位置显示内容。可以将学生分为分配到各个位置的小组。然后，内容项可以在物理位置之间移动，并基于相关联的显示管理实体来针对该物理位置适当地显示。例如，可以基于来自与内容隐式交互(例如，查看内容)的用户的用户输入(例如，动作或语音命令)或来自另一个用户(例如，向导或教师)的输入来更新内容。

示例AR系统是包括照相机和显示设备的便携式电子设备，诸如智能电话。便携式电子设备可以使用照相机捕获图像并且在显示设备上显示AR图像。AR图像可以包括叠加在照相机捕获的图像上的计算机生成的内容。

另一示例AR系统包括用户佩戴的头戴式显示器(HMD)。HMD包括位于用户眼前的显示设备。例如，HMD可能会遮挡用户的整个视野，因此用户只能看到显示设备显示的内容。在一些示例中，显示设备被配置为显示两个不同的图像，用户的每个眼睛都可以看到一个图像。例如，图像中的一个中的至少一些内容可以相对于另一图像中的相同内容稍微偏移，以便由于视差而产生对三维场景的感知。在一些实现方式中，HMD包括腔室，诸如智能电话的便携式电子设备可以放置在该腔室中，以允许通过HMD观看便携式电子设备的显示设备。

另一示例AR系统包括HMD，其允许用户在佩戴HMD的同时看到物理空间。HMD可以包括一个微型显示设备，该微型显示设备可以显示覆盖用户视野的计算机生成的内容。例如，HMD可以包括至少部分透明的遮阳板，该遮阳板包括组合器，该组合器允许来自物理空间的光到达用户的眼睛，同时还将微型显示设备显示的图像向用户的眼睛反射。

当将计算机生成的内容插入到图像中时，可以将各种转换和/或参数应用于该内容，以使该内容更加紧密地适合要插入该内容的物理空间。例如，可以对内容进行定位、缩放和定向以适合物理空间。对于诸如教师或向导的用户而言，调整每个内容项的位置、定向和比例以适应空间可能是繁琐且耗时的。此外，与AR系统进行交互以进行这些调整可能需要接收必须使用附加处理器周期进行处理的附加用户交互。本文进一步描述的技术允许使用适合于该位置的显示参数在特定位置显示插入的内容。这些技术使用户可以花更多的时间在查看内容，与内容交互和学习内容上，而不是例如缩放、定位和定向内容。此外，本文描述的技术要求AR系统使用较少的处理器周期来进行用户交互以定位，缩放和定向内容。

此外，由于本文所述技术所需的处理周期数量减少，因此这些技术可以允许以更快地适合周围空间的方式将内容插入捕获的图像/视频中，而用户交互较少，并且同时使用比传统技术所需少的功率。在包括电池供电的移动设备的AR系统中，降低的功率需求可能特别重要。

示例AR系统捕获用户周围的物理空间的图像。然后，系统可以确定与显示管理实体相关联的捕获图像中的一个或多个内的物理位置。例如，系统可以在物理空间内识别物理标记，诸如QR码、图片、贴纸或其他类型的视觉指示器。贴纸可以由乙烯基材料的纸和粘合剂形成，该粘合剂可以用于将贴纸永久地或临时地附着到物理空间中的表面。贴纸可以被配置为允许在物理空间内移除和重新附着。

在一些实现方式中，基于以下来基于映射到捕获图像的坐标系来确定物理位置：基于使用例如视觉定位系统或全球定位系统来确定AR系统的位置。然后可以识别内容以插入到物理位置。可以基于与显示管理实体相关联的内容显示属性(也称为显示属性)来调整内容。例如，显示管理实体可以与定义内容的目标尺寸的尺寸参数相关联。然后可以将识别出的内容缩放到目标尺寸。显示管理实体还可以定义偏移参数，例如，该偏移参数定义从标记的垂直偏移以显示内容。显示管理实体还可定义定向参数，该定向参数定义内容的定向(例如，内容应面向的方向)。

然后，可以使用与显示管理实体相关联的内容显示属性来显示调整后的内容。调整后的内容可以显示在所确定的物理位置处。例如，显示调整后的内容可以包括将调整后的内容添加到所确定的物理位置处的AR环境。调整后的内容可以在与确定的物理位置相对应的用户视野中的位置处覆盖在用户视野中。

另外，系统可以在物理位置生成与显示管理实体相关联的视觉实体。视觉实体可以包括在内容下方渲染的表面。例如，视觉实体可能类似于舞台。该系统还可以生成在内容附近显示的内容缩放的视觉指示(例如，文本指示器，调整尺寸的普通对象)。在一些实现方式中，作为虚拟实地考察的一部分，用户的组一起查看调整后的内容。在不同的时间，教师或向导可能会在物理位置加载新内容。然后，系统可以基于关联的显示管理属性来调整和显示新内容。

尽管本文描述的许多示例涉及将视觉内容插入AR环境的AR系统，但是也可以在其他系统中使用本文描述的技术来插入内容。例如，本文描述的技术可以用于将内容插入图像或视频。

图1是示出根据示例实现方式的系统100的框图。系统100为系统100的用户生成增强现实(AR)环境。在一些实现方式中，系统100包括计算设备102、头戴式显示设备(HMD)104和AR内容源106。还示出了网络108，计算设备102可以通过网络108与AR内容源106通信。

计算设备102可以包括存储器110、处理器组件112、通信模块114、传感器系统116和显示设备118。存储器110可以包括AR应用120、AR内容122、图像缓冲器124、位置引擎126、显示管理实体128和内容显示引擎130。计算设备102还可以包括各种用户输入部件(未示出)，诸如使用无线通信协议与计算设备102进行通信的控制器。在一些实现方式中，计算设备102是移动设备(例如，智能电话)，其可以被配置为经由HMD 104向用户提供或输出AR内容。例如，计算设备102和HMD104可以经由有线连接(例如，通用串行总线(USB)电缆)或经由无线通信协议(例如，任何WiFi协议、任何蓝牙协议、Zigbee等)进行通信。在一些实现方式中，计算设备102是HMD 104的部件，并且可以被包含在HMD 104的壳体内。

存储器110可以包括一个或多个非暂时性计算机可读存储介质。存储器110可以存储可用于为用户生成AR环境的指令和数据。

处理器组件112包括一个或多个设备，这些设备能够执行指令，诸如由存储器110存储的指令，以执行与生成AR环境相关联的各种任务。例如，处理器组件112可以包括中央处理单元(CPU)和/或图形处理器单元(GPU)。例如，如果存在GPU，则可以将某些图像/视频渲染任务——诸如使用来自显示管理引擎的显示参数来调整和渲染内容——从CPU卸载到GPU。

通信模块114包括一个或多个用于与诸如AR内容源106的其他计算设备进行通信的设备。通信模块114可以通过诸如网络108的无线或有线网络进行通信。

传感器系统116可以包括各种传感器，诸如照相机组件132。传感器系统116的实现方式还可以包括其他传感器，例如，包括惯性运动单元(IMU)134、光传感器、音频传感器、图像传感器、距离传感器、接近传感器、诸如电容传感器的接触传感器、计时器和其他传感器或传感器的不同组合。

IMU 134检测计算设备102或HMD 104的运动、移动和加速度中的一个或多个。IMU134可以包括各种不同类型的传感器，诸如，加速度计、陀螺仪、磁力计和其他此类传感器。可以基于IMU 134中包括的传感器提供的数据来检测和跟踪HMD 104的位置和定向。检测到的HMD104的位置和定向可以允许系统检测并跟踪用户的注视方向和头部移动。

在一些实现方式中，AR应用可以使用传感器系统116来确定用户在物理空间内的位置和定向，或者识别物理空间内的特征或对象。

照相机组件132捕获计算设备102周围的物理空间的图像(或视频)。照相机组件132可以包括一个或多个照相机。照相机组件132还可包括红外照相机。用照相机组件132捕获的图像可以用于确定计算设备102在诸如内部空间的物理空间内的位置和定向。例如，计算设备102可以包括视觉定位系统，该视觉定位系统将由照相机组件132捕获的图像(或者从那些图像中提取的特征)与物理空间内的特征的已知布置进行比较，以确定计算设备102在空间中的位置。

AR应用120可以经由HMD和/或计算设备102的诸如显示设备118、扬声器和/或其他输出设备的一个或多个输出设备向用户呈现AR内容或向用户提供AR内容。在一些实现方式中，AR应用120包括存储在存储器110中的指令，当指令由处理器组件112执行时，该指令使处理器组件112执行本文所述的操作。例如，AR应用120可以基于例如诸如AR内容122和/或从AR内容源106接收的AR内容的AR内容来生成AR环境并将其呈现给用户。AR内容122可以包括可能显示在HMD 104的用户视野的一部分上的诸如图像或视频之类的内容。例如，AR应用120可以为一个或多个用户生成与虚拟实地考察相对应的内容(例如，AR应用120可以将AR内容的显示与诸如也参加虚拟实地考察的其他学生正在使用的计算设备的其他计算设备进行协调)。内容可以包括覆盖物理空间各个部分的对象。内容可以被渲染为平面图像或三维(3D)对象。3D对象可以包括表示为多边形网格的一个或多个对象。多边形网格可以与诸如颜色和图像的各种表面纹理相关联。

AR应用120可以基于AR内容122使用图像缓冲器124、位置引擎126、显示管理实体128和内容显示引擎130来生成用于经由HMD 104显示的图像。例如，一个或多个由照相机组件132捕获的图像可以存储在图像缓冲器124中。AR应用120可以使用位置引擎126来确定图像内的一个或多个物理位置以插入内容。例如，位置引擎126可以分析图像以识别图像内的特征，从而可以将图像映射到与用于显示内容的物理位置相关联的坐标系。另外，位置引擎126可以分析图像以识别与用于显示内容的物理位置相关联的标记。物理位置的标记和/或坐标可以由用户在设置期间定义，而要显示的内容的相对属性可以在设置期间或在AR应用120(或另一个应用)的旅行创建者模式下定义。

一旦识别了物理位置，则AR应用120然后可以从显示管理实体128中识别与所识别的物理位置相关联的显示管理实体。内容显示引擎130随后可以使用来自所识别的显示管理实体的显示属性在所识别的物理位置处显示内容。AR应用120可以例如确定在任何给定时间显示哪些内容以及何时更新/改变内容。在一些实现方式中，AR应用120可以在由位置引擎126识别的多个不同物理位置处同时显示不同内容。

在一些实现方式中，内容显示引擎130还生成与物理位置相关联的视觉实体和/或与正在显示的内容无关的相关联的显示管理实体。例如，内容显示引擎130可以在将在内容下方的位置处显示表面。表面可能会允许内容在实心的数字平面上投射阴影，其中真实世界平面理解可能不够充分。该表面还可以将注意力吸引到物理位置(例如，即使没有显示其他内容时)。视觉实体也可以包括附加结构，诸如圆柱体或平台，以便看起来像舞台。

另外，内容显示引擎130可以生成要在内容附近显示的缩放视觉实体。例如，缩放视觉实体可以是对缩放的文本指示(例如1：2、1：10等)。在一些实现方式中，缩放视觉实体包括对普通对象的缩放的表示，其可以提供对关于该普通对象的内容的指示。缩放视觉实体的普通对象可以是一束头发(例如，用于细小/微观内容，诸如血细胞)、篮球(例如，用于中等尺寸的内容，诸如大多数哺乳动物)或校车(例如，对于大的内容，诸如恐龙或鲸鱼)。通过显示与这些缩放视觉实体相关的内容，观看者可能能够更直观地理解正在观看的内容的尺寸。

在一些实现方式中，AR应用120还可以在所识别的物理位置处生成各种其他视觉实体。例如，AR应用120可以在内容下方生成的表面上生成区域以请求用户输入。用户输入可以是例如对测验问题的答案、对下一个要显示的内容的投票或者用于调整内容的显示的命令等。用户可以在与特定输入相关联的区域(例如“是”区域和“否”区域)上保持他们的手或移动物理对象(例如硬币)进入该与特定输入相关联的区域以投票或回答测验。AR应用120还可基于所识别的物理位置和/或相关联的显示管理实体来解释各种用户动作。例如，用户手势可以到达与所识别的物理位置相关联的区域(例如，基于相关联的显示管理实体的偏移和尺寸参数)，然后向后拉。向后拉可以被解释为改变正在显示的内容(例如，缩放内容、旋转内容或移动内容)的手势。该手势还可以导致显示用户界面，该用户界面允许用户控制显示管理实体或与内容交互。在一些实现方式中，用户界面特定于正在显示的内容。

在一些实现方式中，AR应用120还可以被配置为接收使得内容以其实际现实世界尺寸显示的用户输入(例如，手势，语音命令，按钮的致动或其他类型的输入)。例如，响应于接收到用户输入，可以示出将内容从其当前尺寸缩放到其实际现实世界尺寸的动画。AR应用120还可被配置为接收用户输入，以基于内容相对于其他内容(例如，先前显示的内容或在另一物理位置处显示的内容)的相对尺寸来缩放内容。AR应用120可以例如支持可以经由用户界面选择的三种或更多种缩放模式，诸如使内容适合尺寸参数模式(fit-content-to-size-parameter mode)、现实世界尺寸模式(real-world size mode)和相对模式(relative mode)。例如，当活动(例如，被用户或教师选择)时，使内容适合尺寸参数模式使内容在显示时被缩放为指定的尺寸参数。当活动时，现实世界尺寸模式可能会使内容以其现实世界尺寸显示。当活动时，相对模式可以使内容以与其他内容(例如，先前显示的内容或其他地方显示的内容)相同的因子被缩放的尺寸来显示。

在一些实现方式中，图像缓冲器124是存储器110的经配置以存储一个或多个图像的区域。在一些实现方式中，计算设备102将由照相机组件132捕获的图像作为纹理存储在图像缓冲器124内。在一些实现方式中，图像缓冲器还可包括与处理器组件112集成在一起的存储器位置，诸如GPU上的专用随机存取存储器(RAM)。

在一些实现方式中，位置引擎126和内容显示引擎130可包括存储在存储器110中的指令，该指令在由处理器组件112执行时使处理器组件112执行本文所述的操作以生成(例如，经由HMD 104)显示给用户的图像或系列图像。显示管理实体128可以包括存储在存储器中的数据。

AR应用120可基于从照相机组件132、IMU 134和/或传感器系统116的其他部件接收的输入来更新AR环境。例如，IMU 134可检测计算设备102和/或HMD 104的运动、移动和加速度。IMU 134可包括各种不同类型的传感器，诸如，加速度计、陀螺仪、磁力计和其他此类传感器。可以基于IMU 134中包括的传感器提供的数据来检测和跟踪HMD 104的位置和定向。检测到的HMD 104的位置和定向可以允许系统检测并跟踪用户在物理空间内的位置和定向。基于检测到的位置和定向，AR应用120可以更新AR环境以反映环境中用户的改变的定向和/或位置。

尽管在图1中将计算设备102和HMD 104示出为单独的设备，在一些实现方式中，计算设备102可以包括HMD 104。在一些实现方式中，计算设备102经由电缆与HMD 104通信，如图1所示。例如，计算设备102可以将视频信号和/或音频信号传输到HMD 104以为用户显示，并且HMD 104可以将运动、位置和/或定向信息传输到计算设备102。

AR内容源106可以生成并输出AR内容，其可以经由网络108被分发或发送到一个或多个计算设备，诸如计算设备102。在示例实现方式中，AR内容包括三维场景和/或图像。另外，AR内容可以包括流传输或分发到一个或多个计算设备的音频/视频信号。AR内容还可以包括运行在计算设备102上以生成3D场景、音频信号和/或视频信号的AR应用。

网络108可以是互联网、局域网(LAN)、无线局域网(WLAN)和/或任何其他网络。例如，计算设备102可以经由网络接收音频/视频信号，其可以在说明性示例实现方式中作为AR内容的一部分被提供。

图2是示例物理空间200的第三人视角，其中用户正在通过示例HMD104体验AR环境202。AR环境202由计算设备102的AR应用120生成并通过HMD 104显示给用户。

物理空间200包括由标记206识别的物理位置204。在该示例中，标记206包括布置在圆形对象上的条形码。位置引擎126可以识别圆形对象的中间以识别物理位置，并且AR应用120可以基于条形码从显示管理实体128中检索显示管理实体。在一些实现方式中，标记206可以包括QR码、图像或贴纸。在一些实现方式中，使用贴纸以及放置贴纸的表面来识别物理位置。例如，相同的贴纸可以用于识别多个物理位置。在这样的示例中，位置引擎126可以基于贴纸后面的图像的视觉特征将多个物理位置彼此区分开(例如，第一物理位置与具有木纹表面的桌面上的第一贴纸相关联，第二物理位置与和第一贴纸相同但位于瓷砖地板上的第二贴纸相关联等)。在一些实现方式中，多个贴纸与单个物理位置相关联。可以放置贴纸以至少部分地定义可以在其中显示内容的区域的尺寸。贴纸的相对位置可以用于确定利用与物理位置204相关联的显示管理实体存储的尺寸参数和/或定向参数。

然后，使用识别出的物理位置204和关联的显示管理实体来生成AR环境202。例如，标记206可能已经由教师或向导放置在物理空间200中。另外，教师或向导可以在建立旅行或虚拟实地考察时将标记206与物理位置204和显示管理实体相关联。尽管此示例包括标记206，但是一些实现方式识别物理位置204而无需标记(例如，基于使用全球定位系统(GPS)、视觉定位系统、其他定位技术和/或IMU的传感器确定的计算设备102的位置和/或定向)。

AR环境202包括插入的内容208和显示在物理空间200的图像上方的插入的视觉实体210。在该示例中，内容208是乌龟，并且视觉实体210是位于内容208下方的舞台。视觉实体210可以与和物理位置204相关联的显示管理实体相关联。一些实现方式不包括视觉实体210或包括具有不同属性的视觉实体。例如，一些实现方式包括平坦的视觉实体210(而不是如图2所示升高的)。在一些实现方式中，视觉实体是至少部分透明的。

还在图2中示出显示管理实体的尺寸参数Sz和定向参数O。尺寸参数Sz和定向参数O用于调整内容208以在AR环境202中显示。尺寸参数Sz以Z维度(即，在该示例中为垂直维度)定义内容208的期望尺寸。某些实现方式可以按照其他维度或多个维度定义所需的尺寸，或者可以在所有三个维度中定义目标(或最大)尺寸。定向参数O可以根据一个或多个维度定义定向。为了说明的目的，在图2中示出了尺寸参数Sz和定向参数O。在至少一些实现方式中，尺寸参数Sz和定向参数O实际上没有在AR环境202中示出。在一些实现方式中，参数中的一个或多个可以在设置模式期间在AR环境202中示出或在用于调整参数的用户界面上示出。可以在显示内容之前或显示内容时(例如，响应于来自教师或向导用户的输入/命令)调整参数。响应于对参数的调整，可以调整内容和/或视觉实体的显示。

在某些实现方式中，如果尺寸参数在多个维度上定义目标尺寸，则可以为插入的内容确定统一的缩放因子，以便在定向后，将插入的内容缩放为适合每个维度的尺寸参数的最大尺寸。例如，可以针对插入的内容208在X维度、Y维度和Z维度中确定缩放因子。然后，可以用三个确定的缩放因子中的最小缩放因子来缩放插入的内容208，以便插入的内容208在所有三个维度上均适合目标尺寸。

在一些实现方式中，可以基于针对先前已经显示/插入的内容确定的缩放因子来缩放插入的内容208。例如，如果插入的内容208是内容序列的一部分，则插入的内容可以根据为序列中的第一内容项确定的缩放因子来缩放。以这种方式，各种内容项的相对缩放可以被传达给观看用户。例如，序列可以允许观看用户探索太阳系。序列中的第一内容项可以对应于可以首先显示的地球。可以根据与显示管理实体相关联的尺寸参数来确定地球内容的缩放因子。然后，还可以根据为地球内容确定的相同缩放因子来缩放太阳系中其他行星的内容。这样，其他行星的内容将以有助于传达行星相对尺寸的方式插入/显示。

在一些实现方式中，将AR环境202作为单个图像或立体图像对提供给用户，所述单个图像或立体图像对基本上占据用户的所有视野并且经由HMD 104显示给用户。在其他实现方式中，通过将插入的内容208显示/投影在占据用户视野的至少一部分的至少部分透明的组合器上，来向用户提供AR环境。例如，HMD 104的部分可以是透明的，并且当佩戴HMD104时，用户可能能够通过那些部分看到物理空间200。

图3A和图3B是示例性HMD 300的透视图，该示例性HMD 300例如是图2中的用户所佩戴的HMD 104，图3C示出了用于控制HMD 300和/或与HMD 300交互的示例性手持电子设备302。

手持电子设备302可以包括其中容纳设备302的内部部件的壳体303和位于壳体303外部的用户可访问的用户界面304。用户界面304可以包括被配置为接收用户触摸输入的触敏表面306。用户界面304还可包括用于用户操纵的其他部件，诸如例如，致动按钮、旋钮、操纵杆等。在一些实现方式中，用户界面304的至少一部分可以被配置为触摸屏，其中用户界面304的该部分被配置为向用户显示用户界面项，并且还可以在触敏表面306上接收来自用户的触摸输入。手持电子设备302还可以包括光源308，该光源308被配置为例如响应于在用户界面304处接收到的用户输入而通过壳体303中的通口选择性地发射光，例如光束或光线。

HMD 300可以包括耦合到框架320的壳体310，音频输出设备330包括例如安装在耳机中的扬声器，音频输出设备330也耦合到框架320。参照图3B，壳体310的前部310a旋转远离壳体310的基部310b，使得容纳在壳体310中的一些部件是可见的。显示器340可以安装在面向壳体310的前部310a的面向内部侧。当前部310a处于相对于壳体310的基部310b的接近的位置时，可以将透镜350安装在壳体310中，在用户的眼睛和显示器340之间。在一些实现方式中，HMD 300可以包括感测系统360和控制系统370以促进HMD 300的操作，感测系统360包括各种传感器，控制系统370包括处理器390和各种控制系统设备。

在一些实现方式中，HMD 300可以包括照相机380以捕获静止图像和运动图像。照相机380捕获的图像可以用于帮助跟踪用户和/或手持电子设备302在现实世界中的物理位置，或者相对于增强环境的物理空间，和/或可以在显示器340上以通过模式显示给用户，允许用户暂时离开增强环境并返回物理环境，而无需移除HMD 300或以其他方式改变HMD300的配置以将壳体310移出用户的视线。

例如，在一些实现方式中，感测系统360可以包括惯性测量单元(IMU)362，该惯性测量单元(IMU)362包括各种不同类型的传感器，诸如例如，加速度计、陀螺仪、磁力计以及其他这样的传感器。可以基于IMU 362中包括的传感器提供的数据来检测和跟踪HMD 300的位置和定向。检测到的HMD 300的位置和定向可以允许系统检测和跟踪用户的头部注视方向和移动。

在一些实现方式中，HMD 300可以包括注视跟踪设备265，以检测和跟踪用户的眼睛注视。注视跟踪设备365可以包括例如图像传感器365A或多个图像传感器365A，以捕获用户眼睛的图像，例如，用户眼睛的特定部分——诸如例如瞳孔——以检测并跟踪用户注视的方向和运动。在一些实现方式中，HMD 300可以被配置为使得检测到的注视被处理为用户输入，以被转换为沉浸式虚拟体验中的对应交互。

在一些实现方式中，HMD 300包括可移除地布置在壳体310的腔室内的便携式电子设备，诸如智能电话。例如，显示器340和照相机380可以由便携式电子设备提供。当腔室关闭时(如图3A所示)，显示器340与透镜350对准，使得用户可以通过每只眼睛观看(由便携式电子设备提供的)显示器340的至少一部分。照相机380可以与壳体310中的孔对准，使得HMD300的便携式电子设备可以在被布置在壳体310中时捕获图像。

图4是用户经由示例便携式电子设备402经历AR环境202的示意图。便携式电子设备402是计算设备102的示例。便携式电子设备402可以是智能电话、平板计算机或便携式计算设备的其他类型。在该示例中，用户正在通过便携式电子设备402的显示设备418来体验AR环境。例如，显示设备418可以包括可以显示图像和/或视频的屏幕。

图5是根据本文描述的实现方式的设置用于显示内容的物理位置的示例方法500的图。该方法500可以例如由计算设备102执行以使用AR环境为用户提供虚拟实地考察或旅行体验。此方法可以在用户体验AR环境之前，由教师、向导或从事旅游活动的其他用户执行。

在操作502，识别物理空间内的物理位置。例如，可以在物理空间的图像内识别物理位置。可以利用诸如照相机组件132之类的照相机组件来捕获图像。在一些实现方式中，可以检索存储在存储器位置中的先前捕获的图像。还可从诸如可通过网络访问的服务器的另一计算设备接收图像。在一些实现方式中，图像包括在图像捕获之前布置在物理空间中的一个或多个物理标记。可以使用图像处理技术来识别空间内的标记的位置，并因此识别在空间内的物理位置。用户还可以识别图像内的物理位置(例如，通过触摸/指向显示图像的显示设备上的位置)。

在操作504，将显示管理实体与所识别的物理位置相关联。在操作506，确定显示管理实体的显示参数。在一些实现方式中，用户输入显示管理实体的尺寸参数、定向参数和偏移参数中的一个或多个。此外，在某些实现方式中，基于应用默认、用户默认或位置默认来建议默认参数。

例如，特定的AR应用可以为显示的内容提供默认尺寸。此外，设置旅行的用户可能已为显示的内容定义了默认尺寸。作为另一示例，布置物理位置的物理空间可以定义显示的内容的默认尺寸。在一些实现方式中，默认尺寸是基于物理空间中和/或所识别的物理位置附近的最近生成的显示管理实体的尺寸参数来确定的。还可以基于物理空间的属性(例如，诸如物理位置处/周围的平面内的尺寸或可用体积)或参与的观看者数量(例如，连接更多用户并且更多用户将需要能够查看内容时，尺寸参数可以默认为较大的值)来确定默认尺寸。定向、偏移和其他显示参数可以类似的方式确定。在一些实现方式中，可以基于从计算设备上的传感器捕获的数据来全部或部分地确定参数。例如，来自位置传感器的地理位置数据可以指示物理位置在学校内，这可以用于推断年龄或可能的用户数量。然后，该信息可以用于确定适当的偏移或其他参数(例如，与高中生相比，对于小学生可以使用更低的偏移)。作为另一个示例，从照相机捕获的图像或视频可以用于识别观看者的数量，观看者的身高或围绕物理位置的观看者的估计年龄。在一些实现方式中，可以基于估计物理位置周围的空间体积、用户数量和/或测量背景噪声来确定音频音量参数。

在一些实现方式中，用户界面可以显示覆盖在物理空间的图像上的显示参数的指示器，以帮助用户可视化将如何使内容适合物理空间。例如，可以示出诸如图2中所示的关于尺寸参数Sz和定向参数O的那些的指示器。在一些实现方式中，确定用于显示与物理位置相关联的视觉实体的参数。例如，参数可以包括样式、几何模型的选择(例如，可以在其上显示内容的舞台、书桌、桌子、架子模型)和/或尺寸参数。在一些实现方式中，视觉实体也可以叠加在物理空间的图像上显示。

在操作508，存储与显示管理实体和显示参数相关联的数据。例如，可以在显示管理实体表中生成记录。该记录可以包括将显示管理实体与所识别的物理位置相关联的字段。

图6是根据本文描述的实现方式的插入内容的示例方法600的图。该方法600可以例如由计算设备102执行以为用户提供AR环境。方法600可以用于体验已经为物理空间配置的虚拟实地考察或旅行。

在操作602，接收图像。例如，图像可以由诸如计算设备102之类的计算设备的照相机组件捕获。捕获的图像可以作为纹理存储在图像缓冲器124中。图像也可以从诸如计算机可读存储设备的存储位置接收或通过网络从另一个计算设备接收。物理空间702的示例图像700在图7A中示出。

在操作604，在图像内识别与显示管理实体相关联的物理位置。如前所述，可以基于标记或基于相对于计算设备102的位置确定的物理坐标来识别物理位置。基于所识别的物理位置，与该位置相关联的显示管理实体也可以被识别。可以基于物理坐标和/或从标记(例如，以条形码或QR码编码的标识符)检索到的数据来识别显示管理实体。在图7A中，示例图像700中所示的示例物理空间702包括由标记706指示的物理位置704。

在操作606，检索与显示管理实体相关联的内容显示参数。内容显示参数改变内容如何在与显示管理实体相关联的物理位置处显示。例如，内容显示参数可以包括但不限于尺寸、定向和偏移参数。内容显示参数还可以包括改变内容如何着色的照明参数和其他参数。图7B包括尺寸参数Sz、定向参数OR和偏移参数OFz的示例表示。尺寸参数Sz定义了内容在Z维度上的期望尺寸(即本示例中的垂直维度)。在一些实现方式中，以不同维度或多个维度定义尺寸参数。尺寸参数也可以是无量纲的(例如，该参数可以定义任何维度的最大或最小长度)。定向参数OR定义内容的定向。在此示例中，定向参数OR定义了三轴坐标系，从而允许内容在三个维度上对准。一些实现方式可以包括根据单一维度(例如，正面方向或向上方向)定义的定向参数。偏移参数OFz定义了Z维度上的偏移(即此处的垂直维度)。在此示例中，偏移参数OFz将内容定位于标记上方，标记位于地面上。在一些实现方式中，偏移参数可以在多个维度上偏移内容(例如，偏移参数可以包括垂直和横向偏移)。

在操作608，识别要显示的内容。可以基于预定的实地考察虚拟旅行来识别内容。例如，虚拟旅行或实地考察可以定义要显示的内容序列。最初，识别来自序列的第一内容以进行显示。此后，可以响应于用户输入(例如，来自教师或向导)或基于预定的流逝时间段，将为显示而识别的内容更新为该序列中的下一个内容。图7C示出已经被识别为在AR环境中显示的内容720a的示例。

在操作610，使用与显示管理实体相关联的显示参数来显示内容。在一些实现方式中，内容在被显示之前基于显示参数来调整。图7C示出了在基于尺寸参数的调整(在720b)之后并且在基于定向参数OR的调整(在720c)之后的内容720a的示例。图7D示出了具有在位置704处显示为被偏移参数OFz偏移的调整内容720c的增强图像750。尽管在图7D中示出了显示参数Sz、OR和OFz的图示，但是这些显示参数通常不在增强环境中显示(除了在旅行/实地考察创建模式的某些实现方式中)。然后可以将增强图像显示给用户以提供增强环境。此外，内容720a可以投影到透明的合成器表面上，在该表面上它将在物理空间的用户的视野上显示。

在一些实现方式中，与显示管理实体相关联的视觉实体也被添加到增强图像。视觉实体的一个示例是类似于舞台的实体，其包括在插入的内容下方的表面。视觉实体可以提供表面以使内容看起来像坐在上面。视觉实体的表面还可以为内容提供表面以在其上投射阴影。在一些实现方式中，可以在添加内容之前将视觉实体添加到AR环境。以这种方式，视觉实体可以在添加内容之前将用户的注意力吸引到物理空间中的物理位置。示例视觉实体730在图7E中示出。

另外，视觉实体可以包括缩放指示器，以指示在增强环境中在相关联的物理位置处显示的内容的缩放。缩放指示器可以是覆盖在视觉实体的一部分上的文本条目。图7F示出了在视觉实体730的侧面上示出的示例缩放指示器732。在该示例中，缩放指示器732写着“缩放：1：2”，指示内容720c以1：2缩放被示出。

在一些实现方式中，缩放指示器可以包括已经被类似地缩放的附加对象。在一些实现方式中，附加对象是用户可能熟悉的对象，从而用户可以通过与附加对象进行比较来理解所添加内容的比例。例如，附加对象可以是一束头发、篮球、学校课桌或校车。图7G示出了已经被缩放到缩放指示器734b的附加对象734a的示例。图7H示出了在增强图像750中的视觉实体730上在内容720c旁边显示的缩放指示器734b。

图8是根据本文描述的实现方式的插入内容的示例方法800的图。该方法800可以例如由计算设备102执行以为用户提供AR环境。方法800可以用于体验已经针对包括多个用于显示内容的多个物理位置的物理空间配置的虚拟实地考察或旅行。

在操作802，捕获物理空间的图像。例如，图像可以由诸如计算设备102之类的计算设备的照相机组件捕获。捕获的图像可以作为纹理存储在图像缓冲器124中。在图9A中示出了物理空间902的示例图像900。

在操作804，在图像内识别与第一显示管理实体相关联的第一物理位置和与第二显示管理实体相关联的第二物理位置。尽管替代方案是可行的，但是可以基于所捕获图像内标记的存在来识别第一物理位置和第二物理位置。图9A示出了具有三个物理位置904a、904b和904c的物理空间902，每个物理位置分别由标记906a、906b和906c指示。

在操作806，检索与第一显示管理实体相关联的第一内容显示参数和与第二显示管理实体相关联的第二内容显示参数。如上所述，可以将诸如尺寸参数、定向参数和偏移参数的各种显示参数与显示管理实体相关联。图9B示出了分别与物理位置904a、904b和904c相关联的显示管理实体的示例尺寸参数Sza、Szb和Szc、定向参数ORa、ORb和ORc以及偏移参数OFza、OFzb和OFzc。

在操作808，识别要显示的第一内容和第二内容。如前所述，可以基于作为虚拟实地考察或旅行的一部分的内容的预定序列来识别内容。例如，第一内容可以被识别为序列中的第一内容项，第二内容可以被识别为序列中的第二内容项。

在操作810，使用第一显示参数在第一物理位置显示第一内容，并且使用第二显示参数在第二物理位置显示第二内容。如上所述，当基于来自与对应物理位置相关联的显示管理实体的显示参数来显示所识别的内容时，然后对所识别的内容进行缩放、定向，偏移和以其他方式调整。图9C示出了基于相关联的显示管理实体的显示参数在物理位置904a处显示内容920a的示例。同样，图9C示出了使用相关联的显示管理实体的显示参数分别在物理位置904b和904c处显示内容920b和920c的示例。在图9C中也示出了视觉实体930a、930b和930c。

在操作812，使用第二显示参数在第二物理位置显示第一内容，并且使用第一显示参数在第一物理位置显示第二内容。以这种方式，显示的内容被交换。在具有用于显示内容的两个以上物理位置的示例中，内容可以在这些位置之间循环。内容可响应于诸如来自观看者或向导/教师的用户输入的事件或时间段流逝而切换。当内容切换时，当前在当前位置显示的内容可能会停止显示，并且可能会显示新内容。在一些实现方式中，示出了当前正在显示的内容和新内容之间的过渡。例如，当前内容可以淡出，而新内容可以淡入。一些实现方式包括各种动画，以说明从一个内容到下一个内容的过渡(例如，内容可以从侧面滑出/滑入等)。过渡还可以包括按比例缩小当前内容和按比例放大新内容。一些实现方式通过识别当前内容的一个或多个表面平面并将这些表面平面变形为新内容的表面平面的位置和/或比例来过渡内容。

图9D示出了内容相对于图9C已经循环的示例。在图9D中，使用与物理位置904b相关联的显示管理实体的显示参数在物理位置904b显示内容920a，使用与物理位置904c相关联的显示管理实体的显示参数在物理位置904c显示内容920b，并且使用与物理位置904a相关联的显示管理实体的显示参数在物理位置904a显示内容920c。

在一些实现方式中，在物理位置中的多于一个物理位置处示出相同的内容。多个物理位置可以比单个位置允许更多用户查看内容。另外，在一些实现方式中，用户(例如，教师或向导)可能能够控制或调整在多个物理位置中的内容的显示。例如，用户可以提供用户输入以转换内容(例如，缩放、旋转)，并且作为响应，可以同时转换在多个物理位置处显示的内容。例如，可以将转换应用于每个物理位置的显示管理实体(或与其相关联的属性)。转换可以是相对因子(例如，缩放150％)或绝对因子(例如，在Z维度上缩放至10英尺)。在一些实现方式中，单个显示管理实体可以与多个物理位置相关联，使得这些多个物理位置的显示属性将是相同的。

图10示出了可以与这里描述的技术一起使用的计算机设备1000和移动计算机设备1050的示例。计算设备1000包括处理器1002、存储器1004、存储设备1006、连接到存储器1004和高速扩展端口1010的高速接口1008以及连接到低速总线1014和存储设备1006的低速接口1012。部件1002、1004、1006、1008、1010和1012中的每一个都使用各种总线互连，并且可以安装在通用主板上或视情况以其他方式安装。处理器1002可以处理用于在计算设备1000内执行的指令，包括存储在存储器1004或存储设备1006中的指令，以在诸如耦合到高速接口1008的显示器1016的外部输入/输出设备上显示GUI的图形信息。在其他实现方式中，可以适当地使用多个处理器和/或多个总线，以及多个存储器和存储器类型。而且，可以连接多个计算设备1000，每个设备提供必要操作的部分(例如，作为服务器组，刀片服务器组或多处理器系统)。

存储器1004将信息存储在计算设备1000内。在一个实现方式中，存储器1004是一个或多个易失性存储器单元。在另一实现方式中，存储器1004是一个或多个非易失性存储器单元。存储器1004还可以是另一种形式的计算机可读介质，诸如磁盘或光盘。

存储设备1006能够为计算设备1000提供大容量存储。在一个实现方式中，存储设备1006可以是或包含计算机可读介质，诸如软盘设备，硬盘设备，光盘设备，或磁带设备，闪存或其他类似的固态存储器设备或设备阵列，包括存储区域网络或其他配置中的设备。计算机程序产品可以有形地体现在信息载体中。该计算机程序产品还可以包含在被执行时执行诸如上述的一种或多种方法的指令。信息载体是计算机或机器可读介质，诸如存储器1004、存储设备1006或处理器1002上的存储器。

高速控制器1008管理计算设备1000的带宽密集型操作，而低速控制器1012管理较低带宽密集型操作。这种功能分配仅是示例性的。在一个实现方式中，高速控制器1008耦合到存储器1004、显示器1016(例如，通过图形处理器或加速器)以及耦合到高速扩展端口1010，其可以接受各种扩展卡(未示出)。在该实现方式中，低速控制器1012耦合到存储设备1006和低速扩展端口1014。包括各种通信端口(例如，USB、蓝牙、以太网、无线以太网)的低速扩展端口可以通过网络适配器耦合到一个或多个输入/输出设备，诸如键盘、定点设备、扫描仪或联网设备，诸如交换机或路由器。

计算设备1000可以以多种不同的形式实现，如图所示。例如，它可以被实现为标准服务器1020，或者多次被实现在这样的服务器组中。它也可以实现为机架服务器系统1024的一部分。此外，它还可以实现在诸如膝上型计算机1022之类的个人计算机中。或者，来自计算设备1000的部件可以与例如设备1050的移动设备中的其他部件(未示出)组合。这些设备中的每一个可以包含计算设备1000、1050中的一个或多个，并且整个系统可以由彼此通信的多个计算设备1000、1050组成。

计算设备1050包括处理器1052、存储器1064、诸如显示器1054的输入/输出设备、通信接口1066和收发器1068以及其他部件。设备1050还可被提供有存储设备，例如微驱动器或其他设备，以提供附加的存储。部件1050、1052、1064、1054、1066和1068中的每一个都使用各种总线互连，并且其中一些部件可以安装在通用主板上，也可以采用其他合适的方式安装。

处理器1052可以执行计算设备1050内的指令，包括存储在存储器1064中的指令。处理器可以被实现为包括分离的以及多个模拟和数字处理器的芯片的芯片组。处理器可以提供例如设备1050的其他部件的协调，诸如用户界面的控制，设备1050运行的应用以及通过设备1050的无线通信。

处理器1052可以通过控制接口1058和耦合到显示器1054的显示器接口1056与用户通信。显示器1054可以是例如TFT LCD(薄膜晶体管液晶显示器)或OLED(有机发光二极管)显示器或其他合适的显示技术。显示器接口1056可以包括用于驱动显示器1054向用户呈现图形和其他信息的适当电路。控制接口1058可以从用户接收命令并且将其转换以提交给处理器1052。另外，可以提供与处理器1052通信的外部接口1062，以便实现设备1050与其他设备的近距离通信。外部接口1062可以例如在一些实现方式中提供用于有线通信，或者在其他实现方式中提供用于无线通信，并且也可以使用多个接口。

存储器1064在计算设备1050内存储信息。存储器1064可以被实现为一个或多个计算机可读介质、一个或多个易失性存储器单元或一个或多个非易失性存储器单元中的一个或多个。还可以提供扩展存储器1074，并通过扩展接口1072将其连接到设备1050，扩展接口1072可以包括例如SIMM(单列直插存储器模块)卡接口。这样的扩展存储器1074可以为设备1050提供额外的存储空间，或者也可以为设备1050存储应用或其他信息。具体地，扩展存储器1074可以包括用于执行或补充上述过程的指令，并且还可以包括安全信息。因此，例如，扩展存储器1074可以被提供为设备1050的安全模块，并且可以用允许安全使用设备1050的指令来编程。此外，可以经由SIMM卡以及附加信息来提供安全应用，诸如以不可入侵的方式在SIMM卡上放置标识信息。

存储器可以包括例如闪存和/或NVRAM存储器，如下所述。在一个实现方式中，计算机程序产品有形地体现在信息载体中。该计算机程序产品包含在执行时执行诸如上述的一种或多种方法的指令。信息载体是计算机或机器可读介质，例如存储器1064、扩展存储器1074或处理器1052上的存储器，可以例如通过收发器1068或外部接口1062接收。

设备1050可以通过通信接口1066进行无线通信，该通信接口在必要时可以包括数字信号处理电路。通信接口1066可以提供各种模式或协议下的通信，诸如GSM语音呼叫、SMS、EMS或MMS消息收发、CDMA、TDMA、PDC、WCDMA、CDMA2000或GPRS等等。这样的通信可以例如通过射频收发器1068发生。此外，可以进行短距离通信，诸如使用蓝牙、Wi-Fi或其他这样的收发器(未示出)。此外，GPS(全球定位系统)接收器模块1070可以向设备1050提供其他与导航和位置相关的无线数据，设备1050上运行的应用可以适当地使用这些数据。

设备1050还可以使用音频编解码器1060在听觉上进行通信，音频编解码器1060可以从用户接收语音信息并将其转换为可用的数字信息。音频编解码器1060同样可以诸如通过扬声器为用户生成可听的声音，扬声器例如在设备1050的手机中。这种声音可以包括来自语音电话呼叫的声音，可以包括录制的声音(例如，语音消息、音乐文件等)，并且还可以包括由在设备1050上运行的应用生成的声音。

如图所示，可以以多种不同形式来实现计算设备1050。例如，它可以被实现为蜂窝电话1080。它也可以被实现为智能电话1082、个人数字助理或其他类似的移动设备的一部分。

这里描述的系统和技术的各种实现可以在数字电子电路、集成电路、专门设计的ASIC(专用集成电路)、计算机硬件、固件、软件和/或其组合中实现。这些各种实现方式可以包括在一个或多个计算机程序中的实现，该程序可以在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用的或通用的，其耦合以从中接收数据和指令，以及传输数据以及向存储系统，至少一个输入设备和至少一个输出设备的指令。

这些计算机程序(也称为程序，软件，软件应用或代码)包括用于可编程处理器的机器指令，并且可以以高级过程和/或面向对象的编程语言和/或以汇编/机器语言。如本文所使用的，术语“机器可读介质”是指用于以下目的的任何计算机程序产品，装置和/或设备(例如磁盘，光盘、存储器、可编程逻辑设备(PLD))：将机器指令和/或数据提供给可编程处理器，该可编程处理器包括接收机器指令作为机器可读信号的机器可读介质。术语“机器可读信号”是指用于向可编程处理器提供机器指令和/或数据的任何信号。

为了提供与用户的交互，可以在具有用于向用户显示信息的显示设备(LED(发光二极管)或OLED(有机LED)或LCD(液晶显示器)监视器/屏幕)以及键盘和用户可以通过其向计算机提供输入定点设备(例如，鼠标或轨迹球)的计算机上实现此处描述的系统和技术。其他种类的设备也可以用于提供与用户的交互。例如，提供给用户的反馈可以是任何形式的感觉反馈(例如，视觉反馈、听觉反馈或触觉反馈)；并且可以以任何形式接收来自用户的输入，包括声音、语音或触觉输入。

这里描述的系统和技术可以在包括以下的计算系统中实现：后端部件(例如，作为数据服务器)、或者包括中间件部件(例如，应用服务器)、或者包括前端组件(例如，具有用户可以通过其与此处描述的系统和技术的实现进行交互的图形用户界面或Web浏览器的客户端计算机)，或此类后端、中间件或前端部件的任意组合。系统的部件可以通过数字数据通信的任何形式或介质(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)和互联网。

计算系统可以包括客户端和服务器。客户端和服务器通常彼此远离，并且通常通过通信网络进行交互。客户端和服务器之间的关系是通过在各自计算机上运行并彼此具有客户端-服务器关系的计算机程序产生的。

在一些实现方式中，图9中所描绘的计算设备可以包括：与AR头戴式耳机/HMD设备1090对接的传感器，以生成用于查看物理空间内的插入内容的增强环境。例如，包括在图9中描绘的计算设备1050或其他计算设备上的一个或多个传感器可以向AR耳机1090提供输入，或者通常，可以向AR空间提供输入。传感器可以包括但不限于触摸屏、加速度计、陀螺仪、压力传感器、生物特征传感器、温度传感器、湿度传感器和环境光传感器。计算设备1050可以使用传感器确定AR空间中计算设备的绝对位置和/或检测到的旋转，然后可以将其用作AR空间的输入。例如，计算设备1050可以作为诸如控制器、激光指示器、键盘、武器等的虚拟对象被并入AR空间。当被并入AR空间时，用户对计算设备/虚拟对象的定位可以允许用户定位计算设备以便以某种方式在AR空间中观看虚拟对象。例如，如果虚拟对象表示激光指示器，则用户可以像实际的激光指示器一样操纵计算设备。用户可以左右、上下或以圆圈等移动计算设备，并以与使用激光指示器类似的方式使用设备。

在一些实现方式中，可以将包括在计算设备1050上或连接到计算设备1050的一个或多个输入设备用作AR空间的输入。输入设备可以包括但不限于触摸屏、键盘、一个或多个按钮、触控板、触摸板、定点设备、鼠标、轨迹球、操纵杆、照相机、麦克风、耳机或具有输入功能的芽，游戏控制器或其他可连接输入设备。当计算设备被合并到AR空间中时，与计算设备1050上包括的输入设备进行交互的用户会导致在AR空间中发生特定动作。

在一些实现方式中，计算设备1050的触摸屏可以被渲染为AR空间中的触摸板。用户可以与计算设备1050的触摸屏进行交互。例如，在AR头戴式耳机1090中，将该交互作为在AR空间中所渲染的触摸板上的移动来进行渲染。渲染的动作可以控制AR空间中的虚拟对象。

在一些实现方式中，计算设备1050上包括的一个或多个输出设备可以向AR空间中的AR头戴式耳机1090的用户提供输出和/或反馈。输出和反馈可以是视觉、战术或音频。输出和/或反馈可以包括但不限于振动、一个或多个灯或频闪灯的打开、关闭或闪烁和/或闪光、发出警报、播放铃声、播放歌曲以及播放音频文件。输出设备可以包括但不限于振动马达、振动线圈、压电设备、静电设备、发光二极管(LED)、闪光灯和扬声器。

在一些实现方式中，计算设备1050可以在计算机生成的3D环境中表现为另一对象。用户与计算设备1050的交互(例如，旋转、摇动、触摸触摸屏、在触摸屏上滑动手指)可以被解释为与AR空间中的对象的交互。这些动作可能会更改单个用户或多个用户的内容显示(例如，教师或向导的动作可能会更改所有参加虚拟旅行或实地考察的用户的内容显示)。在AR空间中的激光指示器的示例中，计算设备1050在计算机生成的3D环境中显现为虚拟激光指示器。当用户操纵计算设备1050时，AR空间中的用户看到激光指示器的移动。用户在计算设备1050或AR头戴式耳机1090上的AR环境中从与计算设备1050的交互中接收反馈。

在一些实现方式中，计算设备1050可以包括触摸屏。例如，用户可以与触摸屏交互以与AR环境交互。例如，触摸屏可以包括用户界面元素，诸如可以控制AR环境的属性的滑块，诸如与显示管理实体相关联的显示属性。用户界面元素还可以允许用户切换内容的缩放方式(例如，从基于相对缩放的缩放切换到现实世界的缩放)。一些实现方式还响应于2D触摸屏手势，诸如捏或轻扫以更改内容(例如，缩放、旋转或切换内容或显示属性)。例如，用户可以以可以模仿触摸屏上发生的事情和AR空间中发生的事情的特定方式与触摸屏进行交互。例如，用户可以使用捏型动作来扩缩/缩放在触摸屏上显示的内容。触摸屏上的这种捏式运动会导致AR空间中提供的信息被扩缩/缩放。另外，在一些实现方式中，计算设备1050可以支持物理世界中的3D手势。例如，将计算设备1050伸入由显示管理实体的尺寸参数定义的空间体积中，可以由计算设备1050解释为特定输入。致动物理按钮、触摸屏虚拟按钮或计算设备1050的其他用户可致动输入(例如，挤压或摇动运动)可以被识别为另一输入。一些实现将这些动作的组合视为与AR环境中的命令相对应的手势。例如，一些实现方式可以响应于用户伸出计算设备到定义的空间体积、挤压计算设备并将计算设备拉回而缩放内容。作为另一示例，在握住计算设备1050的同时的投掷动作可以被识别为抓取物品的命令。

在一些实现方式中，除了计算设备之外，还可以在计算机生成的3D环境中渲染一个或多个输入设备(例如，鼠标、键盘)。渲染的输入设备(例如，渲染的鼠标、渲染的键盘)可以在AR空间中被渲染时使用，以控制AR空间中的对象。

计算设备1000旨在代表各种形式的数字计算机和设备，包括但不限于膝上型计算机、台式计算机、工作站、个人数字助理、服务器、刀片服务器、大型机和其他适当的计算机。计算设备1050旨在代表各种形式的移动设备，诸如个人数字助理、蜂窝电话、智能电话和其他类似的计算设备。此处所示的组件，它们的连接和关系以及它们的功能仅是示例性的，并不意味着限制本文档中描述和/或要求保护的发明的实现。

已经描述了多个实施例。然而，将理解的是，可以在不脱离本说明书的精神和范围的情况下进行各种修改。

此外，附图中描绘的逻辑流程不需要所示的特定顺序或连续顺序来实现期望的结果。另外，可以从所描述的流程中提供其他步骤，或者可以从所描述的流程中去除步骤，并且可以向所描述的系统中添加其他部件或从中移除其他部件。因此，其他实施例在所附权利要求的范围内。

尽管已经如本文中所描述的那样描述了所描述的实现方式的某些特征，但是本领域技术人员现在将想到许多修改、替换、改变和等同物。因此，应理解，所附权利要求书旨在覆盖落入实现方式的范围内的所有此类修改和改变。应当理解，它们仅以示例而非限制的方式给出，并且可以进行形式和细节上的各种改变。除相互排斥的组合之外，本文描述的装置和/或方法的任何部分可以以任何组合进行组合。本文描述的实现方式可以包括所描述的不同实现方式的功能，部件和/或特征的各种组合和/或子组合。

以下给出一些示例。

示例1：一种方法，包括：将显示管理实体与物理空间中的物理位置相关联；以及确定显示管理实体的显示参数；并存储显示参数。

示例2：根据示例1所述的方法，其中，使用物理实体在物理空间内识别物理位置。

示例3：根据示例2所述的方法，其中，物理实体是视觉标记。

示例4：根据示例3所述的方法，其中，视觉标记包括QR码。

示例5：根据示例3所述的方法，其中，视觉标记包括图片。

示例6：根据示例3所述的方法，其中，视觉标记包括贴纸。

示例7：根据示例6所述的方法，其中，视觉标记还包括在贴纸下面的表面。

示例8：根据示例2所述的方法，其中，确定与显示管理实体相关联的物理空间中的位置包括：确定计算设备的位置；以及用计算设备捕获物理实体的图像；基于计算设备的位置和物理实体的图像来确定物理实体的位置；并基于所确定的物理实体的位置，将所述物理空间中的位置与所述显示管理实体相关联。

示例9：根据示例1所述的方法，其中，物理位置与物理空间内的位置坐标相关联。

示例10，根据示例1所述的方法，其中，所述显示参数包括尺寸参数，并且确定所述显示管理实体的显示参数包括：识别所述物理位置处的可用空间体积；以及基于可用空间体积来确定尺寸参数。

示例11：根据示例1所述的方法，其中，所述显示参数包括尺寸参数，并且确定所述显示管理实体的显示参数包括：确定期望同时观看在所述物理位置处显示的内容的用户数量；以及基于用户数量来确定尺寸参数。

示例12：根据示例1所述的方法，还包括：生成用于控制显示管理实体的显示参数的用户界面，该用户界面包括显示参数的视觉表示；以及显示覆盖在物理空间的图像上的用户界面。

示例13：根据示例12所述的方法，还包括：接收用户输入以调整显示参数；基于用户输入来更新显示参数的视觉表示；以及显示包括覆盖在物理空间的图像上的更新的视觉表示的用户界面。

示例14：根据示例1所述的方法，其中，显示参数包括尺寸参数，并且确定显示管理实体的显示参数包括：基于物理位置处的可用空间体积来确定尺寸参数。

示例15：根据示例1所述的方法，还包括：识别要与显示管理实体相关联地显示的第一增强现实内容；以及使用与显示管理实体相关联的显示参数在物理位置处显示第一增强现实内容。

示例16：根据示例15所述的方法，其中，显示参数包括尺寸参数，并且显示第一增强现实内容包括：基于尺寸参数来缩放第一增强现实内容。

示例17：根据示例15所述的方法，其中，所述显示参数包括定向参数，并且其中，显示所述第一增强现实内容包括：基于所述定向参数来定向所述第一增强现实内容。

示例18：根据示例15所述的方法，其中，显示参数包括偏移参数，并且其中，显示第一增强现实内容包括：基于偏移参数来定位第一增强现实内容。

示例19：根据示例18所述的方法，其中，偏移参数包括垂直偏移。

示例20：根据示例18所述的方法，其中，偏移参数包括横向偏移。

示例21：根据示例18所述的方法，其中，偏移参数包括横向偏移和垂直偏移。

示例22：根据示例15所述的方法，其中，所述显示参数包括照明参数，并且其中，显示所述第一增强现实内容包括：基于所述照明参数来对所述第一增强现实内容进行着色。

示例23：根据示例15所述的方法，还包括：识别要与显示管理实体相关联地显示的第二增强现实内容；以及在显示第一增强现实内容之后，切换到使用与显示管理实体相关联的显示参数在物理位置处显示第二增强现实内容。

示例24：根据示例23所述的方法，其中，切换到显示第二增强现实内容包括：停止显示第一增强现实内容；并显示第二增强现实内容。

示例25：根据示例23所述的方法，其中，切换到显示第二增强现实内容包括：从第一增强现实内容的显示过渡到第二增强现实内容的显示。

示例26：根据示例25所述的方法，其中，从所述第一增强现实内容的显示到所述第二增强现实内容的显示的过渡包括：使所述第一增强现实内容淡出；以及在使所述第一增强现实内容淡出的同时，使第二增强现实内容淡入。

示例27：根据示例26所述的方法，其中，从所述第一增强现实内容的显示到所述第二增强现实内容的显示的过渡包括：显示远离所述物理位置移动的所述第一增强现实内容；并显示向所述物理位置移动的第二增强现实内容。

示例28：根据示例26所述的方法，其中，从所述第一增强现实内容的显示到所述第二增强现实内容的显示的过渡包括：显示缩小的所述第一增强现实内容；并显示放大的第二增强现实内容。

示例29：根据示例23所述的方法，其中，使用与显示管理实体相关联的显示参数在物理位置处显示第二增强现实内容包括：使用与显示管理实体相关联的显示参数来确定第二增强现实内容的缩放因子；以及基于为第二增强现实内容确定的缩放因子来缩放第二增强现实内容。

示例30：根据示例23所述的方法，其中，使用与所述显示管理实体相关联的显示参数在所述物理位置处显示所述第二增强现实内容包括：基于使用与显示管理实体相关联的显示参数为所述第二增强现实内容确定的缩放因子来缩放所述第二增强现实内容。

示例31：根据示例23所述的方法，还包括：使用与显示管理实体相关联的显示参数在物理位置处显示附加的增强现实内容，包括基于使用与显示管理实体相关联的显示参数为先前显示的增强现实内容确定的缩放因子来缩放附加的增强现实内容。

示例32：根据示例15所述的方法，进一步包括基于物理位置来生成显示管理实体的视觉表示。

示例33：根据示例32所述的方法，其中，视觉表示包括可以在其上显示增强现实实体的表面。

示例34：根据示例33所述的方法，其中，所述表面是水平面。

示例35：根据示例32所述的方法，其中，视觉表示包括垂直表面。

示例36：根据示例15所述的方法，还包括显示视觉缩放实体，该视觉缩放实体基于与使用显示参数显示第一增强现实内容相关联的缩放因子被缩放。

示例37：一种方法，包括：将第一显示管理实体与物理空间中的第一物理位置相关联；存储第一显示管理实体的第一显示参数；将第二显示管理实体与物理空间中的第二物理位置相关联；存储第二显示管理实体的第二显示参数；使用第一显示参数在第一位置显示第一增强现实内容；以及使用第二显示参数在第二位置显示第二增强现实内容。

示例38：根据示例37所述的方法，其中第一增强现实内容和第二增强现实内容是从相同的内容生成的。

示例39：根据示例37所述的方法，其中，第一增强现实内容和第二增强现实内容是从不同的内容生成的。

示例40：根据示例39所述的方法，还包括：接收用户输入；响应于用户输入：使用第二显示参数在第二位置显示第一增强现实内容；以及使用第一显示参数在第一位置显示第三增强现实内容。

示例41：根据示例37所述的方法，还包括：接收用户输入；响应于用户输入：对第一显示参数应用转换；以及使用转换后的第一显示参数在第一位置显示第一增强现实内容。

示例42：根据示例41所述的方法，还包括：响应于用户输入：对第二显示参数应用转换；以及使用转换后的第二显示参数在第二位置显示第二增强现实内容。

示例43：一种方法，包括：将显示管理实体与物理空间中的第一物理位置相关联；将显示管理实体与物理空间中的第二物理位置相关联；存储显示管理实体的显示参数；使用显示参数在第一位置显示第一增强现实内容；以及使用显示参数在第二位置显示第二增强现实内容。

示例44：一种方法，包括：接收图像；识别与图像内的显示管理实体相关联的物理位置；检索与显示管理实体相关联的内容显示参数；识别要显示的内容；以及使用与显示管理实体相关联的显示参数显示内容。

Claims (20)

1.一种用于增强现实的方法，所述方法包括：

接收图像；

使用标记在所述图像内识别与显示管理实体相关联的物理位置；

检索与所述显示管理实体相关联的显示参数，其中，所述显示参数包括尺寸参数；

识别要显示的增强现实内容；以及

使用与所述显示管理实体相关联的显示参数在与所述标记相关联的所述物理位置处显示所述增强现实内容并且生成与所述物理位置相关联的视觉实体以供在所述标记和所述增强现实内容之间显示，其中，显示所述增强现实内容包括基于所述尺寸参数来缩放所述增强现实内容，并且其中，所述视觉实体包括所述增强现实内容被显示的结构，并且所述视觉实体包括缩放指示器，所述缩放指示器包括附加对象，所述附加对象的大小基于所述尺寸参数被类似缩放并且与所述增强现实内容一起显示。

2.根据权利要求1所述的方法，其中，所述显示参数包括定向参数，并且显示所述增强现实内容包括：基于所述定向参数来定向所述增强现实内容。

3.根据权利要求1所述的方法，其中，所述显示参数包括偏移参数，并且其中，显示所述增强现实内容包括：基于所述偏移参数来定位所述增强现实内容。

4.根据权利要求1所述的方法，还包括：

识别要与所述显示管理实体相关联地显示的附加增强现实内容；以及

在显示所述增强现实内容之后，切换到使用与所述显示管理实体相关联的显示参数在所述物理位置处显示所述附加增强现实内容。

5.根据权利要求4所述的方法，其中，切换到在所述物理位置处显示所述附加增强现实内容包括：

使用与所述显示管理实体相关联的显示参数来确定所述附加增强现实内容的缩放因子；以及

基于为所述附加增强现实内容所确定的缩放因子来缩放所述附加增强现实内容。

6.一种用于增强现实的方法，包括：

使用标记将显示管理实体与物理空间中的物理位置相关联；

确定所述显示管理实体的显示参数，其中，所述显示参数包括尺寸参数；

存储所述显示参数；以及

确定增强现实内容以使用所述显示参数显示在与所述标记相关联的所述物理位置处，并且确定与所述物理位置相关联的视觉实体以显示在所述标记和所述增强现实内容之间，其中，显示所述增强现实内容包括基于所述尺寸参数来缩放所述增强现实内容，并且其中，所述视觉实体包括所述增强现实内容被显示的结构并且所述视觉实体包括缩放指示器，所述缩放指示器包括附加对象，所述附加对象的大小基于所述尺寸参数被类似缩放并且与所述增强现实内容一起显示。

7.根据权利要求6所述的方法，其中，所述物理位置是使用物理实体在所述物理空间内被识别的，其中，所述物理实体是所述标记。

8.根据权利要求7所述的方法，其中，将所述显示管理实体与所述物理空间中的所述物理位置相关联包括：

确定计算设备的位置；

利用所述计算设备捕获所述物理实体的图像；

基于所述计算设备的位置和所述物理实体的所述图像来确定所述物理实体的位置；以及

基于所述物理实体的所确定的位置，将所述物理空间中的位置与所述显示管理实体相关联。

9.根据权利要求6所述的方法，其中，所述物理位置与所述物理空间内的位置坐标相关联。

10.根据权利要求6所述的方法，其中，确定所述显示管理实体的显示参数包括：

识别所述物理位置处的可用空间体积；以及

基于空所述可用空间体积来确定所述尺寸参数。

11.根据权利要求6所述的方法，其中，确定所述显示管理实体的显示参数包括：

确定期望同时观看在所述物理位置处显示的所述增强现实内容的用户数量；以及

基于所述用户数量来确定所述尺寸参数。

12.根据权利要求6至11中的任一项所述的方法，还包括：

生成用于控制所述显示管理实体的显示参数的用户界面，所述用户界面包括所述显示参数的视觉表示；以及

显示覆盖在所述物理空间的图像上的所述用户界面。

13.根据权利要求12所述的方法，还包括：

接收用户输入以调整所述显示参数；

基于所述用户输入来更新所述显示参数的视觉表示；以及

显示包括所更新的视觉表示的覆盖在所述物理空间的图像上的所述用户界面。

14.一种包括指令的非暂时性计算机可读存储介质，所述指令在由至少一个处理器执行时使计算系统执行根据权利要求1至13中的任一项所述的方法。

15.一种用于增强现实的系统，包括：

至少一个处理器；以及

存储指令的存储器，所述指令当由所述至少一个处理器执行时，使所述系统执行操作，所述操作包括：

使用第一标记将第一显示管理实体与物理空间中的第一物理位置相关联；

存储所述第一显示管理实体的第一显示参数，其中，所述第一显示参数包括第一尺寸参数；

使用第二标记将第二显示管理实体与所述物理空间中的第二物理位置相关联；

存储所述第二显示管理实体的第二显示参数，其中，所述第二显示参数包括第二尺寸参数；

使用所述第一显示参数在与所述第一标记相关联的第一位置处显示第一增强现实内容并且生成与所述第一位置相关联的第一视觉实体以供在所述第一标记和所述第一增强现实内容之间显示，其中，显示所述第一增强现实内容包括基于所述第一尺寸参数来缩放所述第一增强现实内容，并且其中，所述第一视觉实体包括所述第一增强现实内容被显示的第一结构，并且所述第一视觉实体包括第一缩放指示器，所述第一缩放指示器包括第一附加对象，所述第一附加对象的大小基于所述第一尺寸参数被类似缩放并且与所述第一增强现实内容一起显示；以及

使用所述第二显示参数在与所述第二标记相关联的第二位置处显示第二增强现实内容并且生成与所述第二位置相关联的第二视觉实体以供在所述第二标记和所述第二增强现实内容之间显示，其中，显示所述第二增强现实内容包括基于所述第二尺寸参数来缩放所述第二增强现实内容，并且其中，所述第二视觉实体包括所述第二增强现实内容被显示的第二结构，并且所述第二视觉实体包括第二缩放指示器，所述第二缩放指示器包括第二附加对象，所述第二附加对象的大小基于所述第二尺寸参数被类似缩放并且与所述第二增强现实内容一起显示。

16.根据权利要求15所述的系统，其中，所述第一增强现实内容和所述第二增强现实内容是从相同的内容生成的。

17.根据权利要求15所述的系统，其中，所述第一增强现实内容和所述第二增强现实内容是从不同的内容生成的。

18.根据权利要求15至17中的任一项所述的系统，其中，所述操作还包括：

接收用户输入；

响应于所述用户输入：

使用所述第二显示参数在与所述第二标记相关联的所述第二位置处显示所述第一增强现实内容；以及

使用所述第一显示参数在与所述第一标记相关联的所述第一位置处显示第三增强现实内容。

19.根据权利要求15至17中的任一项所述的系统，其中，所述操作还包括：

接收用户输入；

响应于所述用户输入：

对所述第一显示参数应用转换；以及

使用所转换的第一显示参数在与所述第一标记相关联的所述第一位置处显示所述第一增强现实内容。

20.根据权利要求19所述的系统，其中，所述操作还包括：

响应于所述用户输入：

对所述第二显示参数应用所述转换；以及

使用所转换的第二显示参数在与所述第二标记相关联的所述第二位置处显示所述第二增强现实内容。