CN111344749B

CN111344749B - 引向用户关注

Info

Publication number: CN111344749B
Application number: CN201880073506.1A
Authority: CN
Inventors: 泽维尔·贝纳维德斯·帕洛斯; 布雷特·巴罗斯; 保罗·贝沙尔
Original assignee: Google LLC
Current assignee: Google LLC
Priority date: 2017-11-20
Filing date: 2018-11-19
Publication date: 2024-04-12
Anticipated expiration: 2038-11-19
Also published as: US20200273251A1; CN111344749A; EP3714439A1; WO2019099979A1; US10922889B2

Abstract

提供了用于吸引对插入的内容内的兴趣点的关注的系统和方法。例如，插入的内容可以包括被插入到物理空间或诸如图像的物理空间的表示中的增强现实内容。示例系统和方法可以包括接收图像并识别要在图像上显示的内容。系统和方法还可以包括识别图像内的用于显示内容的位置并且识别内容的兴趣点。此外，示例系统和方法还可以包括通过以下来触发覆盖在图像上的内容的显示：基于兴趣点识别内容的一部分，使用第一阴影参数渲染内容的一部分；并且使用第二阴影参数渲染该部分之外的内容。

Description

引向用户关注

相关申请的交叉引用

本申请要求于2017年11月20日提交的标题为“DIRECTING USER ATTENTION”的美国专利申请No.62/588,739的优先权，其全部公开内容通过引用纳入本文。

背景

内容可以被插入到物理环境或另一三维(3D)环境的图像或用户视野中。例如，增强现实(AR)系统可以通过插入内容为用户生成沉浸式增强环境。沉浸式增强环境可以通过将计算机生成的内容叠加在真实世界的用户视野上来生成。例如，计算机生成的内容可以包括标签、文本信息、图像、子画面和三维实体。这些图像可以显示在用户视野中的位置上以便看起来像覆盖现实世界中的对象并且即使在用户视野之外也相对于现实世界在空间上保留。类似地，计算机生成的内容可以覆盖在显示的图像上。在诸如教育应用的某些应用中，将用户的关注吸引到插入的内容上的特定兴趣点可能会有所帮助。

发明内容

本公开描述了用于将用户关注引向到用户正在观看的诸如增强现实内容的插入的内容上的兴趣点的系统和方法。例如，可以使基于兴趣点所识别的插入的内容的一部分变暗使得与其余内容不同以吸引用户的关注。此外，可以渲染诸如圆锥形结构的指向实体以便从用户的观看位置可见并且指示观看插入的内容上的兴趣点的合适位置/方向。

在一个方面，方法包括：接收图像；识别要显示在所述图像上的内容；识别所述图像中的用于显示所述内容的位置；确定所述内容的兴趣点；通过基于所述兴趣点识别所述内容的部分来触发覆盖在所述图像上的所述内容的显示；使用第一阴影参数渲染内容的部分；并且使用第二阴影参数渲染除了该部分之外的内容。

在另一个方面，非暂时性计算机可读存储介质包括存储在其上的指令，当由至少一个处理器执行时，所述指令被配置成使计算系统至少：接收图像；识别要显示在所述图像上的内容；识别所述图像中的用于显示所述内容的位置；识别所述内容的兴趣点；以吸引对所述兴趣点的关注的方式触发覆盖在所述图像上的所述内容的显示；生成引向所述兴趣点的指向实体；并且触发覆盖在所述图像上的所述指向实体的显示。

在另一个方面，系统包括：至少一个处理器；以及存储指令的存储器，当由至少一个处理器执行时，所述指令使系统：接收图像；识别要显示在所述图像上的内容；识别所述图像中的用于显示所述内容的位置；识别所述内容的兴趣点；基于所述兴趣点识别所述内容的部分；使用第一阴影参数渲染所述内容的部分；使用第二阴影参数渲染除了该部分之外的内容；并且触发覆盖在所述图像上的所渲染的内容的显示。

在附图和以下描述中阐述了一种或多种实施方式的细节。根据说明书和附图以及根据权利要求书，其他特征将显而易见。

附图说明

图1是示出根据示例实施方式的系统的框图。

图2是其中用户通过图1的示例HMD正在体验AR环境的示例物理空间的第三人称视角。

图3A、图3B和图3C是描绘根据本文所述的实施方式的示例性头戴式显示设备和控制器的图。

图4是用户经由示例便携式电子设备体验AR环境的示意图。

图5是根据本文所述的实施方式的插入内容并且吸引对POI的关注的示例方法的图。

图6是根据本文所述的实施方式的插入内容并且吸引对POI的关注的示例方法的图。

图7A至图7B是根据如本文所述的实施方式的具有被显示的POI的内容的示意图。

图8示出了可用于实现本文描述的技术的计算机设备和移动计算机设备的示例。

具体实施方式

现在将详细参考本公开的非限制性示例，其示例在附图中示出。以下通过参考附图描述示例，其中，相同的参考数字指的是相同的元件。当示出相同的参考数字时，不再重复对应的描述并且感兴趣的读者可以参考先前讨论的附图来描述相同的元件。

增强现实(AR)系统包括将计算机生成的内容插入用户对用户周围的物理空间的感知中的系统。例如，插入的内容可以包括三维结构。在某些情况下，将吸引对插入的内容的特定部分(即兴趣点(POI))的关注可能是有用的。兴趣点可以位于所插入的三维结构上的任何位置，包括在该结构的背向AR系统的用户的一侧。在用户移动到AR环境内的新位置之前，这些POI可能不可见。此外，即使当用户位于观看POI的位置时，用户可能难以识别POI而不修改或干扰POI的观看。因此，当涉及将用户的关注引向AR内容中的特定兴趣点时，AR系统中存在技术问题。本文公开的实施例通过使AR环境以吸引对特定POI的关注的方式被显示来提供对这个技术问题的技术解决方案。例如，可以使用与其余AR环境的阴影参数不同的阴影参数来渲染POI或围绕POI的AR内容的区域。在一些实施方式中，可以使用普通阴影来渲染POI而使用暗阴影来渲染AR环境的其余部分。有益地，不同的阴影参数可以吸引对POI的关注而不会改变POI的外观。一些实施方式还使指向POI的指向实体被显示。可以基于用户的位置生成指向实体使得从用户的视点出发指向实体将用户引向POI。有益地，指向实体可以帮助用户识别和定位在不面向用户的AR内容的一侧上的POI。

图1是示出根据示例实施方式的系统100的框图。系统100为系统100的用户生成增强现实(AR)环境。在一些实施方式中，系统100包括计算设备102、头戴式显示设备(HMD)104和AR内容源106。还示出了计算设备102可以与AR内容源106进行通信的通信网络108。

计算设备102可以包括存储器110、处理器组件112、通信模块114、传感器系统116和显示设备118。存储器110可以包括AR应用120、AR内容122、图像缓冲器124、位置引擎126、关注引擎128和内容显示引擎130。

AR应用120可以将计算机生成的内容插入用户对用户周围的物理空间的感知中。计算机生成的内容可以包括标签、文本信息、图像、子画面和三维实体。在一些实施方式中，出于娱乐、教育或信息目的而插入内容。例如，增强现实系统可以允许学生进行虚拟实地旅行。在虚拟实地旅行期间，学生可以使用增强现实来观看表示人工制品、动物或其他实体的内容。

AR应用120可以以吸引对POI的关注的方式显示内容。例如，系统可以为POI生成聚光灯效果。在一些实施方式中，聚光灯效果包括使用不同的阴影参数渲染围绕POI的内容区域并且渲染外观上与从聚光灯发出的光锥相似的指向实体。

如上所述，AR应用120可以使用不同的阴影参数显示内容以便将兴趣点与内容的其他部分区分开。例如，兴趣点可以使用比内容的其他部分更亮的阴影参数渲染。以这种方式，兴趣点可以看起来像有引向它的聚光灯。例如，与和关联于POI的三维坐标相距预定阈值距离内的内容的部分相对应的像素可以使用比内容的其他部分更亮的阴影参数来渲染。在一些实施方式中，在预定阈值之外的像素用降低围绕兴趣点的像素的亮度的阴影参数渲染(例如，像素的颜色值由小于1.0的诸如0.7的乘数缩放)。当渲染内容以吸引对POI的关注时，使用差异阴影参数可能会比使用定向光源具有多个优势。首先，差异阴影参数允许识别弯曲的(例如，大致圆形，球形区域)而无需考虑定向光源的位置。相反，定向光源通常会导致椭圆形区域基于由于来自光源的入射角而引起的变形而识别出。第二，差异照明允许识别复杂的几何形状的整体(例如，具有叶子的树枝)而不考虑(例如，由复杂的几何形状的其他部分引起的)阴影。此外，与使用定向光源相比使用差异照明可以使用更少的处理周期，因为定向光源可以影响POI之外的表面并且需要额外的渲染资源。

AR应用120的一些实施方式可以生成指向实体以吸引用户对POI的关注。指向实体可以帮助用户从远处找到POI并且确定观察POI的视角或位置。在POI位于内容的不面向用户的表面上因此用户无法看到POI的差异阴影的情况下，指向实体可能特别有益。在这些情况下，指向实体可以是对用户仍然可见的并且可以帮助用户识别出与内容有关的可以从中观察POI的位置。在一些实施方式中，指向实体被生成为具有布置在内容上方或下方的垂直偏移处的圆锥形顶点(或点)的圆锥形结构。以这种方式，指向实体的至少一部分将不会被内容遮挡。在一些实施方式中，当内容表面的法线向量指向下方时偏移在内容下方，并且当内容表面的法线向量指向上方时偏移在内容上方。

AR应用120还可以使圆锥形顶点从内容侧向偏移使得指向实体的圆锥形结构看起来从侧面指向POI。在一些实施方式中，至少部分地选择圆锥形结构的圆锥形顶点的位置，以便具有垂直于用户视轴的分量。当用户移动时，圆锥形顶点的位置也可以移动。在一些实施方式中，圆锥形结构(或其一部分)可以被渲染为部分透明的。例如，可以将透明度梯度应用于其中圆锥形顶点被渲染为具有较低的透明度或不具有透明度而圆锥形底部被渲染为完全透明的圆锥形结构。透明度级别可以沿着圆锥形从圆锥形顶点到底部逐渐增加。以这种方式，圆锥形结构的圆锥形底部不会遮挡用户对POI的观看而圆锥形顶点将是可见的以将用户引导到POI。

此外，当用户不面向内容时，AR应用120的一些实施方式吸引用户对POI的关注。在这些实施方式中，可以在用户的外围视野中生成球状光源以指示用户应转向面对的方向。此外，发光的球体或微光可以在AR或虚拟现实(VR)环境中移动以将用户引导到插入的内容和/或与内容相关联的POI。在一些实施方式中，当定向用户时指向实体可能会增长以使指向实体位于用户视野的外围。然后，随着用户转向指向实体，指向实体可能会缓慢收缩。这样，随着用户的方向对齐指向实体，指向实体将变得更小并且更精确地指向所需的目标POI。

AR应用120可以允许老师或向导能够便于虚拟实地旅行，例如，并且可以选择、切换或以其他方式管理在虚拟实地旅行期间显示给一组学生或访客的内容。替代地，用户可以在没有老师或向导的情况下独立地探索虚拟实地旅行的内容。在一些实施方式中，随着虚拟实地旅行的进行，在特定物理位置处示出的内容发生变化。例如，可以在特定位置处顺序地显示一组内容，并且可以响应于用户输入或基于特定的流逝时间量而改变在特定位置处显示的内容。在一些实施方式中，老师或向导可以观看内容的2D地图和与内容相关联的POI。然后，老师或向导可以在2D地图上选择POI以激活那个POI的指向实体。

在一些实施方式中，AR应用120可以使包括多个POI的内容被显示，并且AR应用120可以被配置成顺序地吸引用户对那些POI的关注。例如，可以(例如，基于游览中确定的顺序，基于与用户的接近度或基于来自老师或导游用户的输入)选择第一POI。在用户到达并观看第一个POI之后，可以删除与那个POI相关联的差异阴影和指向实体。此后，可以将差异阴影应用于第二POI并且可以为第二实体生成指向实体，等等。在一些实施方式中，指向实体可以从第一POI移动到第二POI(例如，指向实体可以在AR环境中从第一POI浮动到第二POI)。

AR应用120可以使计算设备102捕获围绕用户的物理空间的图像。然后，AR应用120可以确定要在捕获的图像内插入内容的物理位置。例如，AR应用120可以在物理空间内识别诸如QR码、图片、贴纸或其他类型的视觉指示器的物理标记。贴纸可以由乙烯基材料和粘合剂的纸形成，其可以用于将贴纸永久地或临时地附着到物理空间中的表面。贴纸可以被配置成允许在物理空间内移除和重新附着。

在一些实施方式中，AR应用120可以基于映射到所捕获的一个图像/多个图像的坐标系基于确定计算设备102的位置基于例如使用视觉定位系统或全球定位，确定物理位置。然后，内容可以被识别以插入在物理位置处。内容可以包括一个或多个POI并且当插入内容时，可以以吸引用户对该POI的关注的方式诸如通过模拟引向POI的聚光灯，显示内容。

HMD 104可以包括位于用户眼睛前方的显示设备。例如，HMD 104可以遮挡用户的整个视野使得用户只能看到由显示设备显示的内容。在一些示例中，显示设备被配置成显示两个不同的图像，每个用户的眼睛都可以看到一个。例如，其中一个图像中的至少一些内容可以相对于其他图像中的相同内容稍微偏移以便由于视差而生成对三维场景的感知。在一些实施方式中，HMD 104包括其中可以布置计算设备102(例如，诸如智能手机的便携式电子设备)的腔室以便允许通过HMD 104观看计算设备102的显示设备。在一些实施方式中，HMD 104也可以被配置为生成VR环境。

作为另一个示例，HMD 104可以允许用户在佩戴HMD的同时看到物理空间。HMD 104可以包括显示覆盖在用户视野上的计算机生成的内容的微型显示设备。例如，HMD 104可以包括至少部分透明的护目镜，该护目镜包括允许来自物理空间的光到达用户眼睛同时还将微显示设备显示的图像朝向用户眼睛反射的组合器。

一些实施方式可以不包括HMD104。在这些实施方式中的至少一些中，计算设备102是包括相机和显示设备的诸如智能电话的便携式电子设备。AR应用120可以使便携式电子设备可以使用相机捕获图像并且在显示设备上显示包括覆盖在由相机捕获的图像上的计算机生成的内容的AR图像。

尽管本文所述的许多示例涉及将用户关注引向插入的内容上的POI的AR应用，诸如AR应用120，但是本文所述的技术也可以并入其他类型的系统中。例如，本文所述的技术可用于将用户关注吸引到在VR环境中或图像或视频中的POI。

传感器系统116可以包括各种传感器，诸如相机组件132。传感器系统116的实施方式还可以包括其他传感器，例如，包括惯性运动单元(IMU)134、光传感器、音频传感器、图像传感器、距离和/或接近传感器、诸如电容传感器的接触传感器、计时器、和/或其他传感器和/或传感器的不同组合。

IMU 134检测计算设备102和/或HMD 104的运动、移动和/或加速度。例如，IMU134可以包括各种不同类型的传感器，诸如加速度计、陀螺仪、磁力计和其他此类传感器。可以基于IMU 134中包括的传感器提供的数据来检测和跟踪HMD 104的位置和定向。检测到的HMD 104的位置和定向可以允许系统检测和跟踪用户的注视方向和头部移动。

在一些实施方式中，AR应用可以使用传感器系统116来确定用户在物理空间内的位置和定向和/或识别物理空间内的特征或对象。

AR应用120可以经由HMD和/或计算设备102的一个或多个输出设备诸如显示设备118、扬声器和/或其他输出设备向用户呈现AR内容或向用户提供AR内容。在一些实施方式中，AR应用120包括存储在存储器110中的指令，当由处理器组件112执行时，指令使处理器组件112执行本文所述的操作。例如，AR应用120可以基于AR内容诸如AR内容122和/或从AR内容源106接收的AR内容，来生成AR环境并将该AR环境呈现给用户。AR内容122可以包括可以在HMD 104中的用户视野的一部分上显示的诸如图像或视频的内容。例如，AR应用120可以为一个或多个用户生成与虚拟实地旅行相对应的内容(例如，AR应用120可以将AR内容的显示与其他计算设备进行协调)。内容可以包括覆盖物理空间的各个部分的对象。内容可以被渲染为平面图像或三维(3D)对象。3D对象可以包括表示为多边形网格的一个或多个对象。多边形网格可以与诸如颜色和图像的各种表面纹理相关联。

AR应用120可以基于AR内容122使用图像缓冲器124、位置引擎126、关注引擎128和内容显示引擎130来生成图像以经由HMD 104显示。AR内容可以与一个或多个POI相关联(或包括一个或多个POI)。例如，由相机组件132捕获的一个或多个图像可以存储在图像缓冲器124中。AR应用120可以使用位置引擎126来确定图像内的一个或多个物理位置以插入内容。例如，位置引擎126可以分析图像以识别图像内的特征以使图像可以被映射到与用于显示内容的物理位置相关联的坐标系。此外，位置引擎126可以分析图像以识别与用于显示内容的物理位置相关联的标记。物理位置的标记和/或坐标可以由用户在设置过程中定义。

一旦已经识别了物理位置，那么内容显示引擎130就可以在所识别的物理位置处显示内容。在一些实施方式中，关注引擎128可以将内容显示引擎130引向使用各种参数用于显示内容，诸如差异阴影参数，以将用户的关注引向到内容上的POI。此外，关注引擎128可以生成指向实体，诸如圆锥形结构，以指向POI和/或光源而将用户引导向POI。例如，AR应用120可以确定在任何给定的时间显示哪些内容，何时更新/改变内容，吸引用户关注哪个POI以及何时切换到另一个POI。在一些实施方式中，AR应用120可以在由位置引擎126所识别的多个不同物理位置处同时显示不同的内容。

在一些实施方式中，图像缓冲器124是存储器110的被配置成存储一个或多个图像的区域。在一些实施方式中，计算设备102将由相机组件132捕获的图像作为纹理存储在图像缓冲器124内。图像缓冲器还可以包括与处理器组件112集成在一起的存储器位置，诸如在GPU上的专用随机存取存储器(RAM)。

在一些实施方式中，位置引擎126和内容显示引擎130可以包括存储在存储器110中的指令，当由处理器组件112执行时，指令使处理器组件112执行本文所述的操作以生成(例如，经由HMD 104)显示给用户的图像或系列图像。

AR应用120可以基于从传感器系统116的相机组件132、IMU 134和/或其他组件接收的输入来更新AR环境。例如，IMU 134可以检测计算设备102和/或HMD 104的运动、移动和/或加速度。例如，IMU 134可以包括各种不同类型的传感器，诸如加速度计、陀螺仪、磁力计和其他此类传感器。可以基于IMU 134中包括的传感器提供的数据来检测和跟踪HMD 104的位置和定向。检测到的HMD 104的位置和定向可以允许系统检测和跟踪用户在物理空间中的位置和定向。基于检测到的位置和定向，AR应用120可以更新AR环境以反映用户在该环境中的已改变的定向和/或位置。

存储器110可以包括一个或多个非暂时性计算机可读存储介质。存储器110可以存储可用于为用户生成AR环境的指令和数据。

处理器组件112包括能够执行指令(诸如由存储器110存储的指令)以执行与生成AR环境相关联的各种任务的一个或多个设备。例如，处理器组件112可以包括中央处理单元(CPU)和/或图形处理器单元(GPU)。例如，如果存在GPU，一些图像/视频渲染任务，诸如调整和渲染内容和指向实体，可能会从CPU卸载到GPU。

通信模块114包括用于与诸如AR内容源106的其他计算设备进行通信的一个或多个设备。通信模块114可以经由诸如网络108的无线或有线网络进行通信。

相机组件132捕获计算设备102周围的物理空间的图像和/或视频。相机组件132可以包括一个或多个相机。相机组件132还可以包括红外相机。用相机组件132捕获的图像可以用于确定计算设备102在诸如内部空间的物理空间内的位置和定向。例如，计算设备102可以包括视觉定位系统，该视觉定位系统将由相机组件132捕获的图像(或者从那些图像中提取的特征)与物理空间内的特征的已知布置进行比较以确定计算设备102在空间内的位置。

计算设备102还可以包括各种用户输入组件(未示出)，诸如使用无线通信协议与计算设备102进行通信的控制器。在一些实施方式中，计算设备102是移动设备(例如，智能电话)，其可以被配置成经由HMD 104向用户提供或输出AR内容。例如，计算设备102和HMD104可以经由有线连接(例如，通用串行总线(USB)电缆)或者经由无线通信协议(例如，任何WiFi协议，任何蓝牙协议，Zigbee等)进行通信。在一些实施方式中，计算设备102是HMD 104的组件并且可以被包含在HMD 104的壳体内。

尽管在图1中将计算设备102和HMD 104示出为单独的设备，但是在一些实施方式中，计算设备102可以包括HMD104。在一些实施方式中，计算设备102经由电缆与HMD 104通信，如图1所示。例如，计算设备102可以将视频信号和/或音频信号发送到HMD 104以供用户显示，并且HMD 104可以将运动、位置和/或定向信息发送到计算设备102。

AR内容源106可以生成并且输出AR内容，其可以经由网络108被分发或发送到一个或多个计算设备，诸如计算设备102。在示例实施方式中，AR内容包括三维场景和/或图像。此外，AR内容可以包括流传输或分发到一个或多个计算设备的音频/视频信号。AR内容还可以包括运行在计算设备102上以生成3D场景、音频信号和/或视频信号的AR应用。

网络108可以是互联网、局域网(LAN)，无线局域网(WLAN)和/或任何其他网络。例如，计算设备102可以经由网络接收可以在说明性示例实施方式中作为AR内容的一部分被提供的音频/视频信号。

图2是其中用户正在通过示例HMD 104体验AR环境202的示例物理空间200的第三人称视角。AR环境202由计算设备102的AR应用120生成并且通过HMD 104显示给用户。

物理空间200包括由标记206所识别的物理位置204。在这个示例中，标记206包括布置在圆形对象上的条形码。例如，位置引擎126可以识别圆形对象的中间以识别物理位置，并且AR应用120可以基于来自标记206的条形码来识别要在AR环境202中的那个物理位置处显示的内容。附加地或替代地，标记206可以包括QR码、图像或贴纸。

例如，标记206可能已经由老师或向导放置在物理空间200中。尽管这个示例包括标记206，但是一些实施方式在没有标记的情况下识别物理位置204(例如，基于如使用全球定位系统(GPS)、视觉定位系统、其他位置确定技术、和/或IMU的传感器所确定的计算设备102的位置和/或定向)。此外，在一些实施方式中，标记206不一定包括标识符(例如，条形码、QR码等)。

AR环境202包括插入的内容208，其包括兴趣点(POI)210和被显示在物理空间200的图像上的指向实体212。在这个示例中，内容208是建筑物并且POI 210是建筑物一侧的特征。在这个示例中，指向实体212具有围绕引向POI 210的轴的圆锥形结构。指向实体212的圆锥形顶点比指向实体212的圆锥形底部更远离POI 210。此外，指向实体212以其中圆锥形结构在圆锥形顶点附近完全不透明并且在底部附近完全透明的透明度梯度显示。在图2中，较高的透明度显示为较深的阴影并且较高的不透明度显示为较浅的阴影。还可以看出，指向实体212的圆锥形底部在POI 210上方偏移。

在一些实施方式中，将AR环境202作为单个图像或一对基本上占据用户的所有视野并且经由HMD 104显示给用户的立体图像提供给用户。在其他实施方式中，可以通过将插入的内容208显示/投影在占据用户视野的至少一部分的至少部分透明的组合器上向用户提供AR环境。例如，HMD 104的一些部分可以是透明的，并且当佩戴HMD 104时用户可能能够通过这些部分看到物理空间200。

图3A和图3B是示例性HMD 300(例如，诸如图2中的用户所佩戴的HMD 104)的透视图，并且图3C示出了用于控制HMD 300和/或与HMD 300交互的示例性手持电子设备302。

手持式电子设备302可以包括其中容纳设备302的内部组件的壳体303，以及在壳体303外部上的用户可访问的用户界面304。用户界面304可以包括配置成接收用户触摸输入的触敏表面306。用户界面304还可以包括用于用户操纵的其他组件，例如，诸如致动按钮、旋钮、操纵杆等。在一些实施方式中，用户界面304的至少一部分可以被配置为触摸屏，其中用户界面304的那部分被配置成向用户显示用户界面项并且也在触敏表面306上接收来自用户的触摸输入。手持电子设备302还可以包括光源308，例如，光源308被配置成响应于在用户界面304处接收到的用户输入而通过壳体303中的端口选择性地发射光，例如光束或射线。

HMD 300可以包括耦合到框架320的壳体310，音频输出设备330包括例如安装在耳机中的扬声器，音频输出设备330也耦合到框架320。在图3B中，壳体310的前部310a被旋转远离壳体310的圆锥形底部310b使得容纳在壳体310中的一些部件是可见的。显示器340可以安装在壳体310的前部310a的面向内部的侧面上。当前部310a抵靠壳体310的圆锥形底部310b处于闭合位置时，可以将透镜350安装在壳体310中的用户眼睛与显示器340之间。在一些实施方式中，HMD 300可以包括具有各种传感器的感测系统360以及包括处理器390和各种控制系统设备以促进HMD 300的操作的控制系统370。

在一些实施方式中，HMD 300可以包括用于捕获静止图像和运动图像的相机380。相机380捕获的图像可以用于帮助跟踪用户和/或手持电子设备302在现实世界中的物理位置、或者相对于增强环境的物理空间，和/或可以在直通模式中在显示器340上显示给用户从而允许用户暂时离开增强环境并返回物理环境而无需移除HMD 300或以其他方式改变HMD 300的配置以将壳体310移出用户的视线。

例如，在一些实施方式中，感测系统360可以包括具有各种不同类型的传感器(诸如加速度计、陀螺仪、磁力计和其他此类传感器)的惯性测量单元(IMU)362。可以基于IMU362中包括的传感器提供的数据来检测和跟踪HMD 300的位置和定向。检测到的HMD 300的位置和定向可以允许系统检测和跟踪用户的头视方向和移动。

在一些实施方式中，HMD 300可以包括注视跟踪设备265以检测和跟踪用户的眼睛注视。例如，注视跟踪设备365可以包括图像传感器365A或多个图像传感器365A以捕获用户眼睛(例如，用户眼睛的特定部分，例如瞳孔)的图像，以检测并跟踪用户注视的方向和移动。在一些实施方式中，HMD 300可以被配置成使得所检测的注视被处理为用户输入以被转换为AR或VR环境中的对应交互。

在一些实施方式中，HMD 300包括可移除地布置在壳体310的腔室内的便携式电子设备，诸如智能电话。例如，显示器340和相机380可以由便携式电子设备提供。当腔室关闭时(如图3A所示)，显示器340与透镜350对齐使得用户可以通过每只眼睛观看(由便携式电子设备提供的)显示器340的至少一部分。相机380可以与壳体310中的孔对齐使得HMD 300的便携式电子设备可以在被布置在壳体310中时捕获图像。

图4是用户经由示例便携式电子设备402体验AR环境202的示意图。便携式电子设备402是计算设备102的示例。便携式电子设备402可以是智能电话、平板电脑或其他类型的便携式计算设备。在这个示例中，用户正在通过便携式电子设备的显示设备418来体验AR环境。例如，显示设备418可以包括能够显示图像和/或视频的屏幕。

图5是根据本文描述的实施方式的插入内容并且吸引对POI的关注的示例方法500的图。例如，这个方法500可以由计算设备102执行以使用AR环境为用户提供虚拟实地旅行或游览体验。

在操作502处，接收图像。例如，图像可以由诸如计算设备102的计算设备的相机组件捕获。捕获的图像可以作为纹理存储在图像缓冲器124中。在一些实施方式中，可以从诸如计算机可读存储设备的存储位置或者经由网络从另一个计算设备接收图像。

在操作504处，识别要显示的内容。可以基于预定的实地旅行的虚拟游览来识别内容。例如，虚拟游览或实地旅行可以定义要显示的内容序列。最初，来自序列的第一内容被识别用于显示。此后，可以响应于(例如，来自老师或向导的)用户输入或基于预定的时间段流逝，将用于显示的所识别的内容更新到序列中的下一个内容。

在操作506处，在图像内识别显示内容的位置。如前所述，可以基于标记或基于相对于计算设备102的位置确定的物理坐标来识别物理位置。基于所识别的物理位置，可以识别在AR环境中的三维坐标。所识别的内容可以以特定定向显示在所识别的位置，该特定定向例如可以由老师、向导或已设置虚拟游览的用户来配置。

在操作508处，识别在内容内要显示的POI。POI可以是老师、向导或任何其他人想吸引关注的任何东西。例如，POI可以是图2所示的建筑物的架构特征。POI可以位于内容上的任何位置。取决于用户的视点和内容的定向，POI可以放置在内容的不面向用户的部分上。此外，在一些实施方式中，多个POI与内容相关联。在这些实施方式中，可以最初识别那些POI之一。

在操作510处，以吸引对所识别的POI的关注的方式在图像上显示内容。例如，在渲染内容时可以将光球效果(例如，使用差异阴影参数)应用于内容以便与POI相关(或接近)的内容的一部分使用比内容的剩余部分更亮的照明设置来显示。如果POI在用户可以看到的内容的一侧，那么用户将会把POI视为内容上的亮点。此外，在一些实施方式中，指向实体被渲染以吸引用户对POI的关注。例如，指向实体可以帮助用户找到位于从用户当前位置无法看到的内容一侧的POI。在一些实施方式中，光球和指向实体产生类似于聚光灯的效果。

图6是根据本文描述的实施方式的插入内容并且吸引对POI的关注的示例方法600的图。例如，这个方法600可以由计算设备102执行以使用AR环境为用户提供虚拟实地旅行或游览体验。

在操作602处，识别要在图像上显示的内容和内容内的POI。相对于图5来描述识别内容和POI的示例。在图7A中示出了所识别的内容702和内容702上的POI 704的示例的侧视图的图示700A。在提供了俯视图的图7B中还示出了内容702和POI 704。

在操作604处，基于POI来识别内容的部分。例如，可以基于到与POI相关联的三维坐标的距离来识别该部分。在一些实施方式中，基于围绕POI的球体来识别该部分(例如，在距三维坐标的预定阈值距离内的内容的所有部分都被识别为该部分)。在图7A中，示出了示例所识别的部分706。基于被包含在以POI 704为中心的球体708内来识别示例所识别的部分706。

在操作606处，基于用户的位置和兴趣点来识别指向原点。在图7A中示出了具有指向原点712的示例指向实体710。指向原点712可以是指向实体710看起来起源的位置。指向实体710可以与在指向原点712和POI 704之间延伸的轴对齐。图7B示出了围绕其布置指向实体710的轴线714。

在一些实施方式中，指向原点712从内容702垂直偏移使得指向实体710看起来起源于内容702上方或下方。在一些实施方式中，垂直偏移是静态值。在其他实施方式中，垂直偏移是基于内容的垂直尺寸和用户相对于内容的位置确定的。例如，可以确定垂直偏移使得内容702不会将指向原点712遮挡在用户的视野中。因此，当用户离内容702更近和/或当内容具有较大的垂直尺寸时可以选择更大的垂直偏移。此外，可以基于在POI处的内容的表面的法线向量来确定垂直偏移的方向。例如，当表面的法线向量具有向下的分量时，垂直偏移可以为负(下方)，并且当表面的法线向量具有向上的分量时，垂直偏移可以为正(上方)。

在一些实施方式中，指向原点712也从内容702横向偏移。例如，图7B示出了用于将指向原点712横向偏移的一种技术。在内容702周围布置了圆720。在一些实施方式中，圆720可以以内容702的中点为中心。此外，圆的大小可以设置为完全包含内容。在一些实施方式中，圆通过大于1的预定因子(例如1.5、2.0)进一步缩放。在这个示例中，圆720比将完全包含内容702的圆大约大50％(即，使用大约1.5的缩放因子)。在其他实施方式中，可以使用不同的缩放因子。一条线从用户U穿过POI 704投影到圆720以生成初始指向原点724。初始指向原点724可用于计算围绕初始指向轴728的初始指向实体726。

在一些实施方式中，确定初始指向轴728和线722之间的角度。在这个示例中，初始指向轴728与线722共线使得角度为零。如果角度小于预定因子，可以将初始指向原点724沿着圆720的周长移位。在这个示例中，初始指向原点724被移位到指向原点712。

例如，指向原点712可以移位了预定因子(例如30度)到用户的一侧或另一侧。在一些实施方式中，选择一侧以指示用户应步行到达POI的方向(例如，右侧围绕内容的路径可能比左侧短)。如图7B中可以看出的，在移位之后，轴线714将不会与用户和POI 704之间的线共线。以这种方式，当指向实体710被显示时，它将不会直接指向用户。取而代之的是，用户将看到指向实体710的倾斜/侧视图，这可能对确定移动到哪里查看POI 704更为有用。在一些实施方式中，随着用户移动，指向原点712的位置被更新。

在一些实施方式中，可以至少部分基于在POI处的内容表面的法线方向(或围绕POI的内容表面的平均法线)来确定指向原点712。指向原点712也可以被移位或移动使得它不穿过用户。在一些实施方式中，当用户处于指向实体的路径中时，可以不再渲染指向实体。在一些实施方式中，还可以基于实际物理位置的属性来确定指向原点。例如，指向原点可以与房间中的已知光源或物理位置中的另一个公共位置(例如，老师的桌子或老师或向导的物理位置)对齐。在一些实施方式中，可以旋转内容以使POI与房间的照明对齐(例如，如果物理房间中有单个光源)。指向实体和指向原点也可以与物理设备(例如老师或向导的智能手机)相关联并且可以随着设备的移动而四处移动。此外，指向实体可以连接到智能手机的手电筒功能(例如，当老师在智能手机上启用手电筒时，指向实体被激活)。

在一些实施方式中，用户可以添加POI，然后可以与AR或VR环境中的其他用户共享POI。例如，用户可以触摸智能手机的屏幕上与期望的POI相对应的屏幕的部分。作为另一个示例，老师或向导可以观看VR或AR环境中的所有用户的表示，其中每个用户向用户在VR或AR环境中关注的区域发出指向实体。以这种方式，老师或向导可以了解或观察参与者对什么感兴趣以及参与者如何与AR或VR环境互动。

在操作608处，基于指向原点和POI在图像上渲染指向实体。如上所述，在一些实施方式中，指向实体与指向轴(即，从指向原点到POI的线)对齐。可以基于在POI处(或附近)的内容的表面法线来确定指向轴。例如，指向实体可以基于表面法线定向。指向轴也可以至少部分地基于用户的位置来确定。例如，可以确定指向轴以增加指向轴在用户的观看平面上的投影。

指向实体可以具有以指向轴为中心的圆锥形。圆锥形的指向实体可以在指向原点处具有在POI的方向上扩展到圆锥形底部的圆锥形顶点。在一些实施方式中，可以以逐渐过渡的透明度来渲染指向实体。例如，圆锥形顶点可以具有较低的透明度值(例如，圆锥形顶点可以是完全不透明的)并且圆锥形底部可以具有较高的透明度值(例如，圆锥形底部可以是完全透明的)。

图7A示出了示例指向实体710的圆锥形的示例以及应用于指向实体710的alpha(透明度)梯度。在一些实施方式中，当用户面向POI时并且看见POI时根本不渲染指向实体因为不再需要指向实体将用户引导到POI。

在操作610处，针对所识别的部分相对于内容的其余部分使用不同的阴影参数在图像上渲染内容。在一些实施方式中，使用第一阴影因子渲染所识别的部分，而使用第二阴影因子渲染内容的其余部分。阴影因子可以乘以正在渲染的像素的颜色值。较高的阴影因子将导致像素看起来更亮。例如，第一阴影因子可以大于第二阴影因子使得所识别的部分内的像素比内容的其余部分更亮。这可能具有使POI出现在光球内的效果。在一些实施方式中，第一亮度因子是1.0并且第二亮度因子是0.7。因为第一亮度因子是1.0，所以所识别的部分内的颜色不会被修改，但是与内容的其余部分相比该部分看起来更亮。有益地，这可以保留POI的原始颜色并且防止由于明亮灯光而导致颜色的褪色。图7A和图7B示出了用于识别比内容702的其余部分看起来更亮的部分706的球体708的示例。

尽管顺序地描述了方法500和600的操作，但是可以以不同的顺序或同时执行至少一些操作。

图8示出了可以与本文描述的技术一起使用的计算机设备1000和移动计算机设备1050的示例。计算设备1000包括处理器1002、存储器1004、存储设备1006、连接到存储器1004和高速扩展端口1010的高速接口1008，以及连接到低速总线1014和存储设备1006的低速接口1012。组件1002、1004、1006、1008、1010和1012中的每一个都使用各种总线互连，并且可以安装在通用主板上或视情况以其他方式安装。处理器1002可以处理用于在计算设备1000内执行的指令，包括存储在存储器1004或存储设备1006中的指令以在外部输入/输出设备(诸如耦合到高速接口1008的显示器1016)上显示用于GUI的图形信息。在其他实施方式中，可以适当地使用多个处理器和/或多个总线，以及多个存储器和存储器类型。而且，可以连接多个计算设备1000，每个设备提供部分必要的操作(例如，作为服务器库，一组刀片服务器或多处理器系统)。

存储器1004在计算设备1000内存储信息。在一种实施方式中，存储器1004是一个或多个易失性存储单元。在另一种实施方式中，存储器1004是一个或多个非易失性存储单元。存储器1004也可以是另一种形式的计算机可读介质，诸如磁盘或光盘。

存储设备1006能够为计算设备1000提供大容量存储。在一种实施方式中，存储设备1006可以是或包含计算机可读介质，诸如软盘设备、硬盘设备、光盘设备、或磁带设备、闪存或其他类似的固态存储设备、或一系列设备，包括存储区域网络或其他配置中的设备。计算机程序产品可以有形地体现在信息载体中。计算机程序产品还可以包含在被执行时执行一种或多种如上所述的方法的指令。信息载体是计算机或机器可读介质，诸如存储器1004、存储设备1006或处理器1002上的存储器。

高速控制器1008管理计算设备1000的带宽密集型操作，而低速控制器1012管理较低带宽密集型操作。这种功能分配仅是示例性的。在一种实施方式中，高速控制器1008耦合到存储器1004、显示器1016(例如，通过图形处理器或加速器)，以及耦合到可以接受各种扩展卡(未示出)的高速扩展端口1010。在实施方式中，低速控制器1012耦合到存储设备1006和低速扩展端口1014。可以包括各种通信端口(例如，USB、蓝牙、以太网、无线以太网)低速扩展端口可以通过网络适配器耦合到一个或多个输入/输出设备，诸如键盘、指向设备、扫描仪或诸如交换机或路由器的网络设备。

如图所示，可以以多种不同的形式实现计算设备1000。例如，它可以被实现为标准服务器1020，或者被多次实现为一组这种服务器中。它也可以被实现为机架服务器系统1024的一部分。此外，它还可以在诸如笔记本计算机1022的个人计算机中实现。替代地，来自计算设备1000的组件可以与移动设备(未示出)中的其他组件进行组合，诸如设备1050。每个这种设备可以包含一个或多个计算设备1000、1050，并且整个系统可以由彼此通信的多个计算设备1000、1050组成。

除其他组件之外，计算设备1050包括处理器1052、存储器1064、诸如显示器1054的输入/输出设备、通信接口1066和收发器1068。还可以向设备1050提供存储设备，诸如微驱动器或其他设备，以提供附加的存储。组件1050、1052、1064、1054、1066和1068中的每个组件均使用各种总线互连，并且多个组件可以安装在通用主板上或视情况以其他方式安装。

处理器1052可以执行计算设备1050内的指令，包括存储在存储器1064中的指令。处理器可以被实现为包括单独的以及多个模拟和数字处理器的芯片的芯片组。例如，处理器可以提供设备1050的其他组件的协调，诸如用户界面的控制、设备1050运行的应用程序以及设备1050的无线通信。

处理器1052可以通过控制接口1058和耦合到显示器1054的显示器接口1056与用户进行通信。例如，显示器1054可以是TFT LCD(薄膜晶体管液晶显示器)或者OLED(有机发光二极管)显示器，或其他适当的显示技术。显示器接口1056可以包括用于驱动显示器1054向用户呈现图形和其他信息的适当电路。控制接口1058可以从用户接收命令并且将其转换以提交给处理器1052。此外，可以提供与处理器1052通信的外部接口1062，以实现设备1050与其他设备的近区通信。例如，外部接口1062可以在一些实施方式中提供有线通信，或者在其他实施方式中提供无线通信，并且还可以使用多个接口。

存储器1064将信息存储在计算设备1050内。存储器1064可以被实现为一个或多个计算机可读介质，一个或多个易失性存储单元，或者一个或多个非易失性存储单元。还可以提供扩展存储器1074并且通过扩展接口1072将其连接到设备1050，例如，扩展接口1072可以包括SIMM(单列直插存储器模块)卡接口。这种扩展存储器1074可以为设备1050提供额外的存储空间，或者也可以为设备1050存储应用程序或其他信息。具体地，扩展存储器1074可以包括用于执行或补充上述过程的指令，并且还可以包括安全信息。因此，例如，扩展存储器1074可以被提供为用于设备1050的安全模块，并且可以用允许安全使用设备1050的指令进行编程。此外，可以经由SIMM卡以及附加信息，诸如以不可入侵的方式将识别信息放置在SIMM卡上来提供安全应用。

例如，存储器可以包括闪存和/或NVRAM存储器，如下所述。在一种实施方式中，计算机程序产品有形地体现在信息载体中。计算机程序产品包含在被执行时执行一种或多种如上所述的方法的指令。信息载体是诸如存储器1064、扩展存储器1074或处理器1052上的存储器的计算机或机器可读介质，例如，其可以通过收发器1068或外部接口1062接收。

设备1050可以通过在必要时可以包括数字信号处理电路的通信接口1066进行无线通信。通信接口1066可以提供各种模式或协议下的通信，诸如GSM语音呼叫、SMS、EMS或MMS消息传递、CDMA、TDMA、PDC、WCDMA、CDMA2000或GPRS等等。例如，这种通信可以通过射频收发器1068进行。此外，可以进行短距离通信，诸如使用蓝牙、Wi-Fi或其他这种收发器(未示出)。此外，GPS(全球定位系统)接收器模块1070可以向设备1050提供附加的导航和与位置有关的无线数据，设备1050上运行的应用程序可以适当地使用这些数据。

设备1050还可以使用可以从用户接收语音信息并将其转换为可用的数字信息的音频编码解码器1060在听觉上进行通信。音频编码解码器1060同样可以为用户生成声音，诸如通过扬声器，例如在设备1050的手机中。这种声音可以包括来自语音电话的声音，可以包括录制的声音(例如，语音消息、音乐文件等)，并且还可以包括由在设备1050上运行的应用程序生成的声音。

如图所示，计算设备1050可以以多种不同的形式实现。例如，它可以实现为蜂窝电话1080。它也可以被实现为智能电话1082、个人数字助理或其他类似的移动设备的一部分。

可以在数字电子电路、集成电路、专门设计的ASIC(专用集成电路)、计算机硬件、固件、软件和/或其组合中实现本文描述的系统和技术的各种实施方式。这些各种实施方式可以包括在一个或多个计算机程序中的实施方式，该程序可以在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用的或通用的，其耦合到存储系统、至少一个输入设备和至少一个输出设备以接收数据和指令，并且耦合到存储系统，至少一个输入设备和至少一个输出设备以发送数据和指令。

这些计算机程序(也称为程序、软件、软件应用程序或代码)包括用于可编程处理器的机器指令，并且可以以高级过程和/或面向对象的编程语言，和/或以汇编/机器语言实现。如本文所使用的，术语“机器可读介质”、“计算机可读介质”是指用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、装置和/或设备(例如磁盘、光盘、存储器、可编程逻辑设备(PLD))，该可编程处理器包括接收机器指令作为机器可读信号的机器可读介质。术语“机器可读信号”是指用于向可编程处理器提供机器指令和/或数据的任何信号。

为了提供与用户的互动，本文描述的系统和技术可以在具有显示器设备(LED(发光二极管)、或OLED(有机LED)、或LCD(液晶显示器)监视器/屏幕)以向用户显示信息以及用户可以通过其向计算机提供输入的键盘和指向设备(例如鼠标或轨迹球)的计算机上实现。其他种类的设备也可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感觉反馈(例如，视觉反馈、听觉反馈或触觉反馈)；并且可以以任何形式接收来自用户的输入，包括声音、语音或触觉输入。

本文描述的系统和技术可以在包括后端组件(例如，作为数据服务器)，或包括中间件组件(例如，应用程序服务器)或包括前端组件(例如，具有图形用户界面或用户可以通过其与本文描述的系统和技术的实施方式进行交互的Web浏览器的客户端计算机)，或这种后端、中间件或前端组件的任意组合的计算系统中实现。系统的组件可以通过数字数据通信的任何形式或介质(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)、广域网(“WAN”)和互联网。

计算系统可以包括客户端和服务器。客户端和服务器通常彼此远离并且典型地通过通信网络进行交互。客户端和服务器之间的关系是通过在各自计算机上运行并彼此具有客户端-服务器关系的计算机程序产生的。

在一些实施方式中，图8中描绘的计算设备可以包括与AR头戴式耳机/HMD设备1090对接的传感器以生成用于观看物理空间内的插入的内容的增强环境。例如，包括在图8中描绘的计算设备1050或其他计算设备上的一个或多个传感器，可以向AR头戴式耳机1090提供输入，或者通常，可以向AR空间提供输入。传感器可以包括但不限于触摸屏、加速度计、陀螺仪、压力传感器、生物特征传感器、温度传感器、湿度传感器和环境光传感器。计算设备1050可以使用传感器确定AR空间中计算设备的绝对位置和/或检测到的旋转然后可以将其用作AR空间的输入。例如，计算设备1050可以作为诸如控制器、激光指向器、键盘、武器等的虚拟对象被并入AR空间。当用户将计算设备/虚拟对象并入AR空间时其位置可以允许用户定位计算设备以便以某种方式在AR空间中观看虚拟对象。例如，如果虚拟对象表示激光指向器，用户可以像实际的激光指向器一样操纵计算设备。用户可以左右、上下、圆周等方式移动计算设备并且以与使用激光指向器类似的方式使用设备。

在一些实施方式中，包括在或连接到计算设备1050上的一个或多个输入设备可以用作AR空间的输入。输入设备可以包括但不限于触摸屏、键盘、一个或多个按钮、触控板、触摸板，指向设备、鼠标、轨迹球，操纵杆、相机、麦克风、耳机或具有输入功能的buds，游戏控制器或其他可连接的输入设备。当计算设备被合并到AR空间中时，与计算设备1050上包括的输入设备进行交互的用户会使特定动作在AR空间中发生。

在一些实施方式中，计算设备1050的触摸屏可以被渲染为AR空间中的触摸板。用户可以与计算设备1050的触摸屏进行交互。例如，在AR头戴式耳机1090中，将交互作为在AR空间中所渲染的触摸板上的移动来进行渲染。所渲染的移动可以控制AR空间中的虚拟对象。

在一些实施方式中，计算设备1050上包括的一个或多个输出设备可以向AR空间中的AR头戴式耳机1090的用户提供输出和/或反馈。输出和反馈可以是视觉的、触觉的或声音的。输出和/或反馈可以包括但不限于振动、一个或多个灯或频闪灯的打开、关闭或闪烁和/或闪光、发出警报、播放铃声、播放歌曲以及播放音频文件。输出设备可以包括但不限于振动马达、振动线圈、压电设备、静电设备、发光二极管(LED)、频闪灯和扬声器。

在一些实施方式中，计算设备1050可以看起来像在计算机生成的3D环境中的另一个对象。用户与计算设备1050的交互(例如，旋转、摇动、触摸触摸屏、在触摸屏上滑动手指)可以被解释为与AR空间中的对象的交互。动作可能会更改单个用户或多个用户的内容显示(例如，老师或向导的动作可能会更改所有参加虚拟游览或实地旅行的用户的内容显示)。在AR空间中的激光指向器的示例中，计算设备1050看起来像在计算机生成的3D环境中的虚拟激光指向器。当用户操纵计算设备1050时，AR空间中的用户看到激光指向器的移动。用户在计算设备1050或AR头戴式耳机1090上的AR环境中从与计算设备1050的交互中接收反馈。

在一些实施方式中，计算设备1050可以包括触摸屏。例如，用户可以与触摸屏交互以与AR环境交互。例如，触摸屏可以包括用户界面元素，诸如可以控制AR环境的属性的滑动器，诸如选择POI或调整用于显示POI的亮度。用户界面元素还可以允许用户切换如何缩放内容(例如，从基于相对缩放的缩放切换到现实世界的缩放)。一些实施方式还响应于2D触摸屏手势诸如捏或滑动以改变内容(例如，缩放、旋转或切换内容或显示属性)。例如，用户可以以可以模仿触摸屏上发生的事情和AR空间中发生的事情的特定方式与触摸屏进行交互。例如，用户可以使用捏合式动作来放大/缩放在触摸屏上显示的内容。触摸屏上的这种捏合式动作可以使AR空间中提供的信息被放大/缩放。此外，在一些实施方式中，计算设备1050可以支持物理世界中的3D手势。例如，将计算设备1050伸到显示的内容中可以被计算设备1050解释为特定输入。驱动物理按钮、触摸屏虚拟按钮或计算设备的其他用户可激活的输入(例如，挤压或摇动)可以被计算设备1050认为是另一个输入。一些实施方式将这些动作的组合视为与AR环境内的命令相对应的手势。例如，一些实施方式可以响应于用户伸出计算设备到定义的体积、挤压计算设备并且将计算设备拉回而缩放内容。作为另一个示例，在握住计算设备1050的同时投掷动作可以被认为是抓取物品的命令。

在一些实施方式中，除了计算设备之外还可以在计算机生成的3D环境中渲染一个或多个输入设备(例如，鼠标、键盘)。渲染的输入设备(例如，渲染的鼠标、渲染的键盘)可以在AR空间中被渲染用于以控制AR空间中的对象。

计算设备1000旨在表示各种形式的数字计算机和设备，包括但不限于笔记本计算机、台式计算机、工作站、个人数字助理、服务器、刀片服务器、大型机和其他适当的计算机。计算设备1050旨在表示各种形式的移动设备，诸如个人数字助理、蜂窝电话、智能电话和其他类似的计算设备。本文所示的组件，它们的连接和关系以及它们的功能仅是示例性的，并不意味着限制本文中描述和/或要求保护的发明的实施方式。

已经描述了多个实施例。然而，将理解的是在不脱离本说明书的精神和范围的情况下可以进行各种修改。

此外，附图中描绘的逻辑流程不需要所示的特定顺序、或连续顺序来实现期望的结果。此外，可以从所述的流程中提供其他步骤或者去除步骤，并且可以向所描述的系统中添加其他组件或从中移除其他组件。因此，其他实施例在所附权利要求的范围内。

尽管已经如本文中所述的那样描述了所述的实施方式的某些特征，但是本领域技术人员现在将想到许多修改、替换、改变和等同物。因此，应理解的是所附权利要求书旨在覆盖落入实施方式范围内的所有这种修改和改变。应当理解的是它们仅以示例而非限制的方式给出，并且可以进行形式和细节上的各种改变。除相互排斥的组合之外，本文所述的装置和/或方法的任何部分可以以任何组合进行组合。本文描述的实施方式可以包括所描述的不同实施方式的功能、组件和/或特征的各种组合和/或子组合。

下面给出一些示例。

示例1：方法包括：接收图像；识别在图像上显示的内容；识别在图像内的用于显示内容的位置；识别内容的兴趣点；并且通过以下来触发覆盖在图像上的内容的显示：基于兴趣点识别内容的一部分；使用第一阴影参数渲染内容的部分；并且使用第二阴影参数渲染除了该部分之外的内容。

示例2：根据权利要求1的方法，进一步包括：生成引向兴趣点的指向实体；并且触发覆盖在图像上的指向实体的显示。

示例3：根据权利要求1的方法，其中第一阴影参数比第二阴影参数对应于更高的照明水平。

示例4：根据权利要求1的方法，其中兴趣点与三维坐标相关联并且识别内容的一部分包括识别布置在三维坐标的预定阈值距离内的内容的一部分。

示例5：根据权利要求4的方法，其中内容包括三维网格，该三维网格包括由多个顶点定义的多个面。

示例6：根据权利要求5的方法，其中识别布置在预定阈值距离内的内容的一部分包括识别三维坐标的预定阈值距离内的顶点。

示例7：根据权利要求4的方法，其中识别布置在预定阈值距离内的内容的一部分包括识别与三维坐标的预定阈值距离内的内容的一部分相对应的像素。

示例8：非暂时性计算机可读存储介质包括存储在其上的指令，当由至少一个处理器执行时，该指令被配置成使计算系统至少：接收图像；识别在图像上显示的内容；识别图像中的用于显示内容的位置；识别内容的兴趣点；触发覆盖在图像上的内容的显示；生成引向兴趣点的指向实体；并且触发覆盖在图像上的指向实体的显示。

示例9：根据权利要求8的非暂时性计算机可读存储介质，其中使计算系统触发覆盖在图像上的内容的显示的指令包括被配置成使计算系统至少：基于兴趣点识别内容的一部分；使用第一阴影参数渲染内容的部分；并且使用第二阴影参数渲染除了该部分之外的内容的指令。

示例10：根据权利要求9的非暂时性计算机可读存储介质，其中指向实体是具有沿着穿过兴趣点的线的轴的圆锥形结构。

示例11：根据权利要求10的非暂时性计算机可读存储介质，其中圆锥形结构的圆锥形顶点比圆锥形结构的圆锥形底部离兴趣点更远。

示例12：根据权利要求11的非暂时性计算机可读存储介质，其中圆锥形结构的圆锥形底部与兴趣点分开偏移距离。

示例13：根据权利要求11的非暂时性计算机可读存储介质，其中被配置成使计算系统触发指向实体的显示的指令包括被配置成使计算系统以部分透明度渲染指向实体的至少一部分的指令。

示例14：根据权利要求13的非暂时性计算机可读存储介质，其中被配置成使计算系统以部分透明度渲染指向实体的至少一部分的指令包括被配置成使计算系统使用透明度梯度渲染圆锥形结构的指令，其中圆锥形底部比圆锥形顶点更透明。

示例15：根据权利要求9的非暂时性计算机可读存储介质，其中被配置成使计算系统生成引向兴趣点的指向实体的指令包括被配置成使计算系统执行：基于兴趣点确定内容的表面法线方向；并且基于表面法线方向定向指向实体的指令。

示例16：根据权利要求9的非暂时性计算机可读存储介质，其中指向实体基于用户的位置来定向。

示例17：系统包括：至少一个处理器；以及存储指令的存储器，所述指令当由至少一个处理器执行时使系统：接收图像；识别在图像上显示的内容；识别在图像内的用于显示内容的位置；识别内容的兴趣点；基于兴趣点识别内容的一部分；使用第一阴影参数渲染内容的部分；使用第二阴影参数渲染除了该部分之外的内容，并且触发覆盖在图像上的所渲染的内容的显示。

示例18：根据权利要求17的系统，其中第一阴影参数比第二阴影参数对应于更高的照明水平。

示例19：根据权利要求17的系统，其中兴趣点与三维坐标相关联并且使系统识别内容的一部分的指令包括使系统识别布置在三维坐标的预定阈值距离内的内容的一部分的指令。

示例20：根据权利要求17的系统，其中指令进一步使系统：生成引向兴趣点的指向实体；并且触发覆盖在图像上的指向实体的显示。

示例21：方法包括：接收图像；识别在图像上显示的内容；识别在图像内的用于显示内容的位置；识别内容的至少一个兴趣点；并且以吸引对至少一个兴趣点的关注的方式显示覆盖在图像上的内容。

示例22：根据权利要求21的方法，其中显示内容包括：基于至少一个兴趣点识别内容的一部分；使用第一阴影参数渲染内容的部分；并且使用第二阴影参数渲染除了该部分之外的内容。

示例23：根据权利要求22的方法，其中第一阴影参数比第二阴影参数对应于更高的照明水平。

示例24：根据权利要求22或23的方法，其中至少一个兴趣点与三维坐标相关联，并且识别内容的一部分包括识别布置在三维坐标的预定阈值距离内的内容的一部分。

示例25：根据权利要求24的方法，其中内容包括三维网格，该三维网格包括由多个顶点定义的多个面。

示例26：根据权利要求24或25的方法，其中识别布置在预定阈值距离内的内容的一部分包括识别三维坐标的预定阈值距离内的顶点。

示例27：根据权利要求24至26中的至少一项的方法，其中识别布置在预定阈值距离内的内容的一部分包括识别与三维坐标的预定阈值距离内的内容的一部分相对应的像素。

示例28：根据前述权利要求中的至少一项的方法，其中生成引向至少一个兴趣点的指向实体；并且指向实体覆盖在图像上。

示例29：根据权利要求28的方法，其中指向实体是具有沿着穿过至少一个兴趣点的线的轴的圆锥形结构。

示例30：根据权利要求28或29的方法，其中圆锥形结构的顶点比圆锥形结构的底部离至少一个兴趣点更远。

示例31：根据权利要求28至30中的至少一项的方法，其中圆锥形结构的底部与至少一个兴趣点分开偏移距离。

示例32：根据权利要求28至31中的至少一项的方法，至少部分地选择圆锥形结构的顶点的位置，以便具有垂直于用户的观看轴的分量，特别是当用户移动时，顶点的位置也可移动。

示例33：非暂时性计算机可读存储介质，其包括存储在其上的指令，该指令当由至少一个处理器执行时被配置成使计算系统至少：接收图像；识别在图像上显示的内容；识别图像中的用于显示内容的位置；识别内容的至少一个兴趣点；并且以吸引对至少一个兴趣点的关注的方式显示覆盖在图像上的内容。

示例34：根据权利要求33的非暂时性计算机可读存储介质，其中指令被进一步配置成使计算系统至少：生成引向至少一个兴趣点的指向实体；并且显示覆盖在图像上的指向实体。

示例35：根据权利要求34的非暂时性计算机可读存储介质，其中指向实体是具有沿着穿过至少一个兴趣点的线的轴的圆锥形结构。

示例36：根据权利要求35的非暂时性计算机可读存储介质，其中圆锥形结构的顶点比圆锥形结构的底部离至少一个兴趣点更远。

示例37：根据权利要求35或36的非暂时性计算机可读存储介质，其中圆锥形结构的底部与至少一个兴趣点分开偏移距离。

示例38：根据权利要求35至37中的至少一项的非暂时性计算机可读存储介质，其中指令被配置成使计算系统至少部分地选择圆锥形结构的顶点的位置，以便具有垂直于用户的观看轴的分量，特别是当用户移动时，顶点的位置也可移动。

示例39：根据权利要求34至38中的至少一项的非暂时性计算机可读存储介质，其中被配置成使计算系统显示指向实体的指令包括被配置成使计算系统以部分透明度渲染指向实体的至少一部分的指令。

示例40：根据权利要求34至39中的至少一项的非暂时性计算机可读存储介质，其中被配置成使计算系统以部分透明度渲染指向实体的至少一部分的指令包括被配置成使计算系统使用透明度梯度渲染圆锥形结构的指令，其中底部比顶点更透明。

示例41：根据权利要求34至40中的至少一项的非暂时性计算机可读存储介质，其中被配置成使计算系统生成引向至少一个兴趣点的指向实体的指令包括被配置成使计算系统：基于至少一个兴趣点确定内容的表面法线方向；并且基于表面法线方向定向指向实体的指令。

示例42：根据权利要求34至41中的至少一项的非暂时性计算机可读存储介质，其中指向实体基于用户的位置来定向。

示例43：系统包括：至少一个处理器，以及存储指令的存储器，所述指令当由至少一个处理器执行时使系统：接收图像；识别在图像上显示的内容；识别在图像内的用于显示内容的位置；识别内容的至少一个兴趣点；基于兴趣点识别内容的一部分；使用第一阴影参数渲染内容的部分；使用第二阴影参数渲染除了该部分之外的内容，并且显示覆盖在图像上的所渲染的内容。

示例44：根据权利要求43的系统，其中第一阴影参数比第二阴影参数对应于更高的照明水平。

示例45：根据权利要求43或44的系统，其中至少一个兴趣点与三维坐标相关联，并且使系统识别内容的一部分的指令包括使系统识别布置在三维坐标的预定阈值距离内的内容的一部分的指令。

示例46：根据权利要求43至45中的至少一项的系统，其中指令进一步使系统：生成引向兴趣点的指向实体；并且显示覆盖在图像上的指向实体。

Claims

1.一种用于引向用户关注的方法，包括：

接收图像；

为用户识别用于在所述图像上显示的内容；

识别在所述图像内的用于显示所述内容的位置；

识别所述内容的兴趣点；以及

通过以下来触发覆盖在所述图像上的所述内容的显示：

基于所述兴趣点识别所述内容的一部分；

使用第一阴影参数渲染所述内容的所述一部分；以及

使用第二阴影参数渲染除了所述一部分之外的所述内容；

生成引向所述兴趣点的指向实体，所述指向实体具有基于所述用户的位置和所述兴趣点识别的指向原点并且指示所述用户观察所述兴趣点的位置和/或方向；以及

触发覆盖在所述图像上的所述指向实体的显示。

2.根据权利要求1所述的方法，其中，所述第一阴影参数比所述第二阴影参数对应于更高的照明水平。

3.根据权利要求1所述的方法，其中，所述兴趣点与三维坐标相关联，并且识别所述内容的一部分包括识别布置在所述三维坐标的预定阈值距离内的所述内容的所述一部分。

4.根据权利要求3所述的方法，其中，所述内容包括三维网格，所述三维网格包括由多个顶点定义的多个面。

5.根据权利要求4所述的方法，其中，识别布置在所述预定阈值距离内的所述内容的所述一部分包括识别所述三维坐标的所述预定阈值距离内的顶点。

6.根据权利要求3所述的方法，其中，识别布置在所述预定阈值距离内的所述内容的所述一部分包括识别与所述三维坐标的所述预定阈值距离内的所述内容的一部分相对应的像素。

7.一种非暂时性计算机可读存储介质，所述非暂时性计算机可读存储介质包括存储在其上的指令，当由至少一个处理器执行时，所述指令被配置成使计算系统至少执行以下：

接收图像；

为用户识别用于在所述图像上显示的内容；

识别所述图像中的用于显示所述内容的位置；

识别所述内容的兴趣点；

通过使得所述计算系统执行以下步骤来触发覆盖在所述图像上的所述内容的显示：

基于所述兴趣点识别所述内容的一部分，

使用第一阴影参数渲染所述内容的所述一部分，以及

使用第二阴影参数渲染除了所述一部分之外的所述内容，以及

触发覆盖在所述图像上的所述指向实体的显示。

8.根据权利要求7所述的非暂时性计算机可读存储介质，其中，所述指向实体是具有沿着穿过所述兴趣点的线的轴的圆锥形结构。

9.根据权利要求8所述的非暂时性计算机可读存储介质，其中，所述圆锥形结构的圆锥形顶点比所述圆锥形结构的圆锥形底部离所述兴趣点远。

10.根据权利要求9所述的非暂时性计算机可读存储介质，其中，所述圆锥形结构的所述圆锥形底部与所述兴趣点分开偏移距离。

11.根据权利要求9所述的非暂时性计算机可读存储介质，其中，被配置成使所述计算系统触发所述指向实体的显示的指令包括被配置成使所述计算系统以部分透明度渲染所述指向实体的至少一部分的指令。

12.根据权利要求11所述的非暂时性计算机可读存储介质，其中，被配置成使所述计算系统以部分透明度渲染所述指向实体的至少所述一部分的指令包括被配置成使所述计算系统使用透明度梯度渲染所述圆锥形结构的指令，其中，所述圆锥形底部比所述圆锥形顶点更透明。

13.根据权利要求7所述的非暂时性计算机可读存储介质，其中，被配置成使所述计算系统生成引向所述兴趣点的所述指向实体的指令包括被配置成使所述计算系统执行以下的指令：

基于所述兴趣点确定所述内容的表面法线方向；以及

基于所述表面法线方向定向所述指向实体。

14.一种用于引向用户关注的系统，包括：

至少一个处理器；以及

存储指令的存储器，当由所述至少一个处理器执行时，所述指令使所述系统执行以下：

接收图像；

为用户识别用于在所述图像上显示的内容；

识别在所述图像内的用于显示所述内容的位置；

识别所述内容的兴趣点；

通过使得所述系统执行以下步骤来触发覆盖在所述图像上的所渲染的内容的显示：

基于所述兴趣点识别所述内容的一部分，

使用第一阴影参数渲染所述内容的所述一部分，以及

使用第二阴影参数渲染除了所述一部分之外的所述内容；

触发覆盖在所述图像上的所渲染的内容的显示。

15.根据权利要求14所述的系统，其中，所述第一阴影参数比所述第二阴影参数对应于更高的照明水平。

16.根据权利要求14所述的系统，其中，所述兴趣点与三维坐标相关联，并且使所述系统识别所述内容的所述一部分的指令包括使所述系统识别布置在所述三维坐标的预定阈值距离内的所述内容的所述一部分的指令。