CN107111996A - 实时共享的增强现实体验 - Google Patents

Abstract

提供了用于使得能够实现共享的增强现实体验的方法和系统。所述系统包括用于生成真实世界位置的增强现实再现的零个、一个或多个现场设备，以及用于生成真实世界位置的虚拟增强现实再现的一个或多个非现场设备。所述增强现实再现包括合并到真实世界位置的实时视图中的数据和或内容。AR场景的虚拟增强现实再现并入来自真实世界位置的图像和数据，并且包括在AR呈现中使用的附加内容。现场设备将用于创建增强现实体验的内容与非现场设备实时同步，使得增强现实再现和虚拟增强现实再现彼此一致。

Description

实时共享的增强现实体验

对相关申请的交叉引用

本申请要求对2014年11月11日提交的题为“REAL-TIME SHARED AUGMENTED REALITYEXPERIENCE（实时共享的增强现实体验）”的美国非临时专利申请号14/538,641的优先权和权益，其全部内容通过引用以其整体并入本文中用于所有目的。本申请也涉及2014年11月11日提交的题为“ACCURATE POSITIONING OF AUGMENTED REALITY CONTENT（增强现实内容的精确定位）”的美国临时专利申请号62/078,287，其全部内容通过引用以其整体并入本文中用于所有目的。出于美国的目的，本申请是2014年11月11日提交的题为“REAL-TIMESHARED AUGMENTED REALITY EXPERIENCE（实时共享的增强现实体验）”的美国非临时专利申请号14/538,641的部分继续申请。

技术领域

本公开内容的主题涉及通过使用数字设备定位、确定位置、交互和/或在人们之间共享增强现实内容和其它基于位置的信息。更具体而言，本公开内容的主题涉及到用于现场设备和非现场设备在共享场景中进行交互的框架。

背景技术

增强现实（AR）是包括诸如声音、视频、图形、文本或定位数据（例如，全球定位系统（GPS）数据）之类的补充计算机生成元素的真实世界环境的实时视图。例如，用户可以使用移动设备或数字相机来观看真实世界位置的实时图像，并且然后，可以使用该移动设备或数字相机来通过在真实世界的实时图像上显示计算机生成的元素来创建增强现实体验。设备向观看者呈现增强现实，就好像计算机生成的内容是真实世界的一部分。

可以将基准标记（例如，具有明确界定边缘的图像、快速响应（QR）代码等）放置在捕获设备的视野中。基准标记充当参考点。使用基准标记，可以通过基准标记的真实世界比例与其在视觉馈送中的表观尺寸之间的比较计算来确定用于渲染计算机生成的内容的比例。

增强现实应用可以将任何计算机生成的信息覆盖在真实世界环境的实时视图之上。该增强现实场景可以显示在许多设备上，包括但不限于，计算机、电话、平板电脑、平板（pad）、耳机、HUD、眼镜、面罩和头盔。例如，基于接近度的应用的增强现实可以包括在由运行增强现实应用的移动设备捕获的实时街道视图之上的浮动的商店或餐馆评论。

然而，传统的增强现实技术一般向当前真实世界位置附近的人呈现增强现实体验的第一人称视图。传统的增强现实总是在特定位置中“现场”发生，或者在观看特定对象或图像时发生，其中使用各种方法将计算机生成的艺术作品或动画放置在对应的真实世界实时图像上。这意味着只有那些在真实环境中实际观看增强现实内容的人才能够完全理解和享受体验。到真实世界位置或对象的接近度的要求显著地限制了能够在任何给定时间欣赏和体验现场增强现实事件的人数。

发明内容

这里公开了用于一个或多个人（也称为一个或多个用户）同时观看、改变一个或多个共享的基于位置的事件并与之进行交互的系统。这些人中的一些可以在现场，并使用他们的移动设备（诸如移动电话或光学头戴式显示器）的增强实时视图来观看放置在该位置中的AR内容。其它人可以在非现场，并经由计算机或其它数字设备（诸如电视机、膝上型计算机、台式机、平板计算机和或VR眼镜/护目镜）观看放置在对现实的虚拟模拟中的AR内容（即非现场虚拟增强现实或ovAR）。这种通过虚拟方式重建的增强现实可以像真实世界位置的图像一样简单，或者像纹理三维几何一样复杂。

所公开的系统提供了包含由多个数字设备创建或提供的图像、艺术作品、游戏、程序、动画、扫描、数据和/或视频的基于位置的场景，并将它们与位置环境的实时视图和虚拟视图分离地或并行地组合。对于现场用户，增强现实包括由他们的设备捕获的真实世界环境的实时视图。不在物理位置处或其附近（或者选择虚拟地而不是物理地观看该位置）的非现场用户仍然可以通过在环境或位置的虚拟模拟重建内观看场景来体验AR事件。所有的参与用户都可以与共享的AR事件进行交互、改变以及修正共享的AR事件。例如，非现场用户可以将图像、艺术作品、游戏、程序、动画、扫描、数据和视频添加到共有环境，然后其将被传播到所有的现场用户和非现场用户，使得可以体验且再次更改该添加。以这种方式，来自不同物理位置的用户可以促成并参与在任何位置中设立的共享的社交和/或团体AR事件。

基于已知的几何、图像和定位数据，所述系统可以为非现场用户创建非现场虚拟增强现实（ovAR）环境。通过ovAR环境，非现场用户可以主动与参与相同AR事件的其它非现场用户或现场用户共享AR内容、游戏、艺术、图像、动画、程序、事件、对象创建或AR体验。

非现场虚拟增强现实（ovAR）环境与现场用户体验的增强现实事件的地形、地势、AR内容和总体环境非常相似。非现场数字设备基于精确或接近精确的几何扫描、纹理和图像以及存在于真实世界位置的地势特征、对象和建筑物的GPS位置来创建ovAR非现场体验。

系统的现场用户可以与非现场用户一起进行参与、改变、播放、增强、编辑、沟通和交互。全世界的用户都可以通过在AR游戏和程序中作为AR事件的一部分来进行播放、编辑、共享、学习、艺术创造以及协作来共同参与。

附图说明

图1是根据本发明的实施例的增强现实（AR）共享系统的组件和互连的框图。

图2A和2B描绘出根据本发明的实施例的示出用于交换AR信息的示例机制的流程图。

图3A、3B、3C和3D描绘出根据本发明的实施例的示出用于在生态系统中的多个设备之间交换和同步增强现实信息的机制的流程图。

图4是示出根据本发明的实施例的从不同视角对共享的增强现实事件进行可视化的现场设备和非现场设备的框图。

图5A和5B描绘出根据本发明的实施例的示出用于在非现场虚拟增强现实（ovAR）应用和服务器之间交换信息的机制的流程图。

图6A和6B描绘出根据本发明的实施例的示出用于在现场设备和非现场设备之间传播互动的机制的流程图。

图7和8是根据本发明的实施例的示出移动定位定向点（MPOP）如何允许创建和观看具有正在移动的位置的增强现实的例证性图示。

图9A、9B、10A和10B是根据本发明的实施例的示出可以如何实时地通过现场设备对AR内容可视化的例证性图示。

图11是根据本发明的实施例的示出用于为非现场设备创建非现场虚拟增强现实（ovAR）再现的机制的流程图。

图12A、12B和12C描绘出根据本发明的实施例的示出决定用于非现场虚拟增强现实（ovAR）场景的几何模拟水平的过程的流程图。

图13是根据本发明的实施例的数字数据处理装置的示意框图。

图14和15是示出在现场和非现场二者同时地观看的AR矢量的例证性图示。

图16是描绘出由包括现场计算设备、服务器系统和非现场计算设备的计算系统执行的示例方法的流程图。

图17是描绘出示例计算系统的示意图。

具体实施方式

增强现实（AR）涉及用计算机生成的内容（诸如由图形显示设备呈现的视觉内容、经由音频扬声器呈现的音频内容以及由触觉设备生成的触觉反馈）增强的真实世界环境的实时视图。移动设备由于其移动性的性质而使其用户能够在各种不同的位置体验AR。这些移动设备通常包括各种机载传感器以及使移动设备能够获得周围真实世界环境的或环境内的移动设备的状态的测量结果的相关联的数据处理系统。

这些传感器的一些示例包括用于测量移动设备的地理位置的GPS接收器、用于测量相对于发射源的无线RF信号强度和/或定向的其它RF接收器、用于对周围环境成像的相机或光学传感器、用于测量移动设备的定向和加速度的加速度计和/或陀螺仪、用于测量相对于地球的磁场的定向的磁力计/罗盘以及用于测量环境内的由音频源生成的声音的音频扬声器。

在AR的上下文内，移动设备使用传感器测量结果来确定移动设备在真实世界环境内诸如相对于AR内容被绑定到的可追踪特征的定位（例如，移动设备的位置和定向）。所确定的移动设备的定位可以用于对齐真实世界环境的实时视图内的坐标系，其中AR内容项相对于该坐标系具有经定义的定位。可以将AR内容呈现在该实时视图内在相对于对齐的坐标系定义的定位处，以提供与真实世界环境集成的AR内容的显现。具有合并的AR内容的实时视图可以称为AR再现。

因为AR涉及到具有计算机生成的内容的实时视图的增强，所以位于距实时视图内的物理位置遥远的设备先前还不能参与AR体验。根据本公开内容的一方面，可以在现场设备/用户与位于远处的非现场设备/用户之间共享AR体验。在示例实现方式中，非现场设备呈现将AR内容作为VR对象合并在VR再现内的真实世界环境的虚拟现实（VR）再现。AR内容在VR再现内的定位与该AR内容在AR再现内的定位一致，以提供共享的AR体验。

在联系附图考虑以下详细描述之后，本发明的性质、目标和优点对于本领域技术人员将变得更加显而易见。

增强现实共享系统的环境

图1是根据本发明的实施例的增强现实共享系统的组件和互连的框图。中央服务器110负责存储和传送用于创建增强现实的信息。将中央服务器110配置成与多个计算机设备通信。在一个实施例中，中央服务器110可以是具有通过网络彼此互连的计算机节点的服务器集群。中央服务器110可以包含节点112。节点112中的每一个包含一个或多个处理器114和存储设备116。存储设备116可以包括光盘存储、RAM、ROM、EEPROM、闪速存储器、相变存储器、磁带盒、磁带、磁盘存储或可以用于存储所期望的信息的任何其它计算机存储介质。

计算机设备130和140每个可以经由网络120与中央服务器110通信。网络120可以是例如互联网。例如，接近特定物理位置的现场用户可以携带计算机设备130；而不接近该位置的非现场用户可以携带计算机设备140。虽然图1图示出两个计算机设备130和140，但是本领域技术人员将容易地理解，本文中公开的技术可以应用于连接到中央服务器110的单个计算机设备或两个以上的计算机设备。例如，可以存在通过使用一个或多个计算设备参与一个或多个AR事件的多个现场用户和多个非现场用户。

计算机设备130包括用以管理计算机设备130的硬件资源的操作系统132，并且提供用于运行AR应用134的服务。存储在计算机设备130中的AR应用134要求操作系统132在设备130上正确地运行。计算机设备130包括至少一个本地存储设备138以存储计算机应用和用户数据。计算机设备130或140可以是台式计算机、膝上型计算机、平板计算机、汽车计算机、游戏控制台、智能电话、个人数字助理、智能TV、机顶盒、DVR、蓝光、住宅网关、OTT（over-the-top）互联网视频流式传输器、或如本领域技术人员所设想的能够运行计算机应用的其它计算机设备。

包括现场设备和非现场设备的增强现实共享生态系统

现场AR用户和非现场AR用户的计算设备可以通过中央服务器交换信息，使得现场AR用户和非现场AR用户在近似相同的时间处体验相同的AR事件。图2A是示出根据本发明的实施例的用于促进多个用户同时编辑AR内容和对象（也称为热编辑）的目的的示例机制的流程图。在图2和3中所图示出的实施例中，现场用户使用移动数字设备（MDD）；而非现场用户使用非现场数字设备（OSDD）。MDD和OSDD可以是如在前面段落中所公开的各种计算设备。

在块205处，移动数字设备（MDD）打开AR应用，其链接到较大AR生态系统，从而允许用户与连接到该生态系统的任何其他用户一起体验共享的AR事件。在一些替换实施例中，现场用户可以使用现场计算机（例如，非移动性的现场计算机）而不是MDD。在块210处，MDD使用包括但不限于GPS、视觉成像、几何计算、陀螺或运动追踪、点云以及关于物理位置的其它数据的技术来获得真实世界的定位数据，并且为创建AR事件准备现场详查。所有这些技术的融合被统称为LockAR。每条LockAR数据（可追踪目标（Trackable））都被绑定到GPS定位，并且具有相关联的元数据，诸如估计误差和到其它特征的加权测量距离。LockAR数据集可以包括诸如纹理标记、基准标记、地势和对象的几何扫描、SLAM地图、电磁地图、局部罗盘数据、地标识别和三角测量数据之类的可追踪目标，以及这些可追踪目标相对于其它LockAR可追踪目标的定位。携带MDD的用户接近物理位置。

在块215处，非现场用户的OSDD打开链接到与现场用户相同的AR生态系统的另一应用。该应用可以是在浏览器内运行的网络应用。该应用也可以是但不限于，本机、Java或Flash应用。在一些替换实施例中，非现场用户可以使用移动计算设备而不是OSDD。

在块220处，MDD经由云服务器（或中央服务器）向在非现场用户的OSDD上运行的非现场用户（例如，朋友）的AR应用发送编辑邀请。可以单独地邀请非现场用户或通过邀请整个工作组或朋友列表来集体地邀请非现场用户。在块222处，MDD向服务器发送现场环境信息和相关联的GPS坐标，服务器然后将其传播到OSDD。在224处，云服务器处理来自现场设备的几何、定位和纹理数据。OSDD确定OSDD需要什么数据（例如，图12A、12B和12C），并且云服务器将数据发送到OSDD。

在块225处，OSDD基于其接收的场地特定数据和GPS坐标来创建模拟的虚拟背景。在这个非现场虚拟增强现实（ovAR）场景内，用户看到由计算机基于现场数据制作出来的世界。ovAR场景与增强现实场景不同，但是可以与其非常类似。ovAR是包括与现场增强现实体验相同的AR对象中的许多的该位置的虚拟再现；例如，非现场用户可以作为ovAR的一部分与现场用户看到相同的基准标记，以及绑定到那些标记的AR对象。

在块230处，MDD基于其通过AR应用的用户接口接收到的用户指令来创建AR数据或内容，将其固定到增强现实世界中的特定位置。通过LockAR数据集内的环境信息来识别AR数据或内容的特定位置。在块235处，MDD将关于新创建的这条AR内容的信息发送到云服务器，云服务器将该条AR内容转发到OSDD。同样在块235处，OSDD接收AR内容以及指定其位置的LockAR数据。在块240处，OSDD的AR应用将接收到的AR内容放置在模拟的虚拟背景内。因此，非现场用户也可以看到基本上类似于现场用户所看到的增强现实的非现场虚拟增强现实（ovAR）。

在块245处，OSDD基于从在OSDD上运行的AR应用的用户接口接收到的用户指令来改变AR内容。用户接口可以包括使用户能够指定对数据以及对2D和3D内容所做的改变的元素。在块252处，OSDD将经改变的AR内容发送到参与AR事件（也称为热编辑事件）的其他用户。

在块251处经由云服务器或某其它系统从OSDD接收到经改变的AR事件或内容之后，MDD（在块250处）将原始的一条AR数据或内容更新为经改变的版本，并且然后使用LockAR数据将其合并到AR场景中，以将其放置在与其现场位置相对应的虚拟位置中（块255）。

在块255和260处，MDD进而可以进一步改变AR内容，并且在块261处经由云服务器将改变发送回到AR事件（例如，热编辑事件）中的其他参与者。在块265处，OSDD再次基于用户的交互来接收、可视化、改变并发送回创建“改变”事件的AR内容。该过程可以继续，并且参与AR事件的设备可以连续地改变增强现实内容并使其与云服务器（或其它系统）同步。

AR事件可以分别地通过AR和ovAR由多个现场用户和非现场用户来共享。这些用户可以作为工作组集体地被邀请、从他们的社交网络朋友中单独地被邀请，或者单独地选择加入AR事件。当多个现场和非现场用户参与AR事件时，可以同时地处理基于用户交互的多个“改变”事件。AR事件可以允许各种类型的用户交互，诸如编辑AR艺术作品或音频、改变AR图像、在游戏内进行AR功能、观看非现场位置和人的实时AR投影并与之进行交互、在多层AR图像中选择要观看哪些层以及选择要观看AR频道/层的哪个子集。频道是指已由开发者、用户或管理员创建或策划的AR内容的集合。AR频道事件可以具有任何AR内容，包括但不限于，图像、动画、实时动作镜头、声音或触觉反馈（例如，应用以模拟触觉的振动或力）。

用于共享增强现实事件的系统可以包括多个现场设备和多个非现场设备。图3A-3D描绘出示出用于在系统中的设备之间交换和同步增强现实信息的机制的流程图。这包括N个现场移动设备A1-AN，以及M个非现场设备B1-BM。现场移动设备A1-AN和非现场设备B1-BM与彼此同步它们的AR内容。在该示例中，设备经由基于云的服务器系统——在图3A中被识别为云服务器——来与彼此同步它们的AR内容。在图3A-3D内，针对对AR内容的四次更新或编辑描绘“关键路径”。该术语“关键路径”并不用于指代要求的路径，而是描绘实现对AR内容的这四个更新或编辑的最少步骤或过程。

如图3A-3D所图示出的，所有涉及到的设备首先以启动AR应用开始，并且然后连接到中央系统，其在本发明的该表现形式中为云服务器。例如，在块302、322、342、364和384处，设备中的每一个启动或开始应用或其它程序。在移动现场设备的上下文中，应用可以采用由现场设备中的每一个执行的移动AR应用的形式。在远程非现场设备的上下文中，应用或程序可以采用虚拟现实应用（诸如在本文中被进一步详细描述的非现场虚拟增强现实（ovAR）应用）的形式。对于设备中的一些或全部，可以通过应用或程序提示用户登录到（例如，托管在云服务器处的）其各自的AR生态系统账户中，诸如在362和382处针对非现场设备所描绘的。现场设备也可以由其应用来提示登录到其各自的AR生态系统账户中。

现场设备聚集位置和环境数据以创建新的LockAR数据或改善关于场景的现有LockAR数据。环境数据可以包括由诸如同时定位与地图构建（SLAM）、结构光、摄影测量、几何映射等的技术收集的信息。非现场设备创建使用由存储在服务器的数据库中的数据制成的3D地图的该位置的非现场虚拟增强现实（ovAR）版本，所述服务器的数据库存储由现场设备生成的相关数据。

例如，在304处，应用使用用于移动现场设备A1的GPS和LockAR来定位用户的位置。类似地，如在324和344处所指示的，应用使用用于移动现场设备A2-AN的GPS和LockAR来定位用户的位置。与之相比，在365和386处，非现场设备B1-BM选择要用应用或程序（例如，ovAR应用或程序）进行观看的位置。

然后，现场设备A1的用户邀请朋友参与事件（称为热编辑事件），如在308处所指示的。其它设备的用户接受热编辑事件邀请，如在326、346、366和388处所指示的。现场设备A1经由云服务器向其它设备发送AR内容。现场设备A1-AN将AR内容与位置的实时视图合成，以为其用户创建增强现实场景。非现场设备B1-BM将AR内容与模拟ovAR场景合成。

参与热编辑事件的现场或非现场设备的任何用户都可以创建新的AR内容或修正现有的AR内容。例如，在306处，现场设备A1的用户创建一条AR内容（即AR内容项），在328、348、368和390处，其也显示在其它参与设备处。继续该示例，在330处，现场设备A2可以编辑先前由现场设备A1编辑的该新的AR内容。将改变分发到所有的参与设备，所有的参与设备然后更新其增强现实和非现场虚拟增强现实的呈现，使得所有设备呈现相同场景的变化。例如，在332处，改变新的AR内容，并且将所述改变发送到其它参与设备。设备中的每一个显示更新的AR内容，如在310、334、350、370和392处所指示的。另一轮改变可能由在其它设备（诸如在372处的非现场设备B1）处的用户发起，在374处，将所述改变发送到其它参与设备。参与设备在312、334、352和394处接收改变并显示更新的AR内容。又另一轮改变可能由在其它设备（诸如在356处的现场设备AN）处的用户发起，在358处，将所述改变发送到其它参与设备。参与设备在316、338、378和397处接收改变并显示更新的AR内容。仍其它轮改变可能由在其它设备（诸如在398处的非现场设备BM）处的用户发起，在399处，将所述改变发送到其它参与设备。参与设备在318、340、360和380处接收改变并显示更新的AR内容。

虽然图3A-3D图示出使用云服务器来中继所有的AR事件信息，但是如本领域技术人员可以认识到，中央服务器、网状网络或对等网络可以服务于相同的功能性。在网状网络中，网络上的每个设备可以是用以中继数据的网状节点。所有的这些设备（例如，节点）在网状网络中在分布数据方面进行协作，而不需要中央集线器来聚集和指导数据流。对等网络是在对等设备节点之间划分数据通信的工作负荷的分布式应用网络。

非现场虚拟增强现实（ovAR）应用可以使用来自多个现场设备的数据来创建更精确的虚拟增强现实场景。图4是示出从不同视角对共享的增强现实事件进行可视化的现场设备和非现场设备的框图。

现场设备A1-AN基于它们捕获的位置的实时视图来创建真实世界位置的增强现实版本。由于现场设备A1-AN的物理位置不同，所以对于现场设备A1-AN的真实世界位置的视点可能是不同的。

非现场设备B1-BM具有非现场虚拟增强现实应用，其放置并模拟真实世界场景的虚拟再现。因为用户非现场设备B1-BM可以在ovAR场景中选择其自己的视点（例如，虚拟设备或虚拟化身的位置），所以对于非现场设备B1-BM中的每一个而言，它们从其处看到模拟真实世界场景的视点可以是不同的。例如，非现场设备的用户可以选择从任何用户的虚拟化身的视点观看场景。替换地，非现场设备的用户可以选择另一用户的虚拟化身的第三人称视点，使得该虚拟化身的部分或全部在该非现场设备的屏幕上是可见的，并且虚拟化身的任何移动都会使相机移动相同量。非现场设备的用户可以例如基于增强现实场景中的对象或空间中的任意点来选择他们希望的任何其它视点。

同样在图3A、3B、3C和3D中，现场和非现场设备的用户可以经由设备之间交换的消息（例如，经由云服务器）彼此通信。例如，在314处，现场设备A1将消息发送到所有参与用户。在336、354、376和396处，在参与设备处接收到该消息。

在图4中描绘出用于移动现场设备和用于非现场数字设备（OSDD）的示例过程流。块410、420、430等描绘出用于各用户及其各自的现场设备A1、A2、AN等的过程流。对于这些过程流中的每一个，在412处接收输入，在414处由用户观看视觉结果，在416处发起并执行用户创建的AR内容改变事件，并且在418处将输出提供给云服务器系统作为数据输入。块440、450、460等描绘出用于各用户及其各自的非现场设备（OSDD）B1、B2、BM等的过程流。对于这些过程流中的每一个，在442处接收输入，在444处由用户观看视觉结果，在446处发起并执行用户创建的AR内容改变事件，并且在448处将输出提供给云服务器系统作为数据输入。

图5A和5B描绘出根据本发明的实施例的示出用于在非现场虚拟增强现实（ovAR）应用和服务器之间交换信息的机制的流程图。在块570处，非现场用户启动设备上的ovAR应用。用户可以选择地理位置，或者停留在为他们选择的默认地理位置。如果用户选择具体的地理位置，那么ovAR应用会以选择的缩放级别示出所选择的地理位置。否则，ovAR显示以用户位置的系统估计为中心（使用诸如geoip的技术）的默认地理位置。在块572处，ovAR应用向服务器查询关于用户已经选择的地方附近的AR内容的信息。在块574处，服务器接收来自ovAR应用的请求。

因此，在块576处，服务器将关于附近AR内容的信息发送到在用户的设备上运行的ovAR应用。在块578处，ovAR应用在输出组件（例如，用户的设备的显示屏幕）上显示关于在用户已选择的地方附近的内容的信息。该信息显示可以采取例如提供附加信息的地图上的可选点或者地图上的内容的可选缩略图图像的形式。

在块580处，用户选择要观看的一条AR内容或要从其处观看AR内容的位置。在块582处，ovAR应用向服务器查询显示并可能与该条AR内容或者从所选择位置可见的多条AR内容以及背景环境交互所需的信息。在块584处，服务器接收来自ovAR应用的请求，并计算用以输送数据的智能顺序。

在块586处，服务器将显示该条或多条AR内容所需的信息实时地（或异步地）流式传输回到ovAR应用。在块588处，ovAR应用基于其接收到的信息来渲染AR内容和背景环境，并且随着ovAR应用继续接收信息而更新渲染。

在块590处，用户与视图内的任何AR内容进行交互。如果ovAR应用具有管理与该条AR内容交互的信息，那么ovAR应用以类似于真实世界中的设备将如何处理和显示交互的方式处理和渲染交互。在块592处，如果交互以其它用户可以看见的方式改变某些事物或者以将持续存在的方式改变某些事物，那么ovAR应用将关于该交互的必要信息发送回到服务器。在块594处，服务器将所接收到的信息推送到当前正在AR内容附近区域中或正在观看AR内容附近区域的所有设备，并存储交互的结果。

在块596处，服务器从另一设备接收关于更新ovAR应用正在显示的AR内容的交互的信息。在块598处，服务器将更新的信息发送到ovAR应用。在块599处，ovAR应用基于接收到的信息更新场景并显示所更新的场景。用户可以继续与AR内容进行交互（块590），并且服务器可以继续将关于交互的信息推送到其它设备（块594）。

图6A和6B描绘出根据本发明的实施例的示出用于在现场设备和非现场设备之间传播交互的机制的流程图。该流程图表示其中用户正在传播交互的一组用例。交互可以从现场设备开始，然后交互发生在非现场设备上，并且传播交互的模式循环地重复。替换地，交互可以从非现场设备开始，并且然后交互发生在现场设备上等。每个单个的交互都可以发生在现场或非现场，而不管先前或未来的交互发生在何处。在图6A和6B内，应用于单个设备（即单独的示例设备）而不是多个设备（例如，所有现场设备或所有非现场设备）的块包括块604、606、624、630、634、632、636、638、640、服务器系统、块614、616、618、620、622和642。

在块602处，所有的现场数字设备向各现场设备的用户显示现场位置的增强现实视图。现场设备的增强现实视图包括覆盖在来自设备的相机（或其它图像/视频捕获组件）的实时图像馈送之上的AR内容。在块604处，现场设备用户中的一个使用计算机视觉（CV）技术来创建可追踪对象并向可追踪对象分配位置坐标（例如，GPS坐标）。在块606处，现场设备的用户创建并将AR内容绑定到新创建的可追踪对象，并且将该AR内容和可追踪对象数据上传到服务器系统。

在块608处，新创建的AR内容附近的所有现场设备从服务器系统下载关于AR内容及其对应的可追踪对象的必要信息。现场设备使用可追踪对象的位置坐标（例如，GPS）来将AR内容添加到覆盖在实时相机馈送之上的AR内容层。现场设备向其各自的用户显示AR内容，并且与非现场设备同步信息。

另一方面，在块610处，所有的非现场数字设备在真实世界的再现之上显示增强现实内容，其由若干源构成，包括几何和纹理扫描。由非现场设备显示的增强现实被称为非现场虚拟增强现实（ovAR）。在块612处，正在观看新创建的AR内容附近的位置的非现场设备下载关于AR内容及对应的可追踪对象的必要信息。非现场设备使用可追踪对象的位置坐标（例如，GPS）来将AR内容放置在坐标系中尽可能地接近其在真实世界中的位置。非现场设备然后向其各自的用户显示更新的视图，并且与现场设备同步信息。

在块614处，单个用户以各种方式响应于他们在其设备上看见的内容。例如，用户可以通过使用即时消息传递（IM）或语音聊天来响应他们看见的内容（块616）。用户也可以通过编辑、改变或创建AR内容来响应他们看见的内容（块618）。最后，用户也可以通过创建或放置虚拟化身来响应他们看见的内容（块620）。

在块622处，用户的设备将关于用户的响应的必要信息发送或上传到服务器系统。如果用户通过IM或语音聊天进行响应，那么在块624处，接收用户的设备对IM或语音聊天进行流式传输并进行中继。接收用户（接收者）可以选择继续对话。

在块626处，如果用户通过编辑或创建AR内容或虚拟化身进行响应，那么正在观看所编辑或创建的AR内容附近或所创建或放置的虚拟化身附近的位置的所有非现场数字设备下载关于AR内容或虚拟化身的必要信息。非现场设备使用可追踪对象的位置坐标（例如，GPS）来将AR内容或虚拟化身放置在虚拟世界中尽可能地接近其在真实世界中的位置。非现场设备向其各自的用户显示更新的视图，并且与现场设备同步信息。

在块628处，在所编辑或创建的AR内容附近或所创建或放置的虚拟化身附近的所有非现场数字设备下载关于AR内容或虚拟化身的必要信息。现场设备使用可追踪对象的位置坐标（例如，GPS）来放置AR内容或虚拟化身。现场设备向其各自的用户显示AR内容或虚拟化身，并且与非现场设备同步信息。

在块630处，单个现场用户以各种方式响应于他们在其设备上看见的内容。例如，用户可以通过使用即时消息传递（IM）或语音聊天来响应他们看见的内容（块638）。用户也可以通过创建或放置另一虚拟化身来响应他们看见的内容（块632）。用户也可以通过编辑或创建可追踪对象并向可追踪对象分配位置坐标来响应他们看见的内容（块634）。用户可以进一步编辑、改变或创建AR内容（636）。

在块640处，用户的现场设备将关于用户的响应的必要信息发送或上传到服务器系统。在块642处，接收用户的设备对IM或语音聊天进行流式传输并进行中继。接收用户可以选择继续对话。现场设备和非现场设备之间的传播交互可以继续。

增强现实定位和几何数据（“LockAR”）

LockAR系统可以使用定量分析和其它方法来改善用户AR体验。这些方法可以包括但不限于，分析和或链接到关于对象和地势的几何的数据、界定AR内容相对于一个或多个可追踪对象的定位（也称为绑定）、以及协调/过滤/分析关于可追踪对象之间以及可追踪对象和现场设备之间的定位、距离、定向的数据。这一数据集在本文中被称为环境数据。为了在真实世界场景的视图内精确地显示计算机生成的对象/内容（这里称为增强现实事件），AR系统需要获得该环境数据以及现场用户定位。LockAR的将用于特定真实世界位置的该环境数据与其它系统的定量分析进行整合的能力可以用来改善新的和现有的AR技术的定位精确度。增强现实事件的每个环境数据集可以以许多方式与特定真实世界的位置或场景相关联，所述方式包括但不限于应用特定的位置数据、地理围栏数据和地理围栏事件。

AR共享系统的应用可以使用GPS和其它三角测量技术来大体上识别用户的位置。AR共享系统然后加载与用户所在的真实世界位置相对应的LockAR数据。基于真实世界位置的定位和几何数据，AR共享系统可以确定AR内容在增强现实场景中的相对位置。例如，系统可以判定虚拟化身（AR内容对象）和基准标记（LockAR数据的部分）之间的相对距离。另一示例是具有多个基准标记，其具有彼此交叉参考定位、方向和角度的能力，使得每当观看者使用启用的数字设备来感知位置上的内容时，系统都可以细化并改善位置数据的质量和相对于彼此的相对定位。

增强现实定位和几何数据（LockAR）可以包括除了GPS和其它信标及信号前哨三角测量方法之外的信息。这些技术可能不精确，在一些情况下其中不精确度多达数百英尺。LockAR系统可以用来显著地改善现场位置的精确度。对于仅使用GPS的AR系统，用户可以基于GPS坐标在单个位置中创建AR内容对象，只是稍后返回并在不同位置中查找对象，因为GPS信号精确度和误差幅度不是一致的。如果若干人试着在不同的时间在相同的GPS位置制作AR内容对象，那么它们的内容将基于在事件发生时对AR应用可用的GPS数据的不一致性而被放置在增强现实世界内的不同位置。如果用户试着创建其中期望的效果是使AR内容或对象与其它AR或真实世界内容或对象进行交互的连贯的AR世界，那么这尤其麻烦。

来自场景的环境数据以及关联附近定位数据以改善精确度的能力提供了对于使多个用户能够在共享的增强现实空间中进行交互并同时地或随时间推移地编辑AR内容的应用所必要的精度水平。LockAR数据也可用于通过增加真实世界场景的再现的精度来改善非现场VR体验（即非现场虚拟增强现实“ovAR”），因为当随后将内容重新张贴到真实世界位置时，其用于通过LockAR通过增强平移/位置精确度而相对于实际真实世界场景中的使用/放置在ovAR中创建和放置AR内容。这可以是通用和ovAR特定数据集的组合。

用于场景的LockAR环境数据可以包括并衍生自各种类型的信息聚集技术和或系统以实现附加精度。例如，使用计算机视觉技术可以将2D基准标记识别为真实世界中的平面或定义的表面上的图像。系统可以识别基准标记的定向和距离，并且可以确定相对于基准标记的其它定位或对象形状。类似地，非平坦对象的3D标记也可以用于标记增强现实场景中的位置。这些各种基准标记技术的组合可以彼此关联，以改善每个附近的AR技术给予的数据/定位的质量。

LockAR数据可以包括由同时定位与地图构建（SLAM）技术收集的数据。SLAM技术高速地创建来自相机和/或结构光传感器的物理位置的纹理几何。该数据可以用于找准相对于位置的几何的AR内容的定位，并且也用于创建具有可非现场观看以增强ovAR体验的对应的真实世界场景放置的虚拟几何。结构光传感器（例如，IR或激光）可以用于确定对象的距离和形状，并且创建场景中存在的几何的3D点云或其它3D映射数据。

LockAR数据也可以包括关于用户设备的位置、移动和旋转的精确信息。该数据可以由诸如步行者航位推算（PDR）和/或传感器平台的技术来获得。

真实世界和用户的精确位置和几何数据创建了稳健的定位数据网。基于LockAR数据，系统知道每个基准标记和每条SLAM或预映射的几何的相对定位。因此，通过追踪/定位真实世界位置中的任何一个对象，系统可以确定位置中其它对象的方位，并且可以将AR内容绑定到实际的真实世界对象或相对于其进行定位。移动追踪和相对环境映射技术可以允许系统即使没有看得见的可识别对象也能高度精确地确定用户的位置，只要系统可以识别出LockAR数据集的一部分。

除了静态的真实世界位置之外，LockAR数据也可以用于在移动位置处放置AR内容。移动位置可以包括例如，船舶、汽车、火车、飞机以及人。与移动位置相关联的LockAR数据集被称为移动LockAR。移动LockAR数据集中的定位数据是相对于（例如，来自在连续地更新此类型位置的定向的移动位置处或其上的启用GPS的设备的）移动位置的GPS坐标的。系统智能地解释移动位置的GPS数据，同时对移动位置的移动进行预测。

在一些实施例中，为了优化移动LockAR的数据精确度，系统可以引入移动定位定向点（MPOP），其是智能地解释的随时间推移的移动位置的GPS坐标，以产生该位置的实际定位和定向的最好估计。这一GPS坐标集描述了特定位置，但AR对象或者LockAR数据对象中的对象或者集合可能并不在它所链接到的移动位置的确切中心处。当对象的位置在其创建时相对于MPOP是已知的时，系统通过基于手动设置值或算法原理将其定位从移动定位定向点（MPOP）进行偏移来计算链接对象的实际GPS位置。

图7和8图示出移动定位定向点（MPOP）如何允许创建和观看具有正在移动的位置的增强现实。如图7所图示，移动定位定向点（MPOP）可以由现场设备使用以知道何时寻找可追踪目标，并且可以由非现场设备使用以大致确定在何处显示移动AR对象。如附图标记700所指示的，过程流包括例如通过对象识别、几何识别、空间线索、标记、SLAM和/或其它计算机视觉（CV）来寻找GPS估计造成的“误差”幻影（bubble）中的精确AR以将GPS与实际AR或VR位置和定向“对齐”。在一些示例中，在700处，可以使用或以其它方式应用最好的CV实践和技术。同样在700处，过程流包括确定或识别可变的参考原点帧（FROP），并且然后从FROP偏移将与GPS相关的所有AR校正数据和现场几何。使用CV、SLAM、运动、PDR和标记线索在（一个或多个）GPS误差幻影内找出FROP。这可以是针对现场和非现场AR生态系统二者的常见引导，其是指AR艺术创建斑点的完全相同的物理几何，并且即使当对象正在移动时或LockAR创建事件和随后的AR观看事件之间有时间流逝时，也反复地查找确切的斑点。

如图8所图示的，移动定位定向点（MPOP）允许增强现实场景与移动对象的真实几何精确地排列。系统首先基于其GPS坐标查找移动对象的大致位置，并且然后应用一系列附加调整以更精确地匹配MPOP位置并朝向真实世界对象的实际位置和朝向，从而允许增强现实世界将精确的几何对齐与真实对象或多组链接的真实对象相匹配。FROP允许图8中的真实几何（B）与AR精确地排列，使用易于出错的GPS（A）作为用以使CV线索进入位置近似中的第一种方法，并且然后应用一系列附加调整以更接近地匹配精确的几何并排列任何位置或虚拟位置——移动或静止的——中的任何真实对象。小的对象可能仅需要CV调整技术。大的对象此外还可能需要FROP。

在一些实施例中，系统也可以以分层的方式设置LockAR位置。与LockAR数据集相关联的特定的真实世界位置的定位可以关于与第二LockAR数据集相关联的另一特定的真实世界位置的另一定位来描述，而不是直接使用GPS坐标来描述。层次中的真实世界位置中的每一个具有其自己的相关联的LockAR数据集，其包括例如基准标记定位和对象/地势几何。

LockAR数据集可以具有各种增强现实应用。例如，在一个实施例中，系统可以使用LockAR数据来创建增强现实中的对象的3D矢量形状（例如，光绘）。基于真实世界位置中的精确的环境数据、定位和几何信息，系统可以使用AR光绘技术以在用于现场用户设备的增强现实场景中和用于非现场用户设备的非现场虚拟增强现实场景中使用照明粒子的模拟来绘制矢量形状。

在一些其它实施例中，用户可以挥舞移动电话就好像它是手喷漆罐，并且系统可以在增强现实场景中记录挥舞运动的轨迹。如图9A和9B所图示的，系统可以基于静态LockAR数据或通过移动定位定向点（MPOP）的移动LockAR来找到移动电话的精确轨迹。图9A描绘出不增加AR内容的真实世界环境的实时视图。图9B描绘出其中增加了AR内容以提供真实世界环境的AR再现的图9A的实时视图。

系统可以在增强现实场景中制作跟随挥舞运动的动画。替换地，挥舞运动为一些AR对象在增强现实场景中制定了跟随路径。工业用户可以使用LockAR位置矢量定义来进行测量、架构、弹道、运动预测、AR可视化分析以及其它物理模拟，或者来创建数据驱动的且特定于位置的空间“事件”。这样的事件可以在以后的时间重复并共享。

在一个实施例中，移动设备可以作为跨任何表面或空间绘制的模板而被追踪、行走或移动，并且矢量生成的AR内容然后可以经由数字设备显现在那个地点上，以及显现在远程非现场位置。在另一实施例中，矢量创建的“空间绘图”可以为动画和任何规模或速度的时间/空间相关的运动事件提供动力，再次被可预见地在非现场和现场共享，以及在非现场和或现场进行编辑和改变，以便作为全系统的改变而对其它观看者可用。

类似地，如图10A和10B所图示的，也可以将来自非现场设备的输入实时传送到由现场设备促进的增强现实场景。图10A描绘出不增加AR内容的真实世界环境的实时视图。图10B描绘出其中增加了AR内容以提供真实世界环境的AR再现的图10A的实时视图。系统使用与图9A和9B中相同的技术，通过适当的调整和偏移来精确地排列到GPS空间中的定位，以改善GPS坐标的精确度。

非现场虚拟增强现实（“ovAR”）

图11是示出用于创建用于非现场设备的现场增强现实的虚拟再现（ovAR）的机制的流程图。如图11所图示的，现场设备将可能包括真实世界场景的背景对象的定位、几何和位图图像数据的数据发送到非现场设备。现场设备还将其看见的包括前景对象的其它真实世界对象的定位、几何和位图图像数据发送到非现场设备。例如，如在1110处所指示的，移动数字设备向云服务器发送数据，其包括使用诸如SLAM或结构光传感器的方法获得的几何数据，以及从GPS、PDR、陀螺仪、罗盘计算出的LockAR定位数据和纹理数据，以及加速计数据，以及其它传感器测量结果。还如在1112处所指示的，通过动态地接收和发送编辑和新内容，在现场设备处或由现场设备同步AR内容。关于环境的该信息使非现场设备能够创建真实世界位置和场景的虚拟再现（即ovAR）。例如，如在1114处所指示的，通过动态地接收和发送编辑和新内容，在非现场设备处或由非现场设备同步AR内容。

当现场设备检测到用户输入以向场景添加一条增强现实内容时，它向服务器系统发送消息，所述服务器系统将该消息分发到非现场设备。现场设备进一步将AR内容的定位、几何和位图图像数据发送到非现场设备。所图示出的非现场设备更新其ovAR场景以包括新的AR内容。非现场设备基于虚拟场景中的这些元素的相对定位和几何来动态地确定背景环境、前景对象和AR内容之间的遮挡。非现场设备可以进一步更改和改变AR内容，并使改变与现场设备同步。替换地，可以将对现场设备上的增强现实的改变异步地发送到非现场设备。例如，当现场设备不能连接到良好的Wi-Fi网络或者手机信号接收不良时，现场设备可以在现场设备具有较好的网络连接时稍后发送改变数据。

现场和非现场设备可以是例如具有传送AR场景的能力的头戴显示设备或其它AR/VR设备，以及诸如台式计算机的更传统的计算设备。在一些实施例中，设备可以将用户“感知计算”输入（诸如面部表情和手势）传送到其它设备，以及将其用作输入方案（例如，替换或补充鼠标和键盘），可能地控制虚拟化身的表情或移动以模仿用户的表情或移动。其它设备可以响应于“感知计算”数据显示该虚拟化身及其面部表情或手势的改变。如在1122处所指示的，可能的其它移动数字设备（MDD）包括但不限于，启用相机的VR设备和头戴显示器（HUD）设备。如在1126处所指示的，可能的其它非现场数字设备（OSDD）包括但不限于，VR设备和头戴显示器（HUD）设备。如在1124处所指示的，可以使用各种数字设备、传感器和技术（诸如感知计算和手势接口）来向AR应用提供输入。应用可以使用这些输入来以对所有用户可见的方式更改或控制AR内容和虚拟化身。如在1126处所指示的，也可以使用各种数字设备、传感器和技术（诸如感知计算和手势接口）来向ovAR提供输入。

非现场设备上的ovAR模拟不必须是基于该位置的静态预定几何、纹理、数据和GPS数据的。现场设备可以实时共享关于真实世界位置的信息。例如，现场设备可以实时扫描真实世界位置的元素的几何和定位，并且将纹理或几何的改变实时或异步地传送到非现场设备。基于位置的实时数据，非现场设备可以实时模拟动态ovAR。例如，如果真实世界位置包括移动中的人和对象，那么该位置处的这些动态改变也可以合并为用于非现场用户的场景的ovAR模拟的一部分以体验并进行交互，包括添加（或编辑）AR内容（诸如声音、动画、图像以及在非现场设备上创建的其它内容）的能力。这些动态改变可以影响对象的定位以及因此渲染它们时的遮挡顺序。这允许现场和非现场应用二者中的AR内容与真实世界的对象（在视觉上并以其它方式）实时进行交互。

图12A、12B和12C描绘出示出决定用于非现场虚拟增强现实（ovAR）场景的几何模拟水平的过程的流程图。非现场设备可以基于各种因素来确定几何模拟的水平。这些因素可以包括例如，非现场设备和现场设备之间的数据传输带宽、非现场设备的计算能力、关于真实世界位置和AR内容的可用数据等。附加的因素可以包括存储的或动态的环境数据，例如，现场设备的扫描和几何创建能力、现有几何数据和图像地图的可用性、非现场数据和数据创建能力、用户上传、以及用户输入，以及任何移动设备或非现场系统的使用。

如图12A、12B和12C所图示的，非现场设备通过评估其选项的可行性、以最高的保真度开始并逐渐降低来寻找可能的最高保真度选择。在穿过定位方法的层次的同时，将部分地通过关于用于每个方法的位置的有用数据的可用性以及方法是否是用以在用户的设备上显示AR内容的最好方式来确定使用哪一个。例如，如果AR内容太小，那么应用将不太可能使用Google Earth，或者如果AR标记不能从街景“看到”，那么系统或应用将使用不同的方法。无论选择什么选项，ovAR都将AR内容与其它现场设备和非现场设备同步，使得如果观看的一条AR内容改变，则非现场ovAR应用也将改变其显示内容。

在1200处，用户启动应用MapAR，并选择要观看的位置或一条AR内容。在1202处，非现场设备首先确定是否存在主动地扫描该位置的任何现场设备，或者是否存在可以由非现场设备流式传输、下载或访问的该位置的已存储扫描。如果是这样，那么在1230处，非现场设备使用关于背景环境的数据和关于位置的其它可用数据（包括关于前景对象、AR内容的数据）来创建并显示该位置的实时虚拟再现，并且将其显示给用户。在这种情况下，任何现场几何的改变都可以与非现场设备实时同步。非现场设备将检测并渲染AR内容与真实世界位置的对象和环境几何的遮挡和交互。

如果不存在主动地扫描位置的现场设备，那么在1204处，非现场设备接下来确定是否存在可以下载的位置的几何线迹（stitch）地图。如果是这样，那么在1232处，非现场设备使用几何线迹地图以及AR内容一起来创建并显示位置的静态虚拟再现。否则，在1206处，非现场设备继续评估并确定是否存在来自诸如在线地理数据库（例如，GOOGLE EARTH（TM））的任何源的针对该位置的任何3D几何信息。如果是这样，那么在1234处，非现场设备从地理数据库中检索3D几何，并使用它来创建模拟AR场景，并且然后将适当的AR内容合并到其中。例如，关于真实世界位置的点云信息可以通过交叉引用来自可信源的卫星测绘影像和数据、街景影像和数据以及深度信息来确定。使用由该方法创建的点云，用户可以相对于位置的实际几何来定位AR内容，诸如图像、对象或声音。该点云可以例如再现诸如用户的家的结构的粗略几何。AR应用然后可以提供工具以允许用户用AR内容精确地装饰位置。然后可以共享该装饰位置，允许一些或所有的现场设备和非现场设备观看并与装饰物进行交互。

如果在特定位置处证明了使用该方法来放置AR内容或创建ovAR场景太不可靠，或者如果几何或点云信息不可用，那么非现场设备在1208处继续并确定是否可以从外部地图数据库（例如，GOOGLE MAPS（TM））获得该位置的街景。如果是这样，那么在1236处，非现场设备与AR内容一起显示从地图数据库检索的该位置的街景。如果存在可用的可识别基准标记，那么非现场设备在相对于该标记的适当位置中显示与该标记相关联的AR内容，以及使用该基准标记作为参考点以增加显示的其它条AR内容的定位的精确度。

如果该位置的街景不可用或不适合于显示内容，那么在1210处，非现场设备确定在AR内容的周围是否存在足够的标记或其它可追踪目标以用它们来制造背景。如果是这样，那么在1238处，非现场设备在从可追踪目标中提取的纹理几何和图像的前面显示AR内容，基于它们的现场位置相对于彼此进行定位以给出该位置的显现。

否则，在1212处，非现场设备确定是否存在来自在线地理或地图数据库（例如，GOOGLE EARTH (TM)或GOOGLE MAPS (TM)）的具有足够分辨率的该位置的直升机视图。如果是这样，那么在1240处，非现场设备示出具有两个不同视图的分割屏幕，在屏幕的一个区域中，示出AR内容的再现，而在屏幕的其它区域中，示出该位置的直升机视图。在屏幕的一个区域中的AR内容的再现可以采用AR内容的视频或动画gif的形式，如果存在这样的视频或动画可用的话，如在1214处所确定的；否则，再现可以使用来自标记或另一类型的可追踪目标的数据来创建背景，并且在1242处，在所述背景之上示出AR内容的图片或渲染。如果没有可用的标记或其它可追踪目标，如在1216处所确定的，那么在1244处，非现场设备可以在该位置的直升机视图之上在指向内容位置的气球内示出AR数据或内容的图片。

如果没有具有足够分辨率的直升机视图，那么在1218处，非现场设备确定是否存在该位置的2D地图以及AR内容的视频或动画（例如，GIF动画），如在1220处所确定的，在1246处非现场设备在该位置的2D地图上示出AR内容的视频或动画。如果没有AR内容的视频或动画，那么在1222处，非现场设备确定是否可以在设备上将内容显示为3D模型，并且如果是这样，那么在1224处确定是否可以使用来自可追踪目标的数据来构建背景或环境。如果是这样，那么在1248处，在该位置的2D地图之上在由可追踪目标的数据制成的背景上显示AR内容的3D交互模型。如果不可能由可追踪目标的数据制成背景，那么在1250处，在该位置的2D地图上简单地显示AR内容的3D模型。否则，如果由于任何原因不能在用户的设备上显示AR内容的3D模型，那么在1222处，非现场设备确定是否存在AR内容的缩略视图。如果是这样，那么在1252处，非现场设备在该位置的2D地图上示出AR内容的缩略图。如果没有该位置的2D地图，那么在1254处，设备简单地显示AR内容的缩略图，如在1226处所确定的如果可能的话。并且如果这不可能，则在1256处显示通知用户AR内容不能在他们的设备上显示的错误。

即使在ovAR再现的最低层，非现场设备的用户也可以改变AR事件的内容。所述改变将与包括（一个或多个）现场设备的其它参与设备同步。应当注意的是，AR事件中的“参与”可以与结合真实世界位置或真实世界位置的模拟观看AR内容一样简单，而且“参与”不要求用户具有或使用编辑或交互特权。

非现场设备可以自动地（如上所述）或基于用户的选择来作出关于用于非现场虚拟增强现实（ovAR）的几何模拟水平的决定。例如，用户可以选择观看ovAR的较低/较简单的模拟水平，如果他们希望的话。

用于增强现实生态系统的平台

所公开的系统可以是允许多个创造性想法和创造性事件同时共存的平台、公共结构和管道。作为公共平台，该系统可以是较大AR生态系统的一部分。该系统为任何用户提供API接口以便以编程方式管理和控制生态系统内的AR事件和场景。此外，该系统提供更高级别的接口以便以图形方式管理和控制AR事件和场景。多个不同的AR事件可以在单个用户设备上同时地运行，并且多个不同的程序可以同时访问和使用生态系统。

示例性数字数据处理装置

图13是图示出在各种实施例中执行属性分类或识别的计算设备1300的硬件架构的示例的高级框图。计算设备1300执行下面详细描述的处理器可执行过程步骤中的一些或全部。在各种实施例中，计算设备1300包括处理器子系统，其包括一个或多个处理器1302。处理器1302可以是或可以包括一个或多个可编程通用或专用微处理器、数字信号处理器（DSP）、可编程控制器、专用集成电路（ASIC）、可编程逻辑器件（PLD）等或这样的基于硬件的设备的组合。

计算设备1300可以进一步包括都通过互连1308相互连接的存储器1304、网络适配器1310和存储适配器1314。互连1308可以包括例如系统总线、外围组件互连（PCI）总线、超传输或行业标准架构（ISA）总线、 小型计算机系统接口（SCSI）总线、通用串行总线（USB）、或电气与电子工程师协会（IEEE）标准1394总线（有时也称为“火线”）或任何其它数据通信系统。

计算设备1300可以被体现为执行存储操作系统1306的单或多处理器存储系统，其可以实现例如存储管理器的高级模块，以将信息逻辑地组织为在存储设备处被称为虚拟磁盘（后文中一般称为“块”）的命名目录、文件和特殊类型的文件的分层结构。计算设备1300可以进一步包括用于图形处理任务或并行处理非图形任务的（一个或多个）图形处理单元。

存储器1304可以包括可由（一个或多个）处理器1302以及适配器1310和1314寻址的存储位置以用于存储处理器可执行代码和数据结构。处理器1302以及适配器1310和1314又可以包括被配置成执行软件代码并操纵数据结构的处理元件和/或逻辑电路。通常部分驻留在存储器中并由（一个或多个）处理器1302来执行的操作系统1306通过（除了别的之外）配置（一个或多个）处理器1302进行调用来在功能上组织计算设备1300。对本领域技术人员将显而易见的是，包括各种计算机可读存储介质的其它处理和存储器实现方式可以用于存储并执行关于本技术的程序指令。

存储器1304可以存储例如用于被配置成基于身体特征数据库从数字图像定位多个部分碎片的身体特征模块；被配置成将所述部分碎片馈送到深度学习网络中以生成多个特征数据集的人工神经网络模块；被配置成连结所述特征数据集并将它们馈送到分类引擎中以确定数字图像是否具有图像属性的分类模块；以及被配置成处理整个身体部分的整个身体模块的指令。

网络适配器1310可以包括用以通过点对点链路、广域网、在公共网络（例如，互联网）或共享局域网上实现的虚拟专用网络将计算设备1300耦合到一个或多个客户端的多个端口。因此，网络适配器1310可以包括将计算设备1300连接到网络所需的机械、电气和信令电路。例证性地，网络可以被体现为以太网或WiFi网络。客户端可以通过根据预定义的协议（例如，TCP/IP）交换离散帧或数据包而通过网络与计算设备通信。

存储适配器1314可以与存储操作系统1306协作以访问由客户端请求的信息。该信息可以被存储在任何类型的可写存储介质（例如，磁盘或磁带、光盘（例如，CD-ROM或DVD）、闪速存储器、固态磁盘（SSD）、电子随机存取存储器（RAM）、微电机械和/或适于存储包括数据和奇偶校验信息的信息的任何其它类似介质）的附连阵列上。

AR矢量

图14是示出在现场和非现场二者同时地观看的AR矢量的例证性图示。图14描绘出用户从位置1（P1）移动到位置2（P2）到位置3（P3），同时手持启用具有运动检测能力的传感器（诸如罗盘、加速度计和陀螺仪）的MDD。将该移动记录为3D AR矢量。该AR矢量最初被放置在创建它的位置处。在图14中，AR飞行中的鸟跟随由MDD创建的矢量的路径。

非现场用户和现场用户二者都可以看见实时或在以后的时间重放的事件或动画。用户随后可以同时全部在一起协作地编辑AR矢量或随时间推移单独地编辑AR矢量。

可以以各种方式（例如作为点划线或作为动画的多个快照）给现场用户和非现场用户再现AR矢量。该再现可以通过使用色差和其它数据可视化技术来提供附加信息。

AR矢量也可以由非现场用户来创建。现场用户和非现场用户仍将能够看见AR矢量的路径或AR表现，以及协作地更改和编辑该矢量。

图15是在N1中示出AR矢量的创建以及在N2中示出AR矢量及其被显示给非现场用户的数据的另一例证性图示。图15描绘出用户从位置1（P1）移动到位置2（P2）到位置3（P3），同时手持启用具有运动检测能力的传感器（诸如罗盘、加速度计和陀螺仪）的MDD。用户将MDD视为触控笔，追踪现有地势或对象的边缘。该动作被记录为放置在创建它的空间中的特定位置处的3D AR矢量。在图15所示的示例中，AR矢量描述了建筑物的轮廓、墙壁或表面的路径。该路径可以具有描述记录的AR矢量从创建的AR矢量偏移的距离的值（其可以采用AR矢量的形式）。创建的AR矢量可以用于定义AR对象的边缘、表面或其它轮廓。这可能具有许多应用，例如，架构预览和可视化的创建。

非现场用户和现场用户二者都可以实时或在以后的时间点观看定义的边缘或表面。用户随后可以全部同时在一起协作地编辑定义的AR矢量或随时间推移单独地编辑定义的AR矢量。非现场用户也可以使用他们已经创建的AR矢量来定义AR对象的边缘或表面。现场用户和非现场用户仍将能够看见这些AR矢量的AR可视化或由它们定义的AR对象，以及协作地更改和编辑那些AR矢量。

为了创建AR矢量，现场用户通过移动现场设备来生成定位数据。该定位数据包括关于捕获每个点的相对时间的信息，其允许计算速度、加速度和加速度变化率数据。所有这些数据对于各种各样的AR应用（包括但不限于：AR动画、AR弹道可视化、AR运动路径生成以及追踪用于AR重放的对象）都是有用的。AR矢量创建的行为可以通过使用诸如加速度计集成的常见技术来采用IMU。更多先进的技术可以采用AR 可追踪目标来提供更高质量的定位和定向数据。来自可追踪目标的数据在整个AR矢量创建过程中可能并不可用；如果AR 可追踪目标数据不可用，则IMU技术可以提供定位数据。

不仅仅只是IMU，几乎任何输入（例如，RF追踪器、指针、激光扫描仪等）都可以用于创建现场AR矢量。AR矢量可以由现场和非现场二者的包括ovAR的多个数字和移动设备来访问。用户随后可以全部同时在一起协作地编辑AR矢量或随时间推移单独地编辑AR矢量。

现场数字设备和非现场数字设备二者都可以创建和编辑AR矢量。将这些AR矢量上传并在外部存储，以便对现场用户和非现场用户可用。这些改变可以由用户实时或在以后的时间来观看。

定位数据的相对时间值可以以各种方式来操纵，以便实现诸如交替速度和缩放的效果。可以使用许多输入源来操纵该数据，包括但不限于：midi板、触控笔、电吉他输出、运动捕获以及启用步行者航位推算的设备。AR矢量的定位数据也可以以各种方式来操纵，以便实现效果。例如，AR矢量可以创建20英尺长，随后被缩放10倍，以显现200英尺长。

多个AR矢量可以以新颖的方式进行组合。例如，如果AR矢量A定义3d空间中的笔触，则可以使用AR矢量B来定义该笔触的着色，并且AR矢量C随后可以定义沿着AR矢量A的笔触的不透明度。

AR矢量也可以是不同的内容元素；不一定将它们绑定到单个位置或单条AR内容。可以将它们复制、编辑和/或移动到不同的坐标。

AR矢量可以用于不同种类的AR应用，诸如：测量、动画、光绘、架构、弹道、运动、游戏事件等。存在AR矢量的军事用途；诸如人类团队与在地势上移动的多个对象的协作等。

其它实施例

提供了所公开实施例的先前描述，以使本领域技术人员能够制造或使用本发明。本领域技术人员将容易地认识到对这些实施例的各种修改，并且本文所定义的一般原理可以应用于其它实施例而不脱离本发明的范围或精神。因此，本发明并不旨在被限制成本文所示的实施例，而将被给予与本文所公开的原理和新颖特征一致的最广的范围。

此外，虽然可能以单数描述或要求保护本发明的元素，但除非明确地如此陈述，否则提及单数元素并不旨在意味着“一个且仅一个”，而应该意味着“一个或多个”。此外，本领域技术人员将认识到的是，为了解释和要求保护的目的，必须以某特定次序阐述操作序列，但是本发明可设想除了这样的特定顺序之外的各种改变。

鉴于上述主题，图16和17描绘出用于实现共享的AR体验的方法和系统的特征的附加非限制性示例。该示例方法可以由例如诸如在图17中所描绘的一个或多个计算设备的计算系统来执行或以其它方式来实现。在图16和17中，计算设备包括现场计算设备、非现场计算设备以及包括一个或多个服务器设备的服务器系统。相对于服务器系统，现场计算设备和非现场计算设备可以被称为客户端设备。

参考图16，在1618处的方法包括在现场设备的图形显示器处呈现AR再现，其包括合并到真实世界环境的实时视图中的AR内容项，以在真实世界环境内提供在相对于可追踪特征的定位和定向处呈现的AR内容项的显现。在至少一些示例中，AR内容项可以是三维AR内容项，其中相对于可追踪特征的定位和定向在三维坐标系内是六自由度矢量。

在1620处的方法包括在非现场设备的图形显示器处呈现真实世界环境的虚拟现实（VR）再现，其包括作为VR内容项合并到VR再现中的AR内容项，以VR再现内提供在相对于可追踪特征的虚拟再现（例如，虚拟AR再现）的定位和定向处呈现的VR内容项的显现。在一些示例中，非现场设备处的VR再现的视角是可由非现场设备的用户相对于AR再现的视角独立地控制的。在示例中，AR内容项可以是虚拟化身，其再现在非现场设备处呈现的VR再现内的虚拟第三人称优势点（vantage point）的虚拟优势点或焦点。

在1622处的方法包括，响应于在现场设备或非现场设备中的发起设备处关于AR内容项发起的改变，通过通信网络将更新数据从发起改变的发起设备传送到现场设备或非现场设备中的其它设备的接收者设备。发起设备将更新数据发送到目标目的地，其可以是服务器系统或接收者设备。发起设备基于更新数据更新AR再现或VR再现以反映改变。

更新数据定义在接收者设备处要实现的改变。更新数据可由接收者设备解释以更新AR再现或VR再现来反映改变。在示例中，通过通信网络传送更新数据可以包括在服务器系统处通过通信网络从发起改变的发起设备接收更新数据，并且通过通信网络将更新数据从服务器系统发送到接收者设备。可以响应于从接收者设备接收到请求来执行将更新数据从服务器系统发送到接收者设备。

在1624处的方法包括服务器系统在数据库系统处存储更新数据。在将更新数据发送到接收者设备之前——例如，响应于请求或推送事件，服务器系统可以从数据库系统检索更新数据。例如，在1626处，服务器系统处理来自现场设备和非现场设备的请求。在示例中，关于AR内容项发起的改变包括以下中的一个或多个：对AR内容项相对于可追踪特征的定位的改变，对AR内容项相对于可追踪特征的定向的改变，对AR内容项的显现的改变，对与AR内容项相关联的元数据的改变，AR内容项从AR再现或VR再现中的移除，对AR内容项的行为的改变，对AR内容项的状态的改变，和/或对AR内容项的子成分的状态的改变。

在一些示例中，接收者设备可以是包括一个或多个附加现场设备和/或一个或多个附加非现场设备的多个接收者设备中的一个。在该示例中，方法可以进一步包括（例如，经由服务器系统）通过通信网络将更新数据从发起改变的发起设备传送到多个接收者设备中的每一个。在1628处，（一个或多个）接收者设备解释更新数据并基于更新数据呈现反映关于AR内容项的改变的AR（在现场设备的情况下）或VR（在非现场设备的情况下）再现。

发起设备和多个接收者设备可以由作为共享AR体验组的成员的各个用户来操作。各个用户可以经由其各自的设备登录到在服务器系统处的各自的用户账户，以与该组相关联或与该组解除关联。

在1616处的方法包括通过通信网络将环境数据从服务器系统发送到现场设备和/或非现场设备。发送到现场设备的环境数据可以包括在其内定义AR内容项的坐标系以及定义该坐标系与真实世界环境内的可追踪特征之间的空间关系的桥接数据以用于呈现AR再现。发送到非现场设备的环境数据可以包括真实世界环境的纹理数据和/或几何数据再现以用于作为VR再现的一部分进行呈现。在1612处的方法进一步包括基于操作条件在服务器系统处从环境数据的分层集合中选择发送到非现场设备的环境数据，所述操作条件包括以下中的一个或多个：在服务器系统与现场设备和/或非现场设备之间的通信网络的连接速度、现场设备和/或非现场设备的渲染能力、现场设备和/或非现场设备的设备类型、和/或由现场设备和/或非现场设备的AR应用表达的偏好。方法可以进一步包括在现场设备处捕获真实世界环境的纹理图像、通过通信网络将纹理图像从现场设备传送到非现场设备作为纹理图像数据，以及在非现场设备的图形显示器处呈现由纹理图像数据定义的纹理图像作为真实世界环境的VR再现的一部分。

在1610处的方法包括基于操作条件在服务器系统处从AR内容项的分层集合中选择发送到现场设备和/或非现场设备的AR内容项。AR内容项的分层集合可以包括脚本、几何、位图图像、视频、粒子发生器、AR运动矢量、声音、触觉资产以及不同质量的元数据。操作条件包括以下中的一个或多个：在服务器系统与现场设备和/或非现场设备之间的通信网络的连接速度、现场设备和/或非现场设备的渲染能力、现场设备和/或非现场设备的设备类型、和/或由现场设备和/或非现场设备的AR应用表达的偏好。在1614处的方法包括通过通信网络将AR内容项从服务器系统发送到现场设备和/或非现场设备，用于作为AR再现和/或VR再现的一部分呈现。

图17描绘出示例计算系统1700。计算系统1700是可以实现本文中描述的方法、过程和技术的计算系统的非限制性示例。计算系统1700包括客户端设备1710。客户端设备1710是现场计算设备和非现场计算设备的非限制性示例。计算系统1700进一步包括服务器系统1730。服务器系统1730包括可以位于一处或分布的一个或多个服务器设备。服务器系统1730是本文中描述的各种服务器的非限制性示例。计算系统1700可以包括其它客户端设备1752，其可以包括客户端设备1710可以与之交互的现场和/或非现场设备。

客户端设备1710包括逻辑子系统1712、存储子系统1714、输入/输出子系统1722和通信子系统1724以及其它组件。逻辑子系统1712可以包括执行指令以实行任务或操作（诸如本文中描述的方法、过程和技术）的一个或多个处理器设备和/或逻辑机器。当逻辑子系统1712执行诸如程序或其它指令集的指令时，将逻辑子系统配置成实行由指令定义的方法、过程和技术。存储子系统1714可以包括一个或多个数据存储设备，包括半导体存储器设备、光存储器设备和/或磁存储器设备。存储子系统1714可以以非暂时性的形式保存数据，可以由逻辑子系统1712从其中检索或向其中写入数据。由存储子系统保存的数据的示例包括诸如AR或VR应用1716的可执行指令、在特定位置邻近内的AR数据和环境数据1718以及其它合适的数据1720。AR或VR应用1716是可由逻辑子系统1712执行以实现本文中描述的客户端侧方法、过程和技术的指令的非限制性示例。

输入/输出子系统1722包括一个或多个输入设备，诸如触摸屏幕、键盘、按钮、鼠标、麦克风、相机、其它机载传感器等。输入/输出子系统1722包括一个或多个输出设备，诸如触摸屏幕或其它图形显示设备、音频扬声器、触觉反馈设备等。通信子系统1724包括一个或多个通信接口，包括用于通过网络1750向或从其它设备发送和/或接收通信的有线和无线通信接口。通信子系统1724可以进一步包括GPS接收器或用于接收地理定位信号的其它通信接口。

服务器系统1730也包括逻辑子系统1732、存储子系统1734以及通信子系统1744。存储在服务器系统的存储子系统1734上的数据包括实现或以其它方式执行本文中描述的服务器侧方法、过程和技术的AR/VR操作模块。模块1736可以采用诸如可由逻辑子系统1732执行的软件和/或固件的指令形式。模块1736可以包括用于实现本公开主题的特定方面的一个或多个子模块或引擎。模块1736和客户端侧应用（例如客户端设备1710的应用1716）可以使用包括应用编程接口（API）消息传递的任何合适的通信协议来彼此通信。从客户端设备的角度，模块1736可以被称为由服务器系统托管的服务。存储子系统可以进一步包括诸如针对许多位置的AR数据和环境数据的数据1738。数据1738可以包括在多个会话上持续的一个或多个永久性虚拟和/或增强现实模块。先前在客户端计算设备1710处描述的数据1718可以是数据1738的子集。存储子系统1734也可以具有用于用户登录的用户账户形式的数据，使得用户状态能够在多个会话上持续。存储子系统1734可以存储其它合适的数据1742。

作为非限制性示例，服务器系统1730在模块1736处托管增强现实（AR）服务，所述服务器系统1730被配置成：通过通信网络向现场设备发送环境数据和AR数据，其使得现场设备能够在现场设备的图形显示器处呈现增强现实AR再现，其包括合并到真实世界环境中的AR内容项，以在真实世界环境内提供在相对于可追踪特征的定位和定向处呈现的AR内容项的显现；通过通信网络向非现场设备发送环境数据和AR数据，使得非现场设备能够在非现场设备的图形显示器处呈现真实世界环境的虚拟现实（VR）再现，其包括作为VR内容项合并到VR再现中的AR内容项，以在VR再现内提供在相对于可追踪特征的虚拟再现的定位和定向处的VR内容的显现；通过通信网络从关于AR内容项发起改变的现场设备或非现场设备中的发起设备接收更新数据，所述更新数据定义关于AR内容项的改变；以及通过通信网络将更新数据从服务器系统发送到未发起改变的现场设备或非现场设备中的其它设备的接收者设备，所述更新数据可由接收者设备解释以更新AR再现或VR再现来反映改变。

在本公开主题的示例实现方式中，用于提供共享的增强现实体验的计算机实现的方法可以包括在接近真实世界位置的现场设备处接收现场设备的位置坐标。在该示例中或在本文中公开的任何其它示例中，方法可以进一步包括基于位置坐标从现场设备向服务器发送对可用AR内容的请求以及对真实世界位置的对象的定位和几何数据的请求。在该示例中或在本文中公开的任何其它示例中，方法可以进一步包括在现场设备处接收AR内容以及包括真实世界位置的对象的定位和几何数据的环境数据。在该示例中或在本文中公开的任何其它示例中，方法可以进一步包括通过呈现合并到真实世界位置的实时视图中的增强现实内容来在现场设备处可视化真实世界位置的增强现实再现。在该示例中或在本文中公开的任何其它示例中，方法可以进一步包括从现场设备向远离真实世界位置的非现场设备转发AR内容以及真实世界位置中的对象的定位和几何数据，以使得非现场设备能够通过创建真实世界位置的对象的虚拟副本来可视化真实世界的虚拟再现。在该示例中或在本文中公开的任何其它示例中，非现场设备可以将AR内容合并在虚拟再现中。在该示例中或在本文中公开的任何其它示例中，方法可以进一步包括将现场设备上的增强现实再现的改变与非现场设备上的虚拟增强现实再现进行同步。在该示例中或在本文中公开的任何其它示例中，方法可以进一步包括将非现场设备上的虚拟增强现实再现的改变与现场设备上的增强现实再现进行同步。在该示例中或在本文中公开的任何其它示例中，可以将现场设备上的增强现实再现的改变异步地发送到非现场设备。在该示例中或在本文中公开的任何其它示例中，同步可以包括从现场设备的输入组件接收用户指令，以在增强现实再现中创建、更改、移动或去除增强现实内容；在现场设备处，基于用户指令更新增强现实再现；以及从现场设备向非现场设备转发用户指令，使得非现场设备可以根据用户指令来更新其增强现实场景的虚拟再现。在该示例中或在本文中公开的任何其它示例中，方法可以进一步包括在现场设备处从非现场设备接收非现场设备在其虚拟增强现实再现中创建、更改、移动或去除增强现实内容的用户指令；并且在现场设备处，基于用户指令来更新增强现实再现，使得在增强现实再现与虚拟增强现实再现之间同步增强现实内容的状态。在该示例中或在本文中公开的任何其它示例中，方法可以进一步包括通过现场设备来捕获环境数据，其包括但不限于，真实世界位置的实时视频、实时几何和现有纹理信息。在该示例中或在本文中公开的任何其它示例中，方法可以进一步包括从现场设备向非现场设备发送真实世界位置的对象的纹理图像数据。在该示例中或在本文中公开的任何其它示例中，同步可以包括将现场设备上的增强现实再现的改变与多个非现场设备上的多个虚拟增强现实再现和其它现场设备上的多个增强现实再现进行同步。在该示例中或在本文中公开的任何其它示例中，增强现实内容可以包括视频、图像、一件艺术作品、动画、文本、游戏、程序、声音、扫描或3D对象。在该示例中或在本文中公开的任何其它示例中，增强现实内容可以包含对象的层次，其包括但不限于，着色器、粒子、灯光、体素、虚拟化身、脚本、程序、过程对象、图像或视觉效果，或其中增强现实内容是对象的子集。在该示例中或在本文中公开的任何其它示例中，方法可以进一步包括通过自动地或手动地发送邀请或允许对多个现场设备或非现场设备的公共访问来由现场设备建立热编辑增强现实事件。在该示例中或在本文中公开的任何其它示例中，现场设备可以维持其在场景处在现场设备的位置处的增强现实的视点。在该示例中或在本文中公开的任何其它示例中，非现场设备的虚拟增强现实再现可以跟随现场设备的视点。在该示例中或在本文中公开的任何其它示例中，非现场设备可以维持其虚拟增强现实再现的视点作为来自虚拟增强现实再现中的非现场设备的用户的虚拟化身的第一人称视图，或者作为虚拟增强现实再现中的非现场设备的用户的虚拟化身的第三人称视图。在该示例中或在本文中公开的任何其它示例中，方法可以进一步包括在现场设备或非现场设备处捕获所述设备的用户的面部表情或身体姿态；在所述设备处，更新增强现实再现中的设备的用户的虚拟化身的面部表情或身体定位；以及从该设备向所有的其它设备发送该用户的面部表情或身体姿态的信息，以使得其它设备能够更新虚拟增强现实再现中的所述设备的用户的虚拟化身的面部表情或身体定位。在该示例中或在本文中公开的任何其它示例中，可以通过中央服务器、云服务器、设备节点的网状网络或设备节点的对等网络来传送现场设备与非现场设备之间的通信。在该示例中或在本文中公开的任何其它示例中，方法可以进一步包括由现场设备向另一现场设备转发AR内容以及包括真实世界位置的对象的定位和几何数据的环境数据，以使得其它现场设备能够在与靠近该现场设备的真实世界位置类似的另一位置中可视化AR内容；以及将现场设备上的增强现实再现的改变与其它现场设备上的另一增强现实再现进行同步。在该示例中或在本文中公开的任何其它示例中，可以将现场设备上的增强现实再现的改变存储在外部设备上并且在会话与会话之间持续。在该示例中或在本文中公开的任何其它示例中，现场设备上的增强现实再现的改变可以在被从外部设备擦除之前持续预定的时间量。在该示例中或在本文中公开的任何其它示例中，通过自组网传送现场设备与其它现场设备之间的通信。在该示例中或在本文中公开的任何其它示例中，增强现实再现的改变可能不会在会话与会话之间或在事件与事件之间持续。在该示例中或在本文中公开的任何其它示例中，方法可以进一步包括使用诸如摄影测量和SLAM的技术从真实世界纹理、深度或几何信息的公共或私有源（例如，GOOGLE STREET VIEW（TM）、GOOGLE EARTH （TM）和NOKIA HERE（TM））提取追踪（一个或多个）真实世界对象或（一个或多个）特征所需的数据，其包括但不限于，几何数据、点云数据以及纹理图像数据。

在本公开主题的示例实现方式中，用于提供共享的增强现实体验的系统可以包括用于生成真实世界位置的增强现实再现的一个或多个现场设备。在该示例中或在本文中公开的任何其它示例中，系统可以进一步包括用于生成真实世界位置的虚拟增强现实再现的一个或多个非现场设备。在该示例中或在本文中公开的任何其它示例中，增强现实再现可以包括可视化的并与真实世界位置的实时视图合并的内容。在该示例中或在本文中公开的任何其它示例中，虚拟增强现实再现可以包括可视化的并与再现真实世界位置的虚拟增强现实世界中的实时视图合并的内容。在该示例中或在本文中公开的任何其它示例中，现场设备可以将增强现实再现的数据与非现场设备进行同步，使得增强现实再现和虚拟增强现实再现彼此一致。在该示例中或在本文中公开的任何其它示例中，可能有零个非现场设备，并且现场设备通过对等网络、网状网络或自组网进行通信。在该示例中或在本文中公开的任何其它示例中，可以将现场设备配置成识别用户指令以改变现场设备的AR内部再现的数据或内容。在该示例中或在本文中公开的任何其它示例中，可以将现场设备进一步配置成向系统的其它现场设备和非现场设备发送用户指令，使得系统内的增强现实再现和虚拟增强现实再现实时一致地反映数据或内容的改变。在该示例中或在本文中公开的任何其它示例中，可以将非现场设备配置成识别用户指令以改变非现场设备的虚拟增强现实再现中的数据或内容。在该示例中或在本文中公开的任何其它示例中，可以将非现场设备进一步配置成向系统的其它现场设备和非现场设备发送用户指令，使得系统内的增强现实再现和虚拟增强现实再现实时一致地反映数据或内容的改变。在该示例中或在本文中公开的任何其它示例中，系统可以进一步包括用于中继和/或存储现场设备与非现场设备之间的通信、以及现场设备之间的通信和非现场设备之间的通信的服务器。在该示例中或在本文中公开的任何其它示例中，现场设备和非现场设备的用户可以参与共享的增强现实事件。在该示例中或在本文中公开的任何其它示例中，现场设备和非现场设备的用户可以通过在增强现实再现和虚拟增强现实再现中可视化的用户的虚拟化身来再现；并且其中增强现实再现和虚拟增强现实再现将虚拟化身在虚拟位置或场景以及对应的真实世界位置中参与共享的增强现实事件进行可视化。

在本公开主题的示例实现方式中，用于共享的增强现实体验的计算机设备包括被配置成从接近真实世界位置的现场设备接收真实世界位置的环境、定位和几何数据的网络接口。在该示例中或在本文中公开的任何其它示例中，可以将网络接口进一步配置成从现场设备接收增强现实数据或内容。在该示例中或在本文中公开的任何其它示例中，计算机设备可以进一步包括被配置成基于从现场设备接收的包括定位和几何数据的环境数据创建真实世界位置的虚拟再现的非现场虚拟增强现实引擎。在该示例中或在本文中公开的任何其它示例中，计算机设备可以进一步包括被配置成在现实的虚拟再现中再现增强现实内容的引擎，使得现实的虚拟再现与由现场设备创建的真实世界位置的增强现实再现（AR场景）一致。在该示例中或在本文中公开的任何其它示例中，计算机设备可以远离真实世界位置。在该示例中或在本文中公开的任何其它示例中，可以将网络接口进一步配置成接收指示现场设备已经更改了增强现实再现或场景中的增强现实覆盖对象的消息。在该示例中或在本文中公开的任何其它示例中，可以将数据和内容引擎进一步配置成基于该消息更改虚拟增强现实再现中的增强现实内容。在该示例中或在本文中公开的任何其它示例中，计算机设备可以进一步包括被配置成接收用户指令以更改虚拟增强现实再现或场景中的增强现实内容的输入接口。在该示例中或在本文中公开的任何其它示例中，可以将覆盖引擎进一步配置成基于用户指令来更改虚拟增强现实再现中的增强现实内容。在该示例中或在本文中公开的任何其它示例中，可以将网络接口进一步配置成将指令从第一设备发送到第二设备，以更改第二设备的增强现实再现中的增强现实覆盖对象。在该示例中或在本文中公开的任何其它示例中，可以将指令从作为现场设备的第一设备发送到作为非现场设备的第二设备；或可以将指令从作为非现场设备的第一设备发送到作为现场设备的第二设备；或可以将指令从作为现场设备的第一设备发送到作为现场设备的第二设备；或可以将指令从作为非现场设备的第一设备发送到作为非现场设备的第二设备。在该示例中或在本文中公开的任何其它示例中，真实世界位置的定位和几何数据可以包括使用以下中的任何或全部收集的数据：基准标记技术、同时定位与地图构建（SLAM）技术、全球定位系统（GPS）技术、航位推算技术、信标三角测量、预测几何追踪、图像识别和或稳定化技术、摄影测量与制图技术以及任何可想到的确定位置或具体定位的技术。

在本公开主题的示例实现方式中，用于共享增强现实定位数据以及该定位数据的相对时间值的方法包括，从至少一个现场设备接收从现场设备的运动收集的定位数据以及该定位数据的相对时间值。在该示例中或在本文中公开的任何其它示例中，方法可以进一步包括基于定位数据以及该定位数据的相对时间值来创建增强现实（AR）三维矢量。在该示例中或在本文中公开的任何其它示例中，方法可以进一步包括将增强现实矢量放置在收集定位数据的位置处。在该示例中或在本文中公开的任何其它示例中，方法可以进一步包括用设备来可视化增强现实矢量的再现。在该示例中或在本文中公开的任何其它示例中，增强现实矢量的再现可以通过使用色差和其它数据可视化技术来包括附加信息。在该示例中或在本文中公开的任何其它示例中，AR矢量可以定义一条AR内容的边缘或表面，或可以以其它方式作为用于该条AR内容的参数。在该示例中或在本文中公开的任何其它示例中，所包括的关于在现场设备上在其处捕获每个定位数据点的相对时间的信息允许计算速度、加速度和加速度变化率数据。在该示例中或在本文中公开的任何其它示例中，方法可以进一步包括从定位数据以及该定位数据的相对时间值创建包括但不限于AR动画、AR弹道可视化或用于AR对象的移动路径的对象和值。在该示例中或在本文中公开的任何其它示例中，从包括但不限于现场设备的内部运动单元的源生成可以被收集以创建AR矢量的设备的运动数据。在该示例中或在本文中公开的任何其它示例中，可以从包括但不限于RF追踪器、指针或激光扫描仪的源生成的、与设备的运动不相关的输入数据创建AR矢量。在该示例中或在本文中公开的任何其它示例中，AR矢量可以由多个数字和移动设备来访问，其中所述数字和移动设备可以在现场或非现场。在该示例中或在本文中公开的任何其它示例中，实时或异步地观看AR矢量。在该示例中或在本文中公开的任何其它示例中，一个或多个现场数字设备或一个或多个非现场数字设备可以创建并编辑AR矢量。在该示例中或在本文中公开的任何其它示例中，多个现场和非现场用户可以实时或在以后的时间看到对AR矢量的创建和编辑。在该示例中或在本文中公开的任何其它示例中，多个用户可以同时地或在一段时间内完成创建和编辑，以及观看创建和编辑。在该示例中或在本文中公开的任何其它示例中，可以以包括但不限于改变速度、色彩、形状以及扩缩的各种方式来操纵AR矢量的数据，以便实现各种效果。在该示例中或在本文中公开的任何其它示例中，可以使用各种类型的输入来创建或改变AR矢量的定位数据矢量，所述各种类型的输入包括但不限于：midi板、触控笔、电吉他输出、运动捕获以及启用步行者航位推算的设备。在该示例中或在本文中公开的任何其它示例中，可以更改AR矢量定位数据，使得更改数据和未更改数据之间的关系是线性的。在该示例中或在本文中公开的任何其它示例中，可以更改AR矢量定位数据，使得更改数据和未更改数据之间的关系是非线性的。在该示例中或在本文中公开的任何其它示例中，方法可以进一步包括使用多个增强现实矢量作为参数的一条AR内容。在该示例中或在本文中公开的任何其它示例中，AR矢量可以是不同的内容元素，而不依赖于特定位置或特定条的AR内容。可以将它们复制、编辑和/或移动到不同的定位坐标。在该示例中或在本文中公开的任何其它示例中，方法可以进一步包括使用AR矢量来创建针对不同种类的AR应用的内容，所述不同种类的AR应用包括但不限于：测量、动画、光绘、架构、弹道、训练、游戏以及国防。

将要理解的是，本文中描述的配置和/或方法本质上是示例性的，而且不应以限制意义来考虑这些具体实施例或示例，因为许多变化是可能的。本文中描述的具体例程或方法可以表示任何数量的处理策略中的一个或多个。如此，可以以图示和/或描述的顺序、以其它顺序、并行地执行图示和/或描述的各种动作或者将其省略。同样，可以改变上述过程的次序。

本公开内容的主题包括本文中公开的各种过程、系统和配置以及其它特征、功能、动作和/或属性的所有新颖的和非显而易见的组合和子组合，以及其任何和所有等同物。

Claims (20)

1.一种用于提供共享的增强现实体验的计算机实现的方法，所述方法包括：

在现场设备的图形显示器处呈现增强现实（AR）再现，其包括合并到真实世界环境的实时视图中的AR内容项，以在所述真实世界环境内提供在相对于可追踪特征的定位和定向处呈现的所述AR内容项的显现；

在非现场设备的图形显示器处呈现真实世界环境的虚拟现实（VR）再现，其包括作为VR内容项合并到所述VR再现中的所述AR内容项，以在所述VR再现内提供在相对于所述可追踪特征的虚拟再现的所述定位和定向处呈现的所述VR内容项的显现；以及

响应于在所述现场设备或所述非现场设备中的发起设备处关于所述AR内容项发起的改变，通过通信网络将更新数据从发起所述改变的发起设备传送到所述现场设备或所述非现场设备中的其它设备的接收者设备，所述更新数据可由所述接收者设备解释以更新所述AR再现或所述VR再现以反映所述改变。

2.根据权利要求1所述的方法，其中通过通信网络传送所述更新数据包括：

在服务器系统处通过通信网络从发起所述改变的发起设备接收所述更新数据，以及

通过通信网络将所述更新数据从所述服务器系统发送到所述接收者设备。

3.根据权利要求2所述的方法，进一步包括：

所述服务器系统在数据库系统处存储所述更新数据。

4.根据权利要求3所述的方法，其中响应于从所述接收者设备接收到请求，执行将所述更新数据从所述服务器系统发送到所述接收者设备；以及

其中所述方法进一步包括在将所述更新数据发送到所述接收者设备之前，所述服务器系统从所述数据库系统中检索所述更新数据。

5.根据权利要求1所述的方法，进一步包括：

通过通信网络将环境数据从所述服务器系统发送到所述现场设备，所述环境数据包括在其内定义所述AR内容项的坐标系以及定义所述坐标系与所述真实世界环境内的可追踪特征之间的空间关系的桥接数据以用于所述AR再现的呈现。

6.根据权利要求1所述的方法，其中关于所述AR内容项发起的改变包括以下中的一个或多个：

对所述AR内容项相对于所述可追踪特征的定位的改变，

对所述AR内容项相对于所述可追踪特征的定向的改变，

对所述AR内容项的显现的改变，

对所述AR内容项的行为的改变，

对所述AR内容项的状态的改变，

对与所述AR内容项相关联的元数据的改变，

对所述AR内容项的子成分的状态的改变，和/或

所述AR内容项从所述AR再现或所述VR再现中的移除。

7.根据权利要求6所述的方法，其中所述更新数据定义要在所述接收者设备处实现的改变。

8.根据权利要求1所述的方法，其中在所述非现场设备处的所述VR再现的视角是可由所述非现场设备的用户相对于所述AR再现的视角独立地控制的。

9.根据权利要求1所述的方法，其中所述接收者设备是包括一个或多个附加现场设备和/或一个或多个附加非现场设备的多个接收者设备中的一个；以及

其中所述方法进一步包括通过通信网络将所述更新数据从发起所述改变的发起设备传送到所述多个接收者设备中的每一个。

10.根据权利要求9所述的方法，其中所述发起设备和所述多个接收者设备由作为共享AR体验组的成员的各个用户来操作。

11.根据权利要求10所述的方法，其中所述各个用户经由其各自的设备登录到在服务器系统处的各自的用户账户以与所述组相关联。

12.根据权利要求1所述的方法，其中所述AR内容项是虚拟化身，其在所述非现场设备处呈现的所述VR再现内再现虚拟第三人称优势点的虚拟优势点或焦点。

13.根据权利要求1所述的方法，进一步包括：

通过通信网络将所述AR内容项从所述服务器系统发送到所述现场设备和/或所述非现场设备，用于作为所述AR再现和/或所述VR再现的一部分呈现；以及

基于操作条件在所述服务器系统处从AR内容项的分层集合中选择发送到所述现场设备和/或所述非现场设备的所述AR内容项，所述操作条件包括以下中的一个或多个：

所述服务器系统与所述现场设备和/或所述非现场设备之间的通信网络的连接速度，

所述现场设备和/或所述非现场设备的渲染能力，

所述现场设备和/或所述非现场设备的设备类型，和/或

由所述现场设备和/或所述非现场设备的AR应用表达的偏好。

14.根据权利要求1所述的方法，进一步包括：

通过通信网络将环境数据从所述服务器系统发送到所述非现场，所述环境数据定义所述真实世界环境的纹理数据和/或几何数据再现以用于作为所述VR再现的一部分呈现；以及

基于操作条件在所述服务器系统处从所述环境数据的分层集合中选择发送到所述非现场设备的所述环境数据，所述操作条件包括以下中的一个或多个：

所述服务器系统与所述现场设备和/或所述非现场设备之间的通信网络的连接速度，

所述现场设备和/或所述非现场设备的渲染能力，

所述现场设备和/或所述非现场设备的设备类型，和/或

由所述现场设备和/或所述非现场设备的AR应用表达的偏好。

15.根据权利要求1所述的方法，进一步包括：

在所述现场设备处，捕获所述真实世界环境的纹理图像；以及

通过通信网络将所述纹理图像从所述现场设备作为纹理图像数据传送到所述非现场设备；以及

在所述非现场设备的图形显示器处呈现由所述纹理图像数据定义的纹理图像作为所述真实世界环境的所述VR再现的一部分。

16.根据权利要求1所述的方法，其中所述AR内容项是三维AR内容项，其中相对于所述可追踪特征的定位和定向在三维坐标系内是六自由度矢量。

17.一种计算系统，其包括：

托管增强现实（AR）服务的服务器系统，其被配置成：

通过通信网络将环境和AR数据发送到现场设备，所述数据使得所述现场设备能够在所述现场设备的图形显示器处呈现增强现实AR再现，所述AR再现包括合并到真实世界环境的实时视图中的AR内容项，以在所述真实世界环境内提供在相对于可追踪特征的定位和定向处呈现的所述AR内容项的显现；

通过通信网络将环境和AR数据发送到非现场设备，所述数据使得所述非现场设备能够在所述非现场设备的图形显示器处呈现所述真实世界环境的虚拟现实（VR）再现，所述VR再现包括作为VR内容项合并到所述VR再现中的所述AR内容项，以在所述VR再现内提供在相对于所述可追踪特征的虚拟再现的所述定位和定向处呈现的所述VR内容项的显现；

通过通信网络从发起关于所述AR内容项的改变的所述现场设备或所述非现场设备中的发起设备接收更新数据，所述更新数据定义关于所述AR内容项的所述改变；以及

通过通信网络将所述更新数据从所述服务器系统发送到未发起所述改变的所述现场设备或所述非现场设备中的其它设备的接收者设备，所述更新数据可由所述接收者设备解释以更新所述AR再现或所述VR再现以反映所述改变。

18.根据权利要求17所述的计算系统，其中关于所述AR内容项发起的改变包括以下中的一个或多个：

对所述AR内容项相对于所述可追踪特征的定位的改变，

对所述AR内容项相对于所述可追踪特征的定向的改变，

对所述AR内容项的显现的改变，

对所述AR内容项的行为的改变，

对所述AR内容项的状态的改变，

对与所述AR内容项相关联的元数据的改变，

对所述AR内容项的子成分的状态的改变，和/或

所述AR内容项从所述AR再现或所述VR再现中的移除。

19.根据权利要求17所述的计算系统，其中托管所述增强现实（AR）服务的所述服务器系统被进一步配置成：

通过通信网络将所述AR内容项从所述服务器系统发送到所述现场设备和/或所述非现场设备，用于作为所述AR再现和/或所述VR再现的一部分呈现；以及

基于操作条件在所述服务器系统处从AR内容项的分层集合中选择发送到所述现场设备和/或所述非现场设备的所述AR内容项，所述操作条件包括以下中的一个或多个：

所述服务器系统与所述现场设备和/或所述非现场设备之间的通信网络的连接速度，

所述现场设备和/或所述非现场设备的渲染能力，

所述现场设备和/或所述非现场设备的设备类型，

由所述现场设备和/或所述非现场设备的AR应用表达的偏好。

20.一种用于提供共享的增强现实体验的计算机实现的方法，所述方法包括：

在现场设备的图形显示器处呈现增强现实（AR）再现，其包括合并到真实世界环境的实时视图中的AR内容项，以在所述真实世界环境内提供在相对于可追踪特征的定位和定向处呈现的所述AR内容项的显现；

响应于由所述现场设备的用户发起的关于所述AR内容项的改变，通过通信网络将更新数据从所述现场设备传送到一个或多个接收者设备，所述一个或多个接收者设备包括非现场设备，所述更新数据可由所述一个或多个接收者设备解释以更新各自的AR再现或各自的虚拟现实（VR）再现以反映所述改变，其中所述非现场设备基于所述更新数据在所述非现场设备的图形显示器处呈现所述真实世界环境的VR再现，其包括作为VR内容项合并到所述VR再现中的所述AR内容项，以在所述VR再现内提供在相对于所述可追踪特征的虚拟再现的所述定位和定向处呈现的所述VR内容项的显现；以及

基于所述更新数据来在所述现场设备处更新所述AR再现以反映所述改变。