CN113614794A - 管理增强现实中的内容 - Google Patents

Abstract

根据一个方面，一种用于管理增强现实(AR)环境中的AR内容的方法包括获得与AR环境的场景相关联的图像数据，其中AR环境包括被安置在AR环境的坐标空间中的AR内容。该方法包括从图像数据中检测物理对象，将物理对象与AR内容相关联，并将AR内容的坐标和指示物理对象与AR内容相关联的信息存储在AR场景存储中以用于未来的AR定位。

Description

管理增强现实中的内容

相关申请

本申请要求2019年4月26日提交的标题为“Managing Content in AugmentedReality(管理增强现实中的内容)”的美国专利申请号16/395,832和2019年4月26日提交的标题为“System and Method for Creating Persistent Mappings in AugmentedReality(用于在增强现实中创建持久映射的系统和方法)”的美国非临时申请号16/396,145的优先权，其全部内容通过引用整体并入。

技术领域

本描述一般涉及管理增强现实中的内容。

背景技术

当用户附接持久的、共享的增强现实(AR)内容时，存储AR内容的坐标。然而，AR内容通常参考物理上位于附近的对象。如果物理对象移动或从AR场景中移除，则已定位的AR内容可能会变得不准确，因为AR内容参考不再在原始位所中的对象。例如，AR应用可能允许用户将AR标签附接到他们工作场所需要维修的对象上，诸如将AR标签添加到需要维修的机器上。如果机器被移除或移动到另一个位所，在AR环境中仍然渲染的AR标签可能不相关。

发明内容

根据一方面，一种用于管理增强现实(AR)环境中的增强现实(AR)内容的方法包括获得与AR环境的场景相关联的图像数据，其中AR环境包括被安置在AR环境的坐标空间中的AR内容。该方法包括从图像数据中检测物理对象，将物理对象与AR内容相关联，并将AR内容的坐标和指示物理对象与AR内容相关联的信息存储在AR场景存储中以用于未来的AR定位。根据进一步的方面，可以提供对应的AR系统和存储对应指令的非暂时性计算机可读介质。

根据一些方面，该方法包括以下特征中的一个或多个(或其任何组合)。物理对象的检测可以基于一个或多个机器学习(ML)模型。一个或多个ML模型被配置成确定物理对象的分类，其中该分类与AR内容相关联。图像数据为第一图像数据，该方法进一步包括获得至少一部分场景的第二图像数据以定位AR内容，检测到第二图像数据中不存在物理对象，并使AR内容不在AR环境中渲染。在一些示例中，该方法包括获得至少一部分场景的第二图像数据以定位AR内容，基于第二图像数据和AR场景存储检测物理对象已移动到AR环境的场景中的新位所并将AR环境中的AR内容移动到与第二图像数据中物理对象的新位所对应的位所。在一些示例中，该方法包括获得至少一部分场景的第二图像数据以定位AR内容，基于第二图像数据和AR场景存储检测物理对象不存在或已经移动到AR环境场景中的新位所，以及通过应用编程接口(API)向与AR环境的AR内容相关联的开发者传送通知。在一些示例中，AR内容位于物理对象附近。在一些示例中，关联包括分析与AR内容相关联的一个或多个词项，并且确定这些词项中的至少一个与物理对象的分类相关联。

根据一个方面，一种用于在增强现实(AR)环境中管理AR内容的AR系统包括可由至少一个服务器执行的AR协同服务和可由计算设备执行的客户端AR应用，其中客户端AR应用被配置成经由一个或多个应用编程接口(API)与AR协同服务进行通信。AR协同服务或客户端AR应用被配置成获得与AR环境的场景相关联的图像数据，其中AR环境包括被安置在AR环境坐标空间中的AR内容，并且该AR内容与AR环境中的物理对象相关联，检测到物理对象不存在于图像数据中或移动到场景中的新位置，并启动管理与物理对象相关联的AR内容的动作。根据进一步的方面，可以提供对应的方法和存储对应指令的非暂时性计算机可读介质。

根据一些方面，AR系统可以包括以上/以下特征中的任何一个(或其任何组合)。AR协同服务或客户端AR应用被配置成使用一个或多个机器学习(ML)模型检测物理对象。AR协同服务或客户端AR应用被配置成使用一个或多个ML模型检测物理对象的类型，其中该类型与AR内容相关联。客户端AR应用被配置成使AR内容不从AR环境渲染。AR协同服务或客户端AR应用被配置成将AR环境中的AR内容移动到物理对象在图像数据中的新位置相对应的位所。AR协同服务或客户端AR应用被配置成经由应用编程接口(API)向传送AR环境的AR内容的开发者通知。AR协同服务或客户端AR应用被配置成分析与AR内容相关联的一个或多个词项，并确定这些词项中的至少一个与物理对象的分类相关联。

根据一个方面，一种存储可执行指令的非暂时性计算机可读介质，所述可执行指令当由至少一个处理器执行时，被配置成管理增强现实(AR)环境中的增强现实AR内容，其中所述可执行指令包括使至少一个处理器获得与AR环境的场景相关联的第一图像数据的指令，其中AR环境包括被安置在AR环境的坐标空间中的AR内容，从第一图像数据检测位于接近AR内容的物理对象的类型，在AR场景存储中存储具有到物理对象的类型的链接的AR内容坐标，获得与AR环境场景相关联的第二图像数据以定位AR环境，基于第二图像数据和AR场景存储来检测物理对象的类型不存在于第二图像数据中或被移动到场景中的新位置，并且启动管理与物理对象相关联的AR内容的动作。根据进一步的方面，可以提供对应的AR系统和对应的方法。

根据一些方面，非暂时性计算机可读介质可以包括以上/以下特征中的任意一个(或其任何组合)。启动动作可以包括不从AR环境渲染AR内容的指令。启动动作可以包括将AR环境中的AR内容移动到与物理对象在第二图像数据中的新位置相对应的位所的指令。启动动作可以包括经由应用编程接口(API)向AR内容的开发者传送通知的指令。使用一种或多种机器学习(ML)模型检测物理对象的类型。

在附图和以下描述中阐述了一种或多种实施方式的细节。从描述和附图以及从权利要求中，其他特征将是显而易见的。

附图说明

图1A描绘根据一个方面的具有语义内容管理器的AR系统。

图1B描绘根据一个方面的语义内容管理器的示例。

图2描绘根据一个方面的具有由AR内容参考的检测到的对象的AR场景。

图3A描绘示出移动到场景外的对象的AR内容的常规AR场景。

图3B描绘根据一个方面的来自具有语义内容管理器的AR系统的AR场景。

图4A描绘示出移动到场景中不同位所的对象的AR内容的常规AR场景。

图4B描绘根据另一方面的来自具有语义内容管理器的AR系统的AR场景。

图5图示描绘根据一个方面的用于在存储用于未来定位的AR场景时管理AR内容的示例操作的流程图。

图6图示描绘根据一个方面的用于在定位AR场景时管理AR内容的示例操作的流程图。

图7图示根据一个方面的描绘用于在存储和定位AR场景时管理AR内容的示例操作的流程图。

图8图示根据一个方面的AR系统的示例计算设备。

各种附图中相同的附图标记指示相同的元件。

具体实施方式

实施例提供了一种语义内容管理器，该语义内容管理器被配置成使用一个或多个机器学习(ML)模型从设备的相机捕获的图像数据中检测和分类由AR内容参考或位于接近AR内容的物理对象，并存储分类以及AR持久空间中AR内容的坐标。语义内容管理器可以生成AR内容和附近物理对象之间的链接，使得AR内容被附接到与AR内容相关的对象。例如，如果AR内容被安置为接近在现实世界中的椅子，语义内容管理器可以分析相机的输入，检测对象的分类为“椅子”，并启动分类以及AR持久空间中的AR内容坐标的存储。

当在未来会话中重新定位AR持久场景时，语义内容管理器可以检测与AR内容相关联的对象是否存在于当前AR场景中或移动到当前AR场景中的不同位所。在一些示例中，如果对象已经移动到当前AR场景中的不同位所，则语义内容管理器可以自动将AR内容移动到与对象的新位所相对应的位所。在一些示例中，如果对象已被移除，则语义内容管理器可以使AR内容不在AR场景中渲染。在一些示例中，如果对象不存在或已经移动，则语义内容管理器可以向AR内容的开发者传送通知，所述通知告知他们不存在或移动，使得开发者可以决定不示出AR内容、移动AR内容的位所或将AR内容留在原始位所。

结果，当与某个物理对象相关联的AR内容继续与该物理对象在空间上相关联时，即使该物理对象在物理空间中移动，AR场景可能看起来被更准确地定位。此外，技术优势可能包括移除被链接到已从场景中移除且不应由应用渲染的物理对象的AR内容的不准确放置。此外，语义内容管理器可以提供细化特定AR内容的定位的能力，以补偿大规模定位中的潜在漂移或错误。例如，当定位结果偏移时，AR内容将被安置在与所期望位所不同的位所。如果已知该AR内容与特定对象相关联，则此处讨论的技术可以位移AR内容的位所以与最初存储的相比更准确地与空间中的物理对象对齐，即使这需要在定位坐标空间中的不同坐标位置处渲染。

图1A图示根据一个方面的用于管理被安置在AR环境101的场景125内的AR内容130的AR系统100。AR系统100包括可由一个或多个AR服务器102执行的AR协同服务104，所述AR协同服务104配置成创建用户可以共享的多用户或协同AR体验。AR协同服务104通过网络150与包括计算设备106和计算设备108的多个计算设备通信，其中计算设备106的用户和计算设备108的用户可以共享相同的AR环境101。

AR环境101可以涉及在用户视野内的物理空间和AR内容130被安置在其中的虚拟空间。如图1A中所示，AR内容130是文本描述(“My Chair(我的椅子)”)连同指向对象121(例如，椅子)的箭头，其中对象121是物理空间中的物理对象。AR内容130可以包括由一个或多个用户添加的虚拟内容。AR内容130可以包括对象、注释或其他信息。定位(或提供或渲染)AR环境101可以涉及通过显示AR内容130来更改用户对物理空间的视野，使得它对用户显现为呈现在用户的视野中的物理空间中、或覆盖到在用户的视野中的物理空间上或覆盖在用户的视野中的物理空间中。因此，AR内容130的这种显示是根据虚拟空间和物理空间之间的映射。AR内容130的覆盖可以例如通过将AR内容130叠加到物理空间的用户的光学视场、通过在一个或多个显示屏上再现物理空间用户的视野，和/或以其他方式，例如，通过使用平视显示器、移动设备显示屏等等来实现。

计算设备106被配置成执行客户端AR应用110。在一些示例中，客户端AR应用110是与一个或多个AR应用109结合操作的软件开发工具包(SDK)。AR应用109可以是在计算设备106上可执行的任何类型的AR应用(例如，游戏、娱乐、医学、教育等)。在一些示例中，结合计算设备106上的一个或多个传感器，客户端AR应用110被配置成检测和跟踪其相对于物理空间的位置，检测不同类型表面(例如，水平、垂直、成角度)的大小和位所，并估计环境的当前光照条件。客户端AR应用110被配置成经由一个或多个应用编程接口(API)与AR协同服务104通信。尽管在图1A中图示两个计算设备，AR协同服务104可以与任意数量的计算设备通信和共享AR环境101。

计算设备106可以是例如诸如控制器的计算设备或移动设备(例如，智能电话、平板电脑、操纵杆或其他便携式控制器)。在一些示例中，计算设备106包括与移动设备配对或与移动设备通信以在AR环境101中交互的可穿戴设备(例如，头戴式设备)。AR环境101是环境的表示，其可以由计算设备106(和/或其他虚拟和/或增强现实硬件和软件)生成。在此示例中，用户正在使用计算设备106查看AR环境101。因为计算设备108的细节和使用可能相对于计算设备106相同，所以为了简洁起见省略计算设备108的细节。

如图1A中所示，AR系统100包括语义内容管理器112，其被配置成管理AR内容130，使得AR内容130被附接到(或链接到)被AR内容130参考或与AR内容130相关的对象121(或对象121的分类)。然后，当在计算设备106上定位AR内容130时，语义内容管理器112被配置成当对象121已经移动到当前场景125中的不同位所或不存在于当前场景125中时重新安置AR内容130或从AR内容130移除。在一些示例中，客户端AR应用110被配置成执行语义内容管理器112(例如，包括在可由计算设备106执行的客户端AR应用110内)。在一些示例中，AR协同服务104被配置成执行语义内容管理器112(例如，包括在AR服务器102可执行的AR协同服务104内)。在一些示例中，语义内容管理器112的一个或多个操作由客户端AR应用110执行，并且语义内容管理器112的一个或多个操作由AR协同服务104执行。

通常，语义内容管理器112被配置成检测和分类由AR内容130参考或位于接近AR内容130的对象121，并将该分类连同AR内容130的坐标一起存储在AR场景存储111中。在一些示例中，AR场景存储111包括坐标空间，来自物理空间的视觉信息(例如，由计算设备106检测)和AR内容130被安置在该坐标空间中。在一些示例中，视觉信息和AR内容130的位置在AR场景存储111中逐个图像帧地更新。在一些示例中，AR场景存储111包括AR环境101的三维(3D)地图。在一些示例中，AR场景存储111包括AR环境的稀疏点地图。AR场景存储111中的信息用于与加入AR环境101的一个或多个用户共享AR环境101并计算每个用户的计算设备关于AR环境101的物理空间位于何处，使得多个用户可以查看AR环境101并与其交互。

当来自AR场景存储111的AR持久场景在未来会话中被重新定位时，语义内容管理器112可以检测与AR内容130相关联的对象121是否存在于场景125中或移动到场景125中的不同位所。在一些示例中，如果对象121已经移动到场景125中的不同位所，则语义内容管理器112可以自动将AR内容130移动到对应于对象121的新位所的位所。在一些示例中，如果对象121已经从物理空间移除，则语义内容管理器112可以使AR内容130不在与计算设备106相关联的显示屏上渲染。在一些示例中，如果对象121不存在或已经移动，语义内容管理器112可以向AR内容130的开发者传送通知，该通知告知他们不存在或移动，使得开发者可以决定不示出AR内容130、移动AR内容130的位所或将AR内容130留在原来的位所。

图1B图示根据一个方面的语义内容管理器112的示意图。语义内容管理器112包括锚定模块114，其被配置成获得与AR环境101的场景125相关联的图像数据113a。在一些示例中，锚定模块114被配置成在将场景125保存到AR场景存储111时执行。用户可以使用计算设备106上的相机以从AR环境101的物理空间捕获场景125。在一些示例中，图像数据113a包括由计算设备106捕获的一个或多个帧的图像数据。AR环境101包括被安置在AR环境101的坐标空间中的AR内容130。例如，用户可以将AR内容130添加到AR环境101，并且AR内容130的位所可以由在AR环境101的坐标空间中的其位置(例如，x、y、z位所)所指示。

参考图1B和2，锚定模块114可以使用一个或多个机器学习(ML)模型115从AR环境的场景125中的图像数据113a中检测AR内容130所参考的或位于接近AR内容130的对象121。例如，相对靠近AR内容130安置的对象121可以指示AR内容130参考该对象121。如图2中所示，AR内容130是文本描述(“My Chair”)连同指向对象121(例如，椅子)的箭头，其中对象121是物理空间中的物理对象。

锚定模块114可以通过根据一种或多种对象识别技术分析由计算设备106捕获的图像数据113a来检测场景125中的对象121。在一些示例中，锚定模块114使用一个或多个ML模型115来确定对象121的类型123。类型123可以包括对象121的分类(例如，语义标签)。在图1A和图2中的示例中，锚定模块114可以将对象121的类型123确定为椅子(或椅子分类或标签)。在一些示例中，ML模型115包括一个或多个训练的分类器，其被配置成基于图像数据113a检测场景125中的对象121的类型123。例如，一个或多个经训练的分类器可以检测场景125中的对象121，并且为对象121指配语义标签。例如，语义标签可以包括诸如椅子、膝上型电脑、书桌等的对象的不同特性。

更详细地，ML分类器可以检测相机图像内的多个对象，以及相关联的位置信息(例如，“椅子”的识别与相机帧的特定部分相关联，而不是与整个帧相关联。来自其他ML和AR模型(诸如AR视觉特征点)的深度估计信息可以与相机帧的标记部分相结合，以估计识别对象的3D位置。ML模型可能允许特别精确的物理对象的检测和分类。

在一些示例中，ML模型115包括神经网络。神经网络可以是互连的节点组，每个节点表示人工神经元。节点按层相互连接，一层的输出变成下一层的输入。神经网络对输入层接收的输入进行变换，通过一系列隐藏层对其进行变换，并经由输出层产生输出。每层由节点集的子集组成。隐藏层中的节点与上一层中的所有节点完全连接，并将其输出提供给下一层中的所有节点。单层中的节点彼此独立运行(即，不共享连接)。输出中的节点向请求的过程提供变换后的输入。

在一些示例中，语义内容管理器112在对象分类算法中使用卷积神经网络，其是不完全连接的神经网络。因此，卷积神经网络的复杂度低于全连接神经网络。卷积神经网络还可以利用池化或最大池化来减少流经神经网络的数据的维数(并且因此复杂性)，从而这减少所需的计算等级。这使得卷积神经网络中的输出计算比神经网络中的更快。

锚定模块114可以确定检测到的对象121及其类型123与AR内容130相关联。在一些示例中，如果检测到的对象121在AR内容130的特定距离内，锚定模块114可以确定检测到的对象121与AR内容130相关联。在一些示例中，锚定模块114被配置成确定对象121(和/或对象121的类型123)与AR内容130的相关性等级，并且如果相关性等级高于阈值量，则锚定模块114被配置成确定检测到的对象121与AR内容130相关联。在一些示例中，基于对象121的位所到AR内容130在坐标空间中的位所的距离确定相关性等级(例如，较短的距离可以指示较高的相关性)。

在一些示例中，相关性等级基于(例如，进一步基于)对象121的类型123和AR内容130的语义比较。例如，AR内容130可以与一个或更多词项相关联。如图1中所示，AR内容130包括描述“我的椅子”。锚定模块114可以从AR内容130检测词项“椅子”并且确定词项“椅子”与类型123(例如，椅子分类)相关联。然后，锚定模块114可以确定与AR内容130相关联的一个或多个词项在语义上与对象121的类型123相同/相似。在一些示例中，AR内容130包括虚拟对象，并且锚定模块114可以检测虚拟对象的类型(例如，使用上述技术)。如果虚拟对象的类型和对象121的类型123被确定为在语义上相似，则锚定模块114可以增加相关性等级和/或确定AR内容130与对象121相关联。

响应于AR内容130被确定为与对象121相关联，锚定模块114可以生成对象121和AR内容130之间的链接127并存储具有到AR环境101中的对象121的链接的AR内容130的坐标。例如，替代仅将AR内容130的坐标存储在AR场景存储111中，AR内容130还与对象121的链接127一起存储，这指示AR内容130与某一类型的物理对象相关联(例如，AR内容130参考物理环境中的椅子)。链接127可以是指示对象121被链接到AR内容130的计算机生成的数据。在一些示例中，链接127指示与AR内容130相关联的对象121的类型123。

当存储场景125用于未来定位时，语义内容管理器112可以向AR协同服务104发送或提供关于对象121、类型123和链接127的信息以及AR内容130的坐标(其指示其中图像数据113a被映射到的坐标空间中的AR内容130的位置)。

在一些示例中，客户端AR应用110被配置成从图像数据113a检测视觉特征点集并跟踪该视觉特征点集随时间流逝的移动。视觉特征点集是表示用户环境的多个点(例如，兴趣点)，并且视觉特征点集可以随时间流逝被更新。在一些示例中，视觉特征点集可以被称为表示物理世界中的物理对象的锚点或持久视觉特征集，并且视觉特征点集存储在AR场景存储111中以用于在随后的会话中或为另一个用户定位AR环境101。例如，AR场景存储113中的视觉特征点可以被用于与其他视觉特征点(例如，从图像数据113b中检测到的)进行比较和匹配，以便于确定物理空间是否与存储的视觉特征点的物理空间相同并计算与AR场景存储111中存储的视觉特征点相关的在AR环境011内的计算设备的位所。

为了在后续会话中在计算设备106上或在另一个计算设备(例如，计算设备108)上定位AR内容130，AR定位器116可以获得图像数据113b，该图像数据113b捕获AR环境101的场景125的至少一部分。例如，用户可以使用计算设备106或计算设备108上的相机来从AR环境101的物理空间捕获场景125的至少一部分。

AR定位器116可以使用当前图像数据(例如，图像数据113b)使用一个或多个ML模型115检测对象121是否存在或已移动到场景125中的不同位所。例如，当定位场景125时，AR定位器116可以基于存储在AR场景存储111中的链接127来确定要渲染的AR内容130与对象121的类型123相关联。使用如上所述的对象识别技术，AR定位器116被配置成检测图像数据113b中具有相同类型123的对象121是否存在或位于与图像数据113a中的对象121相同的位所处。

例如，AR场景存储111包括将图像数据113a(和AR内容130)映射到AR环境101的坐标空间的信息。继续以上示例，AR场景存储111包括将椅子映射到坐标空间的信息。使用图像数据113b，AR定位器116被配置成检测当前场景125是否包括存储在AR场景存储111中的对象121的类型123。如果图像数据113b包括椅子，AR定位器116被配置成确定将AR场景存储111中存储的椅子是否位于与图像数据113b中检测到的椅子位于相同的位置处。如果椅子位于不同的位置，则AR定位器116被配置成根据图像数据113b确定椅子的新位所。

取决于AR定位器116的结果，语义内容管理器112的动作模块118被配置成执行一个或多个动作。如果检测到对象121为不存在于图像数据113b中，则动作模块118可以使AR应用119不渲染来自AR场景存储111的AR内容130。如果对象121存在于图像数据113b中但是已经移动到新位所，动作模块118被配置成将AR环境101中的AR内容130移动到接近对象121的新位所。在一些示例中，如果对象121不存在于当图像数据113b或已移动到不同位所时，动作模块118可以经由API 120向与AR内容130相关联的开发者传送通知。

图3A图示当对象不再在场景125中时没有语义内容管理器112的AR系统的结果。例如，如图3A所示，当物理对象(例如，椅子)不再在由计算设备106捕获的场景125中时，AR系统(没有语义内容管理器112)仍然可以渲染AR内容130。然而，如图3B中所示，语义内容管理器112被配置成检测图像数据113b不包括具有确定类型123的对象121。结果，如图3B中所示，语义内容管理器112被配置成使AR内容130不在AR环境101的场景125中渲染。

图4A图示当物理对象已经移动到场景125中的不同位所时不具有语义内容管理器112的AR系统的结果。例如，如图4A中所示，当物理对象121移动到场景125中的新位所时，因为AR内容130仅附接到AR空间的坐标，所以常规AR系统仍可在所保存场景的位置中渲染AR内容130，这可能使AR内容130不准确。根据实施例，如图4B中所示，语义内容管理器112被配置成从图像数据113b检测对象121在新位所内，并自动将AR内容130移动到与对象121的新位所对应的位置。

图5图示描绘根据一个方面的AR系统100的示例操作的流程图500。流程图500的示例操作涉及在存储用于未来定位的AR场景时检测与AR内容相关联的对象。

操作502包括获得与AR环境101的场景125相关联的图像数据113a，其中AR环境101包括被安置在AR环境101的坐标空间中的AR内容130。操作504包括从图像数据113a检测对象121。操作506包括将对象121与AR内容130相关联。操作508包括将AR内容130的坐标和指示对象121与AR内容130相关联的信息存储在AR场景存储111中以用于未来的AR定位。

图6图示描绘根据一个方面的AR系统100的示例操作的流程图600。流程图600的示例操作涉及在定位到当前会话时检测与AR内容相关联的对象。

操作602包括获得与AR环境101的场景125相关联的图像数据113b，其中AR环境101包括被安置在AR环境101的坐标空间中的AR内容130，并且AR内容130与AR环境101中的对象121相关联。操作604包括检测对象121不存在于图像数据113b中或被移动到场景125中的新位置。操作606包括启动管理与对象121相关联的AR内容130的动作。在一些示例中，动作包括移除用于在场景125内显示的AR内容130，将AR内容130重新安置到与对象121的新位所相对应的位所，和/或向AR内容130的开发者发送通知。

图7图示了描绘根据一个方面的AR系统100的示例操作的流程图700。流程图700的示例操作涉及在从第一会话存储并定位到第二会话时检测与AR内容相关联的对象。

操作702包括获得与AR环境101的场景125相关联的第一图像数据113a，其中AR环境101包括被安置在AR环境101的坐标空间中的AR内容130。操作704包括从第一图像数据113a检测位于接近AR内容130的对象121的类型123。操作706包括在AR场景存储111中存储具有到对象121的类型123的链接127的AR内容1230的坐标。操作708包括获得与AR环境101的场景125相关联的第二图像数据113b以定位AR环境101。操作710包括基于第二图像数据113b和AR场景存储111检测对象121的类型123不存在于第二图像数据113b中或移动到场景125中的新位置。操作712包括启动管理与对象121相关联的AR内容130的动作。

图8示出可以与本文描述的技术一起使用的示例计算机设备800和示例移动计算机设备850的示例。计算设备800包括处理器802、存储器804、存储设备806、连接到存储器804和高速扩展端口810的高速接口808，以及连接到低速总线814和存储设备806的低速接口812。部件802、804、806、808、810和812中的每一个都使用各种总线互连，并且可以被安装在通用主板上或视情况以其他方式安装。处理器802可以处理用于在计算设备800内执行的指令，包括存储在存储器804或存储设备806中的指令以在外部输入/输出设备(诸如耦合到高速接口808的显示器816)上显示用于GUI的图形信息。在其他实施方式中，可以适当地使用多个处理器和/或多个总线，以及多个存储器和存储器类型。另外，可以连接多个计算设备800，每个设备提供部分必要的操作(例如，作为服务器库、一组刀片式服务器或多处理器系统)。

存储器804存储在计算设备800内的信息。在一种实施方式中，存储器804是一个或多个易失性存储单元。在另一种实施方式中，存储器804是一个或多个非易失性存储单元。存储器804也可以是另一种形式的计算机可读介质，诸如磁盘或光盘。

存储设备806能够为计算设备800提供大容量存储。在一种实施方式中，存储设备806可以是或包含计算机可读介质，诸如软盘设备、硬盘设备、光盘设备、或磁带设备、闪存或其他类似的固态存储设备、或设备的阵列，包括存储区域网络或其他配置中的设备。计算机程序产品可以有形地体现在信息载体中。计算机程序产品还可以包含在被执行时执行一种或多种如上所述的方法的指令。信息载体是计算机可读介质或机器可读介质，诸如存储器804、存储设备806或处理器802上的存储器。

高速控制器808管理计算设备800的带宽密集型操作，而低速控制器812管理较低带宽密集型操作。这种功能分配仅是示例性的。在一种实施方式中，高速控制器808被耦合到存储器804、显示器816(例如，通过图形处理器或加速器)，并且被耦合到可以接受各种扩展卡(未示出)的高速扩展端口810。在实施方式中，低速控制器812被耦合到存储设备806和低速扩展端口814。可以包括各种通信端口(例如，USB、蓝牙、以太网、无线以太网)的低速扩展端口可以例如通过网络适配器被耦合到一个或多个输入/输出设备，诸如键盘、指向设备、扫描仪或诸如交换机或路由器的联网设备。

如图所示，可以以多种不同的形式实现计算设备800。例如，它可以被实现为标准服务器820，或者被多次实现在这种服务器的组中。它也可以被实现为机架服务器系统824的一部分。此外，它还可以在诸如膝上型计算机822的个人计算机中实现。替代地，来自计算设备800的部件可以与移动设备(未示出)中的其他部件进行组合，诸如设备850。每个这种设备可以包含计算设备800、850中的一个或多个，并且整个系统可以由彼此通信的多个计算设备800、850组成。

除其他部件之外，计算设备850包括处理器852、存储器864、诸如显示器854的输入/输出设备、通信接口866和收发器868。还可以向设备850提供存储设备，诸如微驱动器或其他设备，以提供附加的存储。部件850、852、864、854、866和868中的每个部件均使用各种总线互连，并且多个部件可以被安装在通用主板上或视情况以其他方式安装。

处理器852可以执行计算设备850内的指令，包括存储在存储器864中的指令。处理器可以被实现为包括单独的以及多个模拟和数字处理器的芯片的芯片组。例如，处理器可以提供设备850的其他部件的协调，诸如用户界面的控制、设备850运行的应用以及设备850的无线通信。

处理器852可以通过控制接口858和耦合到显示器854的显示器接口856与用户进行通信。例如，显示器854可以是TFT LCD(薄膜晶体管液晶显示器)或者OLED(有机发光二极管)显示器，或其他适当的显示技术。显示器接口856可以包括用于驱动显示器854向用户呈现图形和其他信息的适当电路。控制接口858可以从用户接收命令并且将其转换以提交给处理器852。此外，可以提供与处理器852通信的外部接口862，以实现设备850与其他设备的近区通信。例如，外部接口862可以在一些实施方式中提供有线通信，或者在其他实施方式中提供无线通信，并且还可以使用多个接口。

存储器864存储在计算设备850内的信息。存储器864可以被实现为一个或多个计算机可读介质、一个或多个易失性存储单元或者一个或多个非易失性存储单元中的一种或多种。还可以提供扩展存储器874并且通过扩展接口872将其连接到设备850，例如，扩展接口872可以包括SIMM(单列直插存储器模块)卡接口。这种扩展存储器874可以为设备850提供额外的存储空间，或者也可以为设备850存储应用或其他信息。具体地，扩展存储器874可以包括用于执行或补充上述过程的指令，并且还可以包括安全信息。因此，例如，扩展存储器874可以被提供为用于设备850的安全模块，并且可以用允许安全使用设备850的指令进行编程。此外，可以经由SIMM卡，诸如以不可入侵的方式将识别信息放置在SIMM卡上来提供安全应用以及附加信息。

例如，存储器可以包括闪存和/或NVRAM存储器，如下所述。在一种实施方式中，计算机程序产品有形地体现在信息载体中。计算机程序产品包含在被执行时执行一种或多种如上所述的方法的指令。信息载体是诸如存储器864、扩展存储器874或处理器852上的存储器的计算机可读介质或机器可读介质，例如，其可以通过收发器868或外部接口862被接收。

设备850可以通过在必要时可以包括数字信号处理电路的通信接口866进行无线通信。通信接口866可以提供各种模式或协议下的通信，诸如GSM语音呼叫、SMS、EMS或MMS消息传递、CDMA、TDMA、PDC、WCDMA、CDMA2000或GPRS等等。例如，这种通信可以通过射频收发器868而发生。此外，可以进行短程通信，诸如使用蓝牙、Wi-Fi或其他这种收发器(未示出)。此外，GPS(全球定位系统)接收器模块870可以向设备850提供附加的导航和与位置有关的无线数据，其可以被设备850上运行的应用适当地使用。

设备850还可以使用可以从用户接收口头信息并将其转换为可用的数字信息的音频编解码器860在听觉上进行通信。音频编解码器860可以同样地为用户生成可听声音，诸如通过扬声器，例如在设备850的听筒中。这种声音可以包括来自语音电话呼叫的声音，可以包括录制的声音(例如，语音消息、音乐文件等)，并且还可以包括由在设备850上操作的应用生成的声音。

如图所示，计算设备850可以以多种不同的形式实现。例如，它可以实现为蜂窝电话880。它也可以被实现为智能电话882、个人数字助理或另一类似的移动设备的一部分。

可以在数字电子电路、集成电路、专门设计的ASIC(专用集成电路)、计算机硬件、固件、软件和/或其组合中实现本文描述的系统和技术的各种实施方式。这些各种实施方式可以包括在一个或多个计算机程序中的实施方式，该程序可以在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用的或通用的，其被耦合以从存储系统、至少一个输入设备和至少一个输出设备接收数据和指令，并且被耦合以向存储系统、至少一个输入设备和至少一个输出设备传送数据和指令。另外，术语“模块”可以包括软件和/或硬件。

这些计算机程序(也被称为程序、软件、软件应用或代码)包括用于可编程处理器的机器指令，并且可以以高级过程和/或面向对象的编程语言和/或汇编/机器语言来实现。如本文所使用的，术语“机器可读介质”、“计算机可读介质”是指用于向可编程处理器提供机器指令和/或数据的任意计算机程序产品、装置和/或设备(例如，磁盘、光盘、存储器、可编程逻辑设备(PLD))，包括接收机器指令作为机器可读信号的机器可读介质。术语“机器可读信号”是指用于向可编程处理器提供机器指令和/或数据的任意信号。

为了提供与用户的交互，本文描述的系统和技术可以在计算机上实现，所述计算机具有显示器设备(例如，CRT(阴极射线管)或LCD(液晶显示器)监视器)以向用户显示信息以及具有用户可以通过其向计算机提供输入的键盘和指向设备(例如鼠标或轨迹球)。其他种类的设备也可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感觉反馈(例如，视觉反馈、听觉反馈或触觉反馈)；并且可以以任何形式接收来自用户的输入，包括声音、语音或触觉输入。

本文描述的系统和技术可以在计算系统中实现，所述计算系统包括后端部件(例如，作为数据服务器)，或包括中间件部件(例如，应用服务器)或包括前端部件(例如，具有用户可以通过其与本文描述的系统和技术的实施方式进行交互的图形用户界面或Web浏览器的客户端计算机)，或这种后端、中间件或前端部件的任意组合。系统的部件可以通过数字数据通信的任何形式或介质(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)、广域网(“WAN”)和互联网。

计算系统可以包括客户端和服务器。客户端和服务器通常彼此远离并且典型地通过通信网络进行交互。客户端和服务器之间的关系是通过在各自计算机上运行并且彼此具有客户端-服务器关系的计算机程序产生的。

在一些实施方式中，图8中描绘的计算设备可以包括与虚拟现实(VR头戴式耳机890)对接的传感器。例如，包括在图8中描绘的计算设备850或其他计算设备上的一个或多个传感器，可以向VR头戴式耳机890提供输入，或者通常，可以向VR空间提供输入。传感器可以包括但不限于触摸屏、加速度计、陀螺仪、压力传感器、生物特征传感器、温度传感器、湿度传感器和环境光传感器。计算设备850可以使用传感器确定VR空间中计算设备的绝对位置和/或检测到的旋转，然后可以将其用作VR空间的输入。例如，计算设备850可以作为诸如控制器、激光指示器、键盘、武器等的虚拟对象被并入VR空间。用户对计算设备/虚拟对象的安置当被并入VR空间时可以允许用户安置计算设备来以某种方式在VR空间中观看虚拟对象。例如，如果虚拟对象表示激光指示器，用户可以像实际的激光指示器一样操纵计算设备。用户可以左右、上下、圆圈等方式移动计算设备并且以与使用激光指示器类似的方式使用设备。

在一些实施方式中，包括在或连接到计算设备850上的一个或多个输入设备可以被用作VR空间的输入。输入设备可以包括但不限于触摸屏、键盘、一个或多个按钮、轨迹板、触摸板、指向设备、鼠标、轨迹球、操纵杆、相机、麦克风、耳机或具有输入功能的耳塞、游戏控制器或其他可连接的输入设备。当计算设备被合并到VR空间中时，与计算设备850上包括的输入设备进行交互的用户会使特定动作在VR空间中发生。

在一些实施方式中，计算设备850的触摸屏可以被渲染为VR空间中的触摸板。用户可以与计算设备850的触摸屏进行交互。例如，在VR头戴式耳机890中，将交互渲染为在VR空间中所渲染的触摸板上的移动。所渲染的移动可以控制VR空间中的对象。

在一些实施方式中，计算设备850上包括的一个或多个输出设备可以向VR空间中的VR头戴式耳机890的用户提供输出和/或反馈。输出和反馈可以是视觉的、触觉的或音频的。输出和/或反馈可以包括但不限于振动、一个或多个灯或频闪灯的打开及关闭或闪烁和/或闪光、发出警报、播放铃声、播放歌曲以及播放音频文件。输出设备可以包括但不限于振动马达、振动线圈、压电设备、静电设备、发光二极管(LED)、频闪灯和扬声器。

在一些实施方式中，计算设备850可以表现为在计算机生成的3D环境中的另一个对象。用户与计算设备850的交互(例如，旋转、摇动、触摸触摸屏、在触摸屏上滑动手指)可以被解释为与VR空间中的对象的交互。在VR空间中的激光指示器的示例中，计算设备850表现为在计算机生成的3D环境中的虚拟激光指示器。当用户操纵计算设备850时，VR空间中的用户看到激光指示器的移动。用户在计算设备850或VR头戴式耳机890上的VR空间中从与计算设备850的交互中接收反馈。

在一些实施方式中，除了计算设备之外，还可以在计算机生成的3D环境中渲染一个或多个输入设备(例如，鼠标，键盘)。渲染的输入设备(例如，渲染的鼠标、渲染的键盘)可以在VR空间中渲染时使用，以控制VR空间中的对象。

计算设备800旨在表示各种形式的数字计算机，诸如膝上型计算机、台式计算机、工作站、个人数字助理、服务器、刀片服务器、大型机和其他适当的计算机。计算设备850旨在表示各种形式的移动设备，诸如个人数字助理、蜂窝电话、智能电话和其他类似的计算设备。本文所示的部件，它们的连接和关系以及它们的功能仅是示例性的，并不意味着限制本文中描述和/或要求保护的发明的实施方式。

已经描述了多个实施例。然而，将理解的是在不脱离本说明书的精神和范围的情况下可以进行各种修改。

此外，附图中描绘的逻辑流程不需要所示的特定顺序、或连续顺序来实现期望的结果。此外，可以从所述的流程中提供其他步骤或者去除步骤，并且可以向所描述的系统中添加其他部件或从中移除其他部件。因此，其他实施例在所附权利要求的范围内。

Claims (20)

1.一种用于管理增强现实AR环境中的AR内容的方法，所述方法包括：

获得与AR环境的场景相关联的图像数据，所述AR环境包括被安置在所述AR环境的坐标空间中的AR内容；

从所述图像数据中检测物理对象；

将所述物理对象与所述AR内容相关联；以及

将所述AR内容的坐标和指示所述物理对象与所述AR内容相关联的信息存储在AR场景存储中以用于未来的AR定位。

2.根据权利要求1所述的方法，其中，所述物理对象的检测是基于一个或多个机器学习ML模型。

3.根据权利要求2所述的方法，其中，所述一个或多个ML模型被配置成确定所述物理对象的分类，其中，所述分类与所述AR内容相关联。

4.根据权利要求1至3中的任意一项所述的方法，其中，所述图像数据为第一图像数据，所述方法进一步包括：

获得至少一部分所述场景的第二图像数据以定位所述AR内容；

检测到在所述第二图像数据中不存在所述物理对象；以及

使所述AR内容不在所述AR环境中渲染。

5.根据权利要求1至3中的任意一项所述的方法，其中，所述图像数据是第一图像数据，所述方法进一步包括：

获得至少一部分所述场景的第二图像数据以定位所述AR内容；

基于所述第二图像数据和所述AR场景存储来检测所述物理对象已移动到所述AR环境的所述场景中的新位所；以及

将所述AR环境中的所述AR内容移动到与所述第二图像数据中所述物理对象的新位所相对应的位所。

6.根据权利要求1至3中的任意一项所述的方法，其中，所述图像数据是第一图像数据，所述方法进一步包括：

获得至少一部分所述场景的第二图像数据以定位所述AR内容；

基于所述第二图像数据和所述AR场景存储来检测所述物理对象不存在或已经移动到所述AR环境的所述场景中的新位所；以及

经由应用编程接口API向与所述AR环境的所述AR内容相关联的开发者传送通知。

7.根据权利要求1至6中的任意一项所述的方法，其中，所述AR内容被定位为接近所述物理对象。

8.根据权利要求1至7中的任意一项所述的方法，其中，所述关联包括：

分析与所述AR内容相关联的一个或多个词项；

确定所述词项中的至少一个与所述物理对象的分类相关联。

9.一种用于管理在增强现实AR环境中的AR内容的AR系统，所述AR系统包括：

AR协同服务，所述AR协同服务能够由至少一个服务器执行；和

客户端AR应用，所述客户端AR应用能够由计算设备执行，所述客户端AR应用被配置成经由一个或多个应用编程接口API与所述AR协同服务进行通信，所述AR协同服务或所述客户端AR应用被配置成：

获得与所述AR环境的场景相关联的图像数据，所述AR环境包括被安置在所述AR环境的坐标空间中的AR内容，所述AR内容与所述AR环境中的物理对象相关联；

检测到所述物理对象不存在于所述图像数据中或被移动到所述场景中的新位置；以及

启动用于管理与所述物理对象相关联的所述AR内容的动作。

10.根据权利要求9所述的AR系统，其中，所述AR协同服务或所述客户端AR应用被配置成使用一个或多个机器学习ML模型检测所述物理对象。

11.根据权利要求10所述的AR系统，其中，所述AR协同服务或所述客户端AR应用被配置成使用所述一个或多个ML模型检测所述物理对象的类型，其中，所述类型与所述AR内容相关联。

12.根据权利要求9至11中的任意一项所述的AR系统，其中，所述客户端AR应用被配置成使所述AR内容不从所述AR环境渲染。

13.根据权利要求9至11中的任意一项所述的AR系统，其中，所述AR协同服务或所述客户端AR应用被配置成将所述AR环境中的所述AR内容移动到与所述图像数据中所述物理对象的所述新位置相对应的位所。

14.根据权利要求9至13中的任意一项所述的AR系统，其中，所述AR协同服务或所述客户端AR应用被配置成经由应用编程接口API向所述AR环境的所述AR内容的开发者传送通知。

15.根据权利要求9至14中的任意一项所述的AR系统，其中，所述AR协同服务或所述客户端AR应用被配置成分析与所述AR内容相关联的一个或多个词项，并确定所述词项中的至少一个与所述物理对象的分类相关联。

16.一种存储可执行指令的非暂时性计算机可读介质，所述可执行指令在由至少一个处理器执行时被配置成管理增强现实AR环境中的AR内容，所述可执行指令包括使所述至少一个处理器执行下述的指令：

获得与AR环境的场景相关联的第一图像数据，所述AR环境包括被安置在所述AR环境的坐标空间中的AR内容；

从所述第一图像数据检测位于接近所述AR内容的物理对象的类型；

在AR场景存储中存储具有指向所述物理对象的类型的链接的所述AR内容的坐标；

获得与所述AR环境的所述场景相关联的第二图像数据以定位所述AR环境；

基于所述第二图像数据和所述AR场景存储来检测所述物理对象的所述类型在所述第二图像数据中不存在或被移动到所述场景中的新位置；以及

启动用于管理与所述物理对象相关联的所述AR内容的动作。

17.根据权利要求16所述的非暂时性计算机可读介质，其中，启动所述动作包括不从所述AR环境渲染所述AR内容的指令。

18.根据权利要求16所述的非暂时性计算机可读介质，其中，启动所述动作包括将所述AR环境中的所述AR内容移动到与所述第二图像数据中所述物理对象的所述新位置相对应的位所的指令。

19.根据权利要求16至18中的任意一项所述的非暂时性计算机可读介质，其中，启动所述动作包括经由应用编程接口API向所述AR内容的开发者传送通知的指令。

20.根据权利要求16至19中的任意一项所述的非暂时性计算机可读介质，其中，使用一个或多个机器学习ML模型检测所述物理对象的所述类型。

Images