CN113396443A

CN113396443A - 增强现实系统

Info

Publication number: CN113396443A
Application number: CN202080011762.5A
Authority: CN
Inventors: D·李
Original assignee: Snap Inc
Current assignee: Snap Inc
Priority date: 2019-02-01
Filing date: 2020-01-30
Publication date: 2021-09-14
Also published as: US11972529B2; KR20210121182A; WO2020160261A1; KR102534637B1; KR20230074618A; EP3918578A1; US20200250889A1

Abstract

本公开涉及一种增强现实方法，在该方法中收集关于现实世界对象、结构或环境的视觉信息，并对视觉信息执行变形操作以生成虚拟内容，虚拟内容可替代或附加到现实世界的对象、结构或环境的实时捕获的图像内容来显示。一些特定实施例涉及共享视觉环境数据和/或表征客户端设备之间的变形操作的信息。

Description

增强现实系统

优先权要求

本申请是2019年2月1日提交的序列号为16/265,382的美国申请的延续并要求其优先权，该申请的全部内容通过引用并入本文。

背景技术

增强现实(AR)是指使用计算机生成的增强功能以实时或接近实时的方式将新信息添加到图像中。例如，在设备的显示器上输出的墙壁的视频图像可以用不存在于墙壁上的显示细节来增强，但是这些细节通过增强现实系统生成为看起来好像它们在墙壁上。此类系统需要图像捕获信息的复杂混合，该信息与增强现实信息集成并匹配，增强现实信息以尝试从图像捕获设备确定的视角无缝呈现最终图像的方式被添加到捕获场景。

附图说明

附图中的各个附图仅示出了本公开的示例实施例并且不应被视为限制其范围。

为了容易地识别对任何特定元素或动作的讨论，参考数字中的一个或多个最高有效数字是指首先引入该元素的附图编号。

图1A是示出用于在网络上交换数据(例如，消息和相关联的内容)的示例消息系统的框图。

图1B是示出托管在诸如图1A中的应用服务器的应用服务器中的某些应用和子系统的进一步细节的框图。

图2是示出根据示例实施例的客户端设备的某些操作的示意图。

图3是示出根据某些示例实施例的用于在客户端设备处生成纹理贴图(texturemap)和3D网格的示例性技术的示意图。

图4是示出用于跟踪客户端设备的定位变化的示例性技术的示意图。

图5示出了根据某些示例实施例的在3D网格上的转换的应用。

图6A和图6B示出了根据某些示例实施例的在设备中的所捕获的图像视图和增强的图像视图的显示。

图7A和图7B示出了根据本发明的某些实施例的转换效果。

图8A和图8B示出了根据本发明的其他实施例的转换效果。

图9是说明代表性软件架构的框图，其可与本文所述的各种硬件架构结合使用。

图10是示出根据一些示例实施例的能够从机器可读介质(例如，机器可读存储介质)读取指令并执行在此讨论的任何一种或多种方法的机器的组件的框图。

具体实施方式

词汇表

在此上下文中，“客户端设备”是指与通信网络接口连接以从一个或多个服务器系统或其他客户端设备获取资源的任何机器。客户端设备可以是但不限于：移动电话、台式计算机、笔记本电脑、便携式数字助理(PDA)、智能电话、平板电脑、超级本、上网本、笔记本电脑、多处理器系统、基于微处理器的或可编程的消费电子产品、游戏机、机顶盒或用户可用来接入网络的任何其他通信设备。

在此上下文中，“通信网络”是指网络的一个或多个部分，其可以是自组网、内联网、外联网、虚拟专用网(VPN)、局域网(LAN)、无线局域网(WLAN)、广域网(WAN)、无线广域网(WWAN)、城域网(MAN)、互联网、互联网的一部分、公共电话交换网(PSTN)的一部分、老式电话服务(POTS)网络、蜂窝电话网络、无线网络、

网络、另一类型的网络，或两个或多个此类网络的组合。例如，网络或网络的一部分可包括无线或蜂窝网络，并且耦接可以是码分多址(CDMA)连接、全球移动通信系统(GSM)连接或另一类型的蜂窝或无线耦接。在此示例中，耦接可实现多种类型的数据传输技术中的任何一种，例如单载波无线电传输技术(1xRTT)、演进数据优化(EVDO)技术、通用分组无线电服务(GPRS)技术、增强型数据速率GSM演进(EDGE)技术、包括3G的第三代合作伙伴计划(3GPP)、第四代无线(4G)网络、通用移动电信系统(UMTS)、高速分组接入(HSPA)、全球微波接入互操作性(WiMAX)、长期演进(LTE)标准、由各种标准制定组织定义的其他标准、其他远程协议，或其他数据传输技术。

在此上下文中，“短暂消息”是指在时间限制的持续时间内可访问的消息。短暂消息可以是文本、图像、增强现实内容、视频等。短暂消息的访问时间可由消息发送器设置。替代地，访问时间可以是默认设置，也可以是接收方指定的设置。不管设置技术如何，消息都是暂时的。

在此上下文中，“载波信号”是指能够存储、编码或携带指令以由机器执行的任何无形介质，并且包括数字或模拟通信信号或其他无形介质以促进这种指令的通信。指令可使用传输介质通过网络接口设备以及使用多个众所周知的传输协议中的任何一个在网络上发送或接收。

本文中的“机器可读介质”是指能够临时或永久地存储指令和数据的组件、设备或其他非暂时性的有形介质，并且可以包括但不限于：随机存取存储器(RAM)、只读存储器(ROM)、缓冲存储器、闪存、光学介质、磁性介质、高速缓存、其他类型的存储装置(例如，可擦除可编程只读存储器(EEPROM))和/或其任何合适的组合。术语“机器可读介质”应该被认为包括能够存储指令的单个介质或多个介质(例如，集中式或分布式数据库，或相关联的缓存和服务器)。术语“机器可读介质”还应被理解为包括能够存储由机器执行的指令(例如，代码)使得指令在由机器的一个或多个处理器执行时使得机器执行本文描述的任何一种或多种方法的任何介质或多种介质的组合。因此，“机器可读介质”指的是单个存储装置或设备，以及包括多个存储装置或设备的“基于云的”存储系统或存储网络。除非由术语“非暂时性”限定，否则术语“机器可读介质”还应包括载波信号和其他能够暂时或永久存储指令和数据的暂时性介质。

在此上下文中，术语“组件”是指具有边界的设备、物理实体或逻辑，该边界由提供对特定处理或控制功能的分区或模块化的功能或子例程调用、分支点、应用程序接口(API)或其他技术来定义。组件可通过它们与其他组件的接口进行组合以执行机器过程。组件可以是被设计为与其他组件以及通常执行相关功能的特定功能的程序的一部分一起使用的经封装的功能硬件单元。组件可构成软件组件(例如体现在机器可读介质上的代码)或硬件组件。“硬件组件”是能够执行某些操作的有形单元，并且可以以某种物理方式被配置或设置。在各种示例实施例中，一个或多个计算机系统(例如独立计算机系统、客户端计算机系统，或服务器计算机系统)或计算机系统的一个或多个硬件组件(例如处理器或一组处理器)可以由软件(例如应用或应用部分)配置为操作以执行本文所述的某些操作的硬件组件。硬件组件也可机械地、电子地或其任何合适的组合来实现。例如，硬件组件可包括被永久性地配置为执行某些操作的专用电路或逻辑。硬件组件可以是专用处理器，例如现场可编程门阵列(FPGA)或专用集成电路(ASIC)。硬件组件还可包括可编程逻辑或电路，其由软件临时配置为执行某些操作。例如，硬件组件可包括由通用处理器或其他可编程处理器执行的软件。在由此类软件进行配置之后，硬件组件变成专门被定制以执行配置的功能的特定机器(或机器的特定组件)，并且不再是通用处理器。可以理解，机械地在专用和永久配置的电路中或者在临时配置的电路中(例如由软件配置的)实现硬件组件的决定可以由成本和时间考虑来驱动。因此，短语“硬件组件”(或“硬件实现的组件”)应理解为包括有形实体，其是物理构造的、永久配置的(例如硬连线的)或临时配置的(例如编程的)，以某种方式操作或执行本文所述的某些操作的实体。考虑到其中硬件组件被临时配置(例如编程)的实施例，每个硬件组件不需要在任何时刻被配置或实例化。例如，在硬件组件包括由软件配置为成为专用处理器的通用处理器的情况下，通用处理器可在不同时间被分别配置为不同的专用处理器(例如包括不同的硬件组件)。因此，软件对应地配置特定处理器或处理器，例如以在一个时刻构成一个特定硬件组件，而在另一个不同时刻构成另一个不同硬件组件。硬件组件可向其他硬件组件提供信息并从其他硬件组件接收信息。因此，所描述的硬件组件可以被认为是通信耦接的。在同时存在多个硬件组件的情况下，可以通过在两个或更多个硬件组件之间的信号传输(例如通过适当的电路和总线)来实现通信。在其中在不同时间配置或实例化多个硬件组件的实施例中，可以例如通过在多个硬件组件可以访问的存储器结构中存储和取得信息来实现此类硬件组件之间的通信。例如，一个硬件组件可执行操作并将该操作的输出存储在其通信耦接到的存储器设备中。然后，另一硬件组件可以在稍后的时间访问该存储器设备以取得和处理所存储的输出。硬件组件还可发起与输入或输出设备的通信，并且可以在资源(例如信息的集合)上进行操作。本文所述的示例方法的各种操作可以至少部分地由临时配置(例如通过软件)或永久配置为执行相关操作的一个或多个处理器执行。无论是临时配置还是永久配置，此类处理器都可以构成处理器实现的组件，该组件操作以执行本文所述的一个或多个操作或功能。如本文中所使用的，“处理器实现的组件”是指使用一个或多个处理器实现的硬件组件。类似地，本文描述的方法可以至少部分地由处理器实现，其中特定的处理器或处理器是硬件的示例。例如，一种方法的操作中的至少一些操作可以由一个或多个处理器或处理器实现的组件执行。此外，一个或多个处理器还可操作以在“云计算”环境中或作为“软件即服务”(SaaS)来支持相关操作的执行。例如，操作中的至少一些操作可由一组计算机来执行(作为包括处理器的机器的示例)，其中这些操作可以经由网络(例如互联网)以及经由一个或多个适当的接口(例如API)来访问。某些操作的执行可分布在处理器之间，不仅驻留在单个机器内，而且跨多个机器部署。在一些示例实施例中，处理器或处理器实现的组件可位于单个地理位置中(例如在家庭环境、办公室环境，或服务器场中)。在其他示例实施例中，处理器或处理器实现的组件可分布在多个地理位置上。

在此上下文中，“处理器”是指根据控制信号(例如“命令”、“操作码”、“机器码”等)操纵数据值并产生适用于操作机器的对应输出信号的任何电路或虚拟电路(由在实际处理器上执行的逻辑来仿真的物理电路)。处理器可以例如是中央处理单元(CPU)、精简指令集计算(RISC)处理器、复杂指令集计算(CISC)处理器、图形处理单元(GPU)、数字信号处理器(DSP)、专用集成电路(ASIC)、射频集成电路(RFIC)或其任意组合。处理器可进一步是具有可同时执行指令的两个或更多个独立处理器(有时称为“核”)的多核处理器。

在此上下文中，“时间戳”是指一系列的字符或编码信息，其识别何时发生特定事件，例如给出日期和时间，有时精确到几分之一秒。

发明内容

以下涉及增强现实图像处理和增强现实内容的再现。一些特定实施例描述了获得关于现实世界对象、结构或环境的视觉信息，并且对该视觉信息应用变形操作以生成虚拟内容，该虚拟内容可以代替或附加于现实世界对象、结构或环境的实时捕获的图像内容来显示。一些特定实施例描述了使用初始粗略位置估计来识别视觉环境数据，包括3D点云模型、纹理数据和立面数据，这些数据描述了该初始粗略位置估计当地的对象、建筑物、结构等。一些特定实施例描述了处理由客户端设备捕获的图像以生成视觉环境数据，包括描述现实世界对象、建筑物、结构等的3D点云模型、纹理数据和立面数据。一些特定实施例涉及共享视觉环境数据和/或表征客户端设备之间的变形操作的信息。

下面的描述包括说明本公开的实施例的系统、设备和方法。在以下描述中，为了解释的目的，阐述了许多具体细节以提供对本发明主题的各种实施例的理解。然而，对于本领域技术人员显而易见的是，可以在没有这些具体细节的情况下实践本发明主题的实施例。通常，不必详细显示众所周知的指令实例、协议、结构和技术。

如本文所述，增强现实指的是在捕获设备或用户的视野中捕获现实世界对象或环境的图像并用附加信息增强那些图像，然后在显示器上呈现增强信息的系统和设备。这使得例如用户能够使用智能手机或可穿戴设备的相机功能捕获场景或环境的视频流以及智能手机或可穿戴设备的输出显示，以呈现用户可见的场景以及附加信息。该附加信息可包括将虚拟对象放置在场景或环境中，以便虚拟对象被呈现为好像它们存在于场景中。如果从捕获环境的图像传感器的角度示出的另一个现实或虚拟对象从虚拟对象前面经过，则处理此类虚拟对象的各方面以遮挡该虚拟对象。随着现实对象和虚拟对象都随着时间移动，并且随着捕获环境的图像传感器的视角(即，取向、姿态和/或位置)发生变化，此类虚拟对象也被处理以保持它们与现实对象的关系。虚拟对象的示例包括：视频图像、静止内容、文本信息、三维动画和全息图表示、显示在覆盖空白现实世界墙壁的虚拟二维表面上的传统多媒体内容，以及应用于用户设备的输出显示的至少一部分的视觉效果。

为清楚起见，术语“现实”和“现实世界”在本文中用于指代客观物理现实。现实、材料、对象和环境的图像可以在物理图像捕获设备(例如数码相机)中捕获，这些图像将复制用户自己对这些对象或环境的感知。术语“现实”与“虚拟”形成对比，后者表示计算机模拟的操作。因此，增强现实(AR)可以被视为代表客观现实和完全模拟或“虚拟”现实(VR)之间连续体的中间抽象级别。因此，本文使用的AR是指在不同程度上混合现实和虚拟元素的现实。在虚拟元素占主导地位的地方，一些作者会采用“增强虚拟”一词。为简单起见，此处使用术语增强现实来指代任何混合现实，具体包括(以现实元素为主)“增强现实”和“增强虚拟”。

当试图平衡现实和虚拟对象之间的密切关联、实时的维护以及可接受的处理负担的需求时，会出现许多问题。当用虚拟对象“修饰”现实世界的3D(3D)结构时，3D结构的规模可意味着在生成和应用虚拟对象时用于表示结构的任何详细模型可能需要大量的计算能力，可能会降低实时复制和维护虚拟对象的能力。

作为应用虚拟内容的环境的合适的3D结构模型的生成可以在由诸如智能电话或可穿戴设备的用户设备再现虚拟内容之前执行。

一种3D建模方法依赖于对所有与特定环境、建筑或自然结构或位置相关的大型图像集(范围从数千张图像的数量级到具有数千万张图像的大规模数据集)的处理。可以从多个设备(例如消费者智能手机和数码相机)捕获的图像中整理组成图像。此类“众包”图像数据集在外观和质量方面可能会有很大差异，并且不太可能与其他此类图像同步。

其他图像数据集可通过利用专用图像捕获设备(例如，数码相机和无人驾驶飞行器(UAV)承载的图像捕获设备)的图像捕获设施来收集，其原则上提供更大的一致性并控制结果数据集。

在每种情况下，所捕获的图像被存储，通常上传到分布式存储设备，用于未来的重新分配和/或处理(例如存储在基于云的存储设施上)。

建模者面临的任务是从由多个视点捕获的2D照片/视频中恢复3D场景的3D几何图形和外观。第一步通常是根据相关联的数据收集图像——例如，元数据中的地理位置或指示图像目标的图像标题。然后可以处理相关联的图像以提取3D点，该3D点可用于锚定与来自其他相机姿态的其他图像的空间关系。显然，在已知位置、姿态等处使用专用图像捕获设备允许建模者构建具有容易被发现的数据关联的数据资产。

在被称为运动恢复结构(SfM)的技术中，相关联的图像(即，假设为从不同视角都是静态3D点的3D点集合的多个二维图像)被处理以生成具有与每个图像中的数据匹配的最大概率的3D几何图形。生成的3D几何图形可被表示为3D点云(或“稀疏3D模型”)或顶点的3D多边形网格。

点云是坐标系中的一组数据点。坐标系例如可以是笛卡尔坐标系(即(x，y，z)坐标)、柱面坐标系或球坐标系。

SfM技术的示例包括针对数据集中图像的某些特征生成描述符(BRIEF)和应用角点检测(ORB)。

过滤过程可用于去除对应于移动或动态表面和提供有限信息的点(例如平坦表面内的冗余点)的点云部分。除了使用3D点云数据之外，一些实施例还可以使用其他类型的环境数据。

3D网格中的每个顶点(或表示3D几何图形的点云中的点)可以(通过映射)被映射到纹理贴图中的纹理坐标处的相应纹理数据。该映射有时被称为“UV映射”，之所以这么称呼是因为纹理贴图中的坐标通常被称为“u”和“v”。

在已经准备好合适模型的环境中注册设备可包括使用基于卫星的全球定位系统(例如GPS)或其他基于位置的系统来识别初始粗略位置估计。然后可以查找地图数据库以确定合适的3D模型是否已经可用于由所识别的粗略位置估计所识别的特定位置处的3D结构或环境。

在没有现成的现实世界对象或环境的3D模型的情况下，设备可从由设备的图像采集模块采集的一个或多个图像构建它自己的模型(即，从该网格到未被填充的纹理贴图的3D网格和UV映射)。

当用户相对于现实空间/环境和/或静止对象移动捕获设备时，有必要基于设备的新位置来刷新虚拟内容。但是，如果没有准确跟踪设备的空间位置(即姿态)，则可能无法正确显示虚拟内容。因此，虚拟内容与实时捕获的视频图像一起的有效再现依赖于对捕获设备的位置/取向(即，增强现实设备在空间中的位置)的准确跟踪和对虚拟内容的近实时更新。在增强现实场景包括现实对象和虚拟对象的情况下，这需要在现实对象和虚拟对象之间设置和维护的跟踪。这种跟踪对于保持环境中虚拟对象的沉浸式呈现以及将虚拟对象视为环境中的现实对象很重要。失败的跟踪会导致场景内虚拟对象的抖动或不期望的移动，或者可能设置以不自然的方式与现实对象重叠或不同步的初始虚拟对象放置。

跟踪设备的实际位置的一种方式是从环境的高度准确模型开始，并且将模型与来自设备的图像数据逐帧进行比较。合适模型的示例包括上面讨论的三维(3D)点云模型和3D多边形网格模型。

同时定位和映射(SLAM)系统是用于跟踪视频的二维图像帧中的关键点，并从图像帧中识别三维对象以及相机与那些对象的相对位置的系统。然而，这种识别三维对象的处理是处理器和存储器密集型的。

不是使用复杂环境表面的密集点云，本文描述的实施例可以使用环境的压缩或简化点云模型。此类简化的3D点云模型可包括跟随建筑物边缘、环境边缘和表面的关键点数据集，这些数据随时间稳定并呈现图像中易于识别的部分。与相邻表面和其他固定对象相比具有高颜色对比度的路径边缘可以在这种简化的点云中表示，而通常可排除动态对象，例如带有树叶的树枝或旗帜。

越来越多地，诸如智能电话和可穿戴设备的用户设备还配备有一个或多个惯性测量单元(IMU)传感器，其监视设备(例如加速度计、陀螺仪等)的取向和方向。来自此类IMU传感器的信息可与视觉跟踪技术(例如SLAM)结合使用，以提高用户设备相对于周围环境中的现实对象的跟踪精度。

附图

图1A是示出了用于在网络上交换数据(例如消息和相关联内容)的示例消息传递系统100的框图。消息传递系统100包括多个客户端设备102，每个客户端设备托管包括消息传递客户端应用104的多个应用。每个消息传递客户端应用104通过网络106(例如因特网)通信地耦接到消息传递客户端应用104和消息传递服务器系统108的其他实例。一个或多个客户端配套(companion)设备114(例如，可穿戴设备)可以通信地连接到客户端设备102中一个或多个。

因此，每个消息传递客户端应用104能够经由网络106与另一个消息传递客户端应用104和消息传递服务器系统108进行通信并交换数据。在消息传递客户端应用104之间以及在消息传递客户端应用104和消息传递服务器系统108之间交换的数据包括功能(例如调用函数的命令)以及有效载荷数据(例如文本、音频、视频或其他多媒体数据)。

消息传递服务器系统108经由网络106向特定的消息传递客户端应用104提供服务器端功能。尽管在本文中将消息传递系统100的某些功能描述为由消息传递客户端应用104或由消息传递服务器系统108执行，但是应当理解，某些功能在消息传递客户端应用104或消息传递服务器系统108内的位置是设计选择。例如，在技术上优选地是首先在消息传递服务器系统108内部署某些技术和功能，然后将该技术和功能迁移到其中客户端设备102具有足够处理能力的消息传递客户端应用104。

消息传递服务器系统108支持提供给消息传递客户端应用104的各种服务和操作。此类操作包括向消息传递客户端应用104发送数据，从消息传递客户端应用104接收数据，以及处理由消息传递客户端应用104生成的数据。作为示例，该数据可以包括消息内容、客户端设备信息、地理位置信息、增强现实数据、媒体注释和叠加(overlay)、消息内容持久性条件、社交网络信息，和现场事件信息。消息传递系统100中的数据交换通过经由消息传递客户端应用104的用户界面(UI)可用的功能来调用和控制。可以使用消息传递客户端应用程序104交换的增强现实数据的示例包括对应于现实和虚拟对象的3D几何图形信息。

现在具体转到消息传递服务器系统108，应用程序接口(API)服务器110耦接到应用服务器112并向应用服务器112提供编程接口。应用服务器112通信地耦接到数据库服务器118，数据库服务器118促进对数据库120的访问，数据库120中存储有与由应用服务器112处理的消息相关联的数据。

如图1B所示，应用服务器112托管多个应用和子系统，包括社交网络系统122、参与跟踪系统124、消息传递服务器应用126、图像处理系统128和增强现实系统162。

特别地处理应用程序接口(API)服务器110，该服务器在客户端设备102和应用服务器112之间接收和发送消息数据(例如命令和消息有效载荷)。具体地，应用程序接口(API)服务器110提供可被消息传递客户端应用104调用或查询的一组接口(例如例程和协议)，以便调用应用服务器112的功能。应用程序接口(API)服务器110公开由应用服务器112支持的各种功能，包括：账户注册；登录功能；经由应用服务器112从特定消息传递客户端应用104向另一消息传递客户端应用104发送消息；从消息传递客户端应用104向消息传递服务器应用126发送媒体文件(例如图像或视频)，以及供另一消息传递客户端应用104进行可能的访问；媒体数据(例如故事)集合的设置；客户端设备102的用户的好友列表的取得；此类集合的取得；消息和内容的取得；添加好友到社交图中和从社交图删除好友；好友在社交图中的位置；打开应用事件(例如与消息传递客户端应用104有关)。

消息传递服务器应用126实现多个消息处理技术和功能，其特别涉及包括在从消息传递客户端应用104的多个实例接收的消息中的内容(例如文本和多媒体内容)的聚合和其他处理。来自多个源的文本和媒体内容可以被聚合成内容的集合(取决于上下文和/或内容类型，集合可被称为“故事”或“图库(gallery)”)。然后，消息传递服务器应用126使得这些集合对于消息传递客户端应用104可用。考虑到此类处理的硬件要求，消息传递服务器应用126还可以在服务器端对数据进行其他处理器和存储器密集型处理。

应用服务器112还包括图像处理系统128，该图像处理系统128专用于通常关于在消息传递服务器应用126处的消息的有效载荷内接收到的图像或视频来执行各种图像处理操作。图像处理操作的示例包括放大或缩小图像数据以呈现在接收设备的显示器上，以及图像数据的转码以实现互操作性或压缩。当虚拟图像内容在为成像对象提供“规范(canonical)”纹理的用户设备之间共享时，图像处理操作可补偿个体用户相机的不同属性(例如曝光)。在涉及相同虚拟内容(虚拟内容源自从一个以上用户设备捕获的图像数据)在不同用户设备中的共享呈现的其他实例中，图像处理系统128可操作以解决建筑物的相同图块相互矛盾的视图——如果用户A和用户B二者都可以看到图块，那么服务器可以根据图像处理策略平均化他们的视图(在补偿相机属性之后)，或者可能拒绝其中一个视图。

社交网络系统122支持各种社交网络功能和服务，并使这些功能和服务可用于消息传递服务器应用126。

应用服务器112通信地耦接到数据库服务器118，该数据库服务器118促进对数据库120的访问，在该数据库120中存储有与由消息传递服务器应用126处理的消息相关联的数据。

图2中的示意图示出了根据某些示例实施例的说明客户端设备的操作的某些功能块。

客户端设备包括至少一个处理器，并且处理器操作以访问对应于现实世界对象或环境的UV映射和3D网格(操作202)。这可包括从存储装置(例如与应用服务器112通信连接的数据库120)取得纹理映射和3D网格(共同表示3D几何图形)。替代地或附加地，可以从另外的客户端设备接收纹理贴图和3D网格。在某些实施例中，纹理贴图和3D网格可以由客户端设备本身生成。

在纹理贴图和3D网格由客户端设备生成的情况下，可以使用图3中所示的技术来实现该操作。

在某些示例实施例中，处理器可确定设备相对于现实世界对象或环境的定位(操作204)。该初始定位可以用于缩小客户端设备需要访问的纹理贴图和3D网格的范围。用于确定初始定位的技术的示例可包括通过设备的定位系统(例如，耦接到设备的存储介质和至少一个处理器的定位硬件模块，定位模块可以是全球定位系统(GPS)模块)对设备的定位。可替代地，用户可直接输入定位：例如，输入唯一标识符(例如，“国会大厦”)、邮政地址、地理地图中的网格位置或经纬度对。在另一个替代方案中，现实世界对象或环境可关联到：提供有文本、标志、一维和/或二维条形码数据的信息面板；射频识别(RFID)；近场通信(NFC)标签；等等，客户端设备可以读取它以确定定位。

在确定了初始定位并访问了纹理贴图和3D网格之后，处理器可执行操作以跟踪设备的定位相对于初始定位(并且因此相对于对应于现实世界对象或环境的3D网格)的变化。用于跟踪定位变化的技术示例包括上面提到的SLAM和IMU技术。

在某些示例实施例中，处理器可以被置于创造模式，在该模式期间用户可以与客户端设备交互以引入转换输入。例如，转换输入可以是输入到设备中的用户手势。输入手势可以是触摸屏输入手势或在输入设备在手势输入模式下操作时检测到的在输入设备中的取向变化。在后一种情况下，输入设备可以被嵌入在客户端设备中，以使得由上述跟踪技术跟踪的客户端设备的取向和位置的变化也可以用作输入手势。

在某些实施例中，设备的处理器可以通过将对应于转换输入的转换应用到3D网格来生成虚拟内容(操作208)。这里的转换将3D网格的多个顶点映射到被转换的几何图形中的多个被转换的顶点。然后根据映射和纹理贴图中的纹理数据，用纹理数据来填充被转换的顶点。

最后，由设备的图像传感器捕获的现实世界对象的至少一个当前图像可以被处理(操作210)，以将虚拟内容的视图叠加在当前图像上。

用于将虚拟内容叠加在现实世界对象的图像上的技术的示例包括为所捕获的现实世界图像的每一帧缓冲像素并用描绘虚拟内容的对应像素替换每一帧中的选定像素，然后呈现经增强的被缓冲像素以用于显示。在另一个示例中，适用于诸如智能眼镜的可穿戴客户端设备，虚拟内容通过可穿戴设备的显示模块呈现在另外透明的显示层中。

图3示出了用于在客户端设备处生成纹理贴图和3D网格的示例性技术。

在设备的处理器的控制下，设备的图像传感器被控制以捕获(即，拍摄)现实世界对象的至少一个图像(操作302)。

然后，处理器使用常规摄影测量技术基于至少一个捕获的图像确定对应于现实世界对象的3D几何形状(操作304)。

处理器然后处理至少一个图像以提取对象的相应图块的纹理数据(操作306)。

最后，UV映射被定义为从3D几何图形到UV空间中的数据结构。在某些实施例中，数据结构被至少部分地填充有所提取的纹理数据(操作308)。3D网格包括现实世界对象中相应顶点的3D表示。被填充的数据结构被保持为纹理贴图。

图4示出了用于跟踪客户端设备的定位变化的示例性技术。在操作402处，客户端设备被配置为控制图像捕获模块捕获现实世界对象的至少一个当前图像。处理至少一个当前图像以识别特征(例如直边、比周围像素更亮(或更暗)的图块等)(操作404)。

所识别的特征(在该二维当前图像或每个二维当前图像中)的位置和取向的变化被跟踪(即，测量和存储)(操作406)。

然后处理所识别特征的位置和取向的被跟踪的变化(操作408)，以得到相机姿态(在三个维度中)，当投影到二维平面上时，该姿态最好地匹配所识别特征的位置和取向的变化。从捕获的图像中识别的特征的被跟踪位置得到相机姿态的技术示例包括：牛津大学的PTAM(平行跟踪和映射)相机跟踪系统(http://www.robots.ox.ac.uk/～gk/PTAM/)、FAST角点检测技术(https://www.edwardrosten.com/work/fast.html)、SIFT和Ferns(在Wagner，D.等人的“Pose Tracking from Natural Features on Mobile Phones(根据手机上的自然特征的姿态跟踪)”中评论的两个技术，https://data.icg.tugraz.at/～dieter/publications/Schmalstieg_142.pdf)，其内容均通过引用并入本文。

图5示出了根据某些示例实施例的在3D网格上的转换的应用。

3D几何图形(对应于现实世界对象)被表示为3D网格504和对应的纹理贴图502。图5中的3D几何图形对应于立方体形状的现实世界对象。立方体形状仅用于说明目的，而不失一般性：虽然现实世界对象通常比立方体更复杂，但该图中所示的基本原理保持不变。

图5示出了3D网格504上的任何给定点如何映射到纹理贴图502中的对应坐标。3D网格504和纹理贴图502之间的映射512通常被称为UV映射。

当转换(这里，例如变形)被应用于3D网格中的顶点时，所得的3D几何图形被表示为被转换的(即变形的)3D网格506。在转换映射514中，变形的3D网格506上的每个点映射到未变形网格504上的点(并因此间接映射到纹理映射502中的坐标)。

图6A示出了根据某些示例实施例的现实世界对象602、在客户端设备600中显示的该对象的捕获图像的馈送和在该设备中显示的增强图像之间的关系。

通过访问(或构建)对应于现实世界对象的3D网格和纹理贴图(如图5所示)，客户端设备可以获取现实世界对象的当前图像并生成转换的、虚拟对象。转换对从现实世界对象得到的3D网格模型进行操作，并且由于3D网格上的任意给定点映射到纹理映射502中的相应坐标(即根据UV映射512)，从未被改变的3D网格504到被转换的3D网格506的进一步映射(即转换映射514)有效地允许来自纹理贴图的纹理数据被映射到被转换的3D网格506。

客户端设备可呈现不同的屏幕视图。在图6A中，这些屏幕视图被表示为智能手机上的显示屏幕。相机图像视图606从集成数码相机的角度显示当前捕获的现实世界对象的视频图像。对应的纹理贴图502包括从现实世界对象的可见和未遮挡点(即，成像对象的A、B和C侧)提取的纹理数据。

纹理贴图502还可包括当前在智能手机相机的视野之外的对象的一些或所有点的预先存在的纹理数据(即，成像对象的D、E和F侧)。对于在周围环境中具有永久基础的对象(例如建筑物、桥梁等)，可以安全地假设对象的某些方面是永久在视野之外的。在某些实施例中，对象的一些或所有点的预先存在的纹理数据可以通过参考现实世界对象的共享纹理贴图和/或对对象具有不同视角的第二客户端设备的纹理贴图来提供。对象的一些或所有点的预先存在的纹理数据可以通过诸如图1A中所示的消息传递系统的操作从其他客户端设备和/或共享存储服务器访问。

图6A中的客户端设备还可呈现增强现实图像视图608。这里，客户端设备显示被转换的3D网格506的虚拟视图，并且对于被转换的3D网格506上处于虚拟视图中的每个点，根据到原始3D网格上的点的UV映射512和从原始点到被转换的3D网格中的点的转换映射514，从纹理映射502获取纹理数据。值得注意的是，由于转换，在摄像机视图中可见的对象的某些点的对应物在虚拟视图中不再可见。

在某些实施例中，在建筑物上与变形点对应的原始点在当前相机馈送中可见且未被遮挡的情况下，可以直接从相机馈送读取那些可见点的纹理数据。因此，在图6A中，面A、B和C的纹理数据可直接从相机馈送获得，因为面A、B和C都是可见的。这提供了与现实世界对象更准确的感知匹配以及由此产生的更高质量的用户体验。

为了防止相机角度和位置的未来变化，当前捕获的视频帧中对象的所有点的纹理数据都缓存在纹理贴图502中。可见和未遮挡点的纹理数据替换了纹理贴图502中的任何预先存在的纹理数据。

在某些示例实施例中，预先存在的纹理数据的替换以加权混合(blending)方式逐渐执行。考虑足够的视图的情况下，预先存在的纹理数据的准确性因此通过将该数据与新捕获的纹理数据合并来提高，以便纹理贴图(或共享纹理贴图)中的每个像素随着时间的推移实质上收敛到表示针对该像素的共识数据的结果纹理数据。对于每个连续帧，当前相机图像被分配跟踪可靠性值，然后该值被用于加权混合。例如，在其中(例如使用诸如集成陀螺仪和/或加速度计的IMU传感器检测到)相机大量移动并且因此图像可能预期包括比静止时更高级别的运动模糊的帧被赋予较低的跟踪可靠性值(因为跟踪可能不太准确)，因此来自此类帧的像素的权重较小。

图6B提供了根据某些示例实施例的现实世界对象602、显示在客户端设备600中的该对象的捕获图像的馈送和显示在该设备中的增强图像之间的关系的进一步示出。

图6B示出了客户端设备的透视图从A和B侧都在视图中的相机位置到相机图像视图616的变化610的结果，在相机图像视图616中现实世界对象的更有限的视图(主要是C侧)从客户端设备600的集成数码相机的角度来看是可获得的。客户端设备的定位和取向的变化可以通过以上讨论的任何跟踪技术来跟踪。

在这种情况下，纹理贴图502中A侧和B侧的纹理数据还可以包括从被捕获(在A侧和B侧上的对象的点从智能手机相机的视图中消失之前被捕获)视频的先前帧缓存的纹理数据。

结果，图6B中的客户端设备600还可呈现增强现实图像视图618。在增强现实图像视图618中，客户端设备显示被转换的3D网格506的虚拟视图。如在图6A中，对于被转换的3D网格506上的在虚拟视图中每个点，客户端设备600的处理器根据原始3D网格504上的点和被转换的3D网格506中的点之间的转换映射514从纹理贴图502获取纹理数据。然而，在这种情况下，对象的某些点在相机视图中不再可见，但这些点的对应点在虚拟视图中仍然可见。虚拟视图的生成包括：直接从当前相机视图数据访问在当前相机图像视图616和增强现实图像视图618二者中可见的点的纹理数据，以及通过参考纹理映射502中对应点处的被缓存的纹理数据来访问仅在增强现实图像视图618中可见的点的纹理数据。后一路径依赖于UV映射和转换映射二者的应用，以针对仅在增强现实图像视图618中可见的点提供纹理数据的u，v坐标。

虽然图5、图6A和图6B中所示的转换是垂直线均匀变形为倾斜的曲线，但该转换可以采用许多其他的、通常更复杂的形式。其他转换的示例包括复制(在其中，原始3D网格的块在虚拟内容空间中的多个位置处被复制，并且来自纹理贴图的纹理数据被映射到每个复制块中的顶点)、反射(在其中，3D网格中的部分或全部顶点被镜像)和平移(在其中，原始3D网格的部分或全部以虚拟内容空间中与原始现实世界对象的位置的空间偏移被映射到未失真的3D网格)。反射型转换可用于确保虚拟内容空间中的标志保持人类可读，而周围的虚拟内容被镜像反射。

纹理数据的缓存很重要，因为它有助于虚拟内容的填充而不需要大量使用计算能力。

在某些实施例中，动态纹理贴图被保持为纹理缓存。纹理贴图对应于建筑物或其他现实世界对象或环境的3D多边形网格中的顶点的投影。3D网格和纹理贴图之间的映射也可被称为“UV映射”，因为3D网格中的顶点(由笛卡尔坐标{x,y,z}表示)被投影到具有坐标{u,v}的二维映射。纹理缓存可以用默认纹理数据(例如，RGBA(0,0,0,0))初始化。

当客户端设备的图像捕获模块捕获视频数据的帧时，该设备将相机在当前帧中看到的内容存储在纹理缓存的相应像素处。

为了对单个帧执行缓存，访问对应于被成像的现实世界对象的3D网格。3D网格首先被映射(即渲染)到UV空间中的纹理缓存(即生成UV映射)。对于UV空间中3D网格的每个像素，计算相应的世界位置，然后计算当前相机图像中的相应坐标。

为了确定是否要(在相应的u，v坐标处)缓存UV空间中3D网格的任何给定像素的纹理数据，确定该像素是否对应于相机帧外部的坐标。如果坐标确实位于相机帧之外，则不会缓存任何相机图像纹理数据，因此不会缓存这些像素。

同样地，从相机的角度确定3D网格的任何给定像素所在的表面是否在3D网格的另一个表面之后。如果确定该表面在另一个表面之后(即被另一个表面遮挡)，则相应的相机图像像素将不是正确的表面，并且该被遮挡表面上的像素也不会被缓存。

确定一个表面是否被另一个表面遮挡可以通过首先用深度缓冲渲染原始3D网格的视图空间深度，然后检查该3D网格中像素的计算深度是否等于渲染深度(因此该像素确实在离相机最近的表面上)来实现。

如果候选缓存像素有效(即，在相机帧内且在一个最近的表面内)，则该像素的纹理数据被缓存在纹理贴图中。在某些实施例中，纹理数据可以简单地替换当前针对该u，v坐标存储的预先存在的纹理数据。在其他实施例中，纹理数据可与具有低不透明度的预先存在的纹理数据合并以进行时间平滑处理。因此，纹理数据的RGBA表示中的阿尔法信道可以表示对该像素进行了多少缓存。

在许多实施方式中，图像捕获设备(例如，集成在用户智能手机中的数码相机)根据当前目标图像频繁地改变它们的曝光设置。在某些实施例中，每当来自给定相机图像的当前帧的像素将被存储在缓存纹理/纹理贴图中时，在将归一化值写入存储之前，应用曝光补偿函数来归一化当前相机曝光。结果是，所存储的像素具有已在亮度方面有效归一化的颜色值。每当要从缓存纹理/纹理映射中取得像素(即，待读取的纹理数据)时，对归一化值应用反向曝光补偿函数，以匹配当前的相机曝光。

使用本文描述的转换技术的虚拟内容效果的示例包括：其中现实世界建筑物的镜像图像或副本可以被竖立在虚拟空间中并且在增强现实屏幕视图中被显示在现实世界对象旁边的效果。

本公开的转换技术可用于在虚拟视图中模拟城市景观、向公寓楼添加附加层和/或复制现有建筑物以及放置附加建筑物。图7A和7B示出了根据本发明的某些实施例的转换效果，其中在建筑物的增强现实视图中插入了新的层。图7A中的相机图像视图显示了具有四行窗户的建筑物，而图7B中的增强现实屏幕视图显示了具有六行的建筑物，具有两行窗户的较低层被复制并“插入”在现有层之间。

本公开的转换技术还可以用于在两个设备之间传递信息。第一客户端设备接收创意输入，该输入定义了要应用于现实世界对象视图的转换(例如，通过手势、触摸输入或键盘输入来输入文本或图像信息)并在相对于现实世界对象的不同位置处生成可与另一个用户共享的虚拟内容。图8A和图8B示出了根据本发明的某些实施例的转换对消息传递的应用。图8A显示了建筑物的相机图像视图。图8B示出了带有消息

的同一建筑物的增强现实屏幕视图，通过映射成像建筑物的结构元素以提供消息中字符的“结构”来构建该消息。

软件架构

图9是示出示例软件架构906的框图，该示例软件架构906可以与本文所述的各种硬件架构结合使用。图9仅是软件架构的非限制性示例，并且将理解，可以实现多个其他架构以促进本文描述的功能。软件架构906可以被安装在上述的任何一个或多个客户端设备102上。

代表性硬件层952被示出并且可以表示诸如图1A中所示的客户端设备的硬件。代表性硬件层952包括具有相关联的可执行指令904的处理单元954。可执行指令904表示软件架构906的可执行指令，包括在此描述的方法、组件等的实现。硬件层952还包括存储器和/或存储模块存储器/存储装置956，其也具有可执行指令904。硬件层952还可以包括其他硬件958。实现硬件层的机器1000的非限制性示例的更详细的图在图10中示出：该机器包括处理器1004、存储器1014和I/O组件1018，等等。

在图9的示例架构中，软件架构906可以被概念化为层的堆叠，其中每个层提供特定的功能。例如，软件架构906可包括诸如操作系统902、库920(即，数据层)、应用916(即，应用层)、和呈现层914的层。在操作上，这些层内的应用916或其他组件可通过软件堆栈来调用应用程序接口(API)API调用908，并且接收作为对API调用908的响应的响应。所示出的层本质上是代表性的，并非所有软件架构都具有所有层。例如，某些移动或专用操作系统可能不提供框架/中间件918，而其他操作系统可提供此类层。其他软件架构可包括附加的或不同的层。

操作系统902可管理硬件资源并提供公共服务。操作系统902可包括例如内核922、服务924和驱动器926。内核922可以充当硬件和其他软件层之间的抽象层。例如，内核922可负责存储器管理、处理器管理(例如调度)、组件管理、联网、安全性设置等。服务924可为其他软件层提供其他公共服务。驱动器926负责控制底层硬件或与底层硬件接口连接。例如，驱动器926包括显示驱动器、相机驱动器、惯性测量单元(IMU)、蓝牙

驱动器、闪存驱动器、串行通信驱动器(例如通用串行总线(USB)驱动器)、

驱动器、音频驱动器、电源管理驱动器等，取决于硬件配置。

库920可提供可被应用916和/或其他组件和/或层使用的公共基础结构。库920通常提供如下功能：允许其他软件组件以比通过直接与基础操作系统902功能(例如内核922、服务924、和/或驱动器926)接口连接更容易的方式执行任务。库920可包括系统库944(例如C标准库)，该系统库944可提供诸如存储器分配功能、字符串操纵功能、数学功能等的功能。此外，库920可包括诸如媒体库的API库946(例如，用于支持各种媒体格式(例如MPREG4、H.264、MP3、AAC、AMR、JPG、PNG)的呈现和操作的库)、图形库(例如，可用于在显示器上的图形内容中呈现2D和3D的OpenGL框架)、数据库库(例如，可提供各种关系数据库功能的SQLite)、网络库(例如，可提供网络浏览功能的WebKit)，等。库920还可包括各种各样的其他库948，以向应用916和其他软件组件/模块提供多个其他API。

框架/中间件918(有时也被称为中间件)提供可由应用916和/或其他软件组件/模块使用的高级通用基础设施。例如，框架/中间件918可提供各种图形用户界面(GUI)功能、高级资源管理、高级位置服务等。框架/中间件918可提供可被应用916和/或其他软件组件/模块使用的广泛的其他API，其中一些可能是特定于特定操作系统902或平台的。

应用916包括内置应用938和/或第三方应用940。代表性内置应用938的示例可包括但不限于：联系人应用、浏览器应用、书籍阅读器应用、位置应用、媒体应用、消息传递应用，和/或游戏应用。第三方应用940可包括由特定平台的卖方以外的实体使用Android^TM或iOS^TM软件开发工具包(SDK)开发的应用，可以是在移动操作系统(例如iOS^TM、Android^TM、

Phone或其他移动操作系统)上运行的移动软件。第三方应用940可以调用由移动操作系统(诸如操作系统902)提供的API调用908，以促进本文描述的功能。应用916可包括增强现实客户端应用942。

增强现实应用程序942可以实现这里描述的任何系统或方法，包括访问地图信息、处理图像和点云数据以及特征匹配，或者这里描述的任何其他操作。此外，在一些实施例中，消息传递应用和增强现实应用942可以作为短暂消息传递应用的一部分一起操作。这种短暂消息传递应用可操作以生成图像，允许用户向图像添加增强现实元素，并将一些或全部图像和/或增强现实数据传送给另一个系统用户。在满足删除触发器之后，发送的数据从接收用户的系统传送，并且还可以被同步以从任何涉及传送包括图像和/或增强现实数据的短暂消息的服务器中删除图像和/或增强现实数据。在一些实施例中，用于从接收用户的设备删除数据的触发器可以是指示增强现实图像显示多长时间的计时器。在其他实施例中，短暂消息传递系统可设置用于删除的日期和时间触发器，或与接收用户访问数据的次数相关联的删除。

应用916可利用内置的操作系统功能(例如内核922、服务924和/或驱动器926)、库920和框架/中间件918来创建用户界面以与系统的用户进行交互。替代地或附加地，在一些系统中，与用户的交互可通过诸如呈现层914的呈现层发生。在这些系统中，可将应用/组件“逻辑”与跟用户交互的应用/组件的各方面分开。

图10示出了根据一些示例性实施例的机器1000的组件的框图，该组件能够从机器可读介质(例如，机器可读存储介质)读取指令，并执行本文所讨论的方法中的任何一个或多个。具体地，图10示出了具有计算机系统的示例形式的机器1000的图解表示，在其中可以执行用于使机器1000执行本文讨论的任何一种或多种方法的指令1010(例如软件、程序、应用、小应用、应用程序或其他可执行代码)。这样，指令1010可用于实现本文描述的模块或组件。指令1010将通用的、未编程的机器1000转换为被编程为以所描述的方式执行所描述和示出的功能的特定机器1000。在替代实施例中，机器1000作为独立设备运行，或者可耦接(例如联网)到其他机器。在网络部署中，机器1000可以在服务器-客户端网络环境中以服务器机器或客户端机器的身份运行，或者在对等(或分布式)网络环境中作为对等机器运行。机器1000可包括但不限于：服务器计算机、客户端计算机、个人计算机(PC)、平板计算机、膝上型计算机、上网本、机顶盒(STB)、个人数字助理(PDA)、娱乐媒体系统、蜂窝电话、智能电话、移动设备、可穿戴设备(例如智能手表)、智能家居设备(例如智能电器)、其他智能设备、网络家电、网络路由器、网络交换机、网桥，或能够依次或以其他方式执行指令1010的任何机器，这些指令指定了机器1000要采取的动作。此外，尽管仅示出了单个机器1000，但术语“机器”还应认为为包括单独地或共同地执行指令1010以执行本文讨论的方法中的任何一个或多个方法的机器的集合。

机器1000可包括处理器1004、存储器/存储装置1006和I/O组件1018，它们可以被配置为例如经由总线1002彼此通信。存储器/存储装置1006可包括存储器1014，(诸如，主存储器，或其它存储器存储装置)和存储单元1016，它们都可以诸如经由总线1002被处理器1004访问。存储单元1016和存储器1014存储体现本文所述方法或功能中的任何一个或多个的指令1010。在由机器1000执行期间，指令1010还可全部或部分地驻留在存储器1014内、存储单元1016内、处理器1004中的至少一个处理器内(例如在处理器的高速缓冲存储器内)或其任何组合。因此，存储器1014，存储单元1016和处理器1004的存储器是机器可读介质的示例。

I/O组件1018可以包括各种各样的组件，以接收输入、提供输出、产生输出、发送信息、交换信息、采集测量等。包括在特定机器1000中的特定I/O组件1018将取决于机器的类型。例如，诸如移动电话的便携式机器将可能包括触摸输入设备或其他此类输入机构，而无头(headless)服务器机器将可能不包括此类触摸输入设备。应当理解，I/O组件1018可包括在图10中未示出的多个其他组件。仅出于简化下面讨论的目的，根据功能对I/O组件1018进行分组，并且分组绝不是限制性的。在各种示例性实施例中，I/O组件1018可包括输出组件1026和输入组件1028。输出组件1026可包括视觉组件(例如显示器，诸如，等离子体显示面板(PDP)、发光二极管(LED)显示器、液晶显示器(LCD)、投影仪，或阴极射线管(CRT))、声学组件(例如扬声器)、触觉组件(例如振动马达、电阻机构)、其他信号发生器等。输入组件1028可包括字母数字输入组件(例如键盘、被配置为接收字母数字输入的触摸屏、光电键盘或其他字母数字输入组件)、基于点的输入组件(例如鼠标、触摸板、轨迹球、操纵杆、运动传感器或其他指向仪器)、触知输入组件(例如物理按钮、提供触摸的位置和/或力或触摸手势的触摸屏，或其他触知输入组件)、音频输入组件(例如麦克风)等。输入组件1028还可包括一个或多个图像采集设备，诸如用于生成数字图像和/或视频的数码相机。

在进一步的示例性实施例中，I/O组件1018可包括生物特征组件1030、运动组件1034、环境组件1036或位置组件1038以及各种各样的其他组件。例如，生物特征组件1030可包括用于检测表达(例如手部表达、面部表情、声音表达、身体姿态或眼睛跟踪)、测量生物信号(例如血压、心率、体温、汗水或脑波)、识别人(例如语音识别、视网膜识别、面部识别、指纹识别或基于脑电图的识别)等的组件。运动组件1034可包括加速度传感器组件(例如加速度计)、重力传感器组件、旋转传感器组件(例如陀螺仪)等。环境组件1036可包括例如照明传感器组件(例如光度计)、温度传感器组件(例如检测环境温度的一个或多个温度计)、湿度传感器组件、压力传感器组件(例如气压计)、声学传感器组件(例如一个或多个检测背景噪声的麦克风)、接近度传感器组件(例如检测附近物体的红外传感器)、气体传感器(例如，用于为了安全而检测有害气体的浓度或测量大气中的污染物的气体检测传感器)、或可提供与周围物理环境相对应的指示、测量或信号的其他组件。位置组件1038可包括位置传感器组件(例如全球定位系统(GPS)接收器组件)、高度传感器组件(例如检测可从哪个高度获得该空气压力的高度计或气压计)、取向传感器组件(例如磁力计)等。

可使用多种技术来实现通信。I/O组件1018可包括通信组件1040，该通信组件1040可操作以分别经由耦接(coupling)1022和耦接1024将机器1000耦接到网络1032或设备1020。例如，通信组件1040可包括网络接口组件或与网络1032接口连接的其它合适的设备。在进一步的示例中，通信组件1040可包括有线通信组件、无线通信组件、蜂窝通信组件、近场通信(NFC)组件、蓝牙

组件(例如蓝牙

低能耗)、

组件和经由其它形态提供通信的其他通信组件。设备1020可以是另一机器或各种各样的外围设备(例如经由通用串行总线(USB)耦接的外围设备)中的任何一个。

此外，通信组件1040可检测标识符或包括可操作以检测标识符的组件。例如，通信组件1040可包括射频识别(RFID)标签读取器组件、NFC智能标记检测组件、光学读取器组件(例如用于检测诸如通用产品代码(UPC)条形码的一维条形码、多维条形码(例如快速响应(QR)码、Aztec码、数据矩阵、数字图形、最大码、PDF4111、超码、UCC RSS-2D条形码)和其他光学码的光学传感器)，或声学检测组件(例如用于识别所标记的音频信号的麦克风)。另外，可以经由通信组件1040来获得各种信息，例如经由互联网协议(IP)地理位置来获得位置、经由

信号三角测量来获得位置、经由检测可指示特定位置的NFC信标信号来获得位置等。

指令1010可以使用传输介质经由网络接口设备(例如，被包括在通信组件1064中的网络接口组件)并且利用许多众所周知的传输协议(例如HTTP)在网络1032上被发送或接收。类似地，指令1010可以使用传输介质经由耦接1022(例如，对等耦接)被发送到设备1020或从设备1020接收。术语“传输介质”应当被认为包括能够存储、编码或携带供机器1000执行的指令1010的任何无形介质，并且包括数字或模拟通信信号(即，载波信号)或其他无形介质以促进此类软件的通信。

贯穿本说明书，多个实例可以实现被描述为单个实例的组件、操作或结构。尽管一种或多种方法的单独操作被示出并描述为分开的操作，但是单独操作中的一个或多个可以并行地执行，并且不需要按照所示出的顺序执行这些操作。在示例配置中作为分开的组件呈现的结构和功能可被实现为组合结构或组件。类似地，呈现为单个组件的结构和功能可被实现为分开的组件。这些和其他变化、修改、添加和改进落入本文主题的范围内。

虽然已经参考特定示例实施例描述了本发明主题的概述，但是在不脱离本公开的实施例的更广泛范围的情况下可以对这些实施例进行各种修改和改变。仅为了方便起见，本发明主题的此类实施例在本文中可单独或统称为术语“发明”，并且不旨在自愿将本申请的范围限制到任何单个公开或发明构思，如果事实上公开了不止一个。

充分详细地描述了在此说明的实施例以使本领域技术人员能够实践所公开的教导。可以使用其他实施例并从中得到其他实施例，从而可以在不脱离本公开的范围的情况下进行结构和逻辑替换和改变。因此，详细的描述不应被理解为限制性的，并且各种实施例的范围仅由所附权利要求以及这些权利要求所赋予的等效物的全部范围限定。

如本文所使用的，术语“或”可被解释为包括或排他的意义。此外，可以为这里作为单个实例描述的资源、操作或结构提供多个实例。此外，各种资源、操作、模块、引擎和数据存储之间的边界在某种程度上是任意的，并且在特定说明性配置的上下文中示出了特定操作。功能的其他分配被设想并且可以落入本公开的各种实施例的范围内。一般而言，在示例配置中作为单独资源呈现的结构和功能可被实现为组合的结构或资源。类似地，呈现为单个资源的结构和功能可以实现为分开的资源。这些和其他变化、修改、添加和改进落入由所附权利要求表示的本公开的实施例的范围内。相应地，说明书和附图被认为是说明性的而不是限制性的。

还应当指出，本公开还可以根据以下编号的条款来采用配置：

条款1.一种用于在客户端设备中显示虚拟内容的计算机实现的方法，该方法包括：在设备的处理器处，访问与现实世界对象或环境相对应的纹理贴图和3D网格；确定设备相对于现实世界对象或环境的定位；跟踪设备定位的变化；在创造模式下，接收转换输入；通过将与转换输入相对应的转换应用到3D网格来生成虚拟内容，该转换将3D网格的多个顶点映射到被转换的几何图形中的多个被转换的顶点；并根据映射和纹理贴图来用纹理数据填充被转换的顶点；以及处理由设备的图像传感器捕获的现实世界对象的至少一个当前图像，以将虚拟内容的视图叠加在当前图像上。

条款2.根据条款1所述的方法，其中，访问纹理贴图和3D网格包括：由设备的图像传感器捕获现实世界对象的至少一个图像；基于被捕获的至少一个图像来确定与对象相对应的三维(3D)几何图形；处理至少一个图像以提取对象的相应图块的纹理数据；以及填充用于存储纹理数据的数据结构的至少一部分，该数据结构将纹理数据映射到3D几何图形中的顶点；3D网格包括3D几何图形中相应顶点的3D表示，并且纹理贴图是被填充的数据结构。

条款3.根据条款2所述的方法，还包括：通过将被填充的数据结构存储在存储介质中来缓存当前相机帧中针对所有顶点的纹理数据。

条款4.根据条款3的方法，其中，用纹理数据填充被转换的顶点包括：对于每个被转换的顶点，确定3D网格的顶点在当前相机帧中是否可见；在3D网格的顶点在当前相机帧中可见的情况下，用在相应可见顶点处提取的纹理数据来填充被转换的顶点；在3D网格的顶点在当前相机帧中不可见的情况下，访问存储介质中被填充的数据结构，获取针对顶点的被缓存的纹理数据，并用被缓存的纹理数据来填充被转换的顶点。

条款5.根据条款1至4中任一项所述的方法，其中，跟踪设备定位的变化包括：捕获现实世界对象的至少一个当前图像；识别至少一个当前图像中的特征；跟踪已识别特征的位置和取向的变化；以及处理所检测的已识别特征的定位和取向的变化，以生成相对于对象的实时相机姿态。

条款6.根据条款1至5中任一项所述的方法，其中，处理器是图形处理器单元(GPU)。

条款7.根据条款1至6中任一项所述的方法，其中，设备的定位由设备的定位系统来确定。

条款8.根据条款7所述的方法，其中，定位系统至少包括耦接到设备的存储介质和至少一个处理器的第一定位硬件模块。

条款9.根据条款8所述的方法，其中，第一定位硬件模块是全球定位系统(GPS)模块。

条款10.根据条款1至9中任一项所述的方法，其中，获得第一位置估计包括：接收用户输入位置估计。

条款11.根据条款1至10中任一项所述的方法，其中，3D网格中的至少一个顶点映射到被转换的几何图形中的两个或更多个被转换的顶点。

条款12.根据条款11所述的方法，其中，所述转换包括：反射、变形、复制、或平移。

条款13.根据条款11或条款12所述的方法，其中，所述转换对应于输入到设备中的用户手势。

条款14.根据条款13所述的方法，其中，输入手势是触摸屏输入手势。

条款15.根据条款13或条款14所述的方法，其中，输入手势包括当输入设备在手势输入模式下操作时输入设备中的取向的改变。

条款16.根据条款1至15中任一项所述的方法，其中，获得纹理贴图和3D网格包括：从第二设备接收纹理贴图和3D网格。

条款17.一种用于在客户端设备中显示虚拟内容的计算机实现的方法，该方法包括：在设备的处理器处，获得与现实世界对象或环境相对应的纹理贴图和3D网格；确定设备相对于现实世界对象或环境的定位；跟踪设备定位的变化；在共享模式下，从源设备接收转换信息；通过将与转换信息相对应的共享转换应用到3D网格来生成虚拟内容，该共享转换将3D网格的每个顶点映射到被转换的几何图形中的被转换的顶点，并根据映射和纹理贴图来用纹理数据填充被转换的顶点；以及处理由设备的图像传感器捕获的现实世界对象的至少一个当前图像，以将虚拟内容的视图叠加在当前图像上。

条款18.根据条款17所述的方法，其中，纹理贴图作为被填充的数据结构被存储在设备中的存储介质中，该方法进一步包括：针对当前相机帧中的所有可见顶点，用当前纹理数据替换纹理贴图中顶点处的纹理数据。

条款19.根据条款17或条款18所述的方法，其中，用纹理数据填充被转换的顶点包括：对于每个被转换的顶点，确定3D网格的顶点在当前相机帧中是否可见；在3D网格的顶点在当前相机帧中可见的情况下，用在相应可见顶点处提取的纹理数据来填充被转换的顶点；在3D网格的顶点在当前相机帧中不可见的情况下，访问存储介质中被填充的数据结构，获取针对顶点的被缓存的纹理数据，并用被缓存的纹理数据来填充被转换的顶点。

条款20.一种机器可读介质，包括指令，该指令在由设备执行时使得该设备执行一种方法，该方法包括：获得与现实3D结构相对应的纹理贴图和三维(3D)几何图形，纹理贴图被至少部分填充有纹理数据，存在在3D几何图形上的点与纹理贴图中的坐标之间的第一映射；跟踪设备的定位的变化；进入转换输入状态；接收转换输入；通过将与转换输入相对应的转换应用到3D几何图形来生成虚拟内容，该转换是从3D几何图形中的多个点到被转换的3D几何图形中的多个被转换的点的第二映射，并根据第一映射和第二映射以及纹理贴图来用纹理数据填充被转换的点；以及处理由设备的图像传感器捕获的现实世界对象的至少一个当前图像，以将虚拟内容的视图叠加在当前图像上。

条款21.根据条款20所述的非暂时性机器可读介质包括进一步的指令，该指令在由设备执行时使得该设备执行进一步的方法步骤：确定该设备相对于现实3D结构的定位；与外部设备建立通信连接；发送包括与所确定的定位相对应的信息的请求消息；根据所确定的定位从外部设备接收纹理贴图和3D几何图形。

条款22.根据条款20或条款21所述的非暂时性机器可读介质，其中，获得纹理贴图和3D几何图形包括：从设备的图像传感器接收现实3D结构的至少一个图像；基于所捕获的至少一个图像确定与3D结构相对应的3D几何图形，该3D几何图形包括3D结构中相应点的3D表示；处理该至少一个图像以提取该至少一个图像中可见且未被遮挡的3D结构的点的纹理数据；根据第一映射用所提取的纹理数据来填充数据结构的至少一部分，被填充的数据结构是纹理贴图。

Claims

1.一种用于在客户端设备中显示虚拟内容的计算机实现的方法，包括：在所述设备的处理器处，

访问与现实世界对象或环境相对应的纹理贴图和3D网格；

跟踪所述设备的定位的变化；

在创造模式下，接收转换输入；

通过将与所述转换输入相对应的转换应用到所述3D网格来生成虚拟内容，所述转换将所述3D网格的多个顶点映射到被转换的几何图形中的多个被转换的顶点，并根据所述映射和所述纹理贴图来用纹理数据填充所述被转换的顶点；以及

处理由所述设备的图像传感器捕获的现实世界对象的至少一个当前图像，以将所述虚拟内容的视图叠加在所述当前图像上。

2.根据权利要求1所述的方法，其中，访问纹理贴图和3D网格包括：

由所述设备的图像传感器捕获现实世界对象的至少一个图像；

基于被捕获的所述至少一个图像来确定与所述对象相对应的三维3D几何图形；

处理所述至少一个图像以提取所述对象的相应图块的纹理数据；以及

填充用于存储纹理数据的数据结构的至少一部分，所述数据结构将所述纹理数据映射到所述3D几何图形中的顶点，

所述3D网格包括所述3D几何图形中相应顶点的3D表示，并且所述纹理贴图是被填充的数据结构。

3.根据权利要求2所述的方法，还包括：通过将被填充的数据结构存储在存储介质中来缓存当前相机帧中针对所有顶点的纹理数据。

4.根据权利要求3所述的方法，其中，用纹理数据填充所述被转换的顶点包括：

对于每个被转换的顶点，确定所述3D网格的所述顶点在所述当前相机帧中是否可见；

在所述3D网格的所述顶点在所述当前相机帧中可见的情况下，用在相应可见顶点处提取的纹理数据来填充所述被转换的顶点；以及

在所述3D网格的所述顶点在所述当前相机帧中不可见的情况下，访问所述存储介质中的被填充的数据结构，获取针对顶点的被缓存的纹理数据，并用所述被缓存的纹理数据来填充所述被转换的顶点。

5.根据权利要求1所述的方法，其中，访问所述纹理贴图和所述3D网格包括：

确定所述设备相对于所述现实世界对象或环境的定位；以及

根据所确定的定位从外部设备取得所述纹理贴图和所述3D网格，所述外部设备与所述设备通信连接。

6.根据权利要求1所述的方法，其中，所述设备的定位由所述设备的定位系统来确定。

7.根据权利要求6所述的方法，其中，所述定位系统至少包括耦接到所述设备的存储介质和至少一个处理器的第一定位硬件模块。

8.根据权利要求7所述的方法，其中，所述第一定位硬件模块是全球定位系统GPS模块。

9.根据权利要求1所述的方法，其中，跟踪所述设备的定位的变化包括：

捕获所述现实世界对象的至少一个当前图像；

识别所述至少一个当前图像中的特征；

跟踪已识别特征的位置和取向的变化；以及

处理所检测的已识别特征的位置和取向的变化，以生成相对于所述对象的实时相机姿态。

10.根据权利要求1所述的方法，其中，所述处理器是图形处理器单元GPU。

11.根据权利要求1所述的方法，其中，获得第一位置估计包括接收用户输入位置估计。

12.根据权利要求1所述的方法，其中，所述3D网格中的至少一个顶点映射到被转换的几何图形中的两个或更多个被转换的顶点。

13.根据权利要求1所述的方法，其中，所述转换是以下中的至少一个：反射、变形、复制、或空间平移。

14.根据权利要求1所述的方法，其中，获得纹理贴图和3D网格包括：

从第二设备接收所述纹理贴图和3D网格。

15.一种用于在客户端设备中显示虚拟内容的计算机实现的方法，包括：在所述设备的处理器处，

获得与现实世界对象或环境相对应的纹理贴图和3D网格；

确定所述设备相对于所述现实世界对象或环境的定位；

跟踪所述设备的定位的变化；

在共享模式下，从源设备接收转换信息；

通过将与所述转换信息相对应的共享转换应用到所述3D网格来生成虚拟内容，所述共享转换将所述3D网格的每个顶点映射到被转换的几何图形中的被转换的顶点，并根据所述映射和所述纹理贴图来用纹理数据填充被转换的顶点，以及

16.根据权利要求15所述的方法，其中，所述纹理贴图作为被填充的数据结构被存储在所述设备的存储介质中，所述方法进一步包括：针对当前相机帧中的所有可见顶点，用当前纹理数据替换所述纹理贴图中的顶点处的纹理数据。

17.根据权利要求16所述的方法，其中，用纹理数据来填充被转换的顶点包括：

在所述3D网格的所述顶点在所述当前相机帧中不可见的情况下，访问所述存储介质中被填充的数据结构，获得针对所述顶点的被缓存的纹理数据，并用所述被缓存的纹理数据来填充所述被转换的顶点。

18.一种非暂时性机器可读介质，包括指令，所述指令在由设备执行时使得所述设备执行一种方法，所述方法包括：

获得与现实3D结构相对应的纹理贴图和三维3D几何图形，所述纹理贴图被至少部分地填充有纹理数据，存在在所述3D几何图形上的点与所述纹理贴图中的坐标之间的第一映射；

跟踪所述设备的定位的变化；

进入转换输入状态；

接收转换输入；

通过将与所述转换输入相对应的转换应用到所述3D几何图形来生成虚拟内容，所述转换是从所述3D几何图形中的多个点到被转换的3D几何图形中的多个被转换的点的第二映射，并根据所述第一映射和所述第二映射以及所述纹理贴图来用纹理数据填充被转换的点；以及

处理由所述设备的图像传感器捕获的所述现实世界对象的至少一个当前图像，以将所述虚拟内容的视图叠加在所述当前图像上。

19.根据权利要求18所述的非暂时性机器可读介质，包括进一步的指令，所述指令在由设备执行时使得所述设备执行以下进一步的方法步骤：

确定所述设备相对于所述现实3D结构的定位；

与外部设备建立通信连接；

发送包括与所确定的定位相对应的信息的请求消息；以及

根据所确定的定位从所述外部设备接收所述纹理贴图和所述3D几何图形。

20.根据权利要求18所述的非暂时性机器可读介质，其中，获得所述纹理贴图和所述3D几何图形包括：

从所述设备的图像传感器接收所述现实3D结构的至少一个图像；

基于被捕获的所述至少一个图像确定与所述3D结构相对应的3D几何图形，所述3D几何图形包括所述3D结构中相应点的3D表示；

处理所述至少一个图像以提取所述至少一个图像中可见且未被遮挡的所述3D结构的点的纹理数据；以及

根据所述第一映射用所提取的纹理数据来填充数据结构的至少一部分，被填充的数据结构是纹理贴图。