CN118158181A - 3d对象摄像头定制系统 - Google Patents

Abstract

提供了用于3D对象摄像头定制的系统和方法，用于由用户设备的摄像头捕获描绘用户设备的第一环境的第一图像；将第一虚拟对象覆盖在描绘第一环境的第一图像的一部分上；使用由用户设备捕获的内容来修改第一虚拟对象的表面；存储第二虚拟对象，该第二虚拟对象包括具有经修改的表面的第一虚拟对象；并且生成第二虚拟对象用于在描绘第二环境的第二图像的一部分上显示。

Description

3D对象摄像头定制系统

本申请是2020年6月19日提交的申请号为202080047024.6、发明名称为“3D对象摄像头定制系统”的专利申请的分案申请。

优先权要求

本申请要求在2019年6月28日提交的美国专利申请序列号16/457,461的优先权，该申请通过引用整体并入本文。

技术领域

本公开大体上涉及虚拟内容的视觉呈现，并且更具体地，涉及渲染在计算设备的摄像头馈送中捕获的真实世界环境内的三维对象。

背景技术

虚拟渲染系统可用于创建引人入胜且有趣的增强现实体验，其中三维(3D)虚拟对象图形内容似乎存在于真实世界中。这样的系统允许用户从预定义的3D对象列表中进行选择，并在摄像头馈送的视图中显示所选的3D对象。

附图说明

在不一定按比例绘制的附图中，相似的标号可以在不同的视图中描述相似的部件。为了轻松识别任何特定元素或行为的讨论，附图编号中的一个或多个最高有效数字是指首次引入该元素的附图号。在附图的图中，通过示例而非限制的方式示出了一些实施例，其中：

图1是示出了根据示例实施例的用于通过网络交换数据(例如，消息和相关联的内容)的消息传递系统的框图；

图2是图示出根据示例实施例的关于消息传递系统的进一步细节的框图；

图3是图示出根据示例实施例的可以存储在消息传递服务器系统的数据库中的数据的示意图；

图4是图示出根据示例实施例的由用于通信的消息传递客户端应用生成的消息的结构的示意图；

图5是图示出根据示例实施例的可以作为消息传递系统的部分提供的表面环境表示对象生成系统的各种部件的框图；

图6和图7是图示出根据示例实施例的表面环境表示对象生成系统在执行用于生成包括表面环境表示对象的消息的方法中的示例操作的流程图；

图8-12A和12B是图示出根据一些示例实施例的由消息传递系统提供的各种界面的界面图；

图13是图示出根据示例实施例的可以与本文描述的各种硬件架构结合使用的代表性软件架构的框图；以及

图14是图示出根据示例实施例的能够从机器可读介质(例如，机器可读存储介质)读取指令并执行本文中讨论的任何一种或多种方法的机器的部件的框图。

具体实施方式

以下描述包括实施本公开的说明性实施例的系统、方法、技术、指令序列和计算机程序产品。在以下描述中，为了解释的目的，阐述了许多具体细节以提供对本发明主题的各种实施例的理解。然而，对于本领域技术人员显而易见的是，可以在没有这些具体细节的情况下实践本发明主题的实施例。一般来说，众所周知的指令实例、协议、结构和技术不一定详细显示。

用户总是在寻求与内容交互的新方式，就好像它存在于真实世界中一样。典型的增强现实系统使用户能够将虚拟对象插入视频帧中并控制其在视频帧中描绘的真实世界环境中的位置。然而，简单地将虚拟对象插入视频帧中而不考虑视频帧中的其他对象(例如，表面)会使所得的带有虚拟对象的视频帧看起来不真实，特别是因为无法利用对象的深度。一些系统允许用户从预定义的虚拟对象列表中进行选择，以插入在摄像头馈送中描绘的真实环境中(例如，从摄像头接收到的实时视频)。虽然此类系统通常在真实世界环境中呈现此类对象时运行良好，但缺乏定制和操纵对象的能力使系统对用户的吸引力和兴趣降低。

其中，本公开的实施例通过提供允许用户修改虚拟对象的表面纹理的功能，诸如三维(3D)字幕或二维(2D)字幕、用户生成的内容、预生成的内容、策划内容、地理过滤器、图片、镜头、图形对象、贴纸、表情符号和GIF，以表示描绘第一真实世界环境的图像部分，来提高电子消息传递和成像软件和系统的功能。具体地，用户插入的虚拟对象的部分可以是透明的或部分透明的，以展现和表示真实世界环境的底层图像，和/或被修改以包括真实世界环境的其他图像，诸如使用额外的摄像头馈送。具有表示描绘第一真实世界环境的图像的部分的经修改的表面纹理的虚拟对象然后被渲染，就好像它们存在于其他真实世界环境和/或真实世界环境的其他视点中一样。以此方式，所公开的实施例为用户彼此通信创造了一种新的且更具吸引力的方式。即，不是使用用户不能操纵或个性化的预定对象来交换消息，而是所公开的实施例允许用户创建具有带有个性化内容(例如，消息)的表面环境表示的虚拟对象。

所公开的实施例允许用户修改虚拟对象，使得所创建的虚拟对象的图形特性(例如，视觉属性，诸如颜色和纹理)表示正在创建消息的用户的真实世界环境。这使用户能够使用具有丰富内容的消息传递向其他用户传达信息。根据所公开的实施例，图形用户界面功能使得能够从消息传递应用内容易地生成基于环境的虚拟对象，并且不需要用户的复杂照片编辑技能。

在一些实施例中，由图像捕获设备(例如，数码摄像头)生成的第一真实世界环境内容项，例如沙滩、海洋和天空的图像和/或视频被显示，并且2D/3D文本可以被显示在第一真实世界环境内容的一部分之上，诸如显示在海滩上。文本的表面(例如，文本字符的颜色)使用第一真实世界环境中显示文本的部分的颜色和样式进行修改，以使看起来好像文本至少部分是透明，从而展现底层的真实世界环境。具体地，在沙滩上显示的文本的一个字符的表面纹理被修改为以表示沙子的颜色和样式(例如，砂白色)的方式至少部分地透明，以及在海洋上显示的文本的另一个字符的表面纹理被类似地修改以表示海洋的颜色(例如，波浪蓝色)。带有经修改的表面纹理的文本被存储并发送给另一用户，以在图像中描绘的第二真实世界环境(例如描绘办公室场景的环境)之上呈现。这样，混合了第一真实世界环境的砂白色沙滩和海洋颜色字符的文本被呈现并且可以在描绘第二真实世界环境中的办公场景的图像中四处移动。根据所公开的实施例，位于第一真实世界环境(例如，海滩)处的第一用户可以向第二用户传达文本消息，第二用户可能在被充实有第一用户周围环境(例如，海滩)的视觉属性的办公室(另一真实世界环境)中。这显著增强了第一用户试图传达给第二用户的消息的含义。

图1是示出用于通过网络交换数据(例如，消息和相关联的内容)的示例消息传递系统100的框图。消息传递系统100包括多个客户端设备102，每个客户端设备托管包括消息传递客户端应用104在内的多个应用。每个消息传递客户端应用104经由网络106(例如，因特网)通信地耦合到消息传递客户端应用104的其他实例和消息传递服务器系统108。

因此，每个消息传递客户端应用104能够经由网络106与另一个消息传递客户端应用104和消息传递服务器系统108通信和交换数据。在消息传递客户端应用104之间以及在消息传递客户端应用104和消息传递服务器系统108之间交换的数据包括功能(例如，调用功能的命令)以及有效载荷数据(例如，文本、音频、视频或其他多媒体数据)。

在一些实施例中，消息传递客户端应用104向用户呈现图形用户界面以用于选择或创建虚拟表面环境表示对象，例如3D表面环境表示对象和/或2D表面环境表示对象。用户可以激活消息传递客户端应用104的摄像头以实时查看用户的真实世界周围环境/环境(例如，摄像头馈送)的图像。用户可以指示消息传递客户端应用104将虚拟对象添加到由摄像头在用户选择的位置处捕获的真实世界图像中。可以在3D和/或2D空间中选择位置。具体地，用户可以操纵虚拟对象以相对于真实世界对象重新定位虚拟对象。

在一些实施例中，消息传递客户端应用104接收用户输入以将添加的虚拟对象修改为虚拟表面环境表示对象。即，在用户将虚拟对象放置在实时图像中描绘的真实世界环境中之后或之前，用户可以在屏幕上点击或做出另一个合适的手势来指示消息传递客户端应用104使用虚拟对象被定位在其上的真实世界环境的底层视觉属性来修改虚拟对象的表面纹理。在一个实施例中，消息传递客户端应用104改变虚拟对象的表面像素的透明度，使得虚拟对象的边界内的像素表示虚拟对象被定位在其上的真实世界环境的图像的底层部分。用户然后可以指示消息传递客户端应用104改变虚拟对象在2D/3D空间中的位置。随着带有经修改的表面纹理的虚拟对象被重新定位，表面纹理可以不断被更新，以继续表示对象实时定位在其上的真实世界的图像的底层部分。这样，当用户四处移动对象时，对象边界内的所有像素继续以部分透明的方式示出对象边界内的像素位于其中的真实世界环境的像素。

在对象被放置在描绘真实世界环境的图像部分上的2D/3D空间中之后，用户可以指示消息传递客户端应用104捕获和存储虚拟对象在其当前状态下的表面纹理。即，虚拟对象的表面纹理的像素被保持在当前值，该当前值以部分透明的方式描绘它们被定位在其上的真实世界环境的部分。在消息传递客户端应用104捕获并存储表面纹理的当前状态之后，虚拟对象以允许用户继续操纵在摄像头馈送中描绘的真实世界环境内的2D/3D空间中的位置的方式被锁定。但是现在，随着锁定的虚拟对象四处移动，表面纹理不再被更新和修改以表示真实世界环境的底层图像。

例如，摄像头馈送中描绘的真实世界环境包括海洋、沙滩、树木和天空。用户可以在真实世界环境中定位2D/3D虚拟对象，例如带有文本的字幕。具体地，虚拟对象的第一组字母可以放置在海洋上方，并且虚拟对象的第二组字母可以放置在沙滩上方。消息传递客户端应用104可以被指示以修改虚拟对象的表面纹理以生成表面环境表示对象。作为响应，第一组字母可以变得部分透明以展现它们被定位在其上的海洋(例如，第一组字母被定位在其上的像素值被复制到第一组字母的边界内的像素的像素值)。类似地，第二组字母可以变得部分透明以展现它们被定位在其上的海洋(例如，第二组字母被定位在其上的像素值被复制到第二组字母的边界内的像素的像素值)。用户可以操纵字幕的位置，并且字母边界内的像素值继续被更新以便以部分透明的方式表示(例如，示出、显示、具有基于以下的外观)它们被定位在其上的底层图像部分。

在一些实施例中，可以生成虚拟对象的表面纹理/外观以模拟位于第一环境中的反射(例如，镜状)表面(例如，而不是基于部分透明)。例如，虚拟对象的表面纹理/外观可以表示在环境中相对于虚拟对象在3D空间中的位置在该虚拟对象前面(而不是在该虚拟对象后面)的内容项。

用户可以指示消息传递客户端应用104锁定虚拟对象的当前状态。作为响应，当用户在真实世界环境中四处移动虚拟对象时，不再更新表面纹理和像素值。这样，带有海洋表面纹理的第一组字母可以移动以被定位在真实世界环境中的海滩上方，但继续示出海洋的表面纹理。而且，带有海滩表面纹理的第二组字母可以移动以被定位在真实世界环境中的天空上方，但继续示出海滩的表面纹理。具体地，第一组和第二组字母不再处于部分透明的状态，并且可以按照下面的方式四处移动到真实世界环境的其他部分：使用当字母处于部分透明状态时字母最后被定位在环境的一部分上时的字母的像素值来掩盖字母被定位在其上的部分。

在一些实施例中，用户可以捕获、存储虚拟表面环境表示对象并与另一消息传递客户端应用104的另一用户共享该虚拟表面环境表示对象。例如，在真实世界办公环境中的第二用户可以激活摄像头馈送。第二用户可以将接收到的虚拟表面环境表示对象添加到描绘第二用户周围环境(例如，办公环境)的实时图像的摄像头馈送中。在一些情况下，当第二用户接收到对象时，接收到的虚拟表面环境表示对象被自动放置到摄像头馈送中。即，当第二用户从另一用户接收到虚拟表面环境表示对象时，第二用户的摄像头馈送被自动激活并显示接收到的虚拟表面环境表示对象。在一些情况下，第二用户通过消息(其可以包括或可以不包括该消息包括虚拟表面环境表示对象的指示)的方式接收虚拟表面环境表示对象。响应于第二用户选择消息(例如，用户打开消息以查看其内容)，虚拟表面环境表示对象被检索并自动显示在第二用户的摄像头馈送中。这样，第二用户就可以在办公环境中查看当第一用户在海滩环境中时由第一用户生成的带有海滩环境表面纹理的文本。第二用户可以在实时图像中描绘的办公环境内四处移动表面环境表示对象。这致使第二用户观看这样的字符：该字符在第二用户的环境图像中部分示出了来自第一用户的真实世界环境的海洋和沙滩的图像。

在一些实施例中，用户可以指示消息传递客户端应用104将例如帽子的虚拟对象添加到由用户设备的初始摄像头馈送捕获的实时图像中描绘的用户真实世界环境中。例如，图像中描绘的真实世界环境包括一个人的头部。用户可以指示消息传递客户端应用104向真实世界环境添加例如帽子的虚拟对象，并且用户可以将该虚拟对象定位在头顶上。具体地，消息传递客户端应用104可以在真实世界环境中将虚拟帽子放在人的头顶上。用户可以激活消息传递客户端应用104的表面环境表示镜头特征，并且可以选择要修改的虚拟对象的一部分。例如，用户可以绘制要修改的形状以表示用户的真实世界环境，和/或消息传递客户端应用104可以修改虚拟对象的预定部分，例如帽子的正面，以表示真实世界环境。在一个实施例中，消息传递客户端应用104可以激活另一个摄像头，例如另一个前置摄像头或后置摄像头。消息传递客户端应用104可以接收被激活的摄像头的实时图像并将接收到的图像插入到虚拟对象的被选择为将被修改以表示真实世界环境的部分中。

在将虚拟对象放置在描绘真实世界环境的图像部分上的2D/3D空间中之后，并且在用户对从附加摄像头接收到的呈现在虚拟对象上的实时图像感到满意之后，用户可以指示消息传递客户端应用104捕获并存储虚拟对象在其当前状态下的表面纹理。即，当前从附加摄像头接收到的图像被存储并保持在虚拟对象上的位置。用户继续操纵初始摄像头馈送中描绘的真实世界环境中2D/3D空间中的位置。但是现在，随着锁定的虚拟对象四处移动，表面纹理不再被更新和修改以表示附加摄像头的图像。例如，描绘了从附加摄像头馈送接收到的最后一个图像的虚拟帽子的前部可以四处移动到初始摄像头馈送中描绘的真实世界环境的其他部分。用户还可以将此虚拟对象发送给另一用户，以用于在第二用户的环境中或在不同的摄像头馈送中进行呈现和操纵。

消息传递服务器系统108经由网络106向特定的消息传递客户端应用104提供服务器端功能。尽管消息传递系统100的某些功能在本文中被描述为由消息传递客户端应用104或由消息传递服务器系统108执行，但是应当理解，某些功能在消息传递客户端应用104或消息传递服务器系统108内的位置是一种设计选项。例如，最初在消息传递服务器系统108内部署某些技术和功能在技术上可能是优选的，但是稍后在客户端设备102具有足够处理能力的情况下将该技术和功能迁移到消息传递客户端应用104。

消息传递服务器系统108支持被提供给消息传递客户端应用104的各种服务和操作。此类操作包括向消息传递客户端应用104发送数据、从其接收数据以及处理由其生成的数据。作为示例，该数据可以包括消息内容、客户端设备信息、地理位置信息、媒体注释和覆盖、消息内容持久性条件、社交网络信息和现场事件信息。消息传递系统100内的数据交换通过经由消息传递客户端应用104的用户界面(UI)可用的功能来调用和控制。

现在具体转向消息传递服务器系统108，应用程序界面(API)服务器110耦合到应用服务器112，并且向应用服务器112提供编程接口。应用服务器112通信耦合到数据库服务器118，这有助于访问数据库120，数据库120中存储有与应用服务器112处理的消息相关联的数据。

具体处理API服务器110，该服务器在客户端设备102和应用服务器112之间接收和发送消息数据(例如，命令和消息有效载荷)。具体地，API服务器110提供一组接口(例如，例程和协议)，其可以被消息传递客户端应用104调用或查询以便调用应用服务器112的功能。API服务器110揭示由应用服务器112支持的各种功能，这些功能包括：账户注册；登录功能；经由应用服务器112从特定消息传递客户端应用104到另一个消息传递客户端应用104的消息发送；媒体文件(例如，图像或视频)从消息传递客户端应用104发送到消息传递服务器应用114，并且用于另一个消息传递客户端应用104的可能访问；媒体数据(例如，故事)的集合的设置；这类集合的检索；客户端设备102的用户的好友列表的检索；消息和内容的检索；社交图好友的添加和删除；社交图内好友的定位；打开应用事件(例如，与消息传递客户端应用104相关)。

应用服务器112托管多个应用和子系统，包括消息传递服务器应用114、图像处理系统116和社交网络系统122。消息传递服务器应用114实现许多消息处理技术和功能，特别是与从消息传递客户端应用104的多个实例接收到的消息中包括的内容(例如，文本和多媒体内容)的聚合和其他处理有关。如将进一步详细描述的，来自多个源的文本和媒体内容可以聚合成内容集合(例如，称为故事或图库)。这些集合然后由消息传递服务器应用114提供给消息传递客户端应用104。鉴于其他处理器和存储器密集型数据处理的硬件要求，此类处理也可以由消息传递服务器应用114在服务器端执行。

应用服务器112还包括图像处理系统116，其专用于执行通常关于在消息传递服务器应用114处的消息的有效载荷内接收到的图像或视频的各种图像处理操作。

社交网络系统122支持各种社交网络功能和服务，并使这些功能和服务对消息传递服务器应用114可用。为此，社交网络系统122维护并访问数据库120内的实体图。社交网络系统122支持的功能和服务的示例包括标识消息传递系统100的与特定用户有关系或特定用户正在“关注”的其他用户，以及标识其他实体和特定用户的兴趣。

应用服务器112通信耦合到数据库服务器118，这有助于访问数据库120，数据库120中存储有与由消息传递服务器应用112处理的消息相关联的数据。

图2是示出根据示例实施例的关于消息传递系统100的进一步细节的框图。具体地，消息传递系统100被示为包括消息传递客户端应用104和应用服务器112，它们进而包含许多子系统，即短时定时器系统202、集合管理系统204和注释系统206。

短时定时器系统202负责强制执行对由消息传递客户端应用104和消息传递服务器应用114允许的内容的暂时访问。为此，短时定时器系统202结合了多个定时器，这些定时器基于与消息或消息集合(例如，故事)相关联的持续时间和显示参数，经由消息传递客户端应用104选择性地显示消息和相关联的内容并能够对其访问。

集合管理系统204负责管理媒体集合(例如，文本、图像、视频和音频数据的集合)。在一些示例中，内容集合(例如，消息，包括图像、视频、文本和音频)可以被组织成“事件图库”或“事件故事”。这样的集合可以在指定的时间段内可用，例如与内容相关的事件的持续时间。例如，与音乐会有关的内容可以在该音乐会期间作为“故事”提供。集合管理系统204还可以负责发布图标，该图标向消息传递客户端应用104的用户界面提供特定集合的存在的通知。

集合管理系统204进一步包括策展接口208，其允许集合管理者管理和策展特定的内容集合。例如，策展接口208使事件组织者能够策展与特定事件有关的内容集合(例如，删除不适当的内容或冗余消息)。此外，集合管理系统204采用机器视觉(或图像识别技术)和内容规则来自动策展内容集合。在某些实施例中，可以向用户支付补偿以将用户生成的内容包括到集合中。在这种情况下，策展接口208操作以自动向这些用户支付使用他们的内容的费用。

注释系统206提供使用户能够注释或以其他方式修改或编辑与消息相关联的媒体内容的各种功能。例如，注释系统206提供与由消息传递系统100处理的消息的媒体覆盖的生成和发布相关的功能。注释系统206可操作地向消息传递客户端应用104提供媒体覆盖(例如，过滤器或镜头)。在另一示例中，注释系统206基于其他信息，例如客户端设备102的用户的社交网络信息，可操作地向消息传递客户端应用104提供媒体叠加。媒体叠加可以包括音频和视觉内容以及视觉效果。音频和视频内容的示例包括图片、文本、徽标、动画和声音效果。视觉效果的示例包括颜色叠加。

音频和视觉内容或视觉效果可以应用于客户端设备102处的媒体内容项目(例如，照片)。例如，媒体覆盖包括可以被覆盖在由客户端设备102生成的图像或视频之上的文本。在另一示例中，媒体覆盖包括位置覆盖的标识(例如，威尼斯海滩)、现场事件的名称或商家覆盖的名称(例如，海滩咖啡馆)。

注释系统206包括表面环境表示对象生成系统210，其提供功能性用以接收虚拟对象(例如，带有透明类型的表面环境表示的虚拟对象或带有其中呈现附加摄像头馈送的区域的虚拟对象)并且从接收到的虚拟对象生成虚拟表面环境表示对象并在客户端设备102的摄像头馈送(也被本领域普通技术人员称为“摄像头流”、“视频流”或“视频馈送”)内捕获的2D/3D空间内相对于客户端设备102的位置处显示和跟踪虚拟表面环境表示对象。由表面环境表示对象生成系统210生成、显示和跟踪的虚拟表面环境表示对象包括：被生成和修改以表示真实世界环境的一部分的虚拟表面环境表示对象，在描绘真实世界环境的图像中该对象被定位在该真实世界环境的该部分上。虚拟表面环境表示对象表示任何用户生成的内容、策展的内容、图像、文本、视频、字幕、动画或由用户选择的或自动识别的其他视觉项目，其具有描绘由用户设备的一个或多个摄像头捕获的图像部分的表面纹理。

表面环境表示对象生成系统210提供功能用以通过提供虚拟对象并将该对象定位在描绘真实世界环境的图像的期望部分上来使用户能够创作、编辑和预览虚拟表面环境表示对象。真实世界环境可以是预先录制的视频、预先捕获的图像、实时视频或实时图像。为此，表面环境表示对象生成系统210包括编辑界面212和预览界面214。编辑界面212允许用户创作和选择虚拟对象(例如，用户可以从列表中选择2D/3D图像、2D/3D图形元素或化身、或视频，或者可以手动键入一组对应于文本或字幕的字符)。

编辑接口212使用户能够使用键盘输入和包括基于触摸屏的手势的其他类型的输入来编辑虚拟对象。例如，用户可以改变虚拟对象的比例、配色方案、大小或任何其他视觉属性。在用户对编辑的虚拟对象满意后，用户可以指示表面环境表示对象生成系统210根据用户输入的虚拟对象创建虚拟表面环境表示对象。预览界面214允许用户在生成包括虚拟表面环境表示对象的消息之前预览和查看所生成的虚拟表面环境表示对象。预览界面214还可以使用户能够编辑虚拟表面环境表示对象的呈现(例如，通过改变在显示屏幕上虚拟表面环境表示对象的比例、取向或在2D/3D空间中放置)。表面环境表示对象生成系统210根据结合图6和7描述的过程从用户选择的虚拟对象创建虚拟表面环境表示对象。

表面环境表示对象生成系统210可以使虚拟表面环境表示对象基于在3D空间中检测到的参考表面(例如，地面)而被显示在摄像头馈送内捕获的3D空间中的位置处(例如，在客户端设备102的显示器上)。如下文将进一步详细讨论的，表面环境表示对象生成系统210包括冗余跟踪系统，该系统包括一组跟踪子系统，该跟踪子系统被配置为基于一组跟踪标记和在跟踪子系统之间的转换来跟踪在2D/3D空间中的位置处的虚拟表面环境表示对象。表面环境表示对象生成系统210可以进一步基于跟踪标记的可用性来在六自由度(6DoF)跟踪和三自由度(3DoF)跟踪之间转换。

图3是示出了根据某些示例实施例的可以存储在消息传递服务器系统108的数据库120中的数据的示意图300。虽然数据库120的内容被示为包括多个表格，但是应当理解，数据可以存储在其他类型的数据结构中(例如，作为面向对象的数据库)。

数据库120包括存储在消息表314内的消息数据。实体表302存储实体数据，包括实体图304。在实体表302内维护其记录的实体可以包括个人、公司实体、组织、2D和/或3D对象、3D对象模板、3D对象纹理、地点、事件、被配置为使至少预定部分处于透明、部分透明或锁定状态下的虚拟对象、被配置有可选择的或预定的部分以表示额外的摄像头馈送的虚拟对象，等等。不管类型如何，消息传递服务器系统108关于其存储数据的任何实体都可以是公认的实体。每个实体都提供有唯一标识符以及实体类型标识符(未示出)。

实体图304进一步存储关于实体之间的关系和关联的信息。仅作为示例，此类关系可以是社会的、专业的(例如，在一个共同的公司或组织工作)、基于兴趣或基于活动的。

数据库120还在注释表312中以过滤器和镜头的示例形式存储注释数据。其数据存储在注释表312内的过滤器和镜头与视频(其数据存储在视频表310中)和/或图像(其数据存储在图像表308中)相关联并被应用于这些视频和/或图像。过滤器是在呈现给接收用户期间显示为覆盖在图像或视频上的覆盖。另一方面，镜头包括实时特殊效果和/或声音，当用户正在编写消息时，这些效果和/或声音可以添加到摄像头馈送的图像中。相比之下，在客户端设备102处捕获图像或视频之后过滤器被应用于图像或视频，同时镜头被应用于客户端设备102的摄像头馈送，使得当在客户端设备102处捕获图像或视频时应用了镜头，所应用的镜头被合并为所生成的图像或视频的一部分。过滤器和镜头可以是各种类型，包括来自当发送用户正在编写消息时由消息传递客户端应用104呈现给发送用户的过滤器图库或镜头图库的用户选择过滤器和镜头。关于过滤器描述的任何功能同样适用于镜头，反之亦然。

如上所述，视频表310存储视频数据，在一个实施例中，视频数据与在消息表314内维护其记录的消息相关联。类似地，图像表308存储与其消息数据被存储在实体表302中的消息相关联的图像数据。实体表302可以将来自注释表312的各种注释与存储在图像表308和视频表310中的各种图像和视频相关联。

故事表306存储关于消息和相关图像、视频或音频数据的集合的数据，这些数据被编译成集合(例如，故事或图库)。特定集合的创建可由特定用户(例如，在实体表302中为其维护记录的每个用户)发起。用户可以以该用户已经创建和发送/广播的内容集合的形式创建“个人故事”。为此，消息传递客户端应用104的UI可以包括用户可选择的图标，以使得发送用户能够将特定内容添加到他或她的个人故事。

集合还可以构成“实况故事”，它是来自多个用户的内容集合，这些内容是手动、自动或使用手动和自动技术的组合创建的。例如，“实况故事”可以构成来自不同位置和事件的用户提交的内容的策展流。可以例如经由消息传递客户端应用104的用户界面向其客户端设备启用了位置服务并且在特定时间处于公共位置事件的用户呈现对特定实况故事贡献内容的选项。基于用户的位置，消息传递客户端应用104可以向用户标识实况故事。最终结果是从社区角度讲述的“实况故事”。

另一种类型的内容集合被称为“位置故事”，其使得其客户端设备102位于特定地理位置内(例如，在学院或大学校园内)的用户能够对特定集合做出贡献。在一些实施例中，对位置故事的贡献可能需要第二级认证以验证最终用户属于特定组织或其他实体(例如，是大学校园内的学生)。

图4是图示根据一些实施例的消息400的结构的示意图，消息400由消息传递客户端应用104生成以用于与另外的消息传递客户端应用104或消息传递服务器应用114通信。具体消息400的内容用于填充存储在数据库120内的消息传递服务器应用114可访问的消息表314。类似地，消息400的内容作为客户端设备102或应用服务器112的“在途中”或“飞行中”数据存储在存储器中。显示的消息400包括以下部件：

·消息标识符402：标识消息400的唯一标识符。

·消息文本有效载荷404：将由用户经由客户端设备102的用户界面生成并且被包括在消息400中的文本。

·消息图像有效载荷406：由客户端设备102的摄像头部件捕获或从客户端设备102的存储器中检索并且被包括在消息400中的图像数据。

·消息视频有效载荷408：由摄像头部件捕获或从客户端设备102的存储器部件检索并且被包括在消息400中的视频数据。

·消息音频有效载荷410：由麦克风捕获或从客户端设备102的存储器部件中检索并且被包括在消息400中的音频数据。

·消息注释412：表示要应用于消息400的消息图像有效载荷406、消息视频有效载荷408或消息音频有效载荷410的注释的注释数据(例如，过滤器、贴纸或其他增强)。

·消息持续时间参数414：参数值，以秒为单位指示消息的内容(例如，消息图像有效载荷406、消息视频有效载荷408、消息音频有效载荷410)将经由消息传递客户端应用104被呈现或使其对用户可访问的时间量。

·消息地理定位参数416：与消息的内容有效载荷相关联的地理定位数据(例如，纬度和经度坐标)。多个消息地理定位参数416值可以被包括在有效载荷中，这些参数值中的每一个与在内容中包括的内容项相关联(例如，进入消息图像有效载荷406内的特定图像，或在消息视频有效载荷408中的特定视频)。

·消息故事标识符418：标识一个或多个内容集合(例如，“故事”)的标识符值，消息400的消息图像有效载荷406中的特定内容项与其相关联。例如，消息图像有效载荷406内的多个图像可以各自使用标识符值与多个内容集合相关联。

·消息标签420：每个消息400可以被标记多个标签，每个标签指示消息有效载荷中包括的内容的主题。例如，在消息图像有效载荷406中包括的特定图像描绘动物(例如，狮子)的情况下，可以在消息标签420内包括指示相关动物的标签值。标签值可以基于用户输入手动生成，或者可以使用例如图像标识自动生成。

·消息发送者标识符422：指示生成消息400并且发送消息400的客户端设备102的用户的标识符(例如，消息传递系统标识符、电子邮件地址或设备标识符)。

·消息接收者标识符424：指示消息400被寻址到的客户端设备102的用户的标识符(例如，消息传递系统标识符、电子邮件地址或设备标识符)。消息400的各个组成部分的内容(例如值)可以是指向内容数据值存储在其中的表中的位置的指针。例如，消息图像有效载荷406中的图像值可以是指向图像表308内的位置(或地址)的指针。类似地，消息视频有效载荷408内的值可以指向存储在视频表310中的数据，存储在消息注释412中的值可以指向存储在注释表312中的数据，存储在消息故事标识符418中的值可以指向存储在故事表306中的数据，并且存储在消息发送者标识符422和消息接收者标识符424内的值可以指向存储在实体表302内的用户记录。

图5是图示出表面环境表示对象生成系统210的功能部件的框图，其配置表面环境表示对象生成系统210，以从实时摄像头馈送中描绘的2D/3D空间中的虚拟对象渲染表面环境表示对象。表面环境表示对象生成系统210被示为包括渲染模块502、跟踪模块504和中断检测模块506。表面环境表示对象生成系统210的各种部件和模块可以被配置为彼此通信(例如，经由总线、共享存储器或交换机)。尽管未在图5中图示，但在一些实施例中，表面环境表示对象生成系统210可包括一个或多个摄像头(例如，一个或多个前置摄像头和/或一个或多个后置摄像头)或可与其通信，该摄像头被配置为产生包括图像数据的摄像头馈送，该图像数据包括图像序列(例如，视频)。在实施例中，根据用户选择的虚拟对象的类型，表面环境表示对象生成系统210可以激活用户设备上的多个摄像头。第一摄像头可以被激活以全屏显示用户真实世界环境的实时图像，并且第二摄像头可以被激活以在位于来自第一个摄像头的馈送中的虚拟对象的专用或用户选择的部分上显示用户真实世界环境的实时图像。

所描述的任何一个或多个部件和模块可以单独使用硬件(例如，机器的一个或多个处理器1404)或硬件和软件的组合来实现。例如，表面环境表示对象生成系统210的任何部件和模块可以物理地包括处理器1404中的一个或多个(例如，机器的一个或多个处理器的子集或其中的子集)的布置，该布置被配置为执行本文针对该部件描述的操作。作为另一示例，表面环境表示对象生成系统210的任何部件和模块可以包括软件、硬件或两者，其配置(例如，在机器的一个或多个处理器之中的)一个或多个处理器1404的布置以执行本文针对该部件描述的操作。因此，表面环境表示对象生成系统210的不同部件和模块可以在不同时间点包括和配置这种处理器1404的不同布置或这种处理器1404的单一布置。

此外，表面环境表示对象生成系统210的任何两个或更多个部件和模块可以组合成单个部件或模块，并且本文针对单个部件或模块描述的功能可以在多个部件和模块之间细分。此外，根据各种示例实施例，本文描述为在单个机器、数据库或设备内实现的部件和模块可以分布在多个机器、数据库或设备上。

跟踪系统504可以包括第一跟踪子系统504A、第二跟踪子系统504B和第三跟踪子系统504C。每个跟踪子系统基于一组跟踪标记跟踪表面环境表示对象在2D/3D空间内的位置。

由于环境条件、用户动作、摄像头与被跟踪对象/场景之间的意外视觉中断等，跟踪系统经常出现跟踪失败。传统上，此类跟踪失败会导致3D空间中虚拟对象的呈现中断。例如，虚拟对象可能会消失或以其他方式表现不规则，从而中断虚拟对象在3D空间内呈现的错觉。这破坏了整体3D体验的感知质量。

传统的跟踪系统依赖于单一方法(自然特征跟踪(NFT)、同时定位和映射(SLAM)、陀螺仪等)，由于传感器数据不准确、移动、视觉标记的丢失或遮挡或场景的动态中断，每种方法在实际使用中都有断裂点。此外，每种方法在能力方面可能有各自的限制。例如，陀螺仪跟踪系统只能跟踪具有3DoF的物品。此外，由于每个单独系统的固有限制，使用单个跟踪系统会提供不准确或不稳定的位置估计。例如，由于单独的视觉跟踪不准确，NFT系统可能无法提供足够的俯仰、偏航或滚转估计，而陀螺仪跟踪系统提供不准确的平移(向上、向下、向左、向右)。

为了解决传统跟踪系统的上述问题，表面环境表示对象生成系统210包括多个冗余跟踪子系统504A-C，其使得能够实现在跟踪子系统之间的无缝转换。多个冗余跟踪子系统504A-C通过将多个跟踪方法合并到单个跟踪系统504中来解决传统跟踪系统的问题。跟踪系统504能够基于由跟踪系统跟踪的跟踪标记(例如，滚转、俯仰、偏航、自然特征等)的可用性，通过在多个跟踪系统之间组合和转换来组合6DoF和3DoF跟踪技术。因此，当任何一个跟踪系统跟踪的标记变得不可用时，表面环境表示对象生成系统210在6DoF跟踪和3DoF跟踪之间无缝切换，从而为用户提供不间断的体验。例如，在视觉跟踪系统(例如，NFT、SLAM)的情况下，通常被分析以确定取向的跟踪标记可以被来自陀螺跟踪系统的陀螺跟踪标记替换。因此，这将能够基于跟踪标记的可用性在6DoF跟踪和3DoF跟踪之间转换。

在一些示例实施例中，为了在6DoF跟踪和3DoF跟踪之间转换，表面环境表示对象生成系统210在跟踪矩阵内收集和存储跟踪标记，该矩阵包括平移标记(例如，向上、向下、向左、向右)和旋转标记(例如，俯仰、偏航、滚转)。由此，由NFT系统收集的平移标记可以从跟踪矩阵中提取，并在由NFT系统收集的未来平移标记变得不准确或不可用时被使用。同时，陀螺仪继续提供旋转标记。这样，当移动设备丢失跟踪标记时，呈现在3D空间中的被跟踪对象不会在丢失跟踪标记时的帧处被突然改变。随后，当目标跟踪对象重新出现在屏幕中，并得到新的平移T₁时，视图矩阵的平移部分将利用新的平移T₁，并使用T₁-T₀作为视图矩阵的平移。

表面环境表示对象生成系统210的渲染模块502被配置为获得虚拟对象，并且从在由摄像头产生的实时摄像头馈送内捕获的3D空间中的所获得的虚拟对象生成并渲染表面环境表示对象。在渲染表面环境表示对象时，表面环境表示对象生成系统210基于在2D/3D空间中检测到的真实世界参考表面将表面环境表示对象分配到2D/3D空间中的位置。

表面环境表示对象生成系统210此后可以通过6DoF中的一个或多个跟踪系统在3D空间中跟踪表面环境表示对象相对于用户设备的位置。例如，表面环境表示对象生成系统210的一个或多个跟踪系统可以收集和分析一组跟踪标记(例如，滚转、俯仰、偏航、自然特征等)，以用6DoF跟踪在2D/3D空间中表面环境表示对象相对于用户设备的位置。在这样的实施例中，表面环境表示对象生成系统210可以基于被跟踪标记的可用性来在跟踪系统之间转换以保持6DoF中的一致跟踪。

中断检测模块506监测跟踪标记以检测中断。当中断检测模块506检测到一个或多个标记的中断，使得6DoF跟踪变得不可靠或不可能时，表面环境表示对象生成系统210转换为以3DoF在2D/3D空间中跟踪表面环境表示对象以防止显示中断。例如，表面环境表示对象生成系统210可以从以6DoF跟踪对象的第一跟踪子系统504A(或跟踪子系统组中的第一组跟踪子系统)转换为跟踪子系统组中的第二跟踪子系统504B(或第二组跟踪子系统)，其中，第二跟踪系统能够基于可用的跟踪标记在3D空间中以3DoF跟踪表面环境表示对象。

在一些示例实施例中，表面环境表示对象生成系统210的一组跟踪系统包括陀螺跟踪系统、NFT系统和SLAM跟踪系统。跟踪系统组中的每个跟踪系统可以分析跟踪标记以跟踪在3D空间内虚拟对象的位置。例如，为了用6DoF跟踪虚拟对象，表面环境表示对象生成系统210可能需要至少六个跟踪标记可用。当跟踪标记由于各种原因变得受阻或不可用时，表面环境表示对象生成系统210可以在跟踪系统组中的可用跟踪系统之间转换以维持6DoF，或必要时转换到3DoF。

将容易理解的是，表面环境表示对象生成系统210在各种环境和情况中提供在真实世界3D空间中一致渲染的表面环境表示对象(例如，3D字幕、化身或3D动画、视频或图像)。在许多应用中，可能需要当一个或多个用户、摄像头或其他跟踪项目在环境中四处移动时，为这些虚拟对象的位置提供牢固的一致性。这可能涉及对真实世界环境中特定固定参考点(例如，固定表面)的识别和使用。不使用固定参考点或项目会导致在虚拟对象的渲染和呈现中出现浮动或其他不希望的不一致。

为了确保在虚拟对象位置中的牢固一致性，可以采用呈现镜头的示例形式的注释数据，该示例形式专用于本文描述的表面环境表示对象跟踪和渲染。特别地，表面感知镜头是一种呈现镜头，它标识和引用用于在3D空间中一致地渲染和呈现表面环境表示对象的真实世界的表面(例如，地面)。表面感知镜头可以是渲染模块502内的特定部分或子模块。渲染模块502的这个表面感知镜头可以被配置为基于视觉摄像头内容来识别参考表面，并且还可以利用其他设备输入(例如，陀螺仪、加速度计、罗盘)来确定什么是在现场摄像头馈送中描绘的3D空间内的适当表面。一旦确定了参考表面，则可以相对于该参考表面来定位虚拟表面环境表示对象。在一个示例中，3D空间中的参考表面是地面。在该示例中，表面环境表示对象生成系统210在3D空间中的位置处渲染表面环境表示对象，使得表面环境表示对象看起来在3D空间上或略高于3D空间。由表面环境表示对象生成系统210渲染的表面环境表示对象包括表面环境表示对象在图像中定位在其上方的第一真实世界环境的表面纹理。在一些实施例中，由表面环境表示对象生成系统210渲染的表面环境表示对象包括描绘表面环境表示对象在图像中定位在其中的真实世界环境的其他部分的另一摄像头馈送的表面纹理。这种对象由表面环境表示对象生成系统210存储和使用，以在相同或不同用户设备上的另一图像中描绘的第二真实世界环境中跟踪和渲染第一真实世界环境的表面环境表示对象。

图6和图7是图示出根据示例实施例的表面环境表示对象生成系统在执行用于生成包括表面环境表示对象的消息的方法600和700中的示例操作的流程图。方法600和700可以通过暂时性或非暂时性计算机可读指令实施，该指令由一个或多个处理器执行使得方法600和700的操作可以部分或全部由表面环境表示对象生成系统210的的功能部件执行；因此，方法600和700在下面通过示例的方式参考其进行描述。然而，应当理解，方法600和700的至少一些操作可以部署在各种其他硬件配置上，并且方法600和700不旨在限于表面环境表示对象生成系统210。结合方法600和700描述的操作中的任何一个操作可以以不同于所示出和描述的顺序来执行或完全省略。

在操作602处，注释系统206接收第一输入以激活表面表示对象镜头。表面表示对象镜头可以从一组镜头中选择。例如，在来自摄像头的实时馈送中呈现多个镜头的列表，并且用户可以点击列表中的给定镜头以立即将镜头添加到实时馈送中。作为一个示例，在操作604处，用户可以点击表面表示对象镜头以查看用户可以从中选择的可用表面表示对象镜头类型或对象的列表。

在操作604处，表面环境表示对象生成系统210促使在客户端设备102上显示编辑界面212。编辑界面212使用户能够输入对虚拟对象的选择以及对虚拟对象的修改或编辑，这些修改或编辑提供用于从虚拟对象生成表面环境表示对象的基础。在一些实施例中，用户选择的虚拟对象是2D或3D对象，生成的表面环境表示对象是2D/3D对象。为此，编辑界面212可以包括键盘或其他输入机制以使得用户能够输入对2D/3D内容的选择(例如，一个或多个文本字符、图像选择、视频选择、动画选择，等等)。用户输入的2D/3D内容被显示为在由客户端设备102的摄像头产生的摄像头馈送之上的2D/3D覆盖。摄像头馈送呈现客户端设备102的第一真实世界环境。

在操作606处，表面环境表示对象生成系统210接收由客户端设备的用户使用编辑界面212选择第一虚拟对象的输入。输入可以调整2D/3D对象在第一真实世界环境中的位置，使得2D/3D对象覆盖在摄像头馈送中描绘的第一真实世界环境的不同部分。例如，用户可以选择包括被配置为处于部分透明状态或锁定状态的部分的虚拟对象。具体地，虚拟对象可以是字幕区域，该字幕区域随着用户键入字幕的字符一次添加一个字符。每个字符可以包括边界，并且边界内的像素被配置为至少部分透明以展现和示出字符被定位在其上的真实世界环境的部分。当输入额外的字符和/或当字幕在实时摄像头馈送中的2D/3D空间中四处移动时，字符边界内的像素被更新，使得表面纹理以部分透明的方式展现它们被定位在其上的真实世界环境的部分。

用户可以输入指令以锁定虚拟对象的状态，使得以部分透明方式表示它们被定位在其上的真实世界环境的部分的当前像素值被锁定。这允许用户在2D/3D空间中操纵虚拟对象的位置和取向，而无需更新像素值，也无需继续更新表面纹理以部分透明的方式表示真实世界环境的底层部分。这样，当虚拟对象被定位在实时摄像头馈送中所描绘的真实世界环境的不同部分上时，虚拟对象可以用它的表面纹理来表示当像素处于部分透明状态时对象被定位在其上的真实世界环境的第一部分。

作为另一个示例，用户可以选择虚拟对象，该虚拟对象包括专用于或可选择来表示来自另一实时摄像头馈送的图像的一部分。具体地，虚拟对象可以被定位在从第一摄像头(例如，前置摄像头)接收到的实时摄像头馈送中的2D/3D空间内，并且可以用从接收自第二摄像头(例如，后置或前置摄像头)的实时摄像头馈送中接收到的内容来修改虚拟对象的表面纹理的一部分。用户可以动态更改是使用前置摄像头还是后置摄像头来为虚拟对象的表面纹理提供内容。用户可以输入指令来锁定虚拟对象的状态，使得在当前接收到的第二实时摄像头馈送的内容中表示的当前像素值被锁定。这允许用户在2D/3D空间中操纵虚拟对象的位置和取向，而无需更新像素值，也无需继续更新表面纹理以表示从第二实时摄像头馈送接收到的内容。这样，当虚拟对象被定位在第一实时摄像头馈送中所描绘的真实世界环境的不同部分上时，虚拟对象可以用它的表面纹理来表示当像素被第二摄像头馈送在被更新时对象被定位在其上的真实世界环境的第一部分。

在操作610处，表面环境表示对象生成系统212检测第三输入，并且响应于检测到第三输入，在操作612处表面环境表示对象生成系统212致使预览界面214的显示。例如，第三输入可以包括基于运动的输入，例如客户端设备102的取向的变化。例如，如果用户正在将客户端设备102的摄像头指向向上的取向，则在编辑界面212中呈现2D内容的二维表示。如果用户将摄像头的取向改变为面朝下，则表面环境表示对象生成系统212可以从显示编辑界面212切换到显示预览界面214。预览界面214包括表面环境表示对象的呈现。表面环境表示对象可以在摄像头馈送中捕获的2D/3D空间中的位置处渲染，该位置基于2D/3D空间中检测到的参考表面(例如地面或地板表面)并基于在操作606处接收到的输入。

在操作614处，消息传递系统100生成包括应用了表面环境表示对象的一个或多个图像的消息。在生成消息时，消息传递系统100可以记录用户指定或预定长度(例如，3秒)的视频，该视频包括来自摄像头馈送的应用了表面环境表示对象的一个或多个图像。消息传递系统100可以进一步在生成消息中将一个或多个用户指定的过滤器应用于所记录的一个或多个图像。消息传递系统100还可将表面环境表示对象发送给第二用户，以使得第二用户能够将表面环境表示对象放置在另一环境的不同实时摄像头馈送中。这样，表面环境表示对象可以使用第一真实世界环境的内容项生成并且被渲染以用于由另一用户进行的在第二真实世界环境中的显示。

如图7的方法700所示，在一些实施例中，方法600可以包括操作702、704、706、708和710。与这些实施例一致，操作702、704、706、708和710可以作为操作606和/或610的一部分(例如，作为子例程或子操作)来执行，其中表面环境表示对象生成系统210从输入的虚拟对象生成表面环境表示对象并致使显示预览界面，该预览界面包括在实时或记录的第一或第二摄像头馈送内捕获的第一或第二真实世界环境内虚拟表面环境表示对象的呈现。

在操作702处，渲染部件502通过用户设备的摄像头捕获描绘用户设备的第一环境的第一图像。例如，渲染部件502激活用户设备的后置摄像头并在全屏或部分屏幕中呈现描绘真实世界环境的实时图像。

在操作704处，渲染部件502将第一虚拟对象覆盖在描绘第一环境的第一图像的一部分上。例如，渲染部件502接收被配置用于表面环境表示的虚拟对象的用户选择。虚拟对象可以是被配置为呈现内容项的虚拟对象，该内容项来自第一虚拟对象以部分或完全透明的方式被定位在其上的第一环境。在另一个实施例中，虚拟对象可以是被配置为显示从第二摄像头馈送(例如，前置或后置摄像头)接收到的图像的虚拟对象，该第二摄像头馈送从第一环境捕获内容项。在这种情况下，渲染部件502可以识别专用于显示来自第二摄像头馈送的图像的虚拟对象的区域。渲染部件502可以接收用户输入，该用户输入操纵在2D/3D空间中虚拟对象相对于对象被定位在其上的摄像头馈送的实时图像的位置和取向。

在操作706处，渲染部件502使用由用户设备捕获的内容来修改第一虚拟对象的表面。例如，在选择的对象被配置为以透明或部分透明的方式呈现来自实时摄像头馈送的内容的情况下，渲染部件502可以将虚拟对象被定位在其上的实时图像部分的像素值复制到虚拟对象的边界内的像素值。边界可以是不透明的，也可以是完全透明的。可以逐个像素地复制像素值。具体地，渲染部件502可以确定虚拟对象在实时图像内的2D/3D位置。渲染部件502可以识别在实时图像内虚拟对象的第一像素位置并检索在同一第一像素位置处实时图像的像素值。渲染部件502可以将在第一像素位置处实时图像的像素值复制到虚拟对象的第一像素位置。渲染部件502可以以相同的方式继续处理虚拟对象的每个像素，直到所有像素值都被更新为实时图像的它们被定位在其上的对应像素值。

在虚拟对象被配置为呈现来自另一摄像头馈送的内容的这种情况下，渲染部件502激活第二摄像头馈送并且接收和显示在虚拟对象的指定部分上来自第二摄像头馈送的图像。一旦渲染部件502接收到锁定在指定部分中显示的图像的用户请求，渲染部件502锁定对象并允许用户操纵对象的大小、形状和位置，该对象现在包括在请求锁定之前最后从第二摄像头馈送接收到的图像。当虚拟对象被呈现在最初接收到的实时摄像头馈送上时，可以执行操纵。

在操作708处，渲染部件502存储包括带有经修改表面的第一虚拟对象的第二虚拟对象。例如，响应于接收到锁定虚拟对象的用户请求，渲染部件502在虚拟对象中保持以透明方式描绘的刚好在接收锁定虚拟对象的请求之前对象被定位在其上的真实世界图像部分的图像。作为另一示例，渲染部件502锁定包括在请求锁定之前从第二摄像头馈送最后接收到的图像的对象。锁定的虚拟对象被存储为第二虚拟对象(例如，表面环境表示对象)。

在操作710处，渲染部件502生成第二虚拟对象用于在描绘第二环境的第二图像的一部分上显示。例如，渲染部件502允许用户将第二虚拟对象发送给第二用户以用于显示在第二用户的用户设备的实时摄像头馈送中。作为另一个示例，渲染部件502允许用户在显示第一环境的其他部分的摄像头馈送中重新定位和操纵对象。

图8-12是图示出根据一些示例实施例的由消息传递系统提供的各种界面的界面图。图8具体示出了虚拟表面环境表示对象在第一用户设备的给定环境内被生成并且在被锁定之后被移动以定位在第一用户设备的给定环境的第二部分中的示例。

如图8所示，用户激活消息传递应用的镜头特征，从而允许用户将虚拟对象添加到实时图像中描绘的真实世界环境。例如，用户选择的虚拟对象是一个2D字幕。作为响应，渲染部件502允许用户输入2D字幕的字符，并且当输入字符时，渲染部件502将字符810呈现在从实时摄像头馈送接收的真实世界图像之上。渲染部件502更新字符的表面纹理，使得字幕边界内的字符810的部分至少部分或完全透明以展现字符被定位在其上的底层真实世界图像。即，渲染部件502将像素值从字符810被定位在其上的真实世界图像部分的位置复制到字符边界内的像素。

如图所示，当字符810被定位在橡木色桌子上方时，边界内的字符810的像素被更新为橡木色桌子的相同像素值。当移动摄像头(例如，向右平移)以示出真实世界环境830的另一部分(例如，在办公桌前工作的人)时，字符810的像素被更新以按照透明方式示出这些字符被定位在其上的在办公桌前工作的人的部分。字符820示出更新的像素值，从而示出字符820是透明的，至少部分在字幕的边界内，以展现底层真实世界图像部分。渲染部件502接收用户输入以锁定虚拟对象并创建3D表面环境表示对象，例如锁定字幕的像素值以防止在虚拟对象四处移动或在摄像头馈送变化时字符边界内的像素被更新。具体地，字符840示出锁定的像素值并且在3D空间中被定位在真实世界环境的另一部分中(例如，当摄像头向左平移时)。例如，在字符840被定位在真实世界环境的另一部分中(例如，之后向左平移)时，在该真实世界环境的另一部分中真实世界环境830不再可见，字符840示出了真实世界环境830的像素值(例如，当摄像头向右平移时在办公桌前工作的人)。

图9具体示出了虚拟表面环境表示对象在第一用户设备的第一环境中被生成并被发送到第二用户设备以在被锁定之后在第二用户设备的第二环境中被定位和显示的示例。作为一个示例，用户选择的虚拟对象是2D字幕920。作为响应，渲染部件502允许用户输入2D字幕920的字符，并且当输入字符时，渲染部件502将呈现字符920在从第一用户设备的实时摄像头馈送接收到的真实世界图像910之上。渲染部件502更新字符的表面纹理，使得字幕边界内的字符920的部分至少部分或完全透明以展现字符被定位在其上的底层真实世界图像910。即，渲染部件502将像素值从字符920被定位在其上的真实世界图像部分910的位置复制到字符920边界内的像素。

渲染部件502接收用户输入以锁定虚拟对象并创建2D表面环境表示对象，例如锁定2D字幕的像素值以防止在虚拟对象被四处移动、被发送给第二用户或在摄像头馈送变化时字符920边界内的像素被更新。具体地，字符940示出锁定的像素值并且在被发送给第二用户之后被定位在第二真实世界环境930中的3D空间中。例如，在字符940被定位在第二用户设备的第二真实世界环境930中时，在第二真实世界环境930中真实世界环境910不再可见，字符940示出真实世界环境910的像素值。

图10具体示出了虚拟表面环境表示对象在第一用户设备的给定环境内被生成并且在被锁定在第一用户设备的同一给定环境内之后在3D空间中被重新定向的示例。如图10所示，用户激活消息传递应用的镜头特征，从而允许用户将虚拟对象添加到实时图像中描绘的真实世界环境。例如，用户选择的虚拟对象是一个2D字幕。作为响应，渲染部件502允许用户输入2D字幕1020的字符，并且当输入字符时，渲染部件502将字符1020呈现在从实时摄像头馈送接收到的真实世界图像1010之上。渲染部件502更新字符1020的表面纹理，使得字幕边界内的字符1020的部分至少部分或完全透明以展现字符被定位在其上的底层真实世界图像1010。即，渲染部件502将像素值从字符1020被定位在其上的真实世界图像1010部分的2D和3D位置复制到字符边界内的像素。

渲染部件502接收用户输入以锁定虚拟对象并创建3D表面环境表示对象，例如锁定字幕的像素值以防止在虚拟对象被四处移动或在摄像头馈送变化时字符边界内的像素被更新。作为响应，渲染部件502创建3D表面环境表示对象1030，其保持3D表面环境表示对象的第一表面1032(例如，前表面)的当前值(以表示底层真实世界图像部分1010)，并且第二表面1034(例如，在3D空间中与第一表面垂直的表面)被替换为单个像素值。这使得3D表面环境表示对象1030看起来从屏幕出来并且在3D空间中被定位和定向。3D表面环境表示对象1030可以在3D空间中被重新定向以看起来躺在道路上，如在相同真实世界图像1010的3D空间中被重新定向的3D表面环境表示对象1040所示。3D表面环境表示对象1040的第一表面1032具有对象在被锁定和在真实世界图像1010的不同部分上被重新定向之前被定位在其上的真实世界图像1010部分的像素值。如图所示，真实世界图像1010的一部分1042(虚拟对象的一部分在被锁定之前被定位在其上方)被示出在3D表面环境表示对象1040的一部分1044(在被锁定和重新定向之后)中，即使3D表面环境表示对象1040不再定位在部分1042的顶部。

图11具体示出了虚拟表面环境表示对象在第一用户设备的给定环境内被生成并且在被锁定之后在第一用户设备的同一给定环境内被重新定向在3D空间中的示例1100。如图11所示，用户激活消息传递应用的镜头特征，从而允许用户将虚拟对象1120添加到实时图像1110中描绘的真实世界环境。例如，用户选择的虚拟对象是虚拟帽子1120。作为响应，渲染部件502允许用户在2D/3D空间中将虚拟帽子定位在从第一实时摄像头馈送接收到的真实世界图像1110(例如，人的头部)之上。渲染部件502标识被配置为呈现来自第二实时摄像头馈送的内容的虚拟对象1120的一部分1130。渲染部件502激活第二摄像头(例如，由用户选择作为前置或后置摄像头)，从第二摄像头接收实时图像并将来自第二摄像头的那些图像呈现在虚拟对象1120的部分1130上。以此方式，在示例1100中示出了多个摄像头馈送，使得虚拟对象1120被定位在来自第一摄像头馈送的图像之上并且来自第二摄像头馈送的图像被放置在虚拟对象的一部分上。在一些实施例中，渲染部件502允许用户选择图像、视频或动画，以插入到部分1130中，而不是激活第二摄像头馈送。在这种情况下，使用一个摄像头馈送，使得虚拟对象1120被定位在来自摄像头馈送的图像之上，并且用户选择的图像、视频或动画被放置在虚拟对象1120的专用或用户可选部分1130上。

如图12A所示，渲染部件502接收用户输入以锁定虚拟对象1120，例如锁定虚拟对象1120的像素值，以防止当虚拟对象1120被四处移动或当第一摄像头馈送改变时像素被第二摄像头馈送或所选图像、视频或动画更新。作为响应，渲染部件502创建表面环境表示对象1210，当表面环境表示对象1210被四处移动或当摄像头馈送改变时，该表面环境表示对象1210保持部分1230(例如，虚拟帽子的前表面)的当前值。具体地，部分1230示出了表面环境表示对象1210的锁定像素值并且不会在表面环境表示对象1210被定位在3D空间中真实世界环境1220的另一部分中时(例如，当摄像头向左平移时)改变。

在一些实施例中，在第一用户设备上显示的虚拟对象1120在消息中被发送到第二用户设备。图12B示出了由第二用户设备接收到的由第一用户设备创建的虚拟对象1120。第二用户设备可以由第二用户操作并且可以呈现来自第二用户设备的摄像头馈送的实时图像。在图12B中，实时摄像头馈送呈现第二用户的面部1284。如图12B所示，虚拟对象1120(可以是虚拟帽子)可以作为虚拟对象1282放置在第二用户的头顶上。由第一用户设备插入到虚拟对象的部分中的任何图像、视频或动画也呈现在虚拟对象1282的部分1280中。这样，第一用户可以创建呈现被在第一用户设备上一个虚拟对象，如图11所示。第一用户设备可以将虚拟对象呈现为在由第一用户佩戴。第一用户可以将创建的虚拟对象发送给第二用户。如图12B所示，第二用户的第二用户设备可以将接收到的虚拟对象呈现给第二用户并且可以定位虚拟对象以使其看起来好像虚拟对象也在被第二用户佩戴。

图13是图示出示例软件架构1306的框图，其可以与本文描述的各种硬件架构结合使用。图13是软件架构的非限制性示例，并且应当理解，可以实现许多其他架构以促进本文描述的功能。软件架构1306可以在诸如图13的机器1300的硬件上执行，该硬件包括处理器1304、存储器1314和输入/输出(I/O)部件1319等。代表性的硬件层1352被示出并且可以表示例如图13的机器1300。代表性硬件层1352包括具有相关联的可执行指令1304的处理单元1354。可执行指令1304表示软件架构1306的可执行指令，包括本文描述的方法、部件等的实现方式。硬件层1352还包括存储器和/或存储模块存储器/存储1356，其也具有可执行指令1304。硬件层1352还可以包括其他硬件1358。

在图13的示例架构中，软件架构1306可以被概念化为层堆栈，其中每一层提供特定功能。例如，软件架构1306可以包括诸如操作系统1302、库1320、应用1316、框架/中间件1318和表示层1314的层。在操作上，应用1316和/或层内的其他部件可以通过软件堆栈调用API调用1308并响应于API调用1308接收响应1312。所示的层本质上具有代表性，并非所有软件架构都具有所有层。例如，一些移动或专用操作系统可能不提供框架/中间件1318，而其他操作系统可能提供这样的层。其他软件架构可能包括额外的或不同的层。

操作系统1302可以管理硬件资源并提供公共服务。操作系统1302可以包括例如内核1322、服务1324和驱动器1326。内核1322可以充当硬件和其他软件层之间的抽象层。例如，内核1322可以负责存储器管理、处理器管理(例如调度)、部件管理、网络、安全设置等。服务1324可以为其他软件层提供其他公共服务。驱动器1326负责控制底层硬件或与底层硬件接口。例如，依据硬件配置，驱动器1326包括显示器驱动器、摄像头驱动器、驱动器、闪存驱动器、串行通信驱动器(例如通用串行总线(USB)驱动器)、/>驱动器、音频驱动器、电源管理驱动器，等等。

库1320提供由应用1316和/或其他部件和/或层使用的公共基础设施。库1320提供的功能允许其他软件部件以比直接与底层操作系统1302功能(例如，内核1322、服务1324和/或驱动器1326)接口更容易的方式执行任务。库1320可以包括系统库1344(例如，C标准库)，其可以提供例如存储器分配功能、字符串操作功能、数学功能等的功能。此外，库1320可以包括API库1346，例如媒体库(例如，支持例如MPREG4、H.264、MP3、AAC、AMR、JPG、PNG的各种媒体格式的呈现和操纵的库)、图形库(例如，可用于在显示器上的图形内容中呈现二维和3D的OpenGL框架)、数据库库(例如，可提供各种关系数据库功能的SQLite)、网页库(例如，可提供网页浏览功能的WebKit)等等。库1320还可以包括多种其他库1348以向应用1316和其他软件部件/模块提供许多其他API。

框架/中间件1318(有时也称为中间件)提供可由应用1316和/或其他软件部件/模块使用的更高级别的公共基础设施。例如，框架/中间件1318可以提供各种图形用户界面(GUI)功能、高级资源管理、高级定位服务等。框架/中间件1318可以提供可由应用1316和/或其他软件部件/模块使用的广泛的其他API，其中一些可以专用于特定操作系统1302或平台。

应用1316包括内置应用1338和/或第三方应用1340。代表性内置应用1338的示例可以包括但不限于联系人应用、浏览器应用、书籍阅读器应用、定位应用、媒体应用、消息传递应用和/或游戏应用。第三方应用1340可以包括由特定平台的供应商以外的实体使用ANDROID^TM或IOS^TM软件开发工具包(SDK)开发的应用，并且可以是在诸如IOS^TM、ANDROID^TM、Phone或其他移动操作系统的移动操作系统上运行的移动软件。第三方应用1340可以调用由移动操作系统(诸如操作系统1302)提供的API调用1308以促进本文描述的功能。

应用1316可以使用内置操作系统功能(例如，内核1322、服务1324和/或驱动程序1326)、库1320和框架/中间件1318来创建用户接口以与系统用户交互。可替代地或附加地，在一些系统中，与用户的交互可以通过表示层(例如表示层1314)发生。在这些系统中，应用/部件“逻辑”可以与与用户交互的应用/部件的各个方面分开。

图14是图示出根据一些示例实施例的能够从机器可读介质(例如，机器可读存储介质)读取指令并执行本文中讨论的任何一种或多种方法的机器1400的部件的框图。具体地，图14示出了计算机系统的示例形式的机器1400的图解表示，在机器1400中，可以执行用于促使机器1400执行本文讨论的任何一种或多种方法的指令1410(例如，软件、程序、应用、小应用、app或其他可执行代码)。因此，指令1410可用于实现本文描述的模块或部件。指令1410将通用的非编程机器1400转换成特定机器1400，该特定机器被编程为以所描述的方式执行所描述和示出的功能。在替代实施例中，机器1400作为独立设备运行或者可以耦合(例如，联网)到其他机器。在联网部署中，机器1400可以在服务器-客户端网络环境中以服务器机器或客户端机器的能力运行，或者作为对等(或分布式)网络环境中的对等机器运行。机器1400可以包括但不限于服务器计算机、客户端计算机、个人计算机(PC)、平板计算机、膝上型计算机、上网本、机顶盒(STB)、个人数字助理(PDA)、娱乐媒体系统、蜂窝电话、智能手机、移动设备、可穿戴设备(例如智能手表)、智能家居设备(例如智能电器)、其他智能设备、web装置、网络路由器、网络交换机、网桥或任何能够依次或以其他方式执行指令1410的机器，这些指令指定机器1400要采取的动作。此外，虽然仅示出了单个机器1400，但术语“机器”也应被视为包括单独或联合执行指令1410以执行本文中讨论的任何一种或多种方法的机器的集合。

机器1400可以包括处理器1404、存储器/存储1406和I/O部件1418，它们可以被配置为诸如经由总线1402彼此通信。在一个示例实施例中，处理器1404(例如，中央处理单元(CPU)、精简指令集计算(RISC)处理器、复杂指令集计算(CISC)处理器、图形处理单元(GPU)、数字信号处理器(DSP)、专用集成电路(ASIC)、射频集成电路(RFIC)、另一处理器或其任何合适的组合)可以包括例如可以执行指令1410的处理器1408和处理器1412。术语“处理器”旨在包括多核处理器1404，其可包括可同时执行指令的两个或更多个独立处理器(有时称为“核心”)。尽管图14示出了多个处理器，但是机器1400可以包括具有单核的单个处理器、具有多核的单个处理器(例如，多核处理器)、具有单核的多个处理器、具有多核的多个处理器或其任何组合。

存储器/存储设备1406可以包括诸如主存储器或其他存储设备的存储器1414和存储单元1416，两者都可由处理器1404诸如经由总线1402访问。存储单元1416和存储器1414存储实施本文描述的方法或功能中的任何一种或多种的指令1410。指令1410还可以在机器1400对其执行期间完全或部分地驻留在存储器1414内、存储单元1416内、处理器1404中的至少一个内(例如，在处理器的高速缓存内)、或它们的任何合适的组合内。因此，存储器1414、存储单元1416和处理器1404的存储器是机器可读介质的示例。

I/O部件1418可以包括多种部件以接收输入、提供输出、产生输出、传输信息、交换信息、捕获测量值等等。包括在特定机器1400中的特定I/O部件1418将取决于机器的类型。例如，诸如移动电话的便携式机器将可能包括触摸输入设备或其他此类输入机制，而无头服务器机器将可能不包括此类触摸输入设备。应当理解，I/O部件1418可以包括图14中未示出的许多其他部件。I/O部件1418根据功能分组仅仅是为了简化以下讨论并且分组决不是限制性的。在各种示例实施例中，I/O部件1418可以包括输出部件1426和输入部件1428。输出部件1426可以包括视觉部件，例如，诸如等离子体显示面板(PDP)的显示器，发光二极管(LED)显示器，液晶显示器(LCD)，投影仪或阴极射线管(CRT)，声学部件(例如，扬声器)，触觉部件(例如，振动电机、阻力机制)，其他信号发生器等。输入部件1428可包括字母数字输入部件(例如，键盘、被配置为接收字母数字输入的触摸屏、光电键盘或其他字母数字输入部件)、基于点的输入部件(例如，鼠标、触摸板、轨迹球、操纵杆、运动传感器或其他指点仪器)、触觉输入部件(例如，物理按钮、提供位置和/或触摸力或触摸手势的触摸屏，或其他触觉输入部件)、音频输入部件(例如，麦克风)等。

在进一步的示例实施例中，I/O部件1418可以包括生物特征部件1430、运动部件1434、环境部件1436或位置部件1438，以及大量其他部件。例如，生物特征部件1430可以包括用于检测表情(例如，手部表情、面部表情、声音表情、身体姿势或眼动追踪)、测量生物信号(例如，血压、心率、体温、出汗或脑电波)、标识人(例如，语音标识、视网膜标识、面部标识、指纹标识或基于脑电图的标识)等的部件。运动部件1434可以包括加速度传感器部件(例如，加速度计)、重力传感器部件、旋转传感器部件(例如，陀螺仪)等等。环境部件1436可包括例如照度传感器部件(例如，光度计)、温度传感器部件(例如，检测环境温度的一个或多个温度计)、湿度传感器部件、压力传感器部件(例如，气压计)、声学传感器部件(例如，一个或多个检测背景噪声的麦克风)、接近度传感器部件(例如，检测附近对象的红外传感器)、气体传感器(例如，用于检测危险气体的浓度以确保安全或测量大气中的污染物的气体检测传感器)或可以提供与周围物理环境相对应的指示、测量值或信号的其他部件。位置部件1438可包括定位传感器部件(例如，GPS接收器部件)、海拔传感器部件(例如，海拔计或检测可从中导出海拔的气压的气压计)、取向传感器部件(例如，磁力计)，等等。

可以使用多种技术来实现通信。I/O部件1418可以包括通信部件1440，其可操作以分别经由耦合1424和耦合1422将机器1400耦合到网络1432或设备1420。例如，通信部件1440可以包括网络接口部件或其他合适的设备以与网络1432接口。在进一步的示例中，通信部件1440可以包括有线通信部件、无线通信部件、蜂窝通信部件、近场通信(NFC)部件、 部件(例如，低功耗/>)、/>部件和其他通信部件以经由其他方式提供通信。设备1420可以是另一台机器或多种外围设备(例如，经由USB耦合的外围设备)中的任一个。

此外，通信部件1440可以检测标识符或包括可操作以检测标识符的部件。例如，通信部件1440可以包括射频识别(RFID)标签读取器部件、NFC智能标签检测部件、光学读取器部件(例如，用于检测诸如通用产品代码(UPC)条码的一维条码的光学传感器，诸如快速响应(QR)码的多维条码、Aztec码、DataMatrix、Dataglyph、MaxiCode、PDF417、UltraCode、UCCRSS-2D条码和其他光学代码)、或声学检测部件(例如，标识标记的音频信号的麦克风)。此外，可以经由通信部件1440导出各种信息，例如经由因特网协议(IP)地理定位进行定位、经由信号三角测量导出定位、经由检测可以指示特定的位置的NFC信标信号进行定位，等等。

词汇表：

在此上下文中，“载体信号”是指能够存储、编码或携带由机器执行的指令的任何无形介质，并且包括数字或模拟通信信号或其他无形介质以促进此类指令的通信。可以使用传输介质经由网络接口设备并使用多种众所周知的传输协议中的任何一种在网络上传输或接收指令。

在此上下文中，“客户端设备”是指与通信网络接口以从一个或多个服务器系统或其他客户端设备获取资源的任何机器。客户端设备可以是但不限于移动电话、台式计算机、膝上型计算机、PDA、智能电话、平板电脑、超级本、上网本、膝上型计算机、多处理器系统、基于微处理器或可编程的消费电子产品、游戏机、机顶盒或用户可以用来访问网络的任何其他通信设备。

“通信网络”在此上下文中是指网络的一个或多个部分，这些部分可以是自组织网络、内联网、外联网、虚拟专用网(VPN)、局域网(LAN)、无线局域网(WLAN)、广域网(WAN)、无线广域网(WWAN)、城域网(MAN)、因特网、因特网的一部分、公共交换电话网(PSTN)的一部分、普通老式电话服务(POTS)网络、蜂窝电话网络、无线网络、网络、另一种类型的网络或两个或多个此类网络的组合。例如，网络或网络的一部分可以包括无线或蜂窝网络，并且耦合可以是码分多址(CDMA)连接、全球移动通信系统(GSM)连接或其他类型的蜂窝或无线耦合。在该示例中，耦合可以实现多种类型的数据传输技术中的任何一种，诸如单载波无线电传输技术(1xRTT)、演进数据优化(EVDO)技术、通用分组无线电服务(GPRS)技术、增强型数据速率GSM演进(EDGE)技术、包括3G的第三代合作伙伴计划(3GPP)、第四代无线(4G)网络、通用移动电信系统(UMTS)、高速分组接入(HSPA)、全球微波互操作性接入(WiMAX)、长期演进(LTE)标准、由各种标准制定组织定义的其他技术、其他远程协议或其他数据传输技术。

在此上下文中的“短时消息”是指在限时持续时间内可访问的消息。短时消息可以是文本、图像、视频等。短时消息的访问时间可以由消息发送者设置。可替代地，访问时间可以是默认设置或由接收者指定的设置。无论设置技术如何，消息都是短时的。

“机器可读介质”在此上下文中是指能够临时或永久存储指令和数据的部件、设备或其他有形介质，并且可包括但不限于随机存取存储器(RAM)、只读存储器(ROM)、缓冲存储器、闪存、光学介质、磁介质、高速缓存、其他类型的存储(例如、可擦可编程只读存储器(EEPROM)和/或其任何合适的组合。术语“机器可读介质”应被认为包括能够存储指令的单个介质或多个介质(例如，集中式或分布式数据库或相关联的高速缓存和服务器)。术语“机器可读介质”还应被认为包括能够存储由机器执行的指令(例如，代码)的任何介质或多种介质的组合，使得指令在由机器的一个或多个处理器执行时，促使机器执行本文描述的任何一种或多种方法。因此，“机器可读介质”是指单个存储装置或设备，以及包括多个存储装置或设备的基于云的存储系统或存储网络。术语“机器可读介质”不包括信号本身。

术语“部件”在此上下文中是指具有由函数或子例程调用、分支点、API和/或提供特定处理或控制功能的分区或模块化的其他技术定义的边界的设备、物理实体或逻辑。部件可以经由它们的接口与其他部件组合以执行机器过程。部件可以是设计用于与其他部件一起使用的封装功能硬件单元，以及通常执行相关功能的特定功能的程序的一部分。部件可以构成软件部件(例如，包含在机器可读介质上的代码)或硬件部件。“硬件部件”是能够执行某些操作并且可以以某种物理方式配置或布置的有形单元。在各种示例实施例中，一个或多个计算机系统(例如，独立计算机系统、客户端计算机系统或服务器计算机系统)或计算机系统的一个或多个硬件部件(例如，处理器或一组处理器)可以由软件(例如，应用或应用部分)配置为运行以执行如本文所述的某些操作的硬件部件。硬件部件也可以机械地、电子地或其任何合适的组合来实现。例如，硬件部件可以包括永久配置为执行某些操作的专用电路或逻辑。硬件部件可以是专用处理器，诸如现场可编程门阵列(FPGA)或专用集成电路(ASIC)。硬件部件还可包括由软件临时配置以执行某些操作的可编程逻辑或电路。例如，硬件部件可以包括由通用处理器或其他可编程处理器执行的软件。一旦被这样的软件配置，硬件部件就变成了专门为执行配置的功能而量身定制并且不再是通用处理器的特定机器(或机器的特定部件)。应当理解，以机械方式、在专用和永久配置的电路中或在临时配置的电路(例如，由软件配置)中实现硬件部件的决定可能由成本和时间考虑因素驱动。因此，短语“硬件部件”(或“硬件实现的部件”)应理解为包含有形实体，即物理构造、永久配置(例如，硬连线)或临时配置(例如，编程的)以某种方式操作或执行本文描述的某些操作的实体。考虑其中硬件部件被临时配置(例如，编程)的实施例，每个硬件部件不需要在任何一个时间实例被配置或实例化。例如，在硬件部件包括通过软件配置成为专用处理器的通用处理器的情况下，该通用处理器可以在不同时间分别被配置为不同的专用处理器(例如，包括不同的硬件部件)。软件相应地配置一个或多个特定处理器，例如，以在一个时间实例构成特定硬件部件并在不同时间实例构成不同硬件部件。硬件部件可以向其他硬件部件提供信息以及从其他硬件部件接收信息。因此，所描述的硬件部件可以被认为是通信耦合的。在多个硬件部件同时存在的情况下，可以通过两个或多个硬件部件之间的信号传输(例如，通过适当的电路和总线)来实现通信。在多个硬件部件在不同时间被配置或实例化的实施例中，可以例如通过在多个硬件部件可以访问的存储器结构中存储和检索信息来实现这些硬件部件之间的通信。例如，一个硬件部件可以执行操作并将该操作的输出存储在与它通信耦合的存储器设备中。然后，另一个硬件部件可以在稍后访问存储设备以检索和处理所存储的输出。硬件部件还可以发起与输入或输出设备的通信，并且可以对资源(例如，信息集合)进行操作。本文描述的示例方法的各种操作可以至少部分地由一个或多个临时配置(例如，通过软件)或永久配置为执行相关操作的处理器执行。无论是临时配置还是永久配置，这样的处理器都可以构成处理器实现的部件，这些部件操作以执行本文所述的一个或多个操作或功能。如本文所用，“处理器实现的部件”是指使用一个或多个处理器实现的硬件部件。类似地，本文描述的方法可以至少部分地由处理器实现，其中一个或多个特定处理器是硬件的示例。例如，一种方法的至少一些操作可以由一个或多个处理器或处理器实现的部件来执行。此外，一个或多个处理器还可操作以支持“云计算”环境中的相关操作的性能或作为“软件即服务”(SaaS)。例如，至少一些操作可以由一组计算机(作为包括处理器的机器的示例)执行，这些操作可经由网络(例如，因特网)并经由一个或多个适当的接口(例如，API)访问。某些操作的性能可能分布在处理器之间，不仅驻留在单个机器内，而且部署在多个机器上。在一些示例实施例中，处理器或处理器实现的部件可以位于单个地理位置中(例如，在家庭环境、办公环境或服务器群内)。在其他示例实施例中，处理器或处理器实现的部件可以分布在多个地理位置上。

在此上下文中，“处理器”是指根据控制信号(例如，“命令”、“操作码”、“机器码”等)操纵数据值并产生对应的用于操作机器的输出信号的任何电路或虚拟电路(由在实际处理器上执行的逻辑模拟的物理电路)。例如，处理器可以是中央处理单元(CPU)、精简指令集计算(RISC)处理器、复杂指令集计算(CISC)处理器、图形处理单元(GPU)、数字信号处理器(DSP))、ASIC、射频集成电路(RFIC)或其任何组合。处理器可以进一步是具有可以同时执行指令的两个或更多个独立处理器(有时称为“核心”)的多核处理器。

在此上下文中，“时间戳”是指识别特定事件何时发生的字符序列或编码信息，例如给出日期和时间，有时精确到几分之一秒。

Claims (15)

1.一种方法，包括：

由客户端设备的摄像头，捕获描绘所述客户端设备第一环境和所述客户端设备的用户的第一图像；

由所述客户端设备的一个或多个处理器，将第一虚拟对象覆盖在描绘所述第一环境的所述第一图像的一部分上，所述第一虚拟对象包括位于所述第一图像中描绘的所述用户之上的虚拟服装；以及

修改所述第一虚拟对象的表面从而使得所述虚拟服装的一部分描绘所述用户的面部或所述用户的周围环境。

2.根据权利要求1所述的方法，进一步包括：

存储包括带有经修改的表面的所述第一虚拟对象的第二虚拟对象；以及

生成所述第二虚拟对象用于在描绘第二环境的第二图像的一部分上显示。

3.根据权利要求1所述的方法，其中，修改所述表面包括：

识别所述图像的一部分的第一像素；

检索所述第一像素的像素值；以及

将所述检索到的像素值复制到所述第一虚拟字幕的表面像素。

4.根据权利要求1所述的方法，其中，所述第一虚拟对象被显示在使用第二环境的所述客户端设备的消息传递应用捕获的摄像头馈送内。

5.根据权利要求1所述的方法，其中，响应于接收到确认所述第一虚拟对象在所述第一图像中的位置的输入而存储所述第一虚拟对象。

6.根据权利要求1所述的方法，其中，所述客户端设备是第一客户端设备，并且进一步包括经由所述第一客户端设备的消息传递应用向第二客户端设备发送所述第一虚拟对象。

7.根据权利要求1所述的方法，其中，描绘第二环境的第二图像由所述第二客户端设备捕获，并且进一步包括使得响应于从所述第一客户端设备接收到所述第一虚拟对象，使用所述第二客户端设备的消息传递应用生成所述第一虚拟对象用于在描绘所述第二环境的所述第二图像的一部分上显示。

8.根据权利要求1所述的方法，进一步包括：

接收包含多个字符串字符的用户输入；以及

当在所述用户输入中接收到所述字符串中的每个字符时，生成包括所述字符串的第二虚拟对象，所述第二虚拟对象包括三维字幕，所述三维字幕包括被修改以表示在所述第一图像中描绘的所述第一环境的一个或多个视觉成分。

9.根据权利要求1所述的方法，其中：

修改所述第一虚拟对象的所述表面包括在所述第一虚拟对象上呈现第二视频。

10.根据权利要求9所述的方法，其中，所述客户端设备是第一客户端设备，并且进一步包括：

使得使用第二客户端设备的摄像头捕获第三视频；以及

将带有所述第二视频的所述第一虚拟对象呈现在所述第二客户端设备上的所述第三视频之上。

11.根据权利要求1所述的方法，其中，所述客户端设备的所述摄像头包括所述客户端设备的前置摄像头，其中，所述第一图像是由所述客户端设备的所述前置摄像头捕获的第一视频的多个图像中的第一图像，其中，所述用户的面部被所述前置摄像头捕获，并且进一步包括：

在由所述客户端设备的后置摄像头捕获的第二视频内显示包括经修改的表面的所述第一虚拟对象，所述经修改的表面描绘由所述前置摄像头捕获的所述用户的面部。

12.根据权利要求1所述的方法，其中，所述虚拟服装包括虚拟帽子，其中，所述虚拟帽子位于在所述第一图像中描绘的所述用户的头顶上。

13.一种系统，包括：

一个或多个处理器；

存储指令的存储器，当所述指令由所述一个或多个处理器执行时，所述指令使所述一个或多个处理器执行包括以下操作的操作：

由客户端设备的摄像头捕获描绘所述客户端设备的第一环境和所述客户端设备的用户的第一图像；

由所述客户端设备的一个或多个处理器，将第一虚拟对象覆盖在描绘所述第一环境的所述第一图像的一部分上，所述第一虚拟对象包括位于所述第一图像中描绘的所述用户之上的虚拟服装；以及

修改所述第一虚拟对象的表面从而使得所述虚拟服装的一部分描绘所述用户的面部或所述用户的周围环境。

14.一种方法，包括：

由用户设备的摄像头捕获描绘所述用户设备的第一环境的第一图像；

由一个或多个处理器，将包括带有文本的字幕的第一虚拟对象覆盖在描绘所述第一环境的所述第一图像的一部分上；

检测在所述第一图像中描绘的所述第一环境的表面的表面取向，所述第一虚拟对象被置于所述表面上；

由所述一个或多个处理器，修改所述第一虚拟对象的带有文本的所述字幕的取向，以匹配在所述第一图像中描绘的所述第一环境的所述表面的所述表面取向；以及

响应于在用户输入中接收到字符串中的每个字符，生成包括所述字符串的第二虚拟对象，所述第二虚拟对象包括三维字幕，所述三维字幕包括被修改以表示在所述第一图像中描绘的所述第一环境的一个或多个视觉成分。

15.一种方法，包括：

由用户设备的摄像头，访问描绘所述用户设备的第一环境的第一图像；

由一个或多个处理器，将虚拟服装覆盖在描绘所述第一环境的所述第一图像的一部分上；以及

生成三维字幕，所述三维字幕包括被修改以表示在所述第一图像中描绘的所述第一环境的一个或多个视觉成分的表面。