CN112639691A - 视频剪辑对象跟踪 - Google Patents

Abstract

本公开的方面涉及一种系统，该系统包括存储至少一个程序的计算机可读存储介质，以及一种用于在视频剪辑中渲染三维虚拟对象的方法。该方法和系统包括使用具备相机的设备捕获真实场景的视频内容以及在视频内容的捕获期间由具备相机的设备收集的运动信息。被捕获的视频和运动信息被存储。处理所存储的被捕获视频内容，以识别场景中的真实对象。生成交互式增强现实显示，该交互式增强现实显示：向所存储的被捕获视频内容中添加虚拟对象以创建包括真实场景和虚拟对象的增强视频内容；在增强视频内容的播放期间，至少部分地基于所存储的运动信息来调整在增强视频内容内虚拟对象在屏幕上的位置。

Description

视频剪辑对象跟踪

相关申请的交叉引用

本申请要求于2019年1月8日提交的序列号为16/242，708的美国专利申请的优先权的权益，其要求于2018年8月30日提交的申请号为62/725，058的美国临时专利申请的优先权的权益，其全部内容通过引用合并于此。

技术领域

本公开总体上涉及视觉呈现，并且更具体地涉及在真实环境中对表面渲染虚拟修改。

背景技术

虚拟渲染系统可用于创建引人入胜和娱乐性的增强现实体验，其中三维虚拟对象图形内容看上去好像呈现在真实世界中。由于环境条件、用户动作、相机与要渲染的对象之间的意外视觉中断等原因，此类系统可能会出现显示问题。这可导致虚拟对象消失或以其它方式行为异常，从而破坏了虚拟对象在真实世界中的错觉。

附图说明

在不一定按比例绘制的附图中，相似的数字可以在不同的视图中描述相似的组件。为了容易地识别对任何特定元素或动作的讨论，参考标记中的一个或多个最高有效数字指的是该元素首次引入的附图编号。在附图的图中，通过示例而非限制的方式示出了一些实施例，其中：

图1是示出根据示例实施例的用于在网络上交换数据(例如，消息和相关内容)的示例消息系统的框图。

图2是示出根据示例实施例的关于消息收发系统的更多细节的框图。

图3是示出根据示例实施例的可以存储在消息收发服务器系统的数据库中的数据的示意图。

图4是示出根据示例实施例的由消息收发客户端应用生成以用于通信的消息的结构的示意图。

图5是示出了根据示例实施例的示例访问限制(access-limiting)过程的示意图，根据该过程，对内容(例如，临时消息、和数据的相关联多媒体有效载荷)或内容集合的访问(例如，临时消息故事)可以是有时间限制的(例如，短暂的)。

图6是示出根据示例实施例的增强现实系统的各个组件的框图。

图7A-B和图8是示出根据示例实施例的增强现实系统在执行用于在视频剪辑中渲染虚拟对象的过程中的示例操作的流程图。

图9是示出根据示例实施例的增强现实系统在执行用于跟踪在视频剪辑中渲染的对象的过程中的示例操作的流程图。

图10和图11是示出根据示例实施例的由增强现实系统在三维空间内渲染的对象的图。

图12是示出了根据示例实施例的可以与本文所述的各种硬件架构结合使用的代表性软件架构的框图。

图13是示出根据示例实施例的能够从机器可读介质(例如，机器可读存储介质)读取指令并执行本文讨论的方法中的任何一个或多个的机器的组件的框图。

具体实施方式

以下描述包括体现本公开的说明性实施例的系统、方法、技术、指令序列和计算机器程序产品。在下面的描述中，出于解释的目的，阐述了许多具体细节以便提供对各种实施例的理解。然而，对于本领域技术人员显而易见的是，也可以在没有这些具体细节的情况下实践实施例。通常，众所周知的指令实例、协议、结构和技术不必详细示出。

除其他外，本公开的实施例通过将虚拟对象(例如，三维对象(诸如3D标题)、表情符号、字符、化身、动画、个性化化身或角色的循环动画、循环或非循环动画图形(诸如，跳舞的热狗)，带有动画和粒子效果的被风格化的单词等)以及效果渲染成就像它存在于包含在视频剪辑中作为特征的真实对象的真实场景，提高电子消息传递和成像软件及系统的功能。在一些实施例中，用户选择了一个这样的虚拟对象并将其添加到视频剪辑中，以提供所选择的虚拟对象是真实场景的一部分的错觉。在一些实施例中，所选虚拟对象的放置和定位随着视频剪辑播放而相对于视频剪辑中的真实对象动态地调整，以维持虚拟对象是真实场景的一部分的错觉。为了动态地调整虚拟对象相对于场景中真实对象的放置和位置，已连同视频剪辑一起捕获的传感器信息(例如，加速度传感器信息、GPS传感器信息、成像传感器信息等)与图像处理结合使用。特别是，与图像处理相结合的传感器信息使得系统可以处理视频剪辑，以识别和跟踪整个剪辑中的真实对象的位置，以便确定和调整虚拟对象相对于那些真实对象的位置。

为了提高效率并减少总体滞后，基于用户交互来确定执行视频剪辑的传感器和图像处理的时间。特别地，视频剪辑的传感器和图像处理可以被延迟，直到接收到修改视频剪辑的初始用户请求并且在用户选择给定的虚拟对象之前。将视频剪辑的处理延迟到接收到初始用户请求为止，避免了在捕获期间或执行其他操作时在视频剪辑的处理中不必要的滞后。另外，在用户选择要添加到视频剪辑的给定虚拟对象之前处理视频剪辑避免了在用户操纵视频剪辑内的虚拟对象时不得不执行这种处理。这使用户可以平滑地修改视频剪辑中虚拟对象的位置和方向，并立即从头到尾预览或查看包含虚拟对象的视频剪辑，而几乎不需要等待时间。

例如，在捕获视频剪辑之后，用户可以预览视频剪辑，并且可以将虚拟对象附加(例如，固定或锚定)到在帧中作为特征的真实对象。如果用户将虚拟对象附加到移动的真实对象，则虚拟对象将在整个剪辑中跟随移动的真实对象的位置。这可以被看作将虚拟帽子固定在视频剪辑中作为特征的人的头部上。随着人在视野中围绕场景走动，虚拟帽子看起来停留在那个人的头上。如果用户将虚拟对象附加到固定的真实对象，则在整个剪辑中随着相机角度变化虚拟对象将保持在相同位置。这可以被看作将虚拟树锚定到在视频剪辑中作为特征的海滩上的沙子。随着相机视图/角度的变化(例如，从左向右、从上向下、从下向上、或从右向左摇摄(pan)，或沿任何其他方向移动)，沙子在场景中与虚拟树一起移入和移出视野。在将虚拟对象附加到视频剪辑中的真实对象之后，该视频剪辑以虚拟对象作为特征从头到尾反复播放，并可以与其他用户共享。

图1是示出了用于在网络106上交换数据(例如消息和相关联内容)的示例消息传递系统100的框图。消息传递系统100包括多个客户端设备102，每个客户端设备托管包括消息传递客户端应用104的多个应用。每个消息传递客户端应用104通过网络106(例如因特网)通信地耦接到消息传递客户端应用104和消息传递服务器系统108的其他实例。

因此，每个消息传递客户端应用104能够经由网络106与另一个消息传递客户端应用104和消息传递服务器系统108进行通信并交换数据。在消息传递客户端应用104之间以及在消息传递客户端应用104和消息传递服务器系统108之间交换的数据包括功能(例如调用函数的命令)以及有效载荷数据(例如文本、音频、视频或其他多媒体数据)。

消息传递服务器系统108经由网络106向特定的消息传递客户端应用104提供服务器端功能。尽管在本文中将消息传递系统100的某些功能描述为由消息传递客户端应用104或由消息传递服务器系统108执行，但是应当理解，某些功能在消息传递客户端应用104或消息传递服务器系统108内的位置是设计选择。例如，在技术上优选地是首先在消息传递服务器系统108内部署某些技术和功能，然后将该技术和功能迁移到其中客户端设备102具有足够处理能力的消息传递客户端应用104。

消息传递服务器系统108支持提供给消息传递客户端应用104的各种服务和操作。此类操作包括向消息传递客户端应用104发送数据，从消息传递客户端应用104接收数据，以及处理由消息传递客户端应用104生成的数据。作为示例，该数据可以包括消息内容、客户端设备信息、地理位置信息、媒体注释和叠加(overlay)、虚拟对象、消息内容持久性条件、社交网络信息，和现场事件信息。消息传递系统100中的数据交换通过经由消息传递客户端应用104的用户界面(UI)可用的功能来调用和控制。

现在具体转到消息传递服务器系统108，应用编程接口(API)服务器110耦接到应用服务器112并向应用服务器112提供编程接口。应用服务器112通信地耦接到数据库服务器118，数据库服务器118促进对数据库120的访问，数据库120中存储有与由应用服务器112处理的消息相关联的数据。

特别地处理API服务器110，该服务器在客户端设备102和应用服务器112之间接收和发送消息数据(例如命令和消息有效载荷)。具体地，API服务器110提供可被消息传递客户端应用104调用或查询的一组接口(例如例程和协议)，以便调用应用服务器112的功能。API服务器110公开由应用服务器112支持的各种功能，包括：帐户注册，登录功能，经由应用服务器112从特定消息传递客户端应用104向另一消息传递客户端应用104发送消息，从消息传递客户端应用104向消息传递服务器应用114发送媒体文件(例如图像或视频)，以供另一消息传递客户端应用104进行可能的访问，媒体数据(例如故事)集合的设置，此类集合的取得，客户端设备102的用户的好友列表的取得，消息和内容的取得，在社交图中添加和删除好友，好友在社交图中的位置，打开应用事件(例如与消息传递客户端应用104有关)。

应用服务器112托管多个应用和子系统，包括消息传递服务器应用114、图像处理系统116、社交网络系统122、增强现实系统124、和预览生成系统125。消息传递服务器应用114实现多个消息处理技术和功能，其特别涉及包括在从消息传递客户端应用104的多个实例接收的消息中的内容(例如文本和多媒体内容)的聚合和其他处理。如将进一步详细描述的，来自多个源的文本和媒体内容可以被聚合成内容的集合(例如被称为故事或图库(gallery))。然后，消息传递服务器应用114使得这些集合对于消息传递客户端应用104可用。考虑到此类处理的硬件要求，消息传递服务器应用114还可以在服务器端对数据进行其他处理器和存储器密集型处理。

应用服务器112还包括图像处理系统116，该图像处理系统116专用于通常关于在消息传递服务器应用114处的消息的有效载荷内接收到的图像或视频来执行各种图像处理操作。

社交网络系统122支持各种社交网络功能和服务，并使这些功能和服务可用于消息传递服务器应用114。为此，社交网络系统122维护并访问数据库120内的实体图。社交网络系统122支持的功能和服务的示例包括识别特定用户与其具有关系或者“正在关注”的消息传递系统100的其他用户，以及还识别特定用户的其他实体和兴趣。

增强现实系统124提供在三维空间内相对于客户端设备102的位置处或在三维空间内相对于视频剪辑的真实场景中作为特征的真实对象的位置处生成、显示和跟踪虚拟对象的功能。增强现实系统124包括一组跟踪子系统，其被配置为基于可能已经被存储并与视频剪辑相关联的一组跟踪标记以及在跟踪子系统之间的转换来在三维空间中的位置处跟踪虚拟对象。增强现实系统124可基于针对视频剪辑存储的跟踪标记的可用性，进一步在具有六个自由度(6DoF)的跟踪与具有三个自由度(3DoF)的跟踪之间转换。

预览生成系统125提供生成视频剪辑的功能。预览生成系统125与客户端设备102的相机和客户端设备102的一个或多个传感器(例如，GPS传感器，惯性测量传感器等)通信。预览生成系统125从客户端设备102接收用于发起视频记录的用户请求。用户请求可以是指定视频长度的输入，在这种情况下，预览生成系统125捕获具有指定长度(例如3-5秒)的真实场景的视频片段(segment)。用户请求可包括开始记录会话的第一输入和随后停止记录会话的第二输入。在这种情况下，预览生成系统125在接收到第一输入时开始捕获真实场景的视频片段，并且在接收到第二输入时结束捕获。在预览生成系统125从客户端设备102的相机捕获并存储视频镜头(footage)时，预览生成系统125还从客户端设备102与记录会话相关联地捕获并存储传感器信息。例如，预览生成系统125可(例如，使用所描述的跟踪子系统中的一个或多个)存储针对视频剪辑的每一帧的从客户端设备102获得的一些或全部传感器信息。

在预览生成系统125捕获视频剪辑之后，预览生成系统125在客户端设备102上在预览操作模式下将视频剪辑呈现给用户。在这种模式下，视频剪辑从头到尾重复运行，这样在到达视频剪辑的终点时，视频从头开始自动重新播放。用户可使用客户端设备102随时与正在呈现的视频剪辑进行交互，以修改视频剪辑。例如，在视频剪辑的播放期间的任何时间点，用户都可以向预览生成系统125发出请求，以向视频剪辑添加虚拟对象(例如，用户可以请求将虚拟对象附加(锚定或固定)到视频剪辑中的真实对象)。在这种情况下，预览生成系统125与增强现实系统124通信以基于与视频剪辑一起存储的传感器信息使用虚拟对象来修改视频剪辑。如以下进一步描述的，在一些实施方式中，预览生成系统125可以将视频剪辑内容和传感器信息提供给增强现实系统124，以利用增强现实系统124的一个或多个组件来跟踪一个或多个真实对象相对于所添加的虚拟对象的位置。

应用服务器112通信地耦接到数据库服务器118，数据库服务器118促进对数据库120的访问，在数据库120中存储有与由消息传递服务器应用114处理的消息相关联的数据。

图2是示出根据示例实施例的关于消息传递系统100的更多细节的框图。具体地，消息传递系统100被示为包括消息传递客户端应用104和应用服务器112，它们又体现了多个特定子系统，即短暂定时器系统202、集合管理系统204、和注释系统206。

短暂定时器系统202负责对由消息传递客户端应用104和消息传递服务器应用114所允许的内容执行临时访问。为此，短暂定时器系统202并入了多个定时器，这些定时器基于与消息或消息集合(例如故事)相关联的持续时间和显示参数，选择性地经由消息传递客户端应用104显示并启用对消息和相关联内容的访问。下面提供有关短暂定时器系统202的操作的更多细节。

集合管理系统204负责管理媒体的集合(例如文本、图像、视频和音频数据的集合)。在一些示例中，内容的集合(例如包括图像、视频、视频剪辑、与虚拟对象组合的视频剪辑、文本和音频的消息)可以被组织成“事件图库”或“事件故事”。这种集合可以在指定时间段(例如与内容相关的事件的持续时间)内可用。例如，与音乐会有关的内容可以在该音乐会的持续时间内作为“故事”可用。集合管理系统204还可以负责发布图标，该图标向消息传递客户端应用104的用户界面提供特定集合的存在的通知。

集合管理系统204还包括策展界面208，该策展界面208允许集合管理器管理和策展特定内容集合。例如，策展界面208使事件组织者能够策展与特定事件有关的内容的集合(例如删除不适当的内容或冗余消息)。另外，集合管理系统204采用机器视觉(或图像识别技术)和内容规则来自动策展内容集合。在某些实施例中，可对于将用户产生的内容包括进集合中向用户支付补偿。在这种情况下，策展界面208操作以自动向此类用户就使用其内容而支付费用。

注释系统206提供使用户能够注释或以其他方式修改或编辑与消息相关联的媒体内容的各种功能。例如，注释系统206提供与针对由消息传递系统100处理的消息产生和发布媒体叠加有关的功能。注释系统206基于客户端设备102的地理位置向消息传递客户端应用104可操作地提供媒体叠加(例如，滤镜)。在另一个示例中，注释系统206基于其他信息(例如，客户端设备102的用户的社交网络信息)可操作地向消息传递客户端应用104提供媒体叠加。媒体叠加可包括音频和视觉内容以及视觉效果。音频和视觉内容的示例包括图片、文本、徽标、动画和声音效果。视觉效果的示例包括颜色叠加。音频和视觉内容或视觉效果可以在客户端设备102处被应用于媒体内容项(例如照片)。例如，媒体叠加包括可被叠加在由客户端设备102生成的照片之上的文本。在另一个示例中，媒体叠加包括位置叠加(例如威尼斯海滩)的标识、现场活动的名称或商家的名称叠加(例如海滩咖啡馆)。在另一个示例中，注释系统206使用客户端设备102的地理位置来识别媒体叠加，该媒体叠加包括在客户端设备102的地理位置处的商家的名称。媒体叠加可以包括与商家相关联的其他标记。媒体叠加可被存储在数据库120中并且可以通过数据库服务器118来访问。

在一个示例实施例中，注释系统206提供基于用户的发布平台，该平台使用户能够在地图上选择地理位置并上载与所选地理位置相关联的内容。用户还可指定在什么情况下应将特定媒体叠加提供给其他用户。注释系统206生成包括所上载内容的媒体叠加，并将所上载内容与所选地理位置相关联。

在另一个示例实施例中，注释系统206提供基于商家的发布平台，该平台使商家能够通过投标过程选择与地理位置相关联的特定媒体叠加。例如，注释系统206在预定的时间量内将出价最高的商家的媒体叠加与对应的地理位置相关联。

在另一个示例实施例中，注释系统206与增强现实系统124和预览生成系统125通信，以使用户能够将虚拟对象添加到视频剪辑。用户可以指示注释系统206在预览操作模式下从预览生成系统125访问视频剪辑，并选择包括虚拟对象的媒体叠加以附加到在用户指定的时间点或视频剪辑的帧处作为特征的真实对象上。注释系统206与增强现实系统124通信，以基于先前存储的与视频剪辑相关联的传感器信息，在整个视频剪辑中识别真实对象及其位置信息。随着视频剪辑从头到尾重复播放，注释系统206添加所选虚拟对象并修改其在整个视频剪辑中相对于真实对象的位置。具有添加的虚拟对象的经修改的视频剪辑由注释系统206存储，并且可以上载以与其他用户共享。

图3是示出根据某些示例实施例的可存储在消息传递服务器系统108的数据库120中的数据的示意图300。尽管数据库120的内容被示出为包括多个表，但是应当理解，数据可以以其他类型的数据结构(例如作为面向对象的数据库)来存储。

数据库120包括存储在消息表314中的消息数据。实体表302存储包括实体图304的实体数据。在实体表302中为其维护记录的实体可包括个人、公司实体、组织、对象、地点、事件等。不管类型如何，消息传递服务器系统108所存储的数据有关的任何实体都可以是公认的实体。每个实体具有唯一的标识符以及实体类型标识符(未示出)。

实体图304还存储关于实体之间的关系和关联的信息。仅作为示例，这样的关系可以是社交的、专业的(例如在同一家公司或组织中工作)、基于兴趣的或基于活动的。

数据库120还以滤镜的示例形式将注释数据存储在注释表312中。数据库120还将从注释系统206和/或预览生成系统125接收的被注释的内容(例如，带有虚拟对象的经修改的视频剪辑)存储在注释表312中。针对其数据被存储在注释表312中的滤镜与视频(针对其数据被存储在视频表310中)和/或图像(针对其数据被存储在图像表308中)相关联并且被应用于该视频和/或图像。在一个示例中，滤镜是在向接收方用户呈现的过程中被显示为叠加在图像或视频上的叠加。滤镜可以是各种类型的，包括当发送方用户正在编写消息时，来自由消息传递客户端应用104向发送方用户呈现的滤镜库中的用户选择的滤镜。其他类型的滤镜包括可基于地理位置呈现给发送方用户的地理位置滤镜(也称为地理滤镜)。例如，基于由客户端设备102的全球定位系统(GPS)单元所确定的地理位置信息，消息传递客户端应用104可在用户界面内呈现特定于邻居或特定位置的地理位置滤镜。另一类型的滤镜是数据滤镜，它可基于在消息创建过程期间由客户端设备102收集的其他输入或信息，由消息传递客户端应用104选择性地将其呈现给发送方用户。数据滤镜的示例包括特定位置处的当前温度、发送方用户正在行进的当前速度、客户端设备102的电池寿命或当前时间。

可存储在图像表308内的其他注释数据是所谓的“镜头”数据。“镜头”可以是可添加到图像或视频中的实时的特殊效果和声音。在一些情况下，添加到剪辑的虚拟对象作为镜头数据的一部分被存储。

如上所述，视频表310存储视频数据，在一个实施例中，该视频数据与在消息表314内为其维护记录的消息相关联。类似地，图像表308存储与消息相关联的图像数据，其中，在实体表302内为该消息存储消息数据。实体表302可将来自注释表312的各种注释与存储在图像表308和视频表310中的各种图像和视频相关联。在一些情况下，视频表310存储用由注释系统312使用预览生成系统125和增强现实系统124提供的虚拟对象的添加来修改的真实场景的视频剪辑。

故事表306存储与消息以及相关联的图像、视频或音频数据的集合有关的数据，这些数据被编译成一个集合(例如故事或图库)。特定集合的创建可以由特定用户(例如在实体表302中为其维护记录的每个用户)发起。用户可以以该用户已经创建和发送/广播的内容集合的形式创建“个人故事”。为此，消息传递客户端应用104的UI可包括用户可选择的图标，以使发送方用户能够将特定内容添加到他或她的个人故事中。消息收发客户端应用104的UI可包括可选选项，以使发送用户能够将具有虚拟对象的经修改的视频剪辑添加到他或她的个人故事中。

集合还可构成“现场故事”，它是来自多个用户的内容的集合，该内容的集合是手动、自动或使用手动和自动技术的组合创建的。例如，“现场故事”可从各种位置和事件组成用户提交的内容的策展流。例如，可以经由消息传递客户端应用104的用户界面向其客户端设备启用了位置服务并且在特定时间处在共同位置事件的用户呈现选项，以向特定的现场故事贡献内容。现场故事可由消息传递客户端应用104基于他或她的位置识别给用户。最终的结果是从社区角度讲的“现场故事”。

另一类型的内容集合被称为“位置故事”，其使得其客户端设备102位于特定地理位置内(例如在学院或大学校园内)的用户能够对特定集合做出贡献。在一些实施例中，对位置故事的贡献可能需要二级认证，以验证最终用户属于特定组织或其他实体(例如是大学校园中的学生)。

图4是示出根据一些实施例的消息400的结构的示意图，该消息400由消息传递客户端应用104生成以用于与另一消息传递客户端应用104或消息传递服务器应用114进行通信。特定消息400的内容被用于填充消息传递服务器应用114可访问的、存储在数据库120中的消息表314。类似地，消息400的内容被存储在存储器中，作为客户端设备102或应用服务器112的“传输中(in-transit)”或“运行中(in-flight)”数据。消息400被示为包括以下成分：

·消息标识符402：识别消息400的唯一标识符。

·消息文本有效载荷404：将由用户通过客户端设备102的用户界面生成的并被包括在消息400中的文本。

·消息图像有效载荷406：由客户端设备102的相机组件采集或从客户端设备102的存储器中取得的并被包括在消息400中的图像数据。

·消息视频有效载荷408：由相机组件采集的或从客户端设备102的存储器组件中取得的并被包括在消息400中的视频数据。在一些情况下，视频有效载荷408可包括用虚拟对象的添加来修改的真实场景的视频剪辑，该虚拟对象附加(锚定或固定)到在真实场景中作为特征的给定真实对象。

·消息音频有效载荷410：由麦克风采集的或从客户端设备102的存储器组件中取得的并被包括在消息400中的音频数据。

·消息注释412：表示要应用于消息400的消息图像有效载荷406、消息视频有效载荷408或消息音频有效载荷410的注释的注释数据(例如滤镜、贴纸(sticker)或其他增强功能)。

·消息持续时间参数414：以秒为单位指示消息的内容(例如消息图像有效载荷406、消息视频有效载荷408，消息音频有效载荷410)要经由消息传递客户端应用104呈现给用户或使用户可以访问的时间量的参数值。

·消息地理位置参数416：与消息的内容有效载荷相关联的地理位置数据(例如纬度和经度坐标)。多个消息地理位置参数416值可被包括在有效载荷中，这些参数值中的每一个都与内容中包括的相应的内容项相关联(例如消息图像有效载荷406内的特定图像、或消息视频有效载荷408中的特定视频)。

·消息故事标识符418：标识符值，该值标识与消息400的消息图像有效载荷406中的特定内容项相关联的一个或多个内容集合(例如“故事”)。例如，消息图像有效载荷406内的多个图像可各自使用标识符值与多个内容集合相关联。

·消息标记420：每个消息400可被标记有多个标记，每个标记指示消息有效载荷中包括的内容的主题。例如，在消息图像有效载荷406中包括的特定图像描绘了动物(例如狮子)的情况下，可以在消息标记420内包括指示相关动物的标记值。标记值可基于用户输入手动生成，或者可使用例如图像识别自动生成。

·消息发送方标识符422：指示在其上生成消息400并且从其发送消息400的客户端设备102的用户的标识符(例如消息传递系统标识符、电子邮件地址，或设备标识符)。

·消息接收方标识符424：指示消息400被寻址到的客户端设备102的用户的标识符(例如消息传递系统标识符、电子邮件地址或设备标识符)。

消息400的各个成分的内容(例如值)可以是指向在存储内容数据值的表中的位置的指针。例如，消息图像有效载荷406中的图像值可以是指向图像表308中的位置的指针(或地址)。类似地，消息视频有效载荷408中的值可指向视频表310中存储的数据，消息注释412中存储的值可指向注释表312中存储的数据，消息故事标识符418中存储的值可指向故事表306中存储的数据，以及消息发送方标识符422和消息接收方标识符424中存储的值可指向实体表302中存储的用户记录。

图5是示出了访问限制过程500的示意图，根据该访问限制过程500，对内容(例如短暂消息502和数据的相关联多媒体有效载荷)或内容集合(例如短暂消息故事504)的访问可以是时间受限的(例如短暂的)。

短暂消息502被示出为与消息持续时间参数506相关联，消息持续时间参数506的值确定短暂消息502将被消息传递客户端应用104显示给短暂消息502的接收用户的时间量。在一个实施例中，在消息传递客户端应用104是应用客户端的情况下，短暂消息502可以由接收用户查看最多10秒，这取决于发送用户使用消息持续时间参数506指定的时间量。

消息持续时间参数506和消息接收方标识符424被示出为是消息定时器512的输入，消息定时器512负责确定短暂消息502被示出给由消息接收方标识符424识别的特定接收用户的时间量。特别地，短暂消息502将仅在由消息持续时间参数506的值所确定的时间段内显示给相关的接收用户。消息定时器512被示出为向更通用的短暂定时器系统202提供输出，该短暂定时器系统202负责向接收用户显示内容(例如短暂消息502)的总体定时。

短暂消息502在图5中示出为被包括在短暂消息故事504(例如，个人故事，或事件故事)中。短暂消息故事504具有相关联的故事持续时间参数508，该故事持续时间参数508的值确定了短暂消息故事504被呈现并且对于消息传递系统100的用户可访问的持续时间。故事持续时间参数508例如可以是音乐会的持续时间，其中短暂消息故事504是与该音乐会有关的内容的集合。替代地，当执行短暂消息故事504的建立和创建时，用户(拥有用户或策展人用户)可以指定故事持续时间参数508的值。

此外，短暂消息故事504内的每个短暂消息502具有关联的故事参与参数510，其值确定了在短暂消息故事504的上下文中将可访问短暂消息502的持续时间。因此，在短暂消息故事504自身根据故事持续时间参数508到期之前，特定短暂消息故事504可能在短暂消息故事504的上下文中“到期”并且变得不可访问。故事持续时间参数508、故事参与参数510，和消息接收方标识符424各自向故事定时器514提供输入，该故事定时器514首先可操作地确定短暂消息故事504的特定短暂消息502是否将显示给特定接收用户，如果是，显示多长时间。注意，由于消息接收方标识符424，短暂消息故事504还知道特定接收用户的身份。

因此，故事定时器514可操作地控制相关联的短暂消息故事504的整个寿命以及短暂消息故事504中包括的单独的短暂消息502。在一个实施例中，在该短暂消息故事504中的每个短暂消息502在故事持续时间参数508指定的时间段内保持可见和可访问。在另一个实施例中，某些短暂消息502可以在短暂消息故事504的上下文中基于故事参与参数510到期。注意，即使在短暂消息故事504的上下文内，消息持续时间参数506仍可确定向接收用户显示特定短暂消息502的持续时间。因此，消息持续时间参数506确定特定短暂消息502显示给接收用户的持续时间，无论接收用户是否正在查看短暂消息故事504的上下文的内部或外部的短暂消息502。

基于特定短暂消息502已经超过相关联的故事参与参数510的确定，短暂定时器系统202还可以从短暂消息故事504中移除特定短暂消息502。例如，当发送用户已经建立了从发布起24小时的故事参与参数510时，短暂定时器系统202将在指定的24小时后从短暂消息故事504中移除相关的短暂消息502。短暂定时器系统202还操作以在短暂消息故事504内的每个短暂消息502的故事参与参数510到期时或者在短暂消息故事504自身已经根据故事持续时间参数508到期时，移除短暂消息故事504。

在某些使用情况下，特定短暂消息故事504的创建者可指定无限的(indefinite)故事持续时间参数508。在这种情况下，短暂消息故事504中最后剩余的短暂消息502的故事参与参数510的到期将确定短暂消息故事504自身何时到期。在这种情况下，具有新的故事参与参数510的添加到短暂消息故事504中的新短暂消息502，有效地将短暂消息故事504的寿命延长为等于故事参与参数510的值。

响应于短暂定时器系统202确定短暂消息故事504已到期(例如不再可访问)，短暂定时器系统202与消息传递系统100(并且，例如，具体地，消息传递客户端应用104)通信以使与相关的短暂消息故事504相关联的标记(例如图标)不再显示在消息传递客户端应用104的用户界面中。类似地，当短暂定时器系统202确定特定短暂消息502的消息持续时间参数506已到期时，短暂定时器系统202使消息传递客户端应用104不再显示与短暂消息502相关联的标记(例如图标或文本识别)。

图6是说明增强现实系统124的功能组件的框图，该功能组件配置增强现实系统124以向视频剪辑中描绘的三维空间渲染虚拟修改。例如，增强现实系统124在三维空间内对真实表面渲染虚拟修改，并在三维空间内渲染虚拟对象。如图6所示，增强现实系统124包括渲染模块602、跟踪模块604、干扰检测模块606、对象模板模块608和处理器610。在一些示例实施例中，跟踪模块604可包括第一跟踪子系统604A、第二跟踪子系统604B和第三跟踪子系统604C，其中，每个跟踪子系统基于存储在视频剪辑中并与视频剪辑相关联的一组跟踪标记来在视频剪辑中跟踪虚拟对象在真实对象的三维空间中的位置。在客户端设备102的相机捕获视频剪辑时，从客户端设备102获得跟踪标记并将其存储在客户端设备102上。在增强现实系统124用于修改视频剪辑的情况下，跟踪标记包括与从预览生成系统125获得的与视频剪辑相关联的传感器信息的任何集合。增强现实系统124的各个组件可以被配置为彼此通信(例如，通过总线，共享存储器或交换机)。尽管在图6中未示出，但是在一些实施例中，增强现实系统124可包括相机或者可以与相机通信，该相机被配置为产生包括图像数据的实时相机馈送，该图像数据包括图像序列(例如，视频)。

可以单独使用硬件(例如，机器的一个或多个处理器610)或硬件和软件的组合来实现所描述的任何一个或多个组件。例如，增强现实系统124的任何被描述的组件可以物理地包括被配置为执行本文针对该组件所描述的操作的一个或多个处理器610(例如，机器的一个或多个处理器的子集或在它们中)的布置。作为另一示例，增强现实系统124的任何组件可包括软件、硬件或两者，其配置一个或多个处理器610(例如，在机器的一个或多个处理器之中)的布置以执行本文针对该组件所描述的操作。因此，增强现实系统124的不同组件可包括并在不同的时间点配置此类处理器610的不同布置或此类处理器610的单个布置。

此外，可以将增强现实系统124的任何两个或更多个组件(或预览生成系统125的组件)组合为单个组件，并且本文中针对单个组件描述的功能可以在多个组件之间被细分。此外，根据各种示例实施例，在本文中被描述为在单个机器、数据库或设备内实现的组件可以横跨多个机器、数据库或设备分布。

由于环境条件、用户动作、相机与被跟踪的对象/场景之间的意外视觉中断等原因，跟踪系统经常发生跟踪失败。传统上，此类跟踪失败会导致三维空间中虚拟对象的显示中断。例如，虚拟对象可能消失或以其他方式不规律地运行，从而中断了虚拟对象呈现在视频的三维空间内的错觉。这破坏了整体三维体验的感知质量。

传统的跟踪系统依靠以单一方法(自然特征跟踪(NFT)，同时定位和映射(SLAM)，陀螺仪等)从设备实时接收的传感器信息的传递来随着视频被捕获而跟踪视频中的目标，以使用户能够将虚拟对象添加到实时场景中。此类传感器信息通常不适用于先前已捕获的视频。这些系统在增强现实中即时利用相机和运动传感器输入数据，并迫使用户仅在视频被捕获时的实时时刻与虚拟对象进行交互。这些方法显著地影响了最终用户的电池使用，并限制了应用程序开发人员配置各种参数，例如曝光率、白平衡，相机增益等，如果捕获了这些片段，则会降低所得片段的质量。

增强现实系统124在捕获视频剪辑时将跟踪标记与视频剪辑一起存储，为该问题提供了解决方案，该解决方案使用户能够在视频剪辑被捕获后将虚拟对象添加到视频剪辑中的场景。增强现实系统124(包括使此类跟踪子系统之间实现无缝转换的多个冗余跟踪子系统604A-C)根据捕获视频剪辑时存储的多个跟踪方法获取传感器信息，并将此类多个跟踪方法传感器信息合并到单个跟踪系统中。该系统能够基于跟踪系统跟踪的和/或预览生成系统125存储的跟踪标记的可用性，通过在来自多个跟踪系统的所存储的传感器信息之间进行组合和转换，将跟踪虚拟对象与6DoF和3DoF进行组合。随着由任何一个跟踪子系统跟踪的标记在视频剪辑的捕获期间变得不可用并且因此不针对视频剪辑来存储，增强现实系统124在6DoF和3DoF跟踪之间无缝切换，从而为用户提供不间断的体验。例如，在视觉跟踪系统(例如，NFT，SLAM)的情况下，通常被分析以确定方向的跟踪标记可以被来自陀螺跟踪系统的陀螺跟踪标记代替。因此，这将能够基于跟踪标记的可用性在6Dof和3DoF中进行跟踪转换。

在一些示例实施例中，为了在6DoF和3DoF中的跟踪之间进行转换，增强现实系统124收集并存储跟踪矩阵内的跟踪标志，该跟踪矩阵包括平移标志(例如，上，下，左，右)和旋转标志(例如，俯仰，偏航，滚动)。因此，当由NFT系统收集的将来的平移标记变得不准确或不可用时，由NFT系统收集的平移标记可从跟踪矩阵中提取并被利用。同时，陀螺仪继续提供旋转标记。这样，当移动设备丢失跟踪标记时，在三维空间中呈现的被跟踪对象将不会在丢失跟踪标记的帧处突然改变。随后，当目标跟踪对象再次出现在屏幕中并获得新的平移T₁时，视图矩阵的平移部分将利用新的平移T₁，并使用T₁-T₀作为视图矩阵的平移。

图7A是示出增强现实系统124在执行用于在视频剪辑中渲染虚拟对象的过程700时的示例操作的流程图。过程700可以体现在计算机可读指令中，以由一个或多个处理器执行，以使得过程700的操作可以部分地或整体地由增强现实系统124的功能组件执行；因此，过程700在下面通过参考其的示例来描述。然而，在其他实施例中，过程700的至少一些操作可被部署在各种其他硬件配置上。因此，过程700不旨在限于增强现实系统124。过程700可以由增强现实系统124执行，以捕获必要的设备运动和相机帧信息，以使能够将虚拟对象添加到视频剪辑中，以在播放视频剪辑时针对添加的虚拟对象提供类似实时相机的信息环境的错觉。

在操作711，激活媒体捕获组件。例如，移动设备的用户可打开相机以开始捕获真实场景视频，并且作为响应，图像处理系统116可被激活和/或用户的移动设备上的相机捕获设备可被激活。在示例中，视频剪辑可以响应于激活相机而生成。

在操作712，惯性测量单元(IMU)信息捕获组件被激活。例如，跟踪模块604(图6)可以被激活以在捕获视频剪辑时从移动设备获得传感器信息。在一个示例中，当媒体捕获组件被激活时，IMU信息捕获组件可以被激活并且在后台保持空闲。当用户启动视频捕获时，将从媒体捕获组件向IMU捕获组件提供开始在后台捕获IMU数据的消息。此时，处理进行到步骤713以确定设备分类。

在操作713，确定设备分类。例如，增强现实系统124可检查用于捕获视频剪辑的移动设备是高端的还是低端的。在一些示例中，高端设备可包括具有高级视频处理能力的任何设备，其包括低端设备不可用或未实现的传感器处理组件。

在操作714，响应于确定设备是高端设备，获得预处理的运动信息。在操作715，响应于确定设备是低端设备，获得原始IMU信息。特别地，基于是否使用预处理的运动信息(例如，基于用于捕获视频剪辑的设备是高端的还是低端的)，IMU帧内的取向矩阵被保持为可选。

在操作716，存储IMU帧。例如，与在视频存储设备中存储视频帧的方式类似，在操作714或715获得的运动信息在运动存储设备中被存储为矩阵。IMU帧包含移动设备的取向矩阵、原始加速度计读数、原始陀螺仪读数、以及移动设备上可用的具有以秒为单位的时间戳的任何其他合适的传感器信息。

在操作717，响应于检测到用户对表面感知预览的激活，取得IMU帧。

返回参考图6，增强现实系统124被配置为在添加到视频剪辑中的三维空间中的位置处渲染和显示虚拟对象。例如，增强现实系统124可维护用于生成将要在视频剪辑中显示的虚拟对象的一组模板。在从该组模板中接收到对模板的选择以及对视频剪辑中的位置的选择时，增强现实系统124生成虚拟对象并将虚拟对象分配给视频剪辑的三维空间内的位置。

增强现实系统124从而可以由一个或多个跟踪系统在三维空间中以6DoF跟踪虚拟对象相对于视频剪辑中的真实对象的位置。例如，增强现实系统124的一个或多个跟踪系统可收集和分析一组跟踪标记(例如，滚动，俯仰，偏航，自然特征等)，以便采用6DoF跟踪虚拟对象相对于三维空间中的真实对象的位置。在此类实施例中，增强现实系统124可基于被跟踪标记的可用性在跟踪系统之间转换，以保持6DoF中的一致跟踪。

增强现实系统124被配置为除了虚拟对象之外或代替虚拟对象将空间音频/音乐与视频剪辑配对。这种被配对的音频/音乐可以具有附加声音变化的立体声特性，以匹配视频剪辑内的方向变化。例如，用户可以将音频/音乐添加到真实的对象(人或树)中，并且随着视频剪辑中的相机角度朝着/远离或从真实对象向左/向右摇摄，所添加的音频/音乐的声音的音量和方向变化，从而给用户一种音频/音乐也正移向相机/从相机移开或从相机向左/向右移动的错觉。

在从所跟踪的一组标记中检测到一个或多个标记的中断，使得在6DoF中的跟踪变得不可靠或不可能时，增强现实系统124转换为在三维空间中以3DoF跟踪虚拟对象，以防止显示中断。例如，增强现实系统124可从第一跟踪系统(或一组跟踪系统中的第一组跟踪系统)转换到该组跟踪系统(或第二组跟踪系统)中的第二跟踪系统，其中，第二跟踪系统能够基于可用的跟踪标记在三维空间中使用3DoF来跟踪虚拟对象。

在一些示例实施例中，增强现实系统124的一组跟踪系统包括陀螺仪跟踪系统、NFT系统以及SLAM跟踪系统。该组跟踪系统中的每个跟踪系统可分析跟踪标记，以便跟踪虚拟对象在三维空间内的位置。例如，为了跟踪具有6DoF的虚拟对象，增强现实系统124可要求至少六个跟踪标记是可用的。随着跟踪标记由于各种原因变得被阻塞或不可用，增强现实系统124可在该组跟踪系统中的可用跟踪系统之间转换，以维持6DoF，或者如果需要的话转换到3DoF。

将容易理解，这些增强现实系统124用于在各种环境和情况下的真实三维空间中提供一致渲染的虚拟对象。在许多应用中，可能希望为真实场景的视频剪辑中的这些虚拟对象的位置提供严格的一致性。这可能涉及识别和使用真实场景中特定的固定参考点(例如，固定的表面或对象)。

为了确保虚拟对象的位置的严格一致性，可以采用具有呈现“镜头”的示例形式的注释数据，该注释数据专用于本文所述的视频剪辑中的三维对象跟踪和渲染。特别地，表面感知预览器603是呈现镜头，其识别和引用真实表面(例如，地面或运动对象，例如人)以用于视频剪辑中虚拟对象的一致渲染和呈现。表面感知预览器603可以是呈现镜头，该呈现镜头在用户预览给定视频剪辑时被激活，并通过按下合适的按钮或在屏幕上沿给定方向滑动或提供任何其他合适的输入(语言或手势)来激活虚拟对象插入功能。如图所示，表面感知预览器603可以是整个增强现实系统124的渲染模块602内的特定部分或子模块，如上所述。渲染模块602的该表面感知预览器603可以被配置为基于视频剪辑的帧来识别参考表面，并且还可以利用其他设备输入(例如，陀螺仪，加速度计，指南针)来确定与视频镜头中描述的参考表面相关联的运动信息。在一些实施方式中，参考表面是最靠近屏幕上用户放置虚拟对象的位置的表面，而在其他实施方式中，参考表面是默认表面(例如，屏幕中央的对象)。在确定了参考表面之后，可以相对于该参考表面完成虚拟对象渲染和表面修改，以及整个视频剪辑中虚拟对象的动态重新定位。

在一些实施例中，当用户激活表面感知预览器603以将虚拟对象添加到视频剪辑时，增强现实系统124确定预处理的设备运动数据是否可用或原始IMU数据是否可用。具体地，增强现实系统124基于用于捕获视频剪辑和运动信息的设备的分类来确定可用的运动信息的类型和质量。如果原始IMU数据可用，则对此类数据进行过滤以获得设备运动数据。使用图像处理组件对每个相机帧进行解码和平滑处理。为了使来自IMU帧的信息与来自相机帧(或视频剪辑帧)的信息相关，执行两个最接近的IMU帧的双线性插值以针对每个相机帧时间戳生成成对的IMU帧。特别是，来自视频剪辑中相机帧的时间戳可能与IMU帧中的时间戳不匹配。可以使用双线性插值技术提供与给定视频剪辑帧匹配的IMU帧的近似值。所得的IMU帧包含3DoF姿势，该姿势可针对每个视频帧提供设备取向和加速度数据以及重力方向。

将3DoF姿势与视频剪辑帧一起被提供给增强现实系统124的表面跟踪组件，在该表面跟踪组件中，视频剪辑帧中感兴趣的特征或关键点被提取并跟踪以确定它们在视频剪辑帧中移动的方式，融合来自3DoF姿势的取向信息以生成所得的6DoF姿势。在Benezra等人在标题为“Systems and methods for simultaneous localization and mapping(用于同时定位和映射的系统和方法)”的美国公开2018/0061072中描述了如何进行这种融合的示例性细节，该美国公开通过引用整体并入本文。

然后，将来自表面跟踪组件的6DoF姿势提供给渲染模块602，以便对相机进行定位，以使得虚拟对象被渲染成好像它们在原始视频捕获期间被放置在真实世界中一样。渲染模块602将虚拟对象的放置和布置的变化与所捕获场景中的相机位置和取向的变化同步。

特别地，表面感知预览器603可以利用对象识别来识别存在于用户希望在其中添加虚拟对象的视频剪辑的帧中的一组真实对象。表面感知预览器603可以在每个所识别的真实对象周围绘制圆形、矩形或自由形式的边界。表面感知预览器603可确定在屏幕上添加虚拟对象的位置是否与给定真实对象周围的大部分边界相交或落入该边界内。如果虚拟对象位置与两个或更多个真实对象的边界重叠，则表面感知预览器603可计算虚拟对象重叠的每个边界的量。表面感知预览器603可比较每个真实对象的重叠量，并选择目标真实对象以跟踪与虚拟对象具有最大重叠的真实对象。

在表面感知预览器603选择将要跟踪的目标真实对象之后，表面感知预览器603在整个视频剪辑中跟踪真实对象的位置。表面感知预览器603可利用与所存储的视频剪辑的每个帧相关联的所存储的传感器信息来确定真实对象的位置。例如，表面感知预览器603可以确定目标真实对象的位置在整个视频剪辑中改变，并且加速度计和GPS信息指示用于捕获目标真实对象的视频的相机的位置没有改变。基于该信息，表面感知预览器603可确定目标真实对象是视频剪辑中的运动对象(例如，正在行走的人或正在行驶的车)，而不是静止对象。在这种情况下，如果将虚拟对象附加(例如固定)到运动对象，则表面感知预览器603可以修改在整个视频剪辑中虚拟对象的位置，以匹配目标真实对象的运动(例如，虚拟对象的位置可以在与目标真实对象相同的方向上变化，并且以真实对象位置变化的相同速率变化)。

在另一个示例中，表面感知预览器603可确定目标真实对象的位置在整个视频剪辑中均未变化，并且加速度计和GPS信息指示用于捕获目标真实对象的视频的相机的位置变化。基于该信息，表面感知预览器603可确定目标真实对象是静止对象。在这种情况下，如果虚拟对象被附加(例如，锚定)到目标真实对象，则表面感知预览器603可与相机的变化相反地改变虚拟对象的位置。具体地，表面感知预览器603可确定相机向右摇摄，从而导致目标真实对象在整个视频剪辑中向屏幕的左侧移动。表面感知预览器603可基于与视频剪辑一起存储的传感器信息来计算相机向右摇摄的速率，并且可以以与相机向右摇摄的相同速率将虚拟对象的位置改变到左侧，直到虚拟对象与目标真实对象一起移出屏幕。

在另一个示例中，表面感知预览器603可确定目标真实对象的位置在整个视频剪辑中变化，并且加速度计和GPS信息指示用于捕获目标真实对象的视频的相机的位置也会发生变化。基于该信息，表面感知预览器603可确定目标真实对象是运动对象，并且正由朝着或远离真实对象摇摄的相机捕获。在这种情况下，如果虚拟对象被附加到目标真实对象，则表面感知预览器603可与相机的变化相反并且根据真实对象的运动来改变虚拟对象的位置。特别地，表面感知预览器603可基于所存储的传感器信息来确定相机向右摇摄比目标真实对象朝相同方向移动快。这导致目标真实对象在整个视频剪辑中以低于目标真实对象的移动速率的速率，并且特别是以相机的运动速率与目标真实对象的运动速率之差的速率，移动到屏幕的左侧。随着相机向右摇摄，表面感知预览器603可以以计算的速率将虚拟对象的位置向左改变，直到虚拟对象与目标真实对象一起移出屏幕为止。

使用此类表面感知预览器603作为整个虚拟渲染的一部分，即使在整个视频剪辑中一个或多个对象位置或相机角度发生变化时，也可以使呈现更加动态地令人信服。下面通过示例的方式提供了用于将虚拟对象添加到视频剪辑的各种操作以及在使用表面感知预览器603时如何显示这种虚拟对象呈现的图。

图7B是示出根据本公开的各种实施例的用于使用表面感知预览器603在视频剪辑中渲染虚拟对象的过程720的流程图。过程720可以体现在计算机可读指令中，以由一个或多个处理器执行，以使得过程720的操作可以部分地或全部地由增强现实系统124的功能组件执行；因此，过程720在下面通过参考其的示例来描述。然而，在其他实施例中，应理解，过程720的至少一些操作可以部署在各种其他硬件配置上，并且过程720不旨在限于增强现实系统124。

如操作702中所描绘，增强现实系统124与预览生成系统125通信以使用具备相机的设备来捕获真实场景的视频内容和在视频内容的捕获期间由具备相机的设备收集的运动信息。例如，用户设备可指示预览生成系统125记录预定长度或用户选择的长度的视频片段。预览生成系统125可将视频存储为视频剪辑，并且从与视频剪辑的每个帧相关联的用户设备获得传感器信息。例如，如图10所示，如图像1010和1020的序列所示的，短视频剪辑被捕获，图像1010和1020的序列示出了从图像1010到图像1020，给定的真实对象1012(例如文件柜)随着相机向右摇摄，移动到屏幕中。传感器信息(例如，陀螺仪传感器)可检测到用于捕获包含图像1010和1020的帧的视频剪辑的相机向右摇摄，从而使真实对象1012从右向左移动到屏幕中。

在操作704，增强现实系统124与预览生成系统125通信以存储捕获的视频内容和运动信息。例如，在视频剪辑被预览生成系统125捕获之后，视频剪辑和传感器信息被存储在数据库120中并在数据库120中被编索引。

在操作706，增强现实系统124与预览生成系统125通信以处理所存储的被捕获视频内容以识别场景中的真实对象。例如，增强现实系统124处理视频剪辑的帧以识别图像1010和1020中所示的一组真实对象，例如地板1014和真实对象1012。该实施例中的增强现实系统124针对每个所识别的对象绘制边界。在一些实施例中，增强现实系统124响应于接收到修改视频剪辑的用户请求而执行操作706。例如，用户可以按下合适的按钮(例如，用于显示一组贴纸的创意工具按钮)，并响应于对此按钮的选择，被捕获的视频被处理以识别视频剪辑中的对象并使用传感器信息在整个视频剪辑中跟踪其位置和移动。

在操作708，增强现实系统124与预览生成系统125通信以生成交互式增强现实显示，该交互式增强现实显示向所存储的视频内容添加虚拟对象以创建包括真实场景和虚拟对象的增强视频内容。一方面，增强现实系统124生成图形用户界面，以在预览给定的视频剪辑时向用户呈现。图形用户界面可使用户能够将虚拟对象拖放到视频剪辑中正被预览的帧上，以将虚拟对象附加到视频剪辑中作为特征的真实三维对象上。例如，图形用户界面可使用户能够拖动给定的虚拟对象并将该虚拟对象固定或锚定到静止或运动的真实对象(例如，运动的人或地面)。通过这种方式，图形用户界面允许用户使用一个或多个虚拟对象来增强视频剪辑。视频剪辑可以从开头播放，其特征是在整个视频剪辑中添加到真实对象的所添加的虚拟对象。

在一方面，增强现实系统124提供用于接收添加虚拟对象以增强视频剪辑的用户输入的图形用户界面。图形用户界面可包括工具栏或窗格(pane)(其可以是部分透明的或可以是不透明的)。工具栏或窗格可以在图形用户界面中通过用于每个虚拟对象的图标的方式呈现多个虚拟对象。用户可以与工具栏或窗格交互以选择给定的虚拟对象来放置在视频剪辑中。在放置在视频剪辑中之后，图形用户界面允许用户在给定帧周围移动虚拟对象，以将虚拟对象附加到视频剪辑中作为特征的三维真实对象上。该视频剪辑可以从开头播放，其特征是在整个视频剪辑中附加到真实对象的所添加的虚拟对象。以这种方式，图形用户界面生成增强现实显示，该增强现实显示包括附加到(锚定或固定)真实对象上的所选虚拟对象。

例如，用户可以使用两个手指在y轴上拖动虚拟对象。这将导致虚拟对象在y平面(垂直)上移动，而使得深度在z轴上保持相同。用户可以在虚拟对象上按压达阈值时间段，以将虚拟对象固定到相应视频帧的像素。固定虚拟对象指示增强现实系统124跨视频剪辑帧跟踪相机帧像素，并跨帧提供像素相对于参考像素的相对位置和方向，随着相应的视频像素移动和缩放来移动和缩放虚拟对象。在一些实施例中，当用户在视频剪辑帧上按压达阈值时间段，视频播放被暂停，并且用户可以将虚拟对象拖动到暂停的视频帧上的任何像素。当用户释放被按下的手指时，虚拟对象被锁定到相关视频镜头中触摸位置处的像素，并且增强现实系统124随着它们在屏幕周围移动开始跨帧跟踪像素并更新虚拟对象位置以匹配。因为增强现实系统124具有关于虚拟对象的3D姿势的信息，所以虚拟对象的y轴旋转可以改变以匹配真实场景中的变化，从而使得虚拟对象的集成让用户感觉更真实。

在一些示例中，用户可以在播放期间点击视频的任何部分以将虚拟对象放置在触摸目标上。这样可以轻松快捷地将内容放置在场景的不同部分。

例如，在预览视频剪辑时，可以接收用户对创意工具按钮的选择以修改视频剪辑。响应于该选择，视频剪辑的预览在接收到选择的帧处暂停，并且向用户呈现一组虚拟对象图标(例如，三维对象)以供选择虚拟对象。在一些实施例中，虚拟对象图标被呈现在被暂停的帧的一个或多个边缘上的交互式工具栏(例如，垂直或水平滑动条)中，使得被暂停的帧保持在视野中。在这种情况下，用户可以触摸图标中的给定图标并将该图标拖动到视野中的帧中，以将相应的虚拟对象添加到帧中的给定位置，或者可以点击图标以将图标放置在帧中的默认位置。替代地，在另一实施例中，如图像1030所示，在叠加在帧之上的全屏中呈现图标，并且用户通过点击虚拟对象图标来选择要添加的虚拟对象。图像1030提供了一组虚拟对象图标的全屏视图的说明性示例，该虚拟对象图标被显示给用户以供选择以添加到视频剪辑。通过在给定虚拟对象下面设有圆形的地面阴影1032，可以在全屏或工具栏中指示是三维的每个虚拟对象。不是三维的虚拟对象在图标列表中不包括地面阴影。

在一些实施方式中，在用户从图标列表中选择虚拟对象中的给定虚拟对象之后(例如，以图像1030中所示的全屏方式显示的图标)，在工具栏或全屏中显示的一组虚拟对象图标被关闭，并且选定的虚拟对象被放置在暂停的视频剪辑帧之上。例如，图像1040中显示的虚拟对象1042已被附加到视频剪辑中作为特征的真实地板1014。在一些实施方式中，在用户从一组图标中选择给定的虚拟对象之后，虚拟对象被添加到视频剪辑的第一个帧而不是暂停的帧。无论哪种情况，在用户将虚拟对象添加到视频剪辑之后，视频剪辑以预定的速率自动倒带(例如2x倒带)到视频剪辑的开头，并将所添加的虚拟对象作为特征自动从头到尾再次重复播放。

在一些实现方式中，如果用户在添加虚拟对象之后点击虚拟对象1042，则虚拟对象1042从视频剪辑中移除或删除。或者，用户可以通过触摸并按住虚拟对象达阈值时间段，然后将虚拟对象1042拖动到屏幕上显示的垃圾箱图标，来从视频剪辑中删除虚拟对象1042。

在某些情况下，在用户选择要添加的新虚拟对象之前，视频剪辑可能已经包括虚拟对象。在这种情况下，以前添加的虚拟对象将替换为最近选择的虚拟对象。最近选择的虚拟对象可以保留先前添加的虚拟对象的所有属性(例如，位置，图像比例，大小等)。最近选择的虚拟对象可以自动地附加到先前的虚拟对象所附加到的同一真实对象。或者，可以将最近选择的虚拟对象添加到已经包含该虚拟对象的视频剪辑中。在这种情况下，将播放显示有多个虚拟对象的视频剪辑。

在将虚拟对象添加到视频剪辑之后，可以在3DoF或6DoF中以各种方式修改或操纵虚拟对象。如何操纵虚拟对象的示例在2017年4月28日提交的标题为“AUGMENTED REALITYOBJECT MANIPULATION(增强现实对象操纵)”(代理人案卷号4218.429US1)的共同拥有、共同转让的申请号为15/581，994的美国专利中进行了讨论，其全部内容通过引用并入本文。在一些实施例中，在将虚拟对象添加到视频剪辑之后，增强现实系统124检测触摸虚拟对象的第一用户输入(例如，用户的手指触摸显示虚拟对象的屏幕区域)。特别地，在一些实施例中，增强现实系统124在虚拟对象周围绘制边界，并检测触摸虚拟对象边界内的区域的第一用户输入。增强现实系统124还检测第二用户输入的接收，该第二用户输入在第一用户输入的阈值时间段(例如0.5秒)内拖动虚拟对象(例如，用户将他们的手指按在屏幕上并沿感兴趣的方向滑动他们的手指以拖动虚拟对象)。如果在阈值时间段内未收到第二用户输入，则虚拟对象的放置将保持在接收第一用户输入之前的位置，并且视频剪辑将继续播放。响应于在第一用户输入的阈值时间段内检测到第二用户输入的接收，增强现实系统124暂停视频剪辑播放并在虚拟对象下方添加圆形接地网格以指示虚拟对象的状态已经改变。特别地，圆形接地网格向用户指示从虚拟对象被附加到真实对象到虚拟对象变得可操纵的模式改变。图11中的图像1111示出了指示这种模式改变的接地栅格1112。特别地，在该模式下，增强现实系统124计算虚拟对象的z轴位置，并且以指示虚拟对象可移动的接地网格1112的形式将该位置投影到地面上。

增强现实系统124可基于以下表1中所述的输入在三维空间中操纵虚拟对象，只要用户的手指保持在虚拟对象位置的顶部即可。为了在三维空间中操纵虚拟对象，可以通过放置的帧处的假定接地平面或目标对象的接地平面来确定虚拟对象的z轴位置，如接地网格1112所示。

在某些情况下，虚拟对象可占据屏幕的大部分。在这种情况下，增强现实系统124接收点击虚拟对象的用户输入，并且作为响应，增强现实系统124将虚拟对象进一步放回到z轴上(例如，进入屏幕)，从而使其更容易选择和操作虚拟对象。

默认情况下，虚拟对象被附加到目标真实对象，该目标真实对象与添加到屏幕的虚拟对象重叠。为了将虚拟对象固定到不同的真实对象，增强现实系统124接收单个用户输入，该用户输入按压并保持虚拟对象至少达阈值时间段(例如0.5秒)。作为响应，增强现实系统124按比例放大虚拟对象以指示状态变化(例如，弹出虚拟对象)，并使用户能够在二维空间中操纵虚拟对象以将虚拟对象附加到场景中的不同真实对象。特别地，通过弹出或按比例放大虚拟对象，增强现实系统124向用户指示模式改变，在该模式中，虚拟对象在二维空间中变得可操纵。这与由圆形接地网格1112指示的模式改变相反，该模式改变指示虚拟对象变得相对于真实对象或接地平面在三维空间中可操作。

可以根据下面的表2定义的输入来执行在二维空间中操纵虚拟对象的方式。响应于检测到用户的手指已经从虚拟对象上抬起或释放并且不再触摸虚拟对象，增强现实系统124将虚拟对象附加(例如，固定)到新的真实对象上，该新的真实对象与虚拟对象在屏幕上的新位置重叠。增强现实系统124与预览生成系统125通信以将视频剪辑(例如，以-2.0的速率)倒回到开头，以显示视频剪辑，其中，虚拟对象处于新位置，并被附加到新的真实对象。

在将虚拟对象添加到视频剪辑之后，可以调整虚拟对象的视觉属性。例如，增强现实系统124可以向虚拟对象添加地理滤镜，贴纸，标题和绘画。特别地，增强现实系统124可接收用户输入，该用户输入在不与虚拟对象相交的情况下向左/向右滑动跨过屏幕的一部分。例如，虚拟对象可位于屏幕的底部，并且用户可滑动跨过屏幕的顶部。作为响应，呈现可用的地理滤镜的列表供用户选择，并且增强现实系统124基于所选择的地理滤镜来修改视频剪辑。如果用户输入向左/向右滑动与虚拟对象相交，则将选择虚拟对象，并且不显示地理滤镜。在一些实施方式中，可以在视频剪辑中呈现一个或多个二维贴纸、图像、标题或绘画。如果用户在不触摸虚拟对象的情况下点击给定的二维贴纸、图像、标题或绘画，则可更改二维贴纸、图像、标题或绘画，或将其放置在视频剪辑中。否则，如果用户点击与虚拟对象重叠的区域，则虚拟对象被选择用于操纵。对贴纸、图像、标题或绘画的选择使增强现实系统124默认将贴纸、图像、标题或绘画放置在虚拟对象之上。用户可以点击视频剪辑中的贴纸、图像、标题或绘画区域来操纵贴纸、图像、标题或绘画。

在操作710中，增强现实系统124与预览生成系统125进行通信，以使得所生成的交互式增强现实显示在增强视频内容的播放期间至少部分地基于所存储的运动信息调整在增强视频内容内虚拟对象在屏幕上的位置。例如，增强现实系统124确定目标真实对象在视频剪辑中从屏幕移出，使得其位置随着相机向右摇摄而从右向左移出屏幕。增强现实系统124确定目标真实对象位置改变的速率，并且类似地调整虚拟对象的位置以匹配真实对象的速率和位置改变。图像1040和1050的序列示出了所添加的虚拟对象位置随着视频剪辑播放而在屏幕中改变。特别地，虚拟对象1042与虚拟对象1042所锚定的目标真实地板1014一起从屏幕的中心向屏幕的左侧移动并且稍微移出屏幕。

图8是示出了根据某些示例实施例的增强现实系统124在执行用于在视频剪辑中渲染虚拟对象的过程800中的操作的流程图。过程800可以体现在计算机可读指令中，以由一个或多个处理器执行，使得过程800的操作可以部分地或全部地由增强现实系统124的功能组件执行；因此，过程800在下面通过参考其的示例来描述。但是，应当理解，过程800的至少一些操作可以被部署在各种其他硬件配置上，并且过程800不旨在限于增强现实系统124。

在操作802，接收输入以激活表面感知预览。例如，预览生成系统125可接收用户输入，该用户输入生成视频剪辑的预览并选择用于修改视频剪辑的图标。这激活了增强现实系统124，并且指示增强现实系统124处理视频剪辑中的真实对象以及与视频剪辑相关联的传感器信息以跟踪真实对象的位置。

在操作804，在被捕获的视频预览中检测到真实参考表面。例如，在图11所示的说明性视频剪辑中，增强现实系统124处理视频剪辑的图像或帧1110以检测多个真实对象。一个此类真实对象可以是真实场景中作为特征的人1113。可以在真实对象周围绘制边界。

在操作806，基于真实参考表面来引导虚拟对象的取向。例如，增强现实系统124允许用户将虚拟对象1114放置在视频剪辑中。增强现实系统124允许用户操纵虚拟对象以将虚拟对象定位在人1113上。在一个实施例中，增强现实系统124呈现示出了接地网格1112的图像1111，该接地网格1112指示了与虚拟对象相关联的模式改变。具体地，接地网格1112向用户指示虚拟对象可被操纵。增强现实系统124从用户接收相对于人1113在三维空间中或在屏幕上的二维空间中操纵虚拟对象1114的输入。在一个实现方式中，增强现实系统124可接收将虚拟对象1114固定到人1113的用户输入。

在操作808，相对于真实参考表面渲染虚拟对象。例如，如图像1120和1130的序列中所示，随着人1113朝着屏幕的右侧移动，固定到人1113的虚拟对象1114朝着屏幕的右侧移动。

图9是根据某些示例性实施例的增强现实系统124在执行用于跟踪相对于视频剪辑中的目标真实对象的位置处的对象的过程900中的操作的流程图。过程900可体现在计算机可读指令中，以由一个或多个处理器执行，使得过程900的操作可以部分地或全部地由增强现实系统124的功能组件执行；因此，过程900在下面通过参考其的示例来描述。但是，应当理解，过程900的至少一些操作可被部署在各种其他硬件配置上，并且过程900不旨在限于增强现实系统124。

在操作902，渲染模块602在三维空间中相对于目标真实对象的位置处渲染虚拟对象。虚拟对象可包括由用户基于用户提供的参数生成的交互式内容。

在操作904，跟踪模块604经由第一跟踪子系统604A或多个跟踪子系统的组合(例如，第一跟踪子系统604A和第二跟踪子系统604B)，基于针对捕获视频剪辑时获得的视频剪辑存储的一组跟踪标记，在目标真实对象的三维空间中的位置处以6DoF来跟踪虚拟对象。当以6DoF跟踪虚拟对象时，在客户端设备102上查看对象的用户可以在任何方向上转动或移动，而不会中断对对象的跟踪。例如，跟踪模块604可基于NFT系统和陀螺仪跟踪系统的组合来跟踪虚拟对象的位置。

在操作906，中断检测模块606从跟踪子系统(例如，第一跟踪子系统604A)跟踪的跟踪标记中检测跟踪标记的中断。例如，第一跟踪子系统604A可包括NFT系统，该NFT系统被配置为依靠如下跟踪标记，该跟踪标记包括环境的特征或在环境(例如，地面的平面，或地平线)中接近被注释的虚拟对象的活动光源。因此，第一跟踪子系统604A的NFT系统可以依靠环境中三个或更多个已知特征的位置来确定虚拟对象相对于目标真实对象在三维空间中的位置。如果由第一跟踪子系统604A跟踪的任何一个或多个跟踪标记被阻塞或不可用，则在三维空间中对虚拟对象的跟踪将被破坏。

在操作908，响应于中断检测模块606检测到一个或多个跟踪标记的中断，跟踪模块604转换到一个或多个其他跟踪子系统(例如，第二跟踪子系统604B和/或第三跟踪子系统604C)以在三维空间中相对于目标真实对象保持对虚拟对象的跟踪。特别地，跟踪模块604从存储器获得与视频剪辑相关联的不同类型的传感器信息。这样做，增强现实系统124可以从6DoF转换到3DoF，其中3DoF测量俯仰、滚动和偏航，但是不测量平移。随着跟踪标记再次变得可用，增强现实系统124可以由此从3DoF转换回6DoF。例如，当NFT系统变得不可用时，跟踪模块604可以在整个随后的3DoF体验中利用由NFT系统收集和跟踪的最新跟踪标记。

图12是示出示例软件架构1206的框图，该示例软件架构1206可以与本文所述的各种硬件架构结合使用。图12仅是软件架构的非限制性示例，并且将理解，可以实现多个其他架构以促进本文描述的功能。软件架构1202可以在诸如图13的机器1300的硬件上执行，机器1300尤其包括处理器1304、存储器1314和输入/输出(I/O)组件1318等。代表性硬件层1252被示出并且可以表示例如图13的机器1300。代表性硬件层1252包括具有相关联的可执行指令1204的一个或多个处理单元1254。可执行指令1204表示软件架构1206的可执行指令，包括在此描述的方法、组件等的实现。硬件层1252还包括也具有可执行指令1204的存储器和/或存储模块1256。硬件层1252还可包括其他硬件1258。

在图12的示例架构中，软件架构1206可以被概念化为层的堆叠，其中每个层提供特定的功能。例如，软件架构1206可包括诸如操作系统1202、库1220、应用1216、框架/中间件1218、和呈现层1214的层。在操作上，这些层内的应用1216或其他组件可通过软件堆栈来调用API调用1208，并且响应于API调用1208，接收消息1212。所示出的层本质上是代表性的，并非所有软件架构都具有所有层。例如，某些移动或专用操作系统可能不提供框架/中间件1218，而其他操作系统可提供此类层。其他软件架构可包括附加的或不同的层。

操作系统1202可管理硬件资源并提供公共服务。操作系统1202可包括例如内核1222、服务1224和驱动器1226。内核1222可以充当硬件和其他软件层之间的抽象层。例如，内核1222可负责存储器管理、处理器管理(例如调度)、组件管理、联网、安全性设置等。服务1224可为其他软件层提供其他公共服务。驱动器1226负责控制底层硬件或与底层硬件接口连接。例如，驱动器1226包括显示驱动器、相机驱动器、蓝牙

驱动器、闪存驱动器、串行通信驱动器(例如通用串行总线(USB)驱动器)、

驱动器、音频驱动器、电源管理驱动器等，取决于硬件配置。

库1220可提供可被应用1216和/或其他组件和/或层使用的公共基础结构。库1220通常提供如下功能：允许其他软件组件以比通过直接与基础操作系统1202功能(例如内核1222、服务1224和/或驱动器1226)接口连接更容易的方式执行任务。库1220可包括系统库1244(例如C标准库)，该系统库1224可提供诸如存储器分配功能、字符串操纵功能、数学功能等的功能。此外，库1220可包括诸如媒体库的API库1246(例如，用于支持各种媒体格式(例如MPEG4、H.264、MP3、AAC、AMR、JPG、PNG)的呈现和操作的库)、图形库(例如，可用于在显示器上呈现二维和三维图形内容的OpenGL框架)、数据库库(例如，可提供各种关系数据库功能的SQLite)、网络库(例如，可提供网络浏览功能的WebKit)，等。库1220还可包括各种各样的其他库1248，以向应用1216和其他软件组件/模块提供多个其他API。

框架/中间件1218(有时也称为中间件)提供可由应用1216和/或其他软件组件/模块使用的高级通用基础设施。例如，框架/中间件1218可提供各种图形用户界面(GUI)功能、高级资源管理、高级位置服务等。框架/中间件1218可提供可被应用1216和/或其他软件组件/模块使用的广泛的其他API，其中一些可能是特定于特定操作系统1202或平台的。

应用1216包括内置应用1238和/或第三方应用1240。代表性内置应用1238的示例可包括但不限于：联系人应用、浏览器应用、书籍阅读器应用、位置应用、媒体应用、消息传递应用，和/或游戏应用。第三方应用1240可包括由特定平台的卖方以外的实体使用Android^TM或iOS^TM软件开发工具包(SDK)开发的应用，可以是在移动操作系统(例如iOS^TM、Android^TM、

Phone或其他移动操作系统)上运行的移动软件。第三方应用1240可以调用由移动操作系统(诸如操作系统1202)提供的API调用1208，以促进本文描述的功能。

应用1216可利用内置的操作系统功能(例如内核1222、服务1224和/或驱动器1226)、库1220和框架/中间件1218来创建用户界面以与系统的用户进行交互。替代地或附加地，在一些系统中，与用户的交互可通过诸如呈现层1214的呈现层发生。在这些系统中，可将应用/组件“逻辑”与跟用户交互的应用/组件的各方面分开。

图13示出了根据一些示例实施例的机器1300的组件的框图，该组件能够从机器可读介质(例如，机器可读存储介质)读取指令，并执行本文所讨论的方法中的任何一个或多个。具体地，图13示出了具有计算机系统的示例形式的机器1300的图解表示，在其中可以执行用于使机器1300执行本文讨论的任何一种或多种方法的指令1310(例如软件、程序、应用、小应用、应用程序或其他可执行代码)。这样，指令1310可用于实现本文描述的模块或组件。指令1310将通用的、未编程的机器1300转换为被编程为以所描述的方式执行所描述和示出的功能的特定机器1300。在替代实施例中，机器1300作为独立设备运行，或者可耦接(例如联网)到其他机器。在网络部署中，机器1300可以在服务器-客户端网络环境中以服务器机器或客户端机器的身份运行，或者在对等(或分布式)网络环境中作为对等机器运行。机器1300可包括但不限于：服务器计算机、客户端计算机、个人计算机(PC)、平板计算机、膝上型计算机、上网本、机顶盒(STB)、个人数字助理(PDA)、娱乐媒体系统、蜂窝电话、智能电话、移动设备、可穿戴设备(例如智能手表)、智能家居设备(例如智能电器)、其他智能设备、网络家电、网络路由器、网络交换机、网桥，或能够依次或以其他方式执行指令1310的任何机器，这些指令指定了机器1300要采取的动作。此外，尽管仅示出了单个机器1300，但术语“机器”还应认为为包括单独地或共同地执行指令1310以执行本文讨论的方法中的任何一个或多个方法的机器的集合。

机器1300可包括处理器1304、存储器/存储装置1306和I/O组件1318，它们可以被配置为例如经由总线1302彼此通信。在示例实施例中，处理器1304(例如中央处理单元(CPU)、精简指令集计算(RISC)处理器、复杂指令集计算(CISC)处理器、图形处理单元(GPU)、数字信号处理器(DSP)、专用集成电路(ASIC)、射频集成电路(RFIC)、另一处理器，或其任何合适的组合)可包括例如可执行指令1310的处理器1308和处理器1312。术语“处理器”旨在包括可包括两个或更多个可同时执行指令的独立处理器(有时称为“核”)的多核处理器1304。虽然图13示出了多个处理器1304，机器1300可包括具有单个核的单个处理器、具有多个核的单个处理器(例如多核处理器)、具有单个核的多个处理器、具有多个核的多个处理器或其任何组合。

存储器/存储装置1306可包括存储器1314，(诸如，主存储器，或其它存储器存储装置)和存储单元1316，它们都可以诸如经由总线1302被处理器1304访问。存储单元1316和存储器1314存储体现本文所述方法或功能中的任何一个或多个的指令1310。在由机器1300执行期间，指令1310还可全部或部分地驻留在存储器1314内、存储单元1316内、处理器1304中的至少一个处理器内(例如在处理器的高速缓冲存储器内)或其任何组合。因此，存储器1314，存储单元1316和处理器1304的存储器是机器可读介质的示例。

I/O组件1318可以包括各种各样的组件，以接收输入、提供输出、产生输出、发送信息、交换信息、采集测量等。包括在特定机器1300中的特定I/O组件1318将取决于机器的类型。例如，诸如移动电话的便携式机器将可能包括触摸输入设备或其他此类输入机构，而无头(headless)服务器机器将可能不包括此类触摸输入设备。应当理解，I/O组件1318可包括在图13中未示出的多个其他组件。仅出于简化下面讨论的目的，根据功能对I/O组件1318进行分组，并且分组绝不是限制性的。在各种示例实施例中，I/O组件1318可包括输出组件1326和输入组件1328。输出组件1326可包括视觉组件(例如显示器，诸如，等离子体显示面板(PDP)、发光二极管(LED)显示器、液晶显示器(LCD)、投影仪，或阴极射线管(CRT))、声学组件(例如扬声器)、触觉组件(例如振动马达、电阻机构)、其他信号发生器等。输入组件1328可包括字母数字输入组件(例如键盘、被配置为接收字母数字输入的触摸屏、光电键盘或其他字母数字输入组件)、基于点的输入组件(例如鼠标、触摸板、轨迹球、操纵杆、运动传感器或其他指向仪器)、触知输入组件(例如物理按钮、提供触摸的位置和/或力或触摸手势的触摸屏，或其他触知输入组件)、音频输入组件(例如麦克风)等。

在进一步的示例实施例中，I/O组件1318可包括各种各样的其他组件中的生物特征组件1330、运动组件1334、环境组件1336或位置组件1338。例如，生物特征组件1330可包括用于检测表达(例如手部表达、面部表情、声音表达、身体姿势或眼睛跟踪)、测量生物信号(例如血压、心率、体温、汗水或脑波)、识别人(例如语音识别、视网膜识别、面部识别、指纹识别或基于脑电图的识别)等的组件。运动组件1334可包括加速度传感器组件(例如加速度计)、重力传感器组件、旋转传感器组件(例如陀螺仪)等。环境组件1336可包括例如照明传感器组件(例如光度计)、温度传感器组件(例如检测环境温度的一个或多个温度计)、湿度传感器组件、压力传感器组件(例如气压计)、声学传感器组件(例如一个或多个检测背景噪声的麦克风)、接近度传感器组件(例如检测附近物体的红外传感器)、气体传感器(例如，用于为了安全而检测有害气体的浓度或测量大气中的污染物的气体检测传感器)、或可提供与周围物理环境相对应的指示、测量或信号的其他组件。位置组件1338可包括位置传感器组件(例如GPS接收器组件)、高度传感器组件(例如检测可从哪个高度获得该空气压力的高度计或气压计)、取向传感器组件(例如磁力计)等。

可使用多种技术来实现通信。I/O组件1318可包括通信组件1340，该通信组件1340可操作以分别经由耦接(coupling)1324和耦接1322将机器1300耦接到网络1332或设备1320。例如，通信组件1340可包括网络接口组件或与网络1332接口连接的其它合适的设备。在进一步的示例中，通信组件1340可包括有线通信组件、无线通信组件、蜂窝通信组件、近场通信(NFC)组件、蓝牙

组件(例如蓝牙

低能耗)、

组件和经由其它形态提供通信的其他通信组件。设备1320可以是另一机器或各种各样的外围设备(例如经由USB耦接的外围设备)中的任何一个。

此外，通信组件1340可检测标识符或包括可操作以检测标识符的组件。例如，通信组件1340可包括射频识别(RFID)标签读取器组件、NFC智能标记检测组件、光学读取器组件(例如用于检测诸如通用产品代码(UPC)条形码的一维条形码、多维条形码(例如快速响应(QR)码、Aztec码、数据矩阵、数字图形、最大码、PDF417、超码、UCC RSS-2D条形码)和其他光学码的光学传感器)，或声学检测组件(例如用于识别所标记的音频信号的麦克风)。另外，可以经由通信组件1340来获得各种信息，例如经由互联网协议(IP)地理位置来获得位置、经由

信号三角测量来获得位置、经由检测可指示特定位置的NFC信标信号来获得位置等。

词汇表

在本文中，“载波信号”是指能够存储、编码或携带指令以由机器执行的任何无形介质，并且包括数字或模拟通信信号或其他无形介质以促进这种指令的通信。指令可使用传输介质通过网络接口设备以及使用多个众所周知的传输协议中的任何一个在网络上发送或接收。

在本上下文中，“客户端设备”是指与通信网络接口连接以从一个或多个服务器系统或其他客户端设备获取资源的任何机器。客户端设备可以是但不限于：移动电话、台式计算机、笔记本电脑、PDA、智能电话、平板电脑、超级本、上网本、笔记本电脑、多处理器系统、基于微处理器的或可编程的消费电子产品、游戏机、机顶盒或用户可用来接入网络的任何其他通信设备。

在此上下文中，“通信网络”是指网络的一个或多个部分，其可以是自组网、内联网、外联网、虚拟专用网(VPN)、局域网(LAN)、无线局域网(WLAN)、广域网(WAN)、无线广域网(WWAN)、城域网(MAN)、互联网、互联网的一部分、公共电话交换网(PSTN)的一部分、老式电话服务(POTS)网络、蜂窝电话网络、无线网络、

网络、另一类型的网络，或两个或多个此类网络的组合。例如，网络或网络的一部分可包括无线或蜂窝网络，并且耦接可以是码分多址(CDMA)连接、全球移动通信系统(GSM)连接或另一类型的蜂窝或无线耦接。在此示例中，耦接可实现多种类型的数据传输技术中的任何一种，例如单载波无线电传输技术(1xRTT)、演进数据优化(EVDO)技术、通用分组无线电服务(GPRS)技术、增强型数据速率GSM演进(EDGE)技术、包括3G的第三代合作伙伴计划(3GPP)、第四代无线(4G)网络、通用移动电信系统(UMTS)、高速分组接入(HSPA)、全球微波接入互操作性(WiMAX)、长期演进(LTE)标准、由各种标准制定组织定义的其他标准、其他远程协议，或其他数据传输技术。

在本上下文中，“短暂消息”是指在时间限制的持续时间内可访问的消息。短暂消息可以是文本、图像、视频等。短暂消息的访问时间可由消息发送器设置。替代地，访问时间可以是默认设置，也可以是接收方指定的设置。不管设置技术如何，消息都是暂时的。

在本上下文中，“机器可读介质”是指能够临时或永久存储指令和数据的组件、设备或其他有形介质，并且可包括但不限于：随机存取存储器(RAM)、只读存储器(ROM)、缓冲存储器、闪存、光学介质、磁性介质、高速缓存、其他类型的存储设备(例如可擦除可编程只读存储器(EPROM))和/或其任何合适的组合。术语“机器可读介质”应被认为包括能够存储指令的单个介质或多个介质(例如集中式或分布式数据库，或相关联的高速缓存和服务器)。术语“机器可读介质”还应被理解为包括能够存储由机器执行的指令(例如代码)使得指令在由机器的一个或多个处理器执行时使得机器执行本文描述的任何一种或多种方法的任何介质或多种介质的组合。因此，“机器可读介质”是指单个存储装置或设备，以及包括多个存储装置或设备的“基于云的”存储系统或存储网络。术语“机器可读介质”自身不包括信号。

在本上下文中，“组件”是指具有边界的设备、物理实体或逻辑，该边界由提供对特定处理或控制功能的分区或模块化的功能或子例程调用、分支点、API或其他技术来定义。组件可通过它们与其他组件的接口进行组合以执行机器过程。组件可以是被设计为与其他组件以及通常执行相关功能的特定功能的程序的一部分一起使用的经封装的功能硬件单元。组件可构成软件组件(例如体现在机器可读介质上的代码)或硬件组件。“硬件组件”是能够执行某些操作的有形单元，并且可以以某种物理方式被配置或设置。在各种示例实施例中，一个或多个计算机系统(例如独立计算机系统、客户端计算机系统，或服务器计算机系统)或计算机系统的一个或多个硬件组件(例如处理器或一组处理器)可以由软件(例如应用或应用部分)配置为操作以执行本文所述的某些操作的硬件组件。硬件组件也可机械地、电子地或其任何合适的组合来实现。例如，硬件组件可包括被永久性地配置为执行某些操作的专用电路或逻辑。硬件组件可以是专用处理器，例如现场可编程门阵列(FPGA)或专用集成电路(ASIC)。硬件组件还可包括可编程逻辑或电路，其由软件临时配置为执行某些操作。例如，硬件组件可包括由通用处理器或其他可编程处理器执行的软件。在由此类软件进行配置之后，硬件组件变成专门被定制以执行配置的功能的特定机器(或机器的特定组件)，并且不再是通用处理器。可以理解，机械地在专用和永久配置的电路中或者在临时配置的电路中(例如由软件配置的)实现硬件组件的决定可以由成本和时间考虑来驱动。因此，短语“硬件组件”(或“硬件实现的组件”)应理解为包括有形实体，其是物理构造的、永久配置的(例如硬连线的)或临时配置的(例如编程的)，以某种方式操作或执行本文所述的某些操作的实体。考虑到其中硬件组件被临时配置(例如编程)的实施例，每个硬件组件不需要在任何时刻被配置或实例化。例如，在硬件组件包括由软件配置为成为专用处理器的通用处理器的情况下，通用处理器可在不同时间被分别配置为不同的专用处理器(例如包括不同的硬件组件)。因此，软件对应地配置特定处理器或处理器，例如以在一个时刻构成一个特定硬件组件，而在另一个不同时刻构成另一个不同硬件组件。

硬件组件可向其他硬件组件提供信息并从其他硬件组件接收信息。因此，所描述的硬件组件可以被认为是通信耦接的。在同时存在多个硬件组件的情况下，可以通过在两个或更多个硬件组件之间的信号传输(例如通过适当的电路和总线)来实现通信。在其中在不同时间配置或实例化多个硬件组件的实施例中，可以例如通过在多个硬件组件可以访问的存储器结构中存储和取得信息来实现此类硬件组件之间的通信。例如，一个硬件组件可执行操作并将该操作的输出存储在其通信耦接到的存储器设备中。然后，另一硬件组件可以在稍后的时间访问该存储器设备以取得和处理所存储的输出。

硬件组件还可发起与输入或输出设备的通信，并且可以在资源(例如信息的集合)上进行操作。本文所述的示例方法的各种操作可以至少部分地由临时配置(例如通过软件)或永久配置为执行相关操作的一个或多个处理器执行。无论是临时配置还是永久配置，此类处理器都可以构成处理器实现的组件，该组件操作以执行本文所述的一个或多个操作或功能。如本文中所使用的，“处理器实现的组件”是指使用一个或多个处理器实现的硬件组件。类似地，本文描述的方法可以至少部分地由处理器实现，其中特定的处理器或处理器是硬件的示例。例如，一种方法的操作中的至少一些操作可以由一个或多个处理器或处理器实现的组件执行。此外，一个或多个处理器还可操作以在“云计算”环境中或作为“软件即服务”(SaaS)来支持相关操作的执行。例如，操作中的至少一些操作可由一组计算机来执行(作为包括处理器的机器的示例)，其中这些操作可以经由网络(例如互联网)以及经由一个或多个适当的接口(例如API)来访问。某些操作的执行可分布在处理器之间，不仅驻留在单个机器内，而且跨多个机器部署。在一些示例实施例中，处理器或处理器实现的组件可位于单个地理位置中(例如在家庭环境、办公室环境，或服务器场中)。在其他示例实施例中，处理器或处理器实现的组件可分布在多个地理位置上。

在此上下文中，“处理器”是指根据控制信号(例如“命令”、“操作码”、“机器码”等)操纵数据值并产生适用于操作机器的对应输出信号的任何电路或虚拟电路(由在实际处理器上执行的逻辑来仿真的物理电路)。处理器可以例如是中央处理单元(CPU)、精简指令集计算(RISC)处理器、复杂指令集计算(CISC)处理器、图形处理单元(GPU)、数字信号处理器(DSP)、ASIC、射频集成电路(RFIC)或其任意组合。处理器可进一步是具有可同时执行指令的两个或更多个独立处理器(有时称为“核”)的多核处理器。

在本上下文中，“时间戳”是指一系列的字符或编码信息，其识别何时发生特定事件，例如给出日期和时间，有时精确到几分之一秒。

Claims (20)

1.一种方法，包括：

使用具备相机的设备捕获真实场景的视频内容以及在所述视频内容的捕获期间由所述具备相机的设备收集的运动信息；

存储被捕获的视频内容和运动信息；

处理所存储的被捕获视频内容，以识别所述场景中的真实对象；以及

生成交互式增强现实显示，所述交互式增强现实显示：

向所存储的被捕获视频内容中添加虚拟对象，以创建包括所述真实场景和所述虚拟对象的增强视频内容；以及

在所述增强视频内容的播放期间，至少部分地基于所存储的运动信息来调整在所述增强视频内容内所述虚拟对象在屏幕上的位置。

2.根据权利要求1所述的方法，其中，所存储的被捕获视频内容包括预览视频剪辑，所述预览视频剪辑从开始位置连续地播放到结束位置，并且其中，所述处理是响应于接收到向所述真实场景添加所述虚拟对象的用户请求而执行的。

3.根据权利要求1所述的方法，其中，捕获所述运动信息包括：从所述相机的惯性测量传感器接收测量。

4.根据权利要求1所述的方法，其中：

所述虚拟对象包括虚拟三维对象；以及

添加所述虚拟对象包括：将所述虚拟三维对象附加到所述真实对象。

5.根据权利要求4所述的方法，其中，添加所述虚拟对象包括：

基于所述移动信息，确定在所述视频内容的捕获期间所述具备相机的设备的位置已移动导致了所述真实对象在所述视频内容的播放期间在屏幕上从第一位置移动到第二位置；以及

通过随着所述真实对象在播放期间从所述第一位置移动到所述第二位置在所述屏幕上将所述虚拟三维对象的所述位置从第三位置移动到第四位置，与真实对象的位置固定关联地维持所述虚拟三维对象的所述位置。

6.根据权利要求4所述的方法，其中，添加所述虚拟对象包括：

基于对所述视频内容和所述运动信息的图像分析，确定在所述相机保持在固定位置的情况下，所述真实对象的真实位置在所述视频的捕获期间已从第一位置移动到第二位置；以及

通过随着所述真实对象在播放期间从所述第一位置移动到所述第二位置在屏幕上将所述虚拟三维对象的所述位置从第三位置移动到第四位置，与真实对象的位置固定关联地维持所述虚拟三维对象的所述位置。

7.根据权利要求1所述的方法，还包括：

在添加所述虚拟对象之前播放所存储的视频内容；

在播放所述视频内容时显示代表虚拟对象的多个图标；

在播放所述视频内容时接收用户从所述多个图标中对所述虚拟对象的选择；

响应于接收到所述用户的选择：

在给定帧处暂停所存储的视频内容；以及

执行将所述虚拟对象添加到所述给定帧的操作。

8.根据权利要求7所述的方法，还包括：响应于确定在选择所述虚拟对象之后在给定的时间间隔之后还没有接收到进一步的用户输入，恢复所述增强视频内容的播放。

9.根据权利要求7所述的方法，还包括：接收操纵在所述帧中所述虚拟对象的位置的用户输入。

10.根据权利要求7所述的方法，还包括：

响应于接收到在所述帧上按压并保持所述虚拟对象达阈值时间量的用户输入，将所述虚拟对象附加到所述真实对象；以及

响应于以下内容，将所述虚拟对象附加到第二真实对象：

接收触摸所述虚拟对象的第一用户输入；以及

在所述阈值时间量内接收将所述虚拟对象拖动到所述第二真实对象的位置的第二用户输入。

11.根据权利要求10所述的方法，还包括：响应于接收到所述第二用户输入，在所述虚拟对象下方呈现网格。

12.根据权利要求10所述的方法，还包括：响应于接收到按压并保持所述虚拟对象以指示状态改变的用户输入，临时增大所述虚拟对象的尺寸。

13.根据权利要求1所述的方法，其中，向所存储的被捕获视频内容中的真实场景中添加所述虚拟对象包括：呈现多个图标，每个图标具有相对于相应图标来定位的圆形地面阴影；以及接收用户对所述图标中的一个图标的选择。

14.根据权利要求1所述的方法，还包括：响应于接收到用户对另一虚拟对象的选择，用所述另一虚拟对象替换所述虚拟对象。

15.根据权利要求1所述的方法，还包括：在向所述真实场景添加所述虚拟对象之后，修改所述虚拟对象的视觉属性。

16.根据权利要求15所述的方法，其中，修改所述视觉属性包括：添加以下中的至少一个：地理滤镜、二维贴纸、标题、以及绘画。

17.一种系统，包括：

处理器，所述处理器被配置为：

使用具备相机的设备捕获真实场景的视频内容以及在所述视频内容的捕获期间由所述具备相机的设备收集的运动信息；

存储被捕获的视频内容和运动信息；

处理所存储的被捕获视频，以识别所述场景中的真实对象；以及

生成交互式增强现实显示，所述交互式增强现实显示：

向所存储的被捕获视频内容中添加虚拟对象，以创建包括所述真实场景和所述虚拟对象的增强视频内容；以及

在所述增强视频内容的播放期间，至少部分地基于所存储的运动信息来调整在所述增强视频内容内所述虚拟对象在屏幕上的位置。

18.根据权利要求17所述的系统，其中，所存储的被捕获视频内容包括预览视频剪辑，所述预览视频剪辑从开始位置连续地播放到结束位置，并且其中，所述处理器还被配置为响应于接收到向所述真实场景添加所述虚拟对象的用户请求而执行所述处理。

19.根据权利要求17所述的系统，其中，所述处理器还被配置为：通过从所述相机的惯性测量传感器接收测量来捕获所述运动信息。

20.一种机器可读存储介质，包括增强现实系统，所述增强现实系统包括指令，所述指令在由机器的一个或多个处理器执行时使所述机器执行包括以下内容的操作：

使用具备相机的设备捕获真实场景的视频内容以及在所述视频内容的捕获期间由所述具备相机的设备收集的运动信息；

存储被捕获的视频内容和运动信息；

处理所存储的被捕获视频内容，以识别所述场景中的真实对象；以及

生成交互式增强现实显示，所述交互式增强现实显示：

向所存储的被捕获视频内容中添加虚拟对象，以创建包括所述真实场景和所述虚拟对象的增强视频内容；以及

在所述增强视频内容的播放期间，至少部分地基于所存储的运动信息来调整在所述增强视频内容内所述虚拟对象在屏幕上的位置。

Images