CN107004291A - 定格内容的增强 - Google Patents

Abstract

描述了用于提供定格内容中的增强现实（AR）效果的设备、方法和存储介质。在一个实例中，一种设备可以包括：处理器；内容模块，其由处理器来操作以获得具有定格内容的多个帧，其一些可以包括增强现实效果的指示；以及增强模块，其由处理器来操作以检测增强现实效果的指示并将对应于该指示的增强现实效果添加至多个帧中的一些。其他实施例可被描述和要求保护。

Description

定格内容的增强

相关申请

本申请要求保护2014年12月11提交的名称为“AUGMENTATION OF STOP-MOTIONCONTENT”的美国专利申请14/567,117的优先权。

技术领域

本公开涉及增强现实领域的领域，并且特别涉及向定格内容添加增强实现效果。

背景技术

本文提供的背景描述用于总体上呈现本公开的上下文的目的。除非本文另外指示，在该章节中描述的资料不是该申请的权利要求的现有技术并且不要通过包括在该章节内来承认其成为现有技术。

定格是一种使得实际操控对象或人看起来独自移动的动画片制作技术。目前，可通过拍摄对象的快照图像，使对象在每个快照之间稍稍移动，然后回放作为一个连续序列的一系列快照帧以创建对象的移动的假像来创建定格动画内容。然而，在现有技术的情况下，可能证实创建用于定格内容的视觉或音频效果（例如增强现实效果）是一种困难的技术任务，它需要用户花费大量时间、精力和资源。

附图说明

通过结合附图的以下详细描述将会容易理解实施例。为了促进该描述，相似的参考数字指定相似的结构元件。通过示例的方式并且不通过限制的方式来在附图的各图中图示实施例。

图1是图示根据各种实施例的用于在定格内容中提供增强现实（AR）效果的示例设备100的框图。

图2图示根据一些实施例的使用参考图1描述的技术向定格内容添加AR效果的示例。

图3图示根据一些实施例的用于向定格内容添加AR效果的示例过程。

图4图示根据一些实施例的用于检测定格内容中的AR效果的指示的示例例程。

图5图示根据各种实施例的适合于实行本公开的各种方面的示例计算环境。

具体实施方式

在下面的详细描述中，参考形成其一部分的附图，在附图中相似的数字指定遍及全文的相似部件，并且在其中通过图示的方式示出可被实行的实施例。要理解，可利用其他实施例并且可在不偏离本公开的范围的情况下做出结构或逻辑变化。因此，不要以限制的意义来采用下面的详细描述，并且实施例的范围由所附权利要求及其等同物来限定。

在本文中描述与向定格内容提供增强现实（AR）效果相关联的计算设备、方法和存储介质。在一个实例中，用于在定格内容中提供增强现实（AR）效果的设备可包括：处理器；内容模块，其被该处理器操作以获得具有定格内容的多个帧，其中的一些可包括增强现实效果的指示；以及增强模块，其被处理器操作以检测增强现实效果的指示，并将对应于该指示的增强现实效果添加至具有定格内容的多个帧中的一些。

可将各种操作以最有助于理解所要求保护的主题的方式依次描述为多个分立的动作或操作。然而，描述的顺序不应该被解释为暗示这些操作必须是依赖于顺序的。特别地，可能不以呈现的顺利来执行这些操作。可以以与所描述的实施例不同的顺序来执行所描述的操作。各种附加操作可被执行以及/或者可在另外实施例中省略所述操作。

为了本公开的目的，短语“A和/或B”意味着（A）、（B）或（A和B）。为了本公开的目的，短语“A、B和/或C”意味着（A）、（B）、（C）、（A和B）、（A和C）、（B和C）或、（A、B和C）。

该描述可使用短语“在一个实施例中”或“在实施例中”，它们每一个都可以指代相同或不同实施例中的一个或多个。此外，如关于本公开的实施例使用的术语“包括”、“包含”、“具有”等等是同义的。

如本文所使用的，术语“逻辑”和“模块”可指代以下各项、成为以下各项的一部分、或者包括以下各项：专用集成电路（ASIC）、电子电路、执行一个或多个软件或固件程序的处理器（共享的、专用的或成组的）和/或存储器（共享的、专用的或成组的）、组合逻辑电路和/或提供所述功能的其他适当部件。

图1是图示根据各种实施例的用于向定格内容提供AR效果的示例设备100的框图。如所图示的，该设备100可包括处理器112、存储器114、内容增强环境140和显示器134，它们彼此通信耦合。

内容增强环境140可包括：跟踪模块110；增强模块120；和内容渲染模块160，其被配置成提供定格内容，检测该内容中AR效果的指示，以及根据所检测到的指示来增强定格内容。

该跟踪模块110可被配置成跟踪AR效果的指示。该跟踪模块110可包括传感器阵列模块112，其可包括用来跟踪如下面所述跨越设备100分布AR效果的指示的多个传感器136。该传感器136可包括接近传感器、惯性传感器、光学传感器、光传感器、音频传感器、温度传感器、恒温器、运动传感器、振动传感器、麦克风、相机、和/或其他类型的传感器。传感器136可进一步包括用来检测AR效果的指示的触摸表面（例如传导）传感器。

可以以许多不同的方式跨越设备100分布传感器136。例如，一些传感器（例如麦克风）可驻留在跟踪模块110的记录装置132中，而其他可被嵌入被操控的对象中。例如，诸如相机之类的传感器可被放置在场景中的对象中以便捕获用户的面部表情，以便检测AR效果的指示；运动传感器（例如加速度计、陀螺仪等等）可被放置在对象中以检测与对象相关联的位置和速度变化等等。麦克风也可被安置在场景中的对象中，以捕获与定格内容相关联的音频。触摸表面传感器可被安置在场景中的对象中，以在需要的情况下检测AR效果的指示。

记录装置132可被配置成以离散帧或视频的形式记录定格内容，并用于在记录期间或之后跟踪可能与定格内容相关联的视频和音频指示。该记录装置132可被体现为适合用于捕获图像的任何外部外设（未示出）或集成装置（如所图示的），诸如静止相机、视频相机、网络摄影机、红外线（IR）相机、或能够捕获视频和/或图像的其他装置。在一些实施例中，该记录装置132可被体现为三维（3D）相机、深度相机、或双焦相机，和/或能够以其他方式生成深度图像、通道或流。记录装置132可包括对于施加于定格内容的语音命令（诸如将特定叙事添加于内容人物的命令）的用户接口（例如麦克风）。

因此，该记录装置132可被配置成（例如利用相机）捕获（记录）包括定格内容的帧，并且捕获例如在记录期间由麦克风检测到的对应数据。尽管所图示的设备100包括单个记录装置132，但是应该认识到，在其他实施例中该设备100可包括多个记录装置132（或与多个记录装置132相关联），它们可被用来例如从不同视角捕获定格内容，并且跟踪对于AR效果的指示的定格内容的场景。

该跟踪模块110可包括处理子模块150，其被配置成接收、预处理（例如数字化和加上时间戳）由记录装置132的传感器阵列112和/或麦克风提供的数据、以及将经过预处理的数据提供给增强模块120以用于下面所述的进一步处理。

增强模块120可包括对象识别子模块122，其被配置成识别针对定格内容而记录的帧中的对象，并且当被检测时使AR效果的指示与所识别的对象相关联。该对象识别子模块122可被配置成识别由记录装置132提供的视频和/或音频流中的对象。所识别的对象中的一些可包括标记物、贴纸或AR效果的其他指示。被检测到的指示可被传递到增强现实启发式子模块128以用于下面所述的进一步处理。

增强模块120可包括语音识别子模块124，其被配置成识别由用户（例如经由跟踪模块110）提供的与针对定格内容而记录的特定帧相关联的语音命令，并且至少部分基于所识别的语音命令来确定AR效果的指示。该语音识别子模块124可包括用来匹配为谁可提供语音命令的人物语音的转换器，其被配置成将期望的音调和声调效果添加至由用户为定格内容人物提供的叙事。

增强模块120可包括视频分析子模块126，其被配置成分析定格内容以确定AR效果的视觉指示，诸如由用户提供的与定格内容的特定帧相关联的基准标记物或贴纸。该视频分析模块126可进一步被配置成分析与可能不一定由用户提供的定格内容相关联的视觉效果，而其可用作AR效果的指示，例如表示诸如放大、聚焦于特定对象等等之类的事件。

视频分析子模块126可包括面部跟踪部件114，其被配置成跟踪用户的面部表情（例如嘴部移动），检测面部表情变化，记录面部表情变化，以及将用户的面部表情中的变化映射至特定帧和/或帧中的对象。面部表情可用作要被添加至定格内容的AR效果的指示，如下面将讨论的。例如，视频分析子模块126可分析用户和/或人物面部表情，例如以使人物的嘴部移动与由用户经由语音命令提供的音频叙事同步。

视频分析子模块126可进一步包括用来跟踪由用户提供的与被记录的定格内容的特定帧有关的手势的手势跟踪部件116。手势单独地或与其他指示（诸如语音命令）组合地可用作要被添加至定格内容的AR效果的指示，如下面将讨论的。

视频分析子模块126可被配置成识别由用户插入被记录帧中的标记物中的关键颜色，触发人物的脸的识别以及人物的移动的关键点、使得用户能够通过将标记物放置在要被记录的场景中来将人物插入视频中的某点处。该视频分析子模块126可被配置成基于在视频中检测到的对象来标识以视觉元素（诸如爆炸、烟雾、刹车痕迹）形式的AR效果的放置。因此，可以以由视频分析子模块126在视频中检测到的对象的逻辑邻近和取向来放置被标识的AR效果。

增强模块120可包括自动化AR启发式子模块128，其被配置成提供特定AR效果与由模块120、122、124、126标识的AR效果的特定事件或基于用户输入的指示的关联。例如，自动化AR启发式模块128可包括提供AR效果与被传感器阵列112跟踪的传感器读取或标记物相关联的规则。该规则的示例可包括以下内容：如果帧中对象的加速事件大于X并且取向小于Y，则使得车轮尖叫声持续N个帧；如果帧中对象的加速事件大于X并且取向大于Y，则使得碰撞声持续N个帧；如果在视频流的帧中检测到块Y，则将AR效果Y添加在视频的块Y区域中达块Y存在于视频流的帧中的持续时间。

内容增强环境140可进一步包括内容渲染模块160。该内容渲染模块可包括视频渲染子模块162和AR渲染子模块164。该视频渲染子模块162可被配置成渲染由用户捕获（例如记录）的定格内容。该AR渲染子模块164可被配置成利用所添加的AR效果来渲染定格内容。该AR渲染子模块164可被配置成将定格内容张贴到视频共享服务，在那里可完成附加的后处理以改进定格效果。

该设备100可包括AR模型资料库130，其被配置为用于与所检测到的指示相关联的或由自动化AR启发式模块128中存储的规则提供的AR效果的储存库。例如，AR模型资料库130可存储具有特定性质和对应AR效果软件的手势、语音命令或标记物的索引。例如，如果黄色的标记物被检测为AR效果的指示，则可从AR模型资料库130检索的对应AR效果可包括黄色烟雾。在另一示例中，AR模型资料库130可存储响应于执行自动化AR启发式子模块128中存储的各规则之一可检索的AR效果。例如，上文参考自动化AR启发式子模块128讨论的规则可要求从AR模型资料库检索车轮尖叫声或碰撞声。在一些实施例中，AR模型资料库130可驻留在存储器114中。在一些实施例中，AR模型资料库130可包括指示检测模块120和内容渲染模块160可访问的储存库。

另外，在一些实施例中，所图示的部件中的一个或多个可被并入另一部件或者另外形成该另一部件的一部分。例如，在一些实施例中，存储器114或其部分可被并入处理器112中。在一些实施例中，设备100的处理器112和/或存储器114可被配置成处理由眼动跟踪器110提供的数据。将会理解，增强模块120和内容渲染模块160可包括硬件、软件（例如存储在存储器114中）、或其组合。

应该认识到，在一些实施例中，所图示的部件中的任一个或所有（诸如记录装置132和/或传感器阵列112）可与设备100分开且远离，但与该设备100通信耦合。一般来说，设备100的功能（诸如处理能力和/或存储器容量）中的一些或所有可与增强环境140一起使用或共享。此外，内容增强环境的至少一些部件（例如资料库130、处理子模块150、增强模块120和内容渲染模块160可被设备100访问（例如与设备100通信耦合），但可能没必要驻留在设备100上。上文提到的部件中的一个或多个可跨越设备100被分布和/或驻留在云计算服务上以主控这些部件。

在操作中，使用设备100获得具有添加AR效果的定格内容可包括下面的动作。例如，用户可为定格内容（例如动画）拍摄各个快照或捕获视频。用户可或者操控（例如移动）动画的一个或多个对象并捕获处于新位置的（一个或多个）对象，或者在对象操控的过程中拍摄（一个或多个）对象的视频。结果，用户可根据特定实施例创建可包括动画的一个或多个对象的一系列帧。由记录装置132捕获的定格内容可被记录并提供给内容模块160以用于渲染或进一步处理。内容模块160可将所获得的定格内容渲染至内容增强环境140以用于如下面讨论的处理和添加AR效果。

用户还可创建期望AR效果的指示并将它们与定格内容相关联。AR效果的指示可在内容的创建期间或在如上文所述创建的定格内容的初始版本的回放上（例如通过视频渲染子模块162）被添加至定格内容。用户可以各种各样的方式来创建AR效果的指示。例如，用户可使用空中手势、触摸手势、物理块的手势、语音命令、面部表情、语音命令和面部表情的不同组合等等。

以手势示例继续，用户可指向可与AR效果相关联的帧中对象、与该对象相关联或以其他方式指示该对象。除了对象的指示之外，该手势可指示特定类型的AR效果。例如，特定类型的手势可被分配特定类型的AR效果：拳头可用作爆炸或斗争的指示、等等。

手势可与语音命令相关联（例如经由记录装置132）。例如，用户可指向帧中对象并提供特定类型的AR效果被添加至帧中对象的音频命令。手势可指示AR效果的持续时间，例如通过指示效果可持续多少个帧。

在一些实施例中，语音命令可指示对象（例如动画人物）和该人物可明确表达的特定叙事。用户还可使用例如与语音命令相关联的面部表情。该语音命令还可具有效果的持续时间的指示。例如，要被明确表达的脚本的长度可对应于该脚本可其期间被明确表达的特定数目的帧。在另一示例中，该命令可直接指示AR效果的时间特性（例如“三分钟”、“五个帧”、等等）。如上文所述，诸如语音命令、面部表情、手势或其组合的用户输入可以是在输入时被加上时间戳的，以提供与场景和被记录的（一个或多个）帧）的相关性。

用户可使用标记物（例如放在要被记录的定格内容的场景中对象）来创建AR效果的指示。例如，用户可使用基准标记物或贴纸，并将该标记物或贴纸与可被捕获为一个或多个帧的特定场景和/或场景中对象相关联，以创建期望AR对象的指示。例如，用户可将标记物放在要被捕获的场景中以指示要与AR效果相关联的场景中对象。该标记物还可指示AR效果的类型。标记物还可指示效果的时间特性（例如持续时间）。

例如，不同颜色可对应于不同数目的帧或者对应AR效果可在其期间持续的时间段。在另一示例中，标记物在某一数目帧中的包含和标记物的后续排除可指示AR效果的时间特性。在另一示例中，基准标记物可将人物添加至要被捕获的场景。例如，人物可以是“空白”的物理块，其可通过可能被施加的基准标记物来得到它的特性。

期望AR效果的指示可能不一定与上文所述的用户输入相关联。换言之，AR效果可响应于定格动画的上下文中的特定事件而自动被添加至定格内容，不用用户作出有目的性的指示。AR效果的一些指示可包括设备100可识别的并相应进行处理的事件。例如，用户可将传感器添加于要被捕获的场景中对象，诸如使用跟踪模块10的传感器阵列112。如上文所述，传感器可包括接近传感器、惯性传感器、光学传感器、光传感器、音频传感器、温度传感器、恒温器、运动传感器、触摸、振动传感器和/或其他类型的传感器。

传感器可提供例如在记录定格内容期间要由记录装置132记录的对象移动（例如加速度计、陀螺仪等等）的指示。例如，加速度计数据的连续流可与到达包括定格动画的视频帧的时间戳相关。当检测到加速度计事件（例如高于阈值的加速度参数的变化可被增强模块120检测到）时，第一相关帧可以是当被添加时在其中对应AR效果可开始的一个帧。

例如，如果动画的对象是车辆，则视频内容中车辆的翻倒和后续“碰撞”可促使加速度计被嵌入车辆排气孔中。因此，可产生要通过增强模块120检测的AR效果（例如，爆炸声和/或烟雾）的指示。在另一示例中，如果对象（车辆）近似以90度角翻倒（这可通过增强模块120来检测到），则可能需要添加碰撞或重击声。然而，如果加速度计位置在几个帧内变回去，则系统可停止AR效果（例如烟雾或车轮的尖叫声）。例如，如果存在与场景中对象相关联的允许检测移动（例如翻倒或突然停止）的加速度计，则可添加AR效果（例如声音效果），即使用户不明确地请求该效果。

在另一示例中，包括定格内容的视频可被分析并且可从其他类型的事件辨别AR效果的指示，诸如相机放大或聚焦于特定对象、场景中人物的面部表情等等。在其他示例中，定格内容可被分析以确定在帧序列中出现的状况的特定序列（在某些情况下结合对应传感器读数变化或相机聚焦变化）可能需要添加AR效果。例如，对对象的放大结合检测对象速度的变化的分析可导致以下确定：对象与障碍物或另一对象的碰撞可能被预料，并且视觉和或声音AR效果可能需要被添加至定格内容。

如果增强模块120检测到AR效果的指示（如上文所述或者与用户输入有关或者与事件有关），则增强模块可检索对应于该指示的AR效果并且例如通过确定AR效果在帧中的位置（放置）以及AR效果的持续时间（例如多少个帧可被用于使AR效果持续）来将该AR效果与定格内容相关联。可根据对应的指示来确定AR效果的放置。例如，手势可指向可与AR效果相关联的对象。在另一示例中，语音命令可指示AR效果的放置。在另一示例中，标记物放置可指示AR效果的放置。

类似地，如上文所述，可由用户经由语音命令或其他指示（例如标记物颜色）来确定AR效果的持续时间。在另一示例中，AR效果的持续时间可与AR效果数据相关联并且相应地可以是预确定的。在另一示例中，可通过分析帧内的对象以及它们的动力学（例如运动、移动、取向的变化等等）来从帧导出AR效果的持续时间。在上文讨论的车辆动画的上述示例中，车辆可能会滑行达一些帧，并且可相应地确定要持续的对应声音效果。

一旦AR效果的放置和持续时间被确定，AR效果就可与定格内容相关联（例如通过增强现实渲染子模块164）。在一些实施例中，该相关联可在定格内容的初始版本的记录和渲染期间发生。在一些实施例中，定格内容的初始版本可以首先被记录并且AR效果可在定格内容的渲染期间与该内容相关联。在一些实施例中，AR效果与定格内容的关联可包括将AR效果添加至定格内容（例如将效果放置在所确定的位置达所确定的持续时间）。在另一示例中，该关联可包括存储关于关联的信息（例如定格内容中所标识的AR效果的所确定的放置和持续时间），并且在另一迭代中将AR效果添加至定格内容（例如在通过视频渲染子模块162的定格内容的另一渲染期间）。

一旦如上文所述所标识的AR效果被添加至定格内容，则该定格内容可被渲染给用户（例如渲染在显示器134上）。如上文所述，可以以规则方式通过操控结果得到的场景的对象和记录快照（帧）来创建定格内容。在实施例中，可以以定格动画创建的视频的形式来捕获定格内容并且随后对其进行编辑。例如，可基于视频的分析和检测到无关对象（例如用户的手、操作杆等等）从视频排除包括对象操控（例如通过用户的手或操作杆等等）的帧。将视频转换成定格内容可与如上文所述以标识AR效果并将所标识的AR效果添加至定格内容为目标的动作相组合。在一些实施例中，将视频转换成定格内容可在将所标识的AR效果添加至定格内容之前发生。

在另一示例中，被操控的块可具有例如通过电容或压力敏感性使能的触摸敏感表面。如果用户在说的同时触摸该触摸敏感块，则用户的语音可归因于该块。该块可具有与其相关联的基于故事的人物，因此如上所述用户的语音可被改变成像定格增强现实视频中的该人物那样的声音。在另一示例中，用户可在扭曲他或她的脸的同时握住触摸敏感块。在一个示例中，可检测到对块的触摸以及人的脸，并且可应用对定格增强现实视频中的块的人类面部表情的分析。

图2图示根据一些实施例的使用参考图1描述的技术的AR效果到定格内容的添加的示例。视图200图示用于记录定格内容的场景的创建。对象202（例如内部具有一些人物（包括人物1 204）的房屋）要通过用户的手206来操控。视图220图示通过用户的期望AR效果的指示的提供。用户的手206被示为提供指示期望AR效果可与其相关联的对象的手势（在这种情况下，指向或固定人物1 204的位置，在视图220中不可见）。用户还可发出与手势相关联的语音命令。例如，用户可发出为人物1 204指示叙事的语音命令。在这种情况下，该叙事可包括句子“我抓住你了”。AR效果的指示可包括指示将会说预期线路的人物以及线路自身的手势。人物的指示还可由语音命令来提供，以确保期望AR效果的正确检测。因此，语音命令可包括“人物1说“我抓住你了””。可（例如由记录装置132）记录视图200和220中所图示的场景。

视图240包括基于视图200和220中图示的场景要被记录为定格内容的结果得到的场景。结果得到的场景可包括帧242以及帧242的一部分的展开视图244。作为使用参考图1描述的设备100的内容增强环境140和动作来检测AR效果的指示（用户的手势和语言命令）的结果，已经标识对应的AR效果并将其添加至场景（例如添加至人物1 204）。也就是说，如上文指出的，讲述叙事的人物已经被手势和语音命令标识出。要由人物1讲述的叙事可被分配给人物1。而且，要由被讲述的叙事可被转换成语音以适合于人物，例如人物1的语音。因此，结果得到的帧242可以是可包括期望AR效果的定格内容的一部分。该AR效果可与如由用户经由语音命令指引的人物1 204相关联。更具体地，人物1 204利用由用户在视图220中提供的叙事向另一人物（人物2 216）说话。如在展开视图244中所示的，人物1 204用他自己的语音大声说“我抓住你了”。

图3图示根据一些实施例的用于将AR效果添加至定格内容的示例过程。该过程300可例如由配置有参考图1描述的内容增强环境140的设备100来执行。

该过程300可在块302处开始，并且包括获得具有定格内容的多个帧。该定格内容可包括相关联的数据，例如AR效果的用户输入指示、由跟踪模块110提供的传感器读数、等等。

在块304处，该过程300可包括例如利用增强模块120执行检测定格内容的至少一个帧中的增强现实效果的指示的例程。参考图4来更详细地描述块304的例程。

在块306处，该过程300可包括将与该指示相对应的增强现实效果添加至该多个帧中的至少一些（例如通过增强模块120）。在一些实施例中，添加AR效果可基于通过例程304获得的关联数据来在所记录的定格内容的第二渲染期间发生。在其它实施例中，添加AR效果可在所记录的定格内容的第一渲染期间发生。

在块308处，该过程300可包括利用所添加的增强现实效果来渲染该多个帧以用于显示（例如通过内容渲染模块160）。

图4图示根据一些实施例的用于检测AR效果在定格内容中的指示的示例例程400。该过程400可例如由配置有参考图1描述的增强模块120的设备100来执行。

该过程400可在块402处开始，并且包括分析定格内容的帧以及相关联数据，以便检测AR效果的指示（如果有的话）。如上文所述，AR效果的指示可包括语音命令、基准标记物、手势、用户的面部表情、或其组合。在一些实施例中，AR效果的指示可包括传感器读数中的变化、相机焦点中的变化、场景中人物的面部表情中的变化、或其组合。

在判定块404处，该过程400可包括确定是否已经检测到上述AR效果的指示。如果还没有检测到指示，则该过程400可移动至块416。如果已经检测到AR效果的指示，则该过程400可移动至块406。

在块406处，该过程400可包括标识对应于指示的AR效果。如参考图1所述的，例如对应于所检测到的指示的AR效果可以被标识并且可从AR模型资料库130检索到。

在块408处，该过程400可包括确定AR效果的持续时间以及AR效果在帧中的放置。如上文所述，AR效果的持续时间可根据语音命令（其可直接陈述效果的持续时间）、手势（例如指示效果可持续的帧的数目）、标记物（例如特定颜色的标记物）等等来确定。AR效果的放置也可根据手势（其可指向AR效果可与其相关联的对象）、语音命令（其可指示AR效果的放置）、标记物（其可指示AR效果的放置）等等来确定。

在块410处，该过程400可包括基于块408中进行的确定将AR效果与一个或多个帧相关联。更具体地，AR效果可与在块408处确定的持续时间和放置数据相关联。

可替换地或附加地，根据持续时间和放置数据该AR效果可被添加至定格内容。

在判定块412处，该过程400可包括确定被检查的当前帧是否是定格内容中的最后一帧。如果当前帧不是最后一帧，则该过程400可移动至块414，这可指引过程400移动至下一帧进行分析。

应该理解，参考图4描述的动作可能不一定以所述的顺序来发生。例如，对应于块408的动作可与对应于块40的动作同时发生。

图5图示根据各种实施例的适合于用来实行本公开的方面的示例计算装置500。如所示的，计算装置500可包括一个或多个处理器或处理器内核502、以及系统存储器504。为了本申请（包括权利要求）的目的，术语“处理器”和“处理器内核”可被视为同义的，除非上下文明确另有要求。处理器502可包括任何类型的处理器，诸如中央处理单元（CPU）、微处理器等等。处理器502可被实施为具有多个内核（例如多内核微处理器）的集成电路。该计算装置500可包括大容量存储装置506（诸如磁盘、硬盘驱动器、易失性存储器（例如DRAM）、压缩盘只读存储器（CD-ROM）、数字多功能盘（DVD）、等等）。一般来说，系统存储器504和/或大容量存储装置506可以是任何类型的临时和/或永久存储设备，包括但不限于易失性和非易失性存储器、光、磁和/或固态大容量存储设备、等等。易失性存储器可包括但不限于静态和/或动态随机存取存储器。非易失性存储器可包括但不限于电可擦除可编程只读存储器、相变存储器、电阻式存储器、等等。

计算装置500可进一步包括输入/输出（I/O）装置508（诸如显示器134）、键盘、光标控制、远程控制、游戏控制器、图像捕获装置、等等）以及通信接口（通信INTF）510（诸如网络接口卡、调制解调器、红外线接收器、无线电接收器（例如蓝牙）、等等）。如所示，该I/O装置508可进一步包括跟踪模块110的部件。

通信接口510可包括通信芯片（未示出），其可被配置成根据全球移动通信系统（GSM）、通用分组无线业务（GPRS）、通用移动电信系统（UMTS）、高速分组接入（HSPA）、演进的HSPA（E-HSPA）或LTE网络来操作装置500（或100）。该通信芯片还可被配置成根据GSM演进的增强数据（EDGE）、GSM EDGE无线电接入网（GERAN）、通用陆地无线电接入网（UTRAN）、或演进的UTRAN（E-UTRAN）来操作。该通信芯片可被配置成根据码分多址（CDMA）、时分多址（TDMA）、数字增强无绳通信（DECT）、演进数据优化（EV-DO）、其衍生物、以及被指定为3G、4G、5G和更远的任何其他无线协议来操作。在其他实施例中该通信接口510可根据其他无线协议来操作。

上述计算装置500的元件可经由系统总线512（其可表示一个或多个总线）来耦合。在多总线的情况下，它们可通过一个或多个总线桥接器（未示出）来桥接。这些元件中的每一个可执行本领域中已知的其传统功能。特别地，系统存储器504以及大容量存储装置506可被采用来存储实施与设备100相关联的操作的编程指令的工作副本和永久副本，通常被示为计算逻辑522，该操作例如与提供内容增强环境140（诸如参考图1和3-4所述的增强模块120和渲染模块160）相关联的操作。计算逻辑522可通过（一个或多个）处理器502所支持的汇编指令或可被编译成此类指令的高级语言来实施。

编程指令的永久副本可在工厂中或者在现场中例如通过诸如压缩盘（CD）之类的分布式介质（未示出）或通过通信接口510（来自分布式服务器（未示出））被放置在大容量存储装置506中。

更一般地，被配置成实行与所述过程相关联的操作的所有或所选一些的指令可被驻留在非瞬时计算机可读存储介质或多媒体（例如大容量存储装置506）上。非瞬时计算机可读存储介质可包括使得装置（例如计算装置500）能够响应于编程指令的执行来执行参考图3-4所述的过程的一个或多个操作的许多编程指令。在可替换实施例中，编程指令可被编码到瞬时计算机可读信号中。

元件508、510、512的数目、能力和/或容量可根据计算装置500是被用作静止计算装置（诸如机顶盒或桌上型计算机）还是移动计算装置（诸如平板计算装置、膝上型计算机、游戏控制台或智能手机）而改变。它们的构成是另外已知的，并且因此将不会进一步进行描述。

处理器502中的至少一个可与具有被配置成实行参考图1-4描述的实施例的方面的计算逻辑522的存储器封装在一起。例如，计算逻辑522可被配置成包括或访问内容增强环境140，诸如参考图1所述的部件120。对于一个实施例，处理器502中的至少一个可与具有被配置成实行图3-4的过程300和400的方面的计算逻辑522的存储器封装在一起以形成封装系统（SiP）或片上系统（SoC）。

在各种实施方式中，该计算装置500可包括膝上型电脑、上网本、笔记本、超级本、智能电话、平板电脑、个人数字助理（PDA）、超级移动PC、移动电话、桌上型计算机、服务器、打印机、扫描仪、监视器、机顶盒、娱乐控制单元、数字相机、便携式音乐播放器或数字视频记录器。在进一步的实施方式中，该计算装置500可以是处理数据的任何其他电子装置。

下面的段落描述各种实施例的示例。示例1是用于增强定格内容的设备，包括：处理器；内容模块，其由处理器来操作以获得具有定格内容的多个帧，其中该多个帧中的一个或多个包括增强现实效果的指示；以及增强模块，其由处理器来操作以检测增强现实效果的指示；并将对应于该指示的增强现实效果添加至具有定格内容的多个帧中的至少一些。

示例2可包括示例1的主题，其中该内容模块用于进一步利用所添加的增强现实效果渲染该多个帧以用于显示，其中该多个帧与所添加的增强现实效果形成定格视频。

示例3可包括示例1的主题，其中该增强模块用于根据该指示从增强现实效果储存库检索增强现实效果。

示例4可包括示例1的主题，其中用于获得多个帧的内容模块包括用于记录包括包含用户输入的数据的多个帧中的每一个，其中该用户输入包括与该一个或多个帧相关联的增强现实效果的指示。

示例5可包括示例4的主题，其中该增强现实效果的指示是从以下之一选择的：语音命令、基准标记物、手势、用户的面部表情、或其组合。

示例6可包括示例1的主题，其中用于检测增强现实效果的指示的增强模块包括用于针对增强现实效果的指示来分析多个帧中的每一个。

示例7可包括示例1的主题，其中用于添加增强现实效果的增强模块包括用于确定与定格内容有关的增强现实效果的放置和持续时间。

示例8可包括示例1至7中的任一项的主题，其中用于检测增强现实效果的指示的增强模块包括用于独立于用户输入标识包括增强现实效果的指示的一个或多个事件。

示例9可包括示例8的主题，其中用于标识一个或多个事件的增强模块包括用于获得由与在一个或多个帧中捕获的对象相关联的一个或多个传感器提供的读数。

示例10可包括示例9的主题，其中用于标识一个或多个事件的增强模块包括用于检测相机焦点中的变化以及与一个或多个帧相关联的传感器读数中的对应变化的组合。

示例11可包括示例1至10中的任一项的主题，其中用于获得具有定格内容的多个帧的内容模块包括用于：获得具有第一多个帧的视频；检测关于各帧中的至少一些中一个或多个对象的用户操控；以及排除包括检测到的用户操控的那些帧以形成第二多个帧，其中该第二多个帧包括包含定格内容的多个帧。

示例12是一种用于增强定格内容的计算机实施的方法，包括：由计算装置获得包括定格内容的多个帧，其中该多个帧中的一个或多个包括增强现实效果的指示；由计算装置检测增强现实效果的指示；以及由计算装置将对应于该指示的增强现实效果添加至包括定格内容的多个帧中的至少一些。

示例13可包括示例12的主题，进一步包括：由计算装置利用所添加的增强现实效果渲染多个帧以用于显示。

示例14可包括示例12的主题，其中获得多个帧包括由计算装置记录包括包含用户输入的数据的多个帧中的每一个，其中用户输入包括与一个或多个帧相关联的增强现实效果的指示。

示例15可包括示例12至14中的任一项的主题，其中进一步包括：由计算装置针对增强现实效果的指示来分析多个帧中的每一个。

示例16可包括示例12至15中的任一项的主题，其中检测增强现实效果的指示包括由计算装置获得由与在一个或多个帧中捕获的对象相关联的一个或多个传感器提供的读数。

示例17是具有用于增强存储在其上的定格内容的指令的一个或多个计算机可读介质，该指令响应于通过计算装置执行来提供具有内容增强环境的计算装置以用于：获得包括定格内容的多个帧，其中该多个帧中的一个或多个包括增强现实效果的指示；以及检测增强现实效果的指示；并将对应于该指示的增强现实效果添加至包括定格内容的多个帧中的至少一些。

示例18可包括示例17的主题，其中该内容增强环境用于根据该指示从增强现实效果储存库检索增强现实效果。

示例19可包括示例17至18中的任一项的主题，其中该内容增强环境用于记录包括具有用户输入的数据的多个帧中的每一个，其中用户输入包括与该一个或多个帧相关联的增强现实效果的指示。

示例20可包括示例17至19中的任一项的主题，其中该内容增强环境用于针对增强现实效果的指示来分析多个帧中的每一个。

示例21是一种用于增强定格内容的设备，包括：用于获得包括定格内容的多个帧的装置，其中该多个帧中的一个或多个包括增强现实效果的指示；用于检测增强现实效果的指示的装置；以及用于将对应于该指示的增强现实效果添加至包括定格内容的该多个帧中的至少一些的装置。

示例22可包括示例21的主题，进一步包括：用于利用所添加的增强现实效果渲染多个帧以用于显示的装置。

示例23可包括示例21的主题，其中用于获得多个帧的装置包括用于记录包括包含用户输入的数据的多个帧中的每一个的装置，其中用户输入包括与一个或多个帧相关联的增强现实效果的指示。

示例24可包括示例21至23中的任一项的主题，其中进一步包括：用于针对增效现实效果的指示来分析多个帧中的每一个的装置。

示例25可包括示例21至24中的任一项的主题，其中用于检测增强现实效果的指示的装置包括用于获得由与在一个或多个帧中捕获的对象相关联的一个或多个传感器提供的读数的装置。

用于执行上述技术的计算机可读介质（包括非瞬时计算机可读介质）、方法、设备、系统和装置是本文公开的实施例的说明性示例。另外，上述交互中的其他装置可被配置成执行各种公开的技术。

尽管为了描述目的已经说明并描述了某些实施例，但是在不偏离本公开的范围的情况下被计算用来实现相同目的的各种各样的替换和/或等效实施例或实施方式可取代所示出和描述的实施例。意图使本申请覆盖本文讨论的实施例的任何适配或变化。因此，显然意图使本文所述的实施例仅由权利要求来限制。

Claims (25)

1.一种用于增强定格内容的设备，包括：

处理器；

内容模块，其由处理器来操作以获得具有定格内容的多个帧，其中该多个帧中的一个或多个包括增强现实效果的指示；以及

增强模块，其由处理器来操作以检测增强现实效果的指示；并将对应于该指示的增强现实效果添加至具有定格内容的多个帧中的至少一些。

2.根据权利要求1所述的设备，其中该内容模块用于进一步利用所添加的增强现实效果渲染该多个帧以用于显示，其中该多个帧与所添加的增强现实效果形成定格视频。

3.根据权利要求1所述的设备，其中该增强模块用于根据该指示从增强现实效果储存库检索增强现实效果。

4.根据权利要求1所述的设备，其中用于获得多个帧的内容模块包括用于记录包括包含用户输入的数据的多个帧中的每一个，其中该用户输入包括与该一个或多个帧相关联的增强现实效果的指示。

5.根据权利要求4所述的设备，其中该增强现实效果的指示是从以下之一选择的：语音命令、基准标记物、手势、用户的面部表情、或其组合。

6.根据权利要求1所述的设备，其中用于检测增强现实效果的指示的增强模块包括用于针对增强现实效果的指示来分析多个帧中的每一个。

7.根据权利要求1所述的设备，其中用于添加增强现实效果的增强模块包括用于确定与定格内容有关的增强现实效果的放置和持续时间。

8.根据权利要求1所述的设备，其中用于检测增强现实效果的指示的增强模块包括用于独立于用户输入标识包括增强现实效果的指示的一个或多个事件。

9.根据权利要求8所述的设备，其中用于标识一个或多个事件的增强模块包括用于获得由与在一个或多个帧中捕获的对象相关联的一个或多个传感器提供的读数。

10.根据权利要求9所述的设备，其中用于标识一个或多个事件的增强模块包括用于检测相机焦点中的变化以及与一个或多个帧相关联的传感器读数中的对应变化的组合。

11.根据权利要求1至10中的任一项所述的设备，其中用于获得具有定格内容的多个帧的内容模块包括用于：

获得具有第一多个帧的视频；

检测关于各帧中的至少一些中一个或多个对象的用户操控；以及

排除包括检测到的用户操控的那些帧以形成第二多个帧，其中该第二多个帧包括包含定格内容的多个帧。

12.一种用于增强定格内容的计算机实施的方法，包括：

由计算装置获得包括定格内容的多个帧，其中该多个帧中的一个或多个包括增强现实效果的指示；

由计算装置检测增强现实效果的指示；以及

由计算装置将对应于该指示的增强现实效果添加至包括定格内容的多个帧中的至少一些。

13.根据权利要求12所述的计算机实施的方法，进一步包括：

由计算装置利用所添加的增强现实效果渲染多个帧以用于显示。

14.根据权利要求12所述的计算机实施的方法，其中获得多个帧包括由计算装置记录包括包含用户输入的数据的多个帧中的每一个，其中用户输入包括与一个或多个帧相关联的增强现实效果的指示。

15.根据权利要求12所述的计算机实施的方法，进一步包括：由计算装置针对增强现实效果的指示来分析多个帧中的每一个。

16.根据权利要求12至15中的任一项所述的计算机实施的方法，其中检测增强现实效果的指示包括由计算装置获得由与在一个或多个帧中捕获的对象相关联的一个或多个传感器提供的读数。

17.具有用于增强存储在其上的定格内容的指令的一个或多个非瞬时计算机可读介质，该指令响应于通过计算装置执行来提供具有内容增强环境的计算装置以用于：

获得包括定格内容的多个帧，其中该多个帧中的一个或多个包括增强现实效果的指示；以及

检测增强现实效果的指示；并将对应于该指示的增强现实效果添加至包括定格内容的多个帧中的至少一些。

18.根据权利要求17所述的非瞬时计算机可读介质，其中该内容增强环境用于根据该指示从增强现实效果储存库检索增强现实效果。

19.根据权利要求17所述的非瞬时计算机可读介质，其中该内容增强环境用于记录包括包含用户输入的数据的多个帧中的每一个，其中用户输入包括与该一个或多个帧相关联的增强现实效果的指示。

20.根据权利要求17至19中的任一项所述的非瞬时计算机可读介质，其中该内容增强环境用于针对增强现实效果的指示来分析多个帧中的每一个。

21.一种用于增强定格内容的设备，包括：

用于获得包括定格内容的多个帧的装置，其中该多个帧中的一个或多个包括增强现实效果的指示；

用于检测增强现实效果的指示的装置；以及

用于将对应于该指示的增强现实效果添加至包括定格内容的该多个帧中的至少一些的装置。

22.根据权利要求21所述的设备，进一步包括：

用于利用所添加的增强现实效果渲染多个帧以用于显示的装置。

23.根据权利要求21所述的设备，其中用于获得多个帧的装置包括用于记录包括包含用户输入的数据的多个帧中的每一个的装置，其中用户输入包括与一个或多个帧相关联的增强现实效果的指示。

24.根据权利要求21所述的设备，进一步包括：

用于针对增效现实效果的指示来分析多个帧中的每一个的装置。

25.根据权利要求21至24中的任一项所述的设备，其中用于检测增强现实效果的指示的装置包括用于获得由与在一个或多个帧中捕获的对象相关联的一个或多个传感器提供的读数的装置。