CN104219559B - 在视频内容中投放不明显叠加 - Google Patents

在视频内容中投放不明显叠加 Download PDF

Info

Publication number
CN104219559B
CN104219559B CN201410189217.1A CN201410189217A CN104219559B CN 104219559 B CN104219559 B CN 104219559B CN 201410189217 A CN201410189217 A CN 201410189217A CN 104219559 B CN104219559 B CN 104219559B
Authority
CN
China
Prior art keywords
superposition
video
video content
content
unobvious
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410189217.1A
Other languages
English (en)
Other versions
CN104219559A (zh
Inventor
D·巴尼卡
A·库库
P-A·奇里塔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Adobe Inc
Original Assignee
Adobe Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Adobe Systems Inc filed Critical Adobe Systems Inc
Publication of CN104219559A publication Critical patent/CN104219559A/zh
Application granted granted Critical
Publication of CN104219559B publication Critical patent/CN104219559B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/254—Management at additional data server, e.g. shopping server, rights management server
    • H04N21/2543—Billing, e.g. for subscription services
    • H04N21/2547—Third Party Billing, e.g. billing of advertiser
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8545—Content authoring for generating interactive applications

Abstract

本发明的各实施方式总体上涉及在视频内容中投放不明显叠加。具体地，提供了一种用于在视频内容中投放叠加的方法和系统。一种方法接收视频内容和输入，该输入指示将在视频中投放的叠加。该方法基于叠加和视频性质确定可以投放叠加的位置。该方法呈现用于叠加的建议位置并且接收建议位置的选择。在选择的位置投放叠加。该系统包括具有用于向视频内容中插入叠加的指令。该系统接收将在视频中投放的叠加的指示、对视频执行注意力建模以标识可能让查看者感兴趣的区段。该系统呈现在标识的区段内的可以插入叠加的位置并且接收位置的选择。该系统向选择的位置中插入叠加并且渲染具有插入的叠加的视频。

Description

在视频内容中投放不明显叠加
技术领域
本公开总体上涉及用于在视频内容中投放叠加的由计算机实施的方法和系统，并且更具体地涉及在视频内容中的不明显位置投放叠加。
背景技术
视频内容可以作为点播视频(VOD)、时移电视、实况电视、媒体如数字视频盘(DVD)、作为数字视频信号向影院分发的运动图片以及作为向计算设备分发的电子内容从提供者分发。视频内容可以作为数字信号通过空气广播、经由卫星传输以及经由通信网络(诸如因特网)流式传输、下载和上传。
鉴于这样的视频内容的广泛分发以及用于查看这样的视频内容的查看和回放设备不断激增，视频内容提供者和分发者经常运用视频广告技术以向视频内容中插入广告。
一种用于向视频内容中插入广告的现有技术方案包括向视频内容中投放线性广告。人工或者在视频内容内的预定点或者时间插入线性广告。线性广告捕获正在其上查看视频内容的整个屏幕，并且在播放广告之时停止或者中断播放视频内容。线性广告可以被插入作为将在视频内容开始播放之前播放的前置播送、作为需要在某点暂停视频内容以便播放广告的中间播送或者作为在视频内容之后播放的后置播送。线性广告之所以明显是在于它们捕获正在用来查看视频内容的整个屏幕，并且中断正在播放的视频内容。
另一现有解决方案包括向视频内容中投放非线性广告，从而在同时放映非线性广告时播放视频内容。虽然非线性广告通常比线性广告更少明显，但是它们依赖于预定屏幕位置仍然通过覆盖正在查看的视频场景的重要元素来产生明显投放。例如，通过在屏幕的底部或者顶部的预定或者预定义位置投放非线性广告，新闻或者体育视频内容的重要元素、诸如加字幕、具有标题行、比分、天气和时间信息的滚动文本、统计、证券报价和其它重要对象可能被遮蔽或者渲染得难以辨认。非线性广告包括图像、诸如在视频内容可见帧的预定义部分中出现的标志和图标以及文本数据。当前非线性广告投放技术也可能关于在其中投放非线性广告的视频内容帧中的相邻颜色产生不兼容颜色组合。例如，当前技术可能由于与相邻视频内容不兼容或者鲜明对比的颜色组合而产生难以辨认和/或炫耀的广告。
这些现有解决方案未提供基于视频内容和叠加的性质自动化匹配叠加与视频内容。传统广告投放技术不允许基于标识在视频内容内的重要对象自动化确定用于投放广告的不明显位置。这些技术也缺乏一种用于基于备选位置的相对显著性从备选不明显位置自动或者交互选择广告位置的方式。
发明内容
在一个实施方式中，一种方法包括在计算设备接收视频内容和将在视频内容中投放的叠加的指示。叠加可以是诸如文本、图像和多媒体内容的电子内容项。至少部分基于叠加的性质和视频内容的性质，该方法确定可以在视频内容内放置叠加的位置。该实施方式涉及到在计算设备的显示器上的用户界面中呈现多个位置作为用于叠加的建议位置。该方法接收建议的位置之一的选择并且在选择的位置投放叠加。
在另一实施方式中，一种系统具有输入设备、显示设备、处理器和存储器。存储器具有在其上存储的指令，该指令如果由处理器执行则使处理器执行用于向视频内容中插入叠加的操作。所述操作包括接收将在视频内容中投放的叠加的指示。该系统对视频内容的帧执行注意力建模以标识视频内容中的可能让视频内容的查看者感兴趣的区段。该系统在显示设备上呈现用户界面。用户界面指示在标识的区段内的可以向其中插入叠加的位置。该系统经由输入设备接收在标识的区段之一内的位置的选择。该系统向选择的位置中插入叠加并且在显示设备上渲染具有插入的叠加的视频内容。
这些示例特征被提及并非用于限制或者限定公开内容，而是提供示例以辅助其理解。在具体实施方式中讨论附加实施方式并且这里提供进一步描述。可以通过考察本说明书或者通过实现呈现的一个或者多个实施方式来进一步理解各种实施方式中的一个或者多个实施方式赋予的优点。
附图说明
本公开内容的这些和其它特征、方面及优点在参照附图阅读以下具体实施方式时能够被更好地理解，在附图中：
图1A是描绘根据实施方式的用于叠加投放系统的系统架构的框图；
图1B是描绘根据实施方式的图1A中所示叠加投放系统的部件的框图；
图2是图示在用于处理在数字视频播放器中显示的流内视频广告的现有技术系统的部件之间的通信流程的框图；
图3图示根据实施方式的用于叠加投放系统的示例管理员界面；
图4图示根据实施方式的用于视频播放器应用的示例用户界面；
图5A和图5B描绘在视频内容帧的各种位置内投放的示例叠加；
图6图示示例叠加类型和维度；
图7描绘根据实施方式的示例显著性映射；
图8是图示根据实施方式的用于建议叠加位置的示例方法的流程图；
图9是图示根据实施方式的用于在视频内容中投放叠加的示例方法的流程图；以及
图10是其中可以实施本公开内容的实施方式的示例计算机系统的示图。
具体实施方式
公开了用于在视频内容内的不明显位置投放叠加的方法和系统。
这里公开的实施方式提供用于向多媒体资产、诸如视频内容中插入叠加、诸如但不限于广告的自动化和半自动化方法和系统。虽然这里在在线视频内容中投放的叠加的背景中描述示例的由计算机实施的方法和系统，但是容易理解可以应用系统和方法以在其它多媒体资产、诸如但不限于视频点播(VOD)资产(按查看付费电影和租赁资产)、预订点播视频(SVOD)资产、当前播映或者将来时间表线性广播电视节目、同时广播(同播)、在影院中放映的电影、物理媒体如数字视频盘(DVD)和软件程序如视频游戏内投放叠加。
一个实施方式提供了一种自动化向视频内容中投放不明显叠加的系统。视频内容可以是从内容提供者、发行者和分发者活动的在线视频内容。这样的在线视频内容可以是在客户端设备上执行的视频播放器应用请求的来自网站的流下载视频。在与提供者的或者发行者的网站关联的服务器接收来自客户端设备的请求。至少部分基于请求的视频内容的性质和从叠加提供者、诸如关高客户可用的叠加的性质在视频内容中投放叠加。
实施方式提供了一种用于向接收的视频内容中插入叠加的系统和方法，这些叠加已经由外部实体提供。外部实体可以是广告网络或者其它叠加提供者。该方法和系统可以经由用户界面和叠加处理模块接收叠加的指示。视频-叠加匹配模块可以用于实施该方法和系统，该视频-叠加匹配模块被配置用于由视频编辑工具、诸如但不限于来自Apple,Inc.的Final Cut Pro和来自Apple Inc.的iMovie调动或者集成到这些视频编辑工具中。该方法和系统确定在视频内的可以在其中投放提供的叠加的非明显位置。非明显可以基于叠加的性质和视频内容的帧的性质。根据叠加的持续时间，其可以在跨越视频内容的多个剪辑或者场景的帧中出现。如果具有某个大小、维度、颜色和/或半透明性质的叠加不会遮蔽帧中的重要对象或者与这些对象叠加，则位置被确定为非明显。在实施方式中，通过标识帧中的重要对象来确定在视频内容的帧内的区域的相对显著性。一个实施方式通过对于视频的帧执行显著性分析以标识重要对象来确定区域的显著性。显著性分析产生显著性映射，该显著性映射指示在帧内的重要对象和在帧中的包含这样的对象的区域的位置。以下参照图7描述一种示例显著性分析技术。在某些实施方式中，非明显位置是在未包括重要对象的区域内的位置。在交互用户界面(UI)中呈现非显著性位置作为建议的位置。
UI可以呈现用于在建议的位置中的每个位置投放给定的叠加的预算或者成本信息。成本可以在建议的位置的相对重要性或者显著性方面进行表达，即显著性成本。成本也可以在资金或者货币方面进行表达。在实施方式中，用于在给定的位置投放叠加的资金成本可以至少部分基于用于该位置的显著性成本。成本信息可以部分基于叠加的大小和持续时间性质以及在帧内的建议的位置的性质。例如，投放更长持续时间和更大大小的叠加的资金成本可以大于在相同位置投放相对更短持续时间或者更小大小的叠加。同样，例如，与在帧中的重要对象更近邻投放给定的叠加的显著性成本可以比从重要对象更远离投放相同叠加成本更高。另外，例如，在组成视频内容的更重要部分的帧中投放给定的叠加的显著性成本可以大于在视频内容的重要性更少的部分中投放相同叠加的成本。在可以在相对高度显著的区域中投放叠加而未与重要对象重叠的情况下，在高显著性区域中投放叠加的显著性成本将大于在显著性更少的区域中投放相同叠加的显著性成本。视频内容的各部分的相对重要性可以基于视频内容的帧的性质进行标识。例如，帧中的在早期部分、打开信用、关键场景中和/或在视频内容中的场景改变和切割点之前的位置可以具有比其它位置、诸如关闭/结束信用以及在场景改变和切割点之后的帧更高的显著性和/或资金成本。UI可以经由输入设备接收选择建议的位置之一。该方法和系统允许用户预览具有在选择的位置中插入的叠加的视频内容并且可选地选择备选位置。
另一实施方式提供了一种被配置用于自动变换插入的叠加的系统，从而其混合到它在其中出现的帧中。该系统可以自动化变换插入的叠加，从而对叠加的边缘重新成形、重新着色、使这些边缘半透明、使这些边缘透明或者另外变换这些边缘以便与在叠加在其中出现的视频内容帧中的相邻位置混合。例如，可以扫描帧以检测在叠加附近的对象的基本上直的线，并且可以对叠加的在对象附近的边缘重新成形或者进行失真以变成与线基本上平行。在某些实施方式中，完成这样的重新成形以变换插入的叠加的一个或者多个边缘以与在叠加附近的具有相对低显著性的对象基本上平行。该系统还可以变换插入的叠加，从而它们的颜色方案和调色板混合到叠加在其中出现的帧中。
又一实施方式提供了一种用于自动化向三维(3D)视频内容中投放叠加的方法。该方法确定在视频内容内的用于叠加的有利位置，其中有利性可以基于在3D视频中的重要的对象的标识的位置以及叠加的形状、维度和大小性质。有利位置是可以如下位置，可以向这些位置中插入叠加，从而它不会与重要对象重叠。通常，有利位置在具有相对低显著性的区域中。可以通过以用二维(2D)视频内容完成的方式相似的方式执行视频内容的帧的显著性分析来确定显著性，在该方式中确定在视频内容的帧内的沿着纵向x轴和横向y轴的重要对象的位置。在3D视频内容的背景中，执行附加计算以确定重要对象的深度位置(即，它们在3D空间中沿着z轴的位置)及其深度性质(即，以像素为单位的厚度)。该方法然后通过向叠加指派深度性质将叠加变换成3D叠加。在一个实施方式中，初始地向叠加指派无穷深度，从而不会建议在帧的最前部中的位置，该位置可能闭塞在3D视频内容内更深出现的重要对象。在某些实施方式中，可以通过向3D叠加指派与一个或者多个附近3D对象的深度近似的深度将3叠加混合到附近对象中。
在某些实施方式中，可以从由一个或者多个广告网络提供的多个叠加广告选择叠加。在一个实施方式中，广告网络可以包括三大类实体：1)内容提供者、分发者以及创建和赋予视频内容的其它实体(统称为“发布者”)；2)叠加提供者、广告客户和作为叠加来源的其它实体(统称为“广告客户”)；以及3)查看者、预订者、消费者、影院以及请求、接收和/或观看发布者赋予的视频内容的其它实体(统称为“查看者”)。
一个实施方式提供了管理员用户界面(UI)，发布者和广告客户可以使用该管理员UI以向系统中上传视频内容、叠加和关联元数据。在某些实施方式中，经由管理员UI提供对视频内容的引用而不是内容的完全副本。如这里所用，术语“元数据”用来指代与电子内容项、诸如视频内容和叠加关联(并且一般但是未必与这些电子内容项一起存储)的信息，该信息提供关于电子内容项的性质的信息。元数据可以包括唯一地标识电子内容项。这样的元数据可以描述电子内容项的存储位置或者其它唯一标识。例如，描述视频内容的存储位置的元数据可以包括对视频内容的副本在发布者、广告客户和用户使用的服务器图中的存储位置的引用。这样的引用的一个示例是标识在与发布者的网站关联的web服务器上的存储位置的统一资源定位符(URI)。这样的引用可以由发布者提供作为取代经由管理员UI向系统上传视频内容的副本。以下参照图3描述示例管理员UI 300。
该系统的一个实施方式包括用于存储上传的叠加、视频内容(或者对视频内容的引用)及其元数据的贮存库、诸如数据存储库或者数据库。以下参照图1和图1B描述示例数据库122。元数据可以包括视频内容和叠加的特性和性质。视频内容性质可以包括但不限于视频内容的风格/类别、评级、持续时间、颜色调色板/方案、分辨率、格式、语言选项、加字幕选项、发行者、演员表、导演、日期/时间戳信息、回放限制、用于线性广告的标记、兼容/支持的表现/查看平台和其它性质。一些视频内容性质、诸如风格或者发行者可以适用于整个视频资产，而其它性质与视频资产的某些部分或者帧相关。例如，可用于在视频内容中编辑或者投放叠加的元数据、诸如切割点、场景改变、打开信用、关闭/结束信用和相似信息未适用于在给定的视频资产中的每个帧。相似地，格式性质可以指示视频资产的全部或者部分是否为2D或者3D。回放限制性质可以包括基于地区或者年龄的限制以及对查看数目的限制或者对于查看的时间限制(即，用于VOD和租赁的视频内容)。对于租赁的视频资产，回放限制性质可以指示视频资产租赁的长度为持续时间(即，24小时)。兼容/支持的表现/查看平台性质可以指示对于查看视频内容的最小要求、诸如支持的分辨率、兼容视频播放器和支持的客户端设备平台。例如，这些性质可以指示为了查看视频内容而需要的最小显示分辨率、显示大小、操作系统(OS)版本和/或浏览器版本。
视频内容性质中的一些或者所有视频内容可以是以作为在视频内容内存储的标签/关键词、携带图标的数据或者标记而包括的元数据的形式。例如，可以在视频内容的帧的可见区域以外包括元数据。用于电子内容项的元数据的非限制示例可以包括标题、作者、关键词等。元数据也可以描述在视频内容与叠加之间的关系、诸如如何可以组合视频内容和叠加以创建包括叠加的编辑的视频内容。元数据也可以描述何时和如何创建电子内容项、诸如标识用来创建项目的应用的信息、时间戳、文件类型、加密状态和用于项目的其它技术信息和/或用于项目的访问权。在某些实施方式中，元数据可以包括用于视频内容或者叠加的表现属性及其值。例如，如果在用于视频内容的元数据中包括表现属性，则元数据也可以包括用于该表现属性的值，该表现属性专属于经由将用来查看内容的视频播放器应用表现内容。根据加密状态和/或访问权，可以经由安全网络连接或者数据链路向/从发行者传输视频内容。这样的安全连接的非限制示例包括使用安全套接字层(SSL)协议或者传送层安全(TLS)协议而产生的连接。相关领域技术人员容易理解，经由密码协议产生SSL和TLS连接以提供通过数据网络、诸如因特网的通信安全性。在附加或者备选实施方式中，性质可以与视频内容分离地存储于以下参照图1A和图1B描述的贮存库、诸如数据库122中。
叠加性质可以包括但不限于产品/服务类别、持续时间、目标统计、目标地区、颜色调色板/方案、不透明性、形状、格式、大小、维度、分辨率、语言选项、日期/时间戳信息、每投放的资金成本、先前插入/投放的数目、预算、到期和关于叠加的其它元数据。格式性质可以指示视频内容和叠加是否为2D或者3D。在叠加的格式为3D的情况下，维度性质包括叠加的深度。大小和维度性质可以按照像素。在叠加为广告的情况下，可以表达投放数目为已经在视频内容中插入广告的次数，并且此性质与每投放的资金成本和/或与预算性质组合可以用来确定是否用于向视频内容中插入广告的任何剩余预算。可以体现到期性质为到期日期以便确定叠加是否仍然可用于向视频内容中插入。例如，如果叠加包括时间敏感信息、诸如涉及调度的事件、诸如但不限于在日期/时间范围内出现的销售、时间敏感推广、产品发布日期、电视节目开播、影院电影发布或者临时要约的信息，则可以相应地设置到期性质，从而在某个日期或者时间之后未向视频内容中插入叠加。
根据一个实施方式，在用户请求发布者(该发布者是广告网络的成员)赋予的视频内容时，向用户递送来自网络中的广告客户的具有叠加广告的请求的内容的演绎。用户可以经由智能TV、机顶盒(STB)或者视频播放器应用、诸如以下参照图1描述的示例视频播放器112请求视频内容。在一个实施方式中，用户可以请求并且在具有显示器的客户端设备上执行的视频播放器112中查看视频内容。视频播放器112可以具有视频播放器UI，用户可以与该视频播放器UI交互以选择、预览和查看视频内容。可以向视频播放器112正在其中执行的客户端设备下载或者流式传输选择的视频内容。以下参照图4描述示例视频播放器UI400。例如，在在线视频内容的背景中，在用户在拜访发布者的网站期间请求视频时，该用户将接收一些广告。如下所述，实体中的每个实体从此过程受益。
叠加提供者(即，广告客户、组织或者希望经由叠加传达信息的其它实体)可以公开和推广在叠加中指示的项目。例如，在叠加提供者为广告客户的实施方式中，广告客户可以增加被赋予用于销售的服务、产品或者品牌的认知。相关领域技术人员容易理解，此增加的认知可以对应于在叠加广告中指示的服务、产品或者有品牌项目的增加的销售。在实施方式中，叠加提供者可以是希望投放叠加广告的视频内容提供者、诸如但不限于电视网络、网站和电影/影片工作室，这些叠加广告推广它们的电视节目、在线视频内容和影片。
视频内容提供者(即，分发者、发行者或者网站)可以对于在视频内容提供者赋予的视频内容中显示叠加提供者的叠加，而从叠加提供者接收收入。此收入流又可以允许视频内容提供者向视频内容的消费者、诸如预订者以及查看者赋予附加服务。这些附加服务可以包括更多视频内容、降价(或者免费内容)和/或具有增加的质量的内容。在在线提供视频内容为电子内容的情况下，可以体现增加的质量为视频内容的更高分辨率演绎和/或无线性广告的视频内容的演绎。在各实施方式中，来自叠加的收入流使视频内容提供者能够减少视频内容价格。例如，可以向消费者赋予iTunes视频、iTunes应用和游戏的降价或者免费演绎，这些演绎包含视频内容、按查看付费视频资产、诸如电影和电视节目、Amazon点播视频资产和VOD视频内容。另一实施方式避免投放明显或者侵入叠加，这些叠加可能使查看者忽略叠加或者甚至选择赋予他们需要的服务的竞争者网站。另外，此种叠加可能以感知广告客户的方式具有负面影响。
因此，实施方式可以解决与叠加匹配(发现用于视频内容的最适合叠加)和不明显叠加插入中的一项或者两项有关的问题。除了这些问题之外，还存在可以在在线广告中解决的其它重要方面、例如判决叠加提供者或者广告客户将为选择(即，点击)交互叠加或者广告而支付什么总额。这可以通过竞价过程(例如，对将在视频内容中投放的对象进行竞价)和/或通过使用涉及每投放的预算和资金成本的叠加性质来解决。
如这里所用，术语“视频内容”是指可以在电视设备、投影电视系统、数字视频记录器(DVR)设备、DVD设备、游戏控制台、计算机实施的视频回放设备、移动多媒体设备、移动游戏设备和机顶盒(STB)设备上显示或者播放的任何类型的视听媒体。可以在用户的住所部署STB以向用户提供用于控制递送从提供者分发的视频内容的能力。视频内容可以是经由通信网络、诸如但不限于因特网向计算设备分发的电子内容。
包括这里公开的示例系统和方法投放的不明显叠加的编辑的视频内容可以由用来选择和查看视频内容的各种视频播放器设备和平台预览、选择和查看。这样的设备可以是平台的部件，这些部件包括个人计算机、智能电话、个人数字助理(PDA)、平板计算机、膝上型计算机、数字视频记录器(DVR)、远程存储DVR、交互TV系统以及能够接收和显示视频内容和/或利用网络连接、诸如因特网的其它系统。示例交互TV系统可以包括通信地耦合到机顶盒(STB)的电视。参照图1B，示例STB客户端设备134b可以包括但不限于基于网际协议(IP)的(即，IPTV)STB。因此，应当解释对客户端设备或者视频播放器的引用包括这些设备，以及涉及到显示视频内容和查看者输入的其它相似系统。
如这里所用，术语“电子内容”是指可以被表现用于在移动和其它计算设备上显示或者播放的任何类型的媒体。计算设备包括客户端和服务器设备、诸如但不限于服务器、桌面型计算机、膝上型计算机、智能电话、视频游戏控制台、智能电视、平板计算机、便携游戏设备、个人数字助理等。可以向计算设备流式传输、由计算设备下载和/或从计算设备上传的电子内容。电子内容可以包括在网站上托管的多媒体、诸如web电视、因特网电视、标准网页或者被具体格式化用于在计算设备上显示的移动网页。电子内容也可以包括被开发用于计算设备的应用软件，该应用软件被设计用于在计算设备执行一个或者多个具体任务。
视频内容可以是以从服务器系统向具有web功能的电视(即，智能电视)、投影电视系统或者客户端计算设备流式传输的电子内容的形式。流式传输电子内容可以例如包括使流式传输协议、诸如但不限于网际协议电视(IPTV)、实时消息接发协议(RTMP)、超文本传送协议(HTTP)动态流式传输(HDS)和HTTP实况流式传输(HLS)而提供的实况和点播视听内容。服务器系统可以提供视频内容的具有不同质量级别和语言选项的多个演绎、诸如加字幕或者音频配音。
公开用于在视频内容内的不明显位置投放叠加的由计算机实施的系统和方法。在实施方式中，叠加可以包括文本或者多媒体内容、诸如但不限于广告。用于在客户端设备执行的应用的交互用户界面(UI)可以用来从用于叠加投放的建议的位置之中选择。
如这里所用，术语“电子内容”用来指代可以被表现用于在计算系统、电视、客户端计算设备或者其它电子设备显示或者使用的任何类型的媒体。电子内容可以包括文本或者多媒体文件、诸如图像、视频、音频或者其任何组合。可以递送电子内容为流视频和为多种格式、如诸如运动图片专家组(MPEG)格式、音频视频交织(AVI)格式、QuickTime文件格式(QTFF)、DVD格式、高级编著格式(AAF)、材料交换格式(MXF)和数字图片交换(DPX)格式的下载的数据。电子内容还可以包括被设计用于在计算系统或者计算设备执行一个或者多个具体任务的应用软件。
如这里所用，术语“演绎”用来指代向视频播放器或者客户端设备提供的资产、诸如视频内容的副本。电子内容的不同演绎可以通过不同比特率和/或比特大小进行编码，用于由通过具有不同带宽的网络连接访问电子内容的客户端设备使用。在电子内容包括视频内容时，视频内容的不同演绎可以包括用于在位于不同地区中的客户端设备上查看的不同叠加。例如，视频资产可以包括视频的多个演绎作为分离视频剪辑，其中每个演绎具有与不同比特率关联的不同质量级别。
如这里所用，术语“资产”用来指代在多媒体对象、诸如文本、图像、视频或者音频文件中包括的电子内容项。如这里所用，术语“图像资产”用来指代在多媒体对象中包括的数字图像。图像资产的一个示例是叠加。如这里所用，术语“视频资产”用来指代在多媒体对象中包括的视频文件。视频内容可以包括一个或者多个视频资产。如这里所用，术语“文本资产”用来指代在多媒体对象中包括的文本。可以体现示例叠加为文本资产、图像资产、视频资产或者文本、图像和/或视频资产的组合。例如，叠加、诸如在图4、图5A和图5B中描绘的叠加406和叠加506可以包括与具有有关图标或者标志的图像资产组合的文本资产、诸如公司、产品或者服务的名称。同样，例如，叠加可以包括具有动画或者视频剪辑的视频资产。
为了简化，术语“多媒体资产”、“视频资产”、“在线视频内容”和“视频内容”这里用来指代相应资产或者内容而不考虑它们的来源(即，发行者)、分发手段(即，网站、广播、同播或者影院发布)、格式(即MPEG、高清晰度、2D、3D)或者用来查看这样的文件和媒体的回放手段(即，电视、客户端计算设备、视频播放器、投影系统、DVD播放器)。例如，在视频资产的发布者是电视网络、电影/影片工作室或者制作公司时，视频资产可以是电视节目或者运动图片。此视频资产的演绎可以体现为从发布者或者分发者的网站可用的流式传输或者可下载的在线视频内容。也可以使得视频资产的另一演绎可用作经由STB获得并且在电视上查看的在媒体上的视频内容、诸如DVD、DVD记录或者VOD。
实施方式可以部分基于客户端设备关联的地理地区或者位置向查看器应用提供被表现用于在客户端设备显示或者使用的电子内容的不同演绎。在视频内容的不同版本之间动态切换可以基于在视频内容内投放的叠加和经由数据网络访问电子内容的客户端设备的地区或者位置提供最相关演绎。查看器应用可以经由网络下载、流式传输或者另外访问电子内容。查看器应用可以向具有服务器侧视频-叠加匹配系统或者模块的服务器提交对于预览或者查看视频内容的请求。视频-叠加匹配系统可以创建请求的视频内容的演绎，该演绎具有被确定为与查看器应用正在其上执行的客户端设备关联的位置或者地区相关的非明显投放的叠加。例如，一个实施方式可以响应于确定查看器应用正在其上执行的客户端设备位于美国来选择具有叠加的电子内容演绎，这些叠加具有英文音频和/或文本。在实施方式中，这样的位置信息和/或语言偏好可以由用户选择。在其它实施方式中，可以基于客户端设备的全球定位系统(GPS)位置、客户端设备的介质访问控制地址(MAC)地址、客户端设备的网络地址或者其它标识信息自动确定位置信息。
视频-叠加匹配系统可以实施为被配置用于在服务器或者其它计算设备上执行的一个或者多个模块。视频-叠加匹配系统可以应用一个或者多个投放规则，以生成用于建议的叠加位置的推荐。推荐可以包括一个或者多个建议的叠加位置，并且指示用于建议的位置中的每个位置的相应显著性和/或资金成本。用于将由查看器应用下载或者另外访问的视频内容的演绎的推荐的位置可以部分基于视频内容和叠加的性质。成本信息可以基于将在视频内容中投放的叠加的大小、突显性和持续时间。成本信息可以基于从视频内容提供者可用的演绎的不同质量变化。
视频-叠加匹配系统可以基于叠加和将在其中投放叠加的视频内容的帧的性质确定位置推荐。例如，在视频内容帧内的叠加和区域的颜色方案和颜色调色板性质可以用来标识在颜色与给定的叠加兼容的区域内的位置。这样的颜色性质也可以用来变换叠加，从而它的边缘包括在将投放叠加的位置混合到周围像素中的颜色和色调。视频-叠加匹配系统也可以配置查看器应用以选择具有叠加的演绎，这些叠加视为与查看器应用正在其上执行的客户端设备的地区或者物理位置相关。例如，用于烟草或者酒类产品的叠加广告不会视为与其中限制这样的广告的国家或者位置相关。
如这里所用，术语“网络连接”是指数据网络的通信信道。通信信道可以允许至少两个计算系统以相互传达数据。通信信道可以包括使用第一端口或者其它软件构造作为第一端点的第一计算系统的操作系统，以及使用第二端口或者其它软件构造作为第二端点的第二计算系统的操作系统。在计算系统上托管的应用可以访问向端口寻址的数据。例如，第一计算系统的操作系统可以通过在向第二计算系统传输的每个数据分组的首部中包括标识目的地端口的端口号将分组的数据向在第二计算系统上的具体端口寻址。在第二计算系统接收寻址的数据分组时，第二计算系统的操作系统可以向端口路由数据分组，该端口是套接字连接的端点。应用可以访问向端口寻址的数据分组。
视频-叠加匹配标准的另一实施方式可以是视频内容利用规则。视频-叠加匹配器可以应用视频内容利用规则，以基于正在如何表现视频内容用于在客户端设备的视频播放器中显示来生成推荐。在一个实施方式中，视频内容利用规则可以描述正在其中表现视频内容用于显示的视窗的大小，其中描述的视窗大小相对于与视频播放器正在其中执行的客户端设备关联的显示设备或者屏幕的大小。例如，应用视频内容利用规则可以生成用于查看器应用的更高推荐，该查看器应用表现视频内容用于在客户端设备全屏显示。用于全屏显示的更低推荐可以产生视频内容和包括的叠加的像素化/变成像素。为此，在更大显示器上的更低推荐和在更小显示器上的更高推荐可能与具有用于叠加的不足以在客户端设备的显示器上可辨认的不充分屏幕大小一样对用户体验有害。在另一实施方式中，视频内容利用规则可以描述电子设备为其表现电子内容的显示设备类型。被渲染用于在客户端设备中包括或者与客户端设备通信的第一显示设备显示或者使用的电子内容可以产生第一推荐。被渲染用于在客户端设备中包括或者与客户端设备通信的第二显示设备显示或者使用的视频内容可以产生第二推荐。例如，可以对于正在被表现用于由使用低分辨率屏幕的客户端设备显示或者使用的视频内容生成更低推荐的比特率，并且可以对于正在被表现用于由使用高分辨率显示设备、诸如经由高清晰度多媒体接口(HDMI)输出耦合到平板计算机的高清晰度电视的客户端设备显示或者使用的电子内容生成更高推荐的比特率。
视频-叠加匹配系统可以在数据库中存储叠加数据，并且基于用于每个叠加的投放数目、类别、持续时间、剩余预算和/或投放剩余数目组织叠加数据。
这里讨论的特征不限于任何特定硬件架构或者配置。计算设备可以包括任何适当部件布置，该部件布置提供以一个或者多个输入为条件的结果。适当计算设备包括访问存储的软件的多用途、基于微处理器的计算机系统，该软件将计算系统从通用计算装置编程或者配置成实施本主题内容的一个或者多个实施方式的专门化的计算装置。任何适当编程、脚本或者其它类型的语言或者语言组合可以用来在将在对计算设备进行编程或者配置时使用的软件中实施这里包含的教导。
示例性系统实现方式
现在参照附图，图1A是描绘用于实施某些实施方式的叠加投放系统的示例架构的框图。示例架构100包括服务器104，该服务器104被配置用于响应于经由前端102接收的输入和数据执行服务器侧处理，该前端包括发行者UI 108、广告客户UI 110和视频播放器112。如图1A中所示，服务器104包括三个主模块，一个主模块对应于每个用户类型114。服务器104的模块包括视频处理模块116、叠加处理模块118和视频-叠加匹配模块120。虽然标注图1A中所示示例模块116、118和120用于离线视频和广告(‘ad’)处理和在线视频广告匹配，但是如以下讨论和图1B中所示，这些模块并不限于离线视频和广告处理以及在线视频广告匹配。图1A和图1B中所示模块的实施方式可以被配置用于处理任何类型的叠加、包括但不限于广告、不限于任何类型的视频内容、包括但不限于在线视频。
在一个实施方式中，服务器104是提供平台的叠加服务器，在该平台中，发布者用户114上传视频内容、诸如它们的视频资产，广告客户用户114上传叠加、诸如广告，并且与插入的(非明显)叠加在视频播放器112中向查看者用户114(即，查看视频资产的视频内容终端用户或者‘消费者’)放映视频内容的演绎。根据此实施方式，视频处理模块116在发行者用户114经由发行者UI 108上传视频内容之后‘离线’提取关于视频内容的信息。这样的离线视频处理包括计算用于上传的视频内容的显著性映射和辅助矩阵。对于每个叠加，叠加处理模块118在广告客户用户114经由广告客户UI 110上传它之后提取‘离线’提取关于叠加的信息。提取的信息的非限制示例包括叠加的颜色调色板/方案。在此实施方式中，视频-叠加匹配模块120自动处理叠加选择和投放。在一个备选实施方式中，通过竞价过程在远程系统或者服务器上外部完成叠加选择，在该竞价过程中，叠加提供者或者广告客户用户114指定他将如何付费让他的叠加在某个视频内容中放映。根据此备选实施方式，竞价和叠加选择可以至少部分基于查看者用户114的简档，该查看者用户选择特定视频内容用于在视频播放器112内查看。
以下继续参照架构100和服务器104描述的另一实施方式提供用于与接近实时执行的叠加变换、如诸如空间(将重新成形)、重设大小、颜色、半透明性和/或透明性变换一起为每个叠加全自动化叠加投放的平台，从而与自动投放和变换的叠加在视频播放器112中向查看者用户114放映选择的视频内容的所得演绎。例如，可以变换叠加的一个或者多个边缘，从而边缘包括在将在其中投放叠加的位置混合到周围像素中的颜色和色调。同样，例如，可以变换叠加的边缘，从而它们通过变得半透明或者基本上透明来混合到视频帧的周围部分中。这样的半透明线和透明性变换可以基于叠加的(以像素为单位的)部分从叠加的中心有多远来增加用于叠加部分的半透明性/透明性的程度或者百分比。以此方式，叠加可以随着叠加的边缘迫近叠加的中心，并且在该中心周围基本上不透明而越来越透明或者半透明。视频-叠加匹配系统也可以配置查看器应用以选择具有叠加的演绎，这些叠加视为与查看器应用正在其上执行的客户端设备的地区或者物理位置相关。例如，用于烟草或者酒类产品的叠加广告不会视为与其中限制这样的广告的国家或者位置相关。
在又一实施方式中，部分自动化过程在视频编辑工具、如诸如来自Apple,Inc.的Final Cut Pro和来自Apple Inc.的iMovie以内实施叠加投放和变换算法。此实施方式生成多个备选叠加投放，并且在交互UI中呈现这些备选位置，从而用户、诸如广告客户用户114可以人工选择他认为最好的位置，从而在向视频内容中插入叠加时有与来自用户的可选、人工监督组合的叠加位置的自动生成的建议/推荐的组合。
叠加投放系统的用户114可以包括视频内容发行者、叠加提供者(即，广告客户)和查看器。一旦发行者经由发行者UI 108上传视频内容，视频内容由服务器104接收，并且视频处理模块116执行各种计算以便能够在必要时快速取回视频内容及其性质。发布者UI108可以允许发布者用户114与元数据、诸如但不限于用于上传的视频内容的简要描述、标题和标签/关键词一起添加新视频内容。如以下参照图3所述，可以从管理员界面调动发行者UI 108。经由发行者UI 108插入的关键词可以由视频-叠加匹配模块120用于选择适当叠加。这些关键词也可以代表实质要素，叠加提供者、诸如广告客户可以在标识它们想要将它们的叠加投放到其中的视频内容时对该实质要素进行竞价。
视频处理模块116可以读取用于接收的视频内容的适用于整个视频的元数据以便对内容进行分类。例如，可以用对视频内容的引用在数据库122中对接收的视频内容的风格、分辨率、格式、访问控制、评级和持续时间性质进行编索引和存储，从而可以在需要时从数据库122快速取回具有某个类别的视频。在实施方式中，在视频-叠加匹配模块120匹配适合于某个视频段类型的叠加时，视频处理模块116在数据库122中存储的视频性质数据可以用来在视频内容中对与希望的标准匹配的剪辑快速定位。例如，视频-叠加匹配模块120可以使用在数据库122中存储的叠加和视频性质数据来匹配适合于高清晰度3D体育视频剪辑的叠加与视频内容，该视频剪辑具有少于5分钟的持续时间、被评级用于在某个地区中在视频播放器112上由在给定年龄组中的查看者查看，这些视频内容满足这些标准。视频处理模块116也可以读取和存储用于上传的视频内容的更多粒度的元数据，该元数据不适用于视频内容的每个段、部分或者帧。这样的粒度元数据例如可以涉及可用于叠加投放和视频编辑的性质、诸如包括切割点或者场景改变的帧的指示。
继续参照图1A，广告客户用户114可以与广告客户UI 110交互以向服务器104上传叠加。在一个实施方式中，广告客户UI 110由表单与叠加性质、诸如关键词一起构成，该表单允许广告客户用户114上传新叠加，这些关键词代表叠加应当在其中出现的希望的上下文或者视频内容。经由广告客户UI 110上传的叠加可以是交互的，这是因为它们可以包括具有目标URL的可选择超链接，查看者可以在播放包括叠加的视频内容之时电极该超链接。对于这样的交互叠加，经由广告客户UI 110录入的叠加性质可以包括与在交互叠加中指示的产品、品牌或者服务的供应者关联的目标URL。例如，查看者使用输入设备可以与视频播放器112交互以点击交互叠加以便在新浏览器标签页、视窗或者会话中导航到目标URL。在已经使用广告客户UI 110来添加叠加之后，具有上传的叠加的性质(即，特征)的元数据由叠加处理模块118提取，该叠加处理模块然后在数据库122中存储提取的叠加性质。
查看者用户114可以使用视频播放器112与插入的叠加一起预览、选择和观看视频。在一个实施方式中，体现视频播放器112为允许网站的拜访者导航、浏览和搜索视频列表的视频内容网站。视频播放器112允许查看者用户114从视频列表选择视频内容并且查看选择的视频。可以经由向视频播放器112流式传输、下载或者推送(即，播客)内容来实现将选择的视频内容与它的插入的叠加一起递送。在以下描述的图4中图示用于视频播放器112的基于浏览器的UI的非限制示例。在查看者用户14请求在视频播放器112上查看视频内容时，在数据库122中先前存储的视频和叠加性质数据可以由视频-叠加匹配模块120用来迅速匹配请求的视频与对应叠加，并且标识用于投放匹配的叠加的良好位置。在一个实施方式中，视频-叠加匹配模块120被配置用于在服务器104从视频播放器112接收对于视频的请求时的点基本上实时执行计算。
根据架构100的一个实施方式，视频处理模块116和叠加处理模块118分别执行对于上传和接收的视频内容和叠加的预计算，以便使视频-叠加匹配模块120能够加速匹配视频内容与叠加。可以在已经完成上传之后并且在后续匹配视频内容与叠加之前，离线执行这些计算。在线匹配视频内容与叠加在视频-叠加匹配模块120无需在正在标识匹配时确定或者计算视频内容和叠加的性质时最高效。通过此方式，视频-叠加匹配模块120执行的计算可以限于为了在特定叠加与视频内容之间产生匹配或者连接而需要的计算。
架构100也允许匹配叠加或者视频，该匹配考虑对于查看者用户114收集的度量。例如，服务器104可以跟踪哪些视频以前已经由给定的查看者用户114或者关联视频播放器112查看，从而视频-叠加匹配模块120执行的匹配在选择和投放叠加时考虑用户的特点。
在一个备选实施方式中，取代在经由视频播放器112请求视频时接近实时匹配叠加与视频内容，在经由广告客户UI 110上传每个叠加之后调动视频-叠加匹配模块120。在此实施方式中，匹配和位置标识计算在每个叠加由叠加处理模块118接收时由视频-叠加匹配模块120执行。
根据又一实施方式(未示出)，从架构100排除视频-叠加匹配模块120，并且在视频处理模块116与叠加处理模块118之间划分它的功能。在此实施方式中，除了在数据库112中对视频内容和叠加性质进行编索引和存储之外，视频处理模块116和叠加处理模块118还计算为了在经由广告客户UI 110上传叠加时匹配叠加与视频内容而需要的每条信息。此实施方式可以允许如果不是实时则高效的叠加-视频匹配的一种方式是通过定期地调动例程以更新视频-叠加关联。例如，可以每天、每小时或者在其它定期增量中运行调度的任务或者作业以匹配叠加与视频内容，并且确定任何先前标识的叠加-视频匹配是否不再有效。定期作业可以在叠加已经到期、已经耗尽它的预算的情况下或者如果叠加或者视频内容不再可用则标识叠加和视频内容的无效配对。在用Unix式操作系统(OS)实施架构100和服务器104的情况下，可以实施此调度的任务或者作业为守护作业，该守护作业定期更新叠加-视频关联并且确定任何先前标识的叠加-视频关联是否不再有效。
图1B是图示基于图1A中所示架构100的叠加投放系统的部件的框图。如图1B中所示，叠加投放系统130包括服务器104和客户端设备134，该服务器和这些客户端设备可以各自包括通信地耦合到存储器128的处理器126。叠加投放系统130包括服务器104、客户端设备134a-n和网络106。客户端设备134a-n经由网络106耦合到服务器104。处理器126a-n各自被配置用于执行计算机可执行程序指令和/或访问在存储器128a-n中的相应存储器中存储的信息。服务器104包括通信地耦合到存储器124的处理器123。处理器123被配置用于执行计算机可执行的程序指令和/或访问在存储器124中存储的信息。服务器104包括通信地耦合到存储器124的处理器123。处理器123被配置用于执行计算机可执行程序指令和/或访问在存储器124中存储的信息。图1B中所示处理器123和126a-n可以包括微处理器、专用集成电路(“ASIC”)、状态机或者其它处理器。例如，处理器124可以包括任何数目(包括一个)的计算机处理设备。处理器123可以包括计算机可读介质或者可以与计算机可读介质通信。计算机可读介质存储指令，这些指令如果由处理器执行则使处理器123和126a-n中的一个或者多个处理器执行这里描述的操作、功能和步骤。在由服务器104的处理器123执行时，指令也可以使处理器123实施图1A和图1B中所示模块。在由客户端设备134a-n的处理器126a-n中的一个或者多个处理器执行时，指令也可以使处理器在显示设备121a-n中的相应显示设备上渲染图1A、图3和图4中所示用户界面。
计算机可读介质可以包括但不限于能够向处理器提供计算机可读指令的电子、光、磁或者其它存储设备。其它示例包括但不限于软盘、CD-ROM、DVD、磁盘、存储器芯片、ROM、RAM、ASIC、配置的处理器、光存储装置、磁带后者其它磁存储装置或者处理器、诸如处理器123或者处理器126a-n可以从其读取指令的任何其它介质。指令可以包括编译器和/或解译器根据在任何适当计算机编程语言中编写的代码生成的处理器专用指令。适当编程语言的非限制示例可以包括C、C++、C#、Visual Basic、Java、Python、Perl、JavaScript和ActionScript。
客户端设备134a-n还可以包括多个外部或者内部设备、包括输入设备、诸如鼠标、键盘、触笔、触敏接口。客户端设备134a-n还可以包括光驱动、诸如CD-ROM或者DVD驱动、显示设备、音频扬声器、一个或者多个麦克风或者任何其它输入或者输出设备。例如，图1B描绘具有处理器126a、存储器128a和显示设备121a的客户端设备134a。显示设备121可以包括(但不限于)与客户端设备134集成的屏幕、诸如液晶显示器(“LCD”)屏幕、触屏或者外部显示设备121、诸如监视器。
图1B还图示包括相应显示设备121a-n的客户端设备134a-n。客户端设备134可以表现以上参照图1A描述的发行者UI 108、广告客户UI 110和视频播放器112。客户端设备134a-n可以包括用于配置它们的相应处理器126a-n以经由网络106取回服务器104提供的选择的视频内容的一个或者多个演绎125a-n的一个或者多个软件模块。这样的模块和应用可以配置处理器126以表现视频内容的演绎125用于在显示设备121上显示。
虽然图1A和图1B描绘视频处理模块116、叠加处理模块118和视频-叠加匹配模块120为分离模块，但是可以包括这些模块中的一个或者多个模块为单个应用的软件模块。相似地，尽管在图1A和图1B中示出数据库122为在服务器104上被本地托管，但是在备选实施方式中，可以在从服务器104远离的外部服务器(未示出)上托管数据库122。例如，可以在经由网络106从服务器104可访问的专用数据库服务器上托管数据库122。叠加投放系统130在数据库122中存储视频内容、叠加和附加信息、诸如视频和叠加元数据。可以在发行者和叠加提供者上传视频内容和叠加时显式地指定后者输入附加信息中的一些信息。例如，标题、描述和标签/关键词可以在上传时间由发行者和广告客户用户114录入。可以计算并且在数据库122中存储其它附加信息以便加速视频-叠加匹配模块120执行的后续操作和计算。在以下段落中提供视频处理模块116、叠加处理模块118和视频-叠加匹配模块120的描述。
根据一个实施方式，视频处理模块116被配置用于在向服务器104上传视频内容之后对于给定的视频内容项目一次执行视频处理操作集合。在此实施方式中，一次执行视频处理操作，这是因为它们是资源密集的，从而需要来自存储器123和存储器124的相对大量处理和存储器容量。视频处理模块116执行的视频处理操作可以包括显著性计算，该显著性计算涉及到标识视频内容的哪些区域最可能吸引查看者用户114的目光和注意力。由于这些区域可以代表视频内容的实质部位，所以标识它们，从而视频-叠加匹配模块120一般可以在插入叠加时避免它们。以下参照图7更具体描述显著性计算。视频处理模块116也可以执行视频分割，其中视频内容的结构是在上传时间从视频内容提取的其它有用信息。在一个实施方式中，可以在数据库122中存储这样的信息。在希望避免投放跨越场景过渡的叠加(例如，出于美观或者其它原因)的情况下，视频-叠加匹配模块120可以被配置用于使用由视频处理模块116提取和存储的结构信息以投放叠加，从而它们未跨越多个场景。视频处理模块116也可以被配置用于对于上传的视频内容执行场景强度评估。此评估的结果可以用来向相对更强的场景中投放叠加而又也保证叠加位置未与重要对象重叠。场景强度评估可以包括使用试探的场景理解技术、诸如估计场景中的为在上传的视频内容中的场景的相对强度的测量。场景强度评估也可以使用不同通道、诸如声音以确定视频内容中的场景的相对强度。
在一个实施方式中，视频处理模块116可以被配置用于通过用于视频内容的少数最有代表性的颜色来执行颜色调色板提取。为了在插入叠加时具有视觉怡人的效果，可以优选选择具有与正在向其中插入叠加的帧区段的颜色尽可能接近的颜色(即，颜色方案或者颜色调色板)的叠加。在附加或者备选实施方式中，视频处理模块116还可以被配置用于执行对象检测以便通过从视频内容自动提取语义知识来实现在视频内容与叠加之间的更好匹配。这样的语义知识的非限制示例是哪些对象在视频内容的帧内存储的知识。
以与视频处理模块116的以上描述的功能相似的方式，示例叠加处理模块118可以被配置用于在已经向服务器104上传叠加时关于叠加的一次性信息。在一个实施方式中，在广告客户用户114经由广告客户UI 110推送或者上传新叠加之后调动叠加处理模块118。根据一个实施方式，叠加处理模块118负责在数据库122中存储关于上传的叠加的信息。
在附加或者备选实施方式中，取代如以上所述同步调度或者执行视频处理模块116和叠加处理模块118，可以将对这些模块的调用排队用于以后执行。以此方式，可以稍后恰在上传时间之后处理以上描述的视频和/或叠加处理功能，这可以通过加速上传视频内容和/或叠加来改善用于发行者和/或广告客户用户114的终端用户体验。
在一个实施方式中，在查看者用户114选择特定视频资产或者视频内容用于查看时调动视频-叠加匹配模块120。可以例如经由与在机顶盒(STB)客户端设备134b的遥控器或者其它输入设备交互、经由触屏显示设备121或者在客户端设备134的其它用户输入例如在客户端设备134a执行的视频播放器112的用户界面中进行选择。然后，从客户端设备134经由网络106向服务器104发送选择作为请求。在一个实施方式中，当在服务器104接收对于选择的视频内容的请求时，视频-叠加匹配模块120查询数据库122以发现将向请求的视频内容中插入的叠加。在此实施方式中，查询产生向视频-叠加匹配模块120返回的叠加及其性质的指示，其中查询包括选择的视频内容、请求客户端设备134和查看者用户114中的至少一项的至少一些性质的指示。至少部分基于数据库122返回的叠加的性质和请求的视频内容的性质，视频-叠加匹配模块120也确定用于插入叠加的一些适当空间位置(即，在可查看视频内容的区段或者区域内的坐标)和时间位置(即，在视频内容的帧中的开始/结束点)。在图1B中所示示例性实施方式中，视频-叠加匹配模块120由叠加排行模块或者叠加排行器129和叠加调度器131这两个子模块或者部件构成。以下描述这些部件的示例功能。
根据一个实施方式，叠加排行器129由视频-叠加匹配模块120调动以便发现与请求的视频内容最有关的叠加(即，与视频内容最好地相配的叠加)。在一个示例实现方式中，叠加排行器129由两个分离部分或者子部件构成，这些部件或者子部件各自评估两个标准之一以确定选择的视频内容和叠加一起相配的程度。评估的第一标准是在选择的视频内容是在选择的视频内容与叠加之间的语义相似度。语义相似度可以至少部分基于与视频内容和叠加关联的关键词以及其它元数据。叠加提供者、诸如广告客户可以将关键词与它们的叠加一起插入以便表达它们朝着让它们的叠加投放于与某些主题内容有关的视频内容中的偏好。评估语义相似度以便试着基于叠加和视频内容的相应标签/关键词和其它内容性质匹配叠加和视频内容，这是因为语义有关的叠加更可能让查看者用户114感兴趣。
语义匹配可以涉及到立即与待投放的叠加的知识组合的视频资产的内容。可以用一些关键词对叠加进行标注以便给予关于广告客户用户114想要叠加在其中出现的视频内容种类的提示。相似地，可以用关键词标注视频内容或者可以从标题性质或者其它元数据提取一些词。即，使关于视频资产的风格、类别和/或内容的少数词可用，匹配关键词仍然可以包括使用本体论(例如，WordNet英语词汇数据库)，并且使用标签或者关键词来提取有关词，这将需要通过分析两个词多么经常在大量文本中一起出现来获得相似性。在使用本体论、诸如WordNet的实施方式中，在称为同义集合的组中按照同义词对名词、动词、形容词和副词进行分组。同义集合是形成等价类的一组同义词，从而将同义集合中的一个词用相同同义集合中的另一个词替换未改变包括该词的短语的含义。除了此分组之外，WordNet也赋予在同义集合之间的语义关系。这些关系根据词性变化。对于名称，有上位词(当且仅当任何X也是Y时，Y是X的上位词)、下位词(当且仅当任何Y也是X时，Y是X的下位词)、并列词项(X和Y如果它们共享上位词则为并列词项)、整体词(当且仅当X是Y的一部分时，Y是X的整体词)、部分词(当且仅当X是Y的整体词时，Y是X的部分词)。可以对于动词定义相似语义关系：上位词、下位关系、蕴涵关系、并列词项；形容词；有关名词、相似、动词的分词；副词；根形容词。WordNet也赋予词的一词多义计数：词属于的同义集合数目。如果词属于多个同义集合(即同名)，则某些含义可能比其它含义更频繁。这由可以通过用每个词的对应同义集合标注大量文本而获得的频率分数量化。
某些实施方式可以使用围绕WordNet开发的附加、更详细测量、如诸如Resnik测量，这些Resnik测量通过考虑包容两个词的更具体概念而带来的信息来捕获它们的相似性。例如，给定两个概念C1和C2，实施方式可以仅关注“is-a”关系从而在分级中向上直至发现公共父代P。然后，可以通过合计代表包容概念或者由该概念包容的词的所有频率计数来取得该概念有多少信息的测量(即，如果分级将包含一个最高概念，该最高概念包容任何其它概念，则该最高概念将具有频率0和信息度1)。使用Resnik测量——该测量运用比对最短路径的词项频率——以确定语义相似性的优点是它独立于在路径上的概念周围的术语密度。例如，如果仅少数词项在某个域中存在，则使用Resnik测量使得有可能在很少量步骤内达到一般概念。在叠加投放系统130具有描述视频内容的关键词/标签集合并且需要发现语义有关的叠加的情况下，基于描述叠加的关键词/标签，这些关键词可以代表将被叠加作为目标的词。在从数据库122取回信息方面，视频关键词代表数据库查询，并且叠加描述代表将从数据库122取回的数据库记录或者文档。
在多个叠加以某个关键词为目标的情况下，语义匹配的重要性保持重要。一个实施方式确定两个或者更多叠加何时具有相同数目的关键词，并且匹配更多关键词与视频内容的叠加视为优选语义匹配。在此实施方式中，在两个或者更多叠加匹配相同数目的关键词时，具有更短描述的叠加视为优选语义匹配。表达满足这些条件的示例公式为：其中Addescription和Videodescription分别是描述叠加和视频内容的关键词集合，并且f：N→R为非递减函数。某些实施方式将f(x)＝1用于此函数。在可以描述叠加和视频内容二者的关键词缺乏时，可以使用该公式的另一版本，该版本将处理在所有视频内容关键词和叠加描述词相同或者完全无关时的情况。
一个实施方式可以使用以上描述的Resnik方法以便测量词相似性。例如，取代对在视频内容与叠加之间共享多少词进行计数，此实施方式可以对于在视频内容描述性质中的每个视频内容关键词或者词使用Resnik测量来考虑在叠加描述中的最相似词，这将产生在0与1之间的数作为权值。可以表达在此实施方式中实施的公式为：
其中f：N→R为非递减函数。根据此实施方式，对于给定的视频内容，服务器104对于每个叠加计算叠加描述的相似性分数，并且更可能向该视频内容中插入具有更高分数的叠加。
可以考虑的第二标准是在选择的视频内容与叠加之间的可视相似性。让叠加更好地混合到视频内容中可以产生用于查看者而用户114的更好总体验，这又可以产生用于视频内容发行者和叠加提供者(即，广告客户)的正面牵连。在实施方式中，在视频内容与叠加之间的相似可见性程度部分基于它们的相应颜色调色板。例如，如果叠加和视频内容仅包含对照颜色，则它们视为无高可视相似性程度。某些实施方式从叠加提取并且也从视频内容的少数帧颜色调色板。在一个实施方式中，基于从视频内容提取的颜色，提交对于从数据库122提取叠加的查询，这些叠加包括具有与提取的视频内容颜色最相似的颜色的叠加。此实施方式产生选择视觉上相似的叠加，这些叠加向视频内容中的插入将更少明显，从而产生用于查看者用户114的更怡人体验。视频帧或者叠加图像的颜色调色板代表用于帧或者图像的代表颜色集合。给定视频和叠加，通过使用叠加和视频颜色调色板来计算距离。对于从视频调色板提取的每个颜色，一个实施方式考虑叠加中的最相似颜色。在一个实施方式中，颜色相似性可以基于在色调、饱和度和亮度(HSB)或者色调、饱和度和光度(HSL)坐标空间中具有最小相互欧几里得距离的颜色。为了计算用于叠加的欧几里得距离，一个实施方式将在视频调色板中的每个颜色与来自叠加颜色调色板的最相似颜色之间的距离的对数相加。可以将用公式表达此相加为：
在此实施方式中，将对数相加等效于将在对数以内的数量相乘、但是使用对数以便避免数值问题，因为HSB坐标值在[0,1]中，因此距离的乘积可以快速产生0/零值。可以将以上示例公式概念化为距离的乘积。具有用于距离的多个值的乘积，实施方式有利于在值之一接近0时的情况，这可以被概念化为考虑最相似颜色对的算法。
某些实施方式至少部分基于在叠加与视频内容之间的可视相似性匹配叠加与特定视频，首先基于语义相似性选择多个候选叠加，并且此后过滤列表以使用也具有至少某个可视相似性程度的叠加。一个实施方式按照语义相似性的降序对叠加进行排序，并且仅考虑表现最高(即，语义最相似)的叠加中的少数叠加用于下一阶段。在下一阶段中，叠加选择基于可视相似性分数。此实施方式的变化可以通过改变将在计算语义相似性分数之后考虑的叠加数目来控制这些阶段的结果。以此方式，基于语义和可视相似性标准，叠加排行器129产生根据叠加多么好地相配到选择的视频内容中而排行的叠加列表。根据实施方式，可以在存储器124中或者在数据库122中存储此排行的列表。在备选实施方式中，叠加排行器129产生仅按照语义或者可视相似性之一排行的叠加列表。
在一个实施方式中，叠加调度器131在叠加已经由叠加排行器129排行之后由视频-叠加匹配模块120调动。叠加调度器131然后确定用于排行的叠加的空间和时间位置。叠加调度器131可以由叠加处理模块181和视频处理模块116分别对于叠加和对于选择的视频内容二者先前完成的预处理支持。通过与先前存储的视频和叠加处理一起使用显著性提取的结果，叠加调度器131可以加速在选择的视频内容内投放和调度排行的叠加。
在一个实施方式中，客户端设备134包括一个或者多个视频导航设备、诸如但不限于被配置用于与视频播放器112、触屏显示设备121和机顶盒(STB)的基于浏览器的UI交互的输入设备。示例STB客户端设备134b可以包括但不限于基于网际协议(IP)(即，IPTV)的STB。实施方式不限于此示例STB客户端设备134b与网络106交互，并且本领域技术人员将清楚可以在这里描述为客户端设备134、包括但不限于个人计算机、移动设备如智能电话、膝上型计算机、平板计算设备、数字视频盘(DVD)设备或者适合于在显示设备121上表现视频内容的演绎125的其它设备的实施方式中使用其它STB和视频导航设备。许多附加客户端设备134a和STB客户端设备134b可以与叠加投放系统130使用，但是在图1B中图示仅一个STB客户端设备134b。在一个实施方式中，客户端设备134可以与显示设备121集成，从而二者形成单个集成部件。客户端设备134a-n可以包括用于经由网络106通信、表现发行者UI 108、广告客户UI 110和/或执行视频播放器112的任何适当计算设备。
如图1B中所示，客户端设备134a-n中的每个客户端设备通过网络106耦合到服务器104。虽然图1B中未描绘，在一个备选实施方式中，服务器104可以从数据库122分离地定位。客户端设备134从用户114接收操作命令、包括用于发起经由发行者UI 108上传视频内容的命令、用于发起经由广告客户UI 110上传叠加的命令以及用于经由视频播放器112导航到、选择和查看视频内容的命令。遥控器(未示出)或者其它输入设备可以用来控制STB客户端设备134b的操作。一些STB可以在其上具有控件，从而无需使用遥控器。向遥控器配置用于控制STB客户端设备134b、包括播放视频、订购视频资产(即，按查看付费VOD资产)、向购物车添加视频资产、取回关于视频内容的信息、预览相似视频内容(即，与这相近)等的按钮。在一个实施方式中，购物车是用于快速访问查看者用户114可能最终想要订购的视频资产的方便存储位置，其中订购发起递送订购的视频资产的演绎125b。
容易理解，服务器104可以提供任何类型的视/听内容的演绎125。如这里描述的视频播放和查看会话是指一般可用于向个别客户端设备134递送的任何视频内容，而在来自该客户端设备134的显式请求时发起递送。视频查看会话也可以在这里被称为“会话”。服务器104也可以在这里被称为“服务器”。在示例中，视频查看会话是视频内容查看会话或者视频游戏会话中的一个或者多个会话，在该视频游戏会话中可以预览和订购视频游戏资产。在视频查看会话中，服务器104可以提供在数据库122中或者在发行者的web服务器远程存储的视频内容的演绎125。演绎将包括视频-叠加匹配模块120向非明显位置中插入的一个或者多个叠加。在视频游戏会话中，服务器104例如在处理器123上运行视频游戏，并且允许客户端设备134远程播放视频游戏的预览。
根据一个实施方式，叠加投放系统130在显示设备121上显示包括发行者UI 108和广告客户UI 110的管理员UI(在图3中示出)，以及用于视频播放器112的UI(在图4中示出)。在实施方式中，显示设备121可以是电视、具有网络功能的电视、监视器、平板设备的显示器、膝上型计算机的显示器、移动电话的显示器或者个人计算机的显示器中的一项或者多项。在一个实施方式中，一类客户端设备134b是连接到显示设备121b的有线机顶盒(STB)。在此实施方式中，显示设备121b可以是连接到STB客户端设备134b的电视或者监视器。
服务器104可以经由网络106提供选择的视频内容的演绎125a-n。演绎125a-n包括视频内容，该视频内容具有与内容匹配的插入的叠加。在实施方式中，演绎125a-n中的特定演绎可以可选地包括被视频叠加匹配模块120与视频内容匹配的叠加，其中匹配部分基于客户端设备134a-n中的特定客户端设备的特性，将在该特定客户端设备查看演绎125a-n中的特定演绎。演绎125a-n可以在任何适当计算机可读介质、数据库122、存储器124和/或存储器128a-n中驻留。在一个实施方式中，按照与请求视频内容的客户端设备134a-n的特定显示设备121a-n兼容的分辨率提供演绎125a-n中的特定演绎。在一个实施方式中，演绎125a-n可以在服务器104的存储器124中驻留。在另一实施方式中，演绎125a-n可以由服务器104经由网络106从远程位置访问并且向客户端设备134a-n提供。演绎125a-n中的每个演绎可以包括在适合于请求客户端设备134的给定的比特率和/或比特大小编码的请求的视频内容中的一些或者所有视频内容的副本。
服务器104可以包括用于托管视频内容、视频处理模块116、叠加处理模块118、视频-叠加匹配模块120和数据库122的任何适当计算系统。如图1B中所示，服务器104包括耦合到存储器124的处理器123。在一个实施方式中，服务器104可以是单个计算系统。在另一实施方式中，服务器104可以是使用在网格或者云计算拓扑中连接的多个计算系统或者服务器而实施的虚拟服务器。如以下参照图10所述，处理器124可以是在多芯/多处理器系统中的单个处理器。这样的系统可以被配置用于与单个服务器104一起或者在群集或者服务器群中操作的计算设备群集中操作。
网络106可以是数据通信网络、诸如因特网。在实施方式中，网络106可以是线缆网络、诸如混合光纤同轴线缆、光纤到户、通过线缆服务接口的数据规范(DOCSIS)、因特网、广域网(WAN)、WiFi、局域网(LAN)、ATM或者任何其它有线或者无线网络中的一个网络或者组合。服务器104可以存储和流式传输视频内容、包括但不限于在线视频、电视节目、电视广播/同播、电影和视频游戏。
客户端设备134a-n可以经由网络106与服务器104建立相应网络连接。可以在客户端设备134执行发行者UI 108、广告客户UI 110和/或视频播放器112中的一项或者多项以经由网络106建立网络连接。网络连接可以用来在客户端设备134与服务器104之间传达代表视频内容的分组化的数据。服务器104可以响应于对于与演绎125a-n对应的视频内容的请求，向客户端设备134a-n提供具有视频内容的叠加的演绎125a-n中的一个或者多个演绎。
例如，服务器104可以提供请求的视频内容的演绎125为流视听内容。视频播放器112可以通过经由网络106取回演绎125a-n中的一个或者多个演绎来访问流视听内容。服务器104可以提供演绎为分组化的数据。视频播放器112可以配置处理器126以表现取回的演绎125用于在显示设备121上显示。
响应于从客户端设备134接收请求，服务器及其视频-叠加匹配模块120可以确定用于将由视频播放器112取回的视频内容的演绎125的叠加和质量级别。视频-叠加匹配模块120可以应用视频-叠加匹配标准中的一个或者多个视频-叠加匹配标准以生成包括视为与请求的视频内容相关的叠加的演绎125。在某些实施方式中，请求客户端设备134的性质也可以由视频-叠加匹配模块120用来选择叠加。例如，如果特定客户端设备134是移动设备，则可以向提供给客户端设备134的演绎125中插入与移动设备的产品和服务有关的叠加。也例如响应于确定请求客户端设备134位于给定的地理区域或者物理位置中(即，基于客户端设备134的全球定位系统(GPS)位置、客户端设备134的介质访问控制(MAC)地址、客户端设备134的网络地址或者其它标识信息)，服务器104可以提供具有视为与确定的位置或者时区相关的叠加的、请求的视频内容的演绎125。服务器104也可以至少部分基于确定请求客户端设备134的当前通信能力、网络连通(即，下载速度)和/或硬件调配确定用于演绎125的理想质量级别。
图2图示在用于处理在数字视频播放器中显示的流内视频广告的现有技术系统的部件之间的通信流程。具体地，图2描绘视频广告系统200，该视频广告系统实施用于与某个视频内容一起在视频播放器212内播放广告的预定义标准。图2示出对于在视频广告系统200中的视频广告(‘ad’)流程需要至少五个枚举的步骤。如以下所述，视频广告系统200也需要多个接口点作为用于视频广告系统200的通信流程的部分仅提供与标准相符的视频广告服务器222。架构100和叠加投放系统130的优点包括提供以上参照图1A和图1B讨论的部分和全自动化叠加投放特征而无需视频广告系统200需要的步骤和多个接口点。
视频广告系统200需要协议，这些协议使得有可能在视频播放器212内放映视频和分离广告媒体二者。图2图示如何使用这样的协议来实施视频广告系统200。架构100和叠加投放系统130的其它优点包括用于直接修改视频内容以表现编辑的视频内容的能力，该视频内容包括投放和变换的叠加。以此方式，这里公开的实施方式可以显示具有叠加的视频内容的演绎125而无需协议、诸如在视频广告系统200中使用的协议。
如图2中所示，在视频广告系统200中，用于投放视频广告的流程需要若干步骤和接口。在步骤1中，视频播放器212通过产生对广告服务器222的广告调用来提交广告请求。然后在步骤2中，广告服务器222用包括对广告的引用的可扩展标记语言(XML)文件做出响应，并且视频广告XML解析模块218解析XML文件以取回对广告的引用。步骤2和图2中所示其它步骤未并入关于何处投放广告的任何计算的结果。与视频广告系统200对照，叠加投放系统130的另一优点是计算可以用来自动确定用于投放叠加的不明显位置。接下来，在步骤3中，视频播放器212取回在XML文件中引用的广告媒体并且表现广告媒体。根据视频广告系统200，显示广告媒体通常需要来自视频播放器212的参数集合，这可能需要使用应用编程接口(API)在视频广告XML解析模块218与视频播放器212之间的交互。在视频广告系统200中，需要用于任何运行脚本的前置播送广告媒体或者任何交互、可点击广告媒体的API。在步骤4中，视频播放器212激发印象和活动报告信标。最后，在步骤5中，表现广告媒体。
在视频广告系统200中，需要在视频播放器212与广告之间的协议。协议包括广告必须实施的方法，并且视频播放器212必须在某些事件出现时调用方法。这样的方法的示例是resizeAd、startAd、stopAd、pauseAd、resumeAd、collapseAd、expandAd。在视频广告系统200中，广告可以仅在显式地调用方法时实施特殊行为、诸如大小重设。例如在广告在其上出现的屏幕大小改变时，广告可以通过在resizeAd方法中根据可用区域动态选择它的布局来实施此功能。叠加投放系统130以及以下参照图8和图9描述的方法800和方法900的其它优点是系统和方法无需在视频广告系统200中需要的协议或者方法调用。
示例性用户界面
图3和图4图示根据本公开内容的实施方式的示例管理员和视频播放器用户界面(UI)。参照图1A和图1B的实施方式描述在图3和图4中描绘的UI。然而，UI不限于那些示例实施方式。在一个实施方式中，实施用于视频播放器112、发行者UI 108和广告客户UI 110的界面为图3和4中所示UI。可以在客户端设备134a-n上在显示设备121a-n中的相应显示设备上显示UI。
在图3和图4中，示出具有各种图标、命令区域、视窗、工具栏、菜单和按钮的显示，这些图标、命令区域、视窗、工具栏、菜单和按钮用来发起动作、调动例程、上传视频内容、上传叠加、预览视频内容、选择视频内容用于查看或者调动其它功能。发起的动作包括但不限于上传新视频内容、录入/编辑视频性质、删除视频内容、上传叠加、预览视频内容、选择视频内容用于查看、控制回放视频内容以及其它与视频和叠加有关的输入。为了简洁，以下仅描绘如与各图中的先前图或者后续比较的在各图内出现的不同。
在实施方式中，可以经由以下参照图10描述的显示器接口1002和计算机显示器1030显示用来显示图3和图4中所示用户界面的显示设备121a-n。在某些实施方式中，UI可以被配置用于在触屏显示设备121上显示。根据实施方式，发行者、广告客户和/或查看者用户114可以使用输入设备、诸如但不限于触笔、手指、鼠标、键盘、键区、操纵杆、语音激活的控制系统或者用来提供在用户114与UI之间的交互的其它输入设备来与图3和图4中所示UI交互。如以下参照图3和图4所述，这样的交互可以用来指示待上传的叠加或者视频资产、导航遍历多个叠加或者先前上传的视频资产并且选择待查看的视频资产。
图3图示示例管理面板(即，管理员用户界面)。在一个实施方式中，发行者和广告客户用户114可以均具有在叠加投放系统130中的某些管理员权限并且被批准访问管理员用户界面300的相应部分。在向叠加投放系统130提供登录证书和认证之后，发行者用户114可以起动基于浏览器的管理员用户界面300。如图3所示，管理员用户界面300包括具有添加视频链接313和改变视频信息链接315的发行者菜单312。通过使用输入设备来选择添加视频链接313，发行者用户114可以发起web表单(未示出)，该web表单允许发行者向叠加投放系统130中上传视频内容。例如，发行者用户114可以选择本地视频文件并且录入附加上传信息、诸如但不限于标签/关键词、标题和简要描述。然后，响应于选择上传按钮(未示出)来上传新视频。一个实施方式在管理员用户界面300内指示是否成功上传视频。其它实施方式经由电子邮件消息向发行者用户114或者其它通信装置传达上传状态。
如图3中所示，管理员用户界面300包括具有视频列表324的窗格。视频列表324包括先前上传的视频资产，并且指示它们的性质。在一个实施方式中，响应于选择发行者菜单312中的改变视频信息链接315来显示视频列表324。在图3中所示示例实施方式这两个，对于在视频列表324中的每个资产，与标题、描述、关键词和指示视频资产位于何处的URL一起显示预览缩略图。预览缩略图包括视频资产的至少一个帧，并且可以可选地被实施为随时间改变(即，不是静态)的动画图标。一类动画图标显示来自视频资产的帧序列(即，作为幻灯片放映)。在一些实施方式中，动画图标的动画未必需要用户交互或者用户刺激，并且动画自行出现。例如，预览缩略图可以被配置用于播放(例如，一次或者反复地)它的关联视频内容的至少某个部分。在一个实施方式中，在预览缩略图中示出视频内容的不同时间点或者快照。在各种实施方式中，动画由输入设备或者鼠标翻滚(即，让鼠标、触笔、手指或者其它输入设备在预览缩略图之上或者附近悬停而无需点击或者选择缩略图)触发或者激活。在一些实施方式中，动画仅响应于检测到翻滚或者悬停而播放一次。在备选或者附加实施方式中，播放或者循环视频内容直至翻滚或者悬停结束(即，光标、子帧或者输入聚焦不再在预览缩略图之上或者附近悬停)。
视频列表324也包括用于每个列举的视频资产的编辑链接316和删除链接318。发行者用户114可以通过使用输入设备以点击编辑链接316来编辑视频资产的性质。通过使用输入设备来选择删除链接318，发行者用户114可以从视频列表324删除视频资产。在某些实施方式中，这样的删除触发从叠加投放系统130及其数据库122删除视频资产。如果删除成功，则可以经由在管理员用户界面300内的指示、电子邮件消息或者其它通信手段通知发行者用户114。
管理员用户界面300也包括叠加提供者菜单314(在图3的非限制示例实施方式中标注为“Ad”)，该叠加提供者菜单具有添加图像链接320和叠加列表链接322(在图3中所示示例中标注为‘Ad列表’)。在向叠加投放系统130提供登录证书和认证之后，广告客户用户114可以起动管理员用户界面300并且使用输入设备来选择添加图像链接320以便起动对话框(未示出)，该对话框允许发行者选择用于将向叠加投放系统130中上传的叠加的本地图像。通过与管理员用户界面300交互，广告客户用户114可以选择用于广告的本地图像文件并且录入附加上传信息、诸如但不限于与作为广告的主题的产品、服务和/或品牌有关的标签/关键词。然后响应于选择上传按钮(未示出)来上传新叠加。一个实施方式在管理员用户界面300内指示是否成功上传叠加。其它实施方式经由电子邮件消息、短消息服务(SMS)文本消息或者其它通信手段向广告客户用户114传达上传状态。
虽然在图3中未示出，但是管理员用户界面300的一个实施方式也包括具有与在图3中描绘和以上描述的视频列表324相似的叠加列表的窗格。与视频列表324相似，叠加列表包括先前上传的叠加并且指示它们的性质。在一个实施方式中，响应于选择在叠加提供者出差单314中的叠加列表链接322来显示叠加列表。与视频列表324一样，可以与关联于每个叠加的标签/关键词一起显示用于每个叠加的预览缩略图。叠加列表也包括用于每个列举的叠加的编辑链接316和删除链接318。广告客户用户114可以通过使用输入设备以点击编辑链接316来编辑叠加的性质。在叠加提供者不再希望让叠加向视频内容中投放时，广告客户用户114可以使用输入设备来选择删除链接318以从叠加列表删除这样的叠加。在某些实施方式中，从叠加列表删除叠加触发从叠加投放系统130及其数据库122删除叠加。如果删除成功，则可以经由在管理员用户界面300内的指示、SMS消息、电子邮件消息或者其它通信手段通知广告客户用户114。
图4图示用于视频播放器112的示例用户界面。在一个实施方式中，在客户端设备134上执行视频播放器112的查看者用户114具有某些视频查看权限。如图4所示，视频播放器用户界面400包括视频控件412，这些视频控件可以例如用来播放、快进、倒退和停止回放已经被选择用于回放的视频内容404。视频控件412还包括音频音量控件和用于在视频播放器用户界面400内在全屏模式中查看视频内容404的全屏切换按钮。视频播放器用户界面400也显示用于选择的视频内容404的视频性质410。如图4所示，用于选择的视频内容和/或可用于查看的其它视频内容(在图4中所示示例中标注为‘随机视频’)的示例视频性质410可以包括标题、描述、标签/关键词和指示视频位于何处的URL。如在图4中所述，与当前正在查看的视频内容404一起显示向视频内容404中插入的叠加406，这是因为视频播放器用户界面400显示包括发行者和/或叠加系统130投放的叠加406的、选择的视频内容404的演绎125。可以包括某些叠加406作为发行者用户114经由发行者UI 108向叠加投放系统130中上传的视频内容404的部分。虽然图4中所示示例叠加406传送关于选择的视频资产的发行者(即，视频内容的原有广播者和分发者)和状态或者类别(例如‘实况’)的信息，但是如以上描述以及在图5A和图5B中所示，可以体现其它叠加506为在叠加投放系统130在视频内容404内的各种非明显位置投放的广告。
除了可用来控制回放当前选择的视频之外，视频播放器用户界面400还允许查看者用户114导航视频列表以预览、选择和查看其它视频内容。如图4所示，视频列表可以包括用于建议或者‘随机视频’的预览缩略图和视频性质410。在图4中所示示例实施方式中，对于在视频列表中的每个视频资产，与包括标题、描述、关键词和指示视频资产位于何处的URL的视频性质410一起显示预览缩略图。预览缩略图包括列举的视频资产的至少一个帧并且可以可选地被实施为动画图标，该动画图标显示如以上参照图3中所示视频列表324描述的关联视频内容的至少部分。在实施预览缩略图为动画图标的情况下，可以可选地显示向正在预览的视频内容的演绎125中插入的叠加。例如，如果正在预览的视频内容的一个帧或者多帧包括插入的叠加，则还可以在预览缩略图内显示那些叠加。如图4所示，在视频列表中的视频内容的视频性质410包括可点击、可动作的链接，查看者用户114可以使用输入设备来选择该链接以查看列举的视频资产。
图5A和图5B示出在视频内容帧的各种位置内投放的示例叠加。如图5A所示，可以在视频内容404的帧内投放多个叠加406、506。参照图1A和1B的实施方式描述图5A和图5B中所示叠加。然而叠加不限于那些示例实施方式。
图5A示出包括叠加投放系统130在预定位置投放的叠加406和在选择的不明显位置投放的另一叠加506的、视频内容404的演绎125的帧。在图5A的示例实施方式中，叠加406传送视频内容的性质410(即，格式、高清晰度-‘HD’、原有发行者/分发者/广播者-电视网络和状态-‘实况’)，而叠加506是在相同视频内容404内的另一位置投放的广告。如图5A所示，已经在未与在视频内容404内的重要元素或者对象重叠的不明显位置投放叠加506。例如，叠加506未与叠加406的任何部分、任何播放器或者图5A中所示体育场景中的球重叠。
图5B示出叠加406和叠加506在视频内容404的各种演绎125内的若干示例投放。如图5B中所示，根据在各种视频内容404中的重要元素的位置，可以在不同位置投放叠加506以免与重要元素重叠。这与在预定或者预定义位置、例如，视频内容404的帧的顶部或者底部投放的叠加406——这可能产生与重要对象重叠——对照。
图6图示示例叠加类型和维度。具有在图6中以像素为单位表达的维度的叠加大小600一般与标准在线广告大小相称。在图6中根据在线广告类别、如诸如完全横幅、半横幅、竖直横幅、矩形、方形按钮、通栏广告和后弹出窗口标注叠加大小。在某些实施方式中，向叠加投放系统中上传的叠加506是叠加大小600之一，并且在叠加投放系统130确定叠加何处相配时，考虑叠加的大小600和以像素为单位的维度。根据一个实施方式，叠加投放系统可选地建议可以在视频内容404中投放原有大小的叠加506和/或具有不同叠加大小600的重设大小的叠加506的位置。例如，基于标准叠加大小600的知识，视频处理模块116可以确定叠加大小600中的每个叠加大小将相配到视频内容404中的位置。这可以是在已经上传视频内容404并且已经标识在视频内容404的帧内的重要对象之后完成的在线计算。以此方式，可以基于可以在视频内容404的帧内投放具有叠加大小600之一的叠加而未与任何重要对象重叠的知识预测具有标准叠加大小600之一的潜在叠加506的‘相配’。稍后在为特定视频内容404选择具有给定的叠加大小600的具体叠加506时，视频-叠加匹配模块120将仅需关注用于该特定叠加大小600的最好可能投放并且选择预测的位置之一。
如果有特定叠加大小600将相配到其中的有限或者无预测位置，则叠加投放系统130可以可选地与在重设大小的叠加506可以相配的建议位置中的每个位置投放重设大小的叠加506的相对资金和/或显著性成本一起呈现建议的位置。例如，在重设大小的叠加506具有比原有大小更小的大小的情况下，叠加投放系统130还可以呈现投放更小的重设大小的叠加506的更低资金和/或显著性成本。此外，在已经标识多个预测的位置的情况下，视频叠加匹配模块120可以选择也产生与具体叠加506的有利颜色组合的位置。同样，如果已经标识多个预测的位置，则视频-叠加匹配模块120可以可选地呈现在UI内的位置中的每个位置内投放叠加506的成本，从而广告客户用户114可以人工选择位置之一。
图7描绘示例显著性映射。具体地，图7呈现用于具有自然场景图像的视频帧702和具有人造图像的另一视频帧706这两个不同图像的显著性算法的最终输出。视频帧的更显著区域通常具有更多不连续，这些不连续可以是在这样的区域中的重要对象的指示符。更少显著的区域没有或者有很少重要对象。实施方式寻求避免在高度地显著区域中投放叠加以免可能与重要对象重叠的叠加位置。备选实施方式可以使用显著性映射以在可能让查看者而用户114感兴趣的的相对显著、重要区域中对叠加进行定位而仍然避免与标识的重要对象重叠的投放。显著性映射700是值的绘图，每个值代表图像/帧702中的对应像素的显著性、即重要性。由于显著性计算可能需要来自服务器104的处理器123和/或存储器124的相对大量资源，所以实施方式仅每秒计算用于视频内容的一个帧702的显著性。然而，这不会产生遗漏多数视频内容中的重要对象，这是因为如果重要对象在场景中出现，则它通常由显著性被映射的帧702中的至少一个帧捕获。图7示出可以对于帧702获得的显著性而对显著性映射700进行编码，从而更高显著性由更密集的阴影代表。在显著性映射700中的不连续708可以是重要对象的指示符。以下参照图7描述的示例方式、即使用傅里叶变换和四元数是一种用于计算显著性的可能计数。可以生成显著性映射700以标识视频帧702的区域的相对重要性(即，包含一个或者多个重要对象的区域)。
可以计算用于视频内容404的帧的显著性以便检测帧中的区域多么显著。可以在显著性映射、诸如图7中所示示例显著性映射700中映射区域的显著性。在一个实施方式中，计算用于输入图像、诸如视频内容的帧702或者帧706的2D傅里叶变换。然后，归一化2D傅里叶变换所产生的复数值，从而每个复数值具有模1。接着执行逆傅里叶变换。这样，在增强不连续(例如，见图7中的不连续708)之时减少频繁出现的分量。由于在空间域中的频繁分量在频域中的对应位置对应于更大系数，所以归一化将产生减少来自频域的该复数并且也将产生抑制周期分量。在某些实施方式中，多个通道可以用来通过使用复数来计算显著性。这些实施方式可以通过使用广义傅里叶变换、如诸如四元数赋能变换来检测不连续。四元数代表复数的广义化并且可以采用形式：Q＝a+b·i+c·j+d·k，其中a、b、c和d是实数。通过使用四元数，实施方式能够以自然方式在不同映射(通道)内合成不连续。例如，四个可用通道中的三个通道可以用于静态图像分析，而第四通道可以并入时间信息(通过在帧702之间的差值)，而通道1代表像素强度，通道2代表红色-绿色对比度，通道3代表黄色-蓝色对比度，并且通道4代表与先前帧比较对在给定的帧702中的运动进行建模的(t)-强度(t-1)。关于通道3和红色-绿色对比度，虽然红色和绿色的强度可能相同，但是红色区域与绿色区域对照。在对于图像、诸如视频帧702执行以上描述的显著性算法之后，获得显著性映射700。实施方式使用用于多个视频帧的显著性映射以确定帧的区域的相对显著性，其中显著性量化重要对象在区域内的存在。
根据实施方式，显著性计算和映射部分基于注意力建模。对查看者用户114的注意力进行建模可以是在叠加投放时的重要考虑，因为知道查看者用户114可能关注(或者已经关注)何处代表知道用于叠加的良好投放的实质提示。在一个实施方式中，执行基于显著性的可视注意力建模用于迅速分析视频内容的场景。在一个实施方式中，用以下方式对于不同特征类型生成多个特征映射：给定特征(例如，强度)，如果在区域中的特征值与在视频帧中的周围区域比较很不同，则该区域视为显著。对于每种特征，通过使用多个分辨率(大小)来生成多个映射：可以对于中心区域考虑至少三个不同大小，并且对于这些大小中的每个大小，对于周围区域考虑至少两个大小，从而产生用于每个特征的多个至少六个映射。在某些实施方式中，使用的特征为强度、颜色对比度(考虑红色-绿色和黄色-蓝色对比度)和定向(考虑0、45、90和134度局部定向)。以此方式，注意力建模可以获得用于强度的至少六个映射、用于映射的至少十二个映射和用于定向的至少二十个映射。然后可以将这些映射组合成单个显著性映射、诸如显著性映射700。
根据实施方式，可以运用以下方法中的一种或者多种方法以组成显著性映射。简单求和：将所有映射归一化到[0,1]区间、然后直接相加。这是一种基线方法并且通常未赋予健壮结构。归一化：根据此计数，与在相同显著性映射中的其它局部最大值比较具有突显最大值的显著性映射可以变得更重要。因此，如果确定一个点的一个特征很显著，则此特征视为比其它更小显著的特征更重要。迭代归一化：此技术与归一化相似，不同的是它是一种更与生物学有关的方法，该方法有时可以返回比归一化更好的结果。归一化可能在生物学上不合理，而已知在查看者用户114的脑部(负责分析可视信号)的皮层中的神经元仅被局部连接。顾名思义，就迭代归一化义而言，使用迭代策略，该迭代策略衰减帧的其附近相似的区域或者区段(即在帧中的相邻区域)。迭代归一化计数始于被归一化到[0，1]中的显著性映射、然后执行一些区域的衰减/加强(最后，映射再也不会在[0,1]中，因此此方法可以视为一种用于向不同显著性映射赋予不同权值的过程)。最后，可以运用一种学习权值技术。这是权值更新策略，该权值更新策略考虑每个显著性映射多么好地强调在视频内容中的标识的目标。通过对于在视频内容内的具体目标训练，更好地代表或者标识该目标的显著性映射将接收更大权值(例如，如果目标为红色并且背景总是为绿色，则在显著性映射内的颜色映射将变得更重要)。
某些实施方式使用一种数据驱动的方式用于计算显著性映射700。在视频内容的多个帧上为查看者用户114记录眼睛跟踪数据。为了从眼睛注视点获得连续显著性映射，帧可以在每个注视点与高斯内核卷积。可以从每个帧随机提取多个(至少十个正面和至少四个反面)示例像素用于训练目的。可以通过在从眼睛跟踪数据获得的显著性映射700上应用门限、将前20％像素视为正面示例(注视)和后70％为反面示例来从每个帧获得这些点。在某些实施方式中，可以使用三类特征：低级特征(例如，对比度、定向)、中级特征(分类器可以用来确定在水平线上的像素)、高级特征(使用脸部检测算法、如诸如Viola-Jones算法)。除此之外，还可以通过考虑像素的位置来使用查看者用户114的目光往往集中于帧的中心这样的观察。向支持矢量机分类器中馈送所有这些特征。
在以下段落中描述的示例注意力建模方法使用显著性值并且与叠加投放系统130间接有关。这些注意力建模技术可以与以上参照图1A和图1B描述的叠加投放系统130，以及以下参照图8和图9描述的方法结合使用。实施方式使用显著性以便重新以在不同显示器(例如，移动客户端设备134、诸如平板计算机、智能电话、膝上型计算机和便携DVD播放器)上的帧为目标。这些实施方式中的某些实施方式使用检测注意力对象(AO)的注意力模型。每个AO由以下值描述：ROI(兴趣区域)、AV(注意力值)和MPS(最小可感知大小)。ROI指示对象所在的区域(并且将它表示为形状、诸如矩形)。AV给予对象的重要性，并且MPS指示可以使对象多么小而又仍然保留它的特性。根据这些实施方式，如以上所述生成显著性映射，然后使用以上描述的迭代归一化策略来组合它们。在显著性映射可用时，通过将每个像素的显著性乘以它的亮度来计算在每个像素的AV，然后应用高斯模板，其中知道人们往往关注帧的中心。可以试探地计算每个显著区域的MPS(可以更激进地缩放更大区域)。除了显著性之外，注意力建模也通过标识面和文本来并入由上至下的语义信息。这些视为吸引更多注意力(虽然它们可能从由下至上的观点来看并不显著)。每个面的AV考虑面大小和位置(更大面和在帧的中心中检测到的面具有更高AV)。在一个实施方式中，用于面的MPS可以固定于25×30＝750个像素。还可以考虑文本。例如，文本区域的AV可以考虑文本面积和纵横比。仅确定存在文本，文本位置可以未视为重要。在一个实施方式中，可以运用基于规则的系统以向这些不同来源指派权值。例如如果有具有很高AV的面，则面分量的权值变大。为了重设目标，实施方式寻求“信息保真”公式，该公式告知保留多少信息-对应每个AO，如果它的大小太小(使用MPS)，则将它的AV设置成0。
一个实施方式通过延伸用于视频内容分析的显著映射或者模型来计算用于视频内容刮削的可视注意力模型。在此实施方式中，生成注意力曲线以便执行视频内容分析。在此实施方式中，生成注意力曲线以便执行视频内容刮削。视频刮削是指提取视频资产、诸如电影的醒目显示。根据此实施方式，显著性用于基于区域的帧取回。首先，为了计算在帧中的每个像素的显著性，可以使用以下算法：考虑颜色和定向在某个区域、区段或者邻域中比较任何像素x与所有像素y。在具体像素中的特征与周围像素比较越不同，它视为越显著。在此步骤之后，检测显著对象。为了获得这些对象，灰度级变换并且分割帧。接着使用熵理论，选择具有高显著性的一些视频内容段。将这些段接合到对象中、最后，为了计算数据库122中的帧的分数(此分数用来对数据库122中的帧进行排行用于执行从数据库122后续取回)，对于在原有帧中的每个显著对象，检测在当前数据库帧中的最相似对象，并且保存或者记录相似性测量。将这些值相加、因此产生用于数据库122中的每个帧的分数。
实施方式可以检测在视频内容404中的令人惊讶的事件并且可以基于检测到的令人惊讶的事件改进叠加506的时间投放。某些实施方式基于显著性映射检测在视频内容中的令人惊讶的事件，并且作为注意力建模的部分。这些实施方式定义一种用于并入来自两个互补域的元素的惊讶框架：显著性和新颖性。这里，显著性可以代表在空间域中的局外者，而新颖性用视频内容的时间域工作。在新颖性框架中，一种方式是假设每个像素在帧中的强度来自高斯分布的混合。这样，在例如包含风中摇曳的树的视频场景中，新的阵风或者方向改变可能未引起大量新颖性，而将成功检测在视频场景中出现的行人或者其它重要对象。实施方式假设未预先知道概率分布。取而代之，可以使用贝叶斯框架，从而在视频内容帧中的每个新的一条信息改变对用户预计看见的内容进行建模的概率分布。在看见新信息之前和之后的分布之间的散度用作信息包含多少新颖性的测量。
其它实施方式可以运用用户注意力模型用于视频概括。根据这些实施方式，有两类视频概括：静态视频抽象和动态视频刮削。静态视频抽象尝试从有代表性的视频内容获得关键帧集合。动态视频刮削寻求发现在室内内容内的代表整个视频资产(具有小得多的总帧长度或者持续时间)的视频剪辑(视频和音频)集合。这些实施方式使用一种用于视频概括(静态和动态)的框架，该框架将视频内容视为包含三类信息：可视、音频和语言。从这些不同来源中的一个或者多个来源生成不同显著性映射，并且组合它们以便生成用于视频内容的注意力曲线。可以平滑注意力曲线，并且视频资产的在局部最大值周围的部分可以用作概括。
示例性方法
图8是图示用于建议叠加位置的示例方法800的流程图。出于示例目的，参照以上参照图1A、图1B和图3至图7描述的系统和UI实现方式描述方法800。然而其它实现方式是可能的。步骤的可选和/或附加部分在流程图中由带括号的短语(例如，见步骤806、步骤810和步骤812)指示。
方法800在步骤802中开始，其中对于视频内容404的多个帧计算显著性映射。此步骤可以包括计算与如以上参照图7描述的用于多个帧702的显著性映射700相似的显著性映射。在对于帧计算显著性映射之后，控制传向步骤804。
在步骤804中，计算辅助矩阵。辅助矩阵可以在方法800中用来通过最小化叠加在叠加在其中出现的帧702之上覆盖的像素显著性之和来建议用于投放叠加的最优位置。可以从第一个帧的左上像素开始完成根据显著性映射计算辅助矩阵以便高效计算每个投放的显著性成本(覆盖的总显著性)，其中通过累计显著性值来获得显著性矩阵。步骤804的一个实施方式计算辅助矩阵为Auxiliary[X][Y][T]＝sum(saliency[x][y][t])，其中求和遍历{1,2,…X}中的所有x、{1,2,...Y}中的y和{1,2,...T}中的t或者：
其中表达显著性为Cost。在辅助矩阵的此示例性定义中，X从1到W(其中W＝像素中的帧的宽度)，Y从1到H(其中H是帧702的以像素为单位的高度)，T从1到L(其中L是按照帧702的总数的视频长度)。因此，步骤804通过累计来自显著性映射的显著性值来计算辅助矩阵。如以下参照步骤808所述，此辅助矩阵可以后续用来迅速计算任何叠加投放位置覆盖的总显著性。
某些实施方式可以仅考虑帧子集以便通过对视频内容进行采样并且计算仅用于那些采样的帧(例如，每秒5帧)的辅助矩阵和显著性映射来加速计算。在一个实施方式中，步骤804仅考虑在步骤802中被计算显著性和映射的帧702。为了发现和建议使显著性成本最小的叠加位置，步骤804可以验证每个可能投放(限制叠加以从具有计算的显著性的帧802之一开始)，并且建议(或者自动选择)产生最小显著性值的位置。为了高效计算给定的叠加投放的显著性成本，步骤804可以包括辅助矩阵，该辅助矩阵取得O(W·H·T)来计算(其中W和H代表处理视频内容的维度，并且T是视频内容的按照帧数目的持续时间或者长度)。在某些实施方式中，计算辅助矩阵仅一次，并且在O(1)中评估每个投放。在此实施方式中，有O(W·H·T)个可能投放，因此此算法的总复杂性为O(W·H·T)。在步骤804中构造辅助矩阵，以便能够在O(1)中获得任何投放的显著性成本。示例辅助矩阵是三维矩阵，该三维矩阵对于从1到t的所有视频帧在位置(x,y,t)包含在(1,1)-(x,y)矩形中的所有像素的显著性之和。使用容斥原理，步骤808能够仅在O(1)复杂度使用少数加法和减法来计算在可能投放所确定的任意视频体积中的总显著性。在一个实施方式中，步骤804可以由视频-叠加匹配模块120执行并且可以由服务器104的处理器123执行。在构造辅助矩阵之后，控制传向步骤806。
接着，在步骤806中，取得叠加大小。最初，这可以是图6中所示标准叠加大小600之一或者给定的叠加具有的以像素为单位的另一大小。在取得叠加大小之后，控制传向步骤808。
在步骤808中，计算用于叠加的可能投放(即，位置)的显著性成本。在一个实施方式中，步骤808首先计算每个投放(即，在视频内容中的叠加的每个可能位置，其中给定叠加大小和持续时间)的显著性成本(覆盖的总显著性)。可以潜在地有在一个视频资产中的数亿或者十亿个潜在叠加投放位置。在一个实施方式中，至少部分基于在步骤804中构造的辅助矩阵，步骤808迅速计算在视频内容404的帧702内的所有位置的不明显性值。可以通过使用辅助矩阵来快速进行显著性成本的计算和不显著性值的计算。在计算显著性成本之后，控制传向步骤810。
在步骤810中，建议在步骤808中被确定具有最低显著性分数的位置。在此步骤中，确定具有最小显著性成本的多个位置(例如，5个位置)。在一个实施方式中，可以向用户、诸如广告客户用户114示出这样的位置，该用户然后可以选择多个位置之一作为用于叠加的位置。在其中寻求全自动化叠加投放的备选实施方式中在步骤810中选择具有最低显著性成本的位置而未向用户呈现建议的位置。即，步骤810可以发现具有最低显著性成本的位置、然后相应地投放叠加。
在步骤812中，关于是否有附加叠加大小和/或待插入的更多叠加进行确定。在一些实施方式中，方法800仅用来确定用于每个叠加的一个最终投放而未对叠加重设大小。如果确定有附加大小或者叠加，则控制传回到步骤806。否则，如果确定无更多待投放的叠加或者待选择的叠加大小，则控制传向步骤818，其中方法800结束。
图9是图示用于在视频内容中投放叠加的示例方法900的流程图。出于示例目的，参照在图1A、图1B和图3至图7中描绘的系统和UI实现方式描述方法。然而其它实现方式是可能的。步骤的可选和/或附加部分在流程图中由带括号(例如，见步骤908、步骤910、步骤912和步骤914)的短语指示。
方法900在步骤902开始，其中接收视频内容和叠加的指示。此步骤可以包括如以上参照图1A和图1B所述在服务器104经由发行者UI 108和广告客户UI 110接收上传的视频资产和叠加，并且视频处理模块116和叠加处理模块118执行视频和叠加处理。
接下来，在步骤904中，对于在步骤902中接收的一个或者多个叠加确定位置并且计算显著性成本。在某些实施方式中，步骤904可以包括允许叠加改变它们在视频内容中的位置。改变位置可以允许叠加避免原本不能避免的重叠显著区域。用于步骤904的一个过程是设置用于每个叠加的速度变量从而惩罚大速率。可以定义显著性成本函数为：
步骤904可以使用随机算法，该随机算法试用各种随机位置(开始时刻、位置、速度)、评估用于位置中的每个位置的显著性成本并且选择表现最好的位置。在一个实施方式中，步骤904可以由视频-叠加匹配模块120执行并且如以上参照图1A、图1B和图7所述创建显著性映射700。
除了在视频内容中发现用于单个叠加的最优位置之外，步骤904的一个实施方式还可以在相同视频内容中发现用于多个叠加的位置。一个实施方式使用以下‘贪心’选择算法以便在视频中投放多个叠加：首先，对于在步骤902中接收的一个或者多个叠加中的第一叠加选择最优位置。在一个实施方式中，可以按照在步骤902中接收的顺序考虑叠加。在另一实施方式中，按照视频-叠加匹配模块12进行的叠加选择所匹配的顺序考虑叠加，该顺序可以至少部分基于叠加和视频内容的相应颜色调色板/方案。然后，通过仅考虑未与先前投放的叠加或者其它叠加重叠的位置来确定用于每个叠加的位置。如果叠加在相同时间(即，相同帧)内出现或者如果在叠加之间的空间距离(以像素为单位)或者时间距离(以时间或者帧为单位)在预定义、可调门限以下，则它们被视为重叠。在一个实施方式中，管理员可调时间门限为1秒。通过使用此贪心选择策略，步骤904将确定位置，从而叠加未重叠或者多于一个叠加不会在视频内容中在相同时间(即，在相同帧中)出现。
在一个实施方式中，步骤904也可以使用从视频处理模块116完成的视频处理中获得的场景分割信息，以便避免确定用于重叠的位置，这些位置将产生重叠穿越在场景之间的边界(即，跨越多个场景或者DVD章节)。视频处理模块116对于视频内容在数据库122中存储的用于场景和章节过渡的时间戳数据(即，以毫秒为单位)可以用来确定不会跨越场景和章节的时间叠加位置。
在附加或者备选实施方式中，步骤904可以包括估计高度兴趣场景以便确定在这样的高度兴趣场景中的叠加位置。例如，可以部分基于高度地动态颜色改变来确定生成高度兴趣的场景。在与在视频内容中的其它帧序列比较有从一个帧到下一个帧的更快颜色改变的情况下，具有更快、更动态颜色改变的帧可以视为包括视频内容中的高度兴趣场景的部分。在确定用于一个或者多个叠加的位置之后，控制在将向用户呈现位置用于人工选择的情况下传向步骤908，控制在将在方法900的全自动化实现方式中执行叠加变换的情况下传向步骤910或者在无叠加变换的方法900的全自动化实现方式中传向步骤916。
在可选步骤908中，在UI内向用户呈现在步骤904中确定的多个位置作为建议位置。在实施方式中，步骤908在管理员UI 300内向广告客户用户114呈现管理员可调、有限数目的最高排行的位置。在一个非限制示例中，建议位置默认数目为五。在全自动化叠加投放方法中，略去步骤908至步骤914。
在可选步骤914中，接收用于叠加的位置选择，并且控制可选地传向步骤910。在一个实施方式中，可以通过从与管理员UI 300交互的广告客户用户114接收用于投放一个或者多个叠加中的每个叠加的位置的选择。
在步骤910中，标识用于叠加的变换。如果确定需要(或者可以)变换叠加以与视频内容更好地相配，则控制传向步骤912，其中应用标识的变换。
在步骤912中，将在步骤910中标识的变换应用于叠加。如以上参照图1A和图1B所述，变换可以包括空间(即，重新成形)、颜色、半透明性、透明性和/或重设大小变换。在实施方式中，步骤912可以包括应用两个主要效果类型，从而叠加更好地相配到在步骤902中接收的视频内容中。第一类型包括空间变换，这些空间变换移动叠加的拐角，从而它更好地相配到视频内容的上下文中、然后应用仿射变换，该仿射变换使矩形叠加变成具有新拐角的重新成形的叠加。第二类型包括颜色变换、诸如随着与叠加的边缘邻近而逐渐增加叠加的透明性、因此产生在叠加与视频内容的帧的包围部分之间的平滑过渡。
接下来，在步骤916中，在选择(或者自动标识)的位置在视频内容内投放以便创建编辑的视频内容。在一个实施方式中，可以通过经由超文本标记语言5(HTML5)使用HTML5的<video>标签或者视频元素向查看者用户114递送叠加来执行步骤916。此实施方式允许使用级联样式表(CSS)遮盖器，这些CSS遮盖器定义滤波效果可扩展机制并且向HTML5内容提供丰富、容易动画的可视效果。具体地，它允许在HTML元素上直接应用顶点和片段遮盖控件，这些HTML元素包括HTML5中的图像和视频元素。在一个实施方式中，此步骤产生创建将经由网络106向在客户端设备134上执行的视频播放器112递送的视频内容的演绎125。在投放叠加之后，控制传向步骤918，其中方法900结束。
这里阐述许多具体细节以提供要求保护的主题内容的透彻理解。然而，本领域技术人员将理解无这些具体细节仍然可以实现要求保护的主题内容。在其它实例中，尚未具体描述本领域普通技术人员知道的方法、装置或者系统以免模糊要求保护的主题内容。
示例计算机系统实现方式
虽然已经在装置、单元、系统和方法方面描述示例实施方式，但是设想可以在微处理器、诸如图1B中所示客户端134a-n和服务器104中分别包括的处理器126a-n和128以及计算设备、诸如图10中所示计算机系统1000上在软件中实施这里描述的某些功能。在各种实施方式中，可以在软件中实施各种部件的功能中的一个或者多个功能，该软件控制计算设备、以下参照图10描述的计算机系统1000。
可以使用硬件、软件模块、固件、具有在其上存储的逻辑或者指令的有形计算机可读介质或者其组合来实施并且可以在一个或者多个计算机系统或者其它处理系统中实施图1至图9中所示本发明的方面或者其任何部分或者功能。
图10图示其中可以实施实施方式或者其部分为计算机可读代码的示例计算机系统1000。例如，可以使用硬件、软件、固件、具有在其上存储的指令的有形计算机可读介质或者其组合在计算机系统1000中实施并且可以在一个或者多个计算机系统或者其它处理系统中实施图1A和图1B中所示客户端设备134a-n和服务器104执行的一些功能。硬件、软件或者其任何组合可以体现某些模块和部件，这些模块和部件用来实施以上讨论的图8和图9的流程图所示方法800和方法900中的步骤以及以上参照图3和图4讨论的用户界面300和用户界面400。
如果使用可编程逻辑，则这样的逻辑可以在商业上可用处理平台或者专用设备上执行。本领域普通技术人员可以理解可以用各种计算机系统配置、包括多芯多处理器系统、小型计算机、大型机计算机、用分布式功能链接或者群集的计算机以及可以向实质上任何设备中嵌入的普遍或者小型计算机实现公开的主题内容的实施方式。
例如，至少一个处理器设备和存储器可以用来实施以上描述的实施方式。处理器设备可以是单个处理器、多个处理器或者其组合。处理器设备可以具有一个或者多个处理器“芯”。
在此示例计算机系统1000方面描述本发明的各种实施方式。在阅读本描述之后，相关领域技术人员将清楚如何使用其它计算机系统和/或计算机架构来实施这些实施方式。虽然可以描述操作为依序过程，但是事实上可以并行、并发和/或在分布式环境中执行操作中的一些操作而本地或者远程存储程序代码用于由单或者多芯处理器机器访问。此外，在一些实施方式中，可以重排操作顺序而未脱离公开的主题内容的精神实质。
处理器设备1004可以是专用或者通用处理器设备。相关领域技术人员容易理解，处理器设备1004也可以是在多芯/多处理器系统——这样的系统单独操作——中或者在群集或者服务器群中操作的计算设备群集中的单个处理器。处理器设备1004连接到通信基础结构1006、例如，总线、消息队列、网络或者多芯消息传递方案。在某些实施方式中，可以体现以上参照图1B的叠加投放系统130、服务器104和客户端设备134a-n描述的处理器123和126a-n中的一个或者多个处理器为图10中所示处理器设备1004。
计算机系统1000也包括主存储器1008、例如，随机存取存储器(RAM)，并且也可以包括次存储器1010。次存储器1010可以例如包括硬盘驱动1012、可拆卸存储驱动1014。可拆卸存储驱动1014可以包括磁带驱动、光盘驱动、闪存等。在非限制实施方式中，可以体现以上参照图1B的服务器104和客户端设备134a-n描述的存储器124和128a-n中的一个或者多个存储器为图10中所示主存储器1008。
可拆卸存储驱动1014以熟知的方式从可拆卸存储单元1018读取和/或向可拆卸存储单元1018写入。可拆卸存储单元1018可以包括可拆卸存储驱动1014读取和写入的磁带、光盘等。相关领域技术人员容易理解，可拆卸存储单元1018包括非瞬态计算机可读存储介质，该非瞬态计算机可读存储介质具有在其中存储的计算机软件和/或数据。
在备选实现方式中，次存储器1010可以包括用于允许向计算机系统1000中加载计算机程序或者其它指令的其它相似装置。这样的装置可以例如包括可拆卸存储单元1022和接口1020。这样的装置的示例可以包括程序盒和盒接口(诸如，在视频有线设备中发现的程序盒和盒接口)、可拆卸存储器芯片(诸如，EPROM或者PROM)和关联插座以及允许从可拆卸存储单元1022向计算机系统1000传送软件和数据的其它可拆卸存储单元1022和接口1020。在非限制实施方式中，可以体现以上参照图1B的服务器104和客户端设备134a-n描述的存储器124和128a-n中的一个或者多个存储器为图10中所示主存储器1008。
计算机系统1000也可以包括通信接口1024。通信接口1024允许在计算机系统1000与外部设备之间传送软件和数据。通信接口1024可以包括调制解调器、网络接口(诸如，以太网卡)、通信端口、PCMCIA槽和卡等。经由通信接口1024传送的软件和数据1028可以是以信号的形式，这些信号可以是能够由通信接口1024接收的电子、电磁、光或者其它信号。可以经由通信路径1026向通信接口1024提供这些信号。通信路径1026输送信号，并且可以使用有线或者线缆、光纤、电话线、蜂窝电话链路、RF链路或者其它通信信道来实施。
如这里所用，术语“计算机可读介质”和“非瞬态计算机可读介质”用来一般是指介质、诸如存储器如主存储器1008和次存储器1010，这些存储器可以是存储器半导体(例如，DRAM等)。计算机可读介质和非瞬态计算机可读介质也可以是指可拆卸存储单元1018、可拆卸存储单元1022和在硬盘驱动1012中安装的硬盘。通过通信路径1026输送的信号也可以体现这里描述的逻辑。这些计算机程序产品是用于向计算机系统1000提供软件的装置。
在主存储器1008和/或次存储器1010中存储计算机程序(也被称为计算机控制逻辑)。也可以经由通信接口1024接收计算机程序。这样的计算机程序在被执行时使计算机系统1000能够实施如这里讨论的本发明。具体地，计算机程序在被执行时使处理器设备1004能够实施本发明的过程、诸如以上讨论的图8和图9的流程图所示方法800和方法900中的步骤。因而，这样的计算机程序代表计算机系统1000的控制器。在使用软件来实施本发明的一个实施方式时，可以在计算机程序产品中存储软件并且使用可拆卸存储驱动1014、接口1020和硬盘驱动1012或者通信接口1024向计算机系统100中加载软件。
在一个实施方式中，用来显示视频播放器112、发行者UI 108和/或广告客户UI110的界面的显示设备121a-n可以是图10中所示计算机显示器1030。可以实施计算机系统1000的计算机显示器1030为触敏显示器(即，触屏)。相似地，可以体现图9和图4中所示用户界面为图10中所示显示界面1002。
本发明的实施方式也可以涉及包括在任何计算机可用介质上存储的软件的计算机程序产品。这样的软件在一个或者多个数据处理设备中被执行时使数据处理设备能够如这里所述操作。实施方式运用任何计算机可读介质。计算机可用介质的示例包括但不限于主存储设备(例如，任何类型的随机存取存储器)、次存储设备(例如，硬驱动、软盘、CD ROM、DVD、ZIP盘、带、磁存储设备和光存储设备、MEMS、纳米技术存储设备等)和通信介质(例如，有线和无线通信网络、局域网、广域网、内部网等)。
一般考虑
这里阐述许多具体细节以提供要求保护的主题内容的透彻理解。然而，本领域技术人员将理解无这些具体细节仍然可以实现要求保护的主题内容。在其它实例中，尚未具体描述本领域普通技术人员知道的方法、装置或者系统以免模糊要求保护的主题内容。
在对计算设备存储器、诸如计算机存储器内存储的数据位或者二进制数字信号的操作的算法或者符号表示方面呈现一些部分。这些算法描述或者表示是数据处理领域普通技术人员用来向本领域其他技术人员传达他们的工作实质的技术的示例。“算法”是促成希望的结果的操作自一致序列或者相似处理。在本文中，算法或者处理涉及到物理数量的物理操纵。通常但是并非必需，这样的数量可以采用能够存储、传送、组合、比较或者另外的电或者磁信号。主要出于普遍用法的原因而将这样的信号称为位、数据、值、元素、符号、字符、项、数、数值等字眼有时是便利的。然而，应当理解所有这些和相似术语将与适当物理数量关联并且仅为便利标记。除非另有具体陈述，应当理解贯穿本说明书，利用诸如“处理”、“计算”、“运算”、“确定”和“标识”等的讨论可以指代计算设备、诸如一个或者多个计算机或者一个或者多个相似电子计算设备的动作或者过程，这些动作或者过程操纵或者变换在计算平台的存储器、寄存器或者其它信息存储设备、传输设备或者显示设备内表示为物理电子或者磁数量的数据。
这里讨论的一个或者多个系统并不限于任何特定硬件架构或者配置。计算设备可以包括部件的任何适当布置，这些部件提供以一个或者多个输入为条件的结果。适当计算设备包括访问存储的软件的多用途、基于微处理器的计算机系统，该软件将计算设备从通用计算装置编程或者配置成实施本主题内容的一个或者多个实施方式的专门化的计算装置。任何适当编程、脚本或者其它类型的语言或者语言组合可以用来在将在对计算设备进行编程或者配置时使用的软件中实施这里包含的教导。
可以在这样的计算设备的操作中执行这里公开的方法的实施方式。可以变化在以上示例中呈现的步骤的顺序——例如，可以对步骤重新排序、组合步骤和/或将步骤分解成子步骤。可以并行执行某些步骤或者过程。
这里使用“适于”或者“被配置用于”意味着开发和包含言语，该开发和包含言语未预先排除适于或者被配置用于执行附加任务或者步骤的设备。此外，使用“基于”意味着开放和包含，因为“基于”一个或者多个机记载的条件或者值的过程、步骤、计算或者其它动作可以在实践中基于超出记载的条件或者值以外的附加条件或者值。这里包括的标题、列表和编号仅为了易于说明而不是为了限制。
尽管已经关于本主题内容的具体实施方式具体描述本主题内容，但是容易理解本领域技术人员在获得前文的理解时可以容易产生对这样的实施方式的变更、变化和等效实施方式。因而，应当理解已经出于示例而非限制的目的呈现了本公开内容，并且本公开内容未预先排除包括如本领域普通技术人员将容易理解的对本主题内容的这样的修改、变化和/或添加。

Claims (21)

1.一种用于在视频内容中投放叠加的计算机实施的方法，所述方法包括：
在叠加服务器接收视频内容；
在所述叠加服务器接收将在接收的所述视频内容中投放的叠加的指示，所述叠加是包括文本、图像和多媒体内容中的一项或者多项的电子内容项；
由所述叠加服务器的注意力建模模块生成显著性映射，所述显著性映射基于区域中的特征值与在与所述区域相邻的区域中的其它特征值不同来指示在所述视频内容的帧内的区域的相对显著性；
通过累积来自所述显著性映射的显著性值来计算辅助矩阵；
基于所述显著性映射和所述叠加的性质来标识能够在所述视频内容的所述帧内投放所述叠加的多个不明显位置，其中所述不明显位置在较低显著性区域中；
计算所述多个不明显位置的不明显值，所述计算至少部分基于所述辅助矩阵；
由所述叠加服务器基于所述叠加的性质、所述不明显值和所述视频内容的性质从能够在所述视频内容内投放所述叠加的所述多个不明显位置之中确定最优位置；以及
在所述最优位置投放所述叠加。
2.根据权利要求1所述的方法，在所述投放之前还包括：
在计算设备的显示器上的用户界面中呈现所述多个不明显位置作为用于所述叠加的建议的位置；
接收所述建议的位置之一的选择；
至少部分基于选择的所述位置和所述叠加的性质标识一个或者多个叠加变换；以及
由所述叠加服务器将标识的所述一个或者多个叠加变换应用于所述叠加以产生变换的叠加，
其中所述投放包括在选择的所述位置投放所述变换的叠加。
3.根据权利要求2所述的方法，其中所述一个或者多个叠加变换包括空间变换、颜色变换和半透明性变换中的一个或者多个变换。
4.根据权利要求1所述的方法，还包括：
在数据存储库中存储具有投放的所述叠加的所述视频内容作为编辑的视频内容。
5.根据权利要求1所述的方法，其中接收的所述视频内容被接收作为完整视频。
6.根据权利要求1所述的方法，其中接收的所述视频内容是视频流。
7.根据权利要求1所述的方法，其中：
接收的所述视频内容包括三维(3D)视频内容；
所述叠加的所述性质包括所述叠加的深度维度；以及
所述深度维度是关于像素的。
8.根据权利要求1所述的方法，其中所述叠加的所述性质包括：
大小；
颜色调色板或者颜色方案；以及
持续时间。
9.根据权利要求8所述的方法，其中所述叠加的所述大小性质包括所述叠加的以像素为单位的维度，并且其中所述持续时间包括帧数目。
10.根据权利要求1所述的方法，其中所述叠加是广告，并且其中所述广告的所述性质包括：
每次投放的资金成本；
持续时间；以及
产品或者服务类别。
11.根据权利要求1所述的方法，其中所述确定包括计算用于所述多个不明显位置中的每个不明显位置的显著性成本，所述显著性成本至少部分基于所述叠加的所述性质。
12.根据权利要求1所述的方法，其中所述视频内容中的所述不明显位置基于由所述注意力建模模块对于所述视频内容的所述帧生成的所述显著性映射。
13.根据权利要求1所述的方法，其中：
更高显著性区域已经被所述注意力建模模块预测为与更低显著性区域比较更可能被所述视频内容的查看者认为令人感兴趣；以及
所述特征值包括以下各项中的一项或者多项：颜色对比度；在所述区域中的水平线上的像素；强度；亮度；以及在所述区域中的对象的特征，其中所述对象的所述特征包括所述对象的局部方向、所述对象中文本的存在以及所述对象中面部的存在。
14.根据权利要求1所述的方法，其中计算所述不明显值包括使用所述辅助矩阵来计算在所述视频内容的所述帧内的所述多个不明显位置的所述不明显性值。
15.根据权利要求1所述的方法，还包括标识包括至少空间变换的一个或者多个叠加变换，其中所述标识一个或者多个叠加变换包括扫描所述视频内容的所述帧以检测与更低显著性区域邻近的直的线，并且其中所述空间变换包括对所述叠加重新成形，从而使得所述叠加的一个或者多个边与所述线中的至少一个线平行。
16.一种用于在视频内容中投放叠加的系统，包括：
输入设备；
显示设备；
处理器；以及
存储器，具有在其上存储的指令，所述指令如果由所述处理器执行则使所述处理器执行用于向视频内容中插入叠加的操作，所述叠加是包括文本、图像和多媒体内容中的一项或者多项的电子内容项，所述操作包括：
接收将在所述视频内容中投放的叠加的指示；
对所述视频内容的帧执行注意力建模以标识所述视频内容中的区段，并且生成具有显著性值的显著性映射，所述显著性值基于区域中的特征值与在周围区域中的特征值不同来指示在所述视频内容的所述帧内的区域的相对显著性；
基于所述显著性映射以及所述叠加的性质确定在标识的所述区段内的能够插入所述叠加而未与一个或者多个对象重叠的多个不明显位置，其中所述不明显位置在较低显著性区域中；
标识至少包括空间变换的一个或多个叠加变换，所述标识包括扫描所述视频内容的所述帧以检测接近较低显著性区域的直线，其中所述空间变换包括对所述叠加进行重新成形，使得所述叠加的一个或多个边与所述线中的至少一条线平行；
基于所述注意力建模从所述多个不明显位置之中标识最优位置；
向所述最优位置中插入所述叠加；以及
在所述显示设备上渲染具有插入的所述叠加的所述视频内容。
17.根据权利要求16所述的系统，所述操作在所述渲染之前还包括：
在所述显示设备上的用户界面中呈现在标识的所述区段内的能够向其中插入所述叠加的所述多个不明显位置中的至少一些不明显位置；
经由所述输入设备接收在标识的所述区段之一内的位置的选择；以及
将所述一个或多个叠加变换应用于所述叠加，其中所述一个或多个叠加变换还包括以下变换中的一个或者多个变换：
颜色变换，用于改变所述叠加的边缘以匹配所述视频内容的与选择的所述位置相邻的像素的颜色；
空间变换，用于对所述叠加重新成形或者重设大小以与所述视频内容中的与选择的所述位置邻近的对象相符；以及
半透明性变换，用于相对于从所述叠加的中心到所述叠加的边缘的距离逐渐增加所述叠加的半透明性，从而使得所述叠加的所述边缘透明。
18.根据权利要求16所述的系统，其中所述执行所述注意力建模包括：
标识在标识的所述区段内的能够向其中插入所述叠加的视觉上不明显位置，所述视觉上不明显位置是未与在所述视频内容的所述帧内的相对高显著区域重叠的位置。
19.根据权利要求17所述的系统，所述操作还包括：
计算用于向呈现的所述位置中的每个位置中插入所述叠加的相应显著性成本；
经由所述输入设备接收对于将所述叠加从所述最优位置移向所述多个不明显位置中的另一不明显位置的请求；
向所述多个不明显位置中的所述另一不明显位置中插入所述叠加；以及
在所述显示设备上渲染具有插入的所述叠加的所述视频内容。
20.根据权利要求16所述的系统，所述操作还包括：
经由所述输入设备接收对于将所述叠加从初始大小重设大小为选择的大小的请求；
将所述叠加从所述初始大小重设大小为所述选择的大小以产生重设大小的叠加；
向所述最优位置中插入所述重设大小的叠加；以及
在所述显示设备上渲染具有插入的所述重设大小的叠加的所述视频内容。
21.一种计算机可读存储介质，具有在其上存储的可执行指令，所述可执行指令如果由计算设备执行则使所述计算设备执行用于在视频内容中投放叠加的操作，所述指令包括：
用于接收视频内容的指令；
用于接收将在接收的所述视频内容中投放的叠加的指示的指令，所述叠加是包括文本、图像和多媒体内容中的一项或者多项的电子内容项；
用于生成显著性映射的指令，所述显著性映射基于区域中的特征值与在与所述区域相邻的区域中的其它特征值不同来指示在所述视频内容的帧内的区域的相对显著性；
用于通过累积来自所述显著性映射的显著性值来计算辅助矩阵的指令；
用于基于所述显著性映射和所述叠加的性质来标识所述叠加能够被放置在所述视频内容的所述帧内的多个不明显位置的指令，其中所述不明显位置在较低显著性区域中；
用于计算所述多个不明显位置的不明显值的指令，所述计算至少部分基于所述辅助矩阵；
用于基于所述叠加的性质、所述不明显值和所述视频内容的性质从能够在所述视频内容内投放所述叠加的所述多个不明显位置之中确定最优位置的指令；以及
用于在所述最优位置投放所述叠加的指令。
CN201410189217.1A 2013-05-31 2014-05-05 在视频内容中投放不明显叠加 Active CN104219559B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/906,838 US9467750B2 (en) 2013-05-31 2013-05-31 Placing unobtrusive overlays in video content
US13/906,838 2013-05-31

Publications (2)

Publication Number Publication Date
CN104219559A CN104219559A (zh) 2014-12-17
CN104219559B true CN104219559B (zh) 2019-04-12

Family

ID=51214434

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410189217.1A Active CN104219559B (zh) 2013-05-31 2014-05-05 在视频内容中投放不明显叠加

Country Status (4)

Country Link
US (1) US9467750B2 (zh)
CN (1) CN104219559B (zh)
DE (1) DE102014008038A1 (zh)
GB (1) GB2516745B (zh)

Families Citing this family (229)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9773059B2 (en) * 2010-11-09 2017-09-26 Storagedna, Inc. Tape data management
US9800951B1 (en) * 2012-06-21 2017-10-24 Amazon Technologies, Inc. Unobtrusively enhancing video content with extrinsic data
US20170374431A1 (en) * 2016-06-23 2017-12-28 Overplay, Inc. System and method for providing a platform for optimizing overlay location over programming content
JP6157094B2 (ja) * 2012-11-21 2017-07-05 キヤノン株式会社 通信装置、設定装置、通信方法、設定方法、及び、プログラム
US9349413B2 (en) 2013-02-05 2016-05-24 Alc Holdings, Inc. User interface for video preview creation
US9634910B1 (en) * 2013-06-14 2017-04-25 Google Inc. Adaptive serving companion shared content
WO2015006369A1 (en) * 2013-07-08 2015-01-15 Truestream Kk Real-time analytics, collaboration, from multiple video sources
US9986307B2 (en) 2013-07-19 2018-05-29 Bottle Rocket LLC Interactive video viewing
US9451162B2 (en) 2013-08-21 2016-09-20 Jaunt Inc. Camera array including camera modules
US11019258B2 (en) 2013-08-21 2021-05-25 Verizon Patent And Licensing Inc. Aggregating images and audio data to generate content
US10965991B2 (en) * 2013-09-06 2021-03-30 Gracenote, Inc. Displaying an actionable element over playing content
US9460118B2 (en) * 2014-09-30 2016-10-04 Duelight Llc System, method, and computer program product for exchanging images
US20150186341A1 (en) * 2013-12-26 2015-07-02 Joao Redol Automated unobtrusive scene sensitive information dynamic insertion into web-page image
US9602566B1 (en) * 2014-02-13 2017-03-21 Google Inc. Providing selectable content creator controls in conjunction with sponsored media content items
CN103888794B (zh) * 2014-03-14 2017-10-31 深圳创维－Rgb电子有限公司 一种信息推送方法及系统、云端服务器、信息服务器
US10698591B2 (en) 2014-03-31 2020-06-30 Microsoft Technology Licensing, Llc Immersive document interaction with device-aware scaling
US10638194B2 (en) * 2014-05-06 2020-04-28 At&T Intellectual Property I, L.P. Embedding interactive objects into a video session
US9396354B1 (en) 2014-05-28 2016-07-19 Snapchat, Inc. Apparatus and method for automated privacy protection in distributed images
US9911454B2 (en) 2014-05-29 2018-03-06 Jaunt Inc. Camera array including camera modules
US9648062B2 (en) * 2014-06-12 2017-05-09 Apple Inc. Systems and methods for multitasking on an electronic device with a touch-sensitive display
US9113301B1 (en) 2014-06-13 2015-08-18 Snapchat, Inc. Geo-location based event gallery
CN106538029B (zh) 2014-06-27 2020-10-16 泰科弗勒克斯公司 用于发送数据单元的方法和装置
US9225897B1 (en) 2014-07-07 2015-12-29 Snapchat, Inc. Apparatus and method for supplying content aware photo filters
US10368011B2 (en) 2014-07-25 2019-07-30 Jaunt Inc. Camera array removing lens distortion
US11108971B2 (en) 2014-07-25 2021-08-31 Verzon Patent and Licensing Ine. Camera array removing lens distortion
US9774887B1 (en) 2016-09-19 2017-09-26 Jaunt Inc. Behavioral directional encoding of three-dimensional video
US10440398B2 (en) 2014-07-28 2019-10-08 Jaunt, Inc. Probabilistic model to compress images for three-dimensional video
US10186301B1 (en) 2014-07-28 2019-01-22 Jaunt Inc. Camera array including camera modules
US9363569B1 (en) 2014-07-28 2016-06-07 Jaunt Inc. Virtual reality system including social graph
US10701426B1 (en) * 2014-07-28 2020-06-30 Verizon Patent And Licensing Inc. Virtual reality system including social graph
PL3180688T3 (pl) 2014-08-12 2021-10-25 Groupon, Inc. Sposób, urządzenie, i produkt w postaci programu komputerowego do sterowania rozprowadzaniem treści za pośrednictwem nadajników-odbiorników w celu wyświetlania
US9478042B1 (en) * 2014-08-12 2016-10-25 Google Inc. Determining visibility of rendered content
CN105391952B (zh) * 2014-09-03 2019-04-16 芯视达系统公司 具有内置广播及商业模型的图像处理设备
US9743153B2 (en) 2014-09-12 2017-08-22 Sorenson Media, Inc Content replacement with onscreen displays
US9641870B1 (en) 2014-09-12 2017-05-02 Sorenson Media, Inc. Content management of a content feed
US10824654B2 (en) 2014-09-18 2020-11-03 Snap Inc. Geolocation-based pictographs
US20160133148A1 (en) * 2014-11-06 2016-05-12 PrepFlash LLC Intelligent content analysis and creation
EP3029943B1 (en) * 2014-12-04 2018-01-31 Axis AB Method and device for determining properties of a graphical overlay for a video stream
CN105791906A (zh) * 2014-12-15 2016-07-20 深圳Tcl数字技术有限公司 信息推送的方法和系统
US9385983B1 (en) 2014-12-19 2016-07-05 Snapchat, Inc. Gallery of messages from individuals with a shared interest
US10311916B2 (en) 2014-12-19 2019-06-04 Snap Inc. Gallery of videos set to an audio time line
CN104519371B (zh) * 2014-12-31 2017-10-20 北京酷云互动科技有限公司 推送方法、推送装置和服务器
CN104954826B (zh) * 2015-01-07 2018-04-20 腾讯科技（北京）有限公司 多媒体文件的生成方法及装置
US10176303B1 (en) * 2015-01-15 2019-01-08 Linx Systems, Inc. Efficient management, control, and evaluation of captured digital media
US10674210B2 (en) * 2015-01-19 2020-06-02 Matthew Berman System and methods for facile, instant, and minimally disruptive playback of media files
US10715862B2 (en) * 2015-02-24 2020-07-14 Visenze Pte Ltd Method and system for identifying relevant media content
KR20230054766A (ko) 2015-03-18 2023-04-25 스냅 인코포레이티드 지오-펜스 인가 프로비저닝
CN104967885B (zh) * 2015-03-27 2019-01-11 哈尔滨工业大学深圳研究生院 一种基于视频内容感知的广告推荐方法及系统
WO2016161136A1 (en) * 2015-03-31 2016-10-06 Nxgen Partners Ip, Llc Compression of signals, images and video for multimedia, communications and other applications
JP2016191845A (ja) * 2015-03-31 2016-11-10 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
CN104754367A (zh) * 2015-04-07 2015-07-01 腾讯科技（北京）有限公司 一种多媒体信息处理方法及设备
WO2016172715A1 (en) * 2015-04-23 2016-10-27 Sorenson Media, Inc. Content replacement with onscreen displays
CN104811744A (zh) * 2015-04-27 2015-07-29 北京视博云科技有限公司 一种信息投放方法及系统
US10135949B1 (en) 2015-05-05 2018-11-20 Snap Inc. Systems and methods for story and sub-story navigation
US10178149B2 (en) * 2015-05-14 2019-01-08 Adobe Inc. Analysis for framework assessment
CN106254888B (zh) * 2015-06-09 2020-06-02 同济大学 一种图像编码及解码方法、图像处理设备
US20160366479A1 (en) * 2015-06-12 2016-12-15 At&T Intellectual Property I, L.P. Selective information control for broadcast content and methods for use therewith
US10541000B1 (en) * 2015-06-26 2020-01-21 Amazon Technologies, Inc. User input-based video summarization
CN105100869B (zh) * 2015-07-13 2018-09-04 腾讯科技（深圳）有限公司 弹幕显示方法及装置
WO2017015114A1 (en) 2015-07-17 2017-01-26 Tribune Broadcasting Company, Llc Media production system with social media feature
CN105187886A (zh) * 2015-07-27 2015-12-23 天脉聚源（北京）科技有限公司 一种生成互动电视系统互动信息的方法及装置
US10068179B2 (en) 2015-07-29 2018-09-04 Adobe Systems Incorporated Positioning text in digital designs based on an underlying image
WO2017026837A1 (en) * 2015-08-12 2017-02-16 Samsung Electronics Co., Ltd. Method for masking content displayed on electronic device
US20170094322A1 (en) * 2015-09-24 2017-03-30 Tribune Broadcasting Company, Llc System and corresponding method for facilitating application of a digital video-effect to a temporal portion of a video segment
US9883212B2 (en) 2015-09-24 2018-01-30 Tribune Broadcasting Company, Llc Video-broadcast system with DVE-related alert feature
US20170094323A1 (en) * 2015-09-24 2017-03-30 Tribune Broadcasting Company, Llc System and corresponding method for facilitating application of a digital video-effect to a temporal portion of a video segment
US10455257B1 (en) 2015-09-24 2019-10-22 Tribune Broadcasting Company, Llc System and corresponding method for facilitating application of a digital video-effect to a temporal portion of a video segment
US9848214B2 (en) 2015-10-01 2017-12-19 Sorenson Media, Inc. Sequentially overlaying media content
WO2017066874A1 (en) * 2015-10-19 2017-04-27 Fatehali Dharssi Methods and systems for processing digital video files for image insertion involving computerized detection of similar backgrounds
CN106611412A (zh) * 2015-10-20 2017-05-03 成都理想境界科技有限公司 贴图视频生成方法及装置
CN105898437A (zh) * 2015-12-15 2016-08-24 乐视网信息技术（北京）股份有限公司 内容推荐方法及系统、服务器、终端及通信系统
US10136183B2 (en) * 2015-12-16 2018-11-20 Gracenote, Inc. Dynamic video overlays
US10354425B2 (en) * 2015-12-18 2019-07-16 Snap Inc. Method and system for providing context relevant media augmentation
CN105704504B (zh) * 2016-01-28 2021-02-12 腾讯科技（深圳）有限公司 视频直播中插入推送信息的方法、装置、设备及存储介质
GB2548346B (en) * 2016-03-11 2020-11-18 Sony Interactive Entertainment Europe Ltd Image processing method and apparatus
US10547879B2 (en) 2016-07-14 2020-01-28 Mediatek Inc. Method and apparatus for streaming video content
KR20180010688A (ko) * 2016-07-22 2018-01-31 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 사용자 인터페이스 표시 방법
US10222958B2 (en) * 2016-07-22 2019-03-05 Zeality Inc. Customizing immersive media content with embedded discoverable elements
KR102542515B1 (ko) 2016-07-28 2023-06-12 삼성전자주식회사 영상 표시 장치 및 영상 표시 방법
CN114040239A (zh) * 2016-08-19 2022-02-11 北京市商汤科技开发有限公司 视频图像处理方法、装置和终端设备
CN114051159A (zh) * 2016-08-19 2022-02-15 北京市商汤科技开发有限公司 视频图像处理方法、装置和终端设备
CN107347166B (zh) * 2016-08-19 2020-03-03 北京市商汤科技开发有限公司 视频图像的处理方法、装置和终端设备
US11032535B2 (en) 2016-09-19 2021-06-08 Verizon Patent And Licensing Inc. Generating a three-dimensional preview of a three-dimensional video
US10681341B2 (en) 2016-09-19 2020-06-09 Verizon Patent And Licensing Inc. Using a sphere to reorient a location of a user in a three-dimensional virtual reality video
US11032536B2 (en) 2016-09-19 2021-06-08 Verizon Patent And Licensing Inc. Generating a three-dimensional preview from a two-dimensional selectable icon of a three-dimensional reality video
US10291678B2 (en) * 2016-10-01 2019-05-14 Facebook, Inc. Architecture for augmenting video data obtained by a client device with one or more effects during rendering
US10573039B2 (en) * 2016-10-03 2020-02-25 Netflix, Inc. Techniques for incorporating a text-containing image into a digital image
DE102016011876A1 (de) * 2016-10-04 2018-04-05 Glomex Gmbh Plattform und Verfahren zum Bereitstellen medialer Inhalte
US10269177B2 (en) * 2016-10-06 2019-04-23 Google Llc Headset removal in virtual, augmented, and mixed reality using an eye gaze database
CN108476214A (zh) * 2016-10-17 2018-08-31 微软技术许可有限责任公司 共享网络内容
US10320728B2 (en) 2016-12-13 2019-06-11 Google Llc Methods, systems, and media for generating a notification in connection with a video content item
US10354694B2 (en) * 2016-12-30 2019-07-16 Facebook, Inc. Systems and methods for providing content items associated with objects
US11503352B2 (en) 2016-12-31 2022-11-15 Turner Broadcasting System, Inc. Dynamic scheduling and channel creation based on external data
US10425700B2 (en) 2016-12-31 2019-09-24 Turner Broadcasting System, Inc. Dynamic scheduling and channel creation based on real-time or near-real-time content context analysis
US11038932B2 (en) 2016-12-31 2021-06-15 Turner Broadcasting System, Inc. System for establishing a shared media session for one or more client devices
US10856016B2 (en) 2016-12-31 2020-12-01 Turner Broadcasting System, Inc. Publishing disparate live media output streams in mixed mode based on user selection
US11470373B2 (en) 2016-12-31 2022-10-11 Turner Broadcasting System, Inc. Server-side dynamic insertion of programming content in an indexed disparate live media output stream
US10694231B2 (en) 2016-12-31 2020-06-23 Turner Broadcasting System, Inc. Dynamic channel versioning in a broadcast air chain based on user preferences
US11962821B2 (en) 2016-12-31 2024-04-16 Turner Broadcasting System, Inc. Publishing a disparate live media output stream using pre-encoded media assets
US11051061B2 (en) 2016-12-31 2021-06-29 Turner Broadcasting System, Inc. Publishing a disparate live media output stream using pre-encoded media assets
US11546400B2 (en) 2016-12-31 2023-01-03 Turner Broadcasting System, Inc. Generating a live media segment asset
US11109086B2 (en) 2016-12-31 2021-08-31 Turner Broadcasting System, Inc. Publishing disparate live media output streams in mixed mode
US10075753B2 (en) 2016-12-31 2018-09-11 Turner Broadcasting System, Inc. Dynamic scheduling and channel creation based on user selection
US10965967B2 (en) 2016-12-31 2021-03-30 Turner Broadcasting System, Inc. Publishing a disparate per-client live media output stream based on dynamic insertion of targeted non-programming content and customized programming content
US10992973B2 (en) 2016-12-31 2021-04-27 Turner Broadcasting System, Inc. Publishing a plurality of disparate live media output stream manifests using live input streams and pre-encoded media assets
US11134309B2 (en) 2016-12-31 2021-09-28 Turner Broadcasting System, Inc. Creation of channels using pre-encoded media assets
US11438658B2 (en) 2016-12-31 2022-09-06 Turner Broadcasting System, Inc. Client-side dynamic presentation of programming content in an indexed disparate live media output stream
US11477254B2 (en) 2016-12-31 2022-10-18 Turner Broadcasting System, Inc. Dynamic playout buffer for disparate live media output stream
US10645462B2 (en) 2016-12-31 2020-05-05 Turner Broadcasting System, Inc. Dynamic channel versioning in a broadcast air chain
US11051074B2 (en) 2016-12-31 2021-06-29 Turner Broadcasting System, Inc. Publishing disparate live media output streams using live input streams
US10803641B2 (en) * 2017-01-05 2020-10-13 Hulu, LLC Derivation and application of color accents for images in a video delivery system interface
CN107071512B (zh) * 2017-01-16 2019-06-25 腾讯科技（深圳）有限公司 一种配音方法、装置及系统
US9918135B1 (en) 2017-02-07 2018-03-13 The Directv Group, Inc. Single button selection to facilitate actions in a communications network
US10943265B2 (en) 2017-03-14 2021-03-09 At&T Intellectual Property I, L.P. Targeted user digital embedded advertising
EP3379837B1 (en) * 2017-03-24 2020-10-21 Mirriad Advertising PLC Predicting future insertion zone metadata
US10581782B2 (en) 2017-03-27 2020-03-03 Snap Inc. Generating a stitched data stream
US10582277B2 (en) 2017-03-27 2020-03-03 Snap Inc. Generating a stitched data stream
WO2018177134A1 (zh) * 2017-03-29 2018-10-04 腾讯科技（深圳）有限公司 用户生成内容处理方法、存储介质和终端
CN107027072A (zh) * 2017-05-04 2017-08-08 深圳市金立通信设备有限公司 一种视频标记方法、终端及计算机可读存储介质
US11051073B2 (en) 2017-05-25 2021-06-29 Turner Broadcasting System, Inc. Client-side overlay of graphic items on media content
JP6346697B1 (ja) * 2017-06-21 2018-06-20 株式会社フィール 情報提供システム
GB201714000D0 (en) 2017-08-31 2017-10-18 Mirriad Advertising Ltd Machine learning for identification of candidate video insertion object types
CN107705244B (zh) * 2017-09-11 2021-01-15 中国国土资源航空物探遥感中心 一种适用于大区域多幅遥感影像的接边纠正方法
US10580165B2 (en) * 2017-09-26 2020-03-03 Disney Enterprises, Inc. System for optimized embedding and analysis of branded content
US11102549B2 (en) * 2017-09-27 2021-08-24 Wurl Inc. Selective video overlay
US10277958B2 (en) 2017-10-04 2019-04-30 The Nielsen Company (Us), Llc Obtaining viewer demographics through advertisement selections
US10880614B2 (en) * 2017-10-20 2020-12-29 Fmr Llc Integrated intelligent overlay for media content streams
US10210142B1 (en) * 2017-11-29 2019-02-19 Adobe Inc. Inserting linked text fragments in a document
CN109862410B (zh) * 2017-11-30 2021-12-10 腾讯科技（深圳）有限公司 推荐信息插入方法、装置及存储介质
CN113965777A (zh) * 2017-12-08 2022-01-21 谷歌有限责任公司 组合数字视频内容的方法及系统
US11068137B2 (en) * 2017-12-18 2021-07-20 Facebook, Inc. Systems and methods for augmenting content
CN108154103A (zh) * 2017-12-21 2018-06-12 百度在线网络技术（北京）有限公司 检测推广信息显著性的方法、装置、设备和计算机存储介质
CN110019722B (zh) * 2017-12-21 2023-11-24 株式会社理光 对话模型的回复排序方法、装置及计算机可读存储介质
US11443719B2 (en) * 2018-03-29 2022-09-13 Sony Corporation Information processing apparatus and information processing method
US10777230B2 (en) * 2018-05-15 2020-09-15 Bank Of America Corporation System for creating an interactive video using a markup language
KR102457296B1 (ko) 2018-05-29 2022-10-21 큐리어서 프로덕츠 인크. 상호작용식 훈련 및 데몬스트레이션을 위한 반사 비디오 디스플레이 장치 및 그 사용 방법들
CN112514398B (zh) * 2018-06-01 2023-07-14 诺基亚技术有限公司 用于针对全向内容而标记在覆盖物上的用户交互并将对背景的覆盖物分组的方法和装置
CN112262570B (zh) * 2018-06-12 2023-11-14 E·克里奥斯·夏皮拉 实时地自动修改高分辨率视频数据的方法和计算机系统
US10419738B1 (en) 2018-06-14 2019-09-17 Telefonaktiebolaget Lm Ericsson (Publ) System and method for providing 360° immersive video based on gaze vector information
CN110620946B (zh) * 2018-06-20 2022-03-18 阿里巴巴（中国）有限公司 字幕显示方法及装置
CN110662111A (zh) * 2018-06-29 2020-01-07 南京芝兰人工智能技术研究院有限公司 一种视频中批量植入内容信息的方法和系统
US10841662B2 (en) 2018-07-27 2020-11-17 Telefonaktiebolaget Lm Ericsson (Publ) System and method for inserting advertisement content in 360° immersive video
US10574975B1 (en) 2018-08-08 2020-02-25 At&T Intellectual Property I, L.P. Method and apparatus for navigating through panoramic content
US11032613B2 (en) 2018-08-30 2021-06-08 Fox Broadcasting Company, Llc Dynamic slates for live streaming blackouts
US10666991B2 (en) 2018-08-30 2020-05-26 Fox Broadcasting Company, Llc Dynamic slates for live streaming blackouts
EP3621039A1 (en) * 2018-09-06 2020-03-11 Tata Consultancy Services Limited Real time overlay placement in videos for augmented reality applications
US10929909B2 (en) * 2018-09-19 2021-02-23 International Business Machines Corporation Media enhancement with customized add-on content
US10757389B2 (en) 2018-10-01 2020-08-25 Telefonaktiebolaget Lm Ericsson (Publ) Client optimization for providing quality control in 360° immersive video during pause
JP7222216B2 (ja) * 2018-10-29 2023-02-15 株式会社アイシン 運転支援装置
CN109600656B (zh) * 2018-12-05 2023-05-30 北京字节跳动网络技术有限公司 一种视频榜单显示方法、装置，终端设备及存储介质
US11032607B2 (en) 2018-12-07 2021-06-08 At&T Intellectual Property I, L.P. Methods, devices, and systems for embedding visual advertisements in video content
US10694167B1 (en) 2018-12-12 2020-06-23 Verizon Patent And Licensing Inc. Camera array including camera modules
USD947233S1 (en) 2018-12-21 2022-03-29 Streamlayer, Inc. Display screen or portion thereof with transitional graphical user interface
US11082734B2 (en) 2018-12-21 2021-08-03 Turner Broadcasting System, Inc. Publishing a disparate live media output stream that complies with distribution format regulations
US11770579B2 (en) 2018-12-21 2023-09-26 Streamlayer, Inc. Method and system for providing interactive content delivery and audience engagement
USD997952S1 (en) 2018-12-21 2023-09-05 Streamlayer, Inc. Display screen with transitional graphical user interface
US10880606B2 (en) 2018-12-21 2020-12-29 Turner Broadcasting System, Inc. Disparate live media output stream playout and broadcast distribution
US10873774B2 (en) 2018-12-22 2020-12-22 Turner Broadcasting System, Inc. Publishing a disparate live media output stream manifest that includes one or more media segments corresponding to key events
US11176704B2 (en) 2019-01-22 2021-11-16 Fyusion, Inc. Object pose estimation in visual data
US10887582B2 (en) 2019-01-22 2021-01-05 Fyusion, Inc. Object damage aggregation
US11783443B2 (en) 2019-01-22 2023-10-10 Fyusion, Inc. Extraction of standardized images from a single view or multi-view capture
US10625163B1 (en) * 2019-08-09 2020-04-21 Cardboard Live, Inc. Method and system for supplementing a video stream of a fantasy card videogame
WO2020162709A1 (en) * 2019-02-08 2020-08-13 Samsung Electronics Co., Ltd. Electronic device for providing graphic data based on voice and operating method thereof
US11178085B2 (en) * 2019-02-27 2021-11-16 A Social Company Social media platform for sharing reactions to videos
US11196692B2 (en) * 2019-02-27 2021-12-07 A Social Company Social contract based messaging platform
WO2020174447A1 (en) * 2019-02-28 2020-09-03 Tata Consultancy Services Limited Multi-label placement for augmented and virtual reality and video annotations
JP2020144821A (ja) * 2019-03-08 2020-09-10 株式会社リコー 画像表示システム、画像表示方法、プログラム
CN109993579B (zh) * 2019-03-28 2021-04-02 北京酷云互动科技有限公司 广告投放区域确定方法、系统、服务器和计算机可读介质
USD951267S1 (en) 2019-04-09 2022-05-10 Streamlayer, Inc. Display screen with a transitional graphical user interface for an interactive content overlay
CN111866597B (zh) * 2019-04-30 2023-06-23 百度在线网络技术（北京）有限公司 控制视频中页面元素的布局的方法、系统及存储介质
CN110286813B (zh) * 2019-05-22 2020-12-01 北京达佳互联信息技术有限公司 图标位置确定方法和装置
US11120593B2 (en) * 2019-05-24 2021-09-14 Rovi Guides, Inc. Systems and methods for dynamic visual adjustments for a map overlay
EP3742738B1 (en) 2019-05-24 2021-09-08 Mirriad Advertising PLC Incorporating visual objects into video material
EP3984238A1 (en) 2019-06-14 2022-04-20 Gumgum, Inc. Dynamic overlay video advertisement insertion
US11284130B2 (en) 2019-06-14 2022-03-22 GumGum, Inc. Dynamic insertion of content within live streaming video
US11674818B2 (en) 2019-06-20 2023-06-13 Rovi Guides, Inc. Systems and methods for dynamic transparency adjustments for a map overlay
CN110457624A (zh) * 2019-06-26 2019-11-15 网宿科技股份有限公司 视频生成方法、装置、服务器及存储介质
US10984067B2 (en) * 2019-06-26 2021-04-20 Wangsu Science & Technology Co., Ltd. Video generating method, apparatus, server, and storage medium
CN110225366B (zh) * 2019-06-26 2020-12-18 腾讯科技（深圳）有限公司 视频数据处理及广告位确定方法、装置、介质及电子设备
US10945034B2 (en) * 2019-07-11 2021-03-09 International Business Machines Corporation Video fractal cross correlated action bubble transition
JP2022543864A (ja) 2019-08-05 2022-10-14 ホップラ リミテッド メディア再生機器にコンテンツを提供するための方法およびシステム
US10957085B2 (en) * 2019-08-15 2021-03-23 International Business Machines Corporation Methods and systems for adding content to images based on negative space recognition
CN110730379B (zh) * 2019-08-22 2023-12-15 北京拉近众博科技有限公司 一种视频信息处理方法、装置和存储介质
CN110582018B (zh) * 2019-09-16 2022-06-10 腾讯科技（深圳）有限公司 一种视频文件处理的方法、相关装置及设备
US11449199B2 (en) * 2019-09-21 2022-09-20 Samsung Electronics Co., Ltd. Method and system for generating dynamic user interface layout for an electronic device
CN110913241B (zh) * 2019-11-01 2022-09-30 北京奇艺世纪科技有限公司 一种视频检索方法、装置、电子设备及存储介质
US11776142B2 (en) 2020-01-16 2023-10-03 Fyusion, Inc. Structuring visual data
US11562474B2 (en) 2020-01-16 2023-01-24 Fyusion, Inc. Mobile multi-camera multi-view capture
CN111526380B (zh) * 2020-03-20 2023-03-31 北京达佳互联信息技术有限公司 视频处理方法、装置、服务器、电子设备及存储介质
GB2594046A (en) * 2020-04-03 2021-10-20 Mo Sys Engineering Ltd Producing video for content insertion
CN111491205B (zh) * 2020-04-17 2023-04-25 维沃移动通信有限公司 视频处理方法、装置及电子设备
CN111651155B (zh) * 2020-06-03 2020-12-11 北京智趣工场教育科技有限公司 一种编程学习操作系统及外接交互系统
CN111770381B (zh) * 2020-06-04 2022-08-05 北京达佳互联信息技术有限公司 视频编辑的提示方法、装置以及电子设备
EP4173306A1 (en) * 2020-06-26 2023-05-03 Rovi Guides, Inc. Autoplay recommendations and sequencing in full screen video mode
US11395032B2 (en) 2020-06-26 2022-07-19 Rovi Guides, Inc. Autoplay recommendations and sequencing in full screen video mode
WO2022018628A1 (en) * 2020-07-20 2022-01-27 Sky Italia S.R.L. Smart overlay : dynamic positioning of the graphics
WO2022018629A1 (en) * 2020-07-20 2022-01-27 Sky Italia S.R.L. Smart overlay : positioning of the graphics with respect to reference points
KR20220097945A (ko) * 2020-07-29 2022-07-08 구글 엘엘씨 비-폐쇄 비디오 오버레이
WO2022031723A1 (en) * 2020-08-03 2022-02-10 Triple Lift, Inc. System and method for preparing digital composites for incorporating into digital visual media
US11301715B2 (en) 2020-08-03 2022-04-12 Triple Lift, Inc. System and method for preparing digital composites for incorporating into digital visual media
US11625874B2 (en) 2020-08-04 2023-04-11 Triple Lift, Inc. System and method for intelligently generating digital composites from user-provided graphics
US11051067B1 (en) 2020-08-14 2021-06-29 Global Sports & Entertainment Marketing, LLC Interactive video overlay
CN112004116B (zh) * 2020-08-26 2021-08-24 北京字节跳动网络技术有限公司 用于确定对象添加方式的方法、装置、电子设备和介质
US20220078503A1 (en) * 2020-09-04 2022-03-10 Curiouser Products Inc. Video rebroadcasting with multiplexed communications and display via smart mirrors
US11167172B1 (en) 2020-09-04 2021-11-09 Curiouser Products Inc. Video rebroadcasting with multiplexed communications and display via smart mirrors
CN114902649A (zh) 2020-10-30 2022-08-12 谷歌有限责任公司 非遮挡视频叠加
CN112383810A (zh) * 2020-11-10 2021-02-19 北京字跳网络技术有限公司 歌词视频展示方法、装置、电子设备及计算机可读介质
US11657850B2 (en) 2020-12-09 2023-05-23 Amazon Technologies, Inc. Virtual product placement
US20220207787A1 (en) * 2020-12-28 2022-06-30 Q Alpha, Inc. Method and system for inserting secondary multimedia information relative to primary multimedia information
CN112866748B (zh) * 2021-01-19 2023-10-24 北京锐马视讯科技有限公司 基于ai的视频广告植入方法和装置、设备及存储介质
CN112399261B (zh) * 2021-01-19 2021-05-14 浙江口碑网络技术有限公司 视频数据处理方法及设备
US11605151B2 (en) 2021-03-02 2023-03-14 Fyusion, Inc. Vehicle undercarriage imaging
US11716531B2 (en) 2021-03-22 2023-08-01 International Business Machines Corporation Quality of multimedia
US11533427B2 (en) 2021-03-22 2022-12-20 International Business Machines Corporation Multimedia quality evaluation
US11483472B2 (en) * 2021-03-22 2022-10-25 International Business Machines Corporation Enhancing quality of multimedia
US11902341B2 (en) * 2021-03-25 2024-02-13 Lenovo (Singapore) Pte. Ltd. Presenting links during an online presentation
US11863767B2 (en) * 2021-03-30 2024-01-02 Qualcomm Incorporated Transporting HEIF-formatted images over real-time transport protocol
GB202104554D0 (en) * 2021-03-31 2021-05-12 British Telecomm Auto safe zone detection
CN113516783A (zh) * 2021-05-19 2021-10-19 上海爱客博信息技术有限公司 3d模型在线编辑方法、装置、计算机设备和存储介质
CN113282743B (zh) * 2021-06-03 2022-02-18 北京得间科技有限公司 信息展示方法、电子设备及存储介质
US11617017B2 (en) 2021-06-30 2023-03-28 Rovi Guides, Inc. Systems and methods of presenting video overlays
US20230007335A1 (en) * 2021-06-30 2023-01-05 Rovi Guides, Inc. Systems and methods of presenting video overlays
US11594258B2 (en) 2021-07-19 2023-02-28 Pes University System for the automated, context sensitive, and non-intrusive insertion of consumer-adaptive content in video
US20230140042A1 (en) * 2021-11-04 2023-05-04 Tencent America LLC Method and apparatus for signaling occlude-free regions in 360 video conferencing
US11862126B2 (en) * 2022-02-10 2024-01-02 Hewlett-Packard Development Company, L.P. Inset window alterations
US11941341B2 (en) * 2022-02-28 2024-03-26 Apple Inc. Intelligent inset window placement in content
TWI819630B (zh) * 2022-05-27 2023-10-21 瑞昱半導體股份有限公司 媒體播放裝置及相關媒體播放方法
WO2024018166A1 (en) * 2022-07-22 2024-01-25 Blackbird Plc Computer-implemented methods of blurring a digital image; computer terminals and computer program products
CN116761037B (zh) * 2023-08-23 2023-11-03 星河视效科技(北京)有限公司 视频植入多媒体信息的方法、装置、设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1144588A (zh) * 1994-03-14 1997-03-05 美国赛特公司 一种将图像植入视像流的系统
CN1728781A (zh) * 2004-07-30 2006-02-01 新加坡科技研究局 将附加内容插入视频的方法和装置
WO2009144464A1 (en) * 2008-05-28 2009-12-03 Mirriad Limited Apparatus and method for identifying insertion zones in video material and for inserting additional material into the insertion zones
CN101621636A (zh) * 2008-06-30 2010-01-06 北京大学 基于视觉注意力模型的广告标志插入和变换方法及系统
EP2173090A1 (en) * 2008-10-02 2010-04-07 Thomson Licensing Method for insertion of a layout in a source image
CN102231851A (zh) * 2010-06-17 2011-11-02 微软公司 可扩展视频插入控制

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005015912A2 (en) * 2003-08-08 2005-02-17 Maven Networks, Inc. System and method of integrating video content with interactive elements
US8739240B2 (en) * 2006-09-12 2014-05-27 At&T Intellectual Property I, L.P. Authoring system for IPTV network
JP4623199B2 (ja) * 2008-10-27 2011-02-02 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US20100259595A1 (en) * 2009-04-10 2010-10-14 Nokia Corporation Methods and Apparatuses for Efficient Streaming of Free View Point Video
US20110078746A1 (en) * 2009-09-30 2011-03-31 Rovi Technologies Corporation Systems and methods for displaying a blocking overlay in a video
JP5465620B2 (ja) * 2010-06-25 2014-04-09 Ｋｄｄｉ株式会社 映像コンテンツに重畳する付加情報の領域を決定する映像出力装置、プログラム及び方法
US9424234B2 (en) * 2011-06-29 2016-08-23 Adobe Systems Incorporated Methods and apparatus for automatically creating variations of original content based on searching for alternative content objects based on characteristics of the original content
US8660351B2 (en) * 2011-10-24 2014-02-25 Hewlett-Packard Development Company, L.P. Auto-cropping images using saliency maps

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1144588A (zh) * 1994-03-14 1997-03-05 美国赛特公司 一种将图像植入视像流的系统
CN1728781A (zh) * 2004-07-30 2006-02-01 新加坡科技研究局 将附加内容插入视频的方法和装置
WO2009144464A1 (en) * 2008-05-28 2009-12-03 Mirriad Limited Apparatus and method for identifying insertion zones in video material and for inserting additional material into the insertion zones
CN101621636A (zh) * 2008-06-30 2010-01-06 北京大学 基于视觉注意力模型的广告标志插入和变换方法及系统
EP2173090A1 (en) * 2008-10-02 2010-04-07 Thomson Licensing Method for insertion of a layout in a source image
CN102231851A (zh) * 2010-06-17 2011-11-02 微软公司 可扩展视频插入控制

Also Published As

Publication number Publication date
GB2516745A (en) 2015-02-04
GB2516745B (en) 2016-08-03
US9467750B2 (en) 2016-10-11
US20140359656A1 (en) 2014-12-04
GB201409580D0 (en) 2014-07-16
DE102014008038A1 (de) 2014-12-11
CN104219559A (zh) 2014-12-17

Similar Documents

Publication Publication Date Title
CN104219559B (zh) 在视频内容中投放不明显叠加
US11863830B2 (en) System for interacting with objects within rendered scenes in motion
US10970334B2 (en) Navigating video scenes using cognitive insights
US10872193B2 (en) Method for publishing composite media content and publishing system to perform the method
US9405734B2 (en) Image manipulation for web content
US9723335B2 (en) Serving objects to be inserted to videos and tracking usage statistics thereof
US10620804B2 (en) Optimizing layout of interactive electronic content based on content type and subject matter
US9535945B2 (en) Intent based search results associated with a modular search object framework
US9830388B2 (en) Modular search object framework
US11126682B1 (en) Hyperlink based multimedia processing
US20150317319A1 (en) Enhanced search results associated with a modular search object framework
US11537778B2 (en) Systems, methods, and media for managing and sharing digital content and services
US11432046B1 (en) Interactive, personalized objects in content creator&#39;s media with e-commerce link associated therewith
KR101869247B1 (ko) 동영상 스팟 이미지에 기초한 객체정보 제공서비스를 이용한 컨텐츠 경매 제공방법 및 시스템
CN114630194B (zh) 弹幕跳转链接的方法、系统、设备及计算机可读存储介质
KR101908523B1 (ko) 3차원 대상 오브젝트로부터 3차원 가상현실 콘텐츠를 생성 및 제공하는 방법 및 장치
EP3301630A1 (en) Method for publishing composite media content and publishing system to perform the method
KR20230170307A (ko) 달력을 이용한 상품 정보 제공 시스템 및 방법
CN116266193A (zh) 视频封面的生成方法、装置、设备、存储介质及程序产品
CN117201887A (zh) 媒体内容显示方法、装置、电子设备以及存储介质
TW202026990A (zh) 智慧型內容模板推薦系統與方法
RO129966A2 (ro) Plasarea de suprapuneri nederanjante în conţinut video

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant