CN102907093A

CN102907093A - 使到视频中的动态信息插入自动化

Info

Publication number: CN102907093A
Application number: CN2011800262634A
Authority: CN
Inventors: S·西里瓦拉
Original assignee: Microsoft Corp
Current assignee: Microsoft Technology Licensing LLC
Priority date: 2010-05-28
Filing date: 2011-05-11
Publication date: 2013-01-30
Also published as: US20110292992A1; EP2577960A2; WO2011149671A3; EP2577960A4; WO2011149671A2

Abstract

自动将补充性信息（例如广告）放置到视频呈现中。计算系统自动地估计何处及何时将补充性信息放置到视频中的建议。至少部分地基于在视频内的运动感测导出该建议。计算系统可以使用补充性信息的所建议的时间位置和空间位置，并使得其与适用于视频的访问补充性信息呈递策略相符合，以做出何处及何时放置补充性信息的最终确定。

Description

使到视频中的动态信息插入自动化

背景技术

在信息时代，数字视频广泛地分布，且可在诸如例如因特网和电视分发网络等的多种数字通信网络中获得。运动图像专家组（MPEG）已经公布用于音频和视频信息的数字编码的多种标准。用于编码视频信息的MPEG标准的一种特性是使用运动估计来允许有效的压缩。

在视频编码过程期间，视频编码器使用跨视频帧的运动估计来确定视频序列的量化度量。使用运动矢量检测空域中跨多个视频帧的相对静态的视频帧的区域，且这样的区域被更高效地量化以得到更好的压缩。

广告常常被插入到数字视频中。作为示例，对于数字视频的因特网递送，横幅广告常常被放置在查看器的下部，所述横幅广告跨过查看器的水平范围。有时，这样的横幅广告可以具有用于关闭广告的控件。然而，横幅广告可能遮蔽视频的感兴趣部分。举例来说，有时沿着视频的下部递送字幕、得分或实况新闻。这样的信息可以被横幅广告遮蔽。

在通过因特网投递的视频中递送广告的另一方式是使得有限持续时间（也许15秒或30秒）的广告（被称为“预滚”）在感兴趣的视频之间甚至是在开始时被呈现。有时，以某些间隔将广告注入到感兴趣的视频中。举例来说，电视节目的某集可能在整个呈现过程中可以具有两个到六个广告间隔。这种形式的广告是相对打扰的，这是因为它停止或延迟了感兴趣的视频而有利于广告。

发明内容

至少一个在此描述的实施例与将补充性信息放置到视频呈现有关。该补充性信息可以是例如广告，或者也许是关于视频的主题的附加信息，或者是任何其他信息。

在一个实施例中，计算系统自动地估计在何处及何时将补充性信息放置到视频中的建议。至少部分地基于在视频内的运动感测导出该建议。举例来说，如果视频编码过程估计运动，则该运动估计可以被用来导出用于信息放置的建议。然后，建议被发送给实际上将补充性信息呈递到视频中的组件（在相同的计算系统内或在不同的计算系统上）。

在一个实施例中，计算系统访问针对补充性信息的所建议的时间和空间位置，访问适用于视频的补充性信息呈递策略，并标识放置补充性信息的场所和时间，使得所建议的时间位置和空间位置与补充性信息呈递策略相符合。

在考虑到出现在视频中的运动且不要求人类智能做出在何处呈递补充性信息的最终决定的情况下，这提供了在何处及何时可以将补充性信息放置在视频中的较大的灵活性。本概述不旨在标识所要求保护的本主题的关键特征或必要特征，也不指在用来辅助确定所要求保护的本主题的范围。

附图简述

为了描述可以获得上面所叙述的和其他优点和特征的方式，将通过参考附图来进行各种实施例的更具体的描述。应理解，这些图仅描绘样本实施例，且因而不应被认为是限制本发明的范围，将通过使用附图借助于附加的特异性和细节描述和解释各实施例，附图中：

图1阐释可以被用来采用在此描述的实施例的示例计算系统；

图2阐释用于自动地建议补充性信息到视频中的时间位置和空间位置的方法200的流程图；

图3阐释用于基于要显示在视频中的补充性信息的所建议的时间位置和空间位置呈递补充性信息的方法的流程图；

图4阐释其中已经显示补充性信息的视频呈递的一个示例；以及

图5阐释其中已经显示补充性信息的视频呈递的另一示例。

详细描述

根据在此描述的实施例，描述将补充性信息（例如广告）自动放置到视频呈现中。计算系统自动地估计在何处及何时将补充性信息放置到视频中的建议。至少部分地基于在视频内的运动感测导出该建议。计算系统可以使用针对补充性信息的所建议的时间位置和空间位置，并使得其与适用于该视频的访问补充性信息呈递策略相符合（reconcile），以做出何处及何时放置补充性信息的最终确定。

首先，将相对于图1描述关于计算系统的一些介绍性讨论。然后，相对于图2到图5描述将补充性信息自动放置到视频中的实施例。

第一，相对于图1描述关于计算系统的介绍性讨论。计算系统现在日益采用多种多样的形式。计算系统可以是例如手持式设备、家用电器、膝上型计算机、台式计算机、大型计算机、分布式计算系统或甚至是按常规而言不被认为是计算系统的设备。在本说明书中以及在权利要求书中，术语“计算系统”被宽泛地定义为包括至少一个处理器和其上具有可由处理器执行的计算机可执行指令的存储器的任何设备或系统（或其组合）。存储器可以采取任何形式且可以依赖于计算系统的本质和形式。计算系统可以在网络环境上分布，且可以包括多个组成的计算系统。

正如图1中所阐释的，在其最基本的配置中，计算系统100通常包括至少一个处理单元102和存储器104。存储器104可以是物理系统存储器，它可以是易失性、非易失性或两者的某种组合。术语“存储器”在此也可以用来指示非易失性大容量存储，例如物理存储介质。如果计算系统是分布式的，则处理、存储器和/或存储能力也可以是分布式的。在此所使用的术语“模块”或“组件”可以是指在计算系统上执行的软件对象或例程。在此描述的不同的组件、模块、引擎和服务可以被实现为在计算系统上执行的对象或进程（例如，被实现为单独的线程）。

在下面的描述中，参考由一个或多个计算系统执行的动作描述各实施例。如果这样的动作被实现为软件，则响应于已经执行计算机可执行指令，执行该动作的相关联计算系统的一个或多个处理器引导计算系统的操作。这样的操作的示例涉及数据的操纵。计算机可执行指令（和所操纵的数据）可以被存储在计算系统100的存储器104中。计算系统100也可以包括显示器112，显示器112可以被用来提供各种具体用户界面，例如在此描述的那些。计算系统100也可以包含通信信道108，通信信道108允许计算系统100例如通过网络110与其他消息处理器通信。

本发明的各实施例可以包括或利用包括诸如例如一个或多个处理器和系统存储器等的计算机硬件的专用或通用计算机，如下面更详细地讨论。在本发明的范围内的实施例也包括用于携带或存储计算机可执行指令和/或数据结构的物理介质和其他计算机可读介质。这样的计算机可读介质可以是可由通用或专用计算机系统访问的任何可用的介质。存储计算机可执行指令的计算机可读介质是物理存储介质。携带计算机可执行指令的计算机可读介质是传输介质。因而，作为示例而非限制，本发明的各实施例可以包括至少两个明显不同种类的计算机可读介质：计算机存储介质和传输介质。

计算机存储介质包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁存储设备、或可以被用来存储以计算机可执行指令或数据结构的形式的所期望的程序代码装置且可由通用或专用计算机访问的任何其他介质。

“网络”被定义为允许在计算机系统和/或模块和/或其他电子设备之间传输电子数据的一个或多个数据链路。当通过网络或另一通信连接（硬布线、无线、或硬布线或无线的组合）上将信息传输或提供给计算机时，该计算机适当地将该连接看作是传输介质。传输介质可以包括可以被用来携带以计算机可执行指令或数据结构的形式的所期望的程序代码手段且可由通用或专用计算机访问的网络和/或数据链路。以上的组合也应被包括在计算机可读介质的范围内。

另外，一旦到达各种计算机系统组件，可以自动地将以计算机可执行指令或数据结构的形式的程序代码手段从传输介质传输到计算机存储介质（或反之亦然）。例如，通过网络或数据链路接收的计算机可执行指令或数据结构可以被缓冲在网络接口模块（例如，“NIC”）内的RAM中，且然后，最终被传输到计算机系统RAM和/或计算机系统中较不易失的计算机存储介质。因而，应理解，计算机存储介质可以被包括在也（或甚至主要地）利用传输介质的计算机系统组件中。

计算机可执行指令包括例如在处理器处执行时引起通用计算机、专用计算机或专用处理设备执行某些函数或一组函数的指令和数据。计算机可执行指令可以是例如二进制文件、诸如汇编语言等的中间格式指令或甚至源代码。尽管已经用结构特征和/或方法论动作专用的语言描述了本主题，但应理解，在所附权利要求书中限定的本主题并不一定限于以上所描述的所述特征或动作。相反，所描述的特征和动作是作为实现权利要求的示例形式而公开的。

本领域的技术人员将明白，本发明可以在具有包括个人计算机、台式计算机、膝上型计算机、消息处理器、手持式设备、多处理器系统、基于微处理器的或可编程的消费性电子设备、网络PC、小型计算机、大型计算机、移动电话、PDA、寻呼机、路由器、交换机等等的多种类型的计算机系统配置的网络计算环境中实施。本发明也可以在分布式系统环境中实施，其中通过网络（由硬布线数据链路、无线数据链路或由硬布线和无线数据链路的组合）链接的本地计算机系统和远程计算机系统两者均执行任务。在分布式系统环境中，程序模块可以位于本地存储器存储设备和远程存储器存储设备两者中。

图2阐释用于自动地建议补充性信息到视频中的时间位置和空间位置的方法200的流程图。方法200可以由参照图1描述的计算系统100执行。举例来说，计算系统100可以在形成计算机程序产品的一个或多个计算机可读介质上的计算机可执行指令的引导下执行方法200。补充性信息可以是附加的视频信息或非视频信息。

计算系统自动地标识视频中的运动（动作201）。该运动标识可以例如由视频编码器执行。MPEG-2编码器例如通过在一个帧中查找看上去类似于在随后的帧中的类似大小的像素块的像素来块估计帧间运动。这允许MPEG-2编码器借助于表示从一个帧到随后的帧的移动的运动矢量以及表示比较两个帧的块中的轻微差异的差异信息来编码这种运动。这允许有效的压缩。编码可以例如由诸如图1的计算系统100等的计算系统执行。视频可以是先前存在的视频（例如电视节目）。然而，也可以对实况订阅源输入（例如实况电视和实况摄像机镜头）执行本发明的原理。

运动也可以表示关于视频的哪些部分最令人感兴趣的信息。因此，用于编码过程的运动信息可以用于辅助形成何处及何时放置诸如广告等的补充性信息的建议。

例如，考虑其中视频正在播出赛车按固定城市背景（settings）进行比赛的视频的示例。固定背景相对静止，而赛车在运动。在这种情况中，可以推断运动的物体是观众最可能关注的物体。因而，在一些情况中，放置的建议可以避开出现为正在运动的区域，以便由此减少将补充性信息放置在视频中最感兴趣的物体上的风险。因而，在大多数场景固定但一部分正在运动的情况下，可以推断运动的物体是视频的焦点物体，且由此避开该物体。

作为另一示例，假定视频是在地面之上的低高度飞行的军用飞机的头顶镜头，其中照相机紧紧跟随飞机，以使得飞机在空间上从一个帧到下一帧不发生显著移动，而是地面从一个帧到下一帧飞机一致地移动。在这种情况中，如果大多数场景一致地运动，但一部分不这样，则可以将不这样的那部分推断为是场景中的焦点物体。

这只是两个示例，但原理是通过使用运动估计，可以应用计算逻辑以推断特定的视频场景内最可能的焦点物体或多个焦点物体。然后，为了避免太过打扰地将补充性信息放置在视频中，将补充性信息放置在视频场景的焦点物体不被补充性信息隐藏的位置和时间。

一旦标识了视频的运动（例如，通过视频编码），计算系统至少部分地基于视频中所标识的运动为要显示在视频中的补充性信息确定所建议的时间位置和空间位置（动作202）。举例来说，在汽车快速经过固定市区背境的示例中，可以在空间上和时间上将补充性信息放置为使得补充性信息不处于遮蔽移动汽车的任何部分的任何点。同样地，在飞机的头顶视频的示例中，补充性信息可以被放置在移动地面上，而不是在军用飞机上。所建议的时间位置和空间位置的计算可以发生在服务器、客户机、计算系统的集合（例如，云）或任何其他位置。

补充性信息可以是任何人想要放置在视频的一部分上的任何信息。补充性信息不必、但可以是与视频的主题相关。补充性信息可以是例如广告。补充性信息可以但不必包括可由观众选择以显示另外的补充性信息的控件。举例来说，该控件可以与可被选择以便将观众带到web页面的超链接相关联。

可以使用可用来标识供放置的像素范围的任何机制来描述所建议的空间放置。所建议的空间放置可以直接使用像素位置表示该信息，或者可以使用从中可推断像素位置的任何其他信息。所建议的空间放置可以是矩形区域，但也可以是任何形状和大小的非矩形区域。所建议的空间放置可以是与可以放置在那里的补充性信息为相同大小，但也可以比补充性信息更大。在所建议的空间放置的情况下，如果呈递（rendering）计算系统决定使用所建议的空间放置，则呈递计算系统也许可以在所建议的空间放置内选择在其中放置补充性信息的位置。

可以使用可用来标识在视频内可以显示补充性信息的相对时间的任何机制来描述时间放置。所建议的时间放置可以是与应显示的补充性信息相同的时间，但也可以比应显示的补充性信息更长。在后一种情况中，呈递计算系统可以在所建议的时间放置内选择呈递补充性信息的适当时间。

建议过程也可以考虑内容提供商配置，从而允许内容提供商影响建议。举例来说，也许视频的制片人将补充性信息限制在视频内的某个空间和时间位置。然后，建议过程将避免做出在由视频的制片人所引导的空间或时间窗口之外的建议。补充性信息的提供商也可以对在何处及何时可以将补充性信息放置在视频内施加某些限制。举例来说，补充性信息提供商可以指定，应在10分钟到30分钟的某个时间内将补充性信息提供到视频中，且补充性信息不应在视频的角落之外发生。在该情况中，如果应提供30秒的补充性信息，则建议过程可以确定显示器的哪个角具有30秒时间段的最少运动，且后，将该角建议为空间建议并将所找到的30秒时间段建议为时间建议。当然，在一些环境中，在运动暗示属于焦点物体的概率较低的情况中，建议过程可以将具有最多运动的角标识为放置补充性信息的区域。

一旦确定了所建议的时间位置和空间位置，就将时间和空间信息传递给将补充性信息插入到视频的补充性信息呈递系统（动作203）。该补充性信息呈递系统可以与生成建议的计算系统处于相同的计算系统上。然而，补充性信息呈递系统也可以是在也可以如参照图1描述结构的不同的计算系统上。在该情况中，补充性信息呈递系统也可以按在计算机程序产品内的一个或多个计算机可读介质上提供的计算机可执行指令的引导来执行其进程。

在一个实施例中，将补充性信息呈递到视频中的计算系统已经具有视频的副本。在其他实施例中，呈递补充性信息的计算系统先前不具有视频的副本。在该情况中，提供关于时间和空间放置的建议的计算系统也可以提供视频本身。建议可以作为视频的编码方案的一部分而被编码在视频内。可替代地，所建议的时间和空间放置可以在与视频相关联的文件容器中提供，或者也许作为与视频相关联的元数据而被运载。可以在提供视频时在分离的信道中完全分离地提供所建议的时间和空间放置。

图3阐释用于基于要显示在视频中的补充性信息的所建议的时间位置和空间位置呈递补充性信息的方法300的流程图。方法300可以例如由先前被描述为接收所建议的时间和空间放置的补充性信息呈递系统来执行。

如果补充性信息呈递系统还没有视频，则该系统要么从生成建议的计算系统、要么从某种其他计算系统访问该视频（动作301）。在一种实施例中，计算系统可以从摄像机访问视频。摄像机本身也能够执行方法300，在这种情况中，方法200和/或300也许可以都是在摄像机内部执行。补充性信息呈递系统也访问所建议的时间位置和空间位置（动作302）。由于在系统访问视频的时间（动作301）和系统访问所建议的位置的时间（动作302）之间不存在时间依赖性，因此动作301和动作302被阐释为并行，但是一个动作可以在另一个动作之前执行。

补充性信息呈递系统也访问适用于视频的补充性信息呈递策略（动作303）。该策略也可以由内容提供商（例如，视频制片人和/或补充性信息的提供商）来设定。

补充性信息呈递系统也基于建议并基于所访问的补充性信息呈递策略确定在视频内何处及何时放置补充性信息（动作304）。该补充性信息呈递策略可以限制何处或何时可以放置补充性信息。然后，补充性信息可以以所指定的场所和时间被呈递在视频中（动作305）。

图4阐释其中已经显示补充性信息的视频400呈递的一个示例。视频400显示视频内容401（在这种情况中是飞行中的飞机的视频）。在图4的情况中，存在可以做出建议的四个可能的场所，包括四个角落区域411、412、413和414。在做出建议时，可能已经基于由内容提供商设定的策略推断这四个可能的场所。在这里，由于针对角落区域411检测到最少运动，因此建议该区域作为用于补充性信息放置的场所。在这种情况中，用户可以选择“现在预订座位”图标来预约假期。

图5阐释其中已经显示补充性信息的视频500呈递的一个示例。视频500显示视频内容501（再次，是飞行中的飞机的视频）。在图2的情况中，存在已经建议用于补充性信息放置的两个可能的区域：1）线511的左上，或2）线512的右下）。在这里，补充性信息521被选择为出现在区域511内的所示出的位置处。注意，区域511和512的形状是不规则的，从而表明所建议的区域不必是矩形。同样地，补充性信息521不是矩形的，其形状与所建议的区域也不相同，从而表明在此描述的最广泛的原理不要求在补充性信息和所建议的放置区域的形状和大小之间的相关性。

因此，在此描述的原理提供用于建议放置和/或将补充性信息放置在视频中的自动化机制。在不偏离本发明的精神或基本特性的前提下，本发明可以以其他具体的形式具体化。所描述的实施例应被认为是在所有方面均是说明性的，而不是非限制性的。因此，本发明的范围由所附权利要求书而非前述的说明书指示。落入权利要求的等效物的含义和范围内的所有改变都被包含在其范围内。

Claims

1.一种包括其上具有计算机可执行指令的一个或多个计算机可读介质的计算机程序产品，当所述指令由计算系统的一个或多个处理器执行时，致使计算系统执行以下动作：

自动地标识视频中的运动的动作；

至少部分地基于所述视频中的所标识的运动为要显示在所述视频中的补充性信息确定所建议的时间位置和空间位置的动作；以及

将所建议的时间位置和空间位置传递给将信息插入到所述视频中的补充性信息呈递系统的动作。

2.如权利要求1所述的计算机程序产品，其特征在于，所述补充性信息是广告。

3.如权利要求1所述的计算机程序产品，其特征在于，所述补充性信息是超链接。

4.如权利要求1所述的计算机程序产品，其特征在于，基于相对于视频定向的垂直和水平方向中的每一个的像素范围描述所建议的空间位置。

5.如权利要求1所述的计算机程序产品，其特征在于，所建议的时间位置被描述为相对于视频时间参考的特定的时间范围。

6.如权利要求1所述的计算机程序产品，其特征在于，所述计算机可执行指令还致使以下动作：

将所述视频传递给所述补充性信息呈递系统的动作。

7.如权利要求1所述的计算机程序产品，其特征在于，至少部分地基于所述视频中的所标识的运动为要显示在所述视频中的补充性信息确定所建议的时间位置和空间位置的动作包括：

访问由所述视频的内容提供商定义的定位策略的动作，其中，确定所建议的时间位置和空间位置的动作还基于所访问的定位策略。

8.如权利要求7所述的计算机程序产品，其特征在于，所述定位策略为所建议的时间位置和空间位置指定空间限制。

9.如权利要求1所述的计算机程序产品，其特征在于，至少部分地基于所述视频中的所标识的运动为要显示在所述视频中的补充性信息确定所建议的时间位置和空间位置的动作包括：

确定多个可能位置中的哪些在时间位置上具有较少运动的动作。

10.如权利要求1所述的计算机程序产品，其特征在于，至少部分地基于所述视频中的所标识的运动为要显示在所述视频中的补充性信息确定所建议的时间位置和空间位置的动作包括：

确定多个可能位置中的哪些在时间位置上具有较多运动的动作。

11.如权利要求1所述的计算机程序产品，其特征在于，自动地标识运动的动作由视频编码器在所述视频的编码期间执行。

12.一种包括其上具有计算机可执行指令的一个或多个计算机可读介质的计算机程序产品，当所述指令由计算系统的一个或多个处理器执行时，致使计算系统执行以下动作：

访问视频的动作；

访问要显示在视频中的补充性信息的所建议的时间位置和空间位置的动作；以及

访问适用于所述视频的补充性信息播放呈递策略的动作；以及

基于所建议的时间位置和空间位置和所述补充性信息呈递策略的符合确定何处及何时将补充性信息放置在视频中的动作。

13.如权利要求12所述的计算机程序产品，其特征在于，所述补充性信息呈递策略限制何处能够放置所述补充性信息。

14.如权利要求12所述的计算机程序产品，其特征在于，所述补充性信息包括控件。

15.如权利要求14所述的计算机程序产品，其特征在于，能够选择所述控件以显示另外的补充性信息。