CN101896906B - 基于时间片段的提取和视频指纹的健壮性匹配 - Google Patents

Abstract

一种针对基于时间、事件的视频指纹法的计算机实现的方法、装置、和计算机程序产品代码。在一个实施例中，检测视频内容中的事件。所述视频内容包括多个视频帧。事件代表视频内容中的离散兴趣点。使用所述事件生成基于时间、事件的片段的集合。每个基于时间、事件的片段是覆盖事件集合的视频内容的片段。使用与每个基于时间、事件的片段相关的帧集合的基于内容的特征的时间跟踪，从每个基于时间、事件的片段导出时间序列信号。根据每个基于时间、事件的片段的时间序列信号提取基于时间片段的指纹，以形成与所述视频内容相关的基于时间片段的指纹的集合。

Description

基于时间片段的提取和视频指纹的健壮性匹配

技术领域

概括地说，本发明涉及数据处理系统，具体地，涉及用于处理视频的方法和装置。更具体地，本发明涉及这样一种计算机实现的方法、装置、和计算机可用程序代码，用于为了近似复制品视频的识别和视频盗版的检测而进行基于片段的时间视频指纹的提取和健壮性匹配。

背景技术

随着在线数字内容的增加，越来越多的人们持续访问在线媒体，因此识别拥有版权的内容的需求不断增加。例如，拥有版权的音频和视频内容的所有者关注于识别和去除在社会网络和内容共享站点上其拥有版权的内容的未授权副本。社会网络和内容共享站点允许用户张贴例如音乐、照片、和视频的内容，用于网站的其他用户浏览。社会网络和内容共享站点包括但不限于

和这些社会网络和内容共享站点的用户频繁地利用盗版的电影、图像、和/或电视(TV)节目。

拥有版权的音频和视频内容的所有者关注于识别他们内容的授权的出现，以确保针对拥有版权的内容的每次出现都适当地补偿版权的所有者。例如，所有者可希望确保针对每次在无线电设备上播放特定歌曲时适当地支付报酬。

另一方面，广告主关注于监视他们的广告在例如电视、无线电设备、和/或因特网上的出现，以确保广告内容被广播适当次数。这些应用通常共享以下需求：用以从未知媒体、在线视频、无线电、和/或电视中识别已知拥有版权的数字媒体(例如音频和/或视频)的副本或近似复制品。

用于识别和保护拥有版权的内容的目前可用方案包括水印法(watermarking)和指纹法(fingerprinting)。水印法将可见的或不见的水印插入视频内容，由此识别内容的合法拥有者。水印法技术被设计为，使得水印被自动地传送至视频的任意精确副本以及传送至基于原始内容的水印部分创建的任意衍生内容。任意这样的副本或衍生作品(无论授权的或未授权的)可通过扫描嵌入在复制的或衍生视频内容中的水印的存在来识别。

然而，即使将水印设计为在不破坏视频内容自身的情况下难以去除，但是水印可能被挫败和去除。如果成功去除了水印，则视频内容变为永久解除锁定，并且经由水印将不再能够监视和/或检测未授权的复制品或衍生物。

由于水印的问题，另一方案(称为基于内容的指纹法和内容匹配法)近来获得了发展，因为基于内容的指纹法不依赖于在视频内容中任何水印的存在。通过这个方案，内容的整个部分被看作“伪水印”，并且被概括成表征内容的唯一音频-视觉方面的一个或多个唯一指纹。为了识别内容的两个部分是否为彼此的副本或衍生物，将内容的两个部分的基于内容的指纹相比较。如果基于内容的指纹足够相似，则说明内容的两个部分是副本、近似复制品、或衍生物。

基于内容的视频指纹法包括基于音频的指纹方法，这唯一地表征视频中的音轨或语音。基于内容的指纹法还基于从视频中对关键帧的提取，以及使用他们的视觉特征来创建基于视觉关键帧的指纹。然后，使用这些基于帧的指纹的集来描述每个视频。实质上，基于帧的视频特征可以是全局的或局部的。换句话说，可以从整个帧或从帧的一个或多个区域来提取基于帧的视频特征。

基于内容的指纹法通常需要对于许多共同编辑操作和图像/视频处理转换不变的相似指纹。共同编辑操作包括但不限于，剪切、接合、和/或重新排序。图像/视频处理转换包括但不限于，剪辑、缩放、纵横比改变、视频重新捕获或重新压缩、全局照明改变、色彩空间转变、褪色、数据损坏和加入噪音。

对于在视频副本中观察到的虚假视频转换的情况，目前可用的基于内容的指纹法方案具有不同程度的成功，除了健壮的基于帧的指纹法技术之外，主要是由于指纹的成功匹配需要复杂的帧排列的事实。基于帧的指纹法技术对于大多数转换不变。

在存在帧排列问题和丢失或不正确取样的帧时，基于内容的指纹法变得不精确和不可靠。充分改变帧的视频出现的任意图像处理转换也可能挫败基于帧的匹配方案。换句话说，目前的基于内容的指纹法典型地不能够检测视频取样经过了编辑操作的副本和衍生视频内容。

发明内容

所示实施例提供了一种针对基于时间、事件的视频指纹法的计算机实现的方法、装置、和计算机程序产品代码。在一个实施例中，检测视频内容中的事件。所述视频内容包括多个视频帧。事件代表视频内容中的离散兴趣点。使用所述事件生成基于时间、事件的片段的集合。每个基于时间、事件的片段是覆盖事件集合的视频内容的片段。使用与每个基于时间、事件的片段相关的帧集合的基于内容的特征的时间跟踪，从每个基于时间、事件的片段导出时间序列信号。根据每个基于时间、事件的片段的时间序列信号提取基于时间片段的指纹，以形成与所述视频内容相关的基于时间片段的指纹的集合。

附图说明

在所附权利要求中阐述了本发明的认为是新颖性特征的特性。然而，当结合附图阅读时，通过参照示例性实施例的以下具体实施方式，本发明自身及其具体实施方式将被最佳地理解，其中：

图1是可实现示例性实施例的数据处理系统的网络的图形表示；

图2是根据本发明示例性实施例的数据处理系统的视图；

图3是示出根据示例性实施例的针对测试视频生成基于片段的时间指纹以及与指纹的参考数据库相匹配的框图；

图4是示出根据示例性实施例的针对拥有版权的内容生成基于时间片段的指纹的参考数据库的框图；

图5是示出根据示例性实施例的基于片段的时间指纹生成器的框图；

图6是示出根据示例性实施例的指纹提取处理的视图；

图7是根据示例性实施例的指纹匹配引擎的框图；

图8是示出根据示例性实施例的匹配处理的框图；

图9是示出根据示例性实施例的提取基于片段的时间指纹的处理的流程图；以及

图10是示出根据示例性实施例的使用基于时间片段的指纹确定测试片段是否匹配于参考视频的处理的流程图。

具体实施方式

现在参照附图，具体地参照图1-2，提供了可实现本发明实施例的数据处理环境的示例性示图。可以理解，图1-2仅是示例性的，并没有确定或暗示对于可实现本发明各个方面和实施例的环境的限制。在不脱离本发明的精神和范围的情况下，可以对于所述的环境进行许多修改。

图1示出在其中可实现示例性实施例的数据处理系统的网络的图形表示。网络数据处理系统100是在其中可实现示例性实施例的计算机网络。网络数据处理系统100包含网络102，其是用于在网络数据处理系统100中连接在一起的各个设备和计算机之间提供通信链路的介质。网络102可包括连接，例如电线、无线通信链路、或光缆。

在所示实例中，服务器104和服务器106与存储单元108一起连接至网络102。此外，客户端110、112和114连接至网络102。客户端110、112和114可以是例如个人计算机或网络计算机。在所示实例中，服务器104向客户端110、112和114提供数据，例如引导文件、操作系统图像和应用。在这个实例中，客户端110、112和114是服务器104的客户端。网络数据处理系统100可包括没有示出的附加服务器、客户端和其它设备。

在所示实例中，网络数据处理系统100是具有网络102的互联网，所述网络102代表使用传输控制协议/互联网协议(TCP/IP)的协议族彼此通信的在世界范围内的网络和网关的集合。在互联网的中心是主节点或主机之间的高速数据通信线路的骨干，包括路由数据和消息的成千上万个商业、政府、教育和其它计算机系统。当然，网络数据处理系统100也可以作为多个不同类型的网络(例如内联网、局域网(LAN)或广域网(WAN))实现。图1仅用作实例，并非是不同示例性实施例的架构限制。

现在转到图2，示出在其中可实现示例性实施例的数据处理系统的框图。数据处理系统200是计算机(例如图1中的服务器104或客户端110)的实例，其中可设置有用于示例性实施例的实现处理的计算机可用程序代码或指令。在这个示例性实例中，数据处理系统200包括通信组织202，其提供在处理器单元204、存储器206、持久存储设备208、通信单元210、输入/输出(I/O)单元212和显示器214之间的通信。

处理器单元204用于执行可加载到存储器206中的软件的指令。根据特定实施方式，处理器单元204可以是一个或多个处理器的集合，或可以是多处理器核。此外，处理器单元204可以使用一个或多个异构处理器系统实现，在所述系统中在一个芯片上存在主处理器和辅助处理器。作为另一示例性实例，处理器单元204可以是包含相同类型的多个处理器的对称多处理器系统。

在这些实例中，存储器206可以是例如随机访问存储器或任意其它适合的易失性或非易失性存储设备。根据特定实施方式，持久存储设备208可采用不同类型。例如，持久存储设备208可包含一个或多个组件或设备。例如，持久存储设备208可以是硬件驱动器、闪存、可重写光盘、可重写磁带、或上述的某些组合。由持久存储设备208使用的介质也可以是可拆卸的。例如，对于持久存储设备208可使用可拆卸硬盘驱动器。

在这些实例中，通信单元210提供与其它数据处理系统或设备的通信。在这些实例中，通信单元210是网络接口卡。通信单元210可通过使用物理和无线通信链路中的一个或两者提供通信。

输入/输出单元212允许与连接至数据处理系统200的其它设备输入和输出数据。例如，输入/输出单元212可通过键盘和鼠标提供用户输入的连接。此外，输入/输出单元212可向打印机发送输出。显示器214提供向用户显示信息的机构。

用于操作系统和应用或程序的指令位于持久存储设备208上。可将这些指令加载到存储器206中，用于由处理器单元204执行。可使用位于存储器(例如存储器206)中的计算机执行指令通过处理器单元204执行不同实施例的处理。这些指令称为可通过处理器单元204中的处理器读取和执行的程序代码、计算机可用程序代码、或计算机可读程序代码。可以在不同的物理或有形计算机可读介质(例如存储器206或持久存储设备208)上实现在不同实施例中的程序代码。

程序代码216以函数形式位于计算机可读介质218上，并且可加载或传送到数据处理系统200，用于由处理器单元204执行。在这些实例中，程序代码216和计算机可读介质218形成计算机程序产品220。在一个实例中，计算机可读介质218可以是有形形式，例如插入或位于驱动器或其它设备(作为持久存储设备208的一部分)中用于向存储设备(例如作为持久存储设备208的一部分的硬盘驱动器)传送的光盘或磁盘。在有形形式中，计算机可读介质218也可以采用永久存储器的形式(例如与数据处理系统200连接的硬盘驱动器或闪存)。计算机可读介质218的有形形式还称为计算机可记录存储介质。在某些实例中，计算机可读介质218可能不是可拆卸的。

可选地，可通过与通信单元210的通信链路和/或通过与输入/输出单元212的连接从计算机可读介质218向数据处理系统200传送程序代码216。在示例性实例中，通信链路和/或连接可以是物理的或无线的。计算机可读介质也可以采用非有形介质的形式，例如包含程序代码的通信链路或无线传输。

对于数据处理系统200所示的不同组件不意味着对于可实现不同实施例的方式的架构限制。不同的示例性实施例可以在包括除了对于数据处理系统200所示的实例之外的或代替那些实例的数据处理系统中实现。根据所示的示例性实例，在图2中所示的其它组件可以改变。

作为一个实例，数据处理系统200中的存储设备是可存储数据的任意硬件装置。存储器206、持久存储设备208和计算机可读介质218是有形形式的存储设备的实例。

在另一实例中，可使用总线系统实现通信组织202，并且可包括一个或多个总线(例如系统总线或输入/输出总线)。当然，可使用在与总线系统连接的不同组件或设备之间提供数据传输的任意适合类型架构来实现总线系统。此外，通信单元可包括用于发送和接收数据的一个或多个设备(例如调制解调器或网络适配器)。此外，存储器可以是例如存储器206或高速缓存，例如在通信组织202中的接口和存储器控制集线器中。

随着因特网上内容共享的扩散，逐渐需要改进作为拥有版权的素材的副本或衍生物的视频内容的识别，以及需要改进视频盗版的检测。目前，可在视频内容中插入水印，以便于副本和衍生物的识别。尽管将水印设计为在不破坏视频内容自身的情况下难以去除，但是能够从视频内容挫败和去除水印。当成功去除水印时，视频内容变为永久解除锁定，并且经由水印将不再能够监视和/或检测未授权的复制品或衍生物。

在另一方案中，使用基于视觉、内容的指纹法来识别拥有版权的内容。然而，在存在帧排列问题以及丢失或不正确取样的帧时，目前的基于视觉、内容的指纹法变得不精确和不可靠。此外，充分改变帧的视觉出现的任意图像处理转换也可能挫败现有技术的基于视觉、内容的指纹法和基于帧的匹配方法。

此外，示例性实施例认识到，因为基于音频的指纹法不能够识别具有相同视觉但修改了音轨的视频复制品(例如具有不同声轨的电影)，所以现有技术的基于音频内容的指纹法并不胜任。考虑到传统方法和结构的先前和其他示例性问题、缺陷、和不足，为了健壮的视频盗版检测的目的，示例性实施例提供了一种方法和装置，用于基于时间片段(temporalsegment)的视频指纹的提取，以及基于测试视频的时间片段的指纹与基于参考时间片段的视频指纹的匹配。

在一个实施例中，该处理检测视频内容中的事件。视频内容包括多个视频帧。视频帧可选地伴随有相应音轨。视频内容可以是测试视频，其被测试以确定视频内容是否为已知拥有版权的视频的副本或衍生物。视频内容还可以是已知的、拥有版权的视频内容。

事件代表视频内容中的离散兴趣点。事件可以是音频状态的明显改变、视觉内容的改变、或视频的语义内容的改变。例如，事件可以是视频中的人或物的出现、场景改变、或说话者改变。

根据视频中的事件的自动检测生成基于时间、事件的片段的集合。所述集合包括一个或多个基于时间、事件的片段的集合。每个基于时间、事件的片段贯穿一个或多个事件的集合。

根据与每个基于时间、事件的片段中的帧排序序列相关的基于内容的特征的时间跟踪(temporal tracking)从每个片段导出时间序列信号。基于内容的特征是音频特征或视觉特征。基于内容的特征可完全包括视觉特征、完全包括音频特征、或音频特征和视觉特征的组合。提取概括和近似每个基于时间、事件的片段的时间序列信号的片段指纹，以形成与视频内容相关的基于时间片段的指纹的集合。

使用基于时间片段的指纹的集合来确定第一视频剪辑的一部分是否为与第二视频剪辑相同的原始内容的副本或衍生物。该处理将针对第一视频剪辑的基于时间片段的指纹与针对第二视频剪辑生成的基于时间片段的指纹相比较。基于在与第一视频剪辑相关的基于时间片段的指纹以及与第二视频剪辑相关的基于时间片段的指纹之间的相似性测量来识别匹配的基于事件的片段，以形成匹配片段。

收集在第一视频剪辑以及第二视频剪辑之间的所有匹配片段，以形成匹配片段的集合。匹配片段的集合可包括基于事件的片段的一个匹配对，或片段的两个或更多个匹配对。从匹配片段的集合选择生成良好线性拟合的匹配片段的子集。

在生成良好线性拟合的匹配片段的子集中，基于所选的匹配片段的不重叠期间识别针对第一视频剪辑以及第二视频剪辑的总视频匹配分数。使用总视频匹配分数做出关于第一视频剪辑是否为第二视频剪辑的近似复制品的确定。

图3是示出根据示例性实施例的针对测试视频生成基于片段的时间指纹以及与指纹的参考数据库相匹配的框图。计算机300在任意通用计算设备中实现，包括但不限于，图1中的服务器106或客户端110、和图2中的数据处理系统200。

基于时间片段的指纹生成器302是针对视频内容生成基于时间片段的指纹的软件组件。视频内容可以是测试视频304或已知拥有版权的内容。基于时间片段的指纹生成器302将基于内容的特征与测试视频304的唯一时间签名相组合，以生成基于时间片段的指纹。

在该实例中，测试视频304是根据已知拥有版权的内容正在被测试的视频内容，以确定测试视频304是否为拥有版权的内容的副本或从拥有版权的内容导出。测试视频304包括多个视频帧。视频帧还可选地伴随有音轨。换句话说，测试视频304可以仅是视频，或音频和视频的组合。

测试视频源306是正在被测试或与已知拥有版权的内容相比较的视频内容的源，以确定测试视频304是否为拥有版权的内容的副本或衍生物。测试视频源306可以是视频内容的在线源或离线源。例如，测试视频源306可包括但不限于，电视节目、网站上的商业视频和/或音频内容、或任意其他源。网站的实例包括但不限于

和

基于时间片段的指纹生成器302检测测试视频304中的事件，形成在事件边界排列的片段，针对每个片段提取基于内容的描述符的时间轨迹(temporal trace)，以及针对测试视频304生成基于测试视频的时间片段的指纹312。在该实施例中，将基于测试视频的时间片段的指纹312形成为概括每个视频片段的视觉和/或音频特征的时间轨迹的数字有序序列。在不变的事件边界排列片段减少了由于视频内容的编辑或更改可能发生的任意帧排列问题。基于时间片段的指纹生成器302生成针对测试视频304的基于测试视频的时间片段的指纹以及针对拥有版权的视频内容的基于拥有版权的内容的时间片段的指纹316。在该实例中，将基于拥有版权的内容的时间片段的指纹316永久地存储在数据存储器310中，而基于测试视频的时间片段的指纹312被即时生成，并仅用于匹配和视频副本识别目的而无需存留。然而，基于测试视频的时间片段的指纹也可被生成和存储在数据存储器310中，用于在离线匹配处理中与基于拥有版权的内容的时间片段的指纹316匹配，而不是在线地生成基于测试视频的时间片段的指纹312。

数据存储器310是用于存储数据的设备。数据存储器310可实现为硬盘驱动器、闪速存储器、主存储器、只读存储器(ROM)、随机存取存储器(RAM)、非易失性随机存取存储器(NVRAM)、或任意其他类型的数据存储设备。数据存储器310可以在一个数据存储设备或多个数据存储设备中实现。在该实例中，数据存储器310可以是耦合至计算机300的本地数据存储设备。然而，在另一实施例中，数据存储器310可远程位于计算机300处，或数据存储器310可实现为一个或多个本地数据存储器设备和一个或多个远程数据存储器设备。

数据存储器310存储针对拥有版权的内容所生成的基于拥有版权的内容的时间片段的指纹316。拥有版权的内容可以是作为已知拥有版权的内容的任意音频和/或视频内容。拥有版权的内容可以存储在具有一个或多个已知拥有版权的视频剪辑的库或数据库中。数据存储器310也存储基于拥有版权的内容的时间片段的指纹316。

基于时间片段的指纹生成器302针对已知拥有版权的内容生成基于拥有版权的内容的时间片段的指纹316。基于拥有版权的内容的时间片段的指纹316包括一个或多个基于时间片段的指纹。基于拥有版权的内容的时间片段的指纹316通过基于时间片段的指纹生成器302在线地或离线地生成。换句话说，计算机300可用于在存在网络连接时或不存在网络连接时生成基于拥有版权的内容的时间片段的指纹316。然后，基于时间片段的指纹生成器302针对测试视频304生成基于测试视频的时间片段的指纹312。然后，指纹匹配引擎320将基于时间片段的指纹312与基于拥有版权的内容的时间片段的指纹316相比较。

指纹匹配引擎320是用于执行基于时间片段的指纹匹配处理的软件组件。指纹匹配引擎320将基于测试视频的时间片段的指纹312与基于拥有版权的内容的时间片段的指纹316相比较。结果318指示测试视频304是否为拥有版权的内容的副本或衍生物。拥有版权的内容的副本或衍生物可称作拥有版权的内容的近似复制品。在一个实施例中，为了基于内容的视频盗版检测或防护的目的，使用近似复制品的检测。

因此，基于时间片段的指纹生成器302针对与测试视频304相关的多个帧中的每个帧提取基于帧的、基于内容的特征。测试视频可包括与视频帧相应的音频内容。基于内容的特征可以是视觉特征和/或音频特征。基于时间片段的指纹生成器302根据基于内容的特征的明显改变检测在与测试视频304相关的视频内容中的事件。然后，基于时间片段的指纹生成器302生成贯穿一个或多个事件的重叠片段，以形成基于时间事件的片段的集合。

然后，基于时间片段的指纹生成器302根据与每个基于时间、事件的片段相关的基于内容的特征的时间跟踪从每个基于时间、事件的片段导出时间序列信号。基于时间片段的指纹生成器302根据每个片段的时间序列信号提取基于片段的指纹，以形成基于测试视频的时间片段的指纹312。

指纹匹配引擎320从测试视频304接收测试片段。指纹匹配引擎320将基于拥有版权的内容的时间片段的指纹316中的一个或多个基于时间片段的指纹与基于测试视频的时间片段的指纹312相比较。指纹匹配引擎320根据相似性测量来识别匹配片段。指纹匹配引擎320找到生成最佳线性拟合的匹配参考片段的子集。

在这个上下文中，线性拟合指的是对于匹配片段的时间布局和相对时间距离一致的匹配片段的集合。换句话说，在视频对中的匹配片段的时间位置之间必须存在线性关系，从而如果在一个视频的时间X处的片段匹配于在第二视频中的时间Y处的片段，则Y＝aX+b，其中a和b是常实数。如果每对匹配片段具有相同的线性关系(其中针对所有匹配的片段对，常数a和b相同，或几乎相同)，则成对的匹配片段的集合生成线性拟合。匹配片段的线性拟合的质量取决于具有相同线性关系的匹配片段对的数目以及线性关系的参数a和b。

指纹匹配引擎320基于最佳线性拟合生成视频匹配分数。在该实例中，如果视频匹配分数超过阈值分数，则指纹匹配引擎320生成将测试片段识别为从参考视频潜在复制或导出的结果318。如果视频匹配分数低于阈值，则指纹匹配引擎320生成将测试片段识别为不匹配参考视频的结果318。

在一个实施例中，拥有版权的内容的内容所有者针对拥有版权的视频提取基于时间片段的指纹，以生成基于拥有版权的内容的时间片段的指纹316。这些指纹是基于细粒度的时间内容的指纹，其被设计为对于大范围的失真具有健壮性。然后，使用基于时间片段的指纹来检测视频盗版，和防止拥有版权的内容被未授权使用。

在另一实例中，视频共享站点可利用基于时间片段的指纹生成器302针对视频共享站点上张贴的视频生成基于视频内容的指纹。视频共享站点可使用指纹匹配引擎320检测由视频共享站点的用户提取的盗版和拥有版权的视频的未授权使用。在该实例中，测试视频304是由站点的用户张贴在视频共享站点上的视频。根据基于拥有版权的内容的时间片段的指纹316的基准数据库来匹配基于测试视频的时间片段的指纹312。这个匹配也是基于细粒度的时间内容的处理，其被设计为对于大范围的失真具有健壮性。检测共享视频是否为描述符数据库中拥有版权的视频之一的盗版副本。

图4是示出根据示例性实施例的针对拥有版权的内容生成基于时间片段的指纹的参考数据库的框图。基于时间片段的指纹生成器302针对拥有版权的内容404生成基于拥有版权的内容的时间片段的指纹316，其方式相同于图3中基于时间片段的指纹生成器302针对测试视频304生成基于测试视频的时间片段的指纹312。

数据存储器310存储拥有版权的内容404。拥有版权的内容404可使用作为已知拥有版权的内容的任意音频和/或视频内容来实现。在该实例中，拥有版权的内容404是具有一个或多个已知拥有版权的视频剪辑的库或数据库。基于拥有版权的内容的时间片段的指纹316包含针对已知拥有版权的视频内容(例如拥有版权的内容404)的基于时间片段的指纹。

基于时间片段的指纹生成器302针对拥有版权的内容404在线地或离线地生成基于拥有版权的内容的时间片段的指纹316。换句话说，基于时间片段的指纹生成器302可用于在存在网络连接时或不存在网络连接时生成基于拥有版权的内容的时间片段的指纹316。然后，基于时间片段的指纹生成器302针对如图3所示的测试视频304生成基于测试视频的时间片段的指纹312。然后，指纹匹配引擎320将如图3所示的基于时间片段的指纹312与基于拥有版权的内容的时间片段的指纹316相比较。

图5是示出根据示例性实施例的基于片段的时间指纹生成器的框图。基于时间片段的指纹生成器302接收与测试视频或已知拥有版权的内容相关的视频帧501。基于帧的特征502是与基于时间片段的指纹生成器302相关的软件组件，其提取针对每个帧的基于内容的特征503。基于内容的特征503可以仅是视觉特征、仅是音频特征、或视觉和音频特征的组合。

事件检测504是根据基于内容的特征503的明显改变检测事件的软件组件。事件检测504根据期间限制来创建贯穿多个事件的重叠片段。片段通过事件边界505来定义。换句话说，事件检测504根据视频剪辑的音频-视觉内容的状态的明显改变来检测和提取视频帧501中的事件。例如，事件可标记视频拍摄或场景转换、说话者改变，或者可简单地取决于整个帧或音频强度改变。换句话说，事件检测504可检测使用视频拍摄检测、场景改变、说话者改变、音频改变、和帧强度改变的事件。事件检测504也可使用音频特征、视觉特征、和多模特征来检测事件。

然后，基于时间片段的指纹生成器302使用事件以形成基于时间、事件的片段，其可贯穿多个事件，可被分离或重叠，以及可覆盖整个视频或仅视频子集。基于时间、事件的片段也可与一个或多个其他的基于时间、事件的片段重叠。在匹配中，基于时间、事件的片段的子集生成贯穿多个帧中的帧子集的线性拟合。匹配的基于时间、事件的片段可通过间隙来分离。

片段提取506针对每个片段创建特征的时间序列，以形成片段时间序列507。片段提取506使得每个基于时间、事件的片段与从每个基于时间、事件的片段提取的基于内容的特征的时间轨迹相关联。例如，一个基于视觉内容的特征是与帧像素中的红、绿、和蓝颜色值的总和相应的总帧强度。时间序列信号可取决于总帧强度的时间跟踪、基于帧区域的强度序列的跟踪、基于栅格的强度序列的跟踪、和/或邻近帧差异的跟踪。

因此，针对每个片段构成基于帧的描述符的时间序列，以形成片段时间序列507。描述符可以与总帧强度一样简单，或者可以是基于颜色、纹理、边缘、和形状特征的更复杂特征。

然后，基于片段的特征508针对每个时间片段提取基于片段的时间指纹，以形成基于时间片段的指纹509。基于片段的特征508通过从与每个片段相关的描述符的时间序列提取基于固定维度(fixed-dimensionality)的时间片段的指纹来进行这个操作。固定维度的指纹可通过将可变长度时间序列还原成固定维度特征向量的各种方法来提取，包括但不限于，均匀取样、向量量化、逐段线性近似、离散余弦变换(DCT)、离散小波变换(DWT)、和离散傅立叶变换(DFT)。

现在转到图6，示出根据示例性实施例的指纹提取处理的视图。视图600是通过基于时间片段的指纹生成器(例如图3中的基于时间片段的指纹生成器302)实现的指纹提取处理的视图。

视频601可以是测试视频或已知拥有版权的内容。基于帧的特征602是用于从视频601提取特征的软件，例如图5中的基于帧的特征502。基于帧的特征602将视频601处理成帧，以及对于视频的每个帧提取红/绿/蓝值的总和，得到时间序列信号。事件检测604根据阈值和信号的衍生物的零交点来检测这个信号中的事件。片段提取606根据片段上的最小和最大期间限制创建贯穿事件到事件的重叠片段。在该实例中，基于片段的特征608以64个均匀间隔的时间点针对每个片段对信号进行子取样，得到针对片段集合的视频的指纹以及他们相应的64个维度向量。然而，基于片段的特征608能够以任意数目个时间点针对每个片段对信号进行子取样，或生成固定维度向量。

将红/绿/蓝的总和用作基于帧的特征提供了对于许多差异(包括但不限于，围绕视频的黑带、纵横比的差异、叠加在视频上的收尾语或固定文本、视频的纯变亮和变暗、增益不改变地太快时的AGC、颜色空间转换、分辨率和DC偏移的差异)的不变性或健壮性。

基于改变的事件检测的使用对于空间和时间差异两者提供了不变性。即使检测视频可被编辑，以及可以具有不同的时间标度，事件检测604应发现测试信号在相似的时间点改变。

贯穿多个事件的重叠片段的使用也对于空间和时间差异两者提供了不变性。即使测试视频可被降级，以及可以具有不同的时间标度，片段提取606应基于类似的短改变序列发现贯穿多个事件的重叠片段。

图7是根据示例性实施例的指纹匹配引擎的框图。指纹匹配引擎314接收针对测试片段704的基于时间片段的指纹。指纹搜索和比较705是用于识别与比较中利用的测试视频匹配的参考片段的软件组件，以确定测试视频是否为识别的参考片段的副本或衍生物。

针对每个测试片段，指纹搜索和比较705发现匹配的参考片段。参考片段706是已知拥有版权的视频内容的片段。针对参考片段706中的每个参考片段，指纹搜索和比较705收集所有匹配片段708。换句话说，将测试片段704与描述符数据库中的参考片段706相比较，并且使用精确或近似最近的相邻搜索来找到最近的匹配参考片段，以形成匹配片段708。

线性拟合分析710找到生成最佳线性拟合的匹配片段的子集，以形成过滤的匹配片段712。换句话说，线性拟合分析710分析测试片段704的对于每个参考视频的线性拟合。针对每个参考视频，线性拟合分析710过滤掉具有最长期间线性拟合的测试片段的子集和匹配的参考片段，以形成过滤的匹配片段712。

线性拟合分析710的使用向空间和时间差异两者提供了不变性。即使测试视频可被编辑，但是线性拟合需要片段被按时间排列，但不必相连。

针对每个测试视频，匹配视频计分714根据具有最佳线性拟合的参考视频计算总匹配分数，以形成匹配分数716。匹配视频计分714使用过滤的匹配片段712依据描述符数据库来计算最佳匹配分数716。最佳匹配分数716用于检测测试视频是否为拥有版权的视频。

阈值分数比较引擎718将匹配分数716与阈值分数相比较，以确定测试视频是否为拥有版权的内容的副本或衍生物。例如，如果匹配分数716等于或大于阈值分数，则阈值分数比较引擎718将测试视频识别为参考片段706中拥有版权的内容的副本或衍生物。

现在参照图8，示出根据示例性实施例的匹配处理的框图。比较800是匹配处理的图示。指纹匹配引擎(例如图3中的指纹匹配引擎314)权衡所提取的基于时间片段的指纹以比较和匹配视频剪辑802和804。视频剪辑802是来自拥有版权的内容的库(例如图3中的拥有版权的内容314)的参考视频。视频剪辑804是未知测试视频，例如图3中的测试视频304。

可使用相似指纹来识别在未知测试视频804和已知参考视频802之间的匹配片段。随后，可使用来自每个候选参考视频的匹配片段的集合和组合期间，对于测试视频804和候选参考视频802之间的总匹配质量计分。然后，可将计分足够高的任意候选参考视频声明为未知测试视频的近似复制品，然后将测试视频804标记为拥有版权的内容的衍生物。

图9是示出根据示例性实施例的提取基于片段的时间指纹的处理的流程图。图9中的处理通过用于生成基于时间片段的指纹的软件来实现，例如图3中的基于时间片段的指纹生成器302。

该处理通过针对视频内容中的每个帧提取基于内容的特征来开始(步骤902)。视频内容可以是测试视频或已知拥有版权的视频内容。视频内容可以仅是视频，仅是音频，或音频和视频的组合。基于内容的特征是视觉特征、音频特征、或视觉和音频特征的组合。

该处理根据基于内容的特征的明显改变检测视频内容中的事件(步骤904)。然后，该处理根据期间限制生成贯穿一个或多个事件的重叠片段，以形成基于时间事件的片段的集合(步骤906)。基于时间、事件的片段的集合是两个或更多个基于事件的片段的集合。

该处理根据与基于时间、事件的片段的集合中的每个基于时间、事件的片段相关的基于内容的特征的时间跟踪从每个基于时间、事件的片段导出时间序列信号(步骤908)。然后，该处理针对每个片段提取基于片段的时间指纹，以形成针对视频内容的基于时间片段的视频指纹(步骤910)，随后该处理终止。换句话说，图9中的处理针对给定视频剪辑生成一个或多个基于时间片段的指纹。图9中的处理可执行任意数目的次数，以生成针对测试视频剪辑和/或针对已知拥有版权的内容的多个基于时间片段的指纹。

图10是示出根据示例性实施例的使用基于时间片段的指纹确定测试片段是否匹配于参考视频的处理的流程图。图10中的处理通过匹配基于时间片段的指纹的软件(例如图3中的指纹匹配引擎320)来实现。

该处理通过从测试视频内容选择测试片段来开始(步骤1002)。该处理将参考视频的基于时间片段的指纹与测试片段的基于时间片段的指纹相比较(步骤1004)。该处理基于相似性测量来识别匹配片段(步骤1006)。该处理找到生成最佳线性拟合的匹配参考片段的子集(步骤1008)。

然后，该处理根据最佳线性拟合生成视频匹配分数(步骤1010)。该处理做出关于测试视频的匹配分数是否超过阈值的确定(步骤1012)。如果分数超过阈值，则处理将测试片段识别为从参考视频潜在导出(步骤1014)，随后该处理终止。

返回步骤1012，如果分数没有超过阈值，则该处理将测试片段识别为不匹配于参考视频(步骤1016)，随后该处理终止。换句话说，如果匹配分数太低，则该处理不将测试视频识别为与参考视频相关的拥有版权的内容的副本或衍生物。

示例性实施例提供了一种针对基于时间、事件的视频指纹法的计算机实现的方法、装置、和计算机程序产品代码。在一个实施例中，检测视频内容中的事件。所述视频内容包括多个视频帧。事件代表视频内容中的离散兴趣点。使用所述事件生成基于时间、事件的片段的集合。每个基于时间、事件的片段是覆盖一个或多个事件的视频内容的片段。根据与每个基于时间、事件的片段相关的帧的基于内容的特征的时间跟踪，从每个片段导出时间序列信号。根据每个基于时间、事件的片段的时间序列信号导出片段指纹，以形成与所述视频内容相关的基于时间片段的指纹的集合。

将针对测试视频剪辑的基于时间片段的指纹与针对每个参考视频的基于时间片段的指纹相比较。找到所有匹配的对。使用生成良好线性拟合的匹配对的子集，对候选参考视频的匹配进行计分。

基于时间、片段的指纹可用于基于内容的视频盗版检测或视频盗版防护目的。通过该处理生成的基于时间片段的指纹也可用于基于内容的搜索、概念检测、内容归类、概括、过滤、路由、或目标式广告。对于例如剪切、插入、和接合的编辑操作来说，基于片段的时间指纹法更加有健壮性。换句话说，基于片段的时间指纹法能够更加精确和可靠地检测副本和衍生物，即使在视频内容经过编辑操作以及对于拥有版权的视频内容的更改时。

因此，实施例通过将基于内容的特征与视频的唯一时间签名组合来提高对于编辑和图像处理转换的健壮性。通过检测视频中的重要事件、形成在事件边界处排列的片段并且为每个片段提取基于内容的描述符的事件轨迹来增加健壮性。在不变的事件边界处排列片段减少了上述帧排列问题。允许片段贯穿可变数目个事件，以及彼此重叠，这提供了一定程度的冗余性，导致对于编辑操作的健壮性增加。将时间轨迹签名并入指纹中减少了指纹的依赖性，因此增加了对于图像处理转换的健壮性。

本发明可采用完全硬件实施例、完全软件实施例或包含硬件和软件元素的实施例的形式。在优选实施例中，在包括但不限于固件、驻留软件、微码等的硬件和软件中实现本发明。

此外，本发明可采用从计算机可用或计算机可读介质可访问的计算机程序产品的形式，所述计算机可用或计算机可读介质提供用于计算机或任意指令执行系统或与其连接的程序代码。为了这里说明的目的，计算机可用或计算机可读介质可以是可包含、存储、通信、传播或传输用于指令执行系统、装置或设备或与其连接的程序的任意有形装置。

介质可以是电子、磁、光、电磁、红外或半导体系统(或装置或设备)或传播介质。计算机可读介质的实例包括：半导体或固态存储器、磁带、可卸计算机磁盘、随机存取存储器(RAM)、只读存储器(ROM)、硬盘和光盘。光盘的当前实例包括压缩盘-只读存储器(CD-ROM)、压缩盘-读/写(CD-R/W)和DVD。

适用于存储和/或执行程序代码的数据处理系统包括直接或通过系统总线间接与存储器元件耦合的至少一个处理器。存储器元件可包括在程序代码的实际执行期间采用的本地存储器、海量存储装置、以及提供至少一些程序代码的临时存储以减少在执行期间必须从海量存储装置提取代码的次数的高速缓存。

输入/输出或I/O设备(包括但不限于键盘、显示器、定点设备等)可直接或通过中间I/O控制器耦合至系统。

网络适配器也可耦合至系统，以使得数据处理系统能够通过中间专用网络或公共网络耦合至其他数据处理系统或远程打印机或存储设备。调制解调器、电缆调制解调器和以太网卡仅是网络适配器的几个当前可用类型。

为了说明和描述的目的提出本发明实施例的以上描述，并且其不是穷尽的，以及并没有将本发明限制在所公开的特定形式。对于本领域普通技术人员，许多变形和改变是清楚的。选择和描述实施例以最佳地解释发明原理、实际应用，以及使得本领域普通技术人员能够通过适用于特定用途的具有各种修改的各种实施例理解本发明。

Claims (22)

1.一种针对基于时间、事件的视频指纹法的计算机实现的方法，所述计算机实现的方法包括：

检测视频内容中的事件，其中所述视频内容包括多个视频帧，以及其中事件代表视频内容中的离散兴趣点；

使用所述事件生成基于时间、事件的片段的集合，其中每个基于时间、事件的片段是覆盖事件集合的视频内容的片段，并且是贯穿多个帧中的帧集合，以及其中所述帧集合仅覆盖视频内容的子集；

使用与所述基于时间、事件的片段的集合中的每个基于时间、事件的片段相关的帧集合的基于内容的特征的时间跟踪，从所述每个基于时间、事件的片段导出时间序列信号；以及

根据所述每个基于时间、事件的片段的时间序列信号提取片段指纹，以形成与所述视频内容相关的基于时间片段的指纹的集合。

2.如权利要求1所述的计算机实现的方法，其中使用基于时间片段的指纹的集合来确定第一视频剪辑的一部分是否与第二视频剪辑从相同的原始内容导出，所述计算机实现的方法还包括：

将针对所述第一视频剪辑的基于时间片段的指纹与针对所述第二视频剪辑生成的基于时间片段的指纹相比较；

根据在与所述第一视频剪辑相关的基于时间片段的指纹以及与所述第二视频剪辑相关的基于时间片段的指纹之间的相似性测量来识别匹配的基于事件的片段，以形成匹配片段；

收集在所述第一视频剪辑以及所述第二视频剪辑之间的所有匹配片段，以形成匹配片段的集合；

选择匹配片段的子集，其中匹配片段的子集包括对于与所述第二视频剪辑相关的匹配片段生成良好线性拟合的与所述第一视频剪辑相关的匹配片段；

根据所选的匹配片段识别针对所述第一视频剪辑和所述第二视频剪辑 的总视频匹配分数；以及

使用所述总视频匹配分数来确定所述第一视频剪辑是否为所述第二视频剪辑的近似复制品。

3.如权利要求2所述的计算机实现的方法，还包括：

将所述总视频匹配分数与阈值分数相比较；以及

响应于所述总视频匹配分数超过阈值分数，将所述第一视频剪辑识别为所述第二视频剪辑的近似复制品。

4.如权利要求1所述的计算机实现的方法，其中将所述基于时间片段的指纹用于基于内容的搜索、概念检测、内容归类、概括、过滤、路由、或目标式广告中的至少一个。

5.如权利要求1所述的计算机实现的方法，其中所述基于内容的特征包括音频特征和视觉特征中的至少一个，以及其中根据以下内容中的至少一个来检测每个事件：视频拍摄检测，场景改变，说话者改变，音频改变，帧强度改变，或根据颜色、纹理、形状、边缘、或动作的低级的基于内容的描述符的改变。

6.如权利要求1所述的计算机实现的方法，其中与所述视频内容相关的第一基于时间、事件的片段重叠于与所述视频内容相关的第二基于时间、事件的片段。

7.如权利要求1所述的计算机实现的方法，其中所述时间序列信号基于以下内容之一：总帧强度的时间跟踪、基于帧区域的强度序列的跟踪、基于栅格的强度序列的跟踪、和邻近帧差异的跟踪。

8.如权利要求1所述的计算机实现的方法，其中基于以下内容中的至少一个从片段时间序列提取所述基于时间片段的指纹：均匀取样、逐段线性近似、离散余弦变换(DCT)、离散小波变换(DWT)、和离散傅立叶变换(DFT)。

9.如权利要求1所述的计算机实现的方法，其中基于时间片段的指纹包括固定维度特征向量。

10.如权利要求1所述的计算机实现的方法，其中事件描述以下内容 中至少一个的状态的明显改变：视频的音频内容、视频的视觉内容、和视频的语义内容。

11.一种针对基于时间、事件的视频指纹法的计算机实现的系统，所述计算机实现的系统包括： 

用于检测视频内容中的事件的装置，其中所述视频内容包括多个视频帧，以及其中事件代表视频内容中的离散兴趣点； 

用于使用所述事件生成基于时间、事件的片段的集合的装置，其中每个基于时间、事件的片段是覆盖事件集合的视频内容的片段，并且是贯穿多个帧中的帧集合，以及其中所述帧集合仅覆盖视频内容的子集； 

用于使用与所述基于时间、事件的片段的集合中的每个基于时间、事件的片段相关的帧集合的基于内容的特征的时间跟踪，从所述每个基于时间、事件的片段导出时间序列信号的装置；以及 

用于根据所述每个基于时间、事件的片段的时间序列信号提取片段指纹，以形成与所述视频内容相关的基于时间片段的指纹的集合的装置。 

12.如权利要求11所述的计算机实现的系统，其中使用基于时间片段的指纹的集合来确定第一视频剪辑的一部分是否与第二视频剪辑从相同的原始内容导出，所述计算机实现的系统还包括： 

用于将针对所述第一视频剪辑的基于时间片段的指纹与针对所述第二视频剪辑生成的基于时间片段的指纹相比较的装置； 

用于根据在与所述第一视频剪辑相关的基于时间片段的指纹以及与所述第二视频剪辑相关的基于时间片段的指纹之间的相似性测量来识别匹配的基于事件的片段，以形成匹配片段的装置； 

用于收集在所述第一视频剪辑以及所述第二视频剪辑之间的所有匹配片段，以形成匹配片段的集合的装置； 

用于选择匹配片段的子集的装置，其中匹配片段的子集包括对于与所述第二视频剪辑相关的匹配片段生成良好线性拟合的与所述第一视频剪辑相关的匹配片段； 

用于根据所选的匹配片段识别针对所述第一视频剪辑和所述第二视频 剪辑的总视频匹配分数的装置；以及

用于使用所述总视频匹配分数来确定所述第一视频剪辑是否为所述第二视频剪辑的近似复制品的装置。

13.如权利要求12所述的计算机实现的系统，还包括：

用于将所述总视频匹配分数与阈值分数相比较的装置；以及

用于响应于所述总视频匹配分数超过阈值分数，将所述第一视频剪辑识别为所述第二视频剪辑的近似复制品的装置。

14.如权利要求11所述的计算机实现的系统，其中将所述基于时间片段的指纹用于基于内容的搜索、概念检测、内容归类、概括、过滤、路由、或目标式广告中的至少一个。

15.如权利要求11所述的计算机实现的系统，其中所述基于内容的特征包括音频特征和视觉特征中的至少一个，以及其中根据以下内容中的至少一个来检测每个事件：视频拍摄检测，场景改变，说话者改变，音频改变，帧强度改变，或根据颜色、纹理、形状、边缘、或动作的低级的基于内容的描述符的改变。

16.如权利要求11所述的计算机实现的系统，其中与所述视频内容相关的第一基于时间、事件的片段重叠于与所述视频内容相关的第二基于时间、事件的片段。

17.如权利要求11所述的计算机实现的系统，其中所述时间序列信号基于以下内容之一：总帧强度的时间跟踪、基于帧区域的强度序列的跟踪、基于栅格的强度序列的跟踪、和邻近帧差异的跟踪。

18.如权利要求11所述的计算机实现的系统，其中基于以下内容中的至少一个从片段时间序列提取所述基于时间片段的指纹：均匀取样、逐段线性近似、离散余弦变换(DCT)、离散小波变换(DWT)、和离散傅立叶变换(DFT)。

19.如权利要求11所述的计算机实现的系统，其中基于时间片段的指纹包括固定维度特征向量。

20.如权利要求11所述的计算机实现的系统，其中事件描述以下内 容中至少一个的状态的明显改变：视频的音频内容、视频的视觉内容、和视频的语义内容。

21.一种自动检测视频盗版的计算机实现的方法，所述计算机实现的方法包括：

将针对第一视频剪辑的基于时间片段的指纹与针对第二视频剪辑生成的基于时间片段的指纹相比较；

根据在与所述第一视频剪辑相关的基于时间片段的指纹以及与所述第二视频剪辑相关的基于时间片段的指纹之间的相似性测量来识别匹配的基于事件的片段，以形成匹配片段；

收集在所述第一视频剪辑以及所述第二视频剪辑之间的所有匹配片段，以形成匹配片段的集合；

选择匹配片段的子集，其中匹配片段的子集包括生成良好线性拟合的与所述第一视频剪辑相关的匹配片段以及与所述第二视频剪辑相关的匹配片段；

根据匹配片段的子集中所选的匹配片段识别针对所述第一视频剪辑和所述第二视频剪辑的总视频匹配分数；以及

使用所述总视频匹配分数来确定所述第一视频剪辑是否为所述第二视频剪辑的近似复制品。

22.如权利要求21所述的计算机实现的方法，还包括：

将所述总视频匹配分数与阈值分数相比较；以及

响应于所述总视频匹配分数超过阈值分数，将所述第一视频剪辑识别为所述第二视频剪辑的近似复制品。 

Images