CN101473657A

CN101473657A - 产生视频信号的指纹

Info

Publication number: CN101473657A
Application number: CNA2007800232721A
Authority: CN
Inventors: J·A·海特斯马; V·巴加瓦
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2006-06-20
Filing date: 2007-06-14
Publication date: 2009-07-01
Also published as: US20090324199A1; WO2007148264A1; EP2036354A1; JP2009542081A

Abstract

本发明提供用于产生视频信号(2)的更加鲁棒的指纹(1)的新颖技术。本发明的某些实施例只是从每个帧(20)的中央部分(22)中的块(21)获取视频指纹，而忽略剩余的外部部分(23)，产生的指纹(1)相对于包括剪切或移动的转换更加鲁棒。其它实施例将每个帧(或其中央部分)划分为非矩形块，例如派形或环形块，并从这些块产生指纹。可以选择块的形状以提供针对特殊转换的鲁棒性。例如派分块提供针对缩放的鲁棒性，环形块提供针对旋转的鲁棒性。其它实施例使用不同尺寸的块，因此可以给帧的不同部分不同的指纹加权。

Description

产生视频信号的指纹

技术领域

本发明涉及指纹的产生，所述指纹指示包括数据帧序列的视频信号的内容。

背景技术

包括数据帧序列的视频信号的指纹是一种指示该信号内容的信息。在特殊环境下，指纹可以被看作视频信号的简要概括。在此背景下的指纹也可以被描述为签名或散列(hash)。这样的指纹的一种已知用法是：通过对未知视频信号的指纹和数据库中存储的指纹进行比较，来识别未知视频信号的内容。例如，为了识别未知视频信号的内容，可以产生信号的指纹，然后将其与已知视频对象(例如电视节目、电影、广告等等)的指纹比较。当找到匹配时，从而确定内容的身份。显然，产生具有已知内容的视频信号的指纹并将那些指纹保存在数据库中也是已知的。

人们期望一种产生这样的指纹的方法，即所产生的指纹是内容的鲁棒指示，从某种意义上讲所述指纹可以用于正确地识别内容，即使在视频信号被处理、被破坏、被传输或具有该内容的另一视频信号的其它推导版本的时候。表达该鲁棒性需求的替代方式是具有相同内容的不同版本(即不同视频信号)的指纹应当足够相似以使得可以对该共同的内容进行识别。例如，包含像素数据帧序列的原始视频信号可以包括电影。可以产生该原始视频信号的指纹并将其和元数据(例如电影名)一起存储在数据库中。然后可以制作原始视频信号的备份(即其它版本)。理想地，人们会喜欢这样的指纹生成方法，即当用于任何一个备份时，该方法都会产生与原始指纹足够相似的指纹，以至于备份的内容可以通过查询数据库而得以识别。然而，许多因素使得该目标较难实现。例如，在原始视频信号的备份中，一个或多个帧中的整体亮度和/或对比度可能发生变化。类似地，色彩和/或图像清晰度方面可能已经变化。此外，备份可能是不同的方式，和/或一个或多个帧中的图像已经被缩放、移动或旋转。而且，视频内容的不同版本会使用不同的帧速率。在极端的情况下，电影的一个版本(例如备份)的帧中的像素数据可能与相同(例如原始)电影的另一版本的对应帧中的像素数据完全不同。因此，问题是发明一种指纹产生方法，其产生针对上述一个或多个因素而相对鲁棒(即不敏感)的指纹。

WO02/065782公开了一种产生信息信号(包括音频信号和图像或视频信号)的鲁棒散列(实际上是指纹)的方法。在一个公开的实施例中，从30个连续的帧中提取包括帧序列的视频信号的散列，并且其包括30个散列字(即所述连续帧的每个均有一个)。首先通过将每个整帧划分为等尺寸的矩形块。对于每个块，计算像素的平均亮度值。然后，为了制造与亮度的整体水平和数值范围无关的散列，计算两个连续块之间的亮度差别。并且，为了减少时间方向上散列字的相关性，还计算连续帧中空间差分平均亮度值的差别。因此，在产生的二元散列中，由视频信号的各个帧中的每两个连续块的平均亮度并由前一帧中相同的两个块的平均亮度得出每个比特。

虽然WO02/065782中公开的方法提供具有一定鲁棒性的散列，但是问题还存在，即该散列仍然对于上述多个因素敏感，特别是(虽然不只是)对于包括缩放、移动或旋转的转换、格式的改变，以及导出这些散列的信号的帧速率。

发明内容

本发明的目的是提供一种产生指示视频信号的内容的指纹的方法，其产生的指纹至少在某种程度上相对于上述因素中的至少一个更加鲁棒。本发明的一些实施例的目的是提供相对于缩放和旋转变化鲁棒性有所提高的指纹。

本发明的第一方面提供一种产生指示包括数据帧序列的视频信号的内容的指纹的方法，所述方法包括步骤：

只将每个帧的中央部分划分为多个块，并放弃每个帧的未被划分为块的剩余部分，所述剩余部分在中央部分之外；

提取每个块中数据的特征；以及

从所提取的特征计算指纹。

因此，所述方法只使用每个帧的中央部分来获得指纹；每个帧所剩余的外部部分被忽略，从某种意义上讲其内容不对指纹做出贡献。该方法提供的优势在于所产生的指纹相对于包括剪切和移动的转换更加鲁棒，并且还特别适用于满屏画面格式的视频的指纹识别。

可以理解的是从块提取特征的步骤可以包括例如计算，如对该块中像素性质的计算。

有利地，在一些实施例中，所述剩余部分围绕所述中央部分，以便所述方法忽略在中央部分之上、之下和两侧的一定量的帧。这进一步提高了鲁棒性，因为它进一步将指纹集中在帧的最为重要的部分上(在捕获视频信号时，所述照相机操作者当然会将主要对象/操作定位于帧的中央)。

在一些实施例中，所述中央部分围绕帧的中心部分，并且所述方法进一步包括放弃未被划分为块的中心部分的步骤。因此，除了忽略外围数据，所述方法还忽略中心部分。这提供的优势在于相对于对中心部分内容高度敏感的缩放和移动转换，所制造的指纹更加鲁棒。

在一些实施例中，所述多个块包括多个具有不同尺寸的块。这提供的优势在于可以给帧的不同部分不同的加权(即对所产生指纹的影响)。

例如，在一些实施例中，所述多个块包括多个具有多个不同尺寸的矩形块，并且矩形块的尺寸在至少一个从帧的中央向外移动的方向上增加。因此，朝着中央部分的外围的块较大，朝着中心的块较小。这提供的优势在于朝着帧的中心的方向上块的密度较大，因此帧的更加显要的部分对于最终的指纹具有更大的影响。

在一些实施例中，所述多个块包括多个非矩形块，而这提供的优势在于块形状可以被选择以相对于某些转换提供具有鲁棒性的最终指纹。

例如，在一些实施例中的多个非矩形块包括多个普通扇形块，每个所述普通扇形块被来自帧中央的每对半径所围成。也就是说，所述块可以是普通扇形派的形状(虽然这个普通形状可以会改变，如果所述块在一个径向端由向着中央部分的矩形边围成，例如在内径向端由从指纹产生过程排除的任何中间部分的形状围成)。使用这样的块提供的优势在于所产生的指纹相对于缩放转换非常鲁棒。

在一些实施例中，所述多个非矩形块包括多个普通同心环块，提供的优势在于所产生的指纹相对于旋转转换非常鲁棒。

可以理解的是，忽略每个帧的中心部分的步骤可以与任何块形状结合使用。

本发明的其它方面提供如权利要求10和13所限定的产生指纹的方法，并且根据上述讨论可以理解它们的有关优势。

本发明的另一方面提供一种产生指示包括数据帧序列的视频信号的内容的指纹的方法，每个数据帧包括多个块，并且每个块对应于视频图像的各个区域，所述方法包括步骤：

为每个帧只选择所述多个块的子集，所选择的子集对应于视频图像的中央部分；

提取所选子集的每个块中数据的特征；以及

从所述提取的特征计算指纹。

因此，本发明的一个方面提供由信号产生指纹的方法，所述信号包括已经被划分为块的帧(例如压缩视频信号)。通过只从中央块获得指纹，该方面再次提供的优势在于所述指纹相对于包括剪切或移动的转换更加鲁棒，并且还特别适用于满屏画面格式的视频的指纹识别。

如果所述视频信号是压缩信号，则从块提取特征包括计算，或者可替代地包括仅仅备份每个块中的一部分数据(例如经由DCT技术获得的块中的数据，其指示未压缩的源信号中的对应像素组的一些DC组分)。

另一方面提供信号处理装置，其被设置为执行上述任一方面的本发明方法。

其它方面提供计算机程序，其使得能够执行上述任一方面的本发明方法，以及其上记录有这样的程序的记录载体。

还有一些方面提供使用本发明指纹产生方法的广播监视方法、过滤方法、自动视频库组织方法、选择记录方法和篡改检测方法。

根据以下对实施例的描述以及权利要求，本发明的这些和其它方面以及本发明实施例的其它特征及其相关优势将显而易见。

附图说明

下面将参考附图描述本发明的实施例，附图中：

图1是实现本发明的指纹产生方法的示意性表示；

图2是另一实现本发明的指纹产生方法中的帧的中央部分的选择的示意性表示；

图3是又一实现本发明的指纹产生方法中的将帧的中央部分划分为块的示意性表示；

图4是另一实现本发明的指纹产生方法中的将帧划分为块的示意性表示；

图5是又一实现本发明的指纹产生方法的示意性表示，其产生指示视频信号内容的次指纹；

图6是实现本发明的视频指纹探测系统的示意性表示；

图7是被划分为块的视频信号的帧的示意性表示；

图8是在实现本发明的方法中产生的帧的部分被提取特征序列的示意性表示；

图9是将视频信号的帧划分为块的示意性表示，如用在本发明的一些实施例中；

图10是将视频信号的帧划分为块的示意性表示，如用在本发明的一些实施例中；和

图11是将视频信号的帧划分为块的示意性表示，如用在本发明的一些实施例中。

具体实施方式

参考图1，该图是根据本发明的指纹产生方法的简化示意性表示。视频信号2包括具有第一帧速率的第一数据帧串20。为了便于表示，图中只示出了两个数据帧20。然而可以理解的是，实际上，在其指纹正在产生的信号中数据帧的数量可以十分巨大。第一数据帧20的序列示于沿时间线的位置。帧20的序列的帧速率恒定。也就是说，在固定时间间隔所述数据帧可以被视为图像内容的样本。在一些实施例中，视频信号2以文件形式存储于合适的介质上。在一些实施例中，信号2可以是例如广播信号，以使得在时间线示出的两个帧之间的时间间隔是连续帧的广播或传输之间的实际时间间隔(并且因此也是在某目的地接收连续帧的实际时间间隔)。

所述方法包括处理步骤26，其包括只将每个帧20的中央部分22划分为多个块21，并且放弃每个帧的未被划分为块的剩余部分23，所述剩余部分23在中央部分之外。在此第一实施例中，中央部分22具有帧的全宽度，而剩余部分23包括中央部分之上和之下的两个带(矩形区域)。然而在可替代的实施例中，所选择的中央部分可以具有不同的形状和/或尺寸，根据以下的进一步阐述可以理解。为了简化，在图1中中央部分22被示为恰好被划分为四块b1-b4。然而，实际上可以使用更大数量的块。

然后，所述方法进一步包括提取每个块21中数据的特征F的处理步骤27，以及从所提取的特征计算指纹的步骤。在此示例中，提取特征的步骤包括产生所提取的特征帧50的序列5，其具有和源信号2相同的帧速率。每个提取的特征帧50包含特征数据F1-F4，其对应于中央部分22所划分成的每个块21。该示例中计算指纹1的步骤包括处理步骤53，其包括以源帧速率从提取的特征帧50产生次指纹30的序列3，以及另一处理步骤31，其对次指纹30的序列3进行操作并将其连结以形成指纹1。根据并取决于源视频信号的至少一帧的中央部分的数据内容，得出每个次指纹30，并且所产生的指纹1指示信号2的内容。然而可以理解的是，指纹不取决于每个帧的剩余部分23中所包含的原始信号的任何内容。因此，所述指纹有效地忽略了中央部分22之上和之下的带中的源信号内容。

如果是源视频信号的情况，则处理步骤23产生的次指纹序列3可以以文件的形式存储在合适的介质上，或者可替代地可以是由适当设置的处理器输出的次指纹30的实时序列。

现在参考图2，在可替代实施例中，由其得出指纹的每个帧20的中央部分22不扩展至帧20的全宽度。在此示例中，中央部分22而是扩展至帧的全高度，剩余部分23包括两侧的垂直带。

图3示出本发明另一实施例中将视频帧划分为块。这里，中央部分具有圆形外部周界，剩余部分23围绕所述中央部分。而且，中央部分围绕帧的中心部分29，而该中心部分29没有被划分成块。因此所述指纹产生方法忽略帧中央的中心部分29和周界部分23的数据内容。该示例的中央部分通常为环状，并且被划分为多个环形块(也就是说在此示例中，所述块为圆环)。使用环形块提供的优势在于在产生的指纹中具有旋转鲁棒性。

现在参考图4，在某些其它实施例中，每个帧20被划分为多个非矩形块。在此示例中，每个块21通常为扇形(即通常为部分派的形状)，由来自帧的指定中心C的每对半径210和帧周界及中心部分29的周界所围成，中心部分29还是不进行块划分处理。使用扇形块21并排除中央29提供的优势在于所产生的指纹表现出对于缩放的鲁棒性。

现在参考图5，其示出实现本发明的用于产生信息信号2的数字指纹的指纹产生方法的一部分，所述信号2的形式是包括每个均包含像素数据的视频帧20的序列的视频信号。所述方法包括将每个源帧20的中央部分22划分为多个块21的处理步骤26。为了简化，每个中央部分22被示为恰好被划分为四块21，标为b1-b4。可以理解的是，该块数只是举例，而实际上可以使用不同数量的块。所述方法还包括计算每个块21的特征然后使用计算出的特征数据来产生所提取的特征帧50的序列5，以便每个提取特征帧50对于第一帧序列中的各个帧的多个块中的每一块包含计算出的块特征数据。在所述示例中，在处理步骤27中计算的特征是每个块21中像素组的平均亮度L。因此，每个提取特征帧50包含四个平均亮度值L1-L4。然后，在处理步骤54中，由提取特征帧的序列5构建数据帧40的第二序列4。每个第二帧序列4包含四个平均亮度值，源帧所划分成的四块中的每一块均有一个。此实施例中数据帧40的第二序列4具有预定速率，而与源视频信号2的帧速率无关。因此，该预定速率通常与源帧速率不同，所以第二序列帧40中的一些在时间线上对应于提取特征帧50的位置之间的位置。因此，在此示例中，第二序列数据帧40中包含的平均亮度值通过包含插入的处理由提取特征帧50的内容得出。在图中，第二序列4的首先示出的帧正好对应于时间线上提取特征帧50的第一序列的位置，因此其包含的平均亮度值可以简单地从该提取特征帧50备份。然而，数据帧40的序列中的第二帧在时间线上出现在第一和第二提取特征帧50之间的位置。因此，通过包括计算的处理而得出该第二帧40中的每个平均亮度值，所述计算使用了来自时间线上所述“周围”提取特征帧50的两个平均亮度值。然后，在处理步骤43中，从数据帧40序列中的块平均亮度值计算(即得出)次指纹30序列。在此示例中，每个次指纹30由帧40的第二序列4中的各个帧以及由该第二序列4中前一帧40的内容而得出。

然后，可以以独立速率处理所述次指纹序列，以提供具有一定程度帧速率鲁棒性和对于例如剪切和移动的转换的鲁棒性的指纹，原因是指纹只是由源帧的中央部分22得出。

现在要给出与信息信号(尤其是视频信号)的指纹识别相关的其它背景信息，并描述其它实施例以及本发明实施例的其它特征。

在一些实施例中，视频指纹是代码(例如数字信息项)，所述代码识别视频段的内容。理想地，特殊内容的视频指纹应当不仅是唯一的(即与所有其它具有不同内容的视频段的指纹不同)而且应当相对于变形和转换具有鲁棒性。

视频指纹也可以被视为视频对象的简要概括。优选地，指纹函数F应当将包含许多并且数量可变的比特的视频对象X映射为只包含较少且数量固定的比特的指纹，目的是便于数据库存储和有效搜索(用于与其它指纹的匹配)。

视频指纹要成为良好的内容分类器的要求可以总结如下：理想地，视频剪辑的指纹是唯一的，意味着不同视频剪辑的指纹相似的可能性很低；并且相同视频剪辑的不同版本的指纹应当相似，意味着原始视频和它经过处理的版本的指纹相似的可能性很高。

如下是一些在理解下面的描述时有用的定义：

次指纹是指示信息信号的部分帧序列内容的数据项。在视频信号的情况下，在一些实施例中，次指纹是二元字，并且在特殊实施例中是32比特序列。在本发明的实施例中，根据一个以上源帧的内容并由其得出次指纹；

视频段的指纹表示其所有次指纹的有序集合；

指纹块可以被视为“指纹”级的子组，并且在一些实施例中是表示视频帧相邻序列的256个次指纹的序列；

元数据是视频剪辑的常用信息，包括例如“视频名称”、“艺术家”等等的参数，并且终端应用会乐于获得此元数据；汉明距离(Hamming distance)：在比较两个比特位模式时，汉明距离是两个位模式中不同的比特计数。更为一般的是，如果比较项目的两个有序列表，则汉明距离是不同项目的数量。该距离可用于编码的信息，并且是进行比较的特别简单的度量，比城市街区距离(沿坐标轴的距离绝对值之和)或欧氏距离(沿坐标轴的距离平方和的平方根)更加有用。

比特误差率(BER)：两个指纹之间的比特误差率是表示两个指纹中不相似比特的数量的比例。也可以被看作是两个指纹块的比特串之间的汉明距离与指纹块中比特数(即256X32＝8192)的比。

类间BER比较：类间BER是指对应于两个不同视频序列的两个指纹块之间的比特误差率。

类内BER比较：类内BER比较是指属于相同视频序列的两个指纹块之间的比特误差率。请注意，如果两个视频序列已经经过几何或其它性质的转换，它们可能不同。然而，它们对于人眼来说是完全相同的。

图6示出实现本发明的视频指纹识别系统。该视频指纹识别系统提供两个功能：指纹产生；和指纹识别。在预处理阶段，产生视频文件62(电影、电视节目和商业广告等等)的指纹1并将其存储在数据库65中。图6将该阶段示于框61中。在所述识别阶段，从该序列(输入视频查询68)再次产生指纹1并将其作为查询发送至系统。所述指纹识别阶段主要包括数据库搜索策略。请注意，由于数据库中指纹的数量庞大，实际上不可能使用穷举方法来搜索指纹。在本发明的一些实施例中采用了有效地实施搜索指纹的不同方法。在此阶段的输入是指纹块查询68，输出是包含识别结果的元数据625。

略加详述，在图6示出的实施例中，来自视频文件62的编码数据623被标准化(例如可以包括将视频分辨率缩放为固定分辨率)，并且由解码器和标准化部件63解码。然后该阶段63将标准化解码视频帧提供给指纹提取阶段64，其利用指纹提取算法处理输入的帧以产生源视频文件的指纹1。该指纹1同视频文件62的相应元数据625一起被存储在数据库65中。输入视频查询68包括编码数据683，它也由解码器/标准化部件63处理，并且指纹提取阶段64产生对应于查询的指纹1并将该指纹提供给指纹搜索模块66。该模块搜索数据库65中匹配的指纹，并且在找到与查询相匹配的时候，将相应的元数据625作为输出67提供。

如下是在视频指纹系统中应当考虑的参数：

鲁棒性：在严重的信号破坏之后视频剪辑是否仍然可以被识别？为了实现高鲁棒性，指纹应当基于感性特征，其相对于信号破坏保持不变(至少在一定程度上)。优选地，被严重破坏的视频仍然产生相似指纹。错误拒绝率(FRR)通常用来表示鲁棒性。当十分相似的视频剪辑的指纹相差太大不能产生正匹配时即发生错误拒绝。

可靠性：电影被错误识别的频率是多少？其发生的频率通常被称为错误接受率(FAR)。

指纹大小：指纹需要多大存储量？为了实现快速搜索，指纹通常存储在RAM存储器中。因此，指纹大小(通常以每秒比特或每电影比特表示)很大程度上决定指纹数据库服务器需要的存储器资源。

颗粒度：需要多少视频秒来识别视频剪辑？颗粒度是取决于应用的参数。在一些应用中，整个电影可以用于识别，在其它应用中，人们更愿意只用视频的简短摘要来识别电影。

搜索速度和可伸缩性：在指纹数据库中找到指纹需要多长时间？如果数据库包含成千上万的电影又该如何呢？对于视频指纹系统的供应商来说，搜索速度和可伸缩性是关键参数。包含大约10,000个电影的数据库的搜索速度应当是毫秒量级，同时使用有限的计算资源(例如一些高端PC)。

指纹转换的效应：由于在视频序列上进行了不同的转换和处理，视频指纹可以改变。这样的转换包括例如平滑和压缩。这些转换对于原始视频序列和经转换的序列产生不同指纹块，并因此在比较原始指纹和经转换的版本的指纹时导致比特误差率(BER)。在某些情况下，压缩至低比特率相比于将视频序列中的帧平滑化(噪音减少)是比较严重的处理。因此前者情况下的BER远远高于后者情况。

根据转换的严重程度，两个指纹块之间的相关性也在变化。转换越不严重，相关性越高。

在数据库中搜索指纹不是件简单的事情。本发明实施例中使用的搜索技术见于WO 02/065782。对该问题的主要描述如下。

在本发明的某些实施例中，视频指纹系统以55Hz产生次指纹。因此，由时长为两个小时的视频所产生的次指纹的数量将是：(2×60×60)s×55次指纹/s＝39600次指纹。在包含两千小时视频的指纹(396,000,000个次指纹)的数据库中，对于穷举搜索算法来说不可能实时产生结果。搜索任务不得不在396,000,000个次指纹中找到位置。利用穷举搜索，其进行了396,000,000个次指纹块比较。使用先进的PC，可以实现每秒大约200,000个次指纹块比较的速率。因此，对于我们所举的实例，总搜索时间是30分钟量级的。

通过使用索引列表可以改进穷举方法，例如考虑下列序列：“AMSTERDAMBERLINNEYYORKPARISLONDON”

我们可以通过每个城市的首字母来索引列表。如果我们想寻找单词“PARIS”，我们可以直接找到“P”的次列表并搜索该词。然而，指纹的情况描述起来并不象这个例子中那么简单。从下面的问题就很明显：查询是否包括精确的词语“PARIS”？所述查询可能包含“QARIS”、“QBRIS”、“QASIS”、“PBRHS”或者甚至“OBSJT”或者一些其它接近的词。因此，我们可能根本无法找到索引中的正确开始位置来启动搜索，并且系统将错误地拒绝该剪辑的缩放版本。解决方式是找到近似匹配。因此，当无法找到与查询词“OBSJT”的精确匹配时，该词中的每个字母被展开并针对产生的词搜索匹配。

因此，在本发明的一些实施例中，在计算次指纹的同时，次指纹中的每一比特根据其长度被分级。当对于任何一个次指纹(字母)没有找到精确匹配时，按照增加其长度量级将次指纹的弱比特展开。因此，首先展开最弱比特，针对产生的新指纹搜索匹配；如果没有找到匹配，则展开下一最弱比特等等。在通过展开最大比特的预定数量找到一个以上匹配时，具有最少BER(<阈值)的那一个被视为最为近似的匹配。因此，如果查询是“QARIS”，并且强度估计算法将“Q”分级为最弱比特，在将“Q”展开到例如P之后将立即找到匹配。然而，如果将“Q”分级为最强，则搜索需要更长时间。

在算法性能分析中，经常采用项数据库命中。数据库命中代表在数据库中找到匹配(可能是精确匹配或近似匹配)时的情况。

现在将详细描述本发明实施例的视频指纹识别系统。除了视频指纹识别，还有其它技术，例如水印，可用于识别第三方传输中的视频序列。然而，该过程依靠被改变的视频序列以及被插入视频串中的水印；然后在后面的时间从串中获取之并将其与数据库输入进行比较。这需要水印对视频材料进行游历。另一方面，视频指纹被集中存储并且它不需要对视频材料进行游历。因此，视频指纹识别在材料在网络上被传输之后仍然可以识别它。可以想到视频指纹识别的许多应用。以下列出这些应用：

用于文件共享的过滤技术：整个世界的电影工业由于在对等(点对点)网络上进行视频文件共享而损失巨大。总之，当电影被发出时，视频的“handy cam”拷贝已经在所谓的共享点周围进行。虽然文件分享协议彼此不同，但是它们中的大多数使用非加密方法共享文件。过滤是指在这种内容分发中的有源干预。视频指纹识别被认为是用于这样的过滤机制的良好候选。此外，它超过其它技术，例如可以用于内容识别的水印，因为水印必须对视频游历，所以被认为不可靠。因此，本发明的一个方面提供过滤方法，以及采用根据本发明第一方面的指纹产生方法的过滤系统。

广播监测：监测是指跟踪无线电、电视或网络广播，用于特许权集中、程序认证和人员测定。该应用是被动的，意思是它对正在传播的内容没有直接影响：所述应用的主要目的是观察并报告。基于指纹识别的广播监测系统包含一些监测点和指纹服务器所在的中央点。在监测点，从所有(本地)广播信道提取指纹。中央点从监测点收集指纹。随后包括庞大指纹数据库的指纹服务器产生各个广播信道的播放列表。因此，本发明的另一方面提供一种广播监测方法以及采用根据本发明第一方面的指纹产生方法的广播监测系统。

多媒体库的自动索引：许多计算机用户拥有包含几百(有时甚至上千)个视频文件的视频库。当从不同源获得文件时(例如来自DVD、扫描图像以及从文件共享服务下载)，这些库常常不能被好好地组织。通过利用指纹识别这些文件，所述文件可以自动地被正确的元数据标记，实现了基于例如艺术家、音乐唱片或流派的简单组织。因此，本发明另一方面提供一种采用根据本发明第一方面的指纹产生方法的自动索引方法及系统。

电视广告分块和选择记录：电视广告分块可以以数字广播脚本实现。例如，在基于数字视频广播(DVB)标准的多媒体家庭平台(MHP)脚本中，电视被连接至外部世界。利用对指纹识别服务器和对配有指纹产生功能的电视的连接中的一个，电视广告可以由观看者分块。该应用也可用作用于选择记录程序的激活工具，增加的优点是广告过滤。因此，本发明的其它方面提供采用根据本发明第一方面的指纹产生方法的广告分块和选择记录方法及系统。

检测传输线路中视频篡改或误差：如上所述，原始电影与其经转换(或处理)版本的指纹通常彼此不同。BER函数可以用于确定两者之间的差别。指纹的特性可以用于检测传输线路(应当产生正确的视频序列)的出错。而且，它可用于自动检测(无需手动干预)，如果电影或视频材料已经被篡改。因此，本发明的其它方面提供采用根据本发明第一方面的指纹产生方法的篡改和误差检测方法及系统。

视频指纹测试已经用于评价在本发明实施例中使用的指纹提取算法。这些测试包括可靠性测试以及鲁棒性测试。由算法产生的指纹的可靠性与错误接受率密切相关。在可靠性测试中，已经研究了由两个指纹块比较得出的比特BER分布，以提供理论上的错误接受率。例如，类间BER分布充当算法性能的鲁棒指示。

在鲁棒性测试中，创建包含4个视频剪辑以及它们的一些经转换的版本的小数据库，用于评价本发明实施例中使用的指纹提取算法。视频可以经历几次转换。为了测试开发的指纹探测算法，考虑下列对图像的转换：缩放；水平缩放；垂直缩放；旋转；向上移动；向下移动；CIF(公共交换格式)缩放；QCIF(四分之一公共交换格式)缩放；SIF(标准公共交换格式)缩放；媒体过滤；亮度变化；对比度变化；压缩；帧速率变化。因此，使用这些不同的转换可以制造原始剪辑的转换版本并比较原始和经转换版本的指纹。

现在要描述实现本发明的视频指纹识别方法和系统中所使用的算法。最后，描述所谓的区别块亮度算法。然后讨论为了增加算法的鲁棒性对基础算法的改进。

在区别块亮度算法中，所述算法计算时空域中的特征。此外，视频指纹识别的主要应用之一是过滤对等网络上的视频文件。如果特征提取使用基于块的DCT(离散余弦转换)系数，可以有利地使用系统可用的压缩数据串。

该算法的指导原则如下：

1.获得唯一地、基于逐帧地表示所述视频序列的特征。

2.获得十分重要的特征。应当注意在图像中，亮度特征比起颜色组分更加重要。而且，YUV色彩空间一般是所有视频编码器的所接受的主要次采样编码器。因此亮度值用于提取特征。

3.也使得从大多数压缩视频串中提取特征更加容易，我们选择从基于块的DCT系数而轻易计算出的特征。基于这些考虑，所提出的算法基于简单的统计，即计算相对较大的区域上的平均亮度。

所述次指纹的提取如下。

1.将每个视频帧划分为R行C列的栅格，产生R×C个块。对于这些块中的每一个，计算像素的平均亮度值。帧P中的块(r，c)的平均亮度表示为F(r，c，p)，r＝1，2，...，R并且c＝1，2，...，C。

图7示出以此方式被划分为21块的视频数据帧20。所述帧的表示示出来R×C个块，其中R＝4，C＝9(即此例中总共36块)。为每个块计算平均亮度值，从而获得R×C个平均值。每个数字代表在输入视频帧中的对应区域。因此，已经计算出这些区域中每一个的平均亮度值。

2.步骤1中计算出的平均亮度值可以表示为帧(提取特征帧)中R×C个“像素”。也就是说，这些代表帧的不同部分的能量。具有闭区间[-1 1](即取相同行中相邻块之间的差别)的空间过滤器以及具有闭区间[-α 1]的时间过滤器应用于该低分辨率灰度图像的序列。因此如果认为M13和M14是来源于当前帧上的区域13和14的平均值并认为M’13和M’14是来自下一帧的对应区域的平均值，则如下比较所述值(被称为软次指纹)

SftF P_{13} = [\begin{matrix} {M `}_{14} & {M `}_{13} \end{matrix}] [\begin{matrix} - 1 \\ 1 \end{matrix}] - α . [\begin{matrix} M_{14} & M_{13} \end{matrix}] [\begin{matrix} - 1 \\ 1 \end{matrix}]

3.SftFP_n的符号值决定所述次指纹中的比特值。更特别地，

对于

n = 1 . . 32, bi t_{n} = \{\begin{matrix} 0, if SftF P_{n} < 0 \\ 1, if SftF P_{n} &GreaterEqual; 0 \end{matrix}

总之并且更准确地，针对r＝1，2，...，R和c＝1，2，...，C可以得出

B (r, c, p) = \{\begin{matrix} 1, if Q (r, c, p) &GreaterEqual; 0 \\ 0, if Q (r, c, p) < 0 \end{matrix}\}

其中

Q(r，c，p)＝(F(r，c+1，p)-F(r，c，p))-α.(F(r，c+1，p-1)-F(rc，p-1))

该算法被称为“区别块亮度算法”。它生成次指纹序列，一个次指纹对应它所作用的“源”图像帧的每一个，那些次指纹的比特由上述B(r，c，p)给出。

在此算法中，α可以被视为加权因子，代表“下一”帧中的值被重视的程度。不同实施例中α可以使用不同的值。例如在一些实施例中α等于1。

我们现在要讨论与上述算法相关的针对可变帧速率的鲁棒性的问题。在动画、电视和计算机视频显示中，帧速率是每秒被投影或显示的帧或图像的数量。帧速率用于同步音频和影像，或者电影、电视或视频。每秒24、25和30帧的帧速率较为常见，其中每个均用在工业的不同部分中。在美国，动画的专业帧速率是每秒24帧，对于电视是每秒30帧。然而，这些帧速率可变，因为全世界在视频广播中遵循不同标准。上述基本区别块亮度指纹提取算法基于逐帧工作。因此，次指纹产生速率等于视频源提供的帧速率；例如，如果指纹是从在美国广播的电影提取的，则每秒会提取30个次指纹。因此，数据库中存储的对应指纹块代表256/30＝8.53s的视频。如果来自欧洲的视频查询被提供给系统，则帧速率为25Hz。在此情况下，指纹块代表256/25＝10.24s的视频。原则上，这两个指纹块不会彼此匹配，因为它们代表两个不同的时间帧。

总而言之，指纹系统基本上可以提供两个功能。首先，产生存储在数据库中的指纹。其次，为了识别目的，从视频查询产生指纹。总之，如果这两个阶段中视频源各自具有v和μ的帧速率，则这两种情况下的指纹块(包含256次指纹)分别代表(256/v)秒和(256/μ)的视频。这些时间帧不同，因此它们在这些过程中产生的次指纹来自不同的帧。因此，它们不匹配。

下面描述为提供一定程度的帧速率鲁棒性而对基本区别块平均亮度算法的变化。

本发明实施例中帧速率鲁棒性由以固定速率(与视频源的帧速率无关)产生次指纹所组成。最为普通的两个视频帧速率是25(PAL)和30(NTSC)Hz。因此预定次指纹产生速率的一个选择是这两个的平均，即(25+30)/2＝27.5。因此由以此速率产生的256个次指纹形成的指纹块代表256/27.5＝9.3s的视频。在视频指纹识别的一些应用中(如电视广告分块)，可能需要更高的颗粒度。因此，在一些实施例中，替代(更高)频率27.5×2＝55Hz用于指纹产生。下面阐述的其它示例使用该指纹提取频率(但是可以理解的是，所述频率本身只是一个例子，其它实施例可以采用不同的预定频率)。

为了在区别块平均亮度算法中并入帧速率鲁棒性，在上述的算法的步骤1和2之间进行改变。如果视频源的速率是vHz，则序列F(r，c，p)...F(r，c，p+v)被插值为55Hz。该过程导致每秒产生55个次指纹(除了第一秒，可能产生54个次指纹，因为p≥1)。这使得次指纹的产生不取决于视频源的帧速率。产生的次指纹现在代表固定时间帧形式的帧，而与视频源的时间帧无关。图8示出上述脚本。假设视频帧的频率为25Hz。因此，F(r，c，2)和F(r，c，3)分别代表在时间2/25和3/25的平均帧。平均帧F’(r，c，4)和F’(r，c，5)F’(r，c，6)和F’(r，c，7)分别代表在时间4/55、5/55、6/55和7/55的线性插入平均帧。也就是说，通过根据直接从源帧序列获得的平均帧的内容的计算，已经构成这些线性插入平均帧的内容。因此，变化后的算法包括产生具有预定帧速率(此例中为55Hz)的提取帧序列(包含平均亮度值)，那些帧的内容通过包括插入(其为必须的)的处理(经由直接提取的特征帧的序列)而从源帧的内容得出。虽然上述示例中使用线性插入，但是在替代实施例中可以使用其它插入技术。

已经(使用插入从而以预定速率产生提取特征帧)分析了由上述改变的区别块平均亮度算法得出的指纹的特性，包括执行测试以评价由于上述各种转换造成的比特误差率。在测试中，使用如上所述的搜索策略(使用比特的展开)来寻找原始版本的指纹和经转换的版本的指纹的近似匹配，并搜索精确匹配。

由其结果可以发现下列特征：

实现了较好程度的帧速率鲁棒性。

然而，水平缩放和垂直缩放如果较大则导致高BER。可以理解的是在水平和垂直缩放期间，帧中的像素移动至相邻块。这导致计算出不同的平均。水平缩放的效应较为突出，因为块的水平尺寸要小于垂直尺寸。因此，在垂直缩放情况下所述平均变化不大，因此产生较少的BER。

类似于缩放，大的旋转也会导致高的BER。

稳定的或者具有大量暗区域的剪辑会产生比更快和更亮剪辑更低的BER。

在一些情况下，甚至不可能找到一个精确匹配，当转换象大量缩放和旋转一样严重时。然而，在旋转的情况下，可以找到近似匹配。而且，在压缩至非常低的比特率的情况下，近似匹配的数量基本上会增加。为了找到近似匹配而将弱比特展开有助于增加所述算法针对各种转换的鲁棒性。

因此，虽然上述指纹产生方法(使用改变的区别块平均亮度算法)提供了相对于现有技术进一步改进了的帧速率鲁棒性，但是测试指示所述算法对于大量的缩放和旋转较为脆弱。因此如下所述，对所述算法做出进一步的变化。所述变化旨在使算法尤其是针对缩放和旋转更加鲁棒。

第一个进一步变化将描述为面向中央的区别块亮度算法。该算法与前述的不同，因为它重视帧的更为典型的特征。为此，它从视频帧的中央部分提取指纹。该变化的算法的开发基于下列理解：

a)从前述算法的使用中注意到，帧的黑部分为指纹贡献了非常少的信息。然而，许多视频格式是“满屏画面”。满屏画面实际是将宽屏电影备份成视频格式同时保留原始屏幕宽高比。由于视频显示器通常有比原始电影更大的屏幕宽高比，因此产生的制作必然在影像区域的上面和下面包括屏蔽区域(这些通常被称为“黑条”，类似于满屏画面缺口)。通过不制造这些区域的指纹可以提高指纹的可靠性。

b)通常，视频帧中的大多数移动是面向导向的。这可以从摄影者将他的照相机朝着被拍摄景物的中央聚焦的事实来理解。

c)有时，电影在每个帧的底部包含次标题。这些次标题通常在多数帧上是固定的，并且不能向指纹定性地引入任何信息。

d)电影还可以在顶部包含图标，其对于电影的整个长度保持固定。这些图标在相同的生产广告下也存在于不同电影中。

考虑到这些因素，面向中央的区别块平均亮度算法与区别块亮度算法非常相似。然而，所述面向中央的算法在将源帧划分为块的步骤上有所不同。代替将整个帧划分为块，这些块或区域21如图9所示的被限定。因此，只有帧20的中央部分22被划分为块21；帧边缘的部分23没有被使用。这有助于提高可靠性。在以此方式将帧划分为块之后，算法的剩余部分以与前述算法相同的方式计算次指纹序列。因此，计算了每个块/区域中的平均亮度值，从而每个帧产生36个平均值(36只是个例子，然而不同数量的块也可以使用)。类似地，从下一帧收集平均值。在此阶段，通过构建/产生插入的平均帧从而以期望的预定帧速率形成序列(事实上，CODBLA的随后结果基于包括帧速率鲁棒性特征的算法)，构成了帧速率鲁棒性。

已经执行了测试以分析面向中央的区别块平均亮度算法(CODBLA)相对于前述全帧(非面向中央的)区别块平均亮度算法(也加入了帧速率鲁棒性)(DBLA)的性能。发现CODBLA的性能在产生的指纹的鲁棒性方面较好，在某些情况下，例如在包含剪切或移动的转换的情况下。可以理解这样的结果，因为视频帧的顶部部分通常没有大的移动，因此它们不贡献更多的信息。而且，CODBLA特别适用于满屏画面格式的视频的指纹识别。

建立在CODBLA(侧重帧的中央部分)的原则之上，进一步变化指纹提取算法，以提高针对缩放和旋转的转换的鲁棒性。这产生了如下的区别派分块亮度算法(DPBLA)。

所述区别派分块亮度算法与前述算法不同，因为它重视视频帧的几何形状。它从更能抵抗缩放和转移的扇形形状块中的帧提取特征。在CODBLA中，平均亮度从矩形块提取。这些平均代表帧的那个部分，并在时空过滤和阈值处理之后提供典型的比特(以次指纹的形式)。这些比特的序列表示帧。然而，使用矩形块对于缩放较为脆弱。因此，当缩放视频帧时，由块覆盖的帧部分也被缩放，并且不仅仅表示原始部分。因此，在DPBLA中，所述平均(即平均亮度值或数据)从形状为圆的扇形的帧部分提取并且抵抗水平缩放。也就是说，在DPBLA中，将帧划分为块的步骤包括如图10所示的将帧划分为块。而且，只有帧的中央部分22被划分为块21(因此这个特殊的DPBLA也是面向中央的)。排除了外部圆周部分23和中心圆形部分29。每个块21通常为扇形，位于每对半径之间。

除了块划分步骤的区别，DPBLA运行以和DBLA和CODBLA相同的方式由像素亮度产生次指纹。在DPBLA的这个特例中，视频帧20被划分为33个“块”21，以便通过下面所述的顺时针空间区别来提取32个值。现在所述块的形状类似于圆的扇形。在径向方向上扇形区域的平均增加使得它们更能抵抗缩放。请注意帧的边缘部分23没有被使用。而且，帧的中心部分29也没有被用来计算平均。该部分高度抵抗缩放、移动以及少量旋转。这有助于提高可靠性。每一个数字代表输入视频帧中对应的区域。计算这些区域中的每一个区域的平均亮度值。该过程产生33个平均值。

在此阶段可以采用帧速率鲁棒性以获得插入的平均帧。该程序如上有所详述，此处不再重复。与前面的两个算法不同，在此情况下，小的差别是所述帧被表示为F(n，p)而非F(r，c，p)。因此，平均帧同样被插入。步骤1中所计算的平均亮度值可以具体化为帧中的33个“像素区”。也就是说，这些代表着帧的不同区域的能量。如上，具有闭区间[-1 1](即取相同行中相邻块之间的差别)的空间过滤器以及具有闭区间[-α 1]的时间过滤器应用于该低分辨率灰度图像的序列。

因此如果认为M13和M14是来源于当前帧上的区域13和14的平均值，认为M’13和M’14是来自下一帧的对应区域的平均值，则如下计算所述值(被称为软次指纹)

SftF P_{13} = [\begin{matrix} {M `}_{14} & {M `}_{13} \end{matrix}] \cdot [\begin{matrix} - 1 \\ 1 \end{matrix}] - α . [\begin{matrix} M_{14} & M_{13} \end{matrix}] \cdot [\begin{matrix} - 1 \\ 1 \end{matrix}]

通常

SftFPn＝{F(n+1，p)-F(n，p)}-{F(n+1，p-1)-F(n，p-1)}

其中n＝1到32。

4.SftFP_n的符号值决定所述比特值。更特别地，

n＝1..32

bi t_{n} = \{\begin{matrix} 0, if SftF P_{n} < 0 \\ 1, if SftF P_{n} &GreaterEqual; 0 \end{matrix}

对于

已经执行测试以分析区别派分块亮度算法的性能，且相对于面向中央的区别块亮度算法(CODBLA)不具有旋转补偿(DPBLA1)。在两个方向上等同缩放和水平缩放方面，所述派算法执行得较好。然而，它不抵抗旋转、垂直缩放和向上移动。可以理解易受到大量旋转的破坏，因为旋转使得扇形在空间域内发生变化，因此每个次指纹比特受到影响。

为了使DPBLA算法抵抗旋转，进一步做出变化；在算法中使用补偿因子。现在特殊区域的平均也具有相邻区域平均的部分和。这有助于增加针对旋转的鲁棒性，同时少量增加类间BER分布的标准偏差。所述算法也提供针对垂直缩放的有所改进的鲁棒性。因此具有旋转补偿的派分块算法的版本在从原始和经转换的信号的指纹之间找到近似匹配方面提供了显著的提高。

根据分析做出如下的一些总结。所述具有旋转补偿的派区别块亮度算法在大多数情况下比面向中央的区别块亮度算法执行得要好。类间和类内BER分布示出它作为比面向中央的区别块亮度算法更好的分类工具。对于其中视频不太可能被改变的应用中(例如在电视上广播监视、选择记录和广告过滤)，该算法可以执行得比上述算法更好。然而，它不抵抗旋转。这是因为即使是少量旋转也显著地改变了指纹。这些变化被放大，因为其它普遍的转换，如压缩和亮度水平的变化等等。

现在将描述本发明实施例中使用的另一算法。也将其称为区别可变尺寸块亮度算法(DVSBLA)。如背景介绍，我们认为面向中央的区别块亮度算法不抵抗大量的旋转和缩放。所述具有旋转补偿的派区别块亮度算法产生针对缩放高度鲁棒但是不抵抗旋转的指纹。在DVSBLA的描述中，我们现在描述如何通过使用亮度块的可变尺寸而改进面向中央的区别块亮度算法针对例如缩放和移动的转换的性能。

在上述基础CODBLA中，从矩形块提取亮度平均。这些平均代表帧的该部分并在时空过滤和阈值处理之后提供典型的比特。然而，在几何转换过程中，受到最大影响的区域是位于被处理的视频帧边缘的区域。这些区域常常产生弱比特。因此，如果这些区域变大，则从这些区域获得弱比特的可能性相应地减少。

DVSBLA提取算法类似于CODBLA块亮度算法。然而，在DVSBLA中，区域(块21)如图11中所示般地被限定。此特例中各个块的尺寸在下列表1和表2中给出，并且以帧宽度的比例的形式表示出来。剩余部分表示两侧被留出的区域。

剩余部分

列1

列2

列3

列4

列5

列6

列7

列8

列9

剩余部分

4％

12％

11％

10％

9％

8％

9％

10％

11％

12％

4％

表1：该表示出区别可变尺寸块亮度算法中各个列的尺寸。

剩余部分	行1	行2	行3	行4	剩余部分
剩余部分	行1	行2	行3	行4	剩余部分	5％	25％	20％	20％	25％	5％

表2：该表示出区别可变尺寸块亮度算法中各个行的尺寸。

所述块为矩形，如同面向中央的区别块亮度算法中使用的那些。然而它们现在具有可变的尺寸。所述尺寸朝着视频帧的中心持续减少。所述矩形区域从帧的中央的几何增加有助于提供对外部区域的更多覆盖，所述外部区域是那些在例如剪切、缩放和旋转的几何转换期间倍受影响的区域。在移动的情况下，所有区域同样受影响。请注意，帧的边缘部分未被使用。这有助于通过获得较少的弱比特来提高可靠性。

在此阶段可以使用帧速率鲁棒性以得到插入的平均帧。该程序上面已详细介绍过。然后，以如上关于DBLA和CODBLA所述相同的方式从(以预定速率，使用插入构建的)平均帧的序列获得次指纹。

对DVSBLA的性能的分析(看对于大量不同转换的BER)已经说明与固定块尺寸版本相比，BER被显著减少。因此所述算法针对所有类型的转换更加鲁棒。DVSBLA通过在更大区域提供更弱的比特(由较宽部分产生)提供对其的更强抵抗。

实际上，对于某些应用，测试已经说明具有可变尺寸块的区别块亮度算法好于至此讨论的其它所有算法(同样可靠并且较其它算法更为鲁棒)。对于其中视频很可能被改变的应用中(例如电影cam拷贝的点对点文件共享)，该算法可以执行得比上述算法更好。

已经测试上述四种主要算法，它们的相关性能可以总结如下：

视频指纹识别系统的鲁棒性与算法在正确识别经转换的视频序列版本方面的可靠性相关联。各个算法在针对各种转换的鲁棒性方面的性能在下面的表3中列出。

转换/处理	DBLA	CODBLA	DPBLA2	DVSBLA
转换/处理	DBLA	CODBLA	DPBLA2	DVSBLA	缩放	中	中	高	高
水平缩放	中	中	非常高	高	缩放	中	中	高	高
水平缩放	中	中	非常高	高	垂直缩放	中	中	低	高
旋转	中	中	非常低	中	垂直缩放	中	中	低	高

向上移动	中	中	低	中
向上移动	中	中	低	中	向下移动	高	非常高	低	非常高
CIF(公共交换格式)	中	中	低	高	向下移动	高	非常高	低	非常高
CIF(公共交换格式)	中	中	低	高	QCIF(四分之一公共交换格式)	中	中	低	高
SIF(标准公共交换格式)	中	中	低	高	QCIF(四分之一公共交换格式)	中	中	低	高
SIF(标准公共交换格式)	中	中	低	高	媒体过滤(+/-)	中	中	中	中
亮度(+/-)	中	中	中	中	媒体过滤(+/-)	中	中	中	中
亮度(+/-)	中	中	中	中	对比度(+/-)	中	中	中	中
压缩	中	中	中	中	对比度(+/-)	中	中	中	中
压缩	中	中	中	中	帧速率变化	非常高	非常高	非常高	非常高

表3：该表示出四种算法相对于各种几何转换和其它对视频序列的处理的量化性能。

请注意，区别可变尺寸块亮度算法(DVSBLA)在鲁棒性方面执行得特别好。因此，使用DVSBLA的指纹识别系统相对于各种转换应当具有高度鲁棒性。然而，可以理解的是，表中四种算法中的每一个(它们都通过以预定速率提取次指纹而构成帧速率鲁棒性)在各种类型的转换中的至少一些方面提供了超越现有技术的改进了的鲁棒性。

视频指纹识别系统的可靠性与系统的错误接受率相关联。为了找出各种算法的错误接受率，研究它们的类间BER分布。请注意，所述分布非常接近普通分布。因此，假设分布是普通的，则计算异常值的偏离和比例。因此计算出的标准偏离给出系统的理论错误接受率的概念。四种算法的这些参数在下面的表4中示出。

类间BER分布的参数	DBLA	CODBLA	DPBLA2	DVSBLA
类间BER分布的参数	DBLA	CODBLA	DPBLA2	DVSBLA	标准偏离	0.01135	0.007632	0.006626	0.0075
错误接受率	2.4X10^-20	1.2X10^-20	1X10^-20	1.1X10^-20	标准偏离	0.01135	0.007632	0.006626	0.0075
错误接受率	2.4X10^-20	1.2X10^-20	1X10^-20	1.1X10^-20	异常值<0.35的比例	0.006	0.002	0	0

表4：该表示出由四种算法的类间BER分布获得的参数。

请注意具有旋转补偿的区别派分块亮度算法(DPBLA2)具有非常好的表现。然而，在某些应用中，区别可变尺寸块亮度算法(DVSBLA)接近并可以超越DPBLA2，因为它的高度鲁棒性。因此，基于DVSBLA的指纹系统具有非常低的错误接受率。

所有算法的指纹大小固定在880bps。因此，为了存储5000小时视频对应的指纹，需要3960MB的存储。然而，对于不同的应用，对应于不同视频量的指纹需要被保存在数据库中。下面的表5示出上述各种应用的典型存储脚本。

应用	存储量要求
应用	存储量要求	点对点视频过滤	对应于2500小时视频为2000MB
自动视频库组织	对应于每个大约2小时持续时间的1000部电影为1600MB	点对点视频过滤	对应于2500小时视频为2000MB
自动视频库组织	对应于每个大约2小时持续时间的1000部电影为1600MB	广播监视	对应于一天的视频为20MB
电视广告分块和选择记录	10-20MB	广播监视	对应于一天的视频为20MB
电视广告分块和选择记录	10-20MB	检测篡改视频	无需存储量

表5：该表示出在上述各种应用中指纹需要的大约存储量。

实际上，这些存储量要求可以由上述算法很好地控制。因此，实现本发明的视频指纹识别系统的存储量要求是实用的。

关于颗粒度，所述结果示出实现本发明的视频指纹识别系统能够可靠地从大约5s时间的序列识别视频。

对于包含24小时视频的数据库的搜索速度可以估算为100ms的量级。

根据上面的描述，可以理解的是，实现本发明的某些视频指纹识别系统包含指纹提取算法模块和搜索模块以在指纹数据库中搜索这样的指纹。在本发明的某些实施例中，基于逐帧以固定频率(与视频源的帧速率无关)提取次指纹。某些实施例中的这些次指纹由沿时间和空间轴的能量差别而获得。调查说明这样的次指纹序列包含唯一地识别视频序列的足够信息。

在某些实施例中，搜索模块基于例如WO 02/065782中所述的匹配方法使用用于“匹配”视频指纹的搜索策略。该搜索策略不使用穷举搜索方法，因为由于数据库中庞大数量的指纹而不能实时产生结果。而且，指纹的精确比特备份可以作为输入而提供给搜索模块，因为输入视频查询已经经历一些图像或视频转换(有意或无意地)。因此，所述搜索模块使用指纹中的比特长度(在指纹提取过程中计算出的)来估计它们各自的可靠性并相应地展开它们以获得合适(并非精确)的匹配。

已经设计、调查并测试了具有较好性能的算法。实现本发明的视频指纹识别系统已经被测试并且发现在某些情况下只需要5秒视频即能高度可靠地正确识别剪辑。在某些示例中对应于5000小时视频的指纹所需的存储量大约为4GB。已经发现某些系统中的搜索模块可高度扩展并应用于Windows、Linux以及其它类似UNIX的平台。通过使用MMX指导以开发在它们使用的算法中的内在并行性，实现本发明的某些视频指纹识别系统的性能被优化。

通过只从每个帧的中央部分获得视频指纹的某些实施例提供的优势在于产生对于各种变化更加鲁棒的指纹。

类似地，通过从被划分为非矩形块的帧来获得视频指纹的某些实施例所提供的优势在于产生对于各种变化更加鲁棒的指纹。

而且，通过从被划分为不同尺寸的块的帧来获得视频指纹的某些实施例所提供的优势在于产生对于各种变化更加鲁棒的指纹。

总之，本发明提供用于产生视频信号(2)的更加鲁棒的指纹(1)的新颖技术。本发明的某些实施例只是从每个帧(20)的中央部分(22)中的块(21)获取视频指纹，而忽略剩余的外部部分(23)，产生的指纹(1)相对于包括剪切或移动的转换更加鲁棒。其它实施例将每个帧(或其中央部分)划分为非矩形块，例如派形或环形块，并从这些块产生指纹。可以选择块的形状以提供针对特殊转换的鲁棒性。例如派分块提供了针对缩放的鲁棒性，环形块提供了针对旋转的鲁棒性。其它实施例使用不同尺寸的块，因此可以给帧的不同部分不同的指纹加权。

可以理解的是，贯穿本说明书以及权利要求，词语“包含”和“包括”应当被解释为不排除其它元件或步骤。而且，可以理解的是，“一”或“一个”不排除多个。并且单个处理器或其它单元能够实现在说明书或权利要求中提出的一些单元、功能块或阶段的功能。还可以理解的是权利要求中的附图标记不构成对权利要求范围的限制。

Claims

1.一种产生指示包括数据帧序列(20)的视频信号(2)的内容的指纹(1)的方法，所述方法包括步骤：

只将每个帧的中央部分(22)划分为多个块(21)，并放弃每个帧的未被划分为块的剩余部分(23)，所述剩余部分在中央部分之外；

提取每个块中数据的特征；以及

从所提取的特征计算指纹(1)。

2.根据权利要求1的方法，其中所述剩余部分围绕所述中央部分。

3.根据权利要求1的方法，其中所述中央部分围绕帧的中心部分(29)，并且所述方法进一步包括放弃未被划分为块的中心部分的步骤。

4.根据权利要求1的方法，其中所述多个块(21)包括具有多个不同尺寸的块。

5.根据权利要求1的方法，其中所述多个块(21)包括具有多个不同尺寸的多个矩形块。

6.根据权利要求5的方法，其中所述矩形块的尺寸在至少一个从帧的中心向外移动的方向上增加。

7.根据权利要求1的方法，所述多个块(21)包括多个非矩形块。

8.根据权利要求7的方法，其中所述多个非矩形块包括多个普通扇形块，每个所述普通扇形块被每对来自帧中心的半径(210)围成。

9.根据权利要求7的方法，所述多个非矩形块包括多个普通同心环块。

10.一种产生指示包括数据帧序列(20)的视频信号(2)的内容的指纹(1)的方法，所述方法包括步骤：

将每个帧划分为具有多个不同尺寸的多个块(21)；

提取每个块中数据的特征；以及

从所述提取的特征计算指纹(1)。

11.根据权利要求10的方法，其中所述多个块(21)包括多个矩形块。

12.根据权利要求11的方法，其中所述矩形块的尺寸在至少一个从帧的中心向外移动的方向上增加。

13.一种产生指示包括数据帧序列(20)的视频信号(2)的内容的指纹(1)的方法，所述方法包括步骤：

将每个帧划分为多个非矩形块；

提取每个块中数据的特征；以及

从所述提取的特征计算指纹(1)。

14.根据权利要求13的方法，其中所述多个非矩形块包括多个普通扇形块，每个所述普通扇形块被每对来自帧中心的半径(210)围成。

15.根据权利要求13的方法，所述多个非矩形块包括多个普通同心环块。

16.根据权利要求13的方法，进一步包括放弃未被划分为块的每个帧的中心部分(29)的步骤。

17.一种产生指示包括数据帧序列(20)的视频信号(2)的内容的指纹(1)的方法，每个数据帧包括多个块(21)，并且每个块对应于视频图像的各个区域，所述方法包括步骤：

为每个帧只选择所述多个块的子集，所选择的子集对应于视频图像的中央部分(22)；

提取所选择子集的每个块中数据的特征；以及

从所述提取的特征计算指纹(1)。

18.根据权利要求17的方法，其中所述中央部分(22)由外部部分(23)围绕。

20.根据权利要求17的方法，其中所述中央部分围绕视频图像的中心部分(29)，并且所选择的子集不包含对应于所述中心部分的块。

21.信号处理装置，被配置为接收包括数据帧序列的视频信号并使用根据权利要求1的方法产生指示视频信号的内容的指纹。

22.计算机程序，使得能够执行根据权利要求1的方法。

23.记录载体，其上存储有根据权利要求22的计算机程序。

24.根据权利要求1的指纹产生方法在从以下列举中选出的信号处理应用中的使用：广播监视方法；信号过滤方法；自动索引方法；选择记录方法；篡改检测方法；以及传输误差检测方法。