CN101442641B - 一种基于内容的视频拷贝监测的方法及系统 - Google Patents

Abstract

本发明公开了一种基于内容的视频拷贝监测方法及系统，为了解决现有技术对于相同拷贝的查询匹配能力较弱的问题，该方法包括：抽取待监测视频中的关键帧，获取抽取的关键帧的特征向量，所述关键帧为代表一组图像帧的一个图像帧；在视频指纹库敏感视频的关键帧特征向量中，查找到与获取的特征向量之间的距离小于预设定阈值的特征向量；确定在视频指纹库的敏感视频中有和待监测视频内容相同的拷贝内容，由于在指纹库的特征向量中，查找与待监测视频中抽取的特征向量属于同一拷贝的特征向量，进而可以确定待监测视频关键帧代表的多个图像帧属于视频指纹库敏感视频，提高了相同拷贝的查询匹配能力。

Description

一种基于内容的视频拷贝监测的方法及系统 

技术领域

本发明属于多媒体领域，特别涉及一种基于内容的视频拷贝监测的方法及系统。 

背景技术

基于内容的视频拷贝监测(CBCD：Content-based Copy Detection)是近年来发展起来的一项重要技术，它被广泛地应用于基于内容的盗版监测、广告监测等领域。CBCD方法包括两个步骤： 

(1)根据计算得到的敏感视频的各关键帧的特征向量，生成敏感视频的指纹，建立视频指纹库； 

(2)获取待监测视频，根据计算得到的待监测视频关键帧的特征向量，生成待监测视频的指纹，在视频指纹库中进行查询匹配，以判断是否有和待监测视频内容相同的拷贝； 

CBCD的核心技术包括视频指纹的生成和指纹的匹配查询。这里视频指纹指根据视频内容生成的用于唯一标识该视频的特征数据，是包括多个关键帧的特征向量的一个向量序列。关键帧为代表一段视频多个图像帧的一个图像帧，如代表一个镜头(一个视频由多个镜头组成，一个镜头是同一个摄像机连续拍摄下的一组图像帧)中所有图像帧的一个图像帧，特征向量可以由一个特征点的描述数据组成，也可以由一阵图像中各个分块的统计特征组成，关键帧的特征向量是指，由一个关键帧抽取出的一个表示其特征的高维向量。简单来说，向量就是若干数字。我们日常生活中用到的向量一般都是二位或者三维，即二位空间中的点p＝(x，y)或者三维空间中的点p＝(x，y，z)。图像处理中一个图像的特 征向量则可能有几千维。一般认为低于20维的是低维，高于这个维度被认为是高维。 

在现有的CBCD系统实现中遇到的问题是：一个待监测视频是一个指纹库中敏感视频的完整拷贝，实际情况往往是一个待监测视频由多个视频片段剪辑而成，而指纹库中的敏感视频也可能是由多个视频片段剪辑而成，如图1所示。所以可能一个待监测视频的某个视频片段是指纹库中的视频1片段的拷贝，但待监测视频的另外一段是指纹库中另外一个敏感视频2的片段的拷贝，现有技术仅能判断一个待监测视频是否为指纹库中一个敏感视频的完整拷贝，无法确定，待监测视频的一个片段中的内容(多个图像帧)是否为视频指纹库中的敏感视频的拷贝内容，可见现有技术对于相同拷贝的查询匹配能力较弱。 

发明内容

为了解决现有技术对于相同拷贝的查询匹配能力较弱的问题，本发明实施例提供了一种基于内容的视频拷贝监测方法，包括： 

抽取待监测视频中代表多个图像帧的关键帧，获取抽取的关键帧的特征向量； 

在视频指纹库敏感视频的关键帧特征向量中，若查找到与获取的特征向量属于同一拷贝的特征向量； 

则确定待监测视频关键帧代表的多个图像帧属于视频指纹库敏感视频。 

同时本发明实施例还提供一种基于内容的视频拷贝监测的系统，包括： 

获取模块：用于抽取待监测视频中的关键帧，获取抽取的关键帧的特征向量，所述关键帧为代表一组图像帧的一个图像帧； 

匹配模块：用于在视频指纹库敏感视频的关键帧特征向量中，查找到与获取的特征向量之间的距离小于预设定阈值的特征向量； 

确定模块：用于确定在视频指纹库的敏感视频中有和待监测视频内容相同的拷贝内容。 

由上述本发明提供的具体实施方案可以看出，正是由于在指纹库的特征向量中，查找与待监测视频中抽取的特征向量属于同一拷贝的特征向量，进而可以确定待监测视频关键帧代表的多个图像帧属于视频指纹库敏感视，提高了相同拷贝的查询匹配能力。 

附图说明

图1为现有技术中待监测视频由多个视频片段剪辑示意图； 

图2为本发明提供的第一实施例方法流程图； 

图3为本发明提供的第二实施例系统结构图。 

具体实施方式

为了确定待监测视频的一个片段中的内容(多个图像帧)是否属于视频指纹库中的敏感视频，本发明实施例公开的方案的基本思想是：从待监测视频中抽取代表一组图像帧中多个图像帧的关键帧，获取该关键帧的特征向量，通过用户上传的敏感视频计算各关键帧对应的特征向量，组织敏感视频的视频指纹库，在视频指纹库敏感视频的关键帧特征向量中，查找与获取的特征向量属于同一拷贝的特征向量，确定在视频指纹库敏感视频中有和待监测视频内容(关键帧代表的一组图像帧)相同的拷贝。相对于传统的视频拷贝监测方法，该方法可以确定待监测视频关键帧代表的多个图像帧组成的视频片段属于视频指纹库敏感视频。 

本发明提供的第一实施例是一种基于内容的视频拷贝监测方法，方法流程如图2所示，包括： 

步骤102：抽取待监测视频中代表一个镜头C1的所有图像帧的关键帧A，获取关键帧A的特征向量 

 步骤104：在视频指纹库(具体是视频指纹库中的视频指纹特征向量索引库)敏感视频的关键帧特征向量 

中，查找到 

和 

之间的距离 $D(\stackrel{\&RightArrow;}{v}1,\stackrel{\&RightArrow;}{v}q)<R,$

和

属于同一拷贝。其中n为正整数，R为预设定阈值。 

步骤106：确定在视频指纹库中存储的敏感视频中，有和待监测视频镜头C1内容相同的拷贝内容。 

至此，可以确定待监测视频的镜头C1为视频指纹库中的敏感视频的拷贝，提高了相同拷贝的查询匹配能力。 

进一步，为了提供与镜头C1相接近的镜头C’所属敏感视频C’的详细描述信息，及镜头C’在敏感视频C’中的起止时间，本实施例通过下面的步骤进行说明。 

步骤108：根据

和视频指纹特征向量索引库中的表1，确定

对应的指针0001。 

表1 

步骤110：根据对应的指针0001和指纹特征向量倒排索引库中的表2，确定

对应的镜头C1’的描述信息。该描述信息包括：镜头C1’所属视频C’在视频信息库中的编号1000以及镜头C1’在视频C’中的起止时间。 

  

指针	在视频信息库中的编号	起止时间
			0001	1000	20-100秒
0002	1001、1010(指针0002对应两个编号)	50-80秒、0-30秒
			…	…
00aa	1000(与指针0001对应编号相同)	101-13秒

表2 

步骤112：根据视频C’在视频信息库中的编号1000和视频信息库中的表3， 确定视频C’的详细描述信息。该详细描述信息为：名称test、长度1小时、分辨率1024*768、码率500KBPS、格式RMVB、来源用户甲和发生拷贝匹配时的操作码1A2B，中的一个或多个。 

  

在视频信息库中的编号	详细描述信息
		1000	名称test、长度1小时、分辨率1024*768、码率500KBPS、格式RMVB、来源用户      甲和发生拷贝匹配时的操作码1A2B
1001
1010

表3 

作为优选方案，步骤102中关键帧A代表一个镜头C1的所有图像帧，也可以是关键帧A代表图像帧，不以每个镜头中的图像帧为集合，也可以是关键帧A代表镜头C1和镜头C2两个镜头中的所有图像帧，或者，镜头C1中的图像帧前半部分的关键帧为关键帧A，后半部分分的关键帧为关键帧B。或者连续的图像帧的特征向量的差值在一定范围内的图像帧，由一个关键帧代表。 

步骤104中视频指纹特征向量索引库由用户上传的敏感视频的关键帧特征向量按照空间分割、数据分割或者哈希方式组织。 

具体采用什么组织方法跟向量维度相关。之所以要给指纹的特征向量建索引库是为了快速查找，比如从1亿个特征向量中找出和手头待监测的特征向量最接近的特征向量，需要进行分类以加快搜索速度。空间分割、数据分割就是分类的方法，即先找到与待监测的向量接近的分类，然后在这个分类中进行一一比对，这样其他类的向量就不用做比对了。但分类的方法只适用于小于20维的向量，对于更高的维度，则需要使用PCA(Principal Components Analysis，主成分分析)、Hilbert Curve(希尔伯特曲线)等方法降维，或者使用VA-File(向量近似文件)、LSH(Locality Sensitive Hashing，位置敏感哈希)等近似搜索算法。 

步骤104中预设定阈值的R可以根据下面的步骤得到，在将敏感视频的关键帧特征向量加入视频指纹库时，对敏感视频的关键帧进行变换，然后计算变换后的特征向量，以变换前关键帧的特征向量和关键帧变换后的特征向量两两之间距离的最大值作为预设定阈值R。因为预设定阈值R是指各特征向量两两之间距离的最大值，因此如有一个特征向量和此处的敏感视频的关键帧进行变换是指缩放、模糊、旋转、增减字幕和增减台标变换中的部分或全部变换。 

本发明提供的第二实施例是一种基于内容的视频拷贝监测系统，其结构如图3所示，包括： 

获取模块202：用于抽取待监测视频中的关键帧，获取抽取的关键帧的特征向量，所述关键帧为代表一组图像帧的一个图像帧； 

匹配模块204：用于在视频指纹库敏感视频的关键帧特征向量中，查找到与获取的特征向量之间的距离小于预设定阈值的特征向量； 

确定模块206：用于确定在视频指纹库的敏感视频中有和待监测视频内容相同的拷贝内容。 

进一步，该系统还包括： 

变换模块208：用于对待加入视频指纹库的敏感视频的关键帧进行变换，然后计算变换后的特征向量，以变换前关键帧的特征向量和关键帧变换后的特征向量两两之间距离的最大值作为预设定阈值。 

进一步，获取模块202：还用于抽取待监测视频中代表一个视频镜头所有图像帧的关键帧，获取抽取的关键帧的特征向量。 

进一步，确定模块206：还用于根据查找到的特征向量，以及敏感视频的关键帧特征向量和敏感视频的关键帧所属视频镜头描述信息的对应关系，确定查找到的特征向量对应的视频镜头描述信息，所述描述信息包括：视频镜头所属的视频的编号和视频镜头在所属视频的起止时间，根据确定的视频镜头所属的视频的编号，确定该视频镜头所属视频的详细描述信息。 

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种基于内容的视频拷贝监测的方法，其特征在于，包括：

对待加入视频指纹库的敏感视频的关键帧进行变换，计算变换后的特征向量；

以变换前关键帧的特征向量和变换后关键帧的特征向量两两之间距离的最大值作为预设定阈值；

抽取待监测视频中的关键帧，获取抽取的关键帧的特征向量；

在视频指纹库敏感视频的关键帧特征向量中，若查找到与获取的特征向量之间的距离小于预设定阈值的特征向量；

则确定在视频指纹库的敏感视频中有和待监测视频内容相同的拷贝内容。

2.如权利要求1所述的方法，其特征在于，所述对敏感视频的关键帧进行变换包括：

对敏感视频的关键帧进行缩放、模糊、旋转、增减字幕和增减台标变换中的部分或全部变换。

3.如权利要求1所述的方法，其特征在于，抽取待监测视频中代表多个图像帧的关键帧，获取抽取的关键帧的特征向量具体为：

抽取待监测视频中代表一个视频镜头所有图像帧的关键帧，获取抽取的关键帧的特征向量。

4.如权利要求3所述的方法，其特征在于，根据查找到的特征向量，以及敏感视频的关键帧特征向量和敏感视频的关键帧所属视频镜头描述信息的对应关系，确定查找到的特征向量对应的视频镜头描述信息，所述描述信息包括：视频镜头所属的视频的编号和视频镜头在所属视频的起止时间；

根据确定的视频镜头所属的视频的编号，确定该视频镜头所属视频的详细描述信息。

5.如权利要求4所述的方法，其特征在于，所述视频的详细描述信息： 包括：编号、名称、长度、分辨率、码率、格式和来源任意之一或组合。

6.一种基于内容的视频拷贝监测的系统，其特征在于，包括：

变换模块：用于对待加入视频指纹库的敏感视频的关键帧进行变换，然后计算变换后的特征向量，以变换前关键帧的特征向量和关键帧变换后的特征向量两两之间距离的最大值作为预设定阈值；

获取模块：用于抽取待监测视频中的关键帧，获取抽取的关键帧的特征向量，所述关键帧为代表一组图像帧的一个图像帧；

匹配模块：用于在视频指纹库敏感视频的关键帧特征向量中，查找到与获取的特征向量之间的距离小于预设定阈值的特征向量；

确定模块：用于确定在视频指纹库的敏感视频中有和待监测视频内容相同的拷贝内容。

7.如权利要求6所述的系统，其特征在于，获取模块：还用于抽取待监测视频中代表一个视频镜头所有图像帧的关键帧，获取抽取的关键帧的特征向量。

8.如权利要求7所述的系统，其特征在于，确定模块：还用于根据查找到的特征向量，以及敏感视频的关键帧特征向量和敏感视频的关键帧所属视频镜头描述信息的对应关系，确定查找到的特征向量对应的视频镜头描述信息，所述描述信息包括：视频镜头所属的视频的编号和视频镜头在所属视频的起止时间，根据确定的视频镜头所属的视频的编号，确定该视频镜头所属视频的详细描述信息。 

Images