CN105608233A - 一种基于改进的om特征的视频拷贝检测方法 - Google Patents

Abstract

本发明提供了一种基于改进的OM特征的视频拷贝检测方法。该方法包括以下步骤：对源视频数据集提取改进的OM特征并建立索引；对查询视频提取改进的OM特征，基于前述的索引计算和查询视频相似度最大的源视频，当相似度值大于一定值后，选择该源视频为候选源视频；计算候选源视频与查询视频之间的序列匹配关键帧数，通过阈值判断查询视频是否为该候选源视频的拷贝，并定位到拷贝片段在源视频中的位置。本发明充分考虑了视频帧图像的空间特征和视频帧之间的亮度变化，使得两者之间互相促进从而更加准确地描述视频内容，因此能够取得更高的视频拷贝检测的准确率。

Description

一种基于改进的OM特征的视频拷贝检测方法

技术领域

本发明涉及视频检索领域，具体涉及一种基于改进的OM特征的视频拷贝检测方法。

背景技术

近年来，随着互联网和数字媒体技术的发展，互联网视频数据呈爆炸性增长的趋势，视频的版权保护就成为了一个亟需解决的问题。视频版权保护的方法主要分为两种：数字水印和基于内容的拷贝检测。数字水印方法在需要保护的视频中加入不影响视觉内容的特殊数据，通过追踪隐藏的数字水印数据来达到版权保护的目的，但是这种方法需要对待保护视频做额外处理，并且易被他人通过重编码等方式删除水印以绕过检测。基于内容的视频拷贝检测则不依赖于视频中的特殊数据，通过直接对比保护视频和目标视频的视觉内容，检测目标视频是否是保护视频或保护视频的某个片段的拷贝。这种方法相对水印有更好的鲁棒性，是版权保护的主要研究方向。除了用于版权保护之外，视频拷贝检测还可以用于视频内容监管、视频去重等应用。

现有的视频拷贝检测方法的流程是：(1)在全部的源视频中以帧或视频为单位提取某种特征，若视频数据规模较大，则可以进行索引以提高效率；(2)在查询视频中提取同样的特征并在数据集中进行查找，最后通过视频序列匹配来决定查询视频是否为某个源视频或其片段的拷贝。其中提取的特征按照描述的对象大致可以分成两类：局部特征和全局特征。局部特征描述图片中起关键作用的点，每个点对应一个特征向量，因此一帧可以有多于一个的特征向量。全局特征则是描述视频中的一帧或者一个片段的特征。Hampapur等人在论文“ComparisonofSequenceMatchingTechniquesforVideoCopyDetection”中提出了一种基于OM(OrdinalMeasures)特征的视频拷贝检测方法，OM特征将视频的一帧分为若干块，求出每一块的亮度平均值后排序，以这些块之间的顺序作为视频帧的特征。相比于局部特征，全局特征计算速度较快、效率更高，但准确程度却不如局部特征。快速、高效并且准确地检测大规模视频数据是视频拷贝检测中亟待解决的问题。

发明内容

针对现有方法的不足，本发明提出了一种基于改进的OM特征的视频拷贝检测方法，能够结合视频帧图像的空间特征和视频帧之间的亮度变化，两者之间互相促进从而更准确地描述视频内容，更有效地计算视频的内容相似性以取得更高的视频拷贝检测的准确率。

为达到以上目的，本发明采用的技术方案如下：

一种基于改进的OM特征的视频拷贝检测方法，用于检测查询视频是否为源视频的拷贝，具体包含以下步骤：

(1)对视频库提取改进的OM特征并建立索引；所述改进的OM特征由视频的图像特征和时序特征融合得到；

(2)对查询视频提取改进的OM特征，然后基于步骤(1)建立的索引，计算得到与查询视频相似度最大的源视频，若相似度值大于一定阈值，则将该源视频作为候选源视频；

(3)基于步骤(2)得到的候选源视频，计算其与查询视频之间的序列匹配关键帧数，通过阈值判断查询视频是否为该候选源视频的拷贝，并定位到拷贝片段在源视频中的位置。

进一步，所述步骤(1)中视频的图像特征为OM特征，OM特征首先将图像进行分块，然后对每个分块计算所有像素点的亮度平均值，最后对亮度平均值进行排序获得图像的不同分块之间的亮度顺序。时序特征描述相邻视频帧图像之间的亮度变化情况，首先计算两个相邻的视频帧图像中每个分块所有像素点的亮度平均值，然后计算前后视频帧图像对应分块的亮度变化情况，最后将各分块亮度变化方向作为该相邻帧的时序特征。

进一步，所述步骤(1)中的索引为LSH(LocalitySensitiveHashing)索引，能够以次线性查找的时间代价在大量同维度的特征向量中找到给定向量的最近邻，在大规模视频拷贝检测时效率较高。

进一步，所述步骤(2)中查询视频和源视频的相似度计算方法为：首先基于所述步骤(1)中的索引计算查询视频和源视频的匹配关键帧对，然后将所有匹配关键帧对的相似度和作为查询视频和源视频的相似度，最后选择和查询视频相似度最大的源视频为候选源视频。

进一步，所述步骤(3)对所述步骤(2)中得到的所有匹配关键帧对按照时序关系计算序列匹配关键帧数，当匹配关键帧数大于一定阈值后，认为查询视频为候选源视频的拷贝，并通过关键帧匹配定位到视频拷贝片段的起始位置。

本发明的有益效果在于：(1)本发明同时考虑了视频帧图像的空间特征和视频帧之间的亮度变化，能够更加准确地描述视频内容，取得更高的视频拷贝检测准确率。(2)本发明能够快速地对视频进行检测，支持大规模数据的视频拷贝检测。

本发明之所以具有上述发明效果，其原因在于：一方面，本发明在考虑视频帧图像的空间特征的基础上引入帧间的亮度变化，将两者融合更加准确地表达视频内容信息，提高检测的准确率；另一方面，本发明对特征数据建立索引，提高了检测速度，能够支持在大规模视频数据上的拷贝检测。

附图说明

图1是本发明的一种基于改进的OM特征的视频拷贝检测方法的流程示意图。

图2是改进的OM特征计算示例示意图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步详细的描述。

本发明的一种基于改进的OM特征的视频拷贝检测方法，其流程如图1所示，具体包含以下步骤：

(1)源视频提取改进的OM特征并建立索引。

本实施例首先采用每秒钟抽取1帧的方式对视频抽帧，然后采用本发明的改进的OM特征描述每个视频帧，最后对改进OM特征建立索引。下面详细介绍改进的OM特征的计算方法。

本发明中改进的OM特征描述了视频帧图像的空间特征和视频帧之间的亮度变化，具体由视频帧图像的各个分块的特征构成，其计算方法如公式一所示：

公式一： $OMIV(V\[i\])=\{OMIV{(V\[i\])}_1,OMIV{(V\[i\])}_2,\mathrm{...},OMIV{(V\[i\])}_{2M^2}\}$

其中，OMIV(OrdinalMeasurementwithInter-frameVariance)即本实施例所要提取的改进的OM特征，V为目标视频，V[i]为该视频的第i帧图像。视频帧图像共分M²个块，其特征共2M²维，其中前M²维描述该视频帧图像各个分块的亮度顺序，即该视频帧图像的空间特征，后M²维描述该视频帧图像与前一帧图像之间的亮度变化关系。

描述视频帧图像空间特征的前M²维OMIV特征和OM特征相同，详细计算方法如公式二所示：

公式二：OMIV(V[i])_k＝count({j|V^j[i]≤V^k[i]}),1≤k≤M²

其中V^j[i]表示V[i]的第j分块的亮度平均值，即该分块中所有像素点的亮度值的平均值，其中一个像素点的亮度指其颜色的RGB三个通道值的平均值。count(S)是集合S的元素数量，即以所有亮度平均值小于或等于第k个分块的亮度平均值的分块数量作为该视频帧图像特征的第k维。

描述视频帧之间亮度变化的后M²维OMIV特征计算方法如公式三所示：

公式三： $OMIV{(V\&lsqb;i\&rsqb;)}_{M^2+k}=\left\{\begin{array}{c}K,if(V^k\&lsqb;i\&rsqb;>V^k\&lsqb;i-1\&rsqb;)\\ -K,if(V^k\&lsqb;i\&rsqb;<V^k\&lsqb;i-1\&rsqb;),1\&le;k\&le;M^2\\ 0,if(V^k\&lsqb;i\&rsqb;=V^k\&lsqb;i-1\&rsqb;)\end{array}\right.$

后M²维OMIV特征计算方法为：如果V[i]的某个分块比V[i-1]中对应的分块亮度增加，则OMIV特征的对应位置的取值为K；如果降低，则取值为-K；如果不变，则取值为0。为保证OMIV两部分特征的平衡性，对于两张图片参数K需满足前M²维的L1距离最大值D₁等于后M²维的L1距离最大值D₂。D₁在M²个分块的亮度平均值排列顺序完全相反时得到，D₂在后M²维的特征每一个对应分量都互为相反数时得到，D₁和D₂的计算公式如公式四和公式五所示，令D₁＝D₂可得K≈M²/4。

公式四： $D_1=\left\{\begin{array}{c}\begin{array}{c}2\left(\right(M^2-1)+(M^2-3)+...+3+1),K\%2=1\\ 2\left(\right(M^2-1)+(M^2-3)+...+4+2),K\%2=0\end{array}\end{array}\right.$

公式五：D₂＝M²·(K-(-K))

计算OMIV特征的示例如图2所示。该视频帧图像共分为4×4个图像块，即上述M的取值为4，以左上角的第一个块作为示例，其亮度平均值为21，在进行统计排序后所有M²个块中共有8个块的亮度平均值小于或等于21，故此前M²维中该块对应维度的特征值为8；后M²维的计算需要前一帧的特征，该块对应的前一帧的亮度平均值为8，即没有发生变化，故此后M²维中该块对应维度的特征值为0。

在提取描述视频内容的OMIV特征之后，对特征数据建立索引。本实施例采用多探测的LSH索引，在保障找到最近邻提高准确率的同时，能够有效提升查询速度。

(2)对查询视频提取改进的OM特征后，基于步骤(1)中的索引，计算得到与查询视频相似度最大的源视频，若相似度值大于一定阈值，则将该源视频作为候选源视频。

本实施例中，首先对查询视频提取OMIV特征，然后基于步骤(1)中的索引，计算和查询视频的帧图像距离最近的源视频的帧图像，组成候选的匹配关键帧对(Q[i],S_n[f_i])，具体表示查询视频的第i个关键帧的特征向量Q[i]的最近邻是第n个源视频的第f_i个关键帧的特征向量S_n[f_i]，最后选择距离小于t的候选对为匹配关键帧对。

查询视频和源视频的相似度由匹配关键帧对的相似度决定。计算方法如公式六所示：

公式六：sim(Q,S_n)＝sum({(t-d)|(Q[i],S_n[f_i])∈P,d＝dis(Q[i],S_n[f_i]),d≤t})

其中，sim表示相似度函数，sum表示和函数，P为查询视频Q通过索引计算的所有匹配关键帧对的集合，dis为计算匹配关键帧对距离的函数，本实施例中采用L1距离。对查询视频和所有源视频的相似度排序，取与查询视频相似度最大的源视频，若相似度大于一定阈值，则将该源视频作为候选源视频。

(3)基于步骤(2)中的候选源视频，计算其与查询视频之间的序列匹配关键帧数，通过阈值判断查询视频是否为该候选源视频的拷贝，并定位到拷贝片段在源视频中的位置。

首先从查询视频的所有匹配关键帧对中选择属于候选源视频的匹配对，然后根据这些匹配对计算查询视频和候选源视频的序列匹配关键帧的长度，以确定查询视频是否为该候选源视频的拷贝。序列匹配关键帧的计算步骤如下：

(a)建立空字典dict；

(b)对属于候选源视频的匹配关键帧对(Q[i],S_n[f_i])，dict中以(f_i-i)为key的条目的value值增加1，若不存在该条目，则创建该条目并将value值赋为1；

(c)遍历所有属于候选视频的匹配关键帧对，重复步骤(b)；

(d)在dict中找到value值最大的条目，该条目key值为f。若该条目的value值大于属于候选源视频的匹配关键帧对数量的一定比例，则认为查询视频为候选源视频的拷贝，且拷贝起始位置为源视频的第f个关键帧，拷贝长度为查询视频的时间长度，否则查询视频不是拷贝视频。

下面的实验结果表明，与现有其他特征相比，本发明提出的一种基于改进的OM特征的视频拷贝检测方法可以取得更高的视频拷贝检测的准确率。

本实施例使用构造的视频拷贝检测数据集验证本发明的有效性。视频拷贝检测数据集分为源视频和查询视频两部分，其中源视频包含338个长度约为30分钟的视频，查询视频包含200个长度约为30秒钟的视频。查询视频包含150个源视频的拷贝变换视频和50个干扰视频，拷贝变换视频中视频质量变化、视频比例变化、视频内容变化、视频裁剪拉伸变化和视频综合变化等5种变换视频各占20％。

为了证明本发明能够取得更高的视频拷贝检测的准确率，本实施例设计了如下实验：

方法一：基于OM特征作为视频描述信息的视频拷贝检测方法。OM特征最初由Hampapur等人在论文“ComparisonofSequenceMatchingTechniquesforVideoCopyDetection”中用于视频拷贝检测。

方法二：基于CMG特征作为视频描述信息的视频拷贝检测方法。CMG特征是一种描述图像的颜色分布的特征，常用于基于内容的图像检索问题。

本发明：本实施例的方法。

实验采用的评价指标如公式七所示：

公式七：

其中M为拷贝变换视频的数量，N为干扰视频的数量。Nj表示对干扰视频的判断是否正确，正确为1，错误为0；Y_i表示对拷贝变换视频的判断是否正确，正确为1，错误为0；ID_i表示对拷贝变换视频的源视频选择是否正确，正确为1，错误为0。最终检测准确度S的取值范围为[0,1]中的浮点数，1为最高值，0为最低值。

表1：与其他方法的对比实验结果

	分析时间(分钟)	查询时间(分钟)	总时间(分钟)	S
					方法一	80	77	157	0.714
方法二	111	255	366	0.805
					本发明	79	78	157	0.935

从表1中可以看出，本发明取得了最好的视频拷贝检测结果，对比方法一和方法二，这两种方法采用传统的视频空间特征，不能充分挖掘视频帧之间的变化，本发明在视频空间特征的基础上充分考虑了视频帧间的亮度变化，因此取得了更好的效果。另一方面，对比其他两种方法，虽然本发明额外考虑了视频帧间的亮度变化，但是并没有造成额外的时间开销，检测速度和方法一基本相同，明显快于方法二。本发明在快速检测的同时，提高了视频拷贝检测的准确率。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (5)

1.一种基于改进的OM特征的视频拷贝检测方法，包括以下步骤:

(1)对源视频数据集中的每个视频提取改进的OM特征，并建立索引；所述改进的OM特征由视频的图像特征和时序特征融合得到；

(2)对查询视频提取改进的OM特征，然后基于步骤(1)建立的索引计算与查询视频相似度最大的源视频，将相似度值大于一定阈值的源视频作为候选源视频；

(3)基于步骤(2)得到的候选源视频，计算其与查询视频之间的序列匹配关键帧数，通过阈值判断查询视频是否为该候选源视频的拷贝，并定位到拷贝片段在源视频中的位置。

2.如权利要求1所述的方法，其特征在于，所述步骤(1)中视频的图像特征为OM特征，OM特征首先将图像进行分块，然后对每个分块计算所有像素点的亮度平均值，最后对亮度平均值进行排序得到各分块之间的亮度顺序；时序特征描述相邻视频帧图像之间的亮度变化情况，其计算方法为：

$OMIV{(V\&lsqb;i\&rsqb;)}_{M^2+k}=\left\{\begin{array}{c}K,if(V^k\&lsqb;i\&rsqb;>V^k\&lsqb;i-1\&rsqb;)\\ -K,if(V^k\&lsqb;i\&rsqb;<V^k\&lsqb;i-1\&rsqb;)\\ 0,if(V^k\&lsqb;i\&rsqb;=V^k\&lsqb;i-1\&rsqb;)\end{array}\right.,1\&le;k\&le;M^2,$

其中V为目标视频，V[i]为该视频的第i帧，V^k[i]表示V[i]的第k分块的平均亮度，M²为视频帧图像的分块个数，K＝M²/4。

3.如权利要求1所述的方法，其特征在于，所述步骤(1)中的索引为LSH索引，允许以次线性的时间代价在大规模特征向量中找到给定查询的最近邻，在大规模视频拷贝检测时效率较高。

4.如权利要求1所述的方法，其特征在于，所述步骤(2)中查询视频和源视频的相似度计算方法为：首先基于所述步骤(1)中的索引计算查询视频和源视频的匹配关键帧对，然后将所有匹配关键帧对的相似度和作为查询视频和源视频的相似度，最后选择和查询视频相似度最大的源视频为候选源视频。

5.如权利要求4所述的方法，其特征在于，所述步骤(3)对所述步骤(2)得到的所有匹配关键帧对按照时序关系计算序列匹配关键帧数，当匹配关键帧数大于一定阈值后，认为查询视频为候选源视频的拷贝，并定位到拷贝片段在源视频中的位置。