CN103631932A - 一种对重复视频进行检测的方法 - Google Patents

Abstract

本发明公开了一种对重复视频进行检测的方法，该方法包括以下步骤：对数据库中的所有视频进行帧采样，提取每个视频的关键帧，以获取相应视频的关键信息；对提取得到的视频关键帧的局部特征和全局特征分别进行分析得到局部分析特征和全局分析特征；对局部分析特征和全局分析特征进行融合，得到一个对于视频变换鲁棒的索引特征，用于进行视频重复性检测；利用索引特征对于待检测视频进行重复视频的检测。利用本发明，可以快速高效的检测出重复视频。

Description

一种对重复视频进行检测的方法

技术领域

本发明涉及计算机应用技术领域，特别是一种对重复视频进行检测的方法。

背景技术

随着科技的发展，科技产品越来越多的走进人们的工作和生活。计算机、摄像头、手持DV、数码摄录像机、手机等设备的普及，使得数字视频成为工作生活中不可或缺的一部分。数字视频成为信息传播的新生主流，它包含了比文字、图像、音频更多的信息，并且资源种类繁多，包含用户自制内容（UGC），授权影视剧、监控视频等。同时，网络技术的发展使得数字视频得以广泛传播，人们通过网络进行视频上传、视频下载、视频编辑和视频观看等操作。数字视频的爆炸性增长，一方面给人们带来了工作生活的便利，人们可以快速检索到各类视频信息；但另一方面，重复视频造成的冗余不止浪费了大量的网络资源，还给检索带来困难，并且会涉及到版权信息的侵犯等各方面的问题。因此，视频数据库中的重复检测问题显得尤为重要，然而重复检测问题的核心是视频表示。

视频表示的本质是找到一个合适的特征映射函数，将视频映射到一个对视频变换鲁棒又具有判别力的特征空间上。在提取视频关键帧后，视频表示的问题就转化成图像表示的问题。在图像表达研究领域，主要包含两种类型的特征映射函数，分别是基于全局特征的特征映射函数和基于局部特征的特征映射函数。基于全局特征的特征映射函数主要是获取图像的一些底层信息，这些信息主要包括颜色、纹理、梯度等。该函数的主要优点是操作方便，计算复杂度低，主要缺点是缺乏图像的高层信息，对视频变换不具有良好的鲁棒性。相比之下，基于局部特征的特征映射函数主要是获取图像中角点的精确信息，可以较为准确的表示图像，对视频变换具有良好的鲁棒性，但是，其主要缺点是计算复杂度高，对于视频来讲计算量的增长直接影响了模型的可行性。

综合以上两种映射函数的优缺点以及视频数据库重复性检测问题本身的特性，本发明采用融合局部和全局特征映射函数来提取图像信息，其主要原因如下：（1）视频数据库包含了多达十多种视频变换，且其中多数视频变换严重的改变了视频的亮度等底层的视觉特征，选取局部特征仍然可以检测出经过视频变换了的重复视频。（2）局部特征的缺点是维数高，数据量大，由于视频数据库的规模大，对计算复杂度要求非常严格，如果单纯使用局部特征，不具有可行性，因此需要对局部特征进行聚类和线性编码，这样可以对高维的局部特征进行降维，保留了局部特征中更具有代表意义的部分。（3）对局部特征进行聚类和线性编码的过程，忽略了视频图像中特征点的位置信息，对旋转、对称等变换不具有鲁棒性，因此，添加视频图像的位置信息，可以更全面的匹配视频。基于此，本发明提出了一种融合视频局部和全局特征对重复视频进行检测的方法。

发明内容

为了克服上述现有技术存在的缺陷，本发明提出了一种融合视频局部和全局特征对重复视频进行检测的方法，该方法所使用的视频特征集成了图像局部和全局信息，从而可以作为既鲁棒又简便的图像索引。

视频图像局部特征聚类线性编码分析是在提取视频关键帧图像的对平移、旋转、尺度缩放、亮度变化、遮挡和噪声等具有良好的不变性，对视觉变化、仿射变换也保持一定程度的稳定性的局部特征之后，对其进行聚类线性编码分析，可以得到图像兴趣点的除位置信息以外的其他信息。视频图像全局特征分析是同样提取了局部描述子之后，对图像进行分块，统计每块特征点的数量，排序得到对于视频图像兴趣点位置分布的一个全局特征。

本发明提出的一种对重复视频进行检测的方法包括以下步骤：

步骤S1，对数据库中的所有视频进行帧采样，提取每个视频的关键帧，以获取相应视频的关键信息；

步骤S2，对提取得到的视频关键帧的局部特征和全局特征分别进行分析得到局部分析特征和全局分析特征；

步骤S3，对所述局部分析特征和全局分析特征进行融合，得到一个对于视频变换鲁棒的索引特征，用于进行视频重复性检测；

步骤S4，利用所述索引特征对于待检测视频进行重复视频的检测。

本发明提出的这种图像融合特征较好的表达了图像中的整体结构和细节信息；其作为图像索引，可以有效地检测出视频数据库中重复的视频，从而对冗余信息做到有效的去除，提高了用户检索服务的质量。

附图说明

图1是本发明对重复视频进行检测的方法流程图；

图2是本发明对视频图像全局特征进行分析的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

图1是本发明对重复视频进行检测的方法流程图，如图1所示，所述方法包括以下步骤：

步骤S1，对数据库中的所有视频进行帧采样，提取每个视频的关键帧，以获取相应视频的关键信息，降低计算的复杂度；

所述视频的关键帧，指的是可以代表该视频主要信息的某些帧。关键帧的提取通常采用均匀采样的方法，采样率为每秒两帧。

视频关键帧的提取的功能是缩短视频特征提取的计算时间，关键帧可以代表视频的主要信息，提取关键帧就可以得到视频的主要关键信息，这就减少了视频处理的计算量。

步骤S2，对提取得到的视频关键帧的局部特征和全局特征分别进行分析得到局部分析特征和全局分析特征；

所述步骤S2进一步包括对所述视频关键帧的局部特征进行聚类线性编码分析得到局部分析特征，和对所述视频关键帧的全局特征进行分析得到全局分析特征。

其中，对所述视频关键帧的局部特征进行聚类线性编码分析得到局部分析特征包括以下步骤：

步骤S21，对所述视频关键帧进行SIFT（Scale-invariant FeatureTransform尺度不变特征转换）特征的提取；

图像SIFT特征提取的功能是选取图像精准的局部描述子，SIFT描述子对平移、旋转、尺度缩放、亮度变化、遮挡和噪声等具有良好的不变性，对视觉变化、仿射变换也保持一定程度的稳定性，其独特性好，信息量丰富，描述了图像局部精准特征，可以进行准确的匹配。

步骤S22，对提取得到的所有关键帧的SIFT特征进行聚类，比如使用现有技术中常用的k-means聚类方法进行聚类，得到K个聚类中心，记为聚类中心集D={d_k,k=1,LK}；

由于SIFT描述子具有丰富的信息量，是一个高维描述子，每帧图像均可产生大量的SIFT特征向量，为了减少计算量，需要对描述子进行k-means聚类，得到聚类中心的集合，再把聚类中心作为下面线性编码的基。

步骤S23，以聚类中心集D={d_k,k=1,LK}为基，针对某个待检测视频关键帧Q的所有SIFT特征x_i，i=1,2,3,L，i为关键帧Q的SIFT特征的编号，找到聚类中心集中距离x_i最近的M个中心；

步骤S24，对所述SIFT特征x_i使用聚类中心集D重新进行线性编码，这样，SIFT特征x_i就被重新编码为c^*：

$c^{*}=\underset{c}{\arg \min }{\left|\right|x_i-{\mathrm{Dc}}_i\left|\right|}^2,$

s.t.1^T c_i=1，

其中，c_i为一个K×1的向量，c_i中有M个不为零的数，这M个不为零的系数对应的聚类中心即为距离x_i最近的M个中心，这样就把x_i聚类线性编码为c^*。

步骤S25，针对每个关键帧Q，设其有P个描述子，且每个描述子都被重新编码成为c^*的模式，这样就生成一个K×P维的矩阵，其每一列分别代表每个描述子对应的线性编码。对于该矩阵的每一行，用该行中的最大值来代替此行，即在所有的描述子中找到每个聚类中心系数最大的值来作为此图像对应于每个聚类中心的系数，由此得到的K×1的新向量即为此帧图像的局部约束线性编码，也就得到了视频关键帧局部特征对应的局部分析特征。

图2是本发明对视频图像全局特征进行分析的示意图，如图2所示，对所述视频图像的全局特征进行分析得到全局分析特征包括以下步骤：

步骤S26，针对所述视频关键帧，在提取得到其SIFT特征描述子之后（SIFT特征描述子的分布如图2（a）所示），把每个关键帧图像划分成m×m个小块，统计得到每个小块上描述子的个数，如图2（b）所示；

步骤S27，按照每行每块的顺序，将所述描述子表示成为一个m²×1的向量，其中向量元素为每小块上描述子的个数；

步骤S28，将所述向量元素按照大小降序排序并编号，如图2（c）所示，利用所述编号来代替个数，生成一个新的m²×1序向量O_i，其为1,2,Lm²的一个排列，即得到视频关键帧全局特征对应的全局分析特征。

步骤S3，对所述局部分析特征和全局分析特征进行融合，得到一个对于视频变换鲁棒的索引特征，用于进行视频重复性检测；

所述索引特征不仅具有局部特征的精准性，而且由于在聚类线性编码的过程中降低了特征维数，从而使其具有良好的计算速度；同时在线性编码中遗漏的特征点位置信息在视频图像全局特征分析中加以补充，这样对对所述局部分析特征和全局分析特征进行融合就能够得到一个对视频变换具有良好鲁棒性的新特征，作为视频每幅图像的索引。

其中，对于上述两个特征进行融合的方法为对上述两个特征（K×1维的向量L与m²×1维向量O）进行拼接来生成一个(K+m²)×1的新特征F，其中F^T=[L^T,O^T]。

步骤S4，利用所述索引特征对于待检测视频进行重复视频的检测。

所述步骤S4进一步包括以下步骤：

步骤S41，基于所述索引特征，利用特征向量训练分类器判断两个待检测视频的关键帧是否重复，其中特征向量训练分类器采用的距离为欧式距离；

步骤S42，在初步得到了重复的关键帧之后，统计每个待检测视频的所有关键帧对应的重复帧所在的视频，从中选出归一化重复值（即为单位时间内的重复帧数）最高的视频；

步骤S43，所述归一化重复值高过某个阈值的视频，作为最终的与所述待检测视频重复的视频。

综上，本发明的特点在于提出了一种融合有图像描述子梯度信息的图像局部和兴趣点位置信息的图像全局特征的索引特征。图像局部描述子具有良好的旋转、平移以及尺度不变性，其通过聚类重新编码降低了局部描述子的维数，虽然保留了关键特征，但缺失了兴趣点位置信息；本发明通过融合图像描述子位置分布特征来补充兴趣点位置信息，通过融合上述两种特征，得到了既包含了图像局部精准特征，又涵括了图像整体的全局位置信息的鲁棒的视频索引特征，可用于视频检索和重复检测。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种对重复视频进行检测的方法，其特征在于，该方法包括以下步骤：

步骤S1，对数据库中的所有视频进行帧采样，提取每个视频的关键帧，以获取相应视频的关键信息；

步骤S2，对提取得到的视频关键帧的局部特征和全局特征分别进行分析得到局部分析特征和全局分析特征；

步骤S3，对所述局部分析特征和全局分析特征进行融合，得到一个对于视频变换鲁棒的索引特征，用于进行视频重复性检测；

步骤S4，利用所述索引特征对于待检测视频进行重复视频的检测。

2.根据权利要求1所述的方法，其特征在于，所述关键帧为可以代表该视频主要信息的帧。

3.根据权利要求1所述的方法，其特征在于，采用均匀采样的方法提取视频的关键帧。

4.根据权利要求1所述的方法，其特征在于，所述步骤S2中，对所述视频关键帧的局部特征进行聚类线性编码分析得到局部分析特征，对所述视频关键帧的全局特征进行分析得到全局分析特征。

5.根据权利要求4所述的方法，其特征在于，所述步骤S2中，对所述视频关键帧的局部特征进行聚类线性编码分析得到局部分析特征包括以下步骤：

步骤S21，对所述视频关键帧进行SIFT特征的提取；

步骤S22，对提取得到的所有关键帧的SIFT特征进行聚类，得到K个聚类中心，记为聚类中心集D={d_k,k=1,LK}；

步骤S23，以聚类中心集D={d_k,k=1,LK}为基，针对某个视频关键帧Q的所有SIFT特征x_i，i=1,2,3,L，i为关键帧Q的SIFT特征的编号，找到聚类中心集中距离x_i最近的M个中心；

步骤S24，对所述SIFT特征x_i使用聚类中心集D重新进行线性编码，这样，SIFT特征x_i就被重新编码为c^*；

步骤S25，针对每个关键帧Q，设其有P个描述子，且每个描述子都被重新编码成为c^*的模式，这样就生成一个K×P维的矩阵，其每一列分别代表每个描述子对应的线性编码；对于该矩阵的每一行，用该行中的最大值来代替此行，由此得到的K×1的新向量即为此帧图像的局部约束线性编码，也即视频关键帧局部特征对应的局部分析特征。

6.根据权利要求4所述的方法，其特征在于，所述步骤S2中，对所述视频图像的全局特征进行分析得到全局分析特征包括以下步骤：

步骤S26，针对所述视频关键帧，在提取得到其SIFT特征描述子之后，把每个关键帧图像划分成m×m个小块，统计得到每个小块上描述子的个数；

步骤S27，按照每行每块的顺序，将所述描述子表示成为一个m²×1的向量，其中向量元素为每小块上描述子的个数；

步骤S28，将所述向量元素按照大小降序排序并编号，利用所述编号来代替个数，生成一个新的m²×1序向量O_i，其为1,2,Lm²的一个排列，即得到视频关键帧全局特征对应的全局分析特征。

7.根据权利要求1所述的方法，其特征在于，所述步骤S3中，对所述局部分析特征和全局分析特征进行融合得到索引特征具体为：对所述局部分析特征和全局分析特征进行拼接来生成索引特征F。

8.根据权利要求1所述的方法，其特征在于，所述步骤S4进一步包括以下步骤：

步骤S41，基于所述索引特征，利用特征向量训练分类器判断两个待检测视频的关键帧是否重复；

步骤S42，在初步得到了重复的关键帧之后，统计每个待检测视频的所有关键帧对应的重复帧所在的视频，从中选出归一化重复值最高的视频；

步骤S43，所述归一化重复值高过某个阈值的视频，作为最终的与所述待检测视频重复的视频。

9.根据权利要求8所述的方法，其特征在于，所述特征向量训练分类器采用的距离为欧式距离。

10.根据权利要求8所述的方法，其特征在于，所述归一化重复值为单位时间内的重复帧数。

Images