CN104036280A

CN104036280A - 基于感兴趣区域和聚类相结合的视频指纹方法

Info

Publication number: CN104036280A
Application number: CN201410282739.6A
Authority: CN
Inventors: 郭晓强; 李敬娜; 夏治平; 周芸; 王辉淇; 于洋
Original assignee: Academy of Broadcasting Science of SAPPRFT
Current assignee: Academy of Broadcasting Science of SAPPRFT
Priority date: 2014-06-23
Filing date: 2014-06-23
Publication date: 2014-09-10

Abstract

本发明涉及一种基于感兴趣区域和聚类相结合的视频指纹方法，其技术特点是包括以下步骤：在视频指纹提取阶段，将视频感兴趣区域作为提取视频指纹的基本单元，采用基于聚类算法去除视频指纹的时域冗余特征；在视频指纹匹配阶段，采用多个视频指纹距离平均值方法的进行视频指纹匹配。本发明从抵御空域和时域视频处理两方面来提升视频指纹的鲁棒性，一方面通过使用感兴趣区域作为视频指纹提取基本单元，获得空域上对于多种空域视频处理鲁棒性并降低了视频指纹提取时间；另一方面对同一视频镜头之内帧的特征进行聚类，在获得对于多种时域视频处理的鲁棒性的同时减小了视频指纹的数据量，同时，从提高余弦相似度判决阈值的稳定性上来提高匹配精度。

Description

基于感兴趣区域和聚类相结合的视频指纹方法

技术领域

本发明属于视频指纹技术领域，尤其是一种基于感兴趣区域和聚类相结合的视频指纹方法。

背景技术

视频指纹是将一个视频片断与其它视频片断区分开的特征向量，视频指纹的目标是通过测量数据库中所要检索的指纹和数据库中各个指纹的距离以确定一个给定的视频。为了有效地识别视频，视频指纹应满足以下性质：(1)感知性：根据人类视觉系统(HVS)，拥有相同感知内容的视频具有相同的视频指纹特征，即使这些视频受到如亮度变化，旋转等视频处理的影响。(2)鲁棒性：视频指纹应能够抵抗不同种类的视频处理。(3)唯一性：感知上不同的视频应该具有不同的视频指纹。(4)效率：视频指纹的数据量要小，以便有效地在庞大的数据库中进行查询操作。

近年来，视频指纹技术发展迅速。总体来说，它们可以被分成两个方面：其一是基于整个视频帧的方法，其二是基于视频感兴趣区域的方法。对于第一类方法，这些特征主要从整个视频帧提取，例如，对于整帧图像提取其梯度方向的质心特征(Lee S,YooCD.Video fingerprinting based on centroids ofgradient orientations[C]//Acoustics,Speech and Signal Processing,2006.ICASSP 2006Proceedings.2006 IEEE International Conferenceon.IEEE,2006,2:II-II.)和尺度不变特征(Sarkar A,Ghosh P,Moxley E,et al.Videofingerprinting:features for duplicate and similar video detection andquery-based video retrieval[C]//Electronic Imaging2008.InternationalSociety for Optics and Photonics,2008:68200E-68200E-12.)作为视频指纹，大多数属于该类的视频指纹对于一般的视频处理鲁棒性比较强，但是它们计算复杂，并且对于感知不变的视频处理的鲁棒性较低(感知不变的视频处理技术是指该类视频处理对于视频表达的主要内容并不影响，即对视频的感兴趣区域几乎不造成影响)。基于以上原因，第二类以视频感兴趣区域作为基本单元提取视频指纹的技术逐渐受到关注，例如，Yang等(Yang R,Tian Y,Huang T.DCT-Based Videoprinting on Saliency-Consistent Regions for DetectingVideo Copies with Text Insertion[M]//Advances inMultimedia InformationProcessing-PCM 2009.Springer Berlin Heidelberg,2009:797-806)利用感兴趣区域的连续性来估计潜在的文本插入位置，并使用离散余弦变换(DCT)系数作为视频指纹，该方法对于空域感知不变视频处理具有很好的鲁棒性，但是对于时域感知不变视频处理例如帧率改变等视频处理较为敏感。另外，Liu等(Visual Attention Based Temporally Weighting Method for Video Hashing)提出了一种将时空域视频感兴趣区域作为视频指纹提取基本单元，由于该方法将时空域感兴趣区域进行了结合，对于如加入图标之类的空域感知不变视频处理较为敏感。插入的图标与周围像素点差异较大，根据中心-周围的视觉机理，图标可能会成为视频空域显著性区域的一部分，从而提取的视频指纹特征与原视频指纹特征差异较大。

综上所述，现有视频指纹方法中，基于整帧图像提取特征的视频指纹技术存在时间复杂度较高，并且对感知不变视频处理比较敏感等问题；基于视频显著性区域提取特征的视频指纹技术，未能够针对空域与时域的感知不变视频处理做出相应的处理，因此，空域与时域鲁棒性不能够兼得。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于感兴趣区域和聚类相结合的视频指纹方法，可有效地提高视频指纹对于空时域感知不变的视频处理的鲁棒性和降低视频指纹的复杂度。

本发明解决现有的技术问题是采取以下技术方案实现的：

一种基于感兴趣区域和聚类相结合的视频指纹方法，包括以下步骤：

步骤1、在视频指纹提取阶段，将视频感兴趣区域作为提取视频指纹的基本单元；

步骤2、采用基于聚类算法去除视频指纹的时域冗余特征；

步骤3、在视频指纹匹配阶段，采用多个视频指纹距离平均值作为判决阈值的方法进行视频指纹匹配。

而且，所述步骤1的具体处理过程为：

首先，对输入的视频进行预处理操作，包括调整大小至QCIF，并对视频进行高斯平滑滤波；

然后，按照下述步骤进行视频感兴趣区域提取：

(1)对每帧视频在四个方向上进行采样，包括对角线采样、反对角线采样、垂直和水平采样，将整个视频所有帧的四个方向采样值分别组合成四幅视频韵律图像；

(2)对于每个方向的采样，利用当前帧和前一帧的采样差异，分别获得各视觉韵律图像的变化图；

(3)通过计算视觉韵律变化图像的历史差异来增强视觉韵律图像的差异强度；

(4)使用二值化处理和形态学操作融合的方法，进一步增强差异图像；

(5)结合四个视觉韵律差异图像，确定每帧图像的感兴趣区域。

而且，所述步骤2的具体处理过程为：

首先，按以下方法进行视频指纹提取：

(1)对于每帧图像的感兴趣区域提取FREAK特征；

(2)对上述特征进行归一化处理以消除不准确的感兴趣区域提取：

NF＝N(Glf)

式中，Glf代表当前帧的特征矢量，N(x)是归一化函数，NF是归一化的结果；

然后，利用谱聚类算法来对视频指纹特征进行聚类，从而去除视频指纹的时域冗余特征，具体包括几个步骤：

(1)假定FN为提取的特征数量，利用这FN个特征来构造相似图，并用W来表示相似图的加权邻接矩阵；

(2)用下式计算非标准化图拉普拉斯矩阵L

L＝D-W

式中D是度矩阵；

(3)计算L的前K个最小的特征向量，K为聚类数目；

(4)重新组合此K个特征向量成F×K矩阵，F是特征向量的维数，把每一行作为K维空间的一个向量，并使用K均值聚类算法对这些特征进行聚类；

(5)对每个类中的视频指纹特征进行取均值操作，形成最终的视频指纹。

而且，所述步骤3视频指纹匹配采用下式进行判决：

设

S = d (1) / \overset{&OverBar;}{d},

且

S＜T 匹配

S＞＝T 不匹配

其中T是预先定义的阈值，为多个视频指纹距离平均值。

而且，所述的预先定义的阈值T＝0.83×T_原始，T_原始是原始方法的阈值，T_原始设置为0.8；所述的等于d(2)～d(n+1)的平均值,n为最后一个距离索引值。

而且，所述的视频感兴趣区域为矩形区域，该矩阵四个顶点的坐标分别由四幅视觉韵律差异图像中对应采样线确定。

本发明的优点和积极效果是：

本发明在视频指纹提取阶段，从抵御空域和时域视频处理两方面来提升视频指纹的鲁棒性，一方面通过使用感兴趣区域作为视频指纹提取基本单元，获得空域上对于多种空域视频处理鲁棒性的同时降低了视频指纹提取时间；另一方面对同一视频镜头之内帧的特征进行聚类，在获得对于多种时域视频处理的鲁棒性的同时减小了视频指纹的数据量。在视频指纹匹配阶段，通过将原始由单一值所决定的阈值改为多个值所决定的阈值，在视频指纹匹配精度上获得了提升。

附图说明

图1是本发明的处理流程示意图；

图2是本发明中感兴趣区域的提取示例图。

具体实施方式

以下结合附图对本发明实施例做进一步详述。

一种基于感兴趣区域和聚类相结合的视频指纹方法，如图1所示，包括以下步骤：

步骤1、在视频指纹提取阶段，将视频感兴趣区域作为提取视频指纹的基本单元,本步骤的处理方法能够提高对空域感知不变视频处理的鲁棒性。

本步骤首先对输入的视频进行预处理操作，包括调整大小至QCIF(176x144)，并对视频进行高斯平滑滤波。上述操作的目的是为了减少由噪声引起的攻击，以及从不同的原始视频解码的影响。

然后，按照下述方法进行感兴趣区域提取：

(1)对每帧视频在四个方向上进行采样，以获得视觉韵律图像。包括对角线取样、反对角线取样、中心垂直和中心水平采样，将整个视频的所有帧的四个方向采样值分别组合成四幅视频韵律图像。上述四个方向为人眼视觉系统的主要关注方向。以对角线采样为例，下式为通过对角线采样获得的一帧图像的采样向量。

D_{j} = [\begin{matrix} P_{j} (0, [0]) \\ P_{j} (1, [1 \times r_{d}]) \\ \cdot \\ \cdot \\ \cdot \\ P_{j} (n - 2, [(n - 2) \times r_{d}]) \\ P_{j} (n - 1, [(n - 1) \times r_{d}]) \end{matrix}]

式中，D_j表示第j帧的对角线采样的像素灰度值向量，P_j(x,y)表示(x,y)位置的像素值，上式中符号[x]定义为：

式中，是下取整函数，是上取整函数。

应当指出r_d代表对角线像素采样的比率，并将其定义为

r_{d} = \frac{w - 1}{h - 1}

式中，w和h分别是视频帧的宽度和高度。

将所有帧的采样向量(D₁,D₂....D_m)组合成最终的视觉韵律图像，其中m为当前视频帧数。

对于反对角线(A)、中心垂直(V)和中心水平(H)这三个方向的视觉韵律图像的获取类似于对角线方向的获取方法，这里就不在阐述。

(2)对于每个方向的采样，利用当前帧和前一帧的采样差异值，分别获得各视觉韵律图像差异：

其中

式中，表示包含从和获得的绝对差异值的图像，对于D,A和V，z∈[0,h-1]；对于H，z∈[0,w-1]。

(3)通过计算视觉韵律变化图像的历史差异来增强视觉韵律图像的差异强度。

式中，代表视觉韵律历史图像。在第一帧中，设置为128。随后，按照上式进行更新。TI通过实验确定的阈值，c₁和c₂分别代表为历史图像更新的影响因子，在本发明中，c₁＝1.2，c₂＝0.8。

式中，阈值是由代表的视觉韵律图像变化的平均历史值计算得到。由获得的二值图像。和分别代表每一个α_i和β_i连续0序列和连续1序列中的个数。和分别是连续0序列和连续1序列在中的顺序。

(5)结合四个方向的视觉韵律差异图像，确定每帧图像的感兴趣区域。

本发明的感兴趣区域为矩形区域，矩阵四个顶点的坐标分别由四幅视觉韵律差异图像中对应采样线确定。例如，当前帧序号为100，四幅视觉韵律差异图像第100列(垂直、对角线和反对角情况下)或者第100行(水平采样)中像素点坐标位置的最大值和最小值分别为感兴趣区域的左上角顶点和右下角顶点的坐标值。

图2给出了对视频序列《mother and daughter》提取感兴趣区域的过程。该序列共200帧，在虚线框的四个画面的变化是相应步骤后所得的结果。经过上述五个步骤，获得了视频的感兴趣区域。

步骤2、采用基于聚类算法去除视频指纹的时域冗余特征。本步骤的处理方法能够提高对时域感知不变视频处理的鲁棒性以及降低视频指纹的复杂度；

本步骤首先进行视频指纹提取，其提取方法包括以下过程：

(1)对于每帧图像的感兴趣区域提取FREAK特征。FREAK是一种具有低计算复杂度的特征算子，对于缩放、旋转和噪声具有很强的鲁棒性。

(2)对上述特征进行归一化处理以消除不准确的感兴趣区域提取。

NF＝N(Glf)

式中，Glf代表当前帧的特征矢量。N(x)是归一化函数。NF是归一化的结果。

(3)由于同一视频镜头内的视频帧的感兴趣区域保持相似，其相应的视频特征也具有高度的相似性。

然后利用谱聚类算法来对视频指纹特征进行聚类,对于时域视频处理具有较强的鲁棒性。对视频特征进行谱聚类包括以下处理过程：

(2)用下式计算非标准化图拉普拉斯矩阵L

L＝D-W

式中D是度矩阵；

(3)计算L的前K个最小的特征向量，K为聚类数目；

步骤3、在视频指纹匹配阶段，使用多个视频指纹距离平均值进行视频指纹匹配。本步骤的处理方法能够提高视频指纹匹配的精确度。

传统的余弦相似度匹配算法是按下述步骤进行：

(1)使用余弦相似度计算查询视频的视频指纹与数据库中视频之间的距离，距离被表示为d(x)，x是距离的索引，余弦相似度定义如下：

SIM (X, Y) = \cos θ = \frac{x \cdot y}{| | x | | \cdot | | y | |}

(2)对上述距离降序排列。

(3)计算最短距离与第二最短距离之比。如果该比率小于预定义的阈值，那么这两个视频相匹配。

通过实验发现，虽然两个视频的视频指纹相似，传统的匹配方法判断两者不同。考虑到原来方法只利用两个距离之间的比例，为了增强稳定度，使用多个视频指纹距离的平均值替代原始余弦相似度匹配算法中的单一阈值的方法以此提高视频指纹匹配的精确度，即：使用d(2)～d(n+1)的平均值,表示为d，以取代d(2)，n为最后一个距离索引值，采用下式进行判决，设S＝d(1)/d,且

S＜T 匹配

S＞＝T 不匹配

其中T是预先定义的阈值。在实验中将其设置为0.83×T_原始，T_原始是原始方法的阈值，一般设置为0.8。

下面对本发明设计的视频指纹方法进行论证。

1、测试视频简介

从网络上选取100个视频，这些视频在内容上各异，具有多种视频格式。大部分测试视频包含运动场景。视频的分辨率包括1024×576,720×304,1280×720,1280×544。对视频进行常规广播电视中所用的视频处理技术进行处理(均属于感知不变的视频处理技术)。考虑以下处理操作：1)插入图标；2)裁剪15％的视频边界；3)填充15％的视频边界；4)文本插入；5)丢帧15％；6)变化帧率；7)提高10％亮度；8)旋转5度；9)高斯模糊；10)调整大小为CIF(352×288)。

2、测试标准

视频指纹对于感知不变视频处理应该具有较强的鲁棒性。当视频感知相似时，但是视频指纹不匹配，被称为“误报(FR)”。当视频在感知上不同时，但是视频指纹匹配，这就是所谓的“虚警(FA)”。P_FR和P_FA的定义如下。

其中P_FR是误报概率，P_FA是虚警概率。

3、独立性测试

为了测试本发明视频指纹的独立性，以P_FA作为测试标准。在实验中，测试视频的视频指纹存储到数据库中，并先后使用所有的100个视频作为查询视频，所得P_FA均为0。这表明，本发明的视频指纹具有很高的独立性。

4、鲁棒性测试

表一表明本发明所提出视频指纹比Lee所提出的视频指纹对感知不变视频处理上鲁棒性强。这是因为在对视频进行感知不变视频处理时，Lee的方法基于整体帧进行提取CGO特征，造成特征变化较大。事实上，如果本发明使用的感兴趣区域提取技术是绝对稳定的，感知不变视频处理技术对于本发明的视频指纹影响会更小。另外，可以看出，本发明的视频指纹鲁棒性可以达到甚至优于Yang和Liu提出的方法。Yang的方法对丢帧和帧率的改变比较敏感，因为它只考虑了空间的视频感兴趣区域和DCT特征而无时域特征。本发明所提出的视频指纹对时域感知不变视频处理具有较好的鲁棒性，因为采用聚类的方法形成特征摘要，该摘要几乎不受帧率变化和丢帧之类的时域感知不变的视频处理技术影响。与Liu的方法相比，本发明的视频指纹对于文本插入等空域感知不变的视频处理鲁棒性方面表现较优。这是因为，Liu采用的为时空域相结合的感兴趣区域作为提取视频指纹的基本单元。在空域显著性提取的过程中，根据中心-周围视觉机理，图标和文字可能会成为空域显著性区域，这就造成了后续提取的视频指纹与原始视频指纹差异较大。本发明提出的视频指纹提取技术基于感兴趣区域，其为每帧中最大的运动区域，然而标志和文字是作为静止部分插入视频帧，不可能成为本发明中提取的感兴趣区域部分，从而对视频指纹提取不会造成太大的影响。

表一

视频处理操作	P_FR-Lee	P_FR-Yang	P_FR-Liu	P_FR-本发明方法
					图标插入	0.53	0.02	0.13	0.01
视频剪裁	0.47	0.02	0.04	0.02
					视频填充	0.51	0.01	0.03	0.01
文本插入	0.49	0.00	0.15	0.03
					视频丢帧	0.56	0.12	0.01	0.01
帧率改变	0.43	0.09	0.02	0.01
					亮度改变	0.36	0.04	0.07	0.02
视频旋转	0.08	0.05	0.04	0.02
					高斯模糊	0.03	0.08	0.06	0.03
视频尺寸更改	0.01	0.02	0.01	0.01

5、复杂度测试

复杂度比较结果如表二所示。时间为测试100个视频的平均时间。需要特别强调的是，此处将本发明提出的视频指纹耗时归一化为1，Lee,Yang和Liu方法的耗时是本发明提出方法的相对值。在表二，统计数据没有单位，他们只是关于本发明方法的相对值。

表二表明本发明的视频指纹比Lee，Yang和Liu的方法具有较低的复杂度。该方法的低复杂度归功于简单的感兴趣区域提取方式，快速的特征提取方式，并通过聚类获得的具有低数据量的视频指纹特征。

表二

6、视频指纹匹配算法提升验证

表三

视频处理操作	P_FR-传统匹配算法	P_FR-改进后匹配算法
			图标插入	0.12	0.01
视频剪裁	0.14	0.02
			视频填充	0.10	0.01
文本插入	0.08	0.03
			视频丢帧	0.05	0.01
帧率改变	0.03	0.01
			亮度改变	0.07	0.02
视频旋转	0.11	0.02
			高斯模糊	0.08	0.03
视频尺寸更改	0.15	0.01

表三表明，本发明中的匹配算法与传统余弦相似度匹配算法相比在视频指纹匹配精确度方面有较大的提高。这是因为本发明采用更为稳定的平均阈值来替代原有单一阈值。

需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。

Claims

1.一种基于感兴趣区域和聚类相结合的视频指纹方法，其特征在于包括以下步骤：

步骤2、采用基于聚类算法去除视频指纹的时域冗余特征；

2.根据权利要求1所述的基于感兴趣区域和聚类相结合的视频指纹方法，其特征在于：所述步骤1的具体处理过程为：

然后，按照下述步骤进行视频感兴趣区域提取：

3.根据权利要求1所述的基于感兴趣区域和聚类相结合的视频指纹方法，其特征在于：所述步骤2的具体处理过程为：

首先，按以下方法进行视频指纹提取：

(1)对于每帧图像的感兴趣区域提取FREAK特征；

NF＝N(Glf)

(2)用下式计算非标准化图拉普拉斯矩阵L

L＝D-W

式中D是度矩阵；

(3)计算L的前K个最小的特征向量，K为聚类数目；

4.根据权利要求1所述的基于感兴趣区域和聚类相结合的视频指纹方法，其特征在于：所述步骤3视频指纹匹配采用下式进行判决：

设

S = d (1) / \overset{&OverBar;}{d},

且

S＜T 匹配

S＞＝T 不匹配

其中T是预先定义的阈值，为多个视频指纹距离平均值。

5.根据权利要求4所述的基于感兴趣区域和聚类相结合的视频指纹方法，其特征在于：所述的预先定义的阈值T＝0.83×T_原始，T_原始是原始方法的阈值，T_原始设置为0.8；所述的等于d(2)～d(n+1)的平均值,n为最后一个距离索引值。

6.根据权利要求1至5任一项所述的基于感兴趣区域和聚类相结合的视频指纹方法，其特征在于：所述的视频感兴趣区域为矩形区域，该矩阵四个顶点的坐标分别由四幅视觉韵律差异图像中对应采样线确定。