CN104063706A - 一种基于surf算法的视频指纹提取方法 - Google Patents

Abstract

本发明公开了一种基于SURF算法的视频指纹提取方法，通过SURF算法提取视频关键帧的特征点，生成一个特征点的特征矢量集合，再使用K-means聚类算法将生成的特征点集合进行聚类，把每个聚类中心看作是一个视频的视觉词汇，从而生成视频的视觉词汇集合，用视频的视觉词汇去替代关键帧中原有的特征点的特征矢量，并统计视觉词汇的词频信息，对每个关键帧视觉词汇的词频信息进行量化处理，用二进制序列来表示，即为该关键帧的指纹信息，最后将所有关键帧的指纹信息按照时序先后串联起来便生成视频的指纹信息。这样的视频指纹提取方法具有较好的准确性和鲁棒性，并能在实时性方面取得到一定的平衡。

Description

一种基于SURF算法的视频指纹提取方法

技术领域

本发明属于视频指纹及数据检索技术领域，更为具体地讲，涉及一种基于SURF算法的视频指纹提取方法。

背景技术

随着互联网技术的发展和网络传输速率的提升，人们日常获取信息的方式正发生着显著的变化，其中，观看网络视频已成为我国网民上网的主要活动之一，然而，视频内容是否安全和健康关系到广大网民的切身利益。

传统的视频内容安全监控手段有人工判断和数字水印技术。在面对海量的网络视频时，人工判断的方式显得力不从心且容易引入主观性，已不能独自完成网络视频内容安全监控的需求。数字水印是信息隐藏技术的一个重要研究方向，然而在视频中嵌入水印破坏了视频的完成性，且针对某些攻击水印信息的鲁棒性仍然不能满足需求。

斯坦福大学在1992年发表了一篇阐述“视频指纹”技术的学术文章，所述的视频指纹，就是指提取视频内容内在的特征信息，然后基于这些特征信息通过算法得到一个与视频唯一对应且能唯一标识视频的数字序列，它不需要在视频内嵌入任何信息，保持了视频的完整性。随着图像局部特征的研究，人们可以获得到图像的局部不变性特征，它们往往是代表图像中结构最稳定的局部区域。目前应用比较广泛的有尺度不变特征转换SIFT(Scale Invariant Feature Transform)和快速鲁棒特征SURF(Speeded Up Robust Features)，它们在图像旋转、尺度变换、仿射变换和视角变化条件下都有较好的不变性，通过对图像尺度不变性、仿射不变性以及局部不变性特征检测方法的深入研究，Lowe提出了SIFT算法并在2004年完善了该特征配准算法，然而由Bay等人提出的SURF要比SIFT拥有更高的特征提取速度。通过SURF可以提取视频的特征点集合，并且内容不相同的视频一般会得到不相同的特征点集合，而内容相似的视频会得到相近的特征点集合。利用这个特点不但可以实现获取视频的指纹信息，还可以类似于生物基因一样进行视频的追踪溯源。然而，目前基于视频内容的指纹提取算法往往无法同时兼顾到视频的准确性、鲁棒性和实时性。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于SURF算法的视频指纹提取方法，通过SURF算法和K-means算法相结合的视频指纹提取，具有较好的准确性和鲁棒性，同时又兼顾视频的实时性。

为实现上述发明目的，本发明一种基于SURF算法的视频指纹提取方法，其特征在于，包括以下步骤：

(1)、视频特征提取

(1.1)、候选关键帧的选取：以步长为Δt，T秒内提取一帧的方式在视频中选取候选关键帧；

(1.2)、使用SURF算法检测候选关键帧的特征点并计算个数，将特征点个数小于M的候选关键帧丢弃；将特征点个数大于或等于M的视频候选关键帧作为视频关键帧，M是常数，可以根据实际情况设置；

对于大于特征点个数大于M的视频关键帧通过均分筛选，选取其中的M个特征点并保留，其余的特征点去除；

(1.3)、通过SURF算法获取各视频关键帧各个特征点的特征矢量，具体为对于每一视频关键帧每一个特征点进行以下步骤的处理：

(1.3.1)、以视频关键帧的特征点为中心，选取直径为20s的圆形窗口，将圆形窗口划分为不等间隔的四个同心圆环，其中，s为特征点对应的尺度；

(1.3.2)、首先对四个同心圆环覆盖的区域分别使用哈尔模板，求出它们各自在X方向上和Y方向上的哈尔小波响应值d_xm和d_ym，其中，m＝1,2,表示哈尔小波响应值的个数；然后以视频关键帧的特征点为中心，分别对四个覆盖区域的哈尔小波响应值d_xm和d_ym进行高斯加权计算，得到哈尔小波响应值d′_xm和d′_ym；

(1.3.3)、对四个覆盖区域内的哈尔小波响应值d′_xm、d′_ym求和，分别记为：Σd′_xm和Σd′_ym，对四个覆盖区域内的哈尔小波响应值d′_xm、d′_ym求绝对值之和，分别记为Σ|d′_xm|和Σ|d′_ym|；

对每个覆盖区域的哈尔特征集的对角特征响应值Σd_zm进行计算，然后将它们进行求和、求绝对值和，并分别记为Σd_zm、Σ|d_zm|，因此，统计得到每个覆盖区域的特征矢量可以表示为：

V_sub＝(Σd'_xm,Σ|d'_xm|,Σd'_ym,Σ|d'_ym|,Σd_zm,Σ|d_zm|)；

最后将四个覆盖区域排列起来，得到每个特征点的特征矢量；

(1.4)、将所有视频关键帧的所有特征点特征矢量组合为特征矢量集合；

(2)、视频指纹的提取；

(2.1)、K-means聚类算法对特征矢量集合进行聚类处理，得到多个聚类中心，每个聚类中心作为一个视觉词汇；

(2.2)、对于每个视频关键帧中各个特征点计算其特征矢量与各个视觉词汇的欧式距离，如果与某一个视觉词汇的欧式距离最短，则特征点归于该视频词汇；

统计出每个视频关键帧中，各视觉词汇所拥有的特征点数量即词频信息；

(2.3)、对每个视频关键帧中各个视觉词汇的词频信息进行量化处理，用二进制序列来表示，即为该视频关键帧的指纹信息，最后将所有关键帧的指纹信息按照时序先后串联起来便生成该视频的指纹信息。

进一步地，所述的均分筛选过程为：

a)、根据特征点检测时海森矩阵响应值的大小对特征点进行排序；

b)、计算特征点两两之间的距离；

c)、遍历；从第一个特征点开始，查找与之距离小于d的特征点，并删除，同时重新，计算特征点的个数是否等于M，如果特征点的个数等于M，则遍历结束，否则继续遍历；如果，遍历一边之后，特征点的个数仍然大于M，则增大d的大小，继续下一轮遍历。

本发明的发明目的是这样实现的：

本发明基于SURF算法的视频指纹提取方法，通过SURF算法提取视频关键帧的特征点，生成一个特征点的特征矢量集合，再使用K-means聚类算法将生成的特征点集合进行聚类，把每个聚类中心看作是一个视觉词汇，从而生成视觉词汇集合，用视觉词汇去替代视频关键帧中原有的特征点的特征矢量，即将其归为欧式距离最短的视觉词汇，并统计视觉词汇的词频信息，对每个关键帧视觉词汇的词频信息进行量化处理，用二进制序列来表示，即为该关键帧的指纹信息，最后将所有关键帧的指纹信息按照时序先后串联起来便生成视频的指纹信息。这样的视频指纹提取方法具有较好的准确性和鲁棒性，并能在实时性方面取得到一定的平衡。

同时，本发明基于SURF算法的视频指纹提取方法还具有以下有益效果：

(1)、通过改进的SURF算法获取特征点的特征矢量，这样将特征描述符的维度由原来的64维降到24维，在面临尺度变化、亮度变化以及添加高斯噪声时同样拥有较好的性能；

(2)、通过均分筛选过程可以筛选掉一些内容表达不强的视频帧，减少了特征提取的计算量；

(3)、本发明还具有较好的准确性和鲁棒性，同时又兼顾视频的实时性。

附图说明

图1是本发明基于SURF算法的视频指纹提取方法的流程图；

图2是特征点的筛选原理图；

图3是SURF算法计算特征点的特征矢量的原理图；

图4是视频指纹的提取流程图；

图5是SURF算法改进前后的图像匹配实验对比图；

图6是本发明基于SURF算法的视频指纹提取方法的准确性仿真图；

图7是本发明基于SURF算法的视频指纹提取方法的鲁棒性仿真图；

表1不同维度的特征矢量聚类所花时间的统计表；

表2是不同时长视频的指纹提取时间表。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

图1是本发明基于SURF算法的视频指纹提取方法的流程图。

在本实施例中，如图1所示，本发明一种基于SURF的视频指纹提取方法，包括以下步骤：

S1)、视频特征提取

S1.1)、候选关键帧的选取：以步长为Δt，T秒内提取一帧的方式在视频中选取候选关键帧；

本实施例中，Δt＝1sec，T＝2sec；即两秒内提取一帧，间隔时间为一秒；

S1.2)、使用SURF算法检测候选关键帧的特征点并计算个数，将特征点个数小于M＝200的候选关键帧丢弃；将特征点个数大于或等于M＝200的视频候选关键帧作为视频关键帧，M是常数，可以根据实际情况设置，本实施例中设置M＝200；

对于大于特征点个数大于M＝200的视频关键帧通过均分筛选，选取其中的M＝200个特征点并保留，其余的特征点去除；

其中，如图2所示，均分筛选过程为：

a)、根据特征点检测时海森矩阵响应值的大小对特征点进行排序；

b)、计算特征点两两之间的距离；

c)、遍历；从第一个特征点开始，查找与之距离小于d的特征点，并删除，同时重新，计算特征点的个数是否等于M＝200，如果特征点的个数等于M＝200，则遍历结束，否则继续遍历；如果，遍历一边之后，特征点的个数仍然大于M＝200，则增大d的大小，继续下一轮遍历；

S1.3)、通过SURF算法获取各视频关键帧各个特征点的特征矢量，具体为对于每一视频关键帧每一个特征点进行以下步骤的处理：

S1.3.1)、以视频关键帧的特征点为中心，选取直径为20s的圆形窗口，将圆形窗口划分为不等间隔的四个同心圆环，其中，s为特征点对应的尺度；

S1.3.2)、首先对四个同心圆环覆盖的区域分别使用哈尔模板，求出它们各自在X方向上和Y方向上的哈尔小波响应值d_xm和d_ym，其中，m＝1,2,表示哈尔小波响应值的个数；然后以视频关键帧的特征点为中心，分别对四个覆盖区域的哈尔小波响应值d_xm和d_ym进行高斯加权计算，得到哈尔小波响应值d′_xm和d′_ym；

S1.3.3)、对四个覆盖区域内的哈尔小波响应值d′_xm、d′_ym求和，分别记为：Σd′_xm和Σd′_ym，对四个覆盖区域内的哈尔小波响应值d′_xm、d′_ym求绝对值之和，分别记为Σ|d′_xm|和Σ|d′_ym|；

对每个覆盖区域的哈尔特征集的对角特征响应值Σd_zm进行计算，然后将它们进行求和、求绝对值和，并分别记为Σd_zm、Σ|d_zm|，因此，统计得到每个覆盖区域的特征矢量可以表示为：

V_sub＝(Σd'_xm,Σ|d'_xm|,Σd'_ym,Σ|d'_ym|,Σd_zm,Σ|d_zm|)；

最后将四个覆盖区域排列起来，得到每个特征点的特征矢量；

在本实施例中，如图3所示，SURF算法计算特征点的特征矢量时，将原来均匀分布的矩形区域重新转变成直径为20s的圆形窗口，并将它划分为不等间隔的四个同心圆环，在对每个覆盖区域进行哈尔小波响应计算和哈尔特征集的对角特征响应值计算，得到每个覆盖区域的特征矢量，再将4个覆盖区域的特征矢量排列起来，便可得到每个特征点的特征矢量，由一个24维的向量来表示；

原SURF算法计算特征点的特征矢量时，首先以特征点为中心，选取它邻域内的20s×20s大小的区域，其中，s为特征点对应的尺度，并将该区域的主方向旋转到经计算得到的特征点的主方向上，然后沿着特征点的主方向将20s×20s的图像区域划分为4×4共16个子区域，每个子区域覆盖的范围是5s×5s，通过对每个子区域进行哈尔小波响应计算，将16个子区域的特征矢量排列起来，便可生成64维的特征点的特征矢量；

S1.4)、将所有视频关键帧的所有特征点特征矢量组合为特征矢量集合；

S2)、视频指纹的提取；

S2.1)、K-means聚类算法对特征矢量集合进行聚类处理，得到多个聚类中心，每个聚类中心作为一个视觉词汇；

本实施例中，采用K-means聚类后，得到65个聚类；

S2.2)、对于每个视频关键帧中各个特征点计算其特征矢量与各个视觉词汇的欧式距离，如果与某一个视觉词汇的欧式距离最短，则特征点归于该视频词汇；统计出每个视频关键帧中，各视觉词汇所拥有的特征点数量即词频信息；

S2.3)、对每个视频关键帧中各个视觉词汇的词频信息进行量化处理，用二进制序列来表示，即为该视频关键帧的指纹信息，最后将所有关键帧的指纹信息按照时序先后串联起来便生成该视频的指纹信息。

本实施例中，将特征矢量集合分成65个类簇，把每个类簇的中心当成一个视频的视觉词汇，即得到65个视觉词汇；再按照视觉词汇的欧氏距离最接近，将特征点划入到不同的视觉词汇，最后统计出每一帧中划入到每个视觉词汇中特征点的数量，并用词频信息表示。如图4所示，划入到视觉词汇A中的特征点6个，划入到视觉词汇B中的特征点4个，划入到视觉词汇C中的特征点8个，……，而对应的第一帧中划入视觉词汇A中的特征点1个，第一帧中划入视觉词汇B中的特征点2个，第一帧中划入视觉词汇C中的特征点3个，……，分别用词频信息表示，则得到A的词频信息为1，B的词频信息为2，C的词频信息为3，……，词频信息经量化处理后通过二进制序列表示：A＝01，B＝11，C＝10，……，即得到关键帧的指纹信息，最后将所有关键帧的指纹信息按照时序先后串联起来便生成了指纹信息101101；

在对特征矢量集合进行聚类处理时，通过对SURF算法改进前、后对比发现，如表1所示，维度较低的特征矢量集合聚类所话费的时间较短。

表1

图5是SURF算法改进前后的图像匹配实验对比图。

本实施例中，为了进一步验证SURF算法改进前后的性能，分别对图像进行尺度变化、亮度变化和高斯噪声处理来进行图像的匹配实验。如图5所示，(a)为尺度变化曲线、(b)为亮度变化曲线、(c)为高斯噪声变化曲线，从图中可以看出，改进SURF算法特征描述符的维度降到24维后，在面对尺度变化和图像亮度变化时，性能与原始SURF算法相差不大；在面对添加高斯噪声时，图像的匹配率变化趋势与原算法相对误差较大，但满足误差范围的允许值之内，可以看出改进的SURF算法在达到降维目的的同时也拥有较好的性能。

图6是本发明基于SURF算法的视频指纹提取方法的准确性仿真图。

本实施例中，实验中选用了总时长为80分钟的视频片段集合，其中每段视频长为60秒，且设置视频关键帧的特征矢量个数为200，为了寻找合适的视觉词汇个，本实验选取了多个值并且做了实验。通过查全率和查准率来分析本发明提出的视频指纹算法的准确性以及确定合适的视觉词汇个数，实验仿真结果如图6所示。由于视觉词汇数量的选取对算法的准确性有一定的影响，通常需要根据实际情况经过一些尝试去选择较为合适的值，从图中的查准率和查全率曲线可以看出，当采用200个视觉词汇的时候算法的性能相对比较好。

图7是本发明基于SURF算法的视频指纹提取方法的鲁棒性仿真图。

本发明基于SURF的视频指纹提取方法需要具备较好的鲁棒性，这样才能抵御常见的攻击，本实施例中，通过亮度攻击、画面尺度攻击、高斯攻击及字幕添加来验证鲁棒性。

如图7所示，(a)为亮度攻击、(b)为画面尺度攻击、(c)为高斯攻击及字幕添加，从图中可以看出，本发明对亮度攻击和画面尺度攻击均具有较好的鲁棒性，对高斯噪声攻击和添加字幕攻击的鲁棒性相对弱于前面两种攻击。这是由于高斯噪声的添加使得视频的画面变的模糊，影响了特征点的提取；添加字幕的行为在特征点提取时会提取到字幕周边新的特征点，这样提取到的视频特征点集合与原视频的提取到的特征点集合相差较大，对聚类结果也会有不小的影响，因此对添加字幕攻击相对于前面来说最弱。

表2是不同时长视频的指纹提取时间表。

视频指纹的准确性和鲁棒性是评价算法性能的两个重要指标，但视频指纹提取的实时性也同样重要。为了验证本文发明的实时性，挑选了长度不同的视频片段做了仿真实验，其中设定视频片段的视觉词汇表个数为200，根据视频的长度动态调整T和Δt的值。

视频(秒)	特征提取(秒)	视觉词汇生成(秒)	总时间(秒)
				15	8.31	1.621	10.05
60	18.75	6.27	25.15
				220	43.56	32.68	76.51

表2

从表中可以看出，视觉词汇生成时间少于特征点提取过程耗时，一方面冗余的视频帧增加了算法提取视频帧特征的时间，另一方使用改进的SURF算法生成维度较低的特征点特征矢量也是使得聚类时间有了大幅度的缩减，因此，本发明在一定程度上满足了实时性的需求。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (2)

1.一种基于SURF算法的视频指纹提取方法，其特征在于，包括以下步骤：

(1)、视频特征提取

(1.1)、候选关键帧的选取：以步长为Δt，T秒内提取一帧的方式在视频中选取候选关键帧；

(1.2)、使用SURF算法检测候选关键帧的特征点并计算个数，将特征点个数小于M的候选关键帧丢弃；将特征点个数大于或等于M的视频候选关键帧作为视频关键帧，M是常数，可以根据实际情况设置；

对于大于特征点个数大于M的视频关键帧通过均分筛选，选取其中的M个特征点并保留，其余的特征点去除；

(1.3)、通过SURF算法获取各视频关键帧各个特征点的特征矢量，具体为对于每一视频关键帧每一个特征点进行以下步骤的处理：

(1.3.1)、以视频关键帧的特征点为中心，选取直径为20s的圆形窗口，将圆形窗口划分为不等间隔的四个圆环，其中，s为特征点对应的尺度；

(1.3.2)、首先对四个同心圆环覆盖的区域分别使用哈尔模板，求出它们各自在X方向上和Y方向上的哈尔小波响应值d_xm和d_ym，其中，m＝1,2,表示哈尔小波响应值的个数；然后以视频关键帧的特征点为中心，分别对四个覆盖区域的哈尔响应值d_xm和d_ym进行高斯加权计算，得到哈尔小波响应值d′_xm和d′_ym；

(1.3.3)、对四个覆盖区域内的哈尔小波响应值d′_xm、d′_ym求和，分别记为：Σd′_xm和Σd′_ym，对四个覆盖区域内的哈尔小波响应值d′_xm、d′_ym求绝对值之和，分别记为Σ|d′_xm|和Σ|d′_ym|；

对每个覆盖区域的哈尔特征集的对角特征响应值Σd_zm进行计算，然后将它们进行求和、求绝对值和，并分别记为Σd_zm、Σ|d_zm|，因此，统计得到覆盖区域的特征矢量可以表示为：

V_sub＝(Σd'_xm,Σ|d'_xm|,Σd'_ym,Σ|d'_ym|,Σd_zm,Σ|d_zm|)；

最后将四个覆盖区域排列起来，得到每个特征点的特征矢量；

(1.4)、将所有视频关键帧的所有特征点特征矢量组合为特征矢量集合；

(2)、视频指纹的提取；

(2.1)、K-means聚类算法对特征矢量集合进行聚类处理，得到多个聚类中心，每个聚类中心作为一个视觉词汇；

(2.2)、对于每个视频关键帧中各个特征点计算其特征矢量与各个视觉词汇的欧式距离，如果与某一个视觉词汇的欧式距离最短，则特征点归于该视频词汇；

统计出每个视频关键帧中，各视觉词汇所拥有的特征点数量即词频信息；

(2.3)、对每个视频关键帧中各个视觉词汇的词频信息进行量化处理，用二进制序列来表示，即为该视频关键帧的指纹信息，最后将所有关键帧的指纹信息按照时序先后串联起来便生成该视频的指纹信息。

2.一种基于SURF算法的视频指纹提取方法，其特征在于，所述的均分筛选过程为：

a)、根据特征点检测时海森矩阵响应值的大小对特征点进行排序；

b)、计算特征点两两之间的距离；

c)、遍历；从第一个特征点开始，查找与之距离小于d的特征点，并删除，同时重新，计算特征点的个数是否等于M，如果特征点的个数等于M，则遍历结束，否则继续遍历；如果，遍历一边之后，特征点的个数仍然大于M，则增大d的大小，继续下一轮遍历。