CN101819634B - 视频指纹特征提取系统 - Google Patents

Abstract

视频指纹特征提取系统，包括M个滤波器，该M个滤波器由挑选的M个哈尔小波特征构成；哈尔小波特征值的计算模块，与所述根据所述M个滤波器相连接，用于对视频文件的每一帧在相同位置上做M个哈尔小波特征值的计算；视频指纹文件生成模块，与所述哈尔小波特征值的计算模块相连接，用于根据计算出的结果生成该视频文件的指纹文件。本发明提供的视频指纹特征提取系统，由于采用哈尔小波特征构成滤波器进行视频指纹特征提取，降低了视频指纹特征提取的复杂度，具有提取速度快，且提取出的视频指纹特征构成的指纹文件存储空间小，方便了指纹文件的索引和检索。

Description

视频指纹特征提取系统

技术领域

本发明涉及一种视频指纹特征提取系统，它是一种特征挑选的视频指纹提取方法。

背景技术

随着视频网络的发展，视频节目呈海量增长之势，如何高效且有效地检索或监管视频内容成为一个重要的问题。视频指纹技术的出现为视频内容的监管和检索提供了一种高效且有效的方法。视频指纹技术中的关键技术之一是如何进行视频指纹的提取。视频指纹的提取方法是否有效，直接决定了视频指纹检索的效率和精度。

在2002年的视觉信息最新进展国际会议上(Proceedings of Recent Advances in VisualInformation Systems 2002)，Oostveen和Kalker等人在《视频指纹的特征提取方法和数据库策略》(Feature Extraction and a Database Strategy for Video Fingerprinting)这篇文章中，提出了一种视频指纹特征提取系统，但是这种特征提取方法在实际使用中精度不高。

在2001，Viola和Jones在计算机视觉和模式识别会议(Proceedings of Computer Visionand Pattern Recognition，2001)上，提出著名的《用增强的层叠式简单特征进行快速物体识别》(”Rapid Object Detection Using a Boosted Cascade of Simple”)，他们采用增强(Boosting)方法在大量的人脸图像中挑选出很小部分的哈尔小波特征(Harr-likefeatures)，用这些少量的哈尔小波特征可以进行快速的人脸定位。

受以上思想的启发，本发明提出一种全新的视频指纹特征提取系统。

发明内容

本发明提供一种全新的基于特征挑选的视频指纹提取方法，该方法首先对视频文件进行预处理；然后通过大量的训练样本集合，并采用增强(Boosting)方法对哈尔小波特征(Harr-like features)集合进行挑选；最后将挑选出训练误差最小的M个哈尔小波特征作为滤波器；这些滤波器被为视频文件的指纹提取器，对视频文件进行视频指纹提取。本发明具体是通过以下技术方案实现的：

一种视频指纹特征提取系统，包括：

M个滤波器，该M个滤波器由挑选的M个哈尔小波特征构成；

哈尔小波特征值的计算模块，与所述根据所述M个滤波器相连接，用于对视频文件的每一帧在相同位置上做M个哈尔小波特征值的计算；

视频指纹文件生成模块，与所述哈尔小波特征值的计算模块相连接，用于根据计算出的结果生成该视频文件的指纹文件。

进一步地，还包括与所述哈尔小波特征值的计算模块相连接的预处理模块，用于对所述视频文件进行预处理，然后将预处理后的视频文件输入所述哈尔小波特征值的计算模块。

进一步地，所述预处理模块中包括有下以下模块中的多个或全部：

缩放到统一视频尺寸的模块；

帧率统一到同一个数值的模块；

码率统一到同一个数值的模块。

进一步地，所述哈尔小波特征值的计算模块为根据需要设定计算出的哈尔小波特征值在所述指纹文件中对应的比特值的模块。

进一步地，所述哈尔小波特征值的计算模块为根据M个滤波器分别对应的哈尔小波特征的位置和类型，在视频每一帧的相同位置上做哈尔小波特征值的计算，当计算的值大于0时，所述指纹文件中对应的比特值为1；当计算的值小于或等于0时，所述指纹文件中对应的比特值为0，所述步骤3)中根据该M个滤波器计算得到的M个比特的模块，所述视频指纹文件生成模块为根据每一帧的M个比特指纹生成该视频文件的指纹的模块。

进一步地，所述M的取值为32或者64。

进一步地，所述M个滤波器为根据输入n个样本视频对，包含匹配的视频对和不匹配的视频对，用增强方法，根据误差最小的挑选准则，挑选出的M个对应的哈尔小波特征所对应的滤波器。

进一步地，所述M个滤波器为：

根据输入的n个视频样本对(<(x₁₁，x₁₂)>，<(x₂₁，x₂₂)>，...，<(x_n1，x_n2)>)，每个输入视频样本对带一个类别标号y_i∈{-1，1}，初始化权值 $w_i=\frac{1}{n},$ i＝1，...，n；对于m＝1，...，M，找出假设函数h_m(x₁，x₂)，使得在权值w＝(w₁，...，w_n1)上的加权误差最小，其中过滤器函数为f_m和阈值为t_m的假设函数定义为：h_m(x₁，x₂)＝sgn([(f_m(x₁)-t_m)·(f_m(x₂)-t_m)])，计算加权误差： ${\mathrm{err}}_m={\mathrm{\&Sigma;}}_{i=1}^n{w}_i\&CenterDot;\mathrm{\&delta;}(h_m(x_{1i},x_{2i})\&NotEqual;y_i);$ 赋予置信值c_m给h_m： $c_m=\frac{1}{2}\&CenterDot;\log \left(\frac{1-{\mathrm{err}}_m}{{\mathrm{err}}_m}\right),$ 对于匹配对，按如下方法更新权值：

按如下归一化权值： ${\mathrm{\&Sigma;}}_{u{y}_i=-1}^n{w}_i={\mathrm{\&Sigma;}}_{u{y}_i=1}^n{w}_i=\frac{1}{2},$ 假设为： $H(x_1,x_2)=\mathrm{sgn}({\mathrm{\&Sigma;}}_{m=1}^M{c}_m\&CenterDot;h_m(x_1,x_2));$ 记录该M个哈尔小波特征的位置、类型，作为M个滤波器。

本发明提供的视频指纹特征提取系统，由于采用哈尔小波特征构成滤波器进行视频指纹特征提取，降低了视频指纹特征提取的复杂度，具有提取速度快，且提取出的视频指纹特征构成的指纹文件存储空间小，方便了指纹文件的索引和检索。

附图说明

图1为本发明视频指纹特征提取系统实施例流程图；

图2为本发明实施例中用到的哈尔小波特征实施图。

具体实施方式

如图1所示，一种视频指纹特征提取系统，包括：

M个滤波器，该M个滤波器由挑选的M个哈尔小波特征构成；

哈尔小波特征值的计算模块，与所述根据所述M个滤波器相连接，用于对视频文件的每一帧在相同位置上做M个哈尔小波特征值的计算；

视频指纹文件生成模块，与所述哈尔小波特征值的计算模块相连接，用于根据计算出的结果生成该视频文件的指纹文件。

还包括与所述哈尔小波特征值的计算模块相连接的预处理模块，用于对所述视频文件进行预处理，然后将预处理后的视频文件输入所述哈尔小波特征值的计算模块。

其中，所述预处理模块中包括有下以下模块中的多个或全部：

缩放到统一视频尺寸的模块，例如统一缩放到160×120；

帧率统一到同一个数值的模块，例如6帧/秒；

码率统一到同一个数值的模块。

所述哈尔小波特征值的计算模块为根据需要设定计算出的哈尔小波特征值在所述指纹文件中对应的比特值的模块。本实施例中，根据M个滤波器分别对应的哈尔小波特征的位置和类型，在视频每一帧的相同位置上做哈尔小波特征值的计算，当计算的值大于0时，所述指纹文件中对应的比特值为1；当计算的值小于或等于0时，所述指纹文件中对应的比特值为0。其中，M的取值通常是32或者64，本发明不局限于这两个整数。所述步骤3)中根据该M个滤波器计算得到的M个比特，该M个比特即为该帧的指纹，而所有帧的指纹即为该视频文件的指纹。

其中，所述M个滤波器为：

11)输入多个视频对(video pairs)，包含匹配的视频对和不匹配的视频对；

12)用增强(Boosting)方法，根据误差最小的挑选准则(由于涉及匹配和不匹配的两种视频，请具体说明该挑选准则，谢谢)，挑选出M个对应的哈尔小波特征(Harr-likefeatures)；记录该M个哈尔小波特征(Harr-like features)的位置、类型，作为M个滤波器。图2为本实施例中用到的哈尔小波特征实施图。

其中，匹配的视频对指的是：两个视频片段的视频内容相同，但两个视频片段之间包含例如：色度、光强、带文字、带标记(logo)、上下被裁剪、左右裁剪等视频剪切或者视频编码等动作带来的噪声或者变形。不匹配的视频对指的是：两个视频片段的视频内容不相同。

其中，所述M个滤波器具体为：

121)对输入的n个视频样本对(<(x₁₁，x₁₂)>，<(x₂₁，x₂₂)>，...，<(x_n1，x_n2)>)，每个输入视频样本对带一个类别标号

y_i∈{-1，1}(其中，y_i＝-1表示不匹配的视频对；y_i＝1表示匹配的视频对)，初始化权值 $w_i=\frac{1}{n},$ i＝1，...，n；

122)对于m＝1，...，M，找出假设函数h_m(x₁，x₂)，使得在权值w＝(w₁，...，w_n1)上的加权误差最小，其中过滤器函数为f_m和阈值为t_m的假设函数定义为：

h_m(x₁，x₂)＝sgn([(f_m(x₁)-t_m)·(f_m(x₂)-t_m)])

123)计算加权误差：

${\mathrm{err}}_m=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{w}_i\&CenterDot;\mathrm{\&delta;}(h_m(x_{1i},x_{2i})\&NotEqual;y_i)$

124)赋予置信值c_m给h_m：

$c_m=\frac{1}{2}\&CenterDot;\log \left(\frac{1-{\mathrm{err}}_m}{{\mathrm{err}}_m}\right)$

125)对于匹配对，按如下方法更新权值：

126)按如下归一化权值：

$\underset{u{y}_i=-1}{\overset{n}{\mathrm{\&Sigma;}}}{w}_i=\underset{u{y}_i=1}{\overset{n}{\mathrm{\&Sigma;}}}{w}_i=\frac{1}{2}$

127)最后的假设为：

$H(x_1,x_2)=\mathrm{sgn}(\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}{c}_m\&CenterDot;h_m(x_1,x_2))$

128)记录该M个哈尔小波特征的位置、类型，作为M个滤波器。

以上所述的实施例仅用于说明本发明的技术思想及特点，其目的在使本领域内的技术人员能够了解本发明的内容并据以实施，当不能仅以本实施例来限定本发明的专利范围，即凡依本发明所揭示的精神所作的同等变化或修饰，仍落在本发明的专利范围内。

Claims (7)

1.一种视频指纹特征提取系统，其特征在于包括：

M个滤波器，该M个滤波器由挑选的M个哈尔小波特征构成，所述M个滤波器为：

11）输入多个视频对（video pairs），包含匹配的视频对和不匹配的视频对；

12）用增强方法，根据误差最小的挑选准则，挑选出M个对应的哈尔小波特征（Harr-likefeatures）；记录该M个哈尔小波特征（Harr-like features）的位置、类型，作为M个滤波器；

哈尔小波特征值的计算模块，与所述M个滤波器相连接，用于对视频文件的每一帧在相同位置上做M个哈尔小波特征值的计算，所述哈尔小波特征值的计算模块为根据M个滤波器分别对应的哈尔小波特征的位置和类型，在视频每一帧的相同位置上做哈尔小波特征值的计算，当计算的值大于0时，指纹文件中对应的比特值为1；当计算的值小于或等于0时，指纹文件中对应的比特值为0；

视频指纹文件生成模块，与所述哈尔小波特征值的计算模块相连接，用于根据计算出的结果生成该视频文件的指纹。

2.根据权利要求1所述的视频指纹特征提取系统，其特征在于：

还包括与所述哈尔小波特征值的计算模块相连接的预处理模块，用于对所述视频文件进行预处理，然后将预处理后的视频文件输入所述哈尔小波特征值的计算模块。

3.根据权利要求2所述的视频指纹特征提取系统，其特征在于：所述预处理模块中包括以下模块中的多个或全部：

缩放到统一视频尺寸的模块；

帧率统一到同一个数值的模块；

码率统一到同一个数值的模块。

4.根据权利要求1或2所述的视频指纹特征提取系统，其特征在于：所述哈尔小波特征值的计算模块为根据需要设定计算出的哈尔小波特征值在所述指纹文件中对应的比特值的模块。

5.根据权利要求4所述的视频指纹特征提取系统，其特征在于视频指纹文件生成模块为根据该M个滤波器计算得到的M个比特的模块，所述视频指纹文件生成模块为根据每一帧的M个比特值生成该视频文件的指纹的模块。

6.根据权利要求5所述的视频指纹特征提取系统，其特征在于：所述M的取值为32或者64。

7.根据权利要求1所述的视频指纹特征提取系统，其特征在于：所述M个滤波器为：

根据输入的n个视频样本对<<(x₁₁，x₁₂)>，<(x₂₁，x₂₂)>，...，<(x_n1，x_n2)>>，每个输入视频样本对带一个类别标号y_i∈{-1，1}，初始化权值i＝1，...，n;对于m＝1，...，M，找出假设函数h_m(x₁，x₂)，使得在权值w＝(w₁，...，w_n1)上的加权误差最小，其中过滤器函数为f_m和阈值为t_m的假设函数定义为：h_m(x₁，x₂)＝sgn([(f_m(x₁)-t_m)·(f_m(x₂)-t_m)])，计算加权误差： ${\mathrm{err}}_m={\mathrm{\&Sigma;}}_{i=1}^n{w}_i\&CenterDot;\mathrm{\&delta;}(h_m(x_{1i},x_{2i})\&NotEqual;y_i);$ 赋予置信值c_m给h_m： $c_m=\frac{1}{2}\&CenterDot;\log \left(\frac{1-{\mathrm{err}}_m}{{\mathrm{err}}_m}\right),$ 对于匹配对，按如下方法更新权值：

按如下归一化权值： ${\mathrm{\&Sigma;}}_{i:y_i=-1}^n{w}_i={\mathrm{\&Sigma;}}_{i:y_i=1}^n{w}_i=\frac{1}{2},$ 假设为： $H(x_1,x_2)=\mathrm{sgn}({\mathrm{\&Sigma;}}_{m=1}^M{c}_m\&CenterDot;h_m(x_1,x_2));$ 记录该M个哈尔小波特征的位置、类型，作为M个滤波器。

Images