CN101819633B - 视频指纹特征提取方法 - Google Patents

Abstract

视频指纹特征提取方法，包括以下步骤：1)挑选M个哈尔小波特征构成M个滤波器；2)根据所述M个滤波器对视频文件的每一帧在相同位置上做哈尔小波特征值的计算；3)根据计算的结果生成该视频文件的指纹文件。所述哈尔小波特征值的计算方法为，根据需要设定计算出的哈尔小波特征值在所述指纹文件中对应的比特值。本发明提供的视频指纹特征提取方法，由于采用哈尔小波特征构成滤波器进行视频指纹特征提取，降低了视频指纹特征提取的复杂度，具有提取速度快，且提取出的视频指纹特征构成的指纹文件存储空间小，方便了指纹文件的索引和检索。

Description

视频指纹特征提取方法

技术领域

本发明涉及一种视频指纹特征提取方法，它是一种特征挑选的视频指纹提取方法。

背景技术

随着视频网络的发展，视频节目呈海量增长之势，如何高效且有效地检索或监管视频内容成为一个重要的问题。视频指纹技术的出现为视频内容的监管和检索提供了一种高效且有效的方法。视频指纹技术中的关键技术之一是如何进行视频指纹的提取。视频指纹的提取方法是否有效，直接决定了视频指纹检索的效率和精度。

在2002年的视觉信息最新进展国际会议上(Proceedings of Recent Advances in VisualInformation Systems 2002)，Oostveen和Kalker等人在《视频指纹的特征提取方法和数据库策略》(Feature Extraction and a Database Strategy for Video Fingerprinting)这篇文章中，提出了一种视频指纹特征提取方法，但是这种特征提取方法在实际使用中精度不高。

在2001，Viola和Jones在计算机视觉和模式识别会议(Proceedings of Computer Visionand Pattern Recognition，2001)上，提出著名的《用增强的层叠式简单特征进行快速物体识别》(”Rapid Object Detection Using a Boosted Cascade of Simple”)，他们采用增强(Boosting)方法在大量的人脸图像中挑选出很小部分的哈尔小波特征(Harr-likefeatures)，用这些少量的哈尔小波特征可以进行快速的人脸定位。

受以上思想的启发，本发明提出一种全新的视频指纹特征提取方法。

发明内容

本发明提供一种全新的基于特征挑选的视频指纹提取方法，该方法首先对视频文件进行预处理；然后通过大量的训练样本集合，并采用增强(Boosting)方法对哈尔小波特征(Harr-like features)集合进行挑选；最后将挑选出训练误差最小的M个哈尔小波特征作为滤波器；这些滤波器被为视频文件的指纹提取器，对视频文件进行视频指纹提取。本发明具体是通过以下技术方案实现的：

一种视频指纹特征提取方法，包括以下步骤：

1)挑选M个哈尔小波特征构成M个滤波器；

2)根据所述M个滤波器对视频文件的每一帧在相同位置上做哈尔小波特征值的计算；

3)根据计算的结果生成该视频文件的指纹文件。

进一步地，在所述步骤1)与所述2)之间，还包括预处理步骤，用于对所述视频文件进行预处理。

进一步地，所述预处理步骤包括以下处理中的多个或全部：

缩放到统一视频尺寸；

帧率统一到同一个数值；

码率统一到同一个数值。

进一步地，在所述步骤2)中，所述哈尔小波特征值的计算方法为，根据需要设定计算出的哈尔小波特征值在所述指纹文件中对应的比特值。

进一步地，根据M个滤波器分别对应的哈尔小波特征的位置和类型，在视频每一帧的相同位置上做哈尔小波特征值的计算，当计算的值大于0时，所述指纹文件中对应的比特值为1；当计算的值小于或等于0时，所述指纹文件中对应的比特值为0，所述步骤3)中根据该M个滤波器计算得到的M个比特，该M个比特即为该帧的指纹，所有帧的指纹为该视频文件的指纹。

进一步地，所述M的取值为32或者64，本发明不局限于这两个整数。

进一步地，所述步骤1)包括：

11)输入n个样本视频对，包含匹配的视频对和不匹配的视频对；其中，匹配的视频对指的是：两个视频片段的视频内容相同，但两个视频片段之间包含以下噪声或者变形中的一种或多种：色度、光强、带文字、带标记、上下被裁剪、左右裁剪、不同码率、不同帧率等视频剪切或者视频编码；不匹配的视频对指的是：两个视频片段的视频内容不相同；

12)用增强方法，根据误差最小的挑选准则，挑选出M个对应的哈尔小波特征。

进一步地，所述步骤12)具体包括：

121)对输入的n个视频样本对(<(x₁₁，x₁₂)>，<(x₂₁，x₂₂)>，...，<(x_n1，x_n2)>)，每个输入视频样本对带一个类别标号y_i∈{-1，1}，初始化权值 $w_i=\frac{1}{n},$ i＝1，...，n；

122)对于m＝1，...，M，找出假设函数h_m(x₁，x₂)，使得在权值w＝(w₁，...，w_n1)上的加权误差最小，其中过滤器函数为f_m和阈值为t_m的假设函数定义为：

h_m(x₁，x₂)＝sgn([(f_m(x₁)-t_m)·(f_m(x₂)-t_m)])

124)计算加权误差：

${\mathrm{err}}_m=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{w}_i\&CenterDot;\mathrm{\&delta;}(h_m(x_{1i},x_{2i})\&NotEqual;y_i)$

124)赋予置信值c_m给h_m：

$c_m=\frac{1}{2}\&CenterDot;\log \left(\frac{1-{\mathrm{err}}_m}{{\mathrm{err}}_m}\right)$

125)对于匹配对，按如下方法更新权值：

126)按如下归一化权值：

$\underset{u{y}_i=-1}{\overset{n}{\mathrm{\&Sigma;}}}{w}_i=\underset{u{y}_i=1}{\overset{n}{\mathrm{\&Sigma;}}}{w}_i=\frac{1}{2}$

127)最后的假设为：

$H(x_1,x_2)=\mathrm{sgn}(\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}{c}_m\&CenterDot;h_m(x_1,x_2))$

128)记录该M个哈尔小波特征的位置、类型，作为M个滤波器。

本发明提供的视频指纹特征提取方法，由于采用哈尔小波特征构成滤波器进行视频指纹特征提取，降低了视频指纹特征提取的复杂度，具有提取速度快，且提取出的视频指纹特征构成的指纹文件存储空间小，方便了指纹文件的索引和检索。

附图说明

图1为本发明视频指纹特征提取方法实施例流程图；

图2为本发明中挑选M个哈尔小波特征构成M个滤波器的流程图。

图3为本发明实施例中用到的哈尔小波特征实施图。

具体实施方式

如图1所示，一种视频指纹特征提取方法，包括以下步骤：

1)挑选M个哈尔小波特征(Harr-like features)构成M个滤波器；

2)根据所述M个滤波器对视频文件的每一帧在相同位置上做哈尔小波特征值的计算；

3)根据计算的结果生成该视频文件的指纹文件。

其中，在所述步骤1)与所述2)之间，还包括预处理步骤，用于对所述视频文件进行预处理。所述预处理包括：缩放到统一视频尺寸(例如160×120)，帧率统一到同一个数值(例如6帧/秒)，码率统一到同一个数值等。

进一步地，在所述步骤2)中，所述哈尔小波特征值的计算方法可以根据需要设定计算出的哈尔小波特征值在所述指纹文件中对应的比特值。本实施例中，即根据M个滤波器分别对应的哈尔小波特征的位置和类型，在视频每一帧的相同位置上做哈尔小波特征值的计算，当计算的值大于0时，所述指纹文件中对应的比特值为1；当计算的值小于或等于0时，所述指纹文件中对应的比特值为0。其中，M的取值通常是32或者64，本发明不局限于这两个整数。所述步骤3)中根据该M个滤波器计算得到的M个比特，该M个比特即为该帧的指纹，而所有帧的指纹即为该视频文件的指纹。

其中，所述步骤1)如图2所示，具体包括步骤：

11)输入多个视频对(video pairs)，包含匹配的视频对和不匹配的视频对；

12)用增强(Boosting)方法，根据误差最小的挑选准则(由于涉及匹配和不匹配的两种视频，请具体说明该挑选准则，谢谢)，挑选出M个对应的哈尔小波特征(Harr-likefeatures)；记录该M个哈尔小波特征(Harr-like features)的位置、类型，作为M个滤波器。图3为本实施例中用到的哈尔小波特征实施图。

其中，匹配的视频对指的是：两个视频片段的视频内容相同，但两个视频片段之间包含例如：色度、光强、带文字、带标记(logo)、上下被裁剪、左右裁剪等视频剪切或者视频编码等动作带来的噪声或者变形。不匹配的视频对指的是：两个视频片段的视频内容不相同。

其中，所述步骤12)具体包括以下步骤：

121)对输入的n个视频样本对(<(x₁₁，x₁₂)>，<(x₂₁，x₂₂)>，...，<(x_n1，x_n2)>)，每个输入视频样本对带一个类别标号

y_i∈{-1，1}(其中，y_i＝-1表示不匹配的视频对；y_i＝1表示匹配的视频对)，初始化权值 $w_i=\frac{1}{n},$ i＝1，...，n；

122)对于m＝1，...，M，找出假设函数h_m(x₁，x₂)，使得在权值w＝(w₁，...，w_n1)上的加权误差最小，其中过滤器函数为f_m和阈值为t_m的假设函数定义为：

h_m(x₁，x₂)＝sgn([(f_m(x₁)-t_m)·(f_m(x₂)-t_m)])

125)计算加权误差：

${\mathrm{err}}_m=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{w}_i\&CenterDot;\mathrm{\&delta;}(h_m(x_{1i},x_{2i})\&NotEqual;y_i)$

124)赋予置信值c_m给h_m：

$c_m=\frac{1}{2}\&CenterDot;\log \left(\frac{1-{\mathrm{err}}_m}{{\mathrm{err}}_m}\right)$

125)对于匹配对，按如下方法更新权值：

126)按如下归一化权值：

$\underset{u{y}_i=-1}{\overset{n}{\mathrm{\&Sigma;}}}{w}_i=\underset{u{y}_i=1}{\overset{n}{\mathrm{\&Sigma;}}}{w}_i=\frac{1}{2}$

127)最后的假设为：

$H(x_1,x_2)=\mathrm{sgn}(\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}{c}_m\&CenterDot;h_m(x_1,x_2))$

128)记录该M个哈尔小波特征的位置、类型，作为M个滤波器。

以上所述的实施例仅用于说明本发明的技术思想及特点，其目的在使本领域内的技术人员能够了解本发明的内容并据以实施，当不能仅以本实施例来限定本发明的专利范围，即凡依本发明所揭示的精神所作的同等变化或修饰，仍落在本发明的专利范围内。

Claims (7)

1.一种视频指纹特征提取方法，其特征在于包括以下步骤：

1）挑选M个哈尔小波特征构成M个滤波器，其中所述M个滤波器构成如下：

11）输入多个视频样本对（video pairs），包含匹配的视频样本对和不匹配的视频样本对；

12）用增强（Boosting）方法，根据误差最小的挑选准则，挑选出M个对应的哈尔小波特征（Harr-like features）；记录该M个哈尔小波特征（Harr-like features）的位置、类型，作为M个滤波器；

2）根据所述M个滤波器对视频文件的每一帧在相同位置上做哈尔小波特征值的计算；

3）根据计算的结果生成该视频文件的指纹文件；

步骤2）所述的计算方式如下：根据需要设定计算出的哈尔小波特征值在指纹文件中对应的比特值，在视频每一帧的相同位置上做哈尔小波特征值的计算；当计算的值大于0时，所述指纹文件中对应的比特值为1；当计算的值小于或等于0时，所述指纹文件中对应的比特值为0。

2.根据权利要求1所述的视频指纹特征提取方法，其特征在于：

在所述步骤1）与所述2）之间，还包括预处理步骤，用于对所述视频文件进行预处理。

3.根据权利要求2所述的视频指纹特征提取方法，其特征在于：所述预处理步骤包括以下处理中的两个或三个：

缩放到统一视频尺寸；

帧率统一到同一个数值；

码率统一到同一个数值。

4.根据权利要求1所述的视频指纹特征提取方法，其特征在于：所述步骤3）中根据该M个滤波器计算得到M个比特，该M个比特即为该帧的指纹，所有帧的指纹为该视频文件的指纹文件。

5.根据权利要求4所述的视频指纹特征提取方法，其特征在于：所述M的取值为32或者64。

6.根据权利要求4或5所述的视频指纹特征提取方法，其特征在于：所述步骤11）中，匹配的视频样本对指的是：两个视频片段的视频内容相同，但两个视频片段之间包含以下噪声或者变形中的一种或多种：色度、光强、带文字、带标记、上下被裁剪、左右裁剪、不同码率、不同帧率等视频剪切或者视频编码；不匹配的视频样本对指的是：两个视频片段的视频内容不相同。

7.根据权利要求6所述的视频指纹特征提取方法，其特征在于：所述步骤12）具体包括：

121）对输入的n个视频样本对<<(x₁₁，x₁₂)>，<(x₂₁，x₂₂)>，...，<(x_n1，x_n2)>>，每个输入视频样本对带一个类别标号y_i∈{-1，1}，初始化权值i=1，...，n；

122）对于m＝1，...，M，找出假设函数h_m(x₁，x₂)，使得在权值w＝(w₁，...，w_n1)上的加权误差最小，其中过滤器函数为f_m和阈值为t_m的假设函数定义为：

h_m(x₁，x₂)＝sgn([(f_m(x₁)-t_m)·(f_m(x₂)-t_m)])

123）计算加权误差：

${\mathrm{err}}_m=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{w}_i\&CenterDot;\mathrm{\&delta;}(h_m(x_{i1},x_{i2})\&NotEqual;y_i)$

124）赋予置信值c_m给h_m：

$c_m=\frac{1}{2}\&CenterDot;\log \left(\frac{1-{\mathrm{err}}_m}{{\mathrm{err}}_m}\right)$

125）对于匹配对，按如下方法更新权值：

126）按如下归一化权值：

$\underset{i:y_i=-1}{\overset{n}{\mathrm{\&Sigma;}}}{w}_i=\underset{i:y_i=1}{\overset{n}{\mathrm{\&Sigma;}}}{w}_i=\frac{1}{2}$

127）最后的假设为：

$H(x_1,x_2)=\mathrm{sgn}(\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}{c}_m\&CenterDot;h_m(x_1,x_2))$

128）记录该M个哈尔小波特征的位置、类型，作为M个滤波器。

Images