CN108259932A - 基于时空域极坐标余弦变换的鲁棒哈希重复视频检测方法 - Google Patents

Abstract

本发明公开了一种基于时空域极坐标余弦变换的鲁棒哈希重复视频检测方法，包括以下步骤：1)对待查询视频进行处理，固定视频帧大小和帧数量；2)对视频进行ST‑PCT变换，提取视频抗几何不变的时空域特征；3)对视频特征使用PCA降维，并使用迭代量化方法进行二值量化处理；4)计算待查询视频哈希与视频库哈希集合之间的海明距离，判断是否为重复视频。本发明的哈希函数不仅能抵抗传统的信号变换和时域篡改，而且对于几何变换例如旋转等具有鲁棒性。本发明在UCF101数据集上进行测试，能够保证重复视频检测算法的有效性，且检测的准确率高。

Description

基于时空域极坐标余弦变换的鲁棒哈希重复视频检测方法

技术领域

本发明涉及视频处理的技术领域，尤其是指一种基于时空域极坐标余弦变换的鲁棒哈希重复视频检测方法。

背景技术

大量的在线视频快速增长，用户每天大量的向服务商服务器上传，下载，搜索，编辑视频，这些被上传的视频中存在大量内容基本相同的重复视频，这些重复视频在内容语义上相同，但总是以各种方式被扭曲或改变，例如调整亮度、文本插入、旋转、调整大小、模糊和裁剪等。传统方式下重复视频会被服务器重复存储，不仅极大的消耗服务器的存储空间，而且侵犯了视频的版权，对重复视频进行去重和内容追踪变成一个非常有意义的问题。

目前为止，已经提出了大量的视频哈希算法用于重复视频的检测。根据不同的提取特征，它主要分为三类：空间特征，时间特征和时空特征。空间特征哈希算法将视频视为图像集合，在视频的每帧或关键帧处提取视觉特征，例如颜色，纹理和形状。它的缺点是生成的哈希的维度高，且对帧丢弃和帧速率变化等时间变换不稳健。时间特征比空间特征更接近视频语义概念，时间特征通常适用于长视频序列，对于缺少足够具有可辨别时间信息的短视频效果不佳。时空特征不仅包含视频的空间信息和时间信息，而且针对视频时间变换(诸如丢帧和帧速率变化)等具有强的鲁棒性。大多数时空特征视频哈希算法无法同时实现几何变换和时域变换的鲁棒，特别是大角度的几何旋转攻击。本发明基于时空域极坐标余弦变换(ST-PCT)，设计一种鲁棒的视频哈希算法，该算法能够方便快捷地提取视频时空特征，对几何旋转变换具有鲁棒性，能够快速的用于重复的视频之间的检测。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出了一种基于时空域极坐标余弦变换的鲁棒哈希重复视频检测方法，利用时空域极坐标余弦变换提取视频时空域特征，为了获得用于快速查找的紧凑的二值哈希码，对提取的视频特征降维并利用迭代量化算法进行量化。本发明的哈希函数不仅能抵抗传统的信号变换和时域篡改，而且对于几何变换例如旋转等具有鲁棒性。

为实现上述目的，本发明所提供的技术方案为：基于时空域极坐标余弦变换的鲁棒哈希重复视频检测方法，包括以下步骤：

1)对待查询视频进行预处理，固定视频帧大小和帧数量；

2)对视频进行ST-PCT变换，提取视频抗几何不变的时空域特征；

3)对视频特征进行降维处理和量化，获取二值哈希码；

4)计算待查询视频哈希与视频库哈希集合之间的海明距离，判断是否为重复视频。

在步骤1)中，对待查询视频预处理具体操作如下：

对待查询视频V(n,m,f)进行下采样，其中n表示帧宽，m表示帧高，f表示帧数，将视频帧统一为相同的大小N×M，视频帧数量统一为F帧，下采样后固定帧大小和帧速率的视频表示为V(N,M,F)。

在步骤2)中，利用ST-PCT提取视频抗几何不变的时空域特征包括以下步骤：

步骤21：计算1维离散余弦变换即DCT系数矩阵，首先对预处理完后的视频的相同位置处像素点的信号量f(x_i,y_j,z_k)利用式(1)式进行1维的DCT变换，其中0≤i≤N，0≤j≤M，0≤k≤F；计算代表视频时间信息的1维DCT系数矩阵V_1-D(x_i,y_j,u)：

其中，f(x_i,y_j,z_k)表示视频中第K帧的位置(i,j)^th上的像素点的亮度值，u为时域频率变量，u＝0,1,2,...F，F表示视频帧数，g(z_k,u)表示DCT函数的变换核函数，其形式如(2)式,其中C(u)为变换核函数的常参数，z_k表示第K个离散的信号量，z_k＝0,1,2,...F：

步骤22：计算极坐标余弦变换即PCT矩，选取d维经1维DCT变换后的系数矩阵V_1-D(x_i,y_j,d),0≤d≤F，利用式(3)对V_1-D(x_i,y_j,d)进行二维空域的PCT变换，计算得到PCT的矩

其中，[·]^*表示复共轭运算，N表示帧宽，M表示帧高，n和l分别表示PCT矩的阶数和重复度，|n|＝|l|＝0,1,...,+∞，H'_nl(x_i,y_i)表示极坐标余弦变换的变换核函数，H'_nl(x_i,y_i)＝cos(πnr²)e^ilθ，其中cos(πnr2)为半径分量，e^ilθ为PCT的角度相关分量，(r,θ)为(x_i,y_j)极坐标下的坐标表示；

步骤23：最后将PCT矩{|M_nd_l||n|,|l|≤K}串联成视频的特征V_f，即利用ST-PCT提取的视频特征向量。

在步骤3)中，对提取的视频特征进行降维和二值量化的过程包括以下步骤：

步骤31：对提取的视频特征V_f进行PCA降维，降维后的特征表示为V_PCA；

步骤32：对降维后的特征进行量化，将每一个特征V∈V_PCA映射到二进制超立方体空间，并将降维后的数据集V_PCA进行旋转变换，利用欧式距离来度量投影空间和原始特征空间两者间的误差，误差函数如下式(4)所示:

min||B-V_PCAR||² (4)

其中，R为旋转矩阵，B为二值哈希码矩阵；

步骤33：初始化旋转矩阵R为随机矩阵，通过迭代求解优化式(4)求解出最优的旋转矩阵R，并求得对应的二值哈希码矩阵B，即为最终的视频二值哈希码H_f；

在步骤4)中，将步骤33提取的视频二值哈希码H_f与视频库中的已有的视频哈希码集进行海明距离比较，如果海明距离差值超过某个阈值τ_f，则将待查询视频分类为重复视频序列，计算公式如(5)所示：

其中，H_f是待查询视频二值哈希码，H_i'是视频库中视频序列对应的二值哈希码，Dh(·)表示标准海明距离，用布尔类型变量copy(f)是否为1来表示该查询视频是否是重复视频。

本发明与现有技术相比，具有如下优点与有益效果：

1、本发明对视频提取时空域的几何不变哈希用于重复视频的检测，具有较高的精确性。首先使用能够同时提取视频时空域特征的时空域极坐标余弦变换来获取视频具有抗几何变换的时空特征，并对视频特征运用PCA进行降维，迭代量化成便于快速查找的二值视频哈希码，本方法提取的视频哈希对视频时域干扰、几何变换和空域变换例如噪声干扰、压缩、亮度变换、模糊、丢帧、帧速率变换、缩放、旋转等都具有鲁棒性，用于重复视频检测具有较高的分类准确率。

2、对于非内容的各种视频变换具有鲁棒性，特别是解决了目前无法对大角度旋转变换鲁棒的缺点，能够快速的用于重复的视频之间的比较和查找，且具有更高的分类精确性和有效性。

3、时空域极坐标余弦变换(ST-PCT)被用来同时提取几何不变的时空域特征，使用一维DCT滤除时间维度上的噪声干扰，生成具有代表视频时间信息的系数矩阵，提取视频时域特征，使用PCT提取视频空域旋转不变的特征，基于这些特征构建的哈希对非内容变换具有较强的鲁棒性，对于不同内容视频具有较高的敏感性。

4、提出的ST-PCT变换计算简单高效，计算复杂度低，能够快速的实现特征的提取过程，对常见的信号处理和几何变换具有较强的健壮性。

附图说明

图1是本发明的基于时空域极坐标余弦变换重复视频检测算法流程图。

图2是本发明的时空域极坐标余弦变换的示意图。

具体实施方式

下面结合具体实施例对本发明作进一步说明。

如图1所示，本实施例所提供的基于时空域极坐标变换的鲁棒哈希重复视频检测方法，具体是：首先对待查询视频预处理，使用时空域极坐标余弦变换(ST-PCT)提取视频的时空域特征，对提取的视频特征进行降维和量化，得到待查询视频的视频二值哈希码。同时对视频库中的视频进行上诉相同操作，获得视频库哈希码集合。将待查视频的哈希与视频库中的哈希进行一一比较，检测是否为重复的视频。其具体包括以下主要步骤：

1)对待查询视频进行预处理，固定视频帧大小和帧数量，具体操作如下：

对待查询视频V(n,m,f)进行下采样，其中n表示帧宽，m表示帧高，f表示帧数，将视频帧统一为相同的大小N×M，视频帧数量统一为F帧，下采样后固定帧大小和帧速率的视频表示为V(N,M,F)。

2)对视频进行ST-PCT变换，提取视频抗几何不变的时空域特征，包括以下步骤：

步骤21：计算1维离散余弦变换(DCT)系数矩阵，首先对预处理完后的视频的相同位置处像素点的信号量f(x_i,y_j,z_k)利用式(1)式进行1维的DCT变换，其中0≤i≤N，0≤j≤M，0≤k≤F；计算代表视频时间信息的1维DCT系数矩阵V_1-D(x_i,y_j,u)：

其中，f(x_i,y_j,z_k)表示视频中第K帧的位置(i,j)^th上的像素点的亮度值，u为时域频率变量u＝0,1,2,...F，F表示视频帧数，g(z_k,u)表示DCT函数的变换核函数，其形式如(2)式，其中C(u)为变换核函数的常参数，z_k表示第K个离散的信号量，z_k＝0,1,2,...F：

步骤22：计算极坐标余弦变换(PCT)矩，选取d维经1维DCT变换后的系数矩阵V_1-D(x_i,y_j,d),0≤d≤F，利用式(3)对V_1-D(x_i,y_j,d)进行二维空域的PCT变换，计算得到PCT的矩

其中，[·]^*表示复共轭，N表示帧宽，M表示帧高，n和l分别表示PCT矩的阶数和重复度，|n|＝|l|＝0,1,...,+∞，H'_nl(x_i,y_i)表示极坐标余弦变换的变换核函数，H'_nl(x_i,y_i)＝cos(πnr²)e^ilθ，其中cos(πnr²)为半径分量，e^ilθ为PCT的角度相关分量，(r,θ)为(x_i,y_j)极坐标下的坐标表示；

步骤23：最后将PCT矩串联成视频的特征V_f，即利用ST-PCT提取的视频特征向量。

3)对视频特征进行降维处理和量化，获取二值哈希码，包括以下步骤：

步骤31：对提取的视频特征V_f进行PCA降维，降维后的特征表示为：V_PCA；

步骤32：对降维后的特征进行量化，将每一个特征V∈V_PCA映射到二进制超立方体空间，并将降维后的数据集V_PCA进行旋转变换，利用欧式距离来度量投影空间和原始特征空间两者间的误差，误差函数如下式(4)所示:

min||B-V_PCAR‖² (4)

其中，R为旋转矩阵，B为二值哈希码矩阵；

步骤33：初始化旋转矩阵R为随机矩阵，通过迭代求解优化式(4)求解出最优的旋转矩阵R，并求得对应的二值哈希码矩阵B，即为最终的视频二值哈希码H_f。

4)计算待查询视频哈希与视频库哈希集合之间的海明距离，判断是否为重复视频，具体是将步骤33提取的视频二值哈希码H_f与视频库中的已有的视频哈希码集进行海明距离比较，如果海明距离差值超过某个阈值τ_f，则将待查询视频分类为重复视频序列，计算公式如(5)所示：

其中，H_f是待查询视频二值哈希码，H_i'是视频库中视频序列对应的二值哈希码，Dh(·)表示标准海明距离，用布尔类型变量copy(f)是否为1来表示该查询视频是否是重复视频。

下面我们结合具体数据对本实施例上述方法进行进一步说明，具体如下：

1)待查询视频预处理和视频数据库处理：包括视频数据集处理和待查询视频预处理。视频数据集预处理：从数据集UCF101中选取100个视频，对每个视频采样得到128帧，每一帧大小为128×128。并将每个视频分别进行旋转、缩放、帧速率变换、对比度变化、高斯噪声、椒盐噪声、高斯模糊、中值滤波、均值滤波、旋转+随机丢帧10种不同的操作，每个操作设置5组不同的参数(10种不同操作参数如表1所示)，得到每个视频的重复视频，整个数据集包括5000个视频。待查询视频预处理：对查询视频下采样，固定帧大小为128×128，帧数固定为128帧。

表1 10种不同操作及其参数设置

2)视频时空域特征提取：如图2所示，对标准化后的视频进行ST-PCT变换，提取视频几何不变的时空域特征(1)首先对待查询视频连续帧的相同位置上的像素点组成的离散的信号量，进行1维的DCT变换，得到代表视频时间信息DCT系数矩阵，矩阵维度为128×128×128；(2)选取DCT系数矩阵低频系数d＝0，选取的系数维度为二维图像128×128，选取PCT变换的阶数和重复度分别为n＝10、l＝10，对选取的代表时间信息的图片进行PCT变换计算视频空域特征的PCT矩。最终得到总共220条ST-PCT矩；(3)将ST-PCT产生的矩串联起来得到视频的时空域特征，视频特征初始维度为220。

3)视频特征降维和量化：(1)对提取的视频特征使用PCA算法进行降维，从220维降到64维；(2)使用迭代量化方法，将每一维特征映射通过映射函数映射到二进制超立方体空间，并计算原视频特征控件与映射后特征空间的距离误差，构造损失函数；(3)对损失函数进行优化，初始化旋转矩阵为随机矩阵，通过不断迭代优化的方法更新量化损失函数，求得使得损失函数最小的旋转矩阵R，并求得最终64位的二值哈希码。

4)重复视频检测：对视频库中视频进行上诉相同操作，得到视频库中所有视频的二值哈希码集合。将查询视频与视频库中哈希集进行一一对比，计算两者之间的标准海明距离，设定距离阈值为0.015，当距离小于此阈值时，就将该查询视频分类为视频库中重复视频。

以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (4)

1.基于时空域极坐标余弦变换的鲁棒哈希重复视频检测方法，其特征在于，包括以下步骤：

1)对待查询视频进行预处理，固定视频帧大小和帧数量；

2)对视频进行ST-PCT变换，提取视频抗几何不变的时空域特征；

3)对视频特征进行降维处理和量化，获取二值哈希码；

4)计算待查询视频哈希与视频库哈希集合之间的海明距离，判断是否为重复视频。

2.根据权利要求1所述的基于时空域极坐标余弦变换的鲁棒哈希重复视频检测方法，其特征在于：在步骤1)中，对待查询视频预处理具体操作如下：

对待查询视频V(n,m,f)进行下采样，其中n表示帧宽，m表示帧高，f表示帧数，将视频帧统一为相同的大小N×M，视频帧数量统一为F帧，下采样后固定帧大小和帧速率的视频表示为V(N,M,F)。

3.根据权利要求1所述的基于时空域极坐标余弦变换的鲁棒哈希重复视频检测方法，其特征在于：在步骤2)中，利用ST-PCT提取视频抗几何不变的时空域特征包括以下步骤：

步骤21：计算1维离散余弦变换即DCT系数矩阵，首先对预处理完后的视频的相同位置处像素点的信号量f(x_i,y_j,z_k)利用式(1)式进行1维的DCT变换，其中0≤i≤N，0≤j≤M，0≤k≤F；计算代表视频时间信息的1维DCT系数矩阵V_1-D(x_i,y_j,u)：

其中，f(x_i,y_j,z_k)表示视频中第K帧的位置(i,j)^th上的像素点的亮度值，u为时域频率变量，u＝0,1,2,...F，F表示视频帧数，g(z_k,u)表示DCT函数的变换核函数，其形式如(2)式,其中C(u)为变换核函数的常参数，z_k表示第K个离散的信号量，z_k＝0,1,2,...F：

步骤22：计算极坐标余弦变换即PCT矩，选取d维经1维DCT变换后的系数矩阵V_1-D(x_i,y_j,d),0≤d≤F，利用式(3)对V_1-D(x_i,y_j,d)进行二维空域的PCT变换，计算得到PCT的矩

其中，[·]^*表示复共轭运算，N表示帧宽，M表示帧高，n和l分别表示PCT矩的阶数和重复度，|n|＝|l|＝0,1,...,+∞，H'_nl(x_i,y_i)表示极坐标余弦变换的变换核函数，H'_nl(x_i,y_i)＝cos(πnr²)e^ilθ，其中cos(πnr²)为半径分量，e^ilθ为PCT的角度相关分量，(r,θ)为(x_i,y_j)极坐标下的坐标表示；

步骤23：最后将PCT矩串联成视频的特征V_f，即利用ST-PCT提取的视频特征向量。

4.根据权利要求1所述的基于时空域极坐标余弦变换的鲁棒哈希重复视频检测方法，其特征在于：在步骤3)中，对提取的视频特征进行降维和二值量化的过程包括以下步骤：

步骤31：对提取的视频特征V_f进行PCA降维，降维后的特征表示为V_PCA；

步骤32：对降维后的特征进行量化，将每一个特征V∈V_PCA映射到二进制超立方体空间，并将降维后的数据集V_PCA进行旋转变换，利用欧式距离来度量投影空间和原始特征空间两者间的误差，误差函数如下式(4)所示:

min||B-V_PCAR||² (4)

其中，R为旋转矩阵，B为二值哈希码矩阵；

步骤33：初始化旋转矩阵R为随机矩阵，通过迭代求解优化式(4)求解出最优的旋转矩阵R，并求得对应的二值哈希码矩阵B，即为最终的视频二值哈希码H_f；

在步骤4)中，将步骤33提取的视频二值哈希码H_f与视频库中的已有的视频哈希码集进行海明距离比较，如果海明距离差值超过某个阈值τ_f，则将待查询视频分类为重复视频序列，计算公式如(5)所示：

其中，H_f是待查询视频二值哈希码，H_i'是视频库中视频序列对应的二值哈希码，Dh(·)表示标准海明距离，用布尔类型变量copy(f)是否为1来表示该查询视频是否是重复视频。