CN105141968B - 一种视频同源copy-move篡改检测方法及系统 - Google Patents

Abstract

一种视频同源copy‑move篡改检测方法及系统，首先预处理，包括读入待检测的视频，获取帧图像之间的光流矢量矩阵；粗检，包括利用光流值的一致性对整个视频进行粗检，获取光流值明显突变的帧，判定为疑似的篡改位置；细检，包括基于光流矢量的相关性对光流矢量矩阵缩略处理后，计算与疑似篡改帧序号的光流矢量矩阵具有较强相关性的帧，获取疑似的copy‑move帧对；精化，利用视频时间上的连续性从去除误检帧；最后利用光流的一致性区分复制帧与粘贴帧，对篡改视频进行恢复。本发明比同类现有方法，可更准确地定位复制粘贴帧的篡改位置，并对视频进行恢复，有较好的对抗高斯噪声、滤波处理、二次压缩的鲁棒性，具有较强的实用性。

Description

一种视频同源copy-move篡改检测方法及系统

技术领域

本发明涉及可视媒体信息安全领域，具体涉及一种基于光流矢量的视频同源copy-move篡改检测方法及系统。

背景技术

对可视媒体的恶意篡改可能引起严重的社会及法律问题。由不断发展的信息处理技术篡改的图像或视频可被用作法庭上的虚假证据、新闻报道中具有误导性的信息，以及非法的伪造证明等。因此，对图像视频信息真实性和完整性的鉴别是安全领域中的一个重要研究课题。

一种典型的视频篡改操作是视频的copy-move(同源视频的复制粘贴)篡改，将视频序列的某段子序列进行复制并插入到该视频序列其他时间段上或覆盖其他序列。帧复制篡改通常是为了修改人物的活动时间点或者将人物的活动时间延长，以伪造人物活动的记录，达到混淆视听的作用。针对数字视频篡改的检测方法分为主动检测和被动检测两种。早期的视频篡改检测多为主动检测，如数字水印技术等，但其受限于特殊的拍摄设备，依赖于对视频的预处理。被动检测则不需要在媒体中嵌入任何附加信息，仅通过对媒体数据中存在的固有特征(如纹理特征、运动矢量等)进行提取和分析，以判断视频是否被恶意篡改。因此，被动检测方法的实用性更强。

针对copy-move篡改现有的检测技术较少，多是基于被动检测的方法。W.Wang等人利用视频子序列帧图像的空间特征的相似性来检测视频序列的复制关系，先将视频划分为多个子序列，然后将视频序列完全解码后，提取视频序列每帧图像的空域特征，再统计各子序列的特征，计算子序列间的相似度，算法的计算复杂度很高，并且由于只考虑了视频序列的内容特征，其检测结果的虚警率较高；王俊文等人基于噪声模式的思想，设计出待测帧的噪声与模式噪声的相关性，设定阈值进行篡改检测，但由于噪声的不确定性较大，算法需充分考虑不同压缩标准以及码率对模式噪声的影响，因而鲁棒性较差；秦运龙等人则通过提取视频的GOP内容和运动矢量的特征，并计算所有GOP在内容和运动上的相似性参数来检测视频序列的copy-move篡改，能快速准确地检测出视频序列内的各子序列间是否存在copy-move篡改，但未能准确定位篡改的起始位置，无法准确恢复原始视频，同时难以实现对内容静止不变的视频篡改进行检测；巢娟等人利用光流的一致性进行视频帧间篡改检测，将视频帧的光流矢量的所有值求和，根据光流值的变化率进行定位检测和还原，但对光流矢量求和处理较大程度损失了帧图像间的差异，仅应用于部分静态摄像头拍摄的视频，缺少检测的普适性。

综合分析，目前同源视频的copy-move篡改检测存在以下问题：

(1)无法准确反映视频帧之间的相关性，只能判断视频中是否存在篡改，但无法准确定位篡改位置，因此无法准确恢复原始视频；

(2)特征提取与特征相似度的计算过于复杂，使得检测算法的计算复杂度过高，不易于实现；

(3)只适用于特定压缩标准和码率、以及静态摄像头拍摄的视频，鲁棒性和普适性较差。

因此，一个有效的copy-move篡改检测算法应当实现：较高的检测准确率、较低的计算复杂度和较好的鲁棒性。鉴于已有的基于光流一致性的算法能较好地反映视频图像运动的变化，但将光流矢量矩阵粗略地计算为一个和值，忽略了帧内图像的细节信息；若直接对光流矢量矩阵计算相关性，随着视频帧数的增多，计算复杂度快速增大。因此，本发明综合光流值的一致性和光流矢量的相关性逐层处理，实现对copy-move篡改的检测。

发明内容

鉴于以上所述现有技术存在的问题和不足，本发明技术方案提供的一种视频同源copy-move篡改检测技术方案，先利用光流值的一致性通过窗口法对整个视频进行粗检，获取疑似的篡改位置；再计算与疑似篡改帧的光流矢量矩阵具有较强相似性的帧，获取疑似的copy-move帧对；然后通过视频序列时间上的连续性去除误检帧，精化检测结果；最后利用光流一致性区分复制帧与粘贴帧，恢复篡改视频。

本发明提供一种视频同源copy-move篡改检测方法，所述copy-move表示复制粘贴，包括以下步骤：

步骤S1，预处理，包括读入待检测的视频，记视频总帧数为N，计算获取第i帧图像与第i+1帧图像之间的光流矢量矩阵O_i，1≤i≤N-1；

步骤S2，粗检，包括利用光流值的一致性对整个视频进行粗检，获取光流值明显突变的帧，判定为疑似的篡改位置，将相关的帧序号存入集合C₁；实现方式包括以下子步骤，

步骤S2-1，计算第i帧图像对应的光流值O_sum(i)，光流值O_sum(i)为光流矢量矩阵O_i中各元素的绝对值之和；

步骤S2-2，利用加窗法计算出第i帧图像的光流值与窗口内其他图像帧的光流值平均值的比值，获取第i帧图像光流值的变化率β_i；

步骤S2-3，对光流值的变化率进行阈值判断，若β_i大于等于预设的相应阈值，则说明第i帧与第i+1帧图像之间可能存在篡改，判定为疑似的篡改位置，将相关的帧序号i-1、i、i+1存入集合C₁，设集合C₁有M个帧序号，M≤N-1；

步骤S3，细检，包括基于光流矢量的相关性对光流矢量矩阵缩略处理后，计算与疑似篡改帧序号的光流矢量矩阵具有较强相关性的帧，获取疑似的copy-move帧对，存入集合C₂；实现方式包括以下子步骤，

步骤S3-1，利用预设的缩略因子d对光流矢量矩阵O_i进行缩略，得到缩略矩阵O′_i；

步骤S3-2，对帧序号属于集合C₁中的任一帧，设帧序号为j，依次求解各缩略矩阵O′_i与第j帧图像对应的缩略矩阵O'_j的线性相关度值cor(i,j)，针对第j帧得到的N-1个线性相关度值cor(i,j)，构成相关系数行向量C_1×(N-1)；

步骤S3-3，对帧序号属于集合C₁中的各帧图像相应相关性系数行向量C_1×(N-1)的元素进行阈值判断，若某元素大于预设相应阈值，判断为疑似的copy-move帧对，将相应帧序号对加入集合C₂；

步骤S4，精化，利用视频时间上的连续性从去除误检帧；实现方式包括以下子步骤，

步骤S4-1，对于帧序号对(i,j)∈C₂，若帧序号满足|j-i|＜W，则从集合C₂中删除；

步骤S4-2，对于帧序号对(i,j)∈C₂，计算帧序号对(i-1,j-1)、(i+1,j+1)帧对的线性相关度值cor(i-1,j-1)、cor(i+1,j+1)，若cor(i-1,j-1)、cor(i+1,j+1)均小于相应的预设阈值，则从集合C₂中删除；

步骤S4-3，对集合C₂中的元素进行整合，先调整帧序号对(i,j)满足i＜j，再寻找满足下式的元素对(i_p,j_p)和(i_q,j_q)，

j_q-j_p＝i_q-i_p且j_q-i_q＝j_p-i_p，

其中，p、q为复制粘贴帧对(i,j)依次在集合C₂中的位置，设j_q＞j_p、i_q＞i_p，j_q-j_p＝i_q-i_p＝k；

则判断图像序列{j_p,j_p+1,...,j_q,j_q+1}与{i_p,i_p+1,...,i_q,i_q+1}是复制粘贴关系，且篡改帧数为k+1；

步骤S5，利用光流的一致性对步骤4所得{j_p,j_p+1,...,j_q,j_q+1}与{i_p,i_p+1,...,i_q,i_q+1}区别复制帧与粘贴帧，对篡改视频进行恢复。

而且，步骤S5的实现如下，

对于步骤4所得图像序列{j_p,j_p+1,...,j_q,j_q+1}与{i_p,i_p+1,...,i_q,i_q+1}的起始帧第i_p帧、第j_p帧，与步骤2中所得集合C₁进行对比，若i_p∈C₁，则i_p为复制序列段的起始帧序号，i_q+1为复制序列段的终止帧序号，j_p为粘贴序列段的起始帧序号，j_q+1为粘贴序列段的终止帧序号；否则，j_p∈C₁，则第j_p帧为粘贴帧序列的起始帧，j_q+1为复制序列段的终止帧序号，i_p为粘贴序列段的起始帧序号，i_q+1为粘贴序列段的终止帧序号；

将粘贴序列段删除，得到copy-move篡改前的原始视频。

而且，所述线性相关度值的求取如下，

设第i帧图像对应的缩略矩阵O′_i相应一维的行向量为O″_i，第j帧图像对应的缩略矩阵O'_j相应一维的行向量为O″_j，设行向量O″_i与O″_j各有S个元素，分别记为x_t、y_t，1≤t≤S，利用如下公式计算向量O″_i与O″_j的相关系数cor，作为线性相关度值cor(i,j)，

$cor=\frac{\underset{t=1}{\overset{S}{\Σ}}(x_t-\stackrel{\‾}{x})(y_t-\stackrel{\‾}{y})}{\sqrt{\underset{t=1}{\overset{S}{\Σ}}{(x_t-\stackrel{\‾}{x})}^2\·\underset{t=1}{\overset{S}{\Σ}}{(y_t-\stackrel{\‾}{y})}^2}}$

其中，分别为行向量O″_i与O″_j的元素均值。

本发明还相应提供一种视频同源copy-move篡改检测系统，所述copy-move表示复制粘贴，包括以下模块：

预处理模块，用于读入待检测的视频，记视频总帧数为N，计算获取第i帧图像与第i+1帧图像之间的光流矢量矩阵O_i，1≤i≤N-1；

粗检模块，用于利用光流值的一致性对整个视频进行粗检，获取光流值明显突变的帧，判定为疑似的篡改位置，将相关的帧序号存入集合C₁；包括以下子模块，

光流值提取子模块，用于计算第i帧图像对应的光流值O_sum(i)，光流值O_sum(i)为光流矢量矩阵O_i中各元素的绝对值之和；

光流变化率提取子模块，用于利用加窗法计算出第i帧图像的光流值与窗口内其他图像帧的光流值平均值的比值，获取第i帧图像光流值的变化率β_i；

变化率阈值判断子模块，用于对光流值的变化率进行阈值判断，若β_i大于等于预设的相应阈值，则说明第i帧与第i+1帧图像之间可能存在篡改，判定为疑似的篡改位置，将相关的帧序号i-1、i、i+1存入集合C₁，设集合C₁有M个帧序号，M≤N-1；

细检模块，用于基于光流矢量的相关性对光流矢量矩阵缩略处理后，计算与疑似篡改帧序号的光流矢量矩阵具有较强相关性的帧，获取疑似的copy-move帧对，存入集合C₂；包括以下子模块，

缩略矩阵提取子模块，用于利用预设的缩略因子d对光流矢量矩阵O_i进行缩略，得到缩略矩阵O′_i；

相关度提取子模块，用于对帧序号属于集合C₁中的任一帧，设帧序号为j，依次求解各缩略矩阵O′_i与第j帧图像对应的缩略矩阵O'_j的线性相关度值cor(i,j)，针对第j帧得到的N-1个线性相关度值cor(i,j)，构成相关系数行向量C_1×(N-1)；

相关度阈值判断子模块，用于对帧序号属于集合C₁中的各帧图像相应相关性系数行向量C_1×(N-1)的元素进行阈值判断，若某元素大于预设相应阈值，判断为疑似的copy-move帧对，将相应帧序号对加入集合C₂；

精化模块，用于利用视频时间上的连续性从去除误检帧；包括以下子模块，

第一精化子模块，用于对于帧序号对(i,j)∈C₂，若帧序号满足|j-i|＜W，则从集合C₂中删除；

第二精化子模块，用于对于帧序号对(i,j)∈C₂，计算帧序号对(i-1,j-1)、(i+1,j+1)帧对的线性相关度值cor(i-1,j-1)、cor(i+1,j+1)，若cor(i-1,j-1)、cor(i+1,j+1)均小于相应的预设阈值，则从集合C₂中删除；

整合子模块，用于对集合C₂中的元素进行整合，先调整帧序号对(i,j)满足i＜j，再寻找满足下式的元素对(i_p,j_p)和(i_q,j_q)，

j_q-j_p＝i_q-i_p且j_q-i_q＝j_p-i_p，

其中，p、q为复制粘贴帧对(i,j)依次在集合C₂中的位置，设j_q＞j_p、i_q＞i_p，j_q-j_p＝i_q-i_p＝k；

则判断图像序列{j_p,j_p+1,...,j_q,j_q+1}与{i_p,i_p+1,...,i_q,i_q+1}是复制粘贴关系，且篡改帧数为k+1；

恢复模块，用于利用光流的一致性对精化模块所得{j_p,j_p+1,...,j_q,j_q+1}与{i_p,i_p+1,...,i_q,i_q+1}区别复制帧与粘贴帧，对篡改视频进行恢复。

而且，恢复模块的实现如下，

对于精化模块所得图像序列{j_p,j_p+1,...,j_q,j_q+1}与{i_p,i_p+1,...,i_q,i_q+1}的起始帧第i_p帧、第j_p帧，与粗检模块中所得集合C₁进行对比，若i_p∈C₁，则i_p为复制序列段的起始帧序号，i_q+1为复制序列段的终止帧序号，j_p为粘贴序列段的起始帧序号，j_q+1为粘贴序列段的终止帧序号；否则，j_p∈C₁，则第j_p帧为粘贴帧序列的起始帧，j_q+1为复制序列段的终止帧序号，i_p为粘贴序列段的起始帧序号，i_q+1为粘贴序列段的终止帧序号；

将粘贴序列段删除，得到copy-move篡改前的原始视频。

而且，所述线性相关度值的求取如下，

设第i帧图像对应的缩略矩阵O′_i相应一维的行向量为O″_i，第j帧图像对应的缩略矩阵O'_j相应一维的行向量为O″_j，设行向量O″_i与O″_j各有S个元素，分别记为x_t、y_t，1≤t≤S，利用如下公式计算向量O″_i与O″_j的相关系数cor，作为线性相关度值cor(i,j)，

$cor=\frac{\underset{t=1}{\overset{S}{\Σ}}(x_t-\stackrel{\‾}{x})(y_t-\stackrel{\‾}{y})}{\sqrt{\underset{t=1}{\overset{S}{\Σ}}{(x_t-\stackrel{\‾}{x})}^2\·\underset{t=1}{\overset{S}{\Σ}}{(y_t-\stackrel{\‾}{y})}^2}}$

其中，分别为行向量O″_i与O″_j的元素均值。

与现有的技术相比，本发明具有以下优点和有益效果：

(1)本发明提取视频帧的光流矢量参数，通过相邻帧变化程度的相关性反映帧与帧之间的相关性，可以准确定位复制粘贴帧，并能恢复出原始视频。

(2)本发明的检测过程总结为粗检-细检-精化，通过光流值的一致性得到初步的检测结果；再对光流矢量矩阵进行缩略处理，针对初步的检测结果求解较强相关性的帧，得到疑似的复制粘贴帧对；再通过视频序列时间上的特性进行误检帧的去除。由粗到细逐层检测，有效降低了计算的复杂度。

(3)本发明可以不仅适用于静态摄像头拍摄的视频，也适用于运动摄像头拍摄的视频。经过大量实验证明，本发明的方法对直接copy-move的篡改视频检测效果准确，对于经过二次处理(如滤波、加噪、二次压缩)后复制粘贴篡改的视频具备一定的鲁棒性，有较强的实用性。

附图说明

图1是本发明实施例的总体流程图。

图2是本发明实施例的视频序列copy-move篡改的示意图。

图3是本发明实施例的光流值序列的分布图；其中图3a为X方向光流值的分布图，图3b为Y方向光流值的分布图。

具体实施方式

下面结合附图及实施例，对本发明进行进一步详细说明。

本发明技术方案所提供方法可采用计算机软件技术实现自动运行流程，如图1所示。其中，通过将视频序列的某段子序列进行复制并插入到该视频序列其他时间段上或覆盖其他序列，以达到混淆视听的作用，进行一次copy-move的篡改方式如图2所示，原始视频序列包括的子序列帧序号依次有1、2、…、m-1、m、…、n、n+1、…、p、p+1…，粘贴后视频序列的子序列帧序号依次有1、2、…、m-1、m、…、n、n+1、…、p、m、…、n、p+1…，即在子序列p、p+1之间插入了子序列m、…、n可构成直接的篡改视频，也存在对粘贴后视频序列进行诸如滤波、加噪、重编码等的二次操作。

视频的copy-move篡改中，被插入的视频序列是从当前视频其他时间段序列复制而来，因此可以通过检测视频子序列间的相似性来检测这种篡改。本发明选取相邻帧图像的光流矢量来反映帧图像间的相关性，光流矢量是图像上点的亮度模式的表观运动。相同或相似的两帧图像的光流矢量矩阵会具备较强的相关性。通过图像与其相邻帧光流矢量的相关性检测视频序列的copy-move篡改。

下面以帧图像大小为352×288，帧数为300帧的yuv视频为例，其中视频篡改方式为：将第61～70帧复制一次并插入到120帧后，形成310帧的篡改视频，即待检测的视频。需说明的是：执行同一段序列的多次复制篡改或者进行多次不同序列段的copy-move篡改，检测思路类似。参见图1，本发明基于光流矢量相关性的视频同源copy-move篡改检测方法的实施例具体流程包括：

步骤S1，预处理：读入待检测的视频，提取并保存各帧图像；利用Lucas-Kanade光流算法计算光流矢量矩阵，记录相邻两帧图像各点的运动变化。

实施例中，读入待检测的视频，记视频总帧数为N，帧图像尺寸为m×n，其中，m为行数，n为列数，提取并保存各帧图像为jpg格式；利用现有的Lucas-Kanade光流算法(可简称L-K光流法)获取第i帧(1≤i≤N-1)与其下一帧i+1帧之间的光流矢量矩阵O_i(m×n)，简化记为O_i。具体实施时，通过L-K光流法可以获取相邻帧之间的光流场在x运动方向上的矢量矩阵为OX_(m×n)、在y运动方向上的矢量矩阵为OY_(m×n)，由于OX_(m×n)与OY_(m×n)变化规律相近，具体实施时，可以任选其一作为所需光流矢量矩阵进行后续操作，也可以分别作为光流矢量矩阵进行后续操作后综合结果。实施例选择光流矢量矩阵O_i(m×n)＝OX_(m×n)为例作说明，若选择OY_(m×n)执行相同操作即可。

实施例中，读入的待检测的视频：m×n＝352×288，N＝310。

利用L-K光流算法获取第i帧(1≤i≤309)与i+1帧之间的光流矢量矩阵O_i(352×288)＝OX_i(352×288)。OX_i(352×288)为第i帧与其下一帧i+1帧之间的光流场在x运动方向上的矢量矩阵，简化记为O_i。

步骤S2，粗检：利用光流值的一致性对整个视频进行粗检，获取光流值明显突变的帧。判定为疑似的篡改位置，存入集合C₁。

实施例中，获取的视频序列的光流值变化图如图3所示，图中方框内分别为复制帧与粘贴帧序列，可见粘贴帧序列的起始帧、终止帧处光流值的一致性被破坏，出现了明显的峰值。其中图3a为X方向光流值的分布图，图3b为Y方向光流值的分布图。具体实现如下：

S2-1，计算第i帧(1≤i≤N-1)图像对应的光流值O_sum(i)，光流值O_sum(i)为原始的光流矢量矩阵O_i中各元素O_i(x,y)的绝对值之和。如下式所示：

$O_{sum}\left(i\right)=\underset{x=1}{\overset{m}{\Σ}}\underset{y=1}{\overset{n}{\Σ}}\left|O_i(x,y)\right|$

其中，(x,y)表示帧图像中的像素坐标，O_i(x,y)为光流矢量矩阵中(x,y)处元素。

S2-2，利用加窗法(具体实施时宽度值T可由本领域技术人员自行预设为经验值，例如取值2)对各帧分别加窗并计算出该帧的光流值与窗口内其他图像帧的光流值平均值的比值，获取该帧(第i帧)光流值的变化率β_i，如下公式所示。理论上，自然连续的视频位置相近的帧的光流值差异较小，计算得到的变化率约为1；而篡改位置的帧的光流值会因破坏了视频的连续性形成脉冲值，得到的变化率会明显大于1。

${\mathrm{\β}}_i=\frac{O_{sum}\left(i\right)}{\left(\underset{k=1}{\overset{T}{\Σ}}\right(O_{sum}(i-k)+O_{sum}(i+k)\left)\right)/2T}$

其中，O_sum(i-k)为第i-k帧图像对应的光流值，O_sum(i+k)为第i+k帧图像对应的光流值，k表示窗口内的值，k＝1,2,…,T。

S2-3，对光流值的变化率进行阈值判断(具体实施时阈值可由本领域技术人员自行设定，例如预设为经验值1.5)，获取光流值有明显突变的帧序号。即，若β_i≥1.5，则说明当前帧第i帧与其相邻帧第i+1帧图像有较大差异，即第i帧或第i+1帧处可能存在篡改，判定为疑似的篡改位置，由于光流矢量是由相邻两帧图像计算得到，故将相关的帧序号i-1、i、i+1存入集合C₁，设集合C₁有M个帧序号，M≤N-1。

步骤S3，细检：进一步细检，基于光流矢量的相关性对光流矢量矩阵缩略处理后，依次计算与疑似篡改帧序号的光流矢量矩阵具有较强相关性的帧，获取疑似的copy-move帧对(复制粘贴帧对)，存入集合C₂。

实施例中，利用缩略因子d(具体实施时d值可由本领域技术人员根据视频帧的尺寸自行设定，例如实施例预设为4)对光流矢量矩阵进行缩略。取d＝4，得到缩略的光流矢量矩阵为O′_(88×72)，第i帧简化记为缩略矩阵O′_i。再依次计算与集合C₁中疑似篡改帧序号的光流矢量矩阵具有较强相关性的帧，获取疑似的copy-move帧对，实现如下：

S3-1，第i帧(1≤i≤N-1)与其相邻帧i+1帧的光流矢量矩阵为O_i，为减低计算复杂度，用参数d对O_i进行取样，得到缩略矩阵O′_i；

S3-2，对帧序号属于集合C₁中的任一帧，设帧序号为j，依次求解各缩略矩阵O′_i(1≤i≤N-1)与第j帧图像对应的缩略矩阵O'_j的线性相关度值cor(i,j)，构成皮尔逊相关系数向量C_1×(N-1)。具体则为：将O′_i(1≤i≤N-1)转为一维行向量O″_i，同样O'_j转为一维行向量O″_j，设行向量O″_i与O″_j各有S个元素，分别记为x_t、y_t，1≤t≤S，元素均值分别为利用如下公式计算向量O″_i与O″_j的相关系数cor，作为线性相关度值cor(i,j)，

$cor=\frac{\underset{t=1}{\overset{S}{\Σ}}(x_t-\stackrel{\‾}{x})(y_t-\stackrel{\‾}{y})}{\sqrt{\underset{t=1}{\overset{S}{\Σ}}{(x_t-\stackrel{\‾}{x})}^2\·\underset{t=1}{\overset{S}{\Σ}}{(y_t-\stackrel{\‾}{y})}^2}}$

针对第j帧得到的N-1个线性相关度值cor(i,j)，构成相关系数行向量C_1×(N-1)，其中的元素第j个元素为1，因为i＝j时，两个相同位置的同一帧的相关性为最大值1；

S3-3，对帧序号属于集合C₁中的各帧图像相应相关性系数行向量C_1×(N-1)的元素进行阈值判断，若某元素大于预设相应阈值，判断为疑似的copy-move帧对，获取具有较强相关(具体实施时大于的相应阈值α可由本领域技术人员自行设定，实施例预设为经验值0.5)的光流矢量矩阵相应序列号(即相应帧序号对(i,j))，得到复制粘贴篡改位置的候选帧对集合C₂。

实施例在阈值α＝0.5时，获取较强光流矢量相关性(大于0.5)的元素的序号，存入候选帧集合C₂，判定这些图像间可能存在复制粘贴关系；

步骤S4，精化：利用视频时间上的连续性去除误检帧。

实施例中，由于视频运动相对平缓，相邻或位置相近帧之间也可能存在运动变化的较强相关性而产生的误检帧，故对复制粘贴篡改位置的候选帧集合C₂中的元素进行进一步的判断。具体实现如下，

S4-1，对于元素(i,j)∈C₂，若帧序号满足|j-i|＜W，则判定(i,j)为帧位置相近引起的误检帧，从集合中删除，具体实施时，误检的相应阈值W可由本领域技术人员根据复制篡改的帧数自行预先设定，实施例预设为5；

S4-2，计算(i-1,j-1)、(i+1,j+1)帧对的光流矢量的线性相关度值cor(i-1,j-1)、cor(i+1,j+1)，可根据之前步骤S3-2同样的计算方式基于相应缩略矩阵得到，若cor(i-1,j-1)、cor(i+1,j+1)均小于阈值η(具体实施时η值可由本领域技术人员根自行设定，例如预设为经验值0.4)，依据复制帧序列的连续性，则判断(i,j)为误检帧，从集合中删除；

S4-3，对当前集合C₂中的剩余元素进行整合，先调整复制粘贴帧对的帧序号元素(i,j)满足i＜j，即判断：若i＞j，互换(i,j)中i、j位置；若i＜j，则不变，再寻找满足下式的元素对(i_p,j_p)和(i_q,j_q)：

j_q-j_p＝i_q-i_p且j_q-i_q＝j_p-i_p，

其中，p、q为复制粘贴帧对(i,j)依次在集合C₂中的位置，设j_q＞j_p、i_q＞i_p，得到j_q-j_p＝i_q-i_p＝k；前式验证了复制序列的帧数与粘贴序列的帧数相等；后式验证了复制序列、粘贴序列的起始帧帧序号差值与终止帧的帧序号差值相等，即间隔相等。

则得到{j_p,j_p+1,...,j_q,j_q+1}与{i_p,i_p+1,...,i_q,i_q+1}是复制粘贴关系，且篡改帧数为k+2。从而获得复制粘贴序列段的起始、终止位置，即：j_p～j_q+1帧与i_p～i_q+1帧为复制粘贴关系。

步骤S5，利用光流的一致性区别复制帧与粘贴帧，对篡改视频进行恢复。具体步骤如下，

S5-1，根据光流值的一致性通过窗口法判断区分复制、粘贴序列。对于步骤4中判断的复制/粘贴序列的起始帧第i_p帧、第j_p帧，与步骤2中利用光流一致性得到的疑似篡改帧集合C₁进行对比，若i_p∈C₁，则第i_p帧的光流值存在较大峰值，即较强的不连续性，为粘贴帧序列的起始帧，即i_p为复制序列段的起始帧序号，i_q+1为复制序列段的终止帧序号；相应地，j_p为粘贴序列段的起始帧序号，j_q+1为粘贴序列段的终止帧序号。否则，j_p∈C₁，则第j_p帧为粘贴帧序列的起始帧，j_q+1为复制序列段的终止帧序号，i_p为粘贴序列段的起始帧序号，i_q+1为粘贴序列段的终止帧序号。

S5-2，将粘贴序列段删除，即得到copy-move篡改前的原始视频。

具体实施时，也可采用模块化方式提供相应系统。本发明实施例还提供一种视频同源copy-move篡改检测系统，所述copy-move表示复制粘贴，包括以下模块：

预处理模块，用于读入待检测的视频，记视频总帧数为N，计算获取第i帧图像与第i+1帧图像之间的光流矢量矩阵O_i，1≤i≤N-1；

粗检模块，用于利用光流值的一致性对整个视频进行粗检，获取光流值明显突变的帧，判定为疑似的篡改位置，将相关的帧序号存入集合C₁；包括以下子模块，

光流值提取子模块，用于计算第i帧图像对应的光流值O_sum(i)，光流值O_sum(i)为光流矢量矩阵O_i中各元素的绝对值之和；

光流变化率提取子模块，用于利用加窗法计算出第i帧图像的光流值与窗口内其他图像帧的光流值平均值的比值，获取第i帧图像光流值的变化率β_i；

变化率阈值判断子模块，用于对光流值的变化率进行阈值判断，若β_i大于等于预设的相应阈值，则说明第i帧与第i+1帧图像之间可能存在篡改，判定为疑似的篡改位置，将相关的帧序号i-1、i、i+1存入集合C₁，设集合C₁有M个帧序号，M≤N-1；

细检模块，用于基于光流矢量的相关性对光流矢量矩阵缩略处理后，计算与疑似篡改帧序号的光流矢量矩阵具有较强相关性的帧，获取疑似的copy-move帧对，存入集合C₂；包括以下子模块，

缩略矩阵提取子模块，用于利用预设的缩略因子d对光流矢量矩阵O_i进行缩略，得到缩略矩阵O′_i；

相关度提取子模块，用于对帧序号属于集合C₁中的任一帧，设帧序号为j，依次求解各缩略矩阵O′_i与第j帧图像对应的缩略矩阵O'_j的线性相关度值cor(i,j)，针对第j帧得到的N-1个线性相关度值cor(i,j)，构成相关系数行向量C_1×(N-1)；

相关度阈值判断子模块，用于对帧序号属于集合C₁中的各帧图像相应相关性系数行向量C_1×(N-1)的元素进行阈值判断，若某元素大于预设相应阈值，判断为疑似的copy-move帧对，将相应帧序号对加入集合C₂；

精化模块，用于利用视频时间上的连续性从去除误检帧；包括以下子模块，

第一精化子模块，用于对于帧序号对(i,j)∈C₂，若帧序号满足|j-i|＜W，则从集合C₂中删除；

第二精化子模块，用于对于帧序号对(i,j)∈C₂，计算帧序号对(i-1,j-1)、(i+1,j+1)帧对的线性相关度值cor(i-1,j-1)、cor(i+1,j+1)，若cor(i-1,j-1)、cor(i+1,j+1)均小于相应的预设阈值，则从集合C₂中删除；

整合子模块，用于对集合C₂中的元素进行整合，先调整帧序号对(i,j)满足i＜j，再寻找满足下式的元素对(i_p,j_p)和(i_q,j_q)，

j_q-j_p＝i_q-i_p且j_q-i_q＝j_p-i_p，

其中，p、q为复制粘贴帧对(i,j)依次在集合C₂中的位置，设j_q＞j_p、i_q＞i_p，j_q-j_p＝i_q-i_p＝k；

则判断图像序列{j_p,j_p+1,...,j_q,j_q+1}与{i_p,i_p+1,...,i_q,i_q+1}是复制粘贴关系，且篡改帧数为k+1；

恢复模块，用于利用光流的一致性对精化模块所得{j_p,j_p+1,...,j_q,j_q+1}与{i_p,i_p+1,...,i_q,i_q+1}区别复制帧与粘贴帧，对篡改视频进行恢复。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明，并不用于限定本发明。本发明所属技术领域的技术人员可以对所描述的具体实施做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (4)

1.一种视频同源copy-move篡改检测方法，所述copy-move表示复制粘贴，其特征在于，包括以下步骤：

步骤S1，预处理，包括读入待检测的视频，记视频总帧数为N，计算获取第i帧图像与第i+1帧图像之间的光流矢量矩阵O_i，1≤i≤N-1；

步骤S2，粗检，包括利用光流值的一致性对整个视频进行粗检，获取光流值明显突变的帧，判定为疑似的篡改位置，将相关的帧序号存入集合C₁；实现方式包括以下子步骤，

步骤S2-1，计算第i帧图像对应的光流值O_sum(i)，光流值O_sum(i)为光流矢量矩阵O_i中各元素的绝对值之和；

步骤S2-2，利用加窗法计算出第i帧图像的光流值与窗口内其他图像帧的光流值平均值的比值，获取第i帧图像光流值的变化率β_i；

步骤S2-3，对光流值的变化率进行阈值判断，若β_i大于等于预设的相应阈值，则说明第i帧与第i+1帧图像之间可能存在篡改，判定为疑似的篡改位置，将相关的帧序号i-1、i、i+1存入集合C₁，设集合C₁有M个帧序号，M≤N-1；

步骤S3，细检，包括基于光流矢量的相关性对光流矢量矩阵缩略处理后，计算与疑似篡改帧序号的光流矢量矩阵具有较强相关性的帧，获取疑似的copy-move帧对，存入集合C₂；

实现方式包括以下子步骤，

步骤S3-1，利用预设的缩略因子d对光流矢量矩阵O_i进行缩略，得到缩略矩阵O′_i；

步骤S3-2，对帧序号属于集合C₁中的任一帧，设帧序号为j，依次求解各缩略矩阵O_i'与第j帧图像对应的缩略矩阵O′_j的线性相关度值cor(i,j)，针对第j帧得到的N-1个线性相关度值cor(i,j)，构成相关系数行向量C_1×(N-1)；

步骤S3-3，对帧序号属于集合C₁中的各帧图像相应相关性系数行向量C_1×(N-1)的元素进行阈值判断，若某元素大于预设相应阈值，判断为疑似的copy-move帧对，将相应帧序号对加入集合C₂；

步骤S4，精化，利用视频时间上的连续性去除误检帧；实现方式包括以下子步骤，

步骤S4-1，对于帧序号对(i,j)∈C₂，若帧序号满足|j-i|＜W，则从集合C₂中删除；

步骤S4-2，对于帧序号对(i,j)∈C₂，计算帧序号对(i-1,j-1)、(i+1,j+1)帧对的线性相关度值cor(i-1,j-1)、cor(i+1,j+1)，若cor(i-1,j-1)、cor(i+1,j+1)均小于相应的预设阈值，则从集合C₂中删除；

步骤S4-3，对集合C₂中的元素进行整合，先调整帧序号对(i,j)满足i＜j，再寻找满足下式的元素对(i_p,j_p)和(i_q,j_q)，

j_q-j_p＝i_q-i_p且j_q-i_q＝j_p-i_p，

其中，p、q为复制粘贴帧对(i,j)依次在集合C₂中的位置，设j_q＞j_p、i_q＞i_p，j_q-j_p＝i_q-i_p＝k；

则判断图像序列{j_p,j_p+1,...,j_q,j_q+1}与{i_p,i_p+1,...,i_q,i_q+1}是复制粘贴关系，且篡改帧数为k+1；

步骤S5，利用光流的一致性对步骤4所得{j_p,j_p+1,...,j_q,j_q+1}与{i_p,i_p+1,...,i_q,i_q+1}区别复制帧与粘贴帧，对篡改视频进行恢复；实现方式如下，

对于步骤4所得图像序列{j_p,j_p+1,...,j_q,j_q+1}与{i_p,i_p+1,...,i_q,i_q+1}的起始帧第i_p帧、第j_p帧，与步骤2中所得集合C₁进行对比，若i_p∈C₁，则i_p为复制序列段的起始帧序号，i_q+1为复制序列段的终止帧序号，j_p为粘贴序列段的起始帧序号，j_q+1为粘贴序列段的终止帧序号；否则，j_p∈C₁，则第j_p帧为粘贴帧序列的起始帧，j_q+1为复制序列段的终止帧序号，i_p为粘贴序列段的起始帧序号，i_q+1为粘贴序列段的终止帧序号；

将粘贴序列段删除，得到copy-move篡改前的原始视频。

2.根据权利要求1所述视频同源copy-move篡改检测方法，其特征在于：所述线性相关度值的求取如下，

设第i帧图像对应的缩略矩阵O_i'相应一维的行向量为O″_i，第j帧图像对应的缩略矩阵O′_j相应一维的行向量为O″_j，设行向量O″_i与O″_j各有S个元素，分别记为x_t、y_t，1≤t≤S，利用如下公式计算向量O″_i与O″_j的相关系数cor，作为线性相关度值cor(i,j)，

$cor=\frac{\underset{t=1}{\overset{S}{\Σ}}(x_t-\stackrel{\‾}{x})(y_t-\stackrel{\‾}{y})}{\sqrt{\underset{t=1}{\overset{S}{\Σ}}{(x_t-\stackrel{\‾}{x})}^2\·\underset{t=1}{\overset{S}{\Σ}}{(y_t-\stackrel{\‾}{y})}^2}}$

其中，分别为行向量O″_i与O″_j的元素均值。

3.一种视频同源copy-move篡改检测系统，所述copy-move表示复制粘贴，其特征在于，包括以下模块：

预处理模块，用于读入待检测的视频，记视频总帧数为N，计算获取第i帧图像与第i+1帧图像之间的光流矢量矩阵O_i，1≤i≤N-1；

粗检模块，用于利用光流值的一致性对整个视频进行粗检，获取光流值明显突变的帧，判定为疑似的篡改位置，将相关的帧序号存入集合C₁；包括以下子模块，

光流值提取子模块，用于计算第i帧图像对应的光流值O_sum(i)，光流值O_sum(i)为光流矢量矩阵O_i中各元素的绝对值之和；

光流变化率提取子模块，用于利用加窗法计算出第i帧图像的光流值与窗口内其他图像帧的光流值平均值的比值，获取第i帧图像光流值的变化率β_i；

变化率阈值判断子模块，用于对光流值的变化率进行阈值判断，若β_i大于等于预设的相应阈值，则说明第i帧与第i+1帧图像之间可能存在篡改，判定为疑似的篡改位置，将相关的帧序号i-1、i、i+1存入集合C₁，设集合C₁有M个帧序号，M≤N-1；

细检模块，用于基于光流矢量的相关性对光流矢量矩阵缩略处理后，计算与疑似篡改帧序号的光流矢量矩阵具有较强相关性的帧，获取疑似的copy-move帧对，存入集合C₂；包括以下子模块，

缩略矩阵提取子模块，用于利用预设的缩略因子d对光流矢量矩阵O_i进行缩略，得到缩略矩阵O′_i；

相关度提取子模块，用于对帧序号属于集合C₁中的任一帧，设帧序号为j，依次求解各缩略矩阵O_i'与第j帧图像对应的缩略矩阵O′_j的线性相关度值cor(i,j)，针对第j帧得到的N-1个线性相关度值cor(i,j)，构成相关系数行向量C_1×(N-1)；

相关度阈值判断子模块，用于对帧序号属于集合C₁中的各帧图像相应相关性系数行向量C_1×(N-1)的元素进行阈值判断，若某元素大于预设相应阈值，判断为疑似的copy-move帧对，将相应帧序号对加入集合C₂；

精化模块，用于利用视频时间上的连续性去除误检帧；包括以下子模块，

第一精化子模块，用于对于帧序号对(i,j)∈C₂，若帧序号满足|j-i|＜W，则从集合C₂中删除；

第二精化子模块，用于对于帧序号对(i,j)∈C₂，计算帧序号对(i-1,j-1)、(i+1,j+1)帧对的线性相关度值cor(i-1,j-1)、cor(i+1,j+1)，若cor(i-1,j-1)、cor(i+1,j+1)均小于相应的预设阈值，则从集合C₂中删除；

整合子模块，用于对集合C₂中的元素进行整合，先调整帧序号对(i,j)满足i＜j，再寻找满足下式的元素对(i_p,j_p)和(i_q,j_q)，

j_q-j_p＝i_q-i_p且j_q-i_q＝j_p-i_p，

其中，p、q为复制粘贴帧对(i,j)依次在集合C₂中的位置，设j_q＞j_p、i_q＞i_p，j_q-j_p＝i_q-i_p＝k；

则判断图像序列{j_p,j_p+1,...,j_q,j_q+1}与{i_p,i_p+1,...,i_q,i_q+1}是复制粘贴关系，且篡改帧数为k+1；

恢复模块，用于利用光流的一致性对精化模块所得{j_p,j_p+1,...,j_q,j_q+1}与{i_p,i_p+1,...,i_q,i_q+1}区别复制帧与粘贴帧，对篡改视频进行恢复；实现方式如下，

对于精化模块所得图像序列{j_p,j_p+1,...,j_q,j_q+1}与{i_p,i_p+1,...,i_q,i_q+1}的起始帧第i_p帧、第j_p帧，与粗检模块中所得集合C₁进行对比，若i_p∈C₁，则i_p为复制序列段的起始帧序号，i_q+1为复制序列段的终止帧序号，j_p为粘贴序列段的起始帧序号，j_q+1为粘贴序列段的终止帧序号；否则，j_p∈C₁，则第j_p帧为粘贴帧序列的起始帧，j_q+1为复制序列段的终止帧序号，i_p为粘贴序列段的起始帧序号，i_q+1为粘贴序列段的终止帧序号；

将粘贴序列段删除，得到copy-move篡改前的原始视频。

4.根据权利要求3所述视频同源copy-move篡改检测系统，其特征在于：所述线性相关度值的求取如下，

设第i帧图像对应的缩略矩阵O_i'相应一维的行向量为O″_i，第j帧图像对应的缩略矩阵O′_j相应一维的行向量为O″_j，设行向量O″_i与O″_j各有S个元素，分别记为x_t、y_t，1≤t≤S，利用如下公式计算向量O″_i与O″_j的相关系数cor，作为线性相关度值cor(i,j)，

$cor=\frac{\underset{t=1}{\overset{S}{\Σ}}(x_t-\stackrel{\‾}{x})(y_t-\stackrel{\‾}{y})}{\sqrt{\underset{t=1}{\overset{S}{\Σ}}{(x_t-\stackrel{\‾}{x})}^2\·\underset{t=1}{\overset{S}{\Σ}}{(y_t-\stackrel{\‾}{y})}^2}}$

其中，分别为行向量O″_i与O″_j的元素均值。