CN103559718A - 基于稀疏表示的过完备字典训练的视频篡改检测方法 - Google Patents

Abstract

本发明涉及电子取证领域，针对视频静止背景下的运动前景进行删除操作的篡改检测的方法，其过程是：求差异帧及分块，求它们的差异帧ΔI ；进行自适应稀疏化；选定一个测量矩阵Θ进行稀疏测量；对稀疏测量得到的特征向量分类类别使用k-means聚类算法进行特征聚类处理；通过聚类处理，基于稀疏表示的过完备字典训练的视频篡改检测方法。本发明检测结果直观，拥有较强的鲁棒性，可有效抵抗拍摄场景中的随风摆动的树木、花草等因素的影响，抗干扰能力强，检测结果准确，拥有较强的实际应用价值；需要配置参数较少，极大地方便了用户的使用。

Description

基于稀疏表示的过完备字典训练的视频篡改检测方法

技术领域

本发明涉及电子取证领域，针对视频静止背景下的运动前景进行删除操作的篡改检测的方法。

背景技术

随着数字多媒体技术的发展，数字照相机、摄像机、手持DV等多媒体采集设备已经渐渐成为人们生活中的一部分。同时，大量的针对视频处理的软件也被广泛的运用，如Adobe公司开发的Photoshop、Premiere pro，Imagineer Systems公司开发的Mokey，这些软件使得非专业人士经过简单的学习就可以轻易地对视频进行篡改，达到以假乱真的效果。然而，经过篡改的视频通常会改变其视频内容和意义，掩盖视频所反映的真实情况，这些视频有可能被恶意的用于媒体宣传、科学发现、保险和法庭证物，无疑会对政治和社会各个方面产生严重的影响。因此，对视频的真实性和完整性的认证已经显得越来越重要和紧迫。

使用视频处理软件对视频中的不需要的运动物体进行删除操作，是视频篡改常用的方法之一。其原理主要是利用需要删除区域的周围或者区域所在帧的前后几帧提供的已知信息，逐帧对删除区域进行填充、修补，以达到肉眼无法察觉该视频已经被篡改过的效果。由于这种篡改方法需要逐帧修改视频内容，因此，当视频中的一个物体被移除后，就无法通过视觉、颜色、纹理等信息从单帧的内容上判断视频是否曾经被篡改。但是，在视频序列中，由于需要修改的帧数量较多，因此逐帧修改所留下的痕迹就会造成修改后视频画面在时域上出现不连贯或者不一致，尤其在阴影区域，这种现象称作“鬼影（ghost shadow）”现象。

近几年来，对于视频篡改检测方面的方法比较少，主要包括如下：Wang等人利用视频时空域的相关性对区域复制篡改进行检测，但是当篡改区域较小时，这种检测方法计算复杂度较高。Kobayashi等人利用噪声特征的不一致性来对视频篡改进行检测，但是其局限性在于当篡改的视频来源于同一部相机时，这种方法将不能进行有效检测。Hsu等人提出一种利用帧间对应块的噪声相关性来检测视频的帧内篡改。天津大学的张明玉等人则提出一种基于累计差分图像，并利用篡改区域周围的纹理特征检测篡改痕迹，该方法可以对静止背景下的运动物体的删除操作进行检测，但其检测需要根据经验配置的参数较多，实验结果容易受拍摄场景中树木、花草等环境影响。

本发明的主要特点在于：1、检测结果直观，本发明以二值图像的形式显示输出结果，能够明显的揭示出这种篡改痕迹，并且该结果也可反应出原本被删除的运动前景的运动轨迹；2、本发明拥有较强的鲁棒性，可有效抵抗拍摄场景中的随风摆动的树木、花草等因素的影响，抗干扰能力强，检测结果准确，拥有较强的实际应用价值；3、本发明需要配置参数较少，极大地方便了用户的使用。

发明内容

本发明利用被篡改视频出现的“鬼影”现象，提出了基于稀疏表示的过完备字典训练的视频篡改检测方法。该方法主要针对视频静止背景下的运动前景被删除的情况进行检测，并通过构造二值图像直观地反映被篡改视频留下的篡改痕迹。

本发明主要包括五个步骤，具体流程如下：

1、求差异帧及分块

在输入待测视频序列后，记当前帧为I_current；从视频序列中选取仅包含静止背景且未被篡改过的一帧作为参考帧，记作I_refer；对当前帧I_current与参考帧I_refer进行灰度化后，求它们的差异帧ΔI：

ΔI＝I_current-I_refer

为提高算法的鲁棒性，允许当前帧的画面与参考帧的画面有轻微整体偏移，因此本发明对ΔI的每个像素点取2*2的邻域，得到每个像素点对应的图像块。接着，将每一个图像块中的各列从左到右首尾相连组成列向量形式，再将得到的所有列向量再组成一个新矩阵I’。

2、自适应稀疏化

对于矩阵I’，对其稀疏化的过程可以用下式表示：

I’＝DI_sparse

其中，D称为字典，I_sparse称为I’的稀疏表示。本发明使用基于稀疏表示的过完备字典训练方法（称为K-SVD）对I’进行稀疏化处理。K-SVD算法的过程为两步迭代结构，即稀疏编码估计和字典元素更新。下面讨论如何通过K-SVD算法来实现对I’的稀疏化处理。

（1）字典初始化：将字典D初始化为下式：

$\left[\begin{array}{cccc}0.5& 0.5& 0.5& 0.5\\ 0.5& -0.5& 0.5& -0.5\\ 0.5& 0.5& -0.5& -0.5\\ 0.5& -0.5& -0.5& 0.5\end{array}\right]$

（2）检查运行次数是否大于4次，如果是，则算法结束，令I_sparse=X；否则，使用匹配追踪得到I’的稀疏表示X和字典D；

（3）按如下方式逐列更新字典D和逐行更新稀疏表示X：

（a）记E_k为字典第k列的更新误差，先求解E_k：

$E_k=(Y-\underset{j\≠k}{\mathrm{\Σ}}{d}_j{x}^j)$

其中x^j表示X的第j行，d_j表示字典D的第j列；

（b）对E_k进行奇异值分解，即：

E_k＝UAV

其中U和V是酋矩阵，A是半正定的对角矩阵；

更新d_k和x_k，其中x_k表示x的第k列：

令d_k＝U₁且x_k＝V₁·A(1,1)

其中：U₁和V₁分别表示U和V的第1列；A(1,1)表示矩阵A的第一个元素。

（4）如果字典D和稀疏表示X全部更新完毕则返回步骤2，否则进入步骤3。最终结果得到训练信号I’在超完备字典D下的稀疏表示I_sparse。

3、稀疏测量

通过K-SVD算法得到I’的稀疏表示I_sparse依然存在数据量较大的问题。因此，需要对其进行稀疏测量，减少数据量。选定一个测量矩阵Θ，使得I_sparse满足下式：

I_feature＝ΘI_sparse

本发明算法取Θ为2×N的高斯随机矩阵作为测量矩阵对I_sparse进行测量，其中N为I_sparse的行数。

4、特征聚类

由稀疏测量得到的I_feature可将其记为I_feature＝[β₁₁,β₁₂,...,β₂₁,β₂₂,...]，其中I_feature中的每一列β_ij均可以看作差异帧中各个像素(i,j)所对应2*2邻域的特征向量。取分类类别数量c=2，使用k-means聚类算法将I_feature中的特征向量β_ij分为两类，将个数较少的一类记为α₁，另一类记为α₂。通过k-means聚类算法得到每个β_ij的所属类别后，构造二值矩阵Λ(current)，使其与β_ij满足下式：

$\mathrm{\Λ}\left(\mathrm{current}\right)(i,j)=\left\{\begin{array}{ccc}1& \mathrm{if}& {\mathrm{\β}}_{\mathrm{ij}}\∈{\mathrm{\α}}_1\\ 0& \mathrm{if}& {\mathrm{\β}}_{\mathrm{ij}}\∈{\mathrm{\α}}_2\end{array}\right.$

由于Λ(current)中的元素仅为“1”或者“0”，因此可将其视为一个二值图像，即“0”表示为黑色，“1”表示为白色。对Λ(current)进行1次“腐蚀”运算，去除图像中的孤立点，保留其连通区域，此时Λ(current)内的数据为当前帧I_current的处理结果。

在完成I_current的处理之后，根据帧间隔参数n=5（即每间隔5帧进行一次处理），记当前帧序号为current，检查current+n是否大于视频结束帧序号last。如果是，则进入算法的第5步结果处理；否则，取第current=current+n帧作为下一次检测的当前帧I_current，返回算法的步骤1求差异帧及分块继续检测。

5、结果处理

通过上一步的处理，记数据Λ(k)为视频序列中第k帧的处理结果，其中k=first,...,first+n,…。当完成整个视频序列的处理工作后（current+n>last），需要对每一帧的处理结果按照下式进行组合，以形成最终结果并输出。建立一个二值矩阵I_result，使其与Λ中的各个数据满足下式（first表示待测视频起始帧序号）：

I_result＝Λ(first)|Λ(first+n)|...|Λ(first+mn)s.t.

first+mn≤last and first+(m+1)n＞last

上式中，符号“|”表示“或”运算，上式表示将Λ中存储的每个视频帧的处理结果依次进行“或”运算得到I_result。接着对I_result对应的二值图像进行三次“膨胀”运算，目的在于加强图像中连通区域的显示效果；最后将处理结果存储到I_final。如果I_final的图像中出现了明显的白色连通区域，则表示该视频序列经过运动前景删除篡改；如果I_final的图像没有出现任何白色连通区域则表示该视频未经过篡改。

本发明求差异帧及分块部分用于求取当前视频帧和参考帧的差异图像、差异图像的分块处理以及构造符合条件的由图像块构成的新矩阵。自适应稀疏化和稀疏测量部分则是利用信号的稀疏性对视频帧进行自适应稀疏化，并使用符合压缩感知RIP条件的随机感知矩阵对视频帧的特征进行降维，以获得低维压缩子空间。特征聚类部分则用聚类方法直接对低维压缩子空间的特征进行分类，以充分降低聚类的复杂度，提高聚类速度。当算法完成了最后一帧的处理后，结果处理部分则根据每帧的结果构造二值图像，并进行“膨胀”操作，输出最终处理结果。利用本发明所述的方法，能够快速有效地识别视频静止背景下运动前景的删除篡改，并且拥有更强的鲁棒性。

附图说明

下面结合附图对本发明进行进一步的说明。

图1是本发明所述的基于稀疏表示的过完备字典训练的视频篡改检测方法流程图；

图2是矩阵变换示意图；

图3是自适应稀疏化的处理流程图；

图4是实验序列1的检测效果图；

图5是实验序列2的检测效果图；

图6是实验序列3的检测效果图；

具体实施方式

图1中，在对当前帧I_current与参考帧I_refer进行灰度化后，求它们的差异帧ΔI；而后通过K-SVD算法进行稀疏测量，由稀疏测量得到的I_feature，对I_feature中的元素进行聚类，完成当前帧I_current的处理；在完成I_current的处理之后，检查current+n是否大于视频结束帧序号last。如果是，则进入算法的结果处理；否则返回算法的求差异帧及分块继续检测。

图2中，对ΔI的每个像素点取2*2邻域，此时，ΔI的每个像素点均可找到其对应的大小为2*2的图像块。接着，将每一个图像块中的各列首尾相连组成列向量形式，再将所有列向量再组成一个新矩阵I’，图2为这种变换的例子。

图3中，自适应稀疏化主要通过两步迭代结构来训练出信号的过完备字典：稀疏编码估计和字典元素更新。

在图4、图5和图6中，(a)为静止背景下不包含运动前景的未经篡改视频片段；(b)为静止背景下包含运动前景的未经篡改视频片段；(c)为对(b)的运动前景进行删除后的视频片段；(d)为使用本发明算法对(a)进行处理的实验结果；(e)为使用本发明算法对(c)进行处理的实验结果；

实施例1

本实例应用基于稀疏表示的过完备字典训练的视频篡改检测方法对可疑视频序列的真实性进行检测，实例采用的原始视频序列均来自相机实地拍摄，拍摄视频所使用的数字相机型号为：SONY DSC-P10。拍摄的场景包含静止背景和运动前景，拍摄的视频经过压缩后，使用Imagineer Systems公司开发的Mokey。本实施例实验所使用的计算机配置如下：

中央处理器：Intel(R)Core(TM)2 Quad CPU Q8300四核2.50GHz；

内存大小：2G；

显卡：NVIDIA GeForce GTS 450

操作系统：Microsoft Windows XP SP3；

图1给出了本发明所述的检测方法流程图，现参照图1对本实施基于稀疏表示的过完备字典训练的视频篡改检测方法具体操作过程介绍如下：

第一步，输入待测视频序列“gate.mpg”，该待测视频序列总共有300帧，因此，确定起始帧序号为first=2、结束帧序号为last=300、帧间隔参数为n=5、参考帧序号为refer=1，当前帧序号current=first；

第二步，求当前帧I_current与参考帧的差异图像ΔI：

ΔI＝I_current-I_refer

第三步，结合图2，将ΔI每个像素点以2*2为邻域组成图像块，并将每一块中的各列首尾相连组成列向量形式，再将所有列向量组成一个新矩阵I’；

第四步，按照如下的步骤，使用K-SVD算法对I’进行稀疏化处理，得到I’的稀疏表示矩阵I_sparse和I’对应的字典D；

（1）初始化：将字典D赋值为如下矩阵：

$\left[\begin{array}{cccc}0.5& 0.5& 0.5& 0.5\\ 0.5& -0.5& 0.5& -0.5\\ 0.5& 0.5& -0.5& -0.5\\ 0.5& -0.5& -0.5& 0.5\end{array}\right]$

（2）检查运行次数是否大于4次，如果是，则算法结束，令I_sparse=X；否则，使用匹配追踪估计I’的稀疏表示X和字典D

（3）按如下方式逐列更新字典D和逐行更新稀疏表示X：

（a）记E_k为字典第k列的更新误差，先求解E_k：

$E_k=(Y-\underset{j\≠k}{\mathrm{\Σ}}{d}_j{x}^j)$

其中x^j表示X的第j行，d_j表示字典D的第j列；

（b）对E_k进行奇异值分解，即：

E_k＝UAV

其中U和V是酋矩阵，A是半正定的对角矩阵；

更新d_k和x_k，x_k表示x的第k列：

令d_k＝U₁且x_k＝V₁·A(1,1)

其中：U₁和V₁分别表示U和V的第1列；A(1,1)表示矩阵A的第一个元素。

（4）如果字典D和稀疏表示X全部更新完毕则返回步骤（2），否则返回步骤（3）。最终结果得到训练信号I’在超完备字典D下的稀疏表示I_sparse。

第五步，构造2×N阶的高斯随机矩阵Θ，使得I_sparse满足下式，得到I_feature，其中N为I_sparse的行数；

I_feature＝ΘI_sparse

第六步，使用k-means聚类算法将I_feature中的特征向量β_ij分为两类，将个数较少的一类记为α₁，另一类记为α₂，构造二值矩阵Λ(current)，使其与β_ij满足下式：

$\mathrm{\Λ}\left(\mathrm{current}\right)(i,j)=\left\{\begin{array}{ccc}1& \mathrm{if}& {\mathrm{\β}}_{\mathrm{ij}}\∈{\mathrm{\α}}_1\\ 0& \mathrm{if}& {\mathrm{\β}}_{\mathrm{ij}}\∈{\mathrm{\α}}_2\end{array}\right.$

第七步，对Λ(current)进行一次“腐蚀”操作，如果current+n≤last，则令current=current+n转入第二步；否则执行八步；

第八步，按照下式合并每一帧的处理结果Λ(k)，记数据Λ(k)为视频序列中第k帧的处理结果，k=first,...,first+n,…，得到I_result，

I_result＝Λ(first)|Λ(first+n)|...|Λ(first+mn)s.t.

first+mn≤last and first+(m+1)n＞last

（符号“|”表示“或”运算），对I_result进行3次“膨胀”操作后，得到I_final；

第九步，输出I_final的图像，如果I_final的图像出现了明显的白色连通区域，则表示该视频序列经过运动前景删除篡改；如果I_final的图像没有出现任何白色连通区域则表示该视频未经过篡改，“gate.mpg”的检测结果可见图3。

为了对本发明的方法进行评价，以下给出具体的例子结合图3，图4，图5展示其实验结果。

结合图4、图5和图6，检测结果如下：

从实验结果可以看出，经过篡改的视频采用本算法进行处理后所输出的结果中出现了明显的白色连通区域，未篡改的无运动前景的视频输出结果则不包含这样的区域甚至全黑，两者实验结果对比明显，由此证明了本发明的有效性。分析输出结果可以发现，对于篡改视频，其白色区域主要出现在篡改的前景对周围物体产生的阴影，如地面，墙壁或者运动前景的周边物体上。其主要原因是，采用逐帧删除篡改视频，虽然可以在整体上可以去除运动前景，却会遗留下画面不一致性的篡改痕迹，本发明算法对被篡改视频的处理输出结果，能够明显的揭示出这种篡改痕迹。由于阴影随着前景的运动而运动，因此，白色连通区域不仅可以作为判断视频篡改与否的标志，也可作为篡改前运动前景的运动轨迹的参考。

Claims (4)

1.一种基于稀疏表示的过完备字典训练的视频篡改检测方法，其特征在于采用以下步骤：

（1）求差异帧及分块

在输入待测视频序列后，记当前帧为I_current；从视频序列中选取仅包含静止背景且未被篡改过的一帧作为参考帧，记作I_refer；对当前帧I_current与参考帧I_refer进行灰度化后，求它们的差异帧ΔI；

（2）自适应稀疏化

对于矩阵I’，对其稀疏化的过程可以用下式表示：

I’＝DI_sparse

其中，D称为字典，I_sparse称为I’的稀疏表示；

检查运行次数是否大于4次，如果是，则算法结束，令I_sparse=X；否则，使用匹配追踪得到I’的稀疏表示X和字典D；

逐列更新字典D和逐行更新稀疏表示X；

如果字典D和稀疏表示X全部更新完毕则返回步骤2，否则进入步骤3，最终结果得到训练信号I’在超完备字典D下的稀疏表示I_sparse。

（3）稀疏测量

选定一个测量矩阵Θ，使得I_sparse满足下式：

I_feature＝ΘI_sparse

取Θ为2×N的高斯随机矩阵作为测量矩阵对I_sparse进行测量，其中N为I_sparse的行数；

（4）特征聚类

由稀疏测量得到的I_feature可将其记为I_feature＝[β₁₁,β₁₂,...,β₂₁,β₂₂,...]，其中I_feature中的每一列β_ij均可以看作差异帧中各个像素(i,j)所对应2*2邻域的特征向量；取分类类别数量c=2，使用k-means聚类算法将I_feature中的特征向量β_ij分为两类，将个数较少的一类记为α₁，另一类记为α₂；通过k-means聚类算法得到每个β_ij的所属类别后，构造二值矩阵Λ(current)，使其与β_ij满足下式：

$\mathrm{\Λ}\left(\mathrm{current}\right)(i,j)=\left\{\begin{array}{ccc}1& \mathrm{if}& {\mathrm{\β}}_{\mathrm{ij}}\∈{\mathrm{\α}}_1\\ 0& \mathrm{if}& {\mathrm{\β}}_{\mathrm{ij}}\∈{\mathrm{\α}}_2\end{array}\right.$

由于Λ(current)中的元素仅为“1”或者“0”，因此可将其视为一个二值图像，即“0”表示为黑色，“1”表示为白色；对Λ(current)进行1次“腐蚀”运算，去除图像中的孤立点，保留其连通区域，此时Λ(current)内的数据为当前帧I_current的处理结果；

在完成I_current的处理之后，根据帧间隔参数n=5，记当前帧序号为current，检查current+n是否大于视频结束帧序号last。如果是，则进入下一步结果处理；否则，取第current=current+n帧作为下一次检测的当前帧I_current，返回步骤1求差异帧及分块继续检测；

（5）结果处理

通过上一步的处理，记数据Λ(k)为视频序列中第k帧的处理结果，其中k=first,...,first+n,…；当完成整个视频序列的处理工作后（current+n>last），需要对每一帧的处理结果按照下式进行组合，以形成最终结果并输出；建立一个二值矩阵I_result，使其与Λ中的各个数据满足下式（first表示待测视频起始帧序号）：

I_result＝Λ(first)|Λ(first+n)|...|Λ(first+mn)s.t.

first+mn≤last and first+(m+1)n＞last

上式中，符号“|”表示“或”运算，上式表示将Λ中存储的每个视频帧的处理结果依次进行“或”运算得到I_result；接着对I_result对应的二值图像进行三次“膨胀”运算，目的在于加强图像中连通区域的显示效果；最后将处理结果存储到I_final；如果I_final的图像中出现了明显的白色连通区域，则表示该视频序列经过运动前景删除篡改；如果I_final的图像没有出现任何白色连通区域则表示该视频未经过篡改。

2.根据权利要求1所述的一种基于稀疏表示的过完备字典训练的视频篡改检测方法，其特征在于步骤（1）所述的差异帧ΔI，计算方式为

ΔI＝I_current-I_refer。

3.根据权利要求1所述的一种基于稀疏表示的过完备字典训练的视频篡改检测方法，其特征在于步骤（2）所述的字典初始化，其过程为下式：

$\left[\begin{array}{cccc}0.5& 0.5& 0.5& 0.5\\ 0.5& -0.5& 0.5& -0.5\\ 0.5& 0.5& -0.5& -0.5\\ 0.5& -0.5& -0.5& 0.5\end{array}\right].$

4.根据权利要求1所述的一种基于稀疏表示的过完备字典训练的视频篡改检测方法，其特征在于步骤（2）所述的更新字典D和逐行更新稀疏表示X，其过程是：

（a）记E_k为字典第k列的更新误差，先求解E_k：

$E_k=(Y-\underset{j\≠k}{\mathrm{\Σ}}{d}_j{x}^j)$

其中x^j表示X的第j行，d_j表示字典D的第j列；

（b）对E_k进行奇异值分解，即：

E_k＝UAV

其中U和V是酋矩阵，A是半正定的对角矩阵；

更新d_k和x_k，其中x_k表示x的第k列：

令d_k＝U₁且x_k＝V₁·A(1,1)

其中：U₁和V₁分别表示U和V的第1列；A(1,1)表示矩阵A的第一个元素。

Images