CN101707711A - 一种基于压缩域的视频序列Copy-Move篡改检测方法 - Google Patents

Abstract

本发明公开了一种基于压缩域的视频序列Copy-Move篡改检测方法，该方法通过提取GOP内容和运动矢量的特征，计算所有GOP在内容和运动上的相似性参数来检测视频序列的Copy-Move篡改，其步骤是：A、计算所有GOP内容的相似度；B、计算所有GOP运动的相似度；C、计算所有GOP内容和运动的整体相似度；D、检测视频序列的Copy-Move篡改，设定相似度阈值判断视频序列间是否存在复制关系，若存在，则该视频经过Copy-Move篡改。该方法直接提取视频序列解码过程中的内容和运动数据作为计算参数特征，因此检测速度快；由于噪声和模糊处理只对视频序列有影响，而对视频序列内容和运动影响小，因此检测效果好，能抗噪声等；由于设定相似度阈值稳定，虚警率和漏检率低，因此检出率高，误检率低。

Description

一种基于压缩域的视频序列Copy-Move篡改检测方法

技术领域

本发明属于多媒体信息安全技术领域，具体涉及一种基于压缩域的视频序列Copy-Move篡改检测方法。

背景技术

随着信息技术的迅速发展，多媒体应用日益普及。便捷的互联网和功能强大的视频序列编辑工具使视频序列数据很容易被获取与修改。由于视频序列数据庞大，内容变化复杂，因此很难快速准确地检测视频序列的各种恶意篡改。这些恶意篡改会严重影响人们对视频序列信息的利用。例如，当被篡改的视频序列用作法庭证据而未被及时发觉时，可能对最后的审判结果产生较大影响。

MPEG视频序列是一种成熟的视频编码标准，在数字电视等场合得到了极为广泛的应用。因此，快速准确地检测视频序列的各种恶意篡改，保证视频序列信息的安全显得尤为重要。在没有任何先验知识情况下检测视频序列的各种篡改是一类非常重要的检测手段。视频序列的Copy-Move是将视频序列中的某个子序列进行复制，然后插入到该视频序列其它某个时间段上的视频序列篡改方式。现有针对Copy-Move篡改的检测技术计算复杂度较大，且虚警率较高，例如W.Wang利用视频子序列帧图像空域特征的相似性来检测视频序列间的复制关系。它将视频划分为多个子序列，然后将视频序列完全解码后，提取视频序列每帧图像的空域特征，再统计各子序列的特征，并计算子序列间的相似度。这样大大增加了计算复杂度，而且由于只考虑了视频序列的内容特征，因此检测结果的虚警率较高。

发明内容

鉴于以上所述现有技术存在的问题和不足，本发明目的在于提供一种基于压缩域的视频序列Copy-Move篡改检测方法。该方法在检测视频序列内各子序列间是否存在复制关系时，不仅能快速准确地检测视频序列内各子序列间是否存在Copy-Move篡改，而且篡改的检出率高，误检率低。

为达到上述目的，本发明采用如下方案：

一种基于压缩域的视频序列Copy-Move篡改检测方法，该方法通过提取GOP内容和运动矢量的特征，并计算所有GOP在内容和运动上的相似性参数来检测视频序列的Copy-Move篡改，其具体步骤如下：

A、计算所有GOP内容的相似度

提取视频序列所有I帧图像I(t)，并通过插值算法将I帧图像尺寸缩小，缩小后结果为I′(t)，计算所有缩小后I帧图像I′(t)间的相似性参数ρ_I，以相似性参数ρ_I表征GOP内容的相似度；

B、计算所有GOP运动的相似度

提取所有P帧运动矢量图，将运动矢量图划分为四个相等大小块，计算每个块内运动矢量模的和.并将同一GOP内所有P帧的这一计算结果取均值来表征整个GOP运动的特征V_G，利用提取的GOP运动特征，计算所有GOP间运动的相似性参数ρ_V，以相似性参数ρ_V表征GOP运动的相似度；

C、计算所有GOP内容和运动的整体相似度

综合计算GOP内容和运动的整体相似度，将GOP的内容相似度ρ_I与运动相似度ρ_V进行乘积来表征GOP整体相似性参数ρ_G，以相似性参数ρ_G表征所有GOP内容和运动的整体相似度；

D、检测视频序列的Copy-Move篡改

设定相似度阈值判断视频序列是否存在Copy-Move篡改，如果视频序列两个GOP间相似度大于设定的相似度阈值时，则认为这两个GOP间存在复制关系，视频序列是经过Copy-Move篡改得到的；否则认为这两个GOP间不存在复制关系，若其中一个GOP与其它所有GOP间均不存在复制关系，则该GOP序列是没有经过Copy-Move篡改得到的。

本发明的一种基于压缩域的视频序列Copy-Move篡改检测方法与已有技术相比较，具有如下显而易见的实质性突出特点和显著优点：1.该方法直接提取视频序列解码过程中的内容和运动数据作为计算参数特征，因此检测速度快；2.由于噪声和模糊处理只对视频序列清晰度有一定影响，而对视频序列内容和运动影响不大，因此该方法检测效果好，能抗各种噪声和模糊处理；3.只有同时在内容和运动上相似度都较大的子序列的整体相似度才较大，才被认为存在Copy-Move篡改，由于正常子序列间的整体相似度较小，而篡改的子序列间整体相似度较大。因此该方法设定相似度阈值稳定，虚警率和漏检率都比较低，因此检出率高，误检率低。

附图说明

图1是视频序列Copy-Move篡改的示意图；

图2是图像组(GOP)的结构示意图；

图3是本发明的一种基于压缩域的视频序列Copy-Move篡改检测方法的流程图；

图4是I帧图像进行双线性插值的示意图；

图5是P帧运动矢量图分割为左上、左下、右上、右下四个块的示意图；

图6是篡改视频序列经四种处理后的检测结果的示意图；

图7是设定不同阈值时的检测结果的示意图。

具体实施方式

以下结合附图对本发明的实施例作进一步的详细说明。本实施例以本发明的技术方案为前提下进行实施，给出了详细的实施方式，但本发明的保护范围不限于下述的实施例。

通过将视频序列的某些子序列进行复制并插入到该视频序列其它时间段上或覆盖其它序列，可以达到混淆视听的作用。其篡改方式如附图1所示，将视频序列某段序列进行复制，然后插入到到后续某个时间段上，并重新编码。图1中用浅黑(灰)色底标出的，即为经Copy-Move篡改的视频序列。

Copy-Move篡改中被插入的视频序列是从其它某段序列复制而来，可以通过检测视频子序列间相似性来检测这种篡改.视频子序列看作是一组连续变化的图像，它包含内容和运动两种信息，若两个子序列在内容和运动上均相似，则认为这两个子序列间存在复制关系，即存在Copy-Move篡改.MPEG视频序列的编码过程是以图像组(Group of Pictures，GOP)为单位，其结构如附图2所示，一个I帧及其到下一个I帧间的所有视频序列帧称为一个GOP。该方法将每个GOP划分为一个子序列。通过计算各GOP间的相似性参数检测视频序列的Copy-Move篡改。

下面以帧图像大小为352×240，帧数为4625，编码结构为GOP(12，3)的视频序列为例进行实验。实验中视频篡改方式为：将第35～53个GOP复制并插入到第116～134个GOP；第135～143个GOP复制并插入到第195～203个GOP；第178～186个GOP复制并插入到第246～254个GOP。

如图3所示，本发明的一种基于压缩域的视频序列Copy-Move篡改检测方法，其步骤如下：

A、计算所有GOP内容的相似度，其具体步骤如下：

A1、提取视频序列所有I帧亮度分量，得到I帧亮度序列{I(t)}，其中I(t)表示第t个GOP的I帧图像，I(t，m，n)表示第t个GOP的I帧图像中坐标为(m，n)的像素；

A2、采用插值方法将所有I帧图像尺寸缩小，缩小后的I帧序列记为{I′(t)}，采用双线性插值方法，将视频序列帧尺寸缩小为W_I×H_I，一般取30＜W_I＜40，20＜H_I＜30，如图4所示，采用双线性插值方法将原始帧图像352×240的尺寸缩小到35×24的尺寸；

A3、计算所有I′(t)间的相似性参数ρ_I(i，j)，以其相似性参数ρ_I(i，j)表征第i个GOP与第j个GOP内容的相似度。相似性参数ρ_I(i，j)公式如下：

${\mathrm{\ρ}}_I(i,j)=\frac{\mathrm{cov}[I^{\′}\left(i\right),I^{\′}\left(j\right)]}{{\mathrm{\σ}}_i{\mathrm{\σ}}_j}$

$=\frac{\underset{m}{\mathrm{\Σ}}\underset{n}{\mathrm{\Σ}}[I^{\′}(i,m,n)-\stackrel{\‾}{I^{\′}\left(i\right)}][I^{\′}(j,m,n)-\stackrel{\‾}{I^{\′}\left(j\right)}]}{\sqrt{\left\{\underset{m}{\mathrm{\Σ}}\underset{n}{\mathrm{\Σ}}{[I^{\′}(i,m,n)-\stackrel{\‾}{I^{\′}\left(i\right)}]}^2\right\}\left\{\underset{m}{\mathrm{\Σ}}\underset{n}{\mathrm{\Σ}}{[I^{\′}(j,m,n)-\stackrel{\‾}{I^{\′}\left(j\right)}]}^2\right\}}}---\left(1\right)$

B、计算所有GOP运动的相似度，其具体步骤如下：

B1、设每个GOP中P帧的个数为N，V_x(t，s)、V_y(t，s)表示第t个GOP的第s个P帧水平和垂直方向的运动矢量图，V_x(t，s，m，n)、V_y(t，s，m，n)分别表示第t个GOP的第s个P帧水平和垂直方向运动矢量图中坐标为(m，n)的运动矢量，其中s∈{1，2，…，N}。提取所有P帧的运动矢量图；

B2、将每个P帧的运动矢量图划分为左上、左下、右上、右下四个相等大小块，如附图5所示，

设V_b(t，s，k)表示第t个GOP的第s个P帧中第k个块内所有运动矢量模的和。计算V_b(t，s，k)，k∈{1，2，3，4}，则其计算公式为：

$V_b(t,s,k)=\underset{i=w_1}{\overset{w_2}{\mathrm{\Σ}}}\underset{j=h_1}{\overset{h_2}{\mathrm{\Σ}}}\sqrt{V_x{(t,s,i,j)}^2+V_y{(t,s,i,j)}^2}---\left(2\right)$

其中，

当w＝20，h＝15，即有：

$V_b(t,s,1)=\underset{i=1}{\overset{10}{\mathrm{\Σ}}}\underset{j=1}{\overset{8}{\mathrm{\Σ}}}\sqrt{V_x{(t,s,i,j)}^2+V_y{(t,s,i,j)}^2}$

$V_b(t,s,2)=\underset{i=11}{\overset{20}{\mathrm{\Σ}}}\underset{j=1}{\overset{8}{\mathrm{\Σ}}}\sqrt{V_x{(t,s,i,j)}^2+V_y{(t,s,i,j)}^2}$

$V_b(t,s,3)=\underset{i=1}{\overset{10}{\mathrm{\Σ}}}\underset{j=9}{\overset{15}{\mathrm{\Σ}}}\sqrt{V_x{(t,s,i,j)}^2+V_y{(t,s,i,j)}^2}$

$V_b(t,s,4)=\underset{i=11}{\overset{20}{\mathrm{\Σ}}}\underset{j=9}{\overset{15}{\mathrm{\Σ}}}\sqrt{V_x{(t,s,i,j)}^2+V_y{(t,s,i,j)}^2}$

B3、将同一GOP内所有P帧的V_b(t，s，k)取均值来表征整个GOP的运动V_G(t，k)，V_G(t，k)计算公式如下：

$V_G(t,k)=\frac{1}{N}\underset{s=1}{\overset{N}{\mathrm{\Σ}}}{V}_b(t,s,k)---\left(3\right)$

B4、通过V_G(t，k)计算所有GOP间在运动上的相似性参数ρ_V(i，j)，以相似性参数ρ_V(i，j)来表征第i个GOP与第j个GOP运动的相似度，其计算公式如下：

${\mathrm{\ρ}}_V(i,j)=1-2\×\frac{\underset{k=1}{\overset{4}{\mathrm{\Σ}}}[V_G(i,k)-V_G(j,k)]}{\max [\underset{k=1}{\overset{4}{\mathrm{\Σ}}}{V}_G(i,k),\underset{k=1}{\overset{4}{\mathrm{\Σ}}}{V}_G(j,k)]}---\left(4\right)$

C、计算所有GOP内容和运动的整体相似度

综合视频子序列在内容和运动上的相似性，只有在内容和运动上都相似的子序列才被认为存在复制关系。因此将GOP内容的相似度ρ_I(i，j)与运动的相似度ρ_V(i，j)进行乘积来表征GOP的整体相似度，其计算公式如下：

ρ_G(i，j)＝ρ_V(i，j)×|ρ_I(i，j)|            (5)

其中，ρ_G(i，j)表示GOP的整体相似度

D、检测视频序列的Copy-Move篡改

设相似度阈值为T，相邻的L个GOP间不存在复制关系。当ρ′_G(i，j)＝1时表明第i个GOP与第j个GOP间存在复制关系，检测结果由下式表示：

${{\mathrm{\ρ}}^{\′}}_G(i,j)=\left\{\begin{array}{cc}1& {\mathrm{\ρ}}_G(i,j)\≥\mathrm{Tand}|i-j|\≥L\\ 0& \mathrm{otherwise}\end{array}\right.---\left(6\right)$

综上所述，为减少计算量，只提取I帧亮度分量；同时由于相邻GOP在运动和内容上均相似，容易造成误检，因此设相邻L个GOP间不存在Copy-Move篡改，L的取值依据视频序列整体内容变化的程度而定。当ρ′_G(i，j)＝1时，检测出视频序列经过Copy-Move篡改，第i个GOP与第j个GOP间存在复制关系；若ρ′_G(i，j)＝0时，则检测出第i个GOP与第j个GOP间不存在复制关系，若对任意的j，ρ′_G(i，j)＝0，则第i个GOP序列正常。检测结果如图6、图7所示，ρ′_G(i，j)＝1与图6、图7中检测的坐标为(i，j)点一一对应，其中横纵轴均表示GOP时序.图6是篡改视频序列经四种方式处理后的检测结果，其中阈值T＝0.75，L＝8，横轴和纵轴均表示GOP的时序：(a)直接检测结果；(b)加高斯噪声后检测结果；(c)中值滤波后检测结果；(d)高斯模糊后检测结果.图7是阈值取6种不同值时的检测结果.当阈值设为小于0.65时，会产生较多虚警情况；阈值设为大于0.85时，则会有较多的漏检情况；只有阈值介于0.65与0.85间时，能准确的检测出篡改序列.图6、图7中检测的(i，j)点即对应篡改的GOP.图6中经四种方式处理后，均能检测到篡改点较集中的3个篡改区域，与前面的篡改方式一致.因此，该方法能较好抗各种噪声和模糊处理.图7中相似度阈值设在0.65～0.85间时，检测结果的虚警率和漏检率都比较低，能较好的检测出被篡改的序列.因此相似度阈值设置的可选范围较大，且稳定.对角线附近出现的检测点，由相邻图像组引起，可以通过调节L的值来将其滤除.

Claims (5)

1.一种基于压缩域的视频序列Copy-Move篡改检测方法，其特征在于，该方法通过提取GOP内容和运动矢量的特征，并计算所有GOP在内容和运动上的相似性参数来检测视频序列的Copy-Move篡改，其具体步骤如下：

A、计算所有GOP内容的相似度：提取视频序列所有I帧图像I(t)，并通过插值算法将I帧图像尺寸缩小，缩小后结果为I′(t)，计算所有缩小后I帧图像I′(t)间的相似性参数ρ_I，以相似性参数ρ_I表征GOP内容的相似度；

B、计算所有GOP运动的相似度：提取所有P帧运动矢量图，将运动矢量图划分为四个相等大小块，计算每个块内运动矢量模的和。并将同一GOP内所有P帧的这一计算结果取均值来表征整个GOP运动的特征V_G，利用提取的GOP运动特征，计算所有GOP间运动的相似性参数ρ_V，以相似性参数ρ_V表征GOP运动的相似度；

C、计算所有GOP内容和运动的整体相似度：综合计算GOP内容和运动的整体相似度，将GOP的内容相似度ρ_I与运动相似度ρ_V进行乘积来表征GOP整体相似性参数ρ_G，以相似性参数ρ_G表征所有GOP内容和运动的整体相似度；

D、检测视频序列的Copy-Move篡改：设定相似度阈值判断视频序列是否存在Copy-Move篡改，如果视频序列两个GOP间相似度大于设定的相似度阈值时，则认为这两个GOP间存在复制关系，视频序列是经过Copy-Move篡改得到的；否则认为这两个GOP间不存在复制关系，若其中一个GOP与其它所有GOP间均不存在复制关系，则该GOP序列是没有经过Copy-Move篡改得到的。

2.根据权利要求1所述的一种基于压缩域的视频序列Copy-Move篡改检测方法，其特征在于，上述步骤A中所述的计算所有GOP内容的相似度，其具体步骤如下：

A1、提取视频序列所有I帧亮度分量，得到I帧亮度序列{I(t)}，其中I(t)表示第t个GOP的I帧图像，I(t，m，n)表示第t个GOP的I帧图像中坐标为(m，n)的像素；

A2、采用插值方法将所有I帧图像尺寸缩小，缩小后的I帧序列记为{I′(t)}。本发明中采用双线性插值方法，将视频序列帧尺寸缩小为W_I×H_I，取30＜W_I＜40，20＜H_I＜30；

A3、计算所有T′(t)间的相似性参数ρ_I(i，j)，以其相似性参数ρ_I(i，j)表征第i个GOP与第j个GOP内容的相似度。相似性参数ρ_I(i，j)公式如下：

${\mathrm{\ρ}}_I(i,j)=\frac{\mathrm{cov}[I^{\′}\left(i\right),I^{\′}\left(j\right)]}{{\mathrm{\σ}}_i{\mathrm{\σ}}_j}$

$=\frac{\underset{m}{\mathrm{\Σ}}\underset{n}{\mathrm{\Σ}}[I^{\′}(i,m,n)-\stackrel{\‾}{I^{\′}\left(i\right)}][I^{\′}(j,m,n)-\stackrel{\‾}{I^{\′}\left(j\right)}]}{\sqrt{\left\{\underset{m}{\mathrm{\Σ}}\underset{n}{\mathrm{\Σ}}{[I^{\′}(i,m,n)-\stackrel{\‾}{I^{\′}\left(i\right)}]}^2\right\}\left\{\underset{m}{\mathrm{\Σ}}\underset{n}{\mathrm{\Σ}}{[I^{\′}(j,m,n)-\stackrel{\‾}{I^{\′}\left(j\right)}]}^2\right\}}}.---\left(1\right)$

3.根据权利要求2所述的一种基于压缩域的视频序列Copy-Move篡改检测方法，其特征在于，上述步骤B中所述的计算所有GOP运动的相似度，其具体步骤如下：

B1、设每个GOP中P帧的个数为N，V_x(t，s)、V_y(t，s)表示第t个GOP的第s个P帧水平和垂直方向的运动矢量图，V_x(t，s，m，n)、V_y(t，s，m，n)分别表示第t个GOP的第s个P帧水平和垂直方向运动矢量图中坐标为(m，n)的运动矢量，其中s∈{1，2，…，N}。提取所有P帧的运动矢量图；

B2、将每个P帧的运动矢量图划分为左上、左下、右上、右下四个相等大小块，如附图5所示，

设V_b(t，s，k)表示第t个GOP的第s个P帧中第k个块内所有运动矢量模的和。计算V_b(t，s，k)，k∈{1，2，3，4}，则其计算公式为：

$V_b(t,s,k)=\underset{i=w_1}{\overset{w_2}{\mathrm{\Σ}}}\underset{j=h_1}{\overset{h_2}{\mathrm{\Σ}}}\sqrt{V_x{(t,s,i,j)}^2+V_y{(t,s,i,j)}^2}---\left(2\right)$

其中，

当w＝20，h＝15，即有：

$V_b(t,s,1)=\underset{i=1}{\overset{10}{\mathrm{\Σ}}}\underset{j=1}{\overset{8}{\mathrm{\Σ}}}\sqrt{V_x{(t,s,i,j)}^2+V_y{(t,s,i,j)}^2}$

$V_b(t,s,2)=\underset{i=11}{\overset{20}{\mathrm{\Σ}}}\underset{j=1}{\overset{8}{\mathrm{\Σ}}}\sqrt{V_x{(t,s,i,j)}^2+V_y{(t,s,i,j)}^2}$

$V_b(t,s,3)=\underset{i=1}{\overset{10}{\mathrm{\Σ}}}\underset{j=9}{\overset{15}{\mathrm{\Σ}}}\sqrt{V_x{(t,s,i,j)}^2+V_y{(t,s,i,j)}^2}$

$V_b(t,s,4)=\underset{i=11}{\overset{20}{\mathrm{\Σ}}}\underset{j=9}{\overset{15}{\mathrm{\Σ}}}\sqrt{V_x{(t,s,i,j)}^2+V_y{(t,s,i,j)}^2}$

B3、将同一GOP内所有P帧的V_b(t，s，k)取均值来表征整个GOP的运动V_G(t，k)，V_G(t，k)计算公式如下：

$V_G(t,k)=\frac{1}{N}\underset{s=1}{\overset{N}{\mathrm{\Σ}}}{V}_b(t,s,k)---\left(3\right)$

B4、通过V_G(t，k)计算所有GOP间在运动上的相似性参数ρ_V(i，j)，以相似性参数ρ_V(i，j)来表征第i个GOP与第j个GOP运动的相似度，其计算公式如下：

${\mathrm{\ρ}}_V(i,j)=1-2\×\frac{\underset{k=1}{\overset{4}{\mathrm{\Σ}}}[V_G(i,k)-V_G(j,k)]}{\max [\underset{k=1}{\overset{4}{\mathrm{\Σ}}}{V}_G(i,k),\underset{k=1}{\overset{4}{\mathrm{\Σ}}}{V}_G(j,k)]}.---\left(4\right)$

4.根据权利要求3所述的一种基于压缩域的视频序列Copy-Move篡改检测方法，其特征在于，上述步骤C中所述的计算所有GOP内容和运动的整体相似度，其具体是：综合视频子序列在内容和运动上的相似性，只有在内容和运动上都相似的子序列才被认为存在复制关系。因此将GOP内容的相似度ρ_I(i，j)与运动的相似度ρ_V(i，j)进行乘积来表征GOP的整体相似度，其计算公式如下：

ρ_G(i，j)＝ρ_V(i，j)×|ρ_I(i，j)|                  (5)

其中，ρ_G(i，j)表示GOP的整体相似度。

5.根据权利要求4所述的一种基于压缩域的视频序列Copy-Move篡改检测方法，其特征在于，上述步骤D中所述的检测视频序列的Copy-Move篡改，其具体是：设相似度阈值为T，相邻的L个GOP间不存在复制关系.当ρ′_G(i，j)＝1时表明第i个GOP与第j个GOP间存在复制关系，检测结果由下式表示：

${{\mathrm{\ρ}}^{\′}}_G(i,j)=\left\{\begin{array}{cc}1& {\mathrm{\ρ}}_G(i,j)\≥\mathrm{Tand}|i-j|\≥L\\ 0& \mathrm{otherwise}\end{array}\right.---\left(6\right).$

Images