CN112532999B - 基于深度神经网络的数字视频删帧篡改检测方法 - Google Patents

Abstract

本发明涉及一种基于深度神经网络的数字视频删帧篡改检测方法。该方法实现过程：将待检测视频剪辑成为若干个视频片段；利用多尺度差分卷积网络MsDCNN从视频片段中提取相邻帧的像素级差分特征和全局差分特征，将二者融合形成多尺度差分特征；将多尺度差分特征输入使用单向注意力机制的LSTM网络，经过全连接层得到视频片段的网络输出分数，判断视频片段中间点是否存在删帧；利用基于视频局部时空特征的后处理方法减少误检。

Description

基于深度神经网络的数字视频删帧篡改检测方法

技术领域

本发明涉及可视媒体信息安全领域，具体涉及一种基于深度神经网络的数字视频删帧篡改检测方法。

背景技术

数字视频删帧篡改是从数字视频中删除若干个连续或非连续的帧，达到隐藏特定拍摄内容的目的。例如，在视频中删除一系列包含犯罪过程的帧，然后将经过删帧处理的视频作为犯罪嫌疑人不在场证明提供给法庭。因此，在一些重要的场合使用视频作为证据支持时，对视频进行帧删除的取证检测是非常有必要的。

视频删帧篡改检测的方法根据特征来源大体可以分为两类，一类是基于压缩域特征的检测方法，一类是基于内容连续性的检测方法。第一类方法利用视频压缩编码过程中产生的压缩效应检测篡改。当存在视频删帧操作时，压缩视频的DCT系数，预测残差，宏块等数据将产生异常的分布，此类方法通过检测这些异常来判断视频是否经过帧删除。第二类方法利用视频相邻帧的帧间差异连续性来检测视频删帧。由于视频帧间隔时间很短，单个镜头中相邻帧的内容差异应该是连续的。视频删帧操作会破坏这种连续性，从而使得删帧位置可以被检测。这类方法较少受到视频压缩因素的影响，而且可利用的特征较为丰富，具有很大的研究空间。

上述两类方法都是通过人工设计特征，在视频删帧篡改检测问题中，视频内容场景复杂多样，对不同的内容场景往往需要设计不同的特征和模型，很难设计出通用的特征和模型来检测视频删帧篡改。

近几年，深度神经网络被广泛应用于各个研究领域，深度神经网络属于数据驱动的方法，能够对具有较高复杂性和较多噪声的数据(如复杂场景下具有一定不稳定性的视频数据)进行有效的分析。已有基于深度学习的视频删帧篡改取证研究工作较少，且均采用了3D卷积的方式来提取视频的时空特征。3D卷积虽然能较好地捕获连续帧的运动信息，但它的参数量很大，对硬件的要求高，较难训练，且相关工作的识别准确率尚有提升的空间。

发明内容

本发明的目的在于针对现有技术的不足，提供一种基于深度神经网络的数字视频删帧篡改检测方法，该方法充分考虑经过删帧篡改的视频中相邻帧的特点，利用多尺度差分卷积神经网络MsDCNN和LSTM结合来提取时空特征，从而实现数字视频删帧篡改检测。

为实现上述目的，本发明的技术方案是：一种基于深度神经网络的数字视频删帧篡改检测方法，包括如下步骤：

步骤S1、将待检测视频剪辑成为若干个视频片段；

步骤S2、利用多尺度差分卷积网络MsDCNN从视频片段中提取相邻帧的像素级差分特征和全局差分特征，将二者融合形成多尺度差分特征；

步骤S3、将步骤S2得到的多尺度差分特征输入使用单向注意力机制的LSTM网络，经过全连接层得到视频片段的网络输出分数，判断视频片段中间点是否存在删帧；

步骤S4、对步骤S3得到的结果进行进一步分析，利用基于视频局部时空特征的后处理方法减少误检。

在本发明一实施例中，所述步骤S1具体实现方式为：

首先解码待测视频得到n张视频帧RGB图像，然后将得到的n张RGB图像转换为灰度图，再重采样至128×128像素大小，最后将重采样后的n张灰度图逐张分割为n-9个连续的10 帧的片段。

在本发明一实施例中，所述步骤S2具体实现方式为：

提取多尺度差分特征的MsDCNN由前差分卷积神经网络FDCNN和后差分卷积神经网络 PDCNN两部分组成。FDCNN在卷积神经网络之前对视频相邻帧像素矩阵进行差分运算，PDCNN则在剪辑片段输入卷积神经网络之后对输出的高维特征进行差分运算。在FDCNN中，首先对步骤S1得到的10帧的视频片段中的相邻帧进行对应位置像素差分运算，每个片段得到 9张差分图，再通过卷积神经网络从差分图中提取特征。其表达式如公式(1)所示：

d_p(f，f+1)＝c(P_f+1-P_f)； (1)

其中f和f+1分别表示视频中的第f帧和第f+1帧。P_f和P_f+1分别表示第f帧和第f+1帧的像素矩阵。c(·)表示卷积神经网络。

而在PDCNN中是先利用卷积神经网络从10张视频帧图像中提取高维特征，再对提取的10 个48维的特征向量进行相邻帧差分运算得到9个48维的全局差异特征，其表达式如公式(2) 所示：

d_g(f，f+1)＝c(P_f+1)-c(P_f)； (2)

FDCNN和PDCNN中的卷积神经网络结构相同，均由6个卷积层和5个池化层组成，其中第一层卷积核大小为5×5，第5层卷积核大小为1×1，其余4层卷积核大小为3×3。卷积层的步长为1，不使用全零填充。5个池化层中前两层使用最大池化，后三层使用平均池化，所有池化都使用2×2大小，步长为2的池化核。在每层卷积后都使用ELU激活函数。

FDCNN从10个视频帧图像中提取9个48维的像素级差异特征d_p，PDCNN从10个视频帧图像中提取9个48维的全局差异特征d_g。最后通过维度叠加的方式将d_p和d_g进行融合形成96维的特征向量D，D的表达式如公式(3)所示。

D(f，f+1)＝{d_p(f，f+1)，d_g(f，f+1)}； (3)

最终，对每个10帧片段的输入，MsDCNN输出9个96维的多尺度差分特征。

在本发明一实施例中，所述步骤S3具体实现方式为：

步骤S31、10张视频帧图像经过MsDCNN后得到LSTM网络的输入T＝{D₁，D₂，D₃，...，D_t|t＝ 9}，D_t为LSTM网络t时刻的输入，使用1层144个神经元的LSTM模型，LSTM的前向传播过程可以表示为：

i_t＝σ(W_i·[h_t-1，D_t]+b_i)； (4)

f_t＝σ(W_f·[h_t-1，D_t]+b_f)； (5)

o_t＝σ(W_o·[h_t-1，D_t]+b_o)； (6)

z_t＝tanh(W_z·[h_t-1，D_t]+b_z)； (7)

c_t＝i_t⊙z_t+f_t⊙c_t-1； (8)

h_t＝o_t⊙tanh(c_t)； (9)

其中W_i表示当前输入的权重矩阵，b为偏置项，σ表示sigmiod函数，⊙表示各个元素的乘积，输入门i_t控制LSTM的总输入z_t信息的多少，存储单元c_t记录当前时刻t的状态，遗忘门f_t和输出门o_t决定LSTM在当前时刻t的输出，在LSTM中使用单向的注意力机制在每个时刻都考虑前n个时刻的输出；

步骤S32、LSTM后使用一个全连接层分类器，输出视频片段的分数，最终得到待测视频中 n-9个视频片段的网络输出分数，当输出分数大于0时，表示该片段的中间位置存在删帧，否则判断其不存在删帧。

在本发明一实施例中，所述步骤S4具体实现方式为：

步骤S41、对待测视频按照上述步骤进行处理后，得到删帧点的索引集合V_p；

步骤S42、对V_p中的每一个删帧点，计算其前后500帧不包含该点的网络输出分数的中值md；

步骤S43、计算每一个删帧点左边50帧中输出分数大小排序前20的分数均值m_l，右边50 帧中输出分数大小排序前20的分数均值m_h，然后计算m_l和m_h的均值m；

步骤S44、使用每个删帧点的输出分数f(k)减去m和md的差得到处理后的分数f_p(k)：

f_p(k)＝f(k)-(m-md)，k∈V_p； (10)

其中

W(k)＝{k-500，...，k+500}； (13)

步骤S45、经过上述计算后，f_p(k)大于0的帧所在位置即为待测视频中的删帧位置。

相较于现有技术，本发明具有以下有益效果：

(1)本发明设计了一个轻量级的MsDCNN和LSTM结合的深度神经网络对视频序列进行分析，相比于已有基于深度神经网络的删帧检测方法，网络参数量有了显著的降低，对运行系统的计算能力和内存资源要求较低，能够在移动端部署运行；

(2)本发明充分利用视频删帧篡改特征与视频本身内容弱相关的特点，设计了提取多尺度差分特征的卷积神经网络，弱化视频内容本身的影响，强化视频相邻帧之间的差异。从而能够适应各种复杂场景的视频，并取得了更高的检测准确率；

(3)本发明提出了一个基于视频局部时空特征的后处理方法，显著地减少了由于拍摄设备剧烈抖动等干扰带来的影响；

本发明提供的基于深度神经网络的视频删帧篡改检测方法可用于含有各种复杂场景的视频的真实性检测，在司法、金融保险、新闻传播等领域都具有很高的应用价值。

附图说明

图1是本发明的总流程图。

图2是本发明中视频片段划分方法示意图，其中各图像帧下面的数字为帧序号。

图3是本发明的多尺度差分卷积神经网络MsDCNN的结构图。

图4是本发明的网络框架图。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

本发明提供一种基于深度神经网络的数字视频删帧篡改检测方法，包括如下步骤：

步骤S1、将待检测视频剪辑成为若干个视频片段；

步骤S2、利用多尺度差分卷积网络MsDCNN从视频片段中提取相邻帧的像素级差分特征和全局差分特征，将二者融合形成多尺度差分特征；

步骤S3、将步骤S2得到的多尺度差分特征输入使用单向注意力机制的LSTM网络，经过全连接层得到视频片段的网络输出分数，判断视频片段中间点是否存在删帧；

步骤S4、对步骤S3得到的结果进行进一步分析，利用基于视频局部时空特征的后处理方法减少误检。

以下为本发明的具体实现过程。

本发明提供一种基于深度神经网络的数字视频删帧篡改检测方法，如图1所示，所述的检测方法具体包括如下步骤：

步骤1，剪辑待测视频得到视频片段：

首先解码待测视频得到n(待测视频的总帧数)张视频帧RGB图像，然后将得到的n张 RGB图像转换为灰度图，再重采样至128×128像素大小，最后将重采样后的n张灰度图划分成n-9个连续的10帧的片段(如图2所示)。

步骤2，提取多尺度差分特征：

(1)如图3所示，提取多尺度差分特征的MsDCNN由前差分卷积神经网络FDCNN和后差分卷积神经网络PDCNN两部分组成。FDCNN在卷积神经网络之前对视频相邻帧像素矩阵进行差分运算，PDCNN则在剪辑片段输入卷积神经网络之后对输出的高维特征进行差分运算。在 FDCNN中，首先对步骤1得到的10帧的视频片段中的相邻帧进行对应位置像素差分运算，每个片段得到9张差分图，再通过卷积神经网络从差分图中提取特征。其表达式如公式(1)所示：

d_p(f，f+1)＝c(P_f+1-P_f)； (1)

其中f和f+1分别表示视频中的第f帧和第f+1帧。P_f和P_f+1分别表示第f帧和第f+1帧的像素矩阵。c(·)表示卷积神经网络。

而在PDCNN中是先利用卷积神经网络从10张视频帧图像中提取高维特征，后再对提取的 10个48维的特征向量进行相邻帧差分运算得到9个48维的全局差异特征，其表达式如公式(2) 所示：

d_g(f，f+1)＝c(P_f+1)-c(P_f)； (2)

(2)如图4所示，FDCNN和PDCNN中的卷积神经网络结构相同，均由6个卷积层和5 个池化层组成，其中第一层卷积核大小为5×5，第5层卷积核大小为1×1，其余4层卷积核大小为3×3。卷积层的步长为1，不使用全零填充。5个池化层中前两层使用最大池化，后三层使用平均池化，所有池化都使用2×2大小，步长为2的池化核。在每层卷积后都使用ELU 激活函数。

(3)FDCNN从10个视频帧图像中提取9个48维的像素级差异特征d_p，PDCNN从10 个视频帧图像中提取9个48维的全局差异特征d_g。最后通过维度叠加的方式将d_p和d_g进行融合形成96维的特征向量D，D的表达式如公式(3)所示。

D(f，f+1)＝{d_p(f，f+1)，d_g(f，f+1)}； (3)

最终，对每个10帧片段的输入，MsDCNN输出9个96维的多尺度差分特征。

步骤3，利用LSTM进行异常检测，并得到视频片段的网络输出分数，判断视频片段中间位置是否存在删帧：

(1)10个视频帧图像经过MsDCNN后得到LSTM网络的输入T＝{D₁，D₂，D₃，...，D_t|t＝9}， D_t为LSTM网络t时刻的输入。使用一层144个神经元的LSTM模型，LSTM的前向传播过程可以表示为：

i_t＝σ(W_i·[h_t-1，D_t]+b_i)； (4)

f_t＝σ(W_f·[h_t-1，D_t]+b_f)； (5)

o_t＝σ(W_o·[h_t-1，D_t]+b_o)； (6)

z_t＝tanh(W_z·[h_t-1，D_t]+b_z)； (7)

c_t＝i_t⊙z_t+f_t⊙c_t-1； (8)

h_t＝o_t⊙tanh(c_t)； (9)

其中W_i表示当前输入的权重矩阵。b为偏置项。σ表示sigmiod函数。⊙表示各个元素的乘积。输入门i_t控制LSTM的总输入z_t信息的多少。存储单元c_t记录当前时刻t的状态。遗忘门f_t和输出门o_t决定LSTM在当前时刻t的输出。在LSTM中使用了单向的注意力机制在每个时刻都考虑前n个时刻的输出。

(2)LSTM后使用一个全连接层分类器，得到视频片段的网络输出分数，最终得到待测视频中n-9个视频片段的网络输出分数。其中输出分数大于0表示网络将输入识别为删帧片段，且删帧点为视频片段的中间位置；输出分数小于等于0表示网络将视频片段分类为未删帧片段。

步骤4，使用基于视频局部时空特征的后处理方法消除误检：

(1)对待测视频按照上述步骤进行处理后，得到删帧点的索引集合V_p。

(2)对V_p中的每一个删帧点，计算其前后500帧不包含该点的网络输出分数的中值md。

(3)计算每一个删帧点左边50帧中输出分数大小排序前20的分数均值m_l，右边50帧中输出分数大小排序前20的分数均值m_h，然后计算m_l和m_h的均值m。

(4)使用每个删帧点的输出分数f(k)减去m和md的差得到处理后的分数f_p(k)。

f_p(k)＝f(k)-(m-md)，k∈V_p； (10)

其中

W(k)＝{k-500，...，k+500}； (13)

(5)经过上述计算后，f_p(k)大于0的帧所在位置即为待测视频中的删帧位置。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (1)

1.一种基于深度神经网络的数字视频删帧篡改检测方法，其特征在于，包括如下步骤：

步骤S1、将待检测视频剪辑成为若干个视频片段；

步骤S2、利用多尺度差分卷积网络MsDCNN从视频片段中提取相邻帧的像素级差分特征和全局差分特征，将二者融合形成多尺度差分特征；

步骤S3、将步骤S2得到的多尺度差分特征输入使用单向注意力机制的LSTM网络，经过全连接层得到视频片段的网络输出分数，判断视频片段中间点是否存在删帧；

步骤S4、对步骤S3得到的结果进行进一步分析，利用基于视频局部时空特征的后处理方法减少误检；

所述步骤S1具体实现方式为：

首先解码待测视频，得到n张视频帧的RGB图像，然后将得到的n张RGB图像转换为灰度图，再重采样至128×128像素大小，最后将重采样后的n张灰度图划分成n-9个连续的10帧的片段；

所述步骤S2具体实现方式为：

提取多尺度差分特征的MsDCNN由FDCNN和PDCNN两部分组成；FDCNN在卷积神经网络之前对视频相邻帧像素矩阵进行差分运算，PDCNN则在剪辑片段输入卷积神经网络之后对输出的高维特征进行差分运算；在FDCNN中，首先对步骤S1得到的10帧的视频片段中的相邻帧进行对应位置像素差分运算，每个片段得到9张差分图，再通过卷积神经网络从差分图中提取特征；其表达式如公式(1)所示：

d_p(f，f+1)＝c(P_f+1-P_f)； (1)

其中f和f+1分别表示视频中的第f帧和第f+1帧；P_f和P_f+1分别表示第f帧和第f+1帧的像素矩阵；c(·)表示卷积神经网络；

而在PDCNN中是先利用卷积神经网络从10张视频帧图像中提取高维特征，再对提取的10个48维的特征向量进行相邻帧差分运算得到9个48维的全局差异特征，其表达式如公式(2)所示：

d_g(f，f+1)＝c(P_f+1)-c(P_f)； (2)

FDCNN和PDCNN中的卷积神经网络结构相同，均由6个卷积层和5个池化层组成，其中第一层卷积核大小为5×5，第5层卷积核大小为1×1，其余4层卷积核大小为3×3；卷积层的步长为1，不使用全零填充；5个池化层中前两层使用最大池化，后三层使用平均池化，所有池化都使用2×2大小，步长为2的池化核；在每层卷积后都使用ELU激活函数；

FDCNN从10个视频帧图像中提取9个48维的像素级差异特征d_p，PDCNN从10个视频帧图像中提取9个48维的全局差异特征d_g；最后通过维度叠加的方式将d_p和d_g进行融合形成96维的特征向量D，D的表达式如公式(3)所示；

D(f，f+1)＝{d_p(f，f+1)，d_g(f，f+1)}； (3)

最终，对每个10帧片段的输入，MsDCNN输出9个96维的多尺度差分特征；

所述步骤S3具体实现方式为：

步骤S31、10张视频帧图像经过MsDCNN后得到LSTM网络的输入T＝{D₁，D₂，D₃，...，D_t|t＝9}，D_t为LSTM网络t时刻的输入，使用1层144个神经元的LSTM模型，LSTM的前向传播过程可以表示为：

i_t＝σ(W_i·[h_t-1，D_t]+b_i)； (4)

f_t＝σ(W_f·[h_t-1，D_t]+b_f)； (5)

o_t＝σ(W_o·[h_t-1，D_t]+b_o)； (6)

z_t＝tanh(W_z·[h_t-1，D_t]+b_z)； (7)

c_t＝i_t⊙z_t+f_t⊙c_t-1； (8)

h_t＝o_t⊙tanh(c_t)； (9)

其中W_i表示当前输入的权重矩阵，b为偏置项，σ表示sigmiod函数，⊙表示各个元素的乘积，输入门i_t控制LSTM的总输入z_t信息的多少，存储单元c_t记录当前时刻t的状态，遗忘门f_t和输出门o_t决定LSTM在当前时刻t的输出，在LSTM中使用单向的注意力机制在每个时刻都考虑前n个时刻的输出；h_t为t时刻LSTM的输出；

步骤S32、LSTM后使用一个全连接层分类器，输出视频片段的分数，最终得到待测视频中n-9个视频片段的网络输出分数，当输出分数大于0时，表示该片段的中间位置存在删帧，否则判断其不存在删帧；

所述步骤S4具体实现方式为：

步骤S41、对待测视频按照步骤S1-S3进行处理后，得到删帧点的索引集合V_p；

步骤S42、对V_n中的每一个删帧点，计算其前后500帧不包含该点的网络输出分数的中值md；

步骤S43、计算每一个删帧点左边50帧中输出分数大小排序前20的分数均值m_l，右边50帧中输出分数大小排序前20的分数均值m_h，然后计算m_l和m_h的均值m；

步骤S44、使用每个删帧点的输出分数f(k)减去m和md的差得到处理后的分数f_p(k)：

f_p(k)＝f(k)-(m-md)，k∈V_p； (10)

其中

W(k)＝{k-500，...，k+500}； (13)

步骤S45、经过上述计算后，f_p(k)大于0的帧所在位置即为待测视频中的删帧位置。

Images