CN109191444A - 基于深度残差网络的视频区域移除篡改检测方法及装置 - Google Patents

Abstract

本发明公开了一种基于深度残差网络的视频区域移除篡改检测方法，包括以下步骤：确定待检测视频序列；对待检测视频序列中的待检测图像帧进行预处理，获得目标视频序列，目标视频序列包含多个灰度差分图像帧，每个灰度差分图像帧被划分为多个图像子块；将目标视频序列中的每个图像子块依次输入到预先训练得到的目标深度残差网络模型中，获得每个图像子块属于正负样本的概率值的第一输出结果；根据第一输出结果，通过滑动窗口调整，确定待检测视频序列的每一待检测图像帧是否被篡改。应用本发明实施例所提供的技术方案，检测准确率较高，适用性较强。本发明还公开了一种基于深度残差网络的视频区域移除篡改检测装置，具有相应技术效果。

Description

基于深度残差网络的视频区域移除篡改检测方法及装置

技术领域

本发明涉及图像检测技术领域，特别是涉及一种基于深度残差网络的视频区域移除篡改检测方法及装置。

背景技术

随着互联网技术的发展和进步，用户利用日渐强大和便捷的视频图像编辑技术可以轻易对数字图像、视频等进行篡改，导致多媒体信息的不可靠，使得数字图像和视频作为司法证据时难以有效发挥作用。而数字图像和视频取证旨在检测和分析图像和视频原始内容的真实性，以保证司法有效、公正。因此对于视频篡改检测技术的研究逐渐成为一个重要的研究方向。

在现有技术中，多是基于深度学习进行视频对象移除篡改的检测，这种方法对视频序列进行预处理时，首先将视频序列经过前处理转换为灰度差分图像，通过最大值池化减小卷积的计算量、通过高通滤波增强图像的差值信号；然后获得正样本和负样本；最后基于深度学习理论训练CNN神经网络模型。用训练得到的网络模型，测试待检测的视频序列的每一个视频图像帧，得出待检测视频序列每一帧是否存在视频对象移除篡改的判定结果。

这种方法采用的CNN网络模型结构过于简单，检测准确率不高，适用性较低。

发明内容

本发明的目的是提供一种基于深度残差网络的视频区域移除篡改检测方法及装置，以提高检测准确率，增强适用性。

为解决上述技术问题，本发明提供如下技术方案：

一种基于深度残差网络的视频区域移除篡改检测方法，包括：

确定待检测视频序列；

对所述待检测视频序列中的待检测图像帧进行预处理，获得目标视频序列，所述目标视频序列包含多个灰度差分图像帧，每个灰度差分图像帧被划分为多个图像子块；

将所述目标视频序列中的每个图像子块依次输入到预先训练得到的目标深度残差网络模型中，获得每个图像子块属于正负样本的概率值的第一输出结果；

根据所述第一输出结果，通过滑动窗口调整，确定所述待检测视频序列的每一待检测图像帧是否被篡改。

在本发明的一种具体实施方式中，所述对所述待检测视频序列中的待检测图像帧进行预处理，获得目标视频序列，包括：

将所述待检测视频序列中的每个待检测图像帧转换为灰度图像帧；

基于绝对差分算法，将每个灰度图像帧转换为相应的灰度差分图像帧，获得目标视频序列，并将所述目标视频序列中每个灰度差分图像帧划分为多个具有设定尺寸大小的图像子块。

在本发明的一种具体实施方式中，所述根据所述第一输出结果，通过滑动窗口调整，确定所述待检测视频序列的每一待检测图像帧是否被篡改，包括：

针对每个图像子块，如果该图像子块属于正样本的概率值大于或等于该图像子块属于负样本的概率值，则确定该图像子块为被篡改块，否则，确定该图像子块为未篡改块；

针对所述目标视频序列中每个灰度差分图像帧，如果该灰度差分图像帧划分的图像子块中至少有一个图像子块为被篡改块，则将该灰度差分图像帧对应的待检测图像帧标记为被篡改视频帧，如果该灰度差分图像帧划分的图像子块中没有任何一个图像子块为被篡改块，则将该灰度差分图像帧对应的待检测图像帧标记为原始视频帧；

在设定的滑动窗口内，如果标记为被篡改视频帧的数量与标记为原始视频帧的数量的比值大于预设比值阈值，则确定所述滑动窗口内的所有灰度差分图像帧对应的待检测图像帧被篡改，否则，确定所述滑动窗口内的所有灰度差分图像帧对应的待检测图像帧未被篡改。

在本发明的一种具体实施方式中，通过以下步骤预先训练得到所述目标深度残差网络模型：

获得视频训练集和视频测试集，所述视频训练集和所述视频测试集均包含多个原始视频序列和多个篡改视频序列，每个原始视频序列和每个篡改视频序列均包含多个灰度差分图像帧，每个灰度差分图像帧被划分为多个具有设定尺寸大小的图像子块，每个原始视频序列中的每个灰度差分图像帧的初始标记均为原始视频帧，每个篡改视频序列中的每个灰度差分图像帧的初始标记为原始视频帧或者被篡改视频帧，每个被篡改视频帧包含的图像子块被标记为正样本，每个原始视频帧包含的图像子块被标记为负样本；

训练步骤：利用所述视频训练集对预先构建的深度残差网络进行训练，基于所述深度残差网络输出分类的损失值，利用梯度下降算法，调整网络参数，当所述深度残差网络的输出达到设定的分类精确度时，获得训练后的所述深度残差网络；

测试步骤：利用所述视频测试集对训练后的所述深度残差网络进行测试，确定篡改检测准确率，如果所述篡改检测准确率低于设定的准确率阈值，则重复执行所述训练步骤和所述测试步骤，直至所述篡改检测准确率高于或等于所述准确率阈值，获得所述目标深度残差网络模型。

在本发明的一种具体实施方式中，所述视频训练集中每个被篡改视频帧包含的每个图像子块均包含被篡改区域的中心点。

在本发明的一种具体实施方式中，所述利用所述视频测试集对训练后的所述深度残差网络进行测试，确定篡改检测准确率，包括：

将所述视频测试集中的每个图像子块依次输入到训练后的所述深度残差网络中，获得每个图像子块属于正负样本的概率值的第二输出结果；

根据所述第二输出结果，标记所述视频测试集中每个灰度差分图像帧为原始视频帧或者被篡改视频帧；

在设定的滑动窗口内，如果标记为被篡改视频帧的数量与标记为原始视频帧的数据量的比值大于预设比值阈值，则调整所述滑动窗口内的所有灰度差分图像帧的标记为被篡改视频帧，否则，调整所述滑动窗口内的所有灰度差分图像帧标记为原始视频帧；

将每个灰度差分图像帧的调整后的标记与初始标记进行比对，确定篡改检测准确率。

在本发明的一种具体实施方式中，预先构建的所述深度残差网络包括五层，分别为：

第一层最大值池化层，卷积核大小为3×3，步长为3；

第二层图像卷积层，卷积核大小为5×5；

第三层残差块层，包括4个残差块，每个残差块内部包含三个卷积层，每个卷积层之前都分别连接一个归一化层和激活层，三个卷积核大小依次为：3×3、3×3、1×1；

第四层均值池化层，卷积核大小为8×8，步长为1；

第五层全连接层。

一种基于深度残差网络的视频区域移除篡改检测装置，包括：

待检测视频序列确定模块，用于确定待检测视频序列；

目标视频序列获得模块，用于对所述待检测视频序列中的待检测图像帧进行预处理，获得目标视频序列，所述目标视频序列包含多个灰度差分图像帧，每个灰度差分图像帧被划分为多个图像子块；

第一输出结果获得模块，用于将所述目标视频序列中的每个图像子块依次输入到预先训练得到的目标深度残差网络模型中，获得每个图像子块属于正负样本的概率值的第一输出结果；

篡改确定模块，用于根据所述第一输出结果，通过滑动窗口调整，确定所述待检测视频序列的每一待检测图像帧是否被篡改。

在本发明的一种具体实施方式中，所述篡改确定模块，具体用于：

针对每个图像子块，如果该图像子块属于正样本的概率值大于或等于该图像子块属于负样本的概率值，则确定该图像子块为被篡改块，否则，确定该图像子块为未篡改块；

针对所述目标视频序列中每个灰度差分图像帧，如果该灰度差分图像帧划分的图像子块中至少有一个图像子块为被篡改块，则将该灰度差分图像帧对应的待检测图像帧标记为被篡改视频帧，如果该灰度差分图像帧划分的图像子块中没有任何一个图像子块为被篡改块，则将该灰度差分图像帧对应的待检测图像帧标记为原始视频帧；

在设定的滑动窗口内，如果标记为被篡改视频帧的数量与标记为原始视频帧的数量的比值大于预设比值阈值，则确定所述滑动窗口内的所有灰度差分图像帧对应的待检测图像帧被篡改，否则，确定所述滑动窗口内的所有灰度差分图像帧对应的待检测图像帧未被篡改。

在本发明的一种具体实施方式中，还包括网络模型获得模块，用于通过以下步骤预先训练得到所述目标深度残差网络模型：

获得视频训练集和视频测试集，所述视频训练集和所述视频测试集均包含多个原始视频序列和多个篡改视频序列，每个原始视频序列和每个篡改视频序列均包含多个灰度差分图像帧，每个灰度差分图像帧被划分为多个具有设定尺寸大小的图像子块，每个原始视频序列中的每个灰度差分图像帧的初始标记均为原始视频帧，每个篡改视频序列中的每个灰度差分图像帧的初始标记为原始视频帧或者被篡改视频帧，每个被篡改视频帧包含的图像子块被标记为正样本，每个原始视频帧包含的图像子块被标记为负样本；

训练步骤：利用所述视频训练集对预先构建的深度残差网络进行训练，基于所述深度残差网络输出分类的损失值，利用梯度下降算法，调整网络参数，当所述深度残差网络的输出达到设定的分类精确度时，获得训练后的所述深度残差网络；

测试步骤：利用所述视频测试集对训练后的所述深度残差网络进行测试，确定篡改检测准确率，如果所述篡改检测准确率低于设定的准确率阈值，则重复执行所述训练步骤和所述测试步骤，直至所述篡改检测准确率高于或等于所述准确率阈值，获得所述目标深度残差网络模型。

应用本发明实施例所提供的技术方案，确定待检测视频序列后，对待检测视频序列中的待检测图像帧进行预处理，获得目标视频序列，将目标视频序列中每个图像子块依次输入到预先训练得到的目标深度残差网络模型中，获得每个图像子块属于正负样本的第一输出结果，并根据第一输出结果，通过滑动窗口调整，确定待检测视频序列的每一待检测图像帧是否被篡改。基于深度残差网络模型可以确定目标视频序列中每个图像子块属于正负样本的概率值，据此可以确定待检测视频序列中每个待检测图像帧是否被篡改，检测准确率较高，适用性较强。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中一种基于深度残差网络的视频区域移除篡改检测方法的实施流程图；

图2为本发明实施例中图像帧的一种分块方法示意图；

图3为本发明实施例中图像帧的另一种分块方法示意图；

图4为本发明实施例中图像子块输入到深度残差网络中处理过程示意图；

图5为本发明实施例中深度残差网络中的残差块内部结构示意图；

图6为本发明实施例中一种基于深度残差网络的视频区域移除篡改检测装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1所示，为本发明实施例所提供的一种基于深度残差网络的视频区域移除篡改检测方法的实施流程图，该方法可以包括以下步骤：

S110：确定待检测视频序列。

在实际应用中，在有对视频中的图像帧进行篡改检测需求时，可以将该视频转换为视频序列，将该视频序列确定为待检测视频序列。

视频序列是指有时空联系的多个视频图像按照一定顺序的排列，每幅视频图像为该视频序列的一帧X，总共有Y帧，即Y＝{X_i}，i∈{1,2,...,N}，N为帧数。

S120：对待检测视频序列中的待检测图像帧进行预处理，获得目标视频序列。

目标视频序列包含多个灰度差分图像帧，每个灰度差分图像帧被划分为多个图像子块。

每个视频均由多个视频图像帧构成，构成待检测视频序列的每个视频图像帧为待检测图像帧。确定待检测视频序列后，可以对待检测视频序列中的待检测图像帧进行预处理，获得目标视频序列。

在本发明的一种具体实施方式中，步骤S120可以包括以下步骤：

步骤一：将待检测视频序列中的每个待检测图像帧转换为灰度图像帧；

步骤二：基于绝对差分算法，将每个灰度图像帧转换为相应的灰度差分图像帧，获得目标视频序列，并将目标视频序列中每个灰度差分图像帧划分为多个具有设定尺寸大小的图像子块。

为便于描述，将上述两个步骤结合起来进行说明。

确定待检测视频序列后，可以将待检测视频序列中的每个待检测图像帧X_i转换为灰度图像帧G_i。

待检测视频序列中的每个待检测图像帧为彩色图像，每一幅彩色图像的每个像素值中，有R、G、B三个基色分量。灰度是描述灰度图像内容的最直接的视觉特征，是指黑白图像中点的颜色深度，范围一般从0到255，白色为255，黑色为0，故黑白图像也称为灰度图像。灰度图像矩阵元素的取值通常为[0,255]。彩色图像转换为灰度图像时，需要计算图像中每个像素有效的亮度值，其计算公式为：Gray＝0.3R+0.59G+0.11B。

进一步，可以基于绝对差分算法将每个灰度图像帧G_i转换为相应的灰度差分图像帧Z_i，灰度差分图像帧可以表示连续帧之间的运动残差。具体的，可以通过计算视频序列的每一帧减去前一帧的绝对差值，获得灰度差分图像帧。即对于视频序列的第一帧不作处理，从第二帧开始依次减去前一帧求其绝对差值，得到灰度差分图像帧Z_i＝abs(G_i-G_i-1)，abs(·)表示求取参数的绝对值。

将每个灰度图像帧转换为相应的灰度差分图像帧后，即获得目标视频序列，将目标视频序列中每个灰度差分图像帧划分为多个具有设定尺寸大小的图像子块。如图2所示，将每个灰度差分图像帧划分为左、中、右三个等大的图像子块，图像子块1、图像子块2、图像子块3。如，每个灰度差分图像帧的尺寸大小为1280×720，设定尺寸大小可以为720×720，将每个灰度差分图像帧划分为左、中、右三个等大的720×720的图像子块。

这样，多个灰度差分图像帧构成了目标视频序列，每个灰度差分图像帧被划分为了多个图像子块。

S130：将目标视频序列中的每个图像子块依次输入到预先训练得到的目标深度残差网络模型中，获得每个图像子块属于正负样本的概率值的第一输出结果。

在本发明实施例中，可以通过预先训练获得目标深度残差网络模型。具体的，可以通过以下步骤预先训练得到目标深度残差网络模型：

第一个步骤：获得视频训练集和视频测试集，视频训练集和视频测试集均包含多个原始视频序列和多个篡改视频序列，每个原始视频序列和每个篡改视频序列均包含多个灰度差分图像帧，每个灰度差分图像帧被划分为多个具有设定尺寸大小的图像子块，每个原始视频序列中的每个灰度差分图像帧的初始标记均为原始视频帧，每个篡改视频序列中的每个灰度差分图像帧的初始标记为原始视频帧或者被篡改视频帧，每个被篡改视频帧包含的图像子块被标记为正样本，每个原始视频帧包含的图像子块被标记为负样本；

第二个步骤：训练步骤：利用视频训练集对预先构建的深度残差网络进行训练，基于深度残差网络输出分类的损失值，利用梯度下降算法，调整网络参数，当深度残差网络的输出达到设定的分类精确度时，获得训练后的深度残差网络；

第三个步骤：测试步骤：利用视频测试集对训练后的深度残差网络进行测试，确定篡改检测准确率，如果篡改检测准确率低于设定的准确率阈值，则重复执行训练步骤和测试步骤，直至篡改检测准确率高于或等于准确率阈值，获得目标深度残差网络模型。

为便于描述，将上述三个步骤结合起来进行说明。

在本发明实施例中，可以先制作一个视频数据集。如制作的视频数据集中包含100个原始视频(记为pristine video)以及与之对应的100个篡改视频(记为tamperedvideo)。

对视频数据集进行预处理操作，获得视频训练集和视频测试集。具体的，可以将视频数据集中每个原始视频和每个篡改视频均转换为相应的视频序列，并对每个视频序列中的图像帧进行灰度处理后，转换为相应的灰度差分图像帧，获得原始视频序列和篡改视频序列，然后将每个原始视频序列和每个篡改视频序列中每个灰度差分图像帧划分为多个图像子块。从获得的原始视频序列和篡改视频序列中选择一部分作为视频训练集，将另一部分作为视频测试集。

即视频训练集和视频测试集均包含多个原始视频序列和多个篡改视频序列，每个原始视频序列和每个篡改视频序列均包含多个灰度差分图像帧，每个灰度差分图像帧被划分为多个具有设定尺寸大小的图像子块，每个原始视频序列中的每个灰度差分图像帧的初始标记均为原始视频帧，每个篡改视频序列中的每个灰度差分图像帧的初始标记为原始视频帧或者被篡改视频帧，每个被篡改视频帧包含的图像子块被标记为正样本，每个原始视频帧包含的图像子块被标记为负样本。具体的，视频训练集中每个被篡改视频帧包含的每个图像子块均包含被篡改区域的中心点。

由于原始视频序列中的所有视频帧均为原始视频帧，但在篡改视频序列中存在原始视频帧和被篡改视频帧，因此原始视频帧的数量会远远多于被篡改视频帧的视频帧数，为了在网络训练过程中获得相似数量的正负样本，本发明采用非对称图像分块方法对数据集进行数据增强。具体的分块方法以举例方式说明：

首先，在100个原始视频和100个篡改视频中，各选取50个视频作为视频训练集，剩余的50对视频作为视频测试集；

将视频训练集中大小为1280×720的原始视频帧划分为左、中、右三个等大的720×720大小的图像子块，并将其标记为负样本；

将视频训练集中被篡改视频帧(大小也为1280×720)中的被篡改区域用矩形块R标记，点C为矩形R中心点，然后将被篡改视频帧剪切为m个图像子块，每一图像子块包含矩形中心点C，如图3所示，并将每个图像子块标记为正样本；

将视频测试集中的所有视频帧均划分为左、中、右三个等大的图像子块，并将原始视频帧的图像子块标记为负样本，被篡改视频帧的图像子块标记为正样本。

通过上述非对称图像分块方法，可得到数量相近的正负样本。

获得视频训练集和视频测试集后，执行训练步骤的操作，利用视频训练集对预先构建的深度残差网络进行训练，基于深度残差网络输出分类的损失值，利用梯度下降算法，调整网络参数，当深度残差网络的输出达到设定的分类精确度时，获得训练后的深度残差网络。

在本发明实施例中，预先构建的深度残差网络包括五层，分别为：

第一层最大值池化层，卷积核大小为3×3，步长为3；

第二层图像卷积层，卷积核大小为5×5；

第三层残差块层，包括4个残差块，每个残差块内部包含三个卷积层，每个卷积层之前都分别连接一个归一化层和激活层，三个卷积核大小依次为：3×3、3×3、1×1；

第四层均值池化层，卷积核大小为8×8，步长为1；

第五层全连接层。

如图4所示，图像子块输入到深度残差网络中处理过程如下：

(1)、将视频训练集的图像子块通过第一层最大值池化层进行处理，输出差值图像R_i。最大值池化层指的是在接收到的输入数据上进行一个取最大值的处理，最大值池化层采用的是卷积核大小为3×3，步长为3的最大值池化。完成该最大值池化操作以后，输出的差值图像R_i大小由原来的720×720变为240×240；

(2)、将(1)中输出的差值图像R_i输入到第二层图像卷积层，其卷积核大小为5×5，经过卷积后，特征图(Feature Map)的数量为16；

(3)、将(2)的输出输入到第三层残差块层，残差块层包括4个残差块，每个残差块内部包含三个卷积层，每个卷积层之前都分别连接一个归一化层和激活层，三个卷积核的尺寸依次为：3×3、3×3、1×1，如图5所示。每经过一次残差块卷积之后，特征图的数量就翻一倍，四个残差块的特征图数量依次为：32、64、128、256；

(4)、将(3)的输出输入到第四层均值池化层，其卷积核尺寸为8×8，步长为1。由于最后一个残差块层的特征图数量为256，因此经过均值池化之后输出256维的特征向量；

(5)、将(4)的输出输入到第五层全连接层，用全连接层依次计算输入的每个256维的特征向量分别属于正样本和负样本的概率值。

将输出的概率值和训练集的真实标签进行比较，计算深度残差网络输出分类的损失(Loss)值，损失值是指对每个图像子块所做的正负样本标记和通过深度残差网络预测所属的分类概率值之间的差异。深度残差网络根据这些损失值来判定当前模型的分类效果，并以此对网络参数进行调整达到优化模型的目的。当深度残差网络的输出达到设定的分类精确度，则停止训练，获得训练后的深度残差网络。

利用视频测试集对训练后的深度残差网络进行测试，确定篡改检测准确率。具体的，将视频测试集中的每个图像子块依次输入到训练后的深度残差网络中，获得每个图像子块属于正负样本的概率值的第二输出结果；根据第二输出结果，标记视频测试集中每个灰度差分图像帧为原始视频帧或者被篡改视频帧；在设定的滑动窗口内，如果标记为被篡改视频帧的数量与标记为原始视频帧的数据量的比值大于预设比值阈值，则调整滑动窗口内的所有灰度差分图像帧的标记为被篡改视频帧，否则，调整滑动窗口内的所有灰度差分图像帧标记为原始视频帧；将每个灰度差分图像帧的调整后的标记与初始标记进行比对，确定篡改检测准确率。

即在测试过程中，将划分好的多个图像子块依次输入到训练后的深度残差网络中，然后输出每个图像子块所对应的256维的特征向量。

用全连接层依次计算步骤上面输出的每个图像子块的特征向量属于每个分类的概率值。每个图像子块都会得到两个概率值，一个为属于正样本的概率值，一个为属于负样本的概率值，若属于正样本的概率值大于或等于属于负样本的概率值，则判定该图像子块为被篡改块，若属于正样本的概率值小于属于负样本的概率值，则判定该图像子块为未篡改块。

在本发明实施例中，视频测试集中的某一视频图像帧被划分好的三个图像子块中，只要有一个被判定为被篡改块，则该视频图像帧被标记为被篡改视频帧；相反，若三个都被判定为未篡改块，则该视频图像帧被标记为原始视频帧。

依次执行上述步骤，输出对测试集中每一视频图像帧是否被篡改的判定结果。

为了获得更准确的分类结果，本发明实施例中对上述步骤输出的判定结果部署了一个非常简单的后处理程序。该后处理程序采用不重叠的滑动窗口来细化分类判定。滑动窗口的大小用L表示，在同一滑动窗口中标记为被篡改视频帧的数量用T表示，因此，L-T为同一滑动窗口中原始视频帧数量。

设L＝10，在后处理过程中，如果T≥7，则将滑动窗口中标记为原始视频帧的所有视频帧调整标记为被篡改视频帧；相反，如果T≤3，则将滑动窗口中标记为篡改视频帧的所有视频帧调整标记为原始视频帧。

最后，输出深度残差网络对每一视频图像帧的最终判定结果，并同真实的初始标记进行比对，确定视频篡改检测准确率，具体可以通过以下公式进行确定：

PFACC＝∑correctly_classified_pristine_frames/∑pristine_frames；

FFACC＝∑correctly_classified_forged_frames/∑forged_frames；

FACC＝∑correctly_classified_frames/∑all_the_frames。

其中，PFACC表示原始视频图像帧检测准确率，FFACC表示篡改视频图像帧检测准确率，FACC表示视频图像帧检测总准确率；

correctly_classified_pristine_frames表示分类正确的原始视频图像帧数目，correctly_classified_forged_frames表示分类正确的篡改视频图像帧数目，correctly_classified_frames表示分类正确的总视频图像帧数目，pristine_frames表示视频测试集中所有的原始视频图像帧数目，forged_frames表示视频测试集中所有的篡改视频图像帧数目，all_the_frames表示视频测试集中的总视频图像帧数目。

如果篡改检测准确率低于设定的准确率阈值，则重复执行训练步骤和测试步骤，直至篡改检测准确率高于或等于准确率阈值，获得目标深度残差网络模型。

将目标视频序列中的每个图像子块依次输入到预先训练得到的目标深度残差网络模型中，可以获得每个图像子块属于正负样本的概率值的第一输出结果。

S140：根据第一输出结果，通过滑动窗口调整，确定待检测视频序列的每一待检测图像帧是否被篡改。

在本发明的一种具体实施方式中，步骤S140可以包括以下步骤：

步骤一：针对每个图像子块，如果该图像子块属于正样本的概率值大于或等于该图像子块属于负样本的概率值，则确定该图像子块为被篡改块，否则，确定该图像子块为未篡改块；

步骤二：针对目标视频序列中每个灰度差分图像帧，如果该灰度差分图像帧划分的图像子块中至少有一个图像子块为被篡改块，则将该灰度差分图像帧对应的待检测图像帧标记为被篡改视频帧，如果该灰度差分图像帧划分的图像子块中没有任何一个图像子块为被篡改块，则将该灰度差分图像帧对应的待检测图像帧标记为原始视频帧；

步骤三：在设定的滑动窗口内，如果标记为被篡改视频帧的数量与标记为原始视频帧的数量的比值大于预设比值阈值，则确定滑动窗口内的所有灰度差分图像帧对应的待检测图像帧被篡改，否则，确定滑动窗口内的所有灰度差分图像帧对应的待检测图像帧未被篡改。

具体确定方式可以参考深度残差网络测试过程中的确定方式，本发明实施例在此不再赘述。

应用本发明实施例所提供的方法，确定待检测视频序列后，对待检测视频序列中的待检测图像帧进行预处理，获得目标视频序列，将目标视频序列中每个图像子块依次输入到预先训练得到的目标深度残差网络模型中，获得每个图像子块属于正负样本的第一输出结果，并根据第一输出结果，通过滑动窗口调整，确定待检测视频序列的每一待检测图像帧是否被篡改。基于深度残差网络模型可以确定目标视频序列中每个图像子块属于正负样本的概率值，据此可以确定待检测视频序列中每个待检测图像帧是否被篡改，检测准确率较高，适用性较强。

相应于上面的方法实施例，本发明实施例还提供了一种基于深度残差网络的视频区域移除篡改检测装置，下文描述的一种基于深度残差网络的视频区域移除篡改检测装置与上文描述的一种基于深度残差网络的视频区域移除篡改检测方法可相互对应参照。

参见图6所示，该装置包括以下模块：

待检测视频序列确定模块610，用于确定待检测视频序列；

目标视频序列获得模块620，用于对待检测视频序列中的待检测图像帧进行预处理，获得目标视频序列，目标视频序列包含多个灰度差分图像帧，每个灰度差分图像帧被划分为多个图像子块；

第一输出结果获得模块630，用于将目标视频序列中的每个图像子块依次输入到预先训练得到的目标深度残差网络模型中，获得每个图像子块属于正负样本的概率值的第一输出结果；

篡改确定模块640，用于根据第一输出结果，通过滑动窗口调整，确定待检测视频序列的每一待检测图像帧是否被篡改。

应用本发明实施例所提供的装置，确定待检测视频序列后，对待检测视频序列中的待检测图像帧进行预处理，获得目标视频序列，将目标视频序列中每个图像子块依次输入到预先训练得到的目标深度残差网络模型中，获得每个图像子块属于正负样本的第一输出结果，并根据第一输出结果，通过滑动窗口调整，确定待检测视频序列的每一待检测图像帧是否被篡改。基于深度残差网络模型可以确定目标视频序列中每个图像子块属于正负样本的概率值，据此可以确定待检测视频序列中每个待检测图像帧是否被篡改，检测准确率较高，适用性较强。

在本发明的一种具体实施方式中，目标视频序列获得模块620，具体用于：

将待检测视频序列中的每个待检测图像帧转换为灰度图像帧；

基于绝对差分算法，将每个灰度图像帧转换为相应的灰度差分图像帧，获得目标视频序列，并将目标视频序列中每个灰度差分图像帧划分为多个具有设定尺寸大小的图像子块，获得目标视频序列。

在本发明的一种具体实施方式中，篡改确定模块640，具体用于：

针对每个图像子块，如果该图像子块属于正样本的概率值大于或等于该图像子块属于负样本的概率值，则确定该图像子块为被篡改块，否则，确定该图像子块为未篡改块；

针对目标视频序列中每个灰度差分图像帧，如果该灰度差分图像帧划分的图像子块中至少有一个图像子块为被篡改块，则将该灰度差分图像帧对应的待检测图像帧标记为被篡改视频帧，如果该灰度差分图像帧划分的图像子块中没有任何一个图像子块为被篡改块，则将该灰度差分图像帧对应的待检测图像帧标记为原始视频帧；

在设定的滑动窗口内，如果标记为被篡改视频帧的数量与标记为原始视频帧的数量的比值大于预设比值阈值，则确定滑动窗口内的所有灰度差分图像帧对应的待检测图像帧被篡改，否则，确定滑动窗口内的所有灰度差分图像帧对应的待检测图像帧未被篡改。

在本发明的一种具体实施方式中，还包括网络模型获得模块，用于通过以下步骤预先训练得到目标深度残差网络模型：

获得视频训练集和视频测试集，视频训练集和视频测试集均包含多个原始视频序列和多个篡改视频序列，每个原始视频序列和每个篡改视频序列均包含多个灰度差分图像帧，每个灰度差分图像帧被划分为多个具有设定尺寸大小的图像子块，每个原始视频序列中的每个灰度差分图像帧的初始标记均为原始视频帧，每个篡改视频序列中的每个灰度差分图像帧的初始标记为原始视频帧或者被篡改视频帧，每个被篡改视频帧包含的图像子块被标记为正样本，每个原始视频帧包含的图像子块被标记为负样本；

训练步骤：利用视频训练集对预先构建的深度残差网络进行训练，基于深度残差网络输出分类的损失值，利用梯度下降算法，调整网络参数，当深度残差网络的输出达到设定的分类精确度时，获得训练后的深度残差网络；

测试步骤：利用视频测试集对训练后的深度残差网络进行测试，确定篡改检测准确率，如果篡改检测准确率低于设定的准确率阈值，则重复执行训练步骤和测试步骤，直至篡改检测准确率高于或等于准确率阈值，获得目标深度残差网络模型。

在本发明的一种具体实施方式中，视频训练集中每个被篡改视频帧包含的每个图像子块均包含被篡改区域的中心点。

在本发明的一种具体实施方式中，网络模型获得模块，具体用于：

将视频测试集中的每个图像子块依次输入到训练后的深度残差网络中，获得每个图像子块属于正负样本的概率值的第二输出结果；

根据第二输出结果，标记视频测试集中每个灰度差分图像帧为原始视频帧或者被篡改视频帧；

在设定的滑动窗口内，如果标记为被篡改视频帧的数量与标记为原始视频帧的数据量的比值大于预设比值阈值，则调整滑动窗口内的所有灰度差分图像帧的标记为被篡改视频帧，否则，调整滑动窗口内的所有灰度差分图像帧标记为原始视频帧；

将每个灰度差分图像帧的调整后的标记与初始标记进行比对，确定篡改检测准确率。

在本发明的一种具体实施方式中，预先构建的深度残差网络包括五层，分别为：

第一层最大值池化层，卷积核大小为3×3，步长为3；

第二层图像卷积层，卷积核大小为5×5；

第三层残差块层，包括4个残差块，每个残差块内部包含三个卷积层，每个卷积层之前都分别连接一个归一化层和激活层，三个卷积核大小依次为：3×3、3×3、1×1；

第四层均值池化层，卷积核大小为8×8，步长为1；

第五层全连接层。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的技术方案及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种基于深度残差网络的视频区域移除篡改检测方法，其特征在于，包括：

确定待检测视频序列；

对所述待检测视频序列中的待检测图像帧进行预处理，获得目标视频序列，所述目标视频序列包含多个灰度差分图像帧，每个灰度差分图像帧被划分为多个图像子块；

将所述目标视频序列中的每个图像子块依次输入到预先训练得到的目标深度残差网络模型中，获得每个图像子块属于正负样本的概率值的第一输出结果；

根据所述第一输出结果，通过滑动窗口调整，确定所述待检测视频序列的每一待检测图像帧是否被篡改。

2.根据权利要求1所述的方法，其特征在于，所述对所述待检测视频序列中的待检测图像帧进行预处理，获得目标视频序列，包括：

将所述待检测视频序列中的每个待检测图像帧转换为灰度图像帧；

基于绝对差分算法，将每个灰度图像帧转换为相应的灰度差分图像帧，获得目标视频序列，并将所述目标视频序列中每个灰度差分图像帧划分为多个具有设定尺寸大小的图像子块。

3.根据权利要求1所述的方法，其特征在于，所述根据所述第一输出结果，通过滑动窗口调整，确定所述待检测视频序列的每一待检测图像帧是否被篡改，包括：

针对每个图像子块，如果该图像子块属于正样本的概率值大于或等于该图像子块属于负样本的概率值，则确定该图像子块为被篡改块，否则，确定该图像子块为未篡改块；

针对所述目标视频序列中每个灰度差分图像帧，如果该灰度差分图像帧划分的图像子块中至少有一个图像子块为被篡改块，则将该灰度差分图像帧对应的待检测图像帧标记为被篡改视频帧，如果该灰度差分图像帧划分的图像子块中没有任何一个图像子块为被篡改块，则将该灰度差分图像帧对应的待检测图像帧标记为原始视频帧；

在设定的滑动窗口内，如果标记为被篡改视频帧的数量与标记为原始视频帧的数量的比值大于预设比值阈值，则确定所述滑动窗口内的所有灰度差分图像帧对应的待检测图像帧被篡改，否则，确定所述滑动窗口内的所有灰度差分图像帧对应的待检测图像帧未被篡改。

4.根据权利要求1至3之中任一项所述的方法，其特征在于，通过以下步骤预先训练得到所述目标深度残差网络模型：

获得视频训练集和视频测试集，所述视频训练集和所述视频测试集均包含多个原始视频序列和多个篡改视频序列，每个原始视频序列和每个篡改视频序列均包含多个灰度差分图像帧，每个灰度差分图像帧被划分为多个具有设定尺寸大小的图像子块，每个原始视频序列中的每个灰度差分图像帧的初始标记均为原始视频帧，每个篡改视频序列中的每个灰度差分图像帧的初始标记为原始视频帧或者被篡改视频帧，每个被篡改视频帧包含的图像子块被标记为正样本，每个原始视频帧包含的图像子块被标记为负样本；

训练步骤：利用所述视频训练集对预先构建的深度残差网络进行训练，基于所述深度残差网络输出分类的损失值，利用梯度下降算法，调整网络参数，当所述深度残差网络的输出达到设定的分类精确度时，获得训练后的所述深度残差网络；

测试步骤：利用所述视频测试集对训练后的所述深度残差网络进行测试，确定篡改检测准确率，如果所述篡改检测准确率低于设定的准确率阈值，则重复执行所述训练步骤和所述测试步骤，直至所述篡改检测准确率高于或等于所述准确率阈值，获得所述目标深度残差网络模型。

5.根据权利要求4所述的方法，其特征在于，所述视频训练集中每个被篡改视频帧包含的每个图像子块均包含被篡改区域的中心点。

6.根据权利要求4所述的方法，其特征在于，所述利用所述视频测试集对训练后的所述深度残差网络进行测试，确定篡改检测准确率，包括：

将所述视频测试集中的每个图像子块依次输入到训练后的所述深度残差网络中，获得每个图像子块属于正负样本的概率值的第二输出结果；

根据所述第二输出结果，标记所述视频测试集中每个灰度差分图像帧为原始视频帧或者被篡改视频帧；

在设定的滑动窗口内，如果标记为被篡改视频帧的数量与标记为原始视频帧的数据量的比值大于预设比值阈值，则调整所述滑动窗口内的所有灰度差分图像帧的标记为被篡改视频帧，否则，调整所述滑动窗口内的所有灰度差分图像帧标记为原始视频帧；

将每个灰度差分图像帧的调整后的标记与初始标记进行比对，确定篡改检测准确率。

7.根据权利要求4所述的方法，其特征在于，预先构建的所述深度残差网络包括五层，分别为：

第一层最大值池化层，卷积核大小为3×3，步长为3；

第二层图像卷积层，卷积核大小为5×5；

第三层残差块层，包括4个残差块，每个残差块内部包含三个卷积层，每个卷积层之前都分别连接一个归一化层和激活层，三个卷积核大小依次为：3×3、3×3、1×1；

第四层均值池化层，卷积核大小为8×8，步长为1；

第五层全连接层。

8.一种基于深度残差网络的视频区域移除篡改检测装置，其特征在于，包括：

待检测视频序列确定模块，用于确定待检测视频序列；

目标视频序列获得模块，用于对所述待检测视频序列中的待检测图像帧进行预处理，获得目标视频序列，所述目标视频序列包含多个灰度差分图像帧，每个灰度差分图像帧被划分为多个图像子块；

第一输出结果获得模块，用于将所述目标视频序列中的每个图像子块依次输入到预先训练得到的目标深度残差网络模型中，获得每个图像子块属于正负样本的概率值的第一输出结果；

篡改确定模块，用于根据所述第一输出结果，通过滑动窗口调整，确定所述待检测视频序列的每一待检测图像帧是否被篡改。

9.根据权利要求1所述的装置，其特征在于，所述篡改确定模块，具体用于：

针对每个图像子块，如果该图像子块属于正样本的概率值大于或等于该图像子块属于负样本的概率值，则确定该图像子块为被篡改块，否则，确定该图像子块为未篡改块；

针对所述目标视频序列中每个灰度差分图像帧，如果该灰度差分图像帧划分的图像子块中至少有一个图像子块为被篡改块，则将该灰度差分图像帧对应的待检测图像帧标记为被篡改视频帧，如果该灰度差分图像帧划分的图像子块中没有任何一个图像子块为被篡改块，则将该灰度差分图像帧对应的待检测图像帧标记为原始视频帧；

在设定的滑动窗口内，如果标记为被篡改视频帧的数量与标记为原始视频帧的数量的比值大于预设比值阈值，则确定所述滑动窗口内的所有灰度差分图像帧对应的待检测图像帧被篡改，否则，确定所述滑动窗口内的所有灰度差分图像帧对应的待检测图像帧未被篡改。

10.根据权利要求8或9所述的装置，其特征在于，还包括网络模型获得模块，用于通过以下步骤预先训练得到所述目标深度残差网络模型：

获得视频训练集和视频测试集，所述视频训练集和所述视频测试集均包含多个原始视频序列和多个篡改视频序列，每个原始视频序列和每个篡改视频序列均包含多个灰度差分图像帧，每个灰度差分图像帧被划分为多个具有设定尺寸大小的图像子块，每个原始视频序列中的每个灰度差分图像帧的初始标记均为原始视频帧，每个篡改视频序列中的每个灰度差分图像帧的初始标记为原始视频帧或者被篡改视频帧，每个被篡改视频帧包含的图像子块被标记为正样本，每个原始视频帧包含的图像子块被标记为负样本；

训练步骤：利用所述视频训练集对预先构建的深度残差网络进行训练，基于所述深度残差网络输出分类的损失值，利用梯度下降算法，调整网络参数，当所述深度残差网络的输出达到设定的分类精确度时，获得训练后的所述深度残差网络；

测试步骤：利用所述视频测试集对训练后的所述深度残差网络进行测试，确定篡改检测准确率，如果所述篡改检测准确率低于设定的准确率阈值，则重复执行所述训练步骤和所述测试步骤，直至所述篡改检测准确率高于或等于所述准确率阈值，获得所述目标深度残差网络模型。