CN107527337A

CN107527337A - 一种基于深度学习的视频对象移除篡改检测方法

Info

Publication number: CN107527337A
Application number: CN201710665991.9A
Authority: CN
Inventors: 姚晔; 吴铤; 张伟; 任支; 任一支; 胡伟通
Original assignee: Hangzhou Dianzi University
Current assignee: Hangzhou Huicui Intelligent Technology Co ltd
Priority date: 2017-08-07
Filing date: 2017-08-07
Publication date: 2017-12-29
Anticipated expiration: 2037-08-07
Also published as: CN107527337B

Abstract

本发明提供一种基于深度学习的视频对象移除篡改检测方法。本发明方法将视频序列经过前处理转换为灰度差分图像，通过最大值池化减小卷积的计算量、通过高通滤波增强图像的差值信号，然后用非对称的图像子块划分策略得到数量相近的正样本和负样本，最后基于深度学习理论训练神经网络模型。用训练得到的网络模型，测试待检测的视频序列的每一个视频图像帧，得出待检测视频序列每一帧是否存在视频对象移除篡改的判定结果。本发明方法可以实现对视频序列中视频对象移除篡改的检测，判定该视频序列中的每一帧是否存在视频对象移除篡改。本发明可以满足视频完整性、真实性的验证要求，是视频被动取证的一种解决方法，具有广阔的应用前景。

Description

一种基于深度学习的视频对象移除篡改检测方法

技术领域

本发明属于多媒体信息安全领域，涉及视频被动取证技术，具体涉及一种基于深度学习的视频对象移除篡改检测方法。

背景技术

视觉是人类获取外部信息的重要手段，人类接受的信息有80％以上来自于视觉。视频图像是人类视觉系统的主要输入媒体，是承载外部资讯的重要载体。视频图像的篡改技术使得图像和视频的完整性、真实性和可靠性受到质疑。数字媒体编辑软件Photoshop和Premiere等工具的更新升级，使得非专业人员也可以借助软件工具对图像和视频进行篡改。

视频对象移除篡改是指视频帧图像的某个重要运动目标(即视频对象)被覆盖或被替换，经过图像编辑和修补之后，该运动目标所在区域的修改痕迹很难通过肉眼来分辨。视频对象承载了视频序列的关键语义信息。经过篡改的视频序列表达不真实的语义信息，如果该篡改操作属于恶意的伪造行为，将产生非常严重的影响和后果。通过互联网传播可能会扰乱正常的公众秩序，甚至还会威胁社会的和谐稳定。因此，视频对象篡改的检测具有重要的研究价值和应用前景。

发明内容

本发明的目的是提供一种基于深度学习的视频对象移除篡改检测方法。

本发明方法将视频对象移除篡改检测过程分为训练和测试两部分；首先选取部分视频序列训练深度神经网络模型，然后用训练好的网络模型检测剩余的视频序列，以此验证通过训练得到的深度神经网络模型的检测性能；具体步骤是：

步骤1.依次输入视频序列的每一帧：视频序列由若干幅在时间上连续且前后关联的图像构成，每幅图像为该视频序列的一帧F，视频序列共有N帧，记为视频序列S＝{F_i},i∈[0,N-1]；

步骤2.将输入的每一幅视频图像帧F_i转换为灰度图像G_i：

Gray＝R×0.299+G×0.587+B×0.114；

R、G、B分别是彩色的视频图像帧F_i的三个通道的色彩值，Gray为转换成灰度图像G_i的像素点的灰度值；彩色的视频图像帧中，每个像素点包括RGB三个通道的色彩信号，每个通道分别用一个字节来表示；转换成灰度图像之后，每个像素点只需要用一个字节来表示，像素点的灰度值取值范围为[0,255]；

步骤3.计算视频序列的每一帧与前一帧灰度图像的差值，取绝对值，得到灰度差分图像D_i；对于输入的视频序列第一帧，先保存下来，不进行后续处理；从输入的第二帧开始，依次执行相减并取绝对值的操作，得到灰度差分图像D_i＝abs(G_i-G_i-1)，abs(·)表示返回参数的绝对值；

步骤4.对输入的灰度差分图像D_i进行最大值池化处理，输出差值图像R_i；

步骤5.对每一幅差值图像R_i进行高通滤波，增强图像差值信号，输出增强之后的增强差值图像I_i；

步骤6.将输入的每一幅增强差值图像I_i划分为多个图像子块，每个图像子块作为一个样本输入到深度卷积神经网络模型中，计算得出每个图像子块的特征向量V；

步骤7.用全连接层依次计算每个特征向量V属于每个分类的概率值：通过一个全连接层，计算输入的每个特征向量V分别属于正样本和负样本的概率，取大概率值所对应的分类，作为本次预测的分类结果；

步骤8.根据概率值预测的分类结果和输入图像子块所属的真实标签，按照神经网络模型中的损失值计算公式计算输出分类的损失值；通过分析该损失值的变化趋势，依据梯度下降算法，调整网络模型中的权重参数，使得下一次预测分类的损失值减小，从而达到进一步优化网络模型的目的；

步骤9.判定当前网络模型是否满足设定的分类精确度，或者是否达到指定的迭代次数；若未达到，则回到步骤6，继续训练网络模型；若已经达到，则结束训练，输出训练好的网络模型；

步骤10.用训练好的网络模型测试待检测视频序列的每一帧：待检测的视频序列处理之后，得到视频序列的每一帧的每一个图像子块的特征向量V；处理方法采用步骤1-6相同的方法；

步骤11.用全连接层依次计算每个图像子块的特征向量V属于每个分类的概率值，每个图像子块将得到两个概率值：属于正样本的概率值和属于负样本的概率值；若属于正样本的概率值大于属于负样本的概率值，则该图像子块被判定为被篡改块；否则，该图像子块被判定为未被篡改块；

步骤12.输出待判定的视频序列的每一帧是否被篡改的判定结果；若待判定的某幅视频图像帧的所有图像子块中，只要有一个被判定为被篡改图像子块，则该幅视频图像帧将会被标记为被篡改的视频帧；依次对待检测的视频序列的每一帧执行上述测试阶段的所有步骤，得出待检测视频序列的每一帧是否被篡改的判定结果。

步骤4中所述的最大值池化采用步长为3、核大小为3x3的最大值池化，对输入的灰度差分图像D_i进行处理；完成该最大值池化操作之后，输出的差值图像R_i的长和宽分别变成原来的1/3，整幅图像变成原来的1/9，这将大大降低图像卷积操作的计算量。

步骤5中所述的高通滤波的方法采用卷积操作，卷积核K定义为：

用该卷积核依次对每一幅差值图像R_i的每一个像素点进行处理，输出卷积操作之后的增强差值图像I_i。

步骤6中所述划分图像子块的方法，包括：从未篡改的视频帧中以较大的步长选取3幅图像子块，标记为负样本；从被篡改的视频帧中以较小的步长选取包含视频对象移除篡改区域的最多15幅图像子块，标记为正样本；所述的较大的步长能够使得三幅图像子块分别位于视频帧的左、中、右，且均匀分布；所述的较小的步长，使得取出的图像子块都包括篡改区域，均匀分布。

步骤6中所述的深度卷积神经网络模型，包括：5个图像卷积层；每个卷积层之后都分别连接一个归一化层和激活层；每个激活层之后都分别连接一个均值池化层。

本发明选取被篡改的视频对象所在区域标记为正样本，而从未篡改的视频图像帧中随机选取部分区域标记为负样本。深度卷积神经网络模型在训练过程中需要大量的正负样本。为了获取足够多的训练用的正负样本，本发明采用的一种非对称数量的正负样本选取策略：在视频对象移除篡改区域附近，以较小的步长取最多十五个图像子块作为正样本；在未篡改的视频图像帧中，以较大的步长依次取三幅图像子块作为负样本。在用于训练的视频序列中，未篡改的视频帧数量远大于篡改的视频帧，基于上述非对称数量的正负样本选取策略，最终得到的训练用的正样本数量和负样本数量相差不大。该非对称策略增加了训练样本的数量，同时保证了正负样本的数量差别在可接受范围内，满足深度卷积神经网络模型的训练需求。

用训练得到的深度卷积神经网络模型测试待检测的视频序列，可以判定视频序列中每一帧是否存在视频对象移除篡改区域，从而得出待检测的视频序列是否被篡改，以及篡改发生的开始帧和结束帧。为了提高检测的准确率，本发明采用的一种改进是：若某视频帧的几个图像子块中，有至少一个图像子块被判定为被篡改，则该视频帧即被判定为存在视频对象移除篡改的视频图像帧。

本发明方法通过研究视频对象移除篡改抽象统计特征的选择和提取，基于深度学习理论训练模型，然后用训练好的模型来判定待检测的篡改视频和非篡改视频。深度学习理论已经被广泛应用于视频图像处理、视频智能分析等领域，并且取得了较好的效果。当前，已经有不少学者开始在多媒体安全领域，利用基于深度学习的方法解决隐写分析、图像篡改检测等多媒体安全问题。本发明将深度学习模型应用于视频被动取证研究领域，提出一种视频对象移除篡改的检测方法。本发明可以满足视频完整性、真实性的验证要求，是视频被动取证的一种解决方法，具有广阔的应用前景。

附图说明

图1为本发明实施例所提供的视频对象移除篡改检测方法的流程图；

图2为本发明实施例所提供的深度卷积神经网络模型图；

图3为本发明实施例所提供的视频帧的图像子块选取策略。

具体实施方式

为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。应当明确，所描述的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本发明实施例给出一种基于深度学习的视频对象移除篡改检测方法。图1为本发明实施例所提供的检测方法的流程示意图。如图1所示，该方法包括以下步骤：

步骤101，依次输入视频序列的每一帧。视频序列由若干幅在时间上连续且前后关联的图像构成，每幅图像称为该视频序列的一帧。假设某个视频序列共有N帧，则可以记为视频序列S＝{F_i},i∈[0,N-1].

步骤102，将输入的每一幅视频图像帧F_i转换为灰度图像G_i。彩色的视频图像帧中，每个像素点包括RGB三个通道的色彩信号，每个通道分别用一个字节来表示。而灰度图像的每个像素点只需要用一个字节来表示，像素点的灰度值取值范围为[0,255]。为了节省存储空间和降低计算复杂度，本发明将彩色图像转换为灰度图像之后，再进行后续的运算。

步骤103，计算视频序列的每一帧与前一帧灰度图像的差值，并取绝对值，得到灰度差分图像D_i。对于输入的视频序列第一帧，先保存下来，不进行后续处理。从输入的第二帧开始，依次执行相减并取绝对值的操作，得到D_i＝abs(G_i-G_i-1)。

步骤104，用最大值池化减少卷积操作的计算量。在基于深度学习的图像处理应用中，最大值池化(max pooling)操作经常被用来减少待处理图像的尺寸，降低运算量。本发明中，采用步长为3、核大小为3x3的最大值池化，对输入的灰度差分图像D_i进行处理。完成该最大值池化操作之后，输出的差值图像R_i的长和宽分别变成原来的1/3，整幅图像变成原来的1/9，这将大大降低后续卷积操作的计算量。

步骤105，用高通滤波器对每一幅差值图像R_i进行处理，增强图像差值信号。本发明中采用卷积操作实现对差值图像的高通滤波。卷积核K定义为：

用该卷积核依次对每一幅差值图像R_i的每一个像素点进行处理，输出卷积操作之后的图像I_i。

步骤106，判定是否处于训练阶段，决定后续的运行流程。本实施例中采用50个视频序列来训练深度卷积神经网络模型。训练完成之后，用得到的网络模型来测试另外50个视频序列。在测试阶段，所有视频序列的视频帧和训练阶段的视频帧一样，都要经过步骤101至步骤105的处理。

步骤107，划分图像子块训练深度卷积神经网络模型。为了获取足够多的训练样本，在本发明的实施例中，将输入的每一幅差值图像R_i划分为多个子块；每个子块作为一个样本输入到网络模型中，计算得出每个子块的特征向量。因此，将每一幅差值图像R_i输入到本发明实施例所述的网络模型中，在步骤107中，将输出多个128维的特征向量V，从而完成视频对象移除篡改特征向量的提取。步骤107中包含的深度卷积神经网络模型的详细结构见本发明说明书附图2及相应的说明，差值图像划分为多个子块的流程见本发明说明书附图3及相应说明。

步骤108，用全连接层依次计算每个特征向量V属于每个分类的概率值。全连接层(full connected layer)被广泛应用于深度神经网络中，完成特征向量到样本标签的映射。在本步骤中，通过一个全连接层，计算输入的每个128维的特征向量V分别属于正样本和负样本的概率。

步骤109，根据上述计算的概率值和输入图像子块所属的真实标签(即属于正样本或负样本)，计算网络模型输出分类的损失(loss)值。本发明的实施例的步骤107中，输入的差值图像被划分为若干个图像子块。如果图像子块位于被篡改的视频对象所在区域，则标记为正样本；否则，标记为负样本。图像子块所属的真实标签和预测所属的分类概率值之间的差异称为损失值。深度卷积神经网络模型根据这些损失值，来判定当前模型的分类效果，继续调整网络中的权重参数，优化网络模型。当网络模型满足一定的分类精确度或者训练到指定的迭代次数，则结束训练，输出训练好的网络模型。

步骤110，用训练好的网络模型测试待检测视频序列的每一帧。在测试阶段，将待检测视频的每一帧输入到步骤101中，经过步骤106之后，进入测试阶段。在步骤110中，每一帧差值图像R_i被划分为多个图像子块，然后依次输入到本发明实施例所述的训练好的网络模型中，分别输出每个子块对应的128维的特征向量V，完成视频对象移除篡改特征向量的提取。

步骤111，用全连接层依次计算每个图像子块的特征向量V属于每个分类的概率值。每个图像子块将得到两个概率值：属于正样本的概率值和属于负样本的概率值。若属于正样本的概率值比属于负样本的概率值大，则该图像子块被判定为被篡改块；否则，该图像子块被判定为未被篡改块。

步骤112，输出待判定的视频序列的每一帧是否被篡改的判定结果。待判定的视频帧在步骤110中，被划分为多个图像子块；每个图像子块在步骤111中根据所属分类的概率值被判定为是否被篡改。本发明实施例中，若待判定的某幅视频图像帧的所有图像子块中，只要有一个被判定为被篡改图像子块，则该幅视频图像帧将会被标记为被篡改的视频帧。依次对待检测的视频序列的每一帧执行上述测试阶段的所有步骤，得出待检测视频序列的每一帧是否被篡改的判定结果。

本发明实施例进一步给出实现上述方法实施例中各步骤及方法的装置实施例。

参考图2，其为本发明实施例步骤107所提供的深度卷积神经网络模型图。如图所示，按照输入图像子块，输出判定结果的流程顺序，该模型包括：

1)输入240x240的灰度差分值图像子块。输入的视频序列的每一帧，通过彩色转灰度、计算帧差值、最大值池化和高通滤波等视频前处理之后，被划分为若干个尺寸为240x240的图像子块。图像子块的划分策略见说明书附图3所示。

2)包括5个图像卷积层。卷积核的尺寸依次为：5x5,3x3,3x3,1x1,1x1。每经过一次卷积之后，滤波器的数量就翻一倍，5个卷积层的滤波器数量依次为：8,16,32,64,128。

3)每个卷积层之后都分别连接一个归一化层和激活层。

4)每个激活层之后都分别连接一个均值池化层。其中，前四个均值池化层的核尺寸为5x5，步长为2，填充值为1，完成池化操作之后，图像子块的长和宽各变成原来的一半；最后一个均值池化层的核尺寸为15x15，即对图像子块的每一个滤波器依次做全局池化，分别可以得到一个数值的输出。由于最后一层卷积层的滤波器数量为128，因此经过最后一个均值池化之后，本发明实施例中的深度神经网络模型输出128维的特征向量。

参考图3，其为本发明实施例步骤107所提供的视频帧的图像子块划分策略。

为了增加参与深度学习训练的图像子块数量，本发明实施例按照图3(A)所示策略将未被篡改的视频图像帧划分为三个图像子块，按照图3(B)所示策略将被篡改的视频图像帧划分为M个图像子块。

如图3(A)所示，三个图像子块分别位于原始视频图像帧的左侧、中部和右侧。图像子块的尺寸为240x240，三个图像子块覆盖了该视频图像帧的大部分目标区域。这三个图像子块都来自于未被篡改的视频图像帧，都应该被标记为未篡改的负样本。

如图3(B)所示，该视频图像帧中运动的人被从视频帧中移除，矩形区域R标识出被篡改的区域。从该视频图像帧中以较小的步长S划分出的M个图像子块，都完整的包含矩形区域R。因此，这M个图像子块都是被篡改的图像，都应该标记为被篡改的正样本。本发明实施例中M的取值，由矩形区域R在视频图像帧中的位置和划分图像子块的步长S共同决定。如果矩形区域R靠近视频帧的边界区域，则M的取值较小。如果需要增加M的取值，只需要减小步长S的取值即可。本发明实施例中，S取值10，M取值不超过15，所有的正样本都必须包含被篡改的矩形区域R。

由于参与训练的视频序列包括被篡改的视频序列和未被篡改的视频序列，而视频对象的移除篡改有可能只发生在被篡改的视频序列的部分视频帧中，因此，标记为负样本的图像子块可以来自于未被篡改的视频序列中，也可以来自于被篡改的视频序列的未被篡改的视频帧中；而标记为正样本的图像子块全部来自于被篡改的视频序列的视频对象移除篡改附近的图像区域。本发明实施例中，采用图3(B)所示的策略尽量多的划分出包含篡改区域的正样本，使得最终的正样本和负样本的数量相近，保证了深度学习训练过程的正常进行。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims

1.一种基于深度学习的视频对象移除篡改检测方法，该方法将视频对象移除篡改检测过程分为训练和测试两部分；首先选取部分视频序列训练深度神经网络模型，然后用训练好的网络模型检测剩余的视频序列，以此验证通过训练得到的深度神经网络模型的检测性能；其特征在于该方法的具体步骤是：

步骤2.将输入的每一幅视频图像帧F_i转换为灰度图像G_i：

Gray＝R×0.299+G×0.587+B×0.114；

R、G、B分别是彩色的视频图像帧F_i的三个通道的色彩值，Gray为转换成灰度图像G_i的像素点的灰度值，像素点的灰度值取值范围为[0,255]；

步骤3.对于输入的视频序列第一帧，先保存下来，不进行后续处理；从输入的第二帧开始，依次执行相减并取绝对值的操作，得到灰度差分图像D_i＝abs(G_i-G_i-1)，abs(·)表示返回参数的绝对值；

2.如权利要求1所述的一种基于深度学习的视频对象移除篡改检测方法，其特征在于：步骤4中所述的最大值池化采用步长为3、核大小为3x3的最大值池化，对输入的灰度差分图像D_i进行处理；完成该最大值池化操作之后，输出的差值图像R_i的长和宽分别变成原来的1/3，整幅图像变成原来的1/9。

3.如权利要求1所述的一种基于深度学习的视频对象移除篡改检测方法，其特征在于：步骤5中所述的高通滤波的方法采用卷积操作，卷积核K定义为：

4.如权利要求1所述的一种基于深度学习的视频对象移除篡改检测方法，其特征在于：步骤6中所述划分图像子块的方法，包括：从未篡改的视频帧中以较大的步长选取3幅图像子块，标记为负样本；从被篡改的视频帧中以较小的步长选取包含视频对象移除篡改区域的最多15幅图像子块，标记为正样本；所述的较大的步长能够使得三幅图像子块分别位于视频帧的左、中、右，且均匀分布；所述的较小的步长，使得取出的图像子块都包括篡改区域，均匀分布。

5.如权利要求1所述的一种基于深度学习的视频对象移除篡改检测方法，其特征在于：步骤6中所述的深度卷积神经网络模型，包括：5个图像卷积层；每个卷积层之后都分别连接一个归一化层和激活层；每个激活层之后都分别连接一个均值池化层。