CN109754393A - 一种基于深度学习的篡改图像鉴定方法及装置 - Google Patents

Abstract

本发明公开了一种基于深度学习的篡改图像鉴定方法及装置，方法包括：S1：对待鉴定图像进行预处理，获取与待鉴定图像对应的灰度图像；S2：将灰度图像输入到预先训练的神经网络模型中，预测待鉴定图像的篡改概率，其中，神经网络模型可以处理任意大小分辨率的图像；S3：根据篡改概率与预设的阈值，判定待鉴定图像是否为篡改图像。本发明将图像篡改检测问题描述成图像分类问题，不需要在已知的篡改图像上定位篡改区域，而是很容易的利用已有的神经网络算法快速的判定出图像是否被篡改，且在训练、测试以及判定阶段均采用原始分辨率的图像，不仅能保证篡改区域在处理过程不被修改，而且还让模型能够更准确地检测出篡改区域很小的图片。

Description

一种基于深度学习的篡改图像鉴定方法及装置

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种基于深度学习的篡改图像鉴定方法及装置。

背景技术

随着移动终端设备的普及，数字图像获取越来越容易，相应的数字图像处理软件也越来越多，如photoshop、美图等。数字图像处理软件的功能也越来越强大，使用也越来越方便，从自适应曝光、去模糊、抠图、再到图像拼接与融合，这些技术手段用在传媒行业，会带来更多的趣味性，在一定程度上促进了娱乐和图片社交行业的发展。但同时也滋生了一批投机分子，专门生成伪造或篡改的图像，去做一些非法的事情，比如在保险、金融行业中进行非法利益的获取。

这些伪造或篡改后的图像已经不再是原始场景下的内容，但是由于用了多种图像处理技术，可以很好的欺骗肉眼，让人无法辨别真伪。现有技术的篡改图像鉴定方法或装置大多是采用在已知的篡改图像上定位篡改区域的技术手段，但是这种方法不容易利用已有的算法模型进行快速区分真假图像。因此，亟需提出一种新的篡改图像鉴定方法及装置，解决上述问题，帮助业务人员快速区分真假图像。

发明内容

为了解决现有技术的问题，本发明实施例提供了一种基于深度学习的篡改图像鉴定方法，以克服现有技术中不容易利用已有的算法模型进行快速区分真假图像、不能保证篡改区域在处理过程中不被修改以及模型训练过程中容易产生过拟合等问题。

为解决上述技术问题，本发明采用的技术方案是：

一方面，提供了一种基于深度学习的篡改图像鉴定方法，所述方法包括如下步骤：

S1：对待鉴定图像进行预处理，获取与所述待鉴定图像对应的灰度图像；

S2：将所述灰度图像输入到预先训练的神经网络模型中，预测所述待鉴定图像的篡改概率，其中，所述神经网络模型可以处理任意大小分辨率的图像；

S3：根据所述篡改概率与预设的阈值，判定所述待鉴定图像是否为篡改图像。

进一步的，所述对待鉴定图像进行预处理包括：

通过预设的不同卷积核分别对所述待鉴定图像进行滤波处理，分别获取与所述待鉴定图像对应的不同的灰度图像。

进一步的，所述预先训练神经网络模型时采用原始分辨率的图像，且所述预测所述待鉴定图像的篡改概率时也采用原始分辨率的所述待鉴定图像。

进一步的，所述步骤S2具体包括：

S2.1：训练神经网络模型，在所述神经网络模型中引入空间金字塔池化层；

S2.2：将所述灰度图像输入至所述神经网络模型中，提取所述灰度图像的深度特征；

S2.3：所述神经网络模型根据所述深度特征预测所述待鉴定图像的篡改概率。

进一步的，所述深度特征包括图像中原始的相机指纹/或编码指纹。

进一步的，所述步骤S3具体包括：

将所述篡改概率与预设的阈值进行比较，若所述篡改概率大于所述阈值，则判定所述待鉴定图像为篡改图像，否则判定所述待鉴定图像为非篡改图像。

另一方面，提供了一种基于深度学习的篡改图像鉴定装置，所述装置至少包括：

图像处理模块，用于对待鉴定图像进行预处理，获取与所述待鉴定图像对应的灰度图像；

概率预测模块，用于将所述灰度图像输入到预先训练的神经网络模型中，预测所述待鉴定图像的篡改概率，其中，所述神经网络模型可以处理任意大小分辨率的图像；

判定模块，用于根据所述篡改概率与预设的阈值，判定所述待鉴定图像是否为篡改图像。

进一步的，所述图像处理模块包括：

滤波单元，用于通过预设的不同卷积核分别对所述待鉴定图像进行滤波处理，分别获取与所述待鉴定图像对应的不同的灰度图像。

进一步的，所述概率预测模块包括：

模型训练单元，用于训练神经网络模型，在所述神经网络模型中引入空间金字塔池化层；

特征提取单元，用于提取所述灰度图像的深度特征；

概率预测单元，用于根据所述深度特征预测所述待鉴定图像的篡改概率。

进一步的，所述判定模块包括：

比较单元，用于将所述篡改概率与预设的阈值进行比较，若所述篡改概率大于所述阈值，则判定所述待鉴定图像为篡改图像，否则判定所述待鉴定图像为非篡改图像。

本发明实施例提供的技术方案带来的有益效果是：

1、本发明提供的基于深度学习的篡改图像鉴定方法及装置，通过将图像篡改检测问题描述成图像分类问题，不需要在已知的篡改图像上定位篡改区域，而是很容易的利用已有的神经网络算法快速的判定出图像是否被篡改过；

2、本发明提供的基于深度学习的篡改图像鉴定方法及装置，通过在训练、测试以及判定阶段均采用原始分辨率的图像，不对图像进行剪切和缩放的变形处理，不仅能保证篡改区域在处理过程不被修改，而且还让模型能够更准确地检测出篡改区域很小的图片；

3、本发明提供的基于深度学习的篡改图像鉴定方法及装置，通过伪批量梯度更新方法，即在模型前向计算出损失和对应的梯度后，不立即回传梯度和更新模型参数，而是让损失累加到指定的batch大小时在进行梯度回传，可以有效解决图像分辨率变化差异很大时导致的batch size只能设为1的问题，实现batch size更大的效果，避免模型训练产生过拟合。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据一示例性实施例示出的基于深度学习的篡改图像鉴定方法的流程图；

图2是根据一示例性实施例示出的将灰度图像输入到预先训练的神经网络模型中，预测待鉴定图像的篡改概率的流程图；

图3是根据一示例性实施例示出的基于深度学习的篡改图像鉴定装置的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供的基于深度学习的篡改图像鉴定方法及装置，将图像篡改鉴定看成是一个图像分类问题，提出一种采用深度神经网络方法预测图像被篡改的概率，并最终确定是否被篡改，能够更快速的判定图像是否被篡改。具体实施时，由于伪造的图像或经过篡改的图像与图像采集和编码过程产生的数据(指纹)完全不一致，因此可以通过对图像隐含的指纹信息进行提取，再用深度网络提取相应的深度特征，然后对相应的预测概率进行阈值化分，分成篡改或非篡改，将预测概率与阈值进行比较，最终判定图像是否被篡改。

图1是根据一示例性实施例示出的基于深度学习的篡改图像鉴定方法的流程图，参照图1所示，该方法包括如下步骤：

S1：对待鉴定图像进行预处理，获取与所述待鉴定图像对应的灰度图像。

具体的，对待鉴定图像进行预处理是非常重要的一步，普通的RGB图像通常很难能够直接反映篡改的隐含特征。通常经过编辑或篡改之后的图像中其原始的相机指纹或编码指纹会被破坏，因此可以通过对待鉴定图像进行图像隐含特征的过滤，然后将其作为后面深度神经网络的输入进行预测。

作为一种较优的实施方式，本发明实施例中，对待鉴定图像进行预处理包括：

通过预设的不同卷积核分别对所述待鉴定图像进行滤波处理，分别获取与所述待鉴定图像对应的不同的灰度图像。

具体的，本发明实施例中，作为一种较优的实施方式，通过预设三个卷积核，进行图像隐含特征的过滤。一幅RGB图像经过预处理后仍然对应产生3幅灰度图像，这3副灰度图像将会作为后面深度神经网络的输入进行篡改预测。这里需要说明的是，本发明实施例中，卷积核的数量并不限定于三个，也可以是其他数量，设置卷积核的数量为三个，能够达到比较好的效果，若是卷积核的数量太多，会降低处理效率。例如，卷积核可以使用5x5的核矩阵，采用3种核函数作为滤波算子，对一张RGB彩色图像进行滤波，输出为3张灰度图像，作为预处理之后的结果。具体实施时，可以选取如下三个核对待鉴定图像进行运算：

作为一种较优的实施方式，本发明实施例中，所述预先训练神经网络模型时采用原始分辨率的图像，且所述预测所述待鉴定图像的篡改概率时也采用原始分辨率的所述待鉴定图像。

具体的，由于对图像进行任意的剪切或缩放都会导致图像变形或篡改区域被修改，进而导致图像内在指纹被修改，因此在图像预处理过程中，不能通过对待鉴定图像进行常规的剪切和缩放大小的处理来增广数据集，只能采用原始分辨率大小的待鉴定图像。

S2：将所述灰度图像输入到预先训练的神经网络模型中，预测所述待鉴定图像的篡改概率，其中，所述神经网络模型可以处理任意大小分辨率的图像。

具体的，由于通常的神经网络模型对需要进行特征提取的图片分辨率大小有严格的限制，而但鉴定图像又不能被任意剪切或缩放，在图像的分辨率变化差异不能保证很小的情况下，就不能图像直接输入到已经训练好的神经网络模型中进行特征提取等操作。因此本发明实施例中提出了在神经网络模型的全连结层之前引入空间金字塔池化层的方法，简称SPP，源自于论文《Spatial pyramid pooling in deep convolutional networks forvisual recognition》。通过引入该层可以使模型在训练和推断预测时处理任意分辨率大小的图像。

进一步的，由于目前的平台框架，如pytorch，tensorflow等，只能支持固定大小的图像进行批处理(batch)，而在引入SPP之后，图像的分辨率大小变化各异，此时的batch只能设定为1，也就是说每次批处理实际上只能处理一幅图像，这样的处理方式会容易产生过拟合。为了解决该问题，本发明实施例中还提出一个伪批量梯度更新方法。该方法在模型前向计算出损失(loss)和对应的梯度之后，并不立即回传梯度和更新模型参数，而是让loss累加到指定batch大小时再进行梯度回传。通过上述伪批量梯度更新方法可以有效解决训练图像以及待鉴定图像分辨率大小不一的问题，又可以绕开模型训练过程中batch只能设定为1的困难，让模型更具有鲁棒性，避免过拟合。这里需要说明的是，在本发明实施例中，损失函数采用交叉熵函数。

SPP之前的深度神经网络的基础(backbone)可以采用VGG，ResNet，DenseNet等任意一个不需要批标准化(BN：batch normalization)或组标准化(GN：groupnormalization)的网络结构，因为含有BN或GN的网络通常都会在标准化过程中要求批处理的图像具有相同的大小。作为优选，本发明实施例可以采用VGG作为基础网络。

在神经网络模型的全连接层后面添加一个预测层，用来预测图像篡改置信度(即篡改概率)。将全连接层的输出输入到预测层，即可得到该待鉴定图像的篡改概率，输出值范围为0～1，数值越大表明图像被篡改概率越高。

S3：根据所述篡改概率与预设的阈值，判定所述待鉴定图像是否为篡改图像。

作为一种较优的实施方式，本发明实施例中，根据篡改概率与预设的阈值，判定待鉴定图像是否为篡改图像具体包括：

将所述篡改概率与预设的阈值进行比较，若所述篡改概率大于所述阈值，则判定所述待鉴定图像为篡改图像，否则判定所述待鉴定图像为非篡改图像。

具体的，用阈值化的方法对图像篡改置信度(即篡改概率)进行二分类，大于阈值的认为是篡改图像，否则认为是非篡改图像。作为优选，阈值的取值范围在一般在[0.5，0.75]之间。在本发明实施例中，选取0.7作为阈值。就是说，当模型输出的待鉴定图像的篡改概率值大于0.7时，则可以判定该待鉴定图像为篡改图像，当模型输出的待鉴定图像的篡改概率值小于或等于0.7时，则可以判定该待鉴定图像为非篡改图像。

图2是根据一示例性实施例示出的将灰度图像输入到预先训练的神经网络模型中，预测待鉴定图像的篡改概率的流程图，参照图2所示，其包括如下步骤：

S2.1：训练神经网络模型，在所述神经网络模型中引入空间金字塔池化层。

具体的，在训练神经网络模型前，需先准备用于训练以及测试神经网络模型的训练图像集和测试图像集。由于目前图像篡改中常见篡改手段有copy-move(复制粘贴，该手法主要在同一幅图像)、splice(图像融合，该手法主要针对不同图像)以及removal(图像去除)等操作。本发明实施例中，将经过上述操作的图像定义为篡改图像，未经上述操作的图像定义为非篡改图像。篡改图像主要通过使用Photoshop软件进行制作，一幅图像可以为copy-move、splice以及removal中的一种或者多种皆存在。非篡改图像数据集主要通过使用不同终端进行采集。

本发明实施例中以采集的篡改图像集和非篡改图像集为例，总共制作了2000张篡改图像作为篡改图像集和2000张非篡改图像作为非篡改图像集，其中2000张篡改图像中包含了copy-move、splice以及removal等中的一种或者是多种。篡改区域大小在10pixels至图像大小之间随机分布。将上述篡改图像集和非篡改图像集随机划分为训练图像集和测试图像集，并对训练图像集和测试图像集中的图像进行步骤S1中的预处理后，对神经网络模型进行训练和测试。

具体训练模型时，为了保证图像篡改区域不被修改，训练阶段的图像不做任何数据增强操作，输入模型的图像为原始分辨率的图像。本发明实施例中采用VGG16深度神经网络，并使用VGG16在ImageNet训练出的神经网络模型作为预训练基础模型。在VGG16中的最后一层卷积层和第一层全连接层之间加入SPP层，使得模型可以处理任意分辨率大小的图像，并将VGG16最后一层全连接的分类类别数改为2(篡改和非篡改共2类)，从而将图像篡改检测问题描述成图像分类问题。

进一步的，为了保证原始图像不发生变形，训练时需将batch size设为1，同时为了解决batch size设为1时导致的模型容易过拟合问题，本发明实施例采用伪批量梯度更新方法，即在模型前向计算出损失(loss)和对应的梯度之后，并不立即回传梯度和更新模型参数，而是让loss累加到指定步长时再进行梯度回传。这样可以让训练只在一个GPU上完成，每个步长只训练一张原始分辨率图片。重复上述步骤训练模型直至模型收敛，并保存收敛后的模型M1。

然后对测试图像集中的图像进行步骤S1所述的预处理，使用预处理后的图像对模型M1进行测试。

S2.2：将所述灰度图像输入至所述神经网络模型中，提取所述灰度图像的深度特征。

具体的，将待鉴定图像进行预处理后获取的与待鉴定图像对应的灰度图像输入至神经网络模型M1中，经神经网络模型M1的全连结层提取灰度图像的深度特征。灰度图像经过深度神经网络的卷积层和全连接层后，最终得到的特征向量维度与全连接层神经元个数对应。比如说，深度神经网络的最后一层全连接层神经元个数为4096个，则最终得到的特征为一个4096维的特征向量。

作为一种较优的实施方式，本发明实施例中，所述深度特征包括图像中原始的相机指纹/或编码指纹。

具体的，由于伪造的图像或经过篡改的图像与图像采集和编码过程产生的数据(指纹)完全不一致，因此可以通过对图像隐含的指纹信息进行提取，再用深度神经网络提取相应的深度特征。

S2.3：所述神经网络模型根据所述深度特征预测所述待鉴定图像的篡改概率。

具体的，神经网络模型的预测层会根据深度特征预测待鉴定图像的篡改概率，一般输出值范围为0～1，数值越大表明图像被篡改概率越高。一般来说，篡改概率是将深度网络的输出经过softmax层后计算得到的。

图3是根据一示例性实施例示出的基于深度学习的篡改图像鉴定装置的结构示意图，参照图3所示，该装置包括：

图像处理模块，用于对待鉴定图像进行预处理，获取与所述待鉴定图像对应的灰度图像。

具体的，在本发明实施例中，图像处理模块通过预设的不同卷积核分别对待鉴定图像进行滤波处理，分别获取与待鉴定图像对应的不同的灰度图像。且在对待鉴定图像进行预处理的过程中，不能通过对待鉴定图像进行常规的剪切和缩放大小的处理来增广数据集，只能采用原始分辨率大小的待鉴定图像。

概率预测模块，用于将所述灰度图像输入到预先训练的神经网络模型中，预测所述待鉴定图像的篡改概率，其中，所述神经网络模型可以处理任意大小分辨率的图像。

具体的，在本发明实施例中，概率预测模块可以通过预先训练的神经网络模型来实现，该神经网络模型通过在全连结层之前引入空间金字塔池化层的方法，从而可以处理任意大小分辨率的图像。且本发明实施例中还运用了伪批量梯度更新方法，即在模型前向计算出损失(loss)和对应的梯度之后，并不立即回传梯度和更新模型参数，而是让loss累加到指定batch大小时再进行梯度回传。从而可以有效解决训练图像以及待鉴定图像分辨率大小不一的问题，又可以绕开模型训练过程中batch只能设定为1的困难，让模型更具有鲁棒性，避免过拟合。

判定模块，用于根据所述篡改概率与预设的阈值，判定所述待鉴定图像是否为篡改图像。

作为一种较优的实施方式，本发明实施例中，图像处理模块包括：

滤波单元，用于通过预设的不同卷积核分别对所述待鉴定图像进行滤波处理，分别获取与所述待鉴定图像对应的不同的灰度图像。

作为一种较优的实施方式，本发明实施例中，概率预测模块包括：

模型训练单元，用于训练神经网络模型，在所述神经网络模型中引入空间金字塔池化层；

特征提取单元，用于提取所述灰度图像的深度特征；

概率预测单元，用于根据所述深度特征预测所述待鉴定图像的篡改概率。

作为一种较优的实施方式，本发明实施例中，判定模块包括：

比较单元，用于将所述篡改概率与预设的阈值进行比较，若所述篡改概率大于所述阈值，则判定所述待鉴定图像为篡改图像，否则判定所述待鉴定图像为非篡改图像。

综上所述，本发明实施例提供的技术方案带来的有益效果是：

1、本发明提供的基于深度学习的篡改图像鉴定方法及装置，通过将图像篡改检测问题描述成图像分类问题，不需要在已知的篡改图像上定位篡改区域，而是很容易的利用已有的神经网络算法快速的判定出图像是否被篡改过；

2、本发明提供的基于深度学习的篡改图像鉴定方法及装置，通过在训练、测试以及判定阶段均采用原始分辨率的图像，不对图像进行剪切和缩放的变形处理，不仅能保证篡改区域在处理过程不被修改，而且还让模型能够更准确地检测出篡改区域很小的图片；

3、本发明提供的基于深度学习的篡改图像鉴定方法及装置，通过伪批量梯度更新方法，即在模型前向计算出损失和对应的梯度后，不立即回传梯度和更新模型参数，而是让损失累加到指定的batch大小时在进行梯度回传，可以有效解决图像分辨率变化差异很大时导致的batch size只能设为1的问题，实现batch size更大的效果，避免模型训练产生过拟合。

需要说明的是：上述实施例提供的基于深度学习的篡改图像鉴定装置在触发篡改图像鉴定业务时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的基于深度学习的篡改图像鉴定装置与基于深度学习的篡改图像鉴定方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的篡改图像鉴定方法，其特征在于，所述方法包括如下步骤：

S1：对待鉴定图像进行预处理，获取与所述待鉴定图像对应的灰度图像；

S2：将所述灰度图像输入到预先训练的神经网络模型中，预测所述待鉴定图像的篡改概率，其中，所述神经网络模型可以处理任意大小分辨率的图像；

S3：根据所述篡改概率与预设的阈值，判定所述待鉴定图像是否为篡改图像。

2.根据权利要求1所述的基于深度学习的篡改图像鉴定方法，其特征在于，所述对待鉴定图像进行预处理包括：

通过预设的不同卷积核分别对所述待鉴定图像进行滤波处理，分别获取与所述待鉴定图像对应的不同的灰度图像。

3.根据权利要求1或2所述的基于深度学习的篡改图像鉴定方法，其特征在于，所述预先训练神经网络模型时采用原始分辨率的图像，且所述预测所述待鉴定图像的篡改概率时也采用原始分辨率的所述待鉴定图像。

4.根据权利要求1或2所述的基于深度学习的篡改图像鉴定方法，其特征在于，所述步骤S2具体包括：

S2.1：训练神经网络模型，在所述神经网络模型中引入空间金字塔池化层；

S2.2：将所述灰度图像输入至所述神经网络模型中，提取所述灰度图像的深度特征；

S2.3：所述神经网络模型根据所述深度特征预测所述待鉴定图像的篡改概率。

5.根据权利要求4所述的基于深度学习的篡改图像鉴定方法，其特征在于，所述深度特征包括图像中原始的相机指纹/或编码指纹。

6.根据权利要求1或2所述的基于深度学习的篡改图像鉴定方法，其特征在于，所述步骤S3具体包括：

将所述篡改概率与预设的阈值进行比较，若所述篡改概率大于所述阈值，则判定所述待鉴定图像为篡改图像，否则判定所述待鉴定图像为非篡改图像。

7.一种基于深度学习的篡改图像鉴定装置，其特征在于，所述装置执行权利要求1至6任意一项所述的方法，所述装置至少包括：

图像处理模块，用于对待鉴定图像进行预处理，获取与所述待鉴定图像对应的灰度图像；

概率预测模块，用于将所述灰度图像输入到预先训练的神经网络模型中，预测所述待鉴定图像的篡改概率，其中，所述神经网络模型可以处理任意大小分辨率的图像；

判定模块，用于根据所述篡改概率与预设的阈值，判定所述待鉴定图像是否为篡改图像。

8.根据权利要求7所述的基于深度学习的篡改图像鉴定装置，其特征在于，所述图像处理模块包括：

滤波单元，用于通过预设的不同卷积核分别对所述待鉴定图像进行滤波处理，分别获取与所述待鉴定图像对应的不同的灰度图像。

9.根据权利要求7或8所述的基于深度学习的篡改图像鉴定装置，其特征在于，所述概率预测模块包括：

模型训练单元，用于训练神经网络模型，在所述神经网络模型中引入空间金字塔池化层；

特征提取单元，用于提取所述灰度图像的深度特征；

概率预测单元，用于根据所述深度特征预测所述待鉴定图像的篡改概率。

10.根据权利要求7或8所述的基于深度学习的篡改图像鉴定装置，其特征在于，所述判定模块包括：

比较单元，用于将所述篡改概率与预设的阈值进行比较，若所述篡改概率大于所述阈值，则判定所述待鉴定图像为篡改图像，否则判定所述待鉴定图像为非篡改图像。