CN111260645A - 基于分块分类深度学习的篡改图像检测方法及系统 - Google Patents

Abstract

本发明属于计算机视觉领域，具体涉及了一种基于分块分类深度学习的篡改图像检测方法及系统，旨在解决现有技术篡改图像检测准确率和定位精度尚达不到实用要求的问题。本发明方法包括：分别对待检测图像灰度化后分块分类以及设定算子的边缘特征计算；基于分块分类结果，进行待检测图像及特征图的分块分类；通过图像块篡改检测模型获取分类图像块的检测结果、特征图像块的检测结果并进行加权；结合的图像块的标记，进行待检测图像的篡改区域标记。本发明对图像分块分类，分别训练篡改检测模型，检测结果更准确、篡改区域定位更精确，并将未分块的图像边缘直接定义为其最邻近图像块的篡改检测结果，提高检测效率。

Description

基于分块分类深度学习的篡改图像检测方法及系统

技术领域

本发明属于计算机视觉领域，具体涉及了一种基于分块分类深度学习的篡改图像检测方法及系统。

背景技术

随着数字图像技术的飞速发展，数字图像已经广泛应用于人民日常生活。数字图像编辑工具和人工智能技术的进步具有两面性，既可以方便日常生活、提升人民生活水平，但技术一旦被一些别有用心的人利用就会给个人和社会带来不好的影响甚至巨大损失。若未经授权，不法分子别有用心的对图像进行伪造、传播，会造成混淆视听、影响舆论等不良后果，甚至影响司法公正和社会秩序，对国家稳定和社会发展带来不良影响。因此，篡改图像检测定位技术具有重要的应用价值和现实意义。

现有的数字图像篡改检测方法主要有：基于光照一致性的方法、基于相机噪声的方法、基于深度学习的方法，但是这些方法目前大多只能实现特定类型的篡改检测或者在特定数据集上检测效果很好而实际应用时检测效果达不到要求。

总的来说，现有技术进行篡改图像检测的准确率和定位精度还达不到实用的要求，本领域还急需一种可以在实用中实现对各种类型篡改图像准确识别和精确定位的篡改图像检测方法。

发明内容

为了解决现有技术中的上述问题，即现有技术篡改图像检测准确率和定位精度尚达不到实用要求的问题，本发明提供了一种基于分块分类深度学习的篡改图像检测方法，该篡改图像检测方法包括：

步骤S10，分别对待检测图像灰度化后分块分类以及设定算子的边缘特征计算，获得灰度图像分块分类结果以及待检测图像的特征图；

步骤S20，基于所述灰度图像分块分类结果，进行所述待检测图像及特征图的分块分类，获得待检测图像的分类图像块以及对应的特征图像块；所述分类图像块、特征图像块分别包括平衡图像块、纹理图像块、边缘图像块；

步骤S30，分别通过训练好的图像块篡改检测模型获取所述分类图像块的检测结果、特征图像块的检测结果；

步骤S40，将所述分类图像块的检测结果、特征图像块的检测结果加权，获得待检测图像的检测结果；

步骤S50，基于所述待检测图像的检测结果，结合其对应的图像块的标记，进行所述待检测图像的篡改区域标记；

其中，所述图像块篡改检测模型包括平滑分类图像块检测子模型、纹理分类图像块检测子模型、边缘分类图像块检测子模型、平滑特征图像块检测子模型、纹理特征图像块检测子模型、边缘特征图像块检测子模型；所述子模型基于VGG16网络构建，并分别通过构建的图像块数据训练集进行训练。

在一些优选的实施例中，步骤S10中“对待检测图像灰度化后分块分类”，其方法为：

步骤S11，对待检测图像进行灰度化，并将获得的灰度图分为N*N像素大小的图像块，获得第一图像块集合；其中，待检测图像边缘小于N*N像素的部分，标记并不记入所述第一图像块集合；

步骤S12，计算所述第一图像块集合中每一个图像块的熵并求第一平均值，将熵低于第一平均值的图像块分为平滑图像块，第一图像块集合中其余图像块作为第二图像块集合；

步骤S13，计算所述第二图像块集合中每一个图像块灰度值的方差并求第二平均值，将方差低于第二平均值的图像块分为纹理图像块，第二图像块集合中其余图像块为边缘图像块。

在一些优选的实施例中，所述图像块的熵，其计算方法为：

其中，H代表图像块的熵，p_i代表灰度值i在该图像块中出现的概率。

在一些优选的实施例中，所述设定算子为Sobel算子。

在一些优选的实施例中，步骤S20包括：

步骤S21，基于所述灰度图像分块分类结果，进行所述待检测图像的分块分类，并标记每个图像块，获得待检测图像的分类图像块；

步骤S22，基于所述待检测图像的分类图像块的标记，进行所述边缘特征图的分块分类，获得待检测图像的分类图像块对应的边缘图像块。

在一些优选的实施例中，步骤S40中“将所述分类图像块的检测结果、特征图像块的检测结果加权”，其方法为：

score＝score1+λscore2

其中，score代表待检测图像的检测结果，score1代表分类图像块的检测结果，score2代表特征图像块的检测结果，λ为设定的保证score1和score2在相同数量级的平衡因子。

在一些优选的实施例中，步骤S50包括：

步骤S51，通过最近邻算法获取所述待检测图像边缘小于N*N像素的部分的最近邻图像块；

步骤S52，将所述待检测图像边缘小于N*N像素的部分与其最近邻图像块的检测结果置为相同；

步骤S53，对所述待检测图像的检测结果进行膨胀腐蚀处理，将篡改区域像素值置为255，其余区域像素值置为0，完成所述待检测图像的篡改区域标记。

在一些优选的实施例中，所述图像块数据训练集为根据上述的基于分块分类深度学习的篡改图像检测方法步骤S10-步骤S20对应的图像分块分类方法处理复制-粘贴、拼接、删除类型的篡改图像及其对应的黑白篡改标记图像获得的各图像块集构成。

本发明的另一方面，提出了一种基于分块分类深度学习的篡改图像检测系统，该篡改图像检测系统包括输入模块、预处理模块、分块分类模块、篡改检测模块、篡改标记模块、输出模块；

所述输入模块，配置为获取待检测图像并输入所述预处理模块；

所述预处理模块，配置为分别对所述待检测图像灰度化后分块分类以及设定算子的边缘特征计算，获得灰度图像分块分类结果以及待检测图像的特征图；

所述分块分类模块，配置为基于所述灰度图像分块分类结果，进行所述待检测图像及特征图的分块分类，获得待检测图像的分类图像块以及对应的特征图像块；所述特征图像块包括平衡图像块、纹理图像块、边缘图像块；

所述篡改检测模块，配置为分别通过训练好的图像块篡改检测模型获取所述分类图像块的检测结果、特征图像块的检测结果并进行加权，获得待检测图像的检测结果；

所述篡改标记模块，配置为基于所述待检测图像的检测结果，结合其对应的图像块的标记，按照设定像素值进行所述待检测图像的篡改区域标记；

所述输出模块，配置为输出获取的篡改区域标记后的图像。

本发明的有益效果：

(1)本发明基于分块分类深度学习的篡改图像检测方法，篡改图像数据块集结合篡改图像和其对应的黑白篡改标记图像(ground-truth图像)构建，图像块分类时结合每个图像自身的特征进行分块，采用有监督的方法训练深度学习网络，充分利用数据自身信息，有效提升图像篡改模型的检测性能。本发明对于待检测的图像进行分类操作，每类图像块分别有自己的篡改检测子模型，图片检测结果以及篡改区域定位更精确，检测更精细。

(2)本发明处理过程中的未完整分块的图像边缘，该部分图像自身较小，不容易被篡改而且被篡改的意义不大，因此其结果直接定义为与该图像块所在行或列最邻近图像块的篡改检测结果，提高了检测效率。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本发明基于分块分类深度学习的篡改图像检测方法的流程示意图；

图2是本发明基于分块分类深度学习的篡改图像检测方法一种实施例的Sobel算子示意图；

图3是本发明基于分块分类深度学习的篡改图像检测方法一种实施例的图像分块分类流程示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

本发明提供一种基于图像分类分块深度学习的篡改图像检测方法，本方法基于深度学习技术，首先对图像进行分块，然后将篡改图像检测问题转化为二分类问题，最终要解决的技术问题是篡改图像篡改区域检测与定位。本发明提出的待测图像分块分类方法将待测图像分块细化，同时利用了图片的边缘信息，引入更精细化的监督信息，采用更精细的篡改检测模型，之后对每类图像块分别训练篡改检测深度学习网络，能够更准确提取每类篡改图像块的特征，提高篡改图像检测的准确率和定位精度。

本发明的一种基于分块分类深度学习的篡改图像检测方法，该篡改图像检测方法包括：

步骤S10，分别对待检测图像灰度化后分块分类以及设定算子的边缘特征计算，获得灰度图像分块分类结果以及待检测图像的特征图；

步骤S20，基于所述灰度图像分块分类结果，进行所述待检测图像及特征图的分块分类，获得待检测图像的分类图像块以及对应的特征图像块；所述分类图像块、特征图像块分别包括平衡图像块、纹理图像块、边缘图像块；

步骤S30，分别通过训练好的图像块篡改检测模型获取所述分类图像块的检测结果、特征图像块的检测结果；

步骤S40，将所述分类图像块的检测结果、特征图像块的检测结果加权，获得待检测图像的检测结果；

步骤S50，基于所述待检测图像的检测结果，结合其对应的图像块的标记，进行所述待检测图像的篡改区域标记；

其中，所述图像块篡改检测模型包括平滑分类图像块检测子模型、纹理分类图像块检测子模型、边缘分类图像块检测子模型、平滑特征图像块检测子模型、纹理特征图像块检测子模型、边缘特征图像块检测子模型；所述子模型基于VGG16网络构建，并分别通过构建的图像块数据训练集进行训练。

为了更清晰地对本发明基于分块分类深度学习的篡改图像检测方法进行说明，下面结合图1对本发明方法实施例中各步骤展开详述。

本发明一种实施例的基于分块分类深度学习的篡改图像检测方法，包括步骤S10-步骤S50，各步骤详细描述如下：

步骤S10，分别对待检测图像灰度化后分块分类以及设定算子的边缘特征计算，获得灰度图像分块分类结果以及待检测图像的特征图；所述设定算子为Sobel算子。

如图2所示，为本发明基于分块分类深度学习的篡改图像检测方法一种实施例的Sobel算子示意图，包括向算子与纵向算子两种，这两种算子分别为3×3的矩阵。

图像识别、检测等，最关键的因素是梯度(现在很多的特征提取，SIFT、HOG等等本质都是梯度的统计信息)，梯度意味着边缘，这是图像最本质的部分，而计算梯度，自然就用到灰度图像了。灰度数字图像是每个像素只有一个采样颜色的图像。这类图像通常显示为从最暗的黑色到最亮的白色的灰度，理论上这个采样可以是任何颜色的不同深浅，甚至可以是不同亮度上的不同颜色。灰度图像与黑白图像不同，在计算机图像领域中黑白图像只有黑白两种颜色，灰度图像在黑色与白色之间还有许多级的颜色深度。颜色本身非常容易受到光照等因素的影响，同类的物体颜色有很多变化，所以颜色本身难以提供关键信息。因此，本发明对待检测图像首先进行灰度化的预处理，基于灰度化再进行原图像的分块分类、边缘特征计算、特征图像的分块分类，可以有效利用图像中梯度的关键因素，检测结果更为准确、定位更为精确。

“对待检测图像灰度化后分块分类”，其方法为：

步骤S11，对待检测图像进行灰度化，并将获得的灰度图分为N*N像素大小的图像块，获得第一图像块集合；其中，待检测图像边缘小于N*N像素的部分，标记并不记入所述第一图像块集合。

对于大小为H*W的待检测图像对应的灰度图，在将其分为N*N像素大小的图像块时，若N不能被H或W整除，即灰度图边缘存在小于N*N的图像块，则对这些图像块做标记，后续单独进行处理。

步骤S12，计算所述第一图像块集合中每一个图像块的熵并求第一平均值，将熵低于第一平均值的图像块分为平滑图像块，第一图像块集合中其余图像块作为第二图像块集合。

图像块的熵，其计算方法如式(1)所示：

其中，H代表图像块的熵，p_i代表灰度值i在该图像块中出现的概率。

步骤S13，计算所述第二图像块集合中每一个图像块灰度值的方差并求第二平均值，将方差低于第二平均值的图像块分为纹理图像块，第二图像块集合中其余图像块为边缘图像块。

如图3所示，为本发明基于分块分类深度学习的篡改图像检测方法一种实施例的图像分块分类流程示意图，将分块之后的灰度图像块进行分类，计算每个图像块的熵，取该熵的平均值作为图像块的第一次分类门限，若图像块的熵小于等于门限，则将该图像块分为平滑图像块(smooth block)，若熵大于第一次分类门限，则对图像块进行第二次分类；计算每个熵大于第一分类门限的图像块的方差，取该方差的均值作为图像块第二次分类门限，若图像块的方差小于等于第二分类门限，则将该图像块归为纹理图像块(textureblock)，若该图像块的方差大于第二次分类门限，则将该图像块归为边缘图像块(edgeblock)。

步骤S20，基于所述灰度图像分块分类结果，进行所述待检测图像及特征图的分块分类，获得待检测图像的分类图像块以及对应的特征图像块；所述分类图像块、特征图像块分别包括平衡图像块、纹理图像块、边缘图像块。

通过上述图像分块分类方法结合灰度图分类的结果，进行待检测图像及特征图的分块分类。

步骤S21，基于所述灰度图像分块分类结果，进行所述待检测图像的分块分类，并标记每个图像块，获得待检测图像的分类图像块。

步骤S22，基于所述待检测图像的分类图像块的标记，进行所述边缘特征图的分块分类，获得待检测图像的分类图像块对应的边缘图像块。

步骤S30，分别通过训练好的图像块篡改检测模型获取所述分类图像块的检测结果、特征图像块的检测结果。

图像块篡改检测模型包括平滑分类图像块检测子模型、纹理分类图像块检测子模型、边缘分类图像块检测子模型、平滑特征图像块检测子模型、纹理特征图像块检测子模型、边缘特征图像块检测子模型；所述子模型基于VGG16网络构建，并分别通过构建的图像块数据训练集进行训练。

本发明的各子模型分别以VGG16网络作为基础网络，并将其调整为二分类网络，使用在ImageNet数据集上的训练结果进行初始化，分别使用构造的各图像块集训练各模型，直至每类图像块分类网络在训练数据集上进行篡改图像检测的训练准确率收敛或达到设定迭代次数。

图像块数据训练集为根据上述的基于分块分类深度学习的篡改图像检测方法步骤S10-步骤S20对应的图像分块分类方法处理复制-粘贴(copy-move)、拼接(splicing)、删除(removal)类型的篡改图像及其对应的黑白篡改标记图像(ground-truth图像)获得的各图像块集构成。

步骤S40，将所述分类图像块的检测结果、特征图像块的检测结果加权，获得待检测图像的检测结果，如式(2)所示：

score＝score1+λscore2 式(2)

其中，score代表待检测图像的检测结果，score1代表分类图像块的检测结果，score2代表特征图像块的检测结果，λ为设定的保证score1和score2在相同数量级的平衡因子。

步骤S50，基于所述待检测图像的检测结果，结合其对应的图像块的标记，进行所述待检测图像的篡改区域标记。

步骤S51，通过最近邻算法获取所述待检测图像边缘小于N*N像素的部分的最近邻图像块。

步骤S52，将所述待检测图像边缘小于N*N像素的部分与其最近邻图像块的检测结果置为相同。

对于由于过小而未完整分块的图像边缘小块，该部分图像自身较小，不容易被篡改而且被篡改的意义不大，因此其结果直接定义为其所在行或者列最邻近的完整图像块的篡改检测结果。

步骤S53，对所述待检测图像的检测结果进行膨胀腐蚀处理，将篡改区域像素值置为255，其余区域像素值置为0，完成所述待检测图像的篡改区域标记。

本发明第二实施例的基于分块分类深度学习的篡改图像检测系统，该篡改图像检测系统包括输入模块、预处理模块、分块分类模块、篡改检测模块、篡改标记模块、输出模块；

所述输入模块，配置为获取待检测图像并输入所述预处理模块；

所述预处理模块，配置为分别对所述待检测图像灰度化后分块分类以及设定算子的边缘特征计算，获得灰度图像分块分类结果以及待检测图像的特征图；

所述分块分类模块，配置为基于所述灰度图像分块分类结果，进行所述待检测图像及特征图的分块分类，获得待检测图像的分类图像块以及对应的特征图像块；所述特征图像块包括平衡图像块、纹理图像块、边缘图像块；

所述篡改检测模块，配置为分别通过训练好的图像块篡改检测模型获取所述分类图像块的检测结果、特征图像块的检测结果并进行加权，获得待检测图像的检测结果；

所述篡改标记模块，配置为基于所述待检测图像的检测结果，结合其对应的图像块的标记，按照设定像素值进行所述待检测图像的篡改区域标记；

所述输出模块，配置为输出获取的篡改区域标记后的图像。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

需要说明的是，上述实施例提供的基于分块分类深度学习的篡改图像检测系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。

术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。

术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (9)

1.一种基于分块分类深度学习的篡改图像检测方法，其特征在于，该篡改图像检测方法包括：

步骤S10，分别对待检测图像灰度化后分块分类以及设定算子的边缘特征计算，获得灰度图像分块分类结果以及待检测图像的特征图；

步骤S20，基于所述灰度图像分块分类结果，进行所述待检测图像及特征图的分块分类，获得待检测图像的分类图像块以及对应的特征图像块；所述分类图像块、特征图像块分别包括平衡图像块、纹理图像块、边缘图像块；

步骤S30，分别通过训练好的图像块篡改检测模型获取所述分类图像块的检测结果、特征图像块的检测结果；

步骤S40，将所述分类图像块的检测结果、特征图像块的检测结果加权，获得待检测图像的检测结果；

步骤S50，基于所述待检测图像的检测结果，结合其对应的图像块的标记，进行所述待检测图像的篡改区域标记；

其中，所述图像块篡改检测模型包括平滑分类图像块检测子模型、纹理分类图像块检测子模型、边缘分类图像块检测子模型、平滑特征图像块检测子模型、纹理特征图像块检测子模型、边缘特征图像块检测子模型；所述子模型基于VGG16网络构建，并分别通过构建的图像块数据训练集进行训练。

2.根据权利要求1所述的基于分块分类深度学习的篡改图像检测方法，其特征在于，步骤S10中“对待检测图像灰度化后分块分类”，其方法为：

步骤S11，对待检测图像进行灰度化，并将获得的灰度图分为N*N像素大小的图像块，获得第一图像块集合；其中，待检测图像边缘小于N*N像素的部分，标记并不记入所述第一图像块集合；

步骤S12，计算所述第一图像块集合中每一个图像块的熵并求第一平均值，将熵低于第一平均值的图像块分为平滑图像块，第一图像块集合中其余图像块作为第二图像块集合；

步骤S13，计算所述第二图像块集合中每一个图像块灰度值的方差并求第二平均值，将方差低于第二平均值的图像块分为纹理图像块，第二图像块集合中其余图像块为边缘图像块。

3.根据权利要求2所述的基于分块分类深度学习的篡改图像检测方法，其特征在于，所述图像块的熵，其计算方法为：

其中，H代表图像块的熵，p_i代表灰度值i在该图像块中出现的概率。

4.根据权利要求1所述的基于分块分类深度学习的篡改图像检测方法，其特征在于，所述设定算子为Sobel算子。

5.根据权利要求1所述的基于分块分类深度学习的篡改图像检测方法，其特征在于，步骤S20包括：

步骤S21，基于所述灰度图像分块分类结果，进行所述待检测图像的分块分类，并标记每个图像块，获得待检测图像的分类图像块；

步骤S22，基于所述待检测图像的分类图像块的标记，进行所述边缘特征图的分块分类，获得待检测图像的分类图像块对应的边缘图像块。

6.根据权利要求1所述的基于分块分类深度学习的篡改图像检测方法，其特征在于，步骤S40中“将所述分类图像块的检测结果、特征图像块的检测结果加权”，其方法为：

score＝score1+λscore2

其中，score代表待检测图像的检测结果，score1代表分类图像块的检测结果，score2代表特征图像块的检测结果，λ为设定的保证score1和score2在相同数量级的平衡因子。

7.根据权利要求2所述的基于分块分类深度学习的篡改图像检测方法，其特征在于，步骤S50包括：

步骤S51，通过最近邻算法获取所述待检测图像边缘小于N*N像素的部分的最近邻图像块；

步骤S52，将所述待检测图像边缘小于N*N像素的部分与其最近邻图像块的检测结果置为相同；

步骤S53，对所述待检测图像的检测结果进行膨胀腐蚀处理，将篡改区域像素值置为255，其余区域像素值置为0，完成所述待检测图像的篡改区域标记。

8.根据权利要求1所述的基于分块分类深度学习的篡改图像检测方法，其特征在于，所述图像块数据训练集为根据权利要求1所述的基于分块分类深度学习的篡改图像检测方法步骤S10-步骤S20对应的图像分块分类方法处理复制-粘贴、拼接、删除类型的篡改图像及其对应的黑白篡改标记图像获得的各图像块集构成。

9.一种基于分块分类深度学习的篡改图像检测系统，其特征在于，该篡改图像检测系统包括输入模块、预处理模块、分块分类模块、篡改检测模块、篡改标记模块、输出模块；

所述输入模块，配置为获取待检测图像并输入所述预处理模块；

所述预处理模块，配置为分别对所述待检测图像灰度化后分块分类以及设定算子的边缘特征计算，获得灰度图像分块分类结果以及待检测图像的特征图；

所述分块分类模块，配置为基于所述灰度图像分块分类结果，进行所述待检测图像及特征图的分块分类，获得待检测图像的分类图像块以及对应的特征图像块；所述特征图像块包括平衡图像块、纹理图像块、边缘图像块；

所述篡改检测模块，配置为分别通过训练好的图像块篡改检测模型获取所述分类图像块的检测结果、特征图像块的检测结果并进行加权，获得待检测图像的检测结果；

所述篡改标记模块，配置为基于所述待检测图像的检测结果，结合其对应的图像块的标记，按照设定像素值进行所述待检测图像的篡改区域标记；

所述输出模块，配置为输出获取的篡改区域标记后的图像。

Images