CN112102261A - 一种基于多尺度生成对抗网络的篡改图像检测方法 - Google Patents

一种基于多尺度生成对抗网络的篡改图像检测方法 Download PDF

Info

Publication number
CN112102261A
CN112102261A CN202010883513.7A CN202010883513A CN112102261A CN 112102261 A CN112102261 A CN 112102261A CN 202010883513 A CN202010883513 A CN 202010883513A CN 112102261 A CN112102261 A CN 112102261A
Authority
CN
China
Prior art keywords
image
tampered
network
generator
scale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010883513.7A
Other languages
English (en)
Inventor
白万荣
朱小琴
张蕾
刘吉祥
赵博
杨凡
田秀霞
刘正
李华强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
STATE GRID GASU ELECTRIC POWER RESEARCH INSTITUTE
State Grid Gansu Electric Power Co Ltd
Shanghai University of Electric Power
Original Assignee
STATE GRID GASU ELECTRIC POWER RESEARCH INSTITUTE
State Grid Gansu Electric Power Co Ltd
Shanghai University of Electric Power
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by STATE GRID GASU ELECTRIC POWER RESEARCH INSTITUTE, State Grid Gansu Electric Power Co Ltd, Shanghai University of Electric Power filed Critical STATE GRID GASU ELECTRIC POWER RESEARCH INSTITUTE
Priority to CN202010883513.7A priority Critical patent/CN112102261A/zh
Publication of CN112102261A publication Critical patent/CN112102261A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

本发明涉及一种基于多尺度生成对抗网络的篡改图像检测方法，包括：从标准的图像数据集中合成基本的复制粘贴图像，并得到对应的xml文件，以构建初步篡改图像数据集；构建基于多尺度生成对抗式网络的模型，并设置模型相关参数；优化多尺度生成对抗网络的生成器，以学习图像中篡改区域的边缘特征；交替训练生成器和判别器，输出不同尺度下的篡改图像，构建多层次篡改图像数据集；利用多层次篡改图像数据集训练卷积神经网络；将待检测的篡改图像输入训练好的卷积神经网络，得到对应的检测结果。与现有技术相比，本发明能够生成多尺度、多层次的篡改图像数据集，以提高篡改图像的数量及质量，从而保证后续卷积神经网络的可靠训练、提高检测性能。

Description

一种基于多尺度生成对抗网络的篡改图像检测方法
技术领域
本发明涉及图像信息安全技术领域，尤其是涉及一种基于多尺度生成对抗网络的篡改图像检测方法。
背景技术
随着图像处理和图像编辑技术的发展，产生了越来越多的恶意篡改图片，这对社会造成了极大的负面影响，同时也激发了大量学者对图像篡改检测的研究。常见的图像篡改包括三种类型：拼接、复制移动和移除。图像拼接可以从一幅图像中复制部分区域，并将其粘贴到其它图像中，复制移动是复制并粘贴同一幅图像中的区域，移除则会从图像中消除部分区域，然后进行修补。而且为了加大篡改图片的检测识别难度，通常会在图片篡改后再进行平滑、模糊等后处理操作。
当前基于深度学习的被动图像篡改检测，能够自动地寻找和学习抽象的图像特征，模型的鲁棒性与检测效率都有了一定的提高，但仍存在以下问题：缺乏高质量、丰富的训练数据，而低质量、少量的训练数据会影响模型的检测性能，容易发生模型过拟合现象，降低检测准确性。目前训练数据的来源通常有三种：第一，获取标准的篡改图像数据集，但其数量较少；第二，利用目标检测数据集中的信息自动地合成图片，该方法没有对图像进行后处理，会降低篡改图像的质量；第三，聘请专业的标注人员创建篡改图像，但是这样做的成本很大。所以，对于提高图像篡改的检测性能而言，如何方便地获得高质量、丰富的训练数据是至关重要的。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于多尺度生成对抗网络的篡改图像检测方法，通过生成高质量、丰富的篡改图像数据集，以提高篡改图像的检测性能。
本发明的目的可以通过以下技术方案来实现：一种基于多尺度生成对抗网络的篡改图像检测方法，包括以下步骤：
S1、从标准的图像数据集中合成基本的复制粘贴图像，并得到合成图像对应的xml文件，以构建初步篡改图像数据集；
S2、构建基于多尺度生成对抗式网络的模型，以初步篡改图像数据集作为模型的输入，以设置模型相关参数；
S3、对多尺度生成对抗网络的生成器进行优化，以学习图像中篡改区域的边缘特征；
S4、交替训练生成器和判别器，输出不同尺度下的篡改图像，以构建多层次篡改图像数据集；
S5、利用多层次篡改图像数据集训练卷积神经网络；
S6、将待检测的篡改图像输入训练好的卷积神经网络，得到对应的检测结果。
进一步地，所述步骤S1具体包括以下步骤：
S11、从标准的图像数据集中选取目标图像和待处理图片；
S12、以目标图像作为背景，将待处理图片中篡改区域掩膜对应的部分粘贴到目标图像的随机位置上，合成得到基本的复制粘贴图像；
S13、从标准的图像数据集中读取待处理图片对应的xml文件，以读出篡改区域掩膜对应的边界框位置信息，之后对目标图像对应的xml文件进行修改，将修改后的xml文件作为复制粘贴图像对应的xml文件；
S14、按照标准的图像数据集中图像的排序，依次重复步骤S11～S13，合成得到多个基本的复制粘贴图像，并得到对应的xml文件，以构建初步篡改图像数据集。
进一步地，所述步骤S12具体包括以下步骤：
S121、读取待处理图片对应的掩膜图片，并将掩膜图片中所有物体的区域掩膜读出；
S122、随机选取一类物体的区域掩膜，作为篡改区域掩膜；
S123、找出待处理图片中对应篡改区域掩膜的区域，将该区域从待处理图片中截取，作为篡改源图片；
S124、将篡改源图片粘贴到目标图像的随机位置上，合成得到基本的复制粘贴图像。
进一步地，所述步骤S13的具体过程为：从标准的图像数据集的注释文件夹中读取待处理图片对应的xml文件，将步骤S122中选取的篡改区域掩膜所对应的边界框位置信息读出；
根据读出的边界框位置信息以及复制粘贴图像中粘贴区域的位置，对目标图像对应的xml文件进行修改，将检测类别修改为“tamper”，将目标图像中的边界框位置信息改为复制粘贴图像中粘贴区域的位置信息，并将修改后的xml文件作为复制粘贴图像对应的xml文件。
进一步地，所述步骤S2具体包括以下步骤：
S21、构建包含判别器网络和生成器网络的多尺度生成对抗式网络模型；
S22、根据初步篡改图像数据集，设置模型的相关参数。
进一步地，所述步骤S21中生成器网络包括多个对应于不同尺度的生成器，多个生成器呈金字塔结构，对于顶层最小尺度的生成器，其输入仅包含空间高斯噪声；
对于顶层以下各大尺度的生成器，其输入包含空间高斯噪声以及上一尺度生成器生成图像的上采样；
对于顶层以下各大尺度的生成器，其输出结果具体为：上一尺度生成器生成图像的上采样加上空间高斯噪声图像，经过卷积操作后输出一副残差图像，将该残差图像再加上上一尺度生成器生成图像的上采样，即为该生成器的输出。
进一步地，所述步骤S3具体是对生成器的损失函数进行优化，包括以下步骤：
S31、定义重建背景损失以加快训练速度；
S32、定义边缘损失以约束篡改区域形状。
进一步地，所述步骤S31中重建背景损失函数具体为：
Figure BDA0002654850100000031
其中，Nbg为背景中的像素总数，mi为M中的第i个像素，M为复制粘贴图像，maski为位置i处的篡改区域掩膜Mmask中的像素值，tari为Mtar中的第i个像素，Mtar为目标图像；
边缘损失函数具体为：
Figure BDA0002654850100000032
其中，Nedge为边缘像素的数目，ei是位置i处的边缘掩膜的值，tami为Mtam中的第i个像素，Mtam为篡改源图片。
进一步地，所述步骤S4具体包括以下步骤：
S41、从最小尺度到最大尺度按顺序对模型进行训练，其中，每个生成器的训练损失均包括对抗损失和梯度损失，每个生成器分别有一个对应的马尔可夫判别器，判别器的损失仅包括对抗损失，整个生成器网络的总体损失由对抗损失与梯度损失复合而成；
S42、按照预设的迭代次数进行训练，将不同迭代次数下的生成图像共同构建成多层次篡改图像数据集。
进一步地，所述步骤S41中整个生成器网络的总体损失具体为：
LG＝λadvLadv+λgradLgrad
Figure BDA0002654850100000041
其中，Ladv为对抗损失，Lgrad为梯度损失，λadv和λgrad分别为Ladv和Lgrad的超参数，Gx(M)为复制粘贴图像M在水平方向上的梯度图像，Gy(M)为复制粘贴图像M在垂直方向上的梯度图像，f(M)为复制粘贴图像M与多尺度生成对抗网络f输出的融合图像。
与现有技术相比，本发明具有以下优点：
一、本发明基于多尺度生成对抗式网络结构，能够从不同大小的图像中学习到丰富的特征，由于生成篡改图像的尺度不同，表明篡改痕迹的呈现度不同，多尺度的网络结构能够学习到不同尺度层次的特征，以此增强模型的泛化能力，不再依赖于大规模数据集，基于单幅图像即可生成高质量的篡改图片，同时能扩充生成图像的数量，有利于后续对卷积神经网络进行高质量的训练，从而提高篡改图像的检测性能。
二、本发明通过对生成器的损失函数进行优化，使生成器能够学习到篡改边缘的特征、同时加快训练速度，从而保证生成对抗网络模型生成图像更加自然，有效提高篡改图像的质量，避免篡改图像检测时发生过拟合现象、提高检测准确性。
附图说明
图1为本发明的方法流程示意图；
图2为实施例中构建多层次篡改图像数据集的过程示意图；
图3a为实施例中篡改区域掩膜示意图；
图3b为实施例中篡改源图像示意图；
图3c为实施例中目标图像示意图；
图3d为实施例中合成的复制粘贴图像示意图；
图4为实施例中多尺度生成对抗式网络结构示意图；
图5a为实施例中生成的多层次篡改图像示例；
图5b为另一实施例中生成的多层次篡改图像示例。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
实施例
如图1所示，一种基于多尺度生成对抗网络的篡改图像检测方法，包括以下步骤：
S1、从标准的图像数据集中合成基本的复制粘贴图像，并得到合成图像对应的xml文件，以构建初步篡改图像数据集；
S2、构建基于多尺度生成对抗式网络的模型，以初步篡改图像数据集作为模型的输入，以设置模型相关参数；
S3、对多尺度生成对抗网络的生成器进行优化，以学习图像中篡改区域的边缘特征；
S4、交替训练生成器和判别器，输出不同尺度下的篡改图像，以构建多层次篡改图像数据集；
S5、利用多层次篡改图像数据集训练卷积神经网络；
S6、将待检测的篡改图像输入训练好的卷积神经网络，得到对应的检测结果。
本实施例整个训练和测试均在Ubuntu16.04.6系统下的深度学习开源框架TensorFlow下运行，显卡型号为Nvidia GeForce RTX 2080TI，CPU型号为Intel Core i9-9900K，CUDA版本为CUDA 10.1，cuDNN版本为cuDNN v7.5.0。
本实施例选用PASCAL VOC标准数据集作为标准的图像数据集，该数据集包括大约2万张图像和对应的掩膜图像，为图像识别和分类提供了一整套标准化的优秀的数据集，本实施例应用上述方法构建多层次篡改图像数据集的具体工作过程如图2所示，包括：
步骤一、从标准的图像数据集合成基本的复制粘贴图像：
从PASCAL VOC标准数据集中选取出篡改区域掩膜、篡改源图像和目标图像(如图3a～图3c所示)，以篡改源图像为前景，目标图像为背景，创建简单的复制粘贴图像(如图3d所示)作为多尺度对抗生成网络的输入，具体的，
(a1)按顺序抽取PASCAL VOC数据集中的一张图片作为目标图像；
(a2)随机从除目标图像外的剩余图片中抽取一张图片，作为待处理图片；
(a3)读取待处理图片对应的掩膜图片，将真值掩膜图片中所有物体的区域掩膜读出，随机选取一类目标的区域掩膜，作为篡改区域掩膜；
(a4)根据掩膜图片中选取的篡改区域掩膜，找出待处理图片中对应篡改区域掩膜的区域，将该区域从待处理图片中截取，将截取部分粘贴到目标图像的随机位置上，形成合成的复制粘贴图像；
(a5)从数据集的Annotations(即图像的注释文件夹)文件夹中读取待处理图片对应的xml文件，将步骤(a3)中选取的篡改区域掩膜所对应的边界框位置信息读出，位置信息为边界框左上角坐标与右下角坐标，根据读出的边界框位置信息以及复制粘贴图像中粘贴区域的位置，对目标图像对应的xml文件(脚本文件，包括篡改类型和篡改图像坐标)进行修改，将检测类别修改为“tamper”(即篡改类型)，将目标图像中的边界框位置信息改为复制粘贴图像中粘贴区域的位置信息，并将修改后的xml文件作为复制粘贴图像所对应的xml文件，至此完成一张复制粘贴图像与它对应的xml文件；
(a6)对PASCAL VOC数据集中的下一张图片执行步骤(a2)～步骤(a5)的操作，循环操作至最后一张图片，创建出合成的基本篡改图像数据集。
步骤二、搭建基于多尺度生成对抗式网络的模型，该模型包含判别器网络和生成器网络，并设置相应参数，具体的，
(b1)如图4所示，多尺度对抗生成网络包含金字塔结构的生成器{G0,...,GN}，整个对抗生成网络从GN开始处理，GN为最小尺度，尺度越来越大，到G0是最大尺度，分别针对图像
Figure BDA0002654850100000061
进行训练，其中图像xn是由图像x下采样(下采样即缩放图片尺寸，满足网络要求)获得，采样因子为rn，其中r＞1，每个生成器Gn负责生成对应xn的真实图像样本，模型会从最小的尺度进行图像样本生成，然后顺序地通过生成器，逐渐生成最大尺度的图像样本，每个尺度对应的生成器Gn都有随机噪声Zn作为输入(0≤n≤N)；
(b2)在最小尺度下，生成器GN的输入仅包含空间高斯噪声ZN，并将其映射为
Figure BDA0002654850100000071
Figure BDA0002654850100000072
(b3)对于更大的尺度，其生成器Gn(n＜N)不仅将噪声Zn(n＜N)作为输入，还接收上一尺度生成图像的上采样
Figure BDA0002654850100000073
(上采样即扩充图片尺寸，满足网络要求)作为输入：
Figure BDA0002654850100000074
(b4)所有的生成器具有相似的结构，当生成器为Gn(n＜N)时，其上一尺度生成图像的上采样
Figure BDA0002654850100000075
加上噪声图像Zn，经过卷积操作后输出一幅残差图像，再加上
Figure BDA0002654850100000076
最后得到
Figure BDA0002654850100000077
的即为生成器Gn的输出，生成器为Gn的操作可表示如下：
Figure BDA0002654850100000078
(b5)根据模型与数据集，设置模型的相关参数，将模型输入大小调整为256×256，多尺度结构中，最小尺度为25×25，最大尺度为250×250，上采样的倍数设置为10，学习率固定为2×10-4，超参数λadv和λgrad分别设置为5和20。
步骤三、进一步优化篡改区域的边缘痕迹，使模型生成的图像更加自然，具体的，
(c1)为了进一步优化篡改区域的边缘痕迹，对生成器的损失函数进行优化，鼓励生成器学习篡改区域的边缘特征，为了加快训练过程，使用L1损失来重建背景：
Figure BDA0002654850100000079
其中，Nbg为背景中的像素总数，mi为M中的第i个像素，M为复制粘贴图像，maski为位置i处的篡改区域掩膜Mmask中的像素值，tari为Mtar中的第i个像素，Mtar为目标图像；
(c2)为了约束篡改区域的形状，定义边缘损失：
Figure BDA00026548501000000710
其中，Nedge为边缘像素的数目，ei是位置i处的边缘掩膜的值，tami为Mtam中的第i个像素，Mtam为篡改源图片。
步骤四、交替训练生成器和判别器，输出不同尺度下的篡改图像，用于构建多层次篡改图像数据集，具体的，
(d1)从最小尺度到最大尺度按顺序地对模型进行训练，当每个生成器训练好，就会被固定，第n个生成器的训练损失包括对抗损失Ladv和梯度损失Lgrad，如公式：
Figure BDA0002654850100000081
(d2)在模型的训练过程中，每个生成器Gn都有一个对应的马尔可夫判别器Dn来判别真假，判别器Dn的结构与生成器Gn相同，为了增加训练稳定性，仅选择WGAN-GP的对抗损失Ladv；
(d3)为了使图像中篡改区域与背景拥有相近的色彩变化趋势，借鉴泊松融合中梯度场的思想，提出一种自定义的梯度损失，对于包含输入的复制粘贴图像M与生成对抗网络f输出的融合图像f(M)，将梯度损失定义为两者之间梯度差的L1范数的平方根形式：
Figure BDA0002654850100000082
其中，Gx(M)表示M在水平方向上的梯度图像，Gy(M)表示M在垂直方向上的梯度图像。在模型中，梯度损失起到了限制篡改区域中梯度变化的作用，保证了篡改区域的固有语义不变。平方根形式的梯度损失关注梯度方向的一致性，缓和了对较大梯度差值的惩罚，为生成阶段对篡改区域明度信息的预测保留了一定的空间；
(d4)生成器G的总体损失由对抗损失与梯度损失复合而得：
LG＝λadvLadv+λgradLgrad
其中，λadv和λgrad是控制相应损失项的重要参数。在以上约束条件下，生成器保留篡改区域的边缘纹理信息，同时将篡改区域与背景区域融合，生成高质量的篡改图像；
(d5)随着模型迭代次数的增加，生成图像看上去会越来越逼真，针对这一特点，利用图像在不同迭代次数(Epoch)下的生成图像(如图5a所示)，构建了多层次篡改图像数据集。
需注意的是，在实际应用中，步骤一中合成的图像还可以为拼接形式，即初步篡改图像数据集中的图像均为拼接图像，其余步骤与上述实施例一致，最终生成对抗网络生成的多层次篡改图像数据集也为拼接形式(如图5b所示)。
综上所述，采用本发明提出的方法，能够基于多尺度生成对抗网络生成丰富的、高质量篡改图像，以此保证后续卷积神经网络的可靠训练，从而提高篡改图像的检测性能。

Claims (10)

1.一种基于多尺度生成对抗网络的篡改图像检测方法，其特征在于，包括以下步骤：
S1、从标准的图像数据集中合成基本的复制粘贴图像，并得到合成图像对应的xml文件，以构建初步篡改图像数据集；
S2、构建基于多尺度生成对抗式网络的模型，以初步篡改图像数据集作为模型的输入，以设置模型相关参数；
S3、对多尺度生成对抗网络的生成器进行优化，以学习图像中篡改区域的边缘特征；
S4、交替训练生成器和判别器，输出不同尺度下的篡改图像，以构建多层次篡改图像数据集；
S5、利用多层次篡改图像数据集训练卷积神经网络；
S6、将待检测的篡改图像输入训练好的卷积神经网络，得到对应的检测结果。
2.根据权利要求1所述的一种基于多尺度生成对抗网络的篡改图像检测方法，其特征在于，所述步骤S1具体包括以下步骤：
S11、从标准的图像数据集中选取目标图像和待处理图片；
S12、以目标图像作为背景，将待处理图片中篡改区域掩膜对应的部分粘贴到目标图像的随机位置上，合成得到基本的复制粘贴图像；
S13、从标准的图像数据集中读取待处理图片对应的xml文件，以读出篡改区域掩膜对应的边界框位置信息，之后对目标图像对应的xml文件进行修改，将修改后的xml文件作为复制粘贴图像对应的xml文件；
S14、按照标准的图像数据集中图像的排序，依次重复步骤S11～S13，合成得到多个基本的复制粘贴图像，并得到对应的xml文件，以构建初步篡改图像数据集。
3.根据权利要求2所述的一种基于多尺度生成对抗网络的篡改图像检测方法，其特征在于，所述步骤S12具体包括以下步骤：
S121、读取待处理图片对应的掩膜图片，并将掩膜图片中所有物体的区域掩膜读出；
S122、随机选取一类物体的区域掩膜，作为篡改区域掩膜；
S123、找出待处理图片中对应篡改区域掩膜的区域，将该区域从待处理图片中截取，作为篡改源图片；
S124、将篡改源图片粘贴到目标图像的随机位置上，合成得到基本的复制粘贴图像。
4.根据权利要求3所述的一种基于多尺度生成对抗网络的篡改图像检测方法，其特征在于，所述步骤S13的具体过程为：从标准的图像数据集的注释文件夹中读取待处理图片对应的xml文件，将步骤S122中选取的篡改区域掩膜所对应的边界框位置信息读出；
根据读出的边界框位置信息以及复制粘贴图像中粘贴区域的位置，对目标图像对应的xml文件进行修改，将检测类别修改为“tamper”，将目标图像中的边界框位置信息改为复制粘贴图像中粘贴区域的位置信息，并将修改后的xml文件作为复制粘贴图像对应的xml文件。
5.根据权利要求1所述的一种基于多尺度生成对抗网络的篡改图像检测方法，其特征在于，所述步骤S2具体包括以下步骤：
S21、构建包含判别器网络和生成器网络的多尺度生成对抗式网络模型；
S22、根据初步篡改图像数据集，设置模型的相关参数。
6.根据权利要求5所述的一种基于多尺度生成对抗网络的篡改图像检测方法，其特征在于，所述步骤S21中生成器网络包括多个对应于不同尺度的生成器，多个生成器呈金字塔结构，对于顶层最小尺度的生成器，其输入仅包含空间高斯噪声；
对于顶层以下各大尺度的生成器，其输入包含空间高斯噪声以及上一尺度生成器生成图像的上采样；
对于顶层以下各大尺度的生成器，其输出结果具体为：上一尺度生成器生成图像的上采样加上空间高斯噪声图像，经过卷积操作后输出一副残差图像，将该残差图像再加上上一尺度生成器生成图像的上采样，即为该生成器的输出。
7.根据权利要求3所述的一种基于多尺度生成对抗网络的篡改图像检测方法，其特征在于，所述步骤S3具体是对生成器的损失函数进行优化，包括以下步骤：
S31、定义重建背景损失以加快训练速度；
S32、定义边缘损失以约束篡改区域形状。
8.根据权利要求7所述的一种基于多尺度生成对抗网络的篡改图像检测方法，其特征在于，所述步骤S31中重建背景损失函数具体为：
Figure FDA0002654850090000031
其中，Nbg为背景中的像素总数，mi为M中的第i个像素，M为复制粘贴图像，maski为位置i处的篡改区域掩膜Mmask中的像素值，tari为Mtar中的第i个像素，Mtar为目标图像；
边缘损失函数具体为：
Figure FDA0002654850090000032
其中，Nedge为边缘像素的数目，ei是位置i处的边缘掩膜的值，tami为Mtam中的第i个像素，Mtam为篡改源图片。
9.根据权利要求8所述的一种基于多尺度生成对抗网络的篡改图像检测方法，其特征在于，所述步骤S4具体包括以下步骤：
S41、从最小尺度到最大尺度按顺序对模型进行训练，其中，每个生成器的训练损失均包括对抗损失和梯度损失，每个生成器分别有一个对应的马尔可夫判别器，判别器的损失仅包括对抗损失，整个生成器网络的总体损失由对抗损失与梯度损失复合而成；
S42、按照预设的迭代次数进行训练，将不同迭代次数下的生成图像共同构建成多层次篡改图像数据集。
10.根据权利要求9所述的一种基于多尺度生成对抗网络的篡改图像检测方法，其特征在于，所述步骤S41中整个生成器网络的总体损失具体为：
LG＝λadvLadv+λgradLgrad
Figure FDA0002654850090000033
其中，Ladv为对抗损失，Lgrad为梯度损失，λadv和λgrad分别为Ladv和Lgrad的超参数，Gx(M)为复制粘贴图像M在水平方向上的梯度图像，Gy(M)为复制粘贴图像M在垂直方向上的梯度图像，f(M)为复制粘贴图像M与多尺度生成对抗网络f输出的融合图像。
CN202010883513.7A 2020-08-28 2020-08-28 一种基于多尺度生成对抗网络的篡改图像检测方法 Pending CN112102261A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010883513.7A CN112102261A (zh) 2020-08-28 2020-08-28 一种基于多尺度生成对抗网络的篡改图像检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010883513.7A CN112102261A (zh) 2020-08-28 2020-08-28 一种基于多尺度生成对抗网络的篡改图像检测方法

Publications (1)

Publication Number Publication Date
CN112102261A true CN112102261A (zh) 2020-12-18

Family

ID=73758146

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010883513.7A Pending CN112102261A (zh) 2020-08-28 2020-08-28 一种基于多尺度生成对抗网络的篡改图像检测方法

Country Status (1)

Country Link
CN (1) CN112102261A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686819A (zh) * 2020-12-29 2021-04-20 东北大学 基于生成对抗网络的魔方图像高光去除方法及装置
CN112967187A (zh) * 2021-02-25 2021-06-15 深圳海翼智新科技有限公司 用于目标检测的方法和装置
CN113673568A (zh) * 2021-07-19 2021-11-19 华南理工大学 篡改图像的检测方法、系统、计算机设备和存储介质
CN114842034A (zh) * 2022-04-19 2022-08-02 山东省人工智能研究院 一种基于放大模糊操作痕迹的图片真假检测方法
CN115578631A (zh) * 2022-11-15 2023-01-06 山东省人工智能研究院 基于多尺度交互和跨特征对比学习的图像篡改检测方法
CN116342601A (zh) * 2023-05-30 2023-06-27 山东省人工智能研究院 基于边缘引导和多层级搜索的图像篡改检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108986058A (zh) * 2018-06-22 2018-12-11 华东师范大学 明度一致性学习的图像融合方法
CN110992238A (zh) * 2019-12-06 2020-04-10 上海电力大学 一种基于双通道网络的数字图像篡改盲检测方法
CN111311563A (zh) * 2020-02-10 2020-06-19 北京工业大学 一种基于多域特征融合的图像篡改检测方法
CN111340784A (zh) * 2020-02-25 2020-06-26 安徽大学 一种基于Mask R-CNN图像篡改检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108986058A (zh) * 2018-06-22 2018-12-11 华东师范大学 明度一致性学习的图像融合方法
CN110992238A (zh) * 2019-12-06 2020-04-10 上海电力大学 一种基于双通道网络的数字图像篡改盲检测方法
CN111311563A (zh) * 2020-02-10 2020-06-19 北京工业大学 一种基于多域特征融合的图像篡改检测方法
CN111340784A (zh) * 2020-02-25 2020-06-26 安徽大学 一种基于Mask R-CNN图像篡改检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TAMAR ROTT SHAHAM ET AL.: "SinGAN: Learning a Generative Model from a Single Natural Image", 《ARXIV》, pages 1 - 11 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686819A (zh) * 2020-12-29 2021-04-20 东北大学 基于生成对抗网络的魔方图像高光去除方法及装置
CN112967187A (zh) * 2021-02-25 2021-06-15 深圳海翼智新科技有限公司 用于目标检测的方法和装置
CN112967187B (zh) * 2021-02-25 2024-05-31 深圳海翼智新科技有限公司 用于目标检测的方法和装置
CN113673568A (zh) * 2021-07-19 2021-11-19 华南理工大学 篡改图像的检测方法、系统、计算机设备和存储介质
CN113673568B (zh) * 2021-07-19 2023-08-22 华南理工大学 篡改图像的检测方法、系统、计算机设备和存储介质
CN114842034A (zh) * 2022-04-19 2022-08-02 山东省人工智能研究院 一种基于放大模糊操作痕迹的图片真假检测方法
CN114842034B (zh) * 2022-04-19 2022-12-02 山东省人工智能研究院 一种基于放大模糊操作痕迹的图片真假检测方法
CN115578631A (zh) * 2022-11-15 2023-01-06 山东省人工智能研究院 基于多尺度交互和跨特征对比学习的图像篡改检测方法
CN115578631B (zh) * 2022-11-15 2023-08-18 山东省人工智能研究院 基于多尺度交互和跨特征对比学习的图像篡改检测方法
CN116342601A (zh) * 2023-05-30 2023-06-27 山东省人工智能研究院 基于边缘引导和多层级搜索的图像篡改检测方法
CN116342601B (zh) * 2023-05-30 2023-07-21 山东省人工智能研究院 基于边缘引导和多层级搜索的图像篡改检测方法

Similar Documents

Publication Publication Date Title
CN112102261A (zh) 一种基于多尺度生成对抗网络的篡改图像检测方法
US20200302251A1 (en) Image composites using a generative neural network
CN110992238B (zh) 一种基于双通道网络的数字图像篡改盲检测方法
CN111199531B (zh) 基于泊松图像融合及图像风格化的交互式数据扩展方法
CN112183637B (zh) 一种基于神经网络的单光源场景光照重渲染方法及系统
Jeong et al. Frepgan: robust deepfake detection using frequency-level perturbations
CN111126404B (zh) 一种基于改进YOLO v3的古文字及字体识别方法
WO2020186785A1 (zh) 样本集构建方法、装置、计算机设备和存储介质
CN106855996B (zh) 一种基于卷积神经网络的灰阶图像着色方法及其装置
CN111563563B (zh) 一种手写体识别的联合数据的增强方法
CN109558862A (zh) 基于空间感知的注意力细化框架的人群计数方法及系统
CN109447897B (zh) 一种真实场景图像合成方法及系统
CN110263858A (zh) 一种螺栓图像合成方法、装置及相关设备
CN113344110B (zh) 一种基于超分辨率重建的模糊图像分类方法
WO2017143973A1 (zh) 文本识别模型建立方法和装置
Debbagh Neural Radiance Fields (NeRFs): A Review and Some Recent Developments
CN117351328B (zh) 一种标注图像生成方法、系统、设备和介质
CN114626984A (zh) 中文文本图像的超分辨率重建方法
CN111026899A (zh) 一种基于深度学习的产品生成方法
CN112750065A (zh) 载体对象处理和水印嵌入方法、装置及电子设备
CN115660984A (zh) 一种图像高清还原方法、装置及存储介质
US20220366179A1 (en) Assessment of image quality for optical character recognition using machine learning
CN113724261A (zh) 一种基于卷积神经网络的快速图像构图方法
Jacobson et al. Visualizing neural networks for pattern recognition
RU2541132C1 (ru) Способ автоматической генерации скетчей и система для его осуществления

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination