CN111612708A - 一种基于对抗生成网络的图像修复方法 - Google Patents

一种基于对抗生成网络的图像修复方法 Download PDF

Info

Publication number
CN111612708A
CN111612708A CN202010371025.8A CN202010371025A CN111612708A CN 111612708 A CN111612708 A CN 111612708A CN 202010371025 A CN202010371025 A CN 202010371025A CN 111612708 A CN111612708 A CN 111612708A
Authority
CN
China
Prior art keywords
network
image
training
discrimination
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010371025.8A
Other languages
English (en)
Other versions
CN111612708B (zh
Inventor
陈沅涛
张浩鹏
蔡烁
余飞
陈曦
王震
陶家俊
刘林武
王柳
吴一鸣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha University of Science and Technology
Original Assignee
Changsha University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha University of Science and Technology filed Critical Changsha University of Science and Technology
Priority to CN202010371025.8A priority Critical patent/CN111612708B/zh
Publication of CN111612708A publication Critical patent/CN111612708A/zh
Application granted granted Critical
Publication of CN111612708B publication Critical patent/CN111612708B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于对抗生成网络的图像修复方法，包括步骤：S1、构建图像修复训练网络：将生成SE‑RestNet网络添加到生成网络中，将判别SE‑RestNet网络添加到判别网络，得到图像修复训练网络；S2、训练：从训练数据集中提取若干个原始图像，掩码处理得到若干个训练图像，分别使用所述生成网络中的所述生成SE‑RestNet网络生成训练修复图像，再使用所述判别网络中的所述判别SE‑RestNet网络判别所述修复图像的真假，使所述判别网络达到平衡状态后，以训练好的所述生成网络作为图像修复网络。本发明提供的一种基于对抗生成网络的图像修复方法，在对抗生成网络中添加SE‑RestNet网络块，使修复的图像保证图像结构和语义连贯性，图像修复的效果更佳，无修复痕迹。

Description

一种基于对抗生成网络的图像修复方法
技术领域
本发明涉及图像修改领域，尤其涉及一种基于对抗生成网络的图像修复方法。
背景技术
图像修复是在保证图像的清晰度和它的语义连贯性的前提下，利用图像中已有的信息，修补图像中的缺失信息或者移除图像中的特定信息的图像处理技术。此技术的核心挑战在于为缺失的区域合成视觉逼真和语义上合理的像素，以便与现有的像素保持一致。图像修复具有重要的现实意义，尤其在艺术作品的保护，修复老照片以及基于图像的渲染和计算机摄影方面有很多应用。
传统的图像修复方法多采用图像级特征来处理修复问题。块匹配(Patch-Match)方法提出寻找最佳匹配的补丁块来重建缺失区域。此方法在本质上可以提供真实的纹理信息，但是他们仅仅是利用给定上下文的低级特征，缺乏预测上下文高层次特征的能力。
为了更好的提取语义层面的信息，也得益于神经网络和深度学习的不断发展，更多的基于深度学习的方法被提出。上下文编码器(Context Encoder)是语义修复的一个开创性方法，给定一个缺失区域的掩码，训练一个神经网络对上下文信息进行编码并对受损内容进行预测，同时利用对抗损失来使得生成的图像尽可能真实，能够较好的修复缺失区域。但是此方法仍然缺乏一些修复细节并且存在明显的修复痕迹。
为了能够修复更高分辨率的图像，Iizuka等人提出添加膨胀卷积层来增加感受野并且联合局部和全局判别器提升修复的一致性。但是此方法无法修复缺失较大的图像，尽管视觉上修复纹理较连续，但是存在某些高度结构化的图片修复后存在模糊和不真实的情况，有较明显的修复痕迹。
基于补丁块的方法通过搜索最佳的匹配块来优化修复效果，但是这些方法只能提供已有的纹理信息，不能从语义结构上理解图像，也不能对物体结构做出合理的预测。随着深度生成式模型的快速发展，尤其是生成对抗网络(GAN)，GAN在生成高分辨率图像方面有着可观的表现。但是训练一个生成高清图像并且稳定的GAN网络是相当困难的。近期也提出了一些稳定训练的方法，例如DC-GAN，WGAN-GP，Wasserstein GAN(WGAN)，LSGAN和Progressive GANs。这些方法为稳定训练提供了实用的技巧，能够产生更加真实的高清图像。
由Pathak等人提出的Context-encoder基于生成对抗网络(GAN)，扩大了可修复缺失范围。其中的生成网络是通过判别器辅助训练，判别器是用来判别生成器生成的图像是否为真。通过训练生成网络来欺骗判别器，同时判别器也在不断的更新。训练过程联合均方误差(MSE)以及对抗损失，在128×128像素图像的中心修复64×64像素的区域来训练修复网络，避免了仅使用MSE损失时常见的模糊。
由Iizuka等人提出的基于全局和局部一致的图像修复在Context-encoder的基础上引入了全局和局部判别器，全局判别器判别生成的图像整体的连贯性，同时局部判别器专注于生成图片的小区域以保证局部一致性。Iizuka等人在生成网络中加入了膨胀卷积层代替Context-encoder当中的全连接层，这些操作都是为了扩大网络的感受野。
在生成网络的编码部分提取图像的特征得到低分辨率的特征图，特征图中编码了丰富的语义信息，然而在下采样过程当中丢失了图像的结构和语义信息，使得修复效果不清晰。
专利号为ZL201910475787.X的专利文献公开了一种基于生成式对抗网络的人脸修复方法，包括以下步骤：S1、采集人脸数据并进行预处理；S2、建立对抗网络模型：对抗网络模型包括两个深度神经网络：生成网络G和判别网络D，通过生成网络G生成人脸图像；通过判别网络D判断图像的真假；S3、进行人脸修复：随机的给测试图像加掩码，模拟真实图像缺损区域，将此缺损图像输入生成网络G中生成人脸图像，将生成图像的掩码区域替换到缺失图像的相应位置，再进行泊松融合。本发明利用上下文损失与语境损失和全局与局部两个判别损失迭代更新网络的参数，能够生成并补全更为自然和逼真的人脸图像。但也是对于上述中对抗式生成网络的一种增强，还是没有有效解决上述提到的问题。
因而现有的图像修改技术仍然存在不足，还有待改进和提高。
发明内容
鉴于上述现有技术的不足之处，本发明的目的在于提供一种基于对抗生成网络的图像修复方法，能够在修复残缺图像时，保证图像结构和语义的连贯性，使修复效果更佳。
为了达到上述目的，本发明采取了以下技术方案：
一种基于对抗生成网络的图像修复方法，包括步骤：
S1、构建图像修复训练网络：将生成SE-RestNet网络添加到生成网络中，将判别SE-RestNet网络添加到判别网络，得到图像修复训练网络；
S2、训练：从训练数据集中提取若干个原始图像，掩码处理得到若干个训练图像，分别使用所述生成网络中的所述生成SE-RestNet网络生成训练修复图像，再使用所述判别网络中的所述判别SE-RestNet网络判别所述训练修复图像的真假，根据所述判别网络的判别结果对所述生成网络的网络参数进行调整，使所述图像修复训练网络达到平衡状态后，以训练好的所述生成网络作为图像修复网络；
S3、修复：将待修复图像输入到所述图像修复网络中，得到修复图像。
将SE-RestNet网络分别嵌入到生成网络和判别网络，以所述对抗网络进行待修复图片的进行修复，使修复后的图片效果更佳，图像更逼真。
优选的所述的基于对抗生成网络的图像修复方法，在所述步骤S2中，所述训练图像为将训练数据集中的图像进行图像掩膜处理后得到，使用若干个图像对所述图像修复训练网络进行若干次训练，最终得到所述图像修复网络。
优选的所述的基于对抗生成网络的图像修复方法，每次训练的步骤具体包括：
S21、将缺陷图像输入到所述生成网络中，使用所述生成SE-RestNet网络进行图像进行特征图像处理，使得生成的特征图像的分辨率降为预定分辨率；
S22、所述生成网络对所述特征图像进行修复处理，得到所述训练修复图像；
S23、所述判别网络使用所述判别SE-RestNet网络对所述训练修复图像进行损失判定，若是符合输出要求，则判定修复成功；否则，判定修复失败，执行步骤S24；
S24、所述判别网络根据损失判定结果调整所述生成网络的网络参数，执行步骤S21。
使用所述生成SE-RestNet网络对所述训练图像处理成所述特征图像时，保证图像处理中不失真，使修复效果更清晰。
优选的所述的基于对抗生成网络的图像修复方法，所述损失判定为使用生成损失函数对所述准修复图像与对应的所述原始图像之间进行损失判定；所述生成损失函数为：
Lfinal＝Lcon+λ1Ladv+λ2LCX；
其中，Lfinal为生成损失；Ladv为对抗损失；Lcon为内容损失；LCX为上下文损失；λ1为对抗系数；λ2为上下文系数。
优选的所述的基于对抗生成网络的图像修复方法，所述对抗损失通过对抗损失函数得到所述对抗函数为：
Figure BDA0002478300070000031
其中，Ladv为对抗损失；D(x)是样本概率；x是真实样本或生成样本；E(*)是分布函数的期望值；G(*)是对抗性损失函数。
优选的所述的基于对抗生成网络的图像修复方法，所述内容损失通过内容损失函数得到，所述内容损失函数为：
Figure BDA0002478300070000032
其中，Lcon为内容损失；E(*)是分布函数的期望值；G(*)是对抗性损失函数；⊙是两个矩阵的对应元素相乘；M是图像掩膜。
优选的所述的基于对抗生成网络的图像修复方法，所述上下文损失通过上下文损失函数得到，所述上下文损失函数为：
Figure BDA0002478300070000041
其中，LCX为上下文损失；E(*)是分布函数的期望值；G(*)是对抗性损失函数；CX(*)是计算相似度的函数；Φ是VGG16网络。
在所述判定网络使用所述判别SE-RestNet网络进行修复图像的损失判断，进而对所述生成网络进行调整，使所述生成网络的修复图像效果达到最佳。
优选的所述的基于对抗生成网络的图像修复方法，所述判别网络包括全局判别网络、局部判别网络和判别全连接层；所述全局判别网络和所述局部判别网络分别与所述判别全连接层连接；所述判别SE-RestNet网络包括全局判别SE-RestNet网络和局部判别SE-RestNet网络；
所述全局判别SE-RestNet网络内嵌在所述全局判别网络中；所述局部判别SE-RestNet网络内嵌在所述局部判别网络中。
优选的所述的基于对抗生成网络的图像修复方法，所述步骤S23中，所述判别网络在判别所述修复图像的真假过程中，具体包括：
S231、将所述训练修复图像处理得到全局判别图和局部判别图；
S232、所述全局判别网络对所述全局判别图进行处理，得到全局判别向量；所述局部判别网络对所述局部判别图进行处理，得到局部判别向量；
S233、所述判别全连接层接收所述全局判别向量与所述局部判别向量，合成得到判别向量，对所述判别向量使用sigmoid函数判定真假。
在判别过程中，所述全局判别网络和所述局部判别网络分别对修复图像进行处理，在本实施例中，所述sigmoid函数优选为所述生成损失函数，使判别效果更佳。
优选的所述的基于对抗生成网络的图像修复方法，所述局部判别图包括图像掩膜区域修复后的图像和图像掩膜区域周边部分图像。
相较于现有技术，本发明提供的一种基于对抗生成网络的图像修复方法，具有以下效果：
1、将SE-RestNet网络分别嵌入到生成网络和判别网络，以所述对抗网络进行待修复图片的进行修复，使修复后的图片效果更佳，图像更逼真；
2、使用所述生成SE-RestNet网络对所述训练图像处理成所述特征图像时，保证图像处理中不失真，使修复效果更清晰；
3、在所述判定网络使用所述判别SE-RestNet网络进行修复图像的损失判断，进而对所述生成网络进行调整，使所述生成网络的修复图像效果达到最佳；
4、在判别过程中，所述全局判别网络和所述局部判别网络分别对修复图像进行处理，在具体实施中，所述生成损失函数进行真假判断，使判别效果更佳。
附图说明
图1是本发明提供的基于对抗生成网络的图像修复方法；
图2是本发明提供的生成网络的结构图；
图3是本发明提供的判别网络的结构图；
图4是本发明提供的使用Iizuka的修复方法修复的图像和使用SE-ResNet残差块修复方法修复的图像的对比图；
图5是本发明提供的分别采用具有和不具有上下文感知损失网络的修复方法的使用效果对比图；
图6是本发明提供的分别使用评价标准PSNR和SSIM进行评测的修复效果。
具体实施方式
为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
请一并参阅图1-图6，本发明提供一种基于对抗生成网络的图像修复方法，包括步骤：
S1、构建图像修复训练网络：将生成SE-RestNet网络添加到生成网络中，将判别SE-RestNet网络添加到判别网络，得到图像修复训练网络；
S2、训练：从训练数据集中提取若干个原始图像，掩码处理得到若干个训练图像，分别使用所述生成网络中的所述生成SE-RestNet网络生成训练修复图像，再使用所述判别网络中的所述判别SE-RestNet网络判别所述训练修复图像的真假，根据所述判别网络的判别结果对所述生成网络的网络参数进行调整，使所述图像修复训练网络达到平衡状态后，以训练好的所述生成网络作为图像修复网络；
S3、修复：将待修复图像输入到所述图像修复网络中，得到修复图像。
具体的，在步骤S1中，所述图像修复训练网络包括生成网络和判别网络，所述生成网络在现有的生成网络的基础上添加了所述生成SE-RestNet网络，现有的生成网络中还具有膨胀卷积网络和反卷积网络；所述生成SE-RestNet网络对待修复图像进行特征优化操作，用以替换现有的生成网络中的下采样操作，保证处理后的图像的清晰度。在步骤S2中，然后将优化后的待修复图像使用所述生成网络中的所述膨胀卷积和所述反卷积网络进行修复处理，得到所述训练修复图像，然后使用所述判别网络对所述生成网络进行校准，最终得到最优的所述生成网络作为图像修复网络。所述训练图像为原始图像经过掩码覆盖部分图片后得到。应当说明的是，此处调整的网络参数优选为调整所述生成网络的层数，即增加反卷积网络层或其他卷积网络层的数量，具体增加的位置不做限定，与本领域中的公知处理方式相同。
所述生成SE-RestNet网络和所述判别SE-RestNet网络均由SE-Net网络嵌入到RestNet网络中得到，具体可以参阅图2和图3中对于所述生成SE-RestNet网络、所述全局判别SE-RestNet网络和所述局部判别SE-RestNet网络的示图，三者具体的结构相似。所述SE-Net网络通过学习的方式自动获取每个特征通道的重要程度，然后依据这个重要程度去提升有用的特征并抑制对当前任务用处不大的特征，这点能为图像修复生成网络的编码器和判别器部分的有效特征提取带来巨大的作用。假设网络的输入是x(通道数为c1)，通过一系列的卷积等操作过后得到通道为c2的特征，那么所述SE-Net网络所做的就是使用新的方式来得到通道为c2的特征。所述SE-Net网络中第一个操作就是Squeeze，即特征压缩，主要采用平均池化操作来进行特征压缩，在每一个通道上得到一个一维的实数，这个实数表示在特征通道上相应的全局分布；第二个操作是Excitation，即激活，这个操作类似于循环神经网络中的门机制，通过一个全连接层得到特征每个通道的权重，以此来显式的建模通道间的相关性；第三个操作是Reweight操作，将上一层输出的权重通过乘法加权到x的每个通道上，因为上一层输出的权重代表着每个通道的重要程度，这时就完成了对原始特征的重新标定。所述ResNet网络已经广泛被用做提取特征，同时能够减少参数。
作为优选方案，本实施例中，在所述步骤S2中，所述训练图像为将训练数据集中的图像进行图像掩膜处理后得到，使用若干个图像对所述图像修复训练网络进行若干次训练，最终得到所述图像修复网络；每次训练的步骤具体包括：
S21、将缺陷图像输入到所述生成网络中，使用所述生成SE-RestNet网络进行图像进行特征图像处理，使得生成的特征图像的分辨率降为预定分辨率；
S22、所述生成网络对所述特征图像进行修复处理，得到所述训练修复图像；
S23、所述判别网络使用所述判别SE-RestNet网络对所述训练修复图像进行损失判定，若是符合输出要求，则判定修复成功；否则，则判定修复失败，执行步骤S24；
S24、所述判别网络根据损失判定结果调整所述生成网络的网络参数，执行步骤S21。
具体的，在现场实施中，每次训练可以不仅仅使用一张图像，可以使用两张或两张以上的图像集进行训练，训练过程如步骤S21-S24所述，优选的每次训练的图像数量为10-20张。所述判别网络对所述生成网络生成的所述训练修复图像进行真假判别，当判定所述训练修复图像为真时，则修复成功，若是判定为假时，则修复失败。优选的，所述预定分辨率为所述特征图像的分辨率的1/4。所述生成网络是一个基于全卷积的网络。生成网络的输入是一张三通道的图像，输出是一张相同大小的修复后图像。生成网络采用了编解码的结构，在进一步处理图像之前先降低分辨率，从而减少内存使用和计算时间。降低分辨率需要使用下采样，下采样的过程很容易丢失图像的结构和语义信息，使得修复效果不清晰，因此我们仅仅对图像做了两次下采样，并且添加了所述生成SE-ResNet网络代替传统的下采样方式。当特征图降为原来的1/4时，使用4个膨胀卷积层作为编码-解码部分的连接处理，来保持图像的感知野。膨胀卷积在获取高分辨率最终特征图中发挥重要作用。生成网络的结构如图2所示，其中未标明的层块图示为使常规对抗网络正常工作的层块配置，不做具体限定。
作为优选方案，本实施例中，所述损失判定为使用生成损失函数对所述准修复图像与对应的所述原始图像之间进行损失判定；所述生成损失函数为：
Lfinal＝Lcon+λ1Ladv+λ2LCX；
其中，Lfinal为生成损失；Ladv为对抗损失；Lcon为内容损失；LCX为上下文损失；λ1为对抗系数；λ2为上下文系数。
具体的，所述对抗损失是为了所述生成网络最大可能的“欺骗”(使判别网络判别为真)所述判别网络，使用对抗函数获得，此处使用的对抗函数不做限定，优选为：
Figure BDA0002478300070000071
其中，Ladv为对抗损失；D(x)是样本概率；x是真实样本或生成样本；E(*)是分布函数的期望值；G(*)是对抗性损失函数。
所述内容损失通过内容损失函数得到，此处对于使用的所述内容损失函数的种类不做限定，优选的所述内容损失函数为：
Figure BDA0002478300070000072
其中，Lcon为内容损失；E(*)是分布函数的期望值；G(*)是对抗性损失函数；⊙是两个矩阵的对应元素相乘；M是图像掩膜。
具体的，内容损失采用L2距离，内容损失是为了生成尽量真实的图像，尽最大可能使得待修复完成的图像与原始图像“距离”更小。假设M为图像掩膜，其与输入图像具有同样大小的尺寸，其中值为0的部分代表破损像素点，值为1的部分代表未破损像素点，
所述上下文损失通过上下文损失函数得到，此处对于使用的所述上下午损失函数的种类不做限定，优选的所述上下文损失函数为：
Figure BDA0002478300070000081
其中，LCX为上下文损失；E(*)是分布函数的期望值；G(*)是对抗性损失函数；CX(*)是计算相似度的函数；Φ是VGG16网络；G(*)是对抗性损失函数。
上下文损失采用VGG16特征提取器，得到生成图像和原始图像的特征图，通过特征图计算相似度作为损失来对生成网络进行训练，上下文感知损失是为了让生成网络具有能够约束局部特征的相似性的能力，使图像修复得更加逼真，与原图更加相似。
优选的，对于生成网络，我们希望它具有能够约束局部特征的相似性，使图像修复得更加逼真。因此我们提出了联合上下文感知损失网络训练生成网络，我们让生成的图像和原始图像经过VGG16特征提取器，得到图像的特征图，通过特征图计算相似度作为损失来对生成网络进行训练。
上下文感知损失网络接收两张160x160大小的图像，经过已经训练好的VGG16后输出感知损失。我们假设x为输入图像，G则表示生成网络，Φ表示VGG16网络，CX表示计算相似度的函数，那么上下文感知网络的损失可以表示为所述上下文损失函数。
更进一步的，对于两个输入的图像x，y经过VGG16的特征提取后的xi，yi，其中CX函数的计算如下：
Figure BDA0002478300070000082
其中：
Figure BDA0002478300070000083
Figure BDA0002478300070000084
Figure BDA0002478300070000085
Figure BDA0002478300070000091
Figure BDA0002478300070000092
在训练过程中，必须通过不断的减小上下文损失来优化所述生成网络。
作为优选方案，本实施例中，所述判别网络包括全局判别网络、局部判别网络和判别全连接层；所述全局判别网络和所述局部判别网络分别与所述判别全连接层连接；所述判别SE-RestNet网络包括全局判别SE-RestNet网络和局部判别SE-RestNet网络；
所述全局判别SE-RestNet网络内嵌在所述全局判别网络中；所述局部判别SE-RestNet网络内嵌在所述局部判别网络中。
具体的，所述判别网络是由所述全局判别网络和所述局部判别网络组成，分别对应整体图像和局部图像，它们的作用就是判别所述训练修复图像是真还是假。为了让判别器具有更好的判别能力，优选的在所述全局判别网络和所述局部判别网络中分别添加了所述全局判别SE-ResNet网络和所述局部判别SE-RestNet网络，使其能够提升特征利用。所述全局判别网络和所述局部判别网络会将图像压缩成小的特征向量，然后连接起来作为最终结果去判断图像真假。判别网络如图3所示。
作为优选方案，本实施例中，所述步骤S23中，所述判别网络在判别所述修复图像的真假过程中，具体包括：
S231、将所述训练修复图像处理得到全局判别图和局部判别图；
S232、所述全局判别网络对所述全局判别图进行处理，得到全局判别向量；所述局部判别网络对所述局部判别图进行处理，得到局部判别向量；
S233、所述判别全连接层接收所述全局判别向量与所述局部判别向量，合成得到判别向量，对所述判别向量使用sigmoid函数判定真假。
作为优选方案，本实施例中，所述局部判别图包括图像掩膜区域修复后的图像和图像掩膜区域周边部分图像。
优选的，所述全局判别图为所述训练修复图像完整处理得到，所述全局判别网络将整个输入的图裁剪到160x160大小作为所述全局判别图，但从所述全局判别网络角度，包括3个普通卷积层、所述全局判别SE-RestNet网络以及一个全连接层(所述判别全连接层与所述全局判别网络连接的部分)，输出为一个1024维的向量，表示全局上下文信息；所述全局判别SE-RestNet网络包括3个SE-ResNet残差块。其中前3层普通卷积层和残差块均采用步幅2来减少图像大小并双倍增加输出的通道数(第一层卷积输出通道数为64)，最后两层通道数不变。
所述局部判别网络与所述全局判别网络的网络组成类似，不做赘述，具体请参阅附图3。具体的，所述局部判别网络的输入图像为96x96大小的所述局部判别图，包括了缺失区域，但不全是缺失区域，还有一部分是未缺失图像，能够有效保证所述局部判别图数据上下文的连贯性。由于输入图像只是全局判别网络输入的缺失部分，我们将去掉全局网络中的第一层普通卷积层后作为所述局部判别网络，即所述局部判别网络的组成为去掉首层普通卷积层后得到。输出同样为一个1024维的向量，表示局部上下文信息。
最后，所述全局判别网络和所述局部判别网络输出的全局/局部上下文信息被拼接成一个2048维的向量，然后送入一个全连接层并输出一个实数，最后经过一个sigmoid函数将其映射到[0,1]范围代表图像真假的概率。所述sigmoid函数为本领域的公知技术，其使用也是以常用的方法为主，不做赘述。
以下，使用来自香港中文大学的开放数据集CelebA和LFW对本发明提供的对抗生成网络进行具体说明。其中，CelebA是一个大型的人脸属性数据集，包含1万多个名人身份的20多万张图片；LFW数据集是一个无约束自然场景人脸识别数据集，该数据集由13000多张全世界知名人士互联网自然场景环境人脸图片组成。
首先，按照上述内容构建所述图像修复训练网络；然后对所述图像修复训练网络进行训练，在训练过程中，将CelebA的12万张图片作为训练图像，即为原始图像，剩下的图片作为测试集，将所述生成损失函数中λ1设置为0.0004，λ2设置为0.004，将batch size(一次训练所选取的样本数)设置为12，所有的参与训练的图片被裁剪成160x160像素大小然后被送进网络训练；在训练过程中，首先单独对所述生成网络训练90000次，然后对所述判别网络训练10000次，最后将所述图像修复训练网络训练400000次；然后将LFW中的一万张图片作为训练图像，将所述生成损失函数中λ1设置为0.0004，λ2设置为0.004，将batch size设置为16，图片被裁剪成160x160像素大小按照上述步骤进行测试，在训练结束后，得到所述图像修复网络；得到的所述图像修复网络即可用于修复受损图像。
图4是使用Iizuka的修复方法修复的图像和使用SE-ResNet残差块修复方法修复的图像的对比图，所述SE-ResNet残差块使用CelebA数据集进行了定性分析，其中，第一列为原始图片，第二列为缺失图片，第三列为Iizuka等的方法修复后图片，第四列为使用本发明提供的修复方法进行修复的修复后图片。可以看出，使用SE-ResNet残差块修复方法对缺失图像的修复效果的影响显著，这也验证了SE-ResNet残差块的有效性。
图5是分别采用具有和不具有上下文感知损失网络的修复方法的使用效果对比图，其中，主要区别在于对对抗网络进行训练时，分别采用和不采用上下文感知网络进行训练。其中，第一列为原始图片，第二列为缺失图片，第三列为Iizuka等的方法修复后图片，第四列为采用上下文感知损失网络修复后图片。从图5的第四行可以看出，对缺失嘴部的修复中，Iizuka等的方法修复后的图片存在较为严重的修复痕迹，我们的方法能够有效的减少修复痕迹，与原始图像相似度更高。
图6是分别使用评价标准PSNR和SSIM进行评测的修复效果。PSNR(Peak Signal toNoise Ratio)峰值信噪比是一种全参考的图像质量评价指标。SSIM(structuralsimilarity)结构相似性，是一种全参考的图像质量评价指标，它分别从亮度、对比度、结构三方面度量图像相似性。SSIM取值范围[0,1]，值越大，表示图像失真越小。
从CelebA的测试数据集中随机的选取128张图片，分别计算中心缺失为1/2和中心缺失为1/4的原图，用Iizuka等人方法修复的图像以及本发明提供的修复方法修复的图像的PSNR以及SSIM值，然后进行对比，得到下表：
PSNR(dB) SSIM
Iizuka.etc 30.18 0.80
Our method 36.90 0.92
从表中可以看出，本发明提供的图像修复方法的修复效果优于Iizuka等人的方法，各项指标更高。
另外，图6定性分析了对比效果，其中，前两行为中心缺失1/2的修复效果对比图，后两行为中心缺失1/4的修复效果对比图，第一列为原图，第二列为缺失图片，第三列为Iizuka等的方法修复后图片，第四列为本发明提供的图像修复方法修复后图片。可以看出Iizuka等人的修复结果存在较多的瑕点，本申请提供的修复方法修复的图像的修复效果更加清晰。
综上所述，本发明提供一种基于对抗生成网络的图像修复方法，基于SE-ResNet的生成对抗网络联合上下文感知损失的方法来进行图像修复工作，通过在在生成网络和判别网络部分加入SE-ResNet模块，提升网络特征利用，使得修复图像更清晰；通过联合Contextual Loss约束局部特征的相似性，使得修复图像更加逼真。多个实验证明，我们的方法在图像修复上具有重要的作用。
可以理解的是，对本领域普通技术人员来说，可以根据本发明的技术方案及其发明构思加以等同替换或改变，而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。

Claims (10)

1.一种基于对抗生成网络的图像修复方法，其特征在于，包括步骤：
S1、构建图像修复训练网络：将生成SE-RestNet网络添加到生成网络中，将判别SE-RestNet网络添加到判别网络，得到图像修复训练网络；
S2、训练：从训练数据集中提取若干个原始图像，掩码处理得到若干个训练图像，分别使用所述生成网络中的所述生成SE-RestNet网络生成训练修复图像，再使用所述判别网络中的所述判别SE-RestNet网络判别所述训练修复图像的真假，根据所述判别网络的判别结果对所述生成网络的网络参数进行调整，使所述图像修复训练网络达到平衡状态后，以训练好的所述生成网络作为图像修复网络；
S3、修复：将待修复图像输入到所述图像修复网络中，得到修复图像。
2.根据权利要求1所述的基于对抗生成网络的图像修复方法，其特征在于，在所述步骤S2中，所述训练图像为将训练数据集中的图像进行图像掩膜处理后得到，使用若干个图像对所述图像修复训练网络进行若干次训练，最终得到所述图像修复网络。
3.根据权利要求2所述的基于对抗生成网络的图像修复方法，其特征在于，每次训练的步骤具体包括：
S21、将缺陷图像输入到所述生成网络中，使用所述生成SE-RestNet网络进行图像进行特征图像处理，使得生成的特征图像的分辨率降为预定分辨率；
S22、所述生成网络对所述特征图像进行修复处理，得到所述训练修复图像；
S23、所述判别网络使用所述判别SE-RestNet网络对所述训练修复图像进行损失判定，若是符合输出要求，则判定修复成功；否则，判定修复失败，执行步骤S24；
S24、所述判别网络根据损失判定结果调整所述生成网络的网络参数，执行步骤S21。
4.根据权利要求3所述的基于对抗生成网络的图像修复方法，其特征在于，所述损失判定为使用生成损失函数对所述准修复图像与对应的所述原始图像之间进行损失判定；所述生成损失函数为：
Lfinal＝Lcon+λ1Ladv+λ2LCX；
其中，Lfinal为生成损失；Ladv为对抗损失；Lcon为内容损失；LCX为上下文损失；λ1为对抗系数；λ2为上下文系数。
5.根据权利要求4所述的基于对抗生成网络的图像修复方法，其特征在于，所述对抗损失通过对抗损失函数得到，所述对抗函数为：
Figure FDA0002478300060000011
其中，Ladv为对抗损失；D(x)是样本概率；x是真实样本或生成样本；E(*)是分布函数的期望值；G(*)是对抗性损失函数。
6.根据权利要求4所述的基于对抗生成网络的图像修复方法，其特征在于，所述内容损失通过内容损失函数得到，所述内容损失函数为：
Figure FDA0002478300060000021
其中，Lcon为内容损失；E(*)是分布函数的期望值；G(*)是对抗性损失函数；⊙是两个矩阵的对应元素相乘；M是图像掩膜。
7.根据权利要求4所述的基于对抗生成网络的图像修复方法，其特征在于，所述上下文损失通过上下文损失函数得到，所述上下文损失函数为：
Figure FDA0002478300060000022
其中，LCX为上下文损失；E(*)是分布函数的期望值；G(*)是对抗性损失函数；CX(*)是计算相似度的函数；Φ是VGG16网络。
8.根据权利要求3所述的基于对抗生成网络的图像修复方法，其特征在于，所述判别网络包括全局判别网络、局部判别网络和判别全连接层；所述全局判别网络和所述局部判别网络分别与所述判别全连接层连接；所述判别SE-RestNet网络包括全局判别SE-RestNet网络和局部判别SE-RestNet网络；
所述全局判别SE-RestNet网络内嵌在所述全局判别网络中；所述局部判别SE-RestNet网络内嵌在所述局部判别网络中。
9.根据权利要求8所述的基于对抗生成网络的图像修复方法，其特征在于，所述步骤S23中，所述判别网络在判别所述修复图像的真假过程中，具体包括：
S231、将所述训练修复图像处理得到全局判别图和局部判别图；
S232、所述全局判别网络对所述全局判别图进行处理，得到全局判别向量；所述局部判别网络对所述局部判别图进行处理，得到局部判别向量；
S233、所述判别全连接层接收所述全局判别向量与所述局部判别向量，合成得到判别向量，对所述判别向量使用sigmoid函数判定真假。
10.根据权利要求8所述的基于对抗生成网络的图像修复方法，其特征在于，所述局部判别图包括图像掩膜区域修复后的图像和图像掩膜区域周边部分图像。
CN202010371025.8A 2020-05-06 2020-05-06 一种基于对抗生成网络的图像修复方法 Active CN111612708B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010371025.8A CN111612708B (zh) 2020-05-06 2020-05-06 一种基于对抗生成网络的图像修复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010371025.8A CN111612708B (zh) 2020-05-06 2020-05-06 一种基于对抗生成网络的图像修复方法

Publications (2)

Publication Number Publication Date
CN111612708A true CN111612708A (zh) 2020-09-01
CN111612708B CN111612708B (zh) 2023-05-12

Family

ID=72201797

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010371025.8A Active CN111612708B (zh) 2020-05-06 2020-05-06 一种基于对抗生成网络的图像修复方法

Country Status (1)

Country Link
CN (1) CN111612708B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112270651A (zh) * 2020-10-15 2021-01-26 西安工程大学 一种基于多尺度判别生成对抗网络的图像修复方法
CN112686996A (zh) * 2020-12-28 2021-04-20 北京像素软件科技股份有限公司 游戏山脉地形创建方法、模型训练方法及相关装置
CN113689360A (zh) * 2021-09-30 2021-11-23 合肥工业大学 一种基于生成对抗网络的图像修复方法
CN113763268A (zh) * 2021-08-26 2021-12-07 中国科学院自动化研究所 人脸图像盲修复方法及系统
CN114743074A (zh) * 2022-06-13 2022-07-12 浙江华是科技股份有限公司 一种基于强弱对抗训练的船舶检测模型训练方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109102014A (zh) * 2018-08-01 2018-12-28 中国海洋大学 基于深度卷积神经网络的类别不平衡的图像分类方法
WO2019157228A1 (en) * 2018-02-09 2019-08-15 D-Wave Systems Inc. Systems and methods for training generative machine learning models

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019157228A1 (en) * 2018-02-09 2019-08-15 D-Wave Systems Inc. Systems and methods for training generative machine learning models
CN109102014A (zh) * 2018-08-01 2018-12-28 中国海洋大学 基于深度卷积神经网络的类别不平衡的图像分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
江宗康;吕晓钢;张建新;张强;魏小鹏;: "MRI脑肿瘤图像分割的深度学习方法综述" *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112270651A (zh) * 2020-10-15 2021-01-26 西安工程大学 一种基于多尺度判别生成对抗网络的图像修复方法
CN112270651B (zh) * 2020-10-15 2023-12-15 西安工程大学 一种基于多尺度判别生成对抗网络的图像修复方法
CN112686996A (zh) * 2020-12-28 2021-04-20 北京像素软件科技股份有限公司 游戏山脉地形创建方法、模型训练方法及相关装置
CN113763268A (zh) * 2021-08-26 2021-12-07 中国科学院自动化研究所 人脸图像盲修复方法及系统
CN113689360A (zh) * 2021-09-30 2021-11-23 合肥工业大学 一种基于生成对抗网络的图像修复方法
CN113689360B (zh) * 2021-09-30 2024-02-20 合肥工业大学 一种基于生成对抗网络的图像修复方法
CN114743074A (zh) * 2022-06-13 2022-07-12 浙江华是科技股份有限公司 一种基于强弱对抗训练的船舶检测模型训练方法及系统
CN114743074B (zh) * 2022-06-13 2022-09-09 浙江华是科技股份有限公司 一种基于强弱对抗训练的船舶检测模型训练方法及系统

Also Published As

Publication number Publication date
CN111612708B (zh) 2023-05-12

Similar Documents

Publication Publication Date Title
CN111612708B (zh) 一种基于对抗生成网络的图像修复方法
CN108520503B (zh) 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法
CN111292265A (zh) 一种基于生成式对抗神经网络的图像修复方法
CN111787187B (zh) 利用深度卷积神经网络进行视频修复的方法、系统、终端
CN110689599A (zh) 基于非局部增强的生成对抗网络的3d视觉显著性预测方法
CN113450290B (zh) 基于图像修补技术的低照度图像增强方法及系统
CN112241939B (zh) 一种基于多尺度和非局部的轻量去雨方法
CN115018727A (zh) 一种多尺度图像修复方法、存储介质及终端
CN114972134A (zh) 一种提取并融合局部和全局特征的低光图像增强方法
CN112488935A (zh) 基于纹理约束和泊松融合的生成对抗指静脉图像修复方法
Zhao et al. Detecting deepfake video by learning two-level features with two-stream convolutional neural network
CN114897742A (zh) 一种纹理和结构特征两次融合的图像修复方法
Zheng et al. T-net: Deep stacked scale-iteration network for image dehazing
CN116152061A (zh) 一种基于模糊核估计的超分辨率重建方法
Tang et al. AutoEnhancer: Transformer on U-Net architecture search for underwater image enhancement
CN112686822B (zh) 一种基于堆叠生成对抗网络的图像补全方法
CN112348762A (zh) 一种基于多尺度融合生成对抗网络的单幅图像去雨方法
CN115965844B (zh) 基于视觉显著性先验知识的多聚焦图像融合方法
CN116681621A (zh) 一种基于特征融合及复用的人脸图像修复方法
CN116051407A (zh) 一种图像修复方法
CN115937121A (zh) 基于多维度特征融合的无参考图像质量评价方法及系统
CN113205503B (zh) 一种卫星海岸带影像质量评价方法
CN114549302A (zh) 一种图像超分辨率重建方法及系统
CN114897768A (zh) 一种基于语义细化的空间金字塔人群计数方法
Wu et al. Semantic image inpainting based on generative adversarial networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant