CN110060216A - 一种基于生成对抗网络的图像修复方法、装置以及设备 - Google Patents

一种基于生成对抗网络的图像修复方法、装置以及设备 Download PDF

Info

Publication number
CN110060216A
CN110060216A CN201910308640.1A CN201910308640A CN110060216A CN 110060216 A CN110060216 A CN 110060216A CN 201910308640 A CN201910308640 A CN 201910308640A CN 110060216 A CN110060216 A CN 110060216A
Authority
CN
China
Prior art keywords
image
target
network
repaired
confrontation network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910308640.1A
Other languages
English (en)
Inventor
范宝杰
原玲
徐幼祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN201910308640.1A priority Critical patent/CN110060216A/zh
Publication of CN110060216A publication Critical patent/CN110060216A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于生成对抗网络的图像修复方法、装置、设备以及计算机可读存储介质，包括：采集与待修复图像类别相同的图像数据集，对所述图像数据集中的图像进行尺度归一化、下采样、增加预设百分比噪声和上采样处理后，得到所述图像数据集中的图像的目标受损图像；利用所述目标受损图像对预先构建的生成式对抗网络进行训练，得到训练完成的目标生成式对抗网络；对所述待修复图像进行上采样处理后，输入至所述目标式成对抗网络中的目标生成网络中，得到所述待修复图像完整的超分率图像。本发明方法、装置、设备以及计算机可读存储介质，提高了图像修复结果的分辨率。

Description

一种基于生成对抗网络的图像修复方法、装置以及设备
技术领域
本发明涉及图像处理技术领域，特别是涉及一种基于生成对抗网络的图像修复方法、装置、设备以及计算机可读存储技术。
背景技术
现有的图像修复技术只在原分辨率的基础上用合理的合成内容填充图像中的缺失或掩蔽区域，使得完成的图像在视觉效果上是真实的，所采用的方法大多是根据相同图像的已知区域的块来合成原图像。
如图1所示，现有的一种人脸图像修复方法，包括：步骤A：搜集含有人脸的图像，截取每张图像中的人脸部分，并进行尺度归一化处理，生成k×k像素的人脸图像，从而建立一个人脸图像数据库，其中k取正整数；步骤B：构建一种生成式对抗网络；步骤C：以人脸图像数据库中的人脸图像作为训练样本，对生成式对抗网络进行训练，以优化生成式对抗网络中生成器和鉴别器的参数；步骤D：将服从正态分布的随机向量输入到步骤C中已训练好的生成器，生成人脸图像，将待修复人脸图像的完好无损区域与生成图像的相应区域进行对比，不断调整输入向量，直至两者相似，最终将待修复的人脸图像中被遮挡或损坏区域的像素值用生成人脸图像的对应区域的像素值来替换。
现有技术得到的图像修复结果分辨率较低，在图像块衔接部分效果不是特别理想，在细节方面的处理更加不尽人意。且当训练集源图像不包含足够的数据来修复受损区域时，修复效果可能极差。
综上所述可以看出，如何提高图像修复结果的分辨率是目前有待解决的问题。
发明内容
本发明的目的是提供一种基于生成对抗网络的图像修复方法、装置、设备以及计算机可读存储介质，以解决现有技术中图像修复结果分辨率较低的问题。
为解决上述技术问题，本发明提供一种基于生成对抗网络的图像修复方法，包括：采集与待修复图像类别相同的图像数据集，对所述图像数据集中的图像进行尺度归一化、下采样、增加预设百分比噪声和上采样处理后，得到所述图像数据集中的图像的目标受损图像；利用所述目标受损图像对预先构建的生成式对抗网络进行训练，得到训练完成的目标生成式对抗网络；对所述待修复图像进行上采样处理后，输入至所述目标式成对抗网络中的目标生成网络中，得到所述待修复图像完整的超分率图像。
优选地，所述采集与待修复图像类别相同的图像数据集，对所述图像数据集中的图像进行尺度归一化、下采样、增加预设百分比噪声和上采样处理后，得到所述图像数据集中的图像的目标受损图像包括：
对所述图像数据集中的图像进行尺度归一化处理，生成大小为k×k的原始图像；
对所述原始图像进行下采样和增加预设百分比噪声的处理后，得到所述原始图像对应的低分辨率的初始受损图像；
对所述初始受损图像进行上采样处理后，得到大小为k×k的目标受损图像。
优选地，所述利用所述目标受损图像对预先构建的生成式对抗网络进行训练，得到训练完成的目标生成式对抗网络包括：
将所述目标受损图像输入至所述生成式对抗网络的生成网络中，对所述目标受损图像进行修复，得到大小为k×k的重建图像；
将所述重建图像和所述原始图像输入至所述生成式对抗网络的判决器中，判断所述重建图像和所述原始图像是否同分布，得到梯度信息；
所述判决器将所述梯度信息反馈至所述生成网络，实现对所述生成式对抗网络的训练，直至所述生成网络的译码器端生成的目标重建图像和所述图像数据集中的目标原始图像同分布，得到完成训练的目标生成式对抗网络。
优选地，所述对所述待修复图像进行上采样处理后，输入至所述目标式成对抗网络中的目标生成网络中，得到所述待修复图像完整的超分率图像包括：
对所述待修复图像进行上采样处理后，得到大小为k×k的目标修复图像；
将所述目标修复图像输入所述目标生成网络的编码器端，经过所述目标生成网络的编码器和译码器的处理后，由所述目标生成网络的译码器端输出所述待修复图像对应的完整的超分率图像；
其中，所述编码器包括三个卷积层和一个全连接层，所述译码器包括一个全连接层和三个反卷积层。
优选地，所述生成式对抗网络的损失函数为：
其中，为所述生成网络输出所述重建图像与所述原始图像的重建损失；LD＝-Ex～Pdata[logD(x)]-Ex～Pdata[log1-D(G(x))]为判决器的损失； 所述生成网络的损失；Pdata(x)为所述原始图像，G(x)为所述重建图像，D(G(x))为将所述重建图像输入至所述判决器，D(x)为将所述原始图像输入所述判决器。
本发明还提供了一种基于生成对抗网络的图像修复装置，包括：
处理模块，用于采集与待修复图像类别相同的图像数据集，对所述图像数据集中的图像进行尺度归一化、下采样、增加预设百分比噪声和上采样处理后，得到所述图像数据集中的图像的目标受损图像；
训练模块，用于利用所述目标受损图像对预先构建的生成式对抗网络进行训练，得到训练完成的目标生成式对抗网络；
修复模块，用于对所述待修复图像进行上采样处理后，输入至所述目标式成对抗网络中的目标生成网络中，得到所述待修复图像完整的超分率图像。
优选地，所述处理模块包括：
第一处理单元，用于对所述图像数据集中的图像进行尺度归一化处理，生成大小为k×k的原始图像；
第二处理单元，用于对所述原始图像进行下采样和增加预设百分比噪声的处理后，得到所述原始图像对应的低分辨率的初始受损图像；
第三处理单元，用于对所述初始受损图像进行上采样处理后，得到大小为k×k的目标受损图像。
优选地，所述训练模块包括：
重建单元，用于将所述目标受损图像输入至所述生成式对抗网络的生成网络中，对所述目标受损图像进行修复，得到大小为k×k的重建图像；
判决单元，用于将所述重建图像和所述原始图像输入至所述生成式对抗网络的判决器中，判断所述重建图像和所述原始图像是否同分布，得到梯度信息；
反馈训练单元，用于所述判决器将所述梯度信息反馈至所述生成网络，实现对所述生成式对抗网络的训练，直至所述生成网络的译码器端生成的目标重建图像和所述图像数据集中的目标原始图像同分布，得到完成训练的目标生成式对抗网络。
本发明还提供了一种基于生成对抗网络的图像修复设备，包括：
存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现上述一种基于生成对抗网络的图像修复方法的步骤。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种基于生成对抗网络的图像修复方法的步骤。
本发明所提供的基于生成式对抗网络的图像修复方法，采集与所述待修复图像类型相同的图像数据集，对所述图像数据集中的图像进行尺度归一化、下采样、增加预设百分比噪声和上采样处理后，得到目标受损图像。利用所述目标受损图像对预先构建的生成式对抗网络进行训练，得到训练完成的目标生成式对抗网络。对所述待修复图像进行上采样处理后输入至所述目标生成式对抗网络的目标生成网络中，得到所述待修复图像完整的超分辨率图像。本发明所提供的图像修复方法，在所述图像数据集中的图像上增加了预设百分比的噪声，得到目标受损图像。利用所述目标受损图像对新型的生成式对抗网络进行训练。经过预先构建的生成式对抗网络，将低分辨率图像集卷积后的高维特征作为输入，相对于现有技术中以随机噪声作为输入，保留了原图像重要的特征信息且生成效果更加自然。对所述生成式对抗网络进行训练完成后，将所述待修复图像输入生成器中即可输出完整的超分辨率图像。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为现有技术所提供的图像修复方法的流程图；
图2为本发明所提供的基于生成对抗网络的图像修复方法的第一种具体实施例的流程图；
图3为本发明所提供的生成式对抗网络的结构图；
图4为边界平衡生成式对抗网络的网络架构图；
图5为现有技术中生成式对抗网络的结构图；
图6为本发明所提供的基于生成对抗网络的图像修复方法的第二种具体实施例的流程图；
图7为本发明实施例提供的一种基于生成对抗网络的图像修复装置的结构框图。
具体实施方式
本发明的核心是提供一种基于生成对抗网络的图像修复的方法、装置、设备以及计算机可读存储介质，提高了图像修复结果的分辨率。
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图2，图2为本发明所提供的基于生成对抗网络的图像修复方法的第一种具体实施例的流程图；具体操作步骤如下：
步骤S201：采集与待修复图像类别相同的图像数据集，对所述图像数据集中的图像进行尺度归一化、下采样、增加预设百分比噪声和上采样处理后，得到所述图像数据集中的图像的目标受损图像；
在本实施例中，首先判断所述待修复图像的类别，然后采集与所述待修复图像的类别相同的图像数据集；例如若所述待修复图像为人脸图像，则需要采集人脸数据集；若所述待修复图像为风景图像，则需要采集风景数据集。
对所述图像数据集中的图像进行尺度归一化处理，生成大小为k×k的原始图像；对所述原始图像进行下采样和增加预设百分比(例如:20％、30％等)噪声的处理后，得到所述原始图像对应的低分辨率的初始受损图像；对所述初始受损图像进行上采样处理后，得到大小为k×k的目标受损图像。
步骤S202：利用所述目标受损图像对预先构建的生成式对抗网络进行训练，得到训练完成的目标生成式对抗网络；
利用所述目标受损图像对预先构建的一种特定的生成式对抗网络进行训练，所述生成式对抗网络结构如图3所示。将所述目标受损图像输入至所述生成式对抗网络的生成网络中，对所述目标受损图像进行修复，得到大小为k×k的重建图像；将所述重建图像和所述原始图像输入至所述生成式对抗网络的判决器中，判断所述重建图像和所述原始图像是否同分布，得到梯度信息；所述判决器将所述梯度信息反馈至所述生成网络，实现对所述生成式对抗网络的训练，优化所述生成式对抗网络中的参数，直至所述生成网络的译码器端生成的目标重建图像和所述图像数据集中的目标原始图像同分布，得到完成训练的目标生成式对抗网络。
本发明所提供的生成式对抗网络架构参考了BEGAN(边界平衡生成式对抗网络)的网络架构，如图4所示。所述生成式对抗网络采用的3×3卷积核，每层输出端采用Relu激活函数，根据设置卷积步幅的大小完成下采样，上采样由上池化和反卷积构成，具体参数根据实际需求而设计。
所述生成式对抗网络的损失函数设置为：
其中，为所述生成网络输出所述重建图像与所述原始图像的重建损失；LD＝-Ex～Pdata[logD(x)]-Ex～Pdata[log1-D(G(x))]为判决器的损失； 所述生成网络的损失；Pdata(x)为所述原始图像，G(x)为所述重建图像，D(G(x))为将所述重建图像输入至所述判决器，D(x)为将所述原始图像输入所述判决器。
步骤S203：对所述待修复图像进行上采样处理后，输入至所述目标式成对抗网络中的目标生成网络中，得到所述待修复图像完整的超分率图像。
对所述待修复图像进行上采样处理后，得到大小为k×k的目标修复图像；将所述目标修复图像输入所述目标生成网络的编码器端，经过所述目标生成网络的编码器和译码器的处理后，由所述目标生成网络的译码器端输出所述待修复图像对应的完整的超分率图像。
如图5所示，现有技术中的生成对抗网络是以随机噪声作为输入生成逼真图像，生成器不断地生成图像，判决器判断生成图像是否与原始图像同分布。而本实施例所提供的方法是以待修复图像卷积后的高维特征作为输入，训练原理相同，但保留了原图像的重要信息且生成效果更加自然，训练完成后，通过将受损图像送入生成器中即可输出完整的超分辨率图像。本实施例所提供的图像修复的方法克服了传统图像修复技术待修复部分的高要求、修复纹理重复简单、分辨率低等缺点，引入先进的生成式对抗网络概念，实现图像的修复。
基于上述实施例，在本实施例中，可以向所述图像数据集中的图像上增加30％的噪声。且所述目标生成网络中的编码器包括三个卷积层和一个全连接层，所述译码器包括一个全连接层和三个反卷积层、请参考图6，图6为本发明所提供的基于生成对抗网络的图像修复方法的第二种具体实施例的流程图；具体操作步骤如下：
步骤S601：判断待修复图像类型，若所述待修复图像为人脸图像，则采集人脸数据集；
步骤S602：对所述人脸数据集中的图像进行尺度化归一化处理后，生成大小为k×k的原始图像；
步骤S603：对所述原始图像进行下采集处理以及增加30％的噪声处理后，得到所述原始图像对应的低分辨率的初始受损图像；
步骤S604：对所述初始受损图像进行上采样处理后，得到大小为k×k的目标受损图像；
步骤S605：将所述目标受损图像输入至所述生成式对抗网络的生成网络中，对所述目标受损图像进行修复，得到大小为k×k的重建图像；
步骤S606：将所述重建图像和所述原始图像输入至所述生成式对抗网络的判决器中，判断所述重建图像和所述原始图像是否同分布；
步骤S607：若所述重建图像和所述原始图像同分布，则完成对所述生成式对抗网络的训练，得到目标生成式对抗网络；
步骤S608：对所述待修复图像进行上采样处理后，得到大小为k×k的目标待修复图像；
步骤S609：将所述目标待修复输入所述目标生成式对抗网络的目标生成网络中，经过所述目标生成网络中的编码器和译码器的处理后，得到所述待修复图像完整的超分辨率图像。
本发明实施例设计了一种可以修复受损图像并生成其超分辨率完整图像的方法，所述方法直接基于神经网络生成缺失区域的内容，确保细节连贯性和局部全局内容的一致性，在训练数据中丢失区域的数据不足时，即现有技术无法找到合理的图像块修复受损图像时，本实施所提供的方法可以生成最相似的缺失区域。且现有技术中所提供的图像修复方法只能修复一种类型的图像，而本实施例所提供的方法更加完善，针对人脸图像，对风景、建筑等等都有很好的效果，生成的纹理更加自然，修复结果更加自然，能得到更令人满意的结果，不同于以往的修复方法。且本实施例中训练好的生成式对抗网络的框架可以针对同一分类的图像重复使用，更加便捷。
请参考图7，图7为本发明实施例提供的一种基于生成对抗网络的图像修复装置的结构框图；具体装置可以包括：
处理模块100，用于采集与待修复图像类别相同的图像数据集，对所述图像数据集中的图像进行尺度归一化、下采样、增加预设百分比噪声和上采样处理后，得到所述图像数据集中的图像的目标受损图像；
训练模块200，用于利用所述目标受损图像对预先构建的生成式对抗网络进行训练，得到训练完成的目标生成式对抗网络；
修复模块300，用于对所述待修复图像进行上采样处理后，输入至所述目标式成对抗网络中的目标生成网络中，得到所述待修复图像完整的超分率图像。
本实施例的基于生成对抗网络的图像修复装置用于实现前述的基于生成对抗网络的图像修复方法，因此基于生成对抗网络的图像修复装置中的具体实施方式可见前文中的基于生成对抗网络的图像修复方法的实施例部分，例如，处理模块100，训练模块200，修复模块300，分别用于实现上述基于生成对抗网络的图像修复方法中步骤S101，S102和S103，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。
本发明具体实施例还提供了一种基于生成对抗网络的图像修复设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现上述一种基于生成对抗网络的图像修复方法的步骤。
本发明具体实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种基于生成对抗网络的图像修复方法的步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的基于生成对抗网络的图像修复方法、装置、设备以及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种基于生成对抗网络的图像修复方法，其特征在于，包括：
采集与待修复图像类别相同的图像数据集，对所述图像数据集中的图像进行尺度归一化、下采样、增加预设百分比噪声和上采样处理后，得到所述图像数据集中的图像的目标受损图像；
利用所述目标受损图像对预先构建的生成式对抗网络进行训练，得到训练完成的目标生成式对抗网络；
对所述待修复图像进行上采样处理后，输入至所述目标式成对抗网络中的目标生成网络中，得到所述待修复图像完整的超分率图像。
2.如权利要求1所述的图像修复方法，其特征在于，所述采集与待修复图像类别相同的图像数据集，对所述图像数据集中的图像进行尺度归一化、下采样、增加预设百分比噪声和上采样处理后，得到所述图像数据集中的图像的目标受损图像包括：
对所述图像数据集中的图像进行尺度归一化处理，生成大小为k×k的原始图像；
对所述原始图像进行下采样和增加预设百分比噪声的处理后，得到所述原始图像对应的低分辨率的初始受损图像；
对所述初始受损图像进行上采样处理后，得到大小为k×k的目标受损图像。
3.如权利要求2所述的图像修复方法，其特征在于，所述利用所述目标受损图像对预先构建的生成式对抗网络进行训练，得到训练完成的目标生成式对抗网络包括：
将所述目标受损图像输入至所述生成式对抗网络的生成网络中，对所述目标受损图像进行修复，得到大小为k×k的重建图像；
将所述重建图像和所述原始图像输入至所述生成式对抗网络的判决器中，判断所述重建图像和所述原始图像是否同分布，得到梯度信息；
所述判决器将所述梯度信息反馈至所述生成网络，实现对所述生成式对抗网络的训练，直至所述生成网络的译码器端生成的目标重建图像和所述图像数据集中的目标原始图像同分布，得到完成训练的目标生成式对抗网络。
4.如权利要求3所述的图像修复方法，其特征在于，所述对所述待修复图像进行上采样处理后，输入至所述目标式成对抗网络中的目标生成网络中，得到所述待修复图像完整的超分率图像包括：
对所述待修复图像进行上采样处理后，得到大小为k×k的目标修复图像；
将所述目标修复图像输入所述目标生成网络的编码器端，经过所述目标生成网络的编码器和译码器的处理后，由所述目标生成网络的译码器端输出所述待修复图像对应的完整的超分率图像；
其中，所述编码器包括三个卷积层和一个全连接层，所述译码器包括一个全连接层和三个反卷积层。
5.如权利要求4所述的图像修复方法，其特征在于，所述生成式对抗网络的损失函数为：
其中，为所述生成网络输出所述重建图像与所述原始图像的重建损失；LD＝-Ex～Pdata[logD(x)]-Ex～Pdata[log1-D(G(x))]为判决器的损失； 所述生成网络的损失；Pdata(x)为所述原始图像，G(x)为所述重建图像，D(G(x))为将所述重建图像输入至所述判决器，D(x)为将所述原始图像输入所述判决器。
6.一种基于生成对抗网络的图像修复装置，其特征在于，包括：
处理模块，用于采集与待修复图像类别相同的图像数据集，对所述图像数据集中的图像进行尺度归一化、下采样、增加预设百分比噪声和上采样处理后，得到所述图像数据集中的图像的目标受损图像；
训练模块，用于利用所述目标受损图像对预先构建的生成式对抗网络进行训练，得到训练完成的目标生成式对抗网络；
修复模块，用于对所述待修复图像进行上采样处理后，输入至所述目标式成对抗网络中的目标生成网络中，得到所述待修复图像完整的超分率图像。
7.如权利要求6所述的图像修复装置，其特征在于，所述处理模块包括：
第一处理单元，用于对所述图像数据集中的图像进行尺度归一化处理，生成大小为k×k的原始图像；
第二处理单元，用于对所述原始图像进行下采样和增加预设百分比噪声的处理后，得到所述原始图像对应的低分辨率的初始受损图像；
第三处理单元，用于对所述初始受损图像进行上采样处理后，得到大小为k×k的目标受损图像。
8.如权利要求6所述的图像修复装置，其特征在于，所述训练模块包括：
重建单元，用于将所述目标受损图像输入至所述生成式对抗网络的生成网络中，对所述目标受损图像进行修复，得到大小为k×k的重建图像；
判决单元，用于将所述重建图像和所述原始图像输入至所述生成式对抗网络的判决器中，判断所述重建图像和所述原始图像是否同分布，得到梯度信息；
反馈训练单元，用于所述判决器将所述梯度信息反馈至所述生成网络，实现对所述生成式对抗网络的训练，直至所述生成网络的译码器端生成的目标重建图像和所述图像数据集中的目标原始图像同分布，得到完成训练的目标生成式对抗网络。
9.一种基于生成对抗网络的图像修复设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至5任一项所述一种基于生成对抗网络的图像修复方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述一种基于生成对抗网络的图像修复方法的步骤。
CN201910308640.1A 2019-04-17 2019-04-17 一种基于生成对抗网络的图像修复方法、装置以及设备 Pending CN110060216A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910308640.1A CN110060216A (zh) 2019-04-17 2019-04-17 一种基于生成对抗网络的图像修复方法、装置以及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910308640.1A CN110060216A (zh) 2019-04-17 2019-04-17 一种基于生成对抗网络的图像修复方法、装置以及设备

Publications (1)

Publication Number Publication Date
CN110060216A true CN110060216A (zh) 2019-07-26

Family

ID=67319336

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910308640.1A Pending CN110060216A (zh) 2019-04-17 2019-04-17 一种基于生成对抗网络的图像修复方法、装置以及设备

Country Status (1)

Country Link
CN (1) CN110060216A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111031239A (zh) * 2019-12-05 2020-04-17 Oppo广东移动通信有限公司 图像处理方法及其装置、电子设备和计算机可读存储介质
CN111080540A (zh) * 2019-12-05 2020-04-28 深圳大学 一种图像修复模型的训练方法和计算机设备
CN111353956A (zh) * 2020-02-28 2020-06-30 Oppo广东移动通信有限公司 图像修复方法、装置、计算机设备及存储介质
CN111429379A (zh) * 2020-04-01 2020-07-17 山东大学 一种基于自监督学习的低剂量ct图像去噪方法及系统
CN112119408A (zh) * 2019-08-29 2020-12-22 深圳市大疆创新科技有限公司 获取画质增强网络的方法、图像画质增强方法、装置、可移动平台、相机及存储介质
US20210080400A1 (en) * 2019-09-12 2021-03-18 Aisin Seiki Kabushiki Kaisha Image restoration apparatus, image restoration method, image restoration program, restorer generation apparatus, restorer generation method, restorer generation program, determiner generation apparatus, determiner generation method, determiner generation program, article determination apparatus, article determination method, and article determination program
CN113706392A (zh) * 2020-05-20 2021-11-26 Tcl科技集团股份有限公司 摩尔纹处理方法、计算机可读存储介质及终端设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107862293A (zh) * 2017-09-14 2018-03-30 北京航空航天大学 基于对抗生成网络的雷达生成彩色语义图像系统及方法
CN109146784A (zh) * 2018-07-27 2019-01-04 徐州工程学院 一种基于多尺度生成对抗网络的图像超分辨率重建方法
CN109146813A (zh) * 2018-08-16 2019-01-04 广州视源电子科技股份有限公司 一种多任务图像重建方法、装置、设备和介质
CN109377448A (zh) * 2018-05-20 2019-02-22 北京工业大学 一种基于生成对抗网络的人脸图像修复方法
CN109544555A (zh) * 2018-11-26 2019-03-29 陕西师范大学 基于生成式对抗网络的细小裂缝分割方法
CN109559287A (zh) * 2018-11-20 2019-04-02 北京工业大学 一种基于DenseNet生成对抗网络的语义图像修复方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107862293A (zh) * 2017-09-14 2018-03-30 北京航空航天大学 基于对抗生成网络的雷达生成彩色语义图像系统及方法
CN109377448A (zh) * 2018-05-20 2019-02-22 北京工业大学 一种基于生成对抗网络的人脸图像修复方法
CN109146784A (zh) * 2018-07-27 2019-01-04 徐州工程学院 一种基于多尺度生成对抗网络的图像超分辨率重建方法
CN109146813A (zh) * 2018-08-16 2019-01-04 广州视源电子科技股份有限公司 一种多任务图像重建方法、装置、设备和介质
CN109559287A (zh) * 2018-11-20 2019-04-02 北京工业大学 一种基于DenseNet生成对抗网络的语义图像修复方法
CN109544555A (zh) * 2018-11-26 2019-03-29 陕西师范大学 基于生成式对抗网络的细小裂缝分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
范宝杰 等: "基于余项机制生成对抗网络的图像修复方法", 《电视技术》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112119408A (zh) * 2019-08-29 2020-12-22 深圳市大疆创新科技有限公司 获取画质增强网络的方法、图像画质增强方法、装置、可移动平台、相机及存储介质
US20210080400A1 (en) * 2019-09-12 2021-03-18 Aisin Seiki Kabushiki Kaisha Image restoration apparatus, image restoration method, image restoration program, restorer generation apparatus, restorer generation method, restorer generation program, determiner generation apparatus, determiner generation method, determiner generation program, article determination apparatus, article determination method, and article determination program
US11815468B2 (en) * 2019-09-12 2023-11-14 Aisin Corporation Image restoration apparatus, image restoration method, image restoration program, restorer generation apparatus, restorer generation method, restorer generation program, determiner generation apparatus, determiner generation method, determiner generation program, article determination apparatus, article determination method, and article determination program
CN111031239A (zh) * 2019-12-05 2020-04-17 Oppo广东移动通信有限公司 图像处理方法及其装置、电子设备和计算机可读存储介质
CN111080540A (zh) * 2019-12-05 2020-04-28 深圳大学 一种图像修复模型的训练方法和计算机设备
CN111031239B (zh) * 2019-12-05 2021-06-18 Oppo广东移动通信有限公司 图像处理方法及其装置、电子设备和计算机可读存储介质
CN111080540B (zh) * 2019-12-05 2023-11-21 深圳大学 一种图像修复模型的训练方法和计算机设备
CN111353956A (zh) * 2020-02-28 2020-06-30 Oppo广东移动通信有限公司 图像修复方法、装置、计算机设备及存储介质
CN111353956B (zh) * 2020-02-28 2022-11-15 Oppo广东移动通信有限公司 图像修复方法、装置、计算机设备及存储介质
CN111429379A (zh) * 2020-04-01 2020-07-17 山东大学 一种基于自监督学习的低剂量ct图像去噪方法及系统
CN111429379B (zh) * 2020-04-01 2022-06-10 山东大学 一种基于自监督学习的低剂量ct图像去噪方法及系统
CN113706392A (zh) * 2020-05-20 2021-11-26 Tcl科技集团股份有限公司 摩尔纹处理方法、计算机可读存储介质及终端设备

Similar Documents

Publication Publication Date Title
CN110060216A (zh) 一种基于生成对抗网络的图像修复方法、装置以及设备
US20240037732A1 (en) Method for enhancing quality and resolution of ct images based on deep learning
CN110211045A (zh) 基于srgan网络的超分辨率人脸图像重建方法
CN101339670B (zh) 一种计算机辅助的三维颅面复原方法
CN110070540B (zh) 图像生成方法、装置、计算机设备及存储介质
CN108460746A (zh) 一种基于结构和纹理分层预测的图像修复方法
Li et al. Automatic skull defect restoration and cranial implant generation for cranioplasty
CN109409503A (zh) 神经网络的训练方法、图像转换方法、装置、设备及介质
CN114627006B (zh) 一种基于深度解耦网络的渐进式图像修复方法
CN108416821A (zh) 一种深度神经网络的ct图像超分辨重建方法
Que et al. Exposure measurement and fusion via adaptive multiscale edge-preserving smoothing
CN104680492B (zh) 基于样本结构一致性的图像修复方法
CN112221145B (zh) 游戏脸模生成方法及装置、存储介质及电子设备
CN107330854B (zh) 一种基于新型模板的图像超分辨率增强方法
CN108416803A (zh) 一种基于深度神经网络的多信息融合的场景深度恢复方法
CN106709898A (zh) 一种图像融合方法及装置
CN110349085A (zh) 一种基于生成对抗网络的单幅图像超分辨特征增强方法
Garcia-Cantero et al. NeurotessMesh: a tool for the generation and visualization of neuron meshes and adaptive on-the-fly refinement
CN107958472A (zh) 基于稀疏投影数据的pet成像方法、装置、设备及存储介质
Niu et al. Low-dimensional manifold-constrained disentanglement network for metal artifact reduction
Tian et al. A dual discriminator adversarial learning approach for dental occlusal surface reconstruction
CN113516604B (zh) 图像修复方法
CN113256657B (zh) 一种高效医学图像分割方法及系统、终端、介质
CN107507139A (zh) 基于Facet方向导数特征的样例双重稀疏图像修复方法
Liu et al. Facial image inpainting using multi-level generative network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190726

RJ01 Rejection of invention patent application after publication