CN109191402A - 基于对抗生成神经网络的图像修复方法和系统 - Google Patents
基于对抗生成神经网络的图像修复方法和系统 Download PDFInfo
- Publication number
- CN109191402A CN109191402A CN201811020507.8A CN201811020507A CN109191402A CN 109191402 A CN109191402 A CN 109191402A CN 201811020507 A CN201811020507 A CN 201811020507A CN 109191402 A CN109191402 A CN 109191402A
- Authority
- CN
- China
- Prior art keywords
- arbiter
- image
- encoder
- neural network
- coding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 97
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 76
- 230000008439 repair process Effects 0.000 title claims abstract description 72
- 238000012549 training Methods 0.000 claims abstract description 67
- 230000006870 function Effects 0.000 claims abstract description 48
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 35
- 238000012217 deletion Methods 0.000 claims abstract description 12
- 230000037430 deletion Effects 0.000 claims abstract description 12
- 230000004069 differentiation Effects 0.000 claims description 7
- 238000003475 lamination Methods 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000013461 design Methods 0.000 claims description 4
- 230000008901 benefit Effects 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 13
- 230000000694 effects Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 238000009792 diffusion process Methods 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000007792 addition Methods 0.000 description 2
- 238000013499 data model Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000001771 impaired effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000001938 protoplast Anatomy 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于对抗生成神经网络的图像修复方法和系统,包括首先构建一个自编码器卷积神经网络(包括编码器和编码判别器),一个解码器(生成器)卷积神经网络,一个判别器卷积神经网络,一个全局判别器,以及一个局部判别器;然后对这五个网络构造不同损失函数,并利用分步训练的方法对整个网络进行图像修复训练;最后,当网络训练完成以后,把缺损图像放入网络中进行修复,解码器(生成器)生成的结果图就为最终修复结果图。本发明的优点为:保持图像潜在约束的同时对图像进行稀疏化;实现了端到端的图像修复网络;消除了修复网络对于图像缺失位置掩膜信息的依赖;提升了在实际应用中的鲁棒性。
Description
技术领域
本发明属于计算机及信息服务技术,特别涉及对缺失的数字图像进行合理修复的方法和系统。
背景技术
随着信息时代的发展以及数字化设备的普及,数字图像作为图像数据记录和传递的载体,具有信息存储高效、表达直观以及易编辑等特点,为图像拍摄、存储、处理和通信中带来了前所未有的变革。数字图像已经广泛的存在于人们生活中,并且以惊人的速度增长。图像在拍摄、存储、处理和传输中往往会产生损坏或遮挡使得图像中存储的信息失去完整性,而图像信息中的像素点往往相互之前有很强的相关性,由此我们可以根据未被损坏或未被遮挡的图像信息尽可能的还原丢失的图像信息,这就是图像的修补技术。
作为图像处理技术的一种,图像修复技术旨在根据图像上下文对图像丢失或遮挡部分进行修补,修复任务要求修复后的图像整体尽可能自然并与原图尽可能地接近。通过图像修复技术,我们可以去除图像中的一些噪声、划痕、缺失以及遮挡,提高图像质量;并进一步通过图像先验信息,进一步挖掘图像隐含信息,为其他图像处理及计算机视觉方法提供支持。
图像修复技术的研究由来已久,近年来,作为数字图像处理重要的一个分支,图像修复技术的研究十分广泛,基于多种技术的图像修复方法被提出。最早的图像修补方法由Bertalmio等人引入到图像处理中,这种方法通过建立扩散传播模型迭代的传播已知图像区域的底层纹理信息到待修复的受损未知区域。通常扩散模型使用物理学中的热扩散方程,这些典型方法包括基于BSCB(Bertalmio Sapiro Caselles Ballester,BSCB)模型平滑传播方法、Chan-Shen等人提出的三阶PDE曲率驱动扩散方法、Ballester等人提出基于照度传播的方法以及Levin等人提出的基于局部特征直方图的全局图像统计。
在此之后出现了基于几何图像变分模型的图像修补技术,其模仿图像修补师手工修复图像的过程。首先建立图像的数据模型,获得图像先验信息,从而将图像修补问题装幻化为一个泛函求极值的过程。这种方法主要包括全变分模型、Eulers elastica模型、Mumford-Shah模型、Mumford-Shah-Euler模型等。以上这些经典的图像修复技术在平滑连续的小尺度破损图像上取得的了较好的效果,但是当破损区域较大的时候,破损区内丢失的信息结构繁多且复杂,单纯的扩散或图像数据模型难以描述,使得修复效果失真。故这些方法无法应用于大尺度破损的图像。
为了对大尺度的修复区域进行修复,Alexei Efros和Thomas Leung提出了纹理合成技术,这种方法首先根据图像纹理特征选取大小合适的纹理块,之后在这些区域中选择与带修补区域附近纹理最接近的纹理块与该纹理块合成。这种方法随后由Kwatra扩展为包含图像分割和纹理生成两部分的图像拼接修复技术,同时进一步引入图像能量优化来衡量纹理接近程度。
利用纹理来修复大块丢失信息图像的方法近几年来得到了深入的研究与改进,如Bertalmio等提出的最佳斑点搜索;Barnes等提出了高效的修补纹理匹配算法;尤其是Wexler和Simakov分别实现了基于全局和局部的优化,得以获得了更加一致的局部与全局修复。这些算法随后通过PatchMatch随机候选填充区域搜索算法加速,得到了接近实时的图像修复编辑。Darabi等人通过将图像梯度整合到合成纹理之间的距离度量中,得到了更好的图像修复效果。
与扩散传播模型方法和几何图像变分模型方法相比,非参数的纹理合成方法可以执行更加复杂的图像填充,可以填充图像中大范围的缺失,使得其在大尺度图像的修复中的表现获得较大的突破。但这种方法仅适用于具有底层特征规律的纹理图像,而无法对具有高层语义特征的目标图像,如人脸、车辆、动物等进行修复。而且当图像中不存在与破损区域相似的纹理或破损区域包含不同的纹理时,图像修复效果也大打折扣。同时,这些纹理区域往往在图像中充当背景或非重要的部分,而图像中的语义目标才是图像内容的主体,这大大限制了基于纹理合成的图像修复技术在实际中的应用。
为了解决修复结构化场景的大量缺失区域的问题,有一些方法使用图像结构指导(通常手动指定)的方法来保留重要的基础结构。这里的图像结构指导可以是指定感兴趣的点、线条和曲线,也可以是透视畸变。除此之外,一些自动估计场景结构的方法也被提出:贾佳亚等利用张量投票算法平滑地连接孔间曲线;Criminisi等利用基于结构的优先级来进行候选填充区域排序;Kopf等提出的基于瓦片的搜索空间限制;何凯明等提出的纹理数据集统计信息以及黄家斌等提出的平面表面的规律性。这些方法通过保留重要结构来提高图像完成质量。然而,这些图像结构指导是基于特定类型场景的启发式约束,因此仅限于特定结构。对于不同的图像需要设计不同的图像结果指导规则,无法普遍地应用于任意图像。
目前大多数基于候选填充区域的方法另一明显限制是合成纹理仅仅来自输入图像,当修复一个待修复的区域所需要的纹理在图像中无法找到时,就会产生修复困难的问题。由此Hays和Efros提出了一种使用大型图像数据库的图像完成图像修复的方法:他们首先搜索数据库中与输入最为相似的图像,然后通过从匹配图像中剪切相似的区域,并将其粘贴到待修复区域中来完成图像的修复。但是,这种方法的假设前提是数据库包含与输入图像相似的图像,但实际情况可能并非如此。在这种方法的基础上也延伸出了对于特定的任务,使用包含大量相似图像、甚至包括相同场景图像的数据库的方法。然而,与一般方法相比,需要数据库包含大量相似或相同场景的数据的前提极大地限制了其适用性。
随着基于神经网络的深度学习的发展,卷积神经网络凭借其对图像底层特征的理解以及图像高层语义特征的抽象能力,在图像分割、目标检测等任务中表现出了优异的结果,在诸多相关比赛中获取最佳成绩。因此卷积神经网络也被应用于图像修复:最初,基于卷积神经网络的图像修补方法仅限于非常小的遮挡区域的修复;同样的方法也被应用于MRI和PET缺失的数据的修复;而近期,杨等人也提出了一种基于CNN的图像修复优化方法。
而与此同时,Goodfellow等人提出的对抗生成神经网络(GenerativeAdversarial Net,GAN),通过向神经网络架构中引入二元博弈论的思想,让深度学习可以根据训练数据进行生成。而Alec Radford等提出的深度卷积对抗生成神经网络(DeepConvolutional Generative Adversarial Net)将对抗生成神经网络与卷积神经网络相结合,通过卷积神经网络作为生成模型来训练生成图像,通过另一个卷积神经网络作为判别器辅助训练,其用于区分图像是由网络产生还是真实的。训练发生器网络以欺骗鉴别器网络,同时鉴别器网络并行更新,通过不断的极大极小化博弈训练,最终可以生成非常接近于真实图像的生成图像。GAN的主要问题之一是学习过程中的不稳定性,Martin Arjovsky等通过对此理论研究改进了GAN得到Wasserstein GAN,解决了DCGAN训练过程中训练不稳定、生成样本的多样性、训练过程评估等诸多问题,使得DCGAN得到了进一步广泛的应用。
图像修复本质上是一个恢复输入图像稀疏信号的任务。可以通过求解一个稀疏线性方程组,将输入的损坏图像可以被修复。对于平滑或纹理区域来说,其相应的系数线性方程组可以很好的被构建和求解,但这就要求图像是高度结构化的。但对于高级语义特征来说,其纹理特征的分布是广泛且复杂的,难以通过手工来构造。
基于扩散模型的方法容易应用与小尺度区域的修复,但是无法应用与大尺度的区域修复;基于纹理合成和候选填充区域搜索的方法可以一定程度上对大尺度的背景纹理进行修复,但修复效果依赖于纹理库且无法对带有图像语义缺失的情况;基于深度学习的方法可以对图像语义进行修复,但生成图像质量无法与原图一致还需进行额外处理。
发明内容
基于扩散模型的方法容易应用于小尺度区域的修复,但是无法应用于大尺度的区域修复;基于纹理合成和候选填充区域搜索的方法可以一定程度上对大尺度的背景纹理进行修复,但修复效果依赖于纹理库且无法对带有图像语义缺失的情况进行修复;基于深度学习的方法可以对图像语义进行修复,但生成图像质量无法与原图一致,还需进行额外处理。本发明是为了克服上述现有技术的不足之处,提出MS-ResDGAN(Multi-Scale ResidualDilated Generator Adversarial Network)神经网络图像修复方法。本方法通过引入目标识别中的卷积神经网络(Convolutional Neural Network,CNN)来提取图像的高级语义特征,并使用变分自编码器(Variational Auto-Encoder,VAE)和生成神经网络(GenerativeAdversarial Net,GAN)的方法,实现图像修复的功能,对输入的受损的图像进行修复,达到了接近自然的效果。
本发明的技术方案为一种基于对抗生成神经网络的图像修复方法,包含以下步骤:
步骤1,设计一个自编码器卷积神经网络,包括用于对输入图像进行深度神经网络编码的编码器,以及用于对编码结果进行判别的编码判别器,编码器和编码判别器构成了一个局部的对抗生成神经网络;
步骤2,设计一个解码器(生成器)卷积神经网络,用于对自编码器编码后的编码进行解码;
步骤3,设计一个判别器卷积神经网络,包括一个对生成图像的整体质量进行全局判别的全局判别器,以及一个对生成图像部分内容质量进行局部判别的局部判别器,并通过全连接结构将两个判别器输出结果进行融合作为最终的结果;
步骤4,对编码器、解码器(生成器)、全局判别器和局部判别器,以及针对于图像修复任务额外的编码判别器这五个网络构造不同损失函数,并利用分步训练的方法对整个网络进行图像修复训练;
步骤5,当网络训练完成以后,把缺损图像放入网络中进行修复,解码器(生成器)生成的结果图就为最终修复结果图。
进一步的,步骤1中所述编码器的网络结构包括依次连接的6个卷积层和5个扩展卷积层;编码判别器的网络结构包括依次连接的3个卷积层和1个全连接层。
进一步的,步骤2中所述解码器(生成器)的网络结构包括依次连接的2个卷积层、1个反卷积层、1个卷积层,1个反卷积层和2个卷积层。
进一步的,步骤3中所述全局判别器的网络结构包括依次连接的6个卷积层和1个全连接层;所述局部判别器的网络结构包括6个卷积层和1个全连接层;全连接结构包括拼接层和全连接层。
进一步的,步骤4中构建的五个网络的损失函数如下,
首先定义U、V分别为总长度为n、m的矩阵,均方误差表示为:
根据对抗神经网络的基本理论,对抗生成神经网络中判别器的损失函数表示为:
对抗生成神经网络中生成器的损失函数表示为:
对于编码器来说其损失函数,主要包括自编码器结构的重建损失,编码损失以及编码器与编码器判别器构成的对抗生成神经网络的损失:
Lencoder=MSE(z,z′)+MSE(X,Y)+G(X′)
其中,X表示真实图像,X′表示输入的带有缺失的待修复图像;z表示X通过编码器编码后的结果,z′表示编码器对X′编码后的结果,Y表示输出后的修复图像;
相对应的编码判别器的损失函数只包括对抗生成神经网络的判别器损失函数:
Lcode-discriminator=D(X′)
对于解码器来说,其包含自编码器的重建损失以及对抗生成神经网络的生成器损失:
Lgenerator=MSE(X,Y)+G(z′)
对于全局判别器和局部判别器来说其损失函数是对应输入图像的损失函数,定义x为真实图像X中对应缺失位置的部分,y为修复图像Y中对应缺失位置的部分:
Lglobal-discriminator=D(X)+D(Y)
Llocal-discriminator=D(x)+D(y)。
进一步的,步骤4中利用分步训练的方法对整个网络进行图像修复训练的实现方式如下,1)以训练自编码器的方法,仅训练编码器与生成器;
2)固定编码器与生成器,训练判别器(编码判别器、局部判别器和全局判别器),训练的迭代次数是固定的,以使判别器的训练程度与生成器和编码器接近;
3)使用对抗生成神经网络的训练方法交替训练编码器、生成器和判别器。
本发明还提供一种基于对抗生成神经网络的图像修复系统,包括如下模块:
自编码器构建模块,用于设计一个自编码器卷积神经网络,包括用于对输入图像进行深度神经网络编码的编码器,以及用于对编码结果进行判别的编码判别器,编码器和编码判别器构成了一个局部的对抗生成神经网络;
解码器构建模块,用于设计一个解码器(生成器)卷积神经网络,对自编码器编码后的编码进行解码;
判别器构建模块,用于设计一个判别器卷积神经网络,包括一个对生成图像的整体质量进行全局判别的全局判别器,以及一个对生成图像部分内容质量进行局部判别的局部判别器,并通过全连接结构将两个判别器输出结果进行融合作为最终的结果;
图像修复训练模块,用于对编码器、解码器(生成器)、全局判别器和局部判别器,以及针对于图像修复任务额外的编码判别器这五个网络构造不同损失函数,并利用分步训练的方法对整个网络进行图像修复训练;
修复结构输出模块,用于将缺损图像放入训练完成的网络中进行修复,解码器(生成器)生成的结果图就为最终修复结果图。
进一步的,图像修复训练模块中构建的五个网络的损失函数如下,
首先定义U、V分别为总长度为n、m的矩阵,均方误差表示为:
根据对抗神经网络的基本理论,对抗生成神经网络中判别器的损失函数表示为:
对抗生成神经网络中生成器的损失函数表示为:
对于编码器来说其损失函数,主要包括自编码器结构的重建损失,编码损失以及编码器与编码器判别器构成的对抗生成神经网络的损失:
Lencoder=MSE(z,z′)+MSE(X,Y)+G(X′)
其中,X表示真实图像,X′表示输入的带有缺失的待修复图像;z表示X通过编码器编码后的结果,z′表示编码器对X′编码后的结果,Y表示输出后的修复图像;
相对应的编码判别器的损失函数只包括对抗生成神经网络的判别器损失函数:
Lcode-discriminator=D(X′)
对于解码器来说,其包含自编码器的重建损失以及对抗生成神经网络的生成器损失:
Lgenerator=MSE(X,Y)+G(z′)
对于全局判别器和局部判别器来说其损失函数是对应输入图像的损失函数,定义x为真实图像X中对应缺失位置的部分,y为修复图像Y中对应缺失位置的部分:
Lglobal-discriminator=D(X)+D(Y)
Llocal-discriminator=D(x)+D(y)。
进一步的,图像修复训练模块利用分步训练的方法对整个网络进行图像修复训练的实现方式如下,
1)以训练自编码器的方法,仅训练编码器与生成器;
2)固定编码器与生成器,训练判别器(编码判别器、局部判别器和全局判别器),训练的迭代次数是固定的,以使判别器的训练程度与生成器和编码器接近;
3)使用对抗生成神经网络的训练方法交替训练编码器、生成器和判别器。
与现有技术相比,本发明具有的优点和有益效果:
a)保持图像潜在约束的同时对图像进行稀疏化。
b)实现了端到端的图像修复网络。
c)消除了修复网络对于图像缺失位置掩膜信息的依赖。
d)提升了在实际应用中的鲁棒性。
附图说明
图1是本发明中使用的自编码器-对抗生成神经网络结构。
图2是本发明中使用的自编码器-对抗生成神经网络结构的简化图。
图3是实例效果图,其中左图为原图,中图为缺失图像,右图为修复结果图。
具体实施方式
本发明属于计算机及信息服务技术,特别涉及对缺失的数字图像进行合理修复的方法。本发明提出MS-ResDGAN神经网络图像修复方法,使得神经网络可以输出与原图质量接近的生成图像,实现了端到端的图像修复网络。网络结构如图1所示。
本发明可以使用计算机来进行网络的训练和推断,在Ubuntu操作系统下使用Tensorflow深度学习框架实现。具体的实验环境配置如下:
本实例以修复人脸图像为例。使用的数据以CELEBA人脸数据集为基础,该数据集是由香港中文大学标注公开的数据集,一共包含10177个知名人物的202599张人脸图像。我们通过在原人脸图像上添加遮挡作为输入的待修复的缺失图像,实现了遮挡数据集CELEBA-MASK的制作。
步骤1,设计一个自编码器卷积神经网络,包括用于对输入图像进行深度神经网络编码的编码器,以及用于对编码结果进行判别的编码判别器,编码器和编码判别器构成了一个局部的对抗生成神经网络,使得不论对于正常图像或是对于待修复图像都能生成接近的编码分布,实施例具体的实施过程说明如下:
使用TensorFlow框架搭建自编码器,这其中涉及到两个卷积神经网络:编码器和编码判别器(添加编码判别器是为了对得到的编码结果进行判别)。采用扩展卷积的方法构建卷积神经网络,一方面可以在保持神经网络参数数量不变的情况下,以指数形式增加神经网络的感受野;一方面又能在处理过程中保持特征图像的信息量,不会产生信息的损耗。引入残差网络的残差结构来进行跨层的信息传输,在保证卷积层和池化层的正常作用下大大减少了在神经网络进行图像修复过程所产生的信息丢失问题。
编码器结构表如下:
编码器层 | 激活函数 | 卷积核大小 | 通道数 | 步长 | 扩展率 |
卷积层h0 | LRELU | 5×5 | 64 | 1×1 | 1 |
卷积层h1 | LRELU | 3×3 | 128 | 2×2 | 1 |
卷积层h2 | LRELU | 3×3 | 128 | 1×1 | 1 |
卷积层h3 | LRELU | 3×3 | 256 | 2×2 | 1 |
卷积层h4 | LRELU | 3×3 | 256 | 1×1 | 1 |
卷积层h5 | LRELU | 3×3 | 256 | 1×1 | 1 |
扩展卷积层h6 | LRELU | 3×3 | 256 | 1×1 | 2 |
扩展卷积层h7 | LRELU | 3×3 | 256 | 1×1 | 5 |
扩展卷积层h8 | LRELU | 3×3 | 256 | 1×1 | 1 |
扩展卷积层h9 | LRELU | 3×3 | 512 | 1×1 | 2 |
扩展卷积层h10 | Liner | 3×3 | 512 | 1×1 | 5 |
编码判别器结构表如下:
步骤2,设计一个解码器(生成器)卷积神经网络,用于对自编码器编码后的编码进行解码;实施例具体的实施过程说明如下:
使用TensorFlow框架利用反卷积搭建解码器卷积神经网络,在减少通道数的同时增加特征图的尺寸,解码器同时也是对抗神经网络中的生成器。
解码器结构表如下:
解码器层数 | 激活函数 | 卷积核大小 | 通道数 | 步长 | 扩展率 |
卷积层h0 | LRELU | 3×3 | 512 | 1×1 | 1 |
卷积层h1 | LRELU | 3×3 | 256 | 1×1 | 1 |
反卷积层h2 | LRELU | 3×3 | 256 | 1×1 | 1 |
卷积层h3 | LRELU | 3×3 | 256 | 1×1 | 1 |
反卷积层h4 | LRELU | 3×3 | 128 | 1×1 | 1 |
卷积层h5 | LRELU | 3×3 | 64 | 1×1 | 1 |
卷积层h6 | Tanh | 3×3 | 3 | 1×1 | 1 |
步骤3,设置一个判别器卷积神经网络,包括一个对生成图像的整体质量进行全局判别的全局判别器,以及一个对生成图像部分内容质量进行局部判别的局部判别器,并通过全连接结构将两个判别器输出结果进行融合作为最终的结果,实施例具体的实施过程说明如下:
使用TensorFlow框架搭建判别器卷积神经网络,在判别器中主要包含了三个部分:全局判别器、局部判别器和局部判别器与全局判别器的全连接结构。
全局判别器结构表如下:
局部判别器结构表如下:
局部判别器与全局判别器的全连接结构如下:
连接层 | 激活函数 | 输出 |
拼接c0 | —— | 2048 |
全连接层h1 | Liner | 1 |
步骤4,构造不同损失函数,分步对整个网络进行图像修复训练,实施例具体的实施过程说明如下:
本实例的图像修复框架中,一共包括五个网络:编码器、解码器(生成器)、全局判别器以及针对于图像修复任务额外的编码判别器和局部判别器。所以在训练过程中一共需要构造五个损失函数。我们用X表示真实图像,X′表示输入的带有缺失的待修复图像;z表示X通过编码器编码后的结果,z′表示编码器对X′编码后的结果,Y表示输出后的修复图像。
首先定义U、V分别为总长度为n、m的矩阵,均方误差表示为:
根据对抗神经网络的基本理论,对抗生成神经网络中判别器的损失函数表示为:
对抗生成神经网络中生成器的损失函数表示为:
对于编码器来说其损失函数,主要包括自编码器结构的重建损失,编码损失以及编码器与编码器判别器构成的对抗生成神经网络的损失:
Lencoder=MSE(z,z′)+MSE(X,Y)+G(X′)
相对应的编码判别器的损失函数只包括对抗生成神经网络的判别器损失函数:
Lcode-discriminator=D(X′)
对于解码器来说,其包含自编码器的重建损失以及对抗生成神经网络的生成器损失:
Lgenerator=MSE(X,Y)+G(z′)
对于全局判别器和局部判别器来说其损失函数是对应输入图像的损失函数,定义x为真实图像X中对应缺失位置的部分,y为修复图像Y中对应缺失位置的部分:
Lglobal-discriminator=D(X)+D(Y)
Llocal-discriminator=D(x)+D(y)
为避免其中一个网络在训练过程中出现问题而对整个框架内的其他网络造成影响,导致训练失败的风险增大,所以在训练过程中我们使用分步训练算法,通过不同阶段对框架中的不同网络进行训练来约束网络的训练方法,使得减少训练不稳定的情况并加快收敛的速度。分布训练过程分为三个步骤:
1)以训练自编码器的方法,仅训练编码器与生成器。分别向编码器输入原图像和相对应的缺损图像,编码器会输出两者编码后的数据,使用梯度下降的方法不断调整编码器的参数,使得原图像和相对应的缺损图像经过编码器输出的数据差距不断减小,即将编码器的损失不断减小。将编码器输出的两者编码后的数据输入生成器,生成器会输出两者解码后的数据,使用梯度下降的方法不断调整生成器的参数,使得原图像和相对应的缺损图像经过生成器输出的数据差距不断减小,即将生成器的损失不断减小。
2)固定编码器与生成器,训练判别器(编码判别器、局部判别器和全局判别器),使判别器的训练程度与生成器和编码器接近。将上述训练好的生成器的输出结果和原始图像分别输入判别器,调整判别器的参数,使两者的输出差距不断变大,也就是要使判别器更好的分辨哪些是原始图像,哪些是生成图像。
3)使用对抗生成神经网络的训练方法训练编码器、生成器和判别器,每张图片训练30轮。首先,使用步骤1)训练好的生成器,采用步骤2)的方法训练判别器。然后,固定判别器的参数,用判别器产生的误差来更新生成器参数,使生成器生成的图像更加接近原始图像。重复这两个步骤,不断优化编码器、生成器和判别器。
步骤5,当网络训练完成以后,把缺损图像放入网络中进行修复,解码器(生成器)生成的结果图就为最终修复结果图。
本发明实施例还提供一种基于对抗生成神经网络的图像修复系统,包括如下模块:
自编码器构建模块,用于设计一个自编码器卷积神经网络,包括用于对输入图像进行深度神经网络编码的编码器,以及用于对编码结果进行判别的编码判别器,编码器和编码判别器构成了一个局部的对抗生成神经网络;
解码器构建模块,用于设计一个解码器(生成器)卷积神经网络,对自编码器编码后的编码进行解码;
判别器构建模块,用于设计一个判别器卷积神经网络,包括一个对生成图像的整体质量进行全局判别的全局判别器,以及一个对生成图像部分内容质量进行局部判别的局部判别器,并通过全连接结构将两个判别器输出结果进行融合作为最终的结果;
图像修复训练模块,用于对编码器、解码器(生成器)、全局判别器和局部判别器,以及针对于图像修复任务额外的编码判别器这五个网络构造不同损失函数,并利用分步训练的方法对整个网络进行图像修复训练;
修复结构输出模块,用于将缺损图像放入训练完成的网络中进行修复,解码器(生成器)生成的结果图就为最终修复结果图。
各模块的具体实现和各步骤相对应,本发明不予撰述。
本实例中原图、输入的缺失图像以及缺失图像的修复结果图如图3所示。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (9)
1.一种基于对抗生成神经网络的图像修复方法,其特征在于,包括以下步骤:
步骤1,设计一个自编码器卷积神经网络,包括用于对输入图像进行深度神经网络编码的编码器,以及用于对编码结果进行判别的编码判别器,编码器和编码判别器构成了一个局部的对抗生成神经网络;
步骤2,设计一个解码器(生成器)卷积神经网络,用于对自编码器编码后的编码进行解码;
步骤3,设计一个判别器卷积神经网络,包括一个对生成图像的整体质量进行全局判别的全局判别器,以及一个对生成图像部分内容质量进行局部判别的局部判别器,并通过全连接结构将两个判别器输出结果进行融合作为最终的结果;
步骤4,对编码器、解码器(生成器)、全局判别器和局部判别器,以及针对于图像修复任务额外的编码判别器这五个网络构造不同损失函数,并利用分步训练的方法对整个网络进行图像修复训练;
步骤5,当网络训练完成以后,把缺损图像放入网络中进行修复,解码器(生成器)生成的结果图就为最终修复结果图。
2.根据权利要求书1所述的一种基于对抗生成神经网络的图像修复方法,其特征在于:步骤1中所述编码器的网络结构包括依次连接的6个卷积层和5个扩展卷积层;编码判别器的网络结构包括依次连接的3个卷积层和1个全连接层。
3.根据权利要求书1所述的一种基于对抗生成神经网络的图像修复方法,其特征在于:步骤2中所述解码器(生成器)的网络结构包括依次连接的2个卷积层、1个反卷积层、1个卷积层,1个反卷积层和2个卷积层。
4.根据权利要求书1所述的一种基于对抗生成神经网络的图像修复方法,其特征在于:步骤3中所述全局判别器的网络结构包括依次连接的6个卷积层和1个全连接层;所述局部判别器的网络结构包括6个卷积层和1个全连接层;全连接结构包括拼接层和全连接层。
5.根据权利要求书1所述的一种基于对抗生成神经网络的图像修复方法,其特征在于:步骤4中构建的五个网络的损失函数如下,
首先定义U、V分别为总长度为n、m的矩阵,均方误差表示为:
根据对抗神经网络的基本理论,对抗生成神经网络中判别器的损失函数表示为:
对抗生成神经网络中生成器的损失函数表示为:
对于编码器来说其损失函数,主要包括自编码器结构的重建损失,编码损失以及编码器与编码器判别器构成的对抗生成神经网络的损失:
Lencoder=MSE(z,z′)+MSE(X,Y)+G(X′)
其中,X表示真实图像,X′表示输入的带有缺失的待修复图像;z表示X通过编码器编码后的结果,z′表示编码器对X′编码后的结果,Y表示输出后的修复图像;
相对应的编码判别器的损失函数只包括对抗生成神经网络的判别器损失函数:
Lcode-discriminator=D(X′)
对于解码器来说,其包含自编码器的重建损失以及对抗生成神经网络的生成器损失:
Lgenerator=MSE(X,Y)+G(z′)
对于全局判别器和局部判别器来说其损失函数是对应输入图像的损失函数,定义x为真实图像X中对应缺失位置的部分,y为修复图像Y中对应缺失位置的部分:
Lglobal-discriminator=D(X)+D(Y)
Llocal-discriminator=D(x)+D(y)。
6.根据权利要求书1所述的一种基于对抗生成神经网络的图像修复方法,其特征在于:步骤4中利用分步训练的方法对整个网络进行图像修复训练的实现方式如下,
1)以训练自编码器的方法,仅训练编码器与生成器;
2)固定编码器与生成器,训练判别器(编码判别器、局部判别器和全局判别器),训练的迭代次数是固定的,以使判别器的训练程度与生成器和编码器接近;
3)使用对抗生成神经网络的训练方法交替训练编码器、生成器和判别器。
7.一种基于对抗生成神经网络的图像修复系统,其特征在于,包括如下模块:
自编码器构建模块,用于设计一个自编码器卷积神经网络,包括用于对输入图像进行深度神经网络编码的编码器,以及用于对编码结果进行判别的编码判别器,编码器和编码判别器构成了一个局部的对抗生成神经网络;
解码器构建模块,用于设计一个解码器(生成器)卷积神经网络,对自编码器编码后的编码进行解码;
判别器构建模块,用于设计一个判别器卷积神经网络,包括一个对生成图像的整体质量进行全局判别的全局判别器,以及一个对生成图像部分内容质量进行局部判别的局部判别器,并通过全连接结构将两个判别器输出结果进行融合作为最终的结果;
图像修复训练模块,用于对编码器、解码器(生成器)、全局判别器和局部判别器,以及针对于图像修复任务额外的编码判别器这五个网络构造不同损失函数,并利用分步训练的方法对整个网络进行图像修复训练;
修复结构输出模块,用于将缺损图像放入训练完成的网络中进行修复,解码器(生成器)生成的结果图就为最终修复结果图。
8.根据权利要求书7所述的一种基于对抗生成神经网络的图像修复系统,其特征在于:图像修复训练模块中构建的五个网络的损失函数如下,
首先定义U、V分别为总长度为n、m的矩阵,均方误差表示为:
根据对抗神经网络的基本理论,对抗生成神经网络中判别器的损失函数表示为:
对抗生成神经网络中生成器的损失函数表示为:
对于编码器来说其损失函数,主要包括自编码器结构的重建损失,编码损失以及编码器与编码器判别器构成的对抗生成神经网络的损失:
Lencoder=MSE(z,z′)+MSE(X,Y)+G(X′)
其中,X表示真实图像,X′表示输入的带有缺失的待修复图像;z表示X通过编码器编码后的结果,z′表示编码器对X′编码后的结果,Y表示输出后的修复图像;
相对应的编码判别器的损失函数只包括对抗生成神经网络的判别器损失函数:
Lcode-discriminator=D(X′)
对于解码器来说,其包含自编码器的重建损失以及对抗生成神经网络的生成器损失:
Lgenerator=MSE(X,Y)+G(z′)
对于全局判别器和局部判别器来说其损失函数是对应输入图像的损失函数,定义x为真实图像X中对应缺失位置的部分,y为修复图像Y中对应缺失位置的部分:
Lglobal-discriminator=D(X)+D(Y)
L1ocal-discriminator=D(x)+D(y)。
9.根据权利要求书7所述的一种基于对抗生成神经网络的图像修复方法,其特征在于:图像修复训练模块利用分步训练的方法对整个网络进行图像修复训练的实现方式如下,
1)以训练自编码器的方法,仅训练编码器与生成器;
2)固定编码器与生成器,训练判别器(编码判别器、局部判别器和全局判别器),训练的迭代次数是固定的,以使判别器的训练程度与生成器和编码器接近;
3)使用对抗生成神经网络的训练方法交替训练编码器、生成器和判别器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811020507.8A CN109191402B (zh) | 2018-09-03 | 2018-09-03 | 基于对抗生成神经网络的图像修复方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811020507.8A CN109191402B (zh) | 2018-09-03 | 2018-09-03 | 基于对抗生成神经网络的图像修复方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109191402A true CN109191402A (zh) | 2019-01-11 |
CN109191402B CN109191402B (zh) | 2020-11-03 |
Family
ID=64917943
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811020507.8A Active CN109191402B (zh) | 2018-09-03 | 2018-09-03 | 基于对抗生成神经网络的图像修复方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109191402B (zh) |
Cited By (64)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109815928A (zh) * | 2019-01-31 | 2019-05-28 | 中国电子进出口有限公司 | 一种基于对抗学习的人脸图像合成方法和装置 |
CN109816613A (zh) * | 2019-02-28 | 2019-05-28 | 广州华多网络科技有限公司 | 图像补全方法及装置 |
CN109816615A (zh) * | 2019-03-06 | 2019-05-28 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、设备以及存储介质 |
CN109886210A (zh) * | 2019-02-25 | 2019-06-14 | 百度在线网络技术(北京)有限公司 | 一种交通图像识别方法、装置、计算机设备和介质 |
CN109961407A (zh) * | 2019-02-12 | 2019-07-02 | 北京交通大学 | 基于人脸相似性的人脸图像修复方法 |
CN109978769A (zh) * | 2019-04-04 | 2019-07-05 | 深圳安科高技术股份有限公司 | 一种ct扫描图像数据插值方法及其系统 |
CN110009576A (zh) * | 2019-02-28 | 2019-07-12 | 西北大学 | 一种壁画图像修复模型建立及修复方法 |
CN110020996A (zh) * | 2019-03-18 | 2019-07-16 | 浙江传媒学院 | 一种基于先验知识约束的图像修复方法、系统以及计算机设备 |
CN110070935A (zh) * | 2019-03-20 | 2019-07-30 | 中国科学院自动化研究所 | 基于对抗神经网络的医学图像合成方法、分类方法及装置 |
CN110147323A (zh) * | 2019-04-24 | 2019-08-20 | 北京百度网讯科技有限公司 | 一种基于生成对抗网络的变更智能检查方法及装置 |
CN110148455A (zh) * | 2019-05-22 | 2019-08-20 | 柯晶 | 宫颈液基薄片图像之炎性细胞消除方法 |
CN110163815A (zh) * | 2019-04-22 | 2019-08-23 | 桂林电子科技大学 | 基于多阶段变分自编码器的低照度还原方法 |
CN110211035A (zh) * | 2019-04-18 | 2019-09-06 | 天津中科智能识别产业技术研究院有限公司 | 融合互信息的深度神经网络的图像超分辨率方法 |
CN110210514A (zh) * | 2019-04-24 | 2019-09-06 | 北京林业大学 | 生成式对抗网络训练方法、图像补全方法、设备及存储介质 |
CN110246093A (zh) * | 2019-05-05 | 2019-09-17 | 北京大学 | 一种解码图像增强方法 |
CN110288549A (zh) * | 2019-06-28 | 2019-09-27 | 北京字节跳动网络技术有限公司 | 视频修复方法、装置及电子设备 |
CN110288537A (zh) * | 2019-05-20 | 2019-09-27 | 湖南大学 | 基于自注意力的深度生成式对抗网络的人脸图像补全方法 |
CN110309889A (zh) * | 2019-07-04 | 2019-10-08 | 西南大学 | 一种双判别器gan的古彝文字符修复方法 |
CN110309861A (zh) * | 2019-06-10 | 2019-10-08 | 浙江大学 | 一种基于生成对抗网络的多模态人类活动识别方法 |
CN110322002A (zh) * | 2019-04-30 | 2019-10-11 | 深圳市商汤科技有限公司 | 图像生成网络的训练及图像处理方法和装置、电子设备 |
CN110414615A (zh) * | 2019-08-02 | 2019-11-05 | 中国科学院合肥物质科学研究院 | 基于阶段性深度修复图像及改进Double-DQN技术的玉米草地贪夜蛾检测方法 |
CN110443764A (zh) * | 2019-08-01 | 2019-11-12 | 北京百度网讯科技有限公司 | 视频修复方法、装置及服务器 |
CN110519233A (zh) * | 2019-07-31 | 2019-11-29 | 中国地质大学(武汉) | 一种基于人工智能的星载传感网数据压缩方法 |
CN110570443A (zh) * | 2019-08-15 | 2019-12-13 | 武汉理工大学 | 一种基于结构约束条件生成模型的图像线状目标提取方法 |
CN110570366A (zh) * | 2019-08-16 | 2019-12-13 | 西安理工大学 | 基于双判别深度卷积生成式对抗网络的图像修复方法 |
CN110598806A (zh) * | 2019-07-29 | 2019-12-20 | 合肥工业大学 | 一种基于参数优化生成对抗网络的手写数字生成方法 |
CN110598719A (zh) * | 2019-09-11 | 2019-12-20 | 南京师范大学 | 一种依据视觉属性描述自动生成人脸图像的方法 |
CN110648293A (zh) * | 2019-09-19 | 2020-01-03 | 北京百度网讯科技有限公司 | 图像修复方法、装置及电子设备 |
CN110717948A (zh) * | 2019-04-28 | 2020-01-21 | 合肥图鸭信息科技有限公司 | 一种图像后处理方法、系统及终端设备 |
CN110766623A (zh) * | 2019-10-12 | 2020-02-07 | 北京工业大学 | 一种基于深度学习的立体图像修复方法 |
CN110766797A (zh) * | 2019-10-30 | 2020-02-07 | 中山大学 | 一种基于gan的三维地图修复方法 |
CN110765339A (zh) * | 2019-11-14 | 2020-02-07 | 南宁师范大学 | 一种基于生成对抗网络的残缺中文书法修复补全方法 |
CN110796251A (zh) * | 2019-10-28 | 2020-02-14 | 天津大学 | 基于卷积神经网络的图像压缩优化方法 |
CN110889811A (zh) * | 2019-12-05 | 2020-03-17 | 中南大学 | 一种照片修复系统构建方法、照片修复方法及系统 |
CN111046027A (zh) * | 2019-11-25 | 2020-04-21 | 北京百度网讯科技有限公司 | 时间序列数据的缺失值填充方法和装置 |
CN111160555A (zh) * | 2019-12-26 | 2020-05-15 | 北京迈格威科技有限公司 | 基于神经网络的处理方法、装置及电子设备 |
CN111292265A (zh) * | 2020-01-22 | 2020-06-16 | 东华大学 | 一种基于生成式对抗神经网络的图像修复方法 |
CN111429374A (zh) * | 2020-03-27 | 2020-07-17 | 中国工商银行股份有限公司 | 图像中摩尔纹的消除方法及装置 |
CN111612699A (zh) * | 2019-02-22 | 2020-09-01 | 北京京东尚科信息技术有限公司 | 图像处理方法、装置和计算机可读存储介质 |
CN111680666A (zh) * | 2020-06-30 | 2020-09-18 | 西安电子科技大学 | 欠采样跳频通信信号深度学习恢复方法 |
CN111695598A (zh) * | 2020-05-11 | 2020-09-22 | 东南大学 | 一种基于生成对抗网络的监测数据异常诊断方法 |
CN111787187A (zh) * | 2020-07-29 | 2020-10-16 | 上海大学 | 利用深度卷积神经网络进行视频修复的方法、系统、终端 |
CN111798531A (zh) * | 2020-07-08 | 2020-10-20 | 南开大学 | 一种应用于植株监测的图像深度卷积压缩感知重构方法 |
CN111885384A (zh) * | 2020-07-10 | 2020-11-03 | 郑州大学 | 带宽受限下基于生成对抗网络的图片处理和传输方法 |
CN111985281A (zh) * | 2019-05-24 | 2020-11-24 | 内蒙古工业大学 | 图像生成模型的生成方法、装置及图像生成方法、装置 |
CN112015932A (zh) * | 2020-09-11 | 2020-12-01 | 深兰科技(上海)有限公司 | 一种基于神经网络的图片存储方法、介质及装置 |
CN112102191A (zh) * | 2020-09-15 | 2020-12-18 | 北京金山云网络技术有限公司 | 一种人脸图像处理方法及装置 |
CN112116535A (zh) * | 2020-08-11 | 2020-12-22 | 西安交通大学 | 一种基于并行自编码器的图像补全方法 |
CN112308104A (zh) * | 2019-08-02 | 2021-02-02 | 杭州海康威视数字技术股份有限公司 | 异常识别方法、装置及计算机存储介质 |
CN112330951A (zh) * | 2020-09-11 | 2021-02-05 | 浙江工业大学 | 一种基于生成对抗网络实现路网交通数据修复的方法 |
CN112381725A (zh) * | 2020-10-16 | 2021-02-19 | 广东工业大学 | 基于深度卷积对抗生成网络的图像修复方法及装置 |
CN112488956A (zh) * | 2020-12-14 | 2021-03-12 | 南京信息工程大学 | 一种基于wgan网络进行图像修复的方法 |
CN112508821A (zh) * | 2020-12-21 | 2021-03-16 | 南阳师范学院 | 一种基于定向回归损失函数的立体视觉虚拟图像空洞填补方法 |
CN112634118A (zh) * | 2020-12-24 | 2021-04-09 | 中国科学技术大学 | 对抗批隐写方法 |
CN112837236A (zh) * | 2021-01-27 | 2021-05-25 | 浙江大学 | 用于图像补全的修复神经网络训练方法、装置、计算机设备和存储介质 |
CN113034390A (zh) * | 2021-03-17 | 2021-06-25 | 复旦大学 | 一种基于小波先验注意力的图像修复方法及系统 |
CN113139915A (zh) * | 2021-04-13 | 2021-07-20 | Oppo广东移动通信有限公司 | 人像修复模型的训练方法和装置、电子设备 |
CN113362242A (zh) * | 2021-06-03 | 2021-09-07 | 杭州电子科技大学 | 基于多特征融合网络的图像修复方法 |
CN113379036A (zh) * | 2021-06-18 | 2021-09-10 | 西安石油大学 | 一种基于上下文编码器的油气图像脱敏方法 |
CN113688869A (zh) * | 2021-07-21 | 2021-11-23 | 广东工业大学 | 一种基于生成对抗网络的光伏数据缺失重构方法 |
CN113781324A (zh) * | 2021-08-06 | 2021-12-10 | 天津大学 | 一种老照片修复方法 |
CN114511463A (zh) * | 2022-02-11 | 2022-05-17 | 陕西师范大学 | 一种数字图像修复方法、装置、设备及可读存储介质 |
US11410344B2 (en) | 2019-02-02 | 2022-08-09 | Shenzhen Sensetime Technology Co., Ltd. | Method for image generation, electronic device, and storage medium |
CN115797216A (zh) * | 2022-12-14 | 2023-03-14 | 齐鲁工业大学 | 一种基于自编码网络的碑文文字修复模型及修复方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107123151A (zh) * | 2017-04-28 | 2017-09-01 | 深圳市唯特视科技有限公司 | 一种基于变分自动编码器和生成对抗网络的图像转化方法 |
CN107862668A (zh) * | 2017-11-24 | 2018-03-30 | 河海大学 | 一种基于gnn的文物图像复原方法 |
CN107945118A (zh) * | 2017-10-30 | 2018-04-20 | 南京邮电大学 | 一种基于生成式对抗网络的人脸图像修复方法 |
CN107977629A (zh) * | 2017-12-04 | 2018-05-01 | 电子科技大学 | 一种基于特征分离对抗网络的人脸图像衰老合成方法 |
CN107977932A (zh) * | 2017-12-28 | 2018-05-01 | 北京工业大学 | 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法 |
CN108171266A (zh) * | 2017-12-25 | 2018-06-15 | 中国矿业大学 | 一种多目标深度卷积生成式对抗网络模型的学习方法 |
CN108257100A (zh) * | 2018-01-12 | 2018-07-06 | 北京奇安信科技有限公司 | 一种图像修复方法及服务器 |
-
2018
- 2018-09-03 CN CN201811020507.8A patent/CN109191402B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107123151A (zh) * | 2017-04-28 | 2017-09-01 | 深圳市唯特视科技有限公司 | 一种基于变分自动编码器和生成对抗网络的图像转化方法 |
CN107945118A (zh) * | 2017-10-30 | 2018-04-20 | 南京邮电大学 | 一种基于生成式对抗网络的人脸图像修复方法 |
CN107862668A (zh) * | 2017-11-24 | 2018-03-30 | 河海大学 | 一种基于gnn的文物图像复原方法 |
CN107977629A (zh) * | 2017-12-04 | 2018-05-01 | 电子科技大学 | 一种基于特征分离对抗网络的人脸图像衰老合成方法 |
CN108171266A (zh) * | 2017-12-25 | 2018-06-15 | 中国矿业大学 | 一种多目标深度卷积生成式对抗网络模型的学习方法 |
CN107977932A (zh) * | 2017-12-28 | 2018-05-01 | 北京工业大学 | 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法 |
CN108257100A (zh) * | 2018-01-12 | 2018-07-06 | 北京奇安信科技有限公司 | 一种图像修复方法及服务器 |
Non-Patent Citations (3)
Title |
---|
CHRISTIAN LEDIG ET AL.: ""Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network"", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
MICHAEL O. VERTOLLI ET AL.: ""Image Quality Assessment Techniques Show Improved Training and Evaluation of Autoencoder Generative Adversarial Networks"", 《ARXIV:1708.02237V1》 * |
SATOSHI IIZUKA ET AL.: ""Globally and Locally Consistent Image Completion"", 《ACM TRANSACTIONS ON GRAPHICS》 * |
Cited By (100)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109815928B (zh) * | 2019-01-31 | 2021-05-11 | 中国电子进出口有限公司 | 一种基于对抗学习的人脸图像合成方法和装置 |
CN109815928A (zh) * | 2019-01-31 | 2019-05-28 | 中国电子进出口有限公司 | 一种基于对抗学习的人脸图像合成方法和装置 |
US11410344B2 (en) | 2019-02-02 | 2022-08-09 | Shenzhen Sensetime Technology Co., Ltd. | Method for image generation, electronic device, and storage medium |
CN109961407B (zh) * | 2019-02-12 | 2021-01-26 | 北京交通大学 | 基于人脸相似性的人脸图像修复方法 |
CN109961407A (zh) * | 2019-02-12 | 2019-07-02 | 北京交通大学 | 基于人脸相似性的人脸图像修复方法 |
CN111612699B (zh) * | 2019-02-22 | 2024-05-17 | 北京京东尚科信息技术有限公司 | 图像处理方法、装置和计算机可读存储介质 |
CN111612699A (zh) * | 2019-02-22 | 2020-09-01 | 北京京东尚科信息技术有限公司 | 图像处理方法、装置和计算机可读存储介质 |
CN109886210B (zh) * | 2019-02-25 | 2022-07-19 | 百度在线网络技术(北京)有限公司 | 一种交通图像识别方法、装置、计算机设备和介质 |
CN109886210A (zh) * | 2019-02-25 | 2019-06-14 | 百度在线网络技术(北京)有限公司 | 一种交通图像识别方法、装置、计算机设备和介质 |
CN109816613A (zh) * | 2019-02-28 | 2019-05-28 | 广州华多网络科技有限公司 | 图像补全方法及装置 |
CN110009576A (zh) * | 2019-02-28 | 2019-07-12 | 西北大学 | 一种壁画图像修复模型建立及修复方法 |
CN109816613B (zh) * | 2019-02-28 | 2023-02-28 | 广州方硅信息技术有限公司 | 图像补全方法及装置 |
CN109816615B (zh) * | 2019-03-06 | 2022-12-16 | 腾讯科技(深圳)有限公司 | 图像修复方法、装置、设备以及存储介质 |
WO2020177513A1 (zh) * | 2019-03-06 | 2020-09-10 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、设备以及存储介质 |
US11983850B2 (en) | 2019-03-06 | 2024-05-14 | Tencent Technology (Shenzhen) Company Limited | Image processing method and apparatus, device, and storage medium |
CN109816615A (zh) * | 2019-03-06 | 2019-05-28 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、设备以及存储介质 |
CN110020996A (zh) * | 2019-03-18 | 2019-07-16 | 浙江传媒学院 | 一种基于先验知识约束的图像修复方法、系统以及计算机设备 |
CN110070935A (zh) * | 2019-03-20 | 2019-07-30 | 中国科学院自动化研究所 | 基于对抗神经网络的医学图像合成方法、分类方法及装置 |
CN109978769A (zh) * | 2019-04-04 | 2019-07-05 | 深圳安科高技术股份有限公司 | 一种ct扫描图像数据插值方法及其系统 |
CN109978769B (zh) * | 2019-04-04 | 2023-06-20 | 深圳安科高技术股份有限公司 | 一种ct扫描图像数据插值方法及其系统 |
CN110211035A (zh) * | 2019-04-18 | 2019-09-06 | 天津中科智能识别产业技术研究院有限公司 | 融合互信息的深度神经网络的图像超分辨率方法 |
CN110211035B (zh) * | 2019-04-18 | 2023-03-24 | 天津中科智能识别产业技术研究院有限公司 | 融合互信息的深度神经网络的图像超分辨率方法 |
CN110163815A (zh) * | 2019-04-22 | 2019-08-23 | 桂林电子科技大学 | 基于多阶段变分自编码器的低照度还原方法 |
CN110163815B (zh) * | 2019-04-22 | 2022-06-24 | 桂林电子科技大学 | 基于多阶段变分自编码器的低照度还原方法 |
CN110147323A (zh) * | 2019-04-24 | 2019-08-20 | 北京百度网讯科技有限公司 | 一种基于生成对抗网络的变更智能检查方法及装置 |
CN110210514A (zh) * | 2019-04-24 | 2019-09-06 | 北京林业大学 | 生成式对抗网络训练方法、图像补全方法、设备及存储介质 |
CN110717948A (zh) * | 2019-04-28 | 2020-01-21 | 合肥图鸭信息科技有限公司 | 一种图像后处理方法、系统及终端设备 |
CN110322002B (zh) * | 2019-04-30 | 2022-01-04 | 深圳市商汤科技有限公司 | 图像生成网络的训练及图像处理方法和装置、电子设备 |
CN110322002A (zh) * | 2019-04-30 | 2019-10-11 | 深圳市商汤科技有限公司 | 图像生成网络的训练及图像处理方法和装置、电子设备 |
CN110246093A (zh) * | 2019-05-05 | 2019-09-17 | 北京大学 | 一种解码图像增强方法 |
CN110246093B (zh) * | 2019-05-05 | 2021-05-04 | 北京大学 | 一种解码图像增强方法 |
CN110288537A (zh) * | 2019-05-20 | 2019-09-27 | 湖南大学 | 基于自注意力的深度生成式对抗网络的人脸图像补全方法 |
CN110148455B (zh) * | 2019-05-22 | 2023-09-26 | 柯晶 | 宫颈液基薄片图像之炎性细胞消除方法 |
CN110148455A (zh) * | 2019-05-22 | 2019-08-20 | 柯晶 | 宫颈液基薄片图像之炎性细胞消除方法 |
CN111985281B (zh) * | 2019-05-24 | 2022-12-09 | 内蒙古工业大学 | 图像生成模型的生成方法、装置及图像生成方法、装置 |
CN111985281A (zh) * | 2019-05-24 | 2020-11-24 | 内蒙古工业大学 | 图像生成模型的生成方法、装置及图像生成方法、装置 |
CN110309861B (zh) * | 2019-06-10 | 2021-05-25 | 浙江大学 | 一种基于生成对抗网络的多模态人类活动识别方法 |
CN110309861A (zh) * | 2019-06-10 | 2019-10-08 | 浙江大学 | 一种基于生成对抗网络的多模态人类活动识别方法 |
CN110288549B (zh) * | 2019-06-28 | 2021-10-08 | 北京字节跳动网络技术有限公司 | 视频修复方法、装置及电子设备 |
CN110288549A (zh) * | 2019-06-28 | 2019-09-27 | 北京字节跳动网络技术有限公司 | 视频修复方法、装置及电子设备 |
CN110309889A (zh) * | 2019-07-04 | 2019-10-08 | 西南大学 | 一种双判别器gan的古彝文字符修复方法 |
CN110598806A (zh) * | 2019-07-29 | 2019-12-20 | 合肥工业大学 | 一种基于参数优化生成对抗网络的手写数字生成方法 |
CN110519233A (zh) * | 2019-07-31 | 2019-11-29 | 中国地质大学(武汉) | 一种基于人工智能的星载传感网数据压缩方法 |
CN110519233B (zh) * | 2019-07-31 | 2021-07-20 | 中国地质大学(武汉) | 一种基于人工智能的星载传感网数据压缩方法 |
CN110443764A (zh) * | 2019-08-01 | 2019-11-12 | 北京百度网讯科技有限公司 | 视频修复方法、装置及服务器 |
CN112308104A (zh) * | 2019-08-02 | 2021-02-02 | 杭州海康威视数字技术股份有限公司 | 异常识别方法、装置及计算机存储介质 |
CN110414615A (zh) * | 2019-08-02 | 2019-11-05 | 中国科学院合肥物质科学研究院 | 基于阶段性深度修复图像及改进Double-DQN技术的玉米草地贪夜蛾检测方法 |
CN110414615B (zh) * | 2019-08-02 | 2021-12-10 | 中国科学院合肥物质科学研究院 | 基于阶段性深度修复图像的玉米草地贪夜蛾检测方法 |
CN110570443B (zh) * | 2019-08-15 | 2021-12-17 | 武汉理工大学 | 一种基于结构约束条件生成模型的图像线状目标提取方法 |
CN110570443A (zh) * | 2019-08-15 | 2019-12-13 | 武汉理工大学 | 一种基于结构约束条件生成模型的图像线状目标提取方法 |
CN110570366A (zh) * | 2019-08-16 | 2019-12-13 | 西安理工大学 | 基于双判别深度卷积生成式对抗网络的图像修复方法 |
CN110598719A (zh) * | 2019-09-11 | 2019-12-20 | 南京师范大学 | 一种依据视觉属性描述自动生成人脸图像的方法 |
CN110648293B (zh) * | 2019-09-19 | 2022-06-24 | 北京百度网讯科技有限公司 | 图像修复方法、装置及电子设备 |
CN110648293A (zh) * | 2019-09-19 | 2020-01-03 | 北京百度网讯科技有限公司 | 图像修复方法、装置及电子设备 |
CN110766623A (zh) * | 2019-10-12 | 2020-02-07 | 北京工业大学 | 一种基于深度学习的立体图像修复方法 |
CN110796251A (zh) * | 2019-10-28 | 2020-02-14 | 天津大学 | 基于卷积神经网络的图像压缩优化方法 |
CN110766797B (zh) * | 2019-10-30 | 2021-08-13 | 中山大学 | 一种基于gan的三维地图修复方法 |
CN110766797A (zh) * | 2019-10-30 | 2020-02-07 | 中山大学 | 一种基于gan的三维地图修复方法 |
CN110765339A (zh) * | 2019-11-14 | 2020-02-07 | 南宁师范大学 | 一种基于生成对抗网络的残缺中文书法修复补全方法 |
CN111046027A (zh) * | 2019-11-25 | 2020-04-21 | 北京百度网讯科技有限公司 | 时间序列数据的缺失值填充方法和装置 |
CN110889811A (zh) * | 2019-12-05 | 2020-03-17 | 中南大学 | 一种照片修复系统构建方法、照片修复方法及系统 |
CN110889811B (zh) * | 2019-12-05 | 2023-06-09 | 中南大学 | 一种照片修复系统构建方法、照片修复方法及系统 |
CN111160555B (zh) * | 2019-12-26 | 2023-12-01 | 北京迈格威科技有限公司 | 基于神经网络的处理方法、装置及电子设备 |
CN111160555A (zh) * | 2019-12-26 | 2020-05-15 | 北京迈格威科技有限公司 | 基于神经网络的处理方法、装置及电子设备 |
CN111292265A (zh) * | 2020-01-22 | 2020-06-16 | 东华大学 | 一种基于生成式对抗神经网络的图像修复方法 |
CN111429374A (zh) * | 2020-03-27 | 2020-07-17 | 中国工商银行股份有限公司 | 图像中摩尔纹的消除方法及装置 |
CN111429374B (zh) * | 2020-03-27 | 2023-09-22 | 中国工商银行股份有限公司 | 图像中摩尔纹的消除方法及装置 |
CN111695598A (zh) * | 2020-05-11 | 2020-09-22 | 东南大学 | 一种基于生成对抗网络的监测数据异常诊断方法 |
CN111680666B (zh) * | 2020-06-30 | 2023-03-24 | 西安电子科技大学 | 欠采样跳频通信信号深度学习恢复方法 |
CN111680666A (zh) * | 2020-06-30 | 2020-09-18 | 西安电子科技大学 | 欠采样跳频通信信号深度学习恢复方法 |
CN111798531B (zh) * | 2020-07-08 | 2022-09-20 | 南开大学 | 一种应用于植株监测的图像深度卷积压缩感知重构方法 |
CN111798531A (zh) * | 2020-07-08 | 2020-10-20 | 南开大学 | 一种应用于植株监测的图像深度卷积压缩感知重构方法 |
CN111885384B (zh) * | 2020-07-10 | 2023-08-22 | 郑州大学 | 带宽受限下基于生成对抗网络的图片处理和传输方法 |
CN111885384A (zh) * | 2020-07-10 | 2020-11-03 | 郑州大学 | 带宽受限下基于生成对抗网络的图片处理和传输方法 |
CN111787187A (zh) * | 2020-07-29 | 2020-10-16 | 上海大学 | 利用深度卷积神经网络进行视频修复的方法、系统、终端 |
CN112116535A (zh) * | 2020-08-11 | 2020-12-22 | 西安交通大学 | 一种基于并行自编码器的图像补全方法 |
CN112015932A (zh) * | 2020-09-11 | 2020-12-01 | 深兰科技(上海)有限公司 | 一种基于神经网络的图片存储方法、介质及装置 |
CN112330951A (zh) * | 2020-09-11 | 2021-02-05 | 浙江工业大学 | 一种基于生成对抗网络实现路网交通数据修复的方法 |
CN112102191A (zh) * | 2020-09-15 | 2020-12-18 | 北京金山云网络技术有限公司 | 一种人脸图像处理方法及装置 |
CN112381725B (zh) * | 2020-10-16 | 2024-02-02 | 广东工业大学 | 基于深度卷积对抗生成网络的图像修复方法及装置 |
CN112381725A (zh) * | 2020-10-16 | 2021-02-19 | 广东工业大学 | 基于深度卷积对抗生成网络的图像修复方法及装置 |
CN112488956A (zh) * | 2020-12-14 | 2021-03-12 | 南京信息工程大学 | 一种基于wgan网络进行图像修复的方法 |
CN112508821A (zh) * | 2020-12-21 | 2021-03-16 | 南阳师范学院 | 一种基于定向回归损失函数的立体视觉虚拟图像空洞填补方法 |
CN112634118B (zh) * | 2020-12-24 | 2022-09-30 | 中国科学技术大学 | 对抗批隐写方法 |
CN112634118A (zh) * | 2020-12-24 | 2021-04-09 | 中国科学技术大学 | 对抗批隐写方法 |
CN112837236A (zh) * | 2021-01-27 | 2021-05-25 | 浙江大学 | 用于图像补全的修复神经网络训练方法、装置、计算机设备和存储介质 |
CN112837236B (zh) * | 2021-01-27 | 2023-11-07 | 浙江大学 | 用于图像补全的修复神经网络训练方法、装置、计算机设备和存储介质 |
CN113034390A (zh) * | 2021-03-17 | 2021-06-25 | 复旦大学 | 一种基于小波先验注意力的图像修复方法及系统 |
CN113139915A (zh) * | 2021-04-13 | 2021-07-20 | Oppo广东移动通信有限公司 | 人像修复模型的训练方法和装置、电子设备 |
CN113362242A (zh) * | 2021-06-03 | 2021-09-07 | 杭州电子科技大学 | 基于多特征融合网络的图像修复方法 |
CN113379036A (zh) * | 2021-06-18 | 2021-09-10 | 西安石油大学 | 一种基于上下文编码器的油气图像脱敏方法 |
CN113379036B (zh) * | 2021-06-18 | 2023-04-07 | 西安石油大学 | 一种基于上下文编码器的油气图像脱敏方法 |
CN113688869B (zh) * | 2021-07-21 | 2022-05-27 | 广东工业大学 | 一种基于生成对抗网络的光伏数据缺失重构方法 |
CN113688869A (zh) * | 2021-07-21 | 2021-11-23 | 广东工业大学 | 一种基于生成对抗网络的光伏数据缺失重构方法 |
CN113781324B (zh) * | 2021-08-06 | 2023-09-29 | 天津大学 | 一种老照片修复方法 |
CN113781324A (zh) * | 2021-08-06 | 2021-12-10 | 天津大学 | 一种老照片修复方法 |
CN114511463B (zh) * | 2022-02-11 | 2024-04-02 | 陕西师范大学 | 一种数字图像修复方法、装置、设备及可读存储介质 |
CN114511463A (zh) * | 2022-02-11 | 2022-05-17 | 陕西师范大学 | 一种数字图像修复方法、装置、设备及可读存储介质 |
CN115797216A (zh) * | 2022-12-14 | 2023-03-14 | 齐鲁工业大学 | 一种基于自编码网络的碑文文字修复模型及修复方法 |
CN115797216B (zh) * | 2022-12-14 | 2024-05-24 | 齐鲁工业大学 | 一种基于自编码网络的碑文文字修复模型及修复方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109191402B (zh) | 2020-11-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109191402A (zh) | 基于对抗生成神经网络的图像修复方法和系统 | |
CN107644006B (zh) | 一种基于深度神经网络的手写体中文字库自动生成方法 | |
CN108460746A (zh) | 一种基于结构和纹理分层预测的图像修复方法 | |
CN111127346A (zh) | 基于部分到整体注意力机制的多层次图像修复方法 | |
CN111161277A (zh) | 一种基于深度学习的自然图像抠图方法 | |
CN111784602A (zh) | 一种生成对抗网络用于图像修复的方法 | |
CN106022363B (zh) | 一种适用于自然场景下的中文文字识别方法 | |
CN112884776B (zh) | 一种基于合成数据集增广的深度学习抠图方法 | |
CN109903236A (zh) | 基于vae-gan与相似块搜索的人脸图像修复方法及装置 | |
Shen et al. | Single-shot semantic image inpainting with densely connected generative networks | |
CN112508960A (zh) | 一种基于改进注意力机制的低精度图像语义分割方法 | |
CN109509211A (zh) | 同时定位与建图技术中的特征点提取与匹配方法及系统 | |
CN111986108A (zh) | 一种基于生成对抗网络的复杂海空场景图像去雾方法 | |
CN113255813A (zh) | 一种基于特征融合的多风格图像生成方法 | |
Ting et al. | Image inpainting by global structure and texture propagation | |
CN117496072B (zh) | 一种三维数字人生成和交互方法及系统 | |
CN103646421A (zh) | 基于增强型PyrLK光流法的树木轻量化3D重建方法 | |
CN110298898A (zh) | 更改汽车图像车身颜色的方法及其算法结构 | |
CN117635771A (zh) | 一种基于半监督对比学习的场景文本编辑方法和装置 | |
CN110288667A (zh) | 一种基于结构引导的图像纹理迁移方法 | |
Liu et al. | Facial image inpainting using multi-level generative network | |
CN114694176A (zh) | 一种基于深度学习的轻量级人体姿态估计方法 | |
CN112734649A (zh) | 一种基于轻量级神经网络的图像退化方法及退化系统 | |
CN117496289A (zh) | 基于图像重建和编辑的融合语义增强clip的扩散网络 | |
CN114882173A (zh) | 一种基于隐式表达的3d单目头发建模方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |