CN110570366A - 基于双判别深度卷积生成式对抗网络的图像修复方法 - Google Patents
基于双判别深度卷积生成式对抗网络的图像修复方法 Download PDFInfo
- Publication number
- CN110570366A CN110570366A CN201910759037.5A CN201910759037A CN110570366A CN 110570366 A CN110570366 A CN 110570366A CN 201910759037 A CN201910759037 A CN 201910759037A CN 110570366 A CN110570366 A CN 110570366A
- Authority
- CN
- China
- Prior art keywords
- network
- image
- loss
- generation
- net
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000012549 training Methods 0.000 claims abstract description 52
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 44
- 230000004913 activation Effects 0.000 claims description 18
- 238000005070 sampling Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 230000008485 antagonism Effects 0.000 claims description 3
- 230000009977 dual effect Effects 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 230000003213 activating effect Effects 0.000 claims 2
- 230000008439 repair process Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- VWDWKYIASSYTQR-UHFFFAOYSA-N sodium nitrate Chemical compound [Na+].[O-][N+]([O-])=O VWDWKYIASSYTQR-UHFFFAOYSA-N 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开的基于双判别深度卷积生成式对抗网络的图像修复方法，首先，将待处理图像进行预处理，作为训练集数据图像；构建G生成网络、Net_D判别网络和NetD_Aux判别网络，将待处理图像输入G生成网络中，分别对G生成网络、Net_D判别网络和NetD_Aux判别网络进行训练，通过分别计算对抗损失、图像空间损失和图像特征空间损失，按照生成网络和两个判别网络交替训练，当G生成网络生成的图像与真实图像接近时训练完成，最后将待修复的图像输入到训练好的模型中进行图像修复。本发明公开的方法采用双判别网络结构和全新的损失函数模型，分别判别图像的局部和全局，通过迭代网络模型来完成图像修复，取得了较好的修复结果。
Description
技术领域
本发明属于数字图像处理技术领域，具体涉及一种基于双判别深度卷积生成式对抗网络的图像修复方法。
背景技术
近年来，随着科技的不断进步，人们的生活质量也在不断提升，图像和视频在记录生活中有意义的瞬间时扮演着重要的角色。图像与视频的质量已经成为一个深受关注的话题，这就使得图像修复工作越来越受到科学界的重视。图像修复(Image Inpainting)是指重建图像和视频中丢失或损坏的部分，使得观察者无法察觉图像曾经缺损或已被修复。
近年来，随着深度学习的研究不断深入，图像修复结合深度学习也逐渐成为主流研究方向。基于卷积神经网络(CNN)和生成式对抗网络(GAN)的图像修复方法都是通过编码器—解码器结构并结合深度学习网络训练的优势，从而使得修复后的图像与原图像在内容与结构上保持一致。但是目前的基于CNN的修复方法依旧存在修复边界扭曲、修复结果模糊、难以修复大面积残缺图像等问题，并且，当涉及到图像语义损失时，传统的基于图像纹理的修复的方法难以取得令人满意的结果。
发明内容
本发明的目的是提供一种基于双判别深度卷积生成式对抗网络(DCGAN)的图像修复方法，解决了现有CNN网络修复图像存在修复结果模糊和难以修复大面积残缺图像的问题。
本发明所采用的技术方案是，基于双判别深度卷积生成式对抗网络的图像修复方法，具体包括如下步骤：
步骤1，将待处理图像进行预处理，作为训练集数据图像；
步骤2，构建双判别深度卷积生成式对抗网络模型，包括G生成网络、Net_D判别网络和NetD_Aux判别网络，G生成网络用于生成图像；Net_D判别网络判别局部图像，NetD_Aux判别网络判别全局图像，两个判别网络均通过卷积操作逐层提取图像的特征；
步骤3，将预处理后的待处理图像输入G生成网络中，分别对G生成网络、Net_D判别网络和NetD_Aux判别网络进行训练，通过分别计算对抗损失、图像空间损失和图像特征空间损失，基于反向传播算法优化网络参数，按照设定的学习率进行参数的迭代更新，按照生成网络和两个判别网络交替训练，当G生成网络生成的图像与真实图像接近时训练完成；
步骤4，将待修复的图像输入到训练好的双判别深度卷积生成式对抗网络模型中进行图像修复。
本发明的其他特点还在于，
优选的，步骤1中图像的预处理是通过筛选去除重复、不完整以及不清晰的图像。
优选的，G生成网络采用编码器-解码结器，编码器使用卷积算法实现下层采样并编码，采用6层网络，解码器使用置换卷积算法进行上层采用并解码，采用5层网络；Net_D判别网络采用5层网络，NetD_Aux判别网络采用6层网络。
优选的，步骤2中G生成网络中卷积层的函数LeakyReLU，反卷积层的激活函数采用ReLU，输出层的激活函数采用Tanh。
优选的，Net_D判别网络和NetD_Aux判别网络中激活函数采用LeakyReLU()激活函数。
优选的，步骤3包括如下过程：
将训练集图像数据输入G生成网络中得到生成图像；
将生成图像和真实图像输入Net_D判别网络中，通过损失函数计算局部对抗损失，训练优化网络参数得到真实的局部图像；
将G生成网络得到的生成图像与被加mask的真实图像结合生成伪全局图像，将伪全局图像和真实图像输入到NetD_Aux判别网络中，通过损失函数计算全局对抗损失，训练优化网络参数得到真实的全局图像；
将局部对抗损失和全局对抗损失进行损失回传到G生成网络中，G生成网络中不断输出生成图像，定义特征提取器，通过均方损失函数计算生成图像和真实图像之间的图像空间损失与特征空间损失，将所有的损失加权和进行回传，训练G生成网络，重复交替训练生成网络和判别网络，直到G生成网络生成的图像经过判别网络的判别结果接近1，则训练完成。
优选的，Net_D判别网络中采用交叉熵损失函数，如式(1)所示：
其中，Gθ(yi)表示G生成网络的生成图像，表示生成网络生成图片是真实图像的概率。
优选的，均方损失函数包括：
计算图像空间损失如式(2)所示：
其中，Gθ(yi)表示G生成网络的生成图像，xi表示真实图像。
计算特征空间损失如式(3)所示：
其中，C表示特征提取器，Gθ(yi)表示G生成网络的生成图像，xi表示真实图像；
所有的损失进行加权和，如式(4)所示：
其中，表示特征空间损失，λfeat表示特征空间损失的权重，表示对抗损失，λadv表示对抗损失的权重，表示空间损失，λimg是空间损失的权重。
本发明的有益效果是，基于双判别深度卷积生成式对抗网络(DCGAN)的图像修复方法，解决了现有CNN网络修复图像存在修复结果模糊和难以修复大面积残缺图像的问题。结合了CNN与GAN的网络优点，采用双判别网络结构和全新的损失函数模型，分别判别图像的局部和全局，通过迭代网络模型来完成图像修复，修复精确度高，取得了较好的修复结果。
附图说明
图1是本发明的基于双判别深度卷积生成式对抗网络的图像修复方法流程图；
图2是实施例中原始图像；
图3是实施例中被加mask的图像；
图4是实施例中mask的掩码；
图5是实施例中G生成网络的结构示意图；
图6是实施例中G生成网络的网络参数；
图7是实施例中Net_D判别网络的结构示意图；
图8是实施例中Net_D判别网络的网络参数；
图9是实施例中NetD_AUX判别网络的结构示意图；
图10是实施例中NetD_AUX判别网络的网络参数；
图11是实施例中局部与全局损失原理图；
图12是实施例中修复结果图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明的基于双判别深度卷积生成式对抗网络的图像修复方法，如图1所示，具体包括如下步骤：
步骤1，将待处理图像进行预处理，作为训练集数据图像；
步骤1中图像的预处理是通过筛选去除重复、不完整以及不清晰的图像。
步骤2，构建双判别深度卷积生成式对抗网络模型，包括G生成网络、Net_D判别网络和NetD_Aux判别网络，G生成网络用于生成图像；Net_D判别网络判别局部图像，判别生成的局部图像是否为真实的图像，并计算局部损失回传给Net_D判别网络进行参数优化；NetD_Aux判别网络判别全局图像，计算生成图像结合待修复图像的已有部分与真实图像之间的全局损失，然后将损失回传给NetD_Aux判别网络，进一步优化网络参数；两个判别网络均通过卷积操作逐层提取图像的特征；
步骤2中G生成网络采用编码器-解码结器，编码器使用卷积算法实现下层采样并编码，采用6层网络，解码器使用置换卷积算法进行上层采用并解码，采用5层网络；Net_D判别网络采用5层网络，NetD_Aux判别网络采用6层网络；
G生成网络中卷积层的函数LeakyReLU，反卷积层的激活函数采用ReLU，输出层的激活函数采用Tanh；
Net_D判别网络和NetD_Aux判别网络中激活函数采用LeakyReLU()激活函数；
步骤3，将预处理后的待处理图像输入G生成网络中，分别对G生成网络、Net_D判别网络和NetD_Aux判别网络进行训练，通过分别计算对抗损失、图像空间损失和图像特征空间损失，基于反向传播算法优化网络参数，按照设定的学习率进行参数的迭代更新，按照生成网络和两个判别网络交替训练，当G生成网络生成的图像与真实图像接近时训练完成；
步骤3包括如下过程：
将训练集图像数据输入G生成网络中得到生成图像；
将生成图像和真实图像输入Net_D判别网络中，通过损失函数计算局部对抗损失，训练优化网络参数得到真实的局部图像；
将G生成网络得到的生成图像与被加mask的真实图像结合生成伪全局图像，将伪全局图像和真实图像输入到NetD_Aux判别网络中，通过损失函数计算全局对抗损失，训练优化网络参数得到真实的全局图像；
将局部对抗损失和全局对抗损失进行损失回传到G生成网络中，G生成网络中不断输出生成图像，定义特征提取器，通过均方损失函数计算生成图像和真实图像之间的图像空间损失与特征空间损失，将所有的损失加权和进行回传，训练G生成网络，重复交替训练生成网络和判别网络，直到G生成网络生成的图像经过判别网络的判别结果接近1，则训练完成；
对Net_D判别网络的训练，对于真实图像的判别，首先将真实的局部图像输入到Net_D判别网络中，希望其输出的结果尽可能的为1。因此，Net_D判别网络中采用交叉熵损失函数，如式(1)所示，计算损失并回传；
其中，Gθ(yi)表示G生成网络的生成图像，表示生成网络生成图片是真实图像的概率。
对于G生成网络的训练，G生成网络希望生成图像通过两个判别网络的判别结果越接近1越好，即越真实。对于生成的局部图像有Net_D(fakelocal)越接近1越好，对于生成的全局图像同样有NetD_Aux(fakeglobal)越接近1越好，计算损失，然后将损失回传给Net_G生成网络进一步优化网络参数；
均方损失函数包括：
计算图像空间损失如式(2)所示：
其中，Gθ(yi)表示G生成网络的生成图像，xi表示真实图像。
计算特征空间损失如式(3)所示：
其中，C表示特征提取器，Gθ(yi)表示G生成网络的生成图像，xi表示真实图像；
所有的损失进行加权和，如式(4)所示：
其中，表示特征空间损失，λfeat表示特征空间损失的权重，表示对抗损失，λadv表示对抗损失的权重，表示空间损失，λimg是空间损失的权重。
步骤4，将待修复的图像输入到训练好的双判别深度卷积生成式对抗网络模型中进行图像修复。
本发明的基于双判别深度卷积生成式对抗网络的图像修复方法，采用双判别网络结构，分别为Net_D判别网络和NetD_Aux判别网络，Net_D网络用来判别图像局部部分，NetD_Aux网络用来判别全局图像。首先，G生成网络不断生成一系列类似于原始训练集的图像fake局部图像，输入给Net_D判别网络，不断在Net_D判别网络中输入真实局部图像，通过损失函数计算损失，并将损失回传，通过损失来不断训练优化改变判别网络参数，使Net_D判别网络能够判别什么是真实局部图像，什么是fake局部图像；
训练NetD_Aux判别网络：使用G生成网络生成的fake局部图像，将fake局部图像与被加了mask的真实图像结合生成fake全局图像，输入到NetD_Aux判别网络中，再不断输入真实全局图像，通过损失函数计算损失，并将损失回传，通过损失来不断训练优化改变判别网络参数；
训练G生成网络，当判别网络能够判别fake图像和真实图像后，再使用G生成网络生成fake图像，判别网络会对这些图像进行判别，同时计算fake图像与原始数据real之间的损失，将损失回传给生成网络，通过损失训练优化改变参数，从而改变生成图像的方式，使生成的图像进一步接近生成图像接近真实，继续训练判别网络，G生成网络按照上一步训练好的生成图像的策略，再批量生成一系列图像，分别输入到Net_D判别网络、NetD_Aux判别网络进行判别计算损失进行训练。每对判别网络的参数更新一次，便接着更新一次生成网络的参数，最后，得到最优的网络模型参数，然后使用训练好的模型将待修复的图像输入到模型中就可以生成与待修复的图像高度相似的结果来完成图像修复工作。
实施例
通过结合深度学习框架PyTorch的实例来说明本发明的基于双判别DCGAN的图像修复方法的实现过程。
(1)进行数据集和预处理：本实施了采用的数据集是在网络中收集得到的动漫头像数据集Data_Anime，将得到的数据集进行筛选，选取效果较好的图片，去除重复、不完整以及不清晰的图片，以免训练时这些数据影响生成网络的参数优化。然后制作训练集和测试集，其中，训练集共计50000张，样本如图2所示，测试集共计2000张，样本如图3所示，对于测试集数据，是在真实图片中心加入mask图片构成如图4所示，图片尺寸为128px*128px；
(2)搭建G生成网络：本实施例设计的G生成网络采用编码—解码的结构，编码使用卷积算法，是一个下层采样并编码的过程，将一个高维度的图像转化成低维结果，解码使用置换卷积算法进行上层采样并解码。通过编码—解码就可以使得网络具有出色的生成能力，该网络可以生成以假乱真的图像数据。编码和解码分别为6层网络和5层网络，为了提高该网络的生成效率，加快拟合速度，该网络的输入并不采用输入随机噪声的方式，而是输入进行覆盖处理的128px*128px的图像。网络结构如图5，对图像进行卷积操作(下层采样)学习图像的特征，再进行转置卷积(上层采样)，最终生成64px*64px的fake图像。输出层的激活函数采用Tanh，卷积层的激活函数采用LeakyReLU，反卷积层的激活函数采用ReLU，其网络参数如图6所示；
(3)搭建Net_D判别网络，本文构造为5层结构，输入图片的尺寸为64px*64px，然后通过卷积操作逐层的提取图片的特征。其网络结构如图7所示。在第一次做卷积时，其卷积核的kernel为4*4，此时输入样本为64px*64px、channel为3的彩色图片，步长为2做卷积操作后得到一个32px*32px，channel为64的结果。DCGAN要求Net_D判别网络中，激活函数都使用LeakyReLU()激活函数，激活函数是为了将神经网络的线性输出结果变为非线性的输出，其目的是为了让神经网络可以描述非线性问题，从而更好的描述并解决现实问题，使神经网络变得更加的强大。作为激活函数LeakyReLU()激活函数在实际的使用中表现出了不错的效果，第二次、第三次、第四次卷积操作同第一次。在第五次卷积操作时，设置步长为1，最终得到一个一维向量。其网络参数如图8所示；
(4)搭建NetD_Aux判别网络，构造为6层结构，输入图片的尺寸为128px*128px，然后通过卷积操作逐层的提取图片的特征。其网络结构如图9所示，在第一次做卷积时，其卷积核的kernel为4*4，此时输入样本为128px*128px、channel为3的彩色图片，步长为2做卷积操作后得到一个64px*64px，channel为64的结果。第二次、第三次、第四次、第五次卷积操作同第一次。在第六次卷积操作时，设置步长为1，最终得到一个一维向量，其网络参数如图10所示；
(5)设置优化器，选取了RMSprop优化器，RMSprop优化器更加适用于非平稳目标，lr为训练时的学习率参数，本发明设为0.002；
(6)进行相关参数配置，batchSize为每次迭代训练时输入图片的数量，本发明设定为64；imageSize为输入生成网络的图片尺寸，本发明设为128px；niter为训练时总的epoch数目，本发明设为30；
(7)训练Net_D判别网络，将真实局部输入到Net_D判别网络，使用pytorch定义一个二分类交叉熵损失函数BCELoss，并计算局部对抗损失，再将真实全局图片输入NetD_Aux网络判别中，并计算全局对抗损失，将(真实局部对抗损失+真实全局对抗损失)*0.5进行损失回传。再将Net_G生成网络生成的局部图片输入Net_D判别网络中，再将生成的局部图片与加入mask的图片结合(类似于图3)，也就是生成的全局图片输入NetD_Aux判别网络中，并计算全局对抗损失，将(生成局部对抗损失+生成全局对抗损失)*0.5进行损失回传，使用优化器对Net_D、Net_D_Aux网络进行优化；
(8)训练G网络，先使用Net_G生成网络生成局部输入到Net_D判别网络中，并计算局部对抗损失，再将生成的局部图片与加入mask的图片结合，也就是生成的全局图片输入NetD_Aux判别网络中，并计算全局对抗损失。使用pytorch定义一个均方损失函数MSELoss，再定义一个特征提取器，通过均方损失函数MSELoss计算生成的局部图片与真实局部图片之间的空间损失与特征损失，再计算将生成的局部图加入有mask的图片结合的图片与真实全局图片之间的空间损失和特征损失，以上，代入公式loss_g＝(0.002*0.34*(局部对抗损失+全局对抗损失)+(0.449*0.33*(局部空间损失+全局空间损失))+(0.449*0.33*(局部特征损失+全局特征损失))，将loss_g进行损失回传，使用优化器对G网络进行优化。局部与全局损失原理图如图11所示，最终，经过30epoch后，结果图如图12所示。
Claims (8)
1.基于双判别深度卷积生成式对抗网络的图像修复方法，其特征在于，具体包括如下步骤：
步骤1，将待处理图像进行预处理，作为训练集数据图像；
步骤2，构建双判别深度卷积生成式对抗网络模型，包括G生成网络、Net_D判别网络和NetD_Aux判别网络，所述G生成网络用于生成图像；所述Net_D判别网络判别局部图像，所述NetD_Aux判别网络判别全局图像，两个判别网络均通过卷积操作逐层提取图像的特征；
步骤3，将预处理后的待处理图像输入G生成网络中，分别对G生成网络、Net_D判别网络和NetD_Aux判别网络进行训练，通过分别计算对抗损失、图像空间损失和图像特征空间损失，基于反向传播算法优化网络参数，按照设定的学习率进行参数的迭代更新，按照生成网络和两个判别网络交替训练，当G生成网络生成的图像与真实图像接近时训练完成；
步骤4，将待修复的图像输入到训练好的双判别深度卷积生成式对抗网络模型中进行图像修复。
2.如权利要求1所述的基于双判别深度卷积生成式对抗网络的图像修复方法，其特征在于，所述步骤1中图像的预处理是通过筛选去除重复、不完整以及不清晰的图像。
3.如权利要求1所述的基于双判别深度卷积生成式对抗网络的图像修复方法，其特征在于，所述G生成网络采用编码器-解码结器，编码器使用卷积算法实现下层采样并编码，采用6层网络，解码器使用置换卷积算法进行上层采用并解码，采用5层网络；所述Net_D判别网络采用5层网络，NetD_Aux判别网络采用6层网络。
4.如权利要求1所述的基于双判别深度卷积生成式对抗网络的图像修复方法，其特征在于，所述步骤2中所述G生成网络中卷积层的函数LeakyReLU，反卷积层的激活函数采用ReLU，输出层的激活函数采用Tanh。
5.如权利要求1所述的基于双判别深度卷积生成式对抗网络的图像修复方法，其特征在于，所述Net_D判别网络和NetD_Aux判别网络中激活函数采用LeakyReLU()激活函数。
6.如权利要求1所述的基于双判别深度卷积生成式对抗网络的图像修复方法，其特征在于，所述步骤3包括如下过程：
将训练集图像数据输入G生成网络中得到生成图像；
将生成图像和真实图像输入Net_D判别网络中，通过损失函数计算局部对抗损失，训练优化网络参数得到真实的局部图像；
将G生成网络得到的生成图像与被加mask的真实图像结合生成伪全局图像，将伪全局图像和真实图像输入到NetD_Aux判别网络中，通过损失函数计算全局对抗损失，训练优化网络参数得到真实的全局图像；
将局部对抗损失和全局对抗损失进行损失回传到G生成网络中，G生成网络中不断输出生成图像，定义特征提取器，通过均方损失函数计算生成图像和真实图像之间的图像空间损失与特征空间损失，将所有的损失加权和进行回传，训练G生成网络，重复交替训练生成网络和判别网络，直到G生成网络生成的图像经过判别网络的判别结果接近1，则训练完成。
7.如权利要求6所述的基于双判别深度卷积生成式对抗网络的图像修复方法，其特征在于，所述Net_D判别网络中采用交叉熵损失函数，如式(1)所示：
其中，Gθ(yi)表示G生成网络的生成图像，表示生成网络生成图片是真实图像的概率。
8.如权利要求6所述的基于双判别深度卷积生成式对抗网络的图像修复方法，其特征在于，所述均方损失函数包括：
计算图像空间损失如式(2)所示：
其中，Gθ(yi)表示G生成网络的生成图像，xi表示真实图像；
计算特征空间损失如式(3)所示：
其中，C表示特征提取器，Gθ(yi)表示G生成网络的生成图像，xi表示真实图像；
所有的损失进行加权和，如式(4)所示：
其中，表示特征空间损失，λfeat表示特征空间损失的权重，表示对抗损失，λadv表示对抗损失的权重，表示空间损失，λimg是空间损失的权重。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910759037.5A CN110570366A (zh) | 2019-08-16 | 2019-08-16 | 基于双判别深度卷积生成式对抗网络的图像修复方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910759037.5A CN110570366A (zh) | 2019-08-16 | 2019-08-16 | 基于双判别深度卷积生成式对抗网络的图像修复方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110570366A true CN110570366A (zh) | 2019-12-13 |
Family
ID=68775642
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910759037.5A Pending CN110570366A (zh) | 2019-08-16 | 2019-08-16 | 基于双判别深度卷积生成式对抗网络的图像修复方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110570366A (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111192221A (zh) * | 2020-01-07 | 2020-05-22 | 中南大学 | 基于深度卷积生成对抗网络的铝电解火眼图像修补方法 |
| CN111311527A (zh) * | 2020-01-19 | 2020-06-19 | 上海工程技术大学 | 基于内容感知生成模型的图像修复方法 |
| CN111915522A (zh) * | 2020-07-31 | 2020-11-10 | 天津中科智能识别产业技术研究院有限公司 | 一种基于注意力机制的图像修复方法 |
| CN112233047A (zh) * | 2020-12-10 | 2021-01-15 | 北京沃东天骏信息技术有限公司 | 一种图像处理方法、装置、设备和计算机可读存储介质 |
| CN112488956A (zh) * | 2020-12-14 | 2021-03-12 | 南京信息工程大学 | 一种基于wgan网络进行图像修复的方法 |
| CN112836573A (zh) * | 2020-12-24 | 2021-05-25 | 浙江大学 | 一种基于对抗生成网络的车道线图像增强与补全方法 |
| CN113052980A (zh) * | 2021-04-27 | 2021-06-29 | 云南大学 | 一种虚拟试衣方法及系统 |
| CN113112411A (zh) * | 2020-01-13 | 2021-07-13 | 南京信息工程大学 | 基于多尺度特征融合的人脸图像语义修复方法 |
| CN113139915A (zh) * | 2021-04-13 | 2021-07-20 | Oppo广东移动通信有限公司 | 人像修复模型的训练方法和装置、电子设备 |
| CN114117333A (zh) * | 2022-01-20 | 2022-03-01 | 南湖实验室 | 用于异常检测的对抗重构网络设计、训练方法及检测方法 |
| CN115115783A (zh) * | 2022-07-08 | 2022-09-27 | 西南石油大学 | 一种模拟页岩基质纳微米孔隙的数字岩心构建方法及系统 |
| CN115546212A (zh) * | 2022-11-29 | 2022-12-30 | 浙江大学计算机创新技术研究院 | 基于全局上下文嵌入生成对抗网络的图像异常检测方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109191402A (zh) * | 2018-09-03 | 2019-01-11 | 武汉大学 | 基于对抗生成神经网络的图像修复方法和系统 |
| CN109886167A (zh) * | 2019-02-01 | 2019-06-14 | 中国科学院信息工程研究所 | 一种遮挡人脸识别方法及装置 |
-
2019
- 2019-08-16 CN CN201910759037.5A patent/CN110570366A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109191402A (zh) * | 2018-09-03 | 2019-01-11 | 武汉大学 | 基于对抗生成神经网络的图像修复方法和系统 |
| CN109886167A (zh) * | 2019-02-01 | 2019-06-14 | 中国科学院信息工程研究所 | 一种遮挡人脸识别方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| ALEXEY DOSOVITSKIY ET AL；: "《Generating Images with Perceptual Similarity Metrics based on Deep Networks 》", 《30TH CONFERENCE ON NEURAL INFORMATION PROCESSING SYSTEMS》 * |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111192221B (zh) * | 2020-01-07 | 2024-04-16 | 中南大学 | 基于深度卷积生成对抗网络的铝电解火眼图像修补方法 |
| CN111192221A (zh) * | 2020-01-07 | 2020-05-22 | 中南大学 | 基于深度卷积生成对抗网络的铝电解火眼图像修补方法 |
| CN113112411B (zh) * | 2020-01-13 | 2023-11-24 | 南京信息工程大学 | 基于多尺度特征融合的人脸图像语义修复方法 |
| CN113112411A (zh) * | 2020-01-13 | 2021-07-13 | 南京信息工程大学 | 基于多尺度特征融合的人脸图像语义修复方法 |
| CN111311527A (zh) * | 2020-01-19 | 2020-06-19 | 上海工程技术大学 | 基于内容感知生成模型的图像修复方法 |
| CN111915522A (zh) * | 2020-07-31 | 2020-11-10 | 天津中科智能识别产业技术研究院有限公司 | 一种基于注意力机制的图像修复方法 |
| CN112233047A (zh) * | 2020-12-10 | 2021-01-15 | 北京沃东天骏信息技术有限公司 | 一种图像处理方法、装置、设备和计算机可读存储介质 |
| CN112488956A (zh) * | 2020-12-14 | 2021-03-12 | 南京信息工程大学 | 一种基于wgan网络进行图像修复的方法 |
| CN112836573A (zh) * | 2020-12-24 | 2021-05-25 | 浙江大学 | 一种基于对抗生成网络的车道线图像增强与补全方法 |
| CN113139915A (zh) * | 2021-04-13 | 2021-07-20 | Oppo广东移动通信有限公司 | 人像修复模型的训练方法和装置、电子设备 |
| CN113052980A (zh) * | 2021-04-27 | 2021-06-29 | 云南大学 | 一种虚拟试衣方法及系统 |
| CN114117333B (zh) * | 2022-01-20 | 2022-05-17 | 南湖实验室 | 用于异常检测的对抗重构网络设计、训练方法及检测方法 |
| CN114117333A (zh) * | 2022-01-20 | 2022-03-01 | 南湖实验室 | 用于异常检测的对抗重构网络设计、训练方法及检测方法 |
| CN115115783A (zh) * | 2022-07-08 | 2022-09-27 | 西南石油大学 | 一种模拟页岩基质纳微米孔隙的数字岩心构建方法及系统 |
| CN115115783B (zh) * | 2022-07-08 | 2023-08-15 | 西南石油大学 | 一种模拟页岩基质纳微米孔隙的数字岩心构建方法及系统 |
| CN115546212A (zh) * | 2022-11-29 | 2022-12-30 | 浙江大学计算机创新技术研究院 | 基于全局上下文嵌入生成对抗网络的图像异常检测方法 |
| CN115546212B (zh) * | 2022-11-29 | 2023-04-07 | 浙江大学计算机创新技术研究院 | 基于全局上下文嵌入生成对抗网络的图像异常检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110570366A (zh) | 基于双判别深度卷积生成式对抗网络的图像修复方法 | |
| CN108537743B (zh) | 一种基于生成对抗网络的面部图像增强方法 | |
| CN111275647B (zh) | 一种基于循环生成对抗网络的水下图像复原方法 | |
| CN110363716B (zh) | 一种基于条件生成对抗网络复合降质图像高质量重建方法 | |
| CN110189278B (zh) | 一种基于生成对抗网络的双目场景图像修复方法 | |
| CN111062880A (zh) | 一种基于条件生成对抗网络的水下图像实时增强方法 | |
| CN109671023A (zh) | 一种人脸图像超分辨率二次重建方法 | |
| CN113658051A (zh) | 一种基于循环生成对抗网络的图像去雾方法及系统 | |
| CN113313644B (zh) | 一种基于残差双注意力网络的水下图像增强方法 | |
| CN112288632B (zh) | 基于精简esrgan的单图像超分辨率方法及系统 | |
| CN111901532B (zh) | 基于循环神经网络迭代策略的视频稳定方法 | |
| CN109949222A (zh) | 基于语义图的图像超分辨率重建方法 | |
| CN114897742B (zh) | 一种纹理和结构特征两次融合的图像修复方法 | |
| Luo et al. | Bi-GANs-ST for perceptual image super-resolution | |
| CN109903373A (zh) | 一种基于多尺度残差网络的高质量人脸生成方法 | |
| CN115146763A (zh) | 一种非配对图像阴影去除方法 | |
| CN114187191A (zh) | 一种基于高频-低频信息融合的图像去模糊方法 | |
| Chen et al. | Joint denoising and super-resolution via generative adversarial training | |
| CN112686817A (zh) | 一种基于不确定性估计的图像补全方法 | |
| CN112581550A (zh) | 一种基于生成对抗网络的非匹配图像风格转换方法 | |
| CN114821174B (zh) | 一种基于内容感知的输电线路航拍图像数据清洗方法 | |
| Wang | Single image super-resolution with u-net generative adversarial networks | |
| Cheng et al. | Enhancement of underwater images by super-resolution generative adversarial networks | |
| CN113888417A (zh) | 基于语义解析生成指导的人脸图像修复方法 | |
| Yan et al. | Textual Prompt Guided Image Restoration |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |