CN110599411A - 一种基于条件生成对抗网络的图像修复方法及系统 - Google Patents

一种基于条件生成对抗网络的图像修复方法及系统 Download PDF

Info

Publication number
CN110599411A
CN110599411A CN201910731811.1A CN201910731811A CN110599411A CN 110599411 A CN110599411 A CN 110599411A CN 201910731811 A CN201910731811 A CN 201910731811A CN 110599411 A CN110599411 A CN 110599411A
Authority
CN
China
Prior art keywords
image
data set
network
training data
repaired
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910731811.1A
Other languages
English (en)
Inventor
金星
夏伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Geosciences
Original Assignee
China University of Geosciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Geosciences filed Critical China University of Geosciences
Priority to CN201910731811.1A priority Critical patent/CN110599411A/zh
Publication of CN110599411A publication Critical patent/CN110599411A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于条件生成对抗网络的图像修复方法及系统，其方法包括：首先在CelebA数据集上训练条件生成对抗网络CGAN，然后将待修复图像输入CGAN生成一系列与之相似的伪造图像，且定义了一个由语境损失和感知损失组成的损失函数。语境损失保证待修复图像与修复后图像内容的相似性，感知损失保证视觉上输出完整逼真的图像最后利用该损失函数的反向传播算法，把待修补图像映射到较小的潜在空间，将映射后的矢量输入CGAN中生成待修补图像的最佳伪造图像。本发明的有益效果是：提出了基于条件生成对抗网络的图像修复方法，从本质上彻底解决了生成对抗网络训练不稳定以及崩溃问题；结合语境损失和感知损失函数获取最佳伪造图像，完成图像缺失区域修复。

Description

一种基于条件生成对抗网络的图像修复方法及系统
技术领域
本发明涉及计算机视觉图像修复领域，尤其涉及一种基于条件生成对抗网络的图像修复方法及系统。
背景技术
图像修复起源于文艺复兴时期人们对艺术品的修复，重建优美的艺术品传承国家文化供人们欣赏学习，利用图像缺失区域的邻域信息，按照一定的修复规则实现缺失区域的修复，使得观察者在视觉上无法感知图像曾经破损或己被修复。20世纪80年代以来，随着计算机人工智能和数字媒体技术的飞速发展，艺术作品的修复己经由传统的纯手工修复，转为计算机自动检测破损区域并完成修复。数字图像修复技术也不再局限于数字博物馆中艺术品的修复，也延伸到了公安刑侦面部修复、影视特技制作、图像缩放、冗余目标剔除、视频通信的错误隐匿、图像有损压缩和生物医学图像应用等众多领域，在图像修复的过程中，由于破损区域邻域和背景信息复杂，修复过程毫无规律可循，数学模型建立困难等一系列问题，导致图像修复技术成为当前计算机视觉和计算机图形学领域的一个研究热点，具有非常重大的研究价值和应用价值。
目前，数字图像修复算法主要包括三个方向:基于结构的图像修复算法、基于纹理的图像修复算法和基于深度学习的图像修复算法。基于结构的图像修复算法利用信息扩散原理实现图像修复，对视觉信息中的结构性原则有着很好的体现，但是该方法应用范围过于局部，主要用于小尺度缺失区域的修复当缺损区域较大时往往导致修复后的图像模糊不清，修复效果不佳。基于纹理的图像修复技术主要用于修复面积较大的缺损区域，通过仿真生成局部纹理信息进行填充。目前基于结构和纹理的图像修复算法均可以修复褶皱等小块区域缺失，随着缺失巨域的扩大，修复效果逐渐恶化，修复结果中存在语义信息不完整，图像模糊等问题，无法达到修复的要求。近年来，深度学习在图像语义修复、情景感知等领域展现着令人振奋的前景，基于深度学习的图像修复算法相对于传统的基于结构和纹理的修复算法能够捕获更多图像的高级特征，所以经常被用来进行纹理合成和图像风格化。然而，目前存在的基于深度学习的图像修复算法均停留在监督学习的基础之上，为图像修复带来很多限制性因素。在非监督学习领域中，2014年由Goodfellow提出的生成式对抗式网络(GAN)取得了开创性进展，在图像修补的过程中，生成式对抗网络相对于编码一解码器而言能够更好地拟合数据，拟合速度较快且生成的样本更加锐利，但是该方法也存在许多弊端，例如数据训练不稳定、模型自由不可控、训练崩溃等问题。CGAN解决了训练崩溃的问题，因此，将条件生成式对抗网络应用到图像修复领域成为研究热点。
发明内容
为了解决上述问题，本发明提供了一种基于条件生成对抗网络的图像修复方法及系统；一种基于条件生成对抗网络的图像修复方法，主要包括以下步骤：
S101：获取训练数据集，并对所述训练数据集中的数据进行预处理，得到预处理后的训练数据集；
S102：将所述预处理后的训练数据集作为CGAN网络的训练数据集，以对所述CGAN网络进行训练，得到训练好的CGAN网络；
S103：将待修复图像输入至所述训练好的CGAN网络，得到修复后的图像。
进一步地，步骤S101中，所述训练数据集采用CelebA数据集；通过Openface平台对所述训练数据集中的数据进行预处理，包括：首先采用人脸检测算法检测所述训练数据集中的各图像中的人脸区域，然后将检测出来的人脸区域统一裁剪为64×64大小且对齐，得到预处理后的训练数据集。
进一步地，步骤S102中，所述CGAN网络包括生成器G和判别器D，生成器G和判别器D的层数相同，且生成器G的卷积核为判别器D的卷积核的转置；采用预训练好的GAN网络实现CGAN网络的迁移学习，在训练过程中、将GAN模型的目标函数更改为CGAN的目标函数，将GAN中的全连接层更改为卷积层以及进行网络的微调，最后根据loss函数值是否趋于稳定确定是否收敛以结束训练，若loss函数值趋于稳定，则收敛，结束训练，得到训练好的CGAN网络。
进一步地，步骤S103中，将待修复图像输入至所述训练好的CGAN网络，得到修复后的图像，具体包括：
将待修复图像经过编码后输入至生成器G和判别器D，生成器G通过输入随机噪声向量生成修复图像，判别器D判断所述待修复图像与所述修复图像的真假概率；通过不断迭代优化，最终使得判别器D判别不出生成器G生成的修复图像的真假，即达到纳什均衡，输出最终的修复图像，从而实现图像修复。
进一步地，一种基于条件生成对抗网络的图像修复系统，其特征在于：包括以下模块：
训练数据获取模块，用于获取训练数据集，并对所述训练数据集中的数据进行预处理，得到预处理后的训练数据集；
网络训练模块，用于将所述预处理后的训练数据集作为CGAN网络的训练数据集，以对所述CGAN网络进行训练，得到训练好的CGAN网络；
图像修复模块，用于将待修复图像输入至所述训练好的CGAN网络，得到修复后的图像。
进一步地，训练数据获取模块中，所述训练数据集采用CelebA数据集；通过Openface平台对所述训练数据集中的数据进行预处理，包括：首先采用人脸检测算法检测所述训练数据集中的各图像中的人脸区域，然后将检测出来的人脸区域统一裁剪为64×64大小且对齐，得到预处理后的训练数据集。
进一步地，网络训练模块中，所述CGAN网络包括生成器G和判别器D，生成器G和判别器D的层数相同，且生成器G的卷积核为判别器D的卷积核的转置；采用预训练好的GAN网络实现CGAN网络的迁移学习，在训练过程中、将GAN模型的目标函数更改为CGAN的目标函数，将GAN中的全连接层更改为卷积层以及进行网络的微调，最后根据loss函数值是否趋于稳定确定是否收敛以结束训练，若loss函数值趋于稳定，则收敛，结束训练，得到训练好的CGAN网络。
进一步地，图像修复模块中，将待修复图像输入至所述训练好的CGAN网络，得到修复后的图像，具体包括：
将待修复图像经过编码后输入至生成器G和判别器D，生成器G通过输入随机噪声向量生成修复图像，判别器D判断所述待修复图像与所述修复图像的真假概率；通过不断迭代优化，最终使得判别器D判断不出生成器G生成的修复图像的真假，即达到纳什均衡，输出最终的修复图像，从而实现图像修复。
本发明提供的技术方案带来的有益效果是：本发明所提出的技术方案具有以下优点：
1)提出了基于条件生成对抗网络的图像修复方法，从本质上彻底解决了生成对抗网络训练不稳定以及崩溃问题；
2)结合语境损失和感知损失函数获取最佳伪造图像，完成图像缺失区域修复；
3)通过迁移学习方法实现条件生成对抗网络模型搭建，只需要微调参数即可，大大节省了训练时间，增加了效率。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明实施例中一种基于条件生成对抗网络的图像修复方法的流程图；
图2是本发明实施例中一种基于条件生成对抗网络的图像修复方法的原理图；
图3是本发明实施例中一种基于条件生成对抗网络的图像修复方法的对应效果图；
图4是本发明实施例中一种基于条件生成对抗网络的图像修复系统的模块组成示意图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
本发明的实施例提供了一种基于条件生成对抗网络的图像修复方法及系统。
请参考图1，图1是本发明实施例中一种基于条件生成对抗网络的图像修复方法的流程图，具体包括如下步骤：
S101：获取训练数据集，并对所述训练数据集中的数据进行预处理，得到预处理后的训练数据集；
S102：将所述预处理后的训练数据集作为CGAN网络的训练数据集，以对所述CGAN网络进行训练，得到训练好的CGAN网络；
S103：将待修复图像输入至所述训练好的CGAN网络，得到修复后的图像。
步骤S101中，所述训练数据集采用CelebA数据集；通过Openface平台对所述训练数据集中的数据进行预处理，包括：首先采用人脸检测算法检测所述训练数据集中的各图像中的人脸区域，然后将检测出来的人脸区域统一裁剪为64×64大小且对齐，得到预处理后的训练数据集。
该数据集是香港中文大学多媒体实验室公开的大型人脸属性数据集，共包含20万张名人图像，每一张都包含40个二进制属性注释，涵盖了相当大的人体姿态变化以及背景噪声，具有丰富的多样性。
在本发明实施例中，采用LFW数据集作为测试集对CGAN网络的性能进行测试，LFW数据集一共包含5749个人，13233张图片，利用这些图片完成图像修复任务和评价图像修复算法的性能；
在本发明实施例中，将训练数据集存放在data/dataset文件夹下，测试集经过处理加上mask后存放在data/test_data文件夹下，然后使用data/ataset文件夹下的数据完成CGAN训练。
如图2所示，生成式对抗网络模型(CGAN网络模型)是2014年由GoodFellow提出的基于非监督学习的网经框架，由生成器G和判别器D构成，其中生成器通过输入噪声向量生成图像，判别器判断原始图像与生成图像的概率，结合判别结果调整生成器和判别器的网络参数，使得生成器生成更加真实的图像，判别器能够更好的判别图像来自生成图像还是真实图像，通过不断迭代进行，最终使得生成器生成的图片判别器真假难辨。而在原始的生成式对抗网络(GAN)模型中，存在训练不稳定、收敛性差、无标签数据导致的模型自由不可控等问题，使得生成器生成的图像没有预想中的令人满意。
步骤S102中，所述CGAN网络包括生成器G和判别器D，生成器G和判别器D的层数相同，且生成器G的卷积核为判别器D的卷积核的转置；采用预训练好的GAN网络实现CGAN网络的迁移学习，在训练过程中、将GAN模型的目标函数更改为CGAN的目标函数，将GAN中的全连接层更改为卷积层以及进行网络的微调，最后根据loss函数值是否趋近稳定确定是否收敛以结束训练；若loss函数值趋于稳定，则收敛，结束训练，得到训练好的CGAN网络。
其中，根据loss函数值是否趋近稳定确定是否收敛以结束训练的具体方法为；
判断条件V(G,D)-V′(G,D)≤p是否成立？若是，则收敛，结束训练；否则，不收敛，继续训练；其中，V(G,D)为当前的loss函数值，V′(G,D)为上一次循环的loss函数值，p为预设的阈值，且p大于0。
所述判别器D包括本地判别器和全局判别器，且二者共享相同的参数；本地判别器和全局判别器分别用于判断生成器G生成的图像和判断真实图片，在训练的过程中，每次在小批量图片中取样，运行优化升级网络方法。
在本发明实施例中，为了训练的简单快捷，只针对人脸图像的生成和语义修复任务，针对所述预处理后的训练数据集中的某张图像，具体操作如下：
首先通过编码器对该图像进行编码，得到编码之后的真实图像；
然后构造均匀分布(0,1)的随机噪声，并将该随机噪声输入到生成器G中生成修复图像；其中生成器的损失函数为：
LG＝log(1-D(G(z))
上式中，z为随机噪声，D(G(z))表示判别器D判断生成器G生成的修复图像是真实的概率；
将生成器G生成的修复图像与所述编码之后的真实图像共同输入判别器D，并反向修改生成器G和判别器D的网络参数；通过不断迭代进行，使得最终生成器G生成具有与真实图像类似特征的图像集；其中判别器D的目标函数为：
Ld＝-(log(D(x))+log(1-D(G(z)))
x为编码之后的真实图像；D(x)表示判别网络D判断真实图像是否真实的概率，越接近1越好；
LD的大小表示CGAN网络训练进程；LD值越小，表示网络训练程度越好，通过观测LD值的变化直观显示网络训练进程，获取网络训练的最优状态，避免了网络训练达到最优值后开始崩溃；
最后，计算Loss函数值，Loss函数的表达式如下：
上式中，表示直接在x中取的真实样本，表示从已知的噪声分布中取的样本；x是真实图像，G(z)表示生成网络G生成的修复图像；
当V(G,D)趋于稳定时(V(G,D)的变化范围小于或者等于预设阈值p时)，结束训练，得到训练好的CGAN网络。
步骤S103中，将待修复图像输入至所述训练好的CGAN网络，得到修复后的图像，具体包括：
将待修复图像经过编码后输入至生成器G和判别器D，生成器G通过输入随机噪声向量生成修复图像，判别器D判断所述待修复图像与所述修复图像的真假概率；通过不断迭代优化，最终使得判别器D判别不出生成器G生成的修复图像的真假，即达到纳什均衡，输出最终的修复图像，从而实现图像修复。
本发明基于生成条件对抗网络的图像修复方法的对应效果图如图3所示。
请参阅图4，图4是本发明实施例中一种基于条件生成对抗网络的图像修复系统的模块组成示意图，包括顺次连接的训练数据获取模块11、网络训练模块12和图像修复模块13；
训练数据获取模块11，用于获取训练数据集，并对所述训练数据集中的数据进行预处理，得到预处理后的训练数据集；
网络训练模块12，用于将所述预处理后的训练数据集作为CGAN网络的训练数据集，以对所述CGAN网络进行训练，得到训练好的CGAN网络；
图像修复模块13，用于将待修复图像输入至所述训练好的CGAN网络，得到修复后的图像。
进一步地，训练数据获取模块11中，所述训练数据集采用CelebA数据集；通过Openface平台对所述训练数据集中的数据进行预处理，包括：首先采用人脸检测算法检测所述训练数据集中的各图像中的人脸区域，然后将检测出来的人脸区域统一裁剪为64×64大小且对齐，得到预处理后的训练数据集。
进一步地，网络训练模块12中，所述CGAN网络包括生成器G和判别器D，生成器G和判别器D的层数相同，且生成器G的卷积核为判别器D的卷积核的转置；采用预训练好的GAN网络实现CGAN网络的迁移学习，在训练过程中、将GAN模型的目标函数更改为CGAN的目标函数，将GAN中的全连接层更改为卷积层以及进行网络的微调，最后根据loss函数值是否趋于稳定确定是否收敛以结束训练，若Loss函数值趋于稳定，则收敛，结束训练，得到训练好的CGAN网络。
进一步地，图像修复模块13中，将待修复图像输入至所述训练好的CGAN网络，得到修复后的图像，具体包括：
将待修复图像经过编码后输入至生成器G和判别器D，生成器G通过输入随机噪声向量生成修复图像，判别器D判断所述待修复图像与所述修复图像的真假概率；通过不断迭代优化，最终使得判别器D判别不出生成器G生成的修复图像的真假，即达到纳什均衡，输出最终的修复图像，从而实现图像修复。
本发明的有益效果是：本发明所提出的技术方案具有以下优点：
1)提出了基于条件生成对抗网络的图像修复方法，从本质上彻底解决了生成对抗网络训练不稳定以及崩溃问题；
2)结合语境损失和感知损失函数获取最佳伪造图像，完成图像缺失区域修复；
3)通过迁移学习方法实现条件生成对抗网络模型搭建，只需要微调参数即可，大大节省了训练时间，增加了效率。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于条件生成对抗网络的图像修复方法，其特征在于：包括以下步骤：
S101：获取训练数据集，并对所述训练数据集中的数据进行预处理，得到预处理后的训练数据集；
S102：将所述预处理后的训练数据集作为CGAN网络的训练数据集，以对所述CGAN网络进行训练，得到训练好的CGAN网络；
S103：将待修复图像输入至所述训练好的CGAN网络，得到修复后的图像。
2.如权利要求1所述的一种基于条件生成对抗网络的图像修复方法，其特征在于：步骤S101中，所述训练数据集采用CelebA数据集；通过Openface平台对所述训练数据集中的数据进行预处理，包括：首先采用人脸检测算法检测所述训练数据集中的各图像中的人脸区域，然后将检测出来的人脸区域统一裁剪为64×64大小且对齐，得到预处理后的训练数据集。
3.如权利要求1所述的一种基于条件生成对抗网络的图像修复方法，其特征在于：步骤S102中，所述CGAN网络包括生成器G和判别器D，生成器G和判别器D的层数相同，且生成器G的卷积核为判别器D的卷积核的转置；采用预训练好的GAN网络实现CGAN网络的迁移学习，在训练过程中、将GAN模型的目标函数更改为CGAN的目标函数，将GAN中的全连接层更改为卷积层以及进行网络的微调，最后根据loss函数值是否趋于稳定确定是否收敛以结束训练，若loss函数值趋于稳定，则收敛，结束训练，得到训练好的CGAN网络。
4.如权利要求1所述的一种基于条件生成对抗网络的图像修复方法，其特征在于：步骤S103中，将待修复图像输入至所述训练好的CGAN网络，得到修复后的图像，具体包括：
将待修复图像经过编码后输入至生成器G和判别器D，生成器G通过输入随机噪声向量生成修复图像，判别器D判断所述待修复图像与所述修复图像的真假概率；通过不断迭代优化，最终使得判别器D判别不出生成器G生成的修复图像的真假，即达到纳什均衡，输出最终的修复图像，从而实现图像修复。
5.一种基于条件生成对抗网络的图像修复系统，其特征在于：包括以下模块：
训练数据获取模块，用于获取训练数据集，并对所述训练数据集中的数据进行预处理，得到预处理后的训练数据集；
网络训练模块，用于将所述预处理后的训练数据集作为CGAN网络的训练数据集，以对所述CGAN网络进行训练，得到训练好的CGAN网络；
图像修复模块，用于将待修复图像输入至所述训练好的CGAN网络，得到修复后的图像。
6.如权利要求5所述的一种基于条件生成对抗网络的图像修复系统，其特征在于：训练数据获取模块中，所述训练数据集采用CelebA数据集；通过Openface平台对所述训练数据集中的数据进行预处理，包括：首先采用人脸检测算法检测所述训练数据集中的各图像中的人脸区域，然后将检测出来的人脸区域统一裁剪为64×64大小且对齐，得到预处理后的训练数据集。
7.如权利要求5所述的一种基于条件生成对抗网络的图像修复系统，其特征在于：网络训练模块中，所述CGAN网络包括生成器G和判别器D，生成器G和判别器D的层数相同，且生成器G的卷积核为判别器D的卷积核的转置；采用预训练好的GAN网络实现CGAN网络的迁移学习，在训练过程中、将GAN模型的目标函数更改为CGAN的目标函数，将GAN中的全连接层更改为卷积层以及进行网络的微调，最后根据loss函数值是否趋于稳定确定是否收敛以结束训练，若loss函数值趋于稳定，则收敛，结束训练，得到训练好的CGAN网络。
8.如权利要求5所述的一种基于条件生成对抗网络的图像修复系统，其特征在于：图像修复模块中，将待修复图像输入至所述训练好的CGAN网络，得到修复后的图像，具体包括：
将待修复图像经过编码后输入至生成器G和判别器D，生成器G通过输入随机噪声向量生成修复图像，判别器D判断所述待修复图像与所述修复图像的真假概率；通过不断迭代优化，最终使得判别器D判别不出生成器G生成的修复图像的真假，即达到纳什均衡，输出最终的修复图像，从而实现图像修复。
CN201910731811.1A 2019-08-08 2019-08-08 一种基于条件生成对抗网络的图像修复方法及系统 Pending CN110599411A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910731811.1A CN110599411A (zh) 2019-08-08 2019-08-08 一种基于条件生成对抗网络的图像修复方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910731811.1A CN110599411A (zh) 2019-08-08 2019-08-08 一种基于条件生成对抗网络的图像修复方法及系统

Publications (1)

Publication Number Publication Date
CN110599411A true CN110599411A (zh) 2019-12-20

Family

ID=68853664

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910731811.1A Pending CN110599411A (zh) 2019-08-08 2019-08-08 一种基于条件生成对抗网络的图像修复方法及系统

Country Status (1)

Country Link
CN (1) CN110599411A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111311527A (zh) * 2020-01-19 2020-06-19 上海工程技术大学 基于内容感知生成模型的图像修复方法
CN111667443A (zh) * 2020-05-29 2020-09-15 东华大学 一种基于上下文融合的丝绸纹样图像修复方法
CN111681182A (zh) * 2020-06-04 2020-09-18 Oppo广东移动通信有限公司 图片修复方法、装置、终端设备以及存储介质
CN111950619A (zh) * 2020-08-05 2020-11-17 东北林业大学 一种基于双重生成对抗网络的主动学习方法
CN112837236A (zh) * 2021-01-27 2021-05-25 浙江大学 用于图像补全的修复神经网络训练方法、装置、计算机设备和存储介质
CN114612315A (zh) * 2022-01-06 2022-06-10 东南数字经济发展研究院 一种基于多任务学习的高分辨率影像缺失区域重建方法
CN116681604A (zh) * 2023-04-24 2023-09-01 吉首大学 一种基于条件生成对抗网络的秦简文字修复方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108520503A (zh) * 2018-04-13 2018-09-11 湘潭大学 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法
CN109377448A (zh) * 2018-05-20 2019-02-22 北京工业大学 一种基于生成对抗网络的人脸图像修复方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108520503A (zh) * 2018-04-13 2018-09-11 湘潭大学 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法
CN109377448A (zh) * 2018-05-20 2019-02-22 北京工业大学 一种基于生成对抗网络的人脸图像修复方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
刘恋: "基于语义编码器和CGAN联合优化的人脸缺损图像修复研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
孙全等: "基于生成对抗网络的图像修复", 计算机科学 *
赵立怡: "基于生成式对抗网络的图像修复算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111311527A (zh) * 2020-01-19 2020-06-19 上海工程技术大学 基于内容感知生成模型的图像修复方法
CN111667443A (zh) * 2020-05-29 2020-09-15 东华大学 一种基于上下文融合的丝绸纹样图像修复方法
CN111667443B (zh) * 2020-05-29 2021-10-12 东华大学 一种基于上下文融合的丝绸纹样图像修复方法
CN111681182A (zh) * 2020-06-04 2020-09-18 Oppo广东移动通信有限公司 图片修复方法、装置、终端设备以及存储介质
CN111950619A (zh) * 2020-08-05 2020-11-17 东北林业大学 一种基于双重生成对抗网络的主动学习方法
CN111950619B (zh) * 2020-08-05 2022-09-09 东北林业大学 一种基于双重生成对抗网络的主动学习方法
CN112837236A (zh) * 2021-01-27 2021-05-25 浙江大学 用于图像补全的修复神经网络训练方法、装置、计算机设备和存储介质
CN112837236B (zh) * 2021-01-27 2023-11-07 浙江大学 用于图像补全的修复神经网络训练方法、装置、计算机设备和存储介质
CN114612315A (zh) * 2022-01-06 2022-06-10 东南数字经济发展研究院 一种基于多任务学习的高分辨率影像缺失区域重建方法
CN114612315B (zh) * 2022-01-06 2024-08-09 东南数字经济发展研究院 一种基于多任务学习的高分辨率影像缺失区域重建方法
CN116681604A (zh) * 2023-04-24 2023-09-01 吉首大学 一种基于条件生成对抗网络的秦简文字修复方法
CN116681604B (zh) * 2023-04-24 2024-01-02 吉首大学 一种基于条件生成对抗网络的秦简文字修复方法

Similar Documents

Publication Publication Date Title
CN110599411A (zh) 一种基于条件生成对抗网络的图像修复方法及系统
CN108875935B (zh) 基于生成对抗网络的自然图像目标材质视觉特征映射方法
CN111340814B (zh) 一种基于多模态自适应卷积的rgb-d图像语义分割方法
CN109815826B (zh) 人脸属性模型的生成方法及装置
CN111429355A (zh) 一种基于生成对抗网络的图像超分辨率重建方法
CN112766160A (zh) 基于多级属性编码器和注意力机制的人脸替换方法
CN110348330A (zh) 基于vae-acgan的人脸姿态虚拟视图生成方法
CN112541864A (zh) 一种基于多尺度生成式对抗网络模型的图像修复方法
CN112232134B (zh) 一种基于沙漏网络结合注意力机制的人体姿态估计方法
WO2023212997A1 (zh) 基于知识蒸馏的神经网络训练方法、设备及存储介质
CN111681188B (zh) 基于结合图像像素先验和图像梯度先验的图像去模糊方法
CN115115523B (zh) 一种融合CNN和Transformer的医学图像深度信息提取方法
Zheng et al. T-net: Deep stacked scale-iteration network for image dehazing
CN111223057A (zh) 基于生成对抗网络的增量式聚焦的图像到图像转换方法
CN112614070B (zh) 一种基于DefogNet的单幅图像去雾方法
CN116486074A (zh) 一种基于局部和全局上下文信息编码的医学图像分割方法
CN111062329A (zh) 基于增广网络的无监督行人重识别方法
CN111640172A (zh) 一种基于生成对抗网络的姿态迁移方法
CN116664397A (zh) TransSR-Net结构化图像超分辨重建方法
CN116645598A (zh) 一种基于通道注意力特征融合的遥感图像语义分割方法
CN114973098A (zh) 一种基于深度学习的短视频去重方法
CN116309774A (zh) 一种基于事件相机的密集三维重建方法
Ma et al. Feature extraction for visual speaker authentication against computer-generated video attacks
CN114926734A (zh) 基于特征聚合和注意融合的固体废弃物检测装置及方法
CN110889868A (zh) 一种结合梯度和纹理特征的单目图像深度估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191220