CN111968053A - 基于门控卷积生成对抗网络的图像修复方法 - Google Patents
基于门控卷积生成对抗网络的图像修复方法 Download PDFInfo
- Publication number
- CN111968053A CN111968053A CN202010810808.1A CN202010810808A CN111968053A CN 111968053 A CN111968053 A CN 111968053A CN 202010810808 A CN202010810808 A CN 202010810808A CN 111968053 A CN111968053 A CN 111968053A
- Authority
- CN
- China
- Prior art keywords
- image
- network
- edge
- generation countermeasure
- texture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 230000008439 repair process Effects 0.000 claims abstract description 54
- 238000012549 training Methods 0.000 claims abstract description 49
- 238000012545 processing Methods 0.000 claims abstract description 10
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 28
- 238000003708 edge detection Methods 0.000 claims description 11
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 6
- 230000003595 spectral effect Effects 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明揭示了一种基于门控卷积生成对抗网络的图像修复方法，包括如下步骤：S1、构建门控卷积生成对抗网络；S2、获取训练图像并对所获取的训练图像进行预处理；S3、将经过预处理后的训练图像输入已建立的门控卷积生成对抗网络中、对门控卷积生成对抗网络进行训练；S4、将待修复图像输入已完成训练的门控卷积生成对抗网络中，边缘修复网络先对待修复图像进行处理、得到完整边缘图像，纹理修复网络再对待修复图像及完整边缘图像进行处理、得到最终的修复图像。本发明通过在边缘修复和纹理修复两阶段的修复网络中引入门控卷积的方式，有效地改善了网络在修复过程中产生不自然孔洞、修复区域与已知区域不一致等问题。
Description
技术领域
本发明为一种图像修复方法，具体涉及一种基于门控卷积生成对抗网络的图像修复方法，属于计算机视觉技术领域。
背景技术
图像修复技术是图像处理领域研究的一项重要内容，其目的是根据图像或视频中的已知部分来重建其丢失部分(即掩码区域)。现有的图像修复方法主要包括基于序列的方法、基于卷积神经网络(Convolutional Neural Network，CNN)的方法和基于生成对抗网络(Generative Adversarial Network，GAN)的方法。其中，基于序列的方法又可以具体分为基于扩散和基于补丁两种方式。上述这些方法在针对小区域遮挡和裂缝修复任务时非常有效，但是当图像包含很多纹理或图像掩码区域比例超过10％时，方法处理效率会显著下降、修复效果较差。
当前，随着人工智能技术的兴起，基于深度学习的图像修复技术凭借其优异的性能逐渐成为业内的主流研究方向，其中具有代表性的方法包括基于卷积神经网络的方法和基于生成对抗网络的方法两种。方法的发展过程简述如下。
Pathak等人在传统卷积神经网络的基础上设计并首次应用了生成对抗网络，提出了编解码器网络；它对带有固定且形状规则的掩码的图像进行修复是有效的，但由于该网络仅使用普通卷积，在修复带有自由形状掩码的图像时，会导致视觉的伪影。Liu等人提出使用部分卷积(Partial Conv)对不规则孔洞进行图像修复，让卷积只依赖于输入图像中的有效像素，取得了较好的效果；但随着层的加深，无效像素(即掩码中的黑色部分)均会逐渐变成有效像素，在较深的层内无法学习到掩码与图像之间的关系，导致修复后的图像中可以看到明显的掩码残留边界。Nazeri等人提出边缘修复加纹理修复的两阶段网络，先将缺损区域中的边缘与已知区域的颜色和纹理信息结合起来进行边缘恢复，再填充缺损的内容，得到了具有丰富纹理细节的修复结果；但由于网络中空洞卷积的各个卷积层的各个通道之间没有相关性，同样很难获得掩码与图像之间的关系，导致有时不能保证修复区域和已知区域的一致性。Yu等人发现门控卷积使得网络可以针对每个通道学习一种动态特征选择机制，在不同层选择不同通道，并在各通道之间建立联系，从而获得掩码与图像之间的关系；但门控卷积需要内嵌在多层的生成对抗网络中才能发挥作用。
综上所述，如何基于上述研究现状，提出一种全新的、基于门控卷积生成对抗网络的图像修复方法，以克服现有技术中所存在的不足，也就成为了本领域内技术人员所共同关注的问题。
发明内容
鉴于现有技术存在上述缺陷，本发明的目的是提出一种基于门控卷积生成对抗网络的图像修复方法，具体如下。
一种基于门控卷积生成对抗网络的图像修复方法，包括如下步骤：
S1、构建门控卷积生成对抗网络，所述门控卷积生成对抗网络由按序相连的边缘修复网络及纹理修复网络组成；
S2、获取训练图像并对所获取的训练图像进行预处理；
S3、将经过预处理后的训练图像输入已建立的所述门控卷积生成对抗网络中、对所述门控卷积生成对抗网络进行训练；
S4、将待修复图像输入已完成训练的所述门控卷积生成对抗网络中，所述边缘修复网络先对待修复图像进行处理、得到完整边缘图像，所述纹理修复网络再对待修复图像及完整边缘图像进行处理、得到最终的修复图像。
优选地，所述边缘修复网络及所述纹理修复网络内均包含有生成器及判别器。
优选地，所述边缘修复网络及所述纹理修复网络二者内的所述生成器均采用下采样+残差块+上采样的结构。
优选地，所述边缘修复网络及所述纹理修复网络二者内的所述判别器均采用谱归一化马尔科夫判别器。
优选地，所述门控卷积生成对抗网络的目标函数由L1重建损失函数及SN-PatchGAN损失函数组成。
优选地，所述边缘修复网络及所述纹理修复网络二者内的损失函数相同，均由SN-Patch GAN损失函数及生成器损失函数组成。
优选地，S2中所述对所获取的训练图像进行预处理，包括如下步骤：在所获取的训练图像上叠加任意大小、形状的掩码。
优选地，S3包括如下步骤：
S31、边缘检测，利用整体嵌套边缘检测算法对经过预处理后的训练图像进行边缘检测，获知图像边缘的破损信息、得到破损边缘图像；
S32、边缘修复，将所获得的破损边缘图像、掩码以及训练图像一起输入所述边缘修复网络中，所述边缘修复网络内的所述生成器进行图像边缘生成，当所述边缘修复网络内的所述判别器检测所生成的边缘为真时、输出完整边缘图像；
S33、纹理修复，将完整边缘图像及训练图像输入所述纹理修复网络中，所述纹理修复网络内的所述生成器进行图像纹理填充，当所述纹理修复网络内的所述判别器检测所填充的纹理为真时、输出完整的修复图像。
优选地，在S3执行过程中，所述边缘修复网络及所述纹理修复网络二者内所述生成器的残差块均使用门控卷积。
优选地，在S3执行过程中，利用Adam优化算法对所述门控卷积生成对抗网络内的参数进行训练。
与现有技术相比，本发明的优点主要体现在以下几个方面：
本发明所述的一种基于门控卷积生成对抗网络的图像修复方法，通过在边缘修复和纹理修复两阶段的修复网络中引入门控卷积的方式，提高了对输入图像特征的利用率，获得了掩码与图像的深层联系，有效地改善了网络在修复过程中产生不自然孔洞、修复区域与已知区域不一致等问题，提升了图像的修复质量。
同时，本发明的方法还采用了谱归一化马尔科夫判别器以及铰链损失函数，最大限度地丰富了生成内容的细节，提升了修复图像在评价指标方面的表现。
此外，本发明的方法步骤简单、可重复性强，具有一定的普适性特征，使用者还可以根据自身实际的应用需要对修复方法进行调整，进而将本发明的方法应用于各种不同图像的修复操作中，方法整体的应用前景广阔并具有极高的使用价值。
以下便结合附图，对本发明的具体实施方式作进一步的详述，以使本发明技术方案更易于理解、掌握。
附图说明
图1为本发明实施例中所建立的门控卷积生成对抗网络的网络结构示意图。
具体实施方式
本发明揭示了一种基于门控卷积生成对抗网络的图像修复方法，本发明的具体方案如下。
一种基于门控卷积生成对抗网络的图像修复方法，包括如下步骤：
S1、构建门控卷积生成对抗网络。
所述门控卷积生成对抗网络由按序相连的边缘修复网络及纹理修复网络组成，所述边缘修复网络及所述纹理修复网络内均包含有生成器及判别器。
其中，所述边缘修复网络及所述纹理修复网络二者均采用下采样+残差块+上采样的结构构造生成器；这样的方式加强了特征的复用，而且能够环节梯度消失的问题，减少网络参数量。所述边缘修复网络及所述纹理修复网络二者内的所述判别器均采用谱归一化马尔科夫判别器来判断生成器输出的真假；这样的方式可以有效改善训练过程中的不稳定问题。
所述门控卷积生成对抗网络的目标函数由L1重建损失函数及SN-Patch GAN损失函数组成；所述边缘修复网络及所述纹理修复网络二者内的损失函数相同，均由SN-PatchGAN损失函数及生成器损失函数组成。
S2、获取训练图像并对所获取的训练图像进行预处理。
此处所述对所获取的训练图像进行预处理，具体为在所获取的训练图像上叠加任意大小、形状的掩码。
S3、将经过预处理后的训练图像输入已建立的所述门控卷积生成对抗网络中、对所述门控卷积生成对抗网络进行训练。
S3具体包括如下步骤：
S31、边缘检测，利用整体嵌套边缘检测算法(Holistically-Nested EdgeDetection，HED)对经过预处理后的训练图像进行边缘检测，获知图像边缘的破损信息、得到破损边缘图像；
S32、边缘修复，将所获得的破损边缘图像、掩码以及训练图像一起输入所述边缘修复网络中，所述边缘修复网络内的所述生成器进行图像边缘生成，当所述边缘修复网络内的所述判别器检测所生成的边缘为真时、输出完整边缘图像；
S33、纹理修复，将完整边缘图像及训练图像输入所述纹理修复网络中，所述纹理修复网络内的所述生成器进行图像纹理填充，当所述纹理修复网络内的所述判别器检测所填充的纹理为真时、输出完整的修复图像。
需要强调的是，在S3执行过程中，所述边缘修复网络及所述纹理修复网络二者内所述生成器的残差块均使用门控卷积来学习掩码与图像间的关系。
此外，在S3执行过程中，利用Adam优化算法对所述门控卷积生成对抗网络内的参数进行训练；这样的方式可有效地解决所述门控卷积生成对抗网络在进行图像修复任务时所存在的收敛速度慢、鲁棒性较差等问题。
S4、将待修复图像输入已完成训练的所述门控卷积生成对抗网络中，所述边缘修复网络先对待修复图像进行处理、得到完整边缘图像，所述纹理修复网络再对待修复图像及完整边缘图像进行处理、得到最终的修复图像。
以下便以上述技术方案为基础，提供一个具体的实施例对上述技术方案进行补充说明。
S1、构建门控卷积生成对抗网络。
所述门控卷积生成对抗网络基于Edge Connect方法中的两阶段网络设计，将图像修复任务分解成掩码区域高频信息(即边缘)和低频信息(即纹理)的补全。整体由边缘修复网络和纹理修复网络组成，这两个阶段的网络结构相同，均由20层卷积层(其中前14层为生成器、后6层为判别器)组成。具体网络结构如图1所示。
S2、获取训练图像并对所获取的训练图像进行预处理。
由于所述门控卷积生成对抗网络需要多次迭代训练，并且要适应各类应用情形，所以准备的训练图像的数量需要达到一定的量级要求。本实施例中选用Places2数据集作为训练图像数据，该数据集是用于人类视觉认知和视觉理解目的的数据集，包含由如公园、卧室、街道、教堂、峡谷等场景类别，共由1000万张图像组成，其中每个场景类别包含400张图像。且其允许深度学习方法使用大规模数据来训练其架构。
由于Places2数据集中的图像均为无破损的原始图像，而本发明所提出的所述门控卷积生成对抗网络的输入为破损的图像，故需对原始的训练图像进行叠加掩码的预处理操作。利用Open CV工具随机生成任意大小、形状的掩码，与原始图像随机叠加后得到带有破损的训练图像。从中挑选100000张作为所述门控卷积生成对抗网络的输入。
S3、将经过预处理后的训练图像输入已建立的所述门控卷积生成对抗网络中、对所述门控卷积生成对抗网络进行训练。
S31、预先用HED算法的网络模型对输入的训练图像进行边缘检测。网络模型基于VGG-16训练，通过利用深层监督的完全卷积神经网络，实现对图像边缘的预测。
给定破损的训练图像Iin，假设网络的参数空间为W、边缘分支为i个，则HED网络可预测出1个融合层和i个边缘结果，用公式表示为
其中，
表示融合层的输出结果，
表示使用不同权重训练后的i个边缘结果，h表示融合的权重。
然后，对上述结果取平均值即可得到破损边缘图像Cin，公式为
S32、在边缘修复网络中，生成器G1的输入通道数为3，包括破损灰度图像的1个通道、掩码图像的1个通道和破损边缘图像的1个通道。G1的第一层是归一化层，其卷积层包含64个7×7的卷积核；第二层和第三层为下采样层，分别使用128个和256个大小均为4×4的卷积核；第四层至第十一层为连续的八个残差块，使用卷积核为3×3的门控卷积，残差块均不改变图像尺寸，在最终残差块处产生的感受野大小为205；第十二层和第十三层均为4×4的上采样层；第十四层为卷积核大小为7×7的激活函数层，最终输出通道数为1的完整边缘图像。各卷积层之间采用实例归一化以使各生成样本之间相互独立。
完整边缘Cout的生成过程用公式可表示为
Cout＝G1(Iin,Cin,M)，
其中，Iin为训练图像，Cin为破损边缘图像，M表示掩码，G1为边缘修复网络的生成器。
门控卷积是生成器的核心部分。门控卷积由特征提取单元和门控选择单元两部分组成，通过选择不同的门控值来提取相应特征。这两个单元在每次卷积后都会更新一次滤波器参数，为下一层更新掩码，以学习掩码与图像的关系。它的定义如下
Gatingy,x＝∑∑Wg·I，
Featurey,x＝∑∑Wf·I，
Oy,x＝φ(Featurey,x)⊙σ(Gatingy,x)，
其中，I表示输入，Wg和Wf分别表示用于计算门控值和特征值的卷积滤波器，σ(·)表示对输出在[0,1]范围的门控计算值使用sigmoid激活函数，φ(·)可以是任意激活函数(一般采用Re LU或者Leaky Re LU)，⊙表示像素级别的乘积。
边缘修复网络的判别器D1采用谱归一化马尔科夫判别器来判断修复后图像的真假。其具体结构为6个卷积层，其中每层的卷积核大小为5，步长为2，卷积核数目分别为64、128、256、256、256、256。通过每一层的堆叠来获得马尔科夫块特征的统计信息，并判断生成内容的真伪。然后，直接对特征图中的每一个特征元素应用GAN损失，以捕捉输入图像在不同位置和不同语义通道中的不同表征，GAN的应用次数等于图像高度、宽度、通道数的乘积。
为了保证训练的稳定，在边缘修复网络中，GAN的损失函数使用铰链损失(HingeLoss)来判断输入的真假，其包含SN-Patch GAN损失
和生成器损失
表达式为
其中，G(z)是生成器G1修复不完整图像z的输出结果，Dsn代表谱归一化马尔科夫判别器。
因为图像中相似的补丁信息已经在该判别器中进行了编码，所以无须使用感知损失。修复网络的最终目标函数仅由像素级L1重建损失和SN-Patch GAN损失两部分组成，默认损失平衡的超参数比例为1：1，具体表达式为
其中，F(·)表示编码器的采样过程。
S33、纹理修复网络的生成器G2的输入通道数为4，包括破损RGB图像的3个通道和完整边缘图像的1个通道。G2的网络结构中，前十三层结构与G1相同，第十四层为卷积核大小为7×7的激活函数层，最终输出通道数为3的完整的修复图像。G2生成修复图像Iout的过程用公式可表示为
Iout＝G2(Iin,Cout)，
其中，Iin为破损图像，Cout为完整边缘，G2为纹理修复网络的生成器。
纹理修复网络判别器D2也采用了谱归一化马尔科夫判别器，来判断纹理修复完成后图像的真伪，其结构与D1相同。
纹理修复网络的损失函数与边缘修复网络相同，即
S4、该步骤属于该网络的测试阶段，通过训练好的所述门控卷积生成对抗网络修复破损图像。首先，用边缘检测算法检测出破损图像中已知区域的结构。然后将掩码区域中的边缘与已知区域的颜色和纹理信息送入边缘修复网络，修复出完整边缘。再将完整边缘与待修复图像一起送入纹理修复网络中进行纹理修复，最终得到完整的修复图像。
综上所述，本发明所述的一种基于门控卷积生成对抗网络的图像修复方法，通过在边缘修复和纹理修复两阶段的修复网络中引入门控卷积的方式，提高了对输入图像特征的利用率，获得了掩码与图像的深层联系，有效地改善了网络在修复过程中产生不自然孔洞(包括伪影、掩码边界残留等)、修复区域与已知区域不一致等问题，提升了图像的修复质量、特别是在修复破损区域比例小于50％时提升效果更为显著。
同时，本发明的方法还采用了谱归一化马尔科夫判别器以及铰链损失函数，最大限度地丰富了生成内容的细节，提升了修复图像在评价指标方面的表现。
此外，本发明的方法步骤简单、可重复性强，具有一定的普适性特征，使用者还可以根据自身实际的应用需要对修复方法进行调整，进而将本发明的方法应用于各种不同图像的修复操作中，方法整体的应用前景广阔并具有极高的使用价值。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神和基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。
最后，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
Claims (10)
1.一种基于门控卷积生成对抗网络的图像修复方法，其特征在于，包括如下步骤：
S1、构建门控卷积生成对抗网络，所述门控卷积生成对抗网络由按序相连的边缘修复网络及纹理修复网络组成；
S2、获取训练图像并对所获取的训练图像进行预处理；
S3、将经过预处理后的训练图像输入已建立的所述门控卷积生成对抗网络中、对所述门控卷积生成对抗网络进行训练；
S4、将待修复图像输入已完成训练的所述门控卷积生成对抗网络中，所述边缘修复网络先对待修复图像进行处理、得到完整边缘图像，所述纹理修复网络再对待修复图像及完整边缘图像进行处理、得到最终的修复图像。
2.根据权利要求1所述的基于门控卷积生成对抗网络的图像修复方法，其特征在于：所述边缘修复网络及所述纹理修复网络内均包含有生成器及判别器。
3.根据权利要求2所述的基于门控卷积生成对抗网络的图像修复方法，其特征在于：所述边缘修复网络及所述纹理修复网络二者内的所述生成器均采用下采样+残差块+上采样的结构。
4.根据权利要求2所述的基于门控卷积生成对抗网络的图像修复方法，其特征在于：所述边缘修复网络及所述纹理修复网络二者内的所述判别器均采用谱归一化马尔科夫判别器。
5.根据权利要求2所述的基于门控卷积生成对抗网络的图像修复方法，其特征在于：所述门控卷积生成对抗网络的目标函数由L1重建损失函数及SN-PatchGAN损失函数组成。
6.根据权利要求2所述的基于门控卷积生成对抗网络的图像修复方法，其特征在于：所述边缘修复网络及所述纹理修复网络二者内的损失函数相同，均由SN-PatchGAN损失函数及生成器损失函数组成。
7.根据权利要求1所述的基于门控卷积生成对抗网络的图像修复方法，其特征在于，S2中所述对所获取的训练图像进行预处理，包括如下步骤：随机生成任意大小、形状的掩码，将掩码与训练图像随机叠加、得到带有破损的训练图像。
8.根据权利要求2所述的基于门控卷积生成对抗网络的图像修复方法，其特征在于，S3包括如下步骤：
S31、边缘检测，利用整体嵌套边缘检测算法对经过预处理后的训练图像进行边缘检测，获知图像边缘的破损信息、得到破损边缘图像；
S32、边缘修复，将所获得的破损边缘图像、掩码以及训练图像一起输入所述边缘修复网络中，所述边缘修复网络内的所述生成器进行图像边缘生成，当所述边缘修复网络内的所述判别器检测所生成的边缘为真时、输出完整边缘图像；
S33、纹理修复，将完整边缘图像及训练图像输入所述纹理修复网络中，所述纹理修复网络内的所述生成器进行图像纹理填充，当所述纹理修复网络内的所述判别器检测所填充的纹理为真时、输出完整的修复图像。
9.根据权利要求2所述的基于门控卷积生成对抗网络的图像修复方法，其特征在于：在S3执行过程中，所述边缘修复网络及所述纹理修复网络二者内所述生成器的残差块均使用门控卷积。
10.根据权利要求1所述的基于门控卷积生成对抗网络的图像修复方法，其特征在于：在S3执行过程中，利用Adam优化算法对所述门控卷积生成对抗网络内的参数进行训练。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010810808.1A CN111968053B (zh) | 2020-08-13 | 2020-08-13 | 基于门控卷积生成对抗网络的图像修复方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010810808.1A CN111968053B (zh) | 2020-08-13 | 2020-08-13 | 基于门控卷积生成对抗网络的图像修复方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111968053A true CN111968053A (zh) | 2020-11-20 |
| CN111968053B CN111968053B (zh) | 2022-08-30 |
Family
ID=73365819
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010810808.1A Active CN111968053B (zh) | 2020-08-13 | 2020-08-13 | 基于门控卷积生成对抗网络的图像修复方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111968053B (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112465718A (zh) * | 2020-11-27 | 2021-03-09 | 东北大学秦皇岛分校 | 一种基于生成对抗网络的两阶段图像修复方法 |
| CN112613474A (zh) * | 2020-12-30 | 2021-04-06 | 珠海大横琴科技发展有限公司 | 一种行人重识别的方法和装置 |
| CN112837234A (zh) * | 2021-01-25 | 2021-05-25 | 重庆师范大学 | 一种基于多列门控卷积网络的人脸图像修复方法 |
| CN112967218A (zh) * | 2021-03-15 | 2021-06-15 | 复旦大学 | 一种基于线框和边缘结构的多尺度图像修复系统 |
| CN113191966A (zh) * | 2021-04-15 | 2021-07-30 | 青海师范大学 | 一种运算轻量化图像修复方法 |
| CN113298297A (zh) * | 2021-05-10 | 2021-08-24 | 内蒙古工业大学 | 一种基于孤立森林与wgan网络的风电输出功率预测方法 |
| CN113469913A (zh) * | 2021-07-06 | 2021-10-01 | 中南大学 | 基于渐进循环生成对抗网络的热轧带钢表面水滴去除方法 |
| CN113674176A (zh) * | 2021-08-23 | 2021-11-19 | 北京市商汤科技开发有限公司 | 图像修复方法及装置、电子设备和存储介质 |
| CN113724153A (zh) * | 2021-08-02 | 2021-11-30 | 电子科技大学 | 一种基于机器学习的图像多余人物消除方法 |
| CN113781316A (zh) * | 2021-07-28 | 2021-12-10 | 杭州火烧云科技有限公司 | 一种基于对抗生成网络的高分辨率图像修复方法及修复系统 |
| CN113793286A (zh) * | 2021-11-18 | 2021-12-14 | 成都索贝数码科技股份有限公司 | 一种基于多阶注意力神经网络的媒体图像水印移除方法 |
| CN113808031A (zh) * | 2021-07-05 | 2021-12-17 | 重庆师范大学 | 一种基于LSK-FNet模型的图像修复方法 |
| CN113935919A (zh) * | 2021-10-15 | 2022-01-14 | 哈尔滨理工大学 | 一种基于gan网络的图像修复算法 |
| DE102021100056A1 (de) | 2021-01-05 | 2022-07-07 | Connaught Electronics Ltd. | Verfahren zum Bestimmen einer Abbildungsqualität einer Linse einer Kamera, Computerprogrammprodukt, computerlesbares Speichermedium sowie Assistenzsystem |
| CN114913588A (zh) * | 2022-06-20 | 2022-08-16 | 电子科技大学 | 一种应用于复杂场景下的人脸图像修复及识别方法 |
| CN115131234A (zh) * | 2022-06-15 | 2022-09-30 | 西北大学 | 一种基于两阶段神经网络的数字壁画修复方法 |
| CN115496989A (zh) * | 2022-11-17 | 2022-12-20 | 南京硅基智能科技有限公司 | 一种生成器、生成器训练方法及避免图像坐标粘连方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109462747A (zh) * | 2018-12-11 | 2019-03-12 | 成都美律科技有限公司 | 基于生成对抗网络的dibr系统空洞填充方法 |
| CN111047522A (zh) * | 2019-11-07 | 2020-04-21 | 北京科技大学 | 一种基于边缘生成的图像修复方法 |
-
2020
- 2020-08-13 CN CN202010810808.1A patent/CN111968053B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109462747A (zh) * | 2018-12-11 | 2019-03-12 | 成都美律科技有限公司 | 基于生成对抗网络的dibr系统空洞填充方法 |
| CN111047522A (zh) * | 2019-11-07 | 2020-04-21 | 北京科技大学 | 一种基于边缘生成的图像修复方法 |
Non-Patent Citations (2)
| Title |
|---|
| JIAHUI YU等: "Free-Form Image Inpainting with Gated Convolution", 《ICCV2019》 * |
| KAMYAR NAZERI等: "EdgeConnect Generative Image Inpainting with Adversarial Edge Learning", 《ARXIV.ORG/PDF/1901.00212》 * |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112465718A (zh) * | 2020-11-27 | 2021-03-09 | 东北大学秦皇岛分校 | 一种基于生成对抗网络的两阶段图像修复方法 |
| CN112613474A (zh) * | 2020-12-30 | 2021-04-06 | 珠海大横琴科技发展有限公司 | 一种行人重识别的方法和装置 |
| CN112613474B (zh) * | 2020-12-30 | 2022-01-18 | 珠海大横琴科技发展有限公司 | 一种行人重识别的方法和装置 |
| DE102021100056A1 (de) | 2021-01-05 | 2022-07-07 | Connaught Electronics Ltd. | Verfahren zum Bestimmen einer Abbildungsqualität einer Linse einer Kamera, Computerprogrammprodukt, computerlesbares Speichermedium sowie Assistenzsystem |
| CN112837234A (zh) * | 2021-01-25 | 2021-05-25 | 重庆师范大学 | 一种基于多列门控卷积网络的人脸图像修复方法 |
| CN112967218A (zh) * | 2021-03-15 | 2021-06-15 | 复旦大学 | 一种基于线框和边缘结构的多尺度图像修复系统 |
| CN112967218B (zh) * | 2021-03-15 | 2022-03-18 | 复旦大学 | 一种基于线框和边缘结构的多尺度图像修复系统 |
| CN113191966A (zh) * | 2021-04-15 | 2021-07-30 | 青海师范大学 | 一种运算轻量化图像修复方法 |
| CN113191966B (zh) * | 2021-04-15 | 2021-11-09 | 青海师范大学 | 一种运算轻量化图像修复方法 |
| CN113298297A (zh) * | 2021-05-10 | 2021-08-24 | 内蒙古工业大学 | 一种基于孤立森林与wgan网络的风电输出功率预测方法 |
| CN113808031A (zh) * | 2021-07-05 | 2021-12-17 | 重庆师范大学 | 一种基于LSK-FNet模型的图像修复方法 |
| CN113469913B (zh) * | 2021-07-06 | 2022-06-03 | 中南大学 | 基于渐进循环生成对抗网络的热轧带钢表面水滴去除方法 |
| CN113469913A (zh) * | 2021-07-06 | 2021-10-01 | 中南大学 | 基于渐进循环生成对抗网络的热轧带钢表面水滴去除方法 |
| CN113781316A (zh) * | 2021-07-28 | 2021-12-10 | 杭州火烧云科技有限公司 | 一种基于对抗生成网络的高分辨率图像修复方法及修复系统 |
| CN113781316B (zh) * | 2021-07-28 | 2024-05-17 | 杭州火烧云科技有限公司 | 一种基于对抗生成网络的高分辨率图像修复方法及修复系统 |
| CN113724153A (zh) * | 2021-08-02 | 2021-11-30 | 电子科技大学 | 一种基于机器学习的图像多余人物消除方法 |
| CN113674176A (zh) * | 2021-08-23 | 2021-11-19 | 北京市商汤科技开发有限公司 | 图像修复方法及装置、电子设备和存储介质 |
| CN113674176B (zh) * | 2021-08-23 | 2024-04-16 | 北京市商汤科技开发有限公司 | 图像修复方法及装置、电子设备和存储介质 |
| CN113935919A (zh) * | 2021-10-15 | 2022-01-14 | 哈尔滨理工大学 | 一种基于gan网络的图像修复算法 |
| CN113793286B (zh) * | 2021-11-18 | 2022-05-10 | 成都索贝数码科技股份有限公司 | 一种基于多阶注意力神经网络的媒体图像水印移除方法 |
| CN113793286A (zh) * | 2021-11-18 | 2021-12-14 | 成都索贝数码科技股份有限公司 | 一种基于多阶注意力神经网络的媒体图像水印移除方法 |
| CN115131234A (zh) * | 2022-06-15 | 2022-09-30 | 西北大学 | 一种基于两阶段神经网络的数字壁画修复方法 |
| CN115131234B (zh) * | 2022-06-15 | 2023-09-19 | 西北大学 | 一种基于两阶段神经网络的数字壁画修复方法 |
| CN114913588A (zh) * | 2022-06-20 | 2022-08-16 | 电子科技大学 | 一种应用于复杂场景下的人脸图像修复及识别方法 |
| CN114913588B (zh) * | 2022-06-20 | 2023-04-25 | 电子科技大学 | 一种应用于复杂场景下的人脸图像修复及识别方法 |
| CN115496989A (zh) * | 2022-11-17 | 2022-12-20 | 南京硅基智能科技有限公司 | 一种生成器、生成器训练方法及避免图像坐标粘连方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111968053B (zh) | 2022-08-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111968053B (zh) | 基于门控卷积生成对抗网络的图像修复方法 | |
| CN109829855B (zh) | 一种基于融合多层次特征图的超分辨率重建方法 | |
| CN111784602B (zh) | 一种生成对抗网络用于图像修复的方法 | |
| CN108875935B (zh) | 基于生成对抗网络的自然图像目标材质视觉特征映射方法 | |
| CN109671023A (zh) | 一种人脸图像超分辨率二次重建方法 | |
| CN110070091B (zh) | 用于街景理解的基于动态插值重建的语义分割方法及系统 | |
| CN111292265A (zh) | 一种基于生成式对抗神经网络的图像修复方法 | |
| CN110689499A (zh) | 一种基于密集扩张卷积自编码对抗网络的人脸图像修复方法 | |
| CN113362242B (zh) | 基于多特征融合网络的图像修复方法 | |
| CN114897742B (zh) | 一种纹理和结构特征两次融合的图像修复方法 | |
| CN112489164A (zh) | 基于改进深度可分离卷积神经网络的图像着色方法 | |
| CN110895795A (zh) | 改进的语义图像修补模型方法 | |
| CN110349085A (zh) | 一种基于生成对抗网络的单幅图像超分辨特征增强方法 | |
| CN109903373A (zh) | 一种基于多尺度残差网络的高质量人脸生成方法 | |
| CN116645328A (zh) | 一种高精度轴承套圈表面缺陷智能检测方法 | |
| Yang et al. | A survey of super-resolution based on deep learning | |
| CN116416237A (zh) | 基于改进YOLOv5与模糊图像增强的输电线路缺陷检测方法 | |
| Li et al. | Line drawing guided progressive inpainting of mural damages | |
| CN116993737B (zh) | 一种基于卷积神经网络的轻量型裂缝分割方法 | |
| CN112634168A (zh) | 一种结合边缘信息的图像修复方法 | |
| CN116523985B (zh) | 一种结构和纹理特征引导的双编码器图像修复方法 | |
| CN116823647A (zh) | 基于快速傅里叶变换和选择性注意力机制的图像补全方法 | |
| CN116681592A (zh) | 基于多尺度自适应非局部注意力网络的图像超分辨率方法 | |
| CN113763244B (zh) | 一种诊断智能泵腔体故障的内窥镜图像超分辨率重建方法 | |
| CN111325781A (zh) | 一种基于轻量化网络的位深度提升方法及其系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |