CN111815523A - 一种基于生成对抗网络的图像修复方法 - Google Patents
一种基于生成对抗网络的图像修复方法 Download PDFInfo
- Publication number
- CN111815523A CN111815523A CN202010510153.6A CN202010510153A CN111815523A CN 111815523 A CN111815523 A CN 111815523A CN 202010510153 A CN202010510153 A CN 202010510153A CN 111815523 A CN111815523 A CN 111815523A
- Authority
- CN
- China
- Prior art keywords
- image
- generator
- loss function
- discriminator
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000006870 function Effects 0.000 claims abstract description 70
- 238000012549 training Methods 0.000 claims abstract description 41
- 238000012360 testing method Methods 0.000 claims abstract description 25
- 238000007781 pre-processing Methods 0.000 claims abstract description 3
- 238000013508 migration Methods 0.000 claims description 10
- 230000005012 migration Effects 0.000 claims description 10
- 238000012935 Averaging Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 abstract description 4
- 230000008439 repair process Effects 0.000 description 5
- 230000009466 transformation Effects 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 235000013311 vegetables Nutrition 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开基于生成对抗网络的图像修复方法，包括：图像数据集的图像数据预处理，得到训练数据集与测试数据集；多次迭代训练生成对抗网络的生成器与判别器，得到图像修复模型，该模型通过生成对抗网络的判别器计算生成器所生成的修复图像与真实图像之间的多种损失函数，使得生成的修复图像在视觉上生成逼真并且在语义上合理；通过使用训练好的图像修复模型，对测试数据集中的受损图像进行修复处理，测试训练好的图像修复模型的修复性能。本发明能显著的提高生成的修复图像的视觉质量和语义质量。
Description
技术领域
本发明涉及图像修复技术领域，特别是基于生成对抗网络的图像修复方法。
背景技术
图像修复任务(image inpainting)，是从给定的受损图像中合成图像缺失区域中的替代内容，、且使得修复的图像在视觉上逼真和在语义上合理。图像修复可在其他应用中使用，如图像编辑，当图像中存在分散人注意力的场景元素时，如人或者物体(通常是不可避免的)，允许用户移除图像中不需要的元素，同时在空白区域填充视觉和语义上合理的内容。
生成对抗网络启发自博弈论中二人零和博弈的思想，具有生成式网络和判别式网络两个网络，利用它们间相互竞争从而不断提升网络性能，最终达到平衡。基于对抗生成网络思想，衍生出许多变种网络，并且这些网络在图像合成、图像超分、图像风格转换和图像修复等方面都取得了显著的进步。图像修复的研究，包括图像补全、图像去水印、图像去雨滴和图像去雾都得到了研究者们的关注。
基于生成对抗网络的图像修复方法通常分为两个循环迭代的过程：首先使用生成式网络模型对输入非线性处理(一般为卷积操作)得到生成图像；然后利用判别式网络来对生成图像作真假判别并进行参数反向传播以改善网络性能。
随着科技不断发展，人们在不同领域的需求也在相应提高，包括电影广告动画制作和网络游戏等，逼真的图像修复技术对用户的良好体验具有重要意义。
因此，在此背景下，开发基于生成对抗网络的图像修复方法，使得修复后的图像在视觉上逼真和在语义上合理，具有重要的意义。
发明内容
本发明的目的是针对现有技术中存在的技术缺陷，而提供一种基于生成对抗网络的图像修复方法，通过引入了重建损失函数、风格损失函数、全变分损失函数和对抗损失函数作为约束，提高网络的鲁棒性，使得能生成视觉逼真和语义合理的修复图像。
为实现本发明的目的所采用的技术方案是：
一种基于结构先验的人脸图像超分辨率方法，包括步骤：
S1.预处理数据集中图像，得到训练数据集和测试数据集，其中包括受损图像和真实图像；预处理后数据集中图像大小一致，真实图像通过乘以一个二值掩码得到受损图像；
S2.使用训练数据集训练模型，得到能对受损图像进行修复的图像修复模型；
上述模型中包含一个生成器和一个判别器；生成器结构为U-net型网络结构，生成器包含16个卷积层，前8个卷积层后面均接有第一激活层，前8个卷积层逐渐减小特征图；后8个卷积层前后分别接有第二激活层和正则化层，后8个卷积逐渐增加特征图的大小到原图；判别器由5个卷积层堆叠而成，用于判断图像是否修复完毕；
训练集中受损图像作为模型输入，对应的真实图像作为目标生成图像，训练生成对抗网络生成器和判别器完成图像修复任务；通过生成器对输入的受损图像处理，得到修复后的图像；
判别器接受输入的目标生成图像和模型生成的修复后的图像，通过修复后的图像与真实图像在判别器中进行对抗损失的计算，预测模型生成的修复后的图像是否逼近于目标生成图像；
模型迭代多次达到稳定后完成模型的训练，得到最终的图像修复模型；
S3.使用训练好的图像修复模型在测试数据集上测试其图像修复性能，给定受损图像模型即可自动输出修复好的图像。
进一步的，步骤S2包括：
S21.使用标准高斯分布随机初始化生成对抗网络中生成器和判别器的权重参数，其中生成器的损失函数为LG，判别器的损失函数为LD；
S22.将受损图像输入到生成器中，生成器输出与真实图像大小一致的生成图像，将生成图像和真实图像作为判别器的输入，依次迭代训练使生成器的损失函数LG和判别器的损失函数为LD降至趋于稳定；
S23.交替训练生成对抗网络中的生成器和判别器，当损失函数趋于稳定后得到最终的图像修复模型。
所述生成对抗网络中生成器和判别器目标函数如下：
其中，λ1，λ2，λ3，λ4为平衡因子，用于调整生成器中各个损失函数所占权重；x，y分别为受损图像和真实图像，G，D分别为生成器和判别器，L1为图像之间的L1范数度量，作为生成器的重建损失函数，Lstyle为风格迁移损失函数，Ltv为全变差损失函数，
为对抗损失函数，E(*)表示取平均操作，y～P(Y)表示真实图像从P(Y)分布中采样取得，x～P(X)表示受损图像从P(X)分布中采样取得。
本发明基于生成对抗网络的图像修复方法，使用U-net作为生成器的网络结构，结合多种损失函数(重建损失函数，风格迁移损失函数，全变差损失函数和对抗损失函数)，使得模型收敛更快，效果更好，泛化能力更强；可生成视觉上逼真和语义上合理的修复图像。
本发明使用生成网络，提高了模型容量和加快训练速度，提高模型的泛化能力和加快训练速度；引入了判别网络，使生成的修复图像更加接近真实图像，显著的提高了生成的修复图像的视觉质量。
附图说明
图1是本发明在测试数据集中一张受损图像上的测试结果，从左往右依次为真实图像(Ground Truth)，受损图像，二值掩码(mask)和生成的修复图像。
图2是本发明基于生成对抗网络的图像修复方法的流程图；
其中：x表示输入的受损图像，y表示真实图像，
表示生成的修复图像，D表示判别器，Conv表示卷积神经网络，ReLU和LeakyReLU表示激活函数，DeConv表示反卷积层。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明通过一种基于生成对抗网络的图像修复方法来学习一组高度复杂的非线性的变换，用于把受损图像映射到修复的图像上，同时使得修复后的图像在视觉上逼真和语义上合理。
参见图所示，本发明基于生成对抗网络的图像修复方法，包括以下几个步骤：；
步骤S1，先对ImageNet数据集中的图像进行预处理。
第一，ImageNet数据集中图像的尺寸大小并非统一，故本发明重新调整ImageNet中训练数据集和测试数据集中的图像尺寸大小为256*256；
第二，生成各种类型的二值掩码(mask)；
第三，对重新调整大小后的训练数据集增广，以增加训练数据集中的图像数量，包括随机水平翻转，随机颜色变换；
第四，将二值掩码乘上训练数据集中重新调整大小后的图像上生成受损图像，受损图像和尺寸调整后的图像(真实图像)作为模型的输入；将二值掩码乘上测试数据集中重新调整大小后的图像上生成测试图像。使用该测试图像，测试其模型的泛化性能。
步骤S2，利用步骤S1所述的训练数据集，训练生成对抗网络模型，以用来完成图像恢复任务。
在模型的生成器中利用前8个卷积层结构进行特征提取，每经过一个卷积层特征图的大小减半，直至特征图大小降为1*1，然后通过后8个卷积层进行图像的重建，每经过一个卷积层特征图的大小增大一倍，直复原为输入图像的大小(256*256)。前8个卷积层中每个卷积层后均皆有激活层(LeakyReLU)；后8个卷积层中，先有激活层(ReLU)激活后输入给卷积层，卷积层后紧跟正则化层。
其中，生成器中的第一个卷积层的输入通道数，输出通道数，滤波器大小，步长和填充分别是3，64，4，2，1。特征图尺寸大小减小这一阶段中卷积层的输出通道逐渐增大一倍，直到输出通道为512后保持不变，其滤波器大小，步长和填充均为4,2,1保持不变。在特征图增大这一阶段，卷积层为特殊的反卷积层，其作用和普通卷积层相反，用于增大特征图的大小。前四个反卷积层的的输出通道均为512，后3个反卷积层的输出通道数逐渐减小一倍，最后一层反卷积层的输出通道数为3，用于生成RGB的三通道图像。反卷积层的滤波器大小，步长和填充分别为4,2,1，且整个特征图尺寸大小正大阶段保持不变。在U-net网络结构中，除了最外围的卷积层和反卷积层外，其余的卷积层和对应的反卷积层之间均有跳跃连接。跳跃连接可以解决梯度消失和梯度爆炸的问题，也可加快模型的收敛的速度。
判别器网络结构为由卷积层，正则化层(BatchNorm)和激活层(LeakyReLU)堆叠而成，其中卷积层滤波器大小，步长，填充分别为4，2，1，在本发明中卷积层个数为5，这一部分作为图像的特征提取，最后一个卷积层的输出通道数为1，用于判断输入图像是否真实。该判别器的输入为生成器生成的高分辨率人脸图像
和真实的无受损图像y，同样判别器的网络结构可根据需求自由设置。
该步骤中，利用受损图像x模型的输入，真实的无受损图像作为生成目标，交替训练模型中的生成器和判别器完成图像修复任务。在图像修复任务中，通过生成器对输入进行处理得到生成的修复图像，与真实无受损图像在判别器中国进行对抗损失计算。迭代多次达到稳定后完成模型的训练。
本发明中利用所述对抗生成网络的高度非线性拟合能力，针对图像修复这个任务，构造以受损图像和真实的无受损图像作为输入，修复图像作为输出的对抗生成网络。特别的，网络通过外加损失函数的限制可以使得修复后的图像在视觉上逼真和在语义上合理。这样，通过如图2所示的网络，可以训练一个图像修复的生成对抗网络，从而完成图像的修复任务。在测试阶段，直接使用受损图像作为模型的输入，得到可视化的效果图，如图1所示
具体地，生成对抗网络的图像修复任务中生成器和判别器的目标函数如下所示：
其中，λ1，λ2，λ3，λ4为平衡因子，用于调整生成器中各个损失函数所占的权重。x，y分别为受损图像和真实图像。G，D分别为生成器和判别器。L1为图像之间的L1范数度量，作为生成器的重建损失函数，Lstyle为风格迁移损失函数，Ltv为全变差损失函数，
为对抗损失函数。E(*)表示取平均操作，y～P(Y)表示真实图像从P(Y)分布中采样取得，x～P(X)表示受损图像从P(X)分布中采样取得
上述的对抗生成网络，主要是完成人脸表情生成和人脸表情去除两个任务，所述生成对抗网络的最终目标为LG和LD这两个损失函数降至最低并且保持稳定。
其中，所述训练数据集中输入图像和真实图像对为[x,y]，x为受损图像，y为目标真实图像；
为生成器的输出，
输入判别器的真实和假图像对为
其中，所述生成器的重建损失函数为：
L1＝Ex,y～P(X,Y)||G(x)-y||1
其中x，y分别为从联合分布P(X,Y)中采样出来的受损图像和对应的真实图像，E(*)表示取平均操作，||*||1表示L1范数，G(*)为生成器对应的映射函数。
其中，所述生成器的风格迁移损失函数为：
Lstyle＝αLc+βLs
其中，α，β为平衡因子，Lc，Ls分别为内容损失函数和风格损失函数。
其中，所述的风格迁移损失函数中内容损失函数为：
其中，φJ(*)为预训练的VGG网络的第J层，
||*||1表示L1范数。
其中，所述的风格迁移损失函数中风格损失函数为：
其中，ωi为计算在预训练的VGG网络第i层的风格损失函数，
是通过计算预训练的VGG网络第i层上特征图的Gram矩阵之间的欧氏距离得到的。
其中，所述生成器的全变差损失函数为：
其中，HWC分别为图像的高、宽和通道数。
其中，所述生成器的对抗损失函数为：
其中，x，y分别为从联合分布P(x,y)中采样出来的受损图像和对应的真实图像，E(*)表示取平均操作，G，D分别为生成器和判别器对应的映射函数。
本发明中，所述基于生成对抗网络的图像修复网络具体进行如下训练的步骤：
步骤S21：初始化图像修复任务的网络权重参数，λ1，λ2，λ3，λ4分别设置为10,240,0.1,1，批处理大小设为64，学习率设为10-4，并在整个训练过程中保持不变；
步骤S22.将受损图像输入到生成器中，生成器输出与真实图像大小一致的修复图像，将修复图像和真实图像作为判别器的输入，依次迭代训练使生成器的损失函数LG和判别器的损失函数为LD降至趋于稳定。
S23.交替训练生成对抗网络中的生成器和判别器，当损失函数趋于稳定后得到最终的图像修复模型。
为了详细说明本发明的具体实施方式及验证本发明的有效性，将本发明提出的方法应用于一个公开的数据集(Image)，该数据集中是根据WordNet层次结构组织的图像数据集，大概有一千四百多万张图像，两千多万个类别，大类别包括鸟、蔬菜和食物等等。ImageNet中的训练数据集大概有一百二多万张图像。
本发明选择ImageNet的训练数据集训练生成对抗网络中的生成器和判别器，选择ImageNet中的测试集构造本发明所需的测试集，用于测试模型的泛化性能。
所述基于生成对抗网络的图像修复中数据处理方式如下：
第一，ImageNet数据集中图像的尺寸大小并非统一，故本发明重新调整ImageNet中训练数据集和测试数据集中的图像尺寸大小为256*256；
第二，生成各种类型的二值掩码(mask)；
第三，对重新调整大小后的训练数据集增广，以增加训练数据集中的图像数量，包括随机水平翻转，随机颜色变换；
第四，将二值掩码乘上训练数据集中重新调整大小后的图像上生成受损图像，受损图像和尺寸调整后的图像(真实图像)作为模型的输入；将二值掩码乘上测试数据集中重新调整大小后的图像上生成测试图像。使用该测试图像，测试其模型的泛化性能。可视化结果如图1所示。该实验结果有效的证明了本发明所提出的方法对图像修复的有效性。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于生成对抗网络的图像修复方法，其特征在于，包括步骤：
S1.预处理数据集中图像，得到训练数据集和测试数据集，其中包括受损图像和真实图像；预处理后数据集中图像大小一致，真实图像通过乘以一个二值掩码得到受损图像；
S2.使用训练数据集训练模型，得到能对受损图像进行修复的图像修复模型；
上述模型中包含一个生成器和一个判别器；生成器结构为U-net型网络结构，生成器包含16个卷积层，前8个卷积层后面均接有第一激活层，前8个卷积层逐渐减小特征图；后8个卷积层前后分别接有第二激活层和正则化层，后8个卷积逐渐增加特征图的大小到原图；判别器由5个卷积层堆叠而成，用于判断图像是否修复完毕；
训练集中受损图像作为模型输入，对应的真实图像作为目标生成图像，训练生成对抗网络生成器和判别器完成图像修复任务；通过生成器对输入的受损图像处理，得到修复后的图像；
判别器接受输入的目标生成图像和模型生成的修复后的图像，通过修复后的图像与真实图像在判别器中进行对抗损失的计算，预测模型生成的修复后的图像是否逼近于目标生成图像；
模型迭代多次达到稳定后完成模型的训练，得到最终的图像修复模型；
S3.使用训练好的图像修复模型在测试数据集上测试其图像修复性能，给定受损图像模型即可自动输出修复好的图像。
2.根据权利要求1所述的基于生成对抗网络的图像修复方法，其特征在于，步骤S2包括：
S21.使用标准高斯分布随机初始化生成对抗网络中生成器和判别器的权重参数，其中生成器的损失函数为LG，判别器的损失函数为LD；
S22.将受损图像输入到生成器中，生成器输出与真实图像大小一致的生成图像，将生成图像和真实图像作为判别器的输入，依次迭代训练使生成器的损失函数LG和判别器的损失函数为LD降至趋于稳定；
S23.交替训练生成对抗网络中的生成器和判别器，当损失函数趋于稳定后得到最终的图像修复模型。
3.根据权利要求2所述的基于生成对抗网络的图像修复方法，其特征在于，所述生成对抗网络中生成器和判别器目标函数如下：
LD＝-[Ey～P(Y)[logD(y)]+Ex～P(X)[log(1-D(G(x)))]]]
其中，λ1，λ2，λ3，λ4为平衡因子，用于调整生成器中各个损失函数所占权重；x，y分别为受损图像和真实图像，G，D分别为生成器和判别器，L1为两种图像之间的L1范数度量，作为生成器的重建损失函数，Lstyle为风格迁移损失函数，Ltv为全变差损失函数，
为对抗损失函数，E(*)表示取平均操作，y～P(Y)表示真实图像从P(Y)分布中采样取得，x～P(X)表示受损图像从P(X)分布中采样取得。
4.根据权利要求3所述的基于生成对抗网络的图像修复方法，其特征在于，所述训练数据集中输入图像和真实图像对为[x，y]，x为受损图像，y为目标真实图像；
为生成器的输出，
输入判别器的真实和假图像对为
5.根据权利要求3所述的基于生成对抗网络的图像恢复方法，其特征在于，所述生成器的重建损失函数为：
L1＝Ex，y～P(X，Y)||G(x)-y||1
其中x，y分别为从联合分布P(X，Y)中采样出来的受损图像和对应的真实图像，E(*)表示取平均操作，||*||1表示L1范数，G(*)为生成器对应的映射函数。
6.根据权利要求3所述的基于生成对抗网络的图像恢复方法，其特征在于，所述生成器的风格迁移损失函数为：
Lstyle＝αLc+βLs
其中，α，β为平衡因子，Lc，Ls分别为内容损失函数和风格损失函数。
7.根据权利要求6所述的基于生成对抗网络的图像修复方法，其特征在于，所述的风格迁移损失函数中内容损失函数为：
其中，φJ(*)为预训练的VGG网络的第J层，
||*||1表示L1范数。
8.根据权利要求6所述的基于生成对抗网络的图像修复方法，其特征在于，所述的风格迁移损失函数中风格损失函数为：
其中，ωi为计算在预训练的VGG网络第i层的风格损失函数，
是通过计算预训练的VGG网络第i层上特征图的Gram矩阵之间的欧氏距离得到的。
9.根据权利要求3所述的基于生成对抗网络的图像恢复方法，其特征在于，所述生成器的全变差损失函数为：
其中，HWC分别为图像的高、宽和通道数。
10.根据权利要求3所述的基于生成对抗网络的图像恢复方法，其特征在于，所述生成器的对抗损失函数为：
其中，x，y分别为从联合分布P(x，y)中采样出来的受损图像和对应的真实图像，E(*)表示取平均操作，G，D分别为生成器和判别器对应的映射函数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010510153.6A CN111815523A (zh) | 2020-06-08 | 2020-06-08 | 一种基于生成对抗网络的图像修复方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010510153.6A CN111815523A (zh) | 2020-06-08 | 2020-06-08 | 一种基于生成对抗网络的图像修复方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111815523A true CN111815523A (zh) | 2020-10-23 |
Family
ID=72846026
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010510153.6A Pending CN111815523A (zh) | 2020-06-08 | 2020-06-08 | 一种基于生成对抗网络的图像修复方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111815523A (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112465718A (zh) * | 2020-11-27 | 2021-03-09 | 东北大学秦皇岛分校 | 一种基于生成对抗网络的两阶段图像修复方法 |
| CN112561864A (zh) * | 2020-12-04 | 2021-03-26 | 深圳格瑞健康管理有限公司 | 龋齿图像分类模型的训练方法、系统和存储介质 |
| CN112686817A (zh) * | 2020-12-25 | 2021-04-20 | 天津中科智能识别产业技术研究院有限公司 | 一种基于不确定性估计的图像补全方法 |
| CN112785493A (zh) * | 2021-01-22 | 2021-05-11 | 北京百度网讯科技有限公司 | 模型的训练方法、风格迁移方法、装置、设备及存储介质 |
| CN112837329A (zh) * | 2021-03-01 | 2021-05-25 | 西北民族大学 | 一种藏文古籍文档图像二值化方法及系统 |
| CN113095989A (zh) * | 2021-03-31 | 2021-07-09 | 西安理工大学 | 一种基于图像风格迁移化的零水印版权保护算法 |
| CN113222144A (zh) * | 2021-05-31 | 2021-08-06 | 北京有竹居网络技术有限公司 | 图像修复模型的训练方法及图像修复方法、装置及设备 |
| CN113256541A (zh) * | 2021-07-16 | 2021-08-13 | 四川泓宝润业工程技术有限公司 | 利用机器学习对钻井平台监控画面进行去水雾的方法 |
| CN113297547A (zh) * | 2021-05-24 | 2021-08-24 | 上海大学 | 数据集的后门水印添加方法、验证方法及系统 |
| CN113379641A (zh) * | 2021-06-25 | 2021-09-10 | 南昌航空大学 | 一种基于自编码卷积神经网络的单幅图像去雨方法及系统 |
| CN113487571A (zh) * | 2021-07-07 | 2021-10-08 | 天津大学 | 一种基于图像质量评价的自监督异常检测方法 |
| CN113538275A (zh) * | 2021-07-14 | 2021-10-22 | 华中科技大学 | 一种基于CycleGAN的果实遮挡恢复方法及系统 |
| CN114331903A (zh) * | 2021-12-31 | 2022-04-12 | 电子科技大学 | 一种图像修复方法及存储介质 |
| CN116681604A (zh) * | 2023-04-24 | 2023-09-01 | 吉首大学 | 一种基于条件生成对抗网络的秦简文字修复方法 |
| CN117575917A (zh) * | 2023-11-08 | 2024-02-20 | 齐齐哈尔大学 | 一种基于深度学习的老电影修复方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109559287A (zh) * | 2018-11-20 | 2019-04-02 | 北京工业大学 | 一种基于DenseNet生成对抗网络的语义图像修复方法 |
| CN110033034A (zh) * | 2019-04-01 | 2019-07-19 | 深圳大学 | 一种非均匀纹理的图片处理方法、装置和计算机设备 |
| CN110378842A (zh) * | 2019-07-25 | 2019-10-25 | 厦门大学 | 一种图像纹理滤波方法、终端设备及存储介质 |
-
2020
- 2020-06-08 CN CN202010510153.6A patent/CN111815523A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109559287A (zh) * | 2018-11-20 | 2019-04-02 | 北京工业大学 | 一种基于DenseNet生成对抗网络的语义图像修复方法 |
| CN110033034A (zh) * | 2019-04-01 | 2019-07-19 | 深圳大学 | 一种非均匀纹理的图片处理方法、装置和计算机设备 |
| CN110378842A (zh) * | 2019-07-25 | 2019-10-25 | 厦门大学 | 一种图像纹理滤波方法、终端设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 温利龙: ""基于神经网络的古壁画破损修复与风格复原研究"", 《中国优秀博硕士学位论文全文数据库(硕士) 哲学与人文科学辑》 * |
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112465718B (zh) * | 2020-11-27 | 2022-07-08 | 东北大学秦皇岛分校 | 一种基于生成对抗网络的两阶段图像修复方法 |
| CN112465718A (zh) * | 2020-11-27 | 2021-03-09 | 东北大学秦皇岛分校 | 一种基于生成对抗网络的两阶段图像修复方法 |
| CN112561864A (zh) * | 2020-12-04 | 2021-03-26 | 深圳格瑞健康管理有限公司 | 龋齿图像分类模型的训练方法、系统和存储介质 |
| CN112561864B (zh) * | 2020-12-04 | 2024-03-29 | 深圳格瑞健康科技有限公司 | 龋齿图像分类模型的训练方法、系统和存储介质 |
| CN112686817A (zh) * | 2020-12-25 | 2021-04-20 | 天津中科智能识别产业技术研究院有限公司 | 一种基于不确定性估计的图像补全方法 |
| CN112686817B (zh) * | 2020-12-25 | 2023-04-07 | 天津中科智能识别产业技术研究院有限公司 | 一种基于不确定性估计的图像补全方法 |
| CN112785493B (zh) * | 2021-01-22 | 2024-02-09 | 北京百度网讯科技有限公司 | 模型的训练方法、风格迁移方法、装置、设备及存储介质 |
| CN112785493A (zh) * | 2021-01-22 | 2021-05-11 | 北京百度网讯科技有限公司 | 模型的训练方法、风格迁移方法、装置、设备及存储介质 |
| CN112837329A (zh) * | 2021-03-01 | 2021-05-25 | 西北民族大学 | 一种藏文古籍文档图像二值化方法及系统 |
| CN112837329B (zh) * | 2021-03-01 | 2022-07-19 | 西北民族大学 | 一种藏文古籍文档图像二值化方法及系统 |
| CN113095989B (zh) * | 2021-03-31 | 2023-07-07 | 西安理工大学 | 一种基于图像风格迁移化的零水印版权保护算法 |
| CN113095989A (zh) * | 2021-03-31 | 2021-07-09 | 西安理工大学 | 一种基于图像风格迁移化的零水印版权保护算法 |
| CN113297547A (zh) * | 2021-05-24 | 2021-08-24 | 上海大学 | 数据集的后门水印添加方法、验证方法及系统 |
| CN113222144A (zh) * | 2021-05-31 | 2021-08-06 | 北京有竹居网络技术有限公司 | 图像修复模型的训练方法及图像修复方法、装置及设备 |
| CN113222144B (zh) * | 2021-05-31 | 2022-12-27 | 北京有竹居网络技术有限公司 | 图像修复模型的训练方法及图像修复方法、装置及设备 |
| CN113379641A (zh) * | 2021-06-25 | 2021-09-10 | 南昌航空大学 | 一种基于自编码卷积神经网络的单幅图像去雨方法及系统 |
| CN113487571A (zh) * | 2021-07-07 | 2021-10-08 | 天津大学 | 一种基于图像质量评价的自监督异常检测方法 |
| CN113538275A (zh) * | 2021-07-14 | 2021-10-22 | 华中科技大学 | 一种基于CycleGAN的果实遮挡恢复方法及系统 |
| CN113256541B (zh) * | 2021-07-16 | 2021-09-17 | 四川泓宝润业工程技术有限公司 | 利用机器学习对钻井平台监控画面进行去水雾的方法 |
| CN113256541A (zh) * | 2021-07-16 | 2021-08-13 | 四川泓宝润业工程技术有限公司 | 利用机器学习对钻井平台监控画面进行去水雾的方法 |
| CN114331903B (zh) * | 2021-12-31 | 2023-05-12 | 电子科技大学 | 一种图像修复方法及存储介质 |
| CN114331903A (zh) * | 2021-12-31 | 2022-04-12 | 电子科技大学 | 一种图像修复方法及存储介质 |
| CN116681604A (zh) * | 2023-04-24 | 2023-09-01 | 吉首大学 | 一种基于条件生成对抗网络的秦简文字修复方法 |
| CN116681604B (zh) * | 2023-04-24 | 2024-01-02 | 吉首大学 | 一种基于条件生成对抗网络的秦简文字修复方法 |
| CN117575917A (zh) * | 2023-11-08 | 2024-02-20 | 齐齐哈尔大学 | 一种基于深度学习的老电影修复方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111815523A (zh) | 一种基于生成对抗网络的图像修复方法 | |
| CN111915522A (zh) | 一种基于注意力机制的图像修复方法 | |
| Yang et al. | DRFN: Deep recurrent fusion network for single-image super-resolution with large factors | |
| CN111127346B (zh) | 基于部分到整体注意力机制的多层次图像修复方法 | |
| Quan et al. | Image inpainting with local and global refinement | |
| CN109685072B (zh) | 一种基于生成对抗网络的复合降质图像高质量重建方法 | |
| CN111784602B (zh) | 一种生成对抗网络用于图像修复的方法 | |
| Lin et al. | Hyperspectral image denoising via matrix factorization and deep prior regularization | |
| CN110827213A (zh) | 一种基于生成式对抗网络的超分辨率图像修复方法 | |
| JP2022548712A (ja) | フィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法 | |
| CN111080513B (zh) | 一种基于注意力机制的人脸图像超分辨率方法 | |
| CN111563841A (zh) | 一种基于生成对抗网络的高分辨率图像生成方法 | |
| CN113112411B (zh) | 基于多尺度特征融合的人脸图像语义修复方法 | |
| CN111986075B (zh) | 一种目标边缘清晰化的风格迁移方法 | |
| CN111861906B (zh) | 一种路面裂缝图像虚拟增广模型建立及图像虚拟增广方法 | |
| CN113344806A (zh) | 一种基于全局特征融合注意力网络的图像去雾方法与系统 | |
| CN111428667A (zh) | 一种基于解耦表达学习生成对抗网络的人脸图像转正方法 | |
| CN112184582B (zh) | 一种基于注意力机制的图像补全方法及装置 | |
| CN113689517B (zh) | 一种多尺度通道注意力网络的图像纹理合成方法及系统 | |
| Kim et al. | Deeply aggregated alternating minimization for image restoration | |
| CN111861886B (zh) | 一种基于多尺度反馈网络的图像超分辨率重建方法 | |
| CN112686816A (zh) | 一种基于内容注意力机制和掩码先验的图像补全方法 | |
| CN111476241B (zh) | 一种人物服饰转换方法及系统 | |
| CN110660020A (zh) | 一种基于融合互信息的对抗生成网络的图像超分辨率方法 | |
| CN112801914A (zh) | 一种基于纹理结构感知的二段式图像修复方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20201023 |
|
| WD01 | Invention patent application deemed withdrawn after publication |