CN113935919A - 一种基于gan网络的图像修复算法 - Google Patents

一种基于gan网络的图像修复算法 Download PDF

Info

Publication number
CN113935919A
CN113935919A CN202111200403.7A CN202111200403A CN113935919A CN 113935919 A CN113935919 A CN 113935919A CN 202111200403 A CN202111200403 A CN 202111200403A CN 113935919 A CN113935919 A CN 113935919A
Authority
CN
China
Prior art keywords
network
convolution
image
module
missing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111200403.7A
Other languages
English (en)
Inventor
张渝欣
卢迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin University of Science and Technology
Original Assignee
Harbin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin University of Science and Technology filed Critical Harbin University of Science and Technology
Priority to CN202111200403.7A priority Critical patent/CN113935919A/zh
Publication of CN113935919A publication Critical patent/CN113935919A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于GAN网络的图像修复算法。方案是：（1）构造两种缺失区域的掩膜；（2）构造图像修复的网络结构，首先构造门控卷积模块、门控膨胀卷积模块、SAM注意力机制模块和SN卷积模块，之后运用构造的模块搭建一种基于GAN网络的由粗到细的修复网络；（3）运用搭建的图像修复网络进行训练和测试。本发明可以解决现有的图像修复网络存在缺失区域信息块的难以寻找、参数矩阵结构的破坏和多步修复算法的结果易受影响等问题，使修复的结果既保持良好的全局一致性，还具有精细的纹理细节。此外，本发明设计的掩膜方案可以修复多种缺失区域的图像，实用性广泛。

Description

一种基于GAN网络的图像修复算法
技术领域
本发明涉及图像处理技术领域，具体为一种基于GAN网络的图像修复算法。
背景技术
传统的图像修复方法主要采用数学和物理的方法，根据图像像素间的相关性和内容的相似性建立几何模型或者采用纹理合成等方式实现较小缺失区域的图像修复，但是传统方法缺乏对图像语义的感知，修复结果很不理想。近几年的深度学习方法在图像修复方面取得了众多突破性的进展，人们尝试通过网络优化修复算法、相似特征块匹配算法和基于结构信息约束算法等方法来提升修复效果。但是目前的图像修复网络仍然存在修复结果不能保持很好的全局一致性、局部细节较模糊、网络结构复杂和计算资源消耗较大等问题。
发明内容
本发明的研究内容为构造一个由粗到细的修复网络来实现缺失图像的修复并解决现有的图像修复网络所存在的主要问题。
本发明采用如下方式来实现：
(1)构造两种缺失区域的掩膜：
算法设计了两种掩膜，第一种是规则形状的掩膜，即缺失区域的形状为一个矩形或多个小矩形且随机分布在图像中；第二种是不规则形状的掩膜，即缺失区域的形状复杂，没有规则；
(2)构造图像修复的网络结构：
首先构造门控卷积模块、门控膨胀卷积模块、SAM注意力机制模块和SN卷积模块，之后运用构造的模块搭建一种基于GAN网络的由粗到细的修复网络；生成网络分为两个阶段，第一个阶段对输入的缺失图像进行粗重建，在全卷积网络的基础上运用门控卷积模块代替所有的标准卷积层，并引入门控膨胀卷积模块，对缺失图像进行粗重建，之后送入第二个阶段进行细化；第二个阶段引入两个分支，其中一个分支应用SAM空间注意力机制模块，另外一个分支应用门控膨胀卷积模块，然后将两个分支连接起来获得生成图像；判别网络采用 SN-PatchGAN网络结构，即将PatchGAN网络中所有的标准卷积层替换为SN卷积模块；
(3)运用搭建的图像修复网络进行训练和测试：
对公开的数据集，包括自然场景数据集：ParisStreetView、ImageNet和Places2，文本数据集：ICDAR和CTW进行训练，训练网络用的损失函数包括L1损失和SN-PatchGAN损失，平衡这两个损失项的超参数是1:1，之后对得到的网络模型进行测试并对测试结果进行定性分析和定量分析。
优选的：所述步骤(2)构造图像修复的网络结构中构造门控卷积模块和门控膨胀卷积模块：门控卷积在卷积层内引入了门控机制，输出由两个部分组成，一个卷积层feature mapy，x后使用Tanh激活函数，与标准卷积层的输出相同；另一个卷积层gatey，x后使用sigmoid激活函数对当前卷积层的输出进行加权，得到每个局部区域的重要性，使卷积的结果更多依赖于有效像素，其输出的计算公式为：
gatey，x＝∑∑Wg·I
feature mapy，x＝∑∑Wf·I
Oy，x＝Tanh(feature mapy，x)⊙σ(gatey，x)
门控膨胀卷积是将门控卷积中的卷积层替换为膨胀卷积层，通过调整卷积核的膨胀率，在不同层次上拥有更大的感受野且不会增加额外的参数，不仅使修复结果拥有更好的全局一致性还降低了模型训练时的计算量；
构造SAM注意力模块：SAM注意力模块是空间注意力模块，可以从图像缺失区域外的空间位置找到有利于重建缺失区域内图像的像素信息，即匹配缺失区域内生成的特征和缺失区域外生成的特征，SAM注意力机制的计算公式如下：
Figure BDA0003304705440000021
其中，σ表示sigmoid函数，f7×7表示卷积核为7×7的卷积运算，沿着通道轴应用平均池化和最大池化操作生成两个大小为1×H×W的输出
Figure BDA0003304705440000022
和
Figure BDA0003304705440000023
之后将它们连接起来生成一个有效的特征描述符并用卷积层生成大小为C×H×W的空间注意力图Ms(F)；
构造SN卷积模块：SN卷积模块是在标准的卷积层中加入谱归一化，首先给出一个随机的的高斯向量
Figure BDA0003304705440000024
归一化的公式如下：
Figure BDA0003304705440000025
Figure BDA0003304705440000026
Figure BDA0003304705440000027
Figure BDA0003304705440000028
其中，k为迭代次数，Wl为第l层的参数矩阵；
搭建图像修复网络：图像修复网络是一个基于GAN结构的网络，其中生成网络分为两个阶段，第一个阶段对输入的缺失图像进行粗重建，在全卷积网络的基础上运用门控卷积模块代替所有的标准卷积层，并引入门控膨胀卷积模块，对缺失图像进行粗重建，之后送入第二个阶段进行细化；第二个阶段引入两个分支，其中一个分支应用SAM空间注意力机制模块，另外一个分支应用门控膨胀卷积模块，然后将两个分支连接起来获得生成的图像；判别网络采用SN-PatchGAN网络结构，将PatchGAN网络中所有的标准卷积层替换为SN卷积模块。
优选的：所述步骤(3)运用搭建的图像修复网络进行训练和测试：对公开的数据集，包括自然场景数据集：Paris StreetView、ImageNet和Places2，文本数据集：ICDAR和CTW 进行训练，训练网络用的损失函数包括L1损失和SN-PatchGAN损失，平衡这两个损失项的超参数是1∶1，SN-PatchGAN loss的判别网络损失和生成网络损失分别如下所示：
Figure BDA0003304705440000031
Figure BDA0003304705440000032
之后对得到的网络模型进行测试并对测试结果进行定性分析和定量分析。
本发明的有益效果为：
1、本发明针对多种类型的图像，所设计的掩膜既增加了模型训练时样本的多样性，还考虑到测试图像缺失区域的不可控性，实用性广泛；
2、本发明在生成网络中运用门控卷积层代替所有的标准卷积层，使卷积的结果更多依赖于有效像素，提高了修复结果的局部纹理细节；引入的门控膨胀卷积层可以允许不同大小的图像输入，在不加深网络的同时帮助理解图像的上下文信息；引入的SAM空间注意力机制可以更好的从较远的空间位置得到有用的上下文信息来重建缺失的像素，解决了断层问题，使修复的结果具有很好的全局一致性；判别网络使用的SN-PatchGAN网络结构解决了目前常用的WGAN网络存在的主要问题，可以在不破坏参数矩阵的同时提高训练的稳定性；本发明提出的修复网络仅需要训练一个网络就可以得到细致的图像修复结果，避免了多步修复算法计算资源消耗较大、结果易受影响等问题；
3、本发明可用于图像编辑，先将图像中不需要的信息去除，例如照片中的日期、水印、敏感的文字信息和路人等，之后运用图像修复网络将缺失的图像补充完整并让人们无法察觉到该图像曾经被破坏并修复过，有效地保护个人隐私；此外，本发明可以将图像中由于自然原因或人为干扰导致的退化文字修复完整，完成笔画复原，帮助人们更好地获取和判断图像中的原始信息。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明构造的缺失区域规则形状的掩膜；
图2为本发明构造的缺失区域不规则形状的掩膜；
图3为本发明构造的门控卷积结构图；
图4为本发明搭建的生成网络的结构图；
图5为本发明搭建的判别网络的结构图；
具体实施方式
在下文中将结合附图对本发明的示范性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。
在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的部分，而省略了与本发明关系不大的其他细节。
具体实施方式一：
本实施方式的一种基于GAN网络的图像修复算法，所述方法包括以下步骤：
步骤一、构造两种缺失区域的掩膜；
步骤二、构造图像修复的网络结构；
步骤三、运用搭建的图像修复网络进行训练和测试。
具体实施方式二：
与具体实施方式一不同的是，本实施方式的一种基于GAN网络的图像修复算法，结合图1，2，所述的步骤一中构造两种缺失区域的掩膜的具体做法为：
设计了两种缺失区域的掩膜并随机分布在图像中，第一种是规则形状的掩膜，即缺失区域的形状为一个矩形或多个小矩形，如图1所示；第二种是不规则形状的掩膜，即缺失区域的形状复杂，没有规则，如图2所示。
具体实施方式三：
与具体实施方式一、二不同的是，本实施方式的一种基于GAN网络的图像修复算法，结合图3，4，5，所述的步骤二中构造图像修复的网络结构包括构造门控卷积模块、门控膨胀卷积模块、SAM注意力机制模块和SN卷积模块，之后运用构造的模块搭建一种基于GAN网络的由粗到细的修复网络，其具体做法为：
(1)构造门控卷积模块和门控膨胀卷积模块：
门控卷积在卷积层内引入了门控机制，输出由两个部分组成，一个卷积层featuremapy，x后使用Tanh激活函数，与标准卷积层的输出相同；另一个卷积层gatey，x后使用sigmoid激活函数对当前卷积层的输出进行加权，得到每个局部区域的重要性，使卷积的结果更多依赖于有效像素，其输出的计算公式为：
gatey，x＝∑∑Wg·I
feature mapy，x＝∑∑Wf·I
Oy，x＝Tanh(feature mapy，x)⊙σ(gatey，x)
门控膨胀卷积是将门控卷积中的卷积层替换为膨胀卷积层，通过调整卷积核的膨胀率，在不同层次上拥有更大的感受野且不会增加额外的参数，不仅使修复结果拥有更好的全局一致性还降低了模型训练时的计算量；
(2)构造SAM注意力模块：
SAM注意力模块是空间注意力模块，可以从图像缺失区域外的空间位置找到有利于重建缺失区域内图像的像素信息，即匹配缺失区域内生成的特征和缺失区域外生成的特征，SAM 注意力机制的计算公式如下：
Figure BDA0003304705440000051
其中，σ表示sigmoid函数，f7×7表示卷积核为7×7的卷积运算，沿着通道轴应用平均池化和最大池化操作生成两个大小为1×H×W的输出
Figure BDA0003304705440000052
和
Figure BDA0003304705440000053
之后将它们连接起来生成一个有效的特征描述符并用卷积层生成大小为C×H×W的空间注意力图Ms(F)；
(3)构造SN卷积模块：
SN卷积模块是在标准的卷积层中加入谱归一化，首先给出一个随机的的高斯向量
Figure BDA0003304705440000054
归一化的公式如下：
Figure BDA0003304705440000055
Figure BDA0003304705440000056
Figure BDA0003304705440000057
Figure BDA0003304705440000061
其中，k为迭代次数，Wl为第l层的参数矩阵；
(4)搭建图像修复网络：
图像修复网络是一个基于GAN结构的网络，其中生成网络分为两个阶段，第一个阶段对输入的缺失图像进行粗重建，在全卷积网络的基础上运用门控卷积模块代替所有的标准卷积层，并引入门控膨胀卷积模块，对缺失图像进行粗重建，之后送入第二个阶段进行细化；第二个阶段引入两个分支，其中一个分支应用SAM空间注意力机制模块，另外一个分支应用门控膨胀卷积模块，然后将两个分支连接起来获得生成的图像；判别网络采用SN-PatchGAN 网络结构，将PatchGAN网络中所有的标准卷积层替换为SN卷积模块。
具体实施方式四：
与具体实施方式一、二、三不同的是，本实施方式的一种基于GAN网络的图像修复算法，所述的步骤三中运用搭建的图像修复网络进行训练和测试的具体做法为：
对公开的数据集，包括自然场景数据集：ParisStreetView、ImageNet和Places2，文本数据集：ICDAR和CTW进行训练，训练网络用的损失函数包括L1损失和SN-PatchGAN损失，平衡这两个损失项的超参数是1:1，SN-PatchGANloss的判别网络损失和生成网络损失分别如下所示：
Figure BDA0003304705440000062
Figure BDA0003304705440000063
之后对得到的网络模型进行测试并对测试结果进行定性分析和定量分析。

Claims (4)

1.一种基于GAN网络的图像修复算法，其特征在于：所述方法通过以下步骤实现：
（1）构造两种缺失区域的掩膜：
算法设计了两种掩膜，第一种是规则形状的掩膜，即缺失区域的形状为一个矩形或多个小矩形且随机分布在图像中；第二种是不规则形状的掩膜，即缺失区域的形状复杂，没有规则；
（2）构造图像修复的网络结构：
首先构造门控卷积模块、门控膨胀卷积模块、SAM注意力机制模块和SN卷积模块，之后运用构造的模块搭建一种基于GAN网络的由粗到细的修复网络；生成网络分为两个阶段，第一个阶段对输入的缺失图像进行粗重建，在全卷积网络的基础上运用门控卷积模块代替所有的标准卷积层，并引入门控膨胀卷积模块，对缺失图像进行粗重建，之后送入第二个阶段进行细化；第二个阶段引入两个分支，其中一个分支应用SAM空间注意力机制模块，另外一个分支应用门控膨胀卷积模块，然后将两个分支连接起来获得生成图像；判别网络采用SN-PatchGAN网络结构，即将PatchGAN网络中所有的标准卷积层替换为SN卷积模块；
（3）运用搭建的图像修复网络进行训练和测试：
对公开的数据集，包括自然场景数据集：Paris StreetView 、ImageNet和Places2，文本数据集：ICDAR和CTW进行训练，训练网络用的损失函数包括L1损失和SN-PatchGAN损失，平衡这两个损失项的超参数是1:1，之后对得到的网络模型进行测试并对测试结果进行定性分析和定量分析。
2.根据权利要求1所述一种基于GAN网络的图像修复算法，其特征在于：构造两种缺失区域的掩膜：算法设计了两种缺失区域的掩膜并随机分布在图像中，第一种是规则形状的掩膜，即缺失区域的形状为一个矩形或多个小矩形；第二种是不规则形状的掩膜，即缺失区域的形状复杂，没有规则。
3.根据权利要求1所述一种基于GAN网络的图像修复算法，其特征在于：构造图像修复的网络结构：
（1）构造门控卷积模块和门控膨胀卷积模块：门控卷积在卷积层内引入了门控机制，输出由两个部分组成，一个卷积层
Figure 391704DEST_PATH_IMAGE001
后使用Tanh激活函数，与标准卷积层的输出相同；另一个卷积层
Figure 462428DEST_PATH_IMAGE002
后使用sigmoid激活函数对当前卷积层的输出进行加权，得到每个局部区域的重要性，使卷积的结果更多依赖于有效像素，其输出的计算公式为：
Figure 515835DEST_PATH_IMAGE003
Figure 355615DEST_PATH_IMAGE004
Figure 898591DEST_PATH_IMAGE005
门控膨胀卷积是将门控卷积中的卷积层替换为膨胀卷积层，通过调整卷积核的膨胀率，在不同层次上拥有更大的感受野且不会增加额外的参数，不仅使修复结果拥有更好的全局一致性还降低了模型训练时的计算量；
（2）构造SAM注意力模块：SAM注意力模块是空间注意力模块，可以从图像缺失区域外的空间位置找到有利于重建缺失区域内图像的像素信息，即匹配缺失区域内生成的特征和缺失区域外生成的特征，SAM注意力机制的计算公式如下：
Figure 191032DEST_PATH_IMAGE006
其中，
Figure 48130DEST_PATH_IMAGE007
表示sigmoid函数，
Figure 742417DEST_PATH_IMAGE008
表示卷积核为
Figure 393978DEST_PATH_IMAGE009
的卷积运算，沿着通道轴应用平均池化和最大池化操作生成两个大小为
Figure 439294DEST_PATH_IMAGE010
的输出
Figure 896820DEST_PATH_IMAGE011
和
Figure 445613DEST_PATH_IMAGE012
，之后将它们连接起来生成一个有效的特征描述符并用卷积层生成大小为C
Figure 533655DEST_PATH_IMAGE013
的空间注意力图
Figure 800688DEST_PATH_IMAGE014
；
（3）构造SN卷积模块：SN卷积模块是在标准的卷积层中加入谱归一化，首先给出一个随机的的高斯向量
Figure 999588DEST_PATH_IMAGE015
，归一化的公式如下：
Figure 465205DEST_PATH_IMAGE016
Figure 724148DEST_PATH_IMAGE017
Figure 478477DEST_PATH_IMAGE018
Figure 215489DEST_PATH_IMAGE019
其中，
Figure 738874DEST_PATH_IMAGE020
为迭代次数，
Figure 231036DEST_PATH_IMAGE021
为第
Figure 269399DEST_PATH_IMAGE022
层的参数矩阵；
（4）搭建图像修复网络：图像修复网络是一个基于GAN结构的网络，其中生成网络分为两个阶段，第一个阶段对输入的缺失图像进行粗重建，在全卷积网络的基础上运用门控卷积模块代替所有的标准卷积层，并引入门控膨胀卷积模块，对缺失图像进行粗重建，之后送入第二个阶段进行细化；第二个阶段引入两个分支，其中一个分支应用SAM空间注意力机制模块，另外一个分支应用门控膨胀卷积模块，然后将两个分支连接起来获得生成的图像；判别网络采用SN-PatchGAN网络结构，将PatchGAN网络中所有的标准卷积层替换为SN卷积模块。
4.根据权利要求1所述一种基于GAN网络的图像修复算法，其特征在于：运用搭建的图像修复网络进行训练和测试：对公开的数据集，包括自然场景数据集：Paris StreetView 、ImageNet和Places2，文本数据集：ICDAR和CTW进行训练，训练网络用的损失函数包括L1损失和SN-PatchGAN损失，平衡这两个损失项的超参数是1:1，SN-PatchGAN loss的判别网络损失和生成网络损失分别如下所示：
Figure 810102DEST_PATH_IMAGE023
Figure 453572DEST_PATH_IMAGE024
之后对得到的网络模型进行测试并对测试结果进行定性分析和定量分析。
CN202111200403.7A 2021-10-15 2021-10-15 一种基于gan网络的图像修复算法 Pending CN113935919A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111200403.7A CN113935919A (zh) 2021-10-15 2021-10-15 一种基于gan网络的图像修复算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111200403.7A CN113935919A (zh) 2021-10-15 2021-10-15 一种基于gan网络的图像修复算法

Publications (1)

Publication Number Publication Date
CN113935919A true CN113935919A (zh) 2022-01-14

Family

ID=79279474

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111200403.7A Pending CN113935919A (zh) 2021-10-15 2021-10-15 一种基于gan网络的图像修复算法

Country Status (1)

Country Link
CN (1) CN113935919A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114758136A (zh) * 2022-06-13 2022-07-15 深圳比特微电子科技有限公司 目标去除模型建立方法、装置及可读存储介质
TWI818891B (zh) * 2022-06-02 2023-10-11 鴻海精密工業股份有限公司 訓練方法及電子裝置
CN117455813A (zh) * 2023-11-15 2024-01-26 齐鲁工业大学(山东省科学院) 基于门控卷积和scpam注意力模块的遮挡手写病历汉字图像修复方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190355102A1 (en) * 2018-05-15 2019-11-21 Adobe Inc. Digital Image Completion by Learning Generation and Patch Matching Jointly
CN111861925A (zh) * 2020-07-24 2020-10-30 南京信息工程大学滨江学院 一种基于注意力机制与门控循环单元的图像去雨方法
CN111968053A (zh) * 2020-08-13 2020-11-20 南京邮电大学 基于门控卷积生成对抗网络的图像修复方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190355102A1 (en) * 2018-05-15 2019-11-21 Adobe Inc. Digital Image Completion by Learning Generation and Patch Matching Jointly
CN111861925A (zh) * 2020-07-24 2020-10-30 南京信息工程大学滨江学院 一种基于注意力机制与门控循环单元的图像去雨方法
CN111968053A (zh) * 2020-08-13 2020-11-20 南京邮电大学 基于门控卷积生成对抗网络的图像修复方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘跃中;斯托夫斯・卢迪;杨阳;: "基于条件生成对抗网络的城市设计研究", 建筑学报, no. 09, 20 September 2018 (2018-09-20) *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI818891B (zh) * 2022-06-02 2023-10-11 鴻海精密工業股份有限公司 訓練方法及電子裝置
CN114758136A (zh) * 2022-06-13 2022-07-15 深圳比特微电子科技有限公司 目标去除模型建立方法、装置及可读存储介质
CN117455813A (zh) * 2023-11-15 2024-01-26 齐鲁工业大学(山东省科学院) 基于门控卷积和scpam注意力模块的遮挡手写病历汉字图像修复方法

Similar Documents

Publication Publication Date Title
Zhang et al. Semantic image inpainting with progressive generative networks
Din et al. A novel GAN-based network for unmasking of masked face
TWI682359B (zh) 影像補全方法
CN109919830B (zh) 一种基于美学评价的带参考人眼图像修复方法
Lu et al. Face hallucination via split-attention in split-attention network
CN113935919A (zh) 一种基于gan网络的图像修复算法
CN108520503A (zh) 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法
CN107358262B (zh) 一种高分辨率图像的分类方法及分类装置
Cao et al. Ancient mural restoration based on a modified generative adversarial network
US11580622B2 (en) System and method for image inpainting
CN116051408B (zh) 一种基于残差自编码的图像深度去噪方法
CN113034355B (zh) 一种基于深度学习的肖像图像双下巴去除方法
Shen et al. Single-shot semantic image inpainting with densely connected generative networks
Gao A method for face image inpainting based on generative adversarial networks
CN114694176A (zh) 一种基于深度学习的轻量级人体姿态估计方法
CN114092354A (zh) 一种基于生成对抗网络的人脸图像修复方法
Yu et al. MagConv: Mask-guided convolution for image inpainting
US20230110393A1 (en) System and method for image transformation
CN116051407A (zh) 一种图像修复方法
Cai et al. Contextual-assisted scratched photo restoration
Huang et al. Image completion based on gans with a new loss function
Campana et al. Variable-hyperparameter visual transformer for efficient image inpainting
CN114565946A (zh) 一种基于自注意力机制轻量级网络的指纹活体检测方法
Ge et al. A virtual restoration network of ancient murals via global–local feature extraction and structural information guidance
Jiang et al. Mask‐guided image person removal with data synthesis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination