CN116051407A - 一种图像修复方法 - Google Patents

一种图像修复方法 Download PDF

Info

Publication number
CN116051407A
CN116051407A CN202310008339.5A CN202310008339A CN116051407A CN 116051407 A CN116051407 A CN 116051407A CN 202310008339 A CN202310008339 A CN 202310008339A CN 116051407 A CN116051407 A CN 116051407A
Authority
CN
China
Prior art keywords
image
edge
restoration
broken
countermeasure network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310008339.5A
Other languages
English (en)
Inventor
陈婷
王通
冯柔
罗建喆
廖本奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunming University of Science and Technology
Original Assignee
Kunming University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunming University of Science and Technology filed Critical Kunming University of Science and Technology
Publication of CN116051407A publication Critical patent/CN116051407A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种图像修复方法，该方法包括：确定样本图像，所述样本图像包括破损彩色图像、破损灰度图像和破损边缘图像，所述破损彩色图像为部分彩色残缺的图像，所述破损彩色图像通过彩色图像和二值掩码生成，所述破损灰度图像通过对破损彩色图像二值处理得到，所述破损边缘图像通过Canny算法对破损彩色图像边缘提取得到；基于样本图像，利用边缘生成对抗网络，确定所述破损彩色图像对应的初始边缘修复图像，其中，所述边缘生成对抗网络通过破损彩色图像、破损灰度图像和破损边缘图像训练得到；利用纹理生成对抗网络，修复初始边缘修复图像，得到对应的修复图像，其中，所述纹理生成对抗网络中的注意力模块用于提取残缺区域的样本块，与非残缺区域进行相关性匹配，以捕获到远距离上下文图像信息，重建修复图像。本发明实施例用于修复大面积不规则残缺区域时，具有较好的修复结果。

Description

一种图像修复方法
技术领域
本发明涉及图像处理领域，尤其涉及一种图像修复方法。
背景技术
图像修复是用语义合理且视觉逼真的内容去填充残缺区域，是一种重建图像中丢失或损坏部分的技术，图像修复技术主要用于照片修复、照片人物移出、人脸检测面部遮挡物移出以及文物修复字画、壁画等多方面的修复。
对于大尺度的图像修复任务，当残缺面积较大时，图像的已知信息较少，难以去通过周围信息对图像进行修复，为此，修复结果在整体结构中缺乏连贯性，边缘会产生模糊的修复结果，可见，目前的图像修复的准确度较低。
为此，亟需提供一种图像修复方法，以提升图像修复的准确度。
发明内容
本发明的目的提出了一种图像修复方法，该方法通过获取残缺面积较大区域中的远距离上下文图像信息，提升了图像修复的准确度。并且修复大面积不规则残缺区域时，具有较好的修复结果。
为实现本发明的目的所采用的技术方案是：
第一方面，本申请实施例提供了一种图像修复方法，包括：
确定样本图像，所述样本图像包括破损彩色图像、破损灰度图像和破损边缘图像，所述破损彩色图像为部分彩色残缺的图像，所述破损彩色图像通过彩色图像和二值掩码生成，所述破损灰度图像通过对破损彩色图像二值处理得到，所述破损边缘图像通过Canny算法对破损彩色图像边缘提取得到；
基于样本图像，利用边缘生成对抗网络，确定所述破损彩色图像对应的初始边缘修复图像，其中，所述边缘生成对抗网络通过破损彩色图像、破损灰度图像和破损边缘图像训练得到；
利用纹理生成对抗网络，修复初始边缘修复图像，得到对应的修复图像，其中，所述纹理生成对抗网络中的注意力模块用于提取残缺区域的样本块，与非残缺区域进行相关性匹配，以捕获到远距离上下文图像信息，重建修复图像。
可选的，所述边缘生成对抗网络包括第一生成器和第一判别器，所述第一生成器包括第一编码器、第一空洞残差块和第一解码器，第一判别器为Patch判别器，Patch判别器主要结构是包含了5个卷积层，卷积核大小均为4×4，所述基于样本图像，利用边缘生成对抗网络，确定所述破损彩色图像对应的初始边缘修复图像，包括：
基于样本图像，利用第一生成器中的第一编码器进行第一门控卷积运算，输出第一编码器的第一编码图像；
利用第一空洞残差块对第一编码图像依次进行第一空洞卷积运算和第一残差卷积运算，输出第一空洞残差图像；
基于所述第一空洞残差图像利用第一解码器进行第一卷积运算，输出初始边缘修复图像。
可选的，所述纹理生成对抗网络包括第二生成器和第二判别器，所述第二生成器包括第二编码器、注意力模块、第二空洞残差块和第二解码器，第二判别器为Patch判别器，所述利用纹理生成对抗网络，修复初始边缘修复图像，得到对应的修复图像，包括：
基于初始边缘修复图像，利用第二生成器中的第二编码器进行第二门控卷积运算，得到第二编码图像；
对第二编码图像利用注意力模块进行注意力处理，得到第二注意力图像；
基于所述第二注意力图像，利用第二空洞残差块进行第二空洞卷积和第二残差卷积运算，得到第二空洞残差图像；
对第二空洞残差图像利用第二解码器进行第二卷积运算，输出修复图像。
可选的，所述第一门控卷积运算Oy,x的计算公式为：
Figure BDA0004036586560000021
其中，wg是用于产生特征的卷积核，wf表示的是产生门控运算的卷积核，I表示的是特征图，σ表示的是sigmoid函数，φ表示的是激活函数。
可选的，所述对第二编码图像利用注意力模块进行注意力处理，得到第二注意力图像，包括：
确定上下文特征信息，其中，所述上下文特征信息为残缺区域与非残缺区域中的特征信息；
基于所述上下文特征信息，对第二编码图像中的非残缺区域进行纹理查找，以确定出替补残缺区域的纹理补丁；
将所述纹理补丁和非残缺区域进行相似度计算，得到纹理补丁对应的注意力分数；
基于注意力分数结合卷积进行归一化处理，得到残缺区域的样本补丁；
将样本补丁通过反卷积处理，生成重建后的第二注意力图像。
可选的，所述纹理生成对抗网络纹理L生成对抗网络的损失总函数为：
Figure BDA0004036586560000031
其中，Ladv为生成对抗网络，λadv为生成对抗网络的损失函数权重值，
Figure BDA0004036586560000032
为像素重建损失，
Figure BDA0004036586560000033
为像素重建损失的损失函数权重值，Lper为感知损失，λper为感知损失的损失函数权重值；Lsty为风格损失，λsty为风格损失的损失函数权重值。
可选的，所述像素重建损失函数
Figure BDA0004036586560000034
的计算公式为：
Figure BDA0004036586560000035
其中，Igt表示真实图像，Iout表示模型修复的结果。
可选的，所述感知损失函数Lper的计算公式为：
Figure BDA0004036586560000036
其中，其中
Figure BDA0004036586560000037
是从ImageNet数据集上预训练好的VGG-19网络的池化层中第i层的激活图，Ni是
Figure BDA0004036586560000038
中的元素个数，Igt表示真实图像，Iout表示模型修复的结果。
可选的，所述风格损失函数Lsty的计算公式为：
Lsty＝Ei[Gram(Iout)-Gram(Igt)1]
其中，Igt表示真实图像，Iout表示模型修复的结果，Gram矩阵用于计算特征间的相关性。
可选的，所述边缘生成对抗网络中对应的对抗损失函数Ladv的表达式为：
Figure BDA0004036586560000041
其中，Igt表示真实图像，Iout表示模型修复的结果，
Figure BDA0004036586560000042
表示的是真实图像的分布，
Figure BDA0004036586560000043
表示残缺图像的分布。
基于以上，本发明实施例中提供了一种图像修复方法，通过确定样本图像，所述样本图像包括破损彩色图像、破损灰度图像和破损边缘图像；基于样本图像，利用边缘生成对抗网络，确定所述破损彩色图像对应的初始边缘修复图像，其中，所述边缘生成对抗网络通过破损彩色图像、破损灰度图像和破损边缘图像训练得到；利用纹理生成对抗网络，修复初始边缘修复图像，得到对应的修复图像，其中，所述纹理生成对抗网络中的注意力模块用于提取残缺区域的样本块，与非残缺区域进行相关性匹配，以捕获到远距离上下文图像信息，重建修复图像。在本申请实施例中，从而利用边缘生成对抗网络和纹理生成对抗网络相互配合的方式，能够利用纹理生成对抗网络获取图像中远距离上下文图像信息，从而提升图像修复的准确度。
进一步的，本申请实施例中在边缘生成对抗网络和纹理生成对抗网络中生成器上采样和下采样利用门控卷积代替普通卷积对输入的破损图像进行自动学习，动态的去识别图像中有效像素的位置，以有效地学习已知区域和残缺区域之间的关系
进一步的，本申请实施例中边缘生成对抗网络通过Canny算法获得残缺边缘结构，进行边缘修复，为纹理生成对抗网络提供结构约束。
进一步的，本申请实施例中在纹理生成对抗网络中引入注意力模块，并且所述注意力模块应用有上下文特征重建(Contextual feature reconstruction,CFR)注意力机制，该注意力机制通过提取残缺区域的样本块，与非残缺区域进行相关性匹配，从而捕获到远距离上下文图像信息，并结合边缘结构信息促使纹理修复生成器在大面积残缺时生成修复图像。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例中的一种图像修复方法的步骤示意图；
图2为本发明实施例中边缘生成对抗网络的架构示意图；
图3为本发明实施例中确定初始边缘修复图像的步骤示意图；
图4为本发明实施例中纹理生成对抗网络的架构示意图；
图5为本发明实施例中得到修复图像的步骤示意图；
图6为本发明实施例中注意力模块处理过程的示意图；
图7为本发明实施例中验证结果图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
本发明的一种具体实施方式如下，图1为本申请实施例中的一种图像修复方法的步骤示意图，具体的，图像修复方法的步骤具体包括：
步骤S11、确定样本图像，所述样本图像包括破损彩色图像Ips、破损灰度图像Ihd和破损边缘图像Iby，所述破损彩色图像为部分彩色残缺的图像，所述破损彩色图像通过彩色图像和二值掩码mask生成，所述破损灰度图像通过对破损彩色图像二值处理得到，所述破损边缘图像通过Canny算法对破损彩色图像边缘提取得到。
可选的，确定样本图像的过程可以为：选取数据集。完成数据集选取，数据预处理的过程。
首先，图像数据集的数据包括两方面，分别是真实图像数据集和掩码图像数据集，通常模型的训练所选的图像数据集可以被分为建筑、纹理、街景、场景、人脸数据集，本发明选取了高清人脸数据集(celebA-HQ)数据集作为真实图像的数据集，掩码数据集则是选取NVIDIA的不规则掩码数据集。
进一步的，数据预处理，高清人脸数据集(CelebA-HQ)数据集总共有30000张，而NVIDIA的不规则掩码数据集，它包含12000张不同掩码比例的掩码图像，其掩码比例分别为(0.01,0.1]，(0.1,0.2]，(0.2,0.3]，(0.3,0.4]，(0.4,0.5]，(0.5,0.6]，每2000张为一个掩码比例数据集。为了保证人脸图像和掩码图像的对应关系，对掩码图像进行了数据增强，通过旋转不同比例的掩码图像来增强数据，旋转角度为90°和180°，每一个角度增加图片1500张，最终增加数据集为30000张。每一张图片都是唯一地、任意地与人脸图像叠加后输入网络进行训练。将两个数据集的图片结合成破损彩色图像，并通过Canny算法提取破损边缘，得到破损边缘图像。
步骤S12、基于样本图像，利用边缘生成对抗网络，确定所述破损彩色图像对应的初始边缘修复图像，其中，所述边缘生成对抗网络通过破损彩色图像、破损灰度图像和破损边缘图像训练得到。
可选的，所述边缘生成对抗网络可以具体参考图2所示，该模型主要是由编码器和解码器的架构构成的生成对抗网络，所述边缘生成对抗网络包括第一生成器和第一判别器，所述第一生成器包括第一编码器、第一空洞残差块和第一解码器，第一判别器为Patch判别器，Patch判别器主要结构是包含了5个卷积层，卷积核大小均为4×4，每层卷积层将特征图的空间大小减少了两倍，都进行了频谱归一化和使用激活函数LeakyReLU。
结合图3，所述基于样本图像，利用边缘生成对抗网络，确定所述破损彩色图像对应的初始边缘修复图像，包括：
步骤S31、基于样本图像，利用第一生成器中的第一编码器进行第一门控卷积运算，输出第一编码器的第一编码图像；
所述第一门控卷积运算Oy,x的计算公式为：
Figure BDA0004036586560000071
其中，wg是用于产生特征的卷积核，wf表示的是产生门控运算的卷积核，I表示的是特征图，σ表示的是sigmoid函数，φ表示的是激活函数。所述门控卷积的输出层的输出值取决于未损坏的区域，门控卷积通过sigmoid函数对输入的破损图像的特征图进行加权得到门控值Gating，再将门控值与特征提取单元所提取的特征值Feature相乘得到门控卷积输出，以此作为修复填充依据。在每一次门控卷积后，门控值和特征值根据上层输入特征更新一次滤波器参数，为下一层已知区域特征以及相应的掩码区域特征的更新做准备。
步骤S32、利用第一空洞残差块对第一编码图像依次进行第一空洞卷积运算和第一残差卷积运算，输出第一空洞残差图像；
步骤S33、基于所述第一空洞残差图像利用第一解码器进行第一卷积运算，输出初始边缘修复图像。
在一种实施例中，可以通过边缘生成对抗网络可以通过二值掩码mask、破损边缘图像Iby和破损灰度图像Ihd训练得到，且边缘生成对抗网络能够同时输出修复后的初始边缘修复图像Ied。
步骤S13、利用纹理生成对抗网络，修复初始边缘修复图像，得到对应的修复图像，其中，所述纹理生成对抗网络中的注意力模块用于提取残缺区域的样本块，与非残缺区域进行相关性匹配，以捕获到远距离上下文图像信息，重建修复图像。
可选的，所述纹理生成对抗网络可以具体参考图4所示，该模型主要是由编码器和解码器的架构构成的生成对抗网络，所述纹理生成对抗网络包括第二生成器和第二判别器，所述第二生成器包括第二编码器、注意力模块、第二空洞残差块和第二解码器，第二判别器为Patch判别器，Patch判别器主要结构是包含了5个卷积层，卷积核大小均为4×4，每层卷积层将特征图的空间大小减少了两倍，都进行了频谱归一化和使用激活函数LeakyReLU。
需要说明的是，所述纹理生成对抗网络使用的判别器与边缘生成对抗网络相同，生成器有部分的不同，其不同之处在于：纹理生成对抗网络在门控卷积下采样和空洞残差块中加入了加了一个分支，上方分支由普通卷积层和上下文特征重建(CFR)注意力模块构成，下方分支则是两个普通卷积层，经过两个分支处理后合并特征并输入残差块中。
结合图5，所述利用纹理生成对抗网络，修复初始边缘修复图像，得到对应的修复图像，包括：
步骤S51、基于初始边缘修复图像，利用第二生成器中的第二编码器进行第二门控卷积运算，得到第二编码图像；
步骤S52、对第二编码图像利用注意力模块进行注意力处理，得到第二注意力图像；
步骤S53、基于所述第二注意力图像，利用第二空洞残差块进行第二空洞卷积和第二残差卷积运算，得到第二空洞残差图像；
步骤S54、对第二空洞残差图像利用第二解码器进行第二卷积运算，输出修复图像。
在一种实施例中，步骤S52、所述对第二编码图像利用注意力模块进行注意力处理，得到第二注意力图像，包括：
确定上下文特征信息，其中，所述上下文特征信息为残缺区域与非残缺区域中的特征信息；
基于所述上下文特征信息，对第二编码图像中的非残缺区域进行纹理查找，以确定出替补残缺区域的纹理补丁；
将所述纹理补丁和非残缺区域进行相似度计算，得到纹理补丁对应的注意力分数；
基于注意力分数结合卷积进行归一化处理，得到残缺区域的样本补丁；
将样本补丁通过反卷积处理，生成重建后的第二注意力图像
结合图6所示，在本申请实施例中采用注意力模块提取残缺区域的样本块，与非残缺区域进行相关性匹配，以捕获到远距离上下文图像信息，重建修复图像，具体的：
利用注意力模块在非残缺区域(背景){bx,y}中寻找相似的纹理，并使用它们替代残缺区域(前景){qx',y'}的纹理，其中非残缺区域的纹理补丁尺寸大小设置为1×1，以便能够提取像素级特征，这里使用欧几里得距离对其相似性进行测量，其表达式为：
simx,y,x′,y′＝||bx,y-qx′,y′||2
该表达式表示的是非残缺区域(背景){bx,y}与残缺区域(前景){qx',y'}的补丁块的特征之间相似性，然后沿着非残缺区域维度上对相似性进行加权，得到每个像素的注意力分数：
Figure BDA0004036586560000091
其中λ是常数，利用上述公式有效地将Softmax函数将卷积和通道注意力进行融合，在归一化之后，沿着同通道的和应为1，最后将提取到的背景样本块{bx,y}通过反卷积来重建前景信息，对相同的像素值取平均值，根据得分重建图像，以得到重建后的第二注意力图像。
可见，在纹理生成对抗网络中，将第一阶段的边缘生成对抗网络输出的初始边缘修复图像作为整体图像结构的先验条件，通过纹理生成对抗网络输出完整的修复图像。
另外，本申请中的边缘生成对抗网络与纹理生成对抗网络均遵循一定的约束。所述的纹理生成对抗网络及所述的纹理生成对抗网络的损失函数都是使用生成对抗损失Ladv，纹理生成对抗网络除了使用生成对抗网络Ladv还使用像素重建损失
Figure BDA0004036586560000092
感知损失Lper、风格损失Lsty，即纹理生成对抗网络的损失总函数为：
Figure BDA0004036586560000093
其中，Ladv为生成对抗网络，λadv为生成对抗网络的损失函数权重值，
Figure BDA0004036586560000094
为像素重建损失，
Figure BDA0004036586560000095
为像素重建损失的损失函数权重值，Lper为感知损失，λper为感知损失的损失函数权重值；Lsty为风格损失，λsty为风格损失的损失函数权重值。
在一种实施例中，λadv＝0.01，
Figure BDA0004036586560000101
λper＝0.1，λsty＝250时，重建图像的效果最好。
可选的，所述像素重建损失函数
Figure BDA0004036586560000102
的计算公式为：
Figure BDA0004036586560000103
其中，Igt表示真实图像，Iout表示模型修复的结果。
可选的，所述感知损失函数Lper的计算公式为：
Figure BDA0004036586560000104
其中，其中
Figure BDA0004036586560000105
是从ImageNet数据集上预训练好的VGG-19网络的池化层中第i层的激活图，Ni是
Figure BDA0004036586560000106
中的元素个数，Igt表示真实图像，Iout表示模型修复的结果。
可选的，所述风格损失函数Lsty的计算公式为：
Lsty＝Ei[Gram(Iout)-Gram(Igt)1]
其中，Igt表示真实图像，Iout表示模型修复的结果，Gram矩阵用于计算特征间的相关性。
可选的，所述边缘生成对抗网络中对应的对抗损失函数Ladv的表达式为：
Figure BDA0004036586560000107
其中，Igt表示真实图像，Iout表示模型修复的结果，
Figure BDA0004036586560000108
表示的是真实图像的分布，P表示残缺图像的分布。
进一步的，本申请实施例中训练边缘生成对抗网络以及纹理生成对抗网络通过训练得到。本申请实施例中提供的实验平台为AMD Ryzen53600@3.60GHzx4处理器4G运存和NVIDIA GeForce RTX 2060S GPU 8G显存，运行环境为Pytorch1.2.0深度学习框架、Cuda11.1和Python3.6，根据网络模型参数和平台环境，训练过程中两阶段的修复模型都用Adam算法进行优化，设置动量衰减指数β1＝0，β2＝0.9，生成网络初始学习率设置为0.0001，Batch size设置为4。
在训练完成后，使用人脸图像进行验证，将待修复的图像输入到修复网络模型中，对模型进行验证。其结果如图7所示。修复结果验证的是(0.1,0.2]，(0.2,0.3]，(0.3,0.4]，(0.4,0.5]，(0.5,0.6]选取一张，来生成破损图片，右边则是修复结果，可见利用本发明可以有效地完成修复任务。
在本申请实施例中，从而利用边缘生成对抗网络和纹理生成对抗网络相互配合的方式，能够利用纹理生成对抗网络获取图像中远距离上下文图像信息，从而提升图像修复的准确度。
进一步的，本申请实施例中在边缘生成对抗网络和纹理生成对抗网络中生成器上采样和下采样利用门控卷积代替普通卷积对输入的破损图像进行自动学习，动态的去识别图像中有效像素的位置，以有效地学习已知区域和残缺区域之间的关系
进一步的，本申请实施例中边缘生成对抗网络通过Canny算法获得残缺边缘结构，进行边缘修复，为纹理生成对抗网络提供结构约束。
进一步的，本申请实施例中在纹理生成对抗网络中引入上下文特征重建(Contextual feature reconstruction,CFR)注意力机制，该注意力机制通过提取残缺区域的样本块，与非残缺区域进行相关性匹配，从而捕获到远距离上下文图像信息，并结合边缘结构信息促使纹理修复生成器在大面积残缺时生成修复图像。
上文描述了本发明实施例提供的多个实施例方案，各实施例方案介绍的各可选方式可在不冲突的情况下相互结合、交叉引用，从而延伸出多种可能的实施例方案，这些均可认为是本发明实施例披露、公开的实施例方案。
虽然本发明实施例披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (10)

1.一种图像修复方法，其特征在于：包括：
确定样本图像，所述样本图像包括破损彩色图像、破损灰度图像和破损边缘图像，所述破损彩色图像为部分彩色残缺的图像，所述破损彩色图像通过彩色图像和二值掩码生成，所述破损灰度图像通过对破损彩色图像二值处理得到，所述破损边缘图像通过Canny算法对破损彩色图像边缘提取得到；
基于样本图像，利用边缘生成对抗网络，确定所述破损彩色图像对应的初始边缘修复图像，其中，所述边缘生成对抗网络通过破损彩色图像、破损灰度图像和破损边缘图像训练得到；
利用纹理生成对抗网络，修复初始边缘修复图像，得到对应的修复图像，其中，所述纹理生成对抗网络中的注意力模块用于提取残缺区域的样本块，与非残缺区域进行相关性匹配，以捕获到远距离上下文图像信息，重建修复图像。
2.根据权利要求1所述的图像修复方法，其特征在于，所述边缘生成对抗网络包括第一生成器和第一判别器，所述第一生成器包括第一编码器、第一空洞残差块和第一解码器，第一判别器为Patch判别器，Patch判别器主要结构是包含了5个卷积层，卷积核大小均为4×4，所述基于样本图像，利用边缘生成对抗网络，确定所述破损彩色图像对应的初始边缘修复图像，包括：
基于样本图像，利用第一生成器中的第一编码器进行第一门控卷积运算，输出第一编码器的第一编码图像；
利用第一空洞残差块对第一编码图像依次进行第一空洞卷积运算和第一残差卷积运算，输出第一空洞残差图像；
基于所述第一空洞残差图像利用第一解码器进行第一卷积运算，输出初始边缘修复图像。
3.根据权利要求2所述的图像修复方法，其特征在于，所述纹理生成对抗网络包括第二生成器和第二判别器，所述第二生成器包括第二编码器、注意力模块、第二空洞残差块和第二解码器，第二判别器为Patch判别器，所述利用纹理生成对抗网络，修复初始边缘修复图像，得到对应的修复图像，包括：
基于初始边缘修复图像，利用第二生成器中的第二编码器进行第二门控卷积运算，得到第二编码图像；
对第二编码图像利用注意力模块进行注意力处理，得到第二注意力图像；
基于所述第二注意力图像，利用第二空洞残差块进行第二空洞卷积和第二残差卷积运算，得到第二空洞残差图像；
对第二空洞残差图像利用第二解码器进行第二卷积运算，输出修复图像。
4.根据权利要求2所述的图像修复方法，其特征在于，所述第一门控卷积运算Oy,x的计算公式为：
Figure FDA0004036586550000021
其中，wg是用于产生特征的卷积核，wf表示的是产生门控运算的卷积核，I表示的是特征图，σ表示的是sigmoid函数，φ表示的是激活函数。
5.根据权利要求3所述的图像修复方法，其特征在于，所述对第二编码图像利用注意力模块进行注意力处理，得到第二注意力图像，包括：
确定上下文特征信息，其中，所述上下文特征信息为残缺区域与非残缺区域中的特征信息；
基于所述上下文特征信息，对第二编码图像中的非残缺区域进行纹理查找，以确定出替补残缺区域的纹理补丁；
将所述纹理补丁和非残缺区域进行相似度计算，得到纹理补丁对应的注意力分数；
基于注意力分数结合卷积进行归一化处理，得到残缺区域的样本补丁；
将样本补丁通过反卷积处理，生成重建后的第二注意力图像。
6.根据权利要求3所述的图像修复方法，其特征在于，所述纹理生成对抗网络纹理L生成对抗网络的损失总函数为：
Figure FDA0004036586550000022
其中，Ladv为生成对抗网络，λadv为生成对抗网络的损失函数权重值，
Figure FDA0004036586550000023
为像素重建损失，
Figure FDA0004036586550000031
为像素重建损失的损失函数权重值，Lper为感知损失，λper为感知损失的损失函数权重值；Lsty为风格损失，λsty为风格损失的损失函数权重值。
7.根据权利要求6所述的图像修复方法，其特征在于，所述像素重建损失函数
Figure FDA0004036586550000032
的计算公式为：
Figure FDA0004036586550000033
其中，Igt表示真实图像，Iout表示模型修复的结果。
8.根据权利要求6所述的图像修复方法，其特征在于，所述感知损失函数Lper的计算公式为：
Figure FDA0004036586550000034
其中，其中
Figure FDA0004036586550000035
是从ImageNet数据集上预训练好的VGG-19网络的池化层中第i层的激活图，Ni是
Figure FDA0004036586550000036
中的元素个数，Igt表示真实图像，Iout表示模型修复的结果。
9.根据权利要求6所述的图像修复方法，其特征在于，所述风格损失函数Lsty的计算公式为：
Lsty＝Ei[||Gram(Iout)-Gram(Igt)||1]
其中，Igt表示真实图像，Iout表示模型修复的结果，Gram矩阵用于计算特征间的相关性。
10.根据权利要求6所述的图像修复方法，其特征在于，所述边缘生成对抗网络中对应的对抗损失函数Ladv的表达式为：
Figure FDA0004036586550000037
其中，Igt表示真实图像，Iout表示模型修复的结果，
Figure FDA0004036586550000038
表示的是真实图像的分布，
Figure FDA0004036586550000039
表示残缺图像的分布。
CN202310008339.5A 2022-10-21 2023-01-04 一种图像修复方法 Pending CN116051407A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202211293475 2022-10-21
CN2022112934755 2022-10-21

Publications (1)

Publication Number Publication Date
CN116051407A true CN116051407A (zh) 2023-05-02

Family

ID=86126878

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310008339.5A Pending CN116051407A (zh) 2022-10-21 2023-01-04 一种图像修复方法

Country Status (1)

Country Link
CN (1) CN116051407A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116843572A (zh) * 2023-07-03 2023-10-03 广东开放大学（广东理工职业学院） 一种基于坐标的图像修复方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116843572A (zh) * 2023-07-03 2023-10-03 广东开放大学（广东理工职业学院） 一种基于坐标的图像修复方法
CN116843572B (zh) * 2023-07-03 2024-04-05 广东开放大学（广东理工职业学院） 一种基于坐标的图像修复方法

Similar Documents

Publication Publication Date Title
CN108520503B (zh) 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法
CN108460746B (zh) 一种基于结构和纹理分层预测的图像修复方法
CN111047522B (zh) 一种基于边缘生成的图像修复方法
CN111915530B (zh) 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法
CN111127346A (zh) 基于部分到整体注意力机制的多层次图像修复方法
CN111047541A (zh) 一种基于小波变换注意力模型的图像修复方法
CN114627006B (zh) 一种基于深度解耦网络的渐进式图像修复方法
CN112184585B (zh) 一种基于语义边缘融合的图像补全方法及系统
CN113450288B (zh) 基于深度卷积神经网络单图像去雨方法、系统和存储介质
CN111626951B (zh) 一种基于内容感知信息的图像阴影消除方法
CN113298734B (zh) 一种基于混合空洞卷积的图像修复方法及系统
CN110689495A (zh) 一种深度学习的图像修复方法
CN112801914A (zh) 一种基于纹理结构感知的二段式图像修复方法
CN113936318A (zh) 一种基于gan人脸先验信息预测和融合的人脸图像修复方法
CN113935919A (zh) 一种基于gan网络的图像修复算法
CN116051407A (zh) 一种图像修复方法
CN112686817B (zh) 一种基于不确定性估计的图像补全方法
CN113487512A (zh) 一种基于边缘信息指导的数字图像修复方法及装置
CN116523985B (zh) 一种结构和纹理特征引导的双编码器图像修复方法
Yu et al. MagConv: Mask-guided convolution for image inpainting
CN113378980B (zh) 基于自适应上下文注意力机制的口罩遮挡人脸恢复方法
CN116109510A (zh) 一种基于结构和纹理对偶生成的人脸图像修复方法
CN112686822B (zh) 一种基于堆叠生成对抗网络的图像补全方法
CN116958317A (zh) 一种结合边缘信息和外观流操作的图像修复方法及系统
CN114331894A (zh) 一种基于潜在特征重构和掩模感知的人脸图像修复方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination