CN114627006B - 一种基于深度解耦网络的渐进式图像修复方法 - Google Patents

Abstract

本发明公开了一种基于深度解耦网络的渐进式图像修复方法。该方法包括以下步骤：首先进行特征提取和边缘提取；接着用部分卷积模块渐进式更新缺陷区域和掩码；再将纹理和结构特征输入到编解码器计算，计算过程中进行双向感知计算，进行纹理生成和结构重建；然后在获得第一次重建特征图像后对图像缺失区域进行着色；再进行特征融合和图像再次重建；最后输出并计算损失函数，通过损失函数对网络进行训练，优化修复过程。本发明修复方法优于其它方法。

Description

一种基于深度解耦网络的渐进式图像修复方法

技术领域

本发明属于计算机视觉、图像绘制技术领域，具体涉及一种基于深度解耦网络的渐进式图像修复方法。

背景技术

图像修复[1]是指用视觉上真实和语义上一致的内容重建图像中受损区域的过程，并在许多实际应用中表现出良好的性能，如照片编辑、去除干扰物和修复受损部分。传统上，绘画算法试图通过渲染背景区域的缺失区域来画出孔洞，文献[1,2]中通过采用剩余图像的某些统计量来填补缺失区域。然而，它受限于现有的图像统计数据，无法填充语义感知的内容。文献[3]中通过采用剩余图像的某些统计量来填补缺失区域。然而，它受限于现有的图像统计数据，无法填充语义感知的内容。文献[4]中通过采用剩余图像的某些统计量来填补缺失区域。然而，它受限于现有的图像统计数据，无法填充语义感知的内容。基于斑块的方法[5]用来自源图像集合的斑块来填补缺失区域，通过使用剩余图像的某些统计学特征，使斑块的相似度达到最高。然而，这些方法在计算缺失区域和可用区域之间的补丁相似度时计算成本很高，而且很难重建具有丰富语义的模式。

近年来，深度学习方法[6]在图像绘制方面取得了明显的成功。大多数深度生成方法利用编码器-解码器架构进行重构和绘制，这些方法可以捕捉到更多的高层次语义，对具有非重复性模式的图像表现更好。然而，当缺失区域变大时，前景和背景像素之间的相关性就会减弱，导致语义模糊的结果。

参考文献

[1]Marcelo Bertalmio,Guillermo Sapiro,Vincent Caselles,and ColomaBallester,“Image inpainting,”inProceed-ings of the 27th annual conference onComputer graph-ics and interactive techniques,2000,pp.417–424.

[2]Coloma Ballester,Marcelo Bertalmio,Vicent Caselles,GuillermoSapiro,and Joan Verdera,“Filling-in by jointinterpolation of vector fieldsand gray levels,”IEEEtransactions on image processing,vol.10,no.8,pp.1200–1211,2001.

[3]Selim Esedoglu and Jianhong Shen,“Digital inpaintingbased on themumford–shah–euler image model,”Eu-ropean Journal of Applied Mathematics,vol.13,no.4,pp.353–370,2002.

[4]Connelly Barnes,Eli Shechtman,Adam Finkelstein,and Dan B Goldman,“Patchmatch:A randomizedcorrespondence algorithm for structural imageediting,”ACM Trans.Graph.,vol.28,no.3,pp.24,2009.

[5]Anat Levin,Assaf Zomet,and Yair Weiss,“Learninghow to inpaint fromglobal image statistics.，”inICCV，2003，vol.1，pp.305-312.

[6]Yi Wang，Xin Tao，Xiaojuan Qi，Xiaoyong Shen，and Ji-aya Jia，“Imageinpainting via generative multi-columnconvolutional neural networks，”inNeurIPS，2018.

发明内容

针对现有技术的不足，本发明的目的在于设计了一种基于深度解耦网络的渐进式图像修复方法，受人类绘图过程的启发，将纹理生成、结构重建和着色三个模块整合到一个网络中。

与现有方法对结构编码和纹理编码特征的简单重复使用不同，我们设计了一个双向的跨阶段特征感知模块来感知重建过程中的全局多尺度背景。此外，我们还开发了一个内容一致性注意力模块来进一步理解和捕捉背景中的纹理信息，并生成优雅的自然内容。

本发明的目的在于提出一种基于深度解耦网络的渐进式图像修复方法，包括如下步骤。

(1)特征提取和边缘提取

给定输入图像，对其进行归一化和标准化，并输入到特征提取模块，得到包含纹理信息的原图F_t，并通过边缘提取方法获得图像的轮廓F_s

(2)利用特征编解码器进行图像第一次修复。用两个结构相同，七层卷积层构成分别对原图和轮廓图进行特征编码的编码器进行特征编码，在修复的每一次卷积计算中，利用部分卷积计算来处理F_t，F_s，并更新它们的掩码；具体来说，给定一对特征F_t，F_s和输入掩码，由部分卷积层计算的特征图表示为：

I_t，I_s，M_i＝Pconvs(F_t，F_s，M_source).

其中F_t，F_s分别是原图像和经过边缘提取处理后的结构图像特征，M_source为初始的掩码，I_t、I_s和M_i为每一次卷积计算输出的相应特征和掩码；

特征编解码器通过两个平行编解码器填充目标区域，进行纹理生成和结构重建；整体计算的过程表示为：

F_t＝Ψ_{dec_t}(f_csa(Ψ_{enc_t}(I_t，M_i)))，

F_s＝Ψ_{dec_s}(f_csa(Ψ_{enc_s}(I_s，M_i)))，

其中Ψ_{enc_t}和Ψ_{dec_t}分别是由部分卷积计算组成的纹理特征的编解码器，Ψ_{enc_s}和Ψ_{enc_s}分别是是由部分卷积计算组成的边缘特征的编解码器，f_csa表示特征编解码器中嵌入的双向感知计算模块；其中：

f_csa表示的双向感知计算模块用于接收编码器输入的纹理和结构特征并进行双向感知计算，再送入解码器，纹理与结构的双向上下文信息的聚合过程表示为：

其中，T和S为编码器从不同阶段输出的纹理和结构特征图被表示为

和

H_t＝[T₁；T₂；T₃；T₄]，H_s＝[S₁；S₂；S₃；S₄]，

和α分别表示了softmax函数和实例规范化函数，

和

为可学习参数。

双向一致的权重削弱了纹理和结构之间的语义距离，促进了两种特征的转化过程。

(3)对图像缺失区域进行着色。

将F_t送入卷积层进行图像修复，将图像转换成单色，然后，单色图像和掩码M被送入着色模块，通过设计颜色修复损失来引导回色；

(4)进行特征融合和图像再次重建。给出编码后的

和

为了建立纹理感知的结构特征，我们首先应用一个融合函数，表述为：

其中g(·)是一个是卷积层，σ表示sigmoid激活函数。接下来将特征送入内容一致注意模块模块来进一步结合解码后的纹理和结构特征。具体来说，给定一个Fⁱ的特征图C，我们首先提取3×3像素的斑块，计算它们的余弦相似度作为分数，表示为

其中sim(·)是余弦相似度函数，c_i和c_j分别对应于特征图的第i个和第j个补丁。为了更有效地获得特征空间中的相关纹理信息，我们进一步更新h为

然后，我们将先前提取的补丁与注意图相结合重构特征图

(4)输出并计算损失函数。深度解耦网络是用联合损失来训练的，首先设置一个中间损失L_inter；

其中ω为BCELoss，S_gt为原图对应的结构图，S为输出的结构图图像，I_gt为原图，T为输出的修复图像；

定义重建损失为：

其中I_out为最终输出图像，I_gt为原图。

此外，一个对抗性的损失被用来保证重构图像的视觉真实性：

其中G为特征编解码器，D为判别器，I_out为最终输出图像，I_gt为原图，S_gt为原图对应的结构图，S_out为输出的结构图图像；

此外，定义一个额外的色彩损失来指导着色模块，它表示为

其中I_col表示着色模块所输出的彩色图像，I_gt为原图，M为缺失图像的掩码；

综上所述，网络总损失函数为。

其中λ_inter，λ_rec，λ_perc，λ_style，λ_adv和λ_col为可调节参数，其中L_style是使用预训练和固定的VGG-16的感知损失和风格损失。

和现有技术相比，本发明的方法在三个方面不同于现有的工作，即：

(1)一个新颖的渐进式解耦模块，将包括纹理、结构和着色在内的多种优先信息整合到一个端到端的网络中；

(2)一个双向感知计算模块，其对双向的跨阶段特征进行感知，捕获跨分支的空间信息；

(3)用于图像再次重建的特征融合模块，其中包含一个内容一致注意模块，捕获跨分支和阶段的空间信息以指导模型合成自然一致的纹理。本发明的有益效果在于，

附图说明

图1为将受损图像、掩模图像和真实图像输入图像印染的渐进式解耦网络，得到输出的修复图像的流程图。

图2为用于图像修复的渐进式解耦网络的模型图。

图3为在Paris Street View数据集的修复效果。

图4为在DTD数据集的修复效果。

图5为在Place2数据集的修复效果。

具体实施方式

下面通过实施例进一步说明本发明。

实施例1：

我们在3个数据集上评估了我们的方法，包括Describable Textures Database(DTD)，一个包含23个类别的纹理数据集。Places2 Challenge Dataset(Place2)，一个由麻省理工学院发布的数据集，包含超过365个场景的8,000,000张图片，它非常适用于建立图像修复模型，因为它使模型能够从许多自然场景中学习分布。Paris Street View数据集，一个包含14,900张训练图像和100张测试图像的数据集，收集自巴黎街景，这个数据集主要关注城市中的建筑。

参看图1，首先特征提取和边缘提取，用部分卷积模块渐进式更新缺陷区域和掩码，然后将纹理和结构特征输入到编解码器，进行纹理生成和结构重建。进行编码和解码计算，并在其中嵌入了结构和纹理的双向感知计算层，在获得第一次重建特征图像后对图像缺失区域进行着色，然后进行特征融合和图像再次重建，最后输出并计算损失函数具体过程为：

给定输入图像，对其进行归一化和标准化，并输入到特征提取模块，得到包含纹理信息的原图F_t，并通过边缘提取方法获得图像的轮廓F_s图像的尺寸为256×256×3。

(3)利用特征编解码器进行图像第一次修复。用两个结构相同，七层卷积层构成分别对原图和轮廓图进行特征编码的编码器进行特征编码，在修复的每一次卷积计算中，利用部分卷积计算来处理F_t，F_s，并更新它们的掩码；具体来说，给定一对特征F_t，F_s和输入掩码，由部分卷积层计算的特征图表示为：

I_t，I_s，M_i＝Pconvs(F_t，F_s，M_source).

其中F_t，F_s分别是原图像和经过边缘提取处理后的结构图像特征，M_source为初始的掩码，I_t、I_s和M_i为每一次卷积计算输出的相应特征和掩码；

特征编解码器通过两个平行编解码器填充目标区域，进行纹理生成和结构重建；整体计算的过程表示为：

F_t＝Ψ_{dec_t}(f_csa(Ψ_{enc_t}(I_t，M_i)))，

F_s＝Ψ_{dec_s}(f_csa(Ψ_{enc_s}(I_s，M_i)))，

其中Ψ_{enc_t}和Ψ_{dec_t}分别是由部分卷积计算组成的纹理特征的编解码器，Ψ_{enc_s}和Ψ_{enc_s}分别是是由部分卷积计算组成的边缘特征的编解码器。

在本实施例中，编码器和解码器分别由七层卷积层组成，其中编码器第一层部分卷积计算的卷积核为7，输出通道数为64；第二层和第三层卷积核为5输出通道数为128和256；第四层到第七层卷积核为3，输出通道数为512。

其中解码器的卷积核全部设置为3，第一层到第三册输出通道数为512，第四层输出通道数为256，第五层输出通道数为128，第六层输出通道数为64，第七层输出通道数为3。f_csa表示特征编解码器中嵌入的双向感知计算模块；

(5)对图像缺失区域进行着色。

将F_t送入卷积层进行图像修复，将图像转换成单色，然后，单色图像和掩码M被送入着色模块，通过设计颜色修复损失来引导回色；

(4)进行特征融合和图像再次重建。给出编码后的

和

为了建立纹理感知的结构特征，我们首先应用一个融合函数，表述为：

其中g(·)是一个是卷积层，σ表示sigmoid激活函数。接下来将特征送入内容一致注意模块来进一步结合解码后的纹理和结构特征。具体来说，给定一个Fⁱ的特征图C，我们首先提取3×3像素的斑块，计算它们的余弦相似度作为分数，表示为

其中sim(·)是余弦相似度函数，c_i和c_j分别对应于特征图的第i个和第j个补丁。为了更有效地获得特征空间中的相关纹理信息，我们进一步更新h为

然后，我们将先前提取的补丁与注意图相结合重构特征图

(6)输出并计算损失函数。深度解耦网络是用联合损失来训练的，首先设置一个中间损失L_inter；

其中ω为BCELoss，S_gt为原图对应的结构图，S为输出的结构图图像，I_gt为原图，T为输出的修复图像；

定义重建损失为：

其中I_out为最终输出图像，I_gt为原图。

此外，一个对抗性的损失被用来保证重构图像的视觉真实性：

其中G为特征编解码器，D为判别器，I_out为最终输出图像，I_gt为原图，S_gt为原图对应的结构图，S_out为输出的结构图图像；

此外，定义一个额外的色彩损失来指导着色模块，它表示为

其中I_col表示着色模块所输出的彩色图像，I_gt为原图，M为缺失图像的掩码；

综上所述，网络总损失函数为。

其中λ_inter，λ_rec，λ_perc，λ_style，λ_adv和λ_col为可调节参数，其中L_style是使用预训练和固定的VGG-16的感知损失和风格损失。其中输入图像大小为256*256*3。参看图2，模型使用Pytorch实现，包含生成器和判别器两个部分，其中生成器包括了编解码模块，双向感知计算模块和特征融合模块。模型使用Adam进行优化。使用1e^-4的学习率来训练模型。在微调过程中，学习率为1e^-5。对于联合损失，我们根据经验设定λ_inter＝1，λ_rec＝10，λ_perc＝0.1，λ_style＝200，λ_adv＝0.1和λ_col＝1。

为了评估模型的有效性，本发明选择了近年来的5种图像修复方法来进行比较，包括Pconv、CSTDG、RFR、Patch Match和Edge Connect。在三个数据集上进行了实验，并测量了定性和定量的结果，将本发明模型与以前的方法进行比较。此外，我们还进行了消融研究以检验我们模型的设计细节。

表1显示了在巴黎街景、Place2和DTD上取得的结果，其中本文提议的方法优于其他方法，清楚地证明了其有效性。

表1

图3显示了在Paris Street View数据集的修复效果。图4显示了在DTD数据集的修复效果。图5显示了在Place2数据集的修复效果，其中本文提议的方法在视觉上优于其他方法，证明了其有效性。

Claims (1)

1.一种基于深度解耦网络的渐进式图像修复方法，其特征在于，其首先输入图像和缺失区域的掩码，提取图像的边缘；接着用基于卷积神经网络构成的特征编解码器对图像进行特征提取和还原；利用基于双向感知计算模块接收编码器输出的纹理和结构特征并进行双向感知计算，以进行纹理生成和结构重建；然后在获得第一次重建特征图像后将掩码内的区域进行灰度化，并利用着色模块进行颜色校正；再利用特征融合模块进行特征融合和图像再次重建；最后输出并计算损失函数；

具体步骤如下：

(1)特征提取和边缘提取

给定输入图像和缺失区域的掩码，对其进行归一化和标准化，得到包含纹理信息的原图F_t，并通过边缘提取获得图像的轮廓F_s；

(2)利用特征编解码器进行图像第一次修复

用两个结构相同，七层卷积层构成分别对原图和轮廓图进行特征编码的编码器进行特征编码，在修复的每一次卷积计算中，利用部分卷积计算来处理F_t，F_s，并更新它们的掩码；具体来说，给定一对特征F_t，F_s和输入掩码，由部分卷积层计算的特征图表示为：

I_t，I_s，M_i＝Pconvs(F_t，F_s，M_source)

其中F_t，F_s分别是原图像和经过边缘提取处理后的结构图像特征，M_source为初始的掩码,I_t、I_s和M_i为每一次卷积计算输出的相应特征和掩码；

特征编解码器通过两个平行编解码器填充目标区域，进行纹理生成和结构重建；整体计算的过程表示为：

P_t＝Ψ_{dec_t}(f_csa(Ψ_{enc_t}(I_t，M_i)))，

P_s＝Ψ_{dec_s}(f_csa(Ψ_{enc_s}(I_s，M_i)))，

其中Ψ_{enc_t}和Ψ_{dec_t}分别是由部分卷积计算组成的纹理特征的编解码器，Ψ_{enc_s}和Ψ_{enc_s}分别是是由部分卷积计算组成的边缘特征的编解码器，f_csa表示特征编解码器中嵌入的双向感知计算模块；其中：

f_csa表示的双向感知计算模块用于接收编码器输入的纹理和结构特征并进行双向感知计算，再送入解码器，纹理与结构的双向上下文信息的聚合过程表示为：

其中，T和S为编码器从不同阶段输出的纹理和结构特征图，

H_t＝[T₁；T₂；T₃；T₄]，H_s＝[S₁；S₂；S₃；S₄]，

和α分别表示了softmax函数和实例规范化函数，

和

为可学习参数；

双向一致的权重削弱了纹理和结构之间的语义距离，促进了两种特征的转化过程；

(3)对图像缺失区域进行着色

将P_t送入卷积层进行图像修复，将图像转换成单色，然后，单色图像和掩码M被送入着色模块，通过颜色修复损失来引导回色；

(4)输入到特征融合模块进行图像再次重建

给出编码后的

和

为了建立纹理感知的结构特征，首先应用一个融合函数，表述为：

其中g(·)是一个是卷积层，σ表示sigmoid激活函数；

特征融合模块，其中包含一个内容一致注意模块来进一步结合解码后的纹理和结构特征；具体来说，内容一致注意模块给定一个Fⁱ的特征图C，我们首先提取3×3像素的斑块，计算它们的余弦相似度作为分数，表示为

其中sim(·)是余弦相似度函数，c_i和c_j分别对应于特征图C的第i个和第j个补丁；为了更有效地获得特征空间中的相关纹理信息，进一步更新

为

再将先前提取的补丁与注意图相结合重构特征图：

(5)输出并计算损失函数

深度解耦网络是用联合损失来训练的，首先设置一个中间损失L_inter；

其中ω()为BCELoss，S_gt为原图对应的结构图，S为输出的结构图图像，I_gt为原图，T为输出的修复图像；

定义重建损失为：

其中I_out为最终输出图像，I_gt为原图；

此外，一个对抗性的损失被用来保证重构图像的视觉真实性：

其中G为特征编解码器，D为判别器，I_out为最终输出图像，I_gt为原图，S_gt为原图对应的结构图，S_out为输出的结构图图像；

此外，定义一个额外的色彩损失来指导着色模块，它表示为

其中

表示着色模块所输出的彩色图像，I_gt为原图，M为缺失图像的掩码；

综上，网络总损失函数为

其中λ_inter，λ_rec，λ_perc，λ_style，λ_adv和λ_col为可调节参数，其中L_style是使用预训练和固定的VGG-16的风格损失。

Images