CN113362242B - 基于多特征融合网络的图像修复方法 - Google Patents

Abstract

本发明公开了一种基于多特征融合网络的图像修复方法，包括：S1基于多特征融合的生成网络；S2编码器中基于多级特征提取的下采样模块；S3解码器中基于多级特征提取的上采样模块；S4解码器中基于亚像素的上采样层；S5基于块的判别网络。本发明首先将待修复图像输入基于多特征融合的生成网络中，得到具有一定结构信息的初始修复图像；然后将初始修复图像输入到基于多特征融合的精细生成网络中，进一步填充高频信息；通过计算重建损失、结构损失和对抗损失，优化网络参数，使得修复后的图像具有清晰合理的结构信息及有序的纹理信息，提升修复后图像的视觉质量。

Description

基于多特征融合网络的图像修复方法

技术领域

本发明属于基于深度学习的图像修复领域，针对具有较大区域缺失的图像修复问题，结合图像中的全局语义信息及局部结构特征信息，提出了基于多特征融合网络的图像修复方法。

背景技术

图像修复技术在工业界及日常生活中具有广泛的应用，例如，影视界对视频及图像的编辑、去除照片中的遮挡物、艺术品的修缮、图像的传输等。图像编辑软件Photoshop提供基于内容的图像填充技术，该技术通过匹配邻域内已知图像块，允许用户对指定图像区域进行自动填充。图像修复涉及图像特征的提取及图像语义场景的理解，近年来，深度神经网络的快速发展及应用极大促进了图像修复领域的发展。如何设计网络架构，提高神经网络对图像全局语义信息的提取及局部特征的提取成为了学术界和工业界的广泛关注点。

目前，国内外学者在基于深度学习的图像修复领域做出了很多有价值的研究成果。Deepak Pathak等人提出基于上下文编码的图像修复方法，通过结合“编码器-解码器”的生成网络及判别网络学习图像中上下文特征信息，进而生成语义合理的缺失区域信息。在此基础上，Iizuka等人进一步提出基于全局及局部一致性的判别网络。为保持边界的一致性，该方法需要采用泊松融合技术对修复后的图像进行后处理。Yu等人提出了基于注意力机制的Rough-to-Fine架构，通过级联两个生成网络增大感受野，能够更加充分地提取全局语义信息；注意力层能够利用远距离的空间关联关系，使得生成的图像信息更加清晰。

已有的图像修复方法通过多层卷积提取图像的局部结构特征，未充分利用图像中的多尺度及多级别特征，导致网络缺乏对图像的语义理解，使得生成的图像具有纹理紊乱、结构及边界模糊的现象。

发明内容

本发明针对现有图像修复技术对已知图像区域特征提取的不足，提出了一种基于多特征融合网络的图像修复方法。首先，在生成网络中加入自适应长连接和多级短连接，不仅能够将浅层特征传递到深层，使得模型优化过程更加稳定，而且能够增加模型对特征及语义信息的提取及表达能力，使得生成的图像具有一致性的边界信息；然后，在解码阶段，采用亚像素层进行上采样，有效地降低棋盘效应和模糊现象。本发明采用由粗糙到精细(Rough-to-Fine)的网络架构，即生成网络由两个多特征融合网络构成。首先，待修复图像输入到粗糙多特征融合生成网络，得到初始的修复图像，该图像具有合理的结构信息，但缺乏精细的纹理；然后，将初始修复图像输入到精细多特征融合生成网络，在初始修复结果的基础上进一步填充精细的纹理信息；最后，本发明结合判别网络对生成网络进行对抗优化，使得生成网络能够产生更多的高频信息，从而提升修复图像的视觉效果。

基于多特征融合网络的图像修复方法具体步骤包括：

步骤(1).在通道维度级联具有缺失区域的图像I_in和掩码图像I_m，获得网络的输入张量，公式为：

T_in＝f_cat(I_in，I_m)

步骤(2).将张量T_in输入到多特征融合生成网络G_a，生成网络G_a由编码器和解码器构成。编码器由多层步长为2的卷积层构成，对输入张量进行多层特征提取，将其映射到高维度、高度抽象的潜在特征空间。解码器的结构和编码器的结构成对称分布，由多层上采样卷积层构成，将编码器输出的高级潜在特征向量映射到图像空间，同时将缺失区域填充得到修复后的图像。

本发明设计一种新的多特征融合生成网络，通过自适应长连接将编码器层信息和对应的解码器层信息进行自适应融合；同时，本发明设计了多级下采样模块和多级上采样模块分别作为编码器和解码器的基本构成模块。

初始粗糙修复图像的计算公式为：

I_a＝G_a(T_in)

步骤(3).将初始修复图像I_a级联掩膜图像输入到多特征融合生成网络G_b进行细化。由于I_a图像的缺失区域已被生成网络G_a进行填充，填充的内容是基于图像中的已知信息生成的，因此，相比于G_a网络，G_b网络具有更大的感受野，从而能够更好地生成全局语义信息一致的像素信息。计算公式为：

步骤(4).将修复图像I_out和真实图像I_g分别输入到判别网络。对于每幅输入图像，判别网络对其进行特征提取，并生成大小为N×N的矩阵X，其元素X_i，j代表输入图像中的局部图像块。

步骤(5).计算损失，并对生成网络及判别网络进行优化。本发明采用L₁损失，确保初始图像修复I_a和细化修复图像I_out和真实图像I_g之间的像素级一致性，计算公式为：

L_re＝E[||I_a-I_g||₁+||I_out-I_g||₁]

为了提高修复图像中结构信息的清晰度，采用多尺度SSIM损失，计算公式为：

其中，D_n(·)为采用平均池化对图像进行降采样，2^n-1为降采样倍数。本发明中采用N＝5，即5种不同尺度计算修复图像I_bout和真实图像I_g之间的SSIM损失。通过局部和全局结构相似度约束引导生成网络产生高视觉质量的图像。

本发明采用基于最小二乘对抗损失，进一步提升生成图像中的高频信息，计算公式为：

其中，D(·)为判别器网络，G(·)为生成器网络。P_r为真实图像分布，P_f为待修复图像分布。常量1为真实图像标签，常量0为生成图像标签。最小二乘对抗损失能够提高训练过程的稳定性及生成网络的性能。

以上三种损失函数通过加权得到整体损失函数，其公式为：

L＝λ_rL_re+λ_dL_d+λ_{MS_SSIM}L_{MS_SSIM}

其中，λ_r＝4，λ_d＝2和λ_{MS_SSIM}＝1分别为重建损失、对抗损失和结构损失的自适应权重。

本发明网络架构由粗糙多特征融合生成网络、精细多特征融合生成网络及判别网络构成。多特征融合生成网络通过长、短跳跃连接，将多级别特征进行融合，能够提升模型对全局及局部语义信息、特征信息的提取及表达能力，从而提高模型修复图像的视觉质量。本发明采用多种损失函数，包括重建损失、结构损失及对抗损失，从多种不同角度优化生成网络的参数，使得模型能够生成满足人类视觉的修复图像。

附图说明

图1本发明的基于多特征融合图像修复的网络架构图；

图2本发明的多特征融合生成网络结构图；

图3本发明的编码器中的多级下采样模块结构图；

图4本发明的解码器中的多级上采样模块结构图；

图5本发明的基于块的判别网络结构图；

图6本发明图1的示例补充。

具体实施方式

实施例1

本发明提出基于多特征融合网络的图像修复技术。如图1所示，整体网络架构由初始生成网络G_a、精细生成网络G_b和判别网络D构成。首先，待修复图像级联掩膜图像输入至初始生成网络G_a得到初始修复图像，该图像的修复区域具有一定的结构及纹理信息，但是比较模糊，修复痕迹比较明显；然后，初始修复图像进一步级联掩膜图像输入到精细生成网络G_b，对待修复区域填充更多的高频纹理信息，得到精细化的修复图像；最后，将精细修复图像输入到判别网络，计算对抗损失，该步骤只在训练过程中使用，用以引导生成网络能够生成神似真实图像的修复内容。

接下来结合附图具体阐述实施步骤。

步骤(1).将待修复图像在通道维度级联掩膜图像，输入到多特征融合生成网络。如图2所示，多特征融合生成网络分为编码器和解码器两部分。

步骤(1.1).编码器的前两层为5×5卷积层和Relu非线性激活层，将图像映射到高维特征空间。

步骤(1.2).卷积模块连接5个多级下采样模块，具体结构如图3所示。前一层的输出特征图被输入到两个分支，上分支为短跳跃连接，通过一个卷积模块提取低级特征，并将该特征与下分支提取的特征进行融合；下分支通过两个卷积模块提取高级特征，将两个分支提取的特征相加作为该模块的输出特征图，计算公式为：

步骤(1.3).在解码器中，采用和编码器对应的结构，前5层为多级上采样模块，其结构如图4所示。上一层的输出特征图被输入到两个分支中，其中，上分支为一个卷积模块，包括3×3卷积层和Relu非线性激活层；下分支为两个卷积模块，提取更为抽象的高级特征信息；两个分支提取的特征图相加输入到下一层中，计算公式为：

步骤(1.4).在多级上采样模块中，采用1×1卷积层将多级融合特征

及由长跳跃连接输送的编码器提取的特征

进行自适应融合，计算公式为：

1×1卷积层一方面学习在通道维度对两种特征进行最优化融合，另一方面通过减少通道数能够有效去除冗余信息。

步骤(1.5).本发明采用亚像素方法对特征图进行上采样，计算公式为：

其中，f_ps为周期性重排操作，将特征图

中的元素进行重排，通过减少通道数实现增大分辨率的目的。通过结合可学习卷积层，亚像素上采样层能够自适应不同的特征图，因此能够更加高效地合成语义合理、纹理有序的信息。

步骤(2).将以上步骤得到的初始修复图像和掩膜图像在通道维度级联，输入到精细多特征融合生成网络中。该网络采用和粗糙多特征融合生成网络相同的结构，因此，该步骤为以初始修复结果为网络输入，重复步骤(1.1)到步骤(1.5)，得到精细修复图像。

步骤(3).将精细修复图像及真实图像分别输入到如图5所示的判别网络中，对每幅输入图像提取124×124的块信息，该信息中的每个数值和输入图像中的局部图像块对应。判别网络对提取的块信息进行分类判断，其中1为真实图像标签，0为生成图像标签。判别网络的作用为辅助生成网络的优化，通过对抗损失优化生成网络，使其生成的图像能够通过判别网络的真伪鉴别。

步骤(4).计算重建损失、结构损失和对抗损失，对两个多特征融合生成网络及判别网络进行优化。

Claims (1)

1.基于多特征融合网络的图像修复方法，其特征在于，包括如下步骤：步骤(1).将待修复图像在通道维度级联掩膜图像，输入到多特征融合生成网络G_a，计算公式为：

T_in＝f_cat(I_in,I_m)

步骤(1.1).多特征融合生成网络G_a由编码器和解码器构成；编码器的前两层为5×5卷积层和Relu非线性激活层,计算公式为：

步骤(1.2).接下来为5个多级下采样模块，前一层的输出特征图被输入到两个分支，上分支作为短跳跃连接通过一个卷积模块提取低级特征，下分支通过两个卷积模块提取高级特征，将两个分支提取的特征相加作为该模块的输出特征图，计算公式为：

步骤(1.3).在解码器中，采用和编码器对应的结构，前5层为多级上采样模块；上一层的输出特征图被输入到两个分支中；其中，上分支为一个卷积模块，包括3×3卷积层和Relu非线性激活层；下分支为两个卷积模块，提取更为抽象的高级特征信息；两个分支提取的特征图相加输入到下一层中，计算公式为：

步骤(1.4).接下来的1×1卷积层将多级融合特征

及由长跳跃连接输送的编码器提取的特征

进行自适应融合，计算公式为：

1×1卷积层一方面学习在通道维度对两种特征进行最优化融合，另一方面通过减少通道数能够有效去除冗余信息；

步骤(1.5).采用亚像素方法对特征图进行上采样，计算公式为：

其中，f_ps为周期性洗牌操作，将特征图

中的元素进行重排；

步骤(2).将以上步骤得到的初始修复图像和掩膜图像在通道维度级联，输入到精细多特征融合生成网络G_b中，计算公式为：

该网络采用和粗糙多特征融合生成网络G_a相同的结构；首先，通过组合初始修复图像I_a中的修复区域和输入图像中的已知区域得到生成网络G_a的修复图像，在通道维度级联该修复图像和掩膜图像作为精细网络G_b的输入张量；然后重复步骤(1.1)到步骤(1.5)，得到精细修复图像I_out；

步骤(3).将精细修复图像及真实图像分别输入到判别网络中，对每幅输入图像提取124×124的块信息，并判别其真伪；

步骤(4).计算重建损失、结构损失和对抗损失，对两个多特征融合生成网络及判别网络进行优化；

步骤(4.1).首先，采用L₁范数确保初始图像修复I_a和细化修复图像I_out和真实图像I_g之间的像素级一致性，计算公式为：

L_re＝E[||I_a-I_g||₁+||I_out-I_g||₁]

步骤(4.2).计算多尺度SSIM损失，提高修复图像中结构信息的清晰度，计算公式为：

其中，D_n(·)为采用平均池化操作对图像进行降采样，2^n-1为降采样倍数；

步骤(4.3).计算基于最小二乘算法的对抗损失，进一步提升生成图像中的高频信息，计算公式为：

其中，D(·)为判别器网络，G(·)为生成器网络，P_r为真实图像分布，P_f为待修复图像分布；常量1为真实图像标签，常量0为生成图像标签；步骤(4.4).将以上三种损失函数通过加权得到整体损失函数，其公式为：

L＝λ_rL_re+λ_dL_d+λ_{MS_SSIM}L_{MS_SSIM}

其中，λ_r＝4,λ_d＝2和λ_{MS_SSIM}＝1分别为重建损失、对抗损失和结构损失的自适应权重。

Images