CN111047541A - 一种基于小波变换注意力模型的图像修复方法 - Google Patents

Abstract

本发明涉及一种基于小波变换注意力模型的图像修复方法，用于提供一种高质量的图像修复方法。本发明基于图像修复网络，该网络是以GAN为基础，包括生成器网络和判别器网络；生成器网络部分首先利用DWT将受损图像中已知区域特征分解为多频子带，然后通过注意力机制进一步提取已知区域的深层信息，最后通过IDWT生成修复后的图像；在判别器网络部分采用PatchGAN的全卷积判别器网络结构，修复后的图像和ground‑truth图像共同作为输入，生成器网络和判别器网络交替优化，并通过最小化全局损失函数进行反向传播，迭代地调整生成器网络参数，最终使得优化后的生成器网络可以生成高质量的图像修复结果。

Description

一种基于小波变换注意力模型的图像修复方法

技术领域：

本发明涉及计算机图像处理领域，具体涉及一种基于小波变换注意力模型和生成对抗网络的图像修复方法。

背景技术：

图像修复是指利用某种方法，通过图像已知区域信息来推断缺失区域内容并将其修复补全的技术。这是一个经典的、具有挑战性的图像处理课题，广泛应用于图像编辑、基于图像的渲染和计算摄影等领域。在图像修复工作中有两点待解决的问题：首先，在修复过程中，要保持图像纹理结构的连续性，使缺失区域尽可能接近或达到原始图像的效果；其次，修复后的图像要真实自然，符合人们的视觉连贯性，让观察者认为这是一张真实的图像。

传统的图像修复方法通常是从已知区域搜索较为相似的图像块并复制到缺失区域。这种方法对背景比较单一的图像处理效果较好，但对人脸等复杂或非重复结构的纹理图像处理效果有限，不适用于修复场景较为复杂、缺失区域较多的图像。近年来，基于卷积神经网络的方法在图像修复领域取得了巨大的成功。Pathak等人首先利用对抗性损失函数训练深度神经网络来预测缺失区域，这有利于捕获大面积缺失区域的边缘和全局结构(D.Pathak,P.Krahenbuhl,J.Donahue,T.Darrell,and A.A.Efros,“Context encoders:Feature learning by inpainting,”in IEEE Conference on Computer Vision PatternRecognition,2016.)。Ishikawa等人通过结合全局和局部的对抗性损失函数来生成更精细的纹理信息。(H.Ishikawa,H.Ishikawa,and H.Ishikawa,Globally and locallyconsistent image completion,2017.)基于卷积神经网络的图像修复方法虽然能够处理场景较为复杂或者缺失区域较多的图像修复问题，但通常会使修复后的图像出现结构扭曲、纹理模糊和内容不连贯有明显的边界等问题。

综上，现有的图像修复方法修复图像质量较低，尤其是对于纹理结构较为复杂或者缺失区域面积较大的图像，容易使修复结果出现结构扭曲、纹理细节模糊和内容不连贯等问题，具有一定的局限性。

发明内容

本发明的目的是克服上述现有图像修复方法的不足，提供一种高质量的图像修复方法，该方法能够产生结构更准确、纹理更清晰和内容更连贯的修复图像。

本发明的图像修复网络是以生成对抗网络(GAN)为基础，包括生成器网络和判别器网络；在生成器网络部分采用Unet++网络结构，将受损图像作为输入，首先利用离散小波变换(DWT)将受损图像中已知区域特征分解为多频子带，然后通过注意力机制进一步提取已知区域的深层信息，最后通过小波逆变换(IDWT)生成修复后的图像；在判别器网络部分采用马尔可夫判别器(PatchGAN)的全卷积判别器网络结构，生成器网络输出的修复图像和ground-truth图像共同作为输入，生成器网络和判别器网络交替优化，并通过最小化全局损失函数约束生成对抗网络的反向传播，迭代地调整生成器网络参数，最终使得优化后的生成器网络可以生成高质量的图像修复结果。

上述方法的具体步骤如下：

步骤一：构建生成器网络。生成器网络G以Unet++的编码器和解码器结构为基础，编码器和解码器通过skip connections连接。用i代表编码器每一层的索引，j代表沿着skip connections的索引，则G每一层的特征向量x_i，j计算为：

式中，

代表卷积操作，k是卷积核大小为3×3的滤波器，{·}代表Concatenation操作。

步骤二：利用DWT将已知区域特征分解为多频子带

具体操作：首先，用p代表LL、LH、HL和HH4种低通和高通滤波器，滤波器f_p使用卷积步长为2迭代地将已知区域特征x分解为4个多频子带

式中，j＝0，↓2代表因子为2的标准降采样算子，最后，将4个多频子带Concatenation得到DWT操作后的特征向量

步骤三：将特征向量

传递到注意力机制中提取特征x′_i，j，并通过IDWT操作生成修复后的图像。提取特征x′_i，j的具体操作为：首先，生成注意力矩阵M_wt：

其中，σ代表sigmoid激活函数k₁和k₂是卷积核大小为1×1的滤波器；最后，通过注意力矩阵M_wt与

之间的矩阵乘法得到最终的特征向量x′_i，j：

步骤四：构建判别器网络。判别器网络D采用马尔可夫判别器(PatchGAN)的全卷积判别器网络结构，在训练过程中，生成器网络G的目标就是将受损图像补全生成真实的修复图像去欺骗判别器网络D。而D的目标就是辨别出G生成的修复图像和ground-truth图像的差异。通过G和D不断博弈，最小化全局损失函数进行反向传播，迭代地调整G的参数，最终使得优化后的G可以生成高质量的图像修复结果。

全局损失函数L_total由四部分构成：

L_total＝λ_rL_r+λ_advL_adv+λ_cL_c+λ_sL_s (6)

其中，λ代表权重系数，本发明中取λ_r＝1，λ_adv＝0.2，λ_c＝1，λ_s＝10。

①重建损失函数L_r用于约束生成器网络生成的修复结果近似于ground-truth图像，公式如下：

L_r＝||Φ(I；W)-I^gr||₁ (7)

式中，Φ(I；W)表示生成器网络G的输出，I代表输入的受损图像，W代表需要调整的G的参数，I^gr代表ground-truth图像。

②对抗性损失函数L_adv用于迭代优化生成器网络G的参数W，公式如下：

式中，

表示分布函数的期望值，p_data(I^gt)代表ground-truth图像的分布，p_miss(I)代表输入到生成器网络中的受损图像的分布，D(·)表示判别器网络D判断生成网络输出的修复后图像与ground-truth图像的相似概率。

③内容损失函数L_c用于比较生成器网络生成的修复结果与ground-truth图像特征间的内容相似度，公式如下：

式中，l代表生成器网络层数(0≤l≤4)，i代表生成器每一层的索引(0≤i≤4)，j代表沿着skipconnections的索引(0≤j≤4)。

N^l和M^l分别第l层中滤波器的数量和大小，F^l表示第l层即生成网络输出的修复图像的特征表示。P^l表示第l层的ground-truth图像的特征表示。

④风格损失函数L_s用于比较生成器网络生成的修复结果与ground-truth图像特征间的纹理相似度，公式如下：

式中，ω为权重因子，

A是ground-truth图像的Gram矩阵，G为生成器网络生成的修复结果的Gram矩阵，利用Gram矩阵计算表达特征之间的相关性。

本发明所述的生成器网络G还能以U-net的编码器和解码器结构为基础。

有益效果

与现有的技术相比，本发明通过小波变换注意力模型和生成对抗网络，将受损图像已知区域特征分解为多频子带，提取和传递深层信息，利用注意力机制提取受损图像已知区域的有利特征，进行受损区域的图像修复；同时利用生成对抗网络交替优化模式，最小化全局损失函数进行误差的反向传播，迭代地更新生成器网络参数，最终使得优化后的生成器网络可以生成结构更准确、纹理更清晰和内容更连贯的修复图像，明显优于最先进的方法。

附图说明：

图1(a)输入中心区域受损的图像示例图；

图1(b)本发明基于Unet结构的修复结果示例图；

图1(c)本发明基于Unet++结构的修复结果示例图；

图1(d)真实图像示例图；

图2基于生成对抗网络模型的图像修复技术框架图；

图3基于小波变换注意力模型的生成器网络框架图；

图4小波变换注意力模型流程图；

图5本发明与主流算法在中心缺失区域的图像修复上的视觉结果对比图；

图6随机区域修复结果比较；

图7小波变换注意力模型的影响。

具体实施方式：

为了能够更清楚地描述本发明的技术内容，下面结合具体实例来进一步的描述：

在本发明中，受卷积神经网络的发展和注意力机制的推动，提出了一种新的架构，将小波变换和注意力机制结合到生成对抗网络框架中，并以Unet++编码器和解码器结构为生成器网络的基本结构，有效地解决图像修复中的实际问题。

本发明的框架图如图2所示，在训练过程中，生成器网络G的目标就是将受损图像补全为真实的修复图像去欺骗判别器网络D。而D的目标就是判别出G生成的修复图像和ground-truth图像的误差。通过G和D不断博弈，最小化全局损失函数进行反向传播误差，迭代地更新G的参数，最终使得优化后的G可以生成高质量的图像修复结果。

图3为基于小波变换注意力模型的生成器网络G的框架图，x_i，j表示4层G中每一层的特征向量，i代表编码器每一层的索引(0≤i≤4)，j代表沿着skip connections的索引(0≤j≤4)。

在图4小波变换注意力模型流程图中，一方面，小波变换将受损图像已知区域特征分解为多频子带，有利于提取和传输深层信息；另一方面，注意力机制增强了小波变换捕获重要多频信息的能力。这种组合不仅扩大了底层特征的接受域，而且突出了缺失区域的重要特征。

图像质量评价如图5所示，Context Encoder产生了模糊的结果和人为的边界。Contextual Attention呈现扭曲的结构。Shift-Net预测有些细节缺失。PICNet会产生重复和扭曲的图像。与这些方法相比，本发明都能更好地处理这些问题，产生更直观、更真实的结果。我们还使用通用的评价指标进行了定量比较。表1表明本发明达到了最好的性能。

表1不同算法的客观质量比较

本发明也可以修复随机缺失区域。如图6所示，从最上面到最下面的行分别是：输入,Shift-Net和本发明，对于纹理和光滑区域，这两种方法都表现良好。而对于结构区域，本发明更有效。

消融实验：

对小波变换注意力模型的效果进行了实验分析。如图7所示，直方图第一列为生成器网络为UNet++基线网络。第二列在没有注意力机制的情况下将小波变换加入到网络中。第三列以Unet为基线的小波变换注意力模型，第四列是基于Unet++小波变换注意力模型。结果表明，小波变换注意力模型是有效的。

小波变换注意力模型的位置也会影响图像质量或增加计算时间开销。表2为小波变换注意力模型在生成器网络G中沿着skip connections的索引j的第一层、第一二层和第一二三层的质量结果。为了获得更好的性能，本发明选择将其放置在网络的全部三层中。

表2生成器网络中小波变换注意力模型的位置影响

Claims (6)

1.一种基于小波变换注意力模型的图像修复方法，其特征在于：基于图像修复网络，该网络是以生成对抗网络(GAN)为基础，包括生成器网络和判别器网络；在生成器网络部分采用Unet++网络结构，将受损图像作为输入，首先利用离散小波变换(DWT)将受损图像中已知区域特征分解为多频子带，然后通过注意力机制进一步提取已知区域的深层信息，最后通过小波逆变换(IDWT)生成修复后的图像；在判别器网络部分采用马尔可夫判别器(PatchGAN)的全卷积判别器网络结构，生成器网络输出的修复图像和ground-truth图像共同作为输入，生成器网络和判别器网络交替优化，并通过最小化全局损失函数约束生成对抗网络的反向传播，迭代地更新生成器网络参数，最终使得优化后的生成器网络可以生成高质量的图像修复结果。

2.根据权利要求1所述的一种基于小波变换注意力模型的图像修复方法，其特征在于：

所述的生成器网络G以Unet++的编码器和解码器结构为基础，编码器和解码器通过skip connections连接，用i代表编码器每一层的索引，j代表沿着skip connections的索引，则G每一层的特征向量x_i，j计算为：

式中，

代表卷积操作，k是卷积核大小为3×3的滤波器，{·}代表Concatenation操作。

3.根据权利要求2所述的一种基于小波变换注意力模型的图像修复方法，其特征在于：

生成器网络G的具体工作过程如下：

步骤一：利用DWT将已知区域特征分解为多频子带

具体操作：首先，用p代表LL、LH、HL和HH 4种低通和高通滤波器，滤波器f_p使用卷积步长为2迭代地将已知区域特征x分解为4个多频子带

式中，j＝0，↓2代表因子为2的标准降采样算子，最后，将4个多频子带Concatenation得到DWT操作后的特征向量

步骤二：将特征向量

传递到注意力机制中提取特征x′_i，j，并通过IDWT操作生成修复后的图像，其中，特征x′_i，j的提取过程为：首先，生成注意力矩阵M_wt：

其中，σ代表sigmoid激活函数，k1和k2是卷积核大小为1×1的滤波器；最后，通过注意力矩阵M_wt与

之间的矩阵乘法得到最终的特征向量x′_i，j：

4.根据权利要求1所述的一种基于小波变换注意力模型的图像修复方法，其特征在于：

所述的判别器网络D采用马尔可夫判别器(PatchGAN)的全卷积判别器网络结构，在训练过程中，生成器网络G的目标就是将受损图像补全生成真实的修复图像去欺骗判别器网络D。而D的目标就是辨别出G生成的修复图像和ground-truth图像的误差。通过G和D不断博弈，最小化全局损失函数进行反向传播误差，迭代地更新G的参数，最终使得优化后的G可以生成高质量的图像修复结果。

5.根据权利要求1所述的一种基于小波变换注意力模型的图像修复方法，其特征在于：

所述的全局损失函数L_total如下：

L_total＝λ_rL_r+λ_advL_adv+λ_cL_c+λ_sL_s (6)

其中，λ代表权重系数，本发明中取λ_r＝1，λ_adv＝0.2，λ_c＝1，λ_s＝10。重建损失函数L_r为：

L_r＝||Φ(I；W)-I^gr||₁ (7)

式中，Φ(I；W)表示生成器网络G的输出，I代表输入的受损图像，W代表需要调整的G的参数，I^gr代表ground-truth图像。L_r用于约束生成器网络生成的修复结果近似于ground-truth图像。

对抗性损失函数L_adv为：

式中，

表示分布函数的期望值，p_data(I^gt)代表ground-truth图像的分布，p_miss(I)代表输入到生成器网络中的受损图像的分布，D(·)表示判别器网络D判断生成网络输出的修复后图像与ground-truth图像的相似概率。

内容损失函数定义L_c为：

式中，l代表生成器网络层数(0≤l≤4)，i代表生成器每一层的索引(0≤i≤4)，j代表沿着skip connections的索引(0≤j≤4)。

N^l和M^l分别为第l层中滤波器的数量和大小，F^l表示第l层即生成网络输出的修复图像的特征表示。P^l表示第l层的ground-truth图像的特征表示。

风格损失函数L_s为：

式中，ω为权重因子，

A是ground-truth图像的Gram矩阵，G为生成器网络生成的修复结果的Gram矩阵，利用Gram矩阵计算表达特征之间的相关性。

6.根据权利要求1所述的一种基于小波变换注意力模型的图像修复方法，其特征在于：

所述的生成器网络G还能以U-net的编码器和解码器结构为基础。

Images