CN111402137A - 一种基于感知损失引导的深度注意力编解码单图像超分辨率算法 - Google Patents

Abstract

本发明提供了一种基于感知损失引导的深度注意力编解码单图像超分辨率算法，包括以下步骤：构建感知损失引导的深度注意力编解码网络模型；根据网络模型设计感知损失目标函数；预设网络模型超参，根据感知损失目标函数，采用反向传播算法训练网络模型；若网络模型收敛，则输出期望的高分辨率图像，否则返回执行上一步骤，直至网络模型收敛。本发明在网络中加入了残差空间注意力单元用于捕获并重建出更多的低频信息，使用平均绝对误差和结构相似度损失组成的感知损失作为损失函数来优化网络参数，使得网络可以更多地关注视觉敏感区域，以保存视觉信息结构，从而提高重建图像的质量，使得重建图像有着优秀的视觉效果，并且该网络的重建效率极高。

Description

一种基于感知损失引导的深度注意力编解码单图像超分辨率 算法

技术领域

本发明属于图像信息处理技术领域，具体涉及一种基于感知损失引导的深度注意力编解码单图像超分辨率算法。

背景技术

图像超分辨率就是将低分辨率的图像通过一定的算法转提升到高分辨率。高分辨率图像具有更高的像素密度，更多的细节信息，更细腻的画质。要获得高分辨率图像，最直接的办法是采用高分辨率的相机，然而，在实际应用过程中，由于制作工艺和工程成本的考虑，很多场合都不会采用高分辨率、超分辨率的相机来进行图像信号的采集。

超分辨率技术的概念和方法最早是由Harris和Goodman于60年代提出。随后有许多人对其进行了研究，并相继提出了许多复原方法。自2012年以来，深度学习模拟人脑的学习过程，通过多层抽象机制对数据进行抽象表达，能够自主学习数据中的关系模式，受到学术界与产业界的广受关注。但是大多深度学习方法属于监督学习的方式，这些方法需要大量的图像对，由LR图像和相应的HR图像组成，对网络参数进行预训练，限制了这些方法在实际场景中的适用性。在一些实际问题中，很难收集到真实的HR图像，甚至存在无法获取的情况。

发明内容

本发明的目的在于针对上述现有技术中不足，提供了一种基于感知损失引导的深度注意力编解码单图像超分辨率算法，包括以下步骤：

S1：构建感知损失引导的深度注意力编解码网络模型；

S2：根据网络模型，设计用于优化网络模型参数的感知损失目标函数，促使网络能够重建感知质量高的高分辨图像；

S3：预设网络模型超参数，根据感知损失目标函数，采用反向传播算法训练网络模型；

S4：若网络模型收敛，则输出期望的高分辨率图像，否则返回执行S3，直至网络模型收敛。

为优化上述技术方案，采取的具体措施还包括：

进一步地，S1具体为：构建引入了残差空间注意力机制的网络模型，网络主要由一个编码器和一个解码器串联组成，输入经由编码器之后再经过解码器输出得到目标图像，相同级层的编解码器之间还带有残差连接用于传递信息，所述解码器的每一层中都设置有空间注意力单元，以捕获并重建出更多的低频信息，所述网络模型为x＝min_θ L^P(x^l-Df_θ(z))，

其中：其中θ为网络参数，L^P为感知损失，x^l为低分辨率图像，D为下采样，f_θ(z)为网络重建图像，z为输入的随机噪声。

进一步地，S2具体为：根据网络模型参数θ，建立感知损失目标函数L^P(x)，感知损失目标函数的公式为：

L^P＝αL^MAE(x)+(1-α)L^SSIM(x)

L^SSIM(x)＝1-SSIM(x)

其中，α为感知损失中两个不同损失项的比例权重，L^MAE为平均绝对误差，

L^SSIM为图像评价指标的结构相似性。

进一步地，S3具体为：

S301：预设网络模型训练超参数，包括训练时的模型学习率1r，迭代次数N，不同损失项的比例权重α，网络的深度与层数，激活函数的类别；

S302：将和高分辨率图像一样大小的随机噪声Z作为网络模型的输入；

S303：通过反向传播算法，计算目标损失函数L_N，然后利用Adam优化算法更新网络参数θ，并进行N次迭代；

θ_N＝θ_N-1+Adam(θ_N-1，L)

S304：每次迭代后生成的高分辨率图像作为下一次迭代中网络的输入，重复S303步骤。

进一步地，S4具体为：

S401、在网络训练迭代过程中，当目标损失函数L_N减小，判定网络为收敛；

S402、判断网络模型收敛后，网络模型输出重建图像；

S403、若此次迭代训练不收敛，则返回执行步骤S3，重新预设网络模型训练超参数，再次训练网络，直至网络模型收敛。

本发明的有益效果：

本发明一种基于感知损失引导的深度注意力编解码单图像超分辨率算法，利用超分辨率理论，网络模型引入了残差空间注意力机制，通过输入随机噪声，不断迭代优化网络参数，使得生成的高分辨率图片经过下采样后能够与给定的任务所依赖的低分辨率图像高度匹配。同时，使用了感知损失作为网络的损失函数，使得网络可以更多地关注视觉敏感区域，以保存视觉信息结构，从而提高重建图像的质量，使得重建图像有着优秀的视觉效果，并且该网络的重建效率极高。

附图说明

图1是本发明的流程示意图；

图2是本发明所构建的网络详图；

图3是本发明网络中引入的残差注意力模块图；

图4是各算法4倍重建图像与原图的对比图；

图5是各算法8倍重建图像与原图的对比图；

图6是各算法4倍重建图像情况下的PSNR/SSIM指标对比图；

图7是各算法8倍重建图像情况下的PSNR/SSIM指标对比图。

具体实施方式

为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

参考图1，本实施例提供一种基于感知损失引导的深度注意力编解码单图像超分辨率算法，包括：

S1：构建感知损失引导的深度注意力编解码网络模型；

具体为：构建引入了残差空间注意力机制的网络模型，网络主要由一个编码器和一个解码器组成，编解码器呈串联的形式，输入经由编码器之后再经过解码器输出得到目标图像，相同级层的编解码器之间还带有残差连接，所述解码器的每一层中都设置有空间注意力单元，以捕获并重建出更多的低频信息，所述网络模型为x＝min_θ L^P(x^l-Df_θ(z))，其中：其中θ为网络参数，L^P为感知损失，x^l为低分辨率图像，D为下采样，f_θ(z)为网络重建图像，z为输入的随机噪声。

S2：根据网络模型，设计用于优化网络模型参数的感知损失目标函数，促使网络能够重建感知质量高的高分辨图像；

具体为：根据网络模型参数θ，建立感知损失目标函数L^P(x)，感知损失目标函数的公式为：

L^P＝aL^MAE(x)+(1-α)L^SSIM(x)

其中，α为感知损失中两个不同损失项的比例权重，L^MAE为平均绝对误差(MAE)，

L^SSIM为图像评价指标的结构相似性，由于SSIM指标是越大越好，因此L^SSIM(x)＝1-SSIM(x)。

S3：预设网络模型超参数，根据感知损失目标函数，采用反向传播算法训练网络模型；

具体为：

S301：预设网络模型训练超参数，包括训练时的模型学习率1r，迭代次数N，不同损失项的比例权重α，网络的深度与层数，激活函数的类别；

S302：将和高分辨率图像一样大小的随机噪声Z作为网络模型的输入；

S303：通过反向传播算法，计算目标损失函数L_N，然后利用Adam优化算法更新网络参数θ，并进行N次迭代：

θ_N＝θ_N-1+Adam(θ_N-1，L)，

S304：每次迭代后生成的高分辨率图像作为下一次迭代中网络的输入，重复S303步骤。

S4：若网络模型收敛，则输出期望的高分辨率图像，否则返回执行S3，直至网络模型收敛。

具体为：

S401、在网络训练迭代过程中，当目标损失函数L_N减小，判定网络为收敛；

S402、判断网络模型收敛后，网络模型输出重建图像；

S403、若此次迭代训练不收敛，则返回执行步骤S3，重新预设网络模型训练超参数，再次训练网络，直至网络模型收敛。

为验证本发明的效果，对本发明进行实验，输入的噪声大小与期望高分辨率图像一样，通道数为32，在数据集上训练模型，设置相关参数：lr＝0.001，N＝2000，α＝0.16，网络中引入的残差空间注意力机制模块如图2所示。

实验的评价使用定量分析方法；

图4显示出了本发明和Bicubic、DIP两种同样不需要预训练的算法和LapSRN需要预训练的算法分别在4倍重建时的图像重建效果对比。

图5显示出了本发明和Bicubic、DIP两种同样不需要预训练的算法和LapSRN需要预训练的算法分别在4倍重建时的图像重建效果对比。从图5可以看出，对于同样的图像，本发明的重建效果明显优于其他算法。

结合图4和图5可以看出，其中GT为原图，PL-DAN为本发明的方法，通过图片可以直观的看出PL-DAN相对于其他三种现有的算法得到的清晰度最高，且和原图最接近对于同样的图像，由此可见，本发明的重建效果明显优于其他算法。

关于定量分析比较，使用PSNR和SSIM来进行评判图像质量。其中，PSNR为峰值信噪比，SSIM为结构相似性，其计算分别如下：

其中，range表示图像像素值的动态范围，μ为均值，σ为方差，c₁＝(k₁L)²，c₁＝(k₁L)²是用来维持稳定的常数，L是像素值的动态范围，k₁＝0.01，k₂＝0.03。

作定量比较时，我们对Set14、Set5数据集上所有图片都进行了测试，通过网络模型计算输出重建图像，将重建图像与对应原图像对比，计算出对应的PSNR和SSIM值。图6给了本发明算法和Bicubic、DIP、SRCNN、LapSRN这四种算法在数据集上4倍重建图像的PSNR和SSIM值。图7给出了本发明算法和Bicubic、DIP、LapSRN这三种算法在数据集上8倍重建图像的PSNR和SSIM值。

综上可知，相对于有监督深度学习超分辨率算法需要大量数据支撑，需要进行大量预训练而浪费时间和空间资源的问题。本发明利用无监督深度学习，建立一种基于感知损失引导的深度注意力编解码单图像超分辨率算法，将随机噪声输入网络中，通过迭代不断优化网络参数，使得生成的HR图片经过下采样后能够与给定的任务所依赖的LR图像尽可能匹配。我们在网络中加入了残差空间注意力单元用于捕获并重建出更多的低频信息，并且使用平均绝对误差(MAE)和结构相似度(SSIM)损失组成的感知损失作为损失函数来优化网络参数，使得网络可以更多地关注视觉敏感区域，以保存视觉信息结构，从而提高重建图像的质量，使得重建图像有着优秀的视觉效果，并且该网络的重建效率极高。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (5)

1.一种基于感知损失引导的深度注意力编解码单图像超分辨率算法，其特征在于：包括以下步骤：

S1：构建感知损失引导的深度注意力编解码网络模型；

S2：根据网络模型，设计用于优化网络模型参数的感知损失目标函数，促使网络能够重建感知质量高的高分辨图像；

S3：预设网络模型超参数，根据感知损失目标函数，采用反向传播算法训练网络模型；

S4：若网络模型收敛，则输出期望的高分辨率图像，否则返回执行S3，直至网络模型收敛。

2.根据权利要求1所述的一种基于感知损失引导的深度注意力编解码单图像超分辨率算法，其特征在于：所述S1具体为：

构建引入了残差空间注意力机制的网络模型，网络主要由一个编码器和一个解码器串联组成，输入经由编码器之后再经过解码器输出得到目标图像，相同级层的编码器和解码器之间还带有残差连接用于传递信息，所述解码器的每一层中都设置有空间注意力单元，以捕获并重建出更多的低频信息，所述网络模型为x＝min_θL^P(x^l-Df_θ(z))；

其中：θ为网络参数，L^P为感知损失，x^l为低分辨率图像，D为下采样，f_θ(z)为网络重建图像，z为输入的随机噪声。

3.根据权利要求2所述的一种基于感知损失引导的深度注意力编解码单图像超分辨率算法，其特征在于：所述S2具体为：

根据网络模型参数θ，建立感知损失目标函数L^P(x)，感知损失目标函数的公式为：

L^P＝αL^MAE(x)+(1-α)L^SSIM(x)

L^SSIM(x)＝1-SSIM(x)

其中，α为感知损失中两个不同损失项的比例权重，L^MAE为平均绝对误差，

L^SSIM为图像评价指标的结构相似性。

4.根据权利要求3所述的一种基于感知损失引导的深度注意力编解码单图像超分辨率算法，其特征在于：所述S3具体为：

S301：预设网络模型训练超参数，包括训练时的模型学习率1r，迭代次数N，网络的深度与层数，激活函数的类别；

S302：将和高分辨率图像一样大小的随机噪声Z作为网络模型的输入；

S303：通过反向传播算法，计算目标损失函数L_N，然后利用Adam优化算法更新网络参数θ，并进行N次迭代；

θ_N＝θ+Adam(θ，L)

S304：每次迭代后生成的高分辨率图像作为下一次迭代中网络的输入，重复S303步骤。

5.根据权利要求4所述的一种基于感知损失引导的深度注意力编解码单图像超分辨率算法，其特征在于：所述S4具体为：

S401、在网络训练迭代过程中，当目标损失函数L_N减小，判定网络为收敛；

S402、判断网络模型收敛后，网络模型输出重建图像；

S403、若此次迭代训练不收敛，则返回执行步骤S3，重新预设网络模型训练超参数，再次训练网络，直至网络模型收敛。

Images