CN110111251B

CN110111251B - 一种结合深度监督自编码和感知迭代反投影的图像超分辨率重建方法

Info

Publication number: CN110111251B
Application number: CN201910323754.3A
Authority: CN
Inventors: 解梅; 钮孟洋; 赵雷; 廖炳焱
Original assignee: University of Electronic Science and Technology of China
Current assignee: University of Electronic Science and Technology of China
Priority date: 2019-04-22
Filing date: 2019-04-22
Publication date: 2023-04-28
Anticipated expiration: 2039-04-22
Also published as: CN110111251A

Abstract

本发明提出一种结合深度监督自编码和感知迭代反投影的图像超分辨率重建方法，相对于现有方法直接训练重建模型，将低分辨率图像输入训练好的重建模型直接得到超分辨率图像，重建模型一经训练完毕就无法调整。本发明将超分辨率图像到低分辨率图像的降质过程视为编码，将低分辨率图像到超分辨率图像的重建过程视为解码，从而训练出反映了图像复杂退化模型的编码器。本发明使用双三次插值图像作为超分辨率图像迭代初始值，使用训练完毕编码器得到每次迭代生成的超分辨率图像的退化后图像，将退化后图像与实际的低分辨率图像比较得到感知损失，再利用感知损失更新超分辨率图像。本发明能消除掉很大余量的模糊、抖动、噪声等干扰，重建出高分辨率图像。

Description

一种结合深度监督自编码和感知迭代反投影的图像超分辨率重建方法

技术领域

本发明属于图像处理领域，主要用于单图像超分辨率重建。

技术背景

图像超分辨率重建(Super-Resoluion,SR)是目前计算机视觉领域的研究热点，它利用数字信号处理技术，结合线代传感器成像先验知识与机器学习、模式识别技术，根据模糊的低分辨率图像，消除其在采集、传播和存储过程中所受到的不可逆的退化，重建出清晰完整的高分辨图像。超分辨率重建在智慧城市、大数据医疗、多媒体社交、自动驾驶等多领域都有着广泛的应用场景，是非常重要的数字图像处理技术。当前的图像超分辨率重建技术包括图像插值方法、邻域嵌入方法、稀疏编码方法和深度学习方法。这些方法都预设了低分辨率图像与潜在高分辨率图像之间的双三次插值降采样之间的降质关系，并在此假设上设计算法，因此难以应对图像退化过程中噪声、模糊、压缩等多种退化，鲁棒性差，实用性低。

发明内容

本发明解决噪声、模糊、压缩、降采样等复杂退化模型下的图像超分辨率重建问题，提出一种新的图像超分辨率重建方法。

本发明为解决上述技术问题所采用的技术方案是，一种结合深度监督自编码和感知迭代反投影的图像超分辨率重建方法，相对于现有方法直接训练重建模型，将低分辨率图像输入训练好的重建模型直接得到超分辨率图像，重建模型一经训练完毕就无法调整。本发明将超分辨率图像到低分辨率图像的降质过程视为编码，将低分辨率图像到超分辨率图像的重建过程视为解码，从而训练出反映了图像复杂退化模型的编码器。本发明使用双三次插值图像作为超分辨率图像迭代初始值，使用训练完毕编码器得到每次迭代生成的超分辨率图像的退化后图像，将退化后图像与实际的低分辨率图像比较得到感知损失，再利用感知损失更新超分辨率图像，是一个逐步逼近的过程。

本发明的有益效果是，利用学习了复杂图像退化先验知识的深度自编码器作为图像复杂退化模型，随后使用退化特征空间的感知损失投影迭代修正重建图像以得到最终的超分辨率图像输出，可以消除掉很大余量的模糊、抖动、噪声等干扰，重建出高分辨率图像。

附图说明

图1为图像退化方式示意图；

图2为深度监督自编码器；

图3为基于编码器的反投影网络及梯度传播线路；

图4为感知损失计算及梯度反向传播路线；

图5图像超分辨率重建效果展示。

具体实施方式

本发明包括2个步骤:

步骤1采用深度自编码器学习复杂图像退化模型，接收复杂退化条件下的训练图像对来着重训练编码器部分；

步骤2将深度自编码器中编码器部分的深度卷积神经网络作为迭代反投影算法中的退化模型，使用双三次插值图像作为超分辨率图像迭代初始值，计算超分辨率图像退化后与观测图像在特征空间中的感知损失，并用以迭代更新超分辨率图像，直至损失低于阈值。

下面对两个步骤进行详细说明：

1.通过深度自编码器学习复杂图像退化模型

通常来说，一张低分辨率图像是由其对应的高分辨率图像退化而来，退化过程中图像收到的干扰可能包括降采样、模糊、空间不均匀的噪声、运动平移、压缩等，如图1所示。图像的退化中可能包括前述多种方式，难以通过人工来建立降采样模型。因此本发明使用基于对称卷积神经网络的监督深度自编码器来学习图像降质先验知识。

如图2所示，深度监督自编码器包括编码器(encoder)、解码器(decoder)、2个均方误差计算模块(MSE)以及加权和模块。1个以基于相同内容的一对高分辨率(High-Resolution,HR)-低分辨率(Low-Resolution,LR)图像作为一组训练图像对。编码器通过一个全卷积神经网络(CNN 1)将HR图像降维成一个与传入LR图像相等维度的张量LR’，随后使用一个结构与编码器完全对称的解码器网络(CNN 2)将LR’升维至HR’，LR′＝f_encoder(HR)，HR′＝f_dencoder(LR′)；f_encoder为编码器算法，f_dencoder为解码器算法。

两个MSE分别计算LR与LR’、HR与HR’的均方误差MSE(LR,LR′)和MSE(HR,HR′)，再通过加权和得到最终损失(loss)，loss＝λ₂MSE(LR,LR′)+λ₁MSE(HR,HR′)，并使用loss通过反向传播算法更新编码器与解码器的内部参数使loss最小。

该步骤算法流程可以表示为：

1-1)使用全局不均匀的高斯噪声、各向异性高斯核模糊、随机方向的运动模糊、jpeg压缩、双三次/双线性插值降采样等退化方式获得LR-HR图像对；将HR输入encoder，将LR输入对应均方误差计算模块；

1-2)使用encoder对HR进行降维得到LR’，使用decoder对LR’进行升维得到HR’；

1-3)计算MSE(LR,LR’)和MSE(HR,HR’)的加权损失，使用BP算法迭代优化encoder和decoder中的深度网络参数；若满足大于最大迭代次数或小于损失阈值等终止条件，则停止迭代，深度监督自编码器训练完成，将训练完成的编码器(CNN 1)作为步骤2中使用的复杂图像退化模型，否则返回步骤1-1)。

2.基于编码器的反投影优化算法

步骤1中所训练得到的编码器充分学习了图像降质过程中的复杂退化模型，因此有理由认为，当前的LR观测图像与潜在的HR真值图像之间应符合编码器所学习到的降维表示关系。

该算法步骤可以表示为：

2-1)将低分辨率观测图像LR的双三次插值上采样图像作为目标超分辨率图像SR的迭代值SR’的初始值；

2-2)使用步骤1中所训练的编码器(encoder)计算SR’对应的降维低分辨率编码LR’，LR′＝f_encoder(SR′)，计算LR’与LR之间的感知损失函数(perceptual loss)，如图4所示，使用预训练的深度图像修复全卷积神经网络作为特征提取器(feature extractor，简写为f_ext(·))，分别对LR与LR’做特征提取操作，得到特征图f_LR和f_LR’，f_LR＝f_encoder(LR)，f_LR′＝f_encoder(LR′)随后对f_LR和f_LR’计算均方误差得到LR与LR’之间的感知损失loss_perceptual＝MSE(f_LR,f_LR′)；

2-3)利用loss_perceptual按图3和图4中虚线所表示的损失传播路径应用反向传播算法逐级求导得到SR’每一像素的梯度，应用梯度下降算法更新SR’的像素值；再判断loss_perceptual是否小于设定阈值或达到最大迭代次数，如是，输出当前SR’作为超分辨率重建结果，如否，返回步骤2-2)。

图5展示了3组复杂退化情况下本方法的图像超分辨率重建示例，由于本方法中的自编码器可以充分学习到图像的退化模型，且超分辨率图像通过充分的迭代更新，因此具有很好的重建效果，可以消除掉很大余量的模糊、抖动、噪声等干扰，重建出高分辨率图像。

Claims

1.一种结合深度监督自编码和感知迭代反投影的图像超分辨率重建方法，其特征在于，包括以下步骤：

训练步骤，接收复杂退化条件下的训练图像对训练深度自编码器，将训练完成后的深度自编码器中的编码器的深度卷积神经网络作为学习复杂图像退化模型，进入步骤2)；

重建步骤，将深度自编码器中的编码部分作为迭代反投影算法中的退化模型，使用双三次插值图像作为超分辨率图像迭代初始值，计算超分辨率图像退化后图像与观测图像在特征空间中的感知损失，并用感知损失迭代更新超分辨率图像，直至损失低于阈值后输出当前超分辨率图像作为最终的重建图像；

深度自编码器包括编码器encoder、解码器decoder、2个均方误差计算模块以及加权和模块；

训练步骤包括：

1-1)使用全局不均匀的高斯噪声、各向异性高斯核模糊、随机方向的运动模糊、jpeg压缩或双三次/双线性插值降采样作为退化方式获得LR-HR训练图像对，LR为低分辨率图像，HR为高分辨率图像；

1-2)编码器将HR图像降维成一个与传入LR相等维度的张量LR’，随后使用解码器将张量LR’升维至张量HR’；

1-3)2个均方误差计算模块计算MSE(LR,LR’)和MSE(HR,HR’)的加权损失loss，使用loss通过反向传播算法更新编码器与解码器的内部参数，直至满足大于最大迭代次数或小于损失阈值等终止条件，则停止迭代，深度监督自编码器训练完成，将训练完成的编码器作为步骤2中使用的复杂图像退化模型，否则返回步骤1-1)；

重建步骤包括：

2-1)将待重建的低分辨率图像LR的双三次插值上采样图像作为超分辨率图像的迭代值SR’的初始值；

2-2)使用复杂图像退化模型计算超分辨率图像的迭代值SR’对应的降维低分辨率的张量LR’，计算张量LR’与低分辨率图像LR之间的感知损失；

2-3)利用感知损失应用反向传播算法更新SR’的像素值；再判断感知损失是否小于设定阈值或达到最大迭代次数，如是，输出当前SR’作为超分辨率重建结果，如否，返回步骤2-2)。