CN112686807A - 一种图像超分辨率重构方法及系统 - Google Patents

Abstract

本发明提供一种图像超分辨率重构方法，包括以下步骤：S1、对原始图像集进行预处理，得到降质器训练集和降质器验证集；S2、通过降质器训练集训练具有卷积神经网络结构的降质器；S3、通过降质器和待重构图像，训练具有卷积神经网络结构的重构器，并得到重构后图像。一种图像超分辨率重构系统，包括：用于模拟实际降质过程的降质器、重构器。本发明不使用高分辨率图像，将现有图像超分辨率重构技术中的重构图像与高分辨率图像间的损失转化为重构降质图像与低分辨率图像间的损失；本发明通过深度学习训练具有卷积神经网络的降质器，得到更接近实际情况的降质模型；本发明不通过高低分辨率图像之间的映射进行学习，采用无监督深度学习。

Description

一种图像超分辨率重构方法及系统

技术领域

本发明涉及图像处理领域，特别涉及一种图像超分辨率重构方法及系统。

背景技术

高分辨率遥感图像在环境监测、军事侦察等方面发挥着重要的作用。然而，高分辨率遥感图像的获取对于成像设备精度和成像的外部条件要求极高，实际情况中获取的遥感图像分辨率往往较低。而图像超分辨率重构技术能够在不提升现有硬件设备的条件下，通过软件技术有效提提升图像分辨率，因此，研究遥感图像超分辨率重构技术是非常有意义的。

随着深度学习的崛起，其在图像领域的发展取得了极大进展，图像超分辨率技术也得到了进一步发展，但是当前基于深度学习的图像超分辨率重构研究存在以下几个问题：

首先，当前基于深度学习的单张图像超分辨率重构技术通常依赖于高分辨率图像参与训练，当前自然图像使用高分辨率图像参与训练的深度学习方法获取了较为理想的结果，然而对于遥感图像而言，通常情况下，难以获取高分辨率遥感图像，或者高分辨率遥感图像不可用。在这种情况下，构建不使用高分辨率图像参与训练的重构方法具有较高的重要性。

其次，图像超分辨率重构是一个经典的病态求逆问题，因为通常情况下，多张不同的高分辨率图像能够通过不同降质模型得到同一张低分辨率图像。当前基于深度学习的图像超分辨率重构技术通常将图像降质过程拟合为单一的双三次下采样过程。然而这种简单的拟合与实际图像复杂降质过程存在较大的偏差，导致这些方法在实际情况中的有效应用十分有限。这种情况下，图像降质模型显得尤为重要。当降质模型接近真实图像的降质过程时，利用手工设计的低分辨率图像才能在神经网络的训练中发挥更好的作用，重构出精准的图像。

最后，基于深度学习的图像超分辨率重构方法通常是学习低分辨率图像到高分辨率图像的映射，利用网络学习大量外部样本数据库的信息及高低分辨率图像之间的对应关系，这是一种有监督的深度学习，对于图像自身如结构自相似度等先验信息利用不足。近年来，研究人员发现卷积神经网络能够探索单张图像的内部先验信息，如结构自相似度，稀疏性等，因此可以利用卷积神经网络的这种作用，将图像内部的先验信息引入当前基于深度学习的超分辨率重构方法中。

发明内容

本发明为解决现有基于深度学习的图像超分辨率技术的上述问题，提供一种图像退化机制辅助的基于无监督深度学习的图像超分辨率重构方法及系统。

为实现上述目的，本发明采用以下具体技术方案：

一种图像超分辨率重构方法，包括以下步骤：

S1、获取原始图像集，对原始图像集进行预处理，得到降质器训练集和降质器验证集；

S2、通过降质器训练集训练具有卷积神经网络结构的降质器；

S3、通过降质器和待重构图像，训练具有卷积神经网络结构的重构器，并得到重构后图像。

优选地，S1步骤中的预处理包括：

对原始图像集中的图像进行降质处理，处理方法如式(1)：

其中，y为降质处理后的图像，x为原始图像集中的图像，k为模糊核，↓_s表示下采样操作，n为噪声；

取部分降质处理后的图像进行随机裁剪，裁剪后的图像组成降质器训练集；其余降质处理后的图像组成降质器验证集。

优选地，模糊核为由均值为0、方差为∑的高斯概率密度函数定义的高斯模糊核；下采样操作为双三次下采样；噪声为加性高斯噪声。

优选地，S2中的训练降质器的方法为基于深度学习的神经网络训练，包括：

降质器在训练过程中学习图像降质过程中的降质图像和降质特征，降质特征为对图像降质过程中的模糊和噪声进行尺度拉伸后产生的2维矩阵特征；训练过程中的降质器损失函数如式(2)：

Loss_D＝L₂(I^LR′,I^LR)+ω×L₂(F^LR′,F^LR) (2)

其中，Loss_D为降质器损失函数，L₂为L2范数损失函数，I^LR为降质器训练集中的图像，I^LR′为I^LR经降质器降质处理后的图像，F^LR为设定的降质特征，F^LR′为降质器学习的降质特征，ω为用于平衡降质图像与降质特征两项权重的系数。

优选地，降质器的神经网络结构包括：至少5个残差块、降质器下采样块；残差块都有长跳跃连接，用于保持信息传递，通过长跳跃连接将信息输入降质器下采样块。

优选地，S3中的训练重构器的方法为基于深度学习的神经网络训练，包括以下步骤：

S301、对待重构图像I^LR进行双三次插值操作，得到扩大尺寸的图像I^ILR；

S302、将图像I^ILR输入重构器，得到重构后的图像I^SR；将图像I^SR输入完成训练的降质器，得到降质后的图像I^SR′；

S303、计算图像I^SR′与图像I^LR间的损失，通过降质器将损失数据反向传播至重构器，更新重构器的神经网络，损失函数如式(3)：

Loss＝L₂(I^SR′,I^LR) (3)

S304、重复多次S302-S303，直至损失函数收敛，完成重构器训练；

S305、从所有重构后图像中选取峰值信噪比最大的一幅图像，该图像即为重构结果图像。

优选地，重构器的神经网络结构包括：至少4组重构器下采样块和重构器上采样块组成的对称结构；对称结构间存在跳跃连接，用于保持信息传递。

一种图像超分辨率重构系统，包括：用于模拟实际降质过程的降质器、重构器；降质器对其训练集中图像的先验信息和降质过程中的降质信息进行深度学习；通过待重构图像的先验信息和降质器训练重构器，并得到重构结果图像。

本发明能够取得以下技术效果：

(1)不使用高分辨率图像，将现有图像超分辨率重构技术中的重构图像与高分辨率图像间的损失转化为重构降质图像与低分辨率图像间的损失；

(2)通过深度学习训练具有卷积神经网络的降质器，得到更接近实际情况的降质模型，使后续重构器的训练更加接近实际情况；

(3)不通过高低分辨率图像之间的映射进行学习，采用无监督深度学习，通过待重构图像自身的先验信息、降质器学习到的降质器训练集的先验信息和降质器学到的降质信息进行反馈学习，使训练得到的重构器具有更高的重构准确率。

附图说明

图1是根据本发明实施例的图像超分辨率重构方法的流程图；

图2是根据本发明实施例的降质器的神经网络示意图；

图3是根据本发明实施例的重构器的神经网络示意图；

图4是使用本发明实施例的图像超分辨率重构方法进行2倍重构处理后的一张示例图像，右下角放大图为对框选部分进行放大显示后的图像，其中图4-1为原始高分辨率遥感图像，图4-2为进行双三次插值操作后的待重构图像，图4-3为本发明实施例重构的图像；

图5是使用本发明实施例的图像超分辨率重构方法进行4倍重构处理后的另一张示例图像，右下角放大图为对框选部分进行放大后的图像，其中图5-1为原始高分辨率遥感图像，图5-2为进行双三次插值操作后的待重构图像，图5-3为本发明实施例重构的图像；

图6是使用本发明实施例的图像超分辨率重构方法对真实遥感图像进行4倍重构处理后示例图像，其中图6-1为原始分辨率图像，图6-2为直接放大的图像，图6-3为本发明实施例重构的图像。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，而不构成对本发明的限制。

如图1所示，一种图像超分辨率重构方法，包括以下步骤：

S1、获取原始图像集，对原始图像集进行预处理，得到降质器训练集和降质器验证集；

具体来说，选用UCM和NWPU的低分辨率遥感图像数据集为原始图像集，降质器训练集用于训练降质器，降质器验证集用于验证降质器训练过程中无拟合或异常现象发生；

S2、通过降质器训练集训练具有卷积神经网络结构的降质器；

具体来说，基于深度学习，以降质器训练集中的图像作为输入，训练具有卷积神经网络结构的降质器；

S3、通过降质器和待重构图像，训练具有卷积神经网络结构的重构器，并得到重构后图像；

具体来说，基于深度学习，将处理后的待重构图像作为输入，经过重构器重构，重构后的图像通过训练好的降质器进行降质，对比降质后的图像与输入的图像间的损失，通过降质器反向传播至重构器，对重构器进行训练，并在所有重构后图像中选取峰值信噪比最大的一副图像，该图像即为最终得到的重构图像。

在本发明的一个优选实施例中，S1步骤包括：

对原始图像集中的图像进行降质处理，处理方法如式(1)：

其中，y为降质处理后的图像，x为原始图像集中的图像，k为模糊核，↓_s表示下采样操作，n为噪声；对原始图像集中的图像进行降质处理，添加模糊与噪声，使降质处理后的图像更接近实际降质情况，并使最终构建的降质器模型与重构器模型更好地模拟实际情况；

取部分降质处理后的图像进行随机裁剪，裁剪后的图像组成降质器训练集，对图像进行裁剪，可以得到更多的训练图像，提升进行降质器训练时的训练样本数，提高降质器模型的拟合能力；其余降质处理后的图像组成降质器验证集。

基于上述优选实施例，进一步优选地，模糊核为由均值为0、方差为∑的高斯概率密度函数定义的高斯模糊核；下采样操作为双三次下采样；噪声为加性高斯噪声；添加高斯模糊核与加性高斯噪声，使降质过程更加贴近实际。

在本发明的一个优选实施例中，S2中的训练降质器的方法为基于深度学习的神经网络训练，包括：

降质器在训练过程中学习图像的降质过程中的降质图像和降质特征，降质特征为对图像降质过程中的模糊和噪声进行尺度拉伸后产生的2维矩阵特征；训练过程中的降质器损失函数如式(2)：

Loss_D＝L₂(I^LR′,I^LR)+ω×L₂(F^LR′,F^LR) (2)

其中，Loss_D为降质器损失函数，L₂为L2范数损失函数，I^LR为降质器训练图像组中的图像，I^LR′为I^LR经降质器降质处理后的图像，F^LR为设定的降质特征，F^LR′为降质器学习的降质特征，ω为用于平衡降质图像与降质特征两项权重的系数；降质器在训练过程中同时学习降质图像和降质特征，使训练得到的降质器更接近实际降质过程。

如图2所示，基于上述实施例，进一步优选地，降质器的神经网络结构包括：至少5个残差块、降质器下采样块；每个残差块由2个卷积1层、2个批归一层和激活层组成；降质器下采样块由卷积2层和激活层构成；残差块都有长跳跃连接，用于保持信息传递，通过长跳跃连接将信息输入降质器下采样块。

在本发明的一个优选实施例中，S3中的训练重构器的方法为基于深度学习的神经网络训练，包括以下步骤：

S301、对待重构图像I^LR进行双三次插值操作，得到扩大尺寸的图像I^ILR；

S302、将图像I^ILR输入重构器，得到重构后的图像I^SR；将图像I^SR输入完成训练的降质器，得到降质后的图像I^SR′；

S303、计算图像I^SR′与图像I^LR间的损失，通过降质器将损失数据反向传播至重构器，更新重构器的神经网络，损失函数如式(3)：

Loss＝L₂(I^SR′,I^LR) (3)

S304、重复多次S302-S303，直至损失函数收敛，完成重构器训练；

S305、从所有重构后图像中选取峰值信噪比最大的一幅图像，该图像即为重构结果图像。

在训练重构器的过程中，计算重构降质图像I^SR′与待重构图像I^LR间的损失，使用该损失替代现有图像超分辨率重构技术中的重构图像与高分辨率标签图像间的损失，训练过程中不使用高分辨率图像，更适宜于无法得到或使用高分辨率图像的场合。

如图3所示，基于上述实施例，进一步优选地，重构器的神经网络结构包括：至少4组重构器下采样块和重构器上采样块组成的对称结构；每个重构器下采样块由卷积1层、卷积2层、2个批归一化层、2个激活层组成；每个重构器上采样块由2个卷积1层、2个批归一化层、2个激活层和上采样层组成；对称结构间存在跳跃连接，用于保持信息传递；跳跃连接通过Skip块实现，每个Skip块由卷积3层、批归一化层和激活层组成。

一种图像超分辨率重构系统，包括：用于模拟实际降质过程的降质器、重构器；降质器对其训练集中图像的先验信息和降质过程中的降质信息进行深度学习；通过待重构图像的先验信息和降质器训练重构器，并得到重构结果图像；解决了在无监督图像超分辨率重构过程中，由于不使用高分辨率标签导致的信息不足和对重构结果的约束不足造成的重构结果差的问题，提升了无监督图像超分辨重构方法的重构效果。

图4-6为通过本发明实施例进行图像超分辨率重构的示例：

图4是通过本发明实施例对高分辨率遥感图像的降质图像进行2倍重构处理后的视觉结果，右下角放大图为对框选部分进行放大后的图像，降质过程添加e₁＝1.8，e₂＝1，θ＝45°的非均匀高斯模糊核，无噪声添加。其中图4-1为原始高分辨率遥感图像，图4-2为进行双三次插值操作后的待重构图像，图4-3为本发明实施例重构的图像，由图4可以看出本发明提供的图像超分辨率重构方法能够克服模糊效应，小船部分细节多，接近高分辨率遥感图像。

图5是通过本发明实施例对高分辨率遥感图像的降质图像进行4倍重构处理后的视觉结果，右下角放大图为对框选部分进行放大后的图像，降质过程添加e₁＝e₂＝1.5，θ＝0的均匀高斯模糊核，噪声水平为7.65。其中图5-1为原始高分辨率遥感图像，图5-2为进行双三次插值操作后的待重构图像，图5-3为本发明实施例重构的图像，由图5可以看出本发明提供的图像超分辨率重构方法能够去除噪声和模糊，且细节更加接近高分辨率图像。

图6是本发明实施例对真实遥感图像(吉林一号卫星图像)进行4倍重构后的视觉结果。其中图6-1为原始分辨率图像，图6-2为直接放大的图像，图6-3为本发明实施例重构的图像。由图6可以看出使用本发明提供的超分辨率重构方法进行重构的图像能够获得较为清晰的细节，可以直接应用于真实图像的重构，且效果良好。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制。本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

以上本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。

Claims (8)

1.一种图像超分辨率重构方法，其特征在于，包括以下步骤：

S1、获取原始图像集，对所述原始图像集进行预处理，得到降质器训练集和降质器验证集；

S2、通过所述降质器训练集训练具有卷积神经网络结构的降质器；

S3、通过所述降质器和待重构图像，训练具有卷积神经网络结构的重构器，并得到重构后图像。

2.如权利要求1所述的图像超分辨率重构方法，其特征在于，所述S1步骤中的所述预处理包括：

对所述原始图像集中的图像进行降质处理，处理方法如式(1)：

其中，y为降质处理后的图像，x为原始图像集中的图像，k为模糊核，↓_s表示下采样操作，n为噪声；

取部分降质处理后的图像进行随机裁剪，裁剪后的图像组成所述降质器训练集；其余降质处理后的图像组成所述降质器验证集。

3.如权利要求2所述的图像超分辨率重构方法，其特征在于，所述模糊核为由均值为0、方差为∑的高斯概率密度函数定义的高斯模糊核；所述下采样操作为双三次下采样；所述噪声为加性高斯噪声。

4.如权利要求1所述的图像超分辨率重构方法，其特征在于，所述S2中的训练降质器的方法为基于深度学习的神经网络训练，包括：

降质器在训练过程中学习图像降质过程中的降质图像和降质特征，所述降质特征为对图像降质过程中的模糊和噪声进行尺度拉伸后产生的2维矩阵特征；训练过程中的降质器损失函数如式(2)：

Loss_D＝L₂(I^LR′,I^LR)+ω×L₂(F^LR′,F^LR) (2)

其中，Loss_D为降质器损失函数，L₂为L2范数损失函数，I^LR为降质器训练集中的图像，I^LR′为所述I^LR经降质器降质处理后的图像，F^LR为设定的降质特征，F^LR′为降质器学习的降质特征，ω为用于平衡降质图像与降质特征两项权重的系数。

5.如权利要求4所述的图像超分辨率重构方法，其特征在于，所述降质器的神经网络结构包括：至少5个残差块、降质器下采样块；所述残差块都有长跳跃连接，用于保持信息传递，通过长跳跃连接将信息输入所述降质器下采样块。

6.如权利要求1所述的图像超分辨率重构方法，其特征在于，所述S3中的训练重构器的方法为基于深度学习的神经网络训练，包括以下步骤：

S301、对待重构图像I^LR进行双三次插值操作，得到扩大尺寸的图像I^ILR；

S302、将图像I^ILR输入重构器，得到重构后的图像I^SR；将图像I^SR输入完成训练的降质器，得到降质后的图像I^SR′；

S303、计算图像I^SR′与图像I^LR间的损失，通过降质器将损失数据反向传播至重构器，更新重构器的神经网络，损失函数如式(3)：

Loss＝L₂(I^SR′,I^LR) (3)

S304、重复多次S302-S303，直至损失函数收敛，完成重构器训练；

S305、从所有重构后图像中选取峰值信噪比最大的一幅图像，该图像即为重构结果图像。

7.如权利要求6所述的图像超分辨率重构方法，其特征在于，所述重构器的神经网络结构包括：至少4组重构器下采样块和重构器上采样块组成的对称结构；所述对称结构间存在跳跃连接，用于保持信息传递。

8.一种图像超分辨率重构系统，包括：用于模拟实际降质过程的降质器、重构器；所述降质器对其训练集中图像的先验信息和降质过程中的降质信息进行深度学习；通过待重构图像的先验信息和所述降质器训练所述重构器，并得到重构结果图像。

Images