CN109472743B

CN109472743B - 遥感图像的超分辨率重建方法

Info

Publication number: CN109472743B
Application number: CN201811248779.3A
Authority: CN
Inventors: 潘宗序; 马闻; 雷斌
Original assignee: Institute of Electronics of CAS
Current assignee: Institute of Electronics of CAS
Priority date: 2018-10-25
Filing date: 2018-10-25
Publication date: 2021-01-15
Anticipated expiration: 2038-10-25
Also published as: CN109472743A

Abstract

本发明公开了一种遥感图像的超分辨率重建方法，包括：对遥感图像训练集中的每一个训练图像进行二维一级小波变换，得到每一个训练图像所对应的低频子图像以及垂直、水平、对角高频子图像，并对遥感测试图像进行二维一级小波变换，得到遥感测试图像所对应的低频子图像以及垂直、水平、对角高频子图像；构建递归残差神经网络；利用每一个低分辨率遥感训练图像及其对应的垂直、水平、对角高频子图像训练递归残差神经网络；将遥感测试图像及其对应的垂直、水平、对角高频子图像输入到训练得到的递归残差神经网络中，得到重建后的四个子图像；对重建后的四个子图像进行小波逆变换，实现对遥感测试图像的超分辨率重建。

Description

遥感图像的超分辨率重建方法

技术领域

本发明涉及遥感图像处理领域，具体涉及一种遥感图像的超分辨率重建方法。

背景技术

目前，通过超分辨率重建提高遥感图像的分辨率的方法中效果较为出色的方法有以下2种：

1、极深网络的图像超分辨率复原方法，这种方法通过采用较高学习率以提高训练速度，并且还能够在加深网络结构的同时进一步提升图像重建质量，但是这种方法无法形成层间信息反馈以及图像的上下文内容信息无法关联；

2、深度递归卷积网络的超分辨率重建方法，这种方法主要是通过在极深网络的各循环递归层建立预测信息的监督制度，且各循环递归层共享权值参数，然后将各层的预测信息通过跨层连接到重建层，最后在重建层完成图像重建，在加深网络层数的同时控制了参数数量，并且提高了图像恢复的质量。

但是，上述2种方法均只是在空域的基础上去学习低分辨率遥感图像与高分辨率遥感图像中的映射关系来提高分辨率，忽略了利用图像的频域信息去恢复图像高频细节的潜在能力。

发明内容

有鉴于此，为了克服上述问题的至少一个方面，本发明的实施例提供了一种遥感图像的超分辨率重建方法，该方法包括以下步骤：

构建遥感图像训练集；

对遥感图像训练集中的每一个训练图像进行二维一级小波变换，得到每一个训练图像所对应的低频子图像、垂直高频子图像、水平高频子图像以及对角高频子图像，并对遥感测试图像进行二维一级小波变换，得到遥感测试图像所对应的低频子图像、垂直高频子图像、水平高频子图像以及对角高频子图像；

构建递归残差神经网络；

利用每一个低分辨率遥感训练图像及其对应的垂直高频子图像、水平高频子图像以及对角高频子图像训练所述递归残差神经网络；

将遥感测试图像及其对应的垂直高频子图像、水平高频子图像以及对角高频子图像输入到训练得到的递归残差神经网络中，得到重建后的四个子图像；以及

对所述重建后的四个子图像进行小波逆变换，实现对所述遥感测试图像的超分辨率重建。

进一步地，所述构建遥感图像训练集包括以下步骤：

对原始高分辨率遥感图像进行降采样得到原始低分辨率遥感图像；

对所述原始低分辨率遥感图像进行双三次插值得到与所述原始高分辨率遥感图像等大的低分辨率遥感图像；以及

利用与所述原始高分辨率遥感图像等大的低分辨率遥感图像构建所述遥感图像训练集。

进一步地，对所述遥感图像训练集进行不同倍数的比例缩放以及多角度旋转，以扩充数据集的数量大小。

进一步地，所述构建递归残差神经网络包括以下步骤：

构建第一卷积层，所述第一卷积层用于接收并处理输入到所述递归残差神经网络的数据；

构建多级循环模块，所述多级循环模块中的第一级循环模块用于处理经过第一卷积层处理的数据；

构建多个第一相加运算层，每一个所述第一相加运算层用于叠加经过所述第一卷积层处理的数据以及经过其中一级循环模块处理的数据；

其中，所述多级循环模块中的其他级循环模块用于处理经过第一相加运算层叠加的经过所述第一卷积层处理的数据和上一级循环模块处理的数据；

构建第二相加运算层以及第二卷积层，所述第二相加运算层用于叠加经过所述第一卷积层处理的数据以及经过最后一级循环模块处理的数据，并将叠加后的数据输入到第二卷积层；以及

构建第三相加运算层，所述第三相加运算层用于叠加输入到所述递归残差神经网络的数据以及由所述第二卷积层输出的数据。

进一步地，所述构建递归残差神经网络还包括以下步骤：

构建全局残差，用于将输入到所述递归残差神经网络的数据输入到所述第三相加运算层；以及

构建局部残差，用于将经过每一级循环模块处理的数据分别输入到多个第一相加运算层和第二相加运算层中。

进一步地，输入到每一级循环模块中的数据依次经过卷积层、非线性激活函数层、卷积层以及非线性激活函数层处理。

进一步地，所述递归残差神经网络包括4个输入通道和4个输出通道。

进一步地，所述递归残差神经网络包括9级循环模块共20个卷积层。

与现有技术相比，本发明具有以下优点之一：

1、由于小波变换能够在不同层次上描述图像的上下文信息，因此本申请将小波变换与递归残差神经网络相结合，有效的结合了二者的优点，充分利用了图像的空域及频域信息；

2、通过残差学习和循环模块相结合的方法，有效的防止了由于神经网络加深带来的梯度的消失、爆炸以及过拟合等情况，在加深网络的同时控制了参数的数量，降低了网络训练的难度并且提高了图像恢复的质量。

附图说明

通过下文中参照附图对本发明所作的描述，本发明的其它目的和优点将显而易见，并可帮助对本发明有全面的理解。

图1为本发明实施例提供的图像的超分辨率重建方法的流程图；

图2为本发明实施例提供的小波变换的原理示意图；

图3为直接采用小波变换后的4个不同频段小波分量作为网络输入以及将低频小波分量替换为原始低分辨率遥感图像作为网络输入后的图像重建结果的平均PSNR值比较示意图；

图4为直接采用小波变换后的4个不同频段小波分量作为网络输入以及将低频小波分量替换为原始低分辨率遥感图像作为网络输入后的图像重建结果的视觉效果对比图；

图5为本发明实施例提供的递归残差神经网络的结构示意图；

图6为本发明实施例提供的循环模块的结构示意图；

图7为在遥感图像数据集NWPU-RESISC45上利用本发明实施例提供的超分辨率重建方法进行测试的结果与其他先进的超分辨率方法的测试结果视觉效果对比图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一个实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

除非另外定义，本发明使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。

需要说明的是，本发明所指利用图像的“空域”指利用图像的像素点。

下面结合附图，对本发明的一些实施方式做详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互结合。

如图1所示，本发明的实施例提供了一种遥感图像的超分辨率重建方法，包括步骤：

S1，构建遥感图像训练集。

在本步骤中，首先对原始高分辨率遥感图像进行所需超分辨率倍数的降采样等处理，以得到低分辨率遥感图像，然后在对得到的低分辨率遥感图像进行双三次插值得到与所述原始高分辨率遥感图像等大的低分辨率遥感图像。这样通过对多个原始高分辨率遥感图像处理后，即可得到多个低分辨率遥感图像，多个低分辨率遥感图像即构成遥感图像训练集。

在进一步较佳实施例中，还可以对得到的遥感图像训练集进行不同倍数的比例缩放以及多角度旋转，以扩充训练数据集的数量大小。

S2，对遥感图像训练集中的每一个训练图像进行二维一级小波变换，得到每一个训练图像所对应的低频子图像、垂直高频子图像、水平高频子图像以及对角高频子图像，并对遥感测试图像进行二维一级小波变换，得到遥感测试图像所对应的低频子图像、垂直高频子图像、水平高频子图像以及对角高频子图像。

在本实施例中，通过对每一个训练图像进行二维一级小波变换，可以得到四个不同频段的小波分量，结合图2说明二维一级小波变换的具体过程。

对于一个离散信号x[d]的小波变换原理可表示为：

在离散小波变换中，输入信号首先分别通过高通滤波器H(e)和低通滤波器L(e)，再进行2倍的降采样。在haar小波中，H(e)和L(e)分别表示为：

如图2所示，I(x,y)表示图像I的第x行，第y列的像素值，首先对二维信号的每行应用一维小波变换，再对其结果的每列应用一维小波变换，即得到对应的低频LL(low-low)、垂直高频LH(low-high)、水平高频HL(high-low)和对角高频HH(high-high)4个不同频段小波分量的信息。

而且本发明的发明人实验发现由于对低分辨率遥感图像进行小波变换之后得到的低频小波分量比原始低分辨率遥感图像包含的信息更少，如果在训练递归残差神经网络时，将原始低分辨率遥感图像替换低频小波分量，即在本实施例中将每一个原始低分辨率训练图像及其对应的垂直高频子图像、水平高频子图像以及对角高频子图像作为递归残差神经网络的输入，能够得到质量更好的超分辨率重建结果。

图3示出了直接采用4个不同频段小波分量作为网络的输入以及将低频小波分量替换为原始低分辨率遥感图像作为网络输入后的图像重建结果的平均PSNR值比较示意图。其中，‘+’表示用原始低分辨率训练图像作为输入的结果，‘○’表示用小波变换后的低频分量作为输入的结果。图4示出了采用2种输入的遥感测试图像的视觉效果对比图。其中图4(a)为直接采用4个不同频段小波分量作为输入的遥感测试图像结果图，图4(c)为对图4(a)中机翼部分局部放大的视觉效果图，图4(b)为将低频小波分量替换为原始低分辨率遥感图像作为网络输入的遥感测试图像的实验结果，图4(d)为对图4(b)中机翼部分局部放大的视觉效果图。从图3和图4可以看出，用原始低分辨率训练图像替换小波低频分量作为神经网络的输入，相比于直接使用小波低频分量作为输入，无论是在PSNR量化指标还是视觉上都能达到更好的效果。

S3，构建递归残差神经网络。

在本实施例中，如图5所示，递归残差神经网络可以包括第一卷积层、多级循环模块、多个第一相加运算层、第二相加运算层、第二卷积层以及第三相加运算层。

其中，第一卷积层用于接收并处理输入到所述递归残差神经网络的数据，所述多级循环模块中的第一级循环模块用于处理经过第一卷积层处理的数据，所述每一个第一相加运算层用于叠加经过所述第一卷积层处理的数据以及经过其中一级循环模块处理的数据，所述多级循环模块中的其他级循环模块用于处理经过第一相加运算层叠加的所述经过所述第一卷积层处理的数据和上一级循环模块处理的数据，所述第二相加运算层用于叠加经过所述第一卷积层处理的数据以及经过最后一级循环模块处理的数据，并将叠加后的数据输入到第二卷积层，所述第三相加运算层用于叠加输入到所述递归残差神经网络的数据以及所述第二卷积层输出的数据。

因此，在构建递归残差神经网络时，可以分别构建第一卷积层、多级循环模块、多个第一相加运算层、第二相加运算层、第二卷积层以及第三相加运算层以实现递归残差神经网络的构建。

需要说明的是，图5中并没有将循环模块和第一相加运算层全部示出，仅仅只是示出了部分。中间省略了部分循环模块和第一相加运算层，但是省略的循环模块和第一相加运算层与示出的循环模块和第一相加运算层的运算关系以及结构相同。

而且由于利用每一个训练图像及其对应的垂直高频子图像、水平高频子图像以及对角高频子图像，四个图像进行所述递归残差神经网络的训练，因此在本申请中递归残差神经网络包括四个输入通道和四个输出通道。

下面结合图5，详细说明递归残差神经网络的结构。

首先，神经网络通过4个输入通道接收四个图像，并利用第一卷积层提取四通道输入的特征，并将处理后的特征图输入到第一级循环模块，第一级循环模块对其进行处理后，输入到第一相加运算层，同时局部残差将第一卷积层提取的特征图同样输入到第一相加运算层。这时，第一相加运算层对第一级循环模块处理后的数据以及第一卷积层提取的数据进行叠加，并输入到下一级循环模块中。下一级循环模块对接收到的数据进行处理后输入到下一个第一相加运算层，下一个第一相加运算层同时接收局部残差输入的第一卷积层提取的特征图，这样下一个第一相加运算层即可对该级循环模块输出的数据以及第一卷积层提取的特征图实现叠加。其他级循环模块以及第一相加运算层的处理过程类似，此处就不再赘述。这样通过多级循环模块和多个第一相加运算层即可实现输入到递归残差神经网络数据的初步处理。当最后一级循环模块对数据进行处理并输入到第二相加运算层后，第二相加运算层同时接收局部残差输入的第一卷积层提取的特征图，并将二者进行叠加后，输入到第二卷积层。第二卷积层进行处理后，输入到第三相加运算层，同时第三相加运算层接收全局残差输入的四通道输入数据，第三相加运算层对二者进行叠加后，通过4个输出通道将数据输出。

图6示出了循环模块的具体结构示意图。每一级循环模块均包括四层结构：卷积层、非线性激活函数层、卷积层以及非线性激活函数层，即输入到每一级循环模块中的数据依次经过卷积层、非线性激活函数层、卷积层以及非线性激活函数层四层处理后输出。而且发明人在设计该循环模块结构时，考虑到批归一化层(BN)需要占用大量GPU内存，因此并未将批归一化层加入到循环模块中，而且发明人还发现在去掉BN层后，不仅节省了大量GPU内存消耗，而且增加了网络的灵活性，提高了重建结果的PSNR量化指标和视觉效果。而且使用循环模块共享参数，能够使神经网络在不增加参数的前提下提高性能，即数据循环地通过该层多次。将这个循环进行展开，就等效于使用同一组参数的多个串联的卷积层。

下面结合图6的循环模块说明本实施例采用残差结构的优点。

随着神经网络结构的加深，通常会带来了两个问题：一是梯度的消失和爆炸，导致了训练十分难收敛；另一个是神经网络的退化现象，对深度模型继续增加层数，模型准确率会下滑(不是由过拟合造成)，训练误差和测试误差都会很高。

进一步地，在构建递归残差神经网络时，还可以构建用于将输入到所述递归残差神经网络的数据跨层连接到所述第三相加运算层的全局残差，以及用于将经过第一卷积层处理之后的数据分别跨层连接到多个第一相加运算层和第二相加运算层中的局部残差。

从图6中可以看出普通直连的卷积神经网络和残差学习的最大区别在于，残差学习利用旁路的支线将输入直接连到后面的层，使得后面的层可以直接学习残差，这种结构也被称为跨层连接。传统的卷积层或全连接层在信息传递时，或多或少会存在信息丢失、损耗等问题。残差学习在某种程度上解决了这个问题，通过直接将输入信息绕道传送到输出，保护信息的完整性，整个网络则只需要学习输入、输出差别的部分，简化学习目标和难度。学习零映射比学习恒等映射更容易，降低了学习的维度，整个过程既不会增加额外的参数也不会增加计算的复杂度。

通过综合考虑训练的时间，内存的消耗，在本实施例中采用9级循环模块。由于每级循环模块包括2个卷积层，以及递归残差网络的第一卷积层和第二卷积层，这样在本实施例中神经网络一共有20个卷积层，而且每个卷积层的卷积核大小为3×3，这样整个网络架构的感受野大小为41×41。采用9级循环模块共20个卷积层的设计能够在保证神经网络深度的同时，又能达到较好的精度和视觉效果。

S4，利用每一个训练图像及其对应的垂直高频子图像、水平高频子图像以及对角高频子图像训练所述递归残差神经网络。

在训练过程中，使用Adam的训练策略，初始学习率为0.01，每训练10轮学习率减为之前的一半。损失函数是衡量网络训练的标准，在超分辨率重建领域中，一般使用MSE(mean‐square error)作为损失函数去衡量重建的图片与原始图片的差异，最小化损失函数以使训练的网络达到最优。因此本发明使用MSE作为损失函数，其计算公式如下：

并使用国际公认的峰值信噪比PSNR(Peak Signal to Noise Ratio)和结构相似性SSIM(structural similarity index)作为衡量标准。

S5，将遥感测试图像及其对应的垂直高频子图像、水平高频子图像以及对角高频子图像输入到训练得到的递归残差神经网络中，得到重建后的四个子图像。

在本步骤中，通过将遥感测试图像与其对应的3个高频分量共同作为循环残差神经网络的输入，经过循环残差神经网络处理后得到四个重建后的高分辨图像。

S6，对所述重建后的四个子图像进行小波逆变换，实现对所述遥感测试图像的超分辨率重建。

本发明的发明人通过在公开的遥感图像数据集NWPU-RESISC45上进行大量测试实验发现，本发明提出的方法相比于其他先进的超分辨率重建算法能够得到更好的量化指标以及纹理更加清晰的视觉效果。结果如图7所示，其中图7(a)为原始图像及其对应的局部放大示意图，图7(b)-(g)即为分别利用Bicubic、SRCNN、FSRCNN、ESPCN、VDSR、DRRN方法实现超分辨重建的结果示意图及其各自对应的局部放大示意图，图7(h)为采用本发明提出的方法进行超分辨重建的结果示意图及其对应的局部放大示意图，从图中可以明显看出，本发明提出的方法能够得到纹理更加清晰的视觉效果。

对于本发明的实施例，还需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合以得到新的实施例。

最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims

1.一种遥感图像的超分辨率重建方法，包括以下步骤：

构建遥感图像训练集；

构建递归残差神经网络；其中，所述构建递归残差神经网络包括以下步骤：

构建第三相加运算层，所述第三相加运算层用于叠加输入到所述递归残差神经网络的数据以及由所述第二卷积层输出的数据；

2.如权利要求1所述的方法，其特征在于，所述构建遥感图像训练集包括以下步骤：

3.如权利要求2所述的方法，其特征在于，对所述遥感图像训练集进行不同倍数的比例缩放以及多角度旋转，以扩充数据集的数量大小。

4.如权利要求1所述的方法，其特征在于，所述构建递归残差神经网络还包括以下步骤：

5.如权利要求1或4所述的方法，其特征在于，输入到每一级循环模块中的数据依次经过卷积层、非线性激活函数层、卷积层以及非线性激活函数层处理。

6.如权利要求5所述的方法，其特征在于，所述递归残差神经网络包括4个输入通道和4个输出通道。

7.如权利要求6所述的方法，其特征在于，所述递归残差神经网络包括9级循环模块共20个卷积层。