CN112734638A - 一种遥感影像超分辨重建方法、装置及存储介质 - Google Patents

Abstract

本发明提供一种遥感影像超分辨重建方法、装置及存储介质，方法包括：通过卫星获得原始遥感影像，并对所述原始遥感影像进行裁剪处理，得到多个遥感裁剪影像；分别对多个所述遥感裁剪影像进行下采样处理，得到与所述遥感裁剪影像对应的低分辨率影像。相比现有算法，本发明在遥感影像超分辨率重建中拥有更好的复原效果，使得重建的图像更加清晰，恢复了更多的纹理细节，建筑物、道路以及植被的边缘轮廓更加清晰，实现了对高频信息边缘部分重建质量的提升，同时，PSNR有极大地提升，而SSIM也略有提升，解决了影像重建时边缘细节缺失的问题。

Description

一种遥感影像超分辨重建方法、装置及存储介质

技术领域

本发明主要涉及图像处理技术领域，具体涉及一种遥感影像超分辨重建方法、装置及存储介质。

背景技术

目前主流的超分辨率算法有最近邻插值、双三次插值、SRCNN、VDSR、SRGAN等，但考虑到遥感影像中含有较为丰富的高频信息，当前算法对高频信息边缘部分重建质量较为差，且存在影像重建时边缘细节缺失的问题。

发明内容

本发明所要解决的技术问题是针对现有技术的不足，提供一种遥感影像超分辨重建方法、装置及存储介质。

本发明解决上述技术问题的技术方案如下：一种遥感影像超分辨重建方法，包括如下步骤：

通过卫星获得原始遥感影像，并对所述原始遥感影像进行裁剪处理，得到多个遥感裁剪影像；

分别对多个所述遥感裁剪影像进行下采样处理，得到与所述遥感裁剪影像对应的低分辨率影像；

构建训练网络，根据各个所述遥感裁剪影像和所述低分辨率影像对所述训练网络进行参数更新，得到与所述低分辨率影像对应的目标训练网络；

通过各个所述目标训练网络分别对所述低分辨率影像进行训练，得到多个训练后的超分辨率影像；

将多个所述训练后的超分辨率影像进行拼接，得到超分辨率最终影像。

本发明解决上述技术问题的另一技术方案如下：一种遥感影像超分辨重建装置，包括：

影像裁剪模块，用于通过卫星获得原始遥感影像，并对所述原始遥感影像进行裁剪处理，得到多个遥感裁剪影像；

下采样处理模块，用于分别对多个所述遥感裁剪影像进行下采样处理，得到与所述遥感裁剪影像对应的低分辨率影像；

参数更新模块，用于构建训练网络，根据各个所述遥感裁剪影像和所述低分辨率影像对所述训练网络进行参数更新，得到与所述低分辨率影像对应的目标训练网络；

网络训练模块，用于通过各个所述目标训练网络分别对所述低分辨率影像进行训练，得到多个训练后的超分辨率影像；

超分辨率影像获得模块，用于将多个所述训练后的超分辨率影像进行拼接，得到超分辨率最终影像。

本发明的有益效果是：通过对原始遥感影像的裁剪处理得到多个遥感裁剪影像，分别对多个遥感裁剪影像的下采样处理得到与遥感裁剪影像对应的低分辨率影像，相比现有算法，本发明在遥感影像超分辨率重建中拥有更好的复原效果，使得重建的图像更加清晰，恢复了更多的纹理细节，建筑物、道路以及植被的边缘轮廓更加清晰，实现了对高频信息边缘部分重建质量的提升，同时，PSNR有极大地提升，而SSIM也略有提升，解决了影像重建时边缘细节缺失的问题。

附图说明

图1为本发明实施例提供的遥感影像超分辨重建方法的流程示意图；

图2为本发明实施例提供的遥感影像超分辨重建装置的模块框图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

图1为本发明实施例提供的遥感影像超分辨重建方法的流程示意图。

如图1所示，一种遥感影像超分辨重建方法，包括如下步骤：

通过卫星获得原始遥感影像，并对所述原始遥感影像进行裁剪处理，得到多个遥感裁剪影像；

分别对多个所述遥感裁剪影像进行下采样处理，得到与所述遥感裁剪影像对应的低分辨率影像；

构建训练网络，根据各个所述遥感裁剪影像和所述低分辨率影像对所述训练网络进行参数更新，得到与所述低分辨率影像对应的目标训练网络；

通过各个所述目标训练网络分别对所述低分辨率影像进行训练，得到多个训练后的超分辨率影像；

将多个所述训练后的超分辨率影像进行拼接，得到超分辨率最终影像。

具体地，所述裁剪处理即将所述原始遥感影像裁剪成许多个800*600的遥感裁剪影像。

应理解地，所述低分辨率影像是指需要提升分辨率的待处理遥感影像，所述超分辨率影像是指经过处理后提升了分辨率的处理后遥感影像。

应理解地，将从卫星获取到的所述原始遥感影像进行裁剪，并进行下采样获得多个所述低分辨率影像。

上述实施例中，通过对原始遥感影像的裁剪处理得到多个遥感裁剪影像，分别对多个遥感裁剪影像的下采样处理得到与遥感裁剪影像对应的低分辨率影像，相比现有算法，本发明在遥感影像超分辨率重建中拥有更好的复原效果，使得重建的图像更加清晰，恢复了更多的纹理细节，建筑物、道路以及植被的边缘轮廓更加清晰，实现了对高频信息边缘部分重建质量的提升，同时，PSNR有极大地提升，而SSIM也略有提升，解决了影像重建时边缘细节缺失的问题。

可选地，作为本发明的一个实施例，所述训练网络包括生成器和判别器；

所述构建训练网络，根据各个所述遥感裁剪影像和所述低分辨率影像对所述训练网络进行参数更新，得到与所述低分辨率影像对应的目标训练网络的过程包括：

将多个所述低分辨率影像分别输入至所述生成器中，通过所述生成器分别对各个所述低分辨率影像进行影像重建处理，得到与所述低分辨率影像对应的超分辨率影像；

将各个所述超分辨率影像和对应的所述遥感裁剪影像划分为一组输入数据，从而得到多组输入数据，将多组所述输入数据分别输入至所述判别器中，通过所述判别器分别对各个所述输入数据进行真伪分析，得到多个真伪判别概率；

根据多个所述真伪判别概率分别更新所述生成器和所述判别器的网络参数，得到与所述低分辨率影像对应的目标训练网络。

应理解地，通过生成器学习训练集样本数据的分布，将输入样本转化为真实训练集数据类似的样本。

应理解地，利用损失函数对所述真伪判别概率、所述生成器和所述判别器进行参数更新，得到与所述低分辨率影像对应的目标训练网络。

具体地，通过损失函数计算所述超分辨率影像和所述遥感裁剪影像之间的误差反向传播更新网络参数。通过比较所述超分辨率影像经过卷积神经网络后的特征和所述遥感裁剪影像经过卷积神经网络后的特征的差别，使所述超分辨率影像和所述遥感裁剪影像在语义和风格上更相似。

上述实施例中，根据各个遥感裁剪影像和低分辨率影像对训练网络的参数更新得到与低分辨率影像对应的目标训练网络，相比现有算法，本发明在遥感影像超分辨率重建中拥有更好的复原效果，使得重建的图像更加清晰，恢复了更多的纹理细节，建筑物、道路以及植被的边缘轮廓更加清晰，实现了对高频信息边缘部分重建质量的提升，同时，PSNR有极大地提升，而SSIM也略有提升，解决了影像重建时边缘细节缺失的问题。

可选地，作为本发明的一个实施例，所述生成器包括主线网络和支线网络；

所述将多个所述低分辨率影像分别输入至所述生成器中，通过所述生成器分别对各个所述低分辨率影像进行影像重建处理，得到与所述低分辨率影像对应的超分辨率影像的过程包括：

将多个所述低分辨率影像分别输入至所述主线网络中，通过所述主线网络分别对多个所述低分辨率影像进行特征提取，得到与所述低分辨率影像对应的多个主线特征矩阵；

分别对多个所述低分辨率影像进行边缘特征检测，得到与各个所述低分辨率影像对应的边缘特征影像；

分别将各个所述边缘特征影像和对应的多个所述主线特征矩阵一并输入至所述支线网络中，通过所述支线网络分别对各个所述检测后的低分辨率影像以及对应的多个所述主线特征矩阵进行支线网络的特征提取，得到与所述低分辨率影像对应的多个支线特征矩阵；

分别对与所述低分辨率影像对应的所述多个主线特征矩阵和与所述低分辨率影像对应的所述多个支线特征矩阵进行特征融合计算，得到与所述低分辨率影像对应的融合特征矩阵；

将各个所述融合特征矩阵分别输入至1×1卷积层中，通过所述1×1卷积层分别对各个所述融合特征矩阵进行空间维度的降低处理，得到与所述低分辨率影像对应的处理后的融合特征矩阵；

通过亚像素卷积层分别对各个所述处理后的融合特征矩阵进行上采样处理，得到与所述低分辨率影像对应的超分辨率影像。

应理解地，所述亚像素卷积层的作用是使卷积后的特征图尺寸扩大。

应理解地，所述边缘特征检测是利用Prewitt算子处理遥感影像。

应理解地，所述空间维度的降低处理即将三维矩阵转成一维。

具体地，所述上采样就是采集模拟信号的样本；采样是将时间上、幅值上都连续的信号，在采样脉冲的作用下，转换成时间、幅值上离散的信号。所以采样又称为波形的离散化过程。

具体地，所述生成器的网络结构分为主线网络和支线网络两层，在所述主线网络上直接经过卷积层和PReLU激活函数层，在所述支线网络上对输入的所述低分辨率影像LR进行边缘特征检测，再将经过卷积层和PReLU激活函数层的所述支线特征矩阵与所述主线特征矩阵进行第一步加权融合。

具体地，所述融合特征矩阵经过1×1的卷积后空间维度降低，并通过亚像素卷积层对所述处理后的融合特征矩阵进行上采样，得到重建后的超分辨率影像。

应理解地，PReLU激活函数层为下式：

上述实施例中，将多个低分辨率影像分别输入至生成器中，通过生成器分别对各个低分辨率影像的影像重建处理得到与低分辨率影像对应的超分辨率影像，能够使得重建的图像更加清晰，恢复了更多的纹理细节，建筑物、道路以及植被的边缘轮廓更加清晰，实现了对高频信息边缘部分重建质量的提升。

可选地，作为本发明的一个实施例，所述主线网络包括主线卷积层、主线PReLU激活函数层和多个主线RDB密集残差模块，多个所述主线RDB密集残差模块顺序连接；

所述将多个所述低分辨率影像分别输入至所述主线网络中，通过所述主线网络分别对多个所述低分辨率影像进行特征提取，得到与所述低分辨率影像对应的多个主线特征矩阵的过程包括：

将多个所述低分辨率影像分别输入至所述主线卷积层中，通过所述主线卷积层分别对多个所述低分辨率影像进行原始主线特征的特征提取，得到与所述低分辨率影像对应的原始主线特征矩阵；

将多个所述原始主线特征矩阵分别输入至所述主线PReLU激活函数层中，通过所述主线PReLU激活函数层分别对多个所述原始主线特征矩阵进行主线特征值的映射处理，得到与所述低分辨率影像对应的映射主线特征矩阵；

将多个所述映射主线特征矩阵分别输入至首个所述主线RDB密集残差模块中，通过首个所述主线RDB密集残差模块分别对多个所述映射主线特征矩阵进行主线特征矩阵的特征提取，得到与所述低分辨率影像对应的主线特征矩阵，并将所述主线特征矩阵作为下一个映射主线特征矩阵，并输入至下一个所述主线RDB密集残差模块中，通过下一个所述主线RDB密集残差模块对所述下一个所述映射主线特征矩阵进行主线特征矩阵的特征提取，直至输入至所有所述主线RDB密集残差模块中，得到与所述低分辨率影像对应的多个待排序主线特征矩阵；

按照输出先后的顺序分别对与所述低分辨率影像对应的多个所述待排序主线特征矩阵进行排序，得到所述低分辨率影像对应的多个主线特征矩阵。

优选地，所述多个主线RDB密集残差模块的数量可以为7个。

应理解地，多个所述主线RDB密集残差模块顺序连接即为首个所述主线RDB密集残差模块的输出端与第二个所述主线RDB密集残差模块的输入端连接，第二个所述主线RDB密集残差模块的输出端与第三个所述主线RDB密集残差模块的输入端连接…直至第N个所述主线RDB密集残差模块的输出端与最后一个所述主线RDB密集残差模块的输入端连接。

上述实施例中，将多个低分辨率影像分别输入至主线网络中，通过主线网络分别对多个低分辨率影像的特征提取得到与低分辨率影像对应的多个主线特征矩阵，为后续的处理提供数据基础，能够使得重建的图像更加清晰，恢复了更多的纹理细节，建筑物、道路以及植被的边缘轮廓更加清晰，实现了对高频信息边缘部分重建质量的提升。

可选地，作为本发明的一个实施例，所述支线网络包括支线卷积层、支线PReLU激活函数层和多个支线RDB密集残差模块，多个所述支线RDB密集残差模块顺序连接；

所述分别将各个所述检测后的低分辨率影像和对应的多个所述主线特征矩阵一并输入至所述支线网络中，通过所述支线网络分别对各个所述检测后的低分辨率影像以及对应的多个所述主线特征矩阵进行支线网络的特征提取，得到与所述低分辨率影像对应的多个支线特征矩阵的过程包括：

将多个所述检测后的低分辨率影像分别输入至所述支线卷积层中，通过所述支线卷积层分别对多个所述检测后的低分辨率影像进行原始支线特征的特征提取，得到与所述低分辨率影像对应的原始支线特征矩阵；

将多个所述原始支线特征矩阵分别输入至所述支线PReLU激活函数层中，通过所述支线PReLU激活函数层分别对多个所述原始支线特征矩阵进行支线特征值的映射处理，得到与所述低分辨率影像对应的映射支线特征矩阵；

分别将各个所述映射支线特征矩阵以及对应的首个所述主线特征矩阵一并输入至首个所述支线RDB密集残差模块中，通过首个所述支线RDB密集残差模块分别对各个所述映射支线特征矩阵以及对应的首个所述主线特征矩阵进行支线特征提取的计算，得到与所述低分辨率影像对应的支线特征矩，并将所述支线特征矩作为下一个映射支线特征矩阵，并与下一个所述主线特征矩阵一并输入至下一个所述支线RDB密集残差模块中，通过下一个所述支线RDB密集残差模块分别对各个所述下一个映射支线特征矩阵以及对应的下一个所述主线特征矩阵进行支线特征提取的计算，直至输入至所有所述支线RDB密集残差模块中,得到与所述低分辨率影像对应的多个支线特征矩，具体为：

通过第一式分别对各个所述映射支线特征矩阵以及对应的所述主线特征矩阵进行支线特征提取的计算，得到与所述低分辨率影像对应的支线特征矩，所述第一式为：

其中，μ为比例系数，

为第n个映射支线特征矩阵，

为第n个主线特征矩阵，

为第n+1个支线特征矩阵。

优选地，所述多个支线RDB密集残差模块的数量可以为7个。

具体地，多个所述支线RDB密集残差模块顺序连接即为首个所述支线RDB密集残差模块的输出端与第二个所述支线RDB密集残差模块的输入端连接，第二个所述支线RDB密集残差模块的输出端与第三个所述支线RDB密集残差模块的输入端连接…直至第N个所述支线RDB密集残差模块的输出端与最后一个所述支线RDB密集残差模块的输入端连接。

应理解地，所述第1个支线特征矩阵定义为下式，

其中，

为第1个主线特征矩阵，μ为比例系数，

为所述检测后的低分辨率影像经过支线卷积层和支线PReLU激活函数层的映射支线特征矩阵。

上述实施例中，分别将各个检测后的低分辨率影像和对应的多个主线特征矩阵一并输入至支线网络中，通过支线网络分别对各个检测后的低分辨率影像以及对应的多个主线特征矩阵的支线网络的特征提取得到与低分辨率影像对应的多个支线特征矩阵，为后续的处理提供数据基础，能够使得重建的图像更加清晰，恢复了更多的纹理细节，建筑物、道路以及植被的边缘轮廓更加清晰，实现了对高频信息边缘部分重建质量的提升。

可选地，作为本发明的一个实施例，所述分别对与所述低分辨率影像对应的所述多个主线特征矩阵和与所述低分辨率影像对应的所述多个支线特征矩阵进行特征融合计算，得到与所述低分辨率影像对应的融合特征矩阵的过程包括：

通过第二式分别对与所述低分辨率影像对应的所述多个主线特征矩阵和与所述低分辨率影像对应的所述多个支线特征矩阵进行特征融合计算，得到与所述低分辨率影像对应的融合特征矩阵，所述第二式为：

其中，

为第i个主线特征矩阵，

为第i个支线特征矩阵，μ_n为二阶段融合的比例系数，

为融合特征矩阵，m为主线特征矩阵的数量。

上述实施例中，通过第二式分别对与低分辨率影像对应的多个主线特征矩阵和与低分辨率影像对应的多个支线特征矩阵的特征融合计算得到与低分辨率影像对应的融合特征矩阵，相比现有算法，本发明在遥感影像超分辨率重建中拥有更好的复原效果，使得重建的图像更加清晰，恢复了更多的纹理细节，建筑物、道路以及植被的边缘轮廓更加清晰，实现了对高频信息边缘部分重建质量的提升，同时，PSNR有极大地提升，而SSIM也略有提升，解决了影像重建时边缘细节缺失的问题。

可选地，作为本发明的一个实施例，所述将多组所述输入数据分别输入至所述判别器中，通过所述判别器分别对各个所述输入数据进行真伪分析，得到多个真伪判别概率的过程包括：

将多个所述遥感裁剪影像分别输入至所述判别器中，通过所述判别器分别对多个所述遥感裁剪影像进行判别器的参数更新，得到与所述遥感裁剪影像对应的更新后的判别器；

将多个所述超分辨率影像分别输入至所述更新后的判别器中，通过所述更新后的判别器分别对多个所述超分辨率影像进行真伪判别处理，得到多个真伪判别概率。

上述实施例中，将多组输入数据分别输入至判别器中，通过判别器分别对各个输入数据的真伪分析得到多个真伪判别概率，进一步提高了影像的质量，使得重建的图像更加清晰，恢复了更多的纹理细节，建筑物、道路以及植被的边缘轮廓更加清晰，实现了对高频信息边缘部分重建质量的提升，同时，PSNR有极大地提升，而SSIM也略有提升，解决了影像重建时边缘细节缺失的问题。

可选地，作为本发明的一个实施例，所述更新后的判别器包括第一卷积层、第一LeakyReLu激活函数层、第二卷积层、BN层、第二LeakyReLu激活函数层、多个密集连接块、全连接层和igmoid激活函数层，多个所述密集连接块顺序连接；

所述将多个所述超分辨率影像分别输入至所述更新后的判别器中，通过所述更新后的判别器分别对多个所述超分辨率影像进行真伪判别处理，得到多个真伪判别概率的过程包括：

将多个所述超分辨率影像分别输入至所述第一卷积层中，通过所述第一卷积层分别对多个所述超分辨率影像进行第一卷积层的特征提取，得到多个原始特征矩阵；

将多个所述原始特征矩阵分别输入至所述第一LeakyReLu激活函数层中，通过所述第一LeakyReLu激活函数层分别对多个所述原始特征矩阵进行第一LeakyReLu激活函数层特征值的映射处理，得到多个原始映射特征矩阵；

将多个所述原始映射特征矩阵分别输入至所述第二卷积层中，通过所述第二卷积层分别对多个所述原始映射特征矩阵进行第二卷积层的特征提取，得到多个优化特征矩阵；

将多个所述优化特征矩阵输入至所述BN层中，通过所述BN层分别对多个所述优化特征矩阵进行归一化处理，得到多个归一化特征矩阵；

将多个所述归一化特征矩阵分别输入至所述第二LeakyReLu激活函数层中，通过所述第二LeakyReLu激活函数层分别对多个所述归一化特征矩阵进行第二LeakyReLu激活函数层特征值的映射处理，得到多个归一化映射特征矩阵；

将多个所述归一化映射特征矩阵分别输入至首个所述密集连接块中，通过首个所述密集连接块分别对多个所述归一化映射特征矩阵进行深层特征提取，得到多个深层特征提取后的特征矩阵，并将所述深层特征提取后的特征矩阵作为下一个归一化映射特征矩阵，并输入至下一个所述密集连接块中，通过下一个所述密集连接块对所述下一个映射主线特征矩阵进行深层特征提取，直至输入至所有所述密集连接块中，得到多个深层特征提取后的特征矩阵；

将多个所述深层特征提取后的特征矩阵输入至所述全连接层中，通过所述全连接层分别对多个所述深层特征提取后的特征矩阵进行单列矩阵转化，得到多个单列特征矩阵；

将多个所述单列特征矩阵分别输入至所述igmoid激活函数层中，通过所述igmoid激活函数层分别对多个所述单列特征矩阵进行概率转化，得到多个真伪判别概率。

优选地，多个所述密集连接块的数量可以为6个。

具体地，多个所述密集连接块顺序连接即为首个所述密集连接块的输出端与第二个所述密集连接块的输入端连接，第二个所述密集连接块的输出端与第三个所述密集连接块的输入端连接…直至第N个所述密集连接块的输出端与最后一个所述密集连接块的输入端连接。

应理解地，用所述更新后的判别器判断样本真实概率，所述更新后的判别器是一个二分类模型，其输入为所述重建后的超分辨率影像，网络结构包含步长为2和1的卷积层，除第一个卷积层之外，每个卷积层之后都包含所述BN层，在6个所述密集连接块之后网络通过所述全连接层和所述Sigmoid激活函数层完成对图像真伪的判别。

上述实施例中，将多个超分辨率影像分别输入至更新后的判别器中，通过更新后的判别器分别对多个超分辨率影像的真伪判别处理得到多个真伪判别概率，相比现有算法，本发明在遥感影像超分辨率重建中拥有更好的复原效果，使得重建的图像更加清晰，恢复了更多的纹理细节，建筑物、道路以及植被的边缘轮廓更加清晰，实现了对高频信息边缘部分重建质量的提升，同时，PSNR有极大地提升，而SSIM也略有提升，解决了影像重建时边缘细节缺失的问题。

可选地，作为本发明的一个实施例，本发明的实验环境为Google Colaboratory平台，Ubuntu16系统，内存为60G，显卡为Tesla K80，显存12GB，编程语言为Python3.6，由Pytorch1.0框架与CUDA10.1架构完成算法。

实验数据集A、B、C共包含1万张2018年Google Earth高分辨率多光谱(RGB)遥感影像，影像来源于Maxar Technologies并包含整个桂林市区，整体分辨率为0.14米/像素，单张影像分辨率为400*400。

在训练过程中，所述生成器和所述判别器交替训练，batch_size为128，学习率为0.0002，epchos为300，Total Variation loss权重为2e-8，adversarial loss权重为0.001，perception loss权重为0.006，分层融合系数为0.01，总融合系数为1，训练时长为24小时。

本发明的流程分为训练和运行两部分。对于训练部分而言，将从卫星获取到的所述原始遥感影像进行裁剪，并进行下采样获得所述低分辨率影像；对于运行部分而言，将需要提升分辨率的所述原始遥感影像进行裁剪，输入训练好的网络中的所述生成器部分，即可以得到训练后的超分辨率影像，最后再将所述训练后的超分辨率影像进行拼接得到完整的一幅超分辨率影像。

图2为本发明实施例提供的遥感影像超分辨重建装置的模块框图。

可选地，作为本发明的另一个实施例，如图2所示，一种遥感影像超分辨重建装置，包括：

影像裁剪模块，用于通过卫星获得原始遥感影像，并对所述原始遥感影像进行裁剪处理，得到多个遥感裁剪影像；

下采样处理模块，用于分别对多个所述遥感裁剪影像进行下采样处理，得到与所述遥感裁剪影像对应的低分辨率影像；

参数更新模块，用于构建训练网络，根据各个所述遥感裁剪影像和所述低分辨率影像对所述训练网络进行参数更新，得到与所述低分辨率影像对应的目标训练网络；

网络训练模块，用于通过各个所述目标训练网络分别对所述低分辨率影像进行训练，得到多个训练后的超分辨率影像；

超分辨率影像获得模块，用于将多个所述训练后的超分辨率影像进行拼接，得到超分辨率最终影像。

可选地，作为本发明的一个实施例，所述训练网络包括生成器和判别器；

所述参数更新模块具体用于：

将多个所述低分辨率影像分别输入至所述生成器中，通过所述生成器分别对各个所述低分辨率影像进行影像重建处理，得到与所述低分辨率影像对应的超分辨率影像；

将各个所述超分辨率影像和对应的所述遥感裁剪影像划分为一组输入数据，从而得到多组输入数据，将多组所述输入数据分别输入至所述判别器中，通过所述判别器分别对各个所述输入数据进行真伪分析，得到多个真伪判别概率；

根据多个所述真伪判别概率分别更新所述生成器和所述判别器的网络参数，得到与所述低分辨率影像对应的目标训练网络。

可选地，本发明的另一个实施例提供一种遥感影像超分辨重建装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，当所述处理器执行所述计算机程序时，实现如上所述的遥感影像超分辨重建方法。该装置可为计算机等装置。

可选地，本发明的另一个实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被处理器执行时，实现如上所述的遥感影像超分辨重建方法。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。用于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种遥感影像超分辨重建方法，其特征在于，包括如下步骤：

通过卫星获得原始遥感影像，并对所述原始遥感影像进行裁剪处理，得到多个遥感裁剪影像；

分别对多个所述遥感裁剪影像进行下采样处理，得到与所述遥感裁剪影像对应的低分辨率影像；

构建训练网络，根据各个所述遥感裁剪影像和所述低分辨率影像对所述训练网络进行参数更新，得到与所述低分辨率影像对应的目标训练网络；

通过各个所述目标训练网络分别对所述低分辨率影像进行训练，得到多个训练后的超分辨率影像；

将多个所述训练后的超分辨率影像进行拼接，得到超分辨率最终影像。

2.根据权利要求1所述的遥感影像超分辨重建方法，其特征在于，所述训练网络包括生成器和判别器；

所述构建训练网络，根据各个所述遥感裁剪影像和所述低分辨率影像对所述训练网络进行参数更新，得到与所述低分辨率影像对应的目标训练网络的过程包括：

将多个所述低分辨率影像分别输入至所述生成器中，通过所述生成器分别对各个所述低分辨率影像进行影像重建处理，得到与所述低分辨率影像对应的超分辨率影像；

将各个所述超分辨率影像和对应的所述遥感裁剪影像划分为一组输入数据，从而得到多组输入数据，将多组所述输入数据分别输入至所述判别器中，通过所述判别器分别对各个所述输入数据进行真伪分析，得到多个真伪判别概率；

根据多个所述真伪判别概率分别更新所述生成器和所述判别器的网络参数，得到与所述低分辨率影像对应的目标训练网络。

3.根据权利要求2所述的遥感影像超分辨重建方法，其特征在于，所述生成器包括主线网络和支线网络；

所述将多个所述低分辨率影像分别输入至所述生成器中，通过所述生成器分别对各个所述低分辨率影像进行影像重建处理，得到与所述低分辨率影像对应的超分辨率影像的过程包括：

将多个所述低分辨率影像分别输入至所述主线网络中，通过所述主线网络分别对多个所述低分辨率影像进行特征提取，得到与所述低分辨率影像对应的多个主线特征矩阵；

分别对多个所述低分辨率影像进行边缘特征检测，得到与各个所述低分辨率影像对应的边缘特征影像；

分别将各个所述边缘特征影像和对应的多个所述主线特征矩阵一并输入至所述支线网络中，通过所述支线网络分别对各个所述检测后的低分辨率影像以及对应的多个所述主线特征矩阵进行支线网络的特征提取，得到与所述低分辨率影像对应的多个支线特征矩阵；

分别对与所述低分辨率影像对应的所述多个主线特征矩阵和与所述低分辨率影像对应的所述多个支线特征矩阵进行特征融合计算，得到与所述低分辨率影像对应的融合特征矩阵；

将各个所述融合特征矩阵分别输入至1×1卷积层中，通过所述1×1卷积层分别对各个所述融合特征矩阵进行空间维度的降低处理，得到与所述低分辨率影像对应的处理后的融合特征矩阵；

通过亚像素卷积层分别对各个所述处理后的融合特征矩阵进行上采样处理，得到与所述低分辨率影像对应的超分辨率影像。

4.根据权利要求3所述的遥感影像超分辨重建方法，其特征在于，所述主线网络包括主线卷积层、主线PReLU激活函数层和多个主线RDB密集残差模块，多个所述主线RDB密集残差模块顺序连接；

所述将多个所述低分辨率影像分别输入至所述主线网络中，通过所述主线网络分别对多个所述低分辨率影像进行特征提取，得到与所述低分辨率影像对应的多个主线特征矩阵的过程包括：

将多个所述低分辨率影像分别输入至所述主线卷积层中，通过所述主线卷积层分别对多个所述低分辨率影像进行原始主线特征的特征提取，得到与所述低分辨率影像对应的原始主线特征矩阵；

将多个所述原始主线特征矩阵分别输入至所述主线PReLU激活函数层中，通过所述主线PReLU激活函数层分别对多个所述原始主线特征矩阵进行主线特征值的映射处理，得到与所述低分辨率影像对应的映射主线特征矩阵；

将多个所述映射主线特征矩阵分别输入至首个所述主线RDB密集残差模块中，通过首个所述主线RDB密集残差模块分别对多个所述映射主线特征矩阵进行主线特征矩阵的特征提取，得到与所述低分辨率影像对应的主线特征矩阵，并将所述主线特征矩阵作为下一个映射主线特征矩阵，并输入至下一个所述主线RDB密集残差模块中，通过下一个所述主线RDB密集残差模块对所述下一个所述映射主线特征矩阵进行主线特征矩阵的特征提取，直至输入至所有所述主线RDB密集残差模块中，得到与所述低分辨率影像对应的多个待排序主线特征矩阵；

按照输出先后的顺序分别对与所述低分辨率影像对应的多个所述待排序主线特征矩阵进行排序，得到所述低分辨率影像对应的多个主线特征矩阵。

5.根据权利要求3所述的遥感影像超分辨重建方法，其特征在于，所述支线网络包括支线卷积层、支线PReLU激活函数层和多个支线RDB密集残差模块，多个所述支线RDB密集残差模块顺序连接；

所述分别将各个所述检测后的低分辨率影像和对应的多个所述主线特征矩阵一并输入至所述支线网络中，通过所述支线网络分别对各个所述检测后的低分辨率影像以及对应的多个所述主线特征矩阵进行支线网络的特征提取，得到与所述低分辨率影像对应的多个支线特征矩阵的过程包括：

将多个所述检测后的低分辨率影像分别输入至所述支线卷积层中，通过所述支线卷积层分别对多个所述检测后的低分辨率影像进行原始支线特征的特征提取，得到与所述低分辨率影像对应的原始支线特征矩阵；

将多个所述原始支线特征矩阵分别输入至所述支线PReLU激活函数层中，通过所述支线PReLU激活函数层分别对多个所述原始支线特征矩阵进行支线特征值的映射处理，得到与所述低分辨率影像对应的映射支线特征矩阵；

分别将各个所述映射支线特征矩阵以及对应的首个所述主线特征矩阵一并输入至首个所述支线RDB密集残差模块中，通过首个所述支线RDB密集残差模块分别对各个所述映射支线特征矩阵以及对应的首个所述主线特征矩阵进行支线特征提取的计算，得到与所述低分辨率影像对应的支线特征矩，并将所述支线特征矩作为下一个映射支线特征矩阵，并与下一个所述主线特征矩阵一并输入至下一个所述支线RDB密集残差模块中，通过下一个所述支线RDB密集残差模块分别对各个所述下一个映射支线特征矩阵以及对应的下一个所述主线特征矩阵进行支线特征提取的计算，直至输入至所有所述支线RDB密集残差模块中,得到与所述低分辨率影像对应的多个支线特征矩，具体为：

通过第一式分别对各个所述映射支线特征矩阵以及对应的所述主线特征矩阵进行支线特征提取的计算，得到与所述低分辨率影像对应的支线特征矩，所述第一式为：

其中，μ为比例系数，

为第n个映射支线特征矩阵，

为第n个主线特征矩阵，

为第n+1个支线特征矩阵。

6.根据权利要求3所述的遥感影像超分辨重建方法，其特征在于，所述分别对与所述低分辨率影像对应的所述多个主线特征矩阵和与所述低分辨率影像对应的所述多个支线特征矩阵进行特征融合计算，得到与所述低分辨率影像对应的融合特征矩阵的过程包括：

通过第二式分别对与所述低分辨率影像对应的所述多个主线特征矩阵和与所述低分辨率影像对应的所述多个支线特征矩阵进行特征融合计算，得到与所述低分辨率影像对应的融合特征矩阵，所述第二式为：

其中，

为第i个主线特征矩阵，

为第i个支线特征矩阵，μ_n为二阶段融合的比例系数，

为融合特征矩阵，m为主线特征矩阵的数量。

7.根据权利要求2所述的遥感影像超分辨重建方法，其特征在于，所述将多组所述输入数据分别输入至所述判别器中，通过所述判别器分别对各个所述输入数据进行真伪分析，得到多个真伪判别概率的过程包括：

将多个所述遥感裁剪影像分别输入至所述判别器中，通过所述判别器分别对多个所述遥感裁剪影像进行判别器的参数更新，得到与所述遥感裁剪影像对应的更新后的判别器；

将多个所述超分辨率影像分别输入至所述更新后的判别器中，通过所述更新后的判别器分别对多个所述超分辨率影像进行真伪判别处理，得到多个真伪判别概率。

8.根据权利要求7所述的遥感影像超分辨重建方法，其特征在于，所述更新后的判别器包括第一卷积层、第一LeakyReLu激活函数层、第二卷积层、BN层、第二LeakyReLu激活函数层、多个密集连接块、全连接层和igmoid激活函数层，多个所述密集连接块顺序连接；

所述将多个所述超分辨率影像分别输入至所述更新后的判别器中，通过所述更新后的判别器分别对多个所述超分辨率影像进行真伪判别处理，得到多个真伪判别概率的过程包括：

将多个所述超分辨率影像分别输入至所述第一卷积层中，通过所述第一卷积层分别对多个所述超分辨率影像进行第一卷积层的特征提取，得到多个原始特征矩阵；

将多个所述原始特征矩阵分别输入至所述第一LeakyReLu激活函数层中，通过所述第一LeakyReLu激活函数层分别对多个所述原始特征矩阵进行第一LeakyReLu激活函数层特征值的映射处理，得到多个原始映射特征矩阵；

将多个所述原始映射特征矩阵分别输入至所述第二卷积层中，通过所述第二卷积层分别对多个所述原始映射特征矩阵进行第二卷积层的特征提取，得到多个优化特征矩阵；

将多个所述优化特征矩阵输入至所述BN层中，通过所述BN层分别对多个所述优化特征矩阵进行归一化处理，得到多个归一化特征矩阵；

将多个所述归一化特征矩阵分别输入至所述第二LeakyReLu激活函数层中，通过所述第二LeakyReLu激活函数层分别对多个所述归一化特征矩阵进行第二LeakyReLu激活函数层特征值的映射处理，得到多个归一化映射特征矩阵；

将多个所述归一化映射特征矩阵分别输入至首个所述密集连接块中，通过首个所述密集连接块分别对多个所述归一化映射特征矩阵进行深层特征提取，得到多个深层特征提取后的特征矩阵，并将所述深层特征提取后的特征矩阵作为下一个归一化映射特征矩阵，并输入至下一个所述密集连接块中，通过下一个所述密集连接块对所述下一个映射主线特征矩阵进行深层特征提取，直至输入至所有所述密集连接块中，得到多个深层特征提取后的特征矩阵；

将多个所述深层特征提取后的特征矩阵输入至所述全连接层中，通过所述全连接层分别对多个所述深层特征提取后的特征矩阵进行单列矩阵转化，得到多个单列特征矩阵；

将多个所述单列特征矩阵分别输入至所述igmoid激活函数层中，通过所述igmoid激活函数层分别对多个所述单列特征矩阵进行概率转化，得到多个真伪判别概率。

9.一种遥感影像超分辨重建装置，其特征在于，包括：

影像裁剪模块，用于通过卫星获得原始遥感影像，并对所述原始遥感影像进行裁剪处理，得到多个遥感裁剪影像；

下采样处理模块，用于分别对多个所述遥感裁剪影像进行下采样处理，得到与所述遥感裁剪影像对应的低分辨率影像；

参数更新模块，用于构建训练网络，根据各个所述遥感裁剪影像和所述低分辨率影像对所述训练网络进行参数更新，得到与所述低分辨率影像对应的目标训练网络；

网络训练模块，用于通过各个所述目标训练网络分别对所述低分辨率影像进行训练，得到多个训练后的超分辨率影像；

超分辨率影像获得模块，用于将多个所述训练后的超分辨率影像进行拼接，得到超分辨率最终影像。

10.根据权利要求9所述的遥感影像超分辨重建装置，其特征在于，所述训练网络包括生成器和判别器；

所述参数更新模块具体用于：

将多个所述低分辨率影像分别输入至所述生成器中，通过所述生成器分别对各个所述低分辨率影像进行影像重建处理，得到与所述低分辨率影像对应的超分辨率影像；

将各个所述超分辨率影像和对应的所述遥感裁剪影像划分为一组输入数据，从而得到多组输入数据，将多组所述输入数据分别输入至所述判别器中，通过所述判别器分别对各个所述输入数据进行真伪分析，得到多个真伪判别概率；

根据多个所述真伪判别概率分别更新所述生成器和所述判别器的网络参数，得到与所述低分辨率影像对应的目标训练网络。

Images