CN117788296B - 基于异构组合深度网络的红外遥感图像超分辨率重建方法 - Google Patents

Abstract

本发明公开了一种基于异构组合深度网络的红外遥感图像超分辨率重建方法，涉及数字图像处理技术，包括以下步骤：获取目标场景的红外遥感图像；对红外遥感图像进行裁剪等预处理；构建包含多尺度卷积和Transformer网络的超分辨率模型并训练，得到经训练的图像超分辨率模型；将预处理后的红外遥感图像输入至训练好的图像超分辨率模型中，输出超分辨率红外遥感图像。该方法通过提取多尺度特征提高超分辨率图像的清晰度，解决在遥感超分辨率领域中传统方法不能有效恢复地表高频特征细节的问题。

Description

基于异构组合深度网络的红外遥感图像超分辨率重建方法

技术领域

本发明涉及数字图像超分辨率技术领域，更具体的说是涉及一种基于异构组合深度网络的红外遥感图像超分辨率重建方法。

背景技术

图像超分辨率技术是一种旨在提高图像空间分辨率的计算机视觉和图像处理领域的关键技术。该技术通过算法模型对低分辨率图像进行插值或重建，以生成高分辨率细节丰富的图像，从而增强图像的视觉质量和用于后续分析的精度。在遥感领域中，图像超分辨率尤为重要，因为原始卫星或航空传感器捕获的图像往往受限于物理硬件的分辨率，而提升这些图像的分辨率有助于更准确地识别地物特征、地形变化以及执行精细化的目标检测和识别任务。

遥感红外图像主要由通过搭载在卫星或无人机平台上的红外传感器获取。相较于可见光图像，红外图像更适应复杂的夜间环境，对于军事侦察、环境监测、气候变化研究等应用具有不可替代的价值。然而，由于红外传感器的固有局限性，所获得的图像通常分辨率较低，限制了其在细节识别方面的应用潜力，因此，研究适用于红外遥感图像的超分辨率方法显得尤为关键。

卷积神经网络(CNN)在图像超分辨率任务上取得了显著成就，CNN可以利用局部感受野和权值共享的特点，有效地提取图像的空间特征并进行非线性映射，进而实现超分辨率图像。然而，随着深度学习技术的发展，传统的CNN架构也暴露出一些局限性。固定的感受野无法提取长程依赖关系，尤其是在红外图像需要恢复高频细节时问题更加严重。Transformer架构最初应用在自然语言处理领域提出，并迅速扩展至其他领域，包括计算机视觉。不同于局部卷积，Transformer可以同时考虑整个图像的所有部分，使得模型在构建高清图像时能充分利用全局信息。

因此，如何进一步发挥卷积神经网络与Transformer架构各自的优势，在超分辨率中更好的恢复高频细节，成为一个亟待解决的问题。

发明内容

鉴于上述问题，本发明提供一种基于异构组合深度网络的红外遥感图像超分辨率重建方法，以解决上述背景技术中提到的技术问题。

为了实现上述目的，本发明采用如下技术方案：一种基于异构组合深度网络的红外遥感图像超分辨率重建方法，包括如下步骤：

获取目标区域的红外遥感图像并进行预处理；

构建包含多尺度卷积和Transformer网络的超分辨率模型并训练，得到经训练的图像超分辨率模型；

将预处理后的红外遥感图像输入至训练好的图像超分辨率模型中，输出超分辨率红外遥感图像；

超分辨率模型的构建与训练步骤包括：

S1、获取训练数据集，包括低分辨率红外遥感图像及其对应的高分辨率红外遥感图像；

S2、构建包含多尺度卷积和Transformer网络的超分辨率模型；

S3、将低分辨率红外遥感图像输入超分辨率模型，输出超分辨率红外遥感图像；构建损失函数并通过高分辨率红外遥感图像计算模型损失，利用反向传播对模型进行训练，直至总损失收敛，生成图像超分辨率模型。

优选地，所述S1包括：获取高分辨率红外遥感图像集，并通过降采样的方式获取对应低分辨率红外遥感图像集，二者共同构成训练数据集。

优选地，超分辨率模型以Transformer网络为基础，并在Transformer网络前段增加多尺度卷积和空间注意力机制，所述S2具体包括：

S21、对超分辨率模型的输入图像进行卷积和激活处理，得到基础特征图；

S22、分别使用不同大小的卷积核对基础特征图进行卷积处理，获得不同尺度的特征图，通过卷积层和激活层对不同尺度的特征图进行处理，并使用空间注意力机制提取红外遥感图像的地面特征；

S23、对地面特征进行拼接处理，并对拼接结果进行卷积和Embedding层得到多尺度向量；

S24、将多尺度向量输入至n层Transformer块中，输出全局特征图；

S25、对全局特征图进行Unembedding、卷积和亚像素上采样处理，输出超分辨率红外遥感图像。

优选地，所述S21表示为：

其中，表示输出的基础特征图；/>表示使用3x3的卷积核进行卷积处理；/>表示使用/>激活函数进行激活处理；/>表示通过卷积将通道数上采样至64；/>表示输入的低分辨率红外遥感图像。

优选地，所述S22表示为：

其中，表示输出的多尺度卷积特征图；/>表示空间注意力机制；表示使用/>激活函数进行处理；/>表示使用3x3的卷积核进行卷积处理； />表示分别使用3x3、5x5、9x9的卷积核进行卷积处理； />表示输入的基础特征图。

优选地，所述S23中的Embedding层功能为将图像划分为多个斑块，并将这些斑块的特征沿着新的维度进行展平和堆叠。

优选地，所述S24中的Transformer块由层归一化、多头自注意力与多层感知机构成，并包含残差机制，可以有效提取特征。

优选地，所述S3具体包括：

S31、将低分辨率红外遥感图像输入至超分辨率模型中，前向传播输出超分辨率红外遥感图像；

S32、利用损失函数计算超分辨率红外遥感图像与对应高分辨率红外遥感图像的真值图像之间的总损失，计算公式为：

其中，L表示总损失；表示/>损失,即最小绝对误差；/>表示真值图像的长与宽；/>表示真值图像在像素坐标/>处的像素值；/>表示模型输出的超分辨率红外遥感图像在像素坐标/>处的像素值；/>表示高频频谱损失；/>表示坐标距离真值图像中心点的距离；/>表示真值图像频谱图在像素坐标/>处的像素值；/>为模型输出的超分辨率红外遥感图像的频谱图在像素坐标/>处的像素值；

S33、通过反向传播算法不断优化模型参数，直至总损失收敛，生成图像超分辨率模型。

优选地，频谱图的计算方法表示为：

其中，表示真值图像的长与宽；/>表示输入图像在像素坐标/>处的像素值；/>表示频谱图在坐标/>处的像素值。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了基于异构组合深度网络的红外遥感图像超分辨率重建方法，包括如下有益效果：

1.本发明通过模型的多尺度卷积与Transformer等结构进行异构组合实现对不同深度、不同大小、不同距离特征的提取。

2.本发明通过傅里叶变换构建损失函数，使用该损失函数训练的模型可以更好的恢复高频细节。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的基于异构组合深度网络的红外遥感图像超分辨率重建方法流程示意图。

图2为本发明实施例提供的深度学习模型的主体结构示意图。

图3（a）为现实中的低分辨率红外遥感图像；

图3（b）为利用本发明方法输出的超分辨率红外遥感图像。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1所示，为本发明实施例的方法步骤图，包括：

获取目标区域的红外遥感图像并进行预处理；

构建包含多尺度卷积和Transformer网络的超分辨率模型并训练，得到经训练的图像超分辨率模型；

将预处理后的红外遥感图像输入至训练好的图像超分辨率模型中，输出超分辨率红外遥感图像。

该方法通过提取多尺度特征提高超分辨率图像的清晰度，解决在遥感超分辨率领域中传统方法不能有效恢复地表高频特征细节的问题。

上述预处理包括：对图片格式进行适当转换，将图片裁剪至指定大小。

上述超分辨率模型的构建与训练步骤包括：

S1、获取训练数据集，包括低分辨率红外遥感图像及其对应的高分辨率红外遥感图像；

S2、构建包含多尺度卷积和Transformer网络的超分辨率模型；

S3、将低分辨率红外遥感图像输入超分辨率模型中，输出超分辨率红外遥感图像；构建损失函数并通过高分辨率红外遥感图像计算模型损失，利用反向传播对模型进行训练，直至总损失收敛，生成图像超分辨率模型。

上述S1包括：获取高分辨率红外遥感图像集，并通过降采样的方式获取对应低分辨率红外遥感图像集，二者共同构成红外遥感图像的训练数据集。

上述超分辨率模型以Transformer网络为基础，并Transformer网络前段增加多尺度卷积和空间注意力机制，参见图2所示，具体包括如下内容：

S21、先对超分辨率模型的输入图像进行卷积和激活处理，得到基础特征图；

S22、分别使用不同大小的卷积核对基础特征图进行卷积处理，获得不同尺度的特征图，使用卷积层和激活层对不同尺度的特征图进行处理，并使用空间注意力机制以提取红外遥感图像的地面特征；

S23、对上述地面特征进行拼接处理，并对拼接结果进行卷积和Embedding层得到多尺度向量；

S24、将上述多尺度向量输入至n层Transformer块中，输出全局特征图；

S25、对上述全局特征图进行Unembedding、卷积和亚像素上采样处理，输出超分辨率红外遥感图像。

上述S21可表示为：

其中，表示输出的基础特征图；/>表示使用3x3的卷积核进行卷积处理；/>表示使用/>激活函数进行激活处理；/>表示通过卷积将通道数上采样至64；/>表示输入的低分辨率红外遥感图像。

上述S22可表示为：

其中，表示输出的多尺度卷积特征图；/>表示空间注意力机制；表示使用/>激活函数进行处理；/>表示使用3x3的卷积核进行卷积处理； />表示分别使用3x3、5x5、9x9的卷积核进行卷积处理； />表示输入的基础特征图。

上述S23中的Embedding层功能为将图像划分为多个斑块，并将这些斑块的特征沿着新的维度进行展平和堆叠。

上述S24中的Transformer块中由层归一化、多头自注意力与多层感知机构成，并包含残差机制，可以有效提取特征。

本发明通过傅里叶变换构建损失函数，使用该损失函数训练的模型可以更好的恢复高频细节。具体的，上述S3包括：

S31、将低分辨率红外遥感图像输入至超分辨率模型中，前向传播输出超分辨率红外遥感图像；

S32、利用损失函数计算模型输出的超分辨率红外遥感图像与对应高分辨率红外遥感图像的真值图像之间的总损失，计算公式为：

其中，L表示总损失；表示/>损失,即最小绝对误差；/>表示真值图像的长与宽；/>表示真值图像在像素坐标/>处的像素值；/>表示模型输出的超分辨率红外遥感图像在像素坐标/>处的像素值；/>表示高频频谱损失；/>表示坐标距离真值图像中心点的距离；/>表示真值图像频谱图在像素坐标/>处的像素值；/>为模型输出的超分辨率红外遥感图像的频谱图在像素坐标/>处的像素值；

S33、通过反向传播算法不断优化模型参数，直至总损失收敛，生成图像超分辨率模型。

上述S32中的频谱图的计算方法表示为：

其中，表示真值图像的长与宽；/>表示输入图像在像素坐标/>处的像素值；/>表示频谱图在坐标/>处的像素值。

本发明实施例的结果示意图如图3（a）和图3（b）；其中图3（a）所示为现实中的低分辨率红外遥感图像；图3（b）所述为本发明实施例中超分辨率红外遥感图像。

本发明上述所提供的基于多尺度卷积和transformer网络的红外遥感图像超分辨率重建方法主要是为对红外图像超分辨率专门提出的。但显然，本说明书中所描述的超分辨率方法也适用于全色图像等单光谱图像，所取得的有益效果也是相似的。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内，不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立技术方案，说明书的这种叙述方式仅仅是为了清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (7)

1.基于异构组合深度网络的红外遥感图像超分辨率重建方法，其特征在于，包括如下步骤：

获取目标区域的红外遥感图像并进行预处理；

构建包含多尺度卷积和Transformer网络的超分辨率模型并训练，得到经训练的图像超分辨率模型；

将预处理后的红外遥感图像输入至训练好的图像超分辨率模型中，输出超分辨率红外遥感图像；

超分辨率模型的构建与训练步骤包括：

S1、获取训练数据集，包括低分辨率红外遥感图像及其对应的高分辨率红外遥感图像；

S2、构建包含多尺度卷积和Transformer网络的超分辨率模型；

S3、将低分辨率红外遥感图像输入超分辨率模型，输出超分辨率红外遥感图像；构建损失函数并通过高分辨率红外遥感图像计算模型损失，利用反向传播对模型进行训练，直至总损失收敛，生成图像超分辨率模型；

超分辨率模型以Transformer网络为基础，并在Transformer网络前段增加多尺度卷积和空间注意力机制，所述S2具体包括：

S21、对超分辨率模型的输入图像进行卷积和激活处理，得到基础特征图；

S22、分别使用不同大小的卷积核对基础特征图进行卷积处理，获得不同尺度的特征图，通过卷积层和激活层对不同尺度的特征图进行处理，并使用空间注意力机制提取红外遥感图像的地面特征；

S23、对地面特征进行拼接处理，并对拼接结果进行卷积和Embedding层得到多尺度向量；

S24、将多尺度向量输入至n层Transformer块中，输出全局特征图；

S25、对全局特征图进行Unembedding、卷积和亚像素上采样处理，输出超分辨率红外遥感图像；

所述S3具体包括：

S31、将低分辨率红外遥感图像输入至超分辨率模型中，前向传播输出超分辨率红外遥感图像；

S32、利用损失函数计算超分辨率红外遥感图像与对应高分辨率红外遥感图像的真值图像之间的总损失，计算公式为：

L＝L₁+L₂；

其中，L表示总损失；L₁表示LAE损失，即最小绝对误差；w表示真值图像的长或宽；f_true(x，y)表示真值图像在像素坐标(x，y)处的像素值；f_predict(x，y)表示模型输出的超分辨率红外遥感图像在像素坐标(x，y)处的像素值；L₂表示高频频谱损失；R表示坐标(x，y)距离真值图像中心点的距离；F_true(x，y)表示真值图像频谱图在像素坐标(x，y)处的像素值；F_pedict(x，y)为模型输出的超分辨率红外遥感图像的频谱图在像素坐标(x，y)处的像素值；

S33、通过反向传播算法不断优化模型参数，直至总损失收敛，生成图像超分辨率模型。

2.根据权利要求1所述的基于异构组合深度网络的红外遥感图像超分辨率重建方法，其特征在于，所述S1包括：获取高分辨率红外遥感图像集，并通过降采样的方式获取对应低分辨率红外遥感图像集，二者共同构成训练数据集。

3.根据权利要求1所述的基于异构组合深度网络的红外遥感图像超分辨率重建方法，其特征在于，所述S21表示为：

F_{Normalfeature}＝Conv_3×3{Relu[Conv⁶⁴(F_input)]}；

其中，F_{Nocmalfeature}表示输出的基础特征图；Conv_3×3(·)表示使用3x3的卷积核进行卷积处理；Relu(·)表示使用Relu激活函数进行激活处理；Conv⁶⁴(·)表示通过卷积将通道数上采样至64；F_input表示输入的低分辨率红外遥感图像。

4.根据权利要求1所述的基于异构组合深度网络的红外遥感图像超分辨率重建方法，其特征在于，所述S22表示为：

F_multifeature＝SA{Relu{Conv_3×3[Conv_{3×3,5×5，9×9}(F_{Normalfeathre})]}}；

其中，F_multifeatre表示输出的多尺度卷积特征图；SA(·)表示空间注意力机制；Relu(·)表示使用Relu激活函数进行激活处理；Conv_3×3(·)表示使用3x3的卷积核进行卷积处理；Conv_{3×3，5×5，9×9}(·)表示分别使用3x3、5x5、9x9的卷积核进行卷积处理；F_{Normalfeature}表示输入的基础特征图。

5.根据权利要求1所述的基于异构组合深度网络的红外遥感图像超分辨率重建方法，其特征在于，所述S23中的Embedding层功能为将图像划分为多个斑块，并将这些斑块的特征沿着新的维度进行展平和堆叠。

6.根据权利要求1所述的基于异构组合深度网络的红外遥感图像超分辨率重建方法，其特征在于，所述S24中的Transformer块由层归一化、多头自注意力与多层感知机构成，并包含残差机制，有效提取特征。

7.根据权利要求1所述的基于异构组合深度网络的红外遥感图像超分辨率重建方法，其特征在于，频谱图的计算方法表示为：

其中，w表示真值图像的长或宽；f(x，y)表示输入图像在像素坐标(x，y)处的像素值；F(u,v)表示频谱图在坐标(u，v)处的像素值。