CN109934771B - 基于循环神经网络的无监督遥感图像超分辨率重建方法 - Google Patents

Abstract

本发明公开了一种基于循环神经网络的无监督遥感图像超分辨率重建方法，整个网络由两个循环网络组成，第一个循环网络以低分辨率训练图像x^t为输入，经过生成网络一生成高分辨率图像y，高分辨率图像y再经过生成网络二生成低分辨率图像G₂(y)；第二个循环网络以高分辨率训练图像y^t为输入，经过生成网络二生成低分辨率图像x，低分辨率图像x再经过生成网络一生成高分辨率图像G₁(x)；最后通过训练后的生成网络一重建低分辨率遥感图像，得到高分辨率图像。本发明重建方法能够使用非配对的高分辨率、低分辨率遥感图像进行网络训练，解决了传统方法无法使用非匹配图像对训练的问题。

Description

基于循环神经网络的无监督遥感图像超分辨率重建方法

技术领域

本发明涉及数字图像处理技术领域，更具体的说是涉及深度学习和图像块特征提取与重建技术。

背景技术

遥感图像超分辨率技术可以有效地提升遥感图像的分辨率，恢复遥感图像细节，提升遥感图像的视觉效果，对超分辨率重建遥感图像进行目标检测，图像区域分割等，可以有效地提升处理效果。近年来，随着深度学习的不断发展，基于深度神经网络的超分辨率重建算法逐渐成为研究热点。

但由于目前大部分基于深度神经网络算法都采用监督的训练方式，即训练匹配的低分辨率-高分辨率图像对，但在遥感图像背景下，实际的低分辨率-高分辨率图像对难以获得，基于监督学习的深度学习算法只能通过采用高分辨率降采样的图像作为低分辨率图像训练网络，这样训练的网络在重建实际低分辨率遥感图像效果很差。

因此，如何提供一种效果较佳的无监督遥感图像超分辨率重建方法是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种基于循环神经网络的无监督遥感图像超分辨率重建方法，能够使用非配对的高分辨率、低分辨率遥感图像进行网络的训练，解决了传统方法无法使用非匹配图像对训练的问题。

为了实现上述目的，本发明采用如下技术方案：

基于循环神经网络的无监督遥感图像超分辨率重建方法，包括多光谱图像重建方法的训练过程和全色图像重建方法的训练过程，所述多光谱图像和所述全色图像非匹配；

所述多光谱图像重建方法的训练过程包括以下步骤：

步骤11：将待训练的所述多光谱图像x^t作为输入，经过生成网络一生成高分辨率图像y；

步骤12：将所述高分辨率图像y作为输入，通过生成网络二生成低分辨率图像G₂(y)；所述低分辨率图像G₂(y)为所述多光谱图像x^t的重建图像；

所述全色图像重建方法的训练过程包括以下步骤：

步骤21：将待训练的所述全色图像y^t作为输入，经过所述生成网络二生成低分辨率图像x；

步骤22：将所述低分辨率图像x作为输入，通过所述生成网络一生成高分辨率图像G₁(x)；所述高分辨率图像G₁(x)为所述全色图像y^t的重建图像；

所述多光谱图像重建方法的训练过程和所述全色图像重建方法的训练过程同时进行，当训练完成后，将低分辨率遥感图像作为输入，通过训练后的所述生成网络一重建生成高分辨率图像。

进一步，所述步骤11具体为：

将待训练的所述多光谱图像x^t包含的红、绿和蓝三个波段转换为Y通道，将所述Y通道作为输入，经过所述生成网络一生成所述高分辨率图像y；

转换公式为：

Y＝0.257×R+0.564×G+0.098×B+16 (1)

其中，R、G、B分别为多光谱图像的红、绿、蓝通道的灰度值，Y通道作为待训练的多光谱图像x^t。

进一步，所述生成网络一的结构与所述生成网络二的结构相反。

进一步，所述生成网络一的结构为：输入图像为低分辨率图像，所述低分辨图像依次经过第一卷积层和第一激活函数得到输出结果一，所述输出结果一经过16个残差块得到输出结果二，所述输出结果二和所述输出结果一相加后再经过第一亚像素重建层、第二激活函数、第二亚像素重建层和第三激活函数输出图像，所述输出图像为高分辨率图像。

进一步，所述生成网络二的结构为：输入图像为高分辨率图像，所述高分辨率图像依次经过第一卷积层、第一激活函数、第一均值池化层、第二卷积层、第二激活函数、第二均值池化层、第三卷积层和第三激活函数得到输出结果一，所述输出结果一经过8个残差块得到输出结果二，所述输出结果一和所述输出结果二相加后再经过第四卷积层和第四激活函数输出图像，所述输出图像为低分辨率图像。

进一步，所述残差块包括两个卷积层和一个激活函数，所述激活函数位于两个所述卷积层之间。

进一步，循环一致性损失函数为：

其中，G₁表示生成网络一，G₂表示生成网络二，N表示待训练的图像数目，

表示待训练的多光谱图像，

表示待训练的全色图像；

表示多光谱图像重建时的循环损失函数，

表示全色图像重建时的循环损失函数。

进一步，在所述全色图像重建阶段中，通过同一性损失函数对所述生成网络一进行约束，同一性损失函数公式为：

其中，N表示待训练的图像数目，G₁表示生成网络一，

表示待训练的全色图像，↓_s表示双三次降采样，L_idt表示同一性损失函数。

进一步，整个网络的总体损失函数为：

L_total＝ω₁L_cyc+ω₂L_idt (4)

其中，ω₁、ω₂分别表示循环一致性损失函数的权重和同一性损失函数的权重。

进一步，所述多光谱图像为低分辨率图像，所述全色图像为高分辨率图像。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于循环神经网络的无监督遥感图像超分辨率重建方法，能够采用非匹配的低分辨率多光谱图像以及高分辨全色图像进行训练，相比于传统的超分辨率重建方法，能够利用更多的实际低分辨率遥感图像的信息，重建实际低分辨率遥感图像的效果更好。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1附图为本发明提供的循环卷积神经网络示意图。

图2附图为本发明提供的生成网络一结构示意图。

图3附图为本发明提供的生成网络二结构示意图。

图4附图为本发明重建结果展示图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种基于循环神经网络的无监督遥感图像超分辨率重建方法，包括多光谱图像重建方法的训练过程和全色图像重建方法的训练过程。

网络训练数据采用同一卫星拍摄的多光谱图像以及全色图像，多光谱图像和全色图像非匹配。其中多光谱图像含有红、绿、蓝、近红外四个波段，分辨率为4m/像素。全色图像为单通道，分辨率为1m/像素。为了将两种图像通过网络结构联系起来，本发明方法采用多光谱遥感图像红、绿、蓝三个波段所转换为的Y通道作为网络的低分辨率训练图像，转换公式如下所示：

Y＝0.257×R+0.564×G+0.098×B+16 (1)

其中，R、G、B分别为多光谱图像的红、绿、蓝通道的灰度值，Y通道作为待训练的多光谱图像x^t。

结合图1，多光谱图像重建方法的训练过程包括以下步骤：

步骤11：将待训练的多光谱图像x^t包含的红、绿和蓝三个波段转换为Y通道，将Y通道作为输入，经过生成网络一生成高分辨率图像y；

步骤12：将高分辨率图像y作为输入，通过生成网络二生成低分辨率图像G₂(y)；低分辨率图像G₂(y)为多光谱图像x^t的重建图像。

在多光谱图像重建方法的训练过程中，生成网络一和生成网络二训练时的循环损失函数为

目的是使低分辨率图像G₂(y)与多光谱图像x^t尽量一致。

全色图像重建方法的训练过程包括以下步骤：

步骤21：将待训练的全色图像y^t作为输入，经过生成网络二生成低分辨率图像x；

步骤22：将低分辨率图像x作为输入，通过生成网络一生成高分辨率图像G₁(x)；高分辨率图像G₁(x)为全色图像y^t的重建图像。

在全色图像重建方法的训练过程中，生成网络一和生成网络二训练时的循环损失函数为

目的是使高分辨率图像G₁(x)与全色图像y^t尽量一致。

并且，在步骤22中，为了约束生成网络一的生成图像与输入图像的内容尽量一致并且具有较高的图像质量，本发明使用了同一性损失函数对生成网络一进行了约束，同一性损失函数为：

N表示总的待训练全色图像数目，G₁表示生成网络一，

表示待训练的全色图像，↓_s表示双三次降采样，L_idt表示同一性损失函数。

总体来说，整个网络由两个循环网络组成，多光谱图像训练阶段为第一个循环网络，包括步骤11和步骤12，第一循环网络训练的目的是使低分辨率图像G₂(y)与多光谱图像x^t尽量一致；全色图像训练阶段为第二循环网络，包括步骤21和步骤22，第二循环网络训练的目的是使高分辨率图像G₁(x)与全色图像y^t尽量一致。

因此，整个网络：第一网络循环和第二网络循环的循环一致性损失函数为：

其中，G₁表示生成网络一，G₂表示生成网络二，N表示待训练的图像数目，

表示待训练的多光谱图像，

表示待训练的全色图像；

表示多光谱图像重建时的循环损失函数，

表示全色图像重建时的循环损失函数。

根据公式(2)和公式(3)可知，网络的整体损失函数为：

L_total＝ω₁L_cyc+ω₂L_idt (4)

其中，ω₁、ω₂分别表示循环一致性损失函数的权重和同一性损失函数的权重。训练时，同步训练生成网络一与生成网络二的参数，最小化网络的总体损失L_idt。

多光谱图像重建方法的训练过程和全色图像重建方法的训练过程同时进行，当训练完成后，将低分辨率遥感图像作为输入，通过训练后的生成网络一重建生成高分辨率图像。

进一步完善上述技术方案，多光谱图像为低分辨率图像，全色图像为高分辨率图像。生成网络一实现低分辨率图像到高分辨率图像的映射，而生成网络二实现由高分辨率图像到低分辨率图像的映射。结合图2和图3，生成网络一的结构与生成网络二的结构相反。且生成网络一和生成网络二为生成对抗网络的生成网络部分，本发明没有用对抗网络。

生成网络一的结构为：输入图像为低分辨率图像，低分辨图像依次经过第一卷积层和第一激活函数得到输出结果一，输出结果一经过16个残差块得到输出结果二，输出结果二和输出结果一相加后再经过第一亚像素重建层、第二激活函数、第二亚像素重建层和第三激活函数得到输出图像，其中，第三激活函数将图像的灰度值限制在0-255，输出图像为高分辨率图像。

生成网络二的结构为：输入图像为高分辨率图像，高分辨率图像依次经过第一卷积层、第一激活函数、第一均值池化层、第二卷积层、第二激活函数、第二均值池化层、第三卷积层和第三激活函数得到输出结果一，第一均值池化层和第二均值池化层实现图像分辨率的降低，输出结果一经过8个残差块得到输出结果二，输出结果一和输出结果二相加后再经过第四卷积层和第四激活函数得到输出图像，第四激活函数将图像的灰度值限制在0-255，输出图像为低分辨率图像。

生成网络一和生成网络二的残差块结构相同，均包括两个卷积层和一个激活函数，所述激活函数位于两个所述卷积层之间。本发明生成网络一和生成网络二的主体结构采用残差块结构，更加着重于对差分图像进行重建，重建过程更加稳定，效果也更好，并且移除了传统残差块中的标准化层，可以大幅度提升重建速度。

并且需要说明的是，生成网络一和生成网络二中包括的所有卷积层结构相同、所有的激活函数结构相同、所有的均值池化层结构相同。其中，卷积层的滤波器大小采用3×3，滤波器个数为64个，卷积步长为1，激活函数均采用Relu激活函数，均值池化层的池化尺寸为2×2。亚像素重建层采用subpixellayer结构，滤波器大小采用3×3，滤波器个数为256个，卷积步长为1。

本发明网络的训练和测试采用高分二号卫星遥感图像，实验结果如图4所示。其中，第一行图像为全色图像降采样图像作为输入图像的结果，第二行图像为由多光谱图像转换的Y通道作为输入图像的结果。可以发现本发明方法在细节重建上要优于传统插值方法，证明本发明的无监督学习方式是可行有效的，并且针对实际遥感图像具有更好的重建效果。

本发明具有以下优点：

1.本发明方法能够使用非配对的高分辨率/低分辨率遥感图像进行网络的训练，能够解决传统基于深度学习的方法无法学习非匹配低分辨率-高分辨率图像对的问题。

2.本发明方法将多光谱图像红、绿、蓝三个波段所转换为的Y通道作为网络的低分辨率训练图像，并采用循环神经网络的结构，能够将低分辨率多光谱图像与高分辨率全色图像有效的联系起来并进行训练。

3.采用循环一致性及同一性的损失函数对循环神经网络进行训练，以达到无监督训练的目的。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.基于循环神经网络的无监督遥感图像超分辨率重建方法，其特征在于，包括多光谱图像重建方法的训练过程和全色图像重建方法的训练过程，所述多光谱图像和所述全色图像非匹配；

所述多光谱图像重建方法的训练过程包括以下步骤：

步骤11：将待训练的所述多光谱图像x^t作为输入，经过生成网络一生成高分辨率图像y；

步骤12：将所述高分辨率图像y作为输入，通过生成网络二生成低分辨率图像G₂(y)；所述低分辨率图像G₂(y)为所述多光谱图像x^t的重建图像；

所述全色图像重建方法的训练过程包括以下步骤：

步骤21：将待训练的所述全色图像y^t作为输入，经过所述生成网络二生成低分辨率图像x；

步骤22：将所述低分辨率图像x作为输入，通过所述生成网络一生成高分辨率图像G₁(x)；所述高分辨率图像G₁(x)为所述全色图像y^t的重建图像；

所述多光谱图像重建方法的训练过程和所述全色图像重建方法的训练过程同时进行，当训练完成后，将低分辨率遥感图像作为输入，通过训练后的所述生成网络一重建生成高分辨率图像；

所述生成网络一的结构为：输入图像为低分辨率图像，所述低分辨图像依次经过第一卷积层和第一激活函数得到输出结果一，所述输出结果一经过16个残差块得到输出结果二，所述输出结果二和所述输出结果一相加后再经过第一亚像素重建层、第二激活函数、第二亚像素重建层和第三激活函数得到输出图像，所述输出图像为高分辨率图像；

所述生成网络二的结构为：输入图像为高分辨率图像，所述高分辨率图像依次经过第一卷积层、第一激活函数、第一均值池化层、第二卷积层、第二激活函数、第二均值池化层、第三卷积层和第三激活函数得到输出结果一，所述输出结果一经过8个残差块得到输出结果二，所述输出结果一和所述输出结果二相加后再经过第四卷积层和第四激活函数得到输出图像，所述输出图像为低分辨率图像。

2.根据权利要求1所述的基于循环神经网络的无监督遥感图像超分辨率重建方法，其特征在于，所述步骤11具体为：

将待训练的所述多光谱图像x^t包含的红、绿和蓝三个波段转换为Y通道，将所述Y通道作为输入，经过所述生成网络一生成所述高分辨率图像y；

转换公式为：

Y＝0.257×R+0.564×G+0.098×B+16 (1)

其中，R、G、B分别为多光谱图像的红、绿、蓝通道的灰度值，Y通道作为待训练的多光谱图像x^t。

3.根据权利要求1所述的基于循环神经网络的无监督遥感图像超分辨率重建方法，其特征在于，所述生成网络一的结构与所述生成网络二的结构相反。

4.根据权利要求1所述的基于循环神经网络的无监督遥感图像超分辨率重建方法，其特征在于，所述残差块包括两个卷积层和一个激活函数，所述激活函数位于两个所述卷积层之间。

5.根据权利要求2所述的基于循环神经网络的无监督遥感图像超分辨率重建方法，其特征在于，循环一致性损失函数为：

其中，G₁表示生成网络一，G₂表示生成网络二，N表示待训练的图像数目，

表示待训练的多光谱图像，

表示待训练的全色图像；

表示多光谱图像重建时的循环损失函数，

表示全色图像重建的循环损失函数。

6.根据权利要求5所述的基于循环神经网络的无监督遥感图像超分辨率重建方法，其特征在于，在所述全色图像重建阶段中，通过同一性损失函数对所述生成网络一进行约束，同一性损失函数公式为：

其中，N表示总的待训练全色图像数目，G₁表示生成网络一，y_i ^t表示待训练的全色图像，↓_s表示双三次降采样，L_idt表示同一性损失函数。

7.根据权利要求6所述的基于循环神经网络的无监督遥感图像超分辨率重建方法，其特征在于，整个网络的总体损失函数为：

L_total＝ω₁L_cyc+ω₂L_idt (4)

其中，ω₁、ω₂分别表示循环一致性损失函数的权重和同一性损失函数的权重。

8.根据权利要求6所述的基于循环神经网络的无监督遥感图像超分辨率重建方法，其特征在于，所述多光谱图像为低分辨率图像，所述全色图像为高分辨率图像。

Images