CN113516585A - 基于非成对的光学遥感图像质量提升方法 - Google Patents

Abstract

本发明公开了基于非成对的光学遥感图像质量提升方法，可用于任意类型的图像高质量光学遥感图像的获取，解决了现有技术中，对遥感图像处理时，无法在去除噪声的同时，重建比数据集本身分辨率更高图像的问题。本发明采用双循环结构结合一系列针对性的损失函数，对没有交集的任意图像类型光学遥感图像既可提升图像分辨率，也可去除噪声，无须建立训练数据间一对一的映射，便可实现高质量光学遥感图像的获取。

Description

基于非成对的光学遥感图像质量提升方法

技术领域

本发明属于光学遥感图像处理领域，具体涉及一种基于非成对的光学遥感图像质量提升方法，可用于光学遥感图像的高质量获取。

背景技术

高质量光学遥感图像在目标检测、目标识别和图像分类方面应用广泛。由于受成像设备的精度和大气环境的影响，高质量光学遥感图像很难获得。在现有技术中，还没有能够在去除光学遥感图像噪声的同时，重建比数据集本身分辨率更高图像的方法。大多仅采用提升图像分辨率或去噪二者其一的技术来获取高质量光学遥感图像，如图1所示的CycleGAN图像处理方法，(参见Zhu J Y,Park T,Isola P,et al.Unpaired image-to-image translation using cycle-consistent adversarial networks[C]Proceedingsof the IEEE international conference on computer vision.2017:2223-2232.)可实现对图像的去噪处理，但无法实现提升图像分辨率；且CycleGAN图像处理方法只能在分辨率一致的两种图像间作风格转换，如果直接应用CycleGAN进行一种图像类型到另一种图像类型之间的转换，需要先通过插值的方法对低质量光学遥感图像进行上采样，而这种转换也会放大噪声模式，且无法通过CycleGAN图像处理方法去除这种放大的噪声，使训练变得非常不稳定，继而无法获取高质量的光学遥感图像。

发明内容

本发明为解决现有技术存在对遥感图像处理时，无法在去除噪声的同时，重建比数据集本身分辨率更高图像的技术问题，提出了一种基于非成对的光学遥感图像质量提升方法，本方法采用双循环结构，既可以提升图像分辨率，也可以去除噪声。此方法可用于对没有交集的任意图像类型光学遥感图像进行去噪和图像分辨率的提升，无须建立训练数据间一对一的映射，即可实现高质量光学遥感图像的获取。

本发明的技术解决方案是：一种基于非成对的光学遥感图像质量提升方法，其特殊之处在于：包括训练阶段和使用阶段，所述训练阶段采用生成对抗网络学习方法进行训练；

包括以下步骤：

步骤1、训练阶段

1.1)第一层循环：

1.1.1)将带噪声低分辨率的光学遥感图像A经过第一生成器模块G1，进行去噪处理得到去噪光学遥感图像A’；随后将去噪光学遥感图像A’通过第二生成器模块G2，进行加噪处理得到含有噪声的低分辨率光学遥感图像A”；

1.1.2)将无噪声低分辨率自然图像B经过第二生成器模块G2，进行加噪处理得到含有噪声的自然图像B’；随后将含有噪声的自然图像B’通过第一生成器模块G1，进行去噪处理得到去噪的低分辨率自然图像B”；

1.1.3)将A、A’、A”、B、B’及B”分别经过第一生成器模块G1、第二生成器模块G2及第一判别器模块D1、第二判别器模块D2的损失函数运算，得到本次循环的参数变化情况；

1.1.4)返回1.1.1)，直至训练集中所有图像都被处理过一次，完成一次迭代，更新G1、G2、D1、D2的参数；经过指定次数的迭代后，得到第一生成器模块G1、第二生成器模块G2、第一判别器模块D1及第二判别器模块D2网络参数；

1.2)第二层循环：

1.2.1)将带噪声低分辨率光学遥感图像A经过第一生成器模块G1、第三生成器模块G3，进行去噪与超分辨率重建处理得到去噪高分辨率光学遥感图像

随后将去噪高分辨率光学遥感图像

通过第四生成器模块G4、第二生成器模块G2，进行降采样和加噪处理得到带噪声低分辨率的光学遥感图像A”；

1.2.2)将无噪声高分辨率的自然图像

经过第四生成器模块G4、第二生成器模块G2，进行降采样和加噪处理得到带噪声低分辨率的自然图像B’；随后将带噪声低分辨率的自然图像B’通过第一生成器模块G1、第三生成器模块G3，进行去噪与超分辨率重建处理得到无噪声高分辨率的自然图像

1.2.3)将A、

A”、B、B’及

分别经过第一生成器模块G1、第二生成器模块G2、第三生成器模块G3、第四生成器模块G4及第三判别器模块D3、第四判别器模块D4的损失函数运算，得到本次循环的参数变化情况；

1.2.4)返回1.2.1)，直至训练集中所有图像都被处理过一次，完成一次迭代，更新G3、G4、D3、D4的网络参数；经过指定次数的迭代后，得到第三生成器模块G3、第四生成器模块G4、第三判别器模块D3及第四判别器模块D4网络参数；

步骤2、使用阶段

使用训练阶段得到的第一生成器模块G1网络参数和第三生成器模块G3网络参数进行参数初始化，输入待提升质量的光学遥感图像，经过第一生成器模块G1去噪和第三生成器模块G3图像超分辨率重建网络处理后，完成对光学遥感图像的质量提升。

进一步地，所述无噪声高分辨率图像

与带噪声低分辨率图像A为不同类型图像；所述无噪声高分辨率图像

的图像质量高于带噪声低分辨率图像A。

进一步地，步骤1.1.3)和步骤1.2.3)中，所述损失函数运算包括生成对抗损失、双边循环一致性损失、双边恒等损失和全变分损失运算。

进一步地，在所述步骤1.2.4)中，经过指定次数的迭代后，还包括对步骤1.1.4)中得到的第一生成器模块G1与第二生成器模块G2的网络参数进行微调优化的步骤。

进一步地，步骤1.2)和步骤2中，所述超分辨率重建为任意可以进行图像超分辨率重建的卷积神经网络。

进一步地，所述生成对抗网络学习方法包括生成器模块和判别器模块，生成器模块和判别器模块均为卷积神经网络。

进一步地，所述第一判别器模块D1、第二判别器模块D2、第三判别器模块D3及第四判别器模块D4为深度卷积神经网络VGG-net；第一生成器模块G1和第二生成器模块G2与CycleGAN网络的生成部分一致。

本发明与现有技术相比，其有益效果如下：

1)、本发明提供了一种基于非成对的光学遥感图像质量提升方法，可对没有交集的任意类型光学遥感图像进行去噪和图像分辨率的提升，无须建立训练数据间一对一的映射，实现高质量光学遥感图像的获取。

2)本发明提供的一种基于非成对的光学遥感图像质量提升方法，可以重建分辨率比训练与测试数据集本身更高的光学遥感图像，扩展了遥感图像在目标检测、目标识别和图像分类中的应用范围，为获取高质量的遥感图像提供有效途径。

3)本发明提供的基于非成对的光学遥感图像质量提升方法，有效地降低高质量遥感图像的获取成本，高效、快速的实现高质量遥感图像的迭代和实现。

附图说明

图1为现有CycleGAN图像处理方法原理示意图；

图2为本发明实施例示意图；

图3为本发明中生成对抗网络原理示意图。

具体实施方式

下面结合附图，对本发明的具体实施方式进行详细描述。

如图3所示，本发明生成对抗生成网络的主要结构包括一个生成器模型和一个判别器模型。其中生成器模型和判别器模型都是卷积神经网络。

如图2所示，本发明提出的方法由两个循环组成。G1、G2、G3和G4均为生成器，对应的D1、D2、D3和D4均为判别器。其中G1、G2、D1和D2组成的第一个循环，目的是将输入的带噪声低分辨率光学遥感图像映射为去除噪声的低分辨率光学遥感图像。G1和G2分别实现去噪和添加噪声的功能。随后G1、G3、G4、G2、D3和D4组成了第二个循环，目的是在第一个循环的基础上提升图像分辨率，得到最终的高质量光学遥感图像。其中G3可以是任何光学遥感图像超分辨率重建网络。还需要说明的是在第二个循环中输入的无噪声低分辨率图像是由G1得到的，所以实际参与第二个循环的还有G1。

在训练阶段，首先训练由G1、G2、D1和D2组成的第一个循环。在这个阶段一部分输入是光学遥感领域的带噪声低分辨率图像，另一部分输入是无噪声低分辨率的自然图像。经过这个阶段的训练，完成了光学遥感领域带噪声低分辨率图像的去噪操作，在训练结束后，G1的输出成为了第二个循环的输入。

接下来，训练实际由G1、G3、G4、G2、D3和D4组成的第二个循环。在这个阶段中，基于上一个循环的训练结果，结合无噪声高分辨率的自然图像数据集作为输入，最终会得到一个可以输出高分辨率图像的网络。同时该阶段也包括对第一阶段训练完成的G1、G2参数的微调。

经过这两个阶段的训练，将低质量的光学遥感图像通过G1和G3后即可得到重建的比数据集分辨率更高的高质量光学遥感图像。

本方法需经过训练后才能使用，具体的步骤如下：

步骤1、训练阶段

1.1)第一层循环：

1.1.1)将带噪声低分辨率的光学遥感图像A经过第一生成器模块G1，进行去噪处理得到去噪光学遥感图像A’；随后将去噪光学遥感图像A’通过第二生成器模块G2，进行加噪处理得到含有噪声的低分辨率光学遥感图像A”；

1.1.2)将无噪声低分辨率自然图像B经过第二生成器模块G2，进行加噪处理得到含有噪声的自然图像B’；随后将含有噪声的自然图像B’通过第一生成器模块G1，进行去噪处理得到去噪的低分辨率自然图像B”；

1.1.3)将A、A’、A”、B、B’及B”分别经过第一生成器模块G1、第二生成器模块G2及第一判别器模块D1、第二判别器模块D2的损失函数运算，得到本次循环的参数变化情况；

1.1.4)返回1.1.1)，直至训练集中所有图像都被处理过一次，完成一次迭代，更新G1、G2、D1、D2的参数；经过指定次数的迭代后，得到第一生成器模块G1、第二生成器模块G2、第一判别器模块D1及第二判别器模块D2网络参数；

1.2)第二层循环：

1.2.1)将带噪声低分辨率光学遥感图像A经过第一生成器模块G1、第三生成器模块G3，进行去噪与超分辨率重建处理得到去噪高分辨率光学遥感图像

随后将去噪高分辨率光学遥感图像

通过第四生成器模块G4、第二生成器模块G2，进行降采样和加噪处理得到带噪声低分辨率的光学遥感图像A”；

1.2.2)将无噪声高分辨率的自然图像

经过第四生成器模块G4、第二生成器模块G2，进行降采样和加噪处理得到带噪声低分辨率的自然图像B’；随后将带噪声低分辨率的自然图像B’通过第一生成器模块G1、第三生成器模块G3，进行去噪与超分辨率重建处理得到无噪声高分辨率的自然图像

1.2.3)将A、

A”、

B’及

分别经过第一生成器模块G1、第二生成器模块G2、第三生成器模块G3、第四生成器模块G4及第三判别器模块D3、第四判别器模块D4的损失函数运算，得到本次循环的参数变化情况；

1.2.4)返回1.2.1)，直至训练集中所有图像都被处理过一次，完成一次迭代，更新G3、G4、D3、D4的网络参数；经过指定次数的迭代后，得到第三生成器模块G3、第四生成器模块G4、第三判别器模块D3及第四判别器模块D4网络参数；

步骤2、使用阶段

使用训练阶段得到的第一生成器模块G1网络参数和第三生成器模块G3网络参数进行参数初始化，输入待提升质量的光学遥感图像，经过第一生成器模块G1去噪和第三生成器模块G3图像超分辨率重建网络处理后，完成对光学遥感图像的质量提升。

以上公开的仅为本发明的具体实施例，但是，本发明实施例并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (7)

1.基于非成对的光学遥感图像质量提升方法，其特征在于，包括训练阶段和使用阶段，所述训练阶段采用生成对抗网络学习方法进行训练；

包括以下步骤：

步骤1、训练阶段

1.1)第一层循环：

1.1.1)将带噪声低分辨率的光学遥感图像A经过第一生成器模块G1，进行去噪处理得到去噪光学遥感图像A’；随后将去噪光学遥感图像A’通过第二生成器模块G2，进行加噪处理得到含有噪声的低分辨率光学遥感图像A”；

1.1.2)将无噪声低分辨率自然图像B经过第二生成器模块G2，进行加噪处理得到含有噪声的自然图像B’；随后将含有噪声的自然图像B’通过第一生成器模块G1，进行去噪处理得到去噪的低分辨率自然图像B”；

1.1.3)将A、A’、A”、B、B’及B”分别经过第一生成器模块G1、第二生成器模块G2及第一判别器模块D1、第二判别器模块D2的损失函数运算，得到本次循环的参数变化情况；

1.1.4)返回1.1.1)，直至训练集中所有图像都被处理过一次，完成一次迭代，更新G1、G2、D1、D2的参数；经过指定次数的迭代后，得到第一生成器模块G1、第二生成器模块G2、第一判别器模块D1及第二判别器模块D2网络参数；

1.2)第二层循环：

1.2.1)将带噪声低分辨率光学遥感图像A经过第一生成器模块G1、第三生成器模块G3，进行去噪与超分辨率重建处理得到去噪高分辨率光学遥感图像

随后将去噪高分辨率光学遥感图像

通过第四生成器模块G4、第二生成器模块G2，进行降采样和加噪处理得到带噪声低分辨率的光学遥感图像A”；

1.2.2)将无噪声高分辨率的自然图像

经过第四生成器模块G4、第二生成器模块G2，进行降采样和加噪处理得到带噪声低分辨率的自然图像B’；随后将带噪声低分辨率的自然图像B’通过第一生成器模块G1、第三生成器模块G3，进行去噪与超分辨率重建处理得到无噪声高分辨率的自然图像

1.2.3)将A、

A”、

B’及

分别经过第一生成器模块G1、第二生成器模块G2、第三生成器模块G3、第四生成器模块G4、第三判别器模块D3及第四判别器模块D4的损失函数运算，得到本次循环的参数变化情况；

1.2.4)返回1.2.1)，直至训练集中所有图像都被处理过一次，完成一次迭代，更新G3、G4、D3、D4的网络参数；经过指定次数的迭代后，得到第三生成器模块G3、第四生成器模块G4、第三判别器模块D3及第四判别器模块D4网络参数；

步骤2、使用阶段

使用训练阶段得到的第一生成器模块G1网络参数和第三生成器模块G3网络参数进行参数初始化，输入待提升质量的光学遥感图像，经过第一生成器模块G1去噪和第三生成器模块G3图像超分辨率重建网络处理后，完成对光学遥感图像的质量提升。

2.根据权利要求1所述的基于非成对的光学遥感图像质量提升方法，其特征在于：

所述无噪声高分辨率图像

与带噪声低分辨率图像A为不同类型图像；

所述无噪声高分辨率图像

的图像质量高于带噪声低分辨率图像A。

3.根据权利要求2所述的基于非成对的光学遥感图像质量提升方法，其特征在于：步骤1.1.3)和步骤1.2.3)中，所述损失函数运算包括生成对抗损失、双边循环一致性损失、双边恒等损失和全变分损失运算。

4.根据权利要求3所述的基于非成对的光学遥感图像质量提升方法，其特征在于，在所述步骤1.2.4)中，经过指定次数的迭代后，还包括对步骤1.1.4)中得到的第一生成器模块G1与第二生成器模块G2的网络参数进行微调优化的步骤。

5.根据权利要求4所述的基于非成对的光学遥感图像质量提升方法，其特征在于：步骤1.2)和步骤2中，所述超分辨率重建为任意可以进行图像超分辨率重建的卷积神经网络。

6.根据权利要求1-5任一所述的基于非成对的光学遥感图像质量提升方法，其特征在于：所述生成对抗网络学习方法包括生成器模块和判别器模块，生成器模块和判别器模块均为卷积神经网络。

7.根据权利要求6所述的基于非成对的光学遥感图像质量提升方法，其特征在于：所述第一判别器模块D1、第二判别器模块D2、第三判别器模块D3及第四判别器模块D4为深度卷积神经网络VGG-net；第一生成器模块G1和第二生成器模块G2与CycleGAN网络的生成部分一致。

Images