CN116563728A - 基于生成对抗网络的光学遥感影像去云雾方法和系统 - Google Patents

Abstract

本发明涉及基于生成对抗网络的遥感影像去云雾方法和系统，包括步骤：获取若干历史的光学遥感影像及其对应的SAR影像，制作样本库，所述样本库包括云掩膜样本库、去云样本库；使用云掩膜样本库对FCN模型进行训练，以构建云掩膜生成模型；使用去云样本库对pix2pix模型进行训练，以构建去云模型；获取实时的有云光学遥感影像及其对应的SAR影像，输入所述云掩膜生成模型和去云模型，得到去除云雾的光学遥感影像。本发明建立了云掩膜样本库、去云样本库，分别构建云掩膜生成模型和去云模型，实现SAR影像辅助下光学遥感影像地物复原和重建，能够满足光学遥感影像尤其是厚云状态下的去云雾需求。

Description

基于生成对抗网络的光学遥感影像去云雾方法和系统

技术领域

本发明涉及深度学习技术领域，特别涉及一种基于生成对抗网络的遥感影像去云雾方法和系统。

背景技术

光学遥感影像具有高分辨率、多光谱、易于处理等优势，但易受到云、雾、雨等天气条件的干扰，从而影响图像的质量和效果。光学遥感影像去云雾是遥感影像图像处理中的一个重要领域，在过去的几十年间，研究者们提出了各种不同类型的方法来解决这一问题，包括基于统计估计的方法、基于物理模型的方法、基于多时相数据的方法以及基于深度学习的方法。

基于统计估计的方法：建立基于灰度值统计的数学模型，利用相邻像元之间灰度值的相关性预测云雾像元的灰度值，但此方法主要适用于薄云处理，当光学遥感影像中有大片厚云覆盖时，该类方法不可用。

基于物理模型的方法：基于大气光学原理、成像原理等物理过程建立数学模型，通过图像分析和参数反演等方法去除云雾信息，但此类方法往往需要大量气象数据，计算量大且依赖特定场景，准确性低。

基于多时相数据的方法：利用多幅同时相光学遥感影像序列信息，在不同时间点构建覆盖率模型，采用差值法或变差法等技术手段去除云雾信息，此类方法需要充足的多时相数据，样本选择和分类成本较高。

基于深度学习的方法：一般采用临近时相的有云和无云的光学遥感影像进行训练，构建转换模型，该类方法往往对厚云特征提取精度不高。

因此，还需一种能够有效去除光学遥感影像中薄云和厚云的方法。

发明内容

本发明的目的在于有效去除光学遥感影像中薄云和厚云，提供一种基于生成对抗网络的遥感影像去云雾方法和系统。

为了实现上述发明目的，本发明实施例提供了以下技术方案：

基于生成对抗网络的遥感影像去云雾方法，包括以下步骤：

步骤1，获取若干历史的光学遥感影像及其对应的SAR影像，制作样本库，所述样本库包括云掩膜样本库、去云样本库；

步骤2，使用云掩膜样本库对FCN模型进行训练，以构建云掩膜生成模型；

步骤3，使用去云样本库对pix2pix模型进行训练，以构建去云模型；

步骤4，获取实时的有云光学遥感影像及其对应的SAR影像，输入所述云掩膜生成模型和去云模型，得到去除云雾的光学遥感影像。

更进一步地，所述步骤1具体包括以下步骤：

获取若干光学遥感影像，选取其中4、5、6、7、8、12六个波段的光学遥感影像；获取光学遥感影像对应的SAR影像，选取SAR影像的极化方式为VV和VH；

对光学遥感影像和SAR影像进行几何校正、辐射定标、投影变化、空间配准、亮度均衡的预处理；

采用滑动窗口对光学遥感影像按照512*512的尺寸进行裁剪，滑动窗口的重叠度为5，得到不同时相、不同地物类型的光学遥感影像样本和对应的SAR影像样本；

将裁剪后的光学遥感影像样本划分为有云光学影像和无云光学影像，对其中有云光学影像中的云雾进行人工矢量勾绘，并将勾绘的矢量数据进行二值化处理生成云掩膜标签；

所述有云光学影像和云掩膜标签构成云掩膜样本库，所述无云光学影像和SAR影像构成去云样本库。

更进一步地，所述步骤2具体包括以下步骤：

将云掩膜样本库作为FCN模型的训练集，设置FCN模型的初始学习率为0.001且随训练过程递减，选择损失函数cross-entropy，选择优化器sgd，对FCN模型进行迭代训练，直到损失收敛时，得到云掩膜生成模型。

更进一步地，所述步骤3具体包括以下步骤：

将去云样本库作为pix2pix模型的训练集，对pix2pix模型进行训练，所述pix2pix模型包括生成网络、对抗网络；对生成网络和对抗网络交替进行训练，直到达到纳什平衡时，得到去云模型；

所述pix2pix模型的总损失函数Loss为：

Loss＝λ₁LcGan+λ₂L₁+λ₃L_p

LcGan＝E{log{D[I_REAL,G(I_SAR)]}}+E{log{1-D[I_REAL,G(I_SAR)]}}

L₁＝E[I_REAL-G(I_SAR)]

其中，Loss为pix2pix模型的总损失函数；LcGan为对抗损失函数，L₁为条件损失函数，L_p为感知损失函数；λ为各损失函数的权重；I_REAL为真实影像，G(I_SAR)为生成器生成的影像；G表示生成器，D表示判别器；E表示期望值运算；F_i为影像在pix2pix模型中第i层的特征表示，N表示特征层数。

更进一步地，所述步骤4具体包括以下步骤：

获取实时的有云光学遥感影像及其对应的SAR影像，将光学遥感影像和对应的SAR影像进行自动配准，通过重采样、投影及重叠区域裁剪，获得相同分辨率、相同地理参考的重叠区域；

将重叠区域输入所述云掩膜生成模型，云掩膜生成模型生成云掩膜；

将自动配准后的有云光学遥感影像、对应的SAR影像、云掩膜生成模型输出的云掩膜共同输入所述去云模型，去云模型生成SAR影像对应的光学遥感影像；

将云掩膜范围内去云模型生成的光学遥感影像替换到有云光学遥感影像所对应区域，完成对有云光学遥感影像的云雾去除处理，得到去除云雾的光学遥感影像。

基于生成对抗网络的遥感影像去云雾系统，包括：

样本库制作模块，用于获取若干历史的光学遥感影像及其对应的SAR影像，制作样本库，所述样本库包括云掩膜样本库、去云样本库；

模型构建模块，用于使用云掩膜样本库对FCN模型进行训练，以构建云掩膜生成模型；以及使用去云样本库对pix2pix模型进行训练，以构成去云模型；

自动去云雾模块，用于获取实时的有云光学遥感影像及其对应的SAR影像，输入所述云掩膜生成模型和去云模型，得到去除云雾的光学遥感影像。

与现有技术相比，本发明的有益效果：

本发明建立了云掩膜样本库、去云样本库，分别构建云掩膜生成模型和去云模型，实现SAR影像辅助下光学遥感影像地物复原和重建，从而实现去云雾处理，使其更接近目标图像。能够满足光学遥感影像尤其是厚云状态下的去云雾需求。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例构建模型的流程图；

图2为本发明实施例使用模型去除云雾的流程图；

图3为本发明系统模块框图。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性，或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。另外，术语“相连”、“连接”等可以是元件之间直接相连，也可以是经由其他元件的间接相连。

实施例：

本发明通过下述技术方案实现，一种基于生成对抗网络的遥感影像去云雾方法，包括以下步骤：

请参见图1为本方法构建模型的流程图，步骤1，获取若干历史的光学遥感影像及其对应的SAR影像，制作样本库，所述样本库包括云掩膜样本库、去云样本库。

获取若干光学遥感影像，选取其中4、5、6、7、8、12六个波段的光学遥感影像；获取光学遥感影像对应的SAR影像，选取SAR影像的极化方式为VV和VH。对光学遥感影像和SAR影像进行几何校正、辐射定标、投影变化、空间配准、亮度均衡的预处理。

采用滑动窗口对光学遥感影像按照512*512的尺寸进行裁剪，滑动窗口的重叠度为5，得到不同时相、不同地物类型的光学遥感影像样本和对应的SAR影像样本。将裁剪后的光学遥感影像样本划分为有云光学影像和无云光学影像，对其中有云光学影像中的云雾进行人工矢量勾绘，并将勾绘的矢量数据进行二值化处理生成云掩膜标签。

所述有云光学影像和云掩膜标签构成云掩膜样本库，所述无云光学影像和SAR影像构成去云样本库。

需要说明的是，由于SAR影像(合成孔径雷达影像)可以穿透云层，不受云雾干扰，所以在划分有云光学影像和无云光学影像时，SAR影像自动被划分到无云光学影像，故仅所述去云样本库中存在SAR影像，而所述云掩膜样本库中不存在SAR影像。

步骤2，使用云掩膜样本库对FCN模型进行训练，以构建云掩膜生成模型。

将云掩膜样本库作为FCN模型的训练集，设置FCN模型的初始学习率为0.001且随训练过程递减，选择损失函数cross-entropy，选择优化器sgd，对FCN模型进行迭代训练，直到损失收敛时，得到云掩膜生成模型。

所述FCN模型的损失函数cross-entropy的计算式为：

其中，i表示第i张有云光学影像，j表示第j张有云光学影像，N表示云掩膜样本库中有云光学影像的总数；α为正则化参数，μ、υ为预设常数，γ为尺度因子；k表示第k种云掩膜标签，K表示云掩膜标签的种类总数；φ₁、φ₂为预设权重；ω_i为第i张有云光学影像对应的云掩膜标签的权重，ω_j为第j张有云光学影像对应的云掩膜标签的权重；

其中，x_i表示第i张有云光学影像的云掩膜标签；

其中，ω_i,k表示第i张有云光学影像的云掩膜标签属于第k类的权重。

步骤3，使用去云样本库对pix2pix模型进行训练，以构建去云模型。

将去云样本库作为pix2pix模型的训练集，对pix2pix模型进行训练，所述pix2pix模型包括生成网络、对抗网络。对生成网络和对抗网络交替进行训练，直到达到纳什平衡时，得到去云模型。

为了解决深度学习网络对光学遥感影像特征提取时可能出现的一些边界模糊、影像失真等问题，本方案在生成网络中引入感知损失函数。所述pix2pix模型的总损失函数Loss为：

Loss＝λ₁LcGan+λ₂L₁+λ₃L_p

LcGan＝E{log{D[I_REAL,G(I_SAR)]}}+E{log{1-D[I_REAL,G(I_SAR)]}}

L₁＝E[I_REAL-G(I_SAR)]

其中，Loss为pix2pix模型的总损失函数；LcGan为对抗损失函数，L₁为条件损失函数，L_p为感知损失函数；λ为各损失函数的权重；I_REAL为真实影像，G(I_SAR)为生成器生成的影像；G表示生成器，D表示判别器；E表示期望值运算，即在每次迭代更新时，利用真实数据和生成的虚假数据来计算判别器D的损失值并更新其参数；F_i为影像在pix2pix模型中第i层的特征表示，N表示特征层数。

请参见图2，为本发明使用构建的模型获取去除云雾的光学遥感影像的流程图，步骤4，获取实时的有云光学遥感影像及其对应的SAR影像，输入所述云掩膜生成模型和去云模型，得到去除云雾的光学遥感影像。

获取实时的有云光学遥感影像及其对应的SAR影像，将光学遥感影像和对应的SAR影像进行自动配准，通过重采样、投影及重叠区域裁剪，获得相同分辨率、相同地理参考的重叠区域。将重叠区域输入所述云掩膜生成模型，云掩膜生成模型生成云掩膜。

将自动配准后的有云光学遥感影像、对应的SAR影像、云掩膜生成模型输出的云掩膜共同输入所述去云模型，去云模型生成SAR影像对应的光学遥感影像。将云掩膜范围内去云模型生成的光学遥感影像替换到有云光学遥感影像所对应区域，完成对有云光学遥感影像的云雾去除处理，得到去除云雾的光学遥感影像。

替换过程如下：

M_result＝M_REAL⊙M_CLOUD^+M_FAKE⊙M_CLOUD

其中，M_result为去除云雾的光学遥感影像矩阵，M_REAL表示有云光学遥感影像矩阵，M_CLOUD为云掩膜的布尔矩阵，有云为1，无云为0；M_CLOUD^为按位取反获得的非云雾区域矩阵，M_FAKE为去云模型生成的光学遥感影像矩阵。

请参见图3，本发明还提出一种基于生成对抗网络的遥感影像去云雾系统，包括：

样本库制作模块，用于获取若干历史的光学遥感影像及其对应的SAR影像，制作样本库，所述样本库包括云掩膜样本库、去云样本库；

模型构建模块，用于使用云掩膜样本库对FCN模型进行训练，以构建云掩膜生成模型；以及使用去云样本库对pix2pix模型进行训练，以构成去云模型；

自动去云雾模块，用于获取实时的有云光学遥感影像及其对应的SAR影像，输入所述云掩膜生成模型和去云模型，得到去除云雾的光学遥感影像。

详细来说，所述样本库制作模块获取若干光学遥感影像，选取其中4、5、6、7、8、12六个波段的光学遥感影像；获取光学遥感影像对应的SAR影像，选取SAR影像的极化方式为VV和VH。对光学遥感影像和SAR影像进行几何校正、辐射定标、投影变化、空间配准、亮度均衡的预处理。采用滑动窗口对光学遥感影像按照512*512的尺寸进行裁剪，滑动窗口的重叠度为5，得到不同时相、不同地物类型的光学遥感影像样本和对应的SAR影像样本。将裁剪后的光学遥感影像样本划分为有云光学影像和无云光学影像，对其中有云光学影像中的云雾进行人工矢量勾绘，并将勾绘的矢量数据进行二值化处理生成云掩膜标签。所述有云光学影像和云掩膜标签构成云掩膜样本库，所述无云光学影像和SAR影像构成去云样本库。

所述模型构建模块包括云掩膜生成模型构建单元、去云模型构建单元，所述云掩膜生成模型构建单元用于使用云掩膜样本库对FCN模型进行训练，以构建云掩膜生成模型。所述去云模型构建单元使用去云样本库对pix2pix模型进行训练，以构成去云模型。

所述云掩膜生成模型构建单元将云掩膜样本库作为FCN模型的训练集，设置FCN模型的初始学习率为0.001且随训练过程递减，选择损失函数cross-entropy，选择优化器sgd，对FCN模型进行迭代训练，直到损失收敛时，得到云掩膜生成模型。

所述FCN模型的损失函数cross-entropy的计算式为：

其中，i表示第i张有云光学影像，j表示第j张有云光学影像，N表示云掩膜样本库中有云光学影像的总数；α为正则化参数，μ、υ为预设常数，γ为尺度因子；k表示第k种云掩膜标签，K表示云掩膜标签的种类总数；φ₁、φ₂为预设权重；ω_i为第i张有云光学影像对应的云掩膜标签的权重，ω_j为第j张有云光学影像对应的云掩膜标签的权重；

其中，x_i表示第i张有云光学影像的云掩膜标签；

其中，ω_i,k表示第i张有云光学影像的云掩膜标签属于第k类的权重。

所述去云模型构建单元将去云样本库作为pix2pix模型的训练集，对pix2pix模型进行训练，所述pix2pix模型包括生成网络、对抗网络；对生成网络和对抗网络交替进行训练，直到达到纳什平衡时，得到去云模型。

所述pix2pix模型的总损失函数Loss为：

Loss＝λ₁LcGan+λ₂L₁+λ₃L_p

LcGan＝E{log{D[I_REAL,G(I_SAR)]}}+E{log{1-D[I_REAL,G(I_SAR)]}}

L₁＝E[I_REAL-G(I_SAR)]

其中，Loss为pix2pix模型的总损失函数；LcGan为对抗损失函数，L₁为条件损失函数，L_p为感知损失函数；λ为各损失函数的权重；I_REAL为真实影像，G(I_SAR)为生成器生成的影像；G表示生成器，D表示判别器；E表示期望值运算，即在每次迭代更新时，利用真实数据和生成的虚假数据来计算判别器D的损失值并更新其参数；F_i为影像在pix2pix模型中第i层的特征表示，N表示特征层数。

所述自动去云雾模块获取实时的有云光学遥感影像及其对应的SAR影像，将光学遥感影像和对应的SAR影像进行自动配准，通过重采样、投影及重叠区域裁剪，获得相同分辨率、相同地理参考的重叠区域。将重叠区域输入所述云掩膜生成模型，云掩膜生成模型生成云掩膜。将自动配准后的有云光学遥感影像、对应的SAR影像、云掩膜生成模型输出的云掩膜共同输入所述去云模型，去云模型生成SAR影像对应的光学遥感影像。将云掩膜范围内去云模型生成的光学遥感影像替换到有云光学遥感影像所对应区域，完成对有云光学遥感影像的云雾去除处理，得到去除云雾的光学遥感影像。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (6)

1.基于生成对抗网络的遥感影像去云雾方法，其特征在于：包括以下步骤：

步骤1，获取若干历史的光学遥感影像及其对应的SAR影像，制作样本库，所述样本库包括云掩膜样本库、去云样本库；

步骤2，使用云掩膜样本库对FCN模型进行训练，以构建云掩膜生成模型；

步骤3，使用去云样本库对pix2pix模型进行训练，以构建去云模型；

步骤4，获取实时的有云光学遥感影像及其对应的SAR影像，输入所述云掩膜生成模型和去云模型，得到去除云雾的光学遥感影像。

2.根据权利要求1所述的基于生成对抗网络的遥感影像去云雾方法，其特征在于：所述步骤1具体包括以下步骤：

获取若干光学遥感影像，选取其中4、5、6、7、8、12六个波段的光学遥感影像；获取光学遥感影像对应的SAR影像，选取SAR影像的极化方式为VV和VH；

对光学遥感影像和SAR影像进行几何校正、辐射定标、投影变化、空间配准、亮度均衡的预处理；

采用滑动窗口对光学遥感影像按照512*512的尺寸进行裁剪，滑动窗口的重叠度为5，得到不同时相、不同地物类型的光学遥感影像样本和对应的SAR影像样本；

将裁剪后的光学遥感影像样本划分为有云光学影像和无云光学影像，对其中有云光学影像中的云雾进行人工矢量勾绘，并将勾绘的矢量数据进行二值化处理生成云掩膜标签；

所述有云光学影像和云掩膜标签构成云掩膜样本库，所述无云光学影像和SAR影像构成去云样本库。

3.根据权利要求1所述的基于生成对抗网络的遥感影像去云雾方法，其特征在于：所述步骤2具体包括以下步骤：

将云掩膜样本库作为FCN模型的训练集，设置FCN模型的初始学习率为0.001且随训练过程递减，选择损失函数cross-entropy，选择优化器sgd，对FCN模型进行迭代训练，直到损失收敛时，得到云掩膜生成模型。

4.根据权利要求1所述的基于生成对抗网络的遥感影像去云雾方法，其特征在于：所述步骤3具体包括以下步骤：

将去云样本库作为pix2pix模型的训练集，对pix2pix模型进行训练，所述pix2pix模型包括生成器、判别器；对生成器和判别器交替进行训练，直到达到纳什平衡时，得到去云模型；

所述pix2pix模型的总损失函数Loss为：

Loss＝λ₁LcGan+λ₂L₁+λ₃L_p

LcGan＝E{log{D[I_REAL,G(I_SAR)]}}+E{log{1-D[I_REAL,G(I_SAR)]}}

L₁＝E[||I_REAL-G(I_SAR)||]

其中，Loss为pix2pix模型的总损失函数；LcGan为对抗损失函数，L₁为条件损失函数，L_p为感知损失函数；λ为各损失函数的权重；I_REAL为真实影像，G(I_SAR)为生成器生成的影像；G表示生成器，D表示判别器；E表示期望值运算；F_i为影像在pix2pix模型中第i层的特征表示，N表示特征层数。

5.根据权利要求1所述的基于生成对抗网络的遥感影像去云雾方法，其特征在于：所述步骤4具体包括以下步骤：

获取实时的有云光学遥感影像及其对应的SAR影像，将光学遥感影像和对应的SAR影像进行自动配准，通过重采样、投影及重叠区域裁剪，获得相同分辨率、相同地理参考的重叠区域；

将重叠区域输入所述云掩膜生成模型，云掩膜生成模型生成云掩膜；

将自动配准后的有云光学遥感影像、对应的SAR影像、云掩膜生成模型输出的云掩膜共同输入所述去云模型，去云模型生成SAR影像对应的光学遥感影像；

将云掩膜范围内去云模型生成的光学遥感影像替换到有云光学遥感影像所对应区域，完成对有云光学遥感影像的云雾去除处理，得到去除云雾的光学遥感影像；替换过程如下：

M_result＝M_REAL⊙M_CLOUD^+M_FAKE⊙M_CLOUD

其中，M_result为去除云雾的光学遥感影像矩阵，M_REAL表示有云光学遥感影像矩阵，M_CLOUD为云掩膜的布尔矩阵，有云为1，无云为0；M_CLOUD^为按位取反获得的非云雾区域矩阵，M_FAKE为去云模型生成的光学遥感影像矩阵。

6.基于生成对抗网络的遥感影像去云雾系统，其特征在于：包括：

样本库制作模块，用于获取若干历史的光学遥感影像及其对应的SAR影像，制作样本库，所述样本库包括云掩膜样本库、去云样本库；

模型构建模块，用于使用云掩膜样本库对FCN模型进行训练，以构建云掩膜生成模型；以及使用去云样本库对pix2pix模型进行训练，以构成去云模型；

自动去云雾模块，用于获取实时的有云光学遥感影像及其对应的SAR影像，输入所述云掩膜生成模型和去云模型，得到去除云雾的光学遥感影像。