CN113724149A - 一种弱监督的可见光遥感图像薄云去除方法 - Google Patents

一种弱监督的可见光遥感图像薄云去除方法 Download PDF

Info

Publication number
CN113724149A
CN113724149A CN202110817802.1A CN202110817802A CN113724149A CN 113724149 A CN113724149 A CN 113724149A CN 202110817802 A CN202110817802 A CN 202110817802A CN 113724149 A CN113724149 A CN 113724149A
Authority
CN
China
Prior art keywords
image
cloud
thin cloud
thin
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110817802.1A
Other languages
English (en)
Other versions
CN113724149B (zh
Inventor
谢凤英
资粤
姜志国
张浩鹏
郑钰山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202110817802.1A priority Critical patent/CN113724149B/zh
Publication of CN113724149A publication Critical patent/CN113724149A/zh
Application granted granted Critical
Publication of CN113724149B publication Critical patent/CN113724149B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种弱监督的可见光遥感图像薄云去除方法，该方法将循环一致生成对抗网络和薄云成像模型相结合，能够使用非配对的遥感图像来对网络进行训练，从而实现可见光遥感图像的薄云去除，提升图像质量。首先使用3个生成器来从薄云图像中生成无云图像，薄云厚度图和厚度系数，并通过一个判别器来鉴别真实的无云图像和生成的无云图像，然后再采用一个薄云成像模型来重建原始的薄云图像，从而得到循环一致损失来对网络进行训练。另外，还使用薄云成像模型来生成仿真的薄云‑无云图像对，然后将生成的图像对作为监督数据来训练3个生成器，以进一步提升网络的薄云去除能力。

Description

一种弱监督的可见光遥感图像薄云去除方法
技术领域：
本发明属于遥感图像处理领域，具体涉及一种基于循环一致生成对抗网络和薄云成像模型相结合的、能够对可见光遥感图像非配对数据进行训练的弱监督薄云去除方法。
背景技术：
随着遥感技术的快速发展，可见光遥感图像被广泛应用于各种领域，如环境监测、资源勘察、地物分类、目标检测。然而，遥感图像常常会受到大气中云的污染，造成图像质量下降，限制了它们的使用。因此，对于许多遥感图像应用来说，薄云去除是一项关键的预处理过程，具有重要的实用价值。
早期的薄云去除方法一般都是基于简化的薄云成像模型或先验知识，严重依赖于研究人员手工制作的特征，这类方法对于复杂场景的遥感图像效果较差，鲁棒性较低。基于深度学习的薄云去除方法，可以充分利用深度卷积神经网络的自动学习能力来挖掘图像的高层语义特征，从而能够处理具有复杂地物条件的图像。然而，这类方法依赖于大量的薄云图像及其对应的无云图像来进行训练，而理想的配对的薄云-无云图像数据通常难以获取。
循环一致生成对抗网络(CycleGAN)可以使用非配对的数据来对网络进行训练，在图像变换任务中得到了广泛的应用。但是CycleGAN网络中生成器GA生成的无云图像会包含一些有关薄云信息的噪声，被用于另一个生成器GB来恢复原始的薄云图像。本发明将CycleGAN网络和薄云成像模型相结合，提出了一种新的弱监督的薄云去除方法。该方法将原始CycleGAN网络中的生成器GA扩展为3个生成器，来从薄云图像中同时生成无云图像、薄云厚度图和厚度系数。另外，使用一个薄云成像模型代替原始CycleGAN网络中的生成器GB，来从生成的无云图像中重建原始的薄云图像，以及从真实的无云图像中生成仿真的薄云图像。该方法将无云图像和薄云信息分离开来，避免了生成的无云图像中必须包含一些薄云噪声的缺点，从而能够获得良好的薄云去除效果。
发明内容：
本发明的目的在于提供一种弱监督的可见光遥感图像薄云去除方法，该方法将循环一致生成对抗网络和薄云成像模型相结合，能够使用非配对的遥感图像来对网络进行训练，从而实现可见光遥感图像的薄云去除，提升图像质量。首先使用3个生成器来从薄云图像中生成无云图像，薄云厚度图和厚度系数，并通过一个判别器来鉴别真实的无云图像和生成的无云图像，然后再采用一个薄云成像模型来重建原始的薄云图像，从而得到循环一致损失来对网络进行训练。另外，我们还使用薄云成像模型来生成仿真的薄云-无云图像对，然后将生成的图像对作为监督数据来训练3个生成器，以进一步提升网络的薄云去除能力。
本发明具体技术方案包括以下步骤：
步骤1：数据集建立
本发明提出的方法需要用到大量的图像数据来训练网络，包括薄云图像数据集和无云图像数据集。我们在各种具有不同地物的可见光遥感图像中，通过人工筛选出薄云区域和无云区域，然后在选出的区域中裁剪K×K大小的图像块，加入到对应的薄云图像数据集和无云图像数据集中。由此可建立非配对的薄云-无云图像数据集来对网络进行训练。
步骤2：薄云成像模型建立
卫星传感器接收到的信号可以用一个加性物理模型来表示：
I＝J+k*M (1)
其中，I为卫星传感器获取到的薄云图像，J为无云时的地物图像(无云图像)。M为薄云厚度图，表示云的空间分布；k为各波段厚度系数，表示云的光谱分布。通过公式(1)，一方面，我们可以使用3个卷积神经网络将一幅薄云图像分解为一幅无云图像、一幅薄云厚度图以及一组厚度系数三个部分；另一方面，我们也可以将一幅无云图像结合一幅薄云厚度图以及一组厚度系数，得到一幅合成的薄云图像。
步骤3：网络结构设计
本发明通过循环一致生成对抗思想来进行薄云去除，需要使用3个生成器GJ、GM、Gk和一个判别器D。给定两幅非配对的训练图像(I，J),I为一幅薄云图像，属于源领域
Figure BDA0003170799800000021
J为一幅无云图像，属于目标领域
Figure BDA0003170799800000022
我们设计了两个循环流程来对生成器和判别器进行训练：
1)前向循环
Figure BDA0003170799800000023
首先通过3个生成器GJ、GM、Gk将输入的薄云图像I分解为无云图像
Figure BDA0003170799800000024
薄云厚度图
Figure BDA0003170799800000025
厚度系数
Figure BDA0003170799800000026
其中
Figure BDA0003170799800000027
然后利用公式(1)将这3部分结合到一起，来重建原始的输入薄云图像，即
Figure BDA0003170799800000028
2)后向循环
Figure BDA0003170799800000029
首先利用公式(1)将无云图像J，薄云厚度图M和厚度系数k结合到一起，得到一幅合成的薄云图像
Figure BDA00031707998000000210
其中，M和k使用前向循环中GM和Gk生成的
Figure BDA00031707998000000211
和
Figure BDA00031707998000000212
然后再通过3个生成器GJ、GM、Gk将
Figure BDA00031707998000000213
分解为原始的3部分：
Figure BDA00031707998000000214
Figure BDA00031707998000000215
另外，判别器D用来鉴别真实的无云图像J和生成的无云图像
Figure BDA00031707998000000216
在上述两个循环流程中，我们的网络不需要使用配对的薄云-无云图像进行训练。本发明中的3个生成器可以是符合输入输出大小的任何生成器。同样，判别器也可以是任意的判别器。
步骤4：网络训练
1.损失函数设计
根据步骤3中的训练流程，我们设计了对应的损失函数，以完成对网络的训练。该损失函数由对抗损失、循环一致损失、循环感知一致损失和恒等损失四个部分组成。
(1)对抗损失
我们使用最小二乘生成对抗网络来计算对抗损失，和常规的生成对抗网络相比，最小二乘生成对抗网络能够通过更稳定的训练过程生成质量更高的图像。对抗损失函数如下：
Figure BDA0003170799800000031
其中，
Figure BDA0003170799800000036
表示随机变量的期望，D(·)是判别器的输出。GJ是生成器，它试图生成像无云领域
Figure BDA0003170799800000033
中的图像GJ(I)来欺骗D，而D的目标是区分真实的无云图像J和生成的无云图像GJ(I)。
(2)循环一致损失
单独的对抗损失是欠约束的，因为生成器GJ可能将一幅输入图像映射为目标领域中任意的一幅输出图像。因此，我们采用循环一致损失来约束生成器GJ将一幅给定的输入映射到一幅我们所期望的输出。循环一致损失可以记为：
Figure BDA0003170799800000034
其中，||·||1表示L1范数，I和I*分别是前向循环中原始的图像和复原的图像；J、M、k和J*、M*、k*分别是后向循环中原始的无云图像、薄云厚度图、厚度系数和复原的无云图像、薄云厚度图、厚度系数。
(3)循环感知一致损失
循环一致损失计算了原始图像和复原图像之间的L1范数，只能保证像素级的一致性，无法恢复所有的纹理和感知信息。为了实现感知相似性，我们引入了循环感知一致损失，使用在ImageNet上预训练好的VGG16模型提取的特征。它可以表示为：
Figure BDA0003170799800000035
其中，||·||2表示L2范数，φ表示一个VGG16特征提取器，φ(·)是通过VGG16特征提取器得到的特征。
(4)恒等损失
根据输入的图像I，GJ试图生成无云图像GJ(I)，GM试图生成薄云厚度图GM(I)。然而，我们知道无云图像中是没有任何云的。因此，给定一幅无云图像J，我们应该得到GJ(J)＝J，GM(J)＝0。我们利用这个想法来优化GJ和GM，提出了一个恒等损失，定义如下：
Figure BDA0003170799800000041
在恒等损失的约束下，GJ将保持输入图像中的无云区域不改变，GM能够更有效地提取输入图像的薄云厚度。
(5)网络的总体损失函数
我们用来训练网络的总体损失函数是以上四种损失的加权求和，具体定义如下：
Figure BDA0003170799800000042
其中，λ1,λ2和λ3是正的权重值，用来控制各个损失的相对重要性。
2.网络训练过程
根据网络损失函数(6)，可以得到我们最终的优化目标：
Figure BDA0003170799800000043
我们可以使用随机梯度下降法来对公式(7)进行优化求解，并且将生成器和判别器分开进行训练。首先固定判别器D的参数，训练3个生成器GJ、GM、Gk，使用梯度下降的方式训练n轮；然后固定生成器GJ、GM、Gk的参数，训练判别器D，使用梯度下降方式训练1轮。
步骤5：遥感图像薄云去除
在网络训练结束之后，生成器GJ就可以用来去除遥感图像中的薄云。对于一幅带有薄云的遥感图像，将其输入到生成器GJ经过一次前向传播，利用训练好的网络参数进行运算，即可输出相应的薄云去除后的无云图像。
本发明的优点及有益效果在于：配对的薄云-无云遥感图像数据难以获取，现有的强监督薄云去除网络难以直接用于对遥感图像进行薄云去除，本发明通过将循环一致生成对抗网络和薄云成像模型结合，使得薄云去除网络可以通过非配对数据来进行训练。另外，训练好的薄云去除网络可以有效地去除图像中的薄云，同时结果还具有很好的颜色保真度。
附图说明：
图1(a)是本发明所述薄云去除方法训练流程中的前向循环
Figure BDA0003170799800000051
图1(b)是本发明所述薄云去除方法训练流程中的后向循环
Figure BDA0003170799800000052
图2是本发明所使用的生成器GJ、GM、Gk以及判别器D的结构图。
图3(a)-图3(d)是4幅Landsat 8可见光薄云图像。
图4(a)-图4(d)是图3(a)-图3(d)薄云去除后的结果。
具体实施方式：
为了更好地理解本发明的技术方案，下面结合附图对本发明的具体实施方式进行详细的描述：
本发明的网络结构图如图1(a)和图1(b)所示。计算机配置采用：Intel Core i7-6700K处理器，Nvidia GeForce GTX 1080图形处理器，主频4.0GHz，内存16GB，操作系统为ubuntu 16.04。薄云去除方法的实现基于Pytorch框架。本发明将循环一致生成对抗网络和薄云成像模型相结合，是一种弱监督的可见光遥感图像薄云去除方法，具体包括以下步骤：
步骤1：数据集建立
本发明提出的方法使用Landsat 8可见光遥感图像来训练网络。首先从地理空间数据云网站(http://www.gscloud.cn/)免费下载Landsat 8可见光遥感图像，分别选取多景包含薄云的图像和无云的清晰图像，选取的薄云图像和无云图像应尽可能多地覆盖城市、裸地、植被、水体等各种不同的地貌。然后通过人工筛选出每景图像中的薄云区域和无云区域，并在选出的区域中裁剪256×256大小的图像块，加入到对应的薄云图像数据集和无云图像数据集中。通过该步骤操作，一共可获得2236幅薄云图像和2318幅无云图像，由此可建立非配对的薄云-无云图像数据集来对网络进行训练。
步骤2：薄云成像模型建立
卫星传感器接收到的信号可以用一个加性物理模型来表示：
I＝J+k*M (1)
其中，I为卫星传感器获取到的薄云图像，J为无云时的地物图像(无云图像)。M为薄云厚度图，表示云的空间分布；k为各波段厚度系数，表示云的光谱分布。通过公式(1)，一方面，我们可以使用3个卷积神经网络将一幅薄云图像分解为一幅无云图像、一幅薄云厚度图以及一组厚度系数三个部分，如图1(a)所示；另一方面，我们也可以将一幅无云图像结合一幅薄云厚度图以及一组厚度系数，得到一幅合成的薄云图像，如图1(b)所示。
步骤3：网络结构设计
本发明通过循环一致生成对抗思想来进行薄云去除，需要使用3个生成器GJ、GM、Gk和一个判别器D。给定两幅非配对的训练图像(I，J),I为一幅图像，属于源领域
Figure BDA0003170799800000061
J为一幅无云图像，属于目标领域
Figure BDA0003170799800000062
我们设计了两个循环流程来对生成器和判别器进行训练：
1)前向循环
Figure BDA0003170799800000063
如图1(a)所示，首先通过3个生成器GJ、GM、Gk将输入的薄云图像I分解为无云图像
Figure BDA0003170799800000064
薄云厚度图
Figure BDA0003170799800000065
厚度系数
Figure BDA0003170799800000066
其中
Figure BDA0003170799800000067
然后利用公式(1)将这3部分结合到一起，来重建原始的输入薄云图像，即
Figure BDA0003170799800000068
2)后向循环
Figure BDA0003170799800000069
如图1(b)所示，首先利用公式(1)将无云图像J，薄云厚度图M和厚度系数k结合到一起，得到一幅合成的薄云图像
Figure BDA00031707998000000610
其中，M和k使用前向循环中GM和Gk生成的
Figure BDA00031707998000000611
和
Figure BDA00031707998000000612
然后再通过3个生成器GJ、GM、Gk将
Figure BDA00031707998000000613
分解为原始的3部分：
Figure BDA00031707998000000614
Figure BDA00031707998000000615
另外，判别器D用来鉴别真实的无云图像J和生成的无云图像
Figure BDA00031707998000000616
在上述两个循环流程中，我们的网络不需要使用配对的薄云-无云图像进行训练。本发明中使用的生成器和判别器的网络结构如图2所示。生成器GJ由一个6层的编码器和一个6层的解码器组成，并通过跳线连接将高层的语义特征和低层的细节结合到一起。生成器GM采用和GJ相同的网络结构，除了输出通道的数量外。其中，GJ的输出通道的数为3，GM的输出通道的数为1。生成器Gk和GM共享相同的编码器，然后在编码器的输出层连接一个全局平均池化层，以及一个全连接层。判别器D采用70x70PatchGAN，它的感受野尺度为70x70，输出结果大小为30x30，并将30x30的像素分为真实数据或假数据。网络中所有卷积层使用的卷积核大小都为3x3。另外，除了输出层外，GJ，GM和D的所有卷积层后都跟随着一个BN层和一个ReLU层。
步骤4：网络训练
1.损失函数设计
根据步骤3中的训练流程，我们设计了对应的损失函数，以完成对网络的训练。该损失函数由对抗损失、循环一致损失、循环感知一致损失和恒等损失四个部分组成。
(1)对抗损失
我们使用最小二乘生成对抗网络来计算对抗损失，和常规的生成对抗网络相比，最小二乘生成对抗网络能够通过更稳定的训练过程生成质量更高的图像。对抗损失函数如下：
Figure BDA0003170799800000071
其中，GJ试图生成像无云领域
Figure BDA0003170799800000072
中的图像GJ(I)来欺骗D，而D的目标是区分真实的无云图像J和生成的无云图像GJ(I)。
(2)循环一致损失
单独的对抗损失是欠约束的，因为生成器GJ可能将一幅输入图像映射为目标领域中任意的一幅输出图像。因此，我们采用循环一致损失来约束生成器GJ将一幅给定的输入映射到一幅我们所期望的输出。循环一致损失可以记为：
Figure BDA0003170799800000073
其中，||·||1表示L1范数，I和I*分别是图1(a)中前向循环中原始的图像和复原的图像；J、M、k和J*、M*、k*分别是图1(b)中后向循环中原始的无云图像、薄云厚度图、厚度系数和复原的无云图像、薄云厚度图、厚度系数。
(3)循环感知一致损失
循环一致损失计算了原始图像和复原图像之间的L1范数，只能保证像素级的一致性，无法恢复所有的纹理和感知信息。为了实现感知相似性，我们引入了循环感知一致损失，使用在ImageNet上预训练好的VGG16模型提取的特征。它可以表示为：
Figure BDA0003170799800000074
其中，||·||2表示L2范数，φ表示一个VGG16特征提取器，从ReLU1-2、ReLU2-2、ReLU3-3、ReLU4-3层提取特征。
(4)恒等损失
根据输入的图像I，GJ试图生成无云图像GJ(I)，GM试图生成薄云厚度图GM(I)。然而，我们知道无云图像中是没有任何云的。因此，给定一幅无云图像J，我们应该得到GJ(J)＝J，GM(J)＝0。我们利用这个想法来优化GJ和GM，提出了一个恒等损失，定义如下：
Figure BDA0003170799800000075
在恒等损失的约束下，GJ将保持输入图像中的无云区域不改变，GM能够更有效地提取输入图像的薄云厚度。
(5)网络的总体损失函数
我们用来训练网络的总体损失函数是以上四种损失的加权求和，具体定义如下：
Figure BDA0003170799800000081
其中，λ1,λ2和λ3是正的权重值，用来控制各个损失的相对重要性。具体实施中选取对应的值分别为10,1和1。
2.网络训练过程
根据网络损失函数(6)，可以得到我们最终的优化目标：
Figure BDA0003170799800000082
我们使用随机梯度下降法来对公式(7)进行优化求解。在开始训练之前，输入图像被归一化到[0，1]之间。采用均值为0、方差为0.01的高斯函数对卷积核的权重进行初始化，采用固定值0.01对偏置进行初始化。采用Adam优化算法，初始学习率设为0.0002，前100轮迭代学习率保持不变，然后接下来的100轮学习率线性下降到0，一共迭代200轮。一阶矩估计的指数衰减率设为0.5，二阶矩估计的指数衰减率设为0.999。Adam优化算法通过计算梯度的一阶矩和二阶矩，为不同的参数产生自适应的学习率，使得网络能够提升收敛效率。另外，将生成器和判别器分开进行交替迭代训练。首先固定判别器D的参数，训练3个生成器GJ、GM、Gk，使用梯度下降的方式训练1轮；然后固定生成器GJ、GM、Gk的参数，训练判别器D，使用梯度下降方式训练1轮。
步骤5：遥感图像薄云去除
在网络训练结束之后，生成器GJ就可以用来去除遥感图像中的薄云。将单幅带有薄云的遥感图像输入到生成器GJ经过一次前向传播，利用训练好的网络参数进行运算，即可输出相应的薄云去除后的无云图像。
图3和图4展示了4幅不同地物条件下的Landsat 8可见光图像薄云去除实例。其中，图3(a)-图3(d)是真实的Landsat 8可见光薄云图像；图4(a)-图4(d)是将图3(a)-图3(d)输入到生成器GJ得到的输出图像，可以看到图像中的薄云都被有效地去除了。

Claims (6)

1.一种弱监督的可见光遥感图像薄云去除方法，其特征在于，具体步骤如下：
步骤1：数据集建立
用图像数据来训练网络，包括薄云图像数据集和无云图像数据集；在各种具有不同地物的可见光遥感图像中，筛选出薄云区域和无云区域，然后在选出的区域中裁剪K×K大小的图像块，加入到对应的薄云图像数据集和无云图像数据集中；由此建立非配对的薄云-无云图像数据集来对网络进行训练；
步骤2：薄云成像模型建立
卫星传感器接收到的信号用一个加性物理模型来表示：
I＝J+k*M (1)
其中，I为卫星传感器获取到的薄云图像，J为无云时的地物图像；M为薄云厚度图，表示云的空间分布；k为各波段厚度系数，表示云的光谱分布；
步骤3：网络结构设计
通过循环一致生成对抗思想来进行薄云去除，需要使用3个生成器GJ、GM、Gk和一个判别器D；给定两幅非配对的训练图像(I，J),I为一幅薄云图像，属于源领域
Figure FDA0003170799790000011
J为一幅无云图像，属于目标领域
Figure FDA0003170799790000012
步骤4：网络训练
包括损失函数设计和网络训练过程
根据步骤3的内容，设计了对应的损失函数，以完成对网络的训练；该损失函数由对抗损失、循环一致损失、循环感知一致损失和恒等损失四个部分组成；之后根据损失函数，得到最终的优化目标；
步骤5：遥感图像薄云去除
在网络训练结束之后，生成器GJ用来去除遥感图像中的薄云；对于一幅带有薄云的遥感图像，将其输入到生成器GJ经过一次前向传播，利用训练好的网络参数进行运算，即输出相应的薄云去除后的无云图像。
2.根据权利要求1所述的一种弱监督的可见光遥感图像薄云去除方法，其特征在于，具体步骤如下：在步骤2中通过公式(1)，使用3个卷积神经网络将一幅薄云图像分解为一幅无云图像、一幅薄云厚度图以及一组厚度系数三个部分；或者将一幅无云图像结合一幅薄云厚度图以及一组厚度系数，得到一幅合成的薄云图像。
3.根据权利要求1所述的一种弱监督的可见光遥感图像薄云去除方法，其特征在于，具体步骤如下：在步骤3中设计两个循环流程来对生成器和判别器进行训练：
前向循环
Figure FDA0003170799790000021
首先通过3个生成器GJ、GM、Gk将输入的薄云图像I分解为无云图像
Figure FDA0003170799790000022
薄云厚度图
Figure FDA0003170799790000023
厚度系数
Figure FDA0003170799790000024
其中
Figure FDA0003170799790000025
然后利用公式(1)将这3部分结合到一起，来重建原始的输入薄云图像，即
Figure FDA0003170799790000026
后向循环
Figure FDA0003170799790000027
首先利用公式(1)将无云图像J，薄云厚度图M和厚度系数k结合到一起，得到一幅合成的薄云图像
Figure FDA0003170799790000028
其中，M和k使用前向循环中GM和Gk生成的
Figure FDA0003170799790000029
和
Figure FDA00031707997900000210
然后再通过3个生成器GJ、GM、Gk将
Figure FDA00031707997900000211
分解为原始的3部分：
Figure FDA00031707997900000212
Figure FDA00031707997900000213
另外，判别器D用来鉴别真实的无云图像J和生成的无云图像
Figure FDA00031707997900000214
4.根据权利要求3所述的一种弱监督的可见光遥感图像薄云去除方法，其特征在于，具体步骤如下：上述两个循环流程中，网络不需要使用配对的薄云-无云图像进行训练；3个生成器是符合输入输出大小的任何生成器；同样，判别器也是任意的判别器。
5.根据权利要求1所述的一种弱监督的可见光遥感图像薄云去除方法，其特征在于，具体步骤如下：在步骤4中，还包括：
4.1对抗损失；
使用最小二乘生成对抗网络来计算对抗损失，和常规的生成对抗网络相比，最小二乘生成对抗网络能够通过更稳定的训练过程生成质量更高的图像；对抗损失函数如下：
Figure FDA00031707997900000215
其中，
Figure FDA00031707997900000216
表示随机变量的期望，D(·)是判别器的输出；GJ是生成器，它试图生成像无云领域
Figure FDA00031707997900000217
中的图像GJ(I)来欺骗D，而D的目标是区分真实的无云图像J和生成的无云图像GJ(I)；
4.2循环一致损失
单独的对抗损失是欠约束的，因为生成器GJ可能将一幅输入图像映射为目标领域中任意的一幅输出图像；因此，采用循环一致损失来约束生成器GJ将一幅给定的输入映射到一幅所期望的输出；循环一致损失记为：
Figure FDA00031707997900000218
其中，||·||1表示L1范数，I和I*分别是前向循环中原始的图像和复原的图像；J、M、k和J*、M*、k*分别是后向循环中原始的无云图像、薄云厚度图、厚度系数和复原的无云图像、薄云厚度图、厚度系数；
4.3循环感知一致损失
循环一致损失计算了原始图像和复原图像之间的L1范数，只能保证像素级的一致性，无法恢复所有的纹理和感知信息；为了实现感知相似性，引入了循环感知一致损失，使用在ImageNet上预训练好的VGG16模型提取的特征；表示为：
Figure FDA0003170799790000031
其中，||·||2表示L2范数，φ表示一个VGG16特征提取器，φ(·)是通过VGG16特征提取器得到的特征；
4.4恒等损失
根据输入的图像I，GJ试图生成无云图像GJ(I)，GM试图生成薄云厚度图GM(I)；然而，无云图像中是没有任何云的；因此，给定一幅无云图像J，应该得到GJ(J)＝J，GM(J)＝0；利用这个想法来优化GJ和GM，提出了一个恒等损失，定义如下：
Figure FDA0003170799790000032
在恒等损失的约束下，GJ将保持输入图像中的无云区域不改变，GM能够更有效地提取输入图像的薄云厚度；
4.5网络的总体损失函数
用来训练网络的总体损失函数是以上四种损失的加权求和，具体定义如下：
Figure FDA0003170799790000033
其中，λ1,λ2和λ3是正的权重值，用来控制各个损失的相对重要性。
6.根据权利要求5所述的一种弱监督的可见光遥感图像薄云去除方法，其特征在于，具体步骤如下：在步骤4中，还包括：网络训练过程；
根据网络损失函数(6)，可以得到最终的优化目标：
Figure FDA0003170799790000034
使用随机梯度下降法来对公式(7)进行优化求解，并且将生成器和判别器分开进行训练；首先固定判别器D的参数，训练3个生成器GJ、GM、Gk，使用梯度下降的方式训练n轮；然后固定生成器GJ、GM、Gk的参数，训练判别器D，使用梯度下降方式训练1轮。
CN202110817802.1A 2021-07-20 2021-07-20 一种弱监督的可见光遥感图像薄云去除方法 Active CN113724149B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110817802.1A CN113724149B (zh) 2021-07-20 2021-07-20 一种弱监督的可见光遥感图像薄云去除方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110817802.1A CN113724149B (zh) 2021-07-20 2021-07-20 一种弱监督的可见光遥感图像薄云去除方法

Publications (2)

Publication Number Publication Date
CN113724149A true CN113724149A (zh) 2021-11-30
CN113724149B CN113724149B (zh) 2023-09-12

Family

ID=78673572

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110817802.1A Active CN113724149B (zh) 2021-07-20 2021-07-20 一种弱监督的可见光遥感图像薄云去除方法

Country Status (1)

Country Link
CN (1) CN113724149B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114331882A (zh) * 2021-12-21 2022-04-12 南京航空航天大学 一种融合多光谱特征的生成对抗网络遥感影像薄云去除方法
CN114882378A (zh) * 2022-05-19 2022-08-09 武汉大学 一种不配对遥感影像薄云雾检测及去除方法
WO2023115915A1 (zh) * 2021-12-22 2023-06-29 山东浪潮科学研究院有限公司 一种基于gan的遥感影像去云雾方法、设备、存储介质
CN117495723A (zh) * 2023-12-29 2024-02-02 中国石油大学(华东) 基于分波段处理的不成对数据遥感图像薄云去除方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108460739A (zh) * 2018-03-02 2018-08-28 北京航空航天大学 一种基于生成对抗网络的遥感图像薄云去除方法
CN109191400A (zh) * 2018-08-30 2019-01-11 中国科学院遥感与数字地球研究所 一种使用对抗式生成网络去除遥感图像薄云的方法
WO2020239061A1 (zh) * 2019-05-31 2020-12-03 腾讯科技（深圳）有限公司 基于文本的事件检测方法、装置、计算机设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108460739A (zh) * 2018-03-02 2018-08-28 北京航空航天大学 一种基于生成对抗网络的遥感图像薄云去除方法
CN109191400A (zh) * 2018-08-30 2019-01-11 中国科学院遥感与数字地球研究所 一种使用对抗式生成网络去除遥感图像薄云的方法
WO2020239061A1 (zh) * 2019-05-31 2020-12-03 腾讯科技（深圳）有限公司 基于文本的事件检测方法、装置、计算机设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
裴傲;陈桂芬;李昊;王兵;: "改进CGAN网络的光学遥感图像云去除方法", 农业工程学报, no. 14 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114331882A (zh) * 2021-12-21 2022-04-12 南京航空航天大学 一种融合多光谱特征的生成对抗网络遥感影像薄云去除方法
WO2023115915A1 (zh) * 2021-12-22 2023-06-29 山东浪潮科学研究院有限公司 一种基于gan的遥感影像去云雾方法、设备、存储介质
CN114882378A (zh) * 2022-05-19 2022-08-09 武汉大学 一种不配对遥感影像薄云雾检测及去除方法
CN114882378B (zh) * 2022-05-19 2024-09-24 武汉大学 一种不配对遥感影像薄云雾检测及去除方法
CN117495723A (zh) * 2023-12-29 2024-02-02 中国石油大学(华东) 基于分波段处理的不成对数据遥感图像薄云去除方法
CN117495723B (zh) * 2023-12-29 2024-03-19 中国石油大学(华东) 基于分波段处理的不成对数据遥感图像薄云去除方法

Also Published As

Publication number Publication date
CN113724149B (zh) 2023-09-12

Similar Documents

Publication Publication Date Title
CN113724149A (zh) 一种弱监督的可见光遥感图像薄云去除方法
Lydia et al. Application of discrete transforms with selective coefficients for blind image watermarking
Qin et al. Dehazing for multispectral remote sensing images based on a convolutional neural network with the residual architecture
CN110378844B (zh) 基于循环多尺度生成对抗网络的图像盲去运动模糊方法
CN106204467B (zh) 一种基于级联残差神经网络的图像去噪方法
Chen et al. Denoising hyperspectral image with non-iid noise structure
Zhu et al. A fast single image haze removal algorithm using color attenuation prior
CN111046967A (zh) 一种基于卷积神经网络和注意力机制的水下图像分类方法
CN108961198B (zh) 一种多风格生成对抗网络的水下图像合成方法及其应用
US9159121B2 (en) Method for image denoising
Zi et al. Thin cloud removal for multispectral remote sensing images using convolutional neural networks combined with an imaging model
Ma et al. Learning to jointly generate and separate reflections
CN111161178A (zh) 基于生成式对抗网络的单幅低光图像增强方法
CN109376589A (zh) 基于卷积核筛选ssd网络的rov形变目标与小目标识别方法
Nair et al. Image mining applications for underwater environment management-A review and research agenda
CN112270654A (zh) 基于多通道gan的图像去噪方法
CN111986108A (zh) 一种基于生成对抗网络的复杂海空场景图像去雾方法
CN110335299A (zh) 一种基于对抗网络的单目深度估计系统实现方法
Wang et al. Underwater self-supervised monocular depth estimation and its application in image enhancement
Yan et al. UW-CycleGAN: Model-driven CycleGAN for underwater image restoration
Liu et al. SI-SA GAN: A generative adversarial network combined with spatial information and self-attention for removing thin cloud in optical remote sensing images
He et al. Unsupervised haze removal for aerial imagery based on asymmetric contrastive cyclegan
He et al. Remote sensing image dehazing based on an attention convolutional neural network
Kumar et al. Underwater image enhancement using deep learning
CN117557475A (zh) 一种两阶段的遥感图像全色锐化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant