CN113935917A - 一种基于云图运算和多尺度生成对抗网络的光学遥感影像薄云去除方法 - Google Patents

一种基于云图运算和多尺度生成对抗网络的光学遥感影像薄云去除方法 Download PDF

Info

Publication number
CN113935917A
CN113935917A CN202111195875.8A CN202111195875A CN113935917A CN 113935917 A CN113935917 A CN 113935917A CN 202111195875 A CN202111195875 A CN 202111195875A CN 113935917 A CN113935917 A CN 113935917A
Authority
CN
China
Prior art keywords
cloud
image
land
free
thin
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111195875.8A
Other languages
English (en)
Inventor
任鹏
黄磊
王其茂
徐尊晓
武康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Oceanic Satellite Application Center
China University of Petroleum East China
Original Assignee
National Oceanic Satellite Application Center
China University of Petroleum East China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Oceanic Satellite Application Center, China University of Petroleum East China filed Critical National Oceanic Satellite Application Center
Priority to CN202111195875.8A priority Critical patent/CN113935917A/zh
Publication of CN113935917A publication Critical patent/CN113935917A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30192—Weather; Meteorology

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于云图运算和多尺度生成对抗网络的光学遥感影像薄云去除方法，其步骤：根据像素分布百分位数，去除光学遥感多云海面影像的背景，提取云层；计算补偿系数，补偿退化云层；将云层在大气光辅助下，融合到无云陆地影像，得到多云陆地影像；饱和修正多云陆地影像；基于前述的云图运算，构建以无云陆地影像和薄云覆盖陆地影像组成的同场景影像对为样本单元的数据集；设计无云影像生成器和真伪无云影像判别器，构成多尺度生成对抗网络；用构建的数据集训练多尺度生成对抗网络，通过训练好的无云影像生成器实现光学遥感影像薄云去除。本发明突破了无云多云同场景数据稀缺的瓶颈，形成深度学习去云有效技术方案。

Description

一种基于云图运算和多尺度生成对抗网络的光学遥感影像薄 云去除方法
技术领域
本发明涉及光学卫星影像处理领域，具体涉及一种光学遥感影像薄云去除方法。
背景技术
光学遥感影像在地球观测中一直发挥着重要作用。它们捕捉地球物体的反射光，并以类似于人类视觉的形式展现。因此，光学遥感成像技术可以被认为是空中的人眼视觉系统。由于人类的视线很容易被云雾遮挡，光学遥感影像，特别是光学卫星影像，通常或多或少会受到云的影响。据估计，由于独特的季节性循环，平均全球有55％的陆地表面被云覆盖，这严重影响了我们通过光学卫星影像对地球的连续观测。
目前，深度学习能够取得遥感影像去云较好的效果。但是，目前深度学习方法都是由数据驱动，训练深度学习模型的无云和多云陆地影像的质量是影响最终去云结果的一个关键因素。虽然训练数据需求很大，但这样的成对影像难以获取，这使得深度学习薄云去除方法总是受到训练数据稀缺的困扰。
对于某场景的无云陆地影像，几乎不可能精确地获得同一场景真实的多云陆地影像。一方面，目前人为模拟的云层与真实的云层相差较大，将其融合到无云陆地影像中很难满足某些实际应用中的要求。另一方面，同一景象不可能同时是无云和多云的。当一幅无云陆地影像中的场景在另一个时间出现多云陆地影像时，该多云陆地影像(以及影像中的地表细节)可能会有细微的变化，与原无云陆地影像不完全相同。因此，如何为同一场景构建真实、精确的无云和多云陆地成对影像是光学遥感领域的一个难题。
在基于深度学习的去云研究中，如何构建高质量的无云和多云陆地影像对，以及基于此类数据利用神经网络得到高质量的去云陆地影像，是一个极具挑战性的研究任务。
发明内容
为了解决上述问题，本发明公开了一种基于云图运算和多尺度生成对抗网络的光学遥感影像薄云去除方法，解决光学遥感影像被薄云遮挡的问题。
本发明的目的是这样实现的：
一种基于云图运算和多尺度生成对抗网络的光学遥感影像薄云去除方法，包括以下步骤：
(1)根据像素分布百分位数，去除光学遥感多云海面影像的背景，提取云层；
(2)计算补偿系数，补偿退化云层；
(3)将云层在大气光辅助下，融合到无云陆地影像，得到多云陆地影像；
(4)饱和修正多云陆地影像；
(5)基于(1)-(4)描述的云图运算，构建以无云陆地影像和薄云覆盖陆地影像组成的同场景影像对为样本单元的数据集；
(6)设计无云影像生成器和真伪无云影像判别器，构成多尺度生成对抗网络；
(7)用(5)构建的数据集训练多尺度生成对抗网络，通过训练好的无云影像生成器实现光学遥感影像薄云去除。
其中，(1)和(2)为云自减算子的执行过程；(3)和(4)为云景加算子的执行过程；云自减算子和云景加算子构成云图运算。
上述一种基于云图运算和多尺度生成对抗网络的光学遥感影像薄云去除方法，所述的步骤(1)具体为：
根据像素分布百分位数，去除光学遥感多云海面影像的背景，提取云层。令Ics表示包含无云区域和多云区域的M×N多云海面影像。设Ics表示单一光谱通道的影像。根据第α百分位数按如下关系确定像素强度的阈值Г：
P(Ics(m，n)＜Г)＝α
强度小于Г的像素划分为背景区域。令1表示所有元素值都为1的M×N矩阵。如下去除海水背景：
Iα＝Ics-Г1
对于光学遥感影像的每个光谱通道，执行以下操作：
Figure BDA0003302932010000022
其中，当其变量为真时
Figure BDA0003302932010000023
为1，否则为0。上操作得到去除海面背景的云层Idc。
上述一种基于云图运算和多尺度生成对抗网络的光学遥感影像薄云去除方法，所述的步骤(2)具体为：
计算补偿系数，补偿退化云层。补偿系数Λ如下计算：
Figure BDA0003302932010000021
用Λ按如下操作补偿影像中云层区域：
Ici＝ΛIdc
以上操作得到真实的云层Ici。
上述一种基于云图运算和多尺度生成对抗网络的光学遥感影像薄云去除方法，所述的步骤(3)具体为：
将云层在大气光辅助下，融合到无云陆地影像，得到多云陆地影像。令B表示光学遥感影像的最大强度值。计算云层遮挡影像如下：
Figure BDA0003302932010000031
令Icfl表示无云陆地影像。将云层遮挡影像
Figure BDA0003302932010000036
作用于无云陆地影像Icfl，得到遮挡陆地影像Iol：
Figure BDA0003302932010000032
其中⊙表示按元素相乘。
云层受大气光A影响，得到大气光云层Iaci：
Iaci＝Ici⊙A1
遮挡陆地影像Iol和大气光云层Iaci合成，得到多云陆地影像Iscs：
Iscs＝Iol+Iaci
上述一种基于云图运算和多尺度生成对抗网络的光学遥感影像薄云去除方法，所述的步骤(4)具体为：
饱和修正多云陆地影像。多云陆地影像Iscs最大像素值的坐标定位如下：
Figure BDA0003302932010000033
如果最大值
Figure BDA0003302932010000034
超过B，按照以下公式更新大气光A的值：
Figure BDA0003302932010000035
基于自动调整后的大气光A，通过重复步骤(3)得到最终的合成多云陆地影像Iscs。
上述一种基于云图运算和多尺度生成对抗网络的光学遥感影像薄云去除方法，所述的步骤(5)具体为：
基于步骤(1)-(4)描述的云图运算，构建以无云陆地影像和薄云覆盖陆地影像组成的同场景影像对为样本单元的数据集。云图运算以薄云覆盖海面影像和无云陆地影像为输入，合成薄云覆盖陆地影像。无云陆地影像与其对应的合成薄云覆盖影像组成同场景影像对。多个同场景影像对形成数据集。以下步骤中薄云覆盖陆地影像均通过云图运算合成。
上述一种基于云图运算和多尺度生成对抗网络的光学遥感影像薄云去除方法，所述的步骤(6)具体为：
设计无云影像生成器和真伪无云影像判别器，构成多尺度生成对抗网络。
无云影像生成器从输入端至输出端依次为特征提取模块、残差模块、特征重构模块和残差模块，其中特征提取模块输出的特征另行拼接到尺度相同的特征重构模块。特征提取模块的每一层由卷积、实例归一化和泄漏校正线性单元组成。特征重构模块与特征提取模块结构相似，但转置卷积代替卷积且最后一层由卷积和双曲正切函数组成。无云影像生成器将薄云覆盖陆地影像作为输入，在第二个残差块之后输出去云陆地影像。真伪无云影像判别器由多个基础判别器构成，每个基础判别器与无云影像生成器中的特征提取模块结构相似，但其在最后一层只有卷积。每个基础判别器以薄云覆盖陆地影像与去云陆地影像或薄云覆盖陆地影像与无云陆地影像作为输入，输出不同尺度的矩阵。矩阵的元素值在0到1之间变化。矩阵元素值为1，代表输入是薄云覆盖陆地影像与无云陆地影像。矩阵元素值为0，代表输入是薄云覆盖陆地影像与去云陆地影像。
上述一种基于云图运算和多尺度生成对抗网络的光学遥感影像薄云去除方法，所述的步骤(7)具体为：
用步骤(5)构建的数据集训练多尺度生成对抗网络，通过训练好的无云影像生成器实现光学遥感影像薄云去除。针对多尺度生成对抗网络，设计无云影像生成器损失函数
Figure BDA00033029320100000416
和真伪无云影像判别器损失函数
Figure BDA0003302932010000041
Figure BDA0003302932010000042
由
Figure BDA0003302932010000043
四个损失函数构成。
Figure BDA0003302932010000044
定义如下：
Figure BDA0003302932010000045
其中，D(·，·)代表真伪无云影像判别器，G(·)代表无云影像生成器。
Figure BDA0003302932010000046
定义如下：
Figure BDA0003302932010000047
其中，DMF代表从真伪无云影像判别器的中间层提取特征。
Figure BDA0003302932010000048
定义如下：
Figure BDA0003302932010000049
其中VGG(·)表示用VGG-19从影像提取特征。
Figure BDA00033029320100000410
定义如下：
Figure BDA00033029320100000411
其中φ(·)表示将RGB转换为YUV色域的过程。
无云影像生成器的总损失函数表示如下：
Figure BDA00033029320100000412
其中λ1，λ2，λ3和λ4是不同损失函数的不同权重。
真伪无云影像判别器的损失函数定义如下：
Figure BDA00033029320100000413
多尺度生成对抗网络的损失函数由
Figure BDA00033029320100000414
和
Figure BDA00033029320100000415
构成。
训练过程中，无云影像生成器与真伪无云影像判别器互相博弈达到均衡，真伪无云影像判别器无法区分去云陆地影像与无云陆地影像，无云影像生成器能够生成逼真的去云陆地影像。
将薄云覆盖陆地影像输入训练好的无云影像生成器，即得到该薄云覆盖陆地影像的去云陆地影像。
本发明首先根据像素分布百分位数，去除光学遥感多云海面影像的背景，提取云层；然后计算补偿系数，补偿退化云层；将云层在大气光辅助下，融合到无云陆地影像，得到多云陆地影像；接着饱和修正多云陆地影像；基于前述的云图运算，构建以无云陆地影像和薄云覆盖陆地影像组成的同场景影像对为样本单元的数据集；设计无云影像生成器和真伪无云影像判别器，构成多尺度生成对抗网络；用构建的数据集训练多尺度生成对抗网络，通过训练好的无云影像生成器实现光学遥感影像薄云去除。本发明突破了无云多云同场景数据稀缺的瓶颈，形成深度学习去云有效技术方案。
附图说明
图1为本发明一种基于云图运算和多尺度生成对抗网络的光学遥感影像薄云去除方法的流程示意图；
图2为一景多云海面影像的R、G、B三个通道的像素直方图；
图3为云自减算子，即多云海面影像去除背景，提取云层流程图；
图4为云景加算子，即将云层融合到无云陆地影像，得到多云陆地影像流程图；
图5为云图运算框架图；
图6为运用云图运算实现合成多云陆地影像的过程，上下两行分别为两景应用实例，每一例由左及右分别为选取的多云海面影像，提取的云层，无云陆地影像和合成的多云陆地影像；
图7为云图运算在不同地形上的应用效果示意图，不同地形的应用细节均与图6相同；
图8为某一地区一月、三月、五月、七月、九月、十一月的无云陆地影像、真实的多云陆地影像和利用云图运算合成的多云陆地影像对比图；
图9为某一数据集中无云陆地影像、真实的多云陆地影像和利用云图运算合成的多云陆地影像对比图；
图10为无云影像生成器和真伪无云影像判别器的结构图；
图11为训练多尺度生成对抗网络的损失函数示意图；
图12为对于利用云图运算构建的数据集训练完成的多尺度生成对抗网络，其输入的薄云覆盖陆地影像和输出的去云陆地影像的对比图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本实施例的一种基于云图运算和多尺度生成对抗网络的光学遥感影像薄云去除方法，流程图如图1所示，包括以下步骤：
(1)根据像素分布百分位数，去除光学遥感多云海面影像的背景，提取云层；
(2)计算补偿系数，补偿退化云层；
(3)将云层在大气光辅助下，融合到无云陆地影像，得到多云陆地影像；
(4)饱和修正多云陆地影像；
(5)基于(1)-(4)描述的云图运算，构建以无云陆地影像和薄云覆盖陆地影像组成的同场景影像对为样本单元的数据集；
(6)设计无云影像生成器和真伪无云影像判别器，构成多尺度生成对抗网络；
(7)用(5)构建的数据集训练多尺度生成对抗网络，通过训练好的无云影像生成器实现光学遥感影像薄云去除。
其中，(1)和(2)为云自减算子的执行过程；(3)和(4)为云景加算子的执行过程；云自减算子和云景加算子构成云图运算。
本实施例以图2、图3所示的图片为例，所述的步骤(1)和(2)具体为：
根据像素分布百分位数，去除光学遥感多云海面影像的背景，提取云层。令Ics表示包含无云区域和多云区域的M×N多云海面影像。设Ics表示单一光谱通道的影像。根据第α百分位数按如下关系确定像素强度的阈值Г：
P(Ics(m，n)＜Г)＝α
强度小于Г的像素划分为背景区域。令1表示所有元素值都为1的M×N矩阵。如下去除海水背景：
Iα＝Ics-Г1
对于光学遥感影像的每个光谱通道，执行以下操作：
Figure BDA0003302932010000061
其中，当其变量为真时
Figure BDA0003302932010000062
为1，否则为0。上操作得到去除海面背景的云层Idc。
计算补偿系数，补偿退化云层。补偿系数Λ如下计算：
Figure BDA0003302932010000071
用Λ按如下操作补偿影像中云层区域：
Ici＝ΛIdc
以上操作得到真实的云层Ici。
本实施例以图4所示的图片为例，所述的步骤(3)和(4)具体为：
将云层在大气光辅助下，融合到无云陆地影像，得到多云陆地影像。令B表示光学遥感影像的最大强度值。计算云层遮挡影像如下：
Figure BDA0003302932010000072
令Icfl表示无云陆地影像。将云层遮挡影像
Figure BDA0003302932010000073
作用于无云陆地影像Icfl，得到遮挡陆地影像Iol：
Figure BDA0003302932010000074
其中⊙表示按元素相乘。
云层受大气光A影响，得到大气光云层Iaci：
Iaci＝Ici⊙A1
遮挡陆地影像Iol和大气光云层Iaci合成，得到多云陆地影像Iscs：
Iscs＝Iol+Iaci
饱和修正多云陆地影像。多云陆地影像Iscs最大像素值的坐标定位如下：
Figure BDA0003302932010000075
如果最大值
Figure BDA0003302932010000076
超过B，按照以下公式更新大气光A的值：
Figure BDA0003302932010000077
基于自动调整后的大气光A，通过重复步骤(3)得到最终的合成多云陆地影像Iscs。
本实施例以图5、图6、图7、图8、图9所示的图片为例，所述的步骤(5)具体为：
基于步骤(1)-(4)描述的云图运算，构建以无云陆地影像和薄云覆盖陆地影像组成的同场景影像对为样本单元的数据集。云图运算以薄云覆盖海面影像和无云陆地影像为输入，合成薄云覆盖陆地影像。无云陆地影像与其对应的合成薄云覆盖影像组成同场景影像对。多个同场景影像对形成数据集。以下步骤中薄云覆盖陆地影像均通过云图运算合成。
本实施例以图10所示的图片为例，所述的步骤(6)具体为：
设计无云影像生成器和真伪无云影像判别器，构成多尺度生成对抗网络。
无云影像生成器从输入端至输出端依次为特征提取模块、残差模块、特征重构模块和残差模块，其中特征提取模块输出的特征另行拼接到尺度相同的特征重构模块。特征提取模块的每一层由卷积、实例归一化和泄漏校正线性单元组成。特征重构模块与特征提取模块结构相似，但转置卷积代替卷积且最后一层由卷积和双曲正切函数组成。无云影像生成器将薄云覆盖陆地影像作为输入，在第二个残差块之后输出去云陆地影像。真伪无云影像判别器由多个基础判别器构成，每个基础判别器与无云影像生成器中的特征提取模块结构相似，但其在最后一层只有卷积。每个基础判别器以薄云覆盖陆地影像与去云陆地影像或薄云覆盖陆地影像与无云陆地影像作为输入，输出不同尺度的矩阵。矩阵的元素值在0到1之间变化。矩阵元素值为1，代表输入是薄云覆盖陆地影像与无云陆地影像。矩阵元素值为0，代表输入是薄云覆盖陆地影像与去云陆地影像。
本实施例以图11、图12所示的图片为例，所述的步骤(7)具体为：
用步骤(5)构建的数据集训练多尺度生成对抗网络，通过训练好的无云影像生成器实现光学遥感影像薄云去除。针对多尺度生成对抗网络，设计无云影像生成器损失函数
Figure BDA0003302932010000081
和真伪无云影像判别器损失函数
Figure BDA0003302932010000082
Figure BDA0003302932010000083
由
Figure BDA0003302932010000084
四个损失函数构成。
Figure BDA0003302932010000085
定义如下：
Figure BDA0003302932010000086
其中，D(·，·)代表真伪无云影像判别器，G(·)代表无云影像生成器。
Figure BDA0003302932010000087
定义如下：
Figure BDA0003302932010000088
其中，DMF代表从真伪无云影像判别器的中间层提取特征。
Figure BDA0003302932010000089
定义如下：
Figure BDA00033029320100000810
其中VGG(·)表示用VGG-19从影像提取特征。
Figure BDA00033029320100000811
定义如下：
Figure BDA00033029320100000812
其中φ(·)表示将RGB转换为YUV色域的过程。
无云影像生成器的总损失函数表示如下：
Figure BDA00033029320100000813
其中λ1，λ2，λ3和λ4是不同损失函数的不同权重。
真伪无云影像判别器的损失函数定义如下：
Figure BDA0003302932010000091
多尺度生成对抗网络的损失函数由
Figure BDA0003302932010000092
和
Figure BDA0003302932010000093
构成。
训练过程中，无云影像生成器与真伪无云影像判别器互相博弈达到均衡，真伪无云影像判别器无法区分去云陆地影像与无云陆地影像，无云影像生成器能够生成逼真的去云陆地影像。
将薄云覆盖陆地影像输入训练好的无云影像生成器，即得到该薄云覆盖陆地影像的去云陆地影像。

Claims (8)

1.一种基于云图运算和多尺度生成对抗网络的光学遥感影像薄云去除方法，其特征在于包括以下步骤：
(1)根据像素分布百分位数，去除光学遥感多云海面影像的背景，提取云层；
(2)计算补偿系数，补偿退化云层；
(3)将云层在大气光辅助下，融合到无云陆地影像，得到多云陆地影像；
(4)饱和修正多云陆地影像；
(5)基于(1)-(4)描述的云图运算，构建以无云陆地影像和薄云覆盖陆地影像组成的同场景影像对为样本单元的数据集；
(6)设计无云影像生成器和真伪无云影像判别器，构成多尺度生成对抗网络；
(7)用(5)构建的数据集训练多尺度生成对抗网络，通过训练好的无云影像生成器实现光学遥感影像薄云去除。
其中，(1)和(2)为云自减算子的执行过程；(3)和(4)为云景加算子的执行过程；云自减算子和云景加算子构成云图运算。
2.根据权利要求1所述的一种基于云图运算和多尺度生成对抗网络的光学遥感影像薄云去除方法，其特征在于所述的步骤(1)具体为：
根据像素分布百分位数，去除光学遥感多云海面影像的背景，提取云层。令Ics表示包含无云区域和多云区域的M×N多云海面影像。设Ics表示单一光谱通道的影像。根据第α百分位数按如下关系确定像素强度的阈值Γ：
P(Ics(m,n)<Γ)＝α
强度小于Γ的像素划分为背景区域。令1表示所有元素值都为1的M×N矩阵。如下去除海水背景：
Iα＝Ics-Γ1
对于光学遥感影像的每个光谱通道，执行以下操作：
Figure FDA0003302930000000013
其中，当其变量为真时
Figure FDA0003302930000000011
为1，否则为0。上操作得到去除海面背景的云层Idc。
3.根据权利要求1所述的一种基于云图运算和多尺度生成对抗网络的光学遥感影像薄云去除方法，其特征在于所述的步骤(2)具体为：
计算补偿系数，补偿退化云层。补偿系数Λ如下计算：
Figure FDA0003302930000000012
用Λ按如下操作补偿影像中云层区域：
Ici＝ΛIdc
以上操作得到真实的云层Ici。
4.根据权利要求1所述的一种基于云图运算和多尺度生成对抗网络的光学遥感影像薄云去除方法，其特征在于所述的步骤(3)具体为：
将云层在大气光辅助下，融合到无云陆地影像，得到多云陆地影像。令B表示光学遥感影像的最大强度值。计算云层遮挡影像如下：
Figure FDA0003302930000000021
令Icfl表示无云陆地影像。将云层遮挡影像
Figure FDA0003302930000000022
作用于无云陆地影像Icfl，得到遮挡陆地影像Iol：
Figure FDA0003302930000000023
其中⊙表示按元素相乘。
云层受大气光A影响，得到大气光云层Iaci：
Iaci＝Ici⊙A1
遮挡陆地影像Iol和大气光云层Iaci合成，得到多云陆地影像Iscs：
Iscs＝Iol+Iaci
5.根据权利要求1所述的一种基于云图运算和多尺度生成对抗网络的光学遥感影像薄云去除方法，其特征在于所述的步骤(4)具体为：
饱和修正多云陆地影像。多云陆地影像Iscs最大像素值的坐标定位如下：
Figure FDA0003302930000000024
如果最大值
Figure FDA0003302930000000025
超过B，按照以下公式更新大气光A的值：
Figure FDA0003302930000000026
基于自动调整后的大气光A，通过重复步骤(3)得到最终的合成多云陆地影像Iscs。
6.根据权利要求1所述的一种基于云图运算和多尺度生成对抗网络的光学遥感影像薄云去除方法，其特征在于所述的步骤(5)具体为：
基于步骤(1)-(4)描述的云图运算，构建以无云陆地影像Icfl和薄云覆盖陆地影像Iscs组成的同场景影像对为样本单元的数据集。云图运算以薄云覆盖海面影像和无云陆地影像为输入，合成薄云覆盖陆地影像。无云陆地影像与其对应的合成薄云覆盖影像组成同场景影像对。多个同场景影像对形成数据集。以下步骤中薄云覆盖陆地影像均通过云图运算合成。
7.根据权利要求1所述的一种基于云图运算和多尺度生成对抗网络的光学遥感影像薄云去除方法，其特征在于所述的步骤(6)具体为：
设计无云影像生成器和真伪无云影像判别器，构成多尺度生成对抗网络。
无云影像生成器从输入端至输出端依次为特征提取模块、残差模块、特征重构模块和残差模块，其中特征提取模块输出的特征另行拼接到尺度相同的特征重构模块。特征提取模块的每一层由卷积、实例归一化和泄漏校正线性单元组成。特征重构模块与特征提取模块结构相似，但转置卷积代替卷积且最后一层由卷积和双曲正切函数组成。无云影像生成器将合成薄云覆盖陆地影像作为输入，在第二个残差块之后输出去云陆地影像。真伪无云影像判别器由多个基础判别器构成，每个基础判别器与无云影像生成器中的特征提取模块结构相似，但其在最后一层只有卷积。每个基础判别器以薄云覆盖陆地影像与去云陆地影像或薄云覆盖陆地影像与无云陆地影像作为输入，输出不同尺度的矩阵。矩阵的元素值在0到1之间变化。矩阵元素值为1，代表输入是薄云覆盖陆地影像与无云陆地影像。矩阵元素值为0，代表输入是薄云覆盖陆地影像与去云陆地影像。
8.根据权利要求1所述的一种基于云图运算和多尺度生成对抗网络的光学遥感影像薄云去除方法，其特征在于所述的步骤(7)具体为：
用步骤(5)构建的数据集训练多尺度生成对抗网络，通过训练好的无云影像生成器实现光学遥感影像薄云去除。针对多尺度生成对抗网络，设计无云影像生成器损失函数
Figure FDA0003302930000000031
和真伪无云影像判别器损失函数
Figure FDA0003302930000000032
Figure FDA0003302930000000033
由
Figure FDA0003302930000000034
四个损失函数构成。
Figure FDA0003302930000000035
定义如下：
Figure FDA0003302930000000036
其中，D(·,·)代表真伪无云影像判别器，G(·)代表无云影像生成器。
Figure FDA0003302930000000037
定义如下：
Figure FDA0003302930000000038
其中，DMF代表从真伪无云影像判别器的中间层提取特征。
Figure FDA0003302930000000039
定义如下：
Figure FDA00033029300000000310
其中VGG(·)表示用VGG-19从影像提取特征。
Figure FDA00033029300000000311
定义如下：
Figure FDA00033029300000000312
其中φ(·)表示将RGB转换为YUV色域的过程。
无云影像生成器的总损失函数表示如下：
Figure FDA0003302930000000041
其中λ1,λ2,λ3和λ4是不同损失函数的不同权重。
真伪无云影像判别器的损失函数定义如下：
Figure FDA0003302930000000042
多尺度生成对抗网络的损失函数由
Figure FDA0003302930000000043
和
Figure FDA0003302930000000044
构成。
训练过程中，无云影像生成器与真伪无云影像判别器互相博弈达到均衡，真伪无云影像判别器无法区分去云陆地影像与无云陆地影像，无云影像生成器能够生成逼真的去云陆地影像。
将薄云覆盖陆地影像输入训练好的无云影像生成器，即得到该薄云覆盖陆地影像的去云陆地影像。
CN202111195875.8A 2021-10-14 2021-10-14 一种基于云图运算和多尺度生成对抗网络的光学遥感影像薄云去除方法 Pending CN113935917A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111195875.8A CN113935917A (zh) 2021-10-14 2021-10-14 一种基于云图运算和多尺度生成对抗网络的光学遥感影像薄云去除方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111195875.8A CN113935917A (zh) 2021-10-14 2021-10-14 一种基于云图运算和多尺度生成对抗网络的光学遥感影像薄云去除方法

Publications (1)

Publication Number Publication Date
CN113935917A true CN113935917A (zh) 2022-01-14

Family

ID=79279427

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111195875.8A Pending CN113935917A (zh) 2021-10-14 2021-10-14 一种基于云图运算和多尺度生成对抗网络的光学遥感影像薄云去除方法

Country Status (1)

Country Link
CN (1) CN113935917A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114511786A (zh) * 2022-04-20 2022-05-17 中国石油大学(华东) 融合多时相信息和分通道密集卷积的遥感图像去云方法
CN117496162A (zh) * 2024-01-03 2024-02-02 北京理工大学 一种红外卫星遥感影像薄云去除方法、装置及介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114511786A (zh) * 2022-04-20 2022-05-17 中国石油大学(华东) 融合多时相信息和分通道密集卷积的遥感图像去云方法
CN114511786B (zh) * 2022-04-20 2022-07-19 中国石油大学(华东) 融合多时相信息和分通道密集卷积的遥感图像去云方法
CN117496162A (zh) * 2024-01-03 2024-02-02 北京理工大学 一种红外卫星遥感影像薄云去除方法、装置及介质
CN117496162B (zh) * 2024-01-03 2024-03-22 北京理工大学 一种红外卫星遥感影像薄云去除方法、装置及介质

Similar Documents

Publication Publication Date Title
Li et al. Underwater scene prior inspired deep underwater image and video enhancement
Bianco et al. A new color correction method for underwater imaging
CN107123089B (zh) 基于深度卷积网络的遥感图像超分辨重建方法及系统
Ancuti et al. D-hazy: A dataset to evaluate quantitatively dehazing algorithms
Zhang et al. A new haze removal approach for sky/river alike scenes based on external and internal clues
CN112884682B (zh) 一种基于匹配与融合的立体图像颜色校正方法及系统
CN111402146A (zh) 图像处理方法以及图像处理装置
CN111835983B (zh) 一种基于生成对抗网络的多曝光图高动态范围成像方法及系统
CN112767279B (zh) 一种基于离散小波集成生成对抗网络的水下图像增强方法
Liu et al. Image de-hazing from the perspective of noise filtering
CN111882489A (zh) 用于水下图像同时增强的超分辨率图形恢复方法
CN113935917A (zh) 一种基于云图运算和多尺度生成对抗网络的光学遥感影像薄云去除方法
CN113284061B (zh) 一种基于梯度网络的水下图像增强方法
CN102480626A (zh) 图像处理装置、显示装置以及图像处理方法
Huang et al. Color correction and restoration based on multi-scale recursive network for underwater optical image
CN116563693A (zh) 基于轻量级注意力机制的水下图像色彩复原方法
CN110751157B (zh) 图像显著性分割、图像显著性模型训练方法及装置
Huang et al. Underwater image enhancement based on color restoration and dual image wavelet fusion
Chaudhry et al. Underwater visibility restoration using dehazing, contrast enhancement and filtering
CN116703744B (zh) 一种基于卷积神经网络的遥感影像匀光匀色方法和装置
CN113706400A (zh) 图像矫正方法、装置、显微镜图像的矫正方法及电子设备
CN111861949A (zh) 一种基于生成对抗网络的多曝光图像融合方法及系统
CN111476739A (zh) 水下图像增强方法、系统及存储介质
Huang et al. Attention-based for multiscale fusion underwater image enhancement
CN113506230B (zh) 一种基于机器视觉的光伏电站航拍影像匀光处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination