CN114549385A - 一种基于深度稠密残差网络的光学与sar图像融合的去云方法 - Google Patents

一种基于深度稠密残差网络的光学与sar图像融合的去云方法 Download PDF

Info

Publication number
CN114549385A
CN114549385A CN202210174565.6A CN202210174565A CN114549385A CN 114549385 A CN114549385 A CN 114549385A CN 202210174565 A CN202210174565 A CN 202210174565A CN 114549385 A CN114549385 A CN 114549385A
Authority
CN
China
Prior art keywords
image
cloud
optical
sentinel
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210174565.6A
Other languages
English (en)
Other versions
CN114549385B (zh
Inventor
罗小波
荣文涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202210174565.6A priority Critical patent/CN114549385B/zh
Publication of CN114549385A publication Critical patent/CN114549385A/zh
Application granted granted Critical
Publication of CN114549385B publication Critical patent/CN114549385B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明属于遥感图像去云领域，具体涉及一种基于深度稠密残差网络的光学与SAR图像融合的去云方法，该方法包括：获取待去云的图像，对待去云图像进行预处理；将预处理好的图像输入到训练好的去云模型中，得到去云图像；根据去云图像对目标区域进行标记处理；去云模型包括深度残差网络和RDN网络；在进行光学与SAR图像融合去云前，先进行了SAR图像到光学图像的转换，使得光学图像与SAR图像直接由于成像原因引起的差异得到降低，提升了SAR图像中信息的利用和最终的去云精度。

Description

一种基于深度稠密残差网络的光学与SAR图像融合的去云 方法
技术领域
本发明属于遥感图像去云领域，具体涉及一种基于深度稠密残差网络的光学与SAR图像融合的去云方法。
背景技术
云对遥感图像的使用造成了极大影响，而光学遥感图像中云雾影响复杂多变，厚云几乎完全遮挡地面信息，而薄云是污染和衰减信息。按照所用数据源的不同，可将现有的去云方法分为单幅遥感图像去云与多源遥感图像去云。单幅遥感图像多用于薄云，可分为基于空间、基于频率及基于光谱的方法。但单幅图像因信息有限，无法有效去除厚云并重建地面信息；多源数据去云方法引入多传感器数据或多时相数据作为补充信息，对厚云区进行像元替换、像元灰度值映射、图像融合等方式重建云下地表信息，如光学与合成孔径雷达(SAR)图像融合去云、RPCA去云算法、泊松分布及深度学习等去云方法。多时间图像去云方式能够有效去除厚云，但长时间序列的图像获取困难，且时间跨度较大，对重建结果的可信度产生较大影响，而光学与SAR图像融合去云方法由于可采用同时间获取的SAR图像作为光学图像缺失信息的补充，能够取得较好的去云重建结果。
因光学与SAR图像成像原理的不同，采用传统方式进行融合难度较大，所以目前进行融合去云的方法主要采用深度学习方法。Robert Eckardt等人在2013年提出一种利用多频SAR数据从多光谱图像中去除厚云的方法，该方法在最近似光谱拟合(CSF)基础上，引入最近特征向量提升了去除的精度，该方法通过评估光谱领域和光谱相似度找到与云区域最相似的无云像素恢复云区域像素。Bo Huang等人在2015年提出一种基于稀疏表示的厚云去除方法，使用低分辨率的无云光学图像以及SAR图像作为补充信息，利用稀疏表示分别建立低分辨率光学图像与含云的高分辨率光学图像之间的关系以及SAR图像与高分辨率含云光学图像之间关系，通过建立结构对应关系重建缺失信息。Claas Grohnfeldt等人在2018年提出一种基于条件生成对抗网络的光学与SAR图像融合去云方法，在cGAN体系结构的pix2pix网络基础上进行改进，利用生成网络将有云图像以及SAR图像生成模拟的无云图像，并使用鉴别器判断生成无云图像的真假进行联合训练。Wenbo Li等人在2019年提出了一种基于多源估计的遥感图像厚云去除方法，设计了一种映射层并采用卷积-映射-反卷积的架构设计了恢复网络，直接从多源参考图像中估算无云图像，采用SAR图像和低分辨率的的光学图像作为参考图像，恢复云污染的高分辨率图像中的缺失信息。2020年AndreaMeraner等人利用深度残差网络构建光学和SAR图像的融合网络用于去云，该网络仅需要使用有云的光学图像以及SAR图像生成无云的光学图像，减少了对低分辨率光学图像的使用。
但是以上现有技术还存在以下问题：
(1)目前使用光学与SAR图像融合去云的方法大多需要使用低分辨率辅助图像，对于数据收集提供难度，且辅助图像的质量对去云结果容易造成影响。
(2)大多现有方法对光学与SAR图像本身的差异考虑不充分，导致融合效果不佳。
(3)由于厚云使得云下地物信息几乎完全缺失，现有采用SAR和光学图像融合去云方法的恢复结果在厚云区域的地物边界信息普遍没有无云区域清晰。
发明内容
为解决以上现有技术存在的问题，本发明提出了一种基于深度稠密残差网络的光学与SAR图像融合的去云方法，该方法包括：获取待去云的图像，对待去云图像进行预处理；将预处理好的图像输入到训练好的去云模型中，得到去云图像；根据去云图像对目标区域进行标记处理；去云模型包括深度残差网络和RDN网络；
训练去云模型的过程包括：
S1：获取原始数据集，对原始数据集进行预处理；将预处理后的数据集划分为训练集和测试集；原始数据集中的图像由于数据组构成，每组数据包括哨兵1SAR图像、哨兵2有云光学图像以及哨兵2临近时间无云光学图像；
S2：提取训练集中的哨兵2有云光学图像的云掩膜CMask；
S3：将哨兵1SAR图像输入到训练好的深度残差网络中，得到RGB三通道模拟光学图像；
S4：将哨兵2有云光学图像、哨兵1SAR图像以及RGB三通道模拟光学图像输入到RDN网络中，并采用云掩膜CMask融合后的图像进行处理，得到无云图像；
S5：根据无云图像计算模型的损失函数；
S6：将训练集中的图像数据不断输入到模型中，调整模型的参数，当模型的损失函数最小时，完成模型的训练；
S7：将测试集中的数据输入到训练好的模型中进行测试。
优选的，对原始数据集进行预处理包括：哨兵1的SAR图像包含VV和VH两个极化通道，哨兵2光学图像数据包含13个通道；对哨兵1的SAR图像和哨兵2的光学图像分别进行图像配准、上采样以及下采样处理，使得所有图像的分辨率相同。
优选的，提取哨兵2有云光学图像的云掩膜CMask的过程包括：获取哨兵2有云光学图像的第一波段和第二波段，对第一波段和第二波段进行最小二乘拟合；根据第一波段和第二波段的拟合系数提取有云图像的云反射率；设置阈值γ，根据设置的阈值与云反射率将有云区域掩膜值置为1，无云区域掩膜值置为0，得到云掩膜CMask。
进一步的，计算云图像的云反射率的公式为：
Figure BDA0003518562290000031
其中，
Figure BDA0003518562290000032
表示云图像的第一波段，
Figure BDA0003518562290000033
表示云图像的第二波段，α，β为在晴空图像中采用最小二乘计算的拟合系数，拟合公式为：
ρ2＝α+β·ρ1
其中，ρ1表示晴空图像的第一波段，ρ2表示晴空图像的第二波段，α，β为需要的拟合系数。
优选的，对深度残差网络进行训练的过程包括：将具有VV和VH两个极化通道的SAR图像输入到深度残差网络中，在经过一层尺寸为3*3，过滤器为128的卷积层后，再输入到Relu激活层中；将经过激活乘的图像输入到残差网络中；对经过残差网络后的图像进行降维处理，得到输出图像；根据输出图像构建深度残差网络的损失函数，当损失函数最小时完成深度残差网络的训练。
进一步的，构建深度残差网络的损失函数的表达式为：
Figure BDA0003518562290000041
其中，α,β为控制两个损失比重的系数，P为生成的模拟光学图像，T为目标无云哨兵2参考图像，Nsum为图像像元总数，CMask为云掩膜，I为输入的有云光学图像。
优选的，采用RDN网络对哨兵2有云光学图像、哨兵1SAR图像以及RGB三通道模拟光学图像进行融合处理的过程包括：将哨兵2有云光学图像、哨兵1包含VV和VH两个极化通道的SAR图像以及上一部分所生成的RGB三通道模拟光学图像进行波段叠加组成输入数据，经过一层尺寸为3*3过滤器数量为256的卷积后输入RDN融合网络，RDN网络的构建采用16个RDBlock叠加而成，其中每一层RDBlock由4个尺寸3*3过滤器数量为128的二维卷积层以及一个尺寸为1*1过滤器数量为128的降维卷积层构成，在降维后将稠密残差块的第一个特征与降维后的特征使用Add进行相连，保证原始特征的传递。经过16层RDBlock后采用一个尺寸为3*3过滤器数量为13的卷积层进行降维，使特征维度与13通道哨兵2图像相同，在卷积层后后添加一个长跳跃层，将输入的哨兵2有云光学图像与输出特征使用Add连接，以保证原始特征的传递，在跳跃连接中，使用云掩膜对原始输入图像进行掩膜，只保留非云区域的数据。根据输出图像构建深度残差网络的损失函数，当损失函数最小时完成深度残差网络的训练。
优选的，模型的损失函数为：
Figure BDA0003518562290000051
其中，α,β,δ是控制三个损失比重的系数，P为去云结果，T为无云哨兵2参考图像，Nsum为图像像素总数，CMask为云掩膜，BP,BT分别为P和T采用3*3soble算子提取的边界。
为实现上述目的，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现任一上述基于深度稠密残差网络的光学与SAR图像融合的去云方法。
为实现上述目的，本发明还提供一种基于深度稠密残差网络的光学与SAR图像融合的去云装置，包括处理器和存储器；所述存储器用于存储计算机程序；所述处理器与所述存储器相连，用于执行所述存储器存储的计算机程序，以使所述一种基于深度稠密残差网络的光学与SAR图像融合的去云装置执行任一上述基于深度稠密残差网络的光学与SAR图像融合的去云方法。
本发明的有益效果：
1)在进行光学与SAR图像融合去云前，先进行了SAR图像到光学图像的转换，使得光学图像与SAR图像直接由于成像原因引起的差异得到降低，提升了SAR图像中信息的利用和最终的去云精度；
2)不使用低分辨率光学图像作为辅助数据，而是直接利用SAR图像生成低分辨率光学数据，降低了辅助图像的获取难度；
3)利用RDBlock构建新的光学和SAR图像融合去云网络，提升去云精度；
4)构建损失函数时区分有云区域与无云区域使得无云区域更好的保持，并且约束有云区域的边界，使得融合去云后的无云图像结构更加清晰。
附图说明
图1为本发明的总体流程图；
图2为本发明的生成模拟光学图像模型；
图3为本发明的ResBlocks模块结构图；
图4为本发明的RDN融合去云网络结构图；
图5为本发明的RDBlocks模块结构图；
图6为本发明的去云结果图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种基于深度稠密残差网络的光学与SAR图像融合的去云方法，包括：获取待去云的图像，对待去云图像进行预处理；将预处理好的图像输入到训练好的去云模型中，得到去云图像；根据去云图像对目标区域进行标记处理；去云模型包括深度残差网络和RDN网络。
训练去云模型的过程包括：
S1：获取原始数据集，对原始数据集进行预处理；将预处理后的数据集划分为训练集和测试集；原始数据集中的图像由于数据组构成，每组数据包括哨兵1SAR图像、哨兵2有云光学图像以及哨兵2临近时间无云光学图像；
S2：提取训练集中的哨兵2有云光学图像的云掩膜CMask；
S3：将哨兵1SAR图像输入到训练好的深度残差网络中，得到RGB三通道模拟光学图像；
S4：将哨兵2有云光学图像、哨兵1SAR图像以及RGB三通道模拟光学图像输入到RDN网络中，并采用云掩膜CMask融合后的图像进行处理，得到无云图像；
S5：根据无云图像计算模型的损失函数；
S6：将训练集中的图像数据不断输入到模型中，调整模型的参数，当模型的损失函数最小时，完成模型的训练；
S7：将测试集中的数据输入到训练好的模型中进行测试。
附图1是本发明的去云总体框架，附图2和附图4是根据现有研究和发明分别构建的SAR图像到光学图像的转换网络与融合哨兵1SAR图像、哨兵2有云光学图像以及RGB模拟光学图像的RDN融合去云网络，附图3和附图5分别为前面两个主体网络中的块结构展示。下面将结合本发明实施实例中的附图，对本发明实施例中的技术方案进行清楚、详细的介绍。
一种基于深度稠密残差网络的光学与SAR图像融合的去云方法，该方法的具体步骤包括：
步骤1：收集所需数据集并进行预处理，将数据集划分为用于训练模拟光学图像网络与融合去云网络的两部分，并分别划分训练集、测试集以及验证集。
网络的训练需要大量的数据，本发明采用的训练数据集为Ebel等学者构建的SEN12MS-CR数据集，该数据集包含全球各地的春、夏、秋、冬大量数据，每组数据由哨兵1SAR、哨兵2有云光学图像以及哨兵2邻近时间无云光学图像组成，哨兵1的SAR图像包含VV和VH两个极化通道，哨兵2光学数据包含13个通道，该数据集对采集自全球各地的数据进行了预处理，包括图像配准、上采样、下采样，将所有图像分辨率采样到同一分辨率，并切分为256*256大小的图像。
对收集的遥感数据集进行划分，需要划分出生成模拟光学图像训练所用的数据集与RDN融合网络所用的数据集，且分别在两个数据集中按照8：1：1的比例划分出训练集：测试集：验证集，保证两个网络的训练不会使用到同个数据。
步骤2：提取有云哨兵2图像的云掩膜CMask用于后续处理。选取无云晴空图像，利用其波段1与波段2进行最小二乘拟合，如下式所示：
ρ2＝α+β·ρ1
使用拟合好的系数α,β提取有云图像的云反射率，如下式所示：
Figure BDA0003518562290000081
其中
Figure BDA0003518562290000082
为有云图像波段1，
Figure BDA0003518562290000083
为有云图像波段2。选取合适阈值γ作为在ρcloud中分割有云与无云的阈值，将有云区域掩膜值置为1，无云区域掩膜值置为0，获得云掩膜CMask。
步骤3：构建基于深度残差网络的SAR到光学图像转化网络，并进行端到端训练。
本发明用于生成模拟光学图像的网络参考Lanaras等学者提出的哨兵2超分辨率网络结构，使用如附图3所示的残差块(ResBlocks)进行堆叠构成。首先，将具有VV和VH两个极化通道的SAR图像作为输入数据，经过一层尺寸为3*3且过滤器数量为128的卷积层以及Relu激活层后输入残差网络。残差块由两层卷积构成，每层卷积尺寸为3*3过滤器数量为128，由16层残差块叠加组成深层残差网络，并且每一层具有相同的过滤器数量。经过一层卷积后降维得到输出图像，在这里需要控制输出图像的通道数，本发明中让输出图像通道数为3，生成RGB三个通道的模拟光学图像。
去云目标是去除哨兵2有云图像中的云，恢复地面信息，所以恢复后的图像空间和光谱特征都应该更加接近有云哨兵2的真实地面。为了使得生成模拟光学图像尽可能的接近哨兵2有云图像的无云表示，而不是邻近时刻的哨兵2无云图像，本发明在训练时对有云与无云区域进行有区别的损失函数构建。令生成的模拟光学图像，在无云区域与哨兵2有云图像的无云区域做损失，在有云区域与无云哨兵2做损失，损失函数如下：
Figure BDA0003518562290000084
其中，α,β为控制两个损失比重的系数，P为生成的模拟光学图像，T为目标无云哨兵2参考图像，Nsum为图像像元总数，CMask为云掩膜，I为输入的有云光学图像。使用这样的损失函数进行训练能够尽量的让非云区域不发生变化。
步骤4：利用步骤3训练完成的SAR到光学图像转化网络，将融合数据集中的SAR图像生成RGB三通道的模拟光学图像备用，需要注意的是，这一步的SAR到光学的转化不需要区分训练集、测试集以及验证集，因为转化结果将全部直接用于后续RDN网络。
步骤5：构建基于深度稠密残差网络(RDN)的光学与SAR图像融合去云网络，输入哨兵2有云光学图像、SAR图像与步骤4生成的RGB模拟光学图像，得到无云图像，并对RDN进行端到端训练。
本发明用于SAR图像与光学图像融合去云的RDN网络基础模块采用Yulun Zhang等2021年提出的稠密残差块(Residual Dense Network for Image Restoration)，并按照融合任务的需求构建本发明的RDN融合网络。如附图5所示，稠密残差块(RDBlock)结合了稠密块(denseblock)和残差块(Resblock)的优点，与稠密块一样在每一层卷积后都使用叠加操作将卷积块前每一层的特征与卷积后的特征进行叠加，以保证低层特征能够向后传递，在经过多层的特征叠加后，特征维度会变的非常大，导致训练参数增大，采用一个1*1的卷积将特征降维到与输入稠密块前的特征维度相同，在降维后将稠密残差块的第一个特征与降维后的特征使用Add进行相连，保证原始特征的传递。
在进行融合时输入数据总共分为三个，分别是哨兵2包含13个通道的有云光学图像、哨兵1包含VV和VH两个极化通道的SAR图像以及上一部分所生成的RGB三通道模拟光学图像，首先对三幅图像进行波段叠加组成输入数据，经过一层尺寸为3*3过滤器数量为256的卷积后输入融合网络，RDN网络的构建采用16个RDBlock叠加而成，其中每一层RDBlock由4个尺寸3*3过滤器数量为128的二维卷积层以及一个尺寸为1*1过滤器数量为128的降维卷积层构成，经过16层RDBlock后采用一个尺寸为3*3过滤器数量为13的卷积层进行降维，使特征维度与13通道哨兵2图像相同，在卷积层后后添加一个长跳跃层，将输入的哨兵2有云光学图像与输出特征使用Add连接，以保证原始特征的传递，并且，在跳跃连接中，使用云掩膜对原始输入图像进行掩膜，只保留非云区域的数据，目的是保持非云区域的像素在经过网络后少受到影响。
为尽量保持非云区域不发生改变，RDN融合网络损失函数同样区分云区与非云区域，非云区域以有云哨兵2的无云区域自身作为参考，有云区域以邻近时间有云哨兵2作为参考。
同时设计边界损失函数，采用3*3的sobel过滤器
Figure BDA0003518562290000101
Figure BDA0003518562290000102
对图像进行边界提取，产生13个通道的x方向边界与13个通道的y方向边界，同时在x和y方向上计算云区域的边界损失，以提升对边界的约束能力。RDN网络训练的损失函数如：
Figure BDA0003518562290000103
其中，α,β,δ是控制三个损失比重的系数，P为去云结果，T为无云哨兵2参考图像，Nsum为图像像素总数，CMask为云掩膜，BP,BT分别为P和T的边界。
步骤6：采用训练好的深度残差网络以及深度RDN网络对实际数据进行去云。根据实际需要选取需要去云区域的哨兵1的SAR图像、哨兵2有云光学图像以及邻近时间的哨兵2无云光学图像，将SAR图像上采样到10m的分辨率并使用envi软件将数据对齐，将数据裁剪为256*256的图像。
首先使用步骤2的方法提取有云光学图像的云掩膜，然后使用步骤3中的深度残差网络将SAR图像转化为具有RGB三通道的模拟光学图像，最后使用步骤5中的RDN网络进行去云处理。
附图6所示为使用相同数据集情况下，根据本发明的基于RDN的光学与SAR图像融合去云网络的去云结果与使用Andrea Meraner等提出的ResNet16的去云结果对比。在同样的含云数据集上进行去云时，附图6第一张有云图像中，本发明去云结果结构更加清晰，在红框中标识出来的厚云区域的地物信息结构更加清晰，有明显的边界信息。在第二张图的去云结果中，本发明提出的方法去云结果色彩更加接近参考图像，没有产生较大的光谱差异。在第三幅有云图像的去云结果中，红框中标出的地方区边界结构更加清晰，有效的获取到了SAR图像中所包含的结构信息，并融合到了光学图像中。综上所述，本发明提出的基于深度稠密残差网络的光学与SAR图像融合去云方法能够提供有效且效果良好的去云结果。
于本发明一实施例中，本发明还包括一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一所述基于深度稠密残差网络的光学与SAR图像融合的去云方法。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
一种基于深度稠密残差网络的光学与SAR图像融合的去云装置，包括处理器和存储器；所述存储器用于存储计算机程序；所述处理器与所述存储器相连，用于执行所述存储器存储的计算机程序，以使所述一种基于深度稠密残差网络的光学与SAR图像融合的去云装置执行任一上述基于深度稠密残差网络的光学与SAR图像融合的去云方法。
具体地，所述存储器包括：ROM、RAM、磁碟、U盘、存储卡或者光盘等各种可以存储程序代码的介质。
优选地，所述处理器可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
以上所举实施例，对本发明的目的、技术方案和优点进行了进一步的详细说明，所应理解的是，以上所举实施例仅为本发明的优选实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内对本发明所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度稠密残差网络的光学与SAR图像融合的去云方法，其特征在于，包括：获取待去云的图像，对待去云图像进行预处理；将预处理好的图像输入到训练好的去云模型中，得到去云图像；根据去云图像对目标区域进行标记处理；去云模型包括深度残差网络和RDN网络；
训练去云模型的过程包括：
S1：获取原始数据集，对原始数据集进行预处理；将预处理后的数据集划分为训练集和测试集；原始数据集中的图像由于数据组构成，每组数据包括哨兵1SAR图像、哨兵2有云光学图像以及哨兵2临近时间无云光学图像；
S2：提取训练集中的哨兵2有云光学图像的云掩膜CMask；
S3：将哨兵1SAR图像输入到训练好的深度残差网络中，得到RGB三通道模拟光学图像；
S4：将哨兵2有云光学图像、哨兵1SAR图像以及RGB三通道模拟光学图像输入到RDN网络中，并采用云掩膜CMask融合后的图像进行处理，得到无云图像；
S5：根据无云图像计算模型的损失函数；
S6：将训练集中的图像数据不断输入到模型中，调整模型的参数，当模型的损失函数最小时，完成模型的训练；
S7：将测试集中的数据输入到训练好的模型中进行测试。
2.根据权利要求1所述的一种基于深度稠密残差网络的光学与SAR图像融合的去云方法，其特征在于，对原始数据集进行预处理包括：哨兵1的SAR图像包含VV和VH两个极化通道，哨兵2光学图像数据包含13个通道；对哨兵1的SAR图像和哨兵2的光学图像分别进行图像配准、上采样以及下采样处理，使得所有图像的分辨率相同。
3.根据权利要求1所述的一种基于深度稠密残差网络的光学与SAR图像融合的去云方法，其特征在于，提取哨兵2有云光学图像的云掩膜CMask的过程包括：获取哨兵2有云光学图像的第一波段和第二波段，对第一波段和第二波段进行最小二乘拟合；根据第一波段和第二波段的拟合系数提取有云图像的云反射率；设置阈值γ，根据设置的阈值与云反射率将有云区域掩膜值置为1，无云区域掩膜值置为0，得到云掩膜CMask。
4.根据权利要求3所述的一种基于深度稠密残差网络的光学与SAR图像融合的去云方法，其特征在于，计算云图像的云反射率的公式为：
Figure FDA0003518562280000021
其中，
Figure FDA0003518562280000022
表示云图像的第一波段，
Figure FDA0003518562280000023
表示云图像的第二波段，α、β均为在晴空图像中采用最小二乘计算的拟合系数，拟合公式为：
ρ2＝α+β·ρ1
其中，ρ1表示晴空图像的第一波段，ρ2表示晴空图像的第二波段，α，β为需要的拟合系数。
5.根据权利要求1所述的一种基于深度稠密残差网络的光学与SAR图像融合的去云方法，其特征在于，对深度残差网络进行训练的过程包括：将具有VV和VH两个极化通道的SAR图像输入到深度残差网络中，在经过一层尺寸为3*3，过滤器为128的卷积层后，再输入到Relu激活层中；将经过激活乘的图像输入到残差网络中；对经过残差网络后的图像进行降维处理，得到输出图像；根据输出图像构建深度残差网络的损失函数，当损失函数最小时完成深度残差网络的训练。
6.根据权利要求5所述的一种基于深度稠密残差网络的光学与SAR图像融合的去云方法，其特征在于，构建深度残差网络的损失函数的表达式为：
Figure FDA0003518562280000024
其中，α,β为控制两个损失比重的系数，P为生成的模拟光学图像，T为目标无云哨兵2参考图像，Nsum为图像像元总数，CMask为云掩膜，I为输入的有云光学图像。
7.根据权利要求1所述的一种基于深度稠密残差网络的光学与SAR图像融合的去云方法，其特征在于，采用RDN网络对哨兵2有云光学图像、哨兵1SAR图像以及RGB三通道模拟光学图像进行融合处理的过程包括：将哨兵2有云光学图像、哨兵1包含VV和VH两个极化通道的SAR图像以及GB三通道模拟光学图像进行波段叠加，组成输入数据；将输入数据经过一层尺寸为3*3过滤器数量为256的卷积后输入RDN融合网络，RDN网络的构建采用16个RDBlock叠加而成，其中每一层RDBlock由4个尺寸3*3过滤器数量为128的二维卷积层以及一个尺寸为1*1过滤器数量为128的降维卷积层构成，在降维后将稠密残差块的第一个特征与降维后的特征使用Add进行相连，保证原始特征的传递；经过16层RDBlock后采用一个尺寸为3*3过滤器数量为13的卷积层进行降维，使特征维度与13通道哨兵2图像相同，在卷积层后后添加一个长跳跃层，将输入的哨兵2有云光学图像与输出特征使用Add连接，以保证原始特征的传递，在跳跃连接中，使用云掩膜对原始输入图像进行掩膜，只保留非云区域的数据；根据输出图像构建深度残差网络的损失函数，当损失函数最小时完成深度残差网络的训练。
8.根据权利要求7所述的一种基于深度稠密残差网络的光学与SAR图像融合的去云方法，其特征在于，模型的损失函数为：
Figure FDA0003518562280000031
其中，α,β,δ是控制三个损失比重的系数，P为去云结果，T为无云哨兵2参考图像，Nsum为图像像素总数，CMask为云掩膜，BP,BT分别为P和T采用3*3soble算子提取的边界。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行，以实现权利要求1至8中任一项基于深度稠密残差网络的光学与SAR图像融合的去云方法。
10.一种基于深度稠密残差网络的光学与SAR图像融合的去云装置，其特征在于，包括处理器和存储器；所述存储器用于存储计算机程序；所述处理器与所述存储器相连，用于执行所述存储器存储的计算机程序，以使所述一种基于深度稠密残差网络的光学与SAR图像融合的去云装置执行权利要求1至8中任一项基于深度稠密残差网络的光学与SAR图像融合的去云方法。
CN202210174565.6A 2022-02-24 2022-02-24 一种基于深度稠密残差网络的光学与sar图像融合的去云方法 Active CN114549385B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210174565.6A CN114549385B (zh) 2022-02-24 2022-02-24 一种基于深度稠密残差网络的光学与sar图像融合的去云方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210174565.6A CN114549385B (zh) 2022-02-24 2022-02-24 一种基于深度稠密残差网络的光学与sar图像融合的去云方法

Publications (2)

Publication Number Publication Date
CN114549385A true CN114549385A (zh) 2022-05-27
CN114549385B CN114549385B (zh) 2024-09-03

Family

ID=81680328

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210174565.6A Active CN114549385B (zh) 2022-02-24 2022-02-24 一种基于深度稠密残差网络的光学与sar图像融合的去云方法

Country Status (1)

Country Link
CN (1) CN114549385B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116309150A (zh) * 2023-03-14 2023-06-23 中国科学院空天信息创新研究院 一种sar辅助下光学遥感影像修复方法
CN117576236A (zh) * 2023-11-13 2024-02-20 宁波大学 联合多时相sar和光学信息的缺失光学图像重建方法
CN118411313A (zh) * 2024-07-04 2024-07-30 中国石油大学(华东) 一种基于叠加注意力特征融合的sar光学图像去云方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112561817A (zh) * 2020-12-10 2021-03-26 深圳大学 基于am-gan的遥感图像去云方法、装置、设备及存储介质
CN113012209A (zh) * 2021-02-23 2021-06-22 中国科学院空天信息创新研究院 融合sar图像信息的光学图像去云方法
CN113379618A (zh) * 2021-05-06 2021-09-10 航天东方红卫星有限公司 一种基于残差密集连接和特征融合的光学遥感图像去云方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112561817A (zh) * 2020-12-10 2021-03-26 深圳大学 基于am-gan的遥感图像去云方法、装置、设备及存储介质
CN113012209A (zh) * 2021-02-23 2021-06-22 中国科学院空天信息创新研究院 融合sar图像信息的光学图像去云方法
CN113379618A (zh) * 2021-05-06 2021-09-10 航天东方红卫星有限公司 一种基于残差密集连接和特征融合的光学遥感图像去云方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
B. HUANG等: "Single satellite optical imagery dehazing using SAR image prior based on conditional generative adversarial networks", 《 IEEE WORKSHOP》, 1 March 2020 (2020-03-01) *
荣文涛: "光学遥感图像云去除与重建方法研究", 《万方数据》, 6 July 2023 (2023-07-06) *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116309150A (zh) * 2023-03-14 2023-06-23 中国科学院空天信息创新研究院 一种sar辅助下光学遥感影像修复方法
CN116309150B (zh) * 2023-03-14 2023-09-22 中国科学院空天信息创新研究院 一种sar辅助下光学遥感影像修复方法
CN117576236A (zh) * 2023-11-13 2024-02-20 宁波大学 联合多时相sar和光学信息的缺失光学图像重建方法
CN117576236B (zh) * 2023-11-13 2024-06-18 宁波大学 联合多时相sar和光学信息的缺失光学图像重建方法
CN118411313A (zh) * 2024-07-04 2024-07-30 中国石油大学(华东) 一种基于叠加注意力特征融合的sar光学图像去云方法
CN118411313B (zh) * 2024-07-04 2024-09-06 中国石油大学(华东) 一种基于叠加注意力特征融合的sar光学图像去云方法

Also Published As

Publication number Publication date
CN114549385B (zh) 2024-09-03

Similar Documents

Publication Publication Date Title
CN114549385A (zh) 一种基于深度稠密残差网络的光学与sar图像融合的去云方法
CN111563508B (zh) 一种基于空间信息融合的语义分割方法
CN108921799B (zh) 基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法
CN107123089B (zh) 基于深度卷积网络的遥感图像超分辨重建方法及系统
CN109903255A (zh) 一种基于3d卷积神经网络的高光谱图像超分辨率复原方法
CN111462013B (zh) 一种基于结构化残差学习的单图去雨方法
CN111652966A (zh) 一种基于无人机多视角的三维重建方法及装置
CN103413286A (zh) 一种基于学习的高动态范围与高分辨率图像联合重建方法
CN114066755B (zh) 一种基于全波段特征融合的遥感影像薄云去除方法及系统
Long et al. Bishift networks for thick cloud removal with multitemporal remote sensing images
CN116309070A (zh) 一种高光谱遥感图像超分辨率重建方法、装置及计算机设备
CN115601236A (zh) 一种基于特征信息蒸馏网络的遥感图像超分辨重建方法
CN117576402B (zh) 一种基于深度学习的多尺度聚合Transformer遥感图像语义分割方法
CN115661655B (zh) 高光谱和高分影像深度特征融合的西南山区耕地提取方法
Pan et al. Structure–color preserving network for hyperspectral image super-resolution
CN115631162A (zh) 一种滑坡隐患识别方法、系统、介质及设备
CN115660979A (zh) 一种基于注意力机制的双判别器图像修复方法
CN114140357B (zh) 一种基于协同注意力机制的多时相遥感图像云区重建方法
CN117726954B (zh) 一种遥感图像海陆分割方法及系统
Deng et al. Multiple frame splicing and degradation learning for hyperspectral imagery super-resolution
CN118365543A (zh) 一种基于改进EnlightenGAN的裂缝图像阴影去除方法
Li et al. ConvFormerSR: Fusing transformers and convolutional neural networks for cross-sensor remote sensing imagery super-resolution
CN117114984A (zh) 基于生成对抗网络的遥感图像超分辨率重建方法
CN111080516B (zh) 基于自样例增强的超分辨率图像重建方法
CN117788996A (zh) 一种融合大核注意力卷积的轻量化遥感图像目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant