CN114066755B - 一种基于全波段特征融合的遥感影像薄云去除方法及系统 - Google Patents

一种基于全波段特征融合的遥感影像薄云去除方法及系统 Download PDF

Info

Publication number
CN114066755B
CN114066755B CN202111332467.2A CN202111332467A CN114066755B CN 114066755 B CN114066755 B CN 114066755B CN 202111332467 A CN202111332467 A CN 202111332467A CN 114066755 B CN114066755 B CN 114066755B
Authority
CN
China
Prior art keywords
cloud
image
thin cloud
remote sensing
thin
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111332467.2A
Other languages
English (en)
Other versions
CN114066755A (zh
Inventor
李俊
盛庆红
王博
徐炜岚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202111332467.2A priority Critical patent/CN114066755B/zh
Publication of CN114066755A publication Critical patent/CN114066755A/zh
Application granted granted Critical
Publication of CN114066755B publication Critical patent/CN114066755B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于全波段特征融合的遥感影像薄云去除方法及系统，所述方法包括：使用训练完成的薄云去除网络对待处理的多光谱遥感图像进行多光谱影响薄云去除；所述训练完成的薄云去除网络，通过以下步骤得到：获取同一地区有云和无云情况下的多光谱遥感图像，得到训练集和测试集；采样得到图像不同分辨率光谱波段的空间特征和光谱特征；特征融合分别得到有云情况下和无云情况下图像的特征图；计算多路监督损失，优化预设的薄云去除网络的网络参数；利用训练集和测试集对优化后的薄云去除网络进行训练和测试，得到训练完成的薄云去除网络。本发明薄云去除精度高，误差小，与现有技术相比去除训练大大提高，在多光谱遥感影像上具有广阔的应用空间。

Description

一种基于全波段特征融合的遥感影像薄云去除方法及系统
技术领域
本发明涉及一种基于全波段特征融合的遥感影像薄云去除方法及系统，属于遥感图像薄云去除技术领域。
背景技术
随着越来越多的遥感卫星发射升空，遥感卫星获取的海量数据为植被健康监测、灾害监测和土地覆盖分类等提供了丰富的信息。然而，薄云一直是影响遥感影像质量的重要因素，因此薄云去除是遥感影像预处理必不可少的一步。当前卫星传感器的探测光谱波段越来越多，一般在可见光近红外波段具备高空间分辨率，在短波红外波段具备较低分辨率。
虽然目前深度学习的方法检测精度大大高于传统方法，然而基于深度学习的方法对于包含薄云的多光谱影像数据的处理一般两种方式：第一，用高分辨率的波段进行薄云去除；第二将不同分辨率的波段利用人工设计的采样函数重采样到同一空间分辨率，然后进行训练。第一种方法不能够充分利用多光谱影像的光谱信息；第二种方法中所述人工设计的重采样函数主观性强，采样后图像纹理信息会被破坏。
发明内容
本发明的目的在于克服现有技术中的不足，提供一种基于全波段特征融合的遥感影像薄云去除方法及系统，能够提升薄云去除能力。为达到上述目的，本发明是采用下述技术方案实现的：
第一方面，本发明提供了一种基于全波段特征融合的遥感影像薄云去除方法，包括：
获取待处理的多光谱遥感图像；
使用训练完成的薄云去除网络对待处理的多光谱遥感图像进行多光谱影响薄云去除，输出去除薄云的多光谱遥感图像；
其中，所述训练完成的薄云去除网络，通过以下步骤得到：
获取同一地区有云和无云情况下的多光谱遥感图像，对获取到的图像进行预处理，得到训练集和测试集；
利用预先构建的卷积神经网络对获取到的图像进行采样，得到图像不同分辨率光谱波段的空间特征和光谱特征；
利用预先构建的双路特征融合模块将得到的空间特征和光谱特征进行融合，分别得到有云情况下图像特征图和无云情况下图像的特征图；所述预先构建的双路特征融合模块还包括全局空洞残差模块，所述全局空洞残差模块用于利用受薄云影响小的波段补全输入特征中的受薄云影响大的波段的空间特征和光谱特征；
基于有云情况下图像特征图和无云情况下图像的特征图，计算多路监督损失，优化预设的薄云去除网络的网络参数；
利用训练集和测试集对优化后的薄云去除网络进行训练和测试，得到训练完成的薄云去除网络。
结合第一方面，进一步地，所述对获取到的图像进行预处理包括：
将获取到的图像切分为小块；
对小块进行人工目视解译，将有云的图像块放入有云文件夹，无云的图像块放入无云文件夹；
将有云文件夹中图像块划分为有云训练集和有云测试集，将无云文件夹中图像块划分为无云训练集和无云测试集；所述有云训练集和无云训练集构成所述训练集，所述有云测试集和无云测试集构成所述测试集。
结合第一方面，进一步地，所述预先构建的卷积神经网络包括高、中、低分辨率分支；
所述高、中、低分辨率分支分别对输入图像的对应分辨率进行下采样，将高分辨率分支的输出特征与中分辨率分支输出的特征在通道上连接，得到第一特征；
所述中分辨率分支对第一特征进行下采样，输出第二特征，所述第二特征特征与低分辨率分支输出的特征在通道上连接；
输出图像不同分辨率光谱波段的空间特征和光谱特征。
结合第一方面，进一步地，所述所述预先构建的双路特征融合模块包括2个并列的深度卷积分支和1个1x1卷积层；
所述特征分别通过2个深度卷积路径分别进行卷积处理，得到2组输出特征；
将2组输出特征在通道上连接；
利用1x1卷积层将连接后的特征通道数压缩到与输入特征相同的通道数。
结合第一方面，进一步地，所述全局空洞残差模块包括2组并列的3D卷积层和空洞卷积层，所述空洞卷积层的输入端连接所述3D卷积层的输出端；
利用一组3D卷积层对输入的特征进行处理，将处理结果输入空洞卷积层；将空洞卷积层输出的特征与输入的特征相加，得到第一补全特征；
利用另一组3D卷积层对第一补全特征进行处理，将处理结果输入空洞卷积层；将空洞卷积层输出的特征与输入的特征相加，得到第二补全特征，即为输入特征中的受薄云影响大的波段的空间特征和光谱特征。
结合第一方面，优选地，通过级联的全局空洞残差结构能够消除空洞卷积带来的网格伪影。
结合第一方面，进一步地，所述计算多路监督损失，通过下式进行计算：
L＝Lh+Lm+Ll+C(L_edgeh+L_edgem+L_edgel) (1)
式(1)中，L表示多路监督损失，Lh表示高分辨率薄云图像去除损失，Lm表示中分辨率薄云图像去除损失，Ll表示低分辨率薄云图像去除损失；L_edgeh表示高分辨率薄云边缘特征的恢复损失，L_edgem表示中分辨率薄云边缘特征的恢复损失，L_edgel表示低分辨率薄云边缘特征的恢复损失；C表示权重系数。
结合第一方面，优选地，所述权重系数取值为0.01。
第二方面，本发明提供了一种基于全波段特征融合的遥感影像薄云去除系统，包括：
获取模块：用于获取待处理的多光谱遥感图像；
输出模块：用于使用训练完成的薄云去除网络对待处理的多光谱遥感图像进行多光谱影响薄云去除，输出去除薄云的多光谱遥感图像。
结合第二方面，进一步地，所述输出模块包括用于训练薄云去除网络的网络处理模块，所述网络处理模块包括：
预处理模块：用于获取同一地区有云和无云情况下的多光谱遥感图像，对获取到的图像进行预处理，得到训练集和测试集；
采样模块：用于利用预先构建的卷积神经网络对获取到的图像进行采样，得到图像不同分辨率光谱波段的空间特征和光谱特征；
特征融合模块：用于利用预先构建的双路特征融合模块将得到的空间特征和光谱特征进行融合，分别得到有云情况下图像特征图和无云情况下图像的特征图；所述预先构建的双路特征融合模块还包括全局空洞残差模块，所述全局空洞残差模块用于利用受薄云影响小的波段补全输入特征中的受薄云影响大的波段的空间特征和光谱特征；
优化模块：用于基于有云情况下图像特征图和和无云情况下图像的特征图，计算多路监督损失，优化预设的薄云去除网络的网络参数；
训练测试模块：用于利用训练集和测试集对优化后的薄云去除网络进行训练和测试，得到训练完成的薄云去除网络。
第三方面，本发明提供了一种基于全波段特征融合的遥感影像薄云去除装置，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行第一方面所述方法的步骤。
第四方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述方法的步骤。
与现有技术相比，本发明实施例所提供的一种基于全波段特征融合的遥感影像薄云去除方法及系统所达到的有益效果包括：
本发明获取待处理的多光谱遥感图像；使用训练完成的薄云去除网络对待处理的多光谱遥感图像进行多光谱影响薄云去除，输出去除薄云的多光谱遥感图像；能够提升薄云去除能力，具有薄云去除精度高、误差小的优点；
本发明在训练薄云去除网络中，利用预先构建的卷积神经网络对获取到的图像进行采样，得到图像不同分辨率光谱波段的空间特征和光谱特征；本发明利用卷积神经网络代替了人工设计的图像重采样方法，对多光谱图像各波段可根据目标自动学习最优的图像采样参数，并能将不同分辨率光谱波段的光谱特征进行融合；
本发明利用预先构建的双路特征融合模块将得到的空间特征和光谱特征进行融合，分别得到有云情况下图像特征图和无云情况下图像的特征图；能够从输入光谱波段提取多尺度特征，并能够将多尺度进行融合，且不增加参数；
本发明预先构建的双路特征融合模块还包括全局空洞残差模块，所述全局空洞残差模块用于利用受薄云影响小的波段补全输入特征中的受薄云影响大的波段的空间特征和光谱特征；能够以极少的参数补全空洞卷积丢失的信息；
本发明基于有云情况下图像特征图和无云情况下图像的特征图，计算多路监督损失，优化预设的薄云去除网络的网络参数；能够实现对高、中、低三种分辨率的薄云去除进行监督，提升所述融合全波段光谱特征的遥感影像薄云去除方法在不同分辨率上的薄云去除能力。
附图说明
图1是本发明实施例一提供的一种基于全波段特征融合的遥感影像薄云去除方法的流程图；
图2是本发明实施例一提供的一种基于全波段特征融合的遥感影像薄云去除方法的网络结构图；
图3是本发明实施例一提供的一种基于全波段特征融合的遥感影像薄云去除方法中双路特征融合模块中混合可分离卷积的结构示意图；
图4是本发明实施例一提供的一种基于全波段特征融合的遥感影像薄云去除方法中全局空洞残差模块的结构示意图；
图5是本发明实施例二提供的一种基于全波段特征融合的遥感影像薄云去除系统的结构图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
实施例一：
如图1所示，本发明实施例提供了一种基于全波段特征融合的遥感影像薄云去除方法，包括：
获取待处理的多光谱遥感图像；
使用训练完成的薄云去除网络对待处理的多光谱遥感图像进行多光谱影响薄云去除，输出去除薄云的多光谱遥感图像；
其中，所述训练完成的薄云去除网络，通过以下步骤得到：
获取同一地区有云和无云情况下的多光谱遥感图像，对获取到的图像进行预处理，得到训练集和测试集；
利用预先构建的卷积神经网络对获取到的图像进行采样，得到图像不同分辨率光谱波段的空间特征和光谱特征；
利用预先构建的双路特征融合模块将得到的空间特征和光谱特征进行融合，分别得到有云情况下图像特征图和无云情况下图像的特征图；所述预先构建的双路特征融合模块还包括全局空洞残差模块，所述全局空洞残差模块用于利用受薄云影响小的波段补全输入特征中的受薄云影响大的波段的空间特征和光谱特征；
基于有云情况下图像特征图和无云情况下图像的特征图，计算多路监督损失，优化预设的薄云去除网络的网络参数；
利用训练集和测试集对优化后的薄云去除网络进行训练和测试，得到训练完成的薄云去除网络。
在计算机内训练薄云去除网络，计算机的配置为：AMDRyzen9 3950X 16核处理器，Nvidia GeForceRTX3090图形处理器，主频3.49GHz，内存64GB，操作系统为windows10。融合全波段光谱特征的遥感影像薄云去除网络的实现基于Tensorflow2.0深度学习框架工具包。
具体训练过程如下：
步骤1：获取同一地区有云和无云情况下的多光谱遥感图像，对获取到的图像进行预处理，得到训练集和测试集。
获取24对Sentinel-2有云和无云影像数据，合成RGB波段数据，通过python脚本，将每景图像按384x384的窗口裁剪，然后将有云和无云图像通过人工目视判读放到有云和无云的文件夹；将其中20对划为训练数据，4对划为验证数据，将训练数据中4个10米波段原始文件按384x384窗口裁剪，6个20米波段原始文件按192x192窗口裁剪，3个60米波段原始文件按64x64窗口裁剪，相同位置的10米、20米、60米有云和无云切片为一组训练数据，共计15680组训练切片数据。
步骤2：利用预先构建的卷积神经网络对获取到的图像进行采样，得到图像不同分辨率光谱波段的空间特征和光谱特征。
预先构建的卷积神经网络包括高、中、低分辨率分支；高、中、低分辨率分支分别对输入图像的对应分辨率进行下采样，将高分辨率分支的输出特征与中分辨率分支输出的特征在通道上连接，得到第一特征；中分辨率分支对第一特征进行下采样，输出第二特征，所述第二特征特征与低分辨率分支输出的特征在通道上连接；输出图像不同分辨率光谱波段的空间特征和光谱特征。
具体的如图3所示，高、中、低分辨率分支都是由普通的卷积网络和双路特征融合模块构成。所有输入分支都首先经过一个卷积层提取原始特征，卷积核大小为3x3，步长为1，保证了输出和输入大小一致。高分辨率分支输出送入到一个并行下采样残差模块(PDRB,Parallel Down-sample Residual Block)，该模块包含一个双路特征融合模块，和一个最大池化层，卷积核为3x3，步长为2，对输入进行4倍下采样，输出与中分辨率分支输出在通道上连接，然后再经过融合下采样残差模块(FDRB,FusionDown-sample Residual Block)，该模块包含一个双路特征融合模块路径和两个最大池化层路径，卷积核3x3，步长为3的卷积层进行9倍下采样，各路径输出相加后输入到下一层，与低分辨率分支输出在通道连接，所有分支的输出都融合在一起；再经过一个并行下采样残差模块；至此，卷积核3x3，步长为2的卷积层进行4倍下采样。
利用卷积神经网络代替了人工设计的图像重采样方法，对多光谱图像各波段可根据目标自动学习最优的图像采样参数，并能将不同分辨率光谱波段的光谱特征进行融合。
步骤3：利用预先构建的双路特征融合模块将得到的空间特征和光谱特征进行融合，分别得到有云情况下图像特征图和无云情况下图像的特征图。
步骤3.1：构建双路特征融合模块。
预先构建的双路特征融合模块包括2个并列的深度卷积分支和1个1x1卷积层；所述特征分别通过2个深度卷积路径分别进行卷积处理，得到2组输出特征；将2组输出特征在通道上连接；利用1x1卷积层将连接后的特征通道数压缩到与输入特征相同的通道数。
如图2所示，具体的，一个双路特征融合模块包含两个处理路径，第一个处理路径包含一个深度卷积，卷积核大小都为3x3，步长为2，第二个处理路径包含两个深度卷积，卷积核大小都为3x3，步长为1和2，最后将两条路径的处理结果在通道上相连，再通过一个1x1卷积融合处理输出。
该步骤能够从输入光谱波段提取多尺度特征，并能够将多尺度进行融合，且不增加参数。
步骤3.2：构建全局空洞残差模块。
全局空洞残差模块包括2组并列的3D卷积层和空洞卷积层，所述空洞卷积层的输入端连接所述3D卷积层的输出端；利用一组3D卷积层对输入的特征进行处理，将处理结果输入空洞卷积层；将空洞卷积层输出的特征与输入的特征相加，得到第一补全特征；利用另一组3D卷积层对第一补全特征进行处理，将处理结果输入空洞卷积层；将空洞卷积层输出的特征与输入的特征相加，得到第二补全特征，即为输入特征中的受薄云影响大的波段的空间特征和光谱特征
如图4所示，具体的，全局共享卷积层的卷积核在所有通道共享，卷积核大小为(2Rate+1)x(2Rate+1)Rate为空洞卷积的空洞率，这里由下到上分别设置为2，2，3，3，4，4；空洞卷积层可训练的参数为3x3，卷积核大小为(2Rate+1)x(2Rate+1)；一个全局共享卷积层和一个空洞卷积层构成一个基本单元，在基本单元中输入首先经过全局共享卷积层，再经过空洞卷积层，空洞卷积层的输入和输出相加后再输入到下一个基本单元，共享空洞卷积模块的输入和输出相加，构成级联的残差；这里使用6个空洞残差模块构建特征融合通道来提取特征。
该步骤能够以极少的参数提取输入特征中的信息，通过级联的残差结构可使消除空洞卷积带来的网格伪影。
步骤4：基于有云情况下图像特征图和无云情况下图像的特征图，计算多路监督损失，优化预设的薄云去除网络的网络参数。
计算多路监督损失，通过下式进行计算：
L＝Lh+Lm+Ll+C(L_edgeh+L_edgem+L_edgel) (1)
式(1)中，L表示多路监督损失，Lh表示高分辨率薄云图像去除损失，Lm表示中分辨率薄云图像去除损失，Ll表示低分辨率薄云图像去除损失；L_edgeh表示高分辨率薄云边缘特征的恢复损失，L_edgem表示中分辨率薄云边缘特征的恢复损失，L_edgel表示低分辨率薄云边缘特征的恢复损失；C表示权重系数。
具体的，将有云情况下图像特征图和无云情况下图像的特征图输入由全局空洞残差模块构成的特征融合通道中，本发明所述方法的整体结构基于U-Net结构，上采样过程和输入分支对应，通过设置转置卷积不同的步长上采样到不同分辨率，分别输出高、中、低三个分辨率的薄云去除结果。本发明使用均方误差作为损失函数，将不同分辨率的云掩膜和薄云去除结果一起代入损失函数，分别为高分辨率薄云去除损失Lh，中分辨率薄云去除损失Lm和低分辨率薄云去除损失Ll；并将边缘特征的恢复损失L_edgeh,L_edgem,L_edgel加入损失函数，对图像和边缘损失添加不同的权重系数，得到所述多路监督损失函数，通过反向传播算法，优化网络参数。
该步骤能够实现对高、中、低三种分辨率的薄云去除进行监督，提升所述融合全波段光谱特征的遥感影像薄云去除方法在不同分辨率上的薄云去除能力。
步骤5：利用训练集和测试集对优化后的薄云去除网络进行训练和测试，得到训练完成的薄云去除网络。
利用步骤1中的训练数据，训练所述融合全波段光谱特征的遥感影像薄云去除网络，网络中所有卷积核的初始化采用均值为0、方差为0.01的高斯分布，偏置的初始化采用固定值0.0，采用Adam优化算法，批次大小为16，初始学习率设为0.002，前50000次迭代保持不变，50000次后每迭代100次减小为0.98，实际训练时每迭代5轮，进行一次模型精度验证，迭代40轮后模型基本收敛。
根据以上步骤以卷积网络为基础，以利用全波段光谱特征检测遥感图像中的云为目标，建立一个有效的薄云去除网络，达到了很好的薄云去除精度。
以上所述发明同样可以推广到其他同类型多光谱遥感影像的薄云去除任务，只需s设置合适的采样参数。根据任务情况判断薄云去除网络是否需要进行重新训练。若需要则按照步骤1建立多光谱有云影像和无云图像对的训练数据，对网络重新进行训练，即可得到适用于多光谱遥感图像的薄云去除网络。
实施例二：
如图5所示，本发明实施例提供一种基于全波段特征融合的遥感影像薄云去除系统，包括：
获取模块：用于获取待处理的多光谱遥感图像；
输出模块：用于使用训练完成的薄云去除网络对待处理的多光谱遥感图像进行多光谱影响薄云去除，输出去除薄云的多光谱遥感图像。
所述输出模块包括用于训练薄云去除网络的网络处理模块，所述网络处理模块包括：
预处理模块：用于获取同一地区有云和无云情况下的多光谱遥感图像，对获取到的图像进行预处理，得到训练集和测试集；
采样模块：用于利用预先构建的卷积神经网络对获取到的图像进行采样，得到图像不同分辨率光谱波段的空间特征和光谱特征；
特征融合模块：用于利用预先构建的双路特征融合模块将得到的空间特征和光谱特征进行融合，分别得到有云情况下图像特征图和无云情况下图像的特征图；所述预先构建的双路特征融合模块还包括全局空洞残差模块，所述全局空洞残差模块用于利用受薄云影响小的波段补全输入特征中的受薄云影响大的波段的空间特征和光谱特征；
优化模块：用于基于有云情况下图像特征图和和无云情况下图像的特征图，计算多路监督损失，优化预设的薄云去除网络的网络参数；
训练测试模块：用于利用训练集和测试集对优化后的薄云去除网络进行训练和测试，得到训练完成的薄云去除网络。
实施例三：
本发明实施例提供一种基于全波段特征融合的遥感影像薄云去除装置，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行实施例一所述方法的步骤。
实施例四：
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现实施例一所述方法的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (6)

1.一种基于全波段特征融合的遥感影像薄云去除方法，其特征在于，包括：
获取待处理的多光谱遥感图像；
使用训练完成的薄云去除网络对待处理的多光谱遥感图像进行多光谱影响薄云去除，输出去除薄云的多光谱遥感图像；
其中，所述训练完成的薄云去除网络，通过以下步骤得到：
获取同一地区有云和无云情况下的多光谱遥感图像，对获取到的图像进行预处理，得到训练集和测试集；
利用预先构建的卷积神经网络对获取到的图像进行采样，得到图像不同分辨率光谱波段的空间特征和光谱特征；其中，所述预先构建的卷积神经网络包括高、中、低分辨率分支；所述高、中、低分辨率分支分别对输入图像的对应分辨率进行下采样，将高分辨率分支的输出特征与中分辨率分支输出的特征在通道上连接，得到第一特征；所述中分辨率分支对第一特征进行下采样，输出第二特征，所述第二特征与低分辨率分支输出的特征在通道上连接；输出图像不同分辨率光谱波段的空间特征和光谱特征；
利用预先构建的双路特征融合模块将得到的空间特征和光谱特征进行融合，分别得到有云情况下图像特征图和无云情况下图像的特征图；所述预先构建的双路特征融合模块包括2个并列的深度卷积分支和1个1x1卷积层；所述特征分别通过2个深度卷积路径分别进行卷积处理，得到2组输出特征；将2组输出特征在通道上连接；利用1x1卷积层将连接后的特征通道数压缩到与输入特征相同的通道数；还包括全局空洞残差模块，所述全局空洞残差模块用于利用受薄云影响小的波段补全输入特征中的受薄云影响大的波段的空间特征和光谱特征；所述全局空洞残差模块包括2组并列的3D卷积层和空洞卷积层，所述空洞卷积层的输入端连接所述3D卷积层的输出端；利用一组3D卷积层对输入的特征进行处理，将处理结果输入空洞卷积层；将空洞卷积层输出的特征与输入的特征相加，得到第一补全特征；利用另一组3D卷积层对第一补全特征进行处理，将处理结果输入空洞卷积层；将空洞卷积层输出的特征与输入的特征相加，得到第二补全特征，即为输入特征中的受薄云影响大的波段的空间特征和光谱特征；
基于有云情况下图像特征图和无云情况下图像的特征图，计算多路监督损失，优化预设的薄云去除网络的网络参数；
利用训练集和测试集对优化后的薄云去除网络进行训练和测试，得到训练完成的薄云去除网络。
2.根据权利要求1所述的基于全波段特征融合的遥感影像薄云去除方法，其特征在于，所述对获取到的图像进行预处理包括：
将获取到的图像切分为小块；
对小块进行人工目视解译，将有云的图像块放入有云文件夹，无云的图像块放入无云文件夹；
将有云文件夹中图像块划分为有云训练集和有云测试集，将无云文件夹中图像块划分为无云训练集和无云测试集；所述有云训练集和无云训练集构成所述训练集，所述有云测试集和无云测试集构成所述测试集。
3.根据权利要求1所述的基于全波段特征融合的遥感影像薄云去除方法，其特征在于，所述计算多路监督损失，通过下式进行计算：
L=Lh+Lm+Ll+C(L_edgeh+L_edgem+L_edgel) （1）
式（1）中，L表示多路监督损失，Lh表示高分辨率薄云图像去除损失，Lm表示中分辨率薄云图像去除损失，Ll表示低分辨率薄云图像去除损失；L_edgeh表示高分辨率薄云边缘特征的恢复损失，L_edgem表示中分辨率薄云边缘特征的恢复损失，L_edgel表示低分辨率薄云边缘特征的恢复损失；C表示权重系数。
4.一种基于全波段特征融合的遥感影像薄云去除系统，其特征在于，包括：
获取模块：用于获取待处理的多光谱遥感图像；
输出模块：用于使用训练完成的薄云去除网络对待处理的多光谱遥感图像进行多光谱影响薄云去除，输出去除薄云的多光谱遥感图像；
其中，所述输出模块包括用于训练薄云去除网络的网络处理模块，所述网络处理模块包括：
预处理模块：用于获取同一地区有云和无云情况下的多光谱遥感图像，对获取到的图像进行预处理，得到训练集和测试集；
采样模块：用于利用预先构建的卷积神经网络对获取到的图像进行采样，得到图像不同分辨率光谱波段的空间特征和光谱特征；其中，所述预先构建的卷积神经网络包括高、中、低分辨率分支；所述高、中、低分辨率分支分别对输入图像的对应分辨率进行下采样，将高分辨率分支的输出特征与中分辨率分支输出的特征在通道上连接，得到第一特征；所述中分辨率分支对第一特征进行下采样，输出第二特征，所述第二特征与低分辨率分支输出的特征在通道上连接；输出图像不同分辨率光谱波段的空间特征和光谱特征；
特征融合模块：用于利用预先构建的双路特征融合模块将得到的空间特征和光谱特征进行融合，分别得到有云情况下图像特征图和无云情况下图像的特征图；所述预先构建的双路特征融合模块包括2个并列的深度卷积分支和1个1x1卷积层；所述特征分别通过2个深度卷积路径分别进行卷积处理，得到2组输出特征；将2组输出特征在通道上连接；利用1x1卷积层将连接后的特征通道数压缩到与输入特征相同的通道数；还包括全局空洞残差模块，所述全局空洞残差模块用于利用受薄云影响小的波段补全输入特征中的受薄云影响大的波段的空间特征和光谱特征；所述全局空洞残差模块包括2组并列的3D卷积层和空洞卷积层，所述空洞卷积层的输入端连接所述3D卷积层的输出端；利用一组3D卷积层对输入的特征进行处理，将处理结果输入空洞卷积层；将空洞卷积层输出的特征与输入的特征相加，得到第一补全特征；利用另一组3D卷积层对第一补全特征进行处理，将处理结果输入空洞卷积层；将空洞卷积层输出的特征与输入的特征相加，得到第二补全特征，即为输入特征中的受薄云影响大的波段的空间特征和光谱特征；
优化模块：用于基于有云情况下图像特征图和无云情况下图像的特征图，计算多路监督损失，优化预设的薄云去除网络的网络参数；
训练测试模块：用于利用训练集和测试集对优化后的薄云去除网络进行训练和测试，得到训练完成的薄云去除网络。
5.一种基于全波段特征融合的遥感影像薄云去除装置，其特征在于，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行权利要求1~3任一项所述方法的步骤。
6.计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1~3任一项所述方法的步骤。
CN202111332467.2A 2021-11-11 2021-11-11 一种基于全波段特征融合的遥感影像薄云去除方法及系统 Active CN114066755B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111332467.2A CN114066755B (zh) 2021-11-11 2021-11-11 一种基于全波段特征融合的遥感影像薄云去除方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111332467.2A CN114066755B (zh) 2021-11-11 2021-11-11 一种基于全波段特征融合的遥感影像薄云去除方法及系统

Publications (2)

Publication Number Publication Date
CN114066755A CN114066755A (zh) 2022-02-18
CN114066755B true CN114066755B (zh) 2023-02-14

Family

ID=80275214

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111332467.2A Active CN114066755B (zh) 2021-11-11 2021-11-11 一种基于全波段特征融合的遥感影像薄云去除方法及系统

Country Status (1)

Country Link
CN (1) CN114066755B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115546076B (zh) * 2022-12-05 2023-04-07 耕宇牧星(北京)空间科技有限公司 一种基于卷积网络的遥感图像薄云去除方法
CN116343063B (zh) * 2023-05-26 2023-08-11 南京航空航天大学 一种路网提取方法、系统、设备及计算机可读存储介质
CN116823664B (zh) * 2023-06-30 2024-03-01 中国地质大学（武汉） 一种遥感图像云去除方法及系统
CN117611494B (zh) * 2024-01-24 2024-04-30 北京理工大学 一种全色遥感图像薄云去除方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014179482A1 (en) * 2013-04-30 2014-11-06 The Regents Of The University Of California Fire urgency estimator in geosynchronous orbit (fuego)
JP6885509B2 (ja) * 2017-09-08 2021-06-16 日本電気株式会社 画像処理装置、画像処理方法及び画像処理プログラム
CN108460739A (zh) * 2018-03-02 2018-08-28 北京航空航天大学 一种基于生成对抗网络的遥感图像薄云去除方法
CN108921799B (zh) * 2018-06-22 2021-07-23 西北工业大学 基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法
MX2021004475A (es) * 2018-10-19 2021-06-04 Climate Llc Tecnica de aprendizaje automatico para identificar nubes y sombras de nubes en imagenes satelitales.
CN109934200B (zh) * 2019-03-22 2023-06-23 南京信息工程大学 一种基于改进M-Net的RGB彩色遥感图像云检测方法及系统
US20210247297A1 (en) * 2019-07-01 2021-08-12 David P. Groeneveld Systems and Methods for Converting Satellite Images to Surface Reflectance Using Scene Statistics
US11140422B2 (en) * 2019-09-25 2021-10-05 Microsoft Technology Licensing, Llc Thin-cloud system for live streaming content
CN111274865B (zh) * 2019-12-14 2023-09-19 深圳先进技术研究院 一种基于全卷积神经网络的遥感图像云检测方法及装置
CN112465733B (zh) * 2020-08-31 2022-06-28 长沙理工大学 基于半监督学习的遥感图像融合方法、装置、介质及设备
CN112529788B (zh) * 2020-11-13 2022-08-19 北京航空航天大学 一种基于薄云厚度图估计的多光谱遥感图像薄云去除方法
CN113129247B (zh) * 2021-04-21 2023-04-07 重庆邮电大学 基于自适应多尺度残差卷积的遥感图像融合方法及介质

Also Published As

Publication number Publication date
CN114066755A (zh) 2022-02-18

Similar Documents

Publication Publication Date Title
CN114066755B (zh) 一种基于全波段特征融合的遥感影像薄云去除方法及系统
CN108921799B (zh) 基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法
CN109934153B (zh) 基于门控深度残差优化网络的建筑物提取方法
CN112861729B (zh) 一种基于伪深度图引导的实时深度补全方法
CN113673590B (zh) 基于多尺度沙漏密集连接网络的去雨方法、系统和介质
CN110163213B (zh) 基于视差图和多尺度深度网络模型的遥感图像分割方法
CN110991430B (zh) 基于遥感图像的地物识别及覆盖率计算方法及系统
CN116309070A (zh) 一种高光谱遥感图像超分辨率重建方法、装置及计算机设备
CN114494821A (zh) 基于特征多尺度感知与自适应聚合的遥感影像云检测方法
CN112419197A (zh) 一种通用的单、多时相sar影像相干斑噪声去除方法
CN114092794A (zh) 一种海冰图像分类方法、系统、介质、设备及处理终端
CN115375548A (zh) 一种超分辨率的遥感图像生成方法、系统、设备和介质
CN111738168A (zh) 基于深度学习的卫星影像河流两侧采砂提取方法及系统
CN114549385A (zh) 一种基于深度稠密残差网络的光学与sar图像融合的去云方法
CN117115666B (zh) 基于多源数据的高原湖泊提取方法、装置、设备及介质
CN114092803A (zh) 基于遥感图像的云检测方法、装置、电子设备及介质
CN112800851B (zh) 基于全卷积神经元网络的水体轮廓自动提取方法及系统
Qian et al. Selfs2: Self-supervised transfer learning for sentinel-2 multispectral image super-resolution
CN116310828A (zh) 一种结合Transformer和CNN的高分辨率遥感图像变化检测方法及装置
CN114998101A (zh) 一种基于深度学习的卫星影像超分辨率方法
CN116311218A (zh) 基于自注意力特征融合的带噪植株点云语义分割方法及系统
CN115187463A (zh) 一种滑坡遥感影像集超分辨率重建方法和系统
CN112116561B (zh) 基于图像处理融合网络权值的电网传输线检测方法及装置
CN114638761A (zh) 一种高光谱图像全色锐化方法、设备及介质
CN112734675A (zh) 一种基于金字塔模型和非局部增强密集块的图像去雨方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant