CN113935908A - 一种基于双支路通道和特征强化机制的遥感图像去云方法 - Google Patents

一种基于双支路通道和特征强化机制的遥感图像去云方法 Download PDF

Info

Publication number
CN113935908A
CN113935908A CN202111088587.2A CN202111088587A CN113935908A CN 113935908 A CN113935908 A CN 113935908A CN 202111088587 A CN202111088587 A CN 202111088587A CN 113935908 A CN113935908 A CN 113935908A
Authority
CN
China
Prior art keywords
cloud
remote sensing
sensing image
branch
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111088587.2A
Other languages
English (en)
Other versions
CN113935908B (zh
Inventor
王丹丹
刘宇航
吴天琦
佘玉成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Dongfanghong Satellite Co Ltd
Original Assignee
Aerospace Dongfanghong Satellite Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Dongfanghong Satellite Co Ltd filed Critical Aerospace Dongfanghong Satellite Co Ltd
Priority to CN202111088587.2A priority Critical patent/CN113935908B/zh
Publication of CN113935908A publication Critical patent/CN113935908A/zh
Application granted granted Critical
Publication of CN113935908B publication Critical patent/CN113935908B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30192—Weather; Meteorology
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明一种基于双支路通道和特征强化机制的遥感图像去云方法，所述方法包括：构建遥感图像去云数据集。选取彩色无云遥感图进行灰度处理和加云操作分别得到灰度无云遥感图和彩色有云遥感图，在所有图像的相应位置裁剪得到图像块，组成训练集和测试集。构建遥感图像去云网络，遥感图像去云网络设计为双支路通道结构，网络输入为彩色有云遥感图，输出为灰度去云遥感图和彩色去云遥感图，网络结构采用空间通道注意力单元和多尺度稠密连接单元实现特征提取与特征强化。设计灰度损失函数、彩色损失函数和云层特征损失函数的线性组合作为总体损失函数，用于训练遥感图像去云网络，网络收敛后得到模型参数。将模型参数导入遥感图像去云网络，实现遥感图像去云任务。

Description

一种基于双支路通道和特征强化机制的遥感图像去云方法
技术领域
本发明涉及人工智能和图像处理技术领域，尤其涉及一种基于双支路通道和特征强化机制的遥感图像去云方法。
背景技术
随着遥感技术的飞速发展，遥感图像应用在越来越多的技术领域，为科研、生活都提供了很大便利，例如灾害预测、天气预报和交通监控等诸多领域。然而，光学遥感图像在成像过程中受到云层的影响，使图像部分被遮挡导致图像信息丢失，为后续图像的利用带来很大困难。综上所述，提出一种光学遥感图像去云方法具有非常重要的应用价值。
传统光学遥感图像去云方法一般采用滤波法等，此类方法适用范围比较局限，不能适应复杂变化的场景。采用深度神经网络设计遥感图像去云方法不仅适用性强，不依赖先验信息和物理模型，因此采用深度学习方法提出一种端到端的遥感图像去云算法具有很大的研究价值。
发明内容
本发明解决的技术问题是：克服现有技术的不足，提供一种基于双支路通道和特征强化机制的遥感图像去云方法，本发明采用深度学习方法实现光学遥感图像的去云方法，通过构建遥感图像去云数据集，并设计双支路结构的遥感图像去云网络完成去云算法，通过空间通道注意力单元和多尺度稠密连接单元实现特征提取与特征强化。
本发明的技术方案是：一种基于双支路通道和特征强化机制的遥感图像去云方法，步骤如下：
1)构建遥感图像去云数据集，包括彩色有云图、彩色无云图和灰度无云图；选取彩色无云遥感图进行灰度处理和加云操作分别得到灰度无云遥感图和彩色有云遥感图，在所有图像的相应位置裁剪得到图像块，组成训练集和测试集；
2)构建遥感图像去云网络，遥感图像去云网络设计为双支路通道结构，双支路分别用于恢复灰度无云遥感图和彩色无云遥感图，遥感图像去云网络输入为彩色有云遥感图，输出为灰度去云遥感图和彩色去云遥感图，遥感图像去云网络结构通过构建空间通道注意力单元和多尺度稠密连接单元实现特征提取与特征强化；
3)设计灰度损失函数
Figure BDA0003266693530000021
彩色损失函数
Figure BDA0003266693530000022
和云层特征损失函数Lf的线性组合作为总体损失函数，用于训练遥感图像去云网络，网络收敛后得到模型参数；
4)将模型参数导入遥感图像去云网络，实现遥感图像去云任务。
所述步骤1)中，遥感图像去云数据集具体为：
11)所述遥感图像去云数据集包括彩色有云图像、彩色无云图像和灰度无云图像；选取m张彩色无云遥感图像进行灰度处理得到m张灰度无云遥感图像，对m张彩色无云遥感图像进行加云操作得到m张彩色有云遥感图像，在所有图像的相应位置进行无重叠裁剪得到n个彩色有云遥感图像块，即{Ii|i∈(1,…,n)}；与之对应的n个彩色无云遥感图像块，即{Ji|i∈(1,…,n)}；与之对应的n个灰度无云遥感图像块，即{Ki|i∈(1,…,n)}；将彩色有云遥感图像块I、彩色无云遥感图像块J和灰度无云遥感图像块K组成遥感图像数据集，记为{Ii,Ji,Ki|i∈(1,…,n)}；
12)将所述遥感图像去云数据集图像尺寸缩放至N×N，同时随机旋转90°、180°和270°，并按照p1：p2划分得到训练数据集和测试数据集；N、p1、p2为正整数。
所述步骤2)中，遥感图像去云网络具体为：
21)所述遥感图像去云网络设计为双支路通道结构，支路1和支路2分别记为
Figure BDA0003266693530000023
和
Figure BDA0003266693530000024
分别从灰度图和彩色图层面进行无云遥感图像恢复任务，整体网络输入为彩色有云遥感图像，输出为灰度去云遥感图像和彩色去云遥感图像；
22)构建遥感图像去云网络结构中支路1，负责从灰度图上提取云层特征，实现灰度无云遥感图像的重建，并将提取到的特征共享给网络其他部分完成遥感图像去云；构建遥感图像去云网络结构中支路2，负责从彩色图上提取云层特征，同时对支路1提取的灰度图的云层特征进行整合，完成彩色去云遥感图像的重建。
所述构建空间通道注意力单元，具体为从空间上探索特征图中的云层特征，令网络对此类特征更加关注，实现特征强化。
所述构建空间通道注意力单元的具体过程为：
空间通道注意力单元对输入Sin进行平均值通道池化和最大值通道池化操作，随后采用1×1卷积减少通道个数并采用Sigmoid激活函数得到输出
Figure BDA0003266693530000031
最终将输入Sin与
Figure BDA0003266693530000032
进行乘积操作实现空间通道注意力机制，得到空间通道注意力单元的最终输出Sout。
所述构建多尺度稠密连接单元，具体为采用不同尺度滤波器的支路提取多尺度云层特征，设计稠密连接重复利用特征并减少参数量，实现去云工作。
所述构建多尺度稠密连接单元的具体过程为：
31)多尺度稠密连接单元由s条支路组成，每条支路包括2层卷积模块，{1,2,…,s}条支路的滤波器尺寸依次为{f1×f1,f2×f2,…,fs×fs}，其中，fs表示第s条支路的滤波器尺寸，fs为正整数；{1,2,…,s}条支路的卷积模块输出依次为
Figure BDA0003266693530000033
其中，
Figure BDA0003266693530000034
表示第s条支路两层卷积模块的输出，
Figure BDA0003266693530000035
表示第s条支路第一层卷积模块输出，
Figure BDA0003266693530000036
表示第s条支路第二层卷积模块输出，所有卷积滤波器个数均为g，卷积步幅均为r，s，g和r均为正整数，所有激活函数均为ReLU函数；支路上的第一层卷积输出求和得到
Figure BDA0003266693530000037
作为第二层卷积的输入，支路上的第二层卷积输出求和得到
Figure BDA0003266693530000038
作为稠密连接部分的输入，具体如下式所示：
Figure BDA0003266693530000041
式中，
Figure BDA0003266693530000042
表示第z条支路的第一层卷积输出，V表示第一层卷积，
Figure BDA0003266693530000043
表示第一层卷积的s条支路输出求和结果，z为支路的序号，s为支路总数量，s和z均为正整数；
Figure BDA0003266693530000044
式中，
Figure BDA0003266693530000045
表示第e条支路的第二层卷积输出，H表示第二层卷积，
Figure BDA0003266693530000046
表示第二层卷积的s条支路输出求和结果，e为支路的序号，s为支路总数量，s和e均为正整数；
32)构建多尺度稠密连接单元中稠密连接部分，设计u个卷积模块的稠密连接提取图像特征，{1,2,…,u}个卷积模块输出依次记为
Figure BDA0003266693530000047
Figure BDA0003266693530000048
表示第u个卷积模块的输出，其中，D表示该卷积模块属于稠密连接部分；最终采用一个残差连接整合模块输入Xin，得到最终输出Xout，具体如下式所示：
Figure BDA0003266693530000049
式中，Xin和Xout表示多尺度稠密连接单元输入和输出，
Figure BDA00032666935300000410
表示多尺度特征提取部分中第二层卷积输出求和结果，
Figure BDA00032666935300000411
表示稠密连接部分中第u个卷积模块的输出，concat为通道上的级联，u为卷积模块的个数，u为正整数。
所述灰度损失函数
Figure BDA00032666935300000412
具体如下式所示：
Figure BDA00032666935300000413
式中，J表示彩色无云图，I表示彩色有云图，
Figure BDA00032666935300000414
表示去云网络输出的灰度图，
Figure BDA00032666935300000415
表示灰度去云图。
所述彩色损失函数
Figure BDA00032666935300000416
具体如下式所示：
Figure BDA00032666935300000417
式中，
Figure BDA00032666935300000418
表示去云网络输出的彩色图，
Figure BDA00032666935300000419
表示彩色去云图。
所述云层特征损失函数Lf具体如下式所示：
Figure BDA0003266693530000051
式中，Δ(·)表示VGG19网络输出特征图，q表示VGG19网络输出特征图层数的索引，t表示输出特征图的层数，i，j和k表示特征图的宽、高和个数的索引，w，h和c表示特征图的宽、高和数量，q∈{1,…,t}，i∈{1,…,w}，j∈{1,…,h}，k∈{1,…,c}；q，i，j，k，t，w，h和c均为正整数。
本发明提供的技术方案的有益效果是：
1、考虑到云对图像灰度值影响较大，本发明通过彩色有云图、彩色无云图和灰度无云图的遥感图像去云数据集，将云雾对图像灰度值的影响重点考虑，构建双支路通道结构的云雾去除网络用于恢复灰度和彩色无云遥感图，去云效果更加彻底、逼真；
2、现有遥感图像去云方法通常采用物理模型和公式推导，本发明不依赖于物理模型及公式推导，通过构建的云雾去除网络学习有云遥感图和无云遥感图之间的映射关系，可直接完成单张有云遥感图像的去云任务；
3、现有遥感图像去云方法适用范围局限，无法处理复杂的场景，本发明采用空间通道注意力单元和多尺度稠密连接单元实现云雾特征提取与特征强化，适用范围广，适用于复杂的场景，去云效果真实自然。
附图说明
图1为一种基于双支路通道和特征强化机制的遥感图像去云方法的流程图；
图2为遥感图像去云网络模型结构示意图；
图3为空间通道注意力单元结构示意图；
图4为多尺度稠密连接单元结构示意图。
具体实施方式
为了实现光学遥感图像的薄云去除，本发明实施例提出了一种基于双支路通道和特征强化机制的遥感图像去云方法，参见图1，详见下文描述：
一种基于双支路通道和特征强化机制的遥感图像去云方法，所述方法包括：
101：构建遥感图像去云数据集，包括彩色有云图、彩色无云图和灰度无云图。选取彩色无云遥感图进行灰度处理和加云操作分别得到灰度无云遥感图和彩色有云遥感图，在所有图像的相应位置裁剪得到图像块，组成训练集和测试集。
102：构建遥感图像去云网络，遥感图像去云网络设计为双支路通道结构，双支路分别用于恢复灰度无云遥感图和彩色无云遥感图，因此网络输入为彩色有云遥感图，输出为灰度去云遥感图和彩色去云遥感图，网络结构采用空间通道注意力单元和多尺度稠密连接单元实现特征提取与特征强化。
103：构建空间通道注意力单元，目的是从空间上探索特征图中的云层特征，令网络对此类特征更加关注，实现特征强化；构建多尺度稠密连接单元，采用不同尺度滤波器的支路提取多尺度云层特征，设计稠密连接重复利用特征并减少参数量，实现去云工作。
104：设计灰度损失函数
Figure BDA0003266693530000061
彩色损失函数
Figure BDA0003266693530000062
和云层特征损失函数Lf的线性组合作为总体损失函数，用于训练遥感图像去云网络，网络收敛后得到模型参数。
105：将模型参数导入遥感图像去云网络，实现遥感图像去云任务。
其中，步骤101中构建数据集实施的具体步骤为：
1)构建遥感图像去云数据集，包括彩色有云图像、彩色无云图像和灰度无云图像。选取m张彩色无云遥感图像进行灰度处理得到m张灰度无云遥感图像，对m张彩色无云遥感图像进行加云操作得到m张彩色有云遥感图像，在所有图像的相应位置进行无重叠裁剪得到n个彩色有云遥感图像块，即{Ii|i∈(1,…,n)}；与之对应的n个彩色无云遥感图像块，即{Ji|i∈(1,…,n)}；与之对应的n个灰度无云遥感图像块，即{Ki|i∈(1,…,n)}；将彩色有云遥感图像块I、彩色无云遥感图像块J和灰度无云遥感图像块K组成遥感图像数据集，记为{Ii,Ji,Ki|i∈(1,…,n)}。
2)将上述制作得到的遥感图像数据集图像尺寸缩放至N×N，同时随机旋转90°、180°和270°，并按照p1：p2划分得到训练数据集和测试数据集；N、p1、p2为正整数。
其中，步骤102中遥感图像去云网络实施的具体步骤为：
1)如图2所示，遥感图像去云网络设计为双支路通道结构，支路1和支路2分别记为
Figure BDA0003266693530000071
和
Figure BDA0003266693530000072
分别从灰度图和彩色图层面进行无云遥感图像恢复任务，整体网络输入为彩色有云遥感图像，输出为灰度去云遥感图像和彩色去云遥感图像。
2)考虑到云层对图像灰度值影响较为明显，因此支路1负责从灰度图上提取云层特征，实现灰度无云遥感图像的重建，并将提取到的特征共享给网络其他部分完成遥感图像去云。支路2负责从彩色图上提取云层特征，同时对支路1提取的灰度图的云层特征进行整合，完成彩色去云遥感图像的重建。
3)遥感图像去云网络结构采用空间通道注意力单元(Spatial ChannelAttention Unit,SCAU)实现特征强化任务，采用多尺度稠密连接单元(Multi-scaleDensely Connected Unit,MDCU)实现特征提取与重建，两种单元结构将在步骤103中详细介绍。
其中，步骤103中实施的具体步骤为：
1)构建空间通道注意力单元(Spatial Channel Attention Unit,SCAU)，目的是从空间上探索特征图中的云层特征，令网络对此类特征更加关注，实现特征强化。如图3所示，空间通道注意力单元对输入Sin进行平均值通道池化(Mean Channel Pooling)和最大值通道池化(Max Channel Pooling)操作，随后采用1×1卷积减少通道个数并采用Sigmoid激活函数得到输出
Figure BDA0003266693530000073
最终将输入Sin与
Figure BDA0003266693530000074
进行乘积操作实现空间通道注意力机制，得到空间通道注意力单元的最终输出Sout。
2)构建多尺度稠密连接单元(Multi-scale Densely Connected Unit,MDCU)中多尺度特征提取部分，采用不同尺度滤波器的支路提取多尺度云层特征，并设计稠密连接重复利用特征并减少参数量，实现去云工作。如图4所示，多尺度稠密连接单元由s条支路组成，每条支路包括2层卷积模块，{1,2,…,s}条支路的滤波器尺寸依次为{f1×f1,f2×f2,…,fs×fs}，其中，fs表示第s条支路的滤波器尺寸，fs为正整数。{1,2,…,s}条支路的卷积模块输出依次为
Figure BDA0003266693530000081
其中，
Figure BDA0003266693530000082
表示第s条支路两层卷积模块的输出，
Figure BDA0003266693530000083
表示第s条支路第一层卷积模块输出，
Figure BDA0003266693530000084
表示第s条支路第二层卷积模块输出，所有卷积滤波器个数均为g，卷积步幅均为r，s，g和r均为正整数，所有激活函数均为ReLU函数；支路上的第一层卷积输出求和得到
Figure BDA0003266693530000085
作为第二层卷积的输入，支路上的第二层卷积输出求和得到
Figure BDA0003266693530000086
作为稠密连接部分的输入，具体如式(1)和(2)所示：
Figure BDA0003266693530000087
式中，
Figure BDA0003266693530000088
表示第z条支路的第一层卷积输出，V表示第一层卷积，
Figure BDA0003266693530000089
表示第一层卷积的s条支路输出求和结果，z为支路的序号，s为支路总数量，s和z均为正整数；
Figure BDA00032666935300000810
式中，
Figure BDA00032666935300000811
表示第e条支路的第二层卷积输出，H表示第二层卷积，
Figure BDA00032666935300000812
表示第二层卷积的s条支路输出求和结果，e为支路的序号，s为支路总数量，s和e均为正整数；
3)构建多尺度稠密连接单元中稠密连接部分，设计u个卷积模块的稠密连接提取图像特征，{1,2,…,u}个卷积模块输出依次记为
Figure BDA00032666935300000813
Figure BDA00032666935300000814
表示第u个卷积模块的输出，其中，D表示该卷积模块属于稠密连接部分。最终采用一个残差连接整合模块输入Xin，得到最终输出Xout，具体如式(3)所示：
Figure BDA0003266693530000091
式中，Xin和Xout表示多尺度稠密连接单元输入和输出，
Figure BDA0003266693530000092
表示多尺度特征提取部分中第二层卷积输出求和结果，
Figure BDA0003266693530000093
表示稠密连接部分中第u个卷积模块的输出，concat为通道上的级联，u为卷积模块的个数，u为正整数。
其中，步骤104中损失函数实施的具体步骤为：
1)训练过程中，网络输出灰度去云图和彩色去云图均采用L2损失函数，其中灰度损失函数
Figure BDA0003266693530000094
具体形式如式(4)所示：
Figure BDA0003266693530000095
式中，J表示彩色无云图，I表示彩色有云图，
Figure BDA0003266693530000096
表示去云网络输出的灰度图，
Figure BDA0003266693530000097
表示灰度去云图；
2)其中彩色损失函数
Figure BDA0003266693530000098
具体形式如式(5)所示：
Figure BDA0003266693530000099
式中，
Figure BDA00032666935300000910
表示去云网络输出的彩色图，
Figure BDA00032666935300000911
表示彩色去云图；
3)采用预训练的网络模拟人类视觉系统提取图像语义信息，浅层网络提取的低级视觉属性包含更多与云相关的特征，因此训练采用的云层特征损失函数Lf，函数具体形式如式(6)所示：
Figure BDA00032666935300000912
式中，Δ(·)表示VGG19网络输出特征图，q表示VGG19网络输出特征图层数的索引，t表示输出特征图的层数，i，j和k表示特征图的宽、高和个数的索引，w，h和c表示特征图的宽、高和数量，q∈{1,…,t}，i∈{1,…,w}，j∈{1,…,h}，k∈{1,…,c}；q，i，j，k，t，w，h和c均为正整数。
4)总体损失函数Lall由灰度损失函数
Figure BDA00032666935300000913
彩色损失函数
Figure BDA00032666935300000914
和云层特征损失函数Lf的线性组合构成，具体形式如式(7)所示：
Figure BDA0003266693530000101
式中，β和δ分别为
Figure BDA0003266693530000102
和Lf的权重；
5)采用总体损失函数训练至网络收敛，得到训练好的模型参数。
其中，步骤105的具体步骤为：将模型参数导入遥感图像去云网络，实现遥感图像去云任务。
下面结合具体的附图以及计算公式对上述方案进行详细介绍，详见下文描述：
一种基于双支路通道和特征强化机制的遥感图像去云方法，所述方法包括：
201：构建遥感图像去云数据集，包括彩色有云图、彩色无云图和灰度无云图。选取彩色无云遥感图进行灰度处理和加云操作分别得到灰度无云遥感图和彩色有云遥感图，在所有图像的相应位置裁剪得到图像块，组成训练集和测试集。
202：构建遥感图像去云网络，遥感图像去云网络设计为双支路通道结构，双支路分别用于恢复灰度无云遥感图和彩色无云遥感图，因此网络输入为彩色有云遥感图，输出为灰度去云遥感图和彩色去云遥感图，网络结构采用空间通道注意力单元和多尺度稠密连接单元实现特征提取与特征强化。
203：构建空间通道注意力单元，目的是从空间上探索特征图中的云层特征，令网络对此类特征更加关注，实现特征强化；构建多尺度稠密连接单元，采用不同尺度滤波器的支路提取多尺度云层特征，设计稠密连接重复利用特征并减少参数量，实现去云工作。
204：设计灰度损失函数
Figure BDA0003266693530000103
彩色损失函数
Figure BDA0003266693530000104
和云层特征损失函数Lf的线性组合作为总体损失函数，用于训练遥感图像去云网络，网络收敛后得到模型参数。
205：将模型参数导入遥感图像去云网络，实现遥感图像去云任务。
其中，步骤201中构建数据集实施的具体步骤为：
1)构建遥感图像去云数据集，包括彩色有云图像、彩色无云图像和灰度无云图像。选取100张彩色无云遥感图像进行灰度处理得到100张灰度无云遥感图像，对100张彩色无云遥感图像进行加云操作得到100张彩色有云遥感图像，在所有图像的相应位置进行无重叠裁剪得到1000个彩色有云遥感图像块，即{Ii|i∈(1,…,1000)}；与之对应的1000个彩色无云遥感图像块，即{Ji|i∈(1,…,1000)}；与之对应的1000个灰度无云遥感图像块，即{Ki|i∈(1,…,1000)}；将彩色有云遥感图像块I、彩色无云遥感图像块J和灰度无云遥感图像块K组成遥感图像数据集，记为{Ii,Ji,Ki|i∈(1,…,1000)}。
2)将上述制作得到的遥感图像数据集图像尺寸缩放至512×512，同时随机旋转90°、180°和270°，并按照4：1划分得到训练数据集和测试数据集。
其中，步骤202中遥感图像去云网络实施的具体步骤为：
1)如图2所示，遥感图像去云网络设计为双支路通道结构，支路1和支路2分别记为
Figure BDA0003266693530000111
和
Figure BDA0003266693530000112
分别从灰度图和彩色图层面进行无云遥感图像恢复任务，整体网络输入为彩色有云遥感图像，输出为灰度去云遥感图像和彩色去云遥感图像。
2)考虑到云层对图像灰度值影响较为明显，因此支路1负责从灰度图上提取云层特征，实现灰度无云遥感图像的重建，并将提取到的特征共享给网络其他部分完成遥感图像去云。支路2负责从彩色图上提取云层特征，同时对支路1提取的灰度图的云层特征进行整合，完成彩色去云遥感图像的重建。
3)遥感图像去云网络结构采用空间通道注意力单元(Spatial ChannelAttention Unit,SCAU)实现特征强化任务，采用多尺度稠密连接单元(Multi-scaleDensely Connected Unit,MDCU)实现特征提取与重建，两种单元结构将在步骤203中详细介绍。
其中，步骤203中实施的具体步骤为：
1)构建空间通道注意力单元(Spatial Channel Attention Unit,SCAU)，目的是从空间上探索特征图中的云层特征，令网络对此类特征更加关注，实现特征强化。如图3所示，空间通道注意力单元对输入Sin进行平均值通道池化(Mean Channel Pooling)和最大值通道池化(Max Channel Pooling)操作，随后采用1×1卷积减少通道个数并采用Sigmoid激活函数得到输出
Figure BDA0003266693530000121
最终将输入Sin与
Figure BDA0003266693530000122
进行乘积操作实现空间通道注意力机制，得到空间通道注意力单元的最终输出Sout。
2)构建多尺度稠密连接单元(Multi-scale Densely Connected Unit,MDCU)中多尺度特征提取部分，采用不同尺度滤波器的支路提取多尺度云层特征，并设计稠密连接重复利用特征并减少参数量，实现去云工作。如图4所示，多尺度稠密连接单元由s条支路组成，每条支路包括2层卷积模块，{1,2,3}条支路的滤波器尺寸依次为{3×3,5×5,7×7}。{1,2,3}条支路的卷积模块输出依次为
Figure BDA0003266693530000123
其中，
Figure BDA0003266693530000124
表示第3条支路两层卷积模块的输出，
Figure BDA0003266693530000125
表示第3条支路第一层卷积模块输出，
Figure BDA0003266693530000126
表示第3条支路第二层卷积模块输出，所有滤波器个数均为64，卷积步幅均为1，s，g和r均为正整数，所有激活函数均为ReLU函数；支路上的第一层卷积输出求和得到
Figure BDA0003266693530000127
作为第二层卷积的输入，支路上的第二层卷积输出求和得到
Figure BDA0003266693530000128
作为稠密连接部分的输入，具体如式(1)和(2)所示，式中，
Figure BDA0003266693530000129
表示第z条支路的第一层卷积输出，V表示第一层卷积，
Figure BDA00032666935300001210
表示第一层卷积的s条支路输出求和结果，z为支路的序号，s为支路总数量，s和z均为正整数，式中，
Figure BDA00032666935300001211
表示第e条支路的第二层卷积输出，H表示第二层卷积，
Figure BDA00032666935300001212
表示第二层卷积的s条支路输出求和结果，e为支路的序号，s为支路总数量，s和e均为正整数；
3)构建多尺度稠密连接单元中稠密连接部分，设计u个卷积模块的稠密连接提取图像特征，{1,2,3}个卷积模块输出依次记为
Figure BDA00032666935300001213
Figure BDA00032666935300001214
表示第3个卷积模块的输出，其中，D表示该卷积模块属于稠密连接部分。最终采用一个残差连接整合模块输入Xin，得到最终输出Xout，具体如式(3)所示，式中，Xin和Xout表示多尺度稠密连接单元输入和输出，
Figure BDA00032666935300001215
表示多尺度特征提取部分中第二层卷积输出求和结果，
Figure BDA00032666935300001216
表示稠密连接部分中第u个卷积模块的输出，concat为通道上的级联，u为卷积模块的个数，u为正整数。
其中，步骤204中损失函数实施的具体步骤为：
1)训练过程中，网络输出灰度去云图和彩色去云图均采用L2损失函数，其中灰度损失函数
Figure BDA0003266693530000131
具体形式如式(4)所示，式中，J表示彩色无云图，I表示彩色有云图，
Figure BDA0003266693530000132
表示去云网络输出的灰度图，
Figure BDA0003266693530000133
表示灰度去云图；
2)其中彩色损失函数
Figure BDA0003266693530000134
具体形式如式(5)所示，式中，
Figure BDA0003266693530000135
表示去云网络输出的彩色图，
Figure BDA0003266693530000136
表示彩色去云图；
3)采用预训练的网络模拟人类视觉系统提取图像语义信息，浅层网络提取的低级视觉属性包含更多与云相关的特征，因此训练采用的云层特征损失函数Lf，函数具体形式如式(6)所示，式中，Δ(·)表示VGG19网络输出特征图，q表示VGG19网络输出特征图层数的索引，t表示输出特征图的层数，i，j和k表示特征图的宽、高和个数的索引，w，h和c表示特征图的宽、高和数量，q∈{1,…,t}，i∈{1,…,w}，j∈{1,…,h}，k∈{1,…,c}；q，i，j，k，t，w，h和c均为正整数。
4)总体损失函数Lall由灰度损失函数
Figure BDA0003266693530000137
彩色损失函数
Figure BDA0003266693530000138
和云层特征损失函数Lf的线性组合构成，具体形式如式(7)所示，式中，β＝1.0、δ＝100.0；
5)采用总体损失函数训练至网络收敛，得到训练好的模型参数。
其中，步骤205的具体步骤为：将模型参数导入遥感图像去云网络，实现遥感图像去云任务。
本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。

Claims (10)

1.一种基于双支路通道和特征强化机制的遥感图像去云方法，其特征在于步骤如下：
1)构建遥感图像去云数据集，包括彩色有云图、彩色无云图和灰度无云图；选取彩色无云遥感图进行灰度处理和加云操作分别得到灰度无云遥感图和彩色有云遥感图，在所有图像的相应位置裁剪得到图像块，组成训练集和测试集；
2)构建遥感图像去云网络，遥感图像去云网络设计为双支路通道结构，双支路分别用于恢复灰度无云遥感图和彩色无云遥感图，遥感图像去云网络输入为彩色有云遥感图，输出为灰度去云遥感图和彩色去云遥感图，遥感图像去云网络结构通过构建空间通道注意力单元和多尺度稠密连接单元实现特征提取与特征强化；
3)设计灰度损失函数
Figure FDA0003266693520000011
彩色损失函数
Figure FDA0003266693520000012
和云层特征损失函数Lf的线性组合作为总体损失函数，用于训练遥感图像去云网络，网络收敛后得到模型参数；
4)将模型参数导入遥感图像去云网络，实现遥感图像去云任务。
2.根据权利要求1所述的一种基于双支路通道和特征强化机制的遥感图像去云方法，其特征在于，所述步骤1)中，遥感图像去云数据集具体为：
11)所述遥感图像去云数据集包括彩色有云图像、彩色无云图像和灰度无云图像；选取m张彩色无云遥感图像进行灰度处理得到m张灰度无云遥感图像，对m张彩色无云遥感图像进行加云操作得到m张彩色有云遥感图像，在所有图像的相应位置进行无重叠裁剪得到n个彩色有云遥感图像块，即{Ii|i∈(1,…,n)}；与之对应的n个彩色无云遥感图像块，即{Ji|i∈(1,…,n)}；与之对应的n个灰度无云遥感图像块，即{Ki|i∈(1,…,n)}；将彩色有云遥感图像块I、彩色无云遥感图像块J和灰度无云遥感图像块K组成遥感图像数据集，记为{Ii,Ji,Ki|i∈(1,…,n)}；
12)将所述遥感图像去云数据集图像尺寸缩放至N×N，同时随机旋转90°、180°和270°，并按照p1：p2划分得到训练数据集和测试数据集；N、p1、p2为正整数。
3.根据权利要求1所述的一种基于双支路通道和特征强化机制的遥感图像去云方法，其特征在于，所述步骤2)中，遥感图像去云网络具体为：
21)所述遥感图像去云网络设计为双支路通道结构，支路1和支路2分别记为
Figure FDA0003266693520000023
和
Figure FDA0003266693520000024
分别从灰度图和彩色图层面进行无云遥感图像恢复任务，整体网络输入为彩色有云遥感图像，输出为灰度去云遥感图像和彩色去云遥感图像；
22)构建遥感图像去云网络结构中支路1，负责从灰度图上提取云层特征，实现灰度无云遥感图像的重建，并将提取到的特征共享给网络其他部分完成遥感图像去云；构建遥感图像去云网络结构中支路2，负责从彩色图上提取云层特征，同时对支路1提取的灰度图的云层特征进行整合，完成彩色去云遥感图像的重建。
4.根据权利要求1所述的一种基于双支路通道和特征强化机制的遥感图像去云方法，其特征在于，所述构建空间通道注意力单元，具体为从空间上探索特征图中的云层特征，令网络对此类特征更加关注，实现特征强化。
5.根据权利要求4所述的一种基于双支路通道和特征强化机制的遥感图像去云方法，其特征在于，所述构建空间通道注意力单元的具体过程为：
空间通道注意力单元对输入Sin进行平均值通道池化和最大值通道池化操作，随后采用1×1卷积减少通道个数并采用Sigmoid激活函数得到输出
Figure FDA0003266693520000021
最终将输入Sin与
Figure FDA0003266693520000022
进行乘积操作实现空间通道注意力机制，得到空间通道注意力单元的最终输出Sout。
6.根据权利要求1所述的一种基于双支路通道和特征强化机制的遥感图像去云方法，其特征在于，所述构建多尺度稠密连接单元，具体为采用不同尺度滤波器的支路提取多尺度云层特征，设计稠密连接重复利用特征并减少参数量，实现去云工作。
7.根据权利要求6所述的一种基于双支路通道和特征强化机制的遥感图像去云方法，其特征在于，所述构建多尺度稠密连接单元的具体过程为：
31)多尺度稠密连接单元由s条支路组成，每条支路包括2层卷积模块，{1,2,…,s}条支路的滤波器尺寸依次为{f1×f1,f2×f2,…,fs×fs}，其中，fs表示第s条支路的滤波器尺寸，fs为正整数；{1,2,…,s}条支路的卷积模块输出依次为
Figure FDA0003266693520000031
其中，
Figure FDA0003266693520000032
表示第s条支路两层卷积模块的输出，
Figure FDA0003266693520000033
表示第s条支路第一层卷积模块输出，
Figure FDA0003266693520000034
表示第s条支路第二层卷积模块输出，所有卷积滤波器个数均为g，卷积步幅均为r，s，g和r均为正整数，所有激活函数均为ReLU函数；支路上的第一层卷积输出求和得到
Figure FDA0003266693520000035
作为第二层卷积的输入，支路上的第二层卷积输出求和得到
Figure FDA0003266693520000036
作为稠密连接部分的输入，具体如下式所示：
Figure FDA0003266693520000037
式中，
Figure FDA0003266693520000038
表示第z条支路的第一层卷积输出，V表示第一层卷积，
Figure FDA0003266693520000039
表示第一层卷积的s条支路输出求和结果，z为支路的序号，s为支路总数量，s和z均为正整数；
Figure FDA00032666935200000310
式中，
Figure FDA00032666935200000311
表示第e条支路的第二层卷积输出，H表示第二层卷积，
Figure FDA00032666935200000312
表示第二层卷积的s条支路输出求和结果，e为支路的序号，s为支路总数量，s和e均为正整数；
32)构建多尺度稠密连接单元中稠密连接部分，设计u个卷积模块的稠密连接提取图像特征，{1,2,…,u}个卷积模块输出依次记为
Figure FDA00032666935200000313
Figure FDA00032666935200000314
表示第u个卷积模块的输出，其中，D表示该卷积模块属于稠密连接部分；最终采用一个残差连接整合模块输入Xin，得到最终输出Xout，具体如下式所示：
Figure FDA0003266693520000041
式中，Xin和Xout表示多尺度稠密连接单元输入和输出，
Figure FDA0003266693520000042
表示多尺度特征提取部分中第二层卷积输出求和结果，
Figure FDA0003266693520000043
表示稠密连接部分中第u个卷积模块的输出，concat为通道上的级联，u为卷积模块的个数，u为正整数。
8.根据权利要求1所述的一种基于双支路通道和特征强化机制的遥感图像去云方法，其特征在于，所述灰度损失函数
Figure FDA0003266693520000044
具体如下式所示：
Figure FDA0003266693520000045
式中，J表示彩色无云图，I表示彩色有云图，
Figure FDA0003266693520000046
表示去云网络输出的灰度图，
Figure FDA0003266693520000047
表示灰度去云图。
9.根据权利要求8所述的一种基于双支路通道和特征强化机制的遥感图像去云方法，其特征在于，所述彩色损失函数
Figure FDA0003266693520000048
具体如下式所示：
Figure FDA0003266693520000049
式中，
Figure FDA00032666935200000410
表示去云网络输出的彩色图，
Figure FDA00032666935200000411
表示彩色去云图。
10.根据权利要求9所述的一种基于双支路通道和特征强化机制的遥感图像去云方法，其特征在于，所述云层特征损失函数Lf具体如下式所示：
Figure FDA00032666935200000412
式中，Δ(·)表示VGG19网络输出特征图，q表示VGG19网络输出特征图层数的索引，t表示输出特征图的层数，i，j和k表示特征图的宽、高和个数的索引，w，h和c表示特征图的宽、高和数量，q∈{1,…,t}，i∈{1,…,w}，j∈{1,…,h}，k∈{1,…,c}；q，i，j，k，t，w，h和c均为正整数。
CN202111088587.2A 2021-09-16 2021-09-16 一种基于双支路通道和特征强化机制的遥感图像去云方法 Active CN113935908B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111088587.2A CN113935908B (zh) 2021-09-16 2021-09-16 一种基于双支路通道和特征强化机制的遥感图像去云方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111088587.2A CN113935908B (zh) 2021-09-16 2021-09-16 一种基于双支路通道和特征强化机制的遥感图像去云方法

Publications (2)

Publication Number Publication Date
CN113935908A true CN113935908A (zh) 2022-01-14
CN113935908B CN113935908B (zh) 2024-06-14

Family

ID=79275995

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111088587.2A Active CN113935908B (zh) 2021-09-16 2021-09-16 一种基于双支路通道和特征强化机制的遥感图像去云方法

Country Status (1)

Country Link
CN (1) CN113935908B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116823664A (zh) * 2023-06-30 2023-09-29 中国地质大学（武汉） 一种遥感图像云去除方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103295214A (zh) * 2013-06-28 2013-09-11 深圳大学 基于色彩特征的无云modis遥感图像生成方法及系统
CN106294705A (zh) * 2016-08-08 2017-01-04 长安大学 一种批量遥感影像预处理方法
US20200265597A1 (en) * 2018-03-14 2020-08-20 Dalian University Of Technology Method for estimating high-quality depth maps based on depth prediction and enhancement subnetworks
CN111738124A (zh) * 2020-06-15 2020-10-02 西安电子科技大学 基于Gabor变换和注意力的遥感图像云检测方法
CN112749621A (zh) * 2020-11-25 2021-05-04 厦门理工学院 一种基于深度卷积神经网络的遥感图像云层检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103295214A (zh) * 2013-06-28 2013-09-11 深圳大学 基于色彩特征的无云modis遥感图像生成方法及系统
CN106294705A (zh) * 2016-08-08 2017-01-04 长安大学 一种批量遥感影像预处理方法
US20200265597A1 (en) * 2018-03-14 2020-08-20 Dalian University Of Technology Method for estimating high-quality depth maps based on depth prediction and enhancement subnetworks
CN111738124A (zh) * 2020-06-15 2020-10-02 西安电子科技大学 基于Gabor变换和注意力的遥感图像云检测方法
CN112749621A (zh) * 2020-11-25 2021-05-04 厦门理工学院 一种基于深度卷积神经网络的遥感图像云层检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
傅晓珊;: "基于灰度梯度的遥感图像去云方法研究", 测绘通报, no. 10, 25 October 2008 (2008-10-25) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116823664A (zh) * 2023-06-30 2023-09-29 中国地质大学（武汉） 一种遥感图像云去除方法及系统
CN116823664B (zh) * 2023-06-30 2024-03-01 中国地质大学（武汉） 一种遥感图像云去除方法及系统

Also Published As

Publication number Publication date
CN113935908B (zh) 2024-06-14

Similar Documents

Publication Publication Date Title
JP2022548712A (ja) フィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法
CN112381097A (zh) 一种基于深度学习的场景语义分割方法
CN111275618A (zh) 一种基于双支感知的深度图超分辨率重建网络构建方法
CN111340814A (zh) 一种基于多模态自适应卷积的rgb-d图像语义分割方法
CN106204499A (zh) 基于卷积神经网络的单幅图像去雨方法
CN114821050B (zh) 一种基于transformer的指称图像分割方法
CN110930320A (zh) 一种基于轻量化卷积神经网络的图像去雾方法
CN112489050A (zh) 一种基于特征迁移的半监督实例分割算法
CN108734675A (zh) 基于混合稀疏先验模型的图像复原方法
CN112906500B (zh) 基于深度特权网络的人脸表情识别方法及系统
CN113627093A (zh) 一种基于改进Unet网络的水下机构跨尺度流场特征预测方法
CN113436198A (zh) 一种协同图像超分辨率重建的遥感图像语义分割方法
CN115861833A (zh) 一种基于双分支结构的实时遥感图像云检测方法
CN113066025A (zh) 一种基于增量学习与特征、注意力传递的图像去雾方法
CN115984111A (zh) 一种基于知识蒸馏压缩模型的图像超分辨率方法及装置
CN113298817A (zh) 一种准确率高的遥感图像语义分割方法
CN110598746A (zh) 一种基于ode求解器自适应的场景分类方法
CN110782458A (zh) 一种非对称编码网络的物体图像3d语义预测分割方法
CN104036242A (zh) 基于Centering Trick卷积限制玻尔兹曼机的物体识别方法
CN111046213B (zh) 一种基于图像识别的知识库构建方法
CN114998667A (zh) 多光谱目标检测方法、系统、计算机设备及存储介质
CN109558880B (zh) 一种基于视觉整体和局部特征融合的轮廓检测方法
CN113935908A (zh) 一种基于双支路通道和特征强化机制的遥感图像去云方法
Zhao et al. Label freedom: Stable diffusion for remote sensing image semantic segmentation data generation
CN116543165B (zh) 一种基于双通道复合深度网络的遥感图像果树分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant