CN116823664B - 一种遥感图像云去除方法及系统 - Google Patents

一种遥感图像云去除方法及系统 Download PDF

Info

Publication number
CN116823664B
CN116823664B CN202310802671.9A CN202310802671A CN116823664B CN 116823664 B CN116823664 B CN 116823664B CN 202310802671 A CN202310802671 A CN 202310802671A CN 116823664 B CN116823664 B CN 116823664B
Authority
CN
China
Prior art keywords
network
image
remote sensing
cloud
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310802671.9A
Other languages
English (en)
Other versions
CN116823664A (zh
Inventor
程青
官康
叶凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Geosciences
Original Assignee
China University of Geosciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Geosciences filed Critical China University of Geosciences
Priority to CN202310802671.9A priority Critical patent/CN116823664B/zh
Publication of CN116823664A publication Critical patent/CN116823664A/zh
Application granted granted Critical
Publication of CN116823664B publication Critical patent/CN116823664B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种遥感图像云去除方法及系统，首先从公共RICE1和RICE2数据集中选出数据作为训练集和测试集；然后采取残差对称连接的编解码器结构，构建通道、空间注意力的生成网络；构建自注意力的判别网络，该判别网络和所述生成网络共同组成遥感图像去云网络；利用训练集对遥感图像去云网络进行训练，并利用测试集做定量分析，当遥感图像去云网络达到预设精度后，得到最终的遥感图像去云网络；最后将所述最终的遥感图像去云网络应用于实际，达到对遥感图像云去除的目的。本发明的有益效果是：采用遥感图像去云网络较好的解决了从单个遥感图像云去除的问题。

Description

一种遥感图像云去除方法及系统
技术领域
本发明涉及遥感图像去云领域，尤其涉及一种遥感图像云去除方法。
背景技术
光学遥感图像具有分辨率高、几何特征稳定等特点，能够为观测目标提供清晰的空间纹理信息，在农业、林业、地质、海洋、气象、水文、军事、环保等诸多领域具有重要的应用价值。但是，在遥感图像中，天气特别是云层对图像的影响是无法避免的。在光学遥感图像的应用中，对云层进行消减是一个必不可少的预处理环节。国内外的学者们针对大量遥感图像被云层污染的问题，提出了多种不同的处理方法，大致可以分为两类：一种是传统算法，另一种是深度学习算法。在过去的几十年，传统算法主要基于空间信息、光谱信息以及多时相信息进行云像素的重建；近几年深度学习快速发展，在图像去噪、目标识别以及图像分类等多个领域得到了广泛的应用，学者们开始将深度学习引入遥感图像去云领域，诸如卷积神经网络、级联神经网络、编解码器网络、残差网络以及生成对抗网络等等都在遥感图像去云领域得到了很好的应用。
然而现有的深度学习方法也依然存在一些局限性，例如对于图像的原始信息保留不充分、全局与局部信息结合不够充分、收敛速度以及去噪性能不够好或是对于训练集图像要求高(需要成对的云/无云图像)等等。
发明内容
为了解决上述问题，本发明提供了一种遥感图像云去除方法及系统，基于注意力机制和残差对称连接实现。一种遥感图像云去除方法。主要包括：
S1：从公共RICE1和RICE2数据集中选出数据作为训练集和测试集；
S2：采取残差对称连接的编解码器结构，构建通道、空间注意力的生成网络；
S3：构建自注意力的判别网络，该判别网络和所述生成网络共同组成遥感图像去云网络；
S4：利用训练集对遥感图像去云网络进行训练，并利用测试集做定量分析，当遥感图像去云网络达到预设精度后，得到最终的遥感图像去云网络；
S5：将所述最终的遥感图像去云网络应用于实际，达到对遥感图像云去除的目的。
进一步地，步骤S2中，所述编解码器结构包括编码器端和解码器端，构建生成网络的具体过程为：
S21：在编码器端，首先引入了一个多尺度特征融合模块，然后搭建四个通道空间注意力残差卷积单元，该通道空间注意力残差卷积单元是由通道空间注意力块嵌入残差块得到的，具体为：通道空间注意力块包括通道注意力机制和空间注意力机制，通道注意力机制的实现是对输入特征图进行最大池化操作和平均池化操作，再通过一个共享全连接层运算后对其进行相加生成通道注意力Attentionc与输入特征图相乘；空间注意力机制的实现是在上一步的基础上，对输出特征图按空间进行最大池化操作和平均池化操作后拼接进行卷积操作，生成二维空间注意力AttentionS与输入特征图相乘，将通道空间注意力块嵌入残差块，构造通道空间注意力残差单元；
S22：在解码器端，由四个残差去卷积单元组成：去卷积单元Dn+1的输入Fin由上一层去卷积Dn产生的特征图Fin1与Dn+1对称卷积层产生的特征图Fin2复制并串联所得，然后经过去卷积操作产生Dn+1的输出Fout，构造的残差去卷积单元的公式为：
Fin＝concat(Fin1,Fin2)
Fout＝deconv(Fin)+Fin
其中，Concat()表示通道上的串联；deconv()表示去卷积操作。
进一步地，步骤S3中，构建判别网络的具体过程为：
首先由四层具有批量归一化的卷积层组成的卷积神经网络，每一层包括卷积层、批量归一化层和Leaky ReLU层，然后引入自注意力模块来建立特征图的全局依赖关系，扩大图像的感受野，用于获取输入特征图像更多的上下文信息，最后在网络后加入卷积层用来恢复图像的原本通道，判别网络输出为true或者false，代表判别网络鉴别的输入图像是否为真实图像。
进一步地，步骤S4中，使用训练集对遥感图像去云网络进行训练，每训练完一代对测试集测试效果进行比较，当测试集定量分析结果达到预设精度时，即生成网络和判别网络的损失足够低且稳定时，保存训练模型参数，构建的损失函数为：
Lloss＝LcGAN(G,D)+L1(G)+LAtt+LSSIM
其中，G、D分别表示生成器和判别器；
LcGAN()表示条件生成对抗网络的损失函数，其公式为：
其中，x表示多云图像，y表示真实无云图像，Pdata(x)表示x的分布，z表示随机噪声数据，Pz(z)表示噪声分布，G(x,z)表示x借助z生成的无云图像，D(x,y)表示真实数据上判断为真的概率；表示所有x,y都是真实数据时logD(x,y)的期望；表示所有数据都是生成数据时log(1-D(x,G(x,z)))的期望；Pdata(x,y)表示x,y的分布；D(x,G(x,z)))表示生成数据判断为真的概率；
L1()表示标准L1损失函数，用于衡量生成器所重建云像素的准确性，其公式为：
其中，C表示输入图像的通道数，H、W表示图像的大小，(u,v,c)表示第c个通道中位置(u,v)处的像素，λc表示第c个通道的权重，R(u,v,c)表示实际的无云图像，G(x)(u,v,c)表示生成网络的预测图像，||1表示取绝对值；
LAtt表示注意损失，其公式为：
其中，GAtt表示生成网络生成的注意力图，M表示云掩膜，表示平方和二范数；
LSSIM表示结构相似性损失，用来实现原始特征信息的恢复，其公式为：
LSSIM＝1-SSIM(G(X),R)
其中，SSIM()表示计算结构性相似指数；G(X)表示生成网络的预测图像，R表示实际的无云图像。
进一步地，步骤S4中，采用测试集来测试网络去云效果，定量分析的评价指标主要包括峰值信噪比和结构相似性指数；
峰值信噪比是用于评估图像质量的最广泛、最常用的客观测量，其计算公式为：
其中PSNR是峰值信噪比，n是像素值的位数，MSE是均方误差值，如以下公式所示：
X(i,j)、Y(i,j)分别表示输入的两张图像；
SSIM是结构相似性指数，通过亮度、对比度以及结构三个方面来衡量图像之间的相似度，其计算公式如下：
SSIM＝l(X,Y)·c(X,Y)·s(X,Y)
其中，
C1、C2、C3是常数，σX是图像X的协方差；σY是图像Y的协方差；σXY是图像X和Y的协方差；μX、μY分别表示图像X和Y的均值。
一种遥感图像云去除系统，包括：
训练集和测试集获取模块，用于从公共RICE1和RICE2数据集中选出数据作为训练集和测试集；
生成网络构建模块，用于采取残差对称连接的编解码器结构，构建通道、空间注意力的生成网络；
判别网络构建模块，用于构建自注意力的判别网络，该判别网络和所述生成网络共同组成遥感图像去云网络；
遥感图像去云网络训练模块，利用训练集对遥感图像去云网络进行训练，并利用测试集做定量分析，当遥感图像去云网络达到预设精度后，得到最终的遥感图像去云网络；
去云模块，将所述最终的遥感图像去云网络应用于实际，达到对遥感图像云去除的目的。
进一步地，所述编解码器结构包括编码器端和解码器端，构建生成网络的具体过程为：
S21：在编码器端，首先引入了一个多尺度特征融合模块，然后搭建四个通道空间注意力残差卷积单元，该通道空间注意力残差卷积单元是由通道空间注意力块嵌入残差块得到的，具体为：通道空间注意力块包括通道注意力机制和空间注意力机制，通道注意力机制的实现是对输入特征图进行最大池化操作和平均池化操作，再通过一个共享全连接层运算后对其进行相加生成通道注意力Attentionc与输入特征图相乘；空间注意力机制的实现是在上一步的基础上，对输出特征图按空间进行最大池化操作和平均池化操作后拼接进行卷积操作，生成二维空间注意力AttentionS与输入特征图相乘，将通道空间注意力块嵌入残差块，构造通道空间注意力残差单元；
S22：在解码器端，由四个残差去卷积单元组成：去卷积单元Dn+1的输入Fin由上一层去卷积Dn产生的特征图Fin1与Dn+1对称卷积层产生的特征图Fin2复制并串联所得，然后经过去卷积操作产生Dn+1的输出Fout，构造的残差去卷积单元的公式为：
Fin＝concat(Fin1,Fin2)
Fout＝deconv(Fin)+Fin
其中，Concat()表示通道上的串联；deconv()表示去卷积操作。
进一步地，构建判别网络的具体过程为：
首先由四层具有批量归一化的卷积层组成的卷积神经网络，每一层包括卷积层、批量归一化层和Leaky ReLU层，然后引入自注意力模块来建立特征图的全局依赖关系，扩大图像的感受野，用于获取输入特征图像更多的上下文信息，最后在网络后加入卷积层用来恢复图像的原本通道，判别网络输出为true或者false，代表判别网络鉴别输入图像是否为真实图像。
进一步地，使用训练集对遥感图像去云网络进行训练，每训练完一代对测试集测试效果进行比较，当测试集定量分析结果达到预设精度时，即生成网络和判别网络的损失足够低且稳定时，保存训练模型参数，构建的损失函数为：
Lloss＝LcGAN(G,D)+L1(G)+LAtt+LSSIM
其中，LcGAN()表示条件生成对抗网络的损失函数，L1()表示标准L1损失函数，LAtt表示注意损失，LSSIM表示结构相似性损失。
进一步地，采用测试集来测试网络去云效果，定量分析的评价指标主要包括峰值信噪比和结构相似性指数；
峰值信噪比是用于评估图像质量的最广泛、最常用的客观测量，其计算公式为：
其中PSNR是峰值信噪比，n是像素值的位数，MSE是均方误差值；
SSIM是结构相似性指数，其计算公式如下：
SSIM＝l(X,Y)·c(X,Y)·s(X,Y)
其中，
C1、C2、C3是常数，σX是图像X的协方差；σY是图像Y的协方差；σXY是图像X和Y的协方差；μX、μY分别表示图像X和Y的均值。
本发明提供的技术方案带来的有益效果是：本发明中通过残差对称连接在有效去除云层和保留原始细节信息之间取得一个良好的平衡，更好地保留修复中的细节信息；通过注意力机制提高网络对于全局与局部特征信息的结合；使用编解码器结构使网络达到更快的收敛速度，获得更高质量的局部最优；使用自注意力机制可以很好的建立全局的依赖关系，扩大图像的感受野，相比于普通神经网络，其感受野更大，可以获取更多上下文信息；采用遥感图像去云网络很好的解决了从单个遥感图像云去除的问题。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明实施例中一种基于注意力机制和残差对称连接的遥感图像云去除方法的流程图。
图2是本发明实施例中构建的生成网络结构图。
图3是本发明实施例中构建的判别网络结构图。
图4是本发明实施例中多尺度特征融合模块结构图。
图5是本发明实施例中通道空间注意力残差卷积单元结构图。
图6是本发明实施例中残差去卷积单元结构图。
图7是本发明实施例中通道注意力机制的示意图。
图8是本发明实施例中去云前后的可视化效果图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
本发明的实施例提供了一种基于注意力机制和残差对称连接的遥感图像云去除方法。
请参考图1，图1是本发明实施例中一种基于注意力机制和残差对称连接的遥感图像云去除方法的流程图，具体包括：
S1：公共RICE1数据集主要用于训练网络去除薄云的能力，公共RICE2数据集主要用于训练网络去除厚云的能力，分别以8:2的比例作为本方法的训练集和测试集。
具体的，RICE1数据集包含500个数据样本，每个样本具有512×512分辨率下的多云图像和无云图像。数据集由Google Earth采集，通过设置是否显示云层得到多云/无云图像。RICE2数据集是根据Landsat 8OLI/TIRS数据构建的，方法是，使用在Earth Explorer中进行地理配准的LandsatLook图像。LandsatLook图像是从Landsat Level-1数据产品派生的全分辨率文件。LandsatLook影像包括Natural ColorImage、Thermal Image和QualityImage，本实施例中在RICE2数据集中使用Natural Color Image和Quality Image。在同一位置手动选取一张无云图像，且有云图像时间间隔小于15天，得到无云参考图像。最后，RICE2数据集中有736组512×512图像，每组包含1张多云、1张无云和1张云掩膜图像。
S2：如图2所示，构建通道、空间注意力的生成网络，生成网络采取残差对称连接的编解码器结构；
S21：编码器端搭建一个多尺度特征融合模块及四个通道空间注意力残差卷积单元，首先引入了一个如图4所示的多尺度特征融合模块，多尺度特征融合模块可以充分利用遥感图像本身全局特征信息，实现是对特征图分别池化到目标尺寸，然后搭建四个通道空间注意力残差卷积单元，用于生成通道和空间注意力图引导云去除；将通道空间注意力块嵌入残差块构造如图5所示的通道空间注意力残差卷积单元；
具体的，多尺度特征融合模块采用4种不同金字塔尺度，金字塔池化模块是4层，每层的尺寸分别是1×1,2×2,3×3,6×6，对特征图分别池化到目标尺寸，然后对池化后的结果进行1×1卷积将通道数减少到原来的1/N，本实施例中N为4，接着对上一步的每一个特征图利用双线性插值上采样得到原特征图相同的尺寸，然后将原特征图和上采样得到的特征图按通道维进行拼接，得到的通道是原特征图通道数的两倍，最后再用1×1卷积将通道数缩小到原来的通道数，最终输出的特征图的通道数和尺寸是没有改变的。
具体的，如图7所示的通道注意力机制的实现是对输入特征图Fin'进行最大池化操作和平均池化操作，相当于将特征图Fin'的尺寸由C*H*W变为C*1*1，保持通道维度不变，对其空间维度进行压缩，最后得到两个一维向量。再通过一个共享全连接层运算后对其进行相加，生成一维通道注意力Attentionc，之后与输入特征图Fin'相乘，获得通道注意力机制指导下的特征图F'；空间注意力机制的实现是在上一步的基础上，对输出特征图F'按空间进行最大池化操作和平均池化操作，将池化生成的两个二维向量拼接后进行卷积操作，最终生成二维空间注意力AttentionS，然后与F'相乘，得到经过通道空间注意力指导下的特征图Fout'，具体如下所示：
Fin表示输入整个残差单元的特征图；
Conv表示常规卷积；
Relu表示线性激活函数；
将通道空间注意力块嵌入残差块，构造通道空间注意力残差单元，其中公式为：
Fin'＝Conv(Relu(Conv(Relu(Conv(Fin)))))
Fout＝Conv(Fout')
S22：在解码器端由四个如图6所示的残差去卷积单元组成。去卷积单元Dn+1的输入Fin由上一层去卷积Dn产生的特征图Fin1与Dn+1对称卷积层产生的特征图Fin2复制并串联所得，然后经过去卷积操作产生Dn+1的输出Fout，具体如下所示：
Concat表示通道上的串联；
deconv表示去卷积操作；
构造残差去卷积单元，其中公式为：
Fin＝concat(Fin1,Fin2)
Fout＝deconv(Fin)+Fin
S3：如图3所示，构建自注意力的判别网络，生成网络和判别网络共同组成本文的遥感图像去云网络；
具体的，判别网络中的自注意力模块，可以很好的建立全局的依赖关系，扩大图像的感受野，可以获取输入特征图像更多的上下文信息；自注意力模块的实现通常分为三步，第一步是将query和每个key进行相似度计算得到权重，常用的相似度函数有点积，拼接，感知机等；第二步一般是使用一个softmax函数对这些权重进行归一化，转换为注意力图；第三步将权重和相应的键值value进行加权求和得到最后的注意力图，将注意力图与输入特征图相乘发挥其指导作用。
具体的，判别网络是由四层具有批量归一化的卷积层(CBR)组成的卷积神经网络，每一层包括卷积层、批量归一化层和ReLU激活函数，然后引入自注意力模块来建立特征图的全局依赖关系，扩大图像的感受野，可以获取输入特征图像更多的上下文信息，最后在网络后加入卷积层用来恢复图像的原本通道数；判别网络的输入由生成网络生成的伪真实图像和数据集对应的真实图像concat串联而成，经过判别网络后输出为true或者false，代表判别网络对输入图像是否鉴别为真实图像。
S4：使用训练集对生成网络和判别网络进行训练，每训练完一代对测试集测试效果进行比较，并利用测试集做定量分析，当测试集定量分析结果足够好时，即生成网络和判别网络的损失足够低且稳定，保存训练模型参数：
具体的：
构建损失函数，本发明的损失函数主要由三部分组成，如以下公式所示：
Lloss＝LcGAN(G,D)+L1(G)+LAtt+LSSIM
其中，G、D分别表示生成器(Generator)和判别器(Discriminator)；
第一部分是条件生成对抗网络的损失函数LcGAN，如公式所示：
其中，x表示多云图像，y表示真实无云图像，Pdata(x)表示x的分布，z表示随机噪声数据，Pz(z)表示噪声分布，G(x,z)表示x借助z生成的无云图像，D(x,y)表示真实数据上判断为真的概率，表示所有x,y都是真实数据时logD(x,y)的期望；表示所有数据都是生成数据时log(1-D(x,G(x,z)))的期望；Pdata(x,y)表示x,y的分布；D(x,G(x,z)))表示生成数据判断为真的概率；
第二部分是标准L1损失函数，能够衡量生成网络所重建云像素的准确性，如公式所示：
其中C表示输入图像的通道数，H*W表示图像的大小，λc表示第c个通道的权重，(u,v,c)表示第c个通道中位置(u,v)处的像素，R(u,v,c)表示实际的无云图像，G(x)(u,v,c)表示生成网络的预测图像，||1表示取绝对值；
第三部分是注意损失，如公式所示：
其中矩阵GAtt是生成网络生成的注意力图，矩阵M是云像素区域的二值图像，即云掩膜，由多云和无云图像的差计算得到；表示平方和二范数；
第四部分是结构相似性损失，用来实现原始特征信息的恢复，如公式所示：
LSSIM＝1-SSIM(G(X),R)
其中G(x)表示生成网络的预测图像，R表示实际的无云图像。
22)使用训练集进行训练
随机初始化网络权重，经过大量的训练优化，当网络损失函数值降到足够低时，保存训练模型参数，此时的生成网络和判别网络的博弈已接近纳什平衡，生成网络所重建的无云图像更加接近真实图像。
其中训练时模型学习率设置为0.0004，训练代数设置为200；
利用测试集测试网络去云效果，定量分析的评价指标主要是通过峰值信噪比(PSNR)和结构相似性指数(SSIM)等评估。
31)PSNR是用于评估图像质量的最广泛、最常用的客观测量，其计算公式为：
其中n是像素值的位数，MSE是均方误差值，如公式所示：
X(i,j)、Y(i,j)分别表示输入的两张图像；
32)SSIM是通过亮度、对比度以及结构三个方面来衡量图像之间的相似度，其计算公式如下：
其中C1、C2、C3是常数，以避免除零错误。μ、σ是图像的均值和方差，σXY是图像X和Y的协方差；σX是图像X的协方差；σY是图像Y的协方差；μX、μY分别表示图像X和Y的均值。
SSIM＝l(X,Y)·c(X,Y)·(X,Y)
S5：将训练好的模型参数导入网络，并测试网络实际去云效果，得到的去云前后的可视化结果对比图如图8所示。
一种遥感图像云去除系统，包括：
训练集和测试集获取模块，用于从公共RICE1和RICE2数据集中选出数据作为训练集和测试集；
生成网络构建模块，用于采取残差对称连接的编解码器结构，构建通道、空间注意力的生成网络；
判别网络构建模块，用于构建自注意力的判别网络，该判别网络和所述生成网络共同组成遥感图像去云网络；
遥感图像去云网络训练模块，利用训练集对遥感图像去云网络进行训练，并利用测试集做定量分析，当遥感图像去云网络达到预设精度后，得到最终的遥感图像去云网络；
去云模块，将所述最终的遥感图像去云网络应用于实际，达到对遥感图像云去除的目的。
本发明的有益效果是：本发明中通过残差对称连接在有效去除云层和保留原始细节信息之间取得一个良好的平衡，更好地保留修复中的细节信息；通过注意力机制提高网络对于全局与局部特征信息的结合；使用编解码器结构使网络达到更快的收敛速度，获得更高质量的局部最优；使用自注意力机制可以很好的建立全局的依赖关系，扩大图像的感受野，相比于普通神经网络，其感受野更大，可以获取更多上下文信息；采用遥感图像去云网络较好的解决了从单个遥感图像云去除的问题。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种遥感图像云去除方法，其特征在于：包括：
S1：从公共RICE1和RICE2数据集中选出数据作为训练集和测试集；
S2：采取残差对称连接的编解码器结构，构建通道、空间注意力的生成网络；所述编解码器结构包括编码器端和解码器端，构建生成网络的具体过程为：
S21：在编码器端，首先引入了一个多尺度特征融合模块，然后搭建四个通道空间注意力残差卷积单元，该通道空间注意力残差卷积单元是由通道空间注意力块嵌入残差块得到的，具体为：通道空间注意力块包括通道注意力机制和空间注意力机制，通道注意力机制的实现是对输入特征图进行最大池化操作和平均池化操作，再通过一个共享全连接层运算后对其进行相加生成通道注意力Attentionc与输入特征图相乘；空间注意力机制的实现是在上一步的基础上，对输出特征图按空间进行最大池化操作和平均池化操作后拼接进行卷积操作，生成二维空间注意力AttentionS与输入特征图相乘，将通道空间注意力块嵌入残差块，构造通道空间注意力残差单元；
S22：在解码器端，由四个残差去卷积单元组成：去卷积单元Dn+1的输入Fin由上一层去卷积Dn产生的特征图Fin1与Dn+1对称卷积层产生的特征图Fin2复制并串联所得，然后经过去卷积操作产生Dn+1的输出Fout，构造的残差去卷积单元的公式为：
Fin＝concat(Fin1,Fin2)
Fout＝deconv(Fin)+Fin
其中，Concat()表示通道上的串联；deconv()表示去卷积操作；
S3：构建自注意力的判别网络，该判别网络和所述生成网络共同组成遥感图像去云网络；
S4：利用训练集对遥感图像去云网络进行训练，并利用测试集做定量分析，当遥感图像去云网络达到预设精度后，得到最终的遥感图像去云网络；
S5：将所述最终的遥感图像去云网络应用于实际，达到对遥感图像云去除的目的。
2.如权利要求1所述的一种遥感图像云去除方法，其特征在于：步骤S3中，构建判别网络的具体过程为：
首先由四层具有批量归一化的卷积层组成的卷积神经网络，每一层包括卷积层、批量归一化层和Leaky ReLU层，然后引入自注意力模块来建立特征图的全局依赖关系，扩大图像的感受野，用于获取输入特征图像更多的上下文信息，最后在网络后加入卷积层用来恢复图像的原本通道，判别网络输出为true或者false，代表判别网络鉴别输入图像是否为真实图像。
3.如权利要求1所述的一种遥感图像云去除方法，其特征在于：步骤S4中，使用训练集对遥感图像去云网络进行训练，每训练完一代对测试集测试效果进行比较，当测试集定量分析结果达到预设精度时，即生成网络和判别网络的损失足够低且稳定时，保存训练模型参数，构建的损失函数为：
Lloss＝LcGAN(G,D)+L1(G)+LAtt+LSSIM
其中，G、D分别表示生成器和判别器；
LcGAN()表示条件生成对抗网络的损失函数，其公式为：
其中，x表示多云图像，y表示真实无云图像，Pdata(x)表示x的分布，z表示随机噪声数据，Pz(z)表示噪声分布，G(x,z)表示x借助z生成的无云图像，D(x,y)表示真实数据上判断为真的概率；表示所有x,y都是真实数据时logD(x,y)的期望；表示所有数据都是生成数据时log(1-D(x,G(x,z)))的期望；Pdata(x,y)表示x,y的分布；D(x,G(x,z)))表示生成数据判断为真的概率；
L1()表示标准L1损失函数，用于衡量生成器所重建云像素的准确性，其公式为：
其中，C表示输入图像的通道数，H、W表示图像的大小，(u,v,c)表示第c个通道中位置(u,v)处的像素，λc表示第c个通道的权重，R(u,v,c)表示实际的无云图像，G(x)(u,v,c)表示生成网络的预测图像，||1表示取绝对值；
LAtt表示注意损失，其公式为：
其中，GAtt表示生成网络生成的注意力图，M表示云掩膜，表示平方和二范数；
LSSIM表示结构相似性损失，用来实现原始特征信息的恢复，其公式为：
LSSIM＝1-SSIM(G(X),R)
其中，SSIM()表示计算结构性相似指数；G(X)表示生成网络的预测图像，R表示实际的无云图像。
4.如权利要求3所述的一种遥感图像云去除方法，其特征在于：步骤S4中，采用测试集来测试网络去云效果，定量分析的评价指标主要包括峰值信噪比和结构相似性指数；
峰值信噪比是用于评估图像质量的最广泛、最常用的客观测量，其计算公式为：
其中PSNR是峰值信噪比，n是像素值的位数，MSE是均方误差值，如以下公式所示：
X(i,j)、Y(i,j)分别表示输入的两张图像；
SSIM是结构相似性指数，通过亮度、对比度以及结构三个方面来衡量图像之间的相似度，其计算公式如下：
SSIM＝l(X,Y)·c(X,Y)·s(X,Y)
其中，
C1、C2、C3是常数，σX是图像X的协方差；σY是图像Y的协方差；σXY是图像X和Y的协方差；μX、μY分别表示图像X和Y的均值。
5.一种遥感图像云去除系统，其特征在于：包括：
训练集和测试集获取模块，用于从公共RICE1和RICE2数据集中选出数据作为训练集和测试集；
生成网络构建模块，用于采取残差对称连接的编解码器结构，构建通道、空间注意力的生成网络；
所述编解码器结构包括编码器端和解码器端，构建生成网络的具体过程为：
S21：在编码器端，首先引入了一个多尺度特征融合模块，然后搭建四个通道空间注意力残差卷积单元，该通道空间注意力残差卷积单元是由通道空间注意力块嵌入残差块得到的，具体为：通道空间注意力块包括通道注意力机制和空间注意力机制，通道注意力机制的实现是对输入特征图进行最大池化操作和平均池化操作，再通过一个共享全连接层运算后对其进行相加生成通道注意力Attentionc与输入特征图相乘；空间注意力机制的实现是在上一步的基础上，对输出特征图按空间进行最大池化操作和平均池化操作后拼接进行卷积操作，生成二维空间注意力AttentionS与输入特征图相乘，将通道空间注意力块嵌入残差块，构造通道空间注意力残差单元；
S22：在解码器端，由四个残差去卷积单元组成：去卷积单元Dn+1的输入Fin由上一层去卷积Dn产生的特征图Fin1与Dn+1对称卷积层产生的特征图Fin2复制并串联所得，然后经过去卷积操作产生Dn+1的输出Fout，构造的残差去卷积单元的公式为：
Fin＝concat(Fin1,Fin2)
Fout＝deconv(Fin)+Fin
其中，Concat()表示通道上的串联；deconv()表示去卷积操作；
判别网络构建模块，用于构建自注意力的判别网络，该判别网络和所述生成网络共同组成遥感图像去云网络；
遥感图像去云网络训练模块，利用训练集对遥感图像去云网络进行训练，并利用测试集做定量分析，当遥感图像去云网络达到预设精度后，得到最终的遥感图像去云网络；
去云模块，将所述最终的遥感图像去云网络应用于实际，达到对遥感图像云去除的目的。
6.如权利要求5所述的一种遥感图像云去除系统，其特征在于：构建判别网络的具体过程为：
首先由四层具有批量归一化的卷积层组成的卷积神经网络，每一层包括卷积层、批量归一化层和Leaky ReLU层，然后引入自注意力模块来建立特征图的全局依赖关系，扩大图像的感受野，用于获取输入特征图像更多的上下文信息，最后在网络后加入卷积层用来恢复图像的原本通道，判别网络输出为true或者false，代表判别网络鉴别输入图像是否为真实图像。
7.如权利要求5所述的一种遥感图像云去除系统，其特征在于：使用训练集对遥感图像去云网络进行训练，每训练完一代对测试集测试效果进行比较，当测试集定量分析结果达到预设精度时，即生成网络和判别网络的损失足够低且稳定时，保存训练模型参数，构建的损失函数为：
Lloss＝LcGAN(G,D)+L1(G)+LAtt+LSSIM
其中，G、D分别表示生成器和判别器；
LcGAN()表示条件生成对抗网络的损失函数，其公式为：
其中，x表示多云图像，y表示真实无云图像，Pdata(x)表示x的分布，z表示随机噪声数据，Pz(z)表示噪声分布，G(x,z)表示x借助z生成的无云图像，D(x,y)表示真实数据上判断为真的概率；表示所有x,y都是真实数据时logD(x,y)的期望；表示所有数据都是生成数据时log(1-D(x,G(x,z)))的期望；Pdata(x,y)表示x,y的分布；D(x,G(x,z)))表示生成数据判断为真的概率；
L1()表示标准L1损失函数，用于衡量生成器所重建云像素的准确性，其公式为：
其中，C表示输入图像的通道数，H、W表示图像的大小，(u,v,c)表示第c个通道中位置(u,v)处的像素，λc表示第c个通道的权重，R(u,v,c)表示实际的无云图像，G(x)(u,v,c)表示生成网络的预测图像，||1表示取绝对值；
LAtt表示注意损失，其公式为：
其中，GAtt表示生成网络生成的注意力图，M表示云掩膜，表示平方和二范数；
LSSIM表示结构相似性损失，用来实现原始特征信息的恢复，其公式为：
其中，SSIM()表示计算结构性相似指数；G(X)表示生成网络的预测图像，R表示实际的无云图像。
8.如权利要求5所述的一种遥感图像云去除系统，其特征在于：采用测试集来测试网络去云效果，定量分析的评价指标主要包括峰值信噪比和结构相似性指数；
峰值信噪比是用于评估图像质量的最广泛、最常用的客观测量，其计算公式为：
其中PSNR是峰值信噪比，n是像素值的位数，MSE是均方误差值，如以下公式所示：
X(i,j)、Y(i,j)分别表示输入的两张图像；
SSIM是结构相似性指数，通过亮度、对比度以及结构三个方面来衡量图像之间的相似度，其计算公式如下：
SSIM＝l(X,Y)·c(X,Y)·s(X,Y)
其中，
C1、C2、C3是常数，σX是图像X的协方差；σY是图像Y的协方差；σXY是图像X和Y的协方差；μX、μY分别表示图像X和Y的均值。
CN202310802671.9A 2023-06-30 2023-06-30 一种遥感图像云去除方法及系统 Active CN116823664B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310802671.9A CN116823664B (zh) 2023-06-30 2023-06-30 一种遥感图像云去除方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310802671.9A CN116823664B (zh) 2023-06-30 2023-06-30 一种遥感图像云去除方法及系统

Publications (2)

Publication Number Publication Date
CN116823664A CN116823664A (zh) 2023-09-29
CN116823664B true CN116823664B (zh) 2024-03-01

Family

ID=88127299

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310802671.9A Active CN116823664B (zh) 2023-06-30 2023-06-30 一种遥感图像云去除方法及系统

Country Status (1)

Country Link
CN (1) CN116823664B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117611494B (zh) * 2024-01-24 2024-04-30 北京理工大学 一种全色遥感图像薄云去除方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108460739A (zh) * 2018-03-02 2018-08-28 北京航空航天大学 一种基于生成对抗网络的遥感图像薄云去除方法
CN113408398A (zh) * 2021-06-16 2021-09-17 西安电子科技大学 基于通道注意力及概率上采样的遥感图像云检测方法
CN113837956A (zh) * 2021-08-18 2021-12-24 西安理工大学 无配对监督云检测以及大区域厚云去除方法
CN113935908A (zh) * 2021-09-16 2022-01-14 航天东方红卫星有限公司 一种基于双支路通道和特征强化机制的遥感图像去云方法
CN114066755A (zh) * 2021-11-11 2022-02-18 南京航空航天大学 一种基于全波段特征融合的遥感影像薄云去除方法及系统
CN115809970A (zh) * 2022-12-21 2023-03-17 广西壮族自治区自然资源遥感院 一种基于sar-光学遥感影像联合的深度学习去云方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11830167B2 (en) * 2021-06-21 2023-11-28 Ping An Technology (Shenzhen) Co., Ltd. System and method for super-resolution image processing in remote sensing

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108460739A (zh) * 2018-03-02 2018-08-28 北京航空航天大学 一种基于生成对抗网络的遥感图像薄云去除方法
CN113408398A (zh) * 2021-06-16 2021-09-17 西安电子科技大学 基于通道注意力及概率上采样的遥感图像云检测方法
CN113837956A (zh) * 2021-08-18 2021-12-24 西安理工大学 无配对监督云检测以及大区域厚云去除方法
CN113935908A (zh) * 2021-09-16 2022-01-14 航天东方红卫星有限公司 一种基于双支路通道和特征强化机制的遥感图像去云方法
CN114066755A (zh) * 2021-11-11 2022-02-18 南京航空航天大学 一种基于全波段特征融合的遥感影像薄云去除方法及系统
CN115809970A (zh) * 2022-12-21 2023-03-17 广西壮族自治区自然资源遥感院 一种基于sar-光学遥感影像联合的深度学习去云方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Attention mechanism-based generative adversarial networks for cloud removal in Landsat images;Meng Xu等;《Remote Sensing of Environment》;第1-15页 *

Also Published As

Publication number Publication date
CN116823664A (zh) 2023-09-29

Similar Documents

Publication Publication Date Title
CN111738124B (zh) 基于Gabor变换和注意力的遥感图像云检测方法
CN110363215B (zh) 基于生成式对抗网络的sar图像转化为光学图像的方法
CN110533631B (zh) 基于金字塔池化孪生网络的sar图像变化检测方法
CN112668494A (zh) 基于多尺度特征提取的小样本变化检测方法
CN109165660A (zh) 一种基于卷积神经网络的显著物体检测方法
CN111711820B (zh) 一种基于生成对抗网络的裂缝图像压缩采样方法
CN116823664B (zh) 一种遥感图像云去除方法及系统
CN113177937B (zh) 基于改进YOLOv4-tiny的布匹缺陷检测方法
CN114692509B (zh) 基于多阶段退化神经网络的强噪声单光子三维重建方法
CN114022770A (zh) 基于改进自注意力机制与迁移学习的山体裂缝检测方法
CN115601661A (zh) 一种用于城市动态监测的建筑物变化检测方法
CN112766223B (zh) 基于样本挖掘与背景重构的高光谱图像目标检测方法
CN113327231B (zh) 一种基于空谱联合的高光谱异常目标检测方法和系统
CN112257741B (zh) 一种基于复数神经网络的生成性对抗虚假图片的检测方法
CN111666852A (zh) 一种基于卷积神经网络的微表情双流网络识别方法
CN115131313A (zh) 基于Transformer的高光谱图像变化检测方法及装置
CN116012310A (zh) 基于线性残差注意力的跨海大桥桥墩表面裂缝检测方法
CN116091492B (zh) 一种图像变化像素级检测方法与系统
CN115909077A (zh) 基于无监督光谱解混神经网络的高光谱图像变化检测方法
CN115880505A (zh) 一种目标边缘检测神经网络的低序级断层智能识别方法
CN115331078A (zh) 一种基于ESR-YOLOv5的光学遥感图像目标检测方法
CN113034543B (zh) 一种基于局部注意力机制的3D-ReID多目标追踪方法
CN115375966A (zh) 一种基于联合损失函数的图像对抗样本生成方法及系统
CN113744205A (zh) 一种端到端的道路裂缝检测系统
Lin et al. Lightweight Remote Sensing Image Denoising via Knowledge Distillation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant