CN116579943A - 基于生成对抗网络的遥感sar-光学图像融合去云方法 - Google Patents

基于生成对抗网络的遥感sar-光学图像融合去云方法 Download PDF

Info

Publication number
CN116579943A
CN116579943A CN202310521650.XA CN202310521650A CN116579943A CN 116579943 A CN116579943 A CN 116579943A CN 202310521650 A CN202310521650 A CN 202310521650A CN 116579943 A CN116579943 A CN 116579943A
Authority
CN
China
Prior art keywords
optical image
cloud
image
remote sensing
sar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310521650.XA
Other languages
English (en)
Inventor
胡悦
张帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202310521650.XA priority Critical patent/CN116579943A/zh
Publication of CN116579943A publication Critical patent/CN116579943A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

基于生成对抗网络的遥感SAR‑光学图像融合去云方法，属于遥感光学图像处理领域。本发明针对现有遥感光学图像除云方法难以去除和恢复厚云区域的问题。包括基于生成对抗网络并融合SAR图像信息，引入注意力模块和转换模块到生成对抗网络中；输入多云图像到注意力模块以生成注意力图；将多云图像和假光学图像输入生成器中恢复多云区域；根据注意力图将多云图像和生成器的输出融合为无云图像；再将真值图和生成的无云图像分别与SAR图像进行级联输入到判别器判断真假；引入注意力损失和生成器、判决器的损失函数，通过梯度下降算法用来对模型的参数进行更新。本发明方法可有效去除光学图像中薄云和厚云等区域。

Description

基于生成对抗网络的遥感SAR-光学图像融合去云方法
技术领域
本发明涉及基于生成对抗网络的遥感SAR-光学图像融合去云方法，属于遥感数字图像处理中的遥感光学图像处理领域。
背景技术
遥感技术在地球观测任务中发挥着重要作用。由于遥感光学图像容易受到云雾的干扰，导致地面的目标被遮挡，从而影响遥感图像的解译，因此遥感光学图像除云成为遥感图像处理领域的重要课题。
遥感光学图像中的云雾厚度不一，在厚云的区域地面目标完全被遮挡，薄云的区域地面目标的灰度值受到污染；除了云以外，图像中还有厚云带来的阴影区域，也会对地面目标的解译造成影响。因此需要进行遥感光学图像除云，将受到云或云阴影干扰的目标恢复出来。
近年来，很多学者致力于提高除云算法的效果，所提出的除云方法主要分为四大类：基于空间的方法、基于光谱的方法、基于多时相的方法和混合方法。其中基于空间的方法使用来自无云区域的信息来恢复缺失数据，它可以有效地填补图像中的小间隙；然而，很难恢复有大块受云污染的图像。基于光谱的方法利用多光谱数据恢复丢失数据，可以获得令人满意的视觉性能，并且可以处理薄云，但当多个或所有光谱带被污染时，则不能有效地恢复图像。基于多时相的方法使用在相近期间获得的数据提供的辅助信息来恢复云污染区域。然而，当地面的目标在数据收集时期显著变化时，基于多时相的方法则不再适用。混合方法试图结合基于空间、基于光谱和基于多时相的方法的优点进行除云，但是对于更丰富的目标场景，目前尚不能获得很好的除云效果。
发明内容
针对现有遥感光学图像除云方法难以去除和恢复厚云区域的问题，本发明提供一种基于生成对抗网络的遥感SAR-光学图像融合去云方法。
本发明的一种基于生成对抗网络的遥感SAR-光学图像融合去云方法，包括，
步骤一：采集选定场景的成对的有云光学图像Ic、SAR图像Is和选定场景真实光学图像It作为训练样本图像；
步骤二：建立遥感光学图像除云模型，并采用训练样本图像进行训练，获得训练后遥感光学图像除云模型；
所述遥感光学图像除云模型包括转换模块、注意力模块、生成器和判决器；
SAR图像Is经转换模块获得假光学图像If；将假光学图像If与有云光学图像Ic按通道级联后送入生成器中，经生成器恢复有云光学图像Ic的有云区域，获得生成器生成光学图像；有云光学图像Ic经注意力模块生成注意力图IM；注意力图IM与生成器生成光学图像进行逐元素点乘，同时取反后与有云光学图像Ic进行逐元素点乘，将两个点乘结果相加得到复原后无云图像Ig；
分别将SAR图像Is与复原后无云图像Ig和选定场景真实光学图像It级联后输入至判决器进行图像的真假判断；
在模型训练过程中，引入转换模块损失函数、注意力损失函数、生成器损失函数和判决器损失函数，通过梯度下降算法对遥感光学图像除云模型的参数进行优化更新；满足预设条件后，获得训练后遥感光学图像除云模型；
步骤三：将目标场景的成对的有云光学图像Ic和对应的SAR图像Is输入训练后遥感光学图像除云模型中，经生成器输出有云光学图像Ic的除云后光学图像。
根据本发明的基于生成对抗网络的遥感SAR-光学图像融合去云方法，步骤一中成对的有云光学图像Ic和SAR图像Is具有相同的尺寸和分辨率；
转换模块、注意力模块和生成器采用相同的U-net网络实现。
根据本发明的基于生成对抗网络的遥感SAR-光学图像融合去云方法，所述生成器包括8个下采样层和8个上采样层，每个下采样层包括一个带有4×4卷积核的卷积层、一个激活层和一个实例归一化层；8个上采样层中按顺序前7个上采样层包括激活层、具有4×4卷积核的反卷积层和实例归一化层，第8个上采样层包括卷积层和激活层。
根据本发明的基于生成对抗网络的遥感SAR-光学图像融合去云方法，生成器的16个采样层中，下采样层的第i层和上采样层的第9-i层之间进行跳连接；i＝1，2，3，……8。
根据本发明的基于生成对抗网络的遥感SAR-光学图像融合去云方法，判决器的前四个网络层，每个网络层包括5个具有4×4内核的卷积层、4个激活层和4个实例归一化层；最后一个网络层包括卷积层。
根据本发明的基于生成对抗网络的遥感SAR-光学图像融合去云方法，步骤二中，注意力损失函数表示为LA，定义为注意力图IM的L1范数：
式中A(Ic)＝IM，A表示注意力模块；N表示训练样本图像中有云光学图像Ic的总数，表示第n张有云光学图像Ic；||·||1表示L1范数；
注意力损失函数LA用于鼓励注意力模块关注多云区域。
根据本发明的基于生成对抗网络的遥感SAR-光学图像融合去云方法，步骤二中，判决器损失函数表示为LD：
式中表示对所有Its作为输入计算的结果求期望，/>表示判决器对输入图像的判决结果，Its为SAR图像Is与选定场景真实光学图像It级联结果，/>为表示对所有Igs作为输入计算的结果求期望，Igs为SAR图像Is与复原后无云图像Ig级联结果；
其中复原后无云图像Ig的获得方法为：
Ig＝IM⊙G(Ic,If)+(1-IM)⊙Ic，
式中G(Ic,If)表示经生成器获得的生成器生成光学图像，⊙表示逐元素点乘。
根据本发明的基于生成对抗网络的遥感SAR-光学图像融合去云方法，步骤二中，生成器损失函数表示为LG：
LG＝Ladv+λ1L1(It,Ig)+λ2LSSIM(It,Ig)，
式中Ladv为对抗损失，λ1为L1范数损失函数的权重，LSSIM为结构相似性损失函数，λ2为针对复原后无云图像Ig和选定场景真实光学图像It的结构相似性损失函数的权重；λ1和λ2的取值范围为0-10；
式中表示第n张复原后无云图像Ig，/>表示第n张选定场景真实光学图像It；
式中SSIM表示结构相似性。
根据本发明的基于生成对抗网络的遥感SAR-光学图像融合去云方法，转换模块损失函数表示为LT：
IT＝L1(If,It)+λ3LSSIM(If,It)，
式中λ3为针对假光学图像If和选定场景真实光学图像It的结构相似性损失函数的权重，取值范围为0-10。
根据本发明的基于生成对抗网络的遥感SAR-光学图像融合去云方法，步骤二中，对遥感光学图像除云模型利用pytorch深度学习框架进行训练。
本发明的有益效果：本发明方法针对现在方法只适用具有单一特征云雾遮挡的目标进行除云，尤其厚云区域不能被有效恢复的问题而提出，可有效提高遥感图像的除云效果。
本发明方法基于生成对抗网络并融合SAR图像信息，引入注意力模块和转换模块到生成对抗网络中。输入多云图像到注意力模块以生成注意力图；然后将多云图像和假光学图像输入生成器中来恢复多云区域。根据注意力图将多云图像和生成器的输出融合为无云图像。随后，将真值图和生成的无云图像分别与SAR图像进行级联，输入到判别器，判别器用于判断这两类图像是“真”还是“假”。引入了注意力损失和生成器、判决器的损失函数，通过梯度下降算法用来对模型的参数进行更新。本发明方法中的注意力模块可以有效的检测光学图像中的薄云、厚云等区域。
本发明方法可以有效的去除厚云、薄云、云阴影等区域，对于各种形式云雾遮挡的目标图像可以有效的去除厚云、薄云、云阴影等区域。经实验验证，本发明方法相较于其他基于SAR图像的除云方法(SAR-opt-GAN、Simulation-Fusion GAN等)，能够得到更高质量的无云图像。
附图说明
图1是本发明所述基于生成对抗网络的遥感SAR-光学图像融合去云方法的流程图；
图2是获得复原后无云图像Ig的网络结构图；图中Transposed Conv+InstanceNorm+ReLU表示卷积层+实例归一化层+ReLU激活函数，Transposed Conv+Tanh表示转置卷积卷积层+Tanh激活函数，Conv+InstanceNorm+LeakyReLU表示卷积层+实例归一化层+ReLU激活函数，Addition by pixel表示逐像素相加，Multiply by pixel表示逐像素相乘，Negate and multiply by pixel表示取反再逐像素相乘；
图3是判决器的判决示意图；图中Conv表示卷积层；
图4是本发明方法的仿真实验结果对比图；
图5是本发明方法的真云实验结果对比图；
图6是消融实验结果图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
具体实施方式一、结合图1至图3所示，本发明提供了一种基于生成对抗网络的遥感SAR-光学图像融合去云方法，包括，
步骤一：采集选定场景的成对的有云光学图像Ic、SAR图像Is和选定场景真实光学图像It作为训练样本图像；
步骤二：建立遥感光学图像除云模型，并采用训练样本图像进行训练，获得训练后遥感光学图像除云模型；
所述遥感光学图像除云模型包括转换模块、注意力模块、生成器和判决器；
SAR图像Is经转换模块获得假光学图像If；将假光学图像If与有云光学图像Ic按通道级联后送入生成器中，经生成器恢复有云光学图像Ic的有云区域，获得生成器生成光学图像；有云光学图像Ic经注意力模块生成注意力图IM；注意力图IM与生成器生成光学图像进行逐元素点乘，同时取反后与有云光学图像Ic进行逐元素点乘，将两个点乘结果相加得到复原后无云图像Ig；
分别将SAR图像Is与复原后无云图像Ig和选定场景真实光学图像It级联后输入至判决器进行图像的真假判断；
在模型训练过程中，引入转换模块损失函数、注意力损失函数、生成器损失函数和判决器损失函数，通过梯度下降算法对遥感光学图像除云模型的参数进行优化更新；满足预设条件后，例如当损失不再下降基本稳定时，获得训练后遥感光学图像除云模型；
步骤三：将目标场景的成对的有云光学图像Ic和对应的SAR图像Is输入训练后遥感光学图像除云模型中，经生成器输出有云光学图像Ic的除云后光学图像。
本实施方式基于生成对抗网络并融合SAR图像信息对遥感光学图像除云，其中成对的有云光学图像Ic和SAR图像Is要求为对同一区域采集的图像。在模型训练过程中，根据各个模块的输出结果，建立注意力损失函数和生成器、判决器的损失函数；再根据建立的损失函数，采用梯度下降法对深度学习模型进行参数优化；经过训练，得到训练好的除云模型，保存模型；测试时，将成对的光学图像和SAR图像输入到训练好的除云模型中，生成除云结果。
本实施方式中，模型训练结束的预设条件可以为300个迭代周期，每个迭代周期完成一轮所有训练样本图像的训练。
进一步，步骤一中成对的有云光学图像Ic和SAR图像Is具有相同的尺寸和分辨率；
作为示例，转换模块、注意力模块和生成器采用相同的U-net网络实现。
结合图2所示，本实施方式中所述生成器包括8个下采样层和8个上采样层，每个下采样层包括一个带有4×4卷积核的卷积层、一个激活层和一个实例归一化层；8个上采样层中按顺序前7个上采样层包括激活层、具有4×4卷积核的反卷积层和实例归一化层，第8个上采样层包括卷积层和激活层。
为了融合低级和高级特征并减少信息丢失，生成器的16个采样层中，在下采样层的第i层和上采样层的第9-i层之间进行跳连接；i＝1，2，3，……8。
进一步，结合图3所示，本实施方式的判决器的前四个网络层，每个网络层包括5个具有4×4内核的卷积层、4个激活层和4个实例归一化层；最后一个网络层包括卷积层。
再进一步，本实施方式的步骤二中，注意力损失函数表示为LA，注意力损失函数LA用于鼓励注意力网络关注多云区域而不是整个图像，定义为注意力图IM的L1范数：
式中A(Ic)＝IM，A表示注意力模块；N表示训练样本图像中有云光学图像Ic的总数，表示第n张有云光学图像Ic；||·||1表示L1范数；
注意力损失函数LA用于鼓励注意力模块关注多云区域。
步骤二中，判决器损失函数表示为LD，本实施方式中采用LSGAN中的对抗性损失：
式中表示对所有Its作为输入计算的结果求期望，/>表示判决器对输入图像的判决结果，Its为SAR图像Is与选定场景真实光学图像It级联结果，/>为表示对所有Igs作为输入计算的结果求期望，Igs为SAR图像Is与复原后无云图像Ig级联结果；
其中复原后无云图像Ig的获得方法为：
Ig＝IM⊙G(Ic,If)+(1-IM)⊙Ic，
式中G(Ic,If)表示经生成器获得的生成器生成光学图像，⊙表示逐元素点乘。
本实施方式中使用IM作为先验信息，保留Ic的无云区域，同时利用生成器的输出恢复多云区域。
步骤二中，生成器损失函数表示为LG：
LG＝Ladv+λ1L1(It,Ig)+λ2LSSIM(It,Ig)，
式中Ladv为对抗损失，λ1为L1范数损失函数的权重，LSSIM为结构相似性损失函数，λ2为针对复原后无云图像Ig和选定场景真实光学图像It的结构相似性损失函数的权重，两个权重在训练时可根据生成图像的情况进行调整，一般情况下值的范围在0-10以内；
式中表示第n张复原后无云图像Ig，/>表示第n张选定场景真实光学图像It；
式中SSIM表示结构相似性。
转换模块损失函数表示为LT：
IT＝L1(If,It)+λ3LSSIM(If,It)，
式中λ3为针对假光学图像If和选定场景真实光学图像It的结构相似性损失函数的权重，该权重在训练时可根据生成图像的情况进行调整，一般情况下值的范围在0-1以内。
本实施方式中设计了损失函数用于训练除云模型，模型训练完成之后，将成对的SAR图像和光学图像输入模型中，通过转换模块、注意力模块和生成器除云。本发明方法对不同环境下的不同厚度的云图像均有较好的除云效果。
作为示例，步骤二中，对遥感光学图像除云模型利用pytorch深度学习框架进行训练，pytorch有自动求导机制，可以采用梯度下降法对模型进行参数更新，得到训练后的模型，完成训练阶段，保存训练好的模型。测试时，将成对的光学图像和SAR图像输入到模型中，生成无云的图像。
具体实施例：
下面通过实验进行本发明方法有效性的说明：
1.实验数据：
为了验证所提出的遥感光学图像除云模型，进行云去除的真实和模拟数据实验。在真实数据实验中，使用SEN12MS-CR数据集，该数据集包含了对应的Sentinel-1双极SAR数据、Sentinel-2多光谱图像和云层覆盖的Sentinel-2多光谱图像的122,218对图片。Sentinel-2多光谱图像包括13个波段，本实施例中使用了R、G和B三个波段。
在模拟实验中，在SEN12MS-CR中随机选取1342对无云图像和SAR图像，并利用这些无云图像生成1342张模拟多云图像。其中使用1000对数据来训练模型，其余342对数据用于测试模型的性能。在真实云实验中，在SEN12MS-CR数据集中随机选取1436对多云图像、无云图像和SAR图像。选择936对数据来训练模型和500对数据来测试模型。
2.实验结果及结果分析：
为了验证本发明提出的除云方法的优越性，与其他先进的除云的方法进行比较，包括pix2pix模型、SAR-opt-GAN模型、Simulation-Fusion GAN模型和GLF-CR模型。所有的模型都在SEN12MS-CR数据集上重新进行训练。
在图4中，展示了各个方法在仿真实验中的除云效果，图4中(a)列展示了SAR图像，(b)列展示了注意力图，(c)列展示了有云图像，(d)至(h)列对应于pix2pix模型、SAR-opt-GAN模型、Simulation-Fusion GAN模型、GLF-CR模型和本发明的模型获得的结果，(i)列显示了地面真值图像。
由图4表明，注意力模块可以准确地检测到多云区域。在注意力图中，有云的区域值大，没有云的区域值小。由于pix2pix模型没有使用SAR图像作为辅助信息，因此无法恢复厚云区的信息。与pix2pix模型相比，SAR-opt-GAN模型可以恢复部分厚云区域的信息，但由于很多区域无法准确恢复，恢复性能有限。Simulation-Fusion GAN模型通过恢复厚云区域的信息来提高性能。然而一些区域变得模糊，丢失了重要的图像细节。同样地，GLF-CR模型恢复的区域非常模糊，厚云覆盖区域的细节无法很好地恢复。与其他方法相比，本发明提出的模型能够重建被厚云遮挡的区域并最准确地恢复细节。
下面通过均方根误差(RMSE)、峰值信噪比(PSNR)、结构相似性(SSIM)三个指标来评估除云的结果。计算公式如下：
式中MSE为均方误差，h为图片像素的列数，l为图片像素的行数，I(p,q)为图片I的第p行q列像素，K(p,q)为图片K的第p行q列像素。
均方根误差(RMSE)为MSE的开方。
式中MAXI为图片I中的可能出现的像素最大值，例如8bit图像的像素最大值为255。
式中x为图像x，y为图像y，μx和μy分别是x、y的平均值，σxy表示x和y的协方差，σx和σy分别是图像x和y的标准差，c1和c2分别为常数。
计算上述指标后，对所有的测试图像求平均，得到的仿真实验的实验结果如表1所示，本发明的模型得到的除云结果在三个指标上均优于其他模型。通过观察除云的视觉效果和定量的指标评估，结果均表明本发明的模型有良好的除云效果。
表1仿真实验中不同模型的除云效果评价指标对比
图5展示了各个方法在真云实验中的除云效果，图5中(a)列展示了SAR图像，(b)列展示了注意力图，(c)列展示了有云图像，(d)至(h)列对应于pix2pix模型、SAR-opt-GAN模型、Simulation-Fusion GAN模型、GLF-CR模型和本发明模型获得的结果，(i)列显示了地面实况图像。
结果表明，与在仿真实验的结果基本一致，注意力图能够提取到真云的分布。本发明所提出模型提供的结果在视觉上优于其他方法，能够恢复被厚云遮挡的地面物体。此外，无云区域土地覆盖的细节在本发明方法的结果图像中得到了最准确的保留。
对于真云实验，同样使用峰值信噪比(PSNR)、均方根误差(RMSE)、结构相似性(SSIM)三个指标来评估除云的结果。对所有的测试图像求平均，得到的真云实验的实验结果如表2所示，本发明模型得到的除云结果在三个指标上均优于其他模型。
真云实验中，通过观察除云的视觉效果和定量的指标评估，结果均表明本发明的模型有良好的除云效果。
表2真云实验中不同模型的除云效果评价指标对比
为了验证本发明方法中各个模块的作用，进行消融实验，将注意力模块和转换模块分别去掉，评估其实验效果，实验结果如图6所示。
图6中，第一行第二列图片中下方框、第一行第三列图片中上方框、第二行第二列图片中下方框以及第二行第三列图片中上方框框出的区域表示无法准确恢复的区域，所有图片中的其它方框表示恢复良好的区域。由图6可以很容易地观察到，在没有注意力模块或转换模块的情况下，云去除结果受到严重破坏。当移除转换模块时，SAR图像直接输入到生成器中。由于SAR图像中散斑噪声的存在，严重影响了多云区域的复原结果。因此，这说明转换模块可以有效地消除噪声，从而保证恢复性能。当注意力模块被移除时，可以观察到一些图像中的无云区域没有得到很好的保留，这是因为注意力模块保证了无云区域在重建过程中保持不变。
表3显示了使用和不使用注意力模块和转换模块时所提出模型的定量比较，这表明注意力模块和转换模块的引入有助于提升除云的质量。
表3消融实验结果
综上，本发明方法可以适应更丰富的场景实现光学图像除云。
虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其它所述实施例中。

Claims (10)

1.一种基于生成对抗网络的遥感SAR-光学图像融合去云方法，其特征在于包括，
步骤一：采集选定场景的成对的有云光学图像Ic、SAR图像Is和选定场景真实光学图像It作为训练样本图像；
步骤二：建立遥感光学图像除云模型，并采用训练样本图像进行训练，获得训练后遥感光学图像除云模型；
所述遥感光学图像除云模型包括转换模块、注意力模块、生成器和判决器；
SAR图像Is经转换模块获得假光学图像If；将假光学图像If与有云光学图像Ic按通道级联后送入生成器中，经生成器恢复有云光学图像Ic的有云区域，获得生成器生成光学图像；有云光学图像Ic经注意力模块生成注意力图IM；注意力图IM与生成器生成光学图像进行逐元素点乘，同时取反后与有云光学图像Ic进行逐元素点乘，将两个点乘结果相加得到复原后无云图像Ig；
分别将SAR图像Is与复原后无云图像Ig和选定场景真实光学图像It级联后输入至判决器进行图像的真假判断；
在模型训练过程中，引入转换模块损失函数、注意力损失函数、生成器损失函数和判决器损失函数，通过梯度下降算法对遥感光学图像除云模型的参数进行优化更新；满足预设条件后，获得训练后遥感光学图像除云模型；
步骤三：将目标场景的成对的有云光学图像Ic和对应的SAR图像Is输入训练后遥感光学图像除云模型中，经生成器输出有云光学图像Ic的除云后光学图像。
2.根据权利要求1所述的基于生成对抗网络的遥感SAR-光学图像融合去云方法，其特征在于，
步骤一中成对的有云光学图像Ic和SAR图像Is具有相同的尺寸和分辨率；
转换模块、注意力模块和生成器采用相同的U-net网络实现。
3.根据权利要求2所述的基于生成对抗网络的遥感SAR-光学图像融合去云方法，其特征在于，
所述生成器包括8个下采样层和8个上采样层，每个下采样层包括一个带有4×4卷积核的卷积层、一个激活层和一个实例归一化层；8个上采样层中按顺序前7个上采样层包括激活层、具有4×4卷积核的反卷积层和实例归一化层，第8个上采样层包括卷积层和激活层。
4.根据权利要求3所述的基于生成对抗网络的遥感SAR-光学图像融合去云方法，其特征在于，
生成器的16个采样层中，下采样层的第i层和上采样层的第9-i层之间进行跳连接；i＝1，2，3，……8。
5.根据权利要求4所述的基于生成对抗网络的遥感SAR-光学图像融合去云方法，其特征在于，
判决器的前四个网络层，每个网络层包括5个具有4×4内核的卷积层、4个激活层和4个实例归一化层；最后一个网络层包括卷积层。
6.根据权利要求5所述的基于生成对抗网络的遥感SAR-光学图像融合去云方法，其特征在于，
步骤二中，注意力损失函数表示为LA，定义为注意力图IM的L1范数：
式中A(Ic)＝IM，A表示注意力模块；N表示训练样本图像中有云光学图像Ic的总数，表示第n张有云光学图像Ic；||·||1表示L1范数；
注意力损失函数LA用于鼓励注意力模块关注多云区域。
7.根据权利要求6所述的基于生成对抗网络的遥感SAR-光学图像融合去云方法，其特征在于，
步骤二中，判决器损失函数表示为LD：
式中表示对所有Its作为输入计算的结果求期望，/>表示判决器对输入图像的判决结果，Its为SAR图像Is与选定场景真实光学图像It级联结果，/>为表示对所有Igs作为输入计算的结果求期望，Igs为SAR图像Is与复原后无云图像Ig级联结果；
其中复原后无云图像Ig的获得方法为：
Ig＝IM⊙G(Ic,If)+(1-IM)⊙Ic，
式中G(Ic,If)表示经生成器获得的生成器生成光学图像，⊙表示逐元素点乘。
8.根据权利要求7所述的基于生成对抗网络的遥感SAR-光学图像融合去云方法，其特征在于，
步骤二中，生成器损失函数表示为LG：
LG＝Ladv+λ1L1(It,Ig)+λ2LSSIM(It,Ig)，
式中Ladv为对抗损失，λ1为L1范数损失函数的权重，LSSIM为结构相似性损失函数，λ2为针对复原后无云图像Ig和选定场景真实光学图像It的结构相似性损失函数的权重；λ1和λ2的取值范围为0-10；
式中表示第n张复原后无云图像Ig，/>表示第n张选定场景真实光学图像It；
式中SSIM表示结构相似性。
9.根据权利要求8所述的基于生成对抗网络的遥感SAR-光学图像融合去云方法，其特征在于，
转换模块损失函数表示为LT：
IT＝L1(If,It)+λ3LSSIM(If,It)，
式中λ3为针对假光学图像If和选定场景真实光学图像It的结构相似性损失函数的权重，取值范围为0-10。
10.根据权利要求9所述的基于生成对抗网络的遥感SAR-光学图像融合去云方法，其特征在于，
步骤二中，对遥感光学图像除云模型利用pytorch深度学习框架进行训练。
CN202310521650.XA 2023-05-10 2023-05-10 基于生成对抗网络的遥感sar-光学图像融合去云方法 Pending CN116579943A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310521650.XA CN116579943A (zh) 2023-05-10 2023-05-10 基于生成对抗网络的遥感sar-光学图像融合去云方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310521650.XA CN116579943A (zh) 2023-05-10 2023-05-10 基于生成对抗网络的遥感sar-光学图像融合去云方法

Publications (1)

Publication Number Publication Date
CN116579943A true CN116579943A (zh) 2023-08-11

Family

ID=87533416

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310521650.XA Pending CN116579943A (zh) 2023-05-10 2023-05-10 基于生成对抗网络的遥感sar-光学图像融合去云方法

Country Status (1)

Country Link
CN (1) CN116579943A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117252785A (zh) * 2023-11-16 2023-12-19 安徽省测绘档案资料馆(安徽省基础测绘信息中心) 一种基于多源sar与光学影像联合的去云方法
CN117576236A (zh) * 2023-11-13 2024-02-20 宁波大学 联合多时相sar和光学信息的缺失光学图像重建方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117576236A (zh) * 2023-11-13 2024-02-20 宁波大学 联合多时相sar和光学信息的缺失光学图像重建方法
CN117252785A (zh) * 2023-11-16 2023-12-19 安徽省测绘档案资料馆(安徽省基础测绘信息中心) 一种基于多源sar与光学影像联合的去云方法
CN117252785B (zh) * 2023-11-16 2024-03-12 安徽省测绘档案资料馆(安徽省基础测绘信息中心) 一种基于多源sar与光学影像联合的去云方法

Similar Documents

Publication Publication Date Title
CN108921799B (zh) 基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法
CN116579943A (zh) 基于生成对抗网络的遥感sar-光学图像融合去云方法
CN111696148A (zh) 基于卷积神经网络的端到端立体匹配方法
CN111325165B (zh) 考虑空间关系信息的城市遥感影像场景分类方法
CN112285712B (zh) 一种提高sar图像中靠岸船只检测精度的方法
CN104680491A (zh) 一种基于深度神经网络的图像非均匀运动模糊去除方法
Zi et al. Thin cloud removal for multispectral remote sensing images using convolutional neural networks combined with an imaging model
Ding et al. U 2 D 2 Net: Unsupervised unified image dehazing and denoising network for single hazy image enhancement
CN111861925A (zh) 一种基于注意力机制与门控循环单元的图像去雨方法
CN115330643B (zh) 基于卷积神经网络和视觉变换神经网络的地震去噪方法
CN110084181B (zh) 一种基于稀疏MobileNetV2网络的遥感图像舰船目标检测方法
CN116152591B (zh) 模型训练方法、红外小目标检测方法、装置及电子设备
CN113222819B (zh) 一种基于深度卷积神经网络的遥感图像超分辨重建方法
CN110827262A (zh) 一种基于连续有限帧红外图像的弱小目标检测方法
CN111126185B (zh) 一种针对道路卡口场景的深度学习车辆目标识别方法
CN115578262A (zh) 基于afan模型的偏振图像超分辨率重建方法
CN116612468A (zh) 基于多模态融合与深度注意力机制的三维目标检测方法
CN115293986A (zh) 一种多时相遥感图像云区重建方法
CN115358922A (zh) 一种基于生成对抗网络的太赫兹图像超分辨率重建方法
CN112800932B (zh) 海上背景下显著船舶目标的检测方法及电子设备
CN113256546A (zh) 一种基于彩色图指导的深度图补全方法
CN112200752A (zh) 一种基于er网络多帧图像去模糊系统及其方法
CN109558819B (zh) 一种用于遥感图像目标检测的深度网络轻量化方法
CN116703996A (zh) 基于实例级自适应深度估计的单目三维目标检测算法
CN110889460A (zh) 一种基于协同注意力机制的机械臂指定物体抓取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination