CN117576236A - 联合多时相sar和光学信息的缺失光学图像重建方法 - Google Patents

联合多时相sar和光学信息的缺失光学图像重建方法 Download PDF

Info

Publication number
CN117576236A
CN117576236A CN202311499470.2A CN202311499470A CN117576236A CN 117576236 A CN117576236 A CN 117576236A CN 202311499470 A CN202311499470 A CN 202311499470A CN 117576236 A CN117576236 A CN 117576236A
Authority
CN
China
Prior art keywords
optical
sar
image
representing
optical image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311499470.2A
Other languages
English (en)
Other versions
CN117576236B (zh
Inventor
王煜淼
东春宇
杨刚
孙伟伟
陈镔捷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo University
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN202311499470.2A priority Critical patent/CN117576236B/zh
Publication of CN117576236A publication Critical patent/CN117576236A/zh
Application granted granted Critical
Publication of CN117576236B publication Critical patent/CN117576236B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及联合多时相SAR和光学信息的缺失光学图像重建方法，包括：获取研究区内经过预处理的多时相SAR‑光学数据集；提取T时刻与T+1时刻的SAR图像中地物变化信息，并将地物变化信息由SAR域转换到光学域；将所述地物变化信息与T+1时刻的光学图像信息融合，生成T时刻缺失的光学图像。本发明的有益效果是：本发明充分利用多时相多模态数据的优势，改善图像重建任务中常见的地貌变形、光谱失真、颜色失真等情况；确保重建的光学图像在纹理细节、色彩精度、色彩饱和度等方面与目标图像的一致性，为后序长时序遥感的应用提供高质量的光学遥感数据。

Description

联合多时相SAR和光学信息的缺失光学图像重建方法
技术领域
本发明涉及光学遥感图像处理技术领域，更确切地说，它涉及联合多时相SAR和光学信息的缺失光学图像重建方法。
背景技术
光学遥感图像具有高分辨率、视觉特征明显、可解释性强等优势，已广泛应用于农作物监测，气候变化和环境研究等领域。然而，在光学遥感图像在成像过程中，云雨天气与传感器本身故障等因素都会导致地物信息的缺失，对遥感时序数据的连续性带来挑战。因此，研究缺失光学遥感图像重建方法并建立全面的遥感时序数据，对后续开展长时序遥感应用至关重要。
目前，去云的方法和图像翻译的方法是进行缺失的光学遥感图像重建任务的主要方法。然而，许多去云的方法使用光学影像无云区域的光学信息，对于被厚云大面积覆盖的光学遥感图像，重建结果会出现光谱失真和模糊等现象。许多遥感图像翻译的方法通常直接将SAR图像翻译成光学遥感图像，忽略了SAR图像与光学遥感图像特征的差异，翻译生成的光学遥感图像存在区域地貌变形，光谱失真以及颜色失真等情况，目视效果较差。现有的融合多时相SAR与光学信息的图像翻译方法直接将多时相SAR-光学数据作为模型输入，忽视了多模态数据间的特征差异，和同模态数据间的时序差异，导致生成的光学遥感图像的细节真实性不高。
发明内容
本发明的目的是针对现有技术的不足，提出了联合多时相SAR和光学信息的缺失光学图像重建方法，包括：
步骤1、获取研究区内经过预处理的多时相SAR-光学数据集；
步骤2、提取T时刻与T+1时刻的SAR图像中地物变化信息，并将地物变化信息由SAR域转换到光学域；
步骤3、将所述地物变化信息与T+1时刻的光学图像信息融合，生成T时刻缺失的光学图像。
作为优选，步骤2中，利用MTS2ONet模型生成器中的Change_Extractor子网络提取所述地物变化信息，并将其由SAR域转换到光学域，数学表达式为：
其中，imagesAR_T表示T时刻的SAR数据，imageSAR_T+1表示T+1时刻的SAR数据，-表示相减运算，fC_E表示Change_Extractor子网络，Coptical表示光学域的地物变化信息。
作为优选，步骤2中，所述Change_Extractor子网络中的基础残差模块C_Resblock设计如下：
Fr1＝σ(βI(f3(Fin)))
Fr2＝σ(βI(f3(Fr1)))
Fr3＝CBAM(Fr2)
Fk＝βI(f1(Fin))
Ffinal＝σ(Fr3+Fk)
其中，Fin表示输入特征，Fr1，Fr2和Fr3分别表示基础残差模块C_Resblock每层的卷积特征，Fk表示跳跃连接层的卷积特征，Ffinal表示最终获取的卷积特征，f1()与f3()分别代表步长为1与步长为3的卷积运算，βI()表示实例归一化(Instance Normalization)，σ()表示Mish激活函数，CBAM表示卷积注意力机制模块(Convolutional Block AttentionModule)。
作为优选，步骤2中，还对Change_Extractor子网络添加局部损失函数进行约束，局部损失函数的数学表达式为：
其中，α、β、λ、δ为权重系数，表示VGG损失函数，/>表示光谱角损失函数，/>表示多尺度结构相似性损失函数。
作为优选，步骤3中，利用MTS2ONet模型生成器中的S2O_Translator子网络将Change_Extractor子网络获取到的地物变化信息与T+1时刻的光学图像信息融合，生成T时刻缺失的光学图像，步骤3的数学表达式为：
imageG＝fS2O(Cat(imageOP_T+1，Coptical))
其中，imageOP_T+1表示T+1时刻的光学图像，cat(·)表示特征叠加运算，fS2O()表示S2O_Translator子网络，imageG表示生成的T时刻的光学图像。
作为优选，S2O_Translator子网络中的基础残差模块S_Resblock设计如下：
Fr1＝σ(βG(f3(Fin)))
Fr2＝σ(βG(f3(Fr1)))
Fr3＝CBAM(Fr2)
Fk＝βG(f1(Fin))
Ffinal＝σ(Fr3+Fk)
其中，βG()表示组归一化(Group Normalization)。
作为优选，步骤3中，利用联合损失对MTS2ONet模型生成器进行约束，联合损失的数学表达式为：
其中，表示联合损失，/>表示图像自身损失，/>表示最小二乘生成器损失。
作为优选，还包括：
步骤4、对生成的T时刻光学图像、T时刻的SAR与光学图像以及T+1时刻的SAR与光学图像进行1/2倍、1/4倍的下采样；
步骤5、分别将原始图像、1/2倍下采样后的图像以及1/4倍下采样后的图像输入到MTS2ONet模型的多尺度鉴别器中；
步骤6、对MTS2ONet模型的多尺度鉴别器添加最小二乘鉴别器损失进行约束，使得生成器与鉴别器进行零和博弈。
作为优选，所述多尺度鉴别器由三个不同结构的子鉴别器组成，每个子鉴别器都是由基础残差模块D_ResBlock组成的常规二元分类器，多尺度鉴别器中的基础残差模块D_Resblock设计如下：
Fr1＝f4(fS(σ(βB(Fin))
Fr2＝f1(fS(σ(βB(Fr1))
Fk＝f4(fS(Fin))
Ffinal＝Fr2+Fk
其中，βB表示批量归一化(Batch Normalization)，fS表示光谱归一化(SpectralNormalization)，f4表示步长为4的卷积运算。
第二方面，提供了联合多时相SAR和光学信息的缺失光学图像重建系统，用于执行第一方面所述联合多时相SAR和光学信息的缺失光学图像重建方法，包括：
获取模块，用于获取研究区内经过预处理的多时相SAR-光学数据集；
提取模块，用于提取T时刻与T+1时刻的SAR图像中地物变化信息，并将地物变化信息由SAR域转换到光学域；
融合模块，用于将所述地物变化信息与T+1时刻的光学图像信息融合，生成T时刻缺失的光学图像。
本发明的有益效果是：
1.本发明提出了一种基于多时相遥感影像的图像翻译模型MTS2ONet，来重建缺失光学图像。该模型通过T+1时刻的光学图像与SAR图像以及T时刻的SAR图像来生成T时刻缺失的光学图像，旨在充分利用多时相多模态数据的优势，改善图像重建任务中常见的地貌变形、光谱失真、颜色失真等情况。
2.本发明将地物变化特征提取与图像特征融合相结合，旨在充分利用多时相多模态数据的优势，确保重建的光学图像在纹理细节、色彩精度、色彩饱和度等方面与目标图像的一致性，为后序长时序遥感的应用提供高质量的光学遥感数据。
附图说明
图1为预处理后的多时相SAR-光学数据集样本示意图；
图2为一种联合多时相SAR和光学信息的缺失光学图像重建方法的流程示意图；
图3为本发明提供的组成MTS2ONet模型的3种基本模块结构图；
图4为本发明提供的光学图像重建方法与对比方法的重建效果图。
具体实施方式
下面结合实施例对本发明做进一步描述。下述实施例的说明只是用于帮助理解本发明。应当指出，对于本技术领域的普通人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
实施例1：
本申请实施例提供了联合多时相SAR和光学信息的缺失光学图像重建方法，包括：
步骤1、如图1所示，获取研究区内经过预处理的多时相SAR-光学数据集。
步骤1中，研究区为进行特定研究的地理区域。通常是一个具体的区域，比如一个城市、一个乡村地区、一个特定的自然保护区或者一个大的地理流域等。在这个区域内，会进行各种观察、测量和数据收集以了解和研究该区域的特定现象或问题。预处理包括几何校正、大气校正、影像配准和目视解译挑选无云图像。此外，数据集可以通过Google EarthEngine云计算平台获取。
步骤2、提取T时刻与T+1时刻的SAR图像中地物变化信息，并将地物变化信息由SAR域转换到光学域，减少SAR图像与光学图像信息融合时两种图像所存在的巨大差异。
相邻时刻的SAR图像中地物变化信息的提取方式多种多样，在一种可选的实现方式中，本身实施例利用MTS2ONet模型生成器中的Change_Extractor子网络提取所述地物变化信息，并将其由SAR域转换到光学域，数学表达式为：
其中，imageSAR_T表示T时刻的SAR数据，imagesAR_T+1表示T+1时刻的SAR数据，-表示相减运算，fC_E表示Change_Extractor子网络，Coptical表示光学域的地物变化信息。
步骤2中，残差网络是一种深度卷积神经网络架构，旨在解决深度神经网络训练中的梯度消失和梯度爆炸等问题。如图3所示，所述Change_Extractor子网络中的基础残差模块C_Resblock设计如下：
Fr1＝σ(βI(f3(Fin)))
Fr2＝σ(βI(f3(Fr1)))
Fr3＝CBAM(Fr2)
Fk＝βI(f1(Fin))
Ffinal＝σ(Fr3+Fk)
其中，Fin表示输入特征，Fr1，Fr2和Fr3分别表示基础残差模块C_Resblock每层的卷积特征，Fk表示跳跃连接层的卷积特征，Ffinal表示最终获取的卷积特征，f1()与f3()分别代表步长为1与步长为3的卷积运算，βI()表示实例归一化，σ()表示Mish激活函数，CBAM表示卷积注意力机制模块。
步骤2中，还对Change_Extractor子网络添加局部损失函数进行约束，使模型生成更清晰准确的变化特征，局部损失函数的数学表达式为：
其中，α、β、λ、δ为权重系数，本申请实施例分别取1，1，1，0.1，表示VGG损失函数，/>表示光谱角损失函数，/>表示多尺度结构相似性损失函数。
以下对组成局部损失函数的三类损失函数进行说明：
A.VGG损失函数
VGG损失函数是基于预训练的VGG19网络的特征匹配损失函数，可以更好地捕捉图像细节和图像中的语义差异，使得生成的图像在内容和风格上更接近目标图像。
其中，x与y分别代表生成图像与目标图像的张量，i表示VGG19网络中第2、7、12、21、30层这5层中的第i层，φi()表示第i层激活函数的输出，Ci表示第i层的通道数，(Hi，Wi)表示第i层每个通道上的图像。
B.光谱角损失函数
采用生成图像和目标图像之间的余弦相似性来计算二者的光谱角损失函数，减少图像光谱失真。
其中，I表示值为1的张量。
C.多尺度结构相似性损失函数
多尺度结构相似性损失函数可用于评估生成图像的纹理信息。
其中，αM，βj，γj为权重系数，cj(x，y)表示在第j尺度上的对比度比较计算，sj(x，y)表示在第j尺度上的结构比较计算，lM(x，y)表示在比例M下的亮度比较计算。
步骤3、将所述地物变化信息与T+1时刻的光学图像信息融合，生成T时刻缺失的光学图像。
在一种可选的实现方式中，利用MTS2ONet模型生成器中的S2O_Translator子网络将Change_Extractor子网络获取到的地物变化信息与T+1时刻的光学图像信息融合，生成T时刻缺失的光学图像，步骤3的数学表达式为：
imageG＝fS2O(Cat(imageOP_T+1，Coptical))
其中，imageOP_T+1表示T+1时刻的光学图像，cat(·)表示特征叠加运算，fS2O()表示S20_Translator子网络，imageG表示生成的T时刻的光学图像。
如图3所示，S2O_Translator子网络中的基础残差模块S_Resblock设计如下：
Fr1＝σ(βG(f3(Fin)))
Fr2＝σ(βG(f3(Fr1)))
Fr3＝CBAM(Fr2)
Fk＝βG(f1(Fin))
Ffinal＝σ(Fr3+Fk)
其中，βG()表示组归一化。
步骤3中，利用联合损失对MTS2ONet模型生成器进行约束，确保生成的光学图像与目标图像在内容、结构以及风格等方面更一致，联合损失的数学表达式为：
其中，表示联合损失，/>表示图像自身损失，/>表示最小二乘生成器损失。
实施例2：
在实施例1的基础上，本申请实施例2提供了更具体的联合多时相SAR和光学信息的缺失光学图像重建方法，如图2所示，包括：
步骤1、获取研究区内经过预处理的多时相SAR-光学数据集。
步骤2、提取T时刻与T+1时刻的SAR图像中地物变化信息，并将地物变化信息由SAR域转换到光学域。
步骤3、将所述地物变化信息与T+1时刻的光学图像信息融合，生成T时刻缺失的光学图像。
步骤4、对生成的T时刻光学图像、T时刻的SAR与光学图像以及T+1时刻的SAR与光学图像进行1/2倍、1/4倍的下采样。
步骤5、分别将原始图像、1/2倍下采样后的图像以及1/4倍下采样后的图像输入到MTS2ONet模型的多尺度鉴别器中。
步骤5中，本申请实施例设计了一个多尺度鉴别器。它由三个不同结构的子鉴别器组成，每个子鉴别器都是由几个基础残差模块(D_ResBlock)组成的常规二元分类器。GAN模型面临的一大挑战是训练过程中的不稳定，因此，我们将光谱归一化加入到D_Resblock中，以稳定多尺度鉴别器的训练并生成更高质量的图像。如图3所示，在多尺度鉴别器中的D_Resblock设计如下：
Fr1＝f4(fS(σ(βB(Fin))
Fr2＝f1(fS(σ(βB(Fr1))
Fk＝f4(fS(Fin))
Ffinal＝Fr2+Fk
其中，βB表示批量归一化，fS表示光谱归一化，f4表示步长为4的卷积运算。
步骤6、对MTS2ONet模型的多尺度鉴别器添加最小二乘鉴别器损失进行约束，使得生成器与鉴别器进行零和博弈，得到更高质量的光学图像。
光学遥感图像重建中，去云的方法对于被厚云大面积覆盖的光学遥感图像，重建结果会出现光谱失真和模糊等现象；直接将SAR图像翻译成光学图像的方法忽视了两种图像所存在的巨大差距，导致翻译生成的光学遥感图像目视效果较差。本发明将地物变化特征提取与图像融合相结合，可以有效提高光学图像重建的质量和有效性。图4为采用本方法和现有技术所重建的光学遥感图像对比。
此外，本申请实施例通过使用一个名为MTSEN1-2的多时相SAR-光学数据集对该方法与目前五种主流的光学图像重建方法进行对比，结果如表1所示，该方法的结构相似性指标(SSIM)、峰值信噪比(PSNR)均方误差(MSE)和可学习感知图像块相似度(LPIPS)明显优于其他方法。
表1在MTSEN1-2数据集的定量结果(粗体表示最优，下划线表示次优)
需要说明的，本实施例中与实施例1相同或相似的部分可相互参考，在本申请中不再赘述。
实施例3：
在实施例1的基础上，本申请实施例3提供了一种联合多时相SAR和光学信息的缺失光学图像重建系统，包括：
获取模块，用于获取研究区内经过预处理的多时相SAR-光学数据集；
提取模块，用于提取T时刻与T+1时刻的SAR图像中地物变化信息，并将地物变化信息由SAR域转换到光学域；
融合模块，用于将所述地物变化信息与T+1时刻的光学图像信息融合，生成T时刻缺失的光学图像。
具体的，本实施例所提供的系统为实施例1提供的方法对应的系统，因此，在本实施例中与实施例1、2相同或相似的部分，可相互参考，在本申请中不再赘述。
实施例4：
在实施例2的基础上，本申请实施例4提供了另一种联合多时相SAR和光学信息的缺失光学图像重建系统，包括：
获取模块，用于获取研究区内经过预处理的多时相SAR-光学数据集；
提取模块，用于提取T时刻与T+1时刻的SAR图像中地物变化信息，并将地物变化信息由SAR域转换到光学域；
融合模块，用于将所述地物变化信息与T+1时刻的光学图像信息融合，生成T时刻缺失的光学图像；
下采样模块，用于对生成的T时刻光学图像、T时刻的SAR与光学图像以及T+1时刻的SAR与光学图像进行1/2倍、1/4倍的下采样；
输入模块，用于分别将原始图像、1/2倍下采样后的图像以及1/4倍下采样后的图像输入到MTS2ONet模型的多尺度鉴别器中；
约束模块，用于对MTS2ONet模型的多尺度鉴别器添加最小二乘鉴别器损失进行约束，使得生成器与鉴别器进行零和博弈。
具体的，本实施例所提供的系统为实施例2提供的方法对应的系统，因此，在本实施例中与实施例2相同或相似的部分，可相互参考，在本申请中不再赘述。
综上，本发明考虑到现有的去云的方法和图像翻译的方法的不足，比如颜色失真、图像模糊以及纹理细节缺失等，提出了一种联合多时相SAR和光学信息的缺失光学图像重建方法。由于多时相多模态数据使用时，存在多模态数据间的特征差异和同模态数据间的时序差异，在本方法的MTS2ONet网络模型中，我们设计了一个Change_Extractor子网络与一个S2O_Translator子网络，充分将地物变化特征提取与图像特征融合相结合，确保生成的光学遥感图像在纹理细节、色彩精度、色彩饱和度等方面与目标图像一致，可以为后序长时序遥感的应用提供高质量的光学遥感数据。

Claims (10)

1.联合多时相SAR和光学信息的缺失光学图像重建方法，其特征在于，包括：
步骤1、获取研究区内经过预处理的多时相SAR-光学数据集；
步骤2、提取T时刻与T+1时刻的SAR图像中地物变化信息，并将地物变化信息由SAR域转换到光学域；
步骤3、将所述地物变化信息与T+1时刻的光学图像信息融合，生成T时刻缺失的光学图像。
2.根据权利要求1所述的联合多时相SAR和光学信息的缺失光学图像重建方法，其特征在于，步骤2中，利用MTS2ONet模型生成器中的Change_Extractor子网络提取所述地物变化信息，并将其由SAR域转换到光学域，数学表达式为：
其中，imageSAR_T表示T时刻的SAR数据，imageSAR_T+1表示T+1时刻的SAR数据，-表示相减运算，fC_E表示Change_Extractor子网络，Coptical表示光学域的地物变化信息。
3.根据权利要求2所述的联合多时相SAR和光学信息的缺失光学图像重建方法，其特征在于，步骤2中，所述Change_Extractor子网络中的基础残差模块C_Resblock设计如下：
Fr1＝σ(βI(f3(Fin)))
Fr2＝σ(βI(f3(Fr1)))
Fr3＝CBAM(Fr2)
Fk＝βI(f1(Fin))
Ffinal＝σ(Fr3+Fk)
其中，Fin表示输入特征，Fr1，Fr2和Fr3分别表示基础残差模块C_Resblock每层的卷积特征，Fk表示跳跃连接层的卷积特征，Ffinal表示最终获取的卷积特征，f1()与f3()分别代表步长为1与步长为3的卷积运算，βI()表示实例归一化，σ()表示Mish激活函数，CBAM表示卷积注意力机制模块。
4.根据权利要求3所述的联合多时相SAR和光学信息的缺失光学图像重建方法，其特征在于，步骤2中，还对Change_Extractor子网络添加局部损失函数进行约束，局部损失函数的数学表达式为：
其中，α、β、λ、δ为权重系数，表示VGG损失函数，/>表示光谱角损失函数，表示多尺度结构相似性损失函数。
5.根据权利要求4所述的联合多时相SAR和光学信息的缺失光学图像重建方法，其特征在于，步骤3中，利用MTS2ONet模型生成器中的S2O_Translator子网络将Change_Extractor子网络获取到的地物变化信息与T+1时刻的光学图像信息融合，生成T时刻缺失的光学图像，步骤3的数学表达式为：
imageG＝fS2O(Cat(imageOP_T+1，Coptical))
其中，imageOP_T+1表示T+1时刻的光学图像，cat(·)表示特征叠加运算，fS2O()表示S2O_Translator子网络，imageG表示生成的T时刻的光学图像。
6.根据权利要求5所述的联合多时相SAR和光学信息的缺失光学图像重建方法，其特征在于，S2O_Translator子网络中的基础残差模块S_Resblock设计如下：
Fr1＝σ(βG(f3(Fin)))
Fr2＝σ(βG(f3(Fr1)))
Fr3＝CBAM(Fr2)
Fk＝βG(f1(Fin))
Ffinal＝σ(Fr3+Fk)
其中，βG()表示组归一化。
7.根据权利要求6所述的联合多时相SAR和光学信息的缺失光学图像重建方法，其特征在于，步骤3中，利用联合损失对MTS2ONet模型生成器进行约束，联合损失的数学表达式为：
其中，表示联合损失，/>表示图像自身损失，/>表示最小二乘生成器损失。
8.根据权利要求1至6任一所述的联合多时相SAR和光学信息的缺失光学图像重建方法，其特征在于，还包括：
步骤4、对生成的T时刻光学图像、T时刻的SAR与光学图像以及T+1时刻的SAR与光学图像进行1/2倍、1/4倍的下采样；
步骤5、分别将原始图像、1/2倍下采样后的图像以及1/4倍下采样后的图像输入到MTS2ONet模型的多尺度鉴别器中；
步骤6、对MTS20Net模型的多尺度鉴别器添加最小二乘鉴别器损失进行约束，使得生成器与鉴别器进行零和博弈。
9.根据权利要求8所述的联合多时相SAR和光学信息的缺失光学图像重建方法，其特征在于，所述多尺度鉴别器由三个不同结构的子鉴别器组成，每个子鉴别器都是由基础残差模块D_ResBlock组成的常规二元分类器，多尺度鉴别器中的基础残差模块D_Resblock设计如下：
Fr1＝f4(fS(σ(βB(Fin))
Fr2＝f1(fS(σ(βB(Fr1))
Fk＝f4(fS(Fin))
Ffinal＝Fr2+Fk
其中，βB表示批量归一化，fS表示光谱归一化,f4表示步长为4的卷积运算。
10.联合多时相SAR和光学信息的缺失光学图像重建系统，其特征在于，用于执行权利要求1所述联合多时相SAR和光学信息的缺失光学图像重建方法，包括：
获取模块，用于获取研究区内经过预处理的多时相SAR-光学数据集；
提取模块，用于提取T时刻与T+1时刻的SAR图像中地物变化信息，并将地物变化信息由SAR域转换到光学域；
融合模块，用于将所述地物变化信息与T+1时刻的光学图像信息融合，生成T时刻缺失的光学图像。
CN202311499470.2A 2023-11-13 2023-11-13 联合多时相sar和光学信息的缺失光学图像重建方法 Active CN117576236B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311499470.2A CN117576236B (zh) 2023-11-13 2023-11-13 联合多时相sar和光学信息的缺失光学图像重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311499470.2A CN117576236B (zh) 2023-11-13 2023-11-13 联合多时相sar和光学信息的缺失光学图像重建方法

Publications (2)

Publication Number Publication Date
CN117576236A true CN117576236A (zh) 2024-02-20
CN117576236B CN117576236B (zh) 2024-06-18

Family

ID=89859899

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311499470.2A Active CN117576236B (zh) 2023-11-13 2023-11-13 联合多时相sar和光学信息的缺失光学图像重建方法

Country Status (1)

Country Link
CN (1) CN117576236B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105809194A (zh) * 2016-03-08 2016-07-27 华中师范大学 一种sar影像翻译为光学影像的方法
CN107590782A (zh) * 2017-08-21 2018-01-16 西北工业大学 一种基于全卷积网络的高分辨率光学图像厚云去除方法
CN114549385A (zh) * 2022-02-24 2022-05-27 重庆邮电大学 一种基于深度稠密残差网络的光学与sar图像融合的去云方法
CN115689941A (zh) * 2022-11-15 2023-02-03 武汉大学 一种跨域生成对抗的sar影像补偿方法及计算机可读介质
CN116245757A (zh) * 2023-02-08 2023-06-09 北京艾尔思时代科技有限公司 多模态数据的多场景通用性遥感影像云修复方法和系统
CN116309150A (zh) * 2023-03-14 2023-06-23 中国科学院空天信息创新研究院 一种sar辅助下光学遥感影像修复方法
CN116579943A (zh) * 2023-05-10 2023-08-11 哈尔滨工业大学 基于生成对抗网络的遥感sar-光学图像融合去云方法
CN116630637A (zh) * 2023-05-10 2023-08-22 中国空间技术研究院 基于多模态对比学习的光学-sar图像联合解译方法
CN116912680A (zh) * 2023-06-25 2023-10-20 西南交通大学 Sar舰船识别跨模态域迁移学习、识别方法及系统
CN117011542A (zh) * 2023-08-31 2023-11-07 中国测绘科学研究院 基于时间序列影像的遥感影像厚云去除方法、系统和设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105809194A (zh) * 2016-03-08 2016-07-27 华中师范大学 一种sar影像翻译为光学影像的方法
CN107590782A (zh) * 2017-08-21 2018-01-16 西北工业大学 一种基于全卷积网络的高分辨率光学图像厚云去除方法
CN114549385A (zh) * 2022-02-24 2022-05-27 重庆邮电大学 一种基于深度稠密残差网络的光学与sar图像融合的去云方法
CN115689941A (zh) * 2022-11-15 2023-02-03 武汉大学 一种跨域生成对抗的sar影像补偿方法及计算机可读介质
CN116245757A (zh) * 2023-02-08 2023-06-09 北京艾尔思时代科技有限公司 多模态数据的多场景通用性遥感影像云修复方法和系统
CN116309150A (zh) * 2023-03-14 2023-06-23 中国科学院空天信息创新研究院 一种sar辅助下光学遥感影像修复方法
CN116579943A (zh) * 2023-05-10 2023-08-11 哈尔滨工业大学 基于生成对抗网络的遥感sar-光学图像融合去云方法
CN116630637A (zh) * 2023-05-10 2023-08-22 中国空间技术研究院 基于多模态对比学习的光学-sar图像联合解译方法
CN116912680A (zh) * 2023-06-25 2023-10-20 西南交通大学 Sar舰船识别跨模态域迁移学习、识别方法及系统
CN117011542A (zh) * 2023-08-31 2023-11-07 中国测绘科学研究院 基于时间序列影像的遥感影像厚云去除方法、系统和设备

Also Published As

Publication number Publication date
CN117576236B (zh) 2024-06-18

Similar Documents

Publication Publication Date Title
CN108921799B (zh) 基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法
CN110443768B (zh) 基于多重一致性约束的单帧图像超分辨率重建方法
CN109872278B (zh) 基于u形网络和生成对抗网络的图像云层移除方法
CN110263756A (zh) 一种基于联合多任务学习的人脸超分辨率重建系统
CN109509160A (zh) 一种利用逐层迭代超分辨率的分层次遥感图像融合方法
Long et al. Bishift networks for thick cloud removal with multitemporal remote sensing images
CN113838064B (zh) 一种基于分支gan使用多时相遥感数据的云去除方法
CN114266957B (zh) 一种基于多降质方式数据增广的高光谱图像超分辨率复原方法
Zhang et al. Dense haze removal based on dynamic collaborative inference learning for remote sensing images
He et al. Remote sensing image super-resolution using deep–shallow cascaded convolutional neural networks
CN116703769B (zh) 一种卫星遥感图像全色锐化系统
CN117274059A (zh) 基于图像编码-解码的低分辨率图像重构方法及其系统
CN117314811A (zh) 基于混合模型的sar-光学图像融合方法
CN117197462A (zh) 基于多尺度特征融合和对齐的轻量地基云分割方法及系统
CN117576483B (zh) 基于多尺度卷积自编码器的多源数据融合地物分类方法
Zhou et al. Sparse representation with enhanced nonlocal self-similarity for image denoising
Babu et al. An efficient image dahazing using Googlenet based convolution neural networks
Luo et al. An evolutionary shadow correction network and a benchmark UAV dataset for remote sensing images
CN114140357A (zh) 一种基于协同注意力机制的多时相遥感图像云区重建方法
Wang et al. Poissonian blurred hyperspectral imagery denoising based on variable splitting and penalty technique
CN117593199A (zh) 一种基于高斯先验分布自注意力的双流遥感图像融合方法
CN117312957A (zh) 遥感图像识别模型生成方法、装置、设备、介质及产品
CN117576236B (zh) 联合多时相sar和光学信息的缺失光学图像重建方法
CN116977866A (zh) 一种轻量级滑坡检测方法
Lalitha et al. Satellite image enhancement using neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant