CN117408989A - 一种遥感图像去云的时空融合模型方法 - Google Patents

一种遥感图像去云的时空融合模型方法 Download PDF

Info

Publication number
CN117408989A
CN117408989A CN202311489196.0A CN202311489196A CN117408989A CN 117408989 A CN117408989 A CN 117408989A CN 202311489196 A CN202311489196 A CN 202311489196A CN 117408989 A CN117408989 A CN 117408989A
Authority
CN
China
Prior art keywords
cloud
sentinel
image
time
satellite
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311489196.0A
Other languages
English (en)
Inventor
张文倩
全兴文
行敏锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yangtze River Delta Research Institute of UESTC Huzhou
Original Assignee
Yangtze River Delta Research Institute of UESTC Huzhou
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yangtze River Delta Research Institute of UESTC Huzhou filed Critical Yangtze River Delta Research Institute of UESTC Huzhou
Priority to CN202311489196.0A priority Critical patent/CN117408989A/zh
Publication of CN117408989A publication Critical patent/CN117408989A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/092—Reinforcement learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Probability & Statistics with Applications (AREA)
  • Operations Research (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种遥感图像去云的时空融合模型方法，基于多云观测的Sentinel‑2卫星、多云观测的Sentinel‑1卫星及多云观测的葵花8号卫星获取图像，并对图像进行预处理；构建UnCRtainTS模型，并对图像预测出无云图像的不确定性；构建第一时空融合模型，使用预测的无云图像作为预设图像，将两副多云的葵花8号图像作为未处理图像，基于第一时空融合模型得到无云且分辨率大于10m的Sentinel‑2图像，并解析分辨率2000m到10m的极限分辨率融合的效果；通过比较同一时间的Sentinel‑2图像，对预测结果进行评价。本发明确保去除云层后的图像在地理和辐射上的准确性，以及可以对大规模、高分辨率的卫星图像数据的处理。能够结合大数据处理、计算机视觉和地理信息科学以实现遥感云去除效果。

Description

一种遥感图像去云的时空融合模型方法
技术领域
本发明属于遥感技术领域，特别涉及一种遥感图像去云的时空融合模型方法。
背景技术
遥感技术在地球观测领域中起到了至关重要的作用，但其在实际应用中常常受到云层和雾霾的干扰。这些自然现象使得光学卫星图像中的地表信息被遮挡，特别是西南地区，从而影响了对地表的精确监测。为了解决这一问题，研究者们开发了多种云去除方法。
其中，深度学习技术近年来受到了广泛关注，因为它可以隐式地学习如何识别和去除图像中的云层。但是，仅依赖深度学习可能不足以处理所有的遮挡情况，特别是在标注数据有限的情况下。
因此，显式的云去除预处理步骤变得尤为重要，它不仅可以提高模型的鲁棒性，还可以帮助研究者更好地解释和理解模型的工作原理。
然而，由于云层的形态和密度各异，从薄雾到厚云，云去除仍然是遥感领域的一个技术挑战。成功解决遥感云去除问题将极大地提高卫星图像的清晰度和准确性，从而在农业、环境保护、城市规划、灾害应对、气候研究、军事、能源勘探、科学研究和商业应用等多个领域中发挥关键作用，推动各行各业的科技进步和创新。
为了应对这一挑战，研究者们采用了多种策略和技术。首先，多光谱和多极化技术被广泛应用于云检测和去除。这些技术可以捕捉到不同波长和极化状态下的地表和云层的反射信息，从而更准确地区分它们。此外，时间序列分析也是一种有效的方法，通过对连续的卫星图像进行分析，可以识别和去除短时间内出现的云层。
目前，与传统方法相结合的深度学习方法也逐渐受到关注。例如，结合卷积神经网络（CNN）和长短时记忆网络（LSTM）可以更好地处理时空数据，从而实现更准确的云去除。此外，生成对抗网络（GAN）也被用于模拟无云的地表图像，通过训练模型生成无云遮挡的图像，从而实现云去除。
然而，云去除仍然难以有效的解决，这使得如何能够基于高效、准确的算法和技术，并结合大数据处理、计算机视觉和地理信息科学以实现遥感云去除效果是当前亟待解决的技术问题。
发明内容
本发明提供一种遥感图像去云的时空融合模型方法，方法较为精确地去除云的影响，以便对于卫星图像的清晰度和准确性进行评估。
方法包括以下步骤：
S101：基于多云观测的Sentinel-2卫星、多云观测的Sentinel-1卫星及多云观测的葵花8号卫星获取图像，并对图像进行预处理；
S102：构建UnCRtainTS模型，并对多云观测的Sentinel-2卫星和Sentinel-1卫星中预测无云图像，预测出无云图像的不确定性；
S103：构建第一时空融合模型，使用预测的无云图像作为预设图像，将两副多云的葵花8号图像作为未处理图像，基于第一时空融合模型得到无云且分辨率大于10m的Sentinel-2图像，并解析分辨率2000m到10m的极限分辨率融合的效果；
S104：通过比较同一时间的Sentinel-2图像，对预测结果进行评价。
进一步需要说明的是，步骤S101中，基于所述Sentinel-2卫星分别获取T1时间的多云观测图像和T2时间观测的目标图像；
所述Sentinel-1卫星获取图像的时间与T1时间相近，且图像为双极化C波段图像。
进一步需要说明的是，步骤S101中，所述葵花8号卫星获取图像的时间分别包括T1时间和T2时间。
进一步需要说明的是，步骤 S102中，使用的UnCRtainTS模型采用神经网络架构对多云观测的Sentinel-2卫星和Sentinel-1卫星无云图像时间序列映射到单个无云光学图像，并估计了预测的任意不确定性。
进一步需要说明的是，步骤 S102还包括：
调取UnCRtainTS模型训练集所使用的数据集，在数据集中定义多个每个感兴趣区域，且每个感兴趣区域均具有多个重复度量，每个感兴趣区域均在预设时间段内采集多副Sentinel-2卫星、多云观测的Sentinel-1卫星及多云观测的葵花8号卫星图像；所有图像的云覆盖率为50%。
进一步需要说明的是，方法中，图像包含双极化C波段Sentinel-1卫星数据以及正射校正且具有亚像元级几何精校正后的1C级大气顶部反射率Sentinel-2光学数据；将Sentinel-1卫星数据和Sentinel-2光学数据进行预处理。
进一步需要说明的是，方法中，预处理包括如下步骤：
定义每个波段分辨率重采样为10m，将图像被分割成256*256的尺寸；
定义Sentinel-1卫星的图像边界，对热噪声进行去除，对辐射进行校准，实现正射校正，并进行分贝变换处理；
基于T1时间和T2时间的Sentinel-2图像进行辐射定标和大气校正处理；
葵花8号卫星获取的图像进行如下预处理：大气校正，使用双三次卷积进行重采样到10m，将图像分割成256*256的尺寸。
进一步需要说明的是，所述数据集中，每个样本i由一对（Xi，Yi）组成，其中Xi=[X1 i，···，XT i] 是包含云像素的大小 [T×Cin×H×W] 的输入时间序列，Yi是形状 [K×H×W]的目标无云图像；
T表示输入序列中的日期数量，Cin和K表示输入和输出通道的数量，H×W表示图像的两个空间维度；
设置T=3，Cin=15，K=13，H=W=256, Sentinel-1卫星观测被用作附加输入；
将每个像素重构表示为，将相应的地面实况表示为/>，两个向量的维数均为K；
预测在L2损失的情况下进行监督：
预测任意不确定性假设具有似然函数的参数噪声分布，使用负对数似然成本函数，将观测图像的似然性作为输入和分布参数的函数进行优化，对重建像素上的任意不确定性进行建模，该建模像素具有以预测值为中心的K变量正态分布，并具有正定协方差矩阵，继而将正定协方差矩阵定义为具有对角元素/> 2=（/>,…，/>）的对角矩阵，对每个通道进行不同的方差预测，全协方差矩阵的对角项用作相应输出通道的任意不确定性预测。
进一步需要说明的是，方法中，第一时空融合模型利用偏最小二乘法回归方法，来实现多变量多元回归。
进一步需要说明的是，步骤S104之后，执行精度验证；
精度验证采用如下三个指标：决定系数R2、皮尔逊相关系数R、均方根误差RMSE。
从以上技术方案可以看出，本发明具有以下优点：
本发明提供的遥感图像去云的时空融合模型方法中，首先进行数据收集与预处理，使用成对的双极化C波段Sentinel-1雷达数据和正射校正且亚像元级几何精校正后的1C级大气顶部反射率Sentinel-2光学数据数据，代入相关数据对UnCRtainTS深度学习模型进行训练和测试。再预处理同一时间的成对的Sentinel-1雷达数据和有云的2A级Sentinel-2光学数据，进行测试，得到无云Sentinel-2光学数据图像。再代入无云Sentinel-2光学数据图像，有云H-8图像以及有云H-8图像，根据The FIRST模型进行时空融合，得到预测的无云Sentinel-2光学数据图像（T2时刻）。最后通过对比源自GEE的Sentinel-2光学数据图像，最后用决定系数R2、皮尔逊相关系数R、均方根误差RMSE对预测精度进行评价。
本发明根据雷达、光学的属性信息进行去云，最终通过真实目标数据Sentinel-2数据对预测Sentinel-2数据的精度进行评估。这样，本发明确保去除云层后的图像在地理和辐射上的准确性，以及可以对大规模、高分辨率的卫星图像数据的处理。本发明能够基于高效、准确的算法和技术，并结合大数据处理、计算机视觉和地理信息科学以实现遥感云去除效果。
附图说明
为了更清楚地说明本发明的技术方案，下面将对描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为遥感图像去云的时空融合模型方法流程图；
图2为基于耦合UnCRtainTS模型和The FIRST时空融合模型的去云方法流程图；
图3为UnCRtainTS模型的亚洲东部测试数据集的方差与不确定性图；
图4为UnCRtainTS模型的亚洲东部测试数据集的参数图；
图5为UnCRtainTS模型的单张影像预测图及目标图像；
图6为The FIRST模型的T2时间影像预测图；
图7为基于耦合UnCRtainTS模型和The FIRST时空融合模型的去云方法的精度评价图。
具体实施方式
本发明提供的遥感图像去云的时空融合模型方法的是为了实现能够基于高效、准确的算法和技术，并结合大数据处理、计算机视觉和地理信息科学以实现遥感云去除效果。
本发明提供的遥感图像去云的时空融合模型方法可以基于智能技术对Sentinel-2卫星、多云观测的Sentinel-1卫星及多云观测的葵花8号卫星获取图像进行获取和处理。其中，遥感图像去云的时空融合模型方法利用数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用装置。
遥感图像去云的时空融合模型方法还应用机器学习功能，其中本发明方法中的机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。通过配置UnCRtainTS模型和The FIRST时空融合模型，利用传感监控、数据传输等技术，根据卫星、光学的属性信息进行去云，最终通过真实目标数据Sentinel-2数据对预测Sentinel-2数据的精度进行评估。
本发明中的Sentinel-1卫星为哨兵1号（Sentinel-1）卫星是欧洲航天局哥白尼计划（GMES）中的地球观测卫星，由两颗卫星组成，载有C波段合成孔径卫星，可提供连续图像(白天、夜晚和各种天气)。
Sentinel-2卫星也就是哨兵2号，是携带一枚多光谱成像仪(MSI)，用于陆地监测，可提供植被、土壤和水覆盖、内陆水路及海岸区域等图像，还可用于紧急救援服务。
葵花8号卫星也就是“向日葵8号”， “向日葵8号”搭载的传感器性能，观测频率高，有望在监测暴雨云团、台风动向以及持续对喷发活动的火山等防灾领域进行监控。
本发明中，表述的Sentinel-1、Sentinel-2以及葵花8号，或者Sentinel-1卫星、Sentinel-2卫星以及葵花8号卫星均为同一个意思。
对于Sentinel-1图像、Sentinel-2图像以及葵花8号图像来讲，本发明的含义是基于Sentinel-1卫星、Sentinel-2卫星以及葵花8号卫星获取的图像，或者基于Sentinel-1卫星、Sentinel-2卫星以及葵花8号卫星获取的，并保存的图像。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明涉及的遥感图像去云的时空融合模型方法包括：
获取多云观测的Sentinel-2卫星，Sentinel-1卫星及多云观测的葵花8号卫星并对其进行预处理；
根据本申请的实施例，Sentinel-1图像是与多云观测的Sentinel-2（T1时间）相近时间的双极化C波段图像。
Sentinel-2图像包括T1时间获取的3张多云观测图像和T2时间获取的目标图像。T1时间可以是一个时间段，也可以是一个股时间点。同样，T2时间可以是一个时间段，也可以是一个股时间点。
葵花8号的图像可以来自NC数据产品。NC数据产品是基于用友NC产品平台来进行数据调取、处理和使用。
葵花8号的图像分别包括T1时间基于多云观测的图像和T2时间基于多云观测的图像。时空融合输入数据分别包括T1时间的葵花8号图像，T2时间的Sentinel-2图像，输出数据为T2时间的Sentinel-2图像，再与真实图像做对比分析。
构建UnCRtainTS模型，从一系列多云观测的Sentinel-2卫星和Sentinel-1卫星中预测无云图像，并且估计预测的任意不确定性；
构建The FIRST时空融合模型也就是第一时空融合模型，使用预测的1副无云图像作为精细图像，2副多云的葵花8号图像作为粗造图像，从而得到无云精细（分辨率为10m）的Sentinel-2图像，解析出分辨率2000m到10m的极限分辨率融合的效果；
本实施例中，使用的UnCRtainTS模型采用神经网络架构对多云观测的Sentinel-2卫星和Sentinel-1卫星无云图像时间序列映射到单个无云光学图像，并估计了预测的任意不确定性。
具体来讲，UnCRtainTS模型的训练集可以采用亚洲东部的ROI（感兴趣区域）。每个数据集中的每个ROI，也就是感兴趣区域，都有30个重复度量。每个区域都在2018年采集30副卫星和光学卫星。每副数据在240-300对不等。所有数据的大致云覆盖率为50%，从清晰图像（用于验证）、半透明雾霾、小云到密集的云。
每对图像包含双极化C波段Sentinel-1卫星数据和正射校正且亚像元级几何精校正后的1C级大气顶部反射率Sentinel-2光学数据.并将Sentinel-1卫星数据/Sentinel-2光学数据进行如下一系列预处理:每个波段分辨率重采样为10m，图像被分割成256*256的尺寸；并让Sentinel-1通过Sentinel-1工具箱，做边界，热噪声去除，辐射校准，正射校正，分贝变换等处理。所述葵花8号进行如下预处理：使用双三次卷积进行重采样到10m，图像被分割成256*256的尺寸。
通过比较同一时间的Sentinel-2图像，对预测结果精度进行评价。
对于评价结果，可以进行精度验证，精度验证采用三个指标来进行验证，具体为决定系数R2（determinant coefficient）、皮尔逊相关系数R、均方根误差RMSE。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
进一步的，作为上述实施例具体实施方式的细化和扩展，为了完整说明本实施例中的具体实施过程，遥感图像去云的时空融合模型方法还包括：
如图2所示，为基于耦合UnCRtainTS模型和The FIRST时空融合模型的去云方法流程图，在数据收集与预处理之后，通过使用UnCRtainTS模型预测T1时间无云Sentinel-2光学数据，之后利用The FIRST预测T2时间无云Sentinel-2光学数据，探究分辨率2000m到10m的极限分辨率融合的效果；再对结果精度进行验证。具体步骤如下：
获取成对的双极化C波段Sentinel-1卫星数据、正射校正且亚像元级几何精校正后的1C级以及2A级大气顶部反射率Sentinel-2光学数据。其余数据基于葵花8号的NC数据产品获取。
本实施例使用的UnCRtainTS模型采用新的神经网络架构将多云输入时间序列映射到单个无云光学图像，并估计了预测的任意不确定性，较高的不确定性（红色）与持续遮挡、云阴影或特定的土地覆盖类型有关。
本实施例选择仅对全分辨率特征图执行空间编码，以在基于像素的损失情况下进行训练时获得良好性能。为了减轻这种选择对体系结构计算负载的影响，神经网络架构依赖于高效的MBConv块。
本实施例结合了深度卷积和规则逐点卷积，以实现计算高效的空间编码。通过基于注意力的L-TAE对下采样的特征图执行时间编码。
对于本实施例的网络架构来讲，网络架构由三个主要部分组成，沿着MBConv块的一个主要分支应用，该分支以全输入分辨率处理特征图，处理方式包括：首先，编码器并行应用于T个时间点。然后，基于注意力的时间聚合器通过将L-TAE应用于下采样的特征图来计算注意力掩码，该特征图用于聚合观察序列。最后，通过解码块对时间积分的特征图进行处理，产生图像重建和任意不确定性。
对于本实施例的神经网络架构数据集来讲，数据集中，每个样本i由一对（Xi，Yi）组成，其中Xi=[X1 i，···，XT i] 是包含云像素的大小 [T×Cin×H×W] 的输入时间序列，Yi是形状 [K×H×W]的目标无云图像。T表示输入序列中的日期数量，Cin和K表示输入和输出通道的数量，H×W表示图像的两个空间维度。
本实施例设置T=3，Cin=15，K=13，H=W=256, Sentinel-1卫星观测被用作附加输入。此外，任意不确定性量化引入了额外的输出通道来描述建模的噪声分布。
同时，本实施例的方法预测了每个重建像素的任意不确定性值。在卫星图像重建的默认设置中，网络只回归目标像素值。将每个像素重构表示为，将相应的地面实况表示为/>，这两个向量的维数均为K。
预测通常在L2损失的情况下进行监督：
预测任意不确定性假设具有似然函数的参数噪声分布，本实施例使用负对数似然（NLL）成本函数，将观测数据的似然性作为输入和分布参数的函数进行优化，对重建像素上的任意不确定性进行建模，该重建像素具有以预测值为中心的K变量正态分布，并具有正定协方差矩阵，但是当涉及全协方差矩阵时，NLL优化确实变得非常困难。
继而将正定协方差矩阵定义为具有对角元素 2=（/>,…，/>）的对角矩阵，对每个通道进行不同的方差预测，全协方差矩阵的对角项用作相应输出通道的任意不确定性预测。
The FIRST模型也就是第一时空融合模型产生具有高空间和时间分辨率的地表反射率产物。
第一时空融合模型Incorrporting Spectral autocorrelaTion（FIRST）模型，以充分利用表面反射率产物的多个光谱带。
与其他融合方法相比，该模型具有三个明显的优势：（1）它在多对多回归框架中利用了光谱自相关，同时输入和预测多光谱波段，而没有共线效应；（2）当时空变化较大时，它以可接受的计算效率保持较高的融合精度；以及（3）即使输入图像被雾和薄云污染，它也可以产生稳健的结果。相较于四种经典模型，即时空自适应反射融合模型（STARFM）、灵活时空数据融合（FSDAF）模型、回归模型拟合、空间滤波和残差补偿（Fit-FC）模型和增强型STARFM（ESTARFM）,结果表明FIRST由于其简单有效的技术原理而产生了更好的整体性能。
The FIRST模型利用偏最小二乘法回归（PLSR）方法，来实现多变量多元回归的问题，即它可以用多个自变量同时预测多个因变量（多对多框架）。PLSR具有包含更多光谱信息和缓解串联效应的优点；并通过最佳PLS成分数选择（OPC），以及自适应残差补偿（ARC）的过程，对预测结果的进行优化。
在本发明的一种实施例中，基于遥感图像去云的时空融合模型方法，以下将给出执行精度验证的实施例对方法具体的实施方案进行非限制性阐述。精度验证包括如下步骤：
(1)训练UnCRtainTS模型；
选取使用亚洲东部的ROI的成对的双极化C波段Sentinel-1卫星数据和正射校正且亚像元级几何精校正后的1C级大气顶部反射率Sentinel-2光学数据，每个数据集中的每个ROI（感兴趣区域）都有30个重复度量。每个区域都在2018年采集30副卫星和光学卫星。每副数据在240-300对不等。从清晰图像（用于验证）、半透明雾霾、小云到密集的云,数据的大致云覆盖率为50%，这符合真实的遥感图像情况。代入相关数据对UnCRtainTS深度学习模型进行训练。
(2)验证UnCRtainTS模型；
本发明利用亚洲东部的ROI的成对的双极化C波段Sentinel-1卫星数据和正射校正且亚像元级几何精校正后的1C级大气顶部反射率Sentinel-2光学数据进行验证，UnCRtainTS模型的亚洲东部测试数据集的方差与不确定性图以及参数图如图3和图4所示。
将输入数据参数从30变到3，再预处理同一时间的成对的Sentinel-1卫星数据和有云的2A级Sentinel-2光学数据数据，进行测试，得到无云Sentinel-2光学数据图像（T1时间），UnCRtainTS模型的单张影像预测图及目标图像如图5所示。
(3)利用FIRST模型进行时空融合；
下载T1和T2时间的葵花8号NC数据，并进行大气校正，裁剪，重采样等预处理。与UnCRtainTS模型输出的无云Sentinel-2 (T1时间) 一同作为FIRST模型的输入数据，得到无云6个波段的Sentinel-2 (T2时间) ，探究了分辨率2000m到10m的极限分辨率融合的效果；The FIRST模型的T2影像预测图如图6所示。
(4)反演精度评价；
本发明对Sentinel-2的预测效果进行了评价，评价指标为决定系数R2（determinantcoefficient）、皮尔逊相关系数R、均方根误差RMSE。计算公式如下所示，其中和/>分别表示第/>个真实和估计像元值，/>表示真实像元均值，/>表示预测像元均值，/>表示数据点的个数。精度评价表如图所示：
反演精度如图7所示。该方法具有良好的精度（R=0.72,RMSE=38.3%）,分辨率2000m到10m的极限分辨率融合并且去云的效果较为良好。
本实施例提供的基于耦合UnCRtainTS模型和The FIRST时空融合模型的去云方法，使用双极化C波段Sentinel-1卫星数据，正射校正且亚像元级几何精校正后的1C级大气顶部反射率Sentinel-2光学数据和NC数据产品的葵花8号进行去云及分辨率融合，探究了分辨率2000m到10m的极限分辨率融合并且去云的可能性，并且结果具备可以接受的精度。
本发明涉及的遥感图像去云的时空融合模型方法是结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明的实施例中，可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种遥感图像去云的时空融合模型方法，其特征在于，方法包括以下步骤：
S101：基于多云观测的Sentinel-2卫星、多云观测的Sentinel-1卫星及多云观测的葵花8号卫星获取图像，并对图像进行预处理；
S102：构建UnCRtainTS模型，并对多云观测的Sentinel-2卫星和Sentinel-1卫星中预测无云图像，预测出无云图像的不确定性；
S103：构建第一时空融合模型，使用预测的无云图像作为预设图像，将两副多云的葵花8号图像作为未处理图像，基于第一时空融合模型得到无云且分辨率大于10m的Sentinel-2图像，并解析分辨率2000m到10m的极限分辨率融合的效果；
S104：通过比较同一时间的Sentinel-2图像，对预测结果进行评价。
2.根据权利要求1所述的遥感图像去云的时空融合模型方法，其特征在于，步骤S101中，
基于所述Sentinel-2卫星分别获取T1时间的多云观测图像和T2时间观测的目标图像；
所述Sentinel-1卫星获取图像的时间与T1时间相近，且图像为双极化C波段图像。
3.根据权利要求1所述的遥感图像去云的时空融合模型方法，其特征在于，步骤S101中，
所述葵花8号卫星获取图像的时间分别包括T1时间和T2时间。
4.根据权利要求1所述的遥感图像去云的时空融合模型方法，其特征在于，步骤 S102中，使用的UnCRtainTS模型采用神经网络架构对多云观测的Sentinel-2卫星和Sentinel-1卫星无云图像时间序列映射到单个无云光学图像，并估计了预测的任意不确定性。
5.根据权利要求2所述的遥感图像去云的时空融合模型方法，其特征在于，步骤 S102还包括：
调取UnCRtainTS模型训练集所使用的数据集，在数据集中定义多个每个感兴趣区域，且每个感兴趣区域均具有多个重复度量，每个感兴趣区域均在预设时间段内采集多副Sentinel-2卫星、多云观测的Sentinel-1卫星及多云观测的葵花8号卫星图像；所有图像的云覆盖率为50%。
6.根据权利要求5所述的遥感图像去云的时空融合模型方法，其特征在于，方法中，图像包含双极化C波段Sentinel-1卫星数据以及正射校正且具有亚像元级几何精校正后的1C级大气顶部反射率Sentinel-2光学数据；
将Sentinel-1卫星数据和Sentinel-2光学数据进行预处理。
7.根据权利要求6所述的遥感图像去云的时空融合模型方法，其特征在于，方法中，预处理包括如下步骤：
定义每个波段分辨率重采样为10m，将图像被分割成256*256的尺寸；
定义Sentinel-1卫星的图像边界，对热噪声进行去除，对辐射进行校准，实现正射校正，并进行分贝变换处理；
基于T1时间和T2时间的Sentinel-2图像进行辐射定标和大气校正处理；
葵花8号卫星获取的图像进行如下预处理：大气校正，使用双三次卷积进行重采样到10m，将图像分割成256*256的尺寸。
8.根据权利要求5所述的遥感图像去云的时空融合模型方法，其特征在于，所述数据集中，每个样本i由一对（Xi，Yi）组成，其中Xi=[X1 i，···，XT i] 是包含云像素的大小 [T×Cin×H×W] 的输入时间序列，Yi是形状 [K×H×W]的目标无云图像；
T表示输入序列中的日期数量，Cin和K表示输入和输出通道的数量，H×W表示图像的两个空间维度；
设置T=3，Cin=15，K=13，H=W=256, Sentinel-1卫星观测被用作附加输入；
将每个像素重构表示为，将相应的地面实况表示为/>，两个向量的维数均为K；
预测在L2损失的情况下进行监督：
预测任意不确定性假设具有似然函数的参数噪声分布，使用负对数似然成本函数，将观测图像的似然性作为输入和分布参数的函数进行优化，对重建像素上的任意不确定性进行建模，该建模像素具有以预测值 为中心的K变量正态分布，并具有正定协方差矩阵，继而将正定协方差矩阵定义为具有对角元素/> 2=（/>,…，/>）的对角矩阵，对每个通道进行不同的方差预测，全协方差矩阵的对角项用作相应输出通道的任意不确定性预测。
9.根据权利要求1或2所述的遥感图像去云的时空融合模型方法，其特征在于，方法中，第一时空融合模型利用偏最小二乘法回归方法，来实现多变量多元回归。
10.根据权利要求1或2所述的遥感图像去云的时空融合模型方法，其特征在于，步骤S104之后，执行精度验证；
精度验证采用如下三个指标：决定系数R2、皮尔逊相关系数R、均方根误差RMSE。
CN202311489196.0A 2023-11-09 2023-11-09 一种遥感图像去云的时空融合模型方法 Pending CN117408989A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311489196.0A CN117408989A (zh) 2023-11-09 2023-11-09 一种遥感图像去云的时空融合模型方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311489196.0A CN117408989A (zh) 2023-11-09 2023-11-09 一种遥感图像去云的时空融合模型方法

Publications (1)

Publication Number Publication Date
CN117408989A true CN117408989A (zh) 2024-01-16

Family

ID=89488907

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311489196.0A Pending CN117408989A (zh) 2023-11-09 2023-11-09 一种遥感图像去云的时空融合模型方法

Country Status (1)

Country Link
CN (1) CN117408989A (zh)

Similar Documents

Publication Publication Date Title
CN111383192B (zh) 一种融合sar的可见光遥感图像去雾方法
CN108921799B (zh) 基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法
CN115310724A (zh) 一种基于Unet和DCN_LSTM的降水预测方法
CN110084181B (zh) 一种基于稀疏MobileNetV2网络的遥感图像舰船目标检测方法
CN114494821A (zh) 基于特征多尺度感知与自适应聚合的遥感影像云检测方法
CN115861823B (zh) 一种基于自监督深度学习的遥感变化检测方法和装置
CN116152206A (zh) 一种光伏输出功率预测方法、终端设备及存储介质
Ran et al. RGAN: Rethinking generative adversarial networks for cloud removal
Meng et al. Physical knowledge-enhanced deep neural network for sea surface temperature prediction
CN116879192B (zh) 基于卫星遥感数据的水华预测方法、装置、设备及介质
Vandal et al. Temporal interpolation of geostationary satellite imagery with optical flow
CN113591608A (zh) 一种基于深度学习的高分辨率遥感影像不透水面提取方法
CN117011542A (zh) 基于时间序列影像的遥感影像厚云去除方法、系统和设备
CN116563728A (zh) 基于生成对抗网络的光学遥感影像去云雾方法和系统
CN116402874A (zh) 基于时序光学图像与激光雷达数据的航天器深度补全方法
CN117408989A (zh) 一种遥感图像去云的时空融合模型方法
CN116310832A (zh) 遥感图像处理方法、装置、设备、介质及产品
CN115457356A (zh) 面向地质勘察的遥感图像融合方法、装置、设备及介质
CN111460965B (zh) 一种基于无人机影像的涝渍区智能分析系统及其方法
CN115100091A (zh) 一种sar图像转光学图像的转换方法及装置
Zhao et al. End-to-end roofline extraction from very-high-resolution remote sensing images
CN113743373A (zh) 基于深度学习的高分遥感影像耕地变化检测装置及方法
CN117992757B (zh) 基于多维数据的国土生态环境遥感数据分析方法
CN112380985A (zh) 变电站入侵异物实时检测方法
Saxena et al. A review on applicability of deep learning for remote sensing applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination