CN114140701A - 一种多尺度多时相遥感影像去云的方法 - Google Patents

一种多尺度多时相遥感影像去云的方法 Download PDF

Info

Publication number
CN114140701A
CN114140701A CN202111505249.4A CN202111505249A CN114140701A CN 114140701 A CN114140701 A CN 114140701A CN 202111505249 A CN202111505249 A CN 202111505249A CN 114140701 A CN114140701 A CN 114140701A
Authority
CN
China
Prior art keywords
scale
cloud
data
feature
temporal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111505249.4A
Other languages
English (en)
Inventor
陈双
欧阳雯思
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangxi Normal University
Original Assignee
Guangxi Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangxi Normal University filed Critical Guangxi Normal University
Priority to CN202111505249.4A priority Critical patent/CN114140701A/zh
Publication of CN114140701A publication Critical patent/CN114140701A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种多尺度多时相遥感影像去云的方法，包括如下步骤：1）训练数据处理；2）数据扩充；3）测试数据处理；4）搭建多尺度多时相深度卷积网络模型；5）模型参数设置；6）训练多尺度多时相深度卷积网络模型；7）遥感影像云去除。这种方法能有效利用互补信息，对多时相含云序列的时相个数没有要求，还能抑制无用特征，降低了计算复杂性。

Description

一种多尺度多时相遥感影像去云的方法
技术领域
本发明涉及遥感图像预处理技术领域，具体涉及一种多尺度多时相遥感影像去云的方法。
背景技术
光学遥感图像不可避免受到云及其阴影污染的影响，使得影像信息缺失，大大降低遥感图像应用于多个领域的可用性，对比于花费巨大的人力和财力投入遥感卫星而言，在遥感图像预处理阶段进行云去除来重建缺失信息，数据成本更低，可行性更高。
近些年来人们对遥感图像去云方法进行了大量的研究，云去除本质上是缺失信息重建的过程。基于深度学习的模型这两年应用尤为广泛，并且实现了最先进的重建结果。然而，大多数现有方法只能利用无云图像，而不是多时相有云序列图像，无法利用到更多的互补信息。因此发展一种多尺度多时相的遥感影像去云方法。
发明内容
本发明的目的是针对现有技术的不足，而提供一种多尺度多时相遥感影像去云的方法。这种方法能有效利用互补信息，对多时相含云序列的时相个数没有要求，还能抑制无用特征，降低了计算复杂性。
实现本发明目的的技术方案是：
一种多尺度多时相遥感影像去云的方法，包括如下步骤：
1)训练数据处理：获取多组同一区域的不同卫星的多时相遥感影像数据来构成含云序列，对多时相含云序列做预处理，生成带标签的训练样本；
2)数据扩充：由于训练样本数过少，为了防止引起过拟合，对训练样本进行扩充，即对训练样本进行数据增强来增加训练样本数量；
3)测试数据处理：在步骤2)数据扩充后的训练样本中选择四组不同规模的云污染子图像，其中两组为模拟数据，两组为真实数据；
4)搭建多尺度多时相深度卷积网络模型：该模型包括特征提取层、特征融合层和特征重建层；
特征提取层负责对输入的数据进行多尺度特征提取，数据为一组组的多时相含云序列，将多时相含云序列中的待修复影像作为输入1，对输入1进行修复重建信息，将每组多时相含云序列的其余影像都为参考影像作为输入2，输入2为输入1进行修复提供了更多的互补信息；
特征融合层负责对由特征提取层所提取的输入1和输入2的特征信息进行融合，包括通道注意力融合和concat融合；
特征重建层负责对特征融合后的特征进行信息重建，即对特征融合层输出的多尺度多通道特征映射进行重建恢复；
5)多尺度多时相深度卷积网络模型参数设置：对损失函数、梯度下降算法、初始学习率和迭代次数进行参数设置，用于训练步骤4)中搭建好的多尺度多时相深度卷积网络模型；
6)训练多尺度多时相深度卷积网络模型：将步骤2)扩充后的数据输入到步骤4构建好的多尺度多时相深度卷积网络模型中，采用步骤5)中设置的参数进行训练，得到多尺度多时相深度卷积网络模型；
7)遥感影像云去除：将步骤3)的模拟数据和真实数据输入到步骤6)训练好的多尺度多时相深度卷积网络模型中，得到云去除的影像重建结果。
步骤1)所述的不同卫星分别为Sentinel-2和Landsat-8，每组含云序列除为待修复影像外，其它均为参考影像，且所有含云序列的无云像素至少能重建一张无云影像，预处理操作包括裁剪、线性拉伸和波段合成。
步骤2)所述的数据扩充包括样本多角度旋转、裁剪、镜像，旋转角度从[-180°，180°]中随机取值，裁剪大小为400×400。
步骤3)所述的两组模拟数据和两组真实数据中，一组模拟数据和真实数据为Sentinel-2MSI在A地采集数据的不同子图像，图像的尺寸为400×400×3；另一组模拟和真实数据为Landsat-8在B地采集数据的不同子图像，图像的尺寸为500×500×3。
步骤4)所述的多尺度多时相深度卷积神经网络模型中，特征提取层的每个多尺度特征提取单元由三种卷积核k＝3，5，7组成，padding为1、2、3，步长均为1，三种不同大小的卷积核同时对输入影像进行卷积滤波，分别提取20个特征映射；
特征融合层的通道注意力融合是对多时相每个通道的尺度信息分别进行通道融合并通过concat将特征信息聚合，再次利用concat将融合后的三个通道信息进行融合得到多尺度多通道融合后的特征映射，遥感地表观测目标通常在不同的局部区域之间具有多尺度效应，因此多尺度多时相的特征信息更有利于信息重建；
特征重建层在下采样部分使用了膨胀卷积层来减少特征图，在上采样部分使用了转置卷积层来恢复特征。
步骤5)中所述的损失函数采用全局-局部损失函数；梯度下降优化算法采用Adam优化方法；初始学习率为0.001，迭代次数设置为200个epoch。
步骤4)所述的特征提取层负责对输入的数据进行多尺度特征提取中，当步骤6)训练模型时，输入的数据为训练数据，即步骤2)扩充后的数据；当步骤7)测试模型效果时，输入的数据为步骤3)中的模拟数据和真实数据。
因步骤6)已将模型训练好，步骤7)的目的是为了用数据来测试模型效果，所以输入数据即可得到云去除的影像重建结果。
与现有技术相比，本技术方案具有如下特点：
1、可以利用多时相含云序列，而不需要无云参考图像，可以有效利用互补信息。
2、多时相含云序列的时相个数没有要求，单个和多个都可以，时相冗余信息越多，互补区域就越多，对重建结果越有利。
3、利用空间和通道注意力机制结合多尺度特征提取得到融合后的特征信息，抑制无用特征，降低了计算复杂性。
这种方法能有效利用互补信息，对多时相含云序列的时相个数没有要求，还能抑制无用特征，降低了计算复杂性。
附图说明
图1为实施例的原理示意图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步的详细描述，但不是对本发明的限定。
实施例：
参照图1，一种多尺度多时相遥感影像去云的方法，包括如下步骤：
1)训练数据处理：获取多组同一区域的不同卫星的多时相遥感影像数据来构成含云序列，对多时相含云序列做预处理，生成带标签的训练样本；
分别从Sentinel-2和Landsat-8这两个不同卫星获取含云序列，每组含云序列除为待修复影像外，其它均为参考影像，且所有含云序列的无云像素至少能重建一张无云影像，预处理操作包括裁剪、线性拉伸和波段合成；
2)数据扩充：由于训练样本数过少，为了防止引起过拟合，对训练样本进行扩充，即对训练样本进行数据增强来增加训练样本数量；
数据扩充即为数据增强，数据扩充包括样本多角度旋转、裁剪、镜像，旋转角度从[-180°，180°]中随机取值，裁剪大小为400×400；
3)测试数据处理：在步骤2)数据扩充后的训练样本中选择四组不同规模的云污染子图像，其中两组为模拟数据，两组为真实数据；
两组模拟数据和两组真实数据中，一组模拟数据和真实数据为Sentinel-2MSI在A地采集数据的不同子图像，图像的尺寸为400×400×3；另一组模拟和真实数据为Landsat-8在B地采集数据的不同子图像，图像的尺寸为500×500×3；
4)搭建多尺度多时相深度卷积网络模型：该模型包括特征提取层、特征融合层和特征重建层；
特征提取层负责对输入的数据进行多尺度特征提取，数据为一组组的多时相含云序列，将多时相含云序列中的待修复影像作为输入1，对输入1进行修复重建信息，将每组多时相含云序列的其余影像都为参考影像作为输入2，输入2为输入1进行修复提供了更多的互补信息；
特征融合层负责对由特征提取层所提取的输入1和输入2的特征信息进行融合，包括通道注意力融合和concat融合；
特征重建层负责对特征融合后的特征进行信息重建，即对特征融合层输出的多尺度多通道特征映射进行重建恢复；
特征提取层的每个多尺度特征提取单元由三种卷积核k＝3，5，7组成，padding为1、2、3，步长均为1，三种不同大小的卷积核同时对输入影像进行卷积滤波，分别提取20个特征映射；
特征融合层的通道注意力融合是对多时相每个通道的尺度信息分别进行通道融合并通过concat将特征信息聚合，再次利用concat将融合后的三个通道信息进行融合得到多尺度多通道融合后的特征映射，遥感地表观测目标通常在不同的局部区域之间具有多尺度效应，因此多尺度多时相的特征信息更有利于信息重建；
特征重建层在下采样部分使用了膨胀卷积层来减少特征图，在上采样部分使用了转置卷积层来恢复特征；
5)多尺度多时相深度卷积网络模型参数设置：对损失函数、梯度下降算法、初始学习率和迭代次数进行参数设置，用于训练步骤4)中搭建好的多尺度多时相深度卷积网络模型；
其中损失函数采用全局-局部损失函数，定义为ξ(Θ)＝λlξl+λgξg，其中λl和λg分别为局部损失项ξl和全局损失项ξg的权重参数；梯度下降优化算法采用Adam优化方法；初始学习率为0.001，迭代次数设置为200个epoch；
6)训练多尺度多时相深度卷积网络模型：将步骤2)扩充后的数据输入到步骤4构建好的多尺度多时相深度卷积网络模型中，采用步骤5)中设置的参数进行训练，得到多尺度多时相深度卷积网络模型；
7)遥感影像云去除：将步骤3)的模拟数据和真实数据输入到步骤6)训练好的多尺度多时相深度卷积网络模型中，得到云去除的影像重建结果。
步骤4)所述的特征提取层负责对输入的数据进行多尺度特征提取中，当步骤6)训练模型时，输入的数据为训练数据，即步骤2)扩充后的数据；当步骤7)测试模型效果时，输入的数据为步骤3)中的模拟数据和真实数据。
因步骤6)已将模型训练好，步骤7)的目的是为了用数据来测试模型效果，所以输入数据即可得到云去除的影像重建结果。
本例着重解决的是云污染不可避免难以有无云信息参考的问题。

Claims (6)

1.一种多尺度多时相遥感影像去云的方法，其特征在于，包括如下步骤：
1）训练数据处理：获取多组同一区域的不同卫星的多时相遥感影像数据来构成含云序列，对多时相含云序列做预处理，生成带标签的训练样本；
2）数据扩充：由于训练样本数过少，为了防止引起过拟合，对训练样本进行扩充，即对训练样本进行数据增强来增加训练样本数量；
3）测试数据处理：在步骤2）数据扩充后的训练样本中选择四组不同规模的云污染子图像，其中两组为模拟数据，两组为真实数据；
4）搭建多尺度多时相深度卷积网络模型：该模型包括特征提取层、特征融合层和特征重建层；
特征提取层负责对输入的数据进行多尺度特征提取，数据为一组组的多时相含云序列，将多时相含云序列中的待修复影像作为输入1，对输入1进行修复重建信息，将每组多时相含云序列的其余影像都为参考影像作为输入2，输入2为输入1进行修复提供了更多的互补信息；
特征融合层负责对由特征提取层所提取的输入1和输入2的特征信息进行融合，包括通道注意力融合和concat融合；
特征重建层负责对特征融合后的特征进行信息重建，即对特征融合层输出的多尺度多通道特征映射进行重建恢复；
5）多尺度多时相深度卷积网络模型参数设置：对损失函数、梯度下降算法、初始学习率和迭代次数进行参数设置，用于训练步骤4）中搭建好的多尺度多时相深度卷积网络模型；
6）训练多尺度多时相深度卷积网络模型：将步骤2）扩充后的数据输入到步骤4构建好的多尺度多时相深度卷积网络模型中，采用步骤5）中设置的参数进行训练，得到多尺度多时相深度卷积网络模型；
7）遥感影像云去除：将步骤3）的模拟数据和真实数据输入到步骤6）训练好的多尺度多时相深度卷积网络模型中，得到云去除的影像重建结果。
2.根据权利要求1所述的多尺度多时相遥感影像去云的方法，其特征在于，步骤1）所述的不同卫星分别为Sentinel-2和Landsat-8，每组含云序列除为待修复影像外，其它均为参考影像，且所有含云序列的无云像素至少能重建一张无云影像，预处理操作包括裁剪、线性拉伸和波段合成。
3.根据权利要求1所述的多尺度多时相遥感影像去云的方法，其特征在于，步骤2）所述的数据扩充包括样本多角度旋转、裁剪、镜像，旋转角度从[-180︒，180︒]中随机取值，裁剪大小为400×400。
4.根据权利要求2所述的多尺度多时相遥感影像去云的方法，其特征在于，步骤3）所述的两组模拟数据和两组真实数据中，一组模拟数据和真实数据为Sentinel-2 MSI 在A地采集数据的不同子图像，图像的尺寸为400×400×3；另一组模拟和真实数据为Landsat-8在B地采集数据的不同子图像，图像的尺寸为500×500×3。
5.根据权利要求1所述的多尺度多时相遥感影像去云的方法，其特征在于，步骤4）所述的多尺度多时相深度卷积神经网络模型中，特征提取层的每个多尺度特征提取单元由三种卷积核k=3，5，7组成，padding为1、2、3，步长均为1，三种不同大小的卷积核同时对输入影像进行卷积滤波，分别提取20个特征映射；
特征融合层的通道注意力融合是对多时相每个通道的尺度信息分别进行通道融合并通过concat将特征信息聚合，再次利用concat将融合后的三个通道信息进行融合得到多尺度多通道融合后的特征映射，遥感地表观测目标通常在不同的局部区域之间具有多尺度效应，因此多尺度多时相的特征信息更有利于信息重建；
特征重建层在下采样部分使用了膨胀卷积层来减少特征图，在上采样部分使用了转置卷积层来恢复特征。
6.根据权利要求1所述的多尺度多时相遥感影像去云的方法，其特征在于，步骤5）中所述的损失函数采用全局-局部损失函数；梯度下降优化算法采用Adam优化方法；初始学习率为0.001，迭代次数设置为200个epoch。
CN202111505249.4A 2021-12-10 2021-12-10 一种多尺度多时相遥感影像去云的方法 Pending CN114140701A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111505249.4A CN114140701A (zh) 2021-12-10 2021-12-10 一种多尺度多时相遥感影像去云的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111505249.4A CN114140701A (zh) 2021-12-10 2021-12-10 一种多尺度多时相遥感影像去云的方法

Publications (1)

Publication Number Publication Date
CN114140701A true CN114140701A (zh) 2022-03-04

Family

ID=80385549

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111505249.4A Pending CN114140701A (zh) 2021-12-10 2021-12-10 一种多尺度多时相遥感影像去云的方法

Country Status (1)

Country Link
CN (1) CN114140701A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115661002A (zh) * 2022-12-14 2023-01-31 北京数慧时空信息技术有限公司 基于gan的多时相遥感数据修复方法
CN116245757A (zh) * 2023-02-08 2023-06-09 北京艾尔思时代科技有限公司 多模态数据的多场景通用性遥感影像云修复方法和系统
CN118229519A (zh) * 2024-05-27 2024-06-21 中国科学院空天信息创新研究院 基于多模态融合光流估计的卫星序列图像插值方法及装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115661002A (zh) * 2022-12-14 2023-01-31 北京数慧时空信息技术有限公司 基于gan的多时相遥感数据修复方法
CN115661002B (zh) * 2022-12-14 2023-04-21 北京数慧时空信息技术有限公司 基于gan的多时相遥感数据修复方法
CN116245757A (zh) * 2023-02-08 2023-06-09 北京艾尔思时代科技有限公司 多模态数据的多场景通用性遥感影像云修复方法和系统
CN116245757B (zh) * 2023-02-08 2023-09-19 北京艾尔思时代科技有限公司 多模态数据的多场景通用性遥感影像云修复方法和系统
CN118229519A (zh) * 2024-05-27 2024-06-21 中国科学院空天信息创新研究院 基于多模态融合光流估计的卫星序列图像插值方法及装置
CN118229519B (zh) * 2024-05-27 2024-07-30 中国科学院空天信息创新研究院 基于多模态融合光流估计的卫星序列图像插值方法及装置

Similar Documents

Publication Publication Date Title
CN114140701A (zh) 一种多尺度多时相遥感影像去云的方法
CN112288647B (zh) 一种基于门控卷积的遥感影像云和阴影修复的方法
CN113688808B (zh) 一种基于拉普拉斯金字塔遥感图像融合的滑坡体识别方法
CN110059768B (zh) 用于街景理解的融合点与区域特征的语义分割方法及系统
CN110992270A (zh) 基于注意力的多尺度残差注意网络图像超分辨率重建方法
CN112241997A (zh) 基于多尺度点云上采样的三维模型建立、修复方法及系统
CN103020939B (zh) 利用多时相数据去除光学遥感影像大面积厚云的方法
CN113269818B (zh) 一种基于深度学习的地震数据纹理特征重建方法
CN116580241B (zh) 基于双分支多尺度语义分割网络的图像处理方法及系统
CN114066729B (zh) 一种可恢复身份信息的人脸超分辨率重建方法
CN116343052B (zh) 一种基于注意力和多尺度的双时相遥感图像变化检测网络
CN110059769A (zh) 用于街景理解的基于像素重排重建的语义分割方法及系统
CN114511786B (zh) 融合多时相信息和分通道密集卷积的遥感图像去云方法
CN112419197A (zh) 一种通用的单、多时相sar影像相干斑噪声去除方法
CN111768340A (zh) 一种基于密集多路径网络的超分辨图像重构方法和系统
CN114418850A (zh) 一种融合图卷积的有参考图像超分辨率重构方法
CN112132086A (zh) 一种多尺度马氏体微观组织老化与损伤分级方法
Pugliatti et al. On-board Small-Body Semantic Segmentation Based on Morphological Features with U-Net
CN118365543A (zh) 一种基于改进EnlightenGAN的裂缝图像阴影去除方法
CN117173404A (zh) 一种基于深度学习的遥感目标自动检测及隐藏方法
CN117058059A (zh) 光学遥感图像与sar图像融合的渐进式修复框架去云方法
Jia et al. Siamese Meets Diffusion Network: SMDNet for Enhanced Change Detection in High-Resolution RS Imagery
Zhang et al. A unified spatial-temporal-spectral learning framework for reconstructing missing data in remote sensing images
CN113554655B (zh) 基于多特征增强的光学遥感图像分割方法及装置
CN115471414A (zh) 基于曝光成像模型和模块化深度网络的图像去雨雪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination