CN114529830A - 基于混合卷积网络遥感图像时空融合方法 - Google Patents

基于混合卷积网络遥感图像时空融合方法 Download PDF

Info

Publication number
CN114529830A
CN114529830A CN202210061910.5A CN202210061910A CN114529830A CN 114529830 A CN114529830 A CN 114529830A CN 202210061910 A CN202210061910 A CN 202210061910A CN 114529830 A CN114529830 A CN 114529830A
Authority
CN
China
Prior art keywords
image
band
remote sensing
time
spatial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210061910.5A
Other languages
English (en)
Inventor
陶于祥
朱壮山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202210061910.5A priority Critical patent/CN114529830A/zh
Publication of CN114529830A publication Critical patent/CN114529830A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30—Assessment of water resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于混合卷积网络遥感图像时空融合方法，将三张多波段遥感图像输入网络模型中，在模型中对三张多波段图像进行拆分，将其拆分为单波段图像。随后根据遥感图像时空融合任务的特点，按照一定的波段组合及排列顺序把单波段图像送入双分支网络进行特征提取并完成单波段特征提取及单波段图像重建。2D‑CNN分支主要是提取空间信息特征，3D‑CNN比2D‑CNN多一维度，这一维度在时空融合任务中即时间维度，因此我们通过3D‑CNN分支同时提取时间变化特征和空间细节特征。本发明能够生成高时空分辨率遥感图像。

Description

基于混合卷积网络遥感图像时空融合方法
技术领域
本发明属于提高遥感图像时间分辨率和空间分辨率领域。具体涉及一种基于混合卷积网络的时空融合方法，通过双分支网络特征提取及融合，并采用一种波段迭代方法来生成同时具有高时间分辨率和高空间分辨率的遥感图像。
背景技术
遥感对地观测技术的快速发展为人类客观、全面地认识世界，提供了新的方法和手段。随着对有关遥感图像应用的科学研究越来越广泛和深入，人类通过航空航天平台上的各种遥感观测仪器，可以获取陆地、大气、海洋等各种景观反射或发射的电磁辐射数据。人类对接受到的反射率数据进行定性、定量分析之后，可将其用于地球的环境监测、生态演变、资源调查等工作中。目前，日渐增加的遥感图像数据被广泛的应用于水污染变化监测、地表温度变化监测、森林植被面积变化监测等领域。
现有的极轨卫星获取的遥感图像数据，受遥感卫星传感器硬件条件限制，使得单一类型的卫星传感器难以同时获取高时间和高空间分辨率的图像，极大的限制了遥感图像在对地观测中的应用。一般来说，高空间分辨率图像拥有较为精细的空间纹理特征，在城市空间信息提取、森林变化监测、微小目标物检测等方面应用广泛，但此类传感器一方面幅宽较窄，重访周期长，另一方面受云层影响导致地表数据的缺失，在实际应用中高空间分辨率图像数据难以实现全球范围的连续动态监测的目的；而高时间分辨率图像，幅宽较大，重访周期短，在灾害监测、地物物候变化分析等方面应用广泛，但该类图像空间分辨率较低，无法获取更多的地表细节信息。若能解决遥感图像时间与空间上的相互制约问题，获取同时具备高时间和高空间分辨率的特征，将有助于提高遥感数据在实际应用中的价值。
基于Landsat卫星数据和MODIS传感器数据的时空融合技术在过去十年中快速发展。Landsat图像用作高空间低时间分辨率(HSLT)图像，MODIS图像用作低空间高时间分辨率(LSHT)图像，研究人员将两种不同来源不同分辨率图像进行融合，可以得到密集时间序列的精细图像。目前时空融合方法主要分为4类:基于加权的方法、基于分解的方法、组合性的融合方法和基于学习的方法。所有时空数据融合方法都需要一对或多对观察到的低分辨、高分辨率图像以及一幅预测日期的低分辨率图像进行训练，输出是预测日期的高分辨率图像。从本质上讲，所有时空数据融合方法都使用来自输入的高分辨率图像的空间信息和低分辨率图像的时间信息。
遥感图像时空融合旨在通过融合两个不同的卫星数据源合成具有高时空分辨率的遥感图像。合成图像在一定误差范围内，具有高时空分辨率。图1对遥感图像时空融合进行了简单介绍：
如图1所示的时空融合方法使用的是MODIS和Landsat两种不同来源的卫星传感器数据。MDS和LST分别代表MODIS和Landsat图像，现已采集到预测日期t1时刻的MODIS图像MDS1以及参考日期tk时刻同一地理区域的MODIS图像MDSk和Landsat图像LSTk。时空融合的任务是利用已经采集到图像来预测t1时刻下的Landsat图像LST1。参考时刻tk在预测时刻t1附近选取，时间跨度不宜过大，这样预测的LST1图像既包含MODIS图像的时间变化信息又包括Landsat图像细节纹理信息，即高时空分辨率图像。以上过程可以抽象为建立目标图像与所观测到的图像之间的映射关系，此映射关系可以通过以下公式表示出来：
Figure BDA0003478706040000021
公式(1)中的参数θ表示一组可学习参数，通过训练时空融合模型可以学习这些参数，使其建立非线性映射去逼近实际函数
Figure BDA0003478706040000022
如果条件允许的话，k可以取多组值(即可以参考多组遥感图像对)以提高预测精度，但在本发明中我们考虑到在多云地区由于云雾遮挡，可用的遥感图像对数据获取较为困难，所以我们提出的HCNNet仅使用预测时刻附近的一对参考图像来对预测日期图像进行预测。在本发明中选用一对参考图像，k＝0。
目前在基于加权函数的方法中，Gao等人提出了自适应遥感图像时空融合模型(STARFM)。STARFM是基于加权的融合模型中影响最大、运用最广的时空数据融合模型。STARFM模型假设反射率的变化在同一时刻，同一地理范围的低分辨率图像和高分辨率图像中是一致的，低分辨率图像中的像素是“纯”像元，即一个低分辨像元仅包括一种土地覆盖类型。在这种情况下，从低分辨率像素衍生的变化可以直接线性地添加到高分辨率图像中的像素来进行预测。然而，现实往往是不同土地覆盖类型的物体相混合，得到是混合像元，无法满足单个像元是“纯像元”的这种理想情况。为了解决这个问题，STARFM模型使用一个函数预测像素，该函数基于相邻高分辨像素的光谱差异，时间差异和位置信息为低分辨率像素赋予权重。STARFM的预测性能会受到陆地景观斑块大小的影响。后来针对更复杂的情况对STARFM进行了修改和改进，产生了映射反射变化的时空自适应算法(STAARCH)，该算法在存在土地覆盖类型变化和干扰时提高了STARFM模型的性能。增强型STARFM(ESTARFM)，也提高了STARFM在非均质区域预测的准确性。
基于地物光谱在高—低空间分辨率影像上的时间一致性理论，空间像元分解算法被广泛应用于时空遥感影像融合。该类方法基于线性光谱混合模型，通过从高分辨率数据中提取地物类别和丰度来分解低分辨率的像元获得类别的光谱值，最终实现对未知时相高空间分辨率影像的像元重构。基于空间像元分解的时空融合方法最早由Zhukov等(1999)提出，该方法基于同类地物临近像元反射率的空间相似性假设，进行低空间分辨率影像像元反射率的线性解混。进一步地，考虑局部范围内像元反射率的空间差异性问题，距离权重与光谱相似性因子等被引入提高局部范围内像元反射率预测精度。该类方法因其算法原理易懂，可操作性强，计算量小等优势得到广泛的应用，但其理论上基于低空间分辨率影像单个像元内部各类占比在不同时相不发生改变的假设，因此，对于地物类型发生改变的区域，像元反射率预测结果不可靠。
组合性的时空融合方法通过集成上述不同类型融合算法的优势，较好地提高了遥感影像融合效果，具有更广泛的应用前景。Zhu等(2016)提出的FSDAF(FlexibleSpatiotemporal DAta Fusion)算法组合了基于空间像元分解与时空变化滤波两类算法思想，并引入了空间插值技术识别地物类型变化，显著提高了对于异质性地表覆盖及地物类型变化的融合效果。进一步地，基于FSDAF改进的算法也相继被提出，不同程度提高了融合影像的精度。
基于学习的方法通过学习Landsat和MODIS图像之间的映射关系来建立关联模型。基于稀疏表示的时空反射融合模型(spatiotemporal satellite image fusion throughone-pair image learning，SPSTFM)是首个基于学习的时空融合方法。Song等人(2018)提出了基于卷积神经网络(convolutional neural network，CNN)的融合方法。该方法首先学习MODIS与降采样的Landsat图像之间的非线性映射模型，然后学习降采样的Landsat图像与原始Landsat图像之间的超分辨率模型。由于MODIS与Landsat图像之间的映射涉及更加复杂的非线性转换，基于学习的方法与其他传统方法相比性能更优。Tan等人(2018)提出的深卷积时空融合网络(DCSTFN)，输入的是一对用于参考的LTHS和HTLS图像，以及另一对用于预测的HTLS图像。信息以提取的特征图的形式进行合并，然后将合并后的特征重建为预测图像。Liu等人(2019)利用高分辨率图像序列中的时间信息，并用一个称为StfNet的双流卷积神经网络来解决时空融合问题。Tan等人(2019提出了一种增强的深卷积模型(EDCSTFN)，该模型侧重于在参考时间使用两对低分辨图像和高分辨率图像在预测时间重建高分辨率图像。Li等人(2020)提出了一种新的基于卷积神经网络的时空融合方法AMNet，在其中加入了注意力机制和多尺度机制。与以往的时空融合方法不同，将中分辨率成像光谱仪(MODIS)图像两次相减得到的残差图像直接用于网络训练，并采用多尺度机制和注意机制两种特殊结构提高融合精度。Li等人(2021)提出了一种用于时空卫星图像融合的协同合作的深度卷积神经网络MCDNet，该方法是一种新的多网络模型，其中多个网络共同工作来重建预测图像，多网络模型由超分辨率网络、差分重构网络和协作训练网络组成，其将一种新的多尺度机制与扩展卷积相结合，充分利用低分辨图像的光谱信息，并将其升级为与细图像匹配的过渡图像，差分重建网络利用结构相关性完成精细差分图像的重建。
STARFM模型可以精确地反演物候变化，但其性能取决于陆地表面景观的特征斑块大小，当反演分布极不均匀的陆地景观时，性能会有所下降。基于FSDAF理论发展的算法仍然存在两点主要问题：(1)由于输入包含类型变化信息和大量边界信息的低分辨率像元进行分解计算，FSDAF容易丢失空间细节并预测“更模糊”的图像。(2)FSDAF不能准确反演土地覆盖变化区域。由于卷积神经网络(CNN)具有很强的表示能力，近年来自然图像SR的性能有了很大的提高。时空图像融合与自然图像超分辨率相比是一项不同的任务，在时空融合中，放大因子(通常在8到16之间)比超分辨率(通常在2到4之间)大得多。Li等人(2021)针对应用性最广的单对图像时空融合，使用深层神经网络建立了一种新的时空融合方法，基本网络框架由两个4倍上采样器级联以近似LandSat和MODIS之间的空间差异和传感器差异，并将重建结果进行残差修正，使得该结果更接近真实图像。基于CNN的时空融合方法能够以端到端的方式自适应学习从MODIS到Landsat数据的非线性映射，但是MODIS与Landsat数据之间复杂的映射关系导致丢失大量空间细节信息。在时空融合中，选择合适的HSLT参考图像至关重要，所有精细的空间纹理特征都来自于参考时刻高分辨图像，因此，预测必然会受到参考图像的影响，导致融合结果在一定程度上与参考图像相似。在参考和预测期间，如果地面发生重大变化，预测结果可能会与真实图像相差很大。这些问题应该得到解决或缓解，以便能够进一步提高预测的图像质量。综上所述，时空融合方法仍面临的挑战有：1)准确反演土地覆盖变化，特别是对于土地覆盖类型变化区域，精确反演有利于监测地表和地球系统的动态。2)准确反演空间细节信息，提升预测图像目视效果。3)提高融合算法的精度和鲁棒性。
发明内容
本发明旨在解决以上现有技术的问题。提出了一种更加先进的、能够生成高时空分辨率遥感图像的基于混合卷积网络的遥感图像时空融合方法。本发明的技术方案如下：
基于混合卷积网络遥感图像时空融合方法，包括以下步骤：
(1)对遥感图像数据集中的图像进行预处理。
(2)将处理后的图像输入网络，对输入的多波段图像进行裁剪和拆分，将其拆分为单波段160×160图像。
(3)将拆分后的LST0各单波段图像(如图2中的LST0 1,LST0 2……LST0 i)馈入2D-CNN提取空间特征。
(4)将拆分后的t0时刻MODIS图像MDS0，t1时刻Modis图像MDS1和t0时刻Landsat图像LST0的单波段图像(如图2中的MDS0 1,MDS1 1,LST0 1)一同输入到3D-CNN以同时提取空间和时间特征，通过时空融合模块(STFF模块)将双分支分别提取到的特征进行融合。
(5)将之前波段中学习到的空间及光谱特征融入下一波段，通过光谱空间特征融合(SSFF模块)，重建相邻单波段特征以及单波段图像。
(6)将重建完成的各波段图像通过concat模块联合起来得到LST1预测图像。
进一步，步骤(1)所述预处理包括对图像进行裁剪，在保持研究区域一致的前提下将每张图片裁剪为1600×1600大小。
进一步，所述步骤(3)、(4)进行空间特征以及时间变化特征提取后，利用时空特征融合模块完成单波段特征重建，通过二维卷积完成第一波段图像重建。
进一步，所述步骤(5)具体包括将第一波段中学习到的F1 SSF空间及光谱特征融入下一波段，通过SSFF(空间光谱特征融合模块)，重建第二波段特征，同样通过二维卷积完成第二波段图像重建；之后重建各波段图像的方法和第二波段类似。
具体地，重建各波段特征结果如下公式所示：
Figure BDA0003478706040000051
Figure BDA0003478706040000052
表示t1时刻重建的第i波段特征，C代表concatenation操作，f2D(·)和f3D(·)分别代表双分支的2D卷积和3D卷积操作，ω1和ω2分别代表两个分支的权重，P表示Pme操作，B表示遥感图像总波段数。
具体地，所述重建各波段图像如以下公式所示：
Figure BDA0003478706040000053
式中Conv1×1(·)，Conv3×3(·)分别表示使用1x1和3x3卷积核进行点积操作，Spa(·)表示经过空间注意力模块。
本发明基于以上网络结构和方法，提出了一种新的遥感图像时空融合模型。当前基于卷积网络的时空融合方法主要有以下两种：1)使用二维卷积对输入图像多个波段一同进行特征提取，将特征融合后直接预测多波段图像；2)使用二维卷积对图像单个波段提取特征，预测单个波段反射率数据，最后将预测得到的各个波段堆叠起来合成多波段图像。我们认为前一种方法未考虑不同波段之间的光谱及反射率差异，后一种方法未考虑相邻波段之间空间结构的相似性。为了解决这些问题，我们提出了一种综合考虑相邻波段光谱、反射率差异及空间结构相似性的二维/三维混合卷积双通道网络结构，充分利用不同分辨率图像单波段之间的信息进行特征提取来预测单波段图像，并考虑不同波段空间信息的相关性，引入相邻波段特征，共享空间信息，使得信息互补，最终将各个波段堆叠生成多波段图像。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的模块用附图作简单地介绍。
图1是遥感图像时空任务简介图；
图2是本发明提出的一种基于混合卷积网络的总体网络结构；
图3是本发明提出的总体网络结构中的双分支网络结构图；
图4是本发明中CBMA模块细部结构图和split-3d模块图，其中(a)为CBMA模块细部图，(b)为split-3d模块图；
图5是空间通道注意力机制CBAM；
图6是本发明在CIA四组测试数据集上的实验结果；
图7是本发明在LGC三组测试数据集上的实验结果。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施仅是本发明的一部分实施例。
符号说明，MDS和LST分别代表Modis和Landsat卫星图像，下标代表不同时刻采集的图像，如MDS1代表t1时刻采集到的Modis多波段图像，如果带上标，则表明该图像为单波段图像，如MDS1 i代表t1时刻采集到的Modis第i波段的图像。
本发明拟解决实际应用中，遥感图像受空间分辨率和时间分辨率制约，在对地观测等应用中受限等问题。提出一种基于混合卷积网络的遥感图像时空融合模型，该模型针对现有的模型不能准确反演土地覆盖变化，融合算法的精度不高和鲁棒性差等问题，提出了一种新的网络结构。该网络结构综合考虑相邻波段光谱、反射率差异及空间结构相似性，充分利用不同分辨率图像单波段之间的信息进行特征提取来预测单波段图像，并考虑不同波段空间信息的相关性，引入相邻波段特征，共享空间信息，使得信息互补，最终将各个波段堆叠生成多波段图像。通过对两个公开遥感图像数据集进行试验，表明我们的方法预测的图像效果较好。
一种二维/三维混合卷积双通道网络结构模型(HCNNet)，该模型包括：一个2D-CNN分支、一个3D-CNN分支、Pme模块、TSFF模块、SSFF模块以及一种波段特征迭的方法。首先我们将三张多波段遥感图像输入网络模型中，在模型中对三张多波段图像进行拆分，将其拆分为单波段图像。随后根据遥感图像时空融合任务的特点，我们将序号相同的单波段图像进行组合，(如将
Figure BDA0003478706040000064
Figure BDA0003478706040000061
组合，将
Figure BDA0003478706040000062
组合，…将
Figure BDA0003478706040000063
组合)，将各组合中的LST0单波段图像(如LST0 1)输入2D-CNN分支，将各组合单波段图像按MDS0，MDS1，LST0的顺序排列(如
Figure BDA0003478706040000065
)输入3D-CNN分支。按照上述方式把个单波段图像送入双分支网络进行特征提取并完成单波段特征提取及单波段图像重建。2D-CNN分支主要是提取空间信息特征，3D-CNN比2D-CNN多一维度，这一维度在时空融合任务中即时间维度，因此我们通过3D-CNN分支同时提取时间变化特征和空间细节特征。为了进一步加强双分支网络特征提取能力及实现双分支特征融合，我们引入Pme模块。为了调整各分支提取的特征对整个网络的作用，我们为其分别赋予不同的权重w1和w2，而后将其送入时空特征融合TSFF(Temporal Spacial Feature Fusion)模块进行时空特征融合。在时空特征融合之后我们得到了遥感图像第一波段的特征F1 SSF以及重建的第一波段图像数据LST1 1。遥感图像各波段之间空间结构存在相似性，且光谱信息存在一定关联，因此我们使用了一种波段特征迭代的方法，将之前波段特征融入下一波段特征和图像重建的过程。我们将F1 SSF融入第二波段的特征和图像数据重建中，这一过程由光谱空间特征融合SSFF(Spectrum Spacial Feature Fusion)模块完成。之后得到第二波段特征F2 SSF及重建的第二波段图像数据LST1 2。之后各波段图像的重建同第二波段的重建类似，值得注意的是只有第一波段是通过TSFF模块完成重建的，其余各波段均通过SSFF模块完成。在完成各波段图像重建之后，将各波段图像(即LST1 1，LST1 2，…LST1 i)通过concat模块堆叠起来我们可以得到预测的多波段遥感图像LST1，如图图2所示是本发明的总体网络结构。
图3所示的是2D-CNN、3D-CNN双分支网络结构，其中步骤(1)是本模型的输入数据的预处理方法，输入融合模型的图片大小为1600×1600。CIA数据集图像大小均为3200×2720，因此我们选定一个1600×1600的区域对该原始数据集所有图像进行裁剪。LGC数据集图像大小均为1720×2040，我们也选定一个1600×1600区域对该原始数据集所有图像进行裁剪。
在本发明中使用预测时刻t1之前的一组Landsat-MODIS图像对(t0时刻)作为参考。步骤(2)是对CIA数据集中的数据进行组合。CIA数据集中共17个Landsat和MODIS图像对，每个参考图像对(t0时刻)用来预测与之最接近的未来时刻(t1)的图像，因此可分为16组数据，每组数据由两个Landsat-MODIS图像对组成，其中MDS0，LST0和MDS1作为训练，LST1作为目标用来验证。实验数据由训练集和测试集两部分组成，训练集用来训练模型参数，测试集用来验证模型预测图像的效果。本实施例从16组数据中随机选择12组数据作为训练集，随机选择4组分组数据作为测试集。
步骤(3)是对LGC数据集中的数据进行组合。LGC数据集中共14个Landsat和MODIS图像对，每个参考图像对(t0时刻)用来预测与之最接近的未来时刻(t1)的图像，因此可分为13组数据，每组数据由两个Landsat-MODIS图像对组成，其中MDS0，LST0和MDS1作为训练，LST1作为目标用来验证。实验数据由训练集和测试集两部分组成，训练集用来训练模型参数，测试集用来验证模型预测图像的效果。本实施例从13组数据中随机选择10组数据作为训练集，随机选择3组分组数据作为测试集。
直接处理1600×1600大小的遥感图像会占用计算机巨大的内存空间。步骤(4)是将多波段遥感数据在网络模型中进行裁剪，将其裁剪为160×160大小的图像patch进行训练，在测试阶段将160×160大小的图像patch拼接起来还原为1600×1600大小的遥感图像。并且本发明的网络是对单波段图像进行处理，因此必须将输入的多波段遥感图像各个波段分离出来。
步骤(5)是为了加强2D-CNN分支空间特征学习能力。本发明将3D-CNN分支提取的特征通过Pme模块输入2D-CNN中。对于时空融合任务，其目的是精细地反演时间和空间变化信息。以LST0第一波段为例，我们对
Figure BDA0003478706040000071
进行二维卷积提取空间特征，然后将这些特征之后经过多个CBMA模块进一步提取深层特征。之后与经过Pme模块的3D-CNN分支特征通过C操作连接。经过第d个CBAM模块后的输出LD由公式(1)表示:
LD＝C(XD(...C(XD-1(C(X1(L0),P(M1))+L0),P(MD))+L0...),P(MD+1))+L0 (1)
其中XD表示第d个CBAM模块的操作，MD表示第d个Split-3d模块的操作，P(·)表示Pme模块的操作。生成LD的网络细节如图4(a)所示。
在3D-CNN分支经过Split-3d模块之后，输出的特征图大小为B×C×3×W×H，其中B为批量大小，C表示通道数，W表示特征图的宽度，H表示特征图的高度。Split-3d模块如图4(b)所示。通过Pme操作，将三维CNN的原始输出转换为三个尺寸为B×C×W×H的特征图，转换之后的特征图与2D-CNN的特征图尺寸匹配，将三个特征图通过操作与2D-CNN的特征图联合，以此提高2D-CNN空间特征提取能力。
图5为空间通道注意力机制CBAM模块，具体描述为：在CBAM模块中,首先将输入的特征图分别经过global max pooling(由MaxPool2d表示)和global average pooling(由AvgPool2d表示)，然后将得到特征图送入线性层(由Linear表示)减少特征图数量，使用Relu函数进行激活后再通过一个线性层恢复至原特征图数量，之后将输出的特征进行逐元素的加和操作(由
Figure BDA0003478706040000081
表示)，经过sigmod激活函数得到最终的通道注意力特征图。将通道注意力特征图分别经过global max pooling和global average pooling，将得到的两个特征图进行通道拼接(由
Figure BDA0003478706040000082
表示)，之后再经过2D卷积(由conv2d表示)进行降维，经过sigmoid后生成空间注意力特征，最后将该特征和该模块的输入做乘法(由
Figure BDA0003478706040000083
表示)，得到最终生成的特征。
图4(a)为图二双分支网络结构中2D-CNN分支实现LD的细部图。浅层特征保留了更多的边缘和纹理特征，我们采用跳跃连接将L0送入每个CBAM模块中。为了增强CBAM模块空间通道特征提取能力，我们将3D-CNN分支提取的特征通过Pme模块后通过C操作和CBAM模块输出结果相连。将来自不同CBAM模块的输出通过C操作连接在一起后通过一个卷积核大小为1×1的卷积层来减少特征图的数量，提高模型计算效率。生成LD的网络细节如图4(a)所示。
图4(b)为图二双分支网络结构中3D-CNN分支split-3d模块出的实现细节。可分离的三维卷积(由Split-3d表示)将3×3×3卷积核拆分为3×1×1和1×3×3两组卷积核。在每个Split-3d模块中使用1×3×3和3×1×1卷积核提取空间和时间特征，并在该模块中添加了局部残差连接。初始特征M0连接到每个Split-3d模块的末端。3D-CNN可以利用
Figure BDA0003478706040000084
两个波段的时空变化信息和
Figure BDA0003478706040000085
精细空间信息来提高单个波段的重建性能。
步骤(6)将各单波段图像送入网络。首先将单波段LST0馈入2D-CNN学习空间细节特征，引入CBAM机制加强空间细节特征提取能力，CBAM模块如附图5所示。将单波段MDS0，MDS1和LST0一同输入到3D-CNN以同时提取空间和时间特征。通过上述步骤(5)加强2D-CNN分支学习特征能力后利用时空特征融合(TSFF)模块学习双分支时空变化特征完成单波段特征重建，通过二维卷积完成LST1第一波段图像重建。将第一波段中学习到的F1 SSF空间及光谱特征融入下一波段，通过空间光谱特征融合(SSFF)，重建第二波段特征，同样通过二维卷积完成LST1第二波段图像重建。之后重建各波段图像的方法和第二波段类似。最后将各个单波段图像通过concat联合起来得到LST1。值得注意的是在重建第一个波段时，网络中没有SSFF模块，只有TSFF模块。
重建各波段特征结果如下公式(2)所示：
Figure BDA0003478706040000091
Figure BDA0003478706040000092
表示t1时刻重建的第i波段特征，C代表concatenation操作，f2D(·)和f3D(·)分别代表双分支的2D卷积和3D卷积操作，ω1和ω2分别代表两个分支的权重(经过大量实验，ω1取0.4，ω2取0.6时实验效果较好)。P表示Pme操作，B表示遥感图像总波段数。由于重建的遥感图像波段之间有空间和光谱之间的联系，因此在进行F1 i特征重建时，我们需要获取该波段之前的波段特征
Figure BDA0003478706040000096
通过多次这样的步骤，我们实现各波段特征重建。之后通过2D卷积操作完成单波段图像重建，单波段图像重建将之后步骤(7)详细介绍。
步骤(7)进行双分支特征融合。在双分支特征提取完成且分别通过1×1和1×1×1卷积核减少特征图数量后，在3D-CNN分支使用Pme模块实现降维并与2D-CNN分支特征图尺寸相匹配。接着使用Concat模块实现双分支特征融合，并使用2D-CNN卷积减少特征图数量至1，完成第一波段特征重建。相邻波段之间存在一定的空间结构相似性，可以利用这一性质来引入相邻波段特征，共享空间信息，使得信息互补，从而提升单个波段特征重建性能。所以之后的各波段特征重建将由BSFF(波段空间特征融合)模块完成。各波段图像重建如公式(3)所示：
Figure BDA0003478706040000093
式中，
Figure BDA0003478706040000094
表示t1时刻观测到Landsat图像的第i个波段，Conv1×1(·)，Conv3×3(·)分别表示使用1x1和3x3卷积核进行点积操作，Spa(·)表示经过空间注意力模块，SPA-Atten模块即图4中右边矩形框线部分。
本发明实验最终结果是预测得到多波段遥感图像，上述步骤完成后重建得到步骤(8)将重建完成的各波段图像通过concat模块联合起来得到LST1，最终将各单波段图像通过C操作进行多波段遥感图像的重建，如公式(4)所示：
Figure BDA0003478706040000095
C代表concatenation操作，B表示遥感图像总波段数。与现有网络结构不同，本发明的HCNNet采用一种多波段-单波段-多波段的结构来实现时空融合任务并且算法的性能得到了提升。
在发明中提出了一个混合卷积神经网络(HCNNet)，通过采用2D-CNN和3D-CNN双分支结构来提取图像时空特征变化特征，用于时空图像融合。对于提出的方法，从模型数据输入和输出角度来看，我们的方法与以往的时空融合方法不同，我们采用一种多波段-单波段-多波段的网络结构。在“多波段-单波段”这一过程中我们充分利用已观测到的数据，考虑了遥感图像各相邻波段光谱、反射率差异，采用2D-CNN分支提取单波段图像空间细节特征，采用3D-CNN分支同时提取图像的时间变化和空间变化特征，并引入CBAM机制，加入Pme模块，将双分支联系起来进一步提高双分支网络特征提取能力。在“单波段-多波段”这一过程中我们考虑到各相邻波段空间结构相似性和光谱关联性，以一种迭代的方式将各单波段特征在相邻波段之间转移，并引入空间注意力机制，实现波段之间空间信息共享、互补。在两个公开数据集上的实验结果表明，我们的方法预测的图像效果更好，且在地面发生重大变化或土地覆盖类型突变的区域预测精度提升更加明显，更具有潜力。
步骤(9)通过重复上述(4)-(8)操作来完成对CIA和LGC数据集中各组数据进行LST1图像的预测。
CIA数据集有4组测试数据，20011017_20011102测试数据(20011017代表参考时刻t0日期是2001年10月17日，20011102代表参考时刻t1日期2001年11月2日)预测得到的图像命名为20011017_20011102_perdict，对应的观测图像命名为20011017_20011102_observed，其余各组测试数据预测得到的图像命名与此类似。实验结果如图5所示。
LGC数据集有3组测试数据，20041212_20041228测试数据(20041212代表参考时刻t0日期2004年12月12日，20041228代表参考时刻t1日期2004年12月28日)预测结果命名为20041212_20041228_perdict，对应的观测图像命名为20041212_20041228_observed，其余各组测试数据预测结果命名均一致。实验结果如图6所示。
实验结果表明通过HCNNet模型融合得到的遥感图像在一定误差范围内可以反映真实观测的图像，且同时具有高时间分辨率和高空间分辨率。

Claims (6)

1.基于混合卷积网络遥感图像时空融合方法，其特征在于，包括以下步骤：
(1)对遥感图像数据集中的图像进行预处理；
(2)将处理后的图像输入网络，对输入的多波段图像进行裁剪和拆分，将其拆分为单波段160×160图像；
(3)将拆分后的LST0各单波段图像馈入2D-CNN提取空间特征；
(4)将拆分后的t0时刻Modis图像MDS0，t1时刻Modis图像MDS1和t0时刻Landsat图像LST0的单波段图像一同输入到3D-CNN以同时提取空间和时间特征，通过时空融合模块将双分支分别提取到的特征进行融合；
(5)将之前波段中学习到的空间及光谱特征融入下一波段，通过光谱空间特征融合，重建相邻单波段特征以及单波段图像；
(6)将重建完成的各波段图像通过concat模块联合起来得到LST1预测图像。
2.根据权利要求1所述基于混合卷积网络遥感图像时空融合方法，其特征在于：步骤(1)所述预处理包括对图像进行裁剪。
3.根据权利要求1所述基于混合卷积网络遥感图像时空融合方法，其特征在于：所述步骤(3)及所述步骤(4)进行时间空间特征提取后利用时空特征融合模块完成单波段特征重建，通过二维卷积完成第一波段图像重建。
4.根据权利要求1或3所述基于混合卷积网络遥感图像时空融合方法，其特征在于：所述步骤(5)具体包括将第一波段中学习到的F1 SSF空间及光谱特征融入下一波段，通过空间光谱特征融合，重建第二波段特征，同样通过二维卷积完成第二波段图像重建；之后重建各波段图像的方法和第二波段类似。
5.根据权利要求4所述基于混合卷积网络遥感图像时空融合方法，其特征在于：重建各波段特征结果如下公式所示：
Figure FDA0003478706030000011
F1 i表示t1时刻重建的第i波段特征，C代表concatenation操作，f2D(·)和f3D(·)分别代表双分支的2D卷积和3D卷积操作，ω1和ω2分别代表两个分支的权重，P表示Pme操作，B表示遥感图像总波段数。
6.根据权利要求1或5所述基于混合卷积网络遥感图像时空融合方法，其特征在于：所述重建各波段图像如以下公式所示：
Figure FDA0003478706030000012
式中Conv1×1(·)，Conv3×3(·)分别表示使用1x1和3x3卷积核进行点积操作，Spa(·)表示经过空间注意力模块。
CN202210061910.5A 2022-01-19 2022-01-19 基于混合卷积网络遥感图像时空融合方法 Pending CN114529830A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210061910.5A CN114529830A (zh) 2022-01-19 2022-01-19 基于混合卷积网络遥感图像时空融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210061910.5A CN114529830A (zh) 2022-01-19 2022-01-19 基于混合卷积网络遥感图像时空融合方法

Publications (1)

Publication Number Publication Date
CN114529830A true CN114529830A (zh) 2022-05-24

Family

ID=81620129

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210061910.5A Pending CN114529830A (zh) 2022-01-19 2022-01-19 基于混合卷积网络遥感图像时空融合方法

Country Status (1)

Country Link
CN (1) CN114529830A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115457356A (zh) * 2022-08-16 2022-12-09 湖北省交通规划设计院股份有限公司 面向地质勘察的遥感图像融合方法、装置、设备及介质
CN116310883A (zh) * 2023-05-17 2023-06-23 山东建筑大学 基于遥感图像时空融合的农业灾害预测方法及相关设备
CN116503746A (zh) * 2023-06-29 2023-07-28 南京信息工程大学 基于多层嵌套非全映射u型网络的红外小目标检测方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115457356A (zh) * 2022-08-16 2022-12-09 湖北省交通规划设计院股份有限公司 面向地质勘察的遥感图像融合方法、装置、设备及介质
CN116310883A (zh) * 2023-05-17 2023-06-23 山东建筑大学 基于遥感图像时空融合的农业灾害预测方法及相关设备
CN116310883B (zh) * 2023-05-17 2023-10-20 山东建筑大学 基于遥感图像时空融合的农业灾害预测方法及相关设备
CN116503746A (zh) * 2023-06-29 2023-07-28 南京信息工程大学 基于多层嵌套非全映射u型网络的红外小目标检测方法
CN116503746B (zh) * 2023-06-29 2023-09-12 南京信息工程大学 基于多层嵌套非全映射u型网络的红外小目标检测方法

Similar Documents

Publication Publication Date Title
CN114529830A (zh) 基于混合卷积网络遥感图像时空融合方法
Liu et al. A spectral grouping and attention-driven residual dense network for hyperspectral image super-resolution
CN112488924B (zh) 一种图像超分辨率模型训练方法、重建方法及装置
CN115471437B (zh) 一种基于卷积神经网络的影像融合方法以及遥感影像融合方法
Wang et al. RSCNet: A residual self-calibrated network for hyperspectral image change detection
CN108932708A (zh) 基于超分辨增强的星载多光谱遥感图像融合方法
He et al. DsTer: A dense spectral transformer for remote sensing spectral super-resolution
Ge et al. Improved semisupervised unet deep learning model for forest height mapping with satellite sar and optical data
CN115760814A (zh) 一种基于双耦合深度神经网络的遥感图像融合方法及系统
CN112712034A (zh) 一种高光谱图像的解混方法及系统
Liu et al. Hyperspectral remote sensing image synthesis based on implicit neural spectral mixing models
CN113313180B (zh) 一种基于深度对抗学习的遥感图像语义分割方法
Yang et al. Deep residual network with multi-image attention for imputing under clouds in satellite imagery
Liu et al. Circle-net: An unsupervised lightweight-attention cyclic network for hyperspectral and multispectral image fusion
Liu et al. SI-SA GAN: A generative adversarial network combined with spatial information and self-attention for removing thin cloud in optical remote sensing images
CN116245757B (zh) 多模态数据的多场景通用性遥感影像云修复方法和系统
CN116309150B (zh) 一种sar辅助下光学遥感影像修复方法
Ping et al. Applications of deep learning-based super-resolution for sea surface temperature reconstruction
CN111079505A (zh) 基于栈式稀疏自编码网络的多时相PolSAR散射特征的降维算法
CN116363526A (zh) MROCNet模型构建与多源遥感影像变化检测方法及系统
Liu et al. Hyperspectral image super-resolution employing nonlocal block and hybrid multiscale three-dimensional convolution
Nguyen et al. PatchGAN-Based Depth Completion in Autonomous Vehicle
Jiang et al. A deep learning-based heterogeneous spatio-temporal-spectral fusion: SAR and optical images
Kasem et al. DRCS-SR: Deep robust compressed sensing for single image super-resolution
Patel et al. PolSAR band-to-band image translation using conditional adversarial networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination