CN116758388A - 基于多尺度模型和残差的遥感图像时空融合方法及装置 - Google Patents

基于多尺度模型和残差的遥感图像时空融合方法及装置 Download PDF

Info

Publication number
CN116758388A
CN116758388A CN202310728974.0A CN202310728974A CN116758388A CN 116758388 A CN116758388 A CN 116758388A CN 202310728974 A CN202310728974 A CN 202310728974A CN 116758388 A CN116758388 A CN 116758388A
Authority
CN
China
Prior art keywords
stage network
stage
network
remote sensing
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310728974.0A
Other languages
English (en)
Inventor
程青
谢瑞祥
叶凡
张景航
张泽君
官康
杨芮
董坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Geosciences
Original Assignee
China University of Geosciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Geosciences filed Critical China University of Geosciences
Priority to CN202310728974.0A priority Critical patent/CN116758388A/zh
Publication of CN116758388A publication Critical patent/CN116758388A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种基于多尺度模型和残差的遥感图像时空融合方法及装置，包括：获取遥感图像数据并进行预处理；利用预处理后的图像数据训练双阶段时空融合模型；第一阶段和第二阶段网络均包括卷积层和注意耦合残差稠密块，其中第二阶段网络增加了一个多尺度扩张卷积网络，用于提取低分辨率图像的特征；训练完成后，利用两组遥感图像进行模型测试，其中第一阶段网络的生成图像作为第二阶段网络的辅助数据，通过第二阶段网络的生成图像作为遥感图像时空融合结果。本发明采用注意力机制模块与残差稠密块相结合，能够实现对图像特征的分级提取以及最大程度的特征提取；充分利用多尺度结构来对低分辨率图像进行特征提取，能够提高融合结果的精度。

Description

基于多尺度模型和残差的遥感图像时空融合方法及装置
技术领域
本发明涉及遥感影像处理技术领域，特别涉及一种基于多尺度模型和残差的遥感图像时空融合方法及装置。
背景技术
来自卫星的密集时间序列数据对于研究地球系统的动态非常重要。例如，密集的时间序列数据包含了地表物体的时间信息，对于区分不同的土地覆盖类型、监测植被的季节性、建立碳汇模型、估计作物产量、探索人类与自然的相互作用以及揭示生态系统与气候的反馈都有很大帮助。基于时间序列的研究在这十年中变得非常流行，因为公众可获得的免费卫星图像的数量正在增加。例如，自2008年以来，所有的Landsat数据都是免费提供的，现在新卫星Sentinel-2的数据也是免费的。此外，一个免费的云计算平台，谷歌地球引擎(GEE)，目前正在推动使用时间序列卫星数据进行大面积的土地和水的动态监测，因为它具有处理大量卫星图像的超级能力。
然而，这些可用的卫星图像仍然不能满足我们研究异质地貌的高频变化的需要，如监测城市建设工程的进展和制作城市灾害(如滑坡和洪水)的实时地图。这些研究需要具有高频率和高空间分辨率的卫星图像。由于扫描范围和像素大小之间的权衡，现有的卫星很难同时获得高时间分辨率(或时间频率)和高空间分辨率的图像。因此，对于需要高频率和高空间分辨率观测的研究来说，如何整合来自多颗卫星的图像以产生高质量的密集时间序列数据成为一项紧迫的任务。时空数据融合是上述问题的一个可行的解决方案。
时空数据融合是一种融合两个传感器的卫星图像的方法，一个是时间频率很高但空间分辨率较粗的传感器，如MODIS和AVHRR；另一个是空间分辨率很高但频率较低的传感器，如Landsat和Sentinel-2。时空数据融合的输出是具有传感器一的时间频率和传感器二的空间分辨率的合成图像。它还可以整合两个具有相似空间和时间分辨率的传感器，以产生一致的观测结果，如协调Landsat和Sentinel-2的图像。时空数据融合提供了具有更高空间和时间分辨率的更好的数据集，因此它是克服当前卫星局限性的一个可行和有效的工具。
目前已出现多种深度学习的时空融合方法，特别是针对哨兵数据和陆地卫星数据的融合问题，但是这些方法都有共同的缺陷，在图像特征提取方面缺乏更高的精度，因此使得时空融合的预测结果精度不高。
发明内容
本发明主要解决现有的时空融合方法在图像特征提取方面缺乏更高的精度，而导致的时空融合的预测结果精度不高的问题。
为了解决上述技术问题，本发明首先提供了一种基于多尺度模型和残差的遥感图像时空融合方法，包括以下步骤：
获取遥感图像数据并进行预处理；
利用预处理后的图像数据训练预设的双阶段时空融合模型，第一阶段网络和第二阶段网络串联设置；
第一阶段网络和第二阶段网络均包括：卷积层和注意耦合残差稠密块，其中第二阶段网络增加了一个多尺度扩张卷积网络，用于提取低分辨率图像数据的特征；
训练完成后，利用两组遥感图像进行模型测试，其中第一阶段网络的生成图像作为第二阶段网络的辅助数据，通过第二阶段网络的生成图像作为遥感图像时空融合结果。
进一步地，所述利用两组遥感图像进行模型测试的步骤，包括：
第一阶段网络采用10m分辨率的哨兵图像作为辅助数据，将20m分辨率的哨兵图像缩小到10m；此外第一阶段网络的生成图像作为第二阶段的辅助数据，然后与第二阶段网络采用的15m分辨率的陆地卫星图像共同作用，将30m分辨率的陆地卫星图像缩小到10m。
进一步地，所述预处理包括大气校正、带通调整和几何配准。
进一步地，所述利用预处理后的图像数据训练预设双阶段时空融合模型的步骤中，采用一种损失函数来约束模型并指导网络的优化，在这两个阶段网络中，损失函数Lt(θ)可以统一地描述为：
Lt(θ)＝αL1(θ)+βLf(θ)+γLd(θ)
其中L1(θ)和Lf(θ)分别表示f1范数项和Frobenius范数项，用于约束预测和标签之间的误差，Ld(θ)是为缓解时间变化问题而设计的退化约束项，θ表示网络参数，α、β和γ由以下公式得到：
将两阶段网络的输入数据分为两种，即粗分辨率源Y和精细分辨率源Z，输出结果X代表r的增强版本，以Y为模型建立一个约束，根据观测退化模型通过引入扭曲、模糊、下采样和噪声算子，Y可以被认为是X的退化版本。考虑到陆地卫星和哨兵图像在预处理步骤(包括大气校正、带通调整和几何配准)后高度一致，运动、模糊和噪声算子显示出不明显的影响。因此，Y近似等于X的下采样版本：
Y＝DX
其中D表示下采样算子，设计了两阶段网络中的退化项，在训练阶段给定一个数据集：
其中和/>是10m和20m频带组，/>是/>的增强版本，N是训练数据编号，退化项/>表示为：
其中ξnet1(·)表示来自第一阶段网络的剩余输出，将残差输出与上采样的粗分辨率数据相结合，以导出融合结果，fd(·)和fu(·)分别表示下采样和上采样运算符；在第二阶段网络训练的数据集被描述为：
其中和/>分别是10m哨兵图像、15m陆地卫星全色带和30m陆地卫星图像，/>是/>的增强版本，M是训练数据编号，在这种情况下，退化项/>被描述为：
其中ξnet2(·)表示第二阶段网络的剩余输出。
进一步地，训练出来的模型结构，第一阶段和第二阶段两个网络结构相似，精细分辨率源Z采用带有64个3×3×bf滤波器的卷积层，其中bf为精细分辨率波段数，粗分辨率源Y应用了一个带有64个3×3×bc滤波器的卷积层和一个注意耦合残差稠密块，其中bc表示粗分辨率波段数；随后，执行双三次重采样过程来协调特征图的大小；其次，从两个源映射的特征在维度上进行连接，并通过三个注意耦合残差稠密块进行处理；通过跳跃式连接将三个块的输出特征映射连接起来；然后，通过元素相加的方法，将得到的特征映射与粗分辨率源Y的上采样特征相结合；最后，利用3×3×64的fc滤波器卷积层对特征图进行处理，得到高分辨率结果X。
进一步地，第二阶段网络与第一阶段网络的区别在于，第二阶段网络中对30m陆地卫星图像数据的初步处理不是采用3×3×bc滤波器的卷积层，而是用一个多尺度扩张卷积网络来代替。
进一步地，所述注意耦合残差稠密块是由注意力机制模块和残差稠密块组成，其中注意力机制模块包含两个分支，分别是空间注意力和通道注意力；
空间注意力分支采用1个3×3卷积层提取局部特征，2个1×1卷积层估计空间权重；
通道注意分支由两个子分支组成，通过池化算子提取全局统计特征，然后通过2个1×1核卷积层导出信道权值，再进行元素乘法进行信号再校准；重新校准的地图从两个子分支合并，并通过3×3卷积层处理。最后，将两个分支的输出特征映射按元素添加，生成调整后的特征映射。校正后通过3×3的卷积层与空间注意分支的输出特征一起输送到残差稠密块中，利用残差稠密块充分利用分层特征，来更好地提取图像特征。
该残差稠密块融合了密集连接和剩余学习，每个块采用6个“Conv+ReLU”层，每个“Conv+ReLU”层应用一个3×3卷积层，后面是一个整流线性单元；特征映射通过密集连接在块内传递；即每一层输入来自所有前一层的特征，并将当前特征传递给所有后续层，在数学上，一个残差稠密块中的第n层的输出描述为
Fn＝fn(concat(Fa，F1，...，Fn-1))
其中Fa表示来自注意力机制模块的重新校准的特征图，F1，...，Fn-1和Fn分别表示来自第1，…，n-1和n层的特征图，1≤n≤6，concat(·)表示串联操作；此外还采用了残差学习策略，残差稠密块的最终输出Fo可以表示为：
Fo＝Fa+Fr
其中Fr是由1×1卷积层推导出的残差特征图，该卷积层施加在前六层连接的特征图上。
进一步地，所述多尺度扩张卷积网络是一个金字塔参与特征提取模块，该结构采用并行的5个膨胀卷积层，其中第一层是1×1的普通卷积层，第五层是一个平均池化层，而中间三层是三个膨胀率不同的3×3的膨胀卷积层；这三个卷积层的膨胀率分别是2、4和6，然后在这三个分支后分别增加一个注意力机制模块，通过整合注意力来增强多尺度特征；第一层的卷积层和第五层的池化层分别利用最小场和最大场来保持输入的固有性质。
此外，本发明还提供了一种基于多尺度模型和残差的遥感图像时空融合装置，用于实现所述的遥感图像时空融合方法，包括以下模块：
预处理模块，用于获取遥感图像数据并进行预处理；
训练模块，用于利用预处理后的图像数据训练预设的双阶段时空融合模型，所述双阶段时空融合模型的第一阶段网络和第二阶段网络串联设置；第一阶段网络和第二阶段网络均包括：卷积层和注意耦合残差稠密块，其中第二阶段网络增加了一个多尺度扩张卷积网络，用于提取低分辨率图像数据的特征；
测试模块，用于在训练完成后，利用两组遥感图像进行模型测试，其中第一阶段网络的生成图像作为第二阶段网络的辅助数据，通过第二阶段网络的生成图像作为遥感图像时空融合结果。
最后，本发明还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的遥感图像时空融合方法的步骤。
本发明提供的技术方案具有以下有益效果：
1.本发明由于构建了一种双阶段时空融合模型，在第一阶段网络和第二阶段网络中采用注意力机制模块与残差稠密块相结合，构建一种注意耦合残差稠密块，该网络能够实现对图像特征的分级提取以及最大程度的特征提取。
2.本发明由于采用多尺度扩张卷积网络模型来对低分辨率图像的特征进行提取，能够最大程度的利用低分辨率图像的特征，实现最终融合结果精度的提高。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明提出的一种基于多尺度模型和残差的遥感图像时空融合方法的流程图；
图2是本发明提出的基于多尺度模型和残差的遥感图像时空融合方法第一阶段网络的总体结构图；
图3是本发明提出的基于多尺度模型和残差的遥感图像时空融合方法第二阶段网络的总体结构图；
图4是本发明注意耦合残差稠密块(ARDB)的模块图；
图5是本发明多尺度扩张卷积网络的模块图；
图6是本发明在3组德州测试数据集上的实验结果。其中(a)和(b)是第一组图像，日期分别是2018_0922(基准日期)和2018_0924(预测日期)，(c)和(d)是第二组图像，日期分别是2018_0105(基准日期)和2018_0111(预测日期)，(e)和(f)是第三组图像，日期分别是2018_1017(基准日期)和2018_1026(预测日期)；
图7是本发明提出的一种基于多尺度模型和残差的遥感图像时空融合装置的结构示意图；
图8是本发明提出的一种电子设备的结构示意图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施仅是本发明的一部分实施例。
参考图1，本发明提供了一种基于多尺度模型和残差的遥感图像时空融合方法，包括以下步骤：
S1：获取遥感图像数据并进行预处理；
S2：利用预处理后的图像数据训练预设的双阶段时空融合模型，所述双阶段时空融合模型的第一阶段网络和第二阶段网络串联设置；第一阶段网络和第二阶段网络均包括：卷积层和注意耦合残差稠密块，其中第二阶段网络增加了一个多尺度扩张卷积网络，用于提取低分辨率图像数据的特征；
S3：训练完成后，利用两组遥感图像进行模型测试，其中第一阶段网络的生成图像作为第二阶段网络的辅助数据，通过第二阶段网络的生成图像作为遥感图像时空融合结果。
下面，以海拉尔和德州地区的遥感图像数据对本发明的实施过程进行具体描述：
(1)对获取的海拉尔和德州地区的遥感图像数据进行预处理；
具体的，海拉尔位于中国东北海拉尔和齐齐哈尔交界处，面积约为1568平方公里(3960×3960万像素)。它有各种各样的土地覆盖，包括农田、林地、湖泊和居民区，林地普遍同质，物候随时间变化缓慢，而农田物候因人为活动变化明显，物候变化明显。该地点的农田主要种植两种作物，即大豆(4月下旬播种，9月上中旬成熟)和玉米(5月下旬播种，9月中下旬成熟)。
德州位于中国山东省德州市，空间面积为882平方公里(2970×2970个1000万像素)。虽然主要被农田覆盖，但与以前的遗址相比，该遗址有更多的建成区(例如城市地区和分散的村庄)，该地点的农田随时间变化，有两种作物的生长周期，即冬小麦(前一年播种，6月初成熟)和玉米(6月底播种，10月初成熟)。德州数据集包含2018年的24个场景，其中11个来自Landsat 8(122/035)，13个来自Sentinel-2(T50SMF)。Landsat Level-2产品在数据分发前使用Landsat 8表面反射率代码(LaSRC)进行大气校正，Sentinel-2L1C产品使用Sen2Cor进行校正。我们从这两个源分别提取了可见光、近红外和短波红外波段，全色波段也采集自陆地卫星，收集的数据进行几何对齐和空间剪辑，以确保相同的程度。
(2)将预处理的数据用来训练双阶段时空融合模型；
具体的，用于训练的数据集是降级的分辨率，第一阶段降级的比例因子是2，具体来说，Sentinel-2的10米和20米波段分别降级为20米和40米。退化带(即20米B02-B04、B08；40米B8A和B11-B12)作为输入，20米B8A,B11,B12波段作为输出标签。在第二阶段，采用了相同的策略，但退化因子为3。每张陆地卫星图像都与在陆地卫星之前/之后的时间相邻的Sentinel-2图像相结合。Sentinel-2图像被降级为30米，Landsat多光谱图像和全色波段分别被降级为45米和90米。将退化数据作为输入，将观测到的Landsat 30-m多光谱图像作为输出标签。通过在退化分辨率下构建映射，可以训练这两个深度网络。
(3)训练出来的模型包含两个阶段网络，两个阶段网络的结构相似，主要包括普通的卷积层和注意力耦合残差稠密块，其中第二阶段的不同之处在于增加了一个多尺度扩张卷积网络，用来更好的提取低分辨率图像数据的特征；
具体的，两个网络结构相似，如图2所示，精细分辨率源Z采用带有64个3×3×bf滤波器的卷积层，其中bf为精细分辨率波段数，粗分辨率源Y应用了一个带有64个3×3×bc滤波器的卷积层和一个注意耦合残差稠密块(ARDB)，其中bc表示粗分辨率波段数，另外在图3中粗分辨率源Y应用了多尺度结构。随后，执行双三次重采样过程来协调特征图的大小。其次，从两个源映射的特征在维度上进行连接，并通过三个ARDB进行处理。通过跳跃式连接将三个块的输出特征映射连接起来，使不同层次的特征映射在网络中得到充分考虑和利用。然后，通过元素相加的方法，将得到的特征映射与粗分辨率源的上采样特征相结合。最后，利用3×3×64的fc滤波器卷积层对特征图进行处理，得到高分辨率结果X。
如图4所示，注意耦合残差稠密块(ARDB)是由注意力机制模块和残差稠密块组成，其中注意力机制模块包含两个分支，分别是空间注意力和通道注意力。空间注意力分支采用1个3×3卷积层提取局部特征，2个1×1卷积层估计空间权重。信道注意分支由两个子分支组成，通过池化算子提取全局统计特征，然后通过2个1×1核卷积层导出信道权值，再进行元素乘法进行信号再校准。重新校准的地图从两个子分支合并，并通过3×3卷积层处理。最后，将两个分支的输出特征映射按元素添加，生成调整后的特征映射。校正后，通过3×3的卷积层与空间注意分支的输出特征一起输送到残差稠密块中，利用残差稠密块充分利用分层特征，来更好地提取图像特征。
该残差稠密块融合了密集连接和剩余学习，每个块采用6个“Conv+ReLU”层，每个“Conv+ReLU”层应用一个3×3卷积层(Conv)，后面是一个整流线性单元(ReLU)。特征映射通过密集连接在块内传递；即每一层输入来自所有前一层的特征，并将当前特征传递给所有后续层，这加强了特征传播并鼓励特征重用。数学上，一个残差稠密块中的第n层(1≤n≤6)的输出描述为
Fn＝fn(concat(Fa，F1，...，Fn-1))
其中Fa表示来自注意力模块的重新校准的特征图，F1，…，Fn-1和Fn分别表示来自第1，…，n-1和n层的特征图，concat(·)表示串联操作。为了提高特征表示能力，本研究还采用了残差学习策略，残差稠密块的最终输出Fo可以表示为：
Fo＝Fa+Fr
其中Fr是由1×1卷积层推导出的残差特征图，该卷积层施加在前六层连接的特征图上；
第二阶段网络与第一阶段网络的区别在于，第二阶段网络中对30m陆地卫星图像数据的初步处理不是采用3×3×bc滤波器的卷积层，而是用一个多尺度扩张卷积网络来代替。如图5所示，该多尺度扩张卷积网络实质上是一个金字塔参与特征提取模块，由于单尺度无法捕捉低分辨率图像的特征，所以我们直接在不同尺度上分别提取特征，另外结合空间注意力以更好的关注视觉上的重要区域。该结构采用并行的5个膨胀卷积层，其中第一层是1×1的普通卷积层，第五层是一个平均池化层，而中间三层是三个膨胀率不同的3×3的膨胀卷积层。这三个卷积层的膨胀率分别是2，4和6，然后在这三个分支后分别增加一个注意力机制模块，通过整合注意力来增强多尺度特征。第一层的卷积层和第五层的池化层分别利用最小场和最大场来保持输入的固有性质，因此并没有将注意力机制模块应用在这两个分支后。
(4)模型训练出来以后用两组图像进行测试，第一阶段网络用10m分辨率的哨兵图像作为辅助数据，将20m分辨率的哨兵图像缩小到10m。此外第一阶段的生成图像作为第二阶段的辅助数据，然后与15m分辨率的陆地卫星图像共同作用，将30m分辨率的陆地卫星图像缩小到10m；
具体的，在第一阶段网络中，将基准日期的3波段的20m哨兵图像和4波段的10m哨兵图像进行融合，得到降尺度的6波段的10m哨兵图像。然后在第二阶段网络中，将第一阶段网络得到的6波段图像和预测日期的全波段15m的陆地卫星图像以及6波段30m陆地卫星图像进行融合，最后通过第二阶段网络得到预测日期的6波段10m陆地卫星图像。
(5)该模型以第二阶段网络为重点，第一阶段网络起辅助作用，模型的测试效果是以第一阶段网络的生成图像为基准，然后来比较第二阶段网络的生成图像，进行图像时空融合；
(6)重复上述操作来完成对德州测试数据集的预测。
如图6所示，图6是本发明在3组德州测试数据集上的实验结果。其中(a)和(b)是第一组图像，日期分别是2018_0922(基准日期)和2018_0924(预测日期)，(c)和(d)是第二组图像，日期分别是2018_0105(基准日期)和2018_0111(预测日期)，(e)和(f)是第三组图像，日期分别是2018_1017(基准日期)和2018_1026(预测日期)，该实验结果表明，通过提出的基于多尺度模型和残差的遥感图像时空融合模型得到的遥感图像在一定误差范围内可以较好地反映真实观测的图像，且预测的图像既是高时间分辨率又是高空间分辨率。
下面对本发明提供的一种基于多尺度模型和残差的遥感图像时空融合装置进行描述，下文描述的遥感图像时空融合装置与上文描述的遥感图像时空融合方法可相互对应参照。
如图7所示，一种基于多尺度模型和残差的遥感图像时空融合装置，包括以下模块：
预处理模块001，用于获取遥感图像数据并进行预处理；
训练模块002，用于利用预处理后的图像数据训练的预设双阶段时空融合模型，所述双阶段时空融合模型的第一阶段网络和第二阶段网络串联设置；第一阶段网络和第二阶段网络均包括：卷积层和注意耦合残差稠密块，其中第二阶段网络增加了一个多尺度扩张卷积网络，用于提取低分辨率图像数据的特征；
测试模块003，用于在训练完成后，利用两组遥感图像进行模型测试，其中第一阶段网络的生成图像作为第二阶段网络的辅助数据，通过第二阶段网络的生成图像作为遥感图像时空融合结果。
如图8所示，示例了一种电子设备的实体结构示意图，该电子设备可以包括：处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630和通信总线640，其中，处理器610、通信接口620、存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行上述遥感图像时空融合方法的步骤，具体包括：获取遥感图像数据并进行预处理；利用预处理后的图像数据训练预设的双阶段时空融合模型，所述双阶段时空融合模型的第一阶段网络和第二阶段网络串联设置；第一阶段网络和第二阶段网络均包括：卷积层和注意耦合残差稠密块，其中第二阶段网络增加了一个多尺度扩张卷积网络，用于提取低分辨率图像数据的特征；训练完成后，利用两组遥感图像进行模型测试，其中第一阶段网络的生成图像作为第二阶段网络的辅助数据，通过第二阶段网络的生成图像作为遥感图像时空融合结果。
此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random15 Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
又一方面，本发明实施例还提供了一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述遥感图像时空融合方法的步骤，具体包括：获取遥感图像数据并进行预处理；利用预处理后的图像数据训练预设的双阶段时空融合模型，所述双阶段时空融合模型的第一阶段网络和第二阶段网络串联设置；第一阶段网络和第二阶段网络均包括：卷积层和注意耦合残差稠密块，其中第二阶段网络增加了一个多尺度扩张卷积网络，用于提取低分辨率图像数据的特征；训练完成后，利用两组遥感图像进行模型测试，其中第一阶段网络的生成图像作为第二阶段网络的辅助数据，通过第二阶段网络的生成图像作为遥感图像时空融合结果。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。词语第一、第二、以及第三等的使用不表示任何顺序，可将这些词语解释为标识。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于多尺度模型和残差的遥感图像时空融合方法，其特征在于，包括以下步骤：
获取遥感图像数据并进行预处理；
利用预处理后的图像数据训练预设的双阶段时空融合模型，所述双阶段时空融合模型的第一阶段网络和第二阶段网络串联设置；
第一阶段网络和第二阶段网络均包括：卷积层和注意耦合残差稠密块，其中第二阶段网络增加了一个多尺度扩张卷积网络，用于提取低分辨率图像数据的特征；
训练完成后，利用两组遥感图像进行模型测试，其中第一阶段网络的生成图像作为第二阶段网络的辅助数据，通过第二阶段网络的生成图像作为遥感图像时空融合结果。
2.根据权利要求1所述的遥感图像时空融合方法，其特征在于，所述利用两组遥感图像进行模型测试的步骤，包括：
第一阶段网络采用10m分辨率的哨兵图像作为辅助数据，将20m分辨率的哨兵图像缩小到10m；此外第一阶段网络的生成图像作为第二阶段的辅助数据，然后与第二阶段网络采用的15m分辨率的陆地卫星图像共同作用，将30m分辨率的陆地卫星图像缩小到10m。
3.根据权利要求1所述的遥感图像时空融合方法，其特征在于，所述预处理包括大气校正、带通调整和几何配准。
4.根据权利要求2所述的遥感图像时空融合方法，其特征在于，所述利用预处理后的图像数据训练预设的双阶段时空融合模型的步骤中，采用一种损失函数来约束模型并指导网络的优化，在第一阶段网络和第二阶段网络中，损失函数Lt(θ)可以统一地描述为：
Lt(θ)＝αL1(θ)+βLf(θ)+γLd(θ)
其中L1(θ)和Lf(θ)分别表示f1范数项和Frobenius范数项，用于约束预测和标签之间的误差，Ld(θ)是为缓解时间变化问题而设计的退化约束项，θ表示网络参数，α、β和γ由以下公式得到：
将两阶段网络的输入数据分为两种，即粗分辨率源Y和精细分辨率源Z，输出结果X代表Y的增强版本，以Y为模型建立一个约束，Y近似等于X的下采样版本：
Y＝DX
其中D表示下采样算子，设计了两阶段网络中的退化项，在训练阶段给定一个数据集：
其中和/>是10m和20m频带组，/>是/>的增强版本，N是训练数据编号，退化项/>表示为：
其中ξnet1(·)表示来自第一阶段网络的剩余输出，将残差输出与上采样的粗分辨率数据相结合，以导出融合结果，fd(·)和fu(·)分别表示下采样和上采样运算符；在第二阶段网络训练的数据集被描述为：
其中和/>分别是10m哨兵图像、15m陆地卫星全色带和30m陆地卫星图像，/>是/>的增强版本，M是训练数据编号，在这种情况下，退化项/>被描述为：
其中ξnet2(·)表示第二阶段网络的剩余输出。
5.根据权利要求1所述的遥感图像时空融合方法，其特征在于，训练出来的模型结构，第一阶段和第二阶段两个网络结构相似，精细分辨率源Z采用带有64个3×3×bf滤波器的卷积层，其中bf为精细分辨率波段数，粗分辨率源Y应用了一个带有64个3×3×bc滤波器的卷积层和一个注意耦合残差稠密块，其中bc表示粗分辨率波段数；随后，执行双三次重采样过程来协调特征图的大小；其次，从两个源映射的特征在维度上进行连接，并通过三个注意耦合残差稠密块进行处理；通过跳跃式连接将三个块的输出特征映射连接起来；然后，通过元素相加的方法，将得到的特征映射与粗分辨率源Y的上采样特征相结合；最后，利用3×3×64的fc滤波器卷积层对特征图进行处理，得到高分辨率结果X。
6.根据权利要求5所述的遥感图像时空融合方法，其特征在于，第二阶段网络与第一阶段网络的区别在于，第二阶段网络中对30m陆地卫星图像数据的初步处理不是采用3×3×bc滤波器的卷积层，而是用一个多尺度扩张卷积网络来代替。
7.根据权利要求5所述的遥感图像时空融合方法，其特征在于，所述注意耦合残差稠密块是由注意力机制模块和残差稠密块组成，其中注意力机制模块包含两个分支，分别是空间注意力和通道注意力；
空间注意力分支采用1个3×3卷积层提取局部特征，1个1×1卷积层估计空间权重；
通道注意分支由两个子分支组成，通过池化算子提取全局统计特征，然后通过2个1×1核卷积层导出信道权值，再进行元素乘法进行信号再校准；重新校准的地图从两个子分支合并，并通过3×3卷积层处理；最后，将两个分支的输出特征映射按元素添加，生成调整后的特征映射；校正后通过3×3的卷积层与空间注意分支的输出特征一起输送到残差稠密块中，利用残差稠密块充分利用分层特征，来更好地提取图像特征；
该残差稠密块融合了密集连接和剩余学习，每个块采用6个“Conv+ReLU”层，每个“Conv+ReLU”层应用一个3×3卷积层，后面是一个整流线性单元；特征映射通过密集连接在块内传递；即每一层输入来自所有前一层的特征，并将当前特征传递给所有后续层，在数学上，一个残差稠密块中的第n层的输出描述为
Fn＝fn(concat(Fa,F1,...,Fn-1))
其中Fa表示来自注意力机制模块的重新校准的特征图，F1，…，Fn-1和Fn分别表示来自第1，…，n-1和n层的特征图，1≤n≤6，concat(·)表示串联操作；此外还采用了残差学习策略，残差稠密块的最终输出Fo可以表示为：
Fo＝Fa+Fr
其中Fr是由1×1卷积层推导出的残差特征图，该卷积层施加在前六层连接的特征图上。
8.根据权利要求6所述的遥感图像时空融合方法，其特征在于，所述多尺度扩张卷积网络是一个金字塔参与特征提取模块，该结构采用并行的5个膨胀卷积层，其中第一层是1×1的普通卷积层，第五层是一个平均池化层，而中间三层是三个膨胀率不同的3×3的膨胀卷积层；这三个卷积层的膨胀率分别是2、4和6，然后在这三个分支后分别增加一个注意力机制模块，通过整合注意力来增强多尺度特征；第一层的卷积层和第五层的池化层分别利用最小场和最大场来保持输入的固有性质。
9.一种基于多尺度模型和残差的遥感图像时空融合装置，用于实现如权利要求1-8任一项所述的遥感图像时空融合方法，其特征在于，包括以下模块：
预处理模块，用于获取遥感图像数据并进行预处理；
训练模块，用于利用预处理后的图像数据训练预设的双阶段时空融合模型，所述双阶段时空融合模型的第一阶段网络和第二阶段网络串联设置；第一阶段网络和第二阶段网络均包括：卷积层和注意耦合残差稠密块，其中第二阶段网络增加了一个多尺度扩张卷积网络，用于提取低分辨率图像数据的特征；
测试模块，用于在训练完成后，利用两组遥感图像进行模型测试，其中第一阶段网络的生成图像作为第二阶段网络的辅助数据，通过第二阶段网络的生成图像作为遥感图像时空融合结果。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于：所述处理器执行所述程序时实现如权利要求1-8中任一项所述的遥感图像时空融合方法的步骤。
CN202310728974.0A 2023-06-19 2023-06-19 基于多尺度模型和残差的遥感图像时空融合方法及装置 Pending CN116758388A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310728974.0A CN116758388A (zh) 2023-06-19 2023-06-19 基于多尺度模型和残差的遥感图像时空融合方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310728974.0A CN116758388A (zh) 2023-06-19 2023-06-19 基于多尺度模型和残差的遥感图像时空融合方法及装置

Publications (1)

Publication Number Publication Date
CN116758388A true CN116758388A (zh) 2023-09-15

Family

ID=87960463

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310728974.0A Pending CN116758388A (zh) 2023-06-19 2023-06-19 基于多尺度模型和残差的遥感图像时空融合方法及装置

Country Status (1)

Country Link
CN (1) CN116758388A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117496162A (zh) * 2024-01-03 2024-02-02 北京理工大学 一种红外卫星遥感影像薄云去除方法、装置及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117496162A (zh) * 2024-01-03 2024-02-02 北京理工大学 一种红外卫星遥感影像薄云去除方法、装置及介质
CN117496162B (zh) * 2024-01-03 2024-03-22 北京理工大学 一种红外卫星遥感影像薄云去除方法、装置及介质

Similar Documents

Publication Publication Date Title
CN113128134B (zh) 一种矿区生态环境演变驱动因子权重量化分析方法
CN112419155B (zh) 一种全极化合成孔径雷达影像超分辨率重建方法
CN112991354A (zh) 一种基于深度学习的高分辨率遥感影像语义分割方法
Yang et al. Semantic segmentation based on temporal features: Learning of temporal–spatial information from time-series SAR images for paddy rice mapping
Xiao et al. A review of remote sensing image spatiotemporal fusion: Challenges, applications and recent trends
CN115471437B (zh) 一种基于卷积神经网络的影像融合方法以及遥感影像融合方法
Xiao et al. Deep learning-based spatiotemporal fusion of unmanned aerial vehicle and satellite reflectance images for crop monitoring
CN116258976A (zh) 一种分层次Transformer的高分辨率遥感图像语义分割方法及系统
CN114913432A (zh) 一种城市建设用地变化遥感检测方法
CN116758388A (zh) 基于多尺度模型和残差的遥感图像时空融合方法及装置
CN117788296B (zh) 基于异构组合深度网络的红外遥感图像超分辨率重建方法
Parajuli et al. Attentional dense convolutional neural network for water body extraction from sentinel-2 images
Karakacan Kuzucu et al. Testing the potential of vegetation indices for land use/cover classification using high resolution data
CN115240066A (zh) 基于深度学习的遥感影像矿区复绿监测方法及系统
Teo et al. Spatiotemporal fusion of formosat-2 and landsat-8 satellite images: A comparison of “super resolution-then-blend” and “blend-then-super resolution” approaches
Chen et al. Spatiotemporal fusion for spectral remote sensing: A statistical analysis and review
Zhu et al. A cross-resolution transfer learning approach for soil moisture retrieval from Sentinel-1 using limited training samples
CN118037976A (zh) 一种dem重建模型训练方法及dem重建方法
CN114170519A (zh) 基于深度学习与多维注意力的高分辨率遥感道路提取方法
Lei et al. Convolution neural network with edge structure loss for spatiotemporal remote sensing image fusion
CN117576483A (zh) 基于多尺度卷积自编码器的多源数据融合地物分类方法
Zhang et al. Super-resolution method using generative adversarial network for Gaofen wide-field-view images
Meedeniya et al. Prediction of paddy cultivation using deep learning on land cover variation for sustainable agriculture
Yu et al. Spatial Resolution Enhancement for Large-Scale Land Cover Mapping via Weakly Supervised Deep Learning
Khan et al. Crop Type Classification using Multi-temporal Sentinel-2 Satellite Imagery: A Deep Semantic Segmentation Approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination