CN115457356A - 面向地质勘察的遥感图像融合方法、装置、设备及介质 - Google Patents
面向地质勘察的遥感图像融合方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN115457356A CN115457356A CN202210982402.0A CN202210982402A CN115457356A CN 115457356 A CN115457356 A CN 115457356A CN 202210982402 A CN202210982402 A CN 202210982402A CN 115457356 A CN115457356 A CN 115457356A
- Authority
- CN
- China
- Prior art keywords
- remote sensing
- ndvi
- image
- sensing image
- band
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 17
- 230000004927 fusion Effects 0.000 claims abstract description 52
- 238000000034 method Methods 0.000 claims abstract description 45
- 238000000605 extraction Methods 0.000 claims abstract description 29
- 230000003595 spectral effect Effects 0.000 claims abstract description 19
- 238000004364 calculation method Methods 0.000 claims abstract description 8
- 238000004590 computer program Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 9
- 230000004807 localization Effects 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 description 15
- 230000008859 change Effects 0.000 description 10
- 238000012549 training Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 8
- 238000012544 monitoring process Methods 0.000 description 5
- 238000011160 research Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 238000003973 irrigation Methods 0.000 description 1
- 230000002262 irrigation Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000001579 optical reflectometry Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/58—Extraction of image or video features relating to hyperspectral data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Remote Sensing (AREA)
- Astronomy & Astrophysics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种面向地质勘察的遥感图像融合方法、装置、设备及介质，方法包括：计算各遥感图像的NDVI指数；将各遥感图像的NDVI指数加入时空融合模型，并使用2D‑CNN卷积网络中进行特征提取；将提取到的NDVI特征作为引导，对遥感图像的各个单波段图像进行特征提取；将各个单波段图像合并生成多波段的遥感图像。本发明引入NDVI加强多波段遥感图像光谱特征提取能力，缓解光谱信息失真问题，同时在考虑到多光谱图像不同波段间具有差异性的前提下，将计算得到的NDVI特征作为引导，对多波段遥感图像的各单波段图像进行特征提取，以此加强各波段提取时空变化特征的能力，加强空间细节信息的反演能力，缓解空间信息缺失的问题。
Description
技术领域
本发明属于遥感图像融合领域，尤其涉及一种引入NDVI(归一化植被指数)的面向地质勘察的遥感图像融合方法，具体为一种面向地质勘察的遥感图像融合方法、装置、设备及介质。
背景技术
随着遥感图像应用科学研究的广泛和深入，遥感图像已经广泛的应用于城市规划、土地利用调查和环境调查等方面。现今为了能够监测地表景观的变化(如山体滑坡，泥石流和岩溶地面塌陷等地质灾害)，对高时间和高空间分辨率遥感图像的需求越来越大。然而，受到卫星发射预算成本和关键技术的限制，目前仍无法通过单独的卫星同时获得高空间和高时间分辨率的遥感图像数据。
高空间分辨率图像具有更精细的空间细节信息，被广泛用于城市空间信息提取、森林变化监测和山区地形地貌变化监测，但获得这类图像的传感器一方面由于其幅宽较窄、重访周期长，另一方面由于云层覆盖导致地表数据缺乏，导致在实际应用中很难用高空间分辨率图像数据实现全球/大范围内的连续动态监测。另一方面，获得高时间分辨率图像的传感器通常具有较大的幅宽和较短的重访周期，但其较低的空间分辨率难以对土地覆盖变化进行精细化监测。如果能够解决遥感图像在时间和空间上的相互制约问题，获得同时具有高时间分辨率和高空间分辨率的遥感图像，就可以快速地识别和掌握研究区域的地质灾害的分布、数量、规模和引发因子，对地质灾害发生的原因进行详细地分析，进一步识别出易发生地质灾害的地区和地质灾害影响较大的区域，提高遥感数据在公路地质勘查的价值。
目前的时空融合方法主要分为基于权重函数的方法、基于解混的方法和基于深度学习的方法。
在基于权重函数的方法中，Gao等人提出的时空自适应反射率融合模型(STARFM)是最有影响力的。STARFM假设在同一时刻，同一地理范围的反射率的变化在低分辨率图像和高分辨率图像中是一致的，从低分辨率图像像元衍生的变化可以直接线性地应用到高分辨率图像像元进行预测。然而，实际像元往往是不同土地覆盖类型的混合像元，无法满足单个像元是“纯像元”的理想情况，所以STARFM的预测性能受到景观的特征斑块大小的影响。
基于解混的方法使用光谱解混技术来估计高时间低空间分辨率(HTLS)图像像元的选定成分比例，以重建相应的低时间高空间分辨率(LTHS)图像。时空数据融合(STDFA)是基于每个土地覆盖类别的时间变化属性是不变的假设的一种融合模型，为了避免包括分解窗口恒定和传感器差异在内的局限性，Wu等人引入了自适应窗口大小技术和一种改良的时空数据融合方法(MSDFA)来合成每日陆地卫星图像。Zhu等人提出的灵活时空融合方法(FSDAF)结合了基于空间像元解混和时空变化过滤两种算法的思想，并引入了薄板样条(TPS)插值技术来识别特征类型的变化，显著提高了异质地表覆盖变化的图像融合效果。
基于学习的融合模型主要采用两种方式，分别是采用稀疏表示的方法和深度学习的方法。基于稀疏表示的方法主要对在同一天得到的HTLS和LTHS图像对建立特有的关系，并且通过这种相关性去得到一些关键的特征信息，并用于预测图像。尽管这些方法较传统方法可以实现更好的融合效果，但稀疏编码的一些局限性和较高的计算成本以及计算的复杂性导致了它无法成为人们首选方法。深度学习的方法主要通过建立复杂的非线性映射，学习大量的参数，端到端地生成预测目标结果。目前，卷积神经网络(CNN)凭借其强大的学习能力正成为图像特征提取和重构图像的一个轻便且高效的方法。图像融合领域研究者们已经越来越多地转向使用CNN模型。然而，CNN模型在遥感图像时空融合领域的相关研究以及应用仍然是初步的。深度卷积时空融合网络(DCSTFN)利用CNN从高分辨率图像中提取主帧和背景信息，从低分辨率图像中提取高频成分，利用STARFM使用的假设条件，对获得的特征信息综合处理进而融合成最终图像。DCSTFN在很多方面都优于传统的时空融合方法，例如融合图像的精度和鲁棒性。遗憾的是，由于该方法依然依赖于线性假设，导致预测结果会受到参考值的影响，假如参考和预测日期期间发生显著的地面变化，其预测精度会大大降低，所以，它处理土地覆盖变化预测的能力是有限的。StfNet模型主要是在原始像元级别进行操作，对参考日期和预测日期数据之间存在的差异进行学习，StfNet模型可以保留丰富的纹理细节。但是因为StfNet模型存在的特征表达能力弱的原因，导致网络的非线性能力不强。Li等人提出了一种时空融合模型AMNet，其中包含了注意力机制和多尺度机制，该模型从MODIS图像中获得的残余图像被两次减去并直接用于网络训练，用来提高融合的准确性。Tan等人提出的一种增强的深度卷积时空融合网络模型EDCSTFN，该模型预测图像和参考图像之间的关系完全是由网络自主学习所得到的，但是EDCSTFN模型对MODIS图像和Landsat图像采用对称的网络结构进行处理，即采用相同的卷积层进行处理的策略是不够科学的，因为不同种类的图像特征信息重要性是不同的，其对融合效果的影响也是不一样的。使用对称的网络结构可能无法充分提取Landsat图像中的一些重要的高频特征信息，从而导致融合效果变差。以上这些问题应该得到解决或者减轻，以便实现更好的融合效果。
现有遥感图像时空融合技术的不足在于：
(1)光谱信息失真。时空融合方法中时间变化信息主要从低分辨率的图像中提取，如果光谱信息提取能力不足会导致预测的图像出现严重的光谱扭曲现象。
(2)空间信息缺失。时空融合预测的图像必然会受到参考图像的影响，导致融合结果在一定程度上与参考图像相似。如果在参考和预测期间，地表覆盖类型发生重大变化，预测结果可能会与真实图像相差很大。
(3)模型鲁棒性不高。与传统RGB图像相比，遥感图像具有多维光谱通道、数据量大等特点，这就导致了一些模型在不同数据集上性能表现不一致。
发明内容
为克服上述现有技术的不足，本发明提供一种面向地质勘察的遥感图像融合方法、装置、设备及介质，用以解决上述至少一个技术问题。
根据本发明说明书的一方面，提供一种面向地质勘察的遥感图像融合方法，包括：
计算各遥感图像的NDVI指数；
将各遥感图像的NDVI指数加入时空融合模型，并使用2D-CNN卷积网络中进行特征提取；
将提取到的NDVI特征作为引导，对遥感图像的各个单波段图像进行特征提取；
将各个单波段图像合并生成多波段的遥感图像。
作为进一步的技术方案，所述方法还包括：利用各遥感图像的红光波段和近红外波段计算NDVI指数。
作为进一步的技术方案，将计算得到的NDVI指数输入2D-CNN卷积网络中进行特征提取，提取到的特征为FNDVI，如下公式所示：
FNDVI＝w1*f2D(NDVIL0)+w2*f2D(NDVIL0，NDVIM0,NDVIM1)
其中，f2D(·)代表2D卷积操作,w1和w2分别代表两个分支的权重，NDVIL0表示t0时刻Landsat图像的NDVI指数，NDVIM0表示t0时刻MODIS图像的NDVI指数，NDVIM1表示t1时刻MODIS图像的NDVI指数。
作为进一步的技术方案，所述方法还包括：在以NDVI特征作为引导提取遥感图像前一波段的特征后，采用波段特征迭代的方法，将前一波段的特征融入下一波段特征重建的过程。
作为进一步的技术方案，所述方法还包括：在完成各波段特征重建之后，对各个单波段图像进行重建，重建的第一波段图像数据由时间光谱特征融合TSFF模块完成，重建的第二波段图像及之后的单波段图像数据由光谱空间特征融合SSFF模块完成。
作为进一步的技术方案，将重建各波段图像通过concat模块联合起来，重建公式如下：
其中C代表concatenation操作，B表示遥感图像总波段数，LS1 i表示Landsat在t1时刻的第i波段图像。
根据本发明说明书的一方面，提供一种面向地质勘察的遥感图像融合装置，包括：
计算模块，用于计算各遥感图像的NDVI指数；
第一特征提取模块，用于将各遥感图像的NDVI指数加入时空融合模型，并使用2D-CNN卷积网络中进行特征提取；
第二特征提取模块，用于将提取到的NDVI特征作为引导，对遥感图像的各个单波段图像进行特征提取；
波段合并模块，用于将各个单波段图像合并生成多波段的遥感图像。
根据本发明说明书的一方面，提供一种计算机设备，所述计算机设备包括处理器、存储器，以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中所述计算机程序被所述处理器执行时，实现所述的面向地质勘察的遥感图像融合方法的步骤。
根据本发明说明书的一方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其中所述计算机程序被处理器执行时，实现所述的面向地质勘察的遥感图像融合方法的步骤。
与现有技术相比，本发明的有益效果在于：
(1)针对现有的时空融合模型存在光谱信息失真问题，本发明提出了一种新的遥感图像时空融合模型，该模型人为引入NDVI，NDVI通过红光反射率和近红外反射率的线性组合变化得到，在一定程度上削弱背景等因素对植物光谱特征的干扰，因此引入该植被指数特征加强多波段遥感图像光谱特征提取能力，缓解光谱信息失真问题。
(2)针对现有模型存在一定程度空间信息缺失问题，本发明在考虑到多光谱图像不同波段间具有差异性的前提下，将计算得到的NDVI特征作为引导，对多波段遥感图像的各单波段图像进行特征提取，以此加强各波段提取时空变化特征的能力，加强空间细节信息的反演能力，缓解空间信息缺失的问题。
(3)针对现有模型鲁棒性不高问题，本发明在两个公开的数据量较大的数据集上对模型进行验证，通过与其他模型的对比来验证本模型在不同数据集上的表现均较好，鲁棒性较强。
附图说明
图1为根据本发明实施例的面向地质勘察的遥感图像融合方法流程图。
图2为根据本发明实施例的总体网络结构图。
图3为根据本发明实施例的TSFF模块与SSFF模块示意图。
图4为根据本发明实施例的CIA数据集实验结果及对比示意图。
图5为根据本发明实施例的LGC数据集实验结果及对比示意图。
具体实施方式
以下将结合附图对本发明各实施例的技术方案进行清楚、完整的描述，显然，所描述发实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例，都属于本发明所保护的范围。
本发明针对现有遥感图像时空融合存在光谱信息失真、空间信息缺失且模型鲁棒性不高的问题，提出一种面向地质勘察的遥感图像融合方法。该方法主要分为三个部分，首先是计算NDVI指数，将NDVI指数加入模型使用2D-CNN进行特征提取，然后将提取到的NDVI特征作为引导对遥感图像的各个单波段图像进行特征提取。最后将各个单波段图像合并生成多波段的遥感图像，并在两个公开的，数据量较大的数据集上进行验证。
归一化植被指数(NDVI)是常见植被指数中的一种，可作为检测植被生长状态的重要指示因子，目前国内外学者基于MODIS和Landsat等卫星遥感影像利用NDVI指数开展了大量的植被覆盖变化监测及驱动机制研究。NDVI时序数据作为遥感应用中的重要数据源，对土地植被动态变化监测具有重要意义，特别是在地表高程变化显著、气候条件复杂和地质灾害多发的热带山区。为此将NDVI引入模型中进行特征提取，加强卷积网络对地表覆盖时空变化特征的提取，本发明将NDVI特征作为引导，对多波段遥感图像中的各单波段图像进行特征提取，增强单个波段图像空间信息反演能力，提高地质灾害风险性评价与预测的精度和遥感数据在公路地质勘查的价值。
为了缓解光谱信息失真的问题，本发明模型引入NDVI特征，加强卷积网络提取时空变化特征能力，降低光谱失真。
为了减少空间信息缺失，在考虑到多光谱图像波段之间的差异性的前提下，将NDVI特征作为引导，加强多波段遥感图像中的各单波段的特征提取，提高模型空间信息反演能力。
CIA(Coleambally irrigation area)数据集位于澳大利亚新南威尔士州南部Coleambally水稻灌溉区，该数据集包括于2001年10月至2002年5月拍摄的17个无云的Landsat-MODIS图像对，图像大小为3200×2720，每个图像有6个波段。LGC(lower gwydircatchment)数据集水区位于新南威尔士州北部，该数据集包括从2004年4月至2005年4月拍摄到的14个无云的Landsat-MODIS图像对，图像大小为1720×2040，每个图像有6个波段。
为了验证本发明的模型的鲁棒性，使用上述的两个公开的遥感数据集对本发明模型进行验证。这两个公开的数据集图像都具有6个光谱通道，并且图像地表覆盖类型丰富，数据量大。
如附图1-2所示，本发明创造的实施过程包括如下具体步骤：
步骤1：对两个公开数据集图像进行大气校正，数据集中的每个Landsat-MODIS图像对都在25m像素范围进行了校准。实验中选择了Landsat图像的波段1，2，3，4，5和7以及MODIS图像的波段1，2，3，4，6和7进行实验。由于Landsat和MODIS图像之间的波段顺序安排不同，本文调整了MODIS图像的波段顺序以使其与Landsat图像的波段顺序匹配。在保持研究区域一致的前提下，对两个数据集分别进行了裁剪，图像大小均为1600×1600。
步骤2：将步骤1处理之后的图像划分为训练集和测试集。CIA数据集中共17个Landsat和MODIS图像对，每个参考图像对(t0时刻)用来预测与之最接近的未来时刻(t1)的图像，可分为16组数据，使用MDS代表MODIS图像，LS代表Landsat图像，下标0和1分别代表参考和预测时刻。每组数据由两个Landsat-MODIS图像对组成，其中MDS0，LS0和MDS1作为训练，LS1作为目标用来验证。从16组中随机选择12组数据作为训练集，随机选择4组数据作为测试集。LGC数据集中共14个Landsat和MODIS图像对，每个参考图像对(t0时刻)用来预测与之最接近的未来时刻(t1时刻)的图像，可分为13组数据，每组数据由两个Landsat-MODIS图像对组成，其中MDS0，LS0和MDS1作为训练，LS1作为目标用来验证。从13组中随机选择10组数据作为训练集，随机选择3组数据作为测试集。
步骤3：计算各图像NDVI值，NDVIL0表示t0时刻Landsat图像的NDVI指数，NDVIM0表示t0时刻MODIS图像的NDVI指数，NDVIM1表示t1时刻MODIS图像的NDVI指数，计算公式如下：
公式中LS0 i表示Landsat在t0时刻的第i波段图像，MDS0 i如表示MODIS在t0时刻的第i波段图像，MDS1 i表示MODIS在t1时刻的第i波段图像。如附图1所示将计算得到的NDVI值输入2D-CNN卷积网络中进行特征提取提取到的特征为FNDVI，如下公式所示：
FNDVI＝w1*f2D(NDVIL0)+w2*f2D(NDVIL0，NDVIM0，NDVIM1)
其中f2D(·)代表2D卷积操作,w1和w2分别代表两个分支的权重。
步骤4：如附图1所示：将MDS0，LS0和MDS1输入网络模型中，在模型中对其进行拆分，将其拆分为单波段图像。随后将序号相同的单波段图像进行组合，(如将LS0 1，MDS0 1，MDS1 1组合，将LS0 2，MDS0 2，MDS1 2组合，……将LS0 i，MDS0 i，MDS1 i组合)，将各组合中的单波段图像(如LS0 1)输入2D-CNN分支提取空间细节特征，将各组合单波段图像按MDS0，MDS1，LS0的顺序排列(如MDS0 1，MDS1 1，LS0 1)输入2D-CNN分支提取时间变化特征。按照上述方式将各个单波段图像送入双分支网络完成单波段特征提取。为了灵活地调整两分支提取的特征在网络的中的占比，为双分支分别赋予不同的权重w1和w2(大量实验经验表明w1取值0.4，w2取值0.6时实验效果最优)。之后将步骤3得到的NDVI特征作为引导提取遥感图像第一波段的特征F1 1。遥感图像各波段之间空间结构存在相似性，且光谱信息存在一定关联，因此使用了一种波段特征迭代的方法，将之前波段特征融入下一波段特征重建的过程。将F1 1融入第二波段特征提取的过程当中，得到第二波段特征F2。之后各波段图像特征的重建同第二波段的重建类似。各波段重建的特征图像如下公式所示：
其中F1 i表示t1时刻重建的第i波段特征，C代表concatenation操作，f2D(·)代表2D卷积操作，w1和w2分别代表两个分支的权重，B表示遥感图像总波段数。
步骤5：完成步骤4中的各波段特征重建之后，对各个单波段图像进行重建，重建的第一波段图像数据LS1 1由时间光谱特征融合TSFF模块(如附图2中所示，该模块由1x1和3x3卷积层组成)完成，重建的第二波段图像及之后的单波段图像数据这一过程由光谱空间特征融合SSFF模块(如附图2中所示，该模块由1x1和两层3x3卷积层组成)完成，各波段图像重建如以下公式所示：
式中Conv(1×1)(·)，Conv(3×3)(·)分别表示使用1x1和3x3卷积核进行点积操作，C代表concatenation操作。
步骤6：将上述步骤5重建各波段图像通过concat模块联合起来得到LS1，重建公式如下：
其中C代表concatenation操作，B表示遥感图像总波段数。
步骤7：重复上述步骤，完成本发明的时空融合模型在CIA和LGC两个公开数据集训练集上的训练。
步骤8：在完成训练之后，在两个数据集的测试集上分别进行预测，得到的实验结果见附图3和附图4。STARFM，FSDAF，DCSTFN，EDCSTFN，AMnet和HCNNet分别为其他时空融合模型得到的预测结果，NDVI_Net为本发明模型预测得到的结果，Landsat为地表真实观测的图像。通过各个模型预测的结果与Landsat图像相比，可以分析出各模型融合效果(为了便于比较各图像重建效果，在图中对局部区域(矩形框区域)进行了放大处理)。通过在两组数据集和其他时空融合模型得到的实验结果相比，本发明模型预测的图像在保留光谱信息和准确反演地表空间细节信息表现更好，与地表真实的观测数据最为接近，本发明模型在两个数据集上表现均较好，也证明本模型性能稳定，鲁棒性较强，融合得到的图像可以为研究区域地质灾害现状分布、地质灾害风险评估和公路工程地质勘测提供参考资料与依据。
根据本发明说明书的一方面，提供一种面向地质勘察的遥感图像融合装置，包括：
计算模块，用于计算各遥感图像的NDVI指数；
第一特征提取模块，用于将各遥感图像的NDVI指数加入时空融合模型，并使用2D-CNN卷积网络中进行特征提取；
第二特征提取模块，用于将提取到的NDVI特征作为引导，对遥感图像的各个单波段图像进行特征提取；
波段合并模块，用于将各个单波段图像合并生成多波段的遥感图像。
所述计算模块，还用于利用各遥感图像的红光波段和近红外波段计算NDVI指数。
所述第一特征提取模块，用于将计算得到的NDVI指数输入2D-CNN卷积网络中进行特征提取，提取到的特征为FNDVI，如下公式所示：
FNDVI＝w1*f2D(NDVIL0)+w2*f2D(NDVIL0，NDVIM0,NDVIM1)
其中，f2D(·)代表2D卷积操作,w1和w2分别代表两个分支的权重，NDVIL0表示t0时刻Landsat图像的NDVI指数，NDVIM0表示t0时刻MODIS图像的NDVI指数，NDVIM1表示t1时刻MODIS图像的NDVI指数。
所述第二特征提取模块，用于在以NDVI特征作为引导提取遥感图像前一波段的特征后，采用波段特征迭代的方法，将前一波段的特征融入下一波段特征重建的过程。
所述第二特征提取模块，还用于在完成各波段特征重建之后，对各个单波段图像进行重建，重建的第一波段图像数据由时间光谱特征融合TSFF模块完成，重建的第二波段图像及之后的单波段图像数据由光谱空间特征融合SSFF模块完成。
所述波段合并模块，用于将重建各波段图像通过concat模块联合起来，重建公式如下：
其中C代表concatenation操作，B表示遥感图像总波段数，LS1 i表示Landsat在t1时刻的第i波段图像。
本发明所述装置的实施可参照方法来实现。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和各模块及单元的具体工作过程，可以参考前述实施例中的对应过程，在此不再赘述。
根据本发明说明书的一方面，提供一种计算机设备，该计算机设备可以为工控机、服务器或计算机终端。
所述计算机设备包括处理器、存储器，以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中所述计算机程序被所述处理器执行时，实现所述的面向地质勘察的遥感图像融合方法的步骤。
该计算机设备包括通过系统总线连接的处理器、存储器和网络接口，其中，存储器可以包括非易失性存储介质和内存储器。
非易失性存储介质可存储操作系统和计算机程序。该计算机程序包括程序指令，该程序指令被执行时，可使得处理器执行任意一种面向地质勘察的遥感图像融合的方法。
处理器用于提供计算和控制能力，支撑整个计算机设备的运行。
内存储器为非易失性存储介质中的计算机程序的运行提供环境，该计算机程序被处理器执行时，可使得处理器执行任意一种面向地质勘察的遥感图像融合的方法。
该网络接口用于进行网络通信，如发送分配的任务等。
应当理解的是，处理器可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
其中，在一个实施例中，所述处理器用于运行存储在存储器中的计算机程序，以实现如下步骤：
计算各遥感图像的NDVI指数；
将各遥感图像的NDVI指数加入时空融合模型，并使用2D-CNN卷积网络中进行特征提取；
将提取到的NDVI特征作为引导，对遥感图像的各个单波段图像进行特征提取；
将各个单波段图像合并生成多波段的遥感图像。
根据本发明说明书的一方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其中所述计算机程序被处理器执行时，实现所述的面向地质勘察的遥感图像融合方法的步骤。
其中，所述计算机可读存储介质可以是前述实施例所述的计算机设备的内部存储单元，例如所述计算机设备的硬盘或内存。所述计算机可读存储介质也可以是所述计算机设备的外部存储设备，例如所述计算机设备上配备的插接式硬盘，智能存储卡(SmartMediaCard，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案。
Claims (9)
1.面向地质勘察的遥感图像融合方法，其特征在于，包括：
计算各遥感图像的NDVI指数；
将各遥感图像的NDVI指数加入时空融合模型，并使用2D-CNN卷积网络中进行特征提取；
将提取到的NDVI特征作为引导，对遥感图像的各个单波段图像进行特征提取；
将各个单波段图像合并生成多波段的遥感图像。
2.根据权利要求1所述面向地质勘察的遥感图像融合方法，其特征在于，所述方法还包括：利用各遥感图像的红光波段和近红外波段计算NDVI指数。
3.根据权利要求1所述面向地质勘察的遥感图像融合方法，其特征在于，将计算得到的NDVI指数输入2D-CNN卷积网络中进行特征提取，提取到的特征为FNDVI，如下公式所示：
FNDVI＝w1*f2D(NDVIL0)+w2*f2D(NDVIL0，NDVIM0，NDVIM1)
其中，f2D(·)代表2D卷积操作,w1和w2分别代表两个分支的权重，NDVIL0表示t0时刻Landsat图像的NDVI指数，NDVIM0表示t0时刻MODIS图像的NDVI指数，NDVIM1表示t1时刻MODIS图像的NDVI指数。
4.根据权利要求1所述面向地质勘察的遥感图像融合方法，其特征在于，所述方法还包括：在以NDVI特征作为引导提取遥感图像前一波段的特征后，采用波段特征迭代的方法，将前一波段的特征融入下一波段特征重建的过程。
5.根据权利要求1所述面向地质勘察的遥感图像融合方法，其特征在于，所述方法还包括：在完成各波段特征重建之后，对各个单波段图像进行重建，重建的第一波段图像数据由时间光谱特征融合TSFF模块完成，重建的第二波段图像及之后的单波段图像数据由光谱空间特征融合SSFF模块完成。
6.根据权利要求1所述面向地质勘察的遥感图像融合方法，其特征在于，将重建各波段图像通过concat模块联合起来，重建公式如下：
其中C代表concatenation操作，B表示遥感图像总波段数，LS1 i表示Landsat在t1时刻的第i波段图像。
7.面向地质勘察的遥感图像融合装置，其特征在于，包括：
计算模块，用于计算各遥感图像的NDVI指数；
第一特征提取模块，用于将各遥感图像的NDVI指数加入时空融合模型，并使用2D-CNN卷积网络中进行特征提取；
第二特征提取模块，用于将提取到的NDVI特征作为引导，对遥感图像的各个单波段图像进行特征提取；
波段合并模块，用于将各个单波段图像合并生成多波段的遥感图像。
8.一种计算机设备，其特征在于，所述计算机设备包括处理器、存储器，以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中所述计算机程序被所述处理器执行时，实现如权利要求1至6中任一项所述的面向地质勘察的遥感图像融合方法的步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，其中所述计算机程序被处理器执行时，实现如权利要求1至6中任一项所述的面向地质勘察的遥感图像融合方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210982402.0A CN115457356A (zh) | 2022-08-16 | 2022-08-16 | 面向地质勘察的遥感图像融合方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210982402.0A CN115457356A (zh) | 2022-08-16 | 2022-08-16 | 面向地质勘察的遥感图像融合方法、装置、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115457356A true CN115457356A (zh) | 2022-12-09 |
Family
ID=84297760
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210982402.0A Pending CN115457356A (zh) | 2022-08-16 | 2022-08-16 | 面向地质勘察的遥感图像融合方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115457356A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111259828A (zh) * | 2020-01-20 | 2020-06-09 | 河海大学 | 基于高分辨率遥感图像多特征的识别方法 |
| US20200285914A1 (en) * | 2019-03-05 | 2020-09-10 | International Business Machines Corporation | Multi-level deep feature and multi-matcher fusion for improved image recognition |
| US20210118097A1 (en) * | 2018-02-09 | 2021-04-22 | The Board Of Trustees Of The University Of Illinois | A system and method to fuse multiple sources of optical data to generate a high-resolution, frequent and cloud-/gap-free surface reflectance product |
| CN113205014A (zh) * | 2021-04-20 | 2021-08-03 | 武汉大学 | 一种基于图像锐化的时序数据耕地提取方法 |
| CN113887619A (zh) * | 2021-09-30 | 2022-01-04 | 山东农业大学 | 一种基于知识引导的遥感影像融合方法 |
| CN114529830A (zh) * | 2022-01-19 | 2022-05-24 | 重庆邮电大学 | 基于混合卷积网络遥感图像时空融合方法 |
-
2022
- 2022-08-16 CN CN202210982402.0A patent/CN115457356A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210118097A1 (en) * | 2018-02-09 | 2021-04-22 | The Board Of Trustees Of The University Of Illinois | A system and method to fuse multiple sources of optical data to generate a high-resolution, frequent and cloud-/gap-free surface reflectance product |
| US20200285914A1 (en) * | 2019-03-05 | 2020-09-10 | International Business Machines Corporation | Multi-level deep feature and multi-matcher fusion for improved image recognition |
| CN111259828A (zh) * | 2020-01-20 | 2020-06-09 | 河海大学 | 基于高分辨率遥感图像多特征的识别方法 |
| CN113205014A (zh) * | 2021-04-20 | 2021-08-03 | 武汉大学 | 一种基于图像锐化的时序数据耕地提取方法 |
| CN113887619A (zh) * | 2021-09-30 | 2022-01-04 | 山东农业大学 | 一种基于知识引导的遥感影像融合方法 |
| CN114529830A (zh) * | 2022-01-19 | 2022-05-24 | 重庆邮电大学 | 基于混合卷积网络遥感图像时空融合方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | GTP-PNet: A residual learning network based on gradient transformation prior for pansharpening | |
| Ji et al. | Nonlocal tensor completion for multitemporal remotely sensed images’ inpainting | |
| Chen et al. | Multiscale feature learning by transformer for building extraction from satellite images | |
| Fu et al. | Bidirectional 3D quasi-recurrent neural network for hyperspectral image super-resolution | |
| Wu et al. | An error-bound-regularized sparse coding for spatiotemporal reflectance fusion | |
| Shi et al. | A reliable and adaptive spatiotemporal data fusion method for blending multi-spatiotemporal-resolution satellite images | |
| CN110991430B (zh) | 基于遥感图像的地物识别及覆盖率计算方法及系统 | |
| CN114494821B (zh) | 基于特征多尺度感知与自适应聚合的遥感影像云检测方法 | |
| Wang et al. | MCT-Net: Multi-hierarchical cross transformer for hyperspectral and multispectral image fusion | |
| Ge et al. | Improved semisupervised unet deep learning model for forest height mapping with satellite sar and optical data | |
| Wang et al. | Remote sensing image gap filling based on spatial-spectral random forests | |
| Fu et al. | Fusion of hyperspectral and multispectral images accounting for localized inter-image changes | |
| Benbahria et al. | Intelligent mapping of irrigated areas from Landsat 8 images using transfer learning | |
| CN114529830A (zh) | 基于混合卷积网络遥感图像时空融合方法 | |
| Shen et al. | AFFNet: attention mechanism network based on fusion feature for image cloud removal | |
| Shi et al. | Deep generative model for spatial–spectral unmixing with multiple endmember priors | |
| Long et al. | Dual self-attention Swin transformer for hyperspectral image super-resolution | |
| Jiang et al. | Unmixing-based spatiotemporal image fusion accounting for complex land cover changes | |
| Mukherjee et al. | Downscaling MODIS spectral bands using deep learning | |
| CN115240066A (zh) | 基于深度学习的遥感影像矿区复绿监测方法及系统 | |
| Zhang et al. | Two-step ResUp&Down generative adversarial network to reconstruct multispectral image from aerial RGB image | |
| Liu et al. | SI-SA GAN: A generative adversarial network combined with spatial information and self-attention for removing thin cloud in optical remote sensing images | |
| CN116883679B (zh) | 基于深度学习的地物目标提取方法和装置 | |
| Voelsen et al. | Investigating 2D and 3D convolutions for multitemporal land cover classification using remote sensing images | |
| CN115457356A (zh) | 面向地质勘察的遥感图像融合方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |