CN111932457A - 遥感影像高时空融合处理算法及装置 - Google Patents
遥感影像高时空融合处理算法及装置 Download PDFInfo
- Publication number
- CN111932457A CN111932457A CN202010786064.4A CN202010786064A CN111932457A CN 111932457 A CN111932457 A CN 111932457A CN 202010786064 A CN202010786064 A CN 202010786064A CN 111932457 A CN111932457 A CN 111932457A
- Authority
- CN
- China
- Prior art keywords
- remote sensing
- image
- sensing image
- resolution
- spatial resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 50
- 238000007499 fusion processing Methods 0.000 title claims abstract description 30
- 238000000034 method Methods 0.000 claims abstract description 156
- 230000004927 fusion Effects 0.000 claims abstract description 100
- 238000012952 Resampling Methods 0.000 claims abstract description 28
- 238000005070 sampling Methods 0.000 claims abstract description 18
- 230000015654 memory Effects 0.000 claims description 68
- 238000013507 mapping Methods 0.000 claims description 27
- 238000012545 processing Methods 0.000 claims description 22
- 230000003595 spectral effect Effects 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000003860 storage Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 abstract description 29
- 238000013135 deep learning Methods 0.000 description 26
- 238000007500 overflow downdraw method Methods 0.000 description 25
- 230000008859 change Effects 0.000 description 16
- 230000000694 effects Effects 0.000 description 16
- 238000005516 engineering process Methods 0.000 description 15
- 238000013528 artificial neural network Methods 0.000 description 14
- 238000004364 calculation method Methods 0.000 description 14
- 238000011156 evaluation Methods 0.000 description 14
- 238000000605 extraction Methods 0.000 description 14
- 230000006872 improvement Effects 0.000 description 13
- 238000012544 monitoring process Methods 0.000 description 13
- 238000012549 training Methods 0.000 description 13
- 238000002310 reflectometry Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 238000002474 experimental method Methods 0.000 description 8
- 238000002156 mixing Methods 0.000 description 8
- 230000009466 transformation Effects 0.000 description 8
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 238000011160 research Methods 0.000 description 6
- 230000002123 temporal effect Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 238000000354 decomposition reaction Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000001965 increasing effect Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000004576 sand Substances 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 241000272168 Laridae Species 0.000 description 1
- CDBYLPFSWZWCQE-UHFFFAOYSA-L Sodium Carbonate Chemical compound [Na+].[Na+].[O-]C([O-])=O CDBYLPFSWZWCQE-UHFFFAOYSA-L 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000009395 breeding Methods 0.000 description 1
- 230000001488 breeding effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000001704 evaporation Methods 0.000 description 1
- 230000008020 evaporation Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000036314 physical performance Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012847 principal component analysis method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种遥感影像高时空融合处理算法、装置，获取低空间高时间的第一遥感影像和高空间低时间的第二遥感影像；对第一遥感影像进行重采样得到第三遥感影像；对第二遥感影像进行降采样得到第四遥感影像；将第三遥感影像和第四遥感影像输入至SRCNN网络，得到具有中间空间分辨率的第一重建影像；对第一重建影像进行重采样得到具有第二空间分辨率的第一重建影像；将具有第二空间分辨率的第一重建影像和第二遥感影像输入至SRCNN网络得到第二重建影像，将第二重建影像输入至时空融合模型得到高空间高时间的遥感影像。解决了现有技术中，将遥感影像进行时空融合得到高时空分辨率特征数据的过程融合算法复杂度高，融合质量低，运算效率低的问题。
Description
技术领域
本发明涉及图像处理和模式识别技术领域，具体涉及一种遥感影像高时空融合处理算法、装置、电子设备及计算机可读存储介质。
背景技术
光学遥感影像因其具有丰富的地物光谱特征、数据多样性以及便于获取和处理分析等特性，在植被变化监测、地表温度监测、农作物生长监测、洪水监测等方面得到了应用。目前，大范围植被变化监测、地表温度监测、农作物生长监测、洪水监测主要采用中分辨率成像光谱仪(Moderate-resolution Imaging Spectroradiometer，简称为MODIS)等低空间分辨率遥感影像，尽管低空间分辨率影像在大范围监测中发挥了重要作用，但其空间分辨率低以及存在大量混合像元，使得基于低空间分辨率影像数据的提取精度难以满足小区域尺度上的需求，特别是城市地表植被变化监测、温度监测、洪水监测等方面的需求。而中高空间分辨率卫星(如Landsat)因其重访周期以及天气的影响，在植被、温度、农作物生长变化，以及洪水发生后难以获取数据，在实际监测中的应用受到了限制。因此，如何同时获取高时间和高空间分辨率遥感影像是解决这一问题的关键所在。
受限于卫星传感器的硬件条件与发射成本，其获取的单一遥感影像在空间分辨率和时间分辨率上并不能兼而有之，制约了遥感影像的应用。另外，早期一些搭载传感器的卫星发射升空后，已获取了海量数据。然而受限于当时的技术与条件，所获得的这些遥感影像在时空分辨率之间不得不做出更多的取舍，难以直接利用这些影像。
遥感影像时空融合技术是将高空间－低时间分辨率数据与低空间－高时间分辨率数据进行融合，从而获取具有高时空分辨率特征数据的一种方法。利用遥感影像时空融合算法来获取高时空分辨率的遥感影像，有利于解决遥感影像时空分辨率之间的矛盾，不仅可以丰富现有遥感影像的应用领域与价值，还可以提高对海量遥感历史数据的利用效率。遥感时空融合技术能够在低成本条件下实现应用领域对遥感影像数据时间分辨率和空间分辨率的巨大需求，通过数据融合预测方法丰富影像的时间维与空间维信息。遥感时空融合技术大致可分类为三类：基于变换模型的融合方法、基于重建模型的融合方法，以及基于学习模型的融合方法。
基于变换模型的融合方法是最早实现的遥感时空数据融合方法。Malenovsky等人首次通过实验证明了MODIS(250m，500m)和Landsat TM(30m)影像时空融合的可行性，基于变换的融合方法是指对遥感影像进行数据变换(如小波分解等)后，对变换所得数据进行融合处理，再进行反变换，从而得到未知时刻高分辨率影像。通过小波变换方式，借鉴空间分辨率与光谱分辨率的融合方法，对分别采样到480m分辨率的MODIS影像低频信息和240m分辨率的Landsat影像高频信息进行时空融合，生成的预测影像在保留MODIS影像整体特征的情况下，同时具有Landsat数据的细节效果，该方法提高了MODIS系列影像的空间分辨率。但该方法提高空间分辨率只达到了240m，而且在融合时使用的Landsat数据为上一个时相数据，导致在一些发生了地表变化的区域，最终结果相比真实数据差距比较大。该方法所得融合结果的分辨率较低，而且在发生变化的区域融合效果较差。
Shevyrnogov等人在时空融合时进行主成分变换，利用主成分分析方法得到多光谱扫描仪(Mulri Spectral Scanner，简称为MSS)数据的第一主成分分量，提取亮度分量，通过融合MSS传感器亮度分量数据和NOAA传感器植被覆盖指数数据，得到高时空分辨率的植被覆盖指数数据。
基于重建模型进行融合时，假设通过对高分辨率像元进行线性组合可以得到低分辨率像元值。Zhukov等人在进行时空融合时，基于中心像元只与周围像元相关的假设率先通过引入滑动窗口的方法保证了同质像元空间变化的连续性。Maselli在此基础上，根据周围像元到中心像元的距离越小越容易影响目标像元的假设，加入了对像元空间可变性的考虑，使用欧式距离表示其相关性。Busetto等人根据到中心像元的光谱距离，对窗口内的周边像元进行筛选，从而剔除了离中心像元近但光谱差异大的异质像元，该融合算法的结果能够较好地处理具有空间连续性的同类地物发生变化的情景，但如果两时相间的变化情景为春冬时节作物的成长状况时，融合后的植被覆盖指数会存在偏差。Zurita Milla等人基于面向对象的思想，对低分辨和高分辨数据进行影像分割，得到对象分类图，利用滑动窗口技术进行混合像元分解，从而实现对高时空数据的融合预测，但其最终效果并不理想。基于重建模型的融合方法主要是将低空间分辨率影像进行像元分解，计算不同时相遥感影像的变化关系，同时还需求出不同分辨率影像间的变化关系，利用插值得到未知时刻的高空间分辨率影像。该方法在地物覆盖复杂、混合像元严重时往往精度较差。
Gao等人提出的时空自适应融合模型(Spatial and Temporal AdaptiveReflectance Fusion Model，简称为STARFM)是目前最实用、应用最广泛的遥感时空数据融合方法。该方法融合了重访周期为16天具有30m空间分辨率的Landsat ETM+数据，以及重访周期为0.5天具有500m空间分辨率的MODIS影像。在不考虑大气等误差的情形下，根据基于重建模型进行假设的基本思想，利用滑动窗口提取中心像元邻域信息，搜索其周围的相似像元，通过综合考虑像元在空间距离、光谱距离、时间距离上的差异，利用权值矩阵体现由低分辨率数据到高分辨率数据的映射关系，从而计算出中心像元的反射率。融合数据兼具了MODIS的高动态时相特性与Landsat对空间细节的描述能力，在一定程度上适应作物在不同季节间的变化信息，体现了良好的一致性和连续性。
尽管STARFM融合模型能够获得较好的融合效果，但是在融合结果中该方法会出现一些斑块效应以及对异质地物变化不敏感。Hilker等人针对这一问题设计了一种时空自适应反射率变化映射算法(Spatial Temporal Adaptive Algorithm for mappingReflectance Change，简称为STARRCH)，该算法对多组MODIS和Landsat影像进行选择，挑选其中最优一组进行STARFM融合，以此来改善融合质量。Zhu等人为了解决STARFM方法在混合像元严重区域融合时所得效果欠佳的问题，受混合像元分解的启发设计了一种增强型时空自适应反射率融合模型(Enhanced Spatial and Temporal Adaptive ReflectanceFusion Model，简称为ESTARFM)，通过增加滑动窗口像元在不同时相间变化趋势的方法，改善了STARFM融合模型在处理复杂地物时的融合精度。
基于学习模型的融合方法源于机器学习技术的蓬勃发展，稀疏表示与超分辨率重建技术是在遥感时空融合中用的比较多的基于学习模型的融合方法。Yang等人对高低分辨率影像进行联合训练，产生各自对应的字典，通过相对应的字典寻找高低分辨率之间的相似性，利用这种相似性增强低分辨率影像的分辨率。Zeyde等人在Yang方法思想的基础上，对低分辨率数据采用K-SVD训练得到相应字典，利用低分辨率字典与相应的高分辨率数据，计算得到高分辨率字典，提高了低分辨率数据的分辨率。该方法在训练时每次只对一幅影像使用K-SVD算法进行操作，降低了算法的复杂度，提高了算法的运行效率。
Song和Huang受Zeyde方法的启发，设计了一种基于稀疏表示超分辨率重建的基于学习模型的融合方法。该方法利用稀疏表示对低分辨率数据进行超分辨率重建，使其具有与高分辨率数据相同的分辨率，将重建后的低分辨率数据与原始高分辨率数据进行高通滤波后进行STARFM融合。该方法进行了超分辨率重建和STARFM两次时空融合，对高、低分辨率数据在不同时相上的变化信息进行了充分计算，对各种类型的地表变化信息都能较好地融合预测。目前，基于学习模型的融合方法还处于发展阶段，使用浅层学习的较多，采用深度学习的算法通常复杂度较高，运行效率低，较难实现大区域的融合，而且在空间分辨率上不宜相差过大，一般在4倍左右。
Gao等提出的STARFM方法是遥感影像时空融合领域应用最为广泛的一种方法。该方法在忽略几何误差和大气校正误差的情况下，假设低空间分辨率(如MODIS)像元的反射率可以表示为高空间分辨率(如Landsat)对应像元反射率的线性组合。如果提高MODIS影像的空间分辨率使其和Landsat数据具有相同的空间分辨率，则原低空间分辨率像元与高空间分辨率对应位置像元存在如下关系：
M(x,y,t)＝L(x,y,t)+ε (1)
M(x,y,t)、L(x,y,t)分别表示t时刻MODIS影像与Landsat影像在坐标为(x,y)处像元的反射率，ε表示不同分辨率影像由于传感器不同等所造成的系统误差。假设该ε不随时间变化，若已有t0和tk时刻的MODIS影像，以及t0时刻的Landsat影像，则未知tk时刻的Landsat影像可由公式(2)求得。
L(x,y,tk)＝L(x,y,t0)+M(x,y,tk)-M(x,y,t0) (2)
STARFM方法为避免假设所带来的像元混合现象，通过滑动窗口技术引入了邻近像元信息，即：
w是滑动窗口大小，Wi,j,k为联合权重矩阵。在STARFM方法中，需要对上述滑动窗口中的相似像元进行搜索，排除劣质像元，只有筛选得到的像元才配置非零权重。相似像元搜索方法如公式(4)所示。
f(xi,yj)是第i个波段搜索相似像元时的候选像元，f(xw/2,yw/2)为滑动窗口中心像元，Lstdev为输入的Landsat数据标准差，m是预先估计的地物类别总数。进行相似像元搜索后，需要排除劣质像元，以进一步提高相似精度。排除劣质像元的方法如公式(5)、(6)所示。
Si,j,k<|L(xw/2,yw/2,t0)-M(xw/2,yw/2,t0)|±δLM(5)
Ti,j,k<|M(xw/2,yw/2,tk)-M(xw/2,yw/2,t0)|±δMM(6)
δL、δM分别为Landsat、MODIS影像的标准差，
为同一时相Landsat、MODIS影像之间的标准差，
为不同时相MODIS影像之间的标准差，Si,j,k、Ti,j,k分别为从候选像元到中心像元的时间距离和光谱距离，计算公式分别为公式(7)、(8)。对筛选后相似像元配置权重时，需要综合考虑像元间的光谱距离Si,j,k、时间距离Ti,j,k，以及空间距离Di,j,k等，计算公式分别如下。
Si,j,k＝|L(xi,yj,tk)-M(xi,yj,tk)| (7)
Ti,j,k＝|M(xi,yj,t0)-M(xi,yj,tk)| (8)
Di,i,k＝1.0+di,j,k/A (10)
A是一个常量，定义了Si,j,k、Ti,j,k与Di,j,k之间重要程度的比例。该相似像元的权重wi,j,k计算公式为公式(11)或者(12)。
wi,j,k＝Si,j,k×Ti,j,k×Di,j,k (11)
wi，j，k＝ln(Si，j，k×B+1)×ln(Ti，j，k×B+1)×Di，j，k (12)
B是取决于传感器分辨率间差距的比例因子。求出滑动窗口内所有筛选后相似像元权重wi,j,k，对其进行归一化处理，即可求得联合权重矩阵Wi,j,k，预测未知时刻高分辨率遥感影像像素的分辨率。
STARFMF方法的技术路线如图1所示，将低分辨率数据重采样至高分辨率，构建滑动窗口筛选数据对间的相似像元，分别计算距离因子、时间因子和光谱因子，求得联合权重，移动滑动窗口，求得整幅未知时刻的高分辨率数据。
由于MODIS和Landsat影像间分辨率差距过大，在重采样过程中混合像元严重，制约了STARFM方法预测的准确率。
STARFM方法在引入滑动窗口技术时，权重的计算取决于光谱距离、时间距离和空间距离的组合，可视为一种根据专家经验知识提取的手工特征。
随着机器学习的蓬勃发展，基于学习模型的融合方法应运而生。例如Huang等人提出了一种利用稀疏表示对低空间分辨率影像进行超分辨率重建，再对数据进行高通滤波后融合的方法，融合效果良好。但基于学习模型的融合方法使用浅层学习较多，通常复杂度较高，运行效率低，较难实现大区域的融合，而且在空间分辨率上不宜相差过大，一般在4倍左右。
同时，遥感影像数据量大，遥感影像时空融合算法复杂度高，使用CPU串行计算效率低、耗时长。因此，通过遥感影像时空融合算法获取海量时序的高时空分辨率遥感影像非常困难。
针对现有技术中，将遥感影像进行时空融合得到高时空分辨率特征数据的过程，融合算法复杂度高，融合质量低，运算效率低的问题，还未提出有效的解决方案。
发明内容
有鉴于此，本发明实施例提供了一种遥感影像高时空融合处理算法、装置、电子设备及计算机可读存储介质，以解决现有技术中，将遥感影像进行时空融合得到高时空分辨率特征数据的过程，融合算法复杂度高，融合质量低，运算效率低的问题。
为此，本发明实施例提供了如下技术方案：
本发明第一方面，提供了一种遥感影像高时空融合处理算法，包括：
获取低空间高时间的第一遥感影像和高空间低时间的第二遥感影像；所述第一遥感影像的空间分辨率为第一空间分辨率，所述第一遥感影像的周期为第一周期，所述第二遥感影像的空间分辨率为第二空间分辨率，所述第二遥感影像的周期为第二周期；
对所述第一遥感影像进行重采样处理得到第三遥感影像；其中，所述第三遥感影像的空间分辨率大于所述第一遥感影像的空间分辨率；
对所述第二遥感影像进行降采样处理得到第四遥感影像；其中，所述第四遥感影像空间分辨率小于所述第二遥感影像的空间分辨率，所述第四遥感影像空间分辨率等于所述第三遥感影像空间分辨率；
将所述第三遥感影像和所述第四遥感影像输入至SRCNN网络，得到具有中间空间分辨率的第一重建影像；其中所述中间空间分辨率为所述第三遥感影像和所述第四遥感影像具有的同样空间分辨率；
对所述第一重建影像进行重采样处理得到具有所述第二空间分辨率的第一重建影像；
将具有所述第二空间分辨率的第一重建影像和所述第二遥感影像输入至SRCNN网络得到第二重建影像；
将所述第二重建影像输入至时空融合模型得到高空间高时间的遥感影像；其中，所述高空间高时间的遥感影像具有所述第一周期和所述第二空间分辨率。
可选地，包括：所述第一遥感影像为MODIS影像；所述第二遥感影像为Landsat8影像。
可选地，将所述第二重建影像输入至时空融合模型得到高空间高时间的遥感影像还包括：
获取第一时刻的第二重建影像和第二时刻的第二重建影像，以及第一时刻的第二遥感影像；其中，将所述第二重建影像作为低分辨率影像，将所述第二遥感影像作为高分辨率影像；
根据所述第一时刻的第二重建影像和所述第二时刻的第二重建影像，以及所述第一时刻的第二遥感影像在预定滑动窗口内搜索相似像元；
获取所述相似像元与中心像元之间的光谱距离、时间距离和空间距离；
根据所述光谱距离、时间距离和空间距离配置所述相似像元的权重；
对多个相似像元的权重的进行归一化处理，得到联合权重矩阵；
根据所述联合权重矩阵预测第二时刻的第二遥感影像；将所述第二时刻的第二遥感影像作为所述高空间高时间的遥感影像。
可选地，所述方法还包括：
通过如下公式计算PSNR和SSIM：
和/或，
其中，f1表示未经超分辨率重建的原影像，f2表示经过超分辨率重建的重建影像，MSE(f1,f2)表示所述未经超分辨率重建的原影像与所述经过超分辨率重建的重建影像之间的均方误差，μ1、σ1分别表示所述未经超分辨率重建的原影像的均值、方差，μ2、σ2分别表示所述经过超分辨率重建的重建影像的均值、方差，σ12表示所述未经超分辨率重建的原影像与所述经过超分辨率重建的重建影像之间的协方差，C1、C2是用来维持稳定的常数。
可选地，所述SRCNN网络中线程执行程序之前，将卷积核参数由全局存储器预加载至共享存储器，第一预定块内的线程执行程序时从所述共享存储器读取卷积核参数。
可选地，所述SRCNN网络中线程执行程序之前，将相关影像区域由全局存储器预加载至共享存储器，第二预定块内的线程执行程序时从所述共享存储器读取所述相关影像区域；其中，所述相关影像区域包括所述第二预定块内所有线程均涉及的影像区域。
可选地，所述SRCNN网络中将卷积层和非线性映射层进行合并，由同一线程进行卷积操作和非线性映射操作。
本发明第二方面，提供了一种遥感影像高时空融合处理装置，包括：
获取模块，用于获取低空间高时间的第一遥感影像和高空间低时间的第二遥感影像；所述第一遥感影像的空间分辨率为第一空间分辨率，所述第一遥感影像的周期为第一周期，所述第二遥感影像的空间分辨率为第二空间分辨率，所述第二遥感影像的周期为第二周期；
第一重采样模块，用于对所述第一遥感影像进行重采样处理得到第三遥感影像；其中，所述第三遥感影像的空间分辨率大于所述第一遥感影像的空间分辨率；
降采样模块，用于对所述第二遥感影像进行降采样处理得到第四遥感影像；其中，所述第四遥感影像空间分辨率小于所述第二遥感影像的空间分辨率，所述第四遥感影像空间分辨率等于所述第三遥感影像空间分辨率；
第一输入模块，用于将所述第三遥感影像和所述第四遥感影像输入至SRCNN网络，得到具有中间空间分辨率的第一重建影像；其中所述中间空间分辨率为所述第三遥感影像和所述第四遥感影像具有的同样空间分辨率；
第二重采样模块，用于对所述第一重建影像进行重采样处理得到具有所述第二空间分辨率的第一重建影像；
第二输入模块，用于将具有所述第二空间分辨率的第一重建影像和所述第二遥感影像输入至SRCNN网络得到第二重建影像；其中，所述第二重建影像具有所述第一周期和所述第二空间分辨率；
第三输入模块，用于将所述第二重建影像输入至时空融合模型得到高空间高时间的遥感影像；其中，所述高空间高时间的遥感影像具有所述第一周期和所述第二空间分辨率。
本发明第三方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述第一方面中任一所述的遥感影像高时空融合处理算法。
本发明第四方面，提供了一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述第一方面中任一所述的遥感影像高时空融合处理算法。
本发明实施例技术方案，具有如下优点：
本发明实施例提供了一种遥感影像高时空融合处理算法、装置、电子设备及计算机可读存储介质，其中，该遥感高时空融合处理算法包括：获取低空间高时间的第一遥感影像和高空间低时间的第二遥感影像；第一遥感影像的空间分辨率为第一空间分辨率，第一遥感影像的周期为第一周期，第二遥感影像的空间分辨率为第二空间分辨率，第二遥感影像的周期为第二周期；对第一遥感影像进行重采样处理得到第三遥感影像；其中，第三遥感影像的空间分辨率大于第一遥感影像的空间分辨率；对第二遥感影像进行降采样处理得到第四遥感影像；其中，第四遥感影像空间分辨率小于第二遥感影像的空间分辨率，第四遥感影像空间分辨率等于第三遥感影像空间分辨率；将第三遥感影像和第四遥感影像输入至SRCNN网络，得到具有中间空间分辨率的第一重建影像；其中中间空间分辨率为所述第三遥感影像和所述第四遥感影像具有的同样空间分辨率；对第一重建影像进行重采样处理得到具有第二空间分辨率的第一重建影像；将具有第二空间分辨率的第一重建影像和第二遥感影像输入至SRCNN网络得到第二重建影像；将第二重建影像输入至时空融合模型得到高空间高时间的遥感影像；其中，高空间高时间的遥感影像具有上述第一周期和上述第二空间分辨率。解决了现有技术中，将遥感影像进行时空融合得到高时空分辨率特征数据的过程，融合算法复杂度高，融合质量低，运算效率低的问题。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是使用STARFM技术获取整幅未知时刻的高分辨率数据流程图；
图2是根据本发明实施例的遥感高时空融合方法的流程图；
图3是根据本发明实施例的超分辨率重建方法流程图；
图4是不同传感器采样至90m分辨率的遥感影像对比图；
图5是CUDA内存模型示意图；
图6是核函数共享示意图；
图7是影像块读取改进示意图；
图8是不同传感器遥感影像对比图；
图9是Landsat8真彩色遥感影像图；
图10是不同方法重建得到的90m分辨率的实验结果示意图；
图11是根据本发明实施例的通过二次学习进行超分辨率重建得到的实验结果与实验原始数据对比图；
图12是三种时空融合方法的结果对比图；
图13是根据本发明实施例的遥感高时空融合装置的结构框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本申请中，“示例性”一词用来表示“用作例子、例证或说明”。本申请中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本申请，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本申请。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本申请的描述变得晦涩。因此，本申请并非旨在限于所示的实施例，而是与符合本申请所公开的原理和特征的最广范围相一致。
根据本发明实施例，提供了一种遥感高时空融合方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
针对遥感影像的“时空矛盾”，以及遥感影像时空融合算法复杂度高，在本实施例中提供了一种遥感高时空融合方法，可用于电子设备，图2是根据本发明实施例的遥感高时空融合方法的流程图，如图2所示，该流程包括如下步骤：
步骤S201，获取低空间高时间的第一遥感影像和高空间低时间的第二遥感影像；第一遥感影像的空间分辨率为第一空间分辨率，第一遥感影像的周期为第一周期，第二遥感影像的空间分辨率为第二空间分辨率，第二遥感影像的周期为第二周期。具体地，低空间高时间的第一遥感影像为MODIS影像，高空间低时间的第二遥感影像为Landsat8影像。具体地，MODIS影像为具有250m空间分辨率的MOD09Q1遥感影像，Landsat8影像为具有30m空间分辨率的Landsat8遥感影像。
步骤S202，对第一遥感影像进行重采样处理得到第三遥感影像；其中，第三遥感影像的空间分辨率大于第一遥感影像的空间分辨率。
步骤S203，对第二遥感影像进行降采样处理得到第四遥感影像；其中，第四遥感影像空间分辨率小于第二遥感影像的空间分辨率，第四遥感影像空间分辨率等于第三遥感影像空间分辨率。
具体地，将MODIS影像进行采样得到具有第三空间分辨率的MODIS影像，并将Landsat8影像进行采样得到具有第三空间分辨率的Landsat8影像。具体地，将具有30m空间分辨率的Landsat8遥感影像使用最近邻法降采样到90m分辨率(即第三空间分辨率)，同时将具有250m空间分辨率的MOD09Q1遥感影像使用双三次插值法重采样到90m分辨率(即第三空间分辨率)。经过采样后的遥感影像虽然形式上具有了相同分辨率，但在空间细节上仍差距较大。
步骤S204，将第三遥感影像和第四遥感影像输入至SRCNN网络，得到具有中间空间分辨率的第一重建影像；其中中间空间分辨率为所述第三遥感影像和所述第四遥感影像具有的同样空间分辨率。具体地，采用SRCNN对采样后的两组数据进行第一次学习，得到90m分辨率(即第三空间分辨率)MOD09Q1重建影像。
步骤S205，对第一重建影像进行重采样处理得到具有第二空间分辨率的第一重建影像。具体地，将得到的90m分辨率重建影像重采样至30m分辨率。
步骤S206，将具有第二空间分辨率的第一重建影像和第二遥感影像输入至SRCNN网络得到第二重建影像；其中，第二重建影像为超高分辨率的重建影像。具体地，与具有30m分辨率的Landsat8原始影像一起利用SRCNN进行第二次学习，得到具有30m分辨率的MOD09Q1重建影像。其中，本发明实施例中两次使用的SRCNN网络具有相同的结构，区别只在于输入、输出不同，而且输入输出的不同之处只体现在分辨率上。而SRCNN网络的训练过程通过影像切块进行，故两个SRCNN网络参数格式具有完全一致性，可以将训练好的第一个SRCNN网络参数迁移到第二个SRCNN网络，提高程序运行效率，缓解深度学习所带来的时间复杂度的提升。
步骤S207，将第二重建影像输入至时空融合模型得到高空间高时间的遥感影像；其中，高空间高时间的遥感影像具有上述第一周期和上述第二空间分辨率。
现有的遥感影像时空融合算法复杂，计算时间长，获取海量时序的高时空分辨率遥感影像非常困难。为了提升融合质量，本发明实施例将学习能力更强、特征提取更有力的深度学习引入遥感时空融合，在现有基于学习模型的遥感影像时空融合基础上，通过对SRCNN(Super Resolution Convolutional Neural Network)网络进行二次学习的方法来重建低分辨率影像。SRCNN网络结构简单，可以相对缓解复杂度的提升，而二次学习方式可以缓解融合时分辨率差距过大的影响。本发明实施例基于STARFM思想，在融合过程中利用神经网络自动提取特征，学习映射关系，代替原来在滑动窗口内筛选相似像元与计算其权重的过程。
本发明实施例采用SRCNN方法对低空间分辨率数据进行超分辨率重建，代替STARFM方法低空间分辨率影像的重采样过程。通常用来进行时空融合的MODIS和Landsat影像空间分辨率差距过大，描述空间细节信息的能力差距较大。此外，由于遥感影像的不同传感器之间存在差异，使得影像之间，即使在同一时刻同一位置的像素反射率也有较大差异，直接将SRCNN引入到遥感影像时空融合比较困难。本发明实施例选择其中一个中间分辨率进行过渡，将低分辨率数据通过SRCNN的学习训练重建至该中间分辨率，再将中间分辨率数据重建至指定的高分辨率。
通过上述步骤，利用SRCNN对低分辨率影像进行超分辨率重建，将高分辨率影像作为低分辨率影像的先验知识，由于所融合的两组影像分辨率差距过大，本发明实施例采用二次学习方式进行改进，相比原有方法所得结果，本发明实施例方法提高了精度，缓解了传感器差异所造成的系统误差。STARFM在筛选相似像元与计算权重等时均利用专家知识提取人工特征，本发明实施例基于STARFM时空融合的基本思想，以SRCNN作为基本框架实现自动提取特征，实验结果相比原方法更优，提高了遥感时空融合的质量。针对在改进方法引入深度学习导致时间复杂度提升的问题，本发明实施例基于CUDA的GPU并行化改进方法，实现了SRCNN的并行化处理，充分利用GPU的存储器分级技术与线程配置方法，相比传统的直接并行化方法，进一步提高了运行效率。
下面结合具体的可选实施例对上述步骤涉及的基于二次学习的超分辨率重建方法进行详细说明。
由于衍射现象的存在，通常成像系统所能达到的最高分辨率受限于成像光学器件本身，传统改善影像质量方法难以复原出系统在截止频率以外的信息，而超分辨率(Superresolution restoration，简称为SR)重建技术采用信号处理方法，能够重建出成像系统截止频率之外的信息，从而得到高于成像系统分辨率的影像。
传统超分辨率重建技术分为基于重建的方法和基于浅层学习的方法。基于重建的方法将多幅低分辨率影像进行亚像素精度对齐来求出不同分辨率影像之间的运动偏移量，从而构建空间运动参数，再通过各种先验约束条件与最优解来重建高分辨率影像。基于浅层学习的方法旨在通过学习获得高、低分辨率影像之间的映射关系来指导影像的重建，通常分为特征提取、学习和重建三个阶段，且各阶段相互独立，导致浅层学习通常特征提取与表达能力有限，有待进一步加强。
近年来，深度学习技术发展迅猛。在超分辨率重建中采用深度学习网络，在结构上仍需参考传统超分辨率重建方法的思想进行设计，使其作为预测器能够输出较为准确的预测值。
2016年首次将卷积神经网络(Convolution neural network，简称为CNN)应用于超分辨率重建，提出了一种新的网络SRCNN。首先从深度学习与传统稀疏编码(Sparsecoding，简称为SC)之间关系入手，将网络分为影像块提取、非线性映射和影像重建三个阶段，使其分别对应于深度卷积神经网络框架中的3个卷积层，统一于该神经网络之中，实现了由低分辨率影像到高分辨率影像的超分辨率重建。该网络直接学习低分辨率和高分辨率影像之间的端到端映射，除了优化之外，几乎不需要预处理和后处理。
在SRCNN中使用的三个卷积层卷积核大小分别为9X9，1X1和5X5，前两个输出特征个数分别为64和32。SRCNN将稀疏编码的过程视为一种卷积运算，网络设计简单，并且重建效果相比作为浅层学习代表的SCSR(Sparse coding based super resolution)方法也有较大提高，是一种具有参考性的超分辨率重建方法。本发明实施例将二次学习方式引入遥感影像时空融合中，提高低分辨率遥感影像重建效果。
本发明实施例采用SRCNN方法对低空间分辨率数据进行超分辨率重建来代替STARFM方法中低空间分辨率影像的重采样过程，然而由于本发明实施例采用的MOD09Q1遥感影像只有250m空间分辨率，像元混合现象严重，而Landsat8遥感影像具有30m空间分辨率，二者之间的分辨率相差8到9倍，描述空间细节信息的能力差距较大；并且由于得到遥感影像的不同传感器之间存在着各种差异，即使同一时刻同一位置影像之间的像素反射率也有较大差异，故将SRCNN直接引入至遥感影像的时空融合比较困难。
基于学习模型的方法空间分辨率差距不宜过大，一般在4倍左右，差距过大容易造成深度学习神经网络的训练困难，对低分辨率影像进行分辨率增强的效果欠佳，像元混合严重的现象较难缓解。
为解决上述问题，本发明实施例利用二次学习的方式对超分辨率重建阶段进行改进。将低空间分辨率遥感影像从250m分辨率经过学习重建至90m分辨率，再重建至30m分辨率，从而保证了两次学习过程中分辨率差距均在4倍之内。基于二次学习的超分辨率重建方法技术路线如图3所示。
将具有30m空间分辨率的Landsat8遥感影像使用最近邻法降采样到90m分辨率，同时将具有250m空间分辨率的MOD09Q1遥感影像使用双三次插值法重采样到90m分辨率。如图4所示，经过采样后的遥感影像虽然形式上具有了相同分辨率，但在空间细节上仍差距较大。本发明实施例采用SRCNN对采样后的两组数据进行第一次学习，得到90m分辨率MOD09Q1重建影像。将得到的90m分辨率重建影像重采样至30m分辨率，与具有30m分辨率的Landsat8原始影像一起利用SRCNN进行第二次学习，得到具有30m分辨率的MOD09Q1重建影像，本发明实施例将该重建影像作为时空融合模型中的低分辨率数据进行输入。
传统STARFM方法的输入只将MODIS影像通过插值法重采样到Landsat8分辨率即可，本发明实施例在利用SRCNN网络进行超分辨率重建时，将Landsat8影像作为MOD09Q1数据的先验知识进行学习，一方面超分辨率重建的精确度明显优于插值法重采样的结果，提升了STARFM的输入质量；另一方面，在学习过程中，能够缓解不同传感器之间所造成的各种误差，使重建得到的影像在风格与相似性上也与作为输入的高分辨率影像更加接近。该方法能够尽可能还原高、低分辨率数据之间原本的差异信息，使得融合结果更加准确。
深度学习通常具有良好的迁移能力，即将在某一数据集上已经训练好的模型参数进行迁移使用，能够在另一个不同的数据集上处理问题。这种良好的性质能够帮助深度学习神经网络在处理不同的问题时只需通过迁移，对已训练好的模型使用少量的新问题的训练样本微调模型的参数，就可以使网络快速更新到处理新问题的模式，实现良好的预测分类效果。迁移学习能够节约大量的时间成本，提高运行效率。
本发明实施例进行二次学习的两个SRCNN网络具有相同的结构，区别只在于输入、输出不同，而且输入输出的不同之处只体现在分辨率上。而SRCNN网络的训练过程通过影像切块进行，故二次学习的两个网络参数格式具有完全一致性，可以将训练好的用于第一次学习的网络参数迁移到第二次学习的网络，提高程序运行效率，缓解深度学习所带来的时间复杂度的提升。
在一个可选实施例中，SRCNN网络是通过如下步骤训练得到的：使用如下公式对SRCNN网络进行训练：L(x,y,tk)＝L(x,y,t0)+M(x,y,tk)-M(x,y,t0)；其中，M(x,y,t)、L(x,y,t)分别表示t时刻MODIS影像与Landsat影像在坐标为(x,y)处像元的反射率；将L(x,y,t0)、M(x,y,tk)、M(x,y,t0)输入至SRCNN网络得到输出结果；根据L(x,y,tk)与所述输出结果的均方差对SRCNN网络进行修正，得到所述SRCNN网络。本发明实施例改进了STARFM方法，充分利用深度学习强大的特征提取与表达能力将手工提取特征替换为自动提取特征。
下面结合具体的基于深度学习的自动特征提取方法进行详细说明。
本发明实施例使用SRCNN作为基本框架，通过深度学习神经网络方法来提取影像特征，发现并学习高、低分辨率数据之间的映射关系。
STARFM的基本思想是使用已知时刻的高低空间分辨率数据和未知时刻的低空间分辨率数据来对未知时刻的高空间分辨率数据进行预测。STARFM在具体实现时，为了减轻像元混合现象的影响，通过滑动窗口技术引入邻近像元信息来计算中心像元的反射率，还需根据特定规则筛选出相似像元，并排除劣质像元，根据影像对间的光谱距离、时间距离以及窗口内部的空间距离由特定的公式来计算像元对应的权重，得到滑动窗口的权值矩阵。
STARFM在实现过程中无论是在滑动窗口内筛选或排除像元时所用的规则，还是计算权重时所用的特定公式，都属于专家知识范畴，即手工提取的特征。本发明实施例采用神经网络进行深度学习来替代该过程，实现特征的自动提取。
基于STARFM的基本思想，已知t0时刻高低分辨率数据与tk时刻低分辨率数据时，通过公式L(x,y,tk)＝L(x,y,t0)+M(x,y,tk)-M(x,y,t0)，计算得到的数据可视为预测理论值，本发明实施例将其作为学习样本，并将对应时刻高分辨率实际数据作为标签，输入SRCNN中进行训练，即可学习得到预测理论值与实际标签间所存在的映射关系。STARFM所使用的滑动窗口计算方法也是对该映射的一种直接计算方式。
本发明实施例使用该方法进行遥感影像时空融合时采用神经网络自动提取特征，学习从预测理论值到对应标签间的映射关系，虽然前期需要花费较多的时间进行学习，但学习到映射关系后，即可快速得到需要进行融合预测的影像。相对而言，传统STARFM方法虽然不需要前期学习的时间成本，但每次进行融合预测时都需要复杂度较高的大量计算，理论上，如若需要融合预测大量的数据，本发明实施例在时间复杂度上相对而言具有优势。
本发明实施例对传统STARFM方法进行了两点改进，一方面参考基于学习思想的时空融合方法，对低空间分辨率数据进行超分辨率重建来替代原来的直接重采样方法。本发明实施例为了缓解分辨率差距过大的影响，采用二次学习方式，利用SRCNN网络实现低空间分辨率数据的超分辨率重建，并且在重建过程中使用不同传感器的高分辨率数据作为先验知识，丰富了低分辨率影像的细节信息；另一方面，本发明实施例基于STARFM基本思想，以SRCNN作为框架，在融合过程中利用深度学习自动提取特征，相比原来利用滑动窗口手工计算特征的方法，可以明显改善融合质量。
通过图2的重建方法提高了高时间分辨率低空间分辨率数据的空间分辨率，得到一定精度的高时空分辨率数据，再将其输入到本发明实施例的改进STARFM方法中，相当于进行了双层时空融合，保证了较好的融合效果。在一个可选实施例中，参见图1，遥感影像高时空融合处理算法还包括获取第一时刻的第二重建影像和第二时刻的第二重建影像，以及第一时刻的第二遥感影像；其中，将该第二重建影像作为低分辨率数据，将该第一时刻的第二遥感影像作为高分辨率数据；根据该第一时刻的第二重建影像和该第二时刻的第二重建影像，以及该第一时刻的第二遥感影像在预定滑动窗口内搜索相似像元；获取该相似像元与中心像元之间的光谱距离、时间距离和空间距离；根据该光谱距离、时间距离和空间距离配置该相似像元的权重；对多个相似像元的权重的进行归一化处理，得到联合权重矩阵；根据该联合权重矩阵预测第二时刻的第二遥感影像；将该第二时刻的第二遥感影像作为所述高空间高时间的遥感影像。
在一个可选实施例中，SRCNN网络中线程执行程序之前，将卷积核参数由全局存储器预加载至共享存储器，第一预定块内的线程执行程序时从该共享存储器读取卷积核参数。在另一个可选实施例中，SRCNN网络中线程执行程序之前，将相关影像区域由全局存储器预加载至共享存储器，第二预定块内的线程执行程序时从该共享存储器读取该相关影像区域；其中，相关影像区域包括第二预定块内所有线程均涉及的影像区域。在再一个可选实施例中，SRCNN网络中将卷积层和非线性映射层进行合并，由同一线程进行卷积操作和非线性映射操作。
下面结合具体的实施方式对基于存储器分级技术与线程配置的并行化方法进行详细说明。
针对在时空融合算法中，由于引入深度学习导致计算量增加而降低运行效率的问题，本发明实施例对改进的SRCNN模块计算密集型的程序进行CUDA编程，实现并行化改造。该模块具有数据量庞大、数据存储形式规则、数据处理过程基本相同等特点，很适合利用GPU进行高度并行处理。
存储器分级技术是利用CUDA进行并行化改进的关键，CUDA内存模型示意图如图5所示。每个线程都有自己私有的本地内存，每个线程块都有可以被块内所有线程共享的共享内存，其存在的时间长短取决于线程块的生命周期，在线程块之外，还有可以被所有线程访问的全局内存。
GPU具有一个层次化的内存结构，包括全局内存、共享内存和寄存器等，这些存储器具有极不相同的访问带宽和延迟，如表1所示。全局内存是GPU上最大的存储器，每个线程都可以访问，然而它也是最慢的内存，常常成为整个程序的瓶颈。共享内存的作用类似于缓存，只能被同一线程块内的线程访问，相比全局内存具有更大的带宽和更低的延迟。寄存器是最快但最小的内存，只能由相应的线程访问，如果重用的数据可以存储在寄存器中，内存访问则快得多。
表1 GPU不同存储器带宽及延迟对比表
本发明实施例对SRCNN并行化改进主要体现在对卷积操作的并行，卷积层的参数通常占整个网络的5％左右，计算量却占整个网络的90％-95％，故卷积操作实现效率的高低直接决定了整个神经网络的效率。传统的直接并行化方法，对细节的处理相对粗糙，每个线程都要访问全局存储器进行卷积核(滤波器)参数的读取，造成了冗余读取和对存储器带宽的极大浪费。
核函数共享示意图如图6所示。本发明实施例充分利用线程间块的划分，即在线程执行之前，先从全局存储器将卷积核参数预加载至共享存储器，之后同一块内的线程在执行时就可以从共享存储器来读取卷积核参数，从而避免了冗余读取，减少了对全局存储器带宽的占用。
在传统直接并行化方法中，与卷积核的读取相同，影像块的读取也是通过访问全局存储器进行，冗余读取主要体现在各个线程所处理的影像块之间的重叠上，重叠面积与卷积核大小和步长密切相关。如图7所示，在共享存储器容量允许的条件下，本发明实施例将同一块内所有线程涉及到的影像区域(即整幅影像的某一部分)，在线程执行之前从全局存储器预先读取至共享存储器，这样在块内线程执行时就可以只访问共享存储器。本发明实施例在并行化时进一步考虑了卷积之后进行的非线性映射ReLu操作，在传统直接并行化方法中，卷积层和非线性映射层分开，需要分别在两个不同的线程上执行，造成了一种线程间数据交换的浪费。本发明实施例将卷积层和非线性映射层合并在一起，即在同一个线程内完成卷积操作后，接着进行ReLu操作，这样避免了在卷积层操作后将数据写入全局存储器和在ReLU层之前从全局存储器读取数据，提高了运行效率。
针对引入深度学习导致时间复杂度提升的问题，本发明上实施例利用基于CUDA的GPU并行化改进方法，实现了SRCNN的并行化处理，充分利用GPU的存储器分级技术与线程配置方法，相比传统的直接并行化方法，进一步提高了运行效率。
在一个可选实施例中，遥感影像高时空融合处理算法还包括：通过如下公式计算PSNR和SSIM：
和/或，
其中，f1表示未经超分辨率重建的原影像，f2表示经过超分辨率重建的重建影像，MSE(f1,f2)表示未经超分辨率重建的原影像与经过超分辨率重建的重建影像之间的均方误差，μ1、σ1分别表示未经超分辨率重建的原影像的均值、方差，μ2、σ2分别表示经过超分辨率重建的重建影像的均值、方差，σ12表示未经超分辨率重建的原影像与经过超分辨率重建的重建影像之间的协方差，C1、C2是用来维持稳定的常数。PSNR是一种应用非常广泛的影像客观评价指标，PSNR越大，表示影像的失真越小。虽然PSNR对影像的误差敏感，但其并不包含人眼主观观察特性的信息，人类眼睛的敏感度会受到空间频率、亮度、色度及周围邻域信息等的影响，因而会发生通过人眼观察到的主观评价与PSNR的客观评价完全相反的现象。本发明实施例进一步考虑SSIM作为第二个客观评价指标，SSIM从亮度、对比度和结构三个不同方面衡量了影像之间的相似性，通常SSIM值越大，表示影像相似性越高，失真越小。
下面结合遥感高时空快速融合算法实验结果及分析进行详细说明。
①数据选取方法
本发明实施例选择在遥感时空融合领域中经典的MODIS影像和Landsat影像进行融合，综合二者分别在时间分辨率和空间分辨率上的优势。选取了空间分辨率为250米、重访周期为1天的MOD09Q1(8天合成数据)的第1波段红色波段和第2波段近红外波段数据，以及空间分辨率为30米、重访周期为16天的Landsat8相应的第4、5波段，所举图例均以红色波段实验数据作为代表。
本发明实施例选取的研究区域位于陕蒙交界一带，包括陕西省榆林市北部大部分地区及内蒙古鄂尔多斯市东南部部分地区，地理坐标38°47'59"N～39°12'5"N，110°20'35"E～110°49'6"E，实验截取的地理范围为45km×45km。该地区处于毛乌素沙地和黄土高原过渡地带，曾经风蚀沙化和水土流失严重，是全国生态环境建设重点地区。其西北部的红碱淖是中国最大的沙漠湖泊，也是全世界最大的珍稀动物遗鸥的繁殖地与栖息地，由于水源减少及蒸发等原因，近年来水面不断呈缩小趋势，自1980年至2015年，缩水幅度高达44.7％。我国于1978年启动“三北防护建设工程”，至2019年已步入第二阶段五期工程收关阶段。该地区作为国家防沙治沙重点地区之一，可以作为研究“三北防护林”生态环境恢复情况的代表，有关红碱淖生态系统的融合也极具研究和应用价值。
从图8可以看到，低分辨率的MOD09Q1影像在部分地区像元混合现象严重。图9研究区域地物类型复杂，包括水体、山脉、沙地、林地、耕地、建筑物、道路等，而且部分地物相间分布，故该研究区域属于使用传统时空融合方法较难处理的类型。
本发明实施例实验所用数据均来源于NASA官网USGS(https://earthexplorer.usgs.gov/)，选取了2015年至2019年该研究区域内所有云量少于1％的数据。利用MCTK(MODIS Conversion Toolkit)工具将MODIS影像从HDF数据格式转换为TIF数据格式，并重投影到UTM-WGS84坐标系，所有数据均采用ENVI软件根据对应坐标裁剪到指定区域，并进行配准。
②基于二次学习的超分辨率重建方法实验结果及分析
传统SRCNN是一种单幅影像超分辨率重建方法，即样本和标签是基于同一幅影像变换所得，训练之前先将样本影像进行降采样，得到分辨率仅为原始影像1/3的低分辨率影像，再将该降采样影像使用双三次插值法放大至原样本影像尺寸，此时仍视其为低分辨率影像，并作为SRCNN的输入样本，在进行训练时SRCNN将没有经过降采样处理的原样本影像作为高分辨率先验知识进行学习，将训练得到的网络作用于相同类型的测试集影像上进行检测。
本发明实施例引入SRCNN时，进行了两种尝试，以上述第一次学习为例，方法一是直接利用高分辨率遥感影像进行单幅影像超分辨率重建，即使用上述传统的SRCNN方法只训练降采样后的90m分辨率Landsat8影像这一组数据，再将所得到的网络作用于同一时刻同一地区的低分辨遥感影像，即经过重采样的90m分辨率MOD09Q1数据，对比90m分辨率的Landsat8影像检测实验结果。方法二是利用已有的高分辨率影像作为同一时刻同一地区的低分辨率影像的先验知识进行学习，本发明实施例采用经过采样后所得同为90m分辨率的Landsat8影像和MOD09Q1影像两组数据来训练SRCNN网络，通过该网络可以得到重建后90m分辨率的MOD09Q1影像，同样对比降采样的90m分辨率Landsat8影像检测实验结果。
在测试集上得到的实验结果对比图如图10所示(像素数没有对应是由于外围卷积运算时不填充)，可以看到，相比方法一，方法二在同样以MOD09Q1数据信息作为基础时，与Landsat8更为接近。本发明实施例采用均方误差(Mean Square Error，MSE)作为损失函数来训练SRCNN，MSE越小，重建的效果越好。方法一的MSE值为0.08757569，方法二的MSE值为0.04204063，方法二相比方法一的实验结果具有更丰富的空间细节信息。
本发明实施例采用方法二在第一次学习后得到了具有较高质量90m分辨率的MOD09Q1重建影像，将该影像重采样至30m分辨率，再次利用SRCNN网络使用方法二进行第二次超分辨率重建，本次重建使用30m分辨率的原始Landsat8遥感影像作为其先验知识，得到如图11(c)所示30m分辨率的第二次超分辨率重建结果，对比相应的Landsat8影像MSE值为0.02961750，本发明实施例将该结果作为STARFM方法中低分辨率遥感影像的输入。
图11是根据本发明实施例的通过二次学习进行超分辨率重建得到的实验结果与实验原始数据对比图。可以看到，从图11(a)至图11(d)空间细节逐渐丰富。从整体角度来看，可以认为实验是以图11(d)作为图11(a)的先验知识训练神经网络，中间经过图11(b)，最终得到图11(c)。图11(d)作为先验知识空间细节信息最为丰富，但时间分辨率为16天，而实验得到的图11(c)在空间细节上仅次于图11(d)，时间分辨率只有1天，本发明实施例将图11(c)与图11(d)进行时空融合，得到时间分辨率为1天、空间细节信息更为丰富的融合影像，提高了遥感影像时空融合的准确率。
本发明实施例采用峰值信噪比PSNR(Peak Signal-to-Noise Ratio)和结构相似性SSIM(Structural Similarity)作为客观评价指标来对实验结果进行进一步分析，计算公式分别为公式(13)和(14)。
MSE(f1,f2)表示影像f1与影像f2之间的均方误差，μ1、σ1分别表示影像f1的均值、方差，μ2、σ2分别表示影像f2的均值、方差，σ12表示影像f1与影像f2之间的协方差，C1、C2是用来维持稳定的常数。
PSNR是一种应用非常广泛的影像客观评价指标，PSNR越大，表示影像的失真越小。虽然PSNR对影像的误差敏感，但其并不包含人眼主观观察特性的信息，人类眼睛的敏感度会受到空间频率、亮度、色度及周围邻域信息等的影响，因而会发生通过人眼观察到的主观评价与PSNR的客观评价完全相反的现象。本发明实施例进一步考虑SSIM作为第二个客观评价指标，SSIM从亮度、对比度和结构三个不同方面衡量了影像之间的相似性，通常SSIM值越大，表示影像相似性越高，失真越小。
表2给出了本发明实施例进行超分辨率重建实验结果的客观评价结果。首先，对比第二行至第四行数据可知，在重建至中间分辨率时，两种重建方法的PSNR差距不大，但在SSIM上方法二优势明显。对比第5行和第6行数据可知，本发明实施例提出的基于二次学习的超分辨率重建方法相比STARFM所使用的简单重采样方法，PSNR和SSIM都要高，尤其是在SSIM上提升效果显著。
表2超分辨率重建实验结果客观评价结果
③遥感高时空融合算法实验结果及分析
传统STARFM方法通过引入邻近像元信息，构建一个带权重的低空间分辨率像元反射率与高空间分辨率像元反射率的关系模型，即每一个中心像元的大小由以其为中心的周围一定范围内其它像元共同决定，而窗口内每个像素值所对应的权重取决于所输入影像对之间在窗口上的时间距离、空间距离和光谱距离，并且还要在窗口内进行相似像元搜索，有着特定的筛选规则。
本发明实施例将上述构建模型的过程视为专家知识手工提取的特征，对其使用机器学习的方式进行改进。SRCNN进行超分辨率重建的过程是深度学习神经网络对低分辨率影像到高分辨率影像间映射关系的学习。本发明实施例基于STARFM的基本思想，若已知t0时刻的高分辨率、低分辨率数据以及tk时刻的低分辨率数据，所要求的为tk时刻的高分辨率数据，则设置进行学习的低分辨率影像为：在t0时刻的高分辨率数据基础上，加上低分辨率数据在tk时刻到t0时刻的变化信息。本发明实施例将原始的tk时刻的高分辨率数据作为用来学习的先验知识，将二者输入SRCNN网络来学习低分辨率到高分辨率影像间的映射关系，实现深度学习神经网络自动提取特征的改进。
图12给出了三种时空融合方法的结果对比图，图12(a)为STARFM方法融合所得预测结果，可以看到，虽然能够呈现较多的空间细节，影像风格也比较接近Landsat8影像，但仍有部分区域影像斑块现象严重。图12(b)为基于STARFM改进的时空融合方法，利用超分辨率重建技术进行重采样的方法实现了双重融合，相比图12(a)具有更加丰富的空间细节，在一定程度上缓解了像元混合。图12(c)为本发明实施例时空融合算法的预测结果，可以看到，影像风格已与Landsat8数据基本一致，而且在图12(a)和图12(b)中只显示为影像斑块(像元混合严重)之处，在图12(c)中具有了与Landsat8影像相同的空间细节信息，明显提升了融合质量。
表3给出了本发明实施例的时空融合算法与原STARFM方法、改进的STARFM方法客观评价指标对比。相比原STARFM方法、改进的STARFM方法，本发明实施例融合算法的PSNR和SSIM最高，融合效果最好。通过对比客观评价指标，验证了本发明实施例算法有效提高了遥感影像时空融合的质量。
表3时空融合方法实验结果客观指标评价
④超分辨率卷积神经网络并行化方法实验结果及分析
针对在时空融合算法中，引入深度学习导致计算量增加而降低运行效率的问题，本发明实施例采用CUDA对SRCNN进行并行化来提高本发明实施例融合算法的运行效率。
本发明实施例的前馈过程为：在CPU端完成影像的降采样或重采样(融合过程采用的SRCNN网络还对数据进行组合)，得到本发明实施例SRCNN网络指定的输入影像，根据卷积核尺寸及步长将高、低分辨率影像均分割成指定大小的影像块作为网络输入，并为后续影像处理分配内存空间；将每次输入网络的影像块从CPU端传入GPU端，在GPU端分配内存空间；对内核函数Kernel进行定义，主要考虑解决影像块和滤波器之间的卷积操作，并将卷积操作和ReLu操作设置在同一线程内进行，将影像按像素点映射到每个线程上；平衡存储器和线程使用率，设定线程块及线程网格的分配，同时考虑计算线程块内线程涉及的像素点预加载到块内共享存储器，并将该层卷积核参数也预加载到共享存储器；在GPU内按线程块同时对多个像素点并行地执行本发明实施例的SRCNN方法，待所有线程都计算完成，再将结果一起传回CPU；循环调用内核函数，将其他影像块依次从CPU端传入GPU端。重复上述步骤，就可以完成整幅影像的前馈过程。最后在CPU端，综合计算结果，并归一化，得到最终重建结果，保存并显示重建结果。
本发明实施例在GPU内进行反向传播的过程为：将均方误差作为损失函数，衡量前馈过程的结果与目标高分辨率影像块之间的损失；设定另外的核函数Kernel，通过损失函数计算输出层梯度，进而求得每层卷积层的偏置梯度、权值梯度以及输入层梯度；利用上述计算结果更新共享存储器内的卷积核参数，利用新的卷积核参数与输入层影像块重新迭代前馈过程。重复上述循环，直到损失函数值降低到设定的阈值之下，保存网络参数。最后在CPU端，综合计算结果，并归一化，得到最终结果。
表4给出了在不同情况下采用本发明实施例的SRCNN方法处理单幅影像的平均用时对比。可以看到，GPU并行化能够较好地改善程序的运行效率，而且本发明实施例提出的卷积核共享与影像块共享，以及将卷积层和非线性映射层合并的方法能够进一步有效提高程序的运行效率，降低高时空分辨率影像的融合时间，有利于为海量时空遥感影像的深度应用提供技术支撑。
表4 SRCNN并行化改进前后单幅影像处理平均用时对比
在本实施例中还提供了一种遥感影像高时空融合处理装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
本实施例提供一种遥感影像高时空融合处理装置，如图13所示，包括：获取模块1301，用于获取低空间高时间的第一遥感影像和高空间低时间的第二遥感影像；所述第一遥感影像的空间分辨率为第一空间分辨率，所述第一遥感影像的周期为第一周期，所述第二遥感影像的空间分辨率为第二空间分辨率，所述第二遥感影像的周期为第二周期；第一重采样模块1302，用于对所述第一遥感影像进行重采样处理得到第三遥感影像；其中，所述第三遥感影像的空间分辨率大于所述第一遥感影像的空间分辨率；降采样模块1303，用于对所述第二遥感影像进行降采样处理得到第四遥感影像；其中，所述第四遥感影像空间分辨率小于所述第二遥感影像的空间分辨率，所述第四遥感影像空间分辨率等于所述第三遥感影像空间分辨率；第一输入模块1304，用于将所述第三遥感影像和所述第四遥感影像输入至SRCNN网络，得到具有中间空间分辨率的第一重建影像；其中中间空间分辨率为所述第三遥感影像和所述第四遥感影像具有的同样空间分辨率；第二重采样模块1305，用于对所述第一重建影像进行重采样处理得到具有所述第二空间分辨率的第一重建影像；第二输入模块1306，用于将具有所述第二空间分辨率的第一重建影像和所述第二遥感影像输入至SRCNN网络得到第二重建影像；第三输入模块1307，用于将所述第二重建影像输入至时空融合模型得到高空间高时间的遥感影像；其中，所述高空间高时间的遥感影像具有所述第一周期和所述第二空间分辨率。
本实施例中的遥感高时空融合装置是以功能单元的形式来呈现，这里的单元是指ASIC电路，执行一个或多个软件或固定程序的处理器和存储器，和/或其他可以提供上述功能的器件。
上述各个模块的更进一步的功能描述与上述对应实施例相同，在此不再赘述。
本发明实施例还提供了一种电子设备，包括：至少一个处理器；以及与该至少一个处理器通信连接的存储器；其中，该存储器存储有可被该一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器执行上述实施例中任一遥感影像高时空融合处理算法。
本发明实施例还提供了一种非暂态计算机存储介质，该计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的遥感影像高时空融合处理算法。其中，该存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(HardDisk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；该存储介质还可以包括上述种类的存储器的组合。
综上所述，针对基于学习模型的融合方法在两组影像分辨率差距过大容易造成深度学习神经网络训练困难，对低分辨率影像进行分辨率增强的效果欠佳，像元混合严重的现象较难缓解等问题，本发明实施例提出了基于二次学习的超分辨率重建方法。采用SRCNN方法对低空间分辨率数据进行超分辨率重建来代替STARFM方法中低空间分辨率影像的重采样过程，利用二次学习和将高分辨率数据作为先验知识的方法，将低分辨率数据通过SRCNN超分辨率重建为高分辨率数据，取得了较好的重建结果，有利于缓解传感器差异所造成的系统误差。
提出了基于深度学习的影像特征自动提取方法，发现并学习高、低分辨率数据之间的映射关系。本发明实施例将传统STARFM方法中手工提取特征替换为利用深度学习自动提取特征，传统STARFM方法进行融合时，采用滑动窗口技术为中心像元赋值，需要先在窗口内搜索相似像元，再根据时间、空间、光谱距离来产生相应的权重。本发明实施例基于STARFM的基本思想，将未知时刻的低分辨率数据与已知时刻的高低分辨率数据的差异图进行融合，作为SRCNN的输入数据，将已有的未知时刻高分辨率数据作为其先验知识，学习二者之间的映射关系，实现基于深度学习的影像特征自动提取，明显改善了融合质量。
针对在时空融合算法中，由于引入深度学习导致计算量增加而降低运行效率的问题，本发明实施例提出了基于存储器分级技术与线程配置的并行化方法，实现了SRCNN的并行化处理。SRCNN模块具有数据量庞大、数据存储形式规则、数据处理过程基本相同等特点，利用GPU进行高度并行处理，并采用共享卷积核与影像块、合并卷积层与非线性映射的方法，提高了运行效率。
遥感时空融合问题来源于遥感卫星自身物理性能的限制，获取的单一遥感影像空间分辨率和时间分辨率是一对矛盾体，往往不可兼得。本发明要解决的技术问题是遥感影像的“时空矛盾”，以及遥感影像时空融合算法复杂度高。本发明实施例提出遥感高时空快速融合算法，研究改进的机器学习方法，对高空间分辨率、低时间分辨率的遥感影像数据与高时间分辨率、低空间分辨率的遥感影像数据进行融合，并进行并行化处理，综合高空间分辨率卫星数据的空间优势以及低空间分辨率卫星数据的时间优势，提高融合效率。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (10)
1.一种遥感影像高时空融合处理算法，其特征在于，包括：
获取低空间高时间的第一遥感影像和高空间低时间的第二遥感影像；所述第一遥感影像的空间分辨率为第一空间分辨率，所述第一遥感影像的周期为第一周期，所述第二遥感影像的空间分辨率为第二空间分辨率，所述第二遥感影像的周期为第二周期；
对所述第一遥感影像进行重采样处理得到第三遥感影像；其中，所述第三遥感影像的空间分辨率大于所述第一遥感影像的空间分辨率；
对所述第二遥感影像进行降采样处理得到第四遥感影像；其中，所述第四遥感影像空间分辨率小于所述第二遥感影像的空间分辨率，所述第四遥感影像空间分辨率等于所述第三遥感影像空间分辨率；
将所述第三遥感影像和所述第四遥感影像输入至SRCNN网络，得到具有中间空间分辨率的第一重建影像；其中所述中间空间分辨率为所述第三遥感影像和所述第四遥感影像具有的同样空间分辨率；
对所述第一重建影像进行重采样处理得到具有所述第二空间分辨率的第一重建影像；
将具有所述第二空间分辨率的第一重建影像和所述第二遥感影像输入至SRCNN网络得到第二重建影像；
将所述第二重建影像输入至时空融合模型得到高空间高时间的遥感影像；其中，所述高空间高时间的遥感影像具有所述第一周期和所述第二空间分辨率。
2.根据权利要求1所述的遥感影像高时空融合处理算法，其特征在于，包括：所述第一遥感影像为MODIS影像；所述第二遥感影像为Landsat8影像。
3.根据权利要求1所述的遥感影像高时空融合处理算法，其特征在于，将所述第二重建影像输入至时空融合模型得到高空间高时间的遥感影像包括：
获取第一时刻的第二重建影像和第二时刻的第二重建影像，以及第一时刻的第二遥感影像；其中，将所述第二重建影像作为低分辨率数据，将所述第一时刻的第二遥感影像作为高分辨率数据；
根据所述第一时刻的第二重建影像和所述第二时刻的第二重建影像，以及所述第一时刻的第二遥感影像在预定滑动窗口内搜索相似像元；
获取所述相似像元与中心像元之间的光谱距离、时间距离和空间距离；
根据所述光谱距离、时间距离和空间距离配置所述相似像元的权重；
对多个相似像元的权重的进行归一化处理，得到联合权重矩阵；
根据所述联合权重矩阵预测第二时刻的第二遥感影像；将所述第二时刻的第二遥感影像作为所述高空间高时间的遥感影像。
4.根据权利要求1所述的遥感影像高时空融合处理算法，其特征在于，所述方法还包括：
通过如下公式计算PSNR和SSIM：
如/或，
其中，f1表示未经超分辨率重建的原影像，f2表示经过超分辨率重建的重建影像，MSE(f1，f2)表示所述未经超分辨率重建的原影像与所述经过超分辨率重建的重建影像之间的均方误差，μ1、σ1分别表示所述未经超分辨率重建的原影像的均值、方差，μ2、σ2分别表示所述经过超分辨率重建的重建影像的均值、方差，σ12表示所述未经超分辨率重建的原影像与所述经过超分辨率重建的重建影像之间的协方差，C1、C2是用来维持稳定的常数。
5.根据权利要求1所述的遥感影像高时空融合处理算法，其特征在于，所述SRCNN网络中线程执行程序之前，将卷积核参数由全局存储器预加载至共享存储器，第一预定块内的线程执行程序时从所述共享存储器读取卷积核参数。
6.根据权利要求1所述的遥感影像高时空融合处理算法，其特征在于，所述SRCNN网络中线程执行程序之前，将相关影像区域由全局存储器预加载至共享存储器，第二预定块内的线程执行程序时从所述共享存储器读取所述相关影像区域；其中，所述相关影像区域包括所述第二预定块内所有线程均涉及的影像区域。
7.根据权利要求1所述的遥感影像高时空融合处理算法，其特征在于，所述SRCNN网络中将卷积层和非线性映射层进行合并，由同一线程进行卷积操作和非线性映射操作。
8.一种遥感影像高时空融合处理装置，其特征在于，包括：
获取模块，用于获取低空间高时间的第一遥感影像和高空间低时间的第二遥感影像；所述第一遥感影像的空间分辨率为第一空间分辨率，所述第一遥感影像的周期为第一周期，所述第二遥感影像的空间分辨率为第二空间分辨率，所述第二遥感影像的周期为第二周期；
第一重采样模块，用于对所述第一遥感影像进行重采样处理得到第三遥感影像；其中，所述第三遥感影像的空间分辨率大于所述第一遥感影像的空间分辨率；
降采样模块，用于对所述第二遥感影像进行降采样处理得到第四遥感影像；其中，所述第四遥感影像空间分辨率小于所述第二遥感影像的空间分辨率，所述第四遥感影像空间分辨率等于所述第三遥感影像空间分辨率；
第一输入模块，用于将所述第三遥感影像和所述第四遥感影像输入至SRCNN网络，得到具有中间空间分辨率的第一重建影像；其中所述中间空间分辨率为所述第三遥感影像和所述第四遥感影像具有的同样空间分辨率；
第二重采样模块，用于对所述第一重建影像进行重采样处理得到具有所述第二空间分辨率的第一重建影像；
第二输入模块，用于将具有所述第二空间分辨率的第一重建影像和所述第二遥感影像输入至SRCNN网络得到第二重建影像；
第三输入模块，用于将所述第二重建影像输入至时空融合模型得到高空间高时间的遥感影像；其中，所述高空间高时间的遥感影像具有所述第一周期和所述第二空间分辨率。
9.一种电子设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述权利要求1-7中任一所述的遥感影像高时空融合处理算法。
10.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现上述权利要求1-7中任一所述的遥感影像高时空融合处理算法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010786064.4A CN111932457B (zh) | 2020-08-06 | 2020-08-06 | 遥感影像高时空融合处理算法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010786064.4A CN111932457B (zh) | 2020-08-06 | 2020-08-06 | 遥感影像高时空融合处理算法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111932457A true CN111932457A (zh) | 2020-11-13 |
| CN111932457B CN111932457B (zh) | 2023-06-06 |
Family
ID=73306904
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010786064.4A Active CN111932457B (zh) | 2020-08-06 | 2020-08-06 | 遥感影像高时空融合处理算法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111932457B (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112508832A (zh) * | 2020-12-03 | 2021-03-16 | 中国矿业大学 | 一种面向对象的遥感影像数据时空融合方法、系统及设备 |
| CN112819697A (zh) * | 2021-02-04 | 2021-05-18 | 北京师范大学 | 一种遥感影像时空融合方法及系统 |
| CN112862809A (zh) * | 2021-03-09 | 2021-05-28 | 中央财经大学 | 一种基于弱监督深度学习的空间分辨率增强方法、终端设备和计算机可读存储介质 |
| CN113012044A (zh) * | 2021-02-19 | 2021-06-22 | 北京师范大学 | 一种基于深度学习的遥感影像时空融合方法及系统 |
| CN113160100A (zh) * | 2021-04-02 | 2021-07-23 | 深圳市规划国土房产信息中心(深圳市空间地理信息中心) | 一种基于光谱信息影像的融合方法、融合装置及介质 |
| CN113256493A (zh) * | 2021-05-28 | 2021-08-13 | 北京环境特性研究所 | 一种热红外遥感图像重建方法和装置 |
| CN113743419A (zh) * | 2021-08-04 | 2021-12-03 | 中国科学院地理科学与资源研究所 | 基于卷积人工神经网络特征提取的数据融合方法及系统 |
| CN114529489A (zh) * | 2022-03-01 | 2022-05-24 | 中国科学院深圳先进技术研究院 | 多源遥感图像融合方法、装置、设备及存储介质 |
| WO2022180616A1 (en) * | 2021-02-28 | 2022-09-01 | The State Of Israel, Ministry Of Agriculture & Rural Development, Agricultural Research Organization (Aro) (Volcani Institute) | Estimation of a crop coefficient vector based on multispectral remote sensing |
| CN115272084A (zh) * | 2022-09-27 | 2022-11-01 | 成都信息工程大学 | 一种影像高分辨率重建方法及装置 |
| CN115346004A (zh) * | 2022-10-18 | 2022-11-15 | 深圳市规划和自然资源数据管理中心(深圳市空间地理信息中心) | 联合时空重建与cuda加速的遥感时间序列数据重建方法 |
| CN115359369A (zh) * | 2022-10-19 | 2022-11-18 | 中国科学院、水利部成都山地灾害与环境研究所 | 一种基于时相自适应的山地卫星影像融合方法和系统 |
| CN116310883A (zh) * | 2023-05-17 | 2023-06-23 | 山东建筑大学 | 基于遥感图像时空融合的农业灾害预测方法及相关设备 |
| CN116612391A (zh) * | 2023-07-21 | 2023-08-18 | 四川发展环境科学技术研究院有限公司 | 基于光谱遥感和多特征融合的土地非法侵占检测方法 |
| CN117115679A (zh) * | 2023-10-25 | 2023-11-24 | 北京佳格天地科技有限公司 | 一种时空融合遥感影像对筛选方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103077515A (zh) * | 2012-12-29 | 2013-05-01 | 北方工业大学 | 一种多光谱图像建筑物变化检测方法 |
| US20140072209A1 (en) * | 2012-09-13 | 2014-03-13 | Los Alamos National Security, Llc | Image fusion using sparse overcomplete feature dictionaries |
| CN105046648A (zh) * | 2015-06-25 | 2015-11-11 | 北京师范大学 | 一种构建高时空遥感数据的方法 |
| CN108573276A (zh) * | 2018-03-12 | 2018-09-25 | 浙江大学 | 一种基于高分辨率遥感影像的变化检测方法 |
| CN108932710A (zh) * | 2018-07-10 | 2018-12-04 | 武汉商学院 | 遥感时空信息融合方法 |
| CN109034066A (zh) * | 2018-07-27 | 2018-12-18 | 北方工业大学 | 基于多特征融合的建筑物识别方法 |
| CN109360147A (zh) * | 2018-09-03 | 2019-02-19 | 浙江大学 | 基于彩色图像融合的多光谱图像超分辨率重建方法 |
| CN109472743A (zh) * | 2018-10-25 | 2019-03-15 | 中国科学院电子学研究所 | 遥感图像的超分辨率重建方法 |
-
2020
- 2020-08-06 CN CN202010786064.4A patent/CN111932457B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140072209A1 (en) * | 2012-09-13 | 2014-03-13 | Los Alamos National Security, Llc | Image fusion using sparse overcomplete feature dictionaries |
| CN103077515A (zh) * | 2012-12-29 | 2013-05-01 | 北方工业大学 | 一种多光谱图像建筑物变化检测方法 |
| CN105046648A (zh) * | 2015-06-25 | 2015-11-11 | 北京师范大学 | 一种构建高时空遥感数据的方法 |
| CN108573276A (zh) * | 2018-03-12 | 2018-09-25 | 浙江大学 | 一种基于高分辨率遥感影像的变化检测方法 |
| CN108932710A (zh) * | 2018-07-10 | 2018-12-04 | 武汉商学院 | 遥感时空信息融合方法 |
| CN109034066A (zh) * | 2018-07-27 | 2018-12-18 | 北方工业大学 | 基于多特征融合的建筑物识别方法 |
| CN109360147A (zh) * | 2018-09-03 | 2019-02-19 | 浙江大学 | 基于彩色图像融合的多光谱图像超分辨率重建方法 |
| CN109472743A (zh) * | 2018-10-25 | 2019-03-15 | 中国科学院电子学研究所 | 遥感图像的超分辨率重建方法 |
Non-Patent Citations (5)
| Title |
|---|
| ZHENFENG SHAO: "Remote Sensing Image Fusion With Deep Convolutional Neural Network" * |
| 张永梅等: "基于深度学习与超分辨率重建的遥感高时空融合方法" * |
| 滑瑞敏: "遥感时空大数据并行处理方法研究与设计", 《中国优秀硕士学位论文全文数据库（电子期刊）》 * |
| 王霄衣: "基于数据融合的遥感图像分辨率增强算法研究" * |
| 郭文静;李爱农;赵志强;王继燕;: "基于AVHRR和TM数据的时间序列较高分辨率NDVI数据集重构方法", 遥感技术与应用 * |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112508832A (zh) * | 2020-12-03 | 2021-03-16 | 中国矿业大学 | 一种面向对象的遥感影像数据时空融合方法、系统及设备 |
| CN112508832B (zh) * | 2020-12-03 | 2024-02-13 | 中国矿业大学 | 一种面向对象的遥感影像数据时空融合方法、系统及设备 |
| CN112819697A (zh) * | 2021-02-04 | 2021-05-18 | 北京师范大学 | 一种遥感影像时空融合方法及系统 |
| CN113012044A (zh) * | 2021-02-19 | 2021-06-22 | 北京师范大学 | 一种基于深度学习的遥感影像时空融合方法及系统 |
| WO2022180616A1 (en) * | 2021-02-28 | 2022-09-01 | The State Of Israel, Ministry Of Agriculture & Rural Development, Agricultural Research Organization (Aro) (Volcani Institute) | Estimation of a crop coefficient vector based on multispectral remote sensing |
| CN112862809A (zh) * | 2021-03-09 | 2021-05-28 | 中央财经大学 | 一种基于弱监督深度学习的空间分辨率增强方法、终端设备和计算机可读存储介质 |
| CN112862809B (zh) * | 2021-03-09 | 2023-07-18 | 中央财经大学 | 一种基于弱监督深度学习的空间分辨率增强方法、终端设备和计算机可读存储介质 |
| CN113160100A (zh) * | 2021-04-02 | 2021-07-23 | 深圳市规划国土房产信息中心(深圳市空间地理信息中心) | 一种基于光谱信息影像的融合方法、融合装置及介质 |
| CN113256493A (zh) * | 2021-05-28 | 2021-08-13 | 北京环境特性研究所 | 一种热红外遥感图像重建方法和装置 |
| CN113256493B (zh) * | 2021-05-28 | 2023-04-18 | 北京环境特性研究所 | 一种热红外遥感图像重建方法和装置 |
| CN113743419A (zh) * | 2021-08-04 | 2021-12-03 | 中国科学院地理科学与资源研究所 | 基于卷积人工神经网络特征提取的数据融合方法及系统 |
| CN114529489A (zh) * | 2022-03-01 | 2022-05-24 | 中国科学院深圳先进技术研究院 | 多源遥感图像融合方法、装置、设备及存储介质 |
| CN115272084A (zh) * | 2022-09-27 | 2022-11-01 | 成都信息工程大学 | 一种影像高分辨率重建方法及装置 |
| CN115272084B (zh) * | 2022-09-27 | 2022-12-16 | 成都信息工程大学 | 一种影像高分辨率重建方法及装置 |
| CN115346004A (zh) * | 2022-10-18 | 2022-11-15 | 深圳市规划和自然资源数据管理中心(深圳市空间地理信息中心) | 联合时空重建与cuda加速的遥感时间序列数据重建方法 |
| CN115346004B (zh) * | 2022-10-18 | 2023-01-31 | 深圳市规划和自然资源数据管理中心(深圳市空间地理信息中心) | 联合时空重建与cuda加速的遥感时间序列数据重建方法 |
| CN115359369A (zh) * | 2022-10-19 | 2022-11-18 | 中国科学院、水利部成都山地灾害与环境研究所 | 一种基于时相自适应的山地卫星影像融合方法和系统 |
| CN116310883A (zh) * | 2023-05-17 | 2023-06-23 | 山东建筑大学 | 基于遥感图像时空融合的农业灾害预测方法及相关设备 |
| CN116310883B (zh) * | 2023-05-17 | 2023-10-20 | 山东建筑大学 | 基于遥感图像时空融合的农业灾害预测方法及相关设备 |
| CN116612391A (zh) * | 2023-07-21 | 2023-08-18 | 四川发展环境科学技术研究院有限公司 | 基于光谱遥感和多特征融合的土地非法侵占检测方法 |
| CN116612391B (zh) * | 2023-07-21 | 2023-09-19 | 四川发展环境科学技术研究院有限公司 | 基于光谱遥感和多特征融合的土地非法侵占检测方法 |
| CN117115679A (zh) * | 2023-10-25 | 2023-11-24 | 北京佳格天地科技有限公司 | 一种时空融合遥感影像对筛选方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111932457B (zh) | 2023-06-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111932457B (zh) | 遥感影像高时空融合处理算法及装置 | |
| Sun et al. | A band divide-and-conquer multispectral and hyperspectral image fusion method | |
| Wang et al. | Ultra-dense GAN for satellite imagery super-resolution | |
| CN109949399B (zh) | 一种基于无人机航拍图像的场景三维重建方法 | |
| Li et al. | A new sensor bias-driven spatio-temporal fusion model based on convolutional neural networks | |
| CN114254715B (zh) | 一种gf-1 wfv卫星影像超分辨率方法、系统及应用 | |
| CN110415199B (zh) | 基于残差学习的多光谱遥感图像融合方法及装置 | |
| CN109840553B (zh) | 耕地作物类型的提取方法及系统、存储介质、电子设备 | |
| CN116309070A (zh) | 一种高光谱遥感图像超分辨率重建方法、装置及计算机设备 | |
| Wang et al. | Generating spatiotemporally consistent fractional vegetation cover at different scales using spatiotemporal fusion and multiresolution tree methods | |
| Wang et al. | Enhanced image prior for unsupervised remoting sensing super-resolution | |
| Li et al. | HS2P: Hierarchical spectral and structure-preserving fusion network for multimodal remote sensing image cloud and shadow removal | |
| Lv et al. | Novel enhanced UNet for change detection using multimodal remote sensing image | |
| Wang et al. | Settlement extraction in the North China Plain using Landsat and Beijing-1 multispectral data with an improved watershed segmentation algorithm | |
| Ye et al. | An unsupervised SAR and optical image fusion network based on structure-texture decomposition | |
| Jing et al. | Cloud removal for optical remote sensing imagery using the SPA-CycleGAN network | |
| Cui et al. | Combined Model Color-Correction Method Utilizing External Low-Frequency Reference Signals for Large-Scale Optical Satellite Image Mosaics. | |
| Li et al. | Integrating MODIS and Landsat imagery to monitor the small water area variations of reservoirs | |
| Li et al. | ConvFormerSR: Fusing transformers and convolutional neural networks for cross-sensor remote sensing imagery super-resolution | |
| Zhao et al. | Multi-stream deep residual network for cloud imputation using multi-resolution remote sensing imagery | |
| Xu et al. | Extraction of rivers and lakes on Tibetan Plateau based on Google Earth Engine | |
| Jing et al. | A Rigorously-Incremental Spatiotemporal Data Fusion Method for Fusing Remote Sensing Images | |
| Lu et al. | A novel global-aware deep network for road detection of very high resolution remote sensing imagery | |
| Wang et al. | Spatiotemporal temperature fusion based on a deep convolutional network | |
| Khandelwal et al. | Cloudnet: A deep learning approach for mitigating occlusions in landsat-8 imagery using data coalescence |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |