CN108932710A - 遥感时空信息融合方法 - Google Patents
遥感时空信息融合方法 Download PDFInfo
- Publication number
- CN108932710A CN108932710A CN201810753766.5A CN201810753766A CN108932710A CN 108932710 A CN108932710 A CN 108932710A CN 201810753766 A CN201810753766 A CN 201810753766A CN 108932710 A CN108932710 A CN 108932710A
- Authority
- CN
- China
- Prior art keywords
- image
- moment
- sparse
- analysis
- modis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 11
- 238000004458 analytical method Methods 0.000 claims abstract description 87
- 238000000034 method Methods 0.000 claims abstract description 37
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 13
- 230000004927 fusion Effects 0.000 claims abstract description 12
- 238000001228 spectrum Methods 0.000 claims abstract description 10
- 230000015556 catabolic process Effects 0.000 claims abstract description 6
- 238000006731 degradation reaction Methods 0.000 claims abstract description 6
- 230000008878 coupling Effects 0.000 claims description 40
- 238000010168 coupling process Methods 0.000 claims description 40
- 238000005859 coupling reaction Methods 0.000 claims description 40
- 230000006870 function Effects 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 14
- 230000002902 bimodal effect Effects 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 7
- 239000004615 ingredient Substances 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 2
- 238000011160 research Methods 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 7
- 230000009466 transformation Effects 0.000 description 6
- 230000002123 temporal effect Effects 0.000 description 5
- 230000007850 degeneration Effects 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 238000002156 mixing Methods 0.000 description 3
- VMXUWOKSQNHOCA-UKTHLTGXSA-N ranitidine Chemical compound [O-][N+](=O)\C=C(/NC)NCCSCC1=CC=C(CN(C)C)O1 VMXUWOKSQNHOCA-UKTHLTGXSA-N 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003153 chemical reaction reagent Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003412 degenerative effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种遥感时空信息融合方法,包括以下步骤:S1,对多光谱遥感影像进行预处理,获得t0时刻的Landsat图像,t0时刻的MODIS图像,t1时刻的MODIS的图像;S2,得到t0时刻的中间级图像;S3,得到t1时刻的Landsat图像的稀疏分析字典;S4,根据步骤S2得到的t0和t1时刻的中间级图像及步骤S3得到的t1时刻Landsat图像的稀疏分析字典,得到t1时刻的Landsat图像。本发明基于分析型稀疏的理论框架,对MODIS图像进行超分辨率重建得到中间图像,采用卷积神经网络的学习方法得到时空一体化的退化模型,利用中间图像和时空模型求出融合结果。
Description
技术领域
本发明涉及遥感时空信息融合方法技术领域。更具体地说,本发明涉及一种遥感时空信息融合方法。
背景技术
MODIS传感器对同一区域的采集频率为12小时/次,拍摄的图像的分辨率为250*250,而Landsat对同一区域的采集频率为16天/次。但是Landsat图像的分辨率是MODIS图像分辨率的分辨率为30*30。由于传感器硬件的限制,无法同时获得高空间分辨率和高时间分辨率的图像。大大影响了遥感技术在生产生活中的应用,时空融合技术是解决该问题的一个比较好的方法。
发明内容
本发明的目的是提供一种根据Landsat传感器得到的T0时刻的Landsat图像,MODIS传感器得到的T0时刻的MODIS图像及T1时刻的MODIS的图像,得到T1时刻的Landsat图像的遥感时空信息融合方法。
为了实现根据本发明的这些目的和其它优点,提供了一种遥感时空信息融合方法,采用分析型稀疏表达的图像处理算法,结合卷积神经网络得到图像退化模型和时变信息,利用双模态的图像融合方法得到理想的融合图像,具体包括以下步骤:
S1,对输入多光谱遥感影像进行数据预处理,获得t0时刻的Landsat图像,t0时刻的MODIS图像,t1时刻的MODIS的图像;
S2,基于步骤S1得到的t0和t1时刻的MODIS图像,采用双层架构结构的图像融合方法,对t0时刻的MODIS图像进行超分辨率重建,得到t0时刻的中间级图像;
S3,根据步骤S1得到的t0时刻的Landsat图像,t0时刻的MODIS图像以及t1时刻的MODIS的图像来构建数据稀疏分析耦合字典,并根据稀疏分析耦合字典通过稀疏分析耦合和时变信息映射的方法得到t1时刻的Landsat图像的稀疏分析字典;
S4,根据步骤S2得到的t0中间级图像及步骤S3得到的t1时刻的Landsat图像的稀疏分析字典,采用双模态理论框架进行融合重建,得到t1时刻的Landsat图像。
优选地,所述步骤S3具体包括:
S31,根据t0时刻的MODIS图像、及t0时刻的Landsat图像构建t0时刻的高分辨率和低分辨率图像的稀疏分析耦合字典Ω0和
S32,根据图像时变的回归模型,及卷积神经网络学习得到的时变参数T,采用对经过稀疏耦合字典训练方法得到的进行T参数变化的方法得到t1时刻的
S33,联合稀疏分析模型假设,给定一类信号存在所谓稀疏分析字典Ω对所有的信号s∈S形成分析稀疏矢量Ωs,用(Ωs)j表示分析矢量的第j个元素,假设MODIS遥感影像和Landsat遥感影像在t0和t1时间内的时变信息为SM和SL,假设一对模态(sM×sL)∈SM×SL,即这个信号对可以用近似的合适的分析算子(ΩM,ΩL)∈k×nM×k×nL对进行联合稀疏表示;采用经过配准和对应的训练样本对进行稀疏分析字典学习;
S34,采用nM=nL=n,根据分析稀疏字典学习的真值表达式可以得到分析稀疏耦合字典学习的真值表达;
S35,对所有的训练样本对采用式(2)进行期望求解;
同时,为了避免平凡解,增加如下两个式子的约束性条件,即两个正则化的组合可以用如下式子表示:
p(Ω):=k1h(Ω)+μ1r(Ω) (3)
根据公式(1)、(2)、(3)得到包含联合稀疏的目标函数得到最终的分析稀疏耦合字典的学习函数;
将分析稀疏耦合字典的学习问题可以转化为如下的最小化问题:
采用基于流行面的共轭梯度的方法对公式(5)优化求解,得到在t1时刻的Landsat图像的稀疏分析字典。
优选地,所述步骤S4具体包括:
S41,将t1时刻的中间级的MODIS-Landsat图像对分别用C(xi,yi,t1)和F(xi,yi,t1)表示,在t1时刻的分析稀疏系数为一个常数Ω1C(xi,yi,t1)=δ;
S42,t1时刻,在稀疏分析耦合字典的框架下,中间级的MODIS-Landsat图像对可以看做是同一物体的两个不同的模态;
S43,用表示稀疏先验项,将遥感影像时空融合的非约束优化问题可以转化为下面的线性求解问题:
经过求解可以得到最终融合的结果,即t1时刻的Landsat图像;
其中,λ拉格朗日常数,C0表示C(xi,yi,t0),C1表示C(xi,yi,t1),F0表示F(xi,yi,t0)、F1表示F(xi,yi,t1)。
优选地,对输入多光谱遥感影像进行数据预处理,包括连续多时相MODIS遥感影像和其对应的Landsat遥感数据获取匹配、配准、去云和影像噪声抑制。
本发明至少包括以下有益效果:
本发明首先基于分析型稀疏的理论框架,对MODIS图像进行超分辨率重建,重建结果作为中间图像。其次,本研究采用卷积神经网络的学习方法得到时空一体化的退化模型。利用中间数据和时空模型求出最后的融合结果,即根据Landsat传感器得到的T0时刻的Landsat图像,MODIS传感器得到的T0时刻的MODIS图像及T1时刻的MODIS的图像,得到T1时刻的Landsat图像。
本发明的其它优点、目标和特征将部分通过下面的说明体现,部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。
附图说明
图1为本发明的流程图;
图2为本发明所述分析稀疏耦合字典学习与时变信息映射机理图;
图3为本发明基于分析型稀疏表达的双模态时空融合技术路线示意图;
图4为本发明图像退化网络学习模型;
图5为本发明时变回归网络学习模型。
具体实施方式
下面结合附图对本发明做进一步的详细说明,以令本领域技术人员参照说明书文字能够据以实施。
需要说明的是,下述实施方案中所述实验方法,如无特殊说明,均为常规方法,所述试剂和材料,如无特殊说明,均可从商业途径获得;在本发明的描述中,术语“横向”、“纵向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,并不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
如图1-5所示,本发明提供遥感时空信息融合方法,采用分析型稀疏表达的图像处理算法,结合卷积神经网络得到图像退化模型和时变信息,利用双模态的图像融合方法得到理想的融合图像,具体包括以下步骤:
S1,对输入多光谱遥感影像进行数据预处理,获得t0时刻的Landsat图像,t0时刻的MODIS图像,t1时刻的MODIS的图像;
S2,基于步骤S1得到的t0和t1时刻的MODIS图像,采用双层架构结构的图像融合方法,对t0时刻的MODIS图像进行超分辨率重建,得到t0时刻的中间级图像;
S3,根据步骤S1得到的t0时刻的Landsat图像,t0时刻的MODIS图像以及t1时刻的MODIS的图像来构建数据稀疏分析耦合字典,并根据稀疏分析耦合字典通过稀疏分析耦合和时变信息映射的方法得到t1时刻的Landsat图像的稀疏分析字典;
S4,根据步骤S2得到的t0的中间级图像及步骤S3得到的t1时刻的Landsat图像的稀疏分析字典,采用双模态理论框架进行融合重建,得到t1时刻的Landsat图像。
在该种技术方案中,本发明专利主要是发明了一种在大分辨率差异条件下,高低分辨率图像之间对应的深层次分析稀疏特征,探索大分辨率差异图像的稀疏特征结构,实现多时相遥感影像的精准高效融合。总体技术结构如图1所示:
(1)对于输入的多光谱遥感影像,首先进行数据预处理,主要包括连续多时相MODIS遥感影像和其对应的Landsat遥感数据匹配、配准、去云和影像噪声抑制;其次,提取影像的光谱特性、光谱梯度、结构特征、对应时间的纹理变化特征等多种光谱、空间域低层特征,此部分工作将基于已有的研究基础实现;
(2)基于上一步的预处理结果,为了减少由于分辨率巨大差异对融合结果的影响,采用双层架构结构的图像融合方法,即超分辨率的图像作为中间图像。
(3)为实现分析稀疏特征的有效融合,采用稀疏分析耦合字典的方法实现时变信息的融合。基于深度学习的方法实现时空一体化模型的重建。
(4)基于数据驱动的时空模型和耦合分析稀疏先验的遥感影像融合,采用分块处理并兼顾整体的优化求解方法。最后对重叠像素进行加权平均,得出最优的融合图像输出。
在对输入的遥感图像预处理特别是图像配准完成以后,选取MODIS遥感影像和Landsat影像对应时刻的数据为研究对象。研究任务是利用Landsat-MODIS图像在t1时刻的遥感图像对和MODIS影像在t2时刻的图像,预测Landsat图像在t2时刻的数据。鉴于此,本研究首先基于分析型稀疏的理论框架,对MODIS图像进行超分辨率重建,重建结果作为中间图像。其次,本研究采用卷积神经网络的学习方法得到时空一体化的退化模型。利用中间数据和时空模型求出最后的融合结果。
在另一种技术方案中,所述步骤S3具体包括:
S31,根据t0时刻的MODIS图像、及t0时刻的Landsat图像构建t0时刻的高分辨率和低分辨率图像的稀疏分析耦合字典Ω0和
S32,根据图像时变的回归模型,及卷积神经网络学习得到的时变参数T,采用对经过稀疏耦合字典训练方法得到的进行T参数变化的方法得到t1时刻的
S33,联合稀疏分析模型假设,给定一类信号存在所谓稀疏分析字典Ω对所有的信号s∈S形成分析稀疏矢量Ωs,用(Ωs)j表示分析矢量的第j个元素,假设MODIS遥感影像和Landsat遥感影像在t0和t1时间内的时变信息为SM和SL,假设一对模态(sM×sL)∈SM×SL,即这个信号对可以用近似的合适的分析算子(ΩM,ΩL)∈k×nM×k×nL对进行联合稀疏表示;采用经过配准和对应的训练样本对进行稀疏分析字典学习;
S34,采用nM=nL=n,根据分析稀疏字典学习的真值表达式可以得到分析稀疏耦合字典学习的真值表达;
S35,对所有的训练样本对采用式(2)进行期望求解;
同时,为了避免平凡解,增加如下两个式子的约束性条件,即两个正则化的组合可以用如下式子表示:
p(Ω):=k1h(Ω)+μ1r(Ω) (3)
根据公式(1)、(2)、(3)得到包含联合稀疏的目标函数得到最终的分析稀疏耦合字典的学习函数;
将分析稀疏耦合字典的学习问题可以转化为如下的最小化问题:
采用基于流行面的共轭梯度的方法对公式(5)优化求解,得到在t1时刻的Landsat图像的稀疏分析字典。
在该种技术方案中,基于深度学习的思想深层次学习与挖掘遥感影像时变的本征变化关系以及高低分辨之间的退化关系。在本研究中,数据集里的每一个样本都通过时空特征的方式表示一个像素。并且每个传感器都经过辐射校正和归一化的预处理,同时为了处理的方便,在低分辨率图像的像素(MODIS图像)和高分辨率图像的每个像素(Landsat)之间的线性对应关系。
F(xi,yj,t0)=a*C(xi,yj,t0)+ε0 (7)
在这里,C和F分别表示某位置t0时刻高低分辨率图像,a表示空间变换系数组成的变换矩阵。ε0为退化残差和由于环境而引起的噪声污染。同理,同一传感器成像设备在不同时刻获得的图像,其变换矩阵是相同的,这一假设是合理的,因此可以给出式(8)在t1时刻高空间分辨率低时间分辨率图像和高时间分辨率低空间分辨率在同一地理位置(xi,yi)的空间信息的近似线性关系。
F(xi,yj,t1)=a*C(xi,yj,t1)+ε1 (8)
假设二者之间的残差是相同的,即有ε0=ε1。由式子(7)、(8)可知,预测的图像可以用式子(9)表示即;
该式子也表示两个时刻,高低分辨率图像之间的线性关系。这也表示预测时刻的高空间分辨率的图像是由t0时刻的高分辨率图像和低分辨率图像在该时段的时相变化经过采样变换得到的。在绝大部分的遥感场景里,研究的对象只考虑对应场景的生物信息和地物覆盖类别,因此同一场景里基于时间的时相变化信息应该趋于相同。鉴于此,本研究建立起相同条件下的场景时相变化模型,如式(10)所示。
C(xi,yj,t1)=T*C(xi,yj,t0)+ε (10)
F(xi,yj,t1)=T*F(xi,yj,t0)+ε
在这里,由于相同时间和相同场景的影像纯度是相同的,因此二者满足时间退化的基本机理。因此,可以建立起t0和t1时间的线性退化模型。同样的,这里的(xi,yi)表示给定像素的位置。T和ε表示在t0到t1时间内的相对时间变化的回归系数,在两种传感器成像的前提下应用相同的时间回归系数是合理的。
在这里变换参数a和时变回归参数的求解非常困难,为了得到比较稳定有效的模型退化关系,该项目研究拟基于卷积神经网络采用数据驱动的模型学习方法得到图像变换参数和时变回归参数。该部分具体的技术路线如图4-5所示。由图可知,该部分是由图像退化网络模型和时变回归学习模型两种学习网络组成。每种网络又由图像变换网络和特征映射网络两个部分组成,图像变换网络是一个参数重加权W的残差卷积神经网络组成。在模型退化网络里,卷积神经网络把输入的低分辨率图像通过映射函数y=aW(x);该代价函数用来计算一个标量值,来测量标记样本和训练样本之间的残差。类似地,在时变参数学习的网络模型里,采用W1为加权参数,网络函数y=TW1(x)通过其对应的特征映射关系,计算出比较合理的回归参数。此处的两个图像变换网络的训练采用随机梯度下降的方法求解代价函数重加权的最小值。
在本研究任务里,遥感影像的图像分辨率由于巨大的差异,无法实现在稀疏结构上的一一对应。但是,对于同一个场景在随时间的退化过程中二者在地物的时相变化上时一一对应的。受到该理论的启发,本研究拟采用不同高低空间分辨率图像之间具有相同的时变稀疏信息为依据,构造其对应的稀疏分析耦合字典来建立其二者之间的联系。
从图中可以看出,在本项目研究中,首先基于t0时刻的MODIS-Landsat图像对构建高分辨率和低分辨率图像的稀疏分析耦合字典Ω0、和根据图像时变的回归模型,基于第一部分卷积神经网络学习得到的时变参数T,为得到t1时刻预测图像的分析字典,采用对经过稀疏耦合字典训练方法得到的进行T参数变化的方法得到
联合稀疏分析模型假设,给定一类信号存在所谓稀疏分析字典Ω对所有的信号s∈S形成分析稀疏矢量Ωs。以代数几何的视角看,S是被归一化的子空间所包含的,s∈S存在于所有超平面的交点上,该超平面的法线方向由Ω所决定,即分析稀疏矢量Ωs中零元素对应的行的序号所决定。这个行序号的集合被称为s的联合支持集。
在这里,(Ωs)j表示分析矢量的第j个元素,在图像处理的应用中,S通常由矢量化的图像块组成。自然图像中的联合稀疏分析模型的显著例子是总变分算子(TV算子)。该模型假设由于相邻像素的差值得到分析矢量,即稀疏解析的结果。在本项目研究里,假设MODIS遥感影像和Landsat遥感影像在t0和t1时间内的时变信息为SM和SL两个来自同一场景的不同传感器获得的不同模态的时变信号。为了更加精确的对信号进行表示,假设一对模态(sM×sL)∈SM×SL,即这个信号对可以用近似的合适的分析算子(ΩM,ΩL)∈k×nM×k×nL对进行联合稀疏表示。基于信号结构信息都被预编码的先验知识,假设存在满足信号SM和SL的稀疏分析字典对的联合支持集是统计相关的。因此双模态联合稀疏分析模型成立是基于j属于SM条件下j属于SL的概率要比非条件下的概率大得多。从子空间角度来讲,每一个信号的子空间被划分成两种模态。按照这样的方式,划分得到了不仅有感兴趣信号的子空间,同时也和其他模态的信号相关联。在这里,为了得到联合学习的分析稀疏耦合字典对,本研究采用经过配准和对应的训练样本对进行稀疏分析字典学习。
为了简单起见,在本研究里,采用nM=nL=n。根据分析稀疏字典学习的真值表达式可以得到分析稀疏耦合字典学习的真值表达。
通过上式可以发现,该式子是一个非严格约束的字典学习表达式。该函数是经过松弛的光滑函数可以促进互相关的表示。后期的实验也证明该模式不需要字典的高度冗余表示。为了找到理想的耦合字典对,对所有的训练样本对采用式(2)进行期望求解。
同时,为了避免平凡解,增加两个式子的约束性条件。即两个正则化的组合可以用如下式子表示:
p(Ω):=k1h(Ω)+μ1r(Ω) (3)
包含联合稀疏的目标函数得到最终的分析稀疏耦合字典的学习函数。
分析稀疏耦合字典的学习问题可以转化为如下的最小化问题:
该式子的优化求解采用基于流行面的共轭梯度的方法进行的。这样就可以得到在MODIS传感器和Landsat传感器的时变图像得到的稀疏耦合字典对。
在另一种技术方案中,所述步骤S4具体包括:
S41,将t1时刻的中间级的MODIS-Landsat图像对分别用C(xi,yi,t1)和F(xi,yi,t1)表示,在t1时刻的分析稀疏系数为一个常数Ω1C(xi,yi,t1)=δ;
S42,t1时刻,在稀疏分析耦合字典的框架下,中间级的MODIS-Landsat图像对可以看做是同一物体的两个不同的模态;
S43,用表示稀疏先验项,将遥感影像时空融合的非约束优化问题可以转化为下面的线性求解问题:
经过求解可以得到最终融合的结果,即t1时刻的Landsat图像;
其中,λ拉格朗日常数,C0表示C(xi,yi,t0),C1表示C(xi,yi,t1),F0表示F(xi,yi,t0)、F1表示F(xi,yi,t1)。
在该种技术方案中,即首先得到了MODIS影像数据经过超分辨率重建的中间级图像,其次是经过映射变换已经得到了预测时刻的稀疏分析字典,并且该字典是和中间级图像对应的稀疏字典是耦合的。即经过稀疏分析耦合和时变信息映射的方法得到的t1时刻的Landsat图像的稀疏分析字典是和t1时刻中间级MODIS图像对应稀疏分析字典Ω1相互耦合的。二者在数据结构方面具有相同的空间特性,对同一时刻的地物信息来讲具有相同的分析稀疏特性。也就是说,中间级MODIS图像和待求影像是同一个场景图像的两个不同的模态。因此可以采用图像的双模态理论框架进行融合重建。该部分的技术路线如图3所示。
该部分的技术路线如下:在这里,t1时刻的MODIS-Landsat(下面的MODIS图像都是指经过超分辨率重建的中间级MODIS图像)图像对分别用C(xi,yi,t1)和F(xi,yi,t1)表示,二者具有相同的分析稀疏系数。两个不同传感器采集得到的同一目标在经过相同时间序列的变化特征是相同的。该变化特征如果经过解析能力相同或相近的稀疏分析字典,必然会得到一个近似的稀疏向量。在时间维度,借助于高时间分辨率低空间分辨率的MODIS遥感影像的地物空间特征信息反演Landsat遥感影像在待求时刻的空间信息变化关系。因此,在已知的Ω1和C(xi,yi,t1)的条件下,二者之间的乘积即在t1时刻的分析稀疏系数是一个常数即Ω1C(xi,yi,t1)=δ。
t1时刻,在稀疏分析耦合字典的框架下,MODIS-Landsat图像对可以看做是同一物体的两个不同的模态。结合式子(6),(为了书写的方便这里C(xi,yi,t0)C(xi,yi,t1)和F(xi,yi,t0)、F(xi,yi,t1)分别用C0、C1、F0和F1表示)用表示稀疏先验项,是由稀疏耦合项构成。遥感影像时空融合的非约束优化问题可以转化为下面的线性求解问题:
这里的λ为拉格朗日常数,用来平衡两项的参数。经过求解可以得到最终融合的结果。
在另一种技术方案中,对输入多光谱遥感影像进行数据预处理,包括连续多时相MODIS遥感影像和其对应的Landsat遥感数据获取匹配、配准、去云和影像噪声抑制。
尽管本发明的实施方案已公开如上,但其并不仅仅限于说明书和实施方式中所列运用,它完全可以被适用于各种适合本发明的领域,对于熟悉本领域的人员而言,可容易地实现另外的修改,因此在不背离权利要求及等同范围所限定的一般概念下,本发明并不限于特定的细节和这里示出与描述的图例。
Claims (4)
1.一种遥感时空信息融合方法,其特征在于,采用分析型稀疏表达的图像处理算法,结合卷积神经网络得到图像退化模型和时变信息,利用双模态的图像融合方法得到理想的融合图像,具体包括以下步骤:
S1,对输入多光谱遥感影像进行数据预处理,获得t0时刻的Landsat图像,t0时刻的MODIS图像,t1时刻的MODIS的图像;
S2,基于步骤S1得到的t0和t1时刻的MODIS图像,采用双层架构结构的图像融合方法,对t0时刻的MODIS图像进行超分辨率重建,得到t0时刻的中间级图像;
S3,根据步骤S1得到的t0时刻的Landsat图像,t0时刻的MODIS图像及以及t1时刻的MODIS的图像来构建数据稀疏分析耦合字典,并根据稀疏分析耦合字典通过稀疏分析耦合和时变信息映射的方法得到t1时刻的Landsat图像的稀疏分析字典;
S4,根据步骤S2得到的t0的中间级图像及步骤S3得到的t1时刻的Landsat图像的稀疏分析字典,采用双模态理论框架进行融合重建,得到t1时刻的Landsat图像。
2.如权利要求1所述的遥感时空信息融合方法,其特征在于,所述步骤S3具体包括:
S31,根据t0时刻的MODIS图像、及t0时刻的Landsat图像构建t0时刻的高分辨率和低分辨率图像的稀疏分析耦合字典Ω0和Ω’0;
S32,根据图像时变的回归模型,及卷积神经网络学习得到的时变参数T,采用对经过稀疏耦合字典训练方法得到的Ω’0进行T参数变化的方法得到t1时刻的Ω’1;
S33,联合稀疏分析模型假设,给定一类信号存在所谓稀疏分析字典Ω对所有的信号s∈S形成分析稀疏矢量Ωs,用(Ωs)j表示分析矢量的第j个元素,假设MODIS遥感影像和Landsat遥感影像在t0和t1时间内的时变信息为SM和SL,假设一对模态(sM×sL)∈SM×SL,即这个信号对可以用近似的合适的分析算子(ΩM,ΩL)∈k×nM×k×nL对进行联合稀疏表示;采用经过配准和对应的训练样本对进行稀疏分析字典学习;
S34,采用nM=nL=n,根据分析稀疏字典学习的真值表达式可以得到分析稀疏耦合字典学习的真值表达;
S35,对所有的训练样本对采用式(2)进行期望求解;
同时,为了避免平凡解,增加如下两个式子的约束性条件,即两个正则化的组合可以用如下式子表示:
p(Ω):=k1h(Ω)+μ1r(Ω) (3)
根据公式(1)、(2)、(3)得到包含联合稀疏的目标函数得到最终的分析稀疏耦合字典的学习函数;
将分析稀疏耦合字典的学习问题可以转化为如下的最小化问题:
采用基于流行面的共轭梯度的方法对公式(5)优化求解,得到在t1时刻的Landsat图像的稀疏分析字典。
3.如权利要求1所述的遥感时空信息融合方法,其特征在于,所述步骤S4具体包括:
S41,将t1时刻的中间级的MODIS-Landsat图像对分别用和F(xi,yi,t1)表示,在t1时刻的分析稀疏系数为一个常数Ω1C(xi,yi,t1)=δ;
S42,t1时刻,在稀疏分析耦合字典的框架下,中间级的MODIS-Landsat图像对可以看做是同一物体的两个不同的模态;
S43,用表示稀疏先验项,将遥感影像时空融合的非约束优化问题可以转化为下面的线性求解问题:
经过求解可以得到最终融合的结果,即t1时刻的Landsat图像;
其中,λ拉格朗日常数,C0表示C(xi,yi,t0),C1表示C(xi,yi,t1),F0表示F(xi,yi,t0)、F1表示F(xi,yi,t1)。
4.如权利要求1所述的遥感时空信息融合方法,其特征在于,对输入多光谱遥感影像进行数据预处理,包括连续多时相MODIS遥感影像和其对应的Landsat遥感数据获取匹配、配准、去云和影像噪声抑制。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810753766.5A CN108932710B (zh) | 2018-07-10 | 2018-07-10 | 遥感时空信息融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810753766.5A CN108932710B (zh) | 2018-07-10 | 2018-07-10 | 遥感时空信息融合方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108932710A true CN108932710A (zh) | 2018-12-04 |
CN108932710B CN108932710B (zh) | 2021-11-12 |
Family
ID=64447241
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810753766.5A Active CN108932710B (zh) | 2018-07-10 | 2018-07-10 | 遥感时空信息融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108932710B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109872278A (zh) * | 2018-12-18 | 2019-06-11 | 深圳先进技术研究院 | 基于u形网络和生成对抗网络的图像云层移除方法 |
CN111898625A (zh) * | 2020-04-24 | 2020-11-06 | 合肥湛达智能科技有限公司 | 一种基于嵌入式终端的双摄像头时空融合方法 |
CN111932457A (zh) * | 2020-08-06 | 2020-11-13 | 北方工业大学 | 遥感影像高时空融合处理算法及装置 |
CN113012044A (zh) * | 2021-02-19 | 2021-06-22 | 北京师范大学 | 一种基于深度学习的遥感影像时空融合方法及系统 |
CN113222010A (zh) * | 2021-05-10 | 2021-08-06 | 北京师范大学 | 一种融合地表反射率图像的方法和装置 |
NL2026463B1 (en) * | 2020-09-14 | 2022-05-12 | Cosine Remote Sensing B V | Method and tool to georeference, cross-calibrate and fuse remote sensed imagery |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106251320A (zh) * | 2016-08-15 | 2016-12-21 | 西北大学 | 基于联合稀疏与结构字典的遥感图像融合方法 |
US20170186135A1 (en) * | 2015-12-26 | 2017-06-29 | Intel Corporation | Multi-stage image super-resolution with reference merging using personalized dictionaries |
CN107203968A (zh) * | 2017-05-25 | 2017-09-26 | 四川大学 | 基于改进的子空间追踪算法的单幅图像超分辨率重建方法 |
CN107818555A (zh) * | 2017-10-27 | 2018-03-20 | 武汉大学 | 一种基于最大后验的多字典遥感图像时空融合方法 |
-
2018
- 2018-07-10 CN CN201810753766.5A patent/CN108932710B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170186135A1 (en) * | 2015-12-26 | 2017-06-29 | Intel Corporation | Multi-stage image super-resolution with reference merging using personalized dictionaries |
CN106251320A (zh) * | 2016-08-15 | 2016-12-21 | 西北大学 | 基于联合稀疏与结构字典的遥感图像融合方法 |
CN107203968A (zh) * | 2017-05-25 | 2017-09-26 | 四川大学 | 基于改进的子空间追踪算法的单幅图像超分辨率重建方法 |
CN107818555A (zh) * | 2017-10-27 | 2018-03-20 | 武汉大学 | 一种基于最大后验的多字典遥感图像时空融合方法 |
Non-Patent Citations (3)
Title |
---|
JINGBO WEI等: "Spatiotemporal Fusion of MODIS and Landsat-7 Reflectance Images via Compressed Sensing", 《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》 * |
邓董建: "基于稀疏表达的遥感影像的多时相融合", 《中国优秀硕士学位论文全文数据库基础科学辑》 * |
韩昌: "基于联合稀疏分析模型的遥感图像融合研究", 《万方学位论文数据库》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109872278A (zh) * | 2018-12-18 | 2019-06-11 | 深圳先进技术研究院 | 基于u形网络和生成对抗网络的图像云层移除方法 |
CN111898625A (zh) * | 2020-04-24 | 2020-11-06 | 合肥湛达智能科技有限公司 | 一种基于嵌入式终端的双摄像头时空融合方法 |
CN111932457A (zh) * | 2020-08-06 | 2020-11-13 | 北方工业大学 | 遥感影像高时空融合处理算法及装置 |
NL2026463B1 (en) * | 2020-09-14 | 2022-05-12 | Cosine Remote Sensing B V | Method and tool to georeference, cross-calibrate and fuse remote sensed imagery |
CN113012044A (zh) * | 2021-02-19 | 2021-06-22 | 北京师范大学 | 一种基于深度学习的遥感影像时空融合方法及系统 |
CN113222010A (zh) * | 2021-05-10 | 2021-08-06 | 北京师范大学 | 一种融合地表反射率图像的方法和装置 |
CN113222010B (zh) * | 2021-05-10 | 2022-10-04 | 北京师范大学 | 一种融合地表反射率图像的方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN108932710B (zh) | 2021-11-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108932710A (zh) | 遥感时空信息融合方法 | |
Fu et al. | Bidirectional 3D quasi-recurrent neural network for hyperspectral image super-resolution | |
Li et al. | Generating a series of fine spatial and temporal resolution land cover maps by fusing coarse spatial resolution remotely sensed images and fine spatial resolution land cover maps | |
Mei et al. | Learning hyperspectral images from RGB images via a coarse-to-fine CNN | |
Zhang et al. | Tensor discriminative locality alignment for hyperspectral image spectral–spatial feature extraction | |
Wang et al. | Sparse representation-based MRI super-resolution reconstruction | |
Tian et al. | A multi-order derivative feature-based quality assessment model for light field image | |
CN112070078B (zh) | 基于深度学习的土地利用分类方法及系统 | |
Yang et al. | From center to surrounding: An interactive learning framework for hyperspectral image classification | |
Lin et al. | Integrating model-and data-driven methods for synchronous adaptive multi-band image fusion | |
Ma et al. | Learning a 3D-CNN and transformer prior for hyperspectral image super-resolution | |
CN107818555A (zh) | 一种基于最大后验的多字典遥感图像时空融合方法 | |
Zhu et al. | Stacked U-shape networks with channel-wise attention for image super-resolution | |
Wu et al. | Fusing Landsat 8 and Sentinel-2 data for 10-m dense time-series imagery using a degradation-term constrained deep network | |
Kow et al. | Real-time image-based air quality estimation by deep learning neural networks | |
CN1758283A (zh) | 模拟多尺度交叠感受野的神经网络及其建立方法和应用 | |
CN110097499A (zh) | 基于谱混合核高斯过程回归的单帧图像超分辨率重建方法 | |
Wang et al. | Hyperspectral image super-resolution meets deep learning: A survey and perspective | |
Tan et al. | A robust model for MODIS and Landsat image fusion considering input noise | |
Zhang et al. | Object-based area-to-point regression kriging for pansharpening | |
Cao et al. | Unsupervised hybrid network of transformer and CNN for blind hyperspectral and multispectral image fusion | |
Zhu et al. | Super resolution reconstruction method for infrared images based on pseudo transferred features | |
Chen et al. | Spatiotemporal fusion for spectral remote sensing: A statistical analysis and review | |
Huang et al. | An unsupervised Laplacian pyramid network for radiometrically accurate data fusion of hyperspectral and multispectral imagery | |
CN112529828B (zh) | 参考数据非敏感的遥感影像时空融合模型构建方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |