CN115272144A - 面向高光谱图像和多光谱图像的时空谱融合方法 - Google Patents
面向高光谱图像和多光谱图像的时空谱融合方法 Download PDFInfo
- Publication number
- CN115272144A CN115272144A CN202210715154.3A CN202210715154A CN115272144A CN 115272144 A CN115272144 A CN 115272144A CN 202210715154 A CN202210715154 A CN 202210715154A CN 115272144 A CN115272144 A CN 115272144A
- Authority
- CN
- China
- Prior art keywords
- image
- hsi
- pixel
- hyperspectral
- multispectral
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001228 spectrum Methods 0.000 title claims abstract description 28
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 18
- 238000000034 method Methods 0.000 claims abstract description 59
- 230000004927 fusion Effects 0.000 claims abstract description 27
- 230000003595 spectral effect Effects 0.000 claims abstract description 12
- 230000008859 change Effects 0.000 claims description 30
- 238000000354 decomposition reaction Methods 0.000 claims description 10
- 101000979735 Homo sapiens NADH dehydrogenase [ubiquinone] 1 beta subcomplex subunit 8, mitochondrial Proteins 0.000 claims description 9
- 102100024975 NADH dehydrogenase [ubiquinone] 1 beta subcomplex subunit 8, mitochondrial Human genes 0.000 claims description 9
- 230000002123 temporal effect Effects 0.000 claims description 9
- 238000012795 verification Methods 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 229910052709 silver Inorganic materials 0.000 claims description 3
- 239000004332 silver Substances 0.000 claims description 3
- 230000009897 systematic effect Effects 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 abstract description 2
- 238000011160 research Methods 0.000 description 10
- 238000011161 development Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012847 principal component analysis method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明涉及时空谱遥感数据融合技术领域,尤其是一种面向高光谱图像和多光谱图像的时空谱融合方法，通过对高分一号多光谱(GF1WFV)图像和高分五号高光谱(GF5AHSI)图像的预处理，并对光谱图像空间分辨率和高光谱图像光谱分辨率的分析，将参考时刻的高光谱分辨率和预测时刻的多光谱高空间分辨率进行保留，构建时空谱综合预测模型，得到集合新时相的高空间高光谱图像，并利用预测时刻的多光谱图像进行验证。本发明的有益效果是在某时刻高光谱图像难以获取时，可用过去时刻的多光谱图像和高光谱图像进行预测，得到一幅能够满足需求时刻高空间分辨率的高光谱图像，解决数据源的问题，从而服务于众多高光谱应用领域。
Description
技术领域
本发明涉及时空谱遥感数据融合技术领域,尤其是一种面向高光谱图像和多光谱图像的时空谱融合方法。
背景技术
近年来随着高光谱成像技术的快速发展,高光谱遥感数据在各领域应用研究中取得了良好的发展与突破。高光谱遥感数据具有波段多，光谱分辨率高的优点，但高光谱数据也存在着空间分辨率低，卫星种类少而导致高光谱数据覆盖频次低的缺点，单一传感器无法同时满足同类数据的高空间、高光谱、高时间特性，大大制约了高光谱数据的利用程度。多传感器的数据融合能够有效解决这一问题，有效提高光谱数据的利用效率。
时空谱遥感数据融合是将两个或者多个影像数据的时间、空间、光谱信息进行协同组合。数据融合的概念和方法发展于20世纪70年代，有文献记录的遥感数据融合起源于20世纪90年代，21世纪以来，众多学者开展了融合技术和应用研究，国内外研究文献近万篇，也有众多学者结合经典方法和新兴高光谱数据进行了测试验证，对融合方法选择起到了很好的指导意义。目前的融合方法按指标提升可分为三类：空间维提升(成分替换法、多分辨率分析法)、光谱维提升(稀疏解混法、人工智能法)和时间维提升(权重函数法、线性优化分解法、人工智能法)，从而衍生了空谱、时空、时空谱融合的研究。空谱融合多采用模型优化的方法解决低分辨率像元的混合像元问题，包括基于锐化的方法(Gram-Smidt变换、Brovey算法、颜色空间变换法、主成分分析法、空谱采样建模法如稀疏表达和神经网络)，基于成像模型的方法(基于混合像元分解、张量分解、耦合非负矩阵分解(CNMF)、低秩分解(LRF))，基于张量的融合方法，基于深度网络的方法如引入残差注意力网络提升空间和光谱的融合信息等，然而目前研究高光谱与其他数据融合的研究并未考虑高光谱反演特征的时序变化。时空融合主要考虑将时间序列影像的变化信息注入基准影像，发展至今已涌现100多种方法，主要包括基于空间加权STARFM、基于空间解混STDAF、多种组合的方法)、改进GLP时空融合方法，以及一系列衍生研究的方法，目前的时空研究主要集中在多光谱与多光谱图像之间(如modis与landsat、GF1 PMS与GF1 WFV)的时空融合模拟，高光谱图像空间时间尺度提升的研究应用文献记录还比较少。
高光谱影像通常具有较低的空间分辨率，混合像元是不可忽视的问题，因此研究高光谱的融合，需考虑混合像元分解问题。结合加权、解混、插值思想的FSDAF(Flexiblespatial-temporal Data Fusion)模型利用权重函数将解混结果与空间插值相结合，能获得较好的鲁棒性，适用于异质性高、变化大的场景中。本发明基于FSDAF方法进行高光谱图像的时空融合预测，基于T0时刻的GF5 ASHI和GF1 WFV图像，以及T1、T2时刻的GF1 WFV图像，融合得到T1、T2时刻的GF5 ASHI模拟图像和分类结果，并与传统方法的融合和分类结果进行比较，解决了高光谱卫星数据获取困难、时间频次低等问题，为能充分发挥高光谱特色的时空动态预测研究提供了方法。
发明内容
针对上述现有技术中存在的不足，本发明的目的在于提供了一种面向高光谱图像和多光谱图像的时空谱融合方法，为解决高光谱卫星数据获取困难、时间频次低等问题，为充分发挥高光谱特色的时空动态预测研究提供了方法。
为解决上述问题，本发明公开了一种面向高光谱图像和多光谱图像的时空谱融合方法，在时空谱融合中，GF5 ASHI提供光谱信息，GF1WFV提供时间和空间信息，将参考时刻和预测时刻分别定义为T1、T2，GF5 AHSI和GF1 WFV影像分别定义为HSI、MSI；包括以下步骤：
S1.对T1时刻HSI图像的混合像元分解，获得端元类别和丰度图；
S2.估计每一类影像的从T1到T2的时间变化；
S3.假设T1到T2端元类别不发生变化，将时间变化残差加入到T1时刻的HSI图像上，得到T2时刻的HSI图像预测值；
S4.利用薄板样条插值法TPS对T2时刻MSI图像的每个波段进行插值，预测得到T2时刻的HSI图像，并将残差分配给预测的HSI图像；
S5.使用邻域信息得到T2时刻的HSI影像。
作为优选，S1的具体方法如下：
预定义(xi,yi)为每个像元的索引；i为MSI的像元索引；j为每个HSI像元中对应MSI图像的像元索引，j＝1...n；M1(xi,yi,b)与M2(xi,yi,b)分别表示T1和T2时刻，多光谱图像在b波段在(xi,yi)处的像元值；H1(xij,yij,b)与H2(xij,yij,b)分别表示T1和T2时刻，多光谱图像在b波段在(xi,yi)处的像元值；hc(xi,yi)表示高光谱图像上，端元类别c在(xi,yi)处的像元值；ΔM(xi,yi,b)表示T1和T2时间，多光谱图像在b波段在(xi,yi)像元处的变化值；ΔH(c,b)表示T1和T2时间，地物端元类别c在高光谱图像上的变化值；
高光谱图像的低空间分辨率特性导致混合像元的产生，首先对T1时刻的HSI图像混合像元分解，得到地物端元类别m和以及像元内每类地物的丰度Hm(xi,yi)：
定义H(xi,yi)表示为GF5 ASHI的第i个像元，n为H(xi,yi)中包含的端元个数，则第i个像元的每类丰度表示为：
式中，aj为地物cj在f(xi,yi)中的丰度，ε为模型误差，该误差可能是由带宽、太阳几何形状和观察角度的差异引起的；
通过HSI中每个像元中所包含的类别数量，可计算出一个MSI图像中的端元类别：
Hm(xi,yi)＝Nc(xi，yi)/m (2)
Nc(xi,yi)为(xi,yi)处的MSI内属于c类的HSI图像像素数。
作为优选，S2的具体方法如下：预测时间的变化过程中，假设地物类型没有变化,那么HSI中地物类别的时间变化可表示为ΔH(c，b),MSI图像的时间变化为：
ΔM(xi,yi,b)＝Mn(xi,yi,b)-Mm(xi,yi,b) (3)
结合混合像元分解模型，又可表示为：
式中，选择n(n>l)个高光谱像元组成混合像元方程组对ΔH(class，b)求解，尽量选择每个类别中的高纯度像元。
作为优选，S3的具体方法如下：
预测地物类型发生变化的事件：假设T0-TP的土地类型不发生变化，将时间变化残差添加至T0多光谱图像上，得到TP时刻多光谱图像的时间预测值Htp；
Hn-tp(xij,yij,b)＝H1(xij,yij,b)+ΔH(class,b) (5)
式中，
每个MSI的像素等于HSI像素及系统误差φ的和,T0、TP时刻的MSI图像表示为：
式中，
每个MSI图像像素包含m个HSI图像像素。
作为优选，S4的具体方法如下：残差计算和分配，前面预测了时间变化，但未考虑土地类型变化较大的情况，因此需要引入残差R来表征类别差异；
空间变化信息从TP时刻的MSI图像中获得，对每个波段图像b使用薄板样条法进行插值：
其中，
ri 2＝(x-xi)2+(y-yi)2，N是已知像元个数，
通过最小化来优化上式中的系数，
TP时刻的HSI图像空间预测(表示为下标sp)表示为：
Hn-sp(xij,yij,b)＝fTPS-b(xij,yij) (12)
如果图像的变化是同质的，那么预测的HSI图像空间要素与真是图像之间可认为没有误差，基于时间变化预测HSI图像的误差表示为：
Eho(xij,yij,b)＝Hn-sp(xij,yij,b)-Hn-tp(xij,yij,b) (13)
如果图像地类是异质的，假设每个MSI像元对应的HSI像元有相同的误差，则
Ehe(xij,yij,b)＝R(xi,yi,b) (14)
引入HI作为表征同质程度的银子，若窗口内的第k个HSI像元与中心像元(xij,yij)的土地类型一致，则令Ik＝1，反之为0；
Ehe(xij,yij,b)＝R(xi,yi,b) (15)
将同质、异质误差结合，则综合权重weight可表示为：
weight(xij,yij,b)＝Eho(xij,yij,b)×HI(xij,yij)+Ehe(xij,yij,b)×(1-HI(xij,yij)) (16)
将weight归一化得到WEIGHT，则分配到HSI像元上的残差为
r(xij,yij,b)＝m×r(xi,yi,b)×WEIGHT(xij,yij,b) (17)
HSI像元的全部变化表示为：
作为优选，S5的具体方法如下：最终预测，综合考虑邻近像元k与目标中心像元之间的空间距离、光谱相似度，得出权重Wk，则最终HSI像元预测公式表达为：
作为优选，还包括以下步骤：
S6.模型验证：通过分析建立了高光谱与多光谱影像的时空谱融合模型，对高分一号多光谱和高分五号高光谱数据进行了处理，并利用高分一号多光谱影像作为验证图像，对预测图像的信噪比、图像质量、信息熵进行验证。
由于采用上述技术方案，本发明的有益效果如下：
一种面向高光谱图像和多光谱图像的时空谱融合方法，基于多光谱高空间分辨率和高光谱图像的空间和光谱综合优势，结合混合像元分解模型进行数据融合，面向目前全球高光谱卫星少，数据难获取和全面覆盖等问题，计算出需求时刻的高光谱图像，解决各行业高光谱遥感数据应用需求，也是高光谱发展和时空融合的技术趋势，可解决环境变化监测、农业发展、地表类型变化等问题。
附图说明
图1本发明的技术流程图；
图2本发明的数据预处理流程图；
图3高光谱图像和多光谱图像的像元图。
具体实施方式
以下结合附图对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。
如图1所示，本发明提供一种面向高光谱图像和多光谱图像的时空谱融合方法，在时空谱融合中，GF5 ASHI提供光谱信息，GF1WFV提供时间和空间信息，将参考时刻和预测时刻分别定义为T1、T2，GF5 AHSI和GF1 WFV影像分别定义为HSI、MSI；基于FSDAF方法的高光谱时空预测模型修正，主要目标是获取HSI图像的高光谱信息，以及MSI图像的高空间和时间尺度信息，包括以下步骤：
S1.对T1时刻HSI图像的混合像元分解，获得端元类别和丰度图；
混合像元：是构成遥感影像的基本单元，若其中包含多种覆盖类型，称为混合像元；
端元：每个混合像元的基本组成单元；
丰度：每个端元在其所在像元中所占比例，HSI图像的空间分辨率低，一个像元包含的地物类别较多，每种类别即为单元，每种类别在一个像元中所占的比例即为丰度；
S2.估计每一类影像的从T1到T2的时间变化；
S3.假设T1到T2端元类别不发生变化，将时间变化残差(各种端元类别的丰度比例变化实际值与观测值的残差)加入到T1时刻的HSI图像上，得到T2时刻的HSI图像预测值；
S4.利用薄板样条插值法(TPS：是一种常用的2D空间插值方法，经常用于图像变形等，通过少量的控制点就可以驱动图像进行变化。)对T2时刻MSI图像的每个波段进行插值，预测得到T2时刻的HSI图像，并将残差分配给预测的HSI图像；
S5.使用邻域信息得到T2时刻的HSI影像；
S6.模型验证：通过分析建立了高光谱与多光谱影像的时空谱融合模型，对高分一号多光谱和高分五号高光谱数据进行了处理，并利用高分一号多光谱影像作为验证图像，对预测图像的信噪比、图像质量、信息熵等进行验证。
进一步地，S1的具体方法如下：
预定义(xi,yi)为每个像元的索引；i为MSI的像元索引；j为每个HSI像元中对应MSI图像的像元索引，j＝1...n；M1(xi,yi,b)与M2(xi,yi,b)分别表示T1和T2时刻，多光谱图像在b波段在(xi,yi)处的像元值；H1(xij,yij,b)与H2(xij,yij,b)分别表示T1和T2时刻，多光谱图像在b波段在(xi,yi)处的像元值；hc(xi,yi)表示高光谱图像上，端元类别c在(xi,yi)处的像元值；ΔM(xi,yi,b)表示T1和T2时间，多光谱图像在b波段在(xi,yi)像元处的变化值；ΔH(c,b)表示T1和T2时间，地物端元类别c在高光谱图像上的变化值；
高光谱图像的低空间分辨率特性导致混合像元的产生，首先对T1时刻的HSI图像混合像元分解，得到地物端元类别m和以及像元内每类地物的丰度Hm(xi,yi)：
如图3所示，左-GF5 ASHI一个像元，右-GF1 WFV对应混合像元，定义H(xi,yi)表示为GF5 ASHI的第i个像元，n为H(xi,yi)中包含的端元个数，则第i个像元的每类丰度表示为：
式中，aj为地物cj在f(xi,yi)中的丰度，ε为模型误差，该误差可能是由带宽、太阳几何形状和观察角度的差异引起的。
通过HSI中每个像元中所包含的类别数量，可计算出一个MSI图像中的端元类别：
Hm(xi,yi)＝Nc(xi，yi)/m (2)
Nc(xi,yi)为(xi,yi)处的MSI内属于c类的HSI图像像素数，m为地物端元类别。
S2的具体方法如下：预测时间的变化过程中，假设地物类型没有变化。
那么HSI中地物类别的时间变化可表示为ΔH(c，b)。MSI图像的时间变化为：
ΔM(xi,yi,b)＝Mn(xi,yi,b)-Mm(xi,yi,b) (3)
结合混合像元分解模型，又可表示为：
式中，选择n(n>l)个高光谱像元组成混合像元方程组对ΔH(class，b)求解，尽量选择每个类别中的高纯度像元。
S3的具体方法如下：空间预测(预测地物类型发生变化的事件)：假设T0-TP的土地类型不发生变化，将时间变化残差添加至T0多光谱图像上，得到TP时刻多光谱图像的时间预测值Htp。
Hn-tp(xij,yij,b)＝H1(xij,yij,b)+ΔH(class,b) (5)
式中，
每个MSI的像素等于HSI像素及系统误差φ的和。T0、TP时刻的MSI图像表示为：
式中，
每个MSI图像像素包含m个HSI图像像素；
S4的具体方法如下：残差计算和分配
前面预测了时间变化，但未考虑土地类型变化较大的情况，因此需要引入残差R来表征类别差异。
空间变化信息从TP时刻的MSI图像中获得，对每个波段图像b使用薄板样条法进行插值：
其中，
ri 2＝(x-xi)2+(y-yi)2，N是已知像元个数。
通过最小化来优化上式中的系数。
TP时刻的HSI图像空间预测(表示为下标sp)表示为：
Hn-sp(xij,yij,b)＝fTPS-b(xij,yij) (12)
如果图像的变化是同质的，那么预测的HSI图像空间要素与真是图像之间可认为没有误差。基于时间变化预测HSI图像的误差表示为：
Eho(xij,yij,b)＝Hn-sp(xij,yij,b)-Hn-tp(xij,yij,b) (13)
如果图像地类是异质的，假设每个MSI像元对应的HSI像元有相同的误差，则
Ehe(xij,yij,b)＝R(xi,yi,b) (14)
引入HI作为表征同质程度的银子，若窗口内的第k个HSI像元与中心像元(xij,yij)的土地类型一致，则令Ik＝1，反之为0，
Ehe(xij,yij,b)＝R(xi,yi,b) (15)
将同质、异质误差结合，则综合权重weight可表示为：
weight(xij,yij,b)＝Eho(xij,yij,b)×HI(xij,yij)+Ehe(xij,yij,b)×(1-HI(xij,yij)) (16)
将weight归一化得到WEIGHT。则分配到HSI像元上的残差为
r(xij,yij,b)＝m×r(xi,yi,b)×WEIGHT(xij,yij,b) (17)
HSI像元的全部变化表示为：
S5的具体方法如下：最终预测。综合考虑邻近像元k与目标中心像元之间的空间距离、光谱相似度，得出权重Wk，则最终HSI像元预测公式表达为：
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (7)
1.一种面向高光谱图像和多光谱图像的时空谱融合方法，其特征在于，
在时空谱融合中，GF5 ASHI提供光谱信息，GF1WFV提供时间和空间信息，将参考时刻和预测时刻分别定义为T1、T2，GF5 AHSI和GF1 WFV影像分别定义为HSI、MSI；包括以下步骤：
S1.对T1时刻HSI图像的混合像元分解，获得端元类别和丰度图；
S2.估计每一类影像的从T1到T2的时间变化；
S3.假设T1到T2端元类别不发生变化，将时间变化残差加入到T1时刻的HSI图像上，得到T2时刻的HSI图像预测值；
S4.利用薄板样条插值法TPS对T2时刻MSI图像的每个波段进行插值，预测得到T2时刻的HSI图像，并将残差分配给预测的HSI图像；
S5.使用邻域信息得到T2时刻的HSI影像。
2.根据权利要求1所述的一种面向高光谱图像和多光谱图像的时空谱融合方法，其特征在于，S1的具体方法如下：
预定义(xi,yi)为每个像元的索引；i为MSI的像元索引；j为每个HSI像元中对应MSI图像的像元索引，j＝1...n；M1(xi,yi,b)与M2(xi,yi,b)分别表示T1和T2时刻，多光谱图像在b波段在(xi,yi)处的像元值；H1(xij,yij,b)与H2(xij,yij,b)分别表示T1和T2时刻，多光谱图像在b波段在(xi,yi)处的像元值；hc(xi,yi)表示高光谱图像上，端元类别c在(xi,yi)处的像元值；ΔM(xi,yi,b)表示T1和T2时间，多光谱图像在b波段在(xi,yi)像元处的变化值；ΔH(c,b)表示T1和T2时间，地物端元类别c在高光谱图像上的变化值；
高光谱图像的低空间分辨率特性导致混合像元的产生，首先对T1时刻的HSI图像混合像元分解，得到地物端元类别m和以及像元内每类地物的丰度Hm(xi,yi)：
定义H(xi,yi)表示为GF5 ASHI的第i个像元，n为H(xi,yi)中包含的端元个数，则第i个像元的每类丰度表示为：
式中，aj为地物cj在f(xi,yi)中的丰度，ε为模型误差，该误差可能是由带宽、太阳几何形状和观察角度的差异引起的；
通过HSI中每个像元中所包含的类别数量，可计算出一个MSI图像中的端元类别：
Hm(xi,yi)＝Nc(xi，yi)/m (2)
Nc(xi,yi)为(xi,yi)处的MSI内属于c类的HSI图像像素数。
3.根据权利要求2所述的一种面向高光谱图像和多光谱图像的时空谱融合方法，其特征在于，S2的具体方法如下：预测时间的变化过程中，假设地物类型没有变化,那么HSI中地物类别的时间变化可表示为ΔH(c，b),MSI图像的时间变化为：
ΔM(xi,yi,b)＝Mn(xi,yi,b)-Mm(xi,yi,b) (3)
结合混合像元分解模型，又可表示为：
式中，选择n(n＞l)个高光谱像元组成混合像元方程组对ΔH(class，b)求解，尽量选择每个类别中的高纯度像元。
4.根据权利要求3所述的一种面向高光谱图像和多光谱图像的时空谱融合方法，其特征在于，S3的具体方法如下：
预测地物类型发生变化的事件：假设T0-TP的土地类型不发生变化，将时间变化残差添加至T0多光谱图像上，得到TP时刻多光谱图像的时间预测值Htp；
Hn-tp(xij,yij,b)＝H1(xij,yij,b)+ΔH(class,b) (5)
式中，
每个MSI的像素等于HSI像素及系统误差φ的和,T0、TP时刻的MSI图像表示为：
式中，
每个MSI图像像素包含m个HSI图像像素。
5.根据权利要求4所述的一种面向高光谱图像和多光谱图像的时空谱融合方法，其特征在于，S4的具体方法如下：残差计算和分配，前面预测了时间变化，但未考虑土地类型变化较大的情况，因此需要引入残差R来表征类别差异；
空间变化信息从TP时刻的MSI图像中获得，对每个波段图像b使用薄板样条法进行插值：
其中，
ri 2＝(x-xi)2+(y-yi)2，N是已知像元个数，
通过最小化来优化上式中的系数，
TP时刻的HSI图像空间预测(表示为下标sp)表示为：
Hn-sp(xij,yij,b)＝fTPS-b(xij,yij) (12)
如果图像的变化是同质的，那么预测的HSI图像空间要素与真是图像之间可认为没有误差，基于时间变化预测HSI图像的误差表示为：
Eho(xij,yij,b)＝Hn-sp(xij,yij,b)-Hn-tp(xij,yij,b) (13)
如果图像地类是异质的，假设每个MSI像元对应的HSI像元有相同的误差，则
Ehe(xij,yij,b)＝R(xi,yi,b) (14)
引入HI作为表征同质程度的银子，若窗口内的第k个HSI像元与中心像元(xij,yij)的土地类型一致，则令Ik＝1，反之为0；
Ehe(xij,yij,b)＝R(xi,yi,b) (15)
将同质、异质误差结合，则综合权重weight可表示为：
weight(xij,yij,b)＝Eho(xij,yij,b)×HI(xij,yij)+Ehe(xij,yij,b)×(1-HI(xij,yij)) (16)
将weight归一化得到WEIGHT，则分配到HSI像元上的残差为
r(xij,yij,b)＝m×r(xi,yi,b)×WEIGHT(xij,yij,b) (17)
HSI像元的全部变化表示为：
6.根据权利要求5所述的一种面向高光谱图像和多光谱图像的时空谱融合方法，其特征在于，S5的具体方法如下：最终预测，综合考虑邻近像元k与目标中心像元之间的空间距离、光谱相似度，得出权重Wk，则最终HSI像元预测公式表达为：
7.根据权利要求1所述的一种面向高光谱图像和多光谱图像的时空谱融合方法，其特征在于，还包括以下步骤：
S6.模型验证：通过分析建立了高光谱与多光谱影像的时空谱融合模型，对高分一号多光谱和高分五号高光谱数据进行了处理，并利用高分一号多光谱影像作为验证图像，对预测图像的信噪比、图像质量、信息熵进行验证。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210715154.3A CN115272144A (zh) | 2022-06-22 | 2022-06-22 | 面向高光谱图像和多光谱图像的时空谱融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210715154.3A CN115272144A (zh) | 2022-06-22 | 2022-06-22 | 面向高光谱图像和多光谱图像的时空谱融合方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115272144A true CN115272144A (zh) | 2022-11-01 |
Family
ID=83760796
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210715154.3A Pending CN115272144A (zh) | 2022-06-22 | 2022-06-22 | 面向高光谱图像和多光谱图像的时空谱融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115272144A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116245779A (zh) * | 2023-05-11 | 2023-06-09 | 四川工程职业技术学院 | 一种图像融合方法、装置、存储介质及电子设备 |
| CN116757925A (zh) * | 2023-05-16 | 2023-09-15 | 宁波大学 | 一种生成高时空谱分辨率卫星遥感影像的方法和装置 |
-
2022
- 2022-06-22 CN CN202210715154.3A patent/CN115272144A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116245779A (zh) * | 2023-05-11 | 2023-06-09 | 四川工程职业技术学院 | 一种图像融合方法、装置、存储介质及电子设备 |
| CN116245779B (zh) * | 2023-05-11 | 2023-08-22 | 四川工程职业技术学院 | 一种图像融合方法、装置、存储介质及电子设备 |
| CN116757925A (zh) * | 2023-05-16 | 2023-09-15 | 宁波大学 | 一种生成高时空谱分辨率卫星遥感影像的方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Song et al. | Spatiotemporal satellite image fusion through one-pair image learning | |
| CN115272144A (zh) | 面向高光谱图像和多光谱图像的时空谱融合方法 | |
| CN110070518B (zh) | 一种基于双路径支持下的高光谱图像超分辨率制图方法 | |
| CN113128134A (zh) | 一种矿区生态环境演变驱动因子权重量化分析方法 | |
| JP6012408B2 (ja) | 辞書を用いてパンクロマチック画像及びマルチスペクトル画像をパンシャープン化する方法 | |
| AU2019216767A1 (en) | A system and method to fuse multiple sources of optical data to generate a high-resolution, frequent and cloud-/gap-free surface reflectance product | |
| CN114565843B (zh) | 一种时间序列遥感图像融合方法 | |
| CN111259900A (zh) | 一种卫星遥感图像的语义分割方法 | |
| Ge et al. | Improved semisupervised unet deep learning model for forest height mapping with satellite sar and optical data | |
| CN109886898B (zh) | 基于优化启发的神经网络的光谱成像系统的成像方法 | |
| CN108090872B (zh) | 基于梯度提取的单帧多光谱影像超分辨率重建方法及系统 | |
| Long et al. | Dual self-attention Swin transformer for hyperspectral image super-resolution | |
| CN112733596A (zh) | 一种基于中高空间分辨率遥感影像融合的森林资源变化监测方法及应用 | |
| CN108288256A (zh) | 一种多光谱马赛克图像复原方法 | |
| CN115272093B (zh) | 一种基于空间结构信息约束的高光谱图像解混方法 | |
| CN111583330B (zh) | 一种多尺度时空马尔可夫遥感影像亚像元定位方法及系统 | |
| CN117314811A (zh) | 基于混合模型的sar-光学图像融合方法 | |
| CN118212127A (zh) | 一种基于未配准的物理指导生成式对抗高光谱超分辨率方法 | |
| CN115984155A (zh) | 一种基于光谱解混的高光谱、多光谱和全色图像融合方法 | |
| CN109359264B (zh) | 一种基于modis的叶绿素产品降尺度方法及装置 | |
| CN109840539B (zh) | 一种基于地块图斑的遥感时空数据融合方法 | |
| CN118212129A (zh) | 基于双线性解混的高光谱遥感图像多源融合超分方法 | |
| Jing et al. | A Rigorously-Incremental Spatiotemporal Data Fusion Method for Fusing Remote Sensing Images | |
| CN111523451A (zh) | 一种构建高时空分辨率ndvi数据的方法 | |
| CN111563844A (zh) | 一种遥感图像自适应融合方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |