CN109785281B - 基于光谱映射的灰度调幅的pansharpening方法 - Google Patents

Abstract

本发明公开了一种基于光谱映射的灰度调幅的pansharpening方法。首先通过建立变分模型求解光谱映射转换矩阵T，得到具有一定光谱分辨率的高空间分辨率图像（P_HCM）。然后，对光谱映射后得到的图像进行空间滤波进而产生带有光谱信息的空间细节，并将其注入到上采样后的MS图像中，得到具有较高分辨率的HR_MS图像；最后，基于平滑滤波的亮度调幅（SFIM）原理，得到最终的具有高空间和光谱分辨率的融合图像（HRMS）。本发明基于传统的pansharpening方法，充分挖掘HRPAN图像和LRMS图像的光谱和空间信息，在很好的保持空间结构信息的前提下，具有很好的光谱保真性，能得到具有良好视觉效果的融合图像。

Description

基于光谱映射的灰度调幅的pansharpening方法

技术领域

本发明属于图像融合技术领域，特别是一种基于光谱映射的灰度调幅的pansharpening方法。

背景技术

在光学遥感系统的设计中，由于入射能量有限，在空间分辨率、光谱分辨率和信噪比之间存在着关键的权衡。出于这个原因，多光谱图像传感器通常只能获得较低的空间分辨率的多光谱图像或高空间分辨率的全色图像。但是在许多应用中，如图像分类、目标检测、场景解释和光谱解混等，都需要高空间分辨率的多光谱图像。因此，pansharpening方法的目标就是融合空间和光谱信息，从而产生需要的高空间分辨率的多光谱图像。

目前已有很多遥感图像pansharpening的方法，包括经典的成分替代的方法，如PCA(Principal Component Analysis)和GS(Gram-Schmidt)方法等，这些方法易于实现且简便，并且最终能呈现出比较好的空间分辨率和鲁棒性，但是由于PAN和MS图像的光谱范围不匹配会产生显着的光谱失真。还有贝叶斯方法和矩阵分解的方法，如HySure和贝叶斯稀疏表示等，这些方法得到的融合图像在空间和光谱都可以有较好的效果，但是计算量比较大，不利于实现实时性。此外还有经典的多分辨率分析的方法，如MTF-GLP(modulationtransfer function Generalized Laplacian Pyramid)方法，由于白天可见图像的反射波段的数字数值(Digital number)主要由照射在陆地表面的太阳辐射和陆地表面的光谱反射率两个因素决定，Liu J等人提出了SFIM(Smoothing Filter-based IntensityModulation)算法(Liu J G,Smoothing Filter-based Intensity Modulation:aspectral preserve image fusion technique for improving spatial details,International Journal of Remote Sensing,vol.21,no.18,pp.3461-3472,2000)，这种方法虽然能很好的保持MS中的光谱信息并融合了较高的空间细节，但是融合图像会出现细节过度注入的情况。以上方法基本上都是利用PAN图像的空间分辨率提高MS图像的空间分辨率，但是这些算法都会造成不同程度的光谱扭曲现象。

为了进一步提高融合图像的光谱特征，改善经典方法中出现的光谱扭曲现象，在这一方面又有了许多进展，其中Zhou Jin等人提出的HCM(hybrid color mapping)模型(Zhou J,Kwan C,Budavari B.Hyperspectral image super-resolution:a hybrid colormapping approach,Journal of Applied Remote Sensing,vol.10,no.3,pp.035024,2016)，通过先假设低分辨率的彩色图像和高光谱图像在光谱维存在映射关系，并且高分辨率的彩色图像和最后的融合图像在光谱维存在同样的映射关系；然后通过求低分辨率下的映射关系即转化矩阵，进一步的到高分辨率的高光谱图像。

发明内容

本发明的目的在于提供一种基于光谱映射的灰度调幅的pansharpening方法。本发明融合得到高空间分辨率的多光谱图像，不仅具有很好的空间结构信息，而且光谱保真性也很好。

实现本发明的技术解决方案为：一种基于光谱映射的灰度调幅的pansharpening方法，首先假设低分辨率下的PAN图像和MS图像在光谱维存在映射关系，对已知的高分辨率的PAN图像进行降采样，求出低分辨率的PAN图像和MS图像的映射关系；再假设高分辨率下的PAN图像和MS图像存在同样的映射关系，从而进一步得到初步具有空间和光谱信息的图像P_HCM；然后将其进行低通滤波，求出滤波后的图像和HRPAN之间的带有光谱信息的空间细节，并将这一细节加到上采样的MS图像中得到初步的融合图像HR_MS；最后利用SFIM的原理，将初步的融合图像作为高分辨的图像，并通过均值滤波，进一步得到具有光谱信息的高频细节，然后加到上采样的MS图像上得到最终的融合图像。

本发明与现有技术相比，其显著优点为：能够在保持空间结构的基础上，通过学习光谱映射，保持MS图像的光谱信息，进一步增加融合图像的光谱信息，具有很好的光谱保真性。

附图说明

图1是本发明基于光谱映射的灰度调幅的pansharpening方法流程图。

图2(a)是本发明实施例仿真实验中QuickBird数据集的PAN图像(大小为128×128)。图2(b)是本发明实施例仿真实验中QuickBird数据集的MS图像两倍上采样后的图像(大小为128×128×4)图2(c)是本发明实施例仿真实验中QuickBird数据集的地面实况(groundtruth)图像(大小为128×128×4)。图2(d)是本发明实施例仿真实验中QuickBird数据集的最终的融合图像HRMS(大小为128×128×4)。

图3(a)是本发明实施例仿真实验中WorldView2数据集的PAN图像(大小为128×128)。图3(b)是本发明实施例仿真实验中WorldView2数据集的MS图像两倍上采样后的图像(大小为128×128×4)。图3(c)是本发明实施例仿真实验中WorldView2数据集的地面实况(groundtruth)图像(大小为128×128×4)。图3(d)是本发明实施例仿真实验中WorldView2数据集的最终的融合图像HRMS(大小为128×128×4)。

图4(a)是本发明实施例仿真实验中WorldView3数据集的PAN图像(大小为128×128)。图4(b)是本发明实施例仿真实验中WorldView3数据集的MS图像两倍上采样后的图像(大小为128×128×4)。图4(c)是本发明实施例仿真实验中WorldView3数据集的地面实况(groundtruth)图像(大小为128×128×4)。图4(d)是本发明实施例仿真实验中WorldView3数据集的最终的融合图像HRMS(大小为128×128×4)。

具体实施方式

下面结合附图对本发明作进一步描述。

本发明基于光谱映射的灰度调幅的pansharpening方法，该方法通过结合高空间分辨率全色图像(HRPAN)和低空间分辨率多光谱图像(LRMS)的空谱信息，得到具有高空间分辨率的多光谱图像(HRMS)。假设HRPAN图与HRMS图像之间存在着光谱映射关系，该关系可通过降采样HRPAN图像和LRMS图像之间的光谱维的映射关系得到。

首先构造映射关系建立模型，并通过ADMM方法求转化矩阵T，进而在高分辨率下求映射后初步具有光谱和空间信息的图像P_HCM；其次对P_HCM图像进行低通滤波，并利用HRPAN图像得到具有光谱信息的空间细节图像P1，将细节图像注入到上采样后的LRMS图像中得到初步融合的HR_MS图像；然后进行均值滤波处理后进而得到具有光谱信息的高频信息，并根据基平滑滤波的亮度调幅的原理得到最终的融合图像。

实现上述内容的具体步骤为：

步骤1：构造求映射关系即转化矩阵T的方法为：

步骤1.1：首先将HRPAN图像降采样得到低分辨率的PAN图像(LRPAN)，假设LRPAN和LRMS图像的光谱维存在一种映射关系，即存在转化矩阵T₁和T₂，使得：

m＝T₁·p

p＝T₂·m

T₁·T₂＝I_L,T₂·T₁＝I_B

其中

表示具有L个光谱波段的LRMS图像，

表示LRPAN图像，m₁·n₁表示低分辨率的图像具有的像素个数；T₁∈R^L×B T₂∈R^B×L是转化矩阵，且L＞B；I_L，I_B分别表示L维和B维的单位矩阵。

步骤1.2：通过使用最小二乘的方法求转化矩阵T₁，令

即最小化上述误差方程：

步骤1.3：引入变量矩阵L和N，使得T₁＝L,T₂＝N，将其化为等价形式如下：

s.t.T₁＝L,T₂＝N

然后使用ADMM方法(Alternating Direction Method of Multipliers，交替方向乘子法)求解上述最小化，即将原问题转化为可分离问题求解T₁，则有

其中μ₁，μ₂是惩罚参数。通过交替迭代更新求解得到：

T₁ ^k+1＝[μ₁(L^k-Z^k)+2mp^T](pp^T+μ₁)^-1

T₂ ^k+1＝[μ₂(N^k-D^k)+2pm^T](mm^T+μ₂)^-1

L^k+1＝[μ₁(T₁ ^k+1+Z^k)+2(N^k)^T](N^k(N^k)^T+μ₁)^-1

N^k+1＝[μ₂(T₂ ^k+1+D^k)+2(L^k+1)^T](L^k+1(L^k+1)^T+μ₂)^-1

Z^k+1＝Z^k+(T₁ ^k+1-L^k+1)

D^k+1＝D^k+(T₂ ^k+1-N^k+1)

步骤2：构造光谱映射后具有光谱和空间信息的图像P_HCM的方法为：假设LRPAN图像和LRMS图像的光谱维存在一种映射关系，同样HRPAN图像和高分辨率的图像P_HCM之间也存在这种映射关系，即

P_HCM＝T₁·P

其中，P∈R^B×M·N表示HRPAN图像，从而得到一个具有光谱信息的空间结构比较好的图像P_HCM。

步骤3：构造具有光谱信息的空间细节图像P1的方法为：对P_HCM图像进行低通滤波处理，然后用HRPAN图像减去滤波后的图像得到具有光谱信息的空间细节图像P1：

步骤4：构造初步融合的HR_MS图像的方法为：基于MRA方法，对P_HCM图像进行空间滤波之后进而产生的细节图像注入到上采样后的LRMS图像中，即：

其中，M'表示初步融合的HR_MS图像，↑m表示对LRMS进行上采样后的图像，

表示元素依次相乘，G_k＝↑m/P1为系数。

步骤5：构造基于平滑滤波的亮度调幅的原理的方法为：根据SFIM的原理可知：

其中IMAGE_mean表示对IMAGE_high均值滤波后的图像。将上述得到的M'作为高分辨率的图像IMAGE_high的输入，↑m作为低分辨率的图像IMAGE_low的输入，将M'进行均值滤波后作为平滑滤波图像IMAGE_mean的输入。

步骤6：输出融合后的高空间分辨率的多光谱图像HRMS。

步骤7：分别将QuickBird、WorldView2和WorldView3数据集作为仿真实验的数据集，进行数据的预处理，即将原始的低分辨率的MS图像作为仿真实验的groundtruth，如图2(c)(或图3(c)、图4(c))，并将其进行2倍的下采样后的图像作为仿真实验的低分辨率的MS图像，然后将原始的高分辨率的PAN图像进行4倍的下采样作为仿真实验的高分辨率的PAN图像。然后利用所提出的方法得到最终的融合图像分别为图2(d)、图3(d)和图4(d)

下面结合图1、图2、图3和图4，通过实施例的效果评价来进一步说明本发明。

如图1所示，首先对输入经过数据预处理后的高分辨率的PAN图像和低分辨率的MS图像，分别为图2(a)(或图3(a)、图4(a))和图2(b)(或图3(b)、图4(b))

如图2(c)是大小为128×128×4的QuickBird的groundtruth图像，图2(d)是利用基于光谱映射的灰度调幅的方法融合后的图像，可以看出融合后的图像既保持了PAN图像的纹理和细节等高频信息，而且光谱的保真性也比较好。图3(c)是大小为128×128×4的WorldView2的groundtruth图像，图3(d)是利用基于光谱映射的灰度调幅的方法融合后的图像，可以看出融合后的图像很好的保持了MS图像的光谱信息。图4(c)是大小为128×128×4的WorldView3的groundtruth图像，图4(d)是利用基于光谱映射的灰度调幅的方法融合后的图像，可以看出融合后的图像质量比较好，具有很好的光谱保真性。

Claims (5)

1.一种基于光谱映射的灰度调幅的pansharpening方法，其特征在于：

首先，假设低分辨率下的PAN图像和MS图像在光谱维存在映射关系，对已知的高分辨率的PAN图像进行c倍的降采样，图像大小为M×N像素；然后求出低分辨率的PAN图像和MS图像的映射关系即转化矩阵T，MS图像大小为L×m₁×n₁；并假设高分辨率下的PAN图像和MS图像存在同样的映射关系，从而将映射关系应用到HRPAN图像得到初步具有空间和光谱信息的图像P_HCM；

其次，对图像P_HCM进行低通滤波处理，求出滤波后的图像和HRPAN之间的带有光谱信息的空间细节，并将这一细节加到上采样的MS图像中，得到初步的融合图像HR_MS；

最后，利用SFIM的原理，将初步的融合图像作为高分辨的图像，并通过均值滤波进一步得到具有光谱信息的高频细节，然后加到上采样的MS图像上，得到最终的融合图像；

构造求映射关系即转化矩阵T的方法为：

步骤1：首先对HRPAN图像降采样得到低分辨率的PAN图像LRPAN，假设LRPAN和LRMS图像的光谱维存在一种映射关系，即存在转化矩阵T₁和T₂，使得：

m＝T₁·p

p＝T₂·m

T₁·T₂＝I_L,T₂·T₁＝I_B

其中，

表示具有L个光谱波段的LRMS图像，

表示LRPAN图像，m₁·n₁表示低分辨率的图像具有的像素个数；T₁∈R^L′×B T₂∈R^B×L′是转化矩阵，且L′＞B；I_L′，I_B分别表示L′维和B维的单位矩阵；

步骤2：使用最小二乘的方法求转化矩阵T₁，令

即最小化误差方程：

步骤3：引入变量矩阵L和N，使得T₁＝L,T₂＝N，将其化为等价形式如下：

s.t.T₁＝L,T₂＝N

然后使用ADMM方法求解上述最小化，即将原问题转化为可分离问题求解T₁，则有

其中μ₁，μ₂是惩罚参数；通过交替迭代更新求解得到：

2.根据权利要求1所述的基于光谱映射的灰度调幅的pansharpening方法，其特征在于，构造光谱映射后具有光谱和空间信息的图像P_HCM的方法为：假设LRPAN图像和LRMS图像的光谱维存在一种映射关系，同样HRPAN图像和高分辨率的图像P_HCM之间也存在这种映射关系，即

P_HCM＝T₁·P

其中，P∈R^B×M·N表示HRPAN图像，从而得到一个具有光谱信息的图像P_HCM。

3.根据权利要求2所述的基于光谱映射的灰度调幅的pansharpening方法，其特征在于，构造具有光谱信息的空间细节图像P1的方法为：

对P_HCM图像进行低通滤波处理，然后用HRPAN图像减去滤波后的图像，得到具有光谱信息的空间细节图像P1：

4.根据权利要求1所述的基于光谱映射的灰度调幅的pansharpening方法，其特征在于，构造初步融合的HR_MS图像的方法为：

基于MRA方法，对P_HCM图像进行空间滤波之后产生的细节图像注入到上采样后的LRMS图像中，即：

其中，M′表示初步融合的HR_MS图像，↑m表示对LRMS进行上采样后的图像，

表示元素依次相乘，G_k＝↑m/P1为系数。

5.根据权利要求1或4所述的基于光谱映射的灰度调幅的pansharpening方法，其特征在于，得到最终的融合图像的方法为：根据SFIM的原理可得：

其中IMAGE_mean表示对IMAGE_high均值滤波后的图像；将上述得到的M′作为高分辨率的图像IMAGE_high的输入，↑m作为低分辨率的图像IMAGE_low的输入，将M′进行均值滤波后作为平滑滤波图像IMAGE_mean的输入。

Images