CN108345899A - 一种利用结构保持滤波的遥感图像融合方法 - Google Patents

Abstract

本发明提供了一种利用结构保持滤波的遥感图像融合方法，首先上采样多光谱图像并进行超球彩色变换，得到强度分量和角度分量；将强度分量与全色图像做直方图匹配得到匹配图像；使用结构保持滤波器对强度分量进行滤波，对匹配图像进行两级滤波；计算强度分量与匹配图像对应的细节图像，并注入到匹配图像，得到新的强度分量，对新强度分量与角度分量作超球彩色反变换，得到各个波段的融合结果。本发明的融合结果不仅提高了空间分辨率，同时具有较好的光谱保持能力，是一种行之有效的遥感图像融合方法。

Description

一种利用结构保持滤波的遥感图像融合方法

技术领域

本发明涉及遥感图像的可视化增强处理技术，尤其是针对星载多光谱图像和全色图像的图像融合方法。

背景技术

遥感卫星可以提供包含多个波段的多光谱(Multispectral,MS)图像与单波段的全色(Panchromatic,PAN)图像。多光谱图像的特点是光谱信息丰富，然而空间细节特征不明显；相反，全色图像的空间分辨率较高，图像细节清晰，但其光谱信息丰富度明显低于多光谱图像。多光谱图像与全色图像的融合主要是综合利用多波段多光谱图像的光谱信息和单波段全色图像的空间信息来产生新的融合图像，提升融合结果的识别精度，提高图像数据的应用效果和实用价值。由于卫星传感器的硬件条件限制，现如今的遥感卫星提供的多光谱图像在空间分辨率上还无法与全色图像保持一致，因此获取具有高空间分辨率的多光谱图像在遥感图像应用领域显得尤为重要。

近些年计算机视觉领域针对滤波器的研究与发展十分迅速，利用新型滤波器包括联合双边滤波器、归一化非局部均匀滤波器、导向滤波器等设计全色-多光谱图像融合模型也成为基于图像滤波融合方法发展的一种趋势(参见文献2014 IEEE InternationalGeoscience and Remote Sensing Symposium(IGARSS 2014),2522–2525,2014；IEEETransactions on Geoscience and Remote Sensing,53(10):5734–5745,2015；Journalof Applied Remote Sensing,9(1):096025,2015)。其中，导向滤波与超球彩色变换的方法(参见文献IEEE International Geoscience and Remote Sensing Symposium(IGARSS2016):7272-7275,Jul.2016)可以不受波段数量限制地融合多光谱图像，然而由于遥感图像中蕴含了大量多尺度的结构信息，并且全色图像与多光谱图像之间存在空间分辨率的差异，诸如导向滤波器之类的保边平滑滤波器很难准确地分离图像中的结构与细节，融合结果容易出现光谱与空间信息失真的现象。

发明内容

为了克服现有技术的不足，本发明提供一种基于结构保持滤波的遥感图像融合方法，不同于边缘保持型滤波器，结构保持滤波器具有良好的结构感知特性，可以准确地分离遥感图像中的结构与细节信息。本发明通过结构保持滤波将全色和多光谱图像中的空间信息准确地提取出来，再使用超球彩色变换(Hyperspherical Color Transform,HCT)将空间信息注入到多光谱图像中，最后经超球彩色反变换得到多光谱图像各波段的融合结果。

本发明解决其技术问题所采用的技术方案包括以下步骤：

第一步，对于包含N个波段MS₁，MS₂，…，MS_N的原始多光谱图像，通过双三次插值将N个波段图像上采样到和全色图像PAN尺寸相同的图像LRM₁，LRM₂，…，LRM_N；

第二步，将图像LRM₁，LRM₂，…，LRM_N进行超球彩色变换，得到变换后的一个强度分量I和N-1个角度分量θ₁，θ₂，…，θ_N-1，

第三步，分别计算强度分量I与全色图像PAN的均值与方差，将强度分量I与全色图像PAN做直方图匹配得到匹配图像式中μ_I与μ_P分别为强度分量I和全色图像PAN的均值，σ_I与σ_P分别为强度分量I和全色图像PAN的标准差；

第四步，使用结构保持滤波器对强度分量I进行滤波，得到滤波输出图像SI，任滤波参数r、k、σ中，r是计算用的滑动窗口大小，该窗口自左上至右下遍历全图，k决定了计算区域协方差的窗口大小，σ控制着滤波过程中的平滑程度；使用结构保持滤波器对匹配图像MP进行两级滤波操作，其中第一级滤波输出图像记为S₁，再将S₁作为第二级滤波的输入，第二级滤波输出图像记为S₂，第一级的滤波参数记为r₁、k₁、σ₁；第二级的滤波参数记为r₂、k₂、σ₂；记SPF_r,k,σ(.)为结构保持滤波函数，SI＝SPF_r,k,σ(I)，

第五步，分别计算I与MP对应的细节图像DI＝I-SI与DP＝MP-S₂；将细节图像DI与DP注入到匹配图像MP中，得到新强度分量I_new＝MP+DI+DP；

第六步，对新强度分量I_new和角度分量θ₁，θ₂，…，θ_N-1作超球彩色反变换，得到N个波段的融合结果HRM₁，HRM₂，…，HRM_N，

本发明的有益效果是：利用超球彩色变换分离多光谱图像中的强度与光谱成分，同时可以突破对多光谱图像输入波段数量的限制，通过结构保持滤波器对输入图像进行两级分解，不同尺寸的结构信息可以被有效地感知，而对应的细节图像可以被准确的提取出来。本发明的融合结果不仅提高了空间分辨率，同时具有较好的光谱保持能力，是一种行之有效的遥感图像融合方法。

附图说明

图1是本发明的原理示意图；

图2是本发明的流程图。

具体实施方式

下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。

本发明包括以下步骤：

第一步、上采样多光谱图像：

假设原始多光谱图像包含N个波段，记为MS₁，MS₂，…，MS_N，通过双三次插值将N个波段图像上采样到和全色图像尺寸相同的图像，记为LRM₁，LRM₂，…，LRM_N。

第二步、超球彩色变换(Hyperspherical Color Transform,HCT)

将上采样多光谱图像(LRM₁，LRM₂，…，LRM_N)做超球彩色变换(参见文献ASPRS2010Annual Conference,San Diego,California,pp.26-30,April 2010),得到变换后的一个强度分量，记为I和N-1个角度分量，记为θ₁，θ₂，…，θ_N-1:

第三步、直方图匹配：

分别计算强度分量I与全色图像(记为PAN)的均值与方差，将I与全色图像PAN做直方图匹配得到匹配图像，记为MP：

式中μ_I与μ_P分别为强度分量I和全色图像PAN的均值，σ_I与σ_P分别为强度分量I和全色图像PAN的标准差。

第四步、结构保持滤波(Structure-Preserving Filtering)：

结构保持滤波器原理参见ACM Transactions on Graphics,vol.32,no.6,pp.1-11,Nov.2013。

该步骤首先使用结构保持滤波器对强度分量I进行滤波，滤波输出图像记为SI，滤波参数分别记为r，k，σ，其中r是计算用的滑动窗口大小，该窗口自左上至右下遍历全图，k决定了计算区域协方差的窗口大小，而σ控制着滤波过程中的平滑程度，滤波参数的数值不固定，可人为设置；接下来使用结构保持滤波器对匹配图像MP进行两级滤波操作，其中第一级滤波输出图像记为S₁，再将S₁作为第二级滤波的输入，第二级滤波输出图像记为S₂，这两级滤波操作使用的滤波参数物理含义相同，仅改变其数值，因此第一级的滤波参数分别记为r₁，k₁，σ₁；第二级的滤波参数分别记为r₂，k₂，σ₂。在本发明中，选取最优实验结果的参数取值作为最终的滤波参数值。记SPF_r,k,σ(.)为结构保持滤波函数，公式如下：

SI＝SPF_r,k,σ(I) (3)

第五步、细节提取与注入：

分别计算I与MP对应的细节图像DI与DP:

DI＝I-SI (6)

DP＝MP-S₂ (7)

接下来将细节图像DI与DP注入到匹配图像MP中，得到新强度分量，记为I_new：

I_new＝MP+DI+DP (8)

第六步、超球彩色反变换(Inverse Hyperspherical Color Transform)：

对新强度分量I_new与第二步中得到的N-1个角度分量(θ₁，θ₂，…，θ_N-1)作HCT反变换，得到N个波段的融合结果，记为HRM₁，HRM₂，…，HRM_N：

实施例：采用真实GeoEye-1星载遥感多光谱和全色图像，多光谱图像包含四个波段(MS₁-MS₄)，全色图像(PAN)为单波段。多光谱图像的空间分辨率为1.0米，大小为100行×100列。全色图像空间分辨率为0.5米，大小为400行×400列。实施本发明包括以下步骤：

第一步、上采样多光谱图像：

由于全色图像空间分辨率是多光谱图像空间分辨率的4倍，因此通过双三次插值分别将四个波段(MS₁，MS₂，MS₃，MS₄)放大到和全色图像尺寸相同的上采样图像(LRM₁，LRM₂，LRM₃，LRM₄)。

第二步、超球彩色变换(Hyperspherical Color Transform,HCT)：

按照公式(10)对上采样图像(LRM₁，LRM₂，LRM₃，LRM₄)进行超球彩色变换，得到变换后的一个强度分量I与三个角度分量(θ₁,θ₂,θ₃)：

第三步、直方图匹配：

根据公式(2)将强度分量I与全色图像PAN做直方图匹配得到匹配图像MP。

第四步、结构保持滤波(Structure-Preserving Filtering)：

设置强度分量I为结构保持滤波的输入图像，利用公式(3)对其进行结构保持滤波，其中r＝10，k＝7，σ＝0.8，输出图像记为SI；设置图像MP为结构保持滤波的输入图像，利用公式(4)、(5)对MP做两级滤波操作，第一级滤波参数r₁＝10，k₁＝5，σ₁＝0.8，第二级滤波参数r₂＝20，k₂＝11，σ₂＝0.8，第一级输出图像记为S₁，第二级输出图像记为S₂。

第五步、细节提取与注入：

利用公式(6)和(7)分别计算I的细节图像DI与MP的细节图像DP。将细节图像DI与DP注入到匹配图像MP中，得到新强度分量，记为I_new：

I_new＝MP+DI+DP (11)

第六步、超球彩色反变换(Inverse Hyperspherical Color Transform)：

对新强度分量I_new与第二步中产生的三个角度分量(θ₁,θ₂,θ₃)按照公式(12)进行超球彩色反变换，得到四个波段融合结果图像(HRM₁，HRM₂，HRM₃，HRM₄)：

Claims (1)

1.一种利用结构保持滤波的遥感图像融合方法，其特征在于包括下述步骤：

第一步，对于包含N个波段MS₁，MS₂，…，MS_N的原始多光谱图像，通过双三次插值将N个波段图像上采样到和全色图像PAN尺寸相同的图像LRM₁，LRM₂，…，LRM_N；

第二步，将图像LRM₁，LRM₂，…，LRM_N进行超球彩色变换，得到变换后的一个强度分量I和N-1个角度分量θ₁，θ₂，…，θ_N-1，

第三步，分别计算强度分量I与全色图像PAN的均值与方差，将强度分量I与全色图像PAN做直方图匹配得到匹配图像式中μ_I与μ_P分别为强度分量I和全色图像PAN的均值，σ_I与σ_P分别为强度分量I和全色图像PAN的标准差；

第四步，使用结构保持滤波器对强度分量I进行滤波，得到滤波输出图像SI，任滤波参数r、k、σ中，r是计算用的滑动窗口大小，该窗口自左上至右下遍历全图，k决定了计算区域协方差的窗口大小，σ控制着滤波过程中的平滑程度；使用结构保持滤波器对匹配图像MP进行两级滤波操作，其中第一级滤波输出图像记为S₁，再将S₁作为第二级滤波的输入，第二级滤波输出图像记为S₂，第一级的滤波参数记为r₁、k₁、σ₁；第二级的滤波参数记为r₂、k₂、σ₂；记SPF_r,k,σ(.)为结构保持滤波函数，SI＝SPF_r,k,σ(I)，

第五步，分别计算I与MP对应的细节图像DI＝I-SI与DP＝MP-S₂；将细节图像DI与DP注入到匹配图像MP中，得到新强度分量I_new＝MP+DI+DP；

第六步，对新强度分量I_new和角度分量θ₁，θ₂，…，θ_N-1作超球彩色反变换，得到N个波段的融合结果HRM₁，HRM₂，…，HRM_N，