CN107220957B - 一种利用滚动导向滤波的遥感图像融合方法 - Google Patents

Abstract

本发明提供了一种利用滚动导向滤波的遥感图像融合方法，针对多光谱与全色光图像融合过程中由于细节提取与注入模型不适导致融合结果产生光谱分辨率与空间分辨率失真问题，采用高斯滤波与导向滤波相结合的滚动导向滤波器，将输入图像分解为两层：一层是包含大尺度结构的基础层，另一层是包含小尺度纹理的细节层，利用滚动导向滤波器将多光谱与全色光图像不同尺度的结构分离，从而可以提取出所需的空间信息，并结合GS变换将细节注入到多光谱图像中得到融合结果。融合结果不仅提高了原始多光谱图像的空间分辨率，也保持了光谱信息，是一种适合于高分辨率星载多光谱与全色光图像融合的有效方法。

Description

一种利用滚动导向滤波的遥感图像融合方法

技术领域

本发明涉及遥感图像的可视化增强处理技术，尤其是针对星载多光谱图像和全色光图像的图像融合方法。

背景技术

随着星载成像传感器的快速发展，许多卫星可以提供高分辨率的遥感图像。一些在轨的高分辨率商业卫星，例如IKONOS、QuickBird、WorldView-2能同时捕捉全色光图像和多光谱图像。由于物理约束，全色光图像具有非常高的空间分辨率，但是只具有单一光谱通道，与此相反，多光谱图像具有较低的空间分辨率但更高的光谱分辨率。通过融合多光谱图像和全色光图像，可以得到一幅同时具有高空间分辨率和光谱信息丰富的融合图像，其在保持光谱特性的同时，增强了图像的可视化效果。

在多光谱和全色光图像融合方法中，空间细节模型主要思想是将有用的空间细节信息从多光谱图像中提取出来，然后用预先设定的注入规则加在多光谱图像中。在该类模型中边缘保持滤波器因其边缘感知能力成为研究热点，近几年在研究中使用的该类滤波器有非局部均匀滤波、加权最小二乘滤波、导向滤波(参见文献IEEE Computer SocietyConference on Computer Vision and Pattern Recognition,2(7):60-65,2005；ACMTransactions on Graphics,27(3):15-19,2008；IEEE Transactions on PatternAnalysis and Machine Intelligence,35(6):1397-1409,2013)。然而边缘保持滤波器很难分离结构与细节，得到的融合结果光谱保真度与空间信息都有一定的欠缺。

发明内容

为了克服现有技术的不足，本发明提供一种基于滚动导向滤波的遥感图像融合方法，不同于边缘保持滤波器，滚动导向滤波器能够提取不同尺度结构而保留其他的信息。本发明通过滚动导向滤波将全色光和多光谱图像的空间信息准确的提取出来，再使用GramSchmidt(GS)变换将空间信息注入到多光谱图像中。

本发明解决其技术问题所采取的技术方案包括以下步骤：

第一步，对于原始多光谱图像包含的N个波段图像MS₁、MS₂、…、MS_N，通过双三次插值将各波段图像上采样到和全色光图像PAN尺寸相同的图像RMS₁、RMS₂、…、RMS_N；

第二步，将RMS₁、RMS₂、…、RMS_N波段图像对应像素点的灰度值取平均作为低分辨率全色光图像PL对应像素点灰度值，即将PL与RMS₁、RMS₂、…、RMS_N波段图像作为GS正变换的输入图像得到变换后的波段图像GS₁，GS₂，…，GS_N+1；

第三步，令亮度分量图像I等于PL，分别计算图像I与PAN所有像素点灰度值的均值与标准差，将图像I与PAN做直方图匹配得到式中μ_I与μ_P分别为亮度分量图像I和全色光图像PAN所有像素点灰度值的均值，σ_I与σ_P分别为亮度分量图像I和全色光图像PAN的所有像素点灰度值的标准差；

第四步，构建滚动导向滤波器，并将滚动导向滤波算法记为RGF(·)，分两个阶段进行：

第一阶段对输入图像做高斯滤波，该阶段输入图像为Q，输出图像记为G，其中σ_s为Q的所有像素点的灰度值标准偏差，N(p)为以p为中心、w×w窗口大小的像素集，q为N(p)中不同于p的像素点，||p-q||表示两个像素点的欧式距离；

第二阶段采用导向滤波算法GF(·)，该阶段输入图像为Q，与第一阶段输入图像相同，图像J作为迭代更新的指导图像，其中第一阶段的输出G记为J¹，第t次迭代的结果J^t+¹＝GF(J^t，Q)；

第五步，将亮度分量图像I与直方图匹配全色光图像PAN'分别作为滚动导向滤波器的输入图像，计算出对应的输出图像，即LI＝I-RGF(I)和LP＝PAN'-RGF(PAN')，再计算I与PAN'的细节图像d₁＝I-LI与d₂＝PAN'-LP；

第六步，构造能量显著映射S_j＝|box(d_j)|,j＝1,2，其中box(·)为r×r大小的平均滤波器，|·|为取绝对值操作，d_j为第j幅细节图像；再利用能量显著映射构造加权映射其中S_j(m)表示第j幅图像中第m个像素的显著映射值；

将d_j作为导向滤波器的指导图像，W_j作为输入图像，计算出输出图像O_j＝GF(d_j,W_j)，最后计算细节图像

第七步，将GS变换后得到的第一波段图像GS₁作为滚动导向滤波的输入图像，滚动导向滤波器的输出图像记为LGS₁，即LGS₁＝RGF(GS₁)。将细节图像D注入LGS₁作为新的GS变换的第一波段图像GS_1new＝D+LGS₁；

第八步，对新的变换波段GS_1new，GS₂，…，GS_N+1进行GS反变换，得到N个波段融合结果图像F₁，F₂，…，F_N。

本发明的有益效果是：针对多光谱与全色光图像融合过程中由于细节提取与注入模型不适导致融合结果产生光谱分辨率与空间分辨率失真问题，采用高斯滤波与导向滤波相结合的滚动导向滤波器，该滤波器最主要的优势是其尺度感知性能，其可将输入图像分解为两层：一层是包含大尺度结构的基础层，另一层是包含小尺度纹理的细节层。在发明中利用滚动导向滤波器将多光谱与全色光图像不同尺度的结构分离，从而可以提取出所需的空间信息，并结合Gram Schmidt(GS)变换将细节注入到多光谱图像中得到融合结果。融合结果不仅提高了原始多光谱图像的空间分辨率，也保持了光谱信息，是一种适合于高分辨率星载多光谱与全色光图像融合的有效方法。

附图说明

图1是本发明的原理示意图；

图2是本发明的流程图。

具体实施方式

下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。

本发明解决其技术问题所采取的技术方案包括以下步骤：

第一步、上采样多光谱图像：

假设原始多光谱图像包含N个波段(MS₁，MS₂，…，MS_N)，通过双三次插值将各波段图像上采样到和全色光图像尺寸相同的图像(RMS₁，RMS₂，…，RMS_N)。

第二步、GS正变换：

将N个波段(RMS₁，RMS₂，…，RMS_N)对应像素点的灰度值取平均设为低分辨率全色光图像PL对应像素点灰度值，将PL与这N个波段(RMS₁，RMS₂，…，RMS_N)作为GS正变换(参见文献U.S.Patent 6011875,2000)的输入图像得到变换后的波段(GS₁，GS₂，…，GS_N+1)。

第三步、直方图匹配：

令亮度分量图像I等于PL，分别计算图像I与PAN所有像素点灰度值的均值与标准差，将图像I与PAN做直方图匹配得到PAN'：

I＝PL (2)

式中μ_I与μ_P分别为亮度分量图像I和全色光图像PAN的所有像素点灰度值的均值，σ_I与σ_P分别为亮度分量图像I和全色光图像PAN的所有像素点灰度值的标准差。

第四步、滚动导向滤波：

滚动导向滤波器原理参见2014European Conference on Computer Vision(ECCV2014),8691:815-830,2014。

设图像Q为滚动导向滤波的输入图像，并将滚动导向滤波算法记为RGF(·)，该滤波器分两个阶段进行：

第一阶段使用高斯滤波器对输入图像做高斯滤波，该阶段输出图像记为G，具体公式如下：

其中σ_s为Q的所有像素点的灰度值标准偏差，N(p)为以p为中心、w×w窗口大小的像素集，q为N(p)中不同于p的像素点，||p-q||表示两个像素点的欧式距离。

第二阶段使用联合滤波器进行迭代操作，联合滤波器可采用联合双边滤波器，导向滤波器等。在该发明中采用导向滤波器，该阶段输入图像为Q，与第一阶段输入图像相同，图像J作为迭代更新的指导图像，其中第一阶段的输出G记为J¹，J^t+1为第t次迭代的结果。将GF(·)记为导向滤波算法，则该阶段公式如下：

J^t+1＝GF(J^t，Q) (5)

第五步、细节的提取：

将多光谱图像的亮度分量图像I与直方图匹配全色光图像PAN'分别作为滚动导向滤波器的输入图像，并利用第四步分别计算出对应的输出图像，分别记为LI和LP，再计算I与PAN'的细节图像d₁与d₂：

LI＝I-RGF(I) (6)

LP＝PAN'-RGF(PAN') (7)

d₁＝I-LI (8)

d₂＝PAN'-LP (9)

第六步、细节图像融合：

将细节图像d₁、d₂通过低通滤波器并取绝对值，构造能量显著映射：

S_j＝|box(d_j)|,j＝1,2 (10)

其中box(·)为r×r大小的平均滤波器，d_j为第j幅细节图像，|·|为取绝对值操作，得到的显著映射提供了图像中较好的细节特征。再利用能量显著映射构造加权映射：

其中S_j(m)表示第j幅图像中第m个像素的显著映射值。

将d_j作为导向滤波器的指导图像，W_j作为输入图像，计算出输出图像O_j，最后计算细节图像D：

O_j＝GF(d_j,W_j),j＝1,2 (12)

第七步、细节注入：

将GS变换后得到的第一波段GS₁作为滚动导向滤波的输入图像，利用第四步计算出输出图像记为LGS₁，将细节图像D注入LGS₁作为新的GS变换的第一波段，并记为GS_1new：

LGS₁＝RGF(GS₁) (14)

GS_1new＝D+LGS₁ (15)

第八步、GS反变换：

对新的变换波段(GS_1new，GS₂，…，GS_N+1)进行GS反变换，得到N个波段融合结果图像(F₁，F₂，…，F_N)。

方法实施例：

采用真实IKONOS星载遥感多光谱和全色光图像，多光谱图像包含四个波段(MS₁-MS₄)，全色光图像(PAN)为单波段。多光谱图像的空间分辨率为4.0m，大小为100行×100列。全色光图像空间分辨率为1.0m，大小为400行×400列。实施本发明包括以下步骤：

第一步、上采样多光谱图像：

由于全色光图像空间分辨率是多光谱图像空间分辨率的4倍，因此通过双三次插值将4个波段(MS₁，MS₂，MS₃，MS₄)上采样到和全色光图像尺寸相同的图像(RMS₁，RMS₂，RMS₃，RMS₄)。

第二步、GS正变换：

将4个波段(RMS₁，RMS₂，RMS₃，RMS₄)对应像素点的灰度值取平均设为低分辨率全色光图像PL对应像素点灰度值，将PL与这4个波段作为GS正变换的输入图像得到变换后的波段(GS₁，GS₂，…，GS₅)。

PL＝(RMS₁+RMS₂+RMS₃+RMS₄)/4

第三步、直方图匹配：

利用公式(2)得到亮度分量图像I，再利用公式(3)将图像I与PAN做直方图匹配得到PAN'。

第四步、滚动导向滤波：

设置图像I与PAN'分别为滚动导向滤波的输入图像，利用公式(4)和(5)对这两幅图像进行滚动导向滤波，其中σ_s、w取值均为2，t取值为4。根据公式(6)和(7)输出图像分别记为LI与LP。

第五步、细节的提取：

利用公式(8)和(9)计算I与PAN'的细节图像记为d₁与d₂。

第六步、细节图像融合：

将细节图像d₁与d₂通过3×3的平均滤波器并取绝对值，构造能量显著映射：

S₁＝|box(d₁)|

S₂＝|box(d₂)|

再利用S₁与S₂构造加权映射W₁与W₂。

将d₁与d₂分别作为导向滤波器的指导图像，相应的加权映射W₁与W₂分别作为输入图像，利用导向滤波算法GF(·)计算出输出图像O₁与O₂。

O₁＝GF(d₁,W₁)

O₂＝GF(d₂,W₂)

最后根据公式(13)计算融合的细节图像D。

第七步、细节注入：

将GS正变换后得到的第一波段GS₁作为滚动导向滤波的输入图像，利用公式(4)和(5)计算出LGS₁，其中σ_s、w取值均为2，t取值为4。根据公式(15)将细节图像D注入LGS₁作为新的GS变换的第一波段GS_1new，即：

GS_1new＝D+LGS₁

第八步、GS反变换：

对新的变换波段(GS_1new，GS₂，…，GS₅)进行GS反变换，得到4个波段融合结果图像(F₁，F₂，F₃，F₄)。

Claims (1)

1.一种利用滚动导向滤波的遥感图像融合方法，其特征在于包括下述步骤：

第一步，对于原始多光谱图像包含的N个波段图像MS₁、MS₂、…、MS_N，通过双三次插值将各波段图像上采样到和全色光图像PAN尺寸相同的图像RMS₁、RMS₂、…、RMS_N；

第二步，将RMS₁、RMS₂、…、RMS_N波段图像对应像素点的灰度值取平均作为低分辨率全色光图像PL对应像素点灰度值，即将PL与RMS₁、RMS₂、…、RMS_N波段图像作为GS正变换的输入图像得到变换后的波段图像GS₁，GS₂，…，GS_N+1；

第三步，令亮度分量图像I等于PL，分别计算图像I与PAN所有像素点灰度值的均值与标准差，将图像I与PAN做直方图匹配得到式中μ_I与μ_P分别为亮度分量图像I和全色光图像PAN所有像素点灰度值的均值，σ_I与σ_P分别为亮度分量图像I和全色光图像PAN的所有像素点灰度值的标准差；

第四步，构建滚动导向滤波器，并将滚动导向滤波算法记为RGF(·)，分两个阶段进行：

第一阶段对输入图像做高斯滤波，该阶段输入图像为Q，输出图像记为G，其中σ_s为Q的所有像素点的灰度值标准偏差，N(p)为以p为中心、w×w窗口大小的像素集，q为N(p)中不同于p的像素点，||p-q||表示两个像素点的欧式距离；

第二阶段采用导向滤波算法GF(·)，该阶段输入图像为Q，与第一阶段输入图像相同，图像J作为迭代更新的指导图像，其中第一阶段的输出G记为J¹，第t次迭代的结果J^t+1＝GF(J^t，Q)；

第五步，将亮度分量图像I与直方图匹配全色光图像PAN'分别作为滚动导向滤波器的输入图像，计算出对应的输出图像，即LI＝RGF(I)和LP＝RGF(PAN')，再计算I与PAN'的细节图像d₁＝I-LI与d₂＝PAN'-LP；

第六步，构造能量显著映射S_j＝|box(d_j)|,j＝1,2，其中box(·)为r×r大小的平均滤波器，|·|为取绝对值操作，d_j为第j幅细节图像；再利用能量显著映射构造加权映射其中S_j(m)表示第j幅图像中第m个像素的显著映射值；

将d_j作为导向滤波器的指导图像，W_j作为输入图像，计算出输出图像O_j＝GF(d_j,W_j)，最后计算细节图像

第七步，将GS变换后得到的第一波段图像GS₁作为滚动导向滤波的输入图像，滚动导向滤波器的输出图像记为LGS₁，即LGS₁＝RGF(GS₁)，将细节图像D注入LGS₁作为新的GS变换的第一波段图像GS_1new＝D+LGS₁；

第八步，对新的变换波段GS_1new，GS₂，…，GS_N+1进行GS反变换，得到N个波段融合结果图像F₁，F₂，…，F_N。