CN107545554A - 一种基于导向滤波的两级遥感图像融合方法 - Google Patents

Abstract

本发明提供了一种基于导向滤波的两级遥感图像融合方法，在两级操作中采用两种导向方式的导向滤波模型进行图像融合，对预处理后的图像先利用多通道导向滤波进行初步融合，后通过设计合适的增强模型利用单通道导向滤波对上述融合结果进行空间分辨率提高，最终融合原始的多光谱图像光谱信息和全色光图像的空间信息，得到高质量的融合图像，是一种适用于高分辨率星载多光谱与全色光图像融合的有效融合方法。

Description

一种基于导向滤波的两级遥感图像融合方法

技术领域

本发明涉及遥感图像的可视化增强处理技术，尤其是针对星载多光谱图像和全色光图像的图像融合方法。

背景技术

由于受到传感器物理特性等技术的限制，为了获得更高的光谱分辨率，常常要在一定程度上牺牲空间分辨率，而如果以获得更高的空间分辨率为首要目标，则必须以 降低光谱分辨率为代价。为了解决这一矛盾，遥感平台，例如QuickBird、WorldView-2、 GeoEye-1常常搭载不同特性的传感器来分别获取具有高空间分辨率的全色光图像和 高光谱分辨率的多光谱图像，组成具有互补性的图像数据集。通过融合这两类图像既 可以提高多光谱图像空间分辨率，又保留其多光谱特性。因此，它不仅仅是数据间的 简单复合，而是强调信息的优化，以突出有用的专题信息，消除或抑制无关的信息， 改善目标识别的图像环境等。

在过去几十年中，已出现许多遥感图像融合的方法，其中成分替换法、模型优化法和多分辨率分析法这三类方法是最常用的。经典的成分替换法有 Intensity-Hue-Saturation(IHS)、Gram Schmidt(GS)、Principal Component Analysis(PCA) 法等，由于全色光和多光谱图像间复杂的光谱响应，成分替换法将导致严重的光谱扭 曲。模型优化法是基于全色光图像、多光谱图像以及两者间关系建立恢复优化模型， 常用的方法有sparserepresentation(SR)等，由于遥感平台的光谱响应不同，这些假设 模型可能不适合所有卫星传感器，因此融合图像会产生空间和光谱失真。多分辨率分 析常用的方法有àtrouswavelet transformation(AWAT)和拉普拉斯金字塔(Laplacian pyramid)等，这类方法提取的空间细节可能与多光谱图像不匹配，因此，在融合图像 的空间扭曲是不可避免的。

发明内容

为了克服现有技术的不足，本发明提供一种基于导向滤波的两级图像融合方法，预处理阶段对原始多光谱图像进行上采样和进行图像间的直方图匹配，设计两种细节 注入模型，首先通过基于多通道导向滤波注入模型进行初步的图像融合来提高光谱分 辨率，再利用单通道导向滤波细节注入模型对上述融合结果进行空间分辨率的提高， 最终融合结果将同时具有高空间分辨率和高光谱分辨率。

本发明解决其技术问题所采用的技术方案包括以下步骤：

第一步，运用双三次插值法对包含N个波段的原始多光谱图像MS_i进行上采样， 上采样后图像记为LMS_i；

第二步，计算强度分量其中线性组合系数α_i通过求解优化模型得到；将全色光图像PAN分别与INT和MS_i进行直方图 匹配，匹配后图像分别记为PAN_I和PAN_LMS_i；

第三步，在以像素k为中心的正方形窗口w_k中，窗口大小为(2r+1)×(2r+1)， 输出图像O由导向图像Q经过线性变换得到；

构建单通道导向滤波器用GF_S(·)表示，其中Q为单波段图像，为a_k b_k、在w_j中的均值，w_j是以像素j为中 心的正方形窗口，大小为(2r+1)×(2r+1)，μ_k与分别为Q在w_k的均值和方差，w为w_k中包含的所有像素点个数，p_j为输入 图像P在j处的像素值，为p在w_k中的均值，ε是正则化系数；

构建多波段图像导向滤波器用GF_M(·)表示，其中Q为多波段图像，Σ_k为Q在w_k的协方差矩阵，U是N阶单位阵，

第四步，运用GF_M(·)将PAN_I图像进行两层分解，ZMS1＝GF_M(PAN_I,LMS)，ZMS2＝GF_M(ZMS1,LMS)；该两层的细节信息为DP1＝PAN_I-ZMS1， DP2＝ZMS1-ZMS2；初步融合结果为

第五步，计算权重矩阵

第六步，对PAN图像进行3×3拉普拉斯滤波的到高频细节图像H；ξ_i和H通过 单通道导向滤波获得各波段对应的权值矩阵Γ_i＝GF_S(ξ_i,H)；计算精确的权值矩阵 Γ^GF＝Γ_i当μ_i表示初步融合结果各波段的平均灰度值。精确的权 值矩阵Γ^GF选择具有最高平均灰度值值的多光谱波段对应的权值矩阵，用于最终的 细节增强；

第七步，得到第i波段PAN_MS_i和的差分图像将R_i同时作为导向图像和输入图像进行单波段导向滤波X_i＝GF_S(R_i,R_i)；用差分图像减 去滤波结果进行差分图像的空间细节信息提取DR_i＝R_i-X_i；利用权值矩阵Γ^GF将空间 细节DR_i调制后注入至初步融合结果中，最终融合图像记为其中⊙表示矩阵点乘运算。

本发明的有益效果是：在两级操作中采用两种导向方式的导向滤波模型进行图像融合，对预处理后的图像先利用多通道导向滤波进行初步融合，后通过设计合适的增 强模型利用单通道导向滤波对上述融合结果进行空间分辨率提高，最终融合原始的多 光谱图像光谱信息和全色光图像的空间信息，得到高质量的融合图像，是一种适用于 高分辨率星载多光谱与全色光图像融合的有效融合方法。

附图说明

图1是本发明的原理示意图；

图2是本发明的流程图。

具体实施方式

下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。

本发明包括以下步骤：

假设原始多光谱图像(MS_i)包含N个波段，下标i＝1,…,N，表示对应多波段图像的第i波段。

第一步、上采样多光谱图像

运用双三次插值法对原始多光谱图像进行上采样，上采样后图像记为LMS_i。

第二步、直方图匹配

计算强度分量INT，INT可以由合适的上采样多光谱图像(LMS_i)的线性组合模型估计：

其中线性组合系数通过求解下述优化模型得到：

将全色光图像(PAN)分别与INT和MS_i进行直方图匹配，匹配后图像记为PAN_I 和PAN_LMS_i，匹配，直方图匹配具体计算过程如下：

(3),(4)式中μ_P,μ_I,分别是全色光图像PAN，强度分量INT，上采样多光谱图像LMS_i的均值，σ_P,σ_I,分别是全色光图像PAN，强度分量INT，上采样多光谱 图像LMS_i的标准差。

第三步、导向滤波

导向滤波器原理参见IEEE Transactions on Pattern Analysis and MachineIntelligence，35(6):1397-1409，2013.

单通道导向滤波器包含一幅输入图像(P)，一幅导向图像(Q)。滤波输出图像记 为O，在以像素k为中心的窗口w_k中，这里采用正方形窗口，窗口半径记为r，窗口 大小为(2r+1)×(2r+1)。O由Q经过线性变换得到：

其中(a_k，b_k)是指在包含像素点j的第k个窗口w_k中保持不变的一组线性系数。 具体计算公式如下：

其中μ_k与分别为Q在w_k的均值和方差，w为w_k中包含的所有像素点个数，p_j为 输入图像在j处的像素值，为p在w_k中的均值，ε是正则化系数。最终 滤波输出结果为：

其中为a_k,b_k在w_j中的均值，w_j为以像素j为中心的正方形窗口，大小为(2r+1)×(2r+1)。在本文中，用GF_S(·)来表示单通道导向 滤波操作，其中导向图像Q为单波段图像。

当导向图像为多波段图像时，导向滤波器线性模型可以改写为：

Q_j是N×1向量，a_k是N×1系数向量，T表示矩阵的转置，O_j和b_k是标量。 多通道导向滤波模型为：

其中Σ_k为Q在w_k的协方差矩阵，ε是正则化系数，U是N阶单位阵。在本文中， 用GF_M(·)来表示多通道导向滤波操作，其中导向图像Q为多波段图像。

第四步、初步融合

运用GF_M(·)滤波器将PAN_I图像进行两层分解：

ZMS1＝GF_M(PAN_I,LMS) (13)

ZMS2＝GF_M(ZMS1,LMS) (14)

其中，上采样LMS图像为多波段图像，分别用该层输入图像减去该层滤波结果， 得到该两层的细节信息：

DP1＝PAN_I-ZMS1 (15)

DP2＝ZMS1-ZMS2 (16)

初步融合结果为：

第五步、计算权重矩阵

N波段初步融合结果用来比较得到权重矩阵ξ_i

第六步、计算精确权值矩阵

对PAN图像进行3×3拉普拉斯滤波的到高频细节图像H。

ξ_i和H通过单通道导向滤波获得权值矩阵。

Γ_i＝GF_S(ξ_i,H) (19)

考虑到MS¹图像的空间信息，权值矩阵要提高的空间分辨率同时降低光谱扭曲。精确的权值矩阵Γ^GF选择具有最高平均值的多光谱波段对应的权值矩阵，用于最终 的细节增强。

Γ^GF＝Γ_i当

μ_k表示初步融合结果MS¹各波段的平均灰度值。

第七步、细节增强

对第i波段，得到该波段PAN_MS_i和的差分图像R_i。

将R_i同时作为导向图像和输入图像进行单波段导向滤波得到滤波结果。

X_i＝GF_S(R_i,R_i) (22)

用差分图像减去滤波结果来提取差分图像的空间细节信息。

DR_i＝R_i-X_i (23)

利用权值矩阵Γ^GF将空间细节DR_i调制后注入至初步融合结果MS¹中，最终融合图像记为MS²。

其中⊙表示矩阵点乘运算。

方法实施例：

采用真实GeoEye-1星载遥感多光谱图像和全色光图像，多光谱图像包含四个波段(MS₁-MS₄)，分别是：蓝、绿、红、近红外波段，全色光图像(PAN)为单波段。多光 谱图像的空间分辨率为2.0m，大小为200行×200列。全色光图像空间分辨率为0.5m， 大小为800行×800列。实施本发明包括以下步骤：

第一步、上采样多光谱图像

由于全色光图像空间分辨率是多光谱图像空间分辨率的4倍，因此全色光图像的尺寸是多光谱图像的4倍，故需对多光谱图像上采样得到和全色光尺寸相同的图像。

这里运用双三次插值法对原始多光谱图像进行上采样，上采样后的多光谱图像记为LMS_i，上采样后多光谱图像尺寸为800行×800列。

第二步、直方图匹配

计算强度分量INT。INT可以由合适的上采样多光谱图像(LMS_i)线性组合模型估计。

其中线性组合系数通过求解下述优化模型得到：

s.t.α₁≥0,...,α_N≥0

利用公式(3)和(4),将全色光图像(PAN)分别与INT和MS_i图像进行直方图匹配，匹配后图像记为PAN_I和PAN_LMS_i。

第三步、导向滤波

用GF_S(·)来表示单通道导向滤波操作，其中输入图像和导向图像均为单波段图像。

用GF_M(·)来表示多通道导向滤波操作，其中输入图像为单波段图像，导向图像为多波段图像。

第四步、初步融合

运用GF_M(·)滤波器将PAN_I图像进行两层分解：

ZMS1＝GF_M(PAN_I,LMS)

ZMS2＝GF_M(ZMS1,LMS)

其中GeoEye-1卫星的上采样后四波段多光谱图像作为两层多通道导向滤波的输入图像，即LMS，第一层输入图像为PAN_I，第二层输入图像为第一层滤波的结果 ZMS1。在该两层上，分别用输入图像减去多通道导向滤波结果得到细节信息：

DP1＝PAN_I-ZMS1

DP2＝ZMS1-ZMS2

初步融合结果为：

第五步、计算权重矩阵

N波段初步融合结果(MS¹)用来比较得到权重矩阵ξ_i。

第六步、计算精确权值矩阵

对PAN图像进行3×3拉普拉斯滤波的到高频细节图像H。

H＝PAN*L

其中L＝[[-1，-1，-1]，[-1，8，-1]，[-1，-1，-1]]，为3×3拉普拉斯滤波器，*代 表卷积运算。

ξ_i和H通过单通道导向滤波获得精确权值矩阵。

Γ_i＝GF_S(ξ_i,H)

考虑到MS¹图像的空间信息，权值矩阵要提高的空间分辨率同时降低光谱扭曲。精确的权值矩阵Γ^GF选择具有最高平均灰度值的多光谱波段对应的权值矩阵，用于 最终的细节增强。

Γ^GF＝Γ_i当

其中μ_k表示初步融合结果MS¹各波段的平均灰度值。

第七步、细节增强

对第i波段，得到该波段PAN_MS_i和的差分图像R_i。

将R_i同时作为导向图像和输入图像进行单波段导向滤波得到滤波结果。

X_i＝GF_S(R_i,R_i)

用差分图像减去滤波结果来提取差分图像的空间细节信息。

DR_i＝R_i-X_i

利用权值矩阵Γ^GF将空间细节DR_i调制后注入至初步融合结果MS¹中，最终融合图像记为MS²。

其中⊙表示矩阵点乘运算。

Claims (1)

1.一种基于导向滤波的两级遥感图像融合方法，其特征在于包括下述步骤：

第一步，运用双三次插值法对包含N个波段的原始多光谱图像MS_i进行上采样，上采样后图像记为LMS_i；

第二步，计算强度分量其中线性组合系数α_i通过求解优化模型得到；将全色光图像PAN分别与INT和MS_i进行直方图匹配，匹配后图像分别记为PAN_I和PAN_LMS_i；

第三步，在以像素k为中心的正方形窗口w_k中，窗口大小为(2r+1)×(2r+1)，输出图像O由导向图像Q经过线性变换得到；

构建单通道导向滤波器用GF_S(·)表示，其中Q为单波段图像，为a_kb_k、在w_j中的均值，w_j是以像素j为中心的正方形窗口，大小为(2r+1)×(2r+1)，μ_k与分别为Q在w_k的均值和方差，|w|为w_k中包含的所有像素点个数，p_j为输入图像P在j处的像素值，为p在w_k中的均值，ε是正则化系数；

构建多波段图像导向滤波器用GF_M(·)表示，其中Q为多波段图像，Σ_k为Q在w_k的协方差矩阵，U是N阶单位阵，

第四步，运用GF_M(·)将PAN_I图像进行两层分解，ZMS1＝GF_M(PAN_I,LMS)，ZMS2＝GF_M(ZMS1,LMS)；该两层的细节信息为DP1＝PAN_I-ZMS1，DP2＝ZMS1-ZMS2；初步融合结果为

第五步，计算权重矩阵

第六步，对PAN图像进行3×3拉普拉斯滤波的到高频细节图像H；ξ_i和H通过单通道导向滤波获得各波段对应的权值矩阵Γ_i＝GF_S(ξ_i,H)；计算精确的权值矩阵Γ^GF＝Γ_i当μ_i表示初步融合结果各波段的平均灰度值。精确的权值矩阵Γ^GF选择具有最高平均灰度值值的多光谱波段对应的权值矩阵，用于最终的细节增强；

第七步，得到第i波段PAN_MS_i和的差分图像将R_i同时作为导向图像和输入图像进行单波段导向滤波X_i＝GF_S(R_i,R_i)；用差分图像减去滤波结果进行差分图像的空间细节信息提取DR_i＝R_i-X_i；利用权值矩阵Γ^GF将空间细节DR_i调制后注入至初步融合结果中，最终融合图像记为其中⊙表示矩阵点乘运算。