CN1484039A - 基于不可分离小波框架的图像融合方法 - Google Patents

Abstract

本发明涉及一种基于不可分离小波框架的图像融合方法，用以融合同一地物的高空间分辨率全色遥感图像和低空间分辨率的多光谱遥感图像。在对原图像进行配准和插值重采样的基础上，对多光谱遥感图像进行IHS变换，对高分辨率全色图像进行不可分离小波框架分解，并对其进行多尺度增强运算，以充分提高融合后图像的空间信息，通过用多光谱图像的IHS变换中的I分量直接替换高分辨率全色图像的低频部分的方式，提高融合后图像的光谱信息和空间信息，最后采用小波框架重构并进行IHS逆变换得到融合后的图像。本发明与可分离小波方法相比具有更好的频率特性和方向属性，可针对不同目的进行灵活设计，融合后图像的质量得以较大的提高。

Description

基于不可分离小波框架的图像融合方法

技术领域：

本发明涉及一种基于不可分离小波框架的图像融合方法，用以融合高空间分辨率全色遥感图像和低空间分辨率的多光谱遥感图像。在各类民用或军用的遥感信息处理系统、数字城市空间信息系统等领域中均有广泛的应用。

背景技术：

图像融合是多传感器信息融合中可视信息的融合，它利用各种成像传感器不同的成像方式，为不同的影像提供互补信息，增加图像信息量，减少原始图像数据量，提高对环境的适应性，以获得更可靠、更准确的有用信息供观察或进一步处理。它已经广泛应用于军事、医疗、遥感、计算机视觉等领域。

在遥感领域中，遥感图像融合就是将多源遥感数据在统一的地理坐标系中，采用一定的算法生成一组新的信息或合成图像的过程。由于不同成像传感器的使用，不同的遥感数据具有不同的空间分辨率和光谱分辨率。对于多光谱传感器来说，其能够获得光谱分辨率高而空间分辨率低的多光谱图像；对于全色波段的传感器，可得到空间分辨率高的遥感图像。图像融合技术就是将它们各自的优势结合起来，弥补了单一图像上信息的不足，不仅扩大了应用范围，而且大大提高了遥感影像分析的精度。至今为止，人们已发展了多种方法用以融合不同分辨率的遥感图像，其中包括：IHS(强度、色度、饱和度)变换、主成分分析、高通滤波法等方法。近年来，随着小波理论的发展，离散小波变换已成为遥感图像融合中非常有用的工具。在小波分解中，由于离散小波变换(DWT)在其分解时采用了降采样运算使得融合图像的大小发生变化，这在图像融合中往往是不利的。现有采用可分离小波进行图像处理方法简便易行，可直接引用一维情况下的滤波器组进行处理，但其仅仅是以可分离的方式将一维小波变换推广到二维小波变换，仍以一维信号处理的形式处理二维图像。也有采用不可分离小波进行图像处理的方法，它是将图像作为一个区域来进行处理而并非对其进行行列处理。与可分离小波相比，其具有更好的频率特性和方向属性，并且使其采用的滤波器设计及降采样方式更加灵活，可针对不同目的进行相应的设计。但是尚未用于图像融合领域。

发明内容：

本发明的目的在于针对现有技术存在的不足，提供一种基于不可分离小波框架(NDWF)的图像融合方法，具有更好的频率特性和方向属性，使得融合后图像的质量得以较大的提高。

为实现发明的目的，本发明在对原图像进行配准和插值重采样的基础上，对多光谱遥感图像进行IHS变换，对高分辨率全色图像进行不可分离小波框架分解，并对其进行多尺度增强运算，以充分提高融合后图像的空间信息。通过用多光谱图像的IHS变换中的I分量直接替换高分辨率全色图像的低频部分的方式，提高融合后图像的光谱信息和空间信息。最后，采用小波框架重构并进行IHS逆变换得到融合后的图像。

本发明的方法包括如下具体步骤：

1、在对同一地貌的低空间分辨率多光谱图像和高空间分辨率全色遥感图像进行配准的基础上，通过对低空间分辨率图像进行插值重采样，以实现二者具有相同的尺寸大小。

对于图像的插值重采样，可采用常规的最近邻法、双线性插值法以及三次卷积插值等方法。

2、对多光谱遥感图像进行IHS变换，分别得到色度H、饱和度S和强度分量I。考虑高分辨率全色遥感图像和多光谱遥感图像之间的光谱差别以及不同气候和照明条件的影响，对高分辨率全色遥感图像和多光谱遥感图像IHS变换中的I分量进行直方图匹配，使它们的灰度均值和方差相一致。

3、对高分辨率全色图像进行不可分离小波框架分解：采用五株形采样栅格所对应的不可分离小波，通过对高通和低通滤波器元素间插入适当个数的零元素，不作降采样卷积，实现图像的小波框架分解，将高分辨率全色图像分成小波框架序列和尺度框架序列。

采用五株形采样栅格所对应的不可分离小波时，其小波变换对应于两通道滤波器组，与一维情况的两通道滤波器组相类似。对于每个通道，其采样个数为原来的一半，那么在水平和垂直两个方向的降维比例为

这意味着其能够获得两倍于二进制小波的分辨率，这就是本发明采用不可分离小波变换的原因。

4、对全色图像进行多尺度增强运算，以充分提高融合后图像的空间信息。多尺度增强运算应满足：(a)有效地抑制图像中的大多数噪声；(b)高对比度的信息不应再被增强；对图像的每一分解层所得系数进行一非线性运算：

其中，x为的分解层中对应的像素值；M为非线性增强的上限值；G_i为增益因子；i为分解层。

5、为了尽可能多的保留多光谱图像中的光谱信息，用多光谱图像的IHS变换中的I分量直接替换高分辨率全色图像的低频部分。融合图像的低频部分为多光谱图像的I分量；融合图像的高频部分为高分辨率全色图像的小波框架序列。

6、对替代后的图像进行小波框架重构，并进行IHS逆变换得到融合后的图像。

本发明提出了一种基于不可分离小波框架的图像融合方法，具体的有益效果为：

在进行融合处理时，采用直接替换高分辨率全色图像的低频部分的方式，能够有效地保留多光谱图像中的光谱特性；对全色图像进行多尺度增强处理，能够提高融合图像的空间信息。本发明使得融合后图像的质量得以较大的提高，对于应用系统的后续处理具有重要意义和实用价值。

附图说明：

图1为本发明的基于不可分离小波框架图像融合方法流程示意图。

如图1所示，本发明在对原图像配准的基础上，对多光谱遥感图像MS进行插值重采样并进行IHS变换；对高分辨率全色遥感图像PS进行不可分离小波框架(NDWF)分解获得PD₁，PD₂，PD₃和PS3，进行多尺度增强得到PE₁，PE₂，PE₃和PS₃；采用多光谱图像的IHS变换中的I分量直接替换高分辨率全色图像的低频部分PS₃的方式进行图像融合；最后，采用小波框架重构并进行IHS逆变换得到融合后的图像FI。

图2为本发明方法与IHS变换、小波变换方法的融合结果比较。

其中，(a)为多光谱遥感图像；(b)为高分辨率全色遥感图像；(c)为IHS变换方法所得的融合结果；(d)为采用小波变换融合方法所得的融合结果；(e)为采用可分离小波框架融合方法所得的融合结果；(f)为采用本发明方法所得的融合结果。

具体实施方式：

为了更好地理解本发明的技术方案，以下结合附图对本发明的实施方式作进一步描述。

本发明具体实施如下：

1、对同一地貌的低空间分辨率多光谱图像和高空间分辨率全色遥感图像进行配准，在此基础上，再对低空间分辨率图像进行插值重采样，以实现二者具有相同的尺寸大小。

采用三次卷积插值方法进行图像重采样的实施例所得的多光谱遥感图像和高分辨率全色遥感图像如图2(a)，(b)所示。

2、对多光谱遥感图像进行IHS变换，分别得到色度H、饱和度S和强度分量I。对于IHS变换，采用如下变换公式：

$\left[\begin{array}{c}I\\ V_1\\ V_2\end{array}\right]=\left[\begin{array}{ccc}1/3& 1/3& 1/3\\ 1/\sqrt{6}& 1/\sqrt{6}& -2/\sqrt{6}\\ 1/\sqrt{2}& -1/\sqrt{2}& 0\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]----\left(1\right)$

H＝tan^-1(V₂/V₁)， $S=\sqrt{V_1^2+V_2^2};$

相应的反变换为：

$\left[\begin{array}{c}R\\ G\\ B\end{array}\right]=\left[\begin{array}{ccc}1& 1/\sqrt{6}& 1/\sqrt{2}\\ 1& 1/\sqrt{6}& -1/2\\ 1& -2/\sqrt{6}& 0\end{array}\right]\·\left[\begin{array}{c}I\\ V_1\\ V_2\end{array}\right]----\left(2\right)$

3、对高分辨率全色图像PF进行不可分离小波框架分解，高分辨率全色图像PF被分成小波框架序列PD_i+1(x)和尺度框架序列PS_i+1(x)，

${\mathrm{PD}}_{i+1}\left(x\right)={\left[g\right]}_{\↑2^i}*{\mathrm{PS}}_i\left(x\right)----\left(3\right)$

${\mathrm{PS}}_{i+1}\left(x\right)={\left[h\right]}_{\↑2^i}*{\mathrm{PS}}_i\left(x\right)---(i=0,.....,N)$

其中，PS₀＝PF；h，g为原型滤波器，其扩展

是通过在元素间插入适当的零元素形成的。对高分辨率全色图像进行不可分离小波框架分解。选用双正交9-7小波滤波器作为设计不可分离小波框架的一维原型滤波器。双正交9-7小波相应滤波器系数如表1所示。不可分离小波框架相应滤波器系数如表2所示。

          表1    双正交9-7小波相应滤波器系数

 n        0         ±1         ±2       ±3         ±4

h[n]  0.852699   0.377403   -0.110624  -0.023849   0.037828

g[n]  0.788486   0.418092   -0.040689  -0.064539       0

表2  不可分离小波框架相应滤波器系数

	h	g
			a	0.001671	-
b	-0.002108	-0.005704
			c	-0.019555	-0.007192
d	0.139756	0.164931
			e	0.687859	0.586315
f	0.006687	-
			g	-0.006324	-0.017113
i	-0.052486	-0.014385
			j	0.010030

af    b    fj    g    c    g    jf    g    i    d    i    g    fa    b    c    d    e    d    c    b    af    g    i    d    i    g    fj    g    c    g    jf    b    fa

4、为了充分提高融合后图像的空间信息，对全色图像进行多尺度增强运算。

其中，M为非线性增强的上限值；G_i为增益因子；i为分解层。在进行多尺度增强时，选取参数：G₁＝22.5，G₂＝15，G₃＝8，p＝3.0，M＝3.5.

5、用多光谱图像的IHS变换中的I分量直接替换高分辨率全色图像的低频部分。融合低频系数：{I}；融合高频系数：(PE_i，i＝1，2…N}。

6、替代后的图像进行小波框架重构并进行IHS逆变换得到融合后的图像。

$\mathrm{FZ}={\tilde{h}}_1*I+\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{\tilde{g}}_i*{\mathrm{PE}}_i\left(x\right)----\left(5\right)$

将本发明所得的融合结果与其他融合方法所得的融合结果进行对比，评价结果对照如表-3所示，图2为融合后所得的图像。其中，(c)为IHS变换方法所得的融合结果；(d)为采用小波变换融合方法所得的融合结果；(e)为采用可分离小波框架融合方法所得的融合结果；(f)为采用本发明方法所得的融合结果。

结果表明，本发明使得融合后图像的质量得以较大的提高，均优于其他融合方法。

      表3  本发明方法与IHS变换方法、小波变换方法的性能评价结果对照

              平均梯度                   相对偏差               相关系数

         R        G        B        R       G       B       R       G       B

 IHS  31.9957  31.8507  32.0872  0.5691  0.3951  0.5264  0.4995  0.3826  0.4762

 DWT  31.4639  31.5187  31.6703  0.3537  0.2774  0.3409  0.7740  0.7052  0.7568

 DWF  31.3861  31.4568  31.5866  0.3326  0.2653  0.3237  0.8009  0.7406  0.7857

NDWF  33.1295  33.2004  33.3315  0.2983  0.2344  0.2905  0.8534  0.8074  0.8405

 TM   10.1505  9.3723   9.9521

Claims (1)

1、一种基于不可分离小波框架的图像融合方法，其特征在于包括如下具体步骤：

1)在对同一地貌的低空间分辨率多光谱图像和高空间分辨率全色遥感图像进行配准的基础上，对低空间分辨率图像进行插值重采样，以实现二者具有相同的尺寸大小；

2)对多光谱遥感图像进行IHS变换，分别得到色度H、饱和度S和强度分量I。对高分辨率全色图像和多光谱图像进行直方图匹配，使它们的灰度均值和方差相一致；

3)对高分辨率全色图像进行不可分离小波框架分解，采用五株形采样栅格所对的不可分离小波，通过对高通和低通滤波器元素间插入零元素，不作降采样卷积，实现图像的小波框架分解，将高分辨率全色图像分成小波框架序列和尺度框架序列；

4)对全色图像进行多尺度增强运算，即对图像的每一分解层所得系数进行一非线性增强运算，以充分提高融合后图像的空间信息；

5)用多光谱图像的IHS变换中的I分量直接替换高分辨率全色图像的低频部分，以尽可能多的保留多光谱图像中的光谱信息，融合图像的低频部分为多光谱图像的I分量；融合图像的高频部分为高分辨率全色图像的小波框架序列；

6)对替代后的图像进行小波框架重构并进行IHS逆变换得到融合后的图像。

Images