CN1303571C - 基于模糊积分的图像优化融合方法 - Google Patents

Abstract

一种基于模糊积分的图像优化融合方法，在IHS空间，将多光谱影像的强度分量经小波多层分解得到的低频基带系数，与高分辨率影像经对应多层小波分解得到的低频基带系数，利用模糊积分综合光谱信息和空间分辨率这两个单因素指标，进行迭代求优的像素级融合，同时对经小波分解后的高频子带系数进行高频细节特征融合，然后将融合处理后得到的高频子带系数、低频系数进行对应的小波逆变换，得到新的强度分量I’，再进行IHS逆变换后得到优化融合后的影像。本发明结合了IHS融合方法和小波融合方法的特点，使融合后的影像既达到最高的空间分辨率，又最大限度的降低了彩色的畸变，有效的改善了融合影像的光谱信息指标。

Description

基于模糊积分的图像优化融合方法

技术领域

本发明涉及一种基于模糊积分的图像优化融合方法，结合小波多分辨率分解具有的时频特性和IHS(强度Intensity-色度Hue-饱和度Saturation)变换融合方法，利用模糊积分综合光谱信息和空间分辨率两个单因素指标，进行遥感影像优化融合，有效改善融合影像的光谱信息指标，在各类军用或民用的遥感信息处理系统、数字城市空间信息系统等领域中均可有广泛的应用。

背景技术

有效的融合高分辨率全色遥感影像和低分辨率的多光谱遥感影像，均衡融合结果中空间细节信息和光谱信息两项特征指标，是多源遥感影像融合技术的研究热点之一。

Haydn等人首先提出的IHS融合方法是经典的实用算法之一。该方法将多光谱影像通过IHS变换从RGB(红Red-绿Green-蓝Blue)空间变换到IHS空间，同时将高分辨率的全色影像进行线性拉伸，使得拉伸后影像的均值和方差与IHS空间中的强度分量I₀一致。然后，将拉伸后的高分辨率影像作为新的强度分量，与H和S分量一起按照IHS逆变换公式变换到原RGB空间。这样，使得融合后的影像既具有较高的空间分辨率，同时又保持了原低分辨率多光谱影像相同的色度和饱和度。然而，这种经典的IHS融合方法存在着一定的缺陷，由于不同波段的数据具有不同的光谱特性曲线，IHS融合方法扭曲了原始的光谱特性，产生了不同程度的光谱退化现象，因而不利于影像的正确识别和分类，特别是对于不同时相的多传感器遥感影像的影像融合，IHS融合方法无法使得融合影像的色调和原多光谱影像的色调保持一致，这种因为光谱信息的变换，导致了影像不能用于地物识别和反演。Te-Ming等人在IHS空间进行了数学上的证明，论述了IHS融合方法的缺陷，得到的结论是：尽管用于替换强度分量I₀的高分辨率的全色影像I_new在替换前进行了影像的统计特性的匹配，但是匹配误差δ＝I_new-I导致了彩色的畸变。

当利用模糊测度表征对评价指标的重视程度后，引入模糊积分则可以有效的综合光谱信息指标和空间分辨率两个单因素指标，在IHS融合方法和小波变换融合的基础上，模糊积分可以方便快捷的进行图像优化融合。目前尚未见有关将模糊积分用于图像优化融合的方法报道。

发明内容

本发明的目的在于针对上述IHS变换融合技术的不足，提供一种遥感影像优化融合方法，引入模糊积分作为综合光谱信息指标和空间分辨率两个单因素指标，既能提高融合后影像的空间分辨率，又能降低彩色的畸变，有效改善融合影像的光谱信息指标。

为实现这样的目的，本发明在IHS空间，将多光谱影像的强度分量经小波多层分解得到的低频基带系数，与高分辨率影像经对应多层小波分解得到的低频基带系数进行以空间细节信息和光谱信息两项特征指标的模糊优化融合，对经小波分解后的高频子带系数进行高频细节特征融合，然后将小波系数进行对应的小波逆变换，得到新的强度分量，再进行IHS逆变换后得到融合后的影像。

由于小波变换在变换域具有良好的分频特性，小波系数的统计特性反映了遥感影像的边缘、线和区域等显著特征，本发明将小波变换的多分辨分析(Multi-resolution Analysis)方法引入高分辨率全色遥感影像和低分辨率的多光谱遥感影像的融合中。

本发明的方法包括如下具体步骤：

1.对待融合的多光谱影像B进行IHS变换，分别得到在IHS彩色空间的色度H、饱和度S和强度分量I，然后对I分量进行小波分解，得到低频基带系数和高频子带系数。

2.对待融合高分辨率影像A进行线性拉伸和直方图匹配，然后进行小波分解，得到低频基带系数和高频子带系数，分解层数与多光谱影像I分量的小波分解层数相同。

3.确定一个3×3的空域窗口，分别求得影像B的I分量的高频子带系数和影像A的高频子带系数的均值μ(2^j)和方差D(2^j)。

4.在对应分辨率层上，高频子带系数按照(1)式进行高频细节特征融合：

$W^k(2^j,x,y)=\left\{\begin{array}{cc}{W}_A^k(2^j,x,y)& D_A^k>D_B^k\\ W_B^k(2^j,x,y)& D_A^k<D_B^k\end{array}\right.$

(1)式中，2^j为小波分解层数，W^k(2^j，x，y)为2^j分辨率下得到的高频子带系数融合结果；W_A ^k(2^j，x，y)和W_B ^k(2^j，x，y)分别为影像A及影像B中I分量所对应的高频子带系数，D_A ^k、D_B ^k分别是以(x，y)为中心像元的3×3的空域窗口的方差。

5.对影像B的I分量和影像A的低频基带系数，按照(2)式进行优化的像素级融合，权系数的k_opt按照光谱信息评价指标和空间分辨率评价指标进行求优，求优采用模糊积分综合光谱信息指标和空间分辨率两项单因素指标：

A(2^j，x，y)＝k₁A_A(2^j，x，y)+k₂A_B(2^j，x，y)              (2)

(2)式中，A_A(2^j，x，y)、A_B(2^j，x，y)分别为影像A及影像B中I分量对应的2^j分辨率的低频基带数据，k₁、k₂为需要求优的权系数。按照归一化要求，k₁、k₂满足k₁+k₂＝1，即求优权系数的确定可以归结为满足目标函数的k_opt＝k₁＝1-k₂。优化融合迭代过程中的权系数满足0≤k_opt≤1；

按照式S＝sup{min[e(u₁)，g(E₁)]，min[e(u₂)，g(E₂)]}计算寻优评价指标确定的模糊积分值E_i，求得S_Kopk＝max(E_i)，S_Kopt对应的迭代值k_opt即为最优权系数，式中，g(E₁)、g(E₂)为对光谱信息指标和空间分辨率两项指标的重视度，e(u₁)为光谱信息指标，e(u₂)为空间分辨率指标，根据e(u₁)，e(u₂)的大小，u₁和u₂是对光谱信息和空间分辨率从小到大的排序位置。

6.对得到的像素级融合的小波系数的低频基带系数，以及各高频小波系数进行对应的小波逆变换，得到新的强度分量I’；

7.将I’、H、S进行IHS逆变换，得到融合后的影像C。

本发明引入模糊积分对光谱信息指标和空间分辨率两项单因素指标进行象素级优化融合时：

定义：设X为论域，e是从X到[0，1]的可测函数，A∈P(X)，则e关于模糊测度g在集A上的模糊积分S定义如(3)式：

(3)

其中，E_α＝{x|e(x)≥α}，P(x)是X的幂集。g(·)是模糊测度。利用模糊积分进行优化融合时，模糊测度可以表征重视程度。

利用模糊积分进行优化融合的关键是模糊测度g(x)的定义，可以采用g_λ测度。在论域X＝{x₁，x₂，x₃，…x_n}(因素集)为有限的情况下，在λ＝0时，只要确定了单点集(单因素集){x_i}的g_λ模糊测度g_λ(x_i)，则可以得到任意AX的测度。对于多光谱、高分辨图像融合问题，论域X＝{x₁，x₂}，评价因素有两个，x₁＝光谱信息，x₂＝空间分辨率。重视度为g_λ(x₁)，g_λ(x₂)，简单表示为g₁、g₂，则g({x₁})＝g₁，g({x₂})＝g₂，g({x₁，x₂})＝g({x₁})+g({x₂})＝1。e(x)表示光谱信息评价指标和分辨率评价指标。论域X相应的评价指标为e(x₁)＝E_SP，e(x₂)＝E_HF简单表示为e₁，e₂。按照模糊积分的定义，可以得到(4)式：

$=\underset{\mathrm{\&alpha;}\&Element;\left[\mathrm{0,1}\right]}{\max }\left[\min (\mathrm{\&alpha;},g\left(E_{\mathrm{\&alpha;}}\right))\right]---\left(4\right)$

根据e₁，e₂的大小，对x₁和x₂排序，按从小到大的排序位置记为u₁和u₂。此时α的取值有两种情况：当α＝e(u₁)时，E_α＝E₁＝{u₁，u₂}，则g(E₁)＝1；当α＝e(u₂)时，E_ε＝E₂＝{u₂}，则g(E₂)＝g({u₂})。

按照模糊积分的定义，可表示为(5)式：

S＝sup{min[e(u₁)，g(E₁)]，min[e(u₂)，g(E₂)]}       (5)

当e₁＞e₂时，x₁和x₂从小到大的排序位置为u₁＝x₂，u₂＝x₁，相应地e(u₁)＝e₂，g(E₁)＝1，e(u₂)＝e₁，g(E₂)＝g({u₂})＝g({x₁})＝g₁，则模糊积分S＝max(e₁·g₁，e₂)。

当e₁＜e₂时，x₁和x₂从小到大的排序位置为u₁＝x₁，u₂＝x₂，相应地e(u₁)＝e₁，g(E₁)＝1，e(u₂)＝e₂，g(E₂)＝g({u₂})＝g({x₂})＝g₂，则模糊积分S＝max(e₁，e₂·g₂)。

当e₁＝e₂时，S可取上面两个值中的任意一个。

在优化融合迭代求取权系数k_opt的过程中，利用(5)式求得关于光谱信息指标和空间分辨率两项单因素指标的模糊积分值，再求得S_Kopt＝max(E_t)，S_Kopt对应的迭代值k_opt即为最优权系数，这样即可方便快捷的确定最优权值k_opt。

本发明结合了IHS融合方法和小波融合方法的特点，通过分别对小波基带系数的权系数进行了像素级求优融合和高频子带系数的高频细节特征融合，其有益效果体现为：使得融合后的影像既达到最高的空间分辨率，同时又最大限度的降低了彩色的畸变。均衡了融合结果中空间细节信息和光谱信息两项特征指标，有效的改善了融合影像的光谱信息指标。同时，引入了模糊积分方法，有效的综合光谱信息和空间分辨率两个单因素指标，方便快捷的确定像素级求优融合过程中的最优权值，其结果更加符合人对融合影像的主观感受。

附图说明

图1为本发明—基于模糊积分的图像优化融合方法流程图。

图2为本发明遥感影像融合结果和IHS、WT(小波)方法的对比。其中，图2(a)为多光谱遥感影像(256×256)；图2(b)为高空间分辨率全色遥感影像(256×256)；图2(c)为IHS方法的融合结果，图2(d)为WT方法的融合结果，图2(e)本发明的优化融合结果。

图3为本发明的性能评价指标曲线。

具体实施方式

为了更好地理解本发明的技术方案，以下结合附图作进一步描述。

本发明方法的详细流程如图1所示。本发明选取一多光谱遥感影像B(256×256)如图2(a)，高分辨率全色遥感影像A(256×256)如图2(b)，A、B严格配准后，实施如下步骤：

1、对多光谱影像B进行IHS变换，分别得到在IHS彩色空间的色度H、饱和度S和强度分量I，然后对I分量进行3层小波分解，得到低频基带系数和高频子带系数。

2、对高分辨率影像A进行线性拉伸和直方图匹配，然后进行小波分解，分解层数也为3层，得到低频基带系数和高频子带系数。

3、确定一个3×3的空域窗口，分别求得影像B中I分量的高频子带系数和影像A的高频小波系数的均值μ(2^j)和方差D(2^j)。

4、按照下式确定对应分辨率层的高频子带系数，进行高频细节特征融合，可以得到对应分辨率层的高频细节特征融合结果。

$W^k(2^j,x,y)=\left\{\begin{array}{cc}{W}_A^k(2^j,x,y)& D_A^k>D_B^k\\ W_B^k(2^j,x,y)& D_A^k<D_B^k\end{array}\right.$

5、引入模糊积分对光谱信息指标和空间分辨率两项单因素指标进行综合的方法如下：按照下式

S＝sup{min[e(u₁)，g(E₁)]，min[e(u₂)，g(E₂)]}

计算寻优评价指标确定的模糊积分值E_i，求得S_Kopt＝max(E_i)，S_Kopt对应的迭代值k_opt即为最优权系数。

其中，融合图像寻优评价指标分别定义如下：

(i)光谱信息评价指标

利用融合图像与多光谱图像的相关程度来定义光谱信息的评价指标。

令f为融合后图像，f₀为多光谱图像。定义光谱信息评价E_SP指标如(6)式。

$E_{\mathrm{SP}}=\mathrm{Corr}(f,f_0)=\frac{{\mathrm{\&Sigma;}}_{j=1}^{\mathrm{npix}}(f_j-\stackrel{\&OverBar;}{f})(f_{0_j}-{\stackrel{\&OverBar;}{f}}_0)}{\sqrt{{\mathrm{\&Sigma;}}_{j=1}^{\mathrm{npix}}{(f_j-\stackrel{\&OverBar;}{f})}^2{\mathrm{\&Sigma;}}_{j=0}^{\mathrm{npix}}{(f_{0_j}-{\stackrel{\&OverBar;}{f}}_0)}^2}}---\left(6\right)$

其中，npix是图像中像素点的个数，f和f₀表示图像的灰度均值，相关程度Corr(f，f₀)反映了影像f和f₀的相似程度。

(ii)空间分辨率评价指标

利用融合图像对应的灰度的高频分量与高分辨率图像高频分量之间的相关程度来定义空间分辨率指标。令f_H为高分辨率全色影像。首先将融合的图像转化为灰度图像，然后进行小波分解，得到融合图像的四个分量(f^a，f^h，f^v，f^d)，分别表示融合图像的低频分量、水平方向的高频分量、垂直方向的高频分量和对角线方向的高频分量。同样也可以得到高分辨率图像小波分解的四个分量(f_H ^a，f_H ^h，f_H ^v，f_H ^d)。定义空间分辨率评价指标如(7)式所示：

$E_{\mathrm{HF}}=\frac{\mathrm{Corr}(f^h,f_H^h)+\mathrm{Corr}(f^v,f_H^v)+\mathrm{Corr}(f^d,f_H^d)}{3}---\left(7\right)$

为了验证基于模糊积分计算得到的最优权值的有效性，可以按照(8)式进行像素级融合，权系数k_opt按照(8)式所示的目标函数求优：

F(k_opt)＝Max{E_SP(k_opt)，E_HF(k_opt)}

Domaib：g(k_opt)：0≤k_opt≤1   k_opt∈D∈R            (8)

依据融合图像的寻优评价指标修正融合准则中的基带数据融合的权系数k₁、k₂。随着高分辨率影像低频基带系数的融合权值k₁的增加，空间分辨率评价指标E_HF随之增大，光谱信息评价指标E_SP减小。因此，(6)式中的k_opt是使得目标函数达到最大的权系数，即使得E_SP、E_HF达到同时最大的权系数。k_opt取值范围为[0，1]。

根据权系数k_opt的求优目标函数，在取值区间[0，1]内，随着权系数融合权值k₁的增加，按(9)式得到空间分辨率评价指标E_HF和光谱信息评价指标E_SP的曲线，曲线交点即为最优权系数的k_opt，如图3所示。

$E\left(i\right)=\frac{E\left(i\right)-\mathrm{MinE}\left(i\right)}{\mathrm{Max}[E\left(i\right)-\mathrm{Min}(E\left(i\right)]}---\left(9\right)$

(9)式中，E(i)为评价指标，i为权系数k₁寻优的次数。图3所示为在[0，1]以寻优步长0.001得到的E_SP、E_HF曲线。可以看到，归一化后的E_SP、E_HF都呈非线性。满足求优目标函数的权系数k_opt是E_SP和E_HF的交点k_opt＝0.424(收敛精度δ≤0.001)。

如图3所示，显然，引入模糊积分对光谱信息指标和空间分辨率两项单因素指标进行综合评价，计算求得S_Kopt(S_Kopt＝max(E_i))所对应的迭代值k_opt即为按(9)式求得的E_HF、E_SP的曲线交点，即为最优权系数的k_opt。

6、对得到的像素级优化融合的小波系数的低频基带系数，以及进行的特征级融合的各高频小波系数进行对应的小波逆变换，得到新的强度分量I’。

7、将I’、H、S进行IHS逆变换，得到融合后的影像C。

融合结果比较：图2(c)为IHS方法的融合结果(256×256)，图2(d)为WT方法的融合结果(256×256)，图2(e)本发明的优化融合结果(256×256)。

在寻优过程中，根据(4)～(5)式定义的两项特征评价指标，代入(5)式，按照每100个步长计算模糊积分S的值，结果如表1所示(重视度g₁＝0.7，g₂＝0.3)。同时将模糊积分值S绘制如图3所示。显然，模糊积分值S呈现一个非线性的变化过程，具有一个峰值点，这个峰值点即是将两项特征指标归一化后得到的指标曲线的交点—最优权系数k_opt，其使得融合后的影像既达到最高的空间分辨率，同时又最大限度的降低了彩色的畸变。

            表1融合结果的评价指标比较

求优步长	光谱信息ESP	空间分辨率EHF	模糊积分S
				K1	0.99323	0.8869	0.70000
K2	0.99159	0.90191	0.69077
				K3	0.98812	0.91298	0.67116
K4	0.98237	0.92122	0.6998
				K5	0.97384	0.92718	0.82135
K6	0.96197	0.93127	0.74776
				K7	0.94615	0.93389	0.62011
K8	0.92579	0.93535	0.45575
				K9	0.90032	0.93594	0.30000
K10	0.86932	0.93589	0.29965

表1所示的光谱信息和空间分辨率信息这两种因素评价值的变化符合人的主观评价感受。换言之，采用基于模糊积分图像优化融合方法得到的图2(e)符合人的主观评价习惯和主观感受。

    表2不同融合方法结果的评价指标比较

	波段	相关系数	平均梯度
				IHS	R	0.5624	10.6146
G	0.4644	11.3663
			B		0.5060	9.5875
WT	R	0.6457					11.0157
			G	0.5512	13.5479
	B	0.5714				10.5447
			本文方法	R	0.8488		10.5142
G	0.7691	11.1475
				B	0.8247	9.2163

表2为采用相关系数和平均梯度两项指标定量对不同融合方法得到的融合影像进行评价的结果。从表2可知，采用本发明基于模糊积分的图像优化融合方法可以使得融合后影像在影像的光谱信息保留性能得到很大提高，但在空间分辨率的提高方面略差于小波变换(WT)方法，而与IHS方法获得的融合影像的空间分辨率指标基本相同。因此，本发明方法是在达到最高的空间分辨率的同时，又最大限度的降低了彩色的畸变。

Claims (1)

1、一种基于模糊积分的图像优化融合方法，其特征在于包括如下具体步骤：

(1)对待融合的多光谱影像B进行IHS变换，分别得到在IHS彩色空间的色度H、饱和度S和强度分量I，然后对I分量进行小波分解，得到低频基带系数和高频子带系数；

(2)对待融合高分辨率影像A进行线性拉伸和直方图匹配，然后进行小波分解，得到低频基带系数和高频子带系数，分解层数与多光谱影像I分量的小波分解层数相同；

(3)确定一个3×3的空域窗口，分别求得影像B的I分量的高频子带系数和影像A的高频子带系数的均值μ(2^j)和方差D(2^j)；

(4)对应分辨率层的高频子带系数按照下式

$W^k(2^j,x,y)=\left\{\begin{array}{cc}{W}_A^k(2^j,x,y)& D_A^k>D_B^k\\ W_B^k(2^j,x,y)& D_A^k<D_B^k\end{array}\right.$

进行高频细节特征融合，式中，2^j为小波分解层数，W^k(2^j，x，y)为2^j分辨率下得到的高频子带系数融合结果，W_A ^k(2^j，x，y)和W_B ^k(2^j，x，y)分别为影像A及影像B中I分量的对应高频子带系数，D_A ^k、D_B ^k分别是以(x，y)为中心像元的3×3的空域窗口的方差；

(5)对影像B的I分量和影像A的低频基带系数，按照下式

         A(2^j，x，y)＝k₁A_A(2^j，x，y)+k₂A_B(2^j，x，y)

进行优化的像素级融合，式中，A_A(2^j，x，y)、A_B(2^j，x，y)分别为影像A及影像B中I分量对应的2^j分辨率的低频基带数据，k₁、k₂为需要求优的权系数，k₁+k₂＝1；引入模糊积分对光谱信息指标和空间分辨率两项单因素指标进行综合，优化融合迭代过程中的权系数k_opt＝k₁＝1-k₂，满足0≤k_opt≤1；按照式S＝sup{min[e(u₁)，g(E₁)]，min[e(u₂)，g(E₂)]}计算寻优评价指标确定的模糊积分值E_i，求得S_Kopt＝max(E_i)，S_Kopt对应的迭代值k_opt即为最优权系数，式中，g(E₁)、g(E₂)为对光谱信息指标和空间分辨率两项指标的重视度，e(u₁)为光谱信息指标，e(u₂)为空间分辨率指标，根据e(u₁)，e(u₂)的大小，u₁和u₂是对光谱信息和空间分辨率从小到大的排序位置；

(6)对得到的像素级优化融合的小波系数的低频基带系数，以及进行的特征级融合的各高频小波系数进行对应的小波逆变换，得到新的强度分量I’；

(7)将I’、H、S进行IHS逆变换，得到融合后的影像C。

Images