CN102446351A - 一种多光谱与高分辨率全色图像融合方法研究 - Google Patents

Abstract

为了将低分辨率多光谱图像与高分辨率全色图像进行有效地融合，提出了一种基于IHS变换结合小波变换的新的图像融合算法。该方法将多光谱图像的强度(I)分量图像与高分辨率全色图像进行小波分解，根据各自的高低频率特征进行不同准则的融合，将形成的新的高低频率进行小波逆变换得到新的I分量图像，最后进行IHS逆变换得到最终的融合图像。实验结果表明，该方法不仅减少了光谱扭曲值，同时还能有效地提高空间分辨率。

Description

一种多光谱与高分辨率全色图像融合方法研究

一、技术领域

本发明属于遥感图像融合领域，采用一种基于光谱保持型的小波变换的图像融合算法，将低分辨率多光谱图像与高分辨率全色图像进行有效地融合。本发明不仅减少了光谱扭曲值，同时还能有效地提高空间分辨率。 

二、背景技术

图像融合是信息融合中的一个重要的组成部分，它在医学、遥感、计算机视觉、气象预报及军事目标识别等方面的有着广阔的应用前景。对于多卫星遥感数据，图像融合的定义可描述为：将不同类型传感器获取的同一地区的影像数据进行空间配准，然后采用一定的算法将各影像数据中所含的信息优势或互补性有机地结合起来产生新影像数据的技术。 

图像融合一般可以分为像素级融合、特征级融合和决策级融合三级。通过信息融合，将大大减少或抑制探测对象或环境解释中可能存在的多义性、不完全性或不确定性，从而提高图像分割、识别及解译的能力，并用于不同的应用领域。 

在遥感应用领域中，单一传感器图像数据通常不能提取足够得信息来满足某些应用的需要，它所能提取的信息是有限的、不完整的。因为目标的特征是由包括电磁辐射在内的所有表征媒介来表达，某一波段的电磁辐射图像仅能表达与其相关的特征。而图像数据融合可以得到更多的信息，减少理解的模糊性，提高遥感图像数据的利用率。图像数据融合不是简单的叠加，它产生新的、蕴涵更多有价值信息的图像。 

多传感器图像数据融合在测绘领域中的一个主要应用就是通过高空间分辨率全色图像和多光谱分辨率图像的融合，得到高空间分辨率和多光谱分辨率的图像，融合多波段和多时段的遥感图像来提高目标分类的准确性；遥感数据中的光谱图像含有丰富的光谱信息，高分辨率全色图像具有很高的空间分辨率，将两者进行有效地融合，融合图像不仅保留了光谱信息还具有较高的空间分辨率。 

三、发明内容

本发明的目的在于提供一种遥感图像融合的方法，使融合后的图像在尽量保持多光谱图像的光谱信息的同时，最大限度的提高图像的空间分辨率。具体实现包括以下步骤： 

(1)首先将高分辨率图像(pan)与多光谱图像(ms)进行配准，采用双线性插值的方法对多光谱图像进行重采样，将多光谱图像配准到高分辨率图像上，使多光谱图像具有与高分辨率图像相同的空间分辨率。 

(2)对多光谱图像进行图像增强，并将其RGB分量转换为IHS分量。 

(3)为了防止在融合过程中引起的光谱扭曲，以多光谱图像的I分量图像作为参考，对高分辨率全色图像做直方图匹配，这样就能减少融合过程中的光谱偏差。 

(4)对多光谱的I分量图像与匹配后的高分辨率全色图像进行3层小波分解，得到各自的高频与低频分量，采用对高低分量不同的融合准则对其进行融合。 

(5)对融合后的图像进行3层小波逆变换，得到融合后的I分量图像。 

(6)将得到的I分量图像与多光谱图像的H、S分量图像进行IHS逆变换，即得到最终的融合图像。 

本发明的优点在于融合后的图像光谱信息得到了较好的保持，同时空间分辨率得到的较大的提高。 

附图说明

图1为本方法的融合算法模型； 

图2为本方法与其他融合方法相比，所得到的不同结果，从图中可以看出本文方法确实在光谱保持及空间分辨率的提高上都有着明显的优势。 

具体实施方式：

下面结合附图和具体实例对本发明做进一步说明： 

1.基于光谱保持型的小波变换图像融合算法 

a)IHS变换的融合准则 

IHS(Intensity，Hue，Saturation)分别表示色调、强度和饱和度。IHS变换的优点是它能有效地将RGB模型中图像的强度I分量与H、S分量相分离，利用高分辨率图像代替多光谱图像中的I分量可以增加图像的细节信息，提高分辨率，但光谱信息会产生偏差。为了更加有效地将两者进行融合，保证在提高分辨率的同时减少光谱损失，本文利用多分辨率小波变换的方法将多光谱图像的I分量与高分辨率图像进行分解，得到各自的高低频系数，再根据其特征进行不同准则的融合，已达到更好的效果。 

b)小波变换的融合准则 

融合准则的选取是决定融合结果的关键因素，IHS变换方法的特点是高频信息丰富，但光谱信息存在一定程度的损失。小波变换法最主要的功能就是在不改变图像谱容量的前提下获得最佳的分辨率，融合效果较好，但在一定程度上丢失了一些图像中的边缘信息。对多光谱图像的I分量图像和高分辨率图像进行小波分解，因为小波基的长度决定融合后图像的光滑程度，基于图片质量与算法运算时间的考虑，这里小波分解级数选为3。 

1)低频部分处理： 

小波分解后的低频部分代表了图像的主要信息，低频分量的融合方法大多采用加权平均法或是对小波系数取大取小的的方法。本文为了使图像边缘信息尽可能的清晰，对图像X的尺度系数定义一个变量E为： 

E(X，p)＝(F₁*C_N)²(X，p)+(F₂*C_N)²(X，p)+(F₃*C_N)²(X，p)     (1) 

其中*表示卷积，p表示小波系数的空间位置，F₁＝{{-1，-1，-1}，{2，2，2}，{-1，-1，-1}}，F₂＝{{-1，2，-1}，{-1，2，-1}，{-1，-2，-1}}，F₃＝{{-1，0，-1}，{0，4，0}，{-1，0，-1}}，X可代表pan图像A，亦可表示ms图像B。根据两幅图像的尺度系数分别计算出E(A，p)，E(B，p)，通过比较E(A，p)和E(B，p)的大小来确定融合后的低频系数，下式是低频系数融合准则 

$C_N(Z,p)=\left\{\begin{array}{c}{C}_N(A,p),E(A,p)\≥E(B,p)+\mathrm{Th}\\ C_N(B,p),E(A,p)\≥E(B,p)+\mathrm{Th}\\ (C_N(A,p)+C_N(B,p))/2,\mathrm{otherwise}\end{array}\right.---\left(2\right)$

其中，Th为阈值参数，是经验因子。 

2)高频部分的处理 

小波分解后的高频部分代表图像的细节信息，高频分量越大图像越清晰，高频分量越小图像越模糊。高频部分处理的目的是尽可能地增强图像的细节，使图像更加清晰丰富。对两幅图像小波变换后的高频分量进行比较，取对应位置上系数较大者进行自适应加权处理，得到的结果作为融合后图像的高频系数 

${D_j}^{\mathrm{\ϵ}}(Z,p)=\left\{\begin{array}{c}{{\mathrm{\δ}}_j}^{1\mathrm{\ϵ}}{D_j}^{\mathrm{\ϵ}}(X,p),{D_j}^{\mathrm{\ϵ}}(X,p)>{D_j}^{\mathrm{\ϵ}}(Y,p)\\ {{\mathrm{\δ}}_j}^{2\mathrm{\ϵ}}{D_j}^{\mathrm{\ϵ}}(Y,p),\mathrm{otherwise}\end{array}\right.---\left(3\right)$

其中，j代表小波系数的层次，ε＝1、2、3，表示频率段的序号。δ_j ^1ε和δ_j ^2ε为权重系数，通过加权处理后的三个高频分量可以增强图像的细节信息。 

2.图像融合结果的评价指标 

图像质量主要是指该图像的空间信息和光谱信息的质量。为了评价融合图像的质量好坏及融合方法优劣，本发明选用熵、平均梯度、标准差对图像的空间信息进行评价；因为光谱扭曲度能直接反应光谱的失真程度，故选用光谱扭曲度对融合图像的光谱信息进行评价。 

1)熵。图像的熵的大小反映了图像携带信息的多少，图像的熵越大，说明图像的信息量增加，图像所含的信息越丰富，融合的质量越好。 

2)平均梯度。平均梯度可敏感地反映图像对微小细节反差表达的能力，可用来评价图像的清晰程度，同时还反映出图像中微小细节反差和纹理变换特征。 

3)标准差。标准差反映了图像灰度相对于灰度平均值的离散情况。标准差大，图像灰度级分布分散，图像反差大，标准差小，图像反差小，对比度不大， 色调单一，信息少。 

4)光谱扭曲度。反映光谱信息扭曲程度的指标。 

本发明选用QuickBird卫星摄于美国北部的一组图像进行融合处理，其高分辨率全色图像(pan)空间分辨率为0.7米，多光谱图像(ms)的空间分辨率为2.8m，经过配准后两者都具有0.7米的空间分辨率，其中ms影像含有四个波段的信息，分别是蓝、绿、红以及近红外，为了充分有效地利用波段信息，本文采用的是ms的4，3，2三个波段进行融合处理。 

图2为融合的结果，图(a)为高分辨率全色图像(pan)，图(b)为多光谱图像(ms)，图(c)为通过IHS变换融合后的图像，图(d)为通过小波变换融合后的图像，图(e)为利用本文方法进行融合后的图像。通过对图2的直接观察可以看出，图(c)所采用的IHS变换的方法在图像的细节信息上得到了增强，但图像的光谱扭曲程度较大，图(d)的小波方法、图(e)本方法在光谱信息上都得到了改善，同时本方法得到的融合图像更清晰，细节更突出。 

表1为各种融合算法的性能比较。由表可以看出，小波变换法及本方法在光谱质量上都优于单纯的IHS变换。本方法得到的融合图像的平均梯度值、图像的熵值及标准差较大，反映在图像的信息量更丰富，对比较大。故本发明的算法较之于其他方法有明显的优势。 

表1各种融合算法的性能比较 

融合方法	标准差	熵	平均梯度	光谱扭曲度
					IHS变换法	63.7218	7.5768	15.6869	19.6547
小波变换法	61.7076	7.6659	11.7441	16.8659
					本文方法	74.7890	7.7402	19.7782	13.6954

Claims (4)

1.本发明对遥感图像中的多光谱与高分辨率全色图像进行有效融合，融合后的图像不仅保持了多光谱图像的光谱信息，并在此基础上提高了图像的空间分辨率；

2.在权利要求(1)的基础上，利用IHS变换将多光谱图像RGB模型中的强度I分量与色调H、饱和度S分量相分离，从而达到提高分辨率的目的，但此方法造成光谱损失严重；

3.以多光谱图像的I分量图像作为参考，对高分辨率全色图像做直方图匹配，这样可以防止在融合过程中引起的光谱扭曲，减少融合过程中的光谱偏差；

4.利用Mallat小波变换对多光谱图像的I分量图像及高分辨率全色图像进行小波分解，对各自高低频的分量采用不同方法的融合准则进行融合，小波变换在光谱保持方面有着明显的优势，同时对低频采用细节增强的方法，极大限度的提高了图像的空间分辨率；

Images