CN103198463B - 基于整体结构和空间细节信息融合的光谱图像全色锐化方法 - Google Patents

Abstract

本发明公开了一种基于整体结构和空间细节信息融合的光谱图像全色锐化方法。该方法首先对全色图像的亮度进行线性拉伸，并将多光谱或高光谱图像的N个分量分别插值成与全色图像同样分辨率的插值图像序列；接着，将全色图像分别与多光谱或高光谱插值图像序列做减法，得到差值图像序列；然后，对差值图像序列进行高斯滤波，得到差值趋势图像序列。最后，将全色图像分别与差值趋势图像序列做减法，得到融合图像。与现有技术相比较，本方法能够同时保持融合图像光谱和纹理细节不失真，计算速度快，适应性强。

Description

基于整体结构和空间细节信息融合的光谱图像全色锐化方法

技术领域

本发明涉及一种遥感图像融合方法，尤其涉及一种基于整体结构和空间细节信息融合的全色锐化方法，属于数字图像处理技术领域。

背景技术

随着卫星与遥感技术的发展，世界各国发射了越来越多的多传感器卫星，例如IKONOS（艾克诺斯）、QuickBird（快鸟）、资源三号等卫星同时搭载了全色与多光谱等传感器。由于成像器件在光谱分辨率和空间分辨率之间存在取舍，全色图像的空间分辨率优于多光谱和高光谱图像，而多光谱和高光谱图像含有多个光谱波段，光谱分辨率优于全色图像。在此情形下，利用全色图像的空间细节信息锐化多光谱和高光谱图像，生成空间细节清晰且光谱信息丰富的融合图像，既有助于机器更好、更准地提取人们所需的信息，也有助于图像解译人员快速准确地分析图像。

在本发明中，多光谱图像和高光谱图像统称为光谱图像。通常，光谱成像包含多个光谱波段，因此光谱图像含有多个分量，每个分量是一幅灰度图像。在实际应用中，全色与光谱图像融合方法必须满足以下要求：光谱保真，即融合图像的光谱信息必须与光谱图像的光谱信息保持一致；细节保真，即融合图像的空间细节信息必须与全色图像的空间细节信息保持一致；高时效性，即融合方法的计算复杂度低，以便快速地完成大数据量、大尺寸的全色与光谱图像融合。

迄今为止，研究人员已经提出了大量的图像融合方法，例如基于分量替换的融合方法，主要包括基于IHS变换、基于PCA变换、基于Gram-Schmidt变换（GS变换）等融合方法，以及基于频率分解的融合方法，主要包括基于小波变换、基于曲波变换等融合方法。总体而言，基于分量替换的融合方法空间细节保真效果好，然而，在全色图像和被替换分量亮度差异较大的区域，融合图像的光谱存在严重失真；基于频率分解的融合方法光谱保真效果较好，但存在着细节失真的不足。此外，上述融合方法计算复杂较高，对尺寸较大的全色与光谱图像，融合处理的计算非常耗时。以当前应用效果最好的两种方法，即ENVI（TheEnvironment for Visualizing Images）遥感图像处理软件提供的基于GS变换融合方法（简称ENVI-GS变换法）和PCI（PCI Geomatica）遥感图像处理软件提供的全色锐化法（简称PCI锐化法）为例，在配置为3.2GHz的4核CPU，2GB的内存，Windows XP操作系统的计算机上，对于尺寸为12000×12000像素的全色图像与3000×3000像素多光谱图像，二者的融合计算均大于150秒，难以满足用户的高时效要求。

在此背景下，研究一种可以有效避免融合图像光谱和空间细节失真，且计算复杂度低的全色锐化融合方法，对快速有效地获取高分辨率的全色和光谱融合图像具有重要意义。

发明内容

根据本发明的一个方面，提供了一种基于整体结构和空间细节信息融合的光谱图像全色锐化方法。在本发明中，光谱图像具体指多光谱图像和高光谱图像。通常，光谱成像包含多个光谱波段，因此光谱图像含有多个分量，每个分量是一幅灰度图像。例如，QuickBird和IKONOS卫星的多光谱图像均包含4个分量，高光谱图像包含几十个甚至几百个分量。本申请中，将光谱图像的分量总数记为N。本发明仅通过图像做差和图像平滑滤波，实现了全色与光谱图像的高保真融合，且本发明的方法的计算速度快，适应性好。

为实现上述目的，本发明提供了一种基于整体结构和空间细节信息融合的光谱图像全色锐化方法，包括如下步骤：

（1）对全色图像进行亮度线性拉伸，使全色图像的方差σ_P与光谱图像的方差σ_S相等；

（2）将光谱图像的N个分量分别插值成与全色图像同样分辨率的插值图像序列I₁,I₂,…,I_N；

（3）将所述线性拉伸后的全色图像分别与所述插值图像序列I₁,I₂,…,I_N相减，得到差值图像序列D₁,D₂,…,D_N；

（4）对差值图像序列D₁,D₂,…,D_N进行高斯滤波，得到差值趋势图像序列S₁,S₂,…,S_N；

（5）将所述线性拉伸后的全色图像分别与差值趋势图像序列S₁,S₂,…,S_N相减，得到融合图像序列U₁,U₂,…,U_N。

其中，在所述步骤（1）中，将全色图像的像素值乘以进行线性亮度拉伸。

所述步骤（1）中，随机选取一定数量的像素点来估计光谱图像的方差以及全色图像的方差。

述步骤（2）中，利用双线性插值法进行图像插值放大。

所述步骤（4）中，利用一维高斯滤波器G先对图像按行进行平滑滤波，再利用所述一维高斯滤波器G的转置G^T对图像按列进行平滑滤波。

所述步骤（4）中，一维高斯滤波器G的长度为13，G的尺度参数为3.33。

本发明所提供的基于整体结构和空间细节信息融合的光谱图像全色锐化方法的优点包括：

1.实现了融合图像的光谱和空间细节保真，适应性好；

2.方法简单，仅涉及图像做差和图像平滑操作，计算速度快；

3.不受光谱图像波段数量的限制，可以根据应用的要求选择任意数量的波段进行融合。

附图说明

图1为根据本发明的一个实施例的融合方法的流程示意图；

图2(a)－2(e)显示了根据本发明的实施例的融合方法与现有典型融合方法在QuickBird图像上的实验结果对比；其中，图2(a)为全色图像，图2(b)为多光谱图像，图2(c)为ENVI-GS变换法，图2(d)为PCI锐化法，图2(e)为根据本发明的实施例的方法。

图3(a)－3(e)显示了根据本发明的实施例的融合方法与现有典型融合方法在IKONOS图像上的实验结果对比；其中，图3(a)为全色图像，图3(b)为多光谱图像，图3(c)为ENVI-GS变换法，图3(d)为PCI锐化法，(e)为根据本发明的实施例的方法。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步的详细说明。

根据本发明的一个实施例，将图像数据分为整体结构和空间细节两个部分：整体结构信息主要反映了图像数据的整体走势，内容比较模糊；空间细节信息的变化波动较剧烈，主要刻画了图像纹理和边缘，反映了图像局部细节的清晰程度。光谱图像的空间分辨率较低，但反映了地物的光谱反射率，可用于分析地物的材质属性。因此，全色与光谱图像融合只能从全色图像中抽取空间细节信息来锐化光谱图像，若引入了全色图像的整体结构信息则会改变光谱图像的光谱属性，引起光谱失真。换言之，若融合图像的整体结构信息与光谱插值图像的整体结构信息相同，则融合图像的光谱保真效果好。同时，引入至光谱图像中的空间细节信息必须与全色图像的空间细节信息保持一致，否则会导致融合图像的纹理细节模糊不清，影响锐化效果。

根据本发明的一个实施例，将全色图像的整体结构信息与光谱插值图像的N个分量分别进行融合，在保持全色图像空间细节信息不变的前提下，通过融合使全色图像的整体结构信息与光谱插值图像的整体结构信息之差处处趋于0，从而实现光谱和空间细节保真的目标。图1展示了根据本发明的一个实施例的方法的流程图，包括：

首先对全色图像进行亮度线性拉伸；将光谱图像插值至全色图像相同的分辨率；接着，将全色图像分别减去光谱插值图像的N个分量，得到N个差值图像；然后，分别对N个差值图像序列进行高斯滤波，得到N个差值趋势图像；将全色图像分别减去N个差值趋势图像，得到融合图像。

下面具体介绍根据本发明所提供的基于整体结构和空间细节信息融合的光谱图像全色锐化方法的具体步骤：

（1）对全色图像进行亮度线性拉伸，使全色图像的方差σ_P与光谱图像的方差σ_S相等；

首先分别计算光谱图像和全色图像的方差。为了提高方差的计算速度，在一个具体实施例中，可随机选取一定数量的像素点来估计光谱图像和全色图像的方差，以减少方差计算的时间消耗。然后将全色图像的像素值乘以进行线性亮度拉伸。

（2）将光谱图像的N个分量分别插值成与全色图像同样分辨率的插值图像序列I₁,I₂,…,I_N；

在本发明中，光谱图像具体指多光谱图像和高光谱图像。通常，光谱成像包含多个（N个）光谱波段，因此光谱图像含有多个分量，每个分量是一幅灰度图像。例如，QuickBird和IKONOS卫星的多光谱图像均包含4个分量，高光谱图像包含几十个甚至几百个分量。由于光谱图像的分辨率低于全色图像，图像融合时须将光谱图像插值至全色图像相同的分辨率。

作为图像插值的一种实施方式，利用双线性插值法对多光谱图像进行插值。假设像素点I(i+u,j+v)为像素点{I(i,j),I(i+1,j),I(i,j+1),I(i+1,j+1)}之间的一个插值点，其中0<u<1，0<v<1，i为图像的行号，j为图像的列号，则插值的计算方法具体如下：

I(i+u,j+v)=(1-u)(1-v)I(i,j)+uvI(i+1,j+1)

+v(1-u)I(i,j+1)+u(1-v)I(i+1,j)

（3）将所述线性拉伸后的全色图像分别与所述插值图像序列I₁,I₂,…,I_N相减，得到差值图像序列D₁,D₂,…,D_N；

在该步骤中，全色图像分别与I_i（i=1,2,…,N）相减即可。相减得到的差值图像包含两部分信息：一部分是全色图像的空间细节信息，另一部分是全色的整体结构信息与光谱图像的整体结构信息之差。

（4）对差值图像序列D₁,D₂,…,D_N进行高斯滤波，得到差值趋势图像序列S₁,S₂,…,S_N；

对差值图像进行高斯滤波是为了滤除差值图像中全色图像的空间细节信息，得到全色的整体结构信息与光谱图像的整体结构信息之差。根据一个具体实施例，为了快速地完成高斯滤波操作，利用一维高斯滤波器G先对图像按行进行平滑滤波，再利用所述一维高斯滤波器G的转置G^T对图像按列进行平滑滤波。其中，一维高斯滤波器G的长度优选为13，G的尺度参数优选为3.33。

（5）将所述线性拉伸后的全色图像分别与差值趋势图像序列S₁,S₂,…,S_N相减，得到融合图像序列U₁,U₂,…,U_N。

在该步骤中，全色图像分别与S_i（i=1,2,…,N）相减即可。全色图像减去S₁,S₂,…,S_N得到融合图像，由于S₁,S₂,…,S_N是全色的整体结构信息与光谱图像的整体结构信息之差，因此融合图像与全色图像的空间细节信息相同，同时融合图像与光谱图像的整体信息相同，即融合图像与光谱图像的光谱信息保持一致。

本发明方法与现有主流遥感图像处理软件中最好的融合方法，即ENVI软件的GS变换融合法（简称ENVI-GS变换法）和PCI软件的全色锐化法（简称PCI锐化法）进行了实验对比。实验数据为QuickBird卫星和IKONOS卫星等拍摄的全色与多光谱图像，共计21景。其中，全色图像平均每景尺寸约为12000×12000像素，多光谱图像每景尺寸约为3000×3000像素。

图2和图3分别展示QuickBird卫星和IKONOS卫星的全色和多光谱图像以及融合图像。由于实验图像的尺寸较大，为了清晰地展示图中的地物，图2和图3仅给出了实验图像的局部区域。（由于无法利用假彩色图像显示融合图像，这里将假彩色的融合图像转化为灰度图像来显示融合效果）在主观视觉效果上，本发明的方法对所有的实验数据均有较好的光谱和空间细节保真效果，如图2(e)和图3(e)。但是，作为对比的现有技术方法均存在失真现象：对于ENVI-GS变换法，在某些区域内融合图像的光谱严重失真，见图2(c)和图3(c)；对于PCI锐化法，在某些区域内融合图像的光谱出现失真，见图2(d)。

下面利用在光谱扭曲度、光谱角和全局相对误差来评价融合图像的光谱保真效果，同时利用细节扭曲度来评价融合图像的空间细节保真效果。这些指标的取值越小，融合图像的保真效果越小，其定义如下：

（1）光谱扭曲度（Spectral Distortion,SD）

光谱扭曲度反映了融合图像[F_i,j,k]_m×n×p与多光谱图像[M_i,j,k]_m×n×p的光谱失真程度，其中m和n为图像的高度与宽度，p为图像的波段数量，i和j为图像的行号与列号，k为图像波段号，G为高斯滤波器。它的取值越小，说明融合图像的光谱失真越小，计算公式如下：

$\mathrm{SD}=\frac{1}{m\&times;n\&times;p}\underset{k=1}{\overset{p}{\mathrm{\&Sigma;}}}\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}|{(F*G)}_{i,j,k}-M_{i,j,k}|$

（2）细节扭曲度（Detail Distortion,DD）

细节扭曲度是指融合图像[F_i,j,k]_m×n×p与全色图像[P_i,j]_m×n空间细节信息差值的平均值，其中m和n为图像的高度与宽度，p为图像的波段数量，i和j为图像的行号与列号，k为图像波段号，G为高斯滤波器。它的取值越小，融合图像的细节保真程度越好，计算公式如下：

$\mathrm{DD}=\frac{1}{m\&times;n\&times;p}\underset{k=1}{\overset{p}{\mathrm{\&Sigma;}}}\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}|{(F-F*G)}_{i,j,k}-{(P-P*G)}_{i,j}|$

表1列出了本发明方法与对比方法的客观评价结果。观察表1的客观指标可知，在本发明融合图像的光谱扭曲度和细节扭曲度均比对比方法小。这说明本发明方法的光谱和空间细节保真效果优于对比方法。在配置为3.2GHz的4核CPU，2GB的内存，Windows XP操作系统的计算机上，ENVI-GS变换法每一景实验数据融合平均耗时160.52秒，PCI锐化法融合平均耗时140.93秒/景，本发明方法融合平均耗时25.35秒/景。实验结果表明本文融合方法的光谱保真和细节保真效果好、计算速度快，优于对比方法。

表1图像融合质量的客观评价表

本发明所提供的基于整体结构和空间细节信息融合的光谱图像全色锐化方法主要是为提高全色与光谱图像融合的保真效果以及计算速度专门提出的。但显然，本说明书中所描述的融合方法也适用于普通成像设备如数码相机所拍摄图像的融合操作，所取得的有益效果也是相似的。

以上对本发明所提供的基于整体结构和空间细节信息融合的光谱图像全色锐化方法进行了详细的说明，但显然本发明的范围并不局限于此。在不脱离所附权利要求书所限定的保护范围的情况下，对上述实施例的各种改变都在本发明的范围之内。

Claims (8)

1.一种基于整体结构和空间细节信息融合的光谱图像全色锐化方法，其特征在于包括：

(1)对全色图像进行亮度线性拉伸，使全色图像的方差σ_P与光谱图像的方差σ_S相等；

(2)将光谱图像的N个分量分别插值成与全色图像同样分辨率的插值图像序列I₁,I₂,…,I_N；

(3)将所述线性拉伸后的全色图像分别与所述插值图像序列I₁,I₂,…,I_N相减，得到差值图像序列D₁,D₂,…,D_N；

(4)对差值图像序列D₁,D₂,…,D_N进行高斯滤波，得到差值趋势图像序列S₁,S₂,…,S_N；

(5)将所述线性拉伸后的全色图像分别与差值趋势图像序列S₁,S₂,…,S_N相减，得到融合图像序列U₁,U₂,…,U_N。

2.如权利要求1所述的基于整体结构和空间细节信息融合的光谱图像全色锐化方法，其特征在于：

在所述步骤(1)中，将全色图像的像素值乘以进行亮度线性拉伸。

3.如权利要求2所述的基于整体结构和空间细节信息融合的光谱图像全色锐化方法，其特征在于：

所述步骤(1)中，随机选取一定数量的像素点来计算光谱图像的方差以及全色图像的方差。

4.如权利要求1所述的基于整体结构和空间细节信息融合的光谱图像全色锐化方法，其特征在于：

在所述步骤(2)中，利用双线性插值法对光谱图像进行插值。

5.如权利要求1所述的基于整体结构和空间细节信息融合的光谱图像全色锐化方法，其特征在于：

所述步骤(4)中，利用一维高斯滤波器G先对图像按行进行平滑滤波，再利用所述一维高斯滤波器G的转置G^T对图像按列进行平滑滤波。

6.如权利要求5所述的基于整体结构和空间细节信息融合的光谱图像全色锐化方法，其特征在于：

所述一维高斯滤波器G的长度为13，G的尺度参数为3.33。

7.根据权利要求1－6之一的方法，其中所述光谱图像是多光谱图像。

8.根据权利要求1－6之一的方法，其中所述光谱图像是高光谱图像。