CN101916435A - 一种多尺度光谱投影遥感影像融合方法 - Google Patents

Abstract

本发明涉及一种多尺度光谱投影遥感影像融合方法，包括以下步骤：对原始全色影像和原始多光谱影像进行精确的空间配准，通过引入改进的高斯尺度空间理论，分别生成低空间分辨率的原始多光谱各波段影像和原始高空间分辨率全色影像的高斯影像立方体，然后利用高斯影像立方体的层影像提取多光谱各波段影像和全色影像的光谱特征，最后将光谱特征按照加权融合策略投影到原始全色影像上，得到具有高空间分辨率和高光谱分辨率的融合多光谱影像。本发明在在提高影像空间分辨率的同时，极大地保留了原始多光谱影像的光谱信息，能够在空间分辨率与光谱分辨率之间取得一个更好的平衡，从而使获取的融合影像具有更高的质量和更大的实用价值。

Description

一种多尺度光谱投影遥感影像融合方法

技术领域

本发明属于遥感图像处理数据融合技术领域，涉及一种多尺度光谱投影遥感影像融合方法。

背景技术

多光谱传感器能够获得光谱分辨率高而空间分辨率低的多光谱影像，全色波段传感器能获取空间分辨率高的全色影像，却缺乏光谱信息，因此如何将含有丰富光谱信息的多光谱影像与具有高空间分辨率的全色波段影像融合在一起，使融合后的影像能够尽可能地保持原始多光谱影像的光谱信息和原始全色影像的空间细节信息，是当前遥感影像数据处理领域的研究热点之一。传统的遥感影像融合算法如HIS变换、PCA变换在进行遥感影像融合时，能够获得具有较高空间质量的融合影像，但也有一定的局限性。IHS变换算法简单，能获得较高的空间分辨率，但只能适用于三个波段，对于多波段影像显得无能为力，而且由于全色影像与亮度影像之间的差异导致色度改变，会产生严重的光谱失真。PCA变换能够对任意多波段影像进行融合，但是会使融合影像失去原有的物理特性，而且融合效果取决于替换的两个主分量之间的相关性。

近年来多尺度理论在图像处理领域得到越来越多的关注。多尺度表达的基本思想就是对原始信号嵌入一簇尺度参数变化的信号，大尺度下信号的结构应该是小尺度下信号结构的简化。图像的多尺度分析是指将图像在不同尺度上进行分解，使得图像的信息在不同的尺度上得到不同程度的解释，在大尺度上得到图像较粗的信息，在小尺度上得到较细的信息。“尺度空间”概念是著名的图像金字塔概念的新补充，最先在Kelly的图像处理中被采用，后来又以各种形式进行扩展，最典型的例子就是金字塔结构与小波分解。在现代的尺度空间表示中，每一层是前一层的模糊结果。通常每一层通过一个方差为σ的高斯函数卷积原图像而产生，而每一层的σ都不一样，这个方差就是“尺度参数”，尺度参数越大，图像越模糊，越多的细节被丢弃。

高斯函数作为卷积核生成的尺度空间是目前最完善的尺度空间之一，它是一种模拟人眼视觉机理的理想数学模型。在一系列基于人眼视觉机理提出的合理假设条件下，高斯核函数是尺度空间唯一的线性变换核。

发明内容

本发明的目的在于针对现有技术的缺点和不足，提供一种多尺度光谱投影遥感影像融合方法，通过在模拟人眼视觉特征的高斯尺度空间中提取能表征影像光谱特征的光谱信息，采用兼顾空间特性和光谱特性的投影方法来获取融合影像，提供的方法能适用于各种不同分辨率遥感影像融合领域。

本发明所采用的技术方案是一种多尺度光谱投影遥感影像融合方法，包括以下步骤：

步骤a，将相同地域的原始低空间分辨率的多光谱影像采样到与原始高空间分辨率全色影像同等像素大小，并进行精确几何校正处理，然后将处理过的多光谱影像分解成各个独立的波段影像；

步骤b，分别生成原始高空间分辨率全色影像和步骤a所得多光谱各波段影像的高斯影像立方体；所述高斯影像立方体由若干层的影像组成，最底层影像即为原始高空间分辨率全色影像和步骤a所得多光谱各波段影像，当前层影像是由上一层影像与体现当前层尺度特征的高斯核函数卷积而成，设最底层的尺度参数为σ，从最底层影像到最顶层影像的尺度参数由σ变化到2σ，并且当前层影像的尺度参数与上一层影像的尺度参数满足倍增关系；

步骤c，利用步骤b所得高斯影像立方体的各层影像，提取原始高空间分辨率全色影像和多光谱各波段影像的光谱特征；

步骤d，将步骤c提取出的光谱特征按照加权融合策略投影到原始低空间分辨率的多光谱影影像上，得到具有高空间分辨率和高光谱分辨率的融合多光谱影像。

而且，步骤c中提取光谱特征，是通过计算高斯影像立方体的各层影像的平均值得到。

或者，步骤c中提取光谱特征，是通过选取高斯影像立方体的某一层影像代替各层影像的平均值得到。

本发明提供的技术方案的有益效果为：在高斯尺度空间中对输入原影像进行光谱信息的提取，采用光谱信息加权投影到高空间分辨率全色影像上的融合策略，在提高影像空间分辨率的同时，极大地保留了原始多光谱影像的光谱信息，能够在空间分辨率与光谱分辨率之间取得一个更好的平衡，从而使获取的融合影像具有更高的质量和更大的实用价值。

附图说明

图1为本发明实施例的流程图。

具体实施方式

为了更好地理解本发明的技术方案，下面结合附图和实施例对本发明做进一步的详细说明。本发明的实施例是对全色影像Pan和多光谱影像Mul进行融合，参照图1，本发明实施例的步骤如下：

步骤a：首先进行影像预处理，然后进行波段分解

影像的预处理包括重采样、精确配准(即精确几何校正处理)。重采样的目的是让原始多光谱影像(即原始低空间分辨率的多光谱影像)具有与原始全色影像(即原始高空间分辨率全色影像)同等的像素大小，配准是为了让原始多光谱影像与原始全色影像在空间位置上保持一致。根据融合精度要求，采样过程可以采取现有最邻近像元法、双线性内插法、双三次卷积法等方法，其中双三次卷积法精度最高，精确配准的精度在0.5个像素以内。

波段分解的目的是为了分别提取原始多光谱影像各波段独自的光谱信息。将重采样和配准后的多光谱影像分解成各自独立的波段影像，用以代表多光谱影像的光谱特性，同时以便接下来生成高斯影像立方体。实施例的原始多光谱影像有三个波段，则分解后的三个独立波段分别标记为R、G、B。若具体实施时原始多光谱影像有大于三个的波段，则仍然可以在不影响理解的前提下类似命名。

步骤b：生成高斯影像立方体

本发明中引入改进的高斯尺度空间理论，分别生成原始全色影像和多光谱各波段影像的高斯影像立方体。设定初始参数包括：最底层的尺度参数σ，高斯核函数窗口大小w，高斯尺度空间层数s，也即是高斯影像立方体的层数，从最底层到最顶层尺度参数由σ变化到2σ，层间尺度参数的倍增关系和每一层的尺度参数分别满足下面的公式(1)和公式(2)：

k＝2^1/s                                (1)

σ_p＝k^pσ                              (2)

其中s表示总层数(即高斯影像立方体包括从最底层的第1层影像到最顶层的第s层影像)，p表示当前层数，σ_p表示当前层的尺度参数。k就是层间尺度参数的倍增关系，即当前层影像(第p层)的尺度参数是上一层影像(第p-1层)的尺度参数的k倍。这个倍增关系跟经典高斯尺度空间理论中倍增关系是一样的。

按照下面的公式(3)分别生成原始全色影像和各波段影像的高斯影像立方体：

其中I_p+1和I_p分别表示高斯影像立方体的第p+1层和第p层，G(x，y；σ)表示长尺度参数为σ的高斯核函数，x，y是高斯窗口中相对于中心的坐标偏移量，k^p+1σ表示第p+1层的尺度参数，则G(x，y；k^p+1σ)表示第p+1层的高斯核函数。

步骤c：提取光谱特征

此步骤为本发明的核心。本发明进一步提出，可以根据不同的运算级别，采取下面两种等级的提取各波段影像和全色影像光谱特征的方法，分别按照公式(4)(5)进行。需要说明的是，这两种方法中只需要采用其中任意一种方法即可，而且采取何种方法视具体情况而定。

第一种：逐层累加计算层影像，提取光谱特征H_pan、H_R、H_G、H_B(分别是原始全色影像、R波段影像、G波段影像、B波段影像的光谱特征)，可称为光谱投影(SP，SpectralProjection)方法，满足下面的公式(4)：

$\left\{\begin{array}{c}{H}_{\mathrm{pan}}=\left(\underset{i=1}{\overset{s}{\mathrm{\Σ}}}{I}_{i\_\mathrm{pan}}\right)/s\\ H_R=\left(\underset{i=1}{\overset{s}{\mathrm{\Σ}}}{I}_{i\_R}\right)/s\\ H_G=\left(\underset{i=1}{\overset{s}{\mathrm{\Σ}}}{I}_{i\_G}\right)/s\\ H_B=\left(\underset{i=1}{\overset{s}{\mathrm{\Σ}}}{I}_{i\_B}\right)/s\end{array}\right.---\left(4\right)$

其中I_{i_pan}、I_{i_R}、I_{i_G}、I_{i_B}分别表示原始全色影像、R波段影像、G波段影像、B波段影像在各自的高斯影像立方体中的第i层影像。

第二种：根据高斯函数的性质，在第一种的基础上推导出的方法，可称为快速光谱投影(FSP，Fast Spectral Projection)方法，通过选取高斯影像立方体的某一层影像代替各层影像的平均值，满足下面的公式(5)：

$\left\{\begin{array}{c}{H}_{\mathrm{pan}}=G(x,y;\mathrm{\σ})*I_{\mathrm{pan}}\\ H_R=G(x,y;\mathrm{\σ})*I_R\\ H_G=G(x,y;\mathrm{\σ})*I_G\\ H_B=G(x,y;\mathrm{\σ})*I_B\end{array}\right.---\left(5\right)$

其中I_pan、I_R、I_G、I_B分别表示原始全色影像、R波段影像、G波段影像、B波段影像，G(x，y；σ)表示尺度参数为σ的高斯核函数。

步骤d：光谱投影运算

采取公式(6)所示加权融合的策略将步骤c中提取出的空间细节特征投影到原始低空间分辨率的多光谱影像上，得到高空间分辨率融合多光谱影像：

$\left\{\begin{array}{c}\mathrm{FR}=(2-c)*\mathrm{Pan}+c*(H_R-H_{\mathrm{pan}})\\ \mathrm{FG}=(2-c)*\mathrm{Pan}+c*(H_G-H_{\mathrm{pan}})\\ \mathrm{FB}=(2-c)*\mathrm{Pan}+c*(H_B-H_{\mathrm{pan}})\end{array}\right.---\left(6\right)$

其中Pan为原始全色影像，FR、FG、FB为融合影像的三个波段R、G、B，c为权重因子。

在上述方法中，步骤a的具体操作属于遥感影像处理领域的常规方法，具体流程在此不再赘述。其中，重采样和高精度配准操作的主要目的是使参与融合的全色影像和多光谱影像在空间地域上处于一致，具有同样的像素大小。获取多光谱各单波段影像的主要目的是用以描述多光谱影像的光谱特性。

在上述方法中，步骤b引入了改进的高斯尺度空间理论来生成高斯影像立方体。在经典高斯尺度空间理论中，尺度空间分为若干段，每段分为若干层，每一层影像都是由代表该层尺度特性的高斯核函数与原始影像卷积而成，而本方法中，只使用一段尺度空间，尺度参数由σ变化到2σ，该段中每一层影像都是由代表该层尺度特性的高斯核函数与下一层影像卷积而得到，一方面避免了经典高斯尺度空间理论中建立高层影像的庞大开销，另一方面也符合人眼视觉特性。可知生成的高斯影像立方体中，最底层影像为原始全色影像或各单波段影像，最顶层影像满足下面的公式(7)：

I_s＝G(x，y；2σ)*G(x，y；ks^-1σ)*…*G(x，y；σ)*I               (7)

在上述方法中，步骤c的两种提取光谱特征的方法的推理和操作过程如下：

在高斯影像立方体中，第p层影像可以描述为：

I_p＝G(x，y；σ_p)*I_p-1                                           (8)

高斯函数具有低通性质，通过高斯卷积得到的尺度空间表示了影像在不同尺度下的低频信息，代表边缘以及角点等细节特征的高频信息将随着影像的模糊而丢失，这些低频信息即是影像的光谱信息，因此本文通过构造高斯影像立方体来提取这些光谱信息。

其中σ_p为高斯尺度空间中该层的尺度因子，则可以定义该层影像的光谱特征为：

H_p＝I_p＝G(x，y；k^pσ)*I_p-1                                      (9)

若初始设定的高斯尺度空间为s层，那么生成的s层的高斯影像立方体，定义各层影像的平均值为原始全色影像和各单波段影像的光谱特征，则可以得到上述公式(4)，即为第一种方法：光谱投影(SP，Spectral Projection)方法。

由第一种方法计算层影像平均值的过程可以看出，光谱特征是尺度空间中高斯卷积结果的平衡值，在不影响精度的前提下，可以选取其中的某一层影像近似代替平均值的计算，于是就有上述公式(5)，即为第二种方法：快速光谱投影(Fast Spectral Projection)方法。可以看出，在这种方法中，只需要计算一次高斯卷积，因此计算效率比第一种方法有了很大的提高，但是融合影像质量相差不大。

在上述方法中，步骤d的目的是将提取的光谱特征添加到原始全色影像中，以提高全色影像的光谱信息。公式(6)中的权重因子c对于融合结果有着重要影响，默认情况下c＝1，若c＞1，则在融合影像中全色影像的光谱信息所占比重比较大，否则全色影像的细节特征所占比重比较大。

综上所述，本发明提出的多尺度光谱投影融合方法，在改进的高斯尺度空间理论的基础上，利用高斯影像立方体的层影像提取影像的光谱特征。高斯尺度空间能够模仿人类视觉感知功能，用一系列尺度参数来描述影像的特征，在生成高斯影像立方体的过程中，使用高斯核函数进行连续卷积，逐渐模糊的影像即为各尺度下的低频信息，也即是光谱特征，因此从高斯影像立方体中提取的光谱特征更符合人眼视觉感受。

以下通过仿真实验来验证本发明的有效性：

仿真实验一：IKONOS全色(空间分辨率为1米)与多光谱(空间分辨率为4米)影像融合，原始影像大小为500*500，选择广为使用的标准IHS变换方法和PCA变换方法作为对比。

融合影像评价指标：对于融合影像的质量评价应该从主观视觉和客观指标两方面进行，同时考察融合结果影像对空间信息和光谱信息的保持度。本发明中的主观视觉评价为目视感受，客观评价指标采取以下四种：

(1)熵：反映了图像包含信息量的丰富程度。熵越大，表示融合图像从原始多光谱影像和全色影像得到的信息量越大。根据香农公式计算。

(2)ERGAS：一个从全局综合误差方面来评价融合影像质量的指标，ERGAS值越小，说明融合影像质量越好。由下面的公式来计算：

$\mathrm{ERGAS}=100*\frac{h}{l}*\sqrt{\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\frac{{\mathrm{RMSE}}^2\left(B_i\right)}{\mathrm{Mean}{\left(B_i\right)}^2}}$

其中，h和l分别表示全色和多光谱影像的空间分辨率，N为原始多光谱影像的波段数，RMSE(B_i)和Mean(B_i)分别表示第i波段的均方根误差和均值。

(3)光谱偏差指数：反映了融合影像与原始多光谱影像在光谱方面的扭曲度，光谱偏差指数的值越小，说明融合质量越高。由下面的公式来计算：

其中I_i，j和分别表示融合前后多光谱影像的灰度值，此次(i，j)表示像素坐标。。

(4)通用图像质量评价指标UIQI：从相关信息损失、辐射值扭曲和对比度扭曲三个方面衡量融合前后影像的相似度，通过比较UIQI的值，其值越大，表示融合质量越高，若两幅影像完全一致，其值为1。由下面的公式来计算：

$\mathrm{UIQI}=\frac{4{\mathrm{\δ}}_{\mathrm{xy}}\stackrel{\‾}{x}\stackrel{\‾}{y}}{({\mathrm{\δ}}_x^2+{\mathrm{\δ}}_y^2)[{\left(\stackrel{\‾}{x}\right)}^2+{\left(\stackrel{\‾}{y}\right)}^2]}$

其中和

分别表示原始多光谱影像和融合结果影像的均值，δ_x和δ_y分别表示原始多光谱影像和融合结果影像的方差，而δ_xy表示它们的协方差。

仿真结果：

用本发明的方法和标准IHS变换方法、PCA变换方法对仿真内容的仿真结果，对比原始全色影像、经过采样和配准的原始多光谱影像、标准IHS变换的融合结果影像、PCA变换的融合结果影像、光谱投影(SP)方法所得融合结果影像和快速光谱投影(FSP)方法所得融合结果影像。

(1)按照所述仿真内容的仿真结果客观评价指标如表1所示：

表1实验结果比较

注：表中的“-”表示没有数据。

从表1的实验数据可知，本发明提出的多尺度光谱投影融合方法在各指标上均比传统的IHS变换方法和PCA变换方法有非常明显的优势。熵值越大，说明融合结果影像包含的信息量越多，即是融合结果影像从原始全色影像中获得的空间细节信息和从原始多光谱影像中或得的光谱信息越多，本发明的两种方法在此指标上的值远大于IHS变换和PCA变换。ERGAS的值越大，说明光谱信息保持度越低，标准IHS变换在这一指标上的值远大于本发明的两种方法，PCA变换的值居其次。偏差指数直接反应了光谱扭曲程度，值越大，说明光谱扭曲越严重，而标准IHS变换的值远大于本发明的两种方法，PCA变换仍居其次。UIQI指标反映了融合结果影像在相关信息损失、辐射值扭曲和对比度扭曲，标准IHS变换在这一指标上的平均值远小于本发明的两种方法，PCA变换其次。由此可以得出结论，相比于标准IHS变换和PCA变换，本发明提出的方法更能保持影像的空间细节特征和光谱特征。

(2)按照所述仿真内容的仿真结果主观评价如下：

从视觉上看，本发明所得到的融合影像在亮度上与原始多光谱影像非常接近，明暗适度，色彩鲜艳，边缘清晰，对比度好，层次感强，具有很好的视觉感受。在图像细节方面，本发明所得的融合影像与原始全色影像非常相似，比如房屋边缘、灌木丛的结构、道路的形态及房屋的细部结构，都能很清晰地呈现。虽然IHS变换和PCA变换在细节呈现方面也有较好的表现，但均存在较严重的色彩偏差和偏色，不太符合人眼的视觉感受。

综上所述，本发明与传统影像融合方法比较可知，不管是从客观评价指标上，还是从主观视觉上，本发明的方法都具有很明显的优势，融合结果既能较好地保持高分辨率全色影像的空间细节特征，又能较好地保持低分辨率多光谱影像的光谱特征，增强了主观可视表达效果，是一种可行的遥感影像融合方法。

Claims (4)

1. 一种多尺度光谱投影遥感影像融合方法，其特征在于包括以下步骤：

步骤a，将相同地域的原始低空间分辨率的多光谱影像采样到与原始高空间分辨率全色影像同等像素大小，并进行精确几何校正处理，然后将处理过的多光谱影像分解成各个独立的波段影像；

步骤b，分别生成原始高空间分辨率全色影像和步骤a所得多光谱各波段影像的高斯影像立方体；所述高斯影像立方体由若干层的影像组成，最底层影像即为原始高空间分辨率全色影像和步骤a所得多光谱各波段影像，当前层影像是由上一层影像与体现当前层尺度特征的高斯核函数卷积而成，设最底层的尺度参数为                                                

，从最底层影像到最顶层影像的尺度参数由

变化到

，并且当前层影像的尺度参数与上一层影像的尺度参数满足倍增关系；

步骤c，利用步骤b所得高斯影像立方体的各层影像，提取原始高空间分辨率全色影像和多光谱各波段影像的光谱特征；

步骤d，将步骤c提取出的光谱特征按照加权融合策略投影到原始低空间分辨率的多光谱影影像上，得到具有高空间分辨率和高光谱分辨率的融合多光谱影像。

2.根据权利要求1所述的多尺度光谱投影遥感影像融合方法，其特征在于：步骤a中，采样过程采取最邻近像元法、双线性内插法或双三次卷积法方法。

3.根据权利要求1或2所述的多尺度光谱投影遥感影像融合方法，其特征在于：步骤c中提取光谱特征，是通过计算高斯影像立方体的各层影像的平均值得到。

4.根据权利要求1或2所述的多尺度光谱投影遥感影像融合方法，其特征在于：步骤c中提取光谱特征，是通过选取高斯影像立方体的某一层影像代替各层影像的平均值得到。 

Images