CN103218796A - 一种全色—多光谱遥感图像融合方法 - Google Patents

Abstract

本发明公开了一种全色图像和多光谱图像融合方法，该方法包括以下步骤：获取全色图像和多光谱图像的重叠区域；对全色图像进行多尺度分解得到全色图像的多尺度图像序列；基于光谱显著特征分析方法对多光谱图像进行分析，提取其目标光谱显著特征并生成多波段光谱显著特征图像D；从图像D中选择三个波段生成伪彩色图像；将全色图像与伪彩色图像进行多尺度融合。本发明方法利用光谱显著特征分析方法，提取目标的光谱显著特征；利用多尺度融合方法将多光谱图像中的光谱显著特征和全色图像中的细节信息进行渐进融合，使得目标更容易区分和识别。本发明可以广泛应用于目标识别、土地利用分类、专题图的制作和地图的更新等诸多应用系统中。

Description

一种全色—多光谱遥感图像融合方法

技术领域

本发明涉及遥感图像处理、信息融合、目标识别等技术领域，特别是一种基于全色图像和多光谱图像的特征级融合方法。 

背景技术

图像融合是将同一时间拍摄的、同一场景的不同来源的图像所包含的信息优势或互补性结合起来产生新的图像，并获得对场景、目标更加准确、全面的认识，可以广泛应用在目标识别、土地利用分类、专题图的制作和地图的更新等应用领域。目标的光学图像特性与人类的视觉最为接近，光学遥感图像是目前利用最为广泛的图像类型。由于硬件方面的制约，同一传感器无法同时获取高空间分辨率、高光谱分辨率的光学卫星图像。现有的全色图像和多光谱图像分别具有高空间分辨率和高光谱分辨率，这两种图像是卫星在同一地点同一时间由不同传感器进行拍摄的。通过融合全色图像和多光谱图像可以获得同时具有高空间分辨率、高光谱分辨率的图像，为后续的处理提供了良好的数据基础。 

目前的全色图像与多光谱图像融合算法大都是数据级融合，融合后的图像具有高空间分辨率和高光谱分辨率，对判图人员有一定的帮助。但传统的融合方法对多光谱图像中的光谱变化规律利用的很少，判图人员很难从大尺寸的图像中快速、准确的发现或识别目标。近年来，多光谱图像的波段数逐渐增多，如WorldView卫星的多光谱图像的波动数为8。人眼对由三个波段组成的彩色图像具有很好的适应性，对于超过三个波段的图像人眼很难直接观察。由于“同物异谱”及“异物同谱”的影响，直接从多光谱图像中挑选三个波段与全色图像进行融合很难保证融合效果。虽然PCA等融合方法可以将多光谱图像进行变换，将能量集中的三个波段与全色图像融合，但PCA变换只考虑了能量信息，没有考虑到目标的光谱随波段变化的特征。因此，传统的全色图像与多光谱图像融合方法对目标识 别具有很大的局限性。 

分析多光谱图像中的目标光谱变化规律，提取多光谱图像中目标光谱显著特征，然后再与全色图像进行特征级融合，将大大提高目标的区分、识别能力。特征级的全色图像与多光谱图像融合技术具有强烈的应用驱动和研究价值，但目前对此研究的很少。从多光谱图像的众多波段中发掘目标的本质特征，是全色图像和多光谱图像特征级融合的关键，但目前国内外尚无成熟的技术。 

发明内容

本发明的目的是针对目标识别对图像融合的要求和现有图像融合方法的缺点，提供一种快速有效的基于光谱显著特征分析的全色图像和多光谱图像融合特征级融合方法。 

为了实现上述目的，本发明基于光谱显著特征分析的全色图像和多光谱图像融合方法包括以下步骤： 

步骤S1，获取全色图像和多光谱图像的重叠区域； 

步骤S2，对全色图像进行多尺度分解得到所述全色图像的多尺度图像序列； 

步骤S3，基于光谱显著特征分析方法对所述多光谱图像进行分析，提取所述多光谱图像的目标光谱显著特征，并生成多波段光谱显著特征图像D； 

步骤S4，从所述多波段光谱显著特征图像D中选择三个波段，生成伪彩色图像； 

步骤S5：将所述全色图像与所述伪彩色图像进行多尺度融合，即采用渐进融合的方式，将所述全色图像与所述伪彩色图像逐尺度进行多尺度融合。 

本发明所述方法对于提高目标的可分性和识别能力具有重要的意义，其主要优点如下： 

本发明是一种多尺度的渐进融合方法，获取全色图像和多光谱图像的重叠区域后无需对多光谱图像进行重采样，避免了对多光谱图像进行重采样时损失光谱信息。 

本发明提取了目标光谱显著特征，光谱显著特征对目标类型的描述、识别具有很好的稳定性和鲁棒性。 

本发明将目标的光谱显著特征和全色图像的空间细节进行融合，使得目标类型特征和结构细节同时可见，目标区分性更好。 

得益于上述优点，本发明极大地提高了全色图像和多光谱图像的目标区分、识别能力，可广泛应用于目标识别、土地利用分类、专题图的制作和地图的更新等系统中。 

附图说明

图1是本发明基于光谱显著特征分析的全色图像和多光谱图像融合方法流程图。 

图2是根据本发明一实施例的光谱显著特征图像提取和伪彩色图像生成示意图。 

图3是根据本发明一实施例的多尺度融合示意图。 

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。 

图1是本发明基于光谱显著特征分析的全色图像和多光谱图像融合方法流程图，如图1所示，所述基于光谱显著特征分析的全色图像和多光谱图像融合方法包括以下步骤： 

步骤S1，获取全色图像和多光谱图像的重叠区域； 

由于全色图像和多光谱图像是由不同传感器在同一卫星、同一时间进行拍摄的，因此，重叠区域可以根据全色图像或多光谱图像经纬度的对应关系来获得，或通过对全色图像和多光谱图像进行配准获得。 

与传统的融合方法不同，本发明在得到全色图像和多光谱图像的重叠区域后无需对多光谱图像进行插值、重采样，这样可以大大减少计算量，还可以避免多光谱图像的光谱特征损失。 

步骤S2，对全色图像进行多尺度分解得到所述全色图像的多尺度图像 序列； 

为了后续进行多尺度融合，需要首先对全色图像P利用多次降采样生成多尺度图像序列{P^(s)}，0≤s≤S，其中，P^(s)是对图像P^(s-1)进行2倍下采样后得到的图像，S是多尺度图像序列的层数。本发明中，尺度0是指原始尺度，即P⁽⁰⁾＝P，尺度s是对原始尺度图像进行s-1次降采样后得到的图像；降采样次数S-1等于全色图像空间分辨率和多光谱图像空间分辨率的比值。 

步骤S3，基于光谱显著特征分析方法对所述多光谱图像进行分析，提取所述多光谱图像的目标光谱显著特征，并生成多波段光谱显著特征图像D； 

所述光谱显著特征分析是将不同波段图像视为光谱频率的函数，而光谱显著特征就是目标光谱随光谱频率变化而显著变化的特征。 

对于多光谱图像M的某个像素p，p在各波段的灰度值构成光谱曲线x，光谱曲线x是一个向量，向量x是关于光谱频率λ的函数：x＝[x₁(λ)，x₂(λ)，…，x_n(λ)]^T，λ∈[λ₀，λ₁]，其中，n是多光谱图像的波段数，λ₀和λ₁分别为多光谱图像M的最低和最高光谱频率。向量x的第i个分量以及第i+1个分量的变化程度反映了目标光谱随光谱频率的变化规律。 

对于高度为h、宽度为w、波段数为n的多光谱图像M，按照”先行后列”的顺序将每一个像素的光谱曲线作为扩展矩阵X的一个列向量，则扩展矩阵X为一个n行、h*w列的矩阵，扩展矩阵X的行方向代表光谱频率方向。 

而光谱显著特征分析的目的就是通过寻找变换因子g_k：y_k＝g_k(X)(k＝1，2，…，m)使得y_k在光谱频率λ上的变化依次减小，其中，m为变换的个数。 

用

表示光谱频率的变化量，则上述光谱显著特征分析可表示为如下的优化问题： 

$\underset{y_k}{\min }\mathrm{\&Delta;}{y}_k={<{\stackrel{\&CenterDot;}{y}}_k^2>}_{\mathrm{\&lambda;}}.$

其中，<>_λ表示光谱频率上的均值，为y_k关于λ的导数，表示在光谱 频率上的变化。 

为了求解上述优化问题，本发明对y_k附加如下三个约束： 

(1)<y_k>_λ＝0， 

${<y_k^2>}_{\mathrm{\&lambda;}}=1.---\left(2\right)$

(3)对于所有的i＜k，有<y_iy_k>_λ＝0。 

上述前两个约束排除了平凡解y_k(λ)＝常量的情况，第三个约束保证了输出信号的各个分量间是不相关的，从而使得它们各自承载了不同方面的信息。 

不失一般性地，本发明令变换g_k为线性变换，即

于是，  $\mathrm{\&Delta;}{y}_k={<{\stackrel{\&CenterDot;}{y}}_k^2>}_{\mathrm{\&lambda;}}=w_k^T{<\stackrel{\&CenterDot;}{X}{\stackrel{\&CenterDot;}{X}}^T>}_{\mathrm{\&lambda;}}{w}_k=w_k^T{\mathrm{Aw}}_k,$ ${<y_i{y}_k>}_{\mathrm{\&lambda;}}=w_k^T{<X{X}^T>}_{\mathrm{\&lambda;}}{w}_k=w_k^T{\mathrm{Bw}}_k,$ 其中， 为X关于λ的导数矩阵，A为矩阵

和

的乘积矩阵，B为矩阵X和X^T的乘积矩阵。 

为了求解w_k，附加一个w_k的均值为0、方差为1的约束条件，则所述光谱显著特征分析的优化问题变为： 

$\min \mathrm{\&Delta;}{y}_k=\min {<{\stackrel{\&CenterDot;}{y}}_k^2>}_{\mathrm{\&lambda;}}=\min \frac{{<{\stackrel{\&CenterDot;}{y}}_k^2>}_{\mathrm{\&lambda;}}}{{<y_k^2>}_{\mathrm{\&lambda;}}}=\underset{w_k}{\min }\frac{w_k^T{\mathrm{Aw}}_k}{w_k^T{\mathrm{Bw}}_k},$

利用Lagrange乘子法可以得到上述优化问题的解为矩阵A和B的广义特征向量，即AW＝BWΛ。其中，w_k是W的第k列，W是矩阵A和B的广义特征向量矩阵，Λ是矩阵A和B的广义特征值构成的对角阵。 

变换后的多光谱图像的波段数m就是广义特征值大于0的个数。由此可求得

其中，y_k为1行、h*w列的向量，将y_k按照“先行后列”的顺序组成h行、w列图像P_k。按照广义特征值从大到小的顺序将图像P_k组成多波段光谱显著特征图像D。广义特征值越大，对应的P_k的目标光谱k显著度就越大。根据本发明一实施例提取得到的光谱显著特征图像如图2 中间一行的图像所示，图2最上面一行的图像为原始多光谱图像。 

步骤S4，从所述多波段光谱显著特征图像D中选择三个波段，生成伪彩色图像； 

该步骤从多波段光谱显著特征图像D的m个波段中抽取三个最显著特征波段，以红、绿、蓝的顺序将三个显著特征波段组成伪彩色图像MP。在伪彩色图像MP上，不同显著度的目标以不同的颜色进行表示。目标的类型是根据目标随光谱频率的变化情况由光谱显著特征分析自动确定的。根据本发明一实施例提取得到的伪彩色图像如图2中最后一行的图像所示。 

步骤S5：将所述全色图像与所述伪彩色图像进行多尺度融合，即采用渐进融合的方式，将所述全色图像与所述伪彩色图像逐尺度进行多尺度融合。 

全色图像与伪彩色图像的多尺度融合的目的就是综合全色图像的空间分辨率信息和伪彩色图像的目标特征信息。全色图像与伪彩色图像的多尺度融合是一种渐进融合方式，在本发明的一实施例中，采用IHS融合方法对全色图像多尺度图像序列的每一层进行融合。IHS融合方法是全色图像和彩色图像融合的经典方法，它首先把彩色图像经IHS变换由RGB颜色空间变换到IHS空间(I，H和S分别代表明度、色调和饱和度)，然后I分量由全色图像代替，替换后的IHS分量经IHS逆变换再变换到RGB颜色空间，生成的RGB彩色图像即为融合图像。所述全色图像多尺度图像序列的每一层进行融合的方法包括以下步骤： 

步骤S51：将所述伪彩色图像与全色图像多尺度图像序列中最低分辨率的图像进行IHS融合，生成当前尺度，即尺度s的融合图像MP_s，此时的融合称为初始融合； 

所述步骤S51进一步包括以下步骤： 

步骤S511，将所述伪彩色图像MP经IHS变换由RGB彩色空间转换到IHS空间； 

其中，所述IHS空间中的I、H、S分类分别表征目标的明度、色调和 饱和度。 

步骤S512，由于尺度s上的全色图像多尺度图像序列P_S与伪彩色图像MP具有相同的高度和宽度，因此，将所述伪彩色图像MP在IHS空间上的I分量由P_S来代替； 

步骤S513，将替换后的IHS分量经IHS逆变换转换到RGB空间，生成当前尺度的融合图像MP_S。 

初始融合将全色图像和由光谱显著特征组成的伪彩色图像进行融合，生成的融合图像结合了全色图像的细节和多光谱图像的目标光谱显著特征。 

步骤S52：将所述融合图像MP_s进行上采样并与上一层的全色图像融合，此时的融合称为渐进融合，直到达到所述全色图像的原始尺度； 

所述步骤S52进一步包括以下步骤： 

步骤S521，在尺度s-1上，将尺度s上的融合图像MP_s进行2倍上采样得到MP_s-1，其中，MP_s-1与尺度s-1上的全色图像多尺度图像序列P_s-1具有相同的尺寸； 

步骤S522，对P_s-1和尺度s-1上的融合图像MP_s-1按照IHS融合的方法进行融合得到融合图像F_s-1； 

步骤S523，重复步骤S521和S522，直到达到所述全色图像的原始尺度，得到融合图像F_s。 

图3是根据本发明一实施例的多尺度融合示意图，由上述文字以及图3可以看出，多尺度融合过程中每个尺度的融合都利用了当前尺度的全色图像和上一尺度的融合结果，通过将多光谱图像中的光谱显著特征和全色图像中的细节信息进行渐进融合，获得同时具有高空间分辨率、高光谱分辨率的图像，从而使得目标更容易区分和识别。 

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。 

Claims (10)

1.一种全色图像和多光谱图像融合方法，其特征在于，该方法包括以下步骤：

步骤S1，获取全色图像和多光谱图像的重叠区域；

步骤S2，对全色图像进行多尺度分解得到所述全色图像的多尺度图像序列；

步骤S3，基于光谱显著特征分析方法对所述多光谱图像进行分析，提取所述多光谱图像的目标光谱显著特征，并生成多波段光谱显著特征图像D；

步骤S4，从所述多波段光谱显著特征图像D中选择三个波段，生成伪彩色图像；

步骤S5：将所述全色图像与所述伪彩色图像进行多尺度融合，即采用渐进融合的方式，将所述全色图像与所述伪彩色图像逐尺度进行多尺度融合。

2.根据权利要求1所述的方法，其特征在于，所述重叠区域根据全色图像或多光谱图像经纬度的对应关系来获得，或通过对全色图像和多光谱图像进行配准来获得。

3.根据权利要求1所述的方法，其特征在于，所述步骤2中，对全色图像P利用多次降采样来生成多尺度图像序列{P^(s)}，0≤s≤S，其中，P^(s)是对图像P^(s-1)进行2倍下采样后得到的图像，S是多尺度图像序列的层数，降采样次数S-1等于全色图像空间分辨率和多光谱图像空间分辨率的比值。

4.根据权利要求1所述的方法，其特征在于，所述光谱显著特征分析是将不同波段图像视为光谱频率的函数，而光谱显著特征就是目标光谱随光谱频率变化而显著变化的特征。

5.根据权利要求1所述的方法，其特征在于，所述步骤3中，提取所述多光谱图像的目标光谱显著特征，并生成多波段光谱显著特征图像D的步骤进一步包括：

步骤31，利用下式求得变换因子g_k：y_k＝g_k(X)，k＝1，2，…，m，使得y_k在光谱频率λ上的变化依次减小，其中，m为变换的个数；X为扩展矩阵，高度为h、宽度为w、波段数为n的多光谱图像M按照先行后列的顺序将每一个像素的光谱曲线作为扩展矩阵X的一个列向量，从而得到n行、h*w列的扩展矩阵X；

$g_k=w_k^T,\underset{w_k}{\min }\frac{w_k^T{\mathrm{Aw}}_k}{w_k^T{\mathrm{Bw}}_k},$

其中，A为矩阵和

的乘积矩阵，B为矩阵X和X^T的乘积矩阵，

为X关于λ的导数矩阵；

步骤32，将

按照先行后列的顺序组成h行、w列图像P_k；

步骤33，按照广义特征值从大到小的顺序将图像P_k组成多波段光谱显著特征图像D，其中，广义特征值越大，对应的P_k的目标光谱显著度就越大。

6.根据权利要求1所述的方法，其特征在于，所述步骤S4中，从多波段光谱显著特征图像D的m个波段中抽取三个最显著特征波段，以红、绿、蓝的顺序将三个显著特征波段组成伪彩色图像MP，在伪彩色图像MP上，不同显著度的目标以不同的颜色进行表示。

7.根据权利要求1所述的方法，其特征在于，所述步骤S5中，采用IHS融合方法对全色图像多尺度图像序列的每一层进行融合。

8.根据权利要求7所述的方法，其特征在于，所述采用IHS融合方法对全色图像多尺度图像序列的每一层进行融合的方法包括以下步骤：

步骤S51：将所述伪彩色图像与全色图像多尺度图像序列中最低分辨率的图像进行IHS融合，生成当前尺度，即尺度s的融合图像MP_S；

步骤S52：将所述融合图像MP_S进行上采样并与上一层的全色图像融合，直到达到所述全色图像的原始尺度。

9.根据权利要求8所述的方法，其特征在于，所述步骤S51进一步包括以下步骤：

步骤S511，将所述伪彩色图像MP经IHS变换由RGB彩色空间转换到IHS空间；

步骤S512，由于尺度s上的全色图像多尺度图像序列P_S与伪彩色图像MP具有相同的高度和宽度，因此，将所述伪彩色图像MP在IHS空间上的I分量由P_S来代替；

步骤S513，将替换后的IHS分量经IHS逆变换转换到RGB空间，生成当前尺度的融合图像MP_s。

10.根据权利要求8所述的方法，其特征在于，所述步骤S52进一步包括以下步骤：

步骤S521，在尺度s-1上，将尺度s上的融合图像MP_s进行2倍上采样得到MP_s-1，其中，MP_s-1与尺度s-1上的全色图像多尺度图像序列P_s-1具有相同的尺寸；

步骤S522，对P_s-1和尺度s-1上的融合图像MP_s-1按照IHS融合的方法进行融合；

步骤S523，重复步骤S521和S522，直到达到所述全色图像的原始尺度。

Images