CN102789641A - 基于图拉普拉斯的高光谱图像和红外图像融合方法 - Google Patents

Abstract

本发明公开了一种基于图拉普拉斯的将高光谱图像和红外图像进行融合的方法，包括：利用局部核岭回归对高光谱图像h与融合图像f在局部区域进行非线性回归；构造能量使得融合图像f保持红外图像l的近似信息；构造全局目标函数以同时保持高光谱图像h的低维流形信息和红外图像l的近似信息；以及利用共轭梯度法优化该全局目标函数，实现高光谱图像h和红外图像l的融合。利用本发明，使融合图像能够结合高光谱图像和红外图像各自的特点，既具有高光谱图像的多谱段信息，又具有红外图像的近似信息。

Description

基于图拉普拉斯的高光谱图像和红外图像融合方法

技术领域

本发明涉及遥感图像处理技术领域，尤其涉及一种基于图拉普拉斯的将高光谱图像和红外图像进行融合的方法，用于航天、航空传感器平台获取的高光谱图像和红外图像的融合。

背景技术

在遥感图像处理领域，红外成像技术是一种辐射信息探测技术，用于将物体表面的温度分布转换成人眼可见的图像。该图像是红外图像，可以反映物体表面的红外辐射能力，直观地表征和显示被测目标表面的红外辐射温度场分布。由于红外辐射受外界条件的影响比可见光小，所以其具有较强的抗干扰能力，可以全天候工作，通过红外图像可以更直接的观测到感兴趣的图像目标。

高光谱图像在探测地表和大气的物质种类、评价和测量光谱所反映出的物质含量、确定一个光谱混合的空间单元内各组成的面积比、描绘各类地物的空间分布、通过周期的数据监测各类地物的变换等应用领域发挥了越来越大得作用。

但是由于高光谱图像存在非常多的谱段，对于判读人员来说观测高光谱图像是一个耗时的工作，如何能快速地从高光谱图像中获取更多的信息是一个非常具有重要意义的问题。而对于红外图像虽然能非常方便地观测到感兴趣的图像目标，但是由于红外图像吸收的光谱谱段非常窄，包含的信息有限。

国内外的研究者为了方便高光谱图像的观测，一般利用高光谱图像来生成伪彩色图像来进行观测，而对于红外图像则利用颜色表来生成伪彩色图像来对红外图像进行观测。这些方法本质上都没克服各自图像的缺陷。

融合高光谱图像和红外图像不仅有助于判读人员的判读效率和精度，而且可以充分利用保持高光谱图像信息量大的特点以及红外图像能反应目标显著性的特点，这就有利于进一步进行目标检测、识别等。

发明内容

(一)要解决的技术问题

为了克服现有技术中只是针对单一图像源进行处理的不足，本发明的主要目的在于提供一种基于图拉普拉斯的将高光谱图像和红外图像进行融合的方法，以使融合图像能够结合高光谱图像和红外图像各自的特点，既具有高光谱图像的多谱段信息，又具有红外图像的近似信息。

(二)技术方案

为达到上述目的，本发明提供了一种基于图拉普拉斯的将高光谱图像和红外图像进行融合的方法，包括：利用局部核岭回归对高光谱图像h与融合图像f在局部区域进行非线性回归；构造能量使得融合图像f保持红外图像l的近似信息；构造全局目标函数以同时保持高光谱图像h的低维流形信息和红外图像l的近似信息；以及利用共轭梯度法优化该全局目标函数，实现高光谱图像h和红外图像l的融合。

上述方案中，所述利用局部核岭回归对高光谱图像h与融合图像f在局部区域进行非线性回归，是利用图拉普拉斯模型对高光谱图像h与融合图像f进行流形正则化。所述利用图拉普拉斯模型对高光谱图像h与融合图像f进行流形正则化，包括：利用基于局部核岭回归的图拉普拉斯模型在高光谱图像h和融合图像f之间构造局部非线性映射，并通过最小化局部正则化回归误差构造高光谱图像h与融合图像f之间的全局的二次拉普拉斯回归误差。

上述方案中，所述利用基于局部核岭回归的图拉普拉斯模型在高光谱图像h和融合图像f之间构造局部非线性映射，包括：假设高光谱图像h和融合图像f在局部区域N_i存在如下非线性映射关系：

$f_j=W_i^T\mathrm{\φ}\left(h_j\right)+b_i,$ j∈N_i

式中：N_i表示窗口i内的所有像元，h_j表示高光谱图像h在像元j的光谱特征，f_j表示融合图像f在像元j的光谱值，φ表示隐式的非映射函数，w_i、b_i表示在局部窗口i内非线性映射函数的参数。

上述方案中，所述通过最小化局部正则化回归误差构造高光谱图像h与融合图像f之间的全局的二次拉普拉斯回归误差，包括：局部正则化的二次回归误差如下：

$E_i=\underset{j\∈N_i}{\mathrm{\Σ}}{|w_i^T\mathrm{\φ}\left(h_j\right)+b_i-f_j|}^2+\mathrm{\λ}{\left|w_i\right|}^2$

上式对分别对w_i、b_i求导并令其为0，可求得w_i和b_i，再将w_i和b_i代入上式中，可求得局部正则化误差为：

$E_i=f_i^T{L}_i{f}_i$

式中，f_i表示融合图像f在局部窗口i内所有像元N_i组成的列向量，L_i为局部拉普拉斯矩阵，其定义为：

$L_i=H_i-{\stackrel{\‾}{K}}_i{(\mathrm{\λI}+{\stackrel{\‾}{K}}_i)}^{-1}$

式中，H_i为中心化矩阵，I为单位矩阵，

是局部核矩阵K_i的归一化矩阵

核矩阵K_i中的元素定义为K_i(i，j)＝<φ(h_i)，φ(h_j)>；

通过对所有局部误差求和可得到全局误差为：

$E={\mathrm{\&Sigma;}}_i{E}_i={\mathrm{\&Sigma;}}_i{f}_i^T{L}_i{f}_i=f^T\mathrm{Lf}$

式中，L为拉普拉斯矩阵；

由此，利用局部核岭回归模型得到的全局误差具有二次拉普拉斯表示形式，最小化全局误差E就能够实现融合图像与高光谱图像之间的流形正则化。

上述方案中，所述构造能量使得融合图像f保持红外图像l的近似信息，是通过构造如下能量使得融合图像f保持红外图像l的近似信息：

${|f\&CircleTimes;k-l|}^2$

式中，

为滤波操作算子，k为高斯滤波核，l为红外图像。

上述方案中，所述构造全局目标函数以同时保持高光谱图像h的低维流形信息和红外图像l的近似信息，是通过构造如下全局目标函数同时保持高光谱图像h的低维流形信息和红外图像l的近似信息：

$\underset{f}{\min }(f^T\mathrm{Lf}+\mathrm{\&beta;}{|f\&CircleTimes;k-l|}^2)$

式中，β为权重系数。

上述方案中，所述利用共轭梯度法优化全局目标函数，是通过下式优化全局目标函数：

(L+βK^TK)f＝βK^Tl

式中，K为滤波核k的矩阵表示形式。

(三)有益效果

本发明的有益效果是，基于图拉普拉斯的高光谱图像和红外图像融合方法，该方法利用图拉普拉斯模型对高光谱图像和融合图像进行流形正则化，通过构造图拉普拉斯矩阵实现高光谱图像与红外图像在流形空间上的融合。最后通过求解稀疏线性方程组来最小化二次能量函数得到融合图像。使得融合图像结合了高光谱图像和红外图像各自的特点，既具有高光谱图像的多谱段信息，又具有红外图像的近似信息。

附图说明

图1是依照本发明实施例的基于图拉普拉斯的将高光谱图像和红外图像进行融合的方法流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。应指出的是，所描述的实例仅旨在便于对本发明的理解，而对其不起任何限定作用。本发明使用的方法既可以在个人计算机、工控机及服务器上以软件的形式安装并执行，也可将方法做成嵌入式芯片以硬件的形式来体现。

本发明提供的基于图拉普拉斯的将高光谱图像和红外图像进行融合的方法，利用局部核岭回归对高光谱图像与融合图像在局部区域进行非线性回归，实质上是利用图拉普拉斯模型对高光谱图像与融合图像在局部区域进行流形正则化，将融合图像看作是高光谱图像在流形空间的低维嵌入，使融合图像在低维度流形空间能尽可能保持高光谱图像的信息，再通过保持红外图像的近似信息，使得融合图像具有红外图像的优点。

图1是依照本发明实施例的基于图拉普拉斯的将高光谱图像和红外图像进行融合的方法流程图，该方法包括以下步骤：

步骤S1：利用局部核岭回归对高光谱图像h与融合图像f在局部区域进行非线性回归；

步骤S2：构造能量使得融合图像f保持红外图像l的近似信息；

步骤S3：构造全局目标函数以同时保持高光谱图像h的低维流形信息和红外图像l的近似信息；以及

步骤S4：利用共轭梯度法优化该全局目标函数，实现高光谱图像h和红外图像l的融合。

步骤S1中所述利用局部核岭回归对高光谱图像h与融合图像f在局部区域进行非线性回归，是利用图拉普拉斯模型对高光谱图像h与融合图像f进行流形正则化，包括：利用基于局部核岭回归的图拉普拉斯模型在高光谱图像h和融合图像f之间构造局部非线性映射，并通过最小化局部正则化回归误差构造高光谱图像h与融合图像f之间的全局的二次拉普拉斯回归误差。

其中，所述利用基于局部核岭回归的图拉普拉斯模型在高光谱图像h和融合图像f之间构造局部非线性映射，包括：假设高光谱图像h和融合图像f在局部区域N_i存在如下非线性映射关系：

$f_j=W_i^T\mathrm{\&phi;}\left(h_j\right)+b_i,$ j∈N_i

式中：N_i表示窗口i内的所有像元，h_j表示高光谱图像h在像元j的光谱特征，f_j表示融合图像f在像元j的光谱值，φ表示隐式的非映射函数，w_i、b_i表示在局部窗口i内非线性映射函数的参数。

其中，所述通过最小化局部正则化回归误差构造高光谱图像h与融合图像f之间的全局的二次拉普拉斯回归误差，包括：局部正则化的二次回归误差如下：

$E_i=\underset{j\&Element;N_i}{\mathrm{\&Sigma;}}{|w_i^T\mathrm{\&phi;}\left(h_j\right)+b_i-f_j|}^2+\mathrm{\&lambda;}{\left|w_i\right|}^2$

上式对分别对w_i、b_i求导并令其为0，可求得w_i和b_i，再将w_i和b_i代入上式中，可求得局部正则化误差为：

$E_i=f_i^T{L}_i{f}_i$

式中，f_i表示融合图像f在局部窗口i内所有像元N_i组成的列向量，L_i为局部拉普拉斯矩阵，其定义为：

$L_i=H_i-{\stackrel{\&OverBar;}{K}}_i{(\mathrm{\&lambda;I}+{\stackrel{\&OverBar;}{K}}_i)}^{-1}$

式中，H_i为中心化矩阵，I为单位矩阵，

是局部核矩阵K_i的归一化矩阵

核矩阵Ki中的元素定义为K_i(i，j)＝<φ(h_i)，φ(h_j)>；

通过对所有局部误差求和可得到全局误差为：

$E={\mathrm{\&Sigma;}}_i{E}_i={\mathrm{\&Sigma;}}_i{f}_i^T{L}_i{f}_i=f^T\mathrm{Lf}$

式中，L为拉普拉斯矩阵；

由此，利用局部核岭回归模型得到的全局误差具有二次拉普拉斯表示形式，最小化全局误差E就能够实现融合图像与高光谱图像之间的流形正则化。

步骤S2中所述构造能量使得融合图像f保持红外图像l的近似信息，是通过构造如下能量使得融合图像f保持红外图像l的近似信息：

${|f\&CircleTimes;k-l|}^2$

式中，

为滤波操作算子，k为高斯滤波核，l为红外图像。

步骤S3中所述构造全局目标函数以同时保持高光谱图像h的低维流形信息和红外图像l的近似信息，是通过构造如下全局目标函数同时保持高光谱图像h的低维流形信息和红外图像l的近似信息：

$\underset{f}{\min }(f^T\mathrm{Lf}+\mathrm{\&beta;}{|f\&CircleTimes;k-l|}^2)$

式中，β为权重系数。

步骤S4中所述利用共轭梯度法优化全局目标函数，是通过下式优化全局目标函数：

(L+βK^TK)f＝βK^Tl

式中，K为滤波核k的矩阵表示形式。

实施例

首先输入配准好的高光谱图像和红外图像，接着采用局部核岭回归的思想对高光谱图像h和融合图像f进行流形正则化，使融合图像具有高光谱图像的低维流形表示，得到的图拉普拉斯正则化项为：

E＝f^TLf

为了保持使融合图像具有红外图像的优点，目标函数加入保持红外图像近似信息的能量项：

${|f\&CircleTimes;k-l|}^2$

结合这两项能量得到融合方法的整体目标函数：

$\underset{f}{\min }(f^T\mathrm{Lf}+\mathrm{\&beta;}{|f\&CircleTimes;k-l|}^2)$

上式对f求导，并其为0，可得到如下稀疏线性方程组：

(L+βK^TK)f＝βK^Tl

通过采用共轭梯度法来能快速求解上述稀疏线性方程组。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于图拉普拉斯的将高光谱图像和红外图像进行融合的方法，其特征在于，包括：

利用局部核岭回归对高光谱图像h与融合图像f在局部区域进行非线性回归；

构造能量使得融合图像f保持红外图像l的近似信息；

构造全局目标函数以同时保持高光谱图像h的低维流形信息和红外图像l的近似信息；以及

利用共轭梯度法优化该全局目标函数，实现高光谱图像h和红外图像l的融合。

2.根据权利要求1所述的基于图拉普拉斯的将高光谱图像和红外图像进行融合的方法，其特征在于，所述利用局部核岭回归对高光谱图像h与融合图像f在局部区域进行非线性回归，是利用图拉普拉斯模型对高光谱图像h与融合图像f进行流形正则化。

3.根据权利要求2所述的基于图拉普拉斯的将高光谱图像和红外图像进行融合的方法，其特征在于，所述利用图拉普拉斯模型对高光谱图像h与融合图像f进行流形正则化，包括：

利用基于局部核岭回归的图拉普拉斯模型在高光谱图像h和融合图像f之间构造局部非线性映射，并通过最小化局部正则化回归误差构造高光谱图像h与融合图像f之间的全局的二次拉普拉斯回归误差。

4.根据权利要求3所述的基于图拉普拉斯的将高光谱图像和红外图像进行融合的方法，其特征在于，所述利用基于局部核岭回归的图拉普拉斯模型在高光谱图像h和融合图像f之间构造局部非线性映射，包括：

假设高光谱图像h和融合图像f在局部区域N_i存在如下非线性映射关系：

$f_j=W_i^T\mathrm{\&phi;}\left(h_j\right)+b_i,$ j∈N_i

式中：N_i表示窗口i内的所有像元，h_j表示高光谱图像h在像元j的光谱特征，f_j表示融合图像f在像元j的光谱值，φ表示隐式的非映射函数，w_i、b_i表示在局部窗口i内非线性映射函数的参数。

5.根据权利要求4所述的基于图拉普拉斯的将高光谱图像和红外图像进行融合的方法，其特征在于，所述通过最小化局部正则化回归误差构造高光谱图像h与融合图像f之间的全局的二次拉普拉斯回归误差，包括：

局部正则化的二次回归误差如下：

$E_i=\underset{j\&Element;N_i}{\mathrm{\&Sigma;}}{|w_i^T\mathrm{\&phi;}\left(h_j\right)+b_i-f_j|}^2+\mathrm{\&lambda;}{\left|w_i\right|}^2$

上式对分别对w_i、b_i求导并令其为0，可求得w_i和b_i，再将w_i和b_i代入上式中，可求得局部正则化误差为：

$E_i=f_i^T{L}_i{f}_i$

式中，f_i表示融合图像f在局部窗口i内所有像元N_i组成的列向量，L_i为局部拉普拉斯矩阵，其定义为：

$L_i=H_i-{\stackrel{\&OverBar;}{K}}_i{(\mathrm{\&lambda;I}+{\stackrel{\&OverBar;}{K}}_i)}^{-1}$

式中，H_i为中心化矩阵，I为单位矩阵，

是局部核矩阵K_i的归一化矩阵

核矩阵K_i中的元素定义为K_i(i，j)＝<φ(h_i)，φ(h_j)>；

通过对所有局部误差求和可得到全局误差为：

$E={\mathrm{\&Sigma;}}_i{E}_i={\mathrm{\&Sigma;}}_i{f}_i^T{L}_i{f}_i=f^T\mathrm{Lf}$

式中，L为拉普拉斯矩阵；

由此，利用局部核岭回归模型得到的全局误差具有二次拉普拉斯表示形式，最小化全局误差E就能够实现融合图像与高光谱图像之间的流形正则化。

6.根据权利要求1所述的基于图拉普拉斯的将高光谱图像和红外图像进行融合的方法，其特征在于，所述构造能量使得融合图像f保持红外图像l的近似信息，是通过构造如下能量使得融合图像f保持红外图像l的近似信息：

${|f\&CircleTimes;k-l|}^2$

式中，为滤波操作算子，k为高斯滤波核，l为红外图像。

7.根据权利要求1所述的基于图拉普拉斯的将高光谱图像和红外图像进行融合的方法，其特征在于，所述构造全局目标函数以同时保持高光谱图像h的低维流形信息和红外图像l的近似信息，是通过构造如下全局目标函数同时保持高光谱图像h的低维流形信息和红外图像l的近似信息：

$\underset{f}{\min }(f^T\mathrm{Lf}+\mathrm{\&beta;}{|f\&CircleTimes;k-l|}^2)$

式中，β为权重系数。

8.根据权利要求1所述的基于图拉普拉斯的将高光谱图像和红外图像进行融合的方法，其特征在于，所述利用共轭梯度法优化全局目标函数，是通过下式优化全局目标函数：

(L+βK^TK)f＝βK^Tl

式中，K为滤波核k的矩阵表示形式。

Images