CN102789638B - 基于梯度场与尺度空间理论的图像融合方法 - Google Patents

Abstract

本发明公开了一种基于梯度场与尺度空间理论的将可见光全色图像与多光谱图像进行融合的方法，包括：利用梯度场方法，使得融合图像与可见光全色图像在梯度域保持一致，从而构建保持全色图像细节的能量函数；利用图像尺度空间理论，将融合图像看作是低分辨率多光谱图像的高分辨率图像，从而构建保持多光谱图像光谱的能量函数；结合保持全色图像细节的能量和保持多光谱图像光谱的能量，构建全局目标函数；利用共轭梯度法来优化目标函数得到融合图像。利用本发明，使融合后的图像可以在空间分辨率和光谱分辨率上同时达到最优。

Description

基于梯度场与尺度空间理论的图像融合方法

技术领域

本发明涉及遥感图像处理技术领域，尤其涉及一种基于梯度场与尺度空间理论的将可见光全色图像与多光谱图像进行融合的方法，用于航天、航空传感器平台获取的可见光全色图像与多光谱图像的融合。

背景技术

在遥感图像处理领域，对于光学传感器，图像的空间分辨率和光谱分辨率是一对矛盾的因素。要获得高空间分辨率的图像就只能以单光谱工作，而要获得更多光谱就必须降低空间分辨率。为了同时提高图像的空间分辨率和光谱分辨率，人们提出了利用融合全色图像(高空间分辨率单光谱图像)和多光谱图像(低空间分辨率)来得到高空间分辨率多光谱图像的方法。总结已有的图像融合方法，可以将其分为三类：

第一类是基于颜色空间的转换方法。这些方法先将多光谱从原颜色空间转换到另外一种颜色空间，这样可以将亮度信息分量和颜色信息分量分开，然后用单光谱的全色图像替换亮度信息分量，由此得到替换后的颜色空间表示，最后再对新的颜色空间进行逆变换，就得到融合后的图像。基于颜色空间转换的方法实现原理简单，这种基于颜色空间转换的方法存在着两个方面的问题：(1)只适合于三通道图像融合；(2)虽然用全色图像直接替代了亮度通道，但是色调通道和饱和通道仍是原多光谱的信息的简单上采样，这必然会导致空间细节上的损失。

第二类是基于成分分析的方法，这类方法与颜色空间转换类似，不同的是它可以适用于任何波段的图像融合，这类方法先将多光谱的每个像素看成是一个多维向量，对其进行统计成分分析(如主成分分析)，得到投影向量，再将多光谱图像在这些投影向量上进行投影，在主成分投影的值保留了图像大部分的信息。然后用全色图像替换主成分图像，之后进行相应的反变换就可以得到融合图像。基于统计的主成分方法虽然可以进行任意波段图像的融合，但融合后的图像很难保持原多光谱图像的颜色信息(即发生颜色失真)，而且在空间细节上与原全色图像相比也存在一定的损失。

第三类方法是基于小波分解法，这类方法的基本思想是利用小波变换提取全色图像的高频信息(细节信息)和多光谱图像的低频信息(近似信息)。将通过小波变换提取的全色图像的高频信息和多光谱图像的低频信息组合成一组新的小波系数，然后对这些小波系数进行小波逆变换，从而得到融合图像。但是基于小波变换的图像融合当分解层数太少时，融合结果会存在明显的人造痕迹和振铃现象，从而降低了融合图像的质量。当分解层数过多则会损失多光谱图像的光谱信息。

综上所述，虽然现有的全色图像与多光谱图像融合方法很多，但这些方法都不能在空间分辨率和光谱分辨率上同时达到最优。而对于遥感图像的应用而言，得到高质量的高分辨率多光谱图像至关重要。如何由已有的全色图像和多光谱图像得到高质量的高分辨率多光谱图像在遥感图像处理领域中仍是一个颇具挑战性的难题。

利用图像融合的方法提高图像空间分辨率和光谱分辨率，不仅有助于提高图像判读人员的判读精度和效率，有且有助于判读人员对图像的解译。利用图像融合还可以提高遥感图像目标检测、识别以及变化检测等智能方法的精确度。

发明内容

(一)要解决的技术问题

有鉴于此，本发明的目的旨在使融合后的图像尽可能的保持可见光全色图像的细节信息和多光谱图像的光谱信息，为此提供了一种基于梯度场与尺度空间理论的将可见光全色图像与多光谱图像进行融合的方法。

(二)技术方案

为达成所述目的，本发明提供了一种基于梯度场与尺度空间理论的将可见光全色图像与多光谱图像进行融合的方法，包括：利用梯度场方法，使得融合图像与可见光全色图像在梯度域保持一致，从而构建保持全色图像细节的能量函数；利用图像尺度空间理论，将融合图像看作是低分辨率多光谱图像的高分辨率率图像，从而构建保持多光谱图像光谱的能量函数；结合保持全色图像细节的能量和保持多光谱图像光谱的能量，构建全局目标函数；利用共轭梯度法来优化目标函数得到融合图像。

上述方案中，所述利用梯度场方法，使得融合图像与可见光全色图像在梯度域保持一致，从而构建保持全色图像细节的能量函数的步骤中，采用如下目标函数公式保持可见光全色图像的细节信息：

$\underset{I}{\min }\left(\underset{i}{\mathrm{\Σ}}{|I\⊗g_i-G\⊗g_i|}^2\right)$

式中：I为融合图像，为卷积操作，g_i为多方向梯度算子，G为可见光全色图像。

上述方案中，所述利用尺度空间理论，将多光谱图像看作是融合图像的低分辨率表示，从而构建保持多光谱图像光谱的能量函数的步骤中，采用如下目标函数公式保持多光谱的光谱信息：

$\underset{I}{\min }{|I\⊗k-C|}^2$

式中：k表示高斯模糊核，C为多光谱图像。

上述方案中，所述结合保持全色图像细节的能量和保持多光谱图像光谱的能量，构建全局目标函数的步骤中，全局目标函数为：

$\underset{I}{\min }(\underset{i}{\mathrm{\Σ}}{|I\⊗g_i-G\⊗g_i|}^2+\mathrm{\λ}{|I\⊗k-C|}^2)$

式中，λ表示权值系数。

(三)有益效果

本发明的有益效果是，本发明通过基于梯度场与尺度空间理论的可见光图像与多光谱图像的融合方法，解决了现有图像融合方法无法同时保持全色图像的细节信息和多光谱图像的细节信息的难题。利用基于梯度场的方法使融合后的图像尽可能地保持全色图像的细节信息，同时利用尺度空间理论使融合图像的低分辨率图像与多光谱图像一致，最大可能地保持多光谱图像的光谱信息。通过本发明的方法，能够使融合后的图像在空间分辨率和光谱分辨率上同时达到最优。

附图说明

图1是依照本发明实施例的基于梯度场与尺度空间理论的将可见光全色图像与多光谱图像进行融合的方法流程图。

图2是依照本发明实施例的融合后的图像利用梯度域方法构建保持高分辨全色图像细节信息能量的示意图。

图3是依照本发明实施例的融合后的图像利用图像尺度空间理论构建保持多光谱图像光谱信息能量的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。应指出的是，所描述的实例仅旨在便于对本发明的理解，而对其不起任何限定作用。本发明使用的方法既可以在个人计算机、工控机及服务器上以软件的形式安装并执行，也可将方法做成嵌入式芯片以硬件的形式来体现。

图1给出了依照本发明实施例的基于梯度场与尺度空间理论的将可见光全色图像与多光谱图像进行融合的方法流程图，该方法包括以下步骤：

步骤S1：利用梯度场方法，使得融合图像与可见光全色图像在梯度域保持一致，从而构建保持全色图像细节的能量函数；

步骤S2：利用图像尺度空间理论，将融合图像看作是低分辨率多光谱图像的高分辨率率图像，从而构建保持多光谱图像光谱的能量函数；其中融合图像的低分辨率表示就是融合图像通过高斯卷积后的图像。

步骤S3：结合保持全色图像细节的能量和保持多光谱图像光谱的能量，构建全局目标函数；

步骤S4：利用共轭梯度法来优化目标函数得到融合图像。通过对目标函数求导并令其为0，那么求解目标函数的最优解等价于求解对称正定的稀疏线性方程。对于这类稀疏线性线性方程可以通过共轭梯度法来快速求解。

步骤S1中所述利用梯度场方法，使得融合图像与可见光全色图像在梯度域保持一致，从而构建保持全色图像细节的能量函数的步骤中，采用如下目标函数公式保持可见光全色图像的细节信息：

$\underset{I}{\min }\left(\underset{i}{\mathrm{\Σ}}{|I\⊗g_i-G\⊗g_i|}^2\right)$

式中：I为融合图像，为卷积操作，g_i为多方向梯度算子，G为可见光全色图像。

步骤S2所述的尺度空间理论将融合图像的低分辨率图像看作是低分辨率的多光谱图像，从而构建保持全色图像细节的能量函数的步骤中，采用如下目标函数公式保持多光谱图像的光谱信息：

$\underset{I}{\min }{|I\⊗k-C|}^2$

式中：k表示高斯模糊核，C为多光谱图像。

步骤S3中所述结合保持全色图像细节的能量和保持多光谱图像光谱的能量，构建全局目标函数的步骤中，全局目标函数为：

$\underset{I}{\min }(\underset{i}{\mathrm{\Σ}}{|I\⊗g_i-G\⊗g_i|}^2+\mathrm{\λ}{|I\⊗k-C|}^2)$

式中，λ表示权值系数。

本发明提供的基于梯度场与尺度空间理论的将可见光全色图像与多光谱图像进行融合的方法，首先输入配准好的可见光全色图像和多光谱图像，接着利用梯度场方法，将全色图像转换到梯度域，使得融合后的图像和全色图像在梯度域上保持一致，从而构建保持全色图像细节的能量。同时利用图像尺度空间理论将多光谱图像看作是融合图像的低尺度图像，以此构建保持多光谱图像光谱信息的能量。结合两部分能量得到融合的目标函数，最后利用共轭梯度来优化目标函数得到融合图像。

图2是依照本发明实施例的融合后的图像利用梯度域方法构建保持高分辨全色图像细节信息能量的示意图，利用多方向梯度场的目的是保持全色图像的细节信息，我们定义了4个多方向梯度算子g₁，g₂，g₃，g₄，实际上g₁，g₂分别为x，y方向的梯度算子，g₃，g₄分别为xy，yx方向的梯度算子，利用多方向的梯度算子提取全色图像的多方向梯度场，就可以尽可能的提取全色图像的细节信息。本发明的融合目标之一是使融合后的图像保持全色图像的多方向梯度场，这就意味着融合后的图像能尽可能的保持全色图像的细节。为了保持全色图像多方向梯度场的能量函数为：

$L_1\left(f\right)=\underset{i=1}{\overset{4}{\mathrm{\Σ}}}{|f\⊗g_i\text{-I\⊗}{g}_i|}^2$

最小化上式的能量函数就可以使融合后的图像尽可能保持全色图像的多方向梯度场，上式L₁对f求导可得：

$\frac{{\mathrm{dL}}_1}{\mathrm{df}}=\underset{i=1}{\overset{4}{\mathrm{\Σ}}}((f\⊗g_i-I\⊗g_i)\⊗{\stackrel{\‾}{g}}_i)$

式中：表示将算子g_i上下、左右翻转后的翻转算子。

图3是依照本发明实施例的融合后的图像利用图像尺度空间理论构建保持多光谱图像光谱信息能量的示意图。融合后的图像的低尺度等于多光谱图像。所以，为了保持多光谱图像颜色信息，定义如下能量函数：

$L_2\left(f\right)={|f\⊗k-C|}^2$

最小化上式的能量函数就可以使融合后的图像尽可能保持多光谱图像C的颜色信息，上式L₂对f求导可得：

$\frac{{\mathrm{dL}}_2}{\mathrm{df}}=(f\⊗k-C)\⊗\stackrel{\‾}{k}$

式中：表示将算子k上下、左右翻转后的翻转算子。

本发明提出的图像融合方法的目的是在空间分辨率和光谱分辨率上同时达到最优。为了保持全色图像的细节信息，利用多方向的梯度算子来使融合图像的梯度场等于全色图像的梯度场，其目标优化可以转换到频率域上计算；为了保持多光谱图像的颜色信息，利用下采样操作使融合图像的下采样图像等于多光谱图像，并对这一目标进行近似变换即：融合图像经过模糊后与多光谱图像的上采样图像相等。本发明的图像融合方法就是同时优化这两个目标以到达空间分辨率和光谱分辨率的同时最优。

综上，本发明所提出的图像融合的目标函数定义为：

$L\left(f\right)=L_1\left(f\right)+\mathrm{\λ}{L}_2\left(f\right)=\underset{i=1}{\overset{4}{\mathrm{\Σ}}}{|f\⊗g_i-I\⊗g_i|}^2+\mathrm{\λ}{|f\⊗k-C|}^2$

最小化函数L(f)就可以使融合图像即保持全色图像的细节，同时又能保持多光谱图像的细节。为了最小化上式L(f)，对f求导并令其为0：

$\frac{\mathrm{dL}}{\mathrm{df}}=\frac{{\mathrm{dL}}_1}{\mathrm{df}}+\mathrm{\λ}\frac{{\mathrm{dL}}_2}{\mathrm{df}}=0$

$\⇓$

$\underset{i=1}{\overset{4}{\mathrm{\Σ}}}((f\⊗g_i-I\⊗g_i)\⊗{\stackrel{\‾}{g}}_i)+\mathrm{\λ}(f\⊗k-C)\⊗\stackrel{\‾}{k}=0$

将上式看作是一个线性方程组，且线性方程组的矩阵为对称正定矩阵，因此可以利用共轭梯度法来快速求解从而得到融合图像。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于梯度场与尺度空间理论的将可见光全色图像与多光谱图像进行融合的方法，其特征在于，包括：

输入配准好的可见光全色图像和多光谱图像；

利用梯度场方法，将可见光全色图像转换到梯度域，使得融合图像与可见光全色图像在梯度域保持一致，从而构建保持可见光全色图像细节的能量函数；

利用图像尺度空间理论，将多光谱图像看作是融合图像的低尺度图像，将融合图像看作是低分辨率的所述多光谱图像的高分辨率图像，从而构建保持多光谱图像光谱的能量函数；

结合保持可见光全色图像细节的能量函数和保持多光谱图像光谱的能量函数，构建全局目标函数；

利用共轭梯度法来优化全局目标函数得到融合图像；

其中，所述利用梯度场方法，使得融合图像与可见光全色图像在梯度域保持一致，从而构建保持可见光全色图像细节的能量函数的步骤中，采用如下目标函数公式保持可见光全色图像的细节信息：

$\underset{I}{\min }\left(\underset{i}{\mathrm{\Σ}}{\left|I\⊗g_i-G\⊗g_i\right|}^2\right)$

式中：I为融合图像，为卷积操作，g_i为多方向梯度算子，G为可见光全色图像。

2.根据权利要求1所述的基于梯度场与尺度空间理论的将可见光全色图像与多光谱图像进行融合的方法，其特征在于，采用如下能量函数使融合图像保持多光谱图像的光谱信息：

$\underset{I}{\min }{\left|I\⊗k-C\right|}^2$

式中：k表示高斯模糊核，C为多光谱图像。

3.根据权利要求1所述的基于梯度场与尺度空间理论的将可见光全色图像与多光谱图像进行融合的方法，其特征在于，所述结合保持可见光全色图像细节的能量函数和保持多光谱图像光谱的能量函数，构建全局目标函数的步骤中，全局目标函数为：

$\underset{I}{\min }\left(\underset{i}{\mathrm{\Σ}}{\left|I\⊗g_i-G\⊗g_i\right|}^2+\mathrm{\λ}{\left|I\⊗k-C\right|}^2\right)$

式中，λ表示权值系数，k表示高斯模糊核，C为多光谱图像。