CN105761214B - 基于轮廓波变换与引导滤波的遥感图像融合方法 - Google Patents

Abstract

本发明公开的一种基于轮廓波变换与引导滤波的遥感图像融合方法，主要解决现有的图像融合方法引起的图像对比度降低和图像边缘特性表达不明确的问题。其具体的实现为：对同一目标拍摄得到两幅待融合多光谱图像和全色图像进行轮廓波变换，得到对应的高频系数和低频系数；对两幅源图像的高频系数应用基于引导滤波的加权融合方法进行融合，得到融合图像的高频系数；对两幅源图像的低频系数应用区域能量取大的方法进行融合，得到融合图像的低频系数；对融合后的高频系数和低频系数，应用轮廓波反变换，得到该目标的融合图像。本发明将轮廓波变换和引导滤波器结合，融合效果明显，图像评价参数高。可用于图像的分析与处理，并在测绘、地质等方面的应用。

Description

基于轮廓波变换与引导滤波的遥感图像融合方法

技术领域

本发明属于图像处理技术领域，主要涉及对图像的融合技术，具体是一种基于轮廓波(contourlet)变换与引导滤波的遥感图像融合方法，可用于图像的分析与处理，并在测绘、地质、农业、气象等方面有广泛的应用。

背景技术

图像融合就是将两幅或者多幅针对同一目标拍摄的图像合成为一幅单一图像的过程。待融合的图像通常为不同成像特点的设备在同一时刻拍摄的图像或者是同一成像设备在不同时间点拍摄的图像。因此这些待融合的图像都具有不同的特点，通过一定的算法将这些图像融合在一起，得到的合成图像可以提供更加丰富的内容信息，方便人们对目标的进一步研究，能更有效的分析目标数据。

近几年，随着技术的进步，成像传感器得到了快速的发展。利用这些成像设备可以拍摄得到目标的像，通过图像直观的看到目标的外形和结构信息，还能够识别出目标或者目标的某个部分。由于不同的成像设备其成像原理是不一样的，因此对同一个目标拍摄得到的图像具有不同的特点。单一的传感器针对目标得到的信息是有限的，并不能获得人们在检测目标时需要的全部信息。因此可以使用多个具有不同特点的成像设备对同一个目标成像，应用有效的融合规则将得到的图像合成为一幅图像，最终得到的融合图像和源图像相比，包含更加丰富的内容信息，使人们对于目标的观察更加的可靠。

按照图像融合时数据的处理层次，目前研究的算法可以分为像素层融合，特征层融合和决策层融合。由于像素级融合能够保留源图像的细微内容信息，而且融合规则相对来说比较简单，因此目前对像素层上融合技术的研究最为广泛。对于几种常用的融合方法，基于线性加权平均的融合方法计算量小，融合时间短，实时性很好，但是其结果降低了源图像的对比度，视觉效果很差；IHS变换容易对原始光谱信息造成扭曲；基于PCA变换的规则要求源数据之间的相关性高，但是这个条件很难满足；基于高通滤波的融合方法简单，改善分辨率的同时能够保持图像的光谱信息，但是在对高空间分辨率图像滤波的同时会滤掉很多纹理信息，融合后图像包含大量的噪声。基于直觉模糊推理的融合方法是近几年的研究热点，但是在推理过程中由于像素点和论域的划分没有固定的标准，因此会导致隶属度函数的选择比较困难，容易造成错误的判定。而且由于推理过程涉及到的运算很多，因此时间复杂度很高，算法的执行速度很慢，实时性差。

发明内容

本发明公开了一种基于contourlet变换与引导滤波的遥感图像融合方法，主要解决现有的图像融合方法引起的图像对比度降低和图像边缘特性表达不清晰的问题。而且本发明在融合图像时速度非常快，实时性很好。

本发明是一种基于contourlet变换与引导滤波的遥感图像融合方法，其特征在于，包括有如下步骤：

(1)针对同一目标拍摄得到的两幅待融合的多光谱图像和全色图像分别进行contourlet变换，分解得到高频系数和低频系数；

(2)对两幅源图像对应的高频系数应用基于引导滤波的加权融合方法进行融合，得到输出图像对应的高频系数；

(3)对两幅源图像对应的低频系数应用基于区域能量取大的融合方法进行融合，得到输出图像对应的低频系数；

(4)对融合后的高频系数和低频系数，应用contourlet反变换，得到该目标的融合图像。该融合图像同时具有多光谱图像和全色图像的优点，即在具有高空间分辨率的同时具有高的光谱分辨率。

本发明将多尺度分析和引导滤波器结合，融合效果明显，图像评价参数高。

本发明与现有的技术相比具有以下优点：

1.本发明在contourlet变换和引导滤波的基础上，提出了基于contourlet 变换和引导滤波的融合方法。本发明的操作流程是先对待处理图像进行分解，对分解后的高低频系数运用不同的处理方法，最后结合处理后的高低频系数得到融合图像。

2.因为引导滤波器的最主要的特性就是能够在滤除噪声的同时保持图像的边缘。因此将引导滤波应用到图像融合中，得到的融合图像没有明显的噪声，图像的边缘细节信息非常清晰。

3.引导滤波器一个更为明显的优势就是其算法复杂度始终为线性，与滤波时设置的窗的大小没有关系，效率非常高。因此该方法在融合图像时速度非常快，适用于实时性要求高的场合。

4.本发明对遥感图像进行了融合实验，分别从视觉效果和客观评价指标方面对融合结果进行评价，表明了本发明的方法是有效的、可行的。

附图说明

图1是本发明的总流程图；

图2是本发明包含有高频和低频系数具体融合过程的流程图；

图3是本发明实验中使用的待融合遥感图像；

图4是使用本发明的融合方法对图3进行融合后的结果图像。

具体实施方式

下面结合附图对本发明作详细描述。

目前常用的融合方法，基于线性加权平均的融合方法其结果降低了源图像的对比度，视觉效果很差；IHS变换容易对原始光谱信息造成扭曲；基于PCA变换的规则要求源数据之间的相关性高，但是这个条件很难满足；基于高通滤波的融合方法在对高空间分辨率图像滤波的同时会滤掉很多纹理信息，融合后图像包含大量的噪声。基于直觉模糊推理的融合方法，在推理过程中由于像素点和论域的划分没有固定的标准，因此会导致隶属度函数的选择比较困难，容易造成错误的判定，而且时间复杂度很高，算法的执行速度很慢，实时性差。针对上述问题，本发明展开了探索与研究。

实施例1：

本发明提出了一种基于contourlet变换与引导滤波的遥感图像融合方法，参见图1，包括有如下步骤：

(1)对同一目标拍摄得到两幅待融合的多光谱图像和全色图像，这两幅图像是在同一时间由不同成像特点的设备针对同一目标拍摄所得，如图3所示，其中图3是表示地表信息的两幅遥感图像，图3(a)为多光谱图像，图3(b)为全色图像。针对这两幅源图像分别进行contourlet变换，本发明中contourlet 变换的层数为3层。Contourlet分解得到源图像对应的高频系数和低频系数。

(2)对两幅源图像的高频系数应用基于引导滤波的加权融合方法进行融合。在融合过程中针对两幅源图像在不同尺度及不同方向上对应的高频系数分别进行融合，得到输出图像在不同尺度及不同方向上的高频系数。因为引导滤波器的最主要的特性就是能够在滤除噪声的同时保持图像的边缘。因此本发明将引导滤波应用到图像融合中，得到的融合图像没有明显的噪声，图像的边缘细节信息非常清晰。

(3)对两幅源图像对应的低频系数应用基于区域能量取大的融合方法进行融合。融合后得到输出图像的低频系数。由于源图像经contourlet变换后得到的低频系数主要包含的是大致轮廓信息，这是一种区域性的特征，而单个像素点并不能用来表示这种区域特征，所以本发明选用区域能量信息来决定融合图像中对应点的取值。区域能量是表示图像在某个窗口内的信息的丰富程度。区域能量的值越大，该区域内的信息就越丰富。因此本发明应用基于区域能量取大的融合方法来融合两幅源图像分解后的低频系数。

(4)对融合后的高频系数和低频系数，应用contourlet反变换得到针对同一目标拍摄得到的两幅待融合的多光谱图像和全色图像的融合图像，如图3(a) 所示。该融合图像同时具有多光谱图像和全色图像的优点，即在具有高空间分辨率的同时具有高的光谱分辨率。

本发明在contourlet变换和引导滤波的基础上，提出了基于contourlet变换和引导滤波的融合方法。本发明的操作流程是先对待处理图像进行分解，对分解后的高低频系数运用不同的处理方法，最后结合处理后的高低频系数得到融合图像。

实施例2：

基于contourlet变换与引导滤波的遥感图像融合方法同实施例1，参见图2，其中步骤(2)所述的基于引导滤波的加权融合方法，该加权融合方法也可称为基于引导滤波的加权融合规则，该融合过程包括有如下步骤：

(2a)用H₁和H₂来分别表示多光谱图像和全色图像在某一尺度方向上对应的一组高频系数，将H₁和H₂基于每个像素进行比较，得到权值图W₁和W₂：

(2b)直接比较得到的权值图含有噪声，边缘没有对齐，因此对权值图W₁和 W₂应用引导滤波器滤波，两个高频系数H₁和H₂分别作为引导图像，使用引导滤波器进行滤波处理时，引导滤波器的参数设置，其中引导滤波器半径设置为 r＝7，引导滤波器调整参数设置为ε＝0.01。该滤波器参数选取与图像内容有关，不同内容可取不同参数，实验时可以酌情调整。通过滤波得到新的权值图M₁和 M₂；

M₁＝G_r,ε(W₁,H₁)

M₂＝G_r,ε(W₂,H₂)

其中，G表示引导滤波器，r表示引导滤波器的滤波半径，ε表示引导滤波器的调整参数。

(2c)利用新的权值图M₁和M₂，通过加权方法融合两个高频系数H₁和H₂得到融合后高频系数H。

H＝H₁×M₁+H₂×M₂

(2d)针对两幅源图像对应的所有高频系数都应用此融合方法进行处理，得到输出图像在对应的尺度及方向上的高频系数。

因为本发明引导滤波器的最主要的特性就是能够在滤除噪声的同时保持图像的边缘。因此将引导滤波应用到图像融合中，得到的融合图像没有明显的噪声，图像的边缘细节信息非常清晰。

因为本发明引导滤波器一个更为明显的优势就是其算法复杂度始终为线性，与滤波时设置的窗的大小没有关系，效率非常高。因此该方法在融合图像时速度非常快，适用于实时性要求高的场合。

实施例3：

基于contourlet变换与引导滤波的遥感图像融合方法同实施例1-2，参见图2其中步骤(3)所述的基于区域能量取大的低频融合方法，该融合方法也称为基于区域能量取大的低频融合规则，其融合过程包括有如下步骤：

(3a)分别计算两幅低频系数的区域能量，本例中选择区域半径为l＝4的窗口范围。该窗口范围的选取与具体图像内容有关，对实验结果影响不是很大，实验时可自行选择。使用C₁来分别表示多光谱图像对应的低频系数，使用C₂来分别表示全色图像对应的低频系数，多光谱图像的低频系数C₁计算得到的区域能量用E₁来表示，全色图像的低频系数C₂计算得到的区域能量用E₂来表示。像素点(i,j)处的区域能量按如下公式计算得到：

其中，m和n分别表示区域内行和列的像素坐标。

(3b)使用区域能量E_k(k＝1,2)来设计融合规则，将两个低频系数在每个像素点上依次进行比较，其中区域能量较大的点的像素值即为融合后低频系数在该对应像素点上的取值，用L来表示输出图像对应的低频系数，则点(i,j)处像素值L(i,j)使用如下公式计算得到：

(3c)按照此融合方法进行处理得到输出图像对应的低频系数，和前面使用基于引导滤波的加权融合方法进行处理得到的高频系数结合起来，应用contourlet反变换得到针对同一目标拍摄得到的两幅待融合的多光谱图像和全色图像的融合图像。

由于区域能量表示的是图像在某个窗口内的信息的丰富程度。区域能量的值越大，该区域内的信息就越丰富。因此本发明应用基于区域能量取大的融合方法来融合两幅源图像分解后的低频系数，得到的融合后的低频系数包含丰富的图像信息。

实施例4：

下面结合附图1对本发明的整体作进一步的详细描述。

基于contourlet变换与引导滤波的遥感图像融合方法同实施例1-3。

步骤1对同一目标拍摄得到两幅待融合的多光谱图像和全色图像，这两幅图像是在同一时间由不同成像特点的设备针对同一目标拍摄所得，如图3所示，其中图3是表示地表信息的两幅遥感图像，图3(a)为多光谱图像，图3(b) 为全色图像。针对两幅源图像分别进行contourlet变换，本发明中contourlet 变换的层数为3层。Conturlet分解得到源图像对应的高频系数和低频系数。

步骤2对两幅源图像的高频系数应用基于引导滤波的加权融合方法进行融合，在融合过程中针对两幅源图像在不同尺度及不同方向上对应的高频系数分别进行融合，得到输出图像在不同尺度及不同方向上的高频系数。按如下步骤进行：

(2a)用H₁和H₂来分别表示源多光谱图像和全色图像在某一尺度方向上对应的一组高频系数，将H₁和H₂基于每个像素进行比较，得到权值图W₁和W₂：

(2b)这样直接比较得到的权值图通常含有噪声，并且边缘没有对齐，对权值图W₁和W₂应用引导滤波器滤波，两个高频系数H₁和H₂分别作为引导图像，使用引导滤波器进行滤波处理时，引导滤波器的参数设置，其中引导滤波器半径设置为r＝3，引导滤波器调整参数设置为ε＝10^-6。通过滤波得到新的权值图M₁和M₂：

M₁＝G_r,ε(W₁,H₁)

M₂＝G_r,ε(W₂,H₂)

(2c)利用新的权值图M₁和M₂，通过加权方法来融合两个高频系数H₁和 H₂得到融合后高频系数H。

H＝H₁×M₁+H₂×M₂

(2d)针对两幅源图像在不同尺度及不同方向上对应的所有高频系数都应用此融合方法进行处理，得到输出图像的高频系数。

步骤3使用区域能量取大的融合方法来处理低频系数。具体步骤如下：

(3a)分别计算两幅低频系数的区域能量，本例中选择区域半径为l＝3的窗口范围。使用C₁来分别表示多光谱图像对应的低频系数，使用C₂来分别表示全色图像对应的低频系数，多光谱图像的低频系数C₁计算得到的区域能量用E₁来表示，全色图像的低频系数C₂计算得到的区域能量用E₂来表示。像素点(i,j)处的区域能量按如下公式计算得到：

其中，m和n分别表示区域内行和列的像素坐标。

(3b)使用区域能量E_k(k＝1,2)来设计融合规则。将两个低频系数在每个像素点上依次进行比较，其中区域能量较大的点的像素值即为融合后低频系数在该对应像素点上的取值。我们用L来表示输出图像对应的低频系数，则点(i,j)处像素值L(i,j)使用如下公式计算得到：

(3c)按照此融合方法进行处理得到输出图像对应的低频系数。

步骤4对融合后的高频系数和低频系数，应用contourlet反变换，得到融合图像。

本例中对遥感图像进行了融合实验，选用的源图像如图3所示，其中图3(a) 为多光谱图像，图3(b)为全色图像。得到的融合结果如图4(a)所示，应用图像质量客观评价指标对融合结果进行评价，结果表明本发明的方法得到的融合图像细节清晰，内容丰富。

本发明的效果通过以下仿真进一步说明。

实施例5：

基于contourlet变换与引导滤波的遥感图像融合方法同实施例1-4。

1.仿真条件本实验的硬件测试平台是：Intel Core2CPU,主频1.86GHz,内存4.0GB,软件平台为：Windows 7操作系统和Matlab 2013b。实验中选用一组待融合遥感图像，如图3所示，其中图3(a) 为多光谱图像，图3(b) 为全色图像。

2.仿真内容与结果

仿真1，利用本发明方法进行遥感图像融合，与直接取大方法和基于直觉模糊推理的方法做对比，结果如图4所示，其中图4(a)是应用直接取大方法进行实验得到的融合图像，图4(b)是应用基于直觉模糊推理的方法进行实验得到的融合图像，图4(c)为应用本发明的方法进行实验得到的融合图像。

1.仿真结果分析

从表1的数据分析证明本发明方法的优势：

表1不同算法所得遥感融合图像参数表

由图4可以看出，三种融合规则都取得了不错的融合效果，用肉眼不能直观的看出其中的区别，因此，使用五种图像质量客观评价指标标准差、信息熵、平均梯度、光谱相关系数和空间频率来进行客观评价，评价结果如表1所示。

根据表1数据，将本发明与直接取大方法做比较，看出本发明的评价参数在标准差、信息熵、平均梯度和空间频率上表现的明显比直接取大方法更好。而光谱相关系数也只是小数点后有点差距，属于同一个量级上的。因此本发明实验得到的融合结果，细节更加丰富，对比度更强，图像更加清晰，更好的保留了源图像的信息。因此本发明的实验结果要比基于直接取大方法的实验效果好。

将本发明与直觉模糊推理方法的数据相比较，本发明在信息熵、平均梯度、光谱相关系数和空间频率上都比直觉模糊推理方法表现要好。由于对融合图像的清晰度和信息含量的要求，本发明得到的融合图像边缘细节更加清晰，内容更加丰富，实验结果要比基于直觉模糊推理方法的实验效果好。

综上，本发明公开的一种基于contourlet变换与引导滤波的遥感图像融合方法，主要解决现有的图像融合方法引起的图像对比度降低和图像边缘特性表达不明确的问题。其具体的实现为：对同一目标拍摄得到两幅待融合多光谱图像和全色图像进行contourlet变换，得到对应的高频系数和低频系数；对两幅源图像的高频系数应用基于引导滤波的加权融合方法进行融合，得到融合图像的高频系数；对两幅源图像的低频系数应用区域能量取大的方法进行融合，得到融合图像的低频系数；对融合后的高频系数和低频系数，应用contourlet反变换，得到该目标的融合图像。本发明将contourlet变换和引导滤波器结合，融合效果明显，图像评价参数高。本发明可用于图像的分析与处理，并在测绘、地质等方面有广泛的应用。

Claims (2)

1.一种基于轮廓波变换与引导滤波的遥感图像融合方法，其特征在于，包括有如下步骤：

(1)针对同一目标拍摄得到的两幅待融合的多光谱图像和全色图像分别进行contourlet变换，分解得到高频系数和低频系数；

(2)对两幅源图像对应的高频系数应用基于引导滤波的加权融合方法进行融合，处理后得到输出图像的高频系数；包括有如下步骤：

(2a)用H₁和H₂来表示两幅待融合图像在某一尺度方向上对应的一组高频系数，将H₁和H₂基于每个像素进行比较，得到权值图W₁和W₂：

(2b)直接比较得到的权值图含有噪声，边缘没有对齐，因此对权值图W₁和W₂应用引导滤波器滤波，两个高频系数H₁和H₂分别作为引导图像，通过引导滤波得到新的权值图M₁和M₂；

M₁＝G_r,ε(W₁,H₁)

M₂＝G_r,ε(W₂,H₂)

其中，G表示引导滤波器，r表示引导滤波器的滤波半径，ε表示引导滤波器的调整参数；

(2c)利用新的权值图M₁和M₂，通过加权方法融合两个高频系数H₁和H₂得到融合后高频系数H；

H＝H₁×M₁+H₂×M₂

(2d)针对两幅源图像对应的所有高频系数都应用此融合方法进行处理，得到输出图像在对应的尺度及方向上的高频系数；

(3)对两幅源图像对应的低频系数应用基于区域能量取大的融合方法进行处理，得到输出图像对应的低频系数；

(4)对融合后的高频系数和低频系数，应用contourlet反变换，得到该目标的融合图像。

2.根据权利要求1所述的基于轮廓波变换与引导滤波的遥感图像融合方法，其特征在于，其中步骤(3)所述的区域能量取大的低频融合方法，包括有如下步骤：

(3a)分别计算两幅低频系数的区域能量，使用C₁来分别表示多光谱图像对应的低频系数，使用C₂来分别表示全色图像对应的低频系数，多光谱图像的低频系数C₁计算得到的区域能量用E₁来表示，全色图像的低频系数C₂计算得到的区域能量用E₂来表示，像素点(i,j)处的区域能量按如下公式计算得到：

其中，m和n分别表示区域内行和列的像素坐标；

(3b)使用区域能量E_k(k＝1,2)来设计融合规则，将两个低频系数在每个像素点上依次进行比较，其中区域能量较大的点的像素值即为融合后低频系数在该对应像素点(i,j)上的取值，用L来表示输出图像对应的低频系数，则点(i,j)处像素值L(i,j)使用如下公式计算得到：

(3c)按照此融合方法处理得到输出图像对应的低频系数，和使用基于引导滤波的加权融合方法处理得到的高频系数相结合，应用contourlet反变换得到针对同一目标拍摄得到的两幅待融合的多光谱图像和全色图像的融合图像。