CN109614976A - 一种基于Gabor特征的异源图像融合方法 - Google Patents

Abstract

本发明提供了一种基于Gabor特征的异源图像融合方法，将待融合图像分解为基础层和细节层，计算基础层和细节层的加权映射系数，使用待融合图像对基础层和细节层的加权映射系数进行加权最小二乘滤波，得到基础层和细节层的融合系数，分别使用基础层和细节层的融合系数对基础层和细节层进行融合，将融合的基础层和细节层进行组合得到融合结果。本发明采用Gabor滤波来构建待融合图像的细节层，Gabor滤波器的频率和方向与人类视觉系统类似，特别适合于纹理表示；由于采用像素局部显著性与加权最小二乘滤波构建融合系数，计算复杂度低，便于实时实现。

Description

一种基于Gabor特征的异源图像融合方法

技术领域

本发明涉及图像处理和计算机视觉技术领域，尤其是一种异源图像融合方法。

背景技术

图像传感器是战争中获取目标信息的重要资源，但是单一的传感器在许多应用中并不能完全提供全面的环境和目标视觉信息。图像融合技术的发展使得多种传感器协同工作成为可能。利用不同探测器在时空上的相关性及信息上的互补性，取长补短，发挥各自优势，弥补各自不足，提供具有更高的可信度、较少的不确定性以及更好的可理解性的目标和图像信息，从而反映出对事物更客观更丰富更本质的认识，达到改善图像视觉效果，强化图像有用信息，实现对该场景中景物更全面、清晰的描述。

依据信息融合理论，按照融合过程在异源图像融合系统中所处位置的不同，图像融合可分为像素级、特征级和决策级这三个由低到高的层次。像素级图像融合(也叫像元级融合)，即直接对图像中的像素点进行信息综合处理，优点是准确性高，缺点是冗余度高、实时性差；特征级图像融合，优点是实现了信息压缩、便于实时处理；决策级图像融合，对源图像的特征信息进行分类、识别等处理，优点是处理的数据量少，对传感器的依赖性和要求低，缺点是损失的信息量大。

发明内容

为了克服现有技术的不足，本发明提供一种基于Gabor特征的异源图像融合方法。本发明针对异源图像融合技术中计算冗余度高、实时性差、信息损失量大等缺点，提出一种异源图像融合方法，以特征级融合作为研究对象，以空域中提取的有用信息来实现异源图像的融合。

本发明解决其技术问题所采用的技术方案包括以下步骤：

步骤1：将待融合图像分解为基础层和细节层；

使用待融合图像I本身作为图像基础层IBaseLayer，第n个待融合图像Iⁿ的基础层表示为：

使用六个方向的Gabor滤波器对待融合图像I进行滤波，将六个方向的滤波结果累加，构建图像细节层IDetailLayer；

其中Gabor滤波器的设计过程如下：

取m＝[0,1,2,3,4,5]代表Gabor滤波器的六个方向，第m个方向Gabor滤波器H^m的设计公式为：

其中，x，y代表滤波器的尺度，取值范围为x＝[-j,-(j-1),...-1,0,1,2，...,j]，

y＝[-j,-(j-1),...-1,0,1,2，...,j]，其中，i为虚数单位，

K_real＝real(K),K_imag＝imag(K),NK＝K_real ²+K_imag ²，使用H^m对第n个待融合图像Iⁿ滤波，结果记为将6个方向的滤波结果累加构建图像的细节层，则第n个待融合图像Iⁿ的细节层表示为：

步骤2：计算基础层和细节层的加权映射系数；

使用基础层的绝对值来表征基础层像素的显著度图，第n个待融合图像基础层的显著度图表示为：

比较基础层显著度图得到第n个待融合图像基础层的加权映射系数的计算公式为：

其中，N为待融合图像的数目；

使用细节层的绝对值表征细节层像素的显著度图,第n个待融合图像细节层的显著度图表示为：

比较细节层的显著度图，得到第n个待融合图像细节层的加权映射系数的计算公式为：

步骤3：使用待融合图像对基础层和细节层的加权映射系数进行加权最小二乘滤波，得到基础层和细节层的融合系数；

使用第n个待融合图像Iⁿ，按照下式计算沿x，y方向的平滑权重系数a_x、a_y：

其中，分别为待融合图像Iⁿ沿x,y方向的偏导，，ε是为了防止分母为零的小数，取值范围为[0.001～0.0001]，以平滑权重系数a_x、a_y作为对角线元素，构建对角矩阵A_x和A_y，对A_x和A_y分别沿x，y方向做前向与后向差分运算并相加，得到中间变量L_g为：

其中，D_x和分别是沿x方向的前向与后向差分算子，D_y和分别是沿y方向的前向与后向差分算子；

将中间变量L_g、基础层加权映射系数带入式(11)，求解第n个待融合图像基础层的融合系数为：

同理，将中间变量L_g、细节层加权映射系数带入式(12)，求解第n个待融合图像细节层的融合系数为：

其中λ为权重系数，取值范围为[0.1～0.9]；

步骤4：分别使用基础层和细节层的融合系数对基础层和细节层进行融合；

根据基础层和细节层的融合系数，分别对基础层和细节层进行图像融合，得到融合后的基础层F_BaseLayer和细节层F_DetailLayer为：

其中·为点乘运算；

步骤5：将融合的基础层和细节层进行组合得到融合结果；

将融合后的基础层F_BaseLayer和细节层F_DetailLayer相加，得到最终的融合结果F为：

F＝F_BaseLayer+β·F_DetailLayer

其中，β为调节系数，用于调节细节强度，取值范围为0-1之间。

本发明的有益效果在于由于采用Gabor滤波来构建待融合图像的细节层，Gabor滤波器的频率和方向与人类视觉系统类似，特别适合于纹理表示；由于采用像素局部显著性与加权最小二乘滤波构建融合系数，计算复杂度低，便于实时实现。

附图说明

图1为本发明方法的步骤流程图。

图2为本发明对原图像处理的结果。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

本发明解决其技术问题所采用的技术方案包括以下步骤：

步骤1：将待融合图像分解为基础层和细节层；

使用待融合图像I本身作为图像基础层IBaseLayer，第n个待融合图像Iⁿ的基础层表示为：

使用六个方向的Gabor滤波器对待融合图像I进行滤波，将六个方向的滤波结果累加，构建图像细节层IDetailLayer；

其中Gabor滤波器的设计过程如下：

取m＝[0,1,2,3,4,5]代表Gabor滤波器的六个方向，第m个方向Gabor滤波器H^m的设计公式为：

其中，x，y代表滤波器的尺度，取值范围为x＝[-j,-(j-1),...-1,0,1,2，...,j]，y＝[-j,-(j-1),...-1,0,1,2，...,j]，其中，i为虚数单位，K_real＝real(K),K_imag＝imag(K),NK＝K_real ²+K_imag ²，使用H^m对第n个待融合图像Iⁿ滤波，结果记为将6个方向的滤波结果累加构建图像的细节层，则第n个待融合图像Iⁿ的细节层表示为：

步骤2：计算基础层和细节层的加权映射系数；

使用基础层的绝对值来表征基础层像素的显著度图，第n个待融合图像基础层的显著度图表示为：

比较基础层显著度图得到第n个待融合图像基础层的加权映射系数的计算公式为：

其中，N为待融合图像的数目；

使用细节层的绝对值表征细节层像素的显著度图,第n个待融合图像细节层的显著度图表示为：

比较细节层的显著度图，得到第n个待融合图像细节层的加权映射系数的计算公式为：

步骤3：使用待融合图像对基础层和细节层的加权映射系数进行加权最小二乘滤波，得到基础层和细节层的融合系数；

使用第n个待融合图像Iⁿ，按照下式计算沿x，y方向的平滑权重系数a_x、a_y：

其中，分别为待融合图像Iⁿ沿x,y方向的偏导，，ε是为了防止分母为零的小数，取值范围为[0.001～0.0001]，以平滑权重系数a_x、a_y作为对角线元素，构建对角矩阵A_x和A_y，对A_x和A_y分别沿x，y方向做前向与后向差分运算并相加，得到中间变量L_g为：

其中，D_x和分别是沿x方向的前向与后向差分算子，D_y和分别是沿y方向的前向与后向差分算子；

将中间变量L_g、基础层加权映射系数带入式(11)，求解第n个待融合图像基础层的融合系数为：

同理，将中间变量L_g、细节层加权映射系数带入式(12)，求解第n个待融合图像细节层的融合系数为：

其中λ为权重系数，取值范围为[0.1～0.9]；

步骤4：分别使用基础层和细节层的融合系数对基础层和细节层进行融合；

根据基础层和细节层的融合系数，分别对基础层和细节层进行图像融合，得到融合后的基础层F_BaseLayer和细节层F_DetailLayer为：

其中·为点乘运算；

步骤5：将融合的基础层和细节层进行组合得到融合结果；

将融合后的基础层F_BaseLayer和细节层F_DetailLayer相加，得到最终的融合结果F为：

F＝F_BaseLayer+β·F_DetailLayer

其中，β为调节系数，用于调节细节强度，取值范围为0-1之间。

如图1所示，以红外和可见光图像为例，本发明的实施例具体步骤如下：

步骤1：将待融合图像分解为基础层和细节层；

附图2(a)上图为待融合的红外图像I^IR，下图为待融合的可见光图像I^TV。红外图像的基础层与可见光图像的基础层均由图像本身构成，即：

红外图像的细节层与可见光图像的细节层由Gabor滤波器对待融合图像滤波后构成。首先，生成六个方向，大小为7×7的Gabor滤波器。假设m代表入射的方向，第m个方向Gabor滤波器H^m的设计公式为：

其中，m＝[0,1,2,3,4,5]，x,y＝[-3,-2,-1,0,1,2,3]，K_real＝real(K),K_imag＝imag(K),NK＝K_real ²+K_imag ²

使用H^m对待融合的红外图像I^IR进行滤波，结果记为

其中，代表卷积运算，将6个方向的滤波结果累加构建红外图像的细节层

同理，可见光图像的细节层为：

使用上述方法构建的基础层与细节层结果如图2(b)所示。

步骤2：计算基础层和细节层的加权映射系数；

使用基础层与细节层的绝对值来分别表征基础层与细节层像素的局部显著度,待融合红外图像与可见光图像的显著度图可以分别表示为：

其中与代表红外与可见光图像的基础层显著度图，与代表红外与可见光图像的细节层显著度图。比较红外与可见光图像的基础层显著度图，各自的加权映射系数的计算公式为

同理，比较红外与可见光图像的细节层显著度图，各自的加权映射系数的计算公式为

该步骤中，显著度结果如图2(c)所示，加权映射系数如图2(d)所示。

步骤3：使用待融合图像对基础层和细节层的加权映射系数进行最小二乘滤波，得到基础层和细节层的融合系数；以红外图像为例，使用待融合红外图像I^IR，按照下式计算沿x，y方向的平滑权重a_x、a_y，其中ε是为了防止分母为零的小数，取值范围为[0.001～0.0001]，

以平滑权重a_x、a_y作为对角线元素，构建对角矩阵A_x和A_y。对A_x和A_y分别沿x，y方向做前向与后向差分运算并相加，得到L_g：

D_x和分别是沿x方向的前向与后向差分算子，D_y和分别是沿y方向的前向与后向差分算子。分别将L_g、红外图像基础层与细节层的加权映射系数与带入下式进行最小二乘滤波，得到红外图像基础层与细节层的融合系数与

λ为权重系数，对基础层滤波时取0.9，对细节层滤波时取0.1。可见光图像基础层与细节层的融合系数与计算过程同上，概不赘述，融合系数结果如图2(e)所示。

步骤4：使用基础层和细节层的融合系数对基础层和细节层进行融合。红外与可见光基础层的融合结果如下：

红外与可见光细节层的融合结果如下：

其中·为点乘运算，基础层与细节层融合的结果如图2(f)所示。

步骤5：在将融合的基础层和细节层进行组合得到融合结果；

将红外与可见光融合后的基础层F_B和细节层F_D相加，得到最终的融合结果F

F＝F_B+β·F_D

其中，β为调节系数，用于调节细节强度，取值为0.5，最终融合结果如图2(g)所示。

Claims (1)

1.一种基于Gabor特征的异源图像融合方法，其特征在于包括下述步骤：

步骤1：将待融合图像分解为基础层和细节层；

使用待融合图像I本身作为图像基础层IBaseLayer，第n个待融合图像Iⁿ的基础层表示为：

使用六个方向的Gabor滤波器对待融合图像I进行滤波，将六个方向的滤波结果累加，构建图像细节层IDetailLayer；

其中Gabor滤波器的设计过程如下：

取m＝[0,1,2,3,4,5]代表Gabor滤波器的六个方向，第m个方向Gabor滤波器H^m的设计公式为：

其中，x，y代表滤波器的尺度，取值范围为x＝[-j,-(j-1),...-1,0,1,2，...,j]，y＝[-j,-(j-1),...-1,0,1,2，...,j]，其中，i为虚数单位，K_real＝real(K),K_imag＝imag(K),NK＝K_real ²+K_imag ²，使用H^m对第n个待融合图像Iⁿ滤波，结果记为将6个方向的滤波结果累加构建图像的细节层，则第n个待融合图像Iⁿ的细节层表示为：

步骤2：计算基础层和细节层的加权映射系数；

使用基础层的绝对值来表征基础层像素的显著度图，第n个待融合图像基础层的显著度图表示为：

比较基础层显著度图得到第n个待融合图像基础层的加权映射系数的计算公式为：

其中，N为待融合图像的数目；

使用细节层的绝对值表征细节层像素的显著度图,第n个待融合图像细节层的显著度图表示为：

比较细节层的显著度图，得到第n个待融合图像细节层的加权映射系数的计算公式为：

步骤3：使用待融合图像对基础层和细节层的加权映射系数进行加权最小二乘滤波，得到基础层和细节层的融合系数；

使用第n个待融合图像Iⁿ，按照下式计算沿x，y方向的平滑权重系数a_x、a_y：

其中，分别为待融合图像Iⁿ沿x,y方向的偏导，，ε是为了防止分母为零的小数，取值范围为[0.001～0.0001]，以平滑权重系数a_x、a_y作为对角线元素，构建对角矩阵A_x和A_y，对A_x和A_y分别沿x，y方向做前向与后向差分运算并相加，得到中间变量L_g为：

其中，D_x和分别是沿x方向的前向与后向差分算子，D_y和分别是沿y方向的前向与后向差分算子；

将中间变量L_g、基础层加权映射系数带入式(11)，求解第n个待融合图像基础层的融合系数为：

同理，将中间变量L_g、细节层加权映射系数带入式(12)，求解第n个待融合图像细节层的融合系数为：

其中λ为权重系数，取值范围为[0.1～0.9]；

步骤4：分别使用基础层和细节层的融合系数对基础层和细节层进行融合；

根据基础层和细节层的融合系数，分别对基础层和细节层进行图像融合，得到融合后的基础层F_BaseLayer和细节层F_DetailLayer为：

其中·为点乘运算；

步骤5：将融合的基础层和细节层进行组合得到融合结果；

将融合后的基础层F_BaseLayer和细节层F_DetailLayer相加，得到最终的融合结果F为：

F＝F_BaseLayer+β·F_DetailLayer

其中，β为调节系数，用于调节细节强度，取值范围为0-1之间。