CN109035189B

CN109035189B - 基于柯西模糊函数的红外与弱可见光图像融合方法

Info

Publication number: CN109035189B
Application number: CN201810782395.3A
Authority: CN
Inventors: 江泽涛; 何玉婷; 江婧; 胡硕
Original assignee: Guilin University of Electronic Technology
Current assignee: Guilin University of Electronic Technology
Priority date: 2018-07-17
Filing date: 2018-07-17
Publication date: 2021-07-23
Anticipated expiration: 2038-07-17
Also published as: CN109035189A

Abstract

本发明公开一种基于柯西模糊函数的红外与弱可见光图像融合方法，首先利用改进的引导滤波来自适应增强提高弱可见光图像暗区域的可视性，然后利用NSST对红外和增强后的弱可见光图像进行多尺度分解得到红外图像和增强后的弱可见光图像的低频分量与高频分量；接着，利用直觉模糊集构建柯西隶属函数对红外图像和增强后的弱可见光图像的低频分量进行融合，并利用自适应的双通道脉冲发放皮层模型对红外图像和增强后的弱可见光图像的高频分量进行融合；最后利用非下采样剪切波逆变换对融合后的低频分量和高频分量进行重构，得到最终融合图像。本发明能够更加有效地提取图像的细节信息，并获得更好的融合效果。

Description

基于柯西模糊函数的红外与弱可见光图像融合方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于柯西模糊函数的红外与弱可见光图像融合方法。

背景技术

基于小波变换的多尺度几何分析的方法对图像融合有着一定的贡献，但是由于小波框架只能构造水平、垂直和对角三个方向元素，因此它们自身仍存在着一些缺点。

在此理论基础上，K.Guo和G.Easley等人利用合成小波理论通过把几何和多尺度分析结合起来提出了剪切波(Shearlet)理论。虽然合成小波通过将小波中一维尺度变换因子变换成膨胀因子和剪切因子得到二维空间，通过变换得到的合成小波系统就可以构造任意方向的基元素，但是Shearlet变换理论不具有平移不变性。

NSST(Non-subsampled Shearlet Transform，非下采样剪切波变换NSST)理论中让标准的剪切波滤波器从伪极向坐标系统映射到Cartesian坐标系统，通过快速逆傅里叶变换FFT，进行二维卷积完成，从而避免了下采样操作，使其具有平移不变性，克服了伪Gibbs现象。虽然具有更灵活的结构、更高的计算效率和更理想的图像融合效果，但是实时性仍然达不到某些特殊需求的应用场景的要求。

发明内容

本发明针对低光照的情况下因可见光图像可视性较差所导致的融合图像对比度低和背景细节保留不充分等问题，提供一种基于柯西模糊函数的红外与弱可见光图像融合方法。

为解决上述问题，本发明是通过以下技术方案实现的：

基于柯西模糊函数的红外与弱可见光图像融合方法，具体包括步骤如下：

步骤1、利用引导滤波对弱可见光图像进行分解，得到图像的基础层和细节层；再利用比例因子进行动态范围压缩和利用恢复因子来恢复整体对比度，得到增强后的弱可见光图像；

步骤2、采用非下采样剪切波变换分别对红外图像和增强后的弱可见光图像进行多尺度分解，分别得到红外图像和增强后的弱可见光图像的低频分量与高频分量；

步骤3、利用直觉模糊集构建柯西隶属函数对红外图像和增强后的弱可见光图像的低频分量进行融合，得到融合之后的低频分量；

步骤4、利用自适应的双通道脉冲发放皮层模型对红外图像和增强后的弱可见光图像的高频分量进行融合，得到融合之后的高频分量；

步骤5、对经过步骤3融合得到的低频分量和经过步骤4融合得到的高频分量，利用非下采样剪切波逆变换进行重构，得到最终融合图像。

上述步骤1中，增强后的弱可见光图像I为：

式中，β为比例因子，

γ为恢复因子，

T为目标基础对比度，

为基础层，

为细节层。

上述步骤3的具体步骤为：

步骤3.1、利用柯西模糊函数来构建红外图像的隶属函数和非隶属函数；

步骤3.2、根据直觉模糊集概念，得出犹豫度；其中犹豫度π(i,j)为：

π(i,j)＝1-X_IR(i,j)-Y_IR(i,j)

步骤3.3、对犹豫度采取加权平均的方式进行分配，分别得到红外图像和增强后的弱可见光图像的低频分量权值系数；其中

红外图像的低频分量权值系数X(i,j)为：

增强后的弱可见光图像的低频分量权值系数Y(i,j)为：

步骤3.4、根据红外图像和增强后的弱可见光图像在融合过程中的互补关系，得到融合之后的低频分量；其中融合得到的低频分量Low(i,j)为：

Low(i,j)＝X(i,j)Low_IR(i,j)+Y(i,j)Low_I(i,j)

式中，Low_IR(i,j)为红外图像的低频分量，Low_I(i,j)为增强后的弱可见光图像的低频分量，X_IR(i,j)为隶属函数，Y_IR(i,j)为非隶属函数。

上述步骤4的具体步骤为：

步骤4.1、将红外图像和增强后的弱可见光图像高频分量的改进的拉普拉斯能量和分别作为自适应双通道脉冲发放皮层模型的2个通道的反馈输入，去激活自适应双通道脉冲发放皮层模型的各个神经元；

步骤4.2、在激活自适应双通道脉冲发放皮层模型的各个神经元的过程中，利用像素点的平均梯度去调整自适应双通道脉冲发放皮层模型的2个通道的链接强度系数，以调整自适应双通道脉冲发放皮层模型的内部活动项中链接通道的权重，并将2个通道中神经元的内部活动项较大的那个通道即视为自适应双通道脉冲发放皮层模型的自适应选择通道，该自适应选择通道的神经元内部活动项和链接输入即为所需的神经元内部活动项和链接输入；

步骤4.3、根据步骤4.2所得到的神经元内部活动项和链接输入去确定融合图像的高频分量；其中融合图像的高频分量High(i,j)为：

式中，(i,j)表示像素空间位置，High_IR(i,j)为红外图像的高频分量，High_I(i,j)为增强后的弱可见光图像的高频分量，F_IR(i,j)为红外图像高频分量的改进的拉普拉斯能量和，F_I(i,j)为增强后弱可见光图像高频分量的改进的拉普拉斯能量和，β_IR(i,j)为红外图像的链接强度系数，β_I(i,j)为增强后弱可见光图像的链接强度系数，U(i,j)为神经元的内部活动项，L(i,j)为链接输入。

上述步骤4中，

红外图像的链接强度系数β_IR(i,j)为：

增强后的弱可见光图像的链接强度系数β_I(i,j)为：

式中，High_IR(i+m,j+n)为像素点(i+m,j+n)处的红外图像的高频分量，High_IR(i+m+1,j+n)为像素点(i+m+1,j+n)处的红外图像的高频分量，High_IR(i+m,j+n+1)为像素点(i+m,j+n+1)处的红外图像的高频分量，High_I(i+m,j+n)为像素点(i+m,j+n)处的增强后的弱可见光图像的高频分量，High_I(i+m+1,j+n)为像素点(i+m+1,j+n)处的增强后的弱可见光图像的高频分量，High_I(i+m,j+n+1)为像素点(i+m,j+n+1)处的增强后的弱可见光图像的高频分量，Ω为局部邻域内的窗口大小。

上述步骤4中，局部邻域内的窗口大小Ω为奇数。

与现有技术相比，本发明具有如下特点：

1、利用NSST对红外和增强后的弱可见光图像进行多尺度分解，并利用分解所得到的红外图像和增强后的弱可见光图像的低频分量与高频分量来实现图像融合，这样能够使融合图像较好的体现出来，不仅使细节信息更加突出，而且在一定程度上消除了目标周围的伪影；

2、利用直觉模糊集构建柯西隶属函数对红外图像和增强后的弱可见光图像的低频分量进行融合，这样能够更为合理的抽取保留了弱可见光图像的背景信息和红外图像的目标信息；

3、利用自适应的双通道脉冲发放皮层模型(ADSCM)对红外图像和增强后的弱可见光图像的高频分量进行融合，ADSCM模型考虑到人眼对边缘特征的敏感性，将平均梯度作为ADSCM的链接强度来自适应地选择相应的通道，这样能够更加有效地提取图像的细节信息，获得更好的融合效果；

4、利用改进的引导滤波来自适应增强提高弱可见光图像暗区域的可视性，这样能够大大提高了弱可见光图像的对比度及细节信息的清晰度。

附图说明

图1为基于柯西模糊函数的红外与弱可见光图像融合方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实例，并参照附图，对本发明进一步详细说明。

参见图1，一种基于柯西模糊函数的红外与弱可见光图像融合方法，其具体实施步骤如下：

步骤1)弱可见光图像的增强。具体包括下述步骤：

步骤1.1)利用引导滤波GF_r,ε(I)对弱可见光图像I进行分解，得到图像的基础层

和细节层

r为滤波器大小，ε为边缘保持度；log(·)为自然对数算子，为了防止对数值为负令ξ≥1。

步骤1.2)由于提取到图像的基础层具有较高的动态范围，因此通过比例因子β进行动态范围压缩，恢复因子γ来恢复整体对比度，从而使得基础层对比度降低，而保留细节层的信息。其具体步骤如下：

步骤1.2.1)通过设置目标基础对比度T从而得到β的计算公式：

式中，

和

分别为

的最小和最大强度值。

步骤1.2.2)为了增强对比度，同时防止输出大于最大强度，从而得到γ的计算公式：

步骤1.2.3)通过步骤1.2.1和步骤1.2.2得到的图像：

步骤1.3)通过指数还原得到增强后的图像为：

步骤2)采用非下采样剪切波变换对红外和增强后的弱可见光图像进行多尺度分解；

步骤3)利用直觉模糊集构建柯西隶属函数对低频分量进行融合；具体包括下述步骤：

步骤3.1)利用柯西函数来构建红外图像IR的隶属函数X_IR以及非隶属函数Y_IR：

式中(i,j)为像素坐标，μ为红外图像低频子带的均值，a₁,a₂,b₁,b₂为柯西函数调整参数。

步骤3.2)利用直觉模糊集概念并根据步骤3.1中得到的隶属函数和非隶属函数从而得出犹豫度π(i,j)：

π(i,j)＝1-X_IR(i,j)-Y_IR(i,j)

步骤3.3)对犹豫度采取加权平均的方式进行分配，因此可以分别得到红外与弱可见光图像的低频分量权值系数。

红外图像的低频分量权值系数为：

弱可见光图像的低频分量权值系数为：

步骤3.4)根据红外图像与弱可见光图像融合过程中的互补关系，故得到最终的低频融合公式：

Low(i,j)＝X(i,j)Low_IR(i,j)+Y(i,j)Low_I(i,j)

步骤4)利用ADSCM模型对高频分量进行融合；具体包括下述步骤：

针对传统单通道脉冲发放皮层模型SCM的不足，提出一种自适应的双通道脉冲发放皮层模型(ADSCM)。ADSCM模型考虑到人眼对边缘特征的敏感性，将平均梯度作为ADSCM的链接强度来自适应地选择相应的通道；将改进的拉普拉斯能量和(Sum ModifiedLaplacian，SML)作为其外部输入，并在脉冲输出阶段提出一种软限幅S型函数。其具体模型如下所示：

Fⁿ ₁(i,j)＝Sⁿ ₁(i,j)

Fⁿ ₂(i,j)＝Sⁿ ₂(i,j)

Uⁿ(i,j)＝max{Fⁿ ₁(i,j)(1+β₁(i,j)Lⁿ(i,j)),Fⁿ ₂(i,j)(1+β₂(i,j)Lⁿ(i,j))}

θⁿ(i,j)＝gθ^n-1(i,j)+hY^n-1(i,j)

式中,(i,j)表示像素空间位置，n是迭代次数，F(i,j)为接收到的信号，S(i,j)为神经元的反馈输入，L(i,j)为链接输入，V_L表示幅度增益，W(i,j)是突触连接权值矩阵，β(i,j)为神经元间的链接强度，U(i,j)为神经元内部活动项，θ(i,j)为动态阈值，g和h分别表示为阈值的衰减系数和放大系数，E(i,j)为软限幅S型函数的点火输出幅度，Y(i,j)代表神经元输出结果。

步骤4.1)初始化参数：最开始时由于每个神经元处于熄火状态，即L⁰(i,j)＝U⁰(i,j)＝θ⁰(i,j)＝Y⁰(i,j)＝0。

步骤4.2)将红外图像和增强后的弱可见光图像高频分量的改进的拉普拉斯能量和(SML)来作为双通道脉冲发放皮层模型的两个通道的反馈输入F_IR(i,j)和F_I(i,j)，来激活各个神经元。

采用SML作为ADSCM的外部输入。SML的定义如下：

SML＝∑∑ML(i,j)

ML(i,j)＝|A(i,j)-A(i-step,j)|+|A(i,j)-A(i+step,j)|+|A(i,j)-A(i,j-step)|+|A(i,j)-A(i,j+step)|+S+T

S＝0.7{|A(i,j)-A(i-step,j-step)|+|A(i,j)-A(i+step,j+step)|}

T＝0.7{|A(i,j)-A(i+step,j-step)|+|A(i,j)-A(i-step,j+step)|}

步骤4.3)计算平均梯度来作为ADSCM的链接强度，从而自适应地选择相应的通道。利用平均梯度自适应的设置链接强度系数，而链接强度系数体现了系数间的变化，并能调整神经元的内部活动项中链接通道的权重，最终得出了两通道各自的神经元的内部活动项U_IR(i,j)和U_I(i,j)，并取两者中的最大值来作为最终的神经元内部活动项U(i,j)。

由于链接强度是根据每个像素点在3×3局部邻域内的平均梯度值而得到，因此链接强度系数可以根据像素点的平均梯度来自适应调整。

平均梯度定义如下：

g₁(i,j)＝[A(i,j)-A(i+1,j)]²

g₂(i,j)＝[A(i,j)-A(i,j+1)]²

式中g₁(i,j)和g₂(i,j)分别表时图像灰度值在水平和垂直方向上的变化。

则链接系数定义为：

步骤4.4)、由上次迭代所得出的F_IR(i,j)和F_I(i,j)来作为ADSCM的两通道各自的外部激励，并利用自适应的双通道脉冲发放皮层模型计算得出神经元的链接输入Lⁿ(i,j)、神经元的内部活动项Uⁿ(i,j)、动态阈值θⁿ(i,j)、点火输出幅度Eⁿ(i,j)。

步骤4.5)迭代步骤4.4)直到所有神经元产生脉冲响应，然后选择融合后的高频系数，从而最终确定融合图像的高频分量High(i,j)：

其中：

步骤5)对图像的融合低频分量和图像的融合高频分量利用NSST逆变换进行重构得到最终融合图像。

需要说明的是，尽管以上本发明所述的实施例是说明性的，但这并非是对本发明的限制，因此本发明并不局限于上述具体实施方式中。在不脱离本发明原理的情况下，凡是本领域技术人员在本发明的启示下获得的其它实施方式，均视为在本发明的保护之内。

Claims

1.基于柯西模糊函数的红外与弱可见光图像融合方法，其特征是，具体包括步骤如下：

式中，(i,j)表示像素空间位置，High_IR(i,j)为红外图像的高频分量，High_I(i,j)为增强后的弱可见光图像的高频分量，F_IR(i,j)为红外图像高频分量的改进的拉普拉斯能量和，F_I(i,j)为增强后弱可见光图像高频分量的改进的拉普拉斯能量和，β_IR(i,j)为红外图像的链接强度系数，β_I(i,j)为增强后弱可见光图像的链接强度系数，U(i,j)为神经元的内部活动项，L(i,j)为链接输入；

2.权利要求1所述基于柯西模糊函数的红外与弱可见光图像融合方法，其特征是，步骤1中，增强后的弱可见光图像I为：