CN108389158A - 一种红外和可见光的图像融合方法 - Google Patents

Abstract

本发明提供了一种红外和可见光的图像融合方法。该方法首先采用非下采样双树复轮廓波变换NSDTCT对红外和可见光图像进行分解，获得低频子带和高频子带；然后构造融合后的子带系数：在低频中，通过计算局部区域能量，用局部区域能量来替代模糊逻辑（由模糊隶属度与高斯函数构造）中的低频子带系数去计算权重系数，进而计算出融合后的低频子带系数；在高频中，以像素清晰度和显著性作为脉冲发放皮层模型SCM外部输入的融合规则，计算出融合后的高频子带系数。最终的融合图像由逆NSDTCT获得。本发明在红外和可见光图像融合中，与传统图像融合方法相比，在主观和客观上都取得了较理想的效果，为红外和可见光图像融合提供了一种新思路。

Description

一种红外和可见光的图像融合方法

技术领域

本发明涉及图像融合技术领域，具体地说是一种红外和可见光的图像融合方法。

背景技术

红外和可见光图像融合以其自身特点已广泛应用于军事和民用等领域。红外技术可以在复杂的环境中根据不同对象发射的不同热辐射信息有效地捕捉隐藏的热源目标，能很好地应对光照、气候、遮蔽物等因素的影响，具有识别伪装的能力。但由于红外图像对场景的亮度变化不够敏感，导致对比度低，分辨率差，使得背景非常模糊。可见光图像可以提供更多符合人类视觉感知的纹理细节信息，能更好的反映目标所在场景的全貌，但它易受天气、光照等因素的影响，可能会丢失许多场景信息，不具有检测伪装目标的能力。因此，红外和可见光图像融合可以提供互补信息，如何能够有效快速地得到感知更好的红外和可见光的融合图像，是目前诸多研究人员所关心的一个问题。

目前常见的红外和可见光图像融合算法主要有金字塔变换(PT)、拉普拉斯金字塔变换(LP)、离散小波变换(DWT)、平稳小波变换(SWT)、Contourlet变换(CT)和非下采样Contourlet变换(NSCT)。然而，LP、PT和小波变换不能有效地表示线和曲线的不连续性。CT作为二维多尺度几何分析工具，可以有效地表示边缘和其他各向异性曲线，但它缺乏平移不变性，在融合结果中容易产生频谱混叠和伪吉布斯现象。而NSCT进行了下采样操作，运算时间较长。

近几年来，红外和可见光图像的融合对于处理不确定性的问题仍然不够灵活，尤其是在处理突出红外目标和保留可见光细节的问题上还不够完善，取得的效果不够理想。因此需要一种适当的方法能智能的突出红外目标并且保留可见光的细节，从而增强融合图像的对比度，提高融合图像的质量。

发明内容

本发明的目的就是提供一种红外和可见光的图像融合方法，以解决现有的融合图像不清晰、细节不全面、运算复杂度高、运算时间长的问题。

本发明的目的是这样实现的：一种红外和可见光的图像融合方法，包括如下步骤：

a、采用非下采样双树复轮廓波变换对增强后的红外图像和原始可见光图像进行分解，获得低频子带和高频子带；

b、在低频中，通过计算局部区域能量，用局部区域能量来替代模糊逻辑(由模糊隶属度与高斯函数构造)中的低频子带系数去计算权重系数，进而计算出融合后的低频子带系数；

在高频中，通过以像素清晰度和显著性作为脉冲发放皮层模型SCM外部输入的融合规则，计算出融合后的高频子带系数；

c、利用融合后的低频子带系数和融合后的高频子带系数通过逆NSDTCT获得融合图像。

步骤a中，所述非下采样双树复轮廓波变换是结合非下采样方向滤波器和双树复轮廓波变换构造而成的具有更好平移不变性和方向选择性的抗混叠多尺度、多分辨变换NSDTCT，其对图像的分解过程如下：

(1)将源图像通过方向滤波器处理，得到每个方向上的子带；

(2)将双树复轮廓波变换应用于各方向子带，得到两个低频子带和若干高频子带。

对NSDTCT的重建是以相反顺序进行的。

对原始红外图像进行对比度增强，采用一个S函数：

其中，拐点参数A(i,j)是像素灰度值，μ是均值。

步骤b中，计算局部区域能量，用局部区域能量得到模糊函数中的权重系数，过程如下：

(1)选择3×3的窗口计算出增强后的红外图像的局部区域能量其中，sign为局部区域能量的符号函数，高斯加权矩阵W_g(a,b)＝[0.9414，0.1210，0.0914；0.1210，0.1506，0.1210；0.0914，0.1210，0.0914]，C_A(i,j)是增强后的红外图像的矩阵，μ′是均值；

(2)在高斯函数模型的基础上构造了背景隶属度和目标隶属度ω_T(i,j)＝1-ω_B(i,j)，k′∈(1,3)，优选k′取1.5；

(3)计算出该能量矩阵E_A的均值E_μ′和方差E_θ进而得到本发明的权重系数ω'_T(i,j)＝1-ω'_B(i,j)。

最后，计算出融合后的低频子带系数

步骤b中，根据分解后高频子带得到融合后的高频子带系数的过程是：

(1)分别计算任意尺度方向子带的清晰度和显著性；

(2)将所得到的清晰度和显著性加和作为脉冲发放皮层模型SCM网络的外部输入来激励神经元并产生脉冲，从而计算求得总点火次数T_ij(n)；

(3)将点火次数作为融合后的高频子带系数的选取原则，具体过程如下：

若红外图像A的点火次数大于等于可见光图像B的点火次数则选取红外图像A的高频子带系数作为融合图像的高频子带系数若可见光图像B的点火次数大于红外图像A的点火次数则选取可见光图像B的高频子带系数作为融合图像的高频子带系数

本发明公开了一种红外和可见光的图像融合方法，具体是基于模糊逻辑和SCM的NSDTCT域红外和可见光图像融合。首先用一个S函数提高原始红外图像的对比度，接着通过NSDTCT分解增强后的红外图像以及原始可见光图像，得到低频子带和高频子带。通过NSDTCT分解大大增加了低频系数，从而降低了在图像融合中高频系数的影响，有利于保持轮廓信息，实现感知更好的图像融合。对低频子带采用一种基于局部区域能量和模糊逻辑结合的融合规则构造出融合后的低频子带系数；对高频子带采用由像素清晰度和显著性作为SCM外部输入的融合规则构造出融合后的高频子带系数。最终的融合图像由逆NSDTCT获得。本发明中的方法不仅具有较好的图像融合效果，并且计算速较度快，适用于复杂的红外和可见光图像融合。本发明中的方法可以快速全面的进行红外和可见光图像融合，从而得到感知更好的，细节更丰富的融合图像。

本发明在红外和可见光图像融合中，与传统图像融合方法相比较，在主观和客观上都取得了较理想的效果，为红外和可见光图像融合提供了一种新思路。

附图说明

图1是本发明中红外和可见光图像进行融合的框图。

图2是本发明中NSDTCT变换的示意图。

图3是本发明中SCM网络神经元的结构示意图。

图4是本发明方法和现有技术所应用的实例；其中，图4(a)是原始红外图像A，图4(b)是原始可见光图像B，图4(c)是采用对比例1所述方法对原始红外图像A和原始可见光图像B进行融合的结果图，图4(d)是采用本发明中方法对原始红外图像A和原始可见光图像B进行融合的结果图。

图5是对比例1中基于CST-SCM的融合方法框图。

具体实施方式

下面以具体实施例对本发明进行描述，这些实施例可应用于图像的融合，以便生成场景信息更加全面清晰的融合图像。然而，应意识到，本发明不限于这种应用，而是可应用于许多其他类型和其他用途的图像融合。

下面结合附图对本发明进行说明，图1图示是按照本发明实施例中用于对红外和可见光图像进行融合的框图。

本发明中涉及的实施例均在Matlab R2014a上运行，电脑配置为2.27GHz主频，Corei3处理器，2G内存，500G硬盘。

实施例1

本实施例中将红外图像记为图像A，将可见光图像记为图像B。

步骤1：采用S函数对原始红外图像A的对比度进行增强。

原始红外图像A如图4(a)所示，其是图库中“UN Camp”红外图像。

本发明中S函数定义为：

式(1)中，A(i,j)是原始红外图像在位置(i，j)处的像素灰度值；S(i,j)是原始红外图像对比度增强之后在位置(i，j)处的像素灰度值；k是拐点参数；“*”表示乘号；

k的表达式如下：

式(2)中，μ是原始红外图像的像素灰度值均值。

步骤2：采用非下采样双树复轮廓波变换对增强后的红外图像和原始可见光图像进行分解，获得低频子带和高频子带。

非下采样双树复轮廓波变换(Non-subsampled Dual-tree Complex ContourletTransform，NSDTCT)是非下采样方向滤波器和双树复轮廓波变换(NSDFB-DTCWT)相结合而形成的，其作为多尺度分解工具，具有高度的方向选择性、各向异性和平移不变性等特点，非常适用于图像处理过程。

本实施例采用NSDTCT变换对增强后的“UN Camp”红外图像A和原始“UN Camp”可见光图像B(如图4(b))(图像A和B均为512×512，256灰度级)进行分解，获得低频子带和高频子带。NSDTCT变换的过程示意图见图2。

采用NSDTCT变换对增强后的红外图像A进行分解，具体是：

采用非下采样方向滤波器对增强后的红外图像A进行滤波处理，得到每个方向上的子带；将双树复轮廓波变换应用于上述各方向子带，得到两个红外图像的低频子带和若干红外图像不同方向(±15°、±45°、±75°六个方向)的高频子带。

采用NSDTCT变换对可见光图像B进行分解，具体是：

采用非下采样方向滤波器对原始可见光图像B进行滤波处理，得到每个方向上的子带；再将双树复轮廓波变换应用于上述各方向子带，得到两个可见光图像的低频子带和若干可见光图像不同方向(±15°、±45°、±75°六个方向)的高频子带。

需要注意的是：所得到的红外图像的高频子带和可见光图像的高频子带在方向上应该一一对应。

因此，增强后的红外图像A和原始可见光图像B经NSDTCT变换后，得到低频子带和高频子带，低频子带各自有其对应的低频子带系数(简称低频系数)，每一高频子带也有其对应的高频子带系数(简称高频系数)。

步骤3：对低频子带采用局部区域能量和模糊逻辑结合的融合规则构造出融合后的低频子带系数。

对于融合后的低频子带系数的构造，本发明采用局部区域能量和模糊逻辑相结合的融合规则，首先计算增强后的红外图像的局部区域能量，再用局部区域能量得到模糊逻辑中的权重系数，最后求出融合后的低频子带系数，具体过程如下：

①、选择3×3的窗口计算出增强后的红外图像A的局部区域能量矩阵E_A：

其中，

′

E_A(i,j)是增强后的红外图像A的局部区域能量值；μ是增强后的红外图像的像素灰度值均值；C_A(i，j)是增强后的红外图像的矩阵值；sign(i,j)为局部区域能量的符号参数，确保局部区域能量值在图像变换后整体上仍是高斯分布；W_g(a,b)是增强后的红外图像的局部区域窗口在位置(i,j)的高斯加权矩阵，且高斯矩阵的坐标原点为中心点；(a,b)是局部区域窗口在a,b位置的坐标。

②、用局部区域能量得到模糊逻辑中的权重系数。

在高斯函数的基础上，构造在像素位置(i,j)的背景隶属度和目标隶属度。

背景隶属度公式如下：

目标隶属度公式如下：

ω_T(i,j)＝1-ω_B(i,j) (7)

k′∈(1,3)，根据经验，通常选择k′为1.5。

计算步骤①中局部区域能量变换矩阵E_A(i,j)的均值E_μ′和方差E_θ，并用E_μ′代替公式(6)中的μ′，用E_θ代替公式(6)中的θ，用E_A(i,j)替代公式(6)中的得到：

ω'_T(i,j)＝1-ω'_B(i,j) (9)

③、求出融合后的低频子带系数。

依据如下公式计算融合后的低频子带系数：

其中，是融合后的图像在位置(i，j)处的低频子带系数，是增强后的红外图像在位置(i，j)处的低频子带系数，是原始可见光图像在位置(i，j)处的低频子带系数；ω′_B(i,j)是像素在位置(i，j)处的背景隶属度，ω′_T(i,j)是像素在位置(i，j)处的目标隶属度；ω′_B(i,j)和ω′_T(i,j)的公式具体见式(8)和(9)。

步骤4：对高频子带采用由像素清晰度和显著性作为脉冲发放皮层模型的外部输入的融合规则构造出融合后的高频子带系数。

如图3所示，在脉冲发放皮层模型(Spiking Cortical Model，SCM)中，每个神经元均由输入接收域、连接调制域和脉冲发生器三部分组成，分别代表指数衰减特性、连接输入和反馈输入。

E_ij(n)＝gE_ij(n-1)+hY_ij(n-1) (13)

式(11)是SCM的输入接收域和连接调制域的表达式；式(12)是输出脉冲Y_ij(n-1)的表达式；式(13)是神经元的动态阈值E_ij(n)表达式。

其中，U_ij(n)是神经元(i,j)第n次迭代时的内部活动项；S_ij是神经元接收的外部激励，对应着图像中相应位置像素值；连接权重矩阵W_ijkl和该神经元上一次的输出脉冲Y_ij(n-1)的卷积代表邻域内神经元对该神经元的内部激励；Y_ij(n)为SCM发放脉冲输出，其大小由U_ij(n)和E_ij(n)来决定。f的大小决定了U_ij(n)衰减快慢的程度，是内部活动项的衰减系数。g和h分别是动态阈值衰减系数和活动系数，h能使动态阈值能量周期性增强，进而使神经元在持续迭代中发放周期性的脉冲。

本发明实施例中相关参数设置如下：f＝0.8，g＝0.7，h＝20；W_ijkl＝[0.1091，0.1409，0.1091；0.1409，0，0.1409；0.1091，0.1409，0.1091]；迭代次数n＝40。

SCM网络没有被激活时候，神经元的U_ij(0)能量为0，输出脉冲Y_ij(0)也为0。当进行第一次迭代后，U_ij(n)的值为S_ij，产生外部激励。随着迭代次数增加，U_ij(n)逐渐变大，每当它超过动态阈值时，就发放脉冲，即输出点火状态。设T_ij(n)为经过n次迭代后神经元的点火次数，则有：

T_ij(n)＝T_ij(n-1)+Y_ij(n) (14)

时间矩阵模型用来表示神经元点火信息，将点火次数作为融合规则进行图像融合。由于像素清晰度能较好的表达图像的边缘细节信息，因此本发明提出的由像素清晰度和显著性激励SCM去融合经过NSDTCT分解得到的高频子带，有机的结合SCM和NSDTCT变换的优势，为获得具有更丰富纹理细节信息的融合图像提供新思路。

计算任意尺度方向子带的清晰度见如下表达式：

其中，

n×n表示图像总像素个数；c(a,b)表示像素灰度值，M和N均是大于等于i小于等于j。

τ为调整系数，确保X能在[0,1]范围内动态变化。

x为式(15)中中括号里的内容，x_min为x的最小值，x_max为x的最大值。

此外，一个局部的显著性定义如下：

其中，W_k是全局显著性，表示在(i,j)周围的对比度。

τ′为调整系数，确保Y能在[0,1]范围内动态变化。D是整个图像区域；γ是像素(i,j)位置3×3的邻域；σ²＝100。mean表示取均值，c(i,j)为像素灰度值。

因此，像素清晰度和显著性加和为：

Z(i,j)＝X(i,j)+Y(i,j)(20)

将获得的Z(i,j)作为SCM网络的外部输入来激励神经元并产生脉冲，从而计算求得总点火次数T_ij(n)；并将点火次数作为融合后的高频子带系数的选取原则，利用下式计算在各方向尺度上的融合后的高频子带系数：

若红外图像A的点火次数大于等于可见光图像B的点火次数，则选取红外图像A的高频子带系数作为融合后的高频子带系数；若可见光图像B的点火次数大于红外图像A的点火次数，则选取可见光图像B的高频子带系数作为融合后的高频子带系数。

步骤5：利用融合后的低频子带系数和融合后的高频子带系数通过非下采样双树复轮廓波逆变换(逆NSDTCT)获得原始红外图像A和原始可见光图像B融合后的图像F，见图4(d)。

本发明提供的红外和可见光的图像融合方法是一种非下采样双树复轮廓波变换的模糊逻辑和脉冲发放皮层模型结合的图像融合新方法，与传统的图像融合方法相比，本发明既能充分有效地利用源图像的轮廓信息，又能保持源图像的细节信息。在低频中，采用一种局部区域能量和模糊逻辑相结合的融合规则。首先，计算用S函数增强后的红外图像的局部区域能量，接着由模糊隶属度函数与高斯函数构造得到权重系数；最后根据权重系数计算出融合后的低频子带系数。在高频中，提出了由像素清晰度和显著性作为SCM外部输入的融合规则，这种融合规则比单一使用清晰度或显著性激励SCM效果好很多。SCM与PCNN相比，最大的优点就是降低了计算的复杂程度，节省了时间。最后，最终的融合图像由逆NSDTCT变换获得。

对比例1

如图5所示，与实施例1相比，本对比例中用复剪切波变换(Complex Shearlettransform，CST)分解源图像(图4(a)和图4(b))，得到低频子带和高频子带；在低频中，选用加权平均的方法得到融合后的低频系数；在高频中，采取拉普拉斯能量和激励SCM得到融合后的高频系数；最后通过逆CST得到融合后的图像F，所得结果见图4(c)。

由图4可以看出，采用本发明方法进行融合后，融合图像在整体上有很强的对比度，无论是背景(房屋、树木、山路，尤其是树木，有很好的层次感)，还是目标人物都比较好的保留了源图像的纹理细节信息，尤其是目标人物，亮度明显，很容易识别。

下面通过表1用客观指标对融合结果进行评价。

表1

由表1可以看出本发明方法的MI和IE比其他方法均高，且Q^AB/F的值也比较理想，这和主观评价是一致的。所以，本发明提出的方法在主观和客观上都有很好的表现，融合结果既保留了红外图像清晰的热目标，又保留了可见光图像丰富的细节背景，本发明方法为红外和可见光图像的融合提供了新方法，可以很好的应用到红外和可见光图像的融合领域中去。

与传统的融合方案相比，本发明中的方法克服了传统小波在图像融合中的不足，可以快速有效的进行红外和可见光图像融合，提供二者的互补信息，既能有效地利用源图像的轮廓信息，又能保持源图像的细节信息，提高了实用系统的抗干扰性、稳定性和可靠性，而且提高了融合效率。本发明与NSCT-SF-PCNN方法相比，在低频上采用局部区域能量与模糊逻辑结合的方法，本发明与简单的加权平均相比更加充分的保留了红外图像的目标和可见光图像的细节信息，得到了感知更好的融合图像；在高频上采用像素清晰度和显著性共同激励SCM的方法，与PCNN相比，SCM最大的优点就是降低了计算的复杂程度，节省了时间，提高了融合效率。所以，总体来说，使用本发明的方法在主观上能够得到视觉效果更好的融合图像，且在客观评价指标MI、IE上有一定提高。

以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些具体实施方式仅是举例说明，本领域的技术人员在不脱离本发明的原理和实质的情况下，可以对上述方法和系统的细节进行各种省略、替换和改变，从而按照实质相同的方法执行实质相同的功能以实现实质相同的结果则属于本发明的范围。

Claims (7)

1.一种红外和可见光的图像融合方法，其特征是，包括如下步骤：

a、采用非下采样双树复轮廓波变换对增强后的红外图像和原始可见光图像进行分解，获得低频子带和高频子带；

b、对低频子带采用局部区域能量和模糊逻辑结合的融合规则构造出融合后的低频子带系数；对高频子带采用由像素清晰度和显著性作为脉冲发放皮层模型的外部输入的融合规则构造出融合后的高频子带系数；

c、利用融合后的低频子带系数和融合后的高频子带系数通过非下采样双树复轮廓波逆变换获得原始红外图像和原始可见光图像融合后的图像。

2.根据权利要求1所述的红外和可见光的图像融合方法，其特征是，对原始红外图像进行增强，具体是：

用一个S函数提高原始红外图像的对比度；

S函数定义为：

式(1)中，A(i,j)是原始红外图像在位置(i，j)处的像素灰度值；S(i,j)是原始红外图像对比度增强之后在位置(i，j)处的像素灰度值；k是拐点参数；

k的表达式如下：

式(2)中，μ是原始红外图像的像素灰度值均值。

3.根据权利要求1所述的红外和可见光的图像融合方法，其特征是，采用非下采样双树复轮廓波变换对增强后的红外图像进行分解，具体是：

采用非下采样方向滤波器对增强后的红外图像进行滤波处理，得到每个方向上的子带；

将双树复轮廓波变换应用于上述各方向子带，得到两个低频子带和若干高频子带。

4.根据权利要求1所述的红外和可见光的图像融合方法，其特征是，采用非下采样双树复轮廓波变换对原始可见光图像进行分解，具体是：

采用非下采样方向滤波器对原始可见光图像进行滤波处理，得到每个方向上的子带；

将双树复轮廓波变换应用于上述各方向子带，得到两个低频子带和若干高频子带。

5.根据权利要求1所述的红外和可见光的图像融合方法，其特征是，对低频子带采用局部区域能量和模糊逻辑结合的融合规则构造出融合后的低频子带系数，具体为：

融合后的低频子带系数的计算公式如下：

式(3)中，是融合后的图像在位置(i，j)处的低频子带系数，是增强后的红外图像在位置(i，j)处的低频子带系数，是原始可见光图像在位置(i，j)处的低频子带系数；ω′_B(i,j)是像素在位置(i，j)处的背景隶属度，ω′_T(i,j)是像素在位置(i，j)处的目标隶属度；ω′_B(i,j)和ω′_T(i,j)的表达式如下：

ω'_T(i,j)＝1-ω'_B(i,j) (5)

式(4)中，E_A(i,j)为增强后的红外图像的局部区域能量变换矩阵；E_μ′为E_A(i,j)的均值，E_θ为E_A(i,j)的方差；k′为参数，k′∈(1,3)；

E_A(i,j)的表达式如下：

式(6)中，sign(i,j)为局部区域能量的符号参数；μ′是增强后的红外图像的像素灰度值均值；C_A(i,j)是增强后的红外图像的矩阵；W_g(a,b)是增强后的红外图像的局部区域在位置(i,j)的高斯加权矩阵；

sign(i,j)的表达式为：

W_g(a,b)如下：

6.根据权利要求1所述的红外和可见光的图像融合方法，其特征是，对高频子带采用由像素清晰度和显著性作为脉冲发放皮层模型的外部输入的融合规则构造出融合后的高频子带系数；具体包括如下步骤：

6-1、分别计算各尺度方向子带的清晰度和显著性；

6-2、将所得到的清晰度和显著性加和作为脉冲发放皮层模型的外部输入来激励神经元并产生脉冲，从而计算求得总点火次数；

6-3、将点火次数作为融合后的高频子带系数的选取原则，具体是：若红外图像的点火次数大于等于可见光图像的点火次数，则选取红外图像的高频子带系数作为融合后的高频子带系数；若可见光图像的点火次数大于红外图像的点火次数，则选取可见光图像的高频子带系数作为融合后的高频子带系数。

7.根据权利要求6所述的红外和可见光的图像融合方法，其特征是，步骤6-1具体是：

采用如下公式计算任意尺度方向子带的清晰度：

其中，

n×n表示图像总像素个数；

τ为调整系数，确保X能在[0,1]范围内动态变化；

局部的显著性定义如下：

其中，W_k是全局显著性，表示在(i,j)周围的对比度；

其中，D是整个图像区域；γ是像素(i,j)位置在局部区域窗口的邻域；σ²＝100。