CN109242888A - 一种结合图像显著性和非下采样轮廓波变换的红外与可见光图像融合方法 - Google Patents

Abstract

本发明提供一种结合图像显著性和非下采样轮廓波变换的红外与可见光图像融合方法。首先，计算出可见光图像的对比度，若可见光图像对比度低则将其进行对比度受限的自适应直方图均衡。使用改进后的Frequency Tuned(FT)算法提取红外图像显著性区域，然后对显著性图进行抑制背景的处理。接着，分别对红外图像及处理后的可见光图像进行非下采样轮廓波变换(NSCT)获得低频与高频信息。在低频信息部分，利用显著性图进行融合，在高频信息部分采用绝对值取大的融合规则进行融合，最后将得到的融合低频系数和高频系数进行逆NSCT获得融合图像。本发明使融合后的图像细节信息更丰富，目标区域更为突出，使融合图像的视觉效果更好，更适合人眼观察和计算机处理。

Description

一种结合图像显著性和非下采样轮廓波变换的红外与可见光 图像融合方法

技术领域

及一种红外与可见光图像融合方法，特别涉及一种结合图像显著性和非下采样轮廓波变换的红外与可见光图像融合方法，属于数字图像处理领域。

背景技术

不同光谱的图像传感器有时会具有比较好的互补特性。比如，红外图像传感器是根据物体红外辐射的差异成像，反映的是物体的热辐射特性，由于红外图像的获取不依赖于外部光线，具有全天侯特点。而可见光图像传感器是根据物体对可见光的不同反射能力成像，反映的是物体表面的可见光反射特性，图像的获取易受光照等因素的影响，不具有全天候特点。红外图像通常对比度和分辨率低，缺乏细节信息，而可见光图像通常具有较高的对比度和分辨率，边缘纹理等细节信息比较丰富。由于有其各自应用的局限性，单一的可见光或红外传感器技术已经不能满足要求越来越高的应用场景。而由于红外图像和可见光图像具有良好的互补特性，实践表明，在很多场景中将这两种传感器获取的图像进行有效的融合处理，能够充分保留各自传感器优点，克服各自应用的不足之处，可以获得对于场景全面准确的图像描述，达到对信息的充分利用，同时也提高了系统分析决策的准确性和可靠性。

近年来，多分辨分析的方法一直是图像融合研究热点和焦点。多分辨率分析的图像融合的基本原理是首先把多源图像进行多尺度分解，得到图像的低频系数和不同尺度下的高频系数。然后，按照一定融合规则，分别将低频系数、高频系数进行融合，最后通过多分辨重建得到融合图像。

发明内容

本发明要解决的技术问题为：红外图像通常对比度和分辨率比较低，但由于图像的获取不依赖外部光照，能够克服天气环境等的影响，极好地获得夜间或雾天等情况的目标信息，可见光图像的细节纹理信息通常比较丰富，但由于易容光照天气或目标被遮挡等状况的影响，有时目标信息无法很好地获取。针对这两种图像单一应用的不足，提供一种结合图像显著性和非下采样轮廓波的图像融合方法，该方法可以突出红外图像的目标区域，并保留更多的可见光图像的细节信息，使融合图像信息更丰富，更符合人眼视觉。

本发明采用的技术方案为：一种结合图像显著性和非下采样轮廓波变换(NSCT)的红外与可见光图像融合方法，包括如下步骤：

步骤一、判断可见光图像是否为低对比度图像，是否需要进行对比度受限的自适应直方图均衡；

图像的对比度计算公式为：

其中，δ为相邻像素间可能出现的灰度差值，P_δ为相邻像素间的灰度差为δ的像素分布概率；

经过多副图像计算测试，对于灰度级范围为[0,255]的图像，在C≤3.8时判断该图像为低对比度图像；

若图像为低对比度图像，将其进行对比度受限的自适应直方图均衡：

首先将图像划分成若干图像子块，统计各图像子块的直方图，然后对子块中统计得到的直方图进行裁剪，将裁剪的值填补到整个灰度区间上，使其幅值低于设定好的上限值ClipLimit，

其中，nRow为图像子块行数，nCol为图像子块列数，L为子块灰度级，α∈[0,1]；

计算出每个子块的累积直方图函数及对应的灰度映射函数，每个子块上的像素点的值由它邻近的4个子块的中心点的映射函数值进行双线性插值得到，边缘的部分像素点值由它邻近的2个子块的中心的的映射函数值进行线性插值得到，角点处的像素点值由该子块的映射函数值得到；

步骤二、提取红外图像显著性区域：

使用改进后的Frequency Tuned(FT)算法提取红外图像显著性区域；

使用FT算法计算一副输入图像I的显著性图的公式为：

S(x,y)＝|I_μ-I_whc(x,y)| (3)

其中，I_μ为输入图像I中所有像素的平均值，I_whc(x,y)为输入图像I经过高斯模糊之后在位置(x,y)处的像素值；

在FT算法的基础上，利用L0范数图像平滑对其进行改进，提出一种图像的显著性提取方法，即：

S(x,y)＝|I_μ-I_L0(x,y)| (4)

其中I_L0(x,y)是图像I经过L0范数图像平滑后在位置(x,y)的像素值；

使用改进的算法去提取红外图像显著区域能够更充分地抑制红外图像的背景信息，使目标信息更为突出；

将S(x,y)归一化后得到S_map(x,y)；

然后，使用S型曲线对比度拉伸变换函数对显著性图进行处理，即：

其中系数t、k为常数，t∈[0,1]，k≥1，经处理后，显著性图的背景信息进一步被抑制，目标区域更加凸显；

步骤三、将图像进行NSCT分解

NSCT主要分为多尺度分解和多方向分解两部分，其中，采用非下采样金字塔滤波器组进行多尺度分解，由于没有图像下采样的步骤，一副图像经N级分解后，可得到N+1个与原图像相同尺度大小子带图像，其中1个是原图像的低频近似图像和N个高频子带图像，采用非下采样方向滤波器组进行多方向分解，每次分解得到水平和垂直方向的分解，如果对图像进行J级方向分解，可得到2^J个与原始图像大小相同的方向子带图像；

步骤四、将分解系数进行融合

经过步骤三获得红外图像的低频系数及可见光图像的低频系数则融合图像的低频系数：

其中：

经过步骤三获得红外图像的高频系数和可见光图像的高频系数(n＝1,...,N，j＝1,...2^J)，则融合图像的高频系数的获得采用绝对值取大的规则，即：

步骤五、图像重构

将步骤四得到的不同尺度不同方向上的高频和低频融合系数进行NSCT逆变换，得到融合图像。

其中，红外图像与可见光图像是已经配准好的。

其中，所述步骤一中的系数α＝0.01。

其中，所述步骤二中的系数t＝0.5，k＝10。

其中，所述步骤三尺度分解级数N＝2，方向分解级数为J＝3，即8方向分解。

本发明与现有技术相比的有益效果在于：

(1)本发明对对比度低的可见光图像进行对比度受限的直方图均衡，与传统的图像融合方法相比，能够显现出可见光源图像更多的细节信息，以使融合图像中的细节信息更为丰富。

(2)本发明对红外图像提取出的显著性图的方法进行改进，并将得到的显著性图进行抑制背景处理，与传统的图像融合方法相比，更能凸显出红外图像的显著性区域，并极好地保留在融合图像中。

(3)本发明采用非下采样轮廓波对图像进行多尺度分解，并利用红外图像的显著性图设计了低频系数部分的融合规则，与传统的图像融合方法相比，本发明所获得的融合图像保留了更多的目标信息和细节信息，图像清晰视觉效果好，更适合人眼观察和计算机处理。

附图说明

图1为本发明方法的整体框架实现流程图；

图2为本发明进行实验1的红外与可见光源图像，图像分辨率均为496*632，其中，图2(a)为红外图像，图2(b)为可见光图像；

图3为本发明进行实验2的红外与可见光源图像，图像分辨率均为270*360，其中，图3(a)为红外图像，图3(b)为可见光图像；

图4(a)～(c)分别为低频系数使用均值规则融合而得的融合图像及使用FT算法获得的红外图像显著性图指导低频系数融合而得的融合图像及使用本发明获得的融合图像；

图5(a)～(c)分别为低频系数使用均值规则融合而得的融合图像及使用FT算法获得的红外图像显著性图指导低频系数融合而得的融合图像及使用本发明获得的融合图像。

具体实施方式

下面结合附图对本发明的实施例作详细说明。本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于以下的实施例。

步骤一判断可见光图像是否为低对比度图像，是否需要进行对比度受限的自适应直方图均衡：

图像对比度计算公式：

其中δ为相邻像素间可能出现的灰度差值，P_δ为相邻像素间的灰度差为δ的像素分布概率。

经过多副图像计算测试，对于灰度级范围为[0,255]的图像，本发明在C≤3.8时判断该图像为低对比度图像。

若图像为低对比度图像，将其进行对比度受限的自适应直方图均衡：

首先将图像划分成若干图像子块，统计各图像子块的直方图，然后对子块中统计得到的直方图进行裁剪，将裁剪的值填补到整个灰度区间上，使其幅值低于设定好的上限值ClipLimit。

其中nRow为图像子块行数，nCol为图像子块列数，L为子块灰度级，α∈[0,1]。

对一个图像子块，求出直方图高于ClipLimit的部分的和Total，则将Total均分给所有灰度级而增加的高度H＝Total/L，以Upper＝ClipLimit-H为界限对图像直方图进行如下处理：

(1)若幅值高于ClipLimit，则将其置为ClipLimit；

(2)若幅值处于Upper和ClipLimit之间，则将其填补至ClipLimit；

(3)若幅值低于Upper，直接填补H个像素点；

上述步骤进行完后，将剩余的像素点均匀填补给仍然小于ClipLimit的灰度值。

计算出每个子块的累积直方图函数及对应的灰度映射函数，每个子块上的像素点的值由它邻近的4个子块的中心点的映射函数值进行双线性插值得到。边缘的部分像素点值由它邻近的2个子块的中心的的映射函数值进行线性插值得到，角点处的像素点值由该子块的映射函数值得到。

步骤二提取红外图像显著性区域：

本发明提出使用改进后的Frequency Tuned(FT)算法提取红外图像显著性区域。

使用FT算法计算一副输入图像I的显著性图的公式为：

S(x,y)＝|I_μ-I_whc(x,y)| (3)

其中，I_whc(x,y)为输入图像I经过高斯模糊之后在位置(x,y)处的像素值。

本发明在FT算法的基础上，利用L0范数图像平滑对其进行改进，提出一种图像的显著性提取方法，即I_μ为输入图像I中所有像素的平均值，

S(x,y)＝|I_μ-I_L0(x,y)| (4)

其中I_L0(x,y)是图像I经过L0范数图像平滑后在位置(x,y)的像素值。

使用改进的算法去提取红外图像显著区域能够更充分地抑制红外图像的背景信息，使目标信息更为突出。

将S(x,y)归一化后得到S_map(x,y)。

然后，使用S型曲线对比度拉伸变换函数对显著性图进行处理，即：

其中系数t、k为常数，t∈[0,1]，k≥1。经处理后，显著性图的背景信息进一步被抑制，目标区域更加凸显。

步骤三将图像进行NSCT分解

NSCT主要分为多尺度分解和多方向分解两部分。其中，采用非下采样金字塔滤波器组进行多尺度分解，由于没有图像下采样的步骤，一副图像经N级分解后，可得到N+1个与原图像相同尺度大小子带图像，其中1个是原图像的低频近似图像和N个高频子带图像。采用非下采样方向滤波器组进行多方向分解，每次分解得到水平和垂直方向的分解，如果对图像进行J级方向分解，可得到2^J个与原始图像大小相同的方向子带图像。

步骤四将分解系数进行融合

经过步骤三获得红外图像的低频系数及可见光图像的低频系数则融合图像的低频系数：

其中：

经过步骤三获得红外图像的高频系数和可见光图像的高频系数(n＝1,...,N，j＝1,...2^J)，则融合图像的高频系数的获得采用绝对值取大的规则。即：

步骤五图像重构

将步骤四得到的不同尺度不同方向上的高频和低频融合系数进行NSCT逆变换，得到融合图像。

为了验证本发明方法的有效性，分别对图2中的实验1源图像和图3中的实验2源图像进行实验，并与此前的一些融合方法进行对比，结果分别如图4图5所示。可以看出，图4中，相较于前两种方法获得的融合图像，使用本发明获得的融合图像细节纹理信息更加丰富，可以清晰地看出椅子和窗等细节信息，同时也将红外图像中的目标区域很好地凸显出来。图5中，相较于前两种方法获得的融合图像，使用本发明获得的融合图像的细节更丰富，跟可见光图像中的细节信息相似性更大，比如左下角树的纹理信息等。由此可见，使用本发明获得的融合图像目标突出，细节信息更丰富，更适合人眼观察。

本发明未详细阐述部分属于本领域技术人员的公知技术。

本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例变化，变型都将落在本发明权利要求书的范围内。

Claims (5)

1.一种结合图像显著性和非下采样轮廓波变换(NSCT)的红外与可见光图像融合方法，其特征在于：包括如下步骤：

步骤一、判断可见光图像是否为低对比度图像，是否需要进行对比度受限的自适应直方图均衡；

图像的对比度计算公式为：

其中，δ为相邻像素间可能出现的灰度差值，P_δ为相邻像素间的灰度差为δ的像素分布概率；

经过多副图像计算测试，对于灰度级范围为[0,255]的图像，在C≤3.8时判断该图像为低对比度图像；

若图像为低对比度图像，将其进行对比度受限的自适应直方图均衡：

首先将图像划分成若干图像子块，统计各图像子块的直方图，然后对子块中统计得到的直方图进行裁剪，将裁剪的值填补到整个灰度区间上，使其幅值低于设定好的上限值ClipLimit，

其中，nRow为图像子块行数，nCol为图像子块列数，L为子块灰度级，α∈[0,1]；

计算出每个子块的累积直方图函数及对应的灰度映射函数，每个子块上的像素点的值由它邻近的4个子块的中心点的映射函数值进行双线性插值得到，边缘的部分像素点值由它邻近的2个子块的中心的的映射函数值进行线性插值得到，角点处的像素点值由该子块的映射函数值得到；

步骤二、提取红外图像显著性区域：

使用改进后的Frequency Tuned(FT)算法提取红外图像显著性区域；

使用FT算法计算一副输入图像I的显著性图的公式为：

S(x,y)＝|I_μ-I_whc(x,y)| (3)

其中，I_μ为输入图像I中所有像素的平均值，I_whc(x,y)为输入图像I经过高斯模糊之后在位置(x,y)处的像素值；

在FT算法的基础上，利用L0范数图像平滑对其进行改进，提出一种图像的显著性提取方法，即：

S(x,y)＝|I_μ-I_L0(x,y)| (4)

其中I_L0(x,y)是图像I经过L0范数图像平滑后在位置(x,y)的像素值；

使用改进的算法去提取红外图像显著区域能够更充分地抑制红外图像的背景信息，使目标信息更为突出；

将S(x,y)归一化后得到S_map(x,y)；

然后，使用S型曲线对比度拉伸变换函数对显著性图进行处理，即：

其中系数t、k为常数，t∈[0,1]，k≥1，经处理后，显著性图的背景信息进一步被抑制，目标区域更加凸显；

步骤三、将图像进行NSCT分解

NSCT主要分为多尺度分解和多方向分解两部分，其中，采用非下采样金字塔滤波器组进行多尺度分解，由于没有图像下采样的步骤，一副图像经N级分解后，可得到N+1个与原图像相同尺度大小子带图像，其中1个是原图像的低频近似图像和N个高频子带图像，采用非下采样方向滤波器组进行多方向分解，每次分解得到水平和垂直方向的分解，如果对图像进行J级方向分解，可得到2^J个与原始图像大小相同的方向子带图像；

步骤四、将分解系数进行融合

经过步骤三获得红外图像的低频系数及可见光图像的低频系数则融合图像的低频系数：

其中：

经过步骤三获得红外图像的高频系数和可见光图像的高频系数(n＝1,...,N，j＝1,...2^J)，则融合图像的高频系数的获得采用绝对值取大的规则，即：

步骤五、图像重构

将步骤四得到的不同尺度不同方向上的高频和低频融合系数进行NSCT逆变换，得到融合图像。

2.根据权利要求1所述的结合图像显著性和非下采样轮廓波变换的红外与可见光图像融合方法，其特征在于：红外图像与可见光图像是已经配准好的。

3.根据权利要求1所述的结合图像显著性和非下采样轮廓波变换的红外与可见光图像融合方法，其特征在于：所述步骤一中的系数α＝0.01。

4.根据权利要求1所述的结合图像显著性和非下采样轮廓波变换的红外与可见光图像融合方法，其特征在于：所述步骤二中的系数t＝0.5，k＝10。

5.根据权利要求1所述的结合图像显著性和非下采样轮廓波变换的红外与可见光图像融合方法，其特征在于：所述步骤三尺度分解级数N＝2，方向分解级数为J＝3，即8方向分解。