CN107169944B

CN107169944B - 一种基于多尺度对比度的红外与可见光图像融合方法

Info

Publication number: CN107169944B
Application number: CN201710266888.7A
Authority: CN
Inventors: 周志强; 高志峰; 石永生; 汪渤; 董明杰; 缪玲娟; 沈军
Original assignee: Beijing Institute of Technology BIT
Current assignee: Beijing Institute of Technology BIT
Priority date: 2017-04-21
Filing date: 2017-04-21
Publication date: 2020-09-04
Anticipated expiration: 2037-04-21
Also published as: CN107169944A

Abstract

本发明公开了一种基于多尺度对比度的红外与可见光图像融合方法。能够基于计算得到的多尺度对比度，根据各尺度分解细节范围的不同，分别确定各层尺度信息中红外图像和可见光图像的融合权重，设计相应的多尺度信息的融合策略，使红外与可见光融合图像具有更好的视觉效果。结合表征人类视觉特性的对比敏感度函数，提取具有视觉敏感性的多尺度对比度，突出视觉敏感性信息，使融合图像具有更好的视觉效果，能够增强观察者对场景的感知和重要目标的快速识别能力；本发明在结合表征人类视觉特性的对比敏感度函数的同时，考虑了视觉对比度掩盖效应，有效利用视觉敏感性特征来指导融合过程，使融合图像的视觉效果进一步增强。

Description

一种基于多尺度对比度的红外与可见光图像融合方法

技术领域

本发明涉及多传感器图像融合技术领域，具体涉及一种基于多尺度对比度的红外与可见光图像融合方法。

背景技术

图像融合技术是将不同成像传感器获取的同一场景信息按一定的规则融合于一幅图像中，使得生成的融合图像能够同时呈现不同传感器获取到的互补信息，从而为机器自动识别处理或人眼观察提供信息更加全面、丰富的图像信息输入。近些年来，随着传感器技术和计算机运算能力的不断提高，多传感器图像融合技术的应用越来越广泛，特别是在军事和遥感领域，图像融合技术得到了广泛的重视和发展。在民用方面，多传感器图像融合也已经在智能机器人导航、医学图像处理、工业检测和视频监控等领域得到了广泛的应用。

红外与可见光图像融合是多传感器图像融合领域的重要技术。红外成像传感器由于对热辐射比较敏感，能够在有烟雾和其他物体遮挡情况下对目标进行成像，并且可以在夜间光线不足的环境中工作；而可见光相机的成像分辨率通常较高，能够有效捕捉场景里的其他细节信息。将红外与可见光成像传感器得到的图像融合在一起，能够实现优势互补，使最终融合图像信息得到极大增强。红外与可见光图像融合技术已经被广泛用于军事侦察、目标探测、场景监控和夜视增强等军事和民用领域。

目前，对于红外与可见光等不同传感器图像融合问题，研究和应用最多的是基于多尺度分解的图像融合方法。它最早源于Burt等人提出的拉普拉斯金字塔变换(LAP)方法，其他基于金字塔变换的多尺度分解方法大多是在此结构及其派生结构的基础上建立起来的。Toet等人基于人类视觉系统对局部对比度较为敏感的特性，提出了基于对比度金字塔变换(ROLP)的多尺度融合算法。随着基于小波变换的多尺度分解技术的发展，离散小波变换也被成功应用于图像融合。由于一般的离散小波变换不具有平移不变性，研究者们又提出了其他性能更好的多尺度分解方法。其中，双树复数小波(DT-CWT)由于具有良好的平移不变性和方向选择性，在图像融合领域常被用作多尺度信息分解的手段，但它同时也会增加整个融合计算的复杂性。

多尺度分解后能够得到表征不同尺度图像信息的一系列分解系数，在对两幅图像信息融合时，需要采用一定的策略对两幅图像的分解系数在同一尺度水平上进行融合，得到一系列多尺度融合系数，最后通过这些系数的组合重建出融合图像。因此，多尺度分解信息的融合策略是多尺度图像融合技术中的重要内容，融合策略的好坏直接影响到最终的图像融合效果和质量。到目前为止，人们已经研究和提出了多种形式的融合策略。由于系数绝对值的大小一般反映分解后对应位置处的子带信息强度的大小，最简单的基于像素的融合策略是选取对应位置处绝对值最大的系数作为融合后的系数。此外，还有考虑分解层内各子带及分解层间上下尺度子带信息相关性的系数选取策略，以及基于区域的融合策略，这种融合策略通过对多尺度分解系数求取基于区域的某种信息显著性指标，然后根据该指标结果按一定的规则确定多尺度分解系数的融合权重。另外，还存在基于多尺度区域分割等其他形式的融合策略，首先通过多尺度分割获得两幅待融合图像共用的图像多尺度区域，然后对每一区域计算信息显著性及区域相似度，通过制定相应的规则来完成分割区域内系数的选取或融合权重的确定。但是红外和可见光图像由于成像波段特性存在很大差异，两种信息在融合时容易形成相互干扰。现有的图像融合技术并未针对这种干扰有相应的融合策略，因此需要对此针对性地设计融合策略，使融合图像获得更好的视觉效果，便于人眼观察。

发明内容

有鉴于此，本发明提供了一种基于多尺度对比度的红外与可见光图像融合方法，能够基于计算得到的多尺度对比度，根据各尺度分解细节范围的不同，分别确定各层尺度信息中红外图像和可见光图像的融合权重，设计相应的多尺度信息的融合策略，使红外与可见光融合图像具有更好的视觉效果。

本发明的技术方案为：

步骤1，对红外图像I^r与可见光图像I^v分别进行N次连续高斯滤波，得到红外与可见光多尺度滤波图像

和

其中i＝0,1,…,N-1；

步骤2，计算红外图像的多尺度对比度

和可见光图像的多尺度对比度

步骤3：依据红外图像的多尺度对比度

和可见光图像的多尺度对比度

确定多尺度图像融合时，各尺度红外图像的融合权重W_i和最底层红外图像的融合权重W_N：

(1)当i＝0时，

(2)当1≤i≤N-1时，

其中，“*”表示卷积运算符号，

为用来对S_λ(P_i)进行平滑处理的高斯函数；S_λ(P_i)＝arctan(λP_i)/arctan(λ)，其中λ为红外信息注入系数，为常数值，

(3)最底层融合权重W_N为：

其中，“*”表示卷积运算符号，

是使融合权重W_N能够满足底层粗糙尺度条件下的信息融合要求的高斯函数；

步骤4：对各尺度滤波图像进行加权融合，得到最终的融合图像I^F：

其中

为第N次连续高斯滤波后得到的红外图像，

为第N次连续高斯滤波后得到的可见光图像，

其中

为第i次连续高斯滤波后得到的红外图像，

为第i次连续高斯滤波后得到的可见光图像,

为第i+1次连续高斯滤波后得到的红外图像，

为第i+1次连续高斯滤波后得到的可见光图像。

其中，步骤2中红外图像的多尺度对比度

和可见光图像的多尺度对比度

为：

其中CSF(·)为基于人类视觉的对比敏感度函数。

较佳地，步骤2中红外图像的多尺度对比度

和可见光图像的多尺度对比度

为：

其中k，h，p，q，Z为经验值，

其中CSF(·)为基于人类视觉的对比敏感度函数。较佳地，

和

中，k＝h＝1，p＝4.4，q＝2，Z＝0.001。

其中，连续高斯滤波次数N＝4，高斯滤波函数初始标准差为2。

有益效果：

本发明基于多尺度对比度设计相应的红外与可见光多尺度分解信息融合策略，根据各尺度分解细节范围的不同，分别确定各层尺度信息中红外图像的融合权重，将红外与可见光图像信息更加合理有效地融合在一起，降低相互干扰；

本发明结合表征人类视觉特性的对比敏感度函数，提取具有视觉敏感性的多尺度对比度，突出视觉敏感性信息，使融合图像具有更好的视觉效果，能够增强观察者对场景的感知和重要目标的快速识别能力；

本发明在结合表征人类视觉特性的对比敏感度函数的同时，考虑了视觉对比度掩盖效应，有效利用视觉敏感性特征来指导融合过程，使融合图像的视觉效果进一步增强。

附图说明

图1为基于Mannos-Skarison函数形式的CSF频率响应曲线。

图2为本发明融合方法的流程图。

图3为红外图像、可见光图像和不同方法获得的红外和可见光图像的融合图像比较图。其中，(a)为红外图像，(b)为可见光图像，(c)为LAP方法获得的红外和可见光图像的融合图像，(d)为ROLP方法获得的红外和可见光图像的融合图像，(e)DT-CWT方法获得的红外和可见光图像的融合图像，(f)本发明方法获得的红外和可见光图像的融合图像。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

本发明提供了一种基于多尺度对比度的红外与可见光图像融合方法，能够基于计算得到的多尺度对比度，根据各尺度分解细节范围的不同，分别确定各层尺度信息中红外图像的融合权重，设计相应的多尺度信息的融合策略。

基于此，本实施例的具体方案为：

假设输入的红外与可见光图像分别为I^r和I^v，具有视觉敏感性的多尺度对比度计算步骤为：

步骤1：对I^r和I^v分别进行N次连续高斯滤波，得到红外与可见光多尺度滤波图像：

其中，σ_i+1＝2σ_i，i＝0,1,…,N-1，I₀ ^r＝I^r，I₀ ^v＝I^v，

表示标准偏差为σ_i的高斯函数，“*”表示卷积运算符号，本实施例中，连续高斯滤波次数N＝4，高斯滤波函数初始标准差σ₀＝2；

步骤2，计算红外图像的多尺度对比度

和可见光图像的多尺度对比度

可以采用现有的多尺度对比度计算方法，根据局部带限对比度定义，确定红外图像的多尺度对比度

和可见光图像的多尺度对比度

考虑到人类视觉对比敏感度函数的作用，本实施例基于人类视觉的对比敏感度函数(CSF)，使红外与可见光融合图像具有更好的视觉效果，便于人眼观察。对人类视觉系统的研究表明，人眼只对一定空间频率的视觉信号刺激较为敏感。对于空间频率太高的信号，人类视觉很难敏感到有效信息；对于空间频率太低的信号刺激，人眼的视觉敏感性也较为迟钝。为了更好地模拟人类视觉系统的这一特性，学者们提出利用对比敏感度函数(CSF)来刻画通常情况下人类视觉对不同空间频率信号的响应和抑制情况。以r表示信号的空间频率，Θ(r)表示对应空间频率的敏感度，几种常用的CSF形式为：

1.Mannos-Skarison函数

2.Daly函数

3.Ahumada函数

其中，参数a_c、f_c、a_s和f_s分别取值为a_c＝1，f_c＝97.32，a_s＝0.69及f_s＝12.17，得到

上述Mannos-Skarison函数、Daly函数和Ahumada函数在空间频率响应上都具有带通特性。图1显示了基于Mannos-Skarison函数形式的CSF曲线形状。

CSF滤波过程为：用F(u,v)表示给定图像I(x,y)的傅里叶变换，首先基于CSF对图像I(x,y)进行频率域滤波：

其中，Θ(r)为CSF函数，

表示图像空间频率；然后对

进行傅里叶反变换即可得到CSF滤波后的图像

从而提取出空间频率上视觉对比敏感的图像信息。CSF滤波过程用公式简单表示为：

本实施例中基于人类视觉的对比敏感度函数(CSF)，对红外图像的具有视觉敏感性的多尺度对比度

和可见光图像的具有视觉敏感性的多尺度对比度

的计算为：

其中，CSF(·)表示进行CSF滤波，由于经过了CSF滤波处理，能够提取出更符合人类视觉特性的对比度信息。

和

分别为将红外和可见光图像各自相邻尺度图像相减得到各尺度分解细节：红外图像的各尺度分解细节

可见光图像的各尺度分解细节

进一步地，考虑到视觉的对比度掩盖效应，将

和

进行变换，得到更好的红外和可见光图像的具有视觉敏感性的多尺度对比度

和

其中，参数的取值分别为k＝h＝1，p＝4.4，q＝2，Z＝0.001。

步骤3，依据红外图像的多尺度对比度

和可见光图像的多尺度对比度

以及各尺度分解信息范围的不同，分别确定图像融合时，红外图像的融合权重W_i和红外图像的最底层权重W_N：

(1)当i＝0时，即在最顶层，为了能够充分融合进红外和可见光图像的最精细尺度纹理信息，直接利用对应的视觉敏感性对比度进行融合信息的选取，从红外和可见光图像中选取视觉敏感性最高的纹理细节信息，红外图像的融合权重计算式为：

(2)当1≤i≤N-1时，即对于第1层到第N-1层，由于红外图像信息主要集中在该尺度范围内，为了使其更好地融合于可见光图像，采用一种红外信息注入的方式计算该尺度范围内的融合权重，具体方法如下：

首先根据下式计算得到

然后，对R_i按下式进行归一化：

式中，max{R_i}表示图像平面空间内所有R_i的最大值；

最后，进行如下的非线性变换，实现红外信息注入的融合权重，红外图像的融合权重计算式为：

其中，“*”表示卷积运算符号，高斯函数g_σc用来对S_λ(P_i)进行平滑处理，本实施例中取σ_c＝2；非线性变换函数S_λ(P_i)定义为：S_λ(P_i)＝arctan(λP_i)/arctan(λ)，其中，λ为红外信息注入系数，作用是增加红外信息注入时低对比度信息的显著程度，本实施例中λ＝50。

(3)为了保持图像的整体对比度，融合权重W_N即最底层融合权重W_N，由上一层的融合权重计算得到：

其中，“*”表示卷积运算符号，高斯函数

的作用是对W_N-1进行平滑模糊，使融合权重能够满足底层粗糙尺度条件下的信息融合要求，一般取值为σ_b＝32；

步骤4：根据视觉敏感性对比度确定各尺度红外图像的融合权重后，对红外与可见光各尺度信息进行加权融合，得到最终的融合图像I^F：

图2为本发明的具体流程图。图3为本发明技术的图像融合结果及与其它融合方法的比较图，其中，图(a)为红外图像，图(b)为可见光图像，图(c)、(d)、(e)和(f)分别为LAP方法、ROLP方法、DT-CWT方法和本发明方法的融合结果。从图3中可以看出，由于充分利用了符合人类视觉特性的对比敏感度信息，本发明技术将视觉上较为敏感的可见光背景信息和显著的红外目标信息都很好地融合进同一幅图像。与其它方法得到的融合图像相比，本发明技术得到的融合图像中的信息在视觉上要更为显著。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。