CN113935922A - 一种红外与可见光图像特征增强融合方法 - Google Patents

Abstract

本发明涉及一种红外与可见光图像特征增强融合方法，属于图像融合技术领域，包括五个步骤：建立线性关系模型、建立成本函数、提出一种对比度调控因子、求解初始融合结果和红外图像特征信息增强。本发明的融合方法可以有效的结合红外与可见光图像的特征信息，不仅将可见光图像的细节纹理以红外图像的像素强度表现出来，而且改善了可见光图像中隐藏于昏暗光照下的细节纹理的可视化程度，提高了融合结果的质量和视觉保证度，便于后续的目标识别与检测。

Description

一种红外与可见光图像特征增强融合方法

技术领域

本发明涉及一种红外与可见光图像特征增强融合方法，属于图像融合技术领域。

背景技术

红外图像可以反映目标的热辐射信息，依靠像素强度的差异来区分目标与背景，目标与背景的对比度较高，且不易受恶劣天气的影响，但又存在着细节信息不明显、纹理对比度低、成像性能差和可见性差等缺点。可见光成像传感器依据物体反射可见光的差异进行成像，物体反射可见光的差异主要由物体的结构不同造成的，因此可见光图像能够很好地反映物体的纹理细节，具有分辨率高，细节纹理丰富，噪音低等优点，可以捕获丰富的外观信息，但是极易受到恶劣天气的干扰。红外与可见光图像的融合可以弥补各自成像传感器成像能力的不足，结合红外图像的目标强度和可见光图像的纹理细节，同时获得相同场景的互补信息，提高复杂环境下目标的识别效率，因此被广泛应用于医学成像，遥感，目标识别，工业检测等领域。

红外与可见光图像融合技术根据融合理论的不同，可以将融合算法分为：基于多尺度变换的方法，基于稀疏表示的方法，基于神经网络的方法，基于子空间的方法，基于显著性的方法，混合模型和其他方法。虽然红外与可见光图像融合技术已经有了许多的研究，但是无论哪种类型的融合算法都面临一个共同问题，即：难以在保持红外目标强度的同时具备丰富的纹理细节。如果融合结果过度侧重于保留可见光图像的纹理细节，那么必将导致红外图像目标强度的丢失；同样，如果过分的追求目标与背景的高对比度，也会导致融合图像中红外信息的比例过高，然后红外图像中包含着大量的噪声信息，过多的融入红外图像信息将影响图像的空间分辨率，不利于后续的目标检测与识别。虽然简单的将两幅图像相加，可以避免融合过程中信息丢失的问题，但是融合结果并不符合人眼的视觉习惯。因此，目前红外与可见光图像的融合的难题是如何在保证融合结果符合人眼视觉习惯的前提下，兼具红外图像和可见光图像各自的特征信息。

发明内容

本发明的目的是提供一种红外与可见光图像特征增强融合方法，同时保留红外与可见光图像的特征信息，且符合人眼的视觉习惯。

为了实现上述目的，本发明采用的技术方案是：

一种红外与可见光图像特征增强融合方法，包括以下步骤：

步骤一：建立线性关系模型；

步骤二：建立成本函数；

步骤三：提出一种对比度调控因子；

步骤四：求解初始融合结果；

步骤五：红外图像特征信息增强。

本发明技术方案的进一步改进在于：所述步骤一具体为：

假设在以像素k为中心的窗口ω_k内的输出图像q是可见光图像I经线性变换所得，建立线性关系模型如下：

其中，a_k和b_k是线性模型的常量系数，窗口ω_k是以2r为边长的正方形，

和

分别表示红外和可见光图像在对应窗口ω_k内的像素均值。

本发明技术方案的进一步改进在于：所述步骤二具体为：

以红外图像作为输入图像，可见光图像作为引导图像，在可见光图像表现出边缘信息的时候，红外图像才表示边缘，同时认为输入图像p的非边缘但不平滑的区域全部为噪声n，因此q_i＝p_i-n_i，为了减少红外图像细节信息的丢失，需要最小化这个噪声，因而确定了窗口ω_k内的成本函数为：

其中，ε是调节融合图像对比度和像素强度的参数，γ_k为对比度调控因子。

本发明技术方案的进一步改进在于：所述步骤三的对比度调控因子γ_k为：

其中，λ为控制调控因子的功能参数；Γ_I(k)为边缘感知因子，被定义如下：

其中，σ_I,5(k)表示以k点为中心、边长为10的方形窗口ω_k内的像素值极值，

表示该窗口内所有位置像素极值的均值，当k处于一个充满细节的区域时，Γ_I(k)将取得较大的值；当k处于相对平滑区域时，Γ_I(k)将获得一个较小的值。

本发明技术方案的进一步改进在于：所述步骤四的求解过程如下：

令

求得a_k，b_k的值为：

其中，σ_k ²是I在ω_k内像素的方差，N是ω_k内像素的数量；

最后将公式(7)、(8)带入到公式(1)中，即可求得初始融合图像q。

本发明技术方案的进一步改进在于：所述步骤五的具体过程为：

完成初次融合后，应用均值滤波器提取原始红外图像的细节纹理，与初次融合的结果相结合使红外图像特征信息增强，融合结果表达如下：

F＝q+Ψ(p-M(p)) (9)

其中M(·)表示均值滤波器，Ψ是权重参数，P为红外图像。

由于采用了上述技术方案，本发明取得的技术效果有：

本发明所涉及的融合方法可以有效的结合红外与可见光图像的特征信息，不仅将可见光图像的细节纹理以红外图像的像素强度表现出来，而且改善了可见光图像中隐藏于昏暗光照下的细节纹理的可视化程度，提高了融合结果的质量和视觉保证度，便于后续的目标识别与检测。

附图说明

图1是本发明的具体实施步骤的流程图；

图2是本发明的方法的结构框图；

图3a-图3l是本发明实施例中对数据集图像对的融合结果与其他方法的结果比较图。

具体实施方式

下面结合附图及具体实施例对本发明做进一步详细说明：

一种红外与可见光图像特征信息增强融合方法，如图1所示，包括以下步骤：

步骤一：建立线性关系模型

为了使输出图像q保持与可见光图像I一致的梯度信息，同时保证输出图像q具有与红外图像p类似的像素强度，假设在以像素k为中心的窗口ω_k内的输出图像q是可见光图像I经线性变换所得，建立线性关系模型如下：

其中，a_k和b_k是线性模型的常量系数，窗口ω_k是以2r为边长的正方形，

和

分别表示红外和可见光图像在对应窗口ω_k内的像素均值。

公式(1)中用可见光图像每个像素点的灰度值除以该点所在窗口内所有像素的均值，这样可以消除可见光图像像素强度的干扰，之后再乘以红外图像中对应窗口内所有像素的均值，保证输出图像q具有与红外图像类似的像素强度。由公式(1)可知，输出图像q与可见光图像依然存在着线性关系

这就保证了在局部区域内，如果可见光图像I有边缘的时候，输出图像q也保持边缘不变。这意味着输出图像将以红外图像的像素强度呈现可见光图像的梯度信息。

步骤二：建立成本函数：

以红外图像作为输入图像，可见光图像作为引导图像，在可见光图像表现出边缘信息的时候，红外图像才表示边缘，同时认为输入图像p的非边缘但不平滑的区域全部视为噪声n，因此就有了q_i＝p_i-n_i，为了减少红外图像细节信息的丢失，需要最小化这个噪声，因而确定了窗口ω_k内的成本函数：

式中的第一项可以约束融合图像保持和红外图像相似的像素强度；第二项主要对a_k进行限制，其中ε是调节融合图像对比度和像素强度的参数，γ_k为对比度调控因子，通过对γ_k的设计来对a_k进行约束限制进而调节融合图像中局部对比度的大小。通过求解成本函数的最小值，便可得到a_k，b_k的值，将其带入到公式(1)中便可得到输出图像q。

步骤三：提出一种对比度调控因子

由于光照等条件的影响，有部分细节纹理被隐藏在可见光图像中，无法被探测器和人眼识别，因此本发明设计了一种对比度调控因子γ_k，来调节融合图像中局部对比度的大小，γ_k被定义如下：

其中，λ为控制调控因子的功能参数；Γ_I(k)是本发明设计的一种边缘感知因子，被定义如下：

其中，σ_I,5(k)表示以k点为中心、边长为10的方形窗口ω_k内的像素值极值，

表示该窗口内所有位置像素极值的均值，当k处于一个充满细节的区域时，Γ_I(k)将取得较大的值；当k处于相对平滑区域时，Γ_I(k)将获得一个较小的值。

公式(3)可以将Γ_I(k)值映射到[0,1]区间内，且当Γ_I(k)远小于1时，对其适当放大，当Γ_I(k)值接近或者大于1时，γ_k值仍接近1，对Γ_I(k)值不进行放大甚至进行适当抑制。如此，γ_k可以根据每个像素所处位置的边缘信息情况，确定该位置的细节放大倍数，同时将边缘信息过大的位置点视为噪声，并予以适当的抑制。

步骤四：求解初始融合结果

a_k和b_k的值可以通过最优化成本函数(2)求得，最优化过程如下(求参数偏微分)：

令

求得a_k，b_k的值为：

其中σ_k ²是I在ω_k内像素的方差，N是ω_k内像素的数量。

最后将公式(7)、(8)带入到公式(1)中，即可求得初始融合图像q

步骤五：红外图像特征信息增强

在完成上述初次融合后，应用均值滤波器提取原始红外图像的细节纹理，与初次融合的结果相结合，融合结果表达如下：

F＝q+Ψ(p-M(p)) (9)

其中M(·)表示高斯滤波器，Ψ是权重参数，P为红外图像。

仿真条件

为了验证本发明的有效性，对多组红外与可见光图像进行了仿真测试，得到了相应的图像融合结果。实验环境为在具有1.6GHz因特尔核心CPU和8GB内存的计算机上使用MATLAB代码执行。

仿真实验

采用多种图像融合评价指标综合对实施例得到的融合图像及其对比方法输出的融合图像进行对比评估。利用信息熵(EN)来评价融合图像中包含的信息丰富度；采用平均梯度(AG)和边缘强度(EIN)来评价融合结果中的细节纹理和对比度；利用视觉保证度(VIF)和图像清晰度(FD)来评价融合图像的清晰程度和人眼视觉效果。各种对比算法的名称如表1所示，具体比较结果在表2中给出。由表2的数据可以看出，本发明的综合结果是最好的，在各项指标中均取得了最好的结果，说明本发明的方法可以有效的结合红外与可见光图像的特征信息，同时增强了原本隐藏在昏暗的光线下的细节纹理信息，其视觉效果更符合人眼的视觉习惯。

表1

表2

如图3所示，图3a是红外图像，图3b是可见光图像，图3c是LP算法处理过的图像，图3d是RP，图3e是CVT,图3f是NSCT，图3g是ADF，图3h是FPDE，图3i是GTF，图3j是GFF，图3k是TE-MST,图3l是本发明算法。从图中可以看出，本发明融合的图像，清晰度更高，纹理细节对比度更强，同时有很多隐藏在昏暗的光线下的纹理结构被挖掘显示出来，图像信息量更丰富，视觉效果明显好于其他方法。

由以上可知，本发明设计的局部线性模型可以使融合图像保持与可见光图像一致的梯度信息，同时消除了可见光图像像素强度的干扰，并且在成本函数的设计时加入了对比度调控因子和边缘感知因子，避免了传统多尺度融合方法中只能定量设计融合权重，新的成本函数可以根据像素点所处位置的梯度大小，自适应的调节融合结果中细节纹理的对比度大小，同时尽可能保持与红外图像相近的像素强度，进而保留了目标的红外辐射强度。总体而言，本发明不仅有效保留了红外与可见光图像的各自的典型特征，巧妙地解决了由于成像原理不同导致的红外目标强度与细节纹理结构难以兼容的问题，而且有效挖掘原本隐藏在可见光图像中无法被人眼和探测器识别的纹理结构的同时，起到了一定的抑制噪声的作用。

在本说明的描述中，具体实施例等示意性表述不必须针对的是相同的实施例，尽管上面已经给出并描述了本发明的实施例，但上述实施例是示例性的，不能理解为对本发明的限制，本领域的技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。任何根据本发明的技术构思所做的相应的改变，均应包含在本发明权利要求书的保护范围内。

Claims (6)

1.一种红外与可见光图像特征增强融合方法，其特征在于包括以下步骤：

步骤一：建立线性关系模型；

步骤二：建立成本函数；

步骤三：提出一种对比度调控因子；

步骤四：求解初始融合结果；

步骤五：红外图像特征信息增强。

2.根据权利要求1所述的一种红外与可见光图像特征增强融合方法，其特征在于：所述步骤一具体为：

假设在以像素k为中心的窗口ω_k内的输出图像q是可见光图像I经线性变换所得，建立线性关系模型如下：

其中，a_k和b_k是线性模型的常量系数，窗口ω_k是以2r为边长的正方形，

和

分别表示红外和可见光图像在对应窗口ω_k内的像素均值。

3.根据权利要求1所述的一种红外与可见光图像特征增强融合方法，其特征在于：所述步骤二具体为：

以红外图像作为输入图像，可见光图像作为引导图像，在可见光图像表现出边缘信息的时候，红外图像才表示边缘，同时认为输入图像p的非边缘但不平滑的区域全部为噪声n，因此q_i＝p_i-n_i，为了减少红外图像细节信息的丢失，需要最小化这个噪声，因而确定了窗口ω_k内的成本函数为：

其中，ε是调节融合图像对比度和像素强度的参数，γ_k为对比度调控因子。

4.根据权利要求1所述的一种红外与可见光图像特征增强融合方法，其特征在于：所述步骤三的对比度调控因子γ_k为：

其中，λ为控制调控因子的功能参数；Γ_I(k)为边缘感知因子，被定义如下：

其中，σ_I,5(k)表示以k点为中心、边长为10的方形窗口ω_k内的像素值极值，

表示该窗口内所有位置像素极值的均值，当k处于一个充满细节的区域时，Γ_I(k)将取得较大的值；当k处于相对平滑区域时，Γ_I(k)将获得一个较小的值。

5.根据权利要求1所述的一种红外与可见光图像特征增强融合方法，其特征在于：所述步骤四的求解过程如下：

令

求得a_k，b_k的值为：

其中，σ_k ²是I在ω_k内像素的方差，N是ω_k内像素的数量；

最后将公式(7)、(8)带入到公式(1)中，即可求得初始融合图像q。

6.根据权利要求1所述的一种红外与可见光图像特征增强融合方法，其特征在于：所述步骤五的具体过程为：

完成初次融合后，应用均值滤波器提取原始红外图像的细节纹理，与初次融合的结果相结合使红外图像特征信息增强，融合结果表达如下：

F＝q+Ψ(p-M(p)) (9)

其中M(·)表示均值滤波器，Ψ是权重参数，P为红外图像。

Images