CN114612359A - 基于特征提取的可见光与红外图像融合方法 - Google Patents

Abstract

本发明公开了一种基于特征提取的可见光与红外图像融合方法，首先，对红外图像采用混合滤波算法进行预处理；其次，扩展图像的灰度直方图，使其充满整个灰度范围，凸显红外目标并弱化背景影响；接着，分别对不同光谱图像做高斯图像金字塔处理，再通过拉普拉斯金字塔分别得到不同尺度下图像的显著性区域；然后，对红外感兴趣区域计算，通过优势信息比较策略，对不同光谱的显著性区域进行比较，得到各个尺度下的红外图像感兴趣区域；最后，把不同尺度下的红外感兴趣区域融合入可见光图像中，得到不同光谱的融合结果。本发明的多光谱图像融合方法，细节信息保留完整、鲁棒性强，解决了单一可见光传感器光谱探测范围有限的问题。

Description

基于特征提取的可见光与红外图像融合方法

技术领域

本发明属于图像融合技术领域，特别是涉及一种在不同场景下鲁棒性强、融合细节精度高的针对可见光和红外光谱图像的融合方法。

背景技术

近年来随着多源图像传感器的普及，人们的观测场景已经不仅仅局限于单一波段的可见光范围内，多光谱图像大大丰富了人们的观测手段。目前图像融合技术已经广泛应用于军事、安防、医用等领域，在目标探测，危险物品检验，组织器官检查等方面展现了重要的作用，尤其在军事领域内，以多光谱传感器进行信息融合的技术已经成为现代战争中的关键技术。

在国外，图像融合技术自上世纪九十年代起逐渐受到了广泛地重视，美国麻省理工学院林肯实验室、空军研究实验室、荷兰人力因素所等均在该领域有着深入地研究；国外知名期刊如Infrared Physics and Technology、IEEE Transaction on ImageProcessing与IEEE Transaction on Signal Processing等也在不断收录最新的多光谱图像融合技术领域的研究成果。

在国内，图像融合技术在近三十年也进行了大量的研究。包括北京理工大学、南京理工大学等高校和中科院遥感所等研究也投入到了图像融合系统的研究中。国内的相关期刊如《光学与光电技术》、《光子学报》、《红外与激光工程》等刊物也在不断发表最新的研究成果。

目前的图像融合的方法思路按作用的对象来分类可以分为像素级，特征级和决策级等等。在实际的工程应用中，常常采用像素级的图像融合方式，常见的图像融合方法可以分为两大类：基于非多尺度变换的图像融合方法和基于多尺度变换的图像融合方法。

基于非多尺度变换的图像融合方法有多种方式，最简单的方式是对多源图像相同位置像素做加权平均，该方法易于实现，然而融合后图像容易产生图片拼接痕迹，并且容易增加图像噪声，且权值的选择是关键问题。主成成分分析(PCA)融合方法采用高分辨率图像简单替换低分辨率图像的第一主成分，因此会损失掉低分辨率图像第一主成分中光谱中的特征信息。非多尺度变换的图像融合方法无法考虑到不同光谱图像中各个波段的特点，因此无法达到最好的融合效果。

基于多尺度变换的图像融合方法主要分为小波变换和图像金字塔变换的图像融合方法。小波变换图像融合利用小波多分辨率分解与人眼视觉系统的多通道分解相似性原理，多尺度变换特性更加符合人类的视觉机制，适于图像融合。提升小波变换具有自适应设计强、可不规则采样等优点，融合视觉效果较好。然而，其表达的是源图像中部分方向信息，仍会造成图像细节信息的丢失。

因此，现有的图像融合方法往往只能够将不同光谱信息进行简单地累加增强，而没有做出信息判断。现有的技术存在的局限性和问题是图像融合算法难以提取出不同光谱探测器中的优势信息而进行图像融合，因此得到地融合结果无法较好地展示出不同光谱探测器的优点，会造成图像细节信息损失；另外现有的图像融合方法往往再复杂场景下的融合效果有限，在复杂背景下无法有效地区分出背景与目标区域进行图像融合，使得图像融合的效果不理想。

发明内容

本发明目的在于提供一种可见光图像与红外图像融合的多光谱图像融合方法，融合图像中细节信息保留完整、在不同场景下鲁棒性强，解决了单一可见光传感器光谱探测范围有限的问题。

为了实现本发明目的，本发明公开了一种基于特征提取的可见光与红外图像融合方法，包括如下步骤：

步骤1、红外图像预处理，对红外图像采用混合滤波算法进行预处理；

步骤2、红外图像增强，采用对比度增强算法，对红外图像扩展灰度直方图，使其充满整个灰度范围，凸显红外目标并弱化背景影响，得到背景抑制红外图像；

步骤3、显著性区域提取，分别对红外图像和对应的可见光图像做高斯图像金字塔处理，再对各层金字塔尺寸还原，通过拉普拉斯金字塔分别得到不同尺度下红外图像与可见光图像的显著性区域；

步骤4、红外感兴趣区域计算，通过优势信息比较策略，对不同光谱的显著性区域进行比较，得到各个尺度下的红外图像感兴趣区域；

步骤5、多光谱图像融合，将不同尺度下的红外感兴趣区域融合入可见光图像中，得到不同光谱的融合结果。

进一步地，步骤1具体为：

对于一个尺寸为N×N的图像窗口，以混合滤波算法表示为：

g₁＝med{f(i,j-N),...f(i,j),...f(i,j+N)}

g₂＝med{f(i-N,j),..f(i,j),...f(i+N,j)}

g₃＝med{f(i+N,j-N),...f(i,j),...f(i-N,j+N)}

g₄＝med{f(i-N,j-N),...f(i,j),...f(i+N,j+N)}

式中，K_filter(x,y)表示混合滤波在(x,y)点处的处理结果，f(i,j)表示原始红外图像中位置(i,j)的灰度值，N为窗口大小，med{}为取中值操作，定义一组取中值方法，分别计算目标点0°、45°、90°、135°四个方向的灰度中值，取中值表示目标点的灰度，则g₁、g₂、g₃、g₄分别表示目标点(i,j)处90°、0°、135°、45°方向灰度的中值。

进一步地，步骤2具体为：

按下式对预处理之后的红外图像进行红外图像增强，得到背景抑制红外图像，

上式中f(x,y)为红外图像坐标(x,y)处的像素灰度值，l(x,y)为拉伸变化后坐标(x,y)处的像素灰度值，min[f(x,y)]表示源图像最小像素灰度值，max[f(x,y)]表示源图像最大像素灰度值，N表示拉伸图像后的灰度级数，取值范围[0,256]。

进一步地，步骤3具体为：

步骤3-1、高斯图像金字塔计算，分别将增强后的红外图像和可见光图像通过高斯滤波，得到高斯模糊后图像，再通过降采样得到第一层高斯金字塔图像G₁，再将第一层高斯金字塔进行以上步骤，通过不停迭代i次即可得到整个高斯金字塔图像序列G_i，二维高斯滤波函数如下式所示：

式中，高斯滤波的方差为σ，x和y分别表示二维平面的横、纵坐标，通过使用一组高斯方差为σ₁＜σ₂＜σ₃＜σ₄生成高斯金字塔图像；

步骤3-2、多尺度特征提取，将高斯金字塔图像G_i内插向上采样，得到尺寸还原后的高斯金字塔图像P_i，

则拉普拉斯金字塔可以由下式得到：

L_i＝G_i-P_i

其中L_i表示拉普拉斯金字塔的第i层；

步骤3-3、显著性区域图像计算，将获得的可见光与红外图像的拉普拉斯图像金字塔通过计算，可以分别得到不同光谱图像的显著性区域：

式中，a_i为第i层拉普拉斯图像金字塔的融合增益系数，b_i为第i层拉普拉斯图像金字塔的融合增益系数，a_i与b_i的取值范围为[0.5,2]；Lr_i表示红外拉普拉斯图像金字塔序列，Lv_i表示可见光拉普拉斯图像金字塔序列；将各层拉普拉斯图像金字塔加权融合,得到可见光显著区域图像V_Ros和红外显著区域图像Ir_Ros。

进一步地，步骤4具体为：

P(x,y)＝g(x,y)⊙Ir_Ros(x,y)

式中，⊙定义为矩阵对应元素相乘，g(x,y)表示红外显著区域的融合增益系数；V_Ros(x,y)表示特征提取可见光显著图像(x,y)处灰度值，Ir_Ros(x,y)表示红外显著图像(x,y)处灰度值；当在点(x,y)处时，存在V_Ros(x,y)-Ir_Ros(x,y)大于等于阈值T时，则表示处于可见光显著区域内，不需要将红外图像融合入可见光图像，此时令融合增益系数g(x,y)＝0，达到保留可见光图像中细节信息的目的；

当V_Ros(x,y)-Ir_Ros(x,y)小于阈值T时，表示处于红外显著区域内，此时令融合增益系数g(x,y)＝a，a为常数，取值为[0.5,2]，P(x,y)表示点(x,y)处红外特征图像灰度值，它等于该点处融合增益系数g(x,y)与红外显著图Ir_Ros(x,y)的乘积。

进一步地，步骤5具体为：

将所获得的红外感兴趣区域图像融合入原始的可见光图像中：

F_img＝I_img+P_img

式中，P_img表示红外感兴趣区域的图像，I_img表示可见光图像，F_img表示最终得到的融合图像。

与现有技术相比，本发明的显著进步在于：1)本发明的多光谱图像融合方法得到融合图像中的细节信息保留完整、在不同场景下鲁棒性强，解决了单一可见光传感器光谱探测范围有限的问题；2)不同光谱优势信息提取完整，本发明通过比较融合策略，能够保留不同光谱图像中的优势信息，使得融合图像中的细节信息保留完整。现有的图像融合方法往往只能够将不同光谱信息进行简单地累加增强，而没有做出信息判断，从而造成图像细节信息损失。算法利用比较融合策略，分别保留红外图像和可见光图像中的优势区域，实现了图像融合过程中细节信息的保存，提高了融合图像的空间分辨率；3)不同场景下鲁棒性强，本发明采用高斯拉普拉斯图像金字塔对不同光谱图像进行多尺度分解，从而得到图像不同频段的特征信息，从而区分出背景杂波与感兴趣的目标区域，相比较于传统的图像融合方法无法有效地区分出背景与目标区域，本文方法能够在复杂场景中提取出目标区域进行信息融合，在不同场景下的鲁棒性更强。

为更清楚说明本发明的功能特性以及结构参数，下面结合附图及具体实施方式进一步说明。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明可见光与红外图像融合方法的主流程图；

图2为原始红外图像；

图3为预处理后的红外图像；

图4为特征增强背景抑制后红外图像；

图5为可见光与红外图像的显著性区域图像；

图6为感兴趣区域提取后的红外图像；

图7为可见光与红外感兴趣区域融合后图像。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，图1为本发明可见光与红外图像融合方法的主流程图，包括以下步骤：

步骤1、红外图像预处理，对红外图像采用混合滤波算法进行预处理；

步骤2、红外图像增强，采用对比度增强算法，对红外图像扩展灰度直方图，使其充满整个灰度范围，凸显红外目标并弱化背景影响，得到背景抑制红外图像；

步骤3、显著性区域提取，分别对不同光谱图像做高斯图像金字塔处理，再对各层金字塔尺寸还原，通过拉普拉斯金字塔分别得到不同尺度下红外图像与可见光图像的显著性区域；

步骤4、红外感兴趣区域计算，通过优势信息比较策略，对不同光谱的显著性区域进行比较，得到各个尺度下的红外图像感兴趣区域；

步骤5、多光谱图像融合，将不同尺度下的红外感兴趣区域融合入可见光图像中，得到不同光谱的融合结果。

实施例

步骤1、红外图像预处理，红外探测器由于自身器件容易产生非均匀性，会对红外图像成像质量造成影响，如图2所示。因此首先需要对红外图像进行混合滤波，去除红外图像中的噪声影响，提高信噪比。

对于一个尺寸为N×N的图像窗口，以混合滤波算法表示为：

式中，K_filter(x,y)表示混合滤波在(x,y)点处的处理结果，f(i,j)表示原始红外图像中位置(i,j)的灰度值，N为窗口大小，med{}为取中值操作，定义一组取中值方法，分别计算目标点0°、45°、90°、135°四个方向的灰度中值，取中值表示目标点的灰度，则g₁、g₂、g₃、g₄分别表示目标点(i,j)处90°、0°、135°、45°方向灰度的中值。通过图像预处理，得到去除噪声后的红外图像如图3所示。

步骤2、红外图像增强，采用对比度拉伸图像增强算法，对预处理后的红外图像作进一步的增强，达到抑制背景，凸显红外目标的目的。

按下式对预处理之后的红外图像进行红外图像增强，得到背景抑制红外图像，

上式中f(x,y)为红外图像坐标(x,y)处的像素灰度值，l(x,y)为拉伸变化后坐标(x,y)处的像素灰度值，min[f(x,y)]表示源图像最小像素灰度值，max[f(x,y)]表示源图像最大像素灰度值，N表示拉伸图像后的灰度级数，取值范围[0,256]。

具体地，在本实施例中，图4为增强后的红外图像。

步骤3、显著性区域提取，分别对增强后红外图像与可见光图像做高斯图像金字塔处理，得到不同光谱图像的各个尺度下的图像，再将高斯金字塔图像尺寸还原，通过相邻高斯图像差分得到拉普拉斯图像金字塔，即可提取出不同尺度的高频特征信息，分别将不同光谱的各个尺度高频特征信息加权融合，分别得到红外图像和可见光图像的显著性区域。具体步骤包括：

步骤3-1、高斯图像金字塔计算：

将原始图像通过高斯滤波，得到高斯模糊后图像，再通过降采样得到第一层高斯金字塔图像G₁，再将第一层高斯金字塔进行以上步骤，通过不停迭代i次即可得到整个高斯金字塔图像序列G_i。二维高斯滤波函数如下式所示：

式中，高斯滤波的方差为σ，x和y分别表示二维平面的横、纵坐标。通过使用一组高斯方差为σ₁＜σ₂＜σ₃＜σ₄生成高斯金字塔图像；

步骤3-2、多尺度特征提取：

将高斯金字塔图像G_i内插向上采样，得到尺寸还原后的高斯金字塔图像P_i。则拉普拉斯金字塔可以由下式得到：

L_i＝G_i-P_i (4)

其中L_i表示拉普拉斯金字塔的第i层。

步骤3-3、显著性区域图像计算：

将获得的可见光与红外图像的拉普拉斯图像金字塔通过计算，可以分别得到不同光谱图像的显著性区域：

式中，a_i为第i层拉普拉斯图像金字塔的融合增益系数，b_i为第i层拉普拉斯图像金字塔的融合增益系数，a_i与b_i的取值范围为[0.5,2]；Lr_i表示红外拉普拉斯图像金字塔序列，Lv_i表示可见光拉普拉斯图像金字塔序列；将各层拉普拉斯图像金字塔加权融合,得到可见光显著区域图像V_Ros和红外显著区域图像Ir_Ros。

显著性区域提取结果如图5所示，图5(a)为原始的可见光图像，5(b)为经过步骤1、步骤2处理后得到的增强后红外图像，图5(c)和图5(d)分别为可见光与红外图像的显著性区域提取结果。

步骤4、红外感兴趣区域计算：对比红外与可见光图像的显著区域，找出红外图像中明显存在而可见光图像中不存在的感兴趣区域，红外特征图像即定义为包含感兴趣红外区域的图像。则红外感兴趣图像的计算方式如下：

P(x,y)＝g(x,y)⊙Ir_Ros(x,y) (7)

式中，⊙定义为矩阵对应元素相乘，g(x,y)表示红外显著区域的融合增益系数，用V_Ros(x,y)特征提取可见光显著图像(x,y)处灰度值，Ir_Ros(x,y)表示红外显著图像(x,y)处灰度值。当在点(x,y)处时，存在V_Ros(x,y)-Ir_Ros(x,y)大于等于阈值T时，则表示处于可见光显著区域内，不需要将红外图像融合入可见光图像，此时令融合增益系数g(x,y)＝0，达到保留可见光图像中细节信息的目的。

当V_Ros(x,y)-Ir_Ros(x,y)小于阈值T时，表示处于红外显著区域内，此时令融合增益系数g(x,y)＝a(a为常数，通常取值为[0.5,2])。式(6)中P(x,y)表示点(x,y)处红外特征图像灰度值，它等于该点处融合增益系数g(x,y)与红外显著图Ir_Ros(x,y)的乘积。

图6所示为红外感兴趣区域提取结果。

步骤5、图像融合步骤包括：

将所获得的红外感兴趣区域图像融合入原始的可见光图像中：

F_img＝I_img+P_img (8)

式中，P_img表示红外感兴趣区域的图像，I_img表示可见光图像，F_img表示最终得到的融合图像。

可见光与红外感兴趣区域的融合结果如图7所示。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (6)

1.一种基于特征提取的可见光与红外图像融合方法，其特征在于，包括如下步骤：

步骤1、红外图像预处理，对红外图像采用混合滤波算法进行预处理；

步骤2、红外图像增强，采用对比度增强算法，对红外图像扩展灰度直方图，使其充满整个灰度范围，凸显红外目标并弱化背景影响，得到背景抑制红外图像；

步骤3、显著性区域提取，分别对红外图像和对应的可见光图像做高斯图像金字塔处理，再对各层金字塔尺寸还原，通过拉普拉斯金字塔分别得到不同尺度下红外图像与可见光图像的显著性区域；

步骤4、红外感兴趣区域计算，通过优势信息比较策略，对不同光谱的显著性区域进行比较，得到各个尺度下的红外图像感兴趣区域；

步骤5、多光谱图像融合，将不同尺度下的红外感兴趣区域融合入可见光图像中，得到不同光谱的融合结果。

2.根据权利要求1所述的基于特征提取的可见光与红外图像融合方法，其特征在于，步骤1具体为：

对于一个尺寸为N×N的图像窗口，以混合滤波算法表示为：

g₁＝med{f(i,j-N),...f(i,j),...f(i,j+N)}

g₂＝med{f(i-N,j),..f(i,j),...f(i+N,j)}

g₃＝med{f(i+N,j-N),...f(i,j),...f(i-N,j+N)}

g₄＝med{f(i-N,j-N),...f(i,j),...f(i+N,j+N)}

式中，K_filter(x,y)表示混合滤波在(x,y)点处的处理结果，f(i,j)表示原始红外图像中位置(i,j)的灰度值，N为窗口大小，med{}为取中值操作，定义一组取中值方法，分别计算目标点0°、45°、90°、135°四个方向的灰度中值，取中值表示目标点的灰度，则g₁、g₂、g₃、g₄分别表示目标点(i,j)处90°、0°、135°、45°方向灰度的中值。

3.根据权利要求1所述的基于特征提取的可见光与红外图像融合方法，其特征在于，步骤2具体为：

按下式对预处理之后的红外图像进行红外图像增强，得到背景抑制红外图像，

上式中f(x,y)为红外图像坐标(x,y)处的像素灰度值，l(x,y)为拉伸变化后坐标(x,y)处的像素灰度值，min[f(x,y)]表示源图像最小像素灰度值，max[f(x,y)]表示源图像最大像素灰度值，N表示拉伸图像后的灰度级数，取值范围[0,256]。

4.根据权利要求1所述的基于特征提取的可见光与红外图像融合方法，其特征在于，步骤3具体为：

步骤3-1、高斯图像金字塔计算，分别将增强后的红外图像和可见光图像通过高斯滤波，得到高斯模糊后图像，再通过降采样得到第一层高斯金字塔图像G₁，再将第一层高斯金字塔进行以上步骤，通过不停迭代i次即可得到整个高斯金字塔图像序列G_i，二维高斯滤波函数如下式所示：

式中，高斯滤波的方差为σ，x和y分别表示二维平面的横、纵坐标，通过使用一组高斯方差为σ₁＜σ₂＜σ₃＜σ₄生成高斯金字塔图像；

步骤3-2、多尺度特征提取，将高斯金字塔图像G_i内插向上采样，得到尺寸还原后的高斯金字塔图像P_i，

则拉普拉斯金字塔可以由下式得到：

L_i＝G_i-P_i

其中L_i表示拉普拉斯金字塔的第i层；

步骤3-3、显著性区域图像计算，将获得的可见光与红外图像的拉普拉斯图像金字塔通过计算，可以分别得到不同光谱图像的显著性区域：

式中，a_i为第i层拉普拉斯图像金字塔的融合增益系数，b_i为第i层拉普拉斯图像金字塔的融合增益系数，a_i与b_i的取值范围为[0.5,2]；Lr_i表示红外拉普拉斯图像金字塔序列，Lv_i表示可见光拉普拉斯图像金字塔序列；将各层拉普拉斯图像金字塔加权融合，得到可见光显著区域图像V_Ros和红外显著区域图像Ir_Ros。

5.根据权利要求1所述的基于特征提取的可见光与红外图像融合方法，其特征在于，步骤4具体为：

P(x,y)＝g(x,y)⊙Ir_Ros(x,y)

式中，⊙定义为矩阵对应元素相乘，g(x,y)表示红外显著区域的融合增益系数；V_Ros(x,y)表示特征提取可见光显著图像(x,y)处灰度值，Ir_Ros(x,y)表示红外显著图像(x,y)处灰度值；当在点(x,y)处时，存在V_Ros(x,y)-Ir_Ros(x,y)大于等于阈值T时，则表示处于可见光显著区域内，不需要将红外图像融合入可见光图像，此时令融合增益系数g(x,y)＝0，达到保留可见光图像中细节信息的目的；

当V_Ros(x,y)-Ir_Ros(x,y)小于阈值T时，表示处于红外显著区域内，此时令融合增益系数g(x,y)＝a，a为常数，取值为[0.5,2]，P(x,y)表示点(x,y)处红外特征图像灰度值，它等于该点处融合增益系数g(x,y)与红外显著图Ir_Ros(x,y)的乘积。

6.根据权利要求1所述的一种基于特征提取的可见光与红外图像融合方法，其特征在于，步骤5具体为：

将所获得的红外感兴趣区域图像融合入原始的可见光图像中：

F_img＝I_img+P_img

式中，P_img表示红外感兴趣区域的图像，I_img表示可见光图像，F_img表示最终得到的融合图像。

Images