CN109801250A

CN109801250A - 基于adc-scm与低秩矩阵表达的红外与可见光图像融合方法

Info

Publication number: CN109801250A
Application number: CN201910023168.7A
Authority: CN
Inventors: 聂仁灿; 侯瑞超; 周冬明; 刘栋; 阮小利; 贺康建; 李华光
Original assignee: Yunnan University YNU
Current assignee: Yunnan University YNU
Priority date: 2019-01-10
Filing date: 2019-01-10
Publication date: 2019-05-24

Abstract

本发明公开一种基于ADC‑SCM与低秩矩阵表达的红外与可见光图像融合方法，涉及图像处理技术领域。所述融合方法结合自适应双通道脉冲发放皮层(ADC‑SCM)与低秩矩阵(LRR)理论提出一种有效的红外与可见光图像融合算法；首先，将低秩表达与调频(FT)显著性算法相结合对红外源图像进行显著区域检测，从而将源图像中的显著区域与背景区域分离；然后，对所得的两个区域分别进行融合，为了最大程度保留显著特征，选取绝对值最大的融合规则对显著区域进行融合；最后通过NSST逆变换获得融合的背景，将融合的显著区域与背景区域进行叠加获得最终的融合图像。本发明的实验结果表明，本发明算法无论是在主观视觉效果，还是客观评价指标上都优于其他常用图像融合算法。

Description

基于ADC-SCM与低秩矩阵表达的红外与可见光图像融合方法

技术领域

本发明涉及图像处理技术领域，具体的涉及一种基于ADC-SCM与低秩矩阵表达的红外与可见光图像融合方法。

背景技术

随着传感器和计算机科学技术的快速发展，图像融合技术在RGB-D图像处理、卫星云图像、医学图像分析、模式识别、现代军事、遥感等诸多应用领域中发挥着重要作用。尤其是结合红外和可见光图像等多模态图像来提高人类视觉感知和目标识别的效率。红外传感器主要捕捉物体发出的热辐射，可以在低光照环境下获取显著的目标信息。与此相反，可见光图像依据物体的光谱反射原理获得的所以通常包含丰富纹理和环境细节，因此可见光图像具有比红外图像更高的空间分辨率。因此，将热辐射和纹理信息融合到一个图像中是红外图像融合的主要任务。常用算法如双边滤波(CBF)、全变分(TV)、稀疏表示(SR)、引导滤波(GFF)等算法能够基本实现信息的融合但是目标对比度低，经常导致热辐射目标信息的丢失甚至引入噪声，视觉效果较差。而基于多尺度分解的融合算法，一般分为三个步骤：首先，对源图像进行多尺度分解，其次，对分解所得系数采用相应的规则进行融合，最后，进行多尺度逆变换对系数重构获得最终的融合图像。

现有的多尺度分解方法包括，拉普拉斯金字塔变换(LAP)、离散小波变换(DWT)、轮廓波变换(CT)、非下采样轮廓波变换(NSCT)、非下采样剪切波变换(NSST)等。通常多尺度分解方法依赖于分解尺度以及融合规则的设定，通常单一的基于尺度分解的融合方法不能较好的整合分解系数，导致融合结果视觉效果较差，融合目标不清晰以及环境细节丢失。脉冲耦合神经网络(PCNN)是第三代人工神经网络，在图像增强、图像分割、图像融合等领域取得了较为广泛的应用。然而，传统的PCNN包含大量的神经网络参数，这些参数的设定往往依赖于人工经验，并且具有较大的运算复杂度，所以缺乏一定的普适性。脉冲发放皮层(SCM)在PCNN的基础上进行改进减少了其大量的参数设置并且缩短了计算时间，同时保留了PCNN的脉冲发放特性。SCM是由若干个神经元互相连接而成的反馈型网络，构成SCM的神经元是一个综合的动态非线性系统，该网络不需要学习和训练。针对红外图像的成像特点，充分保留热辐射信息是融合的关键，所以引入了低秩矩阵对显著特征进行提取。低秩矩阵理论和总变分模型广泛应用于图像去噪、图像恢复、超分辨率复原等领域，低秩矩阵分解可以较好的提取出图像的稀疏特征，适用于红外图像的显著特征以及目标提取，同时求解总变分模型是一个优化过程，可以平衡多模态信息的保留量。实现红外和可见光信息充分有效的融合仍然是一项具有挑战性的任务。

目前，现有技术的红外与可见光图像融合方法，主观视觉效果或客观评价标准上都存在瑕疵，不能较好的保留红外图像中的目标信息、热辐射信息，不能较好的保留可见光图像中的背景细节和环境信息；不能较好的融合红外与可见光信息，不能保留源图像的细节、纹理和主要特征信息，融合结果中通常出现伪影以及引入人工噪声。若解决以上出现的问题，融合结果中红外目标清晰，环境细节丰富、对比度高、解析度高，去除冗余信息，有利于目标识别、目标的精确分类，移动目标定位以及军事侦察等后续任务处理。

发明内容

针对现有技术存在的上述问题，本发明提供了一种基于ADC-SCM与低秩矩阵表达的红外与可见光图像融合方法，能较好的融合红外与可见光信息，且能很好的保留源图像中显著的红外目标、细节、纹理和主要特征信息，并且主观视觉效果和客观评价标准都优于现有图像融合算法。

为实现上述技术目的，达到上述技术效果，本发明是通过以下技术方案实现：

基于ADC-SCM与低秩矩阵表达的红外与可见光图像融合方法，包括以下步骤：

1)对红外源图像进行调频(FT)显著性检测获得初始显著性图，再将红外源图进行低秩分解获得低秩矩阵和稀疏矩阵，初始显著图减去低秩矩阵从而获得最终的显著图，对显著图进行二值化处理，分离显著区域与背景区域；

2)对于显著区域，采用绝对值最大的方法进行融合；

3)对于背景区域，首先采用非下采样剪切波(NSST)对背景进行分解，从而获得高低频系数，低频系数采用总变分模型(TV)进行融合，高频系数采用ADC-SCM模型来选取以保留图像的细节和纹理信息；

4)将上述得到的融合系数进行逆变换得到融合背景区域和显著区域，将融合背景区域和显著区域进行叠加获得最终的融合图像。

进一步的，所述步骤1)FT算法和低秩分解公式如下所示：

S_p(i,j)＝||I_μ-I_ωhc(i,j)||

其中，I_μ表示图像的平均像素值，I_ωhc(i,j)表示经过高斯滤波的图像，||||表示欧氏距离，S_p表示初始显著图；

S_g＝(S_P-Z)*S_p

其中，X表示输入图像，||||_*表示矩阵的核范数，λ为平衡系数，||||_2,1表示l_2-1-norm，Z表示低秩矩阵，E表示稀疏矩阵，Sg表示最终的显著图。

进一步的，所述步骤3)剪切波是一种接近最优的多维函数稀疏表示方法，根据合成膨胀的仿射系统,如下式：

Λ_AB(ψ)＝{ψ_j,l,k(x)＝|detA|^j/2ψ(B^lA^jx-k):j,l∈Z,k∈Z²}

构建了一个Parseval框架，称系统Λ_AB中元素ψ_j,l,k为合成小波。当时，合成小波将转换为剪切波。

进一步的，所述步骤3)NSST的变换过程由多尺度和多方向分解两部分组成的；

NSST的多尺度分解：采用非下采样金字塔分解(Nonsubsample pyramid,NSP)，图像经过k级NSP多尺度分解后,会得到k+1个子带图像，其中包括一个低频子带图像和k大小与源图像相同,但尺度不同的高频子带图像；

NSST方向分解：采用Shearlet滤波器，其核心思想是在伪极网格上对图像进行二维傅里叶变换，然后在网格上用一维子带滤波器进行滤波，从而保证了融合后的图像具有平移不变性。

进一步的，所述步骤3)自适应双通道脉冲发放皮层(ADC-SCM)，相比于传统的脉冲耦合神经网络，减少了大量的参数设置并且将传统的单通道模型改进为双通道，对特征进一步筛选，从而提高了其在黑暗或者复杂区域中提取细节的能力，该模型的数学表达式如下：

E_ij(n)＝gE_ij(n-1)+V_θY_ij(n-1)

上式中，n表示迭代次数，(i，j)下标表示神经元的标号，和分别表示通道1和通道2的外部激励输入，U_ij(n)表示最终的神经元内部活动项，W_kl表示神经元连接权重矩阵，E_ij(n)表示动态阈值，V_θ表示阈值放大系数，Y_ij(n)表示神经元在第n次迭代时的输出信号，f和g是内部活动和动态阈值的信号衰减系数；

为了体现该模型的自适应性和点火幅度差异，采用软限幅Sigmoid函数对神经元输出信号进行改进，如式中X_ij(n)所示,X_ij(n)表示像素点脉冲点火输出幅度。当X_ij(n)＞0.5时，神经元产生一个脉冲，也称为一次点火，信号通过连接矩阵W_kl对空间位置相邻输入相近的神经元进行捕获，从而实现同步脉冲发放，同时为了实现神经元迭代次数的自适应设置从而引入时间矩阵T_ij(n)，也表示经过n次迭代后神经元点火次数，当所有像素点均完成脉冲发放时，迭代过程自动停止，从而避免了靠人工经验设置的不足，降低了计算复杂度，T_ij(n)公式为:

本发明的有益效果：本发明基于ADC-SCM与低秩矩阵表达的红外与可见光图像融合方法，结合自适应双通道脉冲发放皮层(ADC-SCM)与低秩矩阵(LRR)理论提出一种有效的红外与可见光图像融合算法；首先对红外源图像进行调频(FT)显著性检测获得初始显著性图，然后再将红外源图进行低秩分解获得低秩矩阵和稀疏矩阵，初始显著图减去低秩矩阵从而获得最终的显著图，最后对显著图进行二值化处理，分离显著区域与背景区域；对于显著区域，采用绝对值最大的方法进行融合，对于背景区域，首先进行多尺度分解获得高低频系数，然后采用全变分和改进的平均梯度融合规则对其分别进行融合；其次，得到的融合系数进行逆变换得到融合背景区域和显著区域，最后两个区域进行叠加生成最终的融合图像；在公开红外数据集TNO上进行了多组测试，实验结果表明发明提出的算法能较好的融合红外与可见光信息，且能很好的保留源图像的细节、纹理和主要特征信息通过一些可靠的客观评价指标，与其他几种先进的融合算法进行对比，无论从主观视觉效果还是客观评价标准上都优于其他图像融合算法，实验结果表明本发明算法可以充分的保留红外图像中的目标信息、热辐射信息，同时可以保留可见光图像中的背景细节和环境信息，并且融合结果不失真，人物边缘没有伪影，解析度较高，说明本发明算法无论在直观效果还是在客观上，均优于其他算法。

当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例所述NSST分解示意图；

图2为本发明实施例所述双通道脉冲发放皮层模型图；

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

实施例

如图1-2所示

步骤1：对红外源图像进行调频(FT)显著性检测获得初始显著性图，再将红外源图进行低秩分解获得低秩矩阵和稀疏矩阵，初始显著图减去低秩矩阵从而获得最终的显著图，对显著图进行二值化处理，分离显著区域与背景区域；FT算法和低秩分解公式如下所示：

S_p(i,j)＝||I_μ-I_ωhc(i,j)||

S_g＝(S_P-Z)*S_p

步骤2：对于显著区域，采用绝对值最大的方法进行融合；

步骤3：对于背景区域，首先采用非下采样剪切波(NSST)对背景进行分解，从而获得高低频系数，低频系数采用总变分模型(TV)进行融合，高频系数采用ADC-SCM模型来选取以保留图像的细节和纹理信息；

剪切波是一种接近最优的多维函数稀疏表示方法，根据合成膨胀的仿射系统,如下式：

Λ_AB(ψ)＝{ψ_j,l,k(x)＝|detA|^j/2ψ(B^lA^jx-k):j,l∈Z,k∈Z²}

构建了一个Parseval框架，称系统Λ_AB中元素ψ_j,l,k为合成小波。当时，合成小波将转换为剪切波；

NSST的变换过程由多尺度和多方向分解两部分组成的，如图2所示：

如图2所示，自适应双通道脉冲发放皮层(ADC-SCM)，提高了其在黑暗或者复杂区域中提取细节的能力，该模型的数学表达式如下：

E_ij(n)＝gE_ij(n-1)+V_θY_ij(n-1)

上式中，n表示迭代次数，(i,j)下标表示神经元的标号，和分别表示两个外部输入，U_ij(n)表示最终的神经元内部活动项，W_kl表示神经元连接权重矩阵，E_ij(n)表示动态阈值，V_θ表示阈值放大系数，Y_ij(n)表示神经元在第n次迭代时的输出信号，f和g是内部活动和动态阈值的信号衰减系数；

为了体现出点火幅度差异，采用软限幅Sigmoid函数对神经元输出信号进行改进，如式中X_ij(n)所示,X_ij(n)表示像素点脉冲点火输出幅度。当X_ij(n)＞0.5时，神经元产生一个脉冲，也称为一次点火，信号通过连接矩阵W_kl对空间位置相邻输入相近的神经元进行捕获，从而实现同步脉冲发放，同时为了实现神经元自适应设置迭代次数从而引入时间矩阵T_ij(n)，也表示经过n次迭代后神经元点火次数，当所有像素点均完成脉冲发放时，迭代过程自动停止，从而避免了靠人工经验设置的不足，减少了计算时间，T_ij(n)公式为:

步骤4：将上述得到的融合系数进行逆变换得到融合背景区域和显著区域，将融合背景区域和显著区域进行叠加获得最终的融合图像；

ADC-SCM对图像的细节、边缘等信息敏感，而NSST高频系数包含图像的细节和纹理信息，所以在高频系数采用本发明ADC-SCM模型来选取以保留图像的细节和纹理信息；将红外与可见光图像分别进行非下采样剪切波分解，并通过上述融合规则将高低频系数进行融合。最后将融合的显著性区域和背景区域进行叠加获得最终的融合图像。从表1中可以看出，本文算法在这些评价客观指标上比其他现有算法更为突出，证明了本文算法对红外与可见光图像融合的有效性和可行性。

表1.不同融合对比算法在公开数据集上的客观评价指标

本发明基于ADC-SCM与低秩矩阵表达的红外与可见光图像融合方法，结合自适应双通道脉冲发放皮层(ADC-SCM)与低秩矩阵(LRR)理论提出一种有效的红外与可见光图像融合算法；首先对红外源图像进行调频(FT)显著性检测获得初始显著性图，然后再将红外源图进行低秩分解获得低秩矩阵和稀疏矩阵，初始显著图减去低秩矩阵从而获得最终的显著图，最后对显著图进行二值化处理，分离显著区域与背景区域；对于显著区域，采用绝对值最大的方法进行融合，对于背景区域，首先进行多尺度分解获得高低频系数，然后采用全变分和改进的平均梯度融合规则对其分别进行融合；其次，得到的融合系数进行逆变换得到融合背景区域和显著区域，最后两个区域进行叠加生成最终的融合图像；在公开红外数据集TNO上进行了多组测试，实验结果表明发明提出的算法能较好的融合红外与可见光信息，且能很好的保留源图像的细节、纹理和主要特征信息通过一些可靠的客观评价指标，与其他几种先进的融合算法进行对比，无论从主观视觉效果还是客观评价标准上都优于其他图像融合算法，实验结果表明本发明算法可以充分的保留红外图像中的目标信息、热辐射信息，同时可以保留可见光图像中的背景细节和环境信息，并且融合结果不失真，人物边缘没有伪影，解析度较高，说明本发明算法无论在直观效果还是在客观上，均优于其他算法。

在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims

1.基于ADC-SCM与低秩矩阵表达的红外与可见光图像融合方法，其特征在于：包括以下步骤：

2)对于显著区域，采用绝对值最大的方法进行融合；

2.如权利要求1所述的基于ADC-SCM与低秩矩阵表达的红外与可见光图像融合方法，其特征在于：所述步骤1)FT算法和低秩分解公式如下所示：

S_p(i,j)＝||I_μ-I_ωhc(i,j)||

其中，I_μ表示图像的平均像素值，I_ωhc(i,j)表示经过高斯滤波的图像，|| ||表示欧氏距离，S_p表示初始显著图；

S_g＝(S_P-Z)*S_p

其中，X表示输入图像，|| ||_*表示矩阵的核范数，λ为平衡系数，|| ||_2,1表示l_2-1-norm，Z表示低秩矩阵，E表示稀疏矩阵，Sg表示最终的显著图。

3.如权利要求1所述的基于ADC-SCM与低秩矩阵表达的红外与可见光图像融合方法，其特征在于：所述步骤3)剪切波是一种接近最优的多维函数稀疏表示方法，根据合成膨胀的仿射系统,如下式：

Λ_AB(ψ)＝{ψ_j,l,k(x)＝|detA|^j/2ψ(B^lA^jx-k):j,l∈Z,k∈Z²}

4.如权利要求1所述的基于ADC-SCM与低秩矩阵表达的红外与可见光图像融合方法，其特征在于：所述步骤3)NSST的变换过程由多尺度和多方向分解两部分组成的；

5.如权利要求1所述的基于ADC-SCM与低秩矩阵表达的红外与可见光图像融合方法，其特征在于：所述步骤3)自适应双通道脉冲发放皮层(ADC-SCM)，提高了其在黑暗或者复杂区域中提取细节的能力，该模型的数学表达式如下：

E_ij(n)＝gE_ij(n-1)+V_θY_ij(n-1)

上式中，n表示迭代次数，(i,j)下标表示神经元的标号，和分别表示两个外部输入，U_ij(n)表示最终的神经元内部活动项，W_kl表示神经元连接权重矩阵，E_ij(n)表示动态阈值，V_θ表示阈值放大系数，Y_ij(n)表示神经元在第n次迭代时的输出信号，f和g是内部活动和动态阈值的信号衰减系数。