CN104463821A - 一种红外图像与可见光图像的融合方法 - Google Patents

Abstract

本发明公开了一种红外图像与可见光图像的融合方法，包含以下步骤：步骤1)对输入的红外图像和可见光图像进行显著性检测；步骤2)将红外图像和可见光图像作为外部激励和周围神经元的输出输入到PCNN模型中,并结合显著性检测结果对PCNN模型进行图像融合得到最终图像。本发明将红外图像与可见光图像同时输入到一个PCNN模型中，并以显著值为指导进行加权，从而实现了一种高效的非线性图像融合方法。

Description

一种红外图像与可见光图像的融合方法

技术领域

本发明属于图像融合技术领域，特别是涉及航空系统中红外图像与可见光图像融合技术的应用。

背景技术

本发明主要针对红外图像与可见光图像融合技术在航空系统中的应用设计了一种高效的红外图像与可见光图像融合算法。红外成像传感器与可见光成像传感器相比，红外成像传感器具有穿透烟尘能力强，并可以昼夜工作等优点，可见光图像则包含较多的边缘以及纹理信息。红外图像与可见光图像间信息存在冗余和互补。应用图像融合技术来更有效的分析和处理这些信息可以带来的效益有：

●实现多个成像传感器的信息共享、优势互补，增强作战飞机的态势感知能力；

●丰富了目标搜索、探测、跟踪、识别的手段，提高目标识别的可靠性；

●图像传感器大多工作方式为无源，支持隐蔽探测、隐蔽接敌，提升了飞机隐身与反隐身能力；

●采用智能算法处理多源图像，减轻了飞行员的工作负荷；

●提高航电系统综合化程度以及资源利用率。

一种简单的图像融合方法是对源图像的对应像素进行平均加权，但同时也带来了一些负面的影响，如降低图像的对比度。近年来，许多学者发现基于多分辨率分析的方法具有良好的图像表示能力，并被广泛的应用于图像融合之中，如金字塔算法、小波变换、多尺度几何小波等。虽然基于多分辨率分析的方法能够获得较好的融合性能，但算法的计算复杂度较大，尤其是基于多尺度几何小波的图像融合算法，虽然效果最佳，但很难做到实时。图像显著性检测可以得到代表图像显著性的标量图，关注于找出人类观察者第一眼所注意到的固定点或对象，图像中越显著的像素点将具有更大的标量值，而通过显著图来指导融合权重的分配则可以获得比普通平均加权更好的融合结果，使原始图像中的显著区域在融合图像中更好的凸显出来，针对可见光与红外图像的特点，通过显著性检测来指导融合，可以将可见光图像的边缘细节信息以及红外图像中的目标信息更好的融入到融合图像中，从而获得较好的融合效果。

脉冲耦合神经网络(Pulse Coupled Neural Network，PCNN)是模拟猫的视觉皮层细胞对视觉信号的处理机制而产生的一类新型神经网络模型，其信息处理的模式与人类视觉处理过程十分相似，并且可以根据不同的应用来对模型进行相应的改变，在图像处理领域有广泛的应用。在图像融合领域，基于PCNN模型的图像融合算法大致有三种类型，直接利用PCNN模型在空域进行融合的算法；将PCNN模型与多分辨率分析相结合的方法；双通道的PCNN模型等。直接利用PCNN模型的方法一般都需要多个PCNN模型，与多分辨率分析相结合的方法需要多分辨率分解与逆变换的过程，因此这些算法一般都具有较高的计算复杂度。虽然基于双通道PCNN模型的图像融合算法仅使用了一个PCNN模型从而使算法具有较高的效率，但其融合结果并不是对原始图像的加权平均，物理意义并不清晰，而且对于PCNN模型的非线性特性并没有充分利用。

发明内容

本发明所要解决的问题是提供一种高效的红外图像与可见光图像融合算法，提出了一种红外图像与可见光图像的融合方法，具有较大显著性值的像素在融合图像中将具有更大的权重；并设计了一种基于改进PCNN模型的图像融合框架，两幅图像同时输入到一个PCNN模型中，并以显著值为指导进行加权，从而实现了一种高效的非线性图像融合算法。

本发明的发明目的通过以下技术方案实现：

一种红外图像与可见光图像的融合方法，包含以下步骤：

步骤1)、对输入的红外图像和可见光图像进行显著性检测；

$C(i,j)=\underset{(m,n)\∈\mathrm{\Ω}}{\mathrm{\Σ}}\mathrm{\ω}(m,n,i,j)d(m,n,i,j)\mathrm{\Ψ}(m,n,i,j),$

其中，C(i,j)代表图像I中像素点(i,j)的对比度函数，Ω代表像素点(i,j)的邻域，(m,n)是像素点(i,j)邻域的坐标值，ω代表空间分布的重要度函数，d代表像素灰度差值的重要度函数，ψ代表像素点在整幅图像中稀有程度的函数；

步骤2)、将红外图像和可见光图像作为外部激励S^A、S^B和周围神经元的输出输入到PCNN模型中,并结合显著性检测结果对PCNN模型进行图像融合得到最终图像。

依据上述特征，所述空间分布的重要度函数ω的公式为：

$\mathrm{\ω}(m,n,i,j)=\frac{1}{2{\mathrm{\π\δ}}^2}{e}^{-({(m-i)}^2+{(n-j)}^2)/\left({2\mathrm{\δ}}^2\right)}.$

所述像素灰度差值的重要度函数d的公式为：

d(m,n,i,j)＝|I(i,j)-I(m,n)|。

所述像素在整幅图像中稀有程度的函数ψ的公式为：

$\mathrm{\ψ}(m,n,i,j)=\left(\underset{(i,j)\∈I}{\mathrm{\Σ}}\right|I(m,n)-I(i.j)|-\min )/(\max -\min ).$

依据上述特征，所述PCNN模型为：

$H_{\mathrm{ij}}^A\left[n\right]=S_{\mathrm{ij}}^A+\underset{k,l}{\mathrm{\Σ}}{w}_{\mathrm{ijkl}}{Y}_{\mathrm{kl}}[n-1]$

$H_{\mathrm{ij}}^B\left[n\right]=S_{\mathrm{ij}}^B+\underset{k,l}{\mathrm{\Σ}}{m}_{\mathrm{ijkl}}{Y}_{\mathrm{kl}}[n-1]$

$U_{\mathrm{ij}}\left[n\right]={\mathrm{\α}}_{\mathrm{ij}}^A{H}_{\mathrm{ij}}^A\left[n\right]+{\mathrm{\α}}_{\mathrm{ij}}^B{H}_{\mathrm{ij}}^B\left[n\right]+\mathrm{gain}$

$Y_{\mathrm{ij}}\left[n\right]=\left\{\begin{array}{cc}{U}_{\mathrm{ij}}\left[n\right]-{\mathrm{Sur}}_{\mathrm{ij}}\left[n\right],& U_{\mathrm{ij}}\left[n\right]>T_{\mathrm{ij}}\left[n\right]\\ 0,& \mathrm{otherwise}\end{array}\right.$

$T_{\mathrm{ij}}\left[n\right]=e^{-{\mathrm{\α}}_T}{t}_{\mathrm{ij}}[n-1]+V_T{Y}_{\mathrm{ij}}\left[n\right],$

其中，H^A和H^B代表两个对称的输入，α^A和α^B为两个输入的权重系数，其具体的值由显著图来决定，gain为人工添加的增益，U为神经元的内部活动信号，T为动态阈值，Y为神经元的脉冲输出信号，V_T为动态阈值的放大系数，α_T为动态阈值衰减系数，M和W为内部连接矩阵，Sur代表周围神经元的输入，k_ijkl＝w_ijkl＝m_ijkl，Sur_ij＝∑_klk_ijklY_kl[n-1]。

依据上述特征，所述步骤2)中图像融合的步骤为：

步骤2.1)初始化参数和矩阵，U＝Y＝O＝0，T＝100，gain＝10，K＝M＝W＝[0.1091 0.1049 0.1091；0.1409 0 0.1409；0.1091 0.1049 0.1091]。

步骤2.2)、 $\mathrm{Sur}=Y\⊗K;$

H^A＝S^A+Sur；

H^B＝S^B+Sur；

U＝α^AH^A+α^BH^B+gain；

如果U_ij＞T_ij，则Y_ij＝U_ij-Sur_ij，否则Y_ij＝0；

$T=e^{-{\mathrm{\α}}_T}T+V_{T}Y;$

gain＝gain-2；

O_ij＝Y_ij；

步骤2.3)、如果所有的神经元全部点火，则进入下一步，否则返回步骤2.2；

步骤2.4)、O为融合框架的最终输出。

依据上述特征，所述 ${\mathrm{\α}}^A=\frac{{\mathrm{\θ}}_A}{{\mathrm{\θ}}_A+{\mathrm{\θ}}_B},{\mathrm{\α}}^B=\frac{{\mathrm{\θ}}_B}{{\mathrm{\θ}}_A+{\mathrm{\θ}}_B},$ 其中 ${\mathrm{\θ}}_i=e^{\frac{v_i}{\mathrm{\δ}}},i=A,B,$ A和B分别代表红外图像和可见光图像，δ是可调参数。

与现有技术相比，本发明充分利用了红外图像与可见光图像中的冗余和互补信息，增加了图像中目标的对比度，并且算法计算简单，实时性较好，能够增强作战飞机的态势感知能力；丰富目标搜索、探测、跟踪、识别的手段，提高目标识别的可靠性；图像传感器大多工作方式为无源，支持隐蔽探测、隐蔽接敌，提升了飞机隐身与反隐身能力；采用智能算法处理多源图像，减轻了飞行员的工作负荷；提高航电系统综合化程度以及资源利用率；具有较高的经济效益。

附图说明

图1为本发明的实施流程图；

图2a为本发明的实验数据—红外图像1；

图2b为本发明的实验数据—可见光图像1；

图2c为本发明的实验结果1；

图3a为本发明的实验数据—红外图像2；

图3b为本发明的实验数据—可见光图像2；

图3c为本发明的实验结果2。

具体实施方式

下面结合附图对本发明作进一步的详细说明。

本发明主要解决红外图像与可见光图像融合技术中的有效性和实时性问题，设计了一种适用于灰度图像的视觉显著性检测方法，并利用得到的显著图指导融合，具有较大显著值的像素点将分配更大的权重。受到双通道PCNN模型的启发，设计了一种基于改进PCNN模型的图像融合框架，两幅图像可同时输入到一个PCNN模型中，并利用图像的显著性来指导融合，通过利用PCNN模型的非线性特性来设计融合规则，增加了图像中目标的对比度，从而获得了较好的融合效果。

本发明包括有：视觉显著性检测方法及基于改进PCNN模型的融合方法；

视觉显著性检测方法首先对输入的红外和可见光图像进行显著性检测，在灰度图像中显著性区域相比于周围区域应该具有更高的对比度，而对比度的值可以通过对应像素点与其周围像素点的灰度值差分计算得到。该算法主要考虑三点来确定对比度函数。1.像素点与其邻域像素点的灰度差，灰度差越大对对比度函数的贡献越大；2.像素点与其邻域像素点的距离，距离较近的像素点之间相互影响较大，对对比度函数的贡献也相对较大，反之则对对比度函数的贡献较小；3.像素点在图像中的稀有程度，一般情况下图像中越稀少的部分往往更加重要，因此应该具有更大的对比度函数值。

对图像I中点(i,j)的对比度函数C(i,j)的定义如公式(1)所示，其中Ω代表像素点(i,j)的邻域，(m,n)是像素点(i,j)邻域的坐标值，ω和d分别代表空间分布和像素灰度差值的重要度函数，ψ代表像素在整幅图像中稀有程度的函数。

$C(i,j)=\underset{(m,n)\∈\mathrm{\Ω}}{\mathrm{\Σ}}\mathrm{\ω}(m,n,i,j)d(m,n,i,j)\mathrm{\Ψ}(m,n,i,j)---\left(1\right).$

式(2)中我们选择二维高斯核函数作为描述相邻点之间空间影响的重要度函数，其他的核函数也许会具有相似或更好的结果，本发明中不深入探讨。

$\mathrm{\ω}(m,n,i,j)=\frac{1}{2{\mathrm{\π\δ}}^2}{e}^{-({(m-i)}^2+{(n-j)}^2)/\left({2\mathrm{\δ}}^2\right)}---\left(2\right).$

像素灰度差值的重要度函数如公式(3)定义：

d(m,n,i,j)＝|I(i,j)-I(m,n)|  (3)。

代表像素稀有程度的函数定义如公式(4)：

$\mathrm{\ψ}(m,n,i,j)=\left(\underset{(i,j)\∈I}{\mathrm{\Σ}}\right|I(m,n)-I(i.j)|-\min )/(\max -\min )---\left(4\right).$

通过将像素点的灰度值与整幅图像中所有的像素点灰度值作差并累计求和，图像中越稀有的像素点其所得的值将越大，然后通过最大最小值归一化得到像素点稀有程度的描述函数。

为了保证算法的实时性，我们将图像中具有相同亮度值的项合并，式(4)可以写成如下形式：

$\mathrm{\ψ}(m,n,i,j)=\left(\underset{k=0}{\stackrel{255}{\mathrm{\Σ}}}{f}_k\right|I(m,n)-k|-\min )/(\max -\min )---\left(5\right)$

式中，f_k是亮度值为k的像素在图像中出现的频率，k∈[0255]，频率可以表示为直方图的形式。

像素点(m,n)的亮度值为v，将其与亮度为k的像素的灰度距离由函数D(v,k)表示，则稀有程度的描述函数计算可以简化如下：

$\mathrm{\ψ}(m,n,i,j)=(\underset{k=0}{\stackrel{255}{\mathrm{\Σ}}}{f}_{k}D(v,k)-\min )/(\max -\min )---\left(6\right)$

本发明提出了一种基于改进PCNN模型的图像融合方法，如图1所示，在改进的模型中二个图像激励可以同时输入到一个PCNN模型中，改进模型的离散数学方程描述如下：

$H_{\mathrm{ij}}^A\left[n\right]=S_{\mathrm{ij}}^A+\underset{k,l}{\mathrm{\Σ}}{w}_{\mathrm{ijkl}}{Y}_{\mathrm{kl}}[n-1]---\left(7\right)$

$H_{\mathrm{ij}}^B\left[n\right]=S_{\mathrm{ij}}^B+\underset{k,l}{\mathrm{\Σ}}{w}_{\mathrm{ijkl}}{Y}_{\mathrm{kl}}[n-1]---\left(8\right)$

$U_{\mathrm{ij}}\left[n\right]={\mathrm{\α}}_{\mathrm{ij}}^A{H}_{\mathrm{ij}}^A\left[n\right]+{\mathrm{\α}}_{\mathrm{ij}}^B{H}_{\mathrm{ij}}^B\left[n\right]+\mathrm{gain}---\left(9\right)$

$Y_{\mathrm{ij}}\left[n\right]=\left\{\begin{array}{cc}{U}_{\mathrm{ij}}\left[n\right]-{\mathrm{Sur}}_{\mathrm{ij}}\left[n\right],& U_{\mathrm{ij}}\left[n\right]>T_{\mathrm{ij}}\left[n\right]\\ 0,& \mathrm{otherwise}\end{array}\right.---\left(10\right)$

$T_{\mathrm{ij}}\left[n\right]=e^{-{\mathrm{\α}}_T}{t}_{\mathrm{ij}}[n-1]+V_T{Y}_{\mathrm{ij}}\left[n\right]---\left(11\right)$

H^A和H^B代表两个对称的输入，α^A和α^B为两个输入的权重系数，其具体的值由显著图来决定。gain为人工添加的增益，用于利用所设计融合框架的非线性融合特性增强融合图像的对比度。参数U代表神经元的内部活动信号，T为动态阈值，Y为神经元的脉冲输出信号，V_T为动态阈值的放大系数，α_T为动态阈值衰减系数，M和W为内部连接矩阵，w{ijkl}，m{ijkl}为W和M中的值。Sur代表周围神经元的输入，一般情况下，k_ijkl＝w_ijkl＝m_ijkl，Sur_ij＝∑_klk_ijklY_kl[n-1]。K是外部连接矩阵，k{ijkl}代表K中的值。

基于改进PCNN模型的图像融合过程如下，首先，将外部激励和周围神经元的输出输入到模型中；然后，这些信息在模型的信息融合部分进行加权和混合；最后，随着阈值的衰减完成图像中所有信息的融合。具体的步骤如下：

1)初始化参数和矩阵，U＝Y＝O＝0，T＝100，gain＝10，

K＝M＝W＝[0.1091 0.1049 0.1091；0.1409 0 0.1409；0.1091 0.1049 0.1091]。

2) $\mathrm{Sur}=Y\⊗K;$

H^A＝S^A+Sur；

H^B＝S^B+Sur；

U＝α^AH^A+α^BH^B+gain；

如果U_ij＞T_ij，则Y_ij＝U_ij-Sur_ij，否则Y_ij＝0；

$T=e^{-{\mathrm{\α}}_T}T+V_{T}Y;$

gain＝gain-2；

O_ij＝Y_ij；

3)如果所有的神经元全部点火，则进入下一步，否则返回步骤2；

4)O为设计的融合框架的最终输出。

本发明中采用视觉显著图来指导融合，具有较大显著值的像素点在融合过程中将分配较大的权重，设θ为中间变量，令：

${\mathrm{\θ}}_i=e^{\frac{v_i}{\mathrm{\δ}}},i=A,B---\left(12\right)$

其中δ是可调参数，在融合过程中用于调节融合系数对于显著值的敏感程度。本发明中δ的值设为10；v代表像素点的显著值，对比度C其实就是计算出来的v，但C是对比度的定义，v是用3*3窗口大小滑窗计算出来的值，多大窗口是可调的。根据得到的显著图可确定红外图像与可见光图像的对应像素点的显著值v_A，v_B，进行归一化得到：

${\mathrm{\α}}^A=\frac{{\mathrm{\θ}}_A}{{\mathrm{\θ}}_A+{\mathrm{\θ}}_B}---\left(13\right)$

${\mathrm{\α}}^B=\frac{{\mathrm{\θ}}_B}{{\mathrm{\θ}}_A+{\mathrm{\θ}}_B}---\left(14\right)$

图2a、图2b、图2c和图3a、图3b、图3c是本发明对两组经典的红外图像与可见光图像的融合结果，本发明算法很好的保持了可见光图像中的边缘细节信息以及红外图像中的目标信息，并且算法计算简单，对于320×240大小的图像，matlab仿真结果平均处理时间约0.9s。

Claims (7)

1.一种红外图像与可见光图像的融合方法，包含以下步骤：

步骤1)、对输入的红外图像和可见光图像进行显著性检测；

$C(i,j)=\underset{(m,n)\∈\mathrm{\Ω}}{\mathrm{\Σ}}\mathrm{\ω}(m,n,i,j)d(m,n,i,j)\mathrm{\ψ}(m,n,i,j),$

其中，C(i,j)代表图像I中像素点(i,j)的对比度函数，Ω代表像素点(i,j)的邻域，(m,n)是像素点(i,j)邻域的坐标值，ω代表空间分布的重要度函数，d代表像素灰度差值的重要度函数，ψ代表像素点在整幅图像中稀有程度的函数；

步骤2)、将红外图像和可见光图像作为外部激励S^A、S^B和周围神经元的输出输入到PCNN模型中,并结合显著性检测结果对PCNN模型进行图像融合得到最终图像。

2.根据权利要求1所述的一种红外图像与可见光图像的融合方法，其特征在于所述空间分布的重要度函数ω的公式为：

$\mathrm{\ω}(m,n,i,j)=\frac{1}{2\mathrm{\π}{\mathrm{\δ}}^2}{e}^{-{((m-i)}^2+\left({n-j)}^2\right)/\left(2{\mathrm{\δ}}^2\right)}.$

3.根据权利要求1所述的一种红外图像与可见光图像的融合方法，其特征在于所述像素灰度差值的重要度函数d的公式为：

d(m,n,i,j)＝|I(i,j)-I(m,n)|。

4.根据权利要求1所述的一种红外图像与可见光图像的融合方法，其特征在于所述像素在整幅图像中稀有程度的函数ψ的公式为：

$\mathrm{\ψ}(m,n,i,j)=\left(\underset{(i,j)\∈I}{\mathrm{\Σ}}\right|I(m,n)-I(i,j)|-\min )/(\max -\min ).$

5.根据权利要求1所述的一种红外图像与可见光图像的融合方法，其特征在于所述PCNN模型为：

$H_{\mathrm{ij}}^A\left[n\right]=S_{\mathrm{ij}}^A+\underset{k,l}{\mathrm{\Σ}}{w}_{\mathrm{ijkl}}{Y}_{\mathrm{kl}}[n-1]$

$H_{\mathrm{ij}}^B\left[n\right]=S_{\mathrm{ij}}^B+\underset{k,l}{\mathrm{\Σ}}{w}_{\mathrm{ijkl}}{Y}_{\mathrm{kl}}[n-1]$

$U_{\mathrm{ij}}\left[n\right]={\mathrm{\α}}_{\mathrm{ij}}^A{H}_{\mathrm{ij}}^A\left[n\right]+{\mathrm{\α}}_{\mathrm{ij}}^B{H}_{\mathrm{ij}}^B\left[n\right]+\mathrm{gain}$

$Y_{\mathrm{ij}}\left[n\right]=\left\{\begin{array}{cc}{U}_{\mathrm{ij}}\left[n\right]-{\mathrm{Sur}}_{\mathrm{ij}}\left[n\right],& U_{\mathrm{ij}}\left[n\right]>T_{\mathrm{ij}}\left[n\right]\\ 0,& \mathrm{otherwise}\end{array}\right.$

$T_{\mathrm{ij}}\left[n\right]=e^{-{\mathrm{\α}}_T}{T}_{\mathrm{ij}}[n-1]+V_T{Y}_{\mathrm{ij}}\left[n\right]$

其中，H^A和H^B代表两个对称的输入，α^A和α^B为两个输入的权重系数，其具体的值由显著图来决定，gain为人工添加的增益，U为神经元的内部活动信号，T为动态阈值，Y为神经元的脉冲输出信号，V_T为动态阈值的放大系数，α_T为动态阈值衰减系数，M和W为内部连接矩阵，Sur代表周围神经元的输入，k_ijkl＝w_ijkl＝m_ijkl，Sur_ij＝∑_klk_ijklY_kl[n-1]。

6.根据权利要求1所述的一种红外图像与可见光图像的融合方法，其特征在于所述步骤2)中图像融合的步骤为：

步骤2.1)初始化参数和矩阵，U＝Y＝O＝0，T＝100，gain＝10，K＝M＝W＝[0.10910.10490.1091；0.140900.1409；0.10910.10490.1091]。

步骤2.2)、 $\mathrm{Sur}=Y\⊗K;$

H^A＝S^A+Sur；

H^B＝S^B+Sur；

U＝α^AH^A+α^BH^B+gain；

如果U_ij＞T_ij，则Y_ij＝U_ij-Sur_ij，否则Y_ij＝0；

$T=e^{-{\mathrm{\α}}_T}T+V_{T}Y;$

gain＝gain-2；

O_ij＝Y_ij；

步骤2.3)、如果所有的神经元全部点火，则进入下一步，否则返回步骤2.2；

步骤2.4)、O为融合图像的最终输出。

7.根据权利要求5或6所述的一种红外图像与可见光图像的融合方法，其特征在于所述其中i＝A,B，A和B分别代表红外图像和可见光图像，δ是可调参数。