CN105139371A - 一种基于pcnn与lp变换的多聚焦图像融合方法 - Google Patents

Abstract

本发明公开了基于脉冲耦合神经网络(PCNN)与拉普拉斯金字塔变换(LP)，提出了一种有效的多聚焦图像融合算法。首先，利用LP对图像进行塔形结构的多尺度分解，并利用PCNN对每一尺度的分解图像进行处理，以获取描述特征聚类的神经元点火频率图。然后，基于点火频率图的局部空间频率(LSF)，实现了图像在每一LP分解尺度上的融合。最后通过LP分解的重构算法实现了对多聚焦图像的融合。实验结果表明，本发明方法得到的多聚焦图像融合结果在主观视觉效果和客观评价指标上均优于多种传统融合算法，体现了良好的性能。

Description

一种基于PCNN与LP变换的多聚焦图像融合方法

技术领域

本发明属于数字图像处理技术领域，具体涉及一种基于PCNN与LP变换的多聚焦图像融合方法。

背景技术

多聚焦图像融合是指将两幅及以上的背景相同但聚焦部位不同的源图像，按特定算法融合为一幅新图像。其广泛应用于计算机视觉、目标识别、机器人以及军事等领域。

传统的像素级多分辨图像融合方法，包括基于拉普拉斯金字塔、比率低通金字塔、梯度金字塔和小波变换等融合方法，它们在对源图像进行多尺度分解和系数选取时，由于大都孤立地处理各像素，从而割裂了像素间的联系。从图像计算的角度上分析图像中的高频分量没有得到优化，即不论用什么方法对图像进行融合高频分量都有所损失。而由于人眼视觉系统主要是对图像的高频分量比较敏感，并且高频部分也主要体现了图像的细节信息。图像的区域空间频率可以很好的反映图像的细节信息量以及高频分量。如果在图像融合过程当中可以加入局部空间频率算法，那么对于细节信息的保留必定是一大提高。

PCNN是上个世纪九十年代发展起来的一种新型神经网络。1990年Eckhorn通过对猫大脑视觉皮层中的同步脉冲发放现象研究，提出了展示这种同步脉冲发放现象的连接模型。1993年Johnson以Eckhorn的连接模型为基础，提出了PCNN。PCNN与其它的神经网络相比有其先天的优势——它是以生物大脑视觉皮层中同步脉冲发放现象为背景提出的。所以，某种意义上说，这种方法与人大脑数据处理方式更为贴近，传统的图像融合只考虑了像素点的空间特性，而利用脉冲耦合神经网络进行图像融合，由于网络自身不但与像素点的空间位置有关，而且具有融合的时间层次性。

本发明基于PCNN模型与拉普拉斯金字塔的图像多尺度分解算法，并结合图像区域空间频率提出了一种有效的融合图像方法。采用拉普拉斯金字塔变换算法对图像进行塔形结构的多尺度分解，并利用PCNN对每一分解尺度的数据进行特征聚类以生成对应的点火频率矩阵。由于区域空间频率可以反应的是图像的局部，因此本发明采用基于局部空间频率的图像融合方法有较强的抗噪能力，可以很好的反映图像中的细节信息。

发明内容

本发明要解决的技术问题是提供一种基于PCNN与LP变换的多聚焦图像融合方法，使融合的图像有效地消除多聚焦对图像局部清晰度的影响，最终体现较好的融合质量。

为了解决上述技术问题，本发明提供如下技术方案：

一种基于PCNN与LP变换的多聚焦图像融合方法，具体步骤为：

步骤一、对已经配准好的源图像A和B分别进行N级的LP分解，以获取各自的塔形分解图像R_A1，R_A2，…R_AN和R_B1，R_B2，…R_BN；

步骤二、让R_A1，R_A2，…R_AN和R_B1，R_B2，…R_BN通过PCNN模型分别计算它们的神经元点火频率矩阵F_A1，F_A2，…F_AN和F_B1，F_B2，…F_BN；

步骤三、分别对F_A1，F_A2，…F_AN和F_B1，F_B2，…F_BN，计算它们的图像区域空间频率LSF_A1，LSF_A2，…LSF_AN和LSF_B1，LSF_B2，…LSF_BN；

$LSF=\sqrt{{\mathrm{RF}}^2+{\mathrm{CF}}^2}$

$RF=\sqrt{\frac{1}{M\×N}\underset{i=1}{\overset{M}{\Σ}}\underset{j=2}{\overset{N}{\Σ}}{\[F(i,j)-F(i,j-1)\]}^2}$

$CF=\sqrt{\frac{1}{M\×N}\underset{i=1}{\overset{N}{\Σ}}\underset{j=2}{\overset{M}{\Σ}}{\[F(i,j)-F(i,j-1)\]}^2}$

F(i，j)表示在点(i，j)的灰度值，RF表示行的频率，CF表示列的频率，LSF表示整体空间频率，M、N表示区域窗口大小；

步骤四、将得到的空间频率按照以下的融合规则，计算源图像在每一分解尺度上的融合结果R₁，R₂，…R_N；

$\left\{\begin{array}{c}R(i,j)=\frac{R_A(i,j)+R_B(i,j)}{2},\left|\left({\mathrm{SF}}_A\right(i,j)-{\mathrm{SF}}_B(i,j\left)\right)\right|\&le;0.015\\ R(i,j)=R_A(i,j),\left|\left({\mathrm{SF}}_A\right(i,j)-{\mathrm{SF}}_B(i,j\left)\right)\right|>0.015{\mathrm{andSF}}_A(i,j)>{\mathrm{SF}}_B(i,j)\\ R(i,j)=R_B(i,j),\left|\left({\mathrm{SF}}_A\right(i,j)-{\mathrm{SF}}_B(i,j\left)\right)\right|>0.015{\mathrm{andSF}}_A(i,j)<{\mathrm{SF}}_B(i,j)\end{array}\right.$

R(i，j)表示灰度值；

步骤五、将每一级的融合结果运用LP重构算法得到最终的融合图像。

与现有的技术相比，本发明的有益效果为：

LP是对图像特征进行多尺度分析的有效工具，它的塔形分解数据体现了图像的带通塔形滤波过程，其大小在各层分解尺度下保持一致。同时，有着哺乳动物视皮层视感知机制的PCNN模型对图像具有区域特征聚类的特性。因此，本发明利用LP变换的优点，对图像进行有效的多尺度、多分辨率分解；对图像的带通塔形分解数据采用PCNN进行特征聚类分析，得到体现源图像区域特征分布特性的神经元点火频率图；利用区域空间频率作为衡量点火频率图在局部区域上的清晰度和信息量大小的指标，实现源图像的LP分解数据在各分解尺度上的融合，进而利用LP重构算法实现多聚焦图像的融合。

附图说明

图1为融合算法的流程；

图2为clock图在各种算法下的融合结果；

图3为其它的多聚焦图在本发明算法下的融合结果。

具体实施方式

下面结合附图和实施例对本发明作进一步详细的说明。

本发明的基本思想是：将已经配准好的两幅待融合的多聚焦图像进行LP变换，获得各自的塔形结构分解数据，然后将各图像塔形分解数据的每一级送入PCNN进行迭代运算，以获得其对应的点火频率矩阵。再计算每一分解层次对应点火频率图的区域空间频率，据此按照一定的融合规则实现源图像的塔形分解数据在每一塔形层次上的融合，最后将融合的塔形分解数据运用LP重构算法得到最终的多聚焦融合图像。

请参阅图1-3，具体来讲本发明依次包括以下步骤：

步骤一：将图像进行拉普拉斯金字塔变换；

由于图像的拉普拉斯金字塔的构成是在高斯金字塔的基础上演变而来的，因此首先对图像进行高斯金字塔分解；

高斯金字塔变换的构建过程为：假设高斯金字塔的第I层为G_I，G₀为金字塔的底层(与原图像相同)，G_N为金字塔的顶层，可见高斯金字塔的当前层图像是对其前一层图像先进行高斯低通滤波，然后作隔行隔列的降2采样而生成的。当前层图像的大小依次为前一层图像大小的1/4；

拉普拉斯金子塔的构建，将G_l内插方法，得到放大图像G_l’，使G_l’的尺寸与G_l-1的尺寸相同，表示为；

${G_1}^{\&prime;}(i,j)=4{\mathrm{\&Sigma;}}_{m=-2}^2{\mathrm{\&Sigma;}}_{n=-2}^2\stackrel{\&OverBar;}{\mathrm{\&omega;}}(m,n)G_1(\frac{i+m}{2},\frac{j+n}{2})---\left(1\right)$

$\left\{\begin{array}{cc}{\mathrm{LP}}_l=G_l-G_{l+1}^{\&prime;},& 0\&le;l<N\\ {\mathrm{LP}}_N=G_N,& N=1\end{array}\right.---\left(3\right)$

式中，N为高斯金子塔的层数，LP_l是拉普拉斯金字塔分解的第l层图像；

步骤二：将待融合的图像的塔形数据结构的每一级进行PCNN迭代运算，获得点火矩阵的次数，其中PCNN模型如下；

F_ij(n)＝S_ij(4)

L_ij(n)＝V^LΣ_klW_kjY_ijkl(n-1)(5)

U_ij(n)＝F_ij(n)[1+βL_ij(n)](6)

${\mathrm{\&theta;}}_{ij}\left(n\right)=e^{-a^{\mathrm{\&theta;}}}{\mathrm{\&theta;}}_{ij}(n-1)+V_{ij}^{\mathrm{\&theta;}}{Y}_{ij}(n-1)---\left(7\right)$

$Y_{ij}\left(n\right)=step\left(U_{ij}\right(n)-{\mathrm{\&theta;}}_{ij}(n\left)\right)=\left\{\begin{array}{c}1,U_{ij}\left(n\right)>{\mathrm{\&theta;}}_{ij}\left(n\right)\\ 0,otherwise\end{array}\right.---\left(8\right)$

对于神经元N_ij，式(7)描述的F通道输入和式(8)描述的L通道构成了它的接受域，其中神经元的F通道接受外部激励输入S_ij，即图像的像素值，而L通道接受邻域神经元N_kl的脉冲激励输入Y_ijkl，W_kj为邻域链接权，而V^L为通道幅值。然后在调制域，神经元的F通道输出和L通道输出经过非线性的相乘调制形成了神经元的内部状态值U，β为调制域中L通道输出的链接强度。最后，当内部状态值U大于神经元的阈值时θ_ij时，神经元发出脉冲，即Y_ij＝1。在迭代计算过程中，阈值θ_ij做非线性的指数衰减变化，衰减指数为α^θ，但在发出脉冲后，θ_ij在进行指数衰减的同时还叠加了一个幅值系数

步骤三：分别对F_A1，F_A2，…F_AN和F_B1，F_B2，…，F_BN，计算它们的图像局部空间频率LSF_A1，LSF_A2，…LSF_AN和LSF_B1，LSF_B2，…LSF_BN；

$LSF=\sqrt{{\mathrm{RF}}^2+{\mathrm{CF}}^2}---\left(9\right)$

$RF=\sqrt{\frac{1}{M\&times;N}\underset{i=1}{\overset{M}{\&Sigma;}}\underset{j=2}{\overset{N}{\&Sigma;}}{\&lsqb;F(i,j)-F(i,j-1)\&rsqb;}^2}---\left(10\right)$

$CF=\sqrt{\frac{1}{M\&times;N}\underset{i=1}{\overset{N}{\&Sigma;}}\underset{j=2}{\overset{M}{\&Sigma;}}{\&lsqb;F(i,j)-F(i,j-1)\&rsqb;}^2}---\left(11\right)$

F(i，j)表示在点(i，j)的灰度值，RF表示行的频率，CF表示列的频率，LSF表示整体空间频率，M、N表示区域窗口大小；

步骤四：将得到的空间频率按照以下的融合规则(取大原则)计算源图像A和B在每一分解尺度上的融合结果R₁，R₂，…R_N；

$\left\{\begin{array}{c}R(i,j)=\frac{R_A(i,j)+R_B(i,j)}{2},\left|\left({\mathrm{SF}}_A\right(i,j)-{\mathrm{SF}}_B(i,j\left)\right)\right|\&le;0.015\\ R(i,j)=R_A(i,j),\left|\left({\mathrm{SF}}_A\right(i,j)-{\mathrm{SF}}_B(i,j\left)\right)\right|>0.015{\mathrm{andSF}}_A(i,j)>{\mathrm{SF}}_B(i,j)\\ R(i,j)=R_B(i,j),\left|\left({\mathrm{SF}}_A\right(i,j)-{\mathrm{SF}}_B(i,j\left)\right)\right|>0.015{\mathrm{andSF}}_A(i,j)<{\mathrm{SF}}_B(i,j)\end{array}\right.---\left(12\right)$

R(i，j)表示灰度值；

步骤五：将融合的每一级运用LP重构算法融合成最终的图像。

为了验证基于LP变换及PCNN的多聚焦图像融合的方法的性能，选取了多种多聚焦图像作为融合图像如图2，图3所示，其中图2中(a)、(b)、(c)、(d)、(e)和(f)分别代表主成分分析法(PCA)、小波(WT)、金字塔(FSDP)、高斯金字塔(GP)、拉普拉斯金字塔(LP)和本发明算法融合的结果。为了更好的对融合结果进行分析和对比，采用了互信息、熵、平均梯度、标准差、空间频率、相对标准误差等客观评价标准进行了计算，得到的结果如表1所示。本发明方法的融合结果在各项客观评价指标上均增加了，这也从客观角度有效地说明了本发明方法的融合性能要优于其它各种方法。从图中可知，本发明提出的算法在清晰度和亮度方面都优于其他算法，且与源图最为接近。

表1基于LP变换及PCNN的多聚焦图像融合的方法的融合结果客观评价

虽然以上描述了本发明的具体实施方式，但是本领域熟练技术人员应当理解，这些仅是举例说明，可以对本实施方式作出多种变更或修改，而不背离本发明的原理和实质，本发明的保护范围仅由所附权利要求书限定。

Claims (1)

1.一种基于PCNN与LP变换的多聚焦图像融合的方法，其特征在于，具体步骤为:

步骤一、对已经配准好的源图像A和B分别进行N级的LP分解，以获取各自的塔形分解图像R_A1，R_A2，…R_AN和R_B1，R_B2，…R_BN；

步骤二、让R_A1，R_A2，…R_AN和R_B1，R_B2，…R_BN通过PCNN模型分别计算它们的神经元点火频率矩阵F_A1，F_A2，…F_AN和F_B1，F_B2，…F_BN；

步骤三、分别计算F_A1，F_A2，…F_AN和F_B1，F_B2，…F_BN的图像区域空间频率LSF_A1，LSF_A2，…LSF_AN和LSF_B1，LSF_B2，…LSF_BN；

$LSF=\sqrt{{\mathrm{RF}}^2+{\mathrm{CF}}^2}$

$RF=\sqrt{\frac{1}{M\&times;N},\underset{i=1}{\overset{M}{\&Sigma;}}\underset{j=2}{\overset{N}{\&Sigma;}}{\&lsqb;F(i,j)-F(i,j-1)\&rsqb;}^2}$

$CF=\sqrt{\frac{1}{M\&times;N},\underset{i=1}{\overset{N}{\&Sigma;}}\underset{j=2}{\overset{M}{\&Sigma;}}{\&lsqb;F(i,j)-F(i,j-1)\&rsqb;}^2}$

F(i，j)表示在点(i，j)的灰度值，RF表示行的频率，CF表示列的频率，LSF表示图像空间频率，M、N表示区域窗口大小；

步骤四、将得到的空间频率按照以下的融合规则，计算源图像在每一分解尺度上的融合结果R₁，R₂，…R_N；

$\left\{\begin{array}{c}R(i,j)=\frac{R_A(i,j)+R_B(i,j)}{2},\left|\left({\mathrm{SF}}_A\right(i,j)-{\mathrm{SF}}_B(i,j\left)\right)\right|\&le;0.015\\ R(i,j)=R_A(i,j),\left|\left({\mathrm{SF}}_A\right(i,j)-{\mathrm{SF}}_B(i,j\left)\right)\right|>0.015{\mathrm{andSF}}_A(i,j)>{\mathrm{SF}}_B(i,j)\\ R(i,j)=R_B(i,j),\left|\left({\mathrm{SF}}_A\right(i,j)-{\mathrm{SF}}_B(i,j)\right|>0.015{\mathrm{andSF}}_A(i,j)<{\mathrm{SF}}_B(i,j)\end{array}\right.$

R(i，j)表示灰度值；

步骤五、基于每一级的融合结果，运用LP重构算法得到最终的多聚焦融合图像。