CN102722877B - 基于双通道pcnn的多聚焦图像融合方法 - Google Patents

Abstract

一种图像处理技术领域的基于双通道PCNN的多聚焦图像融合方法，通过分别将两幅图像经NSCT变换后得到若干不同频率子图像，并对应采用基于双通道PCNN进行融合后确定融合图像的各带通子带系数，最后通过NSCT逆变换得到融合图像。本发明克服传统多聚焦图像融合方法的缺陷，改善融合效果。

Description

基于双通道PCNN的多聚焦图像融合方法

技术领域

本发明涉及一种图像处理技术领域的方法，具体是一种基于双通道PCNN(脉冲藕合神经网络，Pulse Coupled Neural Networks)的非下采样Contourlet变换(NSCT)多聚焦图像融合方法。

背景技术

不同类型光学设备，由于其有限景深的特点，造成它们对于同一目标区域内的不同对象所成的像由于焦距不同而产生具有不同焦点的图像，因而造成这些所取得图像的清晰区域也就各异，图像中所有对象不能够达到相同的清晰程度，任何一个图像对信息的表达都是不完整的，但是这些图像表现同一场景的侧重不一样，因此存在互为补充的信息。通过融合不同图像的焦点区域，使得生成的图像具备更为完整的信息内容。

多聚焦图像是由同种传感器采用不同的成像方式(聚焦点的不同)获得的。多聚焦图像融合是将在同一时间或不同时间获取的多聚焦图像信息加以综合，以生成新的有关场景解释的信息处理过程。多聚焦图像融合可以使多个不同距离的目标物体同时清晰地呈现，这为特征提取、图像识别奠定了良好基础。多聚焦图像融合方法大致分为两类：基于空间域的图像融合和基于变换域的图像融合。典型的空域方法是分块融合法，分块法直接选择清晰的图像块作为融合结果，而且不存在下采样环节，具备平移不变性，能有效抑制虚假信息的引入，能准确地保持源图像的有用信息，计算简单，实时性好，但在源图像的清晰区域与模糊区域的交界处容易出现块效应。常用的变换域融合方法包括小波变换及多尺度几何分析方法等。小波变换具有优良的时频局部化性能，它用一组尺度不同的带通滤波器对信号进行滤波，将信号分解为不同频带进行处理。融合图像效果的好坏主要取决于融合方法和融合规则选取的得当与否。但基于小波变换的图像融合方法在过程中会产生伪吉布斯效应，影响融合图像效果。两类方法各自的缺陷使得实现多聚焦图像融合成为一项必要而又相当困难的任务。

中国专利文献号CN1873693，公开日2006-12-06，记载了一种“基于Contourlet变换和改进型脉冲耦合神经网络的图像融合方法”，该技术步骤为：在对输入的可见光与红外线图像进行多尺度、多方向Contourlet分解的基础上，对具有神经生理学背景的PCNN进行改进，利用改进型的IPCNN进行融合策略设计，根据可见光图像和红外线图像的不同特征，对高频细节部分和低频背景部分分别进行融合，生成Contourlet域融合系数，最后经过Contourlet反变换得到融合图像。但该技术的缺点在于：Contourlet变换在离散域内进行，采样过程不具备平移不变性，会产生伪吉布斯效应，影响融合效果，应用对象为多光谱图像，不适合多聚焦图像融合。

经过对现有技术的检索发现，西北工业大学李美丽等人提出“基于NSCT和PCNN的红外与可见光图像融合方法(《光电工程》2010年第6期：90-95)，用非下采样Contourlet变换对已配准的源图像进行分解，得到低频子带系数和各带通子带系数，对各带通子带系数提出了一种改进的基于PCNN的图像融合方法来确定融合图像的各带通子带系数；最后经过非下采样Contourlet逆变换得到融合图像，该方法优于Laplacian方法、小波方法和非下采样Contourlet变换方法，证明利用非下采样Contourlet变换和PCNN进行图像融合是可行的，但该技术的缺点在于：PCNN模型复杂，参数多，计算耗时长，融合对象是包含相同内容的不同光谱图像，不能直接应用到多聚焦图像的融合中。

进一步检索发现，焦竹青、邵金涛、徐保国在“一种新的NSCT域多聚焦图像融合方法”(第21届中国过程控制会议论文，中国杭州，2010年8月)中公开了一种针对同一场景的多聚焦图像，提出一种基于脉冲耦合神经网络(PCNN)的非下采样Contourlet变换(NSCT)域融合方法，该技术首先通过NSCT变换对源图像进行多尺度、多方向分解，将生成的低通子带系数和带通方向子带系数输入PCNN中，使各神经元迭代产生的点火频数构成点火映射图，根据其邻域接近度选择相应的子带系数，最后通过NSCT逆变换得到融合结果。实验分析表明，新方法更大程度的保留了多聚焦图像的清晰区域和特征信息，具有比经典小波变换、Contourlet变换和常规NSCT更好的融合性能。但该技术的缺点在于：PCNN模型复杂，参数多，计算耗时长，融合规则基于系数比较取大，融合图像每个像素对应融合系数仅反映了其中一幅源图像的信息，另一幅图像的影响没有考虑，该方法不适合应用于偏亮或偏暗的图像融合。

中国专利文献号CN101968883A，公开日2011-02-09，记载了一种基于小波变换和邻域特征的多聚焦图像融合方法。首先利用小波变换对图像进行多尺度分解，获得图像在不同分辨率和不同方向下的低频和高频信息；然后根据低频和高频信息的各自特性，采用不用的融合规则进行处理，其中，对低频子图像采用基于邻域归一化梯度加权平均的融合方法，克服了传统的低频分量融合方法忽略边缘信息的缺点，对高频子图像采用基于邻域标准差加权平均的融合方法，可以最大限度地保留图像的细节信息；最后进行小波重构得到融合图像。但该技术的缺点在于：小波变换只在处理一维分段光滑信号效果好，而对于二维自然图像，其中包含大量纹理特性，线奇异性较突出时，小波变换并不是最优表示方法。因为小波展开系数的稀疏性并不理想，产生较大逼近误差，且采样过程不具备平移不变性，会产生伪吉布斯效应，影响融合效果。

发明内容

本发明针对现有融合技术存在的上述不足，为了弥补以上技术缺陷，提出一种基于双通道PCNN的多聚焦图像融合方法，克服传统多聚焦图像融合方法的缺陷，改善融合效果。

本发明是通过以下技术方案实现的，本发明通过分别将两幅图像经NSCT变换后得到若干不同频率子图像，并对应采用基于双通道PCNN进行融合后确定融合图像的各带通子带系数，最后通过NSCT逆变换得到融合图像。

本发明具体包括以下步骤：

第一步、通过非下采样Contourlet变换分解已配准的两幅源图像，并分别获得其各自的一个低频子图像和若干高频子图像。

第二步、将一个低频子图像和若干高频子图像作为分解系数通过双通道脉冲藕合神经网络(PCNN)制定的融合规则进行融合，具体步骤如下：

1)初始化双通道脉冲藕合神经网络(PCNN)参数；

2)将源图像I_A和I_B的对应分解系数分别输入到双通道PCNN的两个通道，与双通道PCNN的反馈系数一起激励神经元；

3)双通道PCNN的脉冲发生器根据当前的阈值决定点火事件，并记录每次迭代后所有点火神经元总数，即本次迭代前所有点火神经元总数与当前迭代中的神经元点火数量的总和，并且每个神经元在整个过程中只点一次火。

4)当所有点火神经元总数小于双通道PCNN的中的所有神经元总数则返回步骤2)，否则对双通道PCNN的内部活动项U进行归一化处理得到融合图像的融合低频分量和不同尺度下不同方向上的高频分量。

第三步、对第二步得到的各带通子带系数进行NSCT逆变换，得到最终的融合图像。

本发明利用了非下采样Contourlet变换能够更好的处理高维的奇异性，如轮廓、纹理等信息，使其能够更加充分挖掘待融合图像的方向信息，对于高维奇异性基于更稀疏的表示，体现了多尺度、多方向性。非下采样Contourlet变换具有更丰富的基函数，能更好地挖掘图像奇异性，得到对比度更高，轮廓更清晰的融合结果，而且由于没有进行下采样，因此有效的避免了Gibbs效应的产生；相比Contourlet变换和其他多分辨分析方法，非下采样Contourlet变换可更好地展现多聚焦图像的方向细节。双通道PCNN能较好的处理偏暗或偏亮的图像，基于视觉特性模型激励的双通道PCNN模型符合人类视觉特性，与其它神经网络模型相比有着更简单的网络结构和更强的适应性，通过制定最佳迭代次数的判定准则，由自适应方法融合确定迭代次数，这就加强了模型的自适应性。双通道PCNN与非下采样Contourlet变换的结合使本发明方案具备了两者的优势，很好的弥补了传统融合技术的缺陷。

附图说明

图1为本发明融合流程示意图。

图2为本发明双通道PCNN的结构图。

图3为实施例1效果示意图；

图中：(a)为左聚焦图像、(b)为右聚焦图像、(c)为实施例效果图、(d)为基于拉普拉斯金字塔变换融合效果图、(e)为基于双通道PCNN的融合效果图、(f)为基于PCNN的融合效果图。

图4为实施例2效果示意图；

图中：(a)为左聚焦图像、(b)为右聚焦图像、(c)为实施例效果图、(d)为基于拉普拉斯金字塔变换融合效果图、(e)为基于双通道PCNN的融合效果图、(f)为基于PCNN的融合效果图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例1

如图1所示，本实施例包括以下步骤：

第一步：对已配准的反映相同内容的左聚焦原始图像I_A和右聚焦原始图像I_B分别进行非下采样Contourlet变换，得到平稳Contourlet变换域的方向子带系数图像；

所述的非下采样Contourlet变换中：采用的尺度分解滤波器为CDF9/7塔状小波滤波器实现，采用的方向分解滤波器为pkva方向滤波器，对原始图像进行两层的尺度分解得到低通分量图像和带通分量图像，即低频子图像I_A-lf和I_B-lf和高频子图像和其中：第1层有4个方向子带，第2层有8个方向子带，其中：k为尺度分解的层数，l为方向分解的方向数。

第二步：初始化双通道脉冲藕合神经网络(PCNN)参数后，分别对于低频子图像I_A-lf和I_B-lf以及高频子图像和采用基于双通道PCNN进行融合，得到融合后的低频子图像I_F-lf以及融合后的高频子图像其中和分别对应I_A和I_B分解后位于第k层尺度、l方向上的高频子图像。

所述的融合是指：通过将经归一化的待融合图像I_A和I_B的不同尺度下的高频子带与低频子带系数中的每个像素点对应一个神经元，若干神经元连接成网络，每个待融合源图像经非下采样Contourlet变换后的分解系数输入该网络，进行若干次迭代，使用不同尺度下的非下采样Contourlet变换分解系数作为对应神经元的输入，经过双通道PCNN点火得到源图像在非下采样Contourlet变换域的点火映射图，根据基于双通道PCNN的融合规则选取融合系数，将融合系数进行区域一致性检验，获取融合图像的各带通子带系数。

所述的初始化是指：设在l层子带中，初始时各神经元都处于熄火状态， $F_{\mathrm{ij}}^{(k,l)}\left(0\right)=0,$ $U_{\mathrm{ij}}^{(k,l)}=0,$ $Y_{\mathrm{ij}}^{(k,l)}\left(0\right)=0,$ T_i，j[n]＝0，k表示分解尺度数，l表示分解方向数。

所述的迭代具体步骤包括：

a)初始条件：各神经元都处于熄火状态， $F_{\mathrm{ij}}^{(k,l)}\left(0\right)=0,$ $U_{\mathrm{ij}}^{(k,l)}\left(0\right)=0,$ $Y_{\mathrm{ij}}^{(k,l)}\left(0\right)=0,$ k表示分解尺度数，l表示分解方向数；

b)迭代操作：将分解系数输入网络，通过接收域的表达、调制域和脉冲产生域，逐点计算和并比较两者大小以决定是否产生点火事件，具体包括：

如图2所示，对应迭代操作过程中的神经元由接收域、调制域和脉冲产生域组成：

接收域：

$F_{\mathrm{ij}}^A\left(n\right)=\underset{k,l}{\mathrm{\Σ}}{w}_{\mathrm{ijkl}}{Y}_{\mathrm{kl}}[n-1]+S_{\mathrm{ij}}^A;$ $F_{\mathrm{ij}}^B\left(n\right)=\underset{k,l}{\mathrm{\Σ}}{m}_{\mathrm{ijkl}}{Y}_{\mathrm{kl}}[n-1]+S_{\mathrm{ij}}^B;$

调制域：

$U_{i,j}\left[n\right]=(1+{\mathrm{\β}}^A{F}_{i,j}^A[n\left]\right)(1+{\mathrm{\β}}^B{F}_{i,j}^B[n\left]\right)+\mathrm{\σ};$

脉冲产生域：

$Y_{i,j}\left[n\right]=\left\{\begin{array}{c}1,U_{i,j}\left[n\right]<T_{i,j}[n-1]\\ 0,\mathrm{else}\end{array}\right.;$ T_i，j[n]＝exp(-α_T)T_i，j[n-1]+V_TY_i，j[n]；

其中：是两个通道第ij个神经元的反馈输入量，为外部激励输入，T_i，j为神经元动态阈值，α_T为时间常数，V_T为归一化常数，w_ijkl、m_ijkl为突触联接权，U_i，j为内部活动项，β^A和β^B分别是的权重系数，σ是调节内部活动量平均水平的水平因子，Y_i，j为第ij个神经元的输出，n为迭代次数。本实施例中，选择β^A＝0.5，β^B＝0.5，α_T＝0.05，σ＝1，V_T＝1000。

所述的接收域接受来自两个通道的外部输入，分别对应两幅不同聚焦源图，这两个量在调制部分进行调制，产生内部活动项U_i，j。U_i，j输入到脉冲产生部分产生神经元的脉冲输出值Y_i，j。所述的脉冲产生域中，当U_i，j[n]＞T_i，j[n-1]时，神经元被激活，输出一个脉冲，同时，T_i，j[n]通过反馈迅速提升，继续进行下一次迭代。当U_i，j[n]≤T_i，j[n-1]时，脉冲产生器关闭，停止产生脉冲。之后，阈值开始指数下降，当U_i，j[n]＞T_i，j[n-1]时，脉冲产生器打开，进入新的迭代循环。

c)迭代终止条件：所有分解系数均计算完毕后，完成本次迭代。

3)脉冲发生器根据当前的阈值决定点火事件，记录每次迭代后神经元点火数量，令Total＝R+G，Total表示当前迭代后所有点火神经元总数，R表示本次迭代前所有点火神经元总数，参数G是用来记录在本次迭代中的神经元点火数量，每个神经元在整个过程中只点一次火。

4)若Total＜N，转到步骤2)，继续进行下一次迭代；若Total≥N，停止迭代，N是指网络中的所有神经元总数。确定融合系数：

令式中表示融合图像的子带系数，表示内部活动项，(i，j)是图像中的位于第i行、第j列的像素点，i＝1，2，…P，j＝1，2，…Q，P为图像总的行数，Q为图像总的列数。

5)归一化的对应融合图像子带系数。由于的一些值可能超过图像动态范围值，不能直接作为输出图像数据，因此将的值归一化到[0，1]。

第三步：对所有平稳Contourlet域的融合子图像进行非下采样Contourlet逆变换，生成融合图像I_F。

实施例2

实施例1和实施例2方法相同，实验图像不同。

综上所述，通过图3，图4的效果比较可以看到，本方法更好地融合多聚焦图像的各自的信息，不仅有效地丰富了图像的背景信息，而且最大限度地保护了图像中的细节，符合人眼视觉特性。所以，在融合图像忠实于源图真实信息方面，本发明方法明显高于基于拉普拉斯金字塔变换、双通道PCNN、PCNN的融合效果。

如图3(c)、(d)、(e)、(f)及表1列出了四种方法融合结果的客观评价指标。

表1实验结果对比表

如图4(c)、(d)、(e)、(f)及表2列出了四种方法融合结果的客观评价指标。

表2实验结果对比表

表1中通过相关系数、标准差、梯度、熵、互信息来衡量融合图像的质量，显示本方法的有效性。上表中融合方法一指基于拉普拉斯金字塔变换融合方法，融合方法二指基于双通道PCNN的融合方法，融合方法三指基于PCNN的融合方法。

主观评价感知能够给出直观的对比，但是在融合结果相近的情况下视觉上难以判断.融合图像的客观评价是从数理统计的角度给出图像特征的数值评价。由表1、2中数据可以看到，本方法在Q_AB/F、互信息和其他方法都有明显改善，本方法所生成的融合图像具有较大的相关系数和互信息，说明它包含了更多来自于源图像的信息，信息更丰富，能更准确反映两幅源图像细节；本方法所生成的融合图像具有较大的梯度说明融合图像的灰度级分布更加分散，图像纹理较丰富，细节突出，较好的发挥了本方法适合融合偏暗图像的特点。采用本文方法融合图像的Q_AB/F值比其他几种方法都高，更好地保留了源图像的边缘细节信息，改善了多聚焦图像的融合效果。

Claims (3)

1.一种基于双通道PCNN的多聚焦图像融合方法，其特征在于，通过分别将两幅图像经NSCT变换后得到若干不同频率子图像，并对应采用基于双通道PCNN进行融合后确定融合图像的各带通子带系数，最后通过NSCT逆变换得到融合图像，具体包括以下步骤： 

（1）、通过非下采样Contourlet变换分解已配准的两幅源图像，并分别获得其各自的一个低频子图像和若干高频子图像； 

（2）、将一个低频子图像和若干高频子图像作为分解系数通过双通道脉冲藕合神经网络制定的融合规则进行融合，具体包括： 

1)初始化双通道脉冲藕合神经网络参数； 

2)将源图像I_A和I_B的对应分解系数分别输入到双通道PCNN的两个通道，与双通道PCNN的反馈系数一起激励神经元； 

3)双通道PCNN的脉冲发生器根据当前的阈值决定点火事件，并记录每次迭代后所有点火神经元总数，即本次迭代前所有点火神经元总数与当前迭代中的神经元点火数量的总和，并且每个神经元在整个过程中只点一次火； 

4)当所有点火神经元总数小于双通道PCNN的中的所有神经元总数则返回步骤1)，否则对双通道PCNN的内部活动项U进行归一化处理得到融合图像的融合低频分量和不同尺度下不同方向上的高频分量； 

（3）、对第（2）步得到的各带通子带系数进行NSCT逆变换，得到最终的融合图像； 

所述的迭代包括： 

a)初始条件:各神经元都处于熄火状态， k表示分解尺度数，l表示分解方向数； 

b)迭代操作:将分解系数输入网络，通过接收域的表达、调制域和脉冲产生域，逐点计算和并比较两者大小以决定是否产生点火事件； 

c)迭代终止条件：所有分解系数均计算完毕后，完成本次迭代； 

所述的迭代操作过程中的神经元由接收域、调制域和脉冲产生域组成： 

接收域： 

调制域： 

脉冲产生域： 

T_i,j[n]＝exp(-α_T)T_i,j[n-1]+V_TY_i,j[n]； 

其中：是两个通道第ij个神经元的反馈输入量，为外部激励输入，T_i,j为神经元动态阈值，α_T为时间常数，V_T为归一化常数，w_ijkl、m_ijkl为突触联接权，U_i,j为内部活动项，β^A和β^B分别是的权重系数，σ是调节内部活动量平均水平的水平因子，Y_i,j为第ij个神经元的输出，n为迭代次数； 

所述的接收域接受来自两个通道的外部输入，分别对应两幅不同聚焦源图，这两个量在调制部分进行调制，产生内部活动项U_i,j，U_i,j输入到脉冲产生部分产生神经元的脉冲输出值Y_i,j； 

所述的脉冲产生域中，当U_i,j[n]>T_i,j[n-1]时，神经元被激活，输出一个脉冲，同时，T_i,j[n]通过反馈迅速提升，继续进行下一次迭代； 

当U_i,j[n]≤T_i,j[n-1]时，脉冲产生器关闭，停止产生脉冲，之后阈值开始指数下降，当U_i,j[n]>T_i,j[n-1]时，脉冲产生器打开，进入新的迭代循环。 

2.根据权利要求1所述的方法，其特征是，所述的融合是指：通过将经归一化的待融合图像I_A和I_B的不同尺度下的高频子带与低频子带系数中的每个像素点对应一个神经元，若干神经元连接成网络，每个待融合源图像经非下采样Contourlet变换后的分解系数输入该网络，进行若干次迭代，使用不同尺度下的非下采样Contourlet变换分解系数作为对应神经元的输入，经过双通道PCNN点火得到源图像在非下采样Contourlet变换域的点火映射图，根据基于双通道PCNN的融合规则选取融合系数，将融合系数进行区域一致性检验，获取融合图像的各带通子带系数。 

3.根据权利要求2所述的方法，其特征是，所述的非下采样Contourlet变换中：采用的尺度分解滤波器为CDF9/7塔状小波滤波器实现，采用的方向分解滤波器为pkva方向滤波器，对原始图像进行两层的尺度分解得到低通分量图像和带通分量图像，即低频子图像I_A-lf和I_B-lf和高频子图像和其中：第1层有4个方向子带，第2层有8个方向子带，其中：k为尺度分解的层数，l为方向分解的方向数。