CN105551010A - 基于nsct及深度信息激励pcnn的多聚焦图像融合方法 - Google Patents

Abstract

本发明公开了一种基于非下采样Contourlet变换及深度信息激励PCNN的多聚焦图像融合方法。它是对输入的多聚焦源图像进行多尺度多方向的非下采样Contourlet变换后生成一个低频子带图像及一系列的高频子带图像。再对低频子带采取基于子带系数的边缘信息能量来得到低频子带系数，对高频子带采取改进的PCNN模型确定各带通的子带系数。最后通过非下采样Contourlet逆变换得到融合图像。改进的PCNN主要体现在利用采用能够较好描述图像方向及纹理信息的改进拉普拉斯能量和(SML)与图像深度信息结合的因子作为模型的输入，而不像大多数基于PCNN算法将像素灰度值作为模型输入项。本发明方法能够很好的运用于图像融合领域中，不论从客观评价指标还是主观视觉效果，实验结果表明本发明发放能够得到更加符合人眼视觉规律的融合结果。

Description

基于NSCT及深度信息激励PCNN的多聚焦图像融合方法

技术领域

本发明属于图像处理中的图像融合领域，尤其涉及一种基于非下采样Contourlet变换(NSCT)及深度信息激励PCNN的多聚焦图像融合方法。

背景技术

多聚焦图像融合技术是指将同一场景中聚焦对象为不同局部物体的多幅源图像进行融合，有效获取各个源图像的清晰部分，最终得到一幅包含该空间更为全面的图像信息的高质量图像。

图像融合方法分类有像素级、特征级、决策级这三个不同层次。本发明研究的多聚焦图像融合属于像素级图像融合的层次，主要包括基于空间域的图像融合和基于变换域的图像融合。目前大多数研究以基于变换域的方法为主。该方法主要通过多尺度变换的方法将图像空域变为频域，再经过融合规则的处理得到融合系数，最终通过多尺度的逆变换得到融合结果。小波变换是最常用的变换域融合方法，具有良好的时频局部性能，能很好地保留图像细节信息，但其不具备平移不变性，会产生伪吉布斯现象。2002年Contourlet变换的提出解决了小波变换分解方向子带少的问题，但其不具备平移不变性，导致融合图像失真，ArthurL.daCunha等人提出非下采样Contourlet变换，具有平移不变性，避免出现伪吉布斯现象。常用的多尺度变换还包括Laplace金字塔、曲波、轮廓波等。多尺度图像融合的研究难点主要包括多尺度分解方法的选择以及融合方法的选择两方面。多尺度分解方法如前所述有Laplacian塔式法、小波变换和Contourlet变换等，在融合方法上主要有平均法、最大值法和区域能量法等。研究表明，利用PCNN神经网络的同步激发特性来设计融合方法有较好的融合效果。

神经网络在图像融合中的应用主要有：双模态神经网络、多感知器以及脉冲耦合神经网络。其中PCNN应用最广泛，国际上称为第三代人工神经网络。PCNN是1990年Eckhorn通过对猫的大脑视觉皮层中的同步脉冲发放特性的研究而提出的新型神经网络。1993年Johnson以Eckhorn提出模型为基础，正式提出了PCNN，由若干个神经元互连而构成的反馈型网络。PCNN具有特有的生物学特性，它是以生物大脑视觉皮层中同步脉冲发放现象为背景提出的，当应用到图像融合中时不仅利用了像素点的空间特性而且还具有融合的时间层次性。

本发明基于改进PCNN模型和非下采样Contourlet变换的多尺度分解算法，采用改进拉普拉斯能量和(SML)与图像深度信息结合的因子对PCNN模型进行改进而提出的一种新型图像融合方法。采用非下采样Contourlet变换对源图像进行多尺度分解得到低频子带及各带通子带，低频子带的系数选取采用基于子带系数的边缘信息能量的方法确定，带通子带系数通过PCNN模型来确定，最后通过非下采样Contourlet逆变换得到融合图像。由于人眼视觉系统对单个像素不敏感，而对图像边缘、方向和纹理等信息较敏感，所提出的PCNN采用能够较好描述图像方向及纹理信息的改进拉普拉斯能量和(SML)与图像深度信息结合的因子作为输入项的值而没有采用单个像素的灰度值。

发明内容

为了解决上述问题，本发明需要解决的技术问题是针对PCNN应用到图像融合中的不足之处，提出基于改进PCNN模型和非下采样Contourlet变换的多尺度分解算法。该方法更符合人眼视觉系统的视物规律，使融合图像效果更佳。

为达成上述目的，本发明采用如下技术方案：

一种基于非下采样Contourlet变换及深度信息激励PCNN的多聚焦图像融合方法，具体步骤如下：

(1)在对同一场景的多聚焦图像进行配准的预处理基础上，分别对多聚焦图像I_A和I_B进行多尺度、多方向的非下采样Contourlet变换，两图各分解为一幅低频子带图像和一系列不同分辨率的高频子带图像。

(2)对低频子带图像I_A-lf和I_B-lf采用基于子带系数的边缘信息能量来得到融合后的低频子带图像I_F-lf，而没有采用传统方法平均法，因为该方法没有考虑图像边缘的信息，降低了图像的对比度。能量表达式为：

$E_{edge}\left(d\right)=\underset{i=1}{\overset{m}{\Σ}}\underset{j=1}{\overset{n}{\Σ}}|I(i,j){|}^2$

I(i,j)为边缘矩阵元素。

(3)高频子带图像和采用改进的PCNN进行融合得到融合后的高频子带图像和分别为源图像分解后的第k尺度、l方向上的高频子图像。

(4)逆变换，对得到的高频及低频图像采取非下采样Contourlet逆变换，得到融合后的图像I_F。

上述高频子带图像的融合策略是根据迭代后神经元的点火次数来决定融合系数的选取。在改进的PCNN模型中，图像的每个像素点对应一个神经元，将改进拉普拉斯能量和(SML)与图像深度信息结合的因子作为神经元输入。各源图像输入网络后进行相同的迭代次数，根据神经元的点火次数选取较大的那个神经元对应的输入图像的像素值作为得到的融合系数。

高频子带图像基于改进PCNN的融合策略主要包括如下具体步骤：

(1)PCNN模型初始化。设定参数的初始值和迭代次数。

(2)将高频子带图像作为输入图像，每个像素点对应一个神经元，但不是将像素点的灰度值作为输入对象。

(3)将改进拉普拉斯能量和(SML)与图像深度信息d(r)结合的因子作为神经元输入。用I(i,j)表示图像在(i,j)处的系数，SML的定义如下：

${\▿}_{ML}^{2}f(x,y)=|2f(x,y)-f(x-1,y)-f(x+1,y)|+|2f(x,y)-f(x,y-1)-f(x,y+1)|$

$SML(i,j)=\underset{x=i-N}{\overset{i+N}{\Σ}}\underset{y=j-N}{\overset{j+N}{\Σ}}{\▿}_{ML}^{2}f(x,y)$

引入的深度信息可用来移除图像的不清晰边缘，深度信息d(r)的定义如下：

$d\left(r\right)\∝\frac{1}{\sqrt{{\[R\left(r\right)\]}^2-1}}$

$R\left(r\right)=\frac{\left|\right|\▿i(x,y)\left|\right|}{\left|\right|\▿i_1(x,y)\left|\right|}=\frac{\sqrt{\▿i{\left(x\right)}^2+\▿i{\left(y\right)}^2}}{\sqrt{\▿i_1{\left(x\right)}^2+\▿i_1{\left(y\right)}^2}}$

$\begin{array}{c}\▿i_1\left(x\right)=\▿\left(i\left(x\right)\⊗g\left(x,{\mathrm{\σ}}_0\right)\right)\\ =\▿\left(\left(Au\left(x\right)+B\right)\⊗g\left(x,\mathrm{\σ}\right)\⊗g\left(x,{\mathrm{\σ}}_0\right)\right)\\ =\frac{A}{\sqrt{2\mathrm{\π}\left({\mathrm{\σ}}^2+{\mathrm{\σ}}_0^2\right)}}\exp \left(-\frac{x^2}{2\left({\mathrm{\σ}}^2+{\mathrm{\σ}}_0^2\right)}\right)\end{array}$

R(r)表示输入的散焦图像的梯度和它的高斯核重模糊图像梯度的比值，σ₀表示重模糊核的标准偏差，称为重模糊尺度。

PCNN的输入项F_ij定义为：

F_ij＝SML(i,j)*[d(r)]^-2

N为区域窗口大小。

(4)与原始PCNN模型不同，本发明的PCNN模型神经元的链接强度并没有取相同的固定常数值，而是由对应的像素特征所决定。本文将采取像素的拉普拉斯能量(laplace_energy,LE)以及可见度(visibility,VI)作为神经元的链接强度值。

$LE=\underset{(u,v)\∈\mathrm{\ω}}{\Σ}{(f_{uu}+f_{vv})}^2$

$VI=\frac{1}{N}\underset{(u,v)\∈\mathrm{\ω}}{\Σ}{\left(\frac{1}{m_k}\right)}^{\mathrm{\α}}\·\frac{|f(u,v)-m_k|}{m_k}$

其中f(u,v)为(u,v)处的像素值，ω为以(x,y)为中心的窗口，m_k为窗口中的像素灰度平均值，N为该窗口中总的像素数。拉普拉斯能量越大，该局部图像越清晰。

(5)取得以拉普拉斯能量及可见度作为神经元的链接强度后，分别计算相应的图像pcnnA_LE及pcnnA_VI值，图像A的pcnnA＝(pcnnA_LE+pcnnA_VI)/2；同理也可以计算图像B的pcnnB＝(pcnnB_LE+pcnnB_VI)/2。pcnnA与pcnnB二者中较大的系数作为最终的NSCT系数。

附图说明

图1为融合算法流程图。

图2为薄透镜模型的聚焦和散焦演示图。

图3为深度信息估计过程。

图4为单个PCNN神经元模型图。

图5为各种融合方法对比图。

具体实施方式

本发明基于非下采样Contourlet变换及深度信息激励PCNN的多聚焦图像融合方法，如图1所示：分别对原始输入的多聚焦图像进行相同的非下采样Contourlet变换，得到一幅低频子带图像及一系列的多分辨率及多方向性的高频子带图像。再对低频子带及高频子带分别应用不同的融合策略得到融合系数，最后对得到的融合系数进行非下采样Contourlet逆变换，得到最终的融合结果。具体的步骤如下：

(1)在对同一场景的多聚焦图像进行配准的预处理基础上，分别对多聚焦图像I_A和I_B进行多尺度、多方向的非下采样Contourlet变换，两图各分解为一幅低频子带图像和一系列不同分辨率的高频子带图像。

(2)对低频子带图像I_A-lf和I_B-lf采用基于子带系数的边缘信息能量来得到融合后的低频子带图像I_F-lf，而没有采用传统方法平均法，因为该方法没有考虑图像边缘的信息，降低了图像的对比度。能量表达式为

$E_{edge}\left(d\right)=\underset{i=1}{\overset{m}{\Σ}}\underset{j=1}{\overset{n}{\Σ}}|I(i,j){|}^2$

I(i,j)为边缘矩阵元素。

(3)高频子带图像和采用改进的PCNN进行融合得到融合后的高频子带图像和分别为源图像分解后的第k尺度、l方向上的高频子图像。

(4)逆变换，对得到的高频及低频图像采取非下采样Contourlet逆变换，得到融合后的图像I_F。

上述高频子带图像的融合策略是根据迭代后神经元的点火次数来决定融合系数的选取。在改进的PCNN模型中，图像的每个像素点对应一个神经元，将改进拉普拉斯能量和(SML)与图像深度信息结合的因子作为神经元输入。各源图像输入网络后进行相同的迭代次数，根据神经元的点火次数选取较大的那个神经元对应的输入图像的像素值作为得到的融合系数。

高频子带图像基于改进PCNN的融合策略主要包括如下具体步骤：

(1)PCNN模型初始化。设定参数的初始值和迭代次数。

(2)将高频子带图像作为输入图像，每个像素点对应一神经元，但不是将像素点的灰度值作为输入对象。

(3)将改进拉普拉斯能量和(SML)与图像深度信息d(r)结合的因子作为神经元输入。图2直观表示了像素深度的计算方法，满足公式图3是本发明的深度信息具体计算过程，计算得出图像的深度信息。用I(i,j)表示图像在(i,j)处的系数，SML的定义如下：

${\▿}_{ML}^{2}f(x,y)=|2f(x,y)-f(x-1,y)-f(x+1,y)|+|2f(x,y)-f(x,y-1)-f(x,y+1)|$

PCNN的输入项F_ij定义为：

F_ij＝SML(i,j)*[d(r)]^-2

N为区域窗口大小。

(4)与原始PCNN模型不同，本发明的PCNN模型神经元的链接强度并没有取相同的固定常数值，而是由对应的像素特征所决定。本文将采取像素的拉普拉斯能量(laplace_energy,LE)以及可见度(visibility,VI)作为神经元的链接强度值。

$LE=\underset{(u,v)\∈\mathrm{\ω}}{\Σ}{(f_{uu}+f_{vv})}^2$

$VI=\frac{1}{N}\underset{(u,v)\∈\mathrm{\ω}}{\Σ}{\left(\frac{1}{m_k}\right)}^{\mathrm{\α}}\·\frac{|f(u,v)-m_k|}{m_k}$

其中f(u,v)为(u,v)处的像素值，ω为以(x,y)为中心的窗口，m_k为窗口中的像素灰度平均值，N为该窗口中总的像素数。拉普拉斯能量越大，该局部图像越清晰。

(5)取得以拉普拉斯能量及可见度作为神经元的链接强度后，分别计算相应的图像pcnnA_LE及pcnnA_VI值，图像A的pcnnA＝(pcnnA_LE+pcnnA_VI)/2；同理也可以计算图像B的pcnnB＝(pcnnB_LE+pcnnB_VI)/2。pcnnA与pcnnB二者中较大的系数作为最终的NSCT系数。

如图4所示，PCNN神经元是由接收域、调制部分和脉冲产生三部分组成。其数学表达公式可描述为：

F_ij＝SML(i,j)*[d(r)]^-2

$L_{ij}\[n\]=e^{-{\mathrm{\α}}_L}{L}_{ij}\[n-1\]+V_L\underset{kl}{\Σ}{W}_{ijkl}{Y}_{kl}\[n-1\]$

U_ij[n]＝F_ij[n]{1+βL_ij[n]}

${\mathrm{\θ}}_{ij}\[n\]=e^{{\mathrm{\α}}_{\mathrm{\θ}}{\mathrm{\δ}}_{\mathrm{\θ}}}{\mathrm{\θ}}_{ij}\[n-1\]+V_{\mathrm{\θ}}{Y}_{ij}\[n-1\]$

式中F_ij和L_ij分别表示第(i,j)个神经元的反馈输入和耦合连接输入，n代表迭代次数；M和W是周围邻域神经元对中心神经元传递信息程度强弱的表示，反映了中心神经元受邻近神经元影响的程度。V_F和V_L分别为F_ij和L_ij的固有电势，V_F代表反馈的放大系数而α_F代表的是反馈的衰减时间常数；同样的，V_L表示耦合连接的放大系数而α_F表示它的误差时间常数。Y_kl表示在迭代过程中第(n-1)次迭代后神经元的输出，S_ij为外部输入激励。时序脉冲序列Y与内部活动项阈值U_ij及动态门限θ之间的关系是，当动态门限θ小于内部活动项U_ij时神经元输出为1否则为0。

在图像处理中，每个神经元对应一个像素点。当向一个PCNN神经网络输入一幅图像时，某个神经元被点火，激发兴奋，它会通过邻域神经元的耦合连接子系统对邻域神经元产生作用。当邻域像素的灰度值相近时,又会引起邻域像素的点火，激励并促使它们发生脉冲点火。PCNN经常被引入图像融合中的核心原因就是其全局耦合神经元的脉冲同步特性，这些生物学特性充分利用了本地图像的信息，而不像大多数基于多尺度分解图像融合算法那样简单使用图像系数信息。此外，PCNN经网络等其他神经网络不同，它是单层模型的神经网络，可以不通过学习以及训练就能实现图像分割、融合以及目标分类等。

从图5可以看出，本发明所提出的图像融合算法与基于小波、PCNN、拉普拉斯、PCA、Contourlet、NSCT_PCNN等融合算法相比，具有更好的融合效果，图像包含更多的细节信息以及更少的模糊边缘信息。因此，本发明的融合算法更加适合于多聚焦图像的融合。表1展示了本发明算法与其他融合算法的客观评价指标对比。

客观评价指标中的清晰度也称为平均梯度，反映图像的清晰程度，同时反映出图像中微小细节反差和纹理变换特征，其值越大图像越清晰；图像熵的含义为图像平均信息量，信息量增加是融合的基本要求，熵值越大说明包含的信息越多，融合效果越好；标准差反映了相对灰度均值的离散情况，标准差越大，灰度分布越分散；空间频率表征图像中灰度变化剧烈程度的指标，是灰度在平面空间上的梯度。从表1可以看出本发明的融合方法在各指标上均比其他算法高，这从客观角度说明了本发明方法优于其他算法。

表1融合算法的客观评价指标对比

	清晰度	空间频率	标准差	图像熵
					灰度绝对值取大	5.7675	23.8513	51.4600	7.3552
小波1	6.7584	22.9754	51.8037	7.3386
					小波2	6.1018	17.0215	50.8248	7.3197
PCNN	5.7492	23.5933	52.1957	7.3317
					PCA	4.9058	16.2833	37.1277	6.9577
NSCT_PCNN	6.3559	22.1905	40.8193	7.0488
					拉普拉斯	6.1778	21.8453	37.8505	7.0277
Contourlet	7.6628	18.0973	51.8764	7.4864
					小波3	8.2721	23.4747	52.4728	7.3660
本发明	8.4324	29.5842	52.5872	7.4089

Claims (3)

1.一种基于非下采样Contourlet变换及深度信息激励PCNN的多聚焦图像融合方法其特征在于，对多聚焦的源图像进行多尺度多方向的非下采样Contourlet变换后，对低频子带和高频子带采取不同的融合规则得到融合子带系数，高频子带采用改进的PCNN模型确定融合系数，最后通过非下采样Contourlet逆变换得到融合图像。

2.根据权利要求1，本发明方法包含以下具体步骤：

(1)在对同一场景的多聚焦图像进行配准的预处理基础上，分别对多聚焦图像I_A和I_B进行多尺度、多方向的非下采样Contourlet变换，两图各分解为一幅低频子带图像和一系列不同分辨率的高频子带图像；

(2)对低频子带图像I_A-lf和I_B-lf采用基于子带系数的边缘信息能量来得到融合后的低频子带图像I_F-lf，而没有采用传统方法平均法，因为该方法没有考虑图像边缘的信息，降低了图像的对比度，能量表达式为：

$E_{edge}\left(d\right)=\underset{i=1}{\overset{m}{\Σ}}\underset{j=1}{\overset{n}{\Σ}}|I(i,j){|}^2$

I(i,j)为边缘矩阵元素；

(3)高频子带图像和采用改进的PCNN进行融合得到融合后的高频子带图像 和分别为源图像分解后的第k尺度、l方向上的高频子图像；

(4)逆变换，对得到的高频及低频图像采取非下采样Contourlet逆变换，得到融合后的图像I_F。

3.根据权利要求2，高频子带图像融合规则采用的改进PCNN模型的融合策略，其具体步骤如下：

(1)PCNN模型初始化，设定参数的初始值和迭代次数；

(2)将高频子带图像作为输入图像，每个像素点对应一个神经元，但不是将像素点的灰度值作为输入对象；

(3)将改进拉普拉斯能量和(SML)与图像深度信息d(r)结合的因子作为神经元输入，用I(i,j)表示图像在(i,j)处的系数，SML的定义如下：

${\▿}_{ML}^{2}f(x,y)=|2f(x,y)-f(x-1,y)-f(x+1,y)|+|2f(x,y)-f(x,y-1)-f(x,y+1)|$

$SML(i,j)=\underset{x=i-N}{\overset{i+N}{\Σ}}\underset{y=j-N}{\overset{j+N}{\Σ}}{\▿}_{ML}^{2}f(x,y)$

引入的深度信息可用来移除图像的不清晰边缘，深度信息d(r)的定义如下：

$d\left(r\right)\∝\frac{1}{\sqrt{{\[R\left(r\right)\]}^2-1}}$

$R\left(r\right)=\frac{\left|\right|\▿i(x,y)\left|\right|}{\left|\right|\▿i_1(x,y)\left|\right|}=\frac{\sqrt{\▿i{\left(x\right)}^2+\▿i{\left(y\right)}^2}}{\sqrt{\▿i_1{\left(x\right)}^2+\▿i_1{\left(y\right)}^2}}$

$\begin{array}{c}\▿i_1\left(x\right)=\▿\left(i\right(x)\⊗g(x,{\mathrm{\σ}}_0\left)\right)\\ =\▿\left(\right(Au\left(x\right)+B)\⊗g(x,\mathrm{\σ})\⊗g(x,{\mathrm{\σ}}_0\left)\right)\\ =\frac{A}{\sqrt{2\mathrm{\π}({\mathrm{\σ}}^2+{\mathrm{\σ}}_0^2)}}\exp (-\frac{x^2}{2({\mathrm{\σ}}^2+{\mathrm{\σ}}_0^2)})\end{array}$

R(r)表示输入的散焦图像的梯度和它的高斯核重模糊图像梯度的比值，σ₀表示重模糊核的标准偏差，称为重模糊尺度，则PCNN的输入项F_ij定义为：

F_ij＝SML(i,j)*[d(r)]^-2

N为区域窗口大小；

(4)与原始PCNN模型不同，本发明的PCNN模型神经元的链接强度并没有取相同的固定常数值，而是由对应的像素特征所决定，本文将采取像素的拉普拉斯能量(laplace_energy,LE)以及可见度(visibility,VI)作为神经元的链接强度值；

$LE=\underset{(u,v)\∈\mathrm{\ω}}{\Σ}{(f_{uu}+f_{vv})}^2$

$VI=\frac{1}{N}\underset{(u,v)\∈\mathrm{\ω}}{\Σ}{\left(\frac{1}{m_k}\right)}^{\mathrm{\α}}.\frac{|f(u,v)-m_k|}{m_k}$

其中f(u,v)为(u,v)处的像素值，ω为以(x,y)为中心的窗口，m_k为窗口中的像素灰度平均值，N为该窗口中总的像素数，拉普拉斯能量越大，该局部图像越清晰；

(5)取得以拉普拉斯能量及可见度作为神经元的链接强度后，分别计算相应的图像pcnnA_LE及pcnnA_VI值，图像A的pcnnA＝(pcnnA_LE+pcnnA_VI)/2；同理也可以计算图像B的pcnnB＝(pcnnB_LE+pcnnB_VI)/2，pcnnA与pcnnB二者中较大的系数作为最终的NSCT系数。