CN1873693B - 基于Contourlet变换和改进型脉冲耦合神经网络的图像融合方法 - Google Patents

Abstract

本发明涉及一种基于Contourlet变换和改进型脉冲耦合神经网络和图像融合方法。它是在对输入的可见光与红外线图像进行多尺度、多方向Contourlet分解的基础上，对具有神经生理学背景的PCNN进行改进，利用改进型的IPCNN进行融合策略设计，根据可见光图像和红外线图像的不同特征，对高频细节部分和低频背景部分分别进行融合，生成Contourlet域融合系数，最后经过Contourlet反变换得到融合图像。本方法能提高融合图像质量，达到较理想的融合效果，在光学成像、目标检测、安全监控等系统中均有广泛应用前景。

Description

基于Contourlet变换和改进型脉冲耦合神经网络的图像融合方法

技术领域

本发明涉及一种基于Contourlet(轮廓小波)变换和IPCNN(改进型脉冲耦合神经网络)的图像融合方法，是信息融合领域中的一项多传感器图像信息融合方法，在军事领域和非军事领域如光学成像、目标检测、安全监控等系统中均有广泛应用。

背景技术

多传感器图像融合是充分利用不同成像系统提供的互补影像信息，将不同类型的传感器获得的同一场景的各种互补信息融合生成新的图像信号。它增加了图像的信息量，提高了图像对环境的适应性，获得更准确的、更全面、更可靠的有用信息，为进一步的处理提供了可靠的、清晰的图像。图像融合技术是一门新兴技术，它综合了传感器、信号处理、图像处理和人工智能等技术。近年来，多传感器图像融合是当前图像处理领域一个研究热点，图像融合在军事领域和非军事领域如遥感、医学、机器视觉、目标识别等方面有着广泛的应用前景。

一般来讲，由于目标物体和背景的红外辐射特性有差异，红外图像提供了较为完整的目标信息，然而由于缺乏背景信息而看起来比较模糊。相反地，可见光图像提供了十分全面的背景信息，但其提供的目标信息相对不足。图像融合技术能将两者有效地融合起来，产生能提供背景和目标全面、准确信息的新图像。目前，图像融合通常分为像素级融合、特征级融合和决策级融合3个层次。本发明研究的是像素级融合方法。对像素级图像融合而言，图像融合的方法主要有对应像素的加权平均法、PCA(主分量分析)法和多尺度融合法。多尺度融合法是近些年发展起来的、非常有效的一类图像融合方法。对于多尺度融合法来讲，方法的有效性主要由两个方面来决定：多尺度分解方法和融合策略。

在多尺度分解方法方面，主要有高通滤波器法、Laplacian(拉普拉斯)塔式法、梯度塔式法和小波多尺度法，其中以小波多尺度最具有代表性、最为有效。然而，小波多尺度融合方法并不是完美的。由于小波变换只能有效地表示一维奇异性即点奇异性，而不能有效地描述图像中的二维或高维奇异性，如线、轮廓等重要信息，从而制约了小波多尺度融合法的性能。Contourlet变换作为一种新的信号分析工具，解决了小波变换不能有效表示二维或更高维奇异性的缺点，能准确地将图像中的边缘奇异信息捕获到不同尺度、不同方向的子带中。它不仅具有小波变换的多尺度特性，还具有小波变换不具有的方向性和各向异性，因此能很好地应用于图像处理中。

在融合策略方面，主要有平均法、最大值法和区域能量法等，其中以区域能量法为优，但不是最优的。PCNN(脉冲耦合神经网络)是一种基于神经生理学的、不同于传统人工神经网络的新型神经网络，它是在Eckhorn提出的连接模型的基础上得到的，由若干个神经元互连而构成的反馈型网络。PCNN广泛地应用于在图像处理、模式识别等领域，具有明显的优势。研究表明，利用PCNN的同步激发特性来进行融合策略设计，具有较好的融合效果。但由于PCNN模型对参数比较敏感，参数的恰当选取和调节十分困难，影响了方法的性能。

发明内容

本发明的目的在于针对现有图像融合技术存在的不足，提供一种基于Contourlet变换和改进型脉冲耦合神经网络的图像融合方法。该方法能提高融合图像的质量、提供更加全面、准确的目标和背景信息，达到较理想的融合效果。

为达到上述目的，本发明采用下述技术方案：

一种基于Contourlet变换和改进型脉冲耦合神经网络的图像融合方法，其特征在于对输入的可见光与红外线图像进行多尺度、多方向Contourlet分解的基础上，对具有神经生理学背景的PCNN进行改进，利用改进型的PCNN，即IPCNN进行融合策略设计，根据可见光图像和红外线图像的不同特性，对高频细节部分和低频背景部分分别进行融合，生成Contourlet域融合系数，最后经过Contourlet反变换得到融合图像。

上述的方法包括如下具体步骤：

(1)在对同一场景的可见光和红外线图像进行配准的基础上，对可见光图像I_Vis和红

线图像I_Inf进行多尺度、多方向Contourlet变换，每幅图像均分解为一幅低频子图像和一系列具有不同分辨率的高频子图像。高频子图像的个数由Contourlet变换的LP分解级数K和每级中的方向分解数L_k决定。

(2)对低频子图像I_Vis-lf和I_Inf-lf采用基于IPCNN的融合策略进行融合，得到融合后的低频子图像为I_F-lf。

(3)对于高频子图像I_Vis-hf ^(k，l)和I_Inf-hf ^(k，l)而言，采用基于IPCNN的融合策略进行融合。融合后的高频子图像为I_F-hf ^(k，l)，其中，I_Vis-hf ^(k，l)和I_Inf-hf ^(k，l)分别为I_Vis和I_Inf分解后位于第k(k＝1，2，…，K)尺度、l(l＝1，2，…，L_k)方向上的高频子图像。

(4)对所有Contourlet域的融合子图像进行Contourlet反变换，生成融合图像I_F。

上述的基于IPCNN模型的融合策略是根据若干次迭代后神经元产生脉冲的频数决定融合系数的选取。在IPCNN模型的基础上，若干个IPCNN神经元相互连接成IPCNN网络，图像中每个象素点对应一个神经元，每个待融合源图像分别输入该网络，进行相同次数的迭代后，依据每个神经元产生脉冲的频数，选取频数最大的那个输入图像中对应像素点值。

上述的方法中基于IPCNN的融合策略主要包括如下具体步骤：

(1)初始化。将IPCNN网络中L_ij[0]，U_ij[0]和Y_ij[0]初始化为0，θ_ij[0]初始化为1。设定α_L，V_L，W，β，α_θ，V_θ和迭代次数Niter。

(2)将I₁作为输入图像。

(3)归一化。将输入图像归一化到[0.1，1]之间。

(4)将归一化的图像输入到IPCNN网络，经过Niter次迭代后，记录下每个像素点对应的产生脉冲次数，得到一个脉冲次数矩阵MI₁。

(5)将另一输入图像I₂输入网络，重复步骤2和3，得到此幅图像对应的脉冲产生次数的矩阵MI₂。

(6)根据上面得到的MI₁和MI₂，采用如下规则选取融合系数：

$I_F^{(k,l)}(i,j)=\left\{\begin{array}{ccc}{I}_1(i,j)& \mathrm{if}& {\mathrm{MI}}_1\&GreaterEqual;{\mathrm{MI}}_2\\ I_2(i,j)& \mathrm{if}& {\mathrm{MI}}_1<{\mathrm{MI}}_2\end{array}\right.---\left(1\right)$

其中，(i，j)为图像中的位于第i行、第j列的像素点。

本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著优点：

本发明方法将输入的可见光和红外线图像分别进行Contourlet变换，将各自的背景信息集中在低频子图像中，目标细节信息捕获到高频子图像中。然后对分解后的低频背景子图像和高频细节图像分别对待，采用基于IPCNN的融合策略，最大限度地保护了图像中的目标细节信息。采用本发明的融合方法大大地提高了融合图像的质量，对后续的进一步处理具有重要意义和实用价值。具体创新点和优点分别如下：

(1)针对现有最具有代表性的小波多尺度图像融合方法中小波变换的缺点-不能有效地表示图像中的二位或高维奇异性，将Contourlet变换应用到图像融合中，进行多尺度、多方向分解，为后续融合过程提供稀疏的图像描述系数。

(2)针对现有图像融合技术存在的不足，提出了基于Contourlet变换的可见光与红外线图像融合方法。

(3)针对现有图像融合策略存在的不足，对具有神经生理学背景的PCNN进行改进，利用改进型的IPCNN来进行融合策略设计。

(4)对Contourlet变换域的高频细节子图像和低频背景子图像分别处理，采用基于IPCNN的融合策略，进行融合，得到Contourlet变换域中的融合子图像。这样的融合策略不仅有效地丰富了图像的背景信息，而且最大限度地保护了图像中的细节信息，提高了图像的质量。

(5)对所有Contourlet域的融合子图像进行Contourlet反变换，生成融合图像I_F。

总之，本发明的目的在于针对现有图像融合技术存在的不足，提出了一种新的基于Contourlet变换和IPCNN的图像融合方法。基于Contourlet变换解决了小波变换只能有效表示点奇异性而不能有效表示图像中的二位或高维奇异性的不足，该方法首先采用Contourlet变换对输入的可见光与红外线图像进行多尺度、多方向分解，然后对Contourlet变换域的高频细节子图像和低频背景子图像分别处理，采用基于IPCNN的融合策略进行融合，最后进行Contourlet反变换，得到融合图像。该方法能提高融合图像的质量、提供更加全面、准确的目标和背景信息，达到较理想的融合效果。在军事领域和非军事领域如光学成像、目标检测、安全监控等系统中均有广泛应用。

附图说明

图1为本发明基于Contourlet变换和IPCNN的图像融合方法的框图。

图2为本发明中IPCNN单个神经元结构图。

图3为本发明方法与基于Wavelet变换和IPCNN融合方法、基于Contourlet变换和区域能量融合方法的融合结果比较。

图中，(a)为可见光图像；(b)为红外线图像；(c)为基于Wavelet变换和IPCNN融合方法的融合结果；(d)为基于Contourlet变换和区域能量融合方法的融合结果；

(e)为采用本发明基于Contourlet变换和IPCNN融合方法的融合结果。

具体实施方式

本发明的一个优选实施例结合附图详述如下：

如图1所示，本基于Contourlet变换和改进型脉冲耦合神经网络的图像融合方法是：分别对输入的可见光与红外线图像进行相同的Contourlet变换，得到一幅低频背景子图像和一系列具有不同分辨率和方向性的高频细节子图像。然后对低频背景子图像和高频细节子图像分别采用基于IPCNN的融合策略进行融合，最后对得到的Contourlet变换域融合子图像进行Contourlet反变换，得到融合图像。具体步骤为：

(1)在对同一场景的可见光和红外线图像进行配准的基础上，对可见光图像I_Vis和红外线图像I_Inf进行多尺度、多方向Contourlet变换，每幅图像均分解为一幅低频子图像和一系列具有不同分辨率的高频子图像。高频子图像的个数由Contourlet变换的LP分解级数K和每级中的方向分解数L_k决定。

(2)对低频子图像I_Vis-lf和I_Inf-lf采用基于IPCNN的融合策略进行融合，得到融合后的低频子图像为I_F-lf。

(3)对于高频子图像I_Vis-hf ^(k，l)和I_Inf-hf ^(k，l)而言，采用基于IPCNN的融合策略进行融合。融合后的高频子图像为I_F-hf ^(k，l)，其中，I_Vis-hf ^(k，l)和I_Inf-hf ^(k，l)分别为I_Vis和I_Inf分解后位于第k(k＝1，2，A，K)尺度、l(l＝1，2，Λ，L_k)方向上的高频子图像。

(4)对所有Contourlet域的融合子图像进行Contourlet反变换，生成融合图像I_F。

上述的基于IPCNN模型的融合策略是根据若干次迭代后神经元产生脉冲的频数决定融合系数的选取。在IPCNN模型的基础上，若干个IPCNN神经元相互连接成IPCNN网络，图像中每个象素点对应一个神经元，每个待融合源图像分别输入该网络，进行相同次数的迭代后，依据每个神经元产生脉冲的频数，选取频数最大的那个输入图像中对应像素点值。假定I₁和I₂为输入图像，阐述本发明中的融合策略。其具体步骤为：

(1)初始化。将IPCNN网络中L_ij[0]，U_ij[0]和Y_ij[0]初始化为0，θ_ij[0]初始化为1。设定α_L，V_L，W，β，α_θ，V_θ和迭代次数Niter。

(2)将I₁作为输入图像。

(3)归一化。将输入图像归一化到[0.1，1]之间。

(4)将归一化的图像输入到IPCNN网络，经过Niter次迭代后，记录下每个像素点对应的产生脉冲次数，得到一个脉冲次数矩阵MI₁。

(5)将另一输入图像I₂输入网络，重复步骤2和3，得到此幅图像对应的脉冲产生次数的矩阵MI₂。

(6)根据上面得到的MI₁和MI₂，采用如下规则选取融合系数：

$I_F^{(k,l)}(i,j)=\left\{\begin{array}{ccc}{I}_1(i,j)& \mathrm{if}& {\mathrm{MI}}_1\&GreaterEqual;{\mathrm{MI}}_2\\ I_2(i,j)& \mathrm{if}& {\mathrm{MI}}_1<{\mathrm{MI}}_2\end{array}\right.$

其中，(i，j)为图像中的位于第i行、第j列的像素点。

如图2所示，IPCNN单个神经元由接收域、调制部分和脉冲产生三部分组成。其原理数学方程描述为：

F_ij[n]＝exp(-α_F)F_ij[n-1]+I_ij                   (2)

$L_{\mathrm{in}}\left[n\right]=\exp (-{\mathrm{\&alpha;}}_L)L_{\mathrm{ij}}[n-1]+V_L\underset{a,b}{\mathrm{\&Sigma;}}{W}_{\mathrm{ijab}}{Y}_{\mathrm{ijab}}[n-1]---\left(3\right)$

U_ij[n]＝F_ij[n](1+βL_ij[n])                      (4)

θ_ij[n]＝exp(-α_θ)θ_ij[n-1]+V_θY_ij[n-1]        (5)

Y_ij[n]＝1 if U_ij[n]≥θ_ij[n]，or 0 otherwise    (6)

式中F_ij是第ij个神经元的反馈输入量，I_ij为外部刺激输入，L_ij为连接输入量，β为连接系数，M_ijkl和W_ijmn为突触联接权，α_L和α_F为时间常数，U_ij为内部活动量，θ_ij为动态门限，V_θ和α_θ分别表示阈值的幅度系数与时间常数，Y_ij为第ij个神经元的输出。接受域接受来自周围神经元的反馈输入与外部的输入，产生两个通道的分量：反馈输入量F_ij和连接输入量L_ij，分别称为F通道分量和L通道分量，并且F通道的脉冲响应函数随时间的变化比L通道慢。这两个量在调制部分进行调制，生成内部活动量U_ij。U_ij输入到脉冲产生部分产生神经元的脉冲输出值Y_ij。在脉冲产生部分，当U_ij大于θ_ij时，神经元被激活，输出一个脉冲，同时，神经元的阈值就通过反馈迅速得到提高。当神经元的阈值θ_ij超过U_ij时，脉冲产生器就被关掉，神经元被灭火，停止发放脉冲。接着，阈值就开始指数下降，当阈值θ_ij再次低于U_ij时，脉冲产生器再次打开，神经元就被点火，即处于激活状态，输出一个脉冲或脉冲序列。

IPCNN用于图像处理时，通常每个象素点对应一个IPCNN神经元，这些神经元按一定方式连接，就得到一个单层二维IPCNN网络。把一幅图像输入网络时，归一化的象素灰度值作为外界刺激信号，激励网络中的每个神经元。外部刺激即像素亮度的强度越强，对应神经元的点火频率就越高。当某一个象素对应的神经元发生脉冲，由于各神经元之间的耦合链接，导致邻域内与它邻近的神经元在这一时刻的内部活动量变大，如果大于阈值，则发生点火，输出脉冲，产生的脉冲序列Y(n)构成一个二值图像序列，该序列包含有图像的区域、边缘、纹理等信息，为后续进一步的处理提供了重要信息。

从图3可以看出，本实施例方法更好地融合可见光和红外线图像各自的信息，不仅有效地丰富了图像的背景信息，而且最大限度地保护了图像中的细节信息。因此。在图像细节表现能力方面，本发明方法明显高于基于Wavelet变换和IPCNN融合方法与基于Contourlet变换和区域能量融合方法，图像更加清晰，视觉效果更好。

表1给出了三种方法融合结果的客观评价指标。

表中采用了相关系数、互信息、标准差、熵和UIBM(基于通用指数的评价标准)来衡量融合图像的质量，进而评价本实施例融合方法的有效性。为了描述方便，融合方法1指基于Wavelet变换和IPCNN融合方法，融合方法2指Contourlet变换和区域能量融合方法。

从表中可以看出，本实施例方法在各种指标上都明显高于其他两种图像融合方法.本实施例方法生成的融合图像具有较大的相关系数和互信息，说明它更好地融合了输入可见光与红外线图像的各自信息，从源图像中获取的信息更丰富，融合效果更好；本实施例方法生成的融合图像的标准差分别高出另外两种方法生成的融合图像22％和35％，表明本实施例方法生成的融合图像的灰度级分布更加分散，图像的反差更大，可以看出更多的信息，进一步证明本实施例方法优于另外两种融合方法；在熵方面，本实施例方法生成的融合图像也高于其他两种方法，说明本实施例方法生成的融合图像的信息量增加，信息更丰富，融合质量更好.在UIBM衡量方面，本实施例方法生成的融合图像也明显高出，进一步说明了本实施例方法的有效性和优越性.

总而言之，本发明方法更好地融合了输入可见光与红外线图像，提高了图像质量，无论是从人眼视觉效果，还是从客观评价指标，均优于包括基于Wavelet变换和IPCNN融合方法、基于Contourlet变换和区域能量融合方法在内的其他方法。

表1本实施例方法与基于Wavelet变换和IPCNN融合方法、基于Contourlet变换和区域能量融合方法的融合性能比较

Claims (2)

1.一种基于Contourlet变换和改进型脉冲耦合神经网络的图像融合方法，其特征在于在对输入的可见光与红外线图像进行多尺度、多方向Contourlet分解的基础上，对具有神经生理学背景的PCNN进行改进，利用改进型的PCNN，即IPCNN，进行融合策略设计，根据可见光图像和红外线图像的不同特性，对高频细节部分和低频背景部分分别进行融合，生成Contourlet域融合系数，最后经过Contourlet反变换得到融合图像；具体步骤为：

(1)在对同一场景的可见光和红外线图像进行配准的基础上，对可见光图像I_Vis和红外线图像I_Inf进行多尺度、多方向Contourlet变换，每幅图像均分解为一幅低频子图像和一系列具有不同分辨率的高频子图像；高频子图像的个数由Contourlet变换的LP分解级数K和每级中的方向分解数L_k决定；

(2)对低频子图像I_Vis-lf和I_Inf-lf采用基于IPCNN的融合策略进行融合，得到融合后的低频子图像为I_F-lf；

(3)对于高频子图像I_Vis-hf ^(k，l)和I_Inf-hf ^(k，l)而言，采用基于IPCNN的融合策略进行融合；融合后的高频子图像为I_F-hf ^(k，l)，其中，I_Vis-hf ^(k，l)和I_Inf-hf ^(k，l)分别为I_Vis和I_Inf分解后位于第k(k＝1，2，…，K)尺度、l(l＝1，2，…，L_k)方向上的高频子图像；

(4)对所有Contourlet域的融合子图像进行Contourlet反变换，生成融合图像I_F；

所述的基于IPCNN模型的融合策略是根据若干次迭代后神经元产生脉冲的频数决定融合系数的选取；在IPCNN模型的基础上，若干个IPCNN神经元相互连接成IPCNN网络，图像中每个象素点对应一个神经元，每个待融合源图像分别输入该网络，进行相同次数的迭代后，依据每个神经元产生脉冲的频数，选取频数最大的那个输入图像中对应像素点值；

所述的IPCNN单个神经元由接收域、调制部分和脉冲产生三部分组成，其原理数学方程描述为：

F_ij[n]＝exp(-α_F)F_ij[n-1]+I_ij                 (2)

$L_{\mathrm{ij}}\left[n\right]=\exp (-{\mathrm{\&alpha;}}_L)L_{\mathrm{ij}}[n-1]+V_L\underset{a,b}{\mathrm{\&Sigma;}}{W}_{\mathrm{ijab}}{Y}_{\mathrm{ijab}}[n-1]---\left(3\right)$

U_ij[n]＝F_ij[n](1+βL_ij[n])                    (4)

θ_ij[n]＝exp(-α_θ)θ_ij[n-1]+V_θY_ij[n-1]                    (5)

Y_ij[n]＝1 if U_ij[n]≥θ_ij[n]，or 0 otherwise                (6)

式中F_ij是第ij个神经元的反馈输入量，I_ij为外部刺激输入，L_ij为连接输入量，β为连接系数，W_ijmn为突触联接权，α_L和α_F为时间常数，U_ij为内部活动量，θ_ij为动态门限，V_θ和α_θ分别表示阈值的幅度系数与时间常数，Y_ij为第ij个神经元的输出。

2.根据权利要求1所述的基于Contourlet变换和改进型脉冲耦合神经网络的图像融合方法，其特征在于所述的基于IPCNN的融合策略主要包括如下步骤：

(1)初始化；将IPCNN网络中L_ij[0]，U_ij[0]和Y_ij[0]初始化为0，θ_ij[0]初始化为1；设定α_L，V_L，W，β，α_θ，V_θ和迭代次数Niter；

(2)将I₁作为输入图像；

(3)归一化；将输入图像归一化到[0.1，1]之间；

(4)将归一化的图像输入到IPCNN网络，经过Niter次迭代后，记录下每个像素点对应的产生脉冲次数，得到一个脉冲次数矩阵MI₁；

(5)将另一输入图像I₂输入网络，重复步骤2和3，得到此幅图像对应的脉冲产生次数的矩阵MI₂；

(6)根据上面得到的MI₁和MI₂，采用如下规则选取融合系数：

$I_F^{(k,l)}(i,j)=\left\{\begin{array}{ccc}{I}_1(i,j)& \mathrm{if}& {\mathrm{MI}}_1\&GreaterEqual;{\mathrm{MI}}_2\\ I_2(i,j)& \mathrm{if}& {\mathrm{MI}}_1<{\mathrm{MI}}_2\end{array}\right.$

其中，(i，j)为图像中的位于第i行、第j列的像素点。

Images