CN101980290B - 抗噪声环境多聚焦图像融合方法 - Google Patents

Abstract

本发明公开了一种抗噪声环境多聚焦图像融合方法，可用于对多聚焦图像进行融合，具有抗噪声能力，可应用于普通光学系统。本发明的具体步骤包括：(1)对源图像进行拉普拉斯金字塔分解；(2)脉冲耦合神经网络对分解得到的子带系数进行迭代运算，获得对应的点火次数矩阵；(3)判决算子运算单元进行判决运算，获得融合系数；(4)对融合系数采用伪逆重构方法进行LP逆变换，获得最后的融合图像。本发明具有抗加性噪声及JPEG压缩系统噪声的能力，融合图像的客观评价指标较高，有效减弱了原LP方法融合图像边缘的“伪Gibss”现象；本发明具有适应性高、方便计算并有利于硬件实现的优点。

Description

抗噪声环境多聚焦图像融合方法

技术领域

本发明属于图像处理技术领域，更进一步涉及一种图像融合的方法，可用于对多聚焦图像进行融合，具有抗噪声能力，可应用于普通光学系统。

背景技术

多聚焦图像融合技术可以将来自同一场景不同聚焦的多个图像的冗余信息和互补信息通过一定的方法进行融合，得到一幅综合图像，获得全景清晰的场景描述。多聚焦图像融合技术中的变换域融合方法获得了较多的应用。

中国国家知识产权局公告的“基于拉普拉斯金字塔变换的人脸图像融合方法”(CN101226635)专利技术，公开了一种基于金字塔变换的人脸图像融合方法。该方法包括如下步骤：1)对输入的红外和可见光人脸图像进行拉普拉斯金字塔分解；2)利用图像的平均梯度、图像直方图的标准差和相似性测度来决定红外和可见光图像各自加权系数的选择；3)利用所获得的加权系数进行图像融合。该方法融合图像的质量较高，计算复杂度较低，但尚存在如下不足：1)针对红外和可见光人脸图像，没有考虑噪声环境及JPEG压缩环境对融合质量的影响；2)在构造图像塔形数据结构的过程需要下采样操作，会在融合图像的边缘引入“人为”效应(如重构图像边缘的伪“Gibss”现象)，阻碍了该方法的推广应用。

“基于成像机理与非采样Contourlet变换多聚焦图像融合方法”是2008年7月9日中国国家知识产权局公开的CN101216936专利申请。该方法包括以下步骤：1)采用非采样Contourlet变换对源图像进行多尺度、多方向分解得到不同频域子带系数；2)针对低频子带系数构建一种基于方向向量范数的融合规则，针对带通方向子带系数构建一种基于局部方向对比度和方向向量标准方差相结合的融合规则；3)根据构建的融合规则分别对源图像的低频子带系数和各带通方向子带系数进行组合，得到融合图像的非采样Contourlet变换系数；4)进行非采样Contourlet逆变换重构出融合图像。该方法引入多尺度几何分析工具非采样Contourlet变换，克服了小波变换不能稀疏表示二维图像的缺点，但尚存在如下不足：1)分解系数冗余度高；2)对低频及高频系数分别采用基于方向特性的融合规则，计算复杂度高，限制了其在普通光学系统中的推广应用；3)没有考虑噪声环境及JPEG压缩环境对图像融合质量的影响。

发明内容

本发明针对上述已有技术的不足，提出一种基于改进拉普拉斯金字塔(LP)变换结合脉冲耦合神经网络(PCNN)的多聚焦图像融合方法，提取源图像中的有用信息，得到多目标清晰的图像，可应用于普通光学系统。

本发明的实现步骤如下：

1.一种抗噪声环境的多聚焦图像融合方法，包括如下步骤：

(1)LP分解。分别对输入的两路已配准不同聚焦的源图像进行拉普拉斯金字塔(LP)分解。

(2)迭代运算。对每一路LP分解获得的低频和带通子带系数矩阵，按照以下步骤依次完成迭代运算：

2a)脉冲耦合神经网络对输入的系数矩阵进行迭代运算，获得输出矩阵。

2b)将步骤2a)得到的所有输出矩阵相加，获得输入系数矩阵的点火次数矩阵。

(3)判决运算。按照以下步骤依次完成所有子带系数的融合：

3a)选取步骤(1)两路LP分解结果中的两个低频子带系数矩阵或者同一尺度的两个带通子带系数矩阵输入到判决算子运算单元。

3b)选取步骤(2)迭代运算结果中与步骤3a)的子带系数矩阵对应的两个点火次数矩阵输入到判决算子运算单元。

3c)判决算子运算单元依据判决规则完成数据融合，获得融合系数。

(4)伪逆重构。对每一尺度的融合系数，采用伪逆重构方法进行LP逆变换，获得最后的融合图像，伪逆重构过程如下：

4a)下采样滤波。对步骤3c)获得的带通子带系数进行下采样滤波获得下采样滤波信号。

4b)信号综合。将步骤3c)获得的低频子带系数或者上一尺度融合系数重构获得的重构信号与步骤4a)获得的下采样滤波信号相加获得综合信号。

4c)上采样滤波。对步骤4b)获得的综合信号进行上采样滤波获得上采样滤波信号。

4d)信号综合。将步骤3c)获得的带通子带系数与步骤4c)获得的上采样滤波信号相加获得重构信号。

将获得的重构信号作为下一尺度的低频子带系数，重复执行以上步骤，完成所有尺度融合系数的重构，获得最后的融合图像。

本发明与现有技术比较具有以下优点：

第一，本发明由于采用一种新的伪逆重构算法并在数据融合阶段引入脉冲耦合神经网络(PCNN)，故较传统的基于拉普拉斯金字塔变换方法具有更高的融合性能，融合图像的主观质量及客观评价指标优于传统融合方法。

第二，本发明由于采用伪逆重构过程，故可抑制加性噪声及JPEG压缩系统噪声，使得本发明在噪声环境下对多聚焦图像融合性能更要优于传统方法，适应性高。

第三，本发明采用脉冲耦合神经网络，其迭代运算生成的点火次数矩阵可抑制局部过奇异系数，由此减弱了重构图像边缘的“伪Gibbs”现象，并进一步加强了噪声抑制能力。

第四，本发明对图像低频子带系数和带通子带系数采用相同的融合规则，方便计算并有利于硬件实现。

附图说明

图1为本发明的流程示意图。

图2为本发明的伪逆重构流程示意图。

图3为本发明在噪声环境下仿真结果的客观指标PSNR比较图。

具体实施方式：

以下参照附图对本发明作进一步描述。

参照图1，本发明的实施步骤为：

步骤1：LP分解。

分别输入两路已配准后的同一场景不同聚焦的源图像A和源图像B，采用双正交“Bior4.4”小波对源图像A、B依据图像大小分别进行多尺度拉普拉斯金字塔(LP)分解。LP分解所得塔形数据结构中，源图像A的低频及带通子带系数矩阵分别为

源图像B的低频及带通子带系数矩阵分别为

其中l₀及l均为尺度参数，本发明实施例中多尺度的尺度参数l₀取4。

步骤2：迭代运算。对每一路LP分解获得的低频和带通子带系数矩阵，按照以下步骤依次完成迭代运算：

2a)脉冲耦合神经网络对输入的系数矩阵按矩阵元素的排列顺序依次进行(公式1)～(公式5)的运算，运算完成后获得一个输出矩阵。上述运算需要依据输入矩阵的元素分布特点确定迭代次数，通常取40～60次迭代，本发明实施例中迭代次数取60。

2b)将步骤2a)得到的所有输出矩阵相加，获得输入系数矩阵的点火次数矩阵，其中源图像A的低频及带通子带系数矩阵对应的点火次数矩阵分别为为

和

源图像B的低频及带通子带系数矩阵对应的点火次数矩阵分别为

和

F_ij[n]＝C_ij    (公式1)

$L_{\mathrm{ij}}\left[n\right]=\underset{\mathrm{kl}}{\mathrm{\Σ}}{w}_{\mathrm{ijkl}}{Y}_{\mathrm{kl}}[n-1]$ (公式2)

U_ij[n]＝F_ij[n]{1+βL_ij[n]}    (公式3)

$Y_{\mathrm{ij}}\left[n\right]=\left\{\begin{array}{cc}1& ;\mathrm{if}{U}_{\mathrm{ij}}>{\mathrm{\Θ}}_{\mathrm{ij}}\\ 0& ;\mathrm{otherwise}\end{array}\right.$ (公式4)

Θ_ij[n]＝Θ_ij[n-1]-Δ+V_ΘY_ij[n]    (公式5)

其中，n为迭代次数；

F_ij[n]为神经元的反馈输入；

C_ij为输入的子带系数；

L_ij[n]为神经元的连接强度；

Y_kl[n-1]是前一次迭代时相邻神经元的输出；

w_ijkl为神经元之间连接权矩阵W的系数，矩阵W的大小为k×l，反映中心神经元受周围神经元的影响大小；

U_ij[n]为神经元的内部活动值；

β为神经元突触之间的连接强度系数，主要反映神经元的连接强度L_ij[n]对内部活动值U_ij[n]的贡献；

Y_ij[n]为神经元的输出，所有Y_ij[n]构成输出矩阵，迭代运算获得的所有输出矩阵相加即获得输入矩阵的点火次数矩阵；

Θ_ij[n]为神经元判决功能的动态阈值；

V_Θ为神经元激活后恢复的初始阈值；

Δ为阈值衰减步长。

本发明实施例中脉冲耦合神经网络的参数设置如下：神经元之间连接权矩阵W由矩阵元素空间距离确定，取

连接强度系数β取0.9；迭代次数取60次；阈值衰减步长Δ取值0.025；初始阈值V_Θ取值为5000。

步骤3：判决运算。

按照以下步骤依次完成所有子带系数的融合，获得融合系数矩阵 $\{F_{l_0}(i,j),F_l(i,j)(l_0\≥l\≥1)\}.$

3a)选取步骤1中两路LP分解结果的两个低频子带系数矩阵及

或者同一尺度的带通子带系数矩阵

及

将它们输入到判决算子运算单元。

3b)选取步骤2迭代运算结果中与步骤3a)的子带系数矩阵

及

或者

及对应的两个点火次数矩阵，将它们输入到判决算子运算单元。

3c)判决算子运算单元依据判决规则完成数据融合，获得融合系数。

判决算子即数据融合的运算单元，它以点火次数矩阵的绝对差值作为判决参数，根据判决参数和事先设定的平滑参数ε的比较结果，经过矩阵元素的逐一比较，从输入的子带系数中获得最后的融合系数F(i，j)。

$\left\{\begin{array}{c}F(i,j)=(C^A(i,j)+C^B(i,j))/2,|T^A(i,j)-T^B(i,j)|<=\mathrm{\&epsiv;}\\ F(i,j)=C^A(i,j),|T^A(i,j)-T^B(i,j)|>\mathrm{\&epsiv;and}{T}^A(i,j)>T^B(i,j)\\ F(i,j)=C^B(i,j),|T^A(i,j)-T^B(i,j)|>\mathrm{\&epsiv;and}{T}^A(i,j)<T^B(i,j)\end{array}\right.$

其中，C^A(i，j)、C^B(i，j)分别是输入的两路已配准不同聚焦源图像A、B的相同尺度子带系数矩阵{C^A(i，j)}、{C^B(i，j)}在(i，j)位置的元素；

T^A(i，j)、T^B(i，j)为子带系数矩阵{C^A(i，j)}、{C^B(i，j)}对应的点火次数矩阵{T^A(i，j)}、{T^B(i，j)}在(i，j)位置的元素；

F(i，j)为融合系数矩阵{F(i，j)}在(i，j)位置的元素；

ε为平滑参数，本发明实施例中ε取值为2。

步骤4：伪逆重构。

对每一尺度的融合系数，采用伪逆重构方法进行LP逆变换，获得最后的融合图像，伪逆重构流程如图2所示的步骤：

4a)下采样滤波。由“Bior4.4”小波获得分解滤波器，对步骤3c)获得的带通子带系数{F_l(i，j)}经分解滤波器进行下采样滤波获得下采样滤波信号。

4b)信号综合。将步骤3c)获得的低频子带系数或者上一尺度获得的重构信号与步骤4a)获得的下采样滤波信号相加获得综合信号。

4c)上采样滤波。由“Bior4.4”小波获得合成滤波器，将步骤4b)获得的综合信号经合成滤波器进行上采样滤波获得上采样滤波信号。

4d)信号综合。将步骤3c)获得的带通子带系数{F_l(i，j)}与步骤4c)获得的上采样滤波信号相加获得重构信号。

将步骤4d)获得的重构信号作为下一尺度的低频子带系数，重复执行以上步骤，完成所有尺度融合系数的重构，获得最后的融合图像。

仿真实验

为了验证本发明的实际效果，采用图像融合方法中经常使用的Clock多聚焦图像，图像大小为256×256，灰度级为256，对完全配准过的多聚集图像进行融合仿真实验，并将融合结果与原LP变换方法(现有方法1)、改进的LP变换方法(现有方法2)及改进的LP变换结合PCNN的方法(本发明方法)进行比较。对现有方法1及现有方法2，采用低频系数取平均和高频系数按模值最大选取的融合规则。

本仿真实验的结果通过相关系数、互信息、标准差、PSNR及Qabf指标进行评价。一般而言，相关系数反映融合图像与参考图像的关联程度，其值越大则反映融合质量越好；互信息反映融合图像相对于原图像的信息保持度，其值越大，融合效果越好；标准差反映融合图像灰度相对于灰度均值的分布区间，其值越大则说明融合质量越高；PSNR与图像的均方根误差有关，用以反映融合图像的抗噪声性能；Qabf指标从图像的特征出发，以图像特征为依据，可较综合地评价图像融合质量，其值越大反映融合图像质量越高。下表为评价结果一览表。

从表中可以看出，本发明方法除标准差略有下降外，其余评价指标均好于现有方法1和现有方法2，其中PSNR要比现有方法1提高约0.89dB，比现有方法2提高约0.27dB反映融合图像质量较高，且其抗噪声性能要优于现有方法。

仿真二

仍然采用图像融合方法中经常使用的Clock多聚焦图像，图像大小为256×256，灰度级为256。对融合图像添加方差为5的加性白噪声，在不同的JPEG压缩品质下，完成现有方法1、现有方法2及本发明方法在噪声环境下的多聚焦图像融合对比实验。图3绘制出评价指标PSNR对比曲线，图中可见本发明方法抗噪声能力要优于现有方法。

本发明融合图像的大部分客观评价指标高，能够从源图像中提取更多的有用信息，具有抗噪声能力，适应性高的特点。

Claims (3)

1.一种抗噪声环境多聚焦图像融合方法，包括如下步骤：

(1)LP分解，分别对输入的两路已配准不同聚焦的源图像进行拉普拉斯金字塔(LP)分解；

(2)迭代运算，对每一路LP分解获得的低频和带通子带系数矩阵，按照以下步骤依次完成迭代运算：

2a)脉冲耦合神经网络对输入的系数矩阵进行迭代运算，获得输出矩阵；

2b)将步骤2a)得到的所有输出矩阵相加，获得输入系数矩阵的点火次数矩阵；

(3)判决运算，按照以下步骤依次完成所有子带系数的融合：

3a)选取步骤(1)两路LP分解结果中的两个低频子带系数矩阵或者同一尺度的两个带通子带系数矩阵输入到判决算子运算单元；

3b)选取步骤(2)迭代运算结果中与步骤3a)的子带系数矩阵对应的两个点火次数矩阵输入到判决算子运算单元；

3c)判决算子运算单元依据判决规则完成数据融合，获得融合系数；

(4)伪逆重构，对每一尺度的融合系数，采用伪逆重构方法进行LP逆变换，获得最后的融合图像，伪逆重构过程如下：

4a)下采样滤波，对步骤3c)获得的带通子带系数进行下采样滤波获得下采样滤波信号；

4b)信号综合，将步骤3c)获得的低频子带系数或者上一尺度融合系数重构获得的重构信号与步骤4a)获得的下采样滤波信号相加获得综合信号；

4c)上采样滤波，对步骤4b)获得的综合信号进行上采样滤波获得上采样滤波信号；

4d)信号综合，将步骤3c)获得的带通子带系数与步骤4c)获得的上采样滤波信号相加获得重构信号；

将获得的重构信号作为下一尺度的低频子带系数，重复执行以上步骤，完成所有尺度融合系数的重构，获得最后的融合图像。

2.根据权利要求1所述的抗噪声环境多聚焦图像融合方法，其特征在于：所述步骤(1)中图像的LP分解采用“Bior4.4”双正交小波。

3.根据权利要求1所述的抗噪声环境多聚焦图像融合方法，其特征在于：所述步骤(3)中判决算子按下列矩阵元素进行判决运算：

$\left\{\begin{array}{c}F(i,j)=(C^A(i,j)+C^B(i,j))/2,|T^A(i,j)-T^B(i,j)|<=\mathrm{\&epsiv;}\\ F(i,j)=C^A(i,j),|T^A(i,j)-T^B(i,j)|>\mathrm{\&epsiv;and}{T}^A(i,j)>T^B(i,j)\\ F(i,j)=C^B(i,j),|T^A(i,j)-T^B(i,j)|>\mathrm{\&epsiv;and}{T}^A(i,j)<T^B(i,j)\end{array}\right.$

其中，C^A(i，j)、C^B(i，j)分别是输入的两路已配准不同聚焦图像的源图像A、B相同尺度子带系数矩阵{C^A(i，j)}、{C^B(i，j)}在(i，j)位置的元素；

T^A(i，j)、T^B(i，j)为子带系数矩阵{C^A(i，j)}、{C^B(i，j)}对应的点火次数矩阵{T^A(i，j)}、{T^B(i，j)}在(i，j)位置的元素；

F(i，j)为融合系数矩阵{F(i，j)}在(i，j)位置的元素；

ε为平滑参数，取值为2。

Images