CN103854265A - 一种新的多聚焦图像融合技术 - Google Patents

Abstract

本发明公开了一种新的多聚焦图像融合技术，该发明首先将源图像进行块分割,计算反映图像块聚焦程度的清晰度特征;再将源图像的部分区域作为训练样本,获得训练后的核Fisher判别分析参数;然后利用已知的核Fisher判别分析获得初步融合图像;最后对位于源图像清晰与模糊区域交界处的源图像块利用NSCT变换进行处理后,得到最终融合图像。实验结果表明,该方法的图像融合效果优于常用图像融合方法,可在有效提高图像融合质量与减少计算量之间获得较好的折衷。

Description

一种新的多聚焦图像融合技术

技术领域

本发明属于多聚焦图像融合，具体涉及到一种新的多聚焦图像融合技术。

背景技术

图像融合是当前图像处理界的研究热点之一,它广泛应用于遥感、机器视觉、医学、军事、司法与制造业等领域。在采用CCD或CMOS等图像传感器获取影像的时候,由于镜头景深的原因,位于聚焦平面上的景物在图像上可获得清晰的投影,而在其他位置上的景物在图像上受到不同程度的模糊。一幅处处聚焦的图像是许多后续处理的前提条件,解决这一问题的主要方法就是多聚焦图像融合技术,即采用不同的焦距设置拍摄一系列图像,然后将这些图像进行融合处理,获得一幅处处清晰的融合图像。近年来,模式分类方法被广泛的引入到图像融合领域中,有学者分别提出了基于神经网络、支持向量机与支持向量聚类的融合策略。

核Fisher判别分析(KFDA)是在Fisher线性判别(FDA)基础上提出的一种非线性分类方法,它不依赖于对模型的选择,也不存在采用神经网络进行分类处理中易出现的维数灾难与局部极小点问题。相比支持向量机, KFDA具有两个优点: 1)没有支持向量的概念,其复杂性与训练样本的数目成比例,而支持向量机的复杂度与支持向量的个数密切相关；2) KFDA的性能在某些方面优于支持向量机,其主要原因是前者的训练依赖于全部训练样本,而后者主要依靠支持向量。

发明内容

本发明的目的将KFDA应用到多聚焦图像融合中，提出了一种新的多聚焦图像融合技术，本发明的具体过程如下：

步骤1：将大小为M×N 的源图像A,B 分为若干大小为d×d 的图像块，定义sign(m,n) 为对应于融合图像F 的每个图像块的标志矩阵，其中0≤m≤M/d-1,0≤n≤N/d-1。

步骤2：分别计算每个图像块的3个特征，改进的拉普拉斯能量和SML、空间频率SF，以及平均梯度EOG，定义对应源图像块A_h 与B_h的特征向量分别为[SML_A,SF_A, EOG_A]与[SML_B,SF_B,EOG_B]。

其中

$\begin{array}{c}\mathrm{SML}(i,j)=\underset{m=-M}{\overset{M}{\mathrm{\Σ}}}\underset{n=-N}{\overset{N}{\mathrm{\Σ}}}\mathrm{ML}{(i+m,j+n)}^2,\\ \mathrm{ML}(i,j)=|2F(i,j)-F(i-1,j)-F(i+1,j)|+|2F(i,j)-F(i,j-1)-F(i,j+1)|\\ \mathrm{SF}=\sqrt{{\mathrm{RF}}^2+{\mathrm{CF}}^2},\mathrm{RF}=\sqrt{\frac{1}{\mathrm{MN}}\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}{[F(i,j)-F(i,j-1)]}^2},\mathrm{CF}=\sqrt{\frac{1}{\mathrm{MN}}\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}{[F(i,j)-F(i-1,j)]}^2}\\ \mathrm{EOG}=\frac{1}{m\×n}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}\sqrt{{[F(i,j)-F(i+1,j)]}^2+{[F(i,j)-F(i,j+1)]}^2}\end{array}$

步骤3：在原图像中选取合适的区域作为训练集，训练KFDA来判断源图像块A_h与B_h中哪个更清晰。归一化后的差值向量，通过人眼判断，当原图像块A_h比B_h更清晰时，输出为1，否则输出为0。

其中KFDA的判别函数为：

$f\left(x\right)=(w^{\mathrm{\φ}}\·\mathrm{\φ}\left(x\right))+b=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{a}_{i}k(x_i,x)+b$

这里 为核函数，本发明采用径向基核函数，b通过求解具有L₁ 软边界的1维线性支持向量机来确定。

步骤4：利用步骤3获得的KFDA对所有源图像块进行分类，如果源图像块A_h比B_h更清晰，Sign(m,n)=1，否则 Sign(m,n)=0。

由此可以得到初步融合图像Z，即有

$Z(i,j)=\left\{\begin{array}{c}A(i,j),\mathrm{Sign}(i,j)=1\\ B(i,j),\mathrm{Sign}(i,j)=0\end{array}\right.$

步骤5：找出位于源图像的清晰与模糊区域交界处的图像块和，针对此类图像块，采用如下的融合策略：

步骤5.1：采用NSCT对该图像块

和

进行分解，得到图像块

的低频子带系数和高频方向子带系数

，得到图像块

的低频子带系数

和高频方向子带系数

，其中l表示分解的尺度数，k表示方向分解级数。

步骤5.2：融合规则

1）低频子带的融合策略

图像经NSCT分解后得到的低频子带是源图像块的近似描述，包含了图像中的大部分能力特征。本发明采用拉普拉斯能量和（SML）反映图像的边缘特征，在一定程度上能恰当表征图像的聚焦特性和清晰度。

由于对比度是在某一区域内考虑的，假设窗口大小为m₁×n₁，源图像块和

的低频系数

和

相对应的局部拉普拉斯能量和

和

的计算公式如公式（1）和公式（2）：

$\begin{array}{c}{\mathrm{NSML}}_l^{A^{\′}}(i,j)=\underset{k_1=-(m_1-1)/2}{\overset{(m_1-1)/2}{\mathrm{\Σ}}}\underset{k_2=-(n_1-1)/2}{\overset{(n_1-1)/2}{\mathrm{\Σ}}}{W}_l(k_1,k_2)\left(\right|2L_l^{A^{\′}}(i+k_1,j+k_2)-L_l^{A^{\′}}(i+k_1-1,j+k_2)-L_l^{A^{\′}}(i+k_1+1,j+k_2)|\\ {+|2L_l^{A^{\′}}(i+k_1,j+k_2)-L_l^{A^{\′}}(i+k_1,j+k_2-1)-L_l^{A^{\′}}(i+k_1,j+k_2+1)|)}^2\end{array}---\left(1\right)$

$\begin{array}{c}{\mathrm{NSML}}_l^{B^{\′}}(i,j)=\underset{k_1=-(m_1-1)/2}{\overset{(m_1-1)/2}{\mathrm{\Σ}}}\underset{k_2=-(n_1-1)/2}{\overset{(n_1-1)/2}{\mathrm{\Σ}}}{W}_l(k_1,k_2)\left(\right|2L_l^{B^{\′}}(i+k_1,j+k_2)-L_l^{B^{\′}}(i+k_1-1,j+k_2)-L_l^{B^{\′}}(i+k_1+1,j+k_2)|\\ {+|2L_l^{B^{\′}}(i+k_1,j+k_2)-L_l^{B^{\′}}(i+k_1,j+k_2-1)-L_l^{B^{\′}}(i+k_1,j+k_2+1)|)}^2\end{array}---\left(2\right)$

显然，局部拉普拉斯能量和越大，表明图像块含有丰富的图像信息。根据图像块的拉普拉斯能量和的大小，低频系数的融合规则如公式（3）：

$L_l^F(i,j)=\left\{\begin{array}{cc}{L}_l^{Z_A},& \mathrm{if}:{\mathrm{NSML}}_l^{A^{\′}}(i,j)>{\mathrm{NSML}}_l^{B^{\′}}(i,j)\\ L_l^{Z_B},& \mathrm{if}:{\mathrm{NSML}}_l^{A^{\′}}(i,j)\≤{\mathrm{NSML}}_l^{B^{\′}}(i,j)\end{array}\right.---\left(3\right)$

2）高频子带融合规则

本发明选择NSCT分解得到的高频子带绝对值最大者为融合后的高频系数，即：

$H_{l,k}^F=\left\{\begin{array}{c}{H}_{l,k}^{Z_A},\left|H_{l,k}^{Z_A}\right|>\left|H_{l,k}^B\right|\\ H_{l,k}^{Z_B},\left|H_{l,k}^{Z_A}\right|<\left|H_{l,k}^{Z_B}\right|\end{array}\right.$

步骤5.3：通过NSCT逆运算进行图像块重构，得到重构后的图像块记为

。

步骤6：结合初步融合图像Z和重构后的图像块

，得到最终融合图像F。

$F(i,j)=\left\{\begin{array}{c}Z(i,j),\mathrm{if}\underset{(i,j)\&Element;Q}{\mathrm{\&Sigma;}}\mathrm{Sign}(i,j)=9\mathrm{or}\underset{(i,j)\&Element;Q}{\mathrm{\&Sigma;}}\mathrm{Sign}(i,j)=0\\ Z_h^F(i,j),\mathrm{if}0<\underset{(i,j)\&Element;Q}{\mathrm{\&Sigma;}}\mathrm{Sign}(i,j)<9\end{array}\right.$

这里Q为3×3图像块。

本发明首先将源图像进行块分割,计算反映图像块聚焦程度的清晰度特征;再将源图像的部分区域作为训练样本,获得训练后的核Fisher判别分析参数;然后利用已知的核Fisher判别分析获得初步融合图像;最后对位于源图像清晰与模糊区域交界处的源图像块利用NSCT变换进行处理后,得到最终融合图像。实验结果表明,该方法的图像融合效果优于常用图像融合方法,可在有效提高图像融合质量与减少计算量之间获得较好的折衷。

附图说明

图1是本发明的流程图；

图2是实例图，图2（1）是左聚焦图像，图2（2）是右聚焦图像，图2（3）是标准图像，图2（4）是本发明的图像融合效果图，图2（5）是基于像素点的NSCT图像融合效果图，图2（6）是基于窗口的NSCT图像融合效果图，图2（7）是基于窗口的Contourlet图像融合效果图。

具体实施方式

参照图1，本发明的具体过程包括：1）对源图像A,B进行划分，定义标志矩阵sign(m,n)；2）定义源图像块A_h 与B_h的特征向量；3）将某源图像的特征差值向量作为输入，将人眼判断的清晰区域作为输出，训练KFDA；4）应用KFDA训练结果对源图像块进行分类，给出标志矩阵sign(m,n)的值，确定初始融合图像；5）采用NSCT对介于清晰与模糊区域交界处的图像块进行融合；6）得到最终融合图像。

为了验证本发明的有效性，选取一组多聚焦图像进行融合实验，图2（1）和图2（2）分别为左聚焦图像和右聚焦图像。为了客观地对比实验方法，将本发明提出的方法、基于像素点NSCT方法、基于窗口NSCT方法、基于Contourlet窗口方法进行比较，它们融合效果分别见图2（3）~图2（7）所示。从图2可以看出，本发明能有效集中原始图像中清晰部分特征信息,对边缘以及图像细节信息表述得更为清晰突出,主观目视效果好，其融合质量也优于传统的融合方法.因此,本发明是有效可行的。

除了主观的视觉评价,还选用互信息(MI),相 关 系 数(corr),边缘 特 征 值(EIPV),信 息 熵(entropy)和清晰度(gradient)这5种客观指标对融合结果进行评价.表1对比了图2中4种融合算法对多聚焦图像获得融合图像的客观评价指标.其中,前两种指标都是将融合图像和理想图像进行比较.互信息的值越大,表明融合图像能从原始图像中提取出大量特征信息;相关系数越接近1,表明融合图像与理想图像的差异越小.边缘特征值是将融合图像与源图像进行比较的评价指标,其值越大,表明融合图像的特征信息越丰富. 本发明获得的融合图像的互信息、相关系数以及边缘特征值都是最优的,这说明该算法获得的融合图像与理想图像的差异最小,能有效地提取原始图像的信息,为融合图像保留更多的原始图像信息。

表1 多聚焦融合图像性能客观评价

融合算法	MI	corr	EIPV	Entropy	gradient
						本发明方法	5.0078	0.9980	0.8813	7.0158	4.6219
像素点的NSCT	3.7339	0.9891	0.7168	7.1376	4.8641
						窗口的NSCT	3.7117	0.9774	0.6810	7.1589	4.8801
窗口的Contourlet	3.7121	0.9970	0.6632	7.1689	4.8997

信息熵和清晰度越大,表明图像的信息越丰富,但信息熵和清晰度是两个不需要标准图像的评价指标.在传统的融合算法中都会引入不同程度的伪吉布斯现象,导致图像的信息熵和清晰度增大。而本发明融合规则获得的融合图像的信息熵和清晰度两个指标均低于其他几种方法,说明该规则能减弱伪吉布斯现象的影响.因此,客观评价与主观视觉分析相一致.

通过主客观评价,验证了本发明的融合规则能提高图像的视觉质量,且能有效提取原始图像中的信息.

Claims (1)

1.一种新的多聚焦图像融合技术，其主要步骤如下：

步骤1：将大小为M*N 的源图像A,B分为若干大小为d*d 的图像块，定义                                                

为对应于融合图像F 的每个图像块的标志矩阵，其中

；

步骤2：分别计算每个图像块的3个特征，改进的拉普拉斯能量和SML、空间频率SF，以及平均梯度EOG，定义对应源图像块

与

的特征向量分别为与

；

步骤3：在原图像中选取合适的区域作为训练集，训练KFDA来判断源图像块

与

中哪个更清晰；归一化后的差值向量

，通过人眼判断，当原图像块

比

更清晰时，输出为1，否则输出为0；

步骤4：利用步骤3获得的KFDA对所有源图像块进行分类，如果源图像块

比

更清晰，

，否则，得到初步融合图像Z，即有

步骤5：找出位于源图像的清晰与模糊区域交界处的图像块

和

，针对此类图像块，采用如下的融合策略：

步骤5.1：采用NSCT对该图像块

和

进行分解，得到图像块

的低频子带系数

和高频方向子带系数

，得到图像块

的低频子带系数

和高频方向子带系数

，其中l表示分解的尺度数，k表示方向分解级数；

步骤5.2：融合规则

1）低频子带的融合策略

这里，

 2）高频子带融合规则

选择NSCT分解得到的高频子带绝对值最大者为融合后的高频系数，即：

步骤5.3：通过NSCT逆运算进行图像块重构，得到重构后的图像块记为

；

步骤6：结合初步融合图像Z和重构后的图像块

，得到最终融合图像F；

这里Q为3*3图像块。

Images