CN103985108A - 一种利用边界检测和多尺度形态学清晰度度量的多聚焦图像融合方法 - Google Patents

Abstract

一种利用边界检测和多尺度形态学清晰度度量的多聚焦图像融合方法，其步骤是：首先，提取多尺度多结构元素，再通过加权合并得到图像的多尺度形态学梯度特征；其次，构造图像的清晰度度量，利用该度量检测多聚焦源图像中聚焦与离焦区域的边界区域；再次，将边界区域细化，得到最终的边界线特征；接着，通过度量每幅源图像在边界线分割的清晰度度量，从而得到初始的多聚焦图像的融合决策图像；继而，滤除融合决策图像中的弱小孤立区域，并利用最近邻方法填补空白区域；此后，膨胀融合决策图像中的边界线，得到最终的融合决策图像；最后，根据融合决策图像及制定的融合策略得到一幅各处都清晰的融合图像。本发明广泛应用于各类图像处理的应用系统。

Description

一种利用边界检测和多尺度形态学清晰度度量的多聚焦图像融合方法

技术领域

本发明涉及一种利用边界检测和多尺度形态学清晰度度量的多聚焦图像融合方法，属于数字图像处理领域，主要涉及数学形态学和图像融合技术。图像融合可以有效提高图像信息的利用率，并且为图像理解与分析等奠定良好基础。因此，多聚焦图像融合在各类基于图像的应用系统中有广阔的应用前景。

背景技术

多聚焦图像融合技术，可以有效解决将同一场景中位于不同距离的景物都清晰地呈现在一幅图像中的难题。图像融合技术可以有效提高图像信息的利用率，是图像分析和模式识别的重要基础。图像融合技术通常能够为不同的图像处理应用提供更多的有用信息，如目标识别、显微成像和军事作战等。但是，多聚焦图像中聚焦区域的检测是多聚焦区域的一个难点，并且图像中的内容复杂，一般很难对所有区域的清晰度进行准确地度量。因此，多聚焦图像融合技术是非常困难的。

为了更好地将多聚焦图像中不同距离的景物呈现在一幅图像中，研究者们提出了不同的方法。这些方法大致分为两类：变换域图像融合方法和空间域图像融合方法。常用的变换域融合方法主要包括：基于金字塔分解的方法(参见文献：彼得罗维奇等，基于梯度的多分辨率分析图像融合方法，美国电子电气工程师协会图像处理汇刊，13(2)(2004)228–237。(V.S.Petrovic,C.S.Xydeas,Gradient-based multiresolution image fusion,IEEE Transactions on ImageProcessing,13(2)(2004)228–237.))和基于小波变换的方法(参见文献：李等，利用小波变换的多传感器图像融合，图形模型和图像处理，57(3)(1995)235–245。(H.Li,B.S.Manjunath,S.K.Mitra,Multisensor image fusion using the wavelet transform,Graphical Models and ImageProcessing,57(3)(1995)235–245.))。这些变换域融合方法被广泛应用于图像融合中，但是这些融合方法不能有效保持图像的原始信息，并且由于算法自身局限性，会对图像边缘有一定的平滑作用，导致融合图像的边缘模糊。在空间域融合方法中，最简单的一种方法是多聚焦图像的每个像素进行加权平均处理。这种方法具有计算简单和融合速度快等优点，但是会降低融合图像的对比度，并且对融合图像的边缘、轮廓等产生一定程度的模糊。而基于区域的融合方法(参见文献：李等，利用空间频率的多聚焦图像融合方法，信息融合，26(7)(2001)169–176。(S.Li,J.T.Kwok,Y.Wang,Combination of images with diverse focuses using the spatialfrequency,Information Fusion26(7)(2001)169–176.))充分考虑了局部区域内像素的相关性，可以提高聚焦区域提取的准确性，并且可以有效保持图像的原始信息。但是基于区域的融合方法直接依赖于图像分割算法的结果，并且图像分割算法一般具有计算复杂、速度慢等特点，不利于实时处理。研究者又提出了基于块分割的多聚焦融合方法(参见文献：黄等，基于多聚焦图像融合的清晰度度量评价方法，模式识别快报，28(4)(2007)493–500。(W.Huang,Z.Jing,Evaluation of focus measures in multi-focus image fusion,Pattern Recognition Letters28(4)(2007)493–500.))。基于块分割方法考虑了局部像素的相关性，并且计算比较简单。但是基于块分割的融合方法的融合效果依赖于分块大小；同时图像一般较为复杂，使图像块的清晰程度难以准确度量，往往导致融合图像中存在块效应。

多聚焦图像融合的本质是提取每幅源图像的聚焦区域，然后通过组合重建得到融合图像。在多聚焦图像中，聚焦与离焦区域的边界部分通常是不同图像间清晰度度量差异比较小的图像区域。因此，通过利用多聚焦源图像间清晰度度量的差异信息，可能会产生一种非常有效的多聚焦图像的聚焦与离焦区域的边界线提取方法，进而将边界线分割出的每个聚焦区域从相应的源图像中拷贝并组合成一幅全部聚焦的融合图像。数学形态学中的梯度运算，可以有效提取图像的局部显著特征，所以能够作为图像的清晰度度量。并且根据多尺度理论(参见文献：帕斯托雷等，基于形态学运算和测地距离的大脑核磁共振图像分割，数字信号处理，15(2005)153–160。(J.I.Pastore,E.G.Moler,V.L.Ballarin.Segmentation of brain magneticresonance images through morphological operators and geodesic distance,Digital SignalProcessing15(2005)153–160.)；鲍厄那亚等，空间不变的形态学复原与骨架表示，美国电子电气工程师协会图像处理汇刊，15(11)(2006)3579–3591。(N.Bouaynaya,M.Charif-Chefchaouni,D.Schonfeld.Spatially variant morphological restoration and skeletonrepresentation,IEEE Transactions on Image Processing,15(11)(2006)3579–3591.))，形态学的梯度特征可以被推广到提取图像多个尺度下的梯度特征，从而产生一种更稳定的清晰度度量。

为了得到一幅视觉效果更好的融合图像，本发明提出了一种利用边界检测和多尺度形态学清晰度度量的多聚焦图像融合方法。

发明内容

多聚焦图像融合是图像理解与图像分析的关键技术。但现有的图像融合方法并不能很好地将不同聚焦距离的源图像融合在一起，生成的融合图像往往对比度较低、存在产生块效应或边缘模糊现象等。

为了解决上述问题并弥补传统方法的不足，本发明提出了一种利用边界检测和多尺度形态学清晰度度量的多聚焦图像融合方法。首先，构造能够使形态学梯度运算用于提取图像梯度特征的多尺度多结构元素，并利用构造的结构元素提取多个尺度下的梯度特征，再通过加权合并每个尺度的梯度特征得到图像的多尺度形态学梯度特征；其次，利用多尺度形态学梯度特征构造图像的清晰度度量，并利用该度量检测多聚焦源图像中聚焦与离焦区域的边界区域；再次，将边界区域细化，并剔除其中的弱小线特征，得到的最终的边界线特征；接着，通过度量每幅源图像在边界线分割每个区域的清晰度，从而得到初始的多聚焦图像的融合决策图像；继而，滤除融合决策图像中的弱小孤立区域，并利用最近邻方法填补空白区域；此后，膨胀融合决策图像中的边界线，得到最终的融合决策图像；最后，根据融合决策图像及制定的融合策略，即直接从多聚焦源图像中对应地拷贝到融合结果中，而边界区域的像素则将源图像对应的像素加权拷贝到融合结果中，从而得到一幅各处都清晰的融合图像。多聚焦图像融合的结果，是图像处理相关应用的重要前提。

本发明一种利用边界检测和多尺度形态学清晰度度量的多聚焦图像融合方法，它包含以下具体步骤：

步骤一：构造用于提取多个尺度梯度特征的结构元素。

设结构元素有n个尺度，即B₁，B₂，…，B_j，…，B_n，其中其中，所有结构元素均为圆形扁平结构元素。

步骤二：计算每幅多聚焦图像f_i(1≤i≤m)每个尺度j(1≤j≤n)下的梯度特征。

通过形态学的梯度运算，利用构造的B_j按下式提取图像f_i在尺度j上的梯度特征(G_(i,j))：

$G_{(i,j)}(x,y)=f_i(x,y)\⊕B_j-f_i(x,y)\mathrm{\Θ}{B}_j,$

其中，(x,y)是图像像素坐标；和Θ分别为形态学膨胀和腐蚀运算，且其具体定义如下：

$f\⊕B=\underset{(u,v)}{\max }(f(x-u,y-v)+B(u,v)),$

$\mathrm{f\ΘB}=\underset{(u,v)}{\max }(f(x+u,y+v)+B(u,v)),$

其中，f是原始图像；B是结构元素；(x,y)是图像像素坐标；(u,v)是结构元素中的像素坐标。

步骤三：合并每幅多聚焦源图像f_i(1≤i≤m)各个尺度的梯度特征，得到每幅源图像的多尺度梯度特征灰度图像(MSG_i)。

MSG_i(x,y)＝w₁×G(i,1)+w₂×G(i,2)+…+w_n×G(i,n),

其中，w_j为尺度j下梯度特征的加权权重。

步骤四：利用多尺度形态学梯度特征构造图像清晰度度量，然后逐像素检测多聚焦源图像中聚焦区域与离焦区域的边界区域，得到多聚焦图像边界区域特征图像L。

首先，构造用于度量图像清晰程度的多尺度形态学清晰度度量MSFM。

度量图像中某区域的清晰度时，一般将该区域内的梯度特征之和作为该区域的清晰度度量。因此，本发明在度量每幅源图像f_i中每个像素位置(x,y)的清晰度时，将以该像素为中心(2k+1)×(2k+1)区域内的多尺度形态学梯度特征之和作为该像素位置的清晰度度量MSFM_i(x,y)。

${\mathrm{MSFM}}_i(x,y)=\underset{(p,q)}{\mathrm{\Σ}}{\mathrm{MSG}}_i(p,q),\left\{\begin{array}{c}p\∈[x-k,x+k]\\ q\∈[y-k,y+k]\end{array}\right..$

其次，计算所有源图像f_i(1≤i≤m)中每个像素位置(x,y)对应梯度的最大值和最小值，分别作为近似的全聚焦图像的梯度特征图CMSG和全离焦图像的梯度特征图BMSG。

$\mathrm{CMSG}(x,y)=\underset{i}{\max }\left({\mathrm{MSG}}_i(x,y)\right),i\∈[1,m],$

$\mathrm{BMSG}(x,y)=\underset{i}{\min }\left({\mathrm{MSG}}_i(x,y)\right),i\∈[1,m].$

再次，利用全聚焦图像近似梯度特征图CMSG和全离焦图像近似梯度特征图BMSG，分别计算图中每个像素位置(x,y)对应的清晰度度量CFM(x,y)和BFM(x,y)。

$\mathrm{CFM}(x,y)=\underset{(p,q)}{\mathrm{\Σ}}C\mathrm{MSG}(p,q),\left\{\begin{array}{c}p\∈[x-k,x+k]\\ q\∈[y-k,y+k]\end{array},\right.$

$\mathrm{BFM}(x,y)=\underset{(p,q)}{\mathrm{\Σ}}\mathrm{BMSG}(p,q),\left\{\begin{array}{c}p\∈[x-k,x+k]\\ q\∈[y-k,y+k]\end{array}.\right.$

然后，计算多聚焦源图像间清晰度度量的最大差maxDFM，以及全聚焦与全离焦图像间近似的清晰度度量之差maxSDG。

$\max \mathrm{DFM}(x,y)=\underset{i}{\max }\left({\mathrm{MSFM}}_i(x,y)\right)-\underset{i}{\min }\left({\mathrm{MSFM}}_i(x,y)\right),i\∈[1,m],$

maxSDG(x,y)＝CFM(x,y)-BFM(x,y)。

最后，通过比较多聚焦源图像间的清晰度差异与全聚焦图像与全离焦图像间近似的清晰度差异，得到初始的多聚焦图像的边界区域特征图像L。

L(x,y)＝(maxDFM(x,y)<0.8×maxSDG(x,y))∪(maxDFM(x,y)<(2k+1)²)。

步骤五：后续处理多聚焦图像的边界区域特征图像L，得到更加完善的边界线特征图像L_final。

首先，细化边界区域，得到单像素宽度的边界线特征图像L_thin。

然后，剔除边界线图像L_thin中的弱小线特征，得到更加完善的边界线特征图像L_final。

步骤六：通过比较边界线划分每个区域的清晰度度量，得到多聚焦图像的融合决策图像D。

首先，在边界线图像L_final分割的每个区域R_l中，比较每幅多聚焦图像f_i在该区域的清晰度度量

然后，将较大清晰度度量所对应的图像序号i(1≤i≤m)拷贝到多聚焦图像融合决策图像D中的R_k区域，可以得到初始的融合决策图像D。

步骤七：重建多聚焦图像融合的决策图像D，得到最终的融合决策图像D_final。

首先，滤除决策图像中的弱小孤立区域；

其次，利用最近邻方法，填补决策图像中的空白区域；

再次，清除决策图像中错误的边界线；

最后，膨胀聚焦区域的边界，得到最终的融合决策图像D_final。

步骤八：根据多聚焦图像融合的决策图像D_final及制定的融合准则，生成最终的融合图像。

其中，步骤八所述的“制定的融合准则”，其具体内容如下：

首先，对于决策图像中的非空区域，从相应的多聚焦图像拷贝到融合图像中的相应位置；

然后，对于决策图像中的边界区域，以每个像素位置到边界中心线最小距离的倒数为权重，将多聚焦图像的加权和拷贝到融合图像中的该像素位置，得到最终的多聚焦融合图像。

本发明的优点及功效在于：利用构造的结构元素可有效提取图像中多个尺度下的梯度特征，使得图像清晰度的度量效果更加准确且更加稳定；多聚焦图像的边界检测方法可以有效利用源图像间清晰度差异信息，从而可以很好地用于多聚焦图像融合中的边界区域的检测。因为本发明直接利用多聚焦图像间的清晰度差异信息，从而可以避免基于区域的图像融合方法中分割不准确的问题；并且本发明的融合方法计算简单，从而比传统的基于区域的融合方法更快。因此，本发明可以被广泛地应用于各类基于图像处理的应用系统，具有广阔的市场前景与应用价值。

附图说明

图1为本发明利用边界检测和多尺度形态学清晰度度量的多聚焦图像融合方法的流程框图。

图2为本发明构造的结构元素B的形状表示图。

图3(a)和3(b)是应用于图像融合的“clock”多聚焦源图像。

图3(c)是直接平均方法的融合结果图像。

图3(d)是小波变换方法的融合结果图像。

图3(e)是梯度金字塔方法的融合结果图像。

图3(f)是本发明方法的融合结果图像。

图4(a)和4(b)是应用于图像融合的“seascape”多聚焦源图像。

图4(c)是直接平均方法的融合结果图像。

图4(d)是小波变换方法的融合结果图像。

图4(e)是梯度金字塔方法的融合结果图像。

图4(f)是本发明方法的融合结果图像。

图中符号说明如下：

图1中，f_i(1≤i≤m)为多聚焦源图像；G_(i,j)(1≤j≤n)代表图像f_i在尺度j上的梯度特征；w_j表示图像f_i(1≤i≤m)尺度j下形态学梯度特征的对应权重；MSG_i表示图像f_i的多尺度形态学梯度特征。本发明应用的示例中，多聚焦源图像数量m均为2，尺度个数n均为5，尺度j下的权重w_j＝1/(2×j+1)。

图2中，r代表圆形结构元素的半径，在本发明中，r由结构元素的尺度j(1≤j≤n)决定，尺度j下,r＝2×j+1。

具体实施方式

为了更好地理解本发明的技术方案，以下结合附图对本发明的实施方式作进一步描述。

本发明的原理及流程框图如图1所示，本发明的具体实施细节如下：

步骤一：构造用于提取多个尺度梯度特征的结构元素。

图像的梯度特征能很好地表征图像的清晰度。为了有效地提取图像中各种尺度下的梯度特征，本发明构造了多个尺度的结构元素。又因为形态学的梯度运算可有效利用图像区域内的差异信息，所以，形态学的梯度运算可以很好地用于线性特征的提取。因此，本发明利用构造的多尺度结构元素，并通过形态学的梯度运算就可以提取图像中各种可能的梯度特征。

设结构元素有n个尺度，即B₁，B₂，…，B_j，…，B_n，其中其中，结构元素均为圆形扁平结构元素。在本发明所示的实例中各参数的设定如下：所用尺度个数n＝5，在尺度j下,结构元素所对应的半径分别为：r＝2×j+1。

步骤二：计算每幅多聚焦图像f_i(1≤i≤m)每个尺度j(1≤j≤n)下的梯度特征。

图像中的梯度特征通常为局部区域内的灰度差异。形态学膨胀运算可用于提取图像中局部区域内的亮特征，形态学腐蚀运算可以提取局部区域内的暗特征。而形态学的梯度运算(参见文献：文森特等，数字空间中的流域方法：一种基于浸没仿真的有效方法，美国电子电气工程师协会模式分析和机器智能汇刊，13,583-598(1991).。(L.Vincent and P.Soille,Watershedsin digital spaces:An efficient algorithm based on immersion simulations,IEEE Transactions onPattern Analysis and Machine Intelligence13,583-598(1991).))为图像膨胀运算结果与腐蚀运算结果之差，所以它可以有效提取图像的灰度差异信息(即梯度特征)。因此，利用构造的结构元素，形态学梯度运算可以有效提取各个尺度下的梯度特征。具体步骤如下：

通过形态学的梯度运算，利用构造的B_j按下式提取图像f_i在尺度j上的梯度特征(G_(i,j))：

$G_{(i,j)}(x,y)=f_i(x,y)\&CirclePlus;B_j-f_i(x,y)\mathrm{\&Theta;}{B}_j,(1\&le;i\&le;m,1\&le;j\&le;n)$

其中，(x,y)是图像像素坐标；和Θ分别为形态学膨胀和腐蚀运算，且其具体定义如下：

$f\&CirclePlus;B=\underset{(u,v)}{\max }(f(x-u,y-v)+B(u,v)),$

$\mathrm{f\&Theta;B}=\underset{(u,v)}{\min }(f(x+u,y+v)+B(u,v)),$

其中，f是原始图像；B是结构元素；(x,y)是图像像素坐标；(u,v)是结构元素中的像素坐标。

步骤三：合并每幅多聚焦源图像f_i(1≤i≤m)各个尺度的梯度特征，得到每幅多聚焦源图像的多尺度形态学梯度特征灰度图像(MSG_i)。

MSG_i(x,y)＝w₁×G(i,1)+w₂×G(i,2)+…+w_n×G(i,n),

其中，w_j为尺度j下梯度特征的加权权重。

由于低尺度的梯度特征代表近距离范围内的梯度信息，而高尺度的梯度特征代表远距离范围内的梯度信息。为了更好地将多个尺度的梯度信息融合起来，低尺度梯度信息应该具有较大权重，使多尺度梯度特征突出当前位置的梯度信息；高尺度梯度特征应具有较小权重，

从而增强局部范围像素之间的联系，具有梯度能量扩散的作用。这样，得到的多尺度梯度特征不仅可以准确表示梯度信息，又能增强同质区域的连续性。本发明中，尺度j下的权重设定如下：w_j＝1/(2×j+1)。

步骤四：利用多尺度形态学梯度特征构造图像清晰度度量，然后逐像素检测多聚焦源图像中聚焦与离焦区域的边界区域，得到多聚焦图像边界区域特征图像L。

每幅多聚焦源图像中的边界区域都是部分聚焦、部分离焦的，所以在边界区域多聚焦源图像间的清晰度差异较小；而每幅多聚焦图像的非边界区域都是全部聚焦或者全部离焦的，并且每个聚焦或离焦区域都是与其它源图像中的离焦或聚焦区域一一对应的，所以在这些非边界区域中源图像间的清晰度差异较大。又因为图像的梯度特征可以表征图像的清晰成度。因此，可以利用多聚焦源图像的梯度特征度量多聚焦图像间的清晰度差异，产生一种多聚焦源图像中边界区域的检测方法。

本发明将提取的多尺度梯度特征(MSG_i)与文献(白等，利用四叉树和加权清晰度度量的多聚焦图像融合方法，信息融合(2014)。(X.Bai,Y.Zhang,F.Zhou,B.Xue,Quadtree-basedmulti-focus image fusion using a weighted focus-measure,Information Fusion(2014).))相结合提出了多聚焦图像中聚焦与离焦区域边界区域的检测方法，具体步骤如下：

首先，构造用于度量图像清晰程度的多尺度形态学清晰度度量MSFM。

度量图像中某区域的清晰度时，一般将该区域内的梯度特征之和作为该区域的清晰度度量。因此，本发明在度量每幅源图像f_i中每个像素位置(x,y)的清晰度时，将以该像素为中心(2k+1)×(2k+1)区域内的多尺度形态学梯度特征之和作为该像素位置的清晰度度量MSFM_i(x,y)。

${\mathrm{MSFM}}_i(x,y)=\underset{(p,q)}{\mathrm{\&Sigma;}}{\mathrm{MSG}}_i(p,q),\left\{\begin{array}{c}p\&Element;[x-k,x+k]\\ q\&Element;[y-k,y+k]\end{array}\right..$

在本发明中参数设定如下：k＝3，即块大小为5×5。

其次，计算所有源图像f_i(1≤i≤m)中每个像素位置(x,y)对应梯度的最大值和最小值，分别作为近似的全聚焦图像的梯度特征图CMSG和全离焦图像的梯度特征图BMSG。

$\mathrm{CMSG}(x,y)=\underset{i}{\max }\left({\mathrm{MSG}}_i(x,y)\right),i\&Element;[1,m],$

$\mathrm{BMSG}(x,y)=\underset{i}{\min }\left({\mathrm{MSG}}_i(x,y)\right),i\&Element;[1,m].$

理想情况下，每幅源图像的聚焦区域中每个像素位置的梯度都比其它源图像的离焦区域中对应像素位置的梯度大。因此，取所有多聚焦源图像在每个像素位置的梯度最大值，可以近似同一场景各处聚焦图像的梯度特征。同样，取所有源图像在每个像素位置的梯度最小值，可以近似同一场景各处离焦图像的梯度特征。

再次，利用近似得到的全聚焦图像梯度特征图CMSG和全离焦图像梯度特征图BMSG，分别计算全聚焦图像与全离焦图像中每个像素位置(x,y)的清晰度度量CFM(x,y)和BFM(x,y)。

$\mathrm{CFM}(x,y)=\underset{(p,q)}{\mathrm{\&Sigma;}}C\mathrm{MSG}(p,q),\left\{\begin{array}{c}p\&Element;[x-k,x+k]\\ q\&Element;[y-k,y+k]\end{array},\right.$

$\mathrm{BFM}(x,y)=\underset{(p,q)}{\mathrm{\&Sigma;}}\mathrm{BMSG}(p,q),\left\{\begin{array}{c}p\&Element;[x-k,x+k]\\ q\&Element;[y-k,y+k]\end{array}.\right.$

然后，计算多聚焦图像之间清晰度度量的最大差maxDFM，以及得到的全聚焦与全离焦图像间近似的清晰度度量之差maxSDG。

$\max \mathrm{DFM}(x,y)=\underset{i}{\max }\left({\mathrm{MSFM}}_i(x,y)\right)-\underset{i}{\min }\left({\mathrm{MSFM}}_i(x,y)\right),i\&Element;[1,m],$

maxSDG(x,y)＝CFM(x,y)-BFM(x,y)。

最后，比较多聚焦源图像之间的清晰度差异与得到的全聚焦图像与全离焦图像间近似的清晰度差异，得到初始的多聚焦图像的边界区域特征图像L。

L(x,y)＝(maxDFM(x,y)<0.8×maxSDG(x,y))∪(maxDFM(x,y)<(2k+1)²)。

本发明将全聚焦图像与全离焦图像间近似的清晰度差异(maxSDG)作为基准，衡量多聚焦源图像间清晰度差异(maxDFM)。如果在某像素位置，多聚焦源图像间的清晰度差异与全聚焦与全离焦图像近似的清晰度差异之间相差较大，则该位置可能处于聚焦与离焦区域的边界区域。本发明中，如果某像素位置的多聚焦图像间清晰度差异maxDFM小于设定的阈值为0.8×maxSDG，则认为该像素位置处于多聚焦源图像中的边界区域。此外，当多聚焦源图像的边界区域比较平滑时，上述方法将不能做出正确的决策，因为此时该边界区域中源图像间清晰度差异和全聚焦与全离焦图像间的清晰度差异都较小，很难准确地检测该区域是否为边界区域，所以当某像素位置的多聚焦图像间清晰度差异较小时，该像素位置也可能处于源图像中聚焦与离焦区域的边界区域。本发明中，如果某像素位置的多聚焦图像间清晰度差异maxDFM小于设定的阈值(2k+1)²，则认为该像素位置也处于多聚焦源图像中的边界区域。因此，本发明可以有效地提取多聚焦图像中的聚焦与离焦区域的边界区域。

步骤五：后续处理多聚焦图像的边界区域特征图像L，得到更加完善的边界线特征图像L_final。

首先，细化边界线，得到单像素宽度的边界线特征图像L_thin。

形态学细化运算的具体步骤请参见文献：索爱黎，形态学图像分析：原理与应用，斯布林格出版社，德国，2003。(P.Soille,Morphological image analysis-principle and applications,Springer,Germany,2003.)。

然后，剔除边界线图像L_thin中的弱小线特征，得到更加完善的边界线特征图像L_final。

由于检测的边界线中，可能存在一些噪声区域，通过剔除边界线特征中的弱小线特征可以提高检测的正确度。

步骤六：通过边界线特征图像和构造的清晰度度量，生成融合决策图像D。

边界线特征图像L_final中边界线将图像分割的成若干个区域，通过比较每个区域的清晰度度量，可以得到初始的融合决策图像D。具体的方法如下步骤：

首先，在边界线图像L_final分割的每个区域R_l中，比较每幅多聚焦图像f_i在该区域的清晰度度量

然后，将具有较大清晰度度量所对应的图像序号i(1≤i≤m)拷贝到多聚焦图像融合决策图像D中的R_k区域，可以得到初始的融合决策图像D。

步骤七：重建多聚焦图像融合的决策图像，得到最终的决策图像D_final。

由于初始的融合决策图像并不是非常完美，导致得到的融合结果中可能会存在一些瑕疵。因此，一般需要完善或修复融合决策图像中的瑕疵，才能得到更好地结果。这些瑕疵一般主要包括两种：孤立的内部弱小区域和空白区域。

首先，如果融合决策图像中存在孤立的内部弱小区域，则在最后提取的图像融合结果中，可能会产生块效应。本发明首先在融合决策图像中检测孤立的内部弱小区域，然后通过删除这些区域，可以很好地解决这个问题。本发明中，孤立的内部弱小区域的大小阈值设定为多聚焦源图像面积的1/40。

其次，对于融合决策图像中的空白区域，本发明首先在融合决策图像中自动检测这些区域，然后通过统计最近邻区域的属性来填充空白区域，从而进一步改善融合决策图像。

再次，融合决策图像中，仍可能存在少数非闭合或孤立的内部杂线。因此，需要剔除这些杂线，从而减小其对后续处理的影响。

最后，为了使多聚焦图像的边界区域能够更换和的过渡，在融合决策图像中膨胀不同区域间的边界线，得到最终的融合决策图像D_final。

步骤八：根据多聚焦图像的融合决策图像D_final，生成最终的融合图像。

针对本发明的融合决策图像及多聚焦源图像特点，制定的图像融合策略如下：

在融合决策图像中，存在两类区域：带有图像标号的区域和空白的区域。首先，对于决策图像中的非空区域，从相应的多聚焦源图像拷贝到融合图像中的相应区域；然后，为了使融合图像的边界区域得到更平滑地过渡，对决策图像中的空白区域(即边界区域)，以每个像素位置到边界中心线最小距离的倒数为权重，将多聚焦图像的加权和拷贝到融合图像中的该像素位置。最终可以得到一幅各处清晰，且视觉效果非常好的融合图像。

为了展示本发明的效果，利用图2所示构造的线性结构元素通过形态学梯度运算对各图像中的梯度特征进行提取。在所展示的实例中，各参数的设定如下：所用尺度数n＝5；在尺度j(1≤j≤n)下,各个结构元素所对应的半径分别为：r＝2×j+1。

图3(a)—图3(f)为本发明的一个应用于“clock”图像融合实例并与其他方法对比的结果。本组多聚焦源图像为一组近场景图像，包括一近一远两个闹钟。由于直接平均方法直接取所有源图像的均值作为融合结果，所以该方法必然会降低融合图像的对比度，并且会对融合图像的边缘、轮廓产生模糊；小波变换方法在频域与空域的转换过程中，会对图像边缘有一定的平滑作用，因此小波变换方法会降低图像对比度并且产生边缘模糊效应，且源图像中某些部分没有很好地配准，导致融合图像中存在畸变；梯度金字塔方法也是一种变换域的方法，可以看出融合图像的对比度明显降低；最后本发明方法可以有效检测多聚焦图像中的聚焦与离焦区域的边界线，然后直接从源图像拷贝清晰度度量较大的区域到融合结果中，此外本发明方法对边界区域做了平滑处理，所以本发明方法可以有效保持图像的原始信息，并且生成的融合图像视觉效果最好。

图4(a)—图4(f)为本发明的一个应用于“seascape”图像融合实例并与其他方法对比的结果。本组多聚焦图像为一组远场景图像，包括近处的岩石和远处的大海与岛屿。本图像中岩石和海面区域的纹理信息复杂。并且由于光学镜头的自身限制，两幅源图像间的岩石区域和大海及岛屿区域并不是一一对应的。因此，直接平均方法、小波变换方法和梯度金字塔方法的融合图像都存在一定程度的纹理模糊现象。并且直接平均方法和梯度金字塔方法依然很大程度地降低了图像的对比度。而本发明方法可以很好地找到近景与远景的分界线，生成一幅各处清晰的融合图像，融合效果最优。

用于示例的图像来自于各种环境、不同远近的多聚焦图像，并且从本发明的实验结果中可以看出，本发明能够非常有效地实现多聚焦图像的融合。这充分说明本发明可以被广泛应用于各类基于图像处理的应用系统中，并且具有广阔的市场前景与应用价值。

Claims (2)

1.一种利用边界检测和多尺度形态学清晰度度量的多聚焦图像融合方法，其特征在于：它包含以下具体步骤：

步骤一：构造用于提取多个尺度梯度特征的结构元素；

设结构元素有n个尺度，即B₁，B₂，…，B_j，…，B_n，其中其中，所有结构元素均为圆形扁平结构元素；

步骤二：计算每幅多聚焦图像f_i(1≤i≤m)每个尺度j(1≤j≤n)下的梯度特征；

通过形态学的梯度运算，利用构造的B_j按下式提取图像f_i在尺度j上的梯度特征(G_(i,j))：

$G_{(i,j)}(x,y)=f_i(x,y)\&CirclePlus;B_j-f_i(x,y)\mathrm{\&Theta;}{B}_j,$

其中，(x,y)是图像像素坐标；和Θ分别为形态学膨胀和腐蚀运算，且其具体定义如下：

$f\&CirclePlus;B=\underset{(u,v)}{\max }(f(x-u,y-v)+B(u,v)),$

$\mathrm{f\&Theta;B}=\underset{(u,v)}{\max }(f(x+u,y+v)+B(u,v)),$

其中，f是原始图像；B是结构元素；(x,y)是图像像素坐标；(u,v)是结构元素中的像素坐标；

步骤三：合并每幅多聚焦源图像f_i(1≤i≤m)各个尺度的梯度特征，得到每幅源图像的多尺度梯度特征灰度图像(MSG_i)；

MSG_i(x,y)＝w₁×G(i,1)+w₂×G(i,2)+…+w_n×G(i,n),

其中，w_j为尺度j下梯度特征的加权权重；

步骤四：利用多尺度形态学梯度特征构造图像清晰度度量，然后逐像素检测多聚焦源图像中聚焦区域与离焦区域的边界区域，得到多聚焦图像边界区域特征图像L；

首先，构造用于度量图像清晰程度的多尺度形态学清晰度度量MSFM；

度量图像中某区域的清晰度时，一般将该区域内的梯度特征之和作为该区域的清晰度度量；因此，在度量每幅源图像f_i中每个像素位置(x,y)的清晰度时，将以该像素为中心(2k+1)×(2k+1)区域内的多尺度形态学梯度特征之和作为该像素位置的清晰度度量MSFM_i(x,y)；

${\mathrm{MSFM}}_i(x,y)=\underset{(p,q)}{\mathrm{\&Sigma;}}{\mathrm{MSG}}_i(p,q),\left\{\begin{array}{c}p\&Element;[x-k,x+k]\\ q\&Element;[y-k,y+k]\end{array}\right.;$

其次，计算所有源图像f_i(1≤i≤m)中每个像素位置(x,y)对应梯度的最大值和最小值，分别作为近似的全聚焦图像的梯度特征图CMSG和全离焦图像的梯度特征图BMSG；

$\mathrm{CMSG}(x,y)=\underset{i}{\max }\left({\mathrm{MSG}}_i(x,y)\right),i\&Element;[1,m],$

$\mathrm{BMSG}(x,y)=\underset{i}{\min }\left({\mathrm{MSG}}_i(x,y)\right),i\&Element;[1,m];$

再次，利用全聚焦图像近似梯度特征图CMSG和全离焦图像近似梯度特征图BMSG，分别计算图中每个像素位置(x,y)对应的清晰度度量CFM(x,y)和BFM(x,y)；

$\mathrm{CFM}(x,y)=\underset{(p,q)}{\mathrm{\&Sigma;}}C\mathrm{MSG}(p,q),\left\{\begin{array}{c}p\&Element;[x-k,x+k]\\ q\&Element;[y-k,y+k]\end{array},\right.$

$\mathrm{BFM}(x,y)=\underset{(p,q)}{\mathrm{\&Sigma;}}\mathrm{BMSG}(p,q),\left\{\begin{array}{c}p\&Element;[x-k,x+k]\\ q\&Element;[y-k,y+k]\end{array};\right.$

然后，计算多聚焦源图像间清晰度度量的最大差maxDFM，以及全聚焦与全离焦图像间近似的清晰度度量之差maxSDG；

$\max \mathrm{DFM}(x,y)=\underset{i}{\max }\left({\mathrm{MSFM}}_i(x,y)\right)-\underset{i}{\min }\left({\mathrm{MSFM}}_i(x,y)\right),i\&Element;[1,m],$

maxSDG(x,y)＝CFM(x,y)-BFM(x,y)；

最后，通过比较多聚焦源图像间的清晰度差异与全聚焦图像与全离焦图像间近似的清晰度差异，得到初始的多聚焦图像的边界区域特征图像L；

L(x,y)＝(maxDFM(x,y)<0.8×maxSDG(x,y))∪(maxDFM(x,y)<(2k+1)²)；

步骤五：后续处理多聚焦图像的边界区域特征图像L，得到更加完善的边界线特征图像L_final；

首先，细化边界区域，得到单像素宽度的边界线特征图像L_thin；

然后，剔除边界线图像L_thin中的弱小线特征，得到更加完善的边界线特征图像L_final；

步骤六：通过比较边界线划分每个区域的清晰度度量，得到多聚焦图像的融合决策图像D；

首先，在边界线图像L_final分割的每个区域R_l中，比较每幅多聚焦图像f_i在该区域的清晰度度量

然后，将较大清晰度度量所对应的图像序号i(1≤i≤m)拷贝到多聚焦图像融合决策图像D中的R_k区域，得到初始的融合决策图像D；

步骤七：重建多聚焦图像融合的决策图像D，得到最终的融合决策图像D_final；

首先，滤除决策图像中的弱小孤立区域；

其次，利用最近邻方法，填补决策图像中的空白区域；

再次，清除决策图像中错误的边界线；

最后，膨胀聚焦区域的边界，得到最终的融合决策图像D_final；

步骤八：根据多聚焦图像融合的决策图像D_final及制定的融合准则，生成最终的融合图像。

2.根据权利要求1所述的一种利用边界检测和多尺度形态学清晰度度量的多聚焦图像融合方法，其特征在于：步骤八所述的“制定的融合准则”，其具体内容如下：首先，对于决策图像中的非空区域，从相应的多聚焦图像拷贝到融合图像中的相应位置；然后，对于决策图像中的边界区域，以每个像素位置到边界中心线最小距离的倒数为权重，将多聚焦图像的加权和拷贝到融合图像中的该像素位置，得到最终的多聚焦融合图像。