CN104881855A - 一种利用形态学和自由边界条件活动轮廓模型的多聚焦图像融合方法 - Google Patents

Abstract

一种利用形态学和自由边界条件活动轮廓模型的多聚焦图像融合方法，步骤是：一、利用梯度特征构造图像初始清晰度分布图；二、由初始清晰度分布图计算得到粗糙清晰度分布图，再确定最终清晰度分布图；三、利用形态学小面积移除运算和形态学开闭运算对最终清晰度分布图进行处理得到初始融合决策图像；四、从初始融合决策图像中提取聚焦区域和离焦区域的分界线，此分界线为自由边界条件活动轮廓模型的初始值；五、由自由边界条件活动轮廓模型得到边界线图像，并根据边界线图像和初始融合决策图像得到最终融合决策图像；六、根据多聚焦图像融合的决策图像及设定的融合准则，生成一幅各处清晰的最终融合图像。本发明广泛应用于各类图像处理的应用系统。

Description

一种利用形态学和自由边界条件活动轮廓模型的多聚焦图像融合方法

技术领域

本发明涉及一种利用形态学和自由边界条件活动轮廓模型的多聚焦图像融合方法，属于数字图像处理领域，它主要涉及数学形态学和图像融合技术。图像融合可以有效提高图像信息的利用率，并且为图像理解与分析等奠定良好基础。因此，多聚焦图像融合在各类基于图像的应用系统中有广阔的应用前景。

背景技术

多聚焦图像融合技术是一种获得所有物体都处于聚焦状态的合成图的重要技术。由于相机镜头聚焦范围有限，很难使镜头内的所有物体都处于聚焦状态。因此，需要多聚焦融合技术将同一场景中位于不同距离的景物都清晰的呈现在一幅图像中，使得图像信息能够被更有效地利用。这对人眼视觉观察和计算机处理与识别都具有非常重要的意义，如为目标识别、显微成像和军事作战等应用提供更多的有用信息。但是，由于很难对所有区域的清晰度进行准确地度量，有效地检测多聚焦图像中的聚焦区域是一个具有挑战性的问题。因此，多聚焦图像融合技术是非常困难的。

国内外研究者提出了不同类型的方法来融合多聚焦图像，这些方法大致分为两类：变换域图像融合方法和空间域图像融合方法。基于金字塔分解的方法(参见文献：彼得罗维奇等，基于梯度的多分辨率分析图像融合方法，美国电子电气工程师协会图像处理汇刊，13(2)(2004)228–237。(V.S.Petrovic,C.S.Xydeas,Gradient-based multiresolution image fusion,IEEETransactions on Image Processing,13(2)(2004)228–237.))和基于小波变换的方法(参见文献：李等，利用小波变换的多传感器图像融合，图形模型和图像处理，57(3)(1995)235–245。(H.Li,B.S.Manjunath,S.K.Mitra,Multisensor image fusion using the wavelet transform,GraphicalModels and Image Processing,57(3)(1995)235–245.))是常用的变换域融合方法。这些方法虽然已经被广泛应用在图像融合领域，但是这类方法在变换融合过程中会或多或少地损失图像的原始信息，并且会对图像的边缘信息具有一定的加权，导致融合图像边缘的模糊。常见的空间域融合方法包括：基于像素的多聚焦图像融合方法和基于分块的多聚焦图像融合方法。其中，基于像素的多聚焦图像融合方法是较简单的一种。但是，这种方法通常会降低图像的对比度，并且对融合图像的边缘造成一定的模糊。基于分块的融合方法(参见文献：黄等，基于多聚焦图像融合的清晰度度量评价方法，模式识别快报，28(4)(2007)493–500。(W.Huang,Z.Jing,Evaluation of focus measures in multi-focus image fusion,Pattern Recognition Letters 28(4)(2007)493–500.))先将图像分割成大小相同的图像块，然后利用脉冲耦合神经网络选取清晰度较大的图像块，最后通过一致性检测重建得到较好的融合图像。基于分块的方法考虑了局部像素的相关性，但是融合效果依赖于分块大小，并且难以度量复杂图像的清晰程度，往往会导致融合图像出现块效应。

多聚焦图像融合的关键是从每幅源图像中准确地提取出聚焦区域。通过对多聚焦图像的分析，发现图像梯度能够很好地表征图像清晰度。采用图像梯度来表征图像清晰度，并利用一定的扩散方法，获得多聚焦图像的清晰度分布图，能够较准确地从每幅多聚焦源图像中提取出聚焦区域。然后，结合形态学小面积移除运算和开闭运算，采用自由边界条件活动轮廓模型(参见文献：伯士麦等，自由边界条件活动轮廓及其在视觉的应用，可视计算进展，6938:180-191,2011。(M.Shemesh,and O.Ben-Shahar.Free boundary conditions active contourswith applications for vision.Advances in Visual Computing,6938:180-191,2011.))来优化清晰度分布图的分界线，将得到更为准确的分界线，进而可从多聚焦源图像中拷贝聚焦区域到对应的区域，融合成一幅各处清晰的融合图像。

为了得到一幅视觉效果更好的融合图像，本发明提出了一种利用形态学和自由边界条件活动轮廓模型的多聚焦图像融合方法。

发明内容

多聚焦图像融合是图像理解与图像分析的关键技术。但现有的图像融合方法并不能很好地将不同聚焦距离的源图像融合在一起，生成的融合图像对比度较低、存在块效应或边缘模糊现象等。

为了解决上述问题并弥补传统方法的不足，本发明提出了一种利用形态学和自由边界条件活动轮廓模型的多聚焦图像融合方法。首先，计算图像的梯度特征，再利用梯度特征构造图像初始清晰度分布图；其次，由初始清晰度分布图以一定的扩散方式计算得到粗糙清晰度分布图，再由粗糙清晰度分布图确定最终清晰度分布图；接着，针对最终清晰度分布图中被误认为是聚焦的小块离焦区域和被误认为是离焦的小块聚焦区域，利用形态学小面积移除运算将它们剔除，再利用形态学开闭运算和小面积移除运算交替对最终清晰度分布图进行处理；继而，利用边缘提取、形态学桥接运算和细化运算从初始融合决策图像中提取聚焦区域和离焦区域的单个像素宽度的分界线，将所得分界线作为自由边界条件活动轮廓模型的初始值；此后，由自由边界条件活动轮廓模型得到边界线图像，并根据边界线图像和初始融合决策图像，得到最终融合决策图像；最后，根据多聚焦图像融合的决策图像及制定的融合准则，生成一幅各处清晰的最终融合图像。多聚焦图像融合的结果，是图像处理相关应用的重要前提。

本发明一种利用形态学和自由边界条件活动轮廓模型的多聚焦图像融合方法，它包含以下具体步骤：

步骤一：根据图像梯度构造图像初始清晰度分布图OFM_i(x,y)。

首先，计算源图像f_i(x,y)(i＝1,2)的梯度G_i(x,y)：

G_i(x,y)＝▽f_i(x,y),

其中，(x,y)是图像的像素坐标。

然后，计算每幅源图像f_i(x,y)的梯度G_i(x,y)中每个像素位置(x,y)的像素值与以该像素为中心3×3邻域内各个像素值之差的平方和，将所得结果作为该像素位置的初始清晰度分布图OFM_i(x,y)，即

${\mathrm{OFM}}_i(x,y)=\underset{(p,q)}{\mathrm{\Σ}}{(G_i(x,y)-G_i(x+p,y+q))}^2,p,q\∈\{-\mathrm{1,0,1}\}.$

步骤二：由初始清晰度分布图OFM_i(x,y)计算得到粗糙清晰度分布图CFM_i(x,y)，再由CFM_i(x,y)确定最终清晰度分布图FFM_i(x,y)。

首先，计算初始清晰度分布图OFM_i(x,y)中每个像素位置(x,y)的像素值与以该像素为中心3×3邻域内各个像素值之和，将所得结果作为粗糙清晰度分布图CFM_i(x,y)：

${\mathrm{CFM}}_i(x,y)=\underset{(p,q)}{\mathrm{\Σ}}{\mathrm{OFM}}_i(x+p,y+q),p,q\∈\{-\mathrm{1,0,1}\}.$

然后，将得到的CFM_i(x,y)作为OFM_i(x,y)，如此再迭代M-1次，将最终得到的结果作为粗糙清晰度分布图CFM_i(x,y)。

最后，在比较所有粗糙清晰度分布图CFM_i(x,y)的基础上，以CFM₁(x,y)作为参考，若CFM₁(x,y)＞CFM₂(x,y)，则最终的清晰度分布图FFM(x,y)取1，否则取0，即

$\mathrm{FFM}(x,y)=\left\{\begin{array}{cc}1,& {\mathrm{CFM}}_1(x,y)>{\mathrm{CFM}}_2(x,y)\\ 0,& \mathrm{otherwise}\end{array}.\right.$

若某区域的CFM_i(x,y)较大，则表示f_i(x,y)中对应的区域是聚焦的；若某区域的CFM_i(x,y)较小，则表示f_i(x,y)中对应的区域是离焦的。

步骤三：利用形态学小面积移除运算和形态学开闭运算对最终清晰度分布图FFM(x,y)处理，得到初始融合决策图像OD。

首先，利用形态学小面积移除运算对最终清晰度分布图FFM(x,y)处理。若FFM(x,y)中某区域像素数小于[m×n/40]，则该区域是小块区域。通过形态学小面积移除运算得到OD₁：

OD₁＝RSO(FFM(x,y),[m×n/40])。

其中，m是源图像f_i的高，n是源图像f_i的宽，[·]为取整运算，RSO(·)是形态学小面积移除操作。通过形态学小面积移除运算，可以将聚焦区域中被误认为是离焦区域和离焦区域中被误认为是聚焦区域的小块区域去掉。

然后，利用结构元素B对OD₁进行数学形态学开运算，接着，利用形态学小面积移除运算将开运算后生成被误认为是聚焦区域的小面积区域剔除，得到OD₂，即

OD₂＝OD₁οB。

其中，ο是数学形态学开运算，结构元素B为圆形扁平结构元素。

最后，利用结构元素B对OD₂进行数学形态学闭运算，接着，利用形态学小面积移除运算将闭运算后生成被误认为是离焦区域的小面积区域剔除，即可得到初始融合决策图像OD，即

OD＝OD₂·B。

其中，·是数学形态学闭运算，结构元素B为圆形扁平结构元素，大小和开运算的大小一样。

步骤四：从初始融合决策图像OD提取聚焦区域和离焦区域的分界线L_i(i＝1,...,l)。

通过边缘提取、形态学桥接运算和形态学细化运算从初始融合决策图像OD提取聚焦区域和离焦区域的分界线L_i(i＝1,...,l)。其中，l为初始融合决策图像OD中聚焦区域和离焦区域的分界线数目。

步骤五：由自由边界条件活动轮廓模型，得到边界线图像L_final，并根据边界线图像L_final和初始融合决策图像OD，得到最终融合决策图像D_final。

首先，将提取到的聚焦区域和离焦区域的分界线作为自由边界条件活动轮廓模型的初始轮廓L_i(i＝1,...,l)，运行自由边界条件活动轮廓模型N次得到边界线图像L_final。

然后，在边界线图像L_final分割的每个区域中，根据初始融合决策图像OD确定每一个区域的清晰度。若边界线图像L_final中的某一区域R在初始融合决策图像OD中取1，则区域R取值为1，拷贝源图像f₁(x,y)中对应的区域到区域R；若边界线图像L_final中的某一区域R在初始融合决策图像OD中取0，则区域R取值为0，拷贝源图像f₂(x,y)中对应的区域到区域R。从而，获得最终融合决策图像D_final。

步骤六：根据多聚焦图像融合的决策图像D_final及制定的融合准则，生成最终的融合图像。

为使融合图像在边界处平缓过渡，制定了融合准则。本发明中，制定的融合准则如下：

首先，在决策图像D_final中，对边界进行高斯平滑，使边界的权重为高斯权重，平滑后的最终决策图像为D_finalG。

然后，以D_finalG为权重拷贝源图像f₁(x,y)到融合图像，以1-D_finalG为权重拷贝源图像f₂(x,y)到融合图像，两者之和即为最终的多聚焦融合图像f(x,y)，表示为

f(x,y)＝D_finalG×f₁(x,y)+(1-D_finalG)×f₂(x,y)。

本发明的优点及功效在于：利用图像梯度表征多聚焦融合图像的清晰度，效果准确且稳定，能够有效利用源图像的信息；结合形态学的小面积移除、开闭运算等运算能够有效地提取多聚焦图像中聚焦区域和离焦区域的分界线；自由边界条件活动轮廓模型能够使聚焦区域和离焦区域的分界线更准确，从而能够获得各处清晰的视觉效果良好的融合图像。同时，本发明方法能够保留源图像的原始信息，不会产生对图像对比度、亮度有影响。因此，本发明可以被广泛地应用于各类基于图像处理的应用系统，具有广阔的市场前景与应用价值。

附图说明

图1为本发明利用形态学和自由边界条件活动轮廓模型的多聚焦图像融合方法的流程框图。

图2为本发明结构元素B的形状表示图。

图3(a)和3(b)是应用于图像融合的“时钟”多聚焦源图像。

图3(c)是本发明方法的融合结果图像。

图4(a)和4(b)是应用于图像融合的“气球”多聚焦源图像。

图4(c)是本发明方法的融合结果图像。

图5(a)和5(b)是应用于图像融合的“猎豹”多聚焦源图像。

图5(c)是本发明方法的融合结果图像。

图6(a)和6(b)是应用于图像融合的“图书”多聚焦源图像。

图6(c)是本发明方法的融合结果图像。

图中符号说明如下：

图1中，f₁(x,y)、f₂(x,y)为多聚焦源图像；G₁(x,y)、G₂(x,y)为图像的梯度，OFM₁(x,y)、OFM₂(x,y)为初始清晰度分布图。

具体实施方式

为了更好地理解本发明的技术方案，以下结合附图对本发明的实施方式作进一步描述。本发明的原理及流程框图如图1所示，本发明的具体实施细节如下：

步骤一：根据图像梯度构造图像初始清晰度分布图OFM_i(x,y)。

图像的梯度特征能够很好地表征图像的清晰度。对灰度图像中的某一区域而言，聚焦区域的灰度变化比离焦区域的灰度变化剧烈。而灰度变化反应在梯度特征上，因此可以使用图像的梯度特征来表征图像的清晰度。理想情况下，每幅源图像的聚焦区域中每个像素位置的梯度都比其他源图像的离焦区域中对应像素位置的梯度大。因此，本发明利用每幅源图像梯度的每个像素位置的像素值和它的八邻域的各个像素值之差的平方和来构造初始清晰度分布图OFM_i(x,y)。

首先，计算源图像f_i(x,y)(i＝1,2)的梯度G_i(x,y)：

G_i(x,y)＝▽f_i(x,y),

其中，(x,y)是图像的像素坐标。

然后，计算每幅源图像f_i(x,y)的梯度G_i(x,y)中每个像素位置(x,y)的像素值与以该像素为中心3×3邻域内各个像素值之差的平方和，将所得结果作为该像素位置的初始清晰度分布图OFM_i(x,y)，即

${\mathrm{OFM}}_i(x,y)=\underset{(p,q)}{\mathrm{\Σ}}{(G_i(x,y)-G_i(x+p,y+q))}^2,p,q\∈\{-\mathrm{1,0,1}\}.$

步骤二：由初始清晰度分布图OFM_i(x,y)计算得到粗糙清晰度分布图CFM_i(x,y)，再由CFM_i(x,y)确定最终清晰度分布图FFM_i(x,y)。

由于初始清晰度分布图OFM_i(x,y)是在像素的八邻域上计算得到的，只能表征局部的信息，而且某些聚焦区域中每个像素位置的像素值与其八邻域像素值平方和之差有可能会小于离焦区域的。这时，如果对每幅图像中的每个像素位置的像素值在其八邻域范围内进行扩散，就可以对清晰度分布有更准确的估计，有效避免出现过小的孤立区域。因此，本发明采用迭代计算初始清晰度分布图OFM_i(x,y)的每个像素位置的像素值与其八邻域各个像素值之和来构造粗糙清晰度分布图CFM_i(x,y)。

首先，计算初始清晰度分布图OFM_i(x,y)中每个像素位置(x,y)的像素值与以该像素为中心3×3邻域内各个像素值之和，并将所得结果作为粗糙清晰度分布图CFM_i(x,y)：

${\mathrm{CFM}}_i(x,y)=\underset{(p,q)}{\mathrm{\Σ}}{\mathrm{OFM}}_i(x+p,y+q),p,q\∈\{-\mathrm{1,0,1}\}.$

然后，将得到的CFM_i(x,y)作为OFM_i(x,y)，如此再迭代M-1次，实现利用扩散消除过小的孤立区域的目的，并将最终得到的结果作为粗糙清晰度分布图CFM_i(x,y)。

最后，在比较所有粗糙清晰度分布图CFM_i(x,y)的基础上，以CFM₁(x,y)作为参考，若CFM₁(x,y)＞CFM₂(x,y)，则最终的清晰度分布图FFM(x,y)取1，否则取0，即

$\mathrm{FFM}(x,y)=\left\{\begin{array}{cc}1,& {\mathrm{CFM}}_1(x,y)>{\mathrm{CFM}}_2(x,y)\\ 0,& \mathrm{otherwise}\end{array}.\right.$

CFM_i(x,y)能够反应源图像每个像素位置的清晰度分布。若某区域的CFM_i(x,y)较大，则表示源图像f_i(x,y)中对应的区域是聚焦的；若某区域的CFM_i(x,y)较小，则表示源图像f_i(x,y)中对应的区域是离焦的。

步骤三：利用形态学小面积移除运算和形态学开闭运算对最终清晰度分布图FFM(x,y)处理，得到初始融合决策图像OD。

所得的FFM(x,y)只能较准确地表示源图像的清晰度分布，在聚焦区域中仍存在误认为是离焦的小块区域，离焦区域中也存在误认为是聚焦的小块区域。因此，需要利用形态学小面积移除运算来移除这些小块区域。最终清晰度分布图FFM(x,y)中，聚焦区域和离焦区域的分界处可能存在过于弯曲以至于远远偏离真实分界。因此，本发明采用形态学开闭运算和形态学小面积移除运算对移除小块区域后的最终清晰度分布图FFM(x,y)进行处理，使得到的聚焦区域和离焦区域的分界线更接近真实分界。

首先，利用形态学小面积移除运算对最终清晰度分布图FFM(x,y)处理。本发明中，若FFM(x,y)中某区域像素数小于[m×n/40]，则该区域是小块区域。通过形态学小面积移除运算得到OD₁：

OD₁＝RSO(FFM(x,y),[m×n/40])。

其中，m是源图像f_i的高，n是源图像f_i的宽，[·]为取整运算，RSO(·)是形态学小面积移除操作。通过形态学小面积移除运算，可以将聚焦区域中被误认为是离焦区域和离焦区域中被误认为是聚焦区域的小块区域去掉。

然后，利用结构元素B对OD₁进行数学形态学开运算，接着，利用形态学小面积移除运算将开运算后生成被误认为是聚焦区域的小面积区域剔除，得到OD₂，即

OD₂＝OD₁οB。

其中，ο是数学形态学开运算，基于膨胀和腐蚀，形态学的开运算为

所用的结构元素B为圆形扁平结构元素。

最后，利用结构元素B对OD₂进行数学形态学闭运算，接着，利用形态学小面积移除运算将闭运算后生成被误认为是离焦区域的小面积区域剔除，即可得到初始融合决策图像OD，即

OD＝OD₂·B。

其中，·是数学形态学闭运算，基于膨胀和腐蚀，形态学的开运算为

所用的结构元素B为圆形扁平结构元素，大小和开运算的大小一样。

步骤四：从初始融合决策图像OD提取聚焦区域和离焦区域的分界线L_i(i＝1,...,l)。

首先，通过Sobel边缘(参见文献：索贝尔，摄像机模型和机器感知，人工技能项目，斯坦福大学，Memo.AIM-121,1970。(I.Sobel,Camera models and machine perception,ArtificialIntelligence Project,Stanford Univ.,Memo.AIM-121,1970.))从初始融合决策图像OD提取聚焦区域和离焦区域的分界线。

接着，使用形态学桥接运算(参见文献：索爱黎，形态学图像分析：原理与应用，斯布林格出版社，德国，2003。(P.Soille,Morphological image analysis-principle and applications,Springer,Germany,2003.))连接单个像素缝隙分割的像素，使分界线能够不间断，保持连续。

然后，使用形态学细化运算(参见文献：索爱黎，形态学图像分析：原理与应用，斯布林格出版社，德国，2003。(P.Soille,Morphological image analysis-principle and applications,Springer,Germany,2003.))细化分界线，获取单个像素宽度的分界线L_i(i＝1,...,l)。其中，l为初始融合决策图像OD中聚焦区域和离焦区域的分界线数目。

步骤五：由自由边界条件活动轮廓模型，得到边界线图像L_final，并根据边界线图像L_final和初始融合决策图像OD，得到最终融合决策图像D_final。

一般来说，提取到的单个像素宽度的分界线L_i(i＝1,...,l)不能够很准确地反应聚焦区域和离焦区域的真实边界，需要再进行处理，才能获得一条更为准确的更接近真实边界的边界线。自由边界条件的活动轮廓模型(参见文献：伯士麦等，自由边界条件活动轮廓及其在视觉的应用，可视计算进展，6938:180-191,2011。(M.Shemesh,and O.Ben-Shahar.Free boundaryconditions active contours with applications for vision.Advances in Visual Computing,6938:180-191,2011.))以图像梯度来构造能量函数，符合聚焦区域和离焦区域的特点，在以分界线L_i(i＝1,...,l)为初始轮廓的基础上，能够有效地将轮廓收敛至真实边界。因此，本发明采用自由边界条件活动轮廓模型来寻找更准确的边界线。

首先，将提取到的聚焦区域和离焦区域的分界线作为自由边界条件活动轮廓模型的初始轮廓L_i(i＝1,...,l)，运行自由边界条件活动轮廓模型N次得到边界线图像L_final。

然后，在边界线图像L_final分割的每个区域中，根据初始融合决策图像OD确定每一个区域的清晰度。若边界线图像L_final中的某一区域R在初始融合决策图像OD中取1，则区域R取值为1，拷贝源图像f₁(x,y)中对应的区域到区域R；若边界线图像L_final中的某一区域R在初始融合决策图像OD中取0，则区域R取值为0，拷贝源图像f₂(x,y)中对应的区域到区域R。从而，获得最终融合决策图像D_final。

步骤六：根据多聚焦图像融合的决策图像D_final及制定的融合准则，生成最终的融合图像。

根据多聚焦图像融合的决策图像D_final直接从源图像中拷贝聚焦区域到对应区域得到的多聚焦融合图像往往会存在一些瑕疵。这些瑕疵主要由源图像中聚焦区域之间的在边界线处拼接造成的突兀变化。因此，需要制定合适的融合准则，才能得到更好的融合结果。为使融合图像在边界处平缓过渡，制定了融合准则。本发明中，制定的融合准则如下：

首先，在决策图像D_final中，对边界进行高斯平滑，使边界的权重为高斯权重，平滑后的最终决策图像为D_finalG。

然后，以D_finalG为权重拷贝源图像f₁(x,y)到融合图像，以1-D_finalG为权重拷贝源图像f₂(x,y)到融合图像，两者之和即为最终的多聚焦融合图像f(x,y)，表示为

f(x,y)＝D_finalG×f₁(x,y)+(1-D_finalG)×f₂(x,y)。

这样，就能够得到一幅各处清晰且视觉效果良好的融合图像。

为了展示本发明的效果，利用图2所示构造的线性结构元素通过形态学开闭运算对最终清晰度分布图FFM(x,y)进行处理。在所展示的实例中，结构元素的半径为5。初始清晰度分布图OFM_i(x,y)计算得到粗糙清晰度分布图CFM_i(x,y)的迭代次数M＝10，自由边界条件活动轮廓模型迭代次数N＝200。

图3(a)-图3(c)为本发明的一个应用于“时钟”图像融合实例的结果。本组多聚焦源图像包括一近一远两个闹钟。由图3(c)可以看出，本发明方法能够有效提取多聚焦图像中聚焦区域和离焦区域的分界线，且利用制定的融合准则对分界线处进行处理，获得了一幅各处清晰的融合图像。本发明方法可以有效地保持图像的原始信息，能够获得视觉效果良好的融合图像。

图4(a)-图4(c)为本发明的一个应用于“气球”图像融合实例的结果。本组多聚焦图像由人工生成。由图4(c)可以看出，本发明方法能够有效提取多聚焦图像的聚焦区域和离焦区域，有效地保存多聚焦图像的原始信息，生成一幅各处清晰的融合图像，并且融合效果良好。

图5(a)-图5(c)为本发明的一个应用于“猎豹”图像融合实例的结果。本组多聚焦图像由人工生成。由图5(c)可以看出，本发明方法能够有效提取多聚焦图像的聚焦区域和离焦区域，不会产生明显的拼接痕迹，生成一幅各处清晰的融合图像，并且融合效果良好。

图6(a)-图6(c)为本发明的一个应用于“图书”图像融合实例的结果。本组多聚焦图像包括一远一近的两本书。由图6(c)可以看出，本发明方法能够有效提取多聚焦图像的聚焦区域和离焦区域，边界处过渡较平缓，生成一幅各处清晰视觉效果良好的融合图像。

用于示例的图像来自于各种环境下拍摄和人工生成的多聚焦图像，并且从本发明的实验结果中可以看出，本发明能够有效地实现多聚焦图像的融合。这充分说明本发明可以被广泛应用于各类基于图像处理的应用系统中，并且具有广阔的市场前景与应用价值。

Claims (1)

1.一种利用形态学和自由边界条件活动轮廓模型的多聚焦图像融合方法，其特征在于：它包含以下具体步骤：

步骤一：根据图像梯度构造图像初始清晰度分布图OFM_i(x,y)；

首先，计算源图像f_i(x,y)(i＝1,2)的梯度G_i(x,y)：

$G_i(x,y)=\▿f_i(x,y),$

其中，(x,y)是图像的像素坐标；

然后，计算每幅源图像f_i(x,y)的梯度G_i(x,y)中每个像素位置(x,y)的像素值与以该像素为中心3×3邻域内各个像素值之差的平方和，将所得结果作为该像素位置的初始清晰度分布图OFM_i(x,y)，即

${\mathrm{OFM}}_i(x,y)=\underset{(p,q)}{\mathrm{\Σ}}{(G_i(x,y)-G_i(x+p,y+p))}^2,p,q\∈\{-\mathrm{1,0,1}\};$

步骤二：由初始清晰度分布图OFM_i(x,y)计算得到粗糙清晰度分布图CFM_i(x,y)，再由CFM_i(x,y)确定最终清晰度分布图FFM_i(x,y)；

首先，计算初始清晰度分布图OFM_i(x,y)中每个像素位置(x,y)的像素值与以该像素为中心3×3邻域内各个像素值之和，将所得结果作为粗糙清晰度分布图CFM_i(x,y)：

${\mathrm{CFM}}_i(x,y)=\underset{(p,q)}{\mathrm{\Σ}}{\mathrm{OFM}}_i(x+p,y+q),p,q\∈\{-\mathrm{1,0,1}\};$

然后，将得到的CFM_i(x,y)作为OFM_i(x,y)，如此再迭代M-1次，将最终得到的结果作为粗糙清晰度分布图CFM_i(x,y)；

最后，在比较所有粗糙清晰度分布图CFM_i(x,y)的基础上，以CFM₁(x,y)作为参考，若CFM₁(x,y)＞CFM₂(x,y)，则最终的清晰度分布图FFM(x,y)取1，否则取0，即

$\mathrm{FFM}(x,y)=\left\{\begin{array}{cc}1,& {\mathrm{CFM}}_1(x,y)>{\mathrm{CFM}}_2(x,y)\\ 0,& \mathrm{otherwise}\end{array}\right.;$

若某区域的CFM_i(x,y)较大，则表示f_i(x,y)中对应的区域是聚焦的；若某区域的CFM_i(x,y)较小，则表示f_i(x,y)中对应的区域是离焦的；

步骤三：利用形态学小面积移除运算和形态学开闭运算对最终清晰度分布图FFM(x,y)处理，得到初始融合决策图像OD；

首先，利用形态学小面积移除运算对最终清晰度分布图FFM(x,y)处理，若FFM(x,y)中某区域像素数小于[m×n/40]，则该区域是小块区域；通过形态学小面积移除运算得到OD₁：

OD₁＝RSO(FFM(x,y),[m×n/40])；

其中，m是源图像f_i的高，n是源图像f_i的宽，[·]为取整运算，RSO(·)是形态学小面积移除操作；通过形态学小面积移除运算，将聚焦区域中被误认为是离焦区域和离焦区域中被误认为是聚焦区域的小块区域去掉；

然后，利用结构元素B对OD₁进行数学形态学开运算，接着，利用形态学小面积移除运算将开运算后生成被误认为是聚焦区域的小面积区域剔除，得到OD₂，即

OD₂＝OD₁οB；

其中，ο是数学形态学开运算，结构元素B为圆形扁平结构元素；

最后，利用结构元素B对OD₂进行数学形态学闭运算，接着，利用形态学小面积移除运算将闭运算后生成被误认为是离焦区域的小面积区域剔除，即可得到初始融合决策图像OD，即

OD＝OD₂·B；

其中，·是数学形态学闭运算，结构元素B为圆形扁平结构元素，大小和开运算的大小一样；

步骤四：从初始融合决策图像OD提取聚焦区域和离焦区域的分界线L_i(i＝1,...,l)；

通过边缘提取、形态学桥接运算和形态学细化运算从初始融合决策图像OD提取聚焦区域和离焦区域的分界线L_i(i＝1,...,l)；其中，l为初始融合决策图像OD中聚焦区域和离焦区域的分界线数目；

步骤五：由自由边界条件活动轮廓模型，得到边界线图像L_final，并根据边界线图像L_final和初始融合决策图像OD，得到最终融合决策图像D_final；

首先，将提取到的聚焦区域和离焦区域的分界线作为自由边界条件活动轮廓模型的初始轮廓L_i(i＝1,...,l)，运行自由边界条件活动轮廓模型N次得到边界线图像L_final；

然后，在边界线图像L_final分割的每个区域中，根据初始融合决策图像OD确定每一个区域的清晰度；若边界线图像L_final中的某一区域R在初始融合决策图像OD中取1，则区域R取值为1，拷贝源图像f₁(x,y)中对应的区域到区域R；若边界线图像L_final中的某一区域R在初始融合决策图像OD中取0，则区域R取值为0，拷贝源图像f₂(x,y)中对应的区域到区域R，从而，获得最终融合决策图像D_final；

步骤六：根据多聚焦图像融合的决策图像D_final及制定的融合准则，生成最终的融合图像；

为使融合图像在边界处平缓过渡，制定的融合准则如下：

首先，在决策图像D_final中，对边界进行高斯平滑，使边界的权重为高斯权重，平滑后的最终决策图像为D_finalG；

然后，以D_finalG为权重拷贝源图像f₁(x,y)到融合图像，以1-D_finalG为权重拷贝源图像f₂(x,y)到融合图像，两者之和即为最终的多聚焦融合图像f(x,y)，表示为

f(x,y)＝D_finalG×f₁(x,y)+(1-D_finalG)×f₂(x,y)。