CN101853500A - 一种彩色多聚焦图像融合方法 - Google Patents

Abstract

本发明公开了一种彩色多聚焦图像融合方法，首先提取出原始彩色多聚焦图像对应的亮度分量图像I_X和I_Y；利用àtrous小波变换对亮度分量图像I_X和I_Y进行分解，得到边缘特征图像EF_X和EF_Y；计算图像EF_X或EF_Y中每一点p的活跃度得到活跃度函数图像LA_X和LA_Y；对活跃度函数图像中各像素点的清晰度进行比较得到初级决策图，利用多数滤波器对IDM中各像素点进行一致性检验，得到最终决策图；依据最终决策图在原始RGB空间各彩色通道中选取像素点，生成各通道的融合图像。本发明提高了对源图像污染以及误匹配的免疫力，改善了图像质量，提高了融合可靠性，简单、快速，克服了不连续性，优于现有方法。

Description

一种彩色多聚焦图像融合方法

技术领域

本发明涉及彩色图像的成像处理方法，尤其是一种彩色图像的融合方法。

背景技术

由于光学系统的聚焦范围有限，对某一场景拍摄时，普通的光学成像系统难以对该场景中不同距离上的物体都形成清晰的像。当焦点聚集在某个物体上时，它可在像平面上形成一个清晰的像。这时，位于其它位置上的物体，在像平面上所形成的像将呈现不同程度的模糊。因此，光学镜头的成像机理使得成像系统在分辨率不断提高的同时，无法避免有限的聚焦范围对成像图片整体效果的影响，即仅依靠成像系统难以得到同一场景中所有物体都清晰的图像。通过多聚焦图像融合技术可以有效地解决该问题。

实际应用中，为了得到某一场景的清晰化图像，主要是通过对多幅多聚焦图像进行融合的方法来实现。现有的融合方法主要在变换域或空间域中实施。以Samuel Cheng等提出的方法为代表的基于变换域的融合方法(参见文献Proceedings of SPIE，6144(Q)：1-8，2006)首先将原始多聚焦图像进行某种变换，然后利用不同策略对变换域中的系数进行融合，最后通过反变换得到清晰图像。以Li Shutao等提出的方法为代表的基于空间域的融合方法则是先将原始多聚焦图像划分成若干子块，然后利用某种清晰度(或模糊度)测量手段对每一子块的清晰度(或模糊度)进行检测，最后提取所有清晰图像块组成一幅清晰图像(参见文献Information Fusion，2(3)：169-176，2001)。

上述的两大主流融合现有技术均有不足之处。基于变换域的融合技术在融合结果中极易出现振铃效应或Gibbs现象，并且其计算复杂度高，运算量大；而基于空间域的融合技术由于图像子块的划分不能有效地针对实际多聚焦图像的特点，故在图像的清晰与模糊之间的过渡带容易出现不连续现象或块效应现象，影响了融合质量。

发明内容

为了克服现有技术计算复杂、运算量大或者融合质量不高的不足，本发明提供一种针对彩色多聚焦图像的融合方法，克服了在拍摄照片时传感器自身聚焦范围的物理限制，通过对两幅或多幅彩色多聚焦图像进行融合，使得不同成像距离的物体能够清晰地呈现在一幅图像中，从而有效地提高了图像信息的利用率和对目标探测识别的可靠性，可广泛应用于彩色数码照相以及显微镜成像领域。

本发明解决其技术问题所采用的技术方案包括以下步骤：

第一步、预处理：

利用PAL制系统的YUV彩色模型提取出原始彩色多聚焦图像的亮度分量I。由于原始彩色多聚焦图像所在的RGB彩色空间混合了图像的亮度和色度属性，即R、G、B分量(通道)不仅代表了亮度也表示色度，分量本身存在很大的相关性。如果对三个分量分别进行融合难以保证融合图像中某一像素点对应的三个分量来自同一源图像，从而破坏它们之间的原始比例关系，导致颜色信息的丢失和混乱。因此，需要对原始RGB彩色空间进行预处理以便真实地反映出彩色图像清晰度方面的性能。

本阶段的输出信号为两幅灰度多聚焦图像，即原始彩色多聚焦图像X与Y对应的亮度分量图像I_X和I_Y。

第二步、特征提取：

利用àtrous小波变换对亮度分量图像I_X和I_Y进行分解，得到J个多分辨率小波平面d_j(j＝1，...，J)和残留图像A_J，J为分解层数。

输入图像I_X和I_Y利用àtrous算法被分解成一系列的小波平面，图中的边缘特征被连续地保留下来。经过分解后，其小波系数均在0值附近波动，波动的幅度越大表明该处灰度变化越明显，对应原始图像中出现的边缘、轮廓或者纹理信息就更为丰富。图像中同一边缘在不同小波平面里对应位置的系数是同号的(同正或同负)，而在同一边缘附近的区域内的小波系数在不同的小波平面会出现异号的现象。因此，我们对每幅源图像对应的所有小波平面的绝对值求和，提取准确的边缘特征(Edge Feature，EF)，计算如下式

$\mathrm{EF}=\underset{j=1}{\overset{J}{\mathrm{\Σ}}}\left|d_j\right|---\left(1\right)$

得到的边缘特征图像EF_X和EF_Y作为本阶段输出信号，用于清晰度检测。

第三步、清晰度检测：

图像中每一点的清晰程度可以由活跃度来描述，而活跃度的计算依赖于输入图像的特点。考虑到输入图像EF_X和EF_Y的特点，需要引入二阶导数算子-Laplacian算子来增强其灰度级的变化。

图像EF_X(或EF_Y)中每一点p的活跃度由Laplacian算子按下式计算得到

$L_{{\mathrm{EF}}_X}\left(p\right)=\underset{q\≠p}{\underset{q\∈R_p}{\mathrm{\Σ}}}[{\mathrm{EF}}_X\left(q\right)-{\mathrm{EF}}_X\left(p\right)]---\left(2\right)$

其中R_p是点p的k×k正方形邻域(k取3，5，7，9)，q是该邻域中除p以外的其它点。综合更多的信息，计算区域内的平均值，我们提出了一种更可靠且光滑的活跃度函数图像LA，得到原始彩色多聚焦图像X对应的活跃度函数图像LA_X，定义如下：

${\mathrm{LA}}_X\left(p\right)=\left|\frac{1}{n_W}\underset{q\∈W}{\mathrm{\Σ}}{L}_{{\mathrm{EF}}_X}\left(q\right)\right|---\left(3\right)$

其中W是以点p为中心，大小为h×h的正方形区域(h取3，5，7，9)，q是区域W中除p以外的其它点，n_W是区域W中的像素数目。

按照同样的方法还可以得到另一幅图像的活跃度函数图像LA_Y。

LA_X和LA_Y作为清晰度检测结果是基于边缘特征针对各像素点清晰度的判断，还需由点到面进行扩展，即构建决策图，形成对聚焦(清晰)区域和非聚焦(模糊)区域的判决。

第四步、构建决策图：

决策图(Decision Map，DM)是融合方案的关键，因为它决定了融合图像中各像素点的选取方式。

对于活跃度函数图像LA_X和LA_Y，首先对图像中各像素点的清晰度进行比较，得到初级决策图(Initial DM，IDM)，具体按下式进行

$\mathrm{IDM}\left(p\right)=\left\{\begin{array}{ccc}1& \mathrm{if}& {\mathrm{LA}}_X\left(p\right)\&GreaterEqual;{\mathrm{LA}}_Y\left(p\right)\\ -1& \mathrm{if}& {\mathrm{LA}}_X\left(p\right)<{\mathrm{LA}}_Y\left(p\right)\end{array}\right.---\left(4\right)$

初级决策图IDM为二值图像，为1的像素点表示选自源图像X，为-1的像素点表示选自源图像Y。由于IDM仅对每一个像素点计算得到，而没有参考其相邻点，需要引入多数滤波器(Majority Filter)进行一致性检验(Consistency Verification)，保证图中各像素点所在区域内的其它像素点均来自同一源图像。

这样，利用滑动窗对IDM中各像素点进行一致性检测(可参见文献M.Santos等，LNCS，2652：919-926，2003)，即对初级决策图IDM进行提纯，得到最终决策图(FinalDM，FDM)。

第五步、输出：

依据最终决策图FDM，在原始RGB空间“指导”各彩色通道中每个像素点的选取，生成各通道的融合图像。

得到的融合图像Z的各彩色通道R_Z、G_Z、B_Z像素点的选择如下式：

$R_Z(m,n)=\left\{\begin{array}{ccc}{R}_X(m,n)& \mathrm{if}& \mathrm{FDM}(m,n)=1\\ R_Y(m,n)& \mathrm{if}& \mathrm{FDM}(m,n)=-1\end{array}\right.---\left(5\right)$

$G_Z(m,n)=\left\{\begin{array}{ccc}{G}_X(m,n)& \mathrm{if}& \mathrm{FDM}(m,n)=1\\ G_Y(m,n)& \mathrm{if}& \mathrm{FDM}(m,n)=-1\end{array}\right.---\left(6\right)$

$B_Z(m,n)=\left\{\begin{array}{ccc}{B}_X(m,n)& \mathrm{if}& \mathrm{FDM}(m,n)=1\\ B_Y(m,n)& \mathrm{if}& \mathrm{FDM}(m,n)=-1\end{array}\right.---\left(7\right)$

本发明的有益效果是：本发明首先利用YUV模型得到原始彩色图像的亮度分量，然后在小波域提取出特征信息并生成决策图，最后在空间域对各彩色通道实施融合。本发明将变换域和空间域两种技术相结合，不仅提高了对源图像噪声污染以及误匹配的免疫力，而且还有效地改善了融合图像的质量，提高了融合结果的可靠性。采用决策图指导各彩色通道进行融合的思想，保持了源图像各个分量之间的原始比例关系，解决了其它融合技术易导致颜色失真的问题。此外，本发明比基于变换域融合技术更简单、快速，同时又克服了基于空域融合技术在过渡带上的不连续性。利用空间频率和互信息量对不同的方法进行评价，可以证实本发明优于Li Shutao及Samuel Cheng的方法。

方法	空间频率	互信息量
			Li Shutao的方法	26.6087	2.49695
Samuel Cheng的方法	26.5092	2.47738
			本发明	26.7543	2.69532

下面结合附图和实施例对本发明进一步说明。

附图说明

图1是本发明的原理示意图；

图2是本发明的流程图；

具体实施方式

方法实施例：参照图1和图2，采用SONY T5数码相机拍摄得到一对彩色多聚焦图像，图像大小480×640，场景中的两本书与相机间距不同，即一远一近。通过对两本书分别对焦得到两幅彩色多聚焦图像X和Y。本发明包括以下步骤：

第一步预处理

两幅输入图像X和Y，对应的各彩色通道RX、GX、BX和RY、GY、BY经YUV模型计算分别得到其亮度分量IX和IY，亮度分量计算如下式：

I_X＝0.299×R_X+0.587×G_X+0.114×B_X

I_Y＝0.299×R_Y+0.587×G_Y+0.114×B_Y

得到的亮度分量IX和IY对应图像的灰度，与颜色信息无关，能很好地体现彩色图像的清晰度特征。在预处理阶段仅对亮度分量进行提取一方面保持了融合图像中各像素点对应的三个分量之间的原始比例关系，避免了融合过程中对图像彩色信息的破坏；另一方面将彩色多聚焦图像融合转化成了灰度多聚焦图像融合，使处理对象由三个分量变成一个分量，降低了运算复杂度。

第二步特征提取

亮度分量IX和IY经“àtrous”小波5级分解(J＝5)，得到边缘特征图像EFX和EFY。

通常，在图像中灰度值有明显变化的点(边缘)通常被认为是视觉上最重要的特征。针对输入图像IX和IY的特点，因不同聚焦而导致的边缘细节模糊问题引起了我们对边缘特征的重视。小波变换是对多尺度边缘检测的有效工具。àtrous小波变换是一种非正交多分辨率分解，可以把信号或图像的高低频信息分离，将其分解为不同频率通道上的近似信号(相似平面或零级小波平面)和小波平面，可以保证图像高频细节的空间连续性。

得到的边缘特征图像EFX和EFY能够准确地描述图像的边缘特征，尤其是图像平滑区域的细微边缘，将边缘的检测精度提高到了亚像素级。

第三步清晰度检测

按公式(2)和(3)计算，W的尺寸选为5×5，故n_W＝25，得到对边缘特征图像EFX和EFY的清晰度检测结果LAX和LAY。这里使用的Laplacian算子对图像中小的细节更为敏感，更有利于对“细”边缘的定位和增强。

第四步构建决策图

对LAX和LAY中各点比较并进行一致性检测，得到最终决策图。最终决策图中的白色区域表示像素点选择来自源图像X，而黑色区域则表示像素点选择来自源图像Y。

第五步输出

按照最终决策图的指导，在原始RGB彩色空间对源彩色图像X和Y的各个通道进行融合，得到融合结果。

Claims (1)

1.一种彩色多聚焦图像融合方法，其特征在于包括下述步骤：

第一步、利用PAL制系统的YUV彩色模型提取出原始彩色多聚焦图像X与Y对应的亮度分量图像I_X和I_Y；

第二步、利用àtrous小波变换对亮度分量图像I_X和I_Y进行分解，得到J个多分辨率小波平面d_j和残留图像A_J，j＝1，...，J，J为分解层数；通过下式

$\mathrm{EF}=\underset{j=1}{\overset{J}{\mathrm{\&Sigma;}}}\left|d_j\right|---\left(1\right)$

得到边缘特征图像EF_X和EF_Y；

第三步、图像EF_X或EF_Y中每一点p的活跃度由Laplacian算子按下式计算得到

$L_{{\mathrm{EF}}_X}\left(p\right)=\underset{q\&NotEqual;p}{\underset{q\&Element;R_p}{\mathrm{\&Sigma;}}}[{\mathrm{EF}}_X\left(q\right)-{\mathrm{EF}}_X\left(p\right)]---\left(2\right)$

其中R_p是点p的k×k正方形邻域，k取3，5，7，9，q是该邻域中除p以外的其它点；得到原始彩色多聚焦图像X对应的活跃度函数图像LA_X，定义如下：

${\mathrm{LA}}_X\left(p\right)=\left|\frac{1}{n_W}\underset{q\&Element;W}{\mathrm{\&Sigma;}}{L}_{{\mathrm{EF}}_X}\left(q\right)\right|---\left(3\right)$

其中W是以点p为中心，大小为h×h的正方形区域，h取3，5，7，9，q是区域W中除p以外的其它点，n_W是区域W中的像素数目；

按照同样的方法得到另一幅图像的活跃度函数图像LA_Y；

第四步、对活跃度函数图像LA_X和LA_Y中各像素点的清晰度进行比较，得到初级决策图利用多数滤波器对IDM中各像素点进行一致性检验，得到最终决策图；

第五步、依据最终决策图在原始RGB空间各彩色通道中选取像素点，生成各通道的融合图像，融合图像的各彩色通道R_Z、G_Z、B_Z像素点的选择如下式：

$R_Z(m,n)=\left\{\begin{array}{ccc}{R}_X(m,n)& \mathrm{if}& \mathrm{FDM}(m,n)=1\\ R_Y(m,n)& \mathrm{if}& \mathrm{FDM}(m,n)=-1\end{array}\right.---\left(5\right)$

$G_Z(m,n)=\left\{\begin{array}{ccc}{G}_X(m,n)& \mathrm{if}& \mathrm{FDM}(m,n)=1\\ G_Y(m,n)& \mathrm{if}& \mathrm{FDM}(m,n)=-1\end{array}\right.---\left(6\right)$

$B_Z(m,n)=\left\{\begin{array}{ccc}{B}_X(m,n)& \mathrm{if}& \mathrm{FDM}(m,n)=1\\ B_Y(m,n)& \mathrm{if}& \mathrm{FDM}(m,n)=-1\end{array}\right.---\left(7\right).$

Images