CN104182952B - 多聚焦序列图像融合方法 - Google Patents

Abstract

一种多聚焦图像融合方法，其包括以下步骤：1)计算两幅聚焦于同一场景中不同位置图像的平均值图像，并将该平均值转化到LUV色彩空间；2)采用Mean‑Shift方法对平均图像进行分割，至少形成两个自然分割区域；3)以每一个自然分割区域为作用域，采用清晰度评价因子SF进行区域清晰度的量化计算，确定相对较大清晰度评价因子SF值所对应的区域，建立分割标记图；4)利用形态学滤波方法去除分割标记图中清晰区域和模糊区域相邻区域的二义性，得到处理后的分割标记图；5)从序列图像中提取标记对应的像素并将该像素融合为最终的大景深清晰图像。本发明不但能有效拓展光学成像系统的景深，且能极大提升融合图像的主客观品质。

Description

多聚焦序列图像融合方法

技术领域

本发明属于光学图像处理领域，涉及一种多聚焦序列图像融合方法，尤其涉及一种基于Mean-Shift彩色图像分割的Region Based应用于拓展光学成像系统景深的彩色或具有灰度序列图像的多聚焦序列图像融合方法。

背景技术

由于光学镜头景深的限制，成像系统通常只能对物方一定区域以内的目标清晰成像，而超出这一区域的目标则无法被清晰成像。较浅的光学景深对目标属性的识别是不利的，一个典型的例子就是显微成像系统(Microscopic System)。高数值孔径的显微成像系统虽然具备较高的空间分辨率，但其所具有的光学景深非常之浅，以至于每次只能针对目标样本极薄的一个纵切面进行清晰成像。此时，为了获得完整的样本图像信息，就必须不断调节对焦平面。然而，这种方式既费时又费力，而且无法利用一幅图像完成对样本特征的准确提取和判别。因此，扩展光学成像系统的景深就成为了学术界和工业界研究的热点，而多聚焦图像融合是实现这一目的有效技术途径之一。

改变光学镜头的对焦平面位置，就可以获得对焦于目标场景中不同深度位置的多聚焦图像序列。每一幅位于序列中的图像，都由聚焦清晰的像素集合和散焦的像素集合组成。如果能够将这些图像中的清晰像素提取出来并再次组合，那么就可以构建一幅场景中不同深度位置都清晰的大景深图像——这就是多聚焦序列图像融合的基本思路。多聚焦序列图像融合既可以在空间域进行，也可以在频率域进行。在空间域，依靠清晰度评价因子FM(Focus Measure)，就能够从序列图像中识别并找出目标场景各个空间位置处最清晰的像素，从而直接融合获得大景深图像。在频率域，序列图像首先被转化到变换域，比如离散傅里叶变换域、小波变换域等；之后，选出各频率分量中的系数最大值作为融合图像相应频率的系数；最后通过反变换得到大景深图像。

对于空间域融合来说，清晰度评价因子的计算是最为重要的第一环。根据计算FM作用域的不同，空间域多聚焦序列图像融合方法可以被分为三类：像素级融合(PixelBased)、规则分块级融合(Block Based)以及不规则分区域级融合(Region Based)。

由于清晰度评价因子FM本质上属于高频滤波算子，所以图像中的噪声，尤其是平坦区域会对其计算的准确性带来干扰。因此，在实施像素级融合时，一方面，依靠评价因子给出的目标图像相应空间位置处最清晰的像素属于序列中哪一幅图像的判断可能出现错误；另一方面，由于计算所采用的信息仅仅来自于该像素周围极为有限的邻域，所以像素之间的物理关联并不能被反应出来。在这种情况下，就会出现聚焦清晰像素与散焦像素相互渗透，严重耦合，互为类似噪声的现象(图1中原始场景左边清晰右边模糊，图2中原始场景左边模糊右边清晰，图3中深色代表融合图像该位置的像素来自于原始场景的左边，而浅色则代表来自于原始场景的右边)(如图1、图2以及图3所示)，从而需要复杂的后处理算法进行修正。此时，融合图像的视觉品质就难以保证，甚至可能出现融合失败的情况。

为了提升融合图像的品质，规则分块级融合方法(Block Based)被提出。这种方法首先将图像分割为NxN个规则区域，之后将每一个块作为清晰度评价因子FM计算的作用域。对于每一个块，给出一个清晰与否的判断，并将挑选出的块作为最小单元获取融合图像。然而，这种方法有可能会在相邻两个块连接的边缘出现明显的人工融合边界。另外，当每一个区域只有一个像素时，这种方法实际上就退化成了像素级的融合方法。因此，当每一个分割块所含像素较少时，依然存在如图3所示情况的可能。

考虑到像素级融合和规则分块级融合所存在的天然缺陷，不规则区域级融合方法(Region Based)被提出。在这种融合方法中，首先利用图像分割算法获得多个自然分割区域，并以此作为清晰度评价因子FM计算的作用域。与规则分块级融合方法相比，这种方法最大的优势在于保证像素之间的物理关系不被人为地破坏(比如人像图像中属于脸部的像素依然被划分到同一个集合中)，因而从根源上消除了误识别清晰像素和散焦像素的相互干扰问题，而且由于更加符合人眼观察事物特征的规律，所以从理论上来讲，其所获得的最终的融合图像品质在上述三种方法中应该是最高的。因此，不规则区域级融合方法(RegionBased)成为了目前研究的热点。

目前，已有的文献中针对该类方法的研究存在两个明显的问题：(1)多采用两幅图像进行，这对融合效果的验证过于简化，因为当序列图像的数量大于2时，算法的适用性将有待考量；(2)融合多在灰度或亮度空间进行，不符合现有彩色图像占主流应用的现状，而且针对彩色图像的分割和清晰度评价从策略上与单通道应用存在差别。

发明内容

为了解决背景技术中存在的上述技术问题，本发明提供了一种不但能有效拓展光学成像系统的景深且能极大提升融合图像的主客观品质的多聚焦序列图像融合方法。

本发明的技术解决方案是：本发明提供了一种多聚焦图像融合方法，其特殊之处在于：所述多聚焦图像融合方法包括以下步骤：

1)计算两幅聚焦于同一场景中不同位置的图像的平均图像并将该平均值转化到LUV色彩空间；

2)在LUV色彩空间中，采用Mean-Shift方法对步骤1)所获得的两幅聚焦于同一场景中不同位置的图像的平均图像进行分割，至少形成两个自然分割区域；

3)以每一个自然分割区域为作用域，采用清晰度评价因子SF在LUV色彩空间中的作用域进行区域清晰度的量化计算，确定相对较大清晰度评价因子SF值所对应的区域，同时根据该相对较大清晰度评价因子SF值所对应的区域建立分割标记图；

4)利用形态学滤波方法去除由步骤3)所获得的分割标记图中清晰区域和模糊区域相邻区域的二义性，得到处理后的分割标记图；

5)以步骤4)所得到的处理后的分割标记图为基础，从序列图像中提取标记对应的像素并将该像素融合为最终的大景深清晰图像。

一种基于如上所述的多聚焦图像融合方法的多聚焦序列图像融合方法，其特殊之处在于：所述多聚焦序列图像融合方法包括以下步骤：

1)获取同一场景的不同位置的图像；

2)判断步骤1)所获取的图像是否是多序列，若是则进行步骤4)；若否，则进行步骤3)；所述多序列包括N个图像，所述N＞2；

3)按照如上所记载的多聚焦图像融合方法对两幅聚焦于同一场景中不同位置的图像进行融合，并得到大景深清晰图像；

4)相邻两幅聚焦于同一场景中不同位置的图像按照如权利要求1所记载的多聚焦图像融合方法对两幅聚焦于同一场景中不同位置的图像进行融合，将融合后的图像组成新序列，所述新序列中的图像数目比步骤2)中的多序列中的图像少一个；重复本步骤直至新序列中的图像仅存在一幅图像为止；输出最后一幅图像作为融合结果。

本发明的优点在于：

本发明首先将Mean-Shift彩色图像分割理论引入多聚焦图像融合领域，并在均匀色彩空间——LUV空间中通过该理论获得用于清晰度评价的自然分割区域；之后利用空间频率清晰度评价因子SF(Spatial Frequency)挑选清晰区域作为候选融合单元；最后通过形态学滤波处理融合边界以获得高的融合视觉品质。除此之外，本发明还提出了一种有效的策略，使该方法不但能够适用于两幅图像，而且也能够适用于序列图像融合。与已有的商用软件所获得融合效果相比，本发明提出的融合方法可以获得更好的视觉品质，无论是主观评价还是客观评价都证明了这一点，因此是对该领域研究工作的重要贡献，具体体现在：

(1)Mean-Shift彩色图像分割在五维空间(其中(x，y)代表2个空间维度，而(L，U，V)则代表3个彩色维度)中进行，覆盖了彩色图像主要特性。另外，Mean-Shift本质上属于模式聚类，而考虑了色彩的分割结果与人眼观察高度匹配，因为人眼对色彩更加敏感，而这是传统的规则分块级融合方法无法比拟的。

(2)在LUV色彩空间中进行清晰度评价因子SF的计算，其灵敏度比传统RGB空间、HSV空间等都高，因此可以更准确地区分细小清晰区域的归属。

(3)对分割标记图不需要进行复杂的后处理，只需进行形态学滤波(开或闭操作)，就可以消除原始分割标记图中存在的二义性边缘毛刺，使清晰区域与模糊区域两者之间的边缘的不确定性得到合理地处理，从而极大地提升了最终融合图像的品质。

(4)针对多聚焦序列图像的融合采用多级融合策略，使的每幅图像在融合的过程中都起到了承上启下的作用，从根源上保证了最终的融合效果。

本发明不但能有效拓展光学成像系统的景深，而且利用形态学滤波后处理技术极大提升了融合图像的主客观品质。本发明所提出的多聚焦序列图像融合方法属于空间域不规则分块级融合，而该类融合方法实施的关键在于采用合适的分割策略来获得用于清晰度评价因子计算的作用域。

附图说明

图1是聚焦于同一场景中不同位置的图像；

图2是与图1同聚焦于同一场景中不同位置的另一图像；

图3是图1和图2互为类似噪声的现象的图像；

图4是本发明所提供的多聚焦图像融合方法的流程示意图；

图5是本发明所提供的应用于多聚焦序列图像的融合过程示意图；

图6是聚焦于同一场景中不同区域的图像；

图7是与图6同聚焦于同一场景中不同位置的另一图像；

图8是图6和图7所示的两幅图像的平均图像；

图9是图8基于Mean-shift彩色图像分割的结果示意图；

图10是通过计算相应分割区域的清晰度评价因子SF给出的分割标记图；

图11对图10所产生的分割标记图实施形态学滤波后处理的效果图；

图12是对图10所产生的分割标记图实施形态学滤波后的差异图；

图13是利用处理后的分割标记图进行融合的效果图；

图14是未融合前的参考图像；

图15是一组HeliconSoft公司提供的用于测试的多聚焦序列图像；

图16是基于本发明所提供融合方法对图15进行融合后的效果图；

图17是HeliconSoft公司针对图15给出的融合效果图。

具体实施方式

本发明提出了一种基于不规则区域分割的Region Based多聚焦序列彩色图像融合方法。与现有商用软件的融合效果的对比研究表明：本发明所提出的融合方法从主客观评价的角度都具有更好的视觉品质。

本发明所提供的多聚焦图像融合方法，其过程如图4所示：该融合方法由以下五个步骤组成：

(1)计算两幅聚焦于场景中不同位置的图像的平均值，并将其转化到LUV色彩空间。

(2)在LUV色彩空间中，引入Mean-shift技术对(1)获得的两幅聚焦不同的图像的平均图像进行分割。

(3)以每一个分割所获得的自然区域为作用域，应用清晰度评价因子SF确定较大SF值对应的区域——更加清晰的区域来自哪一幅图像，并建立类似于如图1所示的分割标记图。

(4)利用形态学滤波技术去除由(3)所获得的分割标记图中存在的毛刺边缘(二义性)，降低SF计算不确定性对融合品质的影响。

(5)以处理后的分割标记图为参考，提取标记对应的像素并将其融合为最终的大景深清晰图像。

虽然图4所示的流程是以两幅多聚焦图像融合为例进行说明的，但是同样适用于序列图像的融合。如图5所示，本发明提出了一种融合策略，可以将图4所示的融合方法直接应用于多聚焦序列图像的融合中。可以看到，这种融合策略类似多级融合，以迭代的方式工作：(1)相邻的两幅具有一定离焦差异的图像分别利用图4的流程进行融合，并将融合后的图像组成新的序列，此时新序列中的图像数目比原始序列少一个；(2)重复步骤(1)直到新的图像序列中仅仅剩下一幅图像为止；(3)输出该图像作为融合结果。

本发明所提出的算法具有以下几个特点：

首先，本发明首次将Mean-Shift彩色图像分割理论应用于多聚焦图像融合领域，并据此构建用于清晰度评价的自然分割区域。

Mean-Shift作为一种强大且灵活的模式聚类方法，与其他聚类算法如K-means、ISODATA等相比，是一种确定性方法，无需假设数据的分布模型，对起始点的选择依赖性不强，无需提前指定聚类数目，而是根据数据特点自行设定最终的聚类数目，所以减少了人工干预。具体将Mean-Shift理论应用于彩色图像分割的过程中时，实际上是构造了一个运行于五维空间(其中包含2个空间维度和3个色彩维度)中的模式选择迭代驱动机，而这一较高的复杂度在保证其分割效果的稳定性的同时，也由于涵盖了彩色图像的主要特征，使得分割结果更符合人眼观察对目标场景的理解。

其次，如上所述，对彩色图像而言，其特征空间包含两个方面：空间域和色度域。Mean-Shift机理能够保证在绝大多数情况下的都有好的分割效果，但是研究表明：色度域——色彩空间的选择，对分割结果存在较大的影响，所以选择一个适合做分割的颜色空间非常重要。

由于在基于Mean-shift的分割过程中，用到了欧式距离来衡量两个像素之间的距离，所以选用的色彩空间要适合计算欧式距离。经典的RGB颜色空间是非均匀线性的，适合显示系统，但不适合图像分割，因为三个变量高度相关，且在空间上的相同距离不能代表视觉上具有相同的差异，所以在本发明中，一改传统融合及清晰度评价多是在RGB、HSV或HIS等色彩空间进行的惯例，采用LUV空间——这种均匀彩色模型作为算法实施的色彩空间。

另外，除了适合进行分割，LUV色彩空间还具有以下两个适用于多聚焦图像融合的特点：(1)该色彩空间与视觉空间是统一的；(2)在该空间进行清晰度评价因子的计算具有更高的灵敏度，可以更准确地提取细小的清晰像素区域。

再次，用简洁的形态学滤波替代传统复杂的后处理技术，在有效消除融合标记分割图中边缘毛刺二义性的同时，提升了最终融合图像的品质。

最后，提出了一种有效的多级过融合策略，使上述适用于两幅图像的融合方法可直接应用于大数目量序列图像的融合。

具体来说，本发明所提出的序列彩色多聚焦图像融合流程及效果可以由图6～图17予以说明。其中，图6～图14是针对两幅多聚焦图像给出的融合流程说明，而图15、图16以及图17给出了一个序列图像融合实例以及与商用软件融合效果的对比。

如上所述，本发明提出的多聚焦图像融合流程由以下五个步骤组成：

(1)计算两幅聚焦于场景中不同位置的图像的平均值(如图8所示)，并将其转化到LUV色彩空间。

(2)在LUV色彩空间中，引入Mean-Shift技术对两幅多聚焦图像的平均图像进行分割(如图9所示)。

(3)以每一个分割所获得的自然区域为作用域，应用清晰度评价因子SF确定较大SF值对应的区域——更加清晰的区域来自哪一幅图像，并建立分割标记图(如图10所示)。

(4)利用形态学滤波技术去除由(3)所获得的分割标记图中存在的毛刺边缘，降低SF计算不确定性对融合品质的影响(如图11以及图12所示)。

(5)以处理后的分割标记图为参考，提取标记对应的像素并将其融合为最终的大景深清晰图像(如图13以及图14所示)。

由图14可以看到，本发明所提出的多聚焦彩色图像融合方法可以获得视觉效果很好的融合图像。通过与参考图像进行量化比较，两者之间的视觉差异非常小，而高达0.99以上的相关系数从客观评价的角度也肯定了高的融合品质。

与两幅多聚焦图像融合相比，序列多聚焦图像的融合更具有实际意义。当所希望扩展的景深范围变得更大时，两幅聚焦于不同位置的图像不足以产生高品质的融合图像，因为较少的图像对应于较大的景深就意味着有限数目的图像中离焦区域对应的离焦尺度过大，可能导致无法获取足够多的清晰像素集合来构建场景完整的大景深融合图像。此时，包含有十几、甚至几十幅图像的图像序列可以将景深范围进行更细的划分，这样就能够保证场景所有位置处都存在清晰像素的可能。然而，序列多聚焦图像融合需要借助合理的策略，否则融合效果也可能打折扣。

在本发明中，提出了一种多级融合策略，并且以迭代的方式工作：(1)相邻的两幅具有一定离焦差异的图像分别利用图4的流程进行融合，并将融合后的图像组成新的序列，此时新序列中的图像数目比原始序列少一个；(2)重复步骤(1)直到新的图像序列中仅仅剩下一幅图像为止；(3)输出该图像作为融合结果。这种融合策略使每一幅图像在整个融合框架中都起到了承上启下的链条纽扣作用，因而保证了最终融合图像的品质。

图15给出了HeliconSoft公司用于测试多聚焦序列图像融合效果的测试用例。图16以及图17给出了基于本发明的融合效果及其与HeliconSoft公司开发的商用软件(基于pyramid分解法)的对比效果。可以看到，两者的视觉效果是非常接近的，但是基于空间频域清晰度评价因子的计算表明(本发明的效果(评价因子SF为32.59419)，HeliconSoft公司的效果(评价因子SF为24.77727))，基于本发明的融合图像具有更好的品质，从而从量化的角度证明了本发明所提出的融合方法和融合策略的有效性。

Claims (2)

1.一种多聚焦图像融合方法，其特征在于：所述多聚焦图像融合方法包括以下步骤：

1)计算两幅聚焦于同一场景中不同位置的图像的平均值图像，并将该平均值转化到LUV色彩空间；

2)在LUV色彩空间中，采用Mean-Shift方法对步骤1)所获得的两幅聚焦于同一场景中不同位置的图像的平均图像进行分割，至少形成两个自然分割区域；图像分割在五维空间中进行，所述五维空间包括x、y两个空间维度和L、U、V三个彩色维度；

3)以每一个自然分割区域为作用域，采用清晰度评价因子SF在LUV色彩空间中的作用域进行区域清晰度的量化计算，确定相对较大清晰度评价因子SF值所对应的区域，同时根据该相对较大清晰度评价因子SF值所对应的区域建立分割标记图；

4)利用形态学滤波方法去除由步骤3)所获得的分割标记图中清晰区域和模糊区域相邻区域的二义性，得到处理后的分割标记图；

5)以步骤4)所得到的处理后的分割标记图为基础，从序列图像中提取标记对应的像素并将该像素融合为最终的大景深清晰图像。

2.一种基于如权利要求1所述的多聚焦图像融合方法的多聚焦序列图像融合方法，其特征在于：所述多聚焦序列图像融合方法包括以下步骤：

1)获取同一场景的不同位置的图像；

2)判断步骤1)所获取的图像是否是多序列，若是则进行步骤4)；若否，则进行步骤3)；所述多序列包括N个图像，所述N＞2；

3)按照如权利要求1所记载的多聚焦图像融合方法对两幅聚焦于同一场景中不同位置的图像进行融合，并得到大景深清晰图像；

4)相邻两幅聚焦于同一场景中不同位置的图像按照如权利要求1所记载的多聚焦图像融合方法对两幅聚焦于同一场景中不同位置的图像进行融合，将融合后的图像组成新序列，所述新序列中的图像数目比步骤2)中的多序列中的图像少一个；重复本步骤直至新序列中的图像仅存在一幅图像为止；输出最后一幅图像作为融合结果。