CN105894483A - 一种基于多尺度图像分析和块一致性验证的多聚焦图像融合方法 - Google Patents

Abstract

本发明涉及一种基于多尺度图像分析和块一致性验证的多聚焦图像融合方法。首先，对下采样的多聚焦源图像进行多尺度分解，计算特征高频子带系数的清晰度并双边滤波得到初始二值图像；其次，对初始二值图像中的区域中一些孤立小面积区域处理后，进行上采样操作；最后，用源图像的原始边界替换上采样的二值图像边界，再进行分块处理和块一致性验证得到最终优化的二值图像边界，并据此对源图像进行融合。本发明主要工作在于基于多尺度图像分析和块的一致性验证得到源图像聚焦区域和非聚焦区域的最优边界，为源图像聚焦区域得以直接、精确地融合提供保证；本发明算法简单，在不引入错误信息的前提下，有效地保留了多聚焦源图像中的聚焦信息。

Description

一种基于多尺度图像分析和块一致性验证的多聚焦图像融合方法

技术领域

本发明属于图像处理数据融合技术领域，具体涉及一种基于多尺度图像分析和块一致性验证的多聚焦图像融合方法。

背景技术

图像融合是将来自不同传感器获取的不同图像或相同的传感器在不同时刻采集到的不同图像进行综合，得到一幅融合图像的过程。该融合图像包含了所有源图像的有用信息，以便更好地描述场景，为后续图像处理任务如图像分割、目标检测、图像识别等做准备。图像融合技术在医疗成像、显微镜成像、计算机视觉和军事应用等领域都发挥着重要的作用。

由于光学透镜景有限，因此很难得到能够用于描绘和分析一个场景内所有目标的全聚焦图像。多聚焦图像融合技术在这样的研究背景下产生并受到了越来越多研究者的关注。近年来，很多研究者提出了各种多聚焦图像融合方法：如基于变换域的方法、基于空间域的方法、基于高阶奇异值分解的方法、稀疏表示相关方法、压缩感知相关方法和基于脉冲耦合神经网络的方法等。其中，基于变换域和基于空间域的方法是最主要也是最常用的两类方法。基于变换域的方法一般是采用某种多尺度分解工具，首先将源图像经过变换分解为不同的高低频子带系数，然后分别针对不同的子带系数设计不同的融合规则，最后将融合的子带系数进行逆变换得到最终融合图像。由于多尺度分解图像的方法类似于人眼由粗到细的处理图像的过程，因此该类方法充分考虑到了图像的细节信息和方向信息，通常能得到比较好的融合效果。常用的多尺度变换工具有金字塔变换(PT)、离散小波变换(DWT)、剪切波变换(NSST)、轮廓波变换(CT)和非下采样轮廓波变换(NSCT)等。然而，多尺度分解的算法一般计算复杂，而且耗时。

相比于基于变换域的方法，基于空间域的方法直接在空间域上对原图像进行融合，这类方法大体可以分为三类：基于像素的方法，基于块的方法和基于分割的方法。基于像素的方法对单个像素进行聚焦判定，忽略了邻域像素之间的相关性；基于块的方法的一个难点在于块的大小的选取，块太大虽然定位准确但也可能包含模糊信息，块太小会导致定位不准而将平滑区的块误判为模糊块，即使自适应的方法能优化块的大小，但由于图像内容结构信息的差异性和复杂性，仍然不可避免地会出现块效应的问题；基于区域分割的方法虽然能取得一定好的效果，但是该类方法过分依赖于分割算法，而且算法的复杂度较高。

发明内容

本发明的目的在于针对现有技术的缺点和不足，将变换域和空间域两种方法结合，发挥优势，提出了一种基于多尺度图像分析和块一致性验证的多聚焦图像融合技术方案。

本发明所采用的技术方案：

分别求得源图像I₁和I₂特征高频的二值图像map′₁和map′₂，再进行替换边界及块的一致性验证，得到优化的二值图像map″₁和map″₂，最后得到融合图像。

步骤1，输入多聚焦源图像I₁和I₂，对多聚焦源图像I₁和I₂进行下采样，采用基于邻域距离的多尺度分解方法对下采样的图像分解得到高频子带系数和低频子带系数；

步骤2，计算特征高频子带的清晰度并进行双边滤波处理得到初始二值图像；

1)从高频子带系数中选取特征高频子带系数并构造特征高频矩阵：

$I_1^h(x,y)=max\{I_1^{h_1}(x,y),I_1^{h_2}(x,y)\mathrm{...},I_1^{h_r}(x,y)\}$

$I_2^h(x,y)=max\{I_2^{h_1}(x,y),I_2^{h_2}(x,y)...,I_2^{h_r}(x,y)\}$

分别表示两个下采样的图像在像素点(x,y)的所有高频子带系数，r表示分解尺度为第r尺度，和分别表示两个下采样的图像在像素点(x,y)处的特征高频子带系数；

2)计算特征高频矩阵中特征高频子带系数的清晰度并形成清晰度矩阵：

$S_1^h(x,y)=\underset{m=-(M-1)/2}{\overset{(M-1)/2}{\Σ}}\underset{n=-(N-1)/2}{\overset{(N-1)/2}{\Σ}}{\[I_1^h(x+m,y+n)-I_1^h(x,y)\]}^2$

$S_2^h(x,y)=\underset{m=-(M-1)/2}{\overset{(M-1)/2}{\Σ}}\underset{n=-(N-1)/2}{\overset{(N-1)/2}{\Σ}}{\[I_2^h(x+m,y+n)-I_2^h(x,y)\]}^2$

分别表示两个多聚焦源图像的特征高频矩阵在像素点(x,y)的清晰度，分别表示这两个下采样的图像在像素点(x+m,y+n)的特征高频子带系数，M×N为预设的窗口大小，(x+m,y+n)是以(x,y)为中心的窗口内任意一点；

3)采用双边滤波器对清晰度矩阵进行平滑处理获得初始的二值图像：

${\mathrm{map}}_1^h(x,y)=\left\{\begin{array}{cc}1,& S_1^h(x,y)>S_2^h(x,y)\\ 0,& S_1^h(x,y)<S_2^h(x,y)\end{array}\right.$

${\mathrm{map}}_2^h(x,y)=\left\{\begin{array}{cc}1,& S_1^h(x,y)<S_2^h(x,y)\\ 0,& S_1^h(x,y)>S_2^h(x,y)\end{array}\right.;$

步骤3，采用bwareaopen滤波器对初始二值图像进行处理，消除二值图像中的小面积区域，对处理过后的初始二值图像进行上采样得到二值图像和

步骤4，利用多聚焦源图像I₁和I₂的原始边界替换上采样的二值图像和的边界，得到新的二值图像；

1)计算多聚焦源图像I₁和I₂的清晰度：

$S_1(x,y)=\underset{m=-(M-1)/2}{\overset{(M-1)/2}{\&Sigma;}}\underset{n=-(N-1)/2}{\overset{(N-1)/2}{\&Sigma;}}{\&lsqb;I_1(x+m,y+n)-I_1(x,y)\&rsqb;}^2$

$S_2(x,y)=\underset{m=-(M-1)/2}{\overset{(M-1)/2}{\&Sigma;}}\underset{n=-(N-1)/2}{\overset{(N-1)/2}{\&Sigma;}}{\&lsqb;I_2(x+m,y+n)-I_2(x,y)\&rsqb;}^2$

S₁(x,y)和S₂(x,y)分别表示多聚焦源图像I₁和I₂在像素点(x,y)的清晰度，I₁(x,y)和I₂(x,y)分别表示多聚焦源图像I₁和I₂在像素点(x,y)的像素，I₁(x+m,y+n)和I₂(x+m,y+n)分别表示多聚焦源图像I₁和I₂在像素点(x+m,y+n)的像素，M×N为预设的窗口大小，(x+m,y+n)是以(x,y)为中心的窗口内任意一点；

2)根据多聚焦源图像I₁和I₂的清晰度获得最接近源图像特征的二值图像：

${\mathrm{map}}_1(x,y)=\left\{\begin{array}{cc}1,& S_1(x,y)>S_2(x,y)\\ 0,& S_1(x,y)<S_2(x,y)\end{array}\right.$

${\mathrm{map}}_2(x,y)=\left\{\begin{array}{cc}1,& S_1(x,y)<S_2(x,y)\\ 0,& S_1(x,y)>S_2(x,y)\end{array}\right.;$

3)利用最接近源图像特征的二值图像{map₁(x,y)}和{map₂(x,y)}的边界分别替换上采样的二值图像和的边界，得到新的二值图像和

X×Y为预设的窗口大小，(x+a,y+b)是以像素点(x,y)为中心的窗口内任意一点；

步骤5，采用“bwareaopen”滤波器对步骤4中新的二值图像进行优化处理得到二值图像{map′₁(x,y)}和{map′₂(x,y)}，再对二值图像{map′₁(x,y)}和{map′₂(x,y)}进行分块处理和块的一致性验证，得到最终优化的二值图像{map″₁(x,y)}和{map″₂(x,y)}；

步骤6，根据优化的二值图像，指导多聚焦源图像融合；

1)若像素点(x,y)在多聚焦源图像I₁和I₂其中一个的聚焦区域，则在该像素点处直接进行融合：

I_f(x,y)＝I₁(x,y)×map″₁(x,y)+I₂(x,y)×map″₂(x,y)

2)若像素点(x,y)不在源图像I₁和I₂的聚焦区域，则在该像素点处采取基于结构张量奇异值分解的质量评价因子的加权融合：

$I_f(x,y)=I_1(x,y)\&times;\frac{F_1(x,y)+{\mathrm{\&omega;}}_1}{F_1(x,y)+F_2(x,y)+\mathrm{\&omega;}}+I_2(x,y)\&times;\frac{F_2(x,y)+{\mathrm{\&omega;}}_2}{F_1(x,y)+F_2(x,y)+\mathrm{\&omega;}}$

F₁(x,y)和F₂(x,y)分别表示两个多聚焦源图像在像素点(x,y)的基于结构张量奇异值分解得到的质量评价因子，ω＝ω₁+ω₂，ω、ω₁和ω₂均为预设的正常量，避免分母为零。

步骤1中下采样具体步骤如下：

I_s＝P·I·Q

I为源图像，I_s为下采样得到的图像，P和Q分别定义如下：

s₁×s₂表示下采样图像大小，r×c表示源图像大小，η是缩放系数，其中

步骤3中上采样具体步骤如下：

I_u＝P₁·I_s1·Q₁

I_s1为下采样得到的图像，Iu是I_s1上采样之后得到的图像，P₁和Q₁分别定义如下：

s₁×s₂表示I_s1的大小，(η×s₁)×(η×s₂)表示上采样图像Iu的大小。

步骤5中对二值图像{map′₁(x,y)}和{map′₂(x,y)}进行分块处理和块的一致性验证的具体步骤如下：

1)将二值图像{map′₁(x,y)}和{map′₂(x,y)}分别划分成J个互不重叠的独立子块map′_1,i和map′_2,i，i＝{1,2,...,J}，设任一独立子块的中心像素为(x,y)，则对子块内的像素进行如下一致性验证，

(x+p,y+l)为第i个子块内的任意一点，P×L为预设的子块大小；

2)对所有的独立子块进行像素的一致性验证，得到新的子块，新的子块的特征值T₁(i)和T₂(i)为：

3)设置一个滑动窗口，设窗口遍历经过分块处理和像素一致性验证的二值图像到任一位置时的中心子块分别为map′_1,i，map′_2,i，则块的一致性验证如下，

其中，T₁(i_k)和T₂(i_k)分别表示两个二值图像在滑动窗口内任意子块的特征值，P′×P×L′×L为预设的滑动窗口大小，P′×L′为滑动窗口内子块的数量，(x+p,y+l)表示以像素点(x,y)为中心的子块内任意一点，和分别表示经过块的一致性验证后，两个二值图像在滑动窗口内第k(k＝1,...,P′×L′)个子块内任一像素点(x+p,y+l)处的像素值。

步骤6中，判断某一像素点(x,y)是否在多聚焦源图像I₁和I₂其中一个的聚焦区域的过程如下：

其中，sum₁和sum₂分别表示两个二值图像在滑动窗口内所有像素的像素值之和，定义分别如下，

${\mathrm{sum}}_1=\underset{a^{\&prime;}=-(X^{\&prime;}-1)/2}{\overset{(X^{\&prime;}-1)/2}{\&Sigma;}}\underset{b^{\&prime;}=-(Y^{\&prime;}-1)/2}{\overset{(Y^{\&prime;}-1)/2}{\&Sigma;}}{\mathrm{map}}_1^{\&prime;\&prime;}(x+a^{\&prime;},y+b^{\&prime;})$

${\mathrm{sum}}_2=\underset{a^{\&prime;}=-(X^{\&prime;}-1)/2}{\overset{(X^{\&prime;}-1)/2}{\&Sigma;}}\underset{b^{\&prime;}=-(Y^{\&prime;}-1)/2}{\overset{(Y^{\&prime;}-1)/2}{\&Sigma;}}{\mathrm{map}}_2^{\&prime;\&prime;}(x+a^{\&prime;},y+b^{\&prime;})$

其中，(x+a′,y+b′)是以(x,y)为中心的窗口内任意一点，X′×Y′为预定的窗口大小。

步骤6中，基于结构张量奇异值分解的质量评价因子定义如下：

源图像的结构张量C定义为：

经过奇异值分解后得到：

其中，s₁和s₂为结构张量的特征值，质量评价因子定义如下：

$F(x,y)=(s_1-s_2)\&times;\left(\frac{s_1-s_2}{s_1+s_2}\right).$

本发明的有益效果：本发明提出的一种基于多尺度图像分析和块一致验证的多聚焦图像融合方法，避免了变换域中的分解和重构，算法简单，需要人为设置的参数较少。另外，由于用最接近原始图像的边界替换了修正后的二值图中的边界，并对边界进行块的一致性验证，对错分的像素进行了修正，更是将聚焦区域和非聚焦区域的边界确定达到了最优，为多聚焦源图像聚焦区域进行精确、直接的融合提供了保障，优于传统的空间域算法。

附图说明

图1为本发明算法流程图；

图2中(a)-(b)为本发明实施例中使用的多聚焦源图像；

图3中(a)-(f)为多聚焦源图像在不同算法下的融合结果；

图4中(a)-(f)为不同算法下的融合结果的差值图的局部放大图。

具体实施方式

下面结合附图和实施例对本发明做进一步说明。

步骤1，输入多聚焦源图像I₁和I₂，对I₁和I₂进行下采样：即进行隔行隔列的像素抽取。采用基于邻域距离的多尺度分解方法对下采样的图像分解为不同的子带系数，所述子带系数包括高频子带系数和低频子带系数。

步骤2，将下采样图像的所有高频子带系数构造特征高频子带系数矩阵，并通过清晰度评价获取二值图，初步确定多聚焦源图像的聚焦区域，

对下采样的高频子带系数按照以下原则计算特征高频子带系数，

$I_1^h(x,y)=max\{I_1^{h_1}(x,y),I_1^{h_2}(x,y)\mathrm{...},I_1^{h_r}(x,y)\}$

$I_2^h(x,y)=max\{I_2^{h_1}(x,y),I_2^{h_2}(x,y)\mathrm{...},I_2^{h_r}(x,y)\}$

其中，分别表示两个下采样的图像在像素点(x,y)的所有高频子带系数，r表示分解尺度为第r尺度，和分别表示两个下采样的图像在像素点(x,y)处的特征高频子带系数，在本发明实施例中，高频分解的尺度r＝5；

清晰度是度量图像场景画面是否清晰的重要指标，因此在本发明中，将下采样图像中所有像素的特征高频子带系数构成特征高频矩阵后，采用清晰度评价指标计算特征高频的清晰度，计算过程如下，

设置一个滑动窗口，设窗口遍历特征高频矩阵到任一位置时的窗口中心为某像素点(x,y)，则特征高频矩阵在(x,y)处的清晰度定义如下，

$S_1^h(x,y)=\underset{m=-(M-1)/2}{\overset{(M-1)/2}{\&Sigma;}}\underset{n=-(N-1)/2}{\overset{(N-1)/2}{\&Sigma;}}{\&lsqb;I_1^h(x+m,y+n)-I_1^h(x,y)\&rsqb;}^2$

$S_2^h(x,y)=\underset{m=-(M-1)/2}{\overset{(M-1)/2}{\&Sigma;}}\underset{n=-(N-1)/2}{\overset{(N-1)/2}{\&Sigma;}}{\&lsqb;I_2^h(x+m,y+n)-I_2^h(x,y)\&rsqb;}^2$

其中，分别表示两个下采样图像的特征高频矩阵在像素点(x,y)的清晰度，分别表示这两个下采样图像在像素点(x+m,y+n)的特征高频子带系数，M×N为预设的窗口大小，本发明实施例中，M×N＝7×7，(x+m,y+n)是以(x,y)为中心的窗口内任意一点，

根据特征高频的清晰度获得初始的二值图像计算如下，

${\mathrm{map}}_1^h(x,y)=\left\{\begin{array}{cc}1,& S_1^h(x,y)>S_2^h(x,y)\\ 0,& S_1^h(x,y)<S_2^h(x,y)\end{array}\right.$

${\mathrm{map}}_2^h(x,y)=\left\{\begin{array}{cc}1,& S_1^h(x,y)<S_2^h(x,y)\\ 0,& S_1^h(x,y)>S_2^h(x,y)\end{array}\right..$

步骤3，步骤2计算的清晰度矩阵由于图像场景的复杂性，可能存在一些孤立的点，因此需要利用双边滤波器对清晰度矩阵进行平滑，而初始二值图像是根据高频信息的清晰度计算得到的，能直接反映多聚焦源图像的特征，由于源图像中可能存在平滑区域的影响，因此，初始的二值图像的黑白区域界限模糊，需要再次利用“bwareaopen”滤波器进行优化处理，消除二值图像中的小面积区域，以得到界限分明的二值图像。

步骤4，对步骤3中得到的二值图像进行上采样，使得二值图像与源图像相同大小，由于步骤3中得到的二值图像经过了多步处理，使得二值图像的边界已经不能准确代表多聚焦源图像中聚焦区域和非聚焦区域的边界，因此，需要利用多聚焦源图像原始边界替换二值图像的边界，过程如下：

采用清晰度评价指标计算源图像的清晰度，并根据源图像的清晰度获得最接近源图像特征的二值图像，设置一个滑动窗口，设窗口遍历图像到任一位置时的窗口中心为图像某像素点(x,y)，则多聚焦图像在(x,y)处的清晰度定义如下，

$S_1(x,y)=\underset{m=-(M-1)/2}{\overset{(M-1)/2}{\&Sigma;}}\underset{n=-(N-1)/2}{\overset{(N-1)/2}{\&Sigma;}}{\&lsqb;I_1(x+m,y+n)-I_1(x,y)\&rsqb;}^2$

$S_2(x,y)=\underset{m=-(M-1)/2}{\overset{(M-1)/2}{\&Sigma;}}\underset{n=-(N-1)/2}{\overset{(N-1)/2}{\&Sigma;}}{\&lsqb;I_2(x+m,y+n)-I_2(x,y)\&rsqb;}^2$

其中，S₁(x,y)，S₂(x,y)分别表示两个多聚焦源图像在像素点(x,y)的清晰度，I₁(x,y)，I₂(x,y)分别表示这两个多聚焦源图像在像素点(x,y)的像素，I₁(x+m,y+n)，I₂(x+m,y+n)分别表示这两个多聚焦源图像在像素点(x+m,y+n)的像素，M×N为预设的窗口大小，本发明实施例中，M×N＝7×7，(x+m,y+n)是以(x,y)为中心的窗口内任意一点。

根据多聚焦源图像的清晰度获得最接近源图像特征的原始二值图像{map₁(x,y)}，{map₂(x,y)}

${\mathrm{map}}_1(x,y)=\left\{\begin{array}{cc}1,& S_1(x,y)>S_2(x,y)\\ 0,& S_1(x,y)<S_2(x,y)\end{array}\right.$

${\mathrm{map}}_2(x,y)=\left\{\begin{array}{cc}1,& S_1(x,y)<S_2(x,y)\\ 0,& S_1(x,y)>S_2(x,y)\end{array}\right.$

将上采样的二值图像的边界替换为二值图像{map₁(x,y)}，{map₂(x,y)}的边界，得到新的二值图像 设置一个滑动窗口，设窗口遍历二值图像 到任一位置时的窗口中心为某一像素(x,y)，

其中，X×Y为预设的窗口大小，本发明实施例中X×Y＝61×61，(x+a,y+b)是以(x,y)为中心的窗口内任意一点。

步骤5，采用“bwareaopen”滤波器对新的二值图像进行优化处理，消除二值图像中的小面积区域，得到处理后的二值图像{map′₁(x,y)}，{map′₂(x,y)}，再对处理后的二值图像进行分块处理和块的一致性验证，得到最终优化的二值图像{map″₁(x,y)}，{map″₂(x,y)}，分块处理和块的一致性验证的实现过程如下，

将二值图像{map′₁(x,y)}，{map′₂(x,y)}分别划分成J个互不重叠的独立子块map′_1,i，map′_2,i，i＝{1,2,...,J}，设子块的中心像素为(x,y)，则对子块内的像素进行如下一致性验证，

其中，(x+p,y+l)为第i个子块内的任意一点，P×L为预设的子块的大小。对所有的独立子块进行像素的一致性验证，得到新的子块，对这两个多聚焦源图像的新的子块的特征值T₁(i)，T₂(i)进行如下定义：

本发明实施例中，P×L＝5×5。

设置一个滑动窗口，设窗口遍历经过分块处理和像素一致性验证的二值图像到任一位置时的中心子块分别为则块的一致性验证如下，

其中，T₁(i_k)，T₂(i_k)分别表示两个二值图像在滑动窗口内任意子块的特征值，P′×P×L′×L为预设的滑动窗口大小，P′×L′为滑动窗口内子块的数量，(x+p,y+l)表示以像素点(x,y)为中心的子块内任意一点， 分别表示经过块的一致性验证，两个二值图像在滑动窗口内第k k(k＝1,...,P′×L′)个子块内任一像素点(x+p,y+l)处的像素值。本发明实施例中P′×L′＝15×15。

步骤6，根据优化的二值图像，指导多聚焦源图像融合，实现过程如下，

设置一个滑动窗口，设窗口遍历二值图像到任一位置时的窗口中心为图像某像素点(x,y)，判断某一像素(x,y)是否在任一二值图像的聚焦区域：

其中，sum₁和sum₂分别表示两个二值图像在滑动窗口内所有像素的像素值之和，定义分别如下，

${\mathrm{sum}}_1=\underset{a^{\&prime;}=-(X^{\&prime;}-1)/2}{\overset{(X^{\&prime;}-1)/2}{\&Sigma;}}\underset{b^{\&prime;}=-(Y^{\&prime;}-1)/2}{\overset{(Y^{\&prime;}-1)/2}{\&Sigma;}}{\mathrm{map}}_1^{\&prime;\&prime;}(x+a^{\&prime;},y+b^{\&prime;})$

${\mathrm{sum}}_2=\underset{a^{\&prime;}=-(X^{\&prime;}-1)/2}{\overset{(X^{\&prime;}-1)/2}{\&Sigma;}}\underset{b^{\&prime;}=-(Y^{\&prime;}-1)/2}{\overset{(Y^{\&prime;}-1)/2}{\&Sigma;}}{\mathrm{map}}_2^{\&prime;\&prime;}(x+a^{\&prime;},y+b^{\&prime;})$

其中，(x+a′,y+b′)是以(x,y)为中心的窗口内任意一点，X′×Y′为预定的窗口大小，在本实施例中，X′×Y′＝15×15。

若像素点(x,y)在其中一个源图像的聚焦区域，则在该像素点处直接进行融合，融合像素计算如下，

I_f(x,y)＝I₁(x,y)×map″₁(x,y)+I₂(x,y)×map″₂(x,y)

若像素点(x,y)不在任一源图像的聚焦区域，则在该像素点处采取基于结构张量奇异值分解的质量评价因子的加权融合，融合像素计算如下，

$I_f(x,y)=I_1(x,y)\&times;\frac{F_1(x,y)+{\mathrm{\&omega;}}_1}{F_1(x,y)+F_2(x,y)+\mathrm{\&omega;}}+I_2(x,y)\&times;\frac{F_2(x,y)+{\mathrm{\&omega;}}_2}{F_1(x,y)+F_2(x,y)+\mathrm{\&omega;}}$

其中，F₁(x,y)，F₂(x,y)分别为两个多聚焦源图像在像素点(x,y)的基于结构张量奇异值分解得到的质量评价因子，ω＝ω₁+ω₂，ω、ω₁和ω₂均是为了避免分母为0预设的一个正常数，本发明实施例中，ω＝1，ω₁＝ω₂＝0.5，而且，质量评价因子F(x,y)计算如下，

源图像的结构张量C定义为：

经过奇异值分解后得到：

其中，s₁，s₂为结构张量的特征值，质量评价因子定义如下，

$F(x,y)=(s_1-s_2)\&times;\left(\frac{s_1-s_2}{s_1+s_2}\right).$

步骤1中下采样具体步骤如下：

I_s＝P·I·Q

I为源图像，I_s为下采样得到的图像，P和Q分别定义如下：

s₁×s₂表示下采样图像大小，r×c表示源图像大小，η是缩放系数，其中

步骤3中上采样具体步骤如下：

I_u＝P₁·I_s1·Q₁

I_s1为下采样得到的图像，Iu是I_s1上采样之后得到的图像，P₁和Q₁分别定义如下：

s₁×s₂表示I_s1的大小，(η×s₁)×(η×s₂)表示上采样图像Iu的大小。

实验结果如图所示：图2(a)-(b)分别为两张多聚焦源图像(其大小均为640×480像素)，图3(a)-(e)分别为在经典的非下采样轮廓波变换的方法(NSCT)、基于NSCT域对比度增强的方法(NSCT-Contrast)、基于非下采样轮廓波变换和稀疏表示结合的方法(NSCT-SR)、基于非下采样轮廓波变换、空间频率和脉冲耦合神经网络结合的方法(NSCT-SF-PCNN)、基于引导滤波(GFF)的方法下的融合结果，(f)为本发明方法的融合结果。所有的方法分解尺度设置为5，所有基于NSCT的方法均采用“pkva”作为金字塔滤波器，“9-7”作为方向滤波器。为方便从主观上对比不同方法下的融合效果，所得的融合结果图分别与源图像图2(a)进行作差并将差值图的局部进行放大，如图4(a)-(f)。从图4可以看出，NSCT、NSCT-Contrast、NSCT-SR、NSCT-SF-PCNN和GFF方法的融合结果图没有较完整地保留源图像的有用信息，引入了部分错误信息。而本发明提出的方法则很好地避免了这一缺陷。

除主观上对融合结果进行评价之外，客观评价也是必不可少的。这里我们采用归一化互信息Q_MI、Tsallis熵Q_TE、非线性相关信息熵Q_NCIE、基于梯度的融合指标Q_G、基于多尺度策略的融合指标Q_M、基于相位一致性的融合指标Q_P、杨氏融合指标Q_Y和陈-布鲁姆指标Q_CB 8个不同的评价指标对不同方法下的融合效果进行评价，数值越大说明融合效果越好，客观评价数据如表1所示。表1数据也表明本发明方法在客观评价上具有较高的指标值，这从客观上也证明了本发明方法是有效的。

表1：不同融合方法的融合结果客观评价

指标	NSCT	NSCT-Contrast	NSCT-SR	NSCT-SF-PCNN	GFF	本文方法
							QMI	0.8187	0.8367	0.8185	0.8483	0.9731	1.1090
QTE	0.3567	0.3590	0.3561	0.3591	0.3721	0.3825
							QNCIE	0.8218	0.8225	0.8217	0.8228	0.8291	0.8373
QG	0.6134	0.6180	0.6235	0.5963	0.6599	0.6804
							QM	1.4375	1.5658	1.8320	1.4259	2.4151	2.5712
QP	0.7427	0.7489	0.7486	0.7213	0.7921	0.7950
							QY	0.9050	0.9090	0.9145	0.8979	0.9399	0.9806
QCB	0.6874	0.6928	0.7018	0.6413	0.7246	0.7761

上面结合附图对本发明的具体实施例作了详细说明，但是本发明并不限于上述实施例，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (6)

1.一种基于多尺度图像分析和块一致性验证的多聚焦图像融合方法，其特征在于，包括以下步骤：

步骤1，输入多聚焦源图像I₁和I₂，对多聚焦源图像I₁和I₂进行下采样，采用基于邻域距离的多尺度分解方法对下采样的图像分解得到高频子带系数和低频子带系数；

步骤2，计算特征高频子带的清晰度并进行双边滤波处理得到初始二值图像；

1)从高频子带系数中选取特征高频子带系数并构造特征高频矩阵：

$H_1^h(x,y)=\max \{I_1^{h_1}(x,y),I_1^{h_2}(x,y)...,I_1^{h_r}(x,y)\}$

$H_2^h(x,y)=\max \{I_2^{h_1}(x,y),I_2^{h_2}(x,y)...,I_2^{h_r}(x,y)\}$

分别表示两个下采样的图像在像素点(x,y)的所有高频子带系数，r表示分解尺度为第r尺度，和分别表示两个下采样的图像在像素点(x,y)处的特征高频子带系数；

2)计算特征高频矩阵中特征高频子带系数的清晰度并形成清晰度矩阵：

$S_1^h(x,y)=\underset{m=-(M-1)/2}{\overset{(M-1)/2}{\mathrm{\&Sigma;}}}\underset{n=-(N-1)/2}{\overset{(N-1)/2}{\mathrm{\&Sigma;}}}{[I_1^h(x+m,y+n)-h_1^h(x,y)]}^2$

$S_2^h(x,y)=\underset{m=-(M-1)/2}{\overset{(M-1)/2}{\mathrm{\&Sigma;}}}\underset{n=-(N-1)/2}{\overset{(N-1)/2}{\mathrm{\&Sigma;}}}{[I_2^h(x+m,y+n)-h_2^h(x,y)]}^2$

分别表示两个多聚焦源图像的特征高频矩阵在像素点(x,y)的清晰度，分别表示这两个下采样的图像在像素点(x+m,y+n)的特征高频子带系数，M×N为预设的窗口大小，(x+m,y+n)是以(x,y)为中心的窗口内任意一点；

3)采用双边滤波器对清晰度矩阵进行平滑处理获得初始的二值图像：

${\mathrm{map}}_1^h(x,y)=\left\{\begin{array}{cc}1,& S_1^h(x,y)>S_2^h(x,y)\\ 0,& S_1^h(x,y)<S_2^h(x,y)\end{array}\right.$

${\mathrm{map}}_2^h(x,y)=\left\{\begin{array}{cc}1,& S_1^h(x,y)<S_2^h(x,y)\\ 0,& S_1^h(x,y)>S_2^h(x,y)\end{array}\right.;$

步骤3，采用bwareaopen滤波器对初始二值图像进行处理，消除二值图像中的小面积区域，对处理过后的初始二值图像进行上采样得到二值图像和

步骤4，利用多聚焦源图像I₁和I₂的原始边界替换上采样的二值图像和的边界，得到新的二值图像；

1)计算多聚焦源图像I₁和I₂的清晰度：

$S_1(x,y)=\underset{m=-(M-1)/2}{\overset{(M-1)/2}{\&Sigma;}}\underset{n=-(N-1)/2}{\overset{(N-1)/2}{\&Sigma;}}{\&lsqb;I_1(x+m,y+n)-I_1(x,y)\&rsqb;}^2$

$S_2(x,y)=\underset{m=-(M-1)/2}{\overset{(M-1)/2}{\&Sigma;}}\underset{n=-(N-1)/2}{\overset{(N-1)/2}{\&Sigma;}}{\&lsqb;I_2(x+m,y+n)-I_2(x,y)\&rsqb;}^2$

S₁(x,y)和S₂(x,y)分别表示多聚焦源图像I₁和I₂在像素点(x,y)的清晰度，I₁(x,y)和I₂(x,y)分别表示多聚焦源图像I₁和I₂在像素点(x,y)的像素，I₁(x+m,y+n)和I₂(x+m,y+n)分别表示多聚焦源图像I₁和I₂在像素点(x+m,y+n)的像素，M×N为预设的窗口大小，(x+m,y+n)是以(x,y)为中心的窗口内任意一点；

2)根据多聚焦源图像I₁和I₂的清晰度获得最接近源图像特征的二值图像：

${\mathrm{map}}_1(x,y)=\left\{\begin{array}{cc}1,& S_1(x,y)>S_2(x,y)\\ 0,& S_1(x,y)<S_2(x,y)\end{array}\right.$

${\mathrm{map}}_2(x,y)=\left\{\begin{array}{cc}1,& S_1(x,y)<S_2(x,y)\\ 0,& S_1(x,y)>S_2(x,y)\end{array}\right.;$

3)利用最接近源图像特征的二值图像{map₁(x,y)}和{map₂(x,y)}的边界分别替换上采样的二值图像和的边界，得到新的二值图像和

X×Y为预设的窗口大小，(x+a,y+b)是以像素点(x,y)为中心的窗口内任意一点；

步骤5，采用“bwareaopen”滤波器对步骤4中新的二值图像进行优化处理得到二值图像{map′₁(x,y)}和{map'₂(x,y)}，再对二值图像{map′₁(x,y)}和{map'₂(x,y)}进行分块处理和块的一致性验证，得到最终优化的二值图像{map″₁(x,y)}和{map″₂(x,y)}；

步骤6，根据优化的二值图像，指导多聚焦源图像融合；

1)若像素点(x,y)在多聚焦源图像I₁和I₂其中一个的聚焦区域，则在该像素点处直接进行融合：

I_f(x,y)＝I₁(x,y)×map″₁(x,y)+I₂(x,y)×map″₂(x,y)

2)若像素点(x,y)不在源图像I₁和I₂的聚焦区域，则在该像素点处采取基于结构张量奇异值分解的质量评价因子的加权融合：

$I_f(x,y)=I_1(x,y)\&times;\frac{F_1(x,y)+{\mathrm{\&omega;}}_1}{F_1(x,y)+F_2(x,y)+\mathrm{\&omega;}}+I_2(x,y)\&times;\frac{F_2(x,y)+{\mathrm{\&omega;}}_2}{F_1(x,y)+F_2(x,y)+\mathrm{\&omega;}}$

F₁(x,y)和F₂(x,y)分别表示两个多聚焦源图像在像素点(x,y)的基于结构张量奇异值分解得到的质量评价因子，ω＝ω₁+ω₂，ω、ω₁和ω₂均为正常量。

2.根据权利要求1所述的基于多尺度图像分析和块一致性验证的多聚焦图像融合方法，其特征在于：步骤1中下采样具体步骤如下：

I_s＝P·I·Q

I为源图像，I_s为下采样得到的图像，P和Q分别定义如下：

s₁×s₂表示下采样图像大小，r×c表示源图像大小，η是缩放系数，其中

3.根据权利要求1所述的基于多尺度图像分析和块一致性验证的多聚焦图像融合方法，其特征在于：步骤3中上采样具体步骤如下：

I_u＝P₁·I_s1·Q₁

I_s1为下采样得到的图像，Iu是I_s1上采样之后得到的图像，P₁和Q₁分别定义如下：

s₁×s₂表示I_s1的大小，(η×s₁)×(η×s₂)表示上采样图像Iu的大小。

4.根据权利要求1所述的基于多尺度图像分析和块一致性验证的多聚焦图像融合方法，其特征在于：步骤5中对二值图像{map′₁(x,y)}和{map'₂(x,y)}进行分块处理和块的一致性验证的具体步骤如下：

1)将二值图像{map′₁(x,y)}和{map'₂(x,y)}分别划分成J个互不重叠的独立子块map′_1,i和map′_2,i，i＝{1,2,...,J}，设任一独立子块的中心像素为(x,y)，则对子块内的像素进行如下一致性验证，

(x+p,y+l)为第i个子块内的任意一点，P×L为预设的子块大小；

2)对所有的独立子块进行像素的一致性验证，得到新的子块，新的子块的特征值T₁(i)和T₂(i)为：

3)设置一个滑动窗口，设窗口遍历经过分块处理和像素一致性验证的二值图像到任一位置时的中心子块分别为map′_1,i，map'_2,i，则块的一致性验证如下，

其中，T₁(i_k)和T₂(i_k)分别表示两个二值图像在滑动窗口内任意子块的特征值，P'×P×L'×L为预设的滑动窗口大小，P'×L'为滑动窗口内子块的数量，(x+p,y+l)表示以像素点(x,y)为中心的子块内任意一点，和分别表示经过块的一致性验证后，两个二值图像在滑动窗口内第k(k＝1,...,P'×L')个子块内任一像素点(x+p,y+l)处的像素值。

5.根据权利要求1所述的基于多尺度图像分析和块一致性验证的多聚焦图像融合方法，其特征在于：步骤6中，判断某一像素点(x,y)是否在多聚焦源图像I₁和I₂其中一个的聚焦区域的过程如下：

其中，sum₁和sum₂分别表示两个二值图像在滑动窗口内所有像素的像素值之和，定义分别如下，

${\mathrm{sum}}_1=\underset{a^{\&prime;}=-(X^{\&prime;}-1)/2}{\overset{(X^{\&prime;}-1)/2}{\mathrm{\&Sigma;}}}\underset{b^{\&prime;}=-(Y^{\&prime;}-1)/2}{\overset{(Y^{\&prime;}-1)/2}{\mathrm{\&Sigma;}}}{\mathrm{map}}_1^{\&prime;\&prime;}(x+a^{\&prime;},y+b^{\&prime;})$

${\mathrm{sum}}_{\text{2}}=\underset{a^{\&prime;}=-(X^{\&prime;}-1)/2}{\overset{(X^{\&prime;}-1)/2}{\mathrm{\&Sigma;}}}\underset{b^{\&prime;}=-(Y^{\&prime;}-1)/2}{\overset{(Y^{\&prime;}-1)/2}{\mathrm{\&Sigma;}}}{\mathrm{map}}_2^{\&prime;\&prime;}(x+a^{\&prime;},y+b^{\&prime;})$

其中，(x+a',y+b')是以(x,y)为中心的窗口内任意一点，X'×Y'为预定的窗口大小。

6.根据权利要求1所述的基于多尺度图像分析和块一致性验证的多聚焦图像融合方法，其特征在于：步骤6中，基于结构张量奇异值分解的质量评价因子定义如下：

源图像的结构张量C定义为：

经过奇异值分解后得到：

其中，s₁和s₂为结构张量的特征值，质量评价因子定义如下：

$F(x,y)=(s_1-s_2)\&times;\left(\frac{s_1-s_2}{s_1+s_2}\right).$