CN101976436B - 一种基于差分图修正的像素级多聚焦图像融合方法 - Google Patents

Abstract

本发明涉及一种基于差分图修正的像素级多聚焦图像融合方法，技术特征在于：首先对待融合图像进行下采样，并计算待融合下采样图像的空间频率，然后通过比较空间频率的大小得到初始融合图像；接着对初始融合图像与待融合下采样图像的差分图像进行两次修正，第一次修正使用中值滤波，用于消除选择错误的孤立像素，第二次修正则通过计算各区域的面积进行区域的合并，最后对两次修正后得到的修正图进行插值放大，得到最终的标记图，依据该标记图即可得到融合图像。仿真实验表明融合图像的清晰度较传统的平均法及其一些改进算法有了较大的提高，同时熵、标准差和互信息等客观评价指标值得到了提高，是一种有效的像素级图像融合方法。

Description

一种基于差分图修正的像素级多聚焦图像融合方法

技术领域

本发明涉及一种像素级多聚焦图像融合方法，属于图像处理技术领域，具体涉及一种基于差分图修正的像素级多聚焦图像融合方法，在军事和民用等领域均有广泛的应用前景。

背景技术

图像融合技术是在20世纪70年代末提出的图像处理新技术，是信息融合技术的一个重要分支。利用图像融合技术，可以克服单一图像在几何、光谱和空间分辨率等方面存在的局限性和差异性，增加置信度，改善分类性能等，获得对目标场景的更精确、更全面和更可靠的描述，因此更有利于后续的目标识别等工作。

由于成像系统的聚焦范围有限，所以，在一幅图像中，除聚焦良好的物体外，该物体前后一定距离外的所有目标都将呈现出不同程度的模糊。为了更加全面、真实地反映某一场景的信息，希望获得场景内所有物体都清晰的图像。解决这一问题的一种方法就是对场景中的不同物体分别聚焦，得到多幅该场景的多聚焦图像，然后对这些多聚焦图像进行融合处理，提取各自的清晰区域，从而得到该场景中所有物体都清晰的融合图像，即多聚焦图像融合。

像素级多聚焦图像融合算法主要分为两类：空间域和变换域图像融合。空间域像素级多聚焦图像融合算法不需要对源图像进行任何变换，仅根据源图像中像素点的灰度值进行融合，算法简单，其又可分为基于像素点的融合算法(如加权平均法、像素灰度值取大和取小等)和分块区域融合算法。基于区域的融合算法根据像素点所在区域的特征因子计算加权系数，该类算法不仅考虑了单个像素点的灰度值，还考虑了该像素点所在区域内各像素点之间的相关性，因此其得到的融合图像在清晰度和对比度等方面比基于像素点的融合方法结果更好。

由于具有和人眼视觉相似的特性，基于多尺度、多分辨分析的图像融合方法在近年来得到了人们的广泛关注，目前已经从基于金字塔分解的图像融合方法发展到了基于多尺度几何分析的图像融合方法。该类方法首先对各源图像进行多分辨率分解，得到源图像在不同分解层上的子带图像，然后对分解得到的各子带图像进行融合，在对子带图像进行融合时，可以采用不同的融合规则，最后将融合后的各子带图像进行逆变换得到融合图像。

现有的方法，需要进行变换域中进行图像融合时的分解和重构运算及分解层数的选取等问题，需要人为设置的参数较多。另外，由于不能对错分的像素进行了修正，因此融合图像的质量较差。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种基于差分图修正的像素级多聚焦图像融合方法，达到提高融合图像质量的目的。

技术方案

一种基于差分图修正的多聚焦图像融合方法，其特征在于步骤如下：

步骤1：对原始待融合图像image1和image2进行下采样：对待融合图像image1和image2分别进行隔行隔列的像素抽取，得到像素数减半的待融合下采样图像A和B；

步骤2：计算下采样图像A和B的空间频率：

下采样图像A的空间频率：

其中：RF_A为图像A在O_A区域的行频率：

CF_A为图像A在Q区域的列频率：

所述O_A为在下采样图像A中选择大小为W_A1×W_A2的区域图像，i和j为像素的行坐标和列坐标，W_A1和W_A2为区域O_A的行高和列宽，所述行高W_A1和列宽W_A2为等值；

下采样图像B的空间频率：

其中：RF_B为图像B在O_B区域的行频率：

CF_B为图像B在O_B区域的列频率：

所述O_B为在下采样图像B中选择大小为W_B1×W_B2的区域图像；B(i，j)为B在位置(i，j)处的灰度值，i和j为像素的行坐标和列坐标，W_B1和W_B2为区域O_B的行高和列宽，所述行高W_B1和列宽W_B2为等值；

步骤3：计算图像A以像素(i，j)为中心的一个区域的空间频率值的和SFA_sum和图像B以像素(i，j)为中心的一个区域的空间频率值的和SFB_sum：

$\mathrm{SFA}\_\mathrm{sum}(i,j)=\underset{x=-p}{\overset{p}{\mathrm{\Σ}}}\underset{y=-q}{\overset{q}{\mathrm{\Σ}}}{\mathrm{SF}}_A(i-x:i+x,j-y:j+y)$

$\mathrm{SFB}\_\mathrm{sum}(i,j)=\underset{x=-p}{\overset{p}{\mathrm{\Σ}}}\underset{y=-q}{\overset{q}{\mathrm{\Σ}}}{\mathrm{SF}}_B(i-x:i+x,j-y:j+y)$

其中：p和q为累加空间频率值时的区域值，所述p和q为等值；

步骤4：当SFA_sum(i，j)＞SFB_sum(i，j)时，初始融合图像F(i，j)＝A(i，j)，否则初始融合图像F(i，j)＝B(i，j)；

步骤5：计算初始融合图像与待融合下采样图像A的差得到差分图像Diff＝F-A；

步骤6：选择7×7的窗口对差分图像使用中值滤波，得到第一次修正的结果图

Diff_correction1＝median(Diff)；其中median是传统的中值滤波算法，其基本原理是把数字图像中某一点的值用该点一个邻域中各点值的中值代替；

步骤7：采用8邻域标记方法对步骤6得到图像中的各个区域进行标记，然后计算标记区域的面积，得到最大面积区域和次大面积区域；

 步骤8：当某一标记区域被最大区域包围时将该区域所有像素的灰度值改为最大区域中像素的灰度值，当某一标记区域被次大区域包围时将该区域所有像素的灰度值改为次大区域中像素的灰度值，得到下采样图像A和B融合时所对应的标记图像Diff_correction2；

步骤9：采用最近邻法对Diff_correction2进行插值放大，得到image1和image2融合所使用的最终标记图Diff_correction，进而确定最终融合结果Result，即当Diff_correction(i，j)＝1时，Result(i，j)＝image1(i，j)，否则Result(i，j)＝image2(i，j)。

步骤5中差分图像为计算初始融合图像与待融合下采样图像B的差得到差分图像Diff＝F-B。

步骤6中选择9×9的窗口对差分图像使用中值滤波。

步骤9中采用最近邻法对Diff_correction2进行插值放大。

有益效果

本发明提出的一种基于差分图修正的像素级多聚焦图像融合方法，是一种空间域图像融合方法，避免了变换域中进行图像融合时的分解和重构运算及分解层数的选取等问题，需要人为设置的参数较少。另外，由于对错分的像素进行了修正，因此较一些传统的空间域法在一定程度上提高了融合图像的质量。

本发明的方法直接在空间域进行处理，算法简单，避免了在变换域进行图像融合所需要的分解和重构等运算。另外，本发明的方法需要人为设定的参数较少，主要是空间频率计算时窗口的大小和中值滤波窗口大小的选择。同时，与已有的一些基于空间域的图像融合方法相比，本发明的方法对图像进行了下采样操作，降低了图像尺寸，从而达到提高图像融合算法速度的目的，此外，本发明对初始融合结果中存在的错分像素进行了两次修正，在一定程度上改善了融合图像的质量。

附图说明

图1：本发明基于差分图修正的像素级多聚焦图像融合方法流程图。

图2：对多聚焦图像使用平均法、简单空间频率法(即只使用空间频率进行融合图像像素的选取，未进行选择错误像素的修正)和本发明方法融合后得到的结果。

图3：本发明方法融合过程中计算得到的中间结果。

具体实施方式

现结合实施例、附图对本发明作进一步描述：

步骤1：对原始待融合图像image1和image2进行下采样：即进行隔行隔列的像素抽取，得到像素减半的待融合下采样图像A和B。若image1和和image2的尺寸为M×N，则经过下采样后图像的尺寸变为

步骤2：计算下采样图像A和B的空间频率：

空间频率反映了1幅图像空间的总体活跃程度。对于1个大小为m×n的图像I(I取A或B)，在I中以(i，j)为中心、选择大小为W₁×W₂的区域Q，则空间频率的定义如下：

$\mathrm{SF}=\sqrt{{\left(\mathrm{RF}\right)}^2+{\left(\mathrm{CF}\right)}^2}$

那么，下采样图像A的空间频率：

其中：RF_A为图像A在O_A区域的行频率：

CF_A为图像A在Q区域的列频率：

所述O_A为在下采样图像A中选择大小为W_A1×W_A2的区域图像，i和j为像素的行坐标和列坐标，W_A1和W_A2为区域O_A的行高和列宽，所述行高W_A1和列宽W_A2为等值，取值均为7；

下采样图像B的空间频率：

其中：RF_B为图像B在O_B区域的行频率：

CF_B为图像B在O_B区域的列频率：所述O_B为在下采样图像B中选择大小为W_B1×W_B2的区域图像；B(i，j)为B在位置(i，j)处的灰度值，i和j为像素的行坐标和列坐标，W_B1和W_B2为区域O_B的行高和列宽，所述行高W_B1和列宽W_B2为等值，取值均为7；

步骤3：计算图像A以像素(i，j)为中心的一个区域的空间频率值的和SFA_sum和图像B以像素(i，j)为中心的一个区域的空间频率值的和SFB_sum：

$\mathrm{SFA}\_\mathrm{sum}(i,j)=\underset{x=-p}{\overset{p}{\mathrm{\Σ}}}\underset{y=-q}{\overset{q}{\mathrm{\Σ}}}{\mathrm{SF}}_A(i-x:i+x,j-y:j+y)$

$\mathrm{SFB}\_\mathrm{sum}(i,j)=\underset{x=-p}{\overset{p}{\mathrm{\Σ}}}\underset{y=-q}{\overset{q}{\mathrm{\Σ}}}{\mathrm{SF}}_B(i-x:i+x,j-y:j+y)$

其中：p和q为累加空间频率值时的区域值，所述p和q为等值，取值均为13；

步骤4：当SFA_sum(i，j)＞SFB_sum(i，j)时，初始融合图像F(i，j)＝A(i，j)，否则初始融合图像F(i，j)＝B(i，j)；

上述方法得到的融合结果F依赖于空间频率计算时所选用的窗口大小，目前尚未有很好的办法能够自适应确定窗口的大小。仅使用空间频率计算得到的融合结果中会存在一些错分的像素(即(i，j)位置的像素本应取自图像A，但因计算存在的不足，该位置的像素却取自图像B)，像素错分便会导致融合图像降质，因此需要对这些错分的像素进行修正以达到提高融合图像质量的目的。本发明的方法则使用两次修正过程达到错分像素修正的目的。

步骤5：计算初始融合图像与待融合下采样图像A的差分图像Diff＝F-A；或计算初始融合图像与待融合下采样图像B的差得到差分图像Diff＝F-B；

步骤6：选择7×7或9×9的窗口对差分图像使用中值滤波，得到第一次修正的结果图

Diff_correction1＝median(Diff)；其中median是传统的中值滤波算法，其基本原理是把数字图像中某一点的值用该点一个邻域中各点值的中值代替；

经过上述修正处理后，差分图像Diff_correction1中仍然存在一些错分的像素，这些错分的像素在Diff_correction1中则表现为一些孤立的、面积较小的区域，因此可对这些区域进行第二次修正处理，得到最终的标记图像。首先对这些孤立的区域使用8邻域标记方法进行区域标记，然后计算这些标记区域的面积，确定最大面积和次大面积区域；接着逐个判断这些被标记区域的面积是否是最大或次大；如果不是，则判断它是被最大区域包围还是次大区域包围，如果是被最大区域包围，则将该区域所有像素的灰度值改为最大区域中像素的灰度值，如果是被次大区域包围，则将该区域所有像素的灰度值改为次大区域中像素的灰度值，通过上述步骤即可得到下采样图像A和B融合时所对应的标记图像Diff_correction2。

步骤7：采用8邻域标记方法对步骤6得到图像中的各个区域进行标记，然后计算标记区域的面积，得到最大面积区域和次大面积区域；

步骤8：当某一标记区域被最大区域包围时将该区域所有像素的灰度值改为最大区域中像素的灰度值，当某一标记区域被次大区域包围时将该区域所有像素的灰度值改为次大区域中像素的灰度值，得到下采样图像A和B融合时所对应的标记图像Diff_correction2；

步骤9：采用最近邻法对Diff_correction2进行插值放大或采用最近邻法对Diff_correction2进行插值放大，得到image1和image2融合所使用的最终标记图Diff_correction，进而确定最终融合结果Result，即当Diff_correction(i，j)＝1时，Result(i，j)＝image1(i，j)，否则Result(i，j)＝image2(i，j)。

图2(a)和图2(b)分别为待融合图像(其大小为512×512)，图2(c)是使用平均法得到的融合图像，图2(d)是使用简单空间频率法得到的融合结果，图2(e)本发明方法的融合结果。对于本发明的方法，首先使用空间频率计算待融合下采样图像(其大小为256×256)3(a)和3(b)的清晰程度，然后通过比较空间频率值的大小确定初始融合图像，由于初始融合图像受空间频率计算时所选择的窗口大小等因素的影响，因此，在融合结果中存在部分选择错误的像素，对于这一问题，本发明使用两次修正过程来进行改善。首先计算初始融合图像与待融合下采样图像3(a)或3(b)的差分图，见图3(c)，然后使用7×7的滤波窗口进行中值滤波，得到第一次修正的差分图，如图3(d)所示；经过第一次差分修正后，差分图中依然存在一些错分的像素，表现在第一次差分图中则是一些面积比较小的区域，所以本发明对其进行了第二次修正，即选择面积小于最大面积和次大面积的区域并进行区域合并，得到第二次修正后的差分图，见图3(e)。可以看出，经过上述两次差分修正后，错分的像素数目有所减少，达到了提高融合图像质量的目的。最后，对经过两次差分修正的图象进行插值放大，见图3(f)，并将其作为最终融合图象选取的依据。

对于图像融合结果的评价，除了主观观察外，还需通过从客观角度进一步计算来评判。本发明中使用的客观评价指标值有熵、平均梯度、标准差和互信息。通常情况下，这四个指标的值越大，表明融合图像的质量越好。

1、熵：

图像的熵是衡量图像信息丰富程度的一个重要指标。根据Shannon信息论的原理，一幅图像的信息熵定义为：

$E=-\underset{i=0}{\overset{L-1}{\mathrm{\Σ}}}{p}_i{\log }_2\left(p_i\right)$

其中p_i为图像第i级灰度值的概率密度，L为图像的总灰度级。

2、平均梯度

平均梯度可敏感地反映图像对微小细节反差表达的能力，可用来评价图像的清晰程度。一般来说，平均梯度越大，图像越清晰。设F是大小为M×N的图像，F在位置(i，j)处的灰度值为F(i，j)，平均梯度计算方法如下

$\stackrel{\‾}{G}=\frac{1}{(M-1)(N-1)}\underset{i=1}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=1}{\overset{N-1}{\mathrm{\Σ}}}\sqrt{\frac{{\left(\frac{\∂F(i,j)}{\∂i}\right)}^2+{\left(\frac{\∂F(i,j)}{\∂j}\right)}^2}{2}}$

3、标准差

标准差反映了图像灰度相对于灰度平均值的离散情况。在某种程度上，标准差可以用来评价图像反差的大小。若标准差大，则图像的对比度大，图像包含更多的信息。标准差定义为

$\mathrm{std}=\sqrt{\frac{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{(F(i,j)-\mathrm{\μ})}^2}{\mathrm{MN}}}$

式中μ是图像的均值，F(i，j)是图像F在(i，j)处的灰度值，图像大小为M×N。

4、交互信息量

交互信息量是信息论中一个非常重要的概念，它可作为两个变量之间相关性的量度，或一个变量包含另一个变量的信息量的量度。因此，我们可以通过计算各个源图像和融合图像之间的交互信息量来评价融合算法的优劣。设MI_FA和MI_FB分别表示融合图像F与源图像A和B的交互信息量，则：

${\mathrm{MI}}_{\mathrm{FA}}=\underset{i=0}{\overset{L-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{L-1}{\mathrm{\Σ}}}{p}_{\mathrm{FA}}(i,j){\log }_2\left(\frac{p_{\mathrm{FA}}(i,j)}{p_F\left(i\right)p_A\left(j\right)}\right)$

${\mathrm{MI}}_{\mathrm{FB}}=\underset{i=0}{\overset{L-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{L-1}{\mathrm{\Σ}}}{p}_{\mathrm{FB}}(i,j){\log }_2\left(\frac{p_{\mathrm{FB}}(i,j)}{p_F\left(i\right)p_B\left(j\right)}\right)$

其中p_F、p_A和p_B分别表示融合图像F、源图像A以及源图像B的概率密度，p_FA和p_FB则分别表示图像F与图像A和图像B的联合概率密度，这两个值可以从图像F与图像A和图像B的联合灰度直方图中计算得到，L表示图像的灰度级。最后，融合图像F包含A和B的信息量可以用MI_FA和MI_FB的总和来表示，即：

${\mathrm{MI}}_F^{\mathrm{AB}}={\mathrm{MI}}_{\mathrm{FA}}+{\mathrm{MI}}_{\mathrm{FB}}$

的值越大，则融合图像的质量越好，反之则融合图像的质量较差。

表1是用不同方法进行多聚焦图像融合后计算得到的客观评价指标值。

表1不同方法得到的客观评价指标值

从图2中可以看出，基于平均法的图像融合方法得到的图像清晰度最低；基于简单空间频率法的融合图像的清晰度有所提高，但是在清晰区域和模糊区域的边界却存在一些伪影(虚假轮廓)，这主要是由于边界区域的判决错误而导致的；相比而言，本发明的方法由于加入了两次误差修正过程，伪影得到了很好的抑制，因此得到的融合图像质量最好。同时，从表1也可以看出，平均法计算得到的各项指标值最低，基于简单空间频率法的指标值次低，而本发明方法计算得到的指标值较高，这也从客观角度说明了本发明的方法是有效的。

表2给出了对不同大小的图像进行下采样和非下采样方法所耗费的时间，算法仿真是在Matlab7.0环境中进行的。可以看出，对图像进行下采样后融合时间得到了明显缩短。

表2不同算法所耗费的时间

Claims (6)

1.一种基于差分图修正的多聚焦图像融合方法，其特征在于步骤如下：

步骤1：对原始待融合图像image1和image2进行下采样：对待融合图像image1和image2分别进行隔行隔列的像素抽取，得到像素数减半的待融合下采样图像A和B；

步骤2：计算下采样图像A和B的空间频率：

下采样图像A的空间频率：

其中：RF_A为图像A在O_A区域的行频率：

CF_A为图像A在O_A区域的列频率：所述O_A为在下采样图像A中选择大小为W_A1×W_A2的区域图像，i和j为像素的行坐标和列坐标，W_A1和W_A2为区域O_A的行高和列宽，所述行高W_A1和列宽W_A2为等值；

下采样图像B的空间频率：

其中：RF_B为图像B在O_B区域的行频率：

CF_B为图像B在O_B区域的列频率：

所述O_B为在下采样图像B中选择大小为W_B1×W_B2的区域图像；B(i，j)为B在位置(i，j)处的灰度值，i和j为像素的行坐标和列坐标，W_B1和W_B2为区域O_B的行高和列宽，所述行高W_B1和列宽W_B2为等值；

步骤3：计算图像A以像素(i，j)为中心的一个区域的空间频率值的和SFA_sum和图像B以像素(i，j)为中心的一个区域的空间频率值的和SFB_sum：

$\mathrm{SFA}\_\mathrm{sum}(i,j)=\underset{x=-p}{\overset{p}{\mathrm{\Σ}}}\underset{y=-p}{\overset{q}{\mathrm{\Σ}}}{\mathrm{SF}}_A(i-x:i+x,j-y:j+y)$

$\mathrm{SFB}\_\mathrm{sum}(i,j)=\underset{x=-p}{\overset{p}{\mathrm{\Σ}}}\underset{y=-p}{\overset{q}{\mathrm{\Σ}}}{\mathrm{SF}}_B(i-x:i+x,j-y:j+y)$

其中：p和q为累加空间频率值时的区域值，所述p和q为等值；

步骤4：当SFA_sum(i，j)＞SFB_sum(i，j)时，初始融合图像F(i，j)＝A(i，j)，否则初始融合图像F(i，j)＝B(i，j)；

步骤5：计算初始融合图像与待融合下采样图像A的差得到差分图像Diff＝F-A；

步骤6：选择7×7的窗口对差分图像使用中值滤波，得到第一次修正的结果图

Diff_correction1＝median(Diff)；其中median是传统的中值滤波算法，其基本原理是把数字图像中某一点的值用该点一个邻域中各点值的中值代替；

步骤7：采用8邻域标记方法对步骤6得到图像中的各个区域进行标记，然后计算标记区域的面积，得到最大面积区域和次大面积区域；

步骤8：当某一标记区域被最大区域包围时将该区域所有像素的灰度值改为最大区域中像素的灰度值，当某一标记区域被次大区域包围时将该区域所有像素的灰度值改为次大区域中像素的灰度值，得到下采样图像A和B融合时所对应的标记图像Diff_correction2：

步骤9：采用最近邻法对Diff_correction2进行插值放大，得到image1和image2融合所使用的最终标记图Diff_correction，进而确定最终融合结果Result，即当Diff_correction(i，j)＝1时，Result(i，j)＝image1(i，j)，否则Result(i，j)＝image2(i，j)。

2.根据权利要求1所述的基于差分图修正的多聚焦图像融合方法，其特征在于：步骤5中差分图像为计算初始融合图像与待融合下采样图像B的差得到差分图像Diff＝F-B。

3.根据权利要求1所述的基于差分图修正的多聚焦图像融合方法，其特征在于：步骤6中选择9×9的窗口对差分图像使用中值滤波。

4.根据权利要求1所述的基于差分图修正的多聚焦图像融合方法，其特征在于：所述行高W_A1和列宽W_A2取值均为7。

5.根据权利要求1所述的基于差分图修正的多聚焦图像融合方法，其特征在于：所述行高W_B1和列宽W_B2取值均为7。

6.根据权利要求1所述的基于差分图修正的多聚焦图像融合方法，其特征在于：所述p和q取值均为13。

Images