CN101840573A

CN101840573A - 一种像素级图像融合质量评估方法

Info

Publication number: CN101840573A
Application number: CN201010145894A
Authority: CN
Inventors: 李珊珊; 董娜; 赵英海
Original assignee: Individual
Current assignee: Individual
Priority date: 2010-04-12
Filing date: 2010-04-12
Publication date: 2010-09-22

Abstract

本发明公开一种新的图像融合质量无基准图像客观评估方法，可以克服现有评估方法的不足。特点是利用灰度相似性来进行融合效果评估的方法，也就是用基于Minkovski距离的颜色似然函数来度量融合效果，用每幅源图像的局部显著程度对颜色似然函数值加权，兼顾计算复杂度和局部信息含量。与现有评估方法相比，本发明与人的视觉物理模型更为接近，可以得到更符合人的主观评测标准的结果，而且并不将输入图像的数目局限于二，而是可以扩展为任何大的正整数。

Description

一种像素级图像融合质量评估方法

技术领域

本发明涉及一种图像处理质量评估，具体是一种多源图像像素级融合后图像质量的评估方法。属于图像处理技术。

背景技术

现阶段对融合图像的质量好坏的评价标准主要集中于计算融合后的图像对输入图像有用信息量的保存状况上。输入图像的有用信息可以包括亮度、对比度、结构、梯度、傅立叶变换后的幅值和辐角、空间分辨率等等像素级特征值。对有用信息的选择可以生成各种不同的评估度量方法。对这些有用信息的保存状况的度量，一般来说，除了交互信息可以直接量化这种保存的情况外，其它评估方法多会选择通过计算融合后图像的信息值与先验有用信息值之间的相似程度来达到这个目的。

相似度的计算，即距离度量是模式识别领域的核心问题之一。通过选择不同的度量方法，也可以达到生成不同的评估度量方法的目的。

经文献检索发现，2007年在Information Fusion发表的文章《Sub jective tests forimage fusion evaluation and objective metric validation》采用了最直接的人工进行主观测试，因为对于像素级图像融合而言，最终评估标准就是人眼的识别标准，所有评估方法都希望能尽可能的与人的视觉感受一致。但人主观评测耗时、昂贵、不能量化和优选某些融合系数；2007年在Computer Vision and Image Understanding发表的文章《A feature-basedmetric for the quantitative evalution》中，采用了客观质量评价的基准图像比较法，也就是把融合后图像与理想的融合后图像(即基准图像)进行比较，从而评价融合后图像质量的方法。但理想图像在实际操作中几乎是不可能得到的；2002年发表于IEEE ElectricLetters上的《Information measure for performance of image fusion》和2003年发表于IEEE International Conference on Image Processing的《A new quality metric for imagefusion》分别提出了使用交互信息和机遇结构相似度量的无基准图像客观评估方法。这种方法相对于主观评价和基准图像比较法而言，易于机器实现，适用范围广泛，并且被证明了能够得到合理的效果。但是他们的物理模型过于简单，因此对于某些特定的图像和融合方法，其评估结果与人的主观印象并不能很好的吻合。

发明内容

本发明的技术目的是提出一种新的图像融合质量无基准图像客观评估方法，可以克服现有评估方法的不足。利用灰度相似性来进行融合效果评估的方法，也就是用基于Minkovski距离的颜色似然函数来度量融合效果。与现有评估方法相比，本发明与人的视觉物理模型更为接近，可以得到更符合人的主观评测标准的结果，而且并不将输入图像的数目局限于二，而是可以扩展为任何大的正整数。

这种新的像素级图像融合质量评估标准，通过以下技术方案实现，步骤如下：

步骤一：选定滑动窗口的大小和步长；

步骤二：对于窗口覆盖的所有源图像和结果图像区域，统计其灰度直方图的分布，计算其概率分布；

步骤三：计算每一幅源图像与结果图像区域直方图概率分布的Minkovski距离，在此基础上计算各自的颜色似然函数值；

步骤四：计算每幅源图像在该窗口区域的局部显著程度；

步骤五：用局部显著程度对颜色似然函数值加权，得到该窗口区域的加权颜色似然函数值；

步骤六：通过每个窗口内的区域加权颜色相似程度函数值，计算出整幅图像的图像融合质量评估值。

本发明对图像融合质量进行无基准客观评估，主要具有以下特点和作用：(1)选择了图像的颜色信息作为融合过程中需要保持的有用信息；(2)相似度的度量使用了Minkovski距离；(3)计算复杂度简单；(4)充分利用源图像的局部信息。

附图说明：

图1为本发明的像素级图像融合质量评估算法的流程图

图2为TNO Human Factors Research Institute所提供的“UNcamp”图像序列中的一祯，作为实验图像

图3为对UNcamp图像序列中的一祯用各种像素级融合方法进行融合后的结果图像

图4为对UNcamp总共三十二组图像的融合结果用各种评估方法进行评估得到的结果曲线

图2中

201为可见光图像

202为红外图像

图3中

301为均值融合得到的结果图像

302为离散小波变换融合得到的结果图像

303为拉普帕斯金字塔融合得到的结果图像

304为形态学差异金字塔融合得到的结果图像

图4中

401为互信息评估标准的评估结果

402为Gemma Piella和Henk Heijmans在2003年提出的质量评估标准的评估结果

403为V.Xydeas和Petrovic在2000年提出的客观质量评估标准的评估结果

404为本发明提出的评估标准的评估结果

具体实施方法：

下面本发明将结合附图中的实施例作进一步描述

步骤一：选定滑动窗口的大小和步长。

滑动窗口的大小决定了区域信息量，如果太小，则信息量太小，灰度直方图分布在有限的几个点上，计算他们之间的Minkovski距离以及颜色似然函数都是没有意义的；如果太大，则计算复杂量大幅上涨，导致运算负担加重运算时间加长。因此，根据各种实验我们得到同时兼顾区域信息量和计算量大小的经验值：滑动窗口的大小为128*128像素，步长为32像素。

步骤二：对于窗口覆盖的所有源图像和结果图像区域，统计其灰度直方图的分布，计算其概率分布。

滑动窗口从图像的左上角开始滑动，在滑动出图像范围之前，对于每次窗口所覆盖的区域，分别统计源图像和结果图像的灰度直方图分布，假设他们分别是h₁，h₂(此处假设有两幅源图像)和h_r

对应的概率分布为

p_{1} (i) = \frac{h_{1} (i)}{\underset{i}{Σ} h_{1} (i)}

p_{2} (i) = \frac{h_{2} (i)}{\underset{i}{Σ} h_{21} (i)}

p_{r} (i) = \frac{h_{r} (i)}{\underset{i}{Σ} h_{r} (i)}

步骤三：计算每一幅源图像与结果图像区域直方图概率分布的Minkovski距离，在此基础上计算各自的颜色似然函数值。

任意源图像与结果图像的区域直方图概率分布的q阶Minkovski距离计算公式如下：

D_{m} = {[\underset{i}{Σ} {| p (i) - p_{r} (i) |}^{q}]}^{1 / q}, q = 1,2, . . .

本发明中经实验证明，q取2可以得到比较好的结果，因此在后面的实验中，q的取值为2。

颜色似然函数值与D_m的指数函数成比例

L_{m} = i * \exp {- D_{m}^{q} / σ}

其中i在后面的实验中取经验值1，σ在后面的实验中取经验值0.015。

这样我们就得到了源图像1与结果图像之间的颜色似然函数值L(z₁，f)，源图像2与结果图像之间的似然函数之L(z₂，f)。

步骤四：计算每幅源图像在该窗口区域的局部显著程度；

对于每一幅源图像而言，我们选择窗内方差为窗口区域的局部显著程度。方差越大，说明该源图像在该区域内显著程度越高。

步骤五：用局部显著程度对颜色似然函数值加权，得到该窗口区域的加权颜色似然函数值。

假设两幅源图像在滑动窗口区域w内的局部显著程度分别为s(z₁|w)和s(z₂|w)，则源图像1的颜色似然函数值权重为

λ (w) = \frac{s (z_{1} | w)}{s (z_{1} | w) + s (z_{2} | w)}

图像2的权重为1-λ(w)。

这时，该窗口区域的加权颜色似然函数值为

Q(w)＝λ(w)L(z₁，f)+(1-λ(w))L(z₂，f)

当滑动窗口自右下角滑动出图像区域时，我们得到了全部的Q(w)值，这时，整幅图像的图像融合质量评估值为

Q (z_{1}, z_{2}, f) = \frac{1}{| W |} \underset{w &Element; W}{Σ} Q (w)

其中W是窗口族，|W|是该集合的势。

实施例1：UNcamp图像序列融合结果评估

本发明将这种新的像素级图像融合评估标准应用于UNcamp图像序列融合结果上。

实验平台为MATLAB7.0，在2GHz Intel Pentium(R)4CPU的PC机上实现。实验中滑动窗口的大小为128*128像素，步长为32像素；灰度直方图概率分布间的Minkovski距离计算时q＝2，颜色似然函数计算时i取经验值1，σ取经验值0.015。

(1)对于一组图像用不同方法进行融合后，用不同的评估方法得到的质量评估结果。

对图2所示的源图像，用不同的像素级图像融合方法，得到图3所示的融合结果。对这些结果用不同的评估方法进行质量评估，其中，MI为互信息评估标准，Q为Gemma Piella和Henk Heijmans在2003年提出的质量评估标准，Q_P ^AB/F为V.Xydeas和Petrovic在2000年提出的客观质量评估标准，Q_m为本发明提出的评估标准；Average指均值融合方法，DWT指离散小波变换融合法，LP指拉普拉斯金字塔融合法，MDP指形态学差异金字塔融合法。得到如表格1所示结果：

表格1不同评估方法对图3中融合图像的评估结果

	Average	DWT	LP	MDP
	Average	DWT	LP	MDP	MI	1.0586	0.93407	0.98914	1.0014
Q	0.64811	0.651	0.68838	0.58776	MI	1.0586	0.93407	0.98914	1.0014
Q	0.64811	0.651	0.68838	0.58776	Q_P ^AB/F	0.3527	0.42368	0.45874	0.40622
Q_m	0.82387	0.90909	0.92706	0.94425	Q_P ^AB/F	0.3527	0.42368	0.45874	0.40622

从图3中可以清楚地看出，LP和MDP的结果显然要优于均值法和DWT的。对比表1中的结果，Q_m与直观结果很吻合；MI认为均值法的效果是最好的；Q将均值法和DWT排在了MDP之上；Q_P ^AB/F是除了Q_m之外表现最好的评估方法，但它也认为MDP的效果不及DWT，这也是与直观效果不符合的。

总之，本发明所提出的方法人的视觉物理模型更为接近，可以得到更符合人的主观评测标准的结果。

(2)对整个序列图像组用不同方法进行融合后，用不同的评估方法得到的质量评估结果。

对全部32组源图像用不同的方法进行融合，然后再用不同的评估方法对融合后的图像进行评估，得到的结果如图4所示。

从图4中可以看到，MI始终认为均值法是最好的；Q和Q_P ^AB/F在评估MDP的效果时不同程度上与人眼的主观印象出现偏差；而Q_m将这四种融合方法按照MDP、LP、DWT和均值法排序，与视觉感官相符合。

Claims

1.一种新的像素级图像融合质量评估方法，其特征在于，方法步骤如下：

步骤一：选定滑动窗口的大小和步长；

步骤四：计算每幅源图像在该窗口区域的局部显著程度；

2.根据权利要求1所述的像素级图像融合质量评估方法，其特征是，所述的步骤一，为了兼顾区域信息量和计算复杂度，我们所选用的滑动窗口大小为128*128像素，步长为32像素。

3.根据权利要求1所述的像素级图像融合质量评估方法，其特征是，所述的步骤三，采用了颜色似然函数来定义两幅图像之间的相似程度。

先计算所有源图像与结果图像的区域直方图分布概率之间的q阶Minkovski距离

在此基础上，计算颜色似然函数

。

4.根据权利要求1所述的像素级图像融合质量评估方法步骤三和权利要求2，其特征是，在计算时其中的系数分别已经验取值，为

q＝2，i＝1，σ＝0.015。

5.根据权利要求1所述的像素级图像融合质量评估方法步骤四，其特征是，取窗口区域内的方差为局部显著程度，并以此计算权重，用于对颜色似然函数的加权。