CN1604139A - 图像融合评价系统的构建方法 - Google Patents

Abstract

一种图像融合评价系统的构建方法，用于信息技术领域。将图像融合定性评价和定量评价的不同方法按照对独立单因素指标、联合单因素指标和综合评价指标的定义构建图像融合评价体系，并基于ENVI/IDL平台实现了图像融合评价体系，利用四组不同融合图像来验证利用该评价体系以全面、客观的分析图像融合的性能指标。本发明是首次提出和构建多源图像融合评价体系，并通过一个信息处理开发平台得以实现。该体系的建立，势必能够更加全面、客观的进行图像融合评价，将评价信息加入到融合规则的选取和参数选取的选择过程中，从而可以更充分地利用信息源提供的信息，实现具有反馈的图像融合过程，丰富和完善图像融合理论框架。

Description

图像融合评价系统的构建方法

技术领域

本发明涉及的是一种用于信息技术领域的图像信息的评价方法，特别是一种图像融合评价系统的构建方法。

背景技术

图像融合(image fusion)技术是指将由多个传感器所采集的同一目标的图像经过一定的处理，提取各传感器的信息，综合形成统一图像或综合利用各图像信息的技术。它具有系统探测性能高、自动化程度高、可靠性高、成本低等特点，在医学、遥感、天气预报、军事目标识别等诸多领域均有广阔的应用前景。

对融合图像进行评价研究，对于在实际应用中选择适当的融合算法以及对现有融合算法的改进和研究新的融合算法都是非常重要的。目前对融合图像进行的评价一般只涉及定性评价，或者是对单因素评价指标的研究，这在实际应用中具有相当的局限性。这主要是因为，同一融合算法，对不同类型的图像，其融合效果不同；同一融合算法，对同一图像，观察者感兴趣的部分不同，则认为效果不同；不同的应用方面，对图像各项参数的要求不同，导致选取的融合方法不同。这导致了对融合图像做出客观、定量的评价困难性和复杂性，尤其针对多源不同质传感器图像的融合算法，人们很难定义一个通用的评价标准。目前，最常用的评价方法仍然停留在对不同的图像融合结果由单因素的定量指标进行评价，或者是由专家进行诸如好、较好、一般、不好等定性的等级评分，并以此作为评价图像融合方法优劣的基础。显然上述方法极易受主观因素的影响。因为由于缺乏客观的评价标准，不同的人可能会对同一融合结果有着截然不同的评价结论。

当前融合效果的客观评价问题一直未得到很好的解决，经对现有技术文献的检索发现，文献中很少涉及对融合算法或对融合图像进行评价的报道，目前也未发现与本发明主题相同或者相关的文献报道。

发明内容

本发明的目的在于克服现有技术中的不足，提供一种图像融合评价系统的构建方法。本发明分析了图像融合定性评价和定量评价的不同方法，基于这些方法的特点和相互关系，提出了图像的独立单因素指标、联合单因素指标和综合评价指标概念，构建图像融合评价系统的方法，在各类军用或民用的数字图像处理、多源图像融合、遥感信息处理系统、数字城市空间信息系统等领域中均可有广泛的应用。

本发明是通过以下技术方案实现的，本发明将图像融合定性评价和定量评价的不同方法按照对独立单因素指标、联合单因素指标和综合评价指标的定义构建图像融合评价体系，并基于ENVI/IDL平台实现了图像融合评价体系，利用四组不同融合图像来验证利用该评价体系以全面、客观的分析图像融合的性能指标，所述的独立单因素评价指标，是针对单一幅图像定义的评价指标，利用该类指标，通过分别计算各个传感器的图像的指标值和融合图像的指标值，来定量分析融合图像相对于原图像的变化；所述的联合单因素评价指标，是针对多源传感器融合图像而言，通常定义为各个传感器的原始图像与融合结果图像之间的所含信息量大小的评价指标，该类指标的计算通常必须具备原始图像和融合图像，或者理想图像；所述的综合评价指标，是指在智能图像处理系统中，利用非线性方法或者智能计算的方法将独立单因素指标和联合单因素指标综合起来的一种评价方法。

按照独立单因素指标、联合单因素指标和综合评价指标的定义将各项评价指标予以分类；

(1)利用IDL语言编程实现各项评价指标；

(2)按照指标的定义方法及具体含义，构建图像融合评价体系理论框架，基于ENVI/IDL平台进行界面设计，菜单显示界面与图像融合评价体系理论框架相对应；

(3)面向对象的开发，并在分析确定系统输入输出的基础上，采用基于Windows2000/XP操作系统平台的模块化软件设计，支持COM/DCOM分布对象标准，将对应的IDL语言撰写的评价指标程序与界面相链接，形成具有GUI的对话框方式进行人机交互的软件平台；

(4)利用不同源的各类图像进行图像融合试验，采用人机交互的软件平台进行图像融合定量评价；

(5)利用不同源的各类图像进行图像融合试验，采用人机交互的软件平台进行图像融合定量评价；

(6)为了适应图像融合评价体系理论框架随着融合技术的不断发展，进行图像融合评价体系功能模块设计时，考虑在不同分类评价指标体系中预留出相应的可以增加的接口程序，以便评价指标的不断扩充和完善。

为了适应图像融合评价体系理论框架随着融合技术的不断发展，进行图像融合评价体系功能模块设计时，考虑在不同分类评价指标体系中预留出相应的可以增加的接口程序，以便评价指标的不断扩充和完善。

以下对本发明进一步详细说明：

●独立单因素评价指标

针对单一幅图像定义的评价指标，利用该类指标，通过分别计算各个传感器的图像的指标值和融合图像的指标值，来定量分析融合图像相对于原图像的变化。由于此类评价指标的相对独立性，因此适用性最为宽泛，甚至可以适用于对传感器获取图像质量(原始图像)的定量评价，也可以对中间处理过程中的图像或者处理终了的输出图像进行定量评价。该类评价指标是图像评价体系中的基本方法。

这类评价指标通常包括：

(1)基于图像统计特性的评价指标

均值，其是图像像素的灰度平均值，对人眼反映为平均亮度。其公式为：

$\hat{u}=\frac{1}{M\×N}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}F(i,j)---\left(1\right)$

上式中，M、N为图像大小。

标准差，其反映了灰度相对于灰度均值的离散程度。标准差越大，则灰度级分布越分散。其公式为：

$\mathrm{std}=\sqrt{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{(F(i,j)-\hat{u})}^2/M\×N}---\left(2\right)$

一般如果标准差较小时，可以采用取对数的方法将标准差放大。

(2)平均梯度

图像质量的改进可以用平均梯度表示，它反映了图像的清晰程度，同时还反映出图像中微小细节反差和纹理变换特征，其公式为：

$\▿\stackrel{\‾}{G}=\frac{1}{M\×N}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{[\mathrm{\Δxf}{(i,j)}^2+\mathrm{\Δyf}{(i,j)}^2]}^{1/2}---\left(3\right)$

上式中：Δxf(i，j)、Δyf(i，j)分别为像元(i，j)在x/y方向上的一阶差分。

(3)熵

该指标是一种基于信息上的评价指标。熵值的大小表示图像所包含的平均信息量的多少，信息量增加是图像融合最基本的要求，这可以通过融合前后图像信息熵的变化反映出来。对于一幅独立的图像，可以认为其各个元素的灰度值是相互独立的，则图像的灰度分布为：p＝{p₁，p₂，Λ，p_i，Λ，p_n}，p_i为灰度值等于i的像素数与图像总数象素之比，n为灰度级总数。

图像信息熵的表达式为：

$H=-\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{P}_i\log 2P_i---\left(4\right)$

●联合单因素评价指标

针对多源传感器融合图像而言，通常定义为各个传感器的原始图像与融合结果图像之间的所含信息量大小的评价指标。该类指标的计算通常必须具备原始图像和融合图像，或者理想图像。由于该类指标联合考虑了原始图像和融合图像信息量变化，而且也是通过一个定量指标加以反映，因此该类指标仍属于单因素指标，但是此类指标能够更加客观的反映多源传感器融合图像的性能变化。该类评价指标是多源图像融合评价体系中的核心方法。

这类评价指标通常包括：

(1)基于图像统计特性的评价指标

偏差度，Costantin等人用偏差指数(Difference Index)来反映融合后图像与原始图像在光谱信息上的匹配程度。该指标也是一种基于统计特性的评价指标。例如高空可分辨率图像A与低空间分辨率多光谱图像B进行融合生成图像F，偏差指数定义为融合后的图像F与原始图像B的差值的绝对值与原始图像B的图像值的比值：

$D=\frac{1}{M\×N}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\frac{|B(i,j)-F(i,j)|}{F(i,j)}---\left(5\right)$

如果偏差指数D较小，则说明融合后的图像F在提高了空间分辨率地同时，较好地保留了多光谱图像B的光谱信息。

标准偏差(或称均方根误差)RMSE，融合图像和理想图像的标准偏差定义为：

$\mathrm{RMSE}=\sqrt{\frac{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{[I_i(i,j)-I_f(i,j)]}^2}{M\×N}}---\left(6\right)$

上式中，I_i(i，j)为理想图像坐标(i，j)点象素的灰度值；I_f(i，j)为融合图像对应点(i，j)象素的灰度值；图像的大小为M×N。RMSE越小说明融合图像与理想图像越接近。

平均误差Δu，融合图像与理想图像间平均误差定义为：

$\mathrm{\Δu}=\frac{1}{M\×N}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}|I_i(i,j)-I_f(i,j)|---\left(7\right)$

协方差。描述同一目标的低分辨率图像的一个像素涵盖了高分辨率图像的多个像素的信息。如何用低分辨率图像像素信息修正高分辨率图像像素信息，保持其高分辨率，降低其不确定性是不同分辨率图像融合的目的。设高分辨率图像为M×N，每个像素点的灰度值用I_i，j表示，低分辨率图像为M′×N′，每个像素点的灰度值用I_i，j′表示， 表示像素点的均值，协方差Var定义为：

$\mathrm{Var}\left[I_{i,j}\right]=\hat{u}\left[{(I_{i,j}-\hat{u}\left(I_{i,j}\right))}^2\right]/{\hat{u}}^2\left[I_{i,j}\right]---\left(8\right)$

同理，可求出Var[I_i，j′]，协方差表征了图像灰度值变化的剧烈程度，协方差越大图像就越不平滑。低分辨率图像的某一点像素I_i，j′在高分辨率图像中有个m×n个像素点与之对应。协方差效果评价公式为：

$J=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{(R_{i,j}-I_{i,j})}^2---\left(9\right)$

(2)基于光谱信息的评价指标

光谱信息的评价是指基于图像光谱分辨率而言的分析方法。光谱信息评价是对小波分解后的图像在水平、垂直、对角三个方向的空间分辨率的综合评价。其本质是利用融合图像对应的灰度的高频分量与高分辨率图像高频分量之间的相关程度来定义空间分辨率指标。令f_H为高分辨率全色影像。首先将融合的RGB图像按照3个独立波段分别进行小波分解，得到融合图像的四个分量(f^a，f^h，f^v，f^d)，分别表示融合图像的低频分量、水平方向的高频分量、垂直方向的高频分量和对角线方向的高频分量。同样也可以得到高分辨率图像小波分解的四个分量(f_H ^a，f_H ^h，f_H ^v，f_H ^d)。定义空间分辨率评价指标如(10)式所示：

$E_{\mathrm{HF}}=\frac{\mathrm{Corr}(f^h,f_H^h)+\mathrm{Corr}(f^v,f_H^v)+\mathrm{Corr}(f^d,f_H^d)}{3}---\left(10\right)$

(3)基于图像信噪比的评价指标

图像融合后，去噪效果的评价原则为信息量是否提高，噪声是否得到抑制，均匀区域噪声的抑制是否得到加强，边缘信息是否得到保留，图像均值是否提高等。因此可以从下面几个方面评价：

认为融合图像与理想图像的差异就是噪声，理想图像就是信息。信噪比定义为：

$\mathrm{SNR}=101\log \underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\left(F(i,j)\right)}^2/\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{(R(i,j)-F(i,j))}^2---\left(11\right)$

图像峰值信噪比(PSNR)定义为：

$\mathrm{PSNR}=10\lg \left|\frac{G_{\max }^2}{{\mathrm{RMSE}}^2}\right|=20\lg \left|\frac{G_{\max }}{\mathrm{RMSE}}\right|---\left(12\right)$

上式中，G_max为图像中的最大灰度。RMSE为融合图像与理想图像间的标准偏差。从本质上讲，PSNR反应的图像特征与RMSE是一样的。

感觉信噪比(HVSNR)，该评价指标是在对图像进行小波变换的基础上，利用小波变换域的可视性门限模型，给出了能反映人类主管视觉感觉的图像质量评价方法。

定义感觉误差为：

$\mathrm{PE}={|\underset{l=1}{\overset{k}{\mathrm{\Σ}}}\underset{o=\mathrm{LH},\mathrm{HL},\mathrm{HH}}{\mathrm{\Σ}}\underset{m=1}{\overset{N_l}{\mathrm{\Σ}}}\underset{n=1}{\overset{N_l}{\mathrm{\Σ}}}{\left|\frac{E_o^l(m,n)}{\mathrm{\Δ}{C}_o^l(m,n)}\right|}^4+\underset{m=1}{\overset{N_k}{\mathrm{\Σ}}}\underset{n=1}{\overset{N_k}{\mathrm{\Σ}}}{|S_{\mathrm{LL}}^K(m,n)-{\hat{S}}_{\mathrm{LL}}^K(m,n)|}^4|}^{1/4}---\left(13\right)$

其中， $E_o^l(m,n)=C_o^l(m,n)-{\hat{C}}_o^l(m,n),$ C_o ^l(m，n)和

分别是原始图像和融合图像的小波变换域局部对比度；S_LL ^k(m，n)和 分别是原图像和融合图像的K层光滑子带图像；ΔC_o ^l(m，n)为原图像所确定的小波变换域中的可视性门限。感觉信噪比定义为：

HVSNR＝-10·log₁₀MPE                          (14)

其中：

$\mathrm{MPE}=\frac{\mathrm{PE}}{{|\underset{l=1}{\overset{k}{\mathrm{\Σ}}}\underset{o=\mathrm{LH},\mathrm{HL},\mathrm{HH}}{\mathrm{\Σ}}\underset{m=1}{\overset{N_l}{\mathrm{\Σ}}}\underset{n=1}{\overset{N_l}{\mathrm{\Σ}}}{\left|C_o^l(m,n)\right|}^4+\underset{m=1}{\overset{N_k}{\mathrm{\Σ}}}\underset{n=1}{\overset{N_k}{\mathrm{\Σ}}}{\left|S_{\mathrm{LL}}^K(m,n)\right|}^4|}^{1/4}}---\left(15\right)$

感觉信噪比越大，图像感觉质量越好。

(4)基于信息量的评价指标

交叉熵，直接反映了两幅图像对应像素的差异，是对两幅图像所含信息的相对衡量。

$D(p,q)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{p}_i{\log }_2\frac{p_i}{q_i}---\left(16\right)$

互信息S_mi，也称为相关熵，是信息论中的一个重要的基本概念，可作为两个变量之间相关性的度量，或一个变量包含另一个变量的信息量的度量。原始图像A、B和融合后的图像F的互信息为：

$S_{\mathrm{mi}}(i,j,k)=\underset{i=0}{\overset{L-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{L-1}{\mathrm{\Σ}}}\underset{k=0}{\overset{L-1}{\mathrm{\Σ}}}{P}_{\mathrm{abf}}(i,j,k){\log }_2\frac{P_{\mathrm{abf}}(i,j,k)}{P_{\mathrm{ab}}(i,j)P_f\left(k\right)}---\left(17\right)$

类似的，i-P_abf(i，j，k)为图像A、B的归一化联合直方图，i-P_abf(i，j，k)为图像A、B、F的归一化联合灰度直方图。

偏差熵，其反映了两幅图像像素偏差的程度，同时也反映了两幅图像信息量的偏差度。

$\mathrm{DC}(p,q)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{p}_i{\log }_2[1-{(p_i-q_i)}^2]---\left(18\right)$

联合熵，其可作为三幅图像之间相关性的度量，同时也反映了三幅图像之间的联合信息。

$G(R,F_1,F_2)=-\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\log }_2(p_i\·q_i\·r_i)---\left(19\right)$

因此，就融合图像和原始图像而言，其联合熵越大越好。

(5)基于空间频率的评价指标

图像的行频率为：

$\mathrm{RF}=\sqrt{\frac{1}{M\×N}\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}{[F(i,j)-F(i,j-1)]}^2}---\left(20\right)$

图像的列频率为：

$\mathrm{CF}=\sqrt{\frac{1}{M\×N}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}{[F(i,j)-F(i-1,j)]}^2}---\left(21\right)$

其中M、N分别为图像的行列与列数。则图像的空间频率为：

$\mathrm{SF}=\sqrt{{\mathrm{RF}}^2+{\mathrm{CF}}^2}---\left(22\right)$

空间频率反映了一幅图像空间域的总体活跃度。

(6)相关系数

融合图像与理想图像的相关系数定义为：

$\mathrm{Corr}=\frac{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}[I_i(i,j)-{\stackrel{\‾}{I}}_i(i,j)][I_f(i,j)-{\stackrel{\‾}{I}}_f(i,j)]}{\sqrt{|\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{[I_i(i,j)-{\stackrel{\‾}{I}}_i(i,j)]}^2\×\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{[I_f(i,j)-{\stackrel{\‾}{I}}_f(i,j)]}^2|}}---\left(23\right)$

I_f(i，j)为融合图像的平均灰度值， I_f(i，j)为理想图像的平均灰度值。

(7)对比度变化

对比度定义为：

$C=\sqrt{\frac{1}{M\×N}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{[I_i(i,j)-\stackrel{\‾}{I}(i,j)]}^2}---\left(24\right)$

理想图像和融合图像的对比度变化定义为：

ΔC＝C_i-C_f                                     (25)

C_i和C_f分别为理想图像和融合图像的对比度。

如果可以得到理想图像，以上联合单因素评价方法可以采用，利用图像的统计特性、光谱信息、图像信噪比、信息量、空间频率和图像相关系数以及对比度变化等指标进行融合图像分析及效果评价，是一种较客观的评价方法。

实际应用中，一般选择将原始图像作为理想图像，而采用降质图像进行融合，或者对原始图像进行一定的处理，如在多源遥感影像融合的评价时，可以将高分辨率的进行降采样作为理想图像，也可以将配准后将其他传感器获得影像作为理想图像进行融合评价。然而在有些实际应用场合很难得到理想图像。所以在实际应用中，应综合考虑多个参量的评价结果。

●综合评价指标

在智能图像处理系统中，利用非线性方法或者智能计算的方法将独立单因素指标和联合单因素指标综合起来的一种评价方法，其是一种更加重视主观与客观相结合的融合评价方法，是图像评价体系中的发展方法。

(1)基于模糊积分的融合图像评价

该评价方法首先定义了融合图像在保留光谱信息和空间分辨率两个方面的评价指标，同时还包括了标准偏差、熵差等多因素，然后利用模糊积分进行综合评价，该指标可以同时反应融合图像在保留光谱和空间分辨率两个方面的情况，其是带有某种主观因素的评价方法，比较符合人的主观感受。

x为论域，h是从X到[0，1]的可测函数，A∈P(X)，则h关于模糊测度g在集A上的模糊积分S为：

$S={\∫}_{A}h\left(x\right)\mathrm{og}\left(x\right)=\underset{a\∈\left(\mathrm{0,1}\right)}{\sup }\min [a,g(A\∩H_a)]---\left(26\right)$

式中，H_a＝{x|h(x)≥a}；P(X)是X的幂集；g(·)是模糊测度。模糊积分是基于模糊数学理论对融合效果的评价，关键点是在于对模糊测度g(x)的确定和a值的确定。

(2)证据理论综合评价

证据理论要求证据独立，这在实际中很难实现。此时可考虑用D-S理论推广方法，将相关证据转化为相应的独立证据。关键是基础概率的选取。证据理论可处理由不知道所引起的不确定性，它采用信任函数而不是概率作为度量。通过对一些事件的概率加以约束，以建立信任函数而不必说明精确的难以获得的概率，当约束限制为严格的概率时，就进而成为概率论。

(3)粗糙集理论的评价方法

其主要思想是在保持信息系统分类能力不变的前提下，通过知识约减，导出问题的决策或分类规则。在粗糙集理论中，“知识”被认为是一种分类能力，即根据事物的特征差别将其分门别类的能力。粗糙集理论的要点是将知识与分类联系在一起。在粗糙集理论中，对象用属性集合表示，分类用来产生概念，概念构成知识的模块，知识是由对象论域的分类模块组成的，它提供关于现实的明显事实，同时也具有由明显事实的推理能力。粗糙集理论中的不确定性和模糊性是一种基于边界的概念，即一个模糊的概念具有模糊的边界。每一个不确定概念由一对称为上近似和下近似的精确概念来表示。

粗糙集理论的基本框架可归纳为：以不可分辨划分所研究论域的知识，形成知识表达系统，利用上下近似集逼近描述对象，通过知识约简，从而获得最简知识。在粗糙逻辑推理中，不必设计隶属度函数，这样在非确定的随机过程，可供利用的数据不充分、不完全、存在噪声甚至一定程度上需要容错处理的场合，无法或很难建立精确的数学模型方程式描述的那些情况中，就可使用粗糙集方法来克服传统技术在复杂对象系统所遇到的困难。粗糙集推理系统的设计通常包括：集合描述、空间分析、算法构造、过程推理、语义约束五个环节。粗糙集理论由于其在非单调推理方面的突出优点，在智能图像处理信息系统中具有重要的学术价值和实际应用价值。

(4)加权求和法综合评价

加权求和法提供的评价指标的变化是线性的，在粗略评价时不失是一种简单易行的方法。其中关键是各因素权重的确定。

(5)其他标准的评价方法

边缘特征评价方法，边缘是图像的重要特征。融合后边缘的保持情况也是一个重要的指标。用图像的边缘保持效果作为评判指标，在自动目标识别等应用领域也可考虑用虚警率、对目标正确识别率、正确分类概率等作为评判指标。

基于小波能量的评价方法^[10]，对图像进行小波分解后，对小波系数进行处理，然后重构等到融合图像，其效果评价可以采用小波系数平均能量的办法。

$E=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}W{(i,j)}^2/M\×N---\left(27\right)$

上式中，W(i，j)为图像的小波分解高频系数。该指标有时比平均梯度更加能够反映图像的分辨率和清晰度。

基于上述分析，定性评价就是以人作为图像的观察者，对融合图像的优劣做出主观的评价。此类评价的结果与许多因素有关，如观察者的心理状态、观察者的经验和爱好，所选择图像的内容以及观察条件(如光照、对比度、观察距离等)等。而定量评价可以通过对原始图像和融合图像独立评价，或者建立融合图像与理想图像之间的量化评价公式，提高判断的准确性和速度，同时采用多量化判据可以弥补各自方法上的缺陷，得到更正确、客观的结论，其侧重于图像的分辨率、信息量、清晰度以及有关具有一定融合目的的特殊要求指标。随着图像融合理论研究的深入，对考虑融合过程中和融合结果评判上引入人眼的视觉特性越加重视，同时也考虑到各种评价指标的优缺点，因此，在实际应用中，应重视主观与客观相结合的融合评价方法的研究，若能将一些先验知识引入到图像融合处理中，必将改善融合的性能，对融合效果的评价起到积极作用。综合因素评价方法中，例如将模糊理论、粗糙集理论、证据理论等引入到图像融合的评价中，是一个非常有意义的工作和发展方向。

图像融合评价体系的构建时，基于图1所示图像融合评价体系理论框架，按照独立单因素指标、联合单因素指标和综合评价指标概念为主要核心建立的图像融合评价体系。

图像融合评价体系功能模块设计。图像融合定量评价分为{独立单因素评价}、{联合单因素评价}和{综合评价}三个大类设计。其中，{独立单因素评价}包涵了{基于统计特性-均值、标准差}、{基于信息量}和{平均梯度}等评价指标。{联合单因素评价}包涵了{基于统计特性}、{基于光谱信息}、{基于信噪比}和{基于信息量}等评价指标。{综合评价}包涵了{基于模糊积分}、{基于证据理论}、{基于粗糙集理论}、{加权求和法}和其他方法等评价指标。而{图像SNR评估}模块也包涵了{方差法}、{求地学统计量法}、{局部方差法}和{去相关法}等评价指标。基于ENVI/IDL平台的多源图像融合评价体系如图2所示。

具体的构建方法是：在ENVI/IDL平台上，采用面向对象(Object-Oriented)的开发思想，并在分析确定系统输入输出的基础上，采用基于Windows2000/XP操作系统平台的模块化软件设计，支持COM/DCOM分布对象标准，以提高系统的开放性、可伸缩性和通用性，按照图1所示图像融合评价体系理论框架，将对应的评价指标利用IDL语言程序实现，形成具有GUI的对话框方式进行人机交互的软件平台。

设计原则：软件开发遵守软件工程方法参考CMM(能力成熟度模型)规范，实施版本控制，新业务功能的增加不影响原有系统的运行，同时使系统易于维护、升级、扩展及在此基础上的二次开发。

软件体系结构：设计为三层模型：数据库层、应用框架层、功能组件层。数据库层又可分为元数据层与数据实体层；应用框架层主要实现用户与程序的交互界面；功能组件层由符合COM标准的组件和控件组成，实现数据管理、访问、处理及分发。

软件I/O接口：软件以高光谱图像数据作为输入处理对象，用户通过操作软件的应用框架调用功能处理组件模块，实现相应处理输出数据为XML格式的说明文档，及TIFF各式的定量反演结果图像。

软件设计流程：

·配置硬件软件环境；

·定义数据库数据模型、元数据规范及结果数据的文档类型；

·建立标准波谱数据库及元数据库及文档类型说明文件(DTD)；

·数据库层、框架层代码实现；

·功能组件层接口定义；

·功能组件层基本代码实现；

·系统测试(完成软件基本功能演示)；

·功能组件层功能扩展；

·系统测试及用户信息反馈。

本发明是首次提出和构建多源图像融合评价体系，并通过一个信息处理开发平台得以实现。该体系的建立，势必能够更加全面、客观的进行图像融合评价，将评价信息加入到融合规则的选取和参数选取的选择过程中，从而可以更充分地利用信息源提供的信息，实现具有反馈的图像融合过程，丰富和完善图像融合理论框架。

附图说明

图1为本发明构建的图像融合评价体系。

图2为本发明基于ENVI/IDL平台构建的图像融合评价体系。

图3为多光谱与全色遥感图像融合结果。

图4为红外与可见光图像融合结果

图5为多聚焦图像融合结果。

图6为CT和MRI医学图像融合结果。

具体实施方式

为了更好地理解本发明的技术方案，以下结合附图作进一步描述。

(1)构建如图1所示图像融合评价体系理论框架，按照独立单因素指标、联合单因素指标和综合评价指标概念将公式(1)-(27)所表达的各项评价指标予以分类；

(2)利用IDL语言编程实现公式(1)-(27)所表达的各项评价指标；

(3)根据图1所示图像融合评价体系理论框架，基于ENVI/IDL平台进行界面设计，界面效果图如图2所示；

(4)采用面向对象(Object-Oriented)的开发思想，并在分析确定系统输入输出的基础上，采用基于Windows2000/XP操作系统平台的模块化软件设计，支持COM/DCOM分布对象标准，按照图1所示图像融合评价体系理论框架，将对应的IDL语言撰写的评价指标程序与界面相链接，形成具有GUI的对话框方式进行人机交互的软件平台；

(5)利用不同源的各类图像进行图像融合试验，采用人机交互的软件平台进行图像融合定量评价。

(6)为了适应图像融合评价体系理论框架随着融合技术的不断发展，进行图像融合评价体系功能模块设计时，考虑在不同分类评价指标体系中预留出相应的可以增加的接口程序，以便评价指标的不断扩充和完善。

图3为多光谱与全色遥感图像融合结果；图4为红外与可见光图像融合结果；图5为多聚焦图像融合结果；图6为CT和MRI医学图像融合结果。基于本发明，采用如图2所示的图像融合评价体系，在各组中选取具有代表性的相关指标的进行定量评价。计算的定量评价指标如表1所示。

表1多传感器图像融合实验及定量评价结果

原始图像和融合图像		定量评价
																独立单因素				联合单因素							综合评价
		均值	标准差	平均梯度	熵	偏差度	光谱指标	信噪比	联合熵	空间频率	相关系数	对比度	模糊积分	加权求和	小波能量
																图3	(a)	147.3788	81.4156	3.60693	1.80580	0.4814	0.7856	0.8974	3.14646	8.5583	0.7956	0.3565	0.9094	0.9145	0.7962
(b)	163.4227	52.7274	6.70331	1.91484	0.6279	17.7526	0.6698
								(c)	154.9431	69.0816	6.77440	2.00709	/	106.8796	/
图4	(a)	99.5024	27.5356	4.95024	2.01200	0.5584	0.6741										0.5474	3.77298	7.6969	0.4955	0.2141	0.5548				0.5549	0.5389
								(b)	82.7643	38.4221	4.49775	2.12441	0.7412	10.7757	0.7753
	(c)	91.1984	24.0113	5.92311	1.91242	/										9.4808			/
								图5	(a)	99.3661	43.5807	3.30578	2.14311	0.4215	0.5141					0.4874			3.55883	7.5139	0.9460			0.3614	0.5384	0.6263	0.3865
(b)	98.5346	46.3177	4.08062	2.18822	0.3742	14.5735	0.9833
									(c)	98.8403	46.3072	4.69685	2.19998	/		15.4392	/
图6	(a)	10.1275	37.4487	1.24687	0.62037	0.5641	0.8741											0.6912	2.34746		11.3023	0.5990		0.4125	0.7221	0.8679	0.7954
								(b)	55.2423	57.0369	4.02420	1.99731	0.6498	10.7757	0.7968
	(c)	32.4453	38.9247	4.26684	1.86091	/										12.3460	/

由表1可知，独立单因素评价指标具有针对性，可以根据不同应用目的和感兴趣部分的不同加以选用，其是一类最为通用的评价指标。联合单因素指标针对多源传感器融合图像而言，包涵了各个传感器的原始图像与融合结果图像之间的所含信息量大小。因此，此类指标能够更加客观的反映多源传感器融合图像的性能变化，其是评价体系中的核心方法。而综合评价方法更加重视主观与客观相结合，因而更加符合人的主观感受，并用定量的方式加以反映，此类评价方法是图像融合评价系的全新领域和研究热点。

Claims (6)

1、一种图像融合评价系统的构建方法，其特征在于，将图像融合定性评价和定量评价的不同方法按照对独立单因素指标、联合单因素指标和综合评价指标的定义构建图像融合评价体系，并基于ENVI/IDL平台实现了图像融合评价体系，利用四组不同融合图像来验证利用该评价体系以全面、客观的分析图像融合的性能指标，所述的独立单因素评价指标，是针对单一幅图像定义的评价指标，利用该类指标，通过分别计算各个传感器的图像的指标值和融合图像的指标值，来定量分析融合图像相对于原图像的变化；所述的联合单因素评价指标，是针对多源传感器融合图像而言，通常定义为各个传感器的原始图像与融合结果图像之间的所含信息量大小的评价指标，该类指标的计算通常必须具备原始图像和融合图像，或者理想图像；所述的综合评价指标，是指在智能图像处理系统中，利用非线性方法或者智能计算的方法将独立单因素指标和联合单因素指标综合起来的一种评价方法。

2、根据权利要求1所述的图像融合评价系统的构建方法，其特征是，按照独立单因素指标、联合单因素指标和综合评价指标的定义将各项评价指标予以分类；

(1)利用IDL语言编程实现各项评价指标；

(2)按照指标的定义方法及具体含义，构建图像融合评价体系理论框架，基于ENVI/IDL平台进行界面设计，菜单显示界面与图像融合评价体系理论框架相对应；

(3)面向对象的开发，并在分析确定系统输入输出的基础上，采用基于Windows2000/XP操作系统平台的模块化软件设计，支持COM/DCOM分布对象标准，将对应的IDL语言撰写的评价指标程序与界面相链接，形成具有GUI的对话框方式进行人机交互的软件平台；

(4)利用不同源的各类图像进行图像融合试验，采用人机交互的软件平台进行图像融合定量评价；

(5)利用不同源的各类图像进行图像融合试验，采用人机交互的软件平台进行图像融合定量评价；

(6)为了适应图像融合评价体系理论框架随着融合技术的不断发展，进行图像融合评价体系功能模块设计时，考虑在不同分类评价指标体系中预留出相应的可以增加的接口程序，以便评价指标的不断扩充和完善。

3、根据权利要求1所述的图像融合评价系统的构建方法，其特征是，所述的独立单因素评价指标包括：①基于图像统计特性的评价指标；②平均梯度；③熵。

4、根据权利要求1所述的图像融合评价系统的构建方法，其特征是，所述的联合单因素评价指标包括：①基于图像统计特性的评价指标；②基于光谱信息的评价指标；③基于图像信噪比的评价指标；④基于信息量的评价指标；⑤基于空间频率的评价指标；⑥融合图像与理想图像的相关系数定义；⑦对比度变化。

5、根据权利要求1所述的图像融合评价系统的构建方法，其特征是，所述的综合评价指标包括：①基于模糊积分的融合图像评价；②证据理论综合评价；③粗糙集理论的评价方法；④加权求和法综合评价；⑤其他标准的评价方法。

6、根据权利要求5所述的图像融合评价系统的构建方法，其特征是，所述的其他标准的评价方法是边缘特征评价方法，边缘是图像的重要特征，融合后边缘的保持情况也是一个重要的指标，用图像的边缘保持效果作为评判指标，在自动目标识别应用领域用虚警率、对目标正确识别率、正确分类概率作为评判指标。

Images