CN104008543A - 一种图像融合质量评价方法 - Google Patents

Abstract

本发明公开了一种图像融合质量评价方法，所述方法包括以下步骤：首先获取源图像步骤：要求源图像时间上同步、空间上覆盖同一区域；然后进行图像预处理步骤：采用二次多项式配准，最近邻内插法重采样；其次进行图像融合步骤：对源图像采用多尺度分析和成分替换法相结合的融合方法，得到不同融合方法下的融合图像；最后进行融合质量评价步骤：计算出融合图像与源图像间的交叉熵和结构相似度，建立交叉熵和结构相似度加权函数模型，然后计算预设权值下的融合质量评价总值。本发明解决了传统融合质量评价存在的评价指标繁多且相关、主观评判因人而异的问题，该融合质量评价方法简单、具有普适性。

Description

一种图像融合质量评价方法

技术领域

本发明涉及图像融合质量评价领域，尤其涉及一种图像融合质量评价方法。

背景技术

图像融合是利用两幅或多幅源图像产生新图像的工具和手段，它的目的是提升源图像的信息量，图像融合现已广泛应用到医学、军事目标探测、遥感技术等领域。相对于发展迅速的图像融合技术，融合质量评价发展相对滞后，业内还没有关于融合质量评价统一的定论。融合质量评价方法对评判图像融合效果的好坏，以及后续融合图像的应用都至关重要。目前国内外开展图像融合质量评价主要采用客观、主观及主客观相结合的方法，其中客观评价方法是利用基于图像统计特性的评价指标，主观评价是靠主观目视判读，主客观相结合的方法是将客观评价指标与专家判读打分制相结合。

然而以上融合质量评价方法存在如下问题：

1.往往客观统计结果与主观解译判读不一致；

2.主观判读方式因人而异，受解译者专业知识水平影响大；

3.客观评价指标繁多，这些评价指标间存在相关性，联合使用相关性强的指标所评价的结果可靠性弱。

因此，寻求一种客观的、可靠性强的融合质量评价方法对评判融合结果的好坏，以及融合图像的应用都至关重要。

发明内容

本发明所要解决的技术问题是针对背景技术中传统技术的缺陷，提供了一种基于交叉熵和结构相似度加权函数的图像融合质量评价方法。

本发明为解决上述技术问题采用以下技术方案：

一种图像融合质量评价方法，包含以下步骤：

步骤1)，获取时间上同步、空间上覆盖同一区域的两幅源图像A和B；

步骤2)，以源图像B为参考图像、采用二次多项式配准方法对源图像A进行配准，并采用最近邻内插法将两幅源图像A、B重采样到相同坐标系下；

步骤3)，对两幅源图像A、B采用多尺度分析和成分替换相结合的融合方法，得到不同融合方法下的各种融合图像F；

步骤4)，计算出源图像A、B与各种融合图像F的交叉熵；

步骤5)，计算出源图像A、B与各种融合图像F的结构相似度；

步骤6)，建立交叉熵和结构相似度加权函数模型，并计算出预设权值下的融合质量评价总值。

作为本发明一种图像融合质量评价方法进一步的优化方案，步骤2)中所述以源图像B为参考图像、采用二次多项式配准方法对源图像A进行配准的详细步骤如下：

步骤2.1)，采用以下二次多项式为配准模型：

u＝a₀+a₁x+a₂y+a₃x²+a₄xy+a₅y²，v＝b₀+b₁x+b₂y+b₃x²+b₄xy+b₅y²

其中(x,y)为待配准图像A的像元坐标，(u,v)为相对应参考图像B上的像元坐标，a₀…a₅，b₀…b₅为多项式系数，共12个；

步骤2.2)，分别在参考图像B和待配准图像A上各选取至少6个地面控制点，按照最小二乘原理求解多项式的系数a₀…a₅和b₀…b₅。

作为本发明一种图像融合质量评价方法进一步的优化方案，步骤4)中所述计算出源图像A、B与各种融合图像F的交叉熵的详细过程为：

分别计算融合图像F与源图像A、源图像B之间的交叉熵CE(A,F)和CE(B,F)，将其相加得到源图像A、B与各种融合图像F的交叉熵CE(A,B,F)：

$\mathrm{CE}(A,F)=-\underset{i=0}{\overset{L-1}{\mathrm{\Σ}}}{p}_{\mathrm{Ai}}\mathrm{lo}{g}_2\frac{p_{\mathrm{Ai}}}{q_{\mathrm{Fi}}}$

$\mathrm{CE}(B,F)=-\underset{i=0}{\overset{L-1}{\mathrm{\Σ}}}{p}_{\mathrm{Bi}}\mathrm{lo}{g}_2\frac{p_{\mathrm{Bi}}}{q_{\mathrm{Fi}}}$

CE(A,B,F)＝CE(A,F)+CE(B,F)

其中p_Ai、p_Bi、q_Fi分别为源图像A、B和融合后图像F的灰度概率分布，L为整幅图像总的灰度级。

作为本发明一种图像融合质量评价方法进一步的优化方案，步骤5)中所述计算出源图像A、B与各种融合图像F的结构相似度的具体过程为：

分别计算融合图像F与源图像A、源图像B之间的结构相似度SSIM(F,A)和SSIM(F,B)，将其相加得到源图像A、B与各种融合图像F的结构相似度SSIM(A,B,F)：

$\mathrm{SSIM}(F,A)=\left[l\right(F,A){]}^{\mathrm{\α}}{\left[c\right(F,A\left)\right]}^{\mathrm{\β}}{\left[s\right(F,A\left)\right]}^{\mathrm{\γ}}=\frac{2\stackrel{\‾}{F}\·\stackrel{\‾}{A}+C_1}{{\left(\stackrel{\‾}{F}\right)}^2+{\left(\stackrel{\‾}{A}\right)}^2+C_1}\·\frac{2{\mathrm{\σ}}_F{\mathrm{\σ}}_A+C_2}{{\mathrm{\σ}}_F^2+{\mathrm{\σ}}_A^2+C_2}\·\frac{{\mathrm{\σ}}_{\mathrm{FA}}+C_3}{{\mathrm{\σ}}_F{\mathrm{\σ}}_A+C_3}$

$\mathrm{SSIM}(F,B)=\left[l\right(F,B){]}^{\mathrm{\α}}{\left[c\right(F,B\left)\right]}^{\mathrm{\β}}{\left[s\right(F,B\left)\right]}^{\mathrm{\γ}}=\frac{2\stackrel{\‾}{F}\·\stackrel{\‾}{B}+C_1}{{\left(\stackrel{\‾}{F}\right)}^2+{\left(\stackrel{\‾}{B}\right)}^2+C_1}\·\frac{2{\mathrm{\σ}}_F{\mathrm{\σ}}_B+C_2}{{\mathrm{\σ}}_F^2+{\mathrm{\σ}}_B^2+C_2}\·\frac{{\mathrm{\σ}}_{\mathrm{FB}}+C_3}{{\mathrm{\σ}}_F{\mathrm{\σ}}_B+C_3}$

SSIM(A,B,F)＝SSIM(A,F)+SSIM(B,F)

其中，l(F,A)和l(F,B)、c(F,A)和c(F,B)、s(F,A)和s(F,B)分别为融合图像F与源图像A、B的亮度分量、对比度分量、结构分量，α、β、γ分别为其权值； 分别为融合图像F、源图像A、源图像B的均值， 分别为融合图像F、源图像A、源图像B的方差，σ_FA、σ_FB分别为融合图像F与源图像A之间，融合图像F与源图像B之间的协方差，C₁＝(K₁L)²、C₂＝(K₂L)²、C₃＝C₂/2，这里K₁、K₂均为常数，L为整幅图像总的灰度级。

作为本发明一种图像融合质量评价方法进一步的优化方案，步骤6)中采用以下公式建立交叉熵和结构相似度加权函数模型：

Q(A,B,F)＝(1-p_i)SSIM(A,B,F)-p_iCE(A,B,F)

其中Q(A,B,F)为融合质量评价总值，p_i为交叉熵CE(A,B,F)的权重,SSIM(A,B,F)权重为(1-p_i)。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

在无标准参考图像的前提下，采用了无需标准参考图像的图像质量评价指标：交叉熵和结构相似度。其中，交叉熵从信息量获取能力的角度评价融合后图像从源图像获取信息量的多少；利用结构相似度是基于人眼视觉系统的，对规则化结构和边缘信息敏感的优势，提出基于交叉熵和结构相似度加权函数的图像融合质量评价方法，该方法具有客观性、普适性，无需人工主观解译判读，避免了解译者专业知识水平不同导致评价结果不同的后果。

附图说明

图1是本发明一种图像融合质量评价方法的流程图；

图2是本发明中不同融合方法下交叉熵和结构相似度的示意图；

图3是本发明中不同融合方法、预设权值下的融合质量综合评价示意图。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

如图1所示，本发明公开了一种图像融合质量评价方法，包含以下步骤：

步骤一：获取源图像：获取时间上同步，空间上覆盖同一区域的两幅源图像A和B，实施例一数据源是资源三号卫星多光谱与全色图像，需要说明的是：本发明不仅仅适用于多光谱与全色图像，亦适用于不同传感器、不同空间分辨率的光学与SAR影像。

步骤二：图像预处理：采用二次多项式配准方法对两幅源图像A、B进行配准，采用最近邻内插法将两幅图像A、B重采样到相同坐标系下；

两幅源图像A、B之间配准采用的二次多项式模型是：

u＝a₀+a₁x+a₂y+a₃x²+a₄xy+a₅y²，v＝b₀+b₁x+b₂y+b₃x²+b₄xy+b₅y²

其中(x,y)为待配准图像A的像元坐标，(u,v)为相对应参考图像B上的像元坐标，a₀…a₅，b₀…b₅为多项式系数，该公式共有12个未知参数，通过在参考图像B和待配准图像A上选取一定数量的地面控制点，按照最小二乘原理即可求解多项式的系数a₀…a₅和b₀…b₅，建立待配准图像A的像元坐标与参考图像B像元坐标之间的一一对应关系，理论上需要6对控制点即可求解出二次多项式的系数，但为了得到较高的配准精度，一般要求二次多项式纠正的控制点至少7对，适当增加控制点个数，可以明显提高图像配准的精度。

步骤三、图像融合：对两幅源图像A、B采用多尺度分析和成分替换法相结合的融合方法，得到不同融合方法下的融合图像F。

目前融合方法分为三大类：成分替换法、多尺度分析、多尺度分析与成分替换法相结合的方法，成分替换法不涉及任何空间滤波步骤，它们利用波谱变换获得源图像新的投影空间，然后经过逆变换得到融合后图像，典型的成分替换法有HIS(Hue-Intensity-Saturation，色度亮度饱和度)、PCA(Principal Component Analysis，主成分分析)；多尺度分析法利用空间滤波提取源高空间分辨率图像中的高频信息，并将高频信息注入到源低空间分辨率图像中，适当时根据子带间和子带内的相关系数、均值和方差等统计值建立高频信息注入量加权函数模型，这类融合方法主要有：小波变换、拉普拉斯金字塔、curvelets变换等；多尺度分析与成分替换相结合方法则利用二者各自的优势，实现多源遥感影像融合过程。

本发明分别从三大类融合方法中抽选出8种方法，采用HIS变换、PCA、DWT(DiscreteWavelet Transformation，离散小波变换)、AWT(àtrous Wavelet Transformation，àtrous小波变换)、结合AWT、NSCT(NonsubSampled Contourlet Transform，非下采样Contourlet变换)与HIS、PCA的融合方法，分别用符号AWT_HIS、AWT_PCA、NSCT_HIS、NSCT_PCA表示，

步骤四：融合质量评价阶段，这是本发明侧重点。

在图像融合领域，信息熵(Entropy)也叫香农熵(Shannon Entropy)，可简称为熵，是反映图像信息量的一个重要参量，而图像信息量的多少对评价融合结果的好坏至关重要，所以信息熵是融合质量评价必选参量。熵的公式可表示为：

$\mathrm{Entropy}=-\underset{i=0}{\overset{L-1}{\mathrm{\Σ}}}{P}_i\mathrm{lo}{g}_2{p}_i$

其中，Entropy为熵值，i为像元灰度级，L为整幅图像总的灰度级，P_i为灰度级为i在整幅图像上的灰度概率分布。为了得到融合前后信息量对比值，引入了交叉熵的概念。

为了得到融合前后信息量对比值，采用了交叉熵(Cross Entropy,CE)，交叉熵可表示为：

$\mathrm{CE}=-\underset{i=0}{\overset{L-1}{\mathrm{\Σ}}}{p}_i{\log }_2\frac{p_i}{q_i}$

其中，源图像和融合图像的灰度概率分布分别为p＝(p₀,p₁,…,p_i,…,p_L-1)和q＝(q₀,q₁,…,q_i,…,q_L-1)。交叉熵越小，表示融合图像从源图像提取的信息量越多，融合质量越好。

分别计算融合图像F与源图像A、源图像B之间的交叉熵CE(A,F)和CE(B,F)，二者之和为CE(A,B,F)：

$\mathrm{CE}(A,B,F)=\mathrm{CE}(A,F)+\mathrm{CE}(B,F)=(-\underset{i=0}{\overset{L-1}{\mathrm{\Σ}}}{p}_{\mathrm{Ai}}\mathrm{lo}{g}_2\frac{p_{\mathrm{Ai}}}{q_{\mathrm{Fi}}})+(-\underset{i=0}{\overset{L-1}{\mathrm{\Σ}}}{p}_{\mathrm{Bi}}\mathrm{lo}{g}_2\frac{p_{\mathrm{Bi}}}{q_{\mathrm{Fi}}}))$

其中p_Ai、p_Bi、q_Fi分别为源图像A、B和融合后图像F的灰度概率分布，L为整幅图像总的灰度级。

结构相似度(Structure SIMilarity,SSIM)是由Wang于2002年提出的，结构相似度是基于人眼视觉系统，对边缘及条状结构比较敏感。SSIM反映融合图像与源图像之间的相似程度，包含亮度、对比度和结构3个分量。总的结构相似度SSIM(A,B,F)表示为源图像A与融合图像F的结构相似度SSIM(A,F)与源图像B与融合后图像F的结构相似度SSIM(B,F)之和。公式表达为式:

$\mathrm{SSIM}(F,A)=\left[l\right(F,A){]}^{\mathrm{\α}}{\left[c\right(F,A\left)\right]}^{\mathrm{\β}}{\left[s\right(F,A\left)\right]}^{\mathrm{\γ}}=\frac{2\stackrel{\‾}{F}\·\stackrel{\‾}{A}+C_1}{{\left(\stackrel{\‾}{F}\right)}^2+{\left(\stackrel{\‾}{A}\right)}^2+C_1}\·\frac{2{\mathrm{\σ}}_F{\mathrm{\σ}}_A+C_2}{{\mathrm{\σ}}_F^2+{\mathrm{\σ}}_A^2+C_2}\·\frac{{\mathrm{\σ}}_{\mathrm{FA}}+C_3}{{\mathrm{\σ}}_F{\mathrm{\σ}}_A+C_3}$

$\mathrm{SSIM}(F,B)=\left[l\right(F,B){]}^{\mathrm{\α}}{\left[c\right(F,B\left)\right]}^{\mathrm{\β}}{\left[s\right(F,B\left)\right]}^{\mathrm{\γ}}=\frac{2\stackrel{\‾}{F}\·\stackrel{\‾}{B}+C_1}{{\left(\stackrel{\‾}{F}\right)}^2+{\left(\stackrel{\‾}{B}\right)}^2+C_1}\·\frac{2{\mathrm{\σ}}_F{\mathrm{\σ}}_B+C_2}{{\mathrm{\σ}}_F^2+{\mathrm{\σ}}_B^2+C_2}\·\frac{{\mathrm{\σ}}_{\mathrm{FB}}+C_3}{{\mathrm{\σ}}_F{\mathrm{\σ}}_B+C_3}$

SSIM(A,B,F)＝SSIM(A,F)+SSIM(B,F)

其中，l(F,A)和l(F,B)、c(F,A)和c(F,B)、s(F,A)和s(F,B)分别为融合图像F与源图像A、B的亮度分量、对比度分量、结构分量，α、β、γ分别为其权值，通常取α＝β＝γ＝1； 分别为融合图像F、源图像A、源图像B的均值， 分别为融合图像F、源图像A、源图像B的方差，σ_FA、σ_FB分别为融合图像F与源图像A之间、融合图像F与源图像B的协方差，C₁＝(K₁L)²、C₂＝(K₂L)²、C₃＝C₂/2，K₁、K₂均为常数，L为整幅图像总的灰度级，这里取K₁＝0.01、K₂＝0.03。

表1为采用上述8种不同融合方法得到的融合图像与源图像间的交叉熵和结构相似度值；为了直观显示，图2为8种不同融合方法下融合图像与源图像间的交叉熵和结构相似度示意图。

表1不同融合方法融合图像与源图像间的交叉熵和结构相似度值

由于交叉熵和结构相似度对评价融合图像质量都至关重要，于是利用交叉熵和结构相似度，建立交叉熵和结构相似度的加权函数方程，即Q(A,B,F)＝(1-p_i)SSIM(A,B,F)-p_iCE(A,B,F)，其中Q(A,B,F)为融合质量评价总值，p_i为交叉熵CE(A,B,F)的权重，结构相似度SSIM(A,B,F)权值为(1-p_i)，交叉熵和结构相似度权重之和为1。分别取p_i＝0,0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,1，得到11种权值下融合质量评价总值Q(A,B,F)。表2为8种融合方法，11种权值下的融合质量评价总值。图3为当p_i＝0.5时不同融合方法的融合质量总评价示意图。

表2不同融合方法、不同权值下融合质量评价总值

由表2和图3发现：本发明提出的在不同权值下，基于交叉熵和结构相似度加权函数的图像融合质量评价方法评价结果的一致性。采用非下采样Contourlet结合HIS(NSCT_HIS)的融合方法得到的融合图像质量最优，这与学者研究结论是一致的。本发明提出的融合质量评价方法具有稳定性、普适性。

Claims (5)

1.一种图像融合质量评价方法，其特征在于包含以下步骤：

步骤1)，获取时间上同步、空间上覆盖同一区域的两幅源图像A和B；

步骤2)，以源图像B为参考图像、采用二次多项式配准方法对源图像A进行配准，并采用最近邻内插法将两幅源图像A、B重采样到相同坐标系下；

步骤3)，对两幅源图像A、B采用多尺度分析和成分替换相结合的融合方法，得到不同融合方法下的各种融合图像F；

步骤4)，计算出源图像A、B与各种融合图像F的交叉熵；

步骤5)，计算出源图像A、B与各种融合图像F的结构相似度；

步骤6)，建立交叉熵和结构相似度加权函数模型，并计算出预设权值下的融合质量评价总值。

2.根据权利要求1所述的图像融合质量评价方法，其特征在于，步骤2)中所述以源图像B为参考图像、采用二次多项式配准方法对源图像A进行配准的详细步骤如下：

步骤2.1)，采用以下二次多项式为配准模型：

u＝a₀+a₁x+a₂y+a₃x²+a₄xy+a₅y²，v＝b₀+b₁x+b₂y+b₃x²+b₄xy+b₅y²

其中(x,y)为待配准图像A的像元坐标，(u,v)为相对应参考图像B上的像元坐标，a₀…a₅，b₀…b₅为多项式系数，共12个；

步骤2.2)，分别在参考图像B和待配准图像A上各选取至少6个地面控制点，按照最小二乘原理求解多项式的系数a₀…a₅和b₀…b₅。

3.根据权利要求1所述的图像融合质量评价方法，其特征在于，步骤4)中所述计算出源图像A、B与各种融合图像F的交叉熵的详细过程为：

分别计算融合图像F与源图像A、源图像B之间的交叉熵CE(A,F)和CE(B,F)，将其相加得到源图像A、B与各种融合图像F的交叉熵CE(A,B,F)：

$\mathrm{CE}(A,F)=-\underset{i=0}{\overset{L-1}{\mathrm{\Σ}}}{p}_{\mathrm{Ai}}\mathrm{lo}{g}_2\frac{p_{\mathrm{Ai}}}{q_{\mathrm{Fi}}}$

$\mathrm{CE}(B,F)=-\underset{i=0}{\overset{L-1}{\mathrm{\Σ}}}{p}_{\mathrm{Bi}}\mathrm{lo}{g}_2\frac{p_{\mathrm{Bi}}}{q_{\mathrm{Fi}}}$

CE(A,B,F)＝CE(A,F)+CE(B,F)

其中p_Ai、p_Bi、q_Fi分别为源图像A、B和融合后图像F的灰度概率分布，L为整幅图像总的灰度级。

4.根据权利要求1所述的图像融合质量评价方法，其特征在于，步骤5)中所述计算出源图像A、B与各种融合图像F的结构相似度的具体过程为：

分别计算融合图像F与源图像A、源图像B之间的结构相似度SSIM(F,A)和SSIM(F,B)，将其相加得到源图像A、B与各种融合图像F的结构相似度SSIM(A,B,F)：

$\mathrm{SSIM}(F,A)=\left[l\right(F,A){]}^{\mathrm{\α}}{\left[c\right(F,A\left)\right]}^{\mathrm{\β}}{\left[s\right(F,A\left)\right]}^{\mathrm{\γ}}=\frac{2\stackrel{\‾}{F}\·\stackrel{\‾}{A}+C_1}{{\left(\stackrel{\‾}{F}\right)}^2+{\left(\stackrel{\‾}{A}\right)}^2+C_1}\·\frac{2{\mathrm{\σ}}_F{\mathrm{\σ}}_A+C_2}{{\mathrm{\σ}}_F^2+{\mathrm{\σ}}_A^2{C}_2}\·\frac{{\mathrm{\σ}}_{\mathrm{FA}}+C_3}{{\mathrm{\σ}}_F{\mathrm{\σ}}_A+C_3}$

$\mathrm{SSIM}(F,B)=\left[l\right(F,B){]}^{\mathrm{\α}}{\left[c\right(F,B\left)\right]}^{\mathrm{\β}}{\left[s\right(F,B\left)\right]}^{\mathrm{\γ}}=\frac{2\stackrel{\‾}{F}\·\stackrel{\‾}{B}+C_1}{{\left(\stackrel{\‾}{F}\right)}^2+{\left(\stackrel{\‾}{B}\right)}^2+C_1}\·\frac{2{\mathrm{\σ}}_F{\mathrm{\σ}}_B+C_2}{{\mathrm{\σ}}_F^2+{\mathrm{\σ}}_B^2+C_2}\·\frac{{\mathrm{\σ}}_{\mathrm{FB}}+C_3}{{\mathrm{\σ}}_F{\mathrm{\σ}}_B+C_3}$

SSIM(A,B,F)＝SSIM(A,F)+SSIM(B,F)

其中，l(F,A)和l(F,B)、c(F,A)和c(F,B)、s(F,A)和s(F,B)分别为融合图像F与源图像A、B的亮度分量、对比度分量、结构分量，α、β、γ分别为其权值； 分别为融合图像F、源图像A、源图像B的均值， 分别为融合图像F、源图像A、源图像B的方差，σ_FA、σ_FB分别为融合图像F与源图像A之间，融合图像F与源图像B之间的协方差，C₁＝(K₁L)²、C₂＝(K₂L)²、C₃＝C₂/2，这里K₁、K₂均为常数，L为整幅图像总的灰度级。

5.根据权利要求1所述的图像融合质量评价方法，其特征在于，步骤6)中采用以下公式建立交叉熵和结构相似度加权函数模型：

Q(A,B,F)＝(1-p_i)SSIM(A,B,F)-p_iCE(A,B,F)

其中Q(A,B,F)为融合质量评价总值，p_i为交叉熵CE(A,B,F)的权重。