CN103475898B - 一种基于信息熵特征的无参考图像质量评价方法 - Google Patents

Abstract

本发明涉及一种图像质量评价方法，特别涉及一种基于信息熵特征的无参考图像质量评价方法，属于图像分析领域。本方法首先对失真图像进行Contourlet变换，得到N×M个变换子带，再将每个变换子带和未变换的原始失真图像进行分块处理，然后在每个分块系数矩阵上计算空域信息熵和频域信息熵，筛选分块特征并计算均值得到每个变换子带的质量特征值。然后利用支持向量机的方法和无参考图像质量评价的两步框架，在测试集上进行测试，利用训练得到的分类模型、评价模型和测试集对应的质量特征向量，进行质量预测和评估。本方法具有主观一致性高，时间复杂度小、通用性好的特点；可以嵌入到与图像质量相关的应用系统中，具有很强的应用价值。

Description

一种基于信息熵特征的无参考图像质量评价方法

技术领域

本发明涉及一种图像质量评价方法，特别涉及一种基于信息熵特征的无参考图像质量评价方法，属于图像分析领域。

背景技术

图像信息有着其他形式的信息所无法比拟的显著优点，人们能够直观、准确、高效地利用图像信息对客观世界进行感知理解，并对其进行合理有效地处理。在图像的获取、处理、传输和记录的过程中，由于各方面的硬件软件限制，会不可避免地产生图像失真，这会给人们准确地感知图像信息带来很多负面影响。例如，在图像识别系统中，图像采集过程中产生的失真将直接影响到识别准确性；远程会议系统容易受到网络传输失真的影响；在军事应用方面，航拍设备所采集到的图像及视频质量还将直接影响到战场监视和打击评估的效果。可见，图像质量评价在多个领域具有极为重要的实用价值。

在众多的图像质量评价方法中，最可靠的质量度量方法当属主观图像质量评价方法。该方法同时也存在许多导致其无法进行实际应用的缺点，如无法使用数学模型描述从而嵌入到系统当中进行应用，评价结果容易受到受测人主观认识差异的影响，代价过高等等。与其相对的客观图像质量评价往往是人们的研究热点，在这其中全参考和部分参考评价方法由于必须借助全部或部分原始图像信息作为参考，而在现实中原始参考信息往往是难以得到的，这使得它们的应用范围受到了较大的限制。无参考图像质量评价由于不需要任何原始参考信息，符合绝大多数场合下的现实要求，具有最广的应用范围和最大的应用价值。

客观图像质量评价的基本目标是能够得到与人眼主观感受相一致的质量评价结果，最终目标是利用计算机代替人眼去感知图像和视频。当前，图像质量评价在人们日常生活中主要有以下应用：

（1）嵌入到应用系统中实时调整图像的质量；

（2）在图像处理系统中为程序的参数优化的提供根据；

（3）衡量图像处理方法好坏的一个度量。

综上所述，开展对于客观无参考图像质量评价的研究具有广泛的理论意义和重要的应用价值。本发明提出了一种信息熵特征的无参考图像质量评价方法，其参考的已有技术为Moorthy等人在文献《Atwo-step framework for constructingblind image quality indices》中提出的无参考图像质量评价的两步框架，涉及的基础背景技术主要为Contouelet变换和图像信息熵。

（一）无参考图像质量评价的两步框架

Moorthy等人提出无参考图像质量评价的两步框架，即对失真图像依次进行失真识别和基于特定失真类型的质量评价。

给定具有已知失真类型的一个图像训练集合，我们的算法需要被校准能够囊括n种失真类型，为此，我们需要利用正确的分类和特征向量作为输入来训练一个分类器。分类器学习从特征空间到失真类标的映射，一旦实现了这种校准，训练得到的分类器就可以对给定的输入图像（即，输入图像的特征向量）进行失真分类评估了。

在我们的方法中，分类器并不产生一个硬分类。相反，我们从分类其中提取的是概率估计，这个估计表明了分类器把输入放入每一种失真类型中的信心。这样对于输入图像的特征向量，训练得到的分类器会产生一个n维向量p，p代表输入图像包含n种失真的可能性。

简单的，给定一个图像训练集合，集合中的每幅图像都有对应n种失真类型的质量分数，我们训练的n个回归模型来把特征向量映射到相应的质量分数上。由于每个模型都是用特定失真训练得到的，这些回归模型一旦训练完成，基于特定失真的质量评价器（即训练模型）就会假设图片是被特定失真损坏的，从而产生一个质量估计。

待评价的输入图像，使用所有训练得到的基于特定失真的质量评价模型进行评价，这样我们就可以由n个回归模型得到的n维向量q。

根据得到的两个向量p和q，每一个基于特定失真质量的分数都用图像中失真出现的概率加权，可以得到客观预测分数

$Q=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{p}_i{q}_i---\left(1\right)$

其中，p_i表示向量p的第i维分量，q_i表示向量q的第i维分量，n表示失真的种类数目。

（二）Contouelet变换

Do和Vetterli提出的Contourlet变换具有局部、方向和多分辨率的特性，是一种能够对图像进行稀疏表示的图像变换工具，能够最优的表示图像，与人眼感知图像的方式相一致。

Contourlet变换的基函数具有“长条形”的支撑区间，能够更好地捕获失真在不同方向的不同影响，即捕获失真的各向异性。Contourlet变换通过拉普拉斯金字塔实现对图像的多尺度分析，通过方向滤波器组滤波实现对图像的多方向分析，而我们的方法之所以结合Contourlet变换，就是利用其多尺度特性和多方向特性。

（三）信息熵特征

信息熵反映了图像的整体的统计，是信息量的度量。信息熵与图像的统计直方图、图像矩之间存在着十分密切的关系。

图像的全局信息熵同图像的全局直方图类似，仅仅反映了整幅图像的全局统计特征，忽略了图像的空间分布特征。因而，具有相同全局信息熵的两幅图像在视觉感受上可能是完全不同的，所以图像的全局信息熵特征无法反映出两幅图像间的视觉感受差异。如果只在图像的某一局部上定义信息熵熵，则称其为局部信息熵。相对于图像的全局信息熵，图像的局部信息熵反映了图像局部灰度分布的统计特性。由熵的定义可知，图像的局部熵反映了该局部所含有信息量的大小，因此局部熵可以用来描述图像的局部性质。如果该局部存在边缘的话，则该局部灰度值会急剧变化，这时计算出的熵大；反之，计算出的熵值会小，所以局部熵可以方便的检测边缘。这与人眼的边缘敏感性是非常符合的。

现有的无参考图像质量评价技术的性能普遍较低，主观一致性不高，而且时间复杂度和空间复杂度较大，很难应用到实际系统中。

发明内容

本发明的目的是为了解决无参考图像质量评价技术的性能低，主观一致性差，而且时间复杂度和空间复杂度大的问题，提供一种基于信息熵特征的无参考自然图像质量评价方法。

本发明方法是通过下述技术方案实现的。

一种基于信息熵特征的无参考图像质量评价方法，其具体实施步骤如下：

步骤一、为了对失真图像进行多尺度和多方向分析，首先对失真图像进行Contourlet变换，得到N×M个变换子带，每个变换子带对应一个系数矩阵。

步骤二、将步骤一得到的每个变换子带和未变换的原始失真图像进行分块处理，得到每个分块对应的分块系数矩阵，然后在每个分块系数矩阵上计算空域信息熵和频域信息熵，筛选分块特征并计算均值得到每个变换子带的质量特征值。具体计算方法如下：

步骤2.1，计算各个变换子带的空域信息熵特征值。

为了计算系数矩阵的空域信息熵特征值，把步骤一中得到的N×M个变换子带的系数值均缩放到[0，255]区间。

对于其中尺度为i，方向为j的变换子带，分别计算其各个分块系数矩阵的空域信息熵E_s：

$E_s=-\underset{n}{\mathrm{\Σ}}p\left(n\right){\log }_2\left(n\right)---\left(2\right)$

其中，n表示分块系数矩阵的系数值，p(n)表示分块系数矩阵中系数值为n的经验概率。计算所有分块系数矩阵的空域信息熵，并按从小到大的顺序提取部分空域信息熵，求取其平均值，将该平均值作为该变换子带的空域信息熵特征值

按照同样的方法，提取每个变换子带的特征值，然后组成N×M维空域信息熵特征值：

$f_s=\left(f_{i,j}^s\right|i=\mathrm{1,2},...,N;j=\mathrm{1,2},...,M)---\left(3\right)$

其中，表示尺度为i，方向为j的变换子带上的空域信息熵特征值。

步骤2.2，计算各个变换子带的频域信息熵特征。

对于其中尺度为i，方向为j的变换子带，采用块大小为P*P的分块DCT变换对其进行空频变换，得到各个分块系数矩阵对应的DCT系数矩阵C_P*P。对于每个DCT系数矩阵，忽略其直流系数（DC），使用非直流（non-DC）系数作为对应率段出现的概率P(a,b)，即

P(a,b)＝C(a,b)                   (4)

其中，a，b指示DCT系数的位置，代表着不同的频率区域。

然后，对P(a,b)进行规范化操作：

$\tilde{P}(a,b)=\frac{P{(a,b)}^2}{\underset{a}{\mathrm{\Σ}}\underset{b}{\mathrm{\Σ}}P{(a,b)}^2}---\left(5\right)$

其中,1≤a≤P，1≤b≤P且a，b不同时为1。

定义DCT系数矩阵的频域信息熵特征E_f为：

$E_f=-\underset{a}{\mathrm{\Σ}}\underset{b}{\mathrm{\Σ}}\tilde{P}(a,b){\log }_2\tilde{P}(a,b)---\left(6\right)$

在所有DCT系数矩阵上计算频域信息熵，并按从大到小的顺序提取部分频域信息熵求取其平均值，将该平均值作为该变换子带的频域信息熵特征值

按照同样的方法，提取每个变换子带的特征值，然后组成N×M维空域信息熵特征值：

$f_f=\left(f_{i,j}^f\right|i=\mathrm{1,2},...,N;j=\mathrm{1,2},...,M)---\left(7\right)$

其中，表示尺度为i，方向为j的变换子带上的频域信息熵特征值。

步骤2.3，计算原始图像的信息熵特征。

在未经过Contourlet变换处理的原始失真图像的系数矩阵上提取空域信息熵特征f_os和频域信息熵特征f_of。

步骤2.4，将步骤2.1至步骤2.3得到的特征值组成（2×N×M+2）维质量特征向量F:

F＝(f_s，f_f，f_os，f_of)             (8)

步骤三、采用步骤一和步骤二的方法对训练集和测试集中的每一幅图像进行处理，计算得到每一幅图像的质量特征向量。然后利用支持向量机（SVM）的方法，利用训练集上提取得到的质量特征向量进行训练，得到失真分类模型和质量评价模型，然后基于无参考图像质量评价的两步框架，在测试集上进行测试，利用训练得到的分类模型、评价模型和测试集对应的质量特征向量，进行质量预测，得到各个质量特征向量对应的质量分数。进而利用现有的算法性能指标对算法的优劣进行评估。

有益效果

本发明提出的基于信息熵特征的无参考图像质量评价方法，与已有技术相比具有主观一致性高，时间复杂度小、通用性好的特点；可以嵌入到与图像质量相关的应用系统中，具有很强的应用价值。

附图说明

图1是本发明的基于信息熵特征的无参考图像质量评价方法的流程图；

图2是本发明具体实施例1中本发明方法与另外几种的全参考、无参考算法进行主观一致性比较的盒形图。

具体实施方式

下面结合附图和具体实施例对本发明方法的实施方式做详细说明。

实施例1：

本方法的流程如图1所示，具体实施过程为：

步骤一、为了对失真图像进行多尺度和多方向分析，首先对失真图像进行2个尺度、8个子方面的Contourlet变换，得到2×8个变换子带，每个变换子带对应一个系数矩阵。

步骤二、将步骤一得到的16个变换子带和未变换的原始失真图像进行分块处理，得到每个分块对应的分块系数矩阵，然后在每个分块系数矩阵上基于分块系数矩阵计算空域信息熵和频域信息熵，筛选分块特征并计算均值得到每个变换子带的质量特征值。

步骤三、采用步骤一和步骤二的方法对训练集和测试集中的每一幅图像进行处理，计算得到每一幅图像的质量特征向量。然后利用支持向量机（SVM）的方法，利用训练集上提取得到的质量特征向量进行训练，得到失真分类模型和质量评价模型，然后基于无参考图像质量评价的两步框架，在测试集上进行测试，利用训练得到的分类模型、评价模型和测试集对应的质量特征向量，进行质量预测，得到各个质量特征向量对应的质量分数。进而利用现有的算法性能指标（SROCC）对算法的优劣进行评估。

我们在著名的LIVE图像质量评价数据库上实施了我们的算法。作为对照我们还用相同的方法测试了几个已有的全参考、无参考方法的性能。由于我们的算法需要一个训练集来校准提取的统计特征与失真类别和DMOS之间的关系，我们将LIVE数据库分割成了两个不重叠的子集：一个训练集和一个测试集。训练集包括80%的参考图像以及对应的失真副本，而测试集包括剩余20%的参考图像以及对应的失真副本。分类和回归模型都是在训练集上训练得到的，而结果之后会在测试集上测试。为了确保提出的方法相对于内容具有鲁棒性而且不被特殊的训练-测试分割影响。我们在LIVE数据库上重复了1000次这样的随机80%训练-20%测试分割，并且评估了算法在每一个测试集上的性能。这里提到的性能指标采用的是1000次训练-测试迭代的斯皮尔曼相关系数（SROCC）的中值（见表2）。SROCC的值更接近于1表示算法与人类感知有更好的相关性。为了更加直观的显示各种算法的优劣关系，我们还绘制了各种算法的SROCC值的箱形图（见图2）。

我们可以看出本发明中我们提出的方法对于各类失真图像都表现出了很好的主观一致性，通用性良好；并且与现有的无参考方法相比较，在性能上具有很大优势。从总体的表现来看本发明中提出的方法的主观一致性要优于经典的全参考方法峰值信噪比（PSNR）和结构相似度算法（SSIM），同时要优于无参考的BIQI，DIIVINE，BLIINDS-II和BRISQUE，仅劣于被称之为最好的全参考图像质量评价方法VIF。

表2LIVE库中各算法主观一致性指标（SROCC）比较

	JP2K	JPEG	NOISE	BLUR	FF	ALL
							PSNR	0.8990	0.8484	0.9835	0.8076	0.8986	0.8293
SSIM	0.9510	0.9173	0.9697	0.9513	0.9555	0.8996
							VIF	0.9515	0.9104	0.9844	0.9722	0.9631	0.9521
BIQI	0.8551	0.7767	0.9764	0.9258	0.7695	0.7599
							DIIVINE	0.9352	0.8921	0.9828	0.9551	0.9096	0.9174
BLIINDS-II	0.9462	0.9350	0.9634	0.9336	0.8992	0.9331
							BRISQUE	0.9442	0.9213	0.9891	0.9534	0.9042	0.9429
Proposed	0.9450	0.9438	0.9872	0.9602	0.9054	0.9488

此外我们还比较了下几种无参考方法（DIIVINE，BLIINDS-II，BRISQUE和本发明中提出的方法）的时间复杂度（即提取特征过程的耗时）（见表3），从表中可以看出本发明提出的方法的时间复杂度优于DIIVINE和BLIINDS-II方法，稍稍劣于BRISQUE方法，时间复杂度较低。满足实际系统对于的时间要求。

表3无参考方法的时间复杂度比较

	Time(s)
		DIIVINE	25.40
BLIINDS-II	76.12
		BRISQUE	0.142
Proposed	3.710

Claims (1)

1.一种基于信息熵特征的无参考图像质量评价方法，其特征在于：其具体步骤如下：

步骤一、对失真图像进行Contourlet变换，得到N×M个变换子带，每个变换子带对应一个系数矩阵；

步骤二、将步骤一得到的每个变换子带和未变换的原始失真图像进行分块处理，得到每个分块对应的分块系数矩阵，再在每个分块系数矩阵上计算空域信息熵和频域信息熵，筛选分块特征并计算均值得到每个变换子带的质量特征值；具体计算方法如下：

步骤2.1，计算各个变换子带的空域信息熵特征值；

把步骤一中得到的N×M个变换子带的系数值均缩放到[0，255]区间；

对于其中尺度为i，方向为j的变换子带，分别计算其各个分块系数矩阵的空域信息熵E_s：

$E_s=-\underset{n}{\mathrm{\Σ}}p\left(n\right){\log }_2\left(n\right)---\left(2\right)$

其中，n表示分块系数矩阵的系数值，p(n)表示分块系数矩阵中系数值为n的经验概率；计算所有分块系数矩阵的空域信息熵，并按从小到大的顺序提取部分空域信息熵，求取其平均值，将该平均值作为该变换子带的空域信息熵特征值

按照同样的方法，提取每个变换子带的特征值，组成N×M维空域信息熵特征值：

$f_s=\left(f_{i,j}^s\right|i=\mathrm{1,2}...,N;j=\mathrm{1,2},...,M)---\left(3\right)$

其中，表示尺度为i，方向为j的变换子带上的空域信息熵特征值；

步骤2.2，计算各个变换子带的频域信息熵特征；

对于其中尺度为i，方向为j的变换子带，采用块大小为P*P的分块DCT变换对其进行空频变换，得到各个分块系数矩阵对应的DCT系数矩阵C_P*P；对于每个DCT系数矩阵，忽略其直流系数，使用非直流系数作为对应率段出现的概率P(a,b)：

P(a,b)＝C(a,b)                   (4)

其中，a，b指示DCT系数的位置，代表不同的频率区域；

然后，对P(a,b)进行规范化操作：

$\tilde{P}(a,b)=\frac{P{(a,b)}^2}{\underset{a}{\mathrm{\Σ}}\underset{b}{\mathrm{\Σ}}P{(a,b)}^2}---\left(5\right)$

其中,1≤a≤P，1≤b≤P且a，b不同时为1；

定义DCT系数矩阵的频域信息熵特征E_f为：

$E_f=-\underset{a}{\mathrm{\Σ}}\underset{b}{\mathrm{\Σ}}\tilde{P}(a,b){\log }_2\tilde{P}(a,b)---\left(6\right)$

在所有DCT系数矩阵上计算频域信息熵，并按从大到小的顺序提取部分频域信息熵求取其平均值，将该平均值作为该变换子带的频域信息熵特征值

按照同样的方法，提取每个变换子带的特征值，组成N×M维频域信息熵特征值：

$f_f=\left(f_{i,j}^f\right|i=\mathrm{1,2}...,N;j=\mathrm{1,2},...,M)---\left(7\right)$

其中，表示尺度为i，方向为j的变换子带上的频域信息熵特征值；

步骤2.3，计算原始图像的信息熵特征；

在未经过Contourlet变换处理的原始失真图像的系数矩阵上提取空域信息熵特征f_os和频域信息熵特征f_of；

步骤2.4，将步骤2.1至步骤2.3得到的特征值组成(2×N×M+2)维质量特征向量F:

F＝(f_s，f_f，f_os，f_of)                 (8)

步骤三、采用步骤一和步骤二的方法对训练集和测试集中的每一幅图像进行处理，计算得到每一幅图像的质量特征向量；然后利用支持向量机的方法，利用训练集上提取得到的质量特征向量进行训练，得到失真分类模型和质量评价模型，然后基于无参考图像质量评价的两步框架，在测试集上进行测试，利用训练得到的分类模型、评价模型和测试集对应的质量特征向量，进行质量预测，得到各个质量特征向量对应的质量分数；进而利用现有的算法性能指标对算法的优劣进行评估。