CN103258326B - 一种图像质量盲评估的信息保真度方法 - Google Patents

Abstract

本发明属于图像质量评估技术领域，具体为一个图像质量盲评估的信息保真度方法。本发明方法首先根据自然图像的统计性质与失真图像模型，实现对失真图像小波系数分布参数的盲估计；再利用估计的分布参数来计算失真图像与对应的参考图像之间的互信息，以量化失真图像对参考图像的保真度，进而实现对图像质量的评估。本发明避免了对参考图像的依赖，且克服了现有图像质量盲评估方法对特征选择与提取、机器学习等过程的依赖。公开图像质量评估数据库的总体评估结果表明：本发明对图像质量的评估结果与人眼主观评估结果高度一致，且优于文献中报道的其它盲评估方法。

Description

一种图像质量盲评估的信息保真度方法

技术领域

本发明属于图像质量评估技术领域，具体涉及图像质量盲评估的信息保真度方法。

背景技术

在图像获取、压缩、存储、传输和再现过程中，往往会对数字图像引入大量不同类型和不同级别的失真，这些失真将导致图像质量的严重下降。如何对图像质量进行准确的客观评估已经成为图像处理领域里一个极具挑战性的课题^[1][3]

图像质量的客观评估研究，其目的就是设计一种评估测度或算法，并期待得到与人眼主观图像质量评估一致的结果。现存的图像质量客观评估方法主要是全参考评估方法，即通过某一方法来对比失真图像与参考图像的相似度得到评估结果^[4][5]。这种类型的评估方法限制了其应用范围，例如：数字影像设备拍摄到的图像一般是没有参考图像的，而通过长距离传输到手机或者电视的图像要想得到其参考图像也许是不方便的。这意味着在许多应用场合中，存在着对半参考评估方法（依赖于一部分参考信息）与盲评估方法（不需要任何参考信息）的需求。由于在盲评估中没有任何有关未失真图像的参考信息，因此盲评估算法的实现面临着极大的困难^[6][7][8][9]。本发明试图为图像质量的盲评估提供一种新方法。

文献中报道的盲评估算法，很大一部分都是针对某种特定的失真类而设计的。这些方法一般依赖于对失真类型先验知识的了解，或者是对建立在先验知识基础上失真模型的了解。可是，这样的失真模型往往是比较复杂的，并且还不一定能准确抓住失真的本质。例如：在大多数应用场合中，遇到的失真类型往往都是多种失真的混合体^[8][10]。这意味着针对特定的失真类设计的盲评估算法，其应用的有效性将受到限制。因此，从实际应用和算法实现复杂度的出发，人们期待能设计出一种不依赖失真类型的盲评估算法，且算法模型应尽可能地简洁、精练及其高效^[10]。

近年来，由于自然场景统计(NaturalSceneStatistics,NSS)模型能描述自然图像中与内容无关的统计性质，因此受到了越来越多学者们的重视^{[4][5][6][12][13]}。文献[2]提出了一种基于NSS模型的全参考图像质量评估算法——IFC(InformationFidelityCriterion)。IFC方法根据NSS模型分别对参考图像与失真图像的小波系数建立模型，通过计算它们的互信息，来量化失真图像对参考图像的保真度，从而实现对图像质量的评估，其评估结果与人眼主观评估结果的一致性高于之前的评估算法。文献[4]对IFC算法进行了改进，提出了VIF(VisualInformationFidelity)方法。VIF方法用参考图像经过人类视觉系统(HumanVisualSystem,HVS)前后的互信息对失真图像的保真度进行归一化，是目前性能最优的全参考方法之一^[1]。文献[11]提出了一种基于NSS模型的半参考评估方法，该方法从参考图像的小波变换系数子带中估计出其系数分布参数，通过计算失真图像区分归一化变换(DivisiveNormalizationTransformation,DNT)系数的高斯分布与拟合参考图像小波系数高斯分布之间的K-L距离，来评价失真图像与原始图像的相似性。显然，上面提及的方法都依赖于参考图像的信息，这种要求在一些实际应用中是不现实的。

在文献[6][7]中，作者分别提出了两种基于NSS模型的图像质量盲评估算法，且都取得了一些振奋人心的结果。但是这两种盲评估方法都非常依赖于微妙且复杂的特征选择、提取与机器学习等。同时，依赖于特征的方法，其性能往往也会被所选择的特征以及评估者的经验所局限，因而普适性较差。

本发明提出了一个新的图像质量盲评估的信息保真度方法，该方法首先根据自然图像的统计性质与失真图像模型，实现对失真图像小波系数分布参数的盲估计；再利用估计的分布参数来计算失真图像与对应的参考图像之间的互信息，以量化失真图像对参考图像的保真度，进而实现对图像质量的评估。本发明避免了对参考图像的依赖，且克服了现有图像质量盲评估方法对特征选择与提取、机器学习等过程的依赖。

发明内容

本发明的目的在于根据自然场景统计模型与图像失真模型，提供一种与人眼主观视觉对图像质量的评估结果相一致的图像质量盲评估的信息保真度方法。

本发明提出的图像质量盲评估的信息保真度方法，首先根据自然图像的统计性质与失真图像模型，实现对失真图像小波系数分布参数的盲估计；再利用估计的分布参数来计算失真图像与参考图像之间的互信息，以量化失真图像对参考图像的保真度，进而实现对图像质量的评估。具体步骤如下：

(1)如果失真图像是彩色图像，先将彩色图像转换成灰度图像；对失真的灰度图像进行小波系数变换，得到多个小波系数子带。

(2)在每个小波系数子带内，对每个系数选取合适的小波系数邻域，将小波系数邻域拉成小波系数矢量，其中为邻域大小；用衰减过程与叠加高斯噪声对小波系数矢量进行局部性描述^[2][4]，即；其中，为对应的参考图像小波系数邻域矢量，变量描述失真图像小波系数邻域对参考图像的局部衰减，是服从零均值、方差为的叠加高斯噪声；

根据自然场景统计(NaturalSceneStatistics,NSS)模型的统计性质，无失真的参考图像的小波系数矢量能够用高斯尺度混合(Gaussianscalemixture,GSM)分布描述，即，其中为表征系数矢量协方差变化的随机乘数，为零均值、协方差矩阵为的高斯随机变量。因此的概率密度函数为^[12][14]：

(7)

其中，为随机乘数的概率密度分布函数。

系数邻域矢量关于随机乘数服从零均值、协方差矩阵为的高斯分布，条件概率分布函数为^[12][14]：

(8)

因此，有失真图像的小波系数矢量，关于与局部衰减、局部噪声方差服从零均值、协方差矩阵为的高斯分布，其条件概率分布函数为：

(9)

记的协方差矩阵为。假设在每个系数子带内都有，且整个子带内的噪声方差为，有：

(10)

因此，的特征值分解为，特征值为。

(3)利用邻域矢量的马氏距离估计失真图像小波系数分布的乘数变量。

记的马氏距离为，那么有：

(11)

其中，小波分解系数矢量在整个子带内是零均值的，即。

根据的特征值分解，有：

(12)

根据关于与局部噪声方差的条件概率分布函数，有：

(13)

其中为每个邻域矢量的期望值。

结合上式与特征矢量的正交性，有：

(14)

另外，由于邻域矢量的中心系数方差与整个小波子带的系数方差为：

(15)

(16)

其中，为的方差。

因此,能够从得到的估计值为：

(17)

其中，为的特征值，为每个邻域矢量的期望值，为整个小波子带的系数方差，为邻域矢量的中心系数方差。

(4)估计失真图像小波系数子带内的全局噪声方差与局部噪声方差。

在得到对乘数的估计值之后，有区分归一化变换(DivisiveNormalizationTransformation,DNT)系数为

(18)

因此，整个系数子带内DNT系数的方差为

(19)

结合整个小波子带的系数方差，有

(20)

(21)

得到了对全局噪声方差的估计后，有局部噪声的估计结果为

(22)。

(5)计算失真图像小波系数子带与对应的参考图像小波系数子带之间的互信息，将所有子带的互信息的和作为失真图像对参考图像的保真度估计。

记参考图像的个小波系数邻域矢量的集合为，乘数集合为，对应的个失真图像的小波系数矢量集合为。与之间关于的互信息为。根据小波系数矢量的条件独立性，有

(23)

已知协方差矩阵为的连续高斯变量的微分墒为，因此失真图像小波系数矢量与对应的参考图像小波系数矢量之间的互信息为

(24)

因此，与之间的互信息为

(25)

假设第个小波子带内有个系数，参考图像与失真图像中以这些系数为中心系数的邻域矢量集合分别为与，对应的乘数集合为。因此，对失真图像的质量评估结果为：

(26)。

根据本发明，对每幅图像得到的信息保真度越大，则表明图像质量越差；信息保真度越小，则表明图像质量越好。

本发明避免了在对失真图像与参考图像的小波系数邻域互信息的计算中对参考图像的依赖，对参数的估计全部从失真图像小波系数中得到，实现了有效的图像质量盲评估。

公开图像质量评估数据库的总体评估结果表明：本发明对图像质量的评估结果与人眼主观评估结果高度一致，且优于文献中报道的其它盲评估方法。

附图说明

图1：灰度图像可操纵金字塔分解与小波系数邻域选取。

具体实施方式

实验在LIVE图像质量评估数据库^[16]上验证本发明的性能。LIVE数据库包含982幅图像，其中779幅为失真图像。这些图像由29幅参考图像通过JPEG、JPEG2000、白噪声、高斯模糊和信道快速衰落这五种失真方式在不同失真级别下得到。数据库中还给出了每幅图像对应的主观评估分数(DMOS)，DMOS的范围是[0,100]，DMOS=0代表图像无失真，随着图像的失真程度增加，DMOS的值也会相应增加。通过将DMOS与图像质量评估算法得到的评估结果进行对比，那么就可评价图像质量评估算法的性能。

具体实验方法为：对LIVE数据库中的每幅图像都用本发明的信息保真度方法得到一个图像质量估计分数，然后对数据库中提供的主观评估分数(DMOS)与盲评估统计测度得到的估计结果做非线性回归拟合。

实验中用过完备的可操纵金字塔对图像进行小波分解，以保持图像的方向性。采用分解尺度数，方向数，分别为、、与，如图1所示。同时，选取每个小波系数(图中以黑色小方块标示)与其相同子带内相邻系数、同尺度不同方向子带内同样位置上的系数以及相同方向母尺度上同样位置的系数(图中都以灰色小方块标示)共同构成它的邻域矢量，邻域大小。

在对图像质量估计结果与DMOS进行非线性回归拟合之后，可以通过五个客观评价指标来定量评价客观图像质量评估测度与主观质量评估结果的一致性：1)线性相关系数(LinearCorrelationCoefficient,LCC)，它描述了预测的准确性，其值越接近于1表示预测准确性越高；2)平均绝对误差(MeanAbsoluteError,MAE)，其值越小表示预测绝对误差越小；3)均方根误差(RootMeanSquaredError,RMSE)，其值越小表示预测均方根误差越小;4)离群比例(OutlierRatio,OR)，它描述了预测一致性，其值越小表示预测一致性越高；5)Spearman秩相关系数(Spearman’sRankOrderedCorrelationCoefficient,SROCC)，它描述预测的单调性，其值越接近于1表示预测单调性越优。

将本发明与两种全参考图像质量评估指标——PSNR和SSIM^[4]，一种盲评估方法——DIIVINE^[6]进行对比。选择这些方法进行对比的原因是因为：PSNR是历史最悠久且最广泛应用的全参考评估算法，SSIM是目前受到广泛认可的全参考评估算法，而DIIVINE是目前所知最优的盲评估算法。得到如下定量评价结果：

表1：不同的图像质量评估算法在LIVE数据库上的性能比较。粗体的为盲评估算法，其它为全参考评估算法。

从表1可以看出，本发明的信息保真度可以给出与人眼主观给分一致性较高的评估结果，并且总体性能优于目前我们所知的最优的盲评估算法DIIVINE^[6]。DIIVINE算法的原始代码从文献[17]上下载，包含了在整个LIVE数据库上的训练结果。对每个失真类而言，本发明在对高斯模糊与快速信道衰落失真类的评估效果显著优于DIIVINE算法；对JPEG失真类的评估效果略优于DIIVINE算法，但是两种方法对JPEG失真类的评估结果都不是太尽如人意，这种结果与本发明所用的失真模型对高比特率的JPEG失真类的适用性略差^[4]相吻合。另外，本发明的方法在对JP2K与白噪声的评估效果逊色于DIIVINE，我们认为这主要是与对分布模型中的噪声方差估计相关。因此，对噪声方差更准确地估计应该能够帮助进一步提高评估性能。

而本发明的信息保真度并不像DIIVINE一样需要复杂的特征提取与学习过程，在具有较低计算复杂度的同时，对多数失真类与整个数据库的评估结果都优于DIIVINE算法。

参考文献

[1]H.R.Sheikh,M.F.Sabir,andA.C.Bovik.AStatisticalEvaluationofRecentFullReferenceImageQualityAssessmentAlgorithms[J].IEEETrans.ImageProcess.,2006,15(11):3441-3452.

[2]H.R.Sheikh,A.C.Bovik,G.deVeciana.AnInformationFildelityCriterionforImageQualityAssessmentUsingNaturalSceneStatistics[J].IEEETrans.ImageProcess.,2005,14(12):2117-2128.

[3]Z.Wang.ApplicationsofObjectiveImageQualityAssessmentMethods[J].IEEESignalProcess.Magazine,2011,15(2):137-142.

[4]H.R.SheikhandA.C.Bovik.Imageinformationandvisualquality[J].IEEETrans.ImageProcess.,2006,15(2):430-444.

[5]Z.Wang,A.C.Bovik,H.R.Sheikh,andE.P.Simoncelli.Imagequalityassessment:Fromerrormeasurementtostructuralsimilarity[J].IEEETrans.ImageProcess.,2006,13(4):600-612.

[6]M.A.Saad,A.C.Bovik,andC.Charrier.DCTstatisticsmodel-basedblindimagequalityassessment[J].IEEEInt.Conf.ImageProcessing,Brussels,Belgium,2010.

[7]A.K.MoorthyandA.C.Bovik.Blindimagequalityassessment:fromnaturalscenestatisticstoperceptualquality[J].IEEETran.ImageProcess.,2011,20(12):3350-3363.

[8]A.Mittal,G.S.Muralidhar,J.Ghosh,andA.C.Bovik.Blindimagequalityassessmentwithouthumantrainingusinglatentqualityfactors[J].IEEETran.SignalProcess.,2011,19(2):75-78.

[9]S.GabardaandG.Cristobal.Blindimagequalityassessmentthroughanisotropy[J].J.Optic.Soc.Amer.A,2007,24(12):42-51.

[10]Z.WangandA.C.Bovik.Reduced-andno-referenceimagequalityassessment[J].IEEESignalProcess.Magazine,2011,28(6):29-40.

[11]Q.Li,Z.Wang.Reduced-referenceimagequalityassessmentusingdivisivenormalization-basedimagerepresentation[J].IEEEJ.Select.TopicsSignalProcess.,2009,3(2):202-211.

[12]M.J.WainwrightandE.P.Simoncelli.ScalemixturesofGaussiansandthestatisticsofnaturalimages[J].Adv.NeuralInf.Process.Syst.,2000,12(1):855–861.

[13]J.Portilla,V.Strela,M.J.Wainwright,andE.P.Simoncelli.ImagedenoisingusingscalemixtureofGaussiansinthewaveletdomain[J].IEEETrans.ImageProcess.,2003,12(11):1338-1351.

[14]A.K.MoorthyandA.C.Bovik.Statisticsofnaturalimagedistortions[J].Proc.IEEEInt.Conf,AcousticsSpeechandSignalProcessing(ICASSP),2010,962-965.

[15]E.P.Simoncelli,W.T.Freeman,E.H.Adelson,andD.J.Heeger.Shiftablemultiscaletransforms[J].IEEETrans.Inf.Theory,1992,38(2):587–607.

[16]H.R.Sheikh,Z.Wang,A.C.Bovik,andL.K.Cormack,“ImageandVideoQualityAssessmentResearchatLIVE.”

[Online].Available:http://live.ece.utexas.edu/research/quality.

[17]A.K.MoorthyandA.C.Bovik,[Online].Available:http://live.ece.utexas.edu/research/quality/DIIVINE_release.zip。

Claims (1)

1.一种图像质量盲评估的信息保真度方法，其特征在于根据自然图像的统计性质与失真图像的模型，实现对图像小波系数分布参数的盲估计；再利用估计的分布参数来计算失真图像与对应的参考图像之间的互信息，以量化失真图像对参考图像的保真度，进而实现对图像质量的评估，具体步骤如下：

(1)如果失真图像是彩色图像，先将彩色图像转换成灰度图像；对失真的灰度图像进行小波系数变换，得到多个小波系数子带；

(2)在每个小波系数子带内，对每个系数y选取合适的小波系数邻域，将小波系数邻域拉成小波系数邻域矢量其中M为邻域大小；用衰减过程与叠加高斯噪声对小波系数矢量进行局部性描述，即y′＝gc′+n′，其中，c′为y′对应的参考图像小波系数邻域矢量，变量g描述失真图像小波系数邻域对参考图像的局部衰减，n′是服从零均值、方差为的叠加高斯噪声；

根据自然场景统计模型的统计性质，用高斯尺度混合分布描述无失真的参考图像小波系数邻域矢量即c′＝su′，其中s为表征系数矢量协方差变化的随机乘数，u′为零均值、协方差矩阵为C_u的高斯随机变量；有失真图像的小波系数矢量y′＝gsu′+n，记y的协方差矩阵为C_y；

(3)利用邻域矢量y′的马氏距离估计失真图像小波系数分布的乘数变量，有：

其中，为C_y的特征值，为每个邻域矢量y′的期望值，为整个小波子带的系数方差，为邻域矢量y′的中心系数y＝gsu+n方差；

(4)估计失真图像小波系数子带内的全局噪声方差与局部噪声方差有：

其中，为整个子带内区分归一化变换系数的方差，是根据区分归一化变换系数d的估计值得到的：

(5)计算失真图像小波系数子带与对应的参考图像小波系数子带之间的互信息，将所有子带的互信息的和作为失真图像对参考图像的保真度估计；

记参考图像的N个小波系数邻域矢量的集合为乘数集合为对应的N个失真图像的小波系数矢量集合为 与之间关于的互信息为有：

假设第j个小波子带内有N_j个系数，参考图像与失真图像中以这些系数为中心系数的邻域矢量集合分别为与对应的乘数集合为因此，对失真图像的质量评估结果为：