CN101489130A - 基于图像边缘差异统计特性的全参考型图像质量评价方法 - Google Patents

Abstract

基于图像边缘差异统计特性的全参考型图像质量评价方法，首先对参考图像与失真图像做多尺度分解；然后在图像多尺度分解的基础上检测各个尺度下图像边缘响应；将得到图像边缘的二值分布图；利用原始图像与失真图像不同尺度下的二值分布图计算图像的边缘差异统计特性；最后通过Weber－Fechner定律，将图像的边缘差异统计量映射到心理量，并且用各个尺度下原始图像边缘点的总数进行归一化，得到最后的图像失真的评价指标。本发明所提出的全参考图像质量评价方法性能稳定，计算简便，预测结果准确，适用多种不同类型的失真图像，因此有广大的应用前景。

Description

基于图像边缘差异统计特性的全参考型图像质量评价方法

技术领域

本发明属于图像质量评价领域的全参考型图像质量评价方法，具体涉及一种基于图像边缘差异统计特性的全参考型图像质量评价方法。

背景技术

图像质量评价算法在各种图像处理领域中都具有广泛的应用。传统的图像质量评价方法一般分为两类，主观评价模型与客观评价模型。主观评价模型是在规定的环境与硬件设备条件下进行，由一组观测者对失真图像进行测试实验，观测者根据自己对图像质量的感受给出主观计分，实验的程序及数据分析方法，ITU组织提出了详细的标准(VQEG：The Video Quality Experts Group，http://www.vqeg.org/.；VQEG.Final reportfrom the video quality experts group on the validation of objective models ofvideo quality assessment，”Apr.2000.http://www.vqeg.org/.)。由于图像的最终接收者是人，由此得到的结果则可作为人眼感知图像质量的精确表达。然而，这类实验复杂度高，对测试环境要求高，耗时且成本高，而且不具有实时性，因此，只在某些特殊应用场合下使用。近年来，研究图像质量评价的客观模型成为图像处理领域的重要研究内容。

图像质量评价的客观模型一般分为三类，第一类是全参考型的图像质量评价方法，该方法主要针对能够获得原始参考图像全部信息的条件下使用，也是目前应用最广，性能相对较好的方法。第二类是部分参考型的图像质量评价方法，该方法主要针对当图像或视频序列接收端只能用有限的码率描述原始图像信息的情况下使用，第三类是无参考的图像质量评价方法，该方法主要针对图像或者视频序列的接收端无法获取相关原始参考图像或者视频序列的任何信息时设计。

目前，对于相关的全参考型图像质量评价方法，有以下几类：

第一类是传统的客观评价模型，诸如PSNR与MSE计算等，在空域通过逐点计算失真图像与原始图像每个象素点差异的统计特性来表达图像的失真程度。虽然形式简单，计算量小，但由于其独立于图像内容，测量结果往往与主观感知的一致性较差。

由于图像的最终接收者是人，长久以来，HVS模型一直被视为FRQA算法研究中的研究重点，基于HVS模型的的典型图像质量评价算法框架一般如下，首先将原始图像与降质图像变换到频域中，图像被分解为若干个频率子带，对应于不同的HVS系统响应，分别计算不同子带对应的视觉误差，通过视敏感函数(CSF)对视觉误差进行加权，然后，通过掩模函数计算视觉误差在空间位置及不同频率下的掩模效应，最后，计算整幅图像的视觉失真。其中具有代表性的是Daly的VPD算法(S.Daly，“The visible difference predictor：An algorithm for the assessment of imagefidelity，”Proc.SPIE，vol.1616，pp.2-15，1992.)，及Sarnoff公司的JNDmetrix模型(J.Lubin，“A visual discrimination model for imaging system design andevaluation，”in Visual Models for Target Detection and Recognition，E.Peli，Ed.Singapore：World Scientific，1995，pp.245-283.；Sarnoff Corporation.JNDmetrix Technology.http://www.sarnoff.com/)。然而，这类方法存在着许多局限性，导致其性能受到很大程度的限制。而图像的质量评价算法应该能够适用于各种图像处理应用领域，针对不同的图像失真，都能得到有价值的结果。

近几年，一些学者提出了不同的图像质量评价模型，由王周提出基于图像结构相似度的图像质量评价模型(SSIM)(Z.Wang，A.C.Bovik，H.R.Sheikh，and E.P.Simoncelli，“Image quality assessment：From errormeasurement to structural similarity，”IEEE Trans.Image Process.，vol.13，no.4，pp.600-612，Apr.2004.)，学者H.R.Sheikh与A.C.Bovik将信息理论引入到图像质量模型的构造中来，提出了基于自然图像统计特性(NSS)的图像保真度测量模型IFC(H.R.Sheikh，A.C.Bovik，and G.de Veciana，“An information fidelity criterion for image quality assessment using naturalscene statistics，”IEEE Trans.Image Process，vol.14，no.12，pp.2117-2128，2005.)，继而通过引入视觉噪声，对上述模型进行了改进，形成了VIF方法(H.R.Sheikh and A.C.Bovik，“Image information and visual quality，”IEEETrans.Image Process.，vol.15，no.2pp.430-444，Feb.2006.)。

国内外亦有该方面申请的专利。主要有以下相关专利。

国外专利申请(Patent No.：US2006165311-A1)中由Andrew B.Watson提出的空间标准观测者模型(SSO)，该方法通过直接计算滤波后图像象素间的Minkowski距离，引入对比度敏感滤波器(CSF)，联合图像的分辨率信息及观测者与监视器之间的距离信息等，试图尽可能地精确预测失真图像的视觉质量。

国外专利申请(Patent No.：WO2004114216-A1；EP1634242-A1；US2006274618-A1)所述的视频质量评价中的边缘分析方法，该方法将通过对参考视频帧序列与失真视频帧序列进行空间频率分析，结合其YUV各分量所定义的峰值信噪比，分块计算参考帧与失真帧局部边缘点数量的统计平均值及其所定义的纹理失真，几部分综合得到视频最终的视觉失真预测结果。该方法过程复杂，并且缺乏足够的视觉感知理论支持。

国外专利申请(Patent No.：WO2005055618-A1；EP1692876-A1；US2007257988-A1)所述的视频质量度量的方法和系统提出了一种基于块保真特性的视频序列质量评价方法。该方法将视频参考帧与失真帧划分为4×4的子块，计算参考帧与失真帧对应子块的边界误差，图像子块的熵定义为图像色彩丰富程度的度量，用子块在水平及垂直方向的熵度量图像的锐化程度，结合以上三方面，综合评价视频帧的视觉质量。

发明内容

本发明的目的在于克服上述现有技术的缺点，提供了一种性能稳定，计算简便，结果准确，且适用多种不同类型的失真图像的基于图像边缘差异统计特性的全参考型图像质量评价方法。

为达到上述目的，本发明采用的技术方案是：

本发明依据人类早期视觉的基本特性，利用人类视觉感受野对于图像的边缘响应，提取图像的边缘信息，继而由不同尺度下失真图像中相对于原始图像的边缘差异的统计量通过心理物理学中人类的刺激反应原理进行映射，从而得到图像失真在视觉意义下的预测值。

附图说明

图1为本发明的流程图；

图2为采用NSE-ZC实验结果示意图，其中(×)代表JPEG2000压缩图像，(+)代表JPEG，压缩图像，(○)代表高斯白噪声图像，(□)代表高斯模糊图像，(◇)代表JPEG2000图像通过瑞利衰减信道后的失真图像；

图3NSE-MM实验结果示意图，其中(×)代表JPEG2000压缩图像，(+)代表JPEG，压缩图像，(○)代表高斯白噪声图像，(□)代表高斯模糊图像，(◇)代表JPEG2000图像通过瑞利衰减信道后的失真图像。

具体实施方式

下面结合附图对本发明作进一步详细说明。

本发明提出了这样的假设：在图像的主观质量评价中，人类的早期视觉占主导作用。因此，本发明依据人类早期视觉的基本特性而来，通过人类早期视觉中感受野的刺激响应模型，构造出一种基于图像边缘的统计特性的全参考图像质量评价方法，利用人类视觉感受野对于图像的边缘响应，提取图像的边缘信息，继而由不同尺度下失真图像中相对于原始图像的边缘差异的统计量通过心理物理学中人类的刺激反应原理进行映射，从而得到图像失真在视觉意义下的预测值。

更具体地，利用不同尺度下，采用符合视觉感受野特性的滤波器，计算不同尺度下参考图像和失真图像经过滤波后的图像差异的统计特性，在不同尺度下，上述滤波后图像的基础上，运用边缘检测算法，得到原始图像与失真图像不同尺度下的二值边缘信息，计算对应的原始图像的子带边缘图像与失真图像的子带边缘位置差异的统计特性，作为图像质量评估准则，最后将该视觉物理量映射到心理量，得到最终的图像质量的测量值。

参见图1，其具体过程如下：

采用NSE(Non-Shift Edges)图像边缘位置差异计算方法，

1)对参考图像C与失真图像D进行多尺度分解；分解后的子带图像分别定义为C^k _i和D^k _i(0≤i≤N，1≤k≤M)，k表示第k个子带，i表示分解的第i个尺度；

2)分别计算尺度i下，参考图像C与失真图像D的二值边缘图E_Ci和E_Di，，该二值边缘图由对应的子带图像C^k _i和D^k _i进行边缘检测得到，E_Ci和E_Di取值为0或者1，其中1表示边缘点，而0表示非边缘点，由此，

表示参考图像在尺度i下所有边缘点的统计和，

表示失真图像在尺度i下所有边缘点的统计和，计算得到非移位边缘图像 $E_{C_i}\∩E_{D_i},$ $\mathrm{\Σ}{E}_{C_i}\∩E_{D_i},$ 表示参考图像与失真图像所共有的图像边缘点的统计和，由此，定义图像边缘的非移位率(NSR_i)

$p_i=\frac{\mathrm{\Σ}(E_{C_i}\∩E_{D_i})}{\mathrm{\Σ}{E}_{C_i}}---\left(1\right)$

p_i的范围在[0，1]之间，当且仅当原始图与参考图像共有边缘点总数与原始图像相同时，p_i取得1；

3)通过采用Weber-Fechner’s定律将计算得到的边缘统计数值映射成为心理量

γ_i＝-log₁₀(1-P_i)                   (2)

4)最后，综合各个尺度下的γ_i从而得到与人类视觉误差感知相一致的图像质量测量值NSE(C，D)

$\mathrm{NSE}(C,D)=-\underset{i}{\mathrm{\Σ}}{\mathrm{\γ}}_i---\left(3\right)$

本发明还可以采用所有尺度下的原始图像的边缘点的总数对结果进行归一化，得到加权后的图像质量测量值NSE(C，D)

$\mathrm{NSE}(C,D)=\underset{i}{\mathrm{\Σ}}{\mathrm{\α}}_i{\log }_{10}(1-P_i)---\left(4\right)$

其中，加权系数α_i为经过对数变换的第i个尺度下原始图像边缘点的总数，定义如下

${\mathrm{\α}}_i=\frac{1}{{\log }_{10}\mathrm{\Σ}{E}_{C_i}}---\left(5\right)$

在本发明中选择不同的感受野刺激响应模型，可以得到不同的多尺度分解方案，同时结合不同的边缘检测方法，可以形成不同的具体实施方案，本发明中列举了两种具体实施方案；一种是基于高斯尺度下，自然图像多尺度变换零交叉边缘统计特性的分析处理方案；另外一种是基于多尺度自然图像小波变换模极大值边缘统计特性的分析处理方案，通过大量实验证明，该方法可以应用于各类失真图像中，并且，该方法的实验结果与人类视觉感知具有很好的一致性，有很强的实用价值。

在本发明提供的计算框架内，给出了两种具体的NSE方法实现方案，分别称为NSE-ZC及NSE-MM方法，但符合NSE方法的尺度函数及边缘提取算法不限于本发明给出的实施方法

1、第一种采用符合视觉感受野特性的高斯拉普拉斯算子(LOG)或者DOG算子检测图像的零交叉得到图像的二值边缘图。从而形成图像质量评价方法称为NSE-ZC。LOG算子定义为

$\mathrm{LOG}(x,y,\mathrm{\σ})=\frac{(x^2+y^2-2{\mathrm{\σ}}^2)}{{\mathrm{\σ}}^4}{e}^{-(x^2+y^2)/2{\mathrm{\σ}}^2}---\left(6\right)$

本实验采用五级图像零交叉检测方法。DOG算子为两个不同尺度下的高斯算子之差，定义如下

D(x，y，σ)＝G(x，y，kσ)-G(x，y，σ)        (7)

其中高斯尺度算子G(x，y，σ)定义如下

$G(x,y,\mathrm{\σ})=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}^2}{e}^{-(x^2+y^2)/2{\mathrm{\σ}}^2}---\left(8\right)$

σ用来控制LOG或者DOG算子的尺度，由小到大进行五级分解，最小尺度模板为5×5滤波模板，尺度以2倍σ递进进行多尺度边缘检测，k为常数；选择LOG算子零交叉边缘检测方法的图像质量评价结果见附图2。

2、理论上，信号的二阶导数零交叉点与信号的一阶导数极大值点对应，因此，本发明中，提出了第二种具体实施方案，即采用小波变换进行多尺度分解时，然后检测子带图像的小波模极大值点，具体由DB9/7小波进行4级分解实现，称为NSE-MM方法。实验结果见附图3。

两种方法的结果分析。

为了对客观质量评价模型进行有效性验证，以往的研究人员做了大量的主观图像质量评估工作，本文采用的静止图像数据库来源于LIVE实验室所提供的图像数据库(H.R.Sheikh，Z.Wang，L.Cormack，and A.C.Bovik.(2005)Live Image Quality Assessment Database Release2.[Online].Available:http://live.ece.utexas.edu/research/quality.)，其中包括29幅24bitRGB彩色图像，经过五种失真变换，包括JPEG2000，JPEG，加白噪声，以及经过瑞利衰减信道的JPEG2000压缩图像，从而得到图像数据共982幅，其中，包括JPEG2000图像227幅，JPEG图像233幅，含白噪声图像174幅，JPEG2000瑞利信道衰减图像174幅。其中共含原始图像203幅。大约20-29名观测者对图像进行了主观测试实验，最终将测试结果量化到1-100，从而得到每幅图像不同的主观评价分数(DMOS)。本发明采用的DMOS数据是文献(H.R.Sheikh，M.F.Sabir and A.C.Bovik，“A statisticalevaluation of recent full reference image quality assessment algorithms，”ImageProcessing，IEEE Transactions on，vol.15，no.11，pp.3440-3451，Nov.2006.)中，对该DMOS数据通过一定的方法进行重新排序。得到的新的DMOS数据。

为了对本发明的性能进行说明，发明人利用LIVE图像数据库对所提出的NSE方法进行测试，尽管LIVE数据库是一个全彩色图像库，在实际处理中，本发明只采用图像的亮度分量。

实验中，按照VQEG提出的量化标准(VQEG：The Video Quality ExpertsGroup，http://www.vqeg.org/.；VQEG.Final report from the video qualityexperts group on the validation of objective models of video qualityassessment，”Apr.2000.http://www.vqeg.org/.)对NSE-MM及NSE-ZC的性能进行了比较。该标准对于视觉质量评价算法的性能提出了以下指标：预测的精度、单调性。提出了具体的统计指标，包括Pearson线性相关系数(CC)，Spearman秩相关系数(SROCC)以及实验结果的均方误差根RMSE，用这些统计数据联合评价算法的性能。在VQEG Phase-I和Phase-II中，都提出要对测试算法的实验结果进行非线性补偿之后计算相关的统计参数，在此，使用的非线性模型为增加线性条件限制的五参数非线性logistic模型，如(5)式所示，采用最小均方误差法进行拟和

Quality(x)＝β₁logistic(β₂，(x-β₃))+β₄x+β₅ (9)

$\log \mathrm{istic}(\mathrm{\τ},x)=\frac{1}{2}-\frac{1}{1+\exp \left(\mathrm{\τx}\right)}---\left(10\right)$

Quality(x)为经过非线性补偿后的图像质量评价算法的实验结果，而主观质量分数DMOS已由LIVE数据库给出，由此，两者之间的预测误差表示为

P_error(i)＝DMOS(i)-Quality(i)             (11)

P_error的均方误差根(RMSE)用来衡量预测的精度，表示为

$\mathrm{RMSE}=\sqrt{\frac{1}{N-d}\underset{N}{\mathrm{\Σ}}{P}_{\mathrm{error}}^2\left(i\right)}---\left(12\right)$

其中，N为实验选用图像数，d为logistic函数的自由度。

Pearson相关系数(CC)与Spearman秩相关系数(SROCC)为常用的描述模型线性相关性的统计量。实验结果如表1，表2及表3所示。其中，表1列出了NSE-ZC以及NSE-MM综合五种失真图像的整体性能。表2列出了针对五种不同失真，DMOS与NSE-ZC及NSE-MM方法预测结果之间的相关系数。表3列出了针对五种不同失真，DMOS与NSE-ZC及NSE-MM方法预测结果之间的均方误差根。

表1 本发明的综合性能比较

表2 针对五种不同失真，DMOS与NSE-ZC及NSE-MM方法预测结果之间的相关系数

表3 针对五种不同失真，DMOS与NSE-ZC及NSE-MM方法预测结果之间的均方误差根

其中表2，3显示了方法对于不同失真图像的性能，上面的结果显示，NSE对于不同的图像失真下的质量评价效果都很好。表1显示了当不同的失真图像综合在一起时方法的总体性能，从结果可知，当不同失真图像综合在一起时，该方法的性能有一定的下降，总体来说本发明仍然表现出良好的稳定性，具有极高的实际应用价值。

Claims (3)

1、基于图像边缘差异统计特性的全参考型图像质量评价方法，其特征在于：采用符合视觉感受野特性的滤波器，计算不同尺度下参考图像和失真图像经过滤波后的图像差异的统计特性，在不同尺度下，上述滤波后图像的基础上，运用边缘检测算法，得到原始图像与失真图像不同尺度下的二值边缘信息，计算对应的原始图像的子带边缘图像与失真图像的子带边缘位置差异的统计特性，作为图像质量评估准则，最后将该视觉物理量映射到心理量，得到最终的图像质量的测量值。

2、如权利要求1所述的基于图像边缘差异统计特性的全参考型图像质量评价方法，其具体步骤如下：采用NSE(Non-Shift Edges)图像边缘位置差异计算方法，

1)对参考图像C与失真图像D进行多尺度分解；分解后的子带图像分别定义为C^k _i和D^k _i(0≤i≤N，1≤k≤M)，k表示第k个子带，i表示分解的第i个尺度；

2)分别计算尺度i下，参考图像C与失真图像D的二值边缘图E_Ci和E_Di，，该二值边缘图由对应的子带图像C^k _i和D^k _i进行边缘检测得到，E_Ci和E_Di取值为0或者1，其中1表示边缘点，而0表示非边缘点，由此，

表示参考图像在尺度i下所有边缘点的统计和，

表示失真图像在尺度i下所有边缘点的统计和，计算得到非移位边缘图像

表示参考图像与失真图像所共有的图像边缘点的统计和，由此，定义图像边缘的非移位率(NSRi)

$p_i=\frac{\mathrm{\Σ}(E_{C_i}\∩E_{D_i})}{\mathrm{\Σ}{E}_{C_i}}---\left(1\right)$

p_i的范围在[0，1]之间，当且仅当原始图与参考图像共有边缘点总数与原始图像相同时，p_i取得1；

3)通过采用Weber-Fechner’s定律将计算得到的边缘统计数值映射成为心理量

γ_i＝-log₁₀(1-P_i)        (2)

4)最后，综合各个尺度下的γ_i从而得到与人类视觉误差感知相一致的图像质量测量值NSE(C，D)

$\mathrm{NSE}(C,D)=-\underset{i}{\mathrm{\Σ}}{\mathrm{\γ}}_i---\left(3\right)$

3、如权利要求2所述的基于图像边缘差异统计特性的全参考型图像质量评价方法，其特征在于：所说的步骤4)的图像质量测量值NSE(C，D)采用所有尺度下的原始图像的边缘点的总数对结果进行归一化，得到加权后的图像质量测量值NSE(C，D)

$\mathrm{NSE}(C,D)=\underset{i}{\mathrm{\Σ}}{\mathrm{\α}}_i{\log }_{10}(1-P_i)---\left(4\right)$

其中，加权系数α_i为经过对数变换的第i个尺度下原始图像边缘点的总数，定义如下

${\mathrm{\α}}_i=\frac{1}{{\log }_{10}\mathrm{\Σ}{E}_{C_i}}---\left(5\right)$

Images