CN102547363A - 基于轮廓波变换域图像特征的无参考图像质量评测方法 - Google Patents

Abstract

本发明公开一种基于轮廓波变换域图像能量特征的无参考图像质量评测方法。该方法步骤包括：(1)选择理想图像，然后计算其经轮廓波变换后的各尺度平均能量；(2)利用各尺度能量特征之间的近似线性关系，建立预测模型；(3)利用预测模型和高尺度的平均能量，预测低尺度的平均能量；(4)根据预测的平均能量和由失真图像计算的平均能量初步度量图像质量；(5)对JPEG失真类型进行能量补偿；(6)根据图像质量初步度量和JPEG失真的能量补偿，构建无参考的图像质量评测尺度。本发明无需主观得分进行训练，方法简单，能够适用于多种蚀变类型，与主观评价高度一致，可用于对图像视频处理方法有效性进行检测。

Description

基于轮廓波变换域图像特征的无参考图像质量评测方法

技术领域

本发明涉及一种基于轮廓波(Contourlet)变换域图像特征的无参考图像质量评测方法，属于图像处理技术领域。 

背景技术

图像质量是评价图像视频处理相关算法性能的主要指标，因此对图像质量评测方法的研究非常重要。评测图像质量的方法有主观方法和客观方法两大类，图像的最终用户是我们人类本身，所以主观方法可靠性高，但主观方法费时费力且不易于嵌入到自动化系统中，因此开发简单有效的客观评测方法是当前图像质量评测研究的重点。 

客观评测方法根据是否有参考图像又分为3类，全参考质量评测、部分参考质量评测和无参考质量评测。全参考和部分参考质量评测方法需要参考图像或者参考图像的部分特征，而在许多实际应用中，参考图像或其部分特征是很难或无法得到的，此时无参考图像质量评测方法就显得尤为重要。 

目前在文献报道中，大多无参考图像质量评测方法都是假设知道某种失真类型，然后根据失真的效果，求出失真强度。例如，殷晓丽等针对JPEG压缩蚀变，提出了一种基于半脆弱性数字水印算法的无参考图像质量评价方法“殷晓丽，方向忠，翟广涛，一种JPEG图片的无参考图像质量评价方法，计算机工程与应用，2006，18，pp.79-81”。左博新等针对模糊蚀变，提出了一种基于边缘检测的无参考模糊图像评价模型“左博新，明德烈，敖争光，郑文娟，基于图像结构的无参考模糊图像及其复原图像质量评价方法，地理信息世界，2008，vol.2，No.1，pp.13-20”。该方法通过测量梯度图像的梯度边缘信息，来评价模糊退化图像和带有模糊效应的复原图像。P.Marziliano等提出了一种针对JPEG2000图像的感知模糊和振铃蚀变度量尺度“P.Marziliano，F.Dufaux，S.Winkler and T.Ebrahimi.Perceptual blur and ringing metrics：Applications to JPEG2000，Signal Processing：Image Communication.，vol.19，no.2，pp.163-172，2004”。该方法首先通过SOBEL算子检测出图像竖直边缘，然后逐行扫描发现边缘的开始和结束位置，开始和结束位置的距离被当作当前边缘的局部模糊测度，最后平均所有的局部模糊测度作为最终的模糊度量。Rania Hassen等提出一种基于局部相位一致测量的无参考图像锐化测度(LPCM)“R.Hassen，Z.Wang and M.Salama，No-reference image sharpness assessment based on local phase coherence measurement，in Proc.IEEE Int.Conf.Acoustics，Speech & Signal Processing，Mar.2010.”该方法利用可操控的金字塔小波分解图像，得到局部相位一致图像，最后通过加权平均局部相位一致图作为最终的图像锐化测度。 

另一种目前文献报道较好的方法是基于Contourlet域统计模型的无参考型质量评价方法“曾凯，无参考型自然图像质量评价算法研究，西安电子科技大学硕士学位论文，2009，pp.21-32”。该方法利用Contourlet变换系数间非线性依赖性的变化来度量图像质量。论文作者给出了该方法用于JPEG2000压缩、JPEG压缩、白噪声、高斯模糊和Fastfading五种失真类型的实验结果，相对其它只能应用于一种或两种失真类型的评价方法已有较大提高，但该方法在JPEG和白噪声失真上效果非常差，实际上只能算是可应用于三种失真类型(JPEG2000压缩、高斯模糊和Fastfading)，为此发展能够适用于更多蚀变类型的无参考图像质量评测方法就显得更有价值。 

发明内容

现有无参考图像质量评测方法要么已知蚀变类型，要么仅适用于有限的蚀变类型，且与主观评测方法一致性有限，本发明的目的是为了克服这一局限，提出一种针对多种蚀变类型有效的基于Contourlet变换域图像特征的无参考图像质量评测尺度，实现可靠的无参考图像质量评测。 

按照本发明提供的技术方案，所述基于轮廓波变换域图像特征的无参考图像质量评测方法，根据自然图像在Contourlet域中不同子带能量特征之间所呈现的近似线性规律，利用失真图像变化微小的高尺度能量特征去预测其相应的低尺度能量特征，然后对这些预测值和实际值进行比较来度量失真图像质量。具体过程如下： 

(1)选取N(N≥5)幅高质量的理想图像，对这些理想图像进行Contourlet变换，然后计算Contourlet变换各尺度各方向的平均能量ME_s，o。 

${\mathrm{ME}}_{s,o}=\frac{1}{N}\mathrm{\Σ}{\log }_2|C_{s,o}+\mathrm{\φ}|$

式中ME_s，o为子带平均能量，s为尺度个数，o为方向个数；N为每个子带的像素个数；C为每个子带的系数；Φ为调整因子，0≤Φ＜1，本发明取为0.01。 

(2)建立预测函数：Contourlet变换各尺度能量特征之间有近似线性关系，为此我们定义预测函数为： 

Y＝β₁+β₂X+β₃X²

式中X为高尺度下的子带平均能量，Y为低尺度下的子带平均能量，β₁、β₂、β₃为预测系数。我们利用步骤(1)计算得到的理想图像的各个尺度的子带平均能量，通过最小二乘非线性拟合得到预测系数矩阵。 

(3)预测理想图像低尺度下的子带平均能量：利用失真图像高尺度下的子带平均能量和预测系数矩阵，我们可以预测得到理想图像低尺度下的子带平均能量PM_o。 

(4)图像质量的初步度量：我们将预测得到的低尺度子带平均能量与实际失真图像计算得到的低尺度子带平均能量的差的和作为图像质量的初步度量： 

$\mathrm{CQ}=\underset{o=5}{\overset{16}{\mathrm{\Σ}}}|{\mathrm{PM}}_o-{\mathrm{TM}}_o|$

式中TM_o为由实际失真图像计算得到的子带平均能量，o为子带个数。考虑到当发生严重失真时，高尺度的子带平均能量会发生较大的偏差，其预测值会出现较大的误差，这时我们进行适当调整，使用理想图像的子带平均能量的均值作为其预测值。 

(5)JPEG失真能量补偿：块效应是由于图像进行分块压缩而产生的相邻块边界不连续的现象。经实验发现由步骤(4)得到的质量指标CQ对JPEG失真不起作用，为此我们考虑对JPEG失真进行补偿。本发明我们采用计算块内外能量比的方法作为JPEG失真类型的能量补偿。由于JPEG分块大小一般为8*8结构，当经过Contourlet变换降采样分解后，块的大小会变为4*4结构。对于1、4方向(相当于水平方向)，块边界部分我们取第1和第4列，块内取第2和第3列；对于5、8方向(相当于垂直方向)，块边界部分我们取第1和第4行，块内取第2和第3行。如下所示： 

式中BOE为块边界能量，BIE为块内部能量，C(i，j)为子带系数，M为行数，N为列数。 

最后根据块边界能量和块内部能量得到JPEG失真类型的能量补偿JEC： 

$\mathrm{JEC}=\frac{1}{4}\underset{o=1}{\overset{4}{\mathrm{\Σ}}}\frac{{\mathrm{BOE}}_o}{{\mathrm{BIE}}_o}$

(6)构造图像质量评测尺度： 

最后我们定义无参考的图像质量评测尺度NRIQ： 

NRIQ＝log(1+CQ+JEC) 

本发明的优点是：本发明能够适用于多种蚀变类型(目前已证实了五种，即JPEG2000、JPEG、白噪声、高斯模糊和FastFading(在Fastfading通道传输JPEG2000码流的过程中发生错误而产生失真))，且与人类主观视觉感知一致性较好；无需主观得分进行训练，方法简单。 

附图说明

图1是本发明流程图。 

图2是本发明方法与主观感知得分的散点示意图。 

具体实施方式

下面结合附图和实例对本发明作进一步说明。涉及到无参考图像质量的评测方法，可用于图像视频相关应用中对图像蚀变程度的评测处理。本发明所述基于Contourlet变换域图像特征的无参考图像质量评测方法，根据自然图像在Contourlet变换域中不同子带能量特征之间所呈现的近似线性规律，利用失真图像变化微小的高尺度能量特征预测理想图像的低尺度能量特征，然后通过这些预测值和实际值之间的差异来度量失真图像质量，同时对一些不适用蚀变类型进行能量补偿。具体过程如图1所示。 

(1)选取N(N≥5)幅高质量的理想图像(本发明采用美国德州大学Austin分校LIVE实验室图像质量评价数据库中的29幅高质量的理想图像，参见 http://live.ece.utexas.edu/research/quality/)，对这些理想图像进行Contourlet变换，然后根据下式(1)分别计算Contourlet变换各尺度各方向的平均能量ME_s，o。 

${\mathrm{ME}}_{s,o}=\frac{1}{N}\mathrm{\Σ}{\log }_2|C_{s,o}+\mathrm{\φ}|---\left(1\right)$

式中M_s，o为子带平均能量，s为尺度个数，o为方向个数；N为每个子带的像素个数；C为每个子带的系数；Φ为调整因子，0≤Φ＜1，本发明取为0.01。 

(2)建立预测函数。Contourlet变换各尺度能量特征之间有近似线性关系，为此我们定义预测函数为： 

Y＝β₁+β₂X+β₃X²               (2) 

式中X为高尺度下的子带平均能量，Y为低尺度下的子带平均能量，β₁、β₂、β₃为预测系数。我们利用步骤(1)计算得到的理想图像的各个尺度的子带平均能量，通过最小二乘非线性拟合得到预测函数的系数矩阵。 

(3)图像质量初步度量。利用失真图像的高尺度下的子带平均能量和预测系数矩阵，我们可以预测得到理想图像的低尺度下的子带平均能量PM_o。然后将预测得到的低尺度子带平均能量与由实际失真图像计算得到的子带平均能量的差的和作为图像质量的初步度量，如公式(3)所示。 

$\mathrm{CQ}=\underset{o=5}{\overset{16}{\mathrm{\Σ}}}|{\mathrm{PM}}_o-{\mathrm{TM}}_o|---\left(3\right)$

式中TM_o为由实际失真图像计算得到的子带平均能量，o为子带个数。考虑到当发生严重失真时，高尺度的子带平均能量会发生较大的偏差，其预测值会出现较大的误差，这时我们进行适当调整，使用步骤(1)中选取的理想图像的子带平均能量的均值作为其预测值。 

(4)JPEG失真情况下的能量补偿。JPEG失真能量补偿：块效应是由于图像进行分块压缩而产生的相邻块边界不连续的现象。经实验发现由步骤(3)得到的质量指标CQ对JPEG失真不起作用，为此我们考虑对JPEG失真进行能量补偿。本发明我们采用计算块内外能量比的方法作为JPEG失真类型的能量补偿。由于JPEG分块大小一般为8*8结构，当经过Contourlet变换降采样分解后，块的大小会变为4*4结构。对于1、4方向(相当于水平方向)，块边界部分我们取第1和第4列，块内取第2和第3列；对于5、8方向(相当于垂直方向)，块边界部分我们取第1和第4行，块内取第2和第3行。如下式所示： 

式中BOE为块边界能量，BIE为块内部能量，C(i，j)为子带系数，M为行数，N为列数。 

最后根据块边界能量和块内部能量得到JPEG失真类型的能量补偿JEC： 

$\mathrm{JEC}=\frac{1}{4}\underset{o=1}{\overset{4}{\mathrm{\Σ}}}\frac{{\mathrm{BOE}}_o}{{\mathrm{BIE}}_o}---\left(5\right)$

(5)构造无参考的图像质量评测尺度 

最后我们定义无参考图像质量评测尺度NRIQ为： 

NRIQ＝log(1+CQ+JEC)     (6) 

相比现有技术，本发明具有以下优点： 

(1)能够无参考评测多种失真类型，通过美国德州大学AUSTIN分校LIVE实验室图像质量评测数据库实验，本发明方法同时适用于该数据库中的五种失真类型(JPEG2000压缩、JPEG压缩、白噪声、高斯模糊和Fastfading失真)，而当前相关文献报道中较好的方法，即基于Contourlet域统计模型的无参考型质量评价方法(“曾凯，无参考型自然图像质量评价算法研究，西安电子科技大学硕士学位论文，2009，pp.21-32”)，实际上仅适用于该数据库中的三种失真类型(JPEG2000压缩、高斯模糊和Fastfading失真)，该方法对JPEG和噪声失真效果非常差。 

(2)与人类主观视觉感知一致性较好。通过美国德州大学AUSTIN分校LIVE实验室图像质量评测数据库实验，本发明方法与主观评测得分的斯皮尔曼关系系数和非线性回归系数分别为0.8455和0.8482，超过了全参考的图像质量评测方法PSNR(分别为0.8197和0.8256)，分别提高了约0.0258和0.0226。 

本发明的优点可通过以下实验进一步证明： 

本实验是在美国德州大学Austin分校LIVE实验室图像质量评价数据库(http://live.ece.utexas.edu/research/quality/)上进行的，该数据库中共有779幅失真图像，同时给出了该779幅失真图像的主观得分值(MOS)。为了测试本发明与主观感知的一致性，我们选择了两种度量准则：(1)斯皮尔曼等级次序关系系数(SROCC)，反映客观评测预测成绩的单调性；(2)相关系数(CC)，反映客观评测的精确性。表1和表2给出了本发明方法与相关文献方法的对比情况(一种基于Contourlet域统计模型的无参考型质量评价方法)，“曾凯，无参考型自然图像质量评价算法研究，西安电子科技大学硕士学位论文，2009，pp.21-32”。 

表1本发明方法与相关文献方法的主客观评测的SROCC比较 

表2本发明方法与相关文献方法的主客观评测的CC比较 

从表1和表2可以看出，本发明方法相对文献方法有较好的优越性，能够适用LIVE数据库中的五种失真类型，而文献方法NSS仅适用于三种失真类型(对JPEG和噪声失真效果非常差)。即使与全参考的信噪比方法PSNR相比，本发明方法也在数据库所有图像、单个的JPEG失真和GBLUR失真图像上表现出优势。 

图2显示了本发明方法对LIVE数据库所有蚀变图像的客观评分与其主观评分的散点图，横坐标是本发明方法客观评测图像质量得分，纵坐标是主观评测图像质量得分。该图也说明了本发明方法与主观感知的高度一致性。 

Claims (1)

1.基于Contourlet变换的图像特征的无参考图像质量评测方法，是根据自然图像在Contourlet域中不同子带能量特征之间所呈现的近似线性规律，利用失真图像变化微小的高尺度能量特征去预测其相应的低尺度能量特征，然后对这些预测值和实际值进行比较来度量失真图像质量。具体过程如下：

(1)选取N(N≥5)幅高质量的理想图像，对这些理想图像进行Contourlet变换，然后计算Contourlet变换各尺度各方向的平均能量ME_s，o。

式中ME_s，o为子带平均能量，s为尺度个数，o为方向个数；N为每个子带的像素个数；C为每个子带的系数；Φ为调整因子，0≤Φ＜1，本发明取为0.01。

(2)建立预测函数：Contourlet变换各尺度能量特征之间有近似线性关系，为此我们定义预测函数为：

Y＝β₁+β₂X+β₃X²

式中X为高尺度下的子带平均能量，Y为低尺度下的子带平均能量，β₁、β₂、β₃为预测系数。我们利用步骤(1)计算得到的理想图像的各个尺度的子带平均能量，通过最小二乘非线性拟合得到预测系数矩阵。

(3)预测理想图像低尺度下的子带平均能量：利用失真图像高尺度下的子带平均能量和预测系数矩阵，我们可以预测得到理想图像低尺度下的子带平均能量PM_o。

(4)图像质量的初步度量：我们将预测得到的低尺度子带平均能量与实际失真图像计算得到的低尺度子带平均能量的差的和作为图像质量的初步度量：

式中TM_o为由实际失真图像计算得到的子带平均能量，o为子带个数。考虑到当发生严重失真时，高尺度的子带平均能量会发生较大的偏差，其预测值会出现较大的误差，这时我们进行适当调整，使用理想图像的子带平均能量的均值作为其预测值。

(5)JPEG失真能量补偿：块效应是由于图像进行分块压缩而产生的相邻块边界不连续的现象。经实验发现由步骤(4)得到的质量指标CQ对JPEG失真不起作用，为此我们考虑对JPEG失真进行补偿。本发明我们采用计算块内 外能量比的方法作为JPEG失真类型的能量补偿。由于JPEG分块大小一般为8*8结构，当经过Contourlet变换降采样分解后，块的大小会变为4*4结构。对于1、4方向(相当于水平方向)，块边界部分我们取第1和第4列，块内取第2和第3列；对于5、8方向(相当于垂直方向)，块边界部分我们取第1和第4行，块内取第2和第3行。如下所示：

式中BOE为块边界能量，BIE为块内部能量，C(i，j)为子带系数，M为行数，N为列数。

最后根据块边界能量和块内部能量得到JPEG失真类型的能量补偿JEC：

(6)构造图像质量评测尺度：

最后我们定义无参考的图像质量评测尺度NRIQ：

NRIQ＝log(1+CQ+JEC)。 

Images