CN103996192A - 基于高质量自然图像统计量模型的无参考图像质量评价方法 - Google Patents

Abstract

本发明所示的基于高质量自然图像统计量学习模型的无参考图像质量评价方法：首先从高质量自然图像的第一图像块中学习多元高斯模型所对应的参数；对于测试图像，先将其分割成等大小的第二图像块，并提取每一个第二图像块的多元高斯模型；使用巴氏距离确定多元高斯模型之间的距离，从而确定失真图像质量块的质量；利用视觉显著性线性加权所有失真图像块的质量，最终得到测试图像的客观评价分数，其可较好地克服了现有评价方法泛化能力弱的问题，满足实际应用对无参考图像质量评价方法的要求。

Description

基于高质量自然图像统计量模型的无参考图像质量评价方法

技术领域

本发明属于图像处理技术领域，涉及图像质量的评测，可广泛应用于图像压缩、图像存储、图像通信、图像检测等领域。

背景技术

图像是客观对象的一种相似性的、生动性的描述或者写真，是人类社会活动中最常用的信息载体。伴随着信号处理和计算机科学技术的发展，图像工程也成为了一门内容丰富且发展迅速的学科。一个图像系统包括图像的采集、显示、存储、通信、处理和分析。它广泛应用于国民经济的各个领域，如：科学研究、工业生产、医疗卫生、教育、娱乐、管理和通信等，对于推动社会发展，改善人们生活水平都起到重要的作用。虽然图像技术取得了迅速的发展，但在目前的技术水平下，在图像的采集、传输和处理过程中都会产生一些失真。很多应用需要量化图像中存在的失真会给感官造成怎样的影响。通过图像质量客观评价的方法，可以对一些图像处理方法进行有效的评估，最终取得一个较好的图像视觉效果。

目前数字图像质量评价方法可以分为两类：主观评价和客观评价。主观评价是指通过主观实验来评价图像质量。主观评价具有准确、有效等优点，但也存在严重的缺点。一是主观评价只能测试有限数量的图像样本；二是实验过程很耗时并且费用昂贵。因此，人们需要设计符合主观评价结果的客观的图像质量评价方法。

数字图像客观评价方法的研究是图像信息工程研究中最重要的基础研究课题之一。依据对原始图像参考度的不同，图像质量的客观评价可分为三种：全参考(FR)、部分参考(RR)和无参考(NR)。

全参考型，就是在评价失真图像时，可以将无任何质量失真的原始图像作为参考。目前的大多数图像质量评价方法都属于全参考型。

由于参考图像数据量往往比较大，在一些情况下不便于传输和存储，往往不能全部提供。所谓部分参考型，是指该方法仅利用原始图像的部分信息来估计失真图像的视觉感知质量，一个成功的部分参考型图像质量评价方法必须在特征数据率和图像质量的预测精度上取得很好的平衡。

相比全参考型和无参考型评价方法，无参考型在应用方面具有更大的潜力。这是由于在大多数应用中，参考图像的全部甚至部分信息是很难获得的。近些年来，随着图像质量评价领域的发展，无参考型图像质量评价方法引起了越来越多的关注。但目前尚未存在一种被业界普遍承认的无参考图像评价方法方案，因此这个研究方向具有非常大的潜力与意义。

目前已知的无参考图像质量评价方法均是基于学习的。这些方法的特点在于：首先从图像中提取合适的特征，然后使用机器学习的方法在图像特征和质量(由主观实验得到)之间构建映射关系。这类方法的代表有:“A.Moorthy and A.Bovik.A two-step framework forconstructing blind image quality indices.IEEE Signal Process.Letters,17(5):513-516,2010.”，即BIQI；“A.Moorthy and A.Bovik.Blind image quality assessment:from natural scene statistics toperceptual quality.IEEE Trans.IP,20(12):3350-3364,2011”，即DIIVINE；“M.Sadd,A.Bovik,and C.Charrier.A DCT statistics-based blind image quality index.IEEE Signal Process.Letters,17(6):583-586,2010”，即BLIINDS；“M.Sadd,A.Bovik,and C.Charrier.Blind image qualityassessment:A natural scene statistics approach in the DCT domain.IEEE Trans.IP,21(8):3339-3352,2012”，即BLIINDS2；“A.Mittal,A.Moorthy,and A.Bovik,No-reference imagequality assessment in the spatial domain.IEEE Trans.IP,21(12):4695-4708,2012”，即BRISQUE；“P.Ye,J.Kumar,L.Kang,and D.Doermann,Unsupervised feature learning framework forno-reference image quality assessment.In CVPR,pages1098-1105,2012”，即CORNIA；“中国专利申请号：102945552。专利名称为基于自然场景统计中稀疏表示的无参考图像质量评价方法。该方法自述为：利用小波变换对图像进行子带分解，根据自然场景统计模型方法提取图像的有效特征；通过组合一系列不同内容、不同失真类型的图像，提取其自然场景统计特征以构建特征字典；在构建的特征字典中，用稀疏表示测试图像的自然场景统计特征；利用稀疏表示系数线性加权相关图像的差异平均主观分数值DMOS，最终得到测试图像质量的评价值。尽管这些方法在LIVE数据库上取得了不错的结果，但这些的方法的泛化能力都较差。这主要是由于：1)实际应用中出现的失真类型在数据库的训练集中可能不存在；2)这些方法没有考虑训练与测试数据集的关系，所以当这些方法在一个数据库上训练，而在另一个数据库上测试时，精确度往往较低。换言之，目前无参考图像质量评价方法研究难点在于设计一种能在所有的数据库上(LIVE,CSIQ,TID2013)上均取得较好的结果。

发明内容

本发明的目的在于提供一种基于高质量自然图像统计量学习模型的无参考图像质量评价方法，其解决了传统无参考图像质量评价方法泛化能力弱、评价结果不准确的缺点，满足实际应用对无参考图像质量评价方法的要求。

为达到上述目的，本发明的解决方案是：

一种基于高质量自然图像统计量模型的无参考图像质量评价方法，包括以下步骤：

(一)从无损图像中学习参考多元高斯模型，以确定作为衡量基准的无损图像质量块特征(μ,∑)：

(a)对于每一幅无损图像，将其缩放为固定尺寸E，并且将缩放后的无损图像分成多块大小为e的RGB三颜色通道图像块，其中E的取值范围为300×300至600×600，e的取值范围为60×60至100×100；

(b)从无损图像多块大小为e的图像块中挑选出对比度>0.78的第一图像块；

(c)分别使用归一化亮度特征、归一化亮度乘积特征、梯度与梯度幅值特征、log-Gabor滤波器响应值特征以及颜色特征5种自然图像的统计规律提取出每一个第一图像块所对应的特征，记为

(d)对X使用PCA降维，得到一个投影矩阵每一个特征向量x_i被转换成：

(e)使用最大似然估计从中学习到对应的多元高斯分布，表示为：

$f\left(x\right)=\frac{1}{{\left(2\mathrm{\π}\right)}^{m/2}{\left|\mathrm{\Σ}\right|}^{1/2}}\exp (-\frac{1}{2}{(x-u)}^T{\mathrm{\Σ}}^{-1}\left(\text{x-u}\right)),$

其中μ和∑分别代表x的平均向量和协方差矩阵；

(二)确定测试图像的第二图像块对应特征

(I)对于每一幅测试图像，将其缩放为固定尺寸E，并且将缩放后的无损图像分成k(k取值为50到120)块大小为e的第二图像块，其中E的取值范围为300×300至600×600，e的取值范围为60×60至100×100；

(II)对于每一个第二图像块，分别使用归一化亮度特征、归一化亮度乘积特征、梯度与梯度幅值特征、log-Gabor滤波器响应值特征以及颜色特征5种自然图像的统计规律提取出与质量相关的特征y_i,并使用投影矩阵Φ对其降维：

$y_i^1={\mathrm{\Φ}}^T{y}_i$

(III)对于所有的第二图像块的集合使用最大似然估计求出协方差矩阵∑¹，考虑到运算效率，所有的第二图像块共享一个协方差矩阵∑¹，则第二图像块对应的特征为

(三)使用巴氏距离确定k块第二图像块的质量：使用测试图像块的多元高斯模型学习到的参数与作为基准的无损图像多元高斯模型(μ,∑)之间的巴氏距离评价每一块第二图像块的质量：

$q_i=\sqrt{{(-y_i^1)}^T{\left(\frac{\mathrm{\Σ}+{\mathrm{\Σ}}^1}{2}\right)}^{-1}(-y_i^1)}$

其中q_i是计算得到的一个图像块的质量；

(四)利用视觉显著性线性加权所有失真图像块的质量，最终得到测试图像的客观评价分数：

$q={\mathrm{\Σ}}_{i=1}^k\frac{q_i\·s_i}{{\mathrm{\Σ}}_{i=1}^k{s}_i}$

其中s_i代表图像块i对应的视觉显著性值。

步骤(一)中，(1)第一图像块与第二图像块的归一化亮度特征提取步骤如下：

(1-1)将RGB三颜色通道的第一图像块或第二图像块转换为灰度图像，用I表示；

(1-2)对于灰度图像块I进行局部归一化操作使其符合单元高斯分布：

$\stackrel{-}{I}(i,j)=\frac{I(i,j)-\mathrm{\μ}(i,j)}{\mathrm{\σ}(i,j)+1}$

其中i和j分别代表空间坐标，μ和σ分别表示局部平均值和对比：

$\begin{array}{c}\mathrm{\μ}(i,j)={\mathrm{\Σ}}_{k=-K}^K{\mathrm{\Σ}}_{l=-L}^L{\mathrm{\ω}}_{k,l}I(i+k,j+l)\\ \mathrm{\σ}(i,j)=\sqrt{{\mathrm{\Σ}}_{k=-K}^K{\mathrm{\Σ}}_{l=-L}^L{\mathrm{\ω}}_{k,l}{[I(i+k,j+l)-\mathrm{\μ}(i,j)]}^2}\end{array}$

其中ω＝{ω_k,l|k＝-k,…,k,l＝-L,…,L}定义了一个高斯窗口；

(1-3)使用零均值的广义高斯分布(Generalized Gaussian Distribution,GGD)对的分布进行建模：

$g(x;\mathrm{\α},\mathrm{\β})=\frac{\mathrm{\α}}{2\mathrm{\β\Γ}\left(\frac{1}{\mathrm{\α}}\right)}\exp (-\frac{{\left|x\right|}^{\mathrm{\α}}}{\mathrm{\β}})$

其中Γ(·)代表gamma函数：参数α和β即为从I中提取出对应的特征。

步骤(一)中，(2)第一图像块、第二图像块的归一化亮度乘积特征提取步骤如下：

对于在归一化亮度中归一化后的灰度图像块使用0模式不对称GDD对中的相邻像素的乘积，即和上分别进行建模：

$g_{\mathrm{\α}}(x;\mathrm{\γ},{\mathrm{\β}}_l,{\mathrm{\β}}_r)=\left\{\begin{array}{c}\frac{\mathrm{\γ}}{({\mathrm{\β}}_l+{\mathrm{\β}}_r)\mathrm{\Γ}(1/\mathrm{\γ})}{e}^{-{\left(\frac{-x}{{\mathrm{\β}}_l}\right)}^{\mathrm{\γ}}},\∀x\≤0\\ \frac{\mathrm{\γ}}{({\mathrm{\β}}_l+{\mathrm{\β}}_r)\mathrm{\Γ}(1/\mathrm{\γ})}{e}^{-{\left(\frac{-x}{{\mathrm{\β}}_r}\right)}^{\mathrm{\γ}}},\∀x>0\end{array}\right.$

不对称GDD的均值为：

η＝(β_r-β_r)Γ(2/γ)Γ(1/γ)

参数(γ,β_l,β_r,η)可以被用做质量相关的特征，通过在4个不同方向，即 和上提取特征，一共可以得到16个与质量相关的特征。

步骤(一)中，(3)第一图像块、第二图像块的梯度与梯度幅值特征提取步骤如下：将RGB三颜色通道的第一图像块转换到对色空间：

$\left[\begin{array}{c}{O}_1\\ O_2\\ O_3\end{array}\right]=\left[\begin{array}{ccc}0.06& 0.63& 0.27\\ 0.30& 0.04& -0.35\\ 0.34& -0.6& 0.17\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]$

对于O₁、O₂和O₃，分别提取各自通道上的梯度与梯度幅值特征作为第一图像块的特征：

(3-1)对于O₁、O₂和O₃，分别水平和垂直两个方向对图像I使用高微分滤波器做卷积，以得到梯度图O_ih和O_iv，i＝1、2、3；

(3-2)使用GDD对O_ih和O_iv的分布进行建模，GDD模型的形状参数用做质量相关的特征

$g(x;\mathrm{\α},\mathrm{\β})=\frac{\mathrm{\α}}{2\mathrm{\β\Γ}\left(\frac{1}{\mathrm{\α}}\right)}\exp (-\frac{{\left|x\right|}^{\mathrm{\α}}}{\mathrm{\β}})$

参数α和β为与质量相关的特征

(3-3)使用威布尔分布对梯度幅值图像，即的分布进行建模：

$p(x;a,b)=\left\{\begin{array}{c}\frac{a}{b^a}{x}^{a-1}\exp (-\frac{x^a}{b}),x\&GreaterEqual;0\\ 0,x<0\end{array}\right.$

参数a和b为与质量相关的特征。

步骤(一)中，(4)第一图像块、第二图像块的log-Gabor滤波器响应值特征提取步骤如下：

(4-1)在傅立叶域域中，2D log-Gabor滤波器的转换函数为：

$G(\mathrm{\&omega;},\mathrm{\&theta;})=e^{-\frac{{\left(\log \left(\frac{\mathrm{\&omega;}}{{\mathrm{\&omega;}}_0}\right)\right)}^2}{2{\mathrm{\&sigma;}}_r^2}}\&CenterDot;e^{-\frac{{(\mathrm{\&theta;}-{\mathrm{\&theta;}}_j)}^2}{2{\mathrm{\&sigma;}}_{\mathrm{\&theta;}}^2}}$

其中θ_j＝jπ/J,j＝0,1,…,J-1}是方向的角度，J是角度的个数，ω₀是中心频率，σ_r控制滤波的径向带宽，σ_θ确定角带宽；

(4-2)使用N个不同中心频率和J个不同方向的log-Gabor滤波器对灰度图像块I做卷积，得到一系列的响应：

{(e_n,j(x),o_n,j(x)}:|n＝0,…,N-1,j＝0,…,J-1}，

其中e_n,j(x)和o_n,j(x)分别表示对实部和虚部的响应；

(4-3)对于{e_n,j(x)}和{o_n,j(x)}，分别采用三种不同的策略进行建模并提取对应的参数作为质量相关的特征：

(4-3-1)使用GDD分别对{e_n,j(x)}或{o_n,j(x)}的分布进行建模，建模后模型中的参数α和β为与质量相关的特征；

(4-3-2)使用GDD分别对{e_n,j(x)}或{o_n,j(x)}梯度的分布进行建模，建模后模型中的参数α和β为与质量相关的特征；

(4-3-3)使用威布尔分布对{e_n,j(x)}或{o_n,j(x)}的梯度幅值进行建模，建模后模型中的参数a和b为与质量相关的特征。

步骤(一)中，(5)第一图像块、第二图像块的颜色特征提取步骤如下：

(5-1)在log对色空间内，图像块的数据符合高斯分布，将其对色RGB图像块P转换到对数空间并去均值：

其中μ_R，μ_G和μ_B分别代表logR(i,j)，logG(i,j)和logB(i,j)的均值；

(5-2)将颜色空间内的像素映射到对色空间内：

(5-3)使用如下高斯模型分别对l₁，l₂和l₃的分布建模：

$f(x;\mathrm{\&zeta;},{\mathrm{\&rho;}}^2)=\frac{1}{\sqrt{2\mathrm{\&pi;}}\mathrm{\&rho;}}\exp \left(\frac{-{(x-\mathrm{\&zeta;})}^2}{2{\mathrm{\&rho;}}^2}\right)$

参数ζ和ρ²被用作与质量相关的特征。

所述步骤(2)中，

通过计算方差确定对比度>0.78的第一图像块。

由于采用上述方案，本发明的有益效果是：

本发明所示的一种基于高质量自然图像统计量学习模型的无参考图像质量评价方法，

(1)首先使用归一化的亮度、归一化亮度的乘积、梯度和梯度幅值、log-Gabor滤波器响应值以及颜色这五种不同的与质量相关的自然图像统计规律从无损图像的第一图像块中学习对应的特征，即多元高斯模型(μ,∑)作为对比标准

(2)然后将测试图像对照第一图像模块将其分割成等大小的第二图像块，并提取每一个第二图像块的多元高斯模型

(3)使用巴氏距离确定多元高斯模型之间的距离，从而确定失真图像质量块的质量；

(4)利用视觉显著性线性加权所有失真图像块的质量，最终得到测试图像的客观评价分数。

通过上述4个步骤的配合，本发明所示的一种基于高质量自然图像统计量学习模型的无参考图像质量评价方法。这种方法不需要训练，因此无需依赖训练集，从而较好地克服了现有评价方法泛化能力弱的问题；于此同时，本方法的预测准确性也较高，可以满足实际应用对无参考图像质量评价方法的要求。

附图说明

图1是本发明无参考图像质量评价方法的工作流程图；

图2是用于学习高质量图像多元高斯模型所使用的图像集。

具体实施方式

本发明所示的基于高质量自然图像统计量学习模型的无参考图像质量评价方法：首先从高质量自然图像块中学习多元高斯模型所对应的参数；对于测试图像，先将其分割成等大小的图像块，并提取每一个图像块的多元高斯模型；使用巴氏距离确定多元高斯模型之间的距离，从而确定失真图像质量块的质量；利用视觉显著性线性加权所有失真图像块的质量，最终得到测试图像的客观评价分数。

图1给出了本发明所示的无参考图像质量评价方法的流程图，以下详细描述每一步骤的细节：

(一)：从无损图像中学习作为衡量基准的多元高斯模型(μ,∑)。

给定一系列的无损高质量图像，首先将每幅图像分成固定大小图像块，并选择对比度大于0.78的图像块作为第一图像块，根据自然图像块的统计规律，可以从这些无损图像的第一图像块中学习对应的特征，这部分特征将作为衡量测试图像块(即失真图像块)质量的基准。

(a)对于每一幅无损图像，我们首先将其缩放到一个固定的尺寸E(E的取值为300×300到600×600之间)，并且将其分割成固定大小e(60×60到100×100之间)的图像块；

(b)然后计算每个图像块的方差，从而挑选出对比度较大(大于0.78)的第一图像块；

(c)分别使用归一化亮度特征、归一化亮度乘积特征、梯度与梯度幅值特征、log-Gabor滤波器响应值特征以及颜色特征5种自然图像的统计规律提取出每一个第一图像块所对应的特征，记为

使用以上5种方式提取每一个第一图像块对应的特征之后，会得到一系列的第一图像块特征集合，用表示，其中d表示提取出的每一个特征的维度，n表示在这一系列的无损图像块中挑选出的对比度大于0.78的图像块的数量。

(d)对X使用PCA降维，得到一个投影矩阵每一个特征向量x_i被转换成：

(e)使用最大似然估计从中学习到对应的多元高斯分布，表示为：

$f\left(x\right)=\frac{1}{{\left(2\mathrm{\&pi;}\right)}^{m/2}{\left|\mathrm{\&Sigma;}\right|}^{1/2}}\exp (-\frac{1}{2}{(x-u)}^T{\mathrm{\&Sigma;}}^{-1}\left(\text{x-u}\right)),$

其中μ和∑分别代表x的平均向量和协方差矩阵；

假设i＝1,…,n是m维多元高斯分布的独立样本，可以使用最大似然估计从中学习到对应的多元高斯分布。学习到的多元高斯模型可以被表示为：

$f\left(x\right)=\frac{1}{{\left(2\mathrm{\&pi;}\right)}^{m/2}{\left|\mathrm{\&Sigma;}\right|}^{1/2}}\exp (-\frac{1}{2}{(x_i^1-\mathrm{\&mu;})}^T{\mathrm{\&Sigma;}}^{-1}(x_i^1-\mathrm{\&mu;}))$

其中μ和∑分别代表x的平均向量和协方差矩阵。图2给出了用于学习高质量图像的多元高斯模型所使用的图片集，μ和∑即提取出的无损图像块这一基准。

(二)：确定测试图像(失真图像)的第二图像块对应特征

预测一幅测试图像的质量时，与步骤(一)相似，

(I)首先需要将测试图像缩放到一个固定尺寸E，并将其分成k(k取值为50到120，一旦确定，则每幅图像选取的图像块的数量应该相等)个同等的大小为e的第二图像块(此处尺寸和图像块的大小与从高质量自然图像统计量中学习多元高斯模型这一步骤需保持一致，E的取值为300×300到600×600之间，e的取值为60×60到100×100之间)。

(II)对于每一个第二图像块，使用和步骤(一)中一样五种自然图像的统计规律提取出与质量相关的特征：y_i,并用之前学习的投影矩阵Φ对其降维：

$y_i^1={\mathrm{\&Phi;}}^T{y}_i$

(III)对于所有的第二图像块的集合可使用最大似然估计求出协方差矩阵∑¹。考虑到运算效率，所有的图像块共享一个协方差矩阵∑¹，即的协方差矩阵；则第二图像块对应的特征为

上述步骤(一)和步骤(二)中，使用五种自然图像的统计规律从第一图像块和第二图像块中提取对应特征的具体又包括如下步骤。

(1)归一化亮度特征

(1-1)首先将第一图像块或第二图像块转换为灰度图像，用I表示。

(1-2)对灰度图像块I进行局部归一化操作使其符合单元高斯分布，这一过程可以被描述为

$\stackrel{-}{I}(i,j)=\frac{I(i,j)-\mathrm{\&mu;}(i,j)}{\mathrm{\&sigma;}(i,j)+1}$

其中i和j分别代表空间坐标，μ和σ分别表示局部平均值和对比：

$\begin{array}{c}\mathrm{\&mu;}(i,j)={\mathrm{\&Sigma;}}_{k=-K}^K{\mathrm{\&Sigma;}}_{l=-L}^L{\mathrm{\&omega;}}_{k,l}I(i+k,j+l)\\ \mathrm{\&sigma;}(i,j)=\sqrt{{\mathrm{\&Sigma;}}_{k=-K}^K{\mathrm{\&Sigma;}}_{l=-L}^L{\mathrm{\&omega;}}_{k,l}{[I(i+k,j+l)-\mathrm{\&mu;}(i,j)]}^2}\end{array}$

其中ω＝{ω_k,l|k＝-K,…,K,l＝-L,…,L}定义了一个高斯窗口。

(1-3)使用零均值的广义高斯分布(Generalized Gaussian Distribution,GGD)对的分布进行建模：

$g(x;\mathrm{\&alpha;},\mathrm{\&beta;})=\frac{\mathrm{\&alpha;}}{2\mathrm{\&beta;\&Gamma;}(1/\mathrm{\&alpha;})}\exp (-\frac{{\left|x\right|}^{\mathrm{\&alpha;}}}{\mathrm{\&beta;}})$

其中Γ(·)代表gamma函数：

$\mathrm{\&Gamma;}\left(x\right)={\&Integral;}_0^{\&infin;}{t}^{x-1}{e}^{-t}\mathrm{dt},x>0$

参数α和β即从I中提取出对应的特征。

(2)归一化亮度乘积特征

对于在归一化亮度中归一化后的灰度图像块可以用0模式不对称GDD对中的相邻像素的乘积，即和上

$g_{\mathrm{\&alpha;}}(x;\mathrm{\&gamma;},{\mathrm{\&beta;}}_l,{\mathrm{\&beta;}}_r)=\left\{\begin{array}{c}\frac{\mathrm{\&gamma;}}{({\mathrm{\&beta;}}_l+{\mathrm{\&beta;}}_r)\mathrm{\&Gamma;}(1/\mathrm{\&gamma;})}{e}^{-{\left(\frac{-x}{{\mathrm{\&beta;}}_l}\right)}^{\mathrm{\&gamma;}}},\&ForAll;x\&le;0\\ \frac{\mathrm{\&gamma;}}{({\mathrm{\&beta;}}_l+{\mathrm{\&beta;}}_r)\mathrm{\&Gamma;}(1/\mathrm{\&gamma;})}{e}^{-{\left(\frac{-x}{{\mathrm{\&beta;}}_r}\right)}^{\mathrm{\&gamma;}}},\&ForAll;x>0\end{array}\right.$

不对称GDD的均值为：

η＝(β_r-β_r)Γ(2/γ)Γ(1/γ)

参数(γ,β_l,β_r,η)可以被用做质量相关的特征。通过在4个不同方向，即 和上提取特征，一共可以得到16个与质量相关的特征。

(3)梯度与梯度幅值特征

(3-1)在求梯度与梯度幅值特征之间，我们需要首先将RGB的第一图像块或第二图像块转换到对色空间：

$\left[\begin{array}{c}{O}_1\\ O_2\\ O_3\end{array}\right]=\left[\begin{array}{ccc}0.06& 0.63& 0.27\\ 0.30& 0.04& -0.35\\ 0.34& -0.6& 0.17\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]$

(3-2)对于O₁、O₂和O₃，我们可以分别提取这个通道上的梯度与梯度幅值特征作为图像块P的特征。

此处我们用O表示三个通道中的任意一个，描述怎么在任意一个通道上提取特征。

(3-3-1)对于某一通道O，沿着水平和垂直两个方向对图像I使用高微分滤波器做卷积，可以得到梯度图O_h和O_v。

(3-3-2)此时，可以使用GDD对O_h和O_v的分布进行建模。GDD模型的形状参数可以用做质量相关的特征，使用的方法和归一化的亮度中使用的方法一样，

$g(x;\mathrm{\&alpha;},\mathrm{\&beta;})=\frac{\mathrm{\&alpha;}}{2\mathrm{\&beta;\&Gamma;}\left(\frac{1}{\mathrm{\&alpha;}}\right)}\exp (-\frac{{\left|x\right|}^{\mathrm{\&alpha;}}}{\mathrm{\&beta;}})$

参数α,β为与质量相关的特征

(3-2-3)于此同时，可以用威布尔分布对梯度幅值图像，即的分布进行建模：

$p(x;a,b)=\left\{\begin{array}{c}\frac{a}{b^a}{x}^{a-1}\exp (-\frac{x^a}{b}),x\&GreaterEqual;0\\ 0,x<0\end{array}\right.$

参数a和b可以被用做与质量相关的特征。

(4)log-Gabor滤波器响应值特征

(4-1)在傅立叶域域中，2D log-Gabor滤波器的转换函数为：

$G(\mathrm{\&omega;},\mathrm{\&theta;})=e^{-\frac{{\left(\log \left(\frac{\mathrm{\&omega;}}{{\mathrm{\&omega;}}_0}\right)\right)}^2}{2{\mathrm{\&sigma;}}_r^2}}\&CenterDot;e^{-\frac{{(\mathrm{\&theta;}-{\mathrm{\&theta;}}_j)}^2}{2{\mathrm{\&sigma;}}_{\mathrm{\&theta;}}^2}}$

其中θ_j＝jπ/J,j＝0,1,…,J-1}是方向的角度，J是角度的个数，ω₀是中心频率，σ_r控制滤波的径向带宽，σ_θ确定角带宽。

(4-2)使用N个不同中心频率和J个不同方向的log-Gabor滤波器对灰度图像块I做卷积，以得到一系列的响应：{(e_n,j(x),o_n,j(x)):|n＝0,…,N-1,j＝0,…,J-1}，

其中e_n,j(x)和o_n,j(x)分别表示对实部和虚部的响应。

(4-3)对于{e_n,j(x)}和{o_n,j(x)}，我们采用三种不同的策略进行建模并提取对应的参数作为质量相关的特征：这三种建模的方式已在之前的方法中提及。

(4-3-1)一是使用GDD分别对{e_n,j(x)}或{o_n,j(x)}的分布进行建模，建模后模型中的参数α和β为与质量相关的特征；

(4-3-2)二是用GDD分别对{e_n,j(x)}或{o_n,j(x)}梯度的分布进行建模，建模后模型中的参数α和β为与质量相关的特征；

(4-3-3)三是用威布尔分布对{e_n,j(x)}或{o_n,j(x)}的梯度幅值进行建模，建模后模型中的参数a和b为与质量相关的特征。

(5)颜色特征：

在log对色空间内，图像块的数据符合高斯分布，对色RGB格式的第一图像块或第二图像块,

(5-1)首先将其转换到对数空间并去均值：

其中μ_R，μ_G和μ_B分别代表logR(i,j)，logG(i,j)和logB(i,j)的均值。

(5-2)然后，将颜色空间内的像素映射到对色空间内：

可以使用如下高斯模型分别对l₁，l₂和l₃的分布建模：

$f(x;\mathrm{\&zeta;},{\mathrm{\&rho;}}^2)=\frac{1}{\sqrt{2\mathrm{\&pi;}}\mathrm{\&rho;}}\exp \left(\frac{-{(x-\mathrm{\&zeta;})}^2}{2{\mathrm{\&rho;}}^2}\right)$

参数ζ和ρ²被用作与质量相关的特征。

(三)：确定每一个失真图像块的质量

已知每一个失真的第一图像块的特征可以用表示，而无损图像的第二图像块的质量块基准为(μ,∑)，可以通过计算这两者之间的距离来确定图像块P的质量：

$q_i=\sqrt{{(-y_i^1)}^T{\left(\frac{\mathrm{\&Sigma;}+{\mathrm{\&Sigma;}}^1}{2}\right)}^{-1}(-y_i^1)}$

(四)确定失真图像的质量。

对于测试图像，我们会确定其视觉显著图。在采样图像块的过程中，我们也会采样图像块对应的视觉显著图块，并将这个视觉显著图块的视觉显著性和作为图像块的视觉显著性，利用视觉显著性线性加权所有测试图像块的质量，最终得到测试图像的客观评价分数：

$q={\mathrm{\&Sigma;}}_{i=1}^k\frac{q_i\&CenterDot;s_i}{{\mathrm{\&Sigma;}}_{i=1}^k{s}_i}$

其中s_i代表图像块i对应的视觉显著性值，q为最后的质量。

以下通过具体实验对本发明进一步说明：

实验条件与评分标准：本实验在4个公开的图像质量评估数据库，即TID2013，CSIQ，LIVE和LIVE Multiply Distortion(分为MD1和MD2)上进行。表1罗列了这些数据库的主要信息：Spearman等级次序相关系数(SRCC)和皮尔森线性相关系数(PLCC)用于评价方法的准确性；SRCC(PLCC)的取值范围是0～1，越接近1，代表准确性越高；挑选的比较方法有BIQI(the blind image quality index,盲图像质量指标)、BRISQUE(blind image spatial qualityevaluator,无参考图像空间质量评价)、BLIINDS2()、DIIVINE(Distortion Identification-basedImage Verity and INtegrity Evaluation,；以失真识别为基础的图像评价)和CORNIA(CodebookRepresentation for No-Reference Image Assessment,字典表示的无参考图像评价方法)。

表1.测试数据库主要信息

实验1：单个数据库上实验。在这个实验中，所有的方法在单个数据库上进行测试(即在某个数据库中选取部分作为训练，剩余部分作为测试)。对于基于训练的方法，分别选取80％，50％和10％的数据作为训练，剩余部分作为测试。本发明的方案不需要测试，但为了保证实验的合理性，此处按照和基于训练的方法同样的策略进行测试，实验结果如表2所示，从表2可以看出，对于基于学习的方法，当训练的数据量下降时，预测准确性快速下降，而本发明提出的方法在不需要学习的前提下(即训练的数据量与本发明的预测准确性无关)，预测的准确性与CORNIA，BRISUQE和BLIINDS2相当，并且明显高于BIQI和DIIVINE。

表2.在单个数据库上训练并测试的结果

实验2：跨数据库实验。目前为止大部分的无参考图像质量评价都在实验1的策略下进行实验。然而，实验1中使用的实验策略并不能充分验证无参考图像质量评价方法的准确性，这主要是由于：实验1的策略假设测试图像的失真类型已经包含在训练数据集中，而这种假设在实际应用中是不合理的。在实验2中，所有基于训练的方法将统一在LIVE数据库上进行训练并在TID2013、CSIQ、LIVE MD1和LIVEMD2上测试，具体的实验结果如表3所示，表4给出了按照失真图像数量加权之后的评价结果。从表3和表4可以看出，当基于学习的方法在LIVE上训练而在其他数据库上测试时，

表3.在LIVE数据库上训练在其他数据库上测试的结果

表4.按测试图像数量加权之后测试结果

上述的对实施例的描述是为便于该技术领域的普通技术人员能理解和使用本发明。熟悉本领域技术的人员显然可以容易地对这些实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，不脱离本发明范畴所做出的改进和修改都应该在本发明的保护范围之内

Claims (7)

1.一种基于高质量自然图像统计量模型的无参考图像质量评价方法，其特征在于：包括以下步骤：

(一)从无损图像中学习参考多元高斯模型，以确定作为衡量基准的无损图像质量块特征(μ,∑)：

(a)对于每一幅无损图像，将其缩放为固定尺寸E，并且将缩放后的无损图像分成多块大小为e的RGB三颜色通道图像块，其中E的取值范围为300×300至600×600，e的取值范围为60×60至100×100；

(b)从无损图像多块大小为e的图像块中挑选出对比度>0.78的第一图像块；

(c)分别使用归一化亮度特征、归一化亮度乘积特征、梯度与梯度幅值特征、log-Gabor滤波器响应值特征以及颜色特征5种自然图像的统计规律提取出每一个第一图像块所对应的特征，记为

(d)对X使用PCA降维，得到一个投影矩阵每一个特征向量x_i被转换成：

(e)使用最大似然估计从中学习到对应的多元高斯分布，表示为：

$f\left(x\right)=\frac{1}{{\left(2\mathrm{\&pi;}\right)}^{m/2}{\left|\mathrm{\&Sigma;}\right|}^{1/2}}\exp (-\frac{1}{2}{(x-\mathrm{\&mu;})}^T{\mathrm{\&Sigma;}}^{-1}(x-\mathrm{\&mu;})),$

其中μ和∑分别代表x的平均向量和协方差矩阵；

(二)确定测试图像的第二图像块对应特征

(I)对于每一幅测试图像，将其缩放为固定尺寸E，并且将缩放后的无损图像分成k(k取值为50到120)块大小为e的第二图像块，其中E的取值范围为300×300至600×600，e的取值范围为60×60至100×100；

(II)对于每一个第二图像块，分别使用归一化亮度特征、归一化亮度乘积特征、梯度与梯度幅值特征、log-Gabor滤波器响应值特征以及颜色特征5种自然图像的统计规律提取出与质量相关的特征y_i，并使用投影矩阵Φ对其降维：

$y_i^1={\mathrm{\&Phi;}}^T{y}_i$

(III)对于所有的第二图像块的集合使用最大似然估计求出协方差矩阵∑¹，考虑到运算效率，所有的第二图像块共享一个协方差矩阵∑¹，则第二图像块对应的特征为

(三)使用巴氏距离确定k块第二图像块的质量：使用测试图像块的多元高斯模型学习到的参数与作为基准的无损图像多元高斯模型(μ,∑)之间的巴氏距离评价每一块第二图像块的质量：

$q_i=\sqrt{{(-y_i^1)}^T{\left(\frac{\mathrm{\&Sigma;}+{\mathrm{\&Sigma;}}^1}{2}\right)}^{-1}(-y_i^1)}$

其中q_i是计算得到的一个图像块的质量；

(四)利用视觉显著性线性加权所有失真图像块的质量，最终得到测试图像的客观评价分数：

$q={\mathrm{\&Sigma;}}_{i=1}^k\frac{q_i\&CenterDot;s_i}{{\mathrm{\&Sigma;}}_{i=1}^k{s}_i}$

其中s_i代表图像块i对应的视觉显著性值。

2.根据权利要求1所述的无参考图像质量评价方法，其特征在于：

步骤(一)中，(1)第一图像块与第二图像块的归一化亮度特征提取步骤如下：

(1-1)将RGB三颜色通道的第一图像块或第二图像块转换为灰度图像，用I表示；

(1-2)对于灰度图像块I进行局部归一化操作使其符合单元高斯分布：

$\stackrel{-}{I}(i,j)=\frac{I(i,j)-\mathrm{\&mu;}(i,j)}{\mathrm{\&sigma;}(i,j)+1}$

其中i和j分别代表空间坐标，μ和σ分别表示局部平均值和对比：

$\begin{array}{c}\mathrm{\&mu;}(i,j)={\mathrm{\&Sigma;}}_{k=-K}^K{\mathrm{\&Sigma;}}_{l=-L}^L{\mathrm{\&omega;}}_{k,l}I(i+k,j+l)\\ \mathrm{\&sigma;}(i,j)=\sqrt{{\mathrm{\&Sigma;}}_{k=-K}^K{\mathrm{\&Sigma;}}_{l=-L}^L{\mathrm{\&omega;}}_{k,l}{[I(i+k,j+l)-\mathrm{\&mu;}(i,j)]}^2}\end{array}$

其中ω＝{ω_k,l|k＝-K,…,K,l＝-L,…,L}定义了一个高斯窗口；

(1-3)使用零均值的广义高斯分布(Generalized Gaussian Distribution,GGD)对的分布进行建模：

$g(x;\mathrm{\&alpha;},\mathrm{\&beta;})=\frac{\mathrm{\&alpha;}}{2\mathrm{\&beta;\&Gamma;}\left(\frac{1}{\mathrm{\&alpha;}}\right)}\exp (-\frac{{\left|x\right|}^{\mathrm{\&alpha;}}}{\mathrm{\&beta;}})$

其中Γ(·)代表gamma函数：参数α和β即为从I中提取出对应的特征。

3.根据权利要求2所述的无参考图像质量评价方法，其特征在于：

步骤(一)中，(2)第一图像块、第二图像块的归一化亮度乘积特征提取步骤如下：

对于在归一化亮度中归一化后的灰度图像块使用0模式不对称GDD对中的相邻像素的乘积，即和上分别进行建模：

$g_{\mathrm{\&alpha;}}(x;\mathrm{\&gamma;},{\mathrm{\&beta;}}_l,{\mathrm{\&beta;}}_r)=\left\{\begin{array}{c}\frac{\mathrm{\&gamma;}}{({\mathrm{\&beta;}}_l+{\mathrm{\&beta;}}_r)\mathrm{\&Gamma;}(1/\mathrm{\&gamma;})}{e}^{-{\left(\frac{-x}{{\mathrm{\&beta;}}_l}\right)}^{\mathrm{\&gamma;}}},\&ForAll;x\&le;0\\ \frac{\mathrm{\&gamma;}}{({\mathrm{\&beta;}}_l+{\mathrm{\&beta;}}_r)\mathrm{\&Gamma;}(1/\mathrm{\&gamma;})}{e}^{-{\left(\frac{-x}{{\mathrm{\&beta;}}_r}\right)}^{\mathrm{\&gamma;}}},\&ForAll;x>0\end{array}\right.$

不对称GDD的均值为：

η＝(β_r-β_r)Г(2/γ)Γ(1/γ）

参数(γ,β_l,β_r,η)可以被用做质量相关的特征，通过在4个不同方向，即 和上提取特征，一共可以得到16个与质量相关的特征。

4.根据权利要求1述的无参考图像质量评价方法，其特征在于：

步骤(一)中，(3)第一图像块、第二图像块的梯度与梯度幅值特征提取步骤如下：将RGB三颜色通道的第一图像块转换到对色空间：

$\left[\begin{array}{c}{O}_1\\ O_2\\ O_3\end{array}\right]=\left[\begin{array}{ccc}0.06& 0.63& 0.27\\ 0.30& 0.04& -0.35\\ 0.34& -0.6& 0.17\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]$

对于O₁、O₂和O₃，分别提取各自通道上的梯度与梯度幅值特征作为第一图像块的特征：

(3-1)对于O₁、O₂和O₃，分别水平和垂直两个方向对图像I使用高微分滤波器做卷积，以得到梯度图O_ih和O_iv，i＝1、2、3；

(3-2)使用GDD对O_ih和O_iv的分布进行建模，GDD模型的形状参数用做质量相关的特征

$g(x;\mathrm{\&alpha;},\mathrm{\&beta;})=\frac{\mathrm{\&alpha;}}{2\mathrm{\&beta;\&Gamma;}\left(\frac{1}{\mathrm{\&alpha;}}\right)}\exp (-\frac{{\left|x\right|}^{\mathrm{\&alpha;}}}{\mathrm{\&beta;}})$

参数α和β为与质量相关的特征

(3-3)使用威布尔分布对梯度幅值图像，即的分布进行建模：

$p(x;a,b)=\left\{\begin{array}{c}\frac{a}{b^a}{x}^{a-1}\exp (-\frac{x^a}{b}),x\&GreaterEqual;0\\ 0,x<0\end{array}\right.$

参数a和b为与质量相关的特征。

5.据权利要求1述的无参考图像质量评价方法，其特征在于：

步骤(一)中，(4)第一图像块、第二图像块的log-Gabor滤波器响应值特征提取步骤如下：

(4-1)在傅立叶域域中，2D log-Gabor滤波器的转换函数为：

$G(\mathrm{\&omega;},\mathrm{\&theta;})=e^{-\frac{{\left(\log \left(\frac{\mathrm{\&omega;}}{{\mathrm{\&omega;}}_0}\right)\right)}^2}{2{\mathrm{\&sigma;}}_r^2}}\&CenterDot;e^{-\frac{{(\mathrm{\&theta;}-{\mathrm{\&theta;}}_j)}^2}{2{\mathrm{\&sigma;}}_{\mathrm{\&theta;}}^2}}$

其中θ_j＝jπ/J,j＝0,1,…,J-1}是方向的角度，J是角度的个数，ω₀是中心频率，σ_r控制滤波的径向带宽，σ_θ确定角带宽；

(4-2)使用N个不同中心频率和J个不同方向的log-Gabor滤波器对灰度图像块I做卷积，得到一系列的响应：

{(e_n,j(x),o_n,j(x)):|n＝0,…,N-1,j＝0,…,J-1}，

其中e_n,j(x)和o_n,j(x)分别表示对实部和虚部的响应；

(4-3)对于{e_n,j(x)}和{o_n,j(x)}，分别采用三种不同的策略进行建模并提取对应的参数作为质量相关的特征：

(4-3-1)使用GDD分别对{e_n,j(x)}或{o_n,j(x)}的分布进行建模，建模后模型中的参数α和β为与质量相关的特征；

(4-3-2)使用GDD分别对{e_n,j(x)}或{o_n,j(x)}梯度的分布进行建模，建模后模型中的参数α和β为与质量相关的特征；

(4-3-3)使用威布尔分布对{e_n,j(x)}或{o_n,j(x)}的梯度幅值进行建模，建模后模型中的参数a和b为与质量相关的特征。

6.据权利要求1述的无参考图像质量评价方法，其特征在于：

步骤(一)中，(5)第一图像块、第二图像块的颜色特征提取步骤如下：

(5-1)在log对色空间内，图像块的数据符合高斯分布，将其对色RGB图像块P转换到对数空间并去均值：

其中μ_R，μ_G和μ_B分别代表logR(i,j)，logG(i,j)和logB(i,j)的均值；

(5-2)将颜色空间内的像素映射到对色空间内：

(5-3)使用如下高斯模型分别对l₁，l₂和l₃的分布建模：

$f(x;\mathrm{\&zeta;},{\mathrm{\&rho;}}^2)=\frac{1}{\sqrt{2\mathrm{\&pi;}}\mathrm{\&rho;}}\exp \left(\frac{-{(x-\mathrm{\&zeta;})}^2}{2{\mathrm{\&rho;}}^2}\right)$

参数ζ和ρ²被用作与质量相关的特征。

7.根据权利要求1所述的无参考图像质量评价方法，其特征在于：步骤(一)中，所述步骤(2)通过计算方差确定对比度>0.78的第一图像块。