CN106127234A - 基于特征字典的无参考图像质量评价方法 - Google Patents

Abstract

本发明公开了一种基于特征字典的无参考图像质量评价方法，主要解决计算机对噪声图像的评价与人眼感知不符的问题。其实现步骤是：1.随机选择60幅自然图像，计算所有图像中每个像素的局部模式；2.采用加权K‑means方法对所得局部模式聚类，并由聚类中心构成特征字典；3.基于特征字典提取训练样本集中每幅训练图像的特征；4.根据训练图像的特征和相应的主观质量值，通过支持向量回归训练回归模型；5.基于特征字典提取测试图像的特征；6.将测试图像的特征输入上述回归模型，预测图像质量；7.根据质量值得出测试图像的质量评价。本发明的评价结果与人眼感知一致，可用于鉴别自然图像、遥感图像等的质量，衡量成像设备的性能等。

Description

基于特征字典的无参考图像质量评价方法

技术领域

本发明属于图像处理技术领域，特别涉及一种无参考的图像质量评价方法，可用于计算机自动鉴别自然图像、遥感图像的质量。

技术背景

随着信息技术的发展，互联网和各行业快速融合，数字图像和视频作为信息的主要载体，在越来越多的应用场合中发挥着重要作用。每时每刻，大量的图像或视频被获取、压缩和传输。但是，图像在这些处理过程中不可避免的会引入噪声，比如图像获取时成像设备本身的热噪声、抖动造成的模糊噪声，图像压缩时有损压缩方式带来的图像失真，图像传输时信道的干扰噪声等。一幅“干净”的图像被噪声污染后，会降低人眼感知的舒适度，甚至会影响人们对图像内容的正确理解。因此，为了衡量成像设备的性能、指导图像压缩等目的，希望计算机能自动评价一幅图像的质量好坏。于是，需要设计一种和人眼视觉特性一致的图像质量评价算法显得至关重要。

在过去的几十年里，图像质量评价取得了极大的进展，大量的评价算法被提出。一般来说，根据评价时所需参考图像的信息量，现有算法可分为三类：全参考图像质量评价算法、部分参考图像质量评价算法和无参考图像质量评价算法。全参考图像质量评价算法需要参考图像的全部信息，通常能够根据较低的计算复杂度取得很好的性能，比如被广泛使用的峰值信噪比PSNR。部分参考图像质量评价算法则需要参考图像的部分信息，所需的这部分信息通常是从参考图像中提取的特征。在实际情况中，有时我们并不能获取到参考图像的任何信息，因此全参考和部分参考图像质量评价算法的应用受到限制。无参考图像质量评价算法由于不需要参考图像的任何信息，所以成为质量评价领域的研究热点。

目前，无参考图像质量评价算法的一个主流趋势是基于自然场景统计模型。自然场景统计理论认为自然图像的统计分布满足某些统计规律性。然而，当自然图像被噪声污染后，统计特性会被改变。因此，基于自然场景统计模型的评价算法旨在通过衡量图像统计特性的变化来预测图像质量。Mittal等人在文章“No-Reference Image QualityAssessment in the Spatial Domain,”IEEE Transactions on Image Processing,vol.21,no.12,pp.4695-4708,2012中利用广义高斯分布和非对称广义高斯分布来拟合图像的空域像素分布，并将拟合参数作为图像特征进行图像质量评价。Zhang等人在文章“AFeature-Enriched Completely Blind Image Quality Evaluator,”IEEE Transactionson Image Processing,vol.24,no.8,pp.2579-2591,2015中基于自然场景统计特性的图像特征和图像的结构信息，提出一种新颖的质量评价方法。尽管基于自然场景统计模型的评价算法普遍具有良好的性能，但是它们存在一个共同的问题：这类算法都假设噪声图像也满足和自然图像一样的统计分布。然而，研究表明噪声的引入会破坏这种统计规律性，噪声图像的统计分布不能完全符合自然图像的统计分布，这将影响图像质量评价的准确度。

无参考图像质量评价算法另一个主流趋势是基于学习的模型，这类算法通常使用神经网络或支持向量机将图像特征映射到人眼主观分数上，从而预测图像质量。Li等人在文章“Blind Image Quality Assessment Using a General Regression NeuralNetwork,”IEEE Transactions on Neural Networks,vol.22,no.5,pp.793-799,2011中提出通过广义回归神经网络将图像的三种特征：相位一致性、熵和梯度信息映射到主观分数来评价图像质量。Xue等人在文章“Blind Image Quality Assessment Using JointStatistics of Gradient Magnitude and Laplacian Features,”IEEE Transactions onImage Processing,vol.23,no.11,pp.4850-4862,2014中通过提取图像的梯度信息和拉普拉斯特征的联合分布，并利用支持向量机回归模型SVR来预测图像质量。在以上这些特征中，尽管熵能有效衡量图像的信息量，但是不能反映图像的局部特征。梯度和拉普拉斯特征表征了图像很重要的局部结构信息，但对于图像的方向信息和空域相关性却不能很好地表达。众所周知，质量评价算法的性能好坏很大程度上取决于图像特征。然而，如何提取对噪声类型和强度敏感的特征至今仍是一个开放性问题。

发明内容

本发明目的在于提出一种基于特征字典的无参考图像质量评价方法，以解决上述已有技术中存在的不足，提高对图像质量评估的准确率。

本发明的技术方案是这样实现的：

本发明通过对选定的一组自然图像的局部模式值进行聚类构建特征字典，基于该字典能够将图像表示为一个统计直方图进行图像特征提取，并在一组训练样本上通过支持向量回归学习回归模型，最终预测测试图像的质量值，其实现步骤包括如下：

(1)随机选择60幅自然图像，计算所有图像中每个像素的局部模式；

(2)通过加权K-means方法对所得局部模式进行聚类，用所有聚类中心构建特征字典

(3)给定包含L幅噪声图像的训练样本集计算第j幅训练图像的局部模式，并投影到特征字典上得到训练图像的特征y_j，1≤j≤L；

(4)采用支持向量回归SVR方法对训练样本集Ψ中所有训练图像的特征y_j及其对应的主观质量值进行训练，得到回归模型

(5)对于测试图像计算其所有像素的局部模式，并将这些局部模式投影到特征字典上得到测试图像的特征u；

(6)根据回归模型和测试图像的特征u，使用支持向量回归SVR方法预测出测试图像的质量值Q；

(7)根据质量值Q对待测试图像的质量进行判断：

若Q＝0，则表示该测试图像没有被噪声污染；

若0<Q≤0.25，则表示该测试图像被噪声轻度污染；

若0.25<Q≤0.75，则表示该测试图像被噪声中度污染；

若0.75<Q≤1，则表示该测试图像被噪声重度污染。

本发明与现有技术相比，具有如下优点：

1)本发明充分考虑了人眼视觉系统感知外界场景时的稀疏特性，利用稀疏字典对图像进行特征提取，该特征表示方法与人眼视觉特性一致。

2)本发明采用较大的图像块计算局部模式，有效地表征图像中重要的局部结构信息，能反映出不同的噪声类型和强度，提高了评价结果的准确性。

附图说明

图1是本发明的实现流程示意图。

图2是本发明中构建字典所使用的60幅自然图像。

具体实施方式

参照图1，本发明的实现步骤如下：

步骤1，随机选择60幅自然图像，计算所有图像中每个像素的局部模式。

(1a)从自然图像数据库中随机选择60幅包含不同场景和内容的自然图像，本实例所选择的自然图像如图2所示；

(1b)通过下式计算计算这60幅自然图像中每个像素的局部模式：

$p_{m,n}=\&lsqb;c_{m,n}^1,c_{m,n}^2,...c_{m,n}^v,...,c_{m,n}^{24}\&rsqb;,$

其中，p_m,n表示第m幅图像I_m中第n个像素的局部模式，1≤m≤60，1≤n≤N_m，N_m是图像I_m中的像素个数，v是以像素为中心的5×5邻域中24个像素的编号，1≤v≤24，表示像素与其第v个邻域像素的灰度值比较结果：

$c_{m,n}^v=\left\{\begin{array}{cc}1,& s_{m,n}^v>s_{m,n}^0\\ 0,& s_{m,n}^v\&le;s_{m,n}^0\end{array}\right..$

步骤2，对所得局部模式进行聚类，用所有聚类中心构建特征字典

常见的几种聚类算法有：层次方法、划分方法、基于密度的方法、基于网格的方法、量子聚类法、核聚类法、谱聚类法等。本实例采用划分方法范畴中的加权K-means聚类算法对所得局部模式进行聚类。

本步骤实现如下：

(2a)针对60幅自然图像的所有局部模式p_m,n，1≤m≤60，1≤n≤N_m，统计各个相同的局部模式出现的次数；

(2b)采用加权K-means聚类方法对各局部模式及其出现的次数进行聚类，得到K个聚类中心d_i，1≤i≤K，并由这些聚类中心构成一个特征字典

步骤3，给定包含L幅噪声图像的训练样本集分别计算第j幅图像的局部模式，并投影到特征字典上得到训练图像的特征y_j，1≤j≤L。

(3a)计算训练样本集Ψ中第j幅训练图像的第l个像素的局部模式q_j,l：

$q_{j,l}=\&lsqb;{\mathrm{\&sigma;}}_{j,l}^1,{\mathrm{\&sigma;}}_{j,l}^2,...{\mathrm{\&sigma;}}_{j,l}^w,...,{\mathrm{\&sigma;}}_{j,l}^{24}\&rsqb;$

其中，1≤l≤M_j，M_j表示训练图像的像素个数，1≤j≤L，L是训练样本集中训练图像的个数，w是以像素为中心的5×5邻域像素的编号，1≤w≤24，表示像素与其第w个邻域像素的灰度值比较结果：

${\mathrm{\&sigma;}}_{j,l}^w=\left\{\begin{array}{cc}1,& a_{j,l}^w>a_{j,l}^0\\ 0,& a_{j,l}^w\&le;a_{j,l}^0\end{array}\right.;$

(3b)根据局部模式q_j,l和特征字典中所有基元d_i的欧式距离，计算距离q_j,l最近的基元索引γ_j,l：

${\mathrm{\&gamma;}}_{j,l}=\underset{i}{\arg \min }\left|\right|q_{j,l}-d_i|{|}_2^2,$

其中，1≤i≤K，表示计算二范数操作；

(3c)对于训练图像计算其局部模式对应的所有基元索引中第i个基元出现的频率h_i,j：

$h_{i,j}=\frac{\underset{l=1}{\overset{M_j}{\mathrm{\&Sigma;}}}{g}_{i,j}^l}{M_j}$

其中，

(3d)组合每个基元出现的频率，得到训练样本集中第j幅训练图像的特征y_j：

y_j＝[h_1,j,h_2,j,…,h_i,j,…h_K,j]，

其中，1≤i≤K，K是特征字典中基元的个数。

步骤4，采用支持向量回归SVR方法对训练样本集Ψ中所有训练图像的特征y_j及其对应的主观质量值进行训练，得到回归模型

(4a)对所有训练图像的主观质量值进行归一化：

${\stackrel{\&OverBar;}{\mathrm{\&Omega;}}}_j=\frac{{\mathrm{\&Omega;}}_j-\underset{j}{min}\left({\mathrm{\&Omega;}}_j\right)}{\underset{j}{\max }\left({\mathrm{\&Omega;}}_j\right)-\underset{j}{min}\left({\mathrm{\&Omega;}}_j\right)}$

其中，Ω_j是第j幅训练图像归一化前的主观质量值，是第j幅训练图像归一化后的主观质量值，1≤j≤L，L是训练样本集中训练图像的个数；

(4b)基于支持向量回归SVR方法，对训练样本集Ψ中所有训练图像的特征y_j及其对应的归一化主观质量值进行训练，得到回归模型

所述支持向量回归SVR方法，是机器学习领域中很重要的一种回归算法，通过核技巧将数据的高维特征映射到数据标签，达到对数据拟合的目的。该方法一般操作步骤为：首先，提取训练样本和测试样本的特征；然后，通过对训练样本的特征和标签进行拟合，学习合适的回归模型；最后，基于该回归模型，预测出测试样本所对应的标签。本实例中，训练样本的标签为训练图像的主观质量值，测试样本的标签即为所求的质量值。

步骤5，对于测试图像计算其所有像素的局部模式，并将这些局部模式投影到特征字典上得到测试图像的特征u。

(5a)计算测试图像中第z个像素的局部模式g_z：

$g_z=\&lsqb;{\mathrm{\&epsiv;}}_z^1,{\mathrm{\&epsiv;}}_z^2,...,{\mathrm{\&epsiv;}}_z^t,...{\mathrm{\&epsiv;}}_z^{24}\&rsqb;,$

其中，1≤z≤Γ，Γ为测试图像的像素个数，t是以像素为中心的5×5邻域中24个像素的编号，1≤t≤24，表示像素与其第t个邻域像素的灰度值比较结果：

${\mathrm{\&epsiv;}}_z^t=\left\{\begin{array}{cc}1,& e_z^t>e_z^0\\ 0,& e_z^t\&le;e_z^0\end{array}\right.;$

(5b)根据每个局部模式g_z和特征字典中所有基元d_i的欧式距离，计算距离g_z最近的基元索引λ_z：

${\mathrm{\&lambda;}}_z=\underset{i}{\mathrm{argmin}}\left|\right|g_z-d_i|{|}_2^2;$

(5c)计算其全部局部模式对应的所有基元索引λ_z中第i个基元出现的频率b_i：

$b_i=\frac{\underset{z=1}{\overset{\mathrm{\&Gamma;}}{\mathrm{\&Sigma;}}}{\mathrm{\&theta;}}_i^z}{\mathrm{\&Gamma;}},$

其中，

(5d)组合每个基元出现的频率，得到测试图像的特征u：

u＝[b₁,b₂,…,b_i,…,b_K]，

其中，1≤i≤K，K是特征字典中基元的个数。

步骤6，根据回归模型和测试图像的特征u，使用支持向量回归SVR方法预测出测试图像的质量值Q。

基于支持向量回归SVR方法，将测试图像的特征u输入到回归模型中，预测出测试图像质量值Q，其中Q的取值范围在0～1之间。

步骤7，根据质量值Q对待测试图像的质量进行判断：

若Q＝0，则表示该测试图像没有被噪声污染；

若0<Q≤0.25，则表示该测试图像被噪声轻度污染；

若0.25<Q≤0.75，则表示该测试图像被噪声中度污染；

若0.75<Q≤1，则表示该测试图像被噪声重度污染。

以上描述仅是本发明的一个具体实例，不构成对本发明的任何限制。显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修改和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims (4)

1.一种基于特征字典的无参考图像质量评价方法，包括如下步骤：

(1)随机选择60幅自然图像，计算所有图像中每个像素的局部模式；

(2)通过加权K-means方法对所得局部模式进行聚类，用所有聚类中心构建特征字典

(3)给定包含L幅噪声图像的训练样本集计算第j幅训练图像的局部模式，并投影到特征字典上得到训练图像的特征y_j，1≤j≤L；

(4)采用支持向量回归SVR方法对训练样本集Ψ中所有训练图像的特征y_j及其对应的主观质量值进行训练，得到回归模型

(5)对于测试图像计算其所有像素的局部模式，并将这些局部模式投影到特征字典上得到测试图像的特征u；

(6)根据回归模型和测试图像的特征u，使用支持向量回归SVR方法预测出测试图像的质量值Q；

(7)根据质量值Q对待测试图像的质量进行判断：

若Q＝0，则表示该测试图像没有被噪声污染；

若0<Q≤0.25，则表示该测试图像被噪声轻度污染；

若0.25<Q≤0.75，则表示该测试图像被噪声中度污染；

若0.75<Q≤1，则表示该测试图像被噪声重度污染。

2.如权利要求1所述的方法，其中步骤(1)计算随机选择的60幅自然图像中每个像素的局部模式，通过下式计算：

$p_{m,n}=\&lsqb;c_{m,n}^1,c_{m,n}^2,...c_{m,n}^v,...,c_{m,n}^{24}\&rsqb;$

其中，p_m,n表示第m幅图像I_m中第n个像素的局部模式，1≤m≤60，1≤n≤N_m，N_m是图像I_m中的像素个数，v是以像素为中心的5×5邻域像素的编号，1≤v≤24，表示像素与其第v个邻域像素的灰度值比较结果：

$c_{m,n}^v=\left\{\begin{array}{cc}1,& s_{m,n}^v>s_{m,n}^0\\ 0,& s_{m,n}^v\&le;s_{m,n}^0\end{array}\right..$

3.如权利要求1所述的方法，其中所述步骤(2)，按如下步骤进行：

(2a)针对60幅自然图像的所有局部模式p_m,n，1≤m≤60，1≤n≤N_m，统计各个相同的局部模式出现的次数；

(2b)采用加权K-means方法对各局部模式及其出现的次数进行聚类，得到K个聚类中心d_i，1≤i≤K，并由这些聚类中心构成一个特征字典

4.如权利要求1所述的方法，其步骤(3)中计算第j幅训练图像的局部模式，并投影到特征字典上得到训练图像的特征y_j，通过如下步骤实现：

(3a)计算训练样本集Ψ中第j幅训练图像的第l个像素的局部模式q_j,l：

$q_{j,l}=\&lsqb;{\mathrm{\&sigma;}}_{j,l}^1,{\mathrm{\&sigma;}}_{j,l}^2,...{\mathrm{\&sigma;}}_{j,l}^w,...,{\mathrm{\&sigma;}}_{j,l}^{\mathrm{24}}\&rsqb;$

其中，1≤l≤M_j，M_j表示训练图像的像素个数，1≤j≤L，L是训练样本集中训练图像的个数，w是以像素为中心的5×5邻域像素的编号，1≤w≤24，表示像素与其第w个邻域像素的灰度值比较结果：

${\mathrm{\&sigma;}}_{j,l}^w=\left\{\begin{array}{cc}1,& a_{j,l}^w>a_{j,l}^0\\ 0,& a_{j,l}^w\&le;a_{j,l}^0\end{array}\right.;$

(3b)根据局部模式q_j,l和特征字典中所有基元d_i的欧式距离，计算距离q_j,l最近的基元索引γ_j,l：

${\mathrm{\&gamma;}}_{j,l}=\underset{i}{\arg \min }\left|\right|q_{j,l}-d_i|{|}_2^2,$

其中，1≤i≤K，表示计算二范数操作；

(3c)对于训练图像计算其局部模式对应的所有基元索引中第i个基元出现的频率h_i,j：

$h_{i,j}=\frac{\underset{l=1}{\overset{M_j}{\&Sigma;}}{g}_{i,j}^l}{M_j}$

其中，

(3d)组合每个基元出现的频率，得到训练样本集中第j幅训练图像的特征y_j：

y_j＝[h_1,j,h_2,j,…h_K,j]。