CN106127741A - 基于改良自然场景统计模型的无参考图像质量评价方法 - Google Patents

Abstract

本发明公开了一种基于改良自然场景统计模型的无参考图像质量评价方法，主要解决计算机对噪声图像的评价与人眼感知不符的问题。其实现步骤是：1.给定包含多种类型噪声图像的训练集，提取其中每幅噪声图像的特征；2.根据训练集中噪声图像的特征、噪声类型及主观质量值，采用支持向量机分别训练分类和回归模型；3.计算测试图像的特征；4.根据分类模型和测试图像的特征，计算测试图像属于各种噪声类型的概率；5.根据回归模型和测试图像的特征，计算测试图像属于各种噪声类型时的质量值；6.计算测试图像最终的质量值；7.根据质量值得出测试图像的质量评价。本发明的评价结果与人眼感知一致，可用于对自然图像、遥感图像的质量准确鉴别。

Description

基于改良自然场景统计模型的无参考图像质量评价方法

技术领域

本发明属于图像处理技术领域，特别涉及一种无参考的图像质量评价方法，可用于鉴别自然图像、遥感图像等的质量。

技术背景

随着信息技术的发展，互联网和各行业快速融合。数字图像和视频作为信息的主要载体，在越来越多的应用场合中发挥着重要作用。每时每刻，大量的图像或视频被获取、压缩和传输。但是，在这些过程中不可避免的会引入噪声，比如图像获取时成像设备本身的热噪声、抖动造成的模糊噪声，图像压缩时有损压缩方式带来的图像失真，图像传输时信道的干扰噪声等。一幅“干净”的图像被噪声污染后，会降低人眼感知的舒适度，甚至会影响人们对图像内容的正确理解。因此，为了衡量成像设备的性能、指导图像压缩过程中的压缩比，希望计算机能自动评价一幅图像的质量好坏。于是，设计一种和人眼视觉特性一致的图像质量评价算法显得至关重要。

在过去的几十年里，图像质量评价取得了极大的进展，大量的评价算法被提出。一般来说，根据所需参考图像的信息量，现有算法可分为三类：全参考图像质量评价算法，部分参考图像质量评价算法和无参考图像质量评价算法。全参考质量评价算法需要参考图像的全部信息，通过较低的计算复杂度就能取得很好的性能，比如被广泛使用的峰值信噪比PSNR。部分参考图像质量评价算法则需要参考图像的部分信息，通常是从图像提取的特征。在实际情况中，有时并不能获取到原图像的任何信息，因此全参考和部分质量评价算法的应用受到限制。由于无参考质量评价算法不需要原图像的任何信息，所以成为质量评价领域的研究热点。

目前，无参考图像质量评价算法的一个主流趋势是基于自然场景统计模型。自然场景统计理论认为自然图像的统计分布满足某些统计规律性，当其被噪声污染后，统计特性会被改变。因此，基于自然场景统计模型的评价算法旨在通过计算统计特性的变化来衡量图像质量。A.Mittal等人在文章“No-Reference Image Quality Assessment in theSpatial Domain,”IEEE Transaction on Image Processing,vol.21,no.12,pp.4695-4708,2012中利用广义高斯分布和非对称广义高斯分布来拟合图像的空域像素分布，并将拟合参数作为图像特征进行图像质量评价。Zhang等人在文章“A Feature-EnrichedCompletely Blind Image Quality Evaluator,”IEEE Transaction on ImageProcessing,vol.24,no.8,pp.2579-2591,2015中结合自然场景统计特性的图像特征和图像结构信息，提出一种新颖的质量评价方法。尽管基于自然场景统计模型的评价算法普遍具有良好的性能，但是它们存在一个共同的问题。这类算法都假设噪声图像也满足和自然图像一样的统计分布，然而研究表明噪声的引入会破坏这种统计规律性。因此，在真实分布和拟合分布之间存在着拟合误差，这将影响对图像质量评价的准确度。

无参考图像质量评价算法另一个主流趋势则基于学习的模型。这类算法通常使用神经网络或支持矢量机将图像特征映射到主观分数上，从而预测图像质量。Li等人在文章“Blind Image Quality Assessment Using a General Regression Neural Network,”IEEE Transactions on Neural Networks,vol.22,no.5,pp.793-799,2011中提出通过广义回归神经网络将图像的三种特征：相位一致性、熵和梯度信息映射到主观打分来评价图像质量。Xue等人在文章“Blind Image Quality Assessment Using Joint Statistics ofGradient Magnitude and Laplacian Features,”IEEE Transaction on ImageProcessing,vol.23,no.11,pp.4850-4862,2014中通过图像梯度信息和拉普拉斯特征的联合分布来预测图像质量。在以上这些特征中，熵虽然能有效的衡量图像的信息量，但是不能反映图像的局部特征。梯度和拉普拉斯特征表征了图像很重要的局部结构信息，然而对于图像的方向信息和空域相关性却不能很好地表达。众所周知，质量评价算法的性能好坏很大程度上取决于图像特征。然而，如何提取对噪声类型和强度敏感的特征至今仍是一个开放性问题。

发明内容

本发明目的在于针对上述已有技术中存在的不足，提出一种基于改良自然场景统计模型的无参考图像质量评价方法，以充分考虑自然场景统计模型中存在的拟合误差，准确的估计出噪声图像的质量值。

本发明的技术方案是这样实现的：

本发明提出的改良自然场景统计模型通过广义高斯分布来拟合训练集中的噪声图像和测试图像，并同时利用该模型的拟合参数和拟合误差进行特征提取，根据训练集中噪声图像的噪声类型、图像特征以及主观质量值，采用机器学习的方法训练分类模型和回归模型，然后计算测试图像属于每种噪声类型的概率和质量值，最后综合预测出测试图像的质量值，其实现步骤包括如下：

(1)给定一组包含K种噪声类型，每种噪声类型均包含L幅噪声图像的训练集其中表示第j种噪声类型的第i幅噪声图像，1≤i≤L，1≤j≤K，并提取训练集中噪声图像的特征

(2)采用支持向量机SVM对训练集Ψ中噪声图像的特征及其相应的噪声类型编号j进行训练，得到分类模型

(3)采用支持向量回归SVR对训练集Ψ中第j类噪声图像的特征及其相应的主观质量值进行训练，得到K个回归模型

(4)计算测试图像U的特征

(5)根据分类模型和测试图像的特征采用支持向量机SVM计算测试图像属于第j种噪声类型的概率p_j；

(6)根据第j个回归模型和测试图像的特征采用支持向量回归SVR计算测试图像属于第j种噪声类型时的质量值q_j；

(7)根据上述概率p_j和质量值q_j，计算测试图像最终的质量值Q；

(8)根据质量值Q对测试图像U的质量进行判断：

若Q＝0，则表示该测试图像U没有被噪声污染；

若0<Q≤0.25，则表示该测试图像U被噪声轻度污染；

若0.25<Q≤0.75，则表示该测试图像U被噪声中度污染；

若0.75<Q≤1，则表示该测试图像U被噪声重度污染。

本发明与现有技术相比，具有如下优点：

1)本发明首次分析自然场景统计模型中存在的拟合误差对无参考图像质量评价算法的影响，充分利用拟合误差所反映的噪声特性进行质量评价，使得评价结果与人眼感知一致。

2)本发明提出一种基于改良自然场景统计模型的无参考图像质量评价算法，通过该模型的拟合参数和拟合误差同时提取图像特征，提高了评价精度。

附图说明

图1是本发明的实现流程示意图。

具体实施方式

参照图1，本发明的实现步骤如下：

步骤1，提取训练集中噪声图像的特征。

(1a)给定一组包含K种噪声类型，每种噪声类型均包含L幅噪声图像的训练集对训练集Ψ中第j种噪声类型的第i幅噪声图像按如下公式进行归一化：

${\stackrel{\&OverBar;}{Y}}_j^i(m,n)=\frac{Y_j^i(m,n)-{\mathrm{\&mu;}}_j^i}{{\mathrm{\&sigma;}}_j^i+1},$

其中，是噪声图像中坐标为(m,n)的像素值，是归一化后的噪声图像中坐标为(m,n)的像素值，1≤j≤K，1≤i≤L，1≤m≤M，1≤n≤N，M、N分别表示噪声图像的行和列像素个数，和分别表示噪声图像的均值和方差：

${\mathrm{\&mu;}}_j^i=\frac{1}{MN}\underset{m=1}{\overset{M}{\&Sigma;}}\underset{n=1}{\overset{N}{\&Sigma;}}{Y}_j^i(m,n)$

${\mathrm{\&sigma;}}_j^i=\sqrt{\frac{1}{MN}\underset{m=1}{\overset{M}{\&Sigma;}}\underset{n=1}{\overset{N}{\&Sigma;}}{\left(Y_j^i\right(m,n)-{\mathrm{\&mu;}}_j^i)}^2};$

(1b)统计归一化后的噪声图像的直方图其中表示直方图中的第t个值，1≤t≤B，B为直方图中元素的个数；

(1c)利用广义高斯分布拟合噪声图像的直方图得到拟合分布的尺度参数和形状参数并根据和计算拟合后的广义高斯分布直方图其中表示直方图中的第t个值；

所述估计拟合广义高斯分布的尺度参数和形状参数采用如下参考文献所给的方法进行：

K.Sharifi,A.Leon-Garcia,“Estimation of shape parameter forgeneralized gaussian distributions in subband decompositions of video”,IEEETransactions on Circuits and Systems for Video Technology,vol.5,no.1,pp.52–56,1995。

(1d)根据直方图和计算噪声图像的真实分布与其拟合的广义高斯分布之间的拟合误差

$e_j^i=\underset{t=1}{\overset{B}{\&Sigma;}}{b}_{i,j}^{t}log\frac{b_{i,j}^t}{a_{i,j}^t};$

(1e)根据步骤(1c)和(1d)的结果，得到训练集中噪声图像的特征

${\mathrm{\&phi;}}_j^i=\left[\begin{array}{ccc}{\mathrm{\&alpha;}}_j^i& {\mathrm{\&beta;}}_j^i& e_j^i\end{array}\right].$

步骤2，采用支持向量机SVM对训练集Ψ中噪声图像的特征及其相应的噪声类型编号j进行训练，得到分类模型

支持向量机SVM是机器学习领域中一种使用非常广泛的分类算法，通过核技巧将数据的高维特征映射到数据标签，利用超平面完成对数据分类。该方法一般通过以下三个步骤实现：首先，提取训练样本和测试样本的特征；然后，通过对训练样本的特征和标签进行训练得到合适的分类模型；最后，基于该分类模型，预测出测试样本所对应的标签。支持向量机SVM还可以扩展为回归算法，变成支持向量回归SVR模型。

步骤3，采用支持向量回归SVR对训练集Ψ中第j类噪声图像的特征及其相应的主观质量值进行训练，得到K个回归模型

(3a)对训练集Ψ中所有噪声图像的主观质量值进行归一化：

${\stackrel{\&OverBar;}{\mathrm{\&Omega;}}}_j^i=\frac{{\mathrm{\&Omega;}}_j^i-\underset{i,j}{min}\left({\mathrm{\&Omega;}}_j^i\right)}{\underset{i,j}{\max }\left({\mathrm{\&Omega;}}_j^i\right)-\underset{i,j}{min}\left({\mathrm{\&Omega;}}_j^i\right)},$

其中，是训练集Ψ中第j种噪声类型的第i幅噪声图像归一化前的主观质量值，是噪声图像归一化后的主观质量值，1≤j≤K，1≤i≤L；

(3b)采用支持向量回归SVR模型对训练集Ψ中第j类噪声图像的特征及其相应的主观质量值进行训练，得到第j个回归模型

步骤4，计算测试图像U的特征

(4a)对测试图像U进行归一化：

$\stackrel{\&OverBar;}{U}(m,n)=\frac{U(m,n)-\mathrm{\&nu;}}{\mathrm{\&delta;}+1},$

其中，U(m,n)是测试图像U中坐标为(m,n)的像素值，是归一化后的测试图像中坐标为(m,n)的像素值，1≤m≤M，1≤n≤N，M、N分别表示测试图像U的行和列像素个数，ν和δ分别表示测试图像U的均值和方差：

$\begin{array}{c}\mathrm{\&nu;}=\frac{1}{MN}\underset{m=1}{\overset{M}{\&Sigma;}}\underset{n=1}{\overset{N}{\&Sigma;}}U(m,n)\\ \mathrm{\&delta;}=\sqrt{\frac{1}{MN}\underset{m=1}{\overset{M}{\&Sigma;}}\underset{n=1}{\overset{N}{\&Sigma;}}{\left(U\right(m,n)-\mathrm{\&nu;})}^2}\end{array};$

(4b)统计归一化后的测试图像的直方图ζ＝{c¹,c²,…,c^t,…,c^B}，其中c^t表示直方图ζ中的第t个值，1≤t≤B，B为直方图ζ中元素的个数；

(4c)利用广义高斯分布拟合归一化后的测试图像的直方图ζ，得到拟合分布的尺度参数χ和形状参数λ，并根据χ和λ计算拟合后的广义高斯分布直方图ρ＝{d¹,d²,…,d^t,…,d^B}，其中d^t表示直方图ρ中的第t个值；

(4d)根据直方图ζ和ρ，计算测试图像U的真实分布与其拟合的广义高斯分布之间的拟合误差τ：

$\mathrm{\&tau;}=\underset{t=1}{\overset{B}{\&Sigma;}}{d}^{t}log\frac{d^t}{c^t};$

(4e)根据步骤(4c)和(4d)的结果，得到测试图像U的特征

步骤5，根据分类模型和测试图像的特征采用支持向量机SVM计算测试图像属于第j种噪声类型的概率p_j。

步骤6，根据第j个回归模型和测试图像的特征采用支持向量回归SVR计算测试图像属于第j种噪声类型时的质量值q_j。

步骤7，根据上述概率p_j和质量值q_j，计算测试图像最终的质量值Q:

$Q=\underset{j=1}{\overset{K}{\&Sigma;}}{p}_j\&CenterDot;q_j.$

步骤8，根据质量值Q对待测试图像U的质量进行判断：

若Q＝0，则表示该测试图像U没有被噪声污染；

若0<Q≤0.25，则表示该测试图像U被噪声轻度污染；

若0.25<Q≤0.75，则表示该测试图像U被噪声中度污染；

若0.75<Q≤1，则表示该测试图像U被噪声重度污染。

以上描述仅是本发明的一个具体实例，不构成对本发明的任何限制。显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修改和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims (3)

1.一种基于改良自然场景统计模型的无参考图像质量评价方法，包括：

(1)给定一组包含K种噪声类型，每种噪声类型均包含L幅噪声图像的训练集其中表示第j种噪声类型的第i幅噪声图像，1≤i≤L，1≤j≤K，并提取训练集中噪声图像的特征

(2)采用支持向量机SVM对训练集Ψ中噪声图像的特征及其相应的噪声类型编号j进行训练，得到分类模型

(3)采用支持向量回归SVR对训练集Ψ中第j类噪声图像的特征及其相应的主观质量值进行训练，得到K个回归模型

(4)计算测试图像U的特征

(5)根据分类模型和测试图像的特征采用支持向量机SVM计算测试图像属于第j种噪声类型的概率p_j；

(6)根据第j个回归模型和测试图像的特征采用支持向量回归SVR计算测试图像属于第j种噪声类型时的质量值q_j；

(7)根据上述概率p_j和质量值q_j，计算测试图像最终的质量值Q；

(8)根据质量值Q对测试图像U的质量进行判断：

若Q＝0，则表示该测试图像U没有被噪声污染；

若0<Q≤0.25，则表示该测试图像U被噪声轻度污染；

若0.25<Q≤0.75，则表示该测试图像U被噪声中度污染；

若0.75<Q≤1，则表示该测试图像U被噪声重度污染。

2.如权利要求1所述的方法，其步骤(1)中提取训练集Ψ中噪声图像的特征按如下步骤进行：

(1a)对训练集中的噪声图像按如下公式进行归一化：

${\stackrel{\&OverBar;}{Y}}_j^i(m,n)=\frac{Y_j^i(m,n)-{\mathrm{\&mu;}}_j^i}{{\mathrm{\&sigma;}}_j^i+1}$

其中，是噪声图像中坐标为(m,n)的像素值，是归一化后的噪声图像中坐标为(m,n)的像素值，1≤m≤M，1≤n≤N，M、N分别表示噪声图像的行和列像素个数，和分别表示噪声图像的均值和方差：

$\begin{array}{c}{\mathrm{\&mu;}}_j^i=\frac{1}{MN}\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}\underset{n=1}{\overset{N}{\mathrm{\&Sigma;}}}{Y}_j^i(m,n)\\ {\mathrm{\&sigma;}}_j^i=\sqrt{\frac{1}{MN}\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}\underset{n=1}{\overset{N}{\mathrm{\&Sigma;}}}{\left(Y_j^i\right(m,n)-{\mathrm{\&mu;}}_j^i)}^2}\end{array};$

(1b)统计归一化后的噪声图像的直方图其中表示直方图中的第t个值，1≤t≤B，B为直方图中元素的个数；

(1c)利用广义高斯分布拟合噪声图像的直方图得到拟合分布的尺度和形状参数和并根据和计算拟合后的广义高斯分布直方图其中表示直方图中的第t个值；

(1d)根据直方图和计算噪声图像的真实分布与其拟合的广义高斯分布之间的拟合误差

$e_j^i=\underset{t=1}{\overset{B}{\&Sigma;}}{b}_{i,j}^{t}log\frac{b_{i,j}^t}{a_{i,j}^t}$

(1e)根据步骤(1c)和(1d)的结果，得到训练集中噪声图像的特征

${\mathrm{\&phi;}}_j^i=\left[\begin{array}{ccc}{\mathrm{\&alpha;}}_j^i& {\mathrm{\&beta;}}_j^i& e_j^i\end{array}\right].$

3.如权利要求1所述的方法，其步骤(4)中计算测试图像U的特征按如下步骤进行：

(4a)对测试图像U进行归一化：

$\stackrel{\&OverBar;}{U}(m,n)=\frac{U(m,n)-v}{\mathrm{\&delta;}+1},$

其中，U(m,n)是测试图像U中坐标为(m,n)的像素值，是归一化后的测试图像中坐标为(m,n)的像素值，1≤m≤M，1≤n≤N，M、N分别表示测试图像U的行和列像素个数，ν和δ分别表示测试图像U的均值和方差：

$\begin{array}{c}v=\frac{1}{MN}\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}\underset{n=1}{\overset{N}{\mathrm{\&Sigma;}}}U(m,n)\\ \mathrm{\&delta;}=\sqrt{\frac{1}{MN}\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}\underset{n=1}{\overset{N}{\mathrm{\&Sigma;}}}{\left(U\right(m,n)-v)}^2}\end{array};$

(4b)统计归一化后的测试图像的直方图ζ＝{c¹,c²,…,c^t,…,c^B}，其中c^t表示直方图ζ中的第t个值，1≤t≤B，B为直方图ζ中元素的个数；

(4c)利用广义高斯分布拟合测试图像U的直方图ζ，得到拟合分布的尺度和形状参数χ和λ，并根据χ和λ计算拟合后的广义高斯分布直方图ρ＝{d¹,d²,…,d^t,…,d^B}，其中d^t表示直方图ρ中的第t个值；

(4d)根据直方图ζ和ρ，计算测试图像U的真实分布和拟合的广义高斯分布之间的拟合误差τ：

$\mathrm{\&tau;}=\underset{t=1}{\overset{B}{\&Sigma;}}{d}^{t}log\frac{d^t}{c^t};$

(4e)根据步骤(4c)和(4d)的结果，得到测试图像U的特征