CN107146220B - 一种通用型无参考图像质量评价方法 - Google Patents

Abstract

本发明公开了一种通用型无参考图像质量评价方法，该方法通过对选定的一组高质量自然图像分块，对分块图像提取GLBP特征向量，将方法得出的特征向量矩阵按阈值分组，通过均值和协方差矩阵的计算，建立起标准的MVG模型；再用同样的方法对待测图像建立待测MVG模型。计算不同阈值参数下两个模型之间的距离，并且将多组的结果融合，最终得到待测图像的客观预测质量分数；本发明脱离了机器学习的步骤，达到了完全客观的全盲评价，并采用了不同阈值下，特征融合的方法，降低了GLBP内部特征之间的冗余和相关性。明显的提高了图像质量客观预测的精度。

Description

一种通用型无参考图像质量评价方法

技术领域

本发明属于图像处理技术领域，特别涉及一种通用型无参考的图像质量评价方法，可用于各类自然图像及医学图像处理领域，如：图像压缩、去噪、增强、检测、去雾及医学图像质量评价等。

技术背景

随着移动设备和高速网络的发展，人们获取数字图像和视频的方式越来越多，作为信息的主要载体，在大量应用场合中，高质量图像和视频的需求越来越高。每时每刻，大量的图像或视频被获取、压缩和传输。但是，图像在这些处理过程中不可避免的会产生失真，如：噪声、模糊、信号衰落、有损压缩等，都会让图像的质量有明显的下落。一幅高质量的图像产生失真后，会降低人眼感知的舒适度，甚至会影响人们对图像内容的正确理解。因此，为了衡量成像设备的性能、指导图像压缩、去噪，以及在某些图像处理之前对数据源进行筛选等，我们希望计算机能代替人自动评价一幅图像的质量好坏。因此，设计一种和人眼视觉感知特性一致的图像质量评价方法显得至关重要。

在过去的几十年里，图像质量评价取得了极大的进展，大量的评价方法被提出。一般来说，根据评价时所需参考图像的信息量，现有方法可分为三类：全参考图像质量评价方法、部分参考图像质量评价方法和无参考图像质量评价方法。全参考图像质量评价方法需要参考图像的全部信息，信息的完备使得其只需较低的计算量即可取得很好的性能，比如全参考方法中经典的峰值信噪比(PSNR)方法。部分参考图像质量评价方法则需要参考图像的部分信息，所需的这部分信息通常是从参考图像中提取的特征。然而在实际情况中，大多数时候我们是不知道参考图像的，换一个角度说，如果已经拥有参考图像，对失真图像的质量评价就像在知道答案的情况下做题。因此全参考和部分参考图像质量评价方法的应用在实际中受到了限制。无参考图像质量评价方法的应用更加广泛，不需要参考图像的任何信息，所以成为质量评价领域的研究热点。

目前，无参考图像质量评价方法的一个主流趋势是基于自然场景统计模型。自然场景统计理论认为自然图像灰度的统计分布满足某些统计规律。然而，当自然图像产生失真后，统计规律会被改变。因此，基于自然场景统计模型的评价方法旨在通过衡量图像统计规律变化的程度来预测图像质量。Mittal等人在文章“No-Reference Image QualityAssessment in the Spatial Domain”,IEEETransactions on Image Processing,vol.21,no.12,pp.4695-4708,2012中利用广义高斯分布和非对称广义高斯分布来拟合图像的空域灰度分布，并将拟合参数作为图像特征用于图像质量评价。Lin Zhang等人在文章“A Feature-Enriched Completely Blind Image Quality Evaluator”,IEEETransactions on Image Processing,vol.24,no.8,pp.2579-2591,2015中基于自然场景统计特性的图像特征和图像的结构信息，将多种特征融合，提出一种新颖的质量评价方法(授权公告号CN 103996192 B)。Peng Ye等人在文章“Unsupervised feature learningframework for no-reference image quality assessment”,Computer Vision andPattern Recognition(CVPR),2012IEEE Conference on.IEEE,2012:1098-1105.中，提出了一种基于无监督特征学习的图像质量评价框架CORNIA。MinZhang等人在文章“BlindImage Quality Assessment Using the Joint Statistics of Generalized LocalBinary Pattern”,IEEE SignalProcessingLetters,vol.22,No.2,February 2015中，将自然统计特征和图像的广义局部二值特征(Generalized Local Binary Pattern,GLBP)结合起来，提出了一种简洁高效的特征提取方法，被称为GLBP算子。利用GLBP特征提取方法结合机器学习，提出了一种高性能的无参考图像质量评价方法NR-GLBP。但NR-GLBP方法由于采用了机器学习，其结果需要经过训练才能得到模型。本方法利用GLBP算子结合多元统计模型，是一种全新的无参考图像质量评价方法。

无参考图像质量评价方法另一个主流趋势是基于机器学习的模型，这类方法通常使用神经网络或支持向量机将图像特征映射到人眼主观分数上，从而预测图像质量。ChaofengLi等人在文章“Blind Image Quality Assessment Using a GeneralRegression NeuralNetwork”,IEEE Transactions on Neural Networks,vol.22,no.5,pp.793-799,2011中提出通过广义回归神经网络将图像的三种特征：相位一致性、熵和梯度信息映射到主观分数来评价图像质量。WufengXue等人在文章“Blind Image QualityAssessment Using JointStatistics of Gradient Magnitude and LaplacianFeatures”,IEEE Transactions onImage Processing,vol.23,no.11,pp.4850-4862,2014中通过提取图像的梯度信息和拉普拉斯特征的联合分布，并利用支持向量机回归模型(Support Vector Regression,SVR)来预测图像质量。这类方法都采用了机器学习来建立模型，通过SVR或其他机器学习方法对不同图像的特征和质量分数进行映射训练，再用训练的模型来预测待测图像的质量分数。然而，以上采用机器学习的方法都具有一些局限性：使用SVR，需要预先得知人眼主观分数，通过特征向量和人眼主观分数的映射来建立模型，并非是一个完全客观的结果；SVR的模型是一个黑盒，且其结果受训练集的内容影响极大，训练集取的好与坏直接影响了结果模型的精确与否；不同应用环境中所需的训练集内容的不同，也限制了模型的通用性。

发明内容

本发明目的在于提供一种无参考图像质量评价方法，以解决上述已有技术中存在的不足，达到真正客观的全盲评价，提高现有图像质量方法的评价结果与主观分数的相关性。

一种通用型无参考图像质量评价方法，包括以下步骤：

步骤1，选取N张图像，将每张图像分为K₁块，得到N×K₁个图像块，在N×K₁个图像块中选取m个质量达标的图像块；

步骤2，选择n个阈值T＝{T₁,T₂,...,T_i,...,T_n}，i＝1,2，…，n；

步骤21，取阈值T＝T_i，采用NR-GLBP方法，提取质量达标的所有图像块中每个图像块的GLBP特征向量，得到特征矩阵；

步骤22，计算特征矩阵的协方差矩阵和均值向量，得到标准MVG模型M_1i；

步骤3，选取一张失真图像，将所述的失真图像分为K_2i块；

步骤31，取阈值T＝T_i，采用NR-GLBP方法，提取K_2i块失真图像中每个失真图像块的GLBP特征向量，得到特征矩阵；

步骤32，计算特征矩阵的协方差矩阵和均值向量，得到标准MVG模型M_2i；

步骤4，计算模型M_1i和M_2i之间的距离D_i；

步骤5，i＝i+1，重复步骤2至步骤4，直至i＝n，得到{D_i|i＝1,2,...,n}，将{D_i|i＝1,2,...,n}通过融合得到D。

进一步地，步骤1中所述的在N×K₁个图像块中选取m个质量达标的图像块，包括：

步骤11，任选一张图像作为当前图像，设该当前图像中的K₁个图像块的清晰度集合为σ＝{σ₁,σ₂,...,σ_j,...σ_K1}，j＝1,2,...,K₁，其中σ_max＝maxσ；

步骤111，在K₁个图像块中任选一个图像块作为当前图像块，设该当前图像块的清晰度为σ_j，若σ_j＞r×σ_max，则该当前图像块为质量达标的图像块，5％≤r≤95％；

步骤112，重复步骤111，直至K₁个图像块都被作为当前图像块，得到当前图像的质量达标图像块集合；

步骤12，重复步骤11，直至所有图像都被作为当前图像，得到m个质量达标的图像块。

进一步地，通过公式(1)计算步骤4中模型M_1i和M_2i之间的距离D_i：

式(1)中，μ_1i和μ_2i分别是模型M_1i和模型M_2i的均值向量，Σ_1i和Σ_2i分别是模型M_1i和模型M_2i的协方差矩阵。

进一步地，步骤5中将{D_i|i＝1,2,...,n}通过融合得到D中的融合包括：相加，相乘，加权融合等。

本发明相比于现有技术，具有以下优点：

(1)本发明脱离了机器学习的框架，达到了完全客观的图像质量全盲评价；

(2)本发明采用了不同阈值下，特征间距离融合的方法，降低了GLBP内部特征之间的冗余和相关。明显的提高了结果的相关性。

附图说明

图1是本发明的实现流程示意图；

图2是本发明在LIVE数据库上的图像质量客观预测结果与主观感知分数之间的散点图。

图3是实施例1中的一张高质量图像；

图4是实施例1中的一张待评价的失真图像。

具体实施方式

下面通过附图和实施例对本发明作进一步说明。

实施例1

本实施例提供了一种通用型无参考图像质量评价方法，如图1所示，包括以下步骤：

步骤1，选取125张高质量图像，如图3为其中一张高质量图像，将每张图像分为K₁块，每块大小为96×96像素,得到125×K₁个图像块，在图像块中选取m个质量达标的图像块，m为大于等于1的自然数；

步骤2，选择n个阈值T＝{T₁,T₂,...,T_i,...,T_n}，i＝1,2，…，n；本实施例中，选择5个阈值T＝{-2.6,-1.2,0,0.2,10}；

步骤21，取阈值T＝T_i，采用NR-GLBP方法，提取质量达标的m个图像块中每个图像块的GLBP特征向量，得到特征矩阵；

步骤22，计算特征矩阵的协方差矩阵和均值向量，得到多元高斯统计(Multivariate Gaussian,MVG)模型M_1i；

MVG的定义如下：

式(8)中，X是d维随机变量，p是随机变量X的概率，μ是随机变量X的均值向量，和X的维度相同，计算方式如下：

μ＝E{X}＝[μ₁,μ₂,…,μ_d]^T (3)

Σ是d×d维协方差矩阵，Σ^-1是协方差矩阵的逆矩阵，|∑|是协方差矩阵的行列式。Σ的计算方式如下：

Σ＝E{(X-μ)(X-μ)^T} (4)

计算得出的MVG模型M表示为M(μ，Σ)。

本实施例中，MVG模型的关键参数只有Σ和μ，计算得到矩阵X的μ和Σ，建立模型M_1i(μ_1i，Σ_1i)。

步骤3，将待评价的失真图像分为K_2i块失真图像块，所述待评价的失真图像不属于步骤1中选取的N张图像，每块大小为96×96像素；

本实施例中，待评价的失真图像如图4所示。

步骤31，取阈值T＝T_i，采用NR-GLBP方法，提取K_2i块失真图像中每个失真图像块的GLBP特征向量，得到特征矩阵；

本实施例中所采用的NR-GLBP特征提取方法来自于文献“Blind Image QualityAssessment Using the Joint Statistics of Generalized Local Binary Pattern”,所使用的各项参数也和该论文中的参数一致。

步骤32，计算特征矩阵的协方差矩阵和均值向量，得到待评价的失真图像的标准MVG模型M_2i；

步骤4，计算模型M_1i和M_2i之间的距离D_i；D_i越大，图像质量越差，D_i越小，图像质量越好；D_i＞0；

步骤5，i＝i+1，重复步骤2至步骤4，直至i＝n，得到{D_i|i＝1,2,...,n}，将{D_i|i＝1,2,...,n}通过融合得到待评价的失真图像的分数D，作为最终的图像质量评价结果；本实施例中待评价的失真图像(图4)的D为19.095。

本实施例中，融合方式很多，包括但不限于相加，相乘，加权融合等，本实例采用了相乘的方式，通过公式(5)计算D:

本实施例中的待评价的失真图像来自LIVE图像数据库，图像按照不同失真类型分为5类，共有779张待评价的失真图像，按照本实施例的方法可以得到779张待评价的失真图像的分数D，即可得到779个D值，如图2所示为本实施例预测得到的779张待评价的失真图像的分数D和主观感知分数的相关性图，图2的横坐标为本实施例预测的分数，纵坐标为主观感知的分数，其中包含五种不同类型失真图像的分数，五种不同类型分别用不同的符号表示，从该图可以得到本实施例预测的每张图像的质量评价分数与主观感知每张图像质量评价分数的相关性，其相关性如表1所示。

表1在LIVE图像数据库下，不同方法的SROCC结果

SROCC为秩相关系数，将两要素的样本值按数据的大小顺序排列位次，以各要素样本值的位次代替实际数据而求得的一种统计量。

表1为本发明提出的方法(Our method，以下简称本发明)与其他方法的性能比较，通过LIVE图像数据库中不同失真图像计算所得到的客观评价分数和人眼主观评价分数之间的秩相关系数结果来体现方法的性能。All为全体图像的统一计算结果，fastfading、gblur、jp2k、jpeg的wn分别对应五种不同失真类型的图像。

从表1中可以看出，本发明在LIVE数据库全体图像上的性能和NIQE相同，高于IL-NIQE；但是针对5个不同的失真类型，本发明的性能与NIQE和IL-NIQE相比都有明显提升，个别失真类型提升显著。

本实施例中所使用的高质量图像来自为:http://live.ece.utexas.edu/research/quality/pristinedata.zip。

实施例2

本实施例在实施例1的基础上，步骤1中所述的在N×K₁个图像块中选取m个质量达标的图像块，包括：

步骤11，任选一张图像作为当前图像，设该当前图像中的K₁个图像块的清晰度集合为j＝1,2,...,K₁，其中σ_max＝maxσ；

步骤111，在K₁个图像块中任选一个图像块作为当前图像块，设该当前图像块的清晰度为σ_j，若σ_j＞r×σ_xam，则该当前图像块为质量达标的图像块；r的取值范围为5％～95％；本实施例中，r＝50％；

步骤112，重复步骤111，直至K₁个图像块都被作为当前图像块，得到当前图像的质量达标图像块集合；

步骤12，重复步骤11，直至所有图像都被作为当前图像，得到m个质量达标的图像块。

实施例3

本实施例在实施例1的基础上，通过公式(1)计算步骤4中模型M_1i和M_2i之间的距离D_i：

式(1)中，μ_1i和μ_2i分别是模型M_1i和模型M_2i的均值向量，Σ_1i和Σ_2i分别是模型M_1i和模型M_2i的协方差矩阵。

Claims (3)

1.一种通用型无参考图像质量评价方法，其特征在于，包括以下步骤：

步骤1，选取N张高质量图像，将每张图像分为K₁块，得到N×K₁个图像块，在N×K₁个图像块中选取m个质量达标的图像块；

步骤2，选择n个阈值T＝{T₁,T₂,...,T_i,...,T_n}，i＝1,2，…，n；

步骤21，取阈值T＝T_i，采用GLBP方法，提取质量达标的m个图像块中每个图像块的GLBP特征向量，得到特征矩阵；

步骤22，计算特征矩阵的协方差和均值向量，得到标准MVG模型M_1i；

步骤3，将待评价的失真图像分为K_2i块失真图像块；

步骤31，取阈值T＝T_i，采用GLBP方法，提取K_2i块失真图像块中每个图像块的GLBP特征向量，得到特征矩阵；

步骤32，计算特征矩阵的协方差和均值向量，得到标准MVG模型M_2i；

步骤4，计算模型M_1i和M_2i之间的距离D_i；

步骤5，i＝i+1，重复步骤2至步骤4，直至i＝n，得到{D_i|i＝1,2,...,n}，将{D_i|i＝1,2,...,n}通过融合得到待评价的失真图像的分数D；

步骤1中所述的在N×K₁个图像块中选取m个质量达标的图像块，包括：

步骤11，任选一张图像作为当前图像，设该当前图像中的K₁个图像块的清晰度集合为其中σ_max＝maxσ；

步骤111，在K₁个图像块中任选一个图像块作为当前图像块，设该当前图像块的清晰度为σ_j，若σ_j>r×σ_max，则该当前图像块为质量达标的图像块，5％≤r≤95％；

步骤112，重复步骤111，直至K₁个图像块都被作为当前图像块，得到当前图像的质量达标图像块集合；

步骤12，重复步骤11，直至所有图像都被作为当前图像，得到m个质量达标的图像块。

2.如权利要求1所述的图像质量评价方法，其特征在于，通过公式(1)计算步骤4中模型M_1i和M_2i之间的距离D_i：

式(1)中，μ_1i和μ_2i分别是模型M_1i和模型M_2i的均值向量，Σ_1i和Σ_2i分别是模型M_1i和模型M_2i的协方差矩阵。

3.如权利要求1所述的图像质量评价方法，其特征在于，步骤5中将{D_i|i＝1,2,...,n}通过融合得到D中的融合包括：相加，相乘，卷积运算。