CN109754390A - 一种基于混合视觉特征的无参考图像质量评价方法 - Google Patents

Abstract

本发明公开了一种基于混合视觉特征的无参考图像质量评价方法，该方法首先提取两种不同类型的自然图像统计特征，在提取两种特征时，遵循尺度空间参数匹配的原则，将两种特征的尺度空间参数进行配对，实现尺度参数共享，然后进行特征融合，最后，将训练图像的特征与对应的主观视觉质量分数送入支持向量回归模型，训练得到图像质量评价模型。对于待测图像，首先提取本发明提出的混合视觉特征，然后，将图像特征送入训练出的图像质量评价模型来预测待测图像的质量分数。本发明提出的方法明显地提高了图像质量客观预测的精度，很好地克服了现有评价方法泛化能力弱的问题，能够满足各类图像及视频处理实际应用中对无参考图像质量评价方法的要求。

Description

一种基于混合视觉特征的无参考图像质量评价方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于混合视觉特征的无参考图像质量评价方法，可用于图像识别、理解、压缩、远程会议、视频点播等各类图像及视频处理领域。

背景技术

随着高速网络以及多媒体技术的发展，数字图像处理技术与理论已经成为计算机应用的一个重要领域，得到了广泛的应用，然而，在图像的获取、处理、传输和记录的过程中，由于成像系统、处理方法、传输介质和记录设备等不完善，加之物体运动、噪声污染等原因，不可避免地给图像带来失真和降质，这不仅降低了图像的视觉舒适度，影响对图像内容的感知和理解，而且为图像、视频的各种后续处理及工程应用带来极大的困难，因此，对图像质量的评价成为了一个广泛而基本的问题，是图像信息工程领域内一项重要的研究课题，受到许多学者的高度重视。

客观图像质量评价方法的目标是设计能精确和自动感知图像视觉质量的计算模型。其终极目标是希望用计算机来代替人类视觉系统去观察和认知图像。在各类图像质量评价方法的研究中，无参考图像质量评价方法是该领域研究的热点。无参考图像质量评价(BIQA/NR-IQA,Blind/No-Reference Image Quality Assessment)(以下统称BIQA)不依赖原始图像信息，直接提取失真图像的某些失真因素特征，给出失真图像的客观质量评价。BIQA的实际应用更加广泛，在很多情况下，如在网络传输中，往往无法获得发送端的原始图像信息，但在模型的构建与实现上也更加困难。

无参考图像质量评价方法大致分为以下几种思路，一种是基于人工特征选择，结合机器学习算法，如神经网络或支持向量机(Support Vector Machine,SVM)等，将图像特征映射到人眼主观分数上的无参考图像质量评价方法，另一种是基于深度学习框架的无参考图像质量评价方法。

在BIQA模型的研究中，基于人工特征选择结合机器学习算法是其中最受关注的研究思路。一般来说，这类方法先提取图像特征，再将图像特征与对应的图像的主观评价结果结合起来，利用机器学习模型，如进支持向量回归(Support Vector Regression,SVR)、神经网络回归分析模型等进行训练，得到图像质量评价模型，最后，通过训练得到的模型通过对未知图像提取的特征进行预测回归，得到图像的客观质量预测分数。这类方法的代表性工作有以下几种：

Mittal等人在文章“No-Reference Image Quality Assessment in the SpatialDomain,”IEEE Transactions on Image Processing,vol.21,no.12,pp.4695-4708,2012中利用广义高斯分布和非对称广义高斯分布来拟合图像的局部归一化之后的空域像素系数分布，并将拟合参数作为图像特征使用支持向量回归进行训练，得到一种无参考图像质量评价模型，即BRISQUE。

Peng Ye等人在文章“Unsupervised feature learning framework for no-reference image quality assessment,”Computer Vision and Pattern Recognition(CVPR),2012IEEE Conference on.IEEE,2012:1098-1105中，提出了一种基于无监督特征学习的图像质量评价框架CORNIA。

Saad和Bovik等人在文章“Blind Image Quality Assessment:A Natural SceneStatistics Approach in the DCT Domain[J]，”IEEE Transactions on ImageProcessing,2012,21(8):3339.中提出的名为BLIINDS的方法，则是将图像分解后的DCT系数通过多变量高斯模型进行描述得到模型参数，通过分析这些特征参数与DMOS值的SROCC相关性选择适当的参数作为特征，通过训练这些特征与主观评价结果之间的概率关系，选取让后验概率最大的结果作为图像质量的预测结果。

Moorthy等人在文章“Blind image quality assessment:from natural scenestatistics to perceptual quality,”IEEE Transactions on Image Processing,2011,20(12):3350-3364中采用可控金字塔小波变换系数的统计特征，并将特征送入训练模型进行训练得到一种BIQA模型，被称为DIIVINE。

发明人前期在文章“Blind Image Quality Assessment Using the JointStatistics of Generalized Local Binary Pattern[J].”IEEE Signal ProcessingLetters,2015,22(2):207-210，中提出一种简洁高效的广义局部二值特征(GeneralizedLocal Binary Pattern,GLBP)，然后利用支持向量回归(Support Vector Regression,SVR)对图像的GLBP统计特征与图像的主观视觉感知质量进行训练，得到最终的客观质量评价模型，该方法被称为NR-GLBP。然而GLBP特征作为一种图像的局部结构描述提取方法，仍然存在一些不足，首先，作为一种特征提取方法，GLBP提取的特征对图像的局部亮度不敏感，并且GLBP特征不包含图像的色彩信息，因此，单纯由图像局部亮度变化和色彩失真引起的图像失真在基于GLBP特征提取的质量评价方法中不能很好地反映出来，这在一定程度上限制了它的性能，因此，仍然有优化和提升的空间。

近年来，在深度学习热潮的推动下，开始出现了一些基于深度学习框架的无参考图像质量评价方法，但由于深度学习的方法非常容易出现过拟合的问题，导致模型虽然在某个特定的数据集上能取得非常好的结果，但缺乏通用性，泛化能力明显弱于基于人工特征选择结合机器学习的BIQA方法，因此，目前还停留在研究阶段，无法满足实际应用的需求。

发明内容

本发明的目的在于提供一种新型无参考图像质量评价方法，以解决发明人前期提出的基于GLBP特征提取的无参考图像质量评价方法中存在的模型预测精度有限并且泛化能力不足的问题，提高现有图像质量方法的评价结果与主观分数的相关性。

为了实现上述任务，本发明采用以下技术方案：

一种基于混合视觉特征的无参考图像质量评价方法，包括以下步骤：

步骤1，对于训练集中任意一幅图像I(x)，提取图像I(x)的GLBP统计特征，得到图像I(x)的GLBP特征统计直方图J_GLBP(I)；

本方案中，所述的GLBP统计特征的提取方法来自文献“Blind Image QualityAssessment Using the Joint Statistics of Generalized Local Binary Pattern[J].”IEEE Signal Processing Letters,2015,22(2):207-210.

步骤2，对所述的特征统计直方图J_GLBP(I)进行非线性变换，变换后的特征记为其中0<ρ≤1；

步骤1中所述的方法中，是直接使用图像的GLBP特征J_GLBP(I)来训练SVR模型；而本方案中则是对特征统计直方图进行非线性变换，并联合图像在RGB三通道的局部亮度统计特征来训练SVR模型的。

步骤3，选择一组高斯平滑滤波器G(σ_s)，其中滤波器的滤波核参数为：N≥1；每个高斯平滑滤波器的尺度由滤波核函数的参数控制；

步骤4，提取图像I(x)在参数下的局部亮度统计特征S_Spatial(I)，其中N≥1；

进一步地，所述的步骤4中，提取图像I(x)在参数下的局部亮度统计特征S_Spatial(I)的具体步骤为：

步骤4.1，首先将图像I(x)按照R，G，B色彩空间进行分解，分解后的三种颜色分量的图像分别记为I_R(x)，I_G(x),I_B(x)；

步骤4.2，对分解后的图像I_R(x)按照如下步骤分别提取局部亮度统计特征：

步骤4.2.1，对图像I_R(x)进行如下变换：

变换后的图像记为其中，m_R(x)是图像I_R(x)的局部亮度，通过I_R(x)与高斯平滑滤波器G(σ_s)卷积而来，计算方法如下：

s_R(x)是I_R(x)的局部方差，计算方法如下：

其中σ_s用来控制高斯平滑滤波器G(σ_s)的宽度，代表卷积运算；

步骤4.2.2，将变换后的图像的灰度统计直方图用泛高斯分布来拟合，拟合参数记为其中，参数越大，代表灰度统计直方图的形状越平坦，越小，概率密度直方图越陡峭；

本方案中，所述的泛高斯分布拟合方法参见文献K.Sharifi and A.Leon-Garcia,“Estimation of shape parameter for generalized Gaussian distributionsinsubband decompositions of video,”IEEE Trans.Circuits Syst.Video Technol.,vol.5,no.1,pp.52–56,Feb.1995。所述的参数和被认为是与图像I_R(x)的视觉感知质量有关的特征。

步骤4.2.3，利用步骤4.2.2的方法得到在的条件下，提取的N组图像I_R(x)的局部亮度统计特征，将特征记为：

步骤4.2.4，按照步骤4.2.1至步骤4.2.3相同的方法得到图像I_G(x),I_B(x)的局部亮度统计特征，分别记为：

步骤5，将所述的局部亮度统计特征S_Spatial(I)由分解后的RGB三通道图像的亮度统计特征S_Spatial(I_R)，S_Spatial(I_G)和S_Spatial(I_B)的平均值来表示；

进一步地，所述的S_Spatial(I)表示为：

步骤6，将图像I(x)所有与质量相关的特征J(I)由图像I(x)非线性变换后的特征局部亮度统计特征S_Spatial(I)联合组成，表示为：

值得注意的是，以往在多特征提取与融合时，往往不考虑不同类型的特征在提取时所选用的参数之间是否存在内在关系。本发明提出的混合视觉特征模型，相比以往采用单一的GLBP特征训练质量预测模型的方法有明显改善，但是，要达到最优的质量预测性能，则在两种视觉特征提取过程中的选择上，要求图像的局部亮度统计特征提取时使用的高斯滤波器的核函数的尺度参数σ_s与GLBP特征提取中采用的拉普拉斯-高斯(Laplace ofGaussian,LOG)滤波器核函数的尺度参数一致，实现参数共享，当高斯滤波器的核函数的尺度少于GLBP特征提取中采用LOG滤波器核函数的尺度参数的数目，则在GLBP特征提取中采用的LOG滤波器核函数的尺度参数中进行选择。本发明提出的方法，只有在尺度空间的参数共享的前提下，才能达到最优的质量预测效果。

步骤7，利用训练集中每一幅图像的所有与质量相关的特征J(I)，与图像对应的主观视觉质量分数，通过支持向量回归(Support Vector Regression,SVR)训练用于图像质量预测的SVR模型；

步骤8，对于待测图像，按照步骤1-6相同的方法提取待测图像的所有与质量相关的特征，然后通过步骤7训练好的SVR模型，得到待测图像的客观预测质量分数，从而实现一种新型的图像质量客观评价方法。

本发明与现有技术相比具有以下技术特点：

1.本发明方法运算量较小，运算速度快。

2.本发明通过较为简单的改进，使得现有的NR-GLBP无参考图像质量评价方法性能有了明显的提升，并且通过实验证实，相比于现在同类无参考图像质量评价方法，本发明所述的方法的质量预测结果与视觉主观质量之间的相关性最高，泛化性能最好。

3.本发明方法明显地提高了图像质量客观预测的精度，很好地克服了现有评价方法泛化能力弱的问题，能够满足各类图像及视频处理实际应用中对无参考图像质量评价方法的要求。

附图说明

图1为本发明方法的基本流程图；

图2为本发明中的特征提取流程图。

具体实施方式

下面通过附图和实施例对本发明作进一步说明。

本实施例提供了一种新型无参考图像质量评价方法的具体实施方法，以2个国际公开的图像质量评价标准测试数据库：LIVE及TID2013来验证本发明提出的方法的有效性，两个数据集的主要信息如表1所示：

表1

首先，在训练阶段，针对不同的图像质量评价数据库，在特征提取结束后，将提取的图像特征与对应图像的主观视觉感知质量送入SVR模型进行训练，使用RBF核函数结合五折交叉验证进行参数寻优，得到SVR模型的最优参数。

其次，在测试阶段，我们采用两种方案进行测试，第一种方案是对本发明和现有同类方法在单个数据集上进行测试(即在某个数据库中选取部分图像数据作为训练，剩余部分图像数据作为测试)，比较其性能。在测试阶段，随机选取每个数据集中80％的图像数据作为训练集，在已有的最优参数下训练SVR模型，剩余20％的图像数据作为测试集，使用训练好的SVR参数对测试数据进行测试，实验中，要求训练集与测试集中的图像内容没有重叠，重复实验1000次，取1000次实验结果的中值来代表方法对主观质量的客观预测性能。

第二种是跨数据库的交叉验证实验。也就是说使用某一个图像质量评价数据库进行SVR模型的参数寻优，而在测试阶段，将SVR的模型参数用于另一个图像质量评价数据库进行性能测试，来验证各种无参考图像质量评价方法的泛化能力和通用性。

实验结果用客观预测模型的质量分数与主观感知质量之间的Spearman秩相关系数(SROCC)和皮尔森线性相关系数(PLCC)来评价方法的有效性；SROCC(PLCC)的取值范围是0～1，越接近1，代表准确性越高。

对比的同类方法包括：BRISQUE、BLIINDS2、DIIVINE、CORNIA和NR-GLBP。

本实施例中所采用参数如下：

本实施例中所采用的GLBP特征提取方法来自于文献“Blind Image QualityAssessment Using the Joint Statistics of Generalized Local Binary Pattern”，所使用的各项参数也和该论文中的参数一致；对图像质量评价数据库中任意一幅图像I(x)提取GLBP特征，提取后的GLBP特征记为J_GLBP(I)；对J_GLBP(I)做非线性变换，变换后的特征记为其中0<ρ≤1，本实施例中选取ρ＝0.25；ρ＝0.50；ρ＝0.75；ρ＝1.00进行对比实验，测试非线性映射在本发明中的有效性；

在参数选择上，本实施例在提取GLBP特征时选择的参数如下：选取4个不同尺度参数的LOG滤波器，LOG滤波器的尺度参数为[0.5,1.3,2.6,5.2]；阈值参数为8个。对于任意一幅图像可以得到192个GLBP特征。

在提取图像局部亮度特征时选取两个高斯滤波器，遵循本发明提出的尺度参数匹配原则，该参数从文献中GLBP特征提取时采用的LOG滤波器的4个核函数的尺度参数[0.5,1.3,2.6,5.2]中选择两个，分别为用于提取图像I(x)的局部亮度特征。

表2为本发明提出的方法(The proposed，以下简称本发明)在LIVE和TID2013两个不同的图像质量评价数据库上，不同的非线性映射参数ρ下客观预测模型的质量分数与主观感知质量之间的Spearman秩相关系数(SROCC)的性能对比。

表2

从两个图像质量评价数据库上的实验结果可以看出，虽然两个数据库中的图像内容与失真类型都有较大的差异，但是，对参数ρ的敏感性却比较类似，非线性映射参数ρ的引入在两个数据库上都可以稳定、有效地提高本发明提出的方法对于图像质量预测的精度，尤其时当ρ的取值在0.5左右时，效果最好。

接下来，我们将本发明与现有技术进行比较，表3-5为本发明提出的方法(Theproposed)与其他方法的性能比较，在参数ρ＝0.5时，通过在LIVE和TID2013图像质量评价数据库中不同失真图像计算所得到的客观评价分数和人眼主观评价分数之间的秩相关系数结果来体现方法的性能。

表3在LIVE图像数据库下，不同方法的SROCC与PLCC结果

表4在TID2013图像数据库下，不同方法的SROCC与PLCC结果

从表3-4可以看出，本发明提出的方法预测的精确性明显高于其他方法，相比于发明人前期提出的NR-GLBP方法以及该领域其他现有技术，本发明提出的方法性能表现最好，并且对NR-GLBP方法效果的改进效果非常明显。

其次，我们进行了跨数据库的交叉验证实验，用来验证和对比几种模型的泛化能力和通用性。将所有基于训练的方法统一在LIVE数据库上进行训练并在TID2013数据库上测试，具体的实验结果如表5所示。

表5在LIVE数据库上训练在TID2013数据库上测试的结果

到目前为止，现有的无参考图像质量评价方法都存在泛化能力弱的问题，这种问题在基于深度学习框架下的无参考图像质量评价算法中尤为显著，也就是说，这类方法在某个单一的数据集上可能会取得较好的结果，然而，当测试数据与训练数据来源不同时，往往性能急剧退化，如果模型的泛化能力弱，那么这样的模型很难具备实际应用价值。

从表5可以看出，当各种无参考图像质量评价方法统一在LIVE上训练而在TID2013数据库上进行测试时，大部分方法的质量预测性能都有了非常明显的退化，但是本发明提出的方法仍然能够保持较高的质量预测精度，稳定性远远优于其他方法，使得该方法更具备实用化的潜质。

上述对实施例的描述是为便于该技术领域的普通技术人员能理解和使用本发明。熟悉本领域技术的人员显然可以容易地对这些实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，不脱离本发明范畴所做出的改进和修改都应该在本发明的保护范围之内。

Claims (3)

1.一种基于混合视觉特征的无参考图像质量评价方法，其特征在于，包括以下步骤：

步骤1，对于训练集中任意一幅图像I(x)，提取图像I(x)的GLBP统计特征，得到图像I(x)的GLBP特征统计直方图J_GLBP(I)；

步骤2，对所述的特征统计直方图J_GLBP(I)进行非线性变换，变换后的特征记为其中0<ρ≤1；

步骤3，选择一组高斯平滑滤波器G(σ_s)，其中滤波器的滤波核参数为：

步骤4，提取图像I(x)在参数下的局部亮度统计特征S_Spatial(I)，其中

步骤5，将所述的局部亮度统计特征S_Spatial(I)由分解后的RGB三通道图像的亮度统计特征的平均值来表示；

步骤6，将图像I(x)所有与质量相关的特征J(I)由图像I(x)非线性变换后的特征局部亮度统计特征S_Spatial(I)联合组成，表示为：

步骤7，利用训练集中每一幅图像的所有与质量相关的特征J(I)，与图像对应的主观视觉质量分数，通过支持向量回归训练用于图像质量预测的SVR模型；

步骤8，对于待测图像，按照步骤1-6相同的方法提取待测图像的所有与质量相关的特征，然后通过步骤7训练好的SVR模型，得到待测图像的预测质量分数。

2.如权利要求1所述的基于混合视觉特征的无参考图像质量评价方法，其特征在于，所述的步骤4中，提取图像I(x)在参数下的局部亮度统计特征S_Spatial(I)的具体步骤为：

步骤4.1，首先将图像I(x)按照R，G，B色彩空间进行分解，分解后的三种颜色分量的图像分别记为I_R(x)，I_G(x),I_B(x)；

步骤4.2，对分解后的图像I_R(x)按照如下步骤分别提取局部亮度统计特征：

步骤4.2.1，对图像I_R(x)进行如下变换：

变换后的图像记为其中，m_R(x)是图像I_R(x)的局部亮度，通过I_R(x)与高斯平滑滤波器G(σ_s)卷积而来，计算方法如下：

s_R(x)是I_R(x)的局部方差，计算方法如下：

其中σ_s用来控制高斯平滑滤波器G(σ_s)的宽度，代表卷积运算；

步骤4.2.2，将变换后的图像的灰度统计直方图用泛高斯分布来拟合，拟合参数记为其中，参数越大，代表灰度统计直方图的形状越平坦，越小，概率密度直方图越陡峭；

步骤4.2.3，利用步骤4.2.2的方法得到在的条件下，提取的N组图像I_R(x)的局部亮度统计特征，将特征记为：

步骤4.2.4，按照步骤4.2.1至步骤4.2.3相同的方法得到图像I_G(x),I_B(x)的局部亮度统计特征，分别记为：

3.如权利要求1所述的基于混合视觉特征的无参考图像质量评价方法，其特征在于，步骤5所述的S_Spatial(I)表示为：