CN108681997A - 基于改进lbp特征的无参考多失真图像质量评价方法 - Google Patents

Abstract

本发明涉及一种基于改进LBP特征的无参考多失真图像质量评价方法，包括：数据准备：选用混合失真数据库，划分训练集和测试集；改进LBP与特征提取，利用改进的LBP算子提取特征，首先得到频率直方图h_j,M，将相同半径的LBP和径差LBP直方图连接得到联合直方图H_J＝[H_LBP,H_DLBP]，最后将三个半径尺度的联合直方图结合，得到集中形式的直方图，作为最终的特征H_C；模型建立和质量预测。

Description

基于改进LBP特征的无参考多失真图像质量评价方法

技术领域

本发明属于图像处理领域，尤其是平面图像的质量评价，涉及一种针对多失真图像的改进LBP特征客观质量评价方法。

背景技术

随着显示和处理技术的迅猛发展，数字图像在我们的日常生活中发挥着越来越重要的作用。然而，数字图像在获取、处理和传输过程中容易受到多种失真的影响，比如高斯模糊，白噪声，JPEG压缩失真等。图像质量评价(Image QualityAssessment,IQA)能够识别和量化图像质量等级，已经在图像复原、图像压缩和图像增强等方面得到了广泛的应用。IQA可以分为主观评价和客观评价两类，主观评价与人眼视觉系统(HumanVisual System)有很高的一致性，但是主观实验耗时费力，难以用于实际；客观评价根据参考图像信息使用的多少，可以分为全参考(FullReference,FR)、半参考(ReducedReference,RR)和无参考(NoReference,NR)三种类型。如今，已经有大量针对单一失真类型IQA的研究工作，并且取得了较好的效果，但是现实生活中的图像大多属于多失真类型，简单套用单一失真类型的评价方法，难以取得预期的效果，因此找到一种合适且高效的多失真类图像评价方法具有较高的现实意义。

发明内容

本发明提出评价效果较好的基于改进局部二值模式(LocalBinaryPattern,LBP)特征的无参考多失真图像质量评价方法。该方法充分考虑了视觉机制对图像质量评价的指导，提出一种契合HVS特性的改进LBP算子，利用该算子对多失真图片进行特征提取，经过处理后，将其最终的特征形式和对应的主观质量分数通过支持向量回归进行训练得到一个质量评价模型，利用得到的模型可以对给定的测试图片预测其无参考质量分数，得到一个接近于人眼主观评价的分数，适用于解决无参考的多失真图像评价问题。技术方案如下：

一种基于改进LBP特征的无参考多失真图像质量评价方法，包括以下步骤：

(1)数据准备

选用混合失真数据库，划分训练集和测试集。

(2)改进LBP与特征提取

通过对标准LBP和径差LBP进行修改，进而获得改进的LBP算子，方法如下：首先，针对标准LBP，取圆对称邻域采样点P＝8，在每一个采样点处设置一个大小为ω_R×ω_R的块用该块的中值滤波器响应替换距离中心点n_c半径为R的邻域采样点n_i的灰度值，考虑块尺寸与半径成比例，设置为ω_R＝R–1，R取2,4,6三个半径尺度，得到针对标准LBP的改进；然后，与标准LBP的改进相同，可以得到针对径差LBP的改进；

利用改进的LBP算子提取特征，首先得到频率直方图h_j,M，将相同半径的LBP和径差LBP直方图连接得到联合直方图H_J＝[H_LBP,H_DLBP]，最后将三个半径尺度的联合直方图结合，得到集中形式的直方图，作为最终的特征H_C。

(3)模型建立和质量预测

将对训练集所提取的特征H_C和主观质量分数MOS通过支持向量回归得到一个训练好的质量评价模型，然后在测试集特征提取，预测其质量分数。

本发明结合视觉机制提出了一种改进的LBP算子(IMLBP)，并提取多失真图片的改进LBP特征，通过支持向量回归对特征进行训练，得到了一个客观图像质量评价模型。通过实验表明，该模型预测的客观质量分数与人眼的主观质量分数有很高的一致性。

附图说明

图1发明实现框图

图2LBP和IMLBP算子，(a)标准LBP算子(b)IMLBP算子

具体实施方式

下面结合附图1对发明做进一步阐述。

(1)数据准备

实验素材选择两个公开的多失真图像数据库，MLIVE和MDID 2013，其中，MLIVE数据库包括MLIVE1和MLIVE2两个子库。MLIVE数据库的每个子库包含15张参考图像，225张失真图像，MLIVE 1子库的失真类型为GB和JPEG混合失真，MLIVE2失真类型为GB和WN混合失真；MDID 2013数据库包含12张参考图像，失真图像有324张，混合失真类型包括GB、JPEG和WN。数据库具体信息见表1。

表1两个多失真数据库信息

随机选取80％的全库数据作为训练集，其他作为测试集图片。

(2)改进LBP与特征提取

本发明提出了一种用于解决多失真IQA问题的改进多尺度局部二值模式(Improved Multi-scale Local Binary Pattern,IMLBP)，包括LBP和径差局部二值模式(radius Difference Local Binary Pattern,DLBP)，其中DLBP反映了径向灰度值的差异。利用IMLBP提取图像的特征，得到的集中直方图能够表示图像失真的程度。

标准LBP算子和IMLBP算子见附图2。

LBP算子广泛应用于人脸识别和纹理分类。因为图像质量退化通常表现在图像结构信息的损坏，LBP算子能够将图像编码成矩阵形式以描述局部结构信息，因此LBP算子可以应用于处理IQA问题。可以通过如下公式计算：

其中，n_c为中心像素，P为圆对称邻域像素数，R为邻域半径，决定了空间分辨率，I(n_c)，I(n_i)分别表示中心像素灰度值和邻域像素灰度值，2ⁱ表示编码采样区域，门限函数为：

门限T通常取0。式为标准形式的LBP，具有灰度不变性，如附图2(a)所示。

旋转不变均匀LBP可以表示为：

riu2表示旋转不变均匀模式，μ表示均匀度量，可以通过以下公式得到：

LBP算子描述了中心点和它邻域像素的关系，当半径小的时候仅能反映图像的微观结构信息，半径增加的时候，也能一定程度上反映宏观结构信息。但是，随着半径增加，中心点与邻域采样点间距变得很大，导致计算特征映射的时候大多数像素点没有参与计算，因此会造成信息损失。

根据人眼视觉机制，当人凝视环境中某一点时，该点及其周围区域以最高空间分辨率采样，远离凝视点的方向，采样分辨率迅速下降，反映了最小的视觉关注区域，且该区域沿径向呈椭圆形排列。受此启发，在式的基础上修改采样点处灰度值，用一个采样区域图像块的滤波器响应来替代，如附图2(b)所示，假设用方块反映形状特征，可以得到改进的LBP算子：

其中，表示以距离中心点n_c半径为R的邻域采样点n_i为中心的圆对称局部块，块尺寸为ω_R×ω_R，设置P＝8。表示以n_i为中心的块的滤波响应，考虑到随着半径增加，邻域采样点数也会增加，块尺寸设置与半径成比例。具体地，ω_R＝R–1，采用中值滤波器。与类似可得到，

根据中央凹视觉原理，光感受器分布会沿着远离中央凹的方向减少。本发明采用DLBP算子来描述径向不同灰度值的关系，与改进LBP类似，同样考虑视觉机制，采样点处的值用块来代替，因此可以得到改进的DLBP算子：

表示以距离中心点n_c半径为R-1的邻域采样点n_i为中心的块，以式类似可以得到DLBP的旋转不变均匀形式算子。

利用上述IMLBP[式]特征算子，可以计算得到频率直方图：

其中，M表示特征图的类别，j表示特征图中选择的值。

结合LBP直方图和DLBP直方图，可以得到联合直方图H_J＝[H_LBP,H_DLBP]。最后，结合多个半径尺度的联合直方图，可以得到集中形式的直方图H_C＝[H_J1,H_J2,…,H_Jn]，H_Jn表示半径为n的联合直方图。设置半径为2,4,6三个尺度，将H_C作为最终特征提取的结果。

(3)模型建立和质量预测

特征提取之后，需要采用回归算法将提取的特征映射为质量分数。支持向量回归(Support Vector Regression,SVR)在NR-IQA问题上得到了广泛的应用，并且前人的工作已经屡次证明了SVR的有效性。本发明使用台湾大学林智仁教授等开发的LIBSVM软件包，将MOS值和训练集(80％的全库数据集)的特征H_C输入SVR进行训练，得到一个图像质量评价模型，然后在测试集(20％的全库数据集)上重复特征提取的操作，得到预测的客观质量分数。

(4)IQA性能分析

为了验证本发明预测的质量分数与HVS有很高的一致性，选择三个常用的图像质量算法评估指标，分别是斯皮尔曼秩相关系数(Spearman Rank-Order CorrelationCoefficient,SROCC)、皮尔森线性相关系数(Pearson Linear Correlation Coefficient,PLCC)和均方根误差(RootMean Squared Error,RMSE)。IQA算法性能越好，则PLCC和SROCC的值越接近于1，RMSE的值越小，即表示算法预测的质量分数越趋近于主观质量分数。

为了减少预测分数非线性的影响，在计算PLCC和RMSE之前使用一个五参数逻辑回归函数：

其中，q是原始IQA评估指标的值，Q_p是回归后得到的质量分数，{ξ₁,ξ₂,ξ₃,ξ₄,ξ₅}是该逻辑回归函数的参数。

本发明的方法(Proposed)与一些优秀的FR-IQA方法的性能对比见表2，与表现优异的NR-IQA方法的性能对比见表3。

表2 FR-IQA算法性能对比

表3 NR-IQA算法性能对比

表格中粗体部分表示在某一类评估方法下，性能最优的算法。根据表2和表3可知，本发明提出的方法，SROCC和PLCC均是所有方法中最大的，RMSE是其中最小的。由此可知，本发明提出的方法，在MLIVE和MDID 2013两个多失真数据库上测试，与主观质量分数保持较高的一致性，可以作为一个优秀的无参考图像质量评价模型。只要给定一张测试的图片，输入到训练好的模型中，经过特征提取和质量预测，就可以生成与主观评价的质量分数比较接近的客观质量分数。

Claims (1)

1.一种基于改进LBP特征的无参考多失真图像质量评价方法，包括以下步骤：

(1)数据准备

选用混合失真数据库，划分训练集和测试集。

(2)改进LBP与特征提取

通过对标准LBP和径差LBP进行修改，进而获得改进的LBP算子，方法如下：首先，针对标准LBP，取圆对称邻域采样点P＝8，在每一个采样点处设置一个大小为ω_R×ω_R的块用该块的中值滤波器响应替换距离中心点n_c半径为R的邻域采样点n_i的灰度值，考虑块尺寸与半径成比例，设置为ω_R＝R–1，R取2,4,6三个半径尺度，得到针对标准LBP的改进；然后，与标准LBP的改进相同，可以得到针对径差LBP的改进；

利用改进的LBP算子提取特征，首先得到频率直方图h_j,M，将相同半径的LBP和径差LBP直方图连接得到联合直方图H_J＝[H_LBP,H_DLBP]，最后将三个半径尺度的联合直方图结合，得到集中形式的直方图，作为最终的特征H_C。

(3)模型建立和质量预测

将对训练集所提取的特征H_C和主观质量分数MOS通过支持向量回归得到一个训练好的质量评价模型，然后在测试集特征提取，预测其质量分数。