CN109344860A - 一种基于lbp的无参考图像质量评价方法 - Google Patents

一种基于lbp的无参考图像质量评价方法 Download PDF

Info

Publication number
CN109344860A
CN109344860A CN201810944805.XA CN201810944805A CN109344860A CN 109344860 A CN109344860 A CN 109344860A CN 201810944805 A CN201810944805 A CN 201810944805A CN 109344860 A CN109344860 A CN 109344860A
Authority
CN
China
Prior art keywords
clbp
gradient
feature vector
image
gradient amplitude
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810944805.XA
Other languages
English (en)
Inventor
沈丽丽
耿小荃
侯春萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201810944805.XA priority Critical patent/CN109344860A/zh
Publication of CN109344860A publication Critical patent/CN109344860A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于LBP的无参考图像质量评价方法，包括：通过prewitt梯度算子得到失真图像的一阶梯度幅度图，通过laplace梯度算子得到失真图像的二阶梯度幅度图。对第一步中得到的两幅梯度幅度图分别进行CLBP编码，每幅梯度幅度图得到三组编码，进而得到每幅梯度幅度图的CLBP联合直方图。将一阶梯度幅度图和二阶梯度幅度图的CLBP联合直方图进行整合得到特征向量，对特征向量进行PCA降维，最终形成一个表达完整图像信息的特征向量。选取训练数据、测试数据和迭代次数，基于所提取的特征向量，利用支持向量机进行训练，取测试数据的中间值作为最终的质量评价分数。

Description

一种基于LBP的无参考图像质量评价方法
技术领域：
本发明涉及对平面混合失真图像进行客观质量评价领域。
背景技术：
当人类回首过去的30年时，无不惊讶地发觉，在这短短地几十年时间之中，信息传递的速度与形式正不停的发生着一次又一次的革新。从最初的电报及简单声音，直至今日浩如星辰般的图像与媒体流信息若潮水般冲刷着我们的视网膜。不可否认21世纪是一个“图片化”与“图像化”盛行的时代。从文化而言，诸如微软等全球软件领导者都已纷纷将图像化的思路拥入怀抱，而就人类需求而言，人类每日攫取的信息量超过75％来自各式各样的图像。进入智能时代以来，伴随着互联网与智能手机的普及，图像，尤其是数字化的图像与我们的日常生活已达到了水乳交融的状态。高清电视、数码相机、VR设备、家用电脑等不胜枚举的电子设备都必可避免地踏上了图像化的轨道。然而，数字化的图像信息在采集、压缩、传输、储存以及恢复的过程当中，都会由于各式各样类型的噪声与失真的影响而对图像的质量产生损坏，使接受者所获取信息与图像原信息产生偏差。因此，如何设计衡量图像质量的方法，已然成为图像处理领域的一个亟待解决之问题。
客观图像质量评价方法主要分为三类，无参考(NR)、部分参考(RR)与全参考(FR)。在无参考图像的情况下，大多数当前的IQA方法专注于评估和测量由单个失真引起的图像质量失真。然而众所周知的是，实际情况下的图像往往经过了多道工序的处理，而这当中的每道工序都会引入特殊的失真种类，而这样一来，往往使得混合失真的图像质量评价变得异常困难。
近来，也出现了一些针对多类型失真图像设计客观IQA方法的研究，但是大部分算法存在一些缺点：1)基于多种NR-IQA度量互相结合作用的IQA算法会造成较大数量的计算开销；2)其他一些较为精确的算法则多适应于特定类型的失真数据库，对于整体的混合多失真图像类型适应性不足。因此，在混合失真的情况下，本发明提出全新的无参考平面混合失真图像质量评价方法。
发明内容：
本发明针对混合失真平面图像，提出一种新的无参考图像质量评价方法，通过双重梯度编码提取失真图像的二重梯度图以突出失真图像的结构性特征，使用CLBP(Completed Modeling of Local Binary Pattern)方法，对梯度图化的失真图像进行局部二值处理，然后由直方图提取出图像特征进行训练与测试，并针对主流混合失真图像数据库进行了广泛的实验验证。实验结果表明，该算法在失真图像评价中具有较高的准确率，且与主观评价结果更为一致。本发明技术方案如下：
一种基于LBP的无参考图像质量评价方法，包括以下步骤：
1)通过prewitt梯度算子得到失真图像的一阶梯度幅度图，通过laplace梯度算子得到失真图像的二阶梯度幅度图。
2)对第一步中得到的两幅梯度幅度图分别进行CLBP编码，每幅梯度幅度图得到三组编码，进而得到每幅梯度幅度图的CLBP联合直方图。
3)将一阶梯度幅度图和二阶梯度幅度图的CLBP联合直方图进行整合得到特征向量，对特征向量进行PCA降维，最终形成一个表达完整图像信息的特征向量。
4)选取训练数据、测试数据和迭代次数，基于所提取的特征向量，利用支持向量机进行训练，取测试数据的中间值作为最终的质量评价分数。
附图说明：
通过附图，可以使本发明的实施步骤及优点更加凸显，也更容易地理解本发明的流程与操作。
图1本发明的DGCLBP算法流程；
图2(a)为原始失真图像，图2(b)为prewitt算子处理后的梯度图，图2(c)为laplace算子处理后的梯度图；
图3(a)为prewitt梯度算子梯度图转化出的GCLBP图像，图3(b)为laplace梯度算子梯度图转化出的GCLBP图像；
图4(a)为算法在MLIVE数据库中相关性系数的表现，图4(b)为算法在MDID数据库中相关性系数的表现；
图5(a)为MLIVE数据库中的散点图结果，图5(b)为MDID数据库中的散点图结果。
具体实施方式：
为使本发明的方案更加清楚明了，便于实施，以便于更加凸显本发明的优点及目的，下面结合附图对本发明实施方案作进一步地详细阐述与说明。
101：梯度幅度图
在梯度计算的过程当中，一阶导数的计算偏重于突出图像当中的脉络结构，而二阶偏导数的结果更偏重于特殊点与噪声点的展示。此发明对于失真图像求梯度图的初步处理，需求出一阶导数结果构成一阶梯度图，同时求出二阶偏导数结果构成二阶梯度图。其中一阶梯度图使用prewitt算子滤波器，而二阶梯度图使用laplace算子滤波器。
由prewitt算子求得一阶梯度值的过程由公式(1)所示：
上述算式中符号“*”代表了卷积运算；Px与Py是水平与垂直方向上的Prewitt算子；d与g代表失真图像与其相应的梯度图，i代表位置指标。
计算二阶偏导时，使用拉普拉斯算子模版进行数学运算，直接将模板与图像卷积即可。
若原始图像为图2(a)，则prewitt算子处理后的梯度图为图2(b)，laplace算子处理后的梯度图为图2(c)。
102：CLBP特征向量
LBP特征主要用于编码图像中的微组织结构如边缘与斑点等。
原始LBP算子对3*3的像素块进行处理，处理后产生一个代表中心像素的二进制数，即LBP值，反映了此像素周围区域的构造纹理信息。该过程如公式(2)所示。
在传统LBP特征编码的过程当中，很多信息忽略不计，造成特征编码的不彻底。所以我们使用CLBP去提取图像特征，CLBP首先将LBP编码的图像窗口通过局部差分符号(门限)-幅度变换拆分成为两个不同的特征向量：S与M，之后通过一定的阈值编码将S与M编为两组不同的二进制码CLBP_S与CLBP_M，其中CLBP_S为传统的标准LBP编码方法得出的编码结果，CLBP_M为窗口中心像素灰度值与边缘像素灰度值差值的绝对值集合。CLBP_C为窗口中心像素灰度值与某阈值差值的绝对值的集合，最后需要一定手段将它们转化为二进制编码值，CLBP_M的转化公式如公式(3)所示，CLBP_C的转化公式如公式(4)所示。
其中c是自适应所确定的阈值，我们在此设定它为全图像mp的平均值(mp指中心像素与边缘像素灰度值之差的绝对值)，而CLBP-MP，R则表示CLBP-M的旋转不变分类。
CLBP-CP，R＝t(gc，cI) (4)
t的功能和CLBP-M转化公式中的意义相同，而阈值在此设置为整个图像的平均灰度值。103：CLBP直方图
将101步骤所获得到的一阶与二阶图像梯度图进行CLBP编码，得到了CLBP图，将已经编码完成的CLBP图转化为CLBP直方图的形式以便于提取特征。
在CLBP得到表示三种不同种类特征的算子：CLBP_S，CLBP_M，与CLBP_C之后，这三个算子可通过两种方式联结整合。第一种方法类似于2D联合直方图，可以首先建立这三个算子的3D联合直方图，并由“CLBP_S/M/C”降级。而在第二种方法当中，首先建立二维联合直方图“CLBP_S/C”或“CLBP_M/C”，而后将二维直方图转换为一维直方图，最后由“CLBP_M_S/C”或“CLBP_S_M/C”表示。
应用较为广泛的频率直方图的形式，将已经编码完成的CLBP图转化为CLBP直方图的形式，而后可以再将得到的两张CLBP直方图转化整合统一为CLBP特征向量。图3(a)与图3(b)分别表示图2(a)的原始图像的一阶梯度图2(b)所转化成的CLBP图(GCLBP1)与二阶梯度图2(c)所转化为的CLBP图(GCLBP2)。
103：支持向量机训练
我们利用MATLAB环境LIBSVM工具箱中的支持向量回归SVR来预测图像质量。SVR表达形式如公式(5)所示。
其中xj是特征向量，yj是训练样本所对应的DMOS值，w是权重，φ(xj)是映射函数，参数zj与z'j是松弛变量，Ω是偏值，ξ和η与训练样本有关。
我们发现，由一张梯度图所转化而来的GCLBP特征向量共有256个维度，而双重梯度转化而来的GLBP特征向量则总共有512个维度的特征变量，特征维度过大，我们选择了PCA(Principal Component Analysis)分析方法进行降维运算，这种方法将原始数据变换为一组各维度线性无关的向量数据组，可用来提取数据的主要特征分量。
对于每一张平面图像提取特征后，便得到一个特征向量。我们在MLIVE和MDID图像数据库上进行SVR回归预测实验。MLIVE数据库由15张参考图像两种混合失真类型生成455张图片，包括：blur+jpeg的混合失真图像225张，blur+noise的混合失真图片225张。MDID由20个参考图像和1600个失真图像组成,每个失真图像同时包含多种类型的失真。引入了五种失真，即高斯噪声(GN)，高斯模糊(GB)，对比度变化(CC)，JPEG和JPEG2000实验中，我们随机选择数据库80％失真图片作为训练数据，20％数据作为测试数据，迭代次数为1000次，取测试数据的中间值作为最终的质量评价分数。
104：实验结果
为了评估本发明所提出来的无参考3D立体图像质量评价的性能，我们选择斯皮尔曼等级次序相关系数(SROCC)、皮尔森线性相关系数(PLCC)和均方根误差(RMSE)3个评价指标来评价算法性能。为了展现相关性系数的对比性，我们将该算法得出的上述三类相关性系数与几种主流无参考质量评估方法所求得的相关性系数进行对比，各种主流全参考质量评价的SROCC、PLCC与RMSE值如图4所示。其中，PLCC、SROCC的值越大表示与主观评价值DMOS越一致，算法效果越好，RMSE值则越小越好。DGCLBP在MLIVE库中SROCC和PLCC值分别可以达到0.945和0.953，在MDID库中SROCC和PLCC值分别可以达到0.816和0.821。由实验结果我们不难得出结论，DGCLBP在实际运用当中具有优良的性能，其在MLIVE与MDID数据库可以得到超越如今各大主流主观与客观质量评价算法的结果。
我们将数据库中预测组中图像的预测评价结果，与其主观质量评价分数制成了散点图。并将拟合函数曲线同时画在了图上。其中图5(a)为MLIVE数据库中的散点图结果，而图5(b)为MDID数据库中的散点图结果。
综上所述，本发明主要就混合失真平面图像，提出一种基于结构退化的无参考多混合失真图像质量评价算法DGCLBP，通过实验结果，我们已经证明提出的这种评价方法能够很好的体现混合失真平面图像信息，其性能超过绝大部分有参考和无参考IQA算法。展望未来，今后进一步的工作是建立更加符合人眼视觉系统的模型，提取出更精确更少维度的图像特征来评价混合失真图像质量。

Claims (1)

1.一种基于LBP的无参考图像质量评价方法，包括以下步骤：
1)通过prewitt梯度算子得到失真图像的一阶梯度幅度图，通过laplace梯度算子得到失真图像的二阶梯度幅度图。
2)对第一步中得到的两幅梯度幅度图分别进行CLBP编码，每幅梯度幅度图得到三组编码，进而得到每幅梯度幅度图的CLBP联合直方图。
3)将一阶梯度幅度图和二阶梯度幅度图的CLBP联合直方图进行整合得到特征向量，对特征向量进行PCA降维，最终形成一个表达完整图像信息的特征向量。
4)选取训练数据、测试数据和迭代次数，基于所提取的特征向量，利用支持向量机进行训练，取测试数据的中间值作为最终的质量评价分数。
CN201810944805.XA 2018-08-19 2018-08-19 一种基于lbp的无参考图像质量评价方法 Pending CN109344860A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810944805.XA CN109344860A (zh) 2018-08-19 2018-08-19 一种基于lbp的无参考图像质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810944805.XA CN109344860A (zh) 2018-08-19 2018-08-19 一种基于lbp的无参考图像质量评价方法

Publications (1)

Publication Number Publication Date
CN109344860A true CN109344860A (zh) 2019-02-15

Family

ID=65296964

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810944805.XA Pending CN109344860A (zh) 2018-08-19 2018-08-19 一种基于lbp的无参考图像质量评价方法

Country Status (1)

Country Link
CN (1) CN109344860A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110415223A (zh) * 2019-07-17 2019-11-05 西安邮电大学 一种无参考的拼接图像质量评价方法及系统
CN111127387A (zh) * 2019-07-11 2020-05-08 宁夏大学 无参考图像的质量的评价方法
CN111968073A (zh) * 2020-07-07 2020-11-20 南昌大学 一种基于纹理信息统计的无参考图像质量评价方法
CN112132774A (zh) * 2019-07-29 2020-12-25 方玉明 一种色调映射图像的质量评价方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105574901A (zh) * 2016-01-18 2016-05-11 浙江科技学院 一种基于局部对比度模式的通用无参考图像质量评价方法
CN106548472A (zh) * 2016-11-03 2017-03-29 天津大学 基于沃尔什哈达玛变换的无参考图像质量评价方法
CN107481236A (zh) * 2017-08-28 2017-12-15 方玉明 一种屏幕图像的质量评价方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105574901A (zh) * 2016-01-18 2016-05-11 浙江科技学院 一种基于局部对比度模式的通用无参考图像质量评价方法
CN106548472A (zh) * 2016-11-03 2017-03-29 天津大学 基于沃尔什哈达玛变换的无参考图像质量评价方法
CN107481236A (zh) * 2017-08-28 2017-12-15 方玉明 一种屏幕图像的质量评价方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
QIAOHONG LI等: "No-Reference Quality Assessment for Multiply-Distorted Images in Gradient Domain", 《IEEE SIGNAL PROCESSING LETTERS》 *
何昕: "基于NRLBP的NAO机器人行人目标检测", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
薛冰: "基于特征学习的图像超分辨率研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
赵辛宇: "基于局部纹理表达的图像质量评价", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
郑倩: "医学图像分割方法研究及其应用", 《中国博士学位论文全文数据库 信息科技辑》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111127387A (zh) * 2019-07-11 2020-05-08 宁夏大学 无参考图像的质量的评价方法
CN111127387B (zh) * 2019-07-11 2024-02-09 宁夏大学 无参考图像的质量的评价方法
CN110415223A (zh) * 2019-07-17 2019-11-05 西安邮电大学 一种无参考的拼接图像质量评价方法及系统
CN110415223B (zh) * 2019-07-17 2021-10-26 西安邮电大学 一种无参考的拼接图像质量评价方法及系统
CN112132774A (zh) * 2019-07-29 2020-12-25 方玉明 一种色调映射图像的质量评价方法
CN111968073A (zh) * 2020-07-07 2020-11-20 南昌大学 一种基于纹理信息统计的无参考图像质量评价方法
CN111968073B (zh) * 2020-07-07 2022-07-12 南昌大学 一种基于纹理信息统计的无参考图像质量评价方法

Similar Documents

Publication Publication Date Title
CN106952228B (zh) 基于图像非局部自相似性的单幅图像的超分辨率重建方法
Li et al. No-reference and robust image sharpness evaluation based on multiscale spatial and spectral features
Gu et al. Multiscale natural scene statistical analysis for no-reference quality evaluation of DIBR-synthesized views
CN109344860A (zh) 一种基于lbp的无参考图像质量评价方法
CN111127374B (zh) 一种基于多尺度密集网络的Pan-sharpening方法
CN103049892B (zh) 基于相似块矩阵秩最小化的非局部图像去噪方法
CN109872305B (zh) 一种基于质量图生成网络的无参考立体图像质量评价方法
Tsai et al. Block-based vanishing line and vanishing point detection for 3D scene reconstruction
CN109523506B (zh) 基于视觉显著图像特征增强的全参考立体图像质量客观评价方法
CN104123705B (zh) 一种超分辨率重建图像质量Contourlet域评价方法
CN109255358B (zh) 一种基于视觉显著性和深度图的3d图像质量评价方法
Zheng et al. No-reference quality assessment for screen content images based on hybrid region features fusion
CN111127325B (zh) 基于循环神经网络的卫星视频超分辨率重建方法及系统
CN110796622B (zh) 一种基于串联神经网络多层特征的图像比特增强方法
CN110070574B (zh) 一种基于改进PSMNet的双目视觉立体匹配方法
CN108053396A (zh) 一种多失真图像质量的无参考评价方法
CN104077742B (zh) 基于Gabor特征的人脸素描合成方法及系统
CN113538246B (zh) 基于无监督多阶段融合网络的遥感图像超分辨率重建方法
CN103646256A (zh) 一种基于图像特征稀疏重构的图像分类方法
CN103679661A (zh) 一种基于显著性分析的自适应遥感图像融合方法
CN103679740B (zh) 一种无人机对地目标roi提取方法
CN114266957A (zh) 一种基于多降质方式数据增广的高光谱图像超分辨率复原方法
Chauhan et al. Deep learning-based single-image super-resolution: a comprehensive review
Amirkhani et al. Inpainted image quality evaluation based on saliency map features
CN106157240A (zh) 基于字典学习的遥感图像超分辨率方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190215