CN108335289A - 一种全参考融合的图像客观质量评价方法 - Google Patents

一种全参考融合的图像客观质量评价方法 Download PDF

Info

Publication number
CN108335289A
CN108335289A CN201810049789.8A CN201810049789A CN108335289A CN 108335289 A CN108335289 A CN 108335289A CN 201810049789 A CN201810049789 A CN 201810049789A CN 108335289 A CN108335289 A CN 108335289A
Authority
CN
China
Prior art keywords
picture
distortion
feature vector
type
label
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810049789.8A
Other languages
English (en)
Inventor
侯春萍
李�浩
岳广辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201810049789.8A priority Critical patent/CN108335289A/zh
Publication of CN108335289A publication Critical patent/CN108335289A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明涉及一种全参考融合的图像客观质量评价方法，包括：选择图片数据库作为模型训练的输入，将图片按照失真类型分组，每种失真类型下有不同程度失真的图片，分别获得每组图片的文件名及标签；特征提取，选用多种全参考度量算法，对每种失真类型中的图片分别打分，每组图片经过一种全参考度量算法运算会得到一个特征向量，将得到特征向量组成特征矩阵；数据预处理，将失真图像标签和失真类型对应的特征向量分数分别规范化到(1,100)和(0,1)之间，并进行转置处理以满足SVM训练需要；特征训练，得到质量评价模型。

Description

一种全参考融合的图像客观质量评价方法
技术领域
本发明属于图像处理领域，尤其是平面图像的质量评价。
背景技术
随着信息技术的发展，人们通过各种显示设备获取信息的需求逐渐增加。数字图像作为信息表达与交流的工具，获得了广泛的应用。然而，在实际的图像采集、分析、传输、处理和重建过程中，不可避免会发生失真现象，因此，为了保障终端用户的体验质量，图像质量评价扮演了重要的角色[1]。
图像质量评价分为主观评价方法和客观评价方法，由于人类是最终的接收者，所以最可靠的是主观评价方法，但是缺点在于耗时费力，难以运用于实际。图像客观评价方法旨在通过算法模型，自动而且准确地预测图像质量，使得预测的图像质量分数趋近于人类主观评价值。在客观评价方法中，根据使用原始无失真图像信息的多少，可以分为全参考(Full Reference,FR)图像质量评价、半参考(Reduced Reference,RR)图像质量评价和无参考(No Reference,NR)图像质量评价。由于FR图像质量评价不仅利用了失真信息，而且采用了全部的参考图像信息，因此大多数FR方法呈现了比较好的评价性能。单一的FR方法往往考虑某一个或几个特征，比如梯度、相位一致性等，本发明提出的方法融合了6种全参考度量，充分考虑了多种特征反映的人眼视觉特性，使得预测的质量分数与人眼主观评价分数更加吻合。
[1]Wang Z,Bovik.Modern Image Quality Assessment[J].Synthesis Lectureson Image Video&Multimedia Processing,2006,2(1):156.
发明内容
本发明针对图像质量评价中单一全参考度量方法不足以反映人眼视觉特性的问题，提出一种全参考融合的图像客观质量评价方法，能够预测出与人眼主观评价高度吻合的质量分数。技术方案如下：
一种全参考融合的图像客观质量评价方法，包括以下步骤：
第一步，选择图片数据库作为模型训练的输入，将图片按照失真类型分组，每种失真类型下有不同程度失真的图片，分别获得每组图片的文件名及标签；
第二步，特征提取，选用梯度相似度GSIM，带有颜色信息的特征相似度FSIMC，梯度幅值相似度偏差GMSD，梯度相似性度量，内部生成机制IGM和多尺度结构相似性MS-SSIM6种全参考度量算法，对每种失真类型中的图片分别打分，每组图片经过一种全参考度量算法运算会得到一个特征向量，将得到的6个特征向量组成特征矩阵。
第三步，数据预处理，将失真图像标签和失真类型对应的特征向量分数分别规范化到(1,100)和(0,1)之间，并进行转置处理以满足SVM训练需要。
第四步，特征训练，利用SVM训练标签和特征向量，得到图像的特征向量和标签的映射关系模型，即为质量评价模型；
第五步，利用所得到的质量评价模型评价图片质量。
本发明融合了多种FR图像质量评价方法，提取图像特征，通过SVM回归，得到图像质量评价模型。实验表明，该模型在测试数据库上有很高的回归准确率，且预测的客观质量分数与人眼的主观质量分数有很高的一致性。
附图说明
图1本发明的实现框图。
具体实施方式
下面结合附图1对发明做进一步阐述。
第一步，数据库选择。
实验素材选择LIVE Release 2数据库，包含29张参考图像，5种失真类型JPEG2000、JPEG、White Noise、Gaussian Blur和Fast Fading Rayleigh，每种失真类型下有不同程度失真的图像。数据库具体信息见表1。
表1 LIVE Release 2数据库信息
第二步，特征提取。
本发明选用了梯度相似度(Gradient SIMilarity index,GSIM),带有颜色信息的特征相似度(Feature SIMilarity with Chrominance information,FSIMC),梯度幅值相似度偏差(Gradient Magnitude Similarity Deviation,GMSD),梯度相似性度量(Gradient Similarity based Metric,GSM),内部生成机制(Internal GenerativeMechanism,IGM),多尺度结构相似性(Multi-Scale Structural SIMilarity,MS-SSIM)6种FR度量方法，组成FRmetrics_set，利用FRmetrics_set分别对LIVE Release 2数据库中5种失真类型图像与相应的参考图像按如下6种计算方法提取特征：
①GSIM假设人类视觉系统在很大程度上依赖视觉低层特征来理解图像信号，通过如下方式：
其中，x，y分别表示原始图像和失真图像，C5为常数，Gx，Gy分别为原始图像和失真图像的梯度幅值，Gh，Gv分别为水平和垂直方向上的Sobel卷积运算。
②FSIMc是FSIM方法的扩展，在特征相似性基础上考虑了颜色信息，可以比较图像的亮度和颜色信息，通过如下公式计算：
其中，SPC(x)，SG(x)分别为与相位一致和梯度幅值有关的参数，SI(x)，SQ(x)分别为YIQ颜色空间中与I、Q两个颜色通道相关的参数，PCm(x)用于衡量相似度的重要性，λ用于调整颜色特征的重要程度。
③GMSD考虑到梯度对失真敏感，不同的结构有不同程度的失真，可以通过下式实现：
其中，mr，md分别为参考图像和失真图像的梯度幅值，c为常数。
④GSM在SSIM的基础上，用梯度相似性来度量图像亮度、对比度和结构的变化，梯度相似度可以通过如下公式计算：
其中，K＝C4/max(gx-gy)2，C4为常数，gx，gy为图像块x,y的梯度值。
q＝(1-W(g,e))·g+W(g,e)·e (9)
e表示亮度相似度，xi，yi表示图像块中位置i处的像素，L表示像素值的动态范围，W(g,e)是一个与g,e相关的权重，质量分数q是对梯度和亮度相似度的平均。
⑤IGM考虑了HVS的视觉特性，即积极预测感觉信息，避免剩余不确定性，主要包括边缘和结构相似性以及用PSNR估计衰减两个部分，公式如下：
Q＝PαVβ (11)
υ(xp,yp)＝g(xp,yp)s(xp,yp) (13)
其中，Qi是第i级的感知质量分数，ρ表示不同尺度之间的相对重要性，ρ＝[0.0448,0.2856,0.3001,0.2363,0.1333]，P是用PSNR表示的不适感觉变化，V是边缘和结构相似性指标υ(xp,yp)的平均值。
⑥MS-SSIM融入了图像细节，适用于不同分辨率下的应用，可通过下式表示：
其中，lM表示M尺度的亮度比较，cj，sj分别表示第i个尺度的对比度比较，结构比较，αM,βj，γj用于调节各部分相对重要性。
将提取出的特征向量保存在score_(*).mat文件的score变量中，(*)表示5种失真类型中的一种，score中是特征向量组成的矩阵。
第三步，数据预处理。
主要包括两个方面的数据规范化处理：
一是训练数据库中失真图像的MOS值的归一化，映射到(1,100)区间，上一步特征矩阵的归一化，映射到(0,1)区间。归一化采用mapminmax函数，映射计算通过下式：
y＝(ymax-ymin)×(x-xmin)/(xmax-xmin)+ymin (16)
其中，x是原始数据，y是归一化后的数据，xmin和xmax是原始数据x的最小值和最大值，ymin和ymax是映射的范围参数。
二是转置操作，将归一化后的MOS值和特征矩阵都执行转置操作，以适应SVM参数输入的需要。
第四步，特征训练。
使用台湾大学林智仁教授等开发的LIBSVM软件包，将转置后的MOS值和特征矩阵输入SVM进行训练。首先利用SVMcgForRegress.m寻找回归的最佳参数，主要包括惩罚参数c和核函数参数g，选用epsilon-SVR类型的SVM，损失函数值设置为0.1，采用RBF核函数，利用得到的最佳参数c和g对SVM进行训练，得到一个图像质量评价模型，然后利用模型在该数据库上做回归预测。
实验表明，该模型在LIVE Release 2上的平方相关系数可以达到96.0.625％，说明该回归模型有非常高的准确率。
第五步，比较和分析方法性能。
为验证本发明得到的预测的质量分数与人眼主观评价的质量分数有很高的一致性，选择三个常用的图像质量算法评估指标，分别是皮尔森线性相关系数(Pearson LinearCorrelation Coefficient,PLCC)、斯皮尔曼秩相关系数(Spearman Rank-OrderCorrelation Coefficient,SROCC)和均方根误差(Root Mean Squared Error,RMSE)。其中，PLCC和RMSE用于评估算法准确性，而SROCC则用于评估算法的预测单调性。图像质量评价算法性能越好，则PLCC和SROCC的值越接近于1，RMSE的值越小，即表示算法预测的质量分数越趋近于人眼主观质量分数。本发明的方法(Proposed)与一些优秀的FR质量评价方法在LIVE Release 2数据库上的性能对比见表2。
表2算法性能对比
表格中粗体部分表示某一类评估方法下，性能最优的算法。根据表2可知，本发明提出的方法，PLCC和SROCC均是所有方法中最大的，RMSE是其中最小的。由此可知，本发明提出的方法，在LIVE Release 2上测试，与主观质量分数保持较高的一致性，可以作为一个优秀的图像质量评价模型，生成与人眼视觉主观评价的质量分数比较接近的客观质量分数。

Claims (1)

1.一种全参考融合的图像客观质量评价方法，包括以下步骤：
第一步，选择图片数据库作为模型训练的输入，将图片按照失真类型分组，每种失真类型下有不同程度失真的图片，分别获得每组图片的文件名及标签；
第二步，特征提取，选用梯度相似度GSIM，带有颜色信息的特征相似度FSIMC，梯度幅值相似度偏差GMSD，梯度相似性度量，内部生成机制IGM和多尺度结构相似性MS-SSIM6种全参考度量算法，对每种失真类型中的图片分别打分，每组图片经过一种全参考度量算法运算会得到一个特征向量，将得到的6个特征向量组成特征矩阵。
第三步，数据预处理，将失真图像标签和失真类型对应的特征向量分数分别规范化到(1,100)和(0,1)之间，并进行转置处理以满足SVM训练需要；
第四步，特征训练，利用SVM训练标签和特征向量，得到图像的特征向量和标签的映射关系模型，即为质量评价模型；
第五步，利用所得到的质量评价模型评价图片质量。
CN201810049789.8A 2018-01-18 2018-01-18 一种全参考融合的图像客观质量评价方法 Pending CN108335289A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810049789.8A CN108335289A (zh) 2018-01-18 2018-01-18 一种全参考融合的图像客观质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810049789.8A CN108335289A (zh) 2018-01-18 2018-01-18 一种全参考融合的图像客观质量评价方法

Publications (1)

Publication Number Publication Date
CN108335289A true CN108335289A (zh) 2018-07-27

Family

ID=62925203

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810049789.8A Pending CN108335289A (zh) 2018-01-18 2018-01-18 一种全参考融合的图像客观质量评价方法

Country Status (1)

Country Link
CN (1) CN108335289A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109859180A (zh) * 2019-01-25 2019-06-07 东华大学 融合多种度量准则的图像集质量增强评价方法
CN109871852A (zh) * 2019-01-05 2019-06-11 天津大学 一种无参考色调映射图像质量评价方法
CN109977815A (zh) * 2019-03-13 2019-07-05 上海商汤智能科技有限公司 图像质量评价方法及装置、电子设备、存储介质
CN110120034A (zh) * 2019-04-16 2019-08-13 西安理工大学 一种与视觉感知相关的图像质量评价方法
CN110766657A (zh) * 2019-09-20 2020-02-07 华中科技大学 一种激光干扰图像质量评价方法
CN111768362A (zh) * 2020-05-13 2020-10-13 上海大学 基于多特征融合的全参考高动态图像质量评价方法
CN112116568A (zh) * 2020-09-10 2020-12-22 广东电网有限责任公司广州供电局 一种图像质量评价方法、装置及存储介质
CN113474792A (zh) * 2019-03-28 2021-10-01 康蒂-特米克微电子有限公司 对抗攻击的自动识别和分类

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105574885A (zh) * 2016-01-13 2016-05-11 福州大学 基于机器学习并融合视觉特征的全参考图像质量评估方法
WO2016145571A1 (zh) * 2015-03-13 2016-09-22 深圳大学 基于条件直方图码书的盲图像质量评价方法
WO2016197026A1 (en) * 2015-06-05 2016-12-08 Sony Corporation Full reference image quality assessment based on convolutional neural network
CN107578404A (zh) * 2017-08-22 2018-01-12 浙江大学 基于视觉显著特征提取的全参考立体图像质量客观评价方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016145571A1 (zh) * 2015-03-13 2016-09-22 深圳大学 基于条件直方图码书的盲图像质量评价方法
WO2016197026A1 (en) * 2015-06-05 2016-12-08 Sony Corporation Full reference image quality assessment based on convolutional neural network
CN105574885A (zh) * 2016-01-13 2016-05-11 福州大学 基于机器学习并融合视觉特征的全参考图像质量评估方法
CN107578404A (zh) * 2017-08-22 2018-01-12 浙江大学 基于视觉显著特征提取的全参考立体图像质量客观评价方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109871852A (zh) * 2019-01-05 2019-06-11 天津大学 一种无参考色调映射图像质量评价方法
CN109871852B (zh) * 2019-01-05 2023-05-26 天津大学 一种无参考色调映射图像质量评价方法
CN109859180A (zh) * 2019-01-25 2019-06-07 东华大学 融合多种度量准则的图像集质量增强评价方法
CN109977815A (zh) * 2019-03-13 2019-07-05 上海商汤智能科技有限公司 图像质量评价方法及装置、电子设备、存储介质
CN113474792A (zh) * 2019-03-28 2021-10-01 康蒂-特米克微电子有限公司 对抗攻击的自动识别和分类
CN110120034A (zh) * 2019-04-16 2019-08-13 西安理工大学 一种与视觉感知相关的图像质量评价方法
CN110120034B (zh) * 2019-04-16 2022-09-16 西安理工大学 一种与视觉感知相关的图像质量评价方法
CN110766657A (zh) * 2019-09-20 2020-02-07 华中科技大学 一种激光干扰图像质量评价方法
CN110766657B (zh) * 2019-09-20 2022-03-18 华中科技大学 一种激光干扰图像质量评价方法
CN111768362A (zh) * 2020-05-13 2020-10-13 上海大学 基于多特征融合的全参考高动态图像质量评价方法
CN111768362B (zh) * 2020-05-13 2023-05-23 上海大学 基于多特征融合的全参考高动态图像质量评价方法
CN112116568A (zh) * 2020-09-10 2020-12-22 广东电网有限责任公司广州供电局 一种图像质量评价方法、装置及存储介质

Similar Documents

Publication Publication Date Title
CN108335289A (zh) 一种全参考融合的图像客观质量评价方法
CN102881010B (zh) 基于人眼视觉特性的融合图像感知清晰度评价方法
Yang et al. An underwater color image quality evaluation metric
CN107172418B (zh) 一种基于曝光情况分析的色阶映射图像质量评价方法
Yoshida et al. Perceptual evaluation of tone mapping operators with real-world scenes
Rizzi et al. A proposal for contrast measure in digital images
CN106920232B (zh) 基于显著性检测的梯度相似度图像质量评价方法及系统
CN101976444B (zh) 一种基于像素类型的结构类似性图像质量客观评价方法
CN107396095B (zh) 一种无参考三维图像质量评价方法
CN109389591B (zh) 基于彩色描述子的彩色图像质量评价方法
CN108428227A (zh) 基于全卷积神经网络的无参考图像质量评价方法
CN104021545A (zh) 一种基于视觉显著性的全参考彩色图像质量评价方法
CN104361593A (zh) 一种基于hvs和四元数的彩色图像质量评价方法
Chen et al. Reference-free quality assessment of sonar images via contour degradation measurement
CN107318014B (zh) 基于视觉显著区域和时空特性的视频质量评估方法
CN107578412A (zh) 图像质量综合评价方法及系统
CN106412571A (zh) 一种基于梯度相似性标准差的视频质量评价方法
CN106023214A (zh) 基于中央凹视梯度结构相似性的图像质量评价方法及系统
CN109754390A (zh) 一种基于混合视觉特征的无参考图像质量评价方法
KR20190014728A (ko) 적외선 영상을 이용한 연속적인 피부 상태 측정 방법
CN112132774A (zh) 一种色调映射图像的质量评价方法
CN104657987A (zh) 基于pet/ct图像质量客观算法的评价方法及系统
Gao et al. A content-based image quality metric
CN113222902B (zh) 一种无参考图像质量评价方法及系统
Wang et al. Image quality assessment based on local orientation distributions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180727