CN108961227A - 一种基于空域和变换域多特征融合的图像质量评价方法 - Google Patents

一种基于空域和变换域多特征融合的图像质量评价方法 Download PDF

Info

Publication number
CN108961227A
CN108961227A CN201810653941.3A CN201810653941A CN108961227A CN 108961227 A CN108961227 A CN 108961227A CN 201810653941 A CN201810653941 A CN 201810653941A CN 108961227 A CN108961227 A CN 108961227A
Authority
CN
China
Prior art keywords
image
similitude
distorted
distorted image
gradient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810653941.3A
Other languages
English (en)
Other versions
CN108961227B (zh
Inventor
郑元林
于淼淼
廖开阳
唐梽森
邓轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN201810653941.3A priority Critical patent/CN108961227B/zh
Publication of CN108961227A publication Critical patent/CN108961227A/zh
Application granted granted Critical
Publication of CN108961227B publication Critical patent/CN108961227B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开的一种基于空域和变换域多特征融合的图像质量评价方法,首先执行对图像数据库中所有参考图像和失真图像进行颜色空间转换,为后续分通道特征提取做准备;然后执行分别在L通道上提取图像的空域梯度特征和对比敏感性特征,在两个色度通道上提取图像的色度特征,以及在全局图像中提取与人眼视觉感知相一致的视觉显著性特征,经相似性计算和池化策略后,每幅失真图像可产生一个12维的相似性特征向量;将图像数据库中所有失真图像提取的相似性特征向量及失真图像对应的主观MOS值一同输入到随机森林RF中训练回归模型。训练好的模型即可用于对一幅或多幅待评价的失真图像质量的精确评价。

Description

一种基于空域和变换域多特征融合的图像质量评价方法
技术领域
本发明属于图像处理及图像质量评价方法技术领域,涉及一种基于空域和变换域多特征融合的图像质量评价方法。
背景技术
随着数字媒体技术的蓬勃发展,多媒体通信信息以其庞大的数量和多样的传播形式充斥在我们的周围,丰富和改变着我们的日常生活、工作方式以及各类生产实践活动。其中,数字图像作为数字信息的主要载体之一,传递着更加真切的视觉信号,带给人们更多元的视觉感受,已经成为我们生活的重要组成部分。
图像在获取、传输、处理等过程中会因各种因素的影响而导致图像质量的下降。在获取时,通过数码相机、手机、摄像头等设备拍摄下来的图像可能会因设备的抖动、参数的设置以及外界环境等而影响图像质量;在传输时,由于有限的网络宽带和存储器等条件的制约,为了保证通信系统的正常工作效率,图像都会经过编码和解码处理,这必然会改变图像的质量;在进行图像处理的过程中,不规范的操作对图像质量的退化影响较大,导致处理后的图像质量得不到忠实的还原。在这样的背景下,研究能够有效的评价图像质量的方法和技术就显得尤为重要。
图像质量评价方法可分为主观评价法和客观评价法。前者是根据人眼对图像质量的主观感受做出相应的评价,由于需要耗时耗力的人工完成,因此无法用于大规模自动检测或实时监测系统。而客观评价方法是通过建立视觉模型来模拟人眼视觉系统对图像质量的感知判断,由于克服了主观评价法的不足,因而得到了广泛的应用。
客观评价法中的全参考型图像质量评价方法一直以来都是研究者关注的热点。经典的全参考型图像质量评价方法(Z.Wang,A.C.Bovik,H.R.Sheikh,and E.P.Simoncelli,“Image Quality Assessment:From Error Visibility to Structural Similarity,”IEEE Transactions on Image Processing,vol.13,no.4,pp.600-612,2004.)是基于人眼视觉系统对视觉场景中结构信息的提取非常敏感,同时又考虑亮度和对比度对图像质量的影响,因此其基本思想是:首先,分别提取参考/失真图像的亮度、对比度和结构相似度三个能够代表图像特征的指标;其次,分别计算参考图像和失真图像在这三个指标中的相似性,这会得到三个相似性度量;最后,通过平均加权的池化策略将三个相似性度量进行融合,从而得到失真图像的客观质量得分。之后的很多研究都是基于这一经典的评价方法,通过改进特征提取方法或者选择不同的池化策略进一步增加图像质量评价的效率和有效性。
由于人眼是图像的最终接受者,而很多评价方法并没有考虑到人眼视觉注意的问题,从而导致评价结果缺乏一定的准确性。为了模拟人眼视觉系统对图像质量的感知判断,视觉显著性模型被融合到评价方法中(Q.Zhou,X.Liu,L.Zhang,W.Zhao,and Y.Chen,"Saliency-based image quality assessment metric."pp.918-924.),通过视觉显著性模型检测图像中人眼感兴趣的区域,并将提取的视觉显著性特征作为加权函数来突出强调其在整幅图像中的重要性,这在一定程度上增加了图像预测的准确性。
目前,大多数全参考型图像质量评价方法都是在空域中提取图像特征,而一幅图像中大部分的信息都集中在低频区域,因此只在空域中提取包含失真信息的图像特征并不能很好的描述图像的全局质量特征,忽略了人眼视觉系统能同时处理空域和变换域信息的特性,在评价图像质量的准确性方面还有很大的提升的空间。
发明内容
本发明旨在设计一种新颖的用于全参考型图像质量评价的方法,通过利用空域和变换域多特征融合技术和随机森林回归工具,实现对待评价的失真图像质量的精确预测和评价。
本发明所采用的技术方案是,一种基于空域和变换域多特征融合的图像质量评价方法,具体实施步骤如下所示:
步骤1、颜色空间转换,将图像数据库中所有参考图像和失真图像由RGB颜色空间转变为LMN颜色空间,实现图像亮度通道L和两个色度通道M、N的分离,为后续分通道提取图像特征做准备;
步骤2、经步骤1完成后,分别提取参考图像和失真图像在亮度通道L中的空域梯度特征、对比敏感度特征,以及在M和N两个色度通道中的色度特征,并计算相似性,得到代表失真图像特征的梯度相似性图、对比敏感度相似性图以及色度相似性图;
步骤3,通过显著性检测模型分别提取参考图像和失真图像在全局图像中的与人眼视觉感知相一致的视觉显著性特征,并计算相似性,得到视觉显著性相似性图;
步骤4,经步骤2和步骤3完成后,通过池化策略,分别提取每个相似性图的平均值、标准偏差及熵,从而为每幅失真图像生成一个12维的相似性特征向量;
步骤5、经步骤4完成后,将图像数据库中所有失真图像提取的12维相似性特征向量以及失真图像对应的主观平均质量分数MOS利用随机森林RF工具训练回归模型,训练好的模型即可用于精确预测待评价的失真图像的质量。
本发明的特点还在于:
步骤1中,将图像数据库中所有参考图像和失真图像由RGB颜色空间转变为LMN颜色空间,实现图像亮度通道L和两个色度通道M、N的分离,为后续分通道提取图像特征做准备,具体来说,对于图像数据库中的任意一幅图像,其颜色空间转变过程可表示为:
步骤2具体按照以下步骤实施:
步骤2.1,提取参考图像和失真图像在亮度通道L中的空域梯度特征,再计算相似性,得到梯度相似性图,具体实现过程如下:
首先选取大小为5*5并包含有0°、45°、90°及135°四个方向的掩模对图像做卷积运算,卷积方法如下:
式(2)中:M1、M2、M3及M4分别表示在0°、45°、90°及135°这四个方向上的卷积模板;另外,(i,j)表示卷积模板中的像素点,(X,Y)为图像中的像素点,Gx(X,Y)表示图像在0°方向上的梯度幅度值,Gy(X,Y)表示图像在90°方向上的梯度幅度值,Gu(X,Y)表示图像在45°方向上的梯度幅度值,Gv(X,Y)表示图像在135°方向上的梯度幅度值;
其次,经卷积操作后分别计算参考图像和失真图像的梯度幅度值,计算过程如下:
G=G1(X,Y)+G2(X,Y)
式(3)中:G1(X,Y)表示在图像在0°-90°方向上的梯度分量幅度值,G2(X,Y)表示在图像在45°-135°方向上的梯度分量幅度值,G表示一幅图像在四个方向上提取的梯度幅度值;
最后,通过参考图像和失真图像提取的梯度幅度值,计算两幅图像的梯度相似性指标,得到梯度相似性图,具体方法如下:
式(4)中:G1和G2表示参考图像和失真图像提取的梯度幅度值,C1是一个正常量,用于防止分母为零而造成Gsim的不稳定;
步骤2.2,提取参考图像和失真图像在亮度通道L中的对比敏感度特征,再计算相似性,得到对比敏感度相似性图,具体实现过程如下:
对比敏感度特征的提取是在变换域中进行的,首先将一幅图像从空域经离散余弦变换变为离散余弦域,再分别计算图像在低频区域RL、中频区域RM和高频区域RH的离散余弦域系数,具体方法如下:
式(5)、(6)和(7)中:p(u,v)表示是在像素点(u,v)处的DCT系数的归一化幅度值;
其次,计算参考图像和失真图像分别在低频、中频和高频区域中的相似性,过程如下:
式(8)、(9)和(10)中:csfL1、csfM1及csfH1分别表示参考图像在RL、RM、RH中的离散余弦系数,csfL2、csfM2及csfH2分别表示失真图像在RL、RM、RH中的离散余弦系数;另外,C2、C3和C4均为正常量,用于防止分母为零而造成csfLMap、csfMMap及csfHMap的不稳定;
最后,参考图像和失真图像的对比敏感度相似性计算如下:
CSFsim=csfLMap(X)*csfMMap(X)*csfHMap(X) (11)
步骤2.3,分别计算参考图像和失真图像在M和N两个色度通道中的相似性度量,两者乘积即为提取的色度相似性图,具体计算方法如下:
式(12)中:M1和N1分别表示参考图像的M通道和N通道的色度信息,M2和N2分别表示失真图像的M通道和N通道的色度信息;C5和C6均为正常量,用于防止分母为零而造成Csim的不稳定。
步骤3具体按照以下步骤实施:
分别提取参考图像和失真图像在全局图像中的与人眼视觉感知相一致的视觉显著性特征,计算相似性后得到视觉显著性相似性图,具体过程如下所示:
式(13)中:VSMap1(X)和VSMap2(X)分别为参考图像和失真图像的视觉显著性图,C7为正常量,用于防止分母为零而造成VSsim的不稳定。
步骤4具体按照以下步骤实施:
经步骤2和步骤3完成后,每幅失真图像可得到四个相似性图:梯度相似性图Gsim,对比敏感度相似性图CSFsim,色度相似性图Csim和视觉显著性相似性图VSsim;经过池化策略,分别提取每个相似性图的均值、标准偏差及熵,进行多特征融合后每幅失真图像会生成一个12维的相似性特征向量,如下所示:
F=[fVS-m,fVS-s,fVS-e,fG-m,fG-s,fG-e,fCSF-m,fCSF-s,fCSF-e,fC-m,fC-s,fC-e] (14)
式(14)中:fVS-m、fVS-s和fVS-e分别是视觉显著性相似性图的均值、标准偏差和熵,fG-m、fG-s和fG-e分别是梯度相似性图的均值、标准偏差和熵,fCSF-m、fCSF-s和fCSF-e分别是对比敏感度相似性图的均值、标准偏差和熵,fC-m、fC-s和fC-e分别是色度相似性图的均值、标准偏差和熵。
步骤5具体按照以下步骤实施:
步骤5.1,经步骤4完成后,将图像数据库中所有失真图像提取的12维相似性特征向量以及失真图像对应的主观质量得分MOS利用随机森林RF工具训练回归模型,同时将模型中决策树的数量设置为ntree=500,数节点预选变量个数设置为mtry=2;训练好的模型即可用于精确预测待评价的失真图像的质量;
步骤5.2,经步骤5.1完成后,图像质量预测模型就已经训练好了,将一幅或多幅待评价的失真图像及其相应的参考图像分别经过步骤1、步骤2、步骤3、和步骤4,得到代表失真图像全局质量的12维相似性特征向量,并输入到已训练好的RF回归模型中,输出结果即为模型预测的失真图像的质量分数,这样就可以实现对待评价的失真图像质量的精确预测。
本发明的有益效果是:
(1)本发明一种基于空域和变换域多特征融合的图像质量评价方法,将图像从空域中提取的视觉显著性特征、梯度特征、色度特征以及从变换域中提取的对比敏感度特征进行多特征融合,更好的模拟人眼视觉系统的感知机制,实现与人眼主观判断的高度相关性。
(2)本发明一种基于空域和变换域多特征融合的图像质量评价方法,在四个主流的用于图像质量评价的数据库中的实验结果显示,与其他先进的全参考型图像质量评价方法相比,本发明在图像质量预测精度方面有了大幅度的提高,并且在模型复杂性和预测性能上实现了很好的平衡。
(3)本发明一种基于空域和变换域多特征融合的图像质量评价方法,通过利用RF工具强大的特征学习能力,将失真图像提取的12维相似性特征向量和主观平均质量分数MOS值输入到随机森林RF中建立回归模型并进行质量预测,不仅提高了模型的鲁棒性,还具有较好的泛化能力和跨数据库交叉运行能力。
附图说明
图1为本发明一种基于空域和变换域多特征融合的图像质量评价方法的框架图。
具体实施方式
下面结合附图和具体实施方法对本发明进行详细说明。
本发明一种基于空域和变换域多特征融合的图像质量评价方法和技术,如图1所示,主要分为上下两部分:建立图像质量评价模型和对失真图像质量进行预测和评价。
建立图像质量评价模型时,首先提取图像数据库中所有参考图像和失真图像的空域梯度特征、对比敏感度特征、色度特征和视觉显著性,计算相似性后,经过多特征融合技术分别为每幅失真图像生成一个12维的相似性特征向量,再结合主观MOS值,利用RF回归工具训练质量评价模型。
训练后的模型就可以对图像质量进行预测和评价,将待评价的失真图像及其参考图像根据提取的图像特征,生成相似性特征向量后,将其输入到训练好的RF回归模型中,模型的输出即为对该失真图像质量的评价。
本发明一种基于空域和变换域多特征融合的图像质量评价方法,具体按照以下步骤实施:
步骤1、颜色空间转换,将图像数据库中所有参考图像和失真图像由RGB颜色空间转变为LMN颜色空间,实现图像亮度通道(L)和两个色度通道(M、N)的分离,为后续分通道提取图像特征做准备。具体来说,对于图像数据库中的任意一幅图像,其颜色空间转变过程可表示为:
经式(1)后,即可实现图像亮度通道L和两个色度通道M、N的分离,分通道后的图像大小不发生任何改变。
步骤2、经步骤1完成后,分别提取参考图像和失真图像在亮度通道L中的空域梯度特征、对比敏感度特征,以及在M和N两个色度通道中的色度特征,并计算相似性,得到代表失真图像特征的梯度相似性图、对比敏感度相似性图以及色度相似性图。具体按照以下步骤实施:
步骤2.1,提取参考图像和失真图像在亮度通道L中的空域梯度特征,再计算相似性,得到梯度相似性图。具体实现过程如下:
首先选取大小为5*5并包含有0°、45°、90°及135°四个方向的掩模对图像做卷积运算,卷积方法如下:
式(2)中:M1、M2、M3及M4这四个卷积模板分别定义为:
式(2)中:(i,j)表示卷积模板中的像素点,(X,Y)为图像中的像素点,Gx(X,Y)表示图像在0°方向上的梯度幅度值,Gy(X,Y)表示图像在90°方向上的梯度幅度值,Gu(X,Y)表示图像在45°方向上的梯度幅度值,Gv(X,Y)表示图像在135°方向上的梯度幅度值。
其次,经卷积操作后分别计算参考图像和失真图像的梯度幅度值,计算过程如下:
G=G1(X,Y)+G2(X,Y)
式(3)中:G1(X,Y)表示在图像在0°-90°方向上的梯度分量幅度值,G2(X,Y)表示在图像在45°-135°方向上的梯度分量幅度值,G表示一幅图像在四个方向上提取的梯度幅度值。
最后,通过参考图像和失真图像提取的梯度幅度值,计算两幅图像的梯度相似性指标,得到梯度相似性图,具体方法如下:
式(4)中:G1(G2)表示参考图像(失真图像)提取的梯度幅度值,C1(C1=386)是一个正常量,用于防止分母为零而造成Gsim的不稳定。
步骤2.2,提取参考图像和失真图像在亮度通道L中的对比敏感度特征,再计算相似性,得到对比敏感度相似性图。具体实现过程如下:
对比敏感度特征的提取是在变换域中进行的,首先将一幅图像从空域经离散余弦变换变为离散余弦域,再分别计算图像在低频区域RL、中频区域RM和高频区域RH的离散余弦域系数,具体方法如下:
式(5)、(6)和(7)中:p(u,v)表示是在像素点(u,v)处的DCT系数的归一化幅度值。
其次,计算参考图像和失真图像分别在低频、中频和高频区域中的相似性,过程如下:
式(8)、(9)和(10)中:csfL1(csfL2)、csfM1(csfM2)及csfH1(csfH2)分别表示参考图像(失真图像)在RL、RM、RH中的离散余弦系数。另外,C2(C2=2000)、C3(C3=1.7)和C4(C4=0.0063)均为正常量,用于防止分母为零而造成csfLMap、csfMMap及csfHMap的不稳定。
最后,参考图像和失真图像的对比敏感度相似性计算如下:
CSFsim=csfLMap(X)*csfMMap(X)*csfHMap(X) (11)
步骤2.3,分别计算参考图像和失真图像在M和N两个色度通道中的相似性度量,两者乘积即为提取的色度相似性图,具体计算方法如下:
式(12)中:M1(M2)和N1(N2)分别表示参考图像(失真图像)的M通道和N通道的色度信息。C5和C6(C5=C6=130)均为正常量,用于防止分母为零而造成Csim的不稳定。
步骤3,显著性检测反映了人眼对图像局部区域的敏感程度,通过显著性检测模型SPSD(L.Zhang,Z.Gu,and H.Li,“SDSP:A novel saliency detection method bycombining simple priors,”in Proc.IEEE Int.Conf.Image Process.,pp.106-111,Sep.2013.),通过显著性检测模型分别提取参考图像和失真图像在全局图像中的与人眼视觉感知相一致的视觉显著性特征,并计算相似性,得到视觉显著性相似性图,具体过程如下所示:
式(13)中:VSMap1(X)和VSMap2(X)分别为参考图像和失真图像的视觉显著性图,C7(C7=1.27)为正常量,用于防止分母为零而造成VSsim的不稳定。
步骤4,经步骤2和步骤3完成后,每幅失真图像可得到四个相似性图:梯度相似性图Gsim,对比敏感度相似性图CSFsim,色度相似性图Csim和视觉显著性相似性图VSsim。经过池化策略,分别提取每个相似性图的均值、标准偏差及熵,进行多特征融合后每幅失真图像会生成一个12维的相似性特征向量,如下所示:
F=[fVS-m,fVS-s,fVS-e,fG-m,fG-s,fG-e,fCSF-m,fCSF-s,fCSF-e,fC-m,fC-s,fC-e] (14)
式(14)中:fVS-m、fVS-s和fVS-e分别是视觉显著性相似性图的均值、标准偏差和熵,fG-m、fG-s和fG-e分别是梯度相似性图的均值、标准偏差和熵,fCSF-m、fCSF-s和fCSF-e分别是对比敏感度相似性图的均值、标准偏差和熵,fC-m、fC-s和fC-e分别是色度相似性图的均值、标准偏差和熵。
步骤5、经步骤4完成后,将图像数据库中所有失真图像提取的12维相似性特征向量以及失真图像对应的主观平均质量分数MOS利用随机森林RF工具训练回归模型,训练好的模型即可用于精确预测待评价的失真图像的质量。具体过程如下:
步骤5.1,经步骤4完成后,将图像数据库中所有失真图像提取的12维相似性特征向量以及失真图像对应的主观质量得分MOS利用随机森林RF工具训练回归模型,同时将模型中决策树的数量设置为ntree=500,数节点预选变量个数设置为mtry=2。训练好的模型即可用于精确预测待评价的失真图像的质量。
步骤5.2,经步骤5.1完成后,图像质量预测模型就已经训练好了,将一幅或多幅待评价的失真图像及其相应的参考图像分别经过步骤1、步骤2、步骤3、和步骤4,得到代表失真图像全局质量的12维相似性特征向量,并输入到已训练好的RF回归模型中,输出结果即为模型预测的失真图像的质量分数,这样就可以实现对待评价的失真图像质量的精确预测。
本发明一种基于空域和变换域多特征融合的图像质量评价方法,从功能执行上讲:首先执行对图像数据库中所有参考图像和失真图像进行颜色空间转换,目的是将亮度通道L与两个色度通道M、N进行分别,为后续分通道特征提取做准备;然后执行分别在L通道上提取图像的空域梯度特征和对比敏感性特征,在两个色度通道上提取图像的色度特征,以及在全局图像中提取与人眼视觉感知相一致的视觉显著性特征,经相似性计算和池化策略后,每幅失真图像可产生一个12维的相似性特征向量;接下来,将图像数据库中所有失真图像提取的相似性特征向量及失真图像对应的主观MOS值一同输入到随机森林RF中进行训练,建立图像质量预测模型。训练好的模型即可用于对一幅或多幅待评价的失真图像质量的精确评价。
本发明一种基于空域和变换域多特征融合的图像质量评价方法,特征提取过程充分模拟人眼视觉系统的感知机制,从空域和变换域中提取与人眼主观感知相一致的四种相似性图像特征,并利用RF回归模型强大的特征学习能力,对相似性特征向量和主观平均质量分数进行训练,训练后的模型即可用于全参考型图像质量的精确预测和评价。

Claims (6)

1.一种基于空域和变换域多特征融合的图像质量评价方法,其特征在于,具体按照以下步骤实施:
步骤1、颜色空间转换,将图像数据库中所有参考图像和失真图像由RGB颜色空间转变为LMN颜色空间,实现图像亮度通道L和两个色度通道M、N的分离,为后续分通道提取图像特征做准备;
步骤2、经步骤1完成后,分别提取参考图像和失真图像在亮度通道L中的空域梯度特征、对比敏感度特征,以及在M和N两个色度通道中的色度特征,并计算相似性,得到代表失真图像特征的梯度相似性图、对比敏感度相似性图以及色度相似性图;
步骤3,通过显著性检测模型分别提取参考图像和失真图像在全局图像中的与人眼视觉感知相一致的视觉显著性特征,并计算相似性,得到视觉显著性相似性图;
步骤4,经步骤2和步骤3完成后,通过池化策略,分别提取每个相似性图的平均值、标准偏差及熵,从而为每幅失真图像生成一个12维的相似性特征向量;
步骤5、经步骤4完成后,将图像数据库中所有失真图像提取的12维相似性特征向量以及失真图像对应的主观平均质量分数MOS利用随机森林RF工具训练回归模型,训练好的模型即可用于精确预测待评价的失真图像的质量。
2.根据权利要求1所述的一种基于空域和变换域多特征融合的图像质量评价方法,其特征在于,所述步骤1中,将图像数据库中所有参考图像和失真图像由RGB颜色空间转变为LMN颜色空间,实现图像亮度通道L和两个色度通道M、N的分离,为后续分通道提取图像特征做准备,具体来说,对于图像数据库中的任意一幅图像,其颜色空间转变过程可表示为:
3.根据权利要求1所述的一种基于空域和变换域多特征融合的图像质量评价方法,其特征在于,所述步骤2具体按照以下步骤实施:
步骤2.1,提取参考图像和失真图像在亮度通道L中的空域梯度特征,再计算相似性,得到梯度相似性图,具体实现过程如下:
首先选取大小为5*5并包含有0°、45°、90°及135°四个方向的掩模对图像做卷积运算,卷积方法如下:
式(2)中:M1、M2、M3及M4分别表示在0°、45°、90°及135°这四个方向上的卷积模板;另外,(i,j)表示卷积模板中的像素点,(X,Y)为图像中的像素点,Gx(X,Y)表示图像在0°方向上的梯度幅度值,Gy(X,Y)表示图像在90°方向上的梯度幅度值,Gu(X,Y)表示图像在45°方向上的梯度幅度值,Gv(X,Y)表示图像在135°方向上的梯度幅度值;
其次,经卷积操作后分别计算参考图像和失真图像的梯度幅度值,计算过程如下:
式(3)中:G1(X,Y)表示在图像在0°-90°方向上的梯度分量幅度值,G2(X,Y)表示在图像在45°-135°方向上的梯度分量幅度值,G表示一幅图像在四个方向上提取的梯度幅度值;
最后,通过参考图像和失真图像提取的梯度幅度值,计算两幅图像的梯度相似性指标,得到梯度相似性图,具体方法如下:
式(4)中:G1和G2表示参考图像和失真图像提取的梯度幅度值,C1是一个正常量,用于防止分母为零而造成Gsim的不稳定;
步骤2.2,提取参考图像和失真图像在亮度通道L中的对比敏感度特征,再计算相似性,得到对比敏感度相似性图,具体实现过程如下:
对比敏感度特征的提取是在变换域中进行的,首先将一幅图像从空域经离散余弦变换变为离散余弦域,再分别计算图像在低频区域RL、中频区域RM和高频区域RH的离散余弦域系数,具体方法如下:
式(5)、(6)和(7)中:p(u,v)表示是在像素点(u,v)处的DCT系数的归一化幅度值;
其次,计算参考图像和失真图像分别在低频、中频和高频区域中的相似性,过程如下:
式(8)、(9)和(10)中:csfL1、csfM1及csfH1分别表示参考图像在RL、RM、RH中的离散余弦系数,csfL2、csfM2及csfH2分别表示失真图像在RL、RM、RH中的离散余弦系数;另外,C2、C3和C4均为正常量,用于防止分母为零而造成csfLMap、csfMMap及csfHMap的不稳定;
最后,参考图像和失真图像的对比敏感度相似性计算如下:
CSFsim=csfLMap(X)*csfMMap(X)*csfHMap(X) (11)
步骤2.3,分别计算参考图像和失真图像在M和N两个色度通道中的相似性度量,两者乘积即为提取的色度相似性图,具体计算方法如下:
式(12)中:M1和N1分别表示参考图像的M通道和N通道的色度信息,M2和N2分别表示失真图像的M通道和N通道的色度信息;C5和C6均为正常量,用于防止分母为零而造成Csim的不稳定。
4.根据权利要求1所述的一种基于空域和变换域多特征融合的图像质量评价方法,其特征在于,所述步骤3具体按照以下步骤实施:
分别提取参考图像和失真图像在全局图像中的与人眼视觉感知相一致的视觉显著性特征,计算相似性后得到视觉显著性相似性图,具体过程如下所示:
式(13)中:VSMap1(X)和VSMap2(X)分别为参考图像和失真图像的视觉显著性图,C7为正常量,用于防止分母为零而造成VSsim的不稳定。
5.根据权利要求1所述的一种基于空域和变换域多特征融合的图像质量评价方法,其特征在于,所述步骤4具体按照以下步骤实施:
经步骤2和步骤3完成后,每幅失真图像可得到四个相似性图:梯度相似性图Gsim,对比敏感度相似性图CSFsim,色度相似性图Csim和视觉显著性相似性图VSsim;经过池化策略,分别提取每个相似性图的均值、标准偏差及熵,进行多特征融合后每幅失真图像会生成一个12维的相似性特征向量,如下所示:
F=[fVS-m,fVS-s,fVS-e,fG-m,fG-s,fG-e,fCSF-m,fCSF-s,fCSF-e,fC-m,fC-s,fC-e] (14)
式(14)中:fVS-m、fVS-s和fVS-e分别是视觉显著性相似性图的均值、标准偏差和熵,fG-m、fG-s和fG-e分别是梯度相似性图的均值、标准偏差和熵,fCSF-m、fCSF-s和fCSF-e分别是对比敏感度相似性图的均值、标准偏差和熵,fC-m、fC-s和fC-e分别是色度相似性图的均值、标准偏差和熵。
6.根据权利要求1所述的一种基于空域和变换域多特征融合的图像质量评价方法,其特征在于,所述步骤5具体按照以下步骤实施:
步骤5.1,经步骤4完成后,将图像数据库中所有失真图像提取的12维相似性特征向量以及失真图像对应的主观质量得分MOS利用随机森林RF工具训练回归模型,同时将模型中决策树的数量设置为ntree=500,数节点预选变量个数设置为mtry=2;训练好的模型即可用于精确预测待评价的失真图像的质量;
步骤5.2,经步骤5.1完成后,图像质量预测模型就已经训练好了,将一幅或多幅待评价的失真图像及其相应的参考图像分别经过步骤1、步骤2、步骤3、和步骤4,得到代表失真图像全局质量的12维相似性特征向量,并输入到已训练好的RF回归模型中,输出结果即为模型预测的失真图像的质量分数,这样就可以实现对待评价的失真图像质量的精确预测。
CN201810653941.3A 2018-06-22 2018-06-22 一种基于空域和变换域多特征融合的图像质量评价方法 Active CN108961227B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810653941.3A CN108961227B (zh) 2018-06-22 2018-06-22 一种基于空域和变换域多特征融合的图像质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810653941.3A CN108961227B (zh) 2018-06-22 2018-06-22 一种基于空域和变换域多特征融合的图像质量评价方法

Publications (2)

Publication Number Publication Date
CN108961227A true CN108961227A (zh) 2018-12-07
CN108961227B CN108961227B (zh) 2021-05-25

Family

ID=64486226

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810653941.3A Active CN108961227B (zh) 2018-06-22 2018-06-22 一种基于空域和变换域多特征融合的图像质量评价方法

Country Status (1)

Country Link
CN (1) CN108961227B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109903247A (zh) * 2019-02-22 2019-06-18 西安工程大学 基于高斯颜色空间相关性的彩色图像高精度灰度化方法
CN110120034A (zh) * 2019-04-16 2019-08-13 西安理工大学 一种与视觉感知相关的图像质量评价方法
CN110458817A (zh) * 2019-08-05 2019-11-15 上海联影医疗科技有限公司 医学图像的质量预测方法、装置、设备及存储介质
CN111626248A (zh) * 2020-06-01 2020-09-04 北京世纪好未来教育科技有限公司 颜值打分模型训练方法、颜值打分方法及相关装置
CN111709914A (zh) * 2020-05-27 2020-09-25 西安理工大学 一种基于hvs特性的无参考图像质量评价方法
CN112508847A (zh) * 2020-11-05 2021-03-16 西安理工大学 一种基于深度特征与结构加权lbp特征的图像质量评价方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102750695A (zh) * 2012-06-04 2012-10-24 清华大学 一种基于机器学习的立体图像质量客观评价方法
CN104021545A (zh) * 2014-05-12 2014-09-03 同济大学 一种基于视觉显著性的全参考彩色图像质量评价方法
EP2884457A2 (en) * 2013-12-12 2015-06-17 Seiko Epson Corporation Image evaluation device and image evaluation program
CN105741328A (zh) * 2016-01-22 2016-07-06 西安电子科技大学 基于视觉感知的拍摄图像质量评价方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102750695A (zh) * 2012-06-04 2012-10-24 清华大学 一种基于机器学习的立体图像质量客观评价方法
EP2884457A2 (en) * 2013-12-12 2015-06-17 Seiko Epson Corporation Image evaluation device and image evaluation program
CN104021545A (zh) * 2014-05-12 2014-09-03 同济大学 一种基于视觉显著性的全参考彩色图像质量评价方法
CN105741328A (zh) * 2016-01-22 2016-07-06 西安电子科技大学 基于视觉感知的拍摄图像质量评价方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KE PANG,ET AL: "《An Image Quality Assessment Index Based on Visual Saliency and Gradient Amplitude for Telemedicine Application》", 《2017 4TH ICISCE》 *
吴金建: "《基于人脸视觉系统的图像信息感知和图像质量评价》", 《中国博士学位论文全文数据库 信息科技辑》 *
闫钧华,等: "《基于显著性图像边缘的全参考图像质量评价》", 《仪器仪表学报》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109903247A (zh) * 2019-02-22 2019-06-18 西安工程大学 基于高斯颜色空间相关性的彩色图像高精度灰度化方法
CN110120034A (zh) * 2019-04-16 2019-08-13 西安理工大学 一种与视觉感知相关的图像质量评价方法
CN110120034B (zh) * 2019-04-16 2022-09-16 西安理工大学 一种与视觉感知相关的图像质量评价方法
CN110458817A (zh) * 2019-08-05 2019-11-15 上海联影医疗科技有限公司 医学图像的质量预测方法、装置、设备及存储介质
CN111709914A (zh) * 2020-05-27 2020-09-25 西安理工大学 一种基于hvs特性的无参考图像质量评价方法
CN111626248A (zh) * 2020-06-01 2020-09-04 北京世纪好未来教育科技有限公司 颜值打分模型训练方法、颜值打分方法及相关装置
CN111626248B (zh) * 2020-06-01 2022-05-06 北京世纪好未来教育科技有限公司 颜值打分模型训练方法、颜值打分方法及相关装置
CN112508847A (zh) * 2020-11-05 2021-03-16 西安理工大学 一种基于深度特征与结构加权lbp特征的图像质量评价方法

Also Published As

Publication number Publication date
CN108961227B (zh) 2021-05-25

Similar Documents

Publication Publication Date Title
CN108961227A (zh) 一种基于空域和变换域多特征融合的图像质量评价方法
CN105654471B (zh) 应用于互联网视频直播的增强现实ar系统及方法
US9706111B2 (en) No-reference image and video quality evaluation
Zhang et al. Edge strength similarity for image quality assessment
CN100559880C (zh) 一种基于自适应st区的高清视频图像质量评价方法及装置
CN100559881C (zh) 一种基于人工神经网络的视频质量评价方法
Shan et al. A no-reference image quality assessment metric by multiple characteristics of light field images
Wang et al. Novel spatio-temporal structural information based video quality metric
CN104243973B (zh) 基于感兴趣区域的视频感知质量无参考客观评价方法
Tian et al. A multi-order derivative feature-based quality assessment model for light field image
CN101562675B (zh) 基于Contourlet变换的无参考型图像质量评测方法
CN108805839A (zh) 基于卷积神经网络的联合估计图像去雾方法
CN111444973B (zh) 一种无人零售购物台商品检测方法
CN108830823B (zh) 基于空域结合频域分析的全参考型图像质量评价方法
CN109191428A (zh) 基于掩蔽纹理特征的全参考型图像质量评价方法
CN108573222A (zh) 基于循环对抗生成网络的行人图像遮挡检测方法
CN106504230B (zh) 基于相位一致性的全参考彩色屏幕图像质量评估方法
CN109242834A (zh) 一种基于卷积神经网络的无参考立体图像质量评价方法
CN109345502A (zh) 一种基于视差图立体结构信息提取的立体图像质量评价方法
CN102831586A (zh) 一种对恶劣光照条件下的图像/视频实时增强方法
Xu et al. EPES: Point cloud quality modeling using elastic potential energy similarity
Junwu et al. An infrared and visible image fusion algorithm based on LSWT-NSST
CN111882516B (zh) 一种基于视觉显著性和深度神经网络的图像质量评价方法
CN113888501A (zh) 一种基于注意力定位网络的无参考型图像质量评价方法
Qi et al. Viewport perception based blind stereoscopic omnidirectional image quality assessment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant