CN108961227B - 一种基于空域和变换域多特征融合的图像质量评价方法 - Google Patents
一种基于空域和变换域多特征融合的图像质量评价方法 Download PDFInfo
- Publication number
- CN108961227B CN108961227B CN201810653941.3A CN201810653941A CN108961227B CN 108961227 B CN108961227 B CN 108961227B CN 201810653941 A CN201810653941 A CN 201810653941A CN 108961227 B CN108961227 B CN 108961227B
- Authority
- CN
- China
- Prior art keywords
- image
- similarity
- distorted
- gradient
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 230000004927 fusion Effects 0.000 title claims abstract description 26
- 238000013441 quality evaluation Methods 0.000 title claims abstract description 26
- 230000000007 visual effect Effects 0.000 claims abstract description 34
- 230000035945 sensitivity Effects 0.000 claims abstract description 29
- 239000013598 vector Substances 0.000 claims abstract description 26
- 238000000605 extraction Methods 0.000 claims abstract description 10
- 238000007637 random forest analysis Methods 0.000 claims abstract description 10
- 238000011176 pooling Methods 0.000 claims abstract description 9
- 238000004364 calculation method Methods 0.000 claims abstract description 8
- 238000006243 chemical reaction Methods 0.000 claims abstract description 7
- 230000016776 visual perception Effects 0.000 claims abstract description 7
- 230000008569 process Effects 0.000 claims description 23
- 239000004576 sand Substances 0.000 claims description 12
- 238000005259 measurement Methods 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 7
- 238000000926 separation method Methods 0.000 claims description 4
- 238000003066 decision tree Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 description 13
- 230000004438 eyesight Effects 0.000 description 5
- 230000008447 perception Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000001303 quality assessment method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开的一种基于空域和变换域多特征融合的图像质量评价方法,首先执行对图像数据库中所有参考图像和失真图像进行颜色空间转换,为后续分通道特征提取做准备;然后执行分别在L通道上提取图像的空域梯度特征和对比敏感性特征,在两个色度通道上提取图像的色度特征,以及在全局图像中提取与人眼视觉感知相一致的视觉显著性特征,经相似性计算和池化策略后,每幅失真图像可产生一个12维的相似性特征向量;将图像数据库中所有失真图像提取的相似性特征向量及失真图像对应的主观MOS值一同输入到随机森林RF中训练回归模型。训练好的模型即可用于对一幅或多幅待评价的失真图像质量的精确评价。
Description
技术领域
本发明属于图像处理及图像质量评价方法技术领域,涉及一种基于空域和变换域多特征融合的图像质量评价方法。
背景技术
随着数字媒体技术的蓬勃发展,多媒体通信信息以其庞大的数量和多样的传播形式充斥在我们的周围,丰富和改变着我们的日常生活、工作方式以及各类生产实践活动。其中,数字图像作为数字信息的主要载体之一,传递着更加真切的视觉信号,带给人们更多元的视觉感受,已经成为我们生活的重要组成部分。
图像在获取、传输、处理等过程中会因各种因素的影响而导致图像质量的下降。在获取时,通过数码相机、手机、摄像头等设备拍摄下来的图像可能会因设备的抖动、参数的设置以及外界环境等而影响图像质量;在传输时,由于有限的网络宽带和存储器等条件的制约,为了保证通信系统的正常工作效率,图像都会经过编码和解码处理,这必然会改变图像的质量;在进行图像处理的过程中,不规范的操作对图像质量的退化影响较大,导致处理后的图像质量得不到忠实的还原。在这样的背景下,研究能够有效的评价图像质量的方法和技术就显得尤为重要。
图像质量评价方法可分为主观评价法和客观评价法。前者是根据人眼对图像质量的主观感受做出相应的评价,由于需要耗时耗力的人工完成,因此无法用于大规模自动检测或实时监测系统。而客观评价方法是通过建立视觉模型来模拟人眼视觉系统对图像质量的感知判断,由于克服了主观评价法的不足,因而得到了广泛的应用。
客观评价法中的全参考型图像质量评价方法一直以来都是研究者关注的热点。经典的全参考型图像质量评价方法(Z.Wang,A.C.Bovik,H.R.Sheikh,and E.P.Simoncelli,“Image Quality Assessment:From Error Visibility to Structural Similarity,”IEEE Transactions on Image Processing,vol.13,no.4,pp.600-612,2004.)是基于人眼视觉系统对视觉场景中结构信息的提取非常敏感,同时又考虑亮度和对比度对图像质量的影响,因此其基本思想是:首先,分别提取参考/失真图像的亮度、对比度和结构相似度三个能够代表图像特征的指标;其次,分别计算参考图像和失真图像在这三个指标中的相似性,这会得到三个相似性度量;最后,通过平均加权的池化策略将三个相似性度量进行融合,从而得到失真图像的客观质量得分。之后的很多研究都是基于这一经典的评价方法,通过改进特征提取方法或者选择不同的池化策略进一步增加图像质量评价的效率和有效性。
由于人眼是图像的最终接受者,而很多评价方法并没有考虑到人眼视觉注意的问题,从而导致评价结果缺乏一定的准确性。为了模拟人眼视觉系统对图像质量的感知判断,视觉显著性模型被融合到评价方法中(Q.Zhou,X.Liu,L.Zhang,W.Zhao,and Y.Chen,"Saliency-based image quality assessment metric."pp.918-924.),通过视觉显著性模型检测图像中人眼感兴趣的区域,并将提取的视觉显著性特征作为加权函数来突出强调其在整幅图像中的重要性,这在一定程度上增加了图像预测的准确性。
目前,大多数全参考型图像质量评价方法都是在空域中提取图像特征,而一幅图像中大部分的信息都集中在低频区域,因此只在空域中提取包含失真信息的图像特征并不能很好的描述图像的全局质量特征,忽略了人眼视觉系统能同时处理空域和变换域信息的特性,在评价图像质量的准确性方面还有很大的提升的空间。
发明内容
本发明旨在设计一种新颖的用于全参考型图像质量评价的方法,通过利用空域和变换域多特征融合技术和随机森林回归工具,实现对待评价的失真图像质量的精确预测和评价。
本发明所采用的技术方案是,一种基于空域和变换域多特征融合的图像质量评价方法,具体实施步骤如下所示:
步骤1、颜色空间转换,将图像数据库中所有参考图像和失真图像由RGB颜色空间转变为LMN颜色空间,实现图像亮度通道L和两个色度通道M、N的分离,为后续分通道提取图像特征做准备;
步骤2、经步骤1完成后,分别提取参考图像和失真图像在亮度通道L中的空域梯度特征、对比敏感度特征,以及在M和N两个色度通道中的色度特征,并计算相似性,得到代表失真图像特征的梯度相似性图、对比敏感度相似性图以及色度相似性图;
步骤3,通过显著性检测模型分别提取参考图像和失真图像在全局图像中的与人眼视觉感知相一致的视觉显著性特征,并计算相似性,得到视觉显著性相似性图;
步骤4,经步骤2和步骤3完成后,通过池化策略,分别提取每个相似性图的平均值、标准偏差及熵,从而为每幅失真图像生成一个12维的相似性特征向量;
步骤5、经步骤4完成后,将图像数据库中所有失真图像提取的12维相似性特征向量以及失真图像对应的主观平均质量分数MOS利用随机森林RF工具训练回归模型,训练好的模型即可用于精确预测待评价的失真图像的质量。
本发明的特点还在于:
步骤1中,将图像数据库中所有参考图像和失真图像由RGB颜色空间转变为LMN颜色空间,实现图像亮度通道L和两个色度通道M、N的分离,为后续分通道提取图像特征做准备,具体来说,对于图像数据库中的任意一幅图像,其颜色空间转变过程可表示为:
步骤2具体按照以下步骤实施:
步骤2.1,提取参考图像和失真图像在亮度通道L中的空域梯度特征,再计算相似性,得到梯度相似性图,具体实现过程如下:
首先选取大小为5*5并包含有0°、45°、90°及135°四个方向的掩模对图像做卷积运算,卷积方法如下:
式(2)中:M1、M2、M3及M4分别表示在0°、45°、90°及135°这四个方向上的卷积模板;另外,(i,j)表示卷积模板中的像素点,(X,Y)为图像中的像素点,Gx(X,Y)表示图像在0°方向上的梯度幅度值,Gy(X,Y)表示图像在90°方向上的梯度幅度值,Gu(X,Y)表示图像在45°方向上的梯度幅度值,Gv(X,Y)表示图像在135°方向上的梯度幅度值;
其次,经卷积操作后分别计算参考图像和失真图像的梯度幅度值,计算过程如下:
G=G1(X,Y)+G2(X,Y)
式(3)中:G1(X,Y)表示在图像在0°-90°方向上的梯度分量幅度值,G2(X,Y)表示在图像在45°-135°方向上的梯度分量幅度值,G表示一幅图像在四个方向上提取的梯度幅度值;
最后,通过参考图像和失真图像提取的梯度幅度值,计算两幅图像的梯度相似性指标,得到梯度相似性图,具体方法如下:
式(4)中:G1和G2表示参考图像和失真图像提取的梯度幅度值,C1是一个正常量,用于防止分母为零而造成Gsim的不稳定;
步骤2.2,提取参考图像和失真图像在亮度通道L中的对比敏感度特征,再计算相似性,得到对比敏感度相似性图,具体实现过程如下:
对比敏感度特征的提取是在变换域中进行的,首先将一幅图像从空域经离散余弦变换变为离散余弦域,再分别计算图像在低频区域RL、中频区域RM和高频区域RH的离散余弦域系数,具体方法如下:
式(5)、(6)和(7)中:p(u,v)表示是在像素点(u,v)处的DCT系数的归一化幅度值;
其次,计算参考图像和失真图像分别在低频、中频和高频区域中的相似性,过程如下:
式(8)、(9)和(10)中:csfL1、csfM1及csfH1分别表示参考图像在RL、RM、RH中的离散余弦系数,csfL2、csfM2及csfH2分别表示失真图像在RL、RM、RH中的离散余弦系数;另外,C2、C3和C4均为正常量,用于防止分母为零而造成csfLMap、csfMMap及csfHMap的不稳定;
最后,参考图像和失真图像的对比敏感度相似性计算如下:
CSFsim=csfLMap(X)*csfMMap(X)*csfHMap(X) (11)
步骤2.3,分别计算参考图像和失真图像在M和N两个色度通道中的相似性度量,两者乘积即为提取的色度相似性图,具体计算方法如下:
式(12)中:M1和N1分别表示参考图像的M通道和N通道的色度信息,M2和N2分别表示失真图像的M通道和N通道的色度信息;C5和C6均为正常量,用于防止分母为零而造成Csim的不稳定。
步骤3具体按照以下步骤实施:
分别提取参考图像和失真图像在全局图像中的与人眼视觉感知相一致的视觉显著性特征,计算相似性后得到视觉显著性相似性图,具体过程如下所示:
式(13)中:VSMap1(X)和VSMap2(X)分别为参考图像和失真图像的视觉显著性图,C7为正常量,用于防止分母为零而造成VSsim的不稳定。
步骤4具体按照以下步骤实施:
经步骤2和步骤3完成后,每幅失真图像可得到四个相似性图:梯度相似性图Gsim,对比敏感度相似性图CSFsim,色度相似性图Csim和视觉显著性相似性图VSsim;经过池化策略,分别提取每个相似性图的均值、标准偏差及熵,进行多特征融合后每幅失真图像会生成一个12维的相似性特征向量,如下所示:
F=[fVS-m,fVS-s,fVS-e,fG-m,fG-s,fG-e,fCSF-m,fCSF-s,fCSF-e,fC-m,fC-s,fC-e] (14)
式(14)中:fVS-m、fVS-s和fVS-e分别是视觉显著性相似性图的均值、标准偏差和熵,fG-m、fG-s和fG-e分别是梯度相似性图的均值、标准偏差和熵,fCSF-m、fCSF-s和fCSF-e分别是对比敏感度相似性图的均值、标准偏差和熵,fC-m、fC-s和fC-e分别是色度相似性图的均值、标准偏差和熵。
步骤5具体按照以下步骤实施:
步骤5.1,经步骤4完成后,将图像数据库中所有失真图像提取的12维相似性特征向量以及失真图像对应的主观质量得分MOS利用随机森林RF工具训练回归模型,同时将模型中决策树的数量设置为ntree=500,数节点预选变量个数设置为mtry=2;训练好的模型即可用于精确预测待评价的失真图像的质量;
步骤5.2,经步骤5.1完成后,图像质量预测模型就已经训练好了,将一幅或多幅待评价的失真图像及其相应的参考图像分别经过步骤1、步骤2、步骤3、和步骤4,得到代表失真图像全局质量的12维相似性特征向量,并输入到已训练好的RF回归模型中,输出结果即为模型预测的失真图像的质量分数,这样就可以实现对待评价的失真图像质量的精确预测。
本发明的有益效果是:
(1)本发明一种基于空域和变换域多特征融合的图像质量评价方法,将图像从空域中提取的视觉显著性特征、梯度特征、色度特征以及从变换域中提取的对比敏感度特征进行多特征融合,更好的模拟人眼视觉系统的感知机制,实现与人眼主观判断的高度相关性。
(2)本发明一种基于空域和变换域多特征融合的图像质量评价方法,在四个主流的用于图像质量评价的数据库中的实验结果显示,与其他先进的全参考型图像质量评价方法相比,本发明在图像质量预测精度方面有了大幅度的提高,并且在模型复杂性和预测性能上实现了很好的平衡。
(3)本发明一种基于空域和变换域多特征融合的图像质量评价方法,通过利用RF工具强大的特征学习能力,将失真图像提取的12维相似性特征向量和主观平均质量分数MOS值输入到随机森林RF中建立回归模型并进行质量预测,不仅提高了模型的鲁棒性,还具有较好的泛化能力和跨数据库交叉运行能力。
附图说明
图1为本发明一种基于空域和变换域多特征融合的图像质量评价方法的框架图。
具体实施方式
下面结合附图和具体实施方法对本发明进行详细说明。
本发明一种基于空域和变换域多特征融合的图像质量评价方法和技术,如图1所示,主要分为上下两部分:建立图像质量评价模型和对失真图像质量进行预测和评价。
建立图像质量评价模型时,首先提取图像数据库中所有参考图像和失真图像的空域梯度特征、对比敏感度特征、色度特征和视觉显著性,计算相似性后,经过多特征融合技术分别为每幅失真图像生成一个12维的相似性特征向量,再结合主观MOS值,利用RF回归工具训练质量评价模型。
训练后的模型就可以对图像质量进行预测和评价,将待评价的失真图像及其参考图像根据提取的图像特征,生成相似性特征向量后,将其输入到训练好的RF回归模型中,模型的输出即为对该失真图像质量的评价。
本发明一种基于空域和变换域多特征融合的图像质量评价方法,具体按照以下步骤实施:
步骤1、颜色空间转换,将图像数据库中所有参考图像和失真图像由RGB颜色空间转变为LMN颜色空间,实现图像亮度通道(L)和两个色度通道(M、N)的分离,为后续分通道提取图像特征做准备。具体来说,对于图像数据库中的任意一幅图像,其颜色空间转变过程可表示为:
经式(1)后,即可实现图像亮度通道L和两个色度通道M、N的分离,分通道后的图像大小不发生任何改变。
步骤2、经步骤1完成后,分别提取参考图像和失真图像在亮度通道L中的空域梯度特征、对比敏感度特征,以及在M和N两个色度通道中的色度特征,并计算相似性,得到代表失真图像特征的梯度相似性图、对比敏感度相似性图以及色度相似性图。具体按照以下步骤实施:
步骤2.1,提取参考图像和失真图像在亮度通道L中的空域梯度特征,再计算相似性,得到梯度相似性图。具体实现过程如下:
首先选取大小为5*5并包含有0°、45°、90°及135°四个方向的掩模对图像做卷积运算,卷积方法如下:
式(2)中:M1、M2、M3及M4这四个卷积模板分别定义为:
式(2)中:(i,j)表示卷积模板中的像素点,(X,Y)为图像中的像素点,Gx(X,Y)表示图像在0°方向上的梯度幅度值,Gy(X,Y)表示图像在90°方向上的梯度幅度值,Gu(X,Y)表示图像在45°方向上的梯度幅度值,Gv(X,Y)表示图像在135°方向上的梯度幅度值。
其次,经卷积操作后分别计算参考图像和失真图像的梯度幅度值,计算过程如下:
G=G1(X,Y)+G2(X,Y)
式(3)中:G1(X,Y)表示在图像在0°-90°方向上的梯度分量幅度值,G2(X,Y)表示在图像在45°-135°方向上的梯度分量幅度值,G表示一幅图像在四个方向上提取的梯度幅度值。
最后,通过参考图像和失真图像提取的梯度幅度值,计算两幅图像的梯度相似性指标,得到梯度相似性图,具体方法如下:
式(4)中:G1(G2)表示参考图像(失真图像)提取的梯度幅度值,C1(C1=386)是一个正常量,用于防止分母为零而造成Gsim的不稳定。
步骤2.2,提取参考图像和失真图像在亮度通道L中的对比敏感度特征,再计算相似性,得到对比敏感度相似性图。具体实现过程如下:
对比敏感度特征的提取是在变换域中进行的,首先将一幅图像从空域经离散余弦变换变为离散余弦域,再分别计算图像在低频区域RL、中频区域RM和高频区域RH的离散余弦域系数,具体方法如下:
式(5)、(6)和(7)中:p(u,v)表示是在像素点(u,v)处的DCT系数的归一化幅度值。
其次,计算参考图像和失真图像分别在低频、中频和高频区域中的相似性,过程如下:
式(8)、(9)和(10)中:csfL1(csfL2)、csfM1(csfM2)及csfH1(csfH2)分别表示参考图像(失真图像)在RL、RM、RH中的离散余弦系数。另外,C2(C2=2000)、C3(C3=1.7)和C4(C4=0.0063)均为正常量,用于防止分母为零而造成csfLMap、csfMMap及csfHMap的不稳定。
最后,参考图像和失真图像的对比敏感度相似性计算如下:
CSFsim=csfLMap(X)*csfMMap(X)*csfHMap(X) (11)
步骤2.3,分别计算参考图像和失真图像在M和N两个色度通道中的相似性度量,两者乘积即为提取的色度相似性图,具体计算方法如下:
式(12)中:M1(M2)和N1(N2)分别表示参考图像(失真图像)的M通道和N通道的色度信息。C5和C6(C5=C6=130)均为正常量,用于防止分母为零而造成Csim的不稳定。
步骤3,显著性检测反映了人眼对图像局部区域的敏感程度,通过显著性检测模型SPSD(L.Zhang,Z.Gu,and H.Li,“SDSP:A novel saliency detection method bycombining simple priors,”in Proc.IEEE Int.Conf.Image Process.,pp.106-111,Sep.2013.),通过显著性检测模型分别提取参考图像和失真图像在全局图像中的与人眼视觉感知相一致的视觉显著性特征,并计算相似性,得到视觉显著性相似性图,具体过程如下所示:
式(13)中:VSMap1(X)和VSMap2(X)分别为参考图像和失真图像的视觉显著性图,C7(C7=1.27)为正常量,用于防止分母为零而造成VSsim的不稳定。
步骤4,经步骤2和步骤3完成后,每幅失真图像可得到四个相似性图:梯度相似性图Gsim,对比敏感度相似性图CSFsim,色度相似性图Csim和视觉显著性相似性图VSsim。经过池化策略,分别提取每个相似性图的均值、标准偏差及熵,进行多特征融合后每幅失真图像会生成一个12维的相似性特征向量,如下所示:
F=[fVS-m,fVS-s,fVS-e,fG-m,fG-s,fG-e,fCSF-m,fCSF-s,fCSF-e,fC-m,fC-s,fC-e] (14)
式(14)中:fVS-m、fVS-s和fVS-e分别是视觉显著性相似性图的均值、标准偏差和熵,fG-m、fG-s和fG-e分别是梯度相似性图的均值、标准偏差和熵,fCSF-m、fCSF-s和fCSF-e分别是对比敏感度相似性图的均值、标准偏差和熵,fC-m、fC-s和fC-e分别是色度相似性图的均值、标准偏差和熵。
步骤5、经步骤4完成后,将图像数据库中所有失真图像提取的12维相似性特征向量以及失真图像对应的主观平均质量分数MOS利用随机森林RF工具训练回归模型,训练好的模型即可用于精确预测待评价的失真图像的质量。具体过程如下:
步骤5.1,经步骤4完成后,将图像数据库中所有失真图像提取的12维相似性特征向量以及失真图像对应的主观质量得分MOS利用随机森林RF工具训练回归模型,同时将模型中决策树的数量设置为ntree=500,数节点预选变量个数设置为mtry=2。训练好的模型即可用于精确预测待评价的失真图像的质量。
步骤5.2,经步骤5.1完成后,图像质量预测模型就已经训练好了,将一幅或多幅待评价的失真图像及其相应的参考图像分别经过步骤1、步骤2、步骤3、和步骤4,得到代表失真图像全局质量的12维相似性特征向量,并输入到已训练好的RF回归模型中,输出结果即为模型预测的失真图像的质量分数,这样就可以实现对待评价的失真图像质量的精确预测。
本发明一种基于空域和变换域多特征融合的图像质量评价方法,从功能执行上讲:首先执行对图像数据库中所有参考图像和失真图像进行颜色空间转换,目的是将亮度通道L与两个色度通道M、N进行分别,为后续分通道特征提取做准备;然后执行分别在L通道上提取图像的空域梯度特征和对比敏感性特征,在两个色度通道上提取图像的色度特征,以及在全局图像中提取与人眼视觉感知相一致的视觉显著性特征,经相似性计算和池化策略后,每幅失真图像可产生一个12维的相似性特征向量;接下来,将图像数据库中所有失真图像提取的相似性特征向量及失真图像对应的主观MOS值一同输入到随机森林RF中进行训练,建立图像质量预测模型。训练好的模型即可用于对一幅或多幅待评价的失真图像质量的精确评价。
本发明一种基于空域和变换域多特征融合的图像质量评价方法,特征提取过程充分模拟人眼视觉系统的感知机制,从空域和变换域中提取与人眼主观感知相一致的四种相似性图像特征,并利用RF回归模型强大的特征学习能力,对相似性特征向量和主观平均质量分数进行训练,训练后的模型即可用于全参考型图像质量的精确预测和评价。
Claims (6)
1.一种基于空域和变换域多特征融合的图像质量评价方法,其特征在于,具体按照以下步骤实施:
步骤1、颜色空间转换,将图像数据库中所有参考图像和失真图像由RGB颜色空间转变为LMN颜色空间,实现图像亮度通道L和两个色度通道M、N的分离,为后续分通道提取图像特征做准备;
步骤2、经步骤1完成后,分别提取参考图像和失真图像在亮度通道L中的空域梯度特征、对比敏感度特征,以及在M和N两个色度通道中的色度特征,并计算相似性,得到代表失真图像特征的梯度相似性图、对比敏感度相似性图以及色度相似性图;
步骤3,通过显著性检测模型分别提取参考图像和失真图像在全局图像中的与人眼视觉感知相一致的视觉显著性特征,并计算相似性,得到视觉显著性相似性图;
步骤4,经步骤2和步骤3完成后,通过池化策略,分别提取每个相似性图的平均值、标准偏差及熵,从而为每幅失真图像生成一个12维的相似性特征向量;
步骤5、经步骤4完成后,将图像数据库中所有失真图像提取的12维相似性特征向量以及失真图像对应的主观平均质量分数MOS利用随机森林RF工具训练回归模型,训练好的模型即可用于精确预测待评价的失真图像的质量。
3.根据权利要求1所述的一种基于空域和变换域多特征融合的图像质量评价方法,其特征在于,所述步骤2具体按照以下步骤实施:
步骤2.1,提取参考图像和失真图像在亮度通道L中的空域梯度特征,再计算相似性,得到梯度相似性图,具体实现过程如下:
首先选取大小为5*5并包含有0°、45°、90°及135°四个方向的掩模对图像做卷积运算,卷积方法如下:
式(2)中:M1、M2、M3及M4分别表示在0°、45°、90°及135°这四个方向上的卷积模板;另外,(i,j)表示卷积模板中的像素点,(X,Y)为图像中的像素点,Gx(X,Y)表示图像在0°方向上的梯度幅度值,Gy(X,Y)表示图像在90°方向上的梯度幅度值,Gu(X,Y)表示图像在45°方向上的梯度幅度值,Gv(X,Y)表示图像在135°方向上的梯度幅度值;
其次,经卷积操作后分别计算参考图像和失真图像的梯度幅度值,计算过程如下:
式(3)中:G1(X,Y)表示在图像在0°-90°方向上的梯度分量幅度值,G2(X,Y)表示在图像在45°-135°方向上的梯度分量幅度值,G表示一幅图像在四个方向上提取的梯度幅度值;
最后,通过参考图像和失真图像提取的梯度幅度值,计算两幅图像的梯度相似性指标,得到梯度相似性图,具体方法如下:
式(4)中:G1和G2表示参考图像和失真图像提取的梯度幅度值,C1是一个正常量,用于防止分母为零而造成Gsim的不稳定;
步骤2.2,提取参考图像和失真图像在亮度通道L中的对比敏感度特征,再计算相似性,得到对比敏感度相似性图,具体实现过程如下:
对比敏感度特征的提取是在变换域中进行的,首先将一幅图像从空域经离散余弦变换变为离散余弦域,再分别计算图像在低频区域RL、中频区域RM和高频区域RH的离散余弦域系数,具体方法如下:
式(5)、(6)和(7)中:p(u,v)表示是在像素点(u,v)处的DCT系数的归一化幅度值;
其次,计算参考图像和失真图像分别在低频、中频和高频区域中的相似性,过程如下:
式(8)、(9)和(10)中:csfL1、csfM1及csfH1分别表示参考图像在RL、RM、RH中的离散余弦系数,csfL2、csfM2及csfH2分别表示失真图像在RL、RM、RH中的离散余弦系数;另外,C2、C3和C4均为正常量,用于防止分母为零而造成csfLMap、csfMMap及csfHMap的不稳定;
最后,参考图像和失真图像的对比敏感度相似性计算如下:
CSFsim=csfLMap(X)*csfMMap(X)*csfHMap(X) (11)
步骤2.3,分别计算参考图像和失真图像在M和N两个色度通道中的相似性度量,两者乘积即为提取的色度相似性图,具体计算方法如下:
式(12)中:M1和N1分别表示参考图像的M通道和N通道的色度信息,M2和N2分别表示失真图像的M通道和N通道的色度信息;C5和C6均为正常量,用于防止分母为零而造成Csim的不稳定。
5.根据权利要求1所述的一种基于空域和变换域多特征融合的图像质量评价方法,其特征在于,所述步骤4具体按照以下步骤实施:
经步骤2和步骤3完成后,每幅失真图像可得到四个相似性图:梯度相似性图Gsim,对比敏感度相似性图CSFsim,色度相似性图Csim和视觉显著性相似性图VSsim;经过池化策略,分别提取每个相似性图的均值、标准偏差及熵,进行多特征融合后每幅失真图像会生成一个12维的相似性特征向量,如下所示:
F=[fVS-m,fVS-s,fVS-e,fG-m,fG-s,fG-e,fCSF-m,fCSF-s,fCSF-e,fC-m,fC-s,fC-e] (14)
式(14)中:fVS-m、fVS-s和fVS-e分别是视觉显著性相似性图的均值、标准偏差和熵,fG-m、fG-s和fG-e分别是梯度相似性图的均值、标准偏差和熵,fCSF-m、fCSF-s和fCSF-e分别是对比敏感度相似性图的均值、标准偏差和熵,fC-m、fC-s和fC-e分别是色度相似性图的均值、标准偏差和熵。
6.根据权利要求1所述的一种基于空域和变换域多特征融合的图像质量评价方法,其特征在于,所述步骤5具体按照以下步骤实施:
步骤5.1,经步骤4完成后,将图像数据库中所有失真图像提取的12维相似性特征向量以及失真图像对应的主观质量得分MOS利用随机森林RF工具训练回归模型,同时将模型中决策树的数量设置为ntree=500,数节点预选变量个数设置为mtry=2;训练好的模型即可用于精确预测待评价的失真图像的质量;
步骤5.2,经步骤5.1完成后,图像质量预测模型就已经训练好了,将一幅或多幅待评价的失真图像及其相应的参考图像分别经过步骤1、步骤2、步骤3、和步骤4,得到代表失真图像全局质量的12维相似性特征向量,并输入到已训练好的RF回归模型中,输出结果即为模型预测的失真图像的质量分数,这样就可以实现对待评价的失真图像质量的精确预测。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810653941.3A CN108961227B (zh) | 2018-06-22 | 2018-06-22 | 一种基于空域和变换域多特征融合的图像质量评价方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810653941.3A CN108961227B (zh) | 2018-06-22 | 2018-06-22 | 一种基于空域和变换域多特征融合的图像质量评价方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108961227A CN108961227A (zh) | 2018-12-07 |
CN108961227B true CN108961227B (zh) | 2021-05-25 |
Family
ID=64486226
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810653941.3A Expired - Fee Related CN108961227B (zh) | 2018-06-22 | 2018-06-22 | 一种基于空域和变换域多特征融合的图像质量评价方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108961227B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109903247B (zh) * | 2019-02-22 | 2023-02-03 | 西安工程大学 | 基于高斯颜色空间相关性的彩色图像高精度灰度化方法 |
CN110120034B (zh) * | 2019-04-16 | 2022-09-16 | 西安理工大学 | 一种与视觉感知相关的图像质量评价方法 |
CN110458817B (zh) * | 2019-08-05 | 2023-07-18 | 上海联影医疗科技股份有限公司 | 医学图像的质量预测方法、装置、设备及存储介质 |
CN111709914B (zh) * | 2020-05-27 | 2022-04-22 | 西安理工大学 | 一种基于hvs特性的无参考图像质量评价方法 |
CN111626248B (zh) * | 2020-06-01 | 2022-05-06 | 北京世纪好未来教育科技有限公司 | 颜值打分模型训练方法、颜值打分方法及相关装置 |
CN112508847A (zh) * | 2020-11-05 | 2021-03-16 | 西安理工大学 | 一种基于深度特征与结构加权lbp特征的图像质量评价方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102750695A (zh) * | 2012-06-04 | 2012-10-24 | 清华大学 | 一种基于机器学习的立体图像质量客观评价方法 |
CN104021545A (zh) * | 2014-05-12 | 2014-09-03 | 同济大学 | 一种基于视觉显著性的全参考彩色图像质量评价方法 |
EP2884457A3 (en) * | 2013-12-12 | 2015-09-02 | Seiko Epson Corporation | Image evaluation device and image evaluation program |
CN105741328A (zh) * | 2016-01-22 | 2016-07-06 | 西安电子科技大学 | 基于视觉感知的拍摄图像质量评价方法 |
-
2018
- 2018-06-22 CN CN201810653941.3A patent/CN108961227B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102750695A (zh) * | 2012-06-04 | 2012-10-24 | 清华大学 | 一种基于机器学习的立体图像质量客观评价方法 |
EP2884457A3 (en) * | 2013-12-12 | 2015-09-02 | Seiko Epson Corporation | Image evaluation device and image evaluation program |
CN104021545A (zh) * | 2014-05-12 | 2014-09-03 | 同济大学 | 一种基于视觉显著性的全参考彩色图像质量评价方法 |
CN105741328A (zh) * | 2016-01-22 | 2016-07-06 | 西安电子科技大学 | 基于视觉感知的拍摄图像质量评价方法 |
Non-Patent Citations (3)
Title |
---|
《An Image Quality Assessment Index Based on Visual Saliency and Gradient Amplitude for Telemedicine Application》;Ke Pang,et al;《2017 4th ICISCE》;20171116;第172-176页 * |
《基于人脸视觉系统的图像信息感知和图像质量评价》;吴金建;《中国博士学位论文全文数据库 信息科技辑》;20150115(第1期);第I138-36页 * |
《基于显著性图像边缘的全参考图像质量评价》;闫钧华,等;《仪器仪表学报》;20160930;第37卷(第9期);第2140-2148页 * |
Also Published As
Publication number | Publication date |
---|---|
CN108961227A (zh) | 2018-12-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108961227B (zh) | 一种基于空域和变换域多特征融合的图像质量评价方法 | |
Kim et al. | Deep learning of human visual sensitivity in image quality assessment framework | |
CN109800710B (zh) | 行人重识别系统及方法 | |
CN106658169B (zh) | 一种基于深度学习多层次分割新闻视频的通用方法 | |
CN109191428B (zh) | 基于掩蔽纹理特征的全参考型图像质量评价方法 | |
CN100559880C (zh) | 一种基于自适应st区的高清视频图像质量评价方法及装置 | |
CN108830823B (zh) | 基于空域结合频域分析的全参考型图像质量评价方法 | |
CN104268590B (zh) | 基于互补性组合特征与多相回归的盲图像质量评价方法 | |
CN110059728B (zh) | 基于注意力模型的rgb-d图像视觉显著性检测方法 | |
CN109831664B (zh) | 基于深度学习的快速压缩立体视频质量评价方法 | |
CN107169417B (zh) | 基于多核增强和显著性融合的rgbd图像协同显著性检测方法 | |
CN110120034B (zh) | 一种与视觉感知相关的图像质量评价方法 | |
CN111028203B (zh) | 一种基于显著性的cnn盲图像质量评估方法 | |
Chen et al. | Naturalization module in neural networks for screen content image quality assessment | |
CN107610093B (zh) | 基于相似性特征融合的全参考型图像质量评价方法 | |
CN106127234B (zh) | 基于特征字典的无参考图像质量评价方法 | |
CN109523513A (zh) | 基于稀疏重建彩色融合图像的立体图像质量评价方法 | |
CN113888501B (zh) | 一种基于注意力定位网络的无参考型图像质量评价方法 | |
CN109859166A (zh) | 一种基于多列卷积神经网络的无参3d图像质量评估方法 | |
Kim et al. | Deep blind image quality assessment by employing FR-IQA | |
CN111882516B (zh) | 一种基于视觉显著性和深度神经网络的图像质量评价方法 | |
CN114022732A (zh) | 一种基于raw图像的极暗光物体检测方法 | |
CN107492085B (zh) | 基于双树复小波变换的立体图像质量评价方法 | |
CN111539434A (zh) | 基于相似度的红外弱小目标检测方法 | |
CN111542006A (zh) | 一种基于无线射频信号的物体识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210525 |