CN107274379B - 一种图像质量评价方法及系统 - Google Patents
一种图像质量评价方法及系统 Download PDFInfo
- Publication number
- CN107274379B CN107274379B CN201710322852.6A CN201710322852A CN107274379B CN 107274379 B CN107274379 B CN 107274379B CN 201710322852 A CN201710322852 A CN 201710322852A CN 107274379 B CN107274379 B CN 107274379B
- Authority
- CN
- China
- Prior art keywords
- similarity
- monogenic
- image
- quality evaluation
- image quality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration by non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
Abstract
本发明提出了一种图像质量评价方法及系统,属于图像处理技术领域。首先利用Log‑Gabor滤波器分别对参考图像和失真图像进行5尺度分解,然后基于单演信号理论对分解后的图像进行Riesz变换,得到5对单演信号。对5对单演信号进行局部特征的相似度计算,得到5个相似度图,利用人类视觉系统特性进行加权求和,得到1幅单演相似度图。此外,利用参考图像得到的Riesz变换特征图进行单演相位一致性计算,得到池化函数。同时,对参考图像和失真图像求梯度幅度相似度,最后利用池化函数对单演相似度和梯度幅度相似度的乘积进行卷积,得到最终的图像质量评价指数。算法在多个数据库上进行测试,结果表明,RGSIM算法整体性能优异。
Description
技术领域
本发明涉及图像质量处理技术领域,尤其涉及一种图像质量评价方法及系统。
背景技术
数字图像作为信息表达与交流的元素,获得了广泛的运用。然而,数字图像在采集、压缩、传输、处理、重建过程中伴随着降低质量和失真[1]。因此,图像质量评价(Imagequality assessment,IQA)的研究成为数字图像处理领域的一个重要内容。
根据参考图像是否存在,图像质量评价可以分为全参考(FR)评价、半参考(RR)评价和无参考(NR)评价[2]。MSE和PSNR是迄今为止运用最为广泛的全参考图像质量评估方法。这两类方法虽然有着计算简单、易于实现等优点,但只计算了像素点之间的绝对误差,没有考虑像素点之间的相关性和人眼视觉系统的感知特性,容易造成在评价图像质量时出现严重不符实际的情况[3][4]。
近年来学者们提出了更加适应人眼视觉特性的评价算法。Zhou Wang等人[2]在通用图像质量指数(Universal image Quality Index,UQI)[5]的基础上,发展和产生了Structural Similarity index(SSIM指数)。之后大批学者在SSIM的基础上提出了许多改进的方法。后来,Lin Zhang等人[6]基于自然场景分析(NSS)的方法,提出引入相位一致性(PC)和梯度相似度(GM)作为评价特征的FSIM模型。实验证明这些方法优于MSE和PSNR,但是SSIM评价模型对图像的结构特征还只停留在标量的层面上,导致SSIM在图片高度模糊时失去有效性。
自然图像作为二维信号,具有高度结构化的特征,必然具有矢量特性。图像各像素点之间表现出强烈的依赖关系,这种相关性构成了二维图像的结构,而HVS(人类视觉系统,Human Visual System)的主要功能就是从视野中获取结构信息。鉴于Riesz变换在多维信号处理上的良好表现,Lin Zhang等人[7]构建了RFSIM模型,Xue-Gang Luo等人[8]提出了RMFSIM模型。但是这些方法只是简单的应用Riesz变换构造局部特征,没有充分挖掘单演信号理论的物理含义,因此还有很大的改进空间。
[1]Gu K,Zhai G,Yang X,et al.Subjective and objective qualityassessment for images with contrast change[C]//Image Processing(ICIP),201320th IEEE International Conference on.IEEE,2013:383-387.
[2]Wang Z,Bovik A C,Sheikh H R,et al.Image Quality Assessment:FromError Visibility to Structural Similarity[J].IEEE transactions on imageprocessing,2004,13(4):600-612.
[3]Wang Z,Bovik A C.Mean squared error:Love it or leave it?A new lookat signal fidelity measures[J].IEEE signal processing magazine,2009,26(1):98-117.
[4]Wang Z.Applications of objective image quality assessment methods[applications corner][J].IEEE Signal Processing Magazine,2011,28(6):137-142.
[5]Z.Wang,A.C.Bovik,H.R.Sheik.“Auniversal image quality index”,IEEESignal Processing Letters,vol.9,no.3,pp.81-84,2002.
[6]Zhang L,Zhang L,Mou X,et al.FSIM:AFeature Similarity Index forImage Quality Assessment[J].IEEE transactions on Image Processing,2011,20(8):2378-2386.
[7]Zhang L,Zhang L,Mou X.RFSIM:A Feature Based Image QualityAssessment Metric Using Riesz Transforms[C]//Image Processing(ICIP),2010 17thIEEE International Conference on.IEEE,2010:321-324.
[8]Luo X G,Wang H J,Wang S.Monogenic signal theory based featuresimilarity index for image quality assessment[J].AEU-International Journal ofElectronics and Communications,2015,69(1):75-81.
发明内容
本发明的目的在于解决当前图像质量评价方法对严重失真图像的评价不准确问题,提出了一种结合Risez变换和人眼视觉系统特性的图像质量评价方法。该方法充分利用单演信号理论和Log-Gabor滤波器,同时结合CSF(视觉对比度敏感函数,ContrastSensitivity Function)特性曲线来分配不同频段的权重,得到相似度矩阵,然后利用MPC(单演信号相位一致性,Monogenic Phase Congruency)图来构造池化函数,得到最终的图像质量评价指数,本发明通过在多个数据库上进行测试,结果表明,本发明整体性能优异。
本发明的上述技术问题主要是通过下述技术方案得以解决的:
一种图像质量评价方法,具体步骤如下:
步骤S1:利用Log-Gabor滤波器分别对参考图像R和失真图像D进行5尺度分解,
步骤S2:基于单演信号理论对分解后的图像进行Riesz变换,得到5对单演信号;
步骤S3:对5对单演信号进行局部特征的相似度计算,得到5组单演相似度函数,进而得到5幅单演相似度图;
步骤S4:利用CSF曲线设置5幅单演相似度图的权重,然后进行加权求和,得到1幅单演相似度图SM;
步骤S5:计算参考图像R和失真图像D的梯度幅度相似度图SG;
步骤S6:利用步骤S2得到的参考图像R的单演信号进行单演相位一致性计算,得到池化函数;
步骤S7:最后利用池化函数对单演相似度图SM和梯度幅度相似度图SG的乘积进行卷积,得到最终的图像质量评价指数。
其中,所述步骤S1中二维形式的Log-Gabor滤波器的频域表达式为:
其中,ω0为滤波器的中心频率,σ0决定了滤波器的带宽,θ0为滤波器的方向角,σθ决定了滤波器的角频宽。
其中,由于单个Log-Gabor滤波器的带宽限制,需要由多个Log-Gabor滤波器在半径方向和角度方向拼接成一个完整的滤波器组,采用的Log-Gabor滤波器组的拼接参数为:半径方向拼接数量nr=5,角度方向拼接数量nθ=1。
其中,利用Log-Gabor滤波器组分别对参考图像R和失真图像D进行5尺度分解,得到分解后的图像Rbi(i=1,2,3,4,5)和Dbi(i=1,2,3,4,5)Log-Gabor滤波器组的中心频率ω0分别为和
其中,所述步骤S2中Riesz变换核的空域表达形式为:
其频域响应为:
(H1(u,v),H2(u,v))=(-ju/||(u,v)||,-jv/||(u,v)||) (3)
以参考图像R为例,对其进行一阶Riesz变换,得到:
参考图像R的单演信号RM被定义为:
RM=[R,R1,R2]=[R,h1(x,y)*R,h2(x,y)*R]
=R-(i,j)fR(x,y) (5)
其中,i和j为虚数单位;
其中,所述步骤S2中对分解后的图像进行Riesz变换,得到5对单演信号,实现步骤如下:
第一步,对分解后的图像Rbi(i=1,2,3,4,5)进行Riesz变换,得到5
其中,步骤S3中对5对单演信号进行局部特征的相似度计算,得到5组单演相似度函数,进而得到5幅单演相似度图,具体为:
第一步,计算Riesz变换空间下各点的特征量,包括幅值、相位角、方向角,构造参考图像和失真图像在像素点(x,y)的单演信号相似度:
第二步,构造参数SMi,作为单演信号相似度图:
其中,i=1,2,3,4,5。
其中,步骤S4中利用CSF曲线设置5幅单演相似度图的权重,然后进行加权求和,得到1幅单演相似度图SM,具体为:
利用CSF曲线设置5幅单演相似度图的权重ki(i=1,2,3,4,5),然后进行加权求和,得到1幅单演相似度图SM:
SM=k1SM1+k2SM2+k3SM3+k4SM4+k5SM5 (11)
其中k1=0.3370,k2=0.8962,k3=0.9809,k4=0.9753,k5=0.7411。
其中,所采用的视觉对比敏感度函数(Contrast Sensitivity Function,CSF)模型:
A(fr)≈2.6[0.0192+0.114fr]exp[-(0.114fr)1.1]
其中,所述步骤S5计算参考图像R和失真图像D的梯度幅度相似度图SG,实现步骤如下:
第一步,计算参考图像R和失真图像D的各像素点的梯度幅度G;
利用Scharr算子来获得像素点的水平梯度Gh和垂直梯度Gv,然后计算参考图像和失真图像各像素点的梯度幅度G;以参考图像R为例,梯度幅度G计算公式如(13)、(14)所示:
第二步,计算参考图像R梯度幅度图GR和失真图像梯度幅度图GD的梯度幅度相似度图SG:
其中,GR(x,y)和GD(x,y)分别为参考图像和失真图像在像素点(x,y)的梯度幅值,C2和C3为小的正常数,C2=87497.64,C3=65025。
其中,所述步骤S6中利用参考图像R得到的单演信号进行单演相位一致性计算,得到池化函数MPC,实现步骤如下:
根据公式(7),可算出局部能量信息的总和为:
局部幅度的总和为:
则单演相位一致性模型(也就是池化函数)表示为:
其中,c是过滤响应滤波器的截止值,在此之下相位一致性将会受到抑制;g是一个控制截止明锐度的增益因子;
扩展函数s(x)为:
其中,所述步骤S7中利用池化函数MPC对单演相似度图SM和梯度幅度相似度图SG的乘积进行卷积,得到最终的图像质量评价指数,实现步骤如下:
联合公式(11)(15),同时利用单演相位一致性评价模型作为池化函数MPC,得到最终的质量评价分数:
RVSIM=SM·SG*MPC (21)
公式(21)即为提出的图像质量评价指数。
一种采用上述所述的图像质量评价方法的系统,包括:
分解单元,用于利用Log-Gabor滤波器分别对参考图像R和失真图像D进行5尺度分解,
Riesz变换单元,用于基于单演信号理论对分解后的图像进行Riesz变换,得到5对单演信号;
第一计算单元,用于对5对单演信号进行局部特征的相似度计算,得到5组单演相似度函数,进而得到5幅单演相似度图;
第二计算单元,用于利用CSF曲线设置5幅单演相似度图的权重,然后进行加权求和,得到1幅单演相似度图SM;
第三计算单元,用于计算参考图像R和失真图像D的梯度幅度相似度图SG;
第四计算单元,用于利用Riesz变换单元得到的参考图像R的单演信号进行单演相位一致性计算,得到池化函数;
图像质量评价指数获取单元,用于最后利用池化函数对单演相似度图SM和梯度幅度相似度图SG的乘积进行卷积,得到最终的图像质量评价指数。
有益效果:
本发明提出了一种结合Risez变换和人眼视觉系统特性的图像质量评价方法。该方法充分利用单演信号理论和Log-Gabor滤波器,同时结合CSF(视觉对比度敏感函数,Contrast Sensitivity Function)特性曲线来分配不同频段的权重,得到相似度矩阵,然后利用MPC(单演信号相位一致性,Monogenic Phase Congruency)图来构造池化函数,得到最终的图像质量评价指数,本发明通过在多个数据库上进行测试,结果表明,本发明整体性能优异。
附图说明
图1是Riesz变换空间图。
图2是CSF特性曲线图。
图3是图像质量评价方法流程框图。
图4是本发明设计的Log-Gabor滤波器组和滤波示例。
图5是monarch图、W(x,y)三维曲面图和W(x,y)三维曲旋转图。
图6是C1/C2/C3最优值的确定图。
图7是LIVE数据库中不同IQA算法的评估散点图。
图8是17个IQA模型的gMAD竞争图。
图9是图像质量评价系统结构框图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明:
实施例1
如图3所示,本发明提出的结合Risez变换和人眼视觉系统特性的图像质量评价方法,(简称RVSIM)包含以下步骤:
第一步,将参考图像R和失真图像D分别经过5尺度Log-Gabor带通滤波,得到图像在5个不同频段的分量Rb1/Rb2/Rb3/Rb4/Rb5和Db1/Db2/Db3/Db4/Db5。
,进而得到5幅单演相似度图SM1/SM2/SM3/SM4/SM5。
第四步,利用CSF曲线设置5幅单演相似度图的权重k1/k2/k3/k4/k5,然后进行加权求和,得到1幅单演相似度图SM。
第五步,计算参考图像R和失真图像D的梯度幅度相似度图SG。
第六步,利用参考图像R得到的单演信号进行单演相位一致性(MPC)计算,得到池化(pooling)函数MPC。
第七步,最后利用池化函数MPC对单演相似度图SM和梯度幅度相似度图SG的乘积进行卷积,得到提出的图像质量评价指数。
本发明提出的结合Risez变换和人眼视觉系统特性的图像质量评价方法,第一步中采用的二维形式的LogGabor滤波器的频域表达式为:
其中,ω0为滤波器的中心频率,σ0决定了滤波器的带宽,θ0为滤波器的方向角,σθ决定了滤波器的角频宽。
在实际应用中,由于单个Log-Gabor滤波器的带宽限制,需要由多个Log-Gabor滤波器在半径方向和角度方向拼接成一个完整的滤波器组。
本发明最终确定的Log-Gabor滤波器组的拼接参数为:半径方向拼接数量nr=5,角度方向拼接数量nθ=1。为了说明这两个参数选取的合理性,表1列出了取不同拼接参数时,将RVSIM算法应用于LIVE数据库得到的SROCC/KROCC/PLCC/RMSE性能指标,最高性能用黑体字突出。从表1可以看出,径向拼接数量nr=5、横向拼接数量nθ=1时,RVSIM算法取得最佳性能。
表一SROCC值与LIVE数据库每个失真类型的比较
利用Log-Gabor滤波器组分别对参考图像R和失真图像D进行5尺度分解,得到分解后的图像Rbi(i=1,2,3,4,5)和Dbi(i=1,2,3,4,5)Log-Gabor滤波器组的中心频率ω0分别为和5个频段分别为:[0.4786,0.2026]/[0.2611,0.0965]/[0.1243,0.0460]/[0.0591,0.0221/[0.0282,0.0105]
所述步骤S2中Riesz变换核的空域表达形式为:
其频域响应为:
(H1(u,v),H2(u,v))=(-ju/||(u,v)||,-jv/||(u,v)||) (3)
以参考图像R为例,对其进行一阶Riesz变换,得到:
参考图像R的单演信号RM被定义为:
RM=[R,R1,R2]=[R,h1(x,y)*R,h2(x,y)*R]
=R-(i,j)fR(x,y) (5)
其中,i和j为虚数单位;
所述步骤S2中对分解后的图像进行Riesz变换,得到5对单演信号,实现步骤如下:
本发明设计的Log-Gabor滤波器组如图4所示,从左到右的中心频率ω0依次为和利用这个Log-Gabor滤波器组对LIVE库中的两幅样本图像滤波,分别得到图像在对应5个频段的不同分量。需要说明的是,样本图像在进行滤波之前首先经过了灰度化处理。
从图4中可以看出,的Log-Gabor滤波器取出了图像中的高频分量,主要体现原始图像最精细尺度的细节信息,的Log-Gabor滤波器取出了图像中的次高频分量,以此类推,的Log-Gabor滤波器包含了大量低频分量,主要体现原始图像的轮廓信息。细节信息描述了图像纹理等小尺度部分,剩余大尺度信息表达了图像的基本结构和变化趋势部分。
步骤S3中对5对单演信号进行局部特征的相似度计算,得到5组单演相似度函数,进而得到5幅单演相似度图,具体为:
第一步,计算Riesz变换空间下各点的特征量,包括幅值、相位角、方向角,构造参考图像和失真图像在像素点(x,y)的单演信号相似度:
第二步,构造参数SMi,作为单演信号相似度图:
其中,i=1,2,3,4,5。
步骤S4中利用CSF曲线设置5幅单演相似度图的权重,然后进行加权求和,得到1幅单演相似度图SM,具体为:
利用CSF曲线设置5幅单演相似度图的权重ki(i=1,2,3,4,5),然后进行加权求和,得到1幅单演相似度图SM:
SM=k1SM1+k2SM2+k3SM3+k4SM4+k5SM5 (11)
其中k1=0.3370,k2=0.8962,k3=0.9809,k4=0.9753,k5=0.7411。
本发明设计的Log-Gabor滤波器组将对应CSF曲线分为5段,以滤波器的半功率点作为带宽界限,得到Log-Gabor滤波器组的5个频段,取每个频段的最大值作为该段单演相似度图的权重,得到k1=0.3370,k2=0.8962,k3=0.9809,k4=0.9753,k5=0.7411。
本发明采用Mannos等人提出的CSF模型,所采用的视觉对比敏感度函数(ContrastSensitivity Function,CSF)模型为:
A(fr)≈2.6[0.0192+0.114fr]exp[-(0.114fr)1.1] (12)
所述步骤S5计算参考图像R和失真图像D的梯度幅度相似度图SG,实现步骤如下:
第一步,计算参考图像R和失真图像D的各像素点的梯度幅度G;
利用Scharr算子来获得像素点的水平梯度Gh和垂直梯度Gv,然后计算参考图像和失真图像各像素点的梯度幅度G;以参考图像R为例,梯度幅度G计算公式如(13)、(14)所示:
第二步,计算参考图像R梯度幅度图GR和失真图像梯度幅度图GD的梯度幅度相似度图SG:
其中,GR(x,y)和GD(x,y)分别为参考图像和失真图像在像素点(x,y)的梯度幅值,C2和C3为小的正常数,C2=87497.64,C3=65025。SG(x,y)的数值范围为(0,1],数值越小,表明梯度幅度失真越严重。当SG(x,y)=1时,说明参考图像和失真图像在该像素点的梯度幅度无失真。常数C3可以防止公式(11)出现奇异现象,C2和C3在调节低梯度区域的对比响应中起到重要作用。
所述步骤S6中利用参考图像R得到的单演信号进行单演相位一致性计算,得到池化函数MPC,实现步骤如下:
根据公式(7),可算出局部能量信息的总和为:
局部幅度的总和为:
则单演相位一致性模型(也就是池化函数)表示为:
其中,c是过滤响应滤波器的截止值,在此之下相位一致性将会受到抑制;g是一个控制截止明锐度的增益因子;
扩展函数s(x)为:
为了更直观的展示权重函数,图5以LIVE库中的monarch为例,绘制了W(x,y)和s(x,y)的三维曲面图。图5中,从左到右依次为monarch图、W(x,y)三维曲面图和W(x,y)三维曲面旋转图。
所述步骤S7中利用池化函数MPC对单演相似度图SM和梯度幅度相似度图SG的乘积进行卷积,得到最终的图像质量评价指数,实现步骤如下:
联合公式(11)(15),同时利用单演相位一致性评价模型作为池化函数MPC,得到最终的质量评价分数:
RVSIM=SM·SG*MPC (21)
公式(21)即为提出的图像质量评价指数。
常数C1/C2/C3的确定如下:
常数C1、C2和C3除了可以规避SA bi(i=1,2,3,4,5)和SG的定义式出现奇异现象外,还起到了微调RVSIM指数的作用。为了确定常数C1、C2和C3的最优取值,本发明利用评价指标SROCC在LIVE数据库上进行正交实验。为了在实验的复杂度和参数确定之间取得平衡,我们进行了两轮正交实验。类似于SSIM模型,首先令[C1,C2,C3]=[(K1*L)2,(K2*L)2,(K3*L)2],L=255。
第一轮:第一步固定K2=K2=1.0,当K1取不同值时将RVSIM算法应用于LIVE数据库,得到K1-SROCC曲线,如图6a所示,可见K1=1.0时SROCC取得最大值。第二步固定K1=1.0,K3=1.0,当K2取不同值时将RVSIM算法应用于LIVE数据库,得到K2-SROCC曲线,如图6b所示,可见K2=1.2时SROCC取得最大值。第三步固定K1=1.0,K2=1.2,当K3取不同值时将RVSIM算法应用于LIVE数据库,得到K3-SROCC曲线,如图6c所示,可见K3=1.0时SROCC取得最大值。至此,第一轮实验结束,得到的参数为:K1=1.0,K2=1.2,K3=1.0。
第二轮:在第一轮实验得到参数的基础上,重复第一轮的实验,得到如图7d/e/f所示的结果。至此,第两轮实验结束,最终确定的参数为:K1=1.09,K2=1.16,K3=1.00。
本发明的优点可以通过以下实验具体说明:
为了验证RVSIM算法的性能,本发明首先通过四个图像数据库LIVE、CSIQ、TID2008和TID2013进行指标测试。LIVE数据库包含29张参考图像和779张失真图像,失真类型包括JPEG2000、JPEG压缩、白噪声、高斯模糊和瑞利衰落,数据库中提供了每个图像的差分平均意见分数(Differential Mean Opinion Scores,DMOS),较小的DMOS值表示较高的图像质量。CSIQ数据库包含30张参考图像,每张参考图像具有6种失真类型,每种失真有4-5种程度。TID 2008数据库包括25幅彩色参考图像,失真图像包括17种不同的失真,每个失真含4个不同的等级,共计1700幅图像。库中的17种失真分别为:加性高斯噪声、颜色分量强于照明分量的加性噪声、空间位置相关噪声、掩模噪声、高频噪声、脉冲噪声、量化噪声、高斯模糊、图像噪声、JPEG压缩、JPEG2000压缩、JPEG传输错误、JPEG 2000传输错误、非偏心式噪声、不同强度的局部块失真、强度均值偏移和对比度变化。TID2013包括25幅参考图像和3000幅失真图像,图像的分辨率为384×512。所有图像均为彩色BMP格式。该数据库中共有24种类型的失真,每幅图像的每种失真有5个不同的强度。除TID2008中的17种失真外,增加了7种新的失真类型:色彩饱和度改变、乘性高斯噪声、舒适噪声、含噪声的有损压缩、带抖动的图像颜色量差、色差和稀疏采样与重构。
本发明使用5参数非线性逻辑回归函数拟合数据,使用四个相应的指数来客观地比较算法的性能:Pearson线性相关系数PLCC,均方根误差RMSE,Kendall秩序相关系数KROCC和Spearman秩相关系数SROCC。
其中,x是客观IQA分数,f(x)是IQA回归拟合分数,β1、β2、β3、β4和β5是回归函数参数。
自然界中的图像是丰富多彩的,仅对这四个数据库的实验还不足以说明问题,为了以更客观公平的方式测试算法性能,本发明还在Waterloo Exploration数据库中开展了竞争排名(group MAximum Differentiation competition,gMAD)。Waterloo Exploration数据库包含4744张原始自然图像和94880张失真图像。并且gMAD竞争可以自动地从数据库中选择图像对的子集,其提供最强的测试以使IQA模型彼此竞争。对所选子集的主观测试揭示了IQA模型的相对性能。
性能比较如下:
表2列出了RVSIM算法在LIVE、CSIQ、TID2008、TID2013四个数据库上的表现。从表2可以看到,RVSIM算法的IQA指标在所有4个数据库上都有非常好的表现,体现了RVSIM的优异性能。
表2不同数据库中不同算法的SROCC/KROCC/PLCC/RMSE性能比较
图7示出了LIVE数据库上的PSNR、SSIM、MS-SSIM、IW-SSIM、FSIM和RVSIM指数相对于DMOS的预测质量得分散点图。从图7可以发现,RVSIM的散点图在整个坐标系统中均匀分布,并且与DMOS具有很强的线性关系,这表明RVSIM模型与人眼具有很强的一致性。
图8给出了17个算法的gMAD竞争排名情况,除RVSIM外,其余16个IQA模型数据是官方对已有的知名模型测试得到的结果。从图8可见,RVSIM的综合性能排名第一,而且远超第二名MS-SSIM和第三名CORNIA。
本发明针对全参考图像质量评价问题,提出了一种结合Riesz变换和视觉对比敏感度的图像质量评价方法(RVSIM)。RVSIM充分利用单演信号理论和Log-Gabor滤波器,结合CSF特性曲线来分配不同频段的权重,同时引入梯度幅度相似度,得到相似度矩阵,然后利用MPC图来构造池化函数,得到最终的质量评价指数。RGSIM算法首次将Riesz解析空间中的局部特征,包括幅度值,局部相位和局部方向,应用于图像质量评价,取得了良好的效果。5个流行数据库上的测试结果表明,RGSIM算法整体性能优异。
实施例2
本实施例2是系统实施例,上述实施例1是方法实施例,需要说明的是,本实施例2与上述实施例1属于同一技术构思,在本实施例中未详尽描述的内容,请参见方法实施例1.
如图9所示,一种采用所述的图像质量评价方法的系统,包括:
分解单元,用于利用Log-Gabor滤波器分别对参考图像R和失真图像D进行5尺度分解,
Riesz变换单元,用于基于单演信号理论对分解后的图像进行Riesz变换,得到5对单演信号;
第一计算单元,用于对5对单演信号进行局部特征的相似度计算,得到5组单演相似度函数,进而得到5幅单演相似度图;
第二计算单元,用于利用CSF曲线设置5幅单演相似度图的权重,然后进行加权求和,得到1幅单演相似度图SM;
第三计算单元,用于计算参考图像R和失真图像D的梯度幅度相似度图SG;
第四计算单元,用于利用Riesz变换单元得到的参考图像R的单演信号进行单演相位一致性计算,得到池化函数;
图像质量评价指数获取单元,用于最后利用池化函数对单演相似度图SM和梯度幅度相似度图SG的乘积进行卷积,得到最终的图像质量评价指数。
本领域的技术人员容易理解,以上所述仅为本发明较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所做的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (13)
1.一种图像质量评价方法,其特征在于:具体步骤如下:
步骤S1:利用Log-Gabor滤波器分别对参考图像R和失真图像D进行5尺度分解,
步骤S2:基于单演信号理论对分解后的图像进行Riesz变换,得到5对单演信号;
步骤S3:对5对单演信号进行局部特征的相似度计算,得到5组单演相似度函数,进而得到5幅单演相似度图;
步骤S4:利用CSF曲线设置5幅单演相似度图的权重,然后进行加权求和,得到1幅单演相似度图SM;
步骤S5:计算参考图像R和失真图像D的梯度幅度相似度图SG;
步骤S6:利用步骤S2得到的参考图像R的单演信号进行单演相位一致性计算,得到池化函数;
步骤S7:最后利用池化函数对单演相似度图SM和梯度幅度相似度图SG的乘积进行卷积,得到最终的图像质量评价指数。
3.根据权利要求2所述的一种图像质量评价方法,其特征在于:由于单个Log-Gabor滤波器的带宽限制,需要由多个Log-Gabor滤波器在半径方向和角度方向拼接成一个完整的滤波器组,采用的Log-Gabor滤波器组的拼接参数为:半径方向拼接数量nr=5,角度方向拼接数量nθ=1。
5.根据权利要求4所述的一种图像质量评价方法,其特征在于:所述步骤S2中Riesz变换核的空域表达形式为:
其频域响应为:
(H1(u,v),H2(u,v))=(-ju/||(u,v)||,-jv/||(u,v)||) (3)
以参考图像R为例,对其进行一阶Riesz变换,得到:
参考图像R的单演信号RM被定义为:
RM=[R,R1,R2]=[R,h1(x,y)*R,h2(x,y)*R]
=R-(i,j)fR(x,y) (5)
其中,i和j为虚数单位;
8.根据权利要求7所述的一种图像质量评价方法,其特征在于:步骤S4中利用CSF曲线设置5幅单演相似度图的权重,然后进行加权求和,得到1幅单演相似度图SM,具体为:
利用CSF曲线设置5幅单演相似度图的权重ki,i=1,2,3,4,5,然后进行加权求和,得到1幅单演相似度图SM:
SM=k1SM1+k2SM2+k3SM3+k4SM4+k5SM5 (11)
其中,k1=0.3370,k2=0.8962,k3=0.9809,k4=0.9753,k5=0.7411。
10.根据权利要求1所述的一种图像质量评价方法,其特征在于:所述步骤S5计算参考图像R和失真图像D的梯度幅度相似度图SG,实现步骤如下:
第一步,计算参考图像R和失真图像D的各像素点的梯度幅度G;
利用Scharr算子来获得像素点的水平梯度Gh和垂直梯度Gv,然后计算参考图像和失真图像各像素点的梯度幅度G;以参考图像R为例,梯度幅度G计算公式如(13)、(14)所示:
第二步,计算参考图像R梯度幅度图GR和失真图像梯度幅度图GD的梯度幅度相似度图SG:
其中,GR(x,y)和GD(x,y)分别为参考图像和失真图像在像素点(x,y)的梯度幅值,C2和C3为小的正常数,C2=87497.64,C3=65025。
11.根据权利要求10所述的一种图像质量评价方法,其特征在于:所述步骤S6中利用参考图像R得到的单演信号进行单演相位一致性计算,得到池化函数MPC,实现步骤如下:
根据公式(7),可算出局部能量信息的总和为:
局部幅度的总和为:
则单演相位一致性模型(也就是池化函数)表示为:
其中,c是过滤响应滤波器的截止值,在此之下相位一致性将会受到抑制;g是一个控制截止明锐度的增益因子;
扩展函数s(x)为:
12.根据权利要求11所述的一种图像质量评价方法,其特征在于:所述步骤S7中利用池化函数MPC对单演相似度图SM和梯度幅度相似度图SG的乘积进行卷积,得到最终的图像质量评价指数,实现步骤如下:
联合公式(11)(15),同时利用单演相位一致性评价模型作为池化函数MPC,得到最终的质量评价分数:
RVSIM=SM·SG*MPC (21)
公式(21)即为提出的图像质量评价指数。
13.一种采用权利要求1-12任一项所述的图像质量评价方法的系统,其特征在于:包括:
分解单元,用于利用Log-Gabor滤波器分别对参考图像R和失真图像D进行5尺度分解,
Riesz变换单元,用于基于单演信号理论对分解后的图像进行Riesz变换,得到5对单演信号;
第一计算单元,用于对5对单演信号进行局部特征的相似度计算,得到5组单演相似度函数,进而得到5幅单演相似度图;
第二计算单元,用于利用CSF曲线设置5幅单演相似度图的权重,然后进行加权求和,得到1幅单演相似度图SM;
第三计算单元,用于计算参考图像R和失真图像D的梯度幅度相似度图SG;
第四计算单元,用于利用Riesz变换单元得到的参考图像R的单演信号进行单演相位一致性计算,得到池化函数;
图像质量评价指数获取单元,用于最后利用池化函数对单演相似度图SM和梯度幅度相似度图SG的乘积进行卷积,得到最终的图像质量评价指数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710322852.6A CN107274379B (zh) | 2017-05-09 | 2017-05-09 | 一种图像质量评价方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710322852.6A CN107274379B (zh) | 2017-05-09 | 2017-05-09 | 一种图像质量评价方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107274379A CN107274379A (zh) | 2017-10-20 |
CN107274379B true CN107274379B (zh) | 2020-03-10 |
Family
ID=60073880
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710322852.6A Expired - Fee Related CN107274379B (zh) | 2017-05-09 | 2017-05-09 | 一种图像质量评价方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107274379B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108564580B (zh) * | 2018-04-23 | 2022-05-10 | 朱苗 | 基于人类视觉系统的图像质量评价方法 |
CN109447952B (zh) * | 2018-10-10 | 2021-12-17 | 嘉兴学院 | 一种基于Gabor差分盒加权维数的半参考型图像质量评价方法 |
CN111046893B (zh) * | 2018-10-12 | 2024-02-02 | 富士通株式会社 | 图像相似性确定方法和装置、图像处理方法和装置 |
CN110930398B (zh) * | 2019-12-09 | 2023-05-09 | 嘉兴学院 | 一种基于Log-Gabor相似度的全参考视频质量评价方法 |
CN112348806B (zh) * | 2020-11-14 | 2022-08-26 | 四川大学华西医院 | 一种无参考数字病理切片模糊度评价方法 |
CN115033763B (zh) * | 2022-08-15 | 2022-11-18 | 北京宏数科技有限公司 | 一种基于大数据的存储方法及其系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102946548A (zh) * | 2012-11-27 | 2013-02-27 | 西安电子科技大学 | 基于3维Log-Gabor变换的视频图像融合性能评价方法 |
CN103049905A (zh) * | 2012-12-07 | 2013-04-17 | 中国人民解放军海军航空工程学院 | 利用单演信号三分量的合成孔径雷达图像配准方法 |
CN104021545A (zh) * | 2014-05-12 | 2014-09-03 | 同济大学 | 一种基于视觉显著性的全参考彩色图像质量评价方法 |
CN104243976A (zh) * | 2014-09-23 | 2014-12-24 | 浙江科技学院 | 一种立体图像客观质量评价方法 |
CN104751150A (zh) * | 2015-04-21 | 2015-07-01 | 南京安穗智能科技有限公司 | 基于奇对称2D Log-Gabor滤波器和Adaboost相结合的虹膜识别方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8326046B2 (en) * | 2009-02-11 | 2012-12-04 | Ecole De Technologie Superieure | Method and system for determining structural similarity between images |
-
2017
- 2017-05-09 CN CN201710322852.6A patent/CN107274379B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102946548A (zh) * | 2012-11-27 | 2013-02-27 | 西安电子科技大学 | 基于3维Log-Gabor变换的视频图像融合性能评价方法 |
CN103049905A (zh) * | 2012-12-07 | 2013-04-17 | 中国人民解放军海军航空工程学院 | 利用单演信号三分量的合成孔径雷达图像配准方法 |
CN104021545A (zh) * | 2014-05-12 | 2014-09-03 | 同济大学 | 一种基于视觉显著性的全参考彩色图像质量评价方法 |
CN104243976A (zh) * | 2014-09-23 | 2014-12-24 | 浙江科技学院 | 一种立体图像客观质量评价方法 |
CN104751150A (zh) * | 2015-04-21 | 2015-07-01 | 南京安穗智能科技有限公司 | 基于奇对称2D Log-Gabor滤波器和Adaboost相结合的虹膜识别方法 |
Non-Patent Citations (1)
Title |
---|
基于Riesz 变换的图像边缘检测;赵宏伟;《吉林大学学报》;20130331;第43 卷;第133-137页 * |
Also Published As
Publication number | Publication date |
---|---|
CN107274379A (zh) | 2017-10-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107274379B (zh) | 一种图像质量评价方法及系统 | |
Gu et al. | No-reference quality assessment of screen content pictures | |
Amirshahi et al. | Image quality assessment by comparing CNN features between images | |
CN109410149B (zh) | 一种基于并行特征提取的cnn去噪方法 | |
CN108109147B (zh) | 一种模糊图像的无参考质量评价方法 | |
CN111080567A (zh) | 基于多尺度动态卷积神经网络的遥感图像融合方法及系统 | |
CN108053396B (zh) | 一种多失真图像质量的无参考评价方法 | |
Chen et al. | Remote sensing image quality evaluation based on deep support value learning networks | |
CN105513033B (zh) | 一种非局部联合稀疏表示的超分辨率重建方法 | |
CN110120034B (zh) | 一种与视觉感知相关的图像质量评价方法 | |
Geng et al. | A stereoscopic image quality assessment model based on independent component analysis and binocular fusion property | |
CN111047543A (zh) | 图像增强方法、装置和存储介质 | |
CN106412571B (zh) | 一种基于梯度相似性标准差的视频质量评价方法 | |
CN111462002B (zh) | 一种基于卷积神经网络的水下图像增强与复原方法 | |
Nachaoui | PARAMETER LEARNING FOR COMBINED FIRST AND SECOND ORDER TOTAL VARIATION FOR IMAGE RECONSTRUCTION. | |
CN113256510A (zh) | 基于cnn的带有颜色恢复和边缘锐化效果的低照度图像增强方法 | |
CN114187214A (zh) | 一种红外与可见光图像融合系统及方法 | |
Sinno et al. | Spatio-temporal measures of naturalness | |
CN109598707B (zh) | 一种基于特征信息处理的全参考图像质量客观评价方法 | |
CN114187261A (zh) | 一种基于多维注意力机制的无参考立体图像质量评价方法 | |
CN114266709A (zh) | 一种基于跨分支连接网络的复合降质图像解耦分析与复原方法 | |
Chen et al. | An evolutionary game-theoretic approach for image interpolation | |
CN116452431A (zh) | 基于多分支渐进式深度网络的弱光图像增强方法 | |
Wang et al. | A simple quality assessment index for stereoscopic images based on 3d gradient magnitude | |
CN109191431A (zh) | 基于特征相似度的高动态彩色图像质量评价方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200310 Termination date: 20210509 |
|
CF01 | Termination of patent right due to non-payment of annual fee |