CN101872479A - 一种立体图像客观质量评价方法 - Google Patents
一种立体图像客观质量评价方法 Download PDFInfo
- Publication number
- CN101872479A CN101872479A CN 201010197225 CN201010197225A CN101872479A CN 101872479 A CN101872479 A CN 101872479A CN 201010197225 CN201010197225 CN 201010197225 CN 201010197225 A CN201010197225 A CN 201010197225A CN 101872479 A CN101872479 A CN 101872479A
- Authority
- CN
- China
- Prior art keywords
- sub
- dis
- org
- wavelet coefficient
- coefficient matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000013441 quality evaluation Methods 0.000 title claims abstract description 18
- 238000011156 evaluation Methods 0.000 claims abstract description 30
- 230000006870 function Effects 0.000 claims abstract description 19
- 238000005259 measurement Methods 0.000 claims abstract description 7
- 239000011159 matrix material Substances 0.000 claims description 127
- 230000008447 perception Effects 0.000 claims description 24
- 238000011524 similarity measure Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 7
- 229910044991 metal oxide Inorganic materials 0.000 claims description 6
- 150000004706 metal oxides Chemical class 0.000 claims description 6
- 239000004065 semiconductor Substances 0.000 claims description 6
- 238000012417 linear regression Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 abstract description 6
- 238000013210 evaluation model Methods 0.000 abstract description 4
- 230000000694 effects Effects 0.000 abstract description 3
- 230000035945 sensitivity Effects 0.000 abstract description 3
- 230000009466 transformation Effects 0.000 abstract description 2
- 230000035807 sensation Effects 0.000 abstract 4
- 230000006835 compression Effects 0.000 description 8
- 238000007906 compression Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004304 visual acuity Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种立体图像客观质量评价方法,分别对无失真的立体图像和失真的立体图像的左视点图像和右视点图像进行小波变换,提取各子带的特征值,并对特征值作相似度度量,各子带的权重系数由对比度敏感函数决定;然后,通过评价无失真的立体图像和失真的立体图像的左右图像的绝对差值图像相似度实现对立体感知质量的评价;最后将左右图像的质量和立体感知质量两者相结合,得到对立体图像质量的最终评价结果,优点在于利用了人类视觉灵敏度带通、多通道效应以及立体感知等人眼视觉特性,在评价左右视点图像质量的基础上,同时评价立体感知,将立体图像中立体感知对最终立体图像质量的影响融入评价模型,提高了客观评价结果与主观感知的相关性。
Description
技术领域
本发明涉及一种图像质量评价方法,尤其是涉及一种立体图像客观质量评价方法。
背景技术
图像质量评价是图像处理领域的研究热点,图像质量是比较各种图像处理算法性能优劣以及优化系统参数的重要指标,因此在图像采集、编码压缩、网络传输等领域建立有效的图像质量评价机制具有重大的意义。随着多媒体技术和互联网技术的大力发展,立体视频技术正迅速发展起来。与传统媒体相比,立体视频能够为大众创造更加直观真实的场景感受,但其需要处理的数据至少多了一倍。因此,立体图像在提高编码压缩效率的同时,还需要保证立体图像的主观感知。综上,评价立体图像质量,并建立与主观质量评价相一致的客观评价模型显得尤为重要。相对于平面图像质量评价,国内外对立体图像质量评价的研究还比较少,大部分客观评价模型没有结合人眼视觉特性,或是只是评价图像质量,而没有评价立体感知,导致最终客观评价结果与主观感知的相关性较差。
发明内容
本发明所要解决的技术问题是提供一种结合人眼视觉特性,能够有效提高客观评价结果与主观感知的相关性的立体图像客观质量评价方法。
本发明解决上述技术问题所采用的技术方案为:一种立体图像客观质量评价方法,包括以下步骤:
①令Sorg为原始的无失真的立体图像,Sdis为待评价的失真的立体图像,将原始的无失真的立体图像Sorg的左视点图像记为Lorg,将原始的无失真的立体图像Sorg的右视点图像记为Rorg,将待评价的失真的立体图像Sdis的左视点图像记为Ldis,将待评价的失真的立体图像Sdis的右视点图像记为Rdis;
②对Lorg、Rorg、Ldis和Rdis 4幅图像分别实施M级小波变换,分别得到Lorg、Rorg、Ldis和Rdis4幅图像各自对应的3M+1个子带的小波系数矩阵,其中,3M+1个子带包括M个水平方向子带、M个垂直方向子带、M个对角方向子带和1个直流子带,将Lorg实施第m级小波变换后得到的第m个水平方向子带的小波系数矩阵记为将Lorg实施第m级小波变换后得到的第m个垂直方向子带的小波系数矩阵记为将Lorg实施第m级小波变换后得到的第m个对角方向子带的小波系数矩阵记为将Lorg实施M级小波变换后得到的直流子带的小波系数矩阵记为将Rorg实施第m级小波变换后得到的第m个水平方向子带的小波系数矩阵记为将Rorg实施第m级小波变换后得到的第m个垂直方向子带的小波系数矩阵记为将Rorg实施第m级小波变换后得到的第m个对角方向子带的小波系数矩阵记为将Rorg实施M级小波变换后得到的直流子带的小波系数矩阵记为将Ldis实施第m级小波变换后得到的第m个水平方向子带的小波系数矩阵记为将Ldis实施第m级小波变换后得到的第m个垂直方向子带的小波系数矩阵记为将Ldis实施第m级小波变换后得到的第m个对角方向子带的小波系数矩阵记为将Ldis实施M级小波变换后得到的直流子带的小波系数矩阵记为将Rdis实施第m级小波变换后得到的第m个水平方向子带的小波系数矩阵记为将Rdis实施第m级小波变换后得到的第m个垂直方向子带的小波系数矩阵记为将Rdis实施第m级小波变换后得到的第m个对角方向子带的小波系数矩阵记为将Rdis实施M级小波变换后得到的直流子带的小波系数矩阵记为1≤m≤M;
③分别计算Lorg实施M级小波变换后得到的M个水平方向子带、M个垂直方向子带、M个对角方向子带和1个直流子带的小波系数矩阵的标准差,其中,将Lorg对应的第m个水平方向子带的小波系数矩阵的标准差记为将Lorg对应的第m个垂直方向子带的小波系数矩阵的标准差记为将Lorg对应的第m个对角方向子带的小波系数矩阵的标准差记为将Lorg对应的直流子带的小波系数矩阵的标准差记为
分别计算Rorg实施M级小波变换后得到的M个水平方向子带、M个垂直方向子带、M个对角方向子带和1个直流子带的小波系数矩阵的标准差,其中,将Rorg对应的第m个水平方向子带的小波系数矩阵的标准差记为将Rorg对应的第m个垂直方向子带的小波系数矩阵的标准差记为将Rorg对应的第m个对角方向子带的小波系数矩阵的标准差记为将Rorg对应的直流子带的小波系数矩阵的标准差记为
分别计算Ldis实施M级小波变换后得到的M个水平方向子带、M个垂直方向子带、M个对角方向子带和1个直流子带的小波系数矩阵的标准差,其中,将Ldis对应的第m个水平方向子带的小波系数矩阵的标准差记为将Ldis对应的第m个垂直方向子带的小波系数矩阵的标准差记为将Ldis对应的第m个对角方向子带的小波系数矩阵的标准差记为将Ldis对应的直流子带的小波系数矩阵的标准差记为
分别计算Rdis实施M级小波变换后得到的M个水平方向子带、M个垂直方向子带、M个对角方向子带和1个直流子带的小波系数矩阵的标准差,其中,将Rdis对应的第m个水平方向子带的小波系数矩阵的标准差记为将Rdis对应的第m个垂直方向子带的小波系数矩阵的标准差记为将Rdis对应的第m个对角方向子带的小波系数矩阵的标准差记为将Rdis对应的直流子带的小波系数矩阵的标准差记为
④计算Lorg对应的3M+1个子带的小波系数矩阵与Ldis对应的3M+1个子带的小波系数矩阵的距离,记为QL,其中, 然后计算Rorg对应的3M+1个子带的小波系数矩阵与Rdis对应的3M+1个子带的小波系数矩阵的距离,记为QR,其中, wH,m表示Lorg、Ldis、Rorg和Rdis对应的第m个水平方向子带的小波系数矩阵的权值,wV,m表示Lorg、Ldis、Rorg和Rdis对应的第m个垂直方向子带的小波系数矩阵的权值,wD,m表示Lorg、Ldis、Rorg和Rdis对应的第m个对角方向子带的小波系数矩阵的权值, f表示Lorg、Ldis、Rorg和Rdis对应的第m个水平方向子带的小波系数矩阵、第m个垂直方向子带的小波系数矩阵及第m个对角方向子带的小波系数矩阵的频率,f1,m和f2,m分别表示频率f的下限和频率f的上限;
⑤根据QL和QR计算待评价的失真的立体图像Sdis相对于原始的无失真的立体图像Sorg的空间频率相似度度量,记为QF,QF=0.5×(QL+QR);
⑦计算与中所有坐标位置相同且大小为8×8的两个块的结构相似度,对于中左下角像素点的坐标位置为(i,j)且大小为8×8的块,定义该块为当前块,计算当前块与中左下角像素点的坐标位置与当前块的左下角像素点的坐标位置相同且大小为8×8的块的结构相似度,记为SSIMi,j,其中,0≤i≤W-8,0≤j≤H-8,W和H分别表示和的宽度和高度,表示当前块的均值,表示中左下角像素点的坐标位置与当前块的左下角像素点的坐标位置相同的块的均值,表示当前块的方差,表示中左下角像素点的坐标位置与当前块的左下角像素点的坐标位置相同的块的方差,表示当前块与中左下角像素点的坐标位置与当前块的左下角像素点的坐标位置相同的块的协方差,C1和C2为常数,C1≠0,C2≠0;
⑨根据待评价的失真的立体图像Sdis相对于原始的无失真的立体图像Sorg的空间频率相似度度量QF和立体感知评价度量QS,计算待评价的失真的立体图像Sdis的图像质量评价分值,记为Q,Q=func(F,G),表示Q为F和G的函数,其中,F=fun1(QF),表示F为QF的函数,G=fun2(QS),表示G为QS的函数,func()、fun1()、fun2()均表示函数。
所述的步骤⑨中F=fun1(QF)、G=fun2(QS)和Q=func(F,G)的获取过程为:
a.采用n幅无失真的立体图像建立其在不同失真类型不同失真程度下的失真立体图像集,失真立体图像集包括多幅失真的立体图像,其中,n≥1;
b.利用主观质量评价方法获取失真立体图像集中的每幅失真的立体图像的平均主观评分差值,记为DMOS,DMOS=100-MOS,其中,MOS表示主观评分均值,DMOS∈[0,100];
c.根据步骤①至⑧的过程,计算失真立体图像集中的每幅失真的立体图像相对于对应的无失真的立体图像的空间频率相似度度量QF和立体感知评价度量QS;
d.采用数学拟合方法拟合失真立体图像集中失真的立体图像的平均主观评分差值DMOS和对应的空间频率相似度度量QF,得到F=fun1(QF);采用数学拟合方法拟合失真立体图像集中失真的立体图像的平均主观评分差值DMOS和对应的立体感知评价度量QS,得到G=fun2(QS);
e.采用线性回归方法拟合F=fun1(QF)和G=fun2(QS),得到Q=func(F,G)。
与现有技术相比,本发明的优点在于通过分别对无失真的立体图像和失真的立体图像的左视点图像和右视点图像进行小波变换,提取各子带的特征值,并对特征值作相似度度量,各子带的权重系数由对比度敏感函数决定;然后,通过评价无失真的立体图像和失真的立体图像的左右图像的绝对差值图像相似度实现对立体感知质量的评价;最后将左右图像的质量和立体感知质量两者相结合,得到对立体图像质量的最终评价结果,有效利用了视觉灵敏度带通、多通道效应以及立体感知等人眼视觉特性,在评价左视点图像和右视点图像质量的基础上,同时评价立体感知,将立体图像中立体感知对最终立体图像质量的影响融入评价模型中,提高了客观评价结果与主观感知的相关性。
附图说明
图1为本发明方法的总体实现框图;
图2为5级小波变换得到的各个子带的编号示意图;
图3为人类视觉灵敏度函数(CSF)曲线;
图4为当前块逐像素移动的示意图;
图5a为Art(1330×1110)立体图像;
图5b为Bowling1(1252×1110)立体图像;
图5c为Computer(1330×1110)立体图像;
图5d为Dolls(1390×1110)立体图像;
图5e为Drumsticks(1390×1110)立体图像;
图5f为Dwarves(1390×1110)立体图像;
图5g为Laundry(1342×1110)立体图像;
图5h为Mobius(1390×1110)立体图像;
图5i为Reindeer(1342×1110)立体图像;
图5j为Rocksl(1276×1110)立体图像;
图6为平均主观评分差值DMOS与QF进行非线性最小二乘拟合的结果;
图7为平均主观评分差值DMOS与QS进行非线性最小二乘拟合的结果。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的立体图像客观质量评价方法,其分别评价了左视点图像和右视点图像质量以及立体图像的立体感知效果,并将这两部分评价的结果进行结合,得到对立体图像质量的最终评价结果。图1给出了本发明方法的总体实现框图,其具体包括以下步骤:
①令Sorg为原始的无失真的立体图像,Sdis为待评价的失真的立体图像,将原始的无失真的立体图像Sorg的左视点图像记为Lorg,将原始的无失真的立体图像Sorg的右视点图像记为Rorg,将待评价的失真的立体图像Sdis的左视点图像记为Ldis,将待评价的失真的立体图像Sdis的右视点图像记为Rdis。
②对Lorg、Rorg、Ldis和Rdis 4幅图像分别实施M级小波变换,分别得到Lorg、Rorg、Ldis和Rdis4幅图像各自对应的3M+1个子带的小波系数矩阵,其中,3M+1个子带包括M个水平方向子带、M个垂直方向子带、M个对角方向子带和1个直流子带,将Lorg实施第m级小波变换后得到的第m个水平方向子带的小波系数矩阵记为将Lorg实施第m级小波变换后得到的第m个垂直方向子带的小波系数矩阵记为将Lorg实施第m级小波变换后得到的第m个对角方向子带的小波系数矩阵记为将Lorg实施M级小波变换后得到的直流子带的小波系数矩阵记为将Rorg实施第m级小波变换后得到的第m个水平方向子带的小波系数矩阵记为将Rorg实施第m级小波变换后得到的第m个垂直方向子带的小波系数矩阵记为将Rorg实施第m级小波变换后得到的第m个对角方向子带的小波系数矩阵记为将Rorg实施M级小波变换后得到的直流子带的小波系数矩阵记为将Ldis实施第m级小波变换后得到的第m个水平方向子带的小波系数矩阵记为将Ldis实施第m级小波变换后得到的第m个垂直方向子带的小波系数矩阵记为将Ldis实施第m级小波变换后得到的第m个对角方向子带的小波系数矩阵记为将Ldis实施M级小波变换后得到的直流子带的小波系数矩阵记为将Rdis实施第m级小波变换后得到的第m个水平方向子带的小波系数矩阵记为将Rdis实施第m级小波变换后得到的第m个垂直方向子带的小波系数矩阵记为将Rdis实施第m级小波变换后得到的第m个对角方向子带的小波系数矩阵记为将Rdis实施M级小波变换后得到的直流子带的小波系数矩阵记为1≤m≤M。
③分别计算Lorg实施M级小波变换后得到的M个水平方向子带、M个垂直方向子带、M个对角方向子带和1个直流子带的小波系数矩阵的标准差,其中,将Lorg对应的第m个水平方向子带的小波系数矩阵的标准差记为将Lorg对应的第m个垂直方向子带的小波系数矩阵的标准差记为将Lorg对应的第m个对角方向子带的小波系数矩阵的标准差记为将Lorg对应的直流子带的小波系数矩阵的标准差记为
分别计算Rorg实施M级小波变换后得到的M个水平方向子带、M个垂直方向子带、M个对角方向子带和1个直流子带的小波系数矩阵的标准差,其中,将Rorg对应的第m个水平方向子带的小波系数矩阵的标准差记为将Rorg对应的第m个垂直方向子带的小波系数矩阵的标准差记为将Rorg对应的第m个对角方向子带的小波系数矩阵的标准差记为将Rorg对应的直流子带的小波系数矩阵的标准差记为
分别计算Ldis实施M级小波变换后得到的M个水平方向子带、M个垂直方向子带、M个对角方向子带和1个直流子带的小波系数矩阵的标准差,其中,将Ldis对应的第m个水平方向子带的小波系数矩阵的标准差记为将Ldis对应的第m个垂直方向子带的小波系数矩阵的标准差记为将Ldis对应的第m个对角方向子带的小波系数矩阵的标准差记为将Ldis对应的直流子带的小波系数矩阵的标准差记为
分别计算Rdis实施M级小波变换后得到的M个水平方向子带、M个垂直方向子带、M个对角方向子带和1个直流子带的小波系数矩阵的标准差,其中,将Rdis对应的第m个水平方向子带的小波系数矩阵的标准差记为将Rdis对应的第m个垂直方向子带的小波系数矩阵的标准差记为将Rdis对应的第m个对角方向子带的小波系数矩阵的标准差记为将Rdis对应的直流子带的小波系数矩阵的标准差记为
在此,标准差的计算方法采用现有技术。
④计算Lorg对应的3M+1个子带的小波系数矩阵与Ldis对应的3M+1个子带的小波系数矩阵的距离,记为QL,其中, 然后计算Rorg对应的3M+1个子带的小波系数矩阵与Rdis对应的3M+1个子带的小波系数矩阵的距离,记为QR,其中, wH,m表示Lorg、Ldis、Rorg和Rdis对应的第m个水平方向子带的小波系数矩阵的权值,wV,m表示Lorg、Ldis、Rorg和Rdis对应的第m个垂直方向子带的小波系数矩阵的权值,wD,m表示Lorg、Ldis、Rorg和Rdis对应的第m个对角方向子带的小波系数矩阵的权值, f表示Lorg、Ldis、Rorg和Rdis对应的第m个水平方向子带的小波系数矩阵、第m个垂直方向子带的小波系数矩阵及第m个对角方向子带的小波系数矩阵的频率,f1,m和f2,m分别表示频率f的下限和频率f的上限。
图2给出了图像经5级小波变换(M=5)后得到的各子带及其编号,这里同级水平方向子带和垂直方向子带的编号相同。下面以5级小波变换为例说明本发明方法中权值wH,m、wV,m和wD,m的取值方法。图3为人类视觉灵敏度函数(CSF)曲线,其中实线表示水平方向和垂直方向上的CSF曲线,记为虚线表示对角方向上的CSF曲线,记为由于CSF的非线性带通特性,需对小波变换后不同空间频带的小波系数进行加权,其权值为在相应频带内CSF曲线的平均值。对于5级小波变换,整个频带划分为11个,如图2所示,根据CSF曲线对应取11个加权值,其中1~10号的水平方向子带、垂直方向子带和对角方向子带的权值选择如表1所示。以编号为10的子带为例,其f1,m和f2,m分别为0.015625和0.03125,从而计算得到编号为10的子带的水平方向和垂直方向的权值类似地,wD,5=0.7244;由于图像的绝大多数能量集中在低频部分,所以此处设置小波变换最低频子带的权值为1,即对于编号为11的子带,对应的权值为1。
表1各方向子带的权值
f | (0.015625,0.03125] | (0.03125,0.0625] | (0.0625,0.125] | (0.125,0.25] | (0.25,0.5] |
子带编号 | 10 | 8 | 6 | 4 | 2 |
wH,m、wV,m | 0.5844 | 0.8581 | 0.9455 | 0.5691 | 0.1077 |
子带编号 | 9 | 7 | 5 | 3 | 1 |
wD,m | 0.7244 | 0.9482 | 0.8136 | 0.2995 | 0.0233 |
⑤根据QL和QR计算待评价的失真的立体图像Sdis相对于原始的无失真的立体图像Sorg的空间频率相似度度量,记为QF,QF=0.5×(QL+QR)。
⑦计算与中所有坐标位置相同且大小为8×8的两个块的结构相似度,对于中左下角像素点的坐标位置为(i,j)且大小为8×8的块,定义该块为当前块,计算当前块与中左下角像素点的坐标位置与当前块的左下角像素点的坐标位置相同且大小为8×8的块的结构相似度,记为SSIMi,j,其中,0≤i≤W-8,0≤j≤H-8,W和H分别表示和的宽度和高度,表示当前块的均值,表示中左下角像素点的坐标位置与当前块的左下角像素点的坐标位置相同的块的均值,表示当前块的方差,表示中左下角像素点的坐标位置与当前块的左下角像素点的坐标位置相同的块的方差,表示当前块与中左下角像素点的坐标位置与当前块的左下角像素点的坐标位置相同的块的协方差,C1和C2均是为了防止当分母接近零时产生不稳定现象所添加的常数,C1≠0,C2≠0,在C1和C2取值上,两者的值均需远小于2552,在本实施例中,C1=C2=25。在此,以8×8块为单位计算与中所有坐标位置相同的两个块的结构相似度的过程中,中当前块的移动是逐像素进行移动的,以计算下一个8×8块与中相对应的8×8块的结构相似度。图4为当前块逐像素平移的示意图,图4中左下角像素点坐标位置为(i,j)的当前块与中相对应的块的结构相似度SSIMi,j计算得到后,当前块向右平移1个像素再计算新的当前块与中相对应的块的结构相似度,若当前块已平移到最右端,即其左下角像素点的坐标位置为(W-8,j)时,则平移后新的8×8当前块左下角像素点的坐标位置为(0,j+1)。
⑨根据待评价的失真的立体图像Sdis相对于原始的无失真的立体图像Sorg的空间频率相似度度量QF和立体感知评价度量QS,计算待评价的失真的立体图像Sdis的图像质量评价分值,记为Q,Q=func(F,G),表示Q为F和G的函数,其中,F=fun1(QF),表示F为QF的函数,G=fun2(QS),表示G为QS的函数,func()、fun1()、fun2()均表示函数。
在此,F=fun1(QF)、G=fun2(QS)和Q=func(F,G)的获取过程如下:
a.采用n幅无失真的立体图像建立其在不同失真类型不同失真程度下的失真立体图像集,失真立体图像集包括多幅失真的立体图像,其中,n≥1;
b.利用主观质量评价方法获取失真立体图像集中的每幅失真的立体图像的平均主观评分差值,记为DMOS,DMOS=100-MOS,其中,MOS表示主观评分均值,DMOS∈[0,100];
c.根据步骤①至⑧的过程,计算失真立体图像集中的每幅失真的立体图像相对于对应的无失真的立体图像的空间频率相似度度量QF和立体感知评价度量QS;
d.采用数学拟合方法拟合失真立体图像集中失真的立体图像的平均主观评分差值DMOS和对应的空间频率相似度度量QF,得到F=fun1(QF);采用数学拟合方法拟合失真立体图像集中失真的立体图像的平均主观评分差值DMOS和对应的立体感知评价度量QS,得到G=fun2(QS);
e.采用线性回归方法拟合F=fun1(QF)和G=fun2(QS),得到Q=func(F,G)。
在本实施例中,利用如图5a、图5b和图5c所示的3幅(即n=3)无失真的立体图像建立了其在不同失真类型不同失真程度下的失真立体图像集,失真类型包括JPEG压缩、JPEG 2000压缩、白噪声失真,该失真立体图像集共包括81幅失真的立体图像,其中JPEG压缩的失真的立体图像共21幅,JPEG2000压缩的失真的立体图像共30幅,白噪声失真的立体图像共30幅。对上述81幅失真的立体图像采用公知的主观质量评价方法进行主观质量评价,得到这81幅失真的立体图像各自的平均主观评分差值(DMOS,Difference MeanOpinion Scores),即每幅失真的立体图像的主观质量评分值。DMOS为主观评分均值(MOS)和满分(100)的差值,即DMOS=100-MOS,因此,DMOS值越大表示失真的立体图像的质量越差,DMOS值越小表示失真的立体图像的质量越好,且DMOS的取值范围为[0,100];另一方面,对上述81幅失真的立体图像按本发明方法步骤①~⑧计算得到每幅失真的立体图像相应的QF和QS;然后采用公知的非线性最小二乘拟合方法拟合这81幅失真的立体图像的DMOS与QF,得到函数F=fun1(QF)=273.4417QF 3-397.5987QF 2+203.6791QF+2.1306,拟合结果如图6所示,图6中横坐标为QF归一化到[0,1]的值,纵坐标则表示主观质量评分值DMOS;类似地,采用公知的非线性最小二乘拟合方法拟合这81幅失真的立体图像的DMOS与QS,得到函数G=fun2(QS)=-108.3819QS 3+125.8694QS 2-58.0408QS+42.9087,拟合结果如图7所示,图7中横坐标为QS归一化到[0,1]的值,纵坐标则表示主观质量评分值DMOS;最后采用公知的线性回归方法将函数F=fun1(QF)和G=fun2(QS)进行拟合,得到函数Q=func(F,G)=0.6953F(QF)+0.3473G(QS)-0.7018。
采用如图5d~5j所示的7幅无失真的立体图像在不同程度的JPEG压缩、JPEG 2000压缩、白噪声失真、高斯模糊失真情况下的289幅失真的立体图像来分析本实施例得到的失真的立体图像的图像质量评价函数Q=0.6953F(QF)+0.3473G(QS)-0.7018的最终评价结果与主观评分DMOS之间的相关性。这里,利用评估图像质量评价方法的2个常用客观参量作为评价指标,即非线性回归条件下的Pearson相关系数(CorrelationCoefficient,CC)和Spearman相关系数(Rank-Order Correlation Coefficient,ROCC),前者反映失真的立体图像评价函数这一客观模型的准确性,后者反映其单调性。将按本实施例计算得到的失真的立体图像的图像质量评价函数Q=0.6953F(QF)+0.3473G(QS)-0.7018计算得到的最终评价结果的输出值Q做四参数Logistic函数非线性拟合,CC和ROCC值越高说明客观评价方法与DMOS相关性越好。反映准确性和单调性的CC和ROCC系数如表2所示,由表2数据可见,按本实施例得到的失真立体图像的图像质量评价函数Q=0.6953F(QF)+0.3473G(QS)-0.7018计算得到的最终评价结果的输出值Q与主观评分DMOS之间的相关性是很高的,表明客观评价结果与人眼主观感知的结果较为一致,说明了本发明方法的有效性。
表2本实施例得到的失真的立体图像的图像质量评价分值与主观评分之间的相关性
失真类型 | 高斯模糊 | JPEG压缩 | JPEG2000压缩 | 白噪声 |
立体图像数量 | 100 | 49 | 70 | 70 |
Pearson相关系数 | 0.9488 | 0.9697 | 0.9466 | 0.9788 |
Spearman相关系数 | 0.9049 | 0.9326 | 0.7637 | 0.9551 |
Claims (2)
1.一种立体图像客观质量评价方法,其特征在于包括以下步骤:
①令Sorg为原始的无失真的立体图像,Sdis为待评价的失真的立体图像,将原始的无失真的立体图像Sorg的左视点图像记为Lorg,将原始的无失真的立体图像Sorg的右视点图像记为Rorg,将待评价的失真的立体图像Sdis的左视点图像记为Ldis,将待评价的失真的立体图像Sdis的右视点图像记为Rdis;
②对Lorg、Rorg、Ldis和Rdis 4幅图像分别实施M级小波变换,分别得到Lorg、Rorg、Ldis和Rdis4幅图像各自对应的3M+1个子带的小波系数矩阵,其中,3M+1个子带包括M个水平方向子带、M个垂直方向子带、M个对角方向子带和1个直流子带,将Lorg实施第m级小波变换后得到的第m个水平方向子带的小波系数矩阵记为将Lorg实施第m级小波变换后得到的第m个垂直方向子带的小波系数矩阵记为将Lorg实施第m级小波变换后得到的第m个对角方向子带的小波系数矩阵记为将Lorg实施M级小波变换后得到的直流子带的小波系数矩阵记为将Rorg实施第m级小波变换后得到的第m个水平方向子带的小波系数矩阵记为将Rorg实施第m级小波变换后得到的第m个垂直方向子带的小波系数矩阵记为将Rorg实施第m级小波变换后得到的第m个对角方向子带的小波系数矩阵记为将Rorg实施M级小波变换后得到的直流子带的小波系数矩阵记为将Ldis实施第m级小波变换后得到的第m个水平方向子带的小波系数矩阵记为将Ldis实施第m级小波变换后得到的第m个垂直方向子带的小波系数矩阵记为将Ldis实施第m级小波变换后得到的第m个对角方向子带的小波系数矩阵记为将Ldis实施M级小波变换后得到的直流子带的小波系数矩阵记为将Rdis实施第m级小波变换后得到的第m个水平方向子带的小波系数矩阵记为将Rdis实施第m级小波变换后得到的第m个垂直方向子带的小波系数矩阵记为将Rdis实施第m级小波变换后得到的第m个对角方向子带的小波系数矩阵记为将Rdis实施M级小波变换后得到的直流子带的小波系数矩阵记为1≤m≤M;
③分别计算Lorg实施M级小波变换后得到的M个水平方向子带、M个垂直方向子带、M个对角方向子带和1个直流子带的小波系数矩阵的标准差,其中,将Lorg对应的第m个水平方向子带的小波系数矩阵的标准差记为将Lorg对应的第m个垂直方向子带的小波系数矩阵的标准差记为将Lorg对应的第m个对角方向子带的小波系数矩阵的标准差记为将Lorg对应的直流子带的小波系数矩阵的标准差记为
分别计算Rorg实施M级小波变换后得到的M个水平方向子带、M个垂直方向子带、M个对角方向子带和1个直流子带的小波系数矩阵的标准差,其中,将Rorg对应的第m个水平方向子带的小波系数矩阵的标准差记为将Rorg对应的第m个垂直方向子带的小波系数矩阵的标准差记为将Rorg对应的第m个对角方向子带的小波系数矩阵的标准差记为将Rorg对应的直流子带的小波系数矩阵的标准差记为
分别计算Ldis实施M级小波变换后得到的M个水平方向子带、M个垂直方向子带、M个对角方向子带和1个直流子带的小波系数矩阵的标准差,其中,将Ldis对应的第m个水平方向子带的小波系数矩阵的标准差记为将Ldis对应的第m个垂直方向子带的小波系数矩阵的标准差记为将Ldis对应的第m个对角方向子带的小波系数矩阵的标准差记为将Ldis对应的直流子带的小波系数矩阵的标准差记为
分别计算Rdis实施M级小波变换后得到的M个水平方向子带、M个垂直方向子带、M个对角方向子带和1个直流子带的小波系数矩阵的标准差,其中,将Rdis对应的第m个水平方向子带的小波系数矩阵的标准差记为将Rdis对应的第m个垂直方向子带的小波系数矩阵的标准差记为将Rdis对应的第m个对角方向子带的小波系数矩阵的标准差记为将Rdis对应的直流子带的小波系数矩阵的标准差记为
④计算Lorg对应的3M+1个子带的小波系数矩阵与Ldis对应的3M+1个子带的小波系数矩阵的距离,记为QL,其中, 然后计算Rorg对应的3M+1个子带的小波系数矩阵与Rdis对应的3M+1个子带的小波系数矩阵的距离,记为QR,其中, wH,m表示Lorg、Ldis、Rorg和Rdis对应的第m个水平方向子带的小波系数矩阵的权值,wV,m表示Lorg、Ldis、Rorg和Rdis对应的第m个垂直方向子带的小波系数矩阵的权值,wD,m表示Lorg、Ldis、Rorg和Rdis对应的第m个对角方向子带的小波系数矩阵的权值, f表示Lorg、Ldis、Rorg和Rdis对应的第m个水平方向子带的小波系数矩阵、第m个垂直方向子带的小波系数矩阵及第m个对角方向子带的小波系数矩阵的频率,f1,m和f2,m分别表示频率f的下限和频率f的上限;
⑤根据QL和QR计算待评价的失真的立体图像Sdis相对于原始的无失真的立体图像Sorg的空间频率相似度度量,记为QF,QF=0.5×(QL+QR);
⑦计算与中所有坐标位置相同且大小为8×8的两个块的结构相似度,对于中左下角像素点的坐标位置为(i,j)且大小为8×8的块,定义该块为当前块,计算当前块与中左下角像素点的坐标位置与当前块的左下角像素点的坐标位置相同且大小为8×8的块的结构相似度,记为SSIMi,j,其中,0≤i≤W-8,0≤j≤H-8,W和H分别表示和的宽度和高度,表示当前块的均值,表示中左下角像素点的坐标位置与当前块的左下角像素点的坐标位置相同的块的均值,表示当前块的方差,表示中左下角像素点的坐标位置与当前块的左下角像素点的坐标位置相同的块的方差,表示当前块与中左下角像素点的坐标位置与当前块的左下角像素点的坐标位置相同的块的协方差,C1和C2为常数,C1≠0,C2≠0;
⑨根据待评价的失真的立体图像Sdis相对于原始的无失真的立体图像Sorg的空间频率相似度度量QF和立体感知评价度量QS,计算待评价的失真的立体图像Sdis的图像质量评价分值,记为Q,Q=func(F,G),表示Q为F和G的函数,其中,F=fun1(QF),表示F为QF的函数,G=fun2(QS),表示G为QS的函数,func()、fun1()、fun2()均表示函数。
2.根据权利要求1所述的一种立体图像客观质量评价方法,其特征在于所述的步骤⑨中F=fun1(QF)、G=fun2(QS)和Q=func(F,G)的获取过程为:
a.采用n幅无失真的立体图像建立其在不同失真类型不同失真程度下的失真立体图像集,失真立体图像集包括多幅失真的立体图像,其中,n≥1;
b.利用主观质量评价方法获取失真立体图像集中的每幅失真的立体图像的平均主观评分差值,记为DMOS,DMOS=100-MOS,其中,MOS表示主观评分均值,DMOS∈[0,100];
c.根据步骤①至⑧的过程,计算失真立体图像集中的每幅失真的立体图像相对于对应的无失真的立体图像的空间频率相似度度量QF和立体感知评价度量QS;
d.采用数学拟合方法拟合失真立体图像集中失真的立体图像的平均主观评分差值DMOS和对应的空间频率相似度度量QF,得到F=fun1(QF);采用数学拟合方法拟合失真立体图像集中失真的立体图像的平均主观评分差值DMOS和对应的立体感知评价度量QS,得到G=fun2(QS);
e.采用线性回归方法拟合F=fun1(QF)和G=fun2(QS),得到Q=func(F,G)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2010101972252A CN101872479B (zh) | 2010-06-09 | 2010-06-09 | 一种立体图像客观质量评价方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2010101972252A CN101872479B (zh) | 2010-06-09 | 2010-06-09 | 一种立体图像客观质量评价方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101872479A true CN101872479A (zh) | 2010-10-27 |
CN101872479B CN101872479B (zh) | 2012-05-09 |
Family
ID=42997323
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2010101972252A Expired - Fee Related CN101872479B (zh) | 2010-06-09 | 2010-06-09 | 一种立体图像客观质量评价方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101872479B (zh) |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102421007A (zh) * | 2011-11-28 | 2012-04-18 | 浙江大学 | 基于多尺度结构相似度加权综合的图像质量评价方法 |
CN102521825A (zh) * | 2011-11-16 | 2012-06-27 | 宁波大学 | 一种基于零水印的立体图像质量客观评价方法 |
CN102547368A (zh) * | 2011-12-16 | 2012-07-04 | 宁波大学 | 一种立体图像质量客观评价方法 |
CN102567990A (zh) * | 2011-12-08 | 2012-07-11 | 宁波大学 | 一种立体图像客观质量评价方法 |
CN102567996A (zh) * | 2012-01-05 | 2012-07-11 | 中国地质大学(武汉) | 一种遥感卫星图像质量评价的方法 |
CN102663747A (zh) * | 2012-03-23 | 2012-09-12 | 宁波大学 | 一种基于视觉感知的立体图像客观质量评价方法 |
CN102663741A (zh) * | 2012-03-22 | 2012-09-12 | 北京佳泰信业技术有限公司 | 对彩色数字图像进行视觉立体感知增强的方法及系统 |
CN102708567A (zh) * | 2012-05-11 | 2012-10-03 | 宁波大学 | 一种基于视觉感知的立体图像质量客观评价方法 |
CN102708568A (zh) * | 2012-05-11 | 2012-10-03 | 宁波大学 | 一种基于结构失真的立体图像客观质量评价方法 |
CN102760293A (zh) * | 2012-06-14 | 2012-10-31 | 南京信息工程大学 | 基于距离矩阵的图像质量评价方法 |
CN103136748A (zh) * | 2013-01-21 | 2013-06-05 | 宁波大学 | 一种基于特征图的立体图像质量客观评价方法 |
CN103152600A (zh) * | 2013-03-08 | 2013-06-12 | 天津大学 | 一种立体视频质量评价方法 |
CN103338380A (zh) * | 2013-06-06 | 2013-10-02 | 宁波大学 | 一种自适应图像质量客观评价方法 |
CN103369348A (zh) * | 2013-06-27 | 2013-10-23 | 宁波大学 | 一种基于区域重要性分类的立体图像质量客观评价方法 |
CN103517065A (zh) * | 2013-09-09 | 2014-01-15 | 宁波大学 | 一种质降参考立体图像质量客观评价方法 |
CN103839263A (zh) * | 2014-02-26 | 2014-06-04 | 宁波大学 | 一种立体图像深度感知客观评价方法 |
CN103873855A (zh) * | 2014-02-26 | 2014-06-18 | 天津大学 | 一种基于人类视觉基本特性的立体图像客观质量评价方法 |
CN103959772A (zh) * | 2011-12-05 | 2014-07-30 | 日本电信电话株式会社 | 影像质量评价装置、方法以及程序 |
CN106886992A (zh) * | 2017-01-24 | 2017-06-23 | 北京理工大学 | 一种基于饱和度的彩色多曝光融合图像的质量评价方法 |
CN109272479A (zh) * | 2017-07-12 | 2019-01-25 | 天津大学 | 基于立体感知特性的立体图像质量评价方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101610425A (zh) * | 2009-07-29 | 2009-12-23 | 清华大学 | 一种评测立体图像质量的方法和装置 |
-
2010
- 2010-06-09 CN CN2010101972252A patent/CN101872479B/zh not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101610425A (zh) * | 2009-07-29 | 2009-12-23 | 清华大学 | 一种评测立体图像质量的方法和装置 |
Non-Patent Citations (3)
Title |
---|
《15th EUROPEAN SIGNAL PROCESSING CONFERENCE(EUSIPCO 2007)》 20070907 Patrizio Campist,et al STEREOSCOPIC IMAGES QUALITY ASSESSMENT 2110-2114 , 2 * |
《光子学报》 20080831 黄大江等 基于相似度的立体图像对中右视点图像质量评价方法 1693-1697 第37卷, 第8期 2 * |
《天津大学学报》 20090731 杨嘉琛等 基于人眼视觉特征的立体图像质量客观评价方法 622-627 第42卷, 第7期 2 * |
Cited By (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102521825A (zh) * | 2011-11-16 | 2012-06-27 | 宁波大学 | 一种基于零水印的立体图像质量客观评价方法 |
CN102521825B (zh) * | 2011-11-16 | 2014-01-29 | 宁波大学 | 一种基于零水印的立体图像质量客观评价方法 |
CN102421007A (zh) * | 2011-11-28 | 2012-04-18 | 浙江大学 | 基于多尺度结构相似度加权综合的图像质量评价方法 |
US9924149B2 (en) * | 2011-12-05 | 2018-03-20 | Nippon Telegraph And Telephone Corporation | Video quality evaluation apparatus, method and program |
US20140320598A1 (en) * | 2011-12-05 | 2014-10-30 | Nippon Telegraph And Telephone Corporation | Video quality evaluation apparatus, method and program |
CN103959772A (zh) * | 2011-12-05 | 2014-07-30 | 日本电信电话株式会社 | 影像质量评价装置、方法以及程序 |
CN103959772B (zh) * | 2011-12-05 | 2016-10-12 | 日本电信电话株式会社 | 影像质量评价装置、方法以及程序 |
CN102567990A (zh) * | 2011-12-08 | 2012-07-11 | 宁波大学 | 一种立体图像客观质量评价方法 |
CN102567990B (zh) * | 2011-12-08 | 2014-07-16 | 宁波大学 | 一种立体图像客观质量评价方法 |
CN102547368A (zh) * | 2011-12-16 | 2012-07-04 | 宁波大学 | 一种立体图像质量客观评价方法 |
CN102547368B (zh) * | 2011-12-16 | 2014-05-07 | 宁波大学 | 一种立体图像质量客观评价方法 |
CN102567996A (zh) * | 2012-01-05 | 2012-07-11 | 中国地质大学(武汉) | 一种遥感卫星图像质量评价的方法 |
CN102663741A (zh) * | 2012-03-22 | 2012-09-12 | 北京佳泰信业技术有限公司 | 对彩色数字图像进行视觉立体感知增强的方法及系统 |
CN102663741B (zh) * | 2012-03-22 | 2014-09-24 | 侯克杰 | 对彩色数字图像进行视觉立体感知增强的方法及系统 |
CN102663747A (zh) * | 2012-03-23 | 2012-09-12 | 宁波大学 | 一种基于视觉感知的立体图像客观质量评价方法 |
CN102663747B (zh) * | 2012-03-23 | 2014-08-27 | 宁波大学 | 一种基于视觉感知的立体图像客观质量评价方法 |
CN102708567B (zh) * | 2012-05-11 | 2014-12-10 | 宁波大学 | 一种基于视觉感知的立体图像质量客观评价方法 |
CN102708568B (zh) * | 2012-05-11 | 2014-11-05 | 宁波大学 | 一种基于结构失真的立体图像客观质量评价方法 |
CN102708568A (zh) * | 2012-05-11 | 2012-10-03 | 宁波大学 | 一种基于结构失真的立体图像客观质量评价方法 |
CN102708567A (zh) * | 2012-05-11 | 2012-10-03 | 宁波大学 | 一种基于视觉感知的立体图像质量客观评价方法 |
CN102760293A (zh) * | 2012-06-14 | 2012-10-31 | 南京信息工程大学 | 基于距离矩阵的图像质量评价方法 |
CN102760293B (zh) * | 2012-06-14 | 2014-09-10 | 南京信息工程大学 | 基于距离矩阵的图像质量评价方法 |
CN103136748B (zh) * | 2013-01-21 | 2015-10-28 | 宁波大学 | 一种基于特征图的立体图像质量客观评价方法 |
CN103136748A (zh) * | 2013-01-21 | 2013-06-05 | 宁波大学 | 一种基于特征图的立体图像质量客观评价方法 |
CN103152600A (zh) * | 2013-03-08 | 2013-06-12 | 天津大学 | 一种立体视频质量评价方法 |
CN103338380A (zh) * | 2013-06-06 | 2013-10-02 | 宁波大学 | 一种自适应图像质量客观评价方法 |
CN103369348B (zh) * | 2013-06-27 | 2015-03-25 | 宁波大学 | 一种基于区域重要性分类的立体图像质量客观评价方法 |
CN103369348A (zh) * | 2013-06-27 | 2013-10-23 | 宁波大学 | 一种基于区域重要性分类的立体图像质量客观评价方法 |
CN103517065A (zh) * | 2013-09-09 | 2014-01-15 | 宁波大学 | 一种质降参考立体图像质量客观评价方法 |
CN103873855A (zh) * | 2014-02-26 | 2014-06-18 | 天津大学 | 一种基于人类视觉基本特性的立体图像客观质量评价方法 |
CN103839263A (zh) * | 2014-02-26 | 2014-06-04 | 宁波大学 | 一种立体图像深度感知客观评价方法 |
CN103839263B (zh) * | 2014-02-26 | 2016-07-06 | 宁波大学 | 一种立体图像深度感知客观评价方法 |
CN103873855B (zh) * | 2014-02-26 | 2016-08-17 | 天津大学 | 一种基于人类视觉基本特性的立体图像客观质量评价方法 |
CN106886992A (zh) * | 2017-01-24 | 2017-06-23 | 北京理工大学 | 一种基于饱和度的彩色多曝光融合图像的质量评价方法 |
CN109272479A (zh) * | 2017-07-12 | 2019-01-25 | 天津大学 | 基于立体感知特性的立体图像质量评价方法 |
CN109272479B (zh) * | 2017-07-12 | 2021-11-02 | 天津大学 | 基于立体感知特性的立体图像质量评价方法 |
Also Published As
Publication number | Publication date |
---|---|
CN101872479B (zh) | 2012-05-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101872479B (zh) | 一种立体图像客观质量评价方法 | |
CN103517065B (zh) | 一种质降参考立体图像质量客观评价方法 | |
CN108765414B (zh) | 基于小波分解和自然场景统计的无参考立体图像质量评价方法 | |
CN101378519B (zh) | 一种基于Contourlet变换的质降参考图像质量评价方法 | |
CN104079925B (zh) | 基于视觉感知特性的超高清视频图像质量客观评价方法 | |
CN102663747B (zh) | 一种基于视觉感知的立体图像客观质量评价方法 | |
CN102521825B (zh) | 一种基于零水印的立体图像质量客观评价方法 | |
CN102682429A (zh) | 一种尺寸自适应块匹配变换域滤波图像去噪方法 | |
Yue et al. | Blind stereoscopic 3D image quality assessment via analysis of naturalness, structure, and binocular asymmetry | |
CN112634238B (zh) | 一种基于注意力模块的图像质量评价方法 | |
Cheng et al. | Perceptual image quality assessment using a geometric structural distortion model | |
CN103780895B (zh) | 一种立体视频质量评价方法 | |
Ma et al. | Reduced-reference stereoscopic image quality assessment using natural scene statistics and structural degradation | |
CN101562675A (zh) | 基于Contourlet变换的无参考型图像质量评测方法 | |
CN104376565A (zh) | 基于离散余弦变换和稀疏表示的无参考图像质量评价方法 | |
CN112950596A (zh) | 基于多区域多层次的色调映射全向图像质量评价方法 | |
CN102708568B (zh) | 一种基于结构失真的立体图像客观质量评价方法 | |
CN104144339B (zh) | 一种基于人眼感知的质降参考立体图像质量客观评价方法 | |
CN103354617A (zh) | 一种基于dct域的边缘强度压缩的图像质量客观评价方法 | |
CN103841411B (zh) | 一种基于双目信息处理的立体图像质量评价方法 | |
CN103108209B (zh) | 基于视觉阈值与通道融合的立体图像客观质量评价方法 | |
CN102737380B (zh) | 一种基于梯度结构张量的立体图像质量客观评价方法 | |
CN107492085B (zh) | 基于双树复小波变换的立体图像质量评价方法 | |
CN104243974B (zh) | 一种基于三维离散余弦变换的立体视频质量客观评价方法 | |
CN104881878B (zh) | 一种基于多尺度梯度差分熵的图像质量评价方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20120509 Termination date: 20180609 |
|
CF01 | Termination of patent right due to non-payment of annual fee |