CN102521825B - 一种基于零水印的立体图像质量客观评价方法 - Google Patents
一种基于零水印的立体图像质量客观评价方法 Download PDFInfo
- Publication number
- CN102521825B CN102521825B CN201110364004.4A CN201110364004A CN102521825B CN 102521825 B CN102521825 B CN 102521825B CN 201110364004 A CN201110364004 A CN 201110364004A CN 102521825 B CN102521825 B CN 102521825B
- Authority
- CN
- China
- Prior art keywords
- mrow
- org
- dis
- msub
- mth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 43
- 239000013598 vector Substances 0.000 claims abstract description 62
- 238000011084 recovery Methods 0.000 claims abstract description 23
- 238000000034 method Methods 0.000 claims abstract description 20
- 239000011159 matrix material Substances 0.000 claims description 80
- 238000009499 grossing Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 2
- 241000282414 Homo sapiens Species 0.000 abstract description 10
- 238000013441 quality evaluation Methods 0.000 abstract description 9
- 230000008447 perception Effects 0.000 abstract description 7
- 230000006870 function Effects 0.000 abstract description 5
- 238000000354 decomposition reaction Methods 0.000 abstract description 2
- 210000003462 vein Anatomy 0.000 abstract 1
- 230000006835 compression Effects 0.000 description 8
- 238000007906 compression Methods 0.000 description 8
- 238000007430 reference method Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000013210 evaluation model Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000004304 visual acuity Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种基于零水印的立体图像质量客观评价方法,利用左右视点图像经小波分解后同一空间频率的水平和垂直方向子带的小波系数关系生成反映图像纹理结构的视点零水印,同时,利用左右视点图像的视差矢量的大小关系生成反映立体感知质量的视差零水印,然后,通过整合视点零水印和视差零水印的恢复率,得到立体图像质量客观评价值,由于结合了人眼视觉特性,利用了视觉对比敏感函数,并对立体感知质量进行了客观评价,因而本发明方法的客观评价结果与人类主观评价结果之间的一致性较好,而且本发明方法只需原始的无失真的立体图像的部分信息,属部分参考型的图像质量评价模型,适用于带宽有限的多媒体应用系统。
Description
技术领域
本发明涉及一种图像质量评价方法,尤其是涉及一种基于零水印的立体图像质量客观评价方法。
背景技术
随着互联网和多媒体技术的迅速发展,立体图像处理技术逐步应用到三维视频会议系统、远程工业控制、虚拟现实、远程教育和医疗、自动导航以及消费电子等诸多领域。在各种立体图像压缩或者传输系统中,往往需要根据压缩或者传输之后的立体图像质量状况来评价该立体图像压缩或者传输系统的优劣或者调整相关的参数以达到更好的压缩或者传输效果。由于人类是立体图像的最终接受者,因而人类对立体图像的主观质量评价被认为是最可靠的。然而,立体图像的主观质量评价费时费力,且比较容易受其它因素的限制和影响,不适合工程化应用场合。现有的立体图像客观评价模型根据其对原始立体图像的依赖程度,可分为三类方法:全参考型、部分参考型和无参考型。全参考型方法进行质量评价需要完全获得原始无失真立体图像,也即所谓参考图像,适用于编码器设计和不同编码器的性能比较;部分参考型方法和无参考型方法均适用于带宽有限的多媒体应用,而且由于部分参考型方法可以利用原始无失真立体图像的部分信息,使其对失真立体图像的评价结果更符合人类主观评价。由于在立体图像/视频系统中,如无线/有线网络传输,往往无法获得发送端的原始立体图像信息,因而,相对于全参考型方法而言,部分参考型方法更加适用于此类应用系统。
发明内容
本发明所要解决的技术问题是提供一种结合人眼视觉特性,能够有效提高客观评价结果与主观感知的相关性的部分参考型的立体图像质量客观评价方法。
本发明解决上述技术问题所采用的技术方案为:一种基于零水印的立体图像质量客观评价方法,其特征在于包括以下步骤:
①令Sorg为原始的无失真的立体图像,令Sdis为待评价的失真的立体图像,将原始 的无失真的立体图像Sorg的左视点图像记为Lorg,将原始的无失真的立体图像Sorg的右视点图像记为Rorg,将待评价的失真的立体图像Sdis的左视点图像记为Ldis,将待评价的失真的立体图像Sdis的右视点图像记为Rdis;
②对Lorg、Rorg、Ldis和Rdis4幅图像分别实施M级小波变换,分别得到Lorg、Rorg、Ldis和Rdis4幅图像各自对应的3M+1个子带的小波系数矩阵,其中,3M+1个子带包括M个水平方向子带、M个垂直方向子带、M个对角方向子带和1个直流子带,将Lorg实施第m级小波变换后得到的第m个水平方向子带的小波系数矩阵记为将Lorg实施第m级小波变换后得到的第m个垂直方向子带的小波系数矩阵记为将Rorg实施第m级小波变换后得到的第m个水平方向子带的小波系数矩阵记为将Rorg实施第m级小波变换后得到的第m个垂直方向子带的小波系数矩阵记为将Ldis实施第m级小波变换后得到的第m个水平方向子带的小波系数矩阵记为将Ldis实施第m级小波变换后得到的第m个垂直方向子带的小波系数矩阵记为将Rdis实施第m级小波变换后得到的第m个水平方向子带的小波系数矩阵记为将Rdis实施第m级小波变换后得到的第m个垂直方向子带的小波系数矩阵记为1≤m≤M;
③根据Lorg实施M级小波变换后得到的M个水平方向子带的小波系数矩阵与M个垂直方向子带的小波系数矩阵的绝对值大小关系生成Lorg的M个左视点零水印矩阵,对于Lorg实施第m级小波变换后得到的第m个水平方向子带的小波系数矩阵和第m个垂直方向子带的小波系数矩阵根据和的绝对值大小关系生成Lorg的第m个左视点零水印矩阵,记为将中坐标位置为(i,j)处的二值水印记为 其中,表示 中坐标位置为(i,j)处的小波系数,表示中坐标位置为(i,j)处的小波系数,“||”为取绝对值符号,M'和N'分别表示Lorg的宽和高;
根据Rorg实施M级小波变换后得到的M个水平方向子带的小波系数矩阵与M个垂直方向子带的小波系数矩阵的绝对值大小关系生成Rorg的M个右视点零水印矩阵,对于Rorg实施第m级小波变换后得到的第m个水平方向子带的小波系数矩阵和第m个垂直方向子带的小波系数矩阵根据和的绝对值大小关系生成Rorg的第m个右视点零水印矩阵,记为将中坐标位置为(i,j)处的二值水印记为 其中,表示中坐标位置为(i,j)处的小波系数,表示中坐标位置为(i,j)处的小波系数;
根据Ldis实施M级小波变换后得到的M个水平方向子带的小波系数矩阵与M个垂直方向子带的小波系数矩阵的绝对值大小关系检测到Ldis的M个左视点零水印矩阵,对于Ldis实施第m级小波变换后得到的第m个水平方向子带的小波系数矩阵和第m个垂直方向子带的小波系数矩阵根据和的绝对值大小关系检测到Ldis的第m个左视点零水印矩阵,记为将中坐标位置为(i,j)处的二值水印记为 其中,表示中坐标位置为(i,j)处的小波系数,表示中坐标位置为(i,j)处的小波系数;
根据Rdis实施M级小波变换后得到的M个水平方向子带的小波系数矩阵与M个垂直方向子带的小波系数矩阵的绝对值大小关系检测到Rdis的M个右视点零水印矩阵,对于Rdis实施第m级小波变换后得到的第m个水平方向子带的小波系数矩阵和第m 个垂直方向子带的小波系数矩阵根据 和的绝对值大小关系检测到Rdis的第m个右视点零水印矩阵,记为将中坐标位置为(i,j)处的二值水印记为 其中,表示中坐标位置为(i,j)处的小波系数,表示中坐标位置为(i,j)处的小波系数;
④对检测到的Ldis的M个左视点零水印矩阵与生成的Lorg的M个左视点零水印矩阵进行比较,得到左视点零水印矩阵的恢复率,记为QL, 对检测到的Rdis的M个右视点零水印矩阵与生成的Rorg的M个右视点零水印矩阵进行比较,得到右视点零水印矩阵的恢复率,记为QR, 其中,Lm表示和中二值水印的个数,Rm表示和中二值水印的个数,whv.m表示Ldis的第m个左视点零水印矩阵、Lorg的第m个左视点零水印矩阵、Rdis的第m个右视点零水印矩阵和Rorg的第m个右视点零水印矩阵的恢复率的权值, f表示Lorg、Ldis、Rorg和Rdis对应的第m个水平方向子带和第m个垂直方向子带的小波系数频率,f1,m和f2,m分别表示f的下限和f的上限,e为指数表示形式,“⊕”为异或操作符号;
⑤根据QL和QR计算待评价的失真的立体图像Sdis相对于原始的无失真的立体图像 Sorg的视点零水印加权恢复率,记为HCview,HCview=0.5×(QL+QR);
⑦根据Lorg和Rorg的视差矢量图计算Lorg和Rorg的视差阈值,记为S1, 然后根据和S1生成Lorg和Rorg的视差零水印,记为将中坐标位置为(g,h)处的二值水印记为 此处,l表示和的宽度,p表示和的高度,表示中坐标位置为(g,h)处的视差矢量,1≤g≤l,1≤h≤p;
根据Ldis和Rdis的视差矢量图计算Ldis和Rdis的视差阈值,记为S2, 然后根据和S2检测到Ldis和Rdis的视差零水印,记为将中坐标位置为(g,h)处的二值水印记为 此处,l表示和的宽度,p表示和的高度,表示中坐标位置为(g,h)处的视差矢量,1≤g≤l,1≤h≤p;
⑨根据待评价的失真的立体图像Sdis相对于原始的无失真的立体图像Sorg的视点零水印加权恢复率HCview和视差零水印恢复率HCdisp,计算待评价的失真的立体图像Sdis的 图像质量客观评价分值,记为HC,其中a、b、c、d为常数。
所述的步骤⑥中计算Lorg和Rorg的视差矢量图的具体过程为:
⑥-2、分别计算Lorg中所有图像块的视差矢量,对于Bx,y,令dmax为Bx,y的最大可能视差值,令[-dmax,dmax]为Bx,y的视差估计的搜索窗,计算Bx,y的视差矢量,记为dv,dv为使能量函数最小的视差矢量,其中,-dmax≤dv≤dmax, Lorg(x×n+u,y×n+v)表示Lorg中坐标位置为(x×n+u,y×n+v)的像素点的像素值,Rorg(x×n+u+dv,y×n+v)表示Rorg中坐标位置为(x×n+u+dv,y×n+v)的像素点的像素值,dv0表示Lorg中坐标位置为(x-1,y+1)的图像块Bx-1,y+1的视差矢量,dv1表示Lorg中坐标位置为(x,y+1)的图像块Bx,y+1的视差矢量,dv2表示Lorg中坐标位置为(x+1,y+1)的图像块Bx+1,y+1的视差矢量,dv3表示Lorg中坐标位置为(x-1,y)的图像块Bx-1,y的视差矢量,λ表示平滑因子;
所述的步骤⑨中a=0.5004,b=1.1668,c=0.4996,d=0.8332。
与现有技术相比,本发明的优点在于利用左右视点图像经小波分解后同一空间频率的水平和垂直方向子带的小波系数关系生成反映图像纹理结构的视点零水印,同时,利用左右视点图像的视差矢量的大小关系生成反映立体感知质量的视差零水印,然后,通 过整合视点零水印和视差零水印的恢复率,得到立体图像质量客观评价值,由于结合了人眼视觉特性,利用了视觉对比敏感函数,并对立体感知质量进行了客观评价,因而本发明方法的客观评价结果与人类主观评价结果之间的一致性较好,而且本发明方法只需原始的无失真的立体图像的部分信息,属部分参考型的图像质量评价模型,适用于带宽有限的多媒体应用系统。
附图说明
图1为本发明方法的总体实现框图;
图2为5级小波变换得到的各个子带的编号示意图;
图3为人类视觉灵敏度函数(CSF)归一化空间频率特性曲线;
图4为视差矢量为dv的图像块的相邻图像块的视差矢量的示意图;
图5a为Art(1330×1110)立体图像;
图5b为Bowling1(1252×1110)立体图像;
图5c为Computer(1330×1110)立体图像;
图5d为Dolls(1390×1110)立体图像;
图5e为Drumsticks(1390×1110)立体图像;
图5f为Dwarves(1390×1110)立体图像;
图5g为Laundry(1342×1110)立体图像;
图5h为Mobius(1390×1110)立体图像;
图5i为Reindeer(1342×1110)立体图像;
图5j为Rocks1(1276×1110)立体图像;
图6a为JPEG2000压缩失真的立体图像的平均主观评分差值DMOS与图像质量客观评价分值HC的散点图;
图6b为JPEG压缩失真的立体图像的平均主观评分差值DMOS与图像质量客观评价分值HC的散点图;
图6c为白噪声失真的立体图像的平均主观评分差值DMOS与图像质量客观评价分值HC的散点图;
图6d为高斯模糊失真的立体图像的平均主观评分差值DMOS与图像质量客观评价分值HC的散点图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出了一种基于零水印的部分参考型的立体图像质量客观评价方法,其分别评价了左视点图像和右视点图像的质量以及立体图像的立体感知效果,并将这两部分评价的结果进行结合,得到对立体图像质量的最终客观评价结果。图1给出了本发明方法的总体实现框图,其主要包括以下步骤:
①令Sorg为原始的无失真的立体图像,令Sdis为待评价的失真的立体图像,将原始的无失真的立体图像Sorg的左视点图像记为Lorg,将原始的无失真的立体图像Sorg的右视点图像记为Rorg,将待评价的失真的立体图像Sdis的左视点图像记为Ldis,将待评价的失真的立体图像Sdis的右视点图像记为Rdis。
②对Lorg、Rorg、Ldis和Rdis4幅图像分别实施M级小波变换,分别得到Lorg、Rorg、Ldis和Rdis4幅图像各自对应的3M+1个子带的小波系数矩阵,其中,3M+1个子带包括M个水平方向子带、M个垂直方向子带、M个对角方向子带和1个直流子带,将Lorg实施第m级小波变换后得到的第m个水平方向子带的小波系数矩阵记为将Lorg实施第m级小波变换后得到的第m个垂直方向子带的小波系数矩阵记为将Rorg实施第m级小波变换后得到的第m个水平方向子带的小波系数矩阵记为将Rorg实施第m级小波变换后得到的第m个垂直方向子带的小波系数矩阵记为将Ldis实施第m级小波变换后得到的第m个水平方向子带的小波系数矩阵记为将Ldis实施第m级小波变换后得到的第m个垂直方向子带的小波系数矩阵记为将Rdis实施第m级小波变换后得到的第m个水平方向子带的小波系数矩阵记为将Rdis实施第m级小波变换后得到的第m个垂直方向子带的小波系数矩阵记为1≤m≤M。
③根据Lorg实施M级小波变换后得到的M个水平方向子带的小波系数矩阵与M个垂直方向子带的小波系数矩阵的绝对值大小关系生成Lorg的M个左视点零水印矩阵,对于Lorg实施第m级小波变换后得到的第m个水平方向子带的小波系数矩阵和第m 个垂直方向子带的小波系数矩阵根据和的绝对值大小关系生成Lorg的第m个左视点零水印矩阵,记为将中坐标位置为(i,j)处的二值水印记为 其中,表示中坐标位置为(i,j)处的小波系数,表示中坐标位置为(i,j)处的小波系数,“||”为取绝对值符号,M'和N'分别表示Lorg的宽和高;
根据Rorg实施M级小波变换后得到的M个水平方向子带的小波系数矩阵与M个垂直方向子带的小波系数矩阵的绝对值大小关系生成Rorg的M个右视点零水印矩阵,对于Rorg实施第m级小波变换后得到的第m个水平方向子带的小波系数矩阵和第m个垂直方向子带的小波系数矩阵根据和的绝对值大小关系生成Rorg的第m个右视点零水印矩阵,记为将中坐标位置为(i,j)处的二值水印记为 其中,表示中坐标位置为(i,j)处的小波系数,表示中坐标位置为(i,j)处的小波系数;
根据Ldis实施M级小波变换后得到的M个水平方向子带的小波系数矩阵与M个垂直方向子带的小波系数矩阵的绝对值大小关系检测到Ldis的M个左视点零水印矩阵,对于Ldis实施第m级小波变换后得到的第m个水平方向子带的小波系数矩阵和第m个垂直方向子带的小波系数矩阵根据和的绝对值大小关系检测到Ldis的第m个左视点零水印矩阵,记为将中坐标位置为(i,j)处的二值水印记为 其中,表示 中坐标位置为(i,j)处的小波系数,表示中坐标位置为(i,j)处的小波系数;
根据Rdis实施M级小波变换后得到的M个水平方向子带的小波系数矩阵与M个垂直方向子带的小波系数矩阵的绝对值大小关系检测到Rdis的M个右视点零水印矩阵,对于Rdis实施第m级小波变换后得到的第m个水平方向子带的小波系数矩阵和第m个垂直方向子带的小波系数矩阵根据和的绝对值大小关系检测到Rdis的第m个右视点零水印矩阵,记为将中坐标位置为(i,j)处的二值水印记为 其中,表示中坐标位置为(i,j)处的小波系数,表示中坐标位置为(i,j)处的小波系数。
④对检测到的Ldis的M个左视点零水印矩阵与生成的Lorg的M个左视点零水印矩阵进行比较,得到左视点零水印矩阵的恢复率,记为QL, 对检测到的Rdis的M个右视点零水印矩阵与生成的Rorg的M个右视点零水印矩阵进行比较,得到右视点零水印矩阵的恢复率,记为QR, 其中,Lm表示和中二值水印的个数,Rm表示和中二值水印的个数,whv.m表示Ldis的第m个左视点零水印矩阵、Lorg的第m个左视点零水印矩阵、Rdis的第m个右视点零水印矩阵和Rorg的第m个右视点零水印矩阵的恢复率的权值, f表示Lorg、Ldis、Rorg和Rdis对应的第m个水平方向子带和第m个垂直方向子带的小波系数频率,f1,m和f2,m分别表示f的下限和f的上限,e为指数表示形式,“⊕”为异或操作符号。
图2给出了图像经5级小波变换(M=5)后得到的各个子带及其编号,这里同级水平方向子带和垂直方向子带的编号相同。下面以第5级(m=5)小波变换为例说明本发明方法中权值whv.m的取值方法。图3为人类视觉灵敏度函数(CSF)归一化空间频率特性曲线,其中虚线表示水平方向和垂直方向上的CSF曲线,记为 实线表示对角方向上的CSF曲线,记为 由于CSF的非线性带通特性,需对小波变换后不同空间频带的小波系数进行加权,其权值为在相应频带内CSF曲线的平均值。对于第5级小波变换,如图2所示,根据CSF曲线对应取5个加权值,其中1~5号的水平方向子带、垂直方向子带的权值选择如表1所示,表1中whv.m表示水平方向子带和垂直方向子带的权值。以编号为5的子带为例,其f1,5和f2,5分别为0.015625和0.03125,从而计算得到编号为5的子带的水平方向和垂直方向的权值
表1各方向子带的权值
⑤根据QL和QR计算待评价的失真的立体图像Sdis相对于原始的无失真的立体图像Sorg的视点零水印加权恢复率,记为HCview,HCview=0.5×(QL+QR)。
⑥-2、分别计算Lorg中所有图像块的视差矢量,对于Bx,y,令dmax为Bx,y的最大可能视差值,其大小与拍摄立体图像的左右相机之间的距离以及物体与相机之间的距离有关,在本实施例中,取dmax=38。令为Bx,y的视差估计的搜索窗,计算Bx,y的视差矢量,记为dv,dv为使能量函数最小的视差矢量,其中,-dmax≤dv≤dmax, Lorg(x×n+u,y×n+v)表示Lorg中坐标位置为(x×n+u,y×n+v)的像素点的像素值,Rorg(x×n+u+dv,y×n+v)表示Rorg中坐标位置为(x×n+u+dv,y×n+v)的像素点的像素值,在图4给出了Bx,y的各个相邻图像块的视差矢量的示意图,其中dv0表示Lorg中坐标位置为(x-1,y+1)的图像块Bx-1,y+1的视差矢量,dv1表示Lorg中坐标位置为(x,y+1)的图像块Bx,y+1的视差矢量,dv2表示Lorg中坐标位置为(x+1,y+1)的图像块Bx+1,y+1的视差矢量,dv3表示Lorg中坐标位置为(x-1,y)的图像块Bx-1,y的视差矢量,λ表示平滑因子,在本实施例中,取λ=1/4。
⑥-2)、分别计算Ldis中所有图像块的视差矢量,对于Bx,y,令dmax为Bx,y的最大可能视差值,其大小与拍摄立体图像的左右相机之间的距离以及物体与相机之间的距离有关,在本实施例中,取dmax=38。令[-dmax,dmax]为Bx,y的视差估计的搜索窗,计算Bx,y的视差矢量,记为dv,dv为使能量函数最小的视差矢量,其中,-dmax≤dv≤dmax, Ldis(x×n+u,y×n+v)表示Ldis中坐标位置为(x×n+u,y×n+v)的像素点的像素值,Rdis(x×n+u+dv,y×n+v)表示Rdis中坐标位置为(x×n+u+dv,y×n+v)的像素点的像素值,在图4给出了Bx,y的各个相邻图像块的视差矢量的示意图,其中dv0表示Ldis中坐标位置为(x-1,y+1)的图像块Bx-1,y+1的视差矢量,dv1表示Ldis中坐标位置为(x,y+1)的图像块Bx,y+1的视差矢量,dv2表示Ldis中坐标位置为(x+1,y+1)的图像块Bx+1,y+1的视差矢量,dv3表示Ldis中坐标位置为(x-1,y)的图像块Bx-1,y的视差矢量,λ表示平滑因子,在本实施例中,取λ=1/4。
⑥-3)、根据Ldis中所有图像块的视差矢量,得到Ldis和Rdis的视差矢量图,记为
⑦根据Lorg和Rorg的视差矢量图计算Lorg和Rorg的视差阈值,记为S1, 然后根据和S1生成Lorg和Rorg的视差零水印,记为将中坐标位置为(g,h)处的二值水印记为 此处,l表示和的宽度,p表示和的高度,表示中坐标位置为(g,h)处的视差矢量,1≤g≤l,1≤h≤p。
根据Ldis和Rdis的视差矢量图计算Ldis和Rdis的视差阈值,记为S2, 然后根据和S2检测到Ldis和Rdis的视差零水印,记为将中坐标位置为(g,h)处的二值水印记为 此处,l表示和的宽度,p表示和的高度,表示中坐标位置为(g,h)处的视差矢量,1≤g≤l,1≤h≤p。
⑨根据待评价的失真的立体图像Sdis相对于原始的无失真的立体图像Sorg的视点零水印加权恢复率HCview和视差零水印恢复率HCdisp,计算待评价的失真的立体图像Sdis的图像质量客观评价分值,记为HC,其中a、b、c、d为常数,在本实施例中,取a=0.5004,b=1.1668,c=0.4996,d=0.8332。
在本实施例中采用宁波大学所提供的立体图像数据库。该数据库的原始的无失真的立体图像包括如图5a、图5b、图5c、图5d、图5e、图5f、图5g、图5h、图5i和图5j所示的Art、Bowling1、Computer、Dolls、Drumsticks、Dwarves、Laundry、Mobius、Reindeer、Rocks1共10对立体图像,失真的立体图像的失真类型包括JPEG2000压缩(100对)、JPEG压缩(70对)、白噪声失真(WN,100对)、高斯模糊失真(Gblur,100对)。该数据库同时还给出了每对立体图像的主观评价值(DMOS),DMOS值由观测者给出的原始质量分数经过处理后得到,DMOS值越小的图像主观质量越好。
为了更好地比较本发明的基于零水印的立体图像质量客观评价方法的性能,本实施例选用3个评价标准来衡量本发明方法评价结果和DMOS的一致性程度:其一为非线性回归分析后与主观值的相关系数(Correlation Coefficient,CC),它反映了客观评价模型的精确性;其二为Spearman相关系数(Rank-Order Correlation Coefficient,ROCC),它反映了客观评价模型的单调性;其三为均方根误差(Root mean squared error,RMSE),作为评价算法的有效性的测度。CC和ROCC的值越大,说明客观评价结果与主观评价结果之间的相关性越好;而RMSE越小,说明客观评价结果与主观评价结果之间的误差越小。表2列出了本实施例得到的失真的立体图像的质量评价分值与主观评分之间的相关性,从表2所列的数据可以看出,本发明的基于零水印的立体图像质量客观评价方法的各项性能指标都较好,与主观评价结果比较一致。
四种失真类型的立体图像客观评价结果与主观评价值(DMOS)的散点图分别如图6a、图6b、图6c和图6d所示。图6a至图6d中横坐标表示本发明方法的评价分值,纵坐标表示主观评价值(DMOS)。图6a至图6d中每个散点代表数据库中所选的立体图像对,曲线代表五参数Logistic函数非线性拟合结果,散点越集中,且接近拟合曲线,说明客观模型与主观感知(DMOS)的一致性越好,能够很好地评价立体图像质量。分析图6a至图6d可知,本发明的基于零水印的立体图像质量客观评价方法在不同失真类型下,散点均比较集中,与主观评价数据之间的吻合度较高,能够准确地反映立体图像的主观感知质量,从而验证了本发明方法的可行性和有效性。
表2本实施例得到的失真的立体图像的质量评价分值与主观评分之间的相关性
JPEG2000压缩 | JPEG压缩 | 白噪声失真 | 高斯模糊失真 | |
CC | 0.9608 | 0.9480 | 0.9662 | 0.9463 |
ROCC | 0.7669 | 0.8808 | 0.9509 | 0.8836 |
RMSE | 4.3404 | 3.3652 | 3.3433 | 1.8430 |
Claims (3)
1.一种基于零水印的立体图像质量客观评价方法,其特征在于包括以下步骤:
①令Sorg为原始的无失真的立体图像,令Sdis为待评价的失真的立体图像,将原始的无失真的立体图像Sorg的左视点图像记为Lorg,将原始的无失真的立体图像Sorg的右视点图像记为Rorg,将待评价的失真的立体图像Sdis的左视点图像记为Ldis,将待评价的失真的立体图像Sdis的右视点图像记为Rdis;
②对Lorg、Rorg、Ldis和Rdis4幅图像分别实施M级小波变换,分别得到Lorg、Rorg、Ldis和Rdis4幅图像各自对应的3M+1个子带的小波系数矩阵,其中,3M+1个子带包括M个水平方向子带、M个垂直方向子带、M个对角方向子带和1个直流子带,将Lorg实施第m级小波变换后得到的第m个水平方向子带的小波系数矩阵记为将Lorg实施第m级小波变换后得到的第m个垂直方向子带的小波系数矩阵记为将Rorg实施第m级小波变换后得到的第m个水平方向子带的小波系数矩阵记为将Rorg实施第m级小波变换后得到的第m个垂直方向子带的小波系数矩阵记为将Ldis实施第m级小波变换后得到的第m个水平方向子带的小波系数矩阵记为将Ldis实施第m级小波变换后得到的第m个垂直方向子带的小波系数矩阵记为将Rdis实施第m级小波变换后得到的第m个水平方向子带的小波系数矩阵记为将Rdis实施第m级小波变换后得到的第m个垂直方向子带的小波系数矩阵记为1≤m≤M;
③根据Lorg实施M级小波变换后得到的M个水平方向子带的小波系数矩阵与M个垂直方向子带的小波系数矩阵的绝对值大小关系生成Lorg的M个左视点零水印矩阵,对于Lorg实施第m级小波变换后得到的第m个水平方向子带的小波系数矩阵和第m个垂直方向子带的小波系数矩阵根据和的绝对值大小关系生成Lorg的第m个左视点零水印矩阵,记为将中坐标位置为(i,j)处的二值水印记为 其中,表示中坐标位置为(i,j)处的小波系数,表示中坐标位置为(i,j)处的小波系数,“||”为取绝对值符号,M'和N'分别表示Lorg的宽和高;
根据Rorg实施M级小波变换后得到的M个水平方向子带的小波系数矩阵与M个垂直方向子带的小波系数矩阵的绝对值大小关系生成Rorg的M个右视点零水印矩阵,对于Rorg实施第m级小波变换后得到的第m个水平方向子带的小波系数矩阵和第m个垂直方向子带的小波系数矩阵根据和的绝对值大小关系生成Rorg的第m个右视点零水印矩阵,记为将中坐标位置为(i,j)处的二值水印记为 其中,表示中坐标位置为(i,j)处的小波系数,表示中坐标位置为(i,j)处的小波系数;
根据Ldis实施M级小波变换后得到的M个水平方向子带的小波系数矩阵与M个垂直方向子带的小波系数矩阵的绝对值大小关系检测到Ldis的M个左视点零水印矩阵,对于Ldis实施第m级小波变换后得到的第m个水平方向子带的小波系数矩阵和第m个垂直方向子带的小波系数矩阵根据和的绝对值大小关系检测到Ldis的第m个左视点零水印矩阵,记为将中坐标位置为(i,j)处的二值水印记为 其中,表示中坐标位置为(i,j)处的小波系数,表示中坐标位置为(i,j)处的小波系数;
根据Rdis实施M级小波变换后得到的M个水平方向子带的小波系数矩阵与M个垂直方向子带的小波系数矩阵的绝对值大小关系检测到Rdis的M个右视点零水印矩阵,对于Rdis实施第m级小波变换后得到的第m个水平方向子带的小波系数矩阵和第m个垂直方向子带的小波系数矩阵根据和的绝对值大小关系检测到Rdis的第m个右视点零水印矩阵,记为将中坐标位置为(ij)处的二值水印记为 其中,表示中坐标位置为(i,j)处的小波系数,表示中坐标位置为(i,j)处的小波系数;
④对检测到的Ldis的M个左视点零水印矩阵与生成的Lorg的M个左视点零水印矩阵进行比较,得到左视点零水印矩阵的恢复率,记为QL, 对检测到的Rdis的M个右视点零水印矩阵与生成的Rorg的M个右视点零水印矩阵进行比较,得到右视点零水印矩阵的恢复率,记为QR, 其中,Lm表示和中二值水印的个数,Rm表示和中二值水印的个数,whv.m表示Ldis的第m个左视点零水印矩阵、Lorg的第m个左视点零水印矩阵、Rdis的第m个右视点零水印矩阵和Rorg的第m个右视点零水印矩阵的恢复率的权值, f表示Lorg、Ldis、Rorg和Rdis对应的第m个水平方向子带和第m个垂直方向子带的小波系数频率,f1,m和f2,m分别表示f的下限和f的上限,e为指数表示形式,“⊕”为异或操作符号;
⑤根据QL和QR计算待评价的失真的立体图像Sdis相对于原始的无失真的立体图像Sorg的视点零水印加权恢复率,记为HCview,HCview=0.5×(QL+QR);
⑦根据Lorg和Rorg的视差矢量图计算Lorg和Rorg的视差阈值,记为S1,然后根据和S1生成Lorg和Rorg的视差零水印,记为将中坐标位置为(g,h)处的二值水印记为 此处,l表示和的宽度,p表示和的高度,表示中坐标位置为(g,h)处的视差矢量,1≤g≤l,1≤h≤p;
根据Ldis和Rdis的视差矢量图计算Ldis和Rdis的视差阈值,记为S2,然后根据和S2检测到Ldis和Rdis的视差零水印,记为将中坐标位置为(g,h)处的二值水印记为 此处,l表示和的宽度,p表示和的高度,表示中坐标位置为(g,h)处的视差矢量,1≤g≤l,1≤h≤p;
⑥-2、分别计算Lorg中所有图像块的视差矢量,对于Bx,y,令dmax为Bx,y的最大可能视差值,令[-dmax,dmax]为Bx,y的视差估计的搜索窗,计算Bx,y的视差矢量,记为dv,dv为使能量函数最小的视差矢量,其中,-dmax≤dv≤dmax, Lorg(x×n+u,y×n+v)表示Lorg中坐标位置为(x×n+u,y×n+v)的像素点的像素值,Rorg(x×n+u+dv,y×n+v)表示Rorg中坐标位置为(x×n+u+dv,y×n+v)的像素点的像素值,dv0表示Lorg中坐标位置为(x-1,y+1)的图像块Bx-1,y+1的视差矢量,dv1表示Lorg中坐标位置为(x,y+1)的图像块Bx,y+1的视差矢量,dv2表示Lorg中坐标位置为(x+1,y+1)的图像块Bx+1,y+1的视差矢量,dv3表示Lorg中坐标位置为(x-1,y)的图像块Bx-1,y的视差矢量,λ表示平滑因子;
3.根据权利要求1或2所述的一种基于零水印的立体图像质量客观评价方法,其特征在于所述的步骤⑨中a=0.5004,b=1.1668,c=0.4996,d=0.8332。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201110364004.4A CN102521825B (zh) | 2011-11-16 | 2011-11-16 | 一种基于零水印的立体图像质量客观评价方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201110364004.4A CN102521825B (zh) | 2011-11-16 | 2011-11-16 | 一种基于零水印的立体图像质量客观评价方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102521825A CN102521825A (zh) | 2012-06-27 |
CN102521825B true CN102521825B (zh) | 2014-01-29 |
Family
ID=46292729
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201110364004.4A Expired - Fee Related CN102521825B (zh) | 2011-11-16 | 2011-11-16 | 一种基于零水印的立体图像质量客观评价方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102521825B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104424385B (zh) * | 2013-08-22 | 2018-08-31 | 武汉联影医疗科技有限公司 | 一种医学影像的评价方法和装置 |
CN103533343B (zh) * | 2013-09-29 | 2015-05-20 | 宁波大学 | 一种基于数字水印的立体图像质量客观评价方法 |
CN103578104B (zh) * | 2013-10-25 | 2016-01-27 | 宁波大学 | 一种针对高斯模糊图像的部分参考图像客观质量评价方法 |
CN103903259A (zh) * | 2014-03-20 | 2014-07-02 | 宁波大学 | 一种基于结构纹理分离的立体图像质量客观评价方法 |
CN107018406B (zh) * | 2016-01-27 | 2019-09-03 | 华为技术有限公司 | 视频信息处理方法及装置 |
CN107038432B (zh) * | 2017-05-12 | 2019-12-17 | 西安电子科技大学 | 基于频率信息的指纹图像方向场提取方法 |
CN107633513B (zh) * | 2017-09-18 | 2021-08-17 | 天津大学 | 基于深度学习的3d图像质量的度量方法 |
CN109919821B (zh) * | 2017-12-12 | 2020-12-25 | 深圳大学 | 三维数字模型双重盲水印的嵌入、提取方法和存储介质 |
CN109064377B (zh) * | 2018-07-24 | 2023-03-31 | 中国传媒大学 | 立体图像水印嵌入系统、提取系统及嵌入方法、提取方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101872479A (zh) * | 2010-06-09 | 2010-10-27 | 宁波大学 | 一种立体图像客观质量评价方法 |
-
2011
- 2011-11-16 CN CN201110364004.4A patent/CN102521825B/zh not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101872479A (zh) * | 2010-06-09 | 2010-10-27 | 宁波大学 | 一种立体图像客观质量评价方法 |
Non-Patent Citations (2)
Title |
---|
东野升云.多尺度分析与相似度的立体视频人类视觉评价模型的研究.《中国优秀硕士学位论文全文数据库 信息科技辑》.2011,(第9期),第46-47页. |
多尺度分析与相似度的立体视频人类视觉评价模型的研究;东野升云;《中国优秀硕士学位论文全文数据库 信息科技辑》;20110930(第9期);第46-47页 * |
Also Published As
Publication number | Publication date |
---|---|
CN102521825A (zh) | 2012-06-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102521825B (zh) | 一种基于零水印的立体图像质量客观评价方法 | |
CN101872479B (zh) | 一种立体图像客观质量评价方法 | |
CN104036501B (zh) | 一种基于稀疏表示的立体图像质量客观评价方法 | |
CN104394403B (zh) | 一种面向压缩失真的立体视频质量客观评价方法 | |
CN102663747B (zh) | 一种基于视觉感知的立体图像客观质量评价方法 | |
US8953873B2 (en) | Method for objectively evaluating quality of stereo image | |
CN103517065B (zh) | 一种质降参考立体图像质量客观评价方法 | |
CN104243976B (zh) | 一种立体图像客观质量评价方法 | |
CN102708567B (zh) | 一种基于视觉感知的立体图像质量客观评价方法 | |
CN104036502B (zh) | 一种无参考模糊失真立体图像质量评价方法 | |
CN103780895B (zh) | 一种立体视频质量评价方法 | |
CN109345502B (zh) | 一种基于视差图立体结构信息提取的立体图像质量评价方法 | |
CN103413298B (zh) | 一种基于视觉特性的立体图像质量客观评价方法 | |
CN104408716A (zh) | 一种基于视觉保真度的立体图像质量客观评价方法 | |
CN104376565A (zh) | 基于离散余弦变换和稀疏表示的无参考图像质量评价方法 | |
CN103136748A (zh) | 一种基于特征图的立体图像质量客观评价方法 | |
CN105282543A (zh) | 一种基于立体视觉感知的全盲立体图像质量客观评价方法 | |
CN104144339B (zh) | 一种基于人眼感知的质降参考立体图像质量客观评价方法 | |
CN102737380B (zh) | 一种基于梯度结构张量的立体图像质量客观评价方法 | |
CN103369348B (zh) | 一种基于区域重要性分类的立体图像质量客观评价方法 | |
CN103841411B (zh) | 一种基于双目信息处理的立体图像质量评价方法 | |
CN102999911B (zh) | 一种基于能量图的立体图像质量客观评价方法 | |
CN102708568A (zh) | 一种基于结构失真的立体图像客观质量评价方法 | |
CN103200420B (zh) | 一种基于三维视觉注意力的立体图像质量客观评价方法 | |
CN103745457A (zh) | 一种立体图像客观质量评价方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20140129 Termination date: 20181116 |