CN104144339A - 一种基于人眼感知的质降参考立体图像质量客观评价方法 - Google Patents
一种基于人眼感知的质降参考立体图像质量客观评价方法 Download PDFInfo
- Publication number
- CN104144339A CN104144339A CN201410264212.0A CN201410264212A CN104144339A CN 104144339 A CN104144339 A CN 104144339A CN 201410264212 A CN201410264212 A CN 201410264212A CN 104144339 A CN104144339 A CN 104144339A
- Authority
- CN
- China
- Prior art keywords
- mrow
- msubsup
- riv
- org
- dis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008447 perception Effects 0.000 title claims abstract description 42
- 238000011156 evaluation Methods 0.000 title claims abstract description 39
- 238000006731 degradation reaction Methods 0.000 title claims abstract description 31
- 230000015556 catabolic process Effects 0.000 title claims abstract description 26
- 230000004927 fusion Effects 0.000 claims abstract description 101
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 33
- 239000011159 matrix material Substances 0.000 claims description 239
- 238000004364 calculation method Methods 0.000 claims description 121
- 230000006870 function Effects 0.000 claims description 49
- 238000000034 method Methods 0.000 claims description 49
- 230000002860 competitive effect Effects 0.000 claims description 35
- 238000010586 diagram Methods 0.000 claims description 30
- 230000035945 sensitivity Effects 0.000 claims description 30
- 238000013441 quality evaluation Methods 0.000 claims description 27
- 230000009466 transformation Effects 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 9
- 230000000903 blocking effect Effects 0.000 claims description 6
- 229910044991 metal oxide Inorganic materials 0.000 claims description 6
- 150000004706 metal oxides Chemical class 0.000 claims description 6
- 239000004065 semiconductor Substances 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 5
- 229910052770 Uranium Inorganic materials 0.000 claims description 3
- 241000764238 Isis Species 0.000 claims 1
- 230000005540 biological transmission Effects 0.000 description 9
- 238000003646 Spearman's rank correlation coefficient Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000007430 reference method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000002904 solvent Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种基于人眼感知的质降参考立体图像质量客观评价方法,其通过结合人眼对立体图像的双目感知特性,考虑人眼的双目融合特性和双目竞争特性,对无失真的立体图像的左视点图像和右视点图像及失真的立体图像的左视点图像和右视点图像实施双目立体感知分解,得到各自的双目融合区域和双目竞争区域,再提取无失真的立体图像的左视点图像和右视点图像各自的双目融合区域和双目竞争区域有效的质降参考特征,利用提取的质降参考特征对失真的立体图像进行评价,能够有效地提高客观评价结果与主观感知之间的相关性。
Description
技术领域
本发明涉及一种图像质量评价方法,尤其是涉及一种基于人眼感知的质降参考立体图像质量客观评价方法。
背景技术
随着三维图像和视频技术的不断发展,立体图像的应用已经大量的融入到人类社会生活中,如立体电视、立体电影、裸眼3D等已变得十分普遍。然而,在立体图像采集、压缩、编码、传输、显示等过程中或多或少会引入不同程度和不同类型的失真。因而,对立体图像的质量评价是不可或缺的,立体图像质量评价可分为主观评价和客观评价两大类,如何用客观模型准确评价立体图像的质量成为了图像研究领域的一个关键问题。目前,对立体图像质量客观评价主流方法为全参考的质量客观评价方法,但全参考的质量客观评价方法在评价立体图像质量时,需要在接收端用到原始图像,因此对传送信道有更高的要求。一些研究者提出的无参考的质量客观评价方法虽然不需要额外的信息传输,但评价准确性普遍较差。而质降参考的质量客观评价方法通过提取原始图像的特征,在接收端评价图像质量,只需传输较少的特征信息,相比全参考的质量客观评价方法,节省了传输图像信息所需的带宽,相比无参考的质量客观评价方法,客观评价结果与主观一致性更好。
质降参考的质量客观评价方法在平面图像和视频的质量评价中有一定的应用。Wang提出了一种基于小波域的质降参考图像质量评价模型(Reduced-reference imagequality assessment,RR-IQA),该模型通过统计小波子带系数的分布密度函数,来提取参考图像的特征参数,度量图像的失真程度;Chaminda提出了一种基于边缘特征提取的质降参考视频质量评价模型,该模型通过深度图和彩色图来提取边缘,再提取质降参考特征;Rehman通过对图像结构相似度提取统计特征作为半参考的特征值,提出了一种基于结构相似度的半参考图像质量评价方法。以上的半参考模型方法在图像的特征提取上使用了很少的特征值个数,对于带宽的利用率较高,但是在评价上,只能针对特定的一种或者几种失真类型取得较好的评价结果,普适性较差。
当前,对于立体图像和视频领域而言,质降参考的质量客观评价方法还很少。在国际会议“3D电视-会议:真实的三维视频视觉捕捉,传输和显示”(3DTV-Conference:TheTrue Vision-Capture,Transmission and Display of3D Video)上公开的文章《三维深度图传输的质降参考质量评价模型》(Reduced-reference quality metric for3D depth maptransmission),其考虑到视频传输的实时性,通过对立体图像的边缘信息质降参考的特征的提取,提出了一种质降参考的立体质量评价模型,但是该模型并未充分考虑到人眼的立体感知特性,且评价效果不够准确。此外,通过水印嵌入的方式,来作为质降图像特征的方法也取得了一定的成果。在国际期刊“信号处理:图像通信”(Signal Processing:Image Communication)上公开的文章《基于视差零水印的质降参考立体图像质量评价模型》(Reduced-reference stereoscopic image quality assessment based on view and disparityzero-watermarks),其提出了一种零水印的立体图像质降参考模型,该模型利用对小波域的各子带水平和垂直系数特征的统计,构造零水印对立体图像质量进行评价,但该模型缺少对人眼立体感知特性的考虑,且由于在图像中加入水印的同时,破坏了原始图像信息,因此在提取水印时,能否完全恢复加入的水印会直接影响到评价结果,故基于水印的方法并不适用于质量评价。
发明内容
本发明所要解决的技术问题是提供一种基于人眼感知的质降参考立体图像质量客观评价方法,其能够有效地提高客观评价结果与主观感知之间的相关性。
本发明解决上述技术问题所采用的技术方案为:一种基于人眼感知的质降参考立体图像质量客观评价方法,其特征在于它的处理过程为:
获取原始的无失真的立体图像的左视点图像和右视点图像各自的双目融合区域和双目竞争区域,并获取待评价的失真的立体图像的左视点图像和右视点图像各自的双目融合区域和双目竞争区域;
根据原始的无失真的立体图像的左视点图像和右视点图像的双目融合区域,获取原始的无失真的立体图像的独眼图,并根据待评价的失真的立体图像的左视点图像和右视点图像的双目融合区域,获取待评价的失真的立体图像的独眼图;
对原始的无失真的立体图像的独眼图通过多级小波变换后得到的所有系数矩阵进行非重叠分块处理,对得到的每个矩阵块进行奇异值分解,获取每个矩阵块的奇异值对角矩阵对应的奇异值和;并对待评价的失真的立体图像的独眼图通过多级小波变换后得到的所有系数矩阵进行非重叠分块处理,对得到的每个矩阵块进行奇异值分解,获取每个矩阵块的奇异值对角矩阵对应的奇异值和;
根据原始的无失真的立体图像的独眼图和待评价的失真的立体图像的独眼图各自通过多级小波变换后得到的每个系数矩阵中的每个矩阵块对应的奇异值和,获取待评价的失真的立体图像的独眼图相对于原始的无失真的立体图像的独眼图的对应子带的质量因子,然后利用对比敏感度函数加权所有质量因子得到待评价的失真的立体图像的双目融合区域的质量;
对原始的无失真的立体图像的左视点图像和右视点图像及待评价的失真的立体图像的左视点图像和右视点图像各自的双目竞争区域实施多级小波变换,然后对得到的每个系数矩阵中的系数分布进行广义高斯拟合,得到每个系数矩阵的广义高斯拟合模型的尺度参数和形状参数;
根据原始的无失真的立体图像的左视点图像的双目竞争区域和待评价的失真的立体图像的左视点图像的双目竞争区域的对应的两个系数矩阵的广义高斯拟合模型的尺度参数和形状参数,获取待评价的失真的立体图像的左视点图像的双目竞争区域相对于原始的无失真的立体图像的左视点图像的双目竞争区域的对应子带的质量因子,然后利用对比敏感度函数加权所有质量因子得到待评价的失真的立体图像的左视点图像的双目竞争区域的质量;并根据原始的无失真的立体图像的右视点图像的双目竞争区域和待评价的失真的立体图像的右视点图像的双目竞争区域的对应的两个系数矩阵的广义高斯拟合模型的尺度参数和形状参数,获取待评价的失真的立体图像的右视点图像的双目竞争区域相对于原始的无失真的立体图像的右视点图像的双目竞争区域的对应子带的质量因子,然后利用对比敏感度函数加权所有质量因子得到待评价的失真的立体图像的右视点图像的双目竞争区域的质量;再根据待评价的失真的立体图像的左视点图像和右视点图像各自的双目竞争区域的质量,获得待评价的失真的立体图像的的双目竞争区域的质量;
根据待评价的失真的立体图像的双目融合区域的质量和双目竞争区域的质量,获得待评价的失真的立体图像相对于原始的无失真的立体图像的度量分数。
本发明的基于人眼感知的质降参考立体图像质量客观评价方法具体包括以下步骤:
①令Iorg表示原始的无失真的立体图像,令Idis表示待评价的失真的立体图像,将Iorg的左视点图像记为Lorg,将Iorg的右视点图像记为Rorg,将Idis的左视点图像记为Ldis,将Idis的右视点图像记为Rdis;
②对Lorg实施双目立体感知分解,得到Lorg的双目融合区域和双目竞争区域,对应记为和并对Rorg实施双目立体感知分解,得到Rorg的双目融合区域和双目竞争区域,对应记为和同样,对Ldis实施双目立体感知分解,得到Ldis的双目融合区域和双目竞争区域,对应记为和并对Rdis实施双目立体感知分解,得到Rdis的双目融合区域和双目竞争区域,对应记为和
③根据和获取Iorg的独眼图,记为将中坐标位置为(u,v)的像素点的像素值记为 同样,根据和获取Idis的独眼图,记为将中坐标位置为(u,v)的像素点的像素值记为 其中,1≤u≤U,1≤v≤V,U表示和的宽,V表示和的高,ωorg,L表示的权值,ωorg,R表示的权值,表示中坐标位置为(u,v)的像素点的像素值,表示中坐标位置为((u+d),v)的像素点的像素值,d表示相对于的偏移量,ωdis,L表示的权值,ωdis,R表示的权值,表示中坐标位置为(u,v)的像素点的像素值,表示中坐标位置为((u+d),v)的像素点的像素值,d'表示相对于的偏移量;
④对实施M级小波变换,得到的每个方向的M个子带和1个直流子带,将实施第m级小波变换后得到的第p个方向的第m个子带的系数矩阵记为将实施M级小波变换后得到的直流子带的系数矩阵记为其中,M≥1,1≤p≤3,p=1时第p个方向表示水平方向,p=2时第p个方向表示垂直方向,p=3时第p个方向表示对角方向,1≤m≤M;然后将的每个方向的每个子带的系数矩阵和分别分割成多个尺寸大小为8×8的互不重叠的矩阵块,将中的第e个矩阵块记为将中的第e'个矩阵块记为 e的初始值为1,表示的列数,表示的行数, e'的初始值为1,表示的列数,表示的行数;接着对的每个方向的每个子带的系数矩阵中的每个矩阵块进行奇异值分解,得到的每个方向的每个子带的系数矩阵中的每个矩阵块的奇异值对角矩阵,将的奇异值对角矩阵记为同样,对中的每个矩阵块进行奇异值分解,得到中的每个矩阵块的奇异值对角矩阵,将的奇异值对角矩阵记为再计算的每个方向的每个子带的系数矩阵中的每个矩阵块的奇异值对角矩阵对应的奇异值和,将对应的奇异值和记为 同样,计算中的每个矩阵块的奇异值对角矩阵对应的奇异值和,将对应的奇异值和记为 其中,表示中坐标位置为(i,j)处的奇异值,表示中坐标位置为(i,j)处的奇异值,1≤i≤8,1≤j≤8;
同样,对实施M级小波变换,得到的每个方向的M个子带和1个直流子带,将实施第m级小波变换后得到的第p个方向的第m个子带的系数矩阵记为将实施M级小波变换后得到的直流子带的系数矩阵记为其中,M≥1,1≤p≤3,p=1时第p个方向表示水平方向,p=2时第p个方向表示垂直方向,p=3时第p个方向表示对角方向,1≤m≤M;然后将的每个方向的每个子带的系数矩阵和分别分割成多个尺寸大小为8×8的互不重叠的矩阵块,将中的第e个矩阵块记为将中的第e'个矩阵块记为 e的初始值为1,表示的列数,与一致,表示的行数,与一致, e'的初始值为1,表示的列数,与一致,表示的行数,与一致;接着对的每个方向的每个子带的系数矩阵中的每个矩阵块进行奇异值分解,得到的每个方向的每个子带的系数矩阵中的每个矩阵块的奇异值对角矩阵,将的奇异值对角矩阵记为同样,对中的每个矩阵块进行奇异值分解,得到中的每个矩阵块的奇异值对角矩阵,将的奇异值对角矩阵记为再计算的每个方向的每个子带的系数矩阵中的每个矩阵块的奇异值对角矩阵对应的奇异值和,将对应的奇异值和记为 同样,计算中的每个矩阵块的奇异值对角矩阵对应的奇异值和,将对应的奇异值和记为 其中,表示中坐标位置为(i,j)处的奇异值,表示中坐标位置为(i,j)处的奇异值,1≤i≤8,1≤j≤8;
⑤计算的每个方向的每个子带的系数矩阵中的每个矩阵块与的每个方向的每个子带的系数矩阵中的每个矩阵块之间的奇异值特征距离,将与之间的奇异值特征距离记为 其中,符号“||”为取绝对值符号;同样,计算中的每个矩阵块与中的每个矩阵块之间的奇异值特征距离,将与之间的奇异值特征距离记为 其中,符号“||”为取绝对值符号;
然后计算相对于的同方向的对应子带的质量因子,将的第p个方向的第m个子带相对于的第p个方向的第m个子带的质量因子记为FUSp,m, 其中,midδfus,p,m表示中的所有矩阵块与中对应矩阵块之间的奇异值特征距离的中值;同样,计算的直流子带相对于的直流子带的质量因子,记为FUSDC, 其中,midδfus,DC表示中的所有矩阵块与中对应矩阵块之间的奇异值特征距离的中值;
接着利用对比敏感度函数对相对于的同方向的对应子带的质量因子及的直流子带相对于的直流子带的质量因子进行加权,得到Idis的双目融合区域的质量,记为Qcyc, 其中,wp,m表示和的第p个方向的第m个子带的对比灵敏度函数系数,ap,m表示第p个方向的第m个子带的频带区间的下限,bp,m表示第p个方向的第m个子带的频带区间的上限,当1≤m<M时, 当m=M时,ap,m=0,wDC表示和的直流子带的对比灵敏度函数系数,wDC=1;
⑥对实施M级小波变换,得到的每个方向的M个子带和1个直流子带,将实施第m级小波变换后得到的第p个方向的第m个子带的系数矩阵记为将实施M级小波变换后得到的直流子带的系数矩阵记为其中,M≥1,1≤p≤3,p=1时第p个方向表示水平方向,p=2时第p个方向表示垂直方向,p=3时第p个方向表示对角方向,1≤m≤M;然后对的每个方向的每个子带的系数矩阵中的系数分布进行广义高斯拟合,得到的每个方向的每个子带的系数矩阵的广义高斯拟合模型的尺度参数和形状参数,将的广义高斯拟合模型描述为 同样,对中的系数分布进行广义高斯拟合,得到的广义高斯拟合模型的尺度参数和形状参数,将的广义高斯拟合模型描述为 其中,为的广义高斯拟合模型的尺度参数,为的广义高斯拟合模型的形状参数,为的广义高斯拟合模型的尺度参数,为的广义高斯拟合模型的形状参数,表示的广义高斯拟合模型的输出,表示的广义高斯拟合模型的输入,表示的广义高斯拟合模型的输出,表示的广义高斯拟合模型的输入,τ()表示Gamma函数,符号“||”为取绝对值符号;
同样,对实施M级小波变换,得到的每个方向的M个子带和1个直流子带,将实施第m级小波变换后得到的第p个方向的第m个子带的系数矩阵记为将实施M级小波变换后得到的直流子带的系数矩阵记为其中,M≥1,1≤p≤3,p=1时第p个方向表示水平方向,p=2时第p个方向表示垂直方向,p=3时第p个方向表示对角方向,1≤m≤M;然后对的每个方向的每个子带的系数矩阵中的系数分布进行广义高斯拟合,得到的每个方向的每个子带的系数矩阵的广义高斯拟合模型的尺度参数和形状参数,将的广义高斯拟合模型描述为 同样,对中的系数分布进行广义高斯拟合,得到的广义高斯拟合模型的尺度参数和形状参数,将的广义高斯拟合模型描述为 其中,为的广义高斯拟合模型的尺度参数,为的广义高斯拟合模型的形状参数,为的广义高斯拟合模型的尺度参数,为的广义高斯拟合模型的形状参数,表示的广义高斯拟合模型的输出,表示的广义高斯拟合模型的输入,表示的广义高斯拟合模型的输出,表示的广义高斯拟合模型的输入,τ()表示Gamma函数,符号“||”为取绝对值符号;
同样,对实施M级小波变换,得到的每个方向的M个子带和1个直流子带,将实施第m级小波变换后得到的第p个方向的第m个子带的系数矩阵记为将实施M级小波变换后得到的直流子带的系数矩阵记为其中,M≥1,1≤p≤3,p=1时第p个方向表示水平方向,p=2时第p个方向表示垂直方向,p=3时第p个方向表示对角方向,1≤m≤M;然后对的每个方向的每个子带的系数矩阵中的系数分布进行广义高斯拟合,得到的每个方向的每个子带的系数矩阵的广义高斯拟合模型的尺度参数和形状参数,将的广义高斯拟合模型描述为 同样,对中的系数分布进行广义高斯拟合,得到的广义高斯拟合模型的尺度参数和形状参数,将的广义高斯拟合模型描述为 其中,为的广义高斯拟合模型的尺度参数,为的广义高斯拟合模型的形状参数,为的广义高斯拟合模型的尺度参数,为的广义高斯拟合模型的形状参数,表示的广义高斯拟合模型的输出,表示的广义高斯拟合模型的输入,表示的广义高斯拟合模型的输出,表示的广义高斯拟合模型的输入,τ()表示Gamma函数,符号“||”为取绝对值符号;
同样,对实施M级小波变换,得到的每个方向的M个子带和1个直流子带,将实施第m级小波变换后得到的第p个方向的第m个子带的系数矩阵记为将实施M级小波变换后得到的直流子带的系数矩阵记为其中,M≥1,1≤p≤3,p=1时第p个方向表示水平方向,p=2时第p个方向表示垂直方向,p=3时第p个方向表示对角方向,1≤m≤M;然后对的每个方向的每个子带的系数矩阵中的系数分布进行广义高斯拟合,得到的每个方向的每个子带的系数矩阵的广义高斯拟合模型的尺度参数和形状参数,将的广义高斯拟合模型描述为 同样,对中的系数分布进行广义高斯拟合,得到的广义高斯拟合模型的尺度参数和形状参数,将的广义高斯拟合模型描述为 其中,为的广义高斯拟合模型的尺度参数,为的广义高斯拟合模型的形状参数,为的广义高斯拟合模型的尺度参数,为的广义高斯拟合模型的形状参数,表示的广义高斯拟合模型的输出,表示的广义高斯拟合模型的输入,表示的广义高斯拟合模型的输出,表示的广义高斯拟合模型的输入,τ()表示Gamma函数,符号“||”为取绝对值符号;
⑦根据的每个方向的每个子带的系数矩阵的广义高斯拟合模型的尺度参数和形状参数和的每个方向的每个子带的系数矩阵的广义高斯拟合模型的尺度参数和形状参数,计算相对于的同方向的对应子带的质量因子,将的第p个方向的第m个子带相对于的第p个方向的第m个子带的质量因子记为 同样,根据的广义高斯拟合模型的尺度参数和形状参数和的广义高斯拟合模型的尺度参数和形状参数,计算的直流子带相对于的直流子带的质量因子,记为
同样,根据的每个方向的每个子带的系数矩阵的广义高斯拟合模型的尺度参数和形状参数和的每个方向的每个子带的系数矩阵的广义高斯拟合模型的尺度参数和形状参数,计算相对于的同方向的对应子带的质量因子,将的第p个方向的第m个子带相对于的第p个方向的第m个子带的质量因子记为 同样,根据的广义高斯拟合模型的尺度参数和形状参数和的广义高斯拟合模型的尺度参数和形状参数,计算的直流子带相对于的直流子带的质量因子,记为
⑧利用对比敏感度函数对相对于的同方向的对应子带的质量因子及的直流子带相对于的直流子带的质量因子进行加权,得到Ldis的双目竞争区域的质量,记为 其中,表示和的第p个方向的第m个子带的对比灵敏度函数系数,ap,m表示第p个方向的第m个子带的频带区间的下限,bp,m表示第p个方向的第m个子带的频带区间的上限,当1≤m<M时, 当m=M时,ap,m=0, 表示和的直流子带的对比灵敏度函数系数,符号“||”为取绝对值符号;
同样,利用对比敏感度函数对相对于的同方向的对应子带的质量因子及的直流子带相对于的直流子带的质量因子进行加权,得到Rdis的双目竞争区域的质量,记为 其中,表示和的第p个方向的第m个子带的对比灵敏度函数系数,ap,m表示第p个方向的第m个子带的频带区间的下限,bp,m表示第p个方向的第m个子带的频带区间的上限,当1≤m<M时, 当m=M时,ap,m=0, 表示和的直流子带的对比灵敏度函数系数,符号“||”为取绝对值符号;
⑨根据和获取Idis的双目竞争区域的质量,记为Qriv,其中,min()为取最小值函数;
⑩根据Idis的双目融合区域的质量Qcyc和Idis的双目竞争区域的质量Qriv,计算Idis相对于Iorg的度量分数,记为Q,Q=Qriv×Qcyc p,其中,p表示Qcyc的权值系数。
所述的步骤②中Lorg的双目融合区域和双目竞争区域的获取过程为:
②-a1、对Lorg做13个像素点的“symmetric”对称边界扩展,得到Lorg的边界扩张图;
②-b1、采用尺寸大小为27×27的第一滑动窗口在Lorg的边界扩张图除上边界、下边界、左边界和右边界各13个像素点外的中心区域中逐像素点移动,保证第一滑动窗口始终位于Lorg的边界扩张图中;
②-c1、将左上角像素点与Lorg的边界扩张图的左上角像素点一致的第一滑动窗口作为当前第一滑动窗口,将Lorg的边界扩张图中与当前第一滑动窗口相对应的区域定义为当前计算区域;
②-d1、将以当前计算区域的中心像素点为中心的尺寸大小为21×21的区域定义为基准块;
②-e1、采用尺寸大小为21×21的第二滑动窗口在当前计算区域内移动,并使第二滑动窗口的中心像素点在当前计算区域的中心7×7区域中逐像素点移动,以保证第二滑动窗口始终位于当前计算区域中;
②-f1、将左上角像素点与当前计算区域的左上角像素点一致的第二滑动窗口作为当前第二滑动窗口,将当前计算区域中与当前第二滑动窗口相对应的区域定义为当前计算块;
②-g1、判断当前计算块与基准块是否为同一个区域,如果是,则保持当前计算块中的所有像素点的像素值不变,然后执行步骤②-h1;否则,计算当前计算块与基准块的互信息值,假设当前计算块的中心像素点在当前计算区域的中心7×7区域中的坐标位置为(i,j),则将当前计算块与基准块的互信息值记为H(i,j),然后将H(i,j)作为当前计算块的中心像素点的加权系数,再执行步骤②-h1,其中,1≤i≤7,1≤j≤7,且i,j不同时为3;
②-h1、将下一个第二滑动窗口作为当前第二滑动窗口,将当前计算区域中与当前第二滑动窗口相对应的区域作为当前计算块,然后返回步骤②-g1继续执行,直至获得当前计算区域中除与基准块为同一区域的计算块外的每个计算块与基准块的互信息值;
②-i1、根据当前计算区域中除与基准块为同一区域的计算块外的每个计算块与基准块的互信息值,计算当前计算区域的中心像素点的双目融合区域值,假设当前计算区域的中心像素点在Lorg的边界扩张图除上边界、下边界、左边界和右边界各13个像素点外的中心区域中的坐标位置为(m,n),则将当前计算区域的中心像素点的双目融合区域值记为x'(m,n),其中,1≤m≤W,1≤n≤H,W表示Lorg的边界扩张图除上边界、下边界、左边界和右边界各13个像素点外的中心区域的宽,W亦表示Lorg的宽,H表示Lorg的边界扩张图除上边界、下边界、左边界和右边界各13个像素点外的中心区域的高,H亦表示Lorg的高,1≤i≤7,1≤j≤7,且i,j不同时为3,x(i,j)表示H(i,j)对应的计算块的中心像素点的像素值;
②-j1、将下一个第一滑动窗口作为当前第一滑动窗口,将Lorg的边界扩张图中与当前第一滑动窗口相对应的区域作为当前计算区域,然后返回步骤②-d1继续执行,直至获得Lorg的边界扩张图中的每个计算区域的中心像素点的双目融合区域值,将由Lorg的边界扩张图中的所有计算区域的中心像素点的双目融合区域值构成的图像作为Lorg的双目融合区域,记为
②-k1、根据Lorg和Lorg的双目融合区域获取Lorg的双目竞争区域,记为
按照步骤②-a1至步骤②-k1的过程,采用相同的方式获取Rorg的双目融合区域和双目竞争区域、Ldis的双目融合区域和双目竞争区域、Rdis的双目融合区域和双目竞争区域。
所述的步骤③中取ωorg,L=0.5,ωorg,R=0.5,取ωdis,L=0.5,ωdis,R=0.5。
所述的步骤④中采用“db1”小波基分别对和实施M级小波变换;所述的步骤⑥中采用“db1”小波基分别对和实施M级小波变换。
所述的步骤⑥中为通过对实施组数为100的直方图统计得到的直方图频数统计区间的中点值,为通过对实施组数为100的直方图统计得到的频数;为通过对实施组数为100的直方图统计得到的直方图频数统计区间的中点值,为通过对实施组数为100的直方图统计得到的频数;为通过对实施组数为100的直方图统计得到的直方图频数统计区间的中点值,为通过对实施组数为100的直方图统计得到的频数,为通过对实施组数为100的直方图统计得到的直方图频数统计区间的中点值,为通过对实施组数为100的直方图统计得到的频数;为通过对实施组数为100的直方图统计得到的直方图频数统计区间的中点值,为通过对实施组数为100的直方图统计得到的频数,为通过对实施组数为100的直方图统计得到的直方图频数统计区间的中点值,为通过对实施组数为100的直方图统计得到的频数;为通过对实施组数为100的直方图统计得到的直方图频数统计区间的中点值,为通过对实施组数为100的直方图统计得到的频数,为通过对实施组数为100的直方图统计得到的直方图频数统计区间的中点值,为通过对实施组数为100的直方图统计得到的频数。
所述的步骤⑩中Qcyc的权值系数p的获取过程为:
⑩-a、采用n幅无失真的立体图像建立其在不同失真类型不同失真程度下的失真立体图像集,该失真立体图像集包括多幅失真的立体图像,其中,n≥1;
⑩-b、采用主观质量评价方法,获取该失真立体图像集中的每幅失真的立体图像的平均主观评分差值,记为DMOS,DMOS=100-MOS,其中,MOS表示主观评分均值,DMOS∈[0,100];
⑩-c、按照步骤①至步骤⑨的过程,采用相同的方式计算该失真立体图像集中的每幅失真的立体图像的双目融合区域的质量Qcyc和双目竞争区域的质量Qriv;
⑩-d、令p在区间[0,1]内以0.1为步长进行取值,分别求取不同p值下的Q=Qriv×Qcyc p,将每个p值下的Q=Qriv×Qcyc p与平均主观评分差值DMOS进行四参数Logistic函数非线性拟合,得到各个p值下的拟合结果,选取最好的拟合结果对应的p值,作为Qcyc的权值系数。
与现有技术相比,本发明的优点在于:
1)本发明方法通过结合人眼对立体图像的双目感知特性,考虑人眼的双目融合特性和双目竞争特性,对无失真的立体图像的左视点图像和右视点图像及失真的立体图像的左视点图像和右视点图像实施双目立体感知分解,得到各自的双目融合区域和双目竞争区域,再提取无失真的立体图像的左视点图像和右视点图像各自的双目融合区域和双目竞争区域有效的质降参考特征,利用提取的质降参考特征对失真的立体图像进行评价,能够有效地提高客观评价结果与主观感知之间的相关性。
2)本发明方法对失真的立体图像的质量评价分为失真的立体图像双目融合区域的质量评价和双目竞争区域的质量评价两部分,前者主要从人眼视觉的双目融合特性、对比敏感度特性出发,以图像的奇异值作为质降参考特征,能很好的表征图像属性且具有较好的稳定性;后者从人眼视觉的双目竞争特性出发,以及利用广义高斯拟合模型能够用极少的参数来较好的描述图像的分布特征,将双目竞争区域进行小波变换后,拟合其各子带的广义高斯拟合模型的形状参数和尺度参数,得到双目竞争区域的质量;由于本发明方法更多的考虑了人眼感知特性,因此保证了失真的立体图像的客观质量评价结果与主观感知之间的相关性,并提取有效的质降参考特征,提高了带宽利用率。
3)本发明方法利用立体图像的双目融合区域的质量评价和双目竞争区域的质量评价两部分各自的特性,在双目融合区域求取独眼图,而在双目竞争区域对不利于独眼图融合的信息进行单独评价,这种方式能够更好的保留完整的原始图像信息,准确的反应人眼的感知特性,有效地保证了客观评价的准确性。
附图说明
图1为本发明方法的总体实现框图;
图2为获取Idis的双目融合区域的质量Qcyc的实现框图;
图3为获取Idis的双目竞争区域的质量Qriv的实现框图;
图4a为不同p值下,失真的立体图像的质量和主观感知质量之间的CC性能变化图;
图4b为不同p值下,失真的立体图像的质量和主观感知质量之间的RMSE性能变化图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种基于人眼感知的质降参考立体图像质量客观评价方法,其考虑到人眼对立体图像感知过程中的双目融合和双目竞争特性,将立体图像分为双目融合区域和双目竞争区域,然后利用SVD(Singular Value Decomposition)的特征提取方法获得质降参考特征,度量待评价的失真的立体图像的双目融合区域的质量;双目竞争区域采用广义高斯拟合模型,比较参考图像与失真图像的形状参数和尺度参数,得到待评价的失真的立体图像的双目竞争区域的质量,再加权双目融合区域的质量和双目竞争区域的质量,得到待评价的失真的立体图像的度量分数。其主要处理过程为:
获取原始的无失真的立体图像的左视点图像和右视点图像各自的双目融合区域和双目竞争区域,并获取待评价的失真的立体图像的左视点图像和右视点图像各自的双目融合区域和双目竞争区域;
根据原始的无失真的立体图像的左视点图像和右视点图像的双目融合区域,获取原始的无失真的立体图像的独眼图,并根据待评价的失真的立体图像的左视点图像和右视点图像的双目融合区域,获取待评价的失真的立体图像的独眼图;
对原始的无失真的立体图像的独眼图通过多级小波变换后得到的所有系数矩阵进行非重叠分块处理,对得到的每个矩阵块进行奇异值分解,获取每个矩阵块的奇异值对角矩阵对应的奇异值和;并对待评价的失真的立体图像的独眼图通过多级小波变换后得到的所有系数矩阵进行非重叠分块处理,对得到的每个矩阵块进行奇异值分解,获取每个矩阵块的奇异值对角矩阵对应的奇异值和;
根据原始的无失真的立体图像的独眼图和待评价的失真的立体图像的独眼图各自通过多级小波变换后得到的每个系数矩阵中的每个矩阵块对应的奇异值和,获取待评价的失真的立体图像的独眼图相对于原始的无失真的立体图像的独眼图的对应子带的质量因子,然后利用对比敏感度函数加权所有质量因子得到待评价的失真的立体图像的双目融合区域的质量;
对原始的无失真的立体图像的左视点图像和右视点图像及待评价的失真的立体图像的左视点图像和右视点图像各自的双目竞争区域实施多级小波变换,然后对得到的每个系数矩阵中的系数分布进行广义高斯拟合,得到每个系数矩阵的广义高斯拟合模型的尺度参数和形状参数;
根据原始的无失真的立体图像的左视点图像的双目竞争区域和待评价的失真的立体图像的左视点图像的双目竞争区域的对应的两个系数矩阵的广义高斯拟合模型的尺度参数和形状参数,获取待评价的失真的立体图像的左视点图像的双目竞争区域相对于原始的无失真的立体图像的左视点图像的双目竞争区域的对应子带的质量因子,然后利用对比敏感度函数加权所有质量因子得到待评价的失真的立体图像的左视点图像的双目竞争区域的质量;并根据原始的无失真的立体图像的右视点图像的双目竞争区域和待评价的失真的立体图像的右视点图像的双目竞争区域的对应的两个系数矩阵的广义高斯拟合模型的尺度参数和形状参数,获取待评价的失真的立体图像的右视点图像的双目竞争区域相对于原始的无失真的立体图像的右视点图像的双目竞争区域的对应子带的质量因子,然后利用对比敏感度函数加权所有质量因子得到待评价的失真的立体图像的右视点图像的双目竞争区域的质量;再根据待评价的失真的立体图像的左视点图像和右视点图像各自的双目竞争区域的质量,获得待评价的失真的立体图像的的双目竞争区域的质量;
根据待评价的失真的立体图像的双目融合区域的质量和双目竞争区域的质量,获得待评价的失真的立体图像相对于原始的无失真的立体图像的度量分数。
本发明方法的总体实现框图如图1所示,具体包括以下步骤:
①令Iorg表示原始的无失真的立体图像,令Idis表示待评价的失真的立体图像,将Iorg的左视点图像记为Lorg,将Iorg的右视点图像记为Rorg,将Idis的左视点图像记为Ldis,将Idis的右视点图像记为Rdis。
②对双目视觉的感知特性的研究表明,双目视觉信息是由两条视觉通路同时处理得到的,分别是双目融合的独眼视点视觉通路和双目竞争视觉通路,这两条视觉通路对人类立体感知产生的影响截然不同,因此本发明方法将立体图像分为双目融合区域和双目竞争区域分别进行质量评价。对Lorg实施双目立体感知分解,得到Lorg的双目融合区域和双目竞争区域,对应记为和并对Rorg实施双目立体感知分解,得到Rorg的双目融合区域和双目竞争区域,对应记为和同样,对Ldis实施双目立体感知分解,得到Ldis的双目融合区域和双目竞争区域,对应记为和并对Rdis实施双目立体感知分解,得到Rdis的双目融合区域和双目竞争区域,对应记为和
在此具体实施例中,步骤②中Lorg的双目融合区域和双目竞争区域的获取过程为:
②-a1、对Lorg做13个像素点的“symmetric”对称边界扩展,得到Lorg的边界扩张图。
②-b1、为了保证立体图像的双目融合区域及双目竞争区域求取的准确性,考虑图像像素点之间的相关性,采用尺寸大小为27×27的第一滑动窗口在Lorg的边界扩张图除上边界、下边界、左边界和右边界各13个像素点外的中心区域中逐像素点移动,保证第一滑动窗口始终位于Lorg的边界扩张图中。
由于Lorg的边界扩张图是通过对Lorg做13个像素点的“symmetric”对称边界扩展形成的,因此采用第一滑动窗口在Lorg的边界扩张图除上边界、下边界、左边界和右边界各13个像素点外的中心区域中逐像素点移动,即保证了第一滑动窗口始终位于Lorg的边界扩张图中,其实就是采用尺寸大小为27×27的第一滑动窗口在Lorg中逐像素点移动,每个像素点都作为每次移动的第一滑动窗口的中心像素点。
②-c1、将左上角像素点与Lorg的边界扩张图的左上角像素点一致的第一滑动窗口作为当前第一滑动窗口,将Lorg的边界扩张图中与当前第一滑动窗口相对应的区域定义为当前计算区域。
②-d1、将以当前计算区域的中心像素点为中心的尺寸大小为21×21的区域定义为基准块。
②-e1、采用尺寸大小为21×21的第二滑动窗口在当前计算区域内移动,并使第二滑动窗口的中心像素点在当前计算区域的中心7×7区域中逐像素点移动,以保证第二滑动窗口始终位于当前计算区域中。
②-f1、将左上角像素点与当前计算区域的左上角像素点一致的第二滑动窗口作为当前第二滑动窗口,将当前计算区域中与当前第二滑动窗口相对应的区域定义为当前计算块。
②-g1、判断当前计算块与基准块是否为同一个区域,如果是,则保持当前计算块中的所有像素点的像素值不变,然后执行步骤②-h1;否则,计算当前计算块与基准块的互信息值,假设当前计算块的中心像素点在当前计算区域的中心7×7区域中的坐标位置为(i,j),则将当前计算块与基准块的互信息值记为H(i,j),然后将H(i,j)作为当前计算块的中心像素点的加权系数,再执行步骤②-h1,其中,1≤i≤7,1≤j≤7,且i,j不同时为3。
②-h1、将下一个第二滑动窗口作为当前第二滑动窗口,将当前计算区域中与当前第二滑动窗口相对应的区域作为当前计算块,然后返回步骤②-g1继续执行,直至获得当前计算区域中除与基准块为同一区域的计算块外的每个计算块与基准块的互信息值。
②-i1、根据当前计算区域中除与基准块为同一区域的计算块外的每个计算块与基准块的互信息值,计算当前计算区域的中心像素点的双目融合区域值,假设当前计算区域的中心像素点在Lorg的边界扩张图除上边界、下边界、左边界和右边界各13个像素点外的中心区域中的坐标位置为(m,n),则将当前计算区域的中心像素点的双目融合区域值记为x'(m,n),其中,1≤m≤W,1≤n≤H,W表示Lorg的边界扩张图除上边界、下边界、左边界和右边界各13个像素点外的中心区域的宽,W亦表示Lorg的宽,H表示Lorg的边界扩张图除上边界、下边界、左边界和右边界各13个像素点外的中心区域的高,H亦表示Lorg的高,1≤i≤7,1≤j≤7,且i,j不同时为3,x(i,j)表示H(i,j)对应的计算块的中心像素点的像素值。
②-j1、将下一个第一滑动窗口作为当前第一滑动窗口,将Lorg的边界扩张图中与当前第一滑动窗口相对应的区域作为当前计算区域,然后返回步骤②-d1继续执行,直至获得Lorg的边界扩张图中的每个计算区域的中心像素点的双目融合区域值,将由Lorg的边界扩张图中的所有计算区域的中心像素点的双目融合区域值构成的图像作为Lorg的双目融合区域,记为
②-k1、根据Lorg和Lorg的双目融合区域获取Lorg的双目竞争区域,记为
按照步骤②-a1至步骤②-k1的过程,采用相同的方式获取Rorg的双目融合区域和双目竞争区域、Ldis的双目融合区域和双目竞争区域、Rdis的双目融合区域和双目竞争区域。如:获取Ldis的双目融合区域和双目竞争区域的具体过程为:
②-a3、对Ldis做13个像素点的“symmetric”对称边界扩展,得到Ldis的边界扩张图。②-b3、采用尺寸大小为27×27的第一滑动窗口在Ldis的边界扩张图除上边界、下边界、左边界和右边界各13个像素点外的中心区域中逐像素点移动,保证第一滑动窗口始终位于Ldis的边界扩张图中。②-c3、将左上角像素点与Ldis的边界扩张图的左上角像素点一致的第一滑动窗口作为当前第一滑动窗口,将Ldis的边界扩张图中与当前第一滑动窗口相对应的区域定义为当前计算区域。②-d3、将以当前计算区域的中心像素点为中心的尺寸大小为21×21的区域定义为基准块。②-e3、采用尺寸大小为21×21的第二滑动窗口在当前计算区域内移动,并使第二滑动窗口的中心像素点在当前计算区域的中心7×7区域中逐像素点移动,以保证第二滑动窗口始终位于当前计算区域中。②-f3、将左上角像素点与当前计算区域的左上角像素点一致的第二滑动窗口作为当前第二滑动窗口,将当前计算区域中与当前第二滑动窗口相对应的区域定义为当前计算块。②-g3、判断当前计算块与基准块是否为同一个区域,如果是,则保持当前计算块中的所有像素点的像素值不变,然后执行步骤②-h3;否则,计算当前计算块与基准块的互信息值,假设当前计算块的中心像素点在当前计算区域的中心7×7区域中的坐标位置为(i,j),则将当前计算块与基准块的互信息值记为H'(i,j),然后将H'(i,j)作为当前计算块的中心像素点的加权系数,再执行步骤②-h3,其中,1≤i≤7,1≤j≤7,且i,j不同时为3。②-h3、将下一个第二滑动窗口作为当前第二滑动窗口,将当前计算区域中与当前第二滑动窗口相对应的区域作为当前计算块,然后返回步骤②-g3继续执行,直至获得当前计算区域中除与基准块为同一区域的计算块外的每个计算块与基准块的互信息值。②-i3、根据当前计算区域中除与基准块为同一区域的计算块外的每个计算块与基准块的互信息值,计算当前计算区域的中心像素点的双目融合区域值,假设当前计算区域的中心像素点在Ldis的边界扩张图除上边界、下边界、左边界和右边界各13个像素点外的中心区域中的坐标位置为(m,n),则将当前计算区域的中心像素点的双目融合区域值记为x″(m,n),其中,1≤m≤W',1≤n≤H',W'表示Ldis的边界扩张图除上边界、下边界、左边界和右边界各13个像素点外的中心区域的宽,W'亦表示Ldis的宽,W'与W一致,H'表示Ldis的边界扩张图除上边界、下边界、左边界和右边界各13个像素点外的中心区域的高,H'亦表示Ldis的高,H'与H一致,1≤i≤7,1≤j≤7,且i,j不同时为3,x'(i,j)表示H'(i,j)对应的计算块的中心像素点的像素值。②-j3、将下一个第一滑动窗口作为当前第一滑动窗口,将Ldis的边界扩张图中与当前第一滑动窗口相对应的区域作为当前计算区域,然后返回步骤②-d3继续执行,直至获得Ldis的边界扩张图中的每个计算区域的中心像素点的双目融合区域值,将由Ldis的边界扩张图中的所有计算区域的中心像素点的双目融合区域值构成的图像作为Ldis的双目融合区域,记为②-k3、根据Ldis和Ldis的双目融合区域获取Ldis的双目竞争区域,记为
③根据和获取Iorg的独眼图,记为将中坐标位置为(u,v)的像素点的像素值记为 同样,根据和获取Idis的独眼图,记为将中坐标位置为(u,v)的像素点的像素值记为 其中,1≤u≤U,1≤v≤V,U表示和的宽,V表示和的高,ωorg,L表示的权值,ωorg,R表示的权值,在本实施例中取ωorg,L=0.5,ωorg,R=0.5,表示中坐标位置为(u,v)的像素点的像素值,表示中坐标位置为((u+d),v)的像素点的像素值,d表示相对于的偏移量,d可通过对和实施现有的基于动态规划的立体匹配算法获得,ωdis,L表示的权值,ωdis,R表示的权值,在本实施例中取ωdis,L=0.5,ωdis,R=0.5,表示中坐标位置为(u,v)的像素点的像素值,表示中坐标位置为((u+d),v)的像素点的像素值,d'表示相对于的偏移量,d'可通过对和实施现有的基于动态规划的立体匹配算法获得。
④对实施M级小波变换,得到的每个方向的M个子带和1个直流子带,将实施第m级小波变换后得到的第p个方向的第m个子带的系数矩阵记为将实施M级小波变换后得到的直流子带的系数矩阵记为其中,M≥1,在本实施例中取M=4,1≤p≤3,p=1时第p个方向表示水平方向,p=2时第p个方向表示垂直方向,p=3时第p个方向表示对角方向,1≤m≤M;然后为了降低计算复杂度,并减少质降特征的数量,将的每个方向的每个子带的系数矩阵和分别分割成多个尺寸大小为8×8的互不重叠的矩阵块,将中的第e个矩阵块记为将中的第e'个矩阵块记为 e的初始值为1,表示的列数,表示的行数, e'的初始值为1,表示的列数,表示的行数;接着对的每个方向的每个子带的系数矩阵中的每个矩阵块进行奇异值分解,得到的每个方向的每个子带的系数矩阵中的每个矩阵块的奇异值对角矩阵,将的奇异值对角矩阵记为同样,对中的每个矩阵块进行奇异值分解,得到中的每个矩阵块的奇异值对角矩阵,将的奇异值对角矩阵记为再计算的每个方向的每个子带的系数矩阵中的每个矩阵块的奇异值对角矩阵对应的奇异值和,将对应的奇异值和记为 同样,计算中的每个矩阵块的奇异值对角矩阵对应的奇异值和,将对应的奇异值和记为 上述每一个奇异值和作为一个质降参考特征进行传输,相比于全参考方法需要原始立体图像的左视点图像和右视点图像的全部信息,本发明方法中用于传输的双目融合区域的质降参考特征个数仅为全参考方法的参考特征个数的其中,(i,j)表示中坐标位置为(i,j)处的奇异值,表示中坐标位置为(i,j)处的奇异值,1≤i≤8,1≤j≤8。
同样,对实施M级小波变换,得到的每个方向的M个子带和1个直流子带,将实施第m级小波变换后得到的第p个方向的第m个子带的系数矩阵记为将实施M级小波变换后得到的直流子带的系数矩阵记为其中,M≥1,在本实施例中取M=4,1≤p≤3,p=1时第p个方向表示水平方向,p=2时第p个方向表示垂直方向,p=3时第p个方向表示对角方向,1≤m≤M;然后为了降低计算复杂度,并减少质降特征的数量,将的每个方向的每个子带的系数矩阵和分别分割成多个尺寸大小为8×8的互不重叠的矩阵块,将中的第e个矩阵块记为将中的第e'个矩阵块记为 e的初始值为1,表示的列数,与一致,表示的行数,与一致, e'的初始值为1,表示的列数,与一致,表示的行数,与一致;接着对的每个方向的每个子带的系数矩阵中的每个矩阵块进行奇异值分解,得到的每个方向的每个子带的系数矩阵中的每个矩阵块的奇异值对角矩阵,将的奇异值对角矩阵记为同样,对中的每个矩阵块进行奇异值分解,得到中的每个矩阵块的奇异值对角矩阵,将的奇异值对角矩阵记为再计算的每个方向的每个子带的系数矩阵中的每个矩阵块的奇异值对角矩阵对应的奇异值和,将对应的奇异值和记为 同样,计算中的每个矩阵块的奇异值对角矩阵对应的奇异值和,将对应的奇异值和记为 其中,表示中坐标位置为(i,j)处的奇异值,表示中坐标位置为(i,j)处的奇异值,1≤i≤8,1≤j≤8。
在此,采用“db1”小波基分别对和实施M级小波变换。
⑤计算的每个方向的每个子带的系数矩阵中的每个矩阵块与的每个方向的每个子带的系数矩阵中的每个矩阵块之间的奇异值特征距离,将与之间的奇异值特征距离记为 其中,符号“||”为取绝对值符号,越大,双目融合区域的质量越差,越小,双目融合区域的质量越好;同样,计算中的每个矩阵块与中的每个矩阵块之间的奇异值特征距离,将与之间的奇异值特征距离记为 其中,符号“||”为取绝对值符号。
然后计算相对于的同方向的对应子带的质量因子,将的第p个方向的第m个子带相对于的第p个方向的第m个子带的质量因子记为FUSp,m, 其中,midδfus,p,m表示中的所有矩阵块与中对应矩阵块之间的奇异值特征距离的中值;同样,计算的直流子带相对于的直流子带的质量因子,记为FUSDC, 其中,midδfus,DC表示中的所有矩阵块与中对应矩阵块之间的奇异值特征距离的中值。
由于人眼对不同子带具有不同敏感度的特性,因此本发明方法接着利用对比敏感度函数对相对于的同方向的对应子带的质量因子及的直流子带相对于的直流子带的质量因子进行加权,得到Idis的双目融合区域的质量,记为Qcyc, 其中,wp,m表示和的第p个方向的第m个子带的对比灵敏度函数系数,ap,m表示第p个方向的第m个子带的频带区间的下限,bp,m表示第p个方向的第m个子带的频带区间的上限,当1≤m<M时, 当m=M时,ap,m=0,wDC表示和的直流子带的对比灵敏度函数系数,wDC=1。
图2给出了获取Idis的双目融合区域的质量Qcyc的实现框图。
⑥对实施M级小波变换,得到的每个方向的M个子带和1个直流子带,将实施第m级小波变换后得到的第p个方向的第m个子带的系数矩阵记为将实施M级小波变换后得到的直流子带的系数矩阵记为其中,M≥1,在本实施例中取M=4,1≤p≤3,p=1时第p个方向表示水平方向,p=2时第p个方向表示垂直方向,p=3时第p个方向表示对角方向,1≤m≤M;然后对的每个方向的每个子带的系数矩阵中的系数分布进行广义高斯拟合,得到的每个方向的每个子带的系数矩阵的广义高斯拟合模型的尺度参数和形状参数,将的广义高斯拟合模型描述为 同样,对中的系数分布进行广义高斯拟合,得到的广义高斯拟合模型的尺度参数和形状参数,将的广义高斯拟合模型描述为 其中,为的广义高斯拟合模型的尺度参数,为的广义高斯拟合模型的形状参数,为的广义高斯拟合模型的尺度参数,为的广义高斯拟合模型的形状参数,表示的广义高斯拟合模型的输出,表示的广义高斯拟合模型的输入,表示的广义高斯拟合模型的输出,表示的广义高斯拟合模型的输入,τ()表示Gamma函数,符号“||”为取绝对值符号。上述一个子带的系数矩阵的广义高斯拟合模型的尺度参数和形状参数作为一个质降参考特征进行传输,如果实施4级小波变换,则提取的用于传输的无失真的立体图像的左视点图像的双目竞争区域的质降参考特征个数仅26个系数。
同样,对实施M级小波变换,得到的每个方向的M个子带和1个直流子带,将实施第m级小波变换后得到的第p个方向的第m个子带的系数矩阵记为将实施M级小波变换后得到的直流子带的系数矩阵记为其中,M≥1,在本实施例中取M=4,1≤p≤3,p=1时第p个方向表示水平方向,p=2时第p个方向表示垂直方向,p=3时第p个方向表示对角方向,1≤m≤M;然后对的每个方向的每个子带的系数矩阵中的系数分布进行广义高斯拟合,得到的每个方向的每个子带的系数矩阵的广义高斯拟合模型的尺度参数和形状参数,将的广义高斯拟合模型描述为 同样,对中的系数分布进行广义高斯拟合,得到的广义高斯拟合模型的尺度参数和形状参数,将的广义高斯拟合模型描述为 其中,为的广义高斯拟合模型的尺度参数,为的广义高斯拟合模型的形状参数,为的广义高斯拟合模型的尺度参数,为的广义高斯拟合模型的形状参数,表示的广义高斯拟合模型的输出,表示的广义高斯拟合模型的输入,表示的广义高斯拟合模型的输出,表示的广义高斯拟合模型的输入,τ()表示Gamma函数,符号“||”为取绝对值符号。上述一个子带的系数矩阵的广义高斯拟合模型的尺度参数和形状参数作为一个质降参考特征进行传输,如果实施4级小波变换,则提取的用于传输的无失真的立体图像的右视点图像的双目竞争区域的质降参考特征个数仅26个系数。
同样,对实施M级小波变换,得到的每个方向的M个子带和1个直流子带,将实施第m级小波变换后得到的第p个方向的第m个子带的系数矩阵记为将实施M级小波变换后得到的直流子带的系数矩阵记为其中,M≥1,在本实施例中取M=4,1≤p≤3,p=1时第p个方向表示水平方向,p=2时第p个方向表示垂直方向,p=3时第p个方向表示对角方向,1≤m≤M;然后对的每个方向的每个子带的系数矩阵中的系数分布进行广义高斯拟合,得到的每个方向的每个子带的系数矩阵的广义高斯拟合模型的尺度参数和形状参数,将的广义高斯拟合模型描述为 同样,对中的系数分布进行广义高斯拟合,得到的广义高斯拟合模型的尺度参数和形状参数,将的广义高斯拟合模型描述为 其中,为的广义高斯拟合模型的尺度参数,为的广义高斯拟合模型的形状参数,为的广义高斯拟合模型的尺度参数,为的广义高斯拟合模型的形状参数,表示的广义高斯拟合模型的输出,表示的广义高斯拟合模型的输入,表示的广义高斯拟合模型的输出,表示的广义高斯拟合模型的输入,τ()表示Gamma函数,符号“||”为取绝对值符号。
同样,对实施M级小波变换,得到的每个方向的M个子带和1个直流子带,将实施第m级小波变换后得到的第p个方向的第m个子带的系数矩阵记为将实施M级小波变换后得到的直流子带的系数矩阵记为其中,M≥1,在本实施例中取M=4,1≤p≤3,p=1时第p个方向表示水平方向,p=2时第p个方向表示垂直方向,p=3时第p个方向表示对角方向,1≤m≤M;然后对的每个方向的每个子带的系数矩阵中的系数分布进行广义高斯拟合,得到的每个方向的每个子带的系数矩阵的广义高斯拟合模型的尺度参数和形状参数,将的广义高斯拟合模型描述为 同样,对中的系数分布进行广义高斯拟合,得到的广义高斯拟合模型的尺度参数和形状参数,将的广义高斯拟合模型描述为 其中,为的广义高斯拟合模型的尺度参数,为的广义高斯拟合模型的形状参数,为的广义高斯拟合模型的尺度参数,为的广义高斯拟合模型的形状参数,表示的广义高斯拟合模型的输出,表示的广义高斯拟合模型的输入,表示的广义高斯拟合模型的输出,表示的广义高斯拟合模型的输入,τ()表示Gamma函数,符号“||”为取绝对值符号。
在此,采用“db1”小波基分别对和实施M级小波变换。
在本实施例中,为通过对实施组数为100的直方图统计得到的直方图频数统计区间的中点值,为通过对实施组数为100的直方图统计得到的频数;为通过对实施组数为100的直方图统计得到的直方图频数统计区间的中点值,为通过对实施组数为100的直方图统计得到的频数;为通过对实施组数为100的直方图统计得到的直方图频数统计区间的中点值,为通过对实施组数为100的直方图统计得到的频数,为通过对实施组数为100的直方图统计得到的直方图频数统计区间的中点值,为通过对实施组数为100的直方图统计得到的频数;为通过对实施组数为100的直方图统计得到的直方图频数统计区间的中点值,为通过对实施组数为100的直方图统计得到的频数,为通过对实施组数为100的直方图统计得到的直方图频数统计区间的中点值,为通过对实施组数为100的直方图统计得到的频数;为通过对实施组数为100的直方图统计得到的直方图频数统计区间的中点值,为通过对实施组数为100的直方图统计得到的频数,为通过对实施组数为100的直方图统计得到的直方图频数统计区间的中点值,为通过对实施组数为100的直方图统计得到的频数。
⑦根据的每个方向的每个子带的系数矩阵的广义高斯拟合模型的尺度参数和形状参数和的每个方向的每个子带的系数矩阵的广义高斯拟合模型的尺度参数和形状参数,计算相对于的同方向的对应子带的质量因子,将的第p个方向的第m个子带相对于的第p个方向的第m个子带的质量因子记为 同样,根据的广义高斯拟合模型的尺度参数和形状参数和的广义高斯拟合模型的尺度参数和形状参数,计算的直流子带相对于的直流子带的质量因子,记为
在此, 和越大,失真的立体图像的左视点图像的双目竞争区域的质量越差,和越小,失真的立体图像的左视点图像的双目竞争区域的质量越好。
同样,根据的每个方向的每个子带的系数矩阵的广义高斯拟合模型的尺度参数和形状参数和的每个方向的每个子带的系数矩阵的广义高斯拟合模型的尺度参数和形状参数,计算相对于的同方向的对应子带的质量因子,将的第p个方向的第m个子带相对于的第p个方向的第m个子带的质量因子记为 同样,根据的广义高斯拟合模型的尺度参数和形状参数和的广义高斯拟合模型的尺度参数和形状参数,计算的直流子带相对于的直流子带的质量因子,记为
在此, 和越大,失真的立体图像的右视点图像的双目竞争区域的质量越差,和越小,失真的立体图像的右视点图像的双目竞争区域的质量越好。
⑧利用对比敏感度函数对相对于的同方向的对应子带的质量因子及的直流子带相对于的直流子带的质量因子进行加权,得到Ldis的双目竞争区域的质量,记为 其中,表示和的第p个方向的第m个子带的对比灵敏度函数系数,ap,m表示第p个方向的第m个子带的频带区间的下限,bp,m表示第p个方向的第m个子带的频带区间的上限,当1≤m<M时, 当m=M时,ap,m=0, 表示和的直流子带的对比灵敏度函数系数,符号“||”为取绝对值符号。
同样,利用对比敏感度函数对相对于的同方向的对应子带的质量因子及的直流子带相对于的直流子带的质量因子进行加权,得到Rdis的双目竞争区域的质量,记为 其中,表示和的第p个方向的第m个子带的对比灵敏度函数系数,ap,m表示第p个方向的第m个子带的频带区间的下限,bp,m表示第p个方向的第m个子带的频带区间的上限,当1≤m<M时, 当m=M时,ap,m=0, 表示和的直流子带的对比灵敏度函数系数,符号“||”为取绝对值符号。
⑨根据和获取Idis的双目竞争区域的质量,记为Qriv,其中,min()为取最小值函数。图3给出了获取Idis的双目竞争区域的质量Qriv的实现框图。
⑩根据Idis的双目融合区域的质量Qcyc和Idis的双目竞争区域的质量Qriv,计算Idis相对于Iorg的度量分数,记为Q,Q=Qriv×Qcyc p,其中,p表示Qcyc的权值系数。
在此具体实施例中,步骤⑩中Qcyc的权值系数p的获取过程为:
⑩-a、采用n幅无失真的立体图像建立其在不同失真类型不同失真程度下的失真立体图像集,该失真立体图像集包括多幅失真的立体图像,其中,n≥1。
⑩-b、采用主观质量评价方法,获取该失真立体图像集中的每幅失真的立体图像的平均主观评分差值,记为DMOS,DMOS=100-MOS,其中,MOS表示主观评分均值,DMOS∈[0,100]。
⑩-c、按照步骤①至步骤⑨的过程,采用相同的方式计算该失真立体图像集中的每幅失真的立体图像的双目融合区域的质量Qcyc和双目竞争区域的质量Qriv。
⑩-d、令p在区间[0,1]内以0.1为步长进行取值,分别求取不同p值下的Q=Qriv×Qcyc p,将每个p值下的Q=Qriv×Qcyc p与平均主观评分差值DMOS进行四参数Logistic函数非线性拟合,得到各个p值下的拟合结果,选取最好的拟合结果对应的p值,作为Qcyc的权值系数。
在本实施例中,利用德克萨斯大学奥斯汀分校的LIVE3D IQA database(phaseI)给出的20幅无失真的立体图像建立其在5种不同失真类型不同失真程度下的失真立体图像集,包括80幅JPEG压缩编码失真的失真立体图像、80幅JP2K压缩编码失真的失真立体图像、45幅高斯白噪声失真(WN)的失真立体图像、80幅模糊失真(Gaussian blur)的失真立体图像以及80幅信道失真(fast-fading,FF)的失真立体图像。对上述365幅失真的立体图像按本发明方法的步骤①至步骤⑨的过程,采用相同的方式计算得到每幅失真的立体图像相应的Qcyc和Qriv,p在[0,1]的范围内以0.1为步长进行取值,p共可取11个不同的值,然后分别求取不同p值下的Q=Qriv×Qcyc p,再将每个p值下的Q=Qriv×Qcyc p分别与平均主观评分差值DMOS进行四参数Logistic函数非线性拟合,得到不同p值下的拟合结果,p值决定双目融合区域的质量和双目竞争区域的质量在失真的立体图像质量中的贡献。Qcyc和Qriv值都是随着失真的立体图像的失真程度加深而变大,因此p值的取值范围为大于0。图4a给出了不同p值下失真的立体图像的质量和主观感知质量之间的CC性能变化图,图4b给出了不同p值下失真的立体图像的质量和主观感知质量之间的RMSE性能变化图,从图4a和图4b中可知,p值取得太大或太小都会影响失真的立体图像的客观质量评价结果与主观感知之间的一致性,在p值变化的情况下,CC和RMSE值都存在极值点,且大致位置相同,这里取p=0.5。
分析实验得到的失真的立体图像的客观质量评价结果Q=Qriv×Qcyc 0.5与平均主观评分差值DMOS之间的相关性。首先获取Q值,然后将Q值做四参数Logistic函数非线性拟合,最后得到客观评价结果与主观感知之间的性能指标值。这里,利用评估图像质量评价方法的3个常用客观参量作为评价指标,即线性相关系数(Correlation coefficient,CC)、Spearman秩相关系数(Spearman Rank Order Correlation coefficient,SROCC)和均方根误差(Rooted Mean Squared Error,RMSE)。CC和SROCC的取值范围是[0,1],其值越接近1,表明评价方法越好,反之,越差;RMSE值越小,表示评价方法的预测越准确,性能越好,反之,则越差。表示评价性能的CC、SROCC和RMSE系数如表1所列。由表1中所列的数据可见,按本发明方法计算得到的失真的立体图像相对于对应的无失真的立体图像的度量分数Q与平均主观评分差值DMOS之间有很好的相关性,特别是总体的评价,CC值和SROCC值都超过0.90,RMSE值低于6.5,表明了本发明方法的客观评价结果与人眼主观感知的结果较为一致,且评价效果稳定,充分说明了本发明方法的有效性。
表1 按本发明方法计算得到的失真的立体图像相对于对应的无失真的立体图像的度量分数与平均主观评分差值之间的相关性
JP2K | JPEG | WN | Gblur | FF | 总体评价 | |
数目 | 80 | 80 | 80 | 45 | 80 | 365 |
CC | 0.9096 | 0.7138 | 0.9085 | 0.9353 | 0.8258 | 0.9090 |
SROCC | 0.9048 | 0.7038 | 0.9102 | 0.8702 | 0.8060 | 0.9160 |
RMSE | 5.0065 | 3.6343 | 6.6702 | 4.2459 | 6.3546 | 6.3099 |
Claims (7)
1.一种基于人眼感知的质降参考立体图像质量客观评价方法,其特征在于它的处理过程为:
获取原始的无失真的立体图像的左视点图像和右视点图像各自的双目融合区域和双目竞争区域,并获取待评价的失真的立体图像的左视点图像和右视点图像各自的双目融合区域和双目竞争区域;
根据原始的无失真的立体图像的左视点图像和右视点图像的双目融合区域,获取原始的无失真的立体图像的独眼图,并根据待评价的失真的立体图像的左视点图像和右视点图像的双目融合区域,获取待评价的失真的立体图像的独眼图;
对原始的无失真的立体图像的独眼图通过多级小波变换后得到的所有系数矩阵进行非重叠分块处理,对得到的每个矩阵块进行奇异值分解,获取每个矩阵块的奇异值对角矩阵对应的奇异值和;并对待评价的失真的立体图像的独眼图通过多级小波变换后得到的所有系数矩阵进行非重叠分块处理,对得到的每个矩阵块进行奇异值分解,获取每个矩阵块的奇异值对角矩阵对应的奇异值和;
根据原始的无失真的立体图像的独眼图和待评价的失真的立体图像的独眼图各自通过多级小波变换后得到的每个系数矩阵中的每个矩阵块对应的奇异值和,获取待评价的失真的立体图像的独眼图相对于原始的无失真的立体图像的独眼图的对应子带的质量因子,然后利用对比敏感度函数加权所有质量因子得到待评价的失真的立体图像的双目融合区域的质量;
对原始的无失真的立体图像的左视点图像和右视点图像及待评价的失真的立体图像的左视点图像和右视点图像各自的双目竞争区域实施多级小波变换,然后对得到的每个系数矩阵中的系数分布进行广义高斯拟合,得到每个系数矩阵的广义高斯拟合模型的尺度参数和形状参数;
根据原始的无失真的立体图像的左视点图像的双目竞争区域和待评价的失真的立体图像的左视点图像的双目竞争区域的对应的两个系数矩阵的广义高斯拟合模型的尺度参数和形状参数,获取待评价的失真的立体图像的左视点图像的双目竞争区域相对于原始的无失真的立体图像的左视点图像的双目竞争区域的对应子带的质量因子,然后利用对比敏感度函数加权所有质量因子得到待评价的失真的立体图像的左视点图像的双目竞争区域的质量;并根据原始的无失真的立体图像的右视点图像的双目竞争区域和待评价的失真的立体图像的右视点图像的双目竞争区域的对应的两个系数矩阵的广义高斯拟合模型的尺度参数和形状参数,获取待评价的失真的立体图像的右视点图像的双目竞争区域相对于原始的无失真的立体图像的右视点图像的双目竞争区域的对应子带的质量因子,然后利用对比敏感度函数加权所有质量因子得到待评价的失真的立体图像的右视点图像的双目竞争区域的质量;再根据待评价的失真的立体图像的左视点图像和右视点图像各自的双目竞争区域的质量,获得待评价的失真的立体图像的的双目竞争区域的质量;
根据待评价的失真的立体图像的双目融合区域的质量和双目竞争区域的质量,获得待评价的失真的立体图像相对于原始的无失真的立体图像的度量分数。
2.根据权利要求1所述的一种基于人眼感知的质降参考立体图像质量客观评价方法,其特征在于该方法具体包括以下步骤:
①令Iorg表示原始的无失真的立体图像,令Idis表示待评价的失真的立体图像,将Iorg的左视点图像记为Lorg,将Iorg的右视点图像记为Rorg,将Idis的左视点图像记为Ldis,将Idis的右视点图像记为Rdis;
②对Lorg实施双目立体感知分解,得到Lorg的双目融合区域和双目竞争区域,对应记为和并对Rorg实施双目立体感知分解,得到Rorg的双目融合区域和双目竞争区域,对应记为和同样,对Ldis实施双目立体感知分解,得到Ldis的双目融合区域和双目竞争区域,对应记为和并对Rdis实施双目立体感知分解,得到Rdis的双目融合区域和双目竞争区域,对应记为和
③根据和获取Iorg的独眼图,记为将中坐标位置为(u,v)的像素点的像素值记为 同样,根据和获取Idis的独眼图,记为将中坐标位置为(u,v)的像素点的像素值记为 其中,1≤u≤U,1≤v≤V,U表示和的宽,V表示和的高,ωorg,L表示的权值,ωorg,R表示的权值,表示中坐标位置为(u,v)的像素点的像素值,表示中坐标位置为((u+d),v)的像素点的像素值,d表示相对于的偏移量,ωdis,L表示的权值,ωdis,R表示的权值,表示中坐标位置为(u,v)的像素点的像素值,表示中坐标位置为((u+d),v)的像素点的像素值,d′表示相对于的偏移量;
④对实施M级小波变换,得到的每个方向的M个子带和1个直流子带,将实施第m级小波变换后得到的第p个方向的第m个子带的系数矩阵记为将实施M级小波变换后得到的直流子带的系数矩阵记为其中,M≥1,1≤p≤3,p=1时第p个方向表示水平方向,p=2时第p个方向表示垂直方向,p=3时第p个方向表示对角方向,1≤m≤M;然后将的每个方向的每个子带的系数矩阵和分别分割成多个尺寸大小为8×8的互不重叠的矩阵块,将中的第e个矩阵块记为将中的第e'个矩阵块记为 e的初始值为1,表示的列数,表示的行数, e'的初始值为1,表示的列数,表示的行数;接着对的每个方向的每个子带的系数矩阵中的每个矩阵块进行奇异值分解,得到的每个方向的每个子带的系数矩阵中的每个矩阵块的奇异值对角矩阵,将的奇异值对角矩阵记为同样,对中的每个矩阵块进行奇异值分解,得到中的每个矩阵块的奇异值对角矩阵,将的奇异值对角矩阵记为再计算的每个方向的每个子带的系数矩阵中的每个矩阵块的奇异值对角矩阵对应的奇异值和,将对应的奇异值和记为 同样,计算中的每个矩阵块的奇异值对角矩阵对应的奇异值和,将对应的奇异值和记为 其中,表示中坐标位置为(i,j)处的奇异值,(i,j)表示中坐标位置为(i,j)处的奇异值,1≤i≤8,1≤j≤8;
同样,对实施M级小波变换,得到的每个方向的M个子带和1个直流子带,将实施第m级小波变换后得到的第p个方向的第m个子带的系数矩阵记为将实施M级小波变换后得到的直流子带的系数矩阵记为其中,M≥1,1≤p≤3,p=1时第p个方向表示水平方向,p=2时第p个方向表示垂直方向,p=3时第p个方向表示对角方向,1≤m≤M;然后将的每个方向的每个子带的系数矩阵和分别分割成多个尺寸大小为8×8的互不重叠的矩阵块,将中的第e个矩阵块记为将中的第e'个矩阵块记为 e的初始值为1,表示的列数,与一致,表示的行数,与一致, e'的初始值为1,表示的列数,与一致,表示的行数,与一致;接着对的每个方向的每个子带的系数矩阵中的每个矩阵块进行奇异值分解,得到的每个方向的每个子带的系数矩阵中的每个矩阵块的奇异值对角矩阵,将的奇异值对角矩阵记为同样,对中的每个矩阵块进行奇异值分解,得到中的每个矩阵块的奇异值对角矩阵,将的奇异值对角矩阵记为再计算的每个方向的每个子带的系数矩阵中的每个矩阵块的奇异值对角矩阵对应的奇异值和,将对应的奇异值和记为 同样,计算中的每个矩阵块的奇异值对角矩阵对应的奇异值和,将对应的奇异值和记为 其中,表示中坐标位置为(i,j)处的奇异值,表示中坐标位置为(i,j)处的奇异值,1≤i≤8,1≤j≤8;
⑤计算的每个方向的每个子带的系数矩阵中的每个矩阵块与的每个方向的每个子带的系数矩阵中的每个矩阵块之间的奇异值特征距离,将与之间的奇异值特征距离记为 其中,符号“||”为取绝对值符号;同样,计算中的每个矩阵块与中的每个矩阵块之间的奇异值特征距离,将与之间的奇异值特征距离记为 其中,符号“||”为取绝对值符号;
然后计算相对于的同方向的对应子带的质量因子,将的第p个方向的第m个子带相对于的第p个方向的第m个子带的质量因子记为FUSp,m, 其中,midδfus,p,m表示中的所有矩阵块与中对应矩阵块之间的奇异值特征距离的中值;同样,计算的直流子带相对于的直流子带的质量因子,记为FUSDC, 其中,midδfus,DC表示中的所有矩阵块与中对应矩阵块之间的奇异值特征距离的中值;
接着利用对比敏感度函数对相对于的同方向的对应子带的质量因子及的直流子带相对于的直流子带的质量因子进行加权,得到Idis的双目融合区域的质量,记为Qcyc, 其中,wp,m表示和的第p个方向的第m个子带的对比灵敏度函数系数,ap,m表示第p个方向的第m个子带的频带区间的下限,bp,m表示第p个方向的第m个子带的频带区间的上限,当1≤m<M时, 当m=M时,ap,m=0,wDC表示和的直流子带的对比灵敏度函数系数,wDC=1;
⑥对实施M级小波变换,得到的每个方向的M个子带和1个直流子带,将实施第m级小波变换后得到的第p个方向的第m个子带的系数矩阵记为将实施M级小波变换后得到的直流子带的系数矩阵记为其中,M≥1,1≤p≤3,p=1时第p个方向表示水平方向,p=2时第p个方向表示垂直方向,p=3时第p个方向表示对角方向,1≤m≤M;然后对的每个方向的每个子带的系数矩阵中的系数分布进行广义高斯拟合,得到的每个方向的每个子带的系数矩阵的广义高斯拟合模型的尺度参数和形状参数,将的广义高斯拟合模型描述为 同样,对中的系数分布进行广义高斯拟合,得到的广义高斯拟合模型的尺度参数和形状参数,将的广义高斯拟合模型描述为 其中,为的广义高斯拟合模型的尺度参数,为的广义高斯拟合模型的形状参数,为的广义高斯拟合模型的尺度参数,为的广义高斯拟合模型的形状参数,表示的广义高斯拟合模型的输出,表示的广义高斯拟合模型的输入,表示的广义高斯拟合模型的输出,表示的广义高斯拟合模型的输入,τ()表示Gamma函数,符号“||”为取绝对值符号;
同样,对实施M级小波变换,得到的每个方向的M个子带和1个直流子带,将实施第m级小波变换后得到的第p个方向的第m个子带的系数矩阵记为将实施M级小波变换后得到的直流子带的系数矩阵记为其中,M≥1,1≤p≤3,p=1时第p个方向表示水平方向,p=2时第p个方向表示垂直方向,p=3时第p个方向表示对角方向,1≤m≤M;然后对的每个方向的每个子带的系数矩阵中的系数分布进行广义高斯拟合,得到的每个方向的每个子带的系数矩阵的广义高斯拟合模型的尺度参数和形状参数,将的广义高斯拟合模型描述为 同样,对中的系数分布进行广义高斯拟合,得到的广义高斯拟合模型的尺度参数和形状参数,将的广义高斯拟合模型描述为 其中,为的广义高斯拟合模型的尺度参数,为的广义高斯拟合模型的形状参数,为的广义高斯拟合模型的尺度参数,为的广义高斯拟合模型的形状参数,表示的广义高斯拟合模型的输出,表示的广义高斯拟合模型的输入,表示的广义高斯拟合模型的输出,表示的广义高斯拟合模型的输入,τ()表示Gamma函数,符号“||”为取绝对值符号;
同样,对实施M级小波变换,得到的每个方向的M个子带和1个直流子带,将实施第m级小波变换后得到的第p个方向的第m个子带的系数矩阵记为将实施M级小波变换后得到的直流子带的系数矩阵记为其中,M≥1,1≤p≤3,p=1时第p个方向表示水平方向,p=2时第p个方向表示垂直方向,p=3时第p个方向表示对角方向,1≤m≤M;然后对的每个方向的每个子带的系数矩阵中的系数分布进行广义高斯拟合,得到的每个方向的每个子带的系数矩阵的广义高斯拟合模型的尺度参数和形状参数,将的广义高斯拟合模型描述为 同样,对中的系数分布进行广义高斯拟合,得到的广义高斯拟合模型的尺度参数和形状参数,将的广义高斯拟合模型描述为 其中,为的广义高斯拟合模型的尺度参数,为的广义高斯拟合模型的形状参数,为的广义高斯拟合模型的尺度参数,为的广义高斯拟合模型的形状参数,表示的广义高斯拟合模型的输出,表示的广义高斯拟合模型的输入,表示的广义高斯拟合模型的输出,表示的广义高斯拟合模型的输入,τ()表示Gamma函数,符号“||”为取绝对值符号;
同样,对实施M级小波变换,得到的每个方向的M个子带和1个直流子带,将实施第m级小波变换后得到的第p个方向的第m个子带的系数矩阵记为将实施M级小波变换后得到的直流子带的系数矩阵记为其中,M≥1,1≤p≤3,p=1时第p个方向表示水平方向,p=2时第p个方向表示垂直方向,p=3时第p个方向表示对角方向,1≤m≤M;然后对的每个方向的每个子带的系数矩阵中的系数分布进行广义高斯拟合,得到的每个方向的每个子带的系数矩阵的广义高斯拟合模型的尺度参数和形状参数,将的广义高斯拟合模型描述为 同样,对中的系数分布进行广义高斯拟合,得到的广义高斯拟合模型的尺度参数和形状参数,将的广义高斯拟合模型描述为 其中,为的广义高斯拟合模型的尺度参数,为的广义高斯拟合模型的形状参数,为的广义高斯拟合模型的尺度参数,为的广义高斯拟合模型的形状参数,表示的广义高斯拟合模型的输出,表示的广义高斯拟合模型的输入,表示的广义高斯拟合模型的输出,表示的广义高斯拟合模型的输入,τ()表示Gamma函数,符号“||”为取绝对值符号;
⑦根据的每个方向的每个子带的系数矩阵的广义高斯拟合模型的尺度参数和形状参数和的每个方向的每个子带的系数矩阵的广义高斯拟合模型的尺度参数和形状参数,计算相对于的同方向的对应子带的质量因子,将的第p个方向的第m个子带相对于的第p个方向的第m个子带的质量因子记为 同样,根据的广义高斯拟合模型的尺度参数和形状参数和的广义高斯拟合模型的尺度参数和形状参数,计算的直流子带相对于的直流子带的质量因子,记为
同样,根据的每个方向的每个子带的系数矩阵的广义高斯拟合模型的尺度参数和形状参数和的每个方向的每个子带的系数矩阵的广义高斯拟合模型的尺度参数和形状参数,计算相对于的同方向的对应子带的质量因子,将的第p个方向的第m个子带相对于的第p个方向的第m个子带的质量因子记为 同样,根据的广义高斯拟合模型的尺度参数和形状参数和的广义高斯拟合模型的尺度参数和形状参数,计算的直流子带相对于的直流子带的质量因子,记为
⑧利用对比敏感度函数对相对于的同方向的对应子带的质量因子及的直流子带相对于的直流子带的质量因子进行加权,得到Ldis的双目竞争区域的质量,记为 其中,表示和的第p个方向的第m个子带的对比灵敏度函数系数,ap,m表示第p个方向的第m个子带的频带区间的下限,bp,m表示第p个方向的第m个子带的频带区间的上限,当1≤m<M时, 当m=M时,ap,m=0, 表示和的直流子带的对比灵敏度函数系数,符号“||”为取绝对值符号;
同样,利用对比敏感度函数对相对于的同方向的对应子带的质量因子及的直流子带相对于的直流子带的质量因子进行加权,得到Rdis的双目竞争区域的质量,记为 其中,表示和的第p个方向的第m个子带的对比灵敏度函数系数,ap,m表示第p个方向的第m个子带的频带区间的下限,bp,m表示第p个方向的第m个子带的频带区间的上限,当1≤m<M时, 当m=M时,ap,m=0, 表示和的直流子带的对比灵敏度函数系数,符号“||”为取绝对值符号;
⑨根据和获取Idis的双目竞争区域的质量,记为Qriv,其中,min()为取最小值函数;
⑩根据Idis的双目融合区域的质量Qcyc和Idis的双目竞争区域的质量Qriv,计算Idis相对于Iorg的度量分数,记为Q,Q=Qriv×Qcyc p,其中,p表示Qcyc的权值系数。
3.根据权利要求2所述的一种基于人眼感知的质降参考立体图像质量客观评价方法,其特征在于所述的步骤②中Lorg的双目融合区域和双目竞争区域的获取过程为:
②-a1、对Lorg做13个像素点的“symmetric”对称边界扩展,得到Lorg的边界扩张图;
②-b1、采用尺寸大小为27×27的第一滑动窗口在Lorg的边界扩张图除上边界、下边界、左边界和右边界各13个像素点外的中心区域中逐像素点移动,保证第一滑动窗口始终位于Lorg的边界扩张图中;
②-c1、将左上角像素点与Lorg的边界扩张图的左上角像素点一致的第一滑动窗口作为当前第一滑动窗口,将Lorg的边界扩张图中与当前第一滑动窗口相对应的区域定义为当前计算区域;
②-d1、将以当前计算区域的中心像素点为中心的尺寸大小为21×21的区域定义为基准块;
②-e1、采用尺寸大小为21×21的第二滑动窗口在当前计算区域内移动,并使第二滑动窗口的中心像素点在当前计算区域的中心7×7区域中逐像素点移动,以保证第二滑动窗口始终位于当前计算区域中;
②-f1、将左上角像素点与当前计算区域的左上角像素点一致的第二滑动窗口作为当前第二滑动窗口,将当前计算区域中与当前第二滑动窗口相对应的区域定义为当前计算块;
②-g1、判断当前计算块与基准块是否为同一个区域,如果是,则保持当前计算块中的所有像素点的像素值不变,然后执行步骤②-h1;否则,计算当前计算块与基准块的互信息值,假设当前计算块的中心像素点在当前计算区域的中心7×7区域中的坐标位置为(i,j),则将当前计算块与基准块的互信息值记为H(i,j),然后将H(i,j)作为当前计算块的中心像素点的加权系数,再执行步骤②-h1,其中,1≤i≤7,1≤j≤7,且i,j不同时为3;
②-h1、将下一个第二滑动窗口作为当前第二滑动窗口,将当前计算区域中与当前第二滑动窗口相对应的区域作为当前计算块,然后返回步骤②-g1继续执行,直至获得当前计算区域中除与基准块为同一区域的计算块外的每个计算块与基准块的互信息值;
②-i1、根据当前计算区域中除与基准块为同一区域的计算块外的每个计算块与基准块的互信息值,计算当前计算区域的中心像素点的双目融合区域值,假设当前计算区域的中心像素点在Lorg的边界扩张图除上边界、下边界、左边界和右边界各13个像素点外的中心区域中的坐标位置为(m,n),则将当前计算区域的中心像素点的双目融合区域值记为x'(m,n),其中,1≤m≤W,1≤n≤H,W表示Lorg的边界扩张图除上边界、下边界、左边界和右边界各13个像素点外的中心区域的宽,W亦表示Lorg的宽,H表示Lorg的边界扩张图除上边界、下边界、左边界和右边界各13个像素点外的中心区域的高,H亦表示Lorg的高,1≤i≤7,1≤j≤7,且i,j不同时为3,x(i,j)表示H(i,j)对应的计算块的中心像素点的像素值;
②-j1、将下一个第一滑动窗口作为当前第一滑动窗口,将Lorg的边界扩张图中与当前第一滑动窗口相对应的区域作为当前计算区域,然后返回步骤②-d1继续执行,直至获得Lorg的边界扩张图中的每个计算区域的中心像素点的双目融合区域值,将由Lorg的边界扩张图中的所有计算区域的中心像素点的双目融合区域值构成的图像作为Lorg的双目融合区域,记为
②-k1、根据Lorg和Lorg的双目融合区域获取Lorg的双目竞争区域,记为
按照步骤②-a1至步骤②-k1的过程,采用相同的方式获取Rorg的双目融合区域和双目竞争区域、Ldis的双目融合区域和双目竞争区域、Rdis的双目融合区域和双目竞争区域。
4.根据权利要求2或3所述的一种基于人眼感知的质降参考立体图像质量客观评价方法,其特征在于所述的步骤③中取ωorg,L=0.5,ωorg,R=0.5,取ωdis,L=0.5,ωdis,R=0.5。
5.根据权利要求4所述的一种基于人眼感知的质降参考立体图像质量客观评价方法,其特征在于所述的步骤④中采用“db1”小波基分别对和实施M级小波变换;所述的步骤⑥中采用“db1”小波基分别对和实施M级小波变换。
6.根据权利要求5所述的一种基于人眼感知的质降参考立体图像质量客观评价方法,其特征在于所述的步骤⑥中为通过对实施组数为100的直方图统计得到的直方图频数统计区间的中点值,为通过对实施组数为100的直方图统计得到的频数;为通过对实施组数为100的直方图统计得到的直方图频数统计区间的中点值,为通过对实施组数为100的直方图统计得到的频数;为通过对实施组数为100的直方图统计得到的直方图频数统计区间的中点值,为通过对实施组数为100的直方图统计得到的频数,为通过对实施组数为100的直方图统计得到的直方图频数统计区间的中点值,为通过对实施组数为100的直方图统计得到的频数;为通过对实施组数为100的直方图统计得到的直方图频数统计区间的中点值,为通过对实施组数为100的直方图统计得到的频数,为通过对实施组数为100的直方图统计得到的直方图频数统计区间的中点值,为通过对实施组数为100的直方图统计得到的频数;为通过对实施组数为100的直方图统计得到的直方图频数统计区间的中点值,为通过对实施组数为100的直方图统计得到的频数,为通过对实施组数为100的直方图统计得到的直方图频数统计区间的中点值,为通过对实施组数为100的直方图统计得到的频数。
7.根据权利要求6所述的一种基于人眼感知的质降参考立体图像质量客观评价方法,其特征在于所述的步骤⑩中Qcyc的权值系数p的获取过程为:
⑩-a、采用n幅无失真的立体图像建立其在不同失真类型不同失真程度下的失真立体图像集,该失真立体图像集包括多幅失真的立体图像,其中,n≥1;
⑩-b、采用主观质量评价方法,获取该失真立体图像集中的每幅失真的立体图像的平均主观评分差值,记为DMOS,DMOS=100-MOS,其中,MOS表示主观评分均值,DMOS∈[0,100];
⑩-c、按照步骤①至步骤⑨的过程,采用相同的方式计算该失真立体图像集中的每幅失真的立体图像的双目融合区域的质量Qcyc和双目竞争区域的质量Qriv;
⑩-d、令p在区间[0,1]内以0.1为步长进行取值,分别求取不同p值下的Q=Qriv×Qcyc p,将每个p值下的Q=Qriv×Qcyc p与平均主观评分差值DMOS进行四参数Logistic函数非线性拟合,得到各个p值下的拟合结果,选取最好的拟合结果对应的p值,作为Qcyc的权值系数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410264212.0A CN104144339B (zh) | 2014-06-13 | 2014-06-13 | 一种基于人眼感知的质降参考立体图像质量客观评价方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410264212.0A CN104144339B (zh) | 2014-06-13 | 2014-06-13 | 一种基于人眼感知的质降参考立体图像质量客观评价方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104144339A true CN104144339A (zh) | 2014-11-12 |
CN104144339B CN104144339B (zh) | 2016-04-13 |
Family
ID=51853397
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410264212.0A Expired - Fee Related CN104144339B (zh) | 2014-06-13 | 2014-06-13 | 一种基于人眼感知的质降参考立体图像质量客观评价方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104144339B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106303513A (zh) * | 2016-08-26 | 2017-01-04 | 宁波大学 | 一种降参考三维视频质量评价方法 |
CN106485702A (zh) * | 2016-09-30 | 2017-03-08 | 杭州电子科技大学 | 基于自然图像特征统计的图像模糊检测方法 |
CN107229597A (zh) * | 2017-05-31 | 2017-10-03 | 成都理工大学 | 同步挤压广义s变换信号时频分解与重构方法 |
CN107578399A (zh) * | 2017-07-25 | 2018-01-12 | 天津大学 | 基于边界特征分割的的全参考图像质量评价方法 |
CN106375754B (zh) * | 2015-07-22 | 2018-03-06 | 中国人民解放军理工大学 | 基于视觉刺激衰减特性的无参考视频质量评估方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103413298A (zh) * | 2013-07-17 | 2013-11-27 | 宁波大学 | 一种基于视觉特性的立体图像质量客观评价方法 |
CN103517065A (zh) * | 2013-09-09 | 2014-01-15 | 宁波大学 | 一种质降参考立体图像质量客观评价方法 |
CN103839263A (zh) * | 2014-02-26 | 2014-06-04 | 宁波大学 | 一种立体图像深度感知客观评价方法 |
-
2014
- 2014-06-13 CN CN201410264212.0A patent/CN104144339B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103413298A (zh) * | 2013-07-17 | 2013-11-27 | 宁波大学 | 一种基于视觉特性的立体图像质量客观评价方法 |
CN103517065A (zh) * | 2013-09-09 | 2014-01-15 | 宁波大学 | 一种质降参考立体图像质量客观评价方法 |
CN103839263A (zh) * | 2014-02-26 | 2014-06-04 | 宁波大学 | 一种立体图像深度感知客观评价方法 |
Non-Patent Citations (1)
Title |
---|
王旭 等: "基于Coutourlet变换的质降参考图像质量评价模型", 《万方学位论文》, 24 April 2009 (2009-04-24) * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106375754B (zh) * | 2015-07-22 | 2018-03-06 | 中国人民解放军理工大学 | 基于视觉刺激衰减特性的无参考视频质量评估方法 |
CN106303513A (zh) * | 2016-08-26 | 2017-01-04 | 宁波大学 | 一种降参考三维视频质量评价方法 |
CN106303513B (zh) * | 2016-08-26 | 2017-11-03 | 宁波大学 | 一种降参考三维视频质量评价方法 |
CN106485702A (zh) * | 2016-09-30 | 2017-03-08 | 杭州电子科技大学 | 基于自然图像特征统计的图像模糊检测方法 |
CN106485702B (zh) * | 2016-09-30 | 2019-11-05 | 杭州电子科技大学 | 基于自然图像特征统计的图像模糊检测方法 |
CN107229597A (zh) * | 2017-05-31 | 2017-10-03 | 成都理工大学 | 同步挤压广义s变换信号时频分解与重构方法 |
CN107578399A (zh) * | 2017-07-25 | 2018-01-12 | 天津大学 | 基于边界特征分割的的全参考图像质量评价方法 |
Also Published As
Publication number | Publication date |
---|---|
CN104144339B (zh) | 2016-04-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Shao et al. | Full-reference quality assessment of stereoscopic images by learning binocular receptive field properties | |
CN103517065B (zh) | 一种质降参考立体图像质量客观评价方法 | |
CN104159003B (zh) | 一种基于3d协同滤波与低秩矩阵重建的视频去噪方法及系统 | |
CN104658001B (zh) | 一种无参考非对称失真立体图像客观质量评价方法 | |
CN105338343B (zh) | 一种基于双目感知的无参考立体图像质量评价方法 | |
CN104036501B (zh) | 一种基于稀疏表示的立体图像质量客观评价方法 | |
Yue et al. | Blind stereoscopic 3D image quality assessment via analysis of naturalness, structure, and binocular asymmetry | |
CN104144339B (zh) | 一种基于人眼感知的质降参考立体图像质量客观评价方法 | |
CN110246111B (zh) | 基于融合图像和强化图像的无参考立体图像质量评价方法 | |
CN109345502B (zh) | 一种基于视差图立体结构信息提取的立体图像质量评价方法 | |
CN104394403B (zh) | 一种面向压缩失真的立体视频质量客观评价方法 | |
CN104036502B (zh) | 一种无参考模糊失真立体图像质量评价方法 | |
CN109831664B (zh) | 基于深度学习的快速压缩立体视频质量评价方法 | |
CN102521825B (zh) | 一种基于零水印的立体图像质量客观评价方法 | |
CN102595185A (zh) | 一种立体图像质量客观评价方法 | |
CN103780895B (zh) | 一种立体视频质量评价方法 | |
Geng et al. | A stereoscopic image quality assessment model based on independent component analysis and binocular fusion property | |
CN109429051B (zh) | 基于多视图特征学习的无参考立体视频质量客观评价方法 | |
CN111915589A (zh) | 基于空洞卷积的立体图像质量评价方法 | |
CN104361583A (zh) | 一种非对称失真立体图像客观质量评价方法 | |
CN102708568B (zh) | 一种基于结构失真的立体图像客观质量评价方法 | |
Chen et al. | No-reference perceptual quality assessment of stereoscopic images based on binocular visual characteristics | |
CN103841411B (zh) | 一种基于双目信息处理的立体图像质量评价方法 | |
Liu et al. | Blind stereoscopic image quality assessment accounting for human monocular visual properties and binocular interactions | |
Yang et al. | No-reference stereoimage quality assessment for multimedia analysis towards Internet-of-Things |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160413 |
|
CF01 | Termination of patent right due to non-payment of annual fee |