CN104144339B - 一种基于人眼感知的质降参考立体图像质量客观评价方法 - Google Patents

一种基于人眼感知的质降参考立体图像质量客观评价方法 Download PDF

Info

Publication number
CN104144339B
CN104144339B CN201410264212.0A CN201410264212A CN104144339B CN 104144339 B CN104144339 B CN 104144339B CN 201410264212 A CN201410264212 A CN 201410264212A CN 104144339 B CN104144339 B CN 104144339B
Authority
CN
China
Prior art keywords
subband
fit
designated
generalized gaussian
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201410264212.0A
Other languages
English (en)
Other versions
CN104144339A (zh
Inventor
郁梅
郑凯辉
宋洋
刘姗姗
靳鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo University
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN201410264212.0A priority Critical patent/CN104144339B/zh
Publication of CN104144339A publication Critical patent/CN104144339A/zh
Application granted granted Critical
Publication of CN104144339B publication Critical patent/CN104144339B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种基于人眼感知的质降参考立体图像质量客观评价方法,其通过结合人眼对立体图像的双目感知特性,考虑人眼的双目融合特性和双目竞争特性,对无失真的立体图像的左视点图像和右视点图像及失真的立体图像的左视点图像和右视点图像实施双目立体感知分解,得到各自的双目融合区域和双目竞争区域,再提取无失真的立体图像的左视点图像和右视点图像各自的双目融合区域和双目竞争区域有效的质降参考特征,利用提取的质降参考特征对失真的立体图像进行评价,能够有效地提高客观评价结果与主观感知之间的相关性。

Description

一种基于人眼感知的质降参考立体图像质量客观评价方法
技术领域
本发明涉及一种图像质量评价方法,尤其是涉及一种基于人眼感知的质降参考立体图像质量客观评价方法。
背景技术
随着三维图像和视频技术的不断发展,立体图像的应用已经大量的融入到人类社会生活中,如立体电视、立体电影、裸眼3D等已变得十分普遍。然而,在立体图像采集、压缩、编码、传输、显示等过程中或多或少会引入不同程度和不同类型的失真。因而,对立体图像的质量评价是不可或缺的,立体图像质量评价可分为主观评价和客观评价两大类,如何用客观模型准确评价立体图像的质量成为了图像研究领域的一个关键问题。目前,对立体图像质量客观评价主流方法为全参考的质量客观评价方法,但全参考的质量客观评价方法在评价立体图像质量时,需要在接收端用到原始图像,因此对传送信道有更高的要求。一些研究者提出的无参考的质量客观评价方法虽然不需要额外的信息传输,但评价准确性普遍较差。而质降参考的质量客观评价方法通过提取原始图像的特征,在接收端评价图像质量,只需传输较少的特征信息,相比全参考的质量客观评价方法,节省了传输图像信息所需的带宽,相比无参考的质量客观评价方法,客观评价结果与主观一致性更好。
质降参考的质量客观评价方法在平面图像和视频的质量评价中有一定的应用。Wang提出了一种基于小波域的质降参考图像质量评价模型(Reduced-referenceimagequalityassessment,RR-IQA),该模型通过统计小波子带系数的分布密度函数,来提取参考图像的特征参数,度量图像的失真程度;Chaminda提出了一种基于边缘特征提取的质降参考视频质量评价模型,该模型通过深度图和彩色图来提取边缘,再提取质降参考特征;Rehman通过对图像结构相似度提取统计特征作为半参考的特征值,提出了一种基于结构相似度的半参考图像质量评价方法。以上的半参考模型方法在图像的特征提取上使用了很少的特征值个数,对于带宽的利用率较高,但是在评价上,只能针对特定的一种或者几种失真类型取得较好的评价结果,普适性较差。
当前,对于立体图像和视频领域而言,质降参考的质量客观评价方法还很少。在国际会议“3D电视-会议:真实的三维视频视觉捕捉,传输和显示”(3DTV-Conference:TheTrueVision-Capture,TransmissionandDisplayof3DVideo)上公开的文章《三维深度图传输的质降参考质量评价模型》(Reduced-referencequalitymetricfor3Ddepthmaptransmission),其考虑到视频传输的实时性,通过对立体图像的边缘信息质降参考的特征的提取,提出了一种质降参考的立体质量评价模型,但是该模型并未充分考虑到人眼的立体感知特性,且评价效果不够准确。此外,通过水印嵌入的方式,来作为质降图像特征的方法也取得了一定的成果。在国际期刊“信号处理:图像通信”(SignalProcessing:ImageCommunication)上公开的文章《基于视差零水印的质降参考立体图像质量评价模型》(Reduced-referencestereoscopicimagequalityassessmentbasedonviewanddisparityzero-watermarks),其提出了一种零水印的立体图像质降参考模型,该模型利用对小波域的各子带水平和垂直系数特征的统计,构造零水印对立体图像质量进行评价,但该模型缺少对人眼立体感知特性的考虑,且由于在图像中加入水印的同时,破坏了原始图像信息,因此在提取水印时,能否完全恢复加入的水印会直接影响到评价结果,故基于水印的方法并不适用于质量评价。
发明内容
本发明所要解决的技术问题是提供一种基于人眼感知的质降参考立体图像质量客观评价方法,其能够有效地提高客观评价结果与主观感知之间的相关性。
本发明解决上述技术问题所采用的技术方案为:一种基于人眼感知的质降参考立体图像质量客观评价方法,其特征在于它的处理过程为:
获取原始的无失真的立体图像的左视点图像和右视点图像各自的双目融合区域和双目竞争区域,并获取待评价的失真的立体图像的左视点图像和右视点图像各自的双目融合区域和双目竞争区域;
根据原始的无失真的立体图像的左视点图像和右视点图像的双目融合区域,获取原始的无失真的立体图像的独眼图,并根据待评价的失真的立体图像的左视点图像和右视点图像的双目融合区域,获取待评价的失真的立体图像的独眼图;
对原始的无失真的立体图像的独眼图通过多级小波变换后得到的所有系数矩阵进行非重叠分块处理,对得到的每个矩阵块进行奇异值分解,获取每个矩阵块的奇异值对角矩阵对应的奇异值和;并对待评价的失真的立体图像的独眼图通过多级小波变换后得到的所有系数矩阵进行非重叠分块处理,对得到的每个矩阵块进行奇异值分解,获取每个矩阵块的奇异值对角矩阵对应的奇异值和;
根据原始的无失真的立体图像的独眼图和待评价的失真的立体图像的独眼图各自通过多级小波变换后得到的每个系数矩阵中的每个矩阵块对应的奇异值和,获取待评价的失真的立体图像的独眼图相对于原始的无失真的立体图像的独眼图的对应子带的质量因子,然后利用对比敏感度函数加权所有质量因子得到待评价的失真的立体图像的双目融合区域的质量;
对原始的无失真的立体图像的左视点图像和右视点图像及待评价的失真的立体图像的左视点图像和右视点图像各自的双目竞争区域实施多级小波变换,然后对得到的每个系数矩阵中的系数分布进行广义高斯拟合,得到每个系数矩阵的广义高斯拟合模型的尺度参数和形状参数;
根据原始的无失真的立体图像的左视点图像的双目竞争区域和待评价的失真的立体图像的左视点图像的双目竞争区域的对应的两个系数矩阵的广义高斯拟合模型的尺度参数和形状参数,获取待评价的失真的立体图像的左视点图像的双目竞争区域相对于原始的无失真的立体图像的左视点图像的双目竞争区域的对应子带的质量因子,然后利用对比敏感度函数加权所有质量因子得到待评价的失真的立体图像的左视点图像的双目竞争区域的质量;并根据原始的无失真的立体图像的右视点图像的双目竞争区域和待评价的失真的立体图像的右视点图像的双目竞争区域的对应的两个系数矩阵的广义高斯拟合模型的尺度参数和形状参数,获取待评价的失真的立体图像的右视点图像的双目竞争区域相对于原始的无失真的立体图像的右视点图像的双目竞争区域的对应子带的质量因子,然后利用对比敏感度函数加权所有质量因子得到待评价的失真的立体图像的右视点图像的双目竞争区域的质量;再根据待评价的失真的立体图像的左视点图像和右视点图像各自的双目竞争区域的质量,获得待评价的失真的立体图像的的双目竞争区域的质量;
根据待评价的失真的立体图像的双目融合区域的质量和双目竞争区域的质量,获得待评价的失真的立体图像相对于原始的无失真的立体图像的度量分数。
本发明的基于人眼感知的质降参考立体图像质量客观评价方法具体包括以下步骤:
①令Iorg表示原始的无失真的立体图像,令Idis表示待评价的失真的立体图像,将Iorg的左视点图像记为Lorg,将Iorg的右视点图像记为Rorg,将Idis的左视点图像记为Ldis,将Idis的右视点图像记为Rdis
②对Lorg实施双目立体感知分解,得到Lorg的双目融合区域和双目竞争区域,对应记为并对Rorg实施双目立体感知分解,得到Rorg的双目融合区域和双目竞争区域,对应记为同样,对Ldis实施双目立体感知分解,得到Ldis的双目融合区域和双目竞争区域,对应记为并对Rdis实施双目立体感知分解,得到Rdis的双目融合区域和双目竞争区域,对应记为
③根据获取Iorg的独眼图,记为中坐标位置为(u,v)的像素点的像素值记为 I o r g f u s ( u , v ) = ω o r g , L × L o r g f u s ( u , v ) + ω o r g , R × R o r g f u s ( ( u + d ) , v ) ; 同样,根据获取Idis的独眼图,记为中坐标位置为(u,v)的像素点的像素值记为 I d i s f u s ( u , v ) = ω d i s , L × L d i s f u s ( u , v ) + ω d i s , R × R d i s f u s ( ( u + d ′ ) , v ) ; 其中,1≤u≤U,1≤v≤V,U表示的宽,V表示的高,ωorg,L表示的权值,ωorg,R表示的权值,表示中坐标位置为(u,v)的像素点的像素值,表示中坐标位置为((u+d),v)的像素点的像素值,d表示相对于的偏移量,ωdis,L表示的权值,ωdis,R表示的权值,表示中坐标位置为(u,v)的像素点的像素值,表示中坐标位置为((u+d),v)的像素点的像素值,d'表示相对于的偏移量;
④对实施M级小波变换,得到的每个方向的M个子带和1个直流子带,将实施第m级小波变换后得到的第p个方向的第m个子带的系数矩阵记为实施M级小波变换后得到的直流子带的系数矩阵记为其中,M≥1,1≤p≤3,p=1时第p个方向表示水平方向,p=2时第p个方向表示垂直方向,p=3时第p个方向表示对角方向,1≤m≤M;然后将的每个方向的每个子带的系数矩阵和分别分割成多个尺寸大小为8×8的互不重叠的矩阵块,将中的第e个矩阵块记为中的第e'个矩阵块记为 1 ≤ e ≤ W o r g p , m × H o r g p , m 8 × 8 , e的初始值为1,表示的列数,表示的行数, 1 ≤ e ′ ≤ W o r g D C × H o r g D C 8 × 8 , e'的初始值为1,表示的列数,表示的行数;接着对的每个方向的每个子带的系数矩阵中的每个矩阵块进行奇异值分解,得到的每个方向的每个子带的系数矩阵中的每个矩阵块的奇异值对角矩阵,将的奇异值对角矩阵记为同样,对中的每个矩阵块进行奇异值分解,得到中的每个矩阵块的奇异值对角矩阵,将的奇异值对角矩阵记为再计算的每个方向的每个子带的系数矩阵中的每个矩阵块的奇异值对角矩阵对应的奇异值和,将对应的奇异值和记为 SUM o r g , e f u s , p , m = Σ i = 1 8 Σ j = 1 8 SVD o r g , e f u s , p , m ( i , j ) , 同样,计算中的每个矩阵块的奇异值对角矩阵对应的奇异值和,将对应的奇异值和记为 SUM o r g , e ′ f u s , D C = Σ i = 1 8 Σ j = 1 8 SVD o r g , e ′ f u s , D C ( i , j ) , 其中,表示中坐标位置为(i,j)处的奇异值,表示中坐标位置为(i,j)处的奇异值,1≤i≤8,1≤j≤8;
同样,对实施M级小波变换,得到的每个方向的M个子带和1个直流子带,将实施第m级小波变换后得到的第p个方向的第m个子带的系数矩阵记为实施M级小波变换后得到的直流子带的系数矩阵记为其中,M≥1,1≤p≤3,p=1时第p个方向表示水平方向,p=2时第p个方向表示垂直方向,p=3时第p个方向表示对角方向,1≤m≤M;然后将的每个方向的每个子带的系数矩阵和分别分割成多个尺寸大小为8×8的互不重叠的矩阵块,将中的第e个矩阵块记为中的第e'个矩阵块记为 1 ≤ e ≤ W d i s p , m × H d i s p , m 8 × 8 , e的初始值为1,表示的列数,一致,表示的行数,一致, 1 ≤ e ′ ≤ W d i s D C × H d i s D C 8 × 8 , e'的初始值为1,表示的列数,一致,表示的行数,一致;接着对的每个方向的每个子带的系数矩阵中的每个矩阵块进行奇异值分解,得到的每个方向的每个子带的系数矩阵中的每个矩阵块的奇异值对角矩阵,将的奇异值对角矩阵记为同样,对中的每个矩阵块进行奇异值分解,得到中的每个矩阵块的奇异值对角矩阵,将的奇异值对角矩阵记为再计算的每个方向的每个子带的系数矩阵中的每个矩阵块的奇异值对角矩阵对应的奇异值和,将对应的奇异值和记为 SUM d i s , e f u s , p , m = Σ i = 1 8 Σ j = 1 8 SVD d i s , e f u s , p , m ( i , j ) , 同样,计算中的每个矩阵块的奇异值对角矩阵对应的奇异值和,将对应的奇异值和记为 SUM d i s , e ′ f u s , D C = Σ i = 1 8 Σ j = 1 8 SVD d i s , e ′ f u s , D C ( i , j ) , 其中,表示中坐标位置为(i,j)处的奇异值,表示中坐标位置为(i,j)处的奇异值,1≤i≤8,1≤j≤8;
⑤计算的每个方向的每个子带的系数矩阵中的每个矩阵块与的每个方向的每个子带的系数矩阵中的每个矩阵块之间的奇异值特征距离,将之间的奇异值特征距离记为 δ e f u s , p , m = | SUM o r g , e f u s , p , m - SUM d i s , e f u s , p , m | , 其中,符号“||”为取绝对值符号;同样,计算中的每个矩阵块与中的每个矩阵块之间的奇异值特征距离,将之间的奇异值特征距离记为 δ e ′ f u s , D C = | SUM o r g , e ′ f u s , D C - SUM d i s , e ′ f u s , D C | , 其中,符号“||”为取绝对值符号;
然后计算相对于的同方向的对应子带的质量因子,将的第p个方向的第m个子带相对于的第p个方向的第m个子带的质量因子记为FUSp,m FUS p , m = Σ e = 1 W d i s p , m × H d i s p , m 8 × 8 | δ e f u s , p , m - midδ f u s , p , m | W d i s p , m × H d i s p , m 8 × 8 , 其中,midδfus,p,m表示中的所有矩阵块与中对应矩阵块之间的奇异值特征距离的中值;同样,计算的直流子带相对于的直流子带的质量因子,记为FUSDC FUS D C = Σ e ′ = 1 W d i s D C × H d i s D C 8 × 8 | δ e ′ f u s , D C - midδ f u s , D C | W d i s D C × H d i s D C 8 × 8 , 其中,midδfus,DC表示中的所有矩阵块与中对应矩阵块之间的奇异值特征距离的中值;
接着利用对比敏感度函数对相对于的同方向的对应子带的质量因子及的直流子带相对于的直流子带的质量因子进行加权,得到Idis的双目融合区域的质量,记为Qcyc Q c y c = FUS D C &times; w D C + &Sigma; p = 1 3 &Sigma; m = 1 M FUS p , m &times; w p , m w D C + &Sigma; p = 1 3 &Sigma; m = 1 M w p , m , 其中,wp,m表示的第p个方向的第m个子带的对比灵敏度函数系数,ap,m表示第p个方向的第m个子带的频带区间的下限,bp,m表示第p个方向的第m个子带的频带区间的上限,当1≤m<M时,当m=M时,ap,m=0,wDC表示的直流子带的对比灵敏度函数系数,wDC=1;
⑥对实施M级小波变换,得到的每个方向的M个子带和1个直流子带,将实施第m级小波变换后得到的第p个方向的第m个子带的系数矩阵记为实施M级小波变换后得到的直流子带的系数矩阵记为其中,M≥1,1≤p≤3,p=1时第p个方向表示水平方向,p=2时第p个方向表示垂直方向,p=3时第p个方向表示对角方向,1≤m≤M;然后对的每个方向的每个子带的系数矩阵中的系数分布进行广义高斯拟合,得到的每个方向的每个子带的系数矩阵的广义高斯拟合模型的尺度参数和形状参数,将的广义高斯拟合模型描述为 P ( x o r g , L r i v , p , m ) = &beta; o r g , L r i v , p , m 2 &alpha; o r g , L r i v , p , m &times; &tau; ( 1 / &beta; o r g , L r i v , p , m ) exp ( - ( | x o r g , L r i v , p , m | &alpha; o r g , L r i v , p , m ) &beta; o r g , L r i v , p , m ) , 同样,对中的系数分布进行广义高斯拟合,得到的广义高斯拟合模型的尺度参数和形状参数,将的广义高斯拟合模型描述为 P ( x o r g , L r i v , D C ) = &beta; o r g , L r i v , D C 2 &alpha; o r g , L r i v , D C &times; &tau; ( 1 / &beta; o r g , L r i v , D C ) exp ( - ( | x o r g , L r i v , D C | &alpha; o r g , L r i v , D C ) &beta; o r g , L r i v , D C ) , 其中,的广义高斯拟合模型的尺度参数,的广义高斯拟合模型的形状参数,的广义高斯拟合模型的尺度参数,的广义高斯拟合模型的形状参数,表示的广义高斯拟合模型的输出,表示的广义高斯拟合模型的输入,表示的广义高斯拟合模型的输出,表示的广义高斯拟合模型的输入,τ()表示Gamma函数,符号“||”为取绝对值符号;
同样,对实施M级小波变换,得到的每个方向的M个子带和1个直流子带,将实施第m级小波变换后得到的第p个方向的第m个子带的系数矩阵记为实施M级小波变换后得到的直流子带的系数矩阵记为其中,M≥1,1≤p≤3,p=1时第p个方向表示水平方向,p=2时第p个方向表示垂直方向,p=3时第p个方向表示对角方向,1≤m≤M;然后对的每个方向的每个子带的系数矩阵中的系数分布进行广义高斯拟合,得到的每个方向的每个子带的系数矩阵的广义高斯拟合模型的尺度参数和形状参数,将的广义高斯拟合模型描述为 P ( x o r g , R r i v , p , m ) = &beta; o r g , R r i v , p , m 2 &alpha; o r g , R r i v , p , m &times; &tau; ( 1 / &beta; o r g , R r i v , p , m ) exp ( - ( | x o r g , R r i v , p , m | &alpha; o r g , R r i v , p , m ) &beta; o r g , R r i v , p , m ) , 同样,对中的系数分布进行广义高斯拟合,得到的广义高斯拟合模型的尺度参数和形状参数,将的广义高斯拟合模型描述为 P ( x o r g , R r i v , D C ) = &beta; o r g , R r i v , D C 2 &alpha; o r g , R r i v , D C &times; &tau; ( 1 / &beta; o r g , R r i v , D C ) exp ( - ( | x o r g , R r i v , D C | &alpha; o r g , R r i v , D C ) &beta; o r g , R r i v , D C ) , 其中,的广义高斯拟合模型的尺度参数,的广义高斯拟合模型的形状参数,的广义高斯拟合模型的尺度参数,的广义高斯拟合模型的形状参数,表示的广义高斯拟合模型的输出,表示的广义高斯拟合模型的输入,表示的广义高斯拟合模型的输出,表示的广义高斯拟合模型的输入,τ()表示Gamma函数,符号“||”为取绝对值符号;
同样,对实施M级小波变换,得到的每个方向的M个子带和1个直流子带,将实施第m级小波变换后得到的第p个方向的第m个子带的系数矩阵记为实施M级小波变换后得到的直流子带的系数矩阵记为其中,M≥1,1≤p≤3,p=1时第p个方向表示水平方向,p=2时第p个方向表示垂直方向,p=3时第p个方向表示对角方向,1≤m≤M;然后对的每个方向的每个子带的系数矩阵中的系数分布进行广义高斯拟合,得到的每个方向的每个子带的系数矩阵的广义高斯拟合模型的尺度参数和形状参数,将的广义高斯拟合模型描述为 P ( x d i s , L r i v , p , m ) = &beta; d i s , L r i v , p , m 2 &alpha; d i s , L r i v , p , m &times; &tau; ( 1 / &beta; d i s , L r i v , p , m ) exp ( - ( | x d i s , L r i v , p , m | &alpha; d i s , L r i v , p , m ) &beta; d i s , L r i v , p , m ) , 同样,对中的系数分布进行广义高斯拟合,得到的广义高斯拟合模型的尺度参数和形状参数,将的广义高斯拟合模型描述为 P ( x d i s , L r i v , D C ) = &beta; d i s , L r i v , D C 2 &alpha; d i s , L r i v , D C &times; &tau; ( 1 / &beta; d i s , L r i v , D C ) exp ( - ( | x d i s , L r i v , D C | &alpha; d i s , L r i v , D C ) &beta; d i s , L r i v , D C ) , 其中,的广义高斯拟合模型的尺度参数,的广义高斯拟合模型的形状参数,的广义高斯拟合模型的尺度参数,的广义高斯拟合模型的形状参数,表示的广义高斯拟合模型的输出,表示的广义高斯拟合模型的输入,表示的广义高斯拟合模型的输出,表示的广义高斯拟合模型的输入,τ()表示Gamma函数,符号“||”为取绝对值符号;
同样,对实施M级小波变换,得到的每个方向的M个子带和1个直流子带,将实施第m级小波变换后得到的第p个方向的第m个子带的系数矩阵记为实施M级小波变换后得到的直流子带的系数矩阵记为其中,M≥1,1≤p≤3,p=1时第p个方向表示水平方向,p=2时第p个方向表示垂直方向,p=3时第p个方向表示对角方向,1≤m≤M;然后对的每个方向的每个子带的系数矩阵中的系数分布进行广义高斯拟合,得到的每个方向的每个子带的系数矩阵的广义高斯拟合模型的尺度参数和形状参数,将的广义高斯拟合模型描述为 P ( x d i s , R r i v , p , m ) = &beta; d i s , R r i v , p , m 2 &alpha; d i s , R r i v , p , m &times; &tau; ( 1 / &beta; d i s , R r i v , p , m ) exp ( - ( | x d i s , R r i v , p , m | &alpha; d i s , R r i v , p , m ) &beta; d i s , R r i v , p , m ) , 同样,对中的系数分布进行广义高斯拟合,得到的广义高斯拟合模型的尺度参数和形状参数,将的广义高斯拟合模型描述为 P ( x d i s , R r i v , D C ) = &beta; d i s , R r i v , D C 2 &alpha; d i s , R r i v , D C &times; &tau; ( 1 / &beta; d i s , R r i v , D C ) exp ( - ( | x d i s , R r i v , D C | &alpha; d i s , R r i v , D C ) &beta; d i s , R r i v , D C ) , 其中,的广义高斯拟合模型的尺度参数,的广义高斯拟合模型的形状参数,的广义高斯拟合模型的尺度参数,的广义高斯拟合模型的形状参数,表示的广义高斯拟合模型的输出,表示的广义高斯拟合模型的输入,表示的广义高斯拟合模型的输出,表示的广义高斯拟合模型的输入,τ()表示Gamma函数,符号“||”为取绝对值符号;
⑦根据的每个方向的每个子带的系数矩阵的广义高斯拟合模型的尺度参数和形状参数和的每个方向的每个子带的系数矩阵的广义高斯拟合模型的尺度参数和形状参数,计算相对于的同方向的对应子带的质量因子,将的第p个方向的第m个子带相对于的第p个方向的第m个子带的质量因子记为 q L r i v , p , m = 1 - 2 &times; | &alpha; o r g , L r i v , p , m &times; &alpha; d i s , L r i v , p , m | ( &alpha; o r g , L r i v , p , m ) 2 + ( &alpha; d i s , L r i v , p , m ) 2 + 1 - 2 &times; | &beta; o r g , L r i v , p , m &times; &beta; d i s , L r i v , p , m | ( &beta; o r g , L r i v , p , m ) 2 + ( &beta; d i s , L r i v , p , m ) 2 ; 同样,根据的广义高斯拟合模型的尺度参数和形状参数和的广义高斯拟合模型的尺度参数和形状参数,计算的直流子带相对于的直流子带的质量因子,记为 q L r i v , D C = 1 - 2 &times; | &alpha; o r g , L r i v , D C &times; &alpha; d i s , L r i v , D C | ( &alpha; o r g , L r i v , D C ) 2 + ( &alpha; d i s , L r i v , D C ) 2 + 1 - 2 &times; | &beta; o r g , L r i v , D C &times; &beta; d i s , L r i v , D C | ( &beta; o r g , L r i v , D C ) 2 + ( &beta; d i s , L r i v , D C ) 2 ;
同样,根据的每个方向的每个子带的系数矩阵的广义高斯拟合模型的尺度参数和形状参数和的每个方向的每个子带的系数矩阵的广义高斯拟合模型的尺度参数和形状参数,计算相对于的同方向的对应子带的质量因子,将的第p个方向的第m个子带相对于的第p个方向的第m个子带的质量因子记为 q R r i v , p , m = 1 - 2 &times; | &alpha; o r g , R r i v , p , m &times; &alpha; d i s , R r i v , p , m | ( &alpha; o r g , R r i v , p , m ) 2 + ( &alpha; d i s , R r i v , p , m ) 2 + 1 - 2 &times; | &beta; o r g , R r i v , p , m &times; &beta; d i s , R r i v , p , m | ( &beta; o r g , R r i v , p , m ) 2 + ( &beta; d i s , R r i v , p , m ) 2 ; 同样,根据的广义高斯拟合模型的尺度参数和形状参数和的广义高斯拟合模型的尺度参数和形状参数,计算的直流子带相对于的直流子带的质量因子,记为 q R r i v , D C = 1 - 2 &times; | &alpha; o r g , R r i v , D C &times; &alpha; d i s , R r i v , D C | ( &alpha; o r g , R r i v , D C ) 2 + ( &alpha; d i s , R r i v , D C ) 2 + 1 - 2 &times; | &beta; o r g , R r i v , D C &times; &beta; d i s , R r i v , D C | ( &beta; o r g , R r i v , D C ) 2 + ( &beta; d i s , R r i v , D C ) 2 ;
⑧利用对比敏感度函数对相对于的同方向的对应子带的质量因子及的直流子带相对于的直流子带的质量因子进行加权,得到Ldis的双目竞争区域的质量,记为 Q L r i v = q L r i v , D C &times; w L D C + &Sigma; p = 1 3 &Sigma; m = 1 M | q L r i v , p , m | &times; w L p , m w L D C + &Sigma; p = 1 3 &Sigma; m = 1 M w L p , m , 其中,表示的第p个方向的第m个子带的对比灵敏度函数系数,ap,m表示第p个方向的第m个子带的频带区间的下限,bp,m表示第p个方向的第m个子带的频带区间的上限,当1≤m<M时,当m=M时,ap,m=0, 表示的直流子带的对比灵敏度函数系数,符号“||”为取绝对值符号;
同样,利用对比敏感度函数对相对于的同方向的对应子带的质量因子及的直流子带相对于的直流子带的质量因子进行加权,得到Rdis的双目竞争区域的质量,记为 Q R r i v = q R r i v , D C &times; w R D C + &Sigma; p = 1 3 &Sigma; m = 1 M | q R r i v , p , m | &times; w R p , m w R D C + &Sigma; p = 1 3 &Sigma; m = 1 M w R p , m , 其中,表示的第p个方向的第m个子带的对比灵敏度函数系数,ap,m表示第p个方向的第m个子带的频带区间的下限,bp,m表示第p个方向的第m个子带的频带区间的上限,当1≤m<M时,当m=M时,ap,m=0, 表示的直流子带的对比灵敏度函数系数,符号“||”为取绝对值符号;
⑨根据获取Idis的双目竞争区域的质量,记为Qriv其中,min()为取最小值函数;
⑩根据Idis的双目融合区域的质量Qcyc和Idis的双目竞争区域的质量Qriv,计算Idis相对于Iorg的度量分数,记为Q,Q=Qriv×Qcyc p,其中,p表示Qcyc的权值系数。
所述的步骤②中Lorg的双目融合区域和双目竞争区域的获取过程为:
②-a1、对Lorg做13个像素点的“symmetric”对称边界扩展,得到Lorg的边界扩张图;
②-b1、采用尺寸大小为27×27的第一滑动窗口在Lorg的边界扩张图除上边界、下边界、左边界和右边界各13个像素点外的中心区域中逐像素点移动,保证第一滑动窗口始终位于Lorg的边界扩张图中;
②-c1、将左上角像素点与Lorg的边界扩张图的左上角像素点一致的第一滑动窗口作为当前第一滑动窗口,将Lorg的边界扩张图中与当前第一滑动窗口相对应的区域定义为当前计算区域;
②-d1、将以当前计算区域的中心像素点为中心的尺寸大小为21×21的区域定义为基准块;
②-e1、采用尺寸大小为21×21的第二滑动窗口在当前计算区域内移动,并使第二滑动窗口的中心像素点在当前计算区域的中心7×7区域中逐像素点移动,以保证第二滑动窗口始终位于当前计算区域中;
②-f1、将左上角像素点与当前计算区域的左上角像素点一致的第二滑动窗口作为当前第二滑动窗口,将当前计算区域中与当前第二滑动窗口相对应的区域定义为当前计算块;
②-g1、判断当前计算块与基准块是否为同一个区域,如果是,则保持当前计算块中的所有像素点的像素值不变,然后执行步骤②-h1;否则,计算当前计算块与基准块的互信息值,假设当前计算块的中心像素点在当前计算区域的中心7×7区域中的坐标位置为(i,j),则将当前计算块与基准块的互信息值记为H(i,j),然后将H(i,j)作为当前计算块的中心像素点的加权系数,再执行步骤②-h1,其中,1≤i≤7,1≤j≤7,且i,j不同时为3;
②-h1、将下一个第二滑动窗口作为当前第二滑动窗口,将当前计算区域中与当前第二滑动窗口相对应的区域作为当前计算块,然后返回步骤②-g1继续执行,直至获得当前计算区域中除与基准块为同一区域的计算块外的每个计算块与基准块的互信息值;
②-i1、根据当前计算区域中除与基准块为同一区域的计算块外的每个计算块与基准块的互信息值,计算当前计算区域的中心像素点的双目融合区域值,假设当前计算区域的中心像素点在Lorg的边界扩张图除上边界、下边界、左边界和右边界各13个像素点外的中心区域中的坐标位置为(m,n),则将当前计算区域的中心像素点的双目融合区域值记为x'(m,n),其中,1≤m≤W,1≤n≤H,W表示Lorg的边界扩张图除上边界、下边界、左边界和右边界各13个像素点外的中心区域的宽,也即是Lorg的宽,H表示Lorg的边界扩张图除上边界、下边界、左边界和右边界各13个像素点外的中心区域的高,也即是Lorg的高,1≤i≤7,1≤j≤7,且i,j不同时为3,x(i,j)表示H(i,j)对应的计算块的中心像素点的像素值;
②-j1、将下一个第一滑动窗口作为当前第一滑动窗口,将Lorg的边界扩张图中与当前第一滑动窗口相对应的区域作为当前计算区域,然后返回步骤②-d1继续执行,直至获得Lorg的边界扩张图中的每个计算区域的中心像素点的双目融合区域值,将由Lorg的边界扩张图中的所有计算区域的中心像素点的双目融合区域值构成的图像作为Lorg的双目融合区域,记为
②-k1、根据Lorg和Lorg的双目融合区域获取Lorg的双目竞争区域,记为 L o r g r i v = L o r g - L o r g f u s ;
按照步骤②-a1至步骤②-k1的过程,采用相同的方式获取Rorg的双目融合区域和双目竞争区域、Ldis的双目融合区域和双目竞争区域、Rdis的双目融合区域和双目竞争区域。
所述的步骤③中取ωorg,L=0.5,ωorg,R=0.5,取ωdis,L=0.5,ωdis,R=0.5。
所述的步骤④中采用“db1”小波基分别对实施M级小波变换;所述的步骤⑥中采用“db1”小波基分别对实施M级小波变换。
所述的步骤⑥中为通过对实施组数为100的直方图统计得到的直方图频数统计区间的中点值,为通过对实施组数为100的直方图统计得到的频数;为通过对实施组数为100的直方图统计得到的直方图频数统计区间的中点值,为通过对实施组数为100的直方图统计得到的频数;为通过对实施组数为100的直方图统计得到的直方图频数统计区间的中点值,为通过对实施组数为100的直方图统计得到的频数,为通过对实施组数为100的直方图统计得到的直方图频数统计区间的中点值,为通过对实施组数为100的直方图统计得到的频数;为通过对实施组数为100的直方图统计得到的直方图频数统计区间的中点值,为通过对实施组数为100的直方图统计得到的频数,为通过对实施组数为100的直方图统计得到的直方图频数统计区间的中点值,为通过对实施组数为100的直方图统计得到的频数;为通过对实施组数为100的直方图统计得到的直方图频数统计区间的中点值,为通过对实施组数为100的直方图统计得到的频数,为通过对实施组数为100的直方图统计得到的直方图频数统计区间的中点值,为通过对实施组数为100的直方图统计得到的频数。
所述的步骤⑩中Qcyc的权值系数p的获取过程为:
⑩-a、采用n幅无失真的立体图像建立其在不同失真类型不同失真程度下的失真立体图像集,该失真立体图像集包括多幅失真的立体图像,其中,n≥1;
⑩-b、采用主观质量评价方法,获取该失真立体图像集中的每幅失真的立体图像的平均主观评分差值,记为DMOS,DMOS=100-MOS,其中,MOS表示主观评分均值,DMOS∈[0,100];
⑩-c、按照步骤①至步骤⑨的过程,采用相同的方式计算该失真立体图像集中的每幅失真的立体图像的双目融合区域的质量Qcyc和双目竞争区域的质量Qriv
⑩-d、令p在区间[0,1]内以0.1为步长进行取值,分别求取不同p值下的Q=Qriv×Qcyc p,将每个p值下的Q=Qriv×Qcyc p与平均主观评分差值DMOS进行四参数Logistic函数非线性拟合,得到各个p值下的拟合结果,选取最好的拟合结果对应的p值,作为Qcyc的权值系数。
与现有技术相比,本发明的优点在于:
1)本发明方法通过结合人眼对立体图像的双目感知特性,考虑人眼的双目融合特性和双目竞争特性,对无失真的立体图像的左视点图像和右视点图像及失真的立体图像的左视点图像和右视点图像实施双目立体感知分解,得到各自的双目融合区域和双目竞争区域,再提取无失真的立体图像的左视点图像和右视点图像各自的双目融合区域和双目竞争区域有效的质降参考特征,利用提取的质降参考特征对失真的立体图像进行评价,能够有效地提高客观评价结果与主观感知之间的相关性。
2)本发明方法对失真的立体图像的质量评价分为失真的立体图像双目融合区域的质量评价和双目竞争区域的质量评价两部分,前者主要从人眼视觉的双目融合特性、对比敏感度特性出发,以图像的奇异值作为质降参考特征,能很好的表征图像属性且具有较好的稳定性;后者从人眼视觉的双目竞争特性出发,以及利用广义高斯拟合模型能够用极少的参数来较好的描述图像的分布特征,将双目竞争区域进行小波变换后,拟合其各子带的广义高斯拟合模型的形状参数和尺度参数,得到双目竞争区域的质量;由于本发明方法更多的考虑了人眼感知特性,因此保证了失真的立体图像的客观质量评价结果与主观感知之间的相关性,并提取有效的质降参考特征,提高了带宽利用率。
3)本发明方法利用立体图像的双目融合区域的质量评价和双目竞争区域的质量评价两部分各自的特性,在双目融合区域求取独眼图,而在双目竞争区域对不利于独眼图融合的信息进行单独评价,这种方式能够更好的保留完整的原始图像信息,准确的反应人眼的感知特性,有效地保证了客观评价的准确性。
附图说明
图1为本发明方法的总体实现框图;
图2为获取Idis的双目融合区域的质量Qcyc的实现框图;
图3为获取Idis的双目竞争区域的质量Qriv的实现框图;
图4a为不同p值下,失真的立体图像的质量和主观感知质量之间的CC性能变化图;
图4b为不同p值下,失真的立体图像的质量和主观感知质量之间的RMSE性能变化图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种基于人眼感知的质降参考立体图像质量客观评价方法,其考虑到人眼对立体图像感知过程中的双目融合和双目竞争特性,将立体图像分为双目融合区域和双目竞争区域,然后利用SVD(SingularValueDecomposition)的特征提取方法获得质降参考特征,度量待评价的失真的立体图像的双目融合区域的质量;双目竞争区域采用广义高斯拟合模型,比较参考图像与失真图像的形状参数和尺度参数,得到待评价的失真的立体图像的双目竞争区域的质量,再加权双目融合区域的质量和双目竞争区域的质量,得到待评价的失真的立体图像的度量分数。其主要处理过程为:
获取原始的无失真的立体图像的左视点图像和右视点图像各自的双目融合区域和双目竞争区域,并获取待评价的失真的立体图像的左视点图像和右视点图像各自的双目融合区域和双目竞争区域;
根据原始的无失真的立体图像的左视点图像和右视点图像的双目融合区域,获取原始的无失真的立体图像的独眼图,并根据待评价的失真的立体图像的左视点图像和右视点图像的双目融合区域,获取待评价的失真的立体图像的独眼图;
对原始的无失真的立体图像的独眼图通过多级小波变换后得到的所有系数矩阵进行非重叠分块处理,对得到的每个矩阵块进行奇异值分解,获取每个矩阵块的奇异值对角矩阵对应的奇异值和;并对待评价的失真的立体图像的独眼图通过多级小波变换后得到的所有系数矩阵进行非重叠分块处理,对得到的每个矩阵块进行奇异值分解,获取每个矩阵块的奇异值对角矩阵对应的奇异值和;
根据原始的无失真的立体图像的独眼图和待评价的失真的立体图像的独眼图各自通过多级小波变换后得到的每个系数矩阵中的每个矩阵块对应的奇异值和,获取待评价的失真的立体图像的独眼图相对于原始的无失真的立体图像的独眼图的对应子带的质量因子,然后利用对比敏感度函数加权所有质量因子得到待评价的失真的立体图像的双目融合区域的质量;
对原始的无失真的立体图像的左视点图像和右视点图像及待评价的失真的立体图像的左视点图像和右视点图像各自的双目竞争区域实施多级小波变换,然后对得到的每个系数矩阵中的系数分布进行广义高斯拟合,得到每个系数矩阵的广义高斯拟合模型的尺度参数和形状参数;
根据原始的无失真的立体图像的左视点图像的双目竞争区域和待评价的失真的立体图像的左视点图像的双目竞争区域的对应的两个系数矩阵的广义高斯拟合模型的尺度参数和形状参数,获取待评价的失真的立体图像的左视点图像的双目竞争区域相对于原始的无失真的立体图像的左视点图像的双目竞争区域的对应子带的质量因子,然后利用对比敏感度函数加权所有质量因子得到待评价的失真的立体图像的左视点图像的双目竞争区域的质量;并根据原始的无失真的立体图像的右视点图像的双目竞争区域和待评价的失真的立体图像的右视点图像的双目竞争区域的对应的两个系数矩阵的广义高斯拟合模型的尺度参数和形状参数,获取待评价的失真的立体图像的右视点图像的双目竞争区域相对于原始的无失真的立体图像的右视点图像的双目竞争区域的对应子带的质量因子,然后利用对比敏感度函数加权所有质量因子得到待评价的失真的立体图像的右视点图像的双目竞争区域的质量;再根据待评价的失真的立体图像的左视点图像和右视点图像各自的双目竞争区域的质量,获得待评价的失真的立体图像的的双目竞争区域的质量;
根据待评价的失真的立体图像的双目融合区域的质量和双目竞争区域的质量,获得待评价的失真的立体图像相对于原始的无失真的立体图像的度量分数。
本发明方法的总体实现框图如图1所示,具体包括以下步骤:
①令Iorg表示原始的无失真的立体图像,令Idis表示待评价的失真的立体图像,将Iorg的左视点图像记为Lorg,将Iorg的右视点图像记为Rorg,将Idis的左视点图像记为Ldis,将Idis的右视点图像记为Rdis
②对双目视觉的感知特性的研究表明,双目视觉信息是由两条视觉通路同时处理得到的,分别是双目融合的独眼视点视觉通路和双目竞争视觉通路,这两条视觉通路对人类立体感知产生的影响截然不同,因此本发明方法将立体图像分为双目融合区域和双目竞争区域分别进行质量评价。对Lorg实施双目立体感知分解,得到Lorg的双目融合区域和双目竞争区域,对应记为并对Rorg实施双目立体感知分解,得到Rorg的双目融合区域和双目竞争区域,对应记为同样,对Ldis实施双目立体感知分解,得到Ldis的双目融合区域和双目竞争区域,对应记为并对Rdis实施双目立体感知分解,得到Rdis的双目融合区域和双目竞争区域,对应记为
在此具体实施例中,步骤②中Lorg的双目融合区域和双目竞争区域的获取过程为:
②-a1、对Lorg做13个像素点的“symmetric”对称边界扩展,得到Lorg的边界扩张图。
②-b1、为了保证立体图像的双目融合区域及双目竞争区域求取的准确性,考虑图像像素点之间的相关性,采用尺寸大小为27×27的第一滑动窗口在Lorg的边界扩张图除上边界、下边界、左边界和右边界各13个像素点外的中心区域中逐像素点移动,保证第一滑动窗口始终位于Lorg的边界扩张图中。
由于Lorg的边界扩张图是通过对Lorg做13个像素点的“symmetric”对称边界扩展形成的,因此采用第一滑动窗口在Lorg的边界扩张图除上边界、下边界、左边界和右边界各13个像素点外的中心区域中逐像素点移动,即保证了第一滑动窗口始终位于Lorg的边界扩张图中,其实就是采用尺寸大小为27×27的第一滑动窗口在Lorg中逐像素点移动,每个像素点都作为每次移动的第一滑动窗口的中心像素点。
②-c1、将左上角像素点与Lorg的边界扩张图的左上角像素点一致的第一滑动窗口作为当前第一滑动窗口,将Lorg的边界扩张图中与当前第一滑动窗口相对应的区域定义为当前计算区域。
②-d1、将以当前计算区域的中心像素点为中心的尺寸大小为21×21的区域定义为基准块。
②-e1、采用尺寸大小为21×21的第二滑动窗口在当前计算区域内移动,并使第二滑动窗口的中心像素点在当前计算区域的中心7×7区域中逐像素点移动,以保证第二滑动窗口始终位于当前计算区域中。
②-f1、将左上角像素点与当前计算区域的左上角像素点一致的第二滑动窗口作为当前第二滑动窗口,将当前计算区域中与当前第二滑动窗口相对应的区域定义为当前计算块。
②-g1、判断当前计算块与基准块是否为同一个区域,如果是,则保持当前计算块中的所有像素点的像素值不变,然后执行步骤②-h1;否则,计算当前计算块与基准块的互信息值,假设当前计算块的中心像素点在当前计算区域的中心7×7区域中的坐标位置为(i,j),则将当前计算块与基准块的互信息值记为H(i,j),然后将H(i,j)作为当前计算块的中心像素点的加权系数,再执行步骤②-h1,其中,1≤i≤7,1≤j≤7,且i,j不同时为3。
②-h1、将下一个第二滑动窗口作为当前第二滑动窗口,将当前计算区域中与当前第二滑动窗口相对应的区域作为当前计算块,然后返回步骤②-g1继续执行,直至获得当前计算区域中除与基准块为同一区域的计算块外的每个计算块与基准块的互信息值。
②-i1、根据当前计算区域中除与基准块为同一区域的计算块外的每个计算块与基准块的互信息值,计算当前计算区域的中心像素点的双目融合区域值,假设当前计算区域的中心像素点在Lorg的边界扩张图除上边界、下边界、左边界和右边界各13个像素点外的中心区域中的坐标位置为(m,n),则将当前计算区域的中心像素点的双目融合区域值记为x'(m,n),其中,1≤m≤W,1≤n≤H,W表示Lorg的边界扩张图除上边界、下边界、左边界和右边界各13个像素点外的中心区域的宽,也即是Lorg的宽,H表示Lorg的边界扩张图除上边界、下边界、左边界和右边界各13个像素点外的中心区域的高,也即是Lorg的高,1≤i≤7,1≤j≤7,且i,j不同时为3,x(i,j)表示H(i,j)对应的计算块的中心像素点的像素值。
②-j1、将下一个第一滑动窗口作为当前第一滑动窗口,将Lorg的边界扩张图中与当前第一滑动窗口相对应的区域作为当前计算区域,然后返回步骤②-d1继续执行,直至获得Lorg的边界扩张图中的每个计算区域的中心像素点的双目融合区域值,将由Lorg的边界扩张图中的所有计算区域的中心像素点的双目融合区域值构成的图像作为Lorg的双目融合区域,记为
②-k1、根据Lorg和Lorg的双目融合区域获取Lorg的双目竞争区域,记为 L o r g r i v = L o r g - L o r g f u s .
按照步骤②-a1至步骤②-k1的过程,采用相同的方式获取Rorg的双目融合区域和双目竞争区域、Ldis的双目融合区域和双目竞争区域、Rdis的双目融合区域和双目竞争区域。如:获取Ldis的双目融合区域和双目竞争区域的具体过程为:
②-a3、对Ldis做13个像素点的“symmetric”对称边界扩展,得到Ldis的边界扩张图。②-b3、采用尺寸大小为27×27的第一滑动窗口在Ldis的边界扩张图除上边界、下边界、左边界和右边界各13个像素点外的中心区域中逐像素点移动,保证第一滑动窗口始终位于Ldis的边界扩张图中。②-c3、将左上角像素点与Ldis的边界扩张图的左上角像素点一致的第一滑动窗口作为当前第一滑动窗口,将Ldis的边界扩张图中与当前第一滑动窗口相对应的区域定义为当前计算区域。②-d3、将以当前计算区域的中心像素点为中心的尺寸大小为21×21的区域定义为基准块。②-e3、采用尺寸大小为21×21的第二滑动窗口在当前计算区域内移动,并使第二滑动窗口的中心像素点在当前计算区域的中心7×7区域中逐像素点移动,以保证第二滑动窗口始终位于当前计算区域中。②-f3、将左上角像素点与当前计算区域的左上角像素点一致的第二滑动窗口作为当前第二滑动窗口,将当前计算区域中与当前第二滑动窗口相对应的区域定义为当前计算块。②-g3、判断当前计算块与基准块是否为同一个区域,如果是,则保持当前计算块中的所有像素点的像素值不变,然后执行步骤②-h3;否则,计算当前计算块与基准块的互信息值,假设当前计算块的中心像素点在当前计算区域的中心7×7区域中的坐标位置为(i,j),则将当前计算块与基准块的互信息值记为H'(i,j),然后将H'(i,j)作为当前计算块的中心像素点的加权系数,再执行步骤②-h3,其中,1≤i≤7,1≤j≤7,且i,j不同时为3。②-h3、将下一个第二滑动窗口作为当前第二滑动窗口,将当前计算区域中与当前第二滑动窗口相对应的区域作为当前计算块,然后返回步骤②-g3继续执行,直至获得当前计算区域中除与基准块为同一区域的计算块外的每个计算块与基准块的互信息值。②-i3、根据当前计算区域中除与基准块为同一区域的计算块外的每个计算块与基准块的互信息值,计算当前计算区域的中心像素点的双目融合区域值,假设当前计算区域的中心像素点在Ldis的边界扩张图除上边界、下边界、左边界和右边界各13个像素点外的中心区域中的坐标位置为(m,n),则将当前计算区域的中心像素点的双目融合区域值记为x”(m,n), x &prime; &prime; ( m , n ) = &Sigma; i = 0 7 &Sigma; j = 0 7 H &prime; ( i , j ) &times; x &prime; ( i , j ) , 其中,1≤m≤W',1≤n≤H',W'表示Ldis的边界扩张图除上边界、下边界、左边界和右边界各13个像素点外的中心区域的宽,W'亦表示Ldis的宽,W'与W一致,H'表示Ldis的边界扩张图除上边界、下边界、左边界和右边界各13个像素点外的中心区域的高,H'亦表示Ldis的高,H'与H一致,1≤i≤7,1≤j≤7,且i,j不同时为3,x'(i,j)表示H'(i,j)对应的计算块的中心像素点的像素值。②-j3、将下一个第一滑动窗口作为当前第一滑动窗口,将Ldis的边界扩张图中与当前第一滑动窗口相对应的区域作为当前计算区域,然后返回步骤②-d3继续执行,直至获得Ldis的边界扩张图中的每个计算区域的中心像素点的双目融合区域值,将由Ldis的边界扩张图中的所有计算区域的中心像素点的双目融合区域值构成的图像作为Ldis的双目融合区域,记为②-k3、根据Ldis和Ldis的双目融合区域获取Ldis的双目竞争区域,记为 L d i s r i v = L d i s - L d i s f u s .
③根据获取Iorg的独眼图,记为中坐标位置为(u,v)的像素点的像素值记为 I o r g f u s ( u , v ) = &omega; o r g , L &times; L o r g f u s ( u , v ) + &omega; o r g , R &times; R o r g f u s ( ( u + d ) , v ) ; 同样,根据获取Idis的独眼图,记为中坐标位置为(u,v)的像素点的像素值记为 I d i s f u s ( u , v ) = &omega; d i s , L &times; L d i s f u s ( u , v ) + &omega; d i s , R &times; R d i s f u s ( ( u + d &prime; ) , v ) ; 其中,1≤u≤U,1≤v≤V,U表示的宽,V表示的高,ωorg,L表示的权值,ωorg,R表示的权值,在本实施例中取ωorg,L=0.5,ωorg,R=0.5,表示中坐标位置为(u,v)的像素点的像素值,表示中坐标位置为((u+d),v)的像素点的像素值,d表示相对于的偏移量,d可通过对实施现有的基于动态规划的立体匹配算法获得,ωdis,L表示的权值,ωdis,R表示的权值,在本实施例中取ωdis,L=0.5,ωdis,R=0.5,表示中坐标位置为(u,v)的像素点的像素值,表示中坐标位置为((u+d),v)的像素点的像素值,d'表示相对于的偏移量,d'可通过对实施现有的基于动态规划的立体匹配算法获得。
④对实施M级小波变换,得到的每个方向的M个子带和1个直流子带,将实施第m级小波变换后得到的第p个方向的第m个子带的系数矩阵记为实施M级小波变换后得到的直流子带的系数矩阵记为其中,M≥1,在本实施例中取M=4,1≤p≤3,p=1时第p个方向表示水平方向,p=2时第p个方向表示垂直方向,p=3时第p个方向表示对角方向,1≤m≤M;然后为了降低计算复杂度,并减少质降特征的数量,将的每个方向的每个子带的系数矩阵和分别分割成多个尺寸大小为8×8的互不重叠的矩阵块,将中的第e个矩阵块记为中的第e'个矩阵块记为 1 &le; e &le; W o r g p , m &times; H o r g p , m 8 &times; 8 , e的初始值为1,表示的列数,表示的行数, 1 &le; e &prime; &le; W o r g D C &times; H o r g D C 8 &times; 8 , e'的初始值为1,表示的列数,表示的行数;接着对的每个方向的每个子带的系数矩阵中的每个矩阵块进行奇异值分解,得到的每个方向的每个子带的系数矩阵中的每个矩阵块的奇异值对角矩阵,将的奇异值对角矩阵记为同样,对中的每个矩阵块进行奇异值分解,得到中的每个矩阵块的奇异值对角矩阵,将的奇异值对角矩阵记为再计算的每个方向的每个子带的系数矩阵中的每个矩阵块的奇异值对角矩阵对应的奇异值和,将对应的奇异值和记为 SUM o r g , e f u s , p , m = &Sigma; i = 1 8 &Sigma; j = 1 8 SVD o r g , e f u s , p , m ( i , j ) , 同样,计算中的每个矩阵块的奇异值对角矩阵对应的奇异值和,将对应的奇异值和记为 上述每一个奇异值和作为一个质降参考特征进行传输,相比于全参考方法需要原始立体图像的左视点图像和右视点图像的全部信息,本发明方法中用于传输的双目融合区域的质降参考特征个数仅为全参考方法的参考特征个数的其中,表示中坐标位置为(i,j)处的奇异值,表示中坐标位置为(i,j)处的奇异值,1≤i≤8,1≤j≤8。
同样,对实施M级小波变换,得到的每个方向的M个子带和1个直流子带,将实施第m级小波变换后得到的第p个方向的第m个子带的系数矩阵记为实施M级小波变换后得到的直流子带的系数矩阵记为其中,M≥1,在本实施例中取M=4,1≤p≤3,p=1时第p个方向表示水平方向,p=2时第p个方向表示垂直方向,p=3时第p个方向表示对角方向,1≤m≤M;然后为了降低计算复杂度,并减少质降特征的数量,将的每个方向的每个子带的系数矩阵和分别分割成多个尺寸大小为8×8的互不重叠的矩阵块,将中的第e个矩阵块记为中的第e'个矩阵块记为 1 &le; e &le; W d i s p , m &times; H d i s p , m 8 &times; 8 , e的初始值为1,表示的列数,一致,表示的行数,一致, 1 &le; e &prime; &le; W d i s D C &times; H d i s D C 8 &times; 8 , e'的初始值为1,表示的列数,一致,表示的行数,一致;接着对的每个方向的每个子带的系数矩阵中的每个矩阵块进行奇异值分解,得到的每个方向的每个子带的系数矩阵中的每个矩阵块的奇异值对角矩阵,将的奇异值对角矩阵记为同样,对中的每个矩阵块进行奇异值分解,得到中的每个矩阵块的奇异值对角矩阵,将的奇异值对角矩阵记为再计算的每个方向的每个子带的系数矩阵中的每个矩阵块的奇异值对角矩阵对应的奇异值和,将对应的奇异值和记为 SUM d i s , e f u s , p , m = &Sigma; i = 1 8 &Sigma; j = 1 8 SVD d i s , e f u s , p , m ( i , j ) , 同样,计算中的每个矩阵块的奇异值对角矩阵对应的奇异值和,将对应的奇异值和记为 SUM d i s , e &prime; f u s , D C = &Sigma; i = 1 8 &Sigma; j = 1 8 SVD d i s , e &prime; f u s , D C ( i , j ) , 其中,表示中坐标位置为(i,j)处的奇异值,表示中坐标位置为(i,j)处的奇异值,1≤i≤8,1≤j≤8。
在此,采用“db1”小波基分别对实施M级小波变换。
⑤计算的每个方向的每个子带的系数矩阵中的每个矩阵块与的每个方向的每个子带的系数矩阵中的每个矩阵块之间的奇异值特征距离,将之间的奇异值特征距离记为 &delta; e f u s , p , m = | SUM o r g , e f u s , p , m - SUM d i s , e f u s , p , m | , 其中,符号“||”为取绝对值符号,越大,双目融合区域的质量越差,越小,双目融合区域的质量越好;同样,计算中的每个矩阵块与中的每个矩阵块之间的奇异值特征距离,将之间的奇异值特征距离记为 &delta; e &prime; f u s , D C = | SUM o r g , e &prime; f u s , D C - SUM d i s , e &prime; f u s , D C | , 其中,符号“||”为取绝对值符号。
然后计算相对于的同方向的对应子带的质量因子,将的第p个方向的第m个子带相对于的第p个方向的第m个子带的质量因子记为FUSp,m FUS p , m = &Sigma; e = 1 W d i s p , m &times; H d i s p , m 8 &times; 8 | &delta; e f u s , p , m - mid&delta; f u s , p , m | W d i s p , m &times; H d i s p , m 8 &times; 8 , 其中,midδfus,p,m表示中的所有矩阵块与中对应矩阵块之间的奇异值特征距离的中值;同样,计算的直流子带相对于的直流子带的质量因子,记为FUSDC FUS D C = &Sigma; e &prime; = 1 W d i s D C &times; H d i s D C 8 &times; 8 | &delta; e &prime; f u s , D C - mid&delta; f u s , D C | W d i s D C &times; H d i s D C 8 &times; 8 , 其中,midδfus,DC表示中的所有矩阵块与中对应矩阵块之间的奇异值特征距离的中值。
由于人眼对不同子带具有不同敏感度的特性,因此本发明方法接着利用对比敏感度函数对相对于的同方向的对应子带的质量因子及的直流子带相对于的直流子带的质量因子进行加权,得到Idis的双目融合区域的质量,记为Qcyc Q c y c = FUS D C &times; w D C + &Sigma; p = 1 3 &Sigma; m = 1 M FUS p , m &times; w p , m w D C + &Sigma; p = 1 3 &Sigma; m = 1 M w p , m , 其中,wp,m表示的第p个方向的第m个子带的对比灵敏度函数系数,ap,m表示第p个方向的第m个子带的频带区间的下限,bp,m表示第p个方向的第m个子带的频带区间的上限,当1≤m<M时,当m=M时,ap,m=0,wDC表示的直流子带的对比灵敏度函数系数,wDC=1。
图2给出了获取Idis的双目融合区域的质量Qcyc的实现框图。
⑥对实施M级小波变换,得到的每个方向的M个子带和1个直流子带,将实施第m级小波变换后得到的第p个方向的第m个子带的系数矩阵记为实施M级小波变换后得到的直流子带的系数矩阵记为其中,M≥1,在本实施例中取M=4,1≤p≤3,p=1时第p个方向表示水平方向,p=2时第p个方向表示垂直方向,p=3时第p个方向表示对角方向,1≤m≤M;然后对的每个方向的每个子带的系数矩阵中的系数分布进行广义高斯拟合,得到的每个方向的每个子带的系数矩阵的广义高斯拟合模型的尺度参数和形状参数,将的广义高斯拟合模型描述为 P ( x o r g , L r i v , p , m ) = &beta; o r g , L r i v , p , m 2 &alpha; o r g , L r i v , p , m &times; &tau; ( 1 / &beta; o r g , L r i v , p , m ) exp ( - ( | x o r g , L r i v , p , m | &alpha; o r g , L r i v , p , m ) &beta; o r g , L r i v , p , m ) , 同样,对中的系数分布进行广义高斯拟合,得到的广义高斯拟合模型的尺度参数和形状参数,将的广义高斯拟合模型描述为 P ( x o r g , L r i v , D C ) = &beta; o r g , L r i v , D C 2 &alpha; o r g , L r i v , D C &times; &tau; ( 1 / &beta; o r g , L r i v , D C ) exp ( - ( | x o r g , L r i v , D C | &alpha; o r g , L r i v , D C ) &beta; o r g , L r i v , D C ) , 其中,的广义高斯拟合模型的尺度参数,的广义高斯拟合模型的形状参数,的广义高斯拟合模型的尺度参数,的广义高斯拟合模型的形状参数,表示的广义高斯拟合模型的输出,表示的广义高斯拟合模型的输入,表示的广义高斯拟合模型的输出,表示的广义高斯拟合模型的输入,τ()表示Gamma函数,符号“||”为取绝对值符号。上述一个子带的系数矩阵的广义高斯拟合模型的尺度参数和形状参数作为一个质降参考特征进行传输,如果实施4级小波变换,则提取的用于传输的无失真的立体图像的左视点图像的双目竞争区域的质降参考特征个数仅26个系数。
同样,对实施M级小波变换,得到的每个方向的M个子带和1个直流子带,将实施第m级小波变换后得到的第p个方向的第m个子带的系数矩阵记为实施M级小波变换后得到的直流子带的系数矩阵记为其中,M≥1,在本实施例中取M=4,1≤p≤3,p=1时第p个方向表示水平方向,p=2时第p个方向表示垂直方向,p=3时第p个方向表示对角方向,1≤m≤M;然后对的每个方向的每个子带的系数矩阵中的系数分布进行广义高斯拟合,得到的每个方向的每个子带的系数矩阵的广义高斯拟合模型的尺度参数和形状参数,将的广义高斯拟合模型描述为 P ( x o r g , R r i v , p , m ) = &beta; o r g , R r i v , p , m 2 &alpha; o r g , R r i v , p , m &times; &tau; ( 1 / &beta; o r g , R r i v , p , m ) exp ( - ( | x o r g , R r i v , p , m | &alpha; o r g , R r i v , p , m ) &beta; o r g , R r i v , p , m ) , 同样,对中的系数分布进行广义高斯拟合,得到的广义高斯拟合模型的尺度参数和形状参数,将的广义高斯拟合模型描述为 P ( x o r g , R r i v , D C ) = &beta; o r g , R r i v , D C 2 &alpha; o r g , R r i v , D C &times; &tau; ( 1 / &beta; o r g , R r i v , D C ) exp ( - ( | x o r g , R r i v , D C | &alpha; o r g , R r i v , D C ) &beta; o r g , R r i v , D C ) , 其中,的广义高斯拟合模型的尺度参数,的广义高斯拟合模型的形状参数,的广义高斯拟合模型的尺度参数,的广义高斯拟合模型的形状参数,表示的广义高斯拟合模型的输出,表示的广义高斯拟合模型的输入,表示的广义高斯拟合模型的输出,表示的广义高斯拟合模型的输入,τ()表示Gamma函数,符号“||”为取绝对值符号。上述一个子带的系数矩阵的广义高斯拟合模型的尺度参数和形状参数作为一个质降参考特征进行传输,如果实施4级小波变换,则提取的用于传输的无失真的立体图像的右视点图像的双目竞争区域的质降参考特征个数仅26个系数。
同样,对实施M级小波变换,得到的每个方向的M个子带和1个直流子带,将实施第m级小波变换后得到的第p个方向的第m个子带的系数矩阵记为实施M级小波变换后得到的直流子带的系数矩阵记为其中,M≥1,在本实施例中取M=4,1≤p≤3,p=1时第p个方向表示水平方向,p=2时第p个方向表示垂直方向,p=3时第p个方向表示对角方向,1≤m≤M;然后对的每个方向的每个子带的系数矩阵中的系数分布进行广义高斯拟合,得到的每个方向的每个子带的系数矩阵的广义高斯拟合模型的尺度参数和形状参数,将的广义高斯拟合模型描述为 P ( x d i s , L r i v , p , m ) = &beta; d i s , L r i v , p , m 2 &alpha; d i s , L r i v , p , m &times; &tau; ( 1 / &beta; d i s , L r i v , p , m ) exp ( - ( | x d i s , L r i v , p , m | &alpha; d i s , L r i v , p , m ) &beta; d i s , L r i v , p , m ) , 同样,对中的系数分布进行广义高斯拟合,得到的广义高斯拟合模型的尺度参数和形状参数,将的广义高斯拟合模型描述为 P ( x d i s , L r i v , D C ) = &beta; d i s , L r i v , D C 2 &alpha; d i s , L r i v , D C &times; &tau; ( 1 / &beta; d i s , L r i v , D C ) exp ( - ( | x d i s , L r i v , D C | &alpha; d i s , L r i v , D C ) &beta; d i s , L r i v , D C ) , 其中,的广义高斯拟合模型的尺度参数,的广义高斯拟合模型的形状参数,的广义高斯拟合模型的尺度参数,的广义高斯拟合模型的形状参数,表示的广义高斯拟合模型的输出,表示的广义高斯拟合模型的输入,表示的广义高斯拟合模型的输出,表示的广义高斯拟合模型的输入,τ()表示Gamma函数,符号“||”为取绝对值符号。
同样,对实施M级小波变换,得到的每个方向的M个子带和1个直流子带,将实施第m级小波变换后得到的第p个方向的第m个子带的系数矩阵记为实施M级小波变换后得到的直流子带的系数矩阵记为其中,M≥1,在本实施例中取M=4,1≤p≤3,p=1时第p个方向表示水平方向,p=2时第p个方向表示垂直方向,p=3时第p个方向表示对角方向,1≤m≤M;然后对的每个方向的每个子带的系数矩阵中的系数分布进行广义高斯拟合,得到的每个方向的每个子带的系数矩阵的广义高斯拟合模型的尺度参数和形状参数,将的广义高斯拟合模型描述为 P ( x d i s , R r i v , p , m ) = &beta; d i s , R r i v , p , m 2 &alpha; d i s , R r i v , p , m &times; &tau; ( 1 / &beta; d i s , R r i v , p , m ) exp ( - ( | x d i s , R r i v , p , m | &alpha; d i s , R r i v , p , m ) &beta; d i s , R r i v , p , m ) , 同样,对中的系数分布进行广义高斯拟合,得到的广义高斯拟合模型的尺度参数和形状参数,将的广义高斯拟合模型描述为 P ( x d i s , R r i v , D C ) = &beta; d i s , R r i v , D C 2 &alpha; d i s , R r i v , D C &times; &tau; ( 1 / &beta; d i s , R r i v , D C ) exp ( - ( | x d i s , R r i v , D C | &alpha; d i s , R r i v , D C ) &beta; d i s , R r i v , D C ) , 其中,的广义高斯拟合模型的尺度参数,的广义高斯拟合模型的形状参数,的广义高斯拟合模型的尺度参数,的广义高斯拟合模型的形状参数,表示的广义高斯拟合模型的输出,表示的广义高斯拟合模型的输入,表示的广义高斯拟合模型的输出,表示的广义高斯拟合模型的输入,τ()表示Gamma函数,符号“||”为取绝对值符号。
在此,采用“db1”小波基分别对实施M级小波变换。
在本实施例中,为通过对实施组数为100的直方图统计得到的直方图频数统计区间的中点值,为通过对实施组数为100的直方图统计得到的频数;为通过对实施组数为100的直方图统计得到的直方图频数统计区间的中点值,为通过对实施组数为100的直方图统计得到的频数;为通过对实施组数为100的直方图统计得到的直方图频数统计区间的中点值,为通过对实施组数为100的直方图统计得到的频数,为通过对实施组数为100的直方图统计得到的直方图频数统计区间的中点值,为通过对实施组数为100的直方图统计得到的频数;为通过对实施组数为100的直方图统计得到的直方图频数统计区间的中点值,为通过对实施组数为100的直方图统计得到的频数,为通过对实施组数为100的直方图统计得到的直方图频数统计区间的中点值,为通过对实施组数为100的直方图统计得到的频数;为通过对实施组数为100的直方图统计得到的直方图频数统计区间的中点值,为通过对实施组数为100的直方图统计得到的频数,为通过对实施组数为100的直方图统计得到的直方图频数统计区间的中点值,为通过对实施组数为100的直方图统计得到的频数。
⑦根据的每个方向的每个子带的系数矩阵的广义高斯拟合模型的尺度参数和形状参数和的每个方向的每个子带的系数矩阵的广义高斯拟合模型的尺度参数和形状参数,计算相对于的同方向的对应子带的质量因子,将的第p个方向的第m个子带相对于的第p个方向的第m个子带的质量因子记为 q L r i v , p , m = 1 - 2 &times; | &alpha; o r g , L r i v , p , m &times; &alpha; d i s , L r i v , p , m | ( &alpha; o r g , L r i v , p , m ) 2 + ( &alpha; d i s , L r i v , p , m ) 2 + 1 - 2 &times; | &beta; o r g , L r i v , p , m &times; &beta; d i s , L r i v , p , m | ( &beta; o r g , L r i v , p , m ) 2 + ( &beta; d i s , L r i v , p , m ) 2 ; 同样,根据的广义高斯拟合模型的尺度参数和形状参数和的广义高斯拟合模型的尺度参数和形状参数,计算的直流子带相对于的直流子带的质量因子,记为 q L r i v , D C = 1 - 2 &times; | &alpha; o r g , L r i v , D C &times; &alpha; d i s , L r i v , D C | ( &alpha; o r g , L r i v , D C ) 2 + ( &alpha; d i s , L r i v , D C ) 2 + 1 - 2 &times; | &beta; o r g , L r i v , D C &times; &beta; d i s , L r i v , D C | ( &beta; o r g , L r i v , D C ) 2 + ( &beta; d i s , L r i v , D C ) 2 .
在此, 0 &le; q L r i v , p , m &le; 2 , 0 &le; q L r i v , D C &le; 2 , 越大,失真的立体图像的左视点图像的双目竞争区域的质量越差,越小,失真的立体图像的左视点图像的双目竞争区域的质量越好。
同样,根据的每个方向的每个子带的系数矩阵的广义高斯拟合模型的尺度参数和形状参数和的每个方向的每个子带的系数矩阵的广义高斯拟合模型的尺度参数和形状参数,计算相对于的同方向的对应子带的质量因子,将的第p个方向的第m个子带相对于的第p个方向的第m个子带的质量因子记为 q R r i v , p , m = 1 - 2 &times; | &alpha; o r g , R r i v , p , m &times; &alpha; d i s , R r i v , p , m | ( &alpha; o r g , R r i v , p , m ) 2 + ( &alpha; d i s , R r i v , p , m ) 2 + 1 - 2 &times; | &beta; o r g , R r i v , p , m &times; &beta; d i s , R r i v , p , m | ( &beta; o r g , R r i v , p , m ) 2 + ( &beta; d i s , R r i v , p , m ) 2 ; 同样,根据的广义高斯拟合模型的尺度参数和形状参数和的广义高斯拟合模型的尺度参数和形状参数,计算的直流子带相对于的直流子带的质量因子,记为 q R r i v , D C = 1 - 2 &times; | &alpha; o r g , R r i v , D C &times; &alpha; d i s , R r i v , D C | ( &alpha; o r g , R r i v , D C ) 2 + ( &alpha; d i s , R r i v , D C ) 2 + 1 - 2 &times; | &beta; o r g , R r i v , D C &times; &beta; d i s , R r i v , D C | ( &beta; o r g , R r i v , D C ) 2 + ( &beta; d i s , R r i v , D C ) 2 .
在此, 0 &le; q R r i v , p , m &le; 2 , 0 &le; q R r i v , D C &le; 2 , 越大,失真的立体图像的右视点图像的双目竞争区域的质量越差,越小,失真的立体图像的右视点图像的双目竞争区域的质量越好。
⑧利用对比敏感度函数对相对于的同方向的对应子带的质量因子及的直流子带相对于的直流子带的质量因子进行加权,得到Ldis的双目竞争区域的质量,记为 Q L r i v = q L r i v , D C &times; w L D C + &Sigma; p = 1 3 &Sigma; m = 1 M | q L r i v , p , m | &times; w L p , m w L D C + &Sigma; p = 1 3 &Sigma; m = 1 M w L p , m , 其中,表示的第p个方向的第m个子带的对比灵敏度函数系数,ap,m表示第p个方向的第m个子带的频带区间的下限,bp,m表示第p个方向的第m个子带的频带区间的上限,当1≤m<M时,当m=M时,ap,m=0, 表示的直流子带的对比灵敏度函数系数,符号“||”为取绝对值符号。
同样,利用对比敏感度函数对相对于的同方向的对应子带的质量因子及的直流子带相对于的直流子带的质量因子进行加权,得到Rdis的双目竞争区域的质量,记为 Q R r i v = q R r i v , D C &times; w R D C + &Sigma; p = 1 3 &Sigma; m = 1 M | q R r i v , p , m | &times; w R p , m w R D C + &Sigma; p = 1 3 &Sigma; m = 1 M w R p , m , 其中,表示的第p个方向的第m个子带的对比灵敏度函数系数,ap,m表示第p个方向的第m个子带的频带区间的下限,bp,m表示第p个方向的第m个子带的频带区间的上限,当1≤m<M时,当m=M时,ap,m=0, 表示的直流子带的对比灵敏度函数系数,符号“||”为取绝对值符号。
⑨根据获取Idis的双目竞争区域的质量,记为Qriv其中,min()为取最小值函数。图3给出了获取Idis的双目竞争区域的质量Qriv的实现框图。
⑩根据Idis的双目融合区域的质量Qcyc和Idis的双目竞争区域的质量Qriv,计算Idis相对于Iorg的度量分数,记为Q,Q=Qriv×Qcyc p,其中,p表示Qcyc的权值系数。
在此具体实施例中,步骤⑩中Qcyc的权值系数p的获取过程为:
⑩-a、采用n幅无失真的立体图像建立其在不同失真类型不同失真程度下的失真立体图像集,该失真立体图像集包括多幅失真的立体图像,其中,n≥1。
⑩-b、采用主观质量评价方法,获取该失真立体图像集中的每幅失真的立体图像的平均主观评分差值,记为DMOS,DMOS=100-MOS,其中,MOS表示主观评分均值,DMOS∈[0,100]。
⑩-c、按照步骤①至步骤⑨的过程,采用相同的方式计算该失真立体图像集中的每幅失真的立体图像的双目融合区域的质量Qcyc和双目竞争区域的质量Qriv
⑩-d、令p在区间[0,1]内以0.1为步长进行取值,分别求取不同p值下的Q=Qriv×Qcyc p,将每个p值下的Q=Qriv×Qcyc p与平均主观评分差值DMOS进行四参数Logistic函数非线性拟合,得到各个p值下的拟合结果,选取最好的拟合结果对应的p值,作为Qcyc的权值系数。
在本实施例中,利用德克萨斯大学奥斯汀分校的LIVE3DIQAdatabase(phaseI)给出的20幅无失真的立体图像建立其在5种不同失真类型不同失真程度下的失真立体图像集,包括80幅JPEG压缩编码失真的失真立体图像、80幅JP2K压缩编码失真的失真立体图像、45幅高斯白噪声失真(WN)的失真立体图像、80幅模糊失真(Gaussianblur)的失真立体图像以及80幅信道失真(fast-fading,FF)的失真立体图像。对上述365幅失真的立体图像按本发明方法的步骤①至步骤⑨的过程,采用相同的方式计算得到每幅失真的立体图像相应的Qcyc和Qriv,p在[0,1]的范围内以0.1为步长进行取值,p共可取11个不同的值,然后分别求取不同p值下的Q=Qriv×Qcyc p,再将每个p值下的Q=Qriv×Qcyc p分别与平均主观评分差值DMOS进行四参数Logistic函数非线性拟合,得到不同p值下的拟合结果,p值决定双目融合区域的质量和双目竞争区域的质量在失真的立体图像质量中的贡献。Qcyc和Qriv值都是随着失真的立体图像的失真程度加深而变大,因此p值的取值范围为大于0。图4a给出了不同p值下失真的立体图像的质量和主观感知质量之间的CC性能变化图,图4b给出了不同p值下失真的立体图像的质量和主观感知质量之间的RMSE性能变化图,从图4a和图4b中可知,p值取得太大或太小都会影响失真的立体图像的客观质量评价结果与主观感知之间的一致性,在p值变化的情况下,CC和RMSE值都存在极值点,且大致位置相同,这里取p=0.5。
分析实验得到的失真的立体图像的客观质量评价结果Q=Qriv×Qcyc 0.5与平均主观评分差值DMOS之间的相关性。首先获取Q值,然后将Q值做四参数Logistic函数非线性拟合,最后得到客观评价结果与主观感知之间的性能指标值。这里,利用评估图像质量评价方法的3个常用客观参量作为评价指标,即线性相关系数(Correlationcoefficient,CC)、Spearman秩相关系数(SpearmanRankOrderCorrelationcoefficient,SROCC)和均方根误差(RootedMeanSquaredError,RMSE)。CC和SROCC的取值范围是[0,1],其值越接近1,表明评价方法越好,反之,越差;RMSE值越小,表示评价方法的预测越准确,性能越好,反之,则越差。表示评价性能的CC、SROCC和RMSE系数如表1所列。由表1中所列的数据可见,按本发明方法计算得到的失真的立体图像相对于对应的无失真的立体图像的度量分数Q与平均主观评分差值DMOS之间有很好的相关性,特别是总体的评价,CC值和SROCC值都超过0.90,RMSE值低于6.5,表明了本发明方法的客观评价结果与人眼主观感知的结果较为一致,且评价效果稳定,充分说明了本发明方法的有效性。
表1按本发明方法计算得到的失真的立体图像相对于对应的无失真的立体图像的度量分数与平均主观评分差值之间的相关性
JP2K JPEG WN Gblur FF 总体评价
数目 80 80 80 45 80 365
CC 0.9096 0.7138 0.9085 0.9353 0.8258 0.9090
SROCC 0.9048 0.7038 0.9102 0.8702 0.8060 0.9160
RMSE 5.0065 3.6343 6.6702 4.2459 6.3546 6.3099

Claims (7)

1.一种基于人眼感知的质降参考立体图像质量客观评价方法,其特征在于它的处理过程为:
获取原始的无失真的立体图像的左视点图像和右视点图像各自的双目融合区域和双目竞争区域,并获取待评价的失真的立体图像的左视点图像和右视点图像各自的双目融合区域和双目竞争区域;
根据原始的无失真的立体图像的左视点图像和右视点图像的双目融合区域,获取原始的无失真的立体图像的独眼图,并根据待评价的失真的立体图像的左视点图像和右视点图像的双目融合区域,获取待评价的失真的立体图像的独眼图;
对原始的无失真的立体图像的独眼图通过多级小波变换后得到的所有系数矩阵进行非重叠分块处理,对得到的每个矩阵块进行奇异值分解,获取每个矩阵块的奇异值对角矩阵对应的奇异值和;并对待评价的失真的立体图像的独眼图通过多级小波变换后得到的所有系数矩阵进行非重叠分块处理,对得到的每个矩阵块进行奇异值分解,获取每个矩阵块的奇异值对角矩阵对应的奇异值和;
根据原始的无失真的立体图像的独眼图和待评价的失真的立体图像的独眼图各自通过多级小波变换后得到的每个系数矩阵中的每个矩阵块对应的奇异值和,获取待评价的失真的立体图像的独眼图相对于原始的无失真的立体图像的独眼图的对应子带的质量因子,然后利用对比敏感度函数加权所有质量因子得到待评价的失真的立体图像的双目融合区域的质量;
对原始的无失真的立体图像的左视点图像和右视点图像及待评价的失真的立体图像的左视点图像和右视点图像各自的双目竞争区域实施多级小波变换,然后对得到的每个系数矩阵中的系数分布进行广义高斯拟合,得到每个系数矩阵的广义高斯拟合模型的尺度参数和形状参数;
根据原始的无失真的立体图像的左视点图像的双目竞争区域和待评价的失真的立体图像的左视点图像的双目竞争区域的对应的两个系数矩阵的广义高斯拟合模型的尺度参数和形状参数,获取待评价的失真的立体图像的左视点图像的双目竞争区域相对于原始的无失真的立体图像的左视点图像的双目竞争区域的对应子带的质量因子,然后利用对比敏感度函数加权所有质量因子得到待评价的失真的立体图像的左视点图像的双目竞争区域的质量;并根据原始的无失真的立体图像的右视点图像的双目竞争区域和待评价的失真的立体图像的右视点图像的双目竞争区域的对应的两个系数矩阵的广义高斯拟合模型的尺度参数和形状参数,获取待评价的失真的立体图像的右视点图像的双目竞争区域相对于原始的无失真的立体图像的右视点图像的双目竞争区域的对应子带的质量因子,然后利用对比敏感度函数加权所有质量因子得到待评价的失真的立体图像的右视点图像的双目竞争区域的质量;再根据待评价的失真的立体图像的左视点图像和右视点图像各自的双目竞争区域的质量,获得待评价的失真的立体图像的的双目竞争区域的质量;
根据待评价的失真的立体图像的双目融合区域的质量和双目竞争区域的质量,获得待评价的失真的立体图像相对于原始的无失真的立体图像的度量分数。
2.根据权利要求1所述的一种基于人眼感知的质降参考立体图像质量客观评价方法,其特征在于该方法具体包括以下步骤:
①令Iorg表示原始的无失真的立体图像,令Idis表示待评价的失真的立体图像,将Iorg的左视点图像记为Lorg,将Iorg的右视点图像记为Rorg,将Idis的左视点图像记为Ldis,将Idis的右视点图像记为Rdis
②对Lorg实施双目立体感知分解,得到Lorg的双目融合区域和双目竞争区域,对应记为并对Rorg实施双目立体感知分解,得到Rorg的双目融合区域和双目竞争区域,对应记为同样,对Ldis实施双目立体感知分解,得到Ldis的双目融合区域和双目竞争区域,对应记为并对Rdis实施双目立体感知分解,得到Rdis的双目融合区域和双目竞争区域,对应记为
③根据获取Iorg的独眼图,记为中坐标位置为(u,v)的像素点的像素值记为 I o r g f u s ( u , v ) = &omega; o r g , L &times; L o r g f u s ( u , v ) + &omega; o r g , R &times; R o r g f u s ( ( u + d ) , v ) ; 同样,根据获取Idis的独眼图,记为中坐标位置为(u,v)的像素点的像素值记为 I d i s f u s ( u , v ) = &omega; d i s , L &times; L d i s f u s ( u , v ) + &omega; d i s , R &times; R d i s f u s ( ( u + d &prime; ) , v ) ; 其中,1≤u≤U,1≤v≤V,U表示的宽,V表示的高,ωorg,L表示的权值,ωorg,R表示的权值,表示中坐标位置为(u,v)的像素点的像素值,表示中坐标位置为((u+d),v)的像素点的像素值,d表示相对于的偏移量,ωdis,L表示的权值,ωdis,R表示的权值,表示中坐标位置为(u,v)的像素点的像素值,表示中坐标位置为((u+d),v)的像素点的像素值,d'表示相对于的偏移量;
④对实施M级小波变换,得到的每个方向的M个子带和1个直流子带,将实施第m级小波变换后得到的第p个方向的第m个子带的系数矩阵记为实施M级小波变换后得到的直流子带的系数矩阵记为其中,M≥1,1≤p≤3,p=1时第p个方向表示水平方向,p=2时第p个方向表示垂直方向,p=3时第p个方向表示对角方向,1≤m≤M;然后将的每个方向的每个子带的系数矩阵和分别分割成多个尺寸大小为8×8的互不重叠的矩阵块,将中的第e个矩阵块记为中的第e'个矩阵块记为 1 &le; e &le; W o r g p , m &times; H o r g p , m 8 &times; 8 , e的初始值为1,表示的列数,表示的行数, 1 &le; e &prime; &le; W o r g D C &times; H o r g D C 8 &times; 8 , e'的初始值为1,表示的列数,表示的行数;接着对的每个方向的每个子带的系数矩阵中的每个矩阵块进行奇异值分解,得到的每个方向的每个子带的系数矩阵中的每个矩阵块的奇异值对角矩阵,将的奇异值对角矩阵记为同样,对中的每个矩阵块进行奇异值分解,得到中的每个矩阵块的奇异值对角矩阵,将的奇异值对角矩阵记为再计算的每个方向的每个子带的系数矩阵中的每个矩阵块的奇异值对角矩阵对应的奇异值和,将对应的奇异值和记为 SUM o r g , e f u s , p , m = &Sigma; i = 1 8 &Sigma; j = 1 8 SVD o r g , e f u s , p , m ( i , j ) , 同样,计算中的每个矩阵块的奇异值对角矩阵对应的奇异值和,将对应的奇异值和记为 SUM o r g , e &prime; f u s , D C = &Sigma; i = 1 8 &Sigma; j = 1 8 SVD o r g , e &prime; f u s , D C ( i , j ) , 其中,表示中坐标位置为(i,j)处的奇异值,表示中坐标位置为(i,j)处的奇异值,1≤i≤8,1≤j≤8;
同样,对实施M级小波变换,得到的每个方向的M个子带和1个直流子带,将实施第m级小波变换后得到的第p个方向的第m个子带的系数矩阵记为实施M级小波变换后得到的直流子带的系数矩阵记为其中,M≥1,1≤p≤3,p=1时第p个方向表示水平方向,p=2时第p个方向表示垂直方向,p=3时第p个方向表示对角方向,1≤m≤M;然后将的每个方向的每个子带的系数矩阵和分别分割成多个尺寸大小为8×8的互不重叠的矩阵块,将中的第e个矩阵块记为中的第e'个矩阵块记为 1 &le; e &le; W d i s p , m &times; H d i s p , m 8 &times; 8 , e的初始值为1,表示的列数,一致,表示的行数,一致, 1 &le; e &prime; &le; W d i s D C &times; H d i s D C 8 &times; 8 , e'的初始值为1,表示的列数,一致,表示的行数,一致;接着对的每个方向的每个子带的系数矩阵中的每个矩阵块进行奇异值分解,得到的每个方向的每个子带的系数矩阵中的每个矩阵块的奇异值对角矩阵,将的奇异值对角矩阵记为同样,对中的每个矩阵块进行奇异值分解,得到中的每个矩阵块的奇异值对角矩阵,将的奇异值对角矩阵记为再计算的每个方向的每个子带的系数矩阵中的每个矩阵块的奇异值对角矩阵对应的奇异值和,将对应的奇异值和记为 SUM d i s , e f u s , p , m = &Sigma; i = 1 8 &Sigma; j = 1 8 SVD d i s , e f u s , p , m ( i , j ) , 同样,计算中的每个矩阵块的奇异值对角矩阵对应的奇异值和,将对应的奇异值和记为 SUM d i s , e &prime; f u s , D C = &Sigma; i = 1 8 &Sigma; j = 1 8 SVD d i s , e &prime; f u s , D C ( i , j ) , 其中,表示中坐标位置为(i,j)处的奇异值,表示中坐标位置为(i,j)处的奇异值,1≤i≤8,1≤j≤8;
⑤计算的每个方向的每个子带的系数矩阵中的每个矩阵块与的每个方向的每个子带的系数矩阵中的每个矩阵块之间的奇异值特征距离,将之间的奇异值特征距离记为 &delta; e f u s , p , m = | SUM o r g , e f u s , p , m - SUM d i s , e f u s , p , m | , 其中,符号“||”为取绝对值符号;同样,计算中的每个矩阵块与中的每个矩阵块之间的奇异值特征距离,将之间的奇异值特征距离记为 &delta; e &prime; f u s , D C = | SUM o r g , e &prime; f u s , D C - SUM d i s , e &prime; f u s , D C | , 其中,符号“||”为取绝对值符号;
然后计算相对于的同方向的对应子带的质量因子,将的第p个方向的第m个子带相对于的第p个方向的第m个子带的质量因子记为FUSp,m FUS p , m = &Sigma; e = 1 W d i s &rho; , m &times; H d i s &rho; , m 8 &times; 8 | &delta; e f u s , p , m - mid&delta; f u s , p , m | W d i s p , m &times; H d i s p , m 8 &times; 8 , 其中,midδfus,p,m表示中的所有矩阵块与中对应矩阵块之间的奇异值特征距离的中值;同样,计算的直流子带相对于的直流子带的质量因子,记为FUSDC FUS D C = &Sigma; e &prime; = 1 W d i s D C &times; H d i s D C 8 &times; 8 | &delta; e &prime; f u s , D C - mid&delta; f u s , D C | W d i s D C &times; H d i s D C 8 &times; 8 , 其中,midδfus,DC表示中的所有矩阵块与中对应矩阵块之间的奇异值特征距离的中值;
接着利用对比敏感度函数对相对于的同方向的对应子带的质量因子及的直流子带相对于的直流子带的质量因子进行加权,得到Idis的双目融合区域的质量,记为Qcyc Q c y c = FUS D C &times; w D C + &Sigma; p = 1 3 &Sigma; m = 1 M FUS p , m &times; w p , m w D C + &Sigma; p = 1 3 &Sigma; m = 1 M w p , m , 其中,wp,m表示的第p个方向的第m个子带的对比灵敏度函数系数,ap,m表示第p个方向的第m个子带的频带区间的下限,bp,m表示第p个方向的第m个子带的频带区间的上限,当1≤m<M时,当m=M时,ap,m=0,wDC表示的直流子带的对比灵敏度函数系数,wDC=1;
⑥对实施M级小波变换,得到的每个方向的M个子带和1个直流子带,将实施第m级小波变换后得到的第p个方向的第m个子带的系数矩阵记为实施M级小波变换后得到的直流子带的系数矩阵记为其中,M≥1,1≤p≤3,p=1时第p个方向表示水平方向,p=2时第p个方向表示垂直方向,p=3时第p个方向表示对角方向,1≤m≤M;然后对的每个方向的每个子带的系数矩阵中的系数分布进行广义高斯拟合,得到的每个方向的每个子带的系数矩阵的广义高斯拟合模型的尺度参数和形状参数,将的广义高斯拟合模型描述为 P ( x o r g , L r i v , p , m ) = &beta; o r g , L r i v , p , m 2 &alpha; o r g , L r i v , p , m &times; &tau; ( 1 / &beta; o r g , L r i v , p , m ) exp ( - ( | x o r g , L r i v , p , m | &alpha; o r g , L r i v , p , m ) &beta; o r g , L r i v , p , m ) , 同样,对中的系数分布进行广义高斯拟合,得到的广义高斯拟合模型的尺度参数和形状参数,将的广义高斯拟合模型描述为 P ( x o r g , L r i v , D C ) = &beta; o r g , L r i v , D C 2 &alpha; o r g , L r i v , D C &times; &tau; ( 1 - &beta; o r g , L r i v , D C ) exp ( - ( | x o r g , L r i v , D C | &alpha; o r g , L r i v , D C ) &beta; o r g , L r i v , D C ) , 其中,的广义高斯拟合模型的尺度参数,的广义高斯拟合模型的形状参数,的广义高斯拟合模型的尺度参数,的广义高斯拟合模型的形状参数,表示的广义高斯拟合模型的输出,表示的广义高斯拟合模型的输入,表示的广义高斯拟合模型的输出,表示的广义高斯拟合模型的输入,τ()表示Gamma函数,符号“||”为取绝对值符号;
同样,对实施M级小波变换,得到的每个方向的M个子带和1个直流子带,将实施第m级小波变换后得到的第p个方向的第m个子带的系数矩阵记为实施M级小波变换后得到的直流子带的系数矩阵记为其中,M≥1,1≤p≤3,p=1时第p个方向表示水平方向,p=2时第p个方向表示垂直方向,p=3时第p个方向表示对角方向,1≤m≤M;然后对的每个方向的每个子带的系数矩阵中的系数分布进行广义高斯拟合,得到的每个方向的每个子带的系数矩阵的广义高斯拟合模型的尺度参数和形状参数,将的广义高斯拟合模型描述为 P ( x o r g , R r i v , p , m ) = &beta; o r g , R r i v , p , m 2 &alpha; o r g , R r i v , p , m &times; &tau; ( 1 / &beta; o r g , R r i v , p , m ) exp ( - ( | x o r g , R r i v , p , m | &alpha; o r g , R r i v , p , m ) &beta; o r g , R r i v , p , m ) , 同样,对中的系数分布进行广义高斯拟合,得到的广义高斯拟合模型的尺度参数和形状参数,将的广义高斯拟合模型描述为 P ( x o r g , R r i v , D C ) = &beta; o r g , R r i v , D C 2 &alpha; o r g , R r i v , D C &times; &tau; ( 1 / &beta; o r g , R r i v , D C ) exp ( - ( | x o r g , R r i v , D C | &alpha; o r g , R r i v , D C ) &beta; o r g , R r i v , D C ) , 其中,的广义高斯拟合模型的尺度参数,的广义高斯拟合模型的形状参数,的广义高斯拟合模型的尺度参数,的广义高斯拟合模型的形状参数,表示的广义高斯拟合模型的输出,表示的广义高斯拟合模型的输入,表示的广义高斯拟合模型的输出,表示的广义高斯拟合模型的输入,τ()表示Gamma函数,符号“||”为取绝对值符号;
同样,对实施M级小波变换,得到的每个方向的M个子带和1个直流子带,将实施第m级小波变换后得到的第p个方向的第m个子带的系数矩阵记为实施M级小波变换后得到的直流子带的系数矩阵记为其中,M≥1,1≤p≤3,p=1时第p个方向表示水平方向,p=2时第p个方向表示垂直方向,p=3时第p个方向表示对角方向,1≤m≤M;然后对的每个方向的每个子带的系数矩阵中的系数分布进行广义高斯拟合,得到的每个方向的每个子带的系数矩阵的广义高斯拟合模型的尺度参数和形状参数,将的广义高斯拟合模型描述为 P ( x d i s , L r i v , p , m ) = &beta; d i s , L r i v , p , m 2 &alpha; d i s , L r i v , p , m &times; &tau; ( 1 / &beta; d i s , L r i v , p , m ) exp ( - ( | x d i s , L r i v , p , m | &alpha; d i s , L r i v , p , m ) &beta; d i s , L r i v , p , m ) , 同样,对中的系数分布进行广义高斯拟合,得到的广义高斯拟合模型的尺度参数和形状参数,将的广义高斯拟合模型描述为 P ( x d i s , L r i v , D C ) = &beta; d i s , L r i v , D C 2 &alpha; d i s , L r i v , D C &times; &tau; ( 1 / &beta; d i s , L r i v , D C ) exp ( - ( | x d i s , L r i v , D C | &alpha; d i s , L r i v , D C ) &beta; d i s , L r i v , D C ) , 其中,的广义高斯拟合模型的尺度参数,的广义高斯拟合模型的形状参数,的广义高斯拟合模型的尺度参数,的广义高斯拟合模型的形状参数,表示的广义高斯拟合模型的输出,表示的广义高斯拟合模型的输入,表示的广义高斯拟合模型的输出,表示的广义高斯拟合模型的输入,τ()表示Gamma函数,符号“||”为取绝对值符号;
同样,对实施M级小波变换,得到的每个方向的M个子带和1个直流子带,将实施第m级小波变换后得到的第p个方向的第m个子带的系数矩阵记为实施M级小波变换后得到的直流子带的系数矩阵记为其中,M≥1,1≤p≤3,p=1时第p个方向表示水平方向,p=2时第p个方向表示垂直方向,p=3时第p个方向表示对角方向,1≤m≤M;然后对的每个方向的每个子带的系数矩阵中的系数分布进行广义高斯拟合,得到的每个方向的每个子带的系数矩阵的广义高斯拟合模型的尺度参数和形状参数,将的广义高斯拟合模型描述为 P ( x d i s , R r i v , p , m ) = &beta; d i s , R r i v , p , m 2 &alpha; d i s , R r i v , p , m &times; &tau; ( 1 / &beta; d i s , R r i v , p , m ) exp ( - ( | x d i s , R r i v , p , m | &alpha; d i s , R r i v , p , m ) &beta; d i s , R r i v , p , m ) , 同样,对中的系数分布进行广义高斯拟合,得到的广义高斯拟合模型的尺度参数和形状参数,将的广义高斯拟合模型描述为 P ( x d i s , R r i v , D C ) = &beta; d i s , R r i v , D C 2 &alpha; d i s , R r i v , D C &times; &tau; ( 1 / &beta; d i s , R r i v , D C ) exp ( - ( | x d i s , R r i v , D C | &alpha; d i s , R r i v , D C ) &beta; d i s , R r i v , D C ) , 其中,的广义高斯拟合模型的尺度参数,的广义高斯拟合模型的形状参数,的广义高斯拟合模型的尺度参数,的广义高斯拟合模型的形状参数,表示的广义高斯拟合模型的输出,表示的广义高斯拟合模型的输入,表示的广义高斯拟合模型的输出,表示的广义高斯拟合模型的输入,τ()表示Gamma函数,符号“||”为取绝对值符号;
⑦根据的每个方向的每个子带的系数矩阵的广义高斯拟合模型的尺度参数和形状参数和的每个方向的每个子带的系数矩阵的广义高斯拟合模型的尺度参数和形状参数,计算相对于的同方向的对应子带的质量因子,将的第p个方向的第m个子带相对于的第p个方向的第m个子带的质量因子记为 q L r i v , p , m = 1 - 2 &times; | &alpha; o r g , L r i v , p , m &times; &alpha; d i s , L r i v , p , m | ( &alpha; o r g , L r i v , p , m ) 2 + ( &alpha; d i s , L r i v , p , m ) 2 + 1 - 2 &times; | &beta; o r g , L r i v , p , m &times; &beta; d i s , L r i v , p , m | ( &beta; o r g , L r i v , p , m ) 2 + ( &beta; d i s , L r i v , p , m ) 2 ; 同样,根据的广义高斯拟合模型的尺度参数和形状参数和的广义高斯拟合模型的尺度参数和形状参数,计算的直流子带相对于的直流子带的质量因子,记为 q L r i v , D C = 1 - 2 &times; | &alpha; o r g , L r i v , D C &times; &alpha; d i s , L r i v , D C | ( &alpha; o r g , L r i v , D C ) 2 + ( &alpha; d i s , L r i v , D C ) 2 + 1 - 2 &times; | &beta; o r g , L r i v , D C &times; &beta; d i s , L r i v , D C | ( &beta; o r g , L r i v , D C ) 2 + ( &beta; d i s , L r i v , D C ) 2 ;
同样,根据的每个方向的每个子带的系数矩阵的广义高斯拟合模型的尺度参数和形状参数和的每个方向的每个子带的系数矩阵的广义高斯拟合模型的尺度参数和形状参数,计算相对于的同方向的对应子带的质量因子,将的第p个方向的第m个子带相对于的第p个方向的第m个子带的质量因子记为 q R r i v , p , m = 1 - 2 &times; | &alpha; o r g , R r i v , p , m &times; &alpha; d i s , R r i v , p , m | ( &alpha; o r g , R r i v , p , m ) 2 + ( &alpha; d i s , R r i v , p , m ) 2 + 1 - 2 &times; | &beta; o r g , R r i v , p , m &times; &beta; d i s , R r i v , p , m | ( &beta; o r g , R r i v , p , m ) 2 + ( &beta; d i s , R r i v , p , m ) 2 ; 同样,根据的广义高斯拟合模型的尺度参数和形状参数和的广义高斯拟合模型的尺度参数和形状参数,计算的直流子带相对于的直流子带的质量因子,记为 q R r i v , D C = 1 - 2 &times; | &alpha; o r g , R r i v , D C &times; &alpha; d i s , R r i v , D C | ( &alpha; o r g , R r i v , D C ) 2 + ( &alpha; d i s , R r i v , D C ) 2 + 1 - 2 &times; | &beta; o r g , R r i v , D C &times; &beta; d i s , R r i v , D C | ( &beta; o r g , R r i v , D C ) 2 + ( &beta; d i s , R r i v , D C ) 2 ;
⑧利用对比敏感度函数对相对于的同方向的对应子带的质量因子及的直流子带相对于的直流子带的质量因子进行加权,得到Ldis的双目竞争区域的质量,记为 Q L r i v = q L r i v , D C &times; w L D C + &Sigma; p = 1 3 &Sigma; m = 1 M | q L r i v , p , m | &times; w L p , m w L D C + &Sigma; p = 1 3 &Sigma; m = 1 M w L p , m , 其中,表示的第p个方向的第m个子带的对比灵敏度函数系数,ap,m表示第p个方向的第m个子带的频带区间的下限,bp,m表示第p个方向的第m个子带的频带区间的上限,当1≤m<M时,当m=M时,ap,m=0, 表示的直流子带的对比灵敏度函数系数,符号“||”为取绝对值符号;
同样,利用对比敏感度函数对相对于的同方向的对应子带的质量因子及的直流子带相对于的直流子带的质量因子进行加权,得到Rdis的双目竞争区域的质量,记为 Q R r i v = q R r i v , D C &times; w R D C + &Sigma; p = 1 3 &Sigma; m = 1 M | q R r i v , p , m | &times; w R p , m w R D C + &Sigma; p = 1 3 &Sigma; m = 1 M w R p , m , 其中,表示的第p个方向的第m个子带的对比灵敏度函数系数,ap,m表示第p个方向的第m个子带的频带区间的下限,bp,m表示第p个方向的第m个子带的频带区间的上限,当1≤m<M时,当m=M时,ap,m=0, 表示的直流子带的对比灵敏度函数系数,符号“||”为取绝对值符号;
⑨根据获取Idis的双目竞争区域的质量,记为Qriv其中,min()为取最小值函数;
⑩根据Idis的双目融合区域的质量Qcyc和Idis的双目竞争区域的质量Qriv,计算Idis相对于Iorg的度量分数,记为Q,Q=Qriv×Qcyc p,其中,p表示Qcyc的权值系数。
3.根据权利要求2所述的一种基于人眼感知的质降参考立体图像质量客观评价方法,其特征在于所述的步骤②中Lorg的双目融合区域和双目竞争区域的获取过程为:
②-a1、对Lorg做13个像素点的“symmetric”对称边界扩展,得到Lorg的边界扩张图;
②-b1、采用尺寸大小为27×27的第一滑动窗口在Lorg的边界扩张图除上边界、下边界、左边界和右边界各13个像素点外的中心区域中逐像素点移动,保证第一滑动窗口始终位于Lorg的边界扩张图中;
②-c1、将左上角像素点与Lorg的边界扩张图的左上角像素点一致的第一滑动窗口作为当前第一滑动窗口,将Lorg的边界扩张图中与当前第一滑动窗口相对应的区域定义为当前计算区域;
②-d1、将以当前计算区域的中心像素点为中心的尺寸大小为21×21的区域定义为基准块;
②-e1、采用尺寸大小为21×21的第二滑动窗口在当前计算区域内移动,并使第二滑动窗口的中心像素点在当前计算区域的中心7×7区域中逐像素点移动,以保证第二滑动窗口始终位于当前计算区域中;
②-f1、将左上角像素点与当前计算区域的左上角像素点一致的第二滑动窗口作为当前第二滑动窗口,将当前计算区域中与当前第二滑动窗口相对应的区域定义为当前计算块;
②-g1、判断当前计算块与基准块是否为同一个区域,如果是,则保持当前计算块中的所有像素点的像素值不变,然后执行步骤②-h1;否则,计算当前计算块与基准块的互信息值,假设当前计算块的中心像素点在当前计算区域的中心7×7区域中的坐标位置为(i,j),则将当前计算块与基准块的互信息值记为H(i,j),然后将H(i,j)作为当前计算块的中心像素点的加权系数,再执行步骤②-h1,其中,1≤i≤7,1≤j≤7,且i,j不同时为3;
②-h1、将下一个第二滑动窗口作为当前第二滑动窗口,将当前计算区域中与当前第二滑动窗口相对应的区域作为当前计算块,然后返回步骤②-g1继续执行,直至获得当前计算区域中除与基准块为同一区域的计算块外的每个计算块与基准块的互信息值;
②-i1、根据当前计算区域中除与基准块为同一区域的计算块外的每个计算块与基准块的互信息值,计算当前计算区域的中心像素点的双目融合区域值,假设当前计算区域的中心像素点在Lorg的边界扩张图除上边界、下边界、左边界和右边界各13个像素点外的中心区域中的坐标位置为(m,n),则将当前计算区域的中心像素点的双目融合区域值记为x'(m,n),其中,1≤m≤W,1≤n≤H,W表示Lorg的边界扩张图除上边界、下边界、左边界和右边界各13个像素点外的中心区域的宽,也即是Lorg的宽,H表示Lorg的边界扩张图除上边界、下边界、左边界和右边界各13个像素点外的中心区域的高,也即是Lorg的高,1≤i≤7,1≤j≤7,且i,j不同时为3,x(i,j)表示H(i,j)对应的计算块的中心像素点的像素值;
②-j1、将下一个第一滑动窗口作为当前第一滑动窗口,将Lorg的边界扩张图中与当前第一滑动窗口相对应的区域作为当前计算区域,然后返回步骤②-d1继续执行,直至获得Lorg的边界扩张图中的每个计算区域的中心像素点的双目融合区域值,将由Lorg的边界扩张图中的所有计算区域的中心像素点的双目融合区域值构成的图像作为Lorg的双目融合区域,记为
②-k1、根据Lorg和Lorg的双目融合区域获取Lorg的双目竞争区域,记为 L o r g r i v = L o r g - L o r g f u s ;
按照步骤②-a1至步骤②-k1的过程,采用相同的方式获取Rorg的双目融合区域和双目竞争区域、Ldis的双目融合区域和双目竞争区域、Rdis的双目融合区域和双目竞争区域。
4.根据权利要求2或3所述的一种基于人眼感知的质降参考立体图像质量客观评价方法,其特征在于所述的步骤③中取ωorg,L=0.5,ωorg,R=0.5,取ωdis,L=0.5,ωdis,R=0.5。
5.根据权利要求4所述的一种基于人眼感知的质降参考立体图像质量客观评价方法,其特征在于所述的步骤④中采用“db1”小波基分别对实施M级小波变换;所述的步骤⑥中采用“db1”小波基分别对实施M级小波变换。
6.根据权利要求5所述的一种基于人眼感知的质降参考立体图像质量客观评价方法,其特征在于所述的步骤⑥中为通过对实施组数为100的直方图统计得到的直方图频数统计区间的中点值,为通过对实施组数为100的直方图统计得到的频数;为通过对实施组数为100的直方图统计得到的直方图频数统计区间的中点值,为通过对实施组数为100的直方图统计得到的频数;为通过对实施组数为100的直方图统计得到的直方图频数统计区间的中点值,为通过对实施组数为100的直方图统计得到的频数,为通过对实施组数为100的直方图统计得到的直方图频数统计区间的中点值,为通过对实施组数为100的直方图统计得到的频数;为通过对实施组数为100的直方图统计得到的直方图频数统计区间的中点值,为通过对实施组数为100的直方图统计得到的频数,为通过对实施组数为100的直方图统计得到的直方图频数统计区间的中点值,为通过对实施组数为100的直方图统计得到的频数;为通过对实施组数为100的直方图统计得到的直方图频数统计区间的中点值,为通过对实施组数为100的直方图统计得到的频数,为通过对实施组数为100的直方图统计得到的直方图频数统计区间的中点值,为通过对实施组数为100的直方图统计得到的频数。
7.根据权利要求6所述的一种基于人眼感知的质降参考立体图像质量客观评价方法,其特征在于所述的步骤⑩中Qcyc的权值系数p的获取过程为:
⑩-a、采用n幅无失真的立体图像建立其在不同失真类型不同失真程度下的失真立体图像集,该失真立体图像集包括多幅失真的立体图像,其中,n≥1;
⑩-b、采用主观质量评价方法,获取该失真立体图像集中的每幅失真的立体图像的平均主观评分差值,记为DMOS,DMOS=100-MOS,其中,MOS表示主观评分均值,DMOS∈[0,100];
⑩-c、按照步骤①至步骤⑨的过程,采用相同的方式计算该失真立体图像集中的每幅失真的立体图像的双目融合区域的质量Qcyc和双目竞争区域的质量Qriv
⑩-d、令p在区间[0,1]内以0.1为步长进行取值,分别求取不同p值下的Q=Qriv×Qcyc p,将每个p值下的Q=Qriv×Qcyc p与平均主观评分差值DMOS进行四参数Logistic函数非线性拟合,得到各个p值下的拟合结果,选取最好的拟合结果对应的p值,作为Qcyc的权值系数。
CN201410264212.0A 2014-06-13 2014-06-13 一种基于人眼感知的质降参考立体图像质量客观评价方法 Expired - Fee Related CN104144339B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410264212.0A CN104144339B (zh) 2014-06-13 2014-06-13 一种基于人眼感知的质降参考立体图像质量客观评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410264212.0A CN104144339B (zh) 2014-06-13 2014-06-13 一种基于人眼感知的质降参考立体图像质量客观评价方法

Publications (2)

Publication Number Publication Date
CN104144339A CN104144339A (zh) 2014-11-12
CN104144339B true CN104144339B (zh) 2016-04-13

Family

ID=51853397

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410264212.0A Expired - Fee Related CN104144339B (zh) 2014-06-13 2014-06-13 一种基于人眼感知的质降参考立体图像质量客观评价方法

Country Status (1)

Country Link
CN (1) CN104144339B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106375754B (zh) * 2015-07-22 2018-03-06 中国人民解放军理工大学 基于视觉刺激衰减特性的无参考视频质量评估方法
CN106303513B (zh) * 2016-08-26 2017-11-03 宁波大学 一种降参考三维视频质量评价方法
CN106485702B (zh) * 2016-09-30 2019-11-05 杭州电子科技大学 基于自然图像特征统计的图像模糊检测方法
CN107229597A (zh) * 2017-05-31 2017-10-03 成都理工大学 同步挤压广义s变换信号时频分解与重构方法
CN107578399B (zh) * 2017-07-25 2020-12-15 天津大学 基于边界特征分割的全参考图像质量评价方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103413298B (zh) * 2013-07-17 2016-02-24 宁波大学 一种基于视觉特性的立体图像质量客观评价方法
CN103517065B (zh) * 2013-09-09 2015-04-08 宁波大学 一种质降参考立体图像质量客观评价方法
CN103839263B (zh) * 2014-02-26 2016-07-06 宁波大学 一种立体图像深度感知客观评价方法

Also Published As

Publication number Publication date
CN104144339A (zh) 2014-11-12

Similar Documents

Publication Publication Date Title
CN104144339B (zh) 一种基于人眼感知的质降参考立体图像质量客观评价方法
CN105744256B (zh) 基于图谱视觉显著的立体图像质量客观评价方法
CN101872479B (zh) 一种立体图像客观质量评价方法
CN102663747B (zh) 一种基于视觉感知的立体图像客观质量评价方法
CN103778636B (zh) 一种用于无参考图像质量评价的特征构建方法
CN101562675B (zh) 基于Contourlet变换的无参考型图像质量评测方法
CN109345502B (zh) 一种基于视差图立体结构信息提取的立体图像质量评价方法
CN104811691B (zh) 一种基于小波变换的立体视频质量客观评价方法
CN103517065B (zh) 一种质降参考立体图像质量客观评价方法
CN103581661A (zh) 一种立体图像视觉舒适度评价方法
CN101976444B (zh) 一种基于像素类型的结构类似性图像质量客观评价方法
CN104036501A (zh) 一种基于稀疏表示的立体图像质量客观评价方法
CN104811693B (zh) 一种立体图像视觉舒适度客观评价方法
CN107578403A (zh) 基于梯度信息指导双目视图融合的立体图像质量评价方法
CN105407349A (zh) 基于双目视觉感知的无参考立体图像质量客观评价方法
CN105338343A (zh) 一种基于双目感知的无参考立体图像质量评价方法
CN109242834A (zh) 一种基于卷积神经网络的无参考立体图像质量评价方法
CN102982535A (zh) 基于psnr和ssim的立体图像质量评价方法
CN105654465B (zh) 一种采用视差补偿视点间滤波的立体图像质量评价方法
CN105357519B (zh) 基于自相似度特征的无参考立体图像质量客观评价方法
CN104902268B (zh) 基于局部三元模式的无参考立体图像客观质量评价方法
CN103136748B (zh) 一种基于特征图的立体图像质量客观评价方法
CN105049838A (zh) 一种用于压缩立体视频质量的客观评价方法
CN104394403A (zh) 一种面向压缩失真的立体视频质量客观评价方法
Geng et al. A stereoscopic image quality assessment model based on independent component analysis and binocular fusion property

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160413