CN102999912B - 一种基于失真图的立体图像质量客观评价方法 - Google Patents

一种基于失真图的立体图像质量客观评价方法 Download PDF

Info

Publication number
CN102999912B
CN102999912B CN201210493232.6A CN201210493232A CN102999912B CN 102999912 B CN102999912 B CN 102999912B CN 201210493232 A CN201210493232 A CN 201210493232A CN 102999912 B CN102999912 B CN 102999912B
Authority
CN
China
Prior art keywords
org
pixel
dis
coordinate position
designated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201210493232.6A
Other languages
English (en)
Other versions
CN102999912A (zh
Inventor
邵枫
段芬芳
蒋刚毅
郁梅
李福翠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo University
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN201210493232.6A priority Critical patent/CN102999912B/zh
Publication of CN102999912A publication Critical patent/CN102999912A/zh
Application granted granted Critical
Publication of CN102999912B publication Critical patent/CN102999912B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)

Abstract

本发明公开了一种基于失真图的立体图像质量客观评价方法,其首先分别计算原始的无失真的立体图像的独眼图和待评价的失真的立体图像的独眼图,然后分别计算两个独眼图之间的结构失真图和可视失真图,并对待评价的失真的立体图像的独眼图中的每个像素点的客观评价度量值进行融合,得到待评价的失真的立体图像的图像质量客观评价预测值,优点在于所获得的独眼图能够很好地对双目立体融合过程进行模拟,并且采用结构失真图和可视失真图进行融合,能有效地提高客观评价结果与主观感知的相关性。

Description

一种基于失真图的立体图像质量客观评价方法
技术领域
本发明涉及一种图像质量评价方法,尤其是涉及一种基于失真图的立体图像质量客观评价方法。
背景技术
随着图像编码技术和立体显示技术的迅速发展,立体图像技术受到了越来越广泛的关注与应用,已成为当前的一个研究热点。立体图像技术利用人眼的双目视差原理,双目各自独立地接收来自同一场景的左右视点图像,通过大脑融合形成双目视差,从而欣赏到具有深度感和逼真感的立体图像。由于受到采集系统、存储压缩及传输设备的影响,立体图像会不可避免地引入一系列的失真,而与单通道图像相比,立体图像需要同时保证两个通道的图像质量,因此对立体图像进行质量评价具有非常重要的意义。然而,目前缺乏有效的客观评价方法对立体图像质量进行评价。因此,建立有效的立体图像质量客观评价模型具有十分重要的意义。
目前,通常是直接将平面图像质量评价方法直接应用于评价立体图像质量,然而,对立体图像的左右视点图像进行融合产生立体感的过程并不是简单的左右视点图像叠加的过程,还难以用简单的数学方法来表示,并且人眼对不同区域的失真敏感度是不一样的,因此,如何在立体图像质量评价过程中有效地对双目立体融合进行模拟,如何提取有效的失真图信息对评价结果进行融合,使得客观评价结果更加感觉符合人类视觉系统,都是在对立体图像进行客观质量评价过程中需要研究解决的问题。
发明内容
本发明所要解决的技术问题是提供一种能够有效提高客观评价结果与主观感知的相关性的基于失真图的立体图像质量客观评价方法。
本发明解决上述技术问题所采用的技术方案为:一种基于失真图的立体图像质量客观评价方法,其特征在于它的处理过程为:首先,根据原始的无失真的立体图像的左视点图像和右视点图像中的每个像素点在不同尺度和方向的偶对称频率响应和奇对称频 率响应,及原始的无失真的立体图像的左视点图像和右视点图像之间的视差图像,获得原始的无失真的立体图像的独眼图;根据待评价的失真的立体图像的左视点图像和右视点图像中的每个像素点在不同尺度和方向的偶对称频率响应和奇对称频率响应,及原始的无失真的立体图像的左视点图像和右视点图像之间的视差图像,获得待评价的失真的立体图像的独眼图;其次,分别计算两个独眼图之间的结构失真图和可视失真图;然后,根据结构失真图和可视失真图,对待评价的失真的立体图像的独眼图中的每个像素点的客观评价度量值进行融合,得到待评价的失真的立体图像的图像质量客观评价预测值;最后,按照上述处理过程获取多幅不同失真类型不同失真程度的失真的立体图像的图像质量客观评价预测值。
它具体包括以下步骤:
①令Sorg为原始的无失真的立体图像,令Sdis为待评价的失真的立体图像,将Sorg的左视点图像记为{Lorg(x,y)},将Sorg的右视点图像记为{Rorg(x,y)},将Sdis的左视点图像记为{Ldis(x,y)},将Sdis的右视点图像记为{Rdis(x,y)},其中,此处(x,y)表示左视点图像和右视点图像中的像素点的坐标位置,1≤x≤W,1≤y≤H,W表示左视点图像和右视点图像的宽度,H表示左视点图像和右视点图像的高度,Lorg(x,y)表示{Lorg(x,y)}中坐标位置为(x,y)的像素点的像素值,Rorg(x,y)表示{Rorg(x,y)}中坐标位置为(x,y)的像素点的像素值,Ldis(x,y)表示{Ldis(x,y)}中坐标位置为(x,y)的像素点的像素值,Rdis(x,y)表示{Rdis(x,y)}中坐标位置为(x,y)的像素点的像素值;
②计算{Lorg(x,y)}、{Rorg(x,y)}、{Ldis(x,y)}、{Rdis(x,y)}中的每个像素点在不同尺度和方向的偶对称频率响应和奇对称频率响应;然后获取{Lorg(x,y)}、{Rorg(x,y)}、{Ldis(x,y)}、{Rdis(x,y)}中的每个像素点的振幅;再根据{Lorg(x,y)}和{Rorg(x,y)}中的每个像素点的振幅及{Lorg(x,y)}与{Rorg(x,y)}之间的视差图像中的每个像素点的像素值,计算Sorg的独眼图,记为{CMorg(x,y)},并根据{Ldis(x,y)}和{Rdis(x,y)}中的每个像素点的振幅及{Lorg(x,y)}与{Rorg(x,y)}之间的视差图像中的每个像素点的像素值,计算Sdis的独眼图,记为{CMdis(x,y)},其中,CMorg(x,y)表示{CMorg(x,y)}中坐标位置为(x,y)的 像素点的像素值,CMdis(x,y)表示{CMdis(x,y)}中坐标位置为(x,y)的像素点的像素值;
③计算Sorg的独眼图{CMorg(x,y)}与Sdis的独眼图{CMdis(x,y)}之间的结构失真图,记为{Dappear(x,y)},其中,Dappear(x,y)表示{Dappear(x,y)}中坐标位置为(x,y)的像素点的像素值;
④计算Sorg的独眼图{CMorg(x,y)}与Sdis的独眼图{CMdis(x,y)}之间的可视失真图,记为{Ddetect(x,y)},其中,Ddetect(x,y)表示{Ddetect(x,y)}中坐标位置为(x,y)的像素点的像素值;
⑤根据{Dappear(x,y)}和{Ddetect(x,y)},对Sdis的独眼图{CMdis(x,y)}中的每个像素点的客观评价度量值进行融合,得到Sdis的图像质量客观评价预测值,记为Q,  Q = [ Σ ( x , y ) ∈ Ω Q image ( x , y ) × D appear ( x , y ) Σ ( x , y ) ∈ Ω D appear ( x , y ) ] τ × [ Σ ( x , y ) ∈ Ω Q image ( x , y ) × D det ect ( x , y ) Σ ( x , y ) ∈ Ω D det ect ( x , y ) ] υ , 其中,Qimage(x,y)表示{CMdis(x,y)}中坐标位置为(x,y)的像素点的客观评价度量值,Ω表示像素域范围,τ和υ为权重系数;
⑥采用n幅原始的无失真的立体图像,建立其在不同失真类型不同失真程度下的失真立体图像集合,该失真立体图像集合包括多幅失真的立体图像,利用主观质量评价方法分别获取失真立体图像集合中每幅失真的立体图像的平均主观评分差值,记为DMOS,DMOS=100-MOS,其中,MOS表示主观评分均值,DMOS∈[0,100],n≥1;
⑦按照步骤①至步骤⑥计算Sdis的图像质量客观评价预测值的操作过程,分别计算失真立体图像集合中每幅失真的立体图像的图像质量客观评价预测值。
所述的步骤②的具体过程为:
②-1、采用log-Garbor滤波器对{Lorg(x,y)}进行滤波处理,得到{Lorg(x,y)}中的每个像素点在不同尺度和方向的偶对称频率响应和奇对称频率响应,将{Lorg(x,y)}中坐标位置为(x,y)的像素点在不同尺度和方向的偶对称频率响应记为中坐标位置为(x,y)的像素点在不同尺度和方向的奇对称频率响应记为其中,α 表示滤波所采用的滤波器的尺度因子,1≤α≤4,θ表示滤波所采用的滤波器的方向因子,1≤θ≤4;
②-2、根据{Lorg(x,y)}中的每个像素点在不同尺度和方向的偶对称频率响应和奇对称频率响应,计算{Lorg(x,y)}中的每个像素点的振幅,将{Lorg(x,y)}中坐标位置为(x,y)的像素点的振幅记为 GE org L ( x , y ) = Σ θ = 1 4 Σ α = 1 4 e α , θ L ( x , y ) 2 + o α , θ L ( x , y ) 2 ;
②-3、按照步骤②-1至步骤②-2获取{Lorg(x,y)}中的每个像素点的振幅的操作过程,以相同方式获取{Rorg(x,y)}、{Ldis(x,y)}和{Rdis(x,y)}中的每个像素点的振幅,将{Rorg(x,y)}中坐标位置为(x,y)的像素点的振幅记为将{Ldis(x,y)}中坐标位置为(x,y)的像素点的振幅记为将{Rdis(x,y)}中坐标位置为(x,y)的像素点的振幅记为
②-4、采用块匹配法计算{Lorg(x,y)}与{Rorg(x,y)}之间的视差图像,记为其中,表示中坐标位置为(x,y)的像素点的像素值;
②-5、根据{Lorg(x,y)}和{Rorg(x,y)}中的每个像素点的振幅及{Lorg(x,y)}与{Rorg(x,y)}之间的视差图像中的每个像素点的像素值,计算Sorg的独眼图,记为{CMorg(x,y)},将{CMorg(x,y)}中坐标位置为(x,y)的像素点的像素值记为CMorg(x,y),  CM org ( x , y ) = GE org L ( x , y ) × L org ( x , y ) + GE org R ( x - d org L ( x , y ) , y ) × R org ( x - d org L ( x , y ) , y ) GE org L ( x , y ) + GE org R ( x - d org L ( x , y ) , y ) , 其中, 表示{Rorg(x,y)}中坐标位置为的像素点的振幅, 表示{Rorg(x,y)}中坐标位置为的像素点的像素值;
②-6、根据{Ldis(x,y)}和{Rdis(x,y)}中的每个像素点的振幅及{Lorg(x,y)}与{Rorg(x,y)}之间的视差图像中的每个像素点的像素值,计算Sdis的独眼图,记 为{CMdis(x,y)},将{CMdis(x,y)}中坐标位置为(x,y)的像素点的像素值记为CMdis(x,y),  CM dis ( x , y ) = GE dis L ( x , y ) × L dis ( x , y ) + GE dis R ( x - d org L ( x , y ) , y ) × R dis ( x - d org L ( x , y ) , y ) GE dis L ( x , y ) + GE dis R ( x - d org L ( x , y ) , y ) , 其中, 表示{Rdis(x,y)}中坐标位置为的像素点的振幅, 表示{Rdis(x,y)}中坐标位置为的像素点的像素值。所述的步骤③的具体过程为:
③-1、采用log-Garbor滤波器对进行滤波处理,得到中的每个像素点在不同尺度和方向的偶对称频率响应和奇对称频率响应,将中坐标位置为(x,y)的像素点在不同尺度和方向的偶对称频率响应记为将{CMorg(x,y)}中坐标位置为(x,y)的像素点在不同尺度和方向的奇对称频率响应记为 其中,α表示滤波所采用的滤波器的尺度因子,1≤α≤4,θ表示滤波所采用的滤波器的方向因子,1≤θ≤4;
③-2、根据{CMorg(x,y)}中的每个像素点在不同尺度和方向的偶对称频率响应和奇对称频率响应,计算{CMorg(x,y)}中的每个像素点在不同尺度和方向的振幅,将{CMorg(x,y)}中坐标位置为(x,y)的像素点在不同尺度和方向的振幅记为 GE α , θ org ( x , y ) = e α , θ CM ( x , y ) 2 + o α , θ CM ( x , y ) 2 ;
③-3、按照步骤③-1至步骤③-2获取{CMorg(x,y)}中的每个像素点在不同尺度和方向的振幅的操作过程,以相同方式获取{CMdis(x,y)}中的每个像素点在不同尺度和方向的振幅,将{CMdis(x,y)}中坐标位置为(x,y)的像素点在不同尺度和方向的振幅记为 
③-4、计算{CMorg(x,y)}中的每个像素点在不同尺度和方向的振幅的标准差、偏度和峰度,将{CMorg(x,y)}中坐标位置为(x,y)的像素点在不同尺度和方向的振幅 的标准差、偏度和峰度分别记为 σ α , θ org ( x , y ) = Σ ( x 1 , y 1 ) ∈ N ( x , y ) ( GE α , θ org ( x 1 , y 1 ) - μ α , θ org ( x , y ) ) 2 M , ζ α , θ org ( x , y ) = 1 M × Σ ( x 1 , y 1 ) ∈ N ( x , y ) ( GE α , θ org ( x 1 , y 1 ) - μ α , θ org ( x , y ) σ α , θ org ( x , y ) ) 4 , κ α , θ org ( x , y ) = 1 M × Σ ( x 1 , y 1 ) ∈ N ( x , y ) ( GE α , θ org ( x 1 , y 1 ) - μ α , θ org ( x , y ) σ α , θ org ( x , y ) ) 3 , 其中, N(x,y)表示以坐标位置为(x,y)的像素点为中心的邻域窗口,M表示N(x,y)内的像素点的个数,表示中坐标位置为(x1,y1)的像素点在不同尺度和方向的振幅;
计算{CMdis(x,y)}中的每个像素点在不同尺度和方向的振幅的标准差、偏度和峰度,将{CMdis(x,y)}中坐标位置为(x,y)的像素点在不同尺度和方向的振幅的标准差、偏度和峰度分别记为 σ α , θ dis ( x , y ) = Σ ( x 1 , y 1 ) ∈ N ( x , y ) ( GE α , θ dis ( x 1 , y 1 ) - μ α , θ dis ( x , y ) ) 2 M , ζ α , θ dis ( x , y ) = 1 M × Σ ( x 1 , y 1 ) ∈ N ( x , y ) ( GE α , θ dis ( x 1 , y 1 ) - μ α , θ dis ( x , y ) σ α , θ dis ( x , y ) ) 4 , κ α , θ dis ( x , y ) = 1 M × Σ ( x 1 , y 1 ) ∈ N ( x , y ) ( GE α , θ dis ( x 1 , y 1 ) - μ α , θ dis ( x , y ) σ α , θ dis ( x , y ) ) 3 , 其中,  表示{CMdis(x,y)}中坐标位置为(x1,y1)的像素点在不同尺度和方向的振幅;
③-5、根据{CMorg(x,y)}中的每个像素点在不同尺度和方向的振幅的标准差、偏度和峰度及{CMdis(x,y)}中的每个像素点在不同尺度和方向的振幅的标准差、偏度和峰度,计算{CMorg(x,y)}与{CMdis(x,y)}之间的结构失真图,记为{Dappear(x,y)},将 {Dappear(x,y)}中坐标位置为(x,y)的像素点的像素值记为Dappear(x,y),  D appear ( x , y ) = Σ θ = 1 4 Σ α = 1 4 ω θ × ( ρ × | σ α , θ org ( x , y ) - σ α , θ dis ( x , y ) | + λ × | ζ α , θ org ( x , y ) - ζ α , θ dis ( x , y ) | + γ × | κ α , θ org ( x , y ) - κ α , θ dis ( x , y ) | ) ,其中,ωθ表示不同尺度的加权系数,ρ、λ和γ为控制系数。
所述的步骤③-4中邻域窗口N(x,y)的大小为4×4。
所述的步骤③-5中当θ=1时,取ωθ=0.5;当θ=2时,取ωθ=0.75;当θ=3时,取ωθ=1.5;当θ=4时,取ωθ=6;取ρ=0.6、λ=0.05、γ=0.02。
所述的步骤④的具体过程为:
④-1、计算{CMorg(x,y)}与{CMdis(x,y)}之间的残差图像,记为{CMerr(x,y)},将{CMerr(x,y)}中坐标位置为(x,y)的像素点的像素值记为CMerr(x,y),CMerr(x,y)=CMorg(x,y)-CMdis(x,y);
④-2、采用对比度敏感度函数对{CMorg(x,y)}进行滤波处理,得到{CMorg(x,y)}经滤波后的融合图像,记为{FIorg(x,y)},其中,FIorg(x,y)表示{FIorg(x,y)}中坐标位置为(x,y)的像素点的像素值;
④-3、采用对比度敏感度函数对{CMerr(x,y)}进行滤波处理,得到{CMerr(x,y)}经滤波后的融合图像,记为{FIerr(x,y)},其中,FIerr(x,y)表示{FIerr(x,y)}中坐标位置为(x,y)的像素点的像素值;
④-4、计算{FIorg(x,y)}中的每个像素点的均值和标准差,将{FIorg(x,y)}中坐标位置为(x,y)的像素点的均值和标准差分别记为 μ ~ org ( x , y ) = Σ ( x 2 , y 2 ) ∈ N ′ ( x , y ) FI org ( x 2 , y 2 ) M ′ , σ ~ org ( x , y ) = Σ ( x 2 , y 2 ) ∈ N ′ ( x , y ) ( FI org ( x 2 , y 2 ) - μ ~ org ( x , y ) ) 2 M ′ , 其中,FIorg(x2,y2)表示{FIorg(x,y)}中坐标位置为(x2,y2)的像素点的像素值,N'(x,y)表示以坐标位置为(x,y)的像素点为中心的邻域窗口,M'表示N'(x,y)内的像素点的个数; 计算{FIerr(x,y)}中的每个像素点的均值和标准差,将{FIerr(x,y)}中坐标位置为(x,y)的像素点的均值和标准差分别记为 μ ~ err ( x , y ) = Σ ( x 2 , y 2 ) ∈ N ′ ( x , y ) FI err ( x 2 , y 2 ) M ′ , σ ~ err ( x , y ) = Σ ( x 2 , y 2 ) ∈ N ′ ( x , y ) ( FI err ( x 2 , y 2 ) - μ ~ err ( x , y ) ) 2 M ′ , 其中,FIerr(x2,y2)表示{FIerr(x,y)}中坐标位置为(x2,y2)的像素点的像素值;
④-5、计算{CMorg(x,y)}与{CMdis(x,y)}中的每个像素点之间的对比度失真,将{CMorg(x,y)}与{CMdis(x,y)}中坐标位置为(x,y)的像素点之间的对比度失真记为ξ(x,y),如果满足条件:lnCerr(x,y)>lnCorg(x,y),则ξ(x,y)=lnCerr(x,y)-lnCorg(x,y);如果满足条件:lnCerr(x,y)>δ>lnCorg(x,y),则ξ(x,y)=lnCerr(x,y)-δ,否则,ξ(x,y)=0,其中, C org ( x , y ) = σ ~ org ( x , y ) / μ ~ org ( x , y ) , C err ( x , y ) = σ ~ err ( x , y ) / μ ~ org ( x , y ) , δ为截断系数,ln()表示以e为底的对数函数,e=2.71828183;
④-6、计算{CMorg(x,y)}与{CMdis(x,y)}之间的可视失真图,记为{Ddetect(x,y)},将{Ddetect(x,y)}中坐标位置为(x,y)的像素点的像素值记为Ddetect(x,y),Ddetect(x,y)=ξ(x,y)η×CMerr(x,y)2×(1t-η),其中,β1和β2为控制系数。
所述的步骤④-4中邻域窗口N'(x,y)的大小为4×4;所述的步骤④-5中取δ=-5;所述的步骤④-6中取β1=0.467,β2=0.130。
所述的步骤⑤中Qimage(x,y)的值为{CMorg(x,y)}中坐标位置为(x,y)的像素点与{CMdis(x,y)}中坐标位置为(x,y)的像素点之间的结构相似度。
所述的步骤⑤中取τ=0.0505,υ=3.0255。
与现有技术相比,本发明的优点在于:
1)本发明方法通过分别计算原始的无失真的立体图像的独眼图和待评价的失真的立体图像的独眼图,并直接对失真的立体图像的独眼图进行评价,这样能够有效地对双目立体融合过程进行模拟,避免了对左视点图像和右视点图像的客观评价度量值进行线 性加权的过程。
2)本发明方法通过计算原始的无失真的立体图像的独眼图和待评价的失真的立体图像的独眼图之间的结构失真图和可视失真图,并对待评价的失真的立体图像的独眼图中的每个像素点的客观评价度量值进行融合,可使得评价结果更加感觉符合人类视觉系统,从而有效地提高了客观评价结果与主观感知的相关性。
附图说明
图1为本发明方法的总体实现框图;
图2a为Akko(尺寸为640×480)立体图像的左视点图像;
图2b为Akko(尺寸为640×480)立体图像的右视点图像;
图3a为Altmoabit(尺寸为1024×768)立体图像的左视点图像;
图3b为Altmoabit(尺寸为1024×768)立体图像的右视点图像;
图4a为Balloons(尺寸为1024×768)立体图像的左视点图像;
图4b为Balloons(尺寸为1024×768)立体图像的右视点图像;
图5a为Doorflower(尺寸为1024×768)立体图像的左视点图像;
图5b为Doorflower(尺寸为1024×768)立体图像的右视点图像;
图6a为Kendo(尺寸为1024×768)立体图像的左视点图像;
图6b为Kendo(尺寸为1024×768)立体图像的右视点图像;
图7a为LeaveLaptop(尺寸为1024×768)立体图像的左视点图像;
图7b为LeaveLaptop(尺寸为1024×768)立体图像的右视点图像;
图8a为Lovebierd1(尺寸为1024×768)立体图像的左视点图像;
图8b为Lovebierd1(尺寸为1024×768)立体图像的右视点图像;
图9a为Newspaper(尺寸为1024×768)立体图像的左视点图像;
图9b为Newspaper(尺寸为1024×768)立体图像的右视点图像;
图10a为Puppy(尺寸为720×480)立体图像的左视点图像;
图10b为Puppy(尺寸为720×480)立体图像的右视点图像;
图11a为Soccer2(尺寸为720×480)立体图像的左视点图像;
图11b为Soccer2(尺寸为720×480)立体图像的右视点图像;
图12a为Horse(尺寸为720×480)立体图像的左视点图像;
图12b为Horse(尺寸为720×480)立体图像的右视点图像;
图13a为Xmas(尺寸为640×480)立体图像的左视点图像;
图13b为Xmas(尺寸为640×480)立体图像的右视点图像;
图14为失真立体图像集合中的各幅失真的立体图像的图像质量客观评价预测值与平均主观评分差值的散点图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种基于失真图的立体图像质量客观评价方法,其总体实现框图如图1所示,其处理过程为:首先,根据原始的无失真的立体图像的左视点图像和右视点图像中的每个像素点在不同尺度和方向的偶对称频率响应和奇对称频率响应,及原始的无失真的立体图像的左视点图像和右视点图像之间的视差图像,获得原始的无失真的立体图像的独眼图;根据待评价的失真的立体图像的左视点图像和右视点图像中的每个像素点在不同尺度和方向的偶对称频率响应和奇对称频率响应,及原始的无失真的立体图像的左视点图像和右视点图像之间的视差图像,获得待评价的失真的立体图像的独眼图;其次,分别计算两个独眼图之间的结构失真图和可视失真图;然后,根据结构失真图和可视失真图,对待评价的失真的立体图像的独眼图中的每个像素点的客观评价度量值进行融合,得到待评价的失真的立体图像的图像质量客观评价预测值;最后,按照上述处理过程获取多幅不同失真类型不同失真程度的失真的立体图像的图像质量客观评价预测值。本发明方法具体包括以下步骤:
①令Sorg为原始的无失真的立体图像,令Sdis为待评价的失真的立体图像,将Sorg的左视点图像记为{Lorg(x,y)},将Sorg的右视点图像记为{Rorg(x,y)},将Sdis的左视点图像记为{Ldis(x,y)},将Sdis的右视点图像记为{Rdis(x,y)},其中,此处(x,y)表示左视点图像和右视点图像中的像素点的坐标位置,1≤x≤W,1≤y≤H,W表示左视点图像和右视点图像的宽度,H表示左视点图像和右视点图像的高度,Lorg(x,y)表示{Lorg(x,y)}中坐标位置为(x,y)的像素点的像素值,Rorg(x,y)表示{Rorg(x,y)}中坐标位置为(x,y)的像素点的像素值,Ldis(x,y)表示{Ldis(x,y)}中坐标位置为(x,y)的像素点的像素值,Rdis(x,y)表示{Rdis(x,y)}中坐标位置为(x,y)的像素点的像素值。
②计算{Lorg(x,y)}、{Rorg(x,y)}、{Ldis(x,y)}、{Rdis(x,y)}中的每个像素点在不同尺度和方向的偶对称频率响应和奇对称频率响应;然后获取{Lorg(x,y)}、{Rorg(x,y)}、 {Ldis(x,y)}、{Rdis(x,y)}中的每个像素点的振幅;再根据{Lorg(x,y)}和{Rorg(x,y)}中的每个像素点的振幅及{Lorg(x,y)}与{Rorg(x,y)}之间的视差图像中的每个像素点的像素值,计算Sorg的独眼图(cyclopean map),记为{CMorg(x,y)},并根据{Ldis(x,y)}和{Rdis(x,y)}中的每个像素点的振幅及{Lorg(x,y)}与{Rorg(x,y)}之间的视差图像中的每个像素点的像素值,计算Sdis的独眼图,记为{CMdis(x,y)},其中,CMorg(x,y)表示{CMorg(x,y)}中坐标位置为(x,y)的像素点的像素值,CMdis(x,y)表示{CMdis(x,y)}中坐标位置为(x,y)的像素点的像素值。
在此具体实施例中,步骤②的具体过程为:
②-1、采用log-Garbor滤波器对{Lorg(x,y)}进行滤波处理,得到{Lorg(x,y)}中的每个像素点在不同尺度和方向的偶对称频率响应和奇对称频率响应,将{Lorg(x,y)}中坐标位置为(x,y)的像素点在不同尺度和方向的偶对称频率响应记为将{Lorg(x,y)}中坐标位置为(x,y)的像素点在不同尺度和方向的奇对称频率响应记为其中,α表示滤波所采用的滤波器的尺度因子,1≤α≤4,θ表示滤波所采用的滤波器的方向因子,1≤θ≤4。
②-2、根据{Lorg(x,y)}中的每个像素点在不同尺度和方向的偶对称频率响应和奇对称频率响应,计算{Lorg(x,y)}中的每个像素点的振幅,将{Lorg(x,y)}中坐标位置为(x,y)的像素点的振幅记为 GE org L ( x , y ) = Σ θ = 1 4 Σ α = 1 4 e α , θ L ( x , y ) 2 + o α , θ L ( x , y ) 2 .
②-3、按照步骤②-1至步骤②-2获取{Lorg(x,y)}中的每个像素点的振幅的操作过程,以相同方式获取{Rorg(x,y)}、{Ldis(x,y)}和{Rdis(x,y)}中的每个像素点的振幅,将{Rorg(x,y)}中坐标位置为(x,y)的像素点的振幅记为将{Ldis(x,y)}中坐标位置为(x,y)的像素点的振幅记为将{Rdis(x,y)}中坐标位置为(x,y)的像素点的振幅记为例如:获取{Ldis(x,y)}中的每个像素点的振幅的操作过程为:1) 对{Ldis(x,y)}进行滤波处理,得到{Ldis(x,y)}中的每个像素点在不同尺度和方向的偶对称频率响应和奇对称频率响应,将{Ldis(x,y)}中坐标位置为(x,y)的像素点在不同尺度和方向的偶对称频率响应记为将{Ldis(x,y)}中坐标位置为(x,y)的像素点在不同尺度和方向的奇对称频率响应记为其中,α表示滤波所采用的滤波器的尺度因子,1≤α≤4,θ表示滤波所采用的滤波器的方向因子,1≤θ≤4;2)根据{Ldis(x,y)}中的每个像素点在不同尺度和方向的偶对称频率响应和奇对称频率响应,计算{Ldis(x,y)}中的每个像素点的振幅,将{Ldis(x,y)}中坐标位置为(x,y)的像素点的振幅记为  GE dis L ( x , y ) = Σ θ = 1 4 Σ α = 1 4 e α , θ L ′ ( x , y ) 2 + o α , θ L ′ ( x , y ) 2 .
②-4、采用块匹配法计算{Lorg(x,y)}与{Rorg(x,y)}之间的视差图像,记为其中,表示中坐标位置为(x,y)的像素点的像素值。
②-5、根据{Lorg(x,y)}和{Rorg(x,y)}中的每个像素点的振幅及{Lorg(x,y)}与{Rorg(x,y)}之间的视差图像中的每个像素点的像素值,计算Sorg的独眼图,记为{CMorg(x,y)},将{CMorg(x,y)}中坐标位置为(x,y)的像素点的像素值记为CMorg(x,y),  CM org ( x , y ) = GE org L ( x , y ) × L org ( x , y ) + GE org R ( x - d org L ( x , y ) , y ) × R org ( x - d org L ( x , y ) , y ) GE org L ( x , y ) + GE org R ( x - d org L ( x , y ) , y ) , 其中, 表示{Rorg(x,y)}中坐标位置为的像素点的振幅, 表示{Rorg(x,y)}中坐标位置为的像素点的像素值。
②-6、根据{Ldis(x,y)}和{Rdis(x,y)}中的每个像素点的振幅及{Lorg(x,y)}与{Rorg(x,y)}之间的视差图像中的每个像素点的像素值,计算Sdis的独眼图,记为{CMdis(x,y)},将{CMdis(x,y)}中坐标位置为(x,y)的像素点的像素值记为CMdis(x,y),  CM dis ( x , y ) = GE dis L ( x , y ) × L dis ( x , y ) + GE dis R ( x - d org L ( x , y ) , y ) × R dis ( x - d org L ( x , y ) , y ) GE dis L ( x , y ) + GE dis R ( x - d org L ( x , y ) , y ) , 其中, 表示{Rdis(x,y)}中坐标位置为的像素点的振幅, 表示{Rdis(x,y)}中坐标位置为的像素点的像素值。
③计算Sorg的独眼图{CMorg(x,y)}与Sdis的独眼图{CMdis(x,y)}之间的结构失真图,记为{Dappear(x,y)},其中,Dappear(x,y)表示{Dappear(x,y)}中坐标位置为(x,y)的像素点的像素值。
在此具体实施例中,步骤③的具体过程为:
③-1、采用log-Garbor滤波器对{CMorg(x,y)}进行滤波处理,得到{CMorg(x,y)}中的每个像素点在不同尺度和方向的偶对称频率响应和奇对称频率响应,将{CMorg(x,y)}中坐标位置为(x,y)的像素点在不同尺度和方向的偶对称频率响应记为将{CMorg(x,y)}中坐标位置为(x,y)的像素点在不同尺度和方向的奇对称频率响应记为 其中,α表示滤波所采用的滤波器的尺度因子,1≤α≤4,θ表示滤波所采用的滤波器的方向因子,1≤θ≤4。
③-2、根据{CMorg(x,y)}中的每个像素点在不同尺度和方向的偶对称频率响应和奇对称频率响应,计算{CMorg(x,y)}中的每个像素点在不同尺度和方向的振幅,将{CMorg(x,y)}中坐标位置为(x,y)的像素点在不同尺度和方向的振幅记为 GE α , θ org ( x , y ) = e α , θ CM ( x , y ) 2 + o α , θ CM ( x , y ) 2 .
③-3、按照步骤③-1至步骤③-2获取{CMorg(x,y)}中的每个像素点在不同尺度和方向的振幅的操作过程,以相同方式获取{CMdis(x,y)}中的每个像素点在不同尺度和方向的振幅,将{CMdis(x,y)}中坐标位置为(x,y)的像素点在不同尺度和方向的振幅记为 即:获取{CMdis(x,y)}中的每个像素点在不同尺度和方向的振幅的操作过程为:1)采用log-Garbor滤波器对{CMdis(x,y)}进行滤波处理,得到{CMdis(x,y)}中的 每个像素点在不同尺度和方向的偶对称频率响应和奇对称频率响应,将{CMdis(x,y)}中坐标位置为(x,y)的像素点在不同尺度和方向的偶对称频率响应记为将{Ldis(x,y)}中坐标位置为(x,y)的像素点在不同尺度和方向的奇对称频率响应记为 其中,α表示滤波所采用的滤波器的尺度因子,1≤α≤4,θ表示滤波所采用的滤波器的方向因子,1≤θ≤4;2)根据{CMdis(x,y)}中的每个像素点在不同尺度和方向的偶对称频率响应和奇对称频率响应,计算{CMdis(x,y)}中的每个像素点在不同尺度和方向的振幅,将{CMdis(x,y)}中坐标位置为(x,y)的像素点在不同尺度和方向的振幅记为 GE α , θ dis ( x , y ) = e α , θ CM ′ ( x , y ) 2 + o α , θ CM ′ ( x , y ) 2 .
③-4、计算{CMorg(x,y)}中的每个像素点在不同尺度和方向的振幅的标准差、偏度和峰度,将{CMorg(x,y)}中坐标位置为(x,y)的像素点在不同尺度和方向的振幅 的标准差、偏度和峰度分别记为 σ α , θ org ( x , y ) = Σ ( x 1 , y 1 ) ∈ N ( x , y ) ( GE α , θ org ( x 1 , y 1 ) - μ α , θ org ( x , y ) ) 2 M , ζ α , θ org ( x , y ) = 1 M × Σ ( x 1 , y 1 ) ∈ N ( x , y ) ( GE α , θ org ( x 1 , y 1 ) - μ α , θ org ( x , y ) σ α , θ org ( x , y ) ) 4 , κ α , θ org ( x , y ) = 1 M × Σ ( x 1 , y 1 ) ∈ N ( x , y ) ( GE α , θ org ( x 1 , y 1 ) - μ α , θ org ( x , y ) σ α , θ org ( x , y ) ) 3 , 其中, N(x,y)表示以坐标位置为(x,y)的像素点为中心的邻域窗口,M表示N(x,y)内的像素点的个数,表示{CMorg(x,y)}中坐标位置为(x1,y1)的像素点在不同尺度和方向的振幅。
计算{CMdis(x,y)}中的每个像素点在不同尺度和方向的振幅的标准差、偏度和峰度,将{CMdis(x,y)}中坐标位置为(x,y)的像素点在不同尺度和方向的振幅的标准 差、偏度和峰度分别记为 σ α , θ dis ( x , y ) = Σ ( x 1 , y 1 ) ∈ N ( x , y ) ( GE α , θ dis ( x 1 , y 1 ) - μ α , θ dis ( x , y ) ) 2 M , ζ α , θ dis ( x , y ) = 1 M × Σ ( x 1 , y 1 ) ∈ N ( x , y ) ( GE α , θ dis ( x 1 , y 1 ) - μ α , θ dis ( x , y ) σ α , θ dis ( x , y ) ) 4 , κ α , θ dis ( x , y ) = 1 M × Σ ( x 1 , y 1 ) ∈ N ( x , y ) ( GE α , θ dis ( x 1 , y 1 ) - μ α , θ dis ( x , y ) σ α , θ dis ( x , y ) ) 3 , 其中,  表示中坐标位置为(x1,y1)的像素点在不同尺度和方向的振幅。
③-5、根据{CMorg(x,y)}中的每个像素点在不同尺度和方向的振幅的标准差、偏度和峰度及{CMdis(x,y)}中的每个像素点在不同尺度和方向的振幅的标准差、偏度和峰度,计算{CMorg(x,y)}与{CMdis(x,y)}之间的结构失真图,记为{Dappear(x,y)},将{Dappear(x,y)}中坐标位置为(x,y)的像素点的像素值记为Dappear(x,y),  D appear ( x , y ) = Σ θ = 1 4 Σ α = 1 4 ω θ × ( ρ × | σ α , θ org ( x , y ) - σ α , θ dis ( x , y ) | + λ × | ζ α , θ org ( x , y ) - ζ α , θ dis ( x , y ) | + γ × | κ α , θ org ( x , y ) - κ α , θ dis ( x , y ) | ) ,其中,ωθ表示不同尺度的加权系数,ρ、λ和γ为控制系数。
在本实施例中,当θ=1时,取ωθ=0.5;当θ=2时,取ωθ=0.75;当θ=3时,取ωθ=1.5;当θ=4时,取ωθ=6;取ρ=0.6、λ=0.05、γ=0.02。
④计算Sorg的独眼图{CMorg(x,y)}与Sdis的独眼图{CMdis(x,y)}之间的可视失真图,记为{Ddetect(x,y)},其中,Ddetect(x,y)表示{Ddetect(x,y)}中坐标位置为(x,y)的像素点的像素值。
在此具体实施例中,步骤④的具体过程为:
④-1、计算{CMorg(x,y)}与{CMdis(x,y)}之间的残差图像,记为{CMerr(x,y)},将{CMerr(x,y)}中坐标位置为(x,y)的像素点的像素值记为CMerr(x,y), CMerr(x,y)=CMorg(x,y)-CMdis(x,y)。
④-2、采用对比度敏感度函数(CSF)对{CMorg(x,y)}进行滤波处理,得到{CMorg(x,y)}经滤波后的融合图像,记为{FIorg(x,y)},其中,FIorg(x,y)表示{FIorg(x,y)}中坐标位置为(x,y)的像素点的像素值。
④-3、采用对比度敏感度函数(CSF)对{CMerr(x,y)}进行滤波处理,得到{CMerr(x,y)}经滤波后的融合图像,记为{FIerr(x,y)},其中,FIerr(x,y)表示{FIerr(x,y)}中坐标位置为(x,y)的像素点的像素值。
④-4、计算{FIorg(x,y)}中的每个像素点的均值和标准差,将{FIorg(x,y)}中坐标位置为(x,y)的像素点的均值和标准差分别记为 μ ~ org ( x , y ) = Σ ( x 2 , y 2 ) ∈ N ′ ( x , y ) FI org ( x 2 , y 2 ) M ′ , σ ~ org ( x , y ) = Σ ( x 2 , y 2 ) ∈ N ′ ( x , y ) ( FI org ( x 2 , y 2 ) - μ ~ org ( x , y ) ) 2 M ′ , 其中,FIorg(x2,y2)表示{FIorg(x,y)}中坐标位置为(x2,y2)的像素点的像素值,N'(x,y)表示以坐标位置为(x,y)的像素点为中心的邻域窗口,在本实施例中邻域窗口N'(x,y)的大小为4×4,M'表示N'(x,y)内的像素点的个数。
计算{FIerr(x,y)}中的每个像素点的均值和标准差,将{FIerr(x,y)}中坐标位置为(x,y)的像素点的均值和标准差分别记为 μ ~ err ( x , y ) = Σ ( x 2 , y 2 ) ∈ N ′ ( x , y ) FI err ( x 2 , y 2 ) M ′ , σ ~ err ( x , y ) = Σ ( x 2 , y 2 ) ∈ N ′ ( x , y ) ( FI err ( x 2 , y 2 ) - μ ~ err ( x , y ) ) 2 M ′ , 其中,FIerr(x2,y2)表示{FIerr(x,y)}中坐标位置为(x2,y2)的像素点的像素值。
④-5、计算{CMorg(x,y)}与{CMdis(x,y)}中的每个像素点之间的对比度失真,将{CMorg(x,y)}与{CMdis(x,y)}中坐标位置为(x,y)的像素点之间的对比度失真记为 ξ(x,y),如果满足条件:lnCerr(x,y)>lnCorg(x,y),则ξ(x,y)=lnCerr(x,y)-lnCorg(x,y);如果满足条件:lnCerr(x,y)>δ>lnCorg(x,y),则ξ(x,y)=lnCerr(x,y)-δ,否则,ξ(x,y)=0,其中, C org ( x , y ) = σ ~ org ( x , y ) / μ ~ org ( x , y ) , C err ( x , y ) = σ ~ err ( x , y ) / μ ~ org ( x , y ) , δ为截断系数,在本实施例中取δ=-5,ln()表示以e为底的对数函数,e=2.71828183。
④-6、计算{CMorg(x,y)}与{CMdis(x,y)}之间的可视失真图,记为{Ddetect(x,y)},将{Ddetect(x,y)}中坐标位置为(x,y)的像素点的像素值记为Ddetect(x,y),Ddetect(x,y)=ξ(x,y)η×CMerr(x,y)2×(1-η),其中,β1和β2为控制系数,在本实施例中取β1=0.467、β2=0.130。
⑤根据{Dappear(x,y)}和{Ddetect(x,y)},对Sdis的独眼图{CMdis(x,y)}中的每个像素点的客观评价度量值进行融合,得到Sdis的图像质量客观评价预测值,记为Q,  Q = [ Σ ( x , y ) ∈ Ω Q image ( x , y ) × D appear ( x , y ) Σ ( x , y ) ∈ Ω D appear ( x , y ) ] τ × [ Σ ( x , y ) ∈ Ω Q image ( x , y ) × D det ect ( x , y ) Σ ( x , y ) ∈ Ω D det ect ( x , y ) ] υ , 其中,Qimage(x,y)表示{CMdis(x,y)}中坐标位置为(x,y)的像素点的客观评价度量值,Ω表示像素域范围,τ和υ为权重系数。
在本实施例中,以{CMorg(x,y)}与{CMdis(x,y)}中的每个像素点之间的结构相似度(SSIM)作为{CMdis(x,y)}中的每个像素点的客观评价度量值,即在此Qimage(x,y)的值为{CMorg(x,y)}中坐标位置为(x,y)的像素点与{CMdis(x,y)}中坐标位置为(x,y)的像素点之间的结构相似度(SSIM)。
在本实施例中,取τ=0.0505,υ=3.0255。
⑥采用n幅原始的无失真的立体图像,建立其在不同失真类型不同失真程度下的失真立体图像集合,该失真立体图像集合包括多幅失真的立体图像,利用主观质量评价方法分别获取失真立体图像集合中每幅失真的立体图像的平均主观评分差值,记为DMOS,DMOS=100-MOS,其中,MOS表示主观评分均值,DMOS∈[0,100],n≥1。
在本实施例中,利用如图2a和图2b构成的立体图像、图3a和图3b构成的立体图像、图4a和图4b构成的立体图像、图5a和图5b构成的立体图像、图6a和图6b构成的立体图像、图7a和图7b构成的立体图像、图8a和图8b构成的立体图像、图9a和图9b构成的立体图像、图10a和图10b构成的立体图像、图11a和图11b构成的立体图像、图12a和图12b构成的立体图像、图13a和图13b构成的立体图像共12幅(n=12)无失真的立体图像建立了其在不同失真类型不同失真程度下的失真立体图像集合,该失真立体图像集合共包括4种失真类型的252幅失真的立体图像,其中JPEG压缩的失真的立体图像共60幅,JPEG2000压缩的失真的立体图像共60幅,高斯模糊(Gaussian Blur)的失真的立体图像共60幅,H.264编码的失真的立体图像共72幅。
⑦按照步骤①至步骤⑥计算Sdis的图像质量客观评价预测值的操作过程,分别计算失真立体图像集合中每幅失真的立体图像的图像质量客观评价预测值。
采用图2a至图13b所示的12幅无失真的立体图像在不同程度的JPEG压缩、JPEG2000压缩、高斯模糊和H.264编码失真情况下的252幅失真的立体图像来分析本实施例得到的失真的立体图像的图像质量客观评价预测值与平均主观评分差值之间的相关性。这里,利用评估图像质量评价方法的4个常用客观参量作为评价指标,即非线性回归条件下的Pearson相关系数(Pearson linear correlation coefficient,PLCC)、Spearman相关系数(Spearman rank order correlation coefficient,SROCC)、Kendall相关系数(Kendall rank-order correlation coefficient,KROCC)、均方误差(root mean squared error,RMSE),PLCC和RMSE反映失真的立体图像评价客观模型的准确性,SROCC和KROCC反映其单调性。将按本发明方法计算得到的失真的立体图像的图像质量客观评价预测值做五参数Logistic函数非线性拟合,PLCC、SROCC和KROCC值越高,RMSE值越低说明客观评价方法与平均主观评分差值相关性越好。将分别采用本发明方法与不采用本发明方法得到失真的立体图像的图像质量客观评价预测值与主观评分之间的Pearson相关系数、Spearman相关系数、Kendall相关系数和均方误差进行比较,比较结果分别如表1、表2、表3和表4所示,从表1、表2、表3和表4中可以看出,采用本发明方法得到的失真的立体图像的最终的图像质量客观评价预测值与平均主观评分差值之间的相关性是很高的,充分表明客观评价结果与人眼主观感知的结果较为一致,足以说明本发明方法的有效性。
图14给出了失真立体图像集合中的各幅失真的立体图像的图像质量客观评价预测值与平均主观评分差值的散点图,散点越集中,说明客观评介结果与主观感知的一致性越好。从图14中可以看出,采用本发明方法得到的散点图比较集中,与主观评价数据之间的吻合度较高。
表1利用本发明方法与不利用本发明方法得到的失真的立体图像的图像质量客观评价预测值与主观评分之间的Pearson相关系数比较
表2利用本发明方法与不利用本发明方法得到的失真的立体图像的图像质量客观评价预测值与主观评分之间的Spearman相关系数比较
表3利用本发明方法与不利用本发明方法得到的失真的立体图像的图像质量客观评价预测值与主观评分之间的Kendall相关系数比较
表4利用本发明方法与不利用本发明方法得到的失真的立体图像的图像质量客观评价预测值与主观评分之间的均方误差比较 。

Claims (9)

1.一种基于失真图的立体图像质量客观评价方法,其特征在于它的处理过程为:首先,根据原始的无失真的立体图像的左视点图像和右视点图像中的每个像素点在不同尺度和方向的偶对称频率响应和奇对称频率响应,及原始的无失真的立体图像的左视点图像和右视点图像之间的视差图像,获得原始的无失真的立体图像的独眼图;根据待评价的失真的立体图像的左视点图像和右视点图像中的每个像素点在不同尺度和方向的偶对称频率响应和奇对称频率响应,及原始的无失真的立体图像的左视点图像和右视点图像之间的视差图像,获得待评价的失真的立体图像的独眼图;其次,分别计算两个独眼图之间的结构失真图和可视失真图;然后,根据结构失真图和可视失真图,对待评价的失真的立体图像的独眼图中的每个像素点的客观评价度量值进行融合,得到待评价的失真的立体图像的图像质量客观评价预测值;最后,按照上述处理过程获取多幅不同失真类型不同失真程度的失真的立体图像的图像质量客观评价预测值;
该立体图像质量客观评价方法具体包括以下步骤:
①令Sorg为原始的无失真的立体图像,令Sdis为待评价的失真的立体图像,将Sorg的左视点图像记为{Lorg(x,y)},将Sorg的右视点图像记为{Rorg(x,y)},将Sdis的左视点图像记为{Ldis(x,y)},将Sdis的右视点图像记为{Rdis(x,y)},其中,此处(x,y)表示左视点图像和右视点图像中的像素点的坐标位置,1≤x≤W,1≤y≤H,W表示左视点图像和右视点图像的宽度,H表示左视点图像和右视点图像的高度,Lorg(x,y)表示{Lorg(x,y)}中坐标位置为(x,y)的像素点的像素值,Rorg(x,y)表示{Rorg(x,y)}中坐标位置为(x,y)的像素点的像素值,Ldis(x,y)表示{Ldis(x,y)}中坐标位置为(x,y)的像素点的像素值,Rdis(x,y)表示{Rdis(x,y)}中坐标位置为(x,y)的像素点的像素值;
②计算{Lorg(x,y)}、{Rorg(x,y)}、{Ldis(x,y)}、{Rdis(x,y)}中的每个像素点在不同尺度和方向的偶对称频率响应和奇对称频率响应;然后获取{Lorg(x,y)}、{Rorg(x,y)}、{Ldis(x,y)}、{Rdis(x,y)}中的每个像素点的振幅;再根据{Lorg(x,y)}和{Rorg(x,y)}中的每个像素点的振幅及{Lorg(x,y)}与{Rorg(x,y)}之间的视差图像中的每个像素点的像素值,计算Sorg的独眼图,记为{CMorg(x,y)},并根据{Ldis(x,y)}和{Rdis(x,y)}中的每个像素点的振幅及{Lorg(x,y)}与{Rorg(x,y)}之间的视差图像中的每个像素点的像素值,计算Sdis的独眼图,记为{CMdis(x,y)},其中,CMorg(x,y)表示{CMorg(x,y)}中坐标位置为(x,y)的像素点的像素值,CMdis(x,y)表示{CMdis(x,y)}中坐标位置为(x,y)的像素点的像素值;
③计算Sorg的独眼图{CMorg(x,y)}与Sdis的独眼图{CMdis(x,y)}之间的结构失真图,记为{Dappear(x,y)},将{Dappear(x,y)}中坐标位置为(x,y)的像素点的像素值记为Dappear(x,y),
,其中,α表示对{CMorg(x,y)}和{CMdis(x,y)}进行滤波所采用的滤波器的尺度因子,1≤α≤4,θ表示对{CMorg(x,y)}和{CMdis(x,y)}进行滤波所采用的滤波器的方向因子,1≤θ≤4,ωθ表示不同尺度的加权系数,ρ、λ和γ为控制系数,对应表示{CMorg(x,y)}中坐标位置为(x,y)的像素点在不同尺度和方向的振幅的标准差、偏度和峰度,对应表示{CMdis(x,y)}中坐标位置为(x,y)的像素点在不同尺度和方向的振幅的标准差、偏度和峰度;
④计算Sorg的独眼图{CMorg(x,y)}与Sdis的独眼图{CMdis(x,y)}之间的可视失真图,记为{Ddetect(x,y)},将{Ddetect(x,y)}中坐标位置为(x,y)的像素点的像素值记为Ddetect(x,y),Ddetect(x,y)=ξ(x,y)η×CMerr(x,y)2×(1-η),其中,ξ(x,y)表示{CMorg(x,y)}与{CMdis(x,y)}中坐标位置为(x,y)的像素点之间的对比度失真,β1和β2为控制系数,CMerr(x,y)表示{CMorg(x,y)}与{CMdis(x,y)}之间的残差图像{CMerr(x,y)}中坐标位置为(x,y)的像素点的像素值;
⑤根据{Dappear(x,y)}和{Ddetect(x,y)},对Sdis的独眼图{CMdis(x,y)}中的每个像素点的客观评价度量值进行融合,得到Sdis的图像质量客观评价预测值,记为Q, Q = [ Σ ( x , y ) ∈ Ω Q image ( x , y ) × D appear ( x , y ) Σ ( x , y ) ∈ Ω D appear ( x , y ) ] τ × [ Σ ( x , y ) ∈ Ω Q image ( x , y ) × D det ect ( x , y ) Σ ( x , y ) ∈ Ω D det ect ( x , y ) ] υ , 其中,Qimage(x,y)表示{CMdis(x,y)}中坐标位置为(x,y)的像素点的客观评价度量值,Ω表示像素域范围,τ和υ为权重系数;
⑥采用n幅原始的无失真的立体图像,建立其在不同失真类型不同失真程度下的失真立体图像集合,该失真立体图像集合包括多幅失真的立体图像,其中,n≥1;
⑦按照步骤①至步骤⑤计算Sdis的图像质量客观评价预测值的操作过程,分别计算失真立体图像集合中每幅失真的立体图像的图像质量客观评价预测值。
2.根据权利要求1所述的一种基于失真图的立体图像质量客观评价方法,其特征在于所述的步骤②的具体过程为:
②-1、采用log-Garbor滤波器对{Lorg(x,y)}进行滤波处理,得到{Lorg(x,y)}中的每个像素点在不同尺度和方向的偶对称频率响应和奇对称频率响应,将{Lorg(x,y)}中坐标位置为(x,y)的像素点在不同尺度和方向的偶对称频率响应记为将{Lorg(x,y)}中坐标位置为(x,y)的像素点在不同尺度和方向的奇对称频率响应记为其中,α表示滤波所采用的滤波器的尺度因子,1≤α≤4,θ表示滤波所采用的滤波器的方向因子,1≤θ≤4;
②-2、根据{Lorg(x,y)}中的每个像素点在不同尺度和方向的偶对称频率响应和奇对称频率响应,计算{Lorg(x,y)}中的每个像素点的振幅,将{Lorg(x,y)}中坐标位置为(x,y)的像素点的振幅记为 GE org L ( x , y ) , GE org L ( x , y ) = Σ θ = 1 4 Σ α = 1 4 e α , θ L ( x , y ) 2 + o α , θ L ( x , y ) 2 ;
②-3、按照步骤②-1至步骤②-2获取{Lorg(x,y)}中的每个像素点的振幅的操作过程,以相同方式获取{Rorg(x,y)}、{Ldis(x,y)}和{Rdis(x,y)}中的每个像素点的振幅,将{Rorg(x,y)}中坐标位置为(x,y)的像素点的振幅记为将{Ldis(x,y)}中坐标位置为(x,y)的像素点的振幅记为将{Rdis(x,y)}中坐标位置为(x,y)的像素点的振幅记为
②-4、采用块匹配法计算{Lorg(x,y)}与{Rorg(x,y)}之间的视差图像,记为其中,表示中坐标位置为(x,y)的像素点的像素值;
②-5、根据{Lorg(x,y)}和{Rorg(x,y)}中的每个像素点的振幅及{Lorg(x,y)}与{Rorg(x,y)}之间的视差图像中的每个像素点的像素值,计算Sorg的独眼图,记为{CMorg(x,y)},将{CMorg(x,y)}中坐标位置为(x,y)的像素点的像素值记为CMorg(x,y), CM org ( x , y ) = GE org L ( x , y ) × L org ( x , y ) + GE org R ( x - d org L ( x , y ) , y ) × R org ( x - d org L ( x , y ) , y ) GE org L ( x , y ) + GE org R ( x - d org L ( x , y ) , y ) , 其中,表示{Rorg(x,y)}中坐标位置为的像素点的振幅,表示{Rorg(x,y)}中坐标位置为的像素点的像素值;
②-6、根据{Ldis(x,y)}和{Rdis(x,y)}中的每个像素点的振幅及{Lorg(x,y)}与{Rorg(x,y)}之间的视差图像中的每个像素点的像素值,计算Sdis的独眼图,记为{CMdis(x,y)},将{CMdis(x,y)}中坐标位置为(x,y)的像素点的像素值记为CMdis(x,y), CM dis ( x , y ) = GE dis L ( x , y ) × L dis ( x , y ) + GE dis R ( x - d org L ( x , y ) , y ) × R dis ( x - d org L ( x , y ) , y ) GE dis L ( x , y ) + GE dis R ( x - d org L ( x , y ) , y ) , 其中,表示{Rdis(x,y)}中坐标位置为的像素点的振幅,表示{Rdis(x,y)}中坐标位置为的像素点的像素值。
3.根据权利要求1或2所述的一种基于失真图的立体图像质量客观评价方法,其特征在于所述的步骤③的具体过程为:
③-1、采用log-Garbor滤波器对{CMorg(x,y)}进行滤波处理,得到{CMorg(x,y)}中的每个像素点在不同尺度和方向的偶对称频率响应和奇对称频率响应,将{CMorg(x,y)}中坐标位置为(x,y)的像素点在不同尺度和方向的偶对称频率响应记为将{CMorg(x,y)}中坐标位置为(x,y)的像素点在不同尺度和方向的奇对称频率响应记为其中,α表示滤波所采用的滤波器的尺度因子,1≤α≤4,θ表示滤波所采用的滤波器的方向因子,1≤θ≤4;
③-2、根据{CMorg(x,y)}中的每个像素点在不同尺度和方向的偶对称频率响应和奇对称频率响应,计算{CMorg(x,y)}中的每个像素点在不同尺度和方向的振幅,将{CMorg(x,y)}中坐标位置为(x,y)的像素点在不同尺度和方向的振幅记为 GE α , θ org ( x , y ) = e α , θ CM ( x , y ) 2 + o α , θ CM ( x , y ) 2 ;
③-3、按照步骤③-1至步骤③-2获取{CMorg(x,y)}中的每个像素点在不同尺度和方向的振幅的操作过程,以相同方式获取{CMdis(x,y)}中的每个像素点在不同尺度和方向的振幅,将{CMdis(x,y)}中坐标位置为(x,y)的像素点在不同尺度和方向的振幅记为 GE α , θ dis ( x , y ) ;
③-4、计算{CMorg(x,y)}中的每个像素点在不同尺度和方向的振幅的标准差、偏度和峰度,将{CMorg(x,y)}中坐标位置为(x,y)的像素点在不同尺度和方向的振幅的标准差、偏度和峰度分别记为
σ α , θ org ( x , y ) = Σ ( x 1 , y 1 ) ∈ N ( x , y ) ( GE α , θ org ( x 1 , y 1 ) - μ α , θ org ( x , y ) ) 2 M ,
k α , θ org ( x , y ) = 1 M × Σ ( x 1 , y 1 ) ∈ N ( x , y ) ( GE α , θ org ( x 1 , y 1 ) - μ α , θ org ( x , y ) σ α , θ org ( x , y ) ) 3 , 其中,N(x,y)表示以坐标位置为(x,y)的像素点为中心的邻域窗口,M表示N(x,y)内的像素点的个数,表示{CMorg(x,y)}中坐标位置为(x1,y1)的像素点在不同尺度和方向的振幅;
计算{CMdis(x,y)}中的每个像素点在不同尺度和方向的振幅的标准差、偏度和峰度,将{CMdis(x,y)}中坐标位置为(x,y)的像素点在不同尺度和方向的振幅的标准差、偏度和峰度分别记为
σ α , θ dis ( x , y ) = Σ ( x 1 , y 1 ) ∈ N ( x , y ) ( GE α , θ dis ( x 1 , y 1 ) - μ α , θ dis ( x , y ) ) 2 M ,
k α , θ dis ( x , y ) = 1 M × Σ ( x 1 , y 1 ) ∈ N ( x , y ) ( GE α , θ dis ( x 1 , y 1 ) - μ α , θ dis ( x , y ) σ α , θ dis ( x , y ) ) 3 , 其中,
表示{CMdis(x,y)}中坐标位置为(x1,y1)的像素点在不同尺度和方向的振幅;
③-5、根据{CMorg(x,y)}中的每个像素点在不同尺度和方向的振幅的标准差、偏度和峰度及{CMdis(x,y)}中的每个像素点在不同尺度和方向的振幅的标准差、偏度和峰度,计算{Dappear(x,y)}中的每个像素点的像素值,将{Dappear(x,y)}中坐标位置为(x,y)的像素点的像素值记为Dappear(x,y),
,其中,ωθ表示不同尺度的加权系数,ρ、λ和γ为控制系数。
4.根据权利要求3所述的一种基于失真图的立体图像质量客观评价方法,其特征在于所述的步骤③-4中邻域窗口N(x,y)的大小为4×4。
5.根据权利要求4所述的一种基于失真图的立体图像质量客观评价方法,其特征在于所述的步骤③-5中当θ=1时,取ωθ=0.5;当θ=2时,取ωθ=0.75;当θ=3时,取ωθ=1.5;当θ=4时,取ωθ=6;取ρ=0.6、λ=0.05、γ=0.02。
6.根据权利要求5所述的一种基于失真图的立体图像质量客观评价方法,其特征在于所述的步骤④的具体过程为:
④-1、计算{CMorg(x,y)}与{CMdis(x,y)}之间的残差图像,记为{CMerr(x,y)},将{CMerr(x,y)}中坐标位置为(x,y)的像素点的像素值记为CMerr(x,y),CMerr(x,y)=CMorg(x,y)-CMdis(x,y);
④-2、采用对比度敏感度函数对{CMorg(x,y)}进行滤波处理,得到{CMorg(x,y)}经滤波后的融合图像,记为{FIorg(x,y)},其中,FIorg(x,y)表示{FIorg(x,y)}中坐标位置为(x,y)的像素点的像素值;
④-3、采用对比度敏感度函数对{CMerr(x,y)}进行滤波处理,得到{CMerr(x,y)}经滤波后的融合图像,记为{FIerr(x,y)},其中,FIerr(x,y)表示{FIerr(x,y)}中坐标位置为(x,y)的像素点的像素值;
④-4、计算{FIorg(x,y)}中的每个像素点的均值和标准差,将{FIorg(x,y)}中坐标位置为(x,y)的像素点的均值和标准差分别记为 μ ~ org ( x , y ) = Σ ( x 2 , y 2 ) ∈ N ′ ( x , y ) FI org ( x 2 , y 2 ) M ′ , σ ~ org ( x , y ) = Σ ( x 2 , y 2 ) ∈ N ′ ( x , y ) ( FI org ( x 2 , y 2 ) - μ ~ org ( x , y ) ) 2 M ′ , 其中,FIorg(x2,y2)表示{FIorg(x,y)}中坐标位置为(x2,y2)的像素点的像素值,N'(x,y)表示以坐标位置为(x,y)的像素点为中心的邻域窗口,M'表示N'(x,y)内的像素点的个数;
计算{FIerr(x,y)}中的每个像素点的均值和标准差,将{FIerr(x,y)}中坐标位置为(x,y)的像素点的均值和标准差分别记为 μ ~ err ( x , y ) = Σ ( x 2 , y 2 ) ∈ N ′ ( x , y ) FI err ( x 2 , y 2 ) M ′ , σ ~ err ( x , y ) = Σ ( x 2 , y 2 ) ∈ N ′ ( x , y ) ( FI err ( x 2 , y 2 ) - μ ~ err ( x , y ) ) 2 M ′ , 其中,FIerr(x2,y2)表示{FIerr(x,y)}中坐标位置为(x2,y2)的像素点的像素值;
④-5、计算{CMorg(x,y)}与{CMdis(x,y)}中的每个像素点之间的对比度失真,将{CMorg(x,y)}与{CMdis(x,y)}中坐标位置为(x,y)的像素点之间的对比度失真记为ξ(x,y),如果满足条件:lnCerr(x,y)>lnCorg(x,y),则ξ(x,y)=lnCerr(x,y)-lnCorg(x,y);如果满足条件:lnCerr(x,y)>δ>lnCorg(x,y),则ξ(x,y)=lnCerr(x,y)-δ,否则,ξ(x,y)=0,其中, C org ( x , y ) = σ ~ org ( x , y ) / μ ~ org ( x , y ) , C err ( x , y ) = σ ~ err ( x , y ) / μ ~ org ( x , y ) , δ为截断系数,ln表示以e为底的对数函数,e=2.71828183;
④-6、计算{Ddetect(x,y)}中的每个像素点的像素值,将{Ddetect(x,y)}中坐标位置为(x,y)的像素点的像素值记为Ddetect(x,y),Ddetect(x,y)=ξ(x,y)η×CMerr(x,y)2×(1-η),其中, η = 1 1 + β 1 × ξ ( x , y ) β 2 , β1和β2为控制系数。
7.根据权利要求6所述的一种基于失真图的立体图像质量客观评价方法,其特征在于所述的步骤④-4中邻域窗口N'(x,y)的大小为4×4;所述的步骤④-5中取δ=-5;所述的步骤④-6中取β1=0.467,β2=0.130。
8.根据权利要求7所述的一种基于失真图的立体图像质量客观评价方法,其特征在于所述的步骤⑤中Qimage(x,y)的值为{CMorg(x,y)}中坐标位置为(x,y)的像素点与{CMdis(x,y)}中坐标位置为(x,y)的像素点之间的结构相似度。
9.根据权利要求8所述的一种基于失真图的立体图像质量客观评价方法,其特征在于所述的步骤⑤中取τ=0.0505,υ=3.0255。
CN201210493232.6A 2012-11-27 2012-11-27 一种基于失真图的立体图像质量客观评价方法 Expired - Fee Related CN102999912B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210493232.6A CN102999912B (zh) 2012-11-27 2012-11-27 一种基于失真图的立体图像质量客观评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210493232.6A CN102999912B (zh) 2012-11-27 2012-11-27 一种基于失真图的立体图像质量客观评价方法

Publications (2)

Publication Number Publication Date
CN102999912A CN102999912A (zh) 2013-03-27
CN102999912B true CN102999912B (zh) 2015-08-05

Family

ID=47928446

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210493232.6A Expired - Fee Related CN102999912B (zh) 2012-11-27 2012-11-27 一种基于失真图的立体图像质量客观评价方法

Country Status (1)

Country Link
CN (1) CN102999912B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104036502B (zh) * 2014-06-03 2016-08-24 宁波大学 一种无参考模糊失真立体图像质量评价方法
CN106815839B (zh) * 2017-01-18 2019-11-15 中国科学院上海高等研究院 一种图像质量盲评估方法
CN107609492B (zh) * 2017-08-25 2019-06-21 西安电子科技大学 基于脑电信号的失真图像质量感知评价方法
CN107578406A (zh) * 2017-09-06 2018-01-12 天津大学 基于网格与韦泊统计特性的无参考立体图像质量评价方法
CN112022065A (zh) * 2020-09-24 2020-12-04 电子科技大学 一种快速定位胶囊进入十二指肠时间点的方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102737380A (zh) * 2012-06-05 2012-10-17 宁波大学 一种基于梯度结构张量的立体图像质量客观评价方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4817246B2 (ja) * 2006-07-31 2011-11-16 Kddi株式会社 映像品質の客観評価装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102737380A (zh) * 2012-06-05 2012-10-17 宁波大学 一种基于梯度结构张量的立体图像质量客观评价方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Maalouf A等.CYCLOP: A Stereo Color Image Quality assessment metric.《International Conference on Acoustics,Speech and Signal Processing》.2011,1161-1164. *
Most apparent distortion: full-reference image quality assessment and the role of strategy;Eric C.Larson 等;《Journal of Electronic Imaging》;20100331;第19卷(第1期);全文 *
中国优秀硕士学位论文全文数据库 信息科技辑;赵瑞超;《中国优秀硕士学位论文全文数据库信息科技辑》;20120315(第3期);全文 *

Also Published As

Publication number Publication date
CN102999912A (zh) 2013-03-27

Similar Documents

Publication Publication Date Title
CN102209257B (zh) 一种立体图像质量客观评价方法
CN102903107B (zh) 一种基于特征融合的立体图像质量客观评价方法
CN102333233B (zh) 一种基于视觉感知的立体图像质量客观评价方法
CN102708567B (zh) 一种基于视觉感知的立体图像质量客观评价方法
CN103413298B (zh) 一种基于视觉特性的立体图像质量客观评价方法
CN104036501A (zh) 一种基于稀疏表示的立体图像质量客观评价方法
CN104394403B (zh) 一种面向压缩失真的立体视频质量客观评价方法
US20140064604A1 (en) Method for objectively evaluating quality of stereo image
CN102999912B (zh) 一种基于失真图的立体图像质量客观评价方法
CN102843572B (zh) 一种基于相位的立体图像质量客观评价方法
CN104811691B (zh) 一种基于小波变换的立体视频质量客观评价方法
CN105282543B (zh) 一种基于立体视觉感知的全盲立体图像质量客观评价方法
CN104243976A (zh) 一种立体图像客观质量评价方法
CN104902268B (zh) 基于局部三元模式的无参考立体图像客观质量评价方法
CN106791822B (zh) 一种基于单双目特征学习的无参考立体图像质量评价方法
CN104408716A (zh) 一种基于视觉保真度的立体图像质量客观评价方法
CN102663747A (zh) 一种基于视觉感知的立体图像客观质量评价方法
CN103136748A (zh) 一种基于特征图的立体图像质量客观评价方法
CN104954778A (zh) 一种基于感知特征集的立体图像质量客观评价方法
CN104036502A (zh) 一种无参考模糊失真立体图像质量评价方法
CN102999911B (zh) 一种基于能量图的立体图像质量客观评价方法
CN105376563A (zh) 基于双目融合特征相似度的无参考立体图像质量评价方法
CN103369348B (zh) 一种基于区域重要性分类的立体图像质量客观评价方法
CN102737380B (zh) 一种基于梯度结构张量的立体图像质量客观评价方法
CN103200420B (zh) 一种基于三维视觉注意力的立体图像质量客观评价方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150805

Termination date: 20171127

CF01 Termination of patent right due to non-payment of annual fee