CN103136748A - 一种基于特征图的立体图像质量客观评价方法 - Google Patents

Abstract

本发明公开了一种基于特征图的立体图像质量客观评价方法，其首先分别计算原始的无失真的立体图像和待评价的失真的立体图像的视差空间图，再根据待评价的失真的立体图像的左视点图像的双目最小可察觉变化图像，及原始的无失真的立体图像的左视点图像与右视点图像之间的视差图像的视差梯度图像，计算两个视差空间图之间的第一结构相似度，获得待评价的失真的立体图像的图像质量客观评价预测值，优点在于获得的视差空间图能够很好地反映不同视差对立体图像质量的影响，并且根据特征图计算得到的结构相似度，能够较好地反映立体图像的质量变化情况，使得评价结果更加感觉符合人类视觉系统，从而有效地提高了客观评价结果与主观感知的相关性。

Description

一种基于特征图的立体图像质量客观评价方法

技术领域

本发明涉及一种图像质量评价方法，尤其是涉及一种基于特征图的立体图像质量客观评价方法。

背景技术

随着图像编码技术和立体显示技术的迅速发展，立体图像技术受到了越来越广泛的关注与应用，已成为当前的一个研究热点。立体图像技术利用人眼的双目视差原理，双目各自独立地接收来自同一场景的左右视点图像，通过大脑融合形成双目视差，从而欣赏到具有深度感和逼真感的立体图像。由于受到采集系统、存储压缩及传输设备的影响，立体图像会不可避免地引入一系列的失真，而与单通道图像相比，立体图像需要同时保证两个通道的图像质量，因此对其进行质量评价具有非常重要的意义。然而，目前对立体图像质量缺乏有效的客观评价方法进行评价。因此，建立有效的立体图像质量客观评价模型具有十分重要的意义。

目前的立体图像质量客观评价方法是将平面图像质量评价方法直接应用于评价立体图像质量，或通过评价视差图的质量来评价立体图像的深度感知，然而，对立体图像进行融合产生立体感的过程并不是简单的平面图像质量评价方法的扩展，并且人眼并不直接观看视差图，以视差图的质量来评价立体图像的深度感知并不十分准确。因此，如何在立体图像质量评价过程中有效地对双目立体感知过程进行模拟，如何将立体图像特征信息融合到立体图像质量评价过程中，使得评价结果能够更加客观地反映人类视觉系统，都是在对立体图像进行客观质量评价过程中需要研究解决的问题。

发明内容

本发明所要解决的技术问题是提供一种能够有效地提高客观评价结果与主观感知的相关性的基于特征图的立体图像质量客观评价方法。

本发明解决上述技术问题所采用的技术方案为：一种基于特征图的立体图像质量客观评价方法，其特征在于它的处理过程为：首先，根据原始的无失真的立体图像的左视点图像中的每个像素点和右视点图像中对应坐标位置的像素点在多个视差值下的视差空间值，获取原始的无失真的立体图像的视差空间图，并根据待评价的失真的立体图像的左视点图像中的每个像素点和右视点图像中对应坐标位置的像素点在多个视差值下的视差空间值，获取待评价的失真的立体图像的视差空间图；其次，根据待评价的失真的立体图像的左视点图像的双目最小可察觉变化图像，及原始的无失真的立体图像的左视点图像与右视点图像之间的视差图像的视差梯度图像，分别计算原始的无失真的立体图像的视差空间图与待评价的失真的立体图像的视差空间图之间的第一结构相似度和第二结构相似度，获得待评价的失真的立体图像的图像质量客观评价预测值；最后，按照上述处理过程获取多幅不同失真类型不同失真程度的失真的立体图像的图像质量客观评价预测值。

上述的一种基于特征图的立体图像质量客观评价方法，其具体包括以下步骤：

①令S_org为原始的无失真的立体图像，令S_dis为待评价的失真的立体图像，将S_org的左视点图像记为{L_org(x,y)}，将S_org的右视点图像记为{R_org(x,y)}，将S_dis的左视点图像记为{L_dis(x,y)}，将S_dis的右视点图像记为{R_dis(x,y)}，其中，(x,y)表示左视点图像和右视点图像中的像素点的坐标位置，1≤x≤W，1≤y≤H，W表示左视点图像和右视点图像的宽度，H表示左视点图像和右视点图像的高度，L_org(x,y)表示{L_org(x,y)}中坐标位置为(x,y)的像素点的像素值，R_org(x,y)表示{R_org(x,y)}中坐标位置为(x,y)的像素点的像素值，L_dis(x,y)表示{L_dis(x,y)}中坐标位置为(x,y)的像素点的像素值，R_dis(x,y)表示{R_dis(x,y)}中坐标位置为(x,y)的像素点的像素值；

②根据{L_org(x,y)}中的每个像素点和{R_org(x,y)}中对应坐标位置的像素点在多个视差值下的视差空间值，获取S_org的视差空间图，记为{DSI_org(x,y,d)}，并根据{L_dis(x,y)}中的每个像素点和{R_dis(x,y)}中对应坐标位置的像素点在多个视差值下的视差空间值，获取S_dis的视差空间图，记为{DSI_dis(x,y,d)}，其中，DSI_org(x,y,d)表示{DSI_org(x,y,d)}中坐标位置为(x,y,d)的像素点的视差空间值，DSI_dis(x,y,d)表示{DSI_dis(x,y,d)}中坐标位置为(x,y,d)的像素点的视差空间值，0≤d≤d_max，d_max表示最大视差值；

③利用人类立体视觉感知对背景光照和对比度的视觉掩蔽效应，提取出{L_dis(x,y)}的双目最小可察觉变化图像，记为

其中，表示

中坐标位置为(x,y)的像素点的双目最小可察觉变化值；

④采用块匹配法计算{L_org(x,y)}与{R_org(x,y)}之间的视差图像，记为

然后计算

的视差梯度图像，记为

将

中坐标位置为(x,y)的像素点的梯度值记为 $G_{\mathrm{org}}^L(x,y)=\left|G_{\mathrm{ox}}^L(x,y)\right|+\left|G_{\mathrm{oy}}^L(x,y)\right|,$ 其中，

表示

中坐标位置为(x,y)的像素点的像素值，

表示

中坐标位置为(x,y)的像素点的水平梯度值，表示

中坐标位置为(x,y)的像素点的垂直梯度值，“||”为求绝对值符号；

⑤根据{L_dis(x,y)}的双目最小可察觉变化图像

和的视差梯度图像计算S_org的视差空间图{DSI_org(x,y,d)}和S_dis的视差空间图{DSI_dis(x,y,d)}之间的结构相似度，得到S_dis的图像质量客观评价预测值，记为Q；

⑥采用n幅原始的无失真的立体图像，建立其在不同失真类型不同失真程度下的失真立体图像集合，该失真立体图像集合包括多幅失真的立体图像，利用主观质量评价方法分别获取失真立体图像集合中每幅失真的立体图像的平均主观评分差值，记为DMOS，DMOS=100-MOS，其中，MOS表示主观评分均值，DMOS∈[0,100]，n≥1；

⑦按照步骤①至步骤⑤计算S_dis的图像质量客观评价预测值Q的操作，以相同的方式分别计算失真立体图像集合中每幅失真的立体图像的图像质量客观评价预测值。

所述的步骤②中S_org的视差空间图{DSI_org(x,y,d)}的获取过程为：

②-a1、将{L_org(x,y)}中当前正在处理的像素点定义为当前第一像素点，将{R_org(x,y)}中当前正在处理的像素点定义为当前第二像素点；

②-a2、假设当前第一像素点为{L_org(x,y)}中坐标位置为(x₁,y₁)的像素点，并假设当前第二像素点为{R_org(x,y)}中坐标位置为(x₁,y₁)的像素点，取视差值d₀=0，然后计算当前第一像素点和当前第二像素点在该视差值d₀下的视差空间值，记为DSI_org(x₁,y₁,d₀)，DSI_org(x₁,y₁,d₀)=|L_org(x₁,y₁)-R_org(x₁-d₀,y₁)|，其中，1≤x₁≤W，1≤y₁≤H，0≤d₀≤d_max，d_max表示最大视差值，L_org(x₁,y₁)表示{L_org(x,y)}中坐标位置为(x₁,y₁)的像素点的像素值，R_org(x₁-d₀,y₁)表示{R_org(x,y)}中坐标位置为(x₁-d₀,y₁)的像素点的像素值，“||”为取绝对值符号；

②-a3、选取d_max个与d₀各不相同的视差值，分别记为

然后分别计算当前第一像素点和当前第二像素点在该d_max个各不相同的视差值下的视差空间值，对应的分别记为 ${\mathrm{DSI}}_{\mathrm{org}}(x_1,y_1,d_1),{\mathrm{DSI}}_{\mathrm{org}}(x_1,y_1,d_2),...,{\mathrm{DSI}}_{\mathrm{org}}(x_1,y_1,d_i),...,{\mathrm{DSI}}_{\mathrm{org}}(x_1,y_1,d_{d_{\max }}),$ DSI_org(x₁,y₁,d₁)=|L_org(x₁,y₁)-R_org(x₁-d₁,y₁)|，DSI_org(x₁,y₁,d₂)=|L_org(x₁,y₁)-R_org(x₁-d₂,y₁)|，DSI_org(x₁,y₁,d_i)=|L_org(x₁,y₁)-R_org(x₁-d_i,y₁)|， ${\mathrm{DSI}}_{\mathrm{org}}(x_1,y_1,d_{d_{\max }})=|L_{\mathrm{org}}(x_1,y_1)-R_{\mathrm{org}}(x_1-d_{d_{\max }},y_1)|,$ 其中，1≤i≤d_max，d_i=d₀+i，

DSI_org(x₁,y₁,d₁)表示当前第一像素点和当前第二像素点在视差值d₁下的视差空间值，DSI_org(x₁,y₁,d₂)表示当前第一像素点和当前第二像素点在视差值d₂下的视差空间值，DSI_org(x₁,y₁,d_i)表示当前第一像素点和当前第二像素点在视差值d_i下的视差空间值，

表示当前第一像素点和当前第二像素点在视差值

下的视差空间值，R_org(x₁-d₁,y₁)表示{R_org(x,y)}中坐标位置为(x₁-d₁,y₁)的像素点的像素值，R_org(x₁-d₂,y₁)表示{R_org(x,y)}中坐标位置为(x₁-d₂,y₁)的像素点的像素值，R_org(x₁-d_i,y₁)表示{R_org(x,y)}中坐标位置为(x₁-d_i,y₁)的像素点的像素值，

表示{R_org(x,y)}中坐标位置为的像素点的像素值；

②-a4、将{L_org(x,y)}中下一个待处理的像素点作为当前第一像素点，将{R_org(x,y)}中下一个待处理的像素点作为当前第二像素点，然后返回步骤②-a2继续执行，直至{L_org(x,y)}和{R_org(x,y)}中的所有像素点处理完毕，获得S_org的视差空间图，记为{DSI_org(x,y,d)}，其中，DSI_org(x,y,d)表示{DSI_org(x,y,d)}中坐标位置为(x,y,d)的像素点的视差空间值， $d_0\≤d\≤d_{d_{\max }}.$

所述的步骤②中S_dis的视差空间图{DSI_dis(x,y,d)}的获取过程为：

②-b1、将{L_dis(x,y)}中当前正在处理的像素点定义为当前第一像素点，将{R_dis(x,y)}中当前正在处理的像素点定义为当前第二像素点；

②-b2、假设当前第一像素点为{L_dis(x,y)}中坐标位置为(x₁,y₁)的像素点，并假设当前第二像素点为{R_dis(x,y)}中坐标位置为(x₁,y₁)的像素点，取视差值d₀=0，然后计算当前第一像素点和当前第二像素点在该视差值d₀下的视差空间值，记为DSI_dis(x₁,y₁,d₀)，DSI_dis(x₁,y₁,d₀)=|L_dis(x₁,y₁)-R_dis(x₁-d₀,y₁)|，其中，1≤x₁≤W，1≤y₁≤H，0≤d₀≤d_max，d_max表示最大视差值，L_dis(x₁,y₁)表示{L_dis(x,y)}中坐标位置为(x₁,y₁)的像素点的像素值，R_dis(x₁-d₀,y₁)表示{R_dis(x,y)}中坐标位置为(x₁-d₀,y₁)的像素点的像素值，“||”为取绝对值符号；

②-b3、选取d_max个与d₀各不相同的视差值，分别记为

然后分别计算当前第一像素点和当前第二像素点在该d_max个各不相同的视差值下的视差空间值，对应的分别记为 ${\mathrm{DSI}}_{\mathrm{dis}}(x_1,y_1,d_1),{\mathrm{DSI}}_{\mathrm{dis}}(x_1,y_1,d_2),...,{\mathrm{DSI}}_{\mathrm{dis}}(x_1,y_1,d_i),...,{\mathrm{DSI}}_{\mathrm{dis}}(x_1,y_1,d_{d_{\max }}),$ DSI_dis(x₁,y₁,d₁)=|L_dis(x₁,y₁)-R_dis(x₁-d₁,y₁)|，DSI_dis(x₁,y₁,d₂)=|L_dis(x₁,y₁)-R_dis(x₁-d₂,y₁)|，DSI_dis(x₁,y₁,d_i)=|L_dis(x₁,y₁)-R_dis(x₁-d_i,y₁)|， ${\mathrm{DSI}}_{\mathrm{dis}}(x_1,y_1,d_{d_{\max }})=|L_{\mathrm{dis}}(x_1,y_1)-R_{\mathrm{dis}}(x_1-d_{d_{\max }},y_1)|,$ 其中，1≤i≤d_max，d_i=d₀+i，

DSI_dis(x₁,y₁,d₁)表示当前第一像素点和当前第二像素点在视差值d₁下的视差空间值，DSI_dis(x₁,y₁,d₂)表示当前第一像素点和当前第二像素点在视差值d₂下的视差空间值，DSI_dis(x₁,y₁,d_i)表示当前第一像素点和当前第二像素点在视差值d_i下的视差空间值，

表示当前第一像素点和当前第二像素点在视差值

下的视差空间值，R_dis(x₁-d₁,y₁)表示{R_dis(x,y)}中坐标位置为(x₁-d₁,y₁)的像素点的像素值，R_dis(x₁-d₂,y₁)表示{R_dis(x,y)}中坐标位置为(x₁-d₂,y₁)的像素点的像素值，R_dis(x₁-d_i,y₁)表示{R_dis(x,y)}中坐标位置为(x₁-d_i,y₁)的像素点的像素值，

表示{R_dis(x,y)}中坐标位置为的像素点的像素值；

②-b4、将{L_dis(x,y)}中下一个待处理的像素点作为当前第一像素点，将{R_dis(x,y)}中下一个待处理的像素点作为当前第二像素点，然后返回步骤②-b2继续执行，直至{L_dis(x,y)}和{R_dis(x,y)}中的所有像素点处理完毕，获得S_dis的视差空间图，记为{DSI_dis(x,y,d)}，其中，DSI_dis(x,y,d)表示{DSI_dis(x,y,d)}中坐标位置为(x,y,d)的像素点的视差空间值， $d_0\≤d\≤d_{d_{\max }}.$

所述的步骤③的具体过程为：

③-1、计算{L_dis(x,y)}的亮度掩蔽效应的可视化阈值集合，记为{T_l(x,y)}，

其中，T_l(x,y)表示{L_dis(x,y)}中坐标位置为(x,y)的像素点的亮度掩蔽效应的可视化阈值，bg_l(x,y)表示{L_dis(x,y)}中以坐标位置为(x,y)的像素点为中心的5×5窗口内的所有像素点的亮度平均值；

③-2、计算{L_dis(x,y)}的对比度掩蔽效应的可视化阈值集合，记为{T_c(x,y)}，T_c(x,y)=K(bg_l(x,y))+eh_l(x,y)，其中，T_c(x,y)表示{L_dis(x,y)}中坐标位置为(x,y)的像素点的对比度掩蔽效应的可视化阈值，eh_l(x,y)表示对{L_dis(x,y)}中坐标位置为(x,y)的像素点分别进行水平方向和垂直方向边缘滤波后得到的平均梯度值，K(bg_l(x,y))=-10^-6×(0.7×bg_l(x,y)²+32×bg_l(x,y))+0.07；

③-3、对{L_dis(x,y)}的亮度掩蔽效应的可视化阈值集合{T_l(x,y)}和对比度掩蔽效应的可视化阈值集合{T_c(x,y)}进行融合，得到{L_dis(x,y)}的双目最小可察觉变化图像，记为

将

中坐标位置为(x,y)的像素点的双目最小可察觉变化值记为 $J_{\mathrm{dis}}^L(x,y),$ $J_{\mathrm{dis}}^L(x,y)=T_l(x,y)+T_c(x,y).$

所述的步骤⑤的具体过程为：

⑤-1、将{DSI_org(x,y,d)}和{DSI_dis(x,y,d)}分别划分成

个互不重叠的尺寸大小为α×β×γ的单元，其中，d_max表示最大视差值，α、β和γ分别表示每个单元的长度、宽度和高度；

⑤-2、将{DSI_org(x,y,d)}中当前正在处理的第l个单元定义为当前第一单元，记为

将{DSI_dis(x,y,d)}中当前正在处理的第l个单元定义为当前第二单元，记为

其中，

(u₁,v₁,w₁)表示当前第一单元和当前第二单元中的像素点的坐标位置，1≤u₁≤α,1≤v₁≤β，1≤w₁≤γ，

表示当前第一单元中坐标位置为(u₁,v₁,w₁)的像素点的像素值，

表示当前第二单元中坐标位置为(u₁,v₁,w₁)的像素点的像素值；

⑤-3、根据{L_dis(x,y)}的双目最小可察觉变化图像

计算当前第一单元的第一均值和第一标准差，分别记为

和

计算当前第二单元的第一均值和第一标准差，分别记为

和

其中， ${\mathrm{\ω}}_1(u_1,v_1,w_1)=\frac{1}{(J_{\mathrm{dis}}^L(u_1,v_1)+T_1)\×({\mathrm{DSI}}_{\mathrm{dis}}(u_1,v_1,w_1)+T_1)},$ 表示中坐标位置为(u₁,v₁)的像素点的双目最小可察觉变化值，DSI_dis(u₁,v₁,w₁)表示{DSI_dis(x,y,d)}中坐标位置为(u₁,v₁,w₁)的像素点的视差空间值，T_l为控制参数；

⑤-4、计算当前第一单元与当前第二单元之间的第一结构相似度，记为Q_1,l，

其中，C₁和C₂均为控制参数；

⑤-5、根据

的视差梯度图像

计算当前第一单元的第二均值和第二标准差，分别记为

和

计算当前第二单元的第二均值和第二标准差，分别记为

和

其中， ${\mathrm{\ω}}_2(u_1,v_1)=\frac{1}{G_{\mathrm{org}}^L(u_1,v_1)+T_1},$

表示

中坐标位置为(u₁,v₁)的像素点的梯度值；

⑤-6、计算当前第一单元与当前第二单元之间的第二结构相似度，记为Q_2，l，

⑤-7、对第一结构相似度和第二结构相似度进行融合，得到当前第一单元与当前第二单元之间的结构相似度，记为Q_l，Q_l=(Q_1,l)^τ×(Q_2,l)^υ，其中，τ和υ为权重参数；

⑤-8、令l″=l+1，l=l″，将{DSI_org(x,y,d)}中下一个待处理的单元作为当前第一单元，将{DSI_dis(x,y,d)}中下一个待处理的单元作为当前第二单元，然后返回步骤⑤-3继续执行，直至{DSI_org(x,y,d)}和{DSI_dis(x,y,d)}中的所有单元均处理完毕，得到{DSI_org(x,y,d)}中的每个单元与{DSI_dis(x,y,d)}中对应的单元之间的结构相似度，将{DSI_org(x,y,d)}中的所有单元与{DSI_dis(x,y,d)}中对应的单元之间的结构相似度的集合记为

其中，l″的初始值为0，l″=l+1和l=l'中的“=”为赋值符号；

⑤-9、将

中的所有结构相似度按照从小到大的顺序进行排序，将排序后的集合记为 $\left\{{\tilde{Q}}_l\right|1\≤l\≤\frac{W\×H\×d_{\max }}{\mathrm{\α}\×\mathrm{\β}\×\mathrm{\γ}}\},$ 然后取 $\left\{{\tilde{Q}}_l\right|1\≤l\≤\frac{W\×H\×d_{\max }}{\mathrm{\α}\×\mathrm{\β}\×\mathrm{\γ}}\}$ 中的前ρ%个结构相似度来计算S_dis的图像质量客观评价预测值，记为Q，

其中，表示 $\left\{{\tilde{Q}}_l\right|1\≤l\≤\frac{W\×H\×d_{\max }}{\mathrm{\α}\×\mathrm{\β}\×\mathrm{\γ}}\}$ 中的第l个结构相似度， $M=\frac{W\×H\×d_{\max }}{\mathrm{\α}\×\mathrm{\β}\×\mathrm{\γ}}\×\mathrm{\ρ}\%.$

所述的步骤⑤-1中取α=5、β=5、γ=5。

所述的控制参数T_l的值为1；所述的控制参数C₁的值为6.5025，所述的控制参数C₂的值为58.5225。

所述的步骤⑤-7中取τ=0.6、υ=-0.1。

所述的步骤⑤-9中取ρ=2。

与现有技术相比，本发明的优点在于：

1）本发明方法考虑到视差对立体感知的影响，分别构造原始的无失真的立体图像和待评价的失真的立体图像的视差空间图，这样避免了复杂的视差估计操作，并且所构造的视差空间图能够很好地反映不同视差对立体图像质量的影响，并且只对结构相似度较低的单元进行评价，从而有效地提高了客观评价结果与主观感知的相关性。

2）本发明方法根据特征图（双目最小可察觉变化图像和视差梯度图像），分别计算两个视差空间图之间的第一结构相似度和第二结构相似度，这样能够较好地反映立体图像的质量变化情况，使得评价结果更加感觉符合人类视觉系统，从而有效地提高了客观评价结果与主观感知的相关性。

附图说明

图1为本发明方法的总体实现框图；

图2a为Akko（尺寸为640×480）立体图像的左视点图像；

图2b为Akko（尺寸为640×480）立体图像的右视点图像；

图3a为Altmoabit（尺寸为1024×768）立体图像的左视点图像；

图3b为Altmoabit（尺寸为1024×768）立体图像的右视点图像；

图4a为Balloons（尺寸为1024×768）立体图像的左视点图像；

图4b为Balloons（尺寸为1024×768）立体图像的右视点图像；

图5a为Doorflower（尺寸为1024×768）立体图像的左视点图像；

图5b为Doorflower（尺寸为1024×768）立体图像的右视点图像；

图6a为Kendo（尺寸为1024×768）立体图像的左视点图像；

图6b为Kendo（尺寸为1024×768）立体图像的右视点图像；

图7a为LeaveLaptop（尺寸为1024×768）立体图像的左视点图像；

图7b为LeaveLaptop（尺寸为1024×768）立体图像的右视点图像；

图8a为Lovebierd1（尺寸为1024×768）立体图像的左视点图像；

图8b为Lovebierd1（尺寸为1024×768）立体图像的右视点图像；

图9a为Newspaper（尺寸为1024×768）立体图像的左视点图像；

图9b为Newspaper（尺寸为1024×768）立体图像的右视点图像；

图10a为Puppy（尺寸为720×480）立体图像的左视点图像；

图10b为Puppy（尺寸为720×480）立体图像的右视点图像；

图11a为Soccer2（尺寸为720×480）立体图像的左视点图像；

图11b为Soccer2（尺寸为720×480）立体图像的右视点图像；

图12a为Horse（尺寸为720×480）立体图像的左视点图像；

图12b为Horse（尺寸为720×480）立体图像的右视点图像；

图13a为Xmas（尺寸为640×480）立体图像的左视点图像；

图13b为Xmas（尺寸为640×480）立体图像的右视点图像；

图14为失真立体图像集合中的各幅失真的立体图像的图像质量客观评价预测值与平均主观评分差值的散点图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明提出的一种基于特征图的立体图像质量客观评价方法，其总体实现框图如图1所示，其处理过程为：首先，根据原始的无失真的立体图像的左视点图像中的每个像素点和右视点图像中对应坐标位置的像素点在多个视差值下的视差空间值，获取原始的无失真的立体图像的视差空间图，并根据待评价的失真的立体图像的左视点图像中的每个像素点和右视点图像中对应坐标位置的像素点在多个视差值下的视差空间值，获取待评价的失真的立体图像的视差空间图；其次，根据特征图即待评价的失真的立体图像的左视点图像的双目最小可察觉变化图像，及原始的无失真的立体图像的左视点图像与右视点图像之间的视差图像的视差梯度图像，分别计算原始的无失真的立体图像的视差空间图与待评价的失真的立体图像的视差空间图之间的第一结构相似度和第二结构相似度，获得待评价的失真的立体图像的图像质量客观评价预测值；最后，按照上述处理过程获取多幅不同失真类型不同失真程度的失真的立体图像的图像质量客观评价预测值。

本发明的立体图像质量客观评价方法，其具体包括以下步骤：

①令S_org为原始的无失真的立体图像，令S_dis为待评价的失真的立体图像，将S_org的左视点图像记为{L_org(x,y)}，将S_org的右视点图像记为{R_org(x,y)}，将S_dis的左视点图像记为{L_dis(x,y)}，将S_dis的右视点图像记为{R_dis(x,y)}，其中，(x,y)表示左视点图像和右视点图像中的像素点的坐标位置，1≤x≤W，1≤y≤H，W表示左视点图像和右视点图像的宽度，H表示左视点图像和右视点图像的高度，L_org(x,y)表示{L_org(x,y)}中坐标位置为(x,y)的像素点的像素值，R_org(x,y)表示{R_org(x,y)}中坐标位置为(x,y)的像素点的像素值，L_dis(x,y)表示{L_dis(x,y)}中坐标位置为(x,y)的像素点的像素值，R_dis(x,y)表示{R_dis(x,y)}中坐标位置为(x,y)的像素点的像素值。

②根据{L_org(x,y)}中的每个像素点和{R_org(x,y)}中对应坐标位置的像素点在多个视差值下的视差空间值，获取S_org的视差空间图，记为{DSI_org(x,y,d)}，并根据{L_dis(x,y)}中的每个像素点和{R_dis(x,y)}中对应坐标位置的像素点在多个视差值下的视差空间值，获取S_dis的视差空间图，记为{DSI_dis(x,y,d)}，其中，DSI_org(x,y,d)表示{DSI_org(x,y,d)}中坐标位置为(x,y,d)的像素点的视差空间值，DSI_dis(x,y,d)表示{DSI_dis(x,y,d)}中坐标位置为(x,y,d)的像素点的视差空间值，0≤d≤d_max，d_max表示最大视差值，在本实施例中，取d_max=31。

在此具体实施例中，So_rg的视差空间图{DSI_org(x,y,d)}的获取过程为：

②-a1、将{L_org (x,y)}中当前正在处理的像素点定义为当前第一像素点，将{R_org(x,y)}中当前正在处理的像素点定义为当前第二像素点。

②-a2、假设当前第一像素点为{L_org(x,y)}中坐标位置为(x₁,y₁)的像素点，并假设当前第二像素点为{R_org(x,y)}中坐标位置为(x₁,y₁)的像素点，取视差值d₀=0，然后计算当前第一像素点和当前第二像素点在该视差值d₀下的视差空间值，记为DSI_org(x₁,y₁,d₀)，DSI_org(x₁,y₁,d₀)=|L_org(x₁,y₁)-R_org(x₁-d₀,y₁)|，其中，1≤x₁≤W，1≤y₁≤H，0≤d₀≤d_max，d_max表示最大视差值，L_org(x₁,y₁)表示{L_org(x,y)}中坐标位置为(x₁,y₁)的像素点的像素值，R_org(x₁-d₀,y₁)表示{R_org(x,y)}中坐标位置为(x₁-d₀,y₁)的像素点的像素值，“||”为取绝对值符号。

②-a3、选取d_max个与d₀各不相同的视差值，分别记为

然后分别计算当前第一像素点和当前第二像素点在该d_max个各不相同的视差值下的视差空间值，对应的分别记为 ${\mathrm{DSI}}_{\mathrm{org}}(x_1,y_1,d_1),{\mathrm{DSI}}_{\mathrm{org}}(x_1,y_1,d_2),...,{\mathrm{DSI}}_{\mathrm{org}}(x_1,y_1,d_i),...,{\mathrm{DSI}}_{\mathrm{org}}(x_1,y_1,d_{d_{\max }}),$ DSI_org(x₁,y₁,d₁)=|L_org(x₁,y₁)-R_org(x₁-d₁,y₁)|，DSI_org(x₁,y₁,d₂)=|L_org(x₁,y₁)-R_org(x₁-d₂,y₁)|，DSI_org(x₁,y₁,d_i)=|L_org(x₁,y₁)-R_org(x₁-d_i,y₁)|， ${\mathrm{DSI}}_{\mathrm{org}}(x_1,y_1,d_{d_{\max }})=|L_{\mathrm{org}}(x_1,y_1)-R_{\mathrm{org}}(x_1-d_{d_{\max }},y_1)|,$ 其中，1≤i≤d_max，d_i=d₀+i，

DSI_org(x₁,y₁,d₁)表示当前第一像素点和当前第二像素点在视差值d₁下的视差空间值，DSI_org(x₁,y₁,d₂)表示当前第一像素点和当前第二像素点在视差值d₂下的视差空间值，DSI_org(x₁,y₁,d_i)表示当前第一像素点和当前第二像素点在视差值d_i下的视差空间值，

表示当前第一像素点和当前第二像素点在视差值

下的视差空间值，R_org(x₁-d₁,y₁)表示{R_org(x,y)}中坐标位置为(x₁-d₁,y₁)的像素点的像素值，R_org(x₁-d₂,y₁)表示{R_org(x,y)}中坐标位置为(x₁-d₂,y₁)的像素点的像素值，R_org(x₁-d_i,y₁)表示{R_org(x,y)}中坐标位置为(x₁-d_i,y₁)的像素点的像素值，

表示{R_org(x,y)}中坐标位置为的像素点的像素值。

②-a4、将{L_org(x,y)}中下一个待处理的像素点作为当前第一像素点，将{R_org(x,y)}中下一个待处理的像素点作为当前第二像素点，然后返回步骤②-a2继续执行，直至{L_org(x,y)}和{R_org(x,y)}中的所有像素点处理完毕，获得S_org的视差空间图，记为{DSI_org(x,y,d)}，其中，DSI_org(x,y,d)表示{DSI_org(x,y,d)}中坐标位置为(x,y,d)的像素点的视差空间值， $d_0\≤d\≤d_{d_{\max }}.$

在此具体实施例中，S_dis的视差空间图{DSI_dis(x,y,d)}的获取过程为：

②-b1、将{L_dis(x,y)}中当前正在处理的像素点定义为当前第一像素点，将{R_dis(x,y)}中当前正在处理的像素点定义为当前第二像素点。

②-b2、假设当前第一像素点为{L_dis(x,y)}中坐标位置为(x₁,y₁)的像素点，并假设当前第二像素点为{R_dis(x,y)}中坐标位置为(x₁,y₁)的像素点，取视差值d₀=0，然后计算当前第一像素点和当前第二像素点在该视差值d₀下的视差空间值，记为DSI_dis(x₁,y₁,d₀)，DSI_dis(x₁,y₁,d₀)=|L_dis(x₁,y₁)-R_dis(x₁-d₀,y₁)|，其中，1≤x₁≤W，1≤y₁≤H，0≤d₀≤d_max，d_max表示最大视差值，L_dis(x₁,y₁)表示{L_dis(x,y)}中坐标位置为(x₁,y₁)的像素点的像素值，R_dis(x₁-d₀,y₁)表示{R_dis(x,y)}中坐标位置为(x₁-d₀,y₁)的像素点的像素值，“||”为取绝对值符号。

②-b3、选取d_max个与d₀各不相同的视差值，分别记为

然后分别计算当前第一像素点和当前第二像素点在该d_max个各不相同的视差值下的视差空间值，对应的分别记为 ${\mathrm{DSI}}_{\mathrm{dis}}(x_1,y_1,d_1),{\mathrm{DSI}}_{\mathrm{dis}}(x_1,y_1,d_2),...,{\mathrm{DSI}}_{\mathrm{dis}}(x_1,y_1,d_i),...,{\mathrm{DSI}}_{\mathrm{dis}}(x_1,y_1,d_{d_{\max }}),$ DSI_dis(x₁,y₁,d₁)=|L_dis(x₁,y₁)-R_dis(x₁-d₁,y₁)|，DSI_dis(x₁,y₁,d₂)=|L_dis(x₁,y₁)-R_dis(x₁-d₂,y₁)|，DSI_dis(x₁,y₁,d_i)=|L_dis(x₁,y₁)-R_dis(x₁-d_i,y₁)|， ${\mathrm{DSI}}_{\mathrm{dis}}(x_1,y_1,d_{d_{\max }})=|L_{\mathrm{dis}}(x_1,y_1)-R_{\mathrm{dis}}(x_1-d_{d_{\max }},y_1)|,$ 其中，1≤i≤d_max，d_i=d₀+i，

DSI_dis(x₁,y₁,d₁)表示当前第一像素点和当前第二像素点在视差值d₁下的视差空间值，DSI_dis(x₁,y₁,d₂)表示当前第一像素点和当前第二像素点在视差值d₂下的视差空间值，DSI_dis(x₁,y₁,d_i)表示当前第一像素点和当前第二像素点在视差值d_i下的视差空间值，

表示当前第一像素点和当前第二像素点在视差值

下的视差空间值，R_dis(x₁-d₁,y₁)表示{R_dis(x,y)}中坐标位置为(x₁-d₁,y₁)的像素点的像素值，R_dis(x₁-d₂,y₁)表示{R_dis(x,y)}中坐标位置为(x₁-d₂,y₁)的像素点的像素值，R_dis(x₁-d_i,y₁)表示{R_dis(x,y)}中坐标位置为(x₁-d_i,y₁)的像素点的像素值，

表示{R_dis(x,y)}中坐标位置为

的像素点的像素值。

②-b4、将{L_dis(x,y)}中下一个待处理的像素点作为当前第一像素点，将{R_dis(x,y)}中下一个待处理的像素点作为当前第二像素点，然后返回步骤②-b2继续执行，直至{L_dis(x,y)}和{R_dis(x,y)}中的所有像素点处理完毕，获得S_dis的视差空间图，记为{DSI_dis(x,y,d)}，其中，DSI_dis(x,y,d)表示{DSI_dis(x,y,d)}中坐标位置为(x,y,d)的像素点的视差空间值， $d_0\≤d\≤d_{d_{\max }}.$

③人类视觉特性表明，人眼对图像中变化较小的属性或噪声是不可感知的，除非该属性或噪声的变化强度超过某一阈值，该阈值就是最小可察觉失真（Just noticeabledifference，JND）。然而人眼的视觉掩蔽效应是一种局部效应，其受背景照度、纹理复杂度等因素的影响，背景越亮，纹理越复杂，界限值就越高。因此本发明利用人类立体视觉感知对背景光照和对比度的视觉掩蔽效应，提取出{L_dis(x,y)}的双目最小可察觉变化图像，记为

其中，表示

中坐标位置为(x,y)的像素点的双目最小可察觉变化值。

在此具体实施例中，步骤③的具体过程为：

③-1、计算{L_dis(x,y)}的亮度掩蔽效应的可视化阈值集合，记为{T_l(x,y)}，

其中，T_l(x,y)表示{L_dis(x,y)}中坐标位置为(x,y)的像素点的亮度掩蔽效应的可视化阈值，bg_l(x,y)表示{L_dis(x,y)}中以坐标位置为(x,y)的像素点为中心的5×5窗口内的所有像素点的亮度平均值。

③-2、计算{L_dis(x,y)}的对比度掩蔽效应的可视化阈值集合，记为{T_c(x,y)}，T_c(x,y)=K(bg_l(x,y))+eh_l(x,y)，其中，T_c(x,y)表示{L_dis(x,y)}中坐标位置为(x,y)的像素点的对比度掩蔽效应的可视化阈值，eh_l(x,y)表示对{L_dis(x,y)}中坐标位置为(x,y)的像素点分别进行水平方向和垂直方向边缘滤波后得到的平均梯度值，K(bg_l(x,y))=-10^-6×(0.7×bg_l(x,y)²+32×bg_l(x,y))+0.07。

③-3、对{L_dis(x,y)}的亮度掩蔽效应的可视化阈值集合{T_l(x,y)}和对比度掩蔽效应的可视化阈值集合{T_c(x,y)}进行融合，得到{L_dis(x,y)}的双目最小可察觉变化图像，记为

将

中坐标位置为(x,y)的像素点的双目最小可察觉变化值记为 $J_{\mathrm{dis}}^L(x,y),$ $J_{\mathrm{dis}}^L(x,y)=T_l(x,y)+T_c(x,y).$

④采用块匹配法计算{L_org(x,y)}与{R_org(x,y)}之间的视差图像，记为

然后计算

的视差梯度图像，记为

将

中坐标位置为(x,y)的像素点的梯度值记为

$G_{\mathrm{org}}^L(x,y)=\left|G_{\mathrm{ox}}^L(x,y)\right|+\left|G_{\mathrm{oy}}^L(x,y)\right|,$ 其中，

表示

中坐标位置为(x,y)的像素点的像素值，

表示

中坐标位置为(x,y)的像素点的水平梯度值，

表示

中坐标位置为(x,y)的像素点的垂直梯度值，“||”为求绝对值符号。

⑤根据{L_dis(x,y)}的双目最小可察觉变化图像

和

的视差梯度图像

计算S_org的视差空间图{DSI_org(x,y,d)}和S_dis的视差空间图{DSI_dis(x,y,d)}之间的结构相似度，得到S_dis的图像质量客观评价预测值，记为Q。

在此具体实施例中，步骤⑤的具体过程为：

⑤-1、将{DSI_org(x,y,d)}和{DSI_dis(x,y,d)}分别划分成个互不重叠的尺寸大小为α×β×γ的单元，其中，d_max表示最大视差值，α、β和γ分别表示每个单元的长度、宽度和高度，不同尺寸大小的单元对后续计算两个单元的结构相似度存在影响，通过大量实验验证，当α、β和γ的值均取5时，效果最优，因此在本实施例中，取α=5、β=5、γ=5。

⑤-2、将{DSI_org(x,y,d)}中当前正在处理的第l个单元定义为当前第一单元，记为

将{DSI_dis(x,y,d)}中当前正在处理的第l个单元定义为当前第二单元，记为其中，

(u₁,v₁,w₁)表示当前第一单元和当前第二单元中的像素点的坐标位置，1≤u₁≤α,1≤v₁≤β，1≤w₁≤γ，

表示当前第一单元中坐标位置为(u₁,v₁,w₁)的像素点的像素值，

表示当前第二单元中坐标位置为(u₁,v₁,w₁)的像素点的像素值。

⑤-3、根据{L_dis(x,y)}的双目最小可察觉变化图像

计算当前第一单元的第一均值和第一标准差，分别记为

和

计算当前第二单元的第一均值和第一标准差，分别记为

和

其中， ${\mathrm{\ω}}_1(u_1,v_1,w_1)=\frac{1}{(J_{\mathrm{dis}}^L(u_1,v_1)+T_1)\×({\mathrm{DSI}}_{\mathrm{dis}}(u_1,v_1,w_1)+T_1)},$

表示

中坐标位置为(u₁,v₁)的像素点的双目最小可察觉变化值，DSI_dis(u₁,v₁,w₁)表示{DSI_dis(x,y,d)}中坐标位置为(u₁,v₁,w₁)的像素点的视差空间值，T_l为控制参数，在本实施例中，取T_l=1。

⑤-4、计算当前第一单元与当前第二单元之间的第一结构相似度，记为Q_1，l，

其中，C₁和C₂均为控制参数，在本实施例中，取C₁=6.5025，C₂=58.5225。

⑤-5、根据

的视差梯度图像计算当前第一单元的第二均值和第二标准差，分别记为和

计算当前第二单元的第二均值和第二标准差，分别记为

和

其中， ${\mathrm{\ω}}_2(u_1,v_1)=\frac{1}{G_{\mathrm{org}}^L(u_1,v_1)+T_1},$ 表示

中坐标位置为(u₁,v₁)的像素点的梯度值。

⑤-6、计算当前第一单元与当前第二单元之间的第二结构相似度，记为Q_2，l，

⑤-7、对第一结构相似度和第二结构相似度进行融合，得到当前第一单元与当前第二单元之间的结构相似度，记为Q_l，Q_l=(Q_1,l)^τ×(Q_2,l)^υ，其中，τ和υ为权重参数，在本实施例中，取τ=0.6、υ=-0.1。

⑤-8、令l″=l+1，l=l″，将{DSI_org(x,y,d)}中下一个待处理的单元作为当前第一单元，将{DSI_dis(x,y,d)}中下一个待处理的单元作为当前第二单元，然后返回步骤⑤-3继续执行，直至{DSI_org(x,y,d)}和{DSI_dis(x,y,d)}中的所有单元均处理完毕，得到{DSI_org(x,y,d)}中的每个单元与{DSI_dis(x,y,d)}中对应的单元之间的结构相似度，将{DSI_org(x,y,d)}中的所有单元与{DSI_dis(x,y,d)}中对应的单元之间的结构相似度的集合记为其中，l″的初始值为0，l″=l+1和l=l'中的“=”为赋值符号。

⑤-9、将

中的所有结构相似度按照从小到大的顺序进行排序，将排序后的集合记为 $\left\{{\tilde{Q}}_l\right|1\≤l\≤\frac{W\×H\×d_{\max }}{\mathrm{\α}\×\mathrm{\β}\×\mathrm{\γ}}\},$ 然后取 $\left\{{\tilde{Q}}_l\right|1\≤l\≤\frac{W\×H\×d_{\max }}{\mathrm{\α}\×\mathrm{\β}\×\mathrm{\γ}}\}$ 中的前ρ%个结构相似度来计算S_dis的图像质量客观评价预测值，记为Q，

其中，

表示 $\left\{{\tilde{Q}}_l\right|1\≤l\≤\frac{W\×H\×d_{\max }}{\mathrm{\α}\×\mathrm{\β}\×\mathrm{\γ}}\}$ 中的第l个结构相似度， $M=\frac{W\×H\×d_{\max }}{\mathrm{\α}\×\mathrm{\β}\×\mathrm{\γ}}\×\mathrm{\ρ}\%.$ 在本实施例中，取ρ=2。

⑥采用n幅原始的无失真的立体图像，建立其在不同失真类型不同失真程度下的失真立体图像集合，该失真立体图像集合包括多幅失真的立体图像，利用主观质量评价方法分别获取失真立体图像集合中每幅失真的立体图像的平均主观评分差值，记为DMOS，DMOS=100-MOS，其中，MOS表示主观评分均值，DMOS∈[0,100]，n≥1。

在本实施例中，利用如图2a和图2b构成的立体图像、图3a和图3b构成的立体图像、图4a和图4b构成的立体图像、图5a和图5b构成的立体图像、图6a和图6b构成的立体图像、图7a和图7b构成的立体图像、图8a和图8b构成的立体图像、图9a和图9b构成的立体图像、图10a和图10b构成的立体图像、图11a和图11b构成的立体图像、图12a和图12b构成的立体图像、图13a和图13b构成的立体图像共12幅（n=12）无失真的立体图像建立了其在不同失真类型不同失真程度下的失真立体图像集合，该失真立体图像集合共包括4种失真类型的252幅失真的立体图像，其中JPEG压缩的失真的立体图像共60幅，JPEG2000压缩的失真的立体图像共60幅，高斯模糊（Gaussian Blur）的失真的立体图像共60幅，H.264编码的失真的立体图像共72幅。

⑦按照步骤①至步骤⑤计算S_dis的图像质量客观评价预测值Q的操作，以相同的方式分别计算失真立体图像集合中每幅失真的立体图像的图像质量客观评价预测值。

采用图2a至图13b所示的12幅无失真的立体图像在不同程度的JPEG压缩、JPEG2000压缩、高斯模糊和H.264编码失真情况下的252幅失真的立体图像来分析本实施例得到的失真的立体图像的图像质量客观评价预测值与平均主观评分差值之间的相关性。在本实施例中，利用评估图像质量评价方法的4个常用客观参量作为评价指标，即非线性回归条件下的Pearson相关系数（Pearson linear correlation coefficient，PLCC）、Spearman相关系数（Spearman rank order correlation coefficient，SROCC）、Kendall相关系数（Kendall rank-order correlation coefficient，KROCC)、均方误差（root mean squarederror，RMSE），PLCC和RMSE反映失真的立体图像评价客观模型的准确性，SROCC和KROCC反映其单调性。将分别采用本发明方法与不采用本发明方法得到失真的立体图像的图像质量客观评价预测值与主观评分之间的Pearson相关系数、Spearman相关系数、Kendall相关系数和均方误差进行比较，比较结果分别如表1、表2、表3和表4所示，从表1、表2、表3和表4中可以看出，采用本发明方法得到的失真的立体图像的最终的图像质量客观评价预测值与平均主观评分差值之间的相关性是很高的，充分表明客观评价结果与人眼主观感知的结果较为一致，足以说明本发明方法的有效性。

图14给出了失真立体图像集合中的各幅失真的立体图像的图像质量客观评价预测值与平均主观评分差值的散点图，散点越集中，说明客观评介结果与主观感知的一致性越好。从图14中可以看出，采用本发明方法得到的散点图比较集中，与主观评价数据之间的吻合度较高。

表1利用本发明方法与不利用本发明方法得到的失真的立体图像的图像质量客观评价预测值与主观评分之间的Pearson相关系数比较

表2利用本发明方法与不利用本发明方法得到的失真的立体图像的图像质量客观评价预测值与主观评分之间的Spearman相关系数比较

失真类型

JPEG压

JPEG2000

高斯模

白噪声

H.264编

所有失

	缩	压缩	糊		码	真
							不利用本发明方法	0.9087	0.8340	0.9610	0.7345	0.8679	0.9081
利用本发明方法	0.9266	0.9203	0.9594	0.9188	0.9329	0.9458

表3利用本发明方法与不利用本发明方法得到的失真的立体图像的图像质量客观评价预测值与主观评分之间的Kendall相关系数比较

表4利用本发明方法与不利用本发明方法得到的失真的立体图像的图像质量客观评价预测值与主观评分之间的均方误差比较

Claims (10)

1.一种基于特征图的立体图像质量客观评价方法，其特征在于它的处理过程为：首先，根据原始的无失真的立体图像的左视点图像中的每个像素点和右视点图像中对应坐标位置的像素点在多个视差值下的视差空间值，获取原始的无失真的立体图像的视差空间图，并根据待评价的失真的立体图像的左视点图像中的每个像素点和右视点图像中对应坐标位置的像素点在多个视差值下的视差空间值，获取待评价的失真的立体图像的视差空间图；其次，根据待评价的失真的立体图像的左视点图像的双目最小可察觉变化图像，及原始的无失真的立体图像的左视点图像与右视点图像之间的视差图像的视差梯度图像，分别计算原始的无失真的立体图像的视差空间图与待评价的失真的立体图像的视差空间图之间的第一结构相似度和第二结构相似度，获得待评价的失真的立体图像的图像质量客观评价预测值；最后，按照上述处理过程获取多幅不同失真类型不同失真程度的失真的立体图像的图像质量客观评价预测值。

2.根据权利要求1所述的一种基于特征图的立体图像质量客观评价方法，其特征在于包括以下步骤：

①令S_org为原始的无失真的立体图像，令S_dis为待评价的失真的立体图像，将S_org的左视点图像记为{L_org(x,y)}，将S_org的右视点图像记为{R_org(x,y)}，将S_dis的左视点图像记为{L_dis(x,y)}，将S_dis的右视点图像记为{R_dis(x,y)}，其中，(x,y)表示左视点图像和右视点图像中的像素点的坐标位置，1≤x≤W，1≤y≤H，W表示左视点图像和右视点图像的宽度，H表示左视点图像和右视点图像的高度，L_org(x,y)表示{L_org(x,y)}中坐标位置为(x,y)的像素点的像素值，R_org(x,y)表示{R_org(x,y)}中坐标位置为(x,y)的像素点的像素值，L_dis(x,y)表示{L_dis(x,y)}中坐标位置为(x,y)的像素点的像素值，R_dis(x,y)表示{R_dis(x,y)}中坐标位置为(x,y)的像素点的像素值；

②根据{L_org(x,y)}中的每个像素点和{R_org(x,y)}中对应坐标位置的像素点在多个视差值下的视差空间值，获取S_org的视差空间图，记为{DSI_org(x,y,d)}，并根据{L_dis(x,y)}中的每个像素点和{R_dis(x,y)}中对应坐标位置的像素点在多个视差值下的视差空间值，获取S_dis的视差空间图，记为{DSI_dis(x,y,d)}，其中，DSI_org(x,y,d)表示{DSI_org(x,y,d)}中坐标位置为(x,y,d)的像素点的视差空间值，DSI_dis(x,y,d)表示{DSI_dis(x,y,d)}中坐标位置为(x,y,d)的像素点的视差空间值，0≤d≤d_max，d_max表示最大视差值；

③利用人类立体视觉感知对背景光照和对比度的视觉掩蔽效应，提取出{L_dis(x,y)}的双目最小可察觉变化图像，记为其中，表示

中坐标位置为(x,y)的像素点的双目最小可察觉变化值；

④采用块匹配法计算{L_org(x,y)}与{R_org(x,y)}之间的视差图像，记为

然后计算

的视差梯度图像，记为

将中坐标位置为(x,y)的像素点的梯度值记为

$G_{\mathrm{org}}^L(x,y)=\left|G_{\mathrm{ox}}^L(x,y)\right|+\left|G_{\mathrm{oy}}^L(x,y)\right|,$ 其中，表示

中坐标位置为(x,y)的像素点的像素值，表示

中坐标位置为(x,y)的像素点的水平梯度值，

表示

中坐标位置为(x,y)的像素点的垂直梯度值，“||”为求绝对值符号；

⑤根据{L_dis(x,y)}的双目最小可察觉变化图像和

的视差梯度图像

计算S_org的视差空间图{DSI_org(x,y,d)}和S_dis的视差空间图{DSI_dis(x,y,d)}之间的结构相似度，得到S_dis的图像质量客观评价预测值，记为Q；

⑥采用n幅原始的无失真的立体图像，建立其在不同失真类型不同失真程度下的失真立体图像集合，该失真立体图像集合包括多幅失真的立体图像，利用主观质量评价方法分别获取失真立体图像集合中每幅失真的立体图像的平均主观评分差值，记为DMOS，DMOS=100-MOS，其中，MOS表示主观评分均值，DMOS∈[0,100]，n≥1；

⑦按照步骤①至步骤⑤计算S_dis的图像质量客观评价预测值Q的操作，以相同的方式分别计算失真立体图像集合中每幅失真的立体图像的图像质量客观评价预测值。

3.根据权利要求2所述的一种基于特征图的立体图像质量客观评价方法，其特征在于所述的步骤②中S_org的视差空间图{DSI_org(x,y,d)}的获取过程为：

②-a1、将{L_org(x,y)}中当前正在处理的像素点定义为当前第一像素点，将{R_org(x,y)}中当前正在处理的像素点定义为当前第二像素点；

②-a2、假设当前第一像素点为{L_org(x,y)}中坐标位置为(x₁,y₁)的像素点，并假设当前第二像素点为{R_org(x,y)}中坐标位置为(x₁,y₁)的像素点，取视差值d₀=0，然后计算当前第一像素点和当前第二像素点在该视差值d₀下的视差空间值，记为DSI_org(x₁,y₁,d₀)，DSI_org(x₁,y₁,d₀)=|L_org(x₁,y₁)-R_org(x₁-d₀,y₁)|，其中，1≤x₁≤W，1≤y₁≤H，0≤d₀≤d_max，d_max表示最大视差值，L_org(x₁,y₁)表示{L_org(x,y)}中坐标位置为(x₁,y₁)的像素点的像素值，R_org(x₁-d₀,y₁)表示{R_org(x,y)}中坐标位置为(x₁-d₀,y₁)的像素点的像素值，“||”为取绝对值符号；

②-a3、选取d_max个与d₀各不相同的视差值，分别记为

然后分别计算当前第一像素点和当前第二像素点在该d_max个各不相同的视差值下的视差空间值，对应的分别记为 ${\mathrm{DSI}}_{\mathrm{org}}(x_1,y_1,d_1),{\mathrm{DSI}}_{\mathrm{org}}(x_1,y_1,d_2),...,{\mathrm{DSI}}_{\mathrm{org}}(x_1,y_1,d_i),...,{\mathrm{DSI}}_{\mathrm{org}}(x_1,y_1,d_{d_{\max }}),$ DSI_org(x₁,y₁,d₁)=|L_org(x₁,y₁)-R_org(x₁-d₁,y₁)|，DSI_org(x₁,y₁,d₂)=|L_org(x₁,y₁)-R_org(x₁-d₂,y₁)|，DSI_org(x₁,y₁,d_i)=|L_org(x₁,y₁)-R_org(x₁-d_i,y₁)|， ${\mathrm{DSI}}_{\mathrm{org}}(x_1,y_1,d_{d_{\max }})=|L_{\mathrm{org}}(x_1,y_1)-R_{\mathrm{org}}(x_1-d_{d_{\max }},y_1)|,$ 其中，1≤i≤d_max，d_i=d₀+i，

DSI_org(x₁,y₁,d₁)表示当前第一像素点和当前第二像素点在视差值d₁下的视差空间值，DSI_org(x₁,y₁,d₂)表示当前第一像素点和当前第二像素点在视差值d₂下的视差空间值，DSI_org(x₁,y₁,d_i)表示当前第一像素点和当前第二像素点在视差值d_i下的视差空间值，

表示当前第一像素点和当前第二像素点在视差值下的视差空间值，R_org(x₁-d₁,y₁)表示{R_org(x,y)}中坐标位置为(x₁-d₁,y₁)的像素点的像素值，R_org(x₁-d₂,y₁)表示{R_org(x,y)}中坐标位置为(x₁-d₂,y₁)的像素点的像素值，R_org(x₁-d_i,y₁)表示{R_org(x,y)}中坐标位置为(x₁-d_i,y₁)的像素点的像素值，

表示{R_org(x,y)}中坐标位置为

的像素点的像素值；

②-a4、将{L_org(x,y)}中下一个待处理的像素点作为当前第一像素点，将{R_org(x,y)}中下一个待处理的像素点作为当前第二像素点，然后返回步骤②-a2继续执行，直至{L_org(x,y)}和{R_org(x,y)}中的所有像素点处理完毕，获得S_org的视差空间图，记为{DSI_org(x,y,d)}，其中，DSI_org(x,y,d)表示{DSI_org(x,y,d)}中坐标位置为(x,y,d)的像素点的视差空间值， $d_0\≤d\≤d_{d_{\max }}.$

4.根据权利要求2所述的一种基于特征图的立体图像质量客观评价方法，其特征在于所述的步骤②中S_dis的视差空间图{DSI_dis(x,y,d)}的获取过程为：

②-b1、将{L_dis(x,y)}中当前正在处理的像素点定义为当前第一像素点，将{R_dis(x,y)}中当前正在处理的像素点定义为当前第二像素点；

②-b2、假设当前第一像素点为{L_dis(x,y)}中坐标位置为(x₁,y₁)的像素点，并假设当前第二像素点为{R_dis(x,y)}中坐标位置为(x₁,y₁)的像素点，取视差值d₀=0，然后计算当前第一像素点和当前第二像素点在该视差值d₀下的视差空间值，记为DSI_dis(x₁,y₁,d₀)，DSI_dis(x₁,y₁,d₀)=|L_dis(x₁,y₁)-R_dis(x₁-d₀,y₁)|，其中，1≤x₁≤W，1≤y₁≤H，0≤d₀≤d_max，d_max表示最大视差值，L_dis(x₁,y₁)表示{L_dis(x,y)}中坐标位置为(x₁,y₁)的像素点的像素值，R_dis(x₁-d₀,y₁)表示{R_dis(x,y)}中坐标位置为(x₁-d₀,y₁)的像素点的像素值，“||”为取绝对值符号；

②-b3、选取d_max个与d₀各不相同的视差值，分别记为

然后分别计算当前第一像素点和当前第二像素点在该d_max个各不相同的视差值下的视差空间值，对应的分别记为 ${\mathrm{DSI}}_{\mathrm{dis}}(x_1,y_1,d_1),{\mathrm{DSI}}_{\mathrm{dis}}(x_1,y_1,d_2),...,{\mathrm{DSI}}_{\mathrm{dis}}(x_1,y_1,d_i),...,{\mathrm{DSI}}_{\mathrm{dis}}(x_1,y_1,d_{d_{\max }}),$ DSI_dis(x₁,y₁,d₁)=|L_dis(x₁,y₁)-R_dis(x₁-d₁,y₁)|，DSI_dis(x₁,y₁,d₂)=|L_dis(x₁,y₁)-R_dis(x₁-d₂,y₁)|，DSI_dis(x₁,y₁,d_i)=|L_dis(x₁,y₁)-R_dis(x₁-d_i,y₁)|， ${\mathrm{DSI}}_{\mathrm{dis}}(x_1,y_1,d_{d_{\max }})=|L_{\mathrm{dis}}(x_1,y_1)-R_{\mathrm{dis}}(x_1-d_{d_{\max }},y_1)|,$ 其中，1≤i≤d_max，d_i=d₀+i，

DSI_dis(x₁,y₁,d₁)表示当前第一像素点和当前第二像素点在视差值d₁下的视差空间值，DSI_dis(x₁,y₁,d₂)表示当前第一像素点和当前第二像素点在视差值d₂下的视差空间值，DSI_dis(x₁,y₁,d_i)表示当前第一像素点和当前第二像素点在视差值d_i下的视差空间值，

表示当前第一像素点和当前第二像素点在视差值

下的视差空间值，R_dis(x₁-d₁,y₁)表示{R_dis(x,y)}中坐标位置为(x₁-d₁,y₁)的像素点的像素值，R_dis(x₁-d₂,y₁)表示{R_dis(x,y)}中坐标位置为(x₁-d₂,y₁)的像素点的像素值，R_dis(x₁-d_i,y₁)表示{R_dis(x,y)}中坐标位置为(x₁-d_i,y₁)的像素点的像素值，

表示{R_dis(x,y)}中坐标位置为的像素点的像素值；

②-b4、将{L_dis(x,y)}中下一个待处理的像素点作为当前第一像素点，将{R_dis(x,y)}中下一个待处理的像素点作为当前第二像素点，然后返回步骤②-b2继续执行，直至{L_dis(x,y)}和{R_dis(x,y)}中的所有像素点处理完毕，获得S_dis的视差空间图，记为{DSI_dis(x,y,d)}，其中，DSI_dis(x,y,d)表示{DSI_dis(x,y,d)}中坐标位置为(x,y,d)的像素点的视差空间值， $d_0\≤d\≤d_{d_{\max }}.$

5.根据权利要求2至4中任一项所述的一种基于特征图的立体图像质量客观评价方法，其特征在于所述的步骤③的具体过程为：

③-1、计算{L_dis(x,y)}的亮度掩蔽效应的可视化阈值集合，记为{T_l(x,y)}，

其中，T_l(x,y)表示{L_dis(x,y)}中坐标位置为(x,y)的像素点的亮度掩蔽效应的可视化阈值，bg_l(x,y)表示{L_dis(x,y)}中以坐标位置为(x,y)的像素点为中心的5×5窗口内的所有像素点的亮度平均值；

③-2、计算{L_dis(x,y)}的对比度掩蔽效应的可视化阈值集合，记为{T_c(x,y)}，T_c(x,y)=K(bg_l(x,y))+eh_l(x,y)，其中，T_c(x,y)表示{L_dis(x,y)}中坐标位置为(x,y)的像素点的对比度掩蔽效应的可视化阈值，eh_l(x,y)表示对{L_dis(x,y)}中坐标位置为(x,y)的像素点分别进行水平方向和垂直方向边缘滤波后得到的平均梯度值，K(bg_l(x,y))=-10^-6×(0.7×bg_l(x,y)²+32×bg_l(x,y))+0.07；

③-3、对{L_dis(x,y)}的亮度掩蔽效应的可视化阈值集合{T_l(x,y)}和对比度掩蔽效应的可视化阈值集合{T_c(x,y)}进行融合，得到{L_dis(x,y)}的双目最小可察觉变化图像，记为

将

中坐标位置为(x,y)的像素点的双目最小可察觉变化值记为 $J_{\mathrm{dis}}^L(x,y),$ $J_{\mathrm{dis}}^L(x,y)=T_l(x,y)+T_c(x,y).$

6.根据权利要求5所述的一种基于特征图的立体图像质量客观评价方法，其特征在于所述的步骤⑤的具体过程为：

⑤-1、将{DSI_org(x,y,d)}和{DSI_dis(x,y,d)}分别划分成

个互不重叠的尺寸大小为α×β×γ的单元，其中，d_max表示最大视差值，α、β和γ分别表示每个单元的长度、宽度和高度；

⑤-2、将{DSI_org(x,y,d)}中当前正在处理的第l个单元定义为当前第一单元，记为

将{DSI_dis(x,y,d)}中当前正在处理的第l个单元定义为当前第二单元，记为

其中，

(u₁,v₁,w₁)表示当前第一单元和当前第二单元中的像素点的坐标位置，1≤u₁≤α,1≤v₁≤β，1≤w₁≤γ，

表示当前第一单元中坐标位置为(u₁,v₁,w₁)的像素点的像素值，

表示当前第二单元中坐标位置为(u₁,v₁,w₁)的像素点的像素值；

⑤-3、根据{L_dis(x,y)}的双目最小可察觉变化图像

计算当前第一单元的第一均值和第一标准差，分别记为和

计算当前第二单元的第一均值和第一标准差，分别记为和

其中， ${\mathrm{\ω}}_1(u_1,v_1,w_1)=\frac{1}{(J_{\mathrm{dis}}^L(u_1,v_1)+T_1)\×({\mathrm{DSI}}_{\mathrm{dis}}(u_1,v_1,w_1)+T_1)},$

表示

中坐标位置为(u₁,v₁)的像素点的双目最小可察觉变化值，DSI_dis(u₁,v₁,w₁)表示{DSI_dis(x,y,d)}中坐标位置为(u₁,v₁,w₁)的像素点的视差空间值，T_l为控制参数；

⑤-4、计算当前第一单元与当前第二单元之间的第一结构相似度，记为Q_1，l，

其中，C₁和C₂均为控制参数；

⑤-5、根据

的视差梯度图像

计算当前第一单元的第二均值和第二标准差，分别记为

和

计算当前第二单元的第二均值和第二标准差，分别记为

和

其中， ${\mathrm{\ω}}_2(u_1,v_1)=\frac{1}{G_{\mathrm{org}}^L(u_1,v_1)+T_1},$

表示

中坐标位置为(u₁,v₁)的像素点的梯度值；

⑤-6、计算当前第一单元与当前第二单元之间的第二结构相似度，记为Q_2，l，

⑤-7、对第一结构相似度和第二结构相似度进行融合，得到当前第一单元与当前第二单元之间的结构相似度，记为Q_l，Q_l=(Q_1,l)^τ×(Q_2,l)^υ，其中，τ和υ为权重参数；

⑤-8、令l″=l+1，l=l″，将{DSI_org(x,y,d)}中下一个待处理的单元作为当前第一单元，将{DSI_dis(x,y,d)}中下一个待处理的单元作为当前第二单元，然后返回步骤⑤-3继续执行，直至{DSI_org(x,y,d)}和{DSI_dis(x,y,d)}中的所有单元均处理完毕，得到{DSI_org(x,y,d)}中的每个单元与{DSI_dis(x,y,d)}中对应的单元之间的结构相似度，将{DSI_org(x,y,d)}中的所有单元与{DSI_dis(x,y,d)}中对应的单元之间的结构相似度的集合记为

其中，l″的初始值为0，l″=l+1和l=l'中的“=”为赋值符号；

⑤-9、将

中的所有结构相似度按照从小到大的顺序进行排序，将排序后的集合记为 $\left\{{\tilde{Q}}_l\right|1\≤l\≤\frac{W\×H\×d_{\max }}{\mathrm{\α}\×\mathrm{\β}\×\mathrm{\γ}}\},$ 然后取 $\left\{{\tilde{Q}}_l\right|1\≤l\≤\frac{W\×H\×d_{\max }}{\mathrm{\α}\×\mathrm{\β}\×\mathrm{\γ}}\}$ 中的前ρ%个结构相似度来计算S_dis的图像质量客观评价预测值，记为Q，其中，

表示 $\left\{{\tilde{Q}}_l\right|1\≤l\≤\frac{W\×H\×d_{\max }}{\mathrm{\α}\×\mathrm{\β}\×\mathrm{\γ}}\}$ 中的第l个结构相似度， $M=\frac{W\×H\×d_{\max }}{\mathrm{\α}\×\mathrm{\β}\×\mathrm{\γ}}\×\mathrm{\ρ}\%.$

7.根据权利要求6所述的一种基于特征图的立体图像质量客观评价方法，其特征在于所述的步骤⑤-1中取α=5、β=5、γ=5。

8.根据权利要求7所述的一种基于特征图的立体图像质量客观评价方法，其特征在于所述的控制参数T_l的值为1；所述的控制参数C₁的值为6.5025，所述的控制参数C₂的值为58.5225。

9.根据权利要求7所述的一种基于特征图的立体图像质量客观评价方法，其特征在于所述的步骤⑤-7中取τ=0.6、υ=-0.1。

10.根据权利要求9所述的一种基于特征图的立体图像质量客观评价方法，其特征在于所述的步骤⑤-9中取ρ=2。

Images