CN102737380A - 一种基于梯度结构张量的立体图像质量客观评价方法 - Google Patents

Abstract

本发明公开了一种基于梯度结构张量的立体图像质量客观评价方法，其首先通过计算立体图像的左视点图像中的每个像素点的水平梯度、垂直梯度和视点梯度，计算每个像素点的梯度结构张量，并通过矩阵分解得到每个像素点的梯度结构张量的特征值和特征向量，然后通过区域检测法将左视点图像划分成敏感区域和非敏感区域，最后根据每个像素的区域类型，得到最终的图像质量客观评价预测值，优点在于所得到的梯度结构张量的特征值和特性向量具有较强的稳定性且能够较好地反映立体图像的质量变化情况，并且只对敏感区域的像素点进行评价，能有效地提高客观评价结果与主观感知的相关性。

Description

一种基于梯度结构张量的立体图像质量客观评价方法

技术领域

本发明涉及一种图像质量评价方法，尤其是涉及一种基于梯度结构张量的立体图像质量客观评价方法。

背景技术

随着图像编码技术和立体显示技术的迅速发展，立体图像技术受到了越来越广泛的关注与应用，已成为当前的一个研究热点。立体图像技术利用人眼的双目视差原理，双目各自独立地接收来自同一场景的左右视点图像，通过大脑融合形成双目视差，从而欣赏到具有深度感和逼真感的立体图像。由于受采集系统、存储压缩及传输设备的影响，立体图像会不可避免地引入一系列的失真，而与单通道图像相比，立体图像需要同时保证两个通道的图像质量，因此对立体图像进行质量评价具有非常重要的意义。然而，目前缺乏有效的客观评价方法对立体图像质量进行评价。因此，建立有效的立体图像质量客观评价模型具有十分重要的意义。

梯度结构张量是一种描述图像中某个局部点的结构信息的分析方法，而结构分析方法已广泛应用于平面图像质量评价，如经典的结构相似性准则（Structural Similarity Index,SSIM），然而现有的梯度结构张量主要应用于视频质量评价，对于基于梯度结构张量的立体图像质量评价，需要解决以下几个关键问题：1）立体感知评价通过视差或深度信息来反映，如何将视差或深度信息嵌入到梯度结构张量中以真实地表征立体感知特性，仍然是立体图像质量客观评价中的难点问题之一；2）并不是所有的像素点都具有强烈的结构信息，如何选择稳定的结构信息应用于质量评价，而又不影响立体感知性能，也是立体图像质量客观评价中需要解决的难点问题。

发明内容

本发明所要解决的技术问题是提供一种能够有效提高客观评价结果与主观感知的相关性的基于梯度结构张量的立体图像质量客观评价方法。

本发明解决上述技术问题所采用的技术方案为：一种基于梯度结构张量的立体图像质量客观评价方法，其特征在于包括以下步骤：

①令S_org为原始的无失真的立体图像，令S_dis为待评价的失真的立体图像，将S_org的左视点图像记为{L_org(x,y)}，将S_org的右视点图像记为{R_org(x,y)}，将S_dis的左视点图像记为{L_dis(x,y)}，将S_dis的右视点图像记为{R_dis(x,y)}，其中，(x,y)表示左视点图像和右视点图像中的像素点的坐标位置，1≤x≤W，1≤y≤H，W表示左视点图像和右视点图像的宽度，H表示左视点图像和右视点图像的高度，L_org(x,y)表示{L_org(x,y)}中坐标位置为(x,y)的像素点的像素值，R_org(x,y)表示{R_org(x,y)}中坐标位置为(x,y)的像素点的像素值，L_dis(x,y)表示{L_dis(x,y)}中坐标位置为(x,y)的像素点的像素值，R_dis(x,y)表示{R_dis(x,y)}中坐标位置为(x,y)的像素点的像素值；

②计算{L_org(x,y)}中的每个像素点的水平方向梯度、垂直方向梯度和视点方向梯度，将{L_org(x,y)}中坐标位置为(x,y)的像素点的水平方向梯度记为

将{L_org(x,y)}中坐标位置为(x,y)的像素点的垂直方向梯度记为

将{L_org(x,y)}中坐标位置为(x,y)的像素点的视点方向梯度记为

计算{L_dis(x,y)}中的每个像素点的水平方向梯度、垂直方向梯度和视点方向梯度，将{L_dis(x,y)}中坐标位置为(x,y)的像素点的水平方向梯度记为

将{L_dis(x,y)}中坐标位置为(x,y)的像素点的垂直方向梯度记为

将{L_dis(x,y)}中坐标位置为(x,y)的像素点的视点方向梯度记为

③利用区域检测算法分别获取{L_dis(x,y)}中的每个像素点的区域类型，记为p，其中，p∈{1,2}，p=1表示敏感区域，p=2表示非敏感区域；

④根据{L_org(x,y)}中的每个像素点的水平方向梯度、垂直方向梯度和视点方向梯度，计算{L_org(x,y)}中的每个像素点的梯度结构张量，将{L_org(x,y)}中坐标位置为(x,y)的像素点的梯度结构张量记为Z_org(x,y)， $Z_{\mathrm{org}}(x,y)=\left[\begin{array}{ccc}{\mathrm{gx}}_L^{\mathrm{org}}(x,y)\×{\mathrm{gx}}_L^{\mathrm{org}}(x,y)& {\mathrm{gy}}_L^{\mathrm{org}}(x,y)\×{\mathrm{gx}}_L^{\mathrm{org}}(x,y)& {\mathrm{gz}}_L^{\mathrm{org}}(x,y)\×{\mathrm{gx}}_L^{\mathrm{org}}(x,y)\\ {\mathrm{gx}}_L^{\mathrm{org}}(x,y)\×{\mathrm{gy}}_L^{\mathrm{org}}(x,y)& {\mathrm{gy}}_L^{\mathrm{org}}(x,y)\×{\mathrm{gy}}_L^{\mathrm{org}}(x,y)& {\mathrm{gz}}_L^{\mathrm{org}}(x,y)\×{\mathrm{gy}}_L^{\mathrm{org}}(x,y)\\ {\mathrm{gx}}_L^{\mathrm{org}}(x,y)\×{\mathrm{gz}}_L^{\mathrm{org}}(x,y)& {\mathrm{gy}}_L^{\mathrm{org}}(x,y)\×{\mathrm{gz}}_L^{\mathrm{org}}(x,y)& {\mathrm{gz}}_L^{\mathrm{org}}(x,y)\×{\mathrm{gz}}_L^{\mathrm{org}}(x,y)\end{array}\right],$ 根据{L_dis(x,y)}中的每个像素点的水平方向梯度、垂直方向梯度和视点方向梯度，计算{L_dis(x,y)}中的每个像素点的梯度结构张量，将{L_dis(x,y)}中坐标位置为(x,y)的像素点的梯度结构张量记为Z_dis(x,y)， $Z_{\mathrm{dis}}(x,y)=\left[\begin{array}{ccc}{\mathrm{gx}}_L^{\mathrm{dis}}(x,y)\×{\mathrm{gx}}_L^{\mathrm{dis}}(x,y)& {\mathrm{gy}}_L^{\mathrm{dis}}(x,y)\×{\mathrm{gx}}_L^{\mathrm{dis}}(x,y)& {\mathrm{gz}}_L^{\mathrm{dis}}(x,y)\×{\mathrm{gx}}_L^{\mathrm{dis}}(x,y)\\ {\mathrm{gx}}_L^{\mathrm{dis}}(x,y)\×{\mathrm{gy}}_L^{\mathrm{dis}}(x,y)& {\mathrm{gy}}_L^{\mathrm{dis}}(x,y)\×{\mathrm{gy}}_L^{\mathrm{dis}}(x,y)& {\mathrm{gz}}_L^{\mathrm{dis}}(x,y)\×{\mathrm{gy}}_L^{\mathrm{dis}}(x,y)\\ {\mathrm{gx}}_L^{\mathrm{dis}}(x,y)\×{\mathrm{gz}}_L^{\mathrm{dis}}(x,y)& {\mathrm{gy}}_L^{\mathrm{dis}}(x,y)\×{\mathrm{gz}}_L^{\mathrm{dis}}(x,y)& {\mathrm{gz}}_L^{\mathrm{dis}}(x,y)\×{\mathrm{gz}}_L^{\mathrm{dis}}(x,y)\end{array}\right],$ 其中，符号“[]”表示矩阵表示符号；

⑤根据{L_org(x,y)}和{L_dis(x,y)}中的每个像素点的梯度结构张量，计算{L_dis(x,y)}中的每个像素点的客观评价度量值，将{L_dis(x,y)}中坐标位置为(x,y)的像素点的客观评价度量值记为Q_L(x,y)；

⑥根据{L_dis(x,y)}中的每个像素点的区域类型，计算S_dis的图像质量客观评价预测值，记为Q，

其中，表示{L_dis(x,y)}中的区域类型为p=1的像素点的个数，

表示{L_dis(x,y)}中的所有区域类型为p=1的像素点构成的区域；

⑦采用n幅原始的无失真的立体图像，建立其在不同失真类型不同失真程度下的失真立体图像集合，该失真立体图像集合包括多幅失真的立体图像，利用主观质量评价方法分别获取失真立体图像集合中每幅失真的立体图像的平均主观评分差值，记为DMOS，DMOS=100-MOS，其中，MOS表示主观评分均值，DMOS∈[0,100]，n≥1；

⑧按照步骤①至步骤⑥计算S_dis的图像质量客观评价预测值的操作，分别计算失真立体图像集合中每幅失真的立体图像的图像质量客观评价预测值。

所述的步骤②中{L_org(x,y)}中的每个像素点的水平方向梯度、垂直方向梯度和视点方向梯度的获取过程为：

②-a1、采用块匹配法计算{L_org(x,y)}与{R_org(x,y)}之间的视差图像，记为

其中，

表示

中坐标位置为(x,y)的像素点的像素值；

②-a2、采用水平梯度算子M₁对{L_org(x,y)}进行卷积，得到{L_org(x,y)}中的每个像素点的水平方向梯度，将{L_org(x,y)}中坐标位置为(x,y)的像素点的水平方向梯度记为 ${\mathrm{gx}}_L^{\mathrm{org}}(x,y),$ ${\mathrm{gx}}_L^{\mathrm{org}}(x,y)=\underset{i=1}{\overset{5}{\mathrm{\Σ}}}\underset{j=1}{\overset{5}{\mathrm{\Σ}}}{L}_{\mathrm{org}}(x-3+i,y-3+j)\×M_1(i,j),$ 其中， $M_1=\left[\begin{array}{ccccc}0& 1& 0& -1& 0\\ 0& 3& 0& -3& 0\\ 0& 8& 0& -8& 0\\ 0& 3& 0& -3& 0\\ 0& 1& 0& -1& 0\end{array}\right],$ L_org(x-3+i,y-3+j)表示{L_org(x,y)}中坐标位置为(x-3+i,y-3+j)的像素点的像素值，M₁(i,j)表示M1中坐标位置为(i,j)处的值；

②-a3、采用垂直梯度算子Mx对{L_org(x,y)}进行卷积，得到{L_org(x,y)}中的每个像素点的垂直方向梯度，将{L_org(x,y)}中坐标位置为(x,y)的像素点的垂直方向梯度记为 ${\mathrm{gy}}_L^{\mathrm{org}}(x,y),$ ${\mathrm{gy}}_L^{\mathrm{org}}(x,y)=\underset{i=1}{\overset{5}{\mathrm{\Σ}}}\underset{j=1}{\overset{5}{\mathrm{\Σ}}}{L}_{\mathrm{org}}(x-3+i,y-3+j)\×M_2(i,j),$ 其中， $M_2=\left[\begin{array}{ccccc}0& 0& 0& 0& 0\\ 1& 3& 8& 3& 1\\ 0& 0& 0& 0& 0\\ -1& -3& -8& -3& -1\\ 0& 0& 0& 0& 0\end{array}\right],$ M₂(i,j)表示M₂中坐标位置为(i,j)处的值；

②-a4、采用对角梯度算子M₃和M₄分别对{L_org(x,y)}进行卷积，得到{L_org(x,y)}中的每个像素点的视点方向梯度，将{L_org(x,y)}中坐标位置为(x,y)的像素点的视点方向梯度记为 ${\mathrm{gz}}_L^{\mathrm{org}}(x,y),$ ${\mathrm{gz}}_L^{\mathrm{org}}(x,y)=\max ({\mathrm{gz}}_1(x,y),{\mathrm{gz}}_2(x,y)),$ ${\mathrm{gz}}_1(x,y)=\underset{i=1}{\overset{5}{\mathrm{\Σ}}}\underset{j=1}{\overset{5}{\mathrm{\Σ}}}{R}_{\mathrm{org}}(x+d_{\mathrm{org}}^L(x,y)-3+i,y-3+j)\×M_3(i,j),$ ${\mathrm{gz}}_2(x,y)=\underset{i=1}{\overset{5}{\mathrm{\Σ}}}\underset{j=1}{\overset{5}{\mathrm{\Σ}}}{R}_{\mathrm{org}}(x+d_{\mathrm{org}}^L(x,y)-3+i,y-3+j)\×M_4(i,j),$ 其中，max()为取最大值函数， $M_3=\left[\begin{array}{ccccc}0& 0& 1& 0& 0\\ 0& 8& 3& 0& 0\\ 1& 3& 0& -3& -1\\ 0& 0& -8& -3& 0\\ 0& 0& -1& 0& 0\end{array}\right],$ $M_4=\left[\begin{array}{ccccc}0& 0& 1& 0& 0\\ 0& 0& 3& 8& 0\\ -1& -3& 0& 3& 1\\ 0& -8& -3& 0& 0\\ 0& 0& -1& 0& 0\end{array}\right],$ $R_{\mathrm{org}}(x+d_{\mathrm{org}}^L(x,y)-3+i,y-3+j)$ 表示{R_org(x,y)}中坐标位置为的像素点的像素值，M₃(i,j)表示M₃中坐标位置为(i,j)处的值，M₄(i,j)表示M₄中坐标位置为(i,j)处的值；

所述的步骤②中{L_dis(x,y)}中的每个像素点的水平方向梯度、垂直方向梯度和视点方向梯度的获取过程为：

②-b1、采用块匹配法计算{L_dis(x,y)}与{R_dis(x,y)}之间的视差图像，记为

其中，

表示

中坐标位置为(x,y)的像素点的像素值；

②-b2、采用水平梯度算子M₁对{L_dis(x,y)}进行卷积，得到{L_dis(x,y)}中的每个像素点的水平方向梯度，将{L_dis(x,y)}中坐标位置为(x,y)的像素点的水平方向梯度记为 ${\mathrm{gx}}_L^{\mathrm{dis}}(x,y),$ ${\mathrm{gx}}_L^{\mathrm{dis}}(x,y)=\underset{i=1}{\overset{5}{\mathrm{\Σ}}}\underset{j=1}{\overset{5}{\mathrm{\Σ}}}{L}_{\mathrm{dis}}(x-3+i,y-3+j)\×M_1(i,j),$ 其中， $M_1=\left[\begin{array}{ccccc}0& 1& 0& -1& 0\\ 0& 3& 0& -3& 0\\ 0& 8& 0& -8& 0\\ 0& 3& 0& -3& 0\\ 0& 1& 0& -1& 0\end{array}\right],$ L_dis(x-3+i,y-3+j)表示{L_dis(x,y)}中坐标位置为(x-3+i,y-3+j)的像素点的像素值，M₁(i,j)表示M₁中坐标位置为(i,j)处的值；

②-a3、采用垂直梯度算子M₂对{L_dis(x,y)}进行卷积，得到{L_dis(x,y)}中的每个像素点的垂直方向梯度，将{L_dis(x,y)}中坐标位置为(x,y)的像素点的垂直方向梯度记为 ${\mathrm{gy}}_L^{\mathrm{dis}}(x,y),$ ${\mathrm{gy}}_L^{\mathrm{dis}}(x,y)=\underset{i=1}{\overset{5}{\mathrm{\Σ}}}\underset{j=1}{\overset{5}{\mathrm{\Σ}}}{L}_{\mathrm{dis}}(x-3+i,y-3+j)\×M_2(i,j),$ 其中， $M_2=\left[\begin{array}{ccccc}0& 0& 0& 0& 0\\ 1& 3& 8& 3& 1\\ 0& 0& 0& 0& 0\\ -1& -3& -8& -3& -1\\ 0& 0& 0& 0& 0\end{array}\right],$ M₂(i,j)表示M₂中坐标位置为(i,j)处的值；

②-a4、采用对角梯度算子M₃和M₄分别对{L_dis(x,y)}进行卷积，得到{L_dis(x,y)}中的每个像素点的视点方向梯度，将{L_dis(x,y)}中坐标位置为(x,y)的像素点的视点方向梯度记为 ${\mathrm{gz}}_L^{\mathrm{dis}}(x,y),$ ${\mathrm{gz}}_L^{\mathrm{dis}}(x,y)=\max ({{\mathrm{gz}}_1}^{\′}(x,y),{{\mathrm{gz}}_2}^{\′}(x,y)),$ ${{\mathrm{gz}}_1}^{\′}(x,y)=\underset{i=1}{\overset{5}{\mathrm{\Σ}}}\underset{j=1}{\overset{5}{\mathrm{\Σ}}}{R}_{\mathrm{dis}}(x+d_{\mathrm{dis}}^L(x,y)-3+i,y-3+j)\×M_3(i,j),$ ${{\mathrm{gz}}_2}^{\′}(x,y)=\underset{i=1}{\overset{5}{\mathrm{\Σ}}}\underset{j=1}{\overset{5}{\mathrm{\Σ}}}{R}_{\mathrm{dis}}(x+d_{\mathrm{dis}}^L(x,y)-3+i,y-3+j)\×M_4(i,j),$ 其中，max()为取最大值函数， $M_3=\left[\begin{array}{ccccc}0& 0& 1& 0& 0\\ 0& 8& 3& 0& 0\\ 1& 3& 0& -3& -1\\ 0& 0& -8& -3& 0\\ 0& 0& -1& 0& 0\end{array}\right],$ $M_4=\left[\begin{array}{ccccc}0& 0& 1& 0& 0\\ 0& 0& 3& 8& 0\\ -1& -3& 0& 3& 1\\ 0& -8& -3& 0& 0\\ 0& 0& -1& 0& 0\end{array}\right],$ $R_{\mathrm{dis}}(x+d_{\mathrm{dis}}^L(x,y)-3+i,y-3+j)$ 表示{R_dis(x,y)}中坐标位置为

的像素点的像素值，M₃(i,j)表示M₃中坐标位置为(i,j)处的值，M₄(i,j)表示M₄中坐标位置为(i,j)处的值。

所述的步骤③的具体过程为：

③-1、根据{L_org(x,y)}中的每个像素点的水平方向梯度、垂直方向梯度和视点方向梯度，计算{L_org(x,y)}中的每个像素点的梯度幅度，将{L_org(x,y)}中坐标位置为(x,y)的像素点的梯度幅度记为

$G_L^{\mathrm{org}}(x,y)=\sqrt{{\left({\mathrm{gx}}_L^{\mathrm{org}}(x,y)\right)}^2+{\left({\mathrm{gy}}_L^{\mathrm{org}}(x,y)\right)}^2+{\left({\mathrm{gz}}_L^{\mathrm{org}}(x,y)\right)}^2};$

③-2、根据{L_dis(x,y)}中的每个像素点的水平方向梯度、垂直方向梯度和视点方向梯度，计算{L_dis(x,y)}中的每个像素点的梯度幅度，将{L_dis(x,y)}中坐标位置为(x,y)的像素点的梯度幅度记为

$G_L^{\mathrm{dis}}(x,y)=\sqrt{{\left({\mathrm{gx}}_L^{\mathrm{dis}}(x,y)\right)}^2+{\left({\mathrm{gy}}_L^{\mathrm{dis}}(x,y)\right)}^2+{\left({\mathrm{gz}}_L^{\mathrm{dis}}(x,y)\right)}^2};$

③-3、判断{L_org(x,y)}中坐标位置为(x₁,y₁)的像素点的梯度幅度

和{L_dis(x,y)}中坐标位置为(x₁,y₁)的像素点的梯度幅度

是否满足条件：

且

如果满足，则将{L_dis(x,y)}中坐标位置为(x₁,y₁)的像素点的区域类型标记为p=1，否则，将{L_dis(x,y)}中坐标位置为(x₁,y₁)的像素点的区域类型标记为p=2，其中，T为梯度幅度阈值，T=0.25×G_max，G_max表示{L_org(x,y)}中的所有像素点的梯度幅度的集合

中的最大值，1≤x₁≤W，1≤y₁≤H；

③-4、返回步骤③-3继续确定{L_dis(x,y)}中剩余的像素点的区域类型，直至{L_dis(x,y)}中的所有像素点的区域类型确定完毕。

所述的步骤⑤的具体过程为：

⑤-1、对{L_org(x,y)}中的每个像素点的梯度结构张量进行矩阵分解，对于{L_org(x,y)}中坐标位置为(x,y)的像素点的梯度结构张量Z_org(x,y)， $Z_{\mathrm{org}}(x,y)={\mathrm{\λ}}_1^o{\stackrel{\→}{e}}_1^o{\left({\stackrel{\→}{e}}_1^o\right)}^T+{\mathrm{\λ}}_2^o{\stackrel{\→}{e}}_2^o{\left({\stackrel{\→}{e}}_2^o\right)}^T+{\mathrm{\λ}}_3^o{\stackrel{\→}{e}}_3^o{\left({\stackrel{\→}{e}}_3^o\right)}^T,$ 其中，

和

表示Z_org(x,y)的特征值，

和表示Z_org(x,y)的特征向量，表示的转置矩阵，

表示

的转置矩阵，

表示

的转置矩阵；

⑤-2、对{L_dis(x,y)}中的每个像素点的梯度结构张量进行矩阵分解，对于{L_dis(x,y)}中坐标位置为(x,y)的像素点的梯度结构张量Z_dis(x,y)， $Z_{\mathrm{dis}}(x,y)={\mathrm{\λ}}_1^d{\stackrel{\→}{e}}_1^d{\left({\stackrel{\→}{e}}_1^d\right)}^T+{\mathrm{\λ}}_2^d{\stackrel{\→}{e}}_2^d{\left({\stackrel{\→}{e}}_2^d\right)}^T+{\mathrm{\λ}}_3^d{\stackrel{\→}{e}}_3^d{\left({\stackrel{\→}{e}}_3^d\right)}^T,$ 其中，

和

表示Z_dis(x,y)的特征值，

和

表示Z_dis(x,y)的特征向量，

表示

的转置矩阵，

表示

的转置矩阵，

表示

的转置矩阵；

⑤-3、计算{L_dis(x,y)}中的每个像素点的客观评价度量值，将{L_dis(x,y)}中坐标位置为(x,y)的像素点的客观评价度量值记为Q_L(x,y)， $Q_L(x,y)=\frac{2\×{\mathrm{\λ}}_{\max }^o\×{\mathrm{\λ}}_{\max }^o}{{\left({\mathrm{\λ}}_{\max }^o\right)}^2+{\left({\mathrm{\λ}}_{\max }^o\right)}^2}\×\⟨{\stackrel{\→}{e}}_{\max }^o{\stackrel{\→}{e}}_{\max }^d\⟩,$ 其中，

表示

和

中的最大特征值，

表示

和

中的最大特征值，

表示

对应的特征向量，表示

对应的特征向量，符号“<>”为向量的内积操作符号。

与现有技术相比，本发明的优点在于：

1）本发明方法考虑到不同区域的结构失真不一致的特点，根据每个像素点的梯度幅度大小，将失真的左视点图像分成敏感区域和非敏感区域，并只对敏感区域进行评价，这种方式能够有效地提高客观评价结果与主观感知的相关性。

2）本发明方法通过计算每个像素点的水平方向梯度、垂直方向梯度和视点方向梯度，来计算每个像素点的梯度结构张量，再采用矩阵分解得到梯度结构张量的特征值和特征向量，获得的特征值和特性向量具有较强的稳定性且能够较好地反映立体图像的质量变化情况。

附图说明

图1为本发明方法的总体实现框图；

图2a为Akko（尺寸为640×480）立体图像的左视点图像；

图2b为Akko（尺寸为640×480）立体图像的右视点图像；

图3a为Altmoabit（尺寸为1024×768）立体图像的左视点图像；

图3b为Altmoabit（尺寸为1024×768）立体图像的右视点图像；

图4a为Balloons（尺寸为1024×768）立体图像的左视点图像；

图4b为Balloons（尺寸为1024×768）立体图像的右视点图像；

图5a为Doorflower（尺寸为1024×768）立体图像的左视点图像；

图5b为Doorflower（尺寸为1024×768）立体图像的右视点图像；

图6a为Kendo（尺寸为1024×768）立体图像的左视点图像；

图6b为Kendo（尺寸为1024×768）立体图像的右视点图像；

图7a为LeaveLaptop（尺寸为1024×768）立体图像的左视点图像；

图7b为LeaveLaptop（尺寸为1024×768）立体图像的右视点图像；

图8a为Lovebierd1（尺寸为1024×768）立体图像的左视点图像；

图8b为Lovebierd1（尺寸为1024×768）立体图像的右视点图像；

图9a为Newspaper（尺寸为1024×768）立体图像的左视点图像；

图9b为Newspaper（尺寸为1024×768）立体图像的右视点图像；

图10a为Puppy（尺寸为720×480）立体图像的左视点图像；

图10b为Puppy（尺寸为720×480）立体图像的右视点图像；

图11a为Soccer2（尺寸为720×480）立体图像的左视点图像；

图11b为Soccer2（尺寸为720×480）立体图像的右视点图像；

图12a为Horse（尺寸为720×480）立体图像的左视点图像；

图12b为Horse（尺寸为720×480）立体图像的右视点图像；

图13a为Xmas（尺寸为640×480）立体图像的左视点图像；

图13b为Xmas（尺寸为640×480）立体图像的右视点图像；

图14为JPEG压缩失真的失真立体图像集合中的各幅失真的立体图像的图像质量客观评价预测值与平均主观评分差值的散点图；

图15为JPEG2000压缩失真的失真立体图像集合中的各幅失真的立体图像的图像质量客观评价预测值与平均主观评分差值的散点图；

图16为高斯模糊失真的失真立体图像集合中的各幅失真的立体图像的图像质量客观评价预测值与平均主观评分差值的散点图；

图17为H.264编码失真的失真立体图像集合中的各幅失真的立体图像的图像质量客观评价预测值与平均主观评分差值的散点图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明提出的一种基于梯度结构张量的立体图像质量客观评价方法，其总体实现框图如图1所示，其具体包括以下步骤：

①令S_org为原始的无失真的立体图像，令S_dis为待评价的失真的立体图像，将S_org的左视点图像记为{L_org(x,y)}，将S_org的右视点图像记为{R_org(x,y)}，将S_dis的左视点图像记为{L_dis(x,y)}，将S_dis的右视点图像记为{R_dis(x,y)}，其中，(x,y)表示左视点图像和右视点图像中的像素点的坐标位置，1≤x≤W，1≤y≤H，W表示左视点图像和右视点图像的宽度，H表示左视点图像和右视点图像的高度，L_org(x,y)表示{L_org(x,y)}中坐标位置为(x,y)的像素点的像素值，R_org(x,y)表示{R_org(x,y)}中坐标位置为(x,y)的像素点的像素值，L_dis(x,y)表示{L_dis(x,y)}中坐标位置为(x,y)的像素点的像素值，R_dis(x,y)表示{R_dis(x,y)}中坐标位置为(x,y)的像素点的像素值。

②计算{L_org(x,y)}中的每个像素点的水平方向梯度、垂直方向梯度和视点方向梯度，将{L_org(x,y)}中的所有像素点的水平方向梯度、垂直方向梯度和视点方向梯度分别用集合表示为

和

将{L_org(x,y)}中坐标位置为(x,y)的像素点的水平方向梯度记为将{L_org(x,y)}中坐标位置为(x,y)的像素点的垂直方向梯度记为

将{L_org(x,y)}中坐标位置为(x,y)的像素点的视点方向梯度记为

在此具体实施例中，{L_org(x,y)}中的每个像素点的水平方向梯度、垂直方向梯度和视点方向梯度的获取过程为：

②-a1、采用块匹配法计算{L_org(x,y)}与{R_org(x,y)}之间的视差图像，记为

其中，

表示中坐标位置为(x,y)的像素点的像素值。

②-a2、采用水平梯度算子M₁对{L_org(x,y)}进行卷积，得到{L_org(x,y)}中的每个像素点的水平方向梯度，将{L_org(x,y)}中坐标位置为(x,y)的像素点的水平方向梯度记为 ${\mathrm{gx}}_L^{\mathrm{org}}(x,y),$ ${\mathrm{gx}}_L^{\mathrm{org}}(x,y)=\underset{i=1}{\overset{5}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{5}{\mathrm{\&Sigma;}}}{L}_{\mathrm{org}}(x-3+i,y-3+j)\&times;M_1(i,j),$ 其中， $M_1=\left[\begin{array}{ccccc}0& 1& 0& -1& 0\\ 0& 3& 0& -3& 0\\ 0& 8& 0& -8& 0\\ 0& 3& 0& -3& 0\\ 0& 1& 0& -1& 0\end{array}\right],$ L_org(x-3+i,y-3+j)表示{L_org(x,y)}中坐标位置为(x-3+i,y-3+j)的像素点的像素值，M₁(i,j)表示M₁中坐标位置为(i,j)处的值。

②-a3、采用垂直梯度算子M₂对{L_org(x,y)}进行卷积，得到{L_org(x,y)}中的每个像素点的垂直方向梯度，将{L_org(x,y)}中坐标位置为(x,y)的像素点的垂直方向梯度记为 ${\mathrm{gy}}_L^{\mathrm{org}}(x,y),$ ${\mathrm{gy}}_L^{\mathrm{org}}(x,y)=\underset{i=1}{\overset{5}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{5}{\mathrm{\&Sigma;}}}{L}_{\mathrm{org}}(x-3+i,y-3+j)\&times;M_2(i,j),$ 其中， $M_2=\left[\begin{array}{ccccc}0& 0& 0& 0& 0\\ 1& 3& 8& 3& 1\\ 0& 0& 0& 0& 0\\ -1& -3& -8& -3& -1\\ 0& 0& 0& 0& 0\end{array}\right],$ M₂(i，j)表示M₂中坐标位置为(i，j)处的值。

②一a4、采用对角梯度算子M₃和M₄分别对{L_org(x，y))进行卷积，得到{L_org(x，y))中的每个像素点的视点方向梯度，将{L_org(x，y)}中坐标位置为(x，y)的像素点的视点方向梯度 记 为 ${\mathrm{gz}}_L^{\mathrm{org}}(x,y),$ ${\mathrm{gz}}_L^{\mathrm{org}}(x,y)=\max ({\mathrm{gz}}_1(x,y),{\mathrm{gz}}_2(x,y)),$ ${\mathrm{gz}}_1(x,y)=\underset{i=1}{\overset{5}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{5}{\mathrm{\&Sigma;}}}{R}_{\mathrm{org}}(x+d_{\mathrm{org}}^L(x,y)-3+i,y-3+j)\&times;M_3(i,j),$ ${\mathrm{gz}}_2(x,y)=\underset{i=1}{\overset{5}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{5}{\mathrm{\&Sigma;}}}{R}_{\mathrm{org}}(x+d_{\mathrm{org}}^L(x,y)-3+i,y-3+j)\&times;M_4(i,j),$ 其中，max()为取最大值函数 ， $M_3=\left[\begin{array}{ccccc}0& 0& 1& 0& 0\\ 0& 8& 3& 0& 0\\ 1& 3& 0& -3& -1\\ 0& 0& -8& -3& 0\\ 0& 0& -1& 0& 0\end{array}\right],$ $M_4=\left[\begin{array}{ccccc}0& 0& 1& 0& 0\\ 0& 0& 3& 8& 0\\ -1& -3& 0& 3& 1\\ 0& -8& -3& 0& 0\\ 0& 0& -1& 0& 0\end{array}\right],$ $R_{\mathrm{org}}(x+d_{\mathrm{org}}^L(x,y)-3+i,y-3+j)$ 表 示 {R_org(x，y)}  中  坐  标  位  置  为的像素点的像素值，M₃(i，j)表示M₃中坐标位置为(i，j)处的值，M₄(i，j)表示M₄中坐标位置为(i，j)处的值。

计算{L_dis(x，y)}中的每个像素点的水平方向梯度、垂直方向梯度和视点方向梯度，将{L_dis(x，y)}中的所有像素点的水平方向梯度、垂直方向梯度和视点方向梯度分别用集合表示为

和将{L_dis(x，y)}中坐标位置为(x，y)的像素点的水平方向梯度记为

将{L_dis(x，y)}中坐标位置为(x，y)的像素点的垂直方向梯度记为

将{L_dis(x，y)}中坐标位置为(x，y)的像素点的视点方向梯度记为

在此具体实施例中，{L_dis(x，y)}中的每个像素点的水平方向梯度、垂直方向梯度和视点方向梯度的获取过程为：

②-b1、采用块匹配法计算{L_dis(x,y)}与{R_dis(x,y)}之间的视差图像，记为

其中，表示

中坐标位置为(x,y)的像素点的像素值。

②-b2、采用水平梯度算子M₁对{L_dis(x,y)}进行卷积，得到{L_dis(x,y)}中的每个像素点的水平方向梯度，将{L_dis(x,y)}中坐标位置为(x,y)的像素点的水平方向梯度记为 ${\mathrm{gx}}_L^{\mathrm{dis}}(x,y),$ ${\mathrm{gx}}_L^{\mathrm{dis}}(x,y)=\underset{i=1}{\overset{5}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{5}{\mathrm{\&Sigma;}}}{L}_{\mathrm{dis}}(x-3+i,y-3+j)\&times;M_1(i,j),$ 其中， $M_1=\left[\begin{array}{ccccc}0& 1& 0& -1& 0\\ 0& 3& 0& -3& 0\\ 0& 8& 0& -8& 0\\ 0& 3& 0& -3& 0\\ 0& 1& 0& -1& 0\end{array}\right],$ L_dis(x-3+i,y-3+j)表示{L_dis(x,y)}中坐标位置为(x-3+i,y-3+j)的像素点的像素值，M₁(i,j)表示M1中坐标位置为(i,j)处的值。

②-a3、采用垂直梯度算子M₂对{L_dis(x,y)}进行卷积，得到{L_dis(x,y)}中的每个像素点的垂直方向梯度，将{L_dis(x,y)}中坐标位置为(x,y)的像素点的垂直方向梯度记为 ${\mathrm{gy}}_L^{\mathrm{dis}}(x,y),$ ${\mathrm{gy}}_L^{\mathrm{dis}}(x,y)=\underset{i=1}{\overset{5}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{5}{\mathrm{\&Sigma;}}}{L}_{\mathrm{dis}}(x-3+i,y-3+j)\&times;M_2(i,j),$ 其中， $M_2=\left[\begin{array}{ccccc}0& 0& 0& 0& 0\\ 1& 3& 8& 3& 1\\ 0& 0& 0& 0& 0\\ -1& -3& -8& -3& -1\\ 0& 0& 0& 0& 0\end{array}\right],$ M₂(i,j)表示M₂中坐标位置为(i,j)处的值。

②-a4、采用对角梯度算子M₃和M₄分别对{L_dis(x,y)}进行卷积，得到{L_dis(x,y)}中的每个像素点的视点方向梯度，将{L_dis(x,y)}中坐标位置为(x,y)的像素点的视点方向梯度记为 ${\mathrm{gz}}_L^{\mathrm{dis}}(x,y),$ ${\mathrm{gz}}_L^{\mathrm{dis}}(x,y)=\max ({{\mathrm{gz}}_1}^{\&prime;}(x,y),{{\mathrm{gz}}_2}^{\&prime;}(x,y)),$ ${{\mathrm{gz}}_1}^{\&prime;}(x,y)=\underset{i=1}{\overset{5}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{5}{\mathrm{\&Sigma;}}}{R}_{\mathrm{dis}}(x+d_{\mathrm{dis}}^L(x,y)-3+i,y-3+j)\&times;M_3(i,j),$ ${{\mathrm{gz}}_2}^{\&prime;}(x,y)=\underset{i=1}{\overset{5}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{5}{\mathrm{\&Sigma;}}}{R}_{\mathrm{dis}}(x+d_{\mathrm{dis}}^L(x,y)-3+i,y-3+j)\&times;M_4(i,j),$ 其中，max()为取最大值函数， $M_3=\left[\begin{array}{ccccc}0& 0& 1& 0& 0\\ 0& 8& 3& 0& 0\\ 1& 3& 0& -3& -1\\ 0& 0& -8& -3& 0\\ 0& 0& -1& 0& 0\end{array}\right],$ $M_4=\left[\begin{array}{ccccc}0& 0& 1& 0& 0\\ 0& 0& 3& 8& 0\\ -1& -3& 0& 3& 1\\ 0& -8& -3& 0& 0\\ 0& 0& -1& 0& 0\end{array}\right],$ $R_{\mathrm{dis}}(x+d_{\mathrm{dis}}^L(x,y)-3+i,y-3+j)$ 表示{R_dis(x,y)}中坐标位置为的像素点的像素值，M₃(i,j)表示M₃中坐标位置为(i,j)处的值，M₄(i,j)表示M₄中坐标位置为(i,j)处的值。

在此，块匹配法采用现有的经典的块匹配法，其基本思想是将图像分成小块，对左视点图像（右视点图像）的每一小块，在右视点图像（左视点图像）中寻找相关性最大的小块，两个小块之间的空间位移量就是视差。

③利用区域检测算法分别获取{L_dis(x,y)}中的每个像素点的区域类型，记为p，其中，p∈{1,2}，p=1表示敏感区域，p=2表示非敏感区域。

在此具体实施例中，步骤③的具体过程为：

③-1、根据{L_org(x,y)}中的每个像素点的水平方向梯度、垂直方向梯度和视点方向梯度，计算{L_org(x,y)}中的每个像素点的梯度幅度，将{L_org(x,y)}中的所有像素点的梯度幅度用集合表示为

将{L_org(x,y)}中坐标位置为(x,y)的像素点的梯度幅度记为 $G_L^{\mathrm{org}}(x,y),$ $G_L^{\mathrm{org}}(x,y)=\sqrt{{\left({\mathrm{gx}}_L^{\mathrm{org}}(x,y)\right)}^2+{\left({\mathrm{gy}}_L^{\mathrm{org}}(x,y)\right)}^2+{\left({\mathrm{gz}}_L^{\mathrm{org}}(x,y)\right)}^2}.$

③-2、根据{L_dis(x,y)}中的每个像素点的水平方向梯度、垂直方向梯度和视点方向梯度，计算{L_dis(x,y)}中的每个像素点的梯度幅度，将{L_dis(x,y)}中的所有像素点的梯度幅度用集合表示为

将{L_dis(x,y)}中坐标位置为(x,y)的像素点的梯度幅度记为 $G_L^{\mathrm{dis}}(x,y),$ $G_L^{\mathrm{dis}}(x,y)=\sqrt{{\left({\mathrm{gx}}_L^{\mathrm{dis}}(x,y)\right)}^2+{\left({\mathrm{gy}}_L^{\mathrm{dis}}(x,y)\right)}^2+{\left({\mathrm{gz}}_L^{\mathrm{dis}}(x,y)\right)}^2}.$

③-3、判断{L_org(x,y)}中坐标位置为(x₁,y₁)的像素点的梯度幅度

和{L_dis(x,y)}中坐标位置为(x₁,y₁)的像素点的梯度幅度

是否满足条件：且

如果满足，则将{L_dis(x,y)}中坐标位置为(x₁,y₁)的像素点的区域类型标记为p=1，否则，将{L_dis(x,y)}中坐标位置为(x₁,y₁)的像素点的区域类型标记为p=2，其中，T为梯度幅度阈值，T=0.25×G_max，G_max表示{L_org(x,y)}中的所有像素点的梯度幅度的集合中的最大值，1≤x₁≤W，1≤y₁≤H。

③-4、返回步骤③-3继续确定{L_dis(x,y)}中剩余的像素点的区域类型，直至{L_dis(x,y)}中的所有像素点的区域类型确定完毕。

④根据{L_org(x,y)}中的每个像素点的水平方向梯度、垂直方向梯度和视点方向梯度，计算{L_org(x,y)}中的每个像素点的梯度结构张量，将{L_org(x,y)}中的所有像素点的梯度结构张量用集合表示为{Z_org(x,y)}，将{L_org(x,y)}中坐标位置为(x,y)的像素点的梯度结构张量记为Z_org(x,y)， $Z_{\mathrm{org}}(x,y)=\left[\begin{array}{ccc}{\mathrm{gx}}_L^{\mathrm{org}}(x,y)\&times;{\mathrm{gx}}_L^{\mathrm{org}}(x,y)& {\mathrm{gy}}_L^{\mathrm{org}}(x,y)\&times;{\mathrm{gx}}_L^{\mathrm{org}}(x,y)& {\mathrm{gz}}_L^{\mathrm{org}}(x,y)\&times;{\mathrm{gx}}_L^{\mathrm{org}}(x,y)\\ {\mathrm{gx}}_L^{\mathrm{org}}(x,y)\&times;{\mathrm{gy}}_L^{\mathrm{org}}(x,y)& {\mathrm{gy}}_L^{\mathrm{org}}(x,y)\&times;{\mathrm{gy}}_L^{\mathrm{org}}(x,y)& {\mathrm{gz}}_L^{\mathrm{org}}(x,y)\&times;{\mathrm{gy}}_L^{\mathrm{org}}(x,y)\\ {\mathrm{gx}}_L^{\mathrm{org}}(x,y)\&times;{\mathrm{gz}}_L^{\mathrm{org}}(x,y)& {\mathrm{gy}}_L^{\mathrm{org}}(x,y)\&times;{\mathrm{gz}}_L^{\mathrm{org}}(x,y)& {\mathrm{gz}}_L^{\mathrm{org}}(x,y)\&times;{\mathrm{gz}}_L^{\mathrm{org}}(x,y)\end{array}\right],$ 根据{L_dis(x,y)}中的每个像素点的水平方向梯度、垂直方向梯度和视点方向梯度，计算{L_dis(x,y)}中的每个像素点的梯度结构张量，将{L_dis(x,y)}中的所有像素点的梯度结构张量用集合表示为{Z_dis(x,y)}，将{L_dis(x,y)}中坐标位置为(x,y)的像素点的梯度结构张量记为Z_dis(x,y)， $Z_{\mathrm{dis}}(x,y)=\left[\begin{array}{ccc}{\mathrm{gx}}_L^{\mathrm{dis}}(x,y)\&times;{\mathrm{gx}}_L^{\mathrm{dis}}(x,y)& {\mathrm{gy}}_L^{\mathrm{dis}}(x,y)\&times;{\mathrm{gx}}_L^{\mathrm{dis}}(x,y)& {\mathrm{gz}}_L^{\mathrm{dis}}(x,y)\&times;{\mathrm{gx}}_L^{\mathrm{dis}}(x,y)\\ {\mathrm{gx}}_L^{\mathrm{dis}}(x,y)\&times;{\mathrm{gy}}_L^{\mathrm{dis}}(x,y)& {\mathrm{gy}}_L^{\mathrm{dis}}(x,y)\&times;{\mathrm{gy}}_L^{\mathrm{dis}}(x,y)& {\mathrm{gz}}_L^{\mathrm{dis}}(x,y)\&times;{\mathrm{gy}}_L^{\mathrm{dis}}(x,y)\\ {\mathrm{gx}}_L^{\mathrm{dis}}(x,y)\&times;{\mathrm{gz}}_L^{\mathrm{dis}}(x,y)& {\mathrm{gy}}_L^{\mathrm{dis}}(x,y)\&times;{\mathrm{gz}}_L^{\mathrm{dis}}(x,y)& {\mathrm{gz}}_L^{\mathrm{dis}}(x,y)\&times;{\mathrm{gz}}_L^{\mathrm{dis}}(x,y)\end{array}\right],$ 其中，符号“[]”表示矩阵表示符号。

⑤根据{L_org(x,y)}和{L_dis(x,y)}中的每个像素点的梯度结构张量，计算{L_dis(x,y)}中的每个像素点的客观评价度量值，将{L_dis(x,y)}中的所有像素点的客观评价度量值用集合表示为{Q_L(x,y)}，将{L_dis(x,y)}中坐标位置为(x,y)的像素点的客观评价度量值记为Q_L(x,y)。

在此具体实施例中，步骤⑤的具体过程为：

⑤-1、对{L_org(x,y)}中的每个像素点的梯度结构张量进行矩阵分解，对于{L_org(x,y)}中坐标位置为(x,y)的像素点的梯度结构张量Z_org(x,y)， $Z_{\mathrm{org}}(x,y)={\mathrm{\&lambda;}}_1^o{\stackrel{\&RightArrow;}{e}}_1^o{\left({\stackrel{\&RightArrow;}{e}}_1^o\right)}^T+{\mathrm{\&lambda;}}_2^o{\stackrel{\&RightArrow;}{e}}_2^o{\left({\stackrel{\&RightArrow;}{e}}_2^o\right)}^T+{\mathrm{\&lambda;}}_3^o{\stackrel{\&RightArrow;}{e}}_3^o{\left({\stackrel{\&RightArrow;}{e}}_3^o\right)}^T,$ 其中，

和表示Z_org(x,y)的特征值，

和

表示Z_org(x,y)的特征向量，

表示

的转置矩阵，

表示

的转置矩阵，

表示

的转置矩阵。

⑤-2、对{L_dis(x,y)}中的每个像素点的梯度结构张量进行矩阵分解，对于{L_dis(x,y)}中坐标位置为(x,y)的像素点的梯度结构张量Z_dis(x,y)， $Z_{\mathrm{dis}}(x,y)={\mathrm{\&lambda;}}_1^d{\stackrel{\&RightArrow;}{e}}_1^d{\left({\stackrel{\&RightArrow;}{e}}_1^d\right)}^T+{\mathrm{\&lambda;}}_2^d{\stackrel{\&RightArrow;}{e}}_2^d{\left({\stackrel{\&RightArrow;}{e}}_2^d\right)}^T+{\mathrm{\&lambda;}}_3^d{\stackrel{\&RightArrow;}{e}}_3^d{\left({\stackrel{\&RightArrow;}{e}}_3^d\right)}^T,$ 其中，

和

表示Z_dis(x,y)的特征值，

和

表示Z_dis(x,y)的特征向量，

表示的转置矩阵，

表示

的转置矩阵，表示

的转置矩阵。

⑤-3、计算{L_dis(x,y)}中的每个像素点的客观评价度量值，将{L_dis(x,y)}中坐标位置为(x,y)的像素点的客观评价度量值记为Q_L(x,y)， $Q_L(x,y)=\frac{2\&times;{\mathrm{\&lambda;}}_{\max }^o\&times;{\mathrm{\&lambda;}}_{\max }^o}{{\left({\mathrm{\&lambda;}}_{\max }^o\right)}^2+{\left({\mathrm{\&lambda;}}_{\max }^o\right)}^2}\&times;\&lang;{\stackrel{\&RightArrow;}{e}}_{\max }^o{\stackrel{\&RightArrow;}{e}}_{\max }^d\&rang;,$ 其中，

表示

和

中的最大特征值，

表示

和

中的最大特征值，

表示

对应的特征向量，

表示

对应的特征向量，符号“<>”为向量的内积操作符号。

⑥根据{L_dis(x,y)}中的每个像素点的区域类型，计算S_dis的图像质量客观评价预测值，记为Q，

其中，

表示{L_dis(x,y)}中的区域类型为p=1的像素点的个数，

表示{L_dis(x,y)}中的所有区域类型为p=1的像素点构成的敏感区域。

⑦采用n幅原始的无失真的立体图像，建立其在不同失真类型不同失真程度下的失真立体图像集合，该失真立体图像集合包括多幅失真的立体图像，利用主观质量评价方法分别获取失真立体图像集合中每幅失真的立体图像的平均主观评分差值，记为DMOS，DMOS=100-MOS，其中，MOS表示主观评分均值，DMOS∈[0,100]，n≥1。

在本实施例中，利用如图2a和图2b构成的立体图像、图3a和图3b构成的立体图像、图4a和图4b构成的立体图像、图5a和图5b构成的立体图像、图6a和图6b构成的立体图像、图7a和图7b构成的立体图像、图8a和图8b构成的立体图像、图9a和图9b构成的立体图像、图10a和图10b构成的立体图像、图11a和图11b构成的立体图像、图12a和图12b构成的立体图像、图13a和图13b构成的立体图像共12幅（n=12）无失真的立体图像建立了其在不同失真类型不同失真程度下的失真立体图像集合，该失真立体图像集合共包括4种失真类型的252幅失真的立体图像，其中JPEG压缩的失真的立体图像共60幅，JPEG2000压缩的失真的立体图像共60幅，高斯模糊（Gaussian Blur）的失真的立体图像共60幅，H.264编码的失真的立体图像共72幅。

⑧按照步骤①至步骤⑥计算S_dis的图像质量客观评价预测值的操作，分别计算失真立体图像集合中每幅失真的立体图像的图像质量客观评价预测值。

采用图2a至图13b所示的12幅无失真的立体图像在不同程度的JPEG压缩、JPEG2000压缩、高斯模糊和H.264编码失真情况下的252幅失真的立体图像来分析本实施例得到的失真的立体图像的客观图像质量评价预测值与平均主观评分差值之间的相关性。这里，利用评估图像质量评价方法的4个常用客观参量作为评价指标，即非线性回归条件下的Pearson相关系数（Correlation Coefficient，CC）、Spearman相关系数（Rank-Order Correlation Coefficient，ROCC），异常值比率指标（Outlier Ratio,OR），均方根误差（Root Mean Squared Error,RMSE），CC反映失真的立体图像评价客观模型的准确性，ROCC反映其单调性，OR反映其离散程度，RMSE反映模型预测的准确性。将按本实施例计算得到的失真的立体图像的客观图像评价质量预测值做四参数Logistic函数非线性拟合，CC和ROCC值越高、OR和RMSE值越小说明客观评价方法与平均主观评分差值相关性越好。反映立体图像客观评价模型性能的CC、ROCC、OR、RMSE系数如表1所示，从表1所列的数据可知，按本实施例得到的失真的立体图像的最终的客观质量评价预测值与平均主观评分差值之间的相关性是很高的，表明客观评价结果与人眼主观感知的结果较为一致，足以说明本发明方法的有效性。

图14、图15、图16和图17分别给出了JPEG压缩、JPEG2000压缩、高斯模糊和H.264编码失真情况下的失真立体图像集合中的各幅失真的立体图像的图像质量客观评价预测值与平均主观评分差值的散点图，散点越集中，说明客观模型与主观感知的一致性越好。从图14至图17中可以看出，采用本发明方法得到的散点图比较集中，与主观评价数据之间的吻合度较高。

表1  本实施例得到的失真的立体图像的客观质量评价预测值与平均主观评分差值之间的相关性

失真类型	JPEG压缩	JPEG2000压缩	高斯模糊	H.264编码
					Person相关系数	0.9176	0.9322	0.9581	0.9577
Spearman相关系数	0.9345	0.9308	0.9562	0.9267
					OR指标	0.0000	0.0000	0.0000	0.0000
RMSE指标	5.6620	4.3387	6.0418	4.0367

Claims (4)

1.一种基于梯度结构张量的立体图像质量客观评价方法，其特征在于包括以下步骤：

①令S_org为原始的无失真的立体图像，令S_dis为待评价的失真的立体图像，将S_org的左视点图像记为{L_org(x,y)}，将S_org的右视点图像记为{R_org(x,y)}，将S_dis的左视点图像记为{L_dis(x,y)}，将S_dis的右视点图像记为{R_dis(x,y)}，其中，(x,y)表示左视点图像和右视点图像中的像素点的坐标位置，1≤x≤W，1≤y≤H，W表示左视点图像和右视点图像的宽度，H表示左视点图像和右视点图像的高度，L_org(x,y)表示{L_org(x,y)}中坐标位置为(x,y)的像素点的像素值，R_org(x,y)表示{R_org(x,y)}中坐标位置为(x,y)的像素点的像素值，L_dis(x,y)表示{L_dis(x,y)}中坐标位置为(x,y)的像素点的像素值，R_dis(x,y)表示{R_dis(x,y)}中坐标位置为(x,y)的像素点的像素值；

②计算{L_org(x,y)}中的每个像素点的水平方向梯度、垂直方向梯度和视点方向梯度，将{L_org(x,y)}中坐标位置为(x,y)的像素点的水平方向梯度记为

将{L_org(x,y)}中坐标位置为(x,y)的像素点的垂直方向梯度记为

将{L_org(x,y)}中坐标位置为(x,y)的像素点的视点方向梯度记为

计算{L_dis(x,y)}中的每个像素点的水平方向梯度、垂直方向梯度和视点方向梯度，将{L_dis(x,y)}中坐标位置为(x,y)的像素点的水平方向梯度记为

将{L_dis(x,y)}中坐标位置为(x,y)的像素点的垂直方向梯度记为

将{L_dis(x,y)}中坐标位置为(x,y)的像素点的视点方向梯度记为

③利用区域检测算法分别获取{L_dis(x,y)}中的每个像素点的区域类型，记为p，其中，p∈{1,2}，p=1表示敏感区域，p=2表示非敏感区域；

④根据{L_org(x,y)}中的每个像素点的水平方向梯度、垂直方向梯度和视点方向梯度，计算{L_org(x,y)}中的每个像素点的梯度结构张量，将{L_org(x,y)}中坐标位置为(x,y)的像素点的梯度结构张量记为Z_org(x,y)， $Z_{\mathrm{org}}(x,y)=\left[\begin{array}{ccc}{\mathrm{gx}}_L^{\mathrm{org}}(x,y)\&times;{\mathrm{gx}}_L^{\mathrm{org}}(x,y)& {\mathrm{gy}}_L^{\mathrm{org}}(x,y)\&times;{\mathrm{gx}}_L^{\mathrm{org}}(x,y)& {\mathrm{gz}}_L^{\mathrm{org}}(x,y)\&times;{\mathrm{gx}}_L^{\mathrm{org}}(x,y)\\ {\mathrm{gx}}_L^{\mathrm{org}}(x,y)\&times;{\mathrm{gy}}_L^{\mathrm{org}}(x,y)& {\mathrm{gy}}_L^{\mathrm{org}}(x,y)\&times;{\mathrm{gy}}_L^{\mathrm{org}}(x,y)& {\mathrm{gz}}_L^{\mathrm{org}}(x,y)\&times;{\mathrm{gy}}_L^{\mathrm{org}}(x,y)\\ {\mathrm{gx}}_L^{\mathrm{org}}(x,y)\&times;{\mathrm{gz}}_L^{\mathrm{org}}(x,y)& {\mathrm{gy}}_L^{\mathrm{org}}(x,y)\&times;{\mathrm{gz}}_L^{\mathrm{org}}(x,y)& {\mathrm{gz}}_L^{\mathrm{org}}(x,y)\&times;{\mathrm{gz}}_L^{\mathrm{org}}(x,y)\end{array}\right],$ 根据{L_dis(x,y)}中的每个像素点的水平方向梯度、垂直方向梯度和视点方向梯度，计算{L_dis(x,y)}中的每个像素点的梯度结构张量，将{L_dis(x,y)}中坐标位置为(x,y)的像素点的梯度结构张量记为Z_dis(x,y)， $Z_{\mathrm{dis}}(x,y)=\left[\begin{array}{ccc}{\mathrm{gx}}_L^{\mathrm{dis}}(x,y)\&times;{\mathrm{gx}}_L^{\mathrm{dis}}(x,y)& {\mathrm{gy}}_L^{\mathrm{dis}}(x,y)\&times;{\mathrm{gx}}_L^{\mathrm{dis}}(x,y)& {\mathrm{gz}}_L^{\mathrm{dis}}(x,y)\&times;{\mathrm{gx}}_L^{\mathrm{dis}}(x,y)\\ {\mathrm{gx}}_L^{\mathrm{dis}}(x,y)\&times;{\mathrm{gy}}_L^{\mathrm{dis}}(x,y)& {\mathrm{gy}}_L^{\mathrm{dis}}(x,y)\&times;{\mathrm{gy}}_L^{\mathrm{dis}}(x,y)& {\mathrm{gz}}_L^{\mathrm{dis}}(x,y)\&times;{\mathrm{gy}}_L^{\mathrm{dis}}(x,y)\\ {\mathrm{gx}}_L^{\mathrm{dis}}(x,y)\&times;{\mathrm{gz}}_L^{\mathrm{dis}}(x,y)& {\mathrm{gy}}_L^{\mathrm{dis}}(x,y)\&times;{\mathrm{gz}}_L^{\mathrm{dis}}(x,y)& {\mathrm{gz}}_L^{\mathrm{dis}}(x,y)\&times;{\mathrm{gz}}_L^{\mathrm{dis}}(x,y)\end{array}\right],$ 其中，符号“[]”表示矩阵表示符号；

⑤根据{L_org(x,y)}和{L_dis(x,y)}中的每个像素点的梯度结构张量，计算{L_dis(x,y)}中的每个像素点的客观评价度量值，将{L_dis(x,y)}中坐标位置为(x,y)的像素点的客观评价度量值记为Q_L(x,y)；

⑥根据{L_dis(x,y)}中的每个像素点的区域类型，计算S_dis的图像质量客观评价预测值，记为Q，

其中，

表示{L_dis(x,y)}中的区域类型为p=1的像素点的个数，

表示{L_dis(x,y)}中的所有区域类型为p=1的像素点构成的区域；

⑦采用n幅原始的无失真的立体图像，建立其在不同失真类型不同失真程度下的失真立体图像集合，该失真立体图像集合包括多幅失真的立体图像，利用主观质量评价方法分别获取失真立体图像集合中每幅失真的立体图像的平均主观评分差值，记为DMOS，DMOS=100-MOS，其中，MOS表示主观评分均值，DMOS∈[0,100]，n≥1；

⑧按照步骤①至步骤⑥计算S_dis的图像质量客观评价预测值的操作，分别计算失真立体图像集合中每幅失真的立体图像的图像质量客观评价预测值。

2.根据权利要求1所述的一种基于梯度结构张量的立体图像质量客观评价方法，其特征在于所述的步骤②中{L_org(x,y)}中的每个像素点的水平方向梯度、垂直方向梯度和视点方向梯度的获取过程为：

②-a1、采用块匹配法计算{L_org(x,y)}与{R_org(x,y)}之间的视差图像，记为

其中，

表示

中坐标位置为(x,y)的像素点的像素值；

②-a2、采用水平梯度算子M₁对{L_org(x,y)}进行卷积，得到{L_org(x,y)}中的每个像素点的水平方向梯度，将{L_org(x,y)}中坐标位置为(x,y)的像素点的水平方向梯度记为 ${\mathrm{gx}}_L^{\mathrm{org}}(x,y),$ ${\mathrm{gx}}_L^{\mathrm{org}}(x,y)=\underset{i=1}{\overset{5}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{5}{\mathrm{\&Sigma;}}}{L}_{\mathrm{org}}(x-3+i,y-3+j)\&times;M_1(i,j),$ 其中， $M_1=\left[\begin{array}{ccccc}0& 1& 0& -1& 0\\ 0& 3& 0& -3& 0\\ 0& 8& 0& -8& 0\\ 0& 3& 0& -3& 0\\ 0& 1& 0& -1& 0\end{array}\right],$ L_org(x-3+i,y-3+j)表示{L_org(x,y)}中坐标位置为(x-3+i,y-3+j)的像素点的像素值，M₁(i,j)表示M₁中坐标位置为(i,j)处的值；

②-a3、采用垂直梯度算子M₂对{L_org(x,y)}进行卷积，得到{L_org(x,y)}中的每个像素点的垂直方向梯度，将{L_org(x,y)}中坐标位置为(x,y)的像素点的垂直方向梯度记为 ${\mathrm{gy}}_L^{\mathrm{org}}(x,y),$ ${\mathrm{gy}}_L^{\mathrm{org}}(x,y)=\underset{i=1}{\overset{5}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{5}{\mathrm{\&Sigma;}}}{L}_{\mathrm{org}}(x-3+i,y-3+j)\&times;M_2(i,j),$ 其中， $M_2=\left[\begin{array}{ccccc}0& 0& 0& 0& 0\\ 1& 3& 8& 3& 1\\ 0& 0& 0& 0& 0\\ -1& -3& -8& -3& -1\\ 0& 0& 0& 0& 0\end{array}\right],$ M₂(i,j)表示M₂中坐标位置为(i,j)处的值；

②-a4、采用对角梯度算子M₃和M4分别对{L_org(x,y)}进行卷积，得到{L_org(x,y)}中的每个像素点的视点方向梯度，将{L_org(x,y)}中坐标位置为(x,y)的像素点的视点方向梯度记为 ${\mathrm{gz}}_L^{\mathrm{org}}(x,y),$ ${\mathrm{gz}}_L^{\mathrm{org}}(x,y)=\max ({\mathrm{gz}}_1(x,y),{\mathrm{gz}}_2(x,y)),$ ${\mathrm{gz}}_1(x,y)=\underset{i=1}{\overset{5}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{5}{\mathrm{\&Sigma;}}}{R}_{\mathrm{org}}(x+d_{\mathrm{org}}^L(x,y)-3+i,y-3+j)\&times;M_3(i,j),$ ${\mathrm{gz}}_2(x,y)=\underset{i=1}{\overset{5}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{5}{\mathrm{\&Sigma;}}}{R}_{\mathrm{org}}(x+d_{\mathrm{org}}^L(x,y)-3+i,y-3+j)\&times;M_4(i,j),$ 其中，max()为取最大值函数， $M_3=\left[\begin{array}{ccccc}0& 0& 1& 0& 0\\ 0& 8& 3& 0& 0\\ 1& 3& 0& -3& -1\\ 0& 0& -8& -3& 0\\ 0& 0& -1& 0& 0\end{array}\right],$ $M_4=\left[\begin{array}{ccccc}0& 0& 1& 0& 0\\ 0& 0& 3& 8& 0\\ -1& -3& 0& 3& 1\\ 0& -8& -3& 0& 0\\ 0& 0& -1& 0& 0\end{array}\right],$ $R_{\mathrm{org}}(x+d_{\mathrm{org}}^L(x,y)-3+i,y-3+j)$ 表示{R_org(x,y)}中坐标位置为

的像素点的像素值，M₃(i,j)表示M₃中坐标位置为(i,j)处的值，M₄(i,j)表示M₄中坐标位置为(i,j)处的值；

所述的步骤②中{L_dis(x,y)}中的每个像素点的水平方向梯度、垂直方向梯度和视点方向梯度的获取过程为：

②-b1、采用块匹配法计算{L_dis(x,y)}与{R_dis(x,y)}之间的视差图像，记为

其中，

表示中坐标位置为(x,y)的像素点的像素值；

②-b2、采用水平梯度算子M₁对{L_dis(x,y)}进行卷积，得到{L_dis(x,y)}中的每个像素点的水平方向梯度，将{L_dis(x,y)}中坐标位置为(x,y)的像素点的水平方向梯度记为 ${\mathrm{gx}}_L^{\mathrm{dis}}(x,y),$ ${\mathrm{gx}}_L^{\mathrm{dis}}(x,y)=\underset{i=1}{\overset{5}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{5}{\mathrm{\&Sigma;}}}{L}_{\mathrm{dis}}(x-3+i,y-3+j)\&times;M_1(i,j),$ 其中， $M_1=\left[\begin{array}{ccccc}0& 1& 0& -1& 0\\ 0& 3& 0& -3& 0\\ 0& 8& 0& -8& 0\\ 0& 3& 0& -3& 0\\ 0& 1& 0& -1& 0\end{array}\right],$ L_dis(x-3+i,y-3+j)表示{L_dis(x,y)}中坐标位置为(x-3+i,y-3+j)的像素点的像素值，M₁(i,j)表示M₁中坐标位置为(i,j)处的值；

②-a3、采用垂直梯度算子M₂对{L_dis(x,y)}进行卷积，得到{L_dis(x,y)}中的每个像素点的垂直方向梯度，将{L_dis(x,y)}中坐标位置为(x,y)的像素点的垂直方向梯度记为 ${\mathrm{gy}}_L^{\mathrm{dis}}(x,y),$ ${\mathrm{gy}}_L^{\mathrm{dis}}(x,y)=\underset{i=1}{\overset{5}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{5}{\mathrm{\&Sigma;}}}{L}_{\mathrm{dis}}(x-3+i,y-3+j)\&times;M_2(i,j),$ 其中， $M_2=\left[\begin{array}{ccccc}0& 0& 0& 0& 0\\ 1& 3& 8& 3& 1\\ 0& 0& 0& 0& 0\\ -1& -3& -8& -3& -1\\ 0& 0& 0& 0& 0\end{array}\right],$ M₂(i,j)表示M₂中坐标位置为(i,j)处的值；

②-a4、采用对角梯度算子M3和M4分别对{L_dis(x,y)}进行卷积，得到{L_dis(x,y)}中的每个像素点的视点方向梯度，将{L_dis(x,y)}中坐标位置为(x,y)的像素点的视点方向梯度记为 ${\mathrm{gz}}_L^{\mathrm{dis}}(x,y),$ ${\mathrm{gz}}_L^{\mathrm{dis}}(x,y)=\max ({{\mathrm{gz}}_1}^{\&prime;}(x,y),{{\mathrm{gz}}_2}^{\&prime;}(x,y)),$ ${{\mathrm{gz}}_1}^{\&prime;}(x,y)=\underset{i=1}{\overset{5}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{5}{\mathrm{\&Sigma;}}}{R}_{\mathrm{dis}}(x+d_{\mathrm{dis}}^L(x,y)-3+i,y-3+j)\&times;M_3(i,j),$ ${{\mathrm{gz}}_2}^{\&prime;}(x,y)=\underset{i=1}{\overset{5}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{5}{\mathrm{\&Sigma;}}}{R}_{\mathrm{dis}}(x+d_{\mathrm{dis}}^L(x,y)-3+i,y-3+j)\&times;M_4(i,j),$ 其中，max()为取最大值函数， $M_3=\left[\begin{array}{ccccc}0& 0& 1& 0& 0\\ 0& 8& 3& 0& 0\\ 1& 3& 0& -3& -1\\ 0& 0& -8& -3& 0\\ 0& 0& -1& 0& 0\end{array}\right],$ $M_4=\left[\begin{array}{ccccc}0& 0& 1& 0& 0\\ 0& 0& 3& 8& 0\\ -1& -3& 0& 3& 1\\ 0& -8& -3& 0& 0\\ 0& 0& -1& 0& 0\end{array}\right],$ $R_{\mathrm{dis}}(x+d_{\mathrm{dis}}^L(x,y)-3+i,y-3+j)$ 表示{R_dis(x,y)}中坐标位置为

的像素点的像素值，M₃(i,j)表示M₃中坐标位置为(i,j)处的值，M₄(i,j)表示M₄中坐标位置为(i,j)处的值。

3.根据权利要求1或2所述的一种基于梯度结构张量的立体图像质量客观评价方法，其特征在于所述的步骤③的具体过程为：

③-1、根据{L_org(x,y)}中的每个像素点的水平方向梯度、垂直方向梯度和视点方向梯度，计算{L_org(x,y)}中的每个像素点的梯度幅度，将{L_org(x,y)}中坐标位置为(x,y)的像素点的梯度幅度记为

$G_L^{\mathrm{org}}(x,y)=\sqrt{{\left({\mathrm{gx}}_L^{\mathrm{org}}(x,y)\right)}^2+{\left({\mathrm{gy}}_L^{\mathrm{org}}(x,y)\right)}^2+{\left({\mathrm{gz}}_L^{\mathrm{org}}(x,y)\right)}^2};$

③-2、根据{L_dis(x,y)}中的每个像素点的水平方向梯度、垂直方向梯度和视点方向梯度，计算{L_dis(x,y)}中的每个像素点的梯度幅度，将{L_dis(x,y)}中坐标位置为(x,y)的像素点的梯度幅度记为 $G_L^{\mathrm{dis}}(x,y)=\sqrt{{\left({\mathrm{gx}}_L^{\mathrm{dis}}(x,y)\right)}^2+{\left({\mathrm{gy}}_L^{\mathrm{dis}}(x,y)\right)}^2+{\left({\mathrm{gz}}_L^{\mathrm{dis}}(x,y)\right)}^2};$

③-3、判断{L_org(x,y)}中坐标位置为(x₁,y₁)的像素点的梯度幅度和{L_dis(x,y)}中坐标位置为(x₁,y₁)的像素点的梯度幅度

是否满足条件：且

如果满足，则将{L_dis(x,y)}中坐标位置为(x₁,y₁)的像素点的区域类型标记为p=1，否则，将{L_dis(x,y)}中坐标位置为(x₁,y₁)的像素点的区域类型标记为p=2，其中，T为梯度幅度阈值，T=0.25×G_max，G_max表示{L_org(x,y)}中的所有像素点的梯度幅度的集合

中的最大值，1≤x₁≤W，1≤y₁≤H；

③-4、返回步骤③-3继续确定{L_dis(x,y)}中剩余的像素点的区域类型，直至{L_dis(x,y)}中的所有像素点的区域类型确定完毕。

4.根据权利要求3所述的一种基于梯度结构张量的立体图像质量客观评价方法，其特征在于所述的步骤⑤的具体过程为：

⑤-1、对{L_org(x,y)}中的每个像素点的梯度结构张量进行矩阵分解，对于{L_org(x,y)}中坐标位置为(x,y)的像素点的梯度结构张量Z_org(x,y)， $Z_{\mathrm{org}}(x,y)={\mathrm{\&lambda;}}_1^o{\stackrel{\&RightArrow;}{e}}_1^o{\left({\stackrel{\&RightArrow;}{e}}_1^o\right)}^T+{\mathrm{\&lambda;}}_2^o{\stackrel{\&RightArrow;}{e}}_2^o{\left({\stackrel{\&RightArrow;}{e}}_2^o\right)}^T+{\mathrm{\&lambda;}}_3^o{\stackrel{\&RightArrow;}{e}}_3^o{\left({\stackrel{\&RightArrow;}{e}}_3^o\right)}^T,$ 其中，

和

表示Z_org(x,y)的特征值，

和

表示Z_org(x,y)的特征向量，表示的转置矩阵，

表示

的转置矩阵，

表示

的转置矩阵；

⑤-2、对{L_dis(x,y)}中的每个像素点的梯度结构张量进行矩阵分解，对于{L_dis(x,y)}中坐标位置为(x,y)的像素点的梯度结构张量Z_dis(x,y)， $Z_{\mathrm{dis}}(x,y)={\mathrm{\&lambda;}}_1^d{\stackrel{\&RightArrow;}{e}}_1^d{\left({\stackrel{\&RightArrow;}{e}}_1^d\right)}^T+{\mathrm{\&lambda;}}_2^d{\stackrel{\&RightArrow;}{e}}_2^d{\left({\stackrel{\&RightArrow;}{e}}_2^d\right)}^T+{\mathrm{\&lambda;}}_3^d{\stackrel{\&RightArrow;}{e}}_3^d{\left({\stackrel{\&RightArrow;}{e}}_3^d\right)}^T,$ 其中，

和

表示Z_dis(x,y)的特征值，

和

表示Z_dis(x,y)的特征向量，

表示的转置矩阵，

表示的转置矩阵，

表示

的转置矩阵；

⑤-3、计算{L_dis(x,y)}中的每个像素点的客观评价度量值，将{L_dis(x,y)}中坐标位置为(x,y)的像素点的客观评价度量值记为Q_L(x,y)， $Q_L(x,y)=\frac{2\&times;{\mathrm{\&lambda;}}_{\max }^o\&times;{\mathrm{\&lambda;}}_{\max }^o}{{\left({\mathrm{\&lambda;}}_{\max }^o\right)}^2+{\left({\mathrm{\&lambda;}}_{\max }^o\right)}^2}\&times;\&lang;{\stackrel{\&RightArrow;}{e}}_{\max }^o{\stackrel{\&RightArrow;}{e}}_{\max }^d\&rang;,$ 其中，表示

和中的最大特征值，

表示

和

中的最大特征值，

表示

对应的特征向量，

表示

对应的特征向量，符号“<>”为向量的内积操作符号。

Images