CN102843572A - 一种基于相位的立体图像质量客观评价方法 - Google Patents

Abstract

本发明公开了一种基于相位的立体图像质量客观评价方法，其首先计算无失真和失真的左右视点图像中的每个像素点的局部相位特征，并根据局部相位特征获取失真的立体图像的用于反映图像质量的客观评价度量值；然后对无失真和失真的左右视点图像的绝对差值图像进行奇异值分解，通过计算绝对差值图像的剥除奇异值信息的构建图像的局部相位特征，得到失真的立体图像的用于反映深度感知的客观评价度量值；再对反映图像质量和深度感知的客观评价度量值进行融合，得到最终的客观评价预测值，优点在于获得的反映图像质量和深度感知的相位特征信息具有较强的稳定性且能够较好地反映立体图像的质量变化情况，从而提高了客观评价结果与主观感知的相关性。

Description

一种基于相位的立体图像质量客观评价方法

技术领域

本发明涉及一种图像质量评价方法，尤其是涉及一种基于相位的立体图像质量客观评价方法。

背景技术

随着图像编码技术和立体显示技术的迅速发展，立体图像技术受到了越来越广泛的关注与应用，已成为当前的一个研究热点。立体图像技术利用人眼的双目视差原理，双目各自独立地接收来自同一场景的左右视点图像，通过大脑融合形成双目视差，从而欣赏到具有深度感和逼真感的立体图像。由于受采集系统、存储压缩及传输设备的影响，立体图像会不可避免地引入一系列的失真，而与单通道图像相比，立体图像需要同时保证两个通道的图像质量，因此对立体图像进行质量评价具有非常重要的意义。然而，目前缺乏有效的客观评价方法对立体图像质量进行评价。因此，建立有效的立体图像质量客观评价模型具有十分重要的意义。

相位信息能够很好地描述图像中某个局部点的结构信息，而结构信息已广泛应用于平面图像质量评价，如经典的结构相似性准则（Structural Similarity Index，SSIM），而将相位信息应用于立体图像质量评价，需要解决以下几个关键问题：1）并不是所有的像素点都具有强烈的相位信息，如何提取稳定的相位信息应用于质量评价，是立体图像质量客观评价中需要解决的难点问题；2）立体感知评价主要通过图像的结构信息来反映，如何将相位描述方法与其他图像结构描述方法（如奇异值分解）进行结合，以真实地表征立体感知特征，也是立体图像质量客观评价中需要解决的难点问题。

发明内容

本发明所要解决的技术问题是提供一种能够有效提高客观评价结果与主观感知的相关性的基于相位的立体图像质量客观评价方法。

本发明解决上述技术问题所采用的技术方案为：一种基于相位的立体图像质量客观评价方法，其特征在于包括以下步骤：

①令S_org为原始的无失真的立体图像，令S_dis为待评价的失真的立体图像，将S_org的左视点图像记为{L_org(x,y)}，将S_org的右视点图像记为{R_org(x,y)}，将S_dis的左视点图像记为{L_dis(x,y)}，将S_dis的右视点图像记为{R_dis(x,y)}，其中，(x,y)表示左视点图像和右视点图像中的像素点的坐标位置，1≤x≤W，1≤y≤H，W表示左视点图像和右视点图像的宽度，H表示左视点图像和右视点图像的高度，L_org(x,y)表示{L_org(x,y)}中坐标位置为(x,y)的像素点的像素值，R_org(x,y)表示{R_org(x,y)}中坐标位置为(x,y)的像素点的像素值，L_dis(x,y)表示{L_dis(x,y)}中坐标位置为(x,y)的像素点的像素值，R_dis(x,y)表示{R_dis(x,y)}中坐标位置为(x,y)的像素点的像素值；

②分别计算{L_org(x,y)}、{R_org(x,y)}、{L_dis(x,y)}和{R_dis(x,y)}中的每个像素点的局部相位特征，将{L_org(x,y)}中坐标位置为(x,y)的像素点的局部相位特征记为

将{R_org(x,y)}中坐标位置为(x,y)的像素点的局部相位特征记为将{L_dis(x,y)}中坐标位置为(x,y)的像素点的局部相位特征记为

将{R_dis(x,y)}中坐标位置为(x,y)的像素点的局部相位特征记为

③根据{L_org(x,y)}、{R_org(x,y)}、{L_dis(x,y)}和{R_dis(x,y)}中的每个像素点的局部相位特征，计算S_dis的用于反映图像质量的客观评价度量值，记为Q_image， $Q_{\mathrm{image}}=\underset{(x,y)\∈\mathrm{\Ω}}{\mathrm{\Σ}}(w_L\×Q_L(x,y)+w_R\×Q_R(x,y)),$ $Q_L(x,y)=\frac{2\×{\mathrm{LP}}_L^{\mathrm{org}}(x,y)\×{\mathrm{LP}}_L^{\mathrm{dis}}(x,y)+T_1}{{\mathrm{LP}}_L^{\mathrm{org}}{(x,y)}^2+{\mathrm{LP}}_L^{\mathrm{dis}}{(x,y)}^2+T_1},$ $Q_R(x,y)=\frac{2\×{\mathrm{LP}}_R^{\mathrm{org}}(x,y)\×{\mathrm{LP}}_R^{\mathrm{dis}}(x,y)+T_1}{{\mathrm{LP}}_R^{\mathrm{org}}{(x,y)}^2+{\mathrm{LP}}_R^{\mathrm{dis}}{(x,y)}^2+T_1},$ 其中，Ω表示像素域范围，w_L表示{L_dis(x,y)}的权值比重，w_R表示{R_dis(x,y)}的权值比重，w_L+w_R=1，T₁为控制参数；

④计算{L_org(x,y)}与{R_org(x,y)}的绝对差值图像，记为{D_org(x,y)}，D_org(x,y)=｜L_org(x,y)-R_org(x,y)｜，计算{L_dis(x,y)}与{R_dis(x,y)}的绝对差值图像，记为{D_dis(x,y)}，D_dis(x,y)=｜L_dis(x,y)-R_dis(x,y)｜，其中，D_org(x,y)表示{D_org(x,y)}中坐标位置为(x,y)的像素点的像素值，D_dis(x,y)表示{D_dis(x,y)}中坐标位置为(x,y)的像素点的像素值，“｜｜”为求绝对值符号；

⑤分别对{L_org(x,y)}与{R_org(x,y)}的绝对差值图像{D_org(x,y)}对应的向量D_org和{L_dis(x,y)}与{R_dis(x,y)}的绝对差值图像{D_dis(x,y)}对应的向量D_dis实施奇异值分解，得到D_org的重建向量

和Ddis的重建向量

然后分别计算

和中的每个元素的局部相位特征，再根据和

中的每个元素的局部相位特征计算S_dis的用于反映深度感知的客观评价度量值，记为Q_depth；

⑥对S_dis的用于反映图像质量的客观评价度量值Q_image和S_dis的用于反映深度感知的客观评价度量值Q_depth进行融合，得到S_dis的图像质量客观评价预测值，记为Q，Q=Q_image×(Q_depth)^ρ，其中，ρ为权重系数；

⑦采用n幅原始的无失真的立体图像，建立其在不同失真类型不同失真程度下的失真立体图像集合，该失真立体图像集合包括多幅失真的立体图像，利用主观质量评价方法分别获取失真立体图像集合中每幅失真的立体图像的平均主观评分差值，记为DMOS，DMOS=100-MOS，其中，MOS表示主观评分均值，DMOS∈[0,100]，n≥1；

⑧按照步骤①至步骤⑥计算S_dis的图像质量客观评价预测值的操作，分别计算失真立体图像集合中每幅失真的立体图像的图像质量客观评价预测值。

所述的步骤②的具体过程为：

②-1、对{L_org(x,y)}进行滤波，得到{L_org(x,y)}中的每个像素点在不同尺度和方向的偶对称频率响应和奇对称频率响应，将{L_org(x,y)}中坐标位置为(x,y)的像素点在不同尺度和方向的偶对称频率响应记为e_α,θ(x,y)，将{L_org(x,y)}中坐标位置为(x,y)的像素点在不同尺度和方向的奇对称频率响应记为o_α,θ(x,y)，其中，α表示滤波所采用的滤波器的尺度因子，1≤α≤4，θ表示滤波所采用的滤波器的方向因子，1≤θ≤4；

②-2、根据{L_org(x,y)}中的每个像素点在不同尺度和方向的偶对称频率响应和奇对称频率响应，计算{L_org(x,y)}中的每个像素点在不同方向的相位一致性特征，将{L_org(x,y)}中坐标位置为(x,y)的像素点在不同方向的相位一致性特征记为PC_θ(x,y)， ${\mathrm{PC}}_{\mathrm{\θ}}(x,y)=\frac{E_{\mathrm{\θ}}(x,y)}{\underset{\mathrm{\α}=1}{\overset{4}{\mathrm{\Σ}}}{A}_{\mathrm{\α},\mathrm{\θ}}(x,y)},$ 其中， $A_{\mathrm{\α},\mathrm{\θ}}(x,y)=\sqrt{e_{\mathrm{\α},\mathrm{\θ}}{(x,y)}^2+o_{\mathrm{\α},\mathrm{\θ}}{(x,y)}^2},$ $E_{\mathrm{\θ}}(x,y)=\sqrt{F_{\mathrm{\θ}}{(x,y)}^2+H_{\mathrm{\θ}}{(x,y)}^2},$ $F_{\mathrm{\θ}}(x,y)=\underset{\mathrm{\α}=1}{\overset{4}{\mathrm{\Σ}}}{e}_{\mathrm{\α},\mathrm{\θ}}(x,y),$ $H_{\mathrm{\θ}}(x,y)=\underset{\mathrm{\α}=1}{\overset{4}{\mathrm{\Σ}}}{o}_{\mathrm{\α},\mathrm{\θ}}(x,y);$

②-3、根据{L_org(x,y)}中的每个像素点的最大相位一致性特征对应的方向，计算{L_org(x,y)}中的每个像素点的局部相位特征，对于{L_org(x,y)}中坐标位置为(x,y)的像素点，首先找出其在不同方向的相位一致性特征PC_θ(x,y)中的最大相位一致性特征，其次找出该最大相位一致性特征对应的方向，记为θ_m，再次根据θ_m计算{L_org(x,y)}中坐标位置为(x,y)的像素点的局部相位特征，记为

${\mathrm{LP}}_L^{\mathrm{org}}(x,y)=\arctan (H_{{\mathrm{\θ}}_m}(x,y),F_{{\mathrm{\θ}}_m}(x,y)),$ 其中， $F_{{\mathrm{\θ}}_m}(x,y)=\underset{\mathrm{\α}=1}{\overset{4}{\mathrm{\Σ}}}{e}_{\mathrm{\α},{\mathrm{\θ}}_m}(x,y),$ $H_{{\mathrm{\θ}}_m}(x,y)=\underset{\mathrm{\α}=1}{\overset{4}{\mathrm{\Σ}}}{e}_{\mathrm{\α},{\mathrm{\θ}}_m}(x,y),$ 表示{Lorg(x,y)}中坐标位置为(x,y)的像素点在不同尺度和最大相位一致性特征对应的方向θ_m的偶对称频率响应，

表示{L_org(x,y)}中坐标位置为(x,y)的像素点在不同尺度和最大相位一致性特征对应的方向θ_m的奇对称频率响应，arctan()为取反余弦函数；

②-4、按照步骤②-1至步骤②-3获取{L_org(x,y)}中的每个像素点的局部相位特征的操作，以相同的方式获取{R_org(x,y)}、{L_dis(x,y)}和{R_dis(x,y)}中的每个像素点的局部相位特征。

所述的步骤②-1中对{L_org(x,y)}进行滤波采用log-Garbor滤波器。

所述的步骤⑤的具体过程为：

⑤-1、将{L_org(x,y)}与{R_org(x,y)}的绝对差值图像{D_org(x,y)}以向量形式表示为D_org，对D_org实施奇异值分解，D_org=U_org×S_org×(V_org)^T，其中，U_org为D_org的左奇异向量，V_org为D_org的右奇异向量，S_org为D_org的奇异值向量，S_org对角线上的元素为奇异值，且其值按照从大到小的顺序进行排列，(V_org)^T为V_org的转置向量；⑤-2、根据U_org、V_org和单位向量Λ_org，计算D_org的重建向量，记为

其中，Λ_org对角线上的元素的值均为1；

⑤-3、将{L_dis(x,y)}与{R_dis(x,y)}的绝对差值图像{D_dis(x,y)}以向量形式表示为D_dis，对D_dis实施奇异值分解，D_dis=U_dis×S_dis×(V_dis)^T，其中，U_dis为D_dis的左奇异向量，V_dis为D_dis的右奇异向量，S_dis为D_dis的奇异值向量，S_dis对角线上的元素为奇异值，且其值按照从大到小的顺序进行排列，(V_dis)^T为V_dis的转置向量；

⑤-4、根据U_dis、V_dis和单位向量Λ_dis，计算D_dis的重建向量，记为

其中，Λ_dis对角线上的元素的值均为1；

⑤-5、分别计算和

中的每个元素的局部相位特征，将

中坐标位置为(x₁,y₁)的元素的局部相位特征记为将

中坐标位置为(x₁,y₁)的元素的局部相位特征记为

其中，1≤x₁≤W，1≤y₁≤H；

⑤-6、计算S_dis的用于反映深度感知的客观评价度量值，记为Q_depth，

$Q_{\mathrm{depth}}=\underset{(X_1,Y_1)\∈\mathrm{\Ω}}{\mathrm{\Σ}}\frac{2\×{\mathrm{LP}}_D^{\mathrm{org}}(x_1,y_1)\×{\mathrm{LP}}_D^{\mathrm{dis}}(x_1,y_1)+T_1}{{\mathrm{LP}}_D^{\mathrm{org}}{(x_1,y_1)}^2+{\mathrm{LP}}_D^{\mathrm{dis}}{(x_1,y_1)}^2+T_1}.$

所述的步骤⑤-5的具体过程为：

⑤-5a、对

进行滤波，得到

中的每个元素在不同尺度和方向的偶对称频率响应和奇对称频率响应，将

中坐标位置为(x₁,y₁)的元素在不同尺度和方向的偶对称频率响应记为

将

中坐标位置为(x₁,y₁)的元素在不同尺度和方向的奇对称频率响应记为

其中，α表示滤波所采用的滤波器的尺度因子，1≤α≤4，θ表示滤波所采用的滤波器的方向因子，1≤θ≤4；

⑤-5b、根据中的每个元素在不同尺度和方向的偶对称频率响应和奇对称频率响应，计算

中的每个元素在不同方向的相位一致性特征，将

中坐标位置为(x₁,y₁)的元素在不同方向的相位一致性特征记为PC_θ(x₁,y₁)，

其中， ${\tilde{A}}_{\mathrm{\α},\mathrm{\θ}}(x_1,y_1)=\sqrt{{\tilde{e}}_{\mathrm{\α},\mathrm{\θ}}{(x_1,y_1)}^2+{\tilde{o}}_{\mathrm{\α},\mathrm{\θ}}{(x_1,y_1)}^2},$ ${\tilde{E}}_{\mathrm{\θ}}(x_1,y_1)=\sqrt{{\tilde{F}}_{\mathrm{\θ}}{(x_1,y_1)}^2+{\tilde{H}}_{\mathrm{\θ}}{(x_1,y_1)}^2},$ ${\tilde{F}}_{\mathrm{\θ}}(x_1,y_1)=\underset{\mathrm{\α}=1}{\overset{4}{\mathrm{\Σ}}}{\tilde{e}}_{\mathrm{\α},\mathrm{\θ}}(x_1,y_1),$ ${\tilde{H}}_{\mathrm{\θ}}(x_1,y_1)=\underset{\mathrm{\α}=1}{\overset{4}{\mathrm{\Σ}}}{\tilde{o}}_{\mathrm{\α},\mathrm{\θ}}(x_1,y_1);$

⑤-5c、根据

中的每个元素的最大相位一致性特征对应的方向，计算

中的每个元素的局部相位特征，对于

中坐标位置为(x₁,y₁)的元素，首先找出其在不同方向的相位一致性特征PC_θ(x₁,y₁)中的最大相位一致性特征，其次找出该最大相位一致性特征对应的方向，记为θ_m'，再次根据θ_m'计算中坐标位置为(x₁,y₁)的元素的局部相位特征，记为

${\mathrm{LP}}_D^{\mathrm{org}}(x_1,y_1)=\arctan ({\tilde{H}}_{{{\mathrm{\θ}}_m}^{\′}}(x_1,y_1),{\tilde{F}}_{{{\mathrm{\θ}}_m}^{\′}}(x_1,y_1)),$ 其中， ${\tilde{F}}_{{{\mathrm{\θ}}_m}^{\′}}(x_1,y_1)=\underset{\mathrm{\α}=1}{\overset{4}{\mathrm{\Σ}}}{\tilde{e}}_{\mathrm{\α},{{\mathrm{\θ}}_m}^{\′}}(x_1,y_1),$ ${\tilde{H}}_{{{\mathrm{\θ}}_m}^{\′}}(x_1,y_1)=\underset{\mathrm{\α}=1}{\overset{4}{\mathrm{\Σ}}}{\tilde{o}}_{\mathrm{\α},{{\mathrm{\θ}}_m}^{\′}}(x_1,y_1),$

表示

中坐标位置为(x₁,y₁)的元素在不同尺度和最大相位一致性特征对应的方向θ_m'的偶对称频率响应，

表示

中坐标位置为(x₁,y₁)的元素在不同尺度和最大相位一致性特征对应的方向θ_m'的奇对称频率响应，arctan()为取反余弦函数；

⑤-5d、按照步骤⑤-5a至步骤⑤-5c获取

中的每个元素的局部相位特征的操作，以相同的方式获取

中的每个元素的局部相位特征，将中坐标位置为(x₁,y₁)的元素的局部相位特征记为

所述的步骤③中控制参数T₁=0.85。

所述的步骤③中w_L和w_R的具体值根据待评价的失真的立体图像的失真类型调节，如果待评价的失真的立体图像的失真类型为JPEG压缩失真，则取w_L=0.50，w_R=0.50；如果待评价的失真的立体图像的失真类型为JPEG2000压缩失真，则取w_L=0.15，w_R=0.85；如果待评价的失真的立体图像的失真类型为高斯模糊失真，则取w_L=0.10，w_R=0.90；如果待评价的失真的立体图像的失真类型为白噪声失真，则取w_L=0.20，w_R=0.80；如果待评价的失真的立体图像的失真类型为H.264编码失真，则取w_L=0.10，w_R=0.90。

与现有技术相比，本发明的优点在于：

1）本发明方法通过无失真和失真的左右视点图像中的各个像素点的局部相位特征获取失真的立体图像的用于反映图像质量的客观评价度量值，及通过对无失真的左右视点图像的绝对差值图像和失真的左右视点图像的绝对差值图像进行奇异值分解，通过计算绝对差值图像的剥除奇异值信息的构建图像的局部相位特征，获取失真的立体图像的用于反映深度感知的客观评价度量值，由于获得的反映图像质量和深度感知的相位特征信息具有较强的稳定性且能够较好地反映立体图像的质量变化情况，因此能够有效提高客观评价结果与主观感知的相关性。

2）本发明方法采用log-Gabor滤波器对图像进行滤波，提取图像中的各个像素点在不同尺度和方向的偶对称频率响应和奇对称频率响应，并通过比较不同方向的相位一致性特征，提取出稳定的局部相位特征；同时将图像质量和深度感知信息结合到评价过程中，使得评价结果更加感觉符合人类视觉系统。

3）本发明方法采用奇异值分解方法对左右视点图像的绝对差值图像进行奇异值分解，得到剥除奇异值信息的绝对差值图像的构建图像，并提取出构建图像的局部相位特征，这样能够更加真实地表征立体感知特征，提高客观评价结果与主观感知的相关性。

附图说明

图1为本发明方法的总体实现框图；

图2a为Akko（尺寸为640×480）立体图像的左视点图像；

图2b为Akko（尺寸为640×480）立体图像的右视点图像；

图3a为Altmoabit（尺寸为1024×768）立体图像的左视点图像；

图3b为Altmoabit（尺寸为1024×768）立体图像的右视点图像；

图4a为Balloons（尺寸为1024×768）立体图像的左视点图像；

图4b为Balloons（尺寸为1024×768）立体图像的右视点图像；

图5a为Doorflower（尺寸为1024×768）立体图像的左视点图像；

图5b为Doorflower（尺寸为1024×768）立体图像的右视点图像；

图6a为Kendo（尺寸为1024×768）立体图像的左视点图像；

图6b为Kendo（尺寸为1024×768）立体图像的右视点图像；

图7a为LeaveLaptop（尺寸为1024×768）立体图像的左视点图像；

图7b为LeaveLaptop（尺寸为1024×768）立体图像的右视点图像；

图8a为Lovebierd1（尺寸为1024×768）立体图像的左视点图像；

图8b为Lovebierd1（尺寸为1024×768）立体图像的右视点图像；

图9a为Newspaper（尺寸为1024×768）立体图像的左视点图像；

图9b为Newspaper（尺寸为1024×768）立体图像的右视点图像；

图10a为Xmas（尺寸为640×480）立体图像的左视点图像；

图10b为Xmas（尺寸为640×480）立体图像的右视点图像；

图11为JPEG压缩失真的失真立体图像集合中的各幅失真的立体图像的图像质量客观评价预测值与平均主观评分差值的散点图；

图12为JPEG2000压缩失真的失真立体图像集合中的各幅失真的立体图像的图像质量客观评价预测值与平均主观评分差值的散点图；

图13为高斯模糊失真的失真立体图像集合中的各幅失真的立体图像的图像质量客观评价预测值与平均主观评分差值的散点图；

图14为白噪声失真的失真立体图像集合中的各幅失真的立体图像的图像质量客观评价预测值与平均主观评分差值的散点图；

图15为H.264编码失真的失真立体图像集合中的各幅失真的立体图像的图像质量客观评价预测值与平均主观评分差值的散点图；

图16为失真立体图像集合中的各幅失真的立体图像的图像质量客观评价预测值与平均主观评分差值的散点图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明提出的一种基于相位的立体图像质量客观评价方法，其总体实现框图如图1所示，其包括以下步骤：

①令S_org为原始的无失真的立体图像，令S_dis为待评价的失真的立体图像，将S_org的左视点图像记为{L_org(x,y)}，将S_org的右视点图像记为{R_org(x,y)}，将S_dis的左视点图像记为{L_dis(x,y)}，将S_dis的右视点图像记为{R_dis(x,y)}，其中，(x,y)表示左视点图像和右视点图像中的像素点的坐标位置，1≤x≤W，1≤y≤H，W表示左视点图像和右视点图像的宽度，H表示左视点图像和右视点图像的高度，L_org(x,y)表示{L_org(x,y)}中坐标位置为(x,y)的像素点的像素值，R_org(x,y)表示{R_org(x,y)}中坐标位置为(x,y)的像素点的像素值，L_dis(x,y)表示{L_dis(x,y)}中坐标位置为(x,y)的像素点的像素值，R_dis(x,y)表示{R_dis(x,y)}中坐标位置为(x,y)的像素点的像素值。

②分别计算{L_org(x,y)}、{R_org(x,y)}、{L_dis(x,y)}和{R_dis(x,y)}中的每个像素点的局部相位特征，将{L_org(x,y)}中坐标位置为(x,y)的像素点的局部相位特征记为

将{L_org(x,y)}中的所有像素点的局部相位特征用集合表示为将{R_org(x,y)}中坐标位置为(x,y)的像素点的局部相位特征记为将{R_org(x,y)}中的所有像素点的局部相位特征用集合表示为

将{L_dis(x,y)}中坐标位置为(x,y)的像素点的局部相位特征记为

将{L_dis(x,y)}中的所有像素点的局部相位特征用集合表示为将{R_dis(x,y)}中坐标位置为(x,y)的像素点的局部相位特征记为

将{R_dis(x,y)}中的所有像素点的局部相位特征用集合表示为

在此具体实施例中，步骤②的具体过程为：

②-1、对{L_org(x,y)}进行滤波，得到{L_org(x,y)}中的每个像素点在不同尺度和方向的偶对称频率响应和奇对称频率响应，将{L_org(x,y)}中坐标位置为(x,y)的像素点在不同尺度和方向的偶对称频率响应记为e_α,θ(x,y)，将{L_org(x,y)}中坐标位置为(x,y)的像素点在不同尺度和方向的奇对称频率响应记为o_α,θ(x,y)，其中，α表示滤波所采用的滤波器的尺度因子，1≤α≤4，θ表示滤波所采用的滤波器的方向因子，1≤θ≤4。在此，对{L_org(x,y)}进行滤波采用现有的log-Garbor滤波器。

②-2、根据{L_org(x,y)}中的每个像素点在不同尺度和方向的偶对称频率响应和奇对称频率响应，计算{L_org(x,y)}中的每个像素点在不同方向的相位一致性特征，将{L_org(x,y)}中坐标位置为(x,y)的像素点在不同方向的相位一致性特征记为PC_θ(x,y)， ${\mathrm{PC}}_{\mathrm{\θ}}(x,y)=\frac{E_{\mathrm{\θ}}(x,y)}{\underset{\mathrm{\α}=1}{\overset{4}{\mathrm{\Σ}}}{A}_{\mathrm{\α},\mathrm{\θ}}(x,y)},$ 其中， $A_{\mathrm{\α},\mathrm{\θ}}(x,y)=\sqrt{e_{\mathrm{\α},\mathrm{\θ}}{(x,y)}^2+o_{\mathrm{\α},\mathrm{\θ}}{(x,y)}^2},$ $E_{\mathrm{\θ}}(x,y)=\sqrt{F_{\mathrm{\θ}}{(x,y)}^2+H_{\mathrm{\θ}}{(x,y)}^2},$ $F_{\mathrm{\θ}}(x,y)=\underset{\mathrm{\α}=1}{\overset{4}{\mathrm{\Σ}}}{e}_{\mathrm{\α},\mathrm{\θ}}(x,y),$ $H_{\mathrm{\θ}}(x,y)=\underset{\mathrm{\α}=1}{\overset{4}{\mathrm{\Σ}}}{o}_{\mathrm{\α},\mathrm{\θ}}(x,y).$

②-3、根据{L_org(x,y)}中的每个像素点的最大相位一致性特征对应的方向，计算{L_org(x,y)}中的每个像素点的局部相位特征，对于{L_org(x,y)}中坐标位置为(x,y)的像素点，首先找出其在不同方向的相位一致性特征PC_θ(x,y)中的最大相位一致性特征，其次找出该最大相位一致性特征对应的方向，记为θ_m，再次根据θ_m计算{L_org(x,y)}中坐标位置为(x,y)的像素点的局部相位特征，记为

${\mathrm{LP}}_L^{\mathrm{org}}(x,y)=\arctan (H_{{\mathrm{\θ}}_m}(x,y),F_{{\mathrm{\θ}}_m}(x,y)),$ 其中， $F_{{\mathrm{\θ}}_m}(x,y)=\underset{\mathrm{\α}=1}{\overset{4}{\mathrm{\Σ}}}{e}_{\mathrm{\α},{\mathrm{\θ}}_m}(x,y),$ $H_{{\mathrm{\θ}}_m}(x,y)=\underset{\mathrm{\α}=1}{\overset{4}{\mathrm{\Σ}}}{o}_{\mathrm{\α},{\mathrm{\θ}}_m}(x,y),$ 表示{L_org(x,y)}中坐标位置为(x,y)的像素点在不同尺度和最大相位一致性特征对应的方向θ_m的偶对称频率响应，表示{L_org(x,y)}中坐标位置为(x,y)的像素点在不同尺度和最大相位一致性特征对应的方向θ_m的奇对称频率响应，arctan()为取反余弦函数。

②-4、按照步骤②-1至步骤②-3获取{L_org(x,y)}中的每个像素点的局部相位特征的操作，以相同的方式获取{R_org(x,y)}、{L_dis(x,y)}和{R_dis(x,y)}中的每个像素点的局部相位特征，如获取{R_dis(x,y)}中的每个像素点的局部相位特征的具体过程为：首先采用log-Garbor滤波器对{R_dis(x,y)}进行滤波，得到{R_dis(x,y)}中的每个像素点在不同尺度和方向的偶对称频率响应和奇对称频率响应，将{R_dis(x,y)}中坐标位置为(x,y)的像素点在不同尺度和方向的偶对称频率响应记为e^* _α,θ(x,y)，将{R_dis(x,y)}中坐标位置为(x,y)的像素点在不同尺度和方向的奇对称频率响应记为o^* _α,θ(x,y)；然后根据{R_dis(x,y)}中的每个像素点在不同尺度和方向的偶对称频率响应和奇对称频率响应，计算{R_dis(x,y)}中的每个像素点在不同方向的相位一致性特征，将{R_dis(x,y)}中坐标位置为(x,y)的像素点在不同方向的相位一致性特征记为PC^* _θ(x,y)，

其中， ${A*}_{\mathrm{\α},\mathrm{\θ}}(x,y)=\sqrt{{e*}_{\mathrm{\α},\mathrm{\θ}}{(x,y)}^2+{o*}_{\mathrm{\α},\mathrm{\θ}}{(x,y)}^2},$ ${E*}_{\mathrm{\θ}}(x,y)=\sqrt{{F*}_{\mathrm{\θ}}{(x,y)}^2+{H*}_{\mathrm{\θ}}{(x,y)}^2},$ ${F*}_{\mathrm{\θ}}(x,y)=\underset{\mathrm{\α}=1}{\overset{4}{\mathrm{\Σ}}}{e*}_{\mathrm{\α},\mathrm{\θ}}(x,y),$ ${H*}_{\mathrm{\θ}}(x,y)=\underset{\mathrm{\α}=1}{\overset{4}{\mathrm{\Σ}}}{o*}_{\mathrm{\α},\mathrm{\θ}}(x,y);$ 再根据{R_dis(x,y)}中的每个像素点的最大相位一致性特征对应的方向，计算{R_dis(x,y)}中的每个像素点的局部相位特征，对于{R_dis(x,y)}中坐标位置为(x,y)的像素点，首先找出其在不同方向的相位一致性特征PC^* _θ(x,y)中的最大相位一致性特征，其次找出该最大相位一致性特征对应的方向，记为θ_m，再次根据θ_m计算{R_dis(x,y)}中坐标位置为(x,y)的像素点的局部相位特征，记为

${\mathrm{LP}}_R^{\mathrm{dis}}(x,y)=\arctan ({H*}_{{\mathrm{\θ}}_m}(x,y),{F*}_{{\mathrm{\θ}}_m}(x,y)),$ 其中， ${F*}_{{\mathrm{\θ}}_m}(x,y)=\underset{\mathrm{\α}=1}{\overset{4}{\mathrm{\Σ}}}{e*}_{\mathrm{\α},{\mathrm{\θ}}_m}(x,y),$ ${H*}_{{\mathrm{\θ}}_m}(x,y)=\underset{\mathrm{\α}=1}{\overset{4}{\mathrm{\Σ}}}{o*}_{\mathrm{\α},{\mathrm{\θ}}_m}(x,y),$

表示{R_dis(x,y)}中坐标位置为(x,y)的像素点在不同尺度和最大相位一致性特征对应的方向θ_m的偶对称频率响应，表示{R_dis(x,y)}中坐标位置为(x,y)的像素点在不同尺度和最大相位一致性特征对应的方向θ_m的奇对称频率响应。

③根据{L_org(x,y)}、{R_org(x,y)}、{L_dis(x,y)}和{R_dis(x,y)}中的每个像素点的局部相位特征，计算S_dis的用于反映图像质量的客观评价度量值，记为Q_image，Q_L(x,y)表示{L_dis(x,y)}的用于反映图像质量的客观评价度量值， $Q_L(x,y)=\frac{2\×{\mathrm{LP}}_L^{\mathrm{org}}(x,y)\×{\mathrm{LP}}_L^{\mathrm{dis}}(x,y)+T_1}{{\mathrm{LP}}_L^{\mathrm{org}}{(x,y)}^2+{\mathrm{LP}}_L^{\mathrm{dis}}{(x,y)}^2+T_1},$ Q_R(x,y)表示{R_dis(x,y)}的用于反映图像质量的客观评价度量值， $Q_R(x,y)=\frac{2\×{\mathrm{LP}}_R^{\mathrm{org}}(x,y)\×{\mathrm{LP}}_R^{\mathrm{dis}}(x,y)+T_1}{{\mathrm{LP}}_R^{\mathrm{org}}{(x,y)}^2+{\mathrm{LP}}_R^{\mathrm{dis}}{(x,y)}^2+T_1},$ 其中，Ω表示像素域范围，w_L表示{L_dis(x,y)}的权值比重，w_R表示{R_dis(x,y)}的权值比重，w_L+w_R=1，T₁为控制参数，在本实施例中，取T₁=0.85。

在此具体实施例中，根据人眼对不同失真类型的立体视觉掩蔽效应不一致的特性，对不同失真类型的立体图像的左视点图像和右视点图像设置不同的权值比重，即w_L和w_R的具体值根据待评价的失真的立体图像的失真类型调节，在计算JPEG压缩失真的立体图像的用于反映图像质量的客观评价度量值的过程中，取w_L=0.50，w_R=0.50；在计算JPEG2000压缩失真的立体图像的用于反映图像质量的客观评价度量值的过程中，取w_L=0.15，w_R=0.85；在计算高斯模糊失真的立体图像的用于反映图像质量的客观评价度量值的过程中，取w_L=0.10，w_R=0.90；在计算白噪声失真的立体图像的用于反映图像质量的客观评价度量值的过程中，取w_L=0.20，w_R=0.80；在计算H.264编码失真的立体图像的用于反映图像质量的客观评价度量值的过程中，取w_L=0.10，w_R=0.90。

④计算{L_org(x,y)}与{R_org(x,y)}的绝对差值图像，记为{D_org(x,y)}，D_org(x,y)=｜L_org(x,y)-R_org(x,y)｜，计算{L_dis(x,y)}与{R_dis(x,y)}的绝对差值图像，记为{D_dis(x,y)}，D_dis(x,y)=｜L_dis(x,y)-R_dis(x,y)｜，其中，D_org(x,y)表示{D_org(x,y)}中坐标位置为(x,y)的像素点的像素值，D_dis(x,y)表示{D_dis(x,y)}中坐标位置为(x,y)的像素点的像素值，“｜｜”为求绝对值符号。

⑤分别对{L_org(x,y)}与{R_org(x,y)}的绝对差值图像{D_org(x,y)}对应的向量D_org和{L_dis(x,y)}与{R_dis(x,y)}的绝对差值图像{D_dis(x,y)}对应的向量D_dis实施奇异值分解，得到D_org的重建向量

和D_dis的重建向量然后分别计算

和

中的每个元素的局部相位特征，再根据

和

中的每个元素的局部相位特征计算S_dis的用于反映深度感知的客观评价度量值，记为Q_depth。

在此具体实施例中，步骤⑤的具体过程为：

⑤-1、将{L_org(x,y)}与{R_org(x,y)}的绝对差值图像{D_org(x,y)}以向量形式表示为D_org，对D_org实施奇异值分解，D_org=U_org×S_org×(V_org)^T，其中，U_org为D_org的左奇异向量，V_org为D_org的右奇异向量，S_org为D_org的奇异值向量，S_org对角线上的元素为奇异值，且其值按照从大到小的顺序进行排列，(V_org)^T为V_org的转置向量。

⑤-2、根据U_org、V_org和单位向量Λ_org，计算D_org的重建向量，记为

其中，Λ_org对角线上的元素的值均为1。

⑤-3、将{L_dis(x,y)}与{R_dis(x,y)}的绝对差值图像{D_dis(x,y)}以向量形式表示为D_dis，对D_dis实施奇异值分解，D_dis=U_dis×S_dis×(V_dis)^T，其中，U_dis为D_dis的左奇异向量，V_dis为D_dis的右奇异向量，S_dis为D_dis的奇异值向量，S_dis对角线上的元素为奇异值，且其值按照从大到小的顺序进行排列，(V_dis)^T为V_dis的转置向量。

⑤-4、根据U_dis、V_dis和单位向量Λ_dis，计算D_dis的重建向量，记为

其中，Λ_dis对角线上的元素的值均为1。

⑤-5、按照步骤②-1至步骤②-3获取{L_org(x,y)}中的每个像素点的局部相位特征的操作，以相同的方式分别计算

和

中的每个元素的局部相位特征，将

中坐标位置为(x₁,y₁)的元素的局部相位特征记为

将

中的所有元素的局部相位特征用集合表示为

将

中坐标位置为(x₁,y₁)的元素的局部相位特征记为

将

中的所有元素的局部相位特征用集合表示为

其中，1≤x₁≤W，1≤y₁≤H。

在此，步骤⑤-5的具体过程为：

⑤-5a、采用log-Garbor滤波对进行滤波，得到

中的每个元素在不同尺度和方向的偶对称频率响应和奇对称频率响应，将

中坐标位置为(x₁,y₁)的元素在不同尺度和方向的偶对称频率响应记为

将

中坐标位置为(x₁,y₁)的元素在不同尺度和方向的奇对称频率响应记为

其中，α表示滤波所采用的滤波器的尺度因子，1≤α≤4，θ表示滤波所采用的滤波器的方向因子，1≤θ≤4。

⑤-5b、根据

中的每个元素在不同尺度和方向的偶对称频率响应和奇对称频率响应，计算中的每个元素在不同方向的相位一致性特征，将

中坐标位置为(x₁,y₁)的元素在不同方向的相位一致性特征记为PC_θ(x₁,y₁)，

其中， ${\tilde{A}}_{\mathrm{\α},\mathrm{\θ}}(x_1,y_1)=\sqrt{{\tilde{e}}_{\mathrm{\α},\mathrm{\θ}}{(x_1,y_1)}^2+{\tilde{o}}_{\mathrm{\α},\mathrm{\θ}}{(x_1,y_1)}^2},$ ${\tilde{E}}_{\mathrm{\θ}}(x_1,y_1)=\sqrt{{\tilde{F}}_{\mathrm{\θ}}{(x_1,y_1)}^2+{\tilde{H}}_{\mathrm{\θ}}{(x_1,y_1)}^2},$ ${\tilde{F}}_{\mathrm{\θ}}(x_1,y_1)=\underset{\mathrm{\α}=1}{\overset{4}{\mathrm{\Σ}}}{\tilde{e}}_{\mathrm{\α},\mathrm{\θ}}(x_1,y_1),$ ${\tilde{H}}_{\mathrm{\θ}}(x_1,y_1)=\underset{\mathrm{\α}=1}{\overset{4}{\mathrm{\Σ}}}{\tilde{o}}_{\mathrm{\α},\mathrm{\θ}}(x_1,y_1).$

⑤-5c、根据

中的每个元素的最大相位一致性特征对应的方向，计算

中的每个元素的局部相位特征，对于

中坐标位置为(x₁,y₁)的元素，首先找出其在不同方向的相位一致性特征PC_θ(x₁,y₁)中的最大相位一致性特征，其次找出该最大相位一致性特征对应的方向，记为θ_m'，再次根据θ_m'计算

中坐标位置为(x₁,y₁)的元素的局部相位特征，记为 ${\mathrm{LP}}_D^{\mathrm{org}}(x_1,y_1)=\arctan ({\tilde{H}}_{{{\mathrm{\θ}}_m}^{\′}}(x_1,y_1),{\tilde{F}}_{{{\mathrm{\θ}}_m}^{\′}}(x_1,y_1)),$ 其中， ${\tilde{F}}_{{{\mathrm{\θ}}_m}^{\′}}(x_1,y_1)=\underset{\mathrm{\α}=1}{\overset{4}{\mathrm{\Σ}}}{\tilde{e}}_{\mathrm{\α},{{\mathrm{\θ}}_m}^{\′}}(x_1,y_1),$ ${\tilde{H}}_{{{\mathrm{\θ}}_m}^{\′}}(x_1,y_1)=\underset{\mathrm{\α}=1}{\overset{4}{\mathrm{\Σ}}}{\tilde{o}}_{\mathrm{\α},{{\mathrm{\θ}}_m}^{\′}}(x_1,y_1),$ 表示

中坐标位置为(x₁,y₁)的元素在不同尺度和最大相位一致性特征对应的方向θ_m'的偶对称频率响应，

表示

中坐标位置为(x₁,y₁)的元素在不同尺度和最大相位一致性特征对应的方向θ_m'的奇对称频率响应，arctan()为取反余弦函数。

⑤-5d、按照步骤⑤-5a至步骤⑤-5c获取

中的每个元素的局部相位特征的操作，以相同的方式获取

中的每个元素的局部相位特征，即具体过程为：首先采用log-Garbor滤波对

进行滤波，得到

中的每个元素在不同尺度和方向的偶对称频率响应和奇对称频率响应，将

中坐标位置为(x₁,y₁)的元素在不同尺度和方向的偶对称频率响应记为

将

中坐标位置为(x₁,y₁)的元素在不同尺度和方向的奇对称频率响应记为

然后根据

中的每个元素在不同尺度和方向的偶对称频率响应和奇对称频率响应，计算中的每个元素在不同方向的相位一致性特征，将

中坐标位置为(x₁,y₁)的元素在不同方向的相位一致性特征记为PC*_θ(x₁,y₁)， ${\mathrm{PC}*}_{\mathrm{\θ}}(x_1,y_1)=\frac{{\tilde{E}*}_{\mathrm{\θ}}(x_1,y_1)}{\underset{\mathrm{\α}=1}{\overset{4}{\mathrm{\Σ}}}{\widetilde{A*}}_{\mathrm{\α},\mathrm{\θ}}(x_1,y_1)},$ 其中， ${\widetilde{A*}}_{\mathrm{\α},\mathrm{\θ}}(x_1,y_1)=\sqrt{{\tilde{e}*}_{\mathrm{\α},\mathrm{\θ}}{(x_1,y_1)}^2+{\widetilde{o*}}_{\mathrm{\α},\mathrm{\θ}}{(x_1,y_1)}^2},$ ${\tilde{E}*}_{\mathrm{\θ}}(x_1,y_1)=\sqrt{{\widetilde{F*}}_{\mathrm{\θ}}{(x_1,y_1)}^2+{\widetilde{H*}}_{\mathrm{\θ}}{(x_1,y_1)}^2},$ ${\tilde{F}*}_{\mathrm{\θ}}(x_1,y_1)=\underset{\mathrm{\α}=1}{\overset{4}{\mathrm{\Σ}}}{\tilde{e}*}_{\mathrm{\α},\mathrm{\θ}}(x_1,y_1),$ ${\tilde{H}*}_{\mathrm{\θ}}(x_1,y_1)=\underset{\mathrm{\α}=1}{\overset{4}{\mathrm{\Σ}}}{\tilde{o}*}_{\mathrm{\α},\mathrm{\θ}}(x_1,y_1);$ 再根据

中的每个元素的最大相位一致性特征对应的方向，计算

中的每个元素的局部相位特征，对于

中坐标位置为(x₁,y₁)的元素，首先找出其在不同方向的相位一致性特征PC*_θ(x₁,y₁)中的最大相位一致性特征，其次找出该最大相位一致性特征对应的方向，记为θ_m'，再次根据θ_m'计算

中坐标位置为(x₁,y₁)的元素的局部相位特征，记为

${\mathrm{LP}}_D^{\mathrm{dis}}(x_1,y_1)=\arctan ({\tilde{H}*}_{{{\mathrm{\θ}}_m}^{\′}}(x_1,y_1),{\tilde{F}*}_{{{\mathrm{\θ}}_m}^{\′}}(x_1,y_1)),$ 其中， ${\tilde{F}*}_{{{\mathrm{\θ}}_m}^{\′}}(x_1,y_1)=\underset{\mathrm{\α}=1}{\overset{4}{\mathrm{\Σ}}}{\tilde{e}*}_{\mathrm{\α},{{\mathrm{\θ}}_m}^{\′}}(x_1,y_1),$ ${\tilde{H}*}_{{{\mathrm{\θ}}_m}^{\′}}(x_1,y_1)=\underset{\mathrm{\α}=1}{\overset{4}{\mathrm{\Σ}}}{\tilde{o}*}_{\mathrm{\α},{{\mathrm{\θ}}_m}^{\′}}(x_1,y_1),$

表示

中坐标位置为(x₁,y₁)的元素在不同尺度和最大相位一致性特征对应的方向θ_m'的偶对称频率响应，

表示

中坐标位置为(x₁,y₁)的元素在不同尺度和最大相位一致性特征对应的方向θ_m'的奇对称频率响应。

⑤-6、计算S_dis的用于反映深度感知的客观评价度量值，记为Q_depth， $Q_{\mathrm{depth}}=\underset{(x_1,y_1)\∈\mathrm{\Ω}}{\mathrm{\Σ}}\frac{2\×{\mathrm{LP}}_D^{\mathrm{org}}(x_1,y_1)\×{\mathrm{LP}}_D^{\mathrm{dis}}(x_1,y_1)+T_1}{{\mathrm{LP}}_D^{\mathrm{org}}{(x_1,y_1)}^2+{\mathrm{LP}}_D^{\mathrm{dis}}{(x_1,y_1)}^2+T_1},$ 在此，T₁为控制参数，在本实施例中，取T₁=0.85。

⑥人类视觉系统特性表明，图像质量在双目视觉感知中起主要作用，图像质量的优劣往往会影响深度感知，因此本发明对S_dis的用于反映图像质量的客观评价度量值Q_image和S_dis的用于反映深度感知的客观评价度量值Q_depth进行融合，得到S_dis的图像质量客观评价预测值，记为Q，Q=Q_image×(Q_depth)^ρ，其中，ρ为权重系数，在本实施例中，取ρ=0.2。

⑦采用n幅原始的无失真的立体图像，建立其在不同失真类型不同失真程度下的失真立体图像集合，该失真立体图像集合包括多幅失真的立体图像，利用主观质量评价方法分别获取失真立体图像集合中每幅失真的立体图像的平均主观评分差值，记为DMOS，DMOS=100-MOS，其中，MOS表示主观评分均值，DMOS∈[0,100]，n≥1。

在本实施例中，利用如图2a和图2b构成的立体图像、图3a和图3b构成的立体图像、图4a和图4b构成的立体图像、图5a和图5b构成的立体图像、图6a和图6b构成的立体图像、图7a和图7b构成的立体图像、图8a和图8b构成的立体图像、图9a和图9b构成的立体图像、图10a和图10b构成的立体图像共9幅（n=9）无失真的立体图像建立了其在不同失真类型不同失真程度下的失真立体图像集合，该失真立体图像集合共包括5种失真类型的234幅失真的立体图像，其中JPEG压缩的失真的立体图像共45幅，JPEG2000压缩的失真的立体图像共45幅，高斯模糊（Gaussian Blur）的失真的立体图像共45幅，白噪声（White Noise）的失真的立体图像共45幅，H.264编码的失真的立体图像共54幅。

⑧按照步骤①至步骤⑥计算S_dis的图像质量客观评价预测值的操作，分别计算失真立体图像集合中每幅失真的立体图像的图像质量客观评价预测值。

采用图2a至图10b所示的9幅无失真的立体图像在不同程度的JPEG压缩、JPEG2000压缩、高斯模糊、白噪声和H.264编码失真情况下的234幅失真的立体图像来分析本实施例得到的失真的立体图像的图像质量客观评价预测值与平均主观评分差值之间的相关性。这里，利用评估图像质量评价方法的4个常用客观参量作为评价指标，即非线性回归条件下的Pearson相关系数（Pearson linear correlation coefficient，PLCC）、Spearman相关系数（Spearman rank order correlation coefficient，SROCC），异常值比率指标（Outlier Ratio，OR），均方根误差（Root Mean Squared Error，RMSE），PLCC反映失真的立体图像评价客观模型的准确性，SROCC反映其单调性，OR反映其离散程度，RMSE反映模型预测的准确性。将按本实施例计算得到的失真的立体图像的图像质量客观评价预测值做四参数Logistic函数非线性拟合，PLCC和SROCC值越高、OR和RMSE值越小说明本发明的质量客观评价方法与平均主观评分差值相关性越好。反映立体图像客观评价模型性能的PLCC、SROCC、OR、RMSE系数如表1所示，从表1所列的数据可知，只采用反映图像质量的客观评价度量值或反映深度感知的客观评价度量值，其与平均主观评分差值之间的相关性并不是很高，而按本发明方法得到的失真的立体图像的最终的客观质量评价预测值与平均主观评分差值之间的相关性是很高的，表明客观评价结果与人眼主观感知的结果较为一致，足以说明本发明方法的有效性。

图11、图12、图13、图14和图15分别给出了JPEG压缩、JPEG2000压缩、高斯模糊、白噪声和H.264编码失真情况下的失真立体图像集合中的各幅失真的立体图像的图像质量客观评价预测值与平均主观评分差值的散点图，图16给出了失真立体图像集合中的各幅失真的立体图像的图像质量客观评价预测值与平均主观评分差值的散点图，散点越集中，说明客观模型与主观感知的一致性越好。从图11至图16中可以看出，采用本发明方法得到的散点图比较集中，与主观评价数据之间的吻合度较高。

表1利用本发明方法得到的失真的立体图像的图像质量客观评价预测值与主观评分之间的相关性

Claims (7)

1.一种基于相位的立体图像质量客观评价方法，其特征在于包括以下步骤：

①令S_org为原始的无失真的立体图像，令S_dis为待评价的失真的立体图像，将S_org的左视点图像记为{L_org(x,y)}，将S_org的右视点图像记为{R_org(x,y)}，将S_dis的左视点图像记为{L_dis(x,y)}，将S_dis的右视点图像记为{R_dis(x,y)}，其中，(x,y)表示左视点图像和右视点图像中的像素点的坐标位置，1≤x≤W，1≤y≤H，W表示左视点图像和右视点图像的宽度，H表示左视点图像和右视点图像的高度，L_org(x,y)表示{L_org(x,y)}中坐标位置为(x,y)的像素点的像素值，R_org(x,y)表示{R_org(x,y)}中坐标位置为(x,y)的像素点的像素值，L_dis(x,y)表示{L_dis(x,y)}中坐标位置为(x,y)的像素点的像素值，R_dis(x,y)表示{R_dis(x,y)}中坐标位置为(x,y)的像素点的像素值；

②分别计算{L_org(x,y)}、{R_org(x,y)}、{L_dis(x,y)}和{R_dis(x,y)}中的每个像素点的局部相位特征，将{L_org(x,y)}中坐标位置为(x,y)的像素点的局部相位特征记为

将{R_org(x,y)}中坐标位置为(x,y)的像素点的局部相位特征记为

将{L_dis(x,y)}中坐标位置为(x,y)的像素点的局部相位特征记为

将{R_dis(x,y)}中坐标位置为(x,y)的像素点的局部相位特征记为

③根据{L_org(x,y)}、{R_org(x,y)}、{L_dis(x,y)}和{R_dis(x,y)}中的每个像素点的局部相位特征，计算S_dis的用于反映图像质量的客观评价度量值，记为Q_image， $Q_{\mathrm{image}}=\underset{(x,y)\∈\mathrm{\Ω}}{\mathrm{\Σ}}(w_L\×Q_L(x,y)+w_R\×Q_R(x,y)),$ $Q_L(x,y)=\frac{2\×{\mathrm{LP}}_L^{\mathrm{org}}(x,y)\×{\mathrm{LP}}_L^{\mathrm{dis}}(x,y)+T_1}{{\mathrm{LP}}_L^{\mathrm{org}}{(x,y)}^2+{\mathrm{LP}}_L^{\mathrm{dis}}{(x,y)}^2+T_1},$ $Q_R(x,y)=\frac{2\×{\mathrm{LP}}_R^{\mathrm{org}}(x,y)\×{\mathrm{LP}}_R^{\mathrm{dis}}(x,y)+T_1}{{\mathrm{LP}}_R^{\mathrm{org}}{(x,y)}^2+{\mathrm{LP}}_R^{\mathrm{dis}}{(x,y)}^2+T_1},$ 其中，Ω表示像素域范围，w_L表示{L_dis(x,y)}的权值比重，w_R表示{R_dis(x,y)}的权值比重，w_L+w_R=1，T₁为控制参数；

④计算{L_org(x,y)}与{R_org(x,y)}的绝对差值图像，记为{D_org(x,y)}，D_org(x,y)=｜L_org(x,y)-R_org(x,y)｜，计算{L_dis(x,y)}与{R_dis(x,y)}的绝对差值图像，记为{D_dis(x,y)}，D_dis(x,y)=｜L_dis(x,y)-R_dis(x,y)｜，其中，D_org(x,y)表示{D_org(x,y)}中坐标位置为(x,y)的像素点的像素值，D_dis(x,y)表示{D_dis(x,y)}中坐标位置为(x,y)的像素点的像素值，“｜｜”为求绝对值符号；

⑤分别对{L_org(x,y)}与{R_org(x,y)}的绝对差值图像{D_org(x,y)}对应的向量D_org和{L_dis(x,y)}与{R_dis(x,y)}的绝对差值图像{D_dis(x,y)}对应的向量D_dis实施奇异值分解，得到D_org的重建向量和D_dis的重建向量

然后分别计算和

中的每个元素的局部相位特征，再根据

和中的每个元素的局部相位特征计算S_dis的用于反映深度感知的客观评价度量值，记为Q_depth；

⑥对S_dis的用于反映图像质量的客观评价度量值Q_image和S_dis的用于反映深度感知的客观评价度量值Q_depth进行融合，得到S_dis的图像质量客观评价预测值，记为Q，Q=Q_image×(Q_depth)^ρ，其中，ρ为权重系数；

⑦采用n幅原始的无失真的立体图像，建立其在不同失真类型不同失真程度下的失真立体图像集合，该失真立体图像集合包括多幅失真的立体图像，利用主观质量评价方法分别获取失真立体图像集合中每幅失真的立体图像的平均主观评分差值，记为DMOS，DMOS=100-MOS，其中，MOS表示主观评分均值，DMOS∈[0,100]，n≥1；

⑧按照步骤①至步骤⑥计算S_dis的图像质量客观评价预测值的操作，分别计算失真立体图像集合中每幅失真的立体图像的图像质量客观评价预测值。

2.根据权利要求1所述的一种基于相位的立体图像质量客观评价方法，其特征在于所述的步骤②的具体过程为：

②-1、对{L_org(x,y)}进行滤波，得到{L_org(x,y)}中的每个像素点在不同尺度和方向的偶对称频率响应和奇对称频率响应，将{L_org(x,y)}中坐标位置为(x,y)的像素点在不同尺度和方向的偶对称频率响应记为e_α,θ(x,y)，将{L_org(x,y)}中坐标位置为(x,y)的像素点在不同尺度和方向的奇对称频率响应记为o_α,θ(x,y)，其中，α表示滤波所采用的滤波器的尺度因子，1≤α≤4，θ表示滤波所采用的滤波器的方向因子，1≤θ≤4；

②-2、根据{L_org(x,y)}中的每个像素点在不同尺度和方向的偶对称频率响应和奇对称频率响应，计算{L_org(x,y)}中的每个像素点在不同方向的相位一致性特征，将{L_org(x,y)}中坐标位置为(x,y)的像素点在不同方向的相位一致性特征记为PC_θ(x,y)， ${\mathrm{PC}}_{\mathrm{\θ}}(x,y)=\frac{E_{\mathrm{\θ}}(x,y)}{\underset{\mathrm{\α}=1}{\overset{4}{\mathrm{\Σ}}}{A}_{\mathrm{\α},\mathrm{\θ}}(x,y)},$ 其中， $A_{\mathrm{\α},\mathrm{\θ}}(x,y)=\sqrt{e_{\mathrm{\α},\mathrm{\θ}}{(x,y)}^2+o_{\mathrm{\α},\mathrm{\θ}}{(x,y)}^2},$ $E_{\mathrm{\θ}}(x,y)=\sqrt{F_{\mathrm{\θ}}{(x,y)}^2+H_{\mathrm{\θ}}{(x,y)}^2},$ $F_{\mathrm{\θ}}(x,y)=\underset{\mathrm{\α}=1}{\overset{4}{\mathrm{\Σ}}}{e}_{\mathrm{\α},\mathrm{\θ}}(x,y),$ $H_{\mathrm{\θ}}(x,y)=\underset{\mathrm{\α}=1}{\overset{4}{\mathrm{\Σ}}}{o}_{\mathrm{\α},\mathrm{\θ}}(x,y);$

②-3、根据{L_org(x,y)}中的每个像素点的最大相位一致性特征对应的方向，计算{L_org(x,y)}中的每个像素点的局部相位特征，对于{L_org(x,y)}中坐标位置为(x,y)的像素点，首先找出其在不同方向的相位一致性特征PC_θ(x,y)中的最大相位一致性特征，其次找出该最大相位一致性特征对应的方向，记为θ_m，再次根据θ_m计算{L_org(x,y)}中坐标位置为(x,y)的像素点的局部相位特征，记为

${\mathrm{LP}}_L^{\mathrm{org}}(x,y)=\arctan (H_{{\mathrm{\θ}}_m}(x,y),F_{{\mathrm{\θ}}_m}(x,y)),$ 其中， $F_{{\mathrm{\θ}}_m}(x,y)=\underset{\mathrm{\α}=1}{\overset{4}{\mathrm{\Σ}}}{e}_{\mathrm{\α},{\mathrm{\θ}}_m}(x,y),$ $H_{{\mathrm{\θ}}_m}(x,y)=\underset{\mathrm{\α}=1}{\overset{4}{\mathrm{\Σ}}}{e}_{\mathrm{\α},{\mathrm{\θ}}_m}(x,y),$

表示{L_org(x,y)}中坐标位置为(x,y)的像素点在不同尺度和最大相位一致性特征对应的方向θ_m的偶对称频率响应，

表示{L_org(x,y)}中坐标位置为(x,y)的像素点在不同尺度和最大相位一致性特征对应的方向θ_m的奇对称频率响应，arctan()为取反余弦函数；

②-4、按照步骤②-1至步骤②-3获取{L_org(x,y)}中的每个像素点的局部相位特征的操作，以相同的方式获取{R_org(x,y)}、{L_dis(x,y)}和{R_dis(x,y)}中的每个像素点的局部相位特征。

3.根据权利要求2所述的一种基于相位的立体图像质量客观评价方法，其特征在于所述的步骤②-1中对{L_org(x,y)}进行滤波采用log-Garbor滤波器。

4.根据权利要求1至3中任一项所述的一种基于相位的立体图像质量客观评价方法，其特征在于所述的步骤⑤的具体过程为：

⑤-1、将{L_org(x,y)}与{R_org(x,y)}的绝对差值图像{D_org(x,y)}以向量形式表示为D_org，对D_org实施奇异值分解，D_org=U_org×S_org×(V_org)^T，其中，U_org为D_org的左奇异向量，V_org为D_org的右奇异向量，S_org为D_org的奇异值向量，S_org对角线上的元素为奇异值，且其值按照从大到小的顺序进行排列，(V_org)^T为V_org的转置向量；

⑤-2、根据U_org、V_org和单位向量Λ_org，计算D_org的重建向量，记为

其中，Λ^org对角线上的元素的值均为1；

⑤-3、将{L_dis(x,y)}与{R_dis(x,y)}的绝对差值图像{D_dis(x,y)}以向量形式表示为D_dis，对D_dis实施奇异值分解，D_dis=U_dis×S_dis×(V_dis)^T，其中，U_dis为D_dis的左奇异向量，V_dis为D_dis的右奇异向量，S_dis为D_dis的奇异值向量，S_dis对角线上的元素为奇异值，且其值按照从大到小的顺序进行排列，(V_dis)^T为V_dis的转置向量；

⑤-4、根据U_dis、V_dis和单位向量Λ_dis，计算D_dis的重建向量，记为

其中，Λ_dis对角线上的元素的值均为1；

⑤-5、分别计算

和

中的每个元素的局部相位特征，将

中坐标位置为(x₁,y₁)的元素的局部相位特征记为

将中坐标位置为(x₁,y₁)的元素的局部相位特征记为

其中，1≤x₁≤W，1≤y₁≤H；

⑤-6、计算S_dis的用于反映深度感知的客观评价度量值，记为Q_depth，

$Q_{\mathrm{depth}}=\underset{(X_1,Y_1)\∈\mathrm{\Ω}}{\mathrm{\Σ}}\frac{2\×{\mathrm{LP}}_D^{\mathrm{org}}(x_1,y_1)\×{\mathrm{LP}}_D^{\mathrm{dis}}(x_1,y_1)+T_1}{{\mathrm{LP}}_D^{\mathrm{org}}{(x_1,y_1)}^2+{\mathrm{LP}}_D^{\mathrm{dis}}{(x_1,y_1)}^2+T_1}.$

5.根据权利要求4所述的一种基于相位的立体图像质量客观评价方法，其特征在于所述的步骤⑤-5的具体过程为：

⑤-5a、对

进行滤波，得到

中的每个元素在不同尺度和方向的偶对称频率响应和奇对称频率响应，将

中坐标位置为(x₁,y₁)的元素在不同尺度和方向的偶对称频率响应记为将

中坐标位置为(x₁,y₁)的元素在不同尺度和方向的奇对称频率响应记为其中，α表示滤波所采用的滤波器的尺度因子，1≤α≤4，θ表示滤波所采用的滤波器的方向因子，1≤θ≤4；

⑤-5b、根据

中的每个元素在不同尺度和方向的偶对称频率响应和奇对称频率响应，计算

中的每个元素在不同方向的相位一致性特征，将

中坐标位置为(x₁,y₁)的元素在不同方向的相位一致性特征记为PC_θ(x₁,y₁)，

其中， ${\tilde{A}}_{\mathrm{\α},\mathrm{\θ}}(x_1,y_1)=\sqrt{{\tilde{e}}_{\mathrm{\α},\mathrm{\θ}}{(x_1,y_1)}^2+{\tilde{o}}_{\mathrm{\α},\mathrm{\θ}}{(x_1,y_1)}^2},$ ${\tilde{E}}_{\mathrm{\θ}}(x_1,y_1)=\sqrt{{\tilde{F}}_{\mathrm{\θ}}{(x_1,y_1)}^2+{\tilde{H}}_{\mathrm{\θ}}{(x_1,y_1)}^2},$ ${\tilde{F}}_{\mathrm{\θ}}(x_1,y_1)=\underset{\mathrm{\α}=1}{\overset{4}{\mathrm{\Σ}}}{\tilde{e}}_{\mathrm{\α},\mathrm{\θ}}(x_1,y_1),$ ${\tilde{H}}_{\mathrm{\θ}}(x_1,y_1)=\underset{\mathrm{\α}=1}{\overset{4}{\mathrm{\Σ}}}{\tilde{e}}_{\mathrm{\α},\mathrm{\θ}}(x_1,y_1);$

⑤-5c、根据

中的每个元素的最大相位一致性特征对应的方向，计算

中的每个元素的局部相位特征，对于中坐标位置为(x₁,y₁)的元素，首先找出其在不同方向的相位一致性特征PC_θ(x₁,y₁)中的最大相位一致性特征，其次找出该最大相位一致性特征对应的方向，记为θ_m'，再次根据θ_m'计算中坐标位置为(x₁,y₁)的元素的局部相位特征，记为

${\mathrm{LP}}_D^{\mathrm{org}}(x_1,y_1)=\arctan ({\tilde{H}}_{{{\mathrm{\θ}}_m}^{\′}}(x_1,y_1),{\tilde{F}}_{{{\mathrm{\θ}}_m}^{\′}}(x_1,y_1)),$ 其中， ${\tilde{F}}_{{{\mathrm{\θ}}_m}^{\′}}(x_1,y_1)=\underset{\mathrm{\α}=1}{\overset{4}{\mathrm{\Σ}}}{\tilde{e}}_{\mathrm{\α},{{\mathrm{\θ}}_m}^{\′}}(x_1,y_1),$ ${\tilde{H}}_{{{\mathrm{\θ}}_m}^{\′}}(x_1,y_1)=\underset{\mathrm{\α}=1}{\overset{4}{\mathrm{\Σ}}}{\tilde{o}}_{\mathrm{\α},{{\mathrm{\θ}}_m}^{\′}}(x_1,y_1),$ 表示

中坐标位置为(x₁,y₁)的元素在不同尺度和最大相位一致性特征对应的方向θ_m'的偶对称频率响应，

表示

中坐标位置为(x₁,y₁)的元素在不同尺度和最大相位一致性特征对应的方向θ_m'的奇对称频率响应，arctan()为取反余弦函数；

⑤-5d、按照步骤⑤-5a至步骤⑤-5c获取

中的每个元素的局部相位特征的操作，以相同的方式获取

中的每个元素的局部相位特征，将

中坐标位置为(x₁,y₁)的元素的局部相位特征记为

6.根据权利要求5所述的一种基于相位的立体图像质量客观评价方法，其特征在于所述的步骤③中控制参数T₁=0.85。

7.根据权利要求6所述的一种基于相位的立体图像质量客观评价方法，其特征在于所述的步骤③中w_L和w_R的具体值根据待评价的失真的立体图像的失真类型调节，如果待评价的失真的立体图像的失真类型为JPEG压缩失真，则取w_L=0.50，w_R=0.50；如果待评价的失真的立体图像的失真类型为JPEG2000压缩失真，则取w_L=0.15，w_R=0.85；如果待评价的失真的立体图像的失真类型为高斯模糊失真，则取w_L=0.10，w_R=0.90；如果待评价的失真的立体图像的失真类型为白噪声失真，则取w_L=0.20，w_R=0.80；如果待评价的失真的立体图像的失真类型为H.264编码失真，则取w_L=0.10，w_R=0.90。

Images