CN102567990A - 一种立体图像客观质量评价方法 - Google Patents

Abstract

本发明公开了一种立体图像客观质量评价方法，其通过对无失真立体图像和失真立体图像的左右视点图像进行小波变换，提取各子带的最小可视误差，计算各个子带的绝对差值图矩阵中敏感系数在各自子带所占比例；然后通过评价无失真立体图像和失真立体图像的左右视点图像的绝对差值图像强边缘和弱边缘的方向及结构相似度，采用线性组合的方式得到立体感知质量的评价；最后将左右视点图像的质量和立体感知质量相结合，得到对立体图像质量的最终评价结果，本发明有效利用了Watson模型、视觉灵敏度带通、多通道效应以及立体感知等人眼视觉特性，在评价左视点图像和右视点图像质量的基础上同时评价立体感知，提高了立体图像客观质量评价与主观感知之间的相关性。

Description

一种立体图像客观质量评价方法

技术领域

本发明涉及一种图像质量评价方法，尤其是涉及一种立体图像客观质量评价方法。

背景技术

立体图像质量是比较各种图像处理算法性能优劣以及优化系统参数的重要指标，因此在图像采集、编码压缩、网络传输等领域建立有效的图像质量评价机制具有重大的意义。随着多媒体技术和互联网技术的大力发展，立体视频技术得到迅速发展，具有潜在的应用前景。与传统媒体相比，立体视频能够为大众创造更加直观真实的场景感受，但其需要处理的数据至少多一倍。因此，立体图像在提高编码压缩效率的同时，还需要保证立体图像的主观感知。但立体图像主观质量评价费时、费力及不易嵌入系统，而现有的立体图像客观质量评价与主观感知的一致性不是很好，因此，建立与主观感知相一致的立体图像客观质量评价模型显得尤为重要。而现有的大部分立体图像客观质量评价模型是平面图像质量评价模型的简单延伸，没有结合人眼视觉特性以及立体图像特有的深度感知特性，导致最终立体图像客观质量评价结果与主观感知的相关性较差。

发明内容

本发明所要解决的技术问题是提供一种立体图像客观质量评价方法，其结合了人眼视觉特性以及立体图像特有的深度感知特性，能够有效地提高立体图像客观质量评价与主观感知之间的一致性，能够达到准确评价立体图像客观质量，为各种立体图像处理算法和系统提供准确评测的目的。

本发明解决上述技术问题所采用的技术方案为：一种立体图像客观质量评价方法，其特征在于包括以下步骤：

①令S_org为原始的无失真的立体图像，令S_dis为待评价的失真的立体图像，将原始的无失真的立体图像S_org的左视点图像记为L_org，将原始的无失真的立体图像S_org的右视点图像记为R_org，将待评价的失真的立体图像S_dis的左视点图像记为L_dis，将待评价的失真的立体图像S_dis的右视点图像记为R_dis；

②对L_org、R_org、L_dis和R_dis4幅图像分别实施M级小波变换，分别得到L_org、R_org、L_dis和R_dis4幅图像各自对应的3M+1个子带的小波系数矩阵，其中，3M+1个子带包括M个水平方向子带、M个垂直方向子带、M个对角方向子带和1个直流子带；将L_org实施第m级小波变换后得到的第m个水平方向子带的小波系数矩阵记为

将L_org实施第m级小波变换后得到的第m个垂直方向子带的小波系数矩阵记为

将_Lorg实施第m级小波变换后得到的第m个对角方向子带的小波系数矩阵记为

将L_org实施M级小波变换后得到的直流子带的小波系数矩阵记为

将R_org实施第m级小波变换后得到的第m个水平方向子带的小波系数矩阵记为

将R_org实施第m级小波变换后得到的第m个垂直方向子带的小波系数矩阵记为

将R_org实施第m级小波变换后得到的第m个对角方向子带的小波系数矩阵记为

将R_org实施M级小波变换后得到的直流子带的小波系数矩阵记为

将L_dis实施第m级小波变换后得到的第m个水平方向子带的小波系数矩阵记为

将L_dis实施第m级小波变换后得到的第m个垂直方向子带的小波系数矩阵记为

将L_dis实施第m级小波变换后得到的第m个对角方向子带的小波系数矩阵记为

将L_dis实施M级小波变换后得到的直流子带的小波系数矩阵记为

将R_dis实施第m级小波变换后得到的第m个水平方向子带的小波系数矩阵记为

将R_dis实施第m级小波变换后得到的第m个垂直方向子带的小波系数矩阵记为

将R_dis实施第m级小波变换后得到的第m个对角方向子带的小波系数矩阵记为

将R_dis实施M级小波变换后得到的直流子带的小波系数矩阵记为

1≤m≤M；

③分别计算L_org和L_dis分别实施M级小波变换后得到的各自对应的M个水平方向子带、M个垂直方向子带、M个对角方向子带和1个直流子带的小波系数矩阵的同级同方向矩阵之间的绝对差值矩阵，将L_org实施第m级小波变换后得到的第m个水平方向子带的小波系数矩阵

和L_dis实施第m级小波变换后得到的第m个水平方向子带的小波系数矩阵

之间的绝对差值矩阵记为

将L_org实施第m级小波变换后得到的第m个垂直方向子带的小波系数矩阵

和L_dis实施第m级小波变换后得到的第m个垂直方向子带的小波系数矩阵

之间的绝对差值矩阵记为将L_org实施第m级小波变换后得到的第m个对角方向子带的小波系数矩阵和L_dis实施第m级小波变换后得到的第m个对角方向子带的小波系数矩阵

之间的绝对差值矩阵记为

将L_org实施M级小波变换后得到的直流子带的小波系数矩阵和L_dis实施M级小波变换后得到的直流子带的小波系数矩阵之间的绝对差值矩阵记为

分别计算R_org和R_dis分别实施M级小波变换后得到的各自对应的M个水平方向子带、M个垂直方向子带、M个对角方向子带和1个直流子带的小波系数矩阵的同级同方向矩阵之间的绝对差值矩阵，将R_org实施第m级小波变换后得到的第m个水平方向子带的小波系数矩阵

和R_dis实施第m级小波变换后得到的第m个水平方向子带的小波系数矩阵

之间的绝对差值矩阵记为

将R_org实施第m级小波变换后得到的第m个垂直方向子带的小波系数矩阵

和R_dis实施第m级小波变换后得到的第m个垂直方向子带的小波系数矩阵之间的绝对差值矩阵记为将R_org实施第m级小波变换后得到的第m个对角方向子带的小波系数矩阵

和R_dis实施第m级小波变换后得到的第m个对角方向子带的小波系数矩阵之间的绝对差值矩阵记为

将R_org实施M级小波变换后得到的直流子带的小波系数矩阵

和R_dis实施M级小波变换后得到的直流子带的小波系数矩阵

之间的绝对差值矩阵记为

④计算L_org、R_org、L_dis和R_dis分别实施M级小波变换后得到的各自对应的M个水平方向子带、M个垂直方向子带、M个对角方向子带和1个直流子带的小波系数矩阵的最小可视误差值，将L_org、R_org、L_dis和R_dis分别实施第m级小波变换后得到的各自对应的第m个水平方向子带的小波系数矩阵的最小可视误差值均记为E_H，m， $E_{H,m}=\frac{2}{B_{m,H}}\×a\×{10}^{m\×{\left(\log \frac{2^m\×f_0\×g_H}{r}\right)}^2},$ 将L_org、R_org、L_dis和R_dis分别实施第m级小波变换后得到的各自对应的第m个垂直方向子带的小波系数矩阵的最小可视误差值均记为E_V，m， $E_{V,m}=\frac{2}{B_{m,V}}\×a\×{10}^{m\×{\left(\log \frac{2^m\×f_0\×g_V}{r}\right)}^2},$ 将L_org、R_org、L_dis和R_dis分别实施第m级小波变换后得到的各自对应的第m个对角方向子带的小波系数矩阵的最小可视误差值均记为 ${E_{D,m},E}_{D,m}=\frac{2}{B_{m,D}}\×a\×{10}^{m\×{\left(\log \frac{2^m\×f_0\×g_D}{r}\right)}^2},$ 将L_org、R_org、L_dis和R_dis分别实施M级小波变换后得到的各自对应的直流子带的小波系数矩阵的最小可视误差值均记为E_DC， $E_{\mathrm{DC}}=\frac{2}{B_{\mathrm{DC}}}\×a\×{10}^{m\×{\left(\log \frac{2^m\×f_0\×g_{\mathrm{DC}}}{r}\right)}^2},$ 其中，B_m，H表示L_org、R_org、L_dis和R_dis分别实施第m级小波变换后得到的各自对应的第m个水平方向子带的基函数，B_m，V表示L_org、R_org、L_dis和R_dis分别实施第m级小波变换后得到的各自对应的第m个垂直方向子带的基函数，B_m，D表示L_org、R_org、L_dis和R_dis分别实施第m级小波变换后得到的各自对应的第m个对角方向子带的基函数，B_DC表示L_org、R_org、L_dis和R_dis分别实施M级小波变换后得到的各自对应的直流子带的基函数，a为最小阈值，r为显示分辨率，f₀表示中心频率值，g_H表示L_org、R_org、L_dis和R_dis分别实施第m级小波变换后得到的各自对应的第m个水平方向子带的方向函数，g_V表示L_org、R_org、L_dis和R_dis分别实施第m级小波变换后得到的各自对应的第m个垂直方向子带的方向函数，g_D表示L_org、R_org、L_dis和R_dis分别实施第m级小波变换后得到的各自对应的第m个对角方向子带的方向函数，g_DC表示L_org、R_org、L_dis和R_dis分别实施M级小波变换后得到的各自对应的直流子带的方向函数；

⑤分别计算L_org和L_dis分别实施M级小波变换后得到的各自对应的M个水平方向子带、M个垂直方向子带、M个对角方向子带和1个直流子带的小波系数矩阵的绝对差值矩阵的敏感系数矩阵及敏感系数矩阵所占的比例，将

的敏感系数矩阵记为

$F_{H,m}^L(i,j)=\left\{\begin{array}{cc}0,& A_{H,m}^{L,\mathrm{ij}}<E_{H,m}\\ 1,& A_{H,m}^{L,\mathrm{ij}}\&GreaterEqual;E_{H,m}\end{array}\right.,$ 将

所占的比例记为

$P_{H,m}^L=\frac{\underset{i=1}{\overset{W_{H,m}^L}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{H_{H,m}^L}{\mathrm{\&Sigma;}}}{F}_{H,m}^L(i,j)}{W_{H,m}^L\&times;H_{H,m}^L},$ 将

的敏感系数矩阵记为

$F_{V,m}^L(i,j)=\left\{\begin{array}{cc}0,& A_{V,m}^{L,\mathrm{ij}}<E_{V,m}\\ 1,& A_{V,m}^{L,\mathrm{ij}}\&GreaterEqual;E_{V,m}\end{array}\right.,$ 将

所占的比例记为

$P_{V,m}^L=\frac{\underset{i=1}{\overset{W_{V,m}^L}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{H_{V,m}^L}{\mathrm{\&Sigma;}}}{F}_{V,m}^L(i,j)}{W_{V,m}^L\&times;H_{V,m}^L},$ 将

的敏感系数矩阵记为

$F_{D,m}^L(i,j)=\left\{\begin{array}{cc}0,& A_{D,m}^{L,\mathrm{ij}}<E_{D,m}\\ 1,& A_{D,m}^{L,\mathrm{ij}}\&GreaterEqual;E_{D,m}\end{array}\right.,$ 将

所占的比例记为

$P_{D,m}^L=\frac{\underset{i=1}{\overset{W_{D,m}^L}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{H_{D,m}^L}{\mathrm{\&Sigma;}}}{F}_{D,m}^L(i,j)}{W_{D,m}^L\&times;H_{D,m}^L},$ 将

的敏感系数矩阵记为 $F_{\mathrm{DC}}^L(i,j)=\left\{\begin{array}{cc}0,& A_{\mathrm{DC}}^{L,\mathrm{ij}}<E_{\mathrm{DC}}\\ 1,& A_{\mathrm{DC}}^{L,\mathrm{ij}}\&GreaterEqual;E_{\mathrm{DC}}\end{array}\right.,$ 将

所占的比例记为

$P_{\mathrm{DC}}^L=\frac{\underset{i=1}{\overset{W_{\mathrm{DC}}^L}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{H_{\mathrm{DC}}^L}{\mathrm{\&Sigma;}}}{F}_{\mathrm{DC}}^L(i,j)}{W_{\mathrm{DC}}^L\&times;H_{\mathrm{DC}}^L},$ 其中，

表示

中坐标为(i，j)处的敏感系数，

表示

中坐标为(i，j)处的小波系数，

和分别表示

的宽和高，

表示

中坐标为(i，j)处的敏感系数，表示

中坐标为(i，j)处的小波系数，

和

分别表示

的宽和高，

表示

中坐标为(i，j)处的敏感系数，

表示

中坐标为(i，j)处的小波系数，

和

分别表示的宽和高，

表示

中坐标为(i，j)处的敏感系数，

表示

中坐标为(i，j)处的小波系数，

和

分别表示

的宽和高；

分别计算R_org和R_dis分别实施M级小波变换后得到的各自对应的M个水平方向子带、M个垂直方向子带、M个对角方向子带和1个直流子带的小波系数矩阵的绝对差值矩阵的敏感系数矩阵及敏感系数矩阵所占的比例，将

的敏感系数矩阵记为

$F_{H,m}^R(i,j)=\left\{\begin{array}{cc}0,& A_{H,m}^{R,\mathrm{ij}}<E_{H,m}\\ 1,& A_{H,m}^{R,\mathrm{ij}}\&GreaterEqual;E_{H,m}\end{array}\right.,$ 将

所占的比例记为

$P_{H,m}^R=\frac{\underset{i=1}{\overset{W_{H,m}^R}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{H_{H,m}^R}{\mathrm{\&Sigma;}}}{F}_{H,m}^R(i,j)}{W_{H,m}^R\&times;H_{H,m}^R},$ 将的敏感系数矩阵记为 $F_{V,m}^R(i,j)=\left\{\begin{array}{cc}0,& A_{V,m}^{R,\mathrm{ij}}<E_{V,m}\\ 1,& A_{V,m}^{R,\mathrm{ij}}\&GreaterEqual;E_{V,m}\end{array}\right.,$ 将

所占的比例记为

$P_{V,m}^R=\frac{\underset{i=1}{\overset{W_{V,m}^R}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{H_{V,m}^R}{\mathrm{\&Sigma;}}}{F}_{V,m}^R(i,j)}{W_{V,m}^R\&times;H_{V,m}^R},$ 将

的敏感系数矩阵记为

$F_{D,m}^R(i,j)=\left\{\begin{array}{cc}0,& A_{D,m}^{R,\mathrm{ij}}<E_{D,m}\\ 1,& A_{D,m}^{R,\mathrm{ij}}\&GreaterEqual;E_{D,m}\end{array}\right.,$ 将

所占的比例记为 $P_{D,m}^R=\frac{\underset{i=1}{\overset{W_{D,m}^R}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{H_{D,m}^R}{\mathrm{\&Sigma;}}}{F}_{D,m}^R(i,j)}{W_{D,m}^R\&times;H_{D,m}^R},$ 将

的敏感系数矩阵记为

$F_{\mathrm{DC}}^R(i,j)=\left\{\begin{array}{cc}0,& A_{\mathrm{DC}}^{R,\mathrm{ij}}<E_{\mathrm{DC}}\\ 1,& A_{\mathrm{DC}}^{R,\mathrm{ij}}\&GreaterEqual;E_{\mathrm{DC}}\end{array}\right.,$ 将

所占的比例记为

$P_{\mathrm{DC}}^R=\frac{\underset{i=1}{\overset{W_{\mathrm{DC}}^R}{\mathrm{\&Sigma;}}}\underset{j=11}{\overset{H_{\mathrm{DC}}^R}{\mathrm{\&Sigma;}}}{F}_{\mathrm{DC}}^R(i,j)}{W_{\mathrm{DC}}^R\&times;H_{\mathrm{DC}}^R},$ 其中，

表示

中坐标为(i，j)处的敏感系数，

表示

中坐标为(i，j)处的小波系数，

和

分别表示的宽和高，

表示

中坐标为(i，j)处的敏感系数，表示

中坐标为(i，j)处的小波系数，

和分别表示

的宽和高，表示

中坐标为(i，j)处的敏感系数，表示

中坐标为(i，j)处的小波系数，

和

分别表示

的宽和高，

表示

中坐标为(i，j)处的敏感系数，

表示中坐标为(i，j)处的小波系数，

和

分别表示

的宽和高；

⑥计算L_org和L_dis分别实施M级小波变换后得到的各自对应的3M+1个子带的小波系数矩阵的绝对差值矩阵的距离，记为Q^L， $Q^L=Q_{\mathrm{DC}}^L+Q_H^L+Q_V^L+Q_D^L,$ $Q_{\mathrm{DC}}^L=\frac{P_{\mathrm{DC}}^L}{1+\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}({\mathrm{\&eta;}}_{H,m}+{\mathrm{\&eta;}}_{V,m}+{\mathrm{\&eta;}}_{D,m})},$ $Q_H^L=\frac{\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}({\mathrm{\&eta;}}_{H,m}\&times;P_{H,m}^L)}{1+\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}({\mathrm{\&eta;}}_{H,m}+{\mathrm{\&eta;}}_{V,m}+{\mathrm{\&eta;}}_{D,m})},$ $Q_V^L=\frac{\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}({\mathrm{\&eta;}}_{V,m}\&times;P_{V,m}^L)}{1+\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}({\mathrm{\&eta;}}_{H,m}+{\mathrm{\&eta;}}_{V,m}+{\mathrm{\&eta;}}_{D,m})},$ $Q_D^L=\frac{\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}({\mathrm{\&eta;}}_{D,m}\&times;P_{D,m}^L)}{1+\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}({\mathrm{\&eta;}}_{H,m}+{\mathrm{\&eta;}}_{V,m}+{\mathrm{\&eta;}}_{D,m})},$ 计算R_org和R_dis分别实施M级小波变换后得到的各自对应的3M+1个子带的小波系数矩阵的绝对差值矩阵的距离，记为Q^R， $Q^R=Q_{\mathrm{DC}}^R+Q_H^R+Q_V^R+Q_D^R,$ $Q_{\mathrm{DC}}^R=\frac{P_{\mathrm{DC}}^R}{1+\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}({\mathrm{\&eta;}}_{H,m}+{\mathrm{\&eta;}}_{V,m}+{\mathrm{\&eta;}}_{D,m})},$ $Q_H^R=\frac{\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}({\mathrm{\&eta;}}_{H,m}\&times;P_{H,m}^R)}{1+\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}({\mathrm{\&eta;}}_{H,m}+{\mathrm{\&eta;}}_{V,m}+{\mathrm{\&eta;}}_{D,m})},$ $Q_V^R=\frac{\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}({\mathrm{\&eta;}}_{V,m}\&times;P_{V,m}^R)}{1+\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}({\mathrm{\&eta;}}_{H,m}+{\mathrm{\&eta;}}_{V,m}+{\mathrm{\&eta;}}_{D,m})},$ $Q_D^R=\frac{\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}({\mathrm{\&eta;}}_{D,m}\&times;P_{D,m}^R)}{1+\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}({\mathrm{\&eta;}}_{H,m}+{\mathrm{\&eta;}}_{V,m}+{\mathrm{\&eta;}}_{D,m})},$ 其中，η_H，m表示L_org和L_dis分别实施第m级小波变换后得到的各自对应的第m个水平方向子带的小波系数矩阵的绝对差值矩阵的权值及R_org和R_dis分别实施第m级小波变换后得到的各自对应的第m个水平方向子带的小波系数矩阵的绝对差值矩阵的权值，η_V，m表示L_org和L_dis分别实施第m级小波变换后得到的各自对应的第m个垂直方向子带的小波系数矩阵的绝对差值矩阵的权值及R_org和R_dis分别实施第m级小波变换后得到的各自对应的第m个垂直方向子带的小波系数矩阵的绝对差值矩阵的权值， ${\mathrm{\&eta;}}_{H,m}={\mathrm{\&eta;}}_{V,m}=\frac{{\&Integral;}_{f_{1,m}}^{f_{2,m}}2.6\&times;(0.0192+0.114f)e^{-{\left(0.114f\right)}^{1.1}}\mathrm{df}}{f_{2,m}-f_{1,m}},$ η_D，m表示L_org和L_dis分别实施第m级小波变换后得到的各自对应的第m个对角方向子带的小波系数矩阵的绝对差值矩阵的权值及R_org和R_dis分别实施第m级小波变换后得到的各自对应的第m个对角方向子带的小波系数矩阵的绝对差值矩阵的权值， ${\mathrm{\&eta;}}_{D,m}=\frac{{\&Integral;}_{f_{1,m}}^{f_{2,m}}2.6\&times;(0.0192+0.114\sqrt{2}f)e^{-{(0.114f\&times;\sqrt{2})}^{1.1}}\mathrm{df}}{f_{2,m}-f_{1,m}},$ f表示L_org和L_dis、R_org和R_dis分别实施第m级小波变换后得到的各自对应的第m个水平方向子带的小波系数矩阵的绝对差值矩阵、第m个垂直方向子带的小波系数矩阵的绝对差值矩阵以及第m个对角方向子带的小波系数矩阵的绝对差值矩阵的频率，f_1，m和f_2，m分别表示f的下限和f的上限；

⑦根据Q^L和Q^R计算待评价的失真的立体图像S_dis相对于原始的无失真的立体图像S_org的空间频率相似度度量，记为Q_F，Q_F＝ω₁×Q^L+ω₂×Q^R，其中，ω₁表示Q^L的权值，ω₂表示Q^R的权值；

⑧计算L_org与R_org的绝对差值图像，记为

计算L_dis与R_dis的绝对差值图像，记为

其中，“||”为取绝对值符号；

⑨分别对

和

实施区域划分，得到

和

对应的区域划分系数矩阵，记为Z^LR，将Z^LR中坐标为(p，q)处的系数记为Z^LR(p，q)，

其中，0≤p＜(W-7)，0≤q＜(H-7)，W和H分别表示和

的宽度和高度，其它为表示既不属于强边缘区域又不属于弱边缘区域的情况；

⑩分别对

和

实施方向分割，分别得到

和

各自对应的标记水平、垂直、对角和反对角四个方向的系数矩阵，将对

实施方向分割得到的标记四个方向的系数矩阵记为Y^org，将Y^org中坐标(i，j)处的系数记为Y^org(i，j)，

将对

实施方向分割得到的标记四个方向的系数矩阵记为Y^dis，将Y^dis中坐标(i，j)处的系数记为Y^dis(i，j)，

其中，0≤i＜(W-7)，0≤j＜(H-7)；

将

和

分别分割成(W-7)×(H-7)个尺寸大小为8×8的相互重叠的图像块，然后计算和

中所有坐标位置相同的两个图像块的结构相似度和方向相似度，对于中坐标为(u，v)的图像块，定义该图像块为当前图像块，计算当前图像块与

中与当前图像块坐标位置相同的图像块的结构相似度，记为SSIM(u，v)， $\mathrm{SSIM}(u,v)=\frac{({2\mathrm{\&mu;}}_{u,v}^{\mathrm{org}}{\mathrm{\&mu;}}_{u,v}^{\mathrm{dis}}+C_1)({2\mathrm{\&sigma;}}_{u,v}^{\mathrm{org},\mathrm{dis}}+C_2)}{({\left({\mathrm{\&mu;}}_{u,v}^{\mathrm{org}}\right)}^2+{\left({\mathrm{\&mu;}}_{u,v}^{\mathrm{dis}}\right)}^2+C_1)({\left({\mathrm{\&sigma;}}_{u,v}^{\mathrm{org}}\right)}^2+{\left({\mathrm{\&sigma;}}_{u,v}^{\mathrm{dis}}\right)}^2+C_2)},$ 计算当前图像块与

中与当前图像块坐标位置相同的图像块的方向相似度，记为X(u，v)，

其中，

表示当前图像块的均值，

表示

中与当前图像块坐标位置相同的图像块的均值，

表示当前图像块的方差，

表示

中与当前图像块坐标位置相同的图像块的方差，

表示当前图像块与

中与当前图像块坐标位置相同的图像块的协方差，C₁和C₂均为常数，C₁≠0，C₂≠0，K(u+k，v+l)表示Y^org中坐标为(u+k，v+l)处的系数Y^org(u+k，v+l)与Y^dis中坐标为(u+k，v+l)处的系数Y^dis(u+k，v+l)的方向一致性矩阵，

0≤u＜(W-7)，0≤v＜(H-7)，W和H分别表示

和

的宽度和高度；

根据

和

中所有坐标位置相同的两个图像块的结构相似度和方向相似度，计算待评价的失真立体图像S_dis相对于原始的无失真立体图像S_org的立体感知评价度量，记为Q_s， $\begin{array}{c}{Q}_s=\frac{{\mathrm{\&omega;}}_3}{N_{\mathrm{se}}}\&times;\underset{i^{\&prime;}=0}{\overset{W-8}{\mathrm{\&Sigma;}}}\underset{j^{\&prime;=0}}{\overset{H-8}{\mathrm{\&Sigma;}}}\mathrm{SSIM}(i^{\&prime;},j^{\&prime;})\&times;X(i^{\&prime;},j^{\&prime;})\&times;\mathrm{floor}\left(\frac{1+z^{\mathrm{LR}}(i^{\&prime;},j^{\&prime;})}{2}\right)\\ +\frac{{\mathrm{\&omega;}}_4}{N_{\mathrm{we}}}\&times;\underset{i^{\&prime;}=0}{\overset{W-8}{\mathrm{\&Sigma;}}}\underset{j^{\&prime;}=0}{\overset{H-8}{\mathrm{\&Sigma;}}}\mathrm{SSIM}(i^{\&prime;},j^{\&prime;})\&times;X(i^{\&prime;},j^{\&prime;})\&times;(1-\mathrm{abs}\left(Z^{\mathrm{LR}}(i^{\&prime;},j^{\&prime;})\right))\end{array},$ 其中，floor()为向下取整函数，abs()为取绝对值函数，ω₃和ω₄分别表示强边缘区域和弱边缘区域评价指标的权值，N_se表示Z^LR中非零系数的个数，N_we表示Z^LR中零系数的个数；

根据待评价的失真立体图像S_dis相对于原始的无失真立体图像S_org的空间频率相似度度量Q_F和立体感知评价度量Q_s，计算待评价的失真立体图像S_dis的图像质量评价分值，记为Q，Q＝Q_F×(Q_s)^-λ，λ为常数，且λ＞0。

所述的步骤⑦中ω₁和ω₂的获取过程为：

⑦-a、采用n幅无失真的立体图像建立其在不同失真类型不同失真程度下的失真立体图像集，该失真立体图像集包括多幅失真的立体图像，其中，n≥1；

⑦-b、采用主观质量评价方法，获取失真立体图像集中的每幅失真的立体图像的平均主观评分差值，记为DMOS，DMOS＝100-MOS，其中，MOS表示主观评分均值，DMOS∈[0，100]；

⑦-c、根据步骤①至步骤⑥的过程，计算得到失真立体图像集中的失真的立体图像的左视点图像和对应的无失真的立体图像的左视点图像L_dis分别实施M级小波变换后得到的各自对应的3M+1个子带的小波系数矩阵的绝对差值矩阵的距离Q_l和失真立体图像集中的失真的立体图像的右视点图像和对应的无失真的立体图像的右视点图像L_dis分别实施M级小波变换后得到的各自对应的3M+1个子带的小波系数矩阵的绝对差值矩阵的距离Q_r；

⑦-d、采用线性加权的拟合方法拟合失真立体图像集中的每幅失真的立体图像的平均主观评分差值DMOS及每幅失真的立体图像各自对应的Q_l，得到Q^L的权值ω₁；采用线性加权的拟合方法拟合失真立体图像集中的每幅失真的立体图像的平均主观评分差值DMOS及每幅失真的立体图像各自对应的Q_r，得到Q^R的权值ω₂。

所述的步骤⑨中

和

各自对应的区域划分系数矩阵Z^LR的获取过程为：

⑨-a、采用Sobel算子的水平方向模板提取的水平方向梯度矩阵，记为PP_rh， $\begin{array}{c}{\mathrm{PP}}_{\mathrm{rh}}(i,j)=D_{\mathrm{LR}}^{\mathrm{org}}(i+2,j)-D_{\mathrm{LR}}^{\mathrm{org}}(i,j)+2\&times;D_{\mathrm{LR}}^{\mathrm{org}}(i+2,j+1)-\\ 2\&times;D_{\mathrm{LR}}^{\mathrm{org}}(i,j+1)+D_{\mathrm{LR}}^{\mathrm{org}}(i+2,j+2)-D_{\mathrm{LR}}^{\mathrm{org}}(i,j+2)\end{array},$ 采用Sobel算子的垂直方向模板提取

的垂直方向梯度矩阵，记为PP_rv， $\begin{array}{c}{\mathrm{PP}}_{\mathrm{rv}}(i,j)=D_{\mathrm{LR}}^{\mathrm{org}}(i,j+2)-D_{\mathrm{LR}}^{\mathrm{org}}(i,j)+2\&times;D_{\mathrm{LR}}^{\mathrm{org}}(i+1,j+2)-\\ 2\&times;D_{\mathrm{LR}}^{\mathrm{org}}(i+1,j)+D_{\mathrm{LR}}^{\mathrm{org}}(i+2,j+2)-D_{\mathrm{LR}}^{\mathrm{org}}(i+2,j)\end{array},$ 其中，PP_rh(i，j)为PP_rh中坐标为(i，j)处的系数，PP_rv(i，j)为PP_rv中坐标为(i，j)处的系数，

分别表示

中坐标位置为(i+2，j)、(i，j)、(i+2，j+1)、(i，j+1)、(i+2，j+2)、(i，j+2)、(i+1，j+2)、(i+1，j)的像素点的像素值；然后根据

的水平方向梯度矩阵PP_rh和

的垂直方向梯度矩阵PP_rv，计算

的梯度的幅度矩阵，记为PP_r，其中，PP_r(i，j)为PP_r中坐标为(i，j)处的系数，0≤i＜(W-7)，0≤j＜(H-7)，W和H分别表示

和

的宽度和高度。

采用Sobel算子的水平方向模板提取

的水平方向梯度矩阵，记为PP_dh， $\begin{array}{c}{\mathrm{PP}}_{\mathrm{dh}}(i,j)=D_{\mathrm{LR}}^{\mathrm{dis}}(i+2,j)-D_{\mathrm{LR}}^{\mathrm{dis}}(i,j)+2\&times;D_{\mathrm{LR}}^{\mathrm{dis}}(i+2,j+1)-\\ 2\&times;D_{\mathrm{LR}}^{\mathrm{dis}}(i,j+1)+D_{\mathrm{LR}}^{\mathrm{dis}}(i+2,j+2)-D_{\mathrm{LR}}^{\mathrm{dis}}(i,j+2)\end{array},$ 采用Sobel算子的垂直方向模板提取

的垂直方向梯度矩阵，记为PP_dv， $\begin{array}{c}{\mathrm{PP}}_{\mathrm{dv}}(i,j)=D_{\mathrm{LR}}^{\mathrm{dis}}(i,j+2)-D_{\mathrm{LR}}^{\mathrm{dis}}(i,j)+2\&times;D_{\mathrm{LR}}^{\mathrm{dis}}(i+1,j+2)-\\ 2\&times;D_{\mathrm{LR}}^{\mathrm{dis}}(i+1,j)+D_{\mathrm{LR}}^{\mathrm{dis}}(i+2,j+2)-D_{\mathrm{LR}}^{\mathrm{dis}}(i+2,j)\end{array},$ 其中，PP_dh(i，j)为PP_dh中坐标为(i，j)处的系数，PP_dv(i，j)为PP_dv中坐标为(i，j)处的系数，

分别表示

中坐标位置为(i+2，j)、(i，j)、(i+2，j+1)、(i，j+1)、(i+2，j+2)、(i，j+2)、(i+1，j+2)、(i+1，j)的像素点的像素值；然后根据

的水平方向梯度矩阵PP_dh和

的垂直方向梯度矩阵PP_dv，计算

的梯度的幅度矩阵，记为PP_d，

其中，PP_d(i，j)为PP_d中坐标为(i，j)处的系数。

⑨-b、根据

的梯度的幅度矩阵PP_r确定分割阈值TT，TT＝0.12×max(PP_r)，其中，max(PP_r)表示求PP_r中的最大值。

⑨-c、定义用来标记

和

实施区域分割后得到的强边缘区域和弱边缘区域系数矩阵为Z^LR；

⑨-d、将

中坐标为(p，q)的像素点的梯度幅值记为PP_r(p，q)，将

中坐标为(p，q)的像素点的梯度幅值记为PP_d(p，q)，如果PP_r(p，q)＞TT且PP_d(p，q)＞TT，则确定

和

中坐标为(p，q)的像素点均属于强边缘区域，将Z^LR中坐标为(p，q)处的系数Z^LR(p，q)置1；如果PP_r(p，q)＞TT且PP_d(p，q)＜TT，或者，PP_r(p，q)＜TT且PP_d(p，q)＞TT，则确定

和

中坐标为(p，q)的像素点均属于弱边缘区域，将Z^LR中坐标为(p，q)处的系数Z^LR(p，q)置0；其它情况时将Z^LR中坐标为(p，q)处的系数Z^LR(p，q)置-1，其中，0≤p＜(W-7)，0≤q＜(H-7)，W和H分别表示

和的宽度和高度。

所述的步骤⑩中对

实施方向分割，获取

对应的标记水平、垂直、对角和反对角四个方向的系数矩阵Y^org的具体过程为：

⑩-a、计算

的水平、垂直、对角和反对角四个方向的梯度图，将

的水平方向的梯度图记为O_h，将

的垂直方向的梯度图记为O_v，将

的对角方向的梯度图记为O_d，将

的反对角方向的梯度图记为O_a；

⑩-b、将O_h中坐标为(i，j)处的梯度幅值记为O_h(i，j)，将O_v中坐标为(i，j)处的梯度幅值记为O_v(i，j)，将O_d中坐标为(i，j)处的梯度幅值记为O_d(i，j)，将O_a中坐标为(i，j)处的梯度幅值记为O_a(i，j)，如果max(O_h(i，j)，O_v(i，j)，O_d(i，j)，O_a(i，j))＝O_h(i，j)，则确定

中坐标(i，j)的像素点属于水平方向，Y^org(i，j)＝1，如果max(O_h(i，j)，O_v(i，j)，O_d(i，j)，O_a(i，j))＝O_v(i，j)，则确定中坐标(i，j)的像素点属于垂直方向，Y^org(i，j)＝2，如果max(O_h(i，j)，O_v(i，j)，O_d(i，j)，O_a(i，j))＝O_d(i，j)，则确定

中坐标(i，j)的像素点属于对角方向，Y^org(i，j)＝3，如果max(O_h(i，j)，O_v(i，j)，O_d(i，j)，O_a(i，j))＝O_a(i，j)，则确定

中坐标(i，j)的像素点属于反对角方向，Y^org(i，j)＝4，其中，max()为求最大值函数，0≤i＜(W-7)，0≤j＜(H-7)；

⑩-c、根据步骤⑩-b得到实施方向分割后对应的标记四个方向的系数矩阵Y^org，

采用与步骤⑩-a至步骤⑩-c相同的操作，对

实施方向分割，获取

对应的标记水平、垂直、对角和反对角四个方向的系数矩阵Y^dis。

所述的步骤

中λ的获取过程为：

采用n幅无失真的立体图像建立其在不同失真类型不同失真程度下的失真立体图像集，该失真立体图像集包括多幅失真的立体图像，其中，n≥1；

采用主观质量评价方法获取失真立体图像集中的每幅失真的立体图像的平均主观评分差值，记为DMOS，DMOS＝100-MOS，其中，MOS表示主观评分均值，DMOS∈[0，100]；

根据步骤①至步骤

的过程，计算失真立体图像集中的每幅失真的立体图像相对于对应的无失真的立体图像的空间频率相似度度量Q_F和立体感知评价度量Q_s；

采用乘性的数学拟合方法Q＝Q_F×(Q_s)^-λ拟合失真立体图像集中的每幅失真的立体图像的平均主观评分差值DMOS及对应的Q_F和Q_s，得到λ值。

与现有技术相比，本发明的优点在于通过分别对无失真立体图像和失真立体图像的左视点图像和右视点图像进行小波变换，提取各子带的最小可视误差，计算各个子带的绝对差值图矩阵中敏感系数在各自子带所占比例，各子带的权重系数由对比度敏感函数决定；然后，通过评价无失真立体图像和失真立体图像的左右图像的绝对差值图像强边缘和弱边缘的方向相似度及结构相似度，采用线性组合的方式得到立体感知质量的评价；最后将左右图像的质量和立体感知质量两者相结合，得到对立体图像质量的最终评价结果，有效利用了Watson模型、视觉灵敏度带通以及立体感知等人眼视觉特性，Watson模型计算图像在小波域各个子带不同方向的人眼视觉能辨别的最小可视误差，视觉灵敏度带通反映了人眼对不同的频率敏感度不同，在边缘处受到损失，立体感知极易受到攻击；在评价左视点图像和右视点图像质量的基础上，同时评价立体感知，提高了立体图像客观质量评价模型与主观感知之间的相关性。

附图说明

图1为本发明方法的总体实现框图；

图2为图像经4级小波变换后得到的各个子带的编号示意图；

图3为人类视觉灵敏度函数(CSF)曲线；

图4a为Akko&Kayo(640×480)立体图像；

图4b为Alt Moabit(1024×768)立体图像；

图4c为Balloons(1024×768)立体图像；

图4d为Door Flowers(1024×768)立体图像；

图4e为Kendo(1024×768)立体图像；

图4f为Leaving Laptop(1024×768)立体图像；

图4g为Lovebird1(1024×768)立体图像；

图4h为Newspaper(1024×768)立体图像；

图4i为Xmas(640×480)立体图像；

图4j为Puppy(720×480)立体图像；

图4k为Soccer2(720×480)立体图像；

图4l为Horse(480×270)立体图像；

图5a为ω₁与评价指标CC的拟合曲线；

图5b为ω₁与评价指标RMSE的拟合曲线；

图6a为Sobel算子垂直模板的示意图；

图6b为Sobel算子水平模板的示意图；

图7a为水平方向算子模板的示意图；

图7b为对角方向算子模板的示意图；

图7c为反对角方向算子模板的示意图；

图7d为垂直方向算子模板的示意图；

图8a为ω₃与评价指标CC的拟合曲线；

图8b为ω₃与评价指标RMSE的拟合曲线；

图9a为λ与评价指标CC的拟合曲线；

图9b为λ与评价指标RMSE的拟合曲线。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明提出了一种立体图像客观质量评价方法，其分别评价了左右视点图像质量以及立体图像的立体感知效果，并将这两部分评价的结果进行非线性结合，得到对立体图像质量的最终评价结果。图1给出了本发明方法的总体实现框图，其具体包括以下步骤：

①令S_org为原始的无失真的立体图像，令S_dis为待评价的失真的立体图像，将原始的无失真的立体图像S_org的左视点图像记为L_org，将原始的无失真的立体图像S_org的右视点图像记为R_org，将待评价的失真的立体图像S_dis的左视点图像记为L_dis，将待评价的失真的立体图像S_dis的右视点图像记为R_dis。

②对L_org、R_org、L_dis和R_dis4幅图像分别实施M级小波变换，分别得到L_org、R_org、L_dis和R_dis4幅图像各自对应的3M+1个子带的小波系数矩阵，其中，3M+1个子带包括M个水平方向子带、M个垂直方向子带、M个对角方向子带和1个直流子带；将L_org实施第m级小波变换后得到的第m个水平方向子带的小波系数矩阵记为

将L_org实施第m级小波变换后得到的第m个垂直方向子带的小波系数矩阵记为

将L_org实施第m级小波变换后得到的第m个对角方向子带的小波系数矩阵记为

将L_org实施M级小波变换后得到的直流子带的小波系数矩阵记为

将R_org实施第m级小波变换后得到的第m个水平方向子带的小波系数矩阵记为将R_org实施第m级小波变换后得到的第m个垂直方向子带的小波系数矩阵记为

将R_org实施第m级小波变换后得到的第m个对角方向子带的小波系数矩阵记为

将R_org实施M级小波变换后得到的直流子带的小波系数矩阵记为

将L_dis实施第m级小波变换后得到的第m个水平方向子带的小波系数矩阵记为

将L_dis实施第m级小波变换后得到的第m个垂直方向子带的小波系数矩阵记为

将L_dis实施第m级小波变换后得到的第m个对角方向子带的小波系数矩阵记为

将L_dis实施M级小波变换后得到的直流子带的小波系数矩阵记为将R_dis实施第m级小波变换后得到的第m个水平方向子带的小波系数矩阵记为

将R_dis实施第m级小波变换后得到的第m个垂直方向子带的小波系数矩阵记为

将R_dis实施第m级小波变换后得到的第m个对角方向子带的小波系数矩阵记为

将R_dis实施M级小波变换后得到的直流子带的小波系数矩阵记为

1≤m≤M，此处，对M不作要求，实施者可根据具体情况确定小波变换的级数，一般情况下M越大则方向性越精确，但计算量就越大。

③分别计算L_org和L_dis分别实施M级小波变换后得到的各自对应的M个水平方向子带、M个垂直方向子带、M个对角方向子带和1个直流子带的小波系数矩阵的同级同方向矩阵之间的绝对差值矩阵，将L_org实施第m级小波变换后得到的第m个水平方向子带的小波系数矩阵

和L_dis实施第m级小波变换后得到的第m个水平方向子带的小波系数矩阵之间的绝对差值矩阵记为

将L_org实施第m级小波变换后得到的第m个垂直方向子带的小波系数矩阵

和L_dis实施第m级小波变换后得到的第m个垂直方向子带的小波系数矩阵之间的绝对差值矩阵记为将L_org实施第m级小波变换后得到的第m个对角方向子带的小波系数矩阵

和L_dis实施第m级小波变换后得到的第m个对角方向子带的小波系数矩阵

之间的绝对差值矩阵记为

将L_org实施M级小波变换后得到的直流子带的小波系数矩阵和L_dis实施M级小波变换后得到的直流子带的小波系数矩阵

之间的绝对差值矩阵记为

分别计算R_org和R_dis分别实施M级小波变换后得到的各自对应的M个水平方向子带、M个垂直方向子带、M个对角方向子带和1个直流子带的小波系数矩阵的同级同方向矩阵之间的绝对差值矩阵，将R_org实施第m级小波变换后得到的第m个水平方向子带的小波系数矩阵

和R_dis实施第m级小波变换后得到的第m个水平方向子带的小波系数矩阵

之间的绝对差值矩阵记为

将R_org实施第m级小波变换后得到的第m个垂直方向子带的小波系数矩阵

和R_dis实施第m级小波变换后得到的第m个垂直方向子带的小波系数矩阵

之间的绝对差值矩阵记为

将R_org实施第m级小波变换后得到的第m个对角方向子带的小波系数矩阵

和R_dis实施第m级小波变换后得到的第m个对角方向子带的小波系数矩阵

之间的绝对差值矩阵记为

将R_org实施M级小波变换后得到的直流子带的小波系数矩阵

和R_dis实施M级小波变换后得到的直流子带的小波系数矩阵之间的绝对差值矩阵记为

④利用Watson模型计算L_org、R_org、L_dis和R_dis分别实施M级小波变换后得到的各自对应的M个水平方向子带、M个垂直方向子带、M个对角方向子带和1个直流子带的小波系数矩阵的最小可视误差值，将L_org、R_org、L_dis和R_dis分别实施第m级小波变换后得到的各自对应的第m个水平方向子带的小波系数矩阵的最小可视误差值均记为E_H，m， $E_{H,m}=\frac{2}{B_{m,H}}\&times;a\&times;{10}^{m\&times;{\left(\log \frac{2^m\&times;f_0\&times;g_H}{r}\right)}^2},$ 将L_org、R_org、L_dis和R_dis分别实施第m级小波变换后得到的各自对应的第m个垂直方向子带的小波系数矩阵的最小可视误差值均记为E_V，m， $E_{V,m}=\frac{2}{B_{m,V}}\&times;a\&times;{10}^{m\&times;{\left(\log \frac{2^m\&times;f_0\&times;g_V}{r}\right)}^2},$ 将L_org、R_org、L_dis和R_dis分别实施第m级小波变换后得到的各自对应的第m个对角方向子带的小波系数矩阵的最小可视误差值均记为E_D，m， $E_{D,m}=\frac{2}{B_{m,D}}\&times;a\&times;{10}^{m\&times;{\left(\log \frac{2^m\&times;f_0\&times;g_D}{r}\right)}^2},$ 将L_org、R_org、L_dis和R_dis分别实施M级小波变换后得到的各自对应的直流子带的小波系数矩阵的最小可视误差值均记为E_DC， $E_{\mathrm{DC}}=\frac{2}{B_{\mathrm{DC}}}\&times;a\&times;{10}^{m\&times;{\left(\log \frac{2^m\&times;f_0\&times;g_{\mathrm{DC}}}{r}\right)}^2},$ 其中，B_m，H表示L_org、R_org、L_dis和R_dis分别实施第m级小波变换后得到的各自对应的第m个水平方向子带的基函数，B_m，V表示L_org、R_org、L_dis和R_dis分别实施第m级小波变换后得到的各自对应的第m个垂直方向子带的基函数，B_m，D表示L_org、R_org、L_dis和R_dis分别实施第m级小波变换后得到的各自对应的第m个对角方向子带的基函数，B_DC表示L_org、R_org、L_dis和R_dis分别实施M级小波变换后得到的各自对应的直流子带的基函数，a为最小阈值，r为显示分辨率，f₀表示中心频率值，g_H表示L_org、R_org、L_dis和R_dis分别实施第m级小波变换后得到的各自对应的第m个水平方向子带的方向函数，g_V表示L_org、R_org、L_dis和R_dis分别实施第m级小波变换后得到的各自对应的第m个垂直方向子带的方向函数，g_D表示L_org、R_org、L_dis和R_dis分别实施第m级小波变换后得到的各自对应的第m个对角方向子带的方向函数，g_DC表示L_org、R_org、L_dis和R_dis分别实施M级小波变换后得到的各自对应的直流子带的方向函数。

图2给出了图像经4级小波变换(M＝4)后得到的各子带及其编号，这里同级水平方向子带和垂直方向子带的编号相同。在本实施例中，表1给出了4级小波变换后得到的各个方向子带的基函数系数，表2给出了4级小波变换后得到的各个方向子带的小波系数矩阵的最小可视误差值，这里f₀＝0.401，a＝0.495，g_H＝g_V＝1，g_D＝0.535，g_DC＝1.501，r＝64。

表1图像4级小波变换后得到的各个方向子带的基函数系数

表2图像4级小波变换后得到的各个方向子带的小波系数矩阵的最小可视误差值

⑤分别计算L_org和L_dis分别实施M级小波变换后得到的各自对应的M个水平方向子带、M个垂直方向子带、M个对角方向子带和1个直流子带的小波系数矩阵的绝对差值矩阵的敏感系数矩阵及敏感系数矩阵所占的比例，将

的敏感系数矩阵记为

$F_{H,m}^L(i,j)=\left\{\begin{array}{cc}0,& A_{H,m}^{L,\mathrm{ij}}<E_{H,m}\\ 1,& A_{H,m}^{L,\mathrm{ij}}\&GreaterEqual;E_{H,m}\end{array}\right.,$ 将

所占的比例记为

$P_{H,m}^L=\frac{\underset{i=1}{\overset{W_{H,m}^L}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{H_{H,m}^L}{\mathrm{\&Sigma;}}}{F}_{H,m}^L(i,j)}{W_{H,m}^L\&times;H_{H,m}^L},$ 将

的敏感系数矩阵记为

$F_{V,m}^L(i,j)=\left\{\begin{array}{cc}0,& A_{V,m}^{L,\mathrm{ij}}<E_{V,m}\\ 1,& A_{V,m}^{L,\mathrm{ij}}\&GreaterEqual;E_{V,m}\end{array}\right.,$ 将

所占的比例记为

$P_{V,m}^L=\frac{\underset{i=1}{\overset{W_{V,m}^L}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{H_{V,m}^L}{\mathrm{\&Sigma;}}}{F}_{V,m}^L(i,j)}{W_{V,m}^L\&times;H_{V,m}^L},$ 将

的敏感系数矩阵记为 $F_{D,m}^L(i,j)=\left\{\begin{array}{cc}0,& A_{D,m}^{L,\mathrm{ij}}<E_{D,m}\\ 1,& A_{D,m}^{L,\mathrm{ij}}\&GreaterEqual;E_{D,m}\end{array}\right.,$ 将

所占的比例记为

$P_{D,m}^L=\frac{\underset{i=1}{\overset{W_{D,m}^L}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{H_{D,m}^L}{\mathrm{\&Sigma;}}}{F}_{D,m}^L(i,j)}{W_{D,m}^L\&times;H_{D,m}^L},$ 将

的敏感系数矩阵记为

$F_{\mathrm{DC}}^L(i,j)=\left\{\begin{array}{cc}0,& A_{\mathrm{DC}}^{L,\mathrm{ij}}<E_{\mathrm{DC}}\\ 1,& A_{\mathrm{DC}}^{L,\mathrm{ij}}\&GreaterEqual;E_{\mathrm{DC}}\end{array}\right.,$ 将所占的比例记为

$P_{\mathrm{DC}}^L=\frac{\underset{i=1}{\overset{W_{\mathrm{DC}}^L}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{H_{\mathrm{DC}}^L}{\mathrm{\&Sigma;}}}{F}_{\mathrm{DC}}^L(i,j)}{W_{\mathrm{DC}}^L\&times;H_{\mathrm{DC}}^L},$ 其中，

表示

中坐标为(i，j)处的敏感系数，

表示

中坐标为(i，j)处的小波系数，

和

分别表示

的宽和高，

表示

中坐标为(i，j)处的敏感系数，表示

中坐标为(i，j)处的小波系数，和

分别表示的宽和高，

表示

中坐标为(i，j)处的敏感系数，

表示

中坐标为(i，j)处的小波系数，和

分别表示

的宽和高，表示

中坐标为(i，j)处的敏感系数，

表示

中坐标为(i，j)处的小波系数，

和分别表示

的宽和高。

分别计算R_org和R_dis分别实施M级小波变换后得到的各自对应的M个水平方向子带、M个垂直方向子带、M个对角方向子带和1个直流子带的小波系数矩阵的绝对差值矩阵的敏感系数矩阵及敏感系数矩阵所占的比例，将

的敏感系数矩阵记为 $F_{H,m}^R(i,j)=\left\{\begin{array}{cc}0,& A_{H,m}^{R,\mathrm{ij}}<E_{H,m}\\ 1,& A_{H,m}^{R,\mathrm{ij}}\&GreaterEqual;E_{H,m}\end{array}\right.,$ 将所占的比例记为 $P_{H,m}^R=\frac{\underset{i=1}{\overset{W_{H,m}^R}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{H_{H,m}^R}{\mathrm{\&Sigma;}}}{F}_{H,m}^R(i,j)}{W_{H,m}^R\&times;H_{H,m}^R},$ 将

的敏感系数矩阵记为

$F_{V,m}^R(i,j)=\left\{\begin{array}{cc}0,& A_{V,m}^{R,\mathrm{ij}}<E_{V,m}\\ 1,& A_{V,m}^{R,\mathrm{ij}}\&GreaterEqual;E_{V,m}\end{array}\right.,$ 将

所占的比例记为

$P_{V,m}^R=\frac{\underset{i=1}{\overset{W_{V,m}^R}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{H_{V,m}^R}{\mathrm{\&Sigma;}}}{F}_{V,m}^R(i,j)}{W_{V,m}^R\&times;H_{V,m}^R},$ 将

的敏感系数矩阵记为

$F_{D,m}^R(i,j)=\left\{\begin{array}{cc}0,& A_{D,m}^{R,\mathrm{ij}}<E_{D,m}\\ 1,& A_{D,m}^{R,\mathrm{ij}}\&GreaterEqual;E_{D,m}\end{array}\right.,$ 将

所占的比例记为

$P_{D,m}^R=\frac{\underset{i=1}{\overset{W_{D,m}^R}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{H_{D,m}^R}{\mathrm{\&Sigma;}}}{F}_{D,m}^R(i,j)}{W_{D,m}^R\&times;H_{D,m}^R},$ 将

的敏感系数矩阵记为

$F_{\mathrm{DC}}^R(i,j)=\left\{\begin{array}{cc}0,& A_{\mathrm{DC}}^{R,\mathrm{ij}}<E_{\mathrm{DC}}\\ 1,& A_{\mathrm{DC}}^{R,\mathrm{ij}}\&GreaterEqual;E_{\mathrm{DC}}\end{array}\right.,$ 将所占的比例记为

$P_{\mathrm{DC}}^R=\frac{\underset{i=1}{\overset{W_{\mathrm{DC}}^R}{\mathrm{\&Sigma;}}}\underset{j=11}{\overset{H_{\mathrm{DC}}^R}{\mathrm{\&Sigma;}}}{F}_{\mathrm{DC}}^R(i,j)}{W_{\mathrm{DC}}^R\&times;H_{\mathrm{DC}}^R},$ 其中，

表示

中坐标为(i，j)处的敏感系数，

表示中坐标为(i，j)处的小波系数，和分别表示

的宽和高，

表示

中坐标为(i，j)处的敏感系数，表示

中坐标为(i，j)处的小波系数，

和

分别表示

的宽和高，

表示

中坐标为(i，j)处的敏感系数，

表示

中坐标为(i，j)处的小波系数，

和

分别表示的宽和高，

表示

中坐标为(i，j)处的敏感系数，

表示中坐标为(i，j)处的小波系数，

和

分别表示

的宽和高。

由于人类视觉系统掩蔽效应的存在，敏感系数是指能够引起人眼注意的系数。本发明方法的步骤④中依据Watson模型给出了图像经过小波变换后各级各方向上的子带的小波系数矩阵的最小可视误差值。如果原始的无失真的立体图像和失真的立体图像分别经过小波变换后同级同方向子带相同位置的小波系数的绝对差值大于最小可视误差值，那么该点就被认为是敏感系数点。

⑥计算L_org和L_dis分别实施M级小波变换后得到的各自对应的3M+1个子带的小波系数矩阵的绝对差值矩阵的距离，记为Q^L， $Q^L=Q_{\mathrm{DC}}^L+Q_H^L+Q_V^L+Q_D^L,$ $Q_{\mathrm{DC}}^L=\frac{P_{\mathrm{DC}}^L}{1+\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}({\mathrm{\&eta;}}_{H,m}+{\mathrm{\&eta;}}_{V,m}+{\mathrm{\&eta;}}_{D,m})},$ $Q_H^L=\frac{\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}({\mathrm{\&eta;}}_{H,m}\&times;P_{H,m}^L)}{1+\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}({\mathrm{\&eta;}}_{H,m}+{\mathrm{\&eta;}}_{V,m}+{\mathrm{\&eta;}}_{D,m})},$ $Q_V^L=\frac{\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}({\mathrm{\&eta;}}_{V,m}\&times;P_{V,m}^L)}{1+\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}({\mathrm{\&eta;}}_{H,m}+{\mathrm{\&eta;}}_{V,m}+{\mathrm{\&eta;}}_{D,m})},$ $Q_D^L=\frac{\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}({\mathrm{\&eta;}}_{D,m}\&times;P_{D,m}^L)}{1+\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}({\mathrm{\&eta;}}_{H,m}+{\mathrm{\&eta;}}_{V,m}+{\mathrm{\&eta;}}_{D,m})},$ 计算R_org和R_dis分别实施M级小波变换后得到的各自对应的3M+1个子带的小波系数矩阵的绝对差值矩阵的距离，记为Q^R， $Q^R=Q_{\mathrm{DC}}^R+Q_H^R+Q_V^R+Q_D^R,$ $Q_{\mathrm{DC}}^R=\frac{P_{\mathrm{DC}}^R}{1+\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}({\mathrm{\&eta;}}_{H,m}+{\mathrm{\&eta;}}_{V,m}+{\mathrm{\&eta;}}_{D,m})},$ $Q_H^R=\frac{\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}({\mathrm{\&eta;}}_{H,m}\&times;P_{H,m}^R)}{1+\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}({\mathrm{\&eta;}}_{H,m}+{\mathrm{\&eta;}}_{V,m}+{\mathrm{\&eta;}}_{D,m})},$ $Q_V^R=\frac{\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}({\mathrm{\&eta;}}_{V,m}\&times;P_{V,m}^R)}{1+\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}({\mathrm{\&eta;}}_{H,m}+{\mathrm{\&eta;}}_{V,m}+{\mathrm{\&eta;}}_{D,m})},$ $Q_D^R=\frac{\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}({\mathrm{\&eta;}}_{D,m}\&times;P_{D,m}^R)}{1+\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}({\mathrm{\&eta;}}_{H,m}+{\mathrm{\&eta;}}_{V,m}+{\mathrm{\&eta;}}_{D,m})},$ 其中，η_H，m表示L_org和L_dis分别实施第m级小波变换后得到的各自对应的第m个水平方向子带的小波系数矩阵的绝对差值矩阵的权值及R_org和R_dis分别实施第m级小波变换后得到的各自对应的第m个水平方向子带的小波系数矩阵的绝对差值矩阵的权值，η_V，m表示L_org和L_dis分别实施第m级小波变换后得到的各自对应的第m个垂直方向子带的小波系数矩阵的绝对差值矩阵的权值及R_org和R_dis分别实施第m级小波变换后得到的各自对应的第m个垂直方向子带的小波系数矩阵的绝对差值矩阵的权值， ${\mathrm{\&eta;}}_{H,m}={\mathrm{\&eta;}}_{V,m}=\frac{{\&Integral;}_{f_{1,m}}^{f_{2,m}}2.6\&times;(0.0192+0.114f)e^{-{\left(0.114f\right)}^{1.1}}\mathrm{df}}{f_{2,m}-f_{1,m}},$ η_D，m表示L_org和L_dis分别实施第m级小波变换后得到的各自对应的第m个对角方向子带的小波系数矩阵的绝对差值矩阵的权值及R_org和R_dis分别实施第m级小波变换后得到的各自对应的第m个对角方向子带的小波系数矩阵的绝对差值矩阵的权值， ${\mathrm{\&eta;}}_{D,m}=\frac{{\&Integral;}_{f_{1,m}}^{f_{2,m}}2.6\&times;(0.0192+0.114\sqrt{2}f)e^{-{(0.114f\&times;\sqrt{2})}^{1.1}}\mathrm{df}}{f_{2,m}-f_{1,m}},$ f表示L_org和L_dis、R_org和R_dis分别实施第m级小波变换后得到的各自对应的第m个水平方向子带的小波系数矩阵的绝对差值矩阵、第m个垂直方向子带的小波系数矩阵的绝对差值矩阵以及第m个对角方向子带的小波系数矩阵的绝对差值矩阵的频率，f_1，m和f_2，m分别表示f的下限和f的上限。

下面以4级小波变换为例说明本发明方法中权值η_H，m、η_V，m和η_D，m(1≤m≤4)的取值方法。图3为人类视觉灵敏度函数(CSF)曲线，其中虚线表示水平方向和垂直方向上的CSF曲线，记为 $G_{\mathrm{hv}}\left(f\right)=2.6\&times;(0.0192+0.11f)e^{-{\left(0.114f\right)}^{1.1}},$ 实线表示对角方向上的CSF曲线，记为 $G_d\left(f\right)=2.6\&times;(0.0192+0.114\&times;\sqrt{2}f)e^{-{(0.114\&times;\sqrt{2}f)}^{1.1}}.$ 由于CSF的非线性带通特性，需对小波变换后不同空间频带的小波系数进行加权，其权值为在相应频带内CSF曲线的平均值。对于4级小波变换，整个频带划分为9个，如图2所示，根据CSF曲线对应取9个加权值，其中1～8号的水平方向子带、垂直方向子带和对角方向子带的权值选择如表3所示。以编号为8的子带为例，其f_1，m和f_2，m分别为0.03125和0.0625，从而计算得到编号为8的子带的水平方向和垂直方向的权值 ${\mathrm{\&eta;}}_{H,4}={\mathrm{\&eta;}}_{V,4}=\frac{\underset{0.03125}{\overset{0.0625}{\&Integral;}}2.6\&times;(0.0192+0.114f)e^{-{\left(0.114f\right)}^{1.1}\mathrm{df}}}{0.0625-0.03125}=0.8581,$ 类似地可计算得到，η_D，4＝0.9482；由于图像的绝大多数能量集中在低频部分，所以此处设置小波变换最低频子带的权值为1，即对于编号为9的子带，对应的权值为1。

表3各方向子带的权值

(f1，m，f2，m]	(0.03125，0.0625]	(0.0625，0.125]	(0.125，0.25]	(0.25，0.5]
					子带编号	8	6	4	2
ηH，m、ηV，m	0.8581	0.9455	0.5691	0.1077
					子带编号	7	5	3	1
ηD，m	0.9482	0.8136	0.2995	0.0233

⑦根据Q^L和Q^R计算待评价的失真的立体图像S_dis相对于原始的无失真的立体图像S_org的空间频率相似度度量，记为Q_F，Q_F＝ω₁×Q^L+ω₂×Q^R，其中，ω₁表示Q^L的权值，ω₂表示Q^R的权值。

在此具体实施例中，ω₁和ω₂的获取过程为：

⑦-a、采用n幅无失真的立体图像建立其在不同失真类型不同失真程度下的失真立体图像集，该失真立体图像集包括多幅失真的立体图像，其中，n≥1。

⑦-b、采用主观质量评价方法，获取失真立体图像集中的每幅失真的立体图像的平均主观评分差值，记为DMOS，DMOS＝100-MOS，其中，MOS表示主观评分均值，DMOS∈[0，100]。

⑦-c、根据步骤①至步骤⑥的过程，计算得到失真立体图像集中的失真的立体图像的左视点图像和对应的无失真的立体图像的左视点图像分别实施M级小波变换后得到的各自对应的3M+1个子带的小波系数矩阵的绝对差值矩阵的距离Q_l和失真立体图像集中的失真的立体图像的右视点图像和对应的无失真的立体图像的右视点图像分别实施M级小波变换后得到的各自对应的3M+1个子带的小波系数矩阵的绝对差值矩阵的距离Q_r。

⑦-d、采用线性加权的拟合方法拟合失真立体图像集中的每幅失真的立体图像的平均主观评分差值DMOS及每幅失真的立体图像各自对应的Q_l，得到Q^L的权值ω₁；采用线性加权的拟合方法拟合失真立体图像集中的每幅失真的立体图像的平均主观评分差值DMOS及每幅失真的立体图像各自对应的Q_r，得到Q^R的权值ω₂。

在本实施例中，利用如图4a、图4b、图4c、图4d、图4e、图4f、图4g、图4h、图4i、图4j、图4k、图4l所示的12幅无失真的立体图像建立了其在不同失真类型不同失真程度下的失真立体图像集，失真类型包括JPEG压缩、JPEG 2000压缩、白噪声失真、高斯模糊失真、H.264编码失真，该失真立体图像集共包括312幅失真的立体图像，其中JPEG压缩的失真的立体图像共60幅，JPEG2000压缩的失真的立体图像共60幅，白噪声失真的立体图像共60幅，高斯模糊失真的立体图像共60幅，H.264编码失真的立体图像共72幅。对上述312幅失真的立体图像采用公知的主观质量评价方法进行主观质量评价，得到这312幅失真的立体图像各自的平均主观评分差值(DMOS，DifferenceMean Opinion Scores)，即每幅失真的立体图像的主观质量评分值。DMOS为主观评分均值(MOS)和满分(100)的差值，即DMOS＝100-MOS，因此，DMOS值越大表示失真的立体图像的质量越差，DMOS值越小表示失真的立体图像的质量越好，且DMOS的取值范围为[0，100]；另一方面，对上述312幅失真的立体图像按本发明方法的步骤①至步骤⑥实施4级小波变换计算得到每幅失真的立体图像相应的Q_l和Q_r；这里，利用评估图像质量评价方法的2个常用客观参量作为评价指标，即非线性回归条件下的Pearson相关系数(Correlation Coefficient，CC)和均方误差系数(Rooted Mean SquaredError，RMSE)，前者反映失真的立体图像评价函数这一客观模型的精确性，后者反映其准确性。CC值越大，说明评价性能越好，RMSE值越小，说明评价性能越好，反之亦然。然后采用线性拟合方法拟合这312幅失真的立体图像的DMOS与Q_l和Q_r，拟合结果如图5a和图5b所示，图5a和图5b中横坐标为ω₁的值，图5a中纵坐标则表示CC相关系数，图5b中纵坐标则表示RMSE相关系数，ω₁值越大，说明Q_l对空间频率相似度度量Q_F的贡献越大，反之亦然。从图5a和图5b中可知，CC值和RMSE值随着ω₁值的变化而变化，在ω₁取值为0.5时，CC值和RMSE值达到最大值，Q_F性能达到最佳，故这里取ω₁＝ω₂＝0.5。

⑧计算L_org与R_org的绝对差值图像，记为

计算L_dis与R_dis的绝对差值图像，记为

其中，“||”为取绝对值符号。

⑨分别对

和实施区域划分，得到

和对应的区域划分系数矩阵，记为Z^LR，将Z^LR中坐标为(p，q)处的系数记为Z^LR(p，q)，其中，0≤p＜(W-7)，0≤q＜(H-7)，W和H分别表示

和的宽度和高度，其它为表示既不属于强边缘区域又不属于弱边缘区域的情况。

在此具体实施例中，

和

各自对应的区域划分系数矩阵Z^LR的获取过程为：

⑨-a、采用Sobel算子的水平方向模板提取

的水平方向梯度矩阵，记为PP_rh， $\begin{array}{c}{\mathrm{PP}}_{\mathrm{rh}}(i,j)=D_{\mathrm{LR}}^{\mathrm{org}}(i+2,j)-D_{\mathrm{LR}}^{\mathrm{org}}(i,j)+2\&times;D_{\mathrm{LR}}^{\mathrm{org}}(i+2,j+1)-\\ 2\&times;D_{\mathrm{LR}}^{\mathrm{org}}(i,j+1)+D_{\mathrm{LR}}^{\mathrm{org}}(i+2,j+2)-D_{\mathrm{LR}}^{\mathrm{org}}(i,j+2)\end{array},$ 采用Sobel算子的垂直方向模板提取

的垂直方向梯度矩阵，记为PP_rv， $\begin{array}{c}{\mathrm{PP}}_{\mathrm{rv}}(i,j)=D_{\mathrm{LR}}^{\mathrm{org}}(i,j+2)-D_{\mathrm{LR}}^{\mathrm{org}}(i,j)+2\&times;D_{\mathrm{LR}}^{\mathrm{org}}(i+1,j+2)-\\ 2\&times;D_{\mathrm{LR}}^{\mathrm{org}}(i+1,j)+D_{\mathrm{LR}}^{\mathrm{org}}(i+2,j+2)-D_{\mathrm{LR}}^{\mathrm{org}}(i+2,j)\end{array},$ 其中，PP_rh(i，j)为PP_rh中坐标为(i，j)处的系数，PP_rv(i，j)为PP_rv中坐标为(i，j)处的系数，

分别表示

中坐标位置为(i+2，j)、(i，j)、(i+2，j+1)、(i，j+1)、(i+2，j+2)、(i，j+2)、(i+1，j+2)、(i+1，j)的像素点的像素值；然后根据

的水平方向梯度矩阵PP_rh和

的垂直方向梯度矩阵PP_rv，计算

的梯度的幅度矩阵，记为PP_r，

其中，PP_r(i，j)为PP_r中坐标为(i，j)处的系数，0≤i＜(W-7)，0≤j＜(H-7)，W和H分别表示和

的宽度和高度。

采用Sobel算子的水平方向模板提取

的水平方向梯度矩阵，记为PP_dh， $\begin{array}{c}{\mathrm{PP}}_{\mathrm{dh}}(i,j)=D_{\mathrm{LR}}^{\mathrm{dis}}(i+2,j)-D_{\mathrm{LR}}^{\mathrm{dis}}(i,j)+2\&times;D_{\mathrm{LR}}^{\mathrm{dis}}(i+2,j+1)-\\ 2\&times;D_{\mathrm{LR}}^{\mathrm{dis}}(i,j+1)+D_{\mathrm{LR}}^{\mathrm{dis}}(i+2,j+2)-D_{\mathrm{LR}}^{\mathrm{dis}}(i,j+2)\end{array},$ 采用Sobel算子的垂直方向模板提取的垂直方向梯度矩阵，记为PP_dv， $\begin{array}{c}{\mathrm{PP}}_{\mathrm{dv}}(i,j)=D_{\mathrm{LR}}^{\mathrm{dis}}(i,j+2)-D_{\mathrm{LR}}^{\mathrm{dis}}(i,j)+2\&times;D_{\mathrm{LR}}^{\mathrm{dis}}(i+1,j+2)-\\ 2\&times;D_{\mathrm{LR}}^{\mathrm{dis}}(i+1,j)+D_{\mathrm{LR}}^{\mathrm{dis}}(i+2,j+2)-D_{\mathrm{LR}}^{\mathrm{dis}}(i+2,j)\end{array},$ 其中，PP_dh(i，j)为PP_dh中坐标为(i，j)处的系数，PP_dv(i，j)为PP_dv中坐标为(i，j)处的系数，

分别表示

中坐标位置为(i+2，j)、(i，j)、(i+2，j+1)、(i，j+1)、(i+2，j+2)、(i，j+2)、(i+1，j+2)、(i+1，j)的像素点的像素值；然后根据

的水平方向梯度矩阵PP_dh和

的垂直方向梯度矩阵PP_dv，计算

的梯度的幅度矩阵，记为PP_d，

其中，PP_d(i，j)为PP_d中坐标为(i，j)处的系数。

⑨-b、根据

的梯度的幅度矩阵PP_r确定分割阈值TT，TT＝0.12×max(PP_r)，其中，max(PP_r)表示求PP_r中的最大值。

⑨-c、定义用来标记

和

实施区域分割后得到的强边缘区域和弱边缘区域系数矩阵为Z^LR。

 ⑨-d、将

中坐标为(p，q)的像素点的梯度幅值记为PP_r(p，q)，将

中坐标为(p，q)的像素点的梯度幅值记为PP_d(p，q)，如果PP_r(p，q)＞TT且PP_d(p，q)＞TT，则确定

和

中坐标为(p，q)的像素点均属于强边缘区域，将系数矩阵Z^LR中坐标为(p，q)处的系数Z^LR(p，q)置1；如果PP_r(p，q)＞TT且PP_d(p，q)＜TT，或者，PP_r(p，q)＜TT且PP_d(p，q)＞TT，则确定

和

中坐标为(p，q)的像素点均属于弱边缘区域，将系数矩阵Z^LR中坐标为(p，q)处的系数Z^LR(p，q)置0；其它情况时将系数矩阵Z^LR中坐标为(p，q)处的系数Z^LR(p，q)置-1，其中，0≤p＜(W-7)，0≤q＜(H-7)，W和H分别表示

和

的宽度和高度。

在本实施例中，对利用如图4a至图4l所示的12幅无失真的立体图像建立起的312幅失真的立体图像，利用如图6a和图6b所示的Sobel算子的模板，计算这312幅失真的立体图像的绝对差值图的垂直和水平方向梯度矩阵，进而计算立体图像的绝对差值图的梯度幅值图，然后根据图像内容得到分割阈值TT＝0.12×max(PP_r)，根据

和

的幅度值与分割阈值的关系，得到312幅的失真的立体图像的强边缘区域和弱边缘区域。

⑩分别对

和

实施方向分割，分别得到

和

各自对应的标记水平、垂直、对角和反对角四个方向的系数矩阵，将对

实施方向分割得到的标记四个方向的系数矩阵记为Y^org，将Y^org中坐标(i，j)处的系数记为Y^org(i，j)，

将对

实施方向分割得到的标记四个方向的系数矩阵记为Y^dis，将Y^dis中坐标(i，j)处的系数记为Y^dis(i，j)，

其中，0≤i＜(W-7)，0≤j＜(H-7)。

在此具体实施例中，对

实施方向分割，获取

对应的标记水平、垂直、对角和反对角四个方向的系数矩阵Y^org的具体过程为：

⑩-a、计算的水平、垂直、对角和反对角四个方向的梯度图，将

的水平方向的梯度图记为O_h，将

的垂直方向的梯度图记为O_v，将的对角方向的梯度图记为O_d，将的反对角方向的梯度图记为O_a。

⑩-b、将O_h中坐标为(i，j)处的梯度幅值记为O_h(i，j)，将O_v中坐标为(i，j)处的梯度幅值记为O_v(i，j)，将O_d中坐标为(i，j)处的梯度幅值记为O_d(i，j)，将O_a中坐标为(i，j)处的梯度幅值记为O_a(i，j)，如果max(O_h(i，j)，O_v(i，j)，O_d(i，j)，O_a(i，j))＝O_h(i，j)，则确定

中坐标(i，j)的像素点属于水平方向，Y^org(i，j)＝1，如果max(O_h(i，j)，O_v(i，j)，O_d(i，j)，O_a(i，j))＝O_v(i，j)，则确定

中坐标(i，j)的像素点属于垂直方向，Y^org(i，j)＝2，如果max(O_h(i，j)，O_v(i，j)，O_d(i，j)，O_a(i，j))＝O_d(i，j)，则确定

中坐标(i，j)的像素点属于对角方向，Y^org(i，j)＝3，如果max(O_h(i，j)，O_v(i，j)，O_d(i，j)，O_a(i，j))＝O_a(i，j)，则确定

中坐标(i，j)的像素点属于反对角方向，Y^org(i，j)＝4，其中，max()为求最大值函数，0≤i＜(W-7)，0≤j＜(H-7)。

⑩-c、根据步骤⑩-b得到实施方向分割后对应的标记四个方向的系数矩阵Y^org，

采用步骤⑩-a至步骤⑩-c相同的操作，对

实施方向分割，获取

对应的标记水平、垂直、对角和反对角四个方向的系数矩阵Y^dis。即对实施方向分割，获取

对应的标记水平、垂直、对角和反对角四个方向的系数矩阵Y^dis的具体过程为：

⑩-a、计算的水平、垂直、对角和反对角四个方向的梯度图，将

的水平方向的梯度图记为O_h，将的垂直方向的梯度图记为O_v，将

的对角方向的梯度图记为O_d，将的反对角方向的梯度图记为O_a。

⑩-b、将O_h中坐标为(i，j)处的梯度幅值记为O_h(i，j)，将O_v中坐标为(i，j)处的梯度幅值记为O_v(i，j)，将O_d中坐标为(i，j)处的梯度幅值记为O_d(i，j)，将O_a中坐标为(i，j)处的梯度幅值记为O_a(i，j)，如果max(O_h(i，j)，O_v(i，j)，O_d(i，j)，O_a(i，j))＝O_h(i，j)，则确定

中坐标(i，j)的像素点属于水平方向，Y^dis(i，j)＝1，如果max(O_h(i，j)，O_v(i，j)，O_d(i，j)，O_a(i，j))＝O_v(i，j)，则确定

中坐标(i，j)的像素点属于垂直方向，Y^dis(i，j)＝2，如果max(O_h(i，j)，O_v(i，j)，O_d(i，j)，O_a(i，j))＝O_d(i，j)，则确定

中坐标(i，j)的像素点属于对角方向，Y^dis(i，j)＝3，如果max(O_h(i，j)，O_v(i，j)，O_d(i，j)，O_a(i，j))＝O_a(i，j)，则确定

中坐标(i，j)的像素点属于反对角方向，Y^dis(i，j)＝4，其中，max()为求最大值函数。

⑩-c、根据步骤⑩-b得到

实施方向分割后对应的标记四个方向的系数矩阵Y^dis，

在本实施例中，对利用如图4a至图4l所示的12幅无失真的立体图像建立起的312幅失真的立体图像，首先计算这312幅失真的立体图像的绝对差值图，然后利用如图7a、图7b、图7c和图7d所示的四个方向的算子模板，计算这312幅绝对差值图的对应的四个方向的梯度值，根据四个方向梯度值的最大值计算这312幅失真的立体图像的绝对差值图的方向。

将

和分别分割成(W-7)×(H-7)个尺寸大小为8×8的相互重叠的图像块。在此，为了尽可能地利用图像之间的相关性，一个8×8的图像块和它最相邻的左图像块或右图像块之间有7列是重叠的，同样，该8×8的图像块和它最相邻的上图像块或下图像块之间有7行是重叠的。然后计算

和

中所有坐标位置相同的两个图像块的结构相似度和方向相似度，对于

中坐标为(u，v)的图像块，定义该图像块为当前图像块，计算当前图像块与

中与当前图像块坐标位置相同的图像块的结构相似度，记为SSIM(u，v)， $\mathrm{SSIM}(u,v)=\frac{({2\mathrm{\&mu;}}_{u,v}^{\mathrm{org}}{\mathrm{\&mu;}}_{u,v}^{\mathrm{dis}}+C_1)({2\mathrm{\&sigma;}}_{u,v}^{\mathrm{org},\mathrm{dis}}+C_2)}{({\left({\mathrm{\&mu;}}_{u,v}^{\mathrm{org}}\right)}^2+{\left({\mathrm{\&mu;}}_{u,v}^{\mathrm{dis}}\right)}^2+C_1)({\left({\mathrm{\&sigma;}}_{u,v}^{\mathrm{org}}\right)}^2+{\left({\mathrm{\&sigma;}}_{u,v}^{\mathrm{dis}}\right)}^2+C_2)},$ 计算当前图像块与中与当前图像块坐标位置相同的图像块的方向相似度，记为X(u，v)，

其中，表示当前图像块的均值，

表示

中与当前图像块坐标位置相同的图像块的均值，

表示当前图像块的方差，

表示

中与当前图像块坐标位置相同的图像块的方差，

表示当前图像块与

中与当前图像块坐标位置相同的图像块的协方差，C₁和C₂均为常数，C₁≠0，C₂≠0，K(u+k，v+l)表示Y^org中坐标为(u+k，v+l)处的系数Y^org(u+k，v+l)与Y^dis中坐标为(u+k，v+l)处的系数Y^dis(u+k，v+l)的方向一致性矩阵，0≤u＜(W-7)，0≤v＜(H-7)，W和H分别表示和

的宽度和高度。在此，C₁和C₂是为了防止当 $\mathrm{SSIM}(u,v)=\frac{({2\mathrm{\&mu;}}_{u,v}^{\mathrm{org}}{\mathrm{\&mu;}}_{u,v}^{\mathrm{dis}}+C_1)({2\mathrm{\&sigma;}}_{u,v}^{\mathrm{org},\mathrm{dis}}+C_2)}{({\left({\mathrm{\&mu;}}_{u,v}^{\mathrm{org}}\right)}^2+{\left({\mathrm{\&mu;}}_{u,v}^{\mathrm{dis}}\right)}^2+C_1)({\left({\mathrm{\&sigma;}}_{u,v}^{\mathrm{org}}\right)}^2+{\left({\mathrm{\&sigma;}}_{u,v}^{\mathrm{dis}}\right)}^2+C_2)},$ 的分母接近零时产生不稳定现象所添加的常数，C₁≠0，C₂≠0，在本实施例中取C₁＝2.56，C₂＝7.68。

根据

和

中所有坐标位置相同的两个图像块的结构相似度和方向相似度，计算待评价的失真立体图像S_dis相对于原始的无失真立体图像S_org的立体感知评价度量，记为Q_s， $\begin{array}{c}{Q}_s=\frac{{\mathrm{\&omega;}}_3}{N_{\mathrm{se}}}\&times;\underset{i^{\&prime;}=0}{\overset{W-8}{\mathrm{\&Sigma;}}}\underset{j^{\&prime;=0}}{\overset{H-8}{\mathrm{\&Sigma;}}}\mathrm{SSIM}(i^{\&prime;},j^{\&prime;})\&times;X(i^{\&prime;},j^{\&prime;})\&times;\mathrm{floor}\left(\frac{1+z^{\mathrm{LR}}(i^{\&prime;},j^{\&prime;})}{2}\right)\\ +\frac{{\mathrm{\&omega;}}_4}{N_{\mathrm{we}}}\&times;\underset{i^{\&prime;}=0}{\overset{W-8}{\mathrm{\&Sigma;}}}\underset{j^{\&prime;}=0}{\overset{H-8}{\mathrm{\&Sigma;}}}\mathrm{SSIM}(i^{\&prime;},j^{\&prime;})\&times;X(i^{\&prime;},j^{\&prime;})\&times;(1-\mathrm{abs}\left(Z^{\mathrm{LR}}(i^{\&prime;},j^{\&prime;})\right))\end{array},$ 其中，floor()为向下取整函数，abs()为取绝对值函数，ω₃和ω₄分别表示强边缘区域和弱边缘区域评价指标的权值，N_se表示Z^LR中非零系数的个数，N_we表示Z^LR中零系数的个数。在此，N_se和N_we的取值根据强边缘和弱边缘的评价值与主观感知之间的相关性与单调性来确定，图8a给出了ω₃的取值与主观感知之间的相关系数的变化曲线，图8b给出了ω₃的取值与主观感知之间的均方误差的变化曲线。ω₃值越大，说明强边缘区域对立体感知评价部分的贡献越大，反之亦然。从图8a和图8b中可知，CC值和RMSE值随着ω₃值的变化而变化，在ω₃取值为0.6时，CC值和RMSE值达到最大值，Q_s性能达到最佳，故这里取ω₃＝0.6，ω₄＝0.4，ω₃+ω₄＝1。

根据待评价的失真立体图像S_dis相对于原始的无失真立体图像S_org的空间频率相似度度量Q_F和立体感知评价度量Q_s，计算待评价的失真立体图像S_dis的图像质量评价分值，记为Q，Q＝Q_F×(Q_s)^-λ，λ为常数，且λ＞0。

在此具体实施例中，λ的获取过程为：

采用n幅无失真的立体图像建立其在不同失真类型不同失真程度下的失真立体图像集，该失真立体图像集包括多幅失真的立体图像，其中，n≥1。

采用主观质量评价方法获取失真立体图像集中的每幅失真的立体图像的平均主观评分差值，记为DMOS，DMOS＝100-MOS，其中，MOS表示主观评分均值，DMOS∈[0，100]。

根据步骤①至步骤的过程，计算失真立体图像集中的每幅失真的立体图像相对于对应的无失真的立体图像的空间频率相似度度量Q_F和立体感知评价度量Q_s。

采用乘性的数学拟合方法Q＝Q_F×(Q_s)^-λ拟合失真立体图像集中的每幅失真的立体图像的平均主观评分差值DMOS及对应的Q_F和Q_s，得到λ值。

在本实施例中，利用如图4a至图4l所示的12幅无失真的立体图像建立了312幅失真的立体图像，对上述312幅失真的立体图像和12幅无失真的立体图像按本发明方法的步骤①至步骤

相同的操作计算得到每幅失真的立体图像相应的Q_F和Q_s；然后采用乘性加权得到这312幅失真的立体图像的DMOS与Q_F和Q_s的函数关系式，结果如图9a和图9b所示，图9a和图9b中横坐标为λ值，纵坐标为评价指标，λ值大小决定Q_F和Q_s对立体图像最终的评价值Q的贡献大小。从图9a和图9b可知，λ的变化对CC和RMSE值的大小存在一定的影响，当λ取值为0.2时，Q与主观感知之间的一致性最好，因此得到函数Q＝Q_F×(Q_s)^0.2。

分析本实施例得到的失真的立体图像的图像质量评价函数Q＝Q_F×(Q_s)^λ的最终评价结果与主观评分DMOS之间的相关性。在此，利用评估图像质量评价方法的3个常用客观参量作为评价指标，即非线性回归条件下的CC、Spearman相关系数(SpearmanRank-Order Correlation Coefficient，ROCC)和RMSE，SROCC反映其单调性。将按本实施例计算得到的失真的立体图像的图像质量评价函数Q＝Q_F×(Q_s)^0.2计算得到的最终评价结果的输出值Q做四参数Logistic函数非线性拟合，CC和SROCC值越高说明客观评价方法与DMOS相关性越好，RMSE值越低说明客观评价方法与DMOS相关性越好。反映准确性和单调性的CC、SROCC和RMSE系数如表4所示，根据表4所列的数据可见，按本实施例得到的失真的立体图像的图像质量评价函数Q＝Q_F×(Q_s)^0.2计算得到的最终评价结果的输出值Q与主观评分DMOS之间的相关性是很高的，表明客观评价结果与人眼主观感知的结果较为一致，说明了本发明方法的有效性。

表4失真的立体图像的图像质量评价分值与主观评分之间的相关性

Claims (5)

1.一种立体图像客观质量评价方法，其特征在于包括以下步骤：

①令S_org为原始的无失真的立体图像，令S_dis为待评价的失真的立体图像，将原始的无失真的立体图像S_org的左视点图像记为L_org，将原始的无失真的立体图像S_org的右视点图像记为R_org，将待评价的失真的立体图像S_dis的左视点图像记为L_dis，将待评价的失真的立体图像S_dis的右视点图像记为R_dis；

②对L_org、R_org、L_dis和R_dis4幅图像分别实施M级小波变换，分别得到L_org、R_org、L_dis和R_dis4幅图像各自对应的3M+1个子带的小波系数矩阵，其中，3M+1个子带包括M个水平方向子带、M个垂直方向子带、M个对角方向子带和1个直流子带；将L_org实施第m级小波变换后得到的第m个水平方向子带的小波系数矩阵记为

将L_org实施第m级小波变换后得到的第m个垂直方向子带的小波系数矩阵记为

将L_org实施第m级小波变换后得到的第m个对角方向子带的小波系数矩阵记为

将L_org实施M级小波变换后得到的直流子带的小波系数矩阵记为

将R_org实施第m级小波变换后得到的第m个水平方向子带的小波系数矩阵记为

将R_org实施第m级小波变换后得到的第m个垂直方向子带的小波系数矩阵记为

将R_org实施第m级小波变换后得到的第m个对角方向子带的小波系数矩阵记为

将R_org实施M级小波变换后得到的直流子带的小波系数矩阵记为

将L_dis实施第m级小波变换后得到的第m个水平方向子带的小波系数矩阵记为

将L_dis实施第m级小波变换后得到的第m个垂直方向子带的小波系数矩阵记为

将L_dis实施第m级小波变换后得到的第m个对角方向子带的小波系数矩阵记为

将L_dis实施M级小波变换后得到的直流子带的小波系数矩阵记为

将R_dis实施第m级小波变换后得到的第m个水平方向子带的小波系数矩阵记为将R_dis实施第m级小波变换后得到的第m个垂直方向子带的小波系数矩阵记为

将R_dis实施第m级小波变换后得到的第m个对角方向子带的小波系数矩阵记为将R_dis实施M级小波变换后得到的直流子带的小波系数矩阵记为

1≤m≤M；

③分别计算L_org和L_dis分别实施M级小波变换后得到的各自对应的M个水平方向子带、M个垂直方向子带、M个对角方向子带和1个直流子带的小波系数矩阵的同级同方向矩阵之间的绝对差值矩阵，将L_org实施第m级小波变换后得到的第m个水平方向子带的小波系数矩阵

和L_dis实施第m级小波变换后得到的第m个水平方向子带的小波系数矩阵

之间的绝对差值矩阵记为

将L_org实施第m级小波变换后得到的第m个垂直方向子带的小波系数矩阵

和L_dis实施第m级小波变换后得到的第m个垂直方向子带的小波系数矩阵

之间的绝对差值矩阵记为

将L_org实施第m级小波变换后得到的第m个对角方向子带的小波系数矩阵

和L_dis实施第m级小波变换后得到的第m个对角方向子带的小波系数矩阵

之间的绝对差值矩阵记为

将L_org实施M级小波变换后得到的直流子带的小波系数矩阵

和L_dis实施M级小波变换后得到的直流子带的小波系数矩阵

之间的绝对差值矩阵记为

分别计算R_org和R_dis分别实施M级小波变换后得到的各自对应的M个水平方向子带、M个垂直方向子带、M个对角方向子带和1个直流子带的小波系数矩阵的同级同方向矩阵之间的绝对差值矩阵，将R_org实施第m级小波变换后得到的第m个水平方向子带的小波系数矩阵

和R_dis实施第m级小波变换后得到的第m个水平方向子带的小波系数矩阵

之间的绝对差值矩阵记为将R_org实施第m级小波变换后得到的第m个垂直方向子带的小波系数矩阵

和R_dis实施第m级小波变换后得到的第m个垂直方向子带的小波系数矩阵

之间的绝对差值矩阵记为

将R_org实施第m级小波变换后得到的第m个对角方向子带的小波系数矩阵

和R_dis实施第m级小波变换后得到的第m个对角方向子带的小波系数矩阵

之间的绝对差值矩阵记为

将R_org实施M级小波变换后得到的直流子带的小波系数矩阵

和R_dis实施M级小波变换后得到的直流子带的小波系数矩阵

之间的绝对差值矩阵记为

④计算L_org、R_org、L_dis和R_dis分别实施M级小波变换后得到的各自对应的M个水平方向子带、M个垂直方向子带、M个对角方向子带和1个直流子带的小波系数矩阵的最小可视误差值，将L_org、R_org、L_dis和R_dis分别实施第m级小波变换后得到的各自对应的第m个水平方向子带的小波系数矩阵的最小可视误差值均记为E_H，m， $E_{H,m}=\frac{2}{B_{m,H}}\&times;a\&times;{10}^{m\&times;{\left(\log \frac{2^m\&times;f_0\&times;g_H}{r}\right)}^2},$ 将L_org、R_org、L_dis和R_dis分别实施第m级小波变换后得到的各自对应的第m个垂直方向子带的小波系数矩阵的最小可视误差值均记为E_V，m， $E_{V,m}=\frac{2}{B_{m,V}}\&times;a\&times;{10}^{m\&times;{\left(\log \frac{2^m\&times;f_0\&times;g_V}{r}\right)}^2},$ 将L_org、R_org、L_dis和R_dis分别实施第m级小波变换后得到的各自对应的第m个对角方向子带的小波系数矩阵的最小可视误差值均记为 ${E_{D,m},E}_{D,m}=\frac{2}{B_{m,D}}\&times;a\&times;{10}^{m\&times;{\left(\log \frac{2^m\&times;f_0\&times;g_D}{r}\right)}^2},$ 将L_org、R_org、L_dis和R_dis分别实施M级小波变换后得到的各自对应的直流子带的小波系数矩阵的最小可视误差值均记为E_DC， $E_{\mathrm{DC}}=\frac{2}{B_{\mathrm{DC}}}\&times;a\&times;{10}^{m\&times;{\left(\log \frac{2^m\&times;f_0\&times;g_{\mathrm{DC}}}{r}\right)}^2},$ 其中，B_m，H表示L_org、R_org、L_dis和R_dis分别实施第m级小波变换后得到的各自对应的第m个水平方向子带的基函数，B_m，V表示L_org、R_org、L_dis和R_dis分别实施第m级小波变换后得到的各自对应的第m个垂直方向子带的基函数，B_m，D表示L_org、R_org、L_dis和R_dis分别实施第m级小波变换后得到的各自对应的第m个对角方向子带的基函数，B_DC表示L_org、R_org、L_dis和R_dis分别实施M级小波变换后得到的各自对应的直流子带的基函数，a为最小阈值，r为显示分辨率，f₀表示中心频率值，g_H表示L_org、R_org、L_dis和R_dis分别实施第m级小波变换后得到的各自对应的第m个水平方向子带的方向函数，g_V表示L_org、R_org、L_dis和R_dis分别实施第m级小波变换后得到的各自对应的第m个垂直方向子带的方向函数，g_D表示L_org、R_org、L_dis和R_dis分别实施第m级小波变换后得到的各自对应的第m个对角方向子带的方向函数，g_DC表示L_org、R_org、L_dis和R_dis分别实施M级小波变换后得到的各自对应的直流子带的方向函数；

⑤分别计算L_org和L_dis分别实施M级小波变换后得到的各自对应的M个水平方向子带、M个垂直方向子带、M个对角方向子带和1个直流子带的小波系数矩阵的绝对差值矩阵的敏感系数矩阵及敏感系数矩阵所占的比例，将

的敏感系数矩阵记为

$F_{H,m}^L(i,j)=\left\{\begin{array}{cc}0,& A_{H,m}^{L,\mathrm{ij}}<E_{H,m}\\ 1,& A_{H,m}^{L,\mathrm{ij}}\&GreaterEqual;E_{H,m}\end{array}\right.,$ 将

所占的比例记为

$P_{H,m}^L=\frac{\underset{i=1}{\overset{W_{H,m}^L}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{H_{H,m}^L}{\mathrm{\&Sigma;}}}{F}_{H,m}^L(i,j)}{W_{H,m}^L\&times;H_{H,m}^L},$ 将

的敏感系数矩阵记为

$F_{V,m}^L(i,j)=\left\{\begin{array}{cc}0,& A_{V,m}^{L,\mathrm{ij}}<E_{V,m}\\ 1,& A_{V,m}^{L,\mathrm{ij}}\&GreaterEqual;E_{V,m}\end{array}\right.,$ 将

所占的比例记为

$P_{V,m}^L=\frac{\underset{i=1}{\overset{W_{V,m}^L}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{H_{V,m}^L}{\mathrm{\&Sigma;}}}{F}_{V,m}^L(i,j)}{W_{V,m}^L\&times;H_{V,m}^L},$ 将

的敏感系数矩阵记为

$F_{D,m}^L(i,j)=\left\{\begin{array}{cc}0,& A_{D,m}^{L,\mathrm{ij}}<E_{D,m}\\ 1,& A_{D,m}^{L,\mathrm{ij}}\&GreaterEqual;E_{D,m}\end{array}\right.,$ 将

所占的比例记为 $P_{D,m}^L=\frac{\underset{i=1}{\overset{W_{D,m}^L}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{H_{D,m}^L}{\mathrm{\&Sigma;}}}{F}_{D,m}^L(i,j)}{W_{D,m}^L\&times;H_{D,m}^L},$ 将

的敏感系数矩阵记为

$F_{\mathrm{DC}}^L(i,j)=\left\{\begin{array}{cc}0,& A_{\mathrm{DC}}^{L,\mathrm{ij}}<E_{\mathrm{DC}}\\ 1,& A_{\mathrm{DC}}^{L,\mathrm{ij}}\&GreaterEqual;E_{\mathrm{DC}}\end{array}\right.,$ 将

所占的比例记为

$P_{\mathrm{DC}}^L=\frac{\underset{i=1}{\overset{W_{\mathrm{DC}}^L}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{H_{\mathrm{DC}}^L}{\mathrm{\&Sigma;}}}{F}_{\mathrm{DC}}^L(i,j)}{W_{\mathrm{DC}}^L\&times;H_{\mathrm{DC}}^L},$ 其中，表示

中坐标为(i，j)处的敏感系数，

表示中坐标为(i，j)处的小波系数，

和

分别表示

的宽和高，

表示

中坐标为(i，j)处的敏感系数，表示

中坐标为(i，j)处的小波系数，

和

分别表示

的宽和高，

表示

中坐标为(i，j)处的敏感系数，

表示

中坐标为(i，j)处的小波系数，

和

分别表示

的宽和高，

表示

中坐标为(i，j)处的敏感系数，

表示

中坐标为(i，j)处的小波系数，

和

分别表示

的宽和高；

分别计算R_org和R_dis分别实施M级小波变换后得到的各自对应的M个水平方向子带、M个垂直方向子带、M个对角方向子带和1个直流子带的小波系数矩阵的绝对差值矩阵的敏感系数矩阵及敏感系数矩阵所占的比例，将

的敏感系数矩阵记为

$F_{H,m}^R(i,j)=\left\{\begin{array}{cc}0,& A_{H,m}^{R,\mathrm{ij}}<E_{H,m}\\ 1,& A_{H,m}^{R,\mathrm{ij}}\&GreaterEqual;E_{H,m}\end{array}\right.,$ 将

所占的比例记为

$P_{H,m}^R=\frac{\underset{i=1}{\overset{W_{H,m}^R}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{H_{H,m}^R}{\mathrm{\&Sigma;}}}{F}_{H,m}^R(i,j)}{W_{H,m}^R\&times;H_{H,m}^R},$ 将

的敏感系数矩阵记为

$F_{V,m}^R(i,j)=\left\{\begin{array}{cc}0,& A_{V,m}^{R,\mathrm{ij}}<E_{V,m}\\ 1,& A_{V,m}^{R,\mathrm{ij}}\&GreaterEqual;E_{V,m}\end{array}\right.,$ 将

所占的比例记为

$P_{V,m}^R=\frac{\underset{i=1}{\overset{W_{V,m}^R}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{H_{V,m}^R}{\mathrm{\&Sigma;}}}{F}_{V,m}^R(i,j)}{W_{V,m}^R\&times;H_{V,m}^R},$ 将

的敏感系数矩阵记为

$F_{D,m}^R(i,j)=\left\{\begin{array}{cc}0,& A_{D,m}^{R,\mathrm{ij}}<E_{D,m}\\ 1,& A_{D,m}^{R,\mathrm{ij}}\&GreaterEqual;E_{D,m}\end{array}\right.,$ 将

所占的比例记为

$P_{D,m}^R=\frac{\underset{i=1}{\overset{W_{D,m}^R}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{H_{D,m}^R}{\mathrm{\&Sigma;}}}{F}_{D,m}^R(i,j)}{W_{D,m}^R\&times;H_{D,m}^R},$ 将

的敏感系数矩阵记为

$F_{\mathrm{DC}}^R(i,j)=\left\{\begin{array}{cc}0,& A_{\mathrm{DC}}^{R,\mathrm{ij}}<E_{\mathrm{DC}}\\ 1,& A_{\mathrm{DC}}^{R,\mathrm{ij}}\&GreaterEqual;E_{\mathrm{DC}}\end{array}\right.,$ 将

所占的比例记为

$P_{\mathrm{DC}}^R=\frac{\underset{i=1}{\overset{W_{\mathrm{DC}}^R}{\mathrm{\&Sigma;}}}\underset{j=11}{\overset{H_{\mathrm{DC}}^R}{\mathrm{\&Sigma;}}}{F}_{\mathrm{DC}}^R(i,j)}{W_{\mathrm{DC}}^R\&times;H_{\mathrm{DC}}^R},$ 其中，

表示中坐标为(i，j)处的敏感系数，

表示中坐标为(i，j)处的小波系数，和

分别表示

的宽和高，

表示

中坐标为(i，j)处的敏感系数，

表示

中坐标为(i，j)处的小波系数，

和

分别表示

的宽和高，

表示中坐标为(i，j)处的敏感系数，表示中坐标为(i，j)处的小波系数，

和

分别表示

的宽和高，

表示

中坐标为(i，j)处的敏感系数，

表示中坐标为(i，j)处的小波系数，

和

分别表示

的宽和高；

⑥计算L_org和L_dis分别实施M级小波变换后得到的各自对应的3M+1个子带的小波系数矩阵的绝对差值矩阵的距离，记为Q^L， $Q^L=Q_{\mathrm{DC}}^L+Q_H^L+Q_V^L+Q_D^L,$ $Q_{\mathrm{DC}}^L=\frac{P_{\mathrm{DC}}^L}{1+\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}({\mathrm{\&eta;}}_{H,m}+{\mathrm{\&eta;}}_{V,m}+{\mathrm{\&eta;}}_{D,m})},$ $Q_H^L=\frac{\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}({\mathrm{\&eta;}}_{H,m}\&times;P_{H,m}^L)}{1+\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}({\mathrm{\&eta;}}_{H,m}+{\mathrm{\&eta;}}_{V,m}+{\mathrm{\&eta;}}_{D,m})},$ $Q_V^L=\frac{\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}({\mathrm{\&eta;}}_{V,m}\&times;P_{V,m}^L)}{1+\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}({\mathrm{\&eta;}}_{H,m}+{\mathrm{\&eta;}}_{V,m}+{\mathrm{\&eta;}}_{D,m})},$ $Q_D^L=\frac{\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}({\mathrm{\&eta;}}_{D,m}\&times;P_{D,m}^L)}{1+\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}({\mathrm{\&eta;}}_{H,m}+{\mathrm{\&eta;}}_{V,m}+{\mathrm{\&eta;}}_{D,m})},$ 计算R_org和R_dis分别实施M级小波变换后得到的各自对应的3M+1个子带的小波系数矩阵的绝对差值矩阵的距离，记为Q^R， $Q^R=Q_{\mathrm{DC}}^R+Q_H^R+Q_V^R+Q_D^R,$ $Q_{\mathrm{DC}}^R=\frac{P_{\mathrm{DC}}^R}{1+\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}({\mathrm{\&eta;}}_{H,m}+{\mathrm{\&eta;}}_{V,m}+{\mathrm{\&eta;}}_{D,m})},$ $Q_H^R=\frac{\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}({\mathrm{\&eta;}}_{H,m}\&times;P_{H,m}^R)}{1+\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}({\mathrm{\&eta;}}_{H,m}+{\mathrm{\&eta;}}_{V,m}+{\mathrm{\&eta;}}_{D,m})},$ $Q_V^R=\frac{\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}({\mathrm{\&eta;}}_{V,m}\&times;P_{V,m}^R)}{1+\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}({\mathrm{\&eta;}}_{H,m}+{\mathrm{\&eta;}}_{V,m}+{\mathrm{\&eta;}}_{D,m})},$ $Q_D^R=\frac{\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}({\mathrm{\&eta;}}_{D,m}\&times;P_{D,m}^R)}{1+\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}({\mathrm{\&eta;}}_{H,m}+{\mathrm{\&eta;}}_{V,m}+{\mathrm{\&eta;}}_{D,m})},$ 其中，η_H，m表示L_org和L_dis分别实施第m级小波变换后得到的各自对应的第m个水平方向子带的小波系数矩阵的绝对差值矩阵的权值及R_org和R_dis分别实施第m级小波变换后得到的各自对应的第m个水平方向子带的小波系数矩阵的绝对差值矩阵的权值，η_V，m表示L_org和L_dis分别实施第m级小波变换后得到的各自对应的第m个垂直方向子带的小波系数矩阵的绝对差值矩阵的权值及R_org和R_dis分别实施第m级小波变换后得到的各自对应的第m个垂直方向子带的小波系数矩阵的绝对差值矩阵的权值， ${\mathrm{\&eta;}}_{H,m}={\mathrm{\&eta;}}_{V,m}=\frac{{\&Integral;}_{f_{1,m}}^{f_{2,m}}2.6\&times;(0.0192+0.114f)e^{-{\left(0.114f\right)}^{1.1}}\mathrm{df}}{f_{2,m}-f_{1,m}},$ η_D，m表示L_org和L_dis分别实施第m级小波变换后得到的各自对应的第m个对角方向子带的小波系数矩阵的绝对差值矩阵的权值及R_org和R_dis分别实施第m级小波变换后得到的各自对应的第m个对角方向子带的小波系数矩阵的绝对差值矩阵的权值， ${\mathrm{\&eta;}}_{D,m}=\frac{{\&Integral;}_{f_{1,m}}^{f_{2,m}}2.6\&times;(0.0192+0.114\sqrt{2}f)e^{-{(0.114f\&times;\sqrt{2})}^{1.1}}\mathrm{df}}{f_{2,m}-f_{1,m}},$ f表示L_org和L_dis、R_org和R_dis分别实施第m级小波变换后得到的各自对应的第m个水平方向子带的小波系数矩阵的绝对差值矩阵、第m个垂直方向子带的小波系数矩阵的绝对差值矩阵以及第m个对角方向子带的小波系数矩阵的绝对差值矩阵的频率，f_1，m和f_2，m分别表示f的下限和f的上限；

⑦根据Q^L和Q^R计算待评价的失真的立体图像S_dis相对于原始的无失真的立体图像S_org的空间频率相似度度量，记为Q_F，Q_F＝ω₁×Q^L+ω₂×Q^R，其中，ω₁表示Q^L的权值，ω₂表示Q^R的权值；

⑧计算L_org与R_org的绝对差值图像，记为

计算L_dis与R_dis的绝对差值图像，记为

其中，“||”为取绝对值符号；

⑨分别对

和

实施区域划分，得到

和

对应的区域划分系数矩阵，记为Z^LR，将Z^LR中坐标为(p，q)处的系数记为Z^LR(p，q)，

其中，0≤p＜(W-7)，0≤q＜(H-7)，W和H分别表示

和

的宽度和高度，其它为表示既不属于强边缘区域又不属于弱边缘区域的情况；

⑩分别对

和

实施方向分割，分别得到

和各自对应的标记水平、垂直、对角和反对角四个方向的系数矩阵，将对

实施方向分割得到的标记四个方向的系数矩阵记为Y^org，将Y^org中坐标(i，j)处的系数记为Y^org(i，j)，

将对

实施方向分割得到的标记四个方向的系数矩阵记为Y^dis，将Y^dis中坐标(i，j)处的系数记为Y^dis(i，j)，

其中，0≤i＜(W-7)，0≤j＜(H-7)；

将

和

分别分割成(W-7)×(H-7)个尺寸大小为8×8的相互重叠的图像块，然后计算

和

中所有坐标位置相同的两个图像块的结构相似度和方向相似度，对于

中坐标为(u，v)的图像块，定义该图像块为当前图像块，计算当前图像块与

中与当前图像块坐标位置相同的图像块的结构相似度，记为SSIM(u，v)， $\mathrm{SSIM}(u,v)=\frac{({2\mathrm{\&mu;}}_{u,v}^{\mathrm{org}}{\mathrm{\&mu;}}_{u,v}^{\mathrm{dis}}+C_1)({2\mathrm{\&sigma;}}_{u,v}^{\mathrm{org},\mathrm{dis}}+C_2)}{({\left({\mathrm{\&mu;}}_{u,v}^{\mathrm{org}}\right)}^2+{\left({\mathrm{\&mu;}}_{u,v}^{\mathrm{dis}}\right)}^2+C_1)({\left({\mathrm{\&sigma;}}_{u,v}^{\mathrm{org}}\right)}^2+{\left({\mathrm{\&sigma;}}_{u,v}^{\mathrm{dis}}\right)}^2+C_2)},$ 计算当前图像块与

中与当前图像块坐标位置相同的图像块的方向相似度，记为X(u，v)，

其中，

表示当前图像块的均值，

表示

中与当前图像块坐标位置相同的图像块的均值，

表示当前图像块的方差，

表示中与当前图像块坐标位置相同的图像块的方差，

表示当前图像块与

中与当前图像块坐标位置相同的图像块的协方差，C₁和C₂均为常数，C₁≠0，C₂≠0，K(u+k，v+l)表示Y^org中坐标为(u+k，v+l)处的系数Y^org(u+k，v+l)与Y^dis中坐标为(u+k，v+l)处的系数Y^dis(u+k，v+l)的方向一致性矩阵，

0≤u＜(W-7)，0≤v＜(H-7)，W和H分别表示

和

的宽度和高度；

根据

和

中所有坐标位置相同的两个图像块的结构相似度和方向相似度，计算待评价的失真立体图像S_dis相对于原始的无失真立体图像S_org的立体感知评价度量，记为Q_s， $\begin{array}{c}{Q}_s=\frac{{\mathrm{\&omega;}}_3}{N_{\mathrm{se}}}\&times;\underset{i^{\&prime;}=0}{\overset{W-8}{\mathrm{\&Sigma;}}}\underset{j^{\&prime;=0}}{\overset{H-8}{\mathrm{\&Sigma;}}}\mathrm{SSIM}(i^{\&prime;},j^{\&prime;})\&times;X(i^{\&prime;},j^{\&prime;})\&times;\mathrm{floor}\left(\frac{1+z^{\mathrm{LR}}(i^{\&prime;},j^{\&prime;})}{2}\right)\\ +\frac{{\mathrm{\&omega;}}_4}{N_{\mathrm{we}}}\&times;\underset{i^{\&prime;}=0}{\overset{W-8}{\mathrm{\&Sigma;}}}\underset{j^{\&prime;}=0}{\overset{H-8}{\mathrm{\&Sigma;}}}\mathrm{SSIM}(i^{\&prime;},j^{\&prime;})\&times;X(i^{\&prime;},j^{\&prime;})\&times;(1-\mathrm{abs}\left(Z^{\mathrm{LR}}(i^{\&prime;},j^{\&prime;})\right))\end{array},$ 其中，floor()为向下取整函数，abs()为取绝对值函数，ω₃和ω₄分别表示强边缘区域和弱边缘区域评价指标的权值，N_se表示Z^LR中非零系数的个数，N_we表示Z^LR中零系数的个数；

根据待评价的失真立体图像S_dis相对于原始的无失真立体图像S_org的空间频率相似度度量Q_F和立体感知评价度量Q_s，计算待评价的失真立体图像S_dis的图像质量评价分值，记为Q，Q＝Q_F×(Q_s)^-λ，λ为常数，且λ＞0。

2.根据权利要求1所述的一种立体图像客观质量评价方法，其特征在于所述的步骤⑦中ω₁和ω₂的获取过程为：

⑦-a、采用n幅无失真的立体图像建立其在不同失真类型不同失真程度下的失真立体图像集，该失真立体图像集包括多幅失真的立体图像，其中，n≥1；

⑦-b、采用主观质量评价方法，获取失真立体图像集中的每幅失真的立体图像的平均主观评分差值，记为DMOS，DMOS＝100-MOS，其中，MOS表示主观评分均值，DMOS∈[0，100]；

⑦-c、根据步骤①至步骤⑥的过程，计算得到失真立体图像集中的失真的立体图像的左视点图像和对应的无失真的立体图像的左视点图像L_dis分别实施M级小波变换后得到的各自对应的3M+1个子带的小波系数矩阵的绝对差值矩阵的距离Q_l和失真立体图像集中的失真的立体图像的右视点图像和对应的无失真的立体图像的右视点图像L_dis分别实施M级小波变换后得到的各自对应的3M+1个子带的小波系数矩阵的绝对差值矩阵的距离Q_r；

⑦-d、采用线性加权的拟合方法拟合失真立体图像集中的每幅失真的立体图像的平均主观评分差值DMOS及每幅失真的立体图像各自对应的Q_l，得到Q^L的权值ω₁；采用线性加权的拟合方法拟合失真立体图像集中的每幅失真的立体图像的平均主观评分差值DMOS及每幅失真的立体图像各自对应的Q_r，得到Q^R的权值ω₂。

3.根据权利要求1或2所述的一种立体图像客观质量评价方法，其特征在于所述的步骤⑨中

和各自对应的区域划分系数矩阵Z^LR的获取过程为：

⑨-a、采用Sobel算子的水平方向模板提取

的水平方向梯度矩阵，记为PP_rh， $\begin{array}{c}{\mathrm{PP}}_{\mathrm{rh}}(i,j)=D_{\mathrm{LR}}^{\mathrm{org}}(i+2,j)-D_{\mathrm{LR}}^{\mathrm{org}}(i,j)+2\&times;D_{\mathrm{LR}}^{\mathrm{org}}(i+2,j+1)-\\ 2\&times;D_{\mathrm{LR}}^{\mathrm{org}}(i,j+1)+D_{\mathrm{LR}}^{\mathrm{org}}(i+2,j+2)-D_{\mathrm{LR}}^{\mathrm{org}}(i,j+2)\end{array},$ 采用Sobel算子的垂直方向模板提取

的垂直方向梯度矩阵，记为PP_rv， $\begin{array}{c}{\mathrm{PP}}_{\mathrm{rv}}(i,j)=D_{\mathrm{LR}}^{\mathrm{org}}(i,j+2)-D_{\mathrm{LR}}^{\mathrm{org}}(i,j)+2\&times;D_{\mathrm{LR}}^{\mathrm{org}}(i+1,j+2)-\\ 2\&times;D_{\mathrm{LR}}^{\mathrm{org}}(i+1,j)+D_{\mathrm{LR}}^{\mathrm{org}}(i+2,j+2)-D_{\mathrm{LR}}^{\mathrm{org}}(i+2,j)\end{array},$ 其中，PP_rh(i，j)为PP_rh中坐标为(i，j)处的系数，PP_rv(i，j)为PP_rv中坐标为(i，j)处的系数，

分别表示

中坐标位置为(i+2，j)、(i，j)、(i+2，j+1)、(i，j+1)、(i+2，j+2)、(i，j+2)、(i+1，j+2)、(i+1，j)的像素点的像素值；然后根据

的水平方向梯度矩阵PP_rh和的垂直方向梯度矩阵PP_rv，计算的梯度的幅度矩阵，记为PP_r，

其中，PP_r(i，j)为PP_r中坐标为(i，j)处的系数，0≤i＜(W-7)，0≤j＜(H-7)，W和H分别表示

和的宽度和高度。

采用Sobel算子的水平方向模板提取

的水平方向梯度矩阵，记为PP_dh， $\begin{array}{c}{\mathrm{PP}}_{\mathrm{dh}}(i,j)=D_{\mathrm{LR}}^{\mathrm{dis}}(i+2,j)-D_{\mathrm{LR}}^{\mathrm{dis}}(i,j)+2\&times;D_{\mathrm{LR}}^{\mathrm{dis}}(i+2,j+1)-\\ 2\&times;D_{\mathrm{LR}}^{\mathrm{dis}}(i,j+1)+D_{\mathrm{LR}}^{\mathrm{dis}}(i+2,j+2)-D_{\mathrm{LR}}^{\mathrm{dis}}(i,j+2)\end{array},$ 采用Sobel算子的垂直方向模板提取

的垂直方向梯度矩阵，记为PP_dv， $\begin{array}{c}{\mathrm{PP}}_{\mathrm{dv}}(i,j)=D_{\mathrm{LR}}^{\mathrm{dis}}(i,j+2)-D_{\mathrm{LR}}^{\mathrm{dis}}(i,j)+2\&times;D_{\mathrm{LR}}^{\mathrm{dis}}(i+1,j+2)-\\ 2\&times;D_{\mathrm{LR}}^{\mathrm{dis}}(i+1,j)+D_{\mathrm{LR}}^{\mathrm{dis}}(i+2,j+2)-D_{\mathrm{LR}}^{\mathrm{dis}}(i+2,j)\end{array},$ 其中，PP_dh(i，j)为PP_dh中坐标为(i，j)处的系数，PP_dv(i，j)为PP_dv中坐标为(i，j)处的系数，

分别表示

中坐标位置为(i+2，j)、(i，j)、(i+2，j+1)、(i，j+1)、(i+2，j+2)、(i，j+2)、(i+1，j+2)、(i+1，j)的像素点的像素值；然后根据

的水平方向梯度矩阵PP_dh和

的垂直方向梯度矩阵PP_dv，计算

的梯度的幅度矩阵，记为PP_d，

其中，PP_d(i，j)为PP_d中坐标为(i，j)处的系数。

⑨-b、根据

的梯度的幅度矩阵PP_r确定分割阈值TT，TT＝0.12×max(PP_r)，其中，max(PP_r)表示求PP_r中的最大值。

⑨-c、定义用来标记

和

实施区域分割后得到的强边缘区域和弱边缘区域系数矩阵为Z^LR；

⑨-d、将

中坐标为(p，q)的像素点的梯度幅值记为PP_r(p，q)，将

中坐标为(p，q)的像素点的梯度幅值记为PP_d(p，q)，如果PP_r(p，q)＞TT且PP_d(p，q)＞TT，则确定

和

中坐标为(p，q)的像素点均属于强边缘区域，将Z^LR中坐标为(p，q)处的系数Z^LR(p，q)置1；如果PP_r(p，q)＞TT且PP_d(p，q)＜TT，或者，PP_r(p，q)＜TT且PP_d(p，q)＞TT，则确定

和

中坐标为(p，q)的像素点均属于弱边缘区域，将Z^LR中坐标为(p，q)处的系数Z^LR(p，q)置0；其它情况时将Z^LR中坐标为(p，q)处的系数Z^LR(p，q)置-1，其中，0≤p＜(W-7)，0≤q＜(H-7)，W和H分别表示

和的宽度和高度。

4.根据权利要求3所述的一种立体图像客观质量评价方法，其特征在于所述的步骤⑩中对

实施方向分割，获取

对应的标记水平、垂直、对角和反对角四个方向的系数矩阵Y^org的具体过程为：

⑩-a、计算

的水平、垂直、对角和反对角四个方向的梯度图，将

的水平方向的梯度图记为O_h，将

的垂直方向的梯度图记为O_v，将

的对角方向的梯度图记为O_d，将

的反对角方向的梯度图记为O_a；

⑩-b、将O_h中坐标为(i，j)处的梯度幅值记为O_h(i，j)，将O_v中坐标为(i，j)处的梯度幅值记为O_v(i，j)，将O_d中坐标为(i，j)处的梯度幅值记为O_d(i，j)，将O_a中坐标为(i，j)处的梯度幅值记为O_a(i，j)，如果max(O_h(i，j)，O_v(i，j)，O_d(i，j)，O_a(i，j))＝O_h(i，j)，则确定中坐标(i，j)的像素点属于水平方向，Y^org(i，j)＝1，如果max(O_h(i，j)，O_v(i，j)，O_d(i，j)，O_a(i，j))＝O_v(i，j)，则确定

中坐标(i，j)的像素点属于垂直方向，Y^org(i，j)＝2，如果max(O_h(i，j)，O_v(i，j)，O_d(i，j)，O_a(i，j))＝O_d(i，j)，则确定

中坐标(i，j)的像素点属于对角方向，Y^org(i，j)＝3，如果max(O_h(i，j)，O_v(i，j)，O_d(i，j)，O_a(i，j))＝O_a(i，j)，则确定

中坐标(i，j)的像素点属于反对角方向，Y^org(i，j)＝4，其中，max()为求最大值函数，0≤i＜(W-7)，0≤j＜(H-7)；

⑩-c、根据步骤⑩-b得到

实施方向分割后对应的标记四个方向的系数矩阵Y^org，

采用与步骤⑩-a至步骤⑩-c相同的操作，对

实施方向分割，获取对应的标记水平、垂直、对角和反对角四个方向的系数矩阵Y^dis。

5.根据权利要求4所述的一种立体图像客观质量评价方法，其特征在于所述的步骤

中λ的获取过程为：

采用n幅无失真的立体图像建立其在不同失真类型不同失真程度下的失真立体图像集，该失真立体图像集包括多幅失真的立体图像，其中，n≥1；

采用主观质量评价方法获取失真立体图像集中的每幅失真的立体图像的平均主观评分差值，记为DMOS，DMOS＝100-MOS，其中，MOS表示主观评分均值，DMOS∈[0，100]；

根据步骤①至步骤

的过程，计算失真立体图像集中的每幅失真的立体图像相对于对应的无失真的立体图像的空间频率相似度度量Q_F和立体感知评价度量Q_s；

采用乘性的数学拟合方法Q＝Q_F×(Q_s)^-λ拟合失真立体图像集中的每幅失真的立体图像的平均主观评分差值DMOS及对应的Q_F和Q_s，得到λ值。

Images