CN103338379B - 一种基于机器学习的立体视频客观质量评价方法 - Google Patents

Abstract

本发明公开了一种基于机器学习的立体视频客观质量评价方法，其在评价单帧图像的亮度分量图的空域质量时，采用原始和失真的立体视频中的每帧图像的亮度分量图中的每个图像块经奇异值分解后的奇异向量的点积来衡量失真立体视频中的每帧图像的失真程度，由于奇异向量可以很好的反映图像的结构信息，以奇异向量的点积来衡量图像的质量因考虑到了结构信息的变化，因此评价结果能更客观地反映立体视频受到各种失真影响下的视觉质量的变化情况；其采用机器学习的方法来处理立体视频的左视点视频的质量和右视点视频的质量、左视点视频和右视点视频在视点间的差异程度与客观质量评价预测值之间的关系，可以有效地取得与人眼感知更一致的评价结果。

Description

一种基于机器学习的立体视频客观质量评价方法

技术领域

本发明涉及一种视频质量评价技术，尤其是涉及一种基于机器学习的立体视频客观质量评价方法。

背景技术

随着视频编码技术和3D显示技术的快速发展，3D视频成功地吸引了公众的眼球；由两个视点构成的立体视频是最简单的3D视频格式，3D视频的研究始于立体视频。立体视频在经过采集、处理等一系列的环节后，不可避免的会产生失真。立体视频质量评价就是对失真后的视频进行质量评估的技术，这对于立体视频技术的发展具有重要意义。

立体视频质量评价方法可以分为主观评价和客观评价两类方法，主观评价方法虽然可以得到更为准确的结果，但是其评价过程费时费力难以在实际应用中得到推广；客观评价方法具有操作简单、成本低和易于实现等特点，已成为立体视频质量评价的研究热点。

立体视频客观质量评价是一个新兴的研究领域，相应的研究工作极少。目前已有的客观质量评价方法大部分的思路是，直接采用2D图像/视频质量评价的方法对立体视频的每一个视频帧/每一视点进行评价，然后采用加性加权的方式组合得出立体视频的客观评价值。这种简单的以2D图像/视频质量评价的方法扩展而来的立体视频客观质量评价方法得出的客观结果与主观感知之间的一致性并不理想。

发明内容

本发明所要解决的技术问题是提供一种基于机器学习的立体视频客观质量评价方法，其能够客观地反映立体视频受到各种压缩和图像处理影响下视觉质量的变化情况，能够较好地与人类视觉系统感知相一致。

本发明解决上述技术问题所采用的技术方案为：一种基于机器学习的立体视频客观质量评价方法，其特征在于它的处理过程为：

通过对参考立体视频的左视点视频中的图像的亮度分量图中的所有尺寸大小一致的第一图像块，及失真的立体视频的左视点视频中的图像的亮度分量图中的所有尺寸大小一致的第一图像块实施奇异值分解，获取失真的立体视频的左视点视频的质量；

通过对参考立体视频的右视点视频中的图像的亮度分量图中的所有尺寸大小一致的第一图像块，及失真的立体视频的右视点视频中的图像的亮度分量图中的所有尺寸大小一致的第一图像块实施奇异值分解，获取失真的立体视频的右视点视频的质量；

通过计算参考立体视频的左视点视频与右视点视频中相对应的两帧图像的亮度分量图的绝对差值图中的每个尺寸大小为8×8的子块，与失真的立体视频的左视点视频与右视点视频中相对应的两帧图像的亮度分量图的绝对差值图中的每个尺寸大小为8×8的子块的结构相似度，获取失真的立体 视频的左视点视频与右视点视频在视点间的差异程度；

采用多个原始的无失真的立体视频，建立其在不同失真类型不同失真程度下的失真立体视频集合，该失真立体视频集合包括多个失真立体视频，然后利用主观质量评价方法分别评价出该失真立体视频集合中的每个失真立体视频的平均主观意见分，接着按照上述三个过程获取该失真立体视频集合中的每个失真立体视频的左视点视频的质量、右视点视频的质量、左视点视频与右视点视频在视点间的差异程度，再将每个失真立体视频的左视点视频的质量、右视点视频的质量、左视点视频与右视点视频在视点间的差异程度构成特征矢量；

将该失真立体视频集合中的所有失真立体视频分成训练集和测试集，然后采用支持向量回归作为机器学习的方法，对该训练集中的所有失真立体视频的特征矢量进行训练，并结合该训练集中的所有失真立体视频的平均主观意见分，得到支持向量回归训练模型，接着根据支持向量回归训练模型，对该测试集中的每个失真立体视频的特征矢量进行测试，预测得到该测试集中的每个失真立体视频的客观质量评价预测值。

本发明的基于机器学习的立体视频客观质量评价方法，它具体包括以下步骤：

①令R^(o)表示原始的无失真的立体视频，将R^(o)作为参考立体视频，令R^(d)表示与R^(o)相对应的失真立体视频，将R^(o)的左视点视频中的第k帧图像的亮度分量图记为将R^(o)的右视点视频中的第k帧图像的亮度分量图记为将R^(d)的左视点视频中的第k帧图像的亮度分量图记为 将R^(d)的右视点视频中的第k帧图像的亮度分量图记为其中，k为正整数，1≤k≤N_f，N_f表示左视点视频和右视点视频中包含的图像的帧数；

②计算R^(d)的左视点视频中的每帧图像的亮度分量图的空域质量，将R^(d)的左视点视频中的第k帧图像的亮度分量图的空域质量记为Q_L,k，其中，获取Q_L,k的主要过程为：首先，分别将和分割成多个互不重叠的尺寸大小一致的第一图像块；然后对和中的每个第一图像块实施奇异值分解，得到和中的每个第一图像块的左奇异向量矩阵、右奇异向量矩阵、奇异值的对角矩阵；接着，根据和中的每个第一图像块的左奇异向量矩阵和右奇异向量矩阵，获取与中所有的坐标位置相同的两个第一图像块的奇异向量的相似程度；最后，根据与 中所有的坐标位置相同的两个第一图像块的奇异向量的相似程度，获得的空域质量Q_L,k；

③根据R^(d)的左视点视频中的每帧图像的亮度分量图的空域质量，计算R^(d)的左视点视频的质量，记为Q_L，其中，w_L,k表示Q_L,k相对于时域上位于R^(d)的左视点视频中的第k帧图像之前的F帧图像各自的空域质量和时域上位于R^(d)的左视点视频中的第k帧图像之后 的F帧图像各自的空域质量的波动因子，  $w_{L,k}=\left\{\begin{array}{cc}1,& k=\mathrm{1,2},...,F\\ \frac{1}{2F}\underset{T=1}{\overset{F}{\mathrm{\Σ}}}\left(\right|Q_{L,k}-Q_{L,k-T}|+|Q_{L,k}-Q_{L,k+T}\left|\right),& k=F+1,F+2,...,N_f-F\\ 1,& k=N_f-F+1,N_f-F+2,...,N_f\end{array}\right.,$ F的值为1或2或3或4，Q_L,k-T表示R^(d)的左视点视频中的第k-T帧图像的亮度分量图的空域质量，Q_L,k+T表示R^(d)的左视点视频中的第k+T帧图像的亮度分量图的空域质量，符号“||”为取绝对值符号；

④计算R^(d)的右视点视频中的每帧图像的亮度分量图的空域质量，将R^(d)的右视点视频中的第k帧图像的亮度分量图的空域质量记为Q_R,k，其中，获取Q_R,k的主要过程为：首先，分别将和分割成多个互不重叠的尺寸大小一致的第二图像块；然后对和中的每个第二图像块实施奇异值分解，得到和中的每个第二图像块的左奇异向量矩阵、右奇异向量矩阵、奇异值的对角矩阵；接着，根据和中的每个第二图像块的左奇异向量矩阵和右奇异向量矩阵，获取与中所有的坐标位置相同的两个第二图像块的奇异向量的相似程度；最后，根据与 中所有的坐标位置相同的两个第二图像块的奇异向量的相似程度，获得的空域质量Q_R,k；

⑤根据R^(d)的右视点视频中的每帧图像的亮度分量图的空域质量，计算R^(d)的右视点视频的质量，记为Q_R，其中，w_R,k表示Q_R,k相对于时域上位于R^(d)的右视点视频中的第k帧图像之前的F帧图像各自的空域质量和时域上位于R^(d)的右视点视频中的第k帧图像之后的F帧图像各自的空域质量的波动因子，

$w_{R,k}=\left\{\begin{array}{cc}1,& k=\mathrm{1,2},...,F\\ \frac{1}{2F}\underset{T=1}{\overset{F}{\mathrm{\Σ}}}\left(\right|Q_{R,k}-Q_{R,k-T}|+|Q_{R,k}-Q_{R,k+T}\left|\right),& k=F+1,F+2,...,N_f-F\\ 1,& k=N_f-F+1,N_f-F+2,...,N_f\end{array}\right.,$ F的值为1或2或3或4，Q_R,k-T表示R^(d)的右视点视频中的第k-T帧图像的亮度分量图的空域质量，Q_R,k+T表示R^(d)的右视点视频中的第k+T帧图像的亮度分量图的空域质量；

⑥计算R^(o)的左视点视频与右视点视频中相对应的两帧图像的亮度分量图的绝对差值图，并计算R^(d)的左视点视频与右视点视频中相对应的两帧图像的亮度分量图的绝对差值图，然后计算R^(o) 对应的绝对差值图中的每个尺寸大小为8×8的子块与R^(d)对应的绝对差值图中对应的尺寸大小为8×8的子块的结构相似度，再根据R^(o)对应的绝对差值图中的每个尺寸大小为8×8的子块与R^(d)对应的绝对差值图中对应的尺寸大小为8×8的子块的结构相似度，计算R^(d)的左视点视频与右视点视频中相对应的两帧图像的亮度分量图在视点间差异的变化程度，将R^(d)的左视点视频中的第k帧图像的亮度分量图与R^(d)的右视点视频中的第k帧图像的亮度分量图在视点间差异的变化程度记为Q_D,k；

⑦根据R^(d)的左视点视频与右视点视频中相对应的两帧图像的亮度分量图在视点间差异的变化程度，计算R^(d)的左视点视频与右视点视频在视点间的差异程度，记为Q_D，其中，w_D,k表示Q_D,k相对于时域上位于R^(d)的左视点视频中的第k帧图像之前的F帧图像与R^(d)的右视点视频中的第k帧图像之前的F帧图像各自的亮度分量图在视点间差异的变化程度，及时域上位于R^(d)的左视点视频中的第k帧图像之后的F帧图像与R^(d)的右视点视频中的第k帧图像之后的F帧图像各自的亮度分量图在视点间差异的变化程度的波动因子，

$w_{D,k}=\left\{\begin{array}{cc}1,& k=\mathrm{1,2},...,F\\ \frac{1}{2F}\underset{T=1}{\overset{F}{\mathrm{\Σ}}}\left(\right|Q_{D,k}-Q_{D,k-T}|+|Q_{D,k}-Q_{D,k+T}\left|\right),& k=F+1,F+2,...,N_f-F\\ 1,& k=N_f-F+1,N_f-F+2,...,N_f\end{array}\right.,$ F的值为1或2或3或4，Q_D,k-T表示R^(d)的左视点视频中的第k-T帧图像的亮度分量图与R^(d)的右视点视频中的第k-T帧图像的亮度分量图在视点间差异的变化程度，Q_D,k+T分别R^(d)的左视点视频中的第k+T帧图像的亮度分量图与R^(d)的右视点视频中的第k+T帧图像的亮度分量图在视点间差异的变化程度；

⑧采用n'个原始的无失真的立体视频，建立其在不同失真类型不同失真程度下的失真立体视频集合，该失真立体视频集合包括多个失真立体视频，利用主观质量评价方法分别评价出该失真立体视频集合中的每个失真立体视频的平均主观意见分，将该失真立体视频集合中的第j个失真立体视频的平均主观意见分记为MOS_j，MOS_j∈[0,5]；然后按照步骤①至步骤⑦计算R^(d)的左视点视频的质量Q_L、R^(d)的右视点视频的质量Q_R及R^(d)的左视点视频与右视点视频在视点间的差异程度Q_D的操作，以相同的方式计算该失真立体视频集合中的每个失真立体视频的左视点视频的质量、该失真立体视频集合中的每个失真立体视频的右视点视频的质量、该失真立体视频集合中的每个失真 立体视频的左视点视频与右视点视频在视点间的差异程度，将该失真立体视频集合中的第j个失真立体视频的左视点视频的质量记为Q_L(j)，将该失真立体视频集合中的第j个失真立体视频的右视点视频的质量记为Q_R(j)，将该失真立体视频集合中的第j个失真立体视频的左视点视频与右视点视频在视点间的差异程度记为Q_D(j)；再由该失真立体视频集合中的每个失真立体视频的左视点视频的质量和右视点视频的质量、该失真立体视频集合中的每个失真立体视频的左视点视频与右视点视频在视点间的差异程度构成该失真立体视频集合中的每个失真立体视频的特征矢量，将该失真立体视频集合中的第j个失真立体视频的特征矢量记为x_j，x_j=(Q_L(j),Q_R(j),Q_D(j))；其中，n'>1，1≤j≤N'，N'表示该失真立体视频集合中包含的失真立体视频的个数；

⑨将该失真立体视频集合中的所有失真立体视频分成训练集和测试集，然后采用支持向量回归作为机器学习的方法，对该训练集中的所有失真立体视频的特征矢量进行训练，使得经过训练得到的回归函数值与平均主观意见分之间的误差最小，拟合得到最优的权值矢量W^opt和最优的偏置项b^opt，接着利用W^opt和b^opt构造得到支持向量回归训练模型，再根据支持向量回归训练模型，对该测试集中的每个失真立体视频的特征矢量进行测试，预测得到该测试集中的每个失真立体视频的客观质量评价预测值，将该测试集中的第k'个失真立体视频的客观质量评价预测值记为Q_k'，Q_k'=f(x_k')，其中，1≤k'≤t'，t'表示该测试集中包含的失真立体视频的个数，f()为函数表示形式，x_k'表示测试集中的第k'个失真立体视频的特征矢量，Q_k'=f(x_k')表示该测试集中的第k'个失真立体视频的客观质量评价预测值Q_k'是该测试集中的第k'个失真立体视频的特征矢量x_k'的函数，(W^opt)^T为W^opt的转置矢量，表示该测试集中的第k'个失真立体视频的线性函数。

所述的步骤②中R^(d)的左视点视频中的第k帧图像的亮度分量图的空域质量Q_L,k的具体获取过程为：

②-1、分别将和分割成个互不重叠的尺寸大小为c×r的第一图像块，其中，W表示左视点视频中的图像和右视点视频中的图像的宽度，H表示左视点视频中的图像和右视点视频中的图像的高度，c的取值为能被W整除，r的取值为能被H整除；

②-2、对中的每个第一图像块实施奇异值分解，得到中的每个第一图像块的左奇异向量矩阵、右奇异向量矩阵和奇异值的对角矩阵；并对中的每个第一图像块实施奇异值分解，得 到中的每个第一图像块的左奇异向量矩阵、右奇异向量矩阵和奇异值的对角矩阵；

②-3、根据中的每个第一图像块的左奇异向量矩阵和右奇异向量矩阵、中的每个第一图像块的左奇异向量矩阵和右奇异向量矩阵，计算与中所有的坐标位置相同的两个第一图像块的奇异向量的相似度矢量，将中的第i个第一图像块与中的第i个第一图像块的奇异向量的相似度矢量记为Γ_L,i，Γ_L,i=[γ₁…γ_q…γ_τ]，其中，i为正整数，1≤i≤N_block，γ₁=|α₁+β₁|，  ${\mathrm{\α}}_1=u_1^{\left(o\right)}\·u_1^{\left(d\right)},$ ${\mathrm{\β}}_1=v_1^{\left(o\right)}\·v_1^{\left(d\right)},$ γ_q=|α_q+β_q|， ${\mathrm{\α}}_q=u_q^{\left(o\right)}\·u_q^{\left(d\right)},$ ${\mathrm{\β}}_q=v_q^{\left(o\right)}\·v_q^{\left(d\right)},$ γ_τ=|α_τ+β_τ|，  ${\mathrm{\α}}_{\mathrm{\τ}}=u_{\mathrm{\τ}}^{\left(o\right)}\·u_{\mathrm{\τ}}^{\left(d\right)},$ ${\mathrm{\β}}_{\mathrm{\τ}}=v_{\mathrm{\τ}}^{\left(o\right)}\·v_{\mathrm{\τ}}^{\left(d\right)},$ 分别表示中的第i个第一图像块的左奇异向量矩阵中的第1个、第q个、第τ个左奇异向量， 分别表示中的第i个第一图像块的右奇异向量矩阵中的第1个、第q个、第τ个右奇异向量，分别表示中的第i个第一图像块的左奇异向量矩阵中的第1个、第q个、第τ个左奇异向量，分别表示中的第i个第一图像块的右奇异向量矩阵中的第1个、第q个、第τ个右奇异向量，q为正整数，1≤q≤τ，在此τ为第一图像块的奇异值的对角矩阵中的奇异值的个数，符号“||”为取绝对值符号；

②-4、根据与中所有的坐标位置相同的两个第一图像块的奇异向量的相似度矢量，计算与中所有的坐标位置相同的两个第一图像块的奇异向量的相似程度，将中的第i个第一图像块与中的第i个第一图像块的奇异向量的相似程度记为S_L,i,其中，ln()为以自然基数e为底的对数函数；

②-5、根据与中所有的坐标位置相同的两个第一图像块的奇异向量的相似程度，计算 的空域质量，记为Q_L,k， $Q_{L,k}=\frac{1}{N_{\mathrm{block}}}\underset{i=1}{\overset{N_{\mathrm{block}}}{\mathrm{\Σ}}}{S}_{L,i}.$

所述的步骤②-2的具体过程为：

②-2a、将中当前待处理的第i个第一图像块定义为当前第一图像块，其中，i为正整数， 1≤i≤N_block；

②-2b、将当前第一图像块以矩阵形式表示为对实施奇异值分解，  $I_{L,i}^{\left(o\right)}=U_{L,i}^{\left(o\right)}{\mathrm{\σ}}_{L,i}^{\left(o\right)}{\left(V_{L,i}^{\left(o\right)}\right)}^T=[u_1^{\left(o\right)}{u}_2^{\left(o\right)}...u_m^{\left(o\right)}{...u}_r^{\left(o\right)}]\×\mathrm{diag}({\mathrm{\σ}}_1^{\left(o\right)}{\mathrm{\σ}}_2^{\left(o\right)}...{\mathrm{\σ}}_q^{\left(o\right)}...{\mathrm{\σ}}_{\mathrm{\τ}}^{\left(o\right)})\×[v_1^{\left(o\right)}{v}_2^{\left(o\right)}...v_n^{\left(o\right)}...v_c^{\left(o\right)}],$ 其中，为的左奇异向量矩阵，为的转置矩阵，为的右奇异向量矩阵，为的奇异值的对角矩阵，对角线上的元素为奇异值，且其值按照从大到小的顺序进行排列，1≤m≤r，分别表示中的第1个、第2个、…、第m个、…、第r个左奇异向量，1≤q≤τ，τ=min(r,c)，min()为最小值函数，diag()为对角矩阵表示符号， 分别表示中的第1个、第2个、…、第q个、…、第τ个奇异值，1≤n≤c， 分别表示中的第1个、第2个、…、第n个、…、第c个右奇异向量；

②-2c、令i=i+1，将中下一个待处理的第一图像块作为当前第一图像块，然后返回步骤②-2b继续执行，直至中的所有第一图像块处理完毕，得到中的每个第一图像块的左奇异向量矩阵、右奇异向量矩阵和奇异值的对角矩阵，其中，i=i+1中的“=”为赋值符号；

②-2d、将中当前待处理的第i个第一图像块定义为当前第一图像块，其中，i为正整数，1≤i≤N_block；

②-2e、将当前第一图像块以矩阵形式表示为对实施奇异值分解，  $I_{L,i}^{\left(d\right)}=U_{L,i}^{\left(d\right)}{\mathrm{\σ}}_{L,i}^{\left(d\right)}{\left(V_{L,i}^{\left(d\right)}\right)}^T=[u_1^{\left(d\right)}{u}_2^{\left(d\right)}...u_m^{\left(d\right)}{...u}_r^{\left(d\right)}]\×\mathrm{diag}({\mathrm{\σ}}_1^{\left(d\right)}{\mathrm{\σ}}_2^{\left(d\right)}...{\mathrm{\σ}}_q^{\left(d\right)}...{\mathrm{\σ}}_{\mathrm{\τ}}^{\left(d\right)})\×[v_1^{\left(d\right)}{v}_2^{\left(d\right)}...v_n^{\left(d\right)}...v_c^{\left(d\right)}],$ 其中，为的左奇异向量矩阵，为的转置矩阵，为的右奇异向量矩阵， 为的奇异值的对角矩阵，对角线上的元素为奇异值，且其值按照从大到小的顺序进行排列，1≤m≤r，分别表示中的第1个、第2个、…、第m个、…、第r个左奇异向量，1≤q≤τ，τ=min(r,c)，min()为最小值函数，diag()为对角矩阵表示符号，分别表示中的第1个、第2个、…、第q个、…、第τ个奇异值，1≤n≤c，分别表示中的第1个、第2个、…、第n个、…、第c 个右奇异向量；

②-2f、令i=i+1，将中下一个待处理的第一图像块作为当前第一图像块，然后返回步骤②-2e继续执行，直至中的所有第一图像块处理完毕，得到中的每个第一图像块的左奇异向量矩阵、右奇异向量矩阵和奇异值的对角矩阵，其中，i=i+1中的“=”为赋值符号。

所述的步骤④中R^(d)的右视点视频中的第k帧图像的亮度分量图的空域质量的空域质量Q_R,k的具体获取过程为：

④-1、分别将和分割成个互不重叠的尺寸大小为c×r的第二图像块，其中，W表示左视点视频中的图像和右视点视频中的图像的宽度，H表示左视点视频中的图像和右视点视频中的图像的高度，c的取值为能被W整除，r的取值为能被H整除；

④-2、对中的每个第二图像块实施奇异值分解，得到中的每个第二图像块的左奇异向量矩阵、右奇异向量矩阵和奇异值的对角矩阵；并对中的每个第二图像块实施奇异值分解，得到中的每个第二图像块的左奇异向量矩阵、右奇异向量矩阵和奇异值的对角矩阵；

④-3、根据中的每个第二图像块的左奇异向量矩阵和右奇异向量矩阵、中的每个第二图像块的左奇异向量矩阵和右奇异向量矩阵，计算与中所有的坐标位置相同的两个第二图像块的奇异向量的相似度矢量，将中的第i个第二图像块与中的第i个第二图像块的奇异向量的相似度矢量记为Γ_R,i，Γ_R,i=[γ₁'…γ_q'…γ_τ']，其中，i为正整数，1≤i≤N_block，γ₁'=|α₁'+β₁'|， ${{\mathrm{\α}}_1}^{\′}=u_1^{\′\left(o\right)}\·u_1^{\′\left(d\right)},$ ${{\mathrm{\β}}_1}^{\′}=v_1^{\′\left(o\right)}\·v_1^{\′\left(d\right)},$ γ_q'=|α_q'+β_q'|， ${{\mathrm{\α}}_q}^{\′}=u_q^{\′\left(o\right)}\·u_q^{\′\left(d\right)},$ ${{\mathrm{\β}}_q}^{\′}=v_q^{\′\left(o\right)}\·v_q^{\′\left(d\right)},$ γ_τ'=|α_τ'+β_τ'|， ${{\mathrm{\α}}_{\mathrm{\τ}}}^{\′}=u_{\mathrm{\τ}}^{\′\left(o\right)}\·u_{\mathrm{\τ}}^{\left(d\right)},$ ${{\mathrm{\β}}_{\mathrm{\τ}}}^{\′}=v_{\mathrm{\τ}}^{\′\left(o\right)}\·v_{\mathrm{\τ}}^{\′\left(d\right)},$ 分别表示中的第i个第二图像块的左奇异向量矩阵中的第1个、第q个、第τ个左奇异向量， 分别表示中的第i个第二图像块的右奇异向量矩阵中的第1个、第q个、第τ个右奇异向量，分别表示中的第i个第二图像块的左奇异向量矩阵中的第1个、第q个、第τ个左奇异向量，分别表示中的第i个第二图像块的右奇异向量矩阵中的第1个、第q个、第τ个右奇异向量，q为正整数，1≤q≤τ，在此τ为第二图像块的奇 异值的对角矩阵中的奇异值的个数，符号“||”为取绝对值符号；

④-4、根据与中所有的坐标位置相同的两个第二图像块的奇异向量的相似度矢量，计算与中所有的坐标位置相同的两个第二图像块的奇异向量的相似程度，将中的第i个第二图像块与中的第i个第二图像块的奇异向量的相似程度记为S_R,i,其中，ln()为以自然基数e为底的对数函数；

④-5、根据与中所有的坐标位置相同的两个第二图像块的奇异向量的相似程度，计算 的空域质量，记为Q_R,k， $Q_{R,k}=\frac{1}{N_{\mathrm{block}}}\underset{i=1}{\overset{N_{\mathrm{block}}}{\mathrm{\Σ}}}{S}_{R,i}.$

所述的步骤④-2的具体过程为：

④-2a、将中当前待处理的第i个第二图像块定义为当前第二图像块，其中，i为正整数，1≤i≤N_block；

④-2b、将当前第二图像块以矩阵形式表示为对实施奇异值分解，  $I_{R,i}^{\left(o\right)}=U_{R,i}^{\left(o\right)}{\mathrm{\σ}}_{R,i}^{\left(o\right)}{\left(V_{R,i}^{\left(o\right)}\right)}^T=[u_1^{\′\left(o\right)}{u}_2^{\′\left(o\right)}...u_m^{\′\left(o\right)}{...u}_r^{\′\left(o\right)}]\×\mathrm{diag}({\mathrm{\σ}}_1^{\′\left(o\right)}{\mathrm{\σ}}_2^{\′\left(o\right)}...{\mathrm{\σ}}_q^{\′\left(o\right)}...{\mathrm{\σ}}_{\mathrm{\τ}}^{\′\left(o\right)})\×[v_1^{\′\left(o\right)}{v}_2^{\′\left(o\right)}...v_n^{\′\left(o\right)}...v_c^{\′\left(o\right)}]$ ，其中，为的左奇异向量矩阵，为的转置矩阵，为的右奇异向量矩阵， 为的奇异值的对角矩阵，对角线上的元素为奇异值，且其值按照从大到小的顺序进行排列，1≤m≤r，分别表示中的第1个、第2个、…、第m个、…、第r个左奇异向量，1≤q≤τ，τ=min(r,c)，min()为最小值函数，diag()为对角矩阵表示符号，分别表示中的第1个、第2个、…、第q个、…、第τ个奇异值，1≤n≤c，分别表示中的第1个、第2个、…、第n个、…、第c个右奇异向量；

④-2c、令i=i+1，将中下一个待处理的第二图像块作为当前第二图像块，然后返回步骤④-2b继续执行，直至中的所有第二图像块处理完毕，得到中的每个第二图像块的左奇异向 量矩阵、右奇异向量矩阵和奇异值的对角矩阵，其中，i=i+1中的“=”为赋值符号；

④-2d、将中当前待处理的第i个第二图像块定义为当前第二图像块，其中，i为正整数，1≤i≤N_block；

④-2e、将当前第二图像块以矩阵形式表示为对实施奇异值分解，  $I_{R,i}^{\left(d\right)}=U_{R,i}^{\left(d\right)}{\mathrm{\σ}}_{R,i}^{\left(d\right)}{\left(V_{R,i}^{\left(d\right)}\right)}^T=[u_1^{\′\left(d\right)}{u}_2^{\′\left(d\right)}...u_m^{\′\left(d\right)}{...u}_r^{\′\left(d\right)}]\×\mathrm{diag}({\mathrm{\σ}}_1^{\′\left(d\right)}{\mathrm{\σ}}_2^{\′\left(d\right)}...{\mathrm{\σ}}_q^{\′\left(d\right)}...{\mathrm{\σ}}_{\mathrm{\τ}}^{\′\left(d\right)})\×[v_1^{\′\left(d\right)}{v}_2^{\′\left(d\right)}...v_n^{\′\left(d\right)}...v_c^{\′\left(d\right)}]$ ，其中，为的左奇异向量矩阵，为的转置矩阵，为的右奇异向量矩阵，为的奇异值的对角矩阵，对角线上的元素为奇异值，且其值按照从大到小的顺序进行排列，1≤m≤r，分别表示中的第1个、第2个、…、第m个、…、第r个左奇异向量，1≤q≤τ，τ=min(r,c)，min()为最小值函数，diag()为对角矩阵表示符号，分别表示中的第1个、第2个、…、第q个、…、第τ个奇异值，1≤n≤c，分别表示中的第1个、第2个、…、第n个、…、第c个右奇异向量；

④-2f、令i=i+1，将中下一个待处理的第二图像块作为当前第二图像块，然后返回步骤④-2e继续执行，直至中的所有第二图像块处理完毕，得到中的每个第二图像块的左奇异向量矩阵、右奇异向量矩阵和奇异值的对角矩阵，其中，i=i+1中的“=”为赋值符号。

所述的步骤⑥中R^(d)的左视点视频中的第k帧图像的亮度分量图与R^(d)的右视点视频中的第k帧图像的亮度分量图在视点间差异的变化程度Q_D,k的具体获取过程为：

⑥-1、计算R^(o)的左视点视频中的第k帧图像的亮度分量图与R^(o)的右视点视频中的第k帧图像的亮度分量图的绝对差值图，记为 其中，符号“||”为取绝对值符号；

⑥-2、计算R^(d)的左视点视频中的第k帧图像的亮度分量图与R^(d)的右视点视频中的第k帧图像的亮度分量图的绝对差值图记为

⑥-3、采用尺寸大小为8×8的滑动窗口在中逐像素点滑动，将分割成 (W-7)×(H-7)个相重叠的尺寸大小为8×8的子块，同样采用尺寸大小为8×8的滑动窗口在 中逐像素点滑动，将分割成(W-7)×(H-7)个相重叠的尺寸大小为8×8的子块，然后计算和中所有的坐标位置相同的两个子块的结构相似度，将中左上角像素点的坐标位置为(x,y)的子块和中左上角像素点的坐标位置为(x,y)的子块的结构相似度记为SSIM_(x,y)，  ${\mathrm{SSIM}}_{(x,y)}=\frac{({2\mathrm{\μ}}_{(x,y)}^{\left(o\right)}{\mathrm{\μ}}_{(x,y)}^{\left(d\right)}+C_1)({2\mathrm{\σ}}_{(x,y)}^{\mathrm{Cov}}+C_2)}{({\left({\mathrm{\μ}}_{(x,y)}^{\left(o\right)}\right)}^2+{\left({\mathrm{\μ}}_{(x,y)}^{\left(d\right)}\right)}^2+C_1)({\left({\mathrm{\σ}}_{(x,y)}^{\left(o\right)}\right)}^2+{\left({\mathrm{\σ}}_{(x,y)}^{\left(d\right)}\right)}^2+C_2)},$ 其中，W表示左视点视频中的图像和右视点视频中的图像的宽度，H表示左视点视频中的图像和右视点视频中的图像的高度，1≤x≤W-7,1≤y≤H-7，表示中左上角像素点的坐标位置为(x,y)的子块中的所有像素点的亮度值的均值，表示中左上角像素点的坐标位置为(x,y)的子块中的所有像素点的亮度值的均值，表示中左上角像素点的坐标位置为(x,y)的子块中的所有像素点的亮度值的方差，表示中左上角像素点的坐标位置为(x,y)的子块中的所有像素点的亮度值的方差，表示中左上角像素点的坐标位置为(x,y)的子块中的所有像素点的亮度值与中左上角像素点的坐标位置为(x,y)的子块中的所有像素点的亮度值的协方差，C₁和C₂均为常数，C₁≠0,C₂≠0；

⑥-4、根据和中所有的坐标位置相同的两个子块的结构相似度，计算R^(d)的左视点视频中的第k帧图像的亮度分量图与R^(d)的右视点视频中的第k帧图像的亮度分量图在视点间差异的变化程度，记为Q_D,k， $Q_{D,k}=\frac{1}{(W-7)\×(H-7)}\underset{x=1}{\overset{W-7}{\mathrm{\Σ}}}\underset{y=1}{\overset{H-7}{\mathrm{\Σ}}}{\mathrm{SSIM}}_{(x,y)}.$

所述的步骤⑥-3中取C₁=6.5025，C₂=58.5225。

所述的步骤⑨的具体过程为：

⑨-1、将该失真立体视频集合中的所有失真立体视频按来源分为n'组，然后从n'组中选出组，再将选出的组中的所有失真立体视频构成训练集，将未被选出的组中的所有失真 立体视频构成测试集，或将选出的组中的所有失真立体视频构成测试集，将未被选出的 组中的所有失真立体视频构成训练集，其中，符号为向下取整符号；

⑨-2、将训练集中的所有失真立体视频的特征矢量和平均主观意见分构成训练样本数据集，记为Ω_t，{x_k,MOS_k}∈Ω_t，其中，x_k表示Ω_t中的第k个失真立体视频的特征矢量，MOS_k表示Ω_t中的第k个失真立体视频的平均主观意见分，1≤k≤t，t表示训练集中包含的失真立体视频的个数；

⑨-3、构造Ω_t中的每个失真立体视频的特征矢量的回归函数，将Ω_t中的第k个失真立体视频的特征矢量x_k的回归函数记为f(x_k)，其中，f()为函数表示形式，W^T为权值矢量W的转置矢量，b为偏置项，表示Ω_t中的第k个失真立体视频的特征矢量x_k的线性函数，K(x_k,x_l)为支持向量回归中的核函数，K(x_k,x_l)=(x_kx_l ^T+1)²，x_l ^T为x_l的转置矢量，x_l表示Ω_t中的第l个失真立体视频的特征矢量；

⑨-4、采用支持向量回归作为机器学习的方法，对Ω_t中的所有失真立体视频的特征矢量进行训练，使得经过训练得到的回归函数值与平均主观意见分之间的误差最小，拟合得到最优的权值矢量W^opt和最优的偏置项b^opt，然后将最优的权值矢量W^opt和最优的偏置项b^opt的组合记为(W^opt,b^opt)， $(W^{\mathrm{opt}},b^{\mathrm{opt}})=\underset{(W,b)\∈\mathrm{\ψ}}{\arg \min }\underset{k=1}{\overset{t}{\mathrm{\Σ}}}{(f\left(x_k\right)-{\mathrm{MOS}}_k)}^2,$ 再利用得到的最优的权值矢量W^opt和最优的偏置项b^opt构造支持向量回归训练模型，记为f(x_input)，

其中，ψ表示对Ω_t中的所有失真立体视频的特征矢量进行训练时的权重矢量和偏置项的所有可能的组合的集合，表示最小化概率密度函数，x_input表示支持向量回归训练模型的输入矢量，(W^opt)^T为W^opt的转置矢量，表示支持向量回归训练模型的输入矢量x_input的线性函数；

⑨-5、根据支持向量回归训练模型，对测试集中的每个失真立体视频的特征矢量进行测试，预测得到测试集中的每个失真立体视频的客观质量评价预测值，将测试集中的第k'个失真立体视频的客观质量评价预测值记为Q_k'，Q_k'=f(x_k')，其中，1≤k'≤t'， t'表示测试集中包含的失真立体视频的个数，x_k'表示测试集中的第k'个失真立体视频的特征矢量， 表示测试集中的第k'个失真立体视频的线性函数。

与现有技术相比，本发明的优点在于：

1）本发明方法在评价单帧图像的亮度分量图的空域质量时，采用原始和相应失真立体视频中的每帧图像的亮度分量图中的每个图像块经奇异值分解后的奇异向量的点积来衡量失真立体视频中的每帧图像的失真程度，由于奇异向量可以很好的反映图像的结构信息，以奇异向量的点积来衡量图像的质量因考虑到了结构信息的变化，因此评价结果能更客观地反映立体视频受到各种失真影响下的视觉质量的变化情况。

2）本发明方法采用机器学习的方法来处理立体视频的左视点视频的质量、立体视频的右视点视频的质量、立体视频的左视点视频和右视点视频在视点间的差异程度与立体视频的客观质量评价预测值之间的关系，可以有效地取得与人眼感知更一致的评价结果。

3）本发明方法在奇异值分解的过程中，采用了分块分解的方法，这样对于不同的应用选用不同大小的分块可以在评价性能和效率上进行权衡，可以得到更适合某种应用的评价方法。

附图说明

图1为本发明方法的总体实现框图；

图2a为两个失真的立体视频的左视点视频中的每帧图像的亮度分量图的空域质量在时域上的波动示意图；

图2b为两个失真的立体视频的右视点视频中的每帧图像的亮度分量图的空域质量在时域上的波动示意图；

图2c为两个失真的立体视频的左视点视频与右视点视频中的每帧图像的亮度分量图在视点间差异的变化程度在时域上的波动示意图；

图3a为Barrier gate(1920×1080)立体视频序列；

图3b为Basket(1920×1080)立体视频序列；

图3c为Boxers(1920×1080)立体视频序列；

图3d为Hall(1920×1080)立体视频序列；

图3e为Lab(1920×1080)立体视频序列；

图3f为News report(1920×1080)立体视频序列；

图3g为Phone call(1920×1080)立体视频序列；

图3h为Soccer(1920×1080)立体视频序列；

图3i为Tree branches(1920×1080)立体视频序列；

图3j为Umbrella(1920×1080)立体视频序列。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

在观看立体视频的时候，人的两只眼睛是分别接受左视点视频和右视点视频的，左眼看到左视点视频，右眼看到右视点视频。由于两个视点之间存在着差异，进而在大脑中形成立体感。另有研 究表明，这三者之间是一种极为复杂的关系，简单的线性加权方式无法准确的衡量立体视频的质量。本发明根据人类视觉系统中存在的上述特点，提出了一种基于机器学习的立体视频客观质量评价方法，首先将影响立体视频质量的因素分为三个方面：左视点视频的质量、右视点视频的质量以及视点间的差异程度；然后利用支持向量回归作为机器学习的方法，通过对样本的训练得出三者之间的关系模型，最后采用该关系模型来预测得到立体视频的客观质量评价预测值。

本发明的基于机器学习的立体视频客观质量评价方法，其总体实现框图如图1所示，其处理过程为：

通过对参考立体视频的左视点视频中的图像的亮度分量图中的所有尺寸大小一致的第一图像块，及失真的立体视频的左视点视频中的图像的亮度分量图中的所有尺寸大小一致的第一图像块实施奇异值分解，获取失真的立体视频的左视点视频的质量；

通过对参考立体视频的右视点视频中的图像的亮度分量图中的所有尺寸大小一致的第一图像块，及失真的立体视频的右视点视频中的图像的亮度分量图中的所有尺寸大小一致的第一图像块实施奇异值分解，获取失真的立体视频的右视点视频的质量；

通过计算参考立体视频的左视点视频与右视点视频中相对应的两帧图像的亮度分量图的绝对差值图中的每个尺寸大小为8×8的子块，与失真的立体视频的左视点视频与右视点视频中相对应的两帧图像的亮度分量图的绝对差值图中的每个尺寸大小为8×8的子块的结构相似度，获取失真的立体视频的左视点视频与右视点视频在视点间的差异程度；

采用多个原始的无失真的立体视频，建立其在不同失真类型不同失真程度下的失真立体视频集合，该失真立体视频集合包括多个失真立体视频，然后利用主观质量评价方法分别评价出该失真立体视频集合中的每个失真立体视频的平均主观意见分，接着按照上述三个过程获取该失真立体视频集合中的每个失真立体视频的左视点视频的质量、右视点视频的质量、左视点视频与右视点视频在视点间的差异程度，再将每个失真立体视频的左视点视频的质量、右视点视频的质量、左视点视频与右视点视频在视点间的差异程度构成特征矢量；

将该失真立体视频集合中的所有失真立体视频分成训练集和测试集，然后采用支持向量回归作为机器学习的方法，对该训练集中的所有失真立体视频的特征矢量进行训练，并结合该训练集中的所有失真立体视频的平均主观意见分，得到支持向量回归训练模型，接着根据支持向量回归训练模型，对该测试集中的每个失真立体视频的特征矢量进行测试，预测得到该测试集中的每个失真立体视频的客观质量评价预测值。

本发明的立体视频客观质量评价方法具体包括以下步骤：

①令R^(o)表示原始的无失真的立体视频，将R^(o)作为参考立体视频，令R^(d)表示与R^(o)相对应的失真立体视频，将R^(o)的左视点视频中的第k帧图像的亮度分量图记为将R^(o)的右视点视频中的第k帧图像的亮度分量图记为将R^(d)的左视点视频中的第k帧图像的亮度分量图记为 将R^(d)的右视点视频中的第k帧图像的亮度分量图记为,其中，k为正整数，1≤k≤N_f，N_f表示左视点视频和右视点视频中包含的图像的帧数。

②计算R^(d)的左视点视频中的每帧图像的亮度分量图的空域质量，将R^(d)的左视点视频中的第k帧图像的亮度分量图的空域质量记为Q_L,k，其中，获取Q_L,k的主要过程为：首先，分别将 和分割成多个互不重叠的尺寸大小一致的第一图像块；然后对和中的每个第一图像块实施奇异值分解，得到和中的每个第一图像块的左奇异向量矩阵、右奇异向量矩阵、奇异值的对角矩阵；接着，根据和中的每个第一图像块的左奇异向量矩阵和右奇异向量矩阵，获取与中所有的坐标位置相同的两个第一图像块的奇异向量的相似程度；最后，根据与 中所有的坐标位置相同的两个第一图像块的奇异向量的相似程度，获得的空域质量Q_L,k。

在此具体实施例中，步骤②中R^(d)的左视点视频中的第k帧图像的亮度分量图的空域质量Q_L,k的具体获取过程为：

②-1、分别将和分割成个互不重叠的尺寸大小为c×r的第一图像块，其中，W表示左视点视频中的图像和右视点视频中的图像的宽度，H表示左视点视频中的图像和右视点视频中的图像的高度，c的取值为能被W整除，r的取值为能被H整除；在此，要求c的取值能够被W整除，同时r的取值能够被H整除，当图像的尺寸较小时，则c×r可取值为8×8或16×16或32×32，当图像的尺寸较大时，则c×r的取值应适当取大一点，如取c×r=120×120，一般情况下第一图像块的尺寸较大时虽然能够提高计算精度，但同时也会增加计算复杂度。

②-2、对中的每个第一图像块实施奇异值分解，得到中的每个第一图像块的左奇异向量矩阵、右奇异向量矩阵和奇异值的对角矩阵；并对中的每个第一图像块实施奇异值分解，得到中的每个第一图像块的左奇异向量矩阵、右奇异向量矩阵和奇异值的对角矩阵。

在此，步骤②-2的具体过程为：

②-2a、将中当前待处理的第i个第一图像块定义为当前第一图像块，其中，i为正整数，1≤i≤N_block。

②-2b、将当前第一图像块以矩阵形式表示为对实施奇异值分解，  $I_{L,i}^{\left(o\right)}=U_{L,i}^{\left(o\right)}{\mathrm{\σ}}_{L,i}^{\left(o\right)}{\left(V_{L,i}^{\left(o\right)}\right)}^T=[u_1^{\left(o\right)}{u}_2^{\left(o\right)}...u_m^{\left(o\right)}{...u}_r^{\left(o\right)}]\×\mathrm{diag}({\mathrm{\σ}}_1^{\left(o\right)}{\mathrm{\σ}}_2^{\left(o\right)}...{\mathrm{\σ}}_q^{\left(o\right)}...{\mathrm{\σ}}_{\mathrm{\τ}}^{\left(o\right)})\×[v_1^{\left(o\right)}{v}_2^{\left(o\right)}...v_n^{\left(o\right)}...v_c^{\left(o\right)}],$ 其中，为的左奇异向量矩阵，为的转置矩阵，为的右奇异向量矩阵，为的奇异值的对角矩阵，和为酉矩阵，对角线上的元素为奇异值，且其值按照从大到小的顺序进行排列，1≤m≤r，分别表示中的第1个、第2个、…、 第m个、…、第r个左奇异向量，且每个左奇异向量的模均为1，1≤q≤τ，τ=min(r,c)，min()为最小值函数，diag()为对角矩阵表示符号，分别表示中的第1个、第2个、…、第q个、…、第τ个奇异值，1≤n≤c，分别表示中的第1个、第2个、…、第n个、…、第c个右奇异向量，且每个右奇异向量的模均为1。

②-2c、令i=i+1，将中下一个待处理的第一图像块作为当前第一图像块，然后返回步骤②-2b继续执行，直至中的所有第一图像块处理完毕，得到中的每个第一图像块的左奇异向量矩阵、右奇异向量矩阵和奇异值的对角矩阵，其中，i=i+1中的“=”为赋值符号。

②-2d、将)中当前待处理的第i个第一图像块定义为当前第一图像块，其中，i为正整数，1≤i≤N_block。

②-2e、将当前第一图像块以矩阵形式表示为对实施奇异值分解，  $I_{L,i}^{\left(d\right)}=U_{L,i}^{\left(d\right)}{\mathrm{\σ}}_{L,i}^{\left(d\right)}{\left(V_{L,i}^{\left(d\right)}\right)}^T=[u_1^{\left(d\right)}{u}_2^{\left(d\right)}...u_m^{\left(d\right)}{...u}_r^{\left(d\right)}]\×\mathrm{diag}({\mathrm{\σ}}_1^{\left(d\right)}{\mathrm{\σ}}_2^{\left(d\right)}...{\mathrm{\σ}}_q^{\left(d\right)}...{\mathrm{\σ}}_{\mathrm{\τ}}^{\left(d\right)})\×[v_1^{\left(d\right)}{v}_2^{\left(d\right)}...v_n^{\left(d\right)}...v_c^{\left(d\right)}],$ 其中，为的左奇异向量矩阵，为的转置矩阵，为的右奇异向量矩阵， 为的奇异值的对角矩阵，和为酉矩阵，对角线上的元素为奇异值，且其值按照从大到小的顺序进行排列，1≤m≤r，分别表示中的第1个、第2个、…、第m个、…、第r个左奇异向量，且每个左奇异向量的模均为1，1≤q≤τ，τ=min(r,c)，min()为最小值函数，diag()为对角矩阵表示符号，分别表示中的第1个、第2个、…、第q个、…、第τ个奇异值，1≤n≤c，分别表示 中的第1个、第2个、…、第n个、…、第c个右奇异向量，且每个右奇异向量的模均为1。

②-2f、令i=i+1，将中下一个待处理的第一图像块作为当前第一图像块，然后返回步骤②-2e继续执行，直至中的所有第一图像块处理完毕，得到中的每个第一图像块的左奇异向量矩阵、右奇异向量矩阵和奇异值的对角矩阵，其中，i=i+1中的“=”为赋值符号。

②-3、根据中的每个第一图像块的左奇异向量矩阵和右奇异向量矩阵、中的每个第一图像块的左奇异向量矩阵和右奇异向量矩阵，计算与中所有的坐标位置相同的两个第一图 像块的奇异向量的相似度矢量，将中的第i个第一图像块与中的第i个第一图像块的奇异向量的相似度矢量记为Γ_L,i，Γ_L,i=[γ₁…γ_q…γ_τ]，其中，i为正整数，1≤i≤N_block，γ₁=|α₁+β₁|，  ${\mathrm{\α}}_1=u_1^{\left(o\right)}\·u_1^{\left(d\right)},$ ${\mathrm{\β}}_1=v_1^{\left(o\right)}\·v_1^{\left(d\right)},$ γ_q|α_q+β_q|， ${\mathrm{\α}}_q=u_q^{\left(o\right)}\·u_q^{\left(d\right)},$ ${\mathrm{\β}}_q=v_q^{\left(o\right)}\·v_q^{\left(d\right)},$ γ_τ=|α_τ+β_τ|，  ${\mathrm{\α}}_{\mathrm{\τ}}=u_{\mathrm{\τ}}^{\left(o\right)}\·u_{\mathrm{\τ}}^{\left(d\right)},$ ${\mathrm{\β}}_{\mathrm{\τ}}=v_{\mathrm{\τ}}^{\left(o\right)}\·v_{\mathrm{\τ}}^{\left(d\right)},$ 分别表示中的第i个第一图像块的左奇异向量矩阵中的第1个、第q个、第τ个左奇异向量，分别表示中的第i个第一图像块的右奇异向量矩阵中的第1个、第q个、第τ个右奇异向量，分别表示中的第i个第一图像块的左奇异向量矩阵中的第1个、第q个、第τ个左奇异向量，分别表示中的第i个第一图像块的右奇异向量矩阵中的第1个、第q个、第τ个右奇异向量，q为正整数，1≤q≤τ，在此τ为第一图像块的奇异值的对角矩阵中的奇异值的个数，符号“||”为取绝对值符号。

②-4、利用2-泛数和对数标度由相似度矢量求出与中的所有坐标位置相同的两个第一图像块的奇异向量的相似程度，即根据与中所有的坐标位置相同的两个第一图像块的奇异向量的相似度矢量，计算与中所有的坐标位置相同的两个第一图像块的奇异向量的相似程度，将中的第i个第一图像块与中的第i个第一图像块的奇异向量的相似程度记为S_L,i,其中，ln()为以自然基数e为底的对数函数。

②-5、根据与中所有的坐标位置相同的两个第一图像块的奇异向量的相似程度，计算 的空域质量，记为Q_L,k， $Q_{L,k}=\frac{1}{N_{\mathrm{block}}}\underset{i=1}{\overset{N_{\mathrm{block}}}{\mathrm{\Σ}}}{S}_{L,i}.$

③根据R^(d)的左视点视频中的每帧图像的亮度分量图的空域质量，计算R^(d)的左视点视频的质量，记为Q_L，其中，w_L,k表示Q_L,k相对于时域上位于R^(d)的左视点视频中的第k帧图像之前的F帧图像各自的空域质量和时域上位于R^(d)的左视点视频中的第k帧图像之后 的F帧图像各自的空域质量的波动因子，  $w_{L,k}=\left\{\begin{array}{cc}1,& k=\mathrm{1,2},...,F\\ \frac{1}{2F}\underset{T=1}{\overset{F}{\mathrm{\Σ}}}\left(\right|Q_{L,k}-Q_{L,k-T}|+|Q_{L,k}-Q_{L,k+T}\left|\right),& k=F+1,F+2,...,N_f-F\\ 1,& k=N_f-F+1,N_f-F+2,...,N_f\end{array}\right.,$ F的值为1或2或3或4，一般情况下F的取值越大，则对客观评价的准确度越高，但通过大量实验发现当F的取值大于4时，随着值的增大，计算复杂度也同时增加，但对客观评价的准确度没有明显提高，因此在此取F的值为1或2或3或4，Q_L,k-T表示R^(d)的左视点视频中的第k-T帧图像的亮度分量图的空域质量，Q_L,k+T表示R^(d)的左视点视频中的第k+T帧图像的亮度分量图的空域质量，符号“||”为取绝对值符号。在此，w_L,k越大说明其对应的空域质量的波动越剧烈，也就是说该空域质量对于总的视频质量的影响也就越大。图2a给出了两个失真的立体视频（MOS值为4.3571的失真立体视频和MOS值为3.75的失真立体视频）的左视点视频中的每帧图像的亮度分量图的空域质量在时域上的波动示意图，图2a中位于下方的曲线为主观感知质量较好的一个立体视频（MOS值为4.3571）的左视点视频中的每帧图像的亮度分量图的空域质量在时域上的波动情况，位于上方的曲线为主观感知质量相对差一些的立体视频（MOS值为3.75）的左视点视频中的每帧图像的亮度分量图的空域质量在时域上的波动情况，图2a中的每一个点表示根据步骤②计算得到的失真的立体视频的左视点视频中的每帧图像的亮度分量图的空域质量。从图2a中可以看出由于上方曲线中的每个点的波动情况比下方曲线中的每个点的波动情况更为剧烈，导致出现以下现象：虽然上方曲线中的每个点表示的图像的亮度分量图的空域质量都比下方曲线中的每个点表示的图像的亮度分量图的空域质量高，而MOS值为3.75的失真立体视频最后视频总的感知质量却比MOS值为4.3571的失真立体视频的低。从而可知单帧图像的亮度分量图的空域质量的波动情况会影响总的视频的质量，因此本发明在时域加权计算左视点视频的质量的过程中考虑了单帧图像的亮度分量图的空域质量的波动性。

④计算R^(d)的右视点视频中的每帧图像的亮度分量图的空域质量，将R^(d)的右视点视频中的第k帧图像的亮度分量图的空域质量记为Q_R,k，其中，获取Q_R,k的主要过程为：首先，分别将和分割成多个互不重叠的尺寸大小一致的第二图像块；然后对和中的每个第二图像块实施奇异值分解，得到和中的每个第二图像块的左奇异向量矩阵、右奇异向量矩阵、奇异值的对角矩阵；接着，根据和中的每个第二图像块的左奇异向量矩阵和右奇异向量矩阵，获取与中所有的坐标位置相同的两个第二图像块的奇异向量的相似程度；最后，根据与 中所有的坐标位置相同的两个第二图像块的奇异向量的相似程度，获得的空域质量Q_R,k。

在此具体实施例中，步骤④中R^(d)的右视点视频中的第k帧图像的亮度分量图的空域质量 的空域质量Q_R,k的具体获取过程为：

④-1、分别将和分割成个互不重叠的尺寸大小为c×r的第二图像块，其中，W表示左视点视频中的图像和右视点视频中的图像的宽度，H表示左视点视频中的图像和右视点视频中的图像的高度，c的取值为能被W整除，r的取值为能被H整除。

④-2、对中的每个第二图像块实施奇异值分解，得到中的每个第二图像块的左奇异向量矩阵、右奇异向量矩阵和奇异值的对角矩阵；并对中的每个第二图像块实施奇异值分解，得到中的每个第二图像块的左奇异向量矩阵、右奇异向量矩阵和奇异值的对角矩阵。

在此，步骤④-2的具体过程为：

④-2a、将中当前待处理的第i个第二图像块定义为当前第二图像块，其中，i为正整数，1≤i≤N_block。

④-2b、将当前第二图像块以矩阵形式表示为对实施奇异值分解，  $I_{R,i}^{\left(o\right)}=U_{R,i}^{\left(o\right)}{\mathrm{\σ}}_{R,i}^{\left(o\right)}{\left(V_{R,i}^{\left(o\right)}\right)}^T=[u_1^{\′\left(o\right)}{u}_2^{\′\left(o\right)}...u_m^{\′\left(o\right)}{...u}_r^{\′\left(o\right)}]\×\mathrm{diag}({\mathrm{\σ}}_1^{\′\left(o\right)}{\mathrm{\σ}}_2^{\′\left(o\right)}...{\mathrm{\σ}}_q^{\′\left(o\right)}...{\mathrm{\σ}}_{\mathrm{\τ}}^{\′\left(o\right)})\×[v_1^{\′\left(o\right)}{v}_2^{\′\left(o\right)}...v_n^{\′\left(o\right)}...v_c^{\′\left(o\right)}]$ ，其中，为的左奇异向量矩阵，为的转置矩阵，为的右奇异向量矩阵， 为的奇异值的对角矩阵，和为酉矩阵，对角线上的元素为奇异值，且其值按照从大到小的顺序进行排列，1≤m≤r，分别表示中的第1个、第2个、…、第m个、…、第r个左奇异向量，且每个左奇异向量的模均为1，1≤q≤τ，τ=min(r,c)，min()为最小值函数，diag()为对角矩阵表示符号，分别表示中的第1个、第2个、…、第q个、…、第τ个奇异值，1≤n≤c，分别表示中的第1个、第2个、…、第n个、…、第c个右奇异向量，且每个右奇异向量的模均为1。

④-2c、令i=i+1，将中下一个待处理的第二图像块作为当前第二图像块，然后返回步骤④-2b继续执行，直至中的所有第二图像块处理完毕，得到中的每个第二图像块的左奇异向量矩阵、右奇异向量矩阵和奇异值的对角矩阵，其中，i=i+1中的“=”为赋值符号。

④-2d、将中当前待处理的第i个第二图像块定义为当前第二图像块，其中，i为正整数， 1≤i≤N_block。

④-2e、将当前第二图像块以矩阵形式表示为对实施奇异值分解，  $I_{R,i}^{\left(d\right)}=U_{R,i}^{\left(d\right)}{\mathrm{\σ}}_{R,i}^{\left(d\right)}{\left(V_{R,i}^{\left(d\right)}\right)}^T=[u_1^{\′\left(d\right)}{u}_2^{\′\left(d\right)}...u_m^{\′\left(d\right)}{...u}_r^{\′\left(d\right)}]\×\mathrm{diag}({\mathrm{\σ}}_1^{\′\left(d\right)}{\mathrm{\σ}}_2^{\′\left(d\right)}...{\mathrm{\σ}}_q^{\′\left(d\right)}...{\mathrm{\σ}}_{\mathrm{\τ}}^{\′\left(d\right)})\×[v_1^{\′\left(d\right)}{v}_2^{\′\left(d\right)}...v_n^{\′\left(d\right)}...v_c^{\′\left(d\right)}]$ ，其中，为的左奇异向量矩阵，为的转置矩阵，为的右奇异向量矩阵，为的奇异值的对角矩阵，和为酉矩阵，对角线上的元素为奇异值，且其值按照从大到小的顺序进行排列，1≤m≤r，分别表示中的第1个、第2个、…、第m个、…、第r个左奇异向量，且每个左奇异向量的模均为1，1≤q≤τ，τ=min(r,c)，min()为最小值函数，diag()为对角矩阵表示符号，分别表示中的第1个、第2个、…、第q个、…、第τ个奇异值，1≤n≤c，分别表示中的第1个、第2个、…、第n个、…、第c个右奇异向量，且每个右奇异向量的模均为1。

④-2f、令i=i+1，将中下一个待处理的第二图像块作为当前第二图像块，然后返回步骤④-2e继续执行，直至中的所有第二图像块处理完毕，得到中的每个第二图像块的左奇异向量矩阵、右奇异向量矩阵和奇异值的对角矩阵，其中，i=i+1中的“=”为赋值符号。

④-3、根据中的每个第二图像块的左奇异向量矩阵和右奇异向量矩阵、中的每个第二图像块的左奇异向量矩阵和右奇异向量矩阵，计算与中所有的坐标位置相同的两个第二图像块的奇异向量的相似度矢量，将中的第i个第二图像块与中的第i个第二图像块的奇异向量的相似度矢量记为Γ_R,i，Γ_R,i=[γ₁'…γ_q'…γ_τ']，其中，i为正整数，1≤i≤N_block，γ₁'=|α₁'+β₁'|， ${{\mathrm{\α}}_1}^{\′}=u_1^{\′\left(o\right)}\·u_1^{\′\left(d\right)},$ ${{\mathrm{\β}}_1}^{\′}=v_1^{\′\left(o\right)}\·v_1^{\′\left(d\right)},$ γ_q'=|α_q'+β_q'|， ${{\mathrm{\α}}_q}^{\′}=u_q^{\′\left(o\right)}\·u_q^{\′\left(d\right)},$ ${{\mathrm{\β}}_q}^{\′}=v_q^{\′\left(o\right)}\·v_q^{\′\left(d\right)},$ γ_τ'=|α_τ'+β_τ'|， ${{\mathrm{\α}}_{\mathrm{\τ}}}^{\′}=u_{\mathrm{\τ}}^{\′\left(o\right)}\·u_{\mathrm{\τ}}^{\left(d\right)},$ ${{\mathrm{\β}}_{\mathrm{\τ}}}^{\′}=v_{\mathrm{\τ}}^{\′\left(o\right)}\·v_{\mathrm{\τ}}^{\′\left(d\right)},$ 分别表示中的第i个第二图像块的左奇异向量矩阵中的第1个、第q个、第τ个左奇异向量， 分别表示中的第i个第二图像块的右奇异向量矩阵中的第1个、第q个、第τ个右奇异向量，分别表示中的第i个第二图像块的左奇异向量矩阵中的第1个、 第q个、第τ个左奇异向量，分别表示中的第i个第二图像块的右奇异向量矩阵中的第1个、第q个、第τ个右奇异向量，q为正整数，1≤q≤τ，在此τ为第二图像块的奇异值的对角矩阵中的奇异值的个数，符号“||”为取绝对值符号。

④-4、利用2-泛数和对数标度由相似度矢量求出与中的所有坐标位置相同的两个第二图像块的奇异向量的相似程度，即根据与中所有的坐标位置相同的两个第二图像块的奇异向量的相似度矢量，计算与中所有的坐标位置相同的两个第二图像块的奇异向量的相似程度，将中的第i个第二图像块与中的第i个第二图像块的奇异向量的相似程度记为S_R,i,其中，ln()为以自然基数e为底的对数函数。

④-5、根据与中所有的坐标位置相同的两个第二图像块的奇异向量的相似程度，计算 的空域质量，记为Q_R,k， $Q_{R,k}=\frac{1}{N_{\mathrm{block}}}\underset{i=1}{\overset{N_{\mathrm{block}}}{\mathrm{\Σ}}}{S}_{R,i}.$

⑤根据R^(d)的右视点视频中的每帧图像的亮度分量图的空域质量，计算R^(d)的右视点视频的质量，记为Q_R，其中，w_R,k表示Q_R,k相对于时域上位于R^(d)的右视点视频中的第k帧图像之前的F帧图像各自的空域质量和时域上位于R^(d)的右视点视频中的第k帧图像之后的F帧图像各自的空域质量的波动因子，

$w_{R,k}=\left\{\begin{array}{cc}1,& k=\mathrm{1,2},...,F\\ \frac{1}{2F}\underset{T=1}{\overset{F}{\mathrm{\Σ}}}\left(\right|Q_{R,k}-Q_{R,k-T}|+|Q_{R,k}-Q_{R,k+T}\left|\right),& k=F+1,F+2,...,N_f-F\\ 1,& k=N_f-F+1,N_f-F+2,...,N_f\end{array}\right.,$ F的值为1或2或3或4，Q_R,k-T表示R^(d)的右视点视频中的第k-T帧图像的亮度分量图的空域质量，Q_R,k+T表示R^(d)的右视点视频中的第k+T帧图像的亮度分量图的空域质量。图2b给出了两个失真的立体视频（MOS值为4.3571的失真立体视频和MOS值为3.75的失真立体视频）的右视点视频中的每帧图像的亮度分量图的空域质量在时域上的波动示意图。

⑥计算R^(o)的左视点视频与右视点视频中相对应的两帧图像的亮度分量图的绝对差值图，并计 算R^(d)的左视点视频与右视点视频中相对应的两帧图像的亮度分量图的绝对差值图，然后计算R^(o)对应的绝对差值图中的每个尺寸大小为8×8的子块与R^(d)对应的绝对差值图中对应的尺寸大小为8×8的子块的结构相似度，再根据R^(o)对应的绝对差值图中的每个尺寸大小为8×8的子块与R^(d)对应的绝对差值图中对应的尺寸大小为8×8的子块的结构相似度，计算R^(d)的左视点视频与右视点视频中相对应的两帧图像的亮度分量图在视点间差异的变化程度，将R^(d)的左视点视频中的第k帧图像的亮度分量图与R^(d)的右视点视频中的第k帧图像的亮度分量图在视点间差异的变化程度记为Q_D,k。

在此具体实施例中，步骤⑥中R^(d)的左视点视频中的第k帧图像的亮度分量图与R^(d)的右视点视频中的第k帧图像的亮度分量图在视点间差异的变化程度Q_D,k的具体获取过程为：

⑥-1、计算R^(o)的左视点视频中的第k帧图像的亮度分量图与R^(o)的右视点视频中的第k帧图像的亮度分量图的绝对差值图，记为其中，符号“||”为取绝对值符号。

⑥-2、计算R^(d)的左视点视频中的第k帧图像的亮度分量图与R^(d)的右视点视频中的第k帧图像的亮度分量图的绝对差值图记为

⑥-3、采用尺寸大小为8×8的滑动窗口在中逐像素点滑动，将分割成(W-7)×(H-7)个相重叠的尺寸大小为8×8的子块，同样采用尺寸大小为8×8的滑动窗口在 中逐像素点滑动，将分割成(W-7)×(H-7)个相重叠的尺寸大小为8×8的子块，然后计算和中所有的坐标位置相同的两个子块的结构相似度，将中左上角像素点的坐标位置为(x,y)的子块和中左上角像素点的坐标位置为(x,y)的子块的结构相似度记为SSIM_(x,y)，

${\mathrm{SSIM}}_{(x,y)}=\frac{({2\mathrm{\μ}}_{(x,y)}^{\left(o\right)}{\mathrm{\μ}}_{(x,y)}^{\left(d\right)}+C_1)({2\mathrm{\σ}}_{(x,y)}^{\mathrm{Cov}}+C_2)}{({\left({\mathrm{\μ}}_{(x,y)}^{\left(o\right)}\right)}^2+{\left({\mathrm{\μ}}_{(x,y)}^{\left(d\right)}\right)}^2+C_1)({\left({\mathrm{\σ}}_{(x,y)}^{\left(o\right)}\right)}^2+{\left({\mathrm{\σ}}_{(x,y)}^{\left(d\right)}\right)}^2+C_2)},$ 其中，W表示左视点视频中的图像和右视点视频中的图像的宽度，H表示左视点视频中的图像和右视点视频中的图像的高度，1≤x≤W-7,1≤y≤H-7，表示中左上角像素点的坐标位置为(x,y)的子块中的所有像素点的亮度值的均值，表示中左上角像素点的坐标位置为(x,y)的子块中的所有像素点的亮度值的均值，表示中左上角像素点的坐标位置为(x,y)的子块中的所有像素点的亮度 值的方差，表示中左上角像素点的坐标位置为(x,y)的子块中的所有像素点的亮度值的方差，表示中左上角像素点的坐标位置为(x,y)的子块中的所有像素点的亮度值与中左上角像素点的坐标位置为(x,y)的子块中的所有像素点的亮度值的协方差，C₁和C₂均为常数，C₁≠0,C₂≠0，在本实施例中取C₁=6.5025，C₂=58.5225。。

⑥-4、根据和中所有的坐标位置相同的两个子块的结构相似度，计算R^(d)的左视点视频中的第k帧图像的亮度分量图与R^(d)的右视点视频中的第k帧图像的亮度分量图在视点间差异的变化程度，记为Q_D,k， $Q_{D,k}=\frac{1}{(W-7)\×(H-7)}\underset{x=1}{\overset{W-7}{\mathrm{\Σ}}}\underset{y=1}{\overset{H-7}{\mathrm{\Σ}}}{\mathrm{SSIM}}_{(x,y)}.$

⑦根据R^(d)的左视点视频与右视点视频中相对应的两帧图像的亮度分量图在视点间差异的变化程度，计算R^(d)的左视点视频与右视点视频在视点间的差异程度，记为Q_D，其中，w_D,k表示Q_D,k相对于时域上位于R^(d)的左视点视频中的第k帧图像之前的F帧图像与R^(d)的右视点视频中的第k帧图像之前的F帧图像各自的亮度分量图在视点间差异的变化程度，及时域上位于R^(d)的左视点视频中的第k帧图像之后的F帧图像与R^(d)的右视点视频中的第k帧图像之后的F帧图像各自的亮度分量图在视点间差异的变化程度的波动因子，

$w_{D,k}=\left\{\begin{array}{cc}1,& k=\mathrm{1,2},...,F\\ \frac{1}{2F}\underset{T=1}{\overset{F}{\mathrm{\Σ}}}\left(\right|Q_{D,k}-Q_{D,k-T}|+|Q_{D,k}-Q_{D,k+T}\left|\right),& k=F+1,F+2,...,N_f-F\\ 1,& k=N_f-F+1,N_f-F+2,...,N_f\end{array}\right.,$ F的值为1或2或3或4，Q_D,k-T表示R^(d)的左视点视频中的第k-T帧图像的亮度分量图与R^(d)的右视点视频中的第k-T帧图像的亮度分量图在视点间差异的变化程度，Q_D,k+T分别R^(d)的左视点视频中的第k+T帧图像的亮度分量图与R^(d)的右视点视频中的第k+T帧图像的亮度分量图在视点间差异的变化程度。图2c给出了两个失真的立体视频（MOS值为4.3571的失真立体视频和MOS值为3.75的失真立体视频）的左视点视频与右视点视频中的每帧图像的亮度分量图在视点间差异的变化程度在时域上的波动示意图。

⑧采用n'个原始的无失真的立体视频，建立其在不同失真类型不同失真程度下的失真立体视频集合，该失真立体视频集合包括多个失真立体视频，利用主观质量评价方法分别评价出该失真立体 视频集合中的每个失真立体视频的平均主观意见分，将该失真立体视频集合中的第j个失真立体视频的平均主观意见分记为MOS_j，MOS_j∈[0,5]；然后按照步骤①至步骤⑦计算R^(d)的左视点视频的质量Q_L、R^(d)的右视点视频的质量Q_R及R^(d)的左视点视频与右视点视频在视点间的差异程度Q_D的操作，以相同的方式计算该失真立体视频集合中的每个失真立体视频的左视点视频的质量、该失真立体视频集合中的每个失真立体视频的右视点视频的质量、该失真立体视频集合中的每个失真立体视频的左视点视频与右视点视频在视点间的差异程度，将该失真立体视频集合中的第j个失真立体视频的左视点视频的质量记为Q_L(j)，将该失真立体视频集合中的第j个失真立体视频的右视点视频的质量记为Q_R(j)，将该失真立体视频集合中的第j个失真立体视频的左视点视频与右视点视频在视点间的差异程度记为Q_D(j)；再由该失真立体视频集合中的每个失真立体视频的左视点视频的质量和右视点视频的质量、该失真立体视频集合中的每个失真立体视频的左视点视频与右视点视频在视点间的差异程度构成该失真立体视频集合中的每个失真立体视频的特征矢量，将该失真立体视频集合中的第j个失真立体视频的特征矢量记为x_j，x_j=(Q_L(j),Q_R(j),Q_D(j))；其中，n'>1，1≤j≤N'，N'表示该失真立体视频集合中包含的失真立体视频的个数。

在本实施例中，直接采用法国IRCCyN研究机构提供的立体视频数据库。该立体视频数据库包括10（即n'=10）对超高清（分辨率为1920×1080）无失真的参考立体视频序列（图3a、图3b、图3c、图3d、图3e、图3f、图3g、图3h、图3i、图3j分别给出了Barrier gate(1920×1080)立体视频序列、Basket(1920×1080)立体视频序列、Boxers(1920×1080)立体视频序列、Hall(1920×1080)立体视频序列、Lab(1920×1080)立体视频序列、News report(1920×1080)立体视频序列、Phone call(1920×1080)立体视频序列、Soccer(1920×1080)立体视频序列、Tree branches(1920×1080)立体视频序列、Umbrella(1920×1080)立体视频序列），以及由这10对参考立体视频序列在H.264编码下3个失真等级、JPEG2000压缩下(JP2K)4个失真等级、下采样下(DS)一个等级、图像边缘增强下(EE)一个等级和下采样加图像增强下(DS+EE)一个等级的共100对失真立体视频构成。该立体视频数据库同时给出了所有失真立体视频的平均主观意见分MOS值。在计算该100对失真立体视频的特征矢量的过程中，相应的参数设置为：H=1080，W=1920，r=c=120，F=2，C₁=6.5025，C₂=58.5225。

⑨因为失真的立体视频的特征矢量与失真的立体视频的客观质量之间的关系是非线性的，因此简单的对特征矢量各分量采用线性加权的方式得到的结果不能很好的反映出立体视频的客观质量，而支持向量回归的方法可以通过使用核函数来高效的解决非线性问题，因此本发明将该失真立体视频集合中的所有失真立体视频分成训练集和测试集，然后采用支持向量回归作为机器学习的方法，对该训练集中的所有失真立体视频的特征矢量进行训练，得到最优的权值矢量W^opt和最优的偏置项 b^opt，接着利用W^opt和b^opt构造得到支持向量回归训练模型，再根据支持向量回归训练模型，对该测试集中的每个失真立体视频的特征矢量进行测试，预测得到该测试集中的每个失真立体视频的客观质量评价预测值，将该测试集中的第k'个失真立体视频的客观质量评价预测值记为Q_k'，Q_k'=f(x_k')，，其中，1≤k'≤t'，t'表示该测试集中包含的失真立体视频的个数，f()为函数表示形式，x_k'表示测试集中的第k'个失真立体视频的特征矢量，Q_k'=f(x_k')表示该测试集中的第k'个失真立体视频的客观质量评价预测值Q_k'是该测试集中的第k'个失真立体视频的特征矢量x_k'的函数，(W^opt)^T为W^opt的转置矢量，表示该测试集中的第k'个失真立体视频的线性函数。

在此具体实施例中，步骤⑨的具体过程为：

⑨-1、因为失真立体视频集合是由n'个内容不同的原始的无失真的立体视频经过不同失真类型不同失真程度发展而来的，因此首先将该失真立体视频集合中的所有失真立体视频按来源分为n'组，这样每组的失真立体视频都不会出现在其他组中，满足分组原则,然后从n'组中选出组，再将选出的组中的所有失真立体视频构成训练集，将未被选出的组中的所有失真立体视频构成测试集，在实际处理过程中，也可将选出的组中的所有失真立体视频构成测试集，将未被选出的组中的所有失真立体视频构成训练集，其中，符号为向下取整符号。

即对于上述给出的100对失真立体视频，将这些失真立体视频分为10组，然后从10组中任意选出5组，由这5组中的所有失真立体视频构成训练集，再由剩下的5组中的所有失真立体视频构成测试集。

⑨-2、将训练集中的所有失真立体视频的特征矢量和平均主观意见分构成训练样本数据集，记为Ω_t，{x_k,MOS_k}∈Ω_t，其中，x_k表示Ω_t中的第k个失真立体视频的特征矢量，MOS_k表示Ω_t中的第k个失真立体视频的平均主观意见分，1≤k≤t，t表示训练集中包含的失真立体视频的个数。

⑨-3、构造Ω_t中的每个失真立体视频的特征矢量的回归函数，将Ω_t中的第k个失真立体视频的特征矢量x_k的回归函数记为f(x_k)，，其中，f()为函数表示形式，W^T为权值矢量W的转置矢量，b为偏置项，表示Ω_t中的第k个失真立体视频的特征矢量x_k的 线性函数，K(x_k,x_l)为支持向量回归中的核函数，K(x_k,x_l)=(x_kx_l ^T+1)²，x_l ^T为x_l的转置矢量，x_l表示Ω_t中的第l个失真立体视频的特征矢量。

⑨-4、采用支持向量回归作为机器学习的方法，对Ω_t中的所有失真立体视频的特征矢量进行训练，使得经过训练得到的回归函数值与平均主观意见分之间的误差最小，拟合得到最优的权值矢量W^opt和最优的偏置项b^opt，然后将最优的权值矢量W^opt和最优的偏置项b^opt的组合记为(W^opt,b^opt)， $(W^{\mathrm{opt}},b^{\mathrm{opt}})=\underset{(W,b)\∈\mathrm{\ψ}}{\arg \min }\underset{k=1}{\overset{t}{\mathrm{\Σ}}}{(f\left(x_k\right)-{\mathrm{MOS}}_k)}^2,$ 再利用得到的最优的权值矢量W^opt和最优的偏置项b^opt构造支持向量回归训练模型，记为f(x_input)， ，其中，ψ表示对Ω_t中的所有失真立体视频的特征矢量进行训练时的权重矢量和偏置项的所有可能的组合的集合，表示最小化概率密度函数，x_input表示支持向量回归训练模型的输入矢量，(W^opt)^T为W^opt的转置矢量，表示支持向量回归训练模型的输入矢量x_input的线性函数。

⑨-5、根据支持向量回归训练模型，对测试集中的每个失真立体视频的特征矢量进行测试，预测得到测试集中的每个失真立体视频的客观质量评价预测值，将测试集中的第k'个失真立体视频的客观质量评价预测值记为Q_k'，Q_k'=f(x_k')，，其中，1≤k'≤t'，t'表示测试集中包含的失真立体视频的个数，x_k'表示测试集中的第k'个失真立体视频的特征矢量， 表示测试集中的第k'个失真立体视频的线性函数。

为了说明本发明方法的评价性能，在此利用以下三个常用的性能指标来衡量本发明方法在法国IRCCyN机构提供的立体视频数据库上的评价性能：

（1）线性相关系数（CC）：Pearson线性相关系数，用来反映客观评价方法预测的准确性，取值范围在0到1之间，且越接近1说明客观评价方法的准确性越高。

（2）Spearman等级相关系数（SROCC）：Spearman等级相关系数，用来反映客观评价方法预测的单调性，取值范围在0到1之间，且越接近1说明客观评价方法的单调性越好。

（3）均方根误差（RMSE）：均方根误差，用来表示客观评价方法的准确性，其值越小表示客观评价方法越准确。

表1列出了本发明方法在IRCCyN库上进行验证得到的三个性能指标的评价结果。因为本发明方法涉及到训练的问题，不管是所有的失真类型（ALL），还是H.264失真、JP2K失真、DS失真、EE失真以及DS+EE失真，训练样本都是从10组数据里任意选取5组构成的，那么可能的选取情况 就有种。为了更为客观地说明本发明方法的性能，表1中所有的性能指标都是对训练样本的所有可能的选取情况下得到的预测结果的性能的平均值，即每一失真类型下的性能值是由该失真类型下的252种可能的训练情况下得到的结果的平均值，以此可以避免随机情况的发生。从表1中所列的数据可知，本发明方法的评价结果的准确性、单调性都不错，且对于不同失真表现的性能都比较稳定，能较好的预测人眼对立体视频的主观感知。

表1本发明方法的性能指标的评价结果

。

Claims (8)

1.一种基于机器学习的立体视频客观质量评价方法，其特征在于它的处理过程为：

通过对参考立体视频的左视点视频中的图像的亮度分量图中的所有尺寸大小一致的第一图像块，及失真的立体视频的左视点视频中的图像的亮度分量图中的所有尺寸大小一致的第一图像块实施奇异值分解，获取失真的立体视频的左视点视频的质量；

通过对参考立体视频的右视点视频中的图像的亮度分量图中的所有尺寸大小一致的第一图像块，及失真的立体视频的右视点视频中的图像的亮度分量图中的所有尺寸大小一致的第一图像块实施奇异值分解，获取失真的立体视频的右视点视频的质量；

通过计算参考立体视频的左视点视频与右视点视频中相对应的两帧图像的亮度分量图的绝对差值图中的每个尺寸大小为8×8的子块，与失真的立体视频的左视点视频与右视点视频中相对应的两帧图像的亮度分量图的绝对差值图中的每个尺寸大小为8×8的子块的结构相似度，获取失真的立体视频的左视点视频与右视点视频在视点间的差异程度；

采用多个原始的无失真的立体视频，建立其在不同失真类型不同失真程度下的失真立体视频集合，该失真立体视频集合包括多个失真立体视频，然后利用主观质量评价方法分别评价出该失真立体视频集合中的每个失真立体视频的平均主观意见分，接着按照上述三个过程获取该失真立体视频集合中的每个失真立体视频的左视点视频的质量、右视点视频的质量、左视点视频与右视点视频在视点间的差异程度，再将每个失真立体视频的左视点视频的质量、右视点视频的质量、左视点视频与右视点视频在视点间的差异程度构成特征矢量；

将该失真立体视频集合中的所有失真立体视频分成训练集和测试集，然后采用支持向量回归作为机器学习的方法，对该训练集中的所有失真立体视频的特征矢量进行训练，并结合该训练集中的所有失真立体视频的平均主观意见分，得到支持向量回归训练模型，接着根据支持向量回归训练模型，对该测试集中的每个失真立体视频的特征矢量进行测试，预测得到该测试集中的每个失真立体视频的客观质量评价预测值；

该立体视频客观质量评价方法具体包括以下步骤：

①令R^(o)表示原始的无失真的立体视频，将R^(o)作为参考立体视频，令R^(d)表示与R^(o)相对应的失真立体视频，将R^(o)的左视点视频中的第k帧图像的亮度分量图记为将R^(o)的右视点视频中的第k帧图像的亮度分量图记为将R^(d)的左视点视频中的第k帧图像的亮度分量图记为将R^(d)的右视点视频中的第k帧图像的亮度分量图记为其中，k为正整数，1≤k≤N_f，N_f表示左视点视频和右视点视频中包含的图像的帧数；

②计算R^(d)的左视点视频中的每帧图像的亮度分量图的空域质量，将R^(d)的左视点视频中的第k帧图像的亮度分量图的空域质量记为Q_L,k，其中，获取Q_L,k的主要过程为：首先，分别将和分割成多个互不重叠的尺寸大小一致的第一图像块；然后对和中的每个第一图像块实施奇异值分解，得到和中的每个第一图像块的左奇异向量矩阵、右奇异向量矩阵、奇异值的对角矩阵；接着，根据和中的每个第一图像块的左奇异向量矩阵和右奇异向量矩阵，获取与中所有的坐标位置相同的两个第一图像块的奇异向量的相似程度；最后，根据与中所有的坐标位置相同的两个第一图像块的奇异向量的相似程度，获得的空域质量Q_L,k；

③根据R^(d)的左视点视频中的每帧图像的亮度分量图的空域质量，计算R^(d)的左视点视频的质量，记为Q_L，其中，w_L,k表示Q_L,k相对于时域上位于R^(d)的左视点视频中的第k帧图像之前的F帧图像各自的空域质量和时域上位于R^(d)的左视点视频中的第k帧图像之后的F帧图像各自的空域质量的波动因子， $w_{L,k}=\left\{\begin{array}{cc}1,& k=\mathrm{1,2},...,F\\ \frac{1}{2F}\underset{T=1}{\overset{F}{\mathrm{\Σ}}}\left(\right|Q_{L,k}-Q_{L,k-T}|+|Q_{L,k}-Q_{L,k+T}\left|\right),& k=F+1,F+2,...,N_f-F\\ 1,& k=N_f-F+1,N_f-F+2,...,N_f\end{array}\right.,$ F的值为1或2或3或4，Q_L,k-T表示R^(d)的左视点视频中的第k-T帧图像的亮度分量图的空域质量，Q_L,k+T表示R^(d)的左视点视频中的第k+T帧图像的亮度分量图的空域质量，符号“||”为取绝对值符号；

④计算R^(d)的右视点视频中的每帧图像的亮度分量图的空域质量，将R^(d)的右视点视频中的第k帧图像的亮度分量图的空域质量记为Q_R,k，其中，获取Q_R,k的主要过程为：首先，分别将和分割成多个互不重叠的尺寸大小一致的第二图像块；然后对和中的每个第二图像块实施奇异值分解，得到和中的每个第二图像块的左奇异向量矩阵、右奇异向量矩阵、奇异值的对角矩阵；接着，根据和中的每个第二图像块的左奇异向量矩阵和右奇异向量矩阵，获取与中所有的坐标位置相同的两个第二图像块的奇异向量的相似程度；最后，根据与中所有的坐标位置相同的两个第二图像块的奇异向量的相似程度，获得的空域质量Q_R,k；

⑤根据R^(d)的右视点视频中的每帧图像的亮度分量图的空域质量，计算R^(d)的右视点视频的质量，记为Q_R，其中，w_R,k表示Q_R,k相对于时域上位于R^(d)的右视点视频中的第k帧图像之前的F帧图像各自的空域质量和时域上位于R^(d)的右视点视频中的第k帧图像之后的F帧图像各自的空域质量的波动因子， $w_{R,k}=\left\{\begin{array}{cc}1,& k=\mathrm{1,2},...,F\\ \frac{1}{2F}\underset{T=1}{\overset{F}{\mathrm{\Σ}}}\left(\right|Q_{R,k}-Q_{R,k-T}|+|Q_{R,k}-Q_{R,k+T}\left|\right),& k=F+1,F+2,...,N_f-F\\ 1,& k=N_f-F+1,N_f-F+2,...,N_f\end{array}\right.,$ F的值为1或2或3或4，Q_R,k-T表示R^(d)的右视点视频中的第k-T帧图像的亮度分量图的空域质量，Q_R,k+T表示R^(d)的右视点视频中的第k+T帧图像的亮度分量图的空域质量；

⑥计算R^(o)的左视点视频与右视点视频中相对应的两帧图像的亮度分量图的绝对差值图，并计算R^(d)的左视点视频与右视点视频中相对应的两帧图像的亮度分量图的绝对差值图，然后计算R^(o)对应的绝对差值图中的每个尺寸大小为8×8的子块与R^(d)对应的绝对差值图中对应的尺寸大小为8×8的子块的结构相似度，再根据R^(o)对应的绝对差值图中的每个尺寸大小为8×8的子块与R^(d)对应的绝对差值图中对应的尺寸大小为8×8的子块的结构相似度，计算R^(d)的左视点视频与右视点视频中相对应的两帧图像的亮度分量图在视点间差异的变化程度，将R^(d)的左视点视频中的第k帧图像的亮度分量图与R^(d)的右视点视频中的第k帧图像的亮度分量图在视点间差异的变化程度记为Q_D,k；

⑦根据R^(d)的左视点视频与右视点视频中相对应的两帧图像的亮度分量图在视点间差异的变化程度，计算R^(d)的左视点视频与右视点视频在视点间的差异程度，记为Q_D，其中，w_D,k表示Q_D,k相对于时域上位于R^(d)的左视点视频中的第k帧图像之前的F帧图像与R^(d)的右视点视频中的第k帧图像之前的F帧图像各自的亮度分量图在视点间差异的变化程度，及时域上位于R^(d)的左视点视频中的第k帧图像之后的F帧图像与R^(d)的右视点视频中的第k帧图像之后的F帧图像各自的亮度分量图在视点间差异的变化程度的波动因子，

$w_{D,k}=\left\{\begin{array}{cc}1,& k=\mathrm{1,2},...,F\\ \frac{1}{2F}\underset{T=1}{\overset{F}{\mathrm{\Σ}}}\left(\right|Q_{D,k}-Q_{D,k-T}|+|Q_{D,k}-Q_{D,k+T}\left|\right),& k=F+1,F+2,...,N_f-F\\ 1,& k=N_f-F+1,N_f-F+2,...,N_f\end{array}\right.,$ F的值为1或2或3或4，Q_D,k-T表示R^(d)的左视点视频中的第k-T帧图像的亮度分量图与R^(d)的右视点视频中的第k-T帧图像的亮度分量图在视点间差异的变化程度，Q_D,k+T分别R^(d)的左视点视频中的第k+T帧图像的亮度分量图与R^(d)的右视点视频中的第k+T帧图像的亮度分量图在视点间差异的变化程度；

⑧采用n'个原始的无失真的立体视频，建立其在不同失真类型不同失真程度下的失真立体视频集合，该失真立体视频集合包括多个失真立体视频，利用主观质量评价方法分别评价出该失真立体视频集合中的每个失真立体视频的平均主观意见分，将该失真立体视频集合中的第j个失真立体视频的平均主观意见分记为MOS_j，MOS_j∈[0,5]；然后按照步骤①至步骤⑦计算R^(d)的左视点视频的质量Q_L、R^(d)的右视点视频的质量Q_R及R^(d)的左视点视频与右视点视频在视点间的差异程度Q_D的操作，以相同的方式计算该失真立体视频集合中的每个失真立体视频的左视点视频的质量、该失真立体视频集合中的每个失真立体视频的右视点视频的质量、该失真立体视频集合中的每个失真立体视频的左视点视频与右视点视频在视点间的差异程度，将该失真立体视频集合中的第j个失真立体视频的左视点视频的质量记为Q_L(j)，将该失真立体视频集合中的第j个失真立体视频的右视点视频的质量记为Q_R(j)，将该失真立体视频集合中的第j个失真立体视频的左视点视频与右视点视频在视点间的差异程度记为Q_D(j)；再由该失真立体视频集合中的每个失真立体视频的左视点视频的质量和右视点视频的质量、该失真立体视频集合中的每个失真立体视频的左视点视频与右视点视频在视点间的差异程度构成该失真立体视频集合中的每个失真立体视频的特征矢量，将该失真立体视频集合中的第j个失真立体视频的特征矢量记为x_j，x_j＝(Q_L(j),Q_R(j),Q_D(j))；其中，n'>1，1≤j≤N'，N'表示该失真立体视频集合中包含的失真立体视频的个数；

⑨将该失真立体视频集合中的所有失真立体视频分成训练集和测试集，然后采用支持向量回归作为机器学习的方法，对该训练集中的所有失真立体视频的特征矢量进行训练，使得经过训练得到的回归函数值与平均主观意见分之间的误差最小，拟合得到最优的权值矢量W^opt和最优的偏置项b^opt，接着利用W^opt和b^opt构造得到支持向量回归训练模型，再根据支持向量回归训练模型，对该测试集中的每个失真立体视频的特征矢量进行测试，预测得到该测试集中的每个失真立体视频的客观质量评价预测值，将该测试集中的第k'个失真立体视频的客观质量评价预测值记为Q_k'，Q_k'＝f(x_k')，其中，1≤k'≤t'，t'表示该测试集中包含的失真立体视频的个数，f()为函数表示形式，x_k'表示测试集中的第k'个失真立体视频的特征矢量，Q_k'＝f(x_k')表示该测试集中的第k'个失真立体视频的客观质量评价预测值Q_k'是该测试集中的第k'个失真立体视频的特征矢量x_k'的函数，(W^opt)^T为W^opt的转置矢量，表示该测试集中的第k'个失真立体视频的线性函数。

2.根据权利要求1所述的一种基于机器学习的立体视频客观质量评价方法，其特征在于所述的步骤②中R^(d)的左视点视频中的第k帧图像的亮度分量图的空域质量Q_L,k的具体获取过程为：

②-1、分别将和分割成个互不重叠的尺寸大小为c×r的第一图像块，其中，W表示左视点视频中的图像和右视点视频中的图像的宽度，H表示左视点视频中的图像和右视点视频中的图像的高度，c的取值为能被W整除，r的取值为能被H整除；

②-2、对中的每个第一图像块实施奇异值分解，得到中的每个第一图像块的左奇异向量矩阵、右奇异向量矩阵和奇异值的对角矩阵；并对中的每个第一图像块实施奇异值分解，得到中的每个第一图像块的左奇异向量矩阵、右奇异向量矩阵和奇异值的对角矩阵；

②-3、根据中的每个第一图像块的左奇异向量矩阵和右奇异向量矩阵、中的每个第一图像块的左奇异向量矩阵和右奇异向量矩阵，计算与中所有的坐标位置相同的两个第一图像块的奇异向量的相似度矢量，将中的第i个第一图像块与中的第i个第一图像块的奇异向量的相似度矢量记为Γ_L,i，Γ_L,i＝[γ₁…γ_q…γ_τ]，其中，i为正整数，1≤i≤N_block，γ₁＝|α₁+β₁|， ${\mathrm{\α}}_1=u_1^{\left(o\right)}\·u_1^{\left(d\right)},$ ${\mathrm{\β}}_1=v_1^{\left(o\right)}\·v_1^{\left(d\right)},$ γ_q＝|α_q+β_q|， ${\mathrm{\α}}_q=u_q^{\left(o\right)}\·u_q^{\left(d\right)},$ ${\mathrm{\β}}_q=v_q^{\left(o\right)}\·v_q^{\left(d\right)},$ γ_τ＝|α_τ+β_τ|， ${\mathrm{\α}}_{\mathrm{\τ}}=u_{\mathrm{\τ}}^{\left(o\right)}\·u_{\mathrm{\τ}}^{\left(d\right)},$ ${\mathrm{\β}}_{\mathrm{\τ}}=v_{\mathrm{\τ}}^{\left(o\right)}\·v_{\mathrm{\τ}}^{\left(d\right)},$ 分别表示中的第i个第一图像块的左奇异向量矩阵中的第1个、第q个、第τ个左奇异向量，分别表示中的第i个第一图像块的右奇异向量矩阵中的第1个、第q个、第τ个右奇异向量，分别表示中的第i个第一图像块的左奇异向量矩阵中的第1个、第q个、第τ个左奇异向量，分别表示中的第i个第一图像块的右奇异向量矩阵中的第1个、第q个、第τ个右奇异向量，q为正整数，1≤q≤τ，在此τ为第一图像块的奇异值的对角矩阵中的奇异值的个数，符号“||”为取绝对值符号；

②-4、根据与中所有的坐标位置相同的两个第一图像块的奇异向量的相似度矢量，计算与中所有的坐标位置相同的两个第一图像块的奇异向量的相似程度，将中的第i个第一图像块与中的第i个第一图像块的奇异向量的相似程度记为其中，ln()为以自然基数e为底的对数函数；

②-5、根据与中所有的坐标位置相同的两个第一图像块的奇异向量的相似程度，计算的空域质量，记为Q_L,k， $Q_{L,k}=\frac{1}{N_{\mathrm{block}}}\underset{i=1}{\overset{N_{\mathrm{block}}}{\mathrm{\Σ}}}{S}_{L,i}.$

3.根据权利要求2所述的一种基于机器学习的立体视频客观质量评价方法，其特征在于所述的步骤②-2的具体过程为：

②-2a、将中当前待处理的第i个第一图像块定义为当前第一图像块，其中，i为正整数，1≤i≤N_block；

②-2b、将当前第一图像块以矩阵形式表示为对实施奇异值分解， $I_{L,i}^{\left(o\right)}=U_{L.i}^{\left(o\right)}{\mathrm{\σ}}_{L,i}^{\left(o\right)}{\left(V_{L,i}^{\left(o\right)}\right)}^T=[u_1^{\left(o\right)}{u}_2^{\left(o\right)}...u_m^{\left(o\right)}...u_r^{\left(o\right)}]\×\mathrm{diag}({\mathrm{\σ}}_1^{\left(o\right)}{\mathrm{\σ}}_2^{\left(o\right)}...{\mathrm{\σ}}_q^{\left(o\right)}...{\mathrm{\σ}}_{\mathrm{\τ}}^{\left(o\right)})\×[v_1^{\left(o\right)}{v}_2^{\left(o\right)}...v_n^{\left(o\right)}...v_c^{\left(o\right)}],$ 其中，为的左奇异向量矩阵，为的转置矩阵，为的右奇异向量矩阵，为的奇异值的对角矩阵，对角线上的元素为奇异值，且其值按照从大到小的顺序进行排列，1≤m≤r，分别表示中的第1个、第2个、…、第m个、…、第r个左奇异向量，1≤q≤τ，τ＝min(r,c)，min()为最小值函数，diag()为对角矩阵表示符号，分别表示中的第1个、第2个、…、第q个、…、第τ个奇异值，1≤n≤c，分别表示中的第1个、第2个、…、第n个、…、第c个右奇异向量；

②-2c、令i＝i+1，将中下一个待处理的第一图像块作为当前第一图像块，然后返回步骤②-2b继续执行，直至中的所有第一图像块处理完毕，得到中的每个第一图像块的左奇异向量矩阵、右奇异向量矩阵和奇异值的对角矩阵，其中，i＝i+1中的“＝”为赋值符号；

②-2d、将中当前待处理的第i个第一图像块定义为当前第一图像块，其中，i为正整数，1≤i≤N_block；

②-2e、将当前第一图像块以矩阵形式表示为对实施奇异值分解， $I_{L,i}^{\left(d\right)}=U_{L.i}^{\left(d\right)}{\mathrm{\σ}}_{L,i}^{\left(d\right)}{\left(V_{L,i}^{\left(d\right)}\right)}^T=[u_1^{\left(d\right)}{u}_2^{\left(d\right)}...u_m^{\left(d\right)}...u_r^{\left(d\right)}]\×\mathrm{diag}({\mathrm{\σ}}_1^{\left(d\right)}{\mathrm{\σ}}_2^{\left(d\right)}...{\mathrm{\σ}}_q^{\left(d\right)}...{\mathrm{\σ}}_{\mathrm{\τ}}^{\left(d\right)})\×[v_1^{\left(d\right)}{v}_2^{\left(d\right)}...v_n^{\left(d\right)}...v_c^{\left(d\right)}],$ 其中，为的左奇异向量矩阵，为的转置矩阵，为的右奇异向量矩阵，为的奇异值的对角矩阵，对角线上的元素为奇异值，且其值按照从大到小的顺序进行排列，1≤m≤r，分别表示中的第1个、第2个、…、第m个、…、第r个左奇异向量，1≤q≤τ，τ＝min(r,c)，min()为最小值函数，diag()为对角矩阵表示符号，分别表示中的第1个、第2个、…、第q个、…、第τ个奇异值，1≤n≤c，分别表示中的第1个、第2个、…、第n个、…、第c个右奇异向量；

②-2f、令i＝i+1，将中下一个待处理的第一图像块作为当前第一图像块，然后返回步骤②-2e继续执行，直至中的所有第一图像块处理完毕，得到中的每个第一图像块的左奇异向量矩阵、右奇异向量矩阵和奇异值的对角矩阵，其中，i＝i+1中的“＝”为赋值符号。

4.根据权利要求1所述的一种基于机器学习的立体视频客观质量评价方法，其特征在于所述的步骤④中R^(d)的右视点视频中的第k帧图像的亮度分量图的空域质量的空域质量Q_R,k的具体获取过程为：

④-1、分别将和分割成个互不重叠的尺寸大小为c×r的第二图像块，其中，W表示左视点视频中的图像和右视点视频中的图像的宽度，H表示左视点视频中的图像和右视点视频中的图像的高度，c的取值为能被W整除，r的取值为能被H整除；

④-2、对中的每个第二图像块实施奇异值分解，得到中的每个第二图像块的左奇异向量矩阵、右奇异向量矩阵和奇异值的对角矩阵；并对中的每个第二图像块实施奇异值分解，得到中的每个第二图像块的左奇异向量矩阵、右奇异向量矩阵和奇异值的对角矩阵；

④-3、根据中的每个第二图像块的左奇异向量矩阵和右奇异向量矩阵、中的每个第二图像块的左奇异向量矩阵和右奇异向量矩阵，计算与中所有的坐标位置相同的两个第二图像块的奇异向量的相似度矢量，将中的第i个第二图像块与中的第i个第二图像块的奇异向量的相似度矢量记为Γ_R,i，Γ_R,i＝[γ₁'…γ_q'…γ_τ']，其中，i为正整数，1≤i≤N_block，γ₁'＝|α₁'+β₁'|， ${\mathrm{\α}}_1^{\′}=u_1^{\′\left(o\right)}\·u_1^{\′\left(d\right)},$ ${\mathrm{\β}}_1^{\′}=v_1^{\′\left(o\right)}\·v_1^{\′\left(d\right)},$ γ_q'＝|α_q'+β_q'|， ${\mathrm{\α}}_q^{\′}=u_q^{\′\left(o\right)}\·u_q^{\′\left(d\right)},$ ${\mathrm{\β}}_q^{\′}=v_q^{\′\left(o\right)}\·v_q^{\′\left(d\right)},$ γ_τ'＝|α_τ'+β_τ'|， ${\mathrm{\α}}_{\mathrm{\τ}}^{\′}=u_{\mathrm{\τ}}^{\′\left(o\right)}\·u_{\mathrm{\τ}}^{\′\left(d\right)},$ ${\mathrm{\β}}_{\mathrm{\τ}}^{\′}=v_{\mathrm{\τ}}^{\′\left(o\right)}\·v_{\mathrm{\τ}}^{\′\left(d\right)},$ 分别表示中的第i个第二图像块的左奇异向量矩阵中的第1个、第q个、第τ个左奇异向量， 分别表示中的第i个第二图像块的右奇异向量矩阵中的第1个、第q个、第τ个右奇异向量，分别表示中的第i个第二图像块的左奇异向量矩阵中的第1个、第q个、第τ个左奇异向量，分别表示中的第i个第二图像块的右奇异向量矩阵中的第1个、第q个、第τ个右奇异向量，q为正整数，1≤q≤τ，在此τ为第二图像块的奇异值的对角矩阵中的奇异值的个数，符号“||”为取绝对值符号；

④-4、根据与中所有的坐标位置相同的两个第二图像块的奇异向量的相似度矢量，计算与中所有的坐标位置相同的两个第二图像块的奇异向量的相似程度，将中的第i个第二图像块与中的第i个第二图像块的奇异向量的相似程度记为S_R,i,其中，ln()为以自然基数e为底的对数函数；

④-5、根据与中所有的坐标位置相同的两个第二图像块的奇异向量的相似程度，计算的空域质量，记为Q_R,k， $Q_{R,k}=\frac{1}{N_{\mathrm{block}}}\underset{i=1}{\overset{N_{\mathrm{block}}}{\mathrm{\Σ}}}{S}_{R,i}.$

5.根据权利要求4所述的一种基于机器学习的立体视频客观质量评价方法，其特征在于所述的步骤④-2的具体过程为：

④-2a、将中当前待处理的第i个第二图像块定义为当前第二图像块，其中，i为正整数，1≤i≤N_block；

④-2b、将当前第二图像块以矩阵形式表示为对实施奇异值分解， $I_{R,i}^{\left(o\right)}=U_{R.i}^{\left(o\right)}{\mathrm{\σ}}_{R,i}^{\left(o\right)}{\left(V_{R,i}^{\left(o\right)}\right)}^T=[u_1^{\′\left(o\right)}{u}_2^{\′\left(o\right)}...{u\′}_m^{\left(o\right)}...u_r^{\′\left(o\right)}]\×\mathrm{diag}({\mathrm{\σ}}_1^{\′\left(o\right)}{\mathrm{\σ}}_2^{\′\left(o\right)}...{\mathrm{\σ}}_q^{\′\left(o\right)}...{\mathrm{\σ}}_{\mathrm{\τ}}^{\′\left(o\right)})\×[v_1^{\′\left(o\right)}{v}_2^{\′\left(o\right)}...v_n^{\′\left(o\right)}...v_c^{\′\left(o\right)}]$ ，其中，为的左奇异向量矩阵，为的转置矩阵，为的右奇异向量矩阵，为的奇异值的对角矩阵，对角线上的元素为奇异值，且其值按照从大到小的顺序进行排列，1≤m≤r，分别表示中的第1个、第2个、…、第m个、…、第r个左奇异向量，1≤q≤τ，τ＝min(r,c)，min()为最小值函数，diag()为对角矩阵表示符号，分别表示中的第1个、第2个、…、第q个、…、第τ个奇异值，1≤n≤c，分别表示中的第1个、第2个、…、第n个、…、第c个右奇异向量；

④-2c、令i＝i+1，将中下一个待处理的第二图像块作为当前第二图像块，然后返回步骤④-2b继续执行，直至中的所有第二图像块处理完毕，得到中的每个第二图像块的左奇异向量矩阵、右奇异向量矩阵和奇异值的对角矩阵，其中，i＝i+1中的“＝”为赋值符号；

④-2d、将中当前待处理的第i个第二图像块定义为当前第二图像块，其中，i为正整数，1≤i≤N_block；

④-2e、将当前第二图像块以矩阵形式表示为对实施奇异值分解， $I_{R,i}^{\left(d\right)}=U_{R.i}^{\left(d\right)}{\mathrm{\σ}}_{R,i}^{\left(d\right)}{\left(V_{R,i}^{\left(d\right)}\right)}^T=[u_1^{\′\left(d\right)}{u}_2^{\′\left(d\right)}...{u\′}_m^{\left(d\right)}...u_r^{\′\left(d\right)}]\×\mathrm{diag}({\mathrm{\σ}}_1^{\′\left(d\right)}{\mathrm{\σ}}_2^{\′\left(d\right)}...{\mathrm{\σ}}_q^{\′\left(d\right)}...{\mathrm{\σ}}_{\mathrm{\τ}}^{\′\left(d\right)})\×[v_1^{\′\left(d\right)}{v}_2^{\′\left(d\right)}...v_n^{\′\left(d\right)}...v_c^{\′\left(d\right)}]$ ，其中，为的左奇异向量矩阵，为的转置矩阵，为的右奇异向量矩阵，为的奇异值的对角矩阵，对角线上的元素为奇异值，且其值按照从大到小的顺序进行排列，1≤m≤r，分别表示中的第1个、第2个、…、第m个、…、第r个左奇异向量，1≤q≤τ，τ＝min(r,c)，min()为最小值函数，diag()为对角矩阵表示符号，分别表示中的第1个、第2个、…、第q个、…、第τ个奇异值，1≤n≤c，分别表示中的第1个、第2个、…、第n个、…、第c个右奇异向量；

④-2f、令i＝i+1，将中下一个待处理的第二图像块作为当前第二图像块，然后返回步骤④-2e继续执行，直至中的所有第二图像块处理完毕，得到中的每个第二图像块的左奇异向量矩阵、右奇异向量矩阵和奇异值的对角矩阵，其中，i＝i+1中的“＝”为赋值符号。

6.根据权利要求1至5中任一项所述的一种基于机器学习的立体视频客观质量评价方法，其特征在于所述的步骤⑥中R^(d)的左视点视频中的第k帧图像的亮度分量图与R^(d)的右视点视频中的第k帧图像的亮度分量图在视点间差异的变化程度Q_D,k的具体获取过程为：

⑥-1、计算R^(o)的左视点视频中的第k帧图像的亮度分量图与R^(o)的右视点视频中的第k帧图像的亮度分量图的绝对差值图，记为 其中，符号“||”为取绝对值符号；

⑥-2、计算R^(d)的左视点视频中的第k帧图像的亮度分量图与R^(d)的右视点视频中的第k帧图像的亮度分量图的绝对差值图记为

⑥-3、采用尺寸大小为8×8的滑动窗口在中逐像素点滑动，将分割成(W-7)×(H-7)个相重叠的尺寸大小为8×8的子块，同样采用尺寸大小为8×8的滑动窗口在中逐像素点滑动，将分割成(W-7)×(H-7)个相重叠的尺寸大小为8×8的子块，然后计算和中所有的坐标位置相同的两个子块的结构相似度，将中左上角像素点的坐标位置为(x,y)的子块和中左上角像素点的坐标位置为(x,y)的子块的结构相似度记为SSIM_(x,y)， ${\mathrm{SSIM}}_{(x,y)}=\frac{({2\mathrm{\μ}}_{(x,y)}^{\left(o\right)}{\mathrm{\μ}}_{(x,y)}^{\left(d\right)}+C_1)({2\mathrm{\σ}}_{(x,y)}^{\mathrm{Cov}}+C_2)}{({\left({\mathrm{\μ}}_{(x,y)}^{\left(o\right)}\right)}^2+{\left({\mathrm{\μ}}_{(x,y)}^{\left(d\right)}\right)}^2+C_1)({\left({\mathrm{\σ}}_{(x,y)}^{\left(o\right)}\right)}^2+{\left({\mathrm{\σ}}_{(x,y)}^{\left(d\right)}\right)}^2+C_2)},$ 其中，W表示左视点视频中的图像和右视点视频中的图像的宽度，H表示左视点视频中的图像和右视点视频中的图像的高度，1≤x≤W-7,1≤y≤H-7，表示中左上角像素点的坐标位置为(x,y)的子块中的所有像素点的亮度值的均值，表示中左上角像素点的坐标位置为(x,y)的子块中的所有像素点的亮度值的均值，表示中左上角像素点的坐标位置为(x,y)的子块中的所有像素点的亮度值的方差，表示中左上角像素点的坐标位置为(x,y)的子块中的所有像素点的亮度值的方差，表示中左上角像素点的坐标位置为(x,y)的子块中的所有像素点的亮度值与中左上角像素点的坐标位置为(x,y)的子块中的所有像素点的亮度值的协方差，C₁和C₂均为常数，C₁≠0,C₂≠0；

⑥-4、根据和中所有的坐标位置相同的两个子块的结构相似度，计算R^(d)的左视点视频中的第k帧图像的亮度分量图与R^(d)的右视点视频中的第k帧图像的亮度分量图在视点间差异的变化程度，记为Q_D,k， $Q_{D,k}=\frac{1}{(W-7)\×(H-7)}\underset{x=1}{\overset{W-7}{\mathrm{\Σ}}}\underset{y=1}{\overset{H-7}{\mathrm{\Σ}}}{\mathrm{SSIM}}_{(x,y)}.$

7.根据权利要求6所述的一种基于机器学习的立体视频客观质量评价方法，其特征在于所述的步骤⑥-3中取C₁＝6.5025，C₂＝58.5225。

8.根据权利要求7所述的一种基于机器学习的立体视频客观质量评价方法，其特征在于所述的步骤⑨的具体过程为：

⑨-1、将该失真立体视频集合中的所有失真立体视频按来源分为n'组，然后从n'组中选出组，再将选出的组中的所有失真立体视频构成训练集，将未被选出的组中的所有失真立体视频构成测试集，或将选出的组中的所有失真立体视频构成测试集，将未被选出的组中的所有失真立体视频构成训练集，其中，符号为向下取整符号；

⑨-2、将训练集中的所有失真立体视频的特征矢量和平均主观意见分构成训练样本数据集，记为Ω_t，{x_k,MOS_k}∈Ω_t，其中，x_k表示Ω_t中的第k个失真立体视频的特征矢量，MOS_k表示Ω_t中的第k个失真立体视频的平均主观意见分，1≤k≤t，t表示训练集中包含的失真立体视频的个数；

⑨-3、构造Ω_t中的每个失真立体视频的特征矢量的回归函数，将Ω_t中的第k个失真立体视频的特征矢量x_k的回归函数记为f(x_k)，其中，f()为函数表示形式，W^T为权值矢量W的转置矢量，b为偏置项，表示Ω_t中的第k个失真立体视频的特征矢量x_k的线性函数，K(x_k,x_l)为支持向量回归中的核函数， 为x_l的转置矢量，x_l表示Ω_t中的第l个失真立体视频的特征矢量；

⑨-4、采用支持向量回归作为机器学习的方法，对Ω_t中的所有失真立体视频的特征矢量进行训练，使得经过训练得到的回归函数值与平均主观意见分之间的误差最小，拟合得到最优的权值矢量W^opt和最优的偏置项b^opt，然后将最优的权值矢量W^opt和最优的偏置项b^opt的组合记为(W^opt,b^opt)， $(W^{\mathrm{opt}},b^{\mathrm{opt}})=\underset{(W,b)\∈\mathrm{\ψ}}{\arg \min }\underset{k=1}{\overset{t}{\mathrm{\Σ}}}{(f\left(x_k\right)-{\mathrm{MOS}}_k)}^2,$ 再利用得到的最优的权值矢量W^opt和最优的偏置项b^opt构造支持向量回归训练模型，记为f(x_input)，其中，ψ表示对Ω_t中的所有失真立体视频的特征矢量进行训练时的权重矢量和偏置项的所有可能的组合的集合，表示最小化概率密度函数，x_input表示支持向量回归训练模型的输入矢量，(W^opt)^T为W^opt的转置矢量，表示支持向量回归训练模型的输入矢量x_input的线性函数；

⑨-5、根据支持向量回归训练模型，对测试集中的每个失真立体视频的特征矢量进行测试，预测得到测试集中的每个失真立体视频的客观质量评价预测值，将测试集中的第k'个失真立体视频的客观质量评价预测值记为Q_k'，Q_k'＝f(x_k')，其中，1≤k'≤t'，t'表示测试集中包含的失真立体视频的个数，x_k'表示测试集中的第k'个失真立体视频的特征矢量，表示测试集中的第k'个失真立体视频的线性函数。