CN103780895A - 一种立体视频质量评价方法 - Google Patents

Abstract

本发明公开了一种立体视频质量评价方法，包括：提取结合亮度权重的左、右视点视频的亮度对比度失真评价指标；提取结合运动权重的左、右视点视频的结构相似度评价指标；提取结合运动权重的左、右视点视频的清晰度失真评价指标；采用梯度结构相似度算法计算原始视频视差图和失真视频视差图的子块平均亮度、子块梯度对比度、子块梯度相关系数，通过平均立体视频所有视差图子块的深度保真度，得到整段立体视频的深度保真度评价指标；通过多元非线性回归分析得到每个立体视频质量评价指标的数学形态和权重，从而构建出完整的全参考立体视频质量评价模型。本方法能够正确反映立体视频质量，通过实验结果表明本方法提高了评价结果的准确度。

Description

一种立体视频质量评价方法

技术领域

本发明涉及立体视频领域，特别涉及一种立体视频质量评价方法。

背景技术

视觉是人类感知世界、认识世界的主要途径，而立体视觉则是人类对于物体的距离、深度的感知，是视觉的高级功能。随着人类对立体视觉认知过程研究的不断深入，也给立体技术的发展带来了新的机遇。目前，立体视频技术已被广泛应用于教育、医疗、军事、电影、电视等诸多领域，但是，立体视频在处理、存储、编码、传输、重构和显示过程中会受到各种损伤，因此，建立一个立体视频质量评价系统对立体视频行业的不断发展至关重要。

立体视频质量评价方法大致分为主观评价和客观评价两个方面。主观评价方法是利用被试者对立体视频的直接反映作为视频质量值，结果准确、真实，但耗时长、可移植性较差；客观评价方法是通过计算机编程来实现立体视频的评价，优点是速度快、成本低、方便计算机处理和实现。因此，有必要研究一种可靠、有效的立体视频质量客观评价方法。

客观评价目前主流方法有三类，分别为全参考帧（Full-Reference，FR）、半参考帧（Reduced-Reference，RR）和无参考帧（No-Reference，NR）度量模型。一些文献提出的算法主要以峰值信噪比（Peak Signal Noise Ratio，PSNR）和结构相似度（Structural Similarity IndexMetric，SSIM）算法为框架，成于庆和姜秀华^[1]通过计算参考视频与失真视频的两视点间绝对差值图的PSNR值来获得立体视频评价结果；孙延^[2]基于人眼视觉系统提出了基于深度的SSIM加权算法DSSIM，利用基于深度图的多视点视频（Multi-View Video Plus Depth，MVD）的深度视图空间和时间上的特性，提取主观权值映射；Donghyun Kim等^[3]将改进后的PSNR和SSIM算法分别应用到立体视频质量评价算法中，改进方法中考虑到了深度特征和运动特征。Chaminda T.E.R等人^[4]提出了基于边缘信息的半参考立体视频质量评价模型，只传输部分特征信息，不提供完整的原始视频；Z.M.Parvez Sazzad^[5]、Anish Mittal^[6]等分别提出了无参考立体视频评价算法，利用空间特征、时间特征和视差或视差图、空间分布图和运动信息图的统计特征作为质量评价的指标；无参考立体视频评价算法虽然未使用原始视频，但其提取的大量评价指标均需要赋予合适的权重，而选取权重需要大量的主观实验结果。

发明人在实现本发明的过程中发现，现有技术中至少存在以下主要缺点和不足：

对于立体视频质量评价方法尚无统一的标准，一些方法直接将平面图像和平面视频质量评价方法应用于立体视频质量评价中，并未考虑到视频的运动特征和深度特性指标，使得得到的立体视频客观评价值与主观评价值之间的相关性较低，会导致评价结果不准确；在分配立体视频每个视点的质量权重时，取均值的方法不符合人类立体视觉特性，无法满足实际应用中的需要。

发明内容

本发明提供了一种立体视频质量评价方法，本方法综合考虑了影响立体视频质量的各个指标并有效的结合，提高了与主观评价结果的相关性，详见下文描述：

一种立体视频质量评价方法，所述方法包括以下步骤：

（1）分别提取结合亮度权重的左、右视点视频序列亮度对比度失真评价指标P_left和P_right；

（2）分别提取结合运动权重的左、右视点视频序列的结构相似度评价指标S_left和S_right；

（3）分别提取结合运动权重的左、右视点视频序列的清晰度失真评价指标F_left和F_right；

（4）采用基于梯度的结构相似度算法计算原始视频视差图X_D和失真视频视差图Y_D的子块平均亮度l_D(x_D,y_D)、子块梯度对比度C_Dg(x_D,y_D)、子块梯度相关系数S_Dg(x_D,y_D)，然后，通过平均立体视频所有视差图子块的深度保真度，得到整段立体视频序列的深度保真度评价指标GSSIM_D；

（5）通过多元非线性回归分析得到每个立体视频质量评价指标的数学形态和权重，从而构建出完整的全参考立体视频质量评价模型。

所述分别提取结合亮度权重的左、右视点视频的亮度对比度失真评价指标P_left和P_right的步骤具体为：

通过平均所有帧的亮度对比度失真值P_i分别得到左、右视点视频序列的亮度对比度失真评价指标P_left和P_right；

$P_i=\frac{\underset{n=1}{\overset{N}{\mathrm{\Σ}}}(p_{i,j}\×w_{i,j}^L)}{\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{w}_{i,j}^L}$

p_i,j为子块的亮度对比度失真，

为第i帧、第j块的亮度权重，N为第i帧图像中子块的数量；l_i,j为第i帧、第j块的亮度失真，c_i,j为第i帧、第j块的对比度失真；M为第i帧、第j块中像素的数量；α_m为第i帧、第j块中第m个像素的亮度失真，x_m为原始图像第m个像素的亮度值，y_m为失真图像第m个像素的亮度值；u_x为原始图像子块x的亮度平均值，u_y为失真图像子块y的亮度平均值。

所述分别提取结合运动权重的左、右视点视频序列的结构相似度评价指标S_left和S_right的步骤具体为：

通过平均所有帧的结构相似度S_i得到左、右视点视频序列的结构相似度评价指标S_left和S_right；

$S_i=\frac{\underset{n=1}{\overset{N}{\mathrm{\Σ}}}(s_{i,j}\×w_{i,j}^M)}{\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{w}_{i,j}^M}$

采用基于光流的运动估计方法计算相邻帧之间每个子块的运动矢量{vx_i,j,vy_i,j}，

为原始视频子块的运动矢量模值，s_i,j为第i帧、第j子块的结构相似度，N为第i帧图像中子块的数量。

所述分别提取结合运动权重的左、右视点视频序列的清晰度失真评价指标F_left和F_right的步骤具体为：

通过求取所有帧的均值，分别获得左、右视点视频序列的清晰度失真F_i评价指标F_left和F_right；

$F_i=\frac{\underset{n=1}{\overset{N}{\mathrm{\Σ}}}(f_{i,j}\×w_{i,j}^M)}{\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{w}_{i,j}^M}$

分别代表原始图像子块x和失真图像子块y的空间频率模值，

为原始视频子块的运动矢量模值，N为第i帧图像中子块的数量。

所述全参考立体视频质量评价模型具体为：

$Q=a_0+a_1\×{\mathrm{GSSIM}}_D+a_2\×{\mathrm{GSSIM}}_D^2+a_3\×{\mathrm{GSSIM}}_D^3$

$+b_1\×P_{\mathrm{left}}+b_2\×P_{\mathrm{right}}+c_1\×S_{\mathrm{left}}+c_2\×S_{\mathrm{right}}$

$+d_1\×F_{\mathrm{left}}+d_2\×F_{\mathrm{right}}$

其中，a₀、a₁、a₂、a₃、b₁、b₂、c₁、c₂、d₁、d₂均为评价指标的权重。

本发明提供的技术方案的有益效果是：本方法综合提取了多个能够反映立体视频质量的典型评价指标，具体包括亮度对比度失真、结构相似度、清晰度失真和深度保真度，考虑到亮度权重、运动权重和深度信息，并利用多元非线性回归训练确定各指标的数学形态和权重。和现有技术中的方法相比，本方法提出客观质量评价方法和与主观评价结果最为接近。因此，本方法能够正确反映立体视频质量，与人眼立体视觉特征保持了良好的一致性，通过实验结果表明本方法提高了评价结果的准确度。

附图说明

图1为立体视频质量客观评价方法的原理图；

图2为flower原始视频的左和右视图的单帧图像；

图3为经H.264压缩后的flower失真视频的左和右视图的单帧图像；

图4为fire原始视频的左和右视图的单帧图像；

图5为经H.264压缩后的fire失真视频的左和右视图的单帧图像；

图6为woshou原始视频的左和右视图单帧图像；

图7为经H.264压缩后的woshou失真视频的左和右视图的单帧图像；

图8为Sobel算子的水平方向、垂直方向、主对角线方向和次对角线方向的示意图；

图9为flower原始视频的单帧视差图；

图10为经H.264压缩后的flower失真视频的单帧视差图；

图11为fire原始视频的单帧视差图；

图12为经H.264压缩后的fire失真视频的单帧视差图；

图13为woshou原始视频的单帧视差图；

图14为经H.264压缩后的woshou失真视频的单帧视差图；

图15为PSNR、SSIM和本专利的评价方法的性能。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

本方法提出了一种立体视频质量客观评价方法，本方法综合提取了多个能够反映立体视频质量的典型评价指标，充分考虑立体视频的时间连续性特征和深度特征。该评价模型属于全参考评价模型，流程图参见图1，模型的输入包括原始立体视频和失真立体视频（特别针对经H.264压缩编码的失真立体视频），原始立体视频和失真立体视频如图2～7所示，该方法包括以下步骤，

101：分别提取结合亮度权重的左、右视点视频的亮度对比度失真评价指标P_left和P_right；

人眼对亮度信息的敏感度远高于色度信息，因此，在观看立体视频时，观看者很容易察觉场景中的亮度和对比度失真，该步骤具体为：

首先，将原始视频的单帧图像X、失真视频的单帧图像Y分别划分为N个尺寸为16×16的互相不重叠子块x、y，然后计算每个子块的亮度失真和对比度失真。计算当前子块的第m个像素的亮度失真α_m，计算公式如式（1），

其中，x_m表示原始图像第m个像素的亮度值，y_m表示失真图像第m个像素的亮度值；u_x表示原始图像子块x的亮度平均值，u_y表示失真图像子块y的亮度平均值，当原始和失真图像子块的平均亮度均小于1时，表示子块的亮度较暗，此时亮度失真基本不被察觉，从而设定亮度失真为常数0；当α_m值大于1时，将亮度失真的最大值设定为1，即将大于1的α_m值标准化为1。通过平均单帧图像中所有子块的像素级亮度失真，得到第i帧、第j块的亮度失真l_i,j，具体如式（2），其中，M为子块中像素的总数。

$l_{i,j}=\frac{1}{m}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\α}}_m---\left(2\right)$

用方差与协方差来定义单视点视频的第i帧、第j块的对比度失真c_i,j，如式（3），

$c_{i,j}=1+\frac{{({\mathrm{\σ}}_x^2-{\mathrm{\σ}}_y^2)}^2+K}{{\left({\mathrm{\σ}}_x^2\right)}^2+{\left({\mathrm{\σ}}_y^2\right)}^2-2{\mathrm{\σ}}_{\mathrm{xy}}^2+K}---\left(3\right)$

其中，σ_x、σ_y和σ_xy分别表示原始图像子块x、失真图像子块y的标准偏差和两者的协方差，K为常数255。

将子块的亮度和对比度指标相结合，得到子块的亮度对比度失真p_i,j，计算公式如式（4）；同时由于人眼对较暗背景下的失真感知不敏感，根据子块平均亮度的不同，赋予该子块不同的权重，第i帧、第j块的亮度权重

为式（5），其中u_x表示原始图像子块的亮度平均值；结合权重计算出单视点第i帧图像的亮度对比度失真P_i，如式（6），其中N为第i帧图像中子块的数量。

p_i,j=l_i,j×c_i,j    （4）

$w_{i,j}^L=u_x/255---\left(5\right)$

$P_i=\frac{\underset{n=1}{\overset{N}{\mathrm{\Σ}}}(p_{i,j}\×w_{i,j}^L)}{\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{w}_{i,j}^L}---\left(6\right)$

最后，通过平均所有帧的亮度对比度失真值分别得到左、右视点视频序列的亮度对比度失真评价指标P_left和P_right。

102：分别提取结合运动权重的左、右视点视频序列的结构相似度评价指标S_left和S_right；

首先，通过图8所示的四个方向的Sobel算子分别计算原始视频和失真视频的单视点单帧图像X、Y的每个像素各个方向的梯度值，为了保留最重要的结构信息，取四个方向中的最大值，每个像素的梯度值计算公式如式（7）

E(p,q)=max{|E_h(p,q)|,|E_v(p,q)|,|E_d(p,q)|,|E_a(p,q)|}    （7）

其中，E_h(p,q)、E_v(p,q)、E_d(p,q)和E_a(p,q)分别代表第p行、第q列像素的水平、垂直、主对角线和次对角线方向的梯度值。通过以上计算得到原始视频单帧图像X和失真视频单帧图像Y对应的梯度值矩阵X′、Y′，并将X′、Y′分别划分为N个16×16的子块x′和y′。

然后，利用式（8）提取梯度值矩阵每个子块的结构信息β_i,j，通过计算得到每个子块的结构相似度s_i,j，具体计算公式如式（9）。

β_i,j=u_i,j′+σ_i,j′    （8）

$s_{i,j}=\frac{{\mathrm{\β}}_{i,j}^y}{{\mathrm{\β}}_{i,j}^x}---\left(9\right)$

其中，u_i,j′为子块梯度值矩阵的均值，σ_i,j′为子块梯度值矩阵的标准偏差，

表示原始图像子块x的结构信息，

表示失真图像子块y的结构信息。

采用基于光流的运动估计方法^[7]计算相邻帧之间每个子块的运动矢量{vx_i,j,vy_i,j}，将原始视频单帧图像子块的运动矢量模值

作为该子块的权重，即

单视点第i帧图像的结构相似度具体如式（10），

$S_i=\frac{\underset{n=1}{\overset{N}{\mathrm{\Σ}}}(s_{i,j}\×w_{i,j}^M)}{\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{w}_{i,j}^M}---\left(10\right)$

通过平均所有帧的结构相似度得到左、右视点视频序列的结构相似度评价指标S_left和S_right。

103：分别提取结合运动权重的左、右视点视频序列的清晰度失真评价指标F_left和F_right；

首先，计算原始视频单帧图像X和失真视频单帧图像Y在每个子块的空间频率的水平分量γ_h、垂直分量γ_v和模值γ_i,j，如式（11）、（12）和（13），

${\mathrm{\γ}}_h=\sqrt{\frac{1}{\mathrm{PQ}}\underset{p=1}{\overset{P}{\mathrm{\Σ}}}\underset{q=2}{\overset{Q}{\mathrm{\Σ}}}[I(p,q)-I(p,q-1){]}^2}---\left(11\right)$

${\mathrm{\γ}}_v=\sqrt{\frac{1}{\mathrm{PQ}}\underset{p=2}{\overset{P}{\mathrm{\Σ}}}\underset{q=1}{\overset{Q}{\mathrm{\Σ}}}[I(p,q)-I(p-1,q){]}^2}---\left(12\right)$

${\mathrm{\γ}}_{i,j}=\sqrt{{\left({\mathrm{\γ}}_h\right)}^2+{\left({\mathrm{\γ}}_v\right)}^2}---\left(13\right)$

其中，P、Q为子块的行数和列数，I(p,q)代表子块的第p行、第q列的像素值，I(p,q-1)代表子块的第p行、第q-1列的像素值，I(p-1,q)代表子块的第p-1行、第q列的像素值。

然后，计算子块清晰度失真f_i,j，具体为式（14），其中，

分别代表原始图像子块x和失真图像子块y的空间频率模值；根据运动信息分配给不同的子块以相应的权重

从而得到单视点第i帧图像的清晰度失真值F_i，如式（15）。

$f_{i,j}=\frac{|{\mathrm{\γ}}_{i,j}^x-{\mathrm{\γ}}_{i,j}^y|}{{\mathrm{\γ}}_{i,j}^x}---\left(14\right)$

$F_i=\frac{\underset{n=1}{\overset{N}{\mathrm{\Σ}}}(f_{i,j}\×w_{i,j}^M)}{\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{w}_{i,j}^M}---\left(15\right)$

通过求取所有帧的均值，分别获得左、右视点视频序列的清晰度失真评价指标F_left和F_right。

104：采用基于梯度的结构相似度算法（Gradient-based Structural Similarity Index Metric，GSSIM）计算原始视频视差图X_D和失真视频视差图Y_D的子块平均亮度l_D(x_D,y_D)、子块梯度对比度C_Dg(x_D,y_D)、子块梯度相关系数S_Dg(x_D,y_D)，然后，通过平均立体视频所有视差图子块的深度保真度，得到整段立体视频的深度保真度评价指标GSSIM_D；

首先，利用基于非局部开销聚合的立体匹配方法^[8]分别绘制原始视差图X_D和失真视差图Y_D，如图9～14。

利用Sobel算子来提取图像的边缘信息。具体模板如图8的（a）和（b）所示。定义图像中每一像素的梯度信息向量V_i,j={dx_i,j,dy_i,j}，近似定义图像像素的梯度模值为：

AMP_i,j=|dx_i,j|+|dy_i,j|    （16）

通过式（16）分别获得原始视差图X_D和失真视差图Y_D的梯度值矩阵X_D′和Y_D′，利用视差图子块的梯度对比度函数C_Dg(x_D,y_D)和梯度相关系数S_Dg(x_D,y_D)代替SSIM中的对比度比较函数c(x,y)和结构比较函数s(x,y)，计算得到子块的深度保真度值GSSIM_D(x_D,y_D)，如公式（17）所示，

GSSIM_D(x_D,y_D)=[l_D(x_D,y_D)]^α×[C_Dg(x_D,y_D)]^β×[S_Dg(x_D,y_D)]^γ    （17）

其中，

$l_D(x_D,y_D)=\frac{{2u}_{\mathrm{Dx}}{u}_{\mathrm{Dy}}+C_1}{u_{\mathrm{Dx}}^2+u_{\mathrm{Dy}}^2+C_1}---\left(18\right)$

$C_{\mathrm{Dg}}(x_D,y_D)=\frac{{2\mathrm{\σ}}_{\mathrm{Dgx}}{\mathrm{\σ}}_{\mathrm{Dgy}}+C_2}{{\mathrm{\σ}}_{\mathrm{Dgx}}^2+{\mathrm{\σ}}_{\mathrm{Dgy}}^2+C_2}---\left(19\right)$

$S_{\mathrm{Dg}}(x_D,y_D)=\frac{{\mathrm{\σ}}_{\mathrm{Dgxy}}+C_3}{{\mathrm{\σ}}_{\mathrm{Dgx}}{\mathrm{\σ}}_{\mathrm{Dgy}}+C_3}---\left(20\right)$

通常按照以下方式设置公式中的常量：α=β=γ=1，C₁=(K₁L)²，C₂=(K₂L)²，C₃=C₂/2，L=255，K₁=0.01，K₂=0.03。此时，公式（17）可简化为公式（21），

${\mathrm{GSSIM}}_D(x_D,y_D)=\frac{(2u_{\mathrm{Dx}}{u}_{\mathrm{Dy}}+C_1)(2{\mathrm{\σ}}_{\mathrm{Dgxy}}+C_2)}{(u_{\mathrm{Dx}}^2+u_{\mathrm{Dy}}^2+C_1)({\mathrm{\σ}}_{\mathrm{Dgx}}^2+{\mathrm{\σ}}_{\mathrm{Dgy}}^2+C_2)}---\left(21\right)$

其中，u_Dx、u_Dy分别代表原始视频视差图子块x_D和失真视频视差图的子块y_D的像素平均值，σ_Dgx、σ_Dgy和σ_Dgxy分别表示原始视频视差图梯度值矩阵子块x_D′和失真视频视差图的梯度值矩阵子块y_D′的像素标准差以及两者的协方差，通过平均所有视差图子块的深度保真度值得到第i帧视差图的深度保真度GSSIM_Di(X_D,Y_D)。

通过求取所有帧的深度保真度值的平均值，得到整段立体视频序列的深度保真度评价指标GSSIM_D，计算如公式（22）所示，

${\mathrm{GSSIM}}_D=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{GSSIM}}_{\mathrm{Di}}(X_D,Y_D)---\left(22\right)$

105：通过多元非线性回归分析得到每个立体视频质量评价指标的数学形态和权重，从而构建出完整的全参考立体视频质量评价模型。

由于影响因变量的自变量个数较多，回归分析将需要大量、复杂的运算，具体步骤如下：

从实验数据中随机选取其中的2/3作为输入进行回归分析，确定每个评价指标的表示方式（线性或非线性），通过回归分析来训练每个评价指标的权重，进而确定完整的立体视频质量客观评价模型，具体公式如式（23）。

$Q=a_0+a_1\×{\mathrm{GSSIM}}_D+a_2\×{\mathrm{GSSIM}}_D^2+a_3\×{\mathrm{GSSIM}}_D^3$

$+b_1\×P_{\mathrm{left}}+b_2\×P_{\mathrm{right}}+c_1\×S_{\mathrm{left}}+c_2\×S_{\mathrm{right}}---\left(23\right)$

$+d_1\×F_{\mathrm{left}}+d_2\×F_{\mathrm{right}}$

a₀、a₁、a₂、a₃、b₁、b₂、c₁、c₂、d₁、d₂均为评价指标的权重，具体的取值根据回归分析方法确定。

其中，本方法对立体视频质量指标提取的执行顺序不做限制，即步骤101-104可以不分先后执行或同时进行，本发明实施例对此不做限制。

为了验证本方法所提出的立体视频质量客观评价模型符合人眼立体视觉特性，以及较其它模型的优越性，本方法将该模型的客观质量评价结果和主观实验得出的评价结果进行了比较，下面简单介绍主观实验的实验环境和实验过程：

本方法主观实验选取了三段原始立体视频序列：flower.yuv（单视点分辨率为640×384像素），fire.yuv（单视点分辨率为640×384像素），woshou.yuv（单视点分辨率为512×384像素），三段立体视频如图2-7所示，实验数据由天津大学宽带无线通信与立体成像研究所和HHI立体视频库提供。对每段原始视频的左、右视点分别采用H.264标准进行单视点压缩，量化参数QP取24、28、32、36、40、44、48，对失真视频的左、右视点组合，最终得到7×7=49个立体视频对的立体视频序列，则三段原始立体视频与其生成的失真立体视频共150个实验数据。

根据ITU-R BT.1438^[9]标准规定，ITU-R BT.500^[10]中的主观测试方法可以应用到立体系统的主观质量测试中。实验采用双刺激损伤标度法(Double-Stimulus Impairment Scale，DSIS)，让25名图像质量评价的非专业人士作为被试者（均通过了常规的视力和立体视检查）观看立体视频序列，观看设备为3D WINDOWS-19A0（19英寸，1280×1024），播放速度为25帧/秒，实验室亮度为极弱，按照DSIS评分标准对失真视频的质量进行打分。

结果验证：

本实施例将本专利的客观质量评价方法与经典算法PSNR和SSIM算法进行比较。选取实验数据中除去训练数据的剩余50段立体视频序列作为测试数据，得到结果如图14，横轴均为主观评价值，纵轴为客观评价值。

图15（a）为PSNR方法，（b）为SSIM方法，（c）为本专利评价方法，子图（c）中的散点最集中，更靠近对角线的理想曲线，本专利所提出的方法得到的客观评价分数的离散性和波动性最小，评价结果最准确。

为了进一步验证本文所提出的评价方法的优越性，本方法将主观评价结果与客观评价结果之间的Pearson相关系数（Pearson Correlation）作为不同算法间比较的指标，Pearson系数越大，表示主观评价结果与客观评价的相关性越高，反之，就越低，在三种评价方法性能比较中，本方法所提出的质量评价方法的Pearson相关系数最大，具体见表1。

表1各立体视频评价算法性能比较

质量评价算法

Pearson相关系数

PSNR	0.9515
		SSIM	0.9539
本专利所提模型	0.9879

通过观察和分析图（14）和表1，可以看出本方法提出模型立体视频质量客观评价方法与主观评价结果最接近。因此，本方法能够正确反映立体视频质量，与人眼立体视觉特征保持了良好的一致性。

参考文献：

[1]成于庆,姜秀华.3D电视视频质量主客观评价最新技术研究[J],中国传媒大学学报自然科学版[J].中国传媒大学学报自然科学版,2012,19(1):31-36.

[2]孙延,岑峰.基于深度的3D视频质量评价[J].微型机与应用,2013,32(3):45-48.

[3]Donghyun Kim,Seungchul Ryu and Kwanghoon.Depth perception and motion cue based 3Dvideo quality assessment[C],2012IEEE International Symposium on Broadband MultimediaSystem and Broadcasting,Seoul,2012,1-4.

[4]Chaminda T.E.R.Hewage and Maria G.Martini.Reduced-Reference Quality Evaluation forCompressed Depth Maps Associated With Colour Plus Depth3D Video[C].201017th IEEEInternational Conference on Image Processing(ICIP).HongKong,2010:4017-4020.

[5]Z.M.Parvez Sazzad,S.Yamanaka and Y.Horita,Spatio-temporal Segmentation BasedContinuous No-reference Stereoscopic Video Quality Prediction[C].2010 SecondInternational Workshop on Quality of Multimedia Experience(QoMEX).Trondheim,2010:106-111.

[6]Anish Mittal,Anush K.Moorthy,Joydeep Ghosh et al.Algorithmic Assessment of 3DQuality of Experience for Images and Videos[C].2011IEEE International Conference onDigital Signal Processing Workshop and IEEE Signal Processing Education Workshop(DSP/SPE).Sedona,AZ,2011:338-343.

[7]李文羽，基于光流的运动估计与匹配方法研究[D]，重庆：重庆邮电大学，2010.13～18.

[8]Qingxiong Yang,A non-local cost aggregation method for stereo matching[C],2012 IEEEConference on Computer Vision and Pattern Recognition(CVRP),Providence,RI:2012,1402～1409.

[9]ITU-R BT.1438.Subjective assessment of stereoscopic television pictures[S].2000.

[10]ITU-R BT.500-11.Methodology for the subjective assessment of the quality of televisionpictures[S].2002.

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种立体视频质量评价方法，其特征在于，所述方法包括以下步骤：

（1）分别提取结合亮度权重的左、右视点视频序列亮度对比度失真评价指标P_left和P_right；

（2）分别提取结合运动权重的左、右视点视频序列的结构相似度评价指标S_left和S_right；

（3）分别提取结合运动权重的左、右视点视频序列的清晰度失真评价指标F_left和F_right；

（4）采用基于梯度的结构相似度算法计算原始视频视差图X_D和失真视频视差图Y_D的子块平均亮度l_D(x_D,y_D)、子块梯度对比度C_Dg(x_D,y_D)、子块梯度相关系数S_Dg(x_D,y_D)，然后，通过平均立体视频所有视差图子块的深度保真度，得到整段立体视频序列的深度保真度评价指标GSSIM_D；

（5）通过多元非线性回归分析得到每个立体视频质量评价指标的数学形态和权重，从而构建出完整的全参考立体视频质量评价模型。

2.根据权利要求1所述的一种立体视频质量评价方法，其特征在于，所述分别提取结合亮度权重的左、右视点视频的亮度对比度失真评价指标P_left和P_right的步骤具体为：

通过平均所有帧的亮度对比度失真P_i分别得到左、右视点视频序列的亮度对比度失真评价指标P_left和P_right；

$P_i=\frac{\underset{n=1}{\overset{N}{\mathrm{\Σ}}}(p_{i,j}\×w_{i,j}^L)}{\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{w}_{i,j}^L}$

p_i,j为子块的亮度对比度失真，

为第i帧、第j块的亮度权重，N为第i帧图像中子块的数量；l_i,j为第i帧、第j块的亮度失真，c_i,j为第i帧、第j块的对比度失真；M为第i帧、第j块中像素的数量；α_m为第i帧、第j块中第m个像素的亮度失真，x_m为原始图像第m个像素的亮度值，y_m为失真图像第m个像素的亮度值；u_x为原始图像子块x的亮度平均值，u_y为失真图像子块y的亮度平均值。

3.根据权利要求1所述的一种立体视频质量评价方法，其特征在于，所述分别提取结合运动权重的左、右视点视频序列的结构相似度评价指标S_left和S_right的步骤具体为：

通过平均所有帧的结构相似度S_i得到左、右视点视频序列的结构相似度评价指标S_left和S_right；

$S_i=\frac{\underset{n=1}{\overset{N}{\mathrm{\Σ}}}(s_{i,j}\×w_{i,j}^M)}{\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{w}_{i,j}^M}$

采用基于光流的运动估计方法计算相邻帧之间每个子块的运动矢量{vx_i,j,vy_i,j}，

为原始视频子块的运动矢量模值，s_i,j为第i帧、第j子块的结构相似度，N为第i帧图像中子块的数量。

4.根据权利要求1所述的一种立体视频质量评价方法，其特征在于，所述分别提取结合运动权重的左、右视点视频序列的清晰度失真评价指标F_left和F_right的步骤具体为：

通过求取所有帧的均值，分别获得左、右视点视频序列的清晰度失真F_i评价指标F_left和F_right；

$F_i=\frac{\underset{n=1}{\overset{N}{\mathrm{\Σ}}}(f_{i,j}\×w_{i,j}^M)}{\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{w}_{i,j}^M}$

分别代表原始图像子块x和失真图像子块y的空间频率模值，为原始视频子块的运动矢量模值，N为第i帧图像中子块的数量。

5.根据权利要求1所述的一种立体视频质量评价方法，其特征在于，所述全参考立体视频质量评价模型具体为：

$Q=a_0+a_1\×{\mathrm{GSSIM}}_D+a_2\×{\mathrm{GSSIM}}_D^2+a_3\×{\mathrm{GSSIM}}_D^3$

$+b_1\×P_{\mathrm{left}}+b_2\×P_{\mathrm{right}}+c_1\×S_{\mathrm{left}}+c_2\×S_{\mathrm{right}}$

$+d_1\×F_{\mathrm{left}}+d_2\×F_{\mathrm{right}}$

其中，a₀、a₁、a₂、a₃、b₁、b₂、c₁、c₂、d₁、d₂均为评价指标的权重。

Images