CN103152600A - 一种立体视频质量评价方法 - Google Patents

Abstract

一种立体视频质量评价方法，涉及数字视频领域，该方法包括：获取每个子块的梯度结构相似度指标；基于人眼视觉特性，提取每个子块的亮度信息、运动信息和结构信息，进而计算出每个子块的质量权重；结合每个子块的梯度结构相似度指标和质量权重，分别得到左或右视点的单帧质量；通过单帧质量获取单视点视频质量；基于人类立体视觉特性，赋予左或右视点视频质量不同的权重，得到立体视频的质量值；计算原始立体视频和失真立体视频每帧图像的绝对差值图；计算原始视频绝对差值图和失真视频绝对差值图的峰值信噪比，作为立体视频的立体感值。本方法对立体视频质量进行了全面的评估，提高了评估质量。

Description

一种立体视频质量评价方法

技术领域

本发明涉及数字视频领域，特别涉及一种立体视频质量评价方法。

背景技术

近年来数字视频技术得到了蓬勃的发展，立体视频技术也逐渐走入了人们的生活，已经成为了人们日常生活中最关注的信息形式之一。然而，立体视频内容的舒适与否直接关系到观看者的视觉感受与生理健康，这已经成为立体产品迅速普及的主要制约因素，因此，研究影响立体视频舒适度的因素，找到一种可靠、有效的立体视频质量评价方法至关重要。

目前，立体视频质量评价方法大致分为主观评价和客观评价两个方面。主观评价是利用被试者对测试视频质量的直接反映来确定系统的评价方法；但是，主观评价方法耗时长、费用高、稳定性差和可移植性差，不适合实时的视频质量评价。因此，有必要研究一种较主观方法稳定、快速、经济、方便计算机处理和实现的客观质量评价方法。

客观评价目前主流方法有三类，分别为全参考帧（Full-Reference，FR）、半参考帧（Reduced-Reference，RR）和无参考帧（No-Reference，NR）度量模型。目前，国内外对立体视频质量评价方面的研究还很少。经典的平面图像评价方法（例如：PSNR、SSIM、GSSIM）和经典的视频评价方法（例如：VQM）均没有考虑到深度信息，因此不能将其直接运用到立体视频的质量评价中；Jungdong Seo^[1]结合人类视觉特性提出了用于评价立体视频质量的指标，但未考虑到视频的时间连续特性；Yan Zhang^[2]取各视点质量的均值为立体视频的质量，但这种取平均的方法未必能很好地反映人眼的感知特性；Z.M.Parvez Sazzad^[3]、Anish Mittal^[4]和Kwangsung Ha^[5]分别提出了无参考立体视频质量评价模型，但这些无参考评价模型的建立往往以拥有大量主观实验数据为前提。

现有技术的主要缺点如下：

（1）直接将平面视频质量评价方法应用于立体视频质量评价中，并未考虑到视频的深度特性指标；

（2）直接将平面或立体图像质量评价方法应用于立体视频质量评价中，并未考虑到视频的时间连续性等立体视频特有的属性；

（3）分配立体视频每个视点的质量相同的权重，不符合人类立体视觉特性。

发明内容

本发明提供了一种立体视频质量评价方法，本方法对立体视频质量进行了全面的评估，提高了评估质量，详见下文描述：

一种立体视频质量评价方法，所述方法包括以下步骤：

（1）采用基于梯度的结构相似度算法提取原始视频帧图像X和失真视频帧图像Y的子块平均亮度l(x,y)、子块梯度对比度C_g(x,y)和子块梯度相关系数S_g(x,y)，最后得到每个子块的梯度结构相似度指标GSSIM(x,y)；

（2）基于人眼视觉特性，提取每个子块的亮度信息、运动信息和结构信息，从而得出亮度权重L、运动权重M和结构权重E，进而计算出每个子块的质量权重w_ij=L_ij·E_ij·M_ij；

（3）结合每个子块的梯度结构相似度指标GSSIM_ij和质量权重w_ij，分别得到左或右视点的单帧质量Q_i；

（4）通过单帧质量Q_i获取单视点视频质量Q；

（5）基于人类立体视觉特性，赋予左或右视点视频质量不同的权重，得到立体视频的质量值；

（6）计算原始立体视频和失真立体视频每帧图像的绝对差值图D；

（7）计算原始视频绝对差值图和失真视频绝对差值图的峰值信噪比，作为立体视频的立体感值。

所述基于人类立体视觉特性，赋予左或右视点视频质量不同的权重，得到立体视频的质量值，具体为：

定义D_value为左、右视点质量差值的绝对值，当D_value≤0.2时，人眼对立体视频质量的感知主要取决于高质量视点；当D_value>0.2时，人眼对立体视频质量的感知主要取决于低质量视点。

max为高质量视点的质量值，min为低质量视点的质量值；

当D_value≤0.2时，立体视频质量Q_q为：

$Q_q=\left\{\begin{array}{cc}0.775\max +0.225\min & 0.9<\max \&le;1.0\\ 0.75\max +0.25\min & 0.8<\max \&le;0.9\\ 0.65\max +0.35\min & 0.7<\max \&le;0.8\\ 0.6\max +0.4\min & 0.6<\max \&le;0.7\\ 0.55\max +0.45\min & 0.5<\max \&le;0.6\\ 0.5\max +0.5\min & 0.0<\max \&le;0.5\end{array}\right.$

当D_value>0.2时，立体视频质量Q_q为：

$Q_q=\left\{\begin{array}{cc}0.9\min +0.1\max & 0.0<\min \&le;0.4\\ 0.85\min +0.15\max & 0.4<\min \&le;0.5\\ 0.75\min +0.25\max & 0.5<\min \&le;0.6\\ 0.6\min +0.4\max & 0.6<\min \&le;0.7\\ 0.5\min +0.5\max & 0.7<\min \&le;0.8\end{array}\right.$

本发明提供的技术方案的有益效果是：本方法基于运动信息和视差信息对立体视频质量进行全面的评价，考虑到了立体视频的时间连续特性和深度特性。和现有技术中的方法相比，本方法提出模型的质量评价方法和立体感评价方法得到的评价结果均与主观评价结果最接近。因此，本方法能够正确反映立体视频质量和立体感的优劣，更加符合人眼的立体视觉机制。

附图说明

图1为hehua原始视频的左和右视图第一帧；

图2为经H.264压缩后的hehua失真视频的左和右视图第一帧；

图3为fire原始视频的左和右视图第一帧；

图4为经H.264压缩后的fire失真视频的左和右视图第一帧；

图5为woshou原始视频的左和右视图第一帧；

图6为经H.264压缩后的woshou失真视频的左和右视图第一帧；

图7为基于运动信息和视差信息的立体视频质量客观评价模型的结构图；

图8为Sobel算子的垂直方向和水平方向的示意图；

图9为hehua原始视频第一帧的绝对差值图；

图10为经H.264压缩后的hehua失真视频第一帧的绝对差值图；

图11为fire原始视频第一帧的绝对差值图；

图12为经H.264压缩后的fire失真视频第一帧的绝对差值图；

图13为woshou原始视频第一帧的绝对差值图；

图14为经H.264压缩后的woshou失真视频第一帧的绝对差值图；

图15为质量评价算法性能比较的示意图；

图16为DSSIM算法和本专利的立体感评价方法得到的效果图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

针对现有技术的缺陷，本方法提出了基于运动信息和视差信息的立体视频质量客观评价模型，该模型包含两个评测指标，分别为立体视频质量（VideoQuality Assessment，VQA）和立体视频立体感（Video Stereo Sense Assessment，VSSA）。基于人类视觉特性和立体成像原理，本方法提取了视频的亮度特征、运动特征和结构特征；提取了反映视频深度感的视差特征。该评价模型属于全参考立体视频质量客观评价模型，模型的输入包括原始立体视频和失真立体视频（特别针对经H.264压缩编码的失真立体视频），原始视频和失真视频如图1～6所示。

101：采用基于梯度的结构相似度算法（Gradient-based Structural SimilarityIndex Metric，GSSIM）提取原始视频帧图像X和失真视频帧图像Y的子块平均亮度l(x,y)、子块梯度对比度C_g(x,y)和子块梯度相关系数S_g(x,y)，最后得到每个子块的梯度结构相似度指标GSSIM(x,y)；

GSSIM(x,y)=[l(x,y)]^α·[C_g(x,y)]^β·[S_g(x,y)]^γ

人眼视觉系统不但能够高度自适应地提取图像中结构信息，而且对图像中的边缘信息非常敏感，因此，GSSIM可以很好地反映图像局部质量，该步骤具体为：

首先，利用Sobel算子（如附图8所示）分别获得原始视频帧图像X和失真视频帧图像Y的梯度模值矩阵X'和Y'，计算方法如（1）式（以原始视频帧图像X为例）：

X′_ab=|dx_ab|+|dy_ab|              （1）

其中，dx_ab和dy_ab分别表示X第a行、第b列像素的水平梯度和垂直梯度。

然后，将X、Y、X'和Y'分别划分为m个大小为16×16的不重叠子块，用x、y、x'和y'分别表示原始视频帧图像子块、失真视频帧图像子块、原始视频帧的梯度模值图像子块和失真视频帧的梯度模值图像子块，分别计算每个子块的亮度比较函数l(x,y)、梯度对比度函数C_g(x,y)和梯度相关系数S_g(x,y)，因此，GSSIM的计算如公式（2）：

GSSIM(x,y)=[l(x,y)]^α·[C_g(x,y)]^β·[S_g(x,y)]^γ           （2）

其中，

$l(x,y)=\frac{2u_x{u}_y+C_1}{u_x^2+u_y^2+C_1}---\left(3\right)$

$C_g(x,y)=\frac{2{\mathrm{\&sigma;}}_{x^{\&prime;}}{\mathrm{\&sigma;}}_{y^{\&prime;}}+C_2}{{\mathrm{\&sigma;}}_{x^{\&prime;}}^2+{\mathrm{\&sigma;}}_{y^{\&prime;}}^2+C_2}---\left(4\right)$

$S_g(x,y)=\frac{{\mathrm{\&sigma;}}_{x^{\&prime;}{y}^{\&prime;}}+C_3}{{\mathrm{\&sigma;}}_{x^{\&prime;}}{\mathrm{\&sigma;}}_{y^{\&prime;}}{+C}_3}---\left(5\right)$

其中，u_x、u_y分别代表子块x和子块y的像素均值；σ_x'、σ_y'和σ_x'y'分别代表子块x'和子块y'的像素标准差以及两者的协方差；参数α、β和γ为权重，均大于零；C₁、C₂和C₃是用来避免三个比较函数的分母接近于零时产生不理想结果而设置的。本专利设置参数如下：α=β=γ=1，C₁=(K₁L)²错误！未找到引用源。，C₂=(K₂L)²，C₃=C₂/2，L=255，K₁=0.01，K₂=0.03错误！未找到引用源。；此时，GSSIM函数可简化如公式（6）：

$\mathrm{GSSIM}(x,y)=\frac{(2u_x{u}_y+C_1)(2{\mathrm{\&sigma;}}_{x^{\&prime;}{y}^{\&prime;}}+C_2)}{(u_x^2+u_y^2+C_1)({\mathrm{\&sigma;}}_{x^{\&prime;}}^2+{\mathrm{\&sigma;}}_{y^{\&prime;}}^2+C_2)}---\left(6\right)$

102：基于人眼视觉特性，提取每个子块的亮度信息、运动信息和结构信息，从而得出亮度权重L、运动权重M和结构权重E，进而计算出每个子块的质量权重w_ij=L_ij·E_ij·M_ij；

人眼在观看视频时会对某些信息感兴趣，尤其对运动和边缘信息非常敏感，因此，对单帧图像的质量评价采取以下数学模型（以左视点为例）：

$Q_{\mathrm{li}}=\frac{{\mathrm{\&Sigma;}}_{j=1}^m{w}_{\mathrm{lij}}\&CenterDot;{\mathrm{GSSIM}}_{\mathrm{lij}}}{{\mathrm{\&Sigma;}}_{j=1}^m{w}_{\mathrm{lij}}}---\left(7\right)$

其中，Q_li表示左视点第i帧的图像质量，m为每帧图像的分块数量，GSSIM_lij为左视点第i帧、第j块的基于梯度的结构相似度指标，w_lij为左视点第i帧、第j块的权重，且w_lij=L_lij·E_lij·M_lij，L_lij、E_lij和M_lij分别表示左视点对应子块的亮度信息、结构信息和运动信息的权重。

1）提取亮度特征

人眼在较暗的背景下，视觉会存在对比度掩盖效应，即人眼往往不会关注一幅图像中的灰暗区域。根据这一特性，以单帧图像子块的亮度均值l_ij作为度量，当l_ij取值较小时，人眼对此区域的灵敏度下降，赋予该部分较小的亮度权重；反之，赋予较大的权值。权值L_ij的选取如（8）式：

$L_{\mathrm{ij}}=\left\{\begin{array}{cc}0& l_{\mathrm{ij}}\&le;40\\ (l_{\mathrm{ij}}-40)/10& 40<l_{\mathrm{ij}}\&le;50\\ 1& l_{\mathrm{ij}}>50\end{array}\right.---\left(8\right)$

2）提取结构特征

人眼对图像中的边缘和结构信息非常敏感，而经过高度压缩视频的块边界通常会出现一定的不连续性，即块效应。本方法利用Sobel算子（如附图8所示）来提取单帧图像每个像素P_ab的梯度向量{dx_ab,dy_ab}，从而近似得到梯度幅值AMP_ab=|dx_ab|+|dy_ab|，定义eAMP_ij为第i帧、第j块的梯度幅值的平均值。为了符合人眼特性，对于梯度幅值较大的子块赋予较大的权值；反之，赋予较小的权值。则第i帧、第j块的结构信息的权重E_ij如（9）式：

$E_{\mathrm{ij}}=\left\{\begin{array}{cc}4& {\mathrm{eAMP}}_{\mathrm{ij}}\&GreaterEqual;255\\ 2& 85\&le;{\mathrm{eAMP}}_{\mathrm{ij}}<255\\ 1& {\mathrm{eAMP}}_{\mathrm{ij}}<85\end{array}\right.---\left(9\right)$

3）提取运动特征

运动信息是评价视频质量的重要指标，视频中的运动信息越多，人眼对图像中的细节敏感性越差；反之，人眼对图像中的细节部分就越关注，对视频质量的要求也相对较高。本方法首先采用基于块匹配的全局搜索法提取单帧每一图像块的运动矢量{mx_ij,my_ij}，从而得到运动模值

并计算每帧的平均运动信息ma_i=(∑_jm_ij)/m，然后分三种情况对其权重进行讨论。

①当ma_i<16时，单帧的运动信息并不多，该帧内只有少部分区域存在运动和变化，这时人眼对运动和变化集中的区域最敏感，于是赋予该区域较大的权值，权值M_ij如（10）式：

$M_{\mathrm{ij}}=\left\{\begin{array}{cc}1& m_{\mathrm{ij}}\&le;12\\ 2-(20-m_{\mathrm{ij}})/8& 12<m_{\mathrm{ij}}\&le;20\\ 2& m_{\mathrm{ij}}>20\end{array}\right.---\left(10\right)$

②当ma_i≥16时，单帧图像运动剧烈，人眼很难分辨出视频中的细节信息。将m_ij大于50的宏块认为是运动剧烈的宏块，再以运动剧烈的宏块所占整帧宏块的比重为度量指标，若度量指标小于90%，则说明该帧中大部分区域的运动并不非常剧烈，此时人眼会对高速运动的区域非常敏感，于是赋予高速运动宏块较大的权值，权值M_ij如（11）式。若度量指标大于90%，说明该帧的运动信息较多，人眼会更关注运动信息较少的区域，从而赋予较少运动信息区域较大的权值，权值M_ij如（12）式：

$M_{\mathrm{ij}}=\left\{\begin{array}{cc}1& m_{\mathrm{ij}}\&le;45\\ 2-(55-m_{\mathrm{ij}})/10& 45<m_{\mathrm{ij}}\&le;55\\ 2& m_{\mathrm{ij}}>55\end{array}\right.---\left(11\right)$

$M_{\mathrm{ij}}=\left\{\begin{array}{cc}2& m_{\mathrm{ij}}\&le;45\\ 1+(55-m_{\mathrm{ij}})/10& 45<m_{\mathrm{ij}}\&le;55\\ 1& m_{\mathrm{ij}}>55\end{array}\right.---\left(12\right)$

103：结合每个子块的梯度结构相似度指标GSSIM_ij和质量权重w_ij，分别得到左或右视点的单帧质量Q_i；

$Q_i=\frac{{\mathrm{\&Sigma;}}_{j=1}^m{w}_{\mathrm{ij}}\&CenterDot;{\mathrm{GSSIM}}_{\mathrm{ij}}}{{\mathrm{\&Sigma;}}_{j=1}^m{w}_{\mathrm{ij}}}---\left(13\right)$

104：通过单帧质量Q_i获取单视点视频质量Q；

由于在观看视频时，人眼很容易关注失真严重的帧图像，因此根据单帧图像失真程度（单帧图像质量Q_i），赋予不同帧图像以不同的权重W_i，权重选取原则如（14）式：

$W_i=\left\{\begin{array}{cc}0.2& 0.8<Q_i\&le;1.0\\ 0.4& 0.6<Q_i\&le;0.8\\ 0.6& 0.4<Q_i\&le;0.6\\ 0.8& 0.2<Q_i\&le;0.4\\ 1.0& 0.0<Q_i\&le;0.2\end{array}\right.---\left(14\right)$

因此，单视点整段视频质量（以左视点为例）的计算方法如（15）式：

$Q_l=\frac{{\mathrm{\&Sigma;}}_{i=1}^K(W_i\&times;Q_{\mathrm{li}})}{{\mathrm{\&Sigma;}}_{i=1}^K{W}_i}---\left(15\right)$

其中，K为视频段包含的帧数，Q_li为左视点视频第i帧的质量，W_i为第i帧的权值。

105：基于人类立体视觉特性，赋予左或右视点视频质量不同的权重，得到立体视频的质量值；

当左、右视点质量不同时，人眼对立体视频质量的感知通常取决于高质量视点，但是，大量的主观实验也表明，当左、右视点质量相差很大时，人眼反而很容易受到失真严重视点的影响，因此，根据人类的视觉特性，本方法提出以左、右视点各自的质量为依据赋予它们不同的权重。

定义Q_q为立体视频的质量，max为高质量视点的质量值，min为低质量视点的质量值，D_value为左、右视点质量差值的绝对值。当D_value≤0.2时，左、右视点质量相差较小，人眼对立体视频质量的感知主要取决于高质量视点，从而赋予高质量视点较大的权重，带有不同权重的立体视频质量Q_q如（16）式：

$Q_q=\left\{\begin{array}{cc}0.775\max +0.225\min & 0.9<\max \&le;1.0\\ 0.75\max +0.25\min & 0.8<\max \&le;0.9\\ 0.65\max +0.35\min & 0.7<\max \&le;0.8\\ 0.6\max +0.4\min & 0.6<\max \&le;0.7\\ 0.55\max +0.45\min & 0.5<\max \&le;0.6\\ 0.5\max +0.5\min & 0.0<\max \&le;0.5\end{array}\right.---\left(16\right)$

当D_value>0.2时，左、右视点质量相差较大，人眼很容易关注质量较差的视点，从而赋予低质量视点较大的权重，则带有不同权重的立体视频质量Q_q如（17）式：

$Q_q=\left\{\begin{array}{cc}0.9\min +0.1\max & 0.0<\min \&le;0.4\\ 0.85\min +0.15\max & 0.4<\min \&le;0.5\\ 0.75\min +0.25\max & 0.5<\min \&le;0.6\\ 0.6\min +0.4\max & 0.6<\min \&le;0.7\\ 0.5\min +0.5\max & 0.7<\min \&le;0.8\end{array}\right.---\left(17\right)$

通过上述步骤101-105对立体视频质量指标进行了评价。

106：计算原始立体视频和失真立体视频每帧图像的绝对差值图D；

D=|L-R|

（18）

式中L、R和D分别代表左视图、右视图和对应的绝对差值图。

107：计算原始视频绝对差值图和失真视频绝对差值图的峰值信噪比（PeakSignal to Noise Ratio，PSNR），作为立体视频的立体感值。

本发明用于测试的参考视频和经过压缩的失真视频的hehua、fire和woshou的绝对差值图如图9～14；然后，计算参考视频绝对差值图与失真视频绝对差值图的峰值信噪比（式19）来获得整段视频的立体感评价结果（式20）。

$Q_{\mathrm{si}}=10\lg \frac{{255}^2}{\frac{1}{\mathrm{MN}}{\mathrm{\&Sigma;}}_{m=1}^M{\mathrm{\&Sigma;}}_{n=1}^N{[D_{\mathrm{xi}}(m,n)-D_{\mathrm{yi}}(m,n)]}^2}---\left(19\right)$

$Q_s=\frac{1}{K}{\mathrm{\&Sigma;}}_{i=1}^K{Q}_{\mathrm{si}}---\left(20\right)$

式中，Q_si为视频第i帧的立体感值，Q_s为整段视频的立体感评价结果，式中的D_xi、D_yi分别代表原始视频和失真视频的第i幅绝对差值图，M、N分别代表视频的行数和列数，K代表视频段中包含的帧数。

通过步骤106-107对立体视频立体感指标进行了评价，其中，对立体视频质量指标与立体视频立体感指标的执行顺序不做限制，即步骤101-105的执行顺序在步骤106-107之前、之后或同时进行，本发明实施例对此不做限制。

为了验证本方法所提出的立体视频质量客观评价模型符合人眼立体视觉特性，以及较其它模型的优越性，本方法将该模型的客观质量评价结果和主观实验得出的评价结果进行了比较，下面简单介绍主观实验的实验环境和实验过程：

本方法主观实验采用三段立体视频序列，分别为hehua、fire(选自天津大学宽带无线与立体成像研究所的立体图像与视频库)和woshou（来自HHI立体视频库），将原始视频经过不同程度的H.264压缩编码，生成较原始视频质量降低的若干个失真立体视频。

按照文献[6]中的双重刺激损伤标度DSIS（Double-Stimulus ImpairmentScale）的方法，让26名无立体视经验的被试者（均通过了常规的视力和立体视检查）观看若干对原始视频和失真视频的组合，按照DSIS评分标准对失真视频的质量和立体感分别进行打分，具体的实验环境和实验参数见表1。

表1主观实验环境

实验环境	参数	实验环境	参数
				方法	DSIS	显示器型号	3D WINDOWS-19A0
测试序列场景	hehua、fire、woshou	显示器尺寸	19英寸
				编码方法	H.264	显示器分辨率	1280*1024
播放速度	25f/s	立体眼镜型号	3DG-L3 polarized
				被试者数目	26	观看距离	70cm
测试序列格式	YUV	实验室亮度	亮度极弱

结果验证：

主观和客观评价结果均分为视频质量和立体感两部分，本实施例将本模型的质量评价方法和立体感评价方法分别与经典算法SSIM和文献[7]中的DSSIM（Structural Similarity of Disparity Map）算法进行比较。

图15中横轴为主观评价值，纵轴为客观评价值。其中的理想曲线表示客观评价模型得分与主观测试得分完全一致。通过观察图15可知，本方法所提模型的拟合曲线更靠近理想曲线，这恰恰证明了该模型与人眼立体视觉特性具有更高的一致性。

由图16可知，本方法提出的立体感评价模型得到的数据的线性好于其它模型，即对于具有相同主观分数的不同测试视频，本模型得到的客观评分的离散性和波动性较小。

为了将比较结果进行进一步量化，本方法将主观评价结果与客观评价结果之间的均方根误差（RMSE）作为不同算法间比较的指标，具体见表2。

表2各个立体视频评价算法RMSE性能比较

质量评价算法	RMSE	立体感评价算法	RMSE
				SSIM	0.3372	DSSIM	0.3643
本专利所提模型	0.1465	本专利所提模型	0.2302

通过观察和分析图15、图16和表2，不难看出本方法提出模型的质量评价方法和立体感评价方法得到的评价结果均与主观评价结果最接近。因此，本方法能够正确反映立体视频质量和立体感的优劣，更加符合人眼的立体视觉机制。

参考文献：

[1]Jungdong Seo,Donghyun Kim,Kwanghoon Sohn,et al.An objective videoquality metric for compressed stereoscopic video[J].Circuits Syst Signal Process,2012,31(3):1089-1107.

[2]Yan Zhang,Ping An,Yanfei Wu,et al.A multiview video quality assessmentmethod based on disparity and SSIM[C],2010IEEE10^th International Conference onSignal Processing,Beijing,China,2010,1044-1047.

[3]Z.M.Parvez Sazzad,S.Yamanaka and Y.Horita.Spatio-temporal segmentationbased continuous no-reference stereoscopic video quality prediction[C],2010secondInternational Workshop on Quality of Multimedia Experience,Trondheim,2010,106-111.

[4]Anish Mittal,Anush K.Moorthy,Joydeep Ghosh,et al.Algorithmic assessment of3D quality of experience for images and videos[C],2011IEEE Digital SignalProcessing Workshop and IEEE Signal Processing Education Workshop(DSP/SPE),Sedona,AZ,2011,338-343.

[5]Kwangsung Ha and Munchurl Kim.A perceptual quality assessment metric usingtemporal complexity and disparity information for stereoscopic video[C],2011 18thIEEE International Conference on Image Processing(ICIP),Brussels,2011,2525-2528.

[6]Recommendation ITU-R BT.500-11:Methodology for the subjective assessmentof the quality of television pictures[S].Geneva,Switzerland:InternationalTelecommunication Union,2002.

[7]Yinghua Shen,Chaohui Lv,Pin Xu,et al.Objective quality assessment of noisedstereoscopic images[C],2011Third International Conference on measuringtechnology and mechatronics automation,Shanghai,China,2011,2,745-747.

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种立体视频质量评价方法，其特征在于，从视频质量和视频立体感两个方面综合、全面地评价立体视频，所述方法包括以下步骤：

（1）采用基于梯度的结构相似度算法提取原始视频帧图像X和失真视频帧图像Y的子块平均亮度l(x,y)、子块梯度对比度C_g(x,y)和子块梯度相关系数S_g(x,y)，最后得到每个子块的梯度结构相似度指标GSSIM(x,y)；

（2）基于人眼视觉特性，提取每个子块的亮度信息、运动信息和结构信息，从而得出亮度权重L、运动权重M和结构权重E，进而计算出每个子块的质量权重w_ij=L_ij·E_ij·M_ij；

（3）结合每个子块的梯度结构相似度指标GSSIM_ij和质量权重w_ij，分别得到左或右视点的单帧质量Q_i；

（4）通过单帧质量Q_i获取单视点视频质量Q；

（5）基于人类立体视觉特性，赋予左或右视点视频质量不同的权重，得到立体视频的质量值；

（6）计算原始立体视频和失真立体视频每帧图像的绝对差值图D；

（7）计算原始视频绝对差值图和失真视频绝对差值图的峰值信噪比，作为立体视频的立体感值。

2.根据权利要求1所述的一种立体视频质量评价方法，其特征在于，所述基于人类立体视觉特性，赋予左或右视点视频质量不同的权重，得到立体视频的质量值，具体为：

定义D_value为左、右视点质量差值的绝对值，当D_value≤0.2时，人眼对立体视频质量的感知主要取决于高质量视点；当D_value>0.2时，人眼对立体视频质量的感知主要取决于低质量视点。

3.根据权利要求2所述的一种立体视频质量评价方法，其特征在于，max为高质量视点的质量值，min为低质量视点的质量值；

当D_value≤0.2时，立体视频质量Q_q为：

$Q_q=\left\{\begin{array}{cc}0.775\max +0.225\min & 0.9<\max \&le;1.0\\ 0.75\max +0.25\min & 0.8<\max \&le;0.9\\ 0.65\max +0.35\min & 0.7<\max \&le;0.8\\ 0.6\max +0.4\min & 0.6<\max \&le;0.7\\ 0.55\max +0.45\min & 0.5<\max \&le;0.6\\ 0.5\max +0.5\min & 0.0<\max \&le;0.5\end{array}\right.$

当D_value>0.2时，立体视频质量Q_q为：

$Q_q=\left\{\begin{array}{cc}0.9\min +0.1\max & 0.0<\min \&le;0.4\\ 0.85\min +0.15\max & 0.4<\min \&le;0.5\\ 0.75\min +0.25\max & 0.5<\min \&le;0.6\\ 0.6\min +0.4\max & 0.6<\min \&le;0.7\\ 0.5\min +0.5\max & 0.7<\min \&le;0.8\end{array}\right..$

Images