CN105049838A - 一种用于压缩立体视频质量的客观评价方法 - Google Patents

Abstract

本发明公开了一种用于压缩立体视频质量的客观评价方法，所述客观评价方法包括以下步骤：对训练视频样本进行立体视频质量评价指标的提取；对训练视频样本进行立体视频立体感评价指标的提取；对立体视频质量评价指标、立体视频立体感评价指标与主观评价分值之间的关系进行回归分析，最终确立完整的数学模型；对于测试样本集中的某个立体视频，利用完整的数学模型进行视频质量的评价，输出评价结果。本发明将清晰度、结构相似度与运动信息结合在立体视频质量客观评价中，实现了准确高效的评价立体视频的质量，同时在一定程度上推动立体成像技术的发展。

Description

一种用于压缩立体视频质量的客观评价方法

技术领域

本发明涉及视频和图像处理领域，尤其涉及一种用于压缩立体视频质量的客观评价方法。

背景技术

立体视频技术是一种能够提供视觉深度感的新型多媒体技术，与平面视频相比，立体视频主要利用双目视差原理，通过双目分别接收左右两个通道的视频序列，给观看者带来较好的临场感，但同时也需要更多的存储空间和更大的传输带宽。因此，对立体视频进行高效压缩是降低存储成本、缓解网络带宽压力的关键技术。但通过压缩编码减少立体视频的数据量，势必会引起各种降质。除此之外，在立体视频采集、处理及传输过程中，都难免会引起失真。因此，探索影响立体视频质量的主要因素，建立一个有效可靠的立体视频质量评价模型对立体信息行业的发展尤为重要。立体视频评价系统不仅可以评价接收端立体视频质量的优劣，还可以为立体视频压缩、传输及其他处理方法提供新的理论依据，从而促进立体视频压缩算法和传输方式的优化。

立体视频质量评价可分为主观评价和客观评价。由于主观评价方法对实验环境、测试流程、被试者素质等有较高要求，所以完成一次主观评价既耗时又耗力，且结果的精确度易受外界条件影响，结果的可移植性和稳定性难以达到应用要求。客观评价方法较主观评价方法快速、稳定且简单易行。因此，研究合理且高效的客观评价方法意义重大。

目前，在立体视频质量的客观评价方面，经典且常用的方法有基于统计的峰值信噪比^[1]、结构相似度方法及其衍生出的一系列方法^[2]以及视频质量模型(VQM)^[3]。一些学者将经典的平面视频质量评价方法直接应用到立体视频质量的客观评价中，具有代表性的如成于庆等人^[1]提取参考视频与失真视频的绝对差值图，计算绝对差值图的峰值信噪比(PSNR)值来获得立体视频评价结果；DonghyunKim等人^[2]将改进后的PSNR和结构相似度(SSIM)算法分别应用到立体视频质量评价算法中，改进方法中考虑到了深度特征和运动特征，即根据视差图和运动信息赋予不同的图像块以不同的权重。文献[4]在评价立体视频质量时，直接将PSNR、SSIM(结构相似度)和VQM应用于左、右视点的质量评价中，并以左、右视点质量的均值作为立体视频的质量值，实验结果表明利用VQM模型得到的质量和深度感与主观评价结果有很好的一致性；文献[5]利用VQM模型，考虑了观看环境的亮度以及视频内容，评价结果更符合人类的视觉特征。由于视差图包含了视频的立体信息，为了评价立体视频的立体感质量，可从视差角度对立体视频的立体感进行评价，利用左、右视频的质量的加权和反映立体视频的图像质量。一些文献将立体视频质量评价分为两部分，即视频的画面质量和立体感质量。例如，张艳等人^[6]提出了一种基于SSIM和视差图的立体视频质量评价模型，分别评价画面质量和视频立体感，赋予两个评价指标不同的权重；马辰阳等人^[7]充分考虑了视频帧内的亮度信息、结构信息以及帧间的运动信息，提出了一种立体视频质量客观评价方法，利用基于梯度的SSIM方法估计视频质量，并分析左、右视点质量对评价结果的影响大小，并通过计算绝对差值图的PSNR值估计视频立体感。

但是以上所提的方法存在不足之处。首先，以上方法都提取了能够反映立体视频质量的部分特征，但是所提特征的种类都比较有限，因此，不能全面准确地反映立体视频质量；其次，以上方法大多属于全参考评价模型，需要占用较大的带宽资源。

发明内容

本发明提供了一种用于压缩立体视频质量的客观评价方法，本发明将清晰度、结构相似度与运动信息结合在立体视频质量客观评价中，实现了准确高效的评价立体视频的质量，同时在一定程度上推动立体成像技术的发展，详见下文描述：

一种用于压缩立体视频质量的客观评价方法，所述客观评价方法包括以下步骤：

对训练视频样本进行立体视频质量评价指标的提取；对训练视频样本进行立体视频立体感评价指标的提取；

对立体视频质量评价指标、立体视频立体感评价指标与主观评价分值之间的关系进行回归分析，最终确立完整的数学模型；

对于测试样本集中的某个立体视频，利用完整的数学模型进行视频质量的评价，输出评价结果。

其中，在对训练视频样本进行立体视频质量评价指标的提取与综合的步骤之前，所述客观评价方法还包括：

根据ITU-RBT.500和ITU-RBT.1438标准通过主观测试获取评价数据样本，选取训练视频样本和测试视频样本。

其中，立体视频质量评价指标具体为：全局质量结构相似度和全局清晰度。

其中，所述对训练视频样本进行立体视频质量评价指标的提取步骤具体为：

提取局部质量结构相似度、局部清晰度、局部运动矢量的运动权重；

通过局部质量结构相似度和局部运动矢量的运动权重，获取单帧图像的质量结构相似度，取立体视频中所有帧的质量结构相似度的平均值作为全局质量结构相似度；

通过局部清晰度和局部运动矢量的运动权重，获取单帧图像的清晰度，取立体视频中所有帧的清晰度的平均值作为全局清晰度。

其中，立体视频立体感评价指标具体为：全局深度结构相似度。

其中，所述对训练视频样本进行立体视频立体感评价指标的提取的步骤具体为：

计算立体视频单视点第i帧第j块像素块的局部深度结构相似度指标，获取视频中所有局部深度结构相似度的平均值，并作为最终的全局深度结构相似度指标。

本发明提供的技术方案的有益效果是：本方法是在全参考的SSIM客观质量评价算法的基础上，考虑边缘信息、清晰度信息和运动信息提出的部分参考客观评价算法。本方法采用视频质量专家组(VQEG，VideoQualityExpertGroup)推荐的Pearson相关系数(PCC，PearsonCorrelationCoefficient)和均方根误差(RMSE，RootMeanSquareError，)指标来比较各评价方法^[8]。PCC反映预测值的精确度，其值越大，表明主客观评价的相关性越好；RMSE反映数据的离散程度，其值越小，表明客观评价算法的性能越好。实验结果及数据对比表明，本方法的Pearson相关系数都大于SSIM算法的Pearson相关系数；而本方法所提出的质量评价算法的RMSE值都小于SSIM算法的RMSE值。由此可见，本方法所提出的新的立体视频质量客观评价算法的性能在主客观相关性和数据分散度方面均优于经典算法SSIM。由于本方法提取了种类比较齐全的能够反映立体视频质量的特征，因此本方法能够更加全面准确地反映立体视频质量，并与人眼视觉感知保持良好的一致性。而且本方法属于半参考评价模型，能够有效地节省带宽资源。

附图说明

图1为立体视频库的示意图；

(a)为参考立体视频ballroom.yuv的示意图；(b)为QP＝48失真立体视频ballroom.yuv的示意图；(c)为参考立体视频airplane.yuv的示意图；(d)为QP＝48失真立体视频airplane.yuv的示意图；(e)为参考立体视频woshou.yuv的示意图；(f)为QP＝48失真立体视频woshou.yuv的示意图。其中QP为H.264压缩编码体系中的量化参数。QP值越小，其量化程度越精细，相应的对视频的压缩率也越小，由压缩引起的视频质量下降也就越小；QP值越大，其量化程度越粗糙，相应的对视频的压缩率也越大，由压缩引起的视频质量下降也就越大。当采用QP值为48时压缩产生的视频质量下降对人眼观看影响最为严重。

图2为用于压缩立体视频质量的客观评价方法的示意图；

(a)为发送端模型示意图；(b)为接收端模型示意图。

图3为Sobel算子模板；

(a)、(b)均为Sobel算子模板。

图4为基于Sobel算子的边缘检测示意图；

(a)为airplane.yuv边缘检测的示意图；(b)为airplane.yuv边缘检测的示意图。

图5为光流矢量图；

图6为深度图的边缘信息示意图；

(a)为参考视频示意图；(b)为参考视频深度图；(c)为参考视频深度图的边缘图；(d)为失真视频示意图；(e)为失真视频深度图；(f)为失真视频深度图的边缘图。

图7为主、客观评价相关性的示意图；

(a)视频内容为ballroom时主客观评价相关性示意图；(b)视频内容为airplane时主客观评价相关性示意图；(c)视频内容为woshou时主客观评价相关性示意图。

图8为一种用于压缩立体视频质量的客观评价方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

本方法是一种针对压缩立体视频的部分参考客观质量评价方法，本方法综合考虑了清晰度、SSIM、深度结构相似度(DSSIM)以及运动信息的共同作用对立体视频质量的影响，下面结合具体的附图，对本方法进行详细描述：

实施例1

101：对训练视频样本进行立体视频质量评价指标的提取；对训练视频样本进行立体视频立体感评价指标的提取；

102：对立体视频质量评价指标、立体视频立体感评价指标与主观评价分值之间的关系进行回归分析，最终确立完整的数学模型；

103：对于测试样本集中的某个立体视频，利用完整的数学模型进行视频质量的评价，输出评价结果。

在步骤101对训练视频样本进行立体视频质量评价指标的提取与综合的步骤之前，该客观评价方法还包括：

根据ITU-RBT.500和ITU-RBT.1438标准通过主观测试获取评价数据样本，选取训练视频样本和测试视频样本。

其中，步骤101中的立体视频质量评价指标具体为：全局质量结构相似度和全局清晰度。

步骤101中的对训练视频样本进行立体视频质量评价指标的提取步骤具体为：

提取局部质量结构相似度、局部清晰度、局部运动矢量的运动权重；

通过局部质量结构相似度和局部运动矢量的运动权重，获取单帧图像的质量结构相似度，取立体视频中所有帧的质量结构相似度的平均值作为全局质量结构相似度；

通过局部清晰度和局部运动矢量的运动权重，获取单帧图像的清晰度，取立体视频中所有帧的清晰度的平均值作为全局清晰度。

步骤102中的立体视频立体感评价指标具体为：全局深度结构相似度。

步骤102中的对训练视频样本进行立体视频立体感评价指标的提取的步骤具体为：

计算立体视频单视点第i帧第j块像素块的局部深度结构相似度指标，获取视频中所有局部深度结构相似度的平均值，并作为最终的全局深度结构相似度指标。

本发明实施例通过步骤101-步骤103将清晰度、结构相似度与运动信息结合在立体视频质量客观评价中，实现了准确高效的评价立体视频的质量，同时在一定程度上推动立体成像技术的发展。

实施例2

201：根据ITU-RBT.500和ITU-RBT.1438标准通过主观测试获取评价数据样本，选取训练视频样本和测试视频样本；

202：对训练视频样本进行立体视频质量评价指标的提取；

其中，该步骤包括：计算局部质量结构相似度、局部清晰度、运动信息以及结合了运动权重的全局质量结构相似度和清晰度。

1)局部质量结构相似度的提取过程；

将立体视频中的单帧参考图像X和单帧失真图像Y分别划分为互不重叠的大小为16×16像素的参考图像子块x和失真图像子块y，并分别计算像素平均值u_x、u_y，以及像素标准差σ_x、σ_y计算亮度比较函数l(x,y)和对比度比较函数c(x,y)。

利用Sobel算子分别对单帧参考图像X和单帧失真图像Y进行边缘检测，得到参考立体视频单帧图像的边缘图X'和失真立体视频单帧图像的边缘图Y'。将X'和Y'划分为大小相等互不重叠的参考图像的边缘图像子块x'和失真图像的边缘图像子块y'，计算x'和y'标准差σ_x、σ_y以及两者的协方差σ_xy再计算边缘图像子块的结构比较函数s'(x',y')。

最后，计算立体视频单视点第i帧第j块像素块的局部质量结构相似度指标SSIM_ij。

2)局部清晰度的提取过程：

空间频率由垂直方向和水平方向的变化频率来描述。利用公式(1)和(2)计算立体视频单视点中第i帧、第j块的行频率f_h和列频率f_v，利用公式(3)计算得到子块空间频率的模值f_ij。其中，I(p,q)代表子块的第p行、第q列的像素值，P和Q分别代表子块的行数和列数。

$f_h=\sqrt{\frac{1}{PQ}\underset{p=1}{\overset{P}{\Σ}}\underset{q=2}{\overset{Q}{\Σ}}{\[I(p,q)-I(p,q-1)\]}^2}---\left(1\right)$

$f_v=\sqrt{\frac{1}{PQ}\underset{p=2}{\overset{P}{\Σ}}\underset{q=1}{\overset{Q}{\Σ}}{\[I(p,q)-I(p-1,q)\]}^2}---\left(2\right)$

$f_{ij}=\sqrt{{\left(f_h\right)}^2+{\left(f_v\right)}^2}---\left(3\right)$

然后，分别计算参考图像子块x和失真图像子块y的空间频率模值和最后计算局部清晰度。

3)运动信息的提取过程：

先利用光流运动估计算法提取参考图像子块x和失真图像子块y的局部运动矢量vx为在x方向上的分量，即图像纵轴方向上的分量；v_y为在y方向上的分量，即图像横轴方向上的分量；然后计算局部运动矢量的模值，并将模值作为运动权重其中M代表运动矢量模值。

4)全局质量结构相似度和清晰度的构建过程：

首先将局部质量结构相似度SSIM_ij乘以相应的运动权重进行加权平均得到单帧图像的质量结构相似度，然后取立体视频中所有帧的质量结构相似度的平均值作为全局质量结构相似度。

同理，首先将局部清晰度乘以相应的运动权重进行加权平均得到单帧图像的清晰度，然后取立体视频中所有帧的清晰度的平均值作为其全局清晰度。

203：对训练视频样本进行立体视频立体感评价指标的提取；

其中，该步骤包括：获取局部深度结构相似度和全局深度结构相似度。

首先利用深度估计参考软件(depthestimationreferencesoftware,DERS)分别提取参考立体视频的深度图和失真立体视频的深度图，然后分别划分为互不重叠的大小为16×16像素的参考立体视频深度图子块x_D和失真立体视频深度图子块y_D。然后分别计算亮度比较函数l(x_D,y_D)和对比度比较函数c(x_D,y_D)。

利用Sobel算子分别对参考立体视频深度图和失真立体视频深度图进行边缘检测，得到参考立体视频深度图的边缘图和失真立体视频深度图的边缘图；分别划分为大小相等互不重叠的参考立体视频深度图的边缘图子块x_D ^′和失真立体视频深度图的边缘图子块y_D ^′，再计算立体视频深度图的边缘图子块的结构比较函数s'(x',y')。

计算立体视频单视点第i帧第j块像素块的局部深度结构相似度指标DSSIM_ij。最后求视频中所有局部深度结构相似度的平均值，并作为最终的全局深度结构相似度指标DSSIM。

204：对立体视频质量评价指标、立体视频立体感评价指标与主观评价分值之间的关系进行回归分析最终确立完整的数学模型；

205：对于测试样本集中的某个立体视频，利用已经建立的完整的数学模型进行视频质量的评价，输出评价结果。

本发明实施例通过步骤201-步骤205将清晰度、结构相似度与运动信息结合在立体视频质量客观评价中，实现了准确高效的评价立体视频的质量，同时在一定程度上推动立体成像技术的发展。

实施例3

301：通过主观测试获取主观评价分数；

被试者包括没有立体知识经验的非专业人士和熟悉图像处理和立体视频成像的专业人士共25名。本设计中主观评价实验采用ITU-RBT.500中推荐的双刺激损伤标度法(DSIS)。

302：建立部分参考立体视频质量客观评价模型；

该方法的基本原理如图2所示。其中，图2(a)所示为立体视频传输系统的发送端模型；图2(b)所示为立体视频传输系统的接收端模型。

首先，在立体视频传输系统的发送端提取评价所需特征信息，包括参考立体视频的亮度、对比度、结构、空间频率、运动权重以及参考立体视频深度图的亮度、对比度、结构等信息，将提取的特征信息经过无损辅助信道传送到系统接收端。其次，在接收端同样提取失真立体视频相应的特征信息，然后通过计算亮度比较函数、对比度比较函数、结构比较函数得到质量结构相似度；通过计算清晰度信息得到清晰度；将相应的运动权重赋予不同局部特征从而得到整段视频的质量结构相似度指标和清晰度指标；在立体感方面，通过计算深度图的亮度比较函数、对比度比较函数、结构比较函数得到整段视频的深度结构相似度。

303：本方法对各评价指标进行回归分析，确定各指标的数学模型以及权重，最终建立完整的部分参考立体视频质量客观评价模型。

具体步骤如下：

1、立体视频质量的评价指标

1.1边缘的提取

由于Sobel算子在噪声抑制方面优于其他算子，并且简单有效。所以本方法采用Sobel算子进行边缘检测。如图3所示。

1.2质量结构相似度

(1)亮度比较函数

立体图像心理学进行的实验表明，在影响主观评价实验分值的因素中，人眼对亮度信息和对比度信息的敏感度远高于对色度信息的敏感度，且不受所观看内容的影响^[9]。因此，亮度是评价失真立体视频质量的重要因素之一。

图像质量是随着空间变化而变化的，且图像的局部特征差异较大，所以将图像分块处理然后再进行整合^[10]。将单帧参考图像X和单帧失真图像Y分别划分为互不重叠的大小为16×16像素的参考图像子块x和失真图像子块y。首先，在发送端计算参考图像子块x的像素平均值u_x作为待评价失真视频的原始参考视频的部分特征信息，利用无损的辅助信道传输。然后，在接收端计算失真图像子块y的像素平均值u_y。

定义亮度比较函数，计算公式如(4)所示：

$l(x,y)=\frac{2{\mathrm{\μ}}_x{\mathrm{\μ}}_y+C_1}{{\mathrm{\μ}}_x^2+{\mathrm{\μ}}_y^2+C_1}---\left(4\right)$

引入常数C₁是为了避免当图像子块亮度较小以致分母十分接近零时产生的不稳定现象。

(2)对比度比较函数

人眼对对比度信息的敏感度较高，因此，对比度也是评价失真立体视频质量的重要因素之一。对比度的估计一般使用标准偏差(波动幅值的均方根)。参考图像子块x和失真图像子块y的像素标准差分别为σ_x、σ_y与亮度比较函数相同，首先在发送端计算参考图像子块x的像素标准差σ_x，利用无损的辅助信道传输。然后，在接收端计算失真图像子块y的像素标准差σ_y。对比度比较函数表示图像对比度的差异。

定义对比度比较函数如公式(5)所示。其中，引入常数C₂是为了避免当图像子块亮度较小以致分母十分接近零时产生的不稳定现象。

$c(x,y)=\frac{2{\mathrm{\σ}}_x{\mathrm{\σ}}_y+C_2}{{\mathrm{\σ}}_x^2+{\mathrm{\σ}}_y^2+C_2}---\left(5\right)$

(3)结构比较函数

对于像素点值相同而排列不同的两幅图像，从空间角度考虑就是其结构信息不同，此时即使均方根误差值相同，主观观看效果也不相同。结构失真会引起人对立体视频感知质量的下降^[11]。本方法采取基于块编码的H.264标准对立体视频进行压缩，其中的粗糙量化步骤会导致视频的块效应失真。因此，结构信息是评价压缩失真立体视频的重要因素之一。

人观看立体视频时，最先注意的就是场景中灰度和纹理剧烈变化的地方，即场景的边缘和轮廓，所以本文通过边缘检测提取包含边缘和轮廓信息的参考立体视频边缘图像和失真立体视频边缘图像，通过比较二者的结构信息得到结构比较函数。这样不仅可以突出边缘信息的重要性并准确反映失真图像的质量，还可以简少立体视频传输和分析所需处理的信息量。

首先，在发送端利用Sobel算子进行边缘检测得到参考立体视频单帧图像的边缘图X'，如图4所示，利用无损的辅助信道将边缘图像X'传输到立体系统的接收端。然后，在接收端，同样对失真立体视频单帧图像采用Sobel算子检测边缘得到边缘图像Y'，将X'和Y'划分为大小相等互不重叠的参考图像的边缘图像子块x'和失真图像的边缘图像子块y'，计算x'和y'标准差σ_x'、σ_y'以及两者的协方差σ_x'y'。最后，计算失真图像的边缘图像子块y'的结构比较函数s'(x',y')，如公式(6)所示，

$s^{\′}(x^{\′},y^{\′})=\frac{{\mathrm{\σ}}_{x^{\′}{y}^{\′}}+C_3}{{\mathrm{\σ}}_{x^{\′}}{\mathrm{\σ}}_{y^{\′}}+C_3}---\left(6\right)$

提取亮度比较函数和对比度比较函数只需通过辅助信道传输原始参考图像的均值和标准差。同时，由于参考视频的边缘图像需要通过辅助信道的传输，所以边缘信息的数据量需要保持在一个比较小的水平。在本方法使用的方法中，利用边缘检测得到二值边缘图像评价立体视频的结构失真，相比于整段参考视频的处理，大大减少了传输的数据量。

这三个比较函数是相互独立的，例如亮度函数或对比度函数的变化不会对结构比较函数造成影响。将公式(4)、公式(5)和公式(6)的三个函数组合起来计算参考立体视频和失真立体视频单视点第i帧、第j块质量结构相似度指标，如公式(7)所示，其中α＞0，β＞0和γ＞0是用于调整这三个函数的相对重要性的参数，通常取α＝β＝γ＝1。

SSIM_ij(x,y)＝[l(x,y)]^α×[c(x,y)]^β×[s'(x',y')]^γ(7)

1.3清晰度

立体视频经过H.264标准压缩编码，丢失了大量的细节信息，图像的纹理和边缘出现大量模糊，因此，清晰度是立体视频评价必不可少的指标。二维空间频率是反应图像空间变化程度的度量，空间频率随着图像清晰度的不同而不同，图像分辨率越高图像越清晰相应的空间频率越大^[12]。

本方法的空间频率计算过程如下。首先，在发送端计算参考图像子块x的空间频率的模值作为待评价失真视频的原始参考视频的特征信息，利用无损的辅助信道传输；然后，在接收端同样对失真图像子块y求取空间频率的模值最后，根据公式(8)计算得到失真视频子块的清晰度F_ij。

$F_{ij}=1-\frac{\left|f_{ij}^x-f_{ij}^y\right|}{f_{ij}^x}---\left(8\right)$

其中，表示失真立体视频与参考立体视频空间频率模值的相对差异，范围为0到1。0表示清晰度无失真，1表示失真最严重。随着失真程度的增加而数值增大，主观评价实验的评分标准则随失真程度的增加而评分降低。为了保持客观评价的分值和主观评价质量增减趋势的一致性，故用1减去进行优化。

1.4结合运动的评价指标

(1)运动矢量的提取

运动是视频区别于图像的重要特征之一。在视频中，运动的物体往往首先吸引人的注意^[13]。人的视觉会对其中显著变化的区域感兴趣，即立体视频中的运动对象对人眼视觉感知的影响较大。因此，运动是立体视频评价的重要参考依据，运动估计是提取运动指标的重要方法。1981年，Hom和Schunck提出了经典的光流运动估计算法^[14]。本方法利用光流运动估计算法提取的运动矢量如图5所示，图中每一个矢量代表该矢量所在位置处的像素块在相邻帧之间的运动信息，矢量的方向代表相应的像素块的运动方向，矢量的大小代表相应的像素块运动的距离。

(2)结合运动的质量评价指标

本方法采用基于显著性特征的合并方法。该方法的基本原理是，人眼会被视频中有明显差别的物体吸引，因此应该赋予视频中这样的区域更大的权重。在立体视频质量评价中，运动信息是合并方法中所依赖的一个重要特征。本方法利用光流算法可以计算参考视频相邻帧间每个子块的运动矢量从而计算子块运动矢量的模值作为子块的运动权重将运动信息分别与质量结构相似度和清晰度相结合，根据公式(9)计算单视点第i帧图像的相似度指标SSIM_i，根据公式(10)计算单视点第i帧图像的清晰度指标F_i，其中，J为第i帧图像中子块的数量。

${\mathrm{SSIM}}_i=\frac{\underset{j=1}{\overset{J}{\Σ}}({\mathrm{SSIM}}_{ij}\×w_{ij}^M)}{\underset{j=1}{\overset{J}{\Σ}}{w}_{ij}^M}---\left(9\right)$

$F_i=\frac{\underset{j=1}{\overset{J}{\Σ}}\left(F_{ij}\×{w^M}_{ij}\right)}{\underset{j=1}{\overset{J}{\Σ}}{w}_{ij}^M}---\left(10\right)$

然后，通过计算立体视频左、右视点所有帧的质量结构相似度指标的平均值得到左、右视点的质量结构相似度QSSIM_l和QSSIM_r。最后，取左、右视点质量结构相似度QSSIM_l和QSSIM_r的平均值得到立体视频的质量结构相似度指标QSSIM。同理，先计算左、右视点的清晰度指标QF_l和QF_r，然后计算左、右视点的清晰度指标QF_l和QF_r的平均值作为立体视频的清晰度指标QF。

2、立体视频立体感的评价指标

立体视频的立体感主要来自于人眼对视频的深度感知。立体视频的深度信息主要由深度图提供。本文采用深度估计参考软件(depthestimationreferencesoftware,DERS)分别在立体视频系统的发送端和接收端提取参考立体视频和失真立体视频的深度图，并用Sobel算子提取深度图的边缘图像，分别如图6中(a)、(b)、(c)、(d)、(e)和(f)所示。

失真立体视频的深度图失真越小，立体视频的深度信息的保真度就越高，人眼感知的深度质量就越好。立体视频的立体感评价同样考虑亮度失真、对比度失真和结构失真。首先，在发送端提取评价立体感指标时所需的部分特征信息，包括深度图的局部的亮度信息、对比度信息以及用于计算结构信息的边缘图像X_D'，特征信息经过无损的辅助信道传输到接收端后，根据公式(11)、(12)和(13)计算参考立体视频深度图子块x_D和失真立体视频深度图子块y_D的亮度比较函数l(x_D,y_D)、对比度比较函数c(x_D,y_D)和深度图相应边缘图像子块的结构比较函数s'(x'_D,y'_D)，然后计算参考立体视频深度图和失真立体视频深度图的第i帧、第j块深度结构相似度，如公式(14)所示，

$l(x_D,y_D)=\frac{2u_{x_D}{u}_{y_D}+C_1}{u_{x_D}^2+u_{y_D}^2+C_1}---\left(11\right)$

$c(x_D,y_D)=\frac{2{\mathrm{\σ}}_{x_D}{\mathrm{\σ}}_{y_D}+C_2}{{\mathrm{\σ}}_{x_D}^2+{\mathrm{\σ}}_{y_D}^2+C_2}---\left(12\right)$

$s^{\′}(x_D^{\′},y_D^{\′})=\frac{{\mathrm{\σ}}_{x_D^{\′}{y}_D^{\′}}+C_3}{{\mathrm{\σ}}_{x_D^{\′}}{\mathrm{\σ}}_{y_D^{\′}}+C_3}---\left(13\right)$

DSSIM_ij(x_D,y_D)＝[l(x_D,y_D)]^α×[c(x_D,y_D)]^β×[s'(x'_D,y'_D)]^γ(14)

其中，表示在发送端提取的参考立体视频深度图子块x_D的像素平均值和像素标准差，表示在接收端提取的失真立体视频深度图子块y_D的像素平均值和像素标准差。和分别表示参考立体视频深度图的边缘图子块x'_D、失真立体视频深度图的边缘图子块y'_D的像素标准差以及两者的协方差，常数C₁、C₂、C₃是为了避免分母十分接近零时产生的不稳定现象，α、β、γ是为了调整这三个分量的相对重要性，通常取α＝β＝γ＝1。由于人眼观看立体视频时看到的是左、右视点视频，深度图是利用左、右视点进行立体匹配得到的，主要反映场景中物体的相对距离，所以无需如质量的结构相似度给不同子块赋予运动权重。

最后，计算整段立体视频的深度失真。通过平均失真立体视频第i帧深度图所有子块的深度结构相似度得到第i帧的深度结构相似度DSSIM_i，如公式(15)所示。然后，取失真立体视频所有帧的深度结构相似度的均值，得到失真立体视频的深度结构相似度指标QDSSIM，如公式(16)所示，

${\mathrm{DSSIM}}_i=\frac{1}{J}\underset{j=1}{\overset{J}{\Σ}}{\mathrm{DSSIM}}_{ij}---\left(15\right)$

$QDSSIM=\frac{1}{I}\underset{i=1}{\overset{I}{\Σ}}{\mathrm{DSSIM}}_i---\left(16\right)$

其中，J为第i帧深度图中子块的数量，I为整段视频的帧数量。

3、指标的综合

本设计使用统计软件SPSS做回归分析。首先，利用立体视频库中的训练视频样本进行训练，分别选取三组立体视频序列ballroom.yuv、airplane.yuv、woshou.yuv的4/5的实验数据作为训练视频样本输入，在SPSS中绘制出每个评价指标值与立体视频主观评价的MOS值之间的散点图。然后，通过观察并对散点图进行分析，利用SPSS软件分别尝试客观评价指标和主观评价值的线性回归模型、二次多项式回归模型、三次多项式回归模型以及对数回归模型等，求取R方估计值并进行比较。最终，得到质量结构相似度指标QSSIM和深度结构相似度指标QDSSIM的最佳数学模型为二次多项式，清晰度指标QF与主观评价分值的最佳数学模型为线性模型。

最后，根据三个评价指标与主观评价值MOS之间的数学模型，确定立体视频质量的客观评价模型，如公式(17)所示。分别随机选取ballroom、airplane、woshou三组立体视频的4/5主观评价实验数据作为训练样本，通过SPSS回归分析来训练每个评价指标的权重，进而确定完整的部分参考立体视频质量的客观评价模型。

Q＝m₂×QSSIM²+m₁×QSSIM+n₂×QDSSIM²+n₁×QDSSIM+k₁×QF+k₀

(17)

其中，m₂、m₁、n₂、n₁、k₁、k₀表示权重，三组不同内容的视频训练所得权重不同，如表1所示。

表1三段视频的立体视频质量客观评价模型权重

表2不同立体视频质量评价方法的PCC性能比较

表3不同立体视频质量评价方法的RMSE性能比较

本方法所选取的立体视频均来自宽带无线通信与立体成像研究所视频数据库。本数据库里的立体视频均按照国际电信联盟(ITU)对立体视频质量的主观评价建议的两个标准：ITU-RBT.500和ITU-RBT.1438，将所有的立体视频质量分为5个等级：极好、好、一般、差、非常差。

本方法选取了三段参考立体视频序列ballroom.yuv(单视点分辨率为640×480像素)，立体视频序列airplane.yuv(单视点分辨率为480×270像素)，立体视频序列woshou.yuv(单视点分辨率为512×384像素)，三段参考立体视频如图1((a)，(c)，(e))所示。对每段原始视频的左、右视点分别采用H.264标准进行7个等级的单视点压缩，由于人眼对量化参数QP小于24时压缩产生的失真不敏感，所以本方法量化参数QP的取值为24、28、32、36、40、44、48。将失真视频的左、右视点融合成立体视频，最终得到7×7＝49组视频对的失真立体视频。则参考立体视频与其生成的失真立体视频共150个数据样本。图1((b)，(d)，(f))所示，给出了量化参数为QP＝48的三段失真立体视频。

本方法中采用的测试实验设备是天津三维显示技术有限公司提供的“3DWINDOWS-19A0型计算机立体成像设备”。本实验采用的是偏振式立体显示方式，需要佩戴偏振光立体眼镜(3DG-L3型)。在观看距离方面，根据ITU-RBT.1438标准，本方法被测试视频属于标清，采用6倍的屏幕高度作为观看距离，经计算约0.7米。

本方法提出的客观评价模型，把立体视频库剩余1/5的样本作为测试视频样本数据输入，得到最终的客观评价分值。其中，样本ballroom.yuv、airplane.yuv、woshou.yuv的主客观分值的相关性分别如图7中(a)、(b)、(c)所示，横坐标表示主观评价MOS值，纵坐标表示利用本方法得到的客观分值，图中散点非常接近y＝x直线。不同的立体视频质量客观评价方法的PCC和RMSE性能比较分别如表2和表3所示。在三组立体视频样本的比较中，本评价算法的Pearson相关系数(PCC)都大于SSIM算法的Pearson相关系数(PCC)；而本评价算法的RMSE值都小于SSIM算法的RMSE值。实验结果表明，本方法的性能在主客观相关性和数据样本分散度方面均优于经典算法SSIM，且本方法能够准确地反映立体视频质量，并与人眼视觉感知具有良好的一致性。因而本设计所提出的针对压缩立体视频质量的客观评价方法在立体视频质量评价方面有着很大的实际价值。

本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要能完成上述功能的器件均可。

参考文献

[1]成于庆，姜秀华，3D电视视频质量主客观评价最新技术研究[J]，中国传媒大学学报自然科学版[J]，中国传媒大学学报自然科学版，2012，19(1)：31～36

[2]DonghyunKim,SeungchulRyuandKwanghoon.Depthperceptionandmotioncuebased3Dvideoqualityassessment[C],2012IEEEInternationalSymposiumonBroadbandMultimediaSystemandBroadcasting,Seoul,2012,1～4

[3]PinsonMH,WolfS,Anewstandardizedmethodforobjectivelymeasuringvideoquality[J],Broadcasting,IEEETransactionson,2004,50(3):312～322.

[4]ChamindaT.E.R.Hewage,StewartT.Worrall,SafakDogan,etal.QualityEvaluationofColorPlusDepthMap-BasedStereoscopicVideo[J],IEEEJournalofselectedtopicsinsignalprocessing,2009，3(2):304～318

[5]G.Nur,H.KodikaraArachchi,S.Dogan,etal,ExtendedVQMmodelforpredicting3Dvideoqualityconsideringambientilluminationcontext[C],3DTV-Conference:TheTrueVision-Capture,TransmissionandDisplayof3DVideo(3DTV-CON),Antalya:2011,1～4

[6]Y.Zhang,P.An,Y.Wu,etal,AmultiviewvideoqualityassessmentmethodbasedondisparityandSSIM[C],2010IEEE10thInternationalConferenceonSignalProcessing,Beijing:2010,1044～1047

[7]马辰阳，李素梅，马瑞泽等，基于运动和视差信息的立体视频质量客观评价[J]，光电子·激光，2013，24(10)：2002～2009

[8]ChikkerurS,SundaramV,ReissleinM,etal.Objectivevideoqualityassessmentmethods:Aclassification,review,andperformancecomparison[J].Broadcasting,IEEETransactionson,2011,57(2):165～182

[9]ErikoAiba,KoyuNumata,TakashiX.Fujisawaetal.,IdentificationoffactorsRelatedtotheEnhancementofImage-QualityforSubjectiveImage-QualityAssessmentModelBasedonPsychologicalMeasurement[J],20114thInternationalConferenceonHumanSystemInteractions.Japan,2011:174～177.

[10]WangZ,BovikAC,Auniversalimagequalityindex[J],SignalProcessingLetters,IEEE,2002,9(3):81～84.

[11]WangZ,LuL,BovikAC,Videoqualityassessmentbasedonstructuraldistortionmeasurement[J],Signalprocessing:Imagecommunication,2004,19(2):121～132.

[12]张艳，安平，张秋闻等，双目立体视频最小可辨失真模型及其在质量评价中的应用[J]，电子与信息学报，2012，34(3)：698～703

[13]徐瑞芬，张明伟，贾林等，视频质量动态性指标评价及应用[J].北京邮电大学学报，2008，31(6)：1～4.

[14]HornBK,SchunckBG,Determiningopticalflow[C]//1981TechnicalSymposiumEast.InternationalSocietyforOpticsandPhotonics,1981:319～331.

本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要能完成上述功能的器件均可。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种用于压缩立体视频质量的客观评价方法，其特征在于，所述客观评价方法包括以下步骤：

对训练视频样本进行立体视频质量评价指标的提取；对训练视频样本进行立体视频立体感评价指标的提取；

对立体视频质量评价指标、立体视频立体感评价指标与主观评价分值之间的关系进行回归分析，最终确立完整的数学模型；

对于测试样本集中的某个立体视频，利用完整的数学模型进行视频质量的评价，输出评价结果。

2.根据权利要求1所述的一种用于压缩立体视频质量的客观评价方法，其特征在于，所述在对训练视频样本进行立体视频质量评价指标的提取与综合的步骤之前，所述客观评价方法还包括：

根据ITU-RBT.500和ITU-RBT.1438标准通过主观测试获取评价数据样本，选取训练视频样本和测试视频样本。

3.根据权利要求1所述的一种用于压缩立体视频质量的客观评价方法，其特征在于，所述立体视频质量评价指标具体为：全局质量结构相似度和全局清晰度。

4.根据权利要求1或3所述的一种用于压缩立体视频质量的客观评价方法，其特征在于，所述对训练视频样本进行立体视频质量评价指标的提取步骤具体为：

提取局部质量结构相似度、局部清晰度、局部运动矢量的运动权重；

通过局部质量结构相似度和局部运动矢量的运动权重，获取单帧图像的质量结构相似度，取立体视频中所有帧的质量结构相似度的平均值作为全局质量结构相似度；

通过局部清晰度和局部运动矢量的运动权重，获取单帧图像的清晰度，取立体视频中所有帧的清晰度的平均值作为全局清晰度。

5.根据权利要求1所述的一种用于压缩立体视频质量的客观评价方法，其特征在于，所述立体视频立体感评价指标具体为：全局深度结构相似度。

6.根据权利要求1或5所述的一种用于压缩立体视频质量的客观评价方法，其特征在于，所述对训练视频样本进行立体视频立体感评价指标的提取的步骤具体为：

计算立体视频单视点第i帧第j块像素块的局部深度结构相似度指标，获取视频中所有局部深度结构相似度的平均值，并作为最终的全局深度结构相似度指标。