CN108055533B - 一种针对全景视频的主观质量评价方法 - Google Patents

Abstract

本发明公开了一种全景视频的主观质量评价方法，属于视频质量评价领域。用户首先根据全景视频主观测试实验的目的和需求，做测试前准备工作；然后开展主观测试实验，让每一位测试者进行从训练到测试的环节，观看测试序列并给出原始主观意见分，同时记录下每一个测试者在观看每一个视频序列时的观看方向；再对收集的数据进行数据处理，计算整体平均意见差分，并根据测试者看不同区域的频率，计算向量化平均意见差分。最后，给出了分析不同测试者评分的相关性验证实验结果的有效性的方法。借助本发明，用户可以在自由观看全景视频的同时，对全景视频的质量进行主观评价，从而确定在自由观看条件下，全景视频的整体主观质量以及局部主观质量。

Description

一种针对全景视频的主观质量评价方法

技术领域

本发明属于视频质量评价技术领域，具体是一种全景视频的主观质量评价方法。

背景技术

虚拟现实技术(VR)是利用电脑模拟产生一个三维空间的虚拟世界，提供用户关于视觉等感官的模拟，让用户感觉仿佛身历其境，可以及时、没有限制地观察三维空间内的事物。作为VR的一个重要组成部分，全景视频能够提供360×180°的视野范围。在头戴式显示器的支持下，全景视频能够提供沉浸式甚至交互式的体验，这是传统平面视频所远远无法做到的。随着VR技术的发展，全景视频也进入到人们的生活。但是，压缩失真和低分辨率等原因会使全景视频的观看体验变差。动态图像专家组(MPEG)的调查结果显示，观看体验变差会让观看者感到不适。因此，全景视频的视觉质量评价方法有着十分重要的意义。

对视频图像质量的准确评价是视频图像研究领域的关键技术之一，视频图像质量的评价方法可分为两大类：客观评价和主观评价。其中主观评价方法较为直接，结果可靠，并且已长期应用于实践中，对视频进行主观评价的方法研究也是视频图像研究领域的热点之一。

但现有的主观质量评价方法大多数是针对传统平面视频的。对于全景视频，现在只有一些客观质量评价方法，几乎没有主观质量评价方法。仅有的方案也是将全景视频拆分成平面视频进行评价，违背了观看者自由观看全景视频的方式，因此不能彻底适用于全景视频。

发明内容

本发明的目的是提供一种对全景视频进行主观测试的方法，使得用户可以在自由观看全景视频的同时，对全景视频的质量进行主观评价，从而确定在自由观看条件下，全景视频的整体主观质量以及局部主观质量。

本发明提供的一种针对全景视频的主观质量评价方法，包括如下步骤：

步骤一、根据对全景视频的主观测试的需求，做测试前准备工作，布置主观测试的测试环境。

步骤二、开展主观测试实验，让每一位测试者进行从训练到测试的环节；

所述的步骤二中，收集每位测试者的原始主观意见分和观看方向。

步骤三、对步骤二中收集的数据进行处理，获取对全景视频的主观质量评价结果；

所述的步骤三中，根据步骤二收集的原始主观意见分和测试者观看方向数据，计算整体平均意见差分(O-DMOS)和向量化平均意见差分(V-DMOS)，作为全景视频的主观质量评价结果。

其中，计算向量化平均意见差分的方法是：

步骤3031、将一个全景视频划分成R个区域；R为正整数；

步骤3032、计算一个合格测试者观看一个测试序列一个区域的频率；

设第i个合格测试者看第j个测试序列中第r个区域的频率，用

表示；

需要被归一化以满足

i、j、r均为正整数；

步骤3033、设定频率阈值f₀，判断当

时，第i个合格测试者被加入第j个测试序列的第r个区域对应的集合I_jr；

对每个合格测试者每个测试序列每个区域重复步骤3032和3033；

步骤3034、计算每个测试序列每个区域的平均意见差分；设第j个测试序列的第r个区域的平均意见差分为DMOS_jr；

如果

那么DMOS_jr是一个无效分数，用“—”表示；否则，第j个测试序列中第r个区域的平均意见差分

其中

表示集合I_jr的元素数量；

表示第i个合格测试者对第j个测试序列的百分制的标准Z分数；

对每个测试序列每个区域重复步骤3034；

步骤3035、将一个测试序列计算出的所有平均意见差分用向量表示；

第j个测试序列的V-DMOS向量表示为：

[O-DMOS_j DMOS_j1 … DMOS_jr … DMOS_jR]；

对每个测试序列重复本步骤。

对每个合格测试者每个测试序列每个区域重复步骤3032和3033。

相对于现有技术，本发明的优点和积极效果在于：本发明提供了一个对全景视频进行主观测试的方法，不同与现有将全景视频拆分成平面视频进行评价，是使测试者在自由观看全景视频的同时，对全景视频的质量进行主观评价。本发明还提供了一种科学的生成测试序列的方法，并在测试的时候以一定的频率记录测试者观看视频时的观看方向，以用于对视频进行评价。通过计算整体平均意见差分和向量化平均意见差分，来获得全景视频的整体主观质量情况和全景视频不同区域的质量情况。

附图说明

图1为本发明的针对全景视频的主观质量评价方法的整体流程图；

图2为本发明测试前准备工作流程图；

图3为本发明主观测试实验的流程图；

图4为本发明多激励连续质量评分的示意图；

图5为本发明主观测试实验评分项和评分标准的示例；

图6为本发明数据处理计算平均意见差分的流程图；

图7为本发明计算整体平均意见差分的流程图；

图8为本发明计算向量化平均意见差分的流程图；

图9为本发明全景视频区域划分的示例；

图10为本发明验证最终实验结果的有效性的流程图；

图11为本发明验证最终实验结果的有效性折线图的示例。

图12为本发明在测试时验证最终实验结果有效性的示例图。

具体实施方式

下面结合附图与具体实例对本发明作进一步的描述。

本发明提供的一种针对全景视频的主观质量评价方法，用户首先根据自己开展的全景视频主观测试实验的目的和需求，做测试前准备工作，包括软硬件系统、测试视频序列和测试者等方面，布置主观测试的测试环境；然后开展主观测试实验，让每一位测试者进行从训练到测试的环节，观看测试序列并给出原始主观意见分，同时记录下每一个测试者在观看每一个视频序列时的观看方向；再对收集的原始主观意见分和测试者观看方向数据进行数据处理，计算整体平均意见差分(O-DMOS)，并根据测试者看不同区域的频率，计算向量化平均意见差分(V-DMOS)。从O-DMOS可以得知整个测试序列的主观质量情况，而从V-DMOS中可以得知视频不同区域的质量情况。最后，给出了通过分析不同测试者最终评分的相关程度，从而验证最终实验结果的有效性的方法。整体步骤流程如图1所示，下面详细说明各步骤。

步骤一、用户根据自己开展针对全景视频的主观测试的需求，做测试前准备工作，布置主观测试的测试环境。

如图2所示，包括如下步骤。注意这些步骤并非串行顺序，即，这些步骤完成的先后顺序可以打乱，亦可以同时进行。

步骤101、准备全景视频显示硬件设备系统。

该系统不限制为个人计算机平台或者是移动设备平台等其他平台，包括但不限于个人计算机、头戴式显示器。

显示硬件设备系统的性能对最终实验数据的精确性有很大的影响。当前技术水平下，建议使用不低于个人计算机平台性能的硬件系统并使用相应的头戴显示器。随着技术水平发展，也可以用高性能的移动设备平台和未来的虚拟现实显示设备等进行替换。

步骤102、准备全景视频播放软件。

全景视频播放软件应该能够播放360×180°视野范围的全景视频，并且保证一定的保真度和流畅度。

步骤103、准备测试用的全景视频序列。

用户根据自己进行主观测试的需求，准备相应的测试用全景视频序列。测试序列应是是全参考的，即包含未受损的参考序列和相应的受损序列。建议但不限制每个测试序列在10至60秒内。

步骤104、招募一定数量的测试者。

推荐但不限制测试者人数不少于20人。测试者不应是全景视频质量评价领域的专家。招募的测试者应有一定的年龄跨度，并且同时有一定数量的男性和女性测试者。测试者应该拥有正常视觉，包括立体视觉能力和辨色能力。

步骤105、为测试者提供能够自由观看全景视频的观看环境。

所述的自由观看环境包括但不限于令在一定空间内站立测试或者坐在转椅上测试。测试者在观看全景视频时，他们观看区域是十分一致的，因此没有必要固定测试者观看的区域，应使测试者在主观测试时能够自由观看全景视频的全部内容，只有这样，主观测试才能够真实反映人们在平时正常观看全景视频时的视觉体验。

步骤二、开展主观测试实验，让每一位测试者进行从训练到测试的环节，每位测试者观看测试序列并给出原始主观意见分；同时，记录下每一个测试者在观看每一个视频序列时的观看方向。

如图3所示，包括如下步骤：

步骤201、从所有尚未进行测试的测试者中选取一位测试者。

步骤202、用户告知测试者本次主观测试的目的。

步骤203、测试者观看一组包含不同质量层次的训练序列。

步骤202和步骤203组成训练环节。设置训练环节的原因是一些测试者可能对观看全景视频十分陌生。测试者在训练环节所观看的训练序列，其质量跨度应与测试序列的质量跨度相当，以使测试者熟悉全景视频以及测试序列的质量层次。

步骤204、一定时长的间歇。

建议间歇时长设置为3至10分钟。间歇的设置目的在于让测试者稍事休息，以及降低训练序列可能对接下来的测试环节造成的记忆效应。在间歇期间，用户可与测试者就训练环节做一定程度的交流，确保测试者已经熟悉全景视频以及测试实验流程。

步骤205、选取一个当前测试者未观看过的测试序列。

用户可根据主观测试实验的需求选择测试序列的播放顺序，包括但不限于顺序播放、完全随机播放等。此处，本发明提出一种多激励连续质量评分(MSCQS)的方法，用户可以选择本方法，亦可选择其他方法。

图4展示了MSCQS生成测试序列的一个示例，结合图4说明，MSCQS包括如下步骤：

步骤2051、将视频内容相同但质量不同的测试序列紧邻排列，归为一组。

如图4所示，Ai、Bi和Ci分别表示内容为A、B和C的不同质量的测试序列，即将测试序列分成A、B、C、……组。

步骤2052、将组的先后顺序打乱，随机排序。

如图4所示，打乱后的结果为C、A、……B的顺序。

步骤2053、将每组内的测试序列的先后顺序打乱，随机排序。

如图4所示，C组打乱后的结果为C1、C3、C2的顺序，以此类推。

步骤2054、按照步骤2051至步骤2053确定一次测试的测试序列的顺序，测试时按照此顺序依次选择一个测试序列播放。

如图4所示，最终播放顺序为C1、C3、C2、A3、A1、A2、……、B2、B3、B1。

步骤206、测试者观看该测试序列。

用户可根据实际测试的需要，控制测试序列的时长以及循环的次数。建议但不限制每个测试序列仅播放一次。

步骤207、同时，以一定的频率记录测试者观看视频时的观看方向。

注意步骤206与步骤207应是并行、同时触发和同时结束的。用户可以借助外部硬件设备或显示系统软件来记录测试者观看视频时的观看方向数据。建议但不限制记录频率在15Hz以上。

步骤208、可选步骤，测试者观看一定时长的缓冲图像。

此步骤可选，建议但不限制缓冲图像为全灰色图像，建议但不限制时长为3秒。目的是给测试者一定的反应时间，让他们有时间思考从而形成对看过的测试序列质量情况的判断。

步骤209、测试者给出该测试序列的原始主观意见分。

用户可采用多种手段收集测试者的原始主观意见分，包括但不局限于借助计算机图形用户界面(GUI)、手写分数等。

用户可根据主观测试实验的目的和需求，选择相应的评分项，包括但不局限于视频编码质量、视频拼接一致性等。同时，用户也可选择合适的评分标准，包括但不局限于连续评分百分制、五分制等。图5展示了主观测试实验中评分项和评分标准的示例，评分项为视频整体质量，评分标准为100分连续评分，分数被分为很好(80-100)、好(60-80)、一般(40-60)、差(20-40)和很差(0-20)5个层次。实际可选的评分项和评分标准包括但不限于本示例。

步骤210、重复步骤205至步骤209，直至当前测试者已观看过全部测试序列并评分。

需要注意的是，如果当前测试者连续观看时间过长，应选择某次循环的步骤209结束后暂停实验进行休息。建议但不限制测试者观看超过30分钟则进行休息。建议但不限制休息时间不少于3分钟。

步骤211、重复步骤201至步骤210，直至所有测试者均已完成测试。

步骤三、对步骤二中收集的原始主观意见分和测试者观看方向数据进行数据处理，计算整体平均意见差分(O-DMOS)和向量化平均意见差分(V-DMOS)。

如图6所示，步骤三包括如下步骤：

步骤301、按照一定规则，判别每个测试者给出的原始主观意见分的是否异常。若是，则剔除数据异常的测试者的全部数据。

步骤302、计算整体平均意见差分(O-DMOS)。

O-DMOS反映每个全景视频序列的整体的质量情况。如图7所示，包括如下步骤：

步骤3021、选取一个合格测试者，计算他对每个受损序列与其参考序列打分的差值。对每个合格测试者每个测试序列的数据重复此步骤。

令S_ij和

表示第i个测试者对第j个测试序列以及它的参考视频的打分。通过如下公式计算二者的差值：

步骤3022、将差值d_ij转换成Z分数Z_ij。对每个合格测试者每个测试序列的数据重复此步骤。

可用如下公式计算Z分数Z_ij：

其中M_i是第i个测试者观看的测试序列总数。

步骤3023、将Z分数Z_ij线性调整到[0,100]的范围。对每个合格测试者每个测试序列的数据重复此步骤。

使用如下公式计算标准Z分数

步骤3024、计算所有有效测试者标准Z分数

的平均值。对每个测试序列的数据重复此步骤。

第j个测试序列的O-DMOS分可以通过如下公式得到：

其中N_j是有效测试者人数。

步骤303、计算向量化平均意见差分(V-DMOS)。

通过收集到的测试者的原始评分和观看方向数据计算得到的V-DMOS，可以反映全景视频不同区域的质量。如图8所示，包括如下步骤：

步骤3031、用户根据主观质量评价的需求，将一个全景视频划分成若干区域。

一个全景视频中的区域数量用R表示。用户可以选择多种区域划分的形式。图9展示了一个区域划分的示例，将一个全景视频分6个区域：前面，背面，左面，右面，顶面和底面，实际可选的形式包括但不限于本示例。

步骤3032、计算一个合格测试者观看一个测试序列一个区域的频率。

第i个合格测试者看第j个测试序列中第r个区域的频率，用

表示。

需要被归一化以满足

步骤3033、用户设定一定的频率阈值f₀，判断当

时，第i个合格测试者被加入集合I_jr。

对每个合格测试者每个测试序列每个区域重复步骤3032和3033。

步骤3034、计算一个测试序列一个区域的平均意见差分。

如果

那么DMOS_jr是一个无效分数，用“—”表示。否则，第j个测试序列中第r个区域的平均意见差分可以通过下式计算：

其中

表示I_jr的元素数量。

对每个测试序列每个区域重复此步骤。

步骤3035、将一个测试序列计算出的所有平均意见差分用向量表示。

第j个测试序列的V-DMOS向量可以表示为：

[O-DMOS_j DMOS_j1 … DMOS_jr … DMOS_jR]。

对每个测试序列重复该步骤。

可以看出，V-DMOS包含O-DMOS，能够反映全景视频整体的质量情况，也能够反映局部区域的质量情况。

步骤四、通过分析不同测试者最终评分的相关程度，验证最终实验结果的有效性。

需要注意的是，本步骤作为实验结果验证手段，供用户辅助分析使用，并不作为全景视频主观质量评价的必要步骤。

如图10所示，包括如下步骤：

步骤401、将合格测试者随机分成不相交的2组。

用户可以根据情况选择平均分成2组或者分成人数不等的2组。

步骤402、按照步骤三计算每组对测试序列给出的最终V-DMOS。

步骤403、重复步骤401和步骤402若干次。建议但不限制重复次数不少于30次。

步骤404、选择要分析的平均意见差分，计算步骤403若干次计算得到的选定的平均意见差分的平均值。将测试序列根据其中一组测试者的该平均意见差分的平均值按照从小到大或者从大到小的顺序排序，以视频序列的序号为横轴，以该平均意见差分的平均值为纵轴，在平面直角坐标系中画出两组测试者平均意见差分的折线图。

图11展示了按照该步骤画出的折线图的示例。从两条折线的线性相近程度，可以直观地看出实验结果的有效性。

步骤405、对步骤403每次计算得到的选定的平均意见差分，计算两组测试者的选定的平均意见差分的相关系数。求这若干次计算的相关系数的平均值。

本发明不限制计算何种相关系数。用户可以根据情况选择计算何种相关系数，包括但不限于皮尔森线性相关系数、斯皮尔曼等级相关系数。

图12展示了发明测试时，按照步骤404、步骤405将实验结果做成的折线图和相关系数。从折线图中可以看到两组人O-DMOS以及V-DMOS的折线都非常接近，同时相关系数均在0.9以上，相关性非常高，表明本发明的方案可以有效反映不同组实验者对全景视频质量的主观感受，证明该方法有较好的效果。此处采用斯皮尔曼登记相关系数，即图中SRCC所示，取值范围为-1～1，越接近±1表明相关性越高。

本发明公开了一种对全景视频进行主观测试的详细方案，借助本发明，用户可以在自由观看全景视频的同时，对全景视频的质量进行主观评价，从而确定在自由观看条件下，全景视频的整体主观质量以及局部主观质量。尽管本发明已参照具体实施方式进行描述和举例说明，但是并不意味着本发明限于这些描述的实施方式。

Claims (5)

1.一种针对全景视频的主观质量评价方法，包括如下步骤：

步骤一、根据对全景视频的主观测试的需求，做测试前准备工作，布置主观测试的测试环境；

步骤二、开展主观测试实验，让每一位测试者进行从训练到测试的环节；

步骤三、对步骤二中收集的数据进行处理，获取对全景视频的主观质量评价结果；

其特征在于，

所述的步骤二中，收集每位测试者的原始主观意见分和观看方向；

所述的步骤三中，根据收集的原始主观意见分和测试者观看方向，计算整体平均意见差分和向量化平均意见差分，作为全景视频的主观质量评价结果；

其中，计算向量化平均意见差分V-DMOS的方法是：

步骤3031、将一个全景视频划分成R个区域；R为正整数；

步骤3032、计算一个合格测试者观看一个测试序列一个区域的频率；

设第i个合格测试者看第j个测试序列中第r个区域的频率，用

表示；

需要被归一化以满足

i、j、r均为正整数；

步骤3033、设定频率阈值f₀，判断当

时，第i个合格测试者被加入第j个测试序列的第r个区域对应的集合I_jr；

对每个合格测试者每个测试序列每个区域重复步骤3032和3033；

步骤3034、计算每个测试序列每个区域的平均意见差分；设第j个测试序列的第r个区域的平均意见差分为DMOS_jr；

如果

那么DMOS_jr是一个无效分数，用“—”表示；否则，第j个测试序列中第r个区域的平均意见差分

其中

表示集合I_jr的元素数量；

表示第i个合格测试者对第j个测试序列的百分制的标准Z分数；

对每个测试序列每个区域重复步骤3034；

步骤3035、将一个测试序列计算出的所有平均意见差分用向量表示；

第j个测试序列的V-DMOS向量表示为：

[O-DMOS_j DMOS_j1 … DMOS_jr … DMOS_jR]；

对每个测试序列重复步骤3035。

2.如权利要求1所述的一种针对全景视频的主观质量评价方法，其特征在于，所述的步骤一包括：

准备全景视频显示硬件设备系统和全景视频播放软件；

准备测试用的全景视频序列，测试序列是全参考的，包含未受损的参考序列和相应的受损序列；

招募测试者；测试者不应是全景视频质量评价领域的专家；招募的测试者应有一定的年龄跨度，并且同时有一定数量的男性和女性测试者；测试者应拥有正常视觉，包括立体视觉能力和辨色能力；

为测试者提供能够自由观看全景视频的观看环境；包括令在一定空间内站立测试或者坐在转椅上测试。

3.如权利要求1所述的一种针对全景视频的主观质量评价方法，其特征在于，所述的步骤二中，采用多激励连续质量评分的方法来设置测试序列的播放顺序，具体是：

步骤2051、将视频内容相同但质量不同的测试序列紧邻排列，归为一组；

步骤2052、将组的先后顺序打乱，随机排序；

步骤2053、将每组内的测试序列的先后顺序打乱，随机排序；

步骤2054、按照步骤2051至步骤2053确定一次测试的测试序列的顺序，测试时按照此顺序依次选择一个测试序列播放。

4.如权利要求1所述的一种针对全景视频的主观质量评价方法，其特征在于，所述的步骤三中，计算整体平均意见差分的方法是：

步骤3021、选取一个合格测试者，计算他对每个受损序列与其参考序列打分的差值；对每个合格测试者每个测试序列的数据重复本步骤；

令S_ij和

表示第i个测试者对第j个测试序列以及它的参考视频的打分，则二者的差值表示为

步骤3022、将差值d_ij转换成Z分数Z_ij；对每个合格测试者每个测试序列的数据重复本步骤；

Z分数Z_ij的计算如下：

其中，M_i是第i个测试者观看的测试序列总数；

步骤3023、将Z分数Z_ij线性调整到[0,100]的范围；对每个合格测试者每个测试序列的数据重复本步骤；

使用如下公式计算标准Z分数

步骤3024、计算所有合格测试者标准Z分数

的平均值；对每个测试序列的数据重复本步骤；

第j个测试序列的整体平均意见差分O-DMOS通过如下公式得到：

其中，N_j是合格测试者人数。

5.如权利要求1所述的一种针对全景视频的主观质量评价方法，其特征在于，所述的方法还包括步骤四，分析不同测试者最终评分的相关程度，验证最终实验结果的有效性，具体包括：

步骤401、将合格测试者随机分成不相交的2组；

步骤402、按照步骤三计算每组测试者对测试序列给出的V-DMOS；

步骤403、重复步骤401和步骤402至少K次，K取值为30；

步骤404、选择要分析的平均意见差分，计算步骤403得到的选定的平均意见差分的平均值；将测试序列根据其中一组测试者的该平均意见差分的平均值按照从小到大或者从大到小的顺序排序，以视频序列的序号为横轴，以该平均意见差分的平均值为纵轴，在平面直角坐标系中画出两组测试者平均意见差分的折线图；

步骤405、对步骤403每次计算得到的选定的平均意见差分，计算两组测试者的选定的平均意见差分的相关系数；求K次计算的相关系数的平均值。

Images