CN110401832A - 一种基于时空管道建模的全景视频客观质量评估方法 - Google Patents

Abstract

本发明公开了一种基于时空管道建模的全景视频客观质量评估方法，首先，根据人眼视觉机制，加入了时域失真的概念，建立了一种基于时空管道的视频质量评估模型；其次，时空管道的建立由用于运动估计的块搜索算法实现，实现了将在空间上切分的视频内容在时间上前后关联，而时空管道的失真分解为平均失真和时域失真，前者通过一个递归滤波器对时空管道中块与块的空间失真进行合理的平均，后者通过结合块与块之间失真变化梯度的频率和幅度对时空管道失真计算进行了巩固；最后，将所有时空管道失真通过空域池化和时域池化计算得出最终的视频质量评分。采用本发明方法，可大大提高全景视频客观质量评估的精确度，使之更符合人眼的主观质量评价的结果。

Description

一种基于时空管道建模的全景视频客观质量评估方法

技术领域

本发明属于视频编码和处理领域，具体涉及一种基于时空管道建模的全景视频客观质量评估方法。

背景技术

随着虚拟与增强现实技术的不断发展，全景视频媒体系统技术标准的制定与完善逐渐显得越来越重要。全景视频(即360度视频)是通过专业相机捕捉整个场景的图像信息，使用软件进行拼接，并用专门的播放器进行播放。在观看360度视频时，观看者通常需要佩戴虚拟头盔，通过头部的运动观看不同位置的视频图像，从而达到观看的沉浸感和身临其境感。然而，由于全景视频包含很多的视角观看信息，通常都具有较大的图像分辨率(如4K,8K等)，如何对其高效压缩与质量评估目前成为研究热点。用于2D平面视频媒体的成熟技术方案直接移植于360度全景视频系统中还存在各种各样的问题，其中对于全景视频的客观质量评估方法是亟待解决的问题之一。

视频质量评估从方法上可分为主观评估和客观评估。主观评估就是人从主观感知来评价视频图像质量，通过给观察者展示原始参考图像和失真图像，让观察者为其失真图像评分；而客观评估使用数学模型计算给出量化值，无需人工参与，简便易行。由于主观实验受观察者位置、设备、照明、视力水平甚至情绪等因素影响，费时费力，所以有必要设计出能够精确预测主观质量的客观质量评估方法。由于360度全景视频的球面特性，直接将传统2D平面视频的客观质量评估方法用于分析全景视频，其结果与用户主观体验差异较大，不能够准确反应主观质量。另外，现有的全景视频客观质量评估方案中，WS-PSNR(Weighted-Spherically PNSR)是一种最近提出的并得到广泛应用的客观质量计算方法，该方法通过计算球面到平面映射的拉伸因子，并利用该因子加权对应平面视频计算的PSNR。但该方法也只考虑了全景视频的空间特性，没有考虑失真的时域变换，精确度也尚有提升的空间。

发明内容

发明目的：本发明提出一种考虑时域特性的基于时空管道建模的全景视频客观质量评估方法，可提高360度全景视频客观质量评估的精确度，使之更符合人眼的主观质量评价结果。

发明内容：本发明所述的一种基于时空管道建模的全景视频客观质量评估方法，包括以下步骤：

(1)将全景视频序列每帧分块，对于每帧每块的质量评估通过向前回溯构建的时空管道来计算取得；所述时空管道的构建由运动估计的块搜索算法按块与块之间内容相似度来匹配连接，作为视频质量评估的基本单元；

(2)在时空管道评估单元构建完成后，计算每帧每块的时空管道的失真值；所述失真值由平均失真和时域失真两部分构成，平均失真是由时空管道上所有块的空间失真平均计算得到，而时域失真则由块与块之间失真变化的梯度值的频率和幅度结合平均失真得到；

(3)将每一帧的所有时空管道单元失真值进行空间池化，得到每一帧的失真值评估，将整个视频所有帧的失真求平均得到关于该视频的失真评估，再通过对该视频失真计算峰值信噪比得出最终全景视频客观质量评分。

所述步骤(1)包括以下步骤：

(11)对于原始视频序列的第t帧，我们将该帧按行列分成K·L个块；

(12)根据人眼视觉机制，假设一次可能的眼球注视动作会从任一帧t的任一块(k,l)开始，并在时空域中移动且持续不超过注视时长T_h；对于块(k_t,l_t)在向前一个T_h时间范围内的若干帧中，用块搜索算法向前逐帧寻找相似的匹配块(k_t-1,l_t-1)，块(k_t-2,l_t-2)，…，块(k_t-n,l_t-n)；

(13)将空域上的n个块连接组成一个时空管道，作为一个基本质量评估单元，在每帧中，便有K·L个时空管道。

所述步骤(2)通过以下公式实现：

块的失真值：

时空管道的平均失真值D_k,l,t：

D_k,l,t＝α·D_k,l,t-1+(1-α)·d_k,l,t

时空管道的时域失真D′_k,l,t：

时空管道总体失真值

其中，M和N表示块中水平和垂直方向的像素个数，y(i,j)和y′(i,j)分别是原始视频序列和失真视频序列中的像素值，ω(i,j)则是对应像素点权值，α为平滑因子，为块(k,l,t)的失真变化梯度，β为自由参数，表示时域失真D′_k,l,t的影响程度，β越大，时域失真对总体失真影响越大。

所述步骤(3)通过以下公式实现：

空域池化计算如下：

时域池化计算如下：

其中，D_t表示帧t的失真，β_s为Minkowski指数，N为视频序列中总帧数，D为整个视频序列的失真评估。

有益效果：与现有技术相比本发明的有益效果：本发明充分地结合了人眼的视觉关注机制，不仅在保留了已有的全景视频客观质量评估方案中的空间特性的前提下，引入时域失真变化的考虑，大大的增加了全景视频客观质量评估的精确度，使其更符合主观质量评估的结果。

附图说明

图1为本发明的流程图；

图2为时空管道结构示意图；

图3为拟合函数f_s(n_s)图像。

具体实施方式

不同于传统的2D视频的平面表现空间，全景视频的表示空间是三维球面。因此，当使用传统平面视频的压缩编码方案编码全景视频数据时，需先将全景视频的球面空间映射到平面空间，再进行编码压缩；当解码后，还需要再映射回球面空间用于展现。时域失真可以被定义为空间失真在时间尺度上的演变，如画面连续闪烁，急速抖动等，这些剧烈且持续的空间失真对人眼的感知系统同样产生着重大的影响。

下面结合附图对本发明作进一步详细说明。如图1所示本发明包括以下步骤：

1、时空管道的建立

人视觉机制中的眼球运动可分为三种类型：扫视(Saccades)，追瞄(Pursuits)，注视(Fixation)，其中扫视持续时间较短，而追瞄和注视的平均时长为400ms。因此，观察者观看视频的行为可以分解为若干次眼球运动，每一次眼球运动可假定为发生从视频任一帧上任一区域开始持续不超过400ms的注视行为。本发明首先需建立视频的基本质量评估单元，即时空管道。对于原始视频序列的第t帧，我们将该帧按行列分成K·L个块。根据上述的人眼视觉机制，假设一次可能的眼球注视动作会从任一帧t的任一块(k,l)开始，并在时空域中移动且持续不超过注视时长T_h(如400ms)。因此，对于块(k_t,l_t)在向前一个T_h时间范围内的若干帧中，用块搜索算法向前逐帧寻找相似的匹配块(k_t-1,l_t-1)，块(k_t-2,l_t-2)，…，块(k_t-n,l_t-n)。由这时空域上的n个块连接组成一个时空管道，作为一个基本质量评估单元，如图2所示。在每帧中，我们便有K·L个时空管道。

2、关于块的失真计算

对于上述的块(k_t,l_t)的失真值，由于该块是由球面上某一个不规则块映射过来的。为了考虑全景视频的空间特效，即格式映射造成的拉伸失真，采用加权的均方误差(WMSE，Weighted MSE)方法来计算：

其中，M和N表示块中水平和垂直方向的像素个数，y(i,j)和y′(i,j)分别是原始视频序列和失真视频序列中的像素值，ω(i,j)则是对应像素点权值，该值与全景视频的映射格式相关。如等距圆柱投影格式(ERP)的ω(i,j)计算如下：

其中，H为视频分辨率的高度。该式子考虑了球面上在不同经度和纬度的像素具有不同的拉伸因子的特性。

3、时空管道平均失真的计算

在上述建立完时空管道并包含对应块失真值后，基于一个递归滤波器来计算关于此时空管道的平均失真值D_k,l,t：

D_k,l,t＝α·D_k,l,t-1+(1-α)·d_k,l,t (3)

其中，d_k,l,t是上述所计算的块失真值，α为平滑因子，Δt为帧间隔时长(如40ms)，T为我们取的时间常数，用于控制α的取值大小，当α越大，表示关于t的时空管道平均失真值计算受来自t之前块的失真值的影响更大，当α＝0时，D_k,_l,t与d_k,l,t相等。另外，T的取值取决于时空管道中块与块之间的失真梯度变化，如若失真梯度变化的绝对值大于一个阈值μ，T值取一较小值T₁，否则取一较大值T₂。

4、时空管道时域失真的计算

上述计算得到时空管道的平均失真D_k,l,t表示块(k,l,t)的时空失真程度，而时空管道的时域失真同样显著地影响着视觉感知，这些时域失真的特征可由失真变化的频率和幅度来体现。于是，使用时空管道中失真变化的梯度值来计算时域失真D′_k,l,t：

其中，D_t为上述的管道平均失真，为块(k,l,t)的失真变化梯度，如下：

其中，d_k,l,t与d_k,l,t-1表示块t与块t-1的失真值，Δt为管道中相邻块的时间间隔，表示属于时空管道中所有块的最大的失真梯度值，而f_s(n_s)为一个类高斯拟合函数，可以表示如下：

其中，参数n_s为时空管道中失真梯度的符号变化次数，在只有一次符号变化(即n_s＝1)时f_s(n_s)达到最大值1，如图3所示。

5、时空管道失真的计算

在上述得到了时空管道的平均失真D_k,l,t和时域失真D′_k,l,t之后，关于时空管道总体失真则将D_k,l,t和D′_k,l,t结合起来，计算如下：

其中β为自由参数，表示了时域失真D′_k,l,t的影响程度，β越大时域失真对总体失真影响越大。

6、失真的空域和时域池化

上述计算得到的时空管道失真表示了在帧t中块(k,l)的失真估计值，在此之上，还需要通过空域池化计算出帧t的失真估计，以及通过时域池化进而得到整个视频的失真估计。空域池化计算如下：

其中，D_t表示帧t的失真，β_s为Minkowski指数。

时域池化计算如下：

其中，N为视频序列中总帧数，D即为整个视频序列的失真评估。

7、最终质量评分

用峰值信噪比(PSNR)来表示视频质量评估的最终评分。全景视频的客观质量评价模型表示为VWS-PSNR(Video WS-PSNR)，计算如下：

其中，D为上述求得的视频失真，MAX_I为像素值的最大取值(颜色8位表示时，MAX_I即255)。

实施例

下面结合一个具体的实施方式对本发明作进一步的详细说明。为便于说明，且不失一般性，做如下假定：

本发明提出的方法拟在公开的全景视频数据集VQA48上实验，该数据集包含12个原始视频序列，以及36个对应的失真视频序列，并包含对每个失真视频序列的主观质量评分MOS(Mean opinion score)。以其中一个视频序列Dianying与它对应的三个不同失真程度视频Dianying_1、Dianying_2、Dianying_3为例，分辨率为4096×2048，帧率为25fps，共300帧，映射格式为ERP。失真视频Dianying_1、Dianying_2、Dianying_3分别是以量化参数QP为27、37、42对原始视频序列进行压缩产生，且对应的MOS分别为38.8345，42.9789和57.2033。

假定本实施例采用上述的实施方法建立时空管道(如图1所示)，不失一般性，这里使用的块搜索算法为新三步搜索算法NTSS(New Three-Step Search)，用于匹配内容相似的相邻块以构建时空管道，且分块大小为16，管道时长范围为400ms，则每帧可分为256×128＝32768个块，帧间隔为1000ms/25＝40ms，每个管道长度由400ms/40ms＝10个块构成。另外，前10帧中分块所对应的管道内不足10个块，则按最大能包含块数量来构建。

假定对于第5帧的第(2,2)块(简称块(2,2,4)，下同)，它所对应的时空管道(简称管道(2,2,4)，下同)由5个块构成，为了方便表示，假设从后向前分别为块(2,2,4)，块(2,2,3)，块(2,1,2)，块(2,1,1)，块(1,1,0)。根据式(1)计算块的空间失真，如块(2,2,3)的空间失真d_2,2,3计算如下：

在管道(2,2,4)计算得到包含的5个块空间失真d_2,2,4，d_2,2,3，d_2,1,2，d_2,1,1，d_1,1,0之后，根据式(3)和式(4)计算管道(2,2,4)的平均失真D_2,2,4，其中α选择由块失真变化梯度和阈值μ决定，这里μ根据经验取2.5，若大于2.5，式(4)中T值取200ms，否则T值取400ms，举例如下：

D_1,1,0＝d_1,1,0

D_2,1,1＝0.2·D_1,1,0+0.8·d_2,1,1

D_2,1,2＝0.2·D_2,1,1+0.8·d_2,1,2

D_2,2,3＝0.2·D_2,1,2+0.8·d_2,2,3

D_2,2,4＝0.1·D_2,2,3+0.9·d_2,2,4

其中abs()为绝对值函数，的计算根据式(6)，如为

至此，时空管道(2,2,4)的平均失真D_2,2,4计算完成。

接着，关于时空管道(2,2,4)的时域失真根据式(5)，假设 中最大值为且符号分别为正正负负，符号变化次数为1次(即ns＝1)，那么该管道时域失真为

其中，f_s(n_s)拟合函数具体如下：

至此，时空管道(2,2,4)的时域失真D′_2,2,4计算完成。

根据式(8)，结合上述所得D_2,2,4和D′_2,2,4计算出关于时空管道(2,2,4)的失真这里不失一般性，β取1。

然后，通过空域池化方法将第5帧包含所有的时空管道失真(如上述)池化为整个第5帧的失真值，根据式(9)

这里不失一般性，β_s取2。

通过时域池化方法将视频序列包含的每帧失真池化为整个视频序列的失真，根据式(10)，有

最终，通过峰值信噪比公式计算得出最后评分VWS-PSNR：

这里Dianying_1、Dianying_2、Dianying_3的最终质量评分VWS-PSNR分别为20.06，22.78，38.18。

Claims (4)

1.一种基于时空管道建模的全景视频客观质量评估方法，其特征在于，包括以下步骤：

(1)将全景视频序列每帧分块，对于每帧每块的质量评估通过向前回溯构建的时空管道来计算取得；所述时空管道的构建由运动估计的块搜索算法按块与块之间内容相似度来匹配连接，作为视频质量评估的基本单元；

(2)在时空管道评估单元构建完成后，计算每帧每块的时空管道的失真值；所述失真值由平均失真和时域失真两部分构成，平均失真是由时空管道上所有块的空间失真平均计算得到，而时域失真则由块与块之间失真变化的梯度值的频率和幅度结合平均失真得到；

(3)将每一帧的所有时空管道单元失真值进行空间池化，得到每一帧的失真值评估，将整个视频所有帧的失真求平均得到关于该视频的失真评估，再通过对该视频失真计算峰值信噪比得出最终全景视频客观质量评分。

2.根据权利要求1所述的一种基于时空管道建模的全景视频客观质量评估方法，其特征在于，所述步骤(1)包括以下步骤：

(11)对于原始视频序列的第t帧，我们将该帧按行列分成K·L个块；

(12)根据人眼视觉机制，假设一次可能的眼球注视动作会从任一帧t的任一块(k，l)开始，并在时空域中移动且持续不超过注视时长T_h；对于块(k_t，l_t)在向前一个T_h时间范围内的若干帧中，用块搜索算法向前逐帧寻找相似的匹配块(k_t-1，l_t-1)，块(k_t-2，l_t-2)，…，块(k_t-n，l_t-n)；

(13)将空域上的n个块连接组成一个时空管道，作为一个基本质量评估单元，在每帧中，便有K·L个时空管道。

3.根据权利要求1所述的一种基于时空管道建模的全景视频客观质量评估方法，其特征在于，所述步骤(2)通过以下公式实现：

块的失真值：

时空管道的平均失真值D_k，l，t：

D_k，l，t＝α·D_k，l，t-1+(1-α)·d_k，l，t

时空管道的时域失真D′_k，l，t：

时空管道总体失真值

其中，M和N表示块中水平和垂直方向的像素个数，y(i，j)和y′(i，j)分别是原始视频序列和失真视频序列中的像素值，ω(i，j)则是对应像素点权值，α为平滑因子，为块(k，l，t)的失真变化梯度，β为自由参数，表示时域失真D′_k，l，t的影响程度，β越大，时域失真对总体失真影响越大。

4.根据权利要求1所述的一种基于时空管道建模的全景视频客观质量评估方法，其特征在于，所述步骤(3)通过以下公式实现：

空域池化计算如下：

时域池化计算如下：

其中，D_t表示帧t的失真，β_s为Minkowski指数，N为视频序列中总帧数，D为整个视频序列的失真评估。