CN101572830A - 用于对帧序列的失真版本的质量进行评估的方法 - Google Patents

Abstract

本发明涉及一种视频质量评估方法。所述方法包括以下步骤：通过将序列的最后一帧(I6)中的块(B6)与所述最后一帧的失真版本中的对应块进行比较来确定最后空间失真；确定倒数第二帧(I5)中与所述最后一帧(I6)中的所述块(B6)最佳匹配的最佳匹配块(B5)；通过将所确定的所述倒数第二帧(I5)中的最佳匹配块(B5)与所述倒数第二帧的失真版本中的对应块进行比较来确定倒数第二空间失真；使用所述所确定的失真来确定与所述块相关联的空间－时间感知失真值，并使用所确定的空间－时间感知失真值来评估质量。空间失真的时间演进改进了视频质量评估。

Description

用于对帧序列的失真版本的质量进行评估的方法

技术领域

本发明涉及一种用于对帧序列的失真版本的质量进行评估的方法。

背景技术

当对图像或帧序列(如视频或电影)进行压缩时，在压缩的帧序列中引入了失真。在有噪或失真的信道上进行的传输所引入的误差可能是失真的另一来源。

为了评估帧序列的失真版本的质量，需要一种视频质量度量。

用于测量原始和失真版本之间的距离的公知数学度量(如均方误差或最大绝对误差)并未考虑失真的心理学方面。也就是说，尽管可能产生相同的失真版本和原始版本之间的测量距离，但是某些失真比其他失真更加明显，因此对用户而言更加恼人。

此外，对于失真引入的恼人程度，失真的持续时间起重要作用。

欧洲专利申请EP 1 804 519描述了一种用于估计主观质量的视频质量客观评估设备，所述设备包括用于导出时间/空间特征量(退化特征量)的时间/空间特征量导出单元。

需要一种用于对帧序列的失真版本的质量进行评估的方法，能够更好地反映人类感知系统的影响。

发明内容

这是通过一种用于对帧序列的失真版本的质量进行评估的方法来实现的，所述方法包括权利要求1中的特征。

也就是说，所述方法包括：a)通过将序列的最后一帧中的块与所述最后一帧的失真版本中的对应块进行比较来确定最后空间失真；b)确定倒数第二帧中与所述最后一帧中的所述块最佳匹配的最佳匹配块；c)通过将所确定的所述倒数第二帧中的最佳匹配块与所述倒数第二帧的失真版本中的对应块进行比较来确定倒数第二空间失真；d)使用所述所确定的失真来确定与所述块相关联的空间-时间感知失真值，并使用所确定的空间-时间感知失真值来评估质量。

通过考虑与块相关联的空间失真的时间演进，能够更好地评估失真视频的质量。

从属权利要求描述了该方法的优势实施例。

例如，使用所述所确定的空间失真包括：使用所述最后空间失真和所述倒数第二空间失真之间的第一失真梯度。

或者，所述方法还包括：对最后一帧之前的多个帧迭代执行步骤e)和f)；使用所确定的所有空间失真来确定所述空间-时间感知失真值，其中，所述使用包括使用连续帧之间的失真梯度。

如果所述第一差值满足或超过阈值，则所述方法可以包括对另外多个帧继续迭代执行步骤e)和f)。

所述方法还可以包括：对所确定的连续失真梯度之间的符号改变次数进行计数；确定所确定的失真梯度中的最大值；以及使用所述符号改变的次数和所述最大值来确定所述空间-时间感知失真值。

在一实施例中，将最后一帧(I6)划分为分离的块，针对每个所述分离块来确定空间-时间感知失真值。这使得可以使用所确定的空间-时间感知失真值来确定最后一帧的帧质量评分。

所述方法甚至可以包括：确定帧序列中每一帧的帧质量评分；确定所确定的帧质量评分的平均值；以及使用所确定的平均值来分配所述质量。

附图说明

在附图中示意了本发明的示例性实施例，并在以下描述中对示例性实施例进行更详细的解释。附图中：

图1示出了要求保护的本发明的示例性实施例；

图2示出了本发明的空间-时间失真评估模块的示例性实施例；

图3示出了本发明的蓄积模块(pooling module)的示例性实施例；

图4示例性地示出了空间-时间失真管；以及

图5示例性地示出了用于对失真梯度进行时间滤波的卷积函数。

具体实施方式

图1示出了要求保护的本发明的示例性实施例。将原始视频OV输入至运动估计模块MOES，MOES输出主要运动参数和运动向量。将视频DV的失真版本输入至空间感知失真评估模块SPDE，SPDE输出空间感知失真映射。每个空间感知失真映射包括与视频中的一帧中的像素相关联的失真值。将空间感知失真映射、运动参数和运动向量输入至空间-时间感知失真评估模块STPDE，STPDE输出空间-时间感知失真映射STPDM。将所述空间-时间感知失真映射STPDM输入至蓄积模块POOL，并且可以将其用于其他目的。

然后，蓄积模块POOL输出视频质量评分VQS。

图2更详细地示出了本发明的空间-时间失真评估模块STPDE的示例性实施例。模块STPDE包括子模块STDTC，STDTC负责创建与所谓的块管TUBE相关联的所谓空间失真管。将所述空间失真管馈送入两个子模块TGC和TFSD。子模块TGC根据输入的空间失真管来产生所谓的梯度管。在子模块MU中评价该梯度管是否满足或超过阈值。根据评价结果，将至少两个可能的时间参数值之一提供给子模块TFSD。子模块TFSD根据输入的空间失真管，通过使用由模块TGC提供的时间参数来对输入的管进行时间滤波，从而产生所谓的经时间滤波的失真管。

在子模块TFDG中，对子模块TGC所产生的梯度管进行时间滤波。将经时间滤波的梯度管和经时间滤波的失真管输入至用于固定蓄积的子模块FIXP，FIXP输出所述空间-时间感知失真映射STPDM。

图3更详细地示出了本发明的蓄积模块POOL的示例性实施例。所述蓄积模块POOL包括用于空间蓄积的子模块SPOOL和用于时间蓄积的子模块TPOOL。空间蓄积SPOOL接收空间-时间感知失真映射作为输入，针对空间-时间感知失真映射中的每一帧产生帧质量评分。在子模块TPOOL中，将所述帧质量评分组合为视频质量评分VQS。因此，蓄积模块POOL执行以下步骤：针对空间-时间感知失真映射中的独立帧以及整个视频序列来计算质量评分。

以下更详细地解释上述模块和子模块所执行的步骤。

空间感知失真评估模块SPDE中执行的步骤是计算空间感知失真映射VE_t，x，y。针对视频序列中的每个帧t来计算空间感知失真映射。该空间失真映射中的每一项(x，y)表示：在原始帧中的位置(x，y)处的像素与在该帧的失真版本中相同位置处的像素的失真版本之间感知到的失真程度。在一示例性实施例中，借助于在先发明(被提交为欧洲专利申请，申请号为08300006.7，其全文结合在此作为参考)中描述的失真测量来确定该失真程度。附加地或可选地，可以使用其他公知的度量。例如，这种其他度量是：均方误差(MSE)、峰值信噪比(PSNR)或结构相似度(SSIM)。

在计算空间感知失真映射VE_t，k，l之前、同时或之后，执行在原始视频帧序列中进行运动估计的步骤。对于帧中的块，确定紧接在前的帧中相应的最佳匹配块以及相应的替换或运动向量。根据所述运动向量来计算主要运动参数。可以使用不同的方法(例如最小均方或属于M-估计算法族的算法)来确定主要运动参数。

可以使用分层运动估计器(HME)来实现这些步骤(主要运动和运动向量的估计)。

为了获得本发明的空间-时间感知失真估计所需的空间失真映射和运动信息，模块SPDE和MOES中执行的步骤是必需的。

空间-时间感知失真评估模块STPDE中执行的步骤是根据空间失真映射和运动信息来计算空间-时间感知失真映射

空间-时间感知失真映射

包括与块相关联的空间-时间感知失真值。该步骤包括：通过使用针对前一帧中的相应在先块而确定的空间失真来对针对帧中的块而确定的空间失真进行滤波，从而确定时间滤波后的空间失真映射VE_t，k，l，其中所述在先块是借助运动信息确定的。例如，针对每个块，通过所述滤波来确定块的空间失真的加权和以及相应在先块的空间失真的加权和。此外，确定时间失真梯度映射GR_t，k，l。这些时间失真梯度映射GR_t，k，l中的每一项(k，l)表示针对帧t中在位置(k，l)处的块而确定的失真程度与针对在位置(k，l)处的所述块的在先块而确定的失真程度之间的差值，其中所述在先块在前一帧中。

根据时间滤波后的空间失真映射VE_t，k，l和时间梯度映射GR_t，k，l来计算空间-时间感知失真映射

可以根据计算需要或其他需要来选择用于时间滤波的时间范围(time horizon)。也就是说，可以借助于运动信息来确定所述在先块的在先块，也可以使用针对所述在先块的在先块而确定的空间失真来进行滤波。更一般地，可以使用针对该时间范围内给定帧之前的所有帧中的先前块而确定的空间失真来对针对给定帧中的块而确定的空间失真进行时间滤波。示例性地，将该时间范围设置为400ms，该值与人眼固定的时间标度相对应。

图4示例性地示出了这一概念。该图描述了一个示例图像或帧系列或序列I1...I6。将最后一帧I6中的任选块B6的路径或历史TUBE(也称为块管)描绘为矩形管。仅描述了任选块B6的块管TUBE，但是实际上针对最后一帧I6中的所有分离的块形成相应块管。由一系列最佳匹配块B5、B4、B3、B2、B1来确定与任选块B6相关联的块管TUBE，其中倒数第二帧I5中的第一最佳匹配块B5与最后一帧I6中的所述任选块B6的匹配最佳。倒数第三帧I4中的第二最佳匹配块B4与最后一帧I6中的所述最佳匹配块的匹配最佳，以此类推，直至倒数第六帧I1中的第五最佳匹配块B1与倒数第五帧I2中的第四最佳匹配块B2的匹配最佳。倒数第五帧I2中的所述第四最佳匹配块B2与倒数第四帧I3中的第三最佳匹配块B3的匹配最佳，第三最佳匹配块B3与倒数第三帧I4中的所述第二最佳匹配块B4的匹配最佳。

此外，如果块内的对象在场景中出现或消失，则可以缩短该时间范围。一种检测对象的出现或消失的方法依赖于主要运动的使用。实际上，通过将每一块的运动与参数化主要运动进行比较，可以将每一块分类：这意味着每一块或在主要运动之内或在主要运动之外。两个连续帧之间的块的内-外改变的分类意味着该块所属对象的出现或消失，从而指示该块的时间范围的极限。

与块管TUBE相对应的，存在空间失真管VE_t,k,l ^tube和失真梯度管GR_t,k,l ^tube。空间失真管VE_t,k,l ^tube是与块管TUBE中的块相关联的空间失真值序列。并且失真梯度管GR_t,k,l ^tube是空间失真管中连续空间失真之间的差异的序列。因此，失真梯度管GR_t,k,l ^tube所包括的元素比空间失真管或块管TUBE中的少一个。

在块管TUBE中，在时刻t_i处的失真梯度计算如下：

${\mathrm{Gr}}_{t,k,l}^{\mathrm{tube}}={\mathrm{VE}}_{t,k,l}^{\mathrm{tube}}-{\mathrm{VE}}_{t_{i-1},k,l}^{\mathrm{tube}}---\left(1\right)$

其中

是时刻t_i的失真值，

是时刻t_i-1的失真值，时间范围中包括t_i。

使用与任选块B6相关联的空间失真管来对与所述块B6相关联的空间失真进行滤波。也就是说，使用针对所述最佳匹配块而确定的空间失真来对任选块B6的空间失真进行时间滤波。所述滤波可以是递归的，即使用针对所述最佳匹配块而确定的时间滤波后的空间失真来对任选块B6的空间失真进行时间滤波。

对空间失真的时间滤波还可以取决于时间参数，所述时间参数依赖空间失真或在先块的经时间滤波后的空间失真在时间上与正在检查的帧的距离，对它们对滤波的影响进行调整。也就是说，使用较大的时间参数，时间范围内的所有在先块的滤波失真都对滤波有影响，而使用较小的时间参数，则只有正在检查的最后一帧的较窄时间邻近区域内的在先块的失真对滤波起支配或主导作用。

用于对任选块B6进行滤波的时间参数可以根据相关联的失真梯度管来进行调整。如果针对任选块B6而确定的空间失真和与所述任选块B6最佳匹配的紧接在前的帧中的块而确定的空间失真之间的差值满足或超过阈值，则使用第一时间参数(例如400ms)来进行时间滤波。否则，使用更小的第二时间参数(例如200ms)来进行滤波。在这种情况下，也可以将与任选块B6相关联的失真梯度设置为零。

借助于失真梯度管，也可以对与任选块B6相关联的失真梯度进行时间滤波。所述对失真梯度的滤波基于失真梯度管中的最大失真梯度MaxGr_t,k,l ^tube以及失真梯度管中的连续失真梯度之间的符号改变次数NS_t,k,l ^tube。使用该符号改变次数来对最大失真梯度进行加权。为了进行平滑，例如可以使用以下高斯卷积函数(在图5中进一步示例性描述)来对符号改变次数进行卷积：

$\mathrm{fs}\left(n\right)=\frac{g_s}{{\mathrm{\σ}}_s\sqrt{2\mathrm{\π}}}\·e^{-\frac{{(n-{\mathrm{\μ}}_s)}^2}{2{{\mathrm{\σ}}_s}^2}}---\left(2\right)$

函数fs()对特定符号改变频率下的时间失真提供更大的重视。使用g_s＝16、σ_s＝6和μ_s＝1.3可以实现良好的结果，但是其他参数设置也是可能的。该步骤的结果是映射

其中每个块(k，l)是从帧t开始对每个管中的失真梯度进行时间滤波的结果。

然后，可以通过以下等式来获得与帧t中的位置(k，l)处的块相关联的时间滤波后的失真梯度：

子模块FIXP执行固定蓄积，其中将映射VE_t,k,l ^tube和映射

进行组合，以获得最终的空间-时间失真映射

可以通过以下等式来计算这些映射：

参数α和β是依经验推导出的。例如，在α为1和β为3的情况下可以实现良好的结果。

如图5所示，模块POOL由2个子模块构成，即空间蓄积子模块SPOOL和时间蓄积子模块TPOOL。所述蓄积子模块执行以下步骤：

首先，使用明可夫斯基(Minkowski)求和公式，根据时间-空间失真映射来计算帧质量评分Q_t：

$Q_t={\left(\frac{1}{K\·L}\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\underset{l=1}{\overset{L}{\mathrm{\Σ}}}{\left({\stackrel{\stackrel{\‾}{\‾}}{\mathrm{VE}}}_{t,k,l}\right)}^{{\mathrm{\β}}_{\mathrm{\ρ}}}\right)}^{\frac{1}{{\mathrm{\β}}_{\mathrm{\ρ}}}}---\left(5\right)$

其中K和L分别是时间-空间失真映射的高度和宽度，即时刻t处的帧中的垂直和水平块数，β_p是明可夫斯基指数。

然后，根据视频的每个帧质量评分Q_t来计算最终的视频质量评分VQS。最终的VQS计算如下：

VQS＝Q+min(q₁·max(Δ_t)，q₂·Q)        (6)

其中Q是对视频中所有帧的Q_t的平均值，max(Δ_t)项表示沿序列的质量变化中的最大值，其中Δ_t是：

${\mathrm{\Δ}}_t=\mathrm{ads}\left(\frac{Q_t-Q_{t-m}}{p}\right)---\left(7\right)$

其中函数abs()返回其参数的绝对值。

在m＝2、p＝1、q₁＝1和q₂＝0.5的情况下可以实现良好的结果，但是其他参数设置也是可能的。

可以使用心理测量函数将客观质量评分VQS转换为预测的平均观察者评分(MOSp)。该心理测量函数由以下给出：

$\mathrm{MOSp}=\frac{b1}{1+e^{-b2\·(Q-b3)}}---\left(7\right)$

其中b1、b2和b3是心理测量函数的参数，这些参数是通过将数据库中分配给视频的平均观察者评分与针对相同视频计算得到的客观质量评分VQS进行比较来确定的。

客观质量评分VQS的范围在[0；1]之间，MOSp的范围在[0；6]之间。

相应的类别评级如下：

5为感觉不到；

4为可感知到但不恼人；

3为略微恼人；

2为恼人；

1为非常恼人。

例如在编码设备中，可以将本发明有利地用于评估视频质量，以将重构的视频与对应的视频源进行比较。

本发明还可以有利地用于对使用不同编解码器的编码设备的性能进行比较。

也可以在编码设备中使用根据本发明计算的感知误差映射来局部适配判决或定量步骤。

Claims (8)

1.一种用于对帧序列的失真版本的质量进行评估的方法，包括以下步骤：

a)通过将序列的最后一帧(I6)中的块(B6)与所述最后一帧的失真版本中的对应块进行比较来确定最后空间失真；

b)确定倒数第二帧(I5)中与所述最后一帧(I6)中的所述块(B6)最佳匹配的最佳匹配块(B5)；

c)通过将所确定的所述倒数第二帧(I5)中的最佳匹配块(B5)与所述倒数第二帧的失真版本中的对应块进行比较来确定倒数第二空间失真；

d)使用所述所确定的失真来确定与所述块相关联的空间-时间感知失真值，并使用所确定的空间-时间感知失真值来评估质量。

2.如权利要求1所述的方法，其中，使用所述所确定的空间失真包括：使用所述最后空间失真和所述倒数第二空间失真之间的第一失真梯度。

3.如权利要求2所述的方法，还包括：

e)确定倒数第三帧(I4)中与所述倒数第二帧(I5)中的所述最佳匹配块(B5)最佳匹配的另一最佳匹配块(B4)；

f)通过将所确定的所述另一最佳匹配块(B4)与所述倒数第三帧的失真版本中的对应块进行比较来确定倒数第三空间失真；

还使用所述倒数第三空间失真，其中，所述使用包括：使用所述倒数第二空间失真和所述倒数第三空间失真之间的第二失真梯度。

4.如权利要求3所述的方法，还包括：

对所述最后一帧之前的多个帧(I1、I2、I3、I4、I5)迭代地执行步骤e)和f)；

使用所确定的所有空间失真来确定所述空间-时间感知失真值，其中，所述使用包括使用连续帧之间的失真梯度。

5.如权利要求4所述的方法，还包括：

确定所述第一差值是否满足或超过阈值，

如果所述第一差值满足或超过阈值，则对另外多个帧继续迭代地执行步骤e)和f)。

6.如权利要求4或5所述的方法，还包括：

对所确定的连续失真梯度之间的符号改变次数进行计数；

确定所确定的失真梯度中的最大值；以及

使用所述符号改变的次数和所述最大值来确定所述空间-时间感知失真值。

7.如权利要求1或2所述的方法，还包括：

将所述最后一帧(I6)划分为分离的块；

针对每个所述分离块来确定空间-时间感知失真值；

使用所确定的空间-时间感知失真值来确定所述最后一帧的帧质量评分。

8.如权利要求7所述的方法，还包括：

确定帧序列中每一帧的帧质量评分；

确定所确定的帧质量评分的平均值；以及

使用所确定的平均值来分配所述质量。

Images