CN1720751A - 视频质量测量 - Google Patents

Abstract

在不参照原未压缩版本而直接从编码图像参数生成的情况下获得压缩视频信号的质量测量，由此不必对该压缩信号进行解码。从量化器步长中生成(3)第一测量并且将第二测量生成(10、11)为仅有一个变换系数NC的图像中的块的数量的函数。在414处组合两个测量。可以对基于步长的测量进行调整，以补偿空间掩蔽或时间掩蔽效果。

Description

视频质量测量

技术领域

本发明涉及视频质量测量，更具体地涉及在不参照原始未失真图像副本的情况下对图像质量进行评估。

发明内容

根据本发明的一个方面，提供了一种生成视频信号的质量测量的方法，所述视频信号已经通过采用可变量化器步长(quantiser step size)和二维变换的压缩算法进行了编码，使得编码后的信号包括量化器步长参数以及图像的多个块的变换系数，该方法包括：

a)生成作为所述量化器步长参数的函数的第一质量测量；

b)生成作为具有单个变换系数的块的数量的函数的第二质量测量；以及

c)组合第一测量和第二测量。

在另一方面中，本发明提供了一种生成视频信号的质量测量的装置，所述视频信号已经通过采用可变量化器步长和二维变换的压缩算法进行了编码，使得编码后的信号包括量化器步长参数以及图像的多个块的变换系数，该装置包括：

a)用于生成第一质量测量的装置，该第一质量测量是所述量化器步长参数的函数；

b)用于生成第二质量测量的装置，该第二质量测量是具有单个变换系数的块的数量的函数；以及

c)用于组合第一测量和第二测量的装置。

在权利要求中限定了本发明的其他方面。

附图说明

参照附图，通过示例对本发明的一些实施例进行说明，在附图中：

图1是用于测量所接收视频信号的质量的装置的一个示例的框图；

图2以曲线图的形式示出了量化失真的特性；

图3至6是显示测试结果的曲线图；

图7以曲线图的形式示出了系数幅度分布；以及

图8至14是显示其他测试结果的曲线图。

具体实施方式

原理上，所使用的测量处理可一般地应用到视频信号，其中该视频信号已经通过利用变换编码并具有可变量化器步长的压缩技术进行了编码。但是，将要说明的方案设计成使用符合MPEG-2标准进行编码的信号。(尽管要说明的方案基于MPEG-2视频编码，但也采用其他基于DCT标准的编码，例如H.261、H.263、MPEG-4(基于帧)等)。

该测量方法是非干扰性(non-intrusive)的或者“无参照”型的(即，不必访问原信号的副本)。此外，该方法的目的是在不必将所接收的信号解码为视频信号的情况下执行其测量；此外，该方法利用了包含在所接收的MPEG流中的参数。

在图1中所示的装置中，在输入端1接收输入信号并将该信号传送到VLC解码器以及数据解析器(data parser)2，数据解析器2对可变长度编码进行解码并输出以下参数：

(a)对于各图像：

图像类型PT(＝I，P或B)

(b)对于将图像划分成的各宏块(MB)：

宏块类型MT(例如，INTRA或INTER、略过的(skipped)、未编码的等等)

量化器步长Q

(c)对于宏块内的各块：

系数的数量Nc

系数C

运动矢量MV。

在该装置内有两个分析路径，分别用于评估信号的峰值信噪比(PSNR)以及信号的“不均质性(blockiness)”。可通过单独的硬件元件实现元件3至14，但更便利的实现是利用适当编程的处理器来执行所有这些阶段。

PSNR评估

其采用量化器步长Q。在经过一些调整(以下进行描述)之后，在3处使用调整后的步长Q_M来根据以下公式计算所评估的PSNR

$\mathrm{PSNR}=10\log \left[\frac{{255}^2}{\left(\frac{{Q_M}^2}{12}\right)}\right]=59-20\log Q_M$

以下将给出对该公式以及一更复杂的替选公式的推导。

所提到的调整指包括三个阶段：

阶段4：通过除以1.4来调整B图像的量化器步长。

阶段5：调整量化器步长以对空间掩蔽(spatial masking)效果加以考虑，采用空间复杂性因子X，该因子是通过对各块内的非零系数的数量N_C进行计数生成的并按如下方式分配X的值(阶段6)。

N_C＜3：X＝1

3≤N_C＜6X＝1.2

6≤N_C＜10X＝1.4

10≤N_C＜15X＝1.6

15≤N_C X＝1.8

之后(在阶段5)将调整值Q_X计算为

$Q_X=\underset{\mathrm{frame}}{\mathrm{\Σ}}\frac{Q}{X}$

注意，在此该几率是对这些值在整个帧上的求和。

接下来，考虑到时间掩蔽(temporal masking)进行另外的调整。利用运动矢量(阶段8)来推导对于整个帧取平均的运动振幅V(针对块类型进行调整—参见以下的详细说明)。

于是，调整后的Q为(阶段9)

$Q_M=\frac{Q_X}{{\log }_{10}(10+V)}$

注意，以上给出的PSNR计算公式假设量化器步长的均匀概率分布函数。尽管，对于INTRA块的DC系数来说这是个合理的假设，但对于其他系数则缺乏准确性。在以下讨论中导出非均匀概率分布的另选公式(公式(7))：如果使用该公式，则优选地根据帧的类型(I、P或B)转换pdf的参数α。注意(基于INTRA块的DC系数处于少数)对于所有系数应该优选使用公式7，并发现这在实际中表现出很好的结果。如果希望使用两种分布，则必须避免在阶段5对整个帧进行求和并且使用之后适合把Q值与不同pdf组合的PSNR公式。

不均质性评估

其最简单的方式是利用以下的事实：在INTRA编码的宏块内仅具有一个系数的块将会导致图像内出现不均质，并对帧内满足该标准的块的百分比进行计算。

因此在阶段10，将各块标记为b＝1(不均质)或b＝0(均质)，并且之后(阶段11)对这种块的数量N_DC进行计数，如编码块的总数量为N_T，并计算商B＝N_DC/N_T。

改进的不均质测量还可以考虑到以下事实：如果先前图像(解码器从其复制)在该位置上是不均质的，则所有系数为零的INTER编码的块也会导致不均质。因此，阶段10也可能通过延迟接收先前的b值(其持续时间对应于先前帧与编码后的帧之间的延迟，其将改变例如带有两个B帧的MPEG，对于各P帧将具有三个帧周期)。

在该情况下，阶段10的公式变成：

如果(MT＝INTRA和N＝1)或者(MT＝INTER和N＝0和b_-1＝1)，则b＝1；

否则b＝0。

(其中b_-1是相同块位置的先前帧的b值)。

组合

为了组合PSNR和不均质测量，首先需要将这些测量转换成相同标度上的测量(阶段12、13)。实现上述的简便方法是：通过将PSNR或B的可能范围划分为相同的等级，或者另选地利用基于观测试验的经验表，利用用于复杂性测量X的转换表，将这些测量转换成从例如0到9(0＝非常差，9＝非常好)的任意标度上的测量M_Q和M_B。

在得到在相同标度上的两个测量M_Q和M_B之后，将它们组合成单个测量。这样做的依据是：如果特定帧存在非常强的不均质性，则来自阶段14的输出测量M仅仅是不均质性测量M_B。如果相反地，该不均质性测量很低，则输出测量M_O是PSNR测量M_Q。

例如

如果M_B＞6则M_O＝M_Q

如果M_B≤6则M_O＝M_B

讨论

以下的讨论解释了上述方法的基本原理，给出公式的导出以及一些实验结果，并说明一些变化和改进。

其目的是为了显示在没有参照的情况下，如何能够从压缩位流中提取所需数据，并将该数据用作视频质量度量(VQM)。示出了VQM最重要的参数是量化器步长，其可每隔一个宏块(MB)提取。为了包括人类视觉系统，利用时空图像内容来修改该值。在此，根据编码MB的AC系数的数量来推导空间内容，并且根据运动矢量来推导时间活动。为了考虑对比灵敏度，在该图像中，也可以使用经INTRA编码的块的DC系数。最后，在严重失真的情况中，可提供图像不均质性(其为明显失真)。通过在全部编码块上提取具有DC的INTRA编码块的百分比作为块内的唯一的非零系数来实现上述操作。利用略过的和未编码的MB的数量调制该值，以提高检测的可靠性。这些都是从压缩位流中提取的。

当前，在三个主要类型中实施视频质量的客观测量：全参照、缩减参照(reduced-reference)和无参照模型。据认为：无参照模型具有比其他两种更简单并且最有可能用于质量评估或者对整个网络进行监视的巨大潜力(其中对参照数据(全参照或缩减参照)的访问昂贵并且不太可能)。因此，在不牺牲其评估准确性的情况下，如何降低无参照模型的处理复杂度是至关重要的。

简化无参照模型复杂性的一个方法是：直接从位流中提取模型参数，而不对图像全部进行解码。事实上，当前无参照模型中的大部分是对解码后的图像进行操作，以提取所需要的模型参数。因此，无参照模型的这两种方法的相对简单程度或处理效率可以是各方案下所需的各个处理操作的量。

一般地，无参照模型参数包括：运动、空间或环境细节、边界、对比灵敏度等。从解码图像中生成上述中的每一个可能涉及繁重的处理。例如，在编码器上对运动矢量的评估通常用掉编码器的大约60％的处理功率(注意，编码器可测试各种运动评估模式，而作为对速度的测量，仅一种模式就足够，因此该百分比可小于60％，但仍然会很高)。考虑到视频编码器比视频解码器多3-5倍的处理需求，因此可以认为仅运动评估就可能比解码图像多2-3倍的处理需求。因此在解码图像上对无参照模型参数(即，运动、空间或环境细节、边界、对比灵敏度、不均质)的推导可能比解码图像多几倍(例如5倍)的处理需求。精确的比率取决于上述各个的执行可能的复杂度。

另一方面，从位流中导出模型参数、考虑到所需信息已经插入到位流中，可以是解码图像所需处理的一部分。在此，需要的是反转VLC(使用查找表，非常快)，其是解码图像的非常小的部分。因此从位流中提取模型参数的复杂性与从解码图像中导出模型参数的复杂性相比非常地微乎其微(例如5-10％或更低)，并且所提出的方法可用于以边际成本对视频质量进行在线监视。

在图像质量评估的全参照模型中，通常使用编码失真或峰值信噪比(PSNR)。尽管可以认为：PSNR不能准确代表人对图像质量(失真)的感知，但却是非常强的指标。事实上，所有已知的全参照模型多少都利用原图像和处理后的图像之间的差异(失真)，来导出一些其他可感知方面优化的参数。

现在如果假设PSNR可以是质量指标，则问题是：在没有任何参照图像的无参照模型中，可以使用PSNR作为对质量(失真)的测量。参见定义PSNR的方法，可以更清楚能够使上述实现。

在全参照模型中，将PSNR定义为：

$\mathrm{PSNS}=10\log \left[\frac{{255}^2}{{\mathrm{\ϵ}}^2}\right]$

在该公式中，ε²是原图像与处理后的图像之间的均方差。如果编码失真仅仅因为量化失真(在视频编码中的情况)，则在均方差ε²与量化器步长Q之间存在直接关系。例如，对于均匀分布的信号，利用量化器步长Q，要图2中示出了均方量化失真，其中(a)示出了量化失真的分布以及(b)示出了量化范围内的系数的概率密度函数。

计算平均失真为：

${\mathrm{\ϵ}}^2=\frac{1}{Q}\underset{-Q/2}{\overset{Q/2}{\∫}}{x}^2\mathrm{dx}=\frac{Q^2}{12}$

因此，可以根据量化器步长Q将PSNR(单位dB)定义为：

$\mathrm{PSNR}=10\log \left[\frac{{255}^2}{\left(\frac{Q^2}{12}\right)}\right]=59-20\log Q---\left(1\right)$

应该注意到，在视频编码器中，采用量化来变换系数，但是所测量的失真在原像素和编码像素之间。然而，由于DCT变换式是线性运算符(出于Parseval定理)，因此变换能量和像素域是相等的(依据前向和后向变换中变换系数的换算，通过一常数因子而改变)。

图3针对2Mbit/s下的测试序列“New York”对所测得的PSNR与利用公式(1)(即，假设均匀pdf)根据量化器步长计算的PSNR进行比较。如所看到的，尽管对模式的近似非常粗糙，但所计算的PSNR非常接近于所测得的PSNR。然而，所测得的PSNR是稳定并且平滑的，但所计算的PSNR在锚(I，P)图像和B图像的值之间振荡。为了对该现象进行分析，图4示出了更精细标度下的该序列的一些帧。该图显示出对于B图像，所计算的PSNR小于所测得的值，而对于P和I图像情况相反。在1.5Mbit/s下，对于相同序列如图5和6中所示，量化器步长越大(比特速率越低)该差异就越大。

当然，并不期望两种方法应该给出完全相等的值。但是，针对B图像所计算的PSNR值小于针对I和P图像所计算的值而它们的测得值几乎相等的原因在于两个因素。首先，对系数的均匀量化失真的假设是不正确的。具有几乎均匀pdf的唯一的系数是INTRA编码块的DC系数。因此，对于具有非均匀幅值分布的均匀的I图像的AC系数，利用1/Q的已知非均匀密度函数f(x)而不是均匀分布，将有利地修改公式(1)。

注意，尽管系数分布是非均匀的，但非均匀的程度会因图像类型的不同而不同。在B图像中，由于系数运动补偿，分布非常陡，并且大多数系数接近零。这也应该优先地加以考虑。

其次，在编码器上，出于以下两个原因故意地将B图像的量化器步长增大。第一，如所看到的，对B图像进行了有效的运动补偿，因此不管量化器步长的值是多少，B图像通常都挺小，但是当B图像很大要进行编码时，则如果对B图像进行比较粗糙地量化则不会产生任何影响。第二个原因是由于编码器的预测环(prediction loop)不使用B图像，因此即使B图像发生失真，该失真也不会被传播到以下的图像。对于I和P图像情况不是这样，由通过其粗糙量化的任何比特保存都必须在以后进行偿还。

现在考虑：在假设非均匀密度函数的情况下对所评估的PSNR的计算。由于量化导致的实际均方差应该是

${\mathrm{\ϵ}}^2=\underset{-Q/2}{\overset{Q/2}{\∫}}f\left(x\right)x^2\mathrm{dx}---\left(2\right)$

为了导出该积分的闭合解(closed solution)，假设系数为非均匀分布类型

$f\left(x\right)=\frac{\mathrm{\β}}{1+\mathrm{\α}\left|x\right|}---\left(3\right)$

其在图7中示出。

其中，α是密度函数的衰减速率并且β是加权因子，确保将pdf归一化为1。即

$\underset{-Q/2}{\overset{Q/2}{\∫}}f\left(x\right)\mathrm{dx}=1$

因此根据α可求得β

$\underset{0}{\overset{Q/2}{\∫}}\frac{\mathrm{\β}}{1+\mathrm{\αX}}\mathrm{dx}=1$

得出 $\mathrm{\β}=\frac{\mathrm{\α}}{2\ln (1+\frac{\mathrm{Q\α}}{2})}---\left(4\right)$

利用该非均匀pdf，均方差为：

${\mathrm{\ϵ}}^2={\∫}_{-Q/2}^0\frac{\mathrm{\β}{x}^2}{1-\mathrm{\αx}}\mathrm{dx}+{\∫}_0^{Q/2}\frac{\mathrm{\β}{x}^2}{1+\mathrm{\αx}}\mathrm{dx}=2{\∫}_0^{Q/2}\frac{\mathrm{\β}{x}^2}{1+\mathrm{\αx}}\mathrm{dx}$

令ax＝u可简化该积分，则

${\mathrm{\ϵ}}^2=\frac{2\mathrm{\β}}{{\mathrm{\α}}^3}\∫\frac{u^2}{1+u}\mathrm{du}$

在简单的运算和积分之后，得到：

${\mathrm{\ϵ}}^2=\frac{2\mathrm{\β}}{{\mathrm{\α}}^3}{[\frac{1}{2}{(u-1)}^2+\ln (u+1)]}_0^{\mathrm{Q\α}/2}---\left(5\right)$

用公式(4)代换积分极限和β值，均方失真的值为

${\mathrm{\ϵ}}^2=\frac{1}{{\mathrm{\α}}^2\ln (1+\frac{\mathrm{Q\α}}{2})}[\frac{Q^2{\mathrm{\α}}^2}{8}-\frac{\mathrm{Q\α}}{2}+\ln (1+\frac{\mathrm{Q\α}}{2})]---\left(6\right)$

以及该失真的PSNR为：

$\mathrm{PSNR}=48.13-10\log \left\{\frac{1}{{\mathrm{\α}}^2\ln (1+\frac{\mathrm{Q\α}}{2})}\right[\frac{Q^2{\mathrm{\α}}^2}{8}-\frac{\mathrm{Q\α}}{2}+\ln (1+\frac{\mathrm{Q\α}}{2})\left]\right\}---\left(7\right)$

图8针对1.5Mbit/s下的New York序列，对具有该测得值的新PSNR与具有均匀密度函数的PSNR进行比较。在该图中，对于所有图像类型假设α＝1，这不是理想的选择，但为了简便选择该值。实际中对于不同类型图像应该选择不同的α，并且对于各种类型要适合所测得的PSNR。对于越低的比特速率(所期望的量化器步长越大)该值也应该越大。

图9示出了更精细标度上的PSNR。如所看到的，尽管符合得很好，但仍然存在一些振荡。即所计算的B图像的PSNR与P和I图像相比显示出一些倾斜(dip)。

该振荡是由于编码器选择了与I和P图像的量化器步长相比更大的B图像的量化器步长。通过复杂度指数将其应用于编码器的比特速率分配算法，向B图像分配减少了1.4因子的更少的比特。因此由于所分配的比特减少了1.4，所以B图像的量化器步长Q_B提高了该因子1.4。因此，在PSNR计算中，将它们除以1.4，如图1中的步骤4已经描述的那样(注意，如果Q_B已经达到其饱和值112，则不应该进行相除，因为在此差的图像质量上，I和P图像的量化器步长可能也已经饱和)。

图10将具有修改的B图像量化器步长的非均匀分布的PSNR与测量值进行比较。如所看到的，PSNR现在更加平滑，并且图11中显示出其在更精细标度上的变化。

因此，至今已示出了量化器步长能够以与参照模型中的均方差(PSNR)相似的方式产生作用。由于认为均方失真应该考虑到人类视觉系统对更可靠的质量度量的反应，因此无参照模型也应该这样。以下示出如何能够从压缩位流中提取无参照模型的所需参数。

观测者在图像的细节区域或者边缘附近容忍了更多的失真。将这称为人类视觉系统的空间掩蔽。因此能够由空间细节的数量来分解量化器步长对这些区域上的图像质量的影响。

从位流中还可以导出图像细节或空间复杂度。这可通过对位流中各编码块的非零量化系数的数量进行计数来实现。这是因为，图像中的空间细节越高，则图像能量在系数之间分布得就越广。

通过对横向、纵向和对角线方向中的各方向上的量化的非零系数中的多数进行检查也可以确定这些方向的边缘。

应该提到，该方法的可靠性到达一定程度，但在更高的量化器步长则丧失其优势。不过，对于视频质量度量，这并不重要，这是因为在更高的量化器步长处，图像变得不均质，并且图像的不均质性变成显著质量(失真)指标，这在以下将详细说明。

在实验中，将各宏块的量化器步长Q除以空间复杂性因子X(该因子X是从非零编码系数的数量中导出的)。例如X可以是1.2、1.4和1.6。如果按Z字形扫描顺序各块的非零系数的数量分别小于3、6、10或15，则反而为1.8(这是个近似值：寻找适当值的更复杂的方法是考虑MB类型，由于在INTRA MB中，与INTER MB相比对各块的更多系数进行编码)。因此，至此图像的质量度量为该图像内的该修改的量化器步长的平均值。

$Q_X=\underset{\mathrm{frame}}{\mathrm{\Σ}}\frac{Q}{X}---\left(8\right)$

对图像的视觉质量和各图像的Q_x之间的粗略的主观比较显示出非常强的关联性。这通过相对于各图像的Q_x曲线图、利用指向编码帧的指针运行一段编码视频(遗憾的是其仅显示I图像)来实现。

类似于空间掩蔽，依据运动量(时间掩蔽)，失真对象的运动可能具有不同的表现。可提取出位流中的运动矢量并将其用作图像中的运动的量规。已经使用过该运动大小，针于各宏块(MB)定义：

$V=\sqrt{v_x^2+v_y^2}---\left(9\right)$

并且之后将其在整个帧上进行平均化，以将其用作为针对各图像的运动量的指示。在从位流中导出运动大小的过程中，要仔细考虑图像类型。例如，由于P图像中的运动矢量指先前的锚图像，因此之后应将这些图像的大小除以3(已经使用M＝3、N＝2的GoP格式，即这些锚图像是以3帧分隔并且I图像的周期是12帧)。在B图像中，对于B₁图像，前向运动矢量直接使用但后向运动矢量的大小应该除以2。对B₂图像的应用正好相反。当然对于I图像将不存在任何运动矢量，但这并不表示I图像没有任何运动。

在该实验中，作为该序列的运动指标，刚使用过从P图像中导出的运动大小。这很不错，因为运动的变化比帧速率要慢得多，并且P图像的帧速率可用于序列中的其他帧。注意，在场景切换(scene cut)处，将不存在P图像的任何运动矢量。因此，从位流中检测场景切换的方法是非常需要的。这将在下面进行详细说明。

找到运动值，之后的问题是如何将其用于修改视频质量度量。看如何使用的最好的方法在于全参照模型。在实验中，已经使用过依据运动强度来降低失真的影响的简单模型。这并非最优模型，因为某些失真(如边缘上的不均质性和失真)可能在比中速更高速下更具有可见性。

在我们的模式中，考虑量化器步长、空间和时间掩蔽，至此将质量度量QM定义为：

$\mathrm{QM}=\frac{Q_x}{{\log }_{10}(10+V)}---\left(10\right)$

其中Q_X是各帧的空间修正的平均量化器步长以及V是各帧的运动大小。

以1.5和2Mbit/s相对于“Scorpion”序列的质量度量(QM)曲线运行一段视频(图12中所示)显示出强关联性。

与中间范围相比，观测者能够容忍图像的较暗区和较明区处的更大失真。将这认为人类视觉系统的对比灵敏度。因此，可以使用帧内的像素的平均强度来修正质量度量指标，以补偿对比灵敏度。

各INTRA编码块的DC系数代表该块内量化像素的DC或平均值。因此提取I图像的DC系数(其中所有块都是intra编码的)可指示出I图像的总亮度。当然这不能应用到P和B图像，因为两者主要是预测性编码的。但是，如运动，由于图像暗度不会很快改变，因此I图像的暗度可足以代表图像组(GoP)中的全部图像。

注意，提取I图像中的DC值应该谨慎执行。事实是在多数情况下DC系数是根据其相邻DC值从空间上预测的，因此应该对其适当解码。但是，这并不意味着逆变换所述系数，而是加到其预测的DC系数。

现在转向以低比特速率或以更大的量化器步长进行的“不均质性”检测，图像变得不均质。尽管量化器步长对图像不均质性负有责任，但其不能将其直接用作不均质性指标。例如，尽管在图像的平坦区域内，一些小量化器步长可能显示出图像不均质性，但在细节区域内，即使适当加大的量化器步长可能也不显示任何不均质性，虽然能够去掉一些图像细节。

对于指示图像是否不均质的压缩位流，必须知道图像为什么变得不均质。

一般地，图像不均质性取决于MB类型。如果宏块是INTRA编码的，则如果DC系数是该块的唯一非零系数，则这样的解码块会显得不均质。这是因为，根据单个值(DC)对块的所有8×8＝64个像素进行重构并且所有像素都将相等。另一方面，如果对更多系数进行编码，则该块内的像素值将彼此不同并且该块不显得不均质。因此，假如块仅具有DC系数并且所有AC系数为零，则所有图像类型的INTRA编码的块可导致出现不均质性。

注意，仅有一个DC系数的(P和B图像的)INTER编码的块可能不会导致不均质性。这是因为，即使该块的重构帧差可能具有相同值，但当加到其预测块时(假如该预测块并非不均质)，则所重构的像素不会显得不均质。不均质性也可能以其他MB类型生成。这当然取决于图像。例如在P图像中，非编码MB将所有系数设定为零(cbp＝0)，但运动矢量是非零的。在该情况中，在解码器上将MB的所有16×16个像素从先前帧复制过来，由运动矢量替代。由于帧与帧之间运动矢量的值和方向发生变化，因此这些块的复制在MB边界周围生成一些边缘，使图像显得不均质，尽管这种类型的不均质性比上述一种的干扰小。

在P图像中，略过的MB也可能导致不均质。在这些图像中，如果MB中的所有量化系数为零(cbp＝0)，而且运动矢量也为零，则略过MB(除了片段中的第一和最后MB以外，其将视为非编码的)。解码器对这些MB不进行操作，因此图像的这些部分不更新(直接从先前帧复制过来)。因此，如果在该位置上先前图像是不均质的，则该不均质性会传递到当前图像。

在B图像中，非编码的和略过的MB与P图像的不同。在该图像类型中，略过的MB不仅cpb＝0，而且必须具有其相邻MB的相同的运动预测(相同的运动值和预测方向)。因此，该类型的解码MB从先前帧复制MB的16×16个像素，由一些运动矢量替代，由此产生不均质性。B图像中的非编码MB是cpb＝0的MB，但预测方向或其运动矢量与其紧邻的MB的不同。因此非编码MB也可能导致不均质性。

应该注意，即使具有非零编码块图案(cbp)的MB的非编码块(所有系数为零的块)也可导致不均质性。这是因为，对于这些块，从先前帧复制像素，并且如果帧与帧之间运动矢量指向不同方向，或者当先前块本身不均质时，则这些块可能显得不均质。

总之，所有类型的宏块都可能导致不均质。但是，如果预测图像是不均质的则略过的和非编码的MB可以导致不均质性，否则它们不会引起任何问题。必定导致不均质的唯一情况是在块内仅有一个非零系数(其必须是DC系数)的INTRA编码的MB。因此，更可靠的不均质检测方法是查找INTRA编码的MB类型，并且如果其块中的任何一个仅有DC系数(所有AC系数为零)，则将MB标记为不均质。之后将仅有DC系数的INTRA编码的块占编码块(inter和intra)的总数的百分比定义为不均质性的度量。为了考虑略过的和非编码的MB对不均质性的影响，对帧内所有MB的不均质性状况进行记录并且在帧与帧之间进行更新。因此，如果在帧N处，MB为略过的或非编码的，假如在帧N-1内其是不均质的，则称其现在是不均质的。当对MB编码时，其不均质性状况改变，当然如果其INTRA编码的块中任何一个仅有DC系数则保持不均质。因此应该相应地重新计算不均质的总百分比。但是，由于没有实施略过的和非编码的MB对不均质的影响，因此可以考虑仅有DC系数的INTER和INTRA编码块的总和。包括INTER编码的块在内，在一定程度上可补偿略过的和非编码的MB的缺少。

图13绘制了以1.5和2Mbit/s编码的“Scorpion”序列的不均质性。在该图中还没有考虑略过的和非编码的MB的影响，但相反地考虑了仅有DC系数的inter和intra编码块的总和。主观上，该图像在1Mbit/s的整个序列是不均质的。在2Mbit/s下，图像中没有不均质性。在1.5Mbit/s下，图像在中间位置是不均质的，在其他部分内是非不均质的。这些全部与不均质性指标一致，如图13中所示。

注意，在该曲线图中，没有考虑略过的和非编码的MB的影响。可以考虑它们，因为如果在P和B图像中有太多略过的和非编码的MB(发生在更低比特速率下)，则这些图像不能具有太多INTRA编码的MB。这将降低用于这些图像的检测器的可靠性。略过的和非编码的MB的百分比越大，则检测器的可靠性就越小。

场景变化(切换)可影响到图像的主观质量，进而影响到质量度量模型。例如，由于场景切换，新场景的平均亮度可能与先前场景的非常不同。在场景切换处运动观念也会改变，并且存在一些其他效果。对于P图像，由于在场景切换处MB主要是INTRA编码的，因此减少了inter编码的Mb的数量以及各P图像的运动矢量，可能会导致错误的运动强度测量。

事实是场景切换也可以从位流中检测。但是，检测机理取决于图像类型。考虑到根据图像首部获知图像类型，之后可通过以下方式来检测各种图像类型的场景切换。

在P图像中，通过计算INTRA编码的MB的百分比可靠地检测到场景切换。这是因为，在场景切换处，帧差信号能够具有比intra MB更大的能量，因此编码器通常以INTRA模式对其进行编码。

在B图像中，必须查看前向的、后向的以及内插的运动矢量的百分比。这是因为，当在B图像处发生场景切换时，该图像属于新场景并且运动矢量的大多数将是后向的(它们指向以后的锚图像)。更重要的是，内插的运动矢量的数量将很小，或者可能无。因此检测到场景切换的确定性测量将是后向对前向运动矢量的比值。它们在该图像内的百分比对于后向的必须非常高，而对于前向的非常小(尤其是内插的)。

甚至可确定在第一或第二B图像内是否发生场景切换。可通过对两个B图像的前向和后向运动矢量的比值进行联合比较来实现。即，如果两个B图像主要具有后向运动矢量，则表示两个B图像属于新场景。因此场景切换应该出现在第一B图像中。另一方面，如果一个图像主要具有前向运动矢量(为第一图像)并且另一个图像主要具有后向运动矢量，则场景切换应该出现在第二B图像中。发生上述情况是因为第一B图像属于旧场景而第二B图像属于新场景。

在I图像处甚至能够检测到场景切换。要这样做必须查看其两个先前B图像的前向/后向运动矢量的百分比。如果在I图像处出现场景切换，则其两个先前B图像的运动矢量的大多数将是前向的。因此，如果两个B图像主要具有前向运动矢量，则在以后的锚图像(其可以是P或I图像)中存在场景切换。该信息加上图像类型将确定在I或P图像中是否已经出现了场景切换。可将先前提到的P图像处检测场景切换的方法(INTRA编码的MB的百分比)与此方法结合，以提高检测P图像上的场景切换的可靠性。

从压缩位流中检测场景切换有利于时间掩蔽的精确性。例如，已知在场景切换处P图像主要是INTRA编码的，因此P图像位流内将没有足够的运动矢量要用于时间掩蔽。但是，检测其是场景切换，之后可能会忽略该图像的运动矢量的提取并使用先前值。

图14示出了1.5和2Mbit/s下的Scorpion序列的P图像的(I图像不具有任何)略过的和非编码的宏块的总和数量。为了进行说明，其他图像类型重复使用该数字。检查该曲线图揭示出，首先，这些值本身不能确定不均质性，但其数量非常重要，能够影响到不均质性检测器的精确性(即，取决于先前帧的多少百分比是不均质的)。其次，如在所有比特速率下所看到的，在场景切换的218附近的帧处该数量明显下降。因此，在P图像中，小数量的略过的和非编码的MB可作为场景切换的指示。

可通过各种形式实现视频质量度量(VQM)。一种方法是将不均质性(作为基于编码器的块的主要失真)与其他失真分开。如果不均质性较强，则视频质量(失真)仅由不均质性的强度来确定。另一方面，对于较高质量视频，使用感知模型。

量化器步长是感知模型的主要参数。优选地，由图像中的空间、时间活动和对比灵敏度参数修正为质量指标。

可为各帧导出不均质性和感知指标。所得值可用于视频质量的持续监视。对于视频片段(例如10秒长)，可将单位帧质量指标集成以代表视频质量的单个值。可将该值与主观测试结果进行比较，以证明模型的有效性。

Claims (17)

1.一种生成视频信号的质量测量的方法，该视频信号已利用采用可变量化器步长和二维变换的压缩算法进行了编码，使得所述编码后的信号包括量化器步长参数以及用于图像的块的变换系数，所述方法包括：

a)生成第一质量测量，所述第一质量测量是所述量化器步长参数的函数；

b)生成第二质量测量，所述第二质量测量是具有单个变换系数的块的数量的函数；以及

c)组合所述第一测量和第二测量。

2.根据权利要求1所述的方法，其中将所述第二质量测量确定为被确定为不均质的块的数量的函数，

(i)其中如果在没有参照所述图像的先前帧的情况下已经对块进行了编码并且所述块只有一个变换系数，则将所述块定义为不均质的；并且

(ii)其中如果通过参照所述图像的先前帧对块已经进行了编码并且所述块不具有变换系数，则将所述块定义为不均质的，并且各个先前图像的对应块也定义为不均质的。

3.根据权利要求1或2所述的方法，包括对所述第一测量进行空间掩蔽调整，所述调整是空间复杂度因子的函数，所述空间复杂度因子被计算为各编码块的非零变换系数的数量的函数。

4.根据权利要求1、2或3所述的方法，用于通过利用采用运动补偿的压缩算法进行编码的信号，使得所述编码后的信号还包括运动矢量，所述方法包括对所述第一测量进行时间掩蔽调整，所述调整是各编码块内的运动矢量的函数。

5.根据权利要求1至4中的任一项所述的方法，其中组合所述测量的步骤包括：

a)将所述第一测量和第二测量转换成共同标度；

b)如果所述第二测量代表比阈值差的图像质量，则输出所述第二测量；并且

c)否则的话，输出所述第一测量。

6.一种生成视频信号的质量测量的方法，所述视频信号已经利用采用可变量化器步长和二维变换的压缩算法进行了编码，使得所述编码后的信号包括量化器步长参数和用于图像的块的变换系数，所述方法包括：

a)生成质量测量，所述质量测量是所述量化器步长参数的函数；

b)对所述测量进行空间掩蔽调整，所述调整是空间复杂度因子的函数，所述空间复杂度因子被计算为各编码块的非零变换系数的数量的函数。

7.一种生成视频信号的质量测量的方法，所述视频信号已经利用采用可变量化器步长和二维变换的压缩算法以及运动补偿进行了编码，使得所述编码后的信号包括量化器步长参数和用于图像的块的变换系数以及运动矢量，所述方法包括：

a)生成质量测量，所述质量测量是所述量化器步长参数的函数；

b)对所述测量进行时间掩蔽调整，所述测量是各编码块内的所述运动矢量的函数。

8.根据权利要求7所述的方法，包括对所述测量进行空间掩蔽调整，所述调整是空间复杂度因子的函数，所述空间复杂度因子被计算为各编码块内的非零变换系数的数量的函数。

9.一种生成视频信号的质量测量的方法，所述视频信号已经利用采用二维变换的压缩算法进行了编码，使得所述编码后的信号包括用于图像的块的变换系数，所述方法包括：

生成质量测量，所述质量测量是具有单个变换系数的块的数量的函数。

10.一种用于生成视频信号的质量测量的装置，该视频信号已利用采用可变量化器步长和二维变换的压缩算法进行了编码，使得所述编码后的信号包括量化器步长参数以及用于图像的块的变换系数，所述装置包括：

a)用于生成第一质量测量的装置(3)，所述第一质量测量是所述量化器步长参数(Q)的函数；

b)用于生成第二质量测量的装置(10、11)，所述第二质量测量是具有单个变换系数的块的数量的函数；以及

c)用于组合所述第一测量和第二测量的装置(14)。

11.根据权利要求10所述的装置，其中将用于生成所述第二质量测量的装置设置成产生一测量，所述测量是被确定为不均质的块的数量的函数，

(i)其中如果在没有参照所述图像的先前帧的情况下已经对块进行了编码并且所述块只有一个变换系数，则将所述块定义为不均质的；并且

(ii)其中如果通过参照所述图像的先前帧对块已经进行了编码并且所述块不具有变换系数，并且各个先前图像的对应块也已经被定义为不均质的，则将所述块定义为不均质的。

12.根据权利要求10或11所述的装置，包括：用于将空间复杂度因子(X)作为各编码块的非零变换系数的数量的函数来进行计算的装置(6)；以及，可操作以对所述第一测量进行空间掩蔽调整的装置(5)，所述调整是所述空间复杂度因子的函数。

13.根据权利要求10、11或13所述的装置，用于通过利用采用运动补偿的压缩算法进行编码的信号，使得所述编码后的信号还包括运动矢量，所述装置还包括可操作以对所述第一测量进行时间掩蔽调整的装置(8、9)，所述调整是各编码块内的所述运动矢量的函数。

14.根据权利要求10至13中的任一项所述的装置，其中所述用于组合所述测量的装置包括：用于将所述第一测量和第二测量转换成共同标度的装置(12、13)；以及，可操作以执行以下操作的装置(14)，如果所述第二测量代表比阈值差的图像质量，则输出所述第二测量，否则输出所述第二测量。

15.一种用于生成视频信号的质量测量的装置，所述视频信号已通过利用采用可变量化器步长和二维变换的压缩算法进行了编码，使得所述编码后的信号包括量化器步长参数以及用于图像的块的变换系数，所述装置包括：

用于生成质量测量的装置(3)，所述质量测量是所述量化器步长参数(Q)的函数；

用于将空间复杂度因子(X)作为各编码块的非零变换系数的数量的函数进行计算的装置(6)；以及

可操作以对所述测量进行空间掩蔽调整的装置(5)，所述调整是所述空间复杂度因子的函数。

16.一种用于生成视频信号的质量测量的装置，所述视频信号已经利用采用可变量化器步长和二维变换的压缩算法、以及运动补偿进行了编码，使得所述编码后的信号包括量化器步长参数和用于图像的块的变换系数以及运动矢量，所述装置包括：

用于生成质量测量的装置(3)，所述质量测量是所述量化器步长参数的函数；和

用于对所述测量进行时间掩蔽调整的装置(8、9)，所述调整是各编码块内的所述运动矢量的函数。

17.根据权利要求16所述的装置，包括：

用于将空间复杂度因子(X)作为各编码块的非零变换系数的数量的函数来进行计算的装置(6)；和

可操作以对所述测量进行空间掩蔽调整的装置(5)，所述调整是所述空间复杂度因子的函数。

Images