CN101222631A

CN101222631A - 在视频压缩系统中选择量化器值的方法

Info

Publication number: CN101222631A
Application number: CN200710305757.1A
Authority: CN
Inventors: K·辛格; P·G·怀特; M·P·康普顿
Original assignee: Tandberg Television AS
Current assignee: ERISSON
Priority date: 2006-12-21
Filing date: 2007-12-21
Publication date: 2008-07-16
Also published as: US8189663B2; US20080165845A1; GB0625610D0; GB2444991A; EP1988718A3; EP1988718A2

Abstract

本发明公开了一种获得用于视频压缩的图像的宏块的量化值的方法，包括：根据所有量化编码系数的总和为多个量化值估算图像的大小(11)。假定在宏块的大小和宏块的活动性之间的线性关系(12)，其中宏块的活动性是丢弃任何系数或量化剩余系数之前的宏块里的编码系数的数目。依据他们的活动性级将宏块划分成组(13)以便在每个组里具有基本上相同数目的预先量化系数。确定每个组的平均活动性(14)。利用预先确定的比特速率，根据在每宏块的多个比特和宏块的活动性之间的假定线性关系以及所述组的平均活动性为每个组确定量化值(15)。

Description

在视频压缩系统中选择量化器值的方法

技术领域

本发明涉及一种在视频压缩系统中选择量化器值的方法。

背景技术

视频压缩系统使用各种技术以便减少传送电视信号所需要的比特率。这些技术是对全部图像或帧的邻接序列的分组，其中根据在序列里的特定关键图像执行编码，并将序列中除这个关键图像外剩余的图像进行预编码。序列里的这种参考图像称为帧内图像(Intra picture)，并是在诸如由ISO/IEC运动图像专家组(MPEG)以及ITU-T视频编码专家小组(VCEG)的连接视频小组(JVT)定义的那些视频压缩系统里的图像组(GOP)里的第一编码图像。

通常，使用两个类型的预测图像：根据从关键图像的一个瞬间的方向，向前或向后预测的P图像，以及通过从前后方向内插编码的B图像。由于预测图像(P图像)以及双向预测图像(B图像)依赖帧内图像(I图像)，因此以有效方法并基本上避免任何假象的方式编码这些帧内图像是必不可少的。为了方便而有效的处理，每个图像被分成大小通常是16×16像素的像素阵列集合，并叫做宏块(MB)，在典型图像编码标准的语法里，其被分别地分配某些参数，其中一个是量化参数(Qp)或量化器值，其定义在MB里应用的量化程度。为每个宏块(MB)选择适当的量化器值，Qp，在帧内图像里避免假象中扮演重要角色。Qp值是一个容易量化的低值并导致更多比特被分配以编码给定的MB，并因此增加传输比特率以及维持好的图像质量。相反地，Qp的较高值使量化更粗糙，并导致用于编码的比特更少，以及降低比特率，而且导致削弱图像质量的可能性更高。

为选择量化器值必须考虑多个因素。

假象在低活动性区里比在高活动性区里更明显，因此优选基于MB的活动性选择量化器值。活动性(Activity)可以定义为在包括MB的像素值之中的变化程度，可例如通过最大到最小像素值的比值或任何其它适当的空间或时间域统计度量来测量。然而，在编码处理期间，当在每个MB阵列里的MB像素值从空间域变换到变换域的时候，产生系数阵列，它的值表示图像数据的频域分析。在熵编码的某一形式以前，在压缩过程里，一些系数被丢弃以及其余系数被量化到由通过参数Qp表示的速率控制机构确定的程度。此后将用于每个MB的结果数据放置在编码器缓冲存储器中。因为来自变换域的这一数据是被传输的实际数据流，因此使用取代每个完整图像的这一数据的某一统计测量值而不是在空间域里采用的测量值是有利的。一个合适以及便利的测量值是在每个MB里所有编码系数的标准化总和；当在量化阶段以前计算的时候，即在丢弃任何系数或量化其余系数之前，这个参数表示所谓的MB的活动性(Activity)。这种标准化可以在整个图像上执行以及包含累加用于每个MB的所有系数值以及将这个数目除以由图像中的所有MB使用的系数值的平均数。依据这种活动性测量，具有大量细节，即在像素振幅里有大的变化或具有许多具有边缘的对象等等的MB将具有相对大的活动性，而具有少数边缘，少数对象以及小型像素值变化的MB将具有低活动性。鉴于这个处理主要在像素值的亮度分量和他们的变换域上的亮度分量上执行，所述处理也可以在计算整个活动性值时考虑色度分量。然后以类似合并的亮度分量和他们的活动性值的方式处理两个色度分量，例如通过在标准化之前或者之后直接添加它们到亮度的那些分量。因为任何一个色度信道里的数据量一贯地小于亮度信道里的数据量，因此需要校正因数来调节色度活动性值，其因此能通过标准化亮度和两个色度活动性值的适宜地加权和来产生整个值或者交替地通过单个标准化值的加权和来与亮度的活动性值结合。加权可以把由亮度和色度生成的不同数据量考虑在内。

·在给定MB的量化器值和类似活动性的相邻MB的量化器值之间的差异不应该过大，不然MB边界将明显。

·应该选择量化器值以便给相同活动性级的MB分配相同量化器值。例如，在恒定活动性的图像里的对象应该具有恒定量化器值穿过它们或所述边界(在量化器值之间)将变得明显。

·必须选择量化器值以便可以利用有限数目的比特编码图像。

发明内容

因此在内部帧被完全地编码以前，需要一种满足这些要求的用于选择量化器值的方法。

依照本发明，提供一种获得用于视频压缩的图像的宏块的量化值的方法，包括如下步骤：根据所有编码系数的总和为多个量化值估算图像的大小；假定在宏块的大小和所述宏块的活动性之间的关系；依据活动性将宏块划分成组；确定每个组的平均活动性；以及利用预定比特率，根据在每一宏块的比特数以及所述宏块的活动性之间的关系和所述组的平均活动性为每个组计算量化值。

优选的是，估算图像的大小包括利用包含简单变换、量化以及可变长度编码的简化的编码处理。

方便地，利用简化的编码处理包括利用H264 CABAC熵编码标准的近似法。

优选的是，其中根据多个量化值估算图像的大小包括，在被选择以覆盖压缩标准的大部分量化空间的量化器值的范围上来进行估算。

有益的是，假定关系包括假定在其中可以通过最小平方估计确定常量的线性关系。

方便地，借助于活动性将宏块划分成组包括确定编码系数的标准化总和作为每个宏块的活动性的测量值。

附图说明

现在参照附图、通过举例来描述本发明，其中：

图1是依照本发明的方法的流程图；

图2是为不同的量化器值(Qp)，在宏块大小(MB_Size)和活动性之间的关系图表；

图3是显示利用划分数据成为四个相等部分的阈值将图像活动性分成四组的表格；

图4是用于MB活动性的柱状图的结构的表格；以及

图5是根据图4的表格而构造的MB活动性的柱状图。

在图中，相同的附图标记表示相同的部件。

具体实施方式

参见图1，根据如下步骤说明本发明的方法：

1、在丢弃一些系数并量化剩余系数之后，为多个不同的量化器值估算11每个帧内图像在变换域里的大小。使用简化但是适当的编码处理来模拟全部处理以及为每个MB获得用于由参数“MB_Size”表示的每个MB需要的总比特数的估算值。对于每个MB来说，基于选择的Qp存在MB大小的独立值集合，但是对于每个MB只有一个活动性值。

2、假定12在由参数“MB_Size”表示的结果MB的大小和由参数“活动性”表示的他们的内容的特性之间的凭经验确定的关系(进一步参见下文)。图2示出这个为用于四个不同Qp值的示例的线性关系，其四个不同的Qp值因此为任何给定活动性(Activity)值产生四个不同的MB_size值。

3、在丢弃任何编码系数和任何量化之前通过累加其所有变换域系数的值，为每个MB计算活动性(Activity)值。基于他们的活动性(Activity)，将MB划分13成多个组N。为这些组的每一个找到平均活动性(Activity)值。

4.在步骤2，使用在MB_Size及其用于每个量化器值的活动性(Activity)之间的假定关系和每个组的平均活动性(Activity)(在步骤3计算的)来得出15适用于每个组的量化器值。

图2示出了这些关系的示例，具体来说，由四个不同Qp值生成的四个MB_Size值是全部与由有效容量设定(即通过比率控制计算出的当前比特率设定)图像的可承受的量化大小比较的预测的候选者。在图2里，用于对于Qp和应用的活动性(Activity)的特定值的每个组的MB_Size的全部值是给定值Avg_Size[0]到Avg_Size[3]。在图2里，由参数“Bits_Allocated”表示的每个MB组的可承受大小可与Avg_Size[i]的这几个值相比，i为从0到使用的最大值，这里示出的最大值是3。相关Qp值和MB_Size与活动性(Activity)的关系的关联线性系数是通过在如由图2所示候选数据(参见以下进一步描述)之间的最佳适合内插获得，其中根据活动性(Activity)和被分配比特(Bits_Allocated)的给定值确定的点A示出了当前工作点放置在候选当中的位置。

因为典型的从MB改变到MB的点A一般不会永远正好位于其中一个计算的线上，并可能偶而落在探测的数值范围之外，因此需要外推(extrapolation)而不是内插来得到Qp的适当值。

通常期望一旦完成所述过程，即为每个MB组固定量化器值。每个步骤的详细说明如下。

步骤1

参见图1，在丢弃一些系数和剩余系数的量化以后，在量化器值Qp的预定范围上，估算11帧内图像在变换域中的大小，量化器值Qp被选择以覆盖在视频压缩标准中的全部量化空间的大多数量化空间。为了使估算更简单，可以利用简化的编码处理来执行估算，其编码处理包括简单变换，量化和可变长度编码。这种简化处理可以例如利用H264 CABAC熵编码标准的近似法(approximation)执行，但是也可以使用任何其它适当的简化方案。这里所述处理在此后将被称为简单估算处理。

利用各种各样的模拟已经发现，在利用合适的简单估算处理确定的编码图像的大小和从最后的完全压缩算法获得的那些编码图像的大小之间存在很强的线性相关，即使这个压缩算法是复杂的并包含帧内预测和上下文自适应的二进制运算编码。在主要的编码操作之前利用这个相关性来预测具有高精度的特定压缩算法的帧内图像的大小。利用这种关系估算的每个MB的比特数被定义为MB_Size。

步骤2

在丢弃系数和剩余系数的量化以前，所有系数总和或其它合适的统计参数被定义为活动性(Activity)，为计算方便起见，其可以被标准化。对于特定的量化器值在参数活动性(Activity)和MB_Size之间的关系假定为线性的并因此可通过利用最小平方方估计得到。由此：

MB_Size＝a(Qp)*Activity+b(Qp) (1)

其中a(Qp)和b(Qp)是量化值的函数并由下列关系定义：

a = \frac{MBCoun t * Σ_{i = 1}^{n} ({Activity}_{i} * MB_Siz e_{i}) - Σ_{i = 1}^{n} ({Activity}_{i}) * Σ_{i = 1}^{n} (MB_Siz e_{i})}{MBCount * Σ_{i = 1}^{n} {({Activity}_{i})}^{2} - Σ_{i = 1}^{n} ({Activity}_{i}) * Σ_{i = 1}^{n} ({Activity}_{i})} - - - (2)

b = \frac{Σ_{i = 1}^{n} {(Activit y_{i})}^{2} * Σ_{i = 1}^{n} (MB_Siz e_{i}) - Σ_{i = 1}^{n} ({Activity}_{i} * MB_Siz e_{i}) * Σ_{i = 1}^{n} ({Activity}_{i})}{MBCount * Σ_{i = 1}^{n} {({Activity}_{i})}^{2} - Σ_{i = 1}^{n} ({Activity}_{i}) * Σ_{i = 1}^{n} ({Activity}_{i})} - - - (3)

其中：

MBCount＝考虑的宏块总数，通常是在全部图像里的数目

Activity_i＝第i个宏块的活动性(Activity)的测量值

MB_Size_i＝第i个宏块的大小

n＝图像里MB的数目，MB_Count的最大值是n。

步骤3.

在传统视频压缩编码系统设计里，分配恒定量化器值Qp给整个图像，即利用相同Qp值编码所有MB是常用并便利的。执行这个是为简单起见以及成本降低原因。然而，恒定Qp值的使用能导致劣质的编码质量，并且使用预备规范的全范围是有利的，诸如MPEG 2以及MPEG 4，其允许每个MB使用它自身的Qp值，但不生成超出允许的最大比特率的过度数据量。如何有效地实现这个是本发明的内容。

当为整个图像选择相同量化器值的时候，编码假象在低活动性区比在高活动性区里更明显。例如，在通常的足球场景里，部分图像是草地，而部分图像将包括群众，因此，为所有MB选择相同量化器值将引起更多比特被用于高活动性的群众部分，以及更少比特用于低活动性的草地。这在草地的描述里引起不合乎需要的假象。因此，根据本发明，分配相同比特数给共享类似活动性的所有MB，并且分配比特以便低活动性区得到比高活动性区大的比特比率。这个处理以更适当的方式有利地再分配削弱的假象，由此更主观地提供令人喜爱的图像质量。实际上，所述意图是不考虑活动性(Activity)来分配相同比特数给所有MB。为执行这个，对于低活动性(Activity)MB需要具有比高活动性MB低的量化器值。需要具有在活动性(Activity)以及希望分配MB的比特数之间的关系，并且分配相同比特数到所有MB在实践中效果很好。

为实现这个好处，首先为每个活动性级编译多个宏块的柱状图。计算在柱状图下的总面积，其对应于在丢弃系数以及所述剩余系数的量化以前的图像里编码系数的总数，其被计算并随后被分成多个MB组，以便每个组在所述柱状图内具有相同面积，即在量化以前具有相同数目的编码系数。利用这个活动性的相等区域原理，在逐个图像的基础上计算分隔所述组的MB数量的阈值。组的数目可能根据图像的变化而变化。

虽然在通知编码选择里使用编码参数的柱状图是已知的，但在提供将柱状图里表示的MB特性的整个范围动态分割成为多个组，其然后被分配某些通用编码参数值的依照本发明的方法是新的。这个处理还在逐个图像的基础上适当地执行以符合由当前比特率(不论常量或变量)以及由速率控制机构设置的限制，但在每个图像内常遭受精调，以便基于具有类似特性的每个MB组的不同量化值，在整个图像上通过量化器值Qp的有益分布来优化图像质量。

例如，如果将MB分为四组，然后在所述柱状图里，每个组的面积是总柱状图活动性面积的1/4，即在丢弃以及量化以前图像里的总编码系数的1/4。然后为每个组计算平均活动性(Activity)以及将每个MB的活动性以256进行标准化。图3到5给出用于图像的一般柱状图的示例，以及图3尤其示出了如何在多个活动性值37,586发现组之间的阈值，其中在此例子中，活动性值37,586是柱状图的总面积150,344的四分之一。

步骤4

用于每个组的量化器值的选择标准是基于平均活动性。由于在量化之后的系数数目MB_Size，以及量化之前的系数数目活动性(Activity)之间的关系假定为线性，因此可以利用它的平均活动性以及线性方程的系数得出用于每个组的量化器值。将相同比特数分配给各个MB组。

如何计算用于每个组的量化器值以符合Bits_allowed标准的示例显示如下。假定为四个初始量化器值称(Qp[0]……Qp[3]，其中Qp[0]＞Qp[1]＞Qp[2]＞Qp[3])估计图像大小。假设a[0]…a[3]，b[0]…b[3]是线性函数的系数a和b的相应值，该线性函数将参数MB_size和图2示出的活动性相关联，其中也就是说，它们是用于四个不同量化器值的公式2和3的解。如下计算用于每个组的最后平均量化器值(由QP_group表示)：

步骤1：在步骤1的估算处理中为所有量化器值计算由每个组的平均活动性采用的比特数，其中i＝0对应于最低Qp值：

Avg_Size[i]＝a[i]*(Average Activity)+b[i] 0≤i＜4

其中：

Avg_Size[i]＝对于索引值是I的量化器值而言具有用于特定组的平均活动性的MB的估算大小，并且是通过参数a和b表示。

Average Activity＝MB的组的平均活动性。

参数Average Activity的一个值给出几个用于每个MB的平均大小的估算，如：

每个MB的Avg_Size[0]……Avg_Size[3]，每个选择的量化器值对应于其中的一个。

步骤2：

速率控制机构将为每个完整图像设置在比特速率限制内可用的比特数。可承受的比特数定义每个图像的可允许大小并且这里用参数“Bits_Allocated”表示。在图2里，可以看到提供的预编码计算根据活动性的当前测量值和Qp值的选择估算每个图像或MB的大小。根据以上在步骤1产生几个估计值，即Avg_size[0]到Avg_Size[3]，可以利用参数Bits_Allocated执行这些值的比较来获得满足Bits_Allocated标准所需要的精确Qp值。

通常希望Bits_Allocated的值落入Avg_Size[i]的几个已计算值之间，但它偶而落入这个范围以外。由此，在计算需要的Qp中出现的三个情况将是当Bits_Allocated的值落入所述范围的时候、当它超出计算的范围的时候，以及当它较小的时候。由此，如下分别地计算三个情况：

情况1：

如果Bits_Allocated＞Avg_Size[0]，那么用于估算Avg_Size的几个值的选择的Qp值太高，因此需要在范围外外推估计值的一些方法。这种方法具体表现为下列公式：

QP_group＝Qp[0]-log₂(Bits_Allocaled/Avg_Size[0])*6 (5)

其给出根据Qp[0]和参数Bits_Allocated以及Avg_Size[0]的值估算得到的适用于所述组的Qp值。如此定义的关系适用于H.264编码标准。

其中，Bits_Allocated等于在当前比特速率每MB可用的比特数。基于活动性(Activity)可以为每个组分别地设置每MB的Bits_Allocated。

情况2：

如果Bits_Allocated＜Avg_Size[3]，那么选择的Qp值过低，因此需要外推估计值超出可用范围的类似方法，其使用具有与上面使用的那个相同形式的下列公式：

Qp_group＝Qp[3]-log₂(Bits_Allocated/Avg_Size[3])*6 (6)

以及

情况3：

当Bits_Allocated的值位于根据用于Avg_Value[i]以及Avg_Size[k＝i±1]的计算结果的估计值之间，那么使用在所述值之间内插，其采用也从MPEG/ITU标准得到的下列公式。这个情况以在图2里的点A示例说明。这里在Bits_Allocated值的两边已计算值之间使用内插。

Qp_group＝(Qp[j]-log₂(Bits_Allocated/Avg_Size[j])*6+Qp[k]-

(7)

log₂(Bits_Allocated/Avg_Size[k])*6)/2

其中Avg_Size[j]≤Bits_Allocated＜Avg_Size[k]以及j和k的值是通过比较Bits_Allocated和Avg_Size[i，i＝0到最大]得到的，其中

Avg_Sze[j]＝对于量化器值j的在组里的MB的平均大小

Avg_Sze[k]＝对于量化器值k的在组里的MB的平均大小

Avg_Sze[]＝对于从0到它的最大的任何i值的给定MB的估计大小。

参数“QP_group”是在H264标准里定义的量化器值，并且是对数性地，不是线性地，与Bits_Allocated和Avg_Size[i]相关，并且等式5-7里涉及的因数6专用于MPEG-4 AVC国际标准ISO/IEC 14496-10。其它标准可需要不同关系。

对于编码P以及B图像的扩展

通过这个方法选择的量化器值是用于帧内图像，但他们也还可以用来选择用于P以及B图像的量化器值。可以以相同方法对P以及B图像进行分组，就像对I图像一样，可以如下选择量化器值：

Qp_group_P＝Qp_groupI+Offset_P

Qp_group_B＝Qp_groupI+Offset_B

其中Offset_p以及Offset_B是复杂性以及工具的函数，诸如运动估算及其用于编码P以及B图像的准确度。在本发明里，这些参数的计算必须包括用于P以及B图像的处理。

本发明提供一种在完全地编码内部帧以前选择量化器值的方法。利用这种预先选择的量化器值确保：

·完全编码地内部编码帧不会超出某个大小。

·优化在较低和较高活动性的区域之间的比特分配以便在整体图像上获得一致主观的质量。

由这个方法产生的用于I图像的量化器值信息也可以用于选择用于B以及P图像的量化器值。在I图像里为给定量化器值Qp产生的比特数和为对应相同GoP的P以及B图像产生的那些比特数之间存在关系。由此，虽然已经论述了提高1图像的编码的方法，将理解的是相同技术可以使用来提高P以及B图像的编码。

Claims

1.一种获得用于视频压缩的图像的宏块的量化值的方法，包括以下步骤：

a.根据所有编码系数的总和为多个量化值估算图像的大小；

b.假定宏块的大小和宏块的活动性之间的关系；

c.依据活动性将宏块划分成为组；

d.确定每个组的平均活动性；以及

e.利用预先确定的比特速率，根据在每宏块的比特数和宏块的活动性之间的假定关系以及每个组的平均活动性，为每个组计算量化值。

2.如权利要求1所述的方法，其中估算图像的大小包括利用简化编码处理，其包括简单变换、量化和可变长度编码。

3.如权利要求2所述的方法，包括利用H264 CABAC熵编码标准的近似法。

4.如权利要求1到3的任何一项所述的方法，其中根据多个量化值估算图像的大小包括，在被选择以覆盖压缩标准的大部分量化空间的量化器值的范围上来进行估算。

5.如权利要求1所述的方法，其中假定关系包括，假定在其中通过最小平方估计确定常量的线性关系。

6.如权利要求1所述的方法，其中依据活动性将宏块划分成组包括，确定编码系数的标准化总和作为每个宏块的活动性的测量值。