CN101147399A

CN101147399A - 编码增强层视频数据的方法和设备

Info

Publication number: CN101147399A
Application number: CNA2006800081337A
Authority: CN
Inventors: 陈颖; 翟杰夫; 尹鹏; 普尔温·比贝哈斯·潘迪特
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS; International Digital Madison Patent Holding SAS
Priority date: 2005-04-06
Filing date: 2006-03-20
Publication date: 2008-03-19
Anticipated expiration: 2026-03-20
Also published as: JP2008535424A; CN101147399B; WO2006106039A1; US20090285299A1; US8199816B2; EP1867171A1; JP4854046B2

Abstract

一种用于在SVC中提高BLSkip模式性能的方法，包括以下步骤：对基本层的运动场进行上采样，内插帧内编码MB的运动矢量，将8×8块运动场内插至4×4块运动场，以及使用相邻备选项，在BLSkip模式中生成用于4×4块的MV预测因子。

Description

编码增强层视频数据的方法和设备

技术领域

本发明涉及一种用于对视频数据进行编码的方法。

背景技术

H.264/AVC标准提供了极好的编码效率，但是并没有考虑可缩放的视频编码(SVC)。SVC可以提供不同的层，通常是基本层(BL)和增强层(EL)。为了给出视频编解码器的更多功能，运动图像专家组(MPEG)考虑为SVC提供标准。建议了各种技术，最终联合视频工作组(JVT)启动了称为JSVC的标准，相应的参考软件描述称为JVSM。SVC为应用程序提供了时间、SNR和空间的可缩放性。JVSM的基本层与H.264兼容，如所规定的，H.264的大部分组件用于JSVM，从而仅有个别组件需要根据子带结构进行调整。在所有的可缩放性中，由于很难使用两个空间可缩放层之间的冗余，所以空间可缩放性是最具挑战性和感兴趣的主题。

SVC为空间可缩放性提供了多种技术，如IntraBL模式、残余预测或BLSkip(基本层跳过)模式。可以在宏块(MB)级上选择这些模式。

IntraBL模式使用上采样的重构BL画面来预测EL中的MB，并仅对残余进行编码。残余预测尝试通过减去BL的上采样MC残余来减小EL的运动补偿(MC)残余的能量。

BLSkip模式利用了EL中MB的上采样MV，并且如果MB选择了该模式，则仅需要将残余写入比特流。因此，在空间可缩放情况下，BLSkip模式利用了BL和EL的MV之间的冗余。

在SVC的JSVM中，BLSkip模式用于帧间编码预测(P)帧和帧间编码双预测(B)帧的MB。将通常为每个4×4块存储的BL MV通过与2相乘来进行上采样。然后，上采样后的MV将与更高分辨率EL的8×8块相对应。即，如果QCIF(176×144)BL帧具有(11×9)个MB，以及每个MB具有十六个4×4块，则BL中存在11×9×16个MV(如果没有帧内MB)。当所选MV是(h，v)，以及相应的4×4块具有起始坐标(x，y)，则上采样后的MV是(h*2，v*2)，以及在高分辨率帧(CIF：352x288)中相应的8×8块是(2*x，2*y)。因此，将向具有起始坐标(2x，2y)、(2x+4，2y)、(2x，2y+4)和(2x+4，2y+4)的四个4×4块分配相同的MV(2h，2v)。

然后，在模式判决过程中，当BLSkip模式是当前的备选项时，MB(如果它具有起始坐标(2x，2y))将通过使用实际四个MV来设置MV。对于四个8×8子块，为当前的MB设置四个MV，它们具有相应的起始坐标(2x，2y)，(2x+8，2y)，(2x，2y+8)和(2x+8，2y+8)。

发明内容

用于所描述的MB的MV结构模式实际上是MODE_8×8，这表示将在分辨率深度8×8而非4×4中规定MV的差别。

上述结构表示可以通过使用四个MV来处理每个8×8块的MC过程。然而，这4个MV实际上是相同的。使用这种模式，由于在解码过程中可以按照相同的方式来预测这些MV，所以MV并不用于被编码。所以，如果预测因子与真实的运动稍有类似，则节省了许多比特。SVC所使用的上述解决方案是简单的，并具有低复杂度。然而，上采样后的MV由于两个原因而并不非常精确。一个原因在于，MV仅具有1/2的像素精度，而主要为MC所使用的MV具有1/4的像素精度；另一原因在于，对于每个8×8块，它的四个4×4子块使用相同的MV，这从分辨率的角度来看也可能并不足够准确。

因此，由本发明所解决的问题是提高预测MV的精度，尤其对于BLSkip模式。

本发明给出了对于空间可缩放性的更好的运动场上采样和内插方法，从而提高了SVC帧内画面的编码效率。

本发明首先对由8×8MV所构造的运动场进行平滑并内插到由4×4MV所构造的更好粒度运动场，然后在预测过程期间，使用标量中值、矢量中值和平均方法来为BLSkip模式选择更好的预测因子。结果，所公开的MV预测技术实现了改进的编码效率，尤其对于SVC JSVM1.0中的BLSkip模式。

根据本发明，用于对更高层视频数据进行编码的方法包括以下步骤：

对基本层的运动场进行上采样，

内插帧内编码宏块的运动矢量，

将8×8块运动场内插至4×4块运动场，以及

在基本层跳过模式中生成用于4×4块的运动矢量预测因子，其中，使用来自相邻块的运动矢量。

此外，根据本发明，用于对更高层视频数据进行编码的设备包括：

装置，用于对基本层的运动场进行上采样，

装置，用于内插帧内编码宏块的运动矢量，

装置，用于将8×8块运动场内插至4×4块运动场，以及

装置，用于在基本层跳过模式中生成用于4×4块的运动矢量预测因子，其中，使用来自相邻块的运动矢量。

在从属权利要求、以下描述和附图中公开了本发明的有利实施例。

附图说明

参照附图描述了本发明的示例性实施例，其中：

图1是用于帧内MB的8×8MV内插；

图2是用于4×4块的MV的双线性内插；以及

图3是用于4×4块的双线性内插的相关块。

具体实施方式

目前，仅将根据基本层(低分辨率层)的协同定位的MV上采样的MV用作增强层(高分辨率层)的预测因子，上采样后的MV的精度很低(通常，如果在运动估计(ME)过程中使用1/4像素精度，则是1/2像素精度)。以及MV分割仅用于8×8块。即，8×8块中的每4个4×4块将共享相同的MV。本发明关注于：尤其对于BLSkip模式，通过首先使用运动场平滑技术，然后给出更多的MV作为当前MB的预测因子，以确定是否将要选择BLSkip模式，从而提高MV的精度。给出BLSkip模式的更好的(多个)预测因子(它对于画面中的MB具有高百分比)，可以提高编码效率。

为了实现更高的编码效率，本发明通过对于选择BLSkip模式的MB给出更好的MV预测因子，改进了BLSkip模式。为了获得将更加接近于真实运动的精确的MV，首先利用多种方法来平滑BL的运动场，然后利用策略从运动场以及来自当前层的相邻MV中选择用于EL的MB的MV。

在以下的2D区域P中定义运动场：MY(p)

N²，其中，D是点阵像素集，以及N是整数字段。

由于默认的MV精度是四分之一(1/4)像素，所以每个MV mv(p)实际上是4和ME的替换的乘积。

对于来自BL的上采样字段，可以将它看作在由8x8点阵像素组成的区域P中所限定的函数。所以P是{(P_x，P_y)|P_x＝8_x，P_y＝8_y，对于任何o≤x<22，及0≤y<18)。这里，x和y的上界实际上是由上采样之后的帧的分辨率的宽度和高度所确定的：宽度/8和高度/8．

实际上，如果MB是帧内，则不具有MV，所以不存在对于P中相应的四个值的M/(P)的限定。所以通过内插首先给出对于P中那些值的定义，然后使用相邻的MV。

当具有对于在P的8x8点阵定义区域中任何值的限定时，将构造另一运动场：MV(P4)

N²，其中，在4x4点阵像素的区域内定义该函数。

1．在帧内区域中定义运动场

在H.264/AVC中，甚至帧间画面(P或B)也具有帧内MB。在SVC中，保持相同的特征。所以在第一步骤中，给出了对于与帧内MB相对应的点阵的限定。

可能的解决方案是使用双线性内插以获得用于帧内MB的8x8MV。第一步骤是对于来自每个方向的帧内MB中的8x8块，发现不属于帧内MB的最近的8×8块。

如果16×16MB的起始坐标是(x，y)，则如果附近(相邻)的MB是帧间MB，则所谓最近的MV具有以下坐标：

块0：A(x-8，y)，B(x，y-8)，C(x+16，y)，D(x，y+16)

块l：A(x-8，y)，B(x+8，y-8)，C(x+16，y)，D(x+8，y+16)

块2：A(x-8，y+8)，B(x，y-8)，C(x+16，y+8)，D(x，y+16)

块3：A(x-8，y+8)，B(x，y-8)，C(x+16，y+8)，D(x+8，y+16)

在图1中，不同方向的四个最近的MV(mva，mvb，mvc，mvd)用于内插块0的MV(mv0)。

实际上，在上采样后的运动场中，由于16×16帧内MB(无论它是INTRA16×16还是INTRA4×4)将变成可分为四个16×16帧内MB的32×32块，所以四个帧内MB将同时出现。如果附近的MB仍然是帧内编码的，则本发明的方法继续沿相同方向进行搜索，直至遇到帧间MB，然后使用该帧间MB。在得到四个8×8块之后，可以执行MV内插过程。

定义了两个块的距离，要由Dist(P_A-P_B)＝|x_a-x_b|+|y_a-y_b|计算获得，其中P_A和P_B是8×8块的起始坐标。

例如，用于图1中块0的最近8×8块是块A、B、C、D。以及0与A、B、C、D的距离分别是D_a＝8，D_b＝8，D_c＝16，D_d＝16。块0中的内插MV由以下计算获得：

mv₀＝((D_c·mv_a+D_a.mv_c)/(D_a+D_c)+(D_d·mv_b+D_b.mv_d)/(D_b+D_d))/2

2.对8×8运动场进行平滑并内插至4×4运动场

现在，在8×8点阵的任何像素中定义运动场。下一步骤是创建在4×4点阵中定义的运动场。一个可能的解决方案在图2中示出。例如，用于4×4块A(b14×4A)的权重分别是关于8×8块0、1、2、3(b18×80...3)的9/16、3/16、3/16、1/16。

换言之，8×8块在4×4块上的权重或影响取决于它的2×2子块的个数，该子块包括在4×4块内或直接与4×4块相邻。如在与图2相对应的图3中所示，这些是b18×8_0中的9、b18×8_1和b18×8_2的每个中的3、以及b18×8_3中的1。

对于4×4块的每个中心点，存在8×8块的四个最近中心点，它们包含MV(mv_a，mv_b，mv_c，mv_d)。4×4块的MV通过以下公式进行内插：

mv = Σ_{i = 0}^{3} {mv}_{i} \cdot {weight}_{v} \cdot {weight}_{h}

其中，下标x是图2中所示的A、B、C、D。对于公式中的每个预测因子MV，存在两个权重。

Weight_v＝(x_p-x₀)/(x₁-x₀)

Weight_h＝(y_p-y₀)/(y₄-y₀)

其他解决方案也可用于运动场的内插和平滑。

3.BLSkip模式的运动矢量预测

当在模式判决过程期间，当前模式备选项是BLSkip时，由于BL运动场实际上是基于4×4点阵的，所以将把运动补偿模式设为MODE4×4。

简单的解决方案是将上采样运动场的4×4块的协同定位MV用作MB的每个4×4块的BLSkip模式。

另一解决方案是使用相邻的MV来预测用于当前4×4块的MV。备选项可以是四个块的MV(左4×4块、上4×4块、下4×4块和右4×4块)或者八个块的MV(再加上左上4×4块、左下4×4块、右上4×4块和右下4×4块)。

对于特定备选MV，可以使用多种方法来获得预测因子：对备选项进行平均、取备选项的缩放中值、或者取备选项的矢量中值。

平均意味着通过对备选项的各个水平或垂直值进行平均来生成MV的水平值和垂直值。

缩放中值也通过分别获得水平值和垂直值的中值来生成。为了得到多个值的中值，简单的解决方案是首先对值进行分类，然后使用中值索引获得所分类的列表中的值。

矢量中值方法得出了与其他具有最小距离之和的MV。所以以下等式的解决方案是矢量中值MV。

{mv}_{VM} = \arg \min_{{mv}_{l}} (\underset{i &NotEqual; j}{Σ} Dist ({mv}_{i}, {mv}_{j}))

为了低通画面，或者如果参考帧远离当前帧，则平均方法将得到更好的结果。如果两个帧的距离相靠近，则中值或矢量中值方法将会更好。一种自适应MV预测策略是对于低通帧利用平均方法，以及对于高通帧利用中值或矢量中值方法。

原理上，用于提高SVC中BLSkip模式的性能的本发明的方法包括以下步骤：

-对基本层的运动场进行上采样；

-内插帧内MB的运动矢量；

-将8×8块运动场内插至4×4块运动场；

-使用相邻备选项，在BLSkip模式中生成4×4块的MV预测因子。

用于提高SVC中BLSkip模式的性能的本发明的设备具有：

-装置，用于对基本层的运动场进行上采样；

-装置，用于内插帧内MB的运动矢量；

-装置，用于将8×8块运动场内插至4×4块运动场；

-装置，用于使用相邻备选项，在BLSkip模式中生成4×4块的MV预测因子。

在本发明的一个实施例中，来自不同方向的四个最近的8×8块的MV用于预测帧内MB中的8×8块。

在本发明的一个实施例中，双线性内插用于将8×8运动场内插到4×4运动场。

在一个实施例中，选择策略(例如，平均、中值和矢量中值)用于从相邻MV备选项中得到MV。

在一个实施例中，使用自适应MV选择策略，它考虑了当前帧与参考帧之间的距离：如果距离短，则优选中值或矢量中值，否则优选平均。

简而言之，LSVM将上采样后的BLMV用作用于BLSkip模式的更高分辨率层的MV。然而，上采样后的MV并不足够好，还可以进行改进。所有上采样后的MV实际上是一半像素精度，以及在8×8块中的每个四个4×4块共享相同的MV。在本发明中，提供了给出用于BLSkip模式的最佳运动矢量的方法和设备。

本发明的核心在于以下：为了实现更高的编码效率，本发明通过为选择BLSkip模式的MB给出更好的MV预测因子来改进BLSkip模式。为了得到将更加接近于真实运动的更加准确的MV，首先利用多种方法来平滑BL的运动场，然后利用策略，根据运动场以及根据来自当前层的相邻MV，为EL的MB选择MV。

本发明的主要优点在于，改进了SVC的帧间编码画面的编码效率，这通过更好的运动场上采样和自适应内插方法来实现。

Claims

1.一种编码空间增强层视频数据的方法，包括以下步骤：

-对基本层的运动场进行上采样，

-将上采样后的运动场的运动矢量分配给增强层的16×16宏块；

-根据16×16宏块的运动矢量来生成8×8块的运动矢量，其中，从四个最近的帧间编码的8×8块(blockA、...、blockD)的运动矢量中内插帧内编码的8×8块(block1、...、block3)的运动矢量；以及

-从8×8块(block1、...、block3)的运动矢量中内插4×4块的运动矢量。

2.如权利要求1所述的方法，其中，为了所述生成帧内编码的8×8块(块0)的运动矢量，使用双线性内插。

3.如权利要求2所述的方法，其中，根据mv₀＝((D_c·mv_a+D_a·mv_c)/(D_a+D_c)+(D_d·mv_b+D_b·mv_d)/(D_b+D_d))/2，双线性内插考虑了从当前8×8块至四个最近帧间编码的8×8块(blockA、...、blockD)的距离(D_a、D_b、D_c、D_d)。

4.如前述权利要求之一所述的方法，其中，为了内插4×4块(bl4×4A、...、bl4×4D)的运动矢量，仅使用当前16×16宏块的8×8块的运动矢量。

5.如权利要求4所述的方法，其中，所述内插4×4块(bl4×4A、...、bl4×4D)的运动矢量包括：将权重分配给当前16×16宏块的8×8块的运动矢量，其中，分配给8×8块的运动矢量的权重取决于与4×4块直接相邻或包括在4×4块中的2×2子块的个数。

6.如前述权利要求之一所述的方法，还包括执行编码模式判决的步骤，其中，对于基本层跳过模式，使用所述4×4运动矢量作为预测因子。

7.一种编码空间增强层视频数据的设备，包括：

-装置，用于对基本层的运动场进行上采样；

-装置，用于将上采样后的运动场的运动矢量分配给增强层的16×16宏块；

-装置，用于根据16×16宏块的运动矢量来生成8×8块的运动矢量，其中，从四个最近的帧间编码8×8块(blockA、...、blockD)的运动矢量中内插帧内编码8×8块(block1、...、block3)的运动矢量；以及

-装置，用于从8×8块(block1、...、block3)的运动矢量中内插4×4块的运动矢量。

8.如权利要求7所述的设备，其中，为了所述内插4×4块(bl4×4A、...、bl4×4D)的运动矢量，仅使用当前16×16宏块的8×8块的运动矢量。

9.如权利要求7或8所述的设备，其中，所述内插4×4块(bl4×4A、...、bl4×4D)的运动矢量包括：将权重分配给当前16×16宏块的8×8块的运动矢量，其中，分配给8×8块的运动矢量的权重取决于与4×4块直接相邻或包括在4×4块中的2×2子块的个数。

10.如权利要求7、8或9所述的设备，还包括装置，用于执行编码模式判决，其中，对于基本层跳过模式，使用所述4×4运动矢量作为预测因子。