CN102364948A

CN102364948A - 视频编码合并模式双向补偿方法

Info

Publication number: CN102364948A
Application number: CN2011103354818A
Authority: CN
Inventors: 朱洪波; 赵海武; 王小根; 李国平; 滕国伟; 王国中
Original assignee: SHANGHAI GMT DIGITAL TECHNOLOGY Co Ltd
Current assignee: SHANGHAI GMT DIGITAL TECHNOLOGY Co Ltd
Priority date: 2011-10-28
Filing date: 2011-10-28
Publication date: 2012-02-29
Anticipated expiration: 2031-10-28
Also published as: CN102364948B

Abstract

本发明提供一种视频编码合并模式双向补偿方法，包括如下步骤：步骤1、确定当前块的两个相邻块；步骤2、根据两相邻块的预测参数得出当前块的一个或两个初步预测块；步骤3、在所有可用的参考帧中，取得一个参考预测块，将初步预测块与参考预测块的算术平均作为当前块的预测参考块；搜索所有的预测参考块，取代价最小的预测参考块从而获得最佳预测参数；本发明提供一种新的预测模式，其利用相邻块的预测参数，不仅可以改善预测效果，而且没有增加编码预测参数的代价，从而有效地提高了压缩率。

Description

视频编码合并模式双向补偿方法

技术领域

本发明属于数字视频压缩领域，具体涉及到视频信号的预测补偿方法。

背景技术

数字视频是通过对时域和空域连续的自然场景进行时域和空域连续采样所得。如图1所示，数字视频由一系列时域上的视频帧所组成，每个视频帧表示自然场景在某个时间的空域采样，它由二维均匀采样的视觉像素组成。每个像素由一系列描述像素亮度和色彩的数字组成，在视频编码中，最广泛被使用的格式是YUV格式，这种格式中，每个像素由一个亮度分量Y，两个色差分量U和V组成，一般对U和V分量水平和垂直方向各进行一次下采样，这样每相邻的4个像素共用1个U和V分量，这就是YUV4:2:0格式。

最广泛被使用的视频编码技术是块基混合编码技术。如图2所示，输入帧被劈分成一个个16x16像素的宏块，然后从左到右，从上到下依次进行编码。对每个输入的待编码宏块(以下简称为当前宏块)，首先从重构帧(已经完成编码的帧经过解码后得到的帧，可能有一个或多个)中选择一个对当前宏块的预测，并与当前块相减，残差依次执行变换、量化，反量化、反变换得到重构宏块，存入重构帧缓冲区，用于对其后编码的宏块产生预测信号。在实际的预测过程中，宏块常常被分割成更小的8x8或4x4块来进行精确的预测。在后续的叙述中，我们用‘块’来统一表示预测的单元，所说的块包括但不限于16x16、16x8、8x16、8x8等各种尺寸和形状。

在块基混合编码技术中，一般有三种不同类型的帧，I帧(帧内预测帧)、P帧(前向预测帧)和B帧(双向预测帧)。I帧编码时，只使用本帧中已编码块的信息来预测当前块，这种预测模式我们成为‘帧内预测’。

P帧编码时，可以采用帧内预测模式，也可以使用已经完成编码并且显示顺序在当前帧之前的帧的重构帧来预测当前帧中的待编码块，我们称之为‘前向预测’。如图3所示，显示时间为t_n的帧是当前编码帧，黑色块是当前编码块(以下简称‘当前块’)。显示时间为t_n-1、t_n-2、t_n-3的帧(t_n-3＜t_n-2＜t_n-1＜t_n)已经完成编码并生成了重构帧，它们都可以作为参考帧，用来预测当前块。编码器在所有可用的参考帧中搜索与当前块最接近的块作为当前块的预测块。如图3所示，编码器最终选择参考帧t_n-1(这里用显示时间来标记参考帧，下同)中的BLK0作为当前块的预测块，BLK0的位置用运动向量MV0来记录，MV0＝(x0，y0)-(x，y)，其中(x0，y0)是BLK0在参考帧中的坐标，(x，y)是当前块在当前帧中的坐标。(t_n-1，MV0)构成一组完整的预测参数，作为当前块的编码数据的一部分被编码。

在B帧中，可以使用帧内预测模式，也可以使用已经完成编码的帧(显示顺序在当前帧之前或之后都可以)的重构帧来预测当前帧中的待编码块，在P帧前向预测模式的基础上又增加了若干新的预测模式。如图4、5、6和7所示，显示时间为t_n的帧是当前帧，黑色块是当前块。显示时间为t_n+1、t_n-1、t_n-2、t_n-3的帧(t_n-3＜t_n-2＜t_n-1＜t_n＜t_n+1)已经完成编码并生成了重构帧，它们都可以作为参考帧，用来预测当前块。在图3中，运动向量MV0指向当前块的前向预测块BLK0。在图4中，运动向量MV1指向当前块的后向预测块BLK1，这种方式称为‘后向预测’。在图5中，运动向量MV指向当前块的前向预测块BLK0，MV的反方向指向后向预测块BLK1，BLK0和BLK1的平均作为当前块的预测块，这种方式称为‘对称预测’。在图6中，运动向量MV0指向当前块的前向预测块BLK0，运动向量MV1指向当前块的后向预测块BLK1，BLK0和BLK1的平均作为当前块的预测块，这种方式称为‘双向预测’。在前向预测、后向预测和对称预测中，只有一组预测参数需要编码，而在双向预测模式中，有两组预测参数需要编码。

编码器使用代价函数来选择当前块的编码方式。编码当前块的代价用C表示，

C＝MIN{C_帧内，C_前向，C_后向，C_对称，C_双向，...}

即编码器在各种预测模式中选择代价最小的方式作为当前块最终的编码方式。而某一种预测模式的代价(用Cx表示)的计算方法如下：

Cx＝MIN{C_bit+λD}

其中C_bit表示当前块的编码总比特数，D表示失真，λ是失真和比特数之间的换算系数。而MIN{}表示在该预测模式下，遍历所有可能的运动参数所得的最小值。

显然，在预测过程中，可以参考的信息(参考帧的数量)越多，参考的方式(前向、后向、对称、双向等)越多，所得的预测块和当前块越接近，预测的效果越好。但是，最终的压缩效率不仅和预测的效果有关，还和运动参数有关，因为运动参数是编码数据的一部分，编码运动参数也是需要比特数的。当前块的编码总比特数C_bit等于编码预测残差所需的比特数C_res加上编码运动参数所需的比特数C_pp，当预测的效果很好时，编码预测残差所需的比特数很少，经常为0，这是编码运动参数所需的比特数所占的比例就很大。因此，降低编码运动参数所需的比特数很重要。

本发明在原有的帧内、前向、后向、对称、双向等预测模式基础上，新增了一种新的预测模式。该预测模式充分利用已经编码的与当前块相邻的块的预测参数，在保持只编码一组预测参数的基础上，可以实现效果更好的预测效果，从而提高了编码效率。该预测模式可以用于对P帧和B帧的编码。

发明内容

本发明所要解决的技术问题是提供一种新的预测模式，其利用相邻块的预测参数，不仅可以改善预测效果，而且没有增加编码预测参数的代价，从而有效地提高了压缩率。

为了解决上述技术问题本发明提供一种视频编码合并模式双向补偿方法，包括如下步骤：

步骤1、确定当前块的两个相邻块；

步骤2、根据两相邻块的预测参数得出当前块的一个或两个初步预测块；

步骤3、在所有可用的参考帧中，取得一个参考预测块，将初步预测块与参考预测块的算术平均作为当前块的预测参考块；搜索所有的预测参考块，取代价最小的预测参考块从而获得最佳预测参数；

进一步地本发明的方法，还包括：

步骤4、用现有的方法编码当前块，并获得最小代价和原有预测参数；

步骤5、比较最佳预测参数与原有预测参数，取代价小的作为最终的预测参数。

进一步地，所述的两个相邻块分别为左相邻块和上相邻块

由上述的技术方案可知，本发明的技术方案，是和原有任何一种预测模式不同的新的预测模式，它利用左相邻块或上相邻块的预测参数得出当前块的一个或两个初步预测块，具体地说就是如果左相邻块和上相邻块当中有一个可用，那么就用那个可用的，可能是左相邻块，也可能是上相邻块，如果左相邻块和上相邻块都可用，那就同时用，得到两个初步预测块，然后在可用的参考帧中搜索另一个预测块，将初步预测块与该预测块的算术平均作为当前块最终的预测块。从而利用了更多的预测数据，同时只需编码一组预测参数，有可能达到更高的压缩效率。

编码器在编码时，不是直接使用新的预测模式，而是将新的预测模式和原有的预测模式放在一起比较，从中选择最优的预测模式。这就保证了压缩效率不会低于原有的技术方案。在最坏的情况下，也可以达到和原有技术方案一样的压缩效率。

附图说明

图1为数字视频示例。

图2为块基运动补偿DCT变换视频编码器。

图3是P图像中的运动补偿。

图4是B图像中的前向运动补偿。

图5是B图像中的后向运动补偿。

图6是B图像中的对称运动补偿。

图7是B图像中的双向运动补偿。

图8是P图像中块的合并补偿。

图9是B图像中的前向合并补偿。

图10是B图像中的后向合并补偿。

具体实施方式

为了解决上述技术问题，本发明提供一种视频编码合并模式双向补偿方法，包括如下步骤，

步骤1、确定当前块的左相邻块和上相邻块；

步骤2、根据左相邻块或上相邻块的预测参数得出当前块的一个或两个初步预测块；

为了更好地了解本发明的技术方案，下面结合一个最优的实例对本发明的技术方案进行进一步的阐述：

一种视频编码合并模式双向补偿方法，包括如下步骤：

1、根据当前块的位置，判断当前块的左相邻块和上相邻块是否存在。若当前块包含当前帧的第一行像素，或者当前块包含当前条带(slice)的第一行像素，则上相邻块不存在；若当前块包含当前帧的最左侧第一列像素，或者当前块包含当前条带的最左侧第一列像素，则左相邻块不存在；(注：在现有的视频编码标准如MPEG-2、H.264、AVS等中，都把一帧划分为若干独立编码和解码的部分，称为条带或slice。条带通常为矩形，属于不同条带的块之间不能相互参考。当条带数为1时，就是整帧作为一个独立编解码的部分，相当于没有划分条带)

2、根据当前块的位置确定左相邻块和上相邻块。如果左相邻块存在，则把左相邻块定义为包含当前块左上角像素左侧那个像素的编码块；如果上相邻块存在，则把上相邻块定义为包含当前块左上角像素上侧那个像素的编码块。左相邻块和上相邻块的大小和形状可以和当前块不同。

3、判断左相邻块和上相邻块是否可用。如果左相邻块的预测模式是帧内预测，则左相邻块不可用，否则可用；如果上相邻块的预测模式是帧内预测，则上相邻块不可用，否则可用；

4、获取相邻块的预测参数。如果左相邻块可用，则读取左相邻块的运动参数，记为PPL；如果上相邻块可用，则读取上相邻块的运动参数，记为PPT。

5、如果已获得PPL，则将PPL用在当前块的预测上，得到的预测块记为BLKL；如果已获得PPT，则将PPT用在当前块的预测上，得到的预测块记为BLKT；

6、在所有可用的参考帧中，搜索最佳预测参数，使C＝C_bit+λD达到最小。步骤如下：

6.1令C＝10000，R＝r＝0，X＝x＝0，Y＝y＝0，d＝0；其中C表示代价，R和r表示参考帧索引，X和x表示运动向量的水平分量，Y和y表示运动向量的垂直分量，d表示相邻块，d＝0表示左，d＝1表示上。

6.2根据r、x、y的值，取得预测块BLK；

6.3根据BLK，计算左合并代价其中b_i表示预测块BLK中的第i个值，a_i表示预测块BLKL中的第i个值，c_i表示当前块的第i个值，N是当前块、BLK、BLKL所包含的像素数。如果C_lrxy＜C，则令C＝C_lrxy，R＝r，X＝x，Y＝y，d＝0

6.4根据BLK，计算上合并代价

其中b_i表示预测块BLK中的第i个值，a_i表示预测块BLKT中的第i个值，c_i表示当前块的第i个值，N是当前块、BLK、BLKT所包含的像素数。如果C_trxy＜C，则令C＝C_trxy，R＝r，X＝x，Y＝y，d＝1

6.5如果r、x、y的值已经遍历完，则输出C、R、X、Y、d，搜索过程结束；如果r、x、y的值还没有遍历完，则取下一个可能的值，跳转到步骤6.2。

7、用原有的方法编码当前块，假设所得的最小代价和预测参数分别是C0和PP0，PP0表示某个原有预测模式(帧内、前向、后向、双向、对称等)所需的全部预测参数。

8、比较C和C0，若C＜C0，则取R、X、Y、d作为最终的预测参数，否则取PP0作为最终的预测参数。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。

Claims

1.一种视频编码合并模式双向补偿方法，其特征在于，包括如下步骤：

步骤1、确定当前块的两相邻块；

步骤3、在所有可用的参考帧中，取得一个参考预测块，将初步预测块与参考预测块的算术平均作为当前块的预测参考块；搜索所有的预测参考块，取代价最小的预测参考块从而获得最佳预测参数。

2.根据权利要求1所述的视频编码合并模式双向补偿方法，其特征在于，还包括：

3.根据权利要求1或2所述的视频编码合并模式双向补偿方法，其特征在于，所述的两相邻块分别为左相邻块和上相邻块。

4.根据权利要求3所述的视频编码合并模式双向补偿方法，其特征在于，所述的步骤1包括：

步骤11、根据当前块的位置，判断当前块的左相邻块和上相邻块是否存在；若当前块包含当前帧的第一行像素，或者当前块包含当前条带的第一行像素，则上相邻块不存在；若当前块包含当前帧的最左侧第一列像素，或者当前块包含当前条带的最左侧第一列像素，则左相邻块不存在；

步骤12、根据当前块的位置确定左相邻块和上相邻块。如果左相邻块存在，则把左相邻块定义为包含当前块左上角像素左侧那个像素的编码块；如果上相邻块存在，则把上相邻块定义为包含当前块左上角像素上侧那个像素的编码块；

步骤13、判断左相邻块和上相邻块是否可用：如果左相邻块的预测模式是帧内预测，则左相邻块不可用，否则可用；如果上相邻块的预测模式是帧内预测，则上相邻块不可用，否则可用。

5.根据权利要求4所述的视频编码合并模式双向补偿方法，其特征在于，所述的步骤2包括：

步骤21、获取相邻块的预测参数。如果左相邻块可用，则读取左相邻块的运动参数，记为PPL；如果上相邻块可用，则读取上相邻块的运动参数，记为PPT；

步骤22、如果已获得PPL，则将PPL用在当前块的预测上，得到的预测块记为BLKL；如果已获得PPT，则将PPT用在当前块的预测上，得到的预测块记为BLKT。

6.根据权利要求5所述的视频编码合并模式双向补偿方法，其特征在于，所述的步骤3中所述的搜索最佳预测参数，使C＝C_bit+λD达到最小，具体步骤如下：

6.1令C＝10000，R＝r＝0，X＝x＝0，Y＝y＝0，d＝0；其中C表示代价，R和r表示参考帧索引，X和x表示运动向量的水平分量，Y和y表示运动向量的垂直分量，d表示相邻块，d＝0表示左，d＝1表示上；

6.2根据r、x、y的值，取得预测块BLK；

6.3根据BLK，计算左合并代价

其中b_i表示预测块BLK中的第i个值，a_i表示预测块BLKL中的第i个值，c_i表示当前块的第i个值，N是当前块、BLK、BLKL所包含的像素数。如果C_lrxy＜C，则令C＝C_lrxy，R＝r，X＝x，Y＝y，d＝0；

6.4根据BLK，计算上合并代价

其中b_i表示预测块BLK中的第i个值，a_i表示预测块BLKT中的第i个值，c_i表示当前块的第i个值，N是当前块、BLK、BLKT所包含的像素数。如果C_trxy＜C，则令C＝C_trxy，R＝r，X＝x，Y＝y，d＝1；

7.根据权利要求6所述的视频编码合并模式双向补偿方法，其特征在于，步骤4具体是：用原有的方法编码当前块，假设所得的最小代价和预测参数分别是C0和PP0，PP0表示某个原有预测模式所需的全部预测参数。

8.根据权利要求7所述的视频编码合并模式双向补偿方法，其特征在于，步骤5具体是：比较C和C0，若C＜C0，则取R、X、Y、d作为最终的预测参数，否则取PP0作为最终的预测参数。