CN103327313B - 视频编码中的高阶预测模式 - Google Patents

Abstract

本发明公开了一组用于视频编码块的高效多假设时域高阶预测的方法。在不增加运动向量码率的情况下，本方法通过复用时域上已编码块的运动向量，或对多个参考图像共用一个运动向量方向，实现了高效的多假设时域高阶预测。

Description

视频编码中的高阶预测模式

技术领域

本发明属于数字视频压缩领域，具体涉及到视频信号的时域运动补偿编码。

背景技术

数字视频是通过对时域和空域连续的自然场景进行时域和空域连续采样所得。如图1所示，数字视频由一系列时域上的视频帧所组成，每个视频帧表示自然场景在某个时间的空域采样，它由二维均匀采样的视觉像素组成。每个像素由一系列描述像素亮度和色彩的数字组成，在视频编码中，最广泛被使用的格式是YUV格式，这种格式中，每个像素由一个亮度分量Y，两个色差分量U和V组成，一般对U和V分量水平和垂直方向各进行一次下采样，这样每相邻的4个像素共用1个U和V分量，这就是YUV4:2:0格式。

最广泛被使用的视频编码技术是块基混合运动补偿DCT变换视频编码技术。如图2所示，输入帧被劈分成一个个16x16的宏块，然后从左到右，从上到下依次进行编码。对每个输入的待编码当前宏块，首先从重构的帧中选择一个对当前块的预测，并与当前块相减，残差依次执行DCT变换、量化，然后反量化、反DCT变换得到重构宏块，存入重构帧序列中，用于对其后编码的宏块产生预测信号。在实际的预测过程中，宏块常常被分割成更小的8x8或4x4块来进行精确的预测。

在块基混合运动补偿视频编码技术中，共有3种不同类型的帧，I帧、P帧和B帧。I帧中只使用当前帧中已编码块的信息来作为当前块的预测。在P帧中，时域上显示顺序在当前帧前的重构帧也可以作为当前帧中待编码块的预测。如图3所示，显示时间为t的帧是当前编码帧，黑色块是当前编码块。显示时间为t-t0、t-2*t0、t-3*t0帧是重构帧，其中具有点状边界的灰色块是与当前编码块同一位置的块。在P帧中，显示时间为t-t0、t-2*t0、t-3*t0帧都可以作为当前编码块的预测。运动估计模块在重构帧中与当前块相同位置附近搜索与当前块匹配的块作为当前块的预测。如图3所示，当前编码块通过运动向量MV0指向显示时间为t-t0中的块BLK0作为当前块的预测。编码器将MV0编入码流，然后将当前块与预测块相减得到预测残差，对预测残差依次进行DCT变换、量化后把量化系数写入码流，并进行反量化、反DCT后与预测相加，得到重构块，用于后续编码块的预测。

在B帧中，当前编码块不仅可以使用显示顺序在当前帧前的重构帧作为当前块的预测，也可以使用显示顺序在当前帧后的重构帧作为当前块的预测。如图4、5、6和7所示，显示时间为t的帧是当前编码帧，黑色块是当前编码块。显示时间为t-t0、t-2*t0、t+t0帧是重构帧，其中具有点状边界的灰色块是与当前编码块同一位置的块。显示时间为t-t0、t-2*t0、t+t0帧都可以作为当前编码块的预测。在图3中，运动向量MV0指向当前块的前向预测块BLK0。在图4中，运动向量MV1指向当前块的后向预测块BLK1。在图5中，运动向量MV指向当前块的前向预测块BLK0，MV的反方向指向后向预测块BLK1，BLK0和BLK1的平均作为当前块的预测。在图6中，运动向量MV0指向当前块的前向预测块BLK0，运动向量MV1指向当前块的后向预测块BLK1，BLK0和BLK1的平均作为当前块的预测。在前向预测、后向预测和对称预测中，只有一个运动参数(包括运动向量和参考图像)需要编码，而在双向预测模式中，2个运动参数需要编码。

在多假设运动补偿理论中，增加预测的数目可以增加预测效率，但同时需要付出编码更多运动参数的代价。本发明描述了一种时域高阶预测方法，不仅可以增加预测效率，所付出的编码运动参数的代价却更小。

发明内容

所述的用于视频编码中P或B图像的时域预测方法，包含5种时域预测模式，如图8、图9所示的高阶时域预测模式、图10所示的一致高阶预测模式、图11所示时域合并预测模式、图12所示一般化高阶预测模式和图13所示一般化一致高阶预测模式。一致预测模式和一般化一致预测模式本质也是一种高阶时域预测模式。对当前图像中的每个编码块，编码器通过对包括如上所述5种模式在内的多种模式分别进行评估，选择其中一种模式作为当前块的可能的编码预测模式。在图8、图9、图10、图11、图12和图13中，时间为t的是当前编码帧，时间为t-t0、t-2*t0、t-3*t0、t-n*t0和t+t0均为已编码帧，它们也是当前编码帧的参考帧。在t帧中标识为BLKC的淡黑色块为当前编码块，在参考帧中的深灰色块BLKR0和BLKR1是当前编码块的参考块，浅灰色块是参考帧中与当前编码块空域位置相同的块。大的透明的线段方框是运动估计搜索范围。对于一致预测模式和一般化一致预测模式，所有参考帧的显示顺序都位于当前编码帧之前。

如图8所示是第一种高阶时域预测模式，这种情况下所有参考帧均在显示顺序上先于当前编码帧。当前编码块通过运动向量MV0指向参考块BLKR0，而在在先编码帧t-2*t0时，块BLKR0的运动向量为MV1，通过MV1可以获得BLKR0的参考补偿块BLKR1。当前块BLKC的时域补偿信号就是块BLKR0和块BLKR1的加权平均，其中最简单的一种情况就是算术平均。

如图9所示是第二种高阶时域预测模式，这种情况下部分参考帧在显示顺序上先于当前编码帧，另外一部分参考帧显示顺序上后于当前编码帧。当前编码块通过运动向量MV0指向显示顺序上后于当前编码帧中的参考块BLKR0，而在在先编码帧t+t0时，块BLKR0的运动向量为MV1，指向块BLKR1。当前块BLKC的时域补偿信号就是块BLKR0和块BLKR1的加权平均，其中最简单的一种情况就是算术平均。图12所示是一般化的高阶时域预测模式。BLKC通过运动向量MV0指向参考块BLKR0，块BLKR0通过自身的运动向量MV1(即编码BLKR0时使用的运动向量)指向块BLKR1，块BLKR1通过自身的运动向量MV2指向块BLKR2，...，块BLKRn-1通过运动向量MVn指向块BLKRn。当前块BLKC的时域补偿信号就是块BLKR0、块BLKR1、...块BLKRn的加权平均，其中最简单的一种情况就是算术平均。

对于图8、图9和图12所示三种高阶预测模式，编码器在当前参考帧的搜索范围内，对某一个点，根据当前运动向量指向的第一补偿块BLKR0，从内存中获得这个第一补偿块编码时使用的运动向量MV1，然后获得第二个补偿块BLKR1，以此类推，依次求出BLKR2、...、BLKRn。然后求出这些参考块的加权和，即当前块的补偿块，再求出当前点的花费。编码器在参考范围内对部分或所有点进行评估后，求出最佳运动向量MV0。

图10所示是一致高阶预测模式。在一致高阶预测模式中，所有参考帧的显示顺序都在当前编码帧之前。当前编码块BLKC通过一个运动向量MV0指向距离当前编码帧较远的一个参考帧中的块BLKR1。与MV0方向相同，但在距离当前编码帧较近的一个参考帧中，当前编码块的补偿块是BLKR0。当前块BLKC的时域补偿信号就是块BLKR0和块BLKR1的加权平均，其中最简单的一种情况就是算术平均。图13是一般化的一致高阶预测模式，当前编码块BLKC通过MV0指向参考帧t-n*t0中的参考块BLKRn，在一系列显示距离与当前编码帧更近的参考帧中，根据MV0的方向，可以得出一系列参考块BLKR1、BLKR2、...、BLKRn-1。当前块BLKC的时域补偿信号就是块BLKR1、块BLKR2、...块BLKRn的加权平均，其中最简单的一种情况就是算术平均。对于一致预测模式，编码器对一个较远距离的参考帧，在一个搜索范围内，评估部分或全部参考点的花费函数，选择出最优的一个作为最佳运动向量。对于每个参考点，根据当前运动向量MV0，在一系列参考帧中分别求出在同一个方向上的所有参考块BLKR0、BLKR1、...BLKRn，然后求出它们的加权平均作为当前块的补偿块，然后就能求出这个点的花费。

图11所示是时域合并补偿模式。当前编码块通过运动向量MV0指向参考块BLKR0，而在在先编码帧t-2*t0时，块BLKR0的运动向量为MV1，指向块BLKR1。如果将运动向量MV1平移，直接应用于当前编码块，那么所得到的补偿块是BLKR2。当前块BLKC的时域补偿信号就是块BLKR0和块BLKR2的加权平均，其中最简单的一种情况就是算术平均。对于时域合并补偿模式，编码器对一个参考帧在一定范围内的所有或部分点进行花费计算，求出最佳运动向量。对于每个点，首先根据当前运动向量MV0获得BLKR0，然后根据这个点的运动向量MV1获得BLKR2，计算BLKR0和BLKR2的加权平均，然后得到当前块的花费。

上面几种模式中都需要对若干参考块进行加权平均。在一个实际的编码器中，加权系数是固定的一种如算术平均，或有限的几种。

在编码器决定上述预测模式时，一般需要使用率失真运动估计。在最终决定编码模式时，需要使用简单的率失真花费比较方法，或者也可以采用复杂的率失真花费比较方法。如果编码器选择了上述五种时域预测模式中的一种，编码器需要向码流中写入信息以区分具体是五种的哪一种。不管采用了五种中的那种时域预测模式，编码器都需要获得预测残差，依次进行DCT变换，量化得到量化系数，并和唯一的运动向量MV0一起写入码流。量化系数经过反量化、反DCT变换后加上预测信号，得到当前块的重构，用于后续编码块的预测。

附图说明

图1为数字视频示例，其中指示1表示时域采样，指示2表示空域采样。

图2为块基运动补偿DCT变换视频编码器，其中指示1表示劈分为16x16宏块，指示2表示帧内预测信息，指示3表示运动向量信息，指示4表示控制信息，指示5表示量化DCT系数，指示6表示编码码流。

图3是P图像中的运动补偿。

图4是B图像中的前向运动补偿。

图5是B图像中的后向运动补偿。

图6是B图像中的对称运动补偿。

图7是B图像中的双向运动补偿。

图8是本发明所述的时域高阶预测模式第一种情况。

图9是本发明所述的时域高阶预测模式第二种情况。

图10是本发明所述的一致高阶预测模式。

图11是本发明所述的时域合并模式。

图12是本发明所述一般化的时域高阶预测模式。

图13是本发明所述一般化的一致高阶预测模式。

实施方式

在一个实际的视频编码器中，P或B图像中的编码块可以选择很多种编码模式，如本发明所述五种模式，跳过模式、帧内编码模式、单向补偿模式、对称补偿模式或双向补偿模式等。对于当前编码块，编码器对其中几种或全部模式进行评估，选择一种作为当前编码块的最终的编码模式。对于某一种模式的评估一般是通过计算率失真花费函数来进行的，对于帧间预测模式，要首先进行运动估计，求出最佳运动向量，然后求出率失真函数。下面依次对五种模式的率失真花费函数的计算进行描述。在本发明中，用BLK_i，j表示块BLK中坐标为(i，j)的像素，当前块所有坐标的集合用Ω表示。

图8和图9是时域高阶预测模式。对于当前块的一个可行的运动向量MV0，指向参考块BLKR0。然后取出块BLKR0的运动向量MV1，计算出BLKR0的参考块BLKR1。由于BLKR1块可以指向子像素位置并且覆盖多个采用不同运动向量区域，所以MV1定义为BLKR1的左上第一个像素，采用四舍五入法得到的最近整像素的运动向量。当前块的预测是块BLKR0和BLKR1的加权平均。在时域高阶预测模式下，编码器在搜索范围内的所有或部分运动向量中搜索最佳的运动向量MV0，使下式最小化：

${\mathrm{JH}}_{\mathrm{motion}}=\underset{(i,j)\∈\mathrm{\Ω}}{\mathrm{\Σ}}\mathrm{abs}({\mathrm{BLKC}}_{i,j}-\frac{c_0\×{\mathrm{BLKR}0}_{i,j}+c_1\×{\mathrm{BLKR}1}_{i,j}}{c_0+c_1})+{\mathrm{\λ}}_{\mathrm{motion}}\×({\mathrm{rate}}_{\mathrm{mv}0}+{\mathrm{rate}}_h)$

其中abs表示绝对值操作，λ_motion是拉格朗日参数，它是由量化参数决定的。rate_h是选择时域高阶预测模式的码率，rate_mv0是运动参数MV0的码率。c₀和c₁是加权参数，如果是双线性平均，那么就都是1。

图10所示是一致高阶预测模式。对于参考帧t-2*t0中的一个当然的运动向量MV0，根据MV0先求出补偿块BLKR1，然后求出和MV0方向相同的，应用于参考帧t-t0的运动向量 它指向块BLKR0。在实际的编码中，由于运动向量最多为四分之一像素或八分之一像素，所以MVx也要四舍五入到这个精度。在一致高阶预测模式中，编码器在一定搜索范围内搜索MV0，使下式最小化：

${\mathrm{JC}}_{\mathrm{motion}}=\underset{(i,j)\∈\mathrm{\Ω}}{\mathrm{\Σ}}\mathrm{abs}({\mathrm{BLKC}}_{i,j}-\frac{c_0\×{\mathrm{BLKR}0}_{i,j}+c_1\×{\mathrm{BLKR}1}_{i,j}}{c_0+c_1})+{\mathrm{\λ}}_{\mathrm{motion}}\×({\mathrm{rate}}_{\mathrm{mv}0}+{\mathrm{rate}}_c)$

其中abs表示绝对值操作，λ_motion是拉格朗日参数，它是由量化参数决定的。rate_c是选择时域高阶预测模式的码率，rate_mv0是运动参数MV0的码率。c₀和c₁是加权参数，如果是双线性平均，那么就都是1。

图11是时域合并预测模式。对于当前块的一个可行的运动向量MV0，指向参考块BLKR0。然后取出块BLKR0的运动向量MV1，将其应用于当前块，计算出下一个补偿块BLKR2。当前块的预测是块BLKR0和BLKR2的加权平均。在时域合并预测模式下，编码器在允许的所有或部分运动向量中搜索最佳的运动向量MV0，使下式最小化：

${\mathrm{JB}}_{\mathrm{motion}}=\underset{(i,j)\∈\mathrm{\Ω}}{\mathrm{\Σ}}\mathrm{abs}({\mathrm{BLKC}}_{i,j}-\frac{c_0\×{\mathrm{BLKR}0}_{i,j}+c_1\×{\mathrm{BLKR}2}_{i,j}}{c_0+c_1})+{\mathrm{\λ}}_{\mathrm{motion}}\×({\mathrm{rate}}_{\mathrm{mv}0}+{\mathrm{rate}}_b)$

其中abs表示绝对值操作，λ_motion是拉格朗日参数，它是由量化参数决定的。rat_eb是选择时域合并预测模式的码率，rate_mv0是运动参数MV0的码率。c₀和c₁是加权参数，如果是双线性平均，那么就都是1。

图12是一般化的时域高阶预测模式。对于当前块的一个可行的运动向量MV0，指向参考块BLKR0。然后取出块BLKR0的运动向量MV1，计算出BLKR0的参考块BLKR1，再取出块BLKR1的运动向量MV2，计算出BLKR1的参考块BLKR2，这样依次计算到BLKRn。当前块的预测是块BLKR0、BLKR1、…BLKRn的加权平均。在一般化时域高阶预测模式下，编码器在搜索范围内搜索最佳的运动向量MV0，使下式最小化：

${\mathrm{JHg}}_{\mathrm{motion}}=\underset{(i,j)\∈\mathrm{\Ω}}{\mathrm{\Σ}}\mathrm{abs}({\mathrm{BLKC}}_{i,j}-\frac{\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{c}_k\×{\mathrm{BLKRk}}_{i,j}}{\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{c}_k})+{\mathrm{\λ}}_{\mathrm{motion}}\×({\mathrm{rate}}_{\mathrm{mv}0}+{\mathrm{rate}}_{\mathrm{hg}})$

其中abs表示绝对值操作，λ_motion是拉格朗日参数，它是由量化参数决定的。rate_hg是选择一般化时域高阶预测模式的码率，rate_mv0是运动参数MV0的码率。c_i是加权参数，如果是双线性平均，那么就都是1。

图13是一般化的一致高阶预测模式。对于当前块的一个可行的运动向量MV0，指向参考帧t-n*t0中的参考块BLKRn。然后对于中间的其余参考帧t-k*t0，其中0＜k＜n，计算出与MV0相同方向的运动向量 然后依次求出相应的补偿块BLKRk。当前块的预测是块BLKR1、…BLKRn的加权平均。在一般化的一致高阶预测模式下，编码器在允许的所有或部分运动向量中搜索最佳的运动向量MV0，使下式最小化：

${\mathrm{JCg}}_{\mathrm{motion}}=\underset{(i,j)\∈\mathrm{\Ω}}{\mathrm{\Σ}}\mathrm{abs}({\mathrm{BLKC}}_{i,j}-\frac{\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{c}_k\×{\mathrm{BLKRk}}_{i,j}}{\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{c}_k})+{\mathrm{\λ}}_{\mathrm{motion}}\×({\mathrm{rate}}_{\mathrm{mv}0}+{\mathrm{rate}}_{\mathrm{cg}})$

其中abs表示绝对值操作，λ_motion是拉格朗日参数，它是由量化参数决定的。rate_cg是选择一般化一致高阶预测模式的码率，rate_mv0是运动参数MV0的码率。c_i是加权参数，如果是双线性平均，那么就都是1。

在所有模式决定完成后，需要选择一种作为当前块的时域预测模式。这个过程一般采用率失真最优化的方法，即对于每种模式，首先求出其残差，然后变换、量化、反量化、反变换，求出重构误差，并将量化系数熵编码求的总码率，然后选择率失真花费最小的那个模式。当后续块编码需要引用当前编码块的运动向量时，当前块运动向量定义为MV0。

当编码器选择上述五种模式中的一种时，编码器向码流中写入信息以区分具体是那种预测模式。然后编码唯一的运动参数MV0和残差信息。如果加权参数不止一种情况，还要向码流中写入信息以表示使用哪一种加权参数。

在一个视频解码器中，解码器从码流中读取信息，判断当前块是否为时域预测模式。如果是，那么继续从码流中读取信息以决定是否是本发明所述五种模式中的一种。如果是，那么从码流中读取运动参数MV0和残差信息。根据模式信息导出需要的附加的运动参数，和MV0一起进行多次运动补偿，然后将多个运动补偿信号执行加权平均得到当前块的预测块。然后对残差信息反量化，反DCT变换，加上预测就是当前块的重构。当后续块解码需要引用当前解码块中任何一个整像素的运动向量时，当前块的唯一运动向量定义为MV0。

Claims (6)

1.一种在视频编解码器中的高阶时域预测方法，其特征在于：至少使用一高阶时域预测模式，在这种模式中，当前编码块通过运动向量MV0指向其第一预测块BLKR0，然后BLKR0通过其自身编码时的运动向量MV1指向第二预测块BLKR1，当前块的预测定义为BLKR0和BLKR1的加权平均，当后续编码块需要引用当前块中任意一个像素的运动向量时，当前块运动向量定义为MV0，对于高阶时域预测模式，编码器在一定范围内搜索得到最佳的运动向量MV0并将其和模式信息编入码流，解码器读出相应信息执行预测解码过程。

2.一种在视频编解码器中的高阶时域预测方法，其特征在于：至少使用一致高阶预测模式，在这种模式中，当前编码块通过唯一运动向量MV0指向参考帧t-2*t0中的参考块BLKR1和参考帧t-t0中的参考块BLKR0，当前块的预测定义为BLKR0和BLKR1的加权平均，一致高阶预测模式的两个参考帧都位于当前编码帧之前，对于一致高阶预测模式，编码器在一定范围内搜索得到最佳的运动向量MV0并将其和模式信息编入码流，解码器读出相应信息执行预测解码过程。

3.一种在视频编解码器中的高阶时域预测方法，其特征在于：至少使用一时域合并预测模式，在这种模式中，当前编码块通过运动向量MV0指向其第一预测块BLKR0，而BLKR0编码时的运动向量是MV1，将MV1直接平移应用于当前编码块，可以得出第二预测块BLKR2，当前块的预测定义为BLKR0和BLKR2的加权平均，当后续编码块需要引用当前块中任意一个像素的运动向量时，当前块的运动向量定义为MV0，对于时域合并预测模式，编码器在一定范围内搜索得到最佳的运动向量MV0并将其和模式信息编入码流，解码器读出相应信息执行预测解码过程。

4.一种在视频编解码器中的高阶时域预测方法，其特征在于：至少使用一一般化的高阶时域预测模式，在这种模式中，当前编码块通过运动向量MV0指向其第一预测块BLKR0，然后BLKR0通过其自身编码时的运动向量MV1指向第二预测块BLKR1，以此类推，一直到块BLKRn，当前块的预测定义为BLKR0、BLKR1、…BLKRn的加权平均，当后续编码块需要引用当前块中任意一个像素的运动向量时，当前块的运动向量定义为MV0，对于一般化的高阶时域预测模式，编码器在一定范围内搜索得到最佳的运动向量MV0并将其和模式信息编入码流，解码器读出相应信息执行预测解码过程。

5.一种在视频编解码器中的高阶时域预测方法，其特征在于：至少使用一一致高阶预测模式，在这种模式中，所有参考帧位于当前帧之前，并且对于所有参考帧，当前编码块的参考块都由唯一运动向量MV0得出，即所有参考块都位于同一条运动直线上，当前块的预测定义为所有参考块的加权平均，对于一般化的一致高阶预测模式，编码器在一定范围内搜索得到最佳的运动向量MV0并将其和模式信息编入码流，解码器读出相应信息执行预测解码过程。

6.如权利要求1、2、3、4或5所述的任一项高阶时域预测方法，其特征在于：加权预测的加权参数是由编码器约定的，包括双线性平均；当加权参数不止一种时，对于每一个采用如权利要求1、2、3、4或5所述的任一项高阶时域预测方法中的预测模式的块，编码器还需要将加权参数信息写入码流。