CN101523917A - 几何帧内预测 - Google Patents

Abstract

使用参数模型来捕捉并表示局部信号几何形态使得新的几何帧内预测方案能够更好地对视频图像进行编码。该编码方案赋予视频编码器灵活性和可扩展性以将所期望的计算复杂度与视频帧内容相匹配。由于减少了标准帧内编码期间产生的伪边缘，该编码方案还使得编码器能够通过使用帧内预测来更有效地对图像进行编码。

Description

几何帧内预测

技术领域

本发明涉及数字视频信息的编码和该信息的压缩，并且本发明使对信息的编码与图像内的几何信息相关。

背景技术

在诸如H.263、MPEG-1/2和MPEG-4视频之类的先前视频编码标准中，在变换域中进行了帧内预测。H.264/AVC是用于在空间域中进行帧内预测的第一个视频编码标准。它采用方向空间预测，从而推测(extrapolate)当前画面(picture)的先前已解码部分的边缘。虽然与之前的视频编码标准相比这提高了预测信号质量，进而提高了编码效率，但是在利用沿着边缘、轮廓和方向性纹理而存在的几何冗余(geometricalredundancy)方面还不是最佳的。并且，它不能适应各种计算复杂度要求。首先，帧内预测模式的数目是固定的，因此它在对视频帧内容和计算复杂度进行匹配方面缺乏适应性和可扩展性。其次，因为帧内编码的缘故，预测可能产生伪边缘，其可能导致用更多的比特来对残差进行编码。

发明内容

本发明提出了一种新的帧内编码方案，该方案用于在利用图像或视频画面中邻近区域和当前区域间的可预测性和/或相关性的同时，有效地捕捉图像的几何结构。此外，本发明的一个或多个实施例允许根据某一目标压缩复杂度和/或所期望的算法复杂度来自适应地选择几何信息的量和/或精度。在本发明中，我们提出一种新的几何帧内预测方案，该方案既致力于解决在匹配视频帧内容和计算复杂度方面的适应性和可扩展性问题，又致力于解决可能致使需要用更多的比特来对残差进行编码的标准帧内编码预测中的伪边缘问题。

附图说明

表1示出H.264的帧内4×4亮度预测模式。

表2示出H.264帧内16×16亮度预测模式。

表3示出画面参数集的语法。

表4示出宏块预测的语法。

图1示出对4×4块的预测样本进行的标记。

图2示出帧内4×4块的预测模式。

图3示出帧内16×16亮度预测模式。

图4示出在描述几何形态(geometry)中用作参数模型的一阶多项式。

图5示出通过将一阶多项式用作参数模型而生成的分割掩模(mask)。

图6示出最新技术的视频编解码器的示例(即H.264块方案)。

图7示出需要变化以便并入几何帧内预测模式的最新技术视频编解码器的示例(即H.264块方案)。

图8示出最新技术的视频编解码器的示例(即H.264块方案)。

图9示出需要变化以便并入几何帧内预测模式的最新技术视频编解码器的示例(即H.264块方案)。

图10是使用几何帧内预测对一个MB进行编码的示例的流程图。

图11是使用几何帧内预测对一个MB进行解码的示例的流程图。

具体实施方式

H.264/AVC是将空间方向预测用于帧内编码的第一个视频编码标准。与在变换域中完成帧内预测的先前标准相比，这提高了预测信号质量，进而提高了编码效率。在H.264/AVC中，通过使用周围可用样本来形成空间帧内预测，所述周围可用样本是在解码器处可用的、相同片(slice)内的先前已重构样本。对于亮度样本，可以基于4×4块(被表示为Intra_4×4)、基于8×8块(被表示为Intra_8×8)并且针对16×16宏块(被表示为Intra_16×16)来形成帧内预测。除亮度预测之外，还进行独立的色度预测。在此，总共九个模式用于Intra_4×4和Intra_8×8，四个模式用于Intra_16×16，并且四个模式用于色度分量。编码器通常选择使预测和要编码的原块之间的差最小的预测模式。另一种帧内编码模式，I_PCM，使得编码器能够简单地避开预测和变换编码过程。它使得编码器能够精确地表示样本值并且对可以被包含在经编码的宏块中的比特数目设置绝对限制，而不会限制经解码的图像质量。

对于Intra_4×4，图1示出上方和左侧的样本(被标记为A—M)，这些样本先前被编码且重构过，并且因此在编码器和解码器处可用于形成预测。通过使用如图2和表1所示的预测模式来基于样本A—M计算预测块的样本a、b、c、...、p。图2中的箭头指示每个模式的预测方向。在模式3到模式8中，从预测样本A—M的加权平均值来形成预测的样本。Intra_8×8基本上使用与4×4预测相同的原理，然而Intra_8×8使用8×8的预测块大小并且对预测值(predictor)进行低通滤波以改善预测性能。如图3和表2所示，四种模式可用于Intra_16×16。从先前已编码的上方和/或左侧色度样本来预测经帧内编码的宏块的每个8×8色度分量，并且两个色度分量使用相同的预测模式。除了模式的编号不同外，四种预测模式极其类似于Intra_16×16。这些模式是DC(模式0)、水平(模式1)、垂直(模式2)和平面(模式3)。

虽然H.264/AVC中的帧内预测提高了视频编码效率，但它在捕捉沿着边缘、轮廓和方向性纹理而存在的几何冗余方面还不是最佳的。此外，H.264/AVC中目前的帧内预测技术尚不能适应可能在不同应用中遇到的、各种复杂度要求的情况。首先，在H.264/AVC中预测方向的数目是固定的，因此它缺乏根据可用计算复杂度和/或压缩质量来最佳地匹配十分易变的视频帧内容的适应性、灵活性和可扩展性。例如，为了对视频帧中所发现的各种边缘进行编码，根据应用、编码质量和/或情况，预测可能不够精确或太精确。具有不同功率和/或存储限制的解码器和编码器，支持比H.264/AVC中的现有模式更多或更少的模式。其次，H.264中帧内预测的不对称性带来限制。例如，在帧内4×4预测模式下，如图2所示，由于块的扫描/编码顺序所以每个方向的预测准确度不同。在诸如0、1、4、5和6之类的预测模式下，可以通过最近的边界像素来预测目标块中的像素。但是在其他模式下，一些最近的边界像素尚未被编码并且不可用，或者预测必须使用更远的样本。因此，在诸如3、7和8之类的预测模式下，预测准确度趋于比在其它模式下的准确度更低。这些模式可能产生一些伪边缘，其可能致使用更多的比特来对残差进行编码。

另外，示出了次优地用于对图像信息进行编码的树结构。测试表明基于树的对图像进行编码不能最佳地对由规则的(平滑的)边缘或轮廓所分隔出的异类(heterogeneous)区域(每个区域被视为具有明确定义的且均匀的特性，例如平坦的、平滑的或固定纹理的特性)进行编码。此问题源于这样的事实：树结构不能最佳地捕捉沿着边缘、轮廓或方向性纹理而存在的几何冗余。此原理(联系最新技术的视频编码策略的情况)暗示了对宏块的自适应树分割，即使这比简单的固定大小的帧分割更好，也还是不足以最佳地用于为了进行编码而捕捉二维数据中所包含的几何信息。在对H.264/AVC中的帧内编码模式的先前描述中，人们能够清楚地看到帧内分割是基于树的分割结构。为了解决简单四叉树分割的限制而提出了用于图像编码的画面分割技术。但是，一些开发仅考虑到通过使用简单的多项式表达式来对所生成的“几何”分割中的数据进行“帧内”编码。这些开发既不能利用邻近区域间的冗余，也不能有效地表示比简单边缘更复杂的定向结构。此外，它们缺乏用于纹理编码的有效残差编码。

本发明中，至少一个实施例试图解决H.264/AVC帧内预测所呈现的不足以及在几何边缘编码方面现有试验性工作的强烈限制。本发明的各实施例将画面间编码中的工作构架详细地扩展到基于帧内的预测编码。

本发明中，展示了对参数模型的使用，所述参数模型用来捕捉并表示局部信号的几何形态。假设要预测帧的区域或块，那么除那些最新技术的帧内预测模式之外还测试几何预测模式。所关心的块或区域被分割为若干个区域，通过一个或一组参数模型来描述这些区域。具体地，分割的一种形式可以是分成两个分割，其中通过参数模型或函数f(x，y，p)来描述它们的边界，其中x和y表示坐标轴，p是包含描述分割形状的信息的参数集。例如，f(x，y，p)可以定义由多项式边界所分隔出的两个分割。一旦通过使用f(x，y，p)将帧的块或区域划分为分割，就通过最合适的预测值来预测每个所生成的分割，通过区域的统计数据(statistics)从邻近的经解码像素(例如，以仿真H.264/AVC中的预测模式的方式)和/或通过利用某一模型(例如拟合多项式)的参数对分割内容进行显式(explicit)“帧内”编码(例如对DC值、平面拟合参数等进行编码)来得到所述最合适的预测值。对所有模式参数(分割方案+分割内容描述)的选择都经过失真和编码成本量度的折衷优化。

H.264构架中几何帧内预测模式的一个实施例运行如下：我们首先将宏块或子宏块分割成两个区域，其中由参数模型或函数f(x，y，p)来描述边界。然后我们通过区域的统计数据从邻近的经解码像素和/或通过利用某一模型(例如拟合多项式)的参数对分割内容进行显式“帧内”编码(例如对DC值、平面拟合参数等进行编码)来预测每个区域，然后进行残差编码。最后，我们计算失真量度。只有该模式在速率失真(rate-distortion)量度方面优于标准H.264帧内预测模式的情况下，才选择该模式。

两个分割间的边界可以通过某种类型的多项式f_p(x，y，p)(下文中也被表示为f(x，y))被建模并被精细地近似，该多项式能够被运用以使得它对诸如局部角度、位置和/或某种曲率之类的几何信息进行描述。因此，在一阶多项式的具体情况下，我们可以将分割边界(在图4中示出)描述为

f(x，y)＝x cos θ+y sin θ-ρ，

其中在使f(x，y)＝0的那些位置(x，y)上定义分割边界。分割掩模(在图5中示出)被定义为

位于零线(f(x，y)＝0)一侧的所有像素被归为属于一个分割区域(例如分割1)。位于另一侧的所有像素被归为另一个区域(例如分割0)。

对每个分割，我们可以通过使用源自下述方式之一的可用信息来填充预测。

1)从邻近的已解码像素进行预测，例如方向预测、DC预测和/或平面预测。在方向预测中，预测方向可以与分割边缘的方向相同或不同。

2)通过区域内的统计数据来进行预测，该统计数据可以是DC值、区域内的拟合平面或者更高阶的模型。

3)从经解码的图像区域中搜索到的小块(patch)。

在编码器处，基于某一失真量度或某一快速算法的穷举搜索(例如基于统计数据的穷举搜索)可以用来决定应使用哪一种预测。

在本发明的H.264构架的具体情况下，我们增加用于宏块的几何帧内预测模式(命名为Intra_Geo_16×16)，其中在intra4×4后但Intra16×16前插入此模式。通过使用线来表示几何边界，其中我们对距离(ρ)和角度(θ)进行编码。我们能够共同地或独立地编码(ρ，θ)。(ρ，θ)能够被绝对编码或通过使用邻近信息被差分编码。分割的精度能够由距离的量化步长和角度的量化步长来控制，这些量化步长可以用诸如序列参数集、画面参数集或片头(slice header)之类的高级语法来传送。对于每个分割，指定了指示将使用哪种方法来填充预测的指示符。如果使用根据邻近的经解码像素的方向预测，则我们需要对方向进行编码。如果我们通过统计数据和/或通过利用比如块内的某一模式的参数对分割内容进行显式“帧内”编码来填充预测，则我们需要例如对DC值或平面信息进行编码。如果我们通过小块来填充分割，则我们需要对“运动”向量的等价物进行编码。表3和表4中示出了语法的示例。

qs_for_distance指定距离的量化步长。

qs_for_angle指定角度的量化步长。

quant_distance_index指定经量化的距离的索引。当乘以qs_for_distance时，其给出经量化的距离。

quant_angle_index指定经量化的角度的索引。当乘以qs_for_angle时，其给出经量化的角度。

geo_pred_idc指定分割中的几何预测的指示。对于等于0的geo_pred_idc，使用方向预测。对于等于1的geo_pred_idc，使用DC值。对于等于2的geo_pred_idc，使用小块。

directional_pred_mode指定标识预测方向的方向预测模式。

dc_pred_value指定DC预测值。

mvdy指定x的运动向量差。

mvdy指定y的运动向量差。

图6示出最新技术的视频编解码器的示例(即H.264块方案)。图7示出需要变化以便并入几何帧内预测模式的最新技术视频编解码器的示例(即H.264块方案)。图8示出最新技的术视频编解码器的示例(即H.264块方案)。图9示出需要变化以便并入几何帧内预测模式的最新技术视频编解码器的示例(即H.264块方案)。图10是使用几何帧内预测对一个MB进行编码的示例的流程图。图11是使用几何帧内预测对一个MB进行解码的示例的流程图。

              表1 H.264帧内4×4亮度预测模式

模式0(垂直)   垂直地推测上方样本A、B、C、D。

模式1(水平)   水平地推测左侧样本I、J、K、L。

模式2(DC)     通过样本A...D和I...L的平均值来预测P中的所有样

              本。

模式3(左下    以左下和右上之间的45度角对样本进行内插。

对角线)

模式4(右下    以偏下并偏右的45度角来推测样本。

对角线)

模式5(右垂直) 以垂直偏右接近26.6度的角度进行推测(宽/高＝1/2)。

模式6(下水平) 以水平偏下接近26.6度的角度进行推测。

模式7(左垂直) 以垂直偏左接近26.6度的角度进行推测(或进行内

              插)。

模式8(上水平) 以水平偏上接近26.6度的角度进行推测。

              表2 H.264帧内16×16亮度预测模式

模式0(垂直)   从上方样本(H)进行推测。

模式1(水平)   从左侧样本(V)进行推测。

模式2(DC)     上方和左侧样本(H+V)的平均值。

模式4(平面)   使线性“平面”函数适合上方和左侧样本H和V。此

              模式适合工作在亮度平缓变化的区域。

表3 画面参数集的语法

 

Pic_parameter_set_rbsp(){	C	描述符
			...
qs_for_distance	1	u(v)
			qs_for_angle	1	u(v)
...
			}

表4 宏块预测的语法

 

Pic_parameter_set_rbsp(){	C	描述符
			...
if(MbPartPredMode(mb_type，0)＝＝Intra_Geo_16 x 16){	2	u(1)
			quant_distance_index	2	u(v)|ae(v)
quant_angle_index	2	u(v)|ae(v)
			for(mbPartIdx＝0；mbPartIdx<2；mbPartIdx++){
geo_pred_idc	2	u(2)|ae(v)
			if(geo_pred_idc＝＝0)
directional_pred_mode	2	u(v)|ae(v)
			else if(geo_pred_idc＝＝1)
dc_pred_value	2	u(8)|ae(v)
			else{
mvdx	2	se(v)|ae(v)
			mvdy	2	se(v)|ae(v)
}
			}
}
			...
}

Claims (21)

1.一种视频编码器，其中，像素组可以被划分为任意形状的分割，通过源自经帧内编码的图像数据和/或基于模型拟合的显式描述的预测数据来填充每个所述分割。

2.根据权利要求1所述的视频编码器，其中，用一个或多个参数模型或函数来描述所述任意形状。

3.根据权利要求2所述的视频编码器，其中，多项式被用于所述参数模型或函数。

4.根据权利要求3所述的视频编码器，其中，一阶多项式模型被用于所述多项式。

5.根据权利要求4所述的视频编码器，其中，所述多项式包括角度和距离两个参数。

6.根据权利要求1所述的视频编码器，其中，所述模型包括适用于控制压缩效率和/或编码复杂度的参数。

7.根据权利要求1所述的视频编码器，其中，从经解码的像素或者从所述分割内的统计数据来预测与每个分割相关联的所述预测数据。

8.根据权利要求7所述的视频编码器，其中，通过使用方向预测、DC预测或平面预测中的至少一种预测来执行所述预测。

9.根据权利要求8所述的视频编码器，其中，所述方向预测的方向可以与所述分割方向相同或不同。

10.根据权利要求7所述的视频编码器，其中，从所述经解码的图像区域搜索到的小块被用作预测。

11.根据权利要求7所述的视频编码器，其中，所述统计数据可以选自包括DC值、拟合平面和高阶模型的列表。

12.根据权利要求1所述的视频编码器，其中，所述预测和编码是基于H.264的扩展的。

13.根据权利要求12所述的视频编码器，其中，基于参数模型的帧内编码模式可以应用于宏块或子宏块。

14.根据权利要求1所述的视频编码器，其中，所述模型内的参数的精度在序列参数集、画面参数集或片头中被传达，或者从其它编码参数被导出。

15.根据权利要求14所述的视频编码器，其中，描述分割边界的所述模型的所述参数可以在序列参数集、画面参数集或片头中被编码并被传达。

16.根据权利要求7所述的视频编码器，其中，可以在宏块预测数据中传送指示使用哪种预测方法的码字。

17.根据权利要求8所述的视频编码器，其中，可以在宏块预测数据中传送所述方向。

18.根据权利要求10所述的视频编码器，其中，在宏块预测数据中对运动向量进行编码。

19.根据权利要求11所述的视频编码器，其中，可以在宏块预测数据中对DC、平面信息和/或更高阶模型进行编码。

20.根据权利要求1所述的视频编码器，其中，选择所述模型参数和所述分割预测以共同地最小化某一失真量度和/或编码成本量度。

21.根据权利要求1所述的视频编码器，其中，所述模型参数和所述分割预测是根据所述图像区域的统计数据而选择的。

Images