CN1615020A - 一种复杂度可分级的帧内预测方法 - Google Patents

Abstract

本发明公开了一种复杂度可分级的帧内预测方法，利用其相邻块与当前编码图像块的纹理相关性，定义图像块及其参考相邻块的位置关系映射图；对边缘图像块直接指定其预测模式，然后作预测模式处理确定最优预测模式，并按此模式对图像块进行编码；对中心图像块则根据参考相邻块的有效预测模式确定当前图像块的可选预测模式，然后作预测模式处理确定局部最优预测模式；然后根据当前编码器的计算能力冗余度，再次确定当前图像块的可选预测模式，确定最终的最优预测模式，并按此模式对图像块进行编码。本发明可实现帧内预测最优模式的快速选择，并实现对帧内预测复杂度准确的控制。

Description

一种复杂度可分级的帧内预测方法

技术领域

本发明属于数字视频通信领域中的视频信息的传输与处理领域，具体涉及一种视频编码复杂度可分级的帧内预测方法。

背景技术

1948，Shannon发表其经典论文“通信的数学原理”成为信息论诞生的标志。1959年，Shannon进一步确立了码率失真理论，奠定了信息编码的理论基础，并从此启动了音视频压缩编码的产业化步伐。当前主要国际标准有：ITU-T制定的H.261、H.263系列；ISO制定的MPEG-1、MPEG-2、MPEG-4系列；为适应全球工业与经济的发展，国际和国内标准化组织加快了制定视频编码标准的步伐。在国内，中国数字音视频编码技术标准工作组(AVS)正在制定面向存储应用的AVS1.0标准和面向移动多媒体应用的AVS-M标准。国际上，H.264和MPEG-4 part10是由ISO和ITU的联合视作组(JVT)共同制定的最新的视频编码标准。由于采用了多种新型的编码技术(如多参考帧、整数DCT变换、帧内预测、基于内容的熵编码等)，它比先前任何一种编码标准的压缩效率都要高得多。例如对静态图片，用H.264帧内编码技术压缩得到的I帧(Intra frame)比用JPEG技术的压缩结果有高达2dB的增益。

但是H.264编码效率的提高是以极高的计算复杂度(高计算量)为代价的。如H.264解码复杂度是同等情况下H.263的2倍，而编码复杂度是H.263的3倍。对H.264进行复杂度测试的实验表明：运动估计占了整个计算量的54.8％，4x4帧内预测占了24.5％，1/4内插占了9.9％，DCT变换占了5.2％。在不同的实际应用场合中，每个终端的计算能力是不一样的。所以，H.264和AVS等最新视频编码标准的高计算复杂度特性可能成为应用时的瓶颈。在高端应用场合，由于终端计算能力较强，是可以满足编码器的高计算量要求的。但是在低端应用场合，就需要降低编码器的复杂度，以适应终端较低的计算能力。为了降低编码器的复杂度，从计算复杂度较高的部分入手是合理的，如运动估计、帧内预测和1/4插值运算等。总之，为了同时满足高端和低端的应用，视频编码标准中应该具有一种对复杂度进行分级控制的机制和方法。

在目前的H.264和正在制定的AVS标准中，对帧内预测规定了9种可选预测模式，其中模式2为无方向预测模式，其余8种为图1所示的有方向预测模式，包括模式0-1、3-8。在H.264和AVS中，一帧图像的帧内预测处理过程为：按照图像块的编码顺序，对每一个图像块从模式0开始(直到模式8)进行预测模式处理，并得到该模式下的率失真代价值。然后以率失真代价值最小的模式作为当前图像块的最优预测模式，并采用该模式进行最终编码。然后进入下一个图像块进行帧内预测处理，直到整帧图像编码结束。

由此可见，为了找到最优的预测模式，H.264和AVS中采用的是在9种模式中进行全搜索的方法，没有复杂度控制的机制，所以它们的计算复杂度是不可调整的。这也使得在H.264和AVS中，帧内预测的计算复杂度高、且为恒定值。如在H.264中，帧内预测占了整个计算量的24.5％。

美国发明专利申请US2003206594(2003年11月6日公布)基于一张统计概率表，提出了一种I帧(Intra-Frame)复杂度分级(Complexity-Scalable)的控制方法。该方法的缺点是：需要在编码器端和解码器端存储相同的统计概率表，占用额外的存储空间；另外该方法与现行发布的国际标准H.264中对应部分存在不一致问题。

发明内容

本发明的目的在于克服上述不足之处，提供一种用于视频编码的帧内预测方法，该方法可以实现对计算复杂度的分级控制，而且不需要额外的存储空间，并且与现行的国际H.264和国内标准AVS实现完全兼容。

本发明提供的一种复杂度可分级的帧内预测方法，其步骤包括：

步骤(1)：定义图像块及其参考相邻块的位置关系映射图，其中参考相邻块为左上块、上边块、右上块、左边块和左下块；

设置复杂度限制变量CL，CL为整数，取值范围为1至9，令计算能力冗余变量CR＝0；

步骤(2)：判断当前图像块在当前帧内的位置，并令模式计数器变量MC＝0；如果当前图像块为上边缘或左边缘块，即边缘块时，则进入步骤(3)进行处理；否则，则进入步骤(4)进行处理；

步骤(3)：边缘块的处理：

步骤(3.1)：确定边缘块的可选预测模式并统计其个数：

对一帧图像左上角的第一个图像块，可选预测模式为模式2；

对上边缘的其它图像块，其可选预测模式为模式1、模式2和模式8；

对于左边缘的其它图像块，对于H.264标准，其可选预测模式为模式0、模式2，模式3和模式7；对于AVS标准，其可选预测模式为模式0、模式2和模式7；

然后，令变量CR＝CR+可选预测模式个数；

步骤(3.2)：在边缘块的可选预测模式中，对每一个选定的预测模式，进行“预测模式处理”，同时令MC＝MC+1，CR＝CR-1；以率失真代价值最小的模式作为当前边缘块的最优预测模式，并以最优预测模式对当前图像块进行最终编码，并生成码流；转到步骤(2)进入下一个图像块，直至一帧图像中所有图像块编码结束；

步骤(4)：中心块的处理：

步骤(4.1)：在参考相邻块中以其有效预测模式作为中心块的可选预测模式，如果参考相邻块的最优预测模式在0至8的范围内，则该最优预测模式为当前中心块的有效预测模式，并以该模式作为当前中心块的可选预测模式，并规定模式2恒为中心块的一个可选预测模式，并令CR＝CR+CL；

步骤(4.2)：在中心块的可选预测模式中，对每一个选定的预测模式进行“预测模式处理”，令MC＝MC+1，CR＝CR-1，再选定局部最优预测模式；如果变量CR＞0，则转到步骤(4.3)；否则以局部最优预测模式对当前图像块进行最终编码，并生成码流，结束当前图像块的处理，进入下一图像块，转到步骤(2)；

步骤(4.3)：根据局部最优预测模式，确定新的可选预测模式：

如果CR+MC≥9，则规定所有8种有方向的预测模式为新的可选预测模式，然后进入步骤(4.4)；否则进行如下操作：如果局部最优预测模式为有方向的预测模式2，则选择模式0、模式1、模式3和模式4为当前图像块新的可选预测模式；对无方向的局部最优预测模式，则根据H.264或AVS规定的预测方向，采用其最相邻的两个方向预测模式为新增的可选预测模式；

步骤(4.4)：在新增的可选预测模式集合中，如果某一预测模式已经在步骤(4.2)中处理过，则从集合中去掉该模式，然后在剩下的可选预测模式集合中，对每一种预测模式进行“预测模式处理”，并结合步骤(4.2)中的最小率失真代价值，选择所有率失真代价值中最小值对应的预测模式作为最终的最优预测模式，并以最优预测模式对当前图像块进行最终编码，并生成码流，结束当前图像块的操作；然后转到步骤(2)进入下一个图像块，直至一帧图像中所有图像块编码结束；

其中，“预测模式处理”的步骤为：(a)、根据该模式规定的预测方法，采用当前图像块的左邻块和上邻块的像素值对当前图像块的所有像素值进行预测；(b)、计算原始像素值和预测值之间的差值，得到当前图像块的残差图像；(c)、对残差图像块进行整数变换和量化；(d)、对计算量化后的变换系数进行熵编码，得到对应的码率；(e)、进行反量化和反变换，得到重建的图像块；(f)、计算原始图像块和重建图像块之间的失真；(g)、结合当前图像块的码率和失真，计算当前图像块在当前预测模式下的率失真代价值。

相邻图像块的纹理具有空间相关性。帧内预测所确定的最优预测模式，其预测方向就是纹理信息最强的方向。所以，可以推论在H.264或AVS等编码系统中，相邻图像块的最优预测模式也是相关的。这也是本发明方法的理论基础。

本发明用于数字视频编码系统中，对图像进行帧内预测处理时，提供一种对帧内预测计算复杂度进行分级控制的方法。本发明具有以下主要特点和优点：

其一、利用当前图像块与参考相邻块之间预测模式的相关性，确定当前图像块的可选预测模式。

其二、所提出的方法简单有效，不需要额外的存储空间开销，可精确控制帧内预测技术的计算复杂度。

其三、所提出的方法不改变原有的码流结构，与现行的国际、国内标准完全兼容。

附图说明

图1为H.264或AVS中定义的8个方向预测模式及其标号示意图。

图2为本发明提出的计算复杂度可分级的帧内预测方法流程图。

图3本发明中定义和采用的图像块相邻位置关系映射图。

具体实施方式

本发明方法的流程图如图2所示，下面对其作进一步详细的说明。

步骤(1)：定义图像块及其参考相邻块的位置关系映射图。

在一帧图像中，当图像块位于该帧图像的中心时，其相邻块总数有八个。不失一般性，本发明定义其中的5个为当前图像块的参考相邻块，如图3所示分别是左上块UL、上边块U、右上块UR、左边块L和左下块DL(其中C为当前图像块)。但当编码图像块位于整个图像的边缘时，其参考相邻块则会小于5个。以一种极端特殊的情况为例：一帧图像左上角的第一个图像块，其参考相邻块的个数为0。

另外，定义如下变量以便于算法描述：

复杂度限制变量CL(Complexity Limit)：变量CL是一个编码器输入参数。它是根据终端的计算能力进行设定的，用来控制每帧图像帧内预测的平均计算复杂度。在当前H.264或AVS中，9模式全搜索的帧内预测方法的复杂度最高。在本发明中，定义该复杂度的值为9，所以变量CL取值范围为1至9，其相对计算复杂度约为H.264或AVS的1/9至9/9。

模式计数器变量MC(Mode Counter)：变量MC用于在处理可选预测模式时进行计数，即MC＝MC+1。该变量表示在处理一个图像块时，实际的计算复杂度大小。变量MC在每个图像块进行帧内预测处理之前被置初始值0。

计算能力冗余变量CR(Computational Redundancy)：根据本发明方法，在每帧图像进行帧内预测处理时，应该控制其平均计算复杂度等于变量CL。但在处理每一个单独的图像块时，其实际计算复杂度可能大于或小于CL的值，变量CR即用来累加这些差异值(即CL-MC)。变量CR在每一帧图像开始编码之前被置初始值0。

步骤(2)：判断当前图像块的位置转入相应处理步骤。

判断当前图像块在当前帧内的位置，并令模式计数器变量MC＝0。如果当前图像块在当前帧的上边缘或左边缘(以下简称为边缘块)，则进入步骤(3)进行处理。否则，当前图像块不在上边缘也不在左边缘(以下简称为中心块)，则进入步骤(4)进行处理；

步骤(3)：边缘块的处理：

步骤(3.1)：确定边缘块的可选预测模式并统计其个数。

对一帧图像左上角的第一个图像块(同时在上边缘和左边缘)，其可选预测模式为模式2；对上边缘的其它图像块，其可选预测模式为模式1、模式2和模式8；对于左边缘的其它图像块，对于H.264标准，其可选预测模式为模式0、模式2，模式3和模式7；对于AVS标准，其可选预测模式为模式0、模式2和模式7。然后，令变量CR＝CR+可选预测模式个数。

步骤(3.2)：对边缘块的可选预测模式逐一进行预测模式处理，然后以最优预测模式对图像块进行编码。

针对每一种具体的帧内预测模式，对边缘块进行预测模式处理。该处理过程按H.264和AVS所规定的步骤进行，即：(a)、根据该模式规定的预测方法，采用当前图像块的左邻块和上邻块的像素值对当前图像块的所有像素值进行预测。(b)、计算原始像素值和预测值之间的差值，得到当前图像块的残差图像。(c)、对残差图像块进行整数变换和量化。(d)、对计算量化后的变换系数进行熵编码，得到对应的码率。(e)、进行反量化和反变换，得到重建的图像块。(f)、计算原始图像块和重建图像块之间的失真。(g)、结合当前图像块的码率和失真，计算当前图像块在当前预测模式下的率失真代价(RD cost)值。然后，令MC＝MC+1，CR＝CR-1。在所有可选预测模式中，以率失真代价值最小的模式作为当前边缘块的最优预测模式，并以该模式对当前图像块进行最终编码，并生成码流。当前图像块的帧内预测处理过程结束后，转到步骤(2)进入下一个图像块，直至一帧图像中所有图像块编码结束

本发明将上述步骤(a)-(g)简称为“预测模式处理”。但本发明不涉及改变H.264或AVS所规定的每一帧内预测模式的具体处理细节。本说明书以后部分中，均采用“预测模式处理”概括具体模式下的帧内预测处理步骤，而不再详细说明。

步骤(4)：中心块的处理：

步骤(4.1)：在参考相邻块中以其有效预测模式作为中心块的可选预测模式。

在中心块的参考相邻块中，如果该邻块在之前已经经过帧内预测处理，则其最优预测模式在0至8的范围内，该最优预测模式是当前图像块的有效预测模式；否则，该邻块的最优预测模式为算法设定的初始值，不在0至8的范围内，对当前图像块而言是无效预测模式。根据图3，在中心块的5个参考相邻块中，选择有效预测模式作为当前中心块的可选预测模式。另外，本发明规定模式2固定为中心块的一个可选预测模式。在确定可选的预测模式之后，令CR＝CR+CL。

步骤(4.2)：对中心块的可选预测模式，逐一进行“预测模式处理”，并确定局部最优预测模式。然后判断计算能力是否有冗余，并作相应处理。

在中心块的可选预测模式中，逐一根据其具体模式对当前图像块进行“预测模式处理”，同时令MC＝MC+1，CR＝CR-1。然后，选取率失真代价值最小的模式作为当前图像块的局部最优预测模式；如果此时计算能力尚有冗余(即变量CR＞0)，则进入步骤(4.3)。否则，以当前局部最优预测模式对当前图像块进行最终编码，并生成码流。然后转到步骤(2)进入下一个图像块，直至一帧图像中所有图像块编码结束。

步骤(4.3)：根据局部最优预测模式，确定中心块新的可选预测模式。

如果此时CR+MC≥9，则规定所有8种有方向的预测模式(如图1所示)为新的可选预测模式，然后进入步骤(4.4)。否则进行如下操作：如果局部最优预测模式为无方向预测模式2，则选择模式0、模式1、模式3和模式4为新的可选预测模式；对有方向的局部最优预测模式，则根据H.24或AVS规定的预测方向，采用其最相邻的两个方向预测模式作为新增的可选预测模式(举例：如果当前局部最优预测模式为7，则其最相邻的两个预测模式为模式0和模式3，请参见图1)，然后进入步骤(4.4)。

步骤(4.4)：对新增的可选预测模式逐一进行“预测模式处理”，然后以最优预测模式对当前块进行编码。

在新增的可选预测模式集合中，如果某一预测模式已经在步骤(4.2)中处理过，则从集合中去掉该模式。然后在剩下的可选预测模式集合中，对每一种预测模式进行“预测模式处理”，并结合步骤(4.2)中的最小率失真代价值，选择所有率失真代价值中最小值对应的预测模式作为最终的最优预测模式，以最优预测模式对当前图像块进行最终编码，并生成码流，结束当前图像块的操作。然后转到步骤(2)进入下一个图像块，直至一帧图像中所有图像块编码结束。

综上所述，本发明方法的核心思想是：利用相邻图像块的最优预测模式之间的相关性，从相邻块的预测模式集合中推导出当前图像块的可选预测模式，然后以最优预测模式对图像块进行最终编码，并生成码流，同时对帧内预测的计算复杂度进行精确控制。

实施例：

本发明提出的复杂度可分级的帧内预测方法可以用于不同标准的视频标准中。这里以中国音视频编码标准化工作组(AVS)制定的面向移动多媒体应用的编码系统AVS-M为例，说明本发明提出的帧内预测方法的效果。在AVS-M编码系统中(版本为AVS-M software r2)，采用本发明提出的复杂度可分级的帧内预测编码方法替代原来的方法，对六个典型CIF测试序列“Bus”、“Football”、“Forman”、“News”、“Paris”和“Tempete”进行对比测试。对比测试条件为：帧内预测的目标复杂度即变量CL＝5；在AVS-M对比方法中采用固定的前5个模式；测试点为QP＝28、32、36、40；所有序列全部采用I帧(Intra-frame)进行编码；

表一为同等复杂度条件下本发明方法与AVS-M对比方法的结果对比。从试验结果数据中可以看出，本发明提出的复杂度可分级的帧内预测方法从两个方面对编码性能进行了增强：1、提高了PSNR值；2、同时减少了编码的码率。与对比试验相比，本发明方法提高PSNR在[0.0427，0.3396]的范围之内，编码效果得到提升。表二为目标复杂度和实际复杂度的结果对比。从表二中可以看出，本发明方法实现了对计算复杂度的精确控制，其控制误差为0；另外的实验结果表明，当目标复杂度为[3，9]范围内任一数值时，本发明方法的控制误差都很小。

经以上分析和实验验证，可以得出以下结论：本发明提出的复杂度可分级的帧内预测方法，其理论依据正确、实际应用可行，可以精确地达到复杂度精确控制的目的。

                                            表一

视频序列			QP＝28	QP＝32	QP＝36	QP＝40	性能提高
								Bus	AVS-M方法	PSNR	35.66	32.57	29.73	27.04
码率	4480.33	3100.44	2026.36	1313.19
						本文方法	PSNR			35.68	32.58	29.74	27.06	提高：0.0427dB
码率	4469.46	3086.81	2016.55	1306.82	减少：0.6084％
							Football		AVS-M方法	PSNR	37.05	34.29	31.81	29.49
码率	3135.67	2083.22	1316.59	887.05
						本文方法		PSNR		37.07	34.32	31.86	29.53	提高：0.1499dB
码率	3074.92	2041.89	1291.26	876.37	减少：2.4703％
								Forman	AVS-M方法	PSNR	37.15	34.49	31.99	29.51
码率	2919.43	1934.71	1224.52	834.62
						本文方法	码率			37.19	34.55	32.09	29.62	提高：0.3199dB
PSNR	2822.47	1858.95	1170.23	807.91	减少：5.1470％
							News		AVS-M方法	PSNR	38.6	35.72	32.83	29.99
码率	2572.26	1811.03	1277	913.06
						本文方法		PSNR		38.62	35.75	32.92	29.95	提高：0.3396dB
码率	2484.28	1752.58	1227.72	880.89	减少：4.0293％
								Paris	AVS-M方法	PSNR	36.44	33.32	30.27	27.3
码率	4669.86	3336.76	2298.96	1541.18
						本文方法	PSNR			36.46	33.33	30.3	27.31	提高：0.2231dB
码率	4583.88	3262.71	2236.25	1495.74	减少：2.6677％
							Tempete		AVS-M方法	PSNR	35.86	32.6	29.54	26.72
码率	5070.68	3526.25	2315.36	1445.83
						本文方法		PSNR		35.88	32.61	29.56	26.75	提高：0.1691dB
码率	5012.79	3466.31	2255.44	1407.34	减少：2.2822％

                              表二

视频序列	测试点	目标复杂度	实际复杂度	控制误差
					Bus	QP＝28	5	5.00	0
QP＝32	5	5.00	0
				QP＝36		5	5.00	0
QP＝40	5	5.00	0
				football		QP＝28	5	5.00	0
QP＝32	5	5.00	0
					QP＝36	5	5.00	0
QP＝40	5	5.00	0
					Forman	QP＝28	5	5.00	0
QP＝32	5	5.00	0
				QP＝36		5	5.00	0
QP＝40	5	5.00	0
				News		QP＝28	5	5.00	0
QP＝32	5	5.00	0
					QP＝36	5	5.00	0
QP＝40	5	5.00	0
					Paris	QP＝28	5	5.00	0
QP＝32	5	5.00	0
				QP＝36		5	5.00	0
QP＝40	5	5.00	0
				tempete		QP＝28	5	5.00	0
QP＝32	5	5.00	0
					QP＝36	5	5.00	0
QP＝40	5	5.00	0

Claims (1)

1、一种复杂度可分级的帧内预测方法，其步骤包括

步骤(1)：定义图像块及其参考相邻块的位置关系映射图，其中参考相邻块为左上块、上边块、右上块、左边块和左下块；

设置复杂度限制变量CL，CL为整数，取值范围为1至9，令计算能力冗余变量CR＝0；

步骤(2)：判断当前图像块在当前帧内的位置，并令模式计数器变量MC＝0；如果当前图像块为上边缘或左边缘块，即边缘块时，则进入步骤(3)进行处理；否则，则进入步骤(4)进行处理；

步骤(3)：边缘块的处理：

步骤(3.1)：确定边缘块的可选预测模式并统计其个数：

对一帧图像左上角的第一个图像块，可选预测模式为模式2；

对上边缘的其它图像块，其可选预测模式为模式1、模式2和模式8；

对于左边缘的其它图像块，对于H.264标准，其可选预测模式为模式0、模式2，模式3和模式7；对于AVS标准，其可选预测模式为模式0、模式2和模式7；

然后，令变量CR＝CR+可选预测模式个数；

步骤(3.2)：在边缘块的可选预测模式中，对每一个选定的预测模式，进行“预测模式处理”，同时令MC＝MC+1，CR＝CR-1；以率失真代价值最小的模式作为当前边缘块的最优预测模式，并以最优预测模式对当前图像块进行最终编码，并生成码流；转到步骤(2)进入下一个图像块，直至一帧图像中所有图像块编码结束；

步骤(4)：中心块的处理：

步骤(4.1)：在参考相邻块中以其有效预测模式作为中心块的可选预测模式，如果参考相邻块的最优预测模式在0至8的范围内，则该最优预测模式为当前中心块的有效预测模式，并以该模式作为当前中心块的可选预测模式，并规定模式2恒为中心块的一个可选预测模式，并令CR＝CR+CL；

步骤(4.2)：在中心块的可选预测模式中，对每一个选定的预测模式进行“预测模式处理”，令MC＝MC+1，CR＝CR-1，再选定局部最优预测模式；如果变量CR＞0，则转到步骤(4.3)；否则以局部最优预测模式对当前图像块进行最终编码，并生成码流，结束当前图像块的处理，进入下一图像块，转到步骤(2)；

步骤(4.3)：根据局部最优预测模式，确定新的可选预测模式：

如果CR+MC≥9，则规定所有8种有方向的预测模式为新的可选预测模式，然后进入步骤(4.4)；否则进行如下操作：如果局部最优预测模式为有方向的预测模式2，则选择模式0、模式1、模式3和模式4为当前图像块新的可选预测模式；对无方向的局部最优预测模式，则根据H.264或AVS规定的预测方向，采用其最相邻的两个方向预测模式为新增的可选预测模式；

步骤(4.4)：在新增的可选预测模式集合中，如果某一预测模式已经在步骤(4.2)中处理过，则从集合中去掉该模式，然后在剩下的可选预测模式集合中，对每一种预测模式进行“预测模式处理”，并结合步骤(4.2)中的最小率失真代价值，选择所有率失真代价值中最小值对应的预测模式作为最终的最优预测模式，并以最优预测模式对当前图像块进行最终编码，并生成码流，结束当前图像块的操作；然后转到步骤(2)进入下一个图像块，直至一帧图像中所有图像块编码结束；

其中，“预测模式处理”的步骤为：(a)、根据该模式规定的预测方法，采用当前图像块的左邻块和上邻块的像素值对当前图像块的所有像素值进行预测；(b)、计算原始像素值和预测值之间的差值，得到当前图像块的残差图像；(c)、对残差图像块进行整数变换和量化；(d)、对计算量化后的变换系数进行熵编码，得到对应的码率；(e)、进行反量化和反变换，得到重建的图像块；(f)、计算原始图像块和重建图像块之间的失真；(g)、结合当前图像块的码率和失真，计算当前图像块在当前预测模式下的率失真代价值。

Images