CN101217663A - 用于编码器的图像像素块编码模式的快速选择方法 - Google Patents

Abstract

一种用于编码器的图像像素块编码模式的快速选择方法，其首先设定图像像素块编码模式选择的范围，且在所述选择范围中，至少包括帧内编码模式、帧间编码模式及跳过模式，接着其根据待编码的像素块包含的像素亮度值、预先设定的作为所述待编码的像素块的参考图像包含的像素点亮度值、及待编码的像素块按照跳过模式进行运动矢预测的各像素点的坐标偏移量来计算模式选择判别值，最后根据所述模式选择判别值与所述第一阈值及第二阈值的比较自所述选择范围中选择待编码像素块的最优编码模式，如此可最大限度地消除宏块编码模式选择中的冗余计算，有效提高编码器的编码速度。

Description

用于编码器的图像像素块编码模式的快速选择方法

技术领域

本发明涉及一种数字视频编解码技术领域，特别涉及一种用于编码器的图像像素块编码模式的快速选择方法。

背景技术

新一代视频压缩标准H.264较之传统标准具有更优的编码性能，研究表明，在相同的图像质量下，H.264能够比MPEG4节约多达50％的码率。然而，H.264高效的编码很大程度上依靠于极为复杂的编码算法，有统计表明，H.264编码的计算复杂度是H.263及MPEG4的3-10倍。

在H.264的复杂编码算法中，包括多模式宏块编码、多参考帧编码、高精度运动补偿等。其中，多模式宏块编码算法允许编码器对P帧宏块(即像素块)编码时采用多达13种的帧内模式(4种Intra16×16模式和9种Intra4×4)和多达7种的帧间模式(Inter16×16、Inter 16×8、Inter 8×16、Inter 8×8、Inter 8×4、Inter 4×8和Inter 4×4)，以及一种跳过模式(skip模式)编码。为获得高性能压缩，H.264参考编码器采用了基于率失真优化的宏块编码模式选择算法，对所有模式进行穷举遍历，计算出宏块按每种模式编码的率失真代价，然后选择代价函数最小的模式进行编码，其计算所采用的代价函数为：min{J(s，c，MODE/QP，λ_MODE)}(1)，其中，J(s，c，MODE/QP，λ_MODE)＝SSD(s，c，MODE/QP)+λ_MODE.R(s，c，MODE/QP)，QP为宏块编码量化参数，λ_MODE拉格朗日算子，MODE为下列模式的一种：

MODE∈{INTRA4*4，INTRA16*16，SKIP，

16*16，16*8，8*16，8*8，8*4，4*8，4*4}    (2)

R(s，c，MODE/QP)为由MODE和QP确定所需比特，SSD为当前宏块与参考宏块对应像素值的平方差和。此种基于率失真优化的穷举遍历宏块编码模式选择算法使得宏块编码模式选择成为H.264编码其中最复杂、最耗时的部分，严重影响了编码器的实时编码应用。

为解决上述问题，目前为止人们提出了许多编码模式快速选择算法。针对帧内编码模式的选择可参见参考文献“F.Pan，X.Lin，R.Susanto，K.P.Lim，Z.G.Li，G.N.Feng，D.J.Wu andS.Wu Fast Mode Decision for Intra Prediction[C]ITU-T，Doc.JVT-G013”，在所述参考文献中提出了一种通过分析编码宏块的图像纹理信息，确定图像边缘方向，快速选择帧内编码模式的方法；而在文献“田树民，王晓慧AVS，H.264视频帧间编码基于边缘方向的帧内预测方法：中国200510044814.6[P]”公布了一种基于边缘方向的帧内模式快速选择方法；在文献“B.Meng，O.C.Au，C.W.Wong，and H.K.Lam Efficient Intra-Prediction ModeSelection for 4×4 Blocks in H.264[C]in Proc.IEEE ICME 2003，Baltimore，MarylandJuly 2003”提出了一种通过对宏块数据进行下采样达到减少代价函数计算量的目的的方法；其他还包括一些利用统计特性，优先选择概率较大模式的方法。而针对帧间模式选择，文献“K.P.Lim，S.Wu，D.J.Wu，S.Rahardja，X.Lin，F.Pan and Z.G.Li Fast INTER ModeSelection[C]ITU-T，Doc.#JVT-I020”提出了一种通过分析检测宏块图像是否具有平滑均匀特性已决定是否提前结束模式穷举遍历的方法，减少不必要的穷尽试探计算率失真代价；文献“戴琼海，施一平 帧间预测编码的模式快速选择方法：中国200710063819.2[P]”和“李华，张淑芳一种快速帧间预测模式选择方法：中国200610013140.8[P]”分别公布了一种可以减少运算复杂度的帧间宏块编码模式快速选择方法。

尽管前述各种方法均在一定程度上降低了编码器宏块编码模式选择的运算复杂度，但这些方法均分别都局限于如何在众多帧内模式或帧间模式中快速选择一种最优模式，而没有解决如何在跳过模式、帧内模式、帧间模式中进行快速选择的问题。请参见图1，编码器在得到宏块编码最优模式之前，必须依次执行帧间最优模式选择、帧内最优模式选择、跳过模式判断。此模式选择过程实际上是一个穷举遍历的方法，复杂度太高。为此，文献“B，Jeon and J.LeeFast mode decision for H.264[C]ITU-T，Doc.#JVT-J033，2003”提出一种改进的方法，请参见图2，在模式选择开始时，将跳过模式判断提前，当判断出跳过模式为最优时即不再对其他两种模式进行判断了，如果跳过模式不是最优，接着进行帧间最优模式选择，如果在帧间选出了最优模式，则提前结束判断，否则进入帧内最优模式选择，如此来获得最优模式。目前几乎所有的宏块编码模式快速选择算法都基于此方法，但此方法仍然存在大量的冗余计算，例如，如果最后选择的最优宏块编码模式为帧内某一模式为例，根据前述改进的方法，仍然需要执行跳过模式判断和帧间最优模式选择，显然，这两个过程是多余的。

因此，针对现有宏块编码模式的选择所存在的缺点，如何有效改进以提高编码器的效率实已成为本领域技术人员亟待解决的技术课题。

发明内容

本发明的目的在于提供一种用于编码器的图像像素块编码模式的快速选择方法，以减少编码器对像素块的编码模式选择的冗余计算，有效提高编码器的编码速度。

为了达到上述目的，本发明提供的用于编码器的图像像素块编码模式的快速选择方法，包括步骤：1)设定图像像素块编码模式选择的范围，其中，在所述范围中，至少包括帧内编码模式、帧间编码模式及跳过模式；2)根据待编码的像素块包含的像素亮度值、预先设定的作为所述待编码的像素块的参考图像包含的像素点亮度值、及待编码的像素块按照跳过模式进行运动矢预测的各像素点的坐标偏移量来计算模式选择判别值；3)判断所述模式选择判别值是否小于预先设定的第一阈值时，若是，对所述待编码的像素块进行编码的编码器选择跳过模式对所述待编码的像素块进行编码，否则进一步判断所述模式选择判别值是否小于预先设定的第二阈值时，若是，所述编码器选择帧间编码模式对所述待编码的像素块进行编码，若所述模式选择判别值不小于所述第二阈值，所述编码器选择帧内编码模式对所述待编码的像素块进行编码，其中，所述第二阈值大于所述第一阈值。

较佳地，所述帧内编码模式为包括帧内16*16直流子模式、帧内16*16水平子模式、帧内16*16垂直子模式、帧内16*16平坦子模式、帧内4*4直流子模式、帧内4*4水平子模式、帧内4*4垂直子模式、帧内4*4水平偏下子模式、帧内4*4水平偏上子模式、帧内4*4垂直偏右子模式、帧内4*4垂直偏左子模式、帧内4*4左下斜子模式、及帧内4*4右下斜子模式共13种类型的子编码模式；所述帧间编码模式包括帧间16×16子模式、帧间16×8子模式、帧间8×16子模式、帧间8×8子模式、帧间8×4子模式、帧间4×8子模式、帧间4×4子模式共7种类型的子编码模式。

较佳地，所述用于编码器的图像像素块编码模式的快速选择方法还可包括一是否需要进行步骤2)的判断步骤，即在当前待编码的像素块所在图像中，判断位于当前待编码的像素块的左边、上面、左上及右上的像素块中的一者对应的编码模式是否为跳过模式，若是，则进行步骤2)。

较佳地，步骤2)采用 $\mathrm{TopModeCost}=2^{S-1}*\underset{i=0}{\overset{N/S-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N/S-1}{\mathrm{\Σ}}}|C_{i*S,j*S}-R_{\mathrm{MV}(i*S,j*S)}|$ 来计算所述模式选择判别值，其中，TopModeCost为所述模式选择判别值，C_i*S，j*S为所述待编码像素块中坐标位置为(i*S，j*S)的像素亮度分量值，MV_(i*S，j*S)为所述待编码像素块按跳过模式进行运动矢预测的像素量坐标偏移量，R_{MV(i*S，j*S)}为所述参考图像中坐标位置为MV_(i*S，j*S)的像素亮度分量值，N为预设常量，S为所述待编码像素块所在图像的下采样比例。

综上所述，本发明的用于编码器的图像像素块编码模式的快速选择方法通过采用一定的判断策略首先在跳过模式、帧内编码模式、及帧间编码模式中为宏块选择一种最优模式，如此可最大限度地消除宏块编码模式选择中的冗余计算，有效提高编码器的编码速度。

附图说明

图1为现有穷举遍历模式选择的操作流程示意图。

图2为现有改进的模式选择操作流程示意图。

图3为本发明的用于编码器的图像像素块编码模式的快速选择方法实施例一操作流程示意图。

图4为本发明的用于编码器的图像像素块编码模式的快速选择方法实施例二操作流程示意图。

具体实施方式

实施例一：

请参阅图3，本发明的用于编码器的图像像素块编码模式的快速选择方法首先执行步骤S10，即设定图像像素块(即宏块)编码模式选择的范围，在本实施例所设定的选择范围中，至少包括了帧内编码模式、帧间编码模式及跳过模式，但并非以本实施例为限，本领域的技术人员可根据实际的需要设定不同的选择范围，在此不再一一例举。需注意的是，所述帧内编码模式可包含13种类型的子编码模式，如下表一所示：

表一：

模式	解释
		Intra16×16_D	帧内16×16直流模式
Intra16×16_H	帧内16×16水平模式
		Intra16×16_V	帧内16×16垂直模式
Intra16×16_P	帧内16×16平坦模式
		Intra4×4_D	帧内4×4直流模式
Intra_4×4_H	帧内4×4水平模式
		Intra_4×4_V	帧内4×4垂直模式
Intra_4×4_HD	帧内4×4水平偏下模式
		Intra_4×4_HU	帧内4×4水平偏上模式
Intra_4×4_VR	帧内4×4垂直偏右模式
		Intra_4×4_VL	帧内4×4垂直偏左模式
Intra_4×4_LD	帧内4×4左下斜模式
		Intra_4×4_RD	帧内4×4右下斜模式

所述帧间编码模式可包含7种类型的子编码模式，如下表二所示：

表二：

模式	解释
		Inter_16×16	帧间16×16模式
Inter_16×8	帧间16×8模式
		Inter_8×16	帧间8×16模式
Inter_8×8	帧间8×8模式
		Inter_8×4	帧间8×4模式
Inter_4×8	帧间4×8模式
		Inter_4×4	帧间4×4模式

接着执行步骤S11。

在步骤S11中，根据待编码的像素块包含的像素亮度值、预先设定的作为所述待编码的像素块的参考图像包含的像素点亮度值、及待编码的像素块按照跳过模式进行运动矢预测的各像素点的坐标偏移量来计算模式选择判别值，在本实施例中，采用 $\mathrm{TopModeCost}=2^{S-1}*\underset{i=0}{\overset{N/S-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N/S-1}{\mathrm{\Σ}}}|C_{i*S,j*S}-R_{\mathrm{MV}(i*S,j*S)}|$ 来计算所述模式选择判别值，其中，TopModeCost为所述模式选择判别值，C_i*S，j*S为所述待编码像素块中坐标位置为(i*S，j*S)的像素亮度分量值，MV_(i*S，j*S)为所述待编码像素块按跳过模式进行运动矢预测的像素量坐标偏移量，R_{MV(i*S，j*S)}为所述参考图像中坐标位置为MV_(i*S，j*S)的像素亮度分量值，N为预设常量，针对H.264标准，N可设置为16，S为所述待编码像素块所在图像的下采样比例，其值可为1、2或者4，即分别用于原始图像、1/2下采样图像和1/4下采样图像。通过对图像进行下采样，可以减少宏块编码模式选择判别值的计算复杂度，接着执行步骤S12。

在步骤S12中，判断所述模式选择判别值是否小于预先设定的第一阈值，若是执行步骤S13，否则执行步骤S14，其中，所述第一阈值可以是一个与所述待编码像素块编码量化参数相关的常数，其可以根据对所述待编码像素块进行编码的编码器在编码了若干数量的图像信号后不断学习修正产生。

在步骤S13中，对所述待编码的像素块进行编码的编码器选择跳过模式对所述待编码的像素块进行编码，其中，所述编码器可为MPE62、MPEG4、H.263或H.264编码器等。

在步骤S14中，判断所述模式选择判别值是否小于预先设定的第二阈值，若是，执行步骤S16，否则执行步骤S15，其中，所述第二阈值大于所述第一阈值，通常其为所述第一阈值的倍数(例如M倍，M被称为帧间模式选择因子)，在本实施例中，所述第二阈值为所述第一阈值的3倍(即M＝3)。

在步骤S15中，所述编码器选择帧内编码模式对所述待编码的像素块进行编码，同时其会采用现有的帧内模式快速选择算法在帧内13种子编码模式中选取相应的子编码模式作为宏块编码最终最优的编码模式，由于帧内子模式快速选择算法为现有算法，且为本领域技术人员所熟悉，故在此不再详述。

在步骤S16中，所述编码器选择帧间编码模式对所述待编码的像素块进行编码，同时其会采用现有的帧间模式快速选择算法在帧间7种子编码模式中选取相应的子编码模式作为宏块编码最终最优的编码模式，同样，由于帧间子模式快速选择算法也为现有算法，例如，中国专利申请号为200710063819的名称为帧间预测编码的模式快速选择方法所披露的一种帧间子模式的选择算法等。

实施例二：

请参见图4，本实施例中的用于编码器的图像像素块编码模式的快速选择方法与实施例一中的用于编码器的图像像素块编码模式的快速选择方法不同仅仅在于在执行了设定图像像素块(即宏块)编码模式选择的范围的步骤后，执行步骤S17，即执行一是否需要计算模式选择判别值的判断步骤，更详细地说，即在当前待编码的像素块所在图像中，判断位于当前待编码的像素块的左边、上面、左上及右上的像素块中的一者对应的编码模式是否为跳过模式，若是，则计算模式选择判别值(即执行步骤S11)，否则编码器就选择帧间编码模式对所述待编码的像素块进行编码(即执行步骤S16)，其它步骤都与实施例一相同，故在此不再重述。

以下将通过具体测试结果来对比本发明的用于编码器的图像像素块编码模式的快速选择方法与现有的像素块编码模式选择方法。

例如，设置N＝16、S＝1、M＝3(各参数的含义如前所述)，采用如下表三所列的第一阈值(即TOP_MODE_THR)值，并采用H.264编码器，并针对视频格式为2CIF的视频会议图像序列，请参见下表四，其为本发明的用于编码器的图像像素块编码模式的快速选择方法、现有的穷举遍历的模式选择方法、及背景技术中提及的改进方法的实验测试结果对比表，

表三：

量化参数	top_MODE_THR值	量化参数	top_MODE_THR值	量化参数	top_MODE_THR值	量化参数	top_MODE_THR值
								0	300	13	300	26	500	39	800
1	300	14	300	27	500	40	800
								2	300	15	300	28	600	41	800
3	300	16	300	29	600	42	800
								4	300	17	300	30	650	43	800
5	300	18	300	31	800	44	1000
								6	300	19	300	32	800	45	1000
7	300	20	300	33	900	46	1000
								8	300	21	400	34	850	47	1000
9	300	22	400	35	800	48	1000
								10	300	23	400	36	800	49	1000
11	300	24	400	37	800	50	1000
								12	300	25	400	38	800	51	1000

表四：

量化参数	模式选择方法	峰值信噪比(dB)	码率(Kbps)	编码速度(fps)	编码速度提升比例(％)
						32	穷举遍历	37.725	146.52	40.38	0
改进方法	37.146	111.31	69.95	72.2
					本发明方法		37.296	127.63	94.79	234.7
28	穷举遍历	40.366	267.18	40.00							0
					改进方法	39.853	212.50	66.67	66.7
	本发明方法	40.036	245.07	85.91						214.8
					24	穷举遍历	41.636	601.17	43.39		0
改进方法	41.433	518.40	60.96	39.9
						本发明方法	41.336	563.09	82.61	190.4
20	穷举遍历	43.966	1531.05	47.42							0
					改进方法	43.956	1506.40	49.04	3.4
	本发明方法	43.489	1242.29	81.53						171.9

综上所述，本发明的用于编码器的图像像素块编码模式的快速选择方法采用简单有效的判断策略，在跳过模式、帧内编码模式、及帧间编码模式中为宏块选择一种最优模式，其通过最优模式判断一次性即可完成对跳过模式、帧内编码模式、及帧间编码模式的选择，最大限度地消除了宏块编码模式选择中的冗余计算，相对于现有改进的宏块编码模式选择方法，其避免了同时进行帧内和帧间编码模式选择的冗余计算，进一步降低了H.264编码器对宏块编码模式选择的计算复杂度，由具体测试实例可见，相比现有的改进方法，在保持相当的码率大小和解码图像主客观质量情况下，编码器编码速度大幅提高，提高幅度可达30％以上；此外，通过设定特定的算法参数(如N、下采样比例S、帧间模式选择因子M、第一阈值TOP_MODE_THR)，均可以实现本发明的具体应用。

Claims (5)

1.一种用于编码器的图像像素块编码模式的快速选择方法，其特征在于包括步骤：

1)设定图像像素块编码模式选择的范围，其中，在所述范围中，至少包括帧内编码模式、帧间编码模式及跳过模式；

2)根据待编码的像素块包含的像素亮度值、预先设定的作为所述待编码的像素块的参考图像包含的像素点亮度值、及待编码的像素块按照跳过模式进行运动矢预测的各像素点的坐标偏移量来计算模式选择判别值；

3)判断所述模式选择判别值是否小于预先设定的第一阈值时，若是，对所述待编码的像素块进行编码的编码器选择跳过模式对所述待编码的像素块进行编码，否则进一步判断所述模式选择判别值是否小于预先设定的第二阈值时，若是，所述编码器选择帧间编码模式对所述待编码的像素块进行编码，若所述模式选择判别值不小于所述第二阈值，所述编码器选择帧内编码模式对所述待编码的像素块进行编码，其中，所述第二阈值大于所述第一阈值。

2.如权利要求1所述的用于编码器的图像像素块编码模式的快速选择方法，其特征在于：所述帧内编码模式为包括帧内16*16直流子模式、帧内16*16水平子模式、帧内16*16垂直子模式、帧内16*16平坦子模式、帧内4*4直流子模式、帧内4*4水平子模式、帧内4*4垂直子模式、帧内4*4水平偏下子模式、帧内4*4水平偏上子模式、帧内4*4垂直偏右子模式、帧内4*4垂直偏左子模式、帧内4*4左下斜子模式、及帧内4*4右下斜子模式共13种类型的子编码模式。

3.如权利要求1所述的用于编码器的图像像素块编码模式的快速选择方法，其特征在于：所述帧间编码模式包括帧间16×16子模式、帧间16×8子模式、帧间8×16子模式、帧间8×8子模式、帧间8×4子模式、帧间4×8子模式、帧间4×4子模式共7种类型的子编码模式。

4.如权利要求1所述的用于编码器的图像像素块编码模式的快速选择方法，其特征在于还包括是否需要进行步骤2)的判断步骤，即在当前待编码的像素块所在图像中，判断位于当前待编码的像素块的左边、上面、左上及右上的像素块中的一者对应的编码模式是否为跳过模式，若是，则进行步骤2)。

5.如权利要求1所述的用于编码器的图像像素块编码模式的快速选择方法，其特征在于：步骤2)采用 $\mathrm{TopModeCost}=2^{S-1}*\underset{i=0}{\overset{N/S-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N/S-1}{\mathrm{\Σ}}}|C_{i*S,j*S}-R_{\mathrm{MV}(i*S,j*S)}|$ 来计算所述模式选择判别值，其中，TopModeCost为所述模式选择判别值，C_i*S，j*S为所述待编码像素块中坐标位置为(i*S，j*S)的像素亮度分量值，MV_(i*S，j*S)为所述待编码像素块按跳过模式进行运动矢预测的像素量坐标偏移量，R_{MV(i*S，j*S)}为所述参考图像中坐标位置为MV_(i*S，j*S)的像素亮度分量值，N为预设常量，S为所述待编码像素块所在图像的下采样比例。

Images