CN1585495A

CN1585495A - H.264/avc帧内预测模式的快速选择方法

Info

Publication number: CN1585495A
Application number: CN 200410025123
Authority: CN
Inventors: 张兆扬; 滕国伟; 张颖
Original assignee: University of Shanghai for Science and Technology
Current assignee: University of Shanghai for Science and Technology
Priority date: 2004-06-11
Filing date: 2004-06-11
Publication date: 2005-02-23
Anticipated expiration: 2024-06-11
Also published as: CN100401789C

Abstract

本发明涉及一种H.264/AVC实时编码器的帧内预测模式快速选择方法。在H.264/AVC编码器中，帧内编码采用帧内预测方法，利用色度块和亮度块、亮度块的内部以及亮度块预测模式选择间的相关性，根据率失真优化(RDO)准则确定不同判决依据(RDO或SAD)来快速选择帧内预测模式。本发明提供的方法，对比于全搜索方法，可以在信噪比和码率变化很小的同时，可使编码速度平均提高6倍以上。

Description

H.264/AVC帧内预测模式的快速选择方法

技术领域

本发明涉及一种信息处理的视频编码的方法，特别是一种H.264/AVC帧内预测模式的快速选择方法。

背景技术

自从ITU-T颁布了H.261后，基于块的混合编码方法作为框架被普遍采用并不断发展。国际标准H.261、H.263、MPEG-1、MPEG-2、MPEG-4等的制定极大推动了多媒体技术的应用。然而，随着新服务的大量增加和高清电视的即将普及，以及现有传输媒体如Cable Modem、Xdsl、UMTS较低的传输码率，迫切需要提高编码效率；同时还要求视频编码标准能够适应现存或未来的网络。这些问题为新视频编码标准H.264/AVC的产生提供了切实的依据。

这些视频编码标准采用混合编码框架，即将输入视频图象分割成宏块，对其进行预测、变换、量化、熵编码。预测包括帧内预测和帧间预测，帧内预测可去除空间冗余，而帧间预测可去除时间上的冗余。

H.264/AVC仍遵从这种基于块的混合编码方案，但包含了许多新特征：VCL层和NAL层分离、空间域的帧内估计、1/4像素精度运动估计、自适应块尺寸运动补偿、多参考帧运动补偿预测、通用B帧的概念、低复杂16bit的整数变换和量化、环内去块滤波器和高效的熵编码。这些新特征一方面能够显著提高编码效率；另一方面具有网络友好性，可有效用于各种网络和应用环境。

其中H.264/AVC为提高帧内图象的编码效率，采用帧内预测去除空间冗余性。这种帧内预测技术依然以宏块为处理单元，即通常将一帧图象分割成16×16的图象块进行编码。然而基本处理块单元相对于其它标准由8×8降为4×4，即变换采用4×4的变换矩阵。因此亮度宏块支持两种帧内预测块尺寸：4×4和16×16，而色度仅支持8×8。每个进行帧内预测的当前块利用邻块的相邻像素值来预测当前块像素值，然后计算残差、变换、熵编码。H.264/AVC标准中每个4×4块的帧内预测包括9种预测模式(如附图1)。而亮度16×16和色度8×8仅支持4种预测模式，分别为：垂直(V)、水平(H)、直流(D)和平坦模式(P)，分别简称为V、H、D和P模式。

同时这项技术也被应用到帧间编码之中，即对当前宏块进行完帧间预测后，接着对它进行帧内预测，以率失真优化为最终判决依据，率失真小的模式被确定为最终模式。这样既可以提高帧间编码宏块的编码效率，又可以提高容错能力。

例如对某帧(I帧、P帧或B帧皆可)中当前宏块M进行帧内预测编码，利用相邻块与当前块的紧挨的像素值来预测当前块的像素值，然后用当前块的像素值减去预测值得到残差矩阵，将此残差矩阵经过变换、量化、熵编码得到该宏块的编码码流。

但利用邻块像素值的预测方式是不同的，因此产生了多种预测模式(如附图1)。在判断这些模式中的最优模式，需要一个衡量的准则，目前采用了率失真优化(RDO-rate distortion optimization)，其定义如下：

J_MODE(S_k，I_k|Q，λ_MODE)＝D_REC(S_k，I_k|Q)+λ_MODER_REC(S_k，I_k|Q) 公式(1)

式中D_REC表示编码后总的失真，R_REC表示总的码率。λ_MODE≥0为拉格朗日参数，通过确定编码选择项I_k，使编码后的失真和码率总和最小。

本发明在色度宏块和亮度16×16块的模式判决中采用了一种简化的判决准则为SAD(Sum of Absolute Difference)，其定义如下：

SAD = Σ_{i = 0}^{N - 1} Σ_{j = 0}^{N - 1} abs - (f (i, j) - f^{'} (i, j))

公式(2)

式中f(i，j)为原始信号，f′(i，j)是帧内预测后的预测信号，N等于8(色度块)或16(亮度块)。

H.264/AVC校验模型对于当前宏块帧内预测模式的确定给出了一种全搜索方法，以色度宏块的帧内预测模式为外循环，以亮度宏块的两种块模式为内循环，即对应每一种色度宏块的帧内预测模式，都要分别比较亮度宏块I4和I16的所有模式。故这种方法能够扫描到所有的模式，因此编码质量最高，运算量也是最大的。搜索的模式总数为4×(16×9+4)，共592个，这意味着为了得到一个宏块的最佳模式，需要计算592个不同的J_MODE。这使H.264/AVC在现有的硬件条件下实现编码是不可能的。

发明内容

本发明的目的是提供一种H.264/AVC实时编码器的帧内预测模式的快速选择方法，对比于全搜索方法，它可以在信噪比和码率变化很小的同时，可使编码速度平均提高6倍以上。

为达到上述目的，本发明采用下述技术方案：

一种H.264/AVC实时编码器帧内预测模式的快速选择方法，在H.264/AVC编码器中，帧内编码采用帧内预测方法，其特征在于利用当前宏块的色度块和亮度块帧内预测模式间的相关性、4×4亮度块(I4)和16×16亮度块(I16)的模式选择之间的相关性以及亮度块预测模式内部的相关性，以简化的率失真优化(RDO)为判决依据，快速进行帧内预测模式选择。

快速选择的步骤如下：

a)确定色度块的模式选择具有独立性，即亮度宏块无论选择I16还是I4，色度宏块模式都是一致的，从而首先对色度预测模式以SAD为准则进行独立判决，确定色度的最佳预测模式。

b)确定了色度的最佳预测模式后，为亮度快模式判决提供如下依据：对于亮度I16而言，当色度块选择D模式，亮度可以选择D、H、V、P模式；当色度块选择H模式，亮度可以选择D、H、P模式；当色度块选择V模式，亮度可以选择D、V、P模式；当色度块选择P模式，亮度可以选择D、P模式。而对于亮度I4，I8选择的模式是亮度I4下绝大多数4×4块可能选择的模式。

c)对于宏块，I4的选择概率远远大于I16，因此我们首先进行I4下4×4块的模式判决；根据邻块的模式判断得到当前块的可能模式，并和由步骤b确定的可能模式，分别计算这两种模式下的RDO，并与阈值T0比较，小于T0，则可确定为当前4×4的最佳模式，否则较小值RDO的为可能最佳模式。

d)比较步骤c中得到的可能最佳模式的预测方向邻近的模式的RDO，进一步确定可能的最佳模式。如果它是V、H或D，则比较这三种模式中未曾比较的模式；如果它为其它模式，则比较所有其它未曾比较的模式。

e)在完成当前宏块的16个4×4块的模式判决后，计算宏块纹理复杂度，以MSE来衡量，并与阈值T1比较，如果大于T1，提前终止判决，上述得到的结果为宏块最佳模式；如果小于T1，则进行亮度16×16块的模式判决。

f)根据步骤b中色度块的最佳模式与亮度块的关系，确定当前宏块I16的可能模式；统计步骤e中I4情况下16个子块的模式，得到概率最大的两种模式；综合考虑这些可能模式，最终确定I16的可能模式。并以SAD为准则，确定I16的最佳预测模式。

g)自适应确定步骤e所述的阈值T1来判断是否提前终止I16判决和自适应确定步骤c所述的T0来判断是否提前终止I4的判决。

本发明综合利用上述方法进行帧内预测模式选择。实验结果显示，可以提高编码速度数倍，且能够保证编码的码率和PSNR与全搜索方法相比变化不大。

附图说明

图1是本发明的一个实施例的信息处理视频编码框图。

图2是本发明的一个实施例的处理流程图

图3是4×4块帧内预测方向图

图4是当前块的邻块位置图

图5是I16和I4的率失真变化图

具体实施方式

以下结合附图描述本发明的H.264/AVC实时编码器的帧内预测模式的快速选择方法的一个优选实施例：

在校验模型Jm72编码器上，具体工作环境为2.4GHz CPU的PC机，针对I帧序列，编码序列为IIII，熵编码采用了CABAC，量化参数分别为14、28，亮度I4的RDO阈值T0和宏块复杂度的阈值T1可自适应计算得到，采用下述方法：在我们实验过程中，发现校验模型提供的全搜索方法忽略了模式选择间的相关性。在实际中，宏块的色度块和亮度块帧内预测模式间、4×4亮度块(I4)和16×16亮度块(I16)的模式选择之间以及亮度块预测模式内部都具有较强的相关性。如果能充分利用这些相关性，就可以快速有效的确定帧内预测的最佳模式。

(1)参见图1和图2，首先，可以观察到亮度宏块无论选择I16还是I4，色度宏块模式都是一致的，因此可以确定在整个模式选择过程中色度块的模式选择具有独立性，故色度预测模式可以在亮度判决之前进行独立判决色度块的最佳预测模式可以为亮度宏块模式判决提供依据。尽管对于亮度I16与色度I8模式选择不能达到完全一致，但存在着联系：当色度块选择D模式，亮度可以选择D、H、V、P模式；当色度块选择H模式，亮度可以选择D、H、P模式；当色度块选择V模式，亮度可以选择D、V、P模式；当色度块选择P模式，亮度可以选择D、P模式；而对于亮度I4与色度I8，I8选择的模式是亮度I4下绝大多数4×4块最有可能选择的模式。亮度块内部模式选择之间存在着优先性，V、H、D模式相对于其它模式具有优先选择性。I4情况下，通过相邻块(图4)的模式可以判决得到当前块的最优先选择模式。对于优先选取的模式，其方向上相邻的模式也具有很大的选中可能。

实际中，I4的选择概率远远大于I16，因此在判决过程上优先检测I4。在I4情况下在确定的16个4×4块最佳模式中，概率最大的两种模式很可能与I16的最佳模式一致，因此可以将之色度模式联合进行检验，最终确定I16最佳模式。

H.264/AVC编码器采用RDO为模式判别准则，但其结构复杂，尤其写码流相当耗时间，因此可以根据具体模式采用不同的判决依据：①色度模式选择不依赖亮度的模式选择，且其编码比特只包含色度模式和色度残差两部分，因此采用SAD就可以反映不同模式间率失真的差别；②在亮度I4的4×4块编码比特包括块模式和残差的熵编码。因为4×4块尺寸较小，其块模式编码的比特数和不同模式间的残差编码比特数的差异会导致率失真的变化很大，故选择率失真作为I4的模式判决依据。且4×4块的率失真的分布比较集中，可在分布范围中定义一个阈值T0，如果在某一模式下其率失真小于T0，可认为达到最佳模式；③I16编码比特主要包括宏块模式和残差的熵编码，故SAD能够反映率失真的变化，以其作为模式选择的依据。

由于I16和I4随宏块纹理复杂度的RDO曲线是不同的(图5)，在模式选择时还应考虑宏块的纹理复杂度，并以宏块纹理复杂度的某个值作为阈值T1来确定二者间的判决，即在纹理平坦区域(小于T1)，I16生成的重建图像能更好地与原始图像相匹配，选择I16概率大于I4，随着纹理复杂度的逐渐增加，I16在细节内容上率失真逐渐增加，当大于或等于T1时将大于I4的率失真，这时I4更适合宏块编码模式选择。衡量纹理复杂性的方式有很多种，如算术平均、几何平均、中值、方差和均方误差。本发明选用了均方误差衡量宏块的纹理复杂度。

本发明充分利用上述的相关性，将之有机结合在一起，根据RDO准则确定不同模式的判决依据，得到帧内预测模式的快速选择方法，其流程如图2所示，具体步骤实施如下：

①对当前宏块的色度块进行帧内预测，以SAD为判决依据，确定色度宏块帧内的最佳模式。

②对当前宏块的亮度块进行I4帧内预测，首先根据当前4×4块的相邻块(图2)的模式确定可能模式，将之和色度块的最佳模式相比较，确定最有可能块模式。计算最可能模式的J_MODE，与阈值T0比较，如果小于T0，即可确认为最佳模式，跳转到步骤⑦。否则跳转到步骤③。

③计算另一模式(上面被排除的模式)的J_MODE，与步骤②计算的J_MODE比较，得到最小J_MODE值的模式。与T0比较，如果小于T0，确认为最佳模式，跳转到步骤⑦。

④选择最小J_MODE的模式作为候选模式，计算与其预测方向相邻的两个模式的J_MODE，比较这三种模式的J_MODE，如果邻近模式的J_MODE值都大于候选模式的J_MODE，跳转步骤⑦。否则到步骤⑤。

⑤如果最小J_MODE的模式是V、H或D，计算这三种模式在上述过程未曾计算的J_MODE，比较得到最小J_MODE的模式，跳转到步骤⑦；如果是其它模式，跳转到步骤⑥。

⑥计算其它剩余模式，得到最小J_MODE模式，跳转到步骤⑦。

⑦该最小J_MODE模式为该4×4块的最佳模式。

⑧循环步骤②-⑦，得到16个4×4块的最佳模式。计算宏块复杂度，如果大于阈值T1(图3)，则该宏块为I4，结束判决。否则计算I4情况下整个宏块的J_MODE，跳转到步骤⑨。

⑨根据色度块的最佳模式，确定当前宏块I16的可能模式。统计I4情况下16个子块的模式，得到概率最大的两种模式，如果属于V、H或D，它们是I16的可能模式；如果为其它模式，则P模式成为I16的可能模式。

⑩比较上述确定的I16可能模式，得到I16最佳模式，计算其J_MODE。与I4情况下的宏块最小J_MODE比较，得到最佳块尺寸和其对应的最佳预测模式。

通过上述方法可以发现，本发明在通常情况下帧内预测编码需要检测的色度模式为4种，亮度I4的每个4×4块最少1种或最多9种。如果提前终止的话，不需要检测亮度I16，否则亮度I16检测最少2种或最多4种模式，这种情况下几乎涵盖了所有的模式。但总体检测的模式数极大地降低。

H.264/AVC的帧间编码中也使用了帧内预测编码技术，上述方法同样适用，只是略作改动即可：在步骤2的I4帧内预测中，当该4×4块的邻块模式为帧内编码模式不必考虑直接使用即可；如果邻块为帧间模式，则可默认其帧内预测模式为直流模式(D)。

(2)计算阈值T0的自适应方法

H.264/AVC采用的是类DCT变换。公式(3)为4×4DCT整数变换，E为4×4亮度块经预测后残差矩阵，X为类DCT整数变换矩阵，I为整数变换后量化前的系数矩阵。

I＝XEX^T 公式(3)

其中：

X = [\begin{matrix} 1 & 1 & 1 & 1 \\ 2 & 1 & - 1 & - 2 \\ 1 & - 1 & - 1 & 1 \\ 1 & - 2 & 2 & - 1 \end{matrix}]

设DC为变化后的直流系数，s是当前4×4块的原始像素值，s’是预测后重建块的像素值，如公式(4)所示。如果DC趋近于0，那么其它交流系数AC也趋于0，整个变换后的矩阵趋向于0矩阵，因此可省略后面的处理过程。

DC = Σ_{x = 0}^{3} Σ_{y = 0}^{3} E (x, y) = Σ_{x = 0}^{3} Σ_{y = 0}^{3} (s (x, y) - s^{'} (x, y))

公式(4)

在H.264/AVC中如果变换系数经过量化后，其量化值绝对值小于或等于1时，则残差矩阵可视为0矩阵。即满足下面的不等式：

|DC|＜(2^q_bits-qp_const)/quant_coef[qp_rem][0][0] 公式(5)

其中：qp_per＝QP/6，qp_rem＝QP％6，qp_bits＝qp_per+15，qp_const＝(1＜＜q_bits)/6，QP为量化参数。

对于每个4×4块，公式(6)给出SAD的计算，具体如下：

SAD = Σ_{x = 0}^{3} Σ_{y = 0}^{3} | s (x, y) - s^{'} (x, y) |

公式(6)

很明显下面不等式成立：

| Σ_{x = 0}^{3} Σ_{y = 0}^{3} (s (x, y) - s^{'} (x, y)) | \leq Σ_{x = 0}^{3} Σ_{y = 0}^{3} | s (x, y) - s^{'} (x, y) |

即|DC|≤ SAD。

则如果下式成立，则满足0矩阵的判断。

SAD＜(2^q_bits-qp_const)/quant_coef[qp_rem][0][0] 公式(7)

阈值T0由4×4块的RDO确定，如公式8所示，mode表示所选的预测模式，R包括模式类型和残差的熵编码。

J_mode(mode)＝SSD+λ_modeR(mode，E) 公式(8)

其中，

SSD = Σ_{x = 0}^{3} Σ_{y = 0}^{3} {| s (x, y) - p (x, y) |}^{2},

p[x，y]是预测后残差经过变换、量化、反量化、反变换后与参考块的值相加得到，故下面不等式成立：

|s(x，y)-p(x，y)|＜|s(x，y)-s′(x，y)|

因此

SSD \leq (Σ_{x = 0}^{3} Σ_{y = 0}^{3} {| s (x, y) - s^{'} (x, y) |}^{2}) < {(Σ_{x = 0}^{3} Σ_{y = 0}^{3} | s (x, y) - s^{'} (x, y) |)}^{2}

故SSD＜SAD²，即

SSD＜((2^q_bits-qp_const)/quant_coef[qp_rem][0][0])² 公式(9)

这时，该块残差量化系数将趋于0，因此得到T0。

T0＝((2^q_bits-qp_const)/quant_coef[qp_rem][0][0])² 公式(10)

实际中可能存在差别，因此设置一个校正因子α＝0.5：

T0＝α×((2^q_bits-qp_const)/quant_coef[qp_rem][0][0])² 公式(11)

(3)计算阈值T1的自适应方法

在实际中，当T1越大，搜索I16的可能性越大，因此搜索的模式越多；T1越小，搜索I16的可能性越小，则搜索的模式变少。本发明通过当前宏块的前一宏块来确定当前T1的值，具体方法如下：

初始化：T1＝1＜＜20

第一个宏块：依次进行I4和I16模式判决，得到二者的MSE，将均值赋给T1，作为下一宏块的阈值。

其它宏块：如果仅判决了I4模式，则T1不变。如果依次进行了I4和I16模式判决，则二者的MSE的均值赋给T1。

测试三个纹理复杂程度不同的CIF序列Mobile、Bus和Foreman。实验结果表明，本快速帧内预测模式选择方法比H.264/AVC原有的全搜索方法可提高I帧编码速度大约6倍左右。在速度提高的同时，平均信噪比变化约0.1db左右，码率稍有变化。

本发明的第二个实施例是：针对P帧编码，编码序列为I PPP，运动估计搜索范围±16，5个参考帧，运动估计算法为全搜索算法，熵编码采用了CABAC，量化参数分别为14、28。亮度I4 4×4块的RDO的阈值T0和宏块复杂度的阈值T1，同样采用上述的自适应方法。仍然测试三CIF序列Mobile、Bus和Foreman。实验结果表明，本发明的快速帧内预测模式选择方法在帧间情况下比H.264/AVC原有的帧间全搜索方法可提高编码速度大约25％左右。在速度提高的同时，平均信噪比变化约0.02db左右，码率几乎没有变化。

Claims

1.一种H.264/AVC实时编码器帧内预测模式的快速选择方法，在H.264/AVC编码器中，帧内编码采用帧内预测方法，其特征在于利用当前宏块的色度块和亮度块帧内预测模式间的相关性、4×4亮度块(I4)和16×16亮度块(I16)的模式选择之间的相关性以及亮度块预测模式内部的相关性，以简化的率失真优化(RDO)为判决依据，快速进行帧内预测模式选择。

2.如权利要求1所述的H.264/AVC实时编码器帧内预测模式的快速选择方法，其特征在于，快速选择的步骤如下：

a.确定色度块的模式选择具有独立性，即亮度宏块无论选择I16还是I4，色度宏块模式都是一致的，从而首先对色度预测模式以SAD为准则进行独立判决，确定色度的最佳预测模式。

b.确定了色度的最佳预测模式后，为亮度快模式判决提供如下依据：对于亮度I16而言，当色度块选择D模式，亮度可以选择D、H、V、P模式；

当色度块选择H模式，亮度可以选择D、H、P模式；当色度块选择V模式，亮度可以选择D、V、P模式；当色度块选择P模式，亮度可以选择D、P模式。而对于亮度I4，I8选择的模式是亮度I4下绝大多数4×4块可能选择的模式。

c.对于宏块，I4的选择概率远远大于I16，因此我们首先进行I4下4×4块的模式判决；根据邻块的模式判断得到当前块的可能模式，并和由步骤b确定的可能模式，分别计算这两种模式下的RDO，并与阈值T0比较，小于T0，则可确定为当前4×4的最佳模式，否则较小值RDO的为可能最佳模式。

d.比较步骤c中得到的可能最佳模式的预测方向邻近的模式的RDO，进一步确定可能的最佳模式。如果它是V、H或D，则比较这三种模式中未曾比较的模式；如果它为其它模式，则比较所有其它未曾比较的模式。

e.在完成当前宏块的16个4×4块的模式判决后，计算宏块纹理复杂度，以MSE来衡量，并与阈值T1比较，如果大于T1，提前终止判决，上述得到的结果为宏块最佳模式；如果小于T1，则进行亮度16×16块的模式判决。

f.根据步骤b中色度块的最佳模式与亮度块的关系，确定当前宏块I16的可能模式；统计步骤e中I4情况下16个子块的模式，得到概率最大的两种模式；综合考虑这些可能模式，最终确定I16的可能模式。并以SAD为准则，确定I16的最佳预测模式。

g.自适应确定步骤e所述的阈值T1来判断是否提前终止I16判决和自适应确定步骤c所述的T0来判断是否提前终止I4的判决。