CN102932642B - 一种帧间编码快速模式选择方法 - Google Patents

Abstract

本发明提供了一种视频编码中帧间快速模式选择方法，包括以下步骤：在编码时将编码模式按编码模块由大到小、由帧内到帧间划分成若干子集；按照编码模块由大到小、由帧间到帧内顺序计算模式编码代价；根据编码模式之间的相关性，如果前面编码模式子集编码代价小，则跳过后面模式子集，否则继续进行后面编码模式子集编码代价比较。本发明可用于降低视频编码的复杂度，减少编码时间。

Description

一种帧间编码快速模式选择方法

技术领域

本发明涉及视频编码技术领域，尤其涉及一种帧间编码快速模式选择方法。

背景技术

H.264和AVS视频编码标准是目前主流的编码标准之一，其编码效率在以往编码标准的基础上提高了一倍以上。但其编码效率的提高很大程度上源于更多灵活有效编码工具的采用和编码模式的增加。这使得编码复杂度相比于以往的视频编码标准也有了很大的增加。因此，在很多对视频编码器速度和性能要求较高的场合，实际的应用对视频编码器的算法优化提出了更高的要求。下面，以AVS为例，介绍视频编码过程并分析其复杂度。

在视频编码过程中，视频按帧/场编码。在AVS中，根据预测方式的不同，视频帧/场被分为I帧、P帧、B帧。视频帧/场中的数据首先被划分为非重叠的16×16像素块，其中每个16×16像素块称为一个宏块（Macroblock），视频编码过程是以宏块（Macroblock）为单位进行，在编码端利用率失真准则，对每个宏块选择最优的编码模式。在视频编码过程中，运动估计（ME：Motion Estimation）的模式决策（MD：Mode Decision）是整个编码过程中复杂度最高的模块。随着视频编码标准的发展，从H.261到AVS，编码模式逐步增加，同时运动估计和模式决策的复杂度也随之增加。

在AVS中，每个编码块有多种可选编码模式。对I帧中的宏块来说，采用了多预测方向的帧内预测技术，每个编码块的亮度最多有5种预测方向，色度最多有4种预测方向，如图1所示。对P帧中的宏块而言，不仅有帧内预测模式还有帧间预测模式。其中，帧内预测模式同I帧中相同，亮度最多有5种预测方向，色度最多有4种预测方向；帧间预测采用多参考帧、多方向、可变块大小的预测技术。P帧中最多可支持2个参考帧的预测，支持前向预测，支持4种不同块大小的预测（如图2所示）。除此之外，P帧中还有一种特殊的帧间模式——Skip模式。对B帧中的宏块而言，在P帧的基础上增加了后向预测和双向预测以及Direct模式。编码模式如此之多，选择最好的编码模式是提高编码效率的关键。

宏块的编码流程如图3所示。首先计算出宏块在各种不同模式下的估计值。对帧内预测，只需利用周围像素即可估计出当前块的像素值；对于帧间预测，则需要在参考帧的中，在一定的搜索范围内搜索得到当前块的最优匹配块。这个过程包括：挑选出最优参考帧、最优预测方向和最优运动向量。然后对运动估计得到的残差系数进行变换、量化、熵编码得到其编码码率R，对前面量化后的系数进行反量化、反变换、重构得到重构值，原始像素值减去重构值得到编码失真D。其中码率R的大小对应于熵编码后比特数的大小，R越小说明压缩率越高，而失真D的大小对应于编码后重建数据和原始数据的差别大小，失真越小说明编码后的视频质量越高。在模式决策过程中，编码器需要对每种模式的R和D进行权衡，以选择最佳的编码模式来编码当前宏块。

实际上，不论对于运动估计过程中最优参考帧、预测方向、运动向量的选择还是模式决策过程中编码模式的选择，AVS视频编码器都采用率失真优化技术（Rate Distortion Optimization）。对最优运动向量的选择，在搜索过程中，选择使式(1)中率失真代价J最小的块作为最优匹配块，与最优匹配块的相对位移作为最优运动向量mv。

J=D(s,c(mv))+λ_MOTIONR(pmv,mv)                (1)

其中，s为当前图像中编码块的像素值，c(mv)为编码块的预测像素值，D(s,c(mv))为当前图像编码块与编码块的预测值之间的绝对误差和（SAD），λ_MOTION为拉格朗日乘数，pmv为预测的运动向量，R(pmv,mv)为编码运动向量所需要的比特数。在参考帧的选择过程中，选择使式(2)中率失真代价J最小的参考帧作为最优参考帧。

J=D(s,c(REF,mv(REF)))+λ_MOTION(R(mv(REF),pmv(REF))+R(REF))    (2)

其中，s为当前图像中编码块的像素值；REF为参考帧号；c(REF,mv(REF))为当前编码图像块的预测值，即参考帧REF中与当前图像编码块相对位移为mv的块；D(s,c(REF,mv(REF)))为当前图像编码块与其预测值的绝对误差和；R(mv(REF),pmv(REF))为编码运动向量所需的比特数；R(REF)为编码参考帧号所需的比特数。对于编码模式的选择，按式（3）计算各编码模式的率失真代价J，选择使J最小的编码模式作为最优编码模式。

J=D(s,c,MODE|QP)+λ_MODER(s,c,MODE|QP)    (3)

其中，s为当前图像中编码块的像素值，MODE为分块模式，QP为量化参数，D(s,c,MODE|QP)为在MODE模式下当前图像编码块与其重构块的误差平方和（SSD），λ_MODE为拉格朗日乘数，R(s,c,MODE |QP)为编码头信息（运动向量、参考帧等）所需要的比特数。

由以上分析可知，宏块编码的复杂度主要由运动估计和模式决策决定，如何选择合适的方法，同时降低模式决策和运动估计的复杂度，可以大大地降低编码复杂度。

发明内容

本发明的目的在于提供一种帧间编码快速模式选择方法，能够降低模式决策和运动估计的复杂度，可以大大地降低编码复杂度。

为了达到以上目的，本发明实施例公开了一种视频编码中帧间快速模式选择方法，包括以下步骤：

在编码时将编码模式按编码模块由大到小、由帧内到帧间划分成若干子集；

按照编码模块由大到小、由帧间到帧内顺序计算模式编码代价；

根据编码模式之间的相关性，如果前面编码模式子集编码代价小，

则跳过后面模式子集，否则继续进行后面编码模式子集编码代价比较。

进一步，作为一种优选，模式编码代价采用率失真代价。

进一步，作为一种优选，模式编码代价采用残差的SAD。

进一步，作为一种优选，将编码模式划分为四个子集：{Skip模式，帧间16×16模式}，{帧间16×8模式，帧间8×16模式}，{帧间8×8模式，帧间8×4模式，帧间4×8模式，帧间4×4模式，帧内色度为DC的模式}，{帧内色度为非DC模式}。

进一步，作为一种优选，如果Skip模式的率失真代价小于帧间16×16模式的率失真代价，那么小于16×16划分的块不进入模式决策集合。

进一步，作为一种优选，如果Skip模式的率失真代价大于帧间16×16模式的率失真代价，但帧间16×16模式率失真代价小于帧间16×8、8×16模式的率失真代价，则帧间8×8模式和帧内模式不进入编码模式决策集合。

进一步，作为一种优选，如果Skip模式的率失真代价大于帧间16×16模式的率失真代价，帧间16×16模式率失真代价大于帧间16×8、8×16模式的率失真代价，但帧间8×8模式率失真代价小于帧内亮度为最优模式色度为DC模式的率失真代价，则亮度编码中帧内方向预测模式不进入编码模式决策集合。

进一步，作为一种优选，如果Skip模式的率失真代价大于帧间16×16模式的率失真代价，帧间16×16模式率失真代价大于帧间16×8、8×16模式的率失真代价，并且帧间8×8模式率失真代价大于帧内亮度为最优模式色度为DC模式的率失真代价，则亮度编码中帧内方向预测模式进入编码模式决策集合。

本发明利用帧间各编码模式间率失真代价的相关性和编码模式率失真代价的统计特性，跳过不必要模式的运动估计和模式决策过程中率失真代价计算，从而大大地降低编码复杂度。

附图说明

当结合附图考虑时，通过参照下面的详细描述，能够更完整更好地理解本发明以及容易得知其中许多伴随的优点，但此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定，其中：

图1为AVS帧内预测方向示意图；

图2为帧间预测的块划分示意图；

图3为宏块编码流程图；

图4为本发明快速模式选择算法实施例流程图。

具体实施方式

为使上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

对帧间模式，分块方式反映了视频图像的时域平稳性。如果skip模式的率失真代价小于帧间16×16模式的率失真代价，则说明该图像块是时域平稳的，即大块编码模式更适合该编码宏块；那么帧间16×8、8×16、8×8，帧内8×8模式都可以跳过了。当帧间16×16的率失真代价比帧间16×8、8×16的率失真代价小的时，说明更细的分块并不能带来编码效率的提升，故帧间8×8和帧内模式都可以跳过了。帧内色度模式为不同预测方向、帧内亮度模式为最优模式时的率失真代价是相近的。故只有在帧内模式有可能被选为最优编码模式的时候，才计算其率失真代价。

为了实现快速模式选择算法，首先对各宏块在不同模式下的率失真代价和最优编码模式进行概率统计。统计发现，当skip模式的率失真代价小于帧间16×16模式的率失真代价时，跳过剩余模式的预测及率失真代价计算；当帧间16×16的率失真代价比帧间16×8、8×16的率失真代价小的时，跳过帧间8×8和帧内模式；当帧间模式中率失真代价的最小值小于帧内亮度为最优模式、色度为DC模式的率失真代价时，跳过帧内其他剩余模式的预测及率失真代价的计算过程。

实施例：

下面结合流程图4，以在AVS参考软件上的实现为例，详细介绍本发明的实现方式。

S1、将视频中的帧数据划分成多个宏块，并初始化各模块的率失真代价为最大。

S2、若为非I帧，进行skip模式的预测和帧间16×16模式的运动估计。

S3、S4、分别计算skip模式和帧间16×16模式率失真代价J_skip和J_inter16×16。

S5、比较J_skip和J_inter16×16，如果J_skip小于J_inter16×16，则跳过其他剩余模式的预测及率失真代价的计算，跳到S15，否则，跳到S6。

S6、对帧间16×8、8×16模式做运动估计，得到残差数据块；

S7、分别计算帧间16×8、8×16模式的率失真代价J_inter16×8和J_{inter8 ×16}。

S8、比较帧间16×16和帧间16×8、8×16模式的率失真代价，若帧间16×16的率失真代价小于帧间16×8、8×16模式的率失真代价，跳到S15，否则跳到8。

S9、对帧间8×8模式做运动估计，得到其残差系数，S10、并计算出各模式对应的率失真代价J_inter8×8。S11、计算出帧间模式中最小率失真代价J_intermin。

S12、对帧内的每种亮度模式，在色度为DC模式时，做帧内预测，求得其残差系数，然后计算其率失真代价，找到在色度为DC模式时的最小率失真代价J_intraDC（此时亮度为最优模式）。

S13、比较J_intermin和J_intraDC的大小，如果J_intermin小于J_intraDC，跳到S15；否则，跳到S14。

S14、做色度为其他模式的预测，并计算各模式的率失真代价。

S15、比较所求率失真代价，选择率失真代价最小的模式作为最优编码模式。

S16、使用最优编码模式对宏块进行编码。

本发明利用了帧间各编码模式间率失真代价的统计特性和相关性，跳过了不必要模式的运动估计及模式决策这两个复杂度最大的过程，从而减小了编码复杂度，节省了编码时间

虽然本发明是在AVS的参考软件上实现，但可以它同样适用于其他的编解码平台，如H.264/AVC。

虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些具体实施方式仅是举例说明，本领域的技术人员在不脱离本发明的原理和实质的情况下，可以对上述方法和系统的细节进行各种省略、替换和改变。例如，合并上述方法步骤，从而按照实质相同的方法执行实质相同的功能以实现实质相同的结果则属于本发明的范围。因此，本发明的范围仅由所附权利要求书限定。

Claims (2)

1.一种视频编码中帧间快速模式选择方法，其特征在于，包括以下步骤：

在编码时将编码模式按编码模块由大到小、由帧内到帧间划分成若干子集；

按照编码模块由大到小、由帧间到帧内顺序计算所述模式编码代价；

根据编码模式之间的相关性，如果前面编码模式子集编码代价小，则跳过后面模式子集，否则继续进行后面编码模式子集编码代价比较；

所述模式编码代价采用率失真代价；

所述模式编码代价采用残差的SAD；

将编码模式划分为四个子集：{Skip模式，帧间16×16模式}，{帧间16×8模式，帧间8×16模式}，{帧间8×8模式，帧间8×4模式，帧间4×8模式，帧间4×4模式，帧内色度为DC的模式}，{帧内色度为非DC模式}；

如果Skip模式的率失真代价小于帧间16×16模式的率失真代价，那么小于16×16划分的块不进入模式决策集合；

如果Skip模式的率失真代价大于帧间16×16模式的率失真代价，但帧间16×16模式率失真代价小于帧间16×8、8×16模式的率失真代价，则帧间8×8模式和帧内模式不进入编码模式决策集合；

如果Skip模式的率失真代价大于帧间16×16模式的率失真代价，帧间16×16模式率失真代价大于帧间16×8、8×16模式的率失真代价，但帧间8×8模式率失真代价小于帧内亮度为最优模式色度为DC模式的率失真代价，则亮度编码中帧内方向预测模式不进入编码模式决策集合。

2.根据权利要求1所述的视频编码中帧间快速模式选择方法，其特征在于，如果Skip模式的率失真代价大于帧间16×16模式的率失真代价，帧间16×16模式率失真代价大于帧间16×8、8×16模式的率失真代价，并且帧间8×8模式率失真代价大于帧内亮度为最优模式色度为DC模式的率失真代价，则亮度编码中帧内方向预测模式进入编码模式决策集合。