CN101448159B - 一种基于率失真代价和模式频率的快速帧间模式选择方法 - Google Patents

Abstract

本发明首先利用已编码各类宏块的率失真代价的平均值，通过比较待编码宏块跳过模式的率失真代价值与之的关系，预测当前宏块是否应编码为跳过宏块，然后通过检查时间和空间上已编码相邻宏块所属的模式集合，预测当前待编码宏块可能的帧间编码模式集合，并利用已编码各类宏块帧间编码模式的出现频率，从最可能的编码模式开始进行预测，并且在预测过程中，通过比较率失真代价值与该模式平均率失真代价值之间的关系，决定是否提前终止帧间编码模式的预测过程。本发明通过利用通过利用宏块编码模式的统计信息，以及宏块之间编码模式的相关性，在不进行模式遍历的情况下，直接预测得到当前编码块可能的帧间编码模式集合。

Description

一种基于率失真代价和模式频率的快速帧间模式选择方法

技术领域

本发明涉及一种视频图像帧间编码模式选择方法，尤其涉及一种减小跳过宏块和帧间宏块搜索和计算开销，在基本不牺牲图像质量的条件下，提高帧间模式选择速度的方法，属于计算机视觉技术领域。

背景技术

帧间预测是视频和图像处理领域中一项基础而关键的技术，已应用于H.261、H.263、H.264、MPEG-1、MPEG-2和MPEG-4等国际编码标准中。帧间预测用于获得两幅图像中宏块之间的相互关系。目前最新的视频编码国际标准H.264中采用的多模式帧间预测方法具有适用范围广、预测精度高等优点，是较为理想的帧间预测方法。多模式帧间预测方法将待编码宏块划分为不同的组合，通过比较不同组合方式的编码代价得到最优帧间编码模式。由于H.264标准中推荐的全模式决策方法FMD(Full ModeDecision)需要遍历所有的组合方式，而每一种组合方式都需要进行编码过程中最耗时的运动估计，因此该方法的计算复杂度非常高。

多模式帧间预测包括七种模式，可以分为宏块级和块级预测。宏块级帧间预测以16×16尺寸的图像块为基础，对16×16、16×8和8×16尺寸的图像块进行预测；块级帧间预测是则以8×8尺寸的图像块为基础，对8×8、8×4、4×8和4×4尺寸的图像块进行预测。实验表明，多模式帧间预测能够更加准确地描述图像块之间的关系，有效地提高编码效率。因此成为当前许多应用领域中的研究热点。

H.264标准中推荐的多模式帧间预测方法首先进行宏块级预测，对16×16、16×8和8×16的图像块分别进行运动估计，并记录各种模式的最小率失真代价值；然后对8×8、8×4、4×8和4×4尺寸的图像块进行预测。在块级预测时，因为每一个8×8图像块都有4种划分模式，而每个图像块的划分模式又是独立的，所以必须对4个8×8尺寸的图像块分别计算4种划分的最小率失真代价值，并且每一次最小率失真代价值计算过程中还需要进行若干次运动估计。这种穷举式的帧间模式选择方法运算复杂度非常高。

发明内容

本发明的目的是提供一种快速帧间模式选择方法。该方法可以利用已编码宏块的率失真代价值和及其帧间编码模式出现的频率信息，在不进行模式遍历的情况下，直接预测得到当前编码块可能的帧间编码模式或模式集合。并且在可能编码模式集合的预测过程中设置了提前终止条件。此外，为了保障率失真代价值和帧间编码模式等统计信息的准确性，该方法还通过定期进行全模式决策来更新上述统计信息，使统计信息能够随视频内容的变化而变化，提高该方法对视频场景的自适应性。

为实现上述目的，本发明采用下述的技术方案。其特征在于包括以下步骤：

步骤一：定期对视频序列中的若干帧图像进行全模式决策，得到所述若干帧图像中各宏块的最优编码模式，保存全模式决策过程中得到的所述各宏块的最小率失真代价值和对应的编码模式，并统计各种编码模式平均率失真代价值及其出现的频率；

步骤二：比较当前待编码宏块的跳过模式所对应的率失真代价值与步骤一中统计得到的跳过模式平均率失真代价值，如果当前待编码宏块采用跳过模式时的率失真代价值小于步骤一中统计得到的跳过模式的平均率失真代价值，则判断当前待编码宏块应编码为跳过模式，并退出帧间编码模式预测过程；

步骤三：根据步骤一中得到的与当前待编码宏块在时间和空间上相邻的若干已编码宏块的最优编码模式所属的编码模式集合，判定当前待编码宏块所属的帧间预测候选模式集合，所述判定当前待编码宏块所属的帧间预测候选模式集合的步骤为：检查与当前待编码宏块在时间和空间上相邻的多个已编码宏块，如果其编码模式都属于同一个自定义的编码模式集合，则认为当前待编码宏块最优的编码模式也属于该自定义的编码模式集合，设置所述自定义的编码模式集合为当前待编码宏块的帧间预测候选模式集合；

步骤四：根据步骤一中得到的各种编码模式的出现频率，对步骤三中得到的帧间预测候选模式集合内的各编码模式进行降序排列，然后按照排列后的顺序对各编码模式依次进行预测，在预测过程中，比较相应率失真代价值与该编码模式平均率失真代价值之间的关系，如果该编码模式所对应的率失真代价值小于其平均率失真代价值，则认为该编码模式的率失真代价值已经可以接受，直接终止对所述帧间预测候选模式集合内剩余编码模式的预测。

较优的，所述自定义的编码模式集合包括宏块编码模式集合与亚宏块编码模式集合，其中所述宏块编码模式集合中包含跳过模式、16×16模式、16×8模式和8×16模式，所述亚宏块编码模式集合中包含8×8模式、8×4模式、4×8模式、4×4模式、Intra16模式和Intra4模式。

本发明所提供的基于率失真代价和模式频率的快速帧间模式选择方法可以有效减小传统帧间全模式决策的计算开销，并对于视频序列内容的变化具有较好的自适应能力。有关的测试结果表明，本方法对于各类视频序列的帧间模式选择都能获得较好的效果。

附图说明

图1是本发明基于率失真代价和模式频率的快速帧间模式选择流程图；

图2是当前块的时间和空间相邻块分布示意图；

具体实施方式

前已述及，本发明利用视频图像帧间编码模式的率失真代价值和模式出现频率等统计信息，以及时空相邻块编码模式的相关性，通过缩小模式预测的范围以及提前终止模式的预测过程等方法，实现了快速的帧间模式选择。

下面结合附图说明本发明的实现方式，图1中明确表示了本发明的过程。首先，定期对视频序列中的若干帧图像进行全模式决策；其次，判断当前待编码宏块是否应编码为跳过模式，如果是，则将最优编码模式设置为跳过模式并终止剩余模式的预测，如果否，则根据当前编码宏块的时间和空间相邻块所属的集合，判定当前待编码宏块可能的帧间预测候选模式集合；最后，对候选模式集合内的各编码模式按照出现频率的降序预测，如果预测过程中发现某个模式所对应的率失真代价值小于该模式的平均率失真代价值，则终止候选模式集合内剩余模式的预测。

步骤一：定期对视频序列中的若干帧图像进行全模式决策

现有的帧间模式选择方法通常是直接采用H.264标准推荐的全模式决策或者是某种快速帧间模式选择方法，前者的优点是编码效率较高，缺点是计算复杂度太高；而后者的优点是速度快，但是精度会随着视频内容的变化而降低，而且这种错误会蔓延。本发明中，通过定期对视频序列中的若干帧图像进行全模式决策，然后在此基础上，采用快速帧间模式选择方法，克服了视频内容变化对快速帧间模式选择方法的影响，避免了错误在视频序列中的蔓延。

步骤一的具体实施步骤如下：

(1)待编码图像块与参考图像块残差的计算

图像块的残差表征了两个图像块之间的相似程度，在计算图像块残差时，采用式(1)计算出两个图像块的平方差SSD。

$\mathrm{SSD}(S,C,\mathrm{MODE}|\mathrm{QP})=\underset{x=1}{\overset{16}{\mathrm{\Σ}}}\underset{y=1}{\overset{16}{\mathrm{\Σ}}}{[S(x,y)-C(x,y,\mathrm{MODE}|\mathrm{QP})]}^2---\left(1\right)$

式(1)中MODE表示当前采用的编码模式，QP表示该图像块编码时采用的量化参数，S(x，y)表示当前待编码宏块在位置(x，y)处的像素值，C(x，y，MODE|QP)表示参考图像宏块在位置(x，y)处的像素值。

(2)率失真代价值的计算

因为最终的编码代价既包括图像块的失真所需的编码位数，而且需要包括编码模式信息所需要的位数，所以率失真代价值采用拉格朗日函数(Lagrangian function)的方法计算。在计算图像块残差时，采用式(2)计算出在特定MODE和QP参数下的率失真代价值。

J(S，C，MODE|QP，λ_MODE)＝SSD(S，C，MODE|QP)

+λ_MODE×RATE(S，C，MODE|QP)(2)

λ_MODE＝0.85×2^(QP-12)/3(3)

式(2)中的λ_MODE是拉格朗日因子，该因子采用式(3)的经验公式进行计算，RATE(S，C，MODE|QP)表示在待编码宏块与参考宏块在特定MODE和QP参数下的编码时需要的位数，J(S，C，MODE|QP，λ_MODE)表示在特定MODE和QP参数下某个编码模式对应的率失真代价值。

(3)最优编码模式的选择

最优编码模式的选择是通过比较式(2)计算出的各模式所对应的率失真代价，然后选择其中最小的率失真代价对应的编码模式为最优编码模式。在选择最优编码模式时，采用式(4)计算出最优的编码模式。

${\mathrm{MODE}}^{*}=\underset{\mathrm{MODE}}{\arg \min }J(S,C,\mathrm{MODE}|\mathrm{QP},{\mathrm{\λ}}_{\mathrm{MODE}})---\left(4\right)$

式(4)中MODE^*表示最优编码模式。

步骤二：判断当前待编码宏块是否应编码为跳过模式

跳过宏块是指当前待编码宏块与参考图像中搜索窗口内的所有宏块匹配后，发现运动矢量为(0，0)的参考宏块的匹配效果最佳，而且其残差块在量化之后的结果为0(即无需特别的位数来编码残差信息)，这类待编码宏块可以被编码为跳过宏块。跳过模式是帧间编码模式中最简单的一种编码模式，其编码所用的位数最少，主要适用于视频图像中的背景区域或者是静止的目标区域。按照H.264标准中推荐的算法，跳过模式的确定需要在全模式搜索之后，才能通过比较最小率失真代价值得到。本发明中，针对采用传统跳过宏块确定方法计算复杂度高的问题，提出了一种快速跳过宏块确定方法。该方法能够根据对不同编码模式最小率失真代价值的统计结果，通过比较待编码宏块跳过模式的率失真代价值与已编码跳过宏块的率失真代价值平均值，直接判定当前待编码宏块是否应该编码为跳过模式。

步骤二的具体实施步骤如下：

(1)计算当前待编码宏块采用跳过模式所对应的率失真代价值

宏块跳过模式对应率失真代价值的计算是式(2)率失真代价计算公式的一种特例。在计算图像块残差时，采用式(5)计算当前待编码宏块在跳过模式和特定QP参数下的率失真代价值。

J(SKIP)＝SSD(S，C，SKIP|QP)+λ_MODE(5)

式(5)中的λ_MODE是拉格朗日因子，该因子采用式(3)的经验公式进行计算，SSD(S，C，SKIP|QP)表示跳过编码模式和特定QP参数下待编码宏块与参考宏块的平方差，J(SKIP)表示跳过模式对应的率失真代价值。

(2)判断当前待编码宏块是否应编码为跳过模式

当前待编码宏块是否应编码为跳过模式的判定依据是通过比较式(5)得到的跳过模式的率失真代价值与已编码跳过宏块的率失真代价值平均值实现的，具体实现时，采用式(6)判定。

${\mathrm{MODE}}^{*}=\left\{\begin{array}{cc}=\mathrm{SKIP},& J\left(\mathrm{SKIP}\right)\≤\mathrm{Mean}\left(\mathrm{SKIP}\right)\\ \≠\mathrm{SKIP},& J\left(\mathrm{SKIP}\right)>\mathrm{Mean}\left(\mathrm{SKIP}\right)\end{array}\right.---\left(6\right)$

式(6)中的Mean(SKIP)表示已编码的跳过宏块的平均率失真代价值。步骤三：判定当前待编码宏块可能的帧间预测候选模式集合

对于图像中的每一个宏块，H.264中推荐的全模式搜索方法需要遍历所有模式后，才能够得到最优编码模式，需要遍历这些模式包括{16×16，16×8，8×16，8×8，8×4，4×8，4×4，Intra16，Intra4}。本发明中，首先将这些模式分为两个集合，然后利用宏块编码模式在时间和空间上的相关性，通过比较待编码宏块时间和空间相邻块的编码模式所属的模式集合，判定待编码宏块可能的候选模式集合，从而减小编码模式遍历的范围，提高编码模式选择的速度。

步骤三的具体实施步骤如下：

(1)编码模式的分类

根据对不同编码模式纹理和运动特性的分析，将编码模式分为宏块级编码模式集合与亚宏块级编码模式集合。编码模式的分类如式(7)所示。

MB_class＝{SKIP，16×16，16×8，8×16}

subMB_class＝{8×8，8×4，4×8，4×4，Intra16，Intra4}(7)

式(7)中的Intra16和Intra4是两种帧内编码模式，因为其编码特性与亚宏块级的帧间编码模式相似，所以将其划分在亚宏块级编码模式集合中。

(2)候选模式集合的预测

候选模式集合的预测通过检查待编码宏块的时间和空间相邻块的编码模式所属的模式集合实现，附图2中列出了时间和空间相邻块的位置关系，如果发现待编码宏块的所有时间和空间相邻块的编码模式属于同一个集合，则认为待编码宏块的最优编码模式在该模式集合内。具体实现时，采用式(8)判定。

N＝{″A″，″B″，″C″，″D″，″E″}

$\left\{\begin{array}{c}\∀n\∈N,(\mathrm{MODE}\left(n\right)\∈\mathrm{MB}\_\mathrm{class})\\ \→\mathrm{MODE}\left(X_{\′\′}^{\′\′}\right)\∈\mathrm{MB}\_\mathrm{class}\∪\mathrm{Intra}16\\ \∀n\∈N,(\mathrm{MODE}\left(n\right)\∈\mathrm{subMB}\_\mathrm{class})\\ \→\mathrm{MODE}\left(X_{\′\′}^{\′\′}\right)\∈\mathrm{subMB}\_\mathrm{class}\end{array}\right.---\left(8\right)$

式(8)中的“X”表示当前待编码宏块。

步骤四：对候选模式集合内的各编码模式按照出现频率的降序预测在步骤一中，通过全模式决策已经得到了各种编码模式出现的频率等统计信息，在对步骤三中得到的候选模式集合检查时，根据这一统计信息，按照候选集合中各编码模式出现频率的降序来检查每个模式。在对编码模式检查过程中，如果发现某个模式所对应的率失真代价值小于该模式的平均率失真代价值(从步骤一中得到)，则认为该模式的率失真代价值已经可以接受，将其设置为最优编码模式并直接终止候选模式集合内剩余模式的预测。

以上公开的仅为本发明的具体实例，根据本发明提供的思想，本领域的技术人员能思及的变化，都应落入本发明的保护范围内。

Claims (2)

1.一种基于率失真代价和模式频率的快速帧间模式选择方法，其特征在于包括以下步骤：

步骤一：定期对视频序列中的若干帧图像进行全模式决策，得到所述若干帧图像中各宏块的最优编码模式，保存全模式决策过程中得到的所述各宏块的最小率失真代价值和对应的编码模式，并统计各种编码模式平均率失真代价值及其出现的频率；

步骤二：比较当前待编码宏块的跳过模式所对应的率失真代价值与步骤一中统计得到的跳过模式平均率失真代价值，如果当前待编码宏块采用跳过模式时的率失真代价值小于步骤一中统计得到的跳过模式的平均率失真代价值，则判断当前待编码宏块应编码为跳过模式，并退出帧间编码模式预测过程；

步骤三：根据步骤一中得到的与当前待编码宏块在时间和空间上相邻的若干已编码宏块的最优编码模式所属的编码模式集合，判定当前待编码宏块所属的帧间预测候选模式集合，所述判定当前待编码宏块所属的帧间预测候选模式集合的步骤为：检查与当前待编码宏块在时间和空间上相邻的多个已编码宏块，如果其编码模式都属于同一个自定义的编码模式集合，则认为当前待编码宏块最优的编码模式也属于该自定义的编码模式集合，设置所述自定义的编码模式集合为当前待编码宏块的帧间预测候选模式集合；

步骤四：根据步骤一中得到的各种编码模式的出现频率，对步骤三中得到的帧间预测候选模式集合内的各编码模式进行降序排列，然后按照排列后的顺序对各编码模式依次进行预测，在预测过程中，比较相应率失真代价值与该编码模式平均率失真代价值之间的关系，如果该编码模式所对应的率失真代价值小于其平均率失真代价值，则认为该编码模式的率失真代价值已经可以接受，直接终止对所述帧间预测候选模式集合内剩余编码模式的预测。

2.如权利要求1所述的方法，其特征在于所述自定义的编码模式集合包括宏块编码模式集合与亚宏块编码模式集合，其中所述宏块编码模式集合中包含跳过模式、16×16模式、16×8模式和8×16模式，所述亚宏块编码模式集合中包含8×8模式、8×4模式、4×8模式、4×4模式、Intra16模式和Intra4模式。

Images