CN101099394B - 用于视频编码器中b帧的快速模式决策的方法和装置 - Google Patents

Abstract

提供视频编码器以及用于执行B帧的快速模式决策的相应方法。一种用于为可划分为宏块的B片编码视频数据的视频编码器，包括编码器(OO)，其用于在对所述B片中的当前宏块进行编码时通过下述方法来执行模式选择，对所述B片中以DIRECT模式编码的相邻宏块的数量进行计数，而且当以DIRECT模式编码的相邻宏块的数量超过预定阈值时仅为所述当前块检查DIRECT模式或16×16模式其中之一。

Description

用于视频编码器中B帧的快速模式决策的方法和装置

技术领域

本发明一般涉及视频编码器，更具体地，涉及用于编码器中B帧的快速模式决策的方法和装置。

背景技术

帧间编码和帧内编码方法均可在视频压缩标准中用于编码交互帧(P和B帧)。帧内编码使用空间相关性，而帧间编码使用与之前编码的帧的时间相关性。通常，帧间编码用于可从之前图像很好地预测的宏块，而帧内编码用于不可从之前图像很好地预测的宏块，或用于空间活动性较低的宏块。典型地，编码器可以基于编码效率和主观质量的考虑而为每一宏块、片(slice，其为宏块系列)、图像、场、和/或帧做帧间/帧内编码决策。在JVT/H.264/MPEGAVC(“H.264”)标准中，帧间编码允许使用多种块分割以及多个参考图像来预测宏块。

H.264标准使用树形结构分层的宏块分割。可以将帧间编码的16×16像素宏块进一步拆分为尺寸16×8、8×16、或8×8的宏块分割。8×8像素的宏块分割(partition)也被称为子宏块。可以将子宏块进一步拆分为尺寸8×4、4×8、和4×4的子宏块分割。编码器可以基于特定宏块的特性来选择如何将所述宏块划分为分割和子宏块，以使压缩效率和主观质量最大化。

另外，H.264标准还支持INTRA(帧内)、SKIP、以及DIRECT模式。帧内模式允许三种类型：INTRA4×4、INTRA16×16、以及INTRA8×8，其仅是一种保真度范围扩展模式。INTRA4×4和INTRA8×8支持9种预测模式：垂直、水平、DC、对角左下、对角右下、垂直-左、水平-下、垂直-右、以及水平-上预测。INTRA16×16支持4种预测模式：垂直、水平、DC、以及平面预测。

可以为帧间预测使用多个参考图像，并编码得到参考图像索引以指示使用所述多个参考图像中的哪一个。在P图像(或P片)中，仅使用单向预测，并在列表0中管理允许的参考图像。在B图像(或B片)中，管理参考图像的两个列表：列表0和列表1。在B图像(或B片)中，允许使用列表0或列表1的单向预测，或允许同时使用列表0和列表1的双向预测。当使用双向预测时，将列表0和列表1预测器一起平均以形成最终预测器。

因此，在H.264标准中，对B片支持四种不同类型的图像间预测：列表0、列表1、双向预测、以及直接预测。列表0预测是指所述预测基于第一参考图像缓冲器的图像，如果使用列表1预测则使用第二参考图像缓冲器的图像用于预测。在双向预测模式下，通过同时使用列表0和列表1预测信号来构建所述预测信号。直接预测模式是由之前发送的语法元素推出，而且可以是列表0或列表1预测或双向预测。B片允许使用多种块分割(更具体地，对宏块为16×16、16×8、8×16、和8×8)来预测16×16宏块。另外，对每个块分割，可以单独选择预测模式(列表0、列表1、双向预测)。对以直接预测编码的块，如果未发送错误信号，则该编码也被称作SKIP模式，而且可以很有效地编码所述块。

对H.264标准，每个宏块分割可以具有独立的参考图像索引、预测类型(列表0、列表1、双向预测)、以及独立的运动矢量。每个子宏块分割可以具有独立的运动矢量，但是同一子宏块中的全部子宏块分割使用相同的参考图像索引和预测类型。

对帧间编码的宏块，除上述宏块分割之外，P帧还支持SKIP模式，而B帧支持SKIP模式和DIRECT模式二者。在SKIP模式下，不编码任何运动和残余信息。SKIP宏块的运动信息与由图像/片类型(P或B)、以及诸如序列和片级参数的其它信息指定的运动矢量预测器相同，而且与其它时间或空间相邻的宏块以及其自身在所述片中的宏块位置有关。相反，在DIRECT模式下，不编码任何运动信息，但对预测残余进行编码。宏块和子宏块均支持DIRECT模式。

为了模式决策，交互图像需要支持帧间和帧内模式二者。帧内模式包括INTRA4×4和INTRA16×16。对P图像，帧间模式包括SKIP和16×16、16×8、8×16以及子宏块8×8分割。8×8进一步支持8×8、8×4、4×8、以及4×4分割。对B图像，对宏块和子宏块二者均考虑列表0和列表1以及DIRECT模式。

现有技术中，率失真优化(RDO)框架被用于模式决策。对帧间预测模式，在模式决策之外单独考虑运动估计。首先为全部块类型的帧间模式执行运动估计，接着通过比较每一帧间模式和帧内模式的开销来作出模式决策。选择具有最小开销的模式作为最佳模式。

用于编码P或B图像中的一个宏块s的传统过程(以下称为“传统宏块编码过程”)总结如下。

在传统宏块编码过程的第一步，给定最后解码的图像、拉格朗日乘子λ_MODE、λ_MOTION、以及宏块量化器QP。

在传统宏块编码过程的第二步，通过为可能的宏块模式的每一参考图像和运动矢量使

J(REF，m(REF)|λ_MOTION)＝SA(T)D(s，c(REF，m(REF)))+λ_MOTION(R(m(REF)-p(REF)+R(REF))最小化而执行运动估计和参考图像选择。在前面等式中，m是考虑的当前运动矢量，REF代表所述参考图像，p是在运动矢量编码期间用于预测的所述运动矢量，c(REF，m(REF))是由REF、m(REF)确定的候选宏块，R(m-p)表示用于编码运动矢量的位，而R(REF)是用于编码参考图像的位。SA(T)D代表原始信号与由所述运动矢量预测的参考信号之间的绝对(变换)差和。

在传统宏块编码过程的第三步，给定QP和λ_MODE，通过改变MODE使J(s，c，MODE|QP，λ_MODE)＝SSD(s，c，MODE|QP)+λ_MODE：R(s，c，MODE|QP)最小化来选择宏块预测模式。SSD代表原始信号与重建信号之间的方差和。R(s，c，MODE)是与选择模式关联的位的数量，包括用于宏块头部、运动和全部DCT系数的位。MODE表示下述可能的宏块模式集合中的模式：

P帧： $\mathrm{MODE}\∈\left\{\begin{array}{c}\mathrm{INTRA}4\×4,\mathrm{INTRA}16\×16,\mathrm{SKIP},\\ 16\×\mathrm{16,16}\×\mathrm{8,8}\×\mathrm{16,8}\×\mathrm{8,8}\×\mathrm{4,4}\×\mathrm{8,4}\×4\end{array}\right\},$

B帧： $\mathrm{MODE}\∈\left\{\begin{array}{c}\mathrm{INTRA}4\×4,\mathrm{INTRA}16\×16,\mathrm{BIDIRECT},\mathrm{DIRECT},\\ \mathrm{FWD}16\×16,\mathrm{FWD}16\×8,\mathrm{FWD}8\×16,\mathrm{FWD}8\×8,\mathrm{FWD}8\×4,\\ \mathrm{FWD}4\×8,\mathrm{FWD}4\×4,\mathrm{BAK}16\×16,\mathrm{BAK}16\×8,\mathrm{BAK}8\×16,\\ \mathrm{BAK}8\×8,\mathrm{BAK}8\×4,\mathrm{BAK}4\×8,\mathrm{BAK}4\×4\end{array}\right\}.$

INTRA4×4包括模式：

                    

而INTRA16×16包括模式：MODE∈{垂直，水平，DC，平面}。

对于传统宏块编码过程，引入传统快速模式选择，其可以通过考虑下述理由而显著减少模式决策的复杂度同时对质量影响甚微，即模式决策错误表面很可能是单调的，因而如果首先检视特定模式则有可能更简单地找到最佳模式。如果不执行给定模式的模式决策，则实质上暗示了也不执行运动估计，后者是编码的最大开销部分，即便使用了快速运动估计算法。更具体地，在该方法中首先检视SKIP和16×16模式。根据它们的失真关系(即，J(SKIP<J(16×16)))以及残余的可用性，进一步的决策是否终止所述搜索。否则，同样计算J(8×8)和J(4×4)。基于J(16×16)、J(8×8)、和J(4×4)的关系，执行附加的决策以确定应当测试哪一剩余块尺寸。例如，如果失真是单调的(即，J(16×16)>J(8×8)>J(4×4)或J(16×16)<J(8×8)<J(4×4))，则可以容易地确定应当检视哪一附加分割。例如，对第一种情况，仅测试小分割(8×4和4×8)，而在第二种情况下，仅检视16×8和8×16。如果失真不是单调的，则测试全部可能的模式。

在另外的传统快速模式决策方法中，基于失真值(见图1)和不同模式之间的关系(见图2)引入附加条件，其允许搜索终止得更快而对质量影响不大。

参看图1，使用引用数字100来一般地表示基于失真值的用于运动矢量和模式决策的方法。方法100包括开始块102，其将控制传递给功能块104。功能块104检查SKIP模式和16×16模式，并将控制传递给决策块106。决策块106确定SKIP模式下的失真J(SKIP)是否小于16×16模式下的失真J(16×16)、以及16×16模式是否有任何残余。如果SKIP模式下的失真不小于16×16模式下的失真和/或16×16模式有残余，则控制被传递到功能块108。反之，如果SKIP模式下的失真小于16×16模式下的失真而且16×16模式没有残余，则控制被传递到决策块126。

功能块108检查当前(即，当前评估的)8×8子分割的8×8模式，并将控制传递到决策块110，以及传递到功能块114。决策块110确定当前8×8子分割的8×8模式是否具有与16×16模式相同的运动信息。如果对于所述主题子分割，8×8模式不具有与16×16模式相同的运动信息，则控制被传递到功能块112。反之，如果对于当前的8×8，8×8模式具有与16×16模式相同的运动信息，则控制被传递到功能块114。

功能块112检查16×8和8×16子分割，并将控制传递到功能块114。

功能块114检查当前4×4子分割的4×4模式，并将控制传递到决策块116，以及传递到功能块120。决策块116确定当前4×4子分割的4×4模式是否具有与8×8模式相同的运动信息。如果当前4×4子分割的4×4模式不具有与8×8模式相同的运动信息，则控制被传递到功能块118。反之，如果当前4×4子分割的4×4模式具有与8×8模式相同的运动信息，则控制被传递到功能块120。

功能块118检查8×4和4×8子分割，并将控制传递到功能块120。

功能块120检查帧内模式，并将控制传递到功能块122。功能块122从已评估的模式中选择最佳模式，并将控制传递到结束块124。结束块124结束所述宏块编码。

决策块126确定当前(即，当前评估的)16×16MB的SKIP模式是否具有与16×16模式相同的运动信息。如果当前16×16MB的SKIP模式不具有与16×16模式相同的运动信息，则控制被传递到决策块108。反之，如果当前16×16MB的SKIP模式具有与16×16模式相同的运动信息，则控制被传递到功能块120。

参看图2，使用引用数字200来一般地表示基于不同模式之间的关系的用于运动矢量和模式决策的方法。方法200包括开始块202，其将控制传递给功能块204。功能块204检查SKIP模式和16×16模式，并将控制传递给决策块206。决策块206确定是否MC2>T1，其中MC2＝min(J(SKIP)，J(16×16))，其为SKIP模式和16×16模式之间的最小失真，而T1是第一阈值。如果MC2<＝T1，则控制被传递到决策块208。反之，如果MC2＝min(J(SKIP)，J(16×16))>T1，则控制被传递到功能块210。

决策块208确定MC2是否大于T2(第二阈值)。如果MC2不大于T2，则控制被传递到功能块210。反之，如果MC2大于T2，则控制被传递到功能块218。

功能块210检查其它帧间模式，并将控制传递到功能块212。功能块112检查其它未测试的帧内模式，并将控制传递到功能块214。功能块214从已评估的模式中选择最佳模式，并将控制传递到结束块216。结束块216结束所述宏块编码。

功能块218检查INTRA4×4DC，并将控制传递到决策块220。决策块220确定J(INTRA4×4DC)是否小于a*MC2+b，其中a和b是常数。如果J(INTRA4×4DC)不小于a*MC2+b，则将控制传递到功能块210。反之，如果J(INTRA4×4DC)小于a*MC2+b，则将控制传递到功能块212。

帧间模式决策与运动估计、各种块尺寸以及多个参考图像选择关联。帧内模式决策与各种块类型以及多个空间预测模式选择关联。因而，交互帧的模式决策给所述编码器带来沉重负担。

从而，期望有一种非常有利的能减轻编码器负担的执行交互帧的快速模式决策的方法和装置。

发明内容

本发明解决现有技术的这些和其它缺点和不足，其关注于用于编码器的B帧的快速模式决策的方法和装置。

根据本发明的一个方面，提供一种用于为可划分为宏块的B片编码视频数据的视频编码器。所述视频编码器包括编码器，其用于在对所述B片中的当前宏块进行编码时通过下述方法来执行模式选择，对所述B片中以DIRECT模式编码的相邻宏块的数量进行计数，而且当以DIRECT模式编码的相邻宏块的数量超过预定阈值时仅为所述当前宏块检查DIRECT模式或16×16模式其中之一。

根据本发明的另一个方面，提供一种用于为可划分为宏块的B片编码视频数据的视频编码器。所述视频编码器包括编码器，其用于在对所述B片中的当前宏块进行编码时通过下述方法来执行模式选择，使用当前宏块中的多个块变换系数来计算当前宏块的残余能量，而且将所述残余能量的值与预定阈值进行比较，并在所述残余能量的值小于所述预定阈值时仅为模式选择考虑帧间模式。

根据本发明的另一个方面，提供一种用于为可划分为宏块的B片编码视频数据的视频编码器。所述视频编码器包括编码器，其用于在对所述B片中的当前宏块进行编码时通过下述方法来执行多阶段模式选择，使用借助多个视频序列训练且适合于与λ_MODE呈线性关系的模型的多个阈值，其中λ_MODE依赖于量化参数，而且在DIRECT模式下编码时将率失真(RD)开销与所述多个训练的阈值进行比较，并基于所述RD开销在不同阶段终止模式选择。

根据本发明的另一个方面，提供一种用于为可划分为宏块的B片编码视频数据的视频编码器。所述视频编码器包括编码器，其用于在对所述B片中的当前宏块进行编码时通过下述方法来执行模式选择，首先执行列表0和列表1的单向预测，并基于列表0和列表1的最佳模式决策来确定是否为当前宏块测试双向预测模式。

根据本发明的另一个方面，提供一种用于为可划分为宏块的B片编码视频数据的视频编码器。所述视频编码器包括编码器，其用于在对所述B片中的当前宏块进行编码时通过仅为子宏块模式选择测试DIRECT8×8模式来执行模式选择。

通过下面结合附图对示范性实施例进行详细描述，本发明的这些和其它方面、特征、和优点将变得显而易见。

附图说明

通过参照下面的示范性附图，可以更好地理解本发明，其中：

图1示出用于基于失真值的运动矢量和模式决策的方法的流程图；

图2示出用于基于不同模式之间的关系的运动矢量和模式决策的方法的流程图；

图3示出根据本发明的原理的视频编码器；

图4示出根据本发明的原理的使用相邻宏块的模式信息以及残余的快速模式决策的方法的流程图；

图5示出根据本发明的原理的使用失真信息的快速模式决策的方法的流程图；

图6示出根据本发明的原理的使用列表信息的快速模式决策的方法的流程图。

具体实施方式

本发明关注于用于编码器的B帧的快速模式决策的方法和装置。有利的是，本发明降低模式决策复杂度的同时保持编码效率。

本说明书诠释本发明的原理。因此应当理解，本领域技术人员将能够作出将本发明的原理具体化而且包含在其精神和范围内的各种方案(尽管未在这里明确说明或示出)。

这里叙述的全部示例和条件语言意在用于帮助读者理解本发明的原理以及本发明人为拓展技术领域而贡献的概念的教育目的，应被解释为不限于这样具体叙述的示例和条件。

而且，这里叙述本发明的原理、方面、和实施例以及其特定示例的全部陈述意在涵盖其结构以及功能等价物。另外，意图使这样的等价物既包括当前已知的等价物又包括未来开发的等价物，即，任何执行相同功能的元素，不管结构如何。

因此，例如，本领域技术人员将理解，这里给出的框图代表将本发明的原理具体化的说明性电路的概念视图。类似地，应当理解，任何流程表、流程图、状态转换图、伪代码等等代表可以基本在计算机可读介质中表示并由计算机或处理器执行的各种过程，不管是否明确地示出了这样的计算机或处理器。

可以通过使用专用硬件以及与适当的软件关联的能够执行软件的硬件来提供附图中所示的各种元素的功能。当由处理器提供时，所述功能可以由单个专用处理器、单个共享处理器、或多个独立处理器(其中某些可以是共享的)提供。此外，明确使用术语“处理器”或“控制器”不应被解释为仅指代能够执行软件的硬件，而应当隐含而不加限制地包括数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)、以及非易失存储器。

也可以包括其它传统的和/或定制的硬件。类似地，附图中示出的任何转移控制(swtich)均仅是概念性的。它们的功能可以通过编程逻辑的操作、专用逻辑、程序控制与专用逻辑的相互作用、或者甚至手动来完成，随着实现者对上下文更具体的了解可以选择特定的技术。

这里的权利要求中，任何表达为用于执行特定功能的装置的元素意在涵盖任何执行该功能的手段，例如包括a)执行该功能的电路元件的组合或b)任何形式下的软件，因而包括与适当的电路组合的固件、微代码等等用于运行该软件以执行所述功能。本发明如这样的权利要求所限定基于下述事实，即，以所述权利要求请求保护的方式对由各种叙述的装置提供的功能进行组合和聚集。因此应当理解，任何可以提供这些功能的装置与这里所示出的装置等价。

有利的是，本发明提供一种用于编码器的B帧(或B片)的快速模式决策的方法和装置，其降低模式决策复杂度的同时保持编码效率

作为示例，在本发明的一个示范性实施例中，通过利用从之前编码的宏块可得到的包括但不限于失真、模式、和残余的信息来确定需要为当前宏块检查哪些模式，降低B帧(或B片)的模式决策的复杂度。要检查的模式的顺序可选地可以是：DIRECT、16×16、8×8、16×8、8×16、8×8子宏块分割和INTRA模式。

参看图3，使用引用数字300来一般地表示示范性视频编码器。

编码器300的输入以信号通信连接到求和点310的同相输入。求和点310的输出以信号通信连接到块变换器320。变换器320以信号通信连接到量化器330的第一输入。量化器330的输出以信号通信连接到可变长度编码器(“VLC”)340，其中VLC340的输出是编码器300的外部可用的输出。率控制器377的第一输入以信号通信连接到求和点310的输出，率控制器377的第二输入以信号通信连接到VLC340的输出，而率控制器377的输出以信号通信连接到量化器330的第二输入。

量化器330的输出还以信号通信连接到反量化器350。反量化器350以信号通信连接到反块变换器360，后者跟着以信号通信连接到参考图像存储器370。参考图像存储器370的第一输出以信号通信连接到运动估计器380的第一输入。编码器300的输入还以信号通信连接到运动估计器380的第二输入。运动估计器380的输出以信号通信连接到运动补偿器390的第一输入。参考图像存储器370的第二输出以信号通信连接到运动补偿器390的第二输入。运动补偿器390的输出以信号通信连接到求和点310的反相输入。

现在将对根据本发明的原理使用经历快速模式决策的当前宏块的相邻宏块的模式信息进行说明。

注意到对于B帧，如果全部相邻宏块均以DIRECT模式编码，则当前宏块将最可能以DIRECT模式或16×16模式编码。可在图4中看到这样的实现的示例，下面对其进行说明。该方法也可用应用于P帧。当全部相邻模式均以SKIP模式编码时，P帧中的宏块仅需要测试SKIP和16×16模式。

可以通过设置阈值T_direct来容易地改变上述方法以适应不同的编码性能。为了实现该适应性方法，对以DIRECT模式编码的相邻块的数量进行计数，而且当编码为DIRECT的相邻块的数量超过该阈值时仅为该当前宏块检查DIRECT模式和16×16模式。当高编码速度为首选时，将该阈值设置为较小的值。另一方面，为了设计低损失的编码器，可以将该阈值设置为全部可用相邻块的数量。

现在将对根据本发明的原理使用残余信息用于快速模式决策进行说明。

使用所述残余的能量来测量DIRECT模式的性能。所述残余是原始信号与参考信号之间的差，其可以简单地计算为块变换系数绝对值的总和，或者当前宏块中的多个块变换系数。当在测试DIRECT模式之后所述残余为零或者小于阈值T_residue时，则已从之前的图像很好地预测该宏块，而没有检查INTRA模式的必要。

参看图4，使用引用数字400来一般地表示用于使用相邻宏块的模式信息以及残余来执行模式决策的方法。

方法400包括开始块405，其将控制传递到功能块410。功能块410检查DIRECT模式，并将控制传递到功能块415。功能块415检查16×16模式，并将控制传递到决策块420。决策块420确定以DIRECT模式编码的相邻块的数量是否大于或等于T_direct。如果以DIRECT模式编码的相邻块的数量不大于或等于T_direct，则控制被传递到功能块425。反之，如果以DIRECT模式编码的相邻块的数量大于或等于T_direct，则控制被传递到功能块440。

功能块425检查16×8模式、8×16模式、以及8×8模式，并将控制传递到决策块430。决策块430确定DIRECT模式之后的残余是否小于T_residue。如果DIRECT模式之后的残余不小于T_residue，则控制被传递到功能块435。但是，如果DIRECT模式之后的残余小于T_residue，则控制被传递到功能块440。

功能块435检查INTRA模式，并将控制传递到功能块440。

功能块440从已测试的模式中选择最佳模式，并将控制传递到结束块445。

现在将对根据本发明的原理使用失真信息用于快速模式决策进行说明。

应当理解，术语“误差”和短语“率失真开销”在这里可互换地使用，而且也可以在这里用字母“J”开头来表示，其中在该字母“J”之后的圆括号中指明相应的模式。

测试DIRECT模式之后的误差J(DIRECT)，用于其作为是否已使用DIRECT模式很好地从之前图像预测了当前宏块的指示器。如果J(DIRECT)低于阈值T_B1，则当前宏块很可能可用DIRECT模式高效地表示，而不需要检视其它模式。反之，如果J(DIRECT)小于阈值T_B2，则还将测试16×16模式。反之，如果J(DIRECT)小于阈值T_B3，则将测试16×16、16×8、和8×16模式。反之，如果J(DIRECT)小于阈值T_B4，则将测试16×16、16×8、8×16、和8×8模式。如果J(DIRECT)大于阈值T_B4，则将测试全部模式。这在图5中示出，下面对其进行说明。

通过使用代表不同类型的视频内容的多个视频序列来训练所述阈值。选择最严格的阈值以保证全部序列保持良好的编码效率。当以不同量化参数编码视频序列时所述阈值有所变换。例如，当使用更高的QP时，重建的宏块与原始宏块之间的失真更大，因而阈值也应当更大。由于这个原因，所述阈值依赖于QP。进一步，注意到这些阈值几乎与λ_MODE呈线性关系，其中λ_MODE依赖于QP。该线性关系被写为T_Bi＝a_i+b_iλ_MODE，i＝1，2，3，4。

在测试16×16和8×8模式之后，还将所述阈值应用于J(16×16)和J(8×8)。进一步，考虑不同模式之间的绝对差，诸如|J(DIRECT)-J(16×16)|和|J(16×16)-J(8×8)|。如果该差很小，则加上其它条件，可以跳过对某些模式的检视。例如，如果|J(DIRECT)-J(16×16)|很小，而且来自DIRECT模式和16×16模式的运动信息相同，则终止模式决策过程并在DIRECT模式和16×16模式之间选择最佳模式。另一方面，如果|J(16×16)-J(8×8)|很小，则可以跳过16×8模式和8×16模式，并在DIRECT模式(对P片为SKIP模式)、16×16模式、以及8×8模式中间选择最佳模式。

B片支持四种不同类型的图像间预测：列表0、列表1、双向预测、以及直接预测。也可以使用失真信息来减少一种或多种类型的预测。例如，当列表0或列表1的失真已经小于阈值T_bi-pred时，这表明单向预测表现非常好，而可以跳过双向预测的测试并终止模式决策过程。进一步，在检视列表0和列表1二者之后，获得列表0和列表1二者的最佳宏块分割。如果所述分割相同，则在该分割上检视双向预测。反之，则在该分割上跳过双向预测。

考虑到一些编码器在代码转换架构中可能还包括预处理元素，诸如包括内容分析、或者甚至MPEG-2编码器，则在假设存在这样的元素时使所述阈值适应于具有不同内容纹理的不同序列，而不是基于最难以编码的序列来选择所述阈值。

参看图5，使用引用数字500来一般地表示使用失真信息来执行模式决策的方法。

方法500包括开始块505，其将控制传递到功能块510。功能块510计算“16×16DIRECT”的RD开销J(DIRECT)，并将控制传递到决策块515。决策块515确定J(DIRECT)是否小于T_B1。如果J(DIRECT)不小于T_B1，则控制被传递到功能块520。反之，如果J(DIRECT)小于T_B1，则控制被传递到结束块560。

功能块520检查16×16模式，并将控制传递到决策块525。决策块525确定J(DIRECT)是否小于T_B2。如果J(DIRECT)不小于T_B2，则控制被传递到功能块530。反之，如果J(DIRECT)小于T_B2，则控制被传递到结束块560。

功能块530检查16×8模式和8×16模式，并将控制传递到决策块535。决策块535确定J(DIRECT)是否小于T_B3。如果J(DIRECT)不小于T_B3，则控制被传递到功能块540。反之，如果J(DIRECT)小于T_B3，则控制被传递到结束块560。

功能块540检查8×8模式，并将控制传递到决策块545。决策块545确定J(DIRECT)是否小于T_B4。如果J(DIRECT)不小于T_B4，则控制被传递到功能块550。反之，如果J(DIRECT)小于T_B4，则控制被传递到结束块560。

功能块550检查INTRA模式，并将控制传递到功能块555。功能块555从已测试的模式中选择最佳模式，并将控制传递到结束块560。

现在将对根据本发明的原理使用8×8模式的统计用于快速模式决策进行说明。

B片宏块的8×8分割也可以以DIRECT模式编码。该模式也被称为DIRECT8×8模式。从统计注意到，以8×8模式编码的宏块的概率非常小，而且当其以8×8模式编码时，其有相当大的机会以DIRECT模式编码。因而，可将全部8×8分割以DIRECT模式编码而不损失太多编码效率。

应当理解，可以将这里参照图4和5描述的方法、和参照传统宏块编码过程描述的方法、以及上面描述的采用基于失真值和不同模式之间关系的附加条件的不同的传统方法分开使用或联合使用。

参看图6，使用引用数字600来一般地表示使用列表信息用于快速模式决策的方法。

开始块602将控制传递到功能块605。功能块605检查DIRECT模式，并将控制传递到决策块610。决策块610确定J(DIRECT)是否小于T1。如果J(DIRECT)不小于T1，则控制被传递到功能块615和功能块620。反之，如果J(DIRECT)小于T1，则控制被传递到功能块650。

功能块615从列表0选择最佳帧间模式m0，并将控制传递到决策块625。功能块620从列表1选择最佳帧间模式ml，并将控制传递到决策块625。

决策块625确定帧间模式m0和帧间模式ml是否具有相同的分割。如果帧间模式m0不具有与帧间模式ml相同的分割，则控制被传递到功能块630。反之，如果帧间模式m0具有与帧间模式ml相同的分割，则控制被传递到功能块655。

功能块630从m0、ml和m01中选择最佳帧间模式，并将控制传递到功能块635。

功能块635检查帧内模式，并将控制传递到功能块640。功能块640从已测试的模式中选择最佳模式，并将控制传递到结束块645。

功能块655检查具有与m0和ml相同的分割的双向预测模式m01，并将控制传递到功能块660。功能块660从m0、ml和m01中选择最佳帧间模式，并将控制传递到功能块635。

现在将对本发明的许多附带的优点/特征其中的某些进行说明。例如，一个优点/特征是，一种在对B片中的宏块进行编码时通过下述方法来执行模式选择的视频编码器，其对以DIRECT模式编码的相邻宏块的数量进行计数，而且当编码为DIRECT的相邻宏块的数量超过预定阈值时仅为该当前宏块检查DIRECT模式或16×16模式。另一个优点/特征是，如上所述的视频编码器，其中考虑的相邻宏块是左、左上、上、以及右上的近邻。另一个优点/特征是，如上所述的考虑上述指定的相邻宏块的视频编码器，其中所述预定阈值是全部近邻必须按照DIRECT编码。另一个优点/特征是，如上所述的视频编码器，其中如果未超过所述预定阈值，则执行进一步的模式选择。此外，另一个优点/特征是，一种在对B片中的宏块进行编码时通过下述方法来执行模式选择的视频编码器，其使用该当前宏块中的多个块变换系数来计算残余能量，而且将该残余能量的值与预定阈值进行比较，并且如果该值小于所述预定阈值，则在模式选择过程中不考虑INTRA模式。另外，另一个优点/特征是，如上所述的使用残余能量来执行模式选择的视频编码器，其中所述预定阈值的值是零。此外，另一个优点/特征是，一种在对B片中的宏块进行编码时通过下述方法来执行模式选择的视频编码器，其使用多个视频序列来训练阈值T_B1、T_B2、T_B3、和T_B4并使其适合于与λ_MODE呈线性关系的模型，其中λ_MODE依赖于QP，而且在DIRECT模式下编码时将RD开销与所述阈值进行比较，并基于所述RD开销在不同阶段终止模式选择。另外，另一个优点/特征是，一种在对B片中的宏块进行编码时通过下述方法来执行模式选择的视频编码器，其首先执行列表0和列表1的单向预测，而且其中测试双向预测模式的选择依赖于列表0和列表1的最佳模式决策。另一个优点/特征是，一种视频编码器，其首先执行列表0和列表1的单向预测，其中如果列表0和列表1的模式选择具有相同的分割，则测试该分割上的双向预测模式；反之，则不执行双向预测。此外，另一个优点/特征是，一种在对B片中的宏块进行编码时通过仅为子宏块模式选择测试DIRECT8×8模式来执行模式选择的视频编码器。

本领域普通技术人员可以基于这里的教导容易地探知本发明的这些和其它特征和优点。应当理解，本发明的教导可以以硬件、软件、固件、专用处理器等各种形式或其组合来实现。

最优选地，将本发明的教导实现为硬件和软件的组合。而且，优选地将所述软件实现为有形地具体化在程序存储单元上的应用程序。所述应用程序可以被上载到包括任何合适的架构的机器并由其执行。优选地，将所述机器实现在具有诸如一个或更多中央处理器(“CPU”)、随机存取存储器(“RAM”)、和输入/输出(“I/O”)接口的硬件的计算机平台上。所述计算机平台还可以包括操作系统和微指令代码。这里描述的各种过程和功能可以是所述微指令代码的一部分或所述应用程序的一部分、或其任何组合，其可以由CPU执行。此外，可以将各种其它外围单元连接到所述计算机平台，诸如附加数据存储单元和打印单元。

还应当理解，由于附图中描绘的某些系统成分组件和方法优选地以软件实现，依赖于其中对本发明编程的方式，所述系统组件或过程功能块之间的实际连接可以不同。有了这里的教导，本领域普通技术人员将能够设想本发明的这些和类似的实现或配置。

虽然这里已经参照附图对说明性实施例进行了描述，应当理解，本发明并不现有这些明确的实施例，而且本领域普通技术人员在不背离本发明的范围或精神的前提下可以在其中作出各种变更和修改。意在将所有这样的变更和修改包括在如所附权利要求书中阐述的本发明的范围之内。

对相关申请的交叉引用

本申请要求于2004年11月4日提交的美国临时申请序列号60/624,870的权益，题为“FAST MODE DECISION OF B-FRAME FOR AN H.264ENCODER(用于H.264编码器的B帧的快速模式决策)”，其全部通过参照而被合并于此。

Claims (8)

1.一种用于对可划分为宏块的双向预测B片的视频数据进行编码的装置，包括编码器(300)，其用于在对所述B片中的当前宏块进行编码时通过下述方法来执行模式选择：对所述B片中以直接模式编码的相邻宏块的数量进行计数，而且当以直接模式编码的相邻宏块的数量超过阈值时仅为所述当前宏块检查直接模式或16×16模式其中之一。

2.根据权利要求1所述的装置，其中，所考虑的相邻宏块是左、左上、上、以及右上的相邻宏块。

3.根据权利要求1所述的装置，其中，所述阈值是全部相邻宏块必须以直接模式编码。

4.根据权利要求1所述的装置，其中，当未超过所述阈值时，执行进一步的模式选择。

5.一种用于对可划分为宏块的双向预测B片的视频数据进行编码的方法，包括在对所述B片中的当前宏块进行编码时执行模式选择的步骤，其中，所述执行步骤包括步骤：

对所述B片中以直接模式编码的相邻宏块的数量进行计数(420)；以及

当以直接模式编码的相邻宏块的数量超过阈值时仅为所述当前宏块检查(410、415)直接模式或16×16模式其中之一。

6.根据权利要求5所述的方法，其中，所考虑的相邻宏块是左、左上、上、以及右上的相邻宏块。

7.根据权利要求5所述的方法，其中，所述阈值是全部相邻宏块必须以直接模式编码。

8.根据权利要求5所述的方法，其中，当未超过所述阈值时，执行进一步的模式选择。

Images