CN101682762A

CN101682762A - 多参考图像压缩码流实现随机访问的方法及解码器

Info

Publication number: CN101682762A
Application number: CN200880001326.9A
Authority: CN
Inventors: 林永兵
Original assignee: Huawei Technologies Co Ltd
Current assignee: Huawei Technologies Co Ltd
Priority date: 2007-02-27
Filing date: 2008-02-21
Publication date: 2010-03-24
Anticipated expiration: 2028-02-21
Also published as: CN101257624A; US20100008420A1; CN101682762B; CN101257624B

Abstract

本发明提供了一种多参考图像压缩码流实现随机访问的方法及解码器，所述的方法包括：接收比特流，所述比特流中携带有预测参考特性指示信息，所述预测参考特性指示信息分别用于指示帧内编码图像I帧之后的前向预测编码图像P帧和双向预测编码图像B帧的预测参考特性；在发生随机访问时解析所述预测参考特性指示信息，根据所述预测参考特性指示信息的指示对所述比特流的图像帧进行解码。所述解码器包括码流解析模块和视频解码模块。本发明实施例所述的技术方案能够支持多参考帧情况下压缩码流的随机访问；并且本发明方案实现简单、具有高度的灵活性，可以根据各种应用场合，灵活的设置在编码效率和随机访问性能之间的折中。

Description

多参考图像压缩码流实现随机访问的方法及解码器技术领域

本发明属于音视频技术领域，尤其涉及视频压缩编解码技术领域。背景技术

在过去的近 20年当中，视频压缩编码技术得到不断发展，新的视频压缩编码标准也不断涌现。目前，视频压缩编码技术，正向着更高的编码压缩效率、更好的网络兼容件、更广泛的应用领域和更好的用户体验方向发展。

视频编码标准追求更高的编码压缩效率，但同时还必须考虑压缩码流的随机访问性能。随机访问性能是指从某一点而非比特流起始点开始对比特流解码并恢复出解码图像的能力，直接与用户的体验相关。随机访问性能和编码压缩效率是矛盾的关系，如何在两者之间进行折中和平衡，是视频编码标准必须要考虑的一个重要问题。

随机访问的需求主要包括广播业务中的节目换台、码流切换、编辑和拼接、节目回放的随机定位、快进快退等。不同的业务对随机访问性能的要求不同，比如，对于广播业务， DVB ( Digital Video Broadcasting数字视频广播）标准规定每隔 0. 5s要出现一个随机访问点；对于视频通信、视频会议、 PPV (Pay Per View (按观看节目付费业务）等业务对随机访问性能的要求降低。

为支持对视频压缩码流的随机访问， MPEG-2采取了一系列措施，在 MPEG-2标准中，采用了 6个层次的语法结构，包括序列、图组（GOP Group of Pictures ) 、图像、条带、宏块和块。随机访问的进入点有三个层次，即序列头、 G0P头、 I帧头（帧内编码图像）。重复的序列头可以支持随机访问，主要用于节目级的随机访问，如节目切换； G0P头和 I帧头互相配合，主要用于序列内的随机访问，如码流编辑、拼接、节目回放的随机定位、快进快退等操作。

MPEG-2标准中的 G0P头定义了两个标志位： closed_gop和 broken_l ink。其中， closed_gop_: 用于指示紧跟 G0P头后面的第一个 I帧图像后面的第一组 B帧（双向预测编码图像）的预测特性。该位置 1时，表示这些 B帧只使用了后向预测或帧内编码。

broken_l ink_: 用于指示两个 G0P之间的连接关系是否被打断。该位置 1时，表示两个 GOP之间的连接关系被打断，紧跟在 G0P头后面的第一个 I帧后续的第一组 B帧可能由于缺乏参考帧不能被正确解码。

cl_OSed_gop和 broken_link配合使用，可以支持压缩码流编辑。码流发生编辑时，可以通过设置 brok_en_link标志位，指示解码器正确处理紧跟在 I帧后续的 B帧的解码问题。

G0P是编码图像的系列组合，可以有多种结构，其中典型结构是 IBBP, 其中的 P帧指前向预测编码图像。以下以 IBBP结构的编码图像组合为例说明上述标志位的作用：

对于 IBBP这种图组结构，如果 I帧后续的 B帧参考了 I帧前面的帧，那么从 I帧随机进入时，这些 B帧将无法正确解码，这种情况可由 G0P头中的 cl_OSed_gop来指示；同样地，如果对这些 I帧以前的参考帧发生了编辑， I帧后续的 B帧也将由于缺少参考帧而无法正确解码，这种情况可由 broken_link来指示。

在 MPEG-2标准中， G0P和 I帧能够支持随机访问和编辑的一个前提条件是，帧间预测编码图像只能有一个参考帧。然而，为提高编码效率，现在新的视频编码标准允许帧间编码图像有多个参考帧。如果在 P帧有多个参考帧的情况下， P帧可能会参考 I帧之前的帧，那么将导致 I帧起不到重新同步、随机访问、阻止误差扩散的作用。因此， MPEG-2的 G0P 的做法已经不能适用于多参考帧的应用场合。

最新的视频编码标准 H. 264，采用了多参考帧预测技术。该标准采用了全新的语法结构，引进了新的图像类型 IDR ( Instantaneous Decoding Refresh立即解码刷新）图像，并与 I 巾贞禾口 Recovery Point SEI MessageC Recovery Point Supplemental Enhancement Information Message 恢复点辅助增强信息）等结合，以支持压缩码流的随机访问和编辑问题。解码器一旦遇到 IDR图像，立即刷新参考图像缓冲区，使得所有在 IDR之前的参考图像都失效，从 IDR图像开始重新解码。 IDR图像可以作为随机访问点，起到重新同步、阻止误差扩散的作用。

但是， H. 264标准采用了全新的语法结构，采用参数集的概念，替代了 MPEG-2中的序列和图像的语法层次，并引入了新的图像类型 IDR图像，以及 Recovery Point SEI Message, 以支持随机访问。这种新的语法结构和处理机制，与 MPEG-2标准相差很大，语法层次结构上完全不同。带来的问题是对于目前广泛使用的 MPEG-2 的系统层标准不能很好的适应， H. 264压缩码流承载到 MPEG-2系统层时，效率会降低；此外， H. 264标准处理随机访问的机制相对复杂，不仅引入了新的图像类型 IDR，并且增加了 Recovery Point SEI Message, 在 SEI辅助信息中包含了 4个配合使用的元素，这种对随机访问和编辑问题的处理机制相对复杂。发明内容

本发明实施例的的在于提供一种实现随机访问的方法及解码器，旨在解决现有技术中存在的当帧间预测编码图像存在多个参考帧时解码器处理机制复杂的问题。

为实现上述目的，本发明实施例采用如下的技术方案：

一种多参考帧压缩码流实现随机访问的方法，包括：

接收比特流，所述比特流中携带有预测参考特性指示信息，所述预测参考特性指示信息分别用于指示帧内编码图像 I帧之后的前向预测编码图像 P帧和双向预测编码图像 B帧的预测参考特性；

在发生随机访问时解析所述预测参考特性指示信息，根据所述预测参考特性指示信息的指示对所述比特流的图像帧进行解码。

本发明实施例还提供了一种解码器，所述解码器包括码流解析模块和视频解码模块：所述码流解析模块，用于接收比特流，所述比特流中携带有预测参考特性指示信息，所述预测参考特性指示信息分别用于指示帧内编码图像 I帧之后的前向预测编码图像 P帧和双向预测编码图像 B帧的预测参考特性；所述码流解析模块包括预测特性解析单元，用于在发生随机访问时解析所述预测参考特性指示信息，根据所述预测参考特性指示信息指示所述视频解码模块对所述比特流的图像帧进行解码；

所述视频解码模块，用于根据所述预测特性解析单元的指示进行解码。

本发明实施例克服现有技术的不足，引入预测参考特性指示信息，分别指示 I帧后续前向预测编码图像 P帧和双向预测编码图像 B帧的预测参考特性，解码器根据预测参考特性指示信息对图像帧进行相应的处理，实现对随机访问的支持，本发明实施例所述的技术方案能够支持多参考帧情况下压缩码流的随机访问；并且本发明实施例所述的方案实现简单、具有高度的灵活性，可以根据各种应用场合，灵活的设置在编码效率和随机访问性能之间的折中。附图说明

图 1是本发明实施例所述的解码器结构框图；

图 2是本发明实施例随机访问流程图。具体实施方式

本发明实施例通过在图组（G0P) 头或图像头（包括 I帧头）或序列头或用户自定义的语法元素中引入参数，分别表示 I帧后续前向预测编码图像 P帧和双向预测编码图像 B帧的预测参考特性，实现对随机访问的支持，同时，利用这些信息，与相关标识符配合使用，指示解码器在码流编辑和传输错误的情况下做出正确处理。

为了使本发明实施例的目的、技术方案及优点更加清楚明白，具体实施方式以参考帧为两帧为例进行说明，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例中由两个标志位来携带指示 I帧之后的 P帧和 B帧的预测参考特性指示信息，如预测特性参数，因此需要首先引入 2个标志位，分别表示 I帧后续的 P帧和 B帧的预测参考特性，指示 P帧和 B帧是否参考该 I帧前面的帧。需要指出的是，所述预测特性参数的表示形式既可为标志位，也可以是某个特定语法元素的是否出现，实际上相应语法元素的是否出现也相当于标志位的作用。下面以标志位为例进行说明。

这 2个标志位的具体定义可以如卜'：

closed_P_flag: 表示 P帧（如果存在）的预测参考特性

当 _Cl_0Sed_P_flag 为 1时，指示 I帧后续的 P帧不参考该 I帧前面的帧；

当 _Cl_0Sed_P_flag 为 0时，指示 I帧后续的 P帧可参考该 I帧前面的帧；

closed_B_flag: 表示 B帧（如果存在）的预测参考特性

当 _Cl_0Sed_B_flag 为 1时，指示 I帧后续的 B帧不参考该 I帧前面的帧；

当 _Cl_0Sed_B_flag 为 0时，指示 I帧后续的 B帧可参考该 I帧前面的帧；

当码流结构中不出现 P帧或者 B帧时，相应的标志位设置为 1。

本发明实施例提供的解码器原理框图如图 1 所示，该解码器包括码流解析模块、视频解码模块和视频显示模块，其中码流解析模块包括预测特性解析单元，当视频码流同时传输到码流解析模块和视频解码模块时，码流解析模块接收比特流，该比特流中携带有预测参考特性指示信息，所述预测参考特性指示信息分别用于指示帧内编码图像 I 帧之后的前向预测编码图像 P帧和双向预测编码图像 B帧的预测参考特性；码流解析模块中的预测特性解析单元对码流中携带的指示帧间编码图像的预测特性参数进行解析（P帧和 B帧的预测参考特性），并根据解析结果指示视频解码模块和视频显示模块对视频码流图像帧进行处理，如指示视频解码模块对能够解码的比特流图像帧进行解码，或指示视频解码模块丢弃预测特性指示不能解码的图像帧或者插入其它的图像帧。

具体来说，

( 1 ) 当比特流中的两个标志位为 closed_P_flag=l并且 closed_B_f lag=l时，预测特性解析单元解析出帧间编码图像的预测参考特性指示从 I 帧之后的所有帧，解码器能够正常解码，从码流进入点 I帧丌始，解码器正常解码； ( 2) 当比特流中的两个标志位为 closed_P_flag=l并且 closed_B_f lag=0时，预测特性解析单元解析出帧间编码图像的预测参考特性指示位于 I帧与其之后的第一个 P帧之间连续的 B帧无法正确解码，解码器丢弃这些 B帧，从第一个 P帧开始，解码器正常解码；

( 3) 当比特流中的两个标志位为 closed_P_flag=0并且 closed_B_f lag=l时，预测特性解析单元解析出帧间编码图像的预测参考特性指示位于 I帧与其之后的第一个 P帧之间的连续的 B帧能够正确解码，但从紧跟该 I帧后的第一个 P帧幵始，解码器无法正常解码，直到下一个 I帧，解码器解码 I帧与其之后的第一个 P帧之间连续的 B帧，丢弃该 P帧及其之 ]5所有的 P帧和 B帧，解码器寻找下一个 I帧；

(4) 比特流中的两个标志位为 closed_P_flag=0并且 closed_B_f lag=0时，预测特性解析单元解析出帧间编码图像的预测参考特性从码流进入点 I帧起，后续 P帧和 B帧均无法正确解码，直到卜一个 I帧，解码器可丢弃 I帧之后所有的 B帧和 P帧，解码器寻找卜一个 I帧。

具体应用中，上述的预测特性解析单元可以由解析单元、第一处理单元和第二处理单元构成，其中：

解析单元用于解析比特流中的预测特性参数；

第一处理单元对解析单元根据预测特性参数解析出不能解码的图像帧进行处理，指示视频解码模块丢弃所述预测特性指示不能解码的图像帧或者插入其它的图像帧；

第二处理单元指示视频解码模块解码解析单元根据预测特性参数解析出能解码的图像帧。

上述指示帧间编码图像的预测特性参数，可以编码于图像头、图组 G0P头、序列头或者用户自定义的语法元素中，其中图像头包括 I帧头，以下分成四个实施例说明：

实施例一：将指示帧间编码图像的预测特性参数编码于 I帧头中

在 I帧头中，引入两个标志位，分别指示该 I帧后续的 P帧和 B帧是否参考该 I帧前面的帧。如果码流中不存在 B帧或 P帧，这些字段可不作解释。

当实现对码流随机访问时，采用上述的两个标志位指示解码器帧间编码图像的预测参考特性，以下分成两种情况说明：

( 1 ) 当 closecLP— flag=l时，指示 I帧后的 P帧不参考该 I帧前面的帧时，解码器对于 P帧可以正确解码，对于后续 B帧的处理，分以下两种情况- 当 cl_0Sed_B_flag=l时，指示 B帧不参考 I帧以前的帧，此时，解码器对 B帧也可以正确解码，解码器从所述 I帧开始解码；

当 cl_OSed_B_fl_ag=0时，指示 B帧可参考 I帧以前的帧，则位于 I帧和其后的第一个 P 帧之间的所有连续的 B帧可能无法正确解码，而从 P帧开始，所有后续的帧可以正确解码，解码器可以采取的方案是丢弃位于 I帧和第一个 P帧之间的所有连续的 B帧。

( 2) 当 closecLP— flag=0时，指示 P帧可参考 I帧前面的帧，如果 P帧参考 I帧之前的帧， P帧由于缺少参考帧而无法正确解码，对于后续 B帧的处理，分以下两种情况：当 _Cl_0Sed_B_flag=l时，指示 B帧不参考 I帧以前的帧，此时，解码器对于 I帧与其后的第一个 P帧之间的所有连续的 B帧可以正确解码，但从紧跟该 I帧之后的第一个 P帧开始，解码器无法正常解码，解码器可丢弃紧跟该 I帧之后的第一个 P帧及其之后所有的 P 帧和 B帧，直到码流中的下一个 I帧；

当 _Cl_OSed_B_flag=0时，表示 B帧可参考 I帧以前的帧，如果 B帧参考 I帧之前的帧， B帧由于缺少参考帧而不能正确解码，从码流进入点 I帧起，后续 P帧和 B帧均无法正确解码，解码器可丢弃该 I帧之后的所有 P帧和 B帧，直到卜一个 I帧。

随机访问时的流程图如图 2所示，具体包括如下步骤：

1、随机访问开始；

2、解码器寻找下一个 I帧；

3、解码器提取编码于码流中的指示 I帧之后的 P帧和 B帧的预测特性参数，即两个标志位 closed_P_f lag禾卩 closed_B_f lag;

4、解码器根据这两个标志位进行处理，具体如下：

( 1 ) 当 closed_P— flag=l并且 closed_B_flag=l时，从码流进入点 I帧开始，解码器正常解码，转步骤 5; 当 closed_P_flag=l并且 closed_B_flag=0时，位于 I帧和第一个 P 帧之间连续的 B帧无法正确解码，解码器丢弃这些 B帧，从 P帧开始，解码器正常解码，转步骤 5;

( 2) 当 closed_P— flag=0并且 closed_B_f lag=l时，位于 I帧和第一个 P帧之间的连续的 B帧能够正确解码，但从紧跟该 I帧后的第一个 P帧开始，解码器无法正常解码，直到下一个 I帧，解码器解码 I帧和第一个 P帧之间连续的 B帧，丢弃该 P帧及其之后所有的 P帧和 B帧，转步骤 2; 当 closed_P_flag=0并且 closed_B— flag=0时，从码流进入点 I 帧起，后续 P帧和 B帧均无法正确解码，直到下一个 I帧，解码器可丢弃 I帧之后所有的 B 帧和 P帧，转步骤 2;

5、随机访问结束。

需要说明的是，解码器根据标志位判断 I帧之后的 P帧和 B帧的预测参考特性后，可以将不能解码的帧丢弃，也可以显示其他画面，还可以采用刷新技术，本发明中以解码器将不能解码的帧丢弃为例进行说明，但具体应用本发明方案时，并不局限于简单丢弃的技术方案。

如背景技术所述，随机访问的需求主要包括广播业务中的节换台、码流切换、编辑和拼接、节目回放的随机定位、快进快退等，以下以码流编辑和传输丢包两种应用场合为例说明本发明实施例提供的方案的应用，该应用也适合本发明中其它实施例的情况：

一、上述标志位与编辑标识符配合使用，适用码流编辑的应用场合

编辑码流时，上述的指示帧间编码图像的预测特性参数可以与编辑标识符配合，例如可以采用某个特定的 start code (起始码）本身来作为编辑标识符使用，实现对码流编辑的支持，当码流发生编辑时，可以在编辑点插入编辑标识符。具体来说，

当 closed_P_flag=l并且 closed_B_f lag=l，即后续的 P帧和 B帧都不参考 I帧前面的帧，此时，无需插入编辑标识符，在解码时，解码器没有读到编辑标识符，则解码器从 I 帧幵始正常解码；

当 closed_P_f lag=l并且 closed_B_f lag=0，即指示只有 B帧可参考 I帧前面的帧，此时在编辑点插入编辑标识符，表示 I帧与其后的第一个 P帧之间所有连续的 B帧可能缺少参考帧无法解码，在解码时，解码器读到编辑标识符，则解码器将这些 B 帧丢弃，从第一个 P帧开始，解码器正常解码；

当 closed_P_flag=0并且 closed_B_f lag=l，即指示只有 P帧可参考 I帧前面的帧，此时插入编辑标识符，表示紧跟该 I帧之后的 P帧及其之后所有的 P帧和 B帧，可能缺少参考帧无法解码，在解码时，解码器读到编辑标识符，则解码器可丢弃这些帧，直到下一个 I 帧，而该 I帧和其后的第一个 P帧之间连续的 B帧可以正确解码；

当 closed_P_f lag=0并且 closed_B_f lag=0，即指示 P帧和 B帧都可参考 I帧前面的帧，此时插入编辑标识符，表示后续的 P帧和 B帧，可能缺少参考帧无法解码，在解码时，解码器读到编辑标识符，对于解码器来说，从 I帧后续的第一帧开始无法解码，直到下一个 I 帧，解码器将这些帧丢弃。

需要说明的是，解码器根据编辑标识符判断出某个位置经过编辑，通过标志位判断 I帧之后的 P帧和 B帧的预测参考特性后，可以将不能解码的帧丢弃，也可以插入其它的预定的图像帧，还可以采用刷新技术，本发明中以解码器将不能解码的帧丢弃为例进行说明，但具体应用本发明方案时，并不局限于简单丢弃的技术方案。

二、上述标志位与传输错误标识符配合使用，适应传输丢包的应用场合

在传输过程中，如果 I帧前的参考帧发生了丢包，则将传输错误标识位置 1。此时，传输错误标识符（由系统层指示）与上述信息配合，也可正确指示解码器处理这种丢包的情况，避免解码或显示那些缺参考帧而无法正确解码的图像。处理过程与编辑标识符的处理类似。具体的，当传输错误标识位置 1时（指 I帧前的参考帧发生了丢包或出现传输错误），那么有以下几种情况：

当 closed_P_flag=l并且 closed_B_f lag=l，即后续的 P帧和 B帧都不参考 I帧前面的帧，此时，解码器从 I帧开始正常解码；

当 closed_P_flag=l并且 closed_B_f lag=0，即只有 B帧可参考 I帧前面的帧，表示 I 帧和其后的第一个 P帧之间连续的 B帧可能缺少参考帧无法解码，解码器将这些 B帧丢弃，从第一个 P帧开始正常解码；

当 closed_P_flag=0并且 closed_B_f lag=l，即只有 P帧可参考 I帧前面的帧，而该 I 帧和其后的第一个 P帧之间的 B帧仍可以正确解码，解码器从紧跟该 I帧之后的第一个 P 帧开始无法解码，解码器可丢弃这些 P帧及其之后所有的 P帧和 B帧，直到下一个 I帧；当 closed_P_flag=0并且 closed_B_flag=0，即 P帧和 B帧都可参考 I帧前面的帧，此时， P帧和 B帧都可能缺少参考帧无法解码，对于解码器来说，从 I帧后续的第一帧开始无法解码，直到下一个随机访问点，解码器将这些帧丢弃。

本实施例中将指示帧间编码图像的预测特性参数编码于 I 帧头中，以实现对随机访问的支持，当这些参数与编辑标识符和传输错误标识符配合使用时，还能够适用与码流编辑和传输错误的应用场合，从而无需使用 G0P这个语法层次，简化了语法结构，减少了用于编码 G0P所需的比特数。

实施例二、将指示帧间编码图像的预测特性参数编码于 G0P头中

首先，需要 MPEG-2 G0P中引入上述两个标志位 closed_P— flag和 closed_B_flag，替换 MPEG-2 G0P原有的 closed_gop标志位，并重新定义 broken_l ink的含义，以适应多参考帧的场合。

1 ) 重新定义新的图组 G0P头如下

GOP—header time_code

closed_P_f lag

closed_B_f lag

broken—l ink 其中的 time—code (时间码）仍沿用 MPEG-2 GOP中原有的定义，它主要用于磁带录像机，在解码过程中不使用。 2 ) 重新定义 broken_l ink标志位含义

brok_en_l ink用于辅助编辑，缺省值为 0，置 1时表示前后 2个 G0P之间存在的连接关系被打断。对于经过编辑的压缩码流，通过该标志位和表示 P帧和 B帧的预测特性信息配合使用，可指示解码器如何正确处理 I后续的 P帧和 B帧。发生编辑时，对 broken_l ink 的操作如下：

当 closed_P_flag=l并且 closed_B_f lag=l，即后续 P帧和 B帧都不参考 I帧前面的帧，那么 broken_l ink保持不变，仍为 0，表示后续 P帧和 B帧可以正确解码；

当 closed_P_flag=l并且 closed_B_f lag=0，即只有 B帧可参考 I帧前面的帧，此时 broken_l ink置 1，表示后续的 B帧（紧跟在 I帧后续的 B帧，在编码顺序上位于 I帧和第一个 P帧之间），可能缺少参考帧无法正确解码；

当 closed_P_flag=0并且 closed_B_flag=l，即只有 P帧可参考 I帧前面的帧，此时 broken_l ink置 1，表示后续的 P帧及其之后的 P帧和 B帧可能缺少参考帧无法正确解码，而后续的 B帧（紧跟在 I帧后续的 B帧，在编码顺序上位于 I帧和第一个 P帧之间）仍可以正确解码；

当 closed_P_flag=0并且 closed_B_f lag=0，即 P帧和 B帧都参考了 I帧前面的帧，此时 broken— l ink置 1，表示后续的 P帧和 B帧，可能缺少参考帧无法正确解码。

本实施例中，编码于 G0P 头中的指示帧间编码图像的预测特性参数在随机访问和传输错误的应用场合，其工作原理与实施例一中所描述的相同，在码流编辑时，可以直接通过 closed_P_f lag、 closed_B_f lag和 broken_l ink这三个参数实现对码流编辑的支持，而不需要插入编辑标识符，具体说明如下：

当 closed_P_flag=l并且 closed_B_f lag=l，即后续 P帧和 B帧都不参考 I帧前面的帧，那么 broken_l ink保持不变，仍为 0，对于解码器来说， broken_l ink为 0，表示后续 P帧和 B帧可以正确解码，解码器从 I帧开始解码；

当 closed_P_flag=l并且 closed_B_f lag=0，即只有 B帧参考了 I帧前面的帧，此时 broken_l ink置 1，表示后续的 B帧（紧跟在 I帧后续的 B帧，在编码顺序上位于 I帧和第一个 P帧之间），可能缺少参考帧无法正确解码，对于解码器，可以丢弃这些 B帧；

当 closed_P_flag=0并且 closed_B_f lag=l，即只有 P帧参考了 I帧前面的帧，此时 broken_l ink置 1，表示后续的 P帧及其之后的 P帧和 B帧可能缺少参考帧无法正确解码，而后续的 B帧（紧跟在 I帧后续的 B帧，在编码顺序上位于 I帧和第一个 P帧之间）仍可以正确解码，解码器将丢弃紧跟 I帧之后的 P帧及其之后的 P帧和 B帧，直到下一个 I帧；当 closed_P_flag=0并且 closed_B_f lag=0，即 P帧和 B帧都参考了 I帧前面的帧，此时 broken_link置 1，表示后续的 P帧和 B帧，可能缺少参考帧无法正确解码，对于解码器来说，从 I帧后续的第一帧起无法解码，直到下一个随机访问点，解码器将丢弃这些帧。

解码器根据 broken_link和 blosed_P_f lag、 closed_B_f lag判断 I帧之后的 P帧和 B帧的预测参考特性后，可以将不能解码的帧丢弃，也可以插入其它的预定的图像帧，还可以采用刷新技术，本发明中以解码器将不能解码的帧丢弃为例进行说明，但具体应用本发明方案时，并不局限于简单丢弃的技术方案。

实施例三、预测参考特性参数分别携带于特定语法元素和预测编码图像头中

指示帧间编码图像 P 的预测参考特性参数携带于特定的语法元素中，这些特定语法元素是否出现，表示 I帧后续 P帧是否参考该 I帧前面的帧。这些特定语法元素应位于 I帧之前，包括图组头、序列头或者用户自定义的 header头。所述用户自定义的 header头，应以 startcode起始码幵始，内容可以为空。

指示帧间编码图像 B的预测参考特性参数携带于 B帧图像头中，在 B帧头中，引入标志位 cl_0Sed_B_f lag, 指示 I帧后续 B帧是否参考该 I帧前面的帧。如果码流中不存在 B帧或 P帧，这些字段可不作解释。

当发生随机访问时，采用上述信息指示解码器帧间编码图像的预测参考特性，以下分成两种情况说明：

( 1 ) 当所述特定语法元素出现在 I帧之前时，指示该 I帧后的 P帧不参考该 I帧前面的帧，解码器对于 P帧可以正确解码，对于后续 B帧的处理，分以下两种情况：

当 _Cl_0Sed_B_flag=l时，指示后续 B帧不参考该 I帧以前的帧，此时，解码器对 B帧也可以正确解码，解码器从所述 I帧开始正确解码；

当 _Cl_OSed_B_flag=0时，指示 B帧可参考 I帧以前的帧，则位于 I帧和其后的第一个 P 帧之间的所有连续的 B帧可能无法正确解码，而从 P帧开始，所有后续的帧可以正确解码，解码器丢弃位于 I帧和第一个 P帧之间的所有连续的 B帧。

( 2) 当所述特定语法元素不出现在 I帧之前时，指示 P帧可参考 I帧前面的帧，此时 P帧可能由于缺少参考帧而无法正确解码，对于后续 B帧的处理，分以下两种情况：

当 _Cl_0Sed_B_flag=l时，指示 B帧不参考 I帧以前的帧，此时，解码器对于 I帧与其后的第一个 P帧之间的所有连续的 B帧可以正确解码，但从紧跟该 I帧之后的第一个 P帧开始，解码器无法正确解码，解码器可丢弃紧跟该 I帧之后的第一个 P帧及其之后所有的 P 帧和 B帧，直到码流中的下一个 I帧；

当 cl_OSed_B_flag=0时，表示 B帧可参考 I帧以前的帧，此时 B帧可能由于缺少参考帧而不能正确解码，从码流进入点 I帧起，后续 P帧和 B帧均无法正确解码，解码器可丢弃该 I帧之后的所有 P帧和 B帧，直到下一个 I帧。

需要说明的是，解码器判断 I帧之后的 P帧和 B帧的预测参考特性后，可以将不能解码的帧丢弃，也可以显示其他画面，还可以采用刷新技术，本发明中以解码器将不能解码的帧丢弃为例进行说明，但具体应用本发明方案时，并不局限于简单丢弃的技术方案。

实施例四、预测参考特性参数携带于特定语法元素中

有两个由用户自定义的语法元素 AA和 BB，分别指示帧间编码图像 P和 B的预测参考特性参数。这些特定语法元素是否出现，分别表示 I帧后续 P或 B帧是否参考该 I帧前面的帧。所述特定语法元素 AA和 BB，位于 I帧之前，可以是图组头、序列头或者用户自定义的 header头。所述用户自定义的 header头，应以 startcode起始码开始，内容可以为空。

( 1 ) 当所述特定语法元素 AA出现在 I帧之前时，指示该 I帧后的 P帧不参考该 I帧前面的帧，解码器对于 P帧可以正确解码，对于后续 B帧的处理，分以下两种情况：

当特定语法元素 BB出现时，指示后续 B帧不参考该 I帧以前的帧，此时，解码器对 B 帧也可以正确解码，解码器从所述 I帧开始正确解码；

当特定语法元素 BB不出现时，指示 B帧可参考 I帧以前的帧，则位于 I帧和其后的第一个 P帧之间的所有连续的 B帧可能无法正确解码，而从 P帧开始，所有后续的帧可以正确解码，解码器丢弃位于 I帧和第一个 P帧之间的所有连续的 B帧。

( 2) 当所述特定语法元素 AA不出现在 I帧之前时，指示 P帧可参考 I帧前面的帧，此时， P帧可能由于缺少参考帧而无法正确解码，对于后续 B帧的处理，分以下两种情况：当特定语法元素 BB出现时，指示 B帧不参考 I帧以前的帧，此时，解码器对于 I帧与其后的第一个 P帧之间的所有连续的 B帧可以正确解码，但从紧跟该 I帧之后的第一个 P 帧开始，解码器无法正确解码，解码器可丢弃紧跟该 I帧之后的第一个 P帧及其之后所有的 P帧和 B帧，直到码流中的下一个 I帧；

当特定语法元素 BB不出现时，表示 B帧可参考 I帧以前的帧，此时， B帧可能由于缺少参考帧而不能正确解码，从码流进入点 I帧起，后续 P帧和 B帧均无法正确解码，解码器可丢弃该 I帧之后的所有 P帧和 B帧，直到下一个 I帧。

需要说明的是，解码器判断 I帧之后的 P帧和 B帧的预测参考特性后，可以将不能解码的帧丢弃，也可以显示其他画面，还可以采用刷新技术，本发明中以解码器将不能解码的帧丢弃为例进行说明，但具体应用本发明方案时，并不局限于简单丢弃的技术方案。如上所述，本发明实施例提供的技术方案在图像头或、图组头、序列头或者用户自定义的特定语法元素中引入参数，分别指示 I帧后续的 P帧和 B帧的预测参考特性，解码器根据预测参考特性对图像帧进行相应的处理，实现对随机访问的支持，同时，利用这些信息，与相关标识符配合使用，指示解码器作出正确处理，能够支持多参考帧情况下压缩码流的随机访问，并支持压缩码流的编辑和码流传输丢包的应用场合；并且本发明实施例提供的方案实现简单、具有高度的灵活性，用户可以根据各种应用场合，灵活的设置在编码效率和随机访问性能之间的折中。

以上所述仅为本发明的较佳实施例而己，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

权利要求书

1、一种多参考帧压缩码流实现随机访问的方法，其特征在于，包括：

接收比特流，所述比特流中携带有预测参考特性指示信息，所述预测参考特性指示信息分别用于指示帧内编码图像 I帧之后的前向预测编码图像 P帧和双向预测编码图像 B帧的预测参考特性；

在发生随机访问时解析所述预测参考特性指示信息，根据所述预测参考特性指示信息的指示对所述比特流的图像帧进行解码。
2、根据权利要求 1所述的方法，其特征在于，所述预测参考特性指示信息为图组头中的标志位、图像头中的标志位、序列头中的标志位或用户自定义的语法元素中的标志位。
3、根据权利要求 1所述的方法，其特征在于，所述预测参考特性指示信息通过特定语法元素的是否出现来指示帧内编码图像 I帧之后的前向预测编码图像 P帧和双向预测编码图像 B 帧的预测参考特性，所述特定语法元素包括图像头、图组头、序列头或者用户自定义的语法元素。
4、根据权利要求 1或 2或 3所述的方法，其特征在于，所述预测参考特性指示信息具体用于指示所述 P帧和所述 B帧不参考或可参考所述比特流中 I帧之前的图像帧。
5、根据权利要求 4所述的方法，其特征在于，所述根据所述预测参考特性指示信息的指示对所述比特流的图像帧进行解码包括：

如果所述预测参考特性指示信息指示所述 I帧之后的 P帧和 B帧都不参考所述 I帧之前的帧，则从所述 I帧开始解码；或

如果所述预测参考特性指示信息指示所述 I帧之后的 P帧和 B帧都可参考所述 I帧之前的帧，则丢弃所述 I帧之后的所有 P帧和 B帧或者插入其它预定的图像帧，直到所述比特流中的下一个 I帧；或

如果所述预测参考特性指示信息指示所述 I帧之后的 P帧可参考所述 I帧之前的帧，并且所述 I帧之后的 B帧不参考所述 I帧之前的帧，则解码位于所述 I帧与其之后的第一个 P帧之间所有连续的 B帧，丢弃所述第一个 P帧及其之后的所有 P帧和 B帧或者插入其它图像帧，直到所述比特流中的下一个 I帧；或

如果所述预测参考特性指不信息指不所述 I帧之后的 P帧不参考所述 I帧之前的帧，并且所述 I帧之后的 B帧可参考所述 I帧之前的帧，则从所述 I帧开始解码，然后丢弃所述 I帧和所述 I帧后的第一个 P帧之间所有连续的 B帧或者插入其它图像帧，最后从所述 I 帧后的第一个 P帧开始解码。
6、根据权利要求 4所述的方法，其特征在于，当所述比特流发生编辑时，

如果所述预测参考特性指示信息指示所述 I帧之后的 P帧和 B帧都不参考所述 I帧之前的帧，则不在编辑点插入编辑标识符，所述根据所述预测参考特性指示信息的指示对所述比特流的图像帧进行解码包括：从所述 I帧开始解码；或

如果所述预测参考特性指示信息指示所述 I帧之后的 P帧和 B帧都可参考所述 I帧之前的帧，则在编辑点插入编辑标识符，所述根据所述预测参考特性指示信息的指示对所述比特流的图像帧进行解码包括：丢弃所述 I帧之后的 P帧和 B帧或者插入其它图像帧，直到所述比特流中的下一个 I帧；或

如果所述预测参考特性指示信息指示所述 I帧之后的 P帧可参考所述 I帧之前的帧，并且所述 I帧之后的 B帧不参考所述 I帧之前的帧，则在编辑点插入编辑标识符，所述根据所述预测参考特性指示信息的指示对所述比特流的图像帧进行解码包括：解码所述 I 帧与其之后的第一个 P帧之间所有连续的 B帧，丢弃所述第一个 P帧及其之后的所有 P帧和 B 帧或者插入其它预定的图像帧，直到所述比特流中的下一个 I帧；或

如果所述预测参考特性指示信息表示所述 I帧之后的 P帧不参考所述 I帧之前的帧，并且所述 I帧之后的 B帧可参考所述 I帧之前的帧，则在编辑点插入编辑标识符，所述根据所述预测参考特性指示信息的指示对所述比特流的图像帧进行解码包括：从所述的 I 帧开始解码，然后丢弃所述 I帧与其之后的第一个 P帧之间所有连续的 B帧或者插入其它预定的图像帧，最后从所述 I帧后的第一个 P帧开始解码。
7、根据权利要求 4所述的方法，其特征在于，当所述比特流发生编辑时，

如果所述预测参考特性指示信息指示所述 I帧之后的 P帧和 B帧都不参考所述 I帧之前的帧，则将所述图组头中标志位 broken—link置 0，所述根据所述预测参考特性指示信息的指示对所述比特流的图像帧进行解码包括:从所述 I帧开始解码；或

如果所述预测参考特性指示信息指示所述 I帧之后的 P帧和 B帧都可参考所述 I帧之前的帧，则将所述图组头中标志位 brok_en_link置 1，所述根据所述预测参考特性指示信息的指示对所述比特流的图像帧进行解码包括:丢弃所述 I帧之后的 P帧和 B帧或者插入其它图像帧，直到所述比特流中的下一个 I帧；或

如果所述预测参考特性指示信息指示所述 I帧之后的 P帧可参考所述 I帧之前的帧，并且所述 I帧之后的 B帧不参考所述 I帧之前的帧，则将所述图组头中标志位 broken—link 置 1，所述根据所述预测参考特性指示信息的指示对所述比特流的图像帧进行解码包括:解码所述 I帧与其之后的第一个 P帧之间所有连续的 B帧，丢弃所述第一个 P帧及其之后的所有 P帧和 B帧或者插入其它图像帧，直到所述比特流中的下一个 I帧；或如果所述预测参考特性指示信息表示所述 I帧之后的 P帧不参考所述 I帧之前的帧，并且所述 I帧之后的 B帧可参考所述 I帧之前的帧，则将所述图组头中标志位 broken—link 置 1，所述根据所述预测参考特性指示信息的指示对所述比特流的图像帧进行解码包括:从所述的 I帧开始解码，然后丢弃所述 I帧与其之后的第一个 P帧之间所有连续的 B帧或者插入其它预定的图像帧，最后从所述 I帧后的第一个 P帧开始解码。
8、根据权利要求 4所述的方法，其特征在于，

当所述比特流中 I帧之前的参考帧发生丢包时，将传输错误标识符置 1，

所述根据所述预测参考特性指示信息的指示对所述比特流的图像帧进行解码包括：当传输错误标识符为 1时：

如果所述预测参考特性指不信息指不所述 I帧之后的 P帧和 B帧都不参考所述 I帧之前的帧，则从所述 I帧开始解码；或

如果所述预测参考特性指示信息指示所述 I帧之后的 P帧和 B帧都参考所述 I帧之前的帧，则丢弃所述 I帧之后的 P帧和 B帧或者插入其它图像帧，直到所述比特流中的下一个 I帧；或

如果所述预测参考特性指示信息指示所述 I帧之后的 P帧可参考所述 I帧之前的帧，并且所述 I帧之后的 B帧不参考所述 I帧之前的帧，则解码所述 I帧与其之后的第一个 P 帧之间所有连续的 B帧，丢弃所述第一个 P帧及其之后的所有 P帧和 B帧或者插入其它图像帧，直到所述比特流中的下一个 I帧；或

如果所述预测参考特性指示信息指示所述 I帧之后的 P帧不参考所述 I帧之前的帧，并且所述 I帧之后的 B帧可参考所述 I帧之前的帧，则从所述的 I帧开始解码，然后丢弃所述 I帧与其之后的第一个 P帧之间所有连续的 B帧或者插入其它预定的图像帧，从所述 I 帧后的第一个 P帧开始解码。
9、一种解码器，其特征在于，所述解码器包括码流解析模块和视频解码模块：所述码流解析模块，用于接收比特流，所述比特流中携带有预测参考特性指示信息，所述预测参考特性指示信息分别用于指示帧内编码图像 I帧之后的前向预测编码图像 P帧和双向预测编码图像 B帧的预测参考特性；所述码流解析模块包括预测特性解析单元，用于在发生随机访问时解析所述预测参考特性指示信息，根据所述预测参考特性指示信息指示所述视频解码模块对所述比特流的图像帧进行解码；

所述视频解码模块，用于根据所述预测特性解析单元的指示进行解码。
10、根据权利耍求 9所述的解码器，其特征在于，所述预测参考特性指示信怠为图组头中的标志位、图像头中的标志位、序列头中的标志位或用户自定义的语法元素中的标志位。
11、根据权利要求 9所述的解码器，其特征在于，所述预测参考特性指示信息通过特定语法元素的是否出现来指示帧内编码图像 I帧之后的前向预测编码图像 P帧和双向预测编码图像 B 帧的预测参考特性，所述特定语法元素包括图像头、图组头、序列头或者用户自定义的语法元素中。