CN101222630A - 一种实现实时双帧参考的时域可分级视频编码方法 - Google Patents

Abstract

本发明公开了一种实现实时双帧参考的时域可分级视频编码方法，所述实时双帧参考的时域可分级视频编码方法是在编码过程中不使用或者很少使用双向预测帧，在编码过程中当前帧最多可采用两个参考帧，因此编码后的码流具有时域上的层次性，能适合帧率调整和限制时延的需要，其具体的实现方法是：根据当前编码图像的显示顺序计算当前图像的时域层次，然后按照本发明中的参考帧选取策略获得当前帧的参考图像，当前图像编码完成后，按照本发明中的参考帧更新策略更新参考帧缓存。本发明可以实现实时双帧参考视频流的时域可分级编码，使得码流的帧率能够灵活地进行伸缩，并且与原编码标准相比，能够限制时延的效果。

Description

一种实现实时双帧参考的时域可分级视频编码方法

技术领域

本发明属于视频编码领域，特别是涉及低时延的时域可分级视频编码实现方法。

背景技术

随着Internet技术的不断发展，到如今已是无处不在的Internet为视频服务提供了一个广阔的平台，但是Internet本身具有网络的异构性、带宽的波动性和传输中的不可靠性等特点，对视频编码技术提出了新的挑战。为了克服Internet的这些缺点，可分级的视频编码技术(SVC，Scalable Video Coding)是一个很好的选择。可分级的视频编码技术的可分级性一般包括时域可分级性、空域可分级性、质量可分级性和以上这些选项的组合(请见参考文献1)。

时域可分级性就是要求码流具有帧率的可变性，以满足不同的网络情况和不同的终端设备解码和显示需要。目前实现时域可分级的技术主要是帧间小波技术，也就是基于运动补偿的时域滤波技术(MCTF，Motion-Compensated Temporal Filtering)，这种技术通过在时域上引入小波分解，得到视频在时域上的多分辨率分析，进而实现视频在时域上的可分级。MCTF在其发展中，逐渐形成了两种实现方式，即基于块位移的MCTF和基于提升算法的MCTF。基于块位移的MCTF首先不能很好的获取编码图象运动场的信息，导致在编码图象和参考帧之间一定数量的像素被标记成“unconnected”，影响了编码效率；其次，亚像素精度的运动估计和运动补偿以及除Haar小波外的其他小波很难在其编码框架内实现，极大影响了编码的灵活性和编码效率。

在当今产业界，现存的IPP...P非可分级视频编码标准中，对P帧编码时仅用前向帧中相邻的一帧作为参考进行运动估计和运动补偿。我国具有自主知识产权的音视频编码标准-AVS中，P帧的参考帧采用了双帧参考。

同时现存IPP...P的非可分级视频编码方式中不存在时域分级结构，不能实现帧率可调的功能；而且对于时域分级结构的编码视频流，如果按照由基本层到增强层的顺序编码，这样就会存在极大的编码时延，但是很多应用场合对编码时延的要求非常高，例如视频监控、视频会议等，因此在编码过程中还需考虑如何降低时延的目的。

如果当前帧编码过程中所使用的参考帧不多于2个，那么该编码方法可以称为双帧参考编码方式，将基于双帧参考编码方式的视频流称为双帧参考视频流，例如MPEG-2、H.261、H.263以及中国的AVS等编码标准。在这些标准中，除了MPEG-2在可分级语法中定义了码流的分级语法结构，具有可分级性之外，其余的都是不可分级的编码标准。为了使得这些非可分级双帧参考视频编码标准在兼容原标准的同时能够扩充可分级的功能，而且具有低延时的特点，以迎接新的挑战，在时域可分级性方面，构建实时快速有效的时域可分级编码实现方法就显得很有意义。

在视频监控应用中，为满足监控视频的稳定传输和长期存储以及低时延的需要，使用层次P帧技术可以实现视频编码后的码流具有帧率可调整以及零时延的功能。这里的双帧参考视频流是基于现存IPP...P的非可伸缩视频编码标准，其时域可分级编码的方法是：通过对不同的P帧进行时域分级编码，其中基本层的I帧与P帧可以作为增强层P帧的参考图像，通过对图象组中的各编码帧进行时域层次标注，不同位置的P帧可以属于不同的时域层次，并且在编码增强层的P帧过程中根据时域层次级别来搜索获取当前编码P帧的一个或两个前向参考帧，通过这种方式能够灵活地丢弃增强层的P帧实现帧率调整，同时按照显示顺序对输入视频流编码，即编码顺序与显示顺序相同，从而达到实时编码，降低时延的目的。而且该技术编码结构简单，能够与原编码结构兼容，P帧作为参考帧使得在相同的图象质量下能节省较多的码率，使得码流帧率按照2的整数次幂的倍数进行伸缩。

在对这些双帧参考的视频编码标准进行时域可分级扩展时，由文献“数字音视频编解码技术标准工作组”(文献下载网址：http://www.avs.org.cn)可知，需要解决三个问题：

(1)与非可分级编码标准的兼容问题。

(2)参考帧管理问题。

(3)编码效率和时延问题。

发明内容

本发明所要解决的技术问题是：提供一种针对实时双帧参考视频流的，能够与非可分级视频编码标准相兼容的，并且能够快速实现实时时域可分级编码方法。

本发明按下述技术方案解决其技术问题：视频图像编码顺序与显示顺序一致，在编码过程中当前帧最多采用两个参考帧，且编码后的码流具有时域上的层次性；编码时，先根据当前编码图像的显示顺序计算当前图像的时域层次，然后按照参考帧选取策略获得当前帧的参考图像，当前图像编码完成后，按照参考帧更新策略更新参考帧缓存。

本发明与现有技术相比，具有以下的主要优点：

双帧参考视频流是基于现存IPP...P的非可分级视频编码标准，其时域可分级编码的方法是：基本层采用I帧与P帧图象编码类型，增强层采用的是P帧图象编码类型，通过对图象组中的各编码帧进行时域层次标注，并且在编码增强层的P帧过程中根据时域层次级别来搜索获取当前编码P帧的一个或两个前向参考帧，参考帧可以是I帧，也可以是P帧，这样就使得码流帧率按照2的整数次幂的倍数进行伸缩，并且还能够实现GOP的大小不为2的整数次幂时的编码；同时在编码过程中不使用或者很少使用B帧，所以降低了时延。

由于有很多应用场合对编码时延的要求非常高，例如视频监控、视频会议等，因此在编码过程中还需考虑如何降低时延的目的。在本方法中，如果当前帧编码过程中所使用的参考帧不多于2个，那么该编码方法可以成为双帧参考编码方式，将基于双帧参考编码方式的视频流称为双帧参考视频流，例如MPEG-2、H.261、H.263以及中国的AVS等编码标准。在这些标准中，除了MPEG-2在可分级语法中定义了码流的分级语法结构，具有可分级性之外，其余的都是不可分级的编码标准。为了使得这些非可分级双帧参考视频编码标准在兼容原标准的同时能够扩充可分级的功能，而且具有低延时的特点，以迎接新的挑战，在时域可分级性方面，构建实时快速有效的时域可分级编码实现方法就显得很有意义。

采用了我国具有自主知识产权的音视频编码标准AVS，在背景技术中也提到，AVS是典型非可分级的双帧参考视频编码标准。在AVS的时域可分级扩展中，采用了本发明的方法，对一系列序列进行了编码测试，在编码过程中，基本层(即时域层次为零)采用的非可分级的编码标准进行编码，时域层次大于0的P帧按照本发明提供的实时双帧参考时域可分级的方法进行编码，实现帧率可调，同时能够大幅度的降低时延，实现零时延的编码效果。

总之，本发明可以实现实时双帧参考视频流的时域可分级编码，使得码流的帧率能够灵活地进行伸缩，并且与原编码标准相比，能够限制时延的效果。

附图说明

图1为本发明的P帧时域层次分级的结构示意图；

图2为本发明的GOP为2的整数幂数时的时域可分级编码与参考图象的关系示意图；

图3为本发明的GOP不为2的整数幂数时的时域可分级编码与参考图象的关系示意图；

图4为现存的非可分级编码的IPP...P编码帧与参考图象的关系示意图；

图5为本发明的插入一个B帧后的时域层次结构图；

图6为本发明的图象组中每一帧图象时域层次的计算过程；

图7为本发明的实时时域可分级编码过程中参考帧的选择策略；

图8为本发明的实时时域可分级编码过程中参考帧的更新策略；

图9为本发明的算法与现存算法的性能比较曲线图，由图可知采用本发明的算法编码后的曲线HPPP与采用传统非可分级的编码算法编码后的曲线IPPP相比较，PSNR值有0.125DB的增益。

图10为FOREMAN序列测试结果。左图使用本发明的算法；右图使用传统的方法。由图可见，使用本发明的技术编码图像主观质量不会受到影响。

具体实施方式

本发明提供的是一种实现实时双帧参考的时域可分级视频编码方法，具体是：视频图像编码顺序与显示顺序一致，在编码过程中当前帧最多采用两个参考帧，且编码后的码流具有时域上的层次性。编码时，先根据当前编码图像的显示顺序计算当前图像的时域层次，然后按照参考帧选取策略获得当前帧的参考图像，当前图像编码完成后，按照参考帧更新策略更新参考帧缓存。

下面结合实施例及附图对本发明作进一步说明，但不限定本发明。

本发明提供的是一种基于现存IPP...P的非可分级视频编码标准视频流的实时双帧参考的时域可分级编码实现方法。其理论基础是：利用当前时域层次的P帧作为同层及下一时域层次的P帧的参考帧，这样就形成了在一个图像组中P帧的产生过程是一个层次迭代的结构(见图1)，利用如图6所示的策略来计算当前帧的时域层次，在获取当前编码帧的参考帧时，采用了如图7所示的参考帧选择策略，编解码完一帧时采用了如图8所示的参考帧更新策略，同时按照当前帧的显示顺序依次进行编解码。与现存的IPP...P的非可分级视频编码过程相比，参考帧和编码帧之间的时域距离缩短了，因此能够更好地利用参考帧与编码帧之间的相关性，实现帧率可调，同时能大幅度降低编解码时延，实现零时延(见图2和图4)。同时本发明也适用于如图2所示的当GOP大小不为2的整数幂的倍数时的时域可分级编码结构；并且本发明也可以在每个GOP中的所有相邻帧之间插入一个或两个B帧，如图5所示为插入一个B帧后的时域层次结构示意图。

本发明是通过对码流进行时域分层，最底层(基本层)与非可分级视频编码标准相兼容，对当前图象组中的所有编码帧进行时域层次计算和标注，按照当前帧的显示顺序，从第1帧(显示顺序为0)开始，进行帧内预测编码(此时为I帧)，然后每个时域层次的第一个P帧及与I帧相同层次的相邻P帧均以该I帧作为参考帧，其余的P帧选取时域层次相同或更小的，同时显示顺序最接近当前帧的显示顺序的前向一个或两个帧作为参考，在这个过程中，最高时域层次的P帧(即显示顺序号为奇数的P帧)不作为参考。参考帧更新过程中，将重建图像按照参考帧缓存中的序号依次存入缓存中，直到缓存被填满；当参考帧缓存被填满时，当前帧的重建图像需要替换参考帧缓存中符合条件的帧，该帧的时域层次与当前帧的相同，并且其显示顺序是相对于缓存中参考帧为最小的一帧。

1.本发明提供的时域可分级视频编码方法采用包括以下步骤的方法：

(1)将码流进行时域分层：

分为基本层和增强层。基本层采用结构为IPP...P的非可分级视频编码标准进行编码，对应视频传输和终端解码显示的最低的时域分辨率，即时域层次的第零层；增强层对应的是P帧，根据其各自的显示顺序来确定其时域层次，并且时域层次序号与增强层序号是一一对应的，然后通过对P帧的灵活取舍来实现时域的可分级性；在编码一个图象组时，按照其显示顺序进行实时地编码。

(2)检查配置文件中关于时域可分级参数设置的合法性：

具体GOP的大小是否为2的整数次幂，GOP(group of picture)是图象组的英文缩写；如果检查出参数设置不合法，那么程序退出，编码过程失败。

(3)计算当前图象组中每个编码帧的时域层次，并对编码帧进行时域层次标注，对编码配置参数进行更新。

在这个过程中，基本层的I帧和P帧的时域层次设置为0，其余的P帧根据层次分级中的时域层次计算算法进行计算。

对原编码配置参数进行更新是指将编码图象类型设置为帧，帧跳跃的频率，以及在I帧和P帧或P帧之间所要插入的P帧的数目为图象组的大小减1；同时还有对参考帧存储单元进行更新。

(4)获取当前编码图象的参考帧：

如果当前是I帧，则不存在参考帧，直接执行现存标准中的帧内编解码过程；如果当前帧是P帧，则其参考帧为满足条件的一个或两个前向参考帧：

1)其时域层次低于或等于当前帧；

2)其显示顺序为最接近当前帧的显示顺序。

即以当前编码帧为起点，向前搜索图象组重建图象数组与当前编码帧距离最近的而且时域层次低于或等于当前编码帧的一个或两个图像作为当前编码帧的参考帧。

(5)对当前编码图象进行运动预测和运动补偿、离散余弦变换、量化、对残差信息以及参考帧索引和运动向量进行熵编码，这个过程与非可分级视频编码过程一样。

(6)保存当前帧(除最高时域层次的P帧外)重建图象进临时的编码重建图象数组，这个数组会保存一个图象组的时域层次低于最高时域层次的所有帧的重建图象和前一个图象组重建的I帧或者P帧，以便于步骤四能够正确获取到参考帧；

(7)重复步骤四到步骤六的过程，直到达到所需要的时域层次的最后一个图象；

(8)保存重建图象：

在这个过程中，特别需要判定重建帧输入到重建图象文件的条件，如果条件满足，则输出图象组重建图象数组中时域层次低于最高时域层次的所有重建帧，本图象组编码过程结束，进入下一个图象组的编码过程；如果条件不满足则继续进行当前图象组的编码过程。

2.本发明提供的时域可分级视频编码方法具体实现过程：

(1)对应上述方法步骤一，与非可分级视频编码过程一致。

(2)检查图象组的大小。设图象组大小为gop_size，进行时域可分级编码扩展时应该使得该参数满足：

gop_size＝2^x(0≤x≤max_temporal_level)

在上式中max_temporal_level为最大的时域层次的数目，而且x必须为整数。

设current_temporal_level为当前编码图象的时域层次，PicList[i].temporal_level为参考帧缓存中某一帧的时域层次，img-＞tr为当前帧的显示顺序号，PicList[i].pic_distance为参考帧缓存中某一帧的显示顺序号。

(3)计算当前图象组中每个编码图象的时域层次，这是本发明的核心之一。当前图像时域层次由当前图像的显示顺序和需要实现的时域层次数目确定，其中时域层次的具体计算方法为：

如果显示顺序号为gop_size大小的n倍时，则当前帧的时域层次为0；n＝1，2，3，4，5，...；

如果不满足上述条件，则按照下述方法进行判断：

1)对于所有显示顺序号为奇数时的P帧，其时域层次最高，为对GOP大小取以2为底的对数值；

2)对于所有显示顺序号为2n时的P帧，其时域层次为步骤1)中各P帧的时域层次值减一；n＝1，3，5，7，...；

3)对于所有显示顺序号为4n时的P帧，其时域层次为步骤2)中各P帧的时域层次值减一；n＝1，3，5，7，...；

4)对于所有显示顺序号为8n时的P帧，其时域层次为步骤3)中各P帧的时域层次值减一；  n＝1，3，5，7，...；

依次类推，即可以将所有帧进行时域可分级层次标记，并且设当前帧的图象编码类型为帧编码。

(4)编码图象参考帧的获取，该过程也是本发明的核心之一。获取当前编码图象的参考帧，其具体的选择策略是：

在这个过程中，首先定义结构体DecodedPicture：

{

 byte^**imgY；

 byte^***imgUV；

 int pic_distance；

 int temporal_level；

}DecodedPicture；

在编码主程序中进行全局变量内存分配时就需要分配DecodedPicture类型的数组

PicList[gop_size]的内存空间大小，这个数组也称为图象组重建图象数组，用于存储在编码过程中图象组中每一个编码帧的重建图象。在编码P帧时，所需要的一个或两个参考帧的获取过程中，本发明采用了就近搜索的算法来实现：

1)参考帧时域层次低于或等于当前帧；

2)参考帧显示顺序为满足条件1)中最接近当前帧的两个前向参考帧，如果此时只有一个前向参考帧满足条件，那么就只有一个参考帧。

即以当前编码帧为起点，向前搜索图象组重建图象数组与当前编码帧距离最近的而且时域层次低于或等于当前编码帧的两个图像作为当前编码帧的参考帧(如果此时只有一个前向参考帧满足条件，那么就只有一个参考帧)。找到参考帧后，如果需要进行亚像素插值，则进行亚像素插值。如果当前编码帧不是增强层的P帧(即其时域层次大于0的P帧)，获取根据非可分级IPP...P编码标准所规定的对应当前帧类型的参考图象。

(5)该过程与非可分级视频编码标准编码过程相同，使用步骤(4)所获得的一个或两个参考帧按照非可分级视频编码方案的流程来进行。

(6)将步骤(5)所得到的重建图象保存进PicList数组，以便进行下一层次的编码图象的参考帧的获取过程。保存重建图象的过程，该过程也是本发明的核心之一。

对参考帧存储单元进行更新方法是：保存重建图像的过程中，特别需要判定重建帧输入到重建图象文件的条件，如果条件满足，则按照下述参考帧更新方法保存重建图像，本图象组编码过程结束，进入下一个图象组的编码过程；如果条件不满足则继续进行当前图象组的编码过程。参考帧更新策略可分为以下两种情况：

1)当参考帧缓存未填满时，按照编码顺序将重建图像按缓存中的编号依次存入参考帧缓存中，直至将其填满；

2)当参考帧缓存已填满时，对于当前帧重建图像，需要替代参考帧缓存中的某一帧，其中替代准则为：

a)被替代帧的时域层次等于当前帧重建图像所在的时域层次；

b)被替代帧的显示顺序号为参考帧缓存中所有参考帧中最小的。

(7)重复步骤(3)到(5)的过程，直到所要达到的显示顺序的最后一个编码图象为止。

在低延时的情况下，本发明的层次P帧技术可以插入B帧，因此还可以在每个GOP中相邻两帧之间插入一个或两个B帧，从而形成更为灵活的编码结构。

3.实现效果：

在本发明的上述实例中，对一系列序列进行了编码性能测试，测试结果表明：对序列采用本发明提供的实时双帧参考时域可分级的方法进行编码，能实现帧率可调，并且能够大幅度的降低时延，同时其复杂度与原来的IPPP...结构相比，基本上没有增加。

由图9所示的性能测试曲线分析可以得到，与传统的IPP...P非可伸缩编码结构相比，使用层次P帧的编码方法对图像进行编码后PSNR值有0.125DB的增益。

本发明提供的时域可分级视频编码方法，还可以适用于当GOP大小不为2的整数幂的倍数时的时域可分级编码结构。

参考文献

1.Applications and Requirements for Scalable Video Coding.ISO/IEC JTC1/SC29/WG11N6880.January 2005，Hongkong，China.

2.J.R.Ohm，”Three-dimensional subband coding with motion compensation，”IEEETransaction on Image Processing，vol.3，no.5，pp.559-571，September 1994.

A.Secker and D.Taubman，“Lifting-based invertible motion adaptive transform(LIMAT)framework for highly scalable video compression，”IEEE Transaction on Image Processing，vol.12，no.12，December 2003.

H.Schwarz，D.Marpe，and T.Wiegand，“Analysis of Hierarchical B Pictures and MCTF，”in Proceeding of IEEE International Conference on Multimedia and Expo，pp.1929-1932，July2006，Toranto，Canada.

Claims (10)

1.一种实现实时双帧参考的时域可分级视频编码方法，其特征是：视频图像编码顺序与显示顺序一致，在编码过程中当前帧最多采用两个参考帧，且编码后的码流具有时域上的层次性；编码时，先根据当前编码图像的显示顺序计算当前图像的时域层次，然后按照参考帧选取策略获得当前帧的参考图像，当前图像编码完成后，按照参考帧更新策略更新参考帧缓存。

2.根据权利要求1所述的时域可分级视频编码方法，其特征是具体采用包括以下步骤的方法：

(1)将码流进行时域分层：

分为基本层和增强层，基本层采用结构为IPP...P的非可分级视频编码标准进行编码，对应视频传输和终端解码显示的最低的时域分辨率，即时域层次的第零层；增强层对应的是P帧，根据其各自的显示顺序来确定其时域层次，并且时域层次序号与增强层序号是一一对应的，然后通过对P帧的灵活取舍来实现时域的可分级性；在编码一个图象组时，按照其显示顺序进行实时地编码；

(2)检查配置文件中关于时域可分级参数设置的合法性：

具体包括GOP的大小是否为2的整数次幂，GOP是图象组的英文缩写；如果检查出参数设置不合法，那么程序退出，编码过程失败；

(3)计算当前图象组中每个编码帧的时域层次，并对编码帧进行时域层次标注，对编码配置参数进行更新；在这个过程中，基本层的I帧和P帧的时域层次设置为0，其余的P帧根据层次分级中的时域层次计算算法进行计算，

对原编码配置参数进行更新是指将编码图象类型设置为帧，帧跳跃的频率，以及在I帧和P帧或P帧之间所要插入的P帧的数目为图象组的大小减1；同时还有对参考帧存储单元进行更新；

(4)获取当前编码图象的参考帧：

如果当前是I帧，则不存在参考帧，直接执行现存标准中的帧内编解码过程；如果当前帧是P帧，采用就近搜索的方法来获取前向参考帧；

(5)对当前编码图象进行运动预测和运动补偿、离散余弦变换、量化、对残差信息以及参考帧索引和运动向量进行熵编码，这个过程与非可分级视频编码过程一样；

(6)保存当前帧，除最高时域层次的P帧外，重建图象进临时的编码重建图象数组，这个数组会保存一个图象组的时域层次低于最高时域层次的所有帧的重建图象和前一个图象组重建的I帧或者P帧，使步骤(4)能够正确获取到参考帧；

(7)重复步骤(4)到步骤(6)的过程，直到所需要的时域层次的最后一个图象为止；

(8)保存重建图象：

在这个过程中，特别需要判定重建帧输入到重建图象文件的条件，如果条件满足，则输出图象组重建图象数组中时域层次低于最高时域层次的所有重建帧，本图象组编码过程结束，进入下一个图象组的编码过程；如果条件不满足则继续进行当前图象组的编码过程。

3.根据权利要求2所述的时域可分级视频编码方法，其特征是当前图像时域层次由当前图像的显示顺序和需要实现的时域层次数目确定，其中时域层次的具体计算方法为：

如果显示顺序号为gop_size大小的n倍时，则当前帧的时域层次为0；n＝1，2，3，4，5，...；

如果不满足上述条件，则按照下述方法进行判断：

(1)对于所有显示顺序号为奇数时的P帧，其时域层次最高，为对GOP大小取以2为底的对数值；

(2)对于所有显示顺序号为2n时的P帧，其时域层次为步骤(1)中各P帧的时域层次值减一；n＝1，3，5，7，...；

(3)对于所有显示顺序号为4n时的P帧，其时域层次为步骤(2)中各P帧的时域层次值减一；  n＝1，3，5，7，...；

(4)对于所有显示顺序号为8n时的P帧，其时域层次为步骤(3)中各P帧的时域层次值减一；n＝1，3，5，7，...；

依次类推，即可以将所有帧进行时域可分级层次标记，并且设当前帧的图象编码类型为帧编码。

4.根据权利要求2所述的时域可分级视频编码方法，其特征是参考帧获取的方法是采用下述就近搜索的方法来获取一个或两个前向参考帧：

(1)参考帧时域层次低于或等于当前帧；

(2)参考帧显示顺序为满足步骤(1)中最接近当前帧的一个或两个前向参考帧，如果此时只有一个前向参考帧满足条件，那么就只有一个参考帧。

5.根据权利要求2所述的时域可分级视频编码方法，其特征是对参考帧存储单元进行更新方法是：保存重建图像的过程中，特别需要判定重建帧输入到重建图象文件的条件，如果条件满足，则按照下述参考帧更新方法保存重建图像，本图象组编码过程结束，进入下一个图象组的编码过程；如果条件不满足则继续进行当前图象组的编码过程，

所述参考帧更新方法是：

(1)当参考帧缓存未填满时，按照编码顺序将重建图像按缓存中的编号依次存入参考帧缓存中，直至将其填满；

(2)当参考帧缓存已填满时，对于当前帧重建图像，需要替代参考帧缓存中的某一帧。

6.根据权利要求5所述的时域可分级视频编码方法，其特征是需要替代参考帧缓存中的某一帧，其中替代准则为：

(1)被替代帧的时域层次等于当前帧重建图像所在的时域层次；

(2)被替代帧的显示顺序号为参考帧缓存中所有参考帧中最小的。

7.根据权利要求2所述的时域可分级视频编码方法，其特征是将码流进行时域分层时，应先判断图象组的大小是否为2的整数次幂，当满足此条件时再将码流分为基本层和增强层。

8.根据权利要求2所述的时域可分级视频编码方法，其特征是获取当前编码图象的参考帧，其采用以下的方法：

在这个过程中，首先定义结构体DecodedPicture：

{

 byte^**imgY；

 byte^***imgUV；

 int pic_distance；

 int temporal_level；

}DecodedPicture；

在编码主程序中进行全局变量内存分配时就需要分配DecodedPicture类型的数组PicList[gop_size]的内存空间大小，这个数组也称为图象组重建图象数组，用于存储在编码过程中图象组中每一个编码帧的重建图象。

9.根据权利要求2所述的时域可分级视频编码方法，其特征是所述方法还适用于当GOP大小不为2的整数幂的倍数时的时域可分级编码结构。

10.根据权利要求2所述的时域可分级视频编码方法，其特征是在低延时的情况下，在每个GOP中相邻两帧之间插入一个或两个B帧，以形成更为灵活的编码结构。

Images