CN101018334A - 一种快速实现双帧参考视频流的时域可伸缩编码的方法 - Google Patents

Abstract

本发明公开了一种快速实现双帧参考视频流的时域可伸缩编码的方法，所述双帧参考视频流是基于B帧为双帧参考的视频编码标准，其时域可伸缩编码的方法是：基本层采用I帧或P帧图象编码类型，增强层采用的是B帧图象编码类型，通过对图象组中的各编码帧进行时域层次标注，并且在编码B帧过程中根据时域层次级别来搜索获取当前编码B帧的两个参考帧，参考帧可以是I帧或P帧，也可以是B帧，这样就使得码流帧率按照2的整数次幂的倍数进行伸缩。本发明可以快速实现双帧参考视频流的时域可伸缩编码，使得码流的帧率能够按照2的整数次幂的倍数进行伸缩，并且与原编码标准相比，能够较大幅度提高编码效率。

Description

一种快速实现双帧参考视频流的时域可伸缩编码的方法

技术领域

本发明属于可伸缩视频编码领域，特别是涉及基于AVS、MPEG-2等双帧参考视频编码标准视频流的时域可伸缩编码实现技术。

背景技术

随着Intemet技术的不断发展，到如今已是无处不在的Internet为视频服务提供了一个广阔的平台，但是Intemet本身具有网络的异构性、带宽的波动性和传输中的不可靠性等特点，对视频编码技术提出了新的挑战。为了克服Intemet的这些缺点，可伸缩的视频编码技术(SVC，Scalable Video Coding)是一个很好的选择。可伸缩的视频编码技术的可伸缩性一般包括时域可伸缩性、空域可伸缩性、质量可伸缩性和以上这些选项的组合(请见参考文献1)。

时域可伸缩性就是要求码流具有帧率的可变性，以满足不同的网络情况和不同的终端设备解码和显示需要。目前实现时域可伸缩的技术主要是帧间小波技术，也就是基于运动补偿的时域滤波技术(MCTF，Motion-Compensated Temporal Filtering)，这种技术通过在时域上引入小波分解，得到视频在时域上的多分辨率分析，进而实现视频在时域上的可伸缩。MCTF在其发展中，逐渐形成了两种实现方式，即基于块位移的MCTF和基于提升算法的MCTF。基于块位移的MCTF首先不能很好的获取编码图象运动场的信息，导致在编码图象和参考帧之间一定数量的像素被标记成“unconnected”，影响了编码效率；其次，亚像素精度的运动估计和运动补偿以及除Haar小波外的其他小波很难在其编码框架内实现，极大影响了编码的灵活性和编码效率。基于提升算法的MCTF现在被使用在基于H.264的可伸缩扩展视频编码国际标准中，研究者首先采用完整的MCTF过程来实现时域可伸缩，由于MCTF技术本身的计算复杂度比较高，而且采用的是开环的编码器结构，导致编解码端的参考图象不一致，会造成误差“漂移”，降低编码的效率，后来逐渐采用层次B图的方法来实现时域可伸缩，层次B图是没有更新过程的MCTF，在本质上属于使用运动补偿预测技术实现时域可伸缩的方法，也就是通过对一定量的B帧进行丢弃来实现时域可伸缩。但是，基于H.264的可伸缩扩展视频编码标准中实现时域可伸缩的层次B图方法计算度依然很高，编码中参考帧的管理过程中需要缓存前向和后向的多个参考帧，这样编码出来的视频流为多帧参考视频流(请见参考文献2)。

在当今产业界，除了H.264之外，大部分编码标准的B帧都是采用的双帧参考进行运动估计和运动补偿，即一个前向参考帧和一个后向参考帧，特别是我国具有自主知识产权的音视频编码标准——AVS，在AVS中，不但B帧所用到的参考帧是双帧的，就连P帧的参考帧也采用双帧参考。在本发明中，将B帧为双帧参考的视频编码标准称为双帧参考视频编码标准，将基于双帧参考视频编码标准的视频流称为双帧参考视频流。

在当今产业界广泛采用的双帧参考视频编码标准有AVS、MPEG-2、H.261、H.263等，在这些标准中，除了MPEG-2在可分级语法中定义了码流的分级语法结构，具有可伸缩性之外，其余的都是不可伸缩的编码标准。为了使得这些非可伸缩双帧参考视频编码标准在兼容原标准的同时能够扩充可伸缩的功能，以迎接新的挑战，在时域可伸缩性方面，构建快速有效的时域可伸缩编码实现方法就显得很有意义。在对这些双帧参考的视频编码标准进行时域可伸缩扩展时，由文献“数字音视频编解码技术标准工作组”(文献下载网址：http://www.avs.org.cn)可知，需要解决三个问题：(1)与非可伸缩编码标准的兼容问题。(2)参考帧管理问题。(3)编码效率问题。

发明内容

本发明所要解决的技术问题是：提供一种针对双帧参考视频流的能够与非可伸缩视频编码标准相兼容的能够比较明显提高编码效率的快速时域可伸缩编码实现方法。

本发明解决其技术问题采用以下的技术方案：

双帧参考视频流是基于B帧为双帧参考的视频编码标准，其时域可伸缩编码的方法是：基本层采用I帧或P帧图象编码类型，增强层采用的是B帧图象编码类型，通过对图象组中的各编码帧进行时域层次标注，并且在编码B帧过程中根据时域层次级别来搜索获取当前编码B帧的两个参考帧，参考帧可以是I帧或P帧，也可以是B帧，这样就使得码流帧率按照2的整数次幂的倍数进行伸缩。

本发明可以快速实现双帧参考视频流的时域可伸缩编码，使得码流的帧率能够按照2的整数次幂的倍数进行伸缩，并且与原编码标准相比，能够较大幅度提高编码效率。

附图说明

图1为本发明的B帧时域层次分级的结构示意图；

图2为本发明的时域可伸缩编码与参考图象的关系示意图；

图3为本发明的时域非可伸缩编码的编码帧与参考图象的关系示意图；

图4为本发明的图象组中每一帧图象时域层次的计算过程；

图5为本发明的时域可伸缩编码过程以及参考帧的搜索过程；

图6为本发明的foreman.qcif测试序列的编码效率测试结果图。

具体实施方式

本发明提供的是一种基于AVS、MPEG-2等双帧参考视频编码标准视频流的时域可伸缩编码实现方法。其理论基础是：利用当前时域层次的B帧作为下一时域层次的B帧的参考帧，这样就形成了在一个图象组中B帧的产生过程是一个层次迭代的结构(见图1)，在获取当前编码帧的参考帧时，采取了快速搜索算法。与非可伸缩视频编码过程相比，参考帧和编码帧之间的时域距离缩短了，因此能够更好地利用参考帧与编码帧之间的相关性，有效地提高编码效率(见图2和图3)。

本发明提供的方法是：通过对码流进行基本层和增强层的分层，基本层与非可伸缩视频编码标准相兼容，基本层的帧称为码流的关键帧，用于扩建增强层中的帧，对当前图象组中的所有编码帧进行时域层次计算和标注，从基本层开始，首先以当前图象组的关键帧和前一个图象组的关键帧为参考，编码时域层次为1的B帧。然后再以上述的两个关键帧和重建的时域层次为1的B帧为参考扩充时域层次为2的B帧，如此这样进行2的整数次幂的帧的扩充，使得码流的帧率按照每次增加一倍的速率来增加，直到扩充到所需要的时域层次(即目标帧率)为止。在参考帧的管理过程中，使用离编码图象最近的而且时域级别低于编码图象的帧作为该编码图象的参考图象。

1.本发明提供的方法包括以下步骤：

(1)将码流分层：

分为基本层和增强层，基本层采用结构为IPP...P的非可伸缩视频编码标准进行编码，对应视频传输和终端解码显示的最低的时域分辨率，增强层对应的是B帧，通过对B帧的灵活取舍来实现时域的可伸缩性；在编码一个图象组时，需要先编码这个图象组中的基本层，即I帧或P帧。

(2)检查配置文件中关于时域可伸缩参数设置的合法性：

具体包括图象组的大小、时域可伸缩的层次数和图象组的大小是否为2的整数次幂；如果检查出参数设置不合法，那么程序退出，编码过程失败。

(3)计算当前图象组中每个编码帧的时域层次，并对编码帧进行时域层次标注，对编码配置参数进行更新。

在这个过程中，基本层的I帧和P帧的时域层次设置为0，其余的B帧根据层次分级中的时域层次计算算法进行计算。

对原编码配置参数进行更新是指将编码图象类型设置为帧，帧跳跃的频率，以及在I帧和P帧或P帧之间所要插入的B帧的数目为图象组的大小减1。

(4)获取当前编码图象的参考帧：

如果当前是B帧，则参考帧包括前向参考帧和后向参考帧，如果当前不是B帧，则获取根据非可伸缩视频编码标准所规定的对应当前帧类型的参考图象(例如，AVS规定P帧需要两个参考帧，I帧不需要参考帧)；在该过程中如果编码帧是B帧，就以当前编码帧为起点和中心，向前搜索图象组重建图象数组与当前编码帧距离最近的而且时域层次低于当前编码帧的图象作为前向参考帧，一旦这样的前向参考帧找到，则前向参考帧搜索过程结束；后向参考帧的搜索过程与前向参考帧的搜索过程类似，这样就获得了当前编码帧的参考帧。然后如果需要，对获取的参考帧进行亚像素插值。

(5)对当前编码图象进行运动预测和运动补偿、离散余弦变换、量化、对残差信息以及参考帧索引和运动向量进行熵编码，这个过程与非可伸缩视频编码过程一样。

(6)保存当前帧重建图象进临时的编码重建图象数组，这个数组会保存一个图象组的时域层次低于最高时域层次的所有帧的重建图象和前一个图象组重建的I帧或者P帧，以便于步骤四能够正确获取到参考帧。

(7)重复步骤四到步骤六的过程，直到达到所需要的时域层次的最后一个图象。

(8)保存重建图象：

在这个过程中，特别需要判定重建帧输入到重建图象文件的条件。如果条件满足，则输出图象组重建图象数组中时域层次低于最高时域层次的所有重建帧，本图象组编码过程结束，进入下一个图象组的编码过程；如果条件不满足则继续进行当前图象组的编码过程。

2.本发明提供的方法具体实现过程：

(1)对应步骤一，与非可伸缩视频编码过程一致。

(2)检查图象组的大小。设图象组大小为gop_size，进行时域可伸缩编码扩展时应该使得该参数满足：

gop_size＝2^x(0≤x≤max_temporal_level)    (1)

在上式中max_temporal_level为最大的时域层次的数目，而且x必须为整数。

设current_temporal_level为当前编码图象的时域层次，num_frames为当前图象组中当前时域层次下的编码图象的个数。

(3)计算当前图象组中每个编码图象的时域层次，这是本发明的核心之一，在这个过程中设increment为每一个时域层次中相邻两个编码图象显示顺序上的差值，gop_size为图象组的大小，iLevel为时域层次，array[]为存储图象组中每一个编码图象的时域层次的数组。则：

increment＝gop_size/(2^iLevel)    (2)

实现这一过程所使用算法的流程图如图4所示。

在这个过程中，还需要对非可伸缩视频编码标准中的一些编码参数进行更新，具体更新过程为，设帧跳跃的频率为gop_size，设两个关键帧之间需要插入的B帧的数目为gop_size，设当前帧的图象编码类型为帧编码。

(4)编码图象参考帧的获取，该过程也是本发明的核心之一。在这个过程中，首先定义结构体CodedPicture；

CodedPicture

{

   int level；

   unsigned char**imgY；

   unsigned char***imgUV；

}

在编码主程序中进行全局变量内存分配时就需要分配CodedPicture类型的数组PicList[gop_size]的内存空间大小，这个数组也称为图象组重建图象数组，用于存储在编码过程中图象组中每一个编码帧的重建图象。在编码B帧时，所需要的两个参考帧的获取过程中，本发明采用了就近搜索的算法来实现，就是以当前编码帧为起点和中心分别前向搜索和后向搜索最近的并且时域层次低于当前编码帧的重建图象作为当前编码帧的两个参考帧，在搜索过程中，一旦找到符合条件的参考帧，则该方向的搜索马上无条件结束。找到两个参考帧后，如果需要进行亚像素插值，则进行亚像素插值。如果当前编码帧不是B帧，获取根据非可伸缩编码标准所规定的对应当前帧类型的参考图象，则该过程的程序流程图如图5所示。

(5)该过程与非可伸缩视频编码标准编码过程相同，使用步骤(4)所获得的两个方向的两个参考帧按照非可伸缩视频编码方案的流程来进行。

(6)将步骤(5)所得到的重建图象保存进PicList数组，以便进行下一层次的编码图象的参考帧的获取过程。

(7)重复步骤(3)到(5)的过程，直到所要达到的时域层次的最后一个编码图象为止。

(8)保存重建图象。在这个过程中，特别需要判定重建图象输出的条件，具体重建图象的输出条件为：

current_temporal_level＝＝max_temporal_level&&img-＞type＝＝B_IMG&&img-＞b_frame_to_code+increment(max_temporal_level)＝＝gop_size.

当以上条件满足时，需要按照PicList[]的顺序进行输出时域层次小于或者等于最高时域层次的重建帧的图象，输出到重建文件中。

3.实现效果

在本发明的实现实例中，采用了我国具有自主知识产权的音视频编码标准AVS，在背景技术中也提到，AVS是典型非可伸缩的双帧参考视频编码标准。在AVS的时域可伸缩扩展中，采用了本发明的方法，对foreman.qcif序列进行编码测试，图6为时域可伸缩的效果图，在编码过程中，基本层采用的非可伸缩的编码标准进行编码，参考帧的管理快速有效，能够较大幅度提高编码效率，从图6中可以看出，在相同码率的情况下，本发明的方法能提高PSNR-Y达到1dB以上。

参考文献

1.Applications and Requirements for Scalable Video Coding.ISO/IEC JTC1/SC29/WG11N6880.January 2005，Hongkong，China.

2.J.R.Ohm，”Three-dimensional subband coding with motion compensation，”IEEETransaction on Image Processing，vol.3，no.5，pp.559-571，September 1994.

A.Secker and D.Taubman，“Lifting-based invertible motion adaptive transform(LIMAT)framework for highly scalable video compression，”IEEE Transaction on Image Processing，vol.12，no.12，December 2003.

H.Schwarz，D.Marpe，and T.Wiegand，“Analysis of Hierarchical B Pictures and MCTF，”in Proceeding of IEEE International Conference on Multimedia and Expo，pp.1929-1932，July2006，Toranto，Canada.

Claims (4)

1.一种快速实现双帧参考视频流的时域可伸缩编码的方法，其特征是双帧参考视频流是基于B帧为双帧参考的视频编码标准，其时域可伸缩编码的方法是：基本层采用I帧或P帧图象编码类型，增强层采用的是B帧图象编码类型，通过对图象组中的各编码帧进行时域层次标注，并且在编码B帧过程中根据时域层次级别来搜索获取当前编码B帧的两个参考帧，参考帧是I帧或P帧，或者是B帧，这样就使得码流帧率按照2的整数次幂的倍数进行伸缩。

2.根据权利要求1所述的方法，其特征是包括以下步骤：

(1)将码流分层：

分为基本层和增强层，基本层采用结构为IPP...P的非可伸缩视频编码标准进行编码，对应视频传输和终端解码显示的最低的时域分辨率，增强层对应的是B帧，通过对B帧的灵活取舍来实现时域的可伸缩性；在编码一个图象组时，需要先编码这个图象组中的基本层，即I帧或P帧；

(2)检查配置文件中关于时域可伸缩参数设置的合法性：

具体包括图象组的大小、时域可伸缩的层次数和图象组的大小是否为2的整数次幂；如果检查出参数设置不合法，那么程序退出，编码过程失败；

(3)计算当前图象组中每个编码帧的时域层次，并对编码帧进行时域层次标注，对编码配置参数进行更新，

在这个过程中，基本层的I帧和P帧的时域层次设置为0，其余的B帧根据层次分级中的时域层次计算算法进行计算，

对原编码配置参数进行更新是指将编码图象类型设置为帧，帧跳跃的频率，以及在I帧和P帧或P帧之间所要插入的B帧的数目为图象组的大小减1；

(4)获取当前编码图象的参考帧：

如果当前是B帧，则参考帧包括前向参考帧和后向参考帧，如果当前不是B帧，则获取根据非可伸缩视频编码标准所规定的对应当前帧类型的参考图象；在该过程中如果编码帧是B帧，就以当前编码帧为起点和中心，向前搜索图象组重建图象数组与当前编码帧距离最近的而且时域层次低于当前编码帧的图象作为前向参考帧，一旦这样的前向参考帧找到，则前向参考帧搜索过程结束；后向参考帧的搜索过程与前向参考帧的搜索过程类似，这样就获得了当前编码帧的参考帧；

(5)对当前编码图象进行运动预测和运动补偿、离散余弦变换、量化、对残差信息以及参考帧索引和运动向量进行熵编码，这个过程与非可伸缩视频编码过程一样；

(6)保存当前帧重建图象进临时的编码重建图象数组，这个数组会保存一个图象组的时域层次低于最高时域层次的所有帧的重建图象和前一个图象组重建的I帧或者P帧，以便于步骤四能够正确获取到参考帧；

(7)重复步骤四到步骤六的过程，直到达到所需要的时域层次的最后一个图象；

(8)保存重建图象：

在这个过程中，特别需要判定重建帧输入到重建图象文件的条件，如果条件满足，则输出图象组重建图象数组中时域层次低于最高时域层次的所有重建帧，本图象组编码过程结束，进入下一个图象组的编码过程；如果条件不满足则继续进行当前图象组的编码过程。

3.根据权利要求2所述的方法，其特征是：步骤(2)中的时域可伸缩的层次计算算法为首先确定具有相同时域层次的的相邻两个编码帧之间的间距，此间距按照下述的公式计算：

increment＝gop_size/(2^iLevel)。

4.根据权利要求2所述的方法，其特征是：在步骤(4)所述参考帧管理的过程中，定义了结构体CodedPicture，即：

{

   int level；

   unsigned char**imgY；

   unsigned char***imgUV；

}

所述结构体保存了重建图象的时域层次和图象数据。

Images