CN100568952C

CN100568952C - 基于h.264实时精细粒度可伸缩编码方法

Info

Publication number: CN100568952C
Application number: CN 200710038784
Authority: CN
Inventors: 张兆杨; 姜钦华; 刘志; 刘海鹰; 刘鹏飞; 张颖; 沈礼权; 王国中
Original assignee: Central Academy of SVA Group Co Ltd; University of Shanghai for Science and Technology
Current assignee: Central Academy of SVA Group Co Ltd; University of Shanghai for Science and Technology
Priority date: 2007-03-29
Filing date: 2007-03-29
Publication date: 2009-12-09
Anticipated expiration: 2027-03-29
Also published as: CN101106695A

Abstract

本发明涉及基于H.264实时精细粒度可伸缩编码方法。根据当前残差帧的全局性与当前残差块的局部性分布来进行分析，在全局分析中找出奇异点，并通过对奇异值进行下移位使得比特平面数全局均衡，在解码端作相应的上移位；在局部分析中做全零块的判决。本发明在编码过程中的增强层变换部分将采用4x4整数变换。本方法与一般的FGS方法相比，复杂度明显降低，视频质量更高，整体PSNR(峰值信噪比)变化更加平滑。实验表明，与MPEG-4的FGS方法相比，在保持相近的码率时，本发明能够在平均亮度PSNR上提高0.37dB，平均编码速度快13.86fps，即提高97%。

Description

基于H.264实时精细粒度可伸缩编码方法

技术领域

本发明涉及一种视频编解码的方法，特别是一种基于H.264实时精细粒度可伸缩编码(FGS)方法。

背景技术

自从ITU-T颁布了H.261、H.263、MPEG-1、MPEG-2、MPEG-4等国际标准后极大推动了多媒体技术的应用。然而，随着新服务的大量增加和高清电视的即将普及，以及现有传输网络如Cable Modem、Xdsl、UMTS较低的传输带宽，迫切需要提高视频编码效率；同时还要求视频编码标准能够适应现有或未来的网络。这些问题为新视频编码标准H.264的产生提供了切实的依据。

随着网络多媒体应用的增加，基于网络的视频编解码技术也相应显得非常重要。位平面编码是精细可伸缩性(FGS)编码中的关键技术，它使得增强层码流可以在任何位置点截断，从而具有可伸缩性。在服务器向客户端发送视频流的应用中，FGS的伸缩性可以根据网络带宽的变化调整码率，当网络状况差时，只发送基本层，当网络带宽比较充裕时，传输增强层的码流，提高视频质量。这种可伸缩性技术适合用在Internet或无线通信的环境下传输视频信息的流媒体服务。但是由于增强层采用的低分辨率的运动信息预测，所以FGS的编码效率较低。对此通常有两种不同的解决方案，一是结构上的调整，例如采用多次量化或单环、多环结构；二是对增强层的变换方法作改进，例如微软亚洲研究院Jungong Han提出的基于MPFG-4的8x 8DCT和4x 4DCT模式选择方法。

基于H.264实时精细可伸缩编码面临两个问题：编码效率和编码复杂度。虽然H.264编码效率很高，但扩展为FGS后其增强层的编码带来了编码效率不高的新问题，传统的8x8DCT模式，没有考虑比特平面编码中层与层之间的相关性，减低了效率。Jungong Han等人提出8x8DCT与4x4DCT变换模式选择的方法考虑了比特平面层间的相关性，编码效率有了较为明显的提高，但是它的复杂度较高，所以不适合用于快速编码。多次量化编码方法目前采用的比较多，但是同样也是以增加复杂度为代价。此外，Kenji Matsuo等提出一种新的比特平面编码方案，以避免增强层在低比特平面编码效率下降的情况，主要是把每一位数据划分为显著比特位和精细比特位，它可以根据重要性不同对这两组采用不同的保护措施，再分别传输。但这属于后端处理，并没有对全局分布特性进行分析，而且未考虑变换等耗时模块。

基于MPEG-4精细粒度可伸缩编码方法如附图1所示，由原始图像和基本层重构信息相减获得的残差信息经过变换量化和比特移位后找出最大值，最后采用比特平面编码。这种方法可以获得较好的编码效果，但是它没有考虑在增强层编码的变换/量化之前作前端预处理，编码复杂度较大，不能达到实时编码。本发明针对于此，提出一种基于H.264实时精细粒度可伸缩编码方法，如图2所示，在增强层的编码中，通过前端预处理，做全局性分布统计分析和提前做全零块判决，可有效减少编码时间并达到实时编码。并在增强层中采用4x4整数变换以使增强层的变换模式与基本层中H.264的变换模式匹配，加入预处理虽然会引入些额外比特但可大幅减少其后续的编码比特，从而总体上可明显提高编码效率。

发明内容

本发明的目的在于提供一种基于H.264实时精细粒度可伸缩编码方法，相比于基于MPEG-4的FGS编解码方法，它可以在考虑额外的比特开销的同时，提高视频质量，大大降低编解码时间。

为达到上述目的，本发明采用下述技术方案：

一种基于H.264实时精细粒度可伸缩编码方法，其特征在于根据当前残差帧的全局性与当前残差块的局部性分布来进行分析，编码器中的增强层变换部分采用4x4整数变换；在全局分析中找出奇异点，并通过对奇异点进行下移位使得比特平面数全局均衡，在解码端作相应的上移位；在局部分析中做全零块的判决。

实现步骤如下：

(1)对当前残差帧进行全局性分布统计，在基于H.264的基本层的重构值与原始值的差值中统计奇异点的分布情况，对奇异点进行下移位，在头信息中记录奇异点的位置和下移值信息；

(2)对当前残差块进行局部性分布统计，设在完成(1)后得到的最大比特位数为L，截取的比特平面数为N，使用条件值O＝2^L-N-1来判决当前残差块是否为全零块，因为全零块不需要做后面的变换和量化，所以对全零块的处理可以大大节省编码时间和码率；仅对非全零块进行变换、量化和编码；

(3)在增强层中对非全零块采用4x4整数变换，并对变换量化后的系数采用比特平面编码；

(4)在解码端，从头信息中提取出奇异点的位置和下移值信息，并做相应的上移位。

上述的步骤(1)中对当前残差帧进行全局性分布统计的具体步骤如下：

①对输入的当前残差帧全局扫描，记录奇异点值大小；

②根据分布信息，确定奇异点，对奇异点绝对值下移操作，当奇异点绝对值大于64，对其下移2位，当其介于32-64之间，对其下移1位；

③在头信息中记录奇异点的位置(X，Y)和下移值大小S；

④分析后得到奇异点绝对值的最大值M，则最大比特位数为L＝[Log₂M+0.5]。

上述的步骤(2)中对当前残差块进行局部性分布统计的具体步骤如下：

①对输入的当前残差块进行循环扫描；

②判断是否满足全零块条件：全局分析完成后得到最大比特位数为L，设截取的比特平面数为N，使用条件值O＝2^L-N-1来判决当前残差块是否为全零块，如果这个4x4块为全零块则不用做变换量化，并将当前块的block_cbp设置为0，否则设置为1；

③重复步骤②，完成全部的全零块判决，当一个组的所有块都为全零块时，则称该组为全零组，设置该组的group_cbp设置为ALL_ZERO，否则设置为1。这里对全零组的判决虽会增加一些额外的比特和计算量，但是可提高编码头信息的效率和整体编码效率；此后，仅对设置为1的块在增强层中进行变换、量化和编码。

实现时其中的两段伪码如下：

1.8x8块全零组判决伪码：

8x8块循环

{

4x4块全零判决；

if(全零块个数＝4)

group_cbp＝ALL_ZERO；

else

group_cbp＝1；

跳出循环；

}

2.4x4块全零判决伪码：

4x4块循环

{

if(残差绝对值小于等于2^L-N-1)

零点个数加1；

else

跳出循环；

}

if(零点个数＝16)

{

block_cbp＝ALL_ZERO；

}

else

block_cbp＝1；

上述的步骤(3)中在增强层对非全零块进行变换、量化和编码的具体步骤如下：

①在增强层将16x16的宏块划分为4个8x8的亮度块和2个8x8的色度块，然后将8x8块划分为4个4x4的子块；

②把4个4x4的块称为一个组，每个宏块共6个组，划分的方法如附图4；

③对非全零块的变换采用4x4整数变换，在头信息编码时，先编码组的头信息，再编码块的头信息，引入组模式可提高头信息的编码效率；

④对量化后的QPL系数进行长度16即4x4的比特平面编码。

本发明与已有技术相比，具有如下的突出特点和显著优点：通常在MPEG-4中的FGS增强层采用8x8DCT变换模式，这与H.264基本层编码模式不匹配，而本发明以4x4整数变换替代，可以和基本层的变换模式有效匹配；采用全局性分析和局部性分析相结合的方法，不仅大大减少了编码时间，而且与原有的方法相比较，其视频重建质量更高。本发明和基于MPEG-4的FGS相比，亮度分量的峰值信噪比(Y-PSNR)提高了0.37dB，编码速度提高了13.86fps。

附图说明

图1是基于MPEG-4的FGS增强层编码框图

图2是本方法基于H.264的FGS增强层编码框图

图3是全零块判决程序框图

图4是块单元的模式划分图

具体实施方式

本发明的一个实施例如下所述：

基于H.264实时FGS增强层变换模式的改进方法是对编码过程中的增强层变换采用4x4整数变换，根据当前残差帧的全局性与当前残差块的局部性分布来进行分析。在全局分析中找出奇异点，并通过对奇异点进行下移位使得比特平面数全局均衡，在解码端作相应的上移位；在局部分析中做全零块的判决。

其实现步骤如下：

a)如附图2所示的预处理模块中对当前残差帧进行全局性分布统计，在基本层的重构值与原始值的差值中统计奇异点的分布情况，对奇异点进行下移位，在头信息中记录奇异点的位置和下移值信息；

b)在预处理模块中对当前残差块进行局部性分布统计，设在完成a)后得到最大比特位数为L，截取的比特平面数为N，使用条件值O＝2^L-N-1来判决当前残差块是否为全零块，若是全零块则跳过后续的变换和量化模块；

c)若当前块不为全零块，在增强层变换部分采用4x4整数变换，并接着对变换量化后的系数采用比特平面编码；

d)解码是上述编码的逆过程，需从头信息中提取a)中奇异点的位置和下移值信息，并做相应的上移位。

上述a)的全局性统计分析具体步骤如下：

(1)对输入的当前残差帧进行全局扫描，记录奇异点值大小为。

(2)根据分布信息确定奇异点，对奇异点绝对值下移操作，如奇异点绝对值大于64，对其下移2位，如介于32-64之间，对其下移1位。

(3)在头信息中记录奇异点的位置(X，Y)和下移值大小S。

(4)设分析后得到奇异点绝对值的最大值为M，则最大比特位数为L＝[Log₂M+0.5]。

如附图3所示，上述b)的局部性统计分析具体步骤如下：

(1)对输入的当前残差块进行循环扫描。

(2)判断是否满足全零块条件。全局分析完成后得到最大比特位数为L，设截取的比特平面数为N，使用条件值O＝2^L-N-1来判决当前残差块是否为全零块，如果这个4x4块为全零块则不用做后面的变换和量化，并将当前块的编码模式设置为0，否则设置为1。

(3)重复第(2)步，完成全部的全零块判决，当有一个组为全零组时，则设置该组的编码模式group_cbp()设置为ALL_ZERO，否则设置为1。

如附图4所示，上述c)的具体步骤如下：

(1)将增强层的每个16x16的宏块划分为4个8x8的亮度(Y)块和2个8x8的色度块(U，V)，然后将每个8x8块划分为4个4x4的块；

(2)把4个4x4的块称为一个组(Group)，每个宏块共6个组，划分的方法如附图4中的下图；

(3)对非全零块采用4x4整数变换，在头信息编码时，先编码组的头信息group_cbp，再编码块的头信息block_cbp；

(4)在实例中采用QPL＝30量化后的系数进行长度为16(即4x4)的比特平面编码。

上述d)的上移位操作具体步骤如下：

(1)解码头信息获得奇异点位置和下移值信息；

(2)根据头信息中奇异点的位置(X，Y)和下移值大小S做相应的上移位。

本例方法与MPEG-4的FGS方法进行了测试比较，测试环境两者均为3.0GHzIntel CPU，512M内存；GOP结构为IPPP..；编码器主要参数为：熵编码采用CABAC，运动估计采用全搜索，搜索范围为16，1/4搜索精度，参考帧个数为2，量化参数为30。

表1给出在Foreman、Tempete和Stefan三个不同特性的测试序列下，在CIF格式时本方法相对于MPEG-4的FGS的亮度峰值信噪比Y-PSNR及与编码速度比较。与基于MPEG-4的FGS相比，本发明方法在CIF格式下，Y-PSNR平均增益为0.37dB，且编码速度平均快13.86fps，即速度增加97％；而两者的平均码率变化仅为0.67％，几乎不变。

表1 3种序列CIF格式，两种方法的比较(352x288@30fps，300Frames)

Claims

1.一种基于H.264实时精细粒度可伸缩编码方法，其特征在于根据当前残差帧的全局性与当前残差块的局部性分布来进行分析，编码器中的增强层变换部分采用4×4整数变换；在全局分析中找出奇异点，并通过对奇异点进行下移位使得比特平面数全局均衡，在解码端作相应的上移位；在局部分析中做全零块的判决；其步骤是：

(1)对当前残差帧进行全局性分布统计，在基于H.264的基本层的重构值与原始值的差值中统计奇异点的分布，对奇异点进行下移位，在头信息中对记录奇异点的位置和下移值信息进行编码；

(2)对当前残差块进行局部性分布统计，设在完成(1)后得到的最大比特位数为L，截取的比特平面数为N，使用条件值O＝2^L-N-1来判决当前残差块是否为全零块，对全零块不做变换和量化，仅对非全零块进行变换，量化和编码；

(3)在增强层中对非全零块采用4x 4整数变换，并对量化后的系数采用比特平面编码；

(4)在解码端，从头信息中提取出步骤(1)中奇异点的位置和下移值信息，并做相应的上移位。

2.根据权利要求1所述的一种基于H.264实时精细粒度可伸缩编码方法，其特征在于所述的步骤(1)中对当前残差帧进行全局性分布统计的具体步骤如下：

①对输入的当前残差帧全局扫描，记录奇异点值大小；

③在头信息中记录奇异点的位置(X，Y)和下移值大小S；

3.根据权利要求1所述的一种基于H.264实时精细粒度可伸缩编码方法，其特征在于所述的步骤(2)中对当前残差块进行局部性分布统计的具体步骤如下：

①对输入的当前残差块进行循环扫描；

②判断是否满足全零块条件：全局分析完成后得到最大比特位数为L，设截取的比特平面数为N，使用条件值O＝2^L-N-1来判决当前残差块是否为全零块，如果这个4×4块为全零块则不用做变换和量化，并将当前块的block_cbp设置为0，否则设置为1；

③重复步骤②，完成全部的全零块判决，当一个组的所有块都为全零块时，则称该组为全零组，则该组的group_cbp为ALL_ZERO，否则设置为1；此后，仅对设置为1的块在增强层中进行变换、量化和编码。

4.根据权利要求1所述的一种基于H.264实时精细粒度可伸缩编码方法，其特征在于所述的步骤(3)中在增强层对非全零块进行变换，量化和编码；其具体步骤如下：

①在增强层将16×16的宏块划分为4个8×8的亮度块和2个8×8的色度块，然后将8×8块划分为4个4×4的块；

②把4个4×4的块称为一个组，每个宏块共6个组；

③对非全零块的变换采用4×4整数变换；在头信息编码时，先编码组的头信息，再编码块的头信息；

④对量化后的系数QPL进行长度为16即4×4的比特平面编码。