CN100358364C - 基于h.264的精细颗粒可伸缩编码的码率控制方法 - Google Patents

Abstract

本发明涉及一种基于H.264/AVC的精细颗粒可伸缩编码的码率控制方法。本发明在编码器端把基本层流和增强层流两个码流结合起来，生成一个码流文件，只需传输这一个码流文件和非常少量的增强层编码信息，采用一种基于H.264/AVC的FGS的码率控制方法，根据率失真优化的结果来自适应选择QP(量化参数)，在编码器端对基本层作GOP(图像组)级的码率控制，而对增强层作逐次精细化的码率控制，与其它多层视频编码的码率控制方法相比，视频质量更高，PSNR(峰值信噪比)变化更为平滑。且在接收端，在某一目标比特率约束下，可以由不同时间分辨率(帧速率)和不同空间分辨率(图像格式)配置的终端截取和实时解码。对本方法的测试表明，本发明的平均亮度峰值信噪比(Y-PSNR)在CIF格式时优于JM8.6+FGS(采用JM8.6的基本层码率控制，而采用FGS的比特平面截断方法作增强层码率控制)达2.45dB，且与目标比特率更为匹配。

Description

基于H.264的精细颗粒可伸缩编码的码率控制方法

技术领域

本发明涉及一种视频编码方法，特别是一种基于H.264/AVC的精细颗粒可伸缩编码的码率控制方法。

背景技术

码率控制是H.264/AVC视频编解码的关键技术。对于编码器来说，必须为每一个视频帧分配适当的比特数，且尽可能使可变比特率平滑。H.264/AVC存在两种不同的码率控制方案：一是源自MPEG-2的TM5，这不适合低比特率视频应用场合；另一是基于流量模型、线性模型和率失真优化(RDO)的控制策略。

虽然H.264/AVC编码效率很高，但其多种预测模式和RDO选项给码率控制带来了新问题。Pornthep Navakitkanok等人提出一种码率控制方案，可有效地分配比特数、且可监视缓冲区的充盈度，但是只考虑了低时延的情况。Minqiang Jiang等人应用前面编码帧的MAD(平均绝对差)来预测当前帧的复杂度，用MAD ratio来调整目标比特的估计。但MAD ratio是通过线性预测得到的，当序列中场景变换时就不精确；而且，它只是减少峰值信噪比PSNR的变化，很难改进平均PSNR。

有的文献应用了线性模型来预测当前帧的MAD。这种方法的问题是目标比特仪仅取决于缓存器的充盈度，而没有考虑到视频帧的内容。如果缓存器接近充满，那么就只会分配很少的目标比特给新的编码帧。这将会导致视频序列的不均匀的失真。而且MAD码率控制算法只能表示当前帧和其匹配的参考帧之间的相似度，难于较好表示视频帧的运动内容。有的文献提出了码率-量化(R-Q)模型，在帧层次上近似表示视频帧的编码比特数与量化步长之间的关系，但只适用于有较少运动的视频序列。Chi-Wah Wong等人提出一种基于线性码率和线性失真模型的码率控制方法，利用了量化后宏块的预测误差的非零系数的概率，但概率因子只是由前一帧的平均QP(量化参数)得到，不够准确。Hongtao Yu等利用从前面已编码帧的实际比特数所得到的运动复杂度来表示一个帧的运动内容的复杂度。但这只是恒定比特率下的码率控制方法。

所有上述码率控制方法都是为H.264/AVC单层视频编码设计的。小段时间的码率变化可以采用接收器缓存的方法来解决。然而，大段时间码率变化时，若仍采用缓存方法因缓存器容量受限就很难奏效了。大段时间的码率变化问题应采用基于SNR(质量)、时间、或者空间的可伸缩编码方法来解决。

发明内容

本发明的目的是提供一种基于H.264/AVC的精细颗粒可伸缩编码的码率控制方法，对比于其它多层码率控制方法，它在CIF格式下的平均亮度峰值信噪比(Y-PSNR)相比JM8.6+FGS(采用JM8.6的基本层码率控制，采用FGS的比特平面截断方法作增强层码率控制)平均有2.45dB的增益，且与目标比特率更为匹配。

为达到上述目的，本发明的构思是：

对于CIF或者QCIF任一种视频序列，除采用适当大小的QP值来生成基本层(BL)，确保满足最低码率约束外，另增加一组FGS可伸缩层，码率可高于目标码率。再用精细颗粒SNR可伸缩过程来减少最终的码率，满足比特率约束。

上述FGS的步骤为：先采用H.264/AVC的帧内或者帧间残差编码获得最小SNR质量，然后通过不断减少量化步长对变换系数连续精细化编码，同时应用一种类似于“子平面编码方法”的经修改的CABAC(基于上下文的自适应二进制算术编码方法)，来实现精细颗粒SNR可伸缩过程。在这样的逐次精细化编码模式中，用于变换系数精细化级别的每个增强层的编码过程分为3次扫描：粗扫描、精细化扫描和残余扫描。在每一次扫描之后，相应的变换系数都被传输。

本发明的逐次精细化FGS，在任一增强层的任意点处都可以截断相应的NAL(网络适配层)单元。对于任意空间(CIF/QCIF视频格式)-时间(30Hz/15Hz帧率)分辨率而言，最小比特率是相应的基本层必须传输的码率，在该码率下的重建视频为可接受的最低视频质量。在该码率之上，只要通道带宽和终端配置容许，就可截取相应空间-时间层的逐次精细化NAL单元，提取任意码率的码流。

根据上述构思，本发明的技术方案是：

一种基于H.264/AVC的精细颗粒可伸缩编码的码率控制方法，其特征在于编码器端将基本层流和增强层流两个码流结合起来，采用基于H.264/AVC的精细可伸缩编码的码率控制方法，在接收端生成一个码流文件，实现只需传输一个码流文件和少量的增强层编码信息；其步骤是：

(1)基于H.264/AVC的精细颗粒可伸缩编码：根据率失真的结果来自适应选择量化参数，编码总比特流；

(2)基本层码率控制：在编码器端对基本层做图像组级的码率控制；

(3)增强层码率控制：并在编码器端对增强层做逐次精细化的码率控制；

(4)目标比特流的码率控制：在解码端，从总比特流中提取任意码率的码流；

所述的基本层码率控制的具体步骤如下：

i.通过计算平均空间复杂度未定义图像组的复杂度测度；

ii.初始设定缓冲区变化和复杂度需求之间的加权因子ρ＝0，序列的初始比特预算为Br，初始缓冲区充盈度为β₁，从第一个图像组开始循环；

iii.计算第g个图像组分配比特数Bt(g)；

iv.用第g个图像组分配比特数Bt(g)来检测缓冲区状态；

若缓冲区充盈度＜80％，则转下步骤v，否则调整ρ使之递增0.1，重复步骤iii；

v.更新缓冲区充盈度B_g，更新序列剩余比特预算Br；

vi.直至最后一个图像组，则基本层图像组级码率控制结束。

所述的增强层码率控制，从总码流中提取所需比特率码流，具体步骤如下：

a).设定所需目标比特率Rt；

b).从基本层码率控制过程得到基本层比特率R₀；当R₀＞Rt时，提取目标比特流失败，退出；否则进行下一步骤c)；

c).目标比特率修改为Rt＝Rt-R₀；

d).计算一个逐次精细化层的比特率R_F；

e).若R_F≤Rt，则修改目标比特率为Rt＝Rt-R_F，重复步骤d)；

否则截断精细化包，且Rt＝0，提取目标比特流成功，增强层码率控制结束。

上述的基于H.264/AVC的精细颗粒可伸缩编码，对每一个空间层都要进行运动补偿时间分解过程，从而提供时间可伸缩性；其具体步骤如下：

(1)输入原始序列，即全精度时间分辨率序列；

(2)时间分解预测滤波，得到高通信号，计算其量化参数QP_H；所有该层的高通信号构成一个时间增强层；时间分解更新滤波，得到低通信号，计算其量化参数QP_L；

(3)以每次降低1/2精度时间分辨率，按步骤(2)重复从最高层至最后一层(最低层)，得到最后一层的所有低通信号构成时间基本层；

(4)残差纹理信息经过残差编码，运动描述信息经过运动编码，得到信噪比可伸缩逐次精细化质量层。

下面对上述技术方案给予进一步详细说明：

图1示出本发明总体技术方案中的下列三个步骤：

(1)基于H.264/AVC的FGS编码：

如图2所示，对每一个空间层都要进行运动补偿时间分解过程，从而提供时间可伸缩性。原始序列是全精度时间分辨率序列。最底层时间分解阶段的结果是时间基本层，其上一级时间分解阶段的结果是第一个时间增强层，这两层合起来构成

精度时间分辨率序列；再上一级时间分解阶段的结果是第二个时间增强层，……。在时间分解预测滤波的过程中，给定信号的奇数点样本是由偶数点样本的线性组合来预测的，新的预测值和原奇数点样本之差形成一个高通信号。在更新滤波过程中，预测残差(高通信号)的线性组合与输入信号的偶数点样本之和构成低通信号。量化参数QP_H(k，i)和QP_L(k，i)分别用于编码高通信号和低通信号，而这些高通信号H_k[i]和低通信号L_k[i]是原始输入序列的第i帧的FGS的第k(k＝0，...，n-1)个时间分解层所获得的。其中n是图像组中应用的总的时间分解层数。然后，时间可伸缩过程输出的残差纹理信息经过残差编码，运动描述信息经过运动编码，得到SNR可伸缩逐次精细化质量层。即：从较低空间层的运动信息出发，来作较高层的运动预测；从较低空间层的纹理信息出发，做较高空间层的空间预测来消除冗余。

(2)基本层码率控制：

如图3所示，本方法的基本层码率控制是GOP级的码率控制。为了给每一个GOP分配比特数，首先通过计算如下的平均空间复杂度来为每一个GOP定义复杂度测度：

$\stackrel{\‾}{C}\left(g\right)=\underset{i}{\mathrm{\Σ}}{C}_{g,i}/N\left(g\right),---\left(1\right)$

$C_{g,i}=(R_{g,i}-H_{g,i})/\stackrel{\‾}{R\left(g\right)-H\left(g\right)}+M{V}_{g,i}/\stackrel{\‾}{\mathrm{MV}}\left(g\right)---\left(2\right)$

其中C_g，i是第g个GOP中第i帧的复杂度测度，H_g，i是帧(g，i)表示非纹理信息(如帧的头部/语法、运动矢量)的比特数，R_g，i是编码帧(g，i)的总的比特数，R_g，i-H_g，i是编码帧(g，i)的纹理信息编码的预算比特数，

是第g个GOP的纹理信息编码的平均比特数。MV_g，i是帧(g，i)的运动向量的比特数，

是第g个GOP组的运动向量的平均比特数。N(g)表示第g个GOP的帧数。设定ρ表示缓冲区变化和复杂度需求之间的加权因子。ρ＝0表示比特分配方案完全服从帧复杂度；ρ＝1.0表示比特预算平均分配而不考虑帧复杂度；0＜ρ＜1.0表示在缓冲区和质量约束之间做比特分配的权衡折衷。另外，设R为信道码率，F为选定的帧率，β_max为最大缓冲区充盈度。以下的GOP级循环的比特分配用于相关的N个GOP。

(A)初始设定ρ＝0，比特预算为B_r，初始缓冲区充盈度为β₁。从第一个GOP开始循环。

(B)按下式给第g个GOP分配比特数：

$B_t\left(g\right)=\mathrm{\ρ}\·(R/F)\·N\left(g\right)+(1-\mathrm{\ρ})\·\frac{C\left(g\right)\·N\left(g\right)}{\underset{k=g}{\overset{N}{\mathrm{\Σ}}}C\left(k\right)\·N\left(k\right)}\·B_r.---\left(3\right)$

R/F表示每帧的平均目标比特数。

(C)用试探性分配的比特预算B_t(g)来检测缓冲区状态：如果

β_g-1+B_t(g)-(R/F)·N(g)＜0.8·β_max，    (4)

则转到第(D)步；否则，调整ρ使之递增0.1，然后回退到第(B)步。

(D)更新缓冲区状态：

β_g＝β_g-1+B_t(g)-(R/F)·N(g)，        (5)

且更新剩余比特预算月B_r＝B_r-B_t(g)。然后转到第(B)步做第(g+1)个GOP的计算。

COP级的比特分配为每一个GOP分配了比特预算，同时满足了缓冲区和质量约束的要求。帧级比特分配方案类似于GOP级的比特分配，它也是根据帧复杂度来分配比特预算的。

(3)增强层码率控制

从总码流中提取所需比特率的码流，采用如下方法。如图4所示，令Rt表示某一空间一时间分辨率S_t-T_t的目标比特率，以R₀表示该空间一时间分辨率下的基本层比特率。如果R₀＞R_t，那么所需的空间一时间一码率点(如176x144@15fps：50kbit/s表示QCIF格式帧率为15fps时提取50kbit/s的码流)不能从总码流中提取；否则：

(A)目标比特率修改为 $R_t\⇐R_t-R_0.$

(B)从最低可支持的空间分辨率到目标空间分辨率，需计算逐次精细化编码包。而对于每一种空间分辨率来说，逐次精细化包的处理顺序是从最低精细化编码层到最高精细化层。对空间-时间分辨率S-T_t的每一个逐次精细化层，作以下的处理：

(a)令R_F表示空间-时间分辨率S-T_t的第i个逐次精细化表示的比特率。

(b)若R_F ≤R_t，则相应的逐次精细化包全部包含在所提取的比特流中，目标比特率修改为 $R_t\⇐R_t-R_F.$

(c)否则，相应的逐次精细化包被截断，目标码率归置为零：R_t＝0。令L为逐次精细化包的原始大小，那么在截断之后，长度变为

本发明与已有技术相比较，具有如下显而易见的实质性突出特点和显著优点：通常对于FGS编码方法来说，基本层流和增强层流是编码成两个视频流分开传输的；而本发明在编码器端把这两个码流结合起来，生成一个码流文件，只需传输这一个码流和非常少量的增强层编码信息。采用一种基于H.264/AVC的FGS的码率控制方法，根据率失真优化的结果来自适应选择QP(量化参数)，在编码器端对基本层作GOP(图像组)级的码率控制，而对增强层作逐次精细化的码率控制，与其它多层视频编码的码率控制方法相比，视频质量更高，PSNR(峰值信噪比)变化更为平滑。在接收端，在某一目标比特率约束下，可以由不同时间分辨率(帧速率)和不同空间分辨率(图像格式)配置的终端截取和实时解码。经测试表明，本发明的平均亮度峰值信噪比(Y-PSNR)在CIF格式时优于JM8.6+FGS方法达2.45dB，且与目标比特率更为匹配。

附图说明

图1是本发明的基于H.264/AVC的精细颗粒可伸缩编码的码率控制程序框图。

图2是图1中的基于H.264/AVC的精细颗粒可伸缩编码的程序框图。

图3是图1中的基本层码率控制程序框图。

图4是图1中的增强层码率控制程序框图。

具体实施方式

本发明的一个实施例是：

参见图1，本基于H.264/AVC的精细颗粒可伸缩编码的控制方法是在编码器端将基本层流和增强层流两个码流结合起来，采用基于H.264/AVC的精细可伸缩编码的码率控制方法，在接收端生成一个码流文件，实现只需传输一个码流文件和非常少量的增强层编码信息；其步骤是：

(1)基于H.264/AVC的精细颗粒可伸缩编码：根据率失真的结果来自适应选择量化参数，编码总比特流；

(2)基本层流率控制：在编码器端对基本层做图像组级的码率控制；

(3)增强层码率控制：并在编码器端对增强层做逐次精细化的码率控制；

(4)在解码端从总比特流中提取出目标比特流时所做的码率控制，提取任意码率的码流。

参见图2，上述的基于H.264/AVC的精细颗粒可伸缩编码的码率控制方法，其特征在于所述的基于H.264/AVC的精细颗粒可伸缩编码，对每一个空间层都要进行运动补偿时间分解过程，从而提供时间可伸缩性；其具体步骤如下：

(1)输入原始序列，即全精度时间分辨率序列；

(2)时间分解预测滤波，得到高通信号，计算其量化参数QP_H；所有该层的高通信号构成一个时间增强层；时间分解更新滤波，得到低通信号，计算其量化参数QP_L；

(3)以每次降低1/2精度时间分辨率，按步骤(2)重复从最高层至最后一层(最低层)，得到最后一层的所有低通信号构成时间基本层；

(4)残差纹理信息经过残差编码，运动描述信息经过运动编码，得到信噪比可伸缩逐次精细化质量层。

参见图3，上述的基本层码率控制的具体步骤如下：

(1)通过计算平均空间复杂度来定义图像组的复杂度测度；

(2)初始设定缓冲区变化和复杂度需求之间的加权因子ρ＝0，序列的初始比特预算为Br，初始缓冲区充盈度为β₁，从第一个图像组开始循环；

(3)计算第g个图像组分配比特数Bt(g)；

(4)用试探性分配的比特预算Bt(g)来检测缓冲区状态；

若缓冲区充盈度＜80％，则转下步骤(5)，否则调整ρ使之递增0.1，重复步骤(3)；

(5)更新缓冲区充盈度B_g，更新序列剩余比特预算Br；

(6)直至最后一个图像组，则基本层图像组级码率控制结束。

参见图4，上述的增强层码率控制，从总码流中提取所需比特率码流，具体步骤如下：

(1)设定所需目标比特率Rt；

(2)从基本层码率控制过程得到基本层比特率R₀；当R₀＞Rt时，提取目标比特流失败，退出；否则进行下一步骤(3)；

(3)目标比特率修改为Rt＝Rt-R₀；

(4)计算一个逐次精细化层的比特率R_F；

(5)若R_F≤Rt，则修改目标比特率为Rt＝Rt-R_F，重复步骤(4)；

否则截断精细化包，且Rt＝0，提取目标比特流成功，增强层码率控制结束。

下面比较本文算法和JM8.6+FGS的码率控制算法，仿真条件如表1。

表1.编码参数

Symbol Mode	CABAC
		RD Optimization	On
GOP Structure	IPPP...
		Reference Frame	1
MV Search Range	32

以下给出一个实例。以Foreman序列，经过FGS编码过程之后，在解码端若想提取CIF格式，目标比特率为395kbit/s(352x288@30fps：395kbit/s)，那么R_t＝395kbit/s，R₀＝158.5152kbit/s。R₀＜R_t，所以可以从总码流中提取出目标码流。并且目标比特率修改为 $R_t\⇐R_t-R_0=236.4848\mathrm{kbit}/s.$ 然后计算第一个逐次精细化层的比特率为R_F＝68.1984kbit/s。R_F＜R_t，R_t＝R_t-R_F＝168.2864kbit/s，继续计算下一个逐次精细化层的比特率为R_F＝243.9704kbit/s。R_F＞R_t，所以该逐次精细化层被截断。R_t＝0。目标比特率比特流被成功提取出来。

表2给出在Foreman、Coastguard和News三个测试序列下，在CIF格式时本方法相对于JM8.6+FGS的亮度PSNR及与目标比特率匹配性能比较。相比JM8.6+FGS，本发明方法在CIF格式下，Y-PSNR平均增益有2.45dB。并且与目标比特率更匹配。

表2. 3种序列CIF格式，两种方法的比转(352x288@30fps，300Frames)

		Jm8.6+FGS			本发明的联合FGS			增益
										测试序列	目标比特率(kbit/s)	亮度峰值信噪比(dB)	标准偏差(dB)	实际比特率(kbit/s)	亮度峰值信噪比(dB)	标准偏差(dB)	实际比特率(kbit/s)	亮度峰值信噪比增益(dB)	标准偏差增益(dB)
Foreman	395	32.11	1.53	394.3240	34.31	1.12	394.9824	2.20	-0.41
										Coastguard	537	29.64	0.96	536.3872	31.94	1.01	536.9848	2.29	0.05
News	474	37.04	0.96	473.5320	39.89	0.79	473.9824	2.85	-0.17
										平均								2.45	-0.18

Claims (2)

1.一种基于H.264/AVC的精细颗粒可伸缩编码的码率控制方法，其特征在于编码器端将基本层流和增强层流两个码流结合起来，采用基于H.264/AVC的精细可伸缩编码的码率控制方法，在接收端生成一个码流文件，实现只需传输一个码流文件和少量的增强层编码信息；其步骤是：

(1)基于H.264/AVC的精细颗粒可伸缩编码：根据率失真的结果来自适应选择量化参数，编码总比特流；

(2)基本层码率控制：在编码器端对基本层做图像组级的码率控制；

(3)增强层码率控制：并在编码器端对增强层做逐次精细化的码率控制；

(4)目标比特流的码率控制：在解码端，从总比特流中提取任意码率的码流；

所述的基本层码率控制的具体步骤如下：

i.通过计算平均空间复杂度来定义图像组的复杂度测度；

ii.初始设定缓冲区变化和复杂度需求之间的加权因子ρ＝0，序列的初始比特预算为Br，初始缓冲区充盈度为β₁，从第一个图像组开始循环；

iii.计算第g个图像组分配比特数Bt(g)；

iv.用第g个图像组分配比特数Bt(g)来检测缓冲区状态；

若缓冲区充盈度＜80％，则转下步骤v，否则调整ρ使之递增0.1，重复步骤iii；

v.更新缓冲区充盈度B_g，更新序列剩余比特预算Br；

vi.直至最后一个图像组，则基本层图像组级码率控制结束；

所述的增强层码率控制，从总码流中提取所需比特率码流，具体步骤如下：

a)设定所需目标比特率Rt；

b)从基本层码率控制过程得到基本层比特率R₀；

当R₀＞Rt时，提取目标比特流失败，退出；

否则进行下一步骤c)；

c)目标比特率修改为Rt＝Rt-R₀；

d)计算一个逐次精细化层的比特率R_F；

e)若R_F≤Rt，则修改目标比特率为Rt＝Rt-R_F，重复步骤d)；

否则截断精细化包，且Rt＝0，提取目标比特流成功，增强层码率控制结束。

2.根据权利要求1所述的基于H.264/AVC的精细颗粒可伸缩编码的码率控制方法，其特征在于所述的基于H.264/AVC的精细颗粒可伸缩编码，对每一个空间层都要进行运动补偿时间分解过程，从而提供时间可伸缩性；其具体步骤如下：

(1)输入原始序列，即全精度时间分辨率序列；

(2)时间分解预测滤波，得到高通信号，计算其量化参数QP_H；所有该层的高通信号构成一个时间增强层；时间分解更新滤波，得到低通信号，计算其量化参数QP_L；

(3)以每次降低1/2精度时间分辨率，按步骤(2)重复从最高层至最后一层，得到最后一层的所有低通信号构成时间基本层；

(4)残差纹理信息经过残差编码，运动描述信息经过运动编码，得到信噪比可伸缩逐次精细化质量层。

Images