CN105681793A - 基于视频内容复杂度自适应的极低延迟高性能视频编码帧内码率控制方法 - Google Patents

Abstract

本发明针对HEVC视频编码标准提供了基于复杂度自适应的极低延迟高性能帧内码率控制方法。主要包括利用缓冲区调节帧层和LCU行层比特分配。在帧层分配中，通过已编码帧缓冲区数据对当前帧及其LCU行目标比特进行调节；帧层比特分配完毕之后，进行LCU行层的比特分配，并利用了相邻两帧时域复杂度的关联性，使得每一帧的码率控制可以在每帧中的一个LCU行进入编码器后即可开始，大大降低了缓冲区大小。本发明方法使实际码率更符合目标码率，且缓冲区数据量极大的减少，同时输出比特更平稳。实验结果表明，本发明方法与HEVC标准码率控制提案JCTVC-K0103和JCTVC-K0257相比，缓冲区数据量减小十分明显，峰值信噪比基本保持不变，同时实际码率与目标码率之间的码率偏差也有所降低。

Description

基于视频内容复杂度自适应的极低延迟高性能视频编码帧内码率控制方法

技术领域

本发明涉及图像通信领域中的视频编码码率控制问题，尤其是涉及一种高性能视频编码标准HEVC的帧内编码自适应码率控制方法。

背景技术

码率控制技术在视频传输系统中的作用十分重要，特别是在实时视频传输应用中更是起到举足轻重的作用。码率控制的作用是调整视频编码参数，使得编码输出码率与传输带宽相匹配，并因此能够防止编码端和解码端的缓冲区发生上溢和下溢。为了达到这个目的，以往的视频编码标准都将码率控制技术加入到了各自的视频编码框架之中。例如，MPEG2标准中的TM5，MPEG4中的VM-8，H.263中的TMN8，以及H.264中的JM。HEVC作为最新一代视频编码标准，其性能与H.264相比，节约了50％的编码码率，但是随着高清视频的出现，如何进一步提升视频压缩及传输质量的问题逐渐进入人们视野。因此，如何在固定带宽下，以极低的传输延迟，实时传输编码码流，同时避免缓冲区数据溢出成为视频编码领域研究的热点。

在实时视频通信系统中，除了率失真(RD)特性标准之外，端到端的延迟同样会影响接收端接收视频的质量。ChenQ等建立了视频编码RD特性与端到端传输延迟之间的模型，由此模型可以看出，端到端延迟最终会影响接收端视频的RD性能。此外，在实时视频通信中，每一帧的实际编码比特并不总是与编码端传输带宽相等；为了解决这个问题，编解码端都会设置一个缓冲区来临时存储编码比特，而这个缓冲区会造成更大的端到端传输延迟。视频传输延迟分为两个部分：信道延迟和由缓冲区造成的缓冲延迟。由于信道延迟很难被预估，所以必须降低编解码系统中的缓冲延迟。目前，许多实时视频通信应用系统都要求极低的延迟，例如电视会议，视频通话，室内无线视频通信等。在这些应用场景中，缓冲区必须设置的很小，以适应极低延迟的要求。然而在现有的低延迟码率控制算法中，其缓冲区都远远大于编码一帧所产生的比特数。即使将编解码端的缓冲区大小都设为编码一帧所产生的比特数，其总延迟依然远远大于两帧延迟。此外，考虑到HEVC主要是针对处理高分辨率视频，那么其每一帧的编码比特数都会较大。将以上因素所导致的延迟综合考虑后，可以发现最终导致的端到端延迟必然会被用户所察觉，并带来十分不好的用户体验。因此，HEVC中的现有针对低延迟的码率控制方法都不能达到极低延迟的应用要求。

现有大多数码率控制方法，都是针对P帧的码率控制。但实际上，在HEVC标准中I帧(帧内编码帧)的重要性要比H.264更为突出。由于HEVC中运动补偿技术的长足进步，P帧和B帧的压缩率相比I帧压缩率得以进一步提高。因此，相较于H.264标准，HEVC标准中分给I帧的比特数在整个通信带宽中所占的比重变得更大了。除此之外，每个编码GOP中的第一帧(也就是I帧)所消耗的比特数也会远远高于P帧和B帧，也就是说，不当的I帧比特分配方法极易造成缓冲区的上溢。因此，出现了一些编码帧内容复杂度自适应的I帧码率控制方法。Karczewicz等提出一种HEVC标准中的I帧码率控制算法，在其方法中，每个I帧的复杂度由绝对变换误差和(sumofabsolutetransformeddifferences，SATD)来表示。这一方法与以往HEVC中的I帧算法相比，在比特估计准确度上有了一定的提升。接着，Wang等提出一种用梯度表示每帧复杂度的HEVC帧内码率控制算法，其复杂度都由每一帧计算出的梯度来表示。实验证明，Wang的方法与目前最新的I帧码率控制算法相比，其进一步提高了码率控制的性能。虽然以上两种I帧码率控制算法在性能上都有了提高，但其使用的视频帧复杂度表示方法都是只使用了每一帧中的空域复杂度特性而没有使用在时域上前后相连的帧之间的复杂度关联性。因此，需要一种结合空域复杂度表示和时域复杂度关联的空时复杂度表示方法。另外，以上所提两种码率控制算法需要事先知道并计算每一帧的复杂度，这也进一步加大了端到端的延迟，而这些延迟都是极低视频通信系统中不希望出现的。

HEVC是目前最新的视频编码标准。随着HEVC的发展，有很多的码率控制模型被纳入到HEVC标准当中。ChoiH等所提出的R-Q模型被纳入到了早期的HEVC测试软件框架HM6中。但是，由于R-Q模型中所估计的比特数并不是最终向接收端发送的比特数，所以其码控准确度较低。LiangX等提出了一种R-ρ模型，其中ρ是HEVC编码中DCT系数经量化后，零值所占的百分比。相较于R-Q模型,R-ρ模型在目标比特估计的准确度上有了一定的改进。但是，R-ρ模型的实现，必须满足两个前提假设：(i)ρ值与量化参数Q是一一对应的；(ii)变换块大小是固定的。这些假设与HEVC中基于四叉树的编码分块结构并不相符。最近，Libin等人提出，在HEVC编码框架中，进行率失真计算时所用到的拉格朗日系数(即λ)对于HEVC码率控制起到了关键的作用，并在此基础上提出了一种R-λ码率控制模型，此模型与R-Q、R-ρ模型相比将，表现出了更高的比特预测准确率和更好的编码RD性能。同时，R-λ模型的计算复杂度也较低。因此，R-λ模型已被纳入到HM10.0中并作为最新的HEVC码率控制方法。但是，由于R-λ模型在进行码率控制时，并未考虑每一帧视频的复杂度，而将每一帧复杂度纳入到码率控制算法中，可以提高码率控制性能。所以其码率控制准确性还有待进一步改善。并且，对于视频实时传输中非常重要的缓冲区大小和缓冲区充盈度也并未纳入到R-λ模型当中。因此，在本发明算法中我们提出一种高效的复杂度自适应的极低延迟HEVC帧内码率控制算法。

发明内容

针对新一代视频压缩编码标准HEVC中的I帧码率控制问题，本发明利用视频序列的每一帧自身的空域复杂度以及由帧与帧之间的复杂度关联性所表示的时域复杂度及缓冲区状态，提出了一种基于视频内容复杂度的自适应高性能视频编码码率控制方法，明显的降低了I帧所引起的缓冲区滞留数据量，极大的降低了由缓冲区所引起的端到端传输延迟，同时保证了视频质量，在带宽一定，且要求为极低延迟的实时编码传输系统中具有较好的应用前景。

本发明的基本思想是利用梯度作为每一帧自身空域复杂度的度量方式，再利用时域复杂度对当前帧的空间复杂度进行预测，自适应地获取LCU行和LCU的帧内梯度，进行LCU行层和LCU层目标比特分配。

本发明针对HEVC视频编码标准提出了一种基于视频内容复杂度的自适应高性能视频编码I帧码率控制方法。主要包括利用缓冲区状态调节帧层目标比特和LCU行层目标比特以及空时结合的视频复杂度度量。在帧层码率控制过程中，通过已编码帧累加的缓冲区滞留数据量对当前I帧目标比特进行调节；在LCU行层码率控制中，利用在时间上前后连接帧的复杂度关联性，对当前帧的复杂度进行预测，并利用每一个LCU行的复杂度与当前帧预测复杂度的比例，对每一个LCU行进行比特分配。本发明利用缓冲区状态调节帧层目标比特和LCU行层比特分配，并根据连续帧之间的复杂度相关性对当前帧的复杂度进行预测，从而使码率控制在每一帧中的每个LCU行进入编码器后，就可进行码率控制，大大减小了缓冲区的大小和缓冲区内的数据滞留量，以满足极低端到端视频通信延迟的要求。在此基础上满足实际码率更加符合给定的目标码率，同时使实际比特趋于平稳，以充分利用有限的带宽。具体主要包括以下过程步骤：

(1)根据配置文件设置的目标码率、帧率得到每个I帧的帧层目标比特和帧层标准目标比特，并设置缓冲区大小；

(2)判断当前编码帧是否为第一个I帧，若为第一个I帧，帧层目标比特为标准目标比特。若不是第一个I帧，帧层目标比特为经过缓冲区状态调整后的目标比特；

(3)判断当前编码帧是否为第一个I帧，若为第一个I帧，遍历当前帧的每个LCU，求出其帧内梯度，将每个LCU的自适应梯度累加，得到帧层总梯度。若不为第一个I帧，则利用连续帧之间的复杂度相关性，由前一帧的帧层总梯度预测出当前I帧帧层总梯度；

(4)根据当前LCU行的梯度总和占当前帧总梯度的比例分配每个LCU行的目标比特，并根据LCU行的尺寸得到每个LCU行的模拟带宽；

(5)根据当前每个LCU的梯度占当前帧中LCU行总梯度的比例分配每个LCU的目标比特，并根据LCU的尺寸得到每个LCU的模拟带宽；

(6)进入xCompressCU，对每个LCU进行编码，其编码实际比特与模拟带宽的差值累加到缓冲区，得到已编码帧累加的缓冲区滞留数据，并在下一帧的帧层比特分配时进行反馈调节，得到下一帧的目标比特。

在本发明的上述技术方案中，所述帧层标准目标比特为配置文件设置的目标码率除以帧率得到的每帧目标比特，未经缓冲区状态调整，而所述帧层目标比特是经缓冲区状态调整后的帧层目标比特。

在本发明的上述技术方案中，所述缓冲区大小为帧层标准目标比特的三分之一。

在本发明的上述技术方案中，所述缓冲区状态调整帧层目标比特的具体方法为：

$T_{Fra}\left(t\right)=\frac{T_{Tar}}{f}+\mathrm{\θ}\×(\frac{{\mathrm{Buf}}_{SIZE}}{3}-{\mathrm{Buf}}_{Ful})---\left(1\right)$

其中，T_Tar/f表示每帧的标准目标比特，Buf_SIZE表示缓冲区大小，Buf_Ful表示缓冲区滞留数据量。θ为调整系数，经过实验统计，本发明的方法取最优值1.32。

在本发明的上述技术方案中，对当前帧的整帧复杂度的具体预测方法为，当前帧前j个LCU行的梯度累加和与前一帧前j个LCU行的梯度累加和相减，并求出相减后的差值与前一帧前j个LCU行的梯度累加和的比值，具体求解公式为：

$Sim=\frac{{\mathrm{GPP}}_{Sum,R}(j,t)-{\mathrm{GPP}}_{Sum,R}(j,t-1)}{{\mathrm{GPP}}_{Sum,R}(j,t-1)}---\left(2\right)$

其中，GPP_Sum,R(j,t)表示当前帧前j个LCU行的梯度累加和，GPP_Sum,R(j,t-1)表示前一帧前j个LCU行的梯度累加和。Sim即为帧间相似度。若Sim的绝对值大于阈值T，则当前帧与前一帧为非相似帧，否则为相似帧。

在本发明的上述技术方案中，所述LCU模拟带宽为根据当前LCU的尺寸占帧尺寸的比例分配的LCU目标比特。

根据本发明的上述方法可以编制执行上述基于梯度的自适应高性能视频编码I帧码率控制方法的HEVC视频编码器。

本发明是基于以下思路分析而完成的：

标准的HEVC码率控制算法主要分为两步：第一步是根据帧结构、纹理复杂度等参数进行目标比特分配；第二步是根据目标比特调整编码器参数，从而影响实际比特分配，使实际比特更加接近目标比特。由于目标比特分配是码率控制的首要一步，其准确程度直接影响着后续编码的性能，因此，码率控制优化方法主要是通过改善目标比特分配的方法来改善码率控制效果。

HEVC目标码率分配方法分为三层：GOP层是码率控制的第一层，该层通过提前设置的目标码率、序列帧率以及GOP的大小等参数设置一个GOP的目标比特。帧层目标比特取决于当前帧在GOP中的位置，即当前帧在GOP中目标比特所占结构权重。LCU层目标比特取决于当前LCU的复杂度在帧复杂度中所占权重。帧层目标比特影响LCU层目标比特，LCU层目标比特影响LCU层编码参数更新，从而影响LCU层实际编码比特，最终影响帧层实际比特。因此，可以通过在帧层和LCU层之间加入一个LCU行层目标比特分配，来减少缓冲区大小，降低缓冲造成的端到端延时，并可改善帧层和LCU层目标比特分配方式来改善码率控制性能。

码率控制效果的主要参数之一是实际编码比特与固定带宽之间的差值，即缓冲区滞留数据量。缓冲区滞留数据量少而且平稳，表示在固定带宽实时传输情况下的延迟低，反之亦然。为了优化帧层目标比特的分配，本发明的方法采用了已编码帧缓冲区状态反馈机制。通过当前缓冲区状态来调整当前帧的目标比特，使当前帧实际编码比特更加精确，同时使该帧累加到缓冲区的数据对缓冲区滞留数据量有所调整。同时，本方法在帧层码率分配与LCU层码率分配之间加入一个LCU行层码率分配层，以使其能够在每个LCU行编码准备完成后，就可以进行码率控制，从而降低缓冲区大小和滞留数据量，极大的降低缓冲延迟。

帧层码率控制的效果由LCU行层和LCU层比特分配效果直接决定。在标准的HEVC码率控制方法中，LCU层目标比特分配采用复杂度权重的方式，其复杂度用MAD表示。常用的复杂度表示方式还有SATD、Sobel算子等，而梯度表示复杂度的方式因为计算比较简单而被广泛应用。因此，通过改善LCU层梯度复杂度的计算方式使每个LCU实际编码比特尽量准确也是本发明方法的一个重要特点。由于视频序列的帧间相似性，本发明方法将梯度的计算扩展到了帧间：若前后两帧为相似帧，则当前帧使用前一帧的帧复杂度来对每个LCU行进行码率分配，若前后两帧为非相似帧，则利用T_Tar/f计算所得的每个LCU行的平均标准目标比特，作为每个LCU行的目标比特。

与标准的HEVC视频编码码率控制方法相比，本发明的方法在保持了峰值信噪比的基础上，极大幅度降低了缓冲区滞留数据量，降低了实际码率与目标码率之间的码率偏差。本发明的方法利用已编码帧累加的缓冲区滞留数据量对下一帧的目标比特分配进行调整，得到更加精确的帧层目标比特，并使该帧累加到缓冲区的数据量对缓冲区状态进行调整。并在以往的HEVC比特分配框架中加入了LCU行层比特分配，使得在每个LCU行进入编码器即可开始码率控制，大大的降低了缓冲区的大小。通过本发明方法，可以大幅度减少缓冲区滞留数据量，使编码输出比特更加平稳，同时保证了视频质量。

附图说明

图1为本发明的LCU行比特分配流程图。

图2～图3为本发明方法与JCTVC-K0103，JCTVC-K0257提案中，每帧缓冲区滞留数据量对比图，其中图2为序列BasketballDrive在QP为22时的缓冲区滞留量对比；图3为序列RaceHorse在QP为32时的缓冲区滞留量对比状态。

具体实施方式

下面结合实施例对本发明作进一步的详细说明，有必要指出的是，以下的实施例只用于对本发明做进一步的说明，不能理解为对本发明保护范围的限制，所属领域技术熟悉人员根据上述发明内容，对本发明做出一些非本质的改进和调整进行具体实施，应仍属于本发明的保护范围。

本发明的自适应码率控制算法，与HEVC标准测试模型HM11.0的JCTVC-K0103码率控制算法，JCTVC-K0257码率控制算法比较过程如下：

1、打开标准HM10.0测试模型，配置文件为all-intramain，在不采用码率控制方法的情况下得到量化参数分别为22、27、32、37时的输出码率，该码率即码率控制的目标码率。

2、本发明方法将与HEVC视频编码标准的参考软件算法HM11.0的码率控制方法进行比较。同时打开本发明方法和标准方法的程序，设置好相同的配置文件，打开码率控制开关，量化参数分别取22、27、32、37。对四种视频编码性能：峰值信噪比(PSNR)、码率偏差、每帧缓冲区滞留数据量(其中PSNR体现视频的客观质量，码率偏差、缓冲区滞留数据量和体现码率控制的效果)进行比较分析，其中码率偏差的指标为：

其中，△码率表示的是本发明方法与HM11.0标准方法的实际码率与目标码率相比的码率偏差百分率。

3、编码对象为标准的HEVC测试视频，它们分别为：“BQSquare(BQS)”,“RaceHorses(RHS)”,“BlowingBubbles(BWB)”,“BasketballDrill(BBD)”,“PartyScene(PTS)”,“BQMall(BQM)”,“RaceHorsesC(RHC)”,“FourPeople(FRP)”,“BasketballDrive(BDR)”,“BQTerrace(BQT)”,“Cactus(CAT,)”。

4、输入2个相同的视频测试序列；

5、利用HM11.0标准方法对视频测试序列在HEVC方式下进行视频编码；

6、利用本发明方法对视频测试序列在HEVC方式下进行视频编码；

7、两个程序分别输出视频编码后的码率、PSNR、平均每帧缓冲区数据量，上述3个指标的结果如表1～表3所示。统计结果显示，本发明方法与HEVC中的K0103和K0257相比码率偏差均有降低，峰值信噪比基本持平，每帧缓冲区滞留数据量平均降低约下降十分明显。充分证明了本发明方法的普适性。

表1本发明算法与HM11.0标准算法之间码率偏差的比较

表2本发明算法与HM11.0标准算法之间PSNR值的比较

表3本发明算法与HM11.0标准算法之间平均每帧缓冲区数据量的比较

Claims (8)

1.一种基于视频内容复杂度自适应的极低延迟高性能视频编码帧内码率控制方法，主要是针对HEVC编码标准中的码率控制部分做了改进。其主要特征在于包括以下过程步骤：

(1)根据配置文件设置的目标码率、帧率得到I帧的帧层目标比特和帧层标准目标比特，并设置缓冲区大小；

(2)判断当前编码帧是否为第一个I帧，若为第一个I帧，帧层目标比特为标准目标比特。若不是第一个I帧，帧层目标比特为经过缓冲区状态调整后的标准目标比特；

(3)判断当前编码帧是否为第一个I帧，若为第一个I帧，遍历当前帧的每个LCU，求出其帧内梯度，将每个LCU的自适应梯度累加，得到帧层总梯度。若不为第一个I帧，则利用连续帧之间的复杂度相关性，由前一帧的帧层总梯度预测出当前I帧帧层总梯度；

(4)根据当前LCU行的梯度和占当前帧总梯度的比例分配每个LCU行的目标比特，并根据LCU行的尺寸得到每个LCU行的模拟带宽；

(5)根据当前LCU的梯度占当前帧中LCU所在的LCU行的总梯度的比例分配每个LCU行的目标比特，并根据LCU行的尺寸得到每个LCU的模拟带宽；

(6)进入xCompressCU，对每个LCU进行编码，其编码实际比特与模拟带宽的差值累加到缓冲区，得到已编码帧累加的缓冲区滞留数据，并在下一帧的帧层比特分配时进行反馈调节，得到下一帧的目标比特。

2.如权利要求1所述的基于视频内容复杂度自适应的极低延迟高性能视频编码帧内码率控制方法，其特征在于，在步骤(2)中已编码帧累加的缓冲区状态对当前帧目标比特和当前帧内每个LCU行目标比特的调节，以及步骤(3)中对非第一个I帧梯度的预测。

3.如权利要求2所述的基于视频内容复杂度自适应的极低延迟高性能视频编码帧内码率控制方法，其特征在于所述帧层标准目标比特为配置文件设置的目标码率除以帧率得到的每帧目标比特，未经缓冲区状态调整，而所述帧层目标比特是经缓冲区状态调整后的帧层目标比特。

4.如权利要求3所述的基于视频内容复杂度自适应的极低延迟高性能视频编码帧内码率控制方法，其特征在于所述缓冲区大小为帧层标准目标比特的三分之一。

5.如权利要求1至4之一所述的基于视频内容复杂度自适应的极低延迟高性能视频编码帧内码率控制方法，其特征在于所述缓冲区状态调整帧层目标比特的方法为：

其中，T_Fra(t)表示每帧的目标比特，Buf_SIZE表示缓冲区大小，Buf_Ful表示缓冲区滞留数据量。θ为调整系数。

6.在本发明的上述技术方案中，对当前帧的帧复杂度的具体预测方法为，当前帧前j个LCU行的梯度累加和与前一帧前j个LCU行的梯度累加和相减，并求出相减后的差值与前一帧前j个LCU行的梯度累加和的比值，具体求解公式为：

其中，GPP_Sum,R(j,t)表示当前帧前j个LCU行的梯度累加和，GPP_Sum,R(j,t-1)表示前一帧前j个LCU行的梯度累加和。Sim即为帧间相似度。若Sim的绝对值小于阈值T，则当前帧与前一帧为非相似帧，否则为相似帧。

7.如权利要求7所述的基于视频内容复杂度自适应的极低延迟高性能视频编码帧内码率控制方法，其特征在于所述LCU模拟带宽为根据当前LCU的尺寸占帧尺寸的比例分配的LCU目标比特。

8.一种用于执行权利要求1～7之一所述基于视频内容复杂度自适应的极低延迟高性能视频编码帧内码率控制的HEVC视频编码器。