CN106231320A - 一种支持多机并行编码的联合码率控制方法及系统 - Google Patents

Abstract

本发明提供一种支持多机并行编码的联合码率控制方法及系统，其中：帧级目标比特根据全局目标码率、虚拟缓冲区状态和帧类型设定；每一帧等分成几个片后分发到多机上进行编码，片级目标比特根据各个片的编码复杂度设定；根据目标比特和码率控制模型设定合适的拉格朗日乘子和量化参数，实现码率控制功能。本发明基于视频帧空间分割的多机并行编码，考虑了在保持各个编码器同时编码的情况下，有效地实现全局的码率控制精度，是一种并行友好的码率控制方法。

Description

一种支持多机并行编码的联合码率控制方法及系统

技术领域

本发明涉及一种图像处理技术领域的码率控制，具体是一种多机并行编码的联合码率控制方法及系统。

背景技术

视频压缩给今天的人们带来了各种生活、工作、娱乐上的便利，比如可视电话、视频会议、高清电视等等。视频压缩则依赖于视频编码技术在过去几十年的长足发展，从早期的H.261到今天的H.264和HEVC，视频编码技术通过一代一代的演进，大致确立了混合编码框架的编码结构。各种模块技术的演进则极大地提升了视频编码的性能，最新的HEVC已经实现了相比上一代编码器H.264提升50％性能的要求。

在所有的视频编码技术中，码率控制扮演着举足轻重的角色，特别是在实时通信系统中，因为其有限的带宽，精确的码率控制显得尤为重要。具体来说，码率控制就是在一个给定的码率下，尽可能地提升视频的编码质量。对绝大多数码率控制方法，通常的做法就是给不同的帧和编码单元分配合适的目标比特。比如MPEG-2采用了TM5码率控制算法，MEPG-4采用了VM8算法，H.264/MPEG-4Advanced Video Coding(AVC)采用了R-Q算法，最新的HEVC则采用了R-lambda算法。

近年来，随着超高清视频应用的流行，为了满足高质量视频实时处理的需求，视频编码界设计了许多的并行处理技术，比如帧并行、片/瓦片并行、波前并行处理(WPP)等。然而这些并行编码的技术框架带来了数据依赖方面的挑战，越高的并行度会导致越高程度上的数据相关性的割裂，这种问题在码率控制方面尤为明显。众所周知，码率控制正是基于视频数据在时间以及空间上的相关性，在编码过程中根据已编码的历史数据不断地更新编码参数，以达到全局上的码率控制准确。当引入了并行编码之后，多个编码单元可能在同一时刻同时进行编码，导致前面编码单元的编码信息不能立刻反馈到当前编码单元以指导参数的设定，从而降低了码率控制的性能，因此，传统的码率控制方法必须被重新设计以适用于并行编码框架。

发明内容

本发明针对现有视频编码技术的缺陷，提供一种支持多机并行编码的联合码率控制方法及系统，该方法通过独立地分配帧级目标比特、自适应地分配片级目标比特以达到并行编码下准确的码率控制。

根据本发明的第一方面，提供一种支持多机并行编码的联合码率控制方法，包括如下步骤：

①根据全局目标码率、虚拟缓冲区状态和帧类型设定帧级目标比特；

②每一帧在空间等分成几个片后分发到多机上进行编码，片级目标比特根据各个片的编码复杂度设定；

③各个编码器定期地将编码信息反馈到联合码率控制器做综合分析，并自适应地重新设定各个编码器的编码参数；

④根据目标比特和码率控制模型设定合适的拉格朗日乘子和量化参数，实现码率控制功能。

本发明设计的并行编码下的联合码率控制方法，适用于视频帧空间分割的多机并行编码，在各个相对独立的编码器同时进行编码的时候，定期地将编码信息反馈到主机上的联合码率控制器做同步，依据各个编码器的实时编码状态自适应地设定合适的编码参数，从而达到全局上准确的码率控制。

根据本发明的第二方面，提供一种支持多机并行编码的联合码率控制系统，包括：

帧级目标比特分配模块，用于根据全局目标码率、虚拟缓冲区状态和帧类型设定帧级目标比特；

片级目标比特分配模块，用于将每一帧在空间等分成几个片后分发到多机上进行编码，根据各个片的编码复杂度设定片级目标比特；

码率控制模块，用于根据目标比特和码率控制模型设定拉格朗日乘子和量化参数；

码率控制状态更新模块，负责在编码每帧或者每片后更新码率控制模型的参数和虚拟缓冲区的状态。

与现有技术相比，本发明具有如下的有益效果：

本发明考虑了并行编码下码率控制在数据依赖上面临的问题，通过设计一种独立地分配帧级目标比特、自适应地分配片级目标比特的方法，取得了并行编码下良好的码率控制精度。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是本发明设计的基于并行编码框架的联合码率控制方法原理框图；

图2为比较了各种方法P帧的实际比特分布图；

图3为比较了各种方法B帧的实际比特分布图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

此处把本发明应用到x265 1.6编码框架的码率控制中，具体结构如图1所示，每一帧视频进入编码器之后会从空间上切分成几个大小一致的片，每一片发送到各个独立机器上的编码器进行编码，编码完成后发送回主机合并成一个完整的视频码流。在编码过程中，主机上的联合码率控制器定期地从各个相对独立编码器收集编码信息，并自适应地给各个编码器设定合适的编码参数，以达到全局上的性能最优和码率控制精度。

本发明主要包含4个模块：帧级目标比特分配、片级目标比特分配、码率-拉格朗日乘子码率控制模型和码率控制状态更新模块。

帧级目标比特分配模块、片级目标比特分配模块负责给不同的粒度级(即帧级、片级)分配合适的目标比特，码率控制模型负责设定合适的编码参数，码率控制状态更新模块负责在编码每帧或者每片后更新码率控制模型的参数和虚拟缓冲区的状态。下面将分别从帧级和片级两个层级介绍本发明设计的联合码率控制方法。

1.帧级目标比特分配

所有编码帧按编码方式分为4种类型：I帧、P帧、B帧和b帧，其中I帧表示帧内预测编码帧，P帧表示单向帧间预测编码帧，B帧表示参考双向帧间预测编码帧，b帧表示非参考双向帧间预测编码帧，不同类型的编码帧采用不同的码率控制方法。

对帧间预测编码帧，即P帧、B帧和b帧而言，本发明采用码率-拉格朗日乘子码率控制模型来确定编码参数；对帧内预测编码帧，即I帧而言，本发明采用一种简单的量化参数估计方法进行编码。

帧间预测编码帧的目标比特计算包括如下步骤：

第一步：根据全局目标码率和帧率计算每帧的平均比特。

$T_{avg}=\frac{R_{tar}}{fps}---\left(1\right)$

其中R_tar是全局目标码率，fps是帧率。

第二步：计算虚拟缓冲区占满度，根据实际占满度和目标占满度计算帧级的归一目标比特。

虚拟缓冲区的占满度计算方式为

$V_i=\left\{\begin{array}{cc}L& i=0\\ V_{i-1}+b_i-T_{avg}& otherwise\end{array}\right.---\left(2\right)$

其中V_i表示第i帧开始编码前虚拟缓冲区的实际占满度，L表示目标缓冲占满度，设置为全局目标码率的0.5倍。

L＝0.5×R_tar (3)

并将虚拟缓冲区初始化为目标缓冲占满度。每编码完成一帧后，根据实际编码比特和每帧平均比特更新缓冲区占满度。根据缓冲区的状态，如果占满度在目标缓冲占满度的10％到90％之间，帧级目标比特的计算可表示为

T_norm＝T_avg+ΔB (4)

其中ΔB是根据缓冲区状态对目标比特的修正，计算方式为

$\mathrm{\Δ}B=\frac{L-V}{SW}---\left(5\right)$

其中V表示当前帧开始编码前虚拟缓冲区的实际占满度，SW表示滑动窗的大小，一般设置为40。

如果占满度小于目标占满度的10％或大于90％，则缓冲区有潜在的上溢或者下溢风险，帧级目标比特需要做进一步的修正。综合上面两种情况，帧级目标比特T_norm的计算方式为

T_norm＝α×T_avg+ΔB (6)

其中α是用来避免上溢或者下溢的因子，定义为

$\mathrm{\&alpha;}=\left\{\begin{array}{cc}0.9& V>0.9\&times;T_{avg}\\ 1& 0.1\&times;T_{avg}\&le;V\&le;0.9\&times;T_{avg}\\ 1.1& V<0.1\&times;T_{avg}\end{array}\right.---\left(7\right)$

第三步：根据帧类型修正归一目标比特为当前帧的目标比特。

最终的帧级目标比特T定义为

T＝T_norm×ω_p＝(α×T_avg+ΔB)×ω_p (8)

其中ω_p是不同帧类型的权重，通过预分析得到，它跟图像编码组(GOP)的结构有关，主要由关键帧间隔keyint和连续双向帧间预测编码帧的数目bframes决定。在bframes取默认值4的情况下，帧类型权重可由下式计算得到

ω_p＝a×keyint^b+c (9)

其中参数a,b和c的取值如表1所示。

表1帧类型权重参数取值表

frame type	a	b	c
				P	-7.272	-0.451	3.589
B	-1.333	-0.627	0.6468
				b	-0.3937	-0.4974	0.2842

对其他类型的GOP结构，可通过类似的预分析方式得到参数的取值。

帧内预测编码帧的量化参数计算包括如下步骤：

第一步：统计所有历史帧的平均量化参数QP，若不是P帧，则计算其折算为P帧的等效P帧QP，折算方式如下

QP_I＝QP_P-6×ipFactor (10)

QP_B＝QP_P+6×pbFactor (11)

其中ipFactor是I帧和P帧之间的转换因子，pbFactor是B帧和P帧之间的转换因子，默认值一般分别设为1.4和1.3。

第二步：设当前帧为第n帧，则估计当前帧的等效P帧QP如下：

${\mathrm{QP}}_n=\frac{\underset{i=0}{\overset{n-1}{\&Sigma;}}{\mathrm{QP}}_i\&times;{0.95}^{n-1-i}+0.24\&times;{0.95}^n}{\underset{i=0}{\overset{n}{\&Sigma;}}{0.95}^{n-i}+0.01\&times;{0.95}^n}---\left(12\right)$

其中QP_i是第i帧历史帧的等效P帧QP，QP_n第n帧即当前帧的估计的等效P帧QP。如果当前帧是I帧，则可依据QP_n和(9)式计算出当前帧的估计QP。

2.片级目标比特分配

在编码每一帧之前，根据各个片的编码复杂度，重新计算其平均目标比特、目标缓冲占满度和实际缓冲占满度，设片的数目为m，第j个片的平均目标码率为目标缓冲占满度为L^j，实际缓冲占满度为V^j，则根据哈达玛变换的绝对值和(SATD)的计算方式如下：

$T_{avg}^j=\frac{\stackrel{\&OverBar;}{{\mathrm{SATD}}^j}}{\underset{k=1}{\overset{m}{\&Sigma;}}\stackrel{\&OverBar;}{{\mathrm{SATD}}^k}}\&times;T_{avg}---\left(13\right)$

$L^j=\frac{\stackrel{\&OverBar;}{{\mathrm{SATD}}^j}}{\underset{k=1}{\overset{m}{\&Sigma;}}\stackrel{\&OverBar;}{{\mathrm{SATD}}^k}}\&times;L---\left(14\right)$

$V^j=\frac{\stackrel{\&OverBar;}{{\mathrm{SATD}}^j}}{\underset{k=1}{\overset{m}{\&Sigma;}}\stackrel{\&OverBar;}{{\mathrm{SATD}}^k}}\&times;V---\left(15\right)$

其中表示当前帧第j个片的历史同位片的加权SATD值，表示当前帧第k个片的历史同位片的加权SATD值。

第n帧的第j个片的历史同位片的加权SATD值的计算方式为

$\stackrel{\&OverBar;}{{\mathrm{SATD}}_n^j}=\underset{j=0}{\overset{n}{\&Sigma;}}{w}_i\&times;{\mathrm{SATD}}_i^j---\left(16\right)$

$w_i={0.5}^{n-i}/\underset{i=0}{\overset{n}{\&Sigma;}}{0.5}^{n-i}---\left(17\right)$

其中是第i帧历史帧的第j个片的历史同位片的加权SATD值，w_i是第i帧的加权因子。在参数重计算完成之后，类似于帧级的目标比特计算方法，可以给各个片分配合适的目标比特。

3.编码参数的确定

除了I帧采取如上所述的简单QP估计方法外，其他类型的编码帧采取码率-拉格朗日乘子码率控制模型来决定QP和拉格朗日乘子。

码率-拉格朗日乘子码率控制模型如下

λ＝α×bpp^β (18)

其中λ为编码参数中的拉格朗日乘子，bpp表示没像素比特，设目标比特为T，像素数目为N，则bpp定义为

$bpp=\frac{T}{N}---\left(19\right)$

α和β是模型参数，它们在每编码完一帧后根据实际比特进行更新

${\mathrm{\&lambda;}}_{comp}={\mathrm{\&alpha;}}_{old}\&times;{\mathrm{bpp}}_{real}^{{\mathrm{\&beta;}}_{old}}---\left(20\right)$

α_new＝α_old+δ_α×(lnλ_real-lnλ_comp)×α_old (21)

β_new＝β_old+δ_β×(lnλ_real-lnλ_comp)×lnbpp_real (22)

其中bpp_real表示实际的每像素比特，λ_comp是依据实际编码比特计算出的用于更新参数的拉格朗日乘子比较值，α_old和β_old是当前帧编码时的模型参数，α_new和β_new是根据实际编码比特更新后的模型参数，δ_α和δ_β的取值分别为0.1和0.05。

QP可以通过如下经验公式得到(其中λ值由公式(18)确定)

$QP=3\&times;{\log }_2\frac{\mathrm{\&lambda;}}{0.85}+12---\left(23\right)$

同时为了保证视频质量的一致性，QP需要维持在一个合适范围内变化。首先，当前帧的QP同前一个不同类型帧的QP差值不应超过10

QP_{last_diff_level}-10≤QP≤QP_{last_diff_level}+10 (24)

其次，当前帧的QP同前一个相同类型帧的QP差值不应超过3

QP_{last_same_level}-3≤QP≤QP_{last_same_level}+3 (25)

4.实施条件与结果

基于x265 1.6软件实现应用本发明并行编码下的联合码率控制方法，以medium作为测试的预设档次，关闭场景检测，关键帧间隔设定为30帧，连续B帧数目为4，HEVC标准测试序列中所有的1080p HD序列作为测试序列，目标码率设置如表2所示。在比较率失真性能的时候，同时采用峰值信噪比(PSNR)和结构相似性(SSIM)作为衡量指标。

表2目标码率设置

序列	目标码率/kbps
		Kimono,ParkScene	(6000,4000,1600,1000)
Cactus,BasketballDrive,BQTerrace	(10000,7000,3000,2000)

在上述实施条件下，得到了表3和表4所示的编码结果。其中“原始方法”指的是用于对比的，相同条件下原始x265 1.6的编码方法；“目前方法”指的是应用了本发明的实施例的编码方法。

表3所示的是“目前方法”分别相对“原始方法”中的“ABR”和“ABR+VBV”模式的率失真性能的结果，采用BD-Rate计算方法，表现了“目前方法”相对“原始方法”在相同编码质量下码率节省的百分比，可以发现相对“原始方法”，“目前方法”的率失真性能略差于“原始方法”的ABR模式，相对“ABR+VBV”模式则取得了显著的性能提升。

表4所示的是两种方法码率控制准确度的结果，采用的是实际码率相对设定的目标码率的偏差百分比，可以看出“目前方法”取得了同“原始方法”ABR+VBV模式相近的码率控制准确度，相对ABR模式则提升明显。

表3相对原始方法的BD-Rate值

表4目前方法与原始方法的码率准确度比较

图2和图3分别展示了各种方法的P帧和B帧的实际比特分布图，可见目前方法(proposed)的同一类型帧的实际比特相比“原始方法”ABR模式更为集中，这也是为什么码率控制准确度远高于它的一个原因。

总的来说，“目前方法”能够在取得“原始方法”ABR+VBV模式下同样高的码率控制准确度的情况下，同时较大幅度地提升了率失真性能。

另一方面，表5所示的是自适应比特分配相对平均比特分配的率失真性能的比较结果，可以看出在同等视频质量下，不管是分2片或是分4片，自适应比特分配的率失真性能更好。

表5自适应比特分配相对平均比特分配的BD-Rate值

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (8)

1.一种支持多机并行编码的联合码率控制方法，其特征在于：所述方法包括如下步骤：

①根据全局目标码率、虚拟缓冲区状态和帧类型设定帧级目标比特；

②每一帧在空间等分成几个片后分发到多机上进行编码，片级目标比特根据各个片的编码复杂度设定；

③各个编码器定期地将编码信息反馈到联合码率控制器做综合分析，并自适应地重新设定各个编码器的编码参数；

④根据目标比特和码率控制模型设定合适的拉格朗日乘子和量化参数，实现码率控制功能。

2.根据权利要求1所述的一种支持多机并行编码的联合码率控制方法，其特征在于：步骤①中，所述帧级目标比特，其设定在负责视频片分发的主机联合码率控制器上完成：

设R_tar表示全局目标码率，V表示虚拟缓冲区的占满度，ω_p表示不同帧类型的权重，则帧级目标比特T由如下公式决定：

T＝f(R_tar,V,ω_p)。

3.根据权利要求2所述的一种支持多机并行编码的联合码率控制方法，其特征在于：所述帧级目标比特，其设定包括如下步骤：

第一步：根据全局目标码率和帧率计算每帧的平均比特；

第二步：计算虚拟缓冲区占满度，根据实际占满度和目标占满度计算帧级的归一目标比特；

第三步：根据帧类型修正平均目标比特为当前帧的目标比特。

4.根据权利要求3所述的一种支持多机并行编码的联合码率控制方法，其特征在于：针对帧内编码帧的码率控制，采取一种依据所有历史帧量化参数加权平均的估计方法，降低帧内编码帧的码率控制复杂度。

5.根据权利要求1所述的一种支持多机并行编码的联合码率控制方法，其特征在于：步骤②中，所述片级目标比特，其设定由联合码率控制器和从机编码器的码率控制器共同完成，即：联合码率控制器收集各个独立编码器的码率控制信息，根据各独立编码器的实际编码情况自适应地分配合适的目标比特。

6.根据权利要求5所述的一种支持多机并行编码的联合码率控制方法，其特征在于：所述片级目标比特，依据各个片的编码复杂度来进行分配，为简化计算，编码复杂度采用哈达玛变换的绝对值和来衡量。

7.根据权利要求1-6任一项所述的一种支持多机并行编码的联合码率控制方法，其特征在于，所述联合码率控制器，其中各个码率控制器通过定期的信息同步来实现全局的码率控制，同时保证了各个片编码任务的相对独立进行，使得多机并行编码下的码率控制功能得以实现。

8.一种用于实现上述权利要求1-7任一项所述方法的支持多机并行编码的联合码率控制系统，包括：

帧级目标比特分配模块，用于根据全局目标码率、虚拟缓冲区状态和帧类型设定帧级目标比特；

片级目标比特分配模块，用于将每一帧在空间等分成几个片后分发到多机上进行编码，根据各个片的编码复杂度设定片级目标比特；

码率控制参数设定模块，用于根据目标比特和码率控制模型设定拉格朗日乘子和量化参数；

码率控制状态更新模块，负责在编码每帧或者每片后更新码率控制模型的参数和虚拟缓冲区的状态。