CN105120282A - 一种时域依赖的码率控制比特分配方法 - Google Patents

Abstract

本发明提供一种时域依赖的码率控制比特分配方法，其中：预先读取当前编码帧的后续多帧，构造时域传播链；根据预设量化参数和前一帧各个编码单元的失真情况，获取时域传播链上各帧的运动补偿预测误差估计和失真估计等信息；根据时域传播链的各帧信息，获取当前编码帧各个编码单元的时域传播因子；根据时域传播因子和编码单元复杂度分配各个编码单元的目标比特；根据目标比特设定合适的拉格朗日乘子，实现码率控制功能。本发明考虑了后续多帧的时域相关性对当前编码帧的指导作用，因而能够获取整个编码序列的全局最优。

Description

一种时域依赖的码率控制比特分配方法

技术领域

本发明涉及一种图像处理技术领域的方法，具体是一种时域依赖的码率控制比特分配方法。

背景技术

视频压缩给今天的人们带来了各种生活、工作、娱乐上的便利，比如可视电话、视频会议、高清电视等等。视频压缩则依赖于视频编码技术在过去几十年的长足发展，从早期的H.261到今天的H.264和HEVC，视频编码技术通过一代一代的演进，大致确立了混合编码框架的编码结构。各种模块技术的演进则极大地提升了视频编码的性能，最新的HEVC已经实现了相比上一代编码器H.264提升50％性能的要求。

在所有的视频编码技术中，码率控制扮演着举足轻重的角色，特别是在实时通信系统中，因为其有限的带宽，精确的码率控制显得尤为重要。具体来说，码率控制就是在一个给定的码率下，尽可能地提升视频的编码质量。对绝大多数码率控制方案，通常的做法就是给不同的帧和编码单元分配合适的目标比特。比如MPEG-2采用了TM5码率控制算法，MEPG-4采用了VM8算法，H.264/MPEG-4AdvancedVideoCoding(AVC)采用了R-Q算法，最新的HEVC则采用了R-lambda算法。

在这些传统的算法中，在编码单元层的码率控制均是根据其内容复杂度来确定的。尽管这种方法能够在一定程度上反映出其最终的编码比特，但是其忽略了编码单元在时域上的相关性，根据其目标比特设定的编码参数仅仅对当前编码单元有利，而没有考虑到对其时域相关的编码单元的影响。一些复杂度较低但时域相关性很强的编码单元有可能会被一种低质量的方式编码，导致后续参考该编码单元的所有编码单元的编码质量遭受严重的损失。

发明内容

本发明针对现有视频编码技术的缺陷，提供一种时域依赖的码率控制比特分配方法，该方法通过探测当前编码单元与后续帧的时域相关性，并以此指导当前编码单元的目标比特分配，从而获得更好的编码性能。

为实现以上目的，本发明所述的时域依赖的码率控制比特分配方法包括如下步骤：

①预先读取当前编码帧的后续多帧，构造时域传播链；

②根据预设量化参数和前一帧各个编码单元的失真情况，获取时域传播链上各帧的运动补偿预测误差估计和失真估计等信息；

③根据时域传播链的各帧信息，获取当前编码帧各个编码单元的时域传播因子；

④根据时域传播因子和编码单元复杂度分配各个编码单元的目标比特；

⑤根据目标比特设定合适的拉格朗日乘子，实现码率控制功能。

优选地，所述④中，各个编码单元的目标比特不仅由编码单元自身的内容复杂度确定，还由编码单元在时域上的传播因子确定；

设表示由编码单元内容复杂度确定的目标比特，表示由时域权重确定的目标比特，则编码单元最终的目标比特T_CTU为

$T_{CTU}=\mathrm{\μ}\×{\hat{T}}_{CTU}+(1-\mathrm{\μ})\×{\tilde{T}}_{CTU}$

其中μ是权重因子，表明时域权重比特分配方法应在整个比特分配中占多大的比重。

本发明设计的时域依赖的码率控制比特分配方法，在给某个编码单元分配目标比特的时候，将其时域相关的编码单元均考虑进来，具体地，如果当前编码单元被多次参考，则认为其时域权重比较高，给其分配相对较多的比特，使其以一种较高质量的方式编码，这样就能够保证所有与其时域相关的编码单元的质量。

与现有技术相比，本发明具有如下的有益效果：

本发明考虑了后续多帧的时域相关性对当前编码帧的指导作用，因而能够获取整个编码序列的全局最优。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是本发明的时域依赖度的码率控制比特分配方法的流程图；

图2是时域传播链构造的示意图；

图3是本发明实施例中BQSquare第346帧在两种方法下编码的结果；

图4是本发明实施例中RaceHorses第132帧在两种方法下的编码结果。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

此处把本发明应用到最新的HEVC编码框架的码率控制方法中。具体操作流程如图1所示。其中第一步到第三步是通过时域传播链来计算各个编码单元的时域因子，第四步到第五步是根据时域因子给每个编码单元分配合适的比特，实现时域依赖的码率控制功能。下面先介绍时域因子的计算方式，然后再此基础上详细介绍时域依赖的码率控制的优化。

1.时域传播因子的计算

源失真时域传播链将率失真优化问题改写为如下形式

$\underset{o_i}{min}\left\{\underset{j=i}{\overset{N}{\Σ}}{D}_j+{\mathrm{\λ}}_g\·R_i\right\}---\left(1\right)$

其中o_i表示第i个编码单元的编码参数，D_j表示第j个编码单元的失真，N表示时域传播链的长度，λ_g是对N个编码单元全局最优的拉格朗日乘子。因为当前编码单元的失真有可能会传播到后续帧里面的几个时域相关的编码单元，上式将所有时域相关的编码单元的失真考虑进来，是一种比较全面的率失真优化方案，最终的选择是对整个序列的全局最优。

本发明通过构造一个时域传播链来解决上述率失真优化问题。图2展示了一个长度为3的时域传播链，其中Frame1表示当前编码帧，Frame2和Frame3表示当前编码帧在时间上的后续帧。对当前帧里面的每一个编码单元，如CU₁，通过前向搜索，可以找到其在下一帧里面最匹配的编码单元CU₂，如果CU₂跨越几个编码单元，取其覆盖面积最大的编码单元的运动向量，然后继续向前搜索，直到传播链的最后一帧，这样就可以构造出一条时域传播链。

假定编码单元失真D_i+1与运动补偿预测误差之间存在如下关系

$D_{i+1}=e^{-b\·R_{i+1}}{D}_{i+1}^{MCP}---\left(2\right)$

其中R_i+1表示编码单元i+1的编码比特,b是一个跟源分布相关的常数，可以近似地表示为

$\begin{array}{c}{D}_{i+1}^{MCP}=\left|\right|F_{i+1}+{\hat{F}}_i|{|}^2=||F_i-{\hat{F}}_i+F_{i+1}-F_i|{|}^2\\ \≈\mathrm{\α}\·\left(\left|\right|F_i-{\hat{F}}_i|{|}^2+||F_{i+1}-F_i|{|}^2\right)=\mathrm{\α}\·\left(D_i+D_{i+1}^{OMCP}\right)\end{array}---\left(3\right)$

其中F_i+1是编码单元i+1的像素值，是编码单元i的重建像素值，在原始帧上使用前向搜索后的源失真，α取经验值0.94。将其代入(2)式，可以得到

$D_{i+1}=e^{-b\·R_{i+1}}\·\mathrm{\α}\·\left(D_i+D_{i+1}^{OMCP}\right)={\mathrm{\β}}_{i+1}\·D_i+C_{i+1}---\left(4\right)$

其中它们均和当前编码单元的编码参数o_i相互独立。通过反复迭代，就可以估计传播链上所有编码单元的失真。第k个编码单元的失真估计可以表示为

D_k＝β_k·β_k-1·…·β_i+1·D_i+C_k(5)

从而(1)式就可以重写为

$\underset{o_i}{\min }\left\{\left(1+\underset{s=i+1}{\overset{N}{\Σ}}\underset{t=i+1}{\overset{s}{\Π}}{\mathrm{\β}}_t\right)D_i+{\mathrm{\λ}}_g\·R_i\right\}---\left(6\right)$

其中时域传播因子被定义为

${\mathrm{\κ}}_i=\underset{s=i+1}{\overset{N}{\Σ}}\underset{t=i+1}{\overset{s}{\Π}}{\mathrm{\β}}_t---\left(7\right)$

它衡量了当前编码单元有多少信息量将被传播到其时域相关的后续帧。从(2)(4)式可知

${\mathrm{\β}}_{i+1}=\frac{D_{i+1}}{D_i+D_{i+1}^{OMCP}}=\mathrm{\α}\·\frac{D_{i+1}}{D_{i+1}^{MCP}}---\left(8\right)$

根据(3)式，可以通过D_i和估计得到，D_i+1可以通过和量化步长Q估计得到：

$D_{i+1}=D_{i+1}^{MCP}\·F\left(\mathrm{\θ}\right)=D_{i+1}^{MCP}\·F\left(\frac{\sqrt{2}Q}{\sqrt{D_{i+1}^{MCP}}}\right)---\left(9\right)$

通过假定运动补偿预测误差的DCT系数服从拉普拉斯分布，可以证明，对绝大多数视频，F(θ)有一个稳定的分布，可以制成如表1所示的查找表。该查找表是以0.5为步长制定的，若当θ处于两个值的区间内部时，取其最近的θ对应的F(θ)值即可。

表1F(θ)查找表

θ	0.0	0.5	1.0	1.5	2.0	2.5	3.0	3.5	4.0
										F(θ)	0.00	0.06	0.08	0.15	0.30	0.45	0.70	0.85	0.92
θ	4.5	5.0	5.5	6.0	6.5	7.0	7.5	8.0	大于8
										F(θ)	0.95	0.96	0.97	0.98	0.99	0.99	1.00	1.00	1.00

2.时域依赖的比特分配

最新的HEVC参考代码HM16.0在码率控制中采用了R-lambda算法。该算法在码率和拉格朗日乘子之间建立了如下的指数关系

λ＝α×bpp^β(10)

其中bpp表示每个像素的比特，它是目标比特T与像素个数N之间的比值：

$bpp=\frac{T}{N}---\left(11\right)$

α和β是模型参数，每次编码一帧或者一个CTU之后会更新这些模型参数。

比特分配在三个层次上分别实现，GOP层的目标比特是根据全局目标码率、帧率、GOP的帧数来确定的，图像层的目标比特是根据当前GOP的剩余比特和剩余未编码帧数、帧类型来确定的，而CTU层的比特则是根据其内容复杂度来分配的：

$T_{CTU}=\frac{T_{Pic}-{\mathrm{Coded}}_{Pic}}{\underset{NotCodedCTUs}{\Σ}{\mathrm{\ω}}_{CTU}}\×{\mathrm{\ω}}_{CurCTU}---\left(12\right)$

其中T_Pic是当前帧的目标码率，Coded_Pic是当前帧已编码部分消耗的比特。ω_CTU是CTU的权重，在R-λ模型中，CTU的权重由平均绝对误差(MAD)的平方来衡量：

ω_CTU＝MAD_CTU ²(13)

MAD的计算方式为

${\mathrm{MAD}}_{CTU}=\frac{1}{N}\underset{i=0}{\overset{N-1}{\Σ}}|P_{org}\left(i\right)-P_{pred}\left(i\right)|---\left(14\right)$

其中N是CTU中的像素个数，P_org(i)是原始帧的像素值，P_pred(i)是预测帧的像素值，此处的预测帧设定为与当前帧属于同一层次的前一个已编码帧。

时域依赖的比特分配修改CTU层的比特分配为

${\hat{T}}_{CTU}=\frac{T_{Pic}-{\mathrm{Coded}}_{Pic}}{\underset{NotCodedCUTs}{\Σ}{k}_{CTU}}\×k_{CurCTU}---\left(15\right)$

其中T_Pic是当前帧的目标码率，Coded_Pic是当前帧已编码部分消耗的比特。k_CTU是CTU的时域权重，本发明将其设定为时域传播因子加上一个常数：

k_CTU＝κ_CTU+c(16)

其中κ_CTU是根据时域传播链计算出的时域传播因子，常数c避免了时域因子为0导致除零的情形，考虑到大多数情况下时域因子远大于1，在本发明的实施例中常数c被设定为1。

同时，本发明将按内容复杂度的比特分配方法考虑进来，最终的目标码率为按内容复杂度分配的码率和按时域权重分配的码率的加权平均。具体地，以表示根据内容复杂度分配的目标比特，其计算方式为(12)，以表示根据时域权重分配的目标比特，其计算方式为(15)，则最终的目标比特为

$T_{CTU}=\mathrm{\μ}\×{\hat{T}}_{CTU}+(1-\mathrm{\μ})\×{\tilde{T}}_{CTU}---\left(17\right)$

其中μ是权重因子，取值范围为[0,1]，表明时域因素在比特分配中的比重。本发明的试验中设定为0.5。

为了避免在少数极端情况下目标码率过于偏离实际码率，导致质量波动太大，最终的目标码率根据复杂度分配的目标码率做如下限定：

$T_{CTU}=\left\{\begin{array}{cc}4{\tilde{T}}_{CTU}& T_{CTU}>4{\tilde{T}}_{CTU}\\ T_{CTU}& 0.25{\tilde{T}}_{CTU}\&le;T_{CTU}\&le;4{\tilde{T}}_{CTU}\\ 0.25{\tilde{T}}_{CTU}& T_{CTU}<0.25{\tilde{T}}_{CTU}\end{array}\right.---\left(18\right)$

5.实施条件与结果

基于HM16.0软件实现应用本发明方法的时域依赖的比特分配方案，以HEVC标准的lowdelayP配置参数作为编码参数，目标码率设定为在四个QP(22,27,32,37)下，无码控的编码码率的近似值，如表2所示。构建时域传播链采用17x17大小的搜索框，传播链长度设定为20帧。HEVC标准测试序列中的ClassB～ClassE作为测试序列。

表2目标码率设置

在上述实施条件下，得到了表3和表4所示的编码结果。其中“原始方法”指的是用于对比的，相同条件下原始HM16.0的编码方法；“目前方法”指的是应用了本发明的实施例的编码方法。表3所示的是两种方法码率控制准确度的结果，采用的是实际码率相对设定的目标码率的偏差百分比，可以看出两种方法的码率控制准确度基本上一致。表4所示的是两种方法编码性能的结果，采用BD-Rate计算方法，表现了“目前方法”相对“原始方法”在相同编码质量下码率节省的百分比，可以发现相对“原始方法”，在同样的峰值信噪比(PSNR)或者同样的结构相似性(SSIM)质量下，“目前方法”均有一定的码率节省。

表3码率控制准确度结果

表3编码性能结果

经过对比发现，“目前方法”相对“原始方法”有更好的视觉质量。图3是BQSquare第346帧在两种方法下编码的结果，相对左边的“原始方法”，右边的“目前方法”在某些区域有更好的视觉质量。图4是RaceHorses第132帧在两种方法下的编码结果，对比可得同样的结论。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (7)

1.一种时域依赖的码率控制比特分配方法，其特征在于：所述方法包括如下步骤：

①预先读取当前编码帧的后续多帧，构造时域传播链；

②根据预设量化参数和前一帧各个编码单元的失真情况，获取时域传播链上各帧的运动补偿预测误差估计和失真估计信息；

③根据时域传播链的各帧信息，获取当前编码帧各个编码单元的时域传播因子；

④根据时域传播因子和编码单元复杂度分配各个编码单元的目标比特；

⑤根据目标比特设定拉格朗日乘子，实现码率控制功能。

2.根据权利要求1所述的一种时域依赖的码率控制比特分配方法，其特征在于：所述④中，各个编码单元的目标比特不仅由编码单元自身的内容复杂度确定，还由编码单元在时域上的传播因子确定；

设表示由编码单元内容复杂度确定的目标比特，表示由时域权重确定的目标比特，则编码单元最终的目标比特T_CTU为

$T_{CTU}=\mathrm{\&mu;}\&times;{\hat{T}}_{CTU}+(1-\mathrm{\&mu;})\&times;{\tilde{T}}_{CTU}$

其中μ是权重因子，表明时域权重比特分配方法应在整个比特分配中占多大的比重。

3.根据权利要求2所述的一种时域依赖的码率控制比特分配方法，其特征在于：μ是权重因子，取值范围为[0,1]。

4.根据权利要求2所述的一种时域依赖的码率控制比特分配方法，其特征在于：由时域权重确定的目标比特按照以下公式确定：

${\hat{T}}_{CTU}=\frac{T_{Pic}-{\mathrm{Coded}}_{Pic}}{\underset{NotCodedCTUs}{\&Sigma;}{k}_{CTU}}\&times;k_{CurCTU}$

其中T_Pic是当前编码帧的目标比特，Coded_Pic是当前编码帧的已编码部分消耗的比特，k_CTU是编码树单元的时域权重，k_CurCTU表示当前编码树单元的时域权重，表示当前帧内所有未编码树单元的时域权重之和。

5.根据权利要求4所述的一种时域依赖的码率控制比特分配方法，其特征在于：编码树单元的时域权重k_CTU，设定为时域传播因子加上一个常数：

k_CTU＝κ_CTU+c

其中κ_CTU是根据时域传播链计算出的时域传播因子，常数c避免了时域因子为0导致除零的情形，常数c设定为1。

6.根据权利要求2-5任一项所述一种时域依赖的码率控制比特分配方法，其特征在于，各个编码单元的时域权重k_CTU根据其在时域传播链上的时域因子来设定，将编码单元在时域上的重要性直接通过目标码率反映出来。

7.根据权利要求1-5任一项所述的一种时域依赖的码率控制比特分配方法，其特征在于：时域传播链的构造是通过在原始帧上做运动估计来进行的，在编码当前帧之间预先分析出后续多帧的时域传播趋势。