CN112995667A - 一种增强型R-Lambda码率控制方法 - Google Patents

Abstract

本发明公布了一种增强型R‑Lambda码率控制方法，采用R‑Lambda码率控制，首先为当前帧分配码率R，然后依次计算得到拉格朗日乘子λ和量化参数QP；在当前帧编码完成之后，对码控参数α和β进行更新，用于下一帧计算使用。本发明基于HEVC标准中R‑Lambda模型进行优化，实现精确的码率控制；十分简单实用，且避免了CPU对整帧像素的运算操作，为低延迟低功耗的视频编解码提供了可实施方法。

Description

一种增强型R-Lambda码率控制方法

技术领域

本发明属于信息技术领域，涉及视频编解码技术，尤其涉及一种增强型R-Lambda视频编解码的码率控制方法。

背景技术

随着互联网直播、短视频等视频业务和服务的爆发式增长，对视频编解码器和网络带宽提出了更高的要求。纵观编码器的整个发展过程，目前继国际高效视频编码标准HEVC(HighEfficiency Video Coding)和国内第二代音视频编码标准AVS2(Audio Videocoding Standard 2)公开推出之后，视频编码标准H.266和AVS3业已在制定完善中。在编码器的实际使用当中，码率控制模块是一个至关重要的模块，尤其是在传输带宽有限的情况下要保证一定的视频质量。精确的码率控制指编码器在精确达到目标码率的同时保证编码失真尽量小。码率控制可转化为率失真优化问题：在保证使用码率R不超过目标码率R_t的情况下，选择一组最优编码参数，使得失真D最小，表示为式(1)：

其中，{para}表示一组编码参数信息，包括深度，模式，MV，QP；

而公式(1)中的有约束优化问题，可以利用拉格朗日乘数法转化为公式(2)所示的无约束优化问题：

其中，λ是拉格朗日乘子，表示R-D曲线上的斜率。

图1为编码器中的R-D率失真曲线。标准HEVC拟合的双曲模型比指数模型可以更精确地刻画R-D模型。双曲模型的公式(3)如下所示：

D(R)＝CR^-K (3)

其中，C和K是和序列特性相关的模型参数。

HEVC的R-Lambda码率控制根据公式(4)，依次计算得到λ和QP：

QP＝4.2005×ln(λ)+13.7122

其中，α和β是和视频内容相关的参数。

在HEVC原有的R-Lambda模型实现过程中，首先为当前帧分配码率R，然后依次计算得到拉格朗日乘子λ和量化参数QP。在编码完当前帧之后，会对码控参数α和β更新，用于下一帧计算使用。

现有方法中，为了更好地控制码率分配，帧内I(Intra)帧码率R的分配考虑了当前帧的复杂度C；要先计算当前帧的复杂度C，该复杂度是指当前帧每个8x8原始像素块经过哈达玛变换后系数的绝对值之和(即SATD)。

由于两个I帧之间的时间距离更大或者场景切换，帧内I(Intra)帧之间的相关性远小于前向预测P(Predictive)帧之间的相关性。所以，上述方法使得编码器保持相似的编码效率的同时，能更准确地分配目标码率。但是，该算法需要进行预处理，提前计算出每一帧的复杂度。计算一整帧的SATD值是一个非常繁琐而又复杂的操作任务。在军工等许多低延迟应用场合，尤其是当终端CPU的计算能力较弱，不足以支持图像像素级的运算操作时，上述方法很难满足实际需要。

在当前帧编码完成后，需要对参数α和β进行更新，现有方法的更新机制是利用最小均方误差，对实际使用的λ和计算得到的λ值之间的平方误差函数进行一次迭代。

上述更新机制虽然能保证编码器在给定的码率条件下编码，但是仍有诸多问题。首先，根据λ之间的平方误差函数不能保证每一帧的编码失真最小，更新方式有待优化；其次，参数更新时有很多编码状况没有加以考虑。比如，当突然出现一些极简单的帧时，这些帧消耗的码率很少且不能表征当前序列的平均复杂度，这时候参数α和β的更新或许没有意义；在对一定数量的帧在给定码率下分配时，当处于末尾的帧分配的码率很小时，当前帧参数α和β的更新也是没有意义的。而且，当有场景切换时，这时参数α和β的更新在即定约束下会比较缓慢，使得编码器为后面的帧分配了不合理的码率。

综上，编码器要求码率控制技术在不同的场景下能为每一帧合理分配码率，而且要严格把码率控制在给定的码率条件下。但更重要的是，当应用在设备终端的编码器面向低功耗低延迟的开发时，要求码控算法足够简单高效，整帧像素级的运算操作可能是不允许的；而且在面对极端复杂的编码环境时，编码器要能及时应对，为后面的帧分配合理的码率，保证视频图像的失真最小。现有的码率控制技术较为复杂，当应用在设备终端的编码器面向低功耗低延迟的开发时，现有方法的码率控制效率不足，很难满足各种应用对码率控制的要求。

发明内容

为了克服上述现有技术的不足，本发明提供一种增强型R-Lambda码率控制方法，基于HEVC标准中R-Lambda模型进行优化，实现增强型R-Lambda码率控制，方法高效且简单实用。

本发明提供的技术方案是：

本发明方法基于HEVC标准中R-Lambda模型进行优化，实现增强型R-Lambda视频编解码的码率控制，实现更加精确的码率控制；包括如下步骤：

1.当前I(Intra)帧编码阶段通过统计历史量化参数QP(Quant Parameter)使用频次粗估帧内I帧QP；

HEVC标准中，I帧码率R的分配考虑了当前帧的复杂度C，计算公式如公式(5)所示：

式(5)中，α和β是和视频内容相关的参数；

所以，要先计算当前帧的复杂度C，该复杂度是指当前帧每个8x8原始像素块经过哈达玛变换后系数的绝对值之和(即SATD)，如公式(6)：

SATD₀＝SATD-|h₀₀| (6)

本发明中，利用前一个图片组GOP(Group of Picture)内使用频次最高的多个QP对I帧QP作粗略估计，避免CPU对整帧像素级的运算操作，极大地简化了设计难度，释放了CPU的计算压力，满足编码器低功耗低延迟的设计要求。

当对视频序列前一个图片组GOP(Group of Picture)编码时，每编码完一帧视频图像后，编码器记录该帧使用QP值的大小。在编码当前GOP内的第一个I帧时，根据前一个GOP内统计的使用QP值的大小和频次，对当前I帧的QP作粗略估计。使用频次最高的前4个QP值进行粗略估计，具体公式如(8)所示：

W_total＝W₀+W₁+W₂+W₃ (8)

其中，QP_rough是粗略估计的QP值，QP₀，QP₁，QP₂，QP₃是使用频次最高的QP值，W₀，W₁，W₂，W₃是对应QP使用的次数，W_total是使用次数的总和。对于不同的目标码率条件，对QP进一步更新，表示为公式(9)：

其中，QP_cur是当前帧的QP值，bpp是指每个像素点对应的比特。利用前一个GOP内使用频次最高的多个QP对I帧QP作粗略估计，避免了CPU对整帧像素级的运算操作，极大地简化了设计难度，释放了CPU的计算压力，满足编码器低功耗低延迟的设计要求。

2.在当前帧编码完成后，对参数α和β更新机制进行优化，具体执行如下操作：

在当前帧编码完成后，需要对参数α和β进行更新，利用最小均方误差，对实际使用的λ和计算得到的λ值之间的平方误差函数进行一次迭代，具体的更新方式如公式(7)所示：

α_new＝α_old+δ_α×(lnλ_real-lnλ_comp)×α_old

β_new＝β_old+δ_β×(lnλ_real-lnλ_comp)×lnbpp_real (7)

其中，λ_real,λ_comp分别指实际λ值和计算λ值；bpp_real指每个像素点对应的实际码率；δ_α,δ_β与编码目标bpp相关。

本发明对参数α和β更新机制进行优化，具体执行如下操作：

21)首先建立图像失真D的平方误差函数，如公式(10)所示：

e²＝(lnD_real-lnD_comp)²

D_real＝C×bpp_real ^-K (10)

其中，bpp_target,bpp_real分别指当前帧每个像素点对应的目标码率和实际码率；D_comp,D_real分别指当前帧图像计算失真和真实失真；C和K是和序列特性相关的模型参数，C_old,K_old是更新前的模型参数。

22)根据牛顿迭代法得到C_new,K_new，具体如公式(11)所示：

C_new＝C_old-(lnD_real-lnD_comp)×C_old

K_new＝K_old+(lnD_real-lnD_comp)/lnbpp_real (11)

其中，C_new,K_new是更新后的模型参数。

23)计算得到α_new,β_new，如公式(12)：

α_new＝C_new×K_new

β_new＝-K_new-1 (12)

其中，α_new,β_new是更新后和视频内容相关的参数。因为模型参数的更新是基于图像失真D的平方误差函数，整个过程充分利用了当前帧的编码参数信息，使得码率控制的精确性得到了提高。

3.在特定的编码状况下，对模型参数α和β更新进行处理；

参数更新时有很多编码状况没有加以考虑。比如，当突然出现一些极简单的帧时，这些帧消耗的码率很少且不能表征当前序列的平均复杂度，这时候参数α和β的更新或许没有意义；在对一定数量的帧在给定码率下分配时，当处于末尾的帧分配的码率很小时，当前帧参数α和β的更新也是没有意义的。而且，当有场景切换时，这时参数α和β的更新在即定约束下会比较缓慢，使得编码器为后面的帧分配了不合理的码率。

下一帧的码率控制要用到更新后的参数进行计算，因此，做完当前帧要对参数做校正。本发明在校正的过程中增加了特定编码状况下参数α和β的处理。

在特定的编码状况下，对模型参数α和β处理如下：

a)如果剩余总码率不足导致当前帧的目标码率是编码器所设定的最小码率时，模型参数α和β不作更新；

b)如果当前帧的实际码率远小于前一帧的实际码率时，我们认为当前帧不足以表征该序列的平均复杂度，不能用作参考，因而参数α和β不作更新；

c)如果当前帧的实际码率远大于当前帧的目标码率时，我们认为有场景切换，模型参数α和β重置为初始值。

d)当实际码率波动较大时，模型参数α和β的更新导致下一帧计算的QP变化较大，此时对QP所对应的λ(拉格朗日乘子)重新作更新。

通过上述步骤，对视频编解码实现增强型R-Lambda码率控制。

与现有技术相比，本发明的有益效果是：

本发明提出的增强型R-Lambda码率控制方法，不仅十分简单实用，还避免了CPU对整帧像素的运算操作，为低延迟低功耗的视频编解码设计提供了切实可行的实现方法。对本发明方法的编码性能进行评估。方法实现是在HEVC上执行，配置基于普遍测试条件之一的低延迟LDP(Low Delay)配置，其中支持最大编码单元CU(Coding Unit)为32。测试码率点分别为5M，4M，3M，2M。本次测试性能为编码比特率BD-rate(

Delta rate)。与参考软件的R-Lambda算法相比，本发明的方法能带来平均3.9％的性能增益。

附图说明

图1为编码器中的R-D率失真曲线。

图2为本发明方法的流程框图。

具体实施方式

下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。

本发明提供一种增强型R-Lambda视频编解码的码率控制方法，基于HEVC标准中R-Lambda模型进行优化，实现增强型R-Lambda码率控制，方法高效且简单实用。

图2所示为本发明方法的实施流程，实现增强型R-Lambda码率控制；包括如下步骤：

1.当前I(Intra)帧编码阶段通过统计历史量化参数QP(Quant Parameter)使用频次粗估帧内I帧QP；

本发明中，利用前一个图片组GOP(Group of Picture)内使用频次最高的多个QP对I帧QP作粗略估计，避免CPU对整帧像素级的运算操作，极大地简化了设计难度，释放了CPU的计算压力，满足编码器低功耗低延迟的设计要求。

当对视频序列前一个图片组GOP(Group of Picture)编码时，每编码完一帧视频图像后，编码器记录该帧使用QP值的大小。在编码当前GOP内的第一个I帧时，根据前一个GOP内统计的使用QP值的大小和频次，对当前I帧的QP作粗略估计。使用频次最高的前4个QP值进行粗略估计，具体公式如(8)所示：

W_total＝W₀+W₁+W₂+W₃ (8)

其中，QP_rough是粗略估计的QP值，QP₀，QP₁，QP₂，QP₃是使用频次最高的QP值，W₀，W₁，W₂，W₃是对应QP使用的次数，W_total是使用次数的总和。对于不同的目标码率条件，对QP进一步更新，见公式(9)：

其中，QP_cur是当前帧的QP值，bpp是指每个像素点对应的比特。利用前一个GOP内使用频次最高的多个QP对I帧QP作粗略估计，避免了CPU对整帧像素级的运算操作，极大地简化了设计难度，释放了CPU的计算压力，满足编码器低功耗低延迟的设计要求。

2.对参数α和β更新机制进行优化

首先，我们建立图像失真D的平方误差函数，如公式(10)所示：

e²＝(lnD_real-lnD_comp)²

D_real＝C×bpp_real ^-K (10)

其中，bpp_target,bpp_real分别指当前帧每个像素点对应的目标码率和实际码率；D_comp,D_real分别指当前帧图像计算失真和真实失真；C和K是和序列特性相关的模型参数，C_old,K_old是更新前的模型参数。根据牛顿迭代法，可以得到C_new,K_new，具体如公式(11)所示：

C_new＝C_old-(lnD_real-lnD_comp)×C_old

K_new＝K_old+(lnD_real-lnD_comp)/lnbpp_real (11)

其中，α_new,β_new是更新后和视频内容相关的参数。最后，我们可以得到α_new,β_new，如公式(12)：

α_new＝C_nwe×K_new

β_new＝-K_new-1 (12)

因为模型参数的更新是基于图像失真D的平方误差函数，整个过程充分利用了当前帧的编码参数信息，使得码率控制的精确性得到了提高。

此外，针对不同的编码状况，分别对参数α和β更新作了如下处理：

e)如果剩余总码率不足导致当前帧的目标码率是编码器所设定的最小码率时，模型参数α和β不作更新；

f)如果当前帧的实际码率远小于前一帧的实际码率时，我们认为当前帧不足以表征该序列的平均复杂度，不能用作参考，因而参数α和β不作更新；

g)如果当前帧的实际码率远大于当前帧的目标码率时，我们认为有场景切换，模型参数α和β重置为初始值。

h)当实际码率波动较大时，模型参数的更新导致下一帧计算的QP变化较大，此时对QP所对应的Lambda重新作更新。

本发明提出的增强型R-Lambda码率控制方法，不仅十分简单实用，避免了CPU对整帧像素的运算操作，为低延迟低功耗的设计提供了切实可行的实现方法。

表1本发明方法与现有方法的性能对比

针对该方法，我们对编码性能进行了评估。算法的实现是在HEVC上执行，配置基于普遍测试条件之一的“LowDelayP”，其中支持最大CU为32，RDOQ不支持。测试码率点分别为5M，4M，3M，2M。

本次测试性能为BD-rate。与HM中的R-Lambda算法相比，具体的性能见表1所示，本发明的方法能带来平均3.9％的性能增益。

需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (2)

1.一种增强型R-Lambda码率控制方法，基于HEVC标准中R-Lambda模型进行优化，实现精确的码率控制；包括如下步骤：

1)当前I帧编码阶段通过统计历史量化参数QP使用频次粗估帧内I帧QP；

利用前一个图片组内使用频次最高的多个QP对I帧QP作粗略估计，执行如下操作：

当对视频序列前一个图片组编码时，每编码完一帧视频图像后，编码器记录该帧使用QP值的大小；

在编码当前图片组内的第一个I帧时，根据前一个图片组内统计的使用QP值的大小和频次，对当前I帧的QP作粗略估计；

具体使用频次最高的前4个QP值进行粗略估计，表示为式(8)：

W_total＝W₀+W₁+W₂+W₃ (8)

其中，QP_rough是粗略估计的QP值，QP₀，QP₁，QP₂，QP₃是使用频次最高的QP值，W₀，W₁，W₂，W₃是对应QP使用的次数，W_total是使用次数的总和；

2)在当前帧编码完成后，对码控参数α和β更新机制进行优化，具体执行如下操作：

21)首先建立图像失真D的平方误差函数，如公式(10)所示：

e²＝(lnD_real-lnD_comp)²

D_real＝C×bpp_real ^-K (10)

其中，bpp_target,bpp_real分别指当前帧每个像素点对应的目标码率和实际码率；D_comp,D_real分别指当前帧图像计算失真和真实失真；C和K是和序列特性相关的模型参数，C_old,K_old是更新前的模型参数；

22)根据牛顿迭代法得到更新后的模型参数C_new,K_new，表示为式(11)；

C_new＝C_old-(lnD_real-lnD_comp)×C_old

K_new＝K_old+(lnD_real-lnD_comp)/lnbpp_real (11)

其中，C_new,K_new是更新后的模型参数；

23)计算得到α_new,β_new，表示为式(12)：

α_new＝C_new×K_new

β_new＝-K_new-1 (12)

其中，α_new,β_new是更新后和视频内容相关的参数；

3)在特定的编码状况下，对模型参数α和β进行处理；

当前帧的码率控制完成之后对参数α和β进行校正，在校正的过程中增加特定编码状况下参数的处理，包括：

a)如果剩余总码率不足导致当前帧的目标码率是编码器所设定的最小码率时，模型参数α和β不作更新；

b)如果当前帧的实际码率远小于前一帧的实际码率时，模型参数α和β不作更新；

c)如果当前帧的实际码率远大于当前帧的目标码率时，模型参数α和β重置为初始值。

d)当实际码率波动较大时，对QP所对应的拉格朗日乘子λ重新作更新；

通过上述步骤，对视频编解码实现增强型R-Lambda码率控制。

2.如权利要求1所述增强型R-Lambda码率控制方法，其特征是，步骤1)中，使用频次最高的前4个QP值进行粗略估计，进一步对于不同的目标码率条件更新QP，表示为式(9)：

其中，QP_cur是当前帧的QP值，bpp是每个像素点对应的比特。

Images