CN103561266A - 基于对数r-q模型和层次化比特分配的码率控制方法 - Google Patents

Abstract

一种基于对数R-Q模型和层次化比特分配的码率控制方法，包括以下步骤：计算图像待编码区域的内容复杂度，进行层次化的比特分配；使用对数R-Q模型，计算图像待编码区域量化步长；完成一个编码单元的编码过程，更新模型参数，然后进行下一个编码单元的编码，直到完成整个视频序列的编码。本发明充分利用视频编码的不同层次结构，以及R-Q统计特性，对信道的带宽进行精确地分配与映射，能够在更小的视频质量降低代价条件下，获得更为准确地输出视频码率，有效地提高码率控制精度和更优的视频质量保真，在实际的视频业务中，能够更有效地利用信道带宽资源，使得信源与信道之间更为匹配。

Description

基于对数R-Q模型和层次化比特分配的码率控制方法

技术领域

本发明属于视频图像编码技术领域，尤其是一种基于对数R-Q模型和层次化比特分配的码率控制方法。

背景技术

码率控制是视频编码中的一个基本课题，对于视频编码标准的应用有着重要意义。在视频的传输、存储过程当中，网络带宽、存储资源都是有限的，码率控制的作用就是在最大限度保证视频编码质量的前提下，使得输出的码流能够满足传输、存储限制。因此，码率控制对于视频编码标准的应用有着极其重要的作用。

为了应对日益增长的视频消费需求，在2010年，ITU联合ISO/IEC开始着手制定新一代的视频编码标准——高效视频编码（HEVC，High Efficiency VideoCoding），旨在能够相对于目前最流行的H.264有进一步提升，目标为降低50%的码率。在2013年年初，该标准发布，ITU、ISO/IEC分别命名为ITU-TH.265和ISO/IEC 23008-2。相对以往编码标准，HEVC编码器引入了很多新的编码技术，诸如四叉树划分、非对称块划分、并行编码技术等，复杂度更高，其码率控制更具挑战性。

在已有的HEVC码率控制算法中，绝大多数是将过去视频编码标准的码率控制算法直接应用到HEVC标准当中，未考虑到HEVC引入的一些新技术、新特性，没有很好的针对性，码率控制的精确度不高。Matteo Naccari和FernandoPereira(“Quadratic Modeling Rate Control in the Emerging HEVCStandard”,Picture Coding Symposium(PCS),2012.IEEE,2012,pp.401-404.)提出一种二次模型，是对H.264视频编码标准的移植，实验测试结果表明，其码率控制精确度并不理想；Yeo-Jin Yoon等（“ANew Rate ControlMethod for Hierarchical Video Coding in HEVC”，Broadband MultimediaSystems and Broadcasting(BMSB),2012 IEEE International Symposium on.IEEE,2012,pp.1-4.）提出一种指数模型的码率控制方法，码率分配只做到了帧级别，没有更精细的划分，码率控制不够精确。

发明内容

本发明的目的在于克服现有技术的不足，提供一种设计合理、能够提高码率控制精确度和视频质量保真的基于对数R-Q模型和层次化比特分配的码率控制方法。

本发明解决其技术问题是采取以下技术方案实现的：

一种基于对数R-Q模型和层次化比特分配的码率控制方法，包括以下步骤：

步骤1、计算图像待编码区域的内容复杂度，进行层次化的比特分配；

步骤2、使用对数R-Q模型，计算图像待编码区域量化步长；

步骤3、完成一个编码单元的编码过程，更新模型参数，然后进行下一个编码单元的编码，直到完成整个视频序列的编码。

而且，所述步骤1计算图像待编码区域的内容复杂度的方法为：

$\text{\ω=}{\mathrm{MAD}}_{\mathrm{LCU}}^2$

式中：ω表示编码单元的复杂度，MAD_LCU为当前编码单元的平均绝对差，该MAD_LCU的计算公式为：

${\mathrm{MAD}}_{\mathrm{LCU}}=\frac{1}{N_{\mathrm{pixels}}}\mathrm{\Σ}|{\mathrm{pred}}_i-{\mathrm{org}}_i|$

上式中，pred_i是通过帧内或者帧间等预测方法获得的该帧第i个编码单元的预测值，org_i是该编码单元的原始值，N_pixels是该编码单元的像素数；

pred_i采用线性预测方法并按下式计算当前编码单元平均绝对差的预测值MAD_pred(i)：

MAD_pred(i)=a·MAD_LCU(i-1)+b

其中，MAD_LCU(i-1)是前一个编码单元的平均绝对差，a，b分别为预测参数，每次计算后进行更新。

而且，所述步骤1层次化的比特分配包括依次执行的GOP层比特分配、帧层比特分配和编码单元层比特分配。

而且，所述GOP层比特分配的方法为：当前待编码GOP的目标码率T_GOP按如下公式计算：

T_GOP＝T_AvgPic·N_GOP

其中，N_GOP是当前GOP的帧数；T_AvgPic表示在当前平滑窗口中每一帧的平均码率，其计算公式如下：

$T_{\mathrm{AvgPic}}=R_{\mathrm{AvgPic}}+\frac{R_{\mathrm{AvgPic}}\·N_{\mathrm{coded}}-R_{\mathrm{coded}}}{\mathrm{SW}}$

其中，R_AvgPic是每帧平均码率，N_coded是窗口内已经编码的帧数，R_coded是已编码使用的比特数，SW是窗口大小，该窗口大小SW的取值为帧率f的一到两倍；

每帧平均码率R_AvgPic的计算公式如下：

R_AvgPic＝R_tar/f

其中，R_tar是信道可用带宽，f是待编码视频帧率，R_AvgPic为计算出的每帧平均码率。

而且，所述帧层比特分配的方法为：帧级别码率分配按如下公式计算：

$T_{\mathrm{CurrPic}}=\frac{T_{\mathrm{GOP}}-{\mathrm{Coded}}_{\mathrm{GOP}}}{\underset{\mathrm{NotCodedPic}}{\mathrm{\Σ}}\mathrm{\ω}}\·{\mathrm{\ω}}_{\mathrm{CurrPic}}$

其中，T_CurrPic表示当前待编码帧分配目标码率，Coded_GOP为当前正在编码的GOP已经使用的比特数，ω_CurrPic为当前编码帧的权重值，

为当前编码GOP位编码帧权值之和。

而且，所述编码单元层比特分配方法为：编码单元级别的码率分配按如下公式计算：

$T_{\mathrm{CurrLCU}}=\frac{T_{\mathrm{CurrPic}}-{\mathrm{Coded}}_{\mathrm{Pic}}}{\underset{\mathrm{NotCodedLCU}}{\mathrm{\Σ}}\mathrm{\ω}}\·{\mathrm{\ω}}_{\mathrm{CurrLCU}}$

其中，T_CurrLCU表示当前待编码单元的目标分配码率，Coded_Pic为当前正在编码帧中已经使用的比特数，ω_CurrLCU为当前编码帧、编码单元的权重值，

为编码帧中未编码块权值之和；权值ω的计算采用线性预测的方式得到。

而且，所述步骤2计算图像待编码区域量化步长的计算公式如下：Q＝λ·ln(R)+γ

其中，Q为编码参数量化步长，λ和γ分别为两个模型参数，式中，R表示码率分配的度量，其计算公式为：

$R=\mathrm{bpp}=\frac{T_{\mathrm{CurrLCU}}}{N_{\mathrm{pixels}}}$

式中，bpp表示当前块在码率分配后平均每个像素的比特数。

而且，所述模型参数λ和γ的初始值为-7和0。

而且，所述步骤3更新模型参数的方法为：

λ_new＝λ_old+δ_λ·(lnR_real-lnR_alloc)·λ_old

γ_new＝γ_old+δ_γ·(lnR_real-lnR_alloc)·lnR_real

其中，λ_new、γ_new是更新的模型参数，λ_old、γ_old是旧的模型参数，δ_λ、δ_γ是两个线性参数，依照试验统计数据设定，R_alloc、R_real分别表示刚结束编码的编码块预先分配的比特数和实际使用的比特数。

本发明的优点和积极效果是：

本发明针对当前视频编码码率控制算法在R-Q模型和码率分配算法精度上的不足，能够充分利用视频编码的不同层次结构，以及R-Q统计特性，对信道的带宽进行精确地分配与映射，能够在更小的视频质量降低代价条件下，获得更为准确地输出视频码率，有效地提高码率控制精度和更优的视频质量保真，在实际的视频业务中，能够更有效地利用信道带宽资源，使得信源与信道之间更为匹配。

附图说明

图1是码率控制系统的框架示意图。

图2是本发明的处理流程图；

图3是编码单元MAD值计算方法示意图；

图4是Frame级别、编码块级别预测方法示意图；

图5是层次化码率分配流程图。

具体实施方式

以下结合附图对本发明实施例做进一步详述：

一种基于对数R-Q模型和层次化比特分配的码率控制方法，是在图1所示的码率控制系统框架下实现的，在该码率控制系统中，待编码视频输入到编码器后，被存放在编码缓存器，然后输入信道。码率控制机制就是要根据当前的视频参数（包括帧率、宽、高、复杂度等）、信道条件和输出缓存状态等条件，调整编码参数，形成反馈环路，从而达到码率控制的作用。

本发明提出的一种基于对数R-Q模型和层次化比特分配的码率控制方法，如图2所示，层次化码率分配部分根据输入视频和信道条件进行分层次的码率分配，然后通过对数R-Q模型进行编码参数的选择，在每个编码单元编码结束后对参数进行更新，进行下一个编码单元的编码。具体来说，本发明包括以下步骤：

步骤1、计算图像待编码区域的内容复杂度，并进行层次化的比特分配。

本步骤主要包括两部分内容：计算图像待编码区域的内容复杂度和层次化的比特分配，下面分别进行说明：

1、计算图像待编码区域的内容复杂度

在进行一个编码单元的编码之前，首先要对改编码单元进行复杂度的估计，以用来计算或者表征其在编码时需要的比特数。

本发明中采用一种基于线性预测的MAD（Mean Absolute of Difference，平均绝对差）来进行编码单元的编码复杂度度量，如图3中编码单元MAD计算示意图所示，具体计算方法如下：

按下式计算平均绝对差MAD_LCU：

${\mathrm{MAD}}_{\mathrm{LCU}}=\frac{1}{N_{\mathrm{pixels}}}\mathrm{\Σ}|{\mathrm{pred}}_i-{\mathrm{org}}_i|$

其中pred_i是通过帧内或者帧间等预测方法获得的该帧第i个编码单元的预测值，org_i是该编码单元的原始值，N_pixels是该编码单元的像素数，MAD_LCU为计算出的平均绝对差。

在上述公式的计算中，由于需要用到编码时的中间值pred_i，直接进行pred_i的计算会产生循环迭代问题，所以为了解决MAD_LCU实时计算时的复杂循环迭代问题，如图4所示，本发明采取了一种线性预测方法，按下式计算当前编码单元平均绝对差的预测值MAD_pred(i)：

MAD_pred(i)=a·MAD_LCU(i-1)+b

其中MAD_LCU(i-1)是前一个编码单元的平均绝对差，a，b分别为预测参数，每次计算后进行更新，MAD_pred(i)为计算出的当前编码单元平均绝对差的预测值。

最后，将当前编码单元的复杂度以平均绝对差的平方来进行度量，编码单元的复杂度的表达式如下所示：

$\mathrm{\ω}={\mathrm{MAD}}_{\mathrm{LCU}}^2$

式子中ω表示编码单元的复杂度。

2、层次化的比特分配

在本步骤中，层次化的比特分配方法包括三个层次：GOP层比特分配、帧（Frame)层比特分配、编码单元（LCU）层比特分配，如图5所示，三个层次的比特分配依次进行。

在进行比特分配之前，首先需要根据信道可用带宽和视频帧率，计算出平均每一帧的码率，计算公式如下所示：

R_AvgPic＝R_tar/f

其中，R_tar是信道可用带宽，f是待编码视频帧率，R_AvgPic为计算出的每帧平均码率。

为了避免在编码过程中每帧之间码率突变，算法进行了一个窗口平滑处理，即设置了一个窗口值，在该窗口内，码率平滑过渡。表达式如下所示：

$T_{\mathrm{AvgPic}}=R_{\mathrm{AvgPic}}+\frac{R_{\mathrm{AvgPic}}\·N_{\mathrm{coded}}-R_{\mathrm{coded}}}{\mathrm{SW}}$

其中，R_AvgPic是每帧平均码率，N_coded是窗口内已经编码的帧数，R_coded是已编码使用的比特数，SW是窗口大小（一般取帧率f的一到两倍）。

(1)GOP级码率分配

在GOP层比特分配时，每一个GOP的目标码率计算依照如下的公式进行：

T_GOP＝T_AvgPic·N_GOP

其中，N_GOP是当前GOP的帧数，T_GOP是当前待编码GOP的目标码率，即分配给该GOP的码率。

(2)帧级码率分配

在GOP级码率分配的基础上，帧级别码率分配依照如下公式进行：

$T_{\mathrm{CurrPic}}=\frac{T_{\mathrm{GOP}}-{\mathrm{Coded}}_{\mathrm{GOP}}}{\underset{\mathrm{NotCodedPic}}{\mathrm{\Σ}}\mathrm{\ω}}\·{\mathrm{\ω}}_{\mathrm{CurrPic}}$

其中，T_CurrPic表示当前待编码帧分配目标码率，Coded_GOP为当前正在编码的GOP已经使用的比特数，ω_CurrPic为当前编码帧的权重值，为当前编码GOP位编码帧权值之和。其中，帧的权重值依照表1进行分配。

表1 不同分配方式下帧权重ω的值

(3)编码单元级码率分配

编码单元级别的码率分配公式如下所示：

$T_{\mathrm{CurrLCU}}=\frac{T_{\mathrm{CurrPic}}-{\mathrm{Coded}}_{\mathrm{Pic}}}{\underset{\mathrm{NotCodedLCU}}{\mathrm{\Σ}}\mathrm{\ω}}\·{\mathrm{\ω}}_{\mathrm{CurrLCU}}$

其中，T_CurrLCU表示当前待编码单元的目标分配码率，Coded_Pic为当前正在编码帧中已经使用的比特数，ω_CurrLCU为当前编码帧、编码单元的权重值，

为编码帧中未编码块权值之和。权值ω的计算采用线性预测的方式得到，计算公式可参加图像待编码区复杂度估计部分。

步骤2、使用对数R-Q（Rate-Quantization，码率-量化）模型，计算图像待编码区域量化步长；

在本步骤中，主要进行编码参数的计算。在步骤1结束编码单元的比特分配后，需要根据分配的码率进行编码参数量化步长Q的计算。本发明采用对数R-Q模型，计算图像待编码区域量化步长。计算图像待编码区域量化步长的对数R-Q模型计算公式如下所示：

Q＝λ·ln(R)+γ

其中，Q为编码参数量化步长，λ和γ分别为两个模型参数，每一次编码单元编码结束后，参数将会进行更新。上式中R的计算公式如下：

$R=\mathrm{bpp}=\frac{T_{\mathrm{currLCU}}}{N_{\mathrm{pixels}}}$

此处的R表示码率分配的度量，是当前待编码块的单位像素比特数。需要注意的是，此处的bpp与帧权重分配时所计算的bpp并非一个概念，此处表示当前块在码率分配后平均每个像素的比特数，是一个局部值；而之前的bpp是整个视频序列在当前可用带宽条件下的单位像素比特数，是一个全局量。

步骤3、完成一个编码单元的编码过程后更新模型参数，进行下一个编码单元的编码。

在每一个编码单元编码结束后，需要对模型中使用的参数进行更新。初始时，λ和γ分别被初始化为-7和0。在每一次编码完成后，R-Q对数模型将会对模型参数进行更新，以更加适合当前待编码图像的统计特性。模型参数更新方法分别如下面公式：

λ_new＝λ_old+δ_λ·(lnR_real-lnR_alloc)·λ_old

γ_new＝γ_old+δ_γ·(lnR_real-lnR_alloc)·lnR_real

其中，λ_old、γ_old是旧的模型参数，λ_new、γ_new是更新的模型参数，δ_λ、δ_γ是两个线性参数，依照试验统计数据设定，R_alloc、R_real分别表示刚结束编码的编码单元预先分配的比特数和实际使用的比特数。

R-Q参数模型更新完成后，开始进行下一个编码单元的编码。直到完成整个视频序列的编码。

通过以上步骤即可实现整个视频序列的编码及码率控制功能。

下面给出一个实验对本码率控制方法的效果进行验证：

实验采用HEVC官方给出的视频序列作为测试对象，在官方给出的配置条件下进行算法的测试与验证。

实验测试设定了如下两种实验条件：

定QP条件：将QP分别设置为22、27、32、37，固定QP值条件下，以HM-10.0无码率控制条件进行一次编码，得到编码码率，然后以该码率作为目标码率，作为码率控制设定码率，采用本发明方法进行编码，得到实验码率，计算码率控制偏差。

定码率条件：直接设定目标码率，采用本发明进行编码后，计算码率控制偏差。

两种条件下编码结果分别见表2和表3。测试条件（1）码率误差在0.06%～1.23%之间，平均为0.35%；测试条件（2）码率误差范围为0.16%～1.46%，平均为0.54%。MatteoNaccari提出的算法码率误差范围为0.1%～5.4%，Yeo-JinYoon提出的算法码率误差为0.26%～6.44%，本算法相对于此，都有很大提升。与此同时，本发明提出算法带来的视频质量损失更小，保真性能更好。

表2 视频序列测试结果（定QP条件）

表3 视频序列测试结果（定码率条件）

需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。

Claims (9)

1.一种基于对数R-Q模型和层次化比特分配的码率控制方法，其特征在于，包括以下步骤：

步骤1、计算图像待编码区域的内容复杂度，进行层次化的比特分配；

步骤2、使用对数R-Q模型，计算图像待编码区域量化步长；

步骤3、完成一个编码单元的编码过程，更新模型参数，然后进行下一个编码单元的编码，直到完成整个视频序列的编码。

2.根据权利要求1所述的基于对数R-Q模型和层次化比特分配的码率控制方法，其特征在于：所述步骤1计算图像待编码区域的内容复杂度的方法为：

$\mathrm{\ω}={\mathrm{MAD}}_{\mathrm{LCU}}^2$

式中：ω表示编码单元的复杂度，MAD_LCU为当前编码单元的平均绝对差，该MAD_LCU的计算公式为：

${\mathrm{MAD}}_{\mathrm{LCU}}=\frac{1}{N_{\mathrm{pixels}}}\mathrm{\Σ}|p{\mathrm{red}}_i-{\mathrm{org}}_i|$

上式中，pred_i是通过帧内或者帧间等预测方法获得的该帧第i个编码单元的预测值，org_i是该编码单元的原始值，N_pixels是该编码单元的像素数；

pred_i采用线性预测方法并按下式计算当前编码单元平均绝对差的预测值MAD_pred(i)：

MAD_pred(i)=a·MAD_LCU(i-1)+b

其中，MAD_LCU(i-1)是前一个编码单元的平均绝对差，a，b分别为预测参数，每次计算后进行更新。

3.根据权利要求1所述的基于对数R-Q模型和层次化比特分配的码率控制方法，其特征在于：所述步骤1层次化的比特分配包括依次执行的GOP层比特分配、帧层比特分配和编码单元层比特分配。

4.根据权利要求3所述的基于对数R-Q模型和层次化比特分配的码率控制方法，其特征在于：所述GOP层比特分配的方法为：当前待编码GOP的目标码率T_GOP按如下公式计算：

T_GOP＝T_AvgPic·N_GOP

其中，N_GOP是当前GOP的帧数；T_AvgPic表示在当前平滑窗口中每一帧的平均码率，其计算公式如下：

$T_{\mathrm{AvgPic}}=R_{\mathrm{AvgPic}}+\frac{R_{\mathrm{AvgPic}}\·N_{\mathrm{coded}}-R_{\mathrm{coded}}}{\mathrm{SW}}$

其中，R_AvgPic是每帧平均码率，N_coded是窗口内已经编码的帧数，R_coded是已编码使用的比特数，SW是窗口大小，该窗口大小SW的取值为帧率f的一到两倍；

每帧平均码率R_AvgPic的计算公式如下：

R_AvgPic＝R_tar/f

其中，R_tar是信道可用带宽，f是待编码视频帧率，R_AvgPic为计算出的每帧平均码率。

5.根据权利要求3所述的基于对数R-Q模型和层次化比特分配的码率控制方法，其特征在于：所述帧层比特分配的方法为：帧级别码率分配按如下公式计算：

$T_{\mathrm{CurrPic}}=\frac{T_{\mathrm{GOP}}-{\mathrm{Coded}}_{\mathrm{GOP}}}{\underset{\mathrm{NotCodedPic}}{\mathrm{\Σ}}\mathrm{\ω}}\·{\mathrm{\ω}}_{\mathrm{CurrPic}}$

其中，T_CurrPic表示当前待编码帧分配目标码率，Coded_GOP为当前正在编码的GOP已经使用的比特数，ω_CurrPic为当前编码帧的权重值，

为当前编码GOP位编码帧权值之和。

6.根据权利要求3所述的基于对数R-Q模型和层次化比特分配的码率控制方法，其特征在于：所述编码单元层比特分配方法为：编码单元级别的码率分配按如下公式计算：

$T_{\mathrm{CurrLCU}}=\frac{T_{\mathrm{CurrPic}}-{\mathrm{Coded}}_{\mathrm{Pic}}}{\underset{\mathrm{NotCodedLCU}}{\mathrm{\Σ}}\mathrm{\ω}}\·{\mathrm{\ω}}_{\mathrm{CurrLCU}}$

其中，T_CurrLCU表示当前待编码单元的目标分配码率，Coded_Pic为当前正在编码帧中已经使用的比特数，ω_CurrLCU为当前编码帧、编码单元的权重值，

为编码帧中未编码块权值之和；权值ω的计算采用线性预测的方式得到。

7.根据权利要求1所述的基于对数R-Q模型和层次化比特分配的码率控制方法，其特征在于：所述步骤2计算图像待编码区域量化步长的计算公式如下：

Q＝λ·ln(R)+γ

其中，Q为编码参数量化步长，λ和γ分别为两个模型参数，式中，R表示码率分配的度量，其计算公式为：

$R=\mathrm{bpp}=\frac{T_{\mathrm{CurrLCU}}}{N_{\mathrm{pixels}}}$

式中，bpp表示当前块在码率分配后平均每个像素的比特数。

8.根据权利要求6所述的基于对数R-Q模型和层次化比特分配的码率控制方法，其特征在于：所述模型参数λ和γ的初始值为-7和0。

9.根据权利要求1所述的基于对数R-Q模型和层次化比特分配的码率控制方法，其特征在于：所述步骤3更新模型参数的方法为：

λ_new＝λ_old+δ_λ·(lnR_real-lnR_alloc)·λ_old

γ_new＝γ_old+δ_γ·(lnR_real-lnR_alloc)·lnR_real

其中，λ_new、γ_new是更新的模型参数，λ_old、γ_old是旧的模型参数，δ_λ、δ_γ是两个线性参数，依照试验统计数据设定，R_alloc、R_real分别表示刚结束编码的编码块预先分配的比特数和实际使用的比特数。

Images