CN104104951A - Hevc中屏幕内容编码的码率控制方法 - Google Patents

Abstract

本发明公开了一种HEVC中屏幕内容编码的码率控制方法，该方法包括以下步骤：初始化编码参数，并建立滑动窗口；为滑动窗口分配相应的比特，并且在滑动窗口内对于视频序列进行运动估计，得到视频序列中的每一帧图像相对于前一帧图像的复杂度变化；根据得到的每一帧的复杂度在滑动窗口内对于当前帧进行比特分配；判断当前帧是否为场景切换帧，如是，则对当前帧及其后续帧进行比特处理；判断当前帧是否为最后一帧，如否，则更新滑动窗口内的比特数目和编码参数，返回比特分配步骤，对于下一帧继续进行编码，如是，则结束当前视频的编码过程。本发明能够对于屏幕内容序列进行有针对性的码率控制，从而有效地降低了码率控制误差，提升了编码效率。

Description

HEVC中屏幕内容编码的码率控制方法

技术领域

本发明涉及多媒体通信技术领域，具体地，涉及一种HEVC(HighEfficiency Video Coding)屏幕内容编码的码率控制方法。

背景技术

HEVC编码标准在H.264/AVC high profile的基础上，压缩效率提高一倍，是一种先进的视频编解码标准。然而由于当前信道本身的有效网络带宽有限并且实时变化，高清视频在无线环境下的传输仍然充满挑战。因此，在有限的带宽内合理分配资源使得目前的视频质量达到最优是当前研究的一个热点和难点。

码率控制是解决上述问题的一个关键手段。它能够将当前信道的状态反馈给编码器，使得编码器更加合理的分配码率，从而优化视频的质量。码率控制分为比特分配和比特控制。在比特分配部分中，采用分层架构，分为GOP层、帧层和基本单元层；在比特控制部分中，通过调整编码参数使得最后消耗的比特尽量接近预分配的比特。

在目前HEVC标准中，采用的是R-λ模型来进行码率控制，该模型表示如下：

λ＝α·bpp^β，

其中，bpp是当前视频序列中每个像素能够分配到的比特，由当前视频的分辨率和当前信道的带宽以及视频的帧率决定，α和β是R-λ模型中的编码参数，在视频序列开始编码时进行初始化，它们的值由视频序列的内容决定并且在编码过程中进行迭代更新。由于自然序列变化比较平缓，因此利用该R-λ模型能够快速迭代并收敛，也就是说，该R-λ模型在自然序列中能够非常精准地控制码率。但在屏幕内容序列中，经常出现前后两帧完全一样或者差别巨大的情况，这与自然序列特性存在比较大的差别，屏幕内容序列与自然序列编码复杂度分析的比较情况如图1所示，从图1中可以看出，FourPeople这个序列是自然序列，每一帧相对于前一帧SAD值的变化比较平和，而SlideShow则是屏幕内容序列，SAD值的变化比较剧烈。屏幕内容序列变化比较剧烈的特性使得当前的码率分配和比特控制策略不再适用。

发明内容

本发明提出一种HEVC屏幕内容编码的码率控制方法，从而能够在充分利用带宽的前提下提高视频的质量。

本发明提出的一种HEVC中屏幕内容编码的码率控制方法包括以下步骤：

步骤1：初始化编码参数并建立滑动窗口；

步骤2：为所述滑动窗口分配相应的比特，并且在所述滑动窗口内对于视频序列进行运动估计，得到视频序列中的每一帧图像相对于前一帧图像的复杂度变化；

步骤3：根据得到的每一帧的复杂度在滑动窗口内对于当前帧进行比特分配；

步骤4：判断当前帧是否为场景切换帧，如是，则对当前帧及其后续帧进行比特处理；

步骤5：判断当前帧是否为最后一帧，如否，则更新所述滑动窗口内的比特数目和编码参数，然后返回步骤3，对于下一帧继续进行编码，如是，则结束当前视频的编码过程，编码完成。

本发明能够对于屏幕内容序列进行有针对性的码率控制，从而有效地降低了码率控制误差，提升了编码效率。

附图说明

图1是HEVC中自然序列和屏幕内容序列编码复杂度分析的比较示意图；

图2是本发明HEVC中屏幕内容编码的码率控制方法原理框图。

图3是本发明HEVC中屏幕内容编码的码率控制方法的流程图。

具体实施方式

本发明提出一种HEVC屏幕内容编码的码率控制方法，在该方法中，首先初始化编码参数并建立滑动窗口，在滑动窗口内对视频序列进行菱形模板的快速运动估计，通过运动估计得到每一帧图像相对于前一帧的复杂度变化；根据每一帧的复杂度按照比例在滑动窗口内对当前帧进行比特分配；然后根据当前帧的不同类型，进行不同的编码处理。

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

图2是本发明HEVC中屏幕内容编码的码率控制方法原理框图，图3是本发明HEVC中屏幕内容编码的码率控制方法的流程图，如图2和图3所示，所述HEVC中屏幕内容编码的码率控制方法包括以下步骤：

步骤1：初始化编码参数并建立滑动窗口；

在本发明一实施例中，利用R-λ模型进行码率控制，所述编码参数至少包括R-λ模型所涉及的编码参数和本发明中增加的一些机制中的参数，比如滑动窗口的长度，补偿窗口的长度，补偿窗口中每一帧的补偿权重值以及用于场景切换帧的判断阈值等参数；另外，为了满足实时性的要求，在本发明一实施例中，当前滑动窗口的长度设置为8。

步骤2：为所述滑动窗口分配相应的比特，并且在所述滑动窗口内对于视频序列进行运动估计，得到视频序列中的每一帧图像相对于前一帧图像的复杂度变化；

该步骤中，在开始编码时，初始化相应的缓存，读入预定帧数的视频，然后开始运动估计。

在本发明一实施例中，运动估计所采用的搜索窗口的大小是[-64,64]。

在进行运动估计时，首先从当前帧的参考图像列表中找到与所述当前帧最相似的参考图像，然后基于当前帧和该参考图像进行运动估计，从而得到当前帧的绝对差值和(SAD)和每一个编码树单元(CTU)的SAD，最后求出当前帧相对于前一帧的SAD。在运动估计的过程中，可以在所述搜索窗口内进行全搜索或者模板搜索来寻找最佳匹配块，为了加快估计速度，可以使用模板搜索来减少匹配的时间，同时还可以设置SAD阈值，如果当前得到的SAD值小于该SAD阈值，则提前退出当前帧的运动估计并得到运动估计的结果。

需要说明的是，在进行运动估计的过程中，配置文件不同，参考图像就不同。

步骤3：根据得到的每一帧的复杂度在滑动窗口内对于当前帧进行比特分配；

该步骤中，利用以下几何模型来进行比特分配：

N_SW＝min(SW,Pic_left)，

T_SWRate＝T_SWRateleft+R_tar/F，

$T_{\mathrm{curPic}}=\frac{C_{\mathrm{cur}}}{C_{\mathrm{SW}}}*T_{\mathrm{SWRate}},$

其中，SW为滑动窗口的初始化长度，Pic_left为当前编码的序列所剩余的帧数，N_SW表示在编码过程中所使用的滑动窗口的大小，是滑动窗口的初始化长度与剩余帧数中的较小值；T_SWRateleft代表当前帧编码完成后滑动窗口内剩余的比特数目，R_tar和F分别为目标码率和帧率，T_SWRate表示在对当前帧进行编码时滑动窗口内的比特数目，在当前帧编码完成之后，要根据当前剩余的帧数和剩余的比特数目对滑动窗口内的比特数目进行更新；C_cur表示当前帧的复杂度，C_SW表示滑动窗口内所有帧的复杂度的总和，T_curPic表示当前帧所分配的比特数目。在编码过程中，该实施例没有使用编码图像组(GOP)的概念，而是通过循环更新滑动窗口内的比特数目，来完成与GOP类似的功能。

步骤4：判断当前帧是否为场景切换帧，如是，则对当前帧及其后续帧进行比特处理；

该步骤中，利用下式来判断当前帧是否为场景切换帧：

${\mathrm{AP}}_{\mathrm{flag}}=\left\{\begin{array}{cc}1& C_{\mathrm{cur}}>3*\frac{C_{\mathrm{pre}}}{N_{\mathrm{pre}}}\\ 0& \mathrm{else}\end{array}\right.,$

其中，AP_flag是表示当前帧是否为场景切换帧的标记变量，C_pre表示之前所有编码帧的SAD值总和，N_pre表示之前所有已编码帧的数目，表示之前所有编码帧SAD均值的3倍，该值作为当前帧是否为场景切换帧的判断阈值，由于均值可以较好的反应已经编码的帧的平均复杂度，并且经过测试，该判断阈值能够准确地识别出场景切换帧。

其中，所述比特处理包括：自适应调整编码过程中所使用的R-λ模型中的编码参数λ，从而控制当前场景切换帧消耗的比特达到目标比特；另外，在场景切换帧后建立补偿窗口，并在补偿窗口内提高当前帧分配比特的权重。在本发明一实施例中，对于所述编码参数λ进行调整的步骤包括以下步骤：

首先，利用下式计算得到当前CTU预分配的目标比特数R_CTU：

$R_{\mathrm{CTU}}=\frac{C_{\mathrm{curCTU}}}{C_{\mathrm{leftCTU}}}*R_{\mathrm{PicLeft}},$

其中，C_curCTU表示当前CTU的SAD值，C_leftCTU表示当前帧中没有编码的CTU的SAD值总和，R_PicLeft表示当前帧剩余的比特数目。

根据上式，就可以计算出当前CTU预分配的目标比特数R_CTU，从而得到每一个CTU预分配的比特数目。

然后，依据当前CTU预分配的目标比特数R_CTU，计算得到R-λ模型中的编码参数λ_old：

${\mathrm{\λ}}_{\mathrm{old}}=\mathrm{\α}\×{\left(\frac{R_{\mathrm{CTU}}}{N_{\mathrm{CTU}}}\right)}^{\mathrm{\β}},$

其中,R_CTU表示当前CTU预分配的目标比特数，N_CTU表示当前CTU中像素的数目，则表示当前CTU的每个像素所分配的比特数，α和β为R-λ模型中计算λ的参数，从上式中可以得到当前CTU在没有调整之前的参数λ_old。

然后，计算当前的调整参数γ；

在编码过程中统计得到当前帧中所有CTU预分配的比特数R_LastTotalTar与实际消耗比特数目R_{LastTotalActual}之间的比例以及与当前CTU相邻的上一个CTU预分配的比特数R_LastCTUTar与实际消耗比特数目R_{LastCTUActual}之间的比例根据这两个值计算得到当前的调整参数γ：

$\mathrm{\&gamma;}=\left\{\begin{array}{cc}\mathrm{clip}3({\mathrm{\&eta;}}_{\mathrm{Total}},1.2*{\mathrm{\&eta;}}_{\mathrm{Total}},{\mathrm{\&eta;}}_{\mathrm{lastCTU}})& {\mathrm{\&eta;}}_{\mathrm{Total}}>1\\ \mathrm{clip}3(\mathrm{0.1,1},{\mathrm{\&eta;}}_{\mathrm{Total}})& {\mathrm{\&eta;}}_{\mathrm{Total}}<1\end{array}\right.,$

其中，clip3()这个函数表示对当前参数的限制，函数中的第一个参数是允许γ的下限，第二个参数是上限，第三个参数是赋值给γ的值，如果这个值没有超过上下限，用clip3()计算出来的结果与原来一样。

最后，利用当前的调整参数γ来调整编码参数λ_old：

λ_new＝γ*λ_old，

其中，λ_new表示调整之后的编码参数，λ_old表示调整之前的编码参数。

上式中调整的编码参数λ是目前HEVC码率控制中使用的R-λ模型中的编码参数，在码率控制中，λ根据R计算出来，再通过它来决定编码时的量化参数QP，从而完成当前视频序列的编码。

在编码参数λ调整完成之后，为了保证当前帧中不会出现明显的块效应，则当前CTU的编码参数应当受到如下限制：

${\mathrm{\&lambda;}}_{\mathrm{lastCTU}}\&CenterDot;2^{\frac{-6.0}{3.0}}\&le;{\mathrm{\&lambda;}}_{\mathrm{currCTU}}\&le;{\mathrm{\&lambda;}}_{\mathrm{lastCTU}}\&CenterDot;2^{\frac{6.0}{3.0}},$

QP_lastCTU-3≤QP_currCTU≤QP_lastCTU+3，

其中，λ_lastCTU表示当前CTU的上一个CTU编码时采用的R-λ模型的参数，λ_currCTU表示当前CTU编码时采用的R-λ模型的参数，QP_lastCTU当前CTU的上一个CTU编码时采用的量化参数，QP_currCTU表示当前CTU量化参数。

如果当前帧不是场景切换帧并且位于补偿窗口内，则利用下式所示几何模型对于当前帧进行比特分配：

$T_i=\max (T_i,\frac{T_{\mathrm{APactual}}}{\mathrm{\&delta;}*i}),i=\mathrm{1,2,3,4},$

其中，δ是补偿权重，一般设置为10，补偿窗口长度设置为4，i表示当前帧在补偿窗口中的位置，T_APactual表示当前补偿窗口之前的场景切换帧实际消耗的比特数目，T_i表示当前帧实际分配到的比特数目。

此处对于补偿窗口内的帧多分配了比特，当前帧的码率控制方法仍然采用没有调整参数的R-λ模型进行比特控制。这样做的目的是为了对场景切换帧中编码不好的一些块多分配一些比特，从而达到较好的补偿效果。

如果当前帧不是场景切换帧并且不在补偿窗口内，则采用HEVC中目前使用的R-λ模型对其进行码率控制。

步骤5：判断当前帧是否为最后一帧，如否，则更新所述滑动窗口内的比特数目和编码参数，然后返回步骤3，对于下一帧继续进行编码，如是，则结束当前视频的编码过程，编码完成。

其中，编码过程中所使用的目标码率是在没有开启码率控制的前提下，量化参数QP分别设置为22、27、32、37时，当前视频序列用HM编码的得到的实际码率。

在该步骤中，在当前帧编码结束之后，对于当前滑动窗口内剩余的比特数目和下一帧编码时所采用的R-λ模型中的编码参数进行更新。

综上，由于屏幕内容序列中每一帧和前一帧的相关性较弱，非常容易出现场景切换的情况。本发明通过建立滑动窗口，实现对视频序列的预读，对滑动窗口内的每一帧进行预分析，从而判断当前是否有场景切换帧的出现，并分别对场景切换帧、场景切换帧后补偿窗口内的帧和正常的帧分别作了相应的处理。在当前帧编码完成之后，对滑动窗口和每一帧对应的编码参数进行迭代更新，从而使得编码的过程中能够更好地控制比特的分配，减小了码率控制误差，进而提升了视频的质量。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种HEVC中屏幕内容编码的码率控制方法，其特征在于，该方法包括以下步骤：

步骤1：初始化编码参数并建立滑动窗口；

步骤2：为所述滑动窗口分配相应的比特，并且在所述滑动窗口内对于视频序列进行运动估计，得到视频序列中的每一帧图像相对于前一帧图像的复杂度变化；

步骤3：根据得到的每一帧的复杂度在滑动窗口内对于当前帧进行比特分配；

步骤4：判断当前帧是否为场景切换帧，如是，则对当前帧及其后续帧进行比特处理；

步骤5：判断当前帧是否为最后一帧，如否，则更新所述滑动窗口内的比特数目和编码参数，然后返回步骤3，对于下一帧继续进行编码，如是，则结束当前视频的编码过程，编码完成。

2.根据权利要求1所述的方法，其特征在于，在进行运动估计时，首先从当前帧的参考图像列表中找到与所述当前帧最相似的参考图像，然后基于当前帧和该参考图像进行运动估计，从而得到当前帧的绝对差值和SAD和每一个编码树单元CTU的SAD，最后得到当前帧相对于前一帧的SAD。

3.根据权利要求1所述的方法，其特征在于，在进行运动估计时，在所述搜索窗口内利用全搜索或者模板搜索来寻找最佳匹配块。

4.根据权利要求1所述的方法，其特征在于，在进行运动估计时，还设置有SAD阈值，如果当前得到的SAD值小于该SAD阈值，则退出当前帧的运动估计。

5.根据权利要求1所述的方法，其特征在于，所述步骤3中，利用下式来进行比特分配：

N_SW＝min(SW,Pic_left)，

T_SWRate＝T_SWRateleft+R_tar/F，

$T_{\mathrm{curPic}}=\frac{C_{\mathrm{cur}}}{C_{\mathrm{SW}}}*T_{\mathrm{SWRate}},$

其中，SW为滑动窗口的初始化长度，Pic_left为当前编码的序列所剩余的帧数，N_SW表示在编码过程中所使用的滑动窗口的大小；T_SWRateleft代表当前帧编码完成后滑动窗口内剩余的比特数目，R_tar和F分别为目标码率和帧率，T_SWRate表示在对当前帧进行编码时滑动窗口内的比特数目；C_cur表示当前帧的复杂度，C_SW表示滑动窗口内所有帧的复杂度的总和，T_curPic表示当前帧所分配的比特数目。

6.根据权利要求1所述的方法，其特征在于，所述步骤4中，利用下式来判断当前帧是否为场景切换帧：

${\mathrm{AP}}_{\mathrm{flag}}=\left\{\begin{array}{cc}1& C_{\mathrm{cur}}>3*\frac{C_{\mathrm{pre}}}{N_{\mathrm{pre}}}\\ 0& \mathrm{else}\end{array}\right.,$

其中，AP_flag是表示当前帧是否为场景切换帧的标记变量，C_pre表示之前所有编码帧的SAD值总和，N_pre表示之前所有已编码帧的数目。

7.根据权利要求1所述的方法，其特征在于，所述比特处理包括：自适应调整编码过程中所使用的编码参数λ，以控制当前场景切换帧消耗的比特达到目标比特；以及在场景切换帧后建立补偿窗口，并在补偿窗口内提高当前帧分配比特的权重。

8.根据权利要求7所述的方法，其特征在于，对于所述编码参数λ进行调整的步骤包括以下步骤：

首先，利用下式计算得到当前CTU预分配的目标比特数R_CTU：

$R_{\mathrm{CTU}}=\frac{C_{\mathrm{curCTU}}}{C_{\mathrm{leftCTU}}}*R_{\mathrm{PicLeft}},$

其中，C_curCTU表示当前CTU的SAD值，C_leftCTU表示当前帧中没有编码的CTU的SAD值总和，R_PicLeft表示当前帧剩余的比特数目；

然后，依据当前CTU预分配的目标比特数R_CTU，计算得到R-λ模型中的编码参数λ_old：

${\mathrm{\&lambda;}}_{\mathrm{old}}=\mathrm{\&alpha;}\&times;{\left(\frac{R_{\mathrm{CTU}}}{N_{\mathrm{CTU}}}\right)}^{\mathrm{\&beta;}},$

其中，R_CTU表示当前CTU预分配的目标比特数，N_CTU表示当前CTU中像素的数目，则表示当前CTU的每个像素所分配的比特数，α和β为R-λ模型中计算λ的参数；

然后，计算当前的调整参数γ：

$\mathrm{\&gamma;}=\left\{\begin{array}{cc}\mathrm{clip}3({\mathrm{\&eta;}}_{\mathrm{Total}},1.2*{\mathrm{\&eta;}}_{\mathrm{Total}},{\mathrm{\&eta;}}_{\mathrm{lastCTU}})& {\mathrm{\&eta;}}_{\mathrm{Total}}>1\\ \mathrm{clip}3(\mathrm{0.1,1},{\mathrm{\&eta;}}_{\mathrm{Total}})& {\mathrm{\&eta;}}_{\mathrm{Total}}<1\end{array}\right.,$

其中，函数clip3()表示对当前参数的限制，函数clip3()中第一个参数是允许γ的下限，第二个参数是上限，第三个参数是赋值给γ的值，表示当前帧中所有CTU预分配的比特数R_LastTotalTar与实际消耗比特数目R_{LastTotalActual}之间的比例，表示与当前CTU相邻的上一个CTU预分配的比特数R_LastCTUTar与实际消耗比特数目R_{LastCTUActual}之间的比例；

最后，利用当前的调整参数γ来调整编码参数λ_old：

λ_new＝γ*λ_old，

其中，λ_new表示调整之后的编码参数，λ_old表示调整之前的编码参数。

9.根据权利要求7所述的方法，其特征在于，如果当前帧不是场景切换帧并且位于补偿窗口内，则利用下式对于当前帧进行比特分配：

$T_i=\max (T_i,\frac{T_{\mathrm{APactual}}}{\mathrm{\&delta;}*i}),i=\mathrm{1,2,3,4},$

其中，δ是补偿权重，i表示当前帧在补偿窗口中的位置，T_APactual表示当前补偿窗口之前的场景切换帧实际消耗的比特数目，T_i表示当前帧实际分配到的比特数目。

10.根据权利要求7所述的方法，其特征在于，如果当前帧不是场景切换帧并且不在补偿窗口内，则采用R-λ模型对其进行码率控制。