CN109120934B - 一种适用于hevc视频编码的帧级量化参数计算方法 - Google Patents

Abstract

本发明公开了一种考虑帧间依赖的帧级量化参数计算方法。首先建立基于帧间依赖的失真预测模型(ΔD‑ΔQ_p模型)，然后将该模型运用到率失真优化中，求得率失真代价最小时的拉格朗日乘子λ，最后由λ‑Q_p关系，求出最优帧级量化参数。其中的ΔD‑ΔQ_p模型不仅体现了帧间依赖，并在建模过程中将视频内容考虑了进来，所以该模型可以根据视频内容自适应调整。本方法具有实施复杂度低的特点，方法中使用的参量均是从视频编码过程中获得，不需要复杂的计算，基本不会增加视频编码复杂度，所以不会造成系统延时。

Description

一种适用于HEVC视频编码的帧级量化参数计算方法

技术领域

本发明涉及一种适用于HEVC视频编码的帧级量化参数计算方法，适用于改进HEVC码率控制中帧级量化参数计算方法和改进HEVC的RDO(率失真优化)中D-q模型。

背景技术

在符合HEVC标准的视频编码中存在复杂的多层次空时域依赖，如：帧内和帧间预测导致的失真会发生空时域传递；上下文自适应熵编码会导致邻近编码单元之间码率消耗相互依赖，这些都使得帧级量化参数(Q_p)的计算，不再满足传统编码单元之间相互独立的假设。由于在图像组(GOP)内除I帧外，其他所有帧均采用帧间预测编码，使得帧间依赖成为影响失真传递的最大因素，所以在计算帧级量化参数时需要考虑帧间依赖。帧间依赖关系非常复杂，可以在码率控制算法中直接使用多遍编码，来分析视频帧之间的依赖关系，但是非常耗时且计算复杂度比较高，由于实际使用的编码器通常对编码实时性要求很高，所以这种方法不适合在实际中应用。

现在大多数做法是在率失真优化(RDO)中体现帧间依赖，首先通过离线统计分析建立符合帧间依赖关系的R-q，D-q模型，其中R是码率，D是失真，q是量化步长，然后根据率失真优化理论：

得出在码率约束R_T下，编码失真最小的量化参数集合

其中N为总编码帧数。但是公式(1)仅仅是对问题的描述，并不能根据该公式求解，所以在实际操作中使用拉格朗日优化方法，把公式(1)中的问题转化为可以求解的数学问题：

其中J是率失真代价，λ是拉格朗日乘子，通过公式(2)就把码率约束下的最小化失真问题，转化为求最小率失真代价J的数学问题，J取得最小时的量化参数即为最优帧级量化参数。

以前的研究已经证明，当：

即：

时取得的量化参数为最优量化参数。在符合HEVC标准的编码器中，拉格朗日乘子λ根据下式计算：

λ＝q_factor·2^(Qp-12)/3 (5)

其中q_factor是编码器中的参数。由公式(4)，(5)得出帧级量化参数为：

由公式(6)可以看出，每帧的帧级量化参数与失真对码率的偏导直接相关，所以该偏导值的计算非常重要。

基于以上分析，本方法首先提出了一种考虑帧间依赖的失真预测模型(ΔD-ΔQp模型)，目的是求出整个GOP失真的改变量ΔD，然后将求出的ΔD运用到公式(6)中求出帧级量化参数。由于在计算时考虑了帧间依赖，所以由本方法计算出来的帧级量化参数更加合理精确，同时由于ΔD-ΔQp模型能够根据视频内容自适应地调整，所以本方法具有广泛的适用性。

最接近的已有技术1：

Adaptive Quantization Parameter Selection For H.265/HEVC by EmployingInter-Frame Dependency。

该技术针对HEVC编码器中Random Access编码结构，提出了一种编码层级(codinglevel)量化参数自适应选择算法。首先在图像组(GOP)内，将图像组分为5个编码层级，依次为level0～level4，处于level0的图像进行帧内编码，level1～level4的图像参考比其低的相邻层进行帧间预测编码。然后依据反向传递理论，推导并计算出每层基于帧间依赖的失真D。最后依据率失真优化理论和λ-Qp关系模型，计算出相邻编码层之间量化参数的偏移量，并由这个偏移量结合初始量化参数得出各层的量化参数，对于处于同一层的各帧，其帧级量化参数与该层量化参数相同。

该已有技术的缺陷：

该技术提出的仅是针对Random Access编码结构的量化参数选择算法，计算出的量化参数为编码层级，所以该算法存在颗粒度较大，应用场景局限的缺点。并且由于本论文中提出的帧间依赖是基于不同编码层的，其中的level4完全没有被参考，帧间失真传递在该层终止，没有形成一个完整、连续的失真传递链，所以对于帧间依赖的分析并不全面。

最接近的已有技术2：

Adaptive Quantization Parameter Cascading in HEVC Hierarchical Coding

该技术针对HEVC编码器中Random Access编码结构，提出了一种编码层级量化参数自适应选择算法。首先该算法将同一图像组(GOP)内的图像分成若干不同的编码层，然后提出基于帧间依赖的失真传递和码率依赖模型，这两个模型分别说明了当前层的失真和码率改变量，与整个GOP失真和码率改变量之间的关系。接着根据一次D-q和二次R-q模型，得出了各层失真和码率改变量与量化步长改变量之间的模型。最后利用率失真优化理论，求出各层的最佳量化步长偏移量Δq，然后将这个最佳偏移量与GOP量化参数均值相加并结合q-Qp关系得出每层的量化参数。

该已有技术缺陷：

该技术对于所有测试序列都使用固定的参数δ来体现帧间依赖，使得该算法不能根据视频内容进行自适应调整，在普适性方面有所欠缺。同样该算法是编码层级的量化参数选择算法，所以该算法也存在颗粒度过大和帧间参考链条不完整的缺陷。

发明内容

本发明需解决的技术问题：

(1)传统的帧级量化参数计算方法为了降低编码复杂度，假设编码帧之间相互独立，使得帧级量化参数计算的不够精确，所以在考虑帧间依赖的量化参数计算方法中，需要找到合适的量来表征帧间依赖关系；

(2)传统的失真预测方法基本都是寻求建立失真与量化步长之间的模型(D-q模型)，忽略了视频内容对帧间失真传递的影响，所以基于帧间依赖的失真预测模型需要考虑视频内容，使失真预测模型能够根据视频内容自适应调整；

(3)传统的率失真优化算法都是直接运用D-q、R-q和λ-Qp模型求出最佳量化参数，如何将ΔD-ΔQp模型、ΔR-ΔQp模型和率失真算法结合，也是一个需要考虑的问题。

本发明提出了一种考虑帧间依赖的帧级量化参数计算方法。首先建立基于帧间依赖的失真预测模型(ΔD-ΔQp模型)，然后将该模型运用到率失真优化中，求得率失真代价最小时的拉格朗日乘子λ，最后由λ-Qp关系，求出最优帧级量化参数。其中的ΔD-ΔQp模型不仅体现了帧间依赖，并在建模过程中将视频内容考虑了进来，所以该模型可以根据视频内容自适应调整。本方法具有实施复杂度低的特点，方法中使用的参量均是从视频编码过程中获得，不需要复杂的计算，基本不会增加视频编码复杂度，所以不会造成系统延时。

有益技术效果

(1)通过数据分析发现帧间失真波动程度K可以体现帧间依赖，并且K与Qp_s之间存在一一映射关系，所以可以通过建立K与Qp_s之间的模型对帧间失真波动程度进行预测。同时由于Qp_s是由码率控制算法提前得出，所以依据Qp_s与K之间的模型，仅需要很少的计算量就可以得出预测结果。

(2)由于视频内容也影响帧间失真传递，所以在建立Qp_s与K的模型时需要同时考虑视频内容，因此可以建立K＝f(Qp_s,ε)的模型，更加全面地描述帧间失真依赖关系。由于该函数可以根据视频内容进行自适应调整，这样就保证了模型的普适性和准确性。同时在视频编码预处理阶段就已经得出了各帧的SATD，所以ε不需要复杂的计算就可以得出，基本不会引起编码时延。

(3)使用以上K＝f(Qp_s,ε)模型建立ΔD-ΔQp之间的模型，然后将该模型ΔD-ΔQp融合进公式(6)中，使得依据该方法求出的帧级量化参数能有效地体现帧间依赖。并且由于K可以根据视频内容自适应调整，保证了本方法的普适性。

附图说明

图1是离线启发式建模流程图；

图2是ΔQp与ΔD之间关系图；

图3是视频内容自适应的帧间失真估计模型图；

具体实施方式

下面结合附图对本发明作进一步说明。

本发明首先采用离线启发式建模的方式建立K与Qp_s、ε之间的模型，接着将建立的模型运用到ΔD-ΔQp关系中，建立ΔD-ΔQp模型，最后将ΔD、ΔR融合进λ-Qp关系中，得到帧级量化参数。

通过离线数据统计分析发现，当前帧的帧级量化参数Qp_s的改变量ΔQp，与GOP内所有帧的平均失真ΔD之间呈现线性关系，

ΔD＝K·ΔQp (7)

其中K为斜率，ΔD＝avg(MSE)，MSE为每帧的编码失真。由于avg(MSE)是整个GOP内所有Qp变化影响帧的平均失真，所以在ΔD中充分考虑了帧间依赖。经分析发现，这种线性关系的斜率值K能够体现基于依赖的失真传递特性，K越大，随着ΔQp的变化，失真ΔD的变化越剧烈，即帧间失真的波动越大，从而当前帧对整个GOP的影响越大，反之随着ΔQp的变化，ΔD的变化相对平缓，帧间失真波动较小，则当前帧对整个GOP的影响相较弱，由以上分析可以看出K实际上体现出了基于依赖的帧间失真波动的大小。并且K和Qp_s之间存在一一映射关系，K的值会随着参考帧Qp_s的变化而改变，所以可以通过建立K与Qp_s之间的关系对K进行预测。

视频内容也会影响帧间失真传递。随着视频序列长度增加，视频内容会发生变化，所以当前参考帧的失真传递过程也会有所不同。基于这样的事实，本发明使用ε来体现一定长度视频的内容，ε＝avg(SATD)，其中SATD为帧级预测失真经哈达玛变换后的值。根据以上分析可得，为了更加准确地预测帧间依赖关系，可以建立K与Qp_s和ε三者间的模型，这样就可以做到根据视频内容自适应地预测基于帧间依赖的编码失真失真。

由以上分析可以将公式(7)变换为：

ΔD＝f(Qp_s，ε)·ΔQp (8)

在公式(6)中已经证明，当前帧最优帧级量化参数与失真对码率的偏导直接相关，本方法采取对ΔD/ΔR的值取极限的方式，即

将公式(8)中求得的失真融合进公式(6)中，使通过该方法求出的帧级量化参数既能体现帧间依赖，又能根据视频内容进行自适应调整，其中ΔR为由当前帧Qp_s变化引起GOP内所有帧编码比特变化的量。

本发明具体包括如下内容：

(1)建立K与Qp_s、ε之间模型的流程

图1中的BaseQp即表示Qp_s，从图1可以看出，该流程主要两个循环组成。外层循环由Qp_s控制，其初值等于18，每循环一次Qp_s加1，一直到Qp_s等于48结束循环，之所以将Qp_s设置在18到48的区间，是因为在正常编码情况下，帧级Qp一般都在这个范围内。内层循环由ΔQp控制，每循环一次，ΔQp加0.1，其变化区间为[-5，5]，这样每个Qp_s的变化范围为[-5+Qp_s，5+Qp_s)]，从而使得对应每个Qp_s都能有足够的数据点。当内外层循环都结束后，用每次内层循环编码获取的数据以启发式离线建模的方式建立模型。

(2)数据统计分析

a)提出基于依赖的帧间失真波动程度K

如图2所示，图中X轴deltaqp即为ΔQp，ΔQp初值为-5，之后有

ΔQp＝ΔQp+0.1 (10)

直到ΔQp等于5。Y轴Meandeltamse即为δ，

其中MSE为每帧的编码失真，N＝30为编码帧数。ΔD与ΔQp之间的斜率为K，

由图2可以看出，K与Qp_s的值有关，当Qp_s变化时，K也会产生相应变化。

由图2经过进一步观察可以得出，在不同Qp_s下ΔQp与ΔD呈现出线性关系，且当Qp_s不同时，直线的斜率K也不同，当K比较大时，随着ΔQ_p的变化，ΔD变化的快，当K比较小时，随着ΔQp_s的变化，ΔD变化的慢，所以K的大小直接体现了基于依赖的帧间失真ΔD变化的趋势，所以这里将K定义为：帧间失真波动程度。

b)建立帧间失真波动程度预测模型

在编码过程中，设置不同编码帧数N，并对N的每一个值进行离线启发式建模，所得的结果如图3所示。图中的X轴为体现不同视频内容的量ε，Y轴为第一个参考帧的Qp_s，Z轴为在一定视频内容下的帧间失真波动程度K。参数ε定义如下所示：

其中N是编码帧数，N∈[10,30]。使用不同N的目的是使编码视频的内容发生变化，以便观察在不同视频内容下的特征。

由图3观察可得，在不同ε情况下，Qp_s与K之间的曲线变化趋势基本相同，不同的仅仅是K的幅度，所以可以建立这三者之间的函数关系，用来对不同视频内容下的帧间失真依赖进行预测。最后通过启发式建模，本发明建立帧间失真依赖模型以如下函数关系呈现：

其中a₁，a₂，b₁，b₂，c₁，c₂为自适应参数，会随着视频内容不同而更新。

(3)提出帧级量化参数计算方法

由公式(6)可以得出当前帧的帧级量化参数与失真对码率的偏导直接相关，使用公式(9)的方法可以准确求出该偏导值，所以这里采用如下的方法进一步推导得出精确计算帧级量化参数的方法。由于当ΔQp趋于零时，ΔR也趋于零，可以将公式(9)转化为：

由公式(7)，(8)，(14)可得：

以前的研究已经证明采用二次模型可以对码率R进行有效估计：

其中SATD_i为当前帧的SATD，q_i为当前帧的量化步长，q_i与

之间的关系为：

α₁，α₂为模型参量，由公式(17)，(18)可得ΔR为：

令-

则公式(19)转化为：

ΔR_i＝H(i)·ΔQ_p (20)

令ΔD＝f(ΔQ_p)，ΔR＝g(ΔQ_p)则公式(15)转化为：

将公式(16)，(20)带入(21)可得：

将公式(22)带入公式(6)可得当前帧的帧级量化参数为：

从公式(23)中可以看出，经本方法计算出的当前帧的帧级量化参数与K和H的比值相关，而K的值一方面体现帧间失真依赖，另一方面能随着视频内容的变化而更新，所以最终由本方法求出的帧级量化参数也具有这两方面特性。

Claims (4)

1.一种适用于HEVC视频编码的帧级量化参数计算方法，通过离线数据统计分析，当前帧的帧级量化参数Qp_s的改变量ΔQp，与GOP内所有帧的平均失真ΔD之间呈现线性关系

ΔD＝K·ΔQp (7)

其中K为斜率，ΔD＝avg(MSE)，MSE为每帧的编码失真；

将公式(7)变换为ΔD＝f(Qp_s，ε)·ΔQp (8)

ε＝avg(SATD)，其中SATD为帧级预测失真经哈达玛变换后的值；

采取对ΔD/ΔR的值取极限的方式计算，即

R是码率，D是失真；

该方法包括如下步骤：

(1)建立K与Qp_s、ε之间模型；

(2)数据统计分析；

(3)帧级量化参数计算。

2.如权利要求1所述的适用于HEVC视频编码的帧级量化参数计算方法，其特征在于：所述步骤(1)具体包括如下流程：

外层循环由Qp_s控制，其初值等于18，每循环一次Qp_s加1，一直到Qp_s等于48结束循环；内层循环由ΔQ_p控制，每循环一次，ΔQp加0.1，其变化区间为[-5，5]，每个Qp_s的变化范围为[-5+Qp_s，5+Qp_s)]；当内外层循环都结束后，用每次内层循环编码获取的数据以启发式离线建模的方式建立K与Qp_s、ε之间模型。

3.如权利要求2所述的适用于HEVC视频编码的帧级量化参数计算方法，其特征在于：所述步骤(2)具体如下：

a)提出基于依赖的帧间失真波动程度K

ΔQp＝ΔQp+0.1 (10)

其中MSE为每帧的编码失真，N＝30为编码帧数；ΔD与ΔQp之间的斜率为K，

b)建立帧间失真波动程度预测模型

参数ε定义如下所示：

其中N是编码帧数，N∈[10,30]；

建立帧间失真依赖模型以如下函数关系呈现：

其中a₁，a₂，b₁，b₂，c₁，c₂为自适应参数，随着视频内容不同而更新。

4.如权利要求3所述的适用于HEVC视频编码的帧级量化参数计算方法，其特征在于：所述步骤(3)具体如下：

由于当ΔQp趋于零时，ΔR也趋于零，将公式(9)转化为：

由公式(7)，(8)，(14)可得：

采用二次模型可以对码率R进行有效估计：

其中SATD_i为当前帧的SATD，q_i为当前帧的量化步长，q_i与

之间的关系为：

α₁，α₂为模型参量，由公式(17)，(18)可得ΔR为：

令

则公式(19)转化为：

ΔR_i＝H(i)·ΔQ_p (20)

令ΔD＝f(ΔQ_p)，ΔR＝g(ΔQ_p)，则公式(15)转化为：

将公式(16)，(20)带入(21)可得：

将公式(22)带入

可得当前帧的帧级量化参数为：

其中q_factor是编码器中的参数。

Images