CN101754003B - 一种稳定视频质量的码率控制方法 - Google Patents

Abstract

本发明涉及图像传输技术，具体涉及一种稳定视频质量的码率控制方法。该方法通过以下技术手段实现，包括以下步骤：S1：估计P帧类型图像复杂度或者I帧类型图像的复杂度；S2：获得第k帧图像的预分配码率；S3：根据得到的P帧类型图像复杂度和第k帧图像的预分配码率或者是I帧类型图像复杂度和第k帧图像的预分配码率计算出第k帧的量化参数QP_k；S4：编码器按照量化参数QP_k来编码调节压缩率，进而控制视频输出码率。本发明可平滑调控稳定视频质量，满足许多应用场合的视频需求。

Description

一种稳定视频质量的码率控制方法

技术领域

本发明涉及图像传输技术，具体涉及一种稳定视频质量的码率控制方法。

背景技术

在进行数据信号传输时，因为视频数据量很大，信道带宽相对较小，需要对视频信号进行压缩，对视频信号压缩的目的在于压缩视频数据量，实现在有限信道带宽条件下的视频传输。当前一般采用PSNR(peak signal-to-noise ratio，峰值信噪比)作为评价视频质量的客观标准，与峰值信噪比相比，SSIM(structural similarity，结构化相似度)能够更好的反映HSV(human visual system，人眼视觉系统)特性，同时它具有归一化的特性。与视频质量相关的码率控制方案是视频编码的一个重要研究方向，码率控制有两个主要的领域：CBR(constantbit rate，恒定码率)控制与VBR(Variant Bit rate，可变码率)控制。CBR以控制恒定码率为目的，当发生场景变化时，必须对大运动的视频分配较多码率才能保证高质量的视频，同时还要保证输出码率的基本恒定。在实时视频通信应用中，考虑到延时的约束，必须采用单通道(1-PASS)码率控制算法，这样的话，当发生场景变化、视频存在大运动时，既不允许采用双通道(2-PASS)算法重新优化视频帧间的码率分配，也不允许大的输出码率波动，因此大运动视频所获得的码率不足以支撑较高的视频质量，也就必然导致视频质量的下降；VBR允许码率根据场景的复杂度在一定范围内变化，通过码率在一定范围内的变动来换取较平稳的主观视频质量，但当前的很多VBR算法不能满足可平滑调控稳定视频质量的要求，而且运算复杂，实现困难，VBR算法大至被分为多通道与单通道两类，多通道技术可以提供较好的视频质量，但是由于其运算复杂度高及非实时性的特点，无法在实时视频通信系统中使用，实时视频通信系统一般采用单通道VBR方法。大多数现有单通道VBR算法采用如图1所示的开环结构，算法关注在某个参考码率及基于该参考码率的波动范围约束下如何更好的分配、控制图像层或宏块层的比特率，以达到PSNR的提升，从而提高视频质量；其中有一类单通道VBR算法不关心参考码率，而仅设定一个恒定的量化参数QP，但这种算法得到的视频输出码率很不稳定，不适合网络视频等对带宽有控制要求的应用场合。

发明内容

为了解决上述现有技术存在的不足，本发明的目的是提供一种稳定视频质量的码率控制方法。

本发明提供一种稳定视频质量的码率控制方法，包括以下步骤：S1：估计P帧类型图像复杂度或者I帧类型图像的复杂度；S2：获得第k帧图像的预分配码率；S3：根据得到的P帧类型图像复杂度和第k帧图像的预分配码率或者是I帧类型图像复杂度和第k帧图像的预分配码率计算出第k帧的量化参数QP_k；S4：编码器按照量化参数QP_k来编码调节压缩率，进而控制视频输出码率。

其中，在步骤S1中，P帧类型图像复杂度是通过如下公式计算得到：

${\mathrm{MAD}}_k=\left\{\begin{array}{c}\underset{j=1}{\overset{k-2}{\mathrm{\Σ}}}{\mathrm{MAD}}_j*q^{k-1-j}+{\mathrm{MAD}}_{k-1}(k\≥3)\\ {\mathrm{MAD}}_2={\mathrm{MAD}}_1(k=2)\end{array}\right.$

MAD_k为第k帧待编码图像的复杂度估计值，q为复杂度估计偏移因子，q＝0.85～0.95，Sum₁＝0。

其中，第一帧图像复杂度MAD₁通过如下步骤得到：S11：设定第一帧图像的量化参数QP(1)，QP(1)取26～30；S12：编码器根据根据量化参数QP(1)对第一帧图像编码，得到预分配码率ReBits₁；S13：将QP(1)、ReBits₁的值代入式子MAD_k＝ReBits_k×QP_k中，得到第一帧图像复杂度MAD₁。

其中，在步骤S1中，I帧类型图像复杂度是通过如下公式计算得到：MAD_I＝f(MAD_{P_Pre})，(MAD_{P_Pre})为已编码P帧类型图像的后验复杂度估算值，f为I帧类型图像复杂度估计算法，MAD_I为I帧类型图像复杂度，MAD_{P_Pre}＝MAD_k。I帧类型图像复杂度估计算法f采用平均值法，即

${\mathrm{MAD}}_I=\underset{j=1}{\overset{\mathrm{gopsize}-1}{\mathrm{\Σ}}}{\mathrm{MAD}}_j/\mathrm{gopsize}-1,$

MAD_j为上一个图像中P帧的后验复杂度估计，gopsize为GOP(group of picture，画面组)大小。

其中，在步骤S2中，第k帧图像的预分配码率ReBits_k通过如下公式计算得到

$\mathrm{Re}{\mathrm{Bits}}_k=\underset{j=1}{\overset{k-1}{\mathrm{\Σ}}}{\mathrm{ReBits}}_j*z^{k-j}+{\mathrm{ReBits}}_{k-1}+\mathrm{\ΔBits}\left(k\right)(k\≥2)$

Z为预分配码率估计偏移因子，ΔBits(k)为第k帧图像的码流控制量，z＝0.85-0.95；

第k帧图像的码流控制量ΔBits(k)，通过如下公式得到，

$\mathrm{\ΔBits}\left(k\right)=K_P{e}_{\mathrm{ssim}}(k-1)+K_I\underset{j=0}{\overset{k-1}{\mathrm{\Σ}}}{e}_{\mathrm{simm}}\left(j\right)+K_D[e_{\mathrm{ssim}}(k-1)-e_{\mathrm{ssim}}(k-2)]+\mathrm{Bits}\left(1\right).$

e_ssim(k-1)为k-1帧编码图像的实际SSIM值与设定SSIM值之差，设定的SSIM取值在0.9-0.99之间；

e_ssim(k-1)＝SSIM_set-SSIM(k-1)

SSIM_set为第k-1桢图像的设定SSIM值，SSIM(k-1)为编码重建图像的实际SSIM值。

K_p、K_I、K_D分别为位置式数字PID控制器的比例放大系数，因为视频变化比较平稳，在此式中不考虑微分校正，即K_D＝0，根据试验得到K_I＝200-400；根据式子K_p＝k*Δ_bitrate/Δ_ssim*f，k为比例系数，取k＝1.5-3，f为视频帧率，f＝fps，f取值5-30，Δ_bitrate为变化的码率，Δ_ssim指视频序列中在某个SSIM表征的视频质量区间内SSIM的变化量，Δ_bitrate、Δ_ssim为以ssim衡量的率失真曲线上在某个码率区间内的变化量，请参考图(3)，实际值根据不同性质的视频序列实验测定；Bits(1)＝bitrate/fps，其中bitrate为给定的参考码率取值>＝32Kbps，fps为视频帧率设为5-30。

其中，在步骤S3中，第K帧的量化参数QP_k中根据式MAD_k＝ReBits_k×QP_k得到。

其中，对积分环节输出量I_k及实际码流控制量ΔBits(k)输出作相应的限幅调整，积分环节输出量 $I_k=k_I\underset{j=0}{\overset{k-1}{\mathrm{\Σ}}}{e}_{\mathrm{ssim}}\left(j\right),$

如果I_k<0并且I_k<-bitrate/f，则I_k＝-bitrate/f；

如果ΔBits(k)<0，ΔBits(k)＝α*bitrate/f

bitrate为参考码率，f为帧率，α为比例系数，α＝0.05～0.15，bitrate为参考码率取值>＝32Kbps。

与现有技术相比，本发明具有以下优点：

本发明可平滑调控稳定视频质量，满足许多应用场合的视频需求。

附图说明

图1是现有技术的一种编码器与控制器的关系图；

图2是本发明实施例的一种视频编码PID系统的原理图；

图3是本发明实施例的以SSIM衡量的率失真性能示意图；

图4是本发明实施例的paris_CIF序列在SSIM＝0.96时的SSIM输出示意图。

具体实施方式

本发明提出的稳定视频质量的码率控制方法，结合附图和实施例说明如下。

实施例1

以下实施例用于说明本发明，但不用来限制本发明的范围。

本发明技术原理如图2所示，将自动控制理论中的PID controller(Proportional-Integral-Derivative controller，比例-积分-微分控制器)控制算法和视频压缩中的率失真模型结合起来，把实现可平滑调控稳定视频质量问题看作一个位置随动系统的自动控制问题。采用SSIM(structural similarity，结构化相似度)作为表征期望视频质量的参数，编码器中解码重构图像与原始图像间的SSIM值与给定SSIM的偏差经过PID运算后得到下一幅待编码图像的预分配码率的修正量，再运用简化的率失真模型得到量化参数。

本实施例针对视频会议场景在H.264(联合视频组(JVT)共同制定的新一代数字视频编码标准)上实现，通过如下步骤：

步骤1：

给定一个表征视频质量的SSIM值，该值范围一般取0.90～0.99；第一帧图像的量化参数QP(1)，该值一般取26～30；参考码率R，可由使用者任意指定，按现有网络条件，一般不会低于32Kbps。

步骤2：第一帧图像指按量化参数QP(1)进行编码得到第一帧图像的码率ReBits₁，按式(1)所示的简化一阶率失真模型后验估计第一帧图像的复杂度MAD₁。

$\mathrm{Re}{\mathrm{Bits}}_k=\frac{{\mathrm{MAD}}_k}{{\mathrm{QP}}_k}---\left(1\right)$

式(1)，中ReBits_k是为第k帧图像分配的码率，MAD_k为第k帧图像的复杂度估计，QP_k是为第K帧图像分配的量化参数。

步骤3：按与式(2)等价的递推公式(3)估计P帧类型图像的复杂度

${\mathrm{MAD}}_k=\left\{\begin{array}{c}\underset{j=1}{\overset{k-2}{\mathrm{\&Sigma;}}}{\mathrm{MAD}}_j*q^{k-1-j}+{\mathrm{MAD}}_{k-1}(k\&GreaterEqual;3)\\ {\mathrm{MAD}}_2={\mathrm{MAD}}_1(k=2)\end{array}\right.---\left(2\right)$

式(2)中。MAD_K为第K帧待编码图像的复杂度估计值，q为复杂度估计偏移因子，q与图像复杂度及编码器有关，代表已编码图像在图像复杂度估计计算中的权重，一般来讲，图像序列的复杂度越大、序列变化越剧烈，该值越小，但并非与复杂度呈严格的反比关系，在视频会议场景下，图像序列变化比较平缓，实验表明，0.85～0.95的取值比较合理。根据步骤2中得到的MAD1值，就可以估计出图像中各个P帧图像的复杂度，

步骤4：按式(3)所示的平均值法估计I帧类型图像复杂度

MAD_I＝f(MAD_{P_Pre})       (3)

式(3)中，MAD_{P_Pre}为已编码P帧的后验复杂度估计值，该值等于步骤3中得到的MAD_K的值，f代表I帧类型图像复杂度估计算法，f有很多种选择方法，如平均值法、加权平均法等，本实施例中按平均值法估计MAD_I，即按如下估计公式计算：

${\mathrm{MAD}}_I=\underset{j=1}{\overset{\mathrm{gopsize}-1}{\mathrm{\&Sigma;}}}{\mathrm{MAD}}_j/\mathrm{gopsize}-1---\left(4\right)$

式(5)中，MAD_j为上一个GOP(Group of Picture，画面组)中P帧图像的后验复杂度估计，本实施方式中，一个GOP由一个I帧图像和若干个P帧图像组成，gopsize为一个GOP大小。

步骤5：按式(6)计算第k-1帧编码图像的实际SSIM值与设定SSIM值间的偏差e_ssim(k-1)

e_ssim(k-1)＝SSIM_set-SSIM(k-1)          (5)

式(5)中，e_ssim(k-1)为第k-1帧编码图像的实际SSIM值与设定SSIM值间的偏差，SSIM_set为设定的SSIM值，该值范围一般取0.90～0.99，SSIM(k-1)为第k-1帧编码图像的实际SSIM值。

步骤6：按式(7)计算第k帧图像的码流控制量ΔBits(k)

$\mathrm{\&Delta;Bits}\left(k\right)=K_P{e}_{\mathrm{ssim}}(k-1)+K_I\underset{j=0}{\overset{k-1}{\mathrm{\&Sigma;}}}{e}_{\mathrm{simm}}\left(j\right)+K_D[e_{\mathrm{ssim}}(k-1)-e_{\mathrm{ssim}}(k-2)]+\mathrm{Bits}\left(1\right)$

(6)

e_ssim(k-1)为k-1帧编码图像的实际SSIM值与设定SSIM值之差，设定的SSIM取值在0.9-0.99之间；

e_ssim(k-1)＝SSIM_set-SSIM(k-1)

SSIM_set为第k-1桢图像的设定SSIM值，SSIM(k-1)为编码重建图像的实际SSIM值。

K_p、K_I、K_D分别为位置式数字PID控制器的比例放大系数，因为视频变化比较平稳，在此式中不考虑微分校正，即K_D＝0，根据试验得到K_I＝200-400；根据式子K_p＝k*Δ_bitrate/Δ_ssim*f，k为比例系数，取k＝1.5-3，f为视频帧率，f取值5-30，Δ_bitrate为变化的码率，Δ_ssim指视频序列中在某个SSIM表征的视频质量区间内SSIM的变化量；Bits(1)＝bitrate/fps，其中bitrate为给定的参考码率取值>＝32Kbps，fps为视频帧率设为5-30。

其中，在步骤S3中，第K帧的量化参数QP_k中根据式MAD_k＝ReBits_k×QP_k得到。

其中，对积分环节输出量I_k及实际码流控制量ΔBits(k)输出作相应的限幅调整，积分环节输出量 $I_k=k_I\underset{j=0}{\overset{k-1}{\mathrm{\&Sigma;}}}{e}_{\mathrm{ssim}}\left(j\right),$

如果I_k<0并且I_k<-bitrate/f，则I_k＝-bitrate/f；

如果ΔBits(k)<0，ΔBits(k)＝α*bitrate/f

bitrate为参考码率，f为帧率，α为比例系数，α＝0.05～0.15，bitrate为参考码率取值>＝32Kbps。

由于视频信号变化比较平稳，试验表明，可以不加入微分校正，即K_D＝0

为了保证系统的稳定性及良好的动态响应性能，本实施例对积分环节输出量I_k及实际ΔBits(k)输出作相应的限幅调整，

$I_K=K_I\underset{j=0}{\overset{k-1}{\mathrm{\&Sigma;}}}{e}_{\mathrm{ssim}}\left(j\right)$

如果I_k<0并且I_k<-bitrate/f，则I_k＝-bitrate/f；     (7)

如果ΔBits(k)<0，ΔBits(k)＝α*bitrate/f             (8)

式(7)、(8)中bitrate为参考码率，f为帧率。α为比例系数，α与设定视频质量表征参数SSIM有关，SSIM越大，α越大，一般取α＝0.05～0.15

步骤7：按式(12)计算第k帧图像的预分配码率ReBits_k，

$\mathrm{Re}{\mathrm{Bits}}_k=\underset{j=1}{\overset{k-1}{\mathrm{\&Sigma;}}}{\mathrm{ReBits}}_j*z^{k-j}+{\mathrm{ReBits}}_{k-1}+\mathrm{\&Delta;Bits}\left(k\right)(k\&GreaterEqual;2)$

ΔBits(k)为由步骤(6)算出的第k帧图像的码流控制量，z为预分配码率估计偏移因子，z＝0.85-0.95。

步骤8：把步骤(3)或步骤(4)及步骤(7)得到的结果代入式(1)，得到第k帧的量化参数QP_k，编码器按照第k帧的量化参数QP_k对第k帧图像进行编码。

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (3)

1.一种稳定视频质量的码率控制方法，其特征在于，包括以下步骤：

S1：估计P帧类型图像复杂度或者I帧类型图像的复杂度

P帧类型图像复杂度是通过如下公式计算得到：

${\mathrm{MAD}}_k=\left\{\begin{array}{c}\underset{j=1}{\overset{k-2}{\mathrm{\&Sigma;}}}{\mathrm{MAD}}_j*q^{k-1-j}+{\mathrm{MAD}}_{k-1}(k\&GreaterEqual;3)\\ {\mathrm{MAD}}_2={\mathrm{MAD}}_1(k=2)\end{array}\right.$

MAD_k为第k帧待编码图像的复杂度估计值，q为复杂度估计偏移因子，q＝0.85～0.95，

I帧类型图像复杂度是通过如下公式计算得到：

MAD_I＝f(MAD_{P_Pre})，MAD_{P_Pre}为已编码P帧类型图像的后验复杂度估算值，f为I帧类型图像复杂度估计算法，MAD_I为I帧类型图像复杂度，MAD_{P_Pre}＝MAD_k；

I帧类型图像复杂度估计算法f采用平均值法，即

${\mathrm{MAD}}_I=\underset{j=1}{\overset{\mathrm{gopsize}-1}{\mathrm{\&Sigma;}}}{\mathrm{MAD}}_j/\mathrm{gopsize}-1,$

MAD_j为上一个图像画面组中P帧的后验复杂度估计，gopsize为画面组大小；

S2：获得第k帧图像的预分配码率

第k帧图像的预分配码率ReBits_k通过如下公式计算得到：

${\mathrm{ReBits}}_k=\underset{j=1}{\overset{k-1}{\mathrm{\&Sigma;}}}{\mathrm{ReBits}}_j*z^{k-j}+{\mathrm{ReBits}}_{k-1}+\mathrm{\&Delta;Bits}\left(k\right)(k\&GreaterEqual;2)$

Z为预分配码率估计偏移因子，ΔBits(k)为第k帧图像的码流控制量，z＝0.85-0.95；

第k帧图像的码流控制量ΔBits(k)，通过如下公式得到，

$\mathrm{\&Delta;Bits}\left(k\right)=K_P{e}_{\mathrm{ssim}}(k-1)+K_I\underset{j=0}{\overset{k-1}{\mathrm{\&Sigma;}}}{e}_{\mathrm{ssim}}\left(j\right)+K_D[e_{\mathrm{ssim}}(k-1)-e_{\mathrm{ssim}}(k-2)]+\mathrm{Bits}\left(1\right),$

e_ssim(k-1)为k-1帧编码图像的实际SSIM值与设定SSIM值之差，设定的SSIM取值在0.9-0.99之间，获得第k-1帧编码图像的实际SSIM值；K_p、K_I、K_D分别为位置式数字PID控制器的比例放大系数，因为视频变化比较平稳，在此式中不考虑微分校正，即K_D＝0，根据试验得到K_I＝200-400；根据式子K_p＝k*Δbitrate/Δssim*f，k为比例系数，取k＝1.5-3，f为视频帧率f取值5-30，

Δbitrate为变化的码率，Δssim指视频序列中在某个SSIM表征的视频质量区间内SSIM的变化量，Bits(1)＝bitrate/fps，其中bitrate为给定的参考码率取值＞＝32Kbps，fps为视频帧率设为5-30；

S3：根据得到的P帧类型图像复杂度和第k帧图像的预分配码率或者是I帧类型图像复杂度和第k帧图像的预分配码率计算出第k帧的量化参数QP_k，

第K帧的量化参数QP_k根据式

ReBits_k＝MAD_k/QP_k得到；

S4：编码器按照量化参数QP_k来编码调节压缩率，进而控制视频输出码率。

2.如权利要求1所述的稳定视频质量的码率控制方法，其特征在于，第一帧图像复杂度MAD₁通过如下步骤得到：

S11：设定第一帧图像的量化参数QP(1)，QP(1)取26～30；

S12：编码器根据量化参数QP(1)对第一帧图像编码，得到预分配码率ReBits₁；

S13：将QP(1)、ReBits₁的值代入式子MAD_k＝ReBits_k×QP_k中，得到第一帧图像复杂度MAD₁。

3.如权利要求1所述的稳定视频质量的码率控制方法，其特征在于，对积分环节输出量I_k及实际码流控制量ΔBits(k)输出作相应的限幅调整，积分环节输出量

如果I_k＜0并且I_k＜-bitrate/f，则I_k＝-bitrate/f；

如果ΔBits(k)＜0，ΔBits(k)＝α*bitrate/f

bitrate为参考码率，f为帧率，α为比例系数，α＝0.05～0.15，bitrate为参考码率取值＞＝32Kbps。

Images