CN103533362A - 一种减小时域质量波动的三维小波视频编码码率控制方法 - Google Patents

Abstract

一种减小时域质量波动的三维小波视频编码码率控制方法，本发明涉及三维小波视频编码码率控制方法。本发明是要解决现有解码视频质量波动较大；视频编码系统不能准确估计GOP率失真及合成GOP率失真方法反映的对应的GOP内容的编码复杂度的问题，而提出了一种减小时域质量波动的三维小波视频编码码率控制方法。该方法是通过两遍扫描编码的步骤完成的；一、第一遍扫描编码，步骤1、GOP之间均匀分配码率；步骤2、根据小波子带率失真合成GOP率失真；二、第二遍扫描编码，步骤1、GOP级比特分配；步骤2、子带级码率分配；步骤3、每个子带根据获得码率进行量化编码。本发明应用于编码码率控制领域。

Description

一种减小时域质量波动的三维小波视频编码码率控制方法

技术领域

本发明涉及一种三维小波视频编码码率控制方法。

背景技术

根据视频编码所使用技术，编码方案主要有两种，一种是预测、离散余弦变换及熵编码的混合编码框架；另一种是基于小波变换技术的视频编码框架，视频信号首先分别经过时间、水平、垂直三个方向的小波变换，变换后的小波系数再经过熵编码(如3D-ESCOT)过程得到嵌入式的码流。在提供高质量的编码效率的同时，三维小波视频编码还具有嵌入式的特点，即数据码流可以在任意比特处截断并获得最好的解码质量。在三维小波编码中，由于原始视频信号被分解为时间-空间小波子带，因此码率控制可以简化为如何决定各个小波子带间的码率分配问题。在3D-ESCOT编码方法中，属于同一子带的小波系数组合为三维的子立体块并进行独立的熵编码，同时可以获得每个子块的率失真信息，码率控制是根据各子块的率失真信息进行码率分配以实现整体视频质量平均最优的，它的出发点是全局最优，并没有注意到时间方向帧质量波动问题。观察发现，质量波动大致分为宏观和微观两种情况：宏观是指在一段视频中内容发生了变化，或者是场景发生切换，码率没有及时的调整而造成的质量波动；微观是指由于小波逆变换的结构而导致的质量周期振荡。这两种现象在实际编码过程都是可以明显观察到的。

目前文献中出现的控制质量波动的方法主要集中在解决上述的第二种情况。而基于MCTF的编码器码率分配基本方式都是将所有的码率平均分配给所有的GOP，使得某些GOP会因为包含的图像所表示的内容变化剧烈或纹理丰富而出现较大的失真，另外一些GOP会因为包含的图像所表示的内容变化缓慢或纹理稀少而产生较小的失真。这种在所有GOP之间平均分配方法虽然简单，但没有考虑实际GOP内包括的具体内容，使得解码视频质量波动较大，视频质量在一段视频中包含两部分不同的场景情况下则尤为明显。并且基于MCTF小波视频编码系统缺少有效地GOP级码率分配方法，不能准确地估计GOP率失真。现有的一种由时间-空间子带率失真合成时间子带率失真，进而合成GOP率失真的方法，也体现了该率失真反映的对应的GOP内容编码复杂度的问题。

发明内容

本发明的目的是为了解决基于MCTF的编码器码率分配基本方式所产生的解码视频质量波动较大；基于MCTF小波视频编码系统缺少有效地GOP级码率分配方法，不能准确地估计GOP率失真及一种由时间-空间子带率失真合成时间子带率失真，进而合成GOP率失真方法，反映的GOP率失真对应的GOP内容的编码复杂度的问题，而提出了一种减小时域质量波动的三维小波视频编码码率控制方法。

一种减小时域质量波动的三维小波视频编码码率控制方法，包括两遍扫描编码码率分配算法：

一、第一遍扫描编码

步骤1、采用原始的编码参数对视频信号进行编码，编码后的视频信号在GOP之间利用均匀码率分配算法分配码率；

步骤2、每个GOP根据步骤一中均匀码率分配的结果，进行GOP内小波分解得到时间-空间小波子带的率失真D_S(R)，由得到的时间-空间小波子带的率失真D_S(R)再合成GOP的率失真D^GOP(R)，其中GOP的率失真D^GOP(R)为对应GOP场景复杂度模型；

其中，所述GOP内小波分解得到时间-空间小波子带具体过程为：每个GOP经过多层次的小波分解后，生成时间小波子带，每个时间小波子带再经过二维小波分解，形成时间-空间小波子带；所述时间-空间小波子带进行编码，根据时间-空间小波子带的编码结果，计算时间-空间小波子带的率失真DS(R)；

其中，所述时间-空间小波子带再合成GOP的率失真D^GOP(R)具体过程为：由时间-空间小波子带的率失真D_S(R)合成时间子带率失真D_T(R)；由时间子带率失真D_T(R)再合成GOP的率失真D^GOP(R)；

二、第二遍扫描编码

步骤1、GOP级比特分配；其中GOP级比特分配具体过程为：依据整个视频序列所有GOP的率失真D^GOP(R)，在所有GOP之间分配码率，使得所有GOP的解码质量相当的情况下，计算出分配给每个GOP的码率；

步骤2、子带级码率分配；其具体过程为：将每个GOP分配得到的码率按照小波分解形式和时间-空间小波子带率失真进一步分配给所有子带；

步骤3、每个子带根据获得码率进行量化编码；

其中第一遍编码与第二遍编码的参数应保持一致，即完成了一种减小时域质量波动的三维小波视频编码码率控制方法。

发明效果

本发明以三维小波变换的可伸缩多视频编码系统为基础，解决了一种由时间-空间子带率失真合成时间子带率失真，进而合成GOP率失真的方法中GOP率失真对应的GOP内容的编码复杂度的问题。并且基于优化码率分配原则，研究了子带率失真与原始视频信号率失真之间的数学关系，估计了原始视频信号GOP率失真。在此基础上提出了一种利用两遍编码的码率控制方法，在视频GOP之间合理分配码率，实现GOP级控制视频质量波动的目的。在编码器端，利用生成的GOP率失真，在不同GOP之间分配码率，使得所有GOP重建的质量相等。仿真结果表明按照这种方法分配结果，与传统的分配方法相比，重建视频质量波动更小。结合了时域稳定码率控制的三维小波视频编码器压缩的视频在保证整体平均视频质量变化不大的情况下，明显地改善了视频质量波动性。提出的方法与MSSVC相比，在PSNR均值(M)变化不大，在视频总体质量变化不大或没有变化的情况下，PSNR方差(S)有较大降低，视频质量的波动明显减少。“BUS-PARIS”序列在第128帧处为场景切换处，与MSSVC相比，虽然平均质量有所下降(1.0dB左右)，但是视频质量波动却显著减小；“MOBILE”序列没有这样的场景切换，在平均质量变化不大的情况下，得到的解码视频质量波动减少也是非常明显的。本发明从小波变换结构的角度研究了小波分解获得子带与原始信号之间率失真关系。将这种关系应用于小波编码器中，基于子块率失真R-D的指数衰减形式，建立由子带信号率失真构建原始信号GOP率失真的模型，基于构建的GOP率失真，提出了减少质量波动的码率控制方法，应用于三维小波编系统中。

附图说明

图1是具体实施方式一中的本文提出的两遍码率分配算法流程图；

图2是具体实施方式一中的本文提出的时间子带空间分解示意图；

图3是具体实施方式一中的本文提出的一个GOP的两层时间分解示意图；

图4是具体实施方式一中的本文提出的BUS-PARIS序列在码率为768kbps时Y分量PSNR（峰值信噪比）曲线比较图，图中Δ表示使用MSSVC(微软公司提出的小波视频编码软件)测试码率分配算法所得数据，图中Ο表示本发明提出的方法测试码率分配算法得到的数据；

图5是具体实施方式一中的本文提出的Mobile序列在码率为768kbps时Y分量PSNR（峰值信噪比）曲线比较图，图中Δ表示使用MSSVC(微软公司提出的小波视频编码软件)测试码率分配算法所得数据，图中Ο表示本发明提出的方法测试码率分配算法得到的数据。

具体实施方式

本发明技术方案不局限于以下所列举的具体实施方式，还包括各具体实施方式之间的任意组合。

具体实施方式一：本实施方式一种减小时域质量波动的三维小波视频编码码率控制方法,具体是按照以下步骤制备的：

一、第一遍扫描编码

步骤1、采用原始的编码参数对视频信号进行编码，编码后的视频信号在GOP之间利用均匀码率分配算法分配码率；

步骤2、每个GOP根据步骤一中均匀码率分配的结果，进行GOP内小波分解得到时间-空间小波子带的率失真D_S(R)，由得到的时间-空间小波子带的率失真D_S(R)再合成GOP的率失真D^GOP(R)，其中GOP的率失真D^GOP(R)为对应GOP场景复杂度模型；

其中，所述GOP内小波分解得到时间-空间小波子带具体过程为：每个GOP经过多层次的小波分解后，生成时间小波子带，每个时间小波子带再经过二维小波分解，形成时间-空间小波子带；所述时间-空间小波子带进行编码，根据时间-空间小波子带的编码结果，计算时间-空间小波子带的率失真D_S(R)；

其中，所述时间-空间小波子带再合成GOP的率失真D^GOP(R)具体过程为：由时间-空间小波子带的率失真D_S(R)合成时间子带率失真D_T(R)；由时间子带率失真D_T(R)再合成GOP的率失真D^GOP(R)；

二、第二遍扫描编码

步骤1、GOP级比特分配；其中GOP级比特分配具体过程为：依据整个视频序列所有GOP的率失真D^GOP(R)，在所有GOP之间分配码率，使得所有GOP的解码质量相当的情况下，计算出分配给每个GOP的码率；

步骤2、子带级码率分配；其具体过程为：将每个GOP分配得到的码率按照小波分解形式和时间-空间小波子带率失真进一步分配给所有子带；

步骤3、每个子带根据获得码率进行量化编码；

其中第一遍编码与第二遍编码的参数应保持一致，所述的GOP率失真是通过分析每一个GOP分解过程，利用子带率失真并按照基于率失真优化原则生成的；即完成了一种减小时域质量波动的三维小波视频编码码率控制方法；

本实施方式的实验结果及分析：

利用基于小波变换视频编码系统，使用MSSVC(微软公司提出的小波视频编码软件)测试以上所述的码率分配算法；测试序列为四个CIF序列（“Bus-Paris”，“Coastguard”，“Foreman”和“Mobile”），帧速率为30fps，编码是选择的GOP的大小为16，GOP的大小为64，编码码率分别为512kbps，768kbps和1024kbps。其中序列“Bus-Paris”为“Bus”的前128帧与“Paris”的前128合成的视频，以模拟视频场景在编码范围内发生变化的情况，如表1所示；

表1测试序列亮度分量PSNR（峰值信噪比）均值M和GOP均值的方差[S]

表1列出不同序列编码效率和失真方差，其中，M表示序列GOPPSNR（GOP峰值信噪比）的均值，S则为所有GOP失真均值的标准差，MSSVC表示使用MSSVC(微软公司提出的小波视频编码软件)测试码率分配算法所得数据，proposed表示本发明提出的方法测试码率分配算法得到的数据。表1反映了视频质量的波动；

从表1中数据可以看出，提出的方法与MSSVC相比，在PSNR均值(M)变化不大，也就是说在视频总体质量变化不大或没有变化的情况下，PSNR方差(S)有较大降低，说明视频质量的波动明显减少；图4、5分别描述了序列“BUS-PARIS”和“MOBILE”所有256帧亮度PSNR值变化曲线，“BUS-PARIS”序列在第128帧处为场景切换处，与MSSVC相比，虽然平均质量有所下降(1.0dB左右)，但是视频质量波动却显著减小；“MOBILE”序列没有这样的场景切换，在平均质量变化不大的情况下，得到的解码视频质量波动减少也是非常明显的；其中，BUS-PARIS序列在码率为768kbps时Y分量PSNR曲线比较如图4所示；Mobile序列在码率为768kbps时Y分量PSNR曲线比较如图5所示；

本实施方式的结论：

本发明从小波变换结构的角度研究了小波分解获得子带与原始信号之间率失真关；将这种关系应用于小波编码器中，基于子块率失真R-D的指数衰减形式，建立由子带信号率失真构建原始信号GOP率失真的模型，基于构建的GOP率失真，提出了减少质量波动的码率控制方法，应用于三维小波编系统中；实验结果表明，结合了时域稳定码率控制的三维小波视频编码器压缩的视频在保证整体平均视频质量变化不大的情况下，明显地改善了视频质量波动性。

具体实施方式二：本实施方式与具体实施方式一不同的是：第一遍扫描过程中步骤2所述GOP率失真函数推导过程为：

(1)时间-空间子带率失真D_S(R)

经MCTF分解获得的每个时间子带t_lj再执行二维小波变换(2D-DWT)，假设分解层数为I层，则获得I+1层时间-空间子带；其中第i(1≤i≤I)层包含表示三个不同方向(k=1,2,3)的高通时间-空间子带S_ljik和一个低通子带Sl_jI+1，如图2所示；根据时间-空间小波子带的编码结果，计算时间-空间小波子带的率失真D_S(R)；

其时间-空间子带率失真D_S(R)假设为指数形式为：

$D_s\left(R\right)=E_s{e}^{-{\mathrm{\α}}_{s}R}---\left(1\right)$

由于实际编码器采用嵌入式编码技术，随着量化步长的变化，在编码过程中可以获得离散的码率-失真点，利用上述指数形式对码率-失真点拟合可以获得参数E_s,α_s的值，其中E_s为码率为零是子带的失真，一般使用子带的方差表示，α_s为表示率失真函数衰减程度；

(2)时间子带率失真D_T(R)

其主要过程为在实际的小波编码系统中，视频序列平均划分为一系列由一定数量连续帧组成的分解基本单元GOP(group of pictures)，每个GOP的处理方法完全一样；每个GOP内包含

帧X_m(m=1,2,...,N)，L层MCTF后，生成L+1个时间子带T_l(l=1,2,...,L+1)，其中第l(l=1,2,...,L)层有N/2^l帧高通时间子带t_lj(j=1,2,...,N/2^l0，第L+1层有一帧低通时间子带t_L+1，如图3所示；

其推导过程为假设时间子带T_l中的元素（帧）t_lj经过I层二维小波空间分解获得，其率失真函数的参数分别为E_ljik,α_ljik；则t_lj的码率和失真函数分别为：

$D^{\mathrm{lj}}\left(\mathrm{\λ}\right)=\underset{i=1}{\overset{I}{\mathrm{\Σ}}}\underset{k=1}{\overset{3}{\mathrm{\Σ}}}\frac{1}{4^i}{G}_{\mathrm{ljik}}\frac{-\mathrm{\λ}}{{\mathrm{\α}}_{\mathrm{ljik}}}+\frac{1}{4^I}{G}_{\mathrm{ljI}+1}\frac{-\mathrm{\λ}}{{\mathrm{\α}}_{\mathrm{ljI}+1}}---\left(2\right)$

$R^{\mathrm{lj}}\left(\mathrm{\λ}\right)=\underset{i=1}{\overset{L}{\mathrm{\Σ}}}\underset{k=1}{\overset{3}{\mathrm{\Σ}}}\frac{1}{4^i}(-\frac{1}{{\mathrm{\α}}_{\mathrm{ljik}}})\ln \left(\frac{-\mathrm{\λ}}{{\mathrm{\α}}_{\mathrm{ljik}}{E}_{\mathrm{ljik}}}\right)+\frac{1}{4^I}(-\frac{1}{{\mathrm{\α}}_{\mathrm{ljL}+1}})\ln \left(\frac{-\mathrm{\λ}}{{\mathrm{\α}}_{\mathrm{ljL}+1}{E}_{\mathrm{ljL}+1}}\right)---\left(3\right)$

式（2）（3）中的参数i(i=1,...,I)表示小波空间分解层，k(k=1,2,3)表示相同小波空间分解层中不同方向上的子带；k=1表示水平方向高频，垂直方向低频的子带；k=2表示水平方向高频、垂直方向高频的子带；k=3表示水平方向低频、垂直方向高频的子带，λ为这两个参数方程的参数；

如果2D-DWT变换中采用的小波基为双正交小波9/7，合成增益消除参数λ，则t_lj的率失真D^lj(R)很容易获得；则时间子带T_l的率失真D_l(R)为：

$D_l\left(R\right)=\frac{1}{N/2^l}\underset{j=1}{\overset{N/2^l}{\mathrm{\Σ}}}{D}^{\mathrm{lj}}\left(R\right)---\left(4\right)$

式中，N/2^l表示一段信号GOS(group of signal)包含

个元素X_i(i=1,2,...,N)，小波变换后，产生L+1层子带，第l(l=1,2,...,L)层高通子带S_l包含N/2^l个系数，j标识高通子带S_l子带中每一个子带元素；

结合式(2)、(3)和(4)可以求出间子带T_l(l=1,2,...,L+1)率失真D^l(R)参数E_l,α_l的值；

(3)GOP率失真D_GOP(R)

GOP的码率和失真函数分别为：

$D^{\mathrm{GOP}}\left(\mathrm{\λ}\right)=\underset{l=1}{\overset{L}{\mathrm{\Σ}}}\frac{1}{2^l}{G}_l\frac{-\mathrm{\λ}}{{\mathrm{\α}}_l}+\frac{1}{2^L}{G}_{L+1}\frac{-\mathrm{\λ}}{{\mathrm{\α}}_{L+1}}---\left(5\right)$

$R^{\mathrm{GOP}}\left(\mathrm{\λ}\right)=\underset{l=1}{\overset{L}{\mathrm{\Σ}}}\frac{1}{2^l}(-\frac{1}{{\mathrm{\α}}_1})\ln \left(\frac{-\mathrm{\λ}}{{\mathrm{\α}}_l{E}_l}\right)+\frac{1}{2^L}(-\frac{1}{{\mathrm{\α}}_{L+1}})\ln \left(\frac{-\mathrm{\λ}}{{\mathrm{\α}}_{L+1}{E}_{L+1}}\right)---\left(6\right)$

式（5）、（6）中的参数l(i=1,...,L)代表小波时间分解子带；α_l，E_l分别为对应子带率失真函数衰减系数和子带方差；λ为这两个参数方程的参数，消除参数λ，则获得GOP的率失真函数D^GOP(R)。其它步骤及参数与具体实施方式一相同。

具体实施方式三：本实施方式与具体实施方式一或二不同的是：对第一遍扫描过程中步骤2所述合成的GOP的率失真函数D^GOP(R)进行合成增益G_l的计算过程如下：

如果MCTF中小波基采用5/3滤波器，低通合成滤波器系数h[n]为(1/2,1,1/2)，高通合成滤波器g[n]系数为(-1/8,-1/4,3/4,-1/4,-1/8)；基于这些滤波器系数，单层或多层MCTF的每个时间子带变换增益可以以下步骤计算；

单层MCTF的低通子带和高通子带增益为：

$G_0=\underset{n}{\mathrm{\Σ}}{h}^2\left[n\right]=1.5---\left(7\right)$

$G_1=\underset{n}{\mathrm{\Σ}}{g}^2\left[n\right]0.71875---\left(8\right)$

则L层MCTF后第l层高通时间子带变换增益为：

G_l=(G₀)^l-1×G₁,l=1,2,...,L  (9)

则第L+1层低通时间子带变换增益为：

G_L+1=(G₀)^L  (10)。其它步骤及参数与具体实施方式一或二相同。

具体实施方式四：本实施方式与具体实施方式一至三之一不同的是：公式(2)、（3）、(5)、（6）是通过以下过程推导的：

一段信号GOS(group of signal)包含个元素X_i(i=1,2,...,N)，小波变换后，产生L+1层子带，第l(l=1,2,...,L)层高通子带S_l包含N/2^l个系数，第L+1层为包含1个元素的低通子带S_L+1；子带的S_l率失真为D_l(R_l),l=1,2,...,L+1；假设它们的率失真均为指数形式，即

$D_l\left(R_l\right)=E_l{e}^{-{\mathrm{\α}}_l{R}_l}---\left(11\right)$

设指定给GOS的码率为R_GOS，优化分配给它所产生的每一个子带S_l(l=1,2,...,L+1)，每个子带获得的码率为R_l，产生的失真为D_l；

如果不考虑小波滤波器带来的变换增益和子带包含系数个数的影响，优化分配问题可以定义为：

$\min (D=\underset{l}{\mathrm{\Σ}}{D}_l),s.t.\underset{l}{\mathrm{\Σ}}{R}_l\≤R_{\mathrm{GOS}}---\left(12\right)$

其中，R_GOS为目标码率。利用拉格朗日乘子可以处理上述优化问题，定义为代价函数：

$J=\underset{l=1}{\overset{L}{\mathrm{\Σ}}}\frac{1}{2^l}{G}_l{D}_l\left(R_l\right)+\frac{1}{2^L}{G}_{L+1}{D}_{L+1}\left(R_{L+1}\right)+\mathrm{\λ}(\underset{l=1}{\overset{L}{\mathrm{\Σ}}}\frac{1}{2^l}{R}_l+\frac{1}{2^L}{R}_{L+1}-R_{\mathrm{GOS}})---\left(13\right)$

其中，G_l为子带S_l合成增益，它们取决于分解时使用的小波基；通过求代价函数J关于R_l偏导数，并令偏导数为零，可求出使得代价函数J最小的解，当代价函数J达到最小时，每个子带率失真切线斜率

是相等的，即：

${\mathrm{\λ}}_l=\widehat{\mathrm{\λ}},l=\mathrm{1,2},...,L+1---\left(14\right)$

其中，

${\mathrm{\λ}}_l=\frac{{\∂D}_l\left(R_l\right)}{{\∂R}_l}=E_l{e}^{-{\mathrm{\α}}_l{R}_l}(-{\mathrm{\α}}_l)---\left(15\right)$

由式(11)和(15)可以知道：

$D_l\left(\mathrm{\λ}\right)=\frac{-\mathrm{\λ}}{{\mathrm{\α}}_l}---\left(16\right)$

$R_l\left(\mathrm{\λ}\right)=(-\frac{1}{{\mathrm{\α}}_l})\ln \frac{-\mathrm{\λ}}{{\mathrm{\α}}_l{E}_l}---\left(17\right)$

$D^{\mathrm{GOS}}\left(\mathrm{\λ}\right)=\underset{l=1}{\overset{L}{\mathrm{\Σ}}}\frac{1}{2^l}{G}_l\frac{-\mathrm{\λ}}{{\mathrm{\α}}_l}+\frac{1}{2^L}{G}_{L+1}\frac{-\mathrm{\λ}}{{\mathrm{\α}}_{L+1}}---\left(18\right)$

α_l，E_l分别为对应子带率失真函数衰减系数和子带方差，λ为这两个参数方程的参数；

$R^{\mathrm{GOS}}\left(\mathrm{\λ}\right)=\underset{l=1}{\overset{L}{\mathrm{\Σ}}}\frac{1}{2^l}(-\frac{1}{{\mathrm{\α}}_l})\ln \left(\frac{-\mathrm{\λ}}{{\mathrm{\α}}_l{E}_l}\right)+\frac{1}{2^L}(-\frac{1}{{\mathrm{\α}}_{L+1}})\ln \left(\frac{-\mathrm{\λ}}{{\mathrm{\α}}_{L+1}{E}_{L+1}}\right)---\left(19\right)$

α_l，E_l分别为对应子带率失真函数衰减系数和子带方差，λ为这两个参数方程的参数；

结合公式(18)和(19)消除参数λ，可以获得GOS的率失真：

D^GOS(R)=ae^c/be^R/b  (20)

其中：

$a=\underset{l=1}{\overset{L}{\mathrm{\Σ}}}\frac{1}{2^l}{G}_l\frac{1}{{\mathrm{\α}}_l}+\frac{1}{2^L}{G}_{L+1}\frac{1}{{\mathrm{\α}}_{L+1}}---\left(21\right)$

$b=-\underset{l=1}{\overset{L}{\mathrm{\Σ}}}\frac{1}{2^l{\mathrm{\α}}_l}-\frac{1}{2^L{\mathrm{\α}}_{L+1}}---\left(22\right)$

$\underset{l=1}{\overset{L}{\mathrm{\Σ}}}\frac{1}{2^l{\mathrm{\α}}_l}\ln \left({\mathrm{\α}}_l{E}_l\right)-\frac{1}{2^L{\mathrm{\α}}_{L+1}}\ln \left({\mathrm{\α}}_L{E}_{L+1}\right)---\left(23\right).$

其它步骤及参数与具体实施方式一至三之一相同。

具体实施方式五：本实施方式与具体实施方式一至四之一不同的是：在第二遍扫描过程中，步骤一中所述GOP率失真利用第一遍扫描过程中生成GOP率失真。其它步骤及参数与具体实施方式一至四之一相同。

具体实施方式六：本实施方式与具体实施方式一至五之一不同的是：在第二遍扫描过程中，步骤一中所述GOP级比特分配函数推导过程为：

假设视频序列分为M个GOP，第j个GOP的率失真为

按照下列方法将R_T比特分配给所有GOP：

$\left\{\begin{array}{c}{D}_1^{\mathrm{GOP}}\left(R_1\right)=D_2^{\mathrm{GOP}}\left(R_2\right)=...=D_M^{\mathrm{GOP}}\left(R_M\right)\\ \underset{j=1}{\overset{M}{\mathrm{\Σ}}}{R}_j=R_T\end{array}\right.---\left(24\right)$

所以，分配给第j个GOP的比特为：

$R_j=\frac{(R_T+\underset{j=1}{\overset{M}{\mathrm{\Σ}}}\frac{\ln E_j}{-{\mathrm{\α}}_j})/\underset{j=1}{\overset{M}{\mathrm{\Σ}}}\frac{1}{-{\mathrm{\α}}_j}-\ln E_j}{-{\mathrm{\α}}_j}---\left(25\right)$

即完成了GOP级比特分配函数推导过程。其它步骤及参数与具体实施方式一至五之一相同。

Claims (6)

1.一种减小时域质量波动的三维小波视频编码码率控制方法，其特征在于一种减小时域质量波动的三维小波视频编码码率控制方法是按照以下步骤实现的：

一、第一遍扫描编码

步骤1、采用原始的编码参数对视频信号进行编码，编码后的视频信号在GOP之间利用均匀码率分配算法分配码率；

步骤2、每个GOP根据步骤一中均匀码率分配的结果，进行GOP内小波分解得到时间-空间小波子带的率失真D_S(R)，由得到的时间-空间小波子带的率失真D_S(R)再合成GOP的率失真D^GOP(R)，其中GOP的率失真D^GOP(R)为对应GOP场景复杂度模型；

其中，所述GOP内小波分解得到时间-空间小波子带具体过程为：每个GOP经过多层次的小波分解后，生成时间小波子带，每个时间小波子带再经过二维小波分解，形成时间-空间小波子带；所述时间-空间小波子带进行编码，根据时间-空间小波子带的编码结果，计算时间-空间小波子带的率失真D_S(R)；

其中，所述时间-空间小波子带再合成GOP的率失真D^GOP(R)具体过程为：由时间-空间小波子带的率失真D_S(R)合成时间子带率失真D_T(R)；由时间子带率失真D_T(R)再合成GOP的率失真D^GOP(R)；

二、第二遍扫描编码

步骤1、GOP级比特分配；其中GOP级比特分配具体过程为：依据整个视频序列所有GOP的率失真D^GOP(R)，在所有GOP之间分配码率，使得所有GOP的解码质量相当的情况下，计算出分配给每个GOP的码率；

步骤2、子带级码率分配；其具体过程为：将每个GOP分配得到的码率按照小波分解形式和时间-空间小波子带率失真进一步分配给所有子带；

步骤3、每个子带根据获得码率进行量化编码；即完成了一种减小时域质量波动的三维小波视频编码码率控制方法。

2.根据权利要求1所述一种减小时域质量波动的三维小波视频编码码率控制方法，其特征在于所述第一遍扫描编码步骤2中GOP的率失真函数推导过程为：

(1)计算时间-空间子带率失真D_S(R)

经MCTF分解获得的每个时间子带t_lj再执行二维小波变换(2D-DWT)，假设分解层数为I层，则获得I+1层时间-空间子带；其中第i(1≤i≤I)层包含表示三个不同方向(k=1,2,3)的高通时间-空间子带S_ljik和一个低通子带S_ljI+1；根据时间-空间小波子带的编码结果，计算时间-空间小波子带的率失真D_S(R)；

其时间-空间子带率失真D_S(R)假设为指数形式为：

$D_s\left(R\right)=E_s{e}^{-{\mathrm{\α}}_{s}R}---\left(1\right)$

由于实际编码器采用嵌入式编码技术，随着量化步长的变化，在编码过程中可以获得离散的码率-失真点，利用上述指数形式对码率-失真点拟合可以获得参数E_s,α_s的值，其中E_s为码率为零是子带的失真，一般使用子带的方差表示，α_s为表示率失真函数衰减程度；

(2)计算时间子带率失真D_T(R)

其主要过程为每个GOP内包含

帧X_m(m=1,2,...,N)，L层MCTF后，生成L+1个时间子带T_l(l=1,2,...,L+1)，其中第l(l=1,2,...,L)层有N/2^l帧高通时间子带t_lj(j=1,2,...,N/2^l)，第L+1层有一帧低通时间子带t_L+1；

其推导过程为假设时间子带T_l中的元素（帧）t_lj经过I层二维小波空间分解获得，其率失真函数的参数分别为E_ljik,α_ljik；则t_lj的码率和失真函数分别为：

$D^{\mathrm{lj}}\left(\mathrm{\λ}\right)=\underset{i=1}{\overset{I}{\mathrm{\Σ}}}\underset{k=1}{\overset{3}{\mathrm{\Σ}}}\frac{1}{4^i}{G}_{\mathrm{ljik}}\frac{-\mathrm{\λ}}{{\mathrm{\α}}_{\mathrm{ljik}}}+\frac{1}{4^I}{G}_{\mathrm{ljI}+1}\frac{-\mathrm{\λ}}{{\mathrm{\α}}_{\mathrm{ljI}+1}}---\left(2\right)$

$R^{\mathrm{lj}}\left(\mathrm{\λ}\right)=\underset{i=1}{\overset{L}{\mathrm{\Σ}}}\underset{k=1}{\overset{3}{\mathrm{\Σ}}}\frac{1}{4^i}(-\frac{1}{{\mathrm{\α}}_{\mathrm{ljik}}})\ln \left(\frac{-\mathrm{\λ}}{{\mathrm{\α}}_{\mathrm{ljik}}{E}_{\mathrm{ljik}}}\right)+\frac{1}{4^I}(-\frac{1}{{\mathrm{\α}}_{\mathrm{ljL}+1}})\ln \left(\frac{-\mathrm{\λ}}{{\mathrm{\α}}_{\mathrm{ljL}+1}{E}_{\mathrm{ljL}+1}}\right)---\left(3\right)$

式（2）（3）中的参数i(i=1,...,I)表示小波空间分解层，k(k=1,2,3)表示相同小波空间分解层中不同方向上的子带；k=1表示水平方向高频，垂直方向低频的子带；k=2表示水平方向高频、垂直方向高频的子带；k=3表示水平方向低频、垂直方向高频的子带，λ为这两个参数方程的参数；

如果2D-DWT变换中采用的小波基为双正交小波9/7，合成增益消除参数λ，则t_lj的率失真D^lj(R)很容易获得；则时间子带T_l的率失真D_l(R)为：

$D_l\left(R\right)=\frac{1}{N/2^l}\underset{j=1}{\overset{N/2^l}{\mathrm{\Σ}}}{D}^{\mathrm{lj}}\left(R\right)---\left(4\right)$

式中，N/2^l表示一段信号GOS(group of signal)包含

个元素X_i(i=1,2,...,N)，小波变换后，产生L+1层子带，第l(l=1,2,...,L)层高通子带S_l包含N/2^l个系数，j标识高通子带S_l子带中每一个子带元素；

结合式(2)、(3)和(4)可以求出间子带T_l(l=1,2,...,L+1)率失真D^l(R)参数E_l,α_l的值。

(3)合成GOP率失真D_GOP(R)

GOP的码率和失真函数分别为：

$D^{\mathrm{GOP}}\left(\mathrm{\λ}\right)=\underset{l=1}{\overset{L}{\mathrm{\Σ}}}\frac{1}{2^l}{G}_l\frac{-\mathrm{\λ}}{{\mathrm{\α}}_l}+\frac{1}{2^L}{G}_{L+1}\frac{-\mathrm{\λ}}{{\mathrm{\α}}_{L+1}}---\left(5\right)$

$R^{\mathrm{GOP}}\left(\mathrm{\λ}\right)=\underset{l=1}{\overset{L}{\mathrm{\Σ}}}\frac{1}{2^l}(-\frac{1}{{\mathrm{\α}}_1})\ln \left(\frac{-\mathrm{\λ}}{{\mathrm{\α}}_l{E}_l}\right)+\frac{1}{2^L}(-\frac{1}{{\mathrm{\α}}_{L+1}})\ln \left(\frac{-\mathrm{\λ}}{{\mathrm{\α}}_{L+1}{E}_{L+1}}\right)---\left(6\right)$

式（5）、（6）中的参数l(i=1,...,L)代表小波时间分解子带；α_l，E_l分别为对应子带率失真函数衰减系数和子带方差；λ为这两个参数方程的参数，消除参数λ，则获得GOP的率失真函数D^GOP(R)。

3.根据权利要求1所述一种减小时域质量波动的三维小波视频编码码率控制方法，其特征在于对第一遍扫描过程中步骤2所述合成的GOP的率失真函数D^GOP(R)进行合成增益G_l的计算过程如下：

如果MCTF中小波基采用5/3滤波器，低通合成滤波器系数h[n]为(1/2,1,1/2)，高通合成滤波器g[n]系数为(-1/8,-1/4,3/4,-1/4,-1/8)；基于这些滤波器系数，单层或多层MCTF的每个时间子带变换增益可以以下步骤计算；

单层MCTF的低通子带和高通子带增益为：

$G_0=\underset{n}{\mathrm{\Σ}}{h}^2\left[n\right]=1.5---\left(7\right)$

$G_1=\underset{n}{\mathrm{\Σ}}{g}^2\left[n\right]0.71875---\left(8\right)$

则L层MCTF后第l层高通时间子带变换增益为：

G_l=(G₀)^l-1×G₁,l=1,2,...,L  (9)

则第L+1层低通时间子带变换增益为：

G_L+1=(G₀)^L  (10)。

4.根据权利要求2所述一种减小时域质量波动的三维小波视频编码码率控制方法，其特征在于公式(2)、（3）、(5)、（6）是通过以下过程推导的：

一段信号GOS(group of signal)包含

个元素X_i(i=1,2,...,N)，小波变换后，产生L+1层子带，第l(l=1,2,...,L)层高通子带S_l包含N/2^l个系数，第L+1层为包含1个元素的低通子带S_L+1；子带的S_l率失真为D_l(R_l),l=1,2,...,L+1；假设它们的率失真均为指数形式，即

$D_l\left(R_l\right)=E_l{e}^{-{\mathrm{\α}}_l{R}_l}---\left(11\right)$

设指定给GOS的码率为R_GOS，优化分配给它所产生的每一个子带S_l(l=1,2,...,L+1)，每个子带获得的码率为R_l，产生的失真为D_l；

如果不考虑小波滤波器带来的变换增益和子带包含系数个数的影响，优化分配问题可以定义为：

$\min (D=\underset{l}{\mathrm{\Σ}}{D}_l),s.t.\underset{l}{\mathrm{\Σ}}{R}_l\≤R_{\mathrm{GOS}}---\left(12\right)$

其中，R_GOS为目标码率。利用拉格朗日乘子可以处理上述优化问题，定义为代价函数：

$J=\underset{l=1}{\overset{L}{\mathrm{\Σ}}}\frac{1}{2^l}{G}_l{D}_l\left(R_l\right)+\frac{1}{2^L}{G}_{L+1}{D}_{L+1}\left(R_{L+1}\right)+\mathrm{\λ}(\underset{l=1}{\overset{L}{\mathrm{\Σ}}}\frac{1}{2^l}{R}_l+\frac{1}{2^L}{R}_{L+1}-R_{\mathrm{GOS}})---\left(13\right)$

其中，G_l为子带S_l合成增益，它们取决于分解时使用的小波基；通过求代价函数J关于R_l偏导数，并令偏导数为零，可求出使得代价函数J最小的解，当代价函数J达到最小时，每个子带率失真切线斜率是相等的，即：

${\mathrm{\λ}}_l=\widehat{\mathrm{\λ}},l=\mathrm{1,2},...,L+1---\left(14\right)$

其中，

${\mathrm{\λ}}_l=\frac{{\∂D}_l\left(R_l\right)}{{\∂R}_l}=E_l{e}^{-{\mathrm{\α}}_l{R}_l}(-{\mathrm{\α}}_l)---\left(15\right)$

由式(11)和(15)可以知道：

$D_l\left(\mathrm{\λ}\right)=\frac{-\mathrm{\λ}}{{\mathrm{\α}}_l}---\left(16\right)$

$R_l\left(\mathrm{\λ}\right)=(-\frac{1}{{\mathrm{\α}}_l})\ln \frac{-\mathrm{\λ}}{{\mathrm{\α}}_l{E}_l}---\left(17\right)$

$D^{\mathrm{GOS}}\left(\mathrm{\λ}\right)=\underset{l=1}{\overset{L}{\mathrm{\Σ}}}\frac{1}{2^l}{G}_l\frac{-\mathrm{\λ}}{{\mathrm{\α}}_l}+\frac{1}{2^L}{G}_{L+1}\frac{-\mathrm{\λ}}{{\mathrm{\α}}_{L+1}}---\left(18\right)$

α_l，E_l分别为对应子带率失真函数衰减系数和子带方差，λ为这两个参数方程的参数。

$R^{\mathrm{GOS}}\left(\mathrm{\λ}\right)=\underset{l=1}{\overset{L}{\mathrm{\Σ}}}\frac{1}{2^l}(-\frac{1}{{\mathrm{\α}}_l})\ln \left(\frac{-\mathrm{\λ}}{{\mathrm{\α}}_l{E}_l}\right)+\frac{1}{2^L}(-\frac{1}{{\mathrm{\α}}_{L+1}})\ln \left(\frac{-\mathrm{\λ}}{{\mathrm{\α}}_{L+1}{E}_{L+1}}\right)---\left(19\right)$

α_l，E_l分别为对应子带率失真函数衰减系数和子带方差，λ为这两个参数方程的参数；

结合公式(18)和(19)消除参数λ，可以获得GOS的率失真：

D^GOS(R)=ae^c/be^R/b  (20)

其中：

$a=\underset{l=1}{\overset{L}{\mathrm{\Σ}}}\frac{1}{2^l}{G}_l\frac{1}{{\mathrm{\α}}_l}+\frac{1}{2^L}{G}_{L+1}\frac{1}{{\mathrm{\α}}_{L+1}}---\left(21\right)$

$\underset{l=1}{\overset{L}{\mathrm{\Σ}}}\frac{1}{2^l{\mathrm{\α}}_l}-\frac{1}{2^L{\mathrm{\α}}_{L+1}}---\left(22\right)$

$c=-\underset{l=1}{\overset{L}{\mathrm{\Σ}}}\frac{1}{2^l{\mathrm{\α}}_l}\ln \left({\mathrm{\α}}_l{E}_l\right)-\frac{1}{2^L{\mathrm{\α}}_{L+1}}\ln \left({\mathrm{\α}}_L{E}_{L+1}\right)---\left(23\right).$

5.根据权利要求1所述一种减小时域质量波动的三维小波视频编码码率控制方法，其特征在于在第二遍扫描过程中，步骤一中所述GOP率失真是利用第一遍扫描过程中生成GOP率失真。

6.根据权利要求1所述一种减小时域质量波动的三维小波视频编码码率控制方法，其特征在于步骤一中所述GOP级比特分配函数推导过程为：

假设视频序列分为M个GOP，第j个GOP的率失真为

按照下列方法将R_T比特分配给所有GOP：

$\left\{\begin{array}{c}{D}_1^{\mathrm{GOP}}\left(R_1\right)=D_2^{\mathrm{GOP}}\left(R_2\right)=...=D_M^{\mathrm{GOP}}\left(R_M\right)\\ \underset{j=1}{\overset{M}{\mathrm{\Σ}}}{R}_j=R_T\end{array}\right.---\left(24\right)$

所以，分配给第j个GOP的比特为：

$R_j=\frac{(R_T+\underset{j=1}{\overset{M}{\mathrm{\Σ}}}\frac{\ln E_j}{-{\mathrm{\α}}_j})/\underset{j=1}{\overset{M}{\mathrm{\Σ}}}\frac{1}{-{\mathrm{\α}}_j}-\ln E_j}{-{\mathrm{\α}}_j}---\left(25\right).$

Images