CN102892004B - 一种多视点视频编码码率控制方法 - Google Patents

Abstract

本发明公开了一种多视点视频编码码率控制方法，涉及视频编码技术领域，所述方法包括以下步骤：基于MVC编码器结构，依据视频帧的位置和类型，选择采用固定量化参数或通过计算帧复杂度计算分配给当前帧的目标比特；通过基于层间比例关系的头比特预测模型预测当前帧头比特；通过双向MAD预测模型预测当前帧MAD；根据二次率失真模型、当前帧头比特和当前帧MAD计算当前要编码帧的QP值；通过当前要编码帧的QP值对视频序列进行编码。通过基于层间比例关系的头比特预测模型和/或双向MAD预测模型实现了更准确的码率控制，减少了比特率误差；并且通过实验验证了本方法的可行性。

Description

一种多视点视频编码码率控制方法

技术领域

本发明涉及视频编码技术领域，尤其涉及一种针对多视点视频编码中分层B帧预测结构的码率控制方法。

背景技术

多视点视频（MVV）从多个视点对同一个视频场景进行采集，使观察者能够体验到更加真实和自然的视频场景。MVV在3D电视（3DTV）、自由视点视频(FVV)以及自由视点电视(FTV)中有着广泛的应用。MVV数据量大，在实际应用中为了便于存储和传输要对多视点视频进行压缩，为此产生了多视点视频编码(MVC)技术。

联合视频专家组（JVT）开展了MVC标准的研究，并发布了联合多视点视频编码模型（JMVC）参考软件，为MVC的研究带来了方便。基于MVV存在的时间和空间冗余，研究者提出一种基于分层B帧的时间/空间的混合预测结构，这种结构被MVC标准所采用。MVC为MVV的存储带来了很大的方便，但MVC还存在许多亟待解决的问题，码率控制就是其中一个关键问题，码率控制的目的是在有限的带宽下获得高质量的视频。

现有技术中存在很多关于视频编码的码率控制方案，依次包括MPEG-2的TM5算法、MPEG-4的TM8算法和H.263的TMN8算法，以及近几年发展的被H.264/AVC的JM编码软件采纳的JVT-G012算法。但是上述方案不能直接应用到被MVC采纳的分层B帧预测结构中，并且JMVC编码软件没有提出一个有效的码率控制机制，每个时间层上的帧都用固定的量化参数（QP）值进行编码，所以研究多视点视频的码率控制算法十分必要。

发明内容

本发明提供了一种多视点视频编码码率控制方法，解决了原有JVT-G012中码率控制算法不适用于分层B帧预测结构的问题，更加准确的实现了MVC帧层码率控制，详见下文描述：

一种多视点视频编码码率控制方法，所述方法包括以下步骤：

（1）基于MVC编码器结构，依据视频帧的位置和类型，选择采用固定量化参数或通过计算帧复杂度计算分配给当前帧的目标比特；

（2）通过基于层间比例关系的头比特预测模型预测当前帧头比特；

（3）通过MAD预测模型预测当前帧MAD；

（4）根据二次率失真模型、当前帧头比特和当前帧MAD计算当前要编码帧的QP值；

（5）通过当前要编码帧的QP值对视频序列进行编码。

所述基于层间比例关系的头比特预测模型具体为：

$\left\{\begin{array}{c}{H}_{k_{e}s}=\underset{p\∈\left\{\mathrm{Dis}\right\}}{\mathrm{\Σ}}{H}_{k_{e}p}\\ H_c=\frac{\underset{k_e=1}{\overset{k_l}{\mathrm{\Σ}}}\left(H_{k_{e}s}\underset{n=0}{\overset{k_c-k_e}{\mathrm{\Π}}}{a}_{k_c-k_e-n}\right)}{\underset{k_e=1}{\overset{k_l}{\mathrm{\Σ}}}{s}_{k_e}}\end{array}\right.$

其中为第k_e时间层已经编码帧所产生的总头比特数；为第k_e时间层显示顺序标号为p的帧所产生的比特数；{Dis}为所有显示顺序标号所组成的集合；H_c为当前要编码帧预测的头比特数；k_c为当前编码帧所处的时间层标号；k_l为已经编码的时间层；为第k_e时间层中已经编码的帧的数目；为时间层间头比特的比例关系；k_c-k_e表示当前编码帧所处的时间层k_c与已经编码的时间层k_e之间的差值，初始值a₀（k_c-k_e-n＝0）为1。

所述双向MAD预测模型具体为：

MAD_c=C₁MAD_p1+C₂MAD_p2+C₃

MAD_p1和MAD_p2分别为已编码的前向预测参考帧F_p1和后向预测参考帧F_p2的MAD值，

${\mathrm{MAD}}_p=\frac{1}{X_{\mathrm{co}}{Y}_{\mathrm{co}}}\underset{\mathrm{jj}=0}{\overset{y_{\mathrm{num}}-1}{\mathrm{\Σ}}}\underset{\mathrm{ii}=0}{\overset{x_{\mathrm{num}}-1}{\mathrm{\Σ}}}{\mathrm{MAD}}_{\mathrm{pb}}(\mathrm{ii},\mathrm{jj})$

ii，jj为宏块的横纵坐标；X_co和Y_co为当前帧中水平方向和垂直方向上像素的个数；x_nm和y_nm为当前帧中水平方向和垂直方向上宏块的个数，MAD_pb(ii，jj)表示位置为(ii,jj)宏块的MAD值，计算公式如下： ${\mathrm{MAD}}_{\mathrm{pb}}(\mathrm{ii},\mathrm{jj})=\underset{i=0}{\overset{15}{\mathrm{\Σ}}}\underset{j=0}{\overset{15}{\mathrm{\Σ}}}|I_p(i,j)-{I^{\′}}_p(i,j)|$

i，j表示宏块的横纵坐标；I_p(i,j)表示位置坐标为i,j的已编码宏块像素值；I′_p(i，j)为预测像素值；C₁、C₂和C₃为参数通过线性回归模型进行更新；F_p1和F_p2的MAD值表示成矩阵M_p；当前要编码帧F_c的MAD值表示成矩阵M_c；

线性回归更新过程如下：

M_pC=M_c

$C=\left[\begin{array}{c}{C}_1\\ C_2\\ C_3\end{array}\right].$

所述基于MVC编码器结构，依据视频帧的位置和类型，选择采用固定量化参数或通过计算帧复杂度计算分配给当前帧的目标比特具体为：

1）判断当前视频帧是否是视频序列的第一个GOP，如果是，固定量化参数QP；如果否，执行步骤2）；

2）判断当前视频帧是否为I、P帧或第一个时间层上的B帧，如果是，固定量化参数QP；如果否，执行步骤3）；

3）判断是否属于第二个GOP第二个时间层的第一个B帧，如果是，根据第一个GOP中各帧编码结果计算分层B帧预测结构中各帧复杂度及分配给当前帧的目标比特；如果否，根据已经获得的各帧复杂度计算分配给当前帧的目标比特；

帧复杂度计算公式如下：

$\left\{\begin{array}{c}{X}_{\mathrm{tot}}=N_I{X}_I+N_P{X}_p+\underset{k}{\mathrm{\Σ}}{N}_B\left(k\right)X_B\left(k\right)\\ w_k=\frac{X_B\left(k\right)}{X_{\mathrm{tot}}}\end{array}\right.$

其中w_k表示B帧的权重因子；k表示所处的时间层数，变化范围从0-D，D表示最大时间层标号；X_I、X_P和X_B分别表示一个GOP中I帧、P帧以及B帧的复杂度；X_B(k)表示第k个时间层上B帧的复杂度；X_tot表示一个GOP内所有帧总的复杂度之和;N_I和N_P分别表示一个GOP中I帧和P帧的数目；N_B(k)表示一个GOP中第k个时间层中B帧的数目;上述复杂度定义为量化步长与所产生的比特数的乘积；

分配给当前帧的目标比特计算公式如下：

$R_{l,i}^B=\frac{w_l{B}_l\left(i\right)}{\underset{k=l}{\overset{D}{\mathrm{\Σ}}}{w}_k{N}_B^i\left(k\right)}$

其中为当前帧为B帧时分配的目标比特数，l表示剩余的未编码时间层标号，变化范围从0-D；w_l表示第l时间层上B帧的复杂度；为第k个时间层未编码的B帧的数目；B_l(i)为编码第l时间层第i帧所剩余的比特数；B_tot为当前GOP分配的总比特数。

本发明提供的技术方案的有益效果是：通过基于层间比例关系的头比特预测模型和/或双向MAD预测模型实现了对码率的控制，减少了比特率误差；并且通过实验验证了本方法的可行性。

附图说明

图1为本发明提供的采用分层B帧预测结构进行编码的时域参考帧预测结构的示意图；

图2为本发明提供的线性预测模型中的前向预测参考帧和当前要编码帧的示意图；

图3为本发明提供的一种多视点视频编码码率控制方法的流程图；

图4为本发明提出的双向MAD预测模型的前向预测参考帧、当前要编码帧和后向预测参考帧的示意图；

图5为本发明提供的一种多视点视频编码码率控制方法的另一流程图；

图6为本发明提供的多视点视频编码码率控制方法的示意图；

图7为本发明提供的一种多视点视频编码码率控制方法的另一流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

为了解决原有JVT-G012中码率控制算法不适用于分层B帧预测结构的问题，更加准确的实现MVC帧层码率控制，本发明实施例提供了一种多视点视频编码码率控制方法，采用分层B帧预测结构进行编码的时域参考帧预测结构如图1所示，其中I₀为帧内预测编码帧，B₁,B₂,B₃为双向预测编码帧，下标0,1,2,3表示所处的时间层数。

实施例1

采用本方法提出的基于层间比例关系的头比特预测模型和JVT-G012中线性MAD预测模型对多视点视频编码进行码率控制，参见图2和图3，详见下文描述：

101：基于MVC编码器结构，依据视频帧的位置和类型，选择采用固定量化参数或通过计算帧复杂度计算分配给当前帧的目标比特；

帧复杂度计算公式如下：

$\left\{\begin{array}{c}{X}_{\mathrm{tot}}=N_I{X}_I+N_P{X}_p+\underset{k}{\mathrm{\Σ}}{N}_B\left(k\right)X_B\left(k\right)\\ w_k=\frac{X_B\left(k\right)}{X_{\mathrm{tot}}}\end{array}\right.$

其中w_k表示B帧的权重因子；k表示所处的时间层数，变化范围从0-D，D表示最大时间层标号；X_I、X_P和X_B分别表示一个GOP中I帧、P帧以及B帧的复杂度；X_B(k)表示第k个时间层上B帧的复杂度；X_tot表示一个GOP内所有帧总的复杂度之和;N_I和N_P分别表示一个GOP中I帧和P帧的数目；N_B(k)表示一个GOP中第k个时间层中B帧的数目;上述复杂度定义为量化步长与所产生的比特数的乘积；

分配给当前帧的目标比特计算公式如下：

$R_{l,i}^B=\frac{w_l{B}_l\left(i\right)}{\underset{k=l}{\overset{D}{\mathrm{\Σ}}}{w}_k{N}_B^i\left(k\right)}$

其中为当前帧为B帧时分配的目标比特数，l表示剩余的未编码时间层标号，变化范围从0-D；w_l表示第l时间层上B帧的复杂度；为第k个时间层未编码的B帧的数目；B_l(i)为编码第l时间层第i帧所剩余的比特数；B_tot为当前GOP分配的总比特数。

102：通过基于层间比例关系的头比特预测模型预测当前帧头比特；

在分层B帧预测结构中，不同时间层上的帧头比特数不同，但是处在同一时间层上的帧在视频场景变化不大的情况下运动矢量以及编码模式相近，因此所产生的比特数接近。

头比特预测模型具体为：

$\left\{\begin{array}{c}{H}_{k_{e}s}=\underset{p\∈\left\{\mathrm{Dis}\right\}}{\mathrm{\Σ}}{H}_{k_{e}p}\\ H_c=\frac{\underset{k_e=1}{\overset{k_l}{\mathrm{\Σ}}}\left(H_{k_{e}s}\underset{n=0}{\overset{k_c-k_e}{\mathrm{\Π}}}{a}_{k_c-k_e-n}\right)}{\underset{k_e=1}{\overset{k_l}{\mathrm{\Σ}}}{s}_{k_e}}\end{array}\right.$

其中为第k_e时间层已经编码帧所产生的总头比特数；为第k_e时间层显示顺序标号为p的帧所产生的比特数；{Dis}为所有显示顺序标号所组成的集合；H_c为当前要编码帧预测的头比特数；k_c为当前编码帧所处的时间层标号；k_l为已经编码的时间层；为第k_e时间层中已经编码的帧的数目；为时间层间头比特的比例关系；k_c-k_e表示当前编码帧所处的时间层k_c与已经编码的时间层k_e之间的差值，初始值a₀（k_c-k_e-n＝0）为1。

103：通过线性MAD预测模型预测当前帧MAD；

如图2所示，F_p表示预测参考帧，F_c表示当前编码帧，MAD_p和MAD_c分别为相应帧的MAD值，当前帧的MAD_c由最新的已经编码帧的MAD_p进行预测，MAD预测模型具体为：

MAD_c=c₁×MAD_p+c₂

其中MAD_p为已编码预测参考帧（F_p）的MAD值，计算公式如下：

${\mathrm{MAD}}_p=\frac{1}{X_{\mathrm{co}}{Y}_{\mathrm{co}}}\underset{\mathrm{jj}=0}{\overset{y_{\mathrm{num}}-1}{\mathrm{\Σ}}}\underset{\mathrm{ii}=0}{\overset{x_{\mathrm{num}}-1}{\mathrm{\Σ}}}{\mathrm{MAD}}_{\mathrm{pb}}(\mathrm{ii},\mathrm{jj})$

其中ii，jj为宏块的横纵坐标；X_co和Y_co为当前帧中水平方向和垂直方向上像素的个数；x_nm和y_nm为当前帧中水平方向和垂直方向上宏块的个数，MAD_pb(ii,jj)表示位置为(ii,jj)的宏块的MAD值，计算公式如下：

${\mathrm{MAD}}_{\mathrm{pb}}(\mathrm{ii},\mathrm{jj})=\underset{i=0}{\overset{15}{\mathrm{\Σ}}}\underset{j=0}{\overset{15}{\mathrm{\Σ}}}|I_p(i,j)-{I^{\′}}_p(i,j)|$

其中i，j表示宏块的横纵坐标；I_p(i，j)表示位置坐标为i，j的已编码宏块像素值；I′_p(i,j)为预测像素值。

C₁和C₂为MAD预测模型的参数，初始值分别为1和0，通过线性回归模型进行更新；C₁和C₂表示成矩阵C；F_p的MAD值表示成矩阵M_p；F_c的MAD值表示成矩阵M_c，线性回归更新过程如下：

M_pC=M_c

$M_p=\left[\begin{array}{cc}{\mathrm{MAD}}_p\left[1\right]& 1\\ {\mathrm{MAD}}_p\left[2\right]& 1\\ {\·}_{}& \·\\ \·& \·\\ \·& \·\\ {\mathrm{MAD}}_p\left[n\right]& 1\\ \·& \·\\ \·& \·\\ \·& \·\\ {\mathrm{MAD}}_p\left[N\right]& 1\end{array}\right]$

$C=\left[\begin{array}{c}{C}_1\\ C_2\end{array}\right]$

$M_c=\left[\begin{array}{c}{\mathrm{MAD}}_c\left[1\right]\\ {\mathrm{MAD}}_c\left[2\right]\\ \·\\ \·\\ \·\\ {\mathrm{MAD}}_c\left[n\right]\\ \·\\ \·\\ \·\\ {\mathrm{MAD}}_c\left[N\right]\end{array}\right]$

其中MAD_p[n]和MAD_c[n]为已经编码帧的MAD值；n表示在滑动窗口中的位置，变化范围为从0—N；模型参数C₁和C₂通过C＝(M_P ^TM_P)^-1M_p ^TM_c获得。

104：根据二次率失真模型、当前帧头比特和当前帧MAD计算当前要编码帧的QP值；

假设信源变换后的数据符合拉普拉斯分布，则目标比特和QP之间的关系即二次率失真模型表示成：

$\frac{R_c-H_c}{{\mathrm{MAD}}_c}=\frac{x_1}{Q{\mathrm{step}}_c}+\frac{x_2}{Q{\mathrm{step}}_c^2}$

其中R_c为编码当前帧分配的总比特数，当编码帧为B帧时采用的计算公式同当编码帧为I帧或P帧时计算公式同R_I/P；H_c为当前要编码帧预测的头比特数，包括头以及运动矢量等信息；Qstep_c为当前帧的量化步长，QP与Qstep_c的关系为：

Qstep_c=2^(QP-4)/6

x₁，x₂分别为二次率失真模型的一次以及二次系数，初始值设为目标比特率以及0，并且通过最小二乘法以及线性回归模型进行更新，更新过程如下：

QstepX=Y

$\mathrm{Qstep}=\left[\begin{array}{cc}{{\mathrm{Qstep}}_c}^{-1}\left[1\right]& {{\mathrm{Qstep}}_c}^{-2}\left[1\right]\\ {{\mathrm{Qstep}}_c}^{-1}\left[2\right]& {{\mathrm{Qstep}}_c}^{-2}\left[2\right]\\ \·& \·\\ \·& \·\\ \·& \·\\ {{\mathrm{Qstep}}_c}^{-1}\left[n\right]& {{\mathrm{Qstep}}_c}^{-2}\left[n\right]\\ \·& \·\\ \·& \·\\ \·& \·\\ {{\mathrm{Qstep}}_c}^{-1}\left[N\right]& {{\mathrm{Qstep}}_c}^{-2}\left[N\right]\end{array}\right]$

$Y=\left[\begin{array}{c}y\left[1\right]\\ y\left[2\right]\\ \·\\ \·\\ \·\\ y\left[n\right]\\ \·\\ \·\\ \·\\ y\left[N\right]\end{array}\right]$

$X=\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]$

其中Qstep_c[n]为滑动窗口中第n帧量化步长；y[n]为纹理比特与MAD的比值；n表示在滑动窗口中的位置，并且变化范围为从0-N，N为窗口大小；x₁，x₂通过X＝(Qstep^TQstep)^-1Qstep^TY获得。

105：根据当前要编码帧的QP值对视频序列进行编码。

其中，该步骤为本领域技术人员所公知，本发明实施例在此不做赘述。

综上所述，通过本方法提出的基于层间比例关系的头比特预测模型，减少了比特率误差，实现了对码率的控制。

本实施例步骤103以JVT-G012中的线性MAD预测模型为例说明预测当前帧MAD的过程，具体实现时，根据实际应用中的需要还可以采用其他公知的预测模型来说明预测当前帧MAD的过程。即可以采用其他的模型和步骤102中的基于层间比例关系的头比特预测模型配合，实现对码率的控制。

实施例2

采用JVT-G012算法中头比特预测模型和本方法提出的双向MAD预测模型对多视点视频编码进行码率控制，参见图4和图5，详见下文描述：

201：基于MVC编码器结构，依据视频帧的位置和类型，选择采用固定量化参数或通过计算帧复杂度计算分配给当前帧的目标比特；

202：通过JVT-G012算法中的头比特预测模型预测当前帧头比特；

在JVT-G012算法中，当前编码帧的头比特用已经编码帧的平均头比特来进行预测。头比特预测模型具体为：

$H_c=\frac{\underset{p\∈\left\{\mathrm{Dis}\right\}}{\mathrm{\Σ}}\left(H_p\right)}{s}$

其中H_p为显示顺序标号为p的已经编码帧所产生的比特数；{Dis}为所有显示顺序标号所组成的集合；H_c为当前要编码帧预测的头比特数；s为已经编码的总的帧数。

203：通过双向MAD预测模型预测当前帧MAD；

如图4所示，F_p1,F_p2分别表示前向预测参考帧和后向预测参考帧，F_c表示当前编码帧，MAD_p1,MAD_p2,MAD_c分别为相应帧的MAD值，当前帧的MAD_c由上一时间层的相邻层已经编码帧的MAD_p1和MAD_p2进行预测，双向MAD预测模型具体为：

MAD_c=C₁MAD_p1+C₂MAD_p2+C₃

其中MAD_p1和MAD_p2分别为已编码的前向预测参考帧（F_p1）和后向预测参考帧（F_p2）的MAD值，计算公式如下：

${\mathrm{MAD}}_p=\frac{1}{X_{\mathrm{co}}{Y}_{\mathrm{co}}}\underset{\mathrm{jj}=0}{\overset{y_{\mathrm{num}}-1}{\mathrm{\Σ}}}\underset{\mathrm{ii}=0}{\overset{x_{\mathrm{num}}-1}{\mathrm{\Σ}}}{\mathrm{MAD}}_{\mathrm{pb}}(\mathrm{ii},\mathrm{jj})$

其中ii，jj为宏块的横纵坐标；X_co和Y_co为当前帧中水平方向和垂直方向上像素的个数；x_nm和y_nm为当前帧中水平方向和垂直方向上宏块的个数，MAD_pb(ii，jj)表示位置为(ii，jj)宏块的MAD值，计算公式如下：

${\mathrm{MAD}}_{\mathrm{pb}}(\mathrm{ii},\mathrm{jj})=\underset{i=0}{\overset{15}{\mathrm{\Σ}}}\underset{j=0}{\overset{15}{\mathrm{\Σ}}}|I_p(i,j)-{I^{\′}}_p(i,j)|$

其中i，j表示宏块的横纵坐标；I_p(i，j)表示位置坐标为i，j的已编码宏块像素值；I′_p(i，j)为预测像素值。

C₁、C₂和C₃为双向MAD预测模型的参数，初始值分别为0.5、0.5和0，通过线性回归模型进行更新；C₁、C₂和C₃表示成矩阵C；F_p1和F_p2的MAD值表示成矩阵M_p；F_c的MAD值表示成矩阵M_c，线性回归更新过程如下：

M_pC=M_c

$M_p=\left[\begin{array}{ccc}{\mathrm{MAD}}_{p1}\left[1\right]& {\mathrm{MAD}}_{p2}\left[1\right]& 1\\ {\mathrm{MAD}}_{p1}\left[2\right]& {\mathrm{MAD}}_{p2}\left[2\right]& 1\\ \·& \·& \·\\ \·& \·& \·\\ \·& \·& \·\\ {\mathrm{MAD}}_{p1}\left[n\right]& {\mathrm{MAD}}_{p2}\left[n\right]& 1\\ \·& \·& \·\\ \·& \·& \·\\ \·& \·& \·\\ {\mathrm{MAD}}_{p1}\left[N\right]& {\mathrm{MAD}}_{p2}\left[N\right]& 1\end{array}\right]$ $C=\left[\begin{array}{c}{C}_1\\ C_2\\ C_3\end{array}\right]$ $M_c=\left[\begin{array}{c}{\mathrm{MAD}}_c\left[1\right]\\ {\mathrm{MAD}}_c\left[2\right]\\ \·\\ \·\\ \·\\ {\mathrm{MAD}}_c\left[n\right]\\ \·\\ \·\\ \·\\ {\mathrm{MAD}}_c\left[N\right]\end{array}\right]$

其中MAD_p1[n]、MAD_p2[n]和MAD_c[n]为已经编码帧的MAD值；n表示在滑动窗口中的位置，变化范围为从0-N。模型参数C₁、C₂和C₃通过C=(M_P ^TM_P)^-1M_P ^TM_c获得。

204：根据二次率失真模型、当前帧头比特和当前帧MAD计算当前要编码帧的QP值；

205：根据当前要编码帧的QP值对视频序列进行编码。

其中，步骤201、步骤204和步骤205的详细执行过程参见实施例1，本发明实施例在此不做赘述。

综上所述，通过本方法提出的双向MAD预测模型，减少了比特率误差，实现了对码率的控制。

本实施例步骤202以JVT-G012算法中的头比特预测模型为例说明预测当前帧头比特的过程，具体实现时，根据实际应用中的需要还可以采用其他公知的预测模型来说明预测当前帧头比特的过程。即可以采用其他的模型和步骤203中的双向MAD预测模型模型配合，实现对码率的控制。

实施例3

采用本方法提出的基于层间比例关系的头比特预测模型和双向MAD预测模型对多视点视频编码进行码率控制，参见图6和图7，详见下文描述：

301：基于MVC编码器结构，依据视频帧的位置和类型，选择采用固定量化参数或通过计算帧复杂度计算分配给当前帧的目标比特；

302：通过基于层间比例关系的头比特预测模型预测当前帧头比特；

303：通过双向MAD预测模型预测当前帧MAD；

304：根据二次率失真模型、当前帧头比特和当前帧MAD计算当前要编码帧的QP值；

305：根据当前要编码帧的QP值对视频序列进行编码。

其中，步骤301、302、304和305的详细执行过程参见实施例1，步骤303的详细执行过程参见实施例2，本发明实施例在此不做赘述。

综上所述，通过本方法提出的基于层间比例关系的头比特预测模型和双向MAD预测模型，减少了比特率误差，实现了对码率的控制。

下面通过一个8视点立体视频说明本方法提出的一种多视点视频编码码率控制方法的实施过程，详见下文描述：

实验中所选的测试视频序列为“exit”视频序列，该视频序列的特点为：分辨率为640*480，相机距离为20cm。测试条件为：帧率为25HZ，GOP的大小为8，搜索范围为64，总的编码帧数为113。

采用实施例1中的基于层间比例关系的头比特预测模型对多视点视频编码进行码率控制，得到的比特率误差比采用现有JVT-G012中的码率控制技术减小了0.582%；采用实施例2中的双向MAD预测模型对多视点视频编码进行码率控制，得到的比特率误差比采用现有JVT-G012中的码率控制技术减小了1.181%；采用实施例3中的基于层间比例关系的头比特预测模型和双向MAD预测模型对多视点视频编码进行码率控制，得到的比特率误差比采用现有JVT-G012中的码率控制技术减小了2.179%。

综上所述，本发明实施例提供了一种多视点视频编码码率控制方法，通过基于层间比例关系的头比特预测模型和/或双向MAD预测模型实现了更准确的码率控制，减少了比特率误差。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种多视点视频编码码率控制方法，其特征在于，所述方法包括以下步骤：

(1)基于MVC编码器结构，依据视频帧的位置和类型，选择采用固定量化参数或通过计算帧复杂度计算分配给当前帧的目标比特；

(2)通过基于层间比例关系的头比特预测模型预测当前帧头比特；

(3)通过双向MAD预测模型预测当前帧MAD；

(4)根据二次率失真模型、当前帧头比特和当前帧MAD计算当前要编码帧的QP值；

(5)通过当前要编码帧的QP值对视频序列进行编码；

所述基于层间比例关系的头比特预测模型具体为：

$\left\{\begin{array}{c}{H}_{k_{e}s}=\underset{p\∈\left\{\mathrm{Dis}\right\}}{\mathrm{\Σ}}{H}_{k_{e}p}\\ H_c=\frac{\underset{k_e=1}{\overset{k_l}{\mathrm{\Σ}}}\left(H_{k_{e}s}\underset{n=0}{\overset{k_c-k_e}{\mathrm{\Π}}}{a}_{k_c-k_e-n}\right)}{\underset{k_e=1}{\overset{k_l}{\mathrm{\Σ}}}{s}_{k_e}}\end{array}\right.$

其中为第k_e时间层已经编码帧所产生的总头比特数；为第k_e时间层显示顺序标号为p的帧所产生的比特数；{Dis}为所有显示顺序标号所组成的集合；H_c为当前要编码帧预测的头比特数；k_c为当前编码帧所处的时间层标号；k_l为已经编码的时间层；为第k_e时间层中已经编码的帧的数目；为时间层间头比特的比例关系；k_c-k_e表示当前编码帧所处的时间层k_c与已经编码的时间层k_e之间的差值，初始值a₀(k_c-k_e-n＝0)为1；

所述双向MAD预测模型具体为：

MAD_c＝C₁MAD_p1+C₂MAD_p2+C₃

MAD_p1和MAD_p2分别为已编码的前向预测参考帧F_p1和后向预测参考帧F_p2的MAD值，

${\mathrm{MAD}}_p=\frac{1}{X_{\mathrm{co}}{Y}_{\mathrm{co}}}\underset{\mathrm{jj}=0}{\overset{y_{\mathrm{num}}-1}{\mathrm{\Σ}}}\underset{\mathrm{ii}=0}{\overset{x_{\mathrm{num}}-1}{\mathrm{\Σ}}}{\mathrm{MAD}}_{\mathrm{pb}}(\mathrm{ii},\mathrm{jj})$

ii,jj为宏块的横纵坐标；X_co和Y_co为当前帧中水平方向和垂直方向上像素的个数；x_num和y_num为当前帧中水平方向和垂直方向上宏块的个数，MAD_pb(ii,jj)表示位置为(ii,jj)宏块的MAD值，计算公式如下：

${\mathrm{MAD}}_{\mathrm{pb}}(\mathrm{ii},\mathrm{jj})=\underset{i=0}{\overset{15}{\mathrm{\Σ}}}\underset{j=0}{\overset{15}{\mathrm{\Σ}}}|I_p(i,j)-{I^{\′}}_p(i,j)|$

i,j表示宏块的横纵坐标；I_p(i,j)表示位置坐标为i,j的已编码宏块像素值；I'_p(i,j)为预测像素值；C₁、C₂和C₃为参数通过线性回归模型进行更新；F_p1和F_p2的MAD值表示成矩阵M_p；当前要编码帧F_c的MAD值表示成矩阵M_c；

线性回归更新过程如下：

M_pC＝M_c

$C=\left[\begin{array}{c}{C}_1\\ C_2\\ C_3\end{array}\right]$

所述基于MVC编码器结构，依据视频帧的位置和类型，选择采用固定量化参数或通过计算帧复杂度计算分配给当前帧的目标比特具体为：

1)判断当前视频帧是否是视频序列的第一个GOP，如果是，固定量化参数QP；如果否，执行步骤2)；

2)判断当前视频帧是否为I、P帧或第一个时间层上的B帧，如果是，固定量化参数QP；如果否，执行步骤3)；

3)判断是否属于第二个GOP第二个时间层的第一个B帧，如果是，根据第一个GOP中各帧编码结果计算分层B帧预测结构中各帧复杂度及分配给当前帧的目标比特；如果否，根据已经获得的各帧复杂度计算分配给当前帧的目标比特；

帧复杂度计算公式如下：

$\left\{\begin{array}{c}{X}_{\mathrm{tot}}=N_I{X}_I+N_P{X}_p+\underset{k}{\mathrm{\Σ}}{N}_B\left(k\right)X_B\left(k\right)\\ w_k=\frac{X_B\left(k\right)}{X_{\mathrm{tot}}}\end{array}\right.$

其中w_k表示B帧的权重因子；k表示所处的时间层数，变化范围从0-D，D表示最大时间层标号；X_I、X_P和X_B分别表示一个GOP中I帧、P帧以及B帧的复杂度；X_B(k)表示第k个时间层上B帧的复杂度；X_tot表示一个GOP内所有帧总的复杂度之和；N_I和N_P分别表示一个GOP中I帧和P帧的数目；N_B(k)表示一个GOP中第k个时间层中B帧的数目；上述复杂度定义为量化步长与所产生的比特数的乘积；

分配给当前帧的目标比特计算公式如下：

$R_{l,i}^B=\frac{w_l{B}_l\left(i\right)}{\underset{k=l}{\overset{D}{\mathrm{\Σ}}}{w}_k{N}_B^i\left(k\right)}$

其中为当前帧为B帧时分配的目标比特数，l表示剩余的未编码时间层标号，变化范围从0-D；w_l表示第l时间层上B帧的复杂度；为第k个时间层未编码的B帧的数目；B_l(i)为编码第l时间层第i帧所剩余的比特数；B_tot为当前GOP分配的总比特数；

根据二次率失真模型、当前帧头比特和当前帧MAD计算当前要编码帧的QP值具体为；

假设信源变换后的数据符合拉普拉斯分布，则目标比特和QP之间的关系即二次率失真模型表示成：

$\frac{R_c-H_c}{{\mathrm{MAD}}_c}=\frac{x_1}{{\mathrm{Qstep}}_c}+\frac{x_2}{{{\mathrm{Qstep}}_c}^2}$

其中R_c为编码当前帧分配的总比特数，当编码帧为B帧时采用的计算公式同当编码帧为I帧或P帧时计算公式同R_I/P；H_c为当前要编码帧预测的头比特数，包括头以及运动矢量等信息；Qstep_c为当前帧的量化步长，QP与Qstep_c的关系为：

Qstep_c＝2^(QP-4)/6

x₁,x₂分别为二次率失真模型的一次以及二次系数，初始值设为目标比特率以及0，并且通过最小二乘法以及线性回归模型进行更新，更新过程如下：

QstepX＝Y

$\mathrm{Qstep}=\left[\begin{array}{cc}{{\mathrm{Qstep}}_c}^{-1}\left[1\right]& {{\mathrm{Qstep}}_c}^{-2}\left[1\right]\\ {{\mathrm{Qstep}}_c}^{-1}\left[2\right]& {{\mathrm{Qstep}}_c}^{-2}\left[2\right]\\ .& .\\ .& .\\ .& .\\ {{\mathrm{Qstep}}_c}^{-1}\left[n\right]& {{\mathrm{Qstep}}_c}^{-2}\left[n\right]\\ .& .\\ .& .\\ .& .\\ {{\mathrm{Qstep}}_c}^{-1}\left[N\right]& {{\mathrm{Qstep}}_c}^{-2}\left[N\right]\end{array}\right]$

$Y=\left[\begin{array}{c}y\left[1\right]\\ y\left[2\right]\\ .\\ .\\ .\\ y\left[n\right]\\ .\\ .\\ .\\ y\left[N\right]\end{array}\right]$

$X=\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]$

其中Qstep_c[n]为滑动窗口中第n帧量化步长；y[n]为纹理比特与MAD的比值；n表示在滑动窗口中的位置，并且变化范围为从0—N，N为窗口大小；x₁,x₂通过X＝(Qstep^T Qstep)^-1Qstep^TY获得。