CN105898331A - 一种深度视频编码的比特分配和码率控制方法 - Google Patents

Abstract

本发明公开了一种深度视频编码的比特分配和码率控制方法，包括以下步骤：基于纹理区域和平滑区域分别建立深度视频失真和码率之间的模型关系、以及量化参数和码率之间的模型关系；通过深度视频失真和码率之间的模型关系建立虚拟视点失真模型；根据所述虚拟视点失真模型计算深度视频纹理区域和平滑区域的最佳目标比特率；将最佳目标比特率带入到所述量化参数和码率之间的模型关系中，获取平滑区域最优的量化参数、以及纹理区域最优的量化参数。本发明通过将深度视频的区域特性结合到码率控制算法中，提高了深度视频编码的比特分配的准确性，同时提高了深度视频纹理区的编码质量，进而提升了绘制的虚拟视图的质量，满足了3D视频系统的应用要求。

Description

一种深度视频编码的比特分配和码率控制方法

技术领域

本发明涉及3D视频编码领域，尤其涉及一种深度视频编码的比特分配和码率控制方法。

背景技术

随着3D显示技术和基于深度的虚拟视点绘制技术的发展，深度视频在3D视频中的重要作用逐渐被人们发掘。在3D视频中，深度视频是对象在3D场景中的几何表示。不同于彩色图像，深度图由大量的平滑区域和尖锐的边界构成。将传统的彩色视频编码算法直接用于深视频编码通常无法获得最优的编码结果。基于深度图的独特性质，深度视频编码可以获得比彩色视频编码更高压缩效率。为了更好地保留深度边缘、获得更高的压缩效率，许多深度视频压缩技术被相继提出，包括：边界重建滤波器、加权模式滤波器、稀疏二元模式以及深度边缘自适应锐化算法等。这些方法充分利用了深度图的特点，能显著地提高重建深度图的质量。

在实际应用中，深度视频不直接用于显示，它的失真会间接影响绘制的虚拟视图的质量。从提升虚拟视点质量的角度着手，研究者们提出了各种深度视频编码的方案。Oh等提出了一种利用对应位置的彩色信息来提升虚拟视点质量的深度编码方法[1]。Yuan等提出了一种以提升虚拟视点质量为目标的深度视频编码方案，该方案采用拉格朗日乘数法设计了一个有效的率失真准则，达到的提升虚拟视点质量的要求[2]。同样的，基于对虚拟视点失真的分析，Shao等提出了一种深度视频的编码方法来提高绘制虚拟视点的质量[3]。

在3D视频编码中，研究者们也提出了许多用于码率控制的模型。这些模型多被用于多视点彩色加深度视频联合编码的算法中，以实现3D视频编码中的比特分配和码率控制。为了更为精确地控制输出码率以达到3D视频系统的要求，Liu等提出了一种联合比特分配和码率控制算法，该算法分为三层，即视点层、彩色/深度视频层及帧层[4]。在彩色/深度视频层，彩色与深度视频编码分别采用线性的码率(Rate,R)和量化参数(QuantizationParameter,QP)之间的模型关系(记为R-Q模型)来计算初始QP；在帧层，彩色与深度视频编码分别采用二次R-Q模型计算每帧的编码QP。Yuan等也提出了一种联合比特分配和码率控制算法，该算法中彩色与深度视频分别采用线性的失真(distortion,D)和QP的模型关系(记为D-Q模型)和分数R-Q模型来计算最优编码QP[5]。为了提高3D视频的编码效率，Zhang等提出了一种基于区域的比特分配及率失真算法，该算法将深度划分为不同的区域，并针对不同的区域进行码率建模[6]。Shao等推导并建立了虚拟视点失真与比特率之间的指数关系模型，通过这个模型动态地分配彩色与深度视频之间的目标比特[7]。此外，为了获得更好的率失真性能及更准确的比特分配，功率R-Q模型也被用于深度视频编码。

现有的比特分配和码率控制方法能够得到较为准确的编码效果，然而这些方法都没有将深度视频的区域特性应用到码率控制算法中，并且将传统的标准视频编码算法直接应用于深视频编码不是足够有效的。

参考文献

[1]Oh B T,Lee J,Park D.Depth Map Coding Based on Synthesized ViewDistortion Function.IEEE J Sel Topic Signal Process,2011,5(7):1344-1352.

[2]Yuan H,Kwong S,Liu J,et al.A Novel Distortion Model and LagrangianMultiplier for Depth Maps Coding.IEEE Trans Circuits Syst Video Technol,2014,24(3):443-451.

[3]Shao F,Lin W,Jiang G,et al.Depth Map Coding for View SynthesisBased on Distortion Analyses.IEEE J Emerg Select Topics Circuits Syst,2014,4(1):106-117.

[4]Liu Y,Huang Q,Ma S,et al.A novel rate control technique formultiview video plus depth based 3D video coding.IEEE Trans Broadcast,2011,57(2):562-571.

[5]Yuan H,Chang Y,Huo J,et al.Model-based joint bit allocationbetween texture videos and depth maps for 3-D video coding.IEEE TransCircuits Syst Video Technol,2011,21(4):485-497.

[6]Zhang Y,Kwong S,Xu L,et al.Regional Bit Allocation and RateDistortion Optimization for Multiview Depth Video Coding With View SynthesisDistortion Model.IEEE Trans Image Process,2013,22(9):3497-3512.

[7]Shao F,Jiang G,Lin W,et al.Joint Bit Allocation and Rate Controlfor Coding Multi-View Video Plus Depth Based 3D Video.IEEE Trans Multimedia,2013,15(8):1843-1854.

发明内容

本发明提供了一种深度视频编码的比特分配和码率控制方法，本发明针对现有方法没有将深度视频的区域特性结合到码率控制的问题，研究基于区域的深度视频编码的比特分配和码率控制方法，提高深度视频编码目标码率的准确性和绘制虚拟视点的质量，详见下文描述：

一种深度视频编码的比特分配和码率控制方法，所述控制方法包括以下步骤：

基于纹理区域和平滑区域分别建立深度视频失真和码率之间的模型关系、以及量化参数和码率之间的模型关系；

通过深度视频失真和码率之间的模型关系建立虚拟视点失真模型；根据所述虚拟视点失真模型计算深度视频纹理区域和平滑区域的最佳目标比特率；

将最佳目标比特率带入到所述量化参数和码率之间的模型关系中，获取平滑区域最优的量化参数、以及纹理区域最优的量化参数。

所述纹理区域为：对深度视频进行区域划分，由深度边界和最小编码单元组成的区域；

所述平滑区域为：深度视频中所述纹理区域以外的区域。

所述深度视频纹理区域和平滑区域的最佳目标比特率具体为：

$\left\{\begin{array}{c}{R}_{TA}=\frac{b_{SA}\·R_C+N_{SA}\·\ln \frac{N_{TA}\·B\·b_{SA}}{N_{SA}\·A\·b_{TA}}}{b_{SA}\·N_{TA}+b_{TA}\·N_{SA}}\\ R_{SA}=\frac{b_{TA}\·R_C-N_{TA}\·\ln \frac{N_{TA}\·B\·b_{SA}}{N_{SA}\·A\·b_{TA}}}{b_{SA}\·N_{TA}+b_{TA}\·N_{SA}}\end{array}\right.$

其中，R_TA和R_SA分别为深度视频纹理区域和平滑区域的最佳目标比特率；N_TA和N_SA为TA和SA中的像素的数目；A、B为迭代后的参数；b_SA、b_TA为表征纹理区域和平滑区域统计特性的参数；R_C为目标比特率。

本发明提供的技术方案的有益效果是：本发明通过将深度视频的区域特性结合到码率控制算法中，提高了深度视频编码的比特分配的准确性，同时提高了深度视频纹理区的编码质量，进而提升了绘制的虚拟视图的质量，满足了3D视频系统的应用要求。

附图说明

图1为一种深度视频编码的比特分配和码率控制方法的流程图；

图2为本方法对Champagne_Tower测试序列区域划分结果的示意图；

图3为采用本方法和HM12.1、JCTVC-H0213码率控制的率失真性能对比示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

为了克服现有技术的不足，本发明实施例提出一种基于区域的深度视频编码的比特分配和码率控制算法，实现了更准确的深度视频码率控制和比特分配，参见图1，具体的技术方案包括以下步骤：

实施例1

101：基于纹理区域和平滑区域分别建立深度视频失真和码率之间的模型关系、以及量化参数和码率之间的模型关系；

102：通过深度视频失真和码率之间的模型关系建立虚拟视点失真模型；根据虚拟视点失真模型计算深度视频纹理区域和平滑区域的最佳目标比特率；

103：将最佳目标比特率带入到量化参数和码率之间的模型关系中，获取平滑区域最优的量化参数、以及纹理区域最优的量化参数。

其中，步骤101中的纹理区域为：对深度视频进行区域划分，由深度边界和最小编码单元组成的区域；

步骤101中的纹平滑区域为：深度视频中纹理区域以外的区域。

进一步地，步骤103中的深度视频纹理区域和平滑区域的最佳目标比特率具体为：

$\left\{\begin{array}{c}{R}_{TA}=\frac{b_{SA}\·R_C+N_{SA}\·\ln \frac{N_{TA}\·B\·b_{SA}}{N_{SA}\·A\·b_{TA}}}{b_{SA}\·N_{TA}+b_{TA}\·N_{SA}}\\ R_{SA}=\frac{b_{TA}\·R_C-N_{TA}\·\ln \frac{N_{TA}\·B\·b_{SA}}{N_{SA}\·A\·b_{TA}}}{b_{SA}\·N_{TA}+b_{TA}\·N_{SA}}\end{array}\right.$

其中，R_TA和R_SA分别为深度视频纹理区域和平滑区域的最佳目标比特率；N_TA和N_SA为TA和SA中的像素的数目；A、B为迭代后的参数；b_SA、b_TA为表征纹理区域和平滑区域统计特性的参数；R_C为目标比特率。

综上所述，本发明实施例通过上述步骤101-步骤103将深度视频的区域特性结合到码率控制算法中，提高了深度视频编码的比特分配的准确性，同时提高了深度视频纹理区的编码质量，进而提升了绘制的虚拟视图的质量，满足了3D视频系统的应用要求。

实施例2

下面结合具体的计算公式、方案原理对实施例1中的方案进行详细的描述，详见下文的描述：

201：对深度视频进行区域划分；

其中，对深度视频进行区域划分，将深度边界和最小编码单元(Coding Unit,CU)标记为纹理区域(Texture Area，TA)，剩余的区域标记为平滑区域(Smooth Area，SA)。深度视频边界由Canny算子提取；其中，最小CU依据已编码的处于同一时间层图片中同一位置的编码树单元(Coding Tree Unit,CTU)划分，来标记当前CTU的最小CU。通常情况下，CTU尺寸为64*64，最小CU尺寸为8*8，最小编码单元的选取为本领域技术人员所共知，本发明实施例对此不做赘述。

202：基于纹理区域和平滑区域分别建立D-R模型和QP-R模型；

其中，D-R模型表示深度视频失真和码率之间的模型关系；QP-R模型表示量化参数和码率之间的模型关系。在给定不同初始量化参数QP的条件下预编码深度视频，统计TA和SA的编码失真，输出TA和SA的平均编码比特，建立D-R模型和QP-R模型，相应的模型描述为：

D-R:D_Ψ＝a_Ψ·exp(b_Ψ·R_Ψ)+c_Ψ

$QP-R:{\mathrm{QP}}_{\mathrm{\Ψ}}={\mathrm{\α}}_{\mathrm{\Ψ}}\·{R_{\mathrm{\Ψ}}}^{{\mathrm{\β}}_{\mathrm{\Ψ}}}+{\mathrm{\γ}}_{\mathrm{\Ψ}}$

其中，Ψ∈{TA,SA}；a_Ψ、b_Ψ、c_Ψ、α_Ψ、β_Ψ和γ_Ψ均为模型参数，该些模型参数的取值通过预编码深度视频统计得到；D_Ψ、QP_Ψ及R_Ψ分别表示区域Ψ的失真，QP及平均比特。

203：通过D-R模型建立虚拟视点失真模型；

即推导虚拟视点失真D_V、虚拟视点纹理区域失真D_V,TA与平滑区域失真D_V,SA三者之间的模型关系，表示为：

$\begin{array}{c}{D}_V=\frac{1}{W\·H}\underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}{\left(I_V\right(i,j)-{\hat{I}}_V(i,j\left)\right)}^2\\ =\frac{N_{TA}}{W\·H}\·\frac{1}{N_{TA}}\underset{I_V(i,j)\∈TA}{\mathrm{\Σ}}{\left(I_V\right(i,j)-{\hat{I}}_V(i,j\left)\right)}^2+\frac{N_{SA}}{W\·H}\·\frac{1}{N_{SA}}\underset{I_V(i,j)\∈SA}{\mathrm{\Σ}}{\left(I_V\right(i,j)-{\hat{I}}_V(i,j\left)\right)}^2\\ ={\mathrm{\ω}}_{TA}\·D_{V,TA}+{\mathrm{\ω}}_{SA}\·D_{V,SA}\end{array}$

其中，D_V,TA和D_V,SA表示虚拟视点的区域失真，分别受深度视频的纹理及平滑区域的影响；和代表区域D_V,TA和D_V,SA对绘制虚拟视点的失真D_V的影响因子；W和H分别为合成虚拟视点中当前帧的宽度和高度；I_V(i,j)和分别为原始图片的像素值和重建图片的像素值；i和j为像素点的横坐标和纵坐标；N_TA和N_SA为TA和SA中的像素的数目。

将虚拟失真视点失真D_V由深度纹理区域失真D_D,TA和平滑区域失真D_D,SA表示为：

D_V＝ω_TA·D_V,TA+ω_SA·D_V,SA

＝ω_TA·(A_TA·D_D,TA+B_TA)+ω_SA·(A_SA·D_D,SA+B_SA)

其中，运用Zhang等推导的深度失真与虚拟视点失真之间的线性关系模型。该线性模型关系适用于像素，同样的也适用于由不同数目像素构成的区域，具体表示如下：

D_V,Ψ＝A_Ψ·D_D,Ψ+B_Ψ,Ψ∈{TA,SA}

其中，A_Ψ表示D_D,Ψ对虚拟视点失真D_V的影响因素，B_Ψ是一个常数。

进一步的，推导虚拟视点失真D_V和纹理区域平均比特R_TA与平滑区域的平均比特R_SA之间的模型关系：

其中，A、B及C为模型迭代后的参数，该些参数通过预编码深度视频统计得到。

将深度视频的纹理区域和平滑区域的失真D_D,TA和D_D,SA用步骤202中推导的D-R模型来替代，具体表示如下：

D-R:D_Ψ＝a_Ψ·exp(b_Ψ·R_Ψ)+c_Ψ,Ψ∈{TA,SA}

204：计算深度视频纹理区域和平滑区域的最佳目标比特率R_TA和R_SA；

在限制目标比特R_C下最小化虚拟视点的失真可表示为：

arg min D_V

s.t.R_TA·N_TA+R_SA·N_SA≤R_C

基于步骤203推导的D_v-R_SA-R_TA模型，D_V可用R_TA和R_SA来表示，最优比特分配问题表示如下：

arg min(A·exp(b_TA·R_TA)+B·exp(b_SA·R_SA)+C)

s.t.R_TA·N_TA+R_SA·N_SA≤R_C

采用拉格朗日乘数法来解决在限制条件下求比特分配的最优解的问题。将限制条件下求极值的问题映射到等价的无约束条件的求极值问题，具体如下：

arg min J＝A·exp(b_TA·R_TA)+B·exp(b_SA·R_SA)+C+λ(R_TA·N_TA+R_SA·N_SA-R_C)

其中，λ为拉格朗日算子。然后，纹理区域和平滑区域最优的目标比特率R_TA和R_SA通过求解偏导方程组得到：

$\left\{\begin{array}{c}\frac{\∂J}{\∂R_{TA}}=A\·b_{TA}\·\exp (b_{TA}\·R_{TA})+\mathrm{\λ}\·N_{TA}=0\\ \frac{\∂J}{\∂R_{SA}}=B\·b_{SA}\·\exp (b_{SA}\·R_{SA})+\mathrm{\λ}\·N_{SA}=0\\ \frac{\∂J}{\∂\mathrm{\λ}}=N_{TA}\·R_{TA}+N_{SA}\·R_{SA}-R_C=0\end{array}\right.$

推导出纹理区域和平滑区域的最佳目标比特率R_TA和R_SA的具体表示如下所示：

$\left\{\begin{array}{c}{R}_{TA}=\frac{b_{SA}\·R_C+N_{SA}\·\ln \frac{N_{TA}\·B\·b_{SA}}{N_{SA}\·A\·b_{TA}}}{b_{SA}\·N_{TA}+b_{TA}\·N_{SA}}\\ R_{SA}=\frac{b_{TA}\·R_C-N_{TA}\·\ln \frac{N_{TA}\·B\·b_{SA}}{N_{SA}\·A\·b_{TA}}}{b_{SA}\·N_{TA}+b_{TA}\·N_{SA}}\end{array}\right.$

其中，推导过程运用了率失真优化的问题，即满足“使用的比特数R不超过目标比特数R_t的情况下，最小化失真D”的参数作为最优的编码参数。在本发明实施例中失真指的是绘制的虚拟视点的失真，求解的最优的编码参数为区域的最优比特。率失真优化公式如下所示：

{Para}_opt＝arg min_{Para}D s.t.R≤R_t

其中，{Para}表示编码参数集合，包括模式、运动信息、QP等；opt表示最优的解。

205：由步骤204可以推导出平滑区域和纹理区域的最优比特R_TA和R_SA，将R_TA和R_SA带入到步骤202推导的QP-R模型便可以得到平滑区域最优的量化参数QP_SA和纹理区域最优的量化参数QP_TA。

将所提的算法将最佳区域QP应用在LCU域，此时对应LCU的QP的计算如下所示：

QP_LCU＝δ·QP_TA+(1-δ)·QP_SA

其中，QP_LCU表示LCU的QP值；QP_TA和QP_SA分别表示纹理区域及平滑区域的最优QP；δ表示当前LCU中TA所占的比例。

综上所述，本发明实施例通过上述步骤201-步骤205将深度视频的区域特性结合到码率控制算法中，提高了深度视频编码的比特分配的准确性，同时提高了深度视频纹理区的编码质量，进而提升了绘制的虚拟视图的质量，满足了3D视频系统的应用要求。

实施例3

下面结合具体的附图2和3、以及实验数据对实施例1和2中的方案进行可行性验证，详见下文描述：

为使本方法的效果具有可比性，本发明实施例采用Champagne_Tower测试序列(该测试序列为本领域技术人员所公知，本发明实施例对此不做赘述)进行测试，其帧率为30fps，分辨率为1280×960，左视点选择第37视点，右视点选择第41视点，绘制的虚拟视点选择第39视点。深度视频编码的测试平台为HM12.1，编码结构为随机接入，其他编码设置遵守JCT-VC的标准试验条件。虚拟视点绘制采用VSRS3.5。深度视频的目标比特设为50、100、150、200(Kbps)，左右视点各100帧，GOP长度设为8。

图2给出了采用本方法对Champagne_Tower测试序列的区域划分结果。图3给出了采用本方法和HM12.1、JCTVC-H0213码率控制的率失真性能对比图。从图3中可见，本方法优于HM12.1平台码率控制方法以及JCTVC-H0213码率控制方法。

综上所述，通过上述的实验验证，本方法可以获得更精确比特分配和码率控制结果，提升了绘制的虚拟视点的质量。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种深度视频编码的比特分配和码率控制方法，其特征在于，所述控制方法包括以下步骤：

基于纹理区域和平滑区域分别建立深度视频失真和码率之间的模型关系、以及量化参数和码率之间的模型关系；

通过深度视频失真和码率之间的模型关系建立虚拟视点失真模型；根据所述虚拟视点失真模型计算深度视频纹理区域和平滑区域的最佳目标比特率；

将最佳目标比特率带入到所述量化参数和码率之间的模型关系中，获取平滑区域最优的量化参数、以及纹理区域最优的量化参数。

2.根据权利要求1所述的一种深度视频编码的比特分配和码率控制方法，其特征在于，

所述纹理区域为：对深度视频进行区域划分，由深度边界和最小编码单元组成的区域；

所述平滑区域为：深度视频中所述纹理区域以外的区域。

3.根据权利要求1所述的一种深度视频编码的比特分配和码率控制方法，其特征在于，所述深度视频纹理区域和平滑区域的最佳目标比特率具体为：

$\left\{\begin{array}{c}{R}_{TA}=\frac{b_{SA}\·R_C+N_{SA}\·\ln \frac{N_{TA}\·B\·b_{SA}}{N_{SA}\·A\·b_{TA}}}{b_{SA}\·N_{TA}+b_{TA}\·N_{SA}}\\ R_{SA}=\frac{b_{TA}\·R_C-N_{TA}\·\ln \frac{N_{TA}\·B\·b_{SA}}{N_{SA}\·A\·b_{TA}}}{b_{SA}\·N_{TA}+b_{TA}\·N_{SA}}\end{array}\right.$

其中，R_TA和R_SA分别为深度视频纹理区域和平滑区域的最佳目标比特率；N_TA和N_SA为TA和SA中的像素的数目；A、B为迭代后的参数；b_SA、b_TA为表征纹理区域和平滑区域统计特性的参数；R_C为目标比特率。