CN104717515A - 基于3d-hevc的纹理视频和深度图码率分配方法 - Google Patents

Abstract

本发明提供一种基于3D-HEVC的纹理视频和深度图编码的码率分配的方法，其包括以下步骤：步骤一，预编码一个图像组，获得纹理相关参数；步骤二，预编码另一个图像组，得到深度图的Lambda-R曲线模型参数和R-D曲线模型参数；步骤三，得到纹理的纹理视频的Lambda-R曲线参数、深度图的Lambda-R曲线参数、深度图的Lambda-R曲线参数、纹理视频的R-D曲线参数；步骤四，求解出最优的纹理和深度比特率；步骤五，利用提案JCTVC-K0103方法计算出编码纹理视频跟深度图的量化参数QP对序列进行编码。本发明能有效提高编码质量。

Description

基于3D-HEVC的纹理视频和深度图码率分配方法

技术领域

本发明属于多媒体通信技术领域，涉及一种基于3D-HEVC的纹理视频和深度图编码的码率分配的方法。

背景技术

三维(3D)视频的普及带来了数据传输越来越大，3D-HEVC(3D High Efficiency VideoCoding，高效视频编码)作为3D视频的压缩标准对压缩3D视频数据有很大的帮助，目前3D视频的表示方法分为多视点视频编码(Multi-view Video Coding，MVC)和多视点视频加深度(Multi-View Video and Depth，MVD)，而MVD格式具有复杂度低，传输数据量少，绘制方法相对简单并能向下兼容2D视频设备等特点，因此MVD被广泛应用到3D视频编码中。在MVD的码率控制算法中，纹理视频和深度图的码率直接影响绘制视点的编码质量，因此在带宽一定的前提下对纹理视频和深度图码率的合理分配是目前研究的热点和难点。

邵峰等人于2013年发表在国际电气电子工程师协会杂志IEEE Transactions onMultimedia的文章Joint Bit Allocation and Rate Control for Coding Multi-View Video PlusDepth Based 3D Video中提出的虚拟视点模型，具体如下关系式(1)：

其中D_v是虚拟绘制视点的失真，S_v表示的是未经过压缩的纹理和深度共同绘制的虚拟视点，表示的是未经压缩的纹理和经压缩的深度图共同绘制出的虚拟视点，表示的是经压缩的纹理和未经过压缩的深度图共同绘制出的虚拟视点。表示的就是由深度引起虚拟视点的失真，表示的是由纹理虚拟视点的失真。等式右边第一个部分表示的是深度图编码的失真，第二个部分表示的是纹理视频编码的失真，该式表达的意思是将虚拟视点的失真由纹理视频的失真与深度图的失真等权值相加得到。

在MVD格式中，因为深度图是由0到255的灰度值组成，所携带的数据量小，深度图的主要是用于利用基本视点的纹理视频绘制中间的虚拟视点，深度图并不呈现出来。而上式可以很明显的看出上式是将纹理失真和深度图失真看成了相同的作用，即在公式中是1：1的权重形式出现，然而单纯用这种1：1的权值求得两者失真和最小并不能使编码效率最大化。

针对以上存在的不足需要找到一种合适的模型，在码率一定情况下使得基本视点和虚拟视点的质量最大化。

发明内容

本发明的目的是克服当前技术在分配纹理视频和深度图码率分配上的不足，提供一种基于3D-HEVC的纹理视频和深度图编码的码率分配的方法，该方法能有效提高编码质量。

为了达到上述目的，本发明提出了一种基于3D-HEVC的纹理视频和深度图编码的码率分配的方法，其特征在于，其包括以下步骤：

步骤一，预编码一个图像组，获得纹理相关参数，纹理相关参数包括纹理的Lambda-R曲线模型参数、R-D曲线模型参数、纹理视频的编码失真D_t、纹理视频的目标码率R_t以及每个量化参数对应下的纹理视频的Lambda值λ_t；

步骤二，预编码另一个图像组，得到深度图的Lambda-R曲线模型参数和R-D曲线模型参数；

步骤三，将步骤一和步骤二得到的纹理的Lambda-R曲线模型参数、R-D曲线模型参数和深度图的Lambda-R曲线模型参数、R-D曲线模型参数代入到Lambda-R和R-D计算式中，得到纹理视频的Lambda-R曲线参数、深度图的Lambda-R曲线参数、深度图的Lambda-R曲线参数、纹理视频的R-D曲线参数；

步骤四，将步骤三得到的四个曲线参数分别代入基于拉格朗日的率失真优化式子中，求解出最优的纹理和深度码率；

步骤五，利用提案JCTVC-K0103方法计算出编码纹理视频跟深度图的量化参数QP对序列进行编码。

优选地，所述步骤四的基于拉格朗日的率失真优化式子如下式：

(R_t ^opt,R_d ^opt)＝min(J_t(R_t)+J_d(R_d))

＝min[D(R_t)+λ(R_t)×R_t+D(R_d)+λ(R_d)×R_d]

s.t R_t+R_d＝R_c

码率控制当中没有编码模式的选择，J表示的率失真优化的一个代价函数，D和R表示的是编码后的失真度和编码所用的目标码率，s.t是一种附加条件的标识符号，表示纹理和深度图的码率要等于目标码率。

优选地，所述步骤四还包括以下步骤：

步骤四十一，定义步骤四中的纹理视频的编码失真和纹理视频的目标码率之间的码率失真模型，其表达式如下式：

$D_t={\mathrm{\μ}}_t{R}_t^{v_t}$

其中，D_t为纹理视频的编码失真值，R_t为纹理视频的目标码率，μ_t，ν_t为预编码得到的纹理视频的码率失真模型的常系数；

步骤四十二，定义步骤四中的深度图的编码失真和深度图的码率之间的码率失真模型，其表达式如下式：

$D_d={\mathrm{\μ}}_d{R}_d^{v_d}$

其中，D_d为深度图的编码失真值，R_d为深度图的目标码率，μ_d，ν_d为预编码得到的深度图的码率失真模型的常系数；

步骤四十三，定义步骤四中的纹理视频的编码失真和纹理视频的码率之间的码率失真模型，其表达式如下式：

${\mathrm{\λ}}_t=a_t\×R_t^{-b_t}$

其中，λ_t为纹理视频的Lambda值，R_t为纹理视频的目标码率，a_t，b_t为预编码得到的纹理视频的Lambda-R模型的常系数；

步骤四十四，定义步骤四中的深度图的编码失真和深度图的码率之间的码率失真模型，其表达式如下式：

${\mathrm{\λ}}_d=a_d\×R_d^{-b_d}$

其中，λ_d为深度图的Lambda值，R_d为深度图的目标码率，a_d，b_d为预编码得到的深度图的码率失真模型的常系数。

本发明实用性强，性能优越，主要有如下有益效果：本发明对分配3D-HEVC的纹理视频码率和深度图编码的码率提供了一个通用的方法，通过模拟率失真优化的方法将拉格朗日算子融入到码率分配当中，提高了编码效率，即在码率一定情况下使得基本视点和虚拟视点的质量最大化。

附图说明

图1是基于3D-HEVC的码率分配控制方法的流程框图。

图2是纹理视频Lambda-R曲线的示意图。

图3是深度图的Lambda-R曲线的示意图。

图4是纹理视频的R-D曲线的示意图。

图5是深度图的R-D曲线的示意图。

具体实施方式

以下结合附图对本发明的技术方案作出进一步的详细描述。

本发明将拉格朗日算子加入到码率分配当中，模拟率失真优化方案并结合码率受限方程，从而在限制总码率的前提下，合理分配纹理跟深度图的码率，进一步降低虚拟视点的合成误差。首先依据视频序列的统计特性建立纹理码率、深度图码率与虚拟视点失真之间模型，然后分别建立拉格朗日算子与纹理、深度图码率的对应关系，在前两步的基础之上进一步构建由虚拟视点失真模型和拉格朗日算子的代价方程，为了保证目标码率与目标码率在一定的误差范围内，建立纹理码率和深度码率的受限约束方程，最后利用目标码率的约束方程求解出最优的纹理码率的码率和深度图的码率。

本发明在实例中采用3D-HEVC提供的参考软件HTM(HEVC Test Model)，如图1所示，本实施例的码率分配方法为：给定目标总码率R_target，编码端基于多视点纹理视频和深度图编码，进行编码视点之间的码率分配，具体步骤如下：

(1)、预编码序列一个图像组(Group Of Picture，GOP)，获得纹理相关参数，具体是纹理相关参数包括纹理的Lambda-R曲线模型参数、R-D曲线模型参数、纹理视频的编码失真D_t、纹理视频的目标码率R_t以及每个量化参数对应下的纹理Lambda值λ_t。

固定深度图的编码量化参数QP(Quantization Parameter)，通过调节纹理视频的量化参数QP(Quantization Parameter)，例如QP＝25，QP＝27，QP＝30，QP＝32，QP＝35，分别编码一组图像组，得到相关的纹理视频的编码失真D_t、纹理视频的目标码率R_t以及每个QP对应下的纹理视频的Lambda值λ_t。

(1-1)、利用曲线拟合纹理视频Lambda-R曲线的相关模型参数，如附图2所示。

(1-2)、利用曲线拟合出纹理视频R-D曲线相关模型参数，如附图3所示。

(2)、同样利用预编码另一个图像组，固定纹理视频的量化参数，调节深度图的量化参数QP，例如QP＝25，QP＝27，QP＝30，QP＝32，QP＝35分别编码视频序列的深度图的一组GOP，得到相关的深度图的编码失真D_d、深度图的目标码率R_d，并获得深度图下的Lambda-R曲线模型参数和R-D曲线模型参数，分别如附图3和附图5所示。

(3)、将步骤(1)和步骤(2)得到的纹理的Lambda-R曲线模型参数、R-D曲线模型参数和深度图的Lambda-R曲线模型参数、R-D曲线模型参数代入到Lambda-R和R-D计算式中，得到纹理视频的Lambda-R曲线参数、深度图的Lambda-R曲线参数、深度图的Lambda-R曲线参数、纹理视频的R-D曲线参数，纹理的纹理视频的Lambda-R曲线参数如图2所示；深度图的Lambda-R曲线参数如图3所示；纹理视频的R-D曲线参数如图4所示；深度图的R-D曲线参数如图5所示。

(4)、将步骤(3)得到的四个曲线参数分别代入基于拉格朗日的率失真优化式子中，求解出最优的纹理和深度码率，基于拉格朗日的率失真优化式子如下式(2)：

(R_t ^opt,R_d ^opt)＝min(J_t(R_t)+J_d(R_d))

＝min[D(R_t)+λ(R_t)×R_t+D(R_d)+λ(R_d)×R_d]………………(2)

s.t R_t+R_d＝R_c

配合受限方程，利用线性归化求得上术两个变量即为最佳的纹理码率跟深度图的码率。步骤(4)模拟率失真优化，将拉格朗日算子纳入到码率分配当中。括号中均是包含了纹理码率R_t和深度图码率R_d未知量的计算式，利用线性归化求得上术两个变量即为最佳的纹理码率跟深度图的码率。码率控制当中没有编码模式的选择，因此该参数可以不予考虑。其中J表示的率失真优化的一个代价函数，D和R表示的是编码后的失真度和编码的输出码率。步骤(3)所得到的两个曲线就是该率失真优化右边的两个式子。在3D-HEVC校验模型中，纹理加深度均是采用HEVC标准进行编码。HEVC采用率失真优化使其在一定码率范围内达到最佳的编码质量。步骤四具体包括以下步骤：

(41)定义步骤(4)中的纹理视频的编码失真和纹理视频的目标码率之间的码率失真模型，其表达式如下式(3)：

$D_t={\mathrm{\μ}}_t{R}_t^{v_t}\·\·\·\left(3\right)$

其中，D_t为纹理视频的编码失真值，R_t为纹理视频的目标码率，μ_t，ν_t为预编码得到的纹理视频的码率失真模型的常系数；

(42)、定义步骤(4)中的深度图的编码失真和深度图的码率之间的码率失真模型，其表达式如下式(4)：

$D_d={\mathrm{\μ}}_d{R}_d^{v_d}\·\·\·\left(4\right)$

其中，D_d为深度图的编码失真值，R_d为深度图的目标码率，μ_d，ν_d为预编码得到的深度图的码率失真模型的常系数；

(43)定义步骤(4)中的纹理视频的编码失真和纹理视频的码率之间的码率失真模型，其表达式如下式(5)：

${\mathrm{\λ}}_t=a_t\×R_t^{-b_t}\·\·\·\left(5\right)$

其中，λ_t为纹理视频的Lambda值，R_t为纹理视频的目标码率，a_t，b_t为预编码得到的纹理视频的Lambda-R模型的常系数；

(44)定义步骤(4)中的深度图的编码失真和深度图的码率之间的码率失真模型，其表达式如下式(6)：

${\mathrm{\λ}}_d=a_d\×R_d^{-b_d}\·\·\·\left(6\right)$

其中，λ_d为深度图的Lambda值，R_d为深度图的目标码率，a_d，b_d为预编码得到的深度图的码率失真模型的常系数；

(5)、利用提案JCTVC-K0103方法计算出编码纹理视频跟深度图的量化参数QP对序列进行编码。

其中，步骤(1)和步骤(2)中的纹理的Lambda-R曲线模型参数和深度图的Lambda-R曲线模型参数计算式如下式(7)：

$\left\{\begin{array}{c}{\mathrm{\λ}}_t=a_t{R}_t^{-b_t}\\ {\mathrm{\λ}}_d=a_d{R}_d^{-b_d}\end{array}\right.\·\·\·\left(7\right)$

其中λ_t和λ_d表示的是纹理和深度的拉格朗日算子，R_t和R_d分别表示纹理和深度的目标码率，a_t,b_t表示的是预编码得到的纹理视频的Lambda-R模型的常系数，a_d,b_d表示的是预编码得到的深度图的码率失真模型的常系数，因为目标码率和编码量化参数息息相关，为了得到Lambda-R的关系，必须知道Lambda与量化参数的关系，而已经知道其如下计算式(8)所示。

λ(Q)＝0.85×2^(Q-12)/3……………………………………(8)

首先研究Lambda算子与编码码率之间的关系，同样采用控制变量法，即分别固定纹理量化参数Q_t和固定深度量化参数Q_d情况下定量研究Lambda算子与编码码率的关系。上式中Q表示的是纹理或深度的编码量化参数。

其中，步骤(1)和步骤(2)中的纹理和深度的Lambda-R曲线计算式(9)如下：

$\left\{\begin{array}{c}{D}_t={\∂}_t{R}_t^{-{\mathrm{\β}}_t}\\ D_d={\∂}_d{R}_d^{-{\mathrm{\β}}_d}\end{array}\right.\·\·\·\left(9\right)$

将步骤(2)重复步骤(1)得到深度的模型参数，分别得到深度图的两个曲线方程。

上述步骤(4)中提到的基于拉格朗日的式子是模拟率失真优化过程，将率失真优化过程中的λ算子通过预编码得到其与码率之间的关系。

Claims (3)

1.一种基于3D-HEVC的纹理视频和深度图编码的码率分配的方法，其特征在于，其包括以下步骤：

步骤一，预编码一个图像组，获得纹理相关参数，纹理相关参数包括纹理的Lambda-R曲线模型参数、R-D曲线模型参数、纹理视频的编码失真D_t、纹理视频的目标码率R_t以及每个量化参数对应下的纹理视频的Lambda值λ_t；

步骤二，预编码另一个图像组，得到深度图的Lambda-R曲线模型参数和R-D曲线模型参数；

步骤三，将步骤一和步骤二得到的纹理的Lambda-R曲线模型参数、R-D曲线模型参数和深度图的的Lambda-R曲线模型参数、R-D曲线模型参数代入到Lambda-R和R-D计算式中，得到纹理视频的Lambda-R曲线参数、深度图的Lambda-R曲线参数、深度图的Lambda-R曲线参数、纹理视频的R-D曲线参数；

步骤四，将步骤三得到的四个曲线参数分别代入基于拉格朗日的率失真优化式子中，求解出最优的纹理和深度码率；

步骤五，利用提案JCTVC-K0103方法计算出编码纹理视频跟深度图的量化参数QP对序列进行编码。

2.根据权利要求1所述的基于3D-HEVC的纹理视频和深度图编码的码率分配的方法，其特征在于，所述步骤四的基于拉格朗日的率失真优化式子如下式：

$\begin{array}{c}({R_t}^{\mathrm{opt}},{R_d}^{\mathrm{opt}})=\min (J_t\left(R_t\right)+J_d\left(R_d\right))\\ =\min [D\left(R_t\right)+\mathrm{\λ}\left(R_t\right)\×R_t+D\left(R_d\right)+\mathrm{\λ}\left(R_d\right)\×R_d]\end{array}$

s.t R_t+R_d＝R_c

其中码率控制当中没有编码模式的选择，J表示的率失真优化的一个代价函数，D和R表示的是编码后的失真度和编码所用的目标码率。

3.根据权利要求1所述的基于3D-HEVC的纹理视频和深度图编码的码率分配的方法，其特征在于，所述步骤四还包括以下步骤：

步骤四十一，定义步骤四中的纹理视频的编码失真和纹理视频的目标码率之间的码率失真模型，其表达式如下式：

$D_t={\mathrm{\μ}}_t{R}_t^{v_t}$

其中，D_t为纹理视频的编码失真值，R_t为纹理视频的目标码率，μ_t，ν_t为预编码得到的纹理视频的码率失真模型的常系数；

步骤四十二，定义步骤四中的深度图的编码失真和深度图的码率之间的码率失真模型，其表达式如下式：

$D_d={\mathrm{\μ}}_d{R}_d^{v_d}$

其中，D_d为深度图的编码失真值，R_d为深度图的目标码率，μ_d，ν_d为预编码得到的深度图的码率失真模型的常系数；

步骤四十三，定义步骤四中的纹理视频的编码失真和纹理视频的码率之间的码率失真模型，其表达式如下式：

${\mathrm{\λ}}_t=a_t\×R_t^{-b_t}$

其中，λ_t为纹理视频的Lambda值，R_t为纹理视频的目标码率，a_t，b_t为预编码得到的纹理视频的Lambda-R模型的常系数；

步骤四十四，定义步骤四中的深度图的编码失真和深度图的码率之间的码率失真模型，其表达式如下式：

${\mathrm{\λ}}_d=a_d\×R_d^{-b_d}$

其中，λ_d为深度图的Lambda值，R_d为深度图的目标码率，a_d，b_d为预编码得到的深度图的码率失真模型的常系数。