CN101835056A - 基于模型的纹理视频与深度图的最优码率分配方法 - Google Patents

Abstract

本发明公开了一种基于模型的纹理视频与深度图的最优码率分配方法，主要解决三维立体视频编码中的纹理视频与深度图的码率分配问题。其方案是：确定虚拟视图失真与纹理视频的量化步长、深度图的量化步长之间的关系；利用纹理视频的编码码率与纹理视频量化步长的关系、深度图的编码码率与深度图量化步长的关系，计算最优的纹理视频量化步长与最优的深度图的量化步长；并以最优的纹理视频量化步长和最优的深度图量化步长分别对纹理视频与深度图编码，实现纹理视频与深度图的最优码率分配。本发明具有复杂度低，且能使纹理视频与深度图的码率分配达到最优的优点，可用于三维立体视频编码中的纹理视频与深度图码率分配。

Description

基于模型的纹理视频与深度图的最优码率分配方法

技术领域

本发明属于通信标准领域。涉及到三维立体视频中的纹理视频与深度图的联合编码技术。具体的说，是一种在固定码率的条件下，对纹理视频与深度图进行码率分配，使合成虚拟视图的质量达到最优的码率分配。

背景技术

三维视频作为未来主要的视频应用技术，是指用户通过三维视频显示设备可以享受到真实的三维视频内容。三维视频的相关技术，比如，三维视频采集、三维视频编码、三维视频的显示等技术已经得到广泛的关注。为了推动三维视频技术的标准化，2002年，运动图像专家组(Motion Picture Experts Group，MPEG)提出任意视点电视(Free View Television，FTV)的概念。它能够提供生动真实的、交互式的三维视听系统。用户可以从不同的角度观看该角度的三维视频，使得用户有融入视频场景中的真实感受。FTV可广泛应用于广播通信、娱乐、教育、医疗和视频监控等领域。为了使用户可以观看到任意角度的三维视频，FTV系统服务端使用已标定好的摄像机阵列获得一定视点上的视频。并对不同视点上的视频校正，利用校正过的视频信息通过虚拟视图合成技术生成虚拟视点的虚拟视图。目前MPEG建议具体使用基于深度-图像(Depth-Image Based Rendering，DIBR)的虚拟视图合成技术。深度信息一般通过深度图表示。

虚拟视图合成的主要过程如下：

1).确定要虚拟视点在摄像机阵列中的相对位置。

2).确定用于合成虚拟视点的纹理视频

3).确定步骤2)的纹理视频对应的深度图

4).依据步骤2)与3)中的纹理视频和深度图，采用DIBR技术，合成虚拟视图。

FTV的标准化工作分为两个阶段进行^[3]。第一阶段是2006年至2008年由JVT制定的H.264/AVC的扩展方案-MVC(Multi-View Video Coding)。MVC可以对多视点纹理视频进行编码。但是要最终实现FTV系统的功能，还必须要对深度信息进行编码。目前FTV的标准化制定工作已经进入第二阶段，即3DVC(Three Dimensional VideoCoding)。3DVC主要关注深度信息的表示与编码，以及纹理视频与深度信息的联合编码。3DVC中，深度信息通过深度图表示。

衡量3DVC性能的主要指标是合成虚拟视图的质量，以及纹理视频、深度图的编码码率。

虚拟视图的质量：

通常采用峰值信噪比(Peak Signal-to-Noise Ratio，PSNR)来衡量视频的质量。PSNR的计算公式如(1)式所示，

$\mathrm{PSNR}=10\×\log \left(\frac{{255}^2}{\mathrm{MSE}}\right)---\left(1\right)$

(1)式中MSE表示原始视图与合成虚拟视图之间的均方误差，用来衡量虚拟视图的失真，以及纹理视频的编码失真、深度图的编码失真。

在实际应用中，虚拟视点的视图是不存在的，也即不存在原始视图。但是由于3DVC主要关注编码性能，因此为衡量3DVC的性能，首先采用未经编码的已有纹理视频及其对应的深度图合成虚拟视图V_orig，然后采用经过编码后的重建的纹理视频以及编码后重建的深度图合成虚拟视图V_rec，最后通过计算V_rec与V_orig之间的的MSE，进而得到PSNR，以衡量3DVC的性能。

纹理视频、深度图的编码码率：

编码码率R是指纹理视频、深度图编码的总比特数(B_T，B_D)除以视频帧率F(即每秒显示多少幅图像)，如(2)式所示。

$R=\frac{B_T+B_D}{F}---\left(2\right)$

编码码率R也可以表示为纹理视频的编码码率R_T与深度图编码码率R_D的和，如(3)式所示，

R＝R_T+R_D                        (3)

其中R_T与R_D可以分别表示为(4)、(5)式所示的形式，

$R_T=\frac{B_T}{F}---\left(4\right)$

$R_D=\frac{B_D}{F}---\left(5\right)$

纹理视频与深度图的编码码率R_T与R_D分别由纹理视频与深度图的编码过程中的量化步长Q_T与Q_D决定。

要衡量3DVC的性能，必须要综合考虑虚拟视图的质量与纹理、深度图的编码码率。即考虑在合成虚拟视图的质量相同的条件下，纹理视频、深度图的编码码率大小；或者在纹理、深度图的编码码率相同的条件下，合成虚拟视图的质量高低。

3DVC中，当编码码率相同时，纹理视频与深度图的编码码率可以有多种组合方式。不同的组合方式所得的虚拟视图的质量有很大差异。本发明关注在固定编码码率条件下如何分配纹理视频与深度图的编码码率。

现有的纹理视频与深度图的码率分配方法：

1).固定比例的码率分配方法

该方法在给定的总码率的条件下，将深度图的编码码率固定为纹理视频编码码率的1/5或其它数值，从而确定纹理视频与深度图的编码码率，并确定纹理视频的量化步长Q_T以及深度图的量化步长Q_D，继而对纹理视频和深度图进行编码。该方法认为纹理视频的编码码率R_T对合成虚拟视图的质量影响最大。但实际上，在总码率固定的条件下，合成虚拟视图的质量受到R_T与R_D的共同影响。因此该方法并不能保证在码率分配之后合成虚拟视图的质量达到最优。

2).基于搜索的码率分配方法

该方法在给定总码率的条件下，通过搜索的方式寻找使虚拟视图失真达到最小且满足总码率约束条件的纹理视频与深度图的量化步长Q_T与Q_D。即采用量化步长的取值范围内所有的Q_T与Q_D对纹理视频、深度图进行多次编码，并合成虚拟视图，然后计算虚拟视图的质量，选择能够使虚拟视图质量达到最高且满足总码率约束条件的纹理视频、深度图的量化步长Q_T ^opt与Q_D ^opt，进而实现纹理视频、深度图的码率分配。基于搜索的码率分配方法虽然可以对纹理视频、深度图进行最优的码率分配，但是其复杂度过高，无实际应用价值。

发明内容

本发明的目的在于克服上述已有技术的缺点，提出一种基于模型的纹理视频与深度图的最优码率分配方法，以在固定编码码率条件下，以较低的复杂度，实现最优的纹理视频与深度图的码率分配，提高实际应用价值。

实现本发明的技术方案是：确定虚拟视图的MSE失真模型，即确定虚拟视图的MSE失真M_V与Q_T、Q_D之间的模型；最后利用R_T与Q_T、R_D与Q_D之间的关系通过计算得到最优的纹理视频与深度图的码率分配。具体步骤如下：

(1)定义虚拟视图失真M_V为：

M_V＝a_T×Q_T+a_D×Q_D+C                (6)

其中Q_T表示纹理视频的量化步长，Q_D表示深度图的量化步长，a_T表示Q_T对M_V的影响参数；a_D表示Q_D对M_V的影响参数；C表示虚拟视图合成过程中固有的失真；

(2)任意选取两个深度图的量化步长Q_D，1和Q_D，2，对深度图进行两次预编码，得到深度图的两个编码码率R_D，1与R_D，2，并得到编码重建的两个深度图D₁与D₂；

(3)任意选取两个纹理视频的量化步长Q_T，1和Q_T，2，对纹理视频进行两次预编码，得到纹理视频的两个编码码率R_T，1与R_T，2，并得到编码重建的两个纹理视频T₁与T₂；

(4)依据深度图量化步长Q_D，1和Q_D，2，以及深度图编码码率R_D，1和R_D，2，确定深度图的量化步长对深度图编码码率的影响参数m_D，以及深度图的固有特征对深度图编码码率的影响参数n_D：

$m_D=\frac{(R_{D,1}-R_{D,2})\×Q_{D,1}\×Q_{D,2}}{Q_{D,2}-Q_{D,1}},---\left(7\right)$

$n_D=R_{D,1}-\frac{(R_{D,1}-R_{D,2})\×Q_{D,2}}{Q_{D,2}-Q_{D,1}};---\left(8\right)$

(5)依据纹理视频的量化步长Q_T，1和Q_T，2，以及纹理视频的编码码率R_T，1和R_T，2，确定纹理视频的量化步长对纹理视频的编码码率的影响参数m_T，以及纹理视频的固有特征对纹理视频编码码率的影响参数n_T：

$m_T=\frac{(R_{T,1}-R_{T,2})\×Q_{T,1}\×Q_{T,2}}{Q_{T,2}-Q_{T,1}}---\left(9\right)$

$n_T=R_{T,1}-\frac{(R_{T,1}-R_{T,2})\×Q_{T,2}}{Q_{T,2}-Q_{T,1}};---\left(10\right)$

(6)依据步骤(2)中编码重建的两个深度图D₁和D₂，以及步骤(3)中编码重建的两个纹理视频T₁和T₂，在同一个视点合成三个具有不同质量的虚拟视图，并计算这三个虚拟视图的失真M_V，1，M_V，2，M_V，3；

(7)依据虚拟视图的失真M_V，1、M_V，2和M_V，3，纹理视频的量化步长Q_T，1和Q_T，2，深度图的量化步长Q_D，1和Q_D，2，确定步骤(1)所定义的参数a_T与a_D：

$a_D=\frac{M_{V,1}-M_{V,2}}{Q_{D,1}-Q_{D,2}},---\left(11\right)$

$a_T=\frac{M_{V,2}-M_{V,3}}{Q_{T,1}-Q_{T,2}};---\left(12\right)$

(8)依据上述参数m_D、n_D、m_T、n_T、a_T和a_D，计算最优的纹理视频量化步长Q_T ^opt和最优的深度图的量化步长Q_D ^opt：

${Q_D}^{\mathrm{opt}}=\frac{\sqrt{\frac{a_T}{a_D}\×\frac{m_D}{m_T}}\×(m_T+\sqrt{\frac{a_D\×m_T\×m_D}{a_T}})}{R_c-n_T-n_D},---\left(13\right)$

${Q_T}^{\mathrm{opt}}=\frac{m_T+\sqrt{\frac{a_D\×m_T\×m_D}{a_T}}}{R_c-n_T-n_D},---\left(14\right)$

其中，R_c为纹理视频与该纹理视频对应的深度图的总码率；

(9)采用最优的纹理视频量化步长Q_T ^opt对纹理视频编码，得到编码码率R_T ^opt，采用最优的深度图的量化步长Q_D ^opt对深度图编码，得到编码码率R_D ^opt，完成最优的纹理视频与深度图的码率分配。

本发明与现有技术相比具有以下优点：

1)本发明由于定义了虚拟视图失真M_V与纹理视频量化步长Q_T和深度图量化步长Q_D之间的关系，因而通过简单计算就可以实现纹理视频与深度图的最优码率分配，使得合成虚拟视图的质量达到最优，与基于搜索的码率分配方法相比极大地降低了计算复杂度。

2)本发明由于对深度图进行了预编码，使计算得到的参数m_D和n_D比较准确。

3)本发明由于对纹理视频进行了预编码，使计算得到的参数m_T和n_T比较准确。

4)本发明由于在同一个视点合成了三个具有不同质量的虚拟视图，并计算了这三个不同质量的虚拟视图的失真，使得计算得到的参数a_T与a_D比较准确。

5)本发明由于仅需要对深度图和纹理视频分别编码两次，因此计算复杂度很低，仅为现有基于搜索的码率分配方法的10％。

附图说明

图1是本发明的流程图；

图2是本发明定义的虚拟视图失真与纹理视频量化步长和深度图量化步长之间的关系图；

图3是采用本发明的方法进行码率分配后，合成的虚拟视图的客观质量比较图；

图4是采用本发明的方法进行码率分配后，合成的虚拟视图的主观效果比较图。

具体实施方式

参照图1，本发明的具体实施包括如下步骤：

步骤1，定义M_V与纹理视频量化步长Q_T、深度图量化步长Q_D之间的关系。

理论分析与实验验证可得虚拟视图的失真模型，如(15)式所示，

M_V＝a_T×Q_T+a_D×Q_D+C            (15)

(15)式中a_T表示Q_T对M_V的影响参数；a_D表示Q_D对M_V的影响参数；C表示虚拟视图合成过程的固有失真；该(15)式所示的虚拟视图失真模型可通过图2验证。图2(a)所示为采用编码后的AKKO&KAYO三维视频序列的纹理视频和深度图合成的虚拟视图的失真与该序列的纹理视频量化步长，和该序列的深度图量化步长的关系，图2(b)所示为采用编码后的Altmoabit三维视频序列的纹理视频和深度图合成的虚拟视图的失真与该序列的纹理视频的量化步长，和该序列的深度图量化步长的关系，图2(c)所示为采用编码后的Ballet三维视频序列的纹理视频和深度图合成的虚拟视图的失真与该序列的纹理视频的量化步长，和该序列的深度图的量化步长之间的关系。

步骤2，对深度图进行两次预编码。

任意选取两个量化步长Q_D，1、Q_D，2，对深度图进行两次预编码，得到深度图的两个编码码率R_D，1与R_D，2，并得到编码重建的两个深度图D₁与D₂。

步骤3，对纹理视频进行两次预编码。

任意选取两个量化步长Q_T，1、Q_T，2，对纹理视频进行两次预编码，得到纹理视频的两个编码码率R_T，1与R_T，2，并得到编码重建的两个纹理视频T₁与T₂；

步骤4，计算深度图的量化步长对深度图编码码率的影响参数m_D和深度图的固有特征对深度图编码码率的影响参数n_D。

依据深度图量化步长Q_D，1和Q_D，2，以及深度图编码码率R_D，1与R_D，2，建立如下方程组：

R_D，1＝m_D/Q_D，1+n_D

                        (16)

R_D，2＝m_D/Q_D，2+n_D

解方程组确定深度图量化步长对深度图编码码率的影响参数m_D和深度图的固有特征对深度图编码码率的影响参数n_D，

$m_D=\frac{(R_{D,1}-R_{D,2})\×Q_{D,1}\×Q_{D,2}}{Q_{D,2}-Q_{D,1}}---\left(17\right)$

$n_D=R_{D,1}-\frac{(R_{D,1}-R_{D,2})\×Q_{D,2}}{Q_{D,2}-Q_{D,1}}.---\left(18\right)$

步骤5，计算纹理视频的量化步长对纹理视频的编码码率的影响参数m_T，以及纹理视频的固有特征对纹理视频编码码率的影响参数n_T。

依据纹理视频的量化步长Q_T，1、Q_T，2，以及纹理视频的编码码率R_T，1、R_T，2，建立如下方程组：

R_T，2＝m_T/Q_T，1+n_T

                        (19)

R_T，1＝m_T/Q_T，2+n_T

解方程组确定纹理视频的量化步长对纹理视频的编码码率的影响参数m_T，以及纹理视频的固有特征对纹理视频编码码率的影响参数n_T，

$m_T=\frac{(R_{T,1}-R_{T,2})\×Q_{T,1}\×Q_{T,2}}{Q_{T,2}-Q_{T,1}}---\left(20\right)$

$n_T=R_{T,1}-\frac{(R_{T,1}-R_{T,2})\×Q_{T,2}}{Q_{T,2}-Q_{T,1}}.---\left(21\right)$

步骤6，合成虚拟视图，并计算虚拟视图的失真。

依据步骤2和步骤3编码后重建的深度图D₁、D₂以及编码后重建的纹理视频T₁、T₂，在同一个虚拟视点合成三个具有不同质量的虚拟视图V₁、V₂和V₃；并采用未经过编码的纹理视频和未经过编码的深度图合成的虚拟视图V；计算这三个虚拟视图的失真值M_V，1，M_V，2，M_V，3：

$M_{V,1}=\frac{1}{W\×H}\underset{i=1}{\overset{W}{\mathrm{\Σ}}}\underset{j=1}{\overset{H}{\mathrm{\Σ}}}{[V(i,j)-V_1(i,j)]}^2---\left(22\right)$

$M_{V,2}=\frac{1}{W\×H}\underset{i=1}{\overset{W}{\mathrm{\Σ}}}\underset{j=1}{\overset{H}{\mathrm{\Σ}}}{[V(i,j)-V_2(i,j)]}^2---\left(23\right)$

$M_{V,3}=\frac{1}{W\×H}\underset{i=1}{\overset{W}{\mathrm{\Σ}}}\underset{j=1}{\overset{H}{\mathrm{\Σ}}}{[V(i,j)-V_3(i,j)]}^2---\left(24\right)$

在式(22)、(23)、(24)中，W表示虚拟视图的图像宽度；H表示虚拟视图的图像高度；V(i，j)表示虚拟视图V中的第i行，第j列的像素值；V₁(i，j)表示虚拟视图V₁中的第i行，第j列的像素值；V₂(i，j)表示虚拟视图V₂中的第i行，第j列的像素值，V₃(i，j)表示虚拟视图V₃中的第i行，第j列的像素值。

步骤7，确定纹理视频的量化步长对虚拟视图失真的影响参数a_T和深度图的量化步长对虚拟视图失真的影响参数a_D。

依据M_V，1，M_V，2，M_V，3以及纹理视频的量化步长Q_T，1、Q_T，2，深度图的量化步长Q_D，1、Q_D，2，以及步骤1中的定义，建立如下方程组：

M_V，1＝a_T×Q_T，1+a_D×Q_D，1+C

M_V，2＝a_T×Q_T，1+a_D×Q_D，2+C    (25)

M_V，3＝a_T×Q_T，2+a_D×Q_D，2+C

求解该方程组，确定式(15)中纹理视频的量化步长对虚拟视图失真的影响参数a_T和深度图的量化步长对虚拟视图失真的影响参数a_D：

$a_D=\frac{M_{V,1}-M_{V,2}}{Q_{D,1}-Q_{D,2}}---\left(26\right)$

$a_T=\frac{M_{V,2}-M_{V,3}}{Q_{T,1}-Q_{T,2}}.---\left(27\right)$

步骤8，计算纹理视频的最优的量化步长以及深度图的最优量化步长。

依据信道带宽以及存储设备缓冲区大小，得到纹理视频以及该纹理视频对应的深度图的总码率R_c；并依据所述参数m_D、n_D、m_T、n_T、a_T和a_D，通过下式计算出最优的纹理视频量化步长Q_T ^opt以及深度图的量化步长Q_D ^opt：

${Q_D}^{\mathrm{opt}}=\frac{\sqrt{\frac{a_T}{a_D}\×\frac{m_D}{m_T}}\×(m_T+\sqrt{\frac{a_D\×m_T\×m_D}{a_T}})}{R_c-n_T-n_D}---\left(28\right)$

${Q_T}^{\mathrm{opt}}=\frac{m_T+\sqrt{\frac{a_D\×m_T\×m_D}{a_T}}}{R_c-n_T-n_D}.---\left(29\right)$

步骤9，实现最优的纹理视频与深度图的码率分配。

将量化步长Q_T ^opt设为编码器的量化步长，对纹理视频编码，得到纹理视频编码比特数B_T；再用B_T除以视频帧率F，得到

将量化步长Q_D ^opt设为编码器的量化步长，对深度图编码，得到深度图的编码比特数B_D，再用B_D除以视频帧率F，得到

本发明的效果可以通过实验进一步说明。

实验测试了在不同的总码率条件下，采用本发明进行纹理视频、深度图码率分配之后，合成虚拟视图的质量。图3比较了采用本发明、固定比例的码率分配方法和基于搜索的码率分配方法进行码率分配后，合成虚拟视图的客观质量PSNR。其中图3(a)是对三维视频序列AKKO&KAYO的纹理视频和深度图进行码率分配的实验结果，图3(b)是对三维视频序列Altmoabit的纹理视频和深度图进行码率分配的实验结果，图3(c)是对三维视频序列Ballet的纹理视频和深度图进行码率分配的实验结果。由图3可见，采用本发明进行码率分配后，合成的虚拟视图的客观质量与采用基于搜索的码率分配方法后，合成的虚拟视图的客观质量相当，说明本发明可以实现最优的码率分配。此外，由图3(c)还可以看出，相比固定比例的码率分配方法，采用本发明进行码率分配后，合成虚拟视图的客观质量PNSR最高可提高1.1dB。

本发明与固定比例的码率分配方法相比，合成虚拟视图的主观质量如图4所示，其中图4(a)为采用固定比例的码率分配方法为Ballet三维视频序列的纹理视频和深度图进行码率分配后合成的虚拟视图的主观效果，图4(b)为采用本发明为Ballet三维视频序列的纹理视频和深度图进行码率分配后合成的虚拟视图的主观效果，由图4可见，采用本发明进行码率分配后，合成的虚拟视图的主观质量有明显提高，

相比基于搜索的码率分配方法，本发明仅需要分别为纹理视频及其对应的深度图任意选取两个量化步长Q_T，1、Q_T，2与Q_D，1、Q_D，2，对纹理视频与深度图分别进行两次预编码，然后通过计算即可实现最优的纹理视频与深度图的码率分配。而基于搜索的码率分配方法需要选取量化步长取值范围内的所有量化步长对纹理视频与其对应的深度图进行编码，并且至少需要对纹理视频和该纹理视频对应的深度图分别编码20次。可见本发明的复杂度仅为现有基于搜索的码率分配算法的10％。

Claims (3)

1.一种基于模型的纹理视频与深度图的最优码率分配方法，包括如下步骤：

(1)定义虚拟视图失真M_V为：

M_V＝a_T×Q_T+a_D×Q_D+C

其中Q_T表示纹理视频的量化步长，Q_D表示深度图的量化步长，a_T表示Q_T对M_V的影响参数；a_D表示Q_D对M_V的影响参数；C表示虚拟视图合成过程中固有的失真；

(2)任意选取两个深度图的量化步长Q_D，1和Q_D，2，对深度图进行两次预编码，得到深度图的两个编码码率R_D，1与R_D，2，并得到编码重建的两个深度图D₁与D₂；

(3)任意选取两个纹理视频的量化步长Q_T，1和Q_T，2，对纹理视频进行两次预编码，得到纹理视频的两个编码码率R_T，1与R_T，2，并得到编码重建的两个纹理视频T₁与T₂；

(4)依据深度图量化步长Q_D，1和Q_D，2，以及深度图编码码率R_D，1和R_D，2，确定深度图的量化步长对深度图编码码率的影响参数m_D，以及深度图的固有特征对深度图编码码率的影响参数n_D：

$m_D=\frac{(R_{D,1}-R_{D,2})\×Q_{D,1}\×Q_{D,2}}{Q_{D,2}-Q_{D,1}},$

$n_D=R_{D,1}-\frac{(R_{D,1}-R_{D,2})\×Q_{D,2}}{Q_{D,2}-Q_{D,1}};$

(5)依据纹理视频的量化步长Q_T，1和Q_T，2，以及纹理视频的编码码率R_T，1和R_T，2，确定纹理视频的量化步长对纹理视频的编码码率的影响参数m_T，以及纹理视频的固有特征对纹理视频编码码率的影响参数n_T：

$m_T=\frac{(R_{T,1}-R_{T,2})\×Q_{T,1}\×Q_{T,2}}{Q_{T,2}-Q_{T,1}},$

$n_T=R_{T,1}-\frac{(R_{T,1}-R_{T,2})\×Q_{T,2}}{Q_{T,2}-Q_{T,1}};$

(6)依据步骤(2)中编码重建的两个深度图D₁和D₂，以及步骤(3)中编码重建的两个纹理视频T₁和T₂，在同一个视点合成三个具有不同质量的虚拟视图，并计算这三个虚拟视图的失真M_V，1，M_V，2，M_V，3；

(7)依据虚拟视图的失真M_V，1、M_V，2和M_V，3，纹理视频的量化步长Q_T，1和Q_T，2，深度图的量化步长Q_D，1和Q_D，2，确定步骤(1)所定义的参数a_T与a_D：

$a_D=\frac{M_{V,1}-M_{V,2}}{Q_{D,1}-Q_{D,2}},$

$a_T=\frac{M_{V,2}-M_{V,3}}{Q_{T,1}-Q_{T,2}};$

(8)依据上述参数m_D、n_D、m_T、n_T、a_T和a_D，计算最优的纹理视频量化步长Q_T ^opt和最优的深度图的量化步长Q_D ^opt：

${Q_D}^{\mathrm{opt}}=\frac{\sqrt{\frac{a_T}{a_D}\×\frac{m_D}{m_T}}\×(m_T+\sqrt{\frac{a_D\×m_T\×m_D}{a_T}})}{R_c-n_T-n_D},$

${Q_T}^{\mathrm{opt}}=\frac{m_T+\sqrt{\frac{a_D\×m_T\×m_D}{a_T}}}{R_c-n_T-n_D},$

其中，R_c为纹理视频与该纹理视频对应的深度图的总码率；

(9)采用最优的纹理视频量化步长Q_T ^opt对纹理视频编码，得到编码码率R_T ^opt，采用最优的深度图的量化步长Q_D ^opt对深度图编码，得到编码码率R_D ^opt，完成最优的纹理视频与深度图的码率分配。

2.根据权利要求1所述的最优码率分配方法，其中步骤(9)所述的采用最优的纹理视频量化步长Q_T ^opt对纹理视频编码，得到编码码率R_T ^opt，是将量化步长Q_T ^opt设为编码器的量化步长，对纹理视频编码，得到纹理视频编码比特数B_T；再用B_T除以帧率F，得到

3.根据权利要求1所述的最优码率分配方法，其中步骤(9)所述的采用最优的深度图量化步长Q_D ^opt对深度图编码，得到编码码率R_D ^opt，是将量化步长Q_D ^opt设为编码器的量化步长，对深度图编码，得到深度图的编码比特数B_D；再用B_D除以帧率F，得到

Images