CN102523468B - 一种三维立体视频编码的最佳码率比重确立方法 - Google Patents

Abstract

本发明公开了一种三维立体视频编码的最佳码率比重确立方法，其通过建立对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的码率分配模型，并通过幂指数拟合方法建立编码码率与绘制失真的关系模型，然后对码率分配模型进行优化，建立对原始左视点彩色视频、原始右视点彩色视频和原始左视点深度视频、原始右视点深度视频进行编码的总码率与最佳码率比重的关系模型，本发明方法在保证较高的虚拟视点图像质量的前提下，避免了在编码过程中进行复杂的码率分配操作，大大简化了编码过程。

Description

一种三维立体视频编码的最佳码率比重确立方法

技术领域

本发明涉及一种视频信号的编码压缩方法，尤其是涉及一种三维立体视频编码的最佳码率比重确立方法。

背景技术

进入本世纪以来，随着数字2D(二维)视频技术日趋成熟，以及计算机、通信及网络技术的快速发展，引发了人们对新一代视频系统的强烈需求。现行的二维视频系统在表现自然场景时，难以满足用户的立体感和视点交互等的需求。三维视频系统由于能够提供立体感、视点交互性的全新视觉体验而越来越受到人们的欢迎，在无线视频通信、影视娱乐、数字动漫、虚拟战场、旅游观光、远程教学等领域有着广泛的应用前景。通常，三维视频系统如图1所示，其主要包括采集、视频编码、视频传输、视频解码和3D(三维)显示等模块。

多视点视频加深度(multi-view video plus depth，MVD)是目前ISO/MPEG推荐采用的3D场景信息表示方式。MVD数据在多视点彩色图像基础上增加了对应视点的深度信息，通过利用参考视点的彩色图像及该参考视点的彩色图像中的每个像素对应的深度信息，采用基于深度图像的绘制技术来合成三维场景的虚拟视点图像。然而，现有的三维立体视频编码的研究并没有充分考虑彩色视频与深度视频的最优码率比重问题，这是因为：一方面，不同测试序列的彩色视频的编码失真和深度视频的编码失真对虚拟视点绘制的影响是各不相同的，应当采用合适的码率比重对不同的测试序列进行码率分配；另一方面，在不同的总码率下彩色视频的编码失真和深度视频的编码失真对虚拟视点绘制的影响也是各不相同的，因此，如何通过最佳的曲线逼近来建立码率比重与总码率的关系模型，是对MVD数据的编码过程中需要研究解决的问题。

发明内容

本发明所要解决的技术问题是提供一种三维立体视频编码的最佳码率比重确立方法，其能够有效地提高虚拟视点图像的质量，并简化码率分配操作和编码过程。

本发明解决上述技术问题所采用的技术方案为：一种三维立体视频编码的最佳码率比重确立方法，其特征在于包括以下步骤：

①将外部立体视频捕获工具捕获得到的未经处理的且颜色空间为YUV的彩色立体视频及其对应的深度立体视频定义为原始三维立体视频，在空域上该原始三维立体视频包括原始左视点三维视频和原始右视点三维视频，原始左视点三维视频包括原始左视点彩色视频和原始左视点深度视频，原始左视点彩色视频主要由若干个帧组的原始左视点彩色图像组成，原始左视点深度视频主要由若干个帧组的原始左视点深度图像组成，原始右视点三维视频包括原始右视点彩色视频和原始右视点深度视频，原始右视点彩色视频主要由若干个帧组的原始右视点彩色图像组成，原始右视点深度视频主要由若干个帧组的原始右视点深度图像组成，其中，YUV颜色空间的三个颜色分量的第1个分量为亮度分量并记为Y、第2个分量为第一色度分量并记为U及第3个分量为第二色度分量并记为V；

将介于左视点与右视点之间的视点作为虚拟视点；

②建立对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的码率分配模型，记为

以保证获得最优的绘制质量，其中，min[]为取最小值函数，R_c表示预先设定的对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的总码率，R_t表示对原始左视点彩色视频、原始右视点彩色视频进行编码的码率，R_d表示对原始左视点深度视频、原始右视点深度视频进行编码的码率，D_v(R_t，R_d)表示对以码率R_t分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和以码率R_d分别对对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制的绘制失真；

③将D_v(R_t，R_d)近似表示为： $D_v(R_t,R_d)\≅D_t\left(R_t\right)+D_d\left(R_d\right),$ 其中，D_t(R_t)表示对以码率R_t分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和对应的原始左视点深度视频、原始右视点深度视频进行虚拟视点图像绘制的绘制失真，D_d(R_d)表示对原始左视点彩色视频、原始右视点彩色视频和以码率R_d分别对对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制的绘制失真；

④通过幂指数拟合方法建立对原始左视点彩色视频、原始右视点彩色视频进行编码的码率R_t与D_t(R_t)的关系模型，记为 $D_t\left(R_t\right)\≅{\mathrm{\α}}_t\×{\left(R_t\right)}^{{\mathrm{\β}}_t},$ 通过幂指数拟合方法建立对原始左视点深度视频、原始右视点深度视频进行编码的码率R_d与D_d(R_d)的关系模型，记为 $D_d\left(R_d\right)\≅{\mathrm{\α}}_d\×{\left(R_d\right)}^{{\mathrm{\β}}_d},$ 其中，α_t和β_t均为 $D_t\left(R_t\right)\≅{\mathrm{\α}}_t\×{\left(R_t\right)}^{{\mathrm{\β}}_t}$ 中的模型参数，α_d和β_d均为 $D_d\left(R_d\right)\≅{\mathrm{\α}}_d\×{\left(R_d\right)}^{{\mathrm{\β}}_d}$ 中的模型参数；

⑤根据R_t与D_t(R_t)的关系模型 $D_t\left(R_t\right)\≅{\mathrm{\α}}_t\×{\left(R_t\right)}^{{\mathrm{\β}}_t}$ 及R_d与D_d(R_d)的关系模型 $D_d\left(R_d\right)\≅{\mathrm{\α}}_d\×{\left(R_d\right)}^{{\mathrm{\β}}_d},$ 对码率分配模型 $\underset{s.t.R_t+R_d\≤R_c}{\min \left[D_v(R_t,R_d)\right]}$ 进行优化，将优化后的码率分配模型表示为： $\underset{s.t.R_t+R_d\≤R_c}{\min [{\mathrm{\α}}_t\×{\left(R_t\right)}^{{\mathrm{\β}}_t}+{\mathrm{\α}}_d\×{\left(R_d\right)}^{{\mathrm{\β}}_d}]};$

⑥根据优化后的码率分配模型 $\underset{s.t.R_t+R_d\≤R_c}{\min [{\mathrm{\α}}_t\×{\left(R_t\right)}^{{\mathrm{\β}}_t}+{\mathrm{\α}}_d\×{\left(R_d\right)}^{{\mathrm{\β}}_d}]},$ 通过全搜索方法获取在不同的总码率R_c下对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的最佳码率比重，将其记为α，α＝f(R_c)， $f\left(R_c\right)={\mathrm{\α}}_c\×{\left(R_c\right)}^{{\mathrm{\β}}_c},$ 其中，f()为函数表示形式，α＝f(R_c)表示α为R_c的函数，α_c和β_c均为 $f\left(R_c\right)={\mathrm{\α}}_c\×{\left(R_c\right)}^{{\mathrm{\β}}_c}$ 中的模型参数。

所述的步骤③的具体过程为：

③-1、假定S_v表示由原始左视点彩色图像、原始右视点彩色图像和对应的原始左视点深度图像、原始右视点深度图像进行虚拟视点图像绘制得到的虚拟视点图像，

表示由以码率R_t分别对原始左视点彩色图像、原始右视点彩色图像进行编码得到的解码左视点彩色图像、解码右视点彩色图像和以码率R_d分别对对应的原始左视点深度图像、原始右视点深度图像进行编码得到的解码左视点深度图像、解码右视点深度图像进行虚拟视点图像绘制得到的虚拟视点图像，

表示由以码率R_t分别对原始左视点彩色图像、原始右视点彩色图像进行编码得到的解码左视点彩色图像、解码右视点彩色图像和对应的原始左视点深度图像、原始右视点深度图像进行虚拟视点图像绘制得到的虚拟视点图像，

表示由原始左视点彩色图像、原始右视点彩色图像和以码率R_d分别对对应的原始左视点深度图像、原始右视点深度图像进行编码得到的解码左视点深度图像、解码右视点深度图像进行虚拟视点图像绘制得到的虚拟视点图像，则将D_v(R_t，R_d)表示为： $D_v(R_t,R_d)=E\left\{{(S_v-{\hat{S}}_v)}^2\right\}=E\left\{{(S_v-{\stackrel{\‾}{S}}_v+{\stackrel{\‾}{S}}_v-{\hat{S}}_v)}^2\right\},$ 其中，表示求的数学期望值；

③-2通过多项式分解将

表示为： $E\left\{{(S_v-{\hat{S}}_v)}^2\right\}=E\left\{{(S_v-{\stackrel{\‾}{S}}_v)}^2\right\}+E\left\{{({\stackrel{\‾}{S}}_v-{\hat{S}}_v)}^2\right\}+2\×E\left\{(S_v-{\stackrel{\‾}{S}}_v)({\stackrel{\‾}{S}}_v-{\hat{S}}_v)\right\},$ 其中，

表示求

的数学期望值，

表示求

的数学期望值，

表示求

的数学期望值；

③-3、根据 $E\left\{(S_v-{\stackrel{\‾}{S}}_v)({\stackrel{\‾}{S}}_v-{\hat{S}}_v)\right\}\≅0$ 且 $E\left\{{({\stackrel{\‾}{S}}_v-{\hat{S}}_v)}^2\right\}\≅E\left\{{(S_v-{\tilde{S}}_v)}^2\right\},$ 将D_v(R_t，R_d)近似表示为： $D_v(R_t,R_d)\≅E\left\{{(S_v-{\stackrel{\‾}{S}}_v)}^2\right\}+E\left\{{(S_v-{\tilde{S}}_v)}^2\right\},$ 其中，

表示求

的数学期望值；

③-4、将

表示为对以码率R_t分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和对应的原始左视点深度视频、原始右视点深度视频进行虚拟视点图像绘制的绘制失真，记为D_t(R_t)，将

表示为对原始左视点彩色视频、原始右视点彩色视频和以码率R_d分别对对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制的绘制失真，记为D_d(R_d)，根据 $E\left\{{(S_v-{\tilde{S}}_v)}^2\right\}=D_t\left(R_t\right)$ 和 $E\left\{{(S_v-{\stackrel{-}{S}}_v)}^2\right\}=D_d\left(R_d\right),$ 将D_v(R_t，R_d)近似表示为： $D_v(R_t,R_d)\≅D_t\left(R_t\right)+D_d\left(R_d\right).$

所述的步骤④的具体过程为：

④-1、任取一个不大于44的编码量化参数作为原始左视点彩色视频、原始右视点彩色视频的编码量化参数，记为QP_t0，得到以该编码量化参数QP_t0对原始左视点彩色视频、原始右视点彩色视频进行编码的平均码率，记为R_t0，将由原始左视点彩色视频、原始右视点彩色视频和对应的原始左视点深度视频、原始右视点深度视频进行虚拟视点图像绘制得到的虚拟视点视频记为将由以编码量化参数QP_t0分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和对应的原始左视点深度视频、原始右视点深度视频进行虚拟视点图像绘制得到的虚拟视点视频记为I_v(QP_t0)，计算

与I_v(QP_t0)的均方差，作为对以编码量化参数QP_t0分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和对应的原始左视点深度视频、原始右视点深度视频进行虚拟视点图像绘制的绘制失真，记为D_t0；

④-2、选取N个大于QP_t0且各不相同的编码量化参数，分别记为QP_t1，…，QP_ti，…，QP_tN，采用该N个不同的编码量化参数QP_t1，…，QP_ti，…，QP_tN分别对原始左视点彩色视频、原始右视点彩色视频进行编码，分别得到以该N个不同的编码量化参数对原始左视点彩色视频、原始右视点彩色视频进行编码的平均码率，对应的分别记为R_t1，…，R_ti，…，R_tN，计算得到由以该N个不同的编码量化参数分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和对应的原始左视点深视频、原始右视点深度视频进行虚拟视点图像绘制的绘制失真，对应的分别记为D_t1，…，D_ti，…，D_tN，其中，1≤i≤N，QP_ti＝QP_t0+i；

④-3、根据由R_t0和R_t1，…，R_ti，…，R_tN组成的对原始左视点彩色视频、原始右视点彩色视频进行编码的平均码率集合{R_tj|0≤j≤N}及由D_t0和D_t1，…，D_ti，…，D_tN组成的绘制失真集合{D_tj|0≤j≤N}，通过幂指数拟合方法建立对原始左视点彩色视频、原始右视点彩色视频进行编码的码率R_t与对以采用{QP_tj|0≤j≤N}中的各个编码量化参数分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频与对应的原始左视点深度视频、原始右视点深度视频进行虚拟视点图像绘制的绘制失真集合{D_tj|0≤j≤N}中的任意一个绘制失真D_t的关系模型，记为 $D_t\left(R_t\right)\≅{\mathrm{\α}}_t\×{\left(R_t\right)}^{{\mathrm{\β}}_t},$ 其中，R_t表示{R_tj|0≤j≤N}中的任意一个平均码率，α_t和β_t均为 $D_t\left(R_t\right)\≅{\mathrm{\α}}_t\×{\left(R_t\right)}^{{\mathrm{\β}}_t}$ 中的模型参数；

④-4、任取一个不大于44的编码量化参数作为原始左视点深度视频、原始右视点深度视频的编码量化参数，记为QP_d0，得到以该编码量化参数QP_d0对原始左视点深度视频、原始右视点深度视频进行编码的平均码率，记为R_d0，将由原始左视点彩色视频、原始右视点彩色视频和以编码量化参数QP_d0分别对对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制得到的虚拟视点视频记为I_v(QP_d0)，计算

与I_v(QP_d0)的均方差，作为对原始左视点彩色视频、原始右视点彩色视频和以编码量化参数QP_d0分别对对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制的绘制失真，记为D_d0；

④-5、选取N个大于QP_d0且各不相同的编码量化参数，分别记为QP_d1，…，QP_di，…，QP_dN，采用该N个不同的编码量化参数QP_d1，…，QP_di，…，QP_dN分别对原始左视点深度视频、原始右视点深度视频进行编码，分别得到以该N个不同的编码量化参数对原始左视点深度视频、原始右视点深度视频进行编码的平均码率，对应的分别记为R_d1，…，R_di，…，R_dN，计算得到由原始左视点彩色视频、原始右视点彩色视频和以该N个不同的编码量化参数分别对对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制的绘制失真，对应的分别记为D_d1，…，D_di，…，D_dN，其中，1≤i≤N，QP_di＝QP_d0+i；

④-6、根据由R_d0和R_d1，…，R_di，…，R_dN组成的对原始左视点深度视频、原始右视点深度视频进行编码的平均码率集合{R_dj|0≤j≤N}及由D_d0和D_d1，…，D_di，…，D_dN组成的绘制失真集合{D_dj|0≤j≤N}，通过幂指数拟合方法建立对原始左视点深度视频、原始右视点深度视频进行编码的码率R_d与对原始左视点彩色视频、原始右视点彩色视频与以采用{QP_dj|0≤j≤N}中的各个编码量化参数分别对对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制的绘制失真集合{D_dj|0≤j≤N}中的任意一个绘制失真D_d的关系模型，记为 $D_d\left(R_d\right)\≅{\mathrm{\α}}_d\×{\left(R_d\right)}^{{\mathrm{\β}}_d},$ 其中，R_d表示{R_dj|0≤j≤N}中的任意一个平均码率，α_d和β_d均为 $D_d\left(R_d\right)\≅{\mathrm{\α}}_d\×{\left(R_d\right)}^{{\mathrm{\β}}_d}$ 中的模型参数。

所述的步骤⑥的具体过程为：

⑥-1、选取M个大于100且各不相同的码率，分别记为R_c1，…，R_cj，…，R_cM，将由R_c1，…，R_cj，…，R_cM组成的对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的总码率集合记为Ψ，Ψ＝{R_cj|1≤j≤M}，其中，M≥1；

⑥-2、选取总码率集合Ψ＝{R_cj|1≤j≤M}中的第1个总码率R_c1作为对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的总码率，假定对原始左视点彩色视频、原始右视点彩色视频进行编码的码率占总码率R_c1的最小码率比重为0.1，假定对原始左视点彩色视频、原始右视点彩色视频进行编码的码率占总码率R_c1的最大码率比重为0.9，则根据对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的总码率R_c1，计算对原始左视点彩色视频、原始右视点彩色视频进行编码的最小码率和最大码率，分别记为R_tmin和R_tmax，R_tmin＝0.1×R_c1，R_tmax＝0.9×R_c1；

⑥-3、将对原始左视点彩色视频、原始右视点彩色视频进行编码的码率集合记为Ω，Ω＝{R_t|R_tmin≤R_t≤R_tmax}，然后从对原始左视点彩色视频、原始右视点彩色视频进行编码的码率集合Ω中任取一个码率，记为R_t′，R_t′∈Ω，再计算对原始左视点深度视频、原始右视点深度视频进行编码的码率，记为R_d′，R_d′＝R_c1-R_t′；

⑥-4、计算对以码率R_t′分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和以码率R_d′分别对原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制的绘制失真，记为COST′， ${\mathrm{COST}}^{\′}={\mathrm{\α}}_t\×{\left({R_t}^{\′}\right)}^{{\mathrm{\β}}_t}+{\mathrm{\α}}_d\×{\left({R_d}^{\′}\right)}^{{\mathrm{\β}}_d},$ 其中，α_t和β_t均为 $D_t\left(R_t\right)\≅{\mathrm{\α}}_t\×{\left(R_t\right)}^{{\mathrm{\β}}_t}$ 中的模型参数，α_d和β_d均为 $D_d\left(R_d\right)\≅{\mathrm{\α}}_d\×{\left(R_d\right)}^{{\mathrm{\β}}_d}$ 中的模型参数；

⑥-5、从对原始左视点彩色视频、原始右视点彩色视频进行编码的码率集合Ω中任取n个值不等于R_t′且各不相同的码率，分别记任取的n个码率为R″_t1，…，R″_ti，…，R″_tn；然后从任取的n个码率中的第1个码率R″_t1开始，按照步骤⑥-4的操作处理，直至获得任取的n个码率对应的绘制失真，分别记为COST″₁，…，COST″_i，…，COST″_n，其中，2≤n≤R_tmax-R_tmin-1，1≤i≤n，R″_t1表示任取的n个码率中的第1个码率，R″_ti表示任取的n个码率中的第i个码率，R″_tn表示任取的n个码率中的第n个码率，COST″₁表示R″_t1对应的绘制失真，COST″_i表示R″_ti对应的绘制失真，COST″_n表示R″_tn对应的绘制失真；

⑥-6、从COST′和{COST″₁，…，COST″_i，…，COST″_n}中找出值最小的绘制失真，记为COST_min，再将COST_min对应的对原始左视点彩色视频、原始右视点彩色视频进行编码的码率作为对原始左视点彩色视频、原始右视点彩色视频进行编码的最佳码率，记为

将COST_min对应的对原始左视点深度视频、原始右视点深度视频进行编码的码率作为对原始左视点深度视频、原始右视点深度视频进行编码的最佳码率，记为

得到在总码率R_c1下对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的最佳码率比重，记为α₁，

⑥-7、按照步骤⑥-2至步骤⑥-6计算在总码率R_c1下对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的最佳码率比重α₁的操作，分别获取在Ψ＝{R_cj|1≤j≤M}中任取M-1个值不等于R_c1且各不相同的码率下对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的最佳码率比重，分别记为α₂，…，α_j，…，α_M，由α₁及α₂，…，α_j，…，α_M构成最佳码率比重集合，记为Θ＝{α_j|1≤j≤M}，通过幂指数拟合方法建立对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的总码率R_c与最佳码率比重集合Θ＝{α_j|1≤j≤M}中的任意一个码率比重α的关系模型，记为α，α＝f(R_c)， $f\left(R_c\right)={\mathrm{\α}}_c\×{\left(R_c\right)}^{{\mathrm{\β}}_c},$ 其中，α_c和β_c均为 $f\left(R_c\right)={\mathrm{\α}}_c\×{\left(R_c\right)}^{{\mathrm{\β}}_c}$ 中的模型参数。

与现有技术相比，本发明的优点在于：

1)本发明方法根据彩色视频的编码失真和深度视频的编码失真对虚拟视点图像绘制的影响，建立对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的码率分配模型，并对码率分配模型进行了优化，避免了在编码过程中进行复杂的虚拟视点绘制操作，大大提高了码率分配模型的有效性。

2)本发明方法通过建立对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的码率分配模型，并通过幂指数拟合方法建立编码码率与绘制失真的关系模型，然后对码率分配模型进行优化，建立对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的总码率与最佳码率比重的关系模型，本发明方法在保证较高的虚拟视点图像的质量的前提下，避免了在编码过程中进行复杂的码率分配操作，大大简化了编码过程。

附图说明

图1为典型的三维视频系统的组成示意图；

图2a为“Bookarrival”三维视频测试序列的第8个参考视点的一幅彩色图像；

图2b为“Bookarrival”三维视频测试序列的第10个参考视点的一幅彩色图像；

图2c为图2a所示的彩色图像对应的深度图像；

图2d为图2b所示的彩色图像对应的深度图像；

图3a为“Newspaper”三维视频测试序列的第4个参考视点的一幅彩色图像；

图3b为“Newspaper”三维视频测试序列的第6个参考视点的一幅彩色图像；

图3c为图3a所示的彩色图像对应的深度图像；

图3d为图3b所示的彩色图像对应的深度图像；

图4a为“Champagne”三维视频测试序列的第40个参考视点的一幅彩色图像；

图4b为“Champagne”三维视频测试序列的第42个参考视点的一幅彩色图像；

图4c为图4a所示的彩色图像对应的深度图像；

图4d为图4b所示的彩色图像对应的深度图像；

图5a为“Dog”三维视频测试序列的第40个参考视点的一幅彩色图像；

图5b为“Dog”三维视频测试序列的第42个参考视点的一幅彩色图像；

图5c为图5a所示的彩色图像对应的深度图像；

图5d为图5b所示的彩色图像对应的深度图像；

图6为对“Bookarrival”三维视频测试序列的原始左右视点彩色视频与原始左右视点深度视频的编码码率与绘制失真的关系模型进行幂指数拟合的曲线示意图；

图7为对“Newspaper”三维视频测试序列的原始左右视点彩色视频与原始左右视点深度视频的编码码率与绘制失真的关系模型进行幂指数拟合的曲线示意图；

图8为对“Champagne”三维视频测试序列的原始左右视点彩色视频与原始左右视点深度视频的编码码率与绘制失真的关系模型进行幂指数拟合的曲线示意图；

图9为对“Dog”三维视频测试序列的原始左右视点彩色视频与原始左右视点深度视频的编码码率与绘制失真的关系模型进行幂指数拟合的曲线示意图；

图10为对原始左右视点彩色视频与原始左右视点深度视频的编码总码率与最佳码率比重的关系模型进行幂指数拟合的曲线示意图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明提出的一种三维立体视频编码的最佳码率比重确立方法，其主要包括以下步骤：

①将外部立体视频捕获工具捕获得到的未经处理的且颜色空间为YUV的彩色立体视频及其对应的深度立体视频定义为原始三维立体视频，在空域上该原始三维立体视频包括原始左视点三维视频和原始右视点三维视频，原始左视点三维视频包括原始左视点彩色视频和原始左视点深度视频，原始左视点彩色视频主要由若干个帧组的原始左视点彩色图像组成，原始左视点深度视频主要由若干个帧组的原始左视点深度图像组成，原始右视点三维视频包括原始右视点彩色视频和原始右视点深度视频，原始右视点彩色视频主要由若干个帧组的原始右视点彩色图像组成，原始右视点深度视频主要由若干个帧组的原始右视点深度图像组成，其中，YUV颜色空间的三个颜色分量的第1个分量为亮度分量并记为Y、第2个分量为第一色度分量并记为U及第3个分量为第二色度分量并记为V。将介于左视点与右视点之间的视点作为虚拟视点。

在本实施中，采用三维视频测试序列“Bookarrival”、“Newspaper”、“Champagne”和“Dog”作为原始三维立体视频，“Bookarrival”和“Newspaper”这两个三维视频测试序列的各幅彩色图像和各幅深度图像的分辨率均为1024×768，“Champagne”和“Dog”这两个三维视频测试序列的各幅彩色图像和各幅深度图像的分辨率均为1280×960。对于“Bookarrival”三维立体视频，将第8个参考视点作为原始三维立体视频的左视点，将第10个参考视点作为原始三维立体视频的右视点，将第9个视点作为原始三维立体视频的虚拟视点；对于“Newspaper”原始三维立体视频，将第4个参考视点作为原始三维立体视频的左视点，将第6个参考视点作为原始三维立体视频的右视点，将第5个视点作为原始三维立体视频的虚拟视点；对于“Champagne”和“Dog”原始三维立体视频，将第40个参考视点作为原始三维立体视频的左视点，将第42个参考视点作为原始三维立体视频的右视点，将第41个视点作为原始三维立体视频的虚拟视点。图2a和图2b分别给出了“Bookarrival”的第8个和第10个参考视点的彩色图像；图2c和图2d分别给出了“Bookarrival”的第8个和第10个参考视点的深度图像；图3a和图3b分别给出了“Newspaper”的第4个和第6个参考视点的彩色图像；图3c和图3d分别给出了“Newspaper”的第4个和第6个参考视点的深度图像；图4a和图4b分别给出了“Champagne”的第40个和第42个参考视点的彩色图像；图4c和图4d分别给出了“Champagne”的第40个和第42个参考视点的深度图像；图5a和图5b分别给出了“Dog”的第40个和第42个参考视点的彩色图像；图5c和图5d分别给出了“Dog”的第40个和第42个参考视点的深度图像。

②由于原始左视点彩色视频、原始右视点彩色视频的编码失真和原始左视点深度视频、原始右视点深度视频的编码失真都会对虚拟视点图像绘制产生影响，但影响是各不相同的，深度视频图像的编码失真会导致绘制图像出现几何偏移现象，而彩色视频图像的编码失真会直接传播到绘制图像中，因此本发明建立对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的码率分配模型，记为

以保证获得最优的绘制质量，其中，min[]为取最小值函数，R_c表示预先设定的对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的总码率，R_t表示对原始左视点彩色视频、原始右视点彩色视频进行编码的码率，R_d表示对原始左视点深度视频、原始右视点深度视频进行编码的码率，D_v(R_t，R_d)表示对以码率R_t分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和以码率R_d分别对对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制的绘制失真。

③由于原始左视点彩色视频、原始右视点彩色视频的编码失真和原始左视点深度视频、原始右视点深度视频的编码失真对虚拟视点图像绘制的影响既是相互独立又是相互影响的，为简单起见，本发明忽略彩色视频和深度视频之间的相互影响，于是将D_v(R_t，R_d)近似表示为： $D_v(R_t,R_d)\≅D_t\left(R_t\right)+D_d\left(R_d\right),$ 其中，D_t(R_t)表示对以码率R_t分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和对应的原始左视点深度视频、原始右视点深度视频进行虚拟视点图像绘制的绘制失真，D_d(R_d)表示对原始左视点彩色视频、原始右视点彩色视频和以码率R_d分别对对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制的绘制失真。

在此具体实施例中，步骤③的具体过程为：

③-1、假定S_v表示由原始左视点彩色图像、原始右视点彩色图像和对应的原始左视点深度图像、原始右视点深度图像进行虚拟视点图像绘制得到的虚拟视点图像，

表示由以码率R_t分别对原始左视点彩色图像、原始右视点彩色图像进行编码得到的解码左视点彩色图像、解码右视点彩色图像和以码率R_d分别对对应的原始左视点深度图像、原始右视点深度图像进行编码得到的解码左视点深度图像、解码右视点深度图像进行虚拟视点图像绘制得到的虚拟视点图像，表示由以码率R_t分别对原始左视点彩色图像、原始右视点彩色图像进行编码得到的解码左视点彩色图像、解码右视点彩色图像和对应的原始左视点深度图像、原始右视点深度图像进行虚拟视点图像绘制得到的虚拟视点图像，

表示由原始左视点彩色图像、原始右视点彩色图像和以码率R_d分别对对应的原始左视点深度图像、原始右视点深度图像进行编码得到的解码左视点深度图像、解码右视点深度图像进行虚拟视点图像绘制得到的虚拟视点图像，则将D_v(R_t，R_d)表示为： $D_v(R_t,R_d)=E\left\{{(S_v-{\hat{S}}_v)}^2\right\}=E\left\{{(S_v-{\stackrel{\‾}{S}}_v+{\stackrel{\‾}{S}}_v-{\hat{S}}_v)}^2\right\},$ 其中，

表示求

的数学期望值。

③-2通过多项式分解将

表示为： $E\left\{{(S_v-{\hat{S}}_v)}^2\right\}=E\left\{{(S_v-{\stackrel{\‾}{S}}_v)}^2\right\}+E\left\{{({\stackrel{\‾}{S}}_v-{\hat{S}}_v)}^2\right\}+2\×E\left\{(S_v-{\stackrel{\‾}{S}}_v)({\stackrel{\‾}{S}}_v-{\hat{S}}_v)\right\},$ 其中，

表示求

的数学期望值，

表示求

的数学期望值，

表示求

的数学期望值。

③-3、经大量实验结果表明

近似等于0，

近似等于

因此本发明根据 $E\left\{(S_v-{\stackrel{\‾}{S}}_v)({\stackrel{\‾}{S}}_v-{\hat{S}}_v)\right\}\≅0$ 且 $E\left\{{({\stackrel{\‾}{S}}_v-{\hat{S}}_v)}^2\right\}\≅E\left\{{(S_v-{\tilde{S}}_v)}^2\right\},$ 将D_v(R_t，R_d)近似表示为： $D_v(R_t,R_d)\≅E\left\{{(S_v-{\stackrel{\‾}{S}}_v)}^2\right\}+E\left\{{(S_v-{\tilde{S}}_v)}^2\right\},$ 其中，

表示求

的数学期望值。

③-4、将

表示为对以码率R_t分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和对应的原始左视点深度视频、原始右视点深度视频进行虚拟视点图像绘制的绘制失真，记为D_t(R_t)，将

表示为对原始左视点彩色视频、原始右视点彩色视频和以码率R_d分别对对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制的绘制失真，记为D_d(R_d)，根据 $E\left\{{(S_v-{\tilde{S}}_v)}^2\right\}=D_t\left(R_t\right)$ 和 $E\left\{{(S_v-{\stackrel{-}{S}}_v)}^2\right\}=D_d\left(R_d\right),$ 将D_v(R_t，R_d)近似表示为： $D_v(R_t,R_d)\≅D_t\left(R_t\right)+D_d\left(R_d\right).$

④由于对原始左右视点彩色视频和原始左右视点深度视频进行编码的码率的大小直接影响绘制失真的大小，因此本发明通过幂指数拟合方法建立对原始左视点彩色视频、原始右视点彩色视频进行编码的码率R_t与D_t(R_t)的关系模型，记为 $D_t\left(R_t\right)\≅{\mathrm{\α}}_t\×{\left(R_t\right)}^{{\mathrm{\β}}_t},$ 通过幂指数拟合方法建立对原始左视点深度视频、原始右视点深度视频进行编码的码率R_d与D_d(R_d)的关系模型，记为 $D_d\left(R_d\right)\≅{\mathrm{\α}}_d\×{\left(R_d\right)}^{{\mathrm{\β}}_d},$ 其中，α_t和β_t均为 $D_t\left(R_t\right)\≅{\mathrm{\α}}_t\×{\left(R_t\right)}^{{\mathrm{\β}}_t}$ 中的模型参数，α_d和β_d均为 $D_d\left(R_d\right)\≅{\mathrm{\α}}_d\×{\left(R_d\right)}^{{\mathrm{\β}}_d}$ 中的模型参数。

在此具体实施例中，步骤④的具体过程为：

④-1、任取一个不大于44的编码量化参数作为原始左视点彩色视频、原始右视点彩色视频的编码量化参数，记为QP_t0，得到以该编码量化参数QP_t0对原始左视点彩色视频、原始右视点彩色视频进行编码的平均码率，记为R_t0，将由原始左视点彩色视频、原始右视点彩色视频和对应的原始左视点深度视频、原始右视点深度视频进行虚拟视点图像绘制得到的虚拟视点视频记为

将由以编码量化参数QP_t0分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和对应的原始左视点深度视频、原始右视点深度视频进行虚拟视点图像绘制得到的虚拟视点视频记为I_v(QP_t0)，计算

与I_v(QP_t0)的均方差，作为对以编码量化参数QP_t0分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和对应的原始左视点深度视频、原始右视点深度视频进行虚拟视点图像绘制的绘制失真，记为D_t0。

④-2、选取N个大于QP_t0且各不相同的编码量化参数，分别记为QP_t1，…，QP_ti，…，QP_tN，采用该N个不同的编码量化参数QP_t1，…，QP_ti，…，QP_tN分别对原始左视点彩色视频、原始右视点彩色视频进行编码，分别得到以该N个不同的编码量化参数对原始左视点彩色视频、原始右视点彩色视频进行编码的平均码率，对应的分别记为R_t1，…，R_ti，…，R_tN，计算得到由以该N个不同的编码量化参数分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和对应的原始左视点深度视频、原始右视点深度视频进行虚拟视点图像绘制的绘制失真，对应的分别记为D_t1，…，D_ti，…，D_tN，其中，1≤i≤N，QP_ti＝QP_t0+i。在本实施例中，取N＝8。

④-3、根据由R_t0和R_t1，…，R_ti，…，R_tN组成的对原始左视点彩色视频、原始右视点彩色视频进行编码的平均码率集合{R_tj|0≤j≤N}及由D_t0和D_t1，…，D_ti，…，D_tN组成的绘制失真集合{D_tj|0≤j≤N}，通过幂指数拟合方法建立对原始左视点彩色视频、原始右视点彩色视频进行编码的码率R_t与对以采用{QP_tj|0≤j≤N}中的各个编码量化参数分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频与对应的原始左视点深度视频、原始右视点深度视频进行虚拟视点图像绘制的绘制失真集合{D_tj|0≤j≤N}中的任意一个绘制失真D_t的关系模型，记为 $D_t\left(R_t\right)\≅{\mathrm{\α}}_t\×{\left(R_t\right)}^{{\mathrm{\β}}_t},$ 其中，R_t表示{R_tj|0≤j≤N}中的任意一个平均码率，α_t和β_t均为 $D_t\left(R_t\right)\≅{\mathrm{\α}}_t\×{\left(R_t\right)}^{{\mathrm{\β}}_t}$ 中的模型参数。

④-4、任取一个不大于44的编码量化参数作为原始左视点深度视频、原始右视点深度视频的编码量化参数，记为QP_d0，得到以该编码量化参数QP_d0对原始左视点深度视频、原始右视点深度视频进行编码的平均码率，记为R_d0，将由原始左视点彩色视频、原始右视点彩色视频和以编码量化参数QP_d0分别对对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制得到的虚拟视点视频记为I_v(QP_d0)，计算与I_v(QP_d0)的均方差，作为对原始左视点彩色视频、原始右视点彩色视频和以编码量化参数QP_d0分别对对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制的绘制失真，记为D_d0。

④-5、选取N个大于QP_d0且各不相同的编码量化参数，分别记为QP_d1，…，QP_di，…，QP_dN，采用该N个不同的编码量化参数QP_d1，…，QP_ti，…，QP_dN分别对原始左视点深度视频、原始右视点深度视频进行编码，分别得到以该N个不同的编码量化参数对原始左视点深度视频、原始右视点深度视频进行编码的平均码率，对应的分别记为R_d1，…，R_di，…，R_dN，计算得到由原始左视点彩色视频、原始右视点彩色视频和以该N个不同的编码量化参数分别对对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制的绘制失真，对应的分别记为D_d1，…，D_di，…，D_dN，其中，1≤i≤N，QP_di＝QP_d0+i。在本实施例中，取N＝8。

④-6、根据由R_d0和R_d1，…，R_di，…，R_dN组成的对原始左视点深度视频、原始右视点深度视频进行编码的平均码率集合{R_dj|0≤j≤N}及由D_d0和D_d1，…，D_di，…，D_dN组成的绘制失真集合{D_dj|0≤j≤N}，通过幂指数拟合方法建立对原始左视点深度视频、原始右视点深度视频进行编码的码率R_d与对原始左视点彩色视频、原始右视点彩色视频与以采用{QP_dj|0≤j≤N}中的各个编码量化参数分别对对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制的绘制失真集合{D_dj|0≤j≤N}中的任意一个绘制失真D_d的关系模型，记为 $D_d\left(R_d\right)\≅{\mathrm{\α}}_d\×{\left(R_d\right)}^{{\mathrm{\β}}_d},$ 其中，R_d表示{R_dj|0≤j≤N}中的任意一个平均码率，α_d和β_d均为 $D_d\left(R_d\right)\≅{\mathrm{\α}}_d\×{\left(R_d\right)}^{{\mathrm{\β}}_d}$ 中的模型参数。

图6给出了对“Bookarrival”的原始左右视点彩色视频与原始左右视点的编码码率与绘制失真的关系模型进行幂指数拟合的曲线示意图，图7给出了对“Newspaper”的原始左右视点彩色视频与原始左右视点的编码码率与绘制失真的关系模型进行幂指数拟合的曲线示意图，图8给出了对“Champagne”的原始左右视点彩色视频与原始左右视点的编码码率与绘制失真的关系模型进行幂指数拟合的曲线示意图，图9给出了对“Dog”的原始左右视点彩色视频与原始左右视点的编码码率与绘制失真的关系模型进行幂指数拟合的曲线示意图，从图6至图9可以看出幂指数拟合能很好地反映编码码率与绘制失真之间的关系。

⑤根据R_t与D_t(R_t)的关系模型 $D_t\left(R_t\right)\≅{\mathrm{\α}}_t\×{\left(R_t\right)}^{{\mathrm{\β}}_t}$ 及R_d与D_d(R_d)的关系模型 $D_d\left(R_d\right)\≅{\mathrm{\α}}_d\×{\left(R_d\right)}^{{\mathrm{\β}}_d},$ 对码率分配模型 $\underset{s.t.R_t+R_d\≤R_c}{\min \left[D_v(R_t,R_d)\right]}$ 进行优化，将优化后的码率分配模型表示为： $\underset{s.t.R_t+R_d\≤R_c}{\min [{\mathrm{\α}}_t\×{\left(R_t\right)}^{{\mathrm{\β}}_t}+{\mathrm{\α}}_d\×{\left(R_d\right)}^{{\mathrm{\β}}_d}]}.$

⑥根据优化后的码率分配模型 $\underset{s.t.R_t+R_d\≤R_c}{\min [{\mathrm{\α}}_t\×{\left(R_t\right)}^{{\mathrm{\β}}_t}+{\mathrm{\α}}_d\×{\left(R_d\right)}^{{\mathrm{\β}}_d}]},$ 通过全搜索方法获取在不同的总码率R_c下对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的最佳码率比重，将其记为α，α＝f(R_c)， $f\left(R_c\right)={\mathrm{\α}}_c\×{\left(R_c\right)}^{{\mathrm{\β}}_c},$ 其中，f()为函数表示形式，α＝f(R_c)表示α为R_c的函数，α_c和β_c均为 $f\left(R_c\right)={\mathrm{\α}}_c\×{\left(R_c\right)}^{{\mathrm{\β}}_c}$ 中的模型参数。

在此具体实施例中，步骤⑥的具体过程即获取在不同的总码率R_c下对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的最佳码率比重α所采用的全搜索方法的具体过程为：

⑥-1、选取M个大于100且各不相同的码率，分别记为R_c1，…，R_cj，…，R_cM，将由R_c1，…，R_cj，…，R_cM组成的对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的总码率集合记为Ψ，Ψ＝{R_cj|1≤j≤M}，其中，M≥1。在本实施例中，取M＝15。

⑥-2、选取总码率集合Ψ＝{R_cj|1≤j≤M}中的第1个总码率R_c1作为对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的总码率，假定对原始左视点彩色视频、原始右视点彩色视频进行编码的码率占总码率R_c1的最小码率比重为0.1，假定对原始左视点彩色视频、原始右视点彩色视频进行编码的码率占总码率R_c1的最大码率比重为0.9，则根据对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的总码率R_c1，计算对原始左视点彩色视频、原始右视点彩色视频进行编码的最小码率和最大码率，分别记为R_t min和R_t max，R_t min＝0.1×R_c1，R_t max＝0.9×R_c1。

⑥-3、将对原始左视点彩色视频、原始右视点彩色视频进行编码的码率集合记为Ω，Ω＝{R_t|R_t min≤R_t≤R_t max}，然后从对原始左视点彩色视频、原始右视点彩色视频进行编码的码率集合Ω中任取一个码率，记为R_t′，R_t′∈Ω，再计算对原始左视点深度视频、原始右视点深度视频进行编码的码率，记为R_d′，R_d′＝R_c1-R_t′。

⑥-4、计算对以码率R_t′分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和以码率R_d′分别对原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制的绘制失真，记为COST′， ${\mathrm{COST}}^{\′}={\mathrm{\α}}_t\×{\left({R_t}^{\′}\right)}^{{\mathrm{\β}}_t}+{\mathrm{\α}}_d\×{\left({R_d}^{\′}\right)}^{{\mathrm{\β}}_d},$ 其中，α_t和β_t均为 $D_t\left(R_t\right)\≅{\mathrm{\α}}_t\×{\left(R_t\right)}^{{\mathrm{\β}}_t}$ 中的模型参数，α_d和β_d均为 $D_d\left(R_d\right)\≅{\mathrm{\α}}_d\×{\left(R_d\right)}^{{\mathrm{\β}}_d}$ 中的模型参数。

⑥-5、从对原始左视点彩色视频、原始右视点彩色视频进行编码的码率集合Ω中任取n个值不等于R_t′且各不相同的码率，分别记任取的n个码率为R″_t1，…，R″_ti，…，R″_tn；然后从任取的n个码率中的第1个码率R″_t1开始，按照步骤⑥-4的操作处理，直至获得任取的n个码率对应的绘制失真，分别记为COST″₁，…，COST″_i，…，COST″_n，其中，2≤n≤R_t max-R_t min-1，1≤i≤n，R″_t1表示任取的n个码率中的第1个码率，R″_ti表示任取的n个码率中的第i个码率，R″_tn表示任取的n个码率中的第n个码率，COST″₁表示R″_t1对应的绘制失真，COST″_i表示R″_ti对应的绘制失真，COST″_n表示R″_tn对应的绘制失真。

⑥-6、从COST′和{COST″₁，…，COST″_i，…，COST″_n}中找出值最小的绘制失真，记为COST_min，再将COST_min对应的对原始左视点彩色视频、原始右视点彩色视频进行编码的码率作为对原始左视点彩色视频、原始右视点彩色视频进行编码的最佳码率，记为

将COST_min对应的对原始左视点深度视频、原始右视点深度视频进行编码的码率作为对原始左视点深度视频、原始右视点深度视频进行编码的最佳码率，记为

得到在总码率R_c1下对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的最佳码率比重，记为α₁，

⑥-7、按照步骤⑥-2至步骤⑥-6计算在总码率R_c1下对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的最佳码率比重α₁的操作，分别获取在Ψ＝{R_cj|1≤j≤M}中任取M-1个值不等于R_c1且各不相同的码率下对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的最佳码率比重，分别记为α₂，…，α_j，…，α_M，由α₁及α₂，…，α_j，…，α_M构成最佳码率比重集合，记为Θ＝{α_j|1≤j≤M}，通过幂指数拟合方法建立对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的总码率R_c与最佳码率比重集合Θ＝{α_j|1≤j≤M}中的任意一个码率比重α的关系模型，记为α，α＝f(R_c)， $f\left(R_c\right)={\mathrm{\α}}_c\×{\left(R_c\right)}^{{\mathrm{\β}}_c},$ 其中，α_c和β_c均为 $f\left(R_c\right)={\mathrm{\α}}_c\×{\left(R_c\right)}^{{\mathrm{\β}}_c}$ 中的模型参数。

利用本发明方法确立的最佳码率比重，采用基于深度图像的绘制获取各个时刻的虚拟视点视频的过程如下：

A、根据α＝f(R_c)和预先设定的目标码率R_c′，分别计算对原始左视点彩色视频、原始右视点彩色视频进行编码的目标码率和对原始左视点深度视频、原始右视点深度视频进行编码的目标码率，分别记为

和 其中，R_c′表示预先设定的对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的目标码率。

B、根据设定的立体视频编码预测结构，在目标码率

下对原始左视点彩色视频、原始右视点彩色视频进行编码，得到彩色视频的编码码流；在目标码率

下对原始左视点深度视频、原始右视点深度进行编码，得到深度视频的编码码流。在本实施例中，立体视频编码预测结构采用公知的HBP编码预测结构。

C、用户端分别对服务端发送来的彩色视频的编码码流和深度视频的编码码流进行解码，得到左视点的彩色视频数据、右视点的彩色视频数据、左视点的深度视频数据和右视点的深度视频数据信息，然后采用基于深度图像的绘制得到各个时刻的虚拟视点视频。

以下就利用本发明方法对“Bookarrival”、“Newspaper”、“Champagne”和“Dog”三维立体视频测试序列的码率分配性能进行比较。

表1给出了本发明方法采用幂指数拟合得到的彩色视频与深度视频的编码码率与绘制失真的关系模型的模型参数，表2给出了本发明方法采用幂指数拟合得到的彩色视频与深度视频的编码总码率与最佳码率比重的关系模型的模型参数，从表1和表2中可以看出，采用本发明方法拟合得到的曲线与真实曲线的相关系数(Correlation Coefficient，CC)非常高，说明本发明方法提出的码率分配模型具有较高的精度，幂指数拟合能很好地反映总码率与最佳码率比重之间的关系。

图10给出了对“Bookarrival”、“Newspaper”、“Champagne”和“Dog”的原始左右视点彩色视频与原始左右视点深度视频的编码总码率与最佳码率比重的关系模型进行幂指数拟合的曲线示意图，从图10中可以看出，在低码率端，由于解码后的彩色视频与深度视频的质量都比较差，为了保证能得到相对较高的绘制质量，对彩色视频分配较高的码率，而在高码率端，彩色视频与深度视频的最佳码率比重趋向于稳定，也就是说，当总码率达到一定程度时，即使再增加彩色视频或深度视频的码率比重，绘制质量也不会明显地提高，这与实际的统计结果是一致的，说明本发明方法是有效可行的。

表1彩色视频与深度视频的编码码率与绘制失真的关系模型的模型参数

表2彩色视频与深度视频的编码总码率与最佳码率比重的关系模型的模型参数

三维立体视频测试序列	αc	βc	CC
				Bookarrival	15.88	-0.2237	0.9998

Newspaper	49.33	-0.5996	0.9985
				Champagne	157.10	-0.7071	0.9982
Dog	62.92	-0.4262	0.9987

Claims (4)

1.一种三维立体视频编码的最佳码率比重确立方法，其特征在于包括以下步骤：

①将外部立体视频捕获工具捕获得到的未经处理的且颜色空间为YUV的彩色立体视频及其对应的深度立体视频定义为原始三维立体视频，在空域上该原始三维立体视频包括原始左视点三维视频和原始右视点三维视频，原始左视点三维视频包括原始左视点彩色视频和原始左视点深度视频，原始左视点彩色视频主要由若干个帧组的原始左视点彩色图像组成，原始左视点深度视频主要由若干个帧组的原始左视点深度图像组成，原始右视点三维视频包括原始右视点彩色视频和原始右视点深度视频，原始右视点彩色视频主要由若干个帧组的原始右视点彩色图像组成，原始右视点深度视频主要由若干个帧组的原始右视点深度图像组成，其中，YUV颜色空间的三个颜色分量的第1个分量为亮度分量并记为Y、第2个分量为第一色度分量并记为U及第3个分量为第二色度分量并记为V；

将介于左视点与右视点之间的视点作为虚拟视点；

②建立对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的码率分配模型，记为

以保证获得最优的绘制质量，其中，min[]为取最小值函数，R_c表示预先设定的对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的总码率，R_t表示对原始左视点彩色视频、原始右视点彩色视频进行编码的码率，R_d表示对原始左视点深度视频、原始右视点深度视频进行编码的码率，D_v(R_t,R_d)表示对以码率R_t分别对原始左视点彩色视频、原始右视点彩色视频进行编码然后进行解码得到的解码左视点彩色视频、解码右视点彩色视频和以码率R_d分别对对应的原始左视点深度视频、原始右视点深度视频进行编码然后进行解码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制的绘制失真；

③将D_v(R_t,R_d)近似表示为：

其中，D_t(R_t)表示对以码率R_t分别对原始左视点彩色视频、原始右视点彩色视频进行编码然后进行解码得到的解码左视点彩色视频、解码右视点彩色视频和对应的原始左视点深度视频、原始右视点深度视频进行虚拟视点图像绘制的绘制失真，D_d(R_d)表示对原始左视点彩色视频、原始右视点彩色视频和以码率R_d分别对对应的原始左视点深度视频、原始右视点深度视频进行编码然后进行解码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制的绘制失真；

④通过幂指数拟合方法建立对原始左视点彩色视频、原始右视点彩色视频进行编码的码率R_t与D_t(R_t)的关系模型，记为

通过幂指数拟合方法建立对原始左视点深度视频、原始右视点深度视频进行编码的码率R_d与D_d(R_d)的关系模型，记为 $D_d\left(R_d\right)\≅{\mathrm{\α}}_d\×{\left(R_d\right)}^{{\mathrm{\β}}_d},$ 其中，α_t和β_t均为 $D_t\left(R_t\right)\≅{\mathrm{\α}}_t\×{\left(R_t\right)}^{{\mathrm{\β}}_t}$ 中的模型参数，α_d和β_d均为 $D_d\left(R_d\right)\≅{\mathrm{\α}}_d\×{\left(R_d\right)}^{{\mathrm{\β}}_d}$ 中的模型参数；

⑤根据R_t与D_t(R_t)的关系模型及R_d与D_d(R_d)的关系模型

对码率分配模型

进行优化，将优化后的码率分配模型表示为： $\underset{s.t.R_t+R_d\≤R_c}{\min [{\mathrm{\α}}_t\×{\left(R_t\right)}^{{\mathrm{\β}}_t}+{\mathrm{\α}}_d\×{\left(R_d\right)}^{{\mathrm{\β}}_d}]};$

⑥根据优化后的码率分配模型

通过全搜索方法获取在不同的总码率R_c下对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的最佳码率比重，将其记为α，α=f(R_c)，

其中，f()为函数表示形式，α=f(R_c)表示α为R_c的函数，α_c和β_c均为

中的模型参数。

2.根据权利要求1所述的一种三维立体视频编码的最佳码率比重确立方法，其特征在于所述的步骤③的具体过程为：

③-1、假定S_v表示由原始左视点彩色图像、原始右视点彩色图像和对应的原始左视点深度图像、原始右视点深度图像进行虚拟视点图像绘制得到的虚拟视点图像，

表示由以码率R_t分别对原始左视点彩色图像、原始右视点彩色图像进行编码然后进行解码得到的解码左视点彩色图像、解码右视点彩色图像和以码率R_d分别对对应的原始左视点深度图像、原始右视点深度图像进行编码然后进行解码得到的解码左视点深度图像、解码右视点深度图像进行虚拟视点图像绘制得到的虚拟视点图像，表示由以码率R_t分别对原始左视点彩色图像、原始右视点彩色图像进行编码然后进行解码得到的解码左视点彩色图像、解码右视点彩色图像和对应的原始左视点深度图像、原始右视点深度图像进行虚拟视点图像绘制得到的虚拟视点图像，

表示由原始左视点彩色图像、原始右视点彩色图像和以码率R_d分别对对应的原始左视点深度图像、原始右视点深度图像进行编码然后进行解码得到的解码左视点深度图像、解码右视点深度图像进行虚拟视点图像绘制得到的虚拟视点图像，则将D_v(R_t,R_d)表示为： $D_v(R_t,R_d)=E\left\{{(S_v-{\hat{S}}_v)}^2\right\}=E\left\{{(S_v-{\stackrel{\‾}{S}}_v+{\stackrel{\‾}{S}}_v-{\hat{S}}_v)}^2\right\},$ 其中，

表示求

的数学期望值；

③-2通过多项式分解将

表示为： $E\left\{{(S_v-{\hat{S}}_v)}^2\right\}=E\left\{{(S_v-{\stackrel{\‾}{S}}_v)}^2\right\}+E\left\{{({\stackrel{\‾}{S}}_v-{\hat{S}}_v)}^2\right\}+2\×E\left\{(S_v-{\stackrel{\‾}{S}}_v)({\stackrel{\‾}{S}}_v-{\hat{S}}_v)\right\},$ 其中，

表示求

的数学期望值，

表示求

的数学期望值，表示求

的数学期望值；

③-3、根据 $E\left\{(S_v-{\stackrel{\‾}{S}}_v)({\stackrel{\‾}{S}}_v-{\hat{S}}_v)\right\}\≅0$ 且 $E\left\{{({\stackrel{\‾}{S}}_v-{\hat{S}}_v)}^2\right\}\≅E\left\{{(S_v-{\tilde{S}}_v)}^2\right\},$ 将D_v(R_t,R_d)近似表示为： $D_v(R_t,R_d)\≅E\left\{{(S_v-{\stackrel{\‾}{S}}_v)}^2\right\}+E\left\{{(S_v-{\tilde{S}}_v)}^2\right\},$ 其中，

表示求的数学期望值；

③-4、将

表示为对以码率R_t分别对原始左视点彩色视频、原始右视点彩色视频进行编码然后进行解码得到的解码左视点彩色视频、解码右视点彩色视频和对应的原始左视点深度视频、原始右视点深度视频进行虚拟视点图像绘制的绘制失真，记为D_t(R_t)，将

表示为对原始左视点彩色视频、原始右视点彩色视频和以码率R_d分别对对应的原始左视点深度视频、原始右视点深度视频进行编码然后进行解码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制的绘制失真，记为D_d(R_d)，根据 $E\left\{{(S_v-{\tilde{S}}_v)}^2\right\}=D_t\left(R_t\right)$ 和 $E\left\{{(S_v-{\stackrel{\‾}{S}}_v)}^2\right\}=D_d\left(R_d\right),$ 将D_v(R_t,R_d)近似表示为： $D_v(R_t,R_d)\≅D_t\left(R_t\right)+D_d\left(R_d\right).$

3.根据权利要求1或2所述的一种三维立体视频编码的最佳码率比重确立方法，其特征在于所述的步骤④的具体过程为：

④-1、任取一个不大于44的编码量化参数作为原始左视点彩色视频、原始右视点彩色视频的编码量化参数，记为QP_t0，得到以该编码量化参数QP_t0对原始左视点彩色视频、原始右视点彩色视频进行编码的平均码率，记为R_t0，将由原始左视点彩色视频、原始右视点彩色视频和对应的原始左视点深度视频、原始右视点深度视频进行虚拟视点图像绘制得到的虚拟视点视频记为

将由以编码量化参数QP_t0分别对原始左视点彩色视频、原始右视点彩色视频进行编码然后进行解码得到的解码左视点彩色视频、解码右视点彩色视频和对应的原始左视点深度视频、原始右视点深度视频进行虚拟视点图像绘制得到的虚拟视点视频记为I_v(QP_t0)，计算

与I_v(QP_t0)的均方差，作为对以编码量化参数QP_t0分别对原始左视点彩色视频、原始右视点彩色视频进行编码然后进行解码得到的解码左视点彩色视频、解码右视点彩色视频和对应的原始左视点深度视频、原始右视点深度视频进行虚拟视点图像绘制的绘制失真，记为D_t0；

④-2、选取N个大于QP_t0且各不相同的编码量化参数，分别记为QP_t1,…,QP_ti,…,QP_tN，采用该N个不同的编码量化参数QP_t1,…,QP_ti,…,QP_tN分别对原始左视点彩色视频、原始右视点彩色视频进行编码，分别得到以该N个不同的编码量化参数对原始左视点彩色视频、原始右视点彩色视频进行编码的平均码率，对应的分别记为R_t1,…,R_ti,…,R_tN，计算得到由以该N个不同的编码量化参数分别对原始左视点彩色视频、原始右视点彩色视频进行编码然后进行解码得到的解码左视点彩色视频、解码右视点彩色视频和对应的原始左视点深度视频、原始右视点深度视频进行虚拟视点图像绘制的绘制失真，对应的分别记为D_t1,…,D_ti,…,D_tN，其中，1≤i≤N，QP_ti=QP_t0+i；

④-3、根据由R_t0和R_t1,…,R_ti,…,R_tN组成的对原始左视点彩色视频、原始右视点彩色视频进行编码的平均码率集合{R_tj|0≤j≤N}及由D_t0和D_t1,…,D_ti,…,D_tN组成的绘制失真集合{D_tj|0≤j≤N}，通过幂指数拟合方法建立对原始左视点彩色视频、原始右视点彩色视频进行编码的码率R_t与对以采用{QP_tj|0≤j≤N}中的各个编码量化参数分别对原始左视点彩色视频、原始右视点彩色视频进行编码然后进行解码得到的解码左视点彩色视频、解码右视点彩色视频与对应的原始左视点深度视频、原始右视点深度视频进行虚拟视点图像绘制的绘制失真集合{D_tj|0≤j≤N}中的任意一个绘制失真D_t的关系模型，记为

其中，R_t表示{R_tj|0≤j≤N}中的任意一个平均码率，α_t和β_t均为 $D_t\left(R_t\right)\≅{\mathrm{\α}}_t\×{\left(R_t\right)}^{{\mathrm{\β}}_t}$ 中的模型参数；

④-4、任取一个不大于44的编码量化参数作为原始左视点深度视频、原始右视点深度视频的编码量化参数，记为QP_d0，得到以该编码量化参数QP_d0对原始左视点深度视频、原始右视点深度视频进行编码的平均码率，记为R_d0，将由原始左视点彩色视频、原始右视点彩色视频和以编码量化参数QP_d0分别对对应的原始左视点深度视频、原始右视点深度视频进行编码然后进行解码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制得到的虚拟视点视频记为I_v(QP_d0)，计算与I_v(QP_d0)的均方差，作为对原始左视点彩色视频、原始右视点彩色视频和以编码量化参数QP_d0分别对对应的原始左视点深度视频、原始右视点深度视频进行编码然后进行解码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制的绘制失真，记为D_d0；

④-5、选取N个大于QP_d0且各不相同的编码量化参数，分别记为QP_d1,…,QP_di,…,QP_dN，采用该N个不同的编码量化参数QP_d1,…,QP_di,…,QP_dN分别对原始左视点深度视频、原始右视点深度视频进行编码，分别得到以该N个不同的编码量化参数对原始左视点深度视频、原始右视点深度视频进行编码的平均码率，对应的分别记为R_d1,…,R_di,…,R_dN，计算得到由原始左视点彩色视频、原始右视点彩色视频和以该N个不同的编码量化参数分别对对应的原始左视点深度视频、原始右视点深度视频进行编码然后进行解码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制的绘制失真，对应的分别记为D_d1,…,D_di,…,D_dN，其中，1≤i≤N，QP_di=QP_d0+i；

④-6、根据由R_d0和R_d1,…,R_di,…,R_dN组成的对原始左视点深度视频、原始右视点深度视频进行编码的平均码率集合{R_dj|0≤j≤N}及由D_d0和D_d1,…,D_di,…,D_dN组成的绘制失真集合{D_dj|0≤j≤N}，通过幂指数拟合方法建立对原始左视点深度视频、原始右视点深度视频进行编码的码率R_d与对原始左视点彩色视频、原始右视点彩色视频与以采用{QP_dj|0≤j≤N}中的各个编码量化参数分别对对应的原始左视点深度视频、原始右视点深度视频进行编码然后进行解码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制的绘制失真集合{D_dj|0≤j≤N}中的任意一个绘制失真D_d的关系模型，记为

其中，R_d表示{R_dj|0≤j≤N}中的任意一个平均码率，α_d和β_d均为 $D_d\left(R_d\right)\≅{\mathrm{\α}}_d\×{\left(R_d\right)}^{{\mathrm{\β}}_d}$ 中的模型参数。

4.根据权利要求3所述的一种三维立体视频编码的最佳码率比重确立方法，其特征在于所述的步骤⑥的具体过程为：

⑥-1、选取M个大于100且各不相同的码率，分别记为R_c1,…,R_cj,…,R_cM，将由R_c1,…,R_cj,…,R_cM组成的对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的总码率集合记为Ψ，Ψ={R_cj|1≤j≤M}，其中，M≥1；

⑥-2、选取总码率集合Ψ={R_cj|1≤j≤M}中的第1个总码率R_c1作为对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的总码率，假定对原始左视点彩色视频、原始右视点彩色视频进行编码的码率占总码率R_c1的最小码率比重为0.1，假定对原始左视点彩色视频、原始右视点彩色视频进行编码的码率占总码率R_c1的最大码率比重为0.9，则根据对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的总码率R_c1，计算对原始左视点彩色视频、原始右视点彩色视频进行编码的最小码率和最大码率，分别记为R_tmin和R_tmax，R_tmin=0.1×R_c1,R_tmax=0.9×R_c1；

⑥-3、将对原始左视点彩色视频、原始右视点彩色视频进行编码的码率集合记为Ω，Ω={R_t|R_tmin≤R_t≤R_tmax}，然后从对原始左视点彩色视频、原始右视点彩色视频进行编码的码率集合Ω中任取一个码率，记为R_t'，R_t'∈Ω，再计算对原始左视点深度视频、原始右视点深度视频进行编码的码率，记为R_d'，R_d'=R_c1-R_t'；

⑥-4、计算对以码率R_t'分别对原始左视点彩色视频、原始右视点彩色视频进行编码然后进行解码得到的解码左视点彩色视频、解码右视点彩色视频和以码率R_d'分别对原始左视点深度视频、原始右视点深度视频进行编码然后进行解码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制的绘制失真，记为COST'， ${\mathrm{COST}}^{\′}={\mathrm{\α}}_t\×{\left({R_t}^{\′}\right)}^{{\mathrm{\β}}_t}+{\mathrm{\α}}_d\×{\left({R_d}^{\′}\right)}^{{\mathrm{\β}}_d},$ 其中，α_t和β_t均为 $D_t\left(R_t\right)\≅{\mathrm{\α}}_t\×{\left(R_t\right)}^{{\mathrm{\β}}_t}$ 中的模型参数，α_d和β_d均为 $D_d\left(R_d\right)\≅{\mathrm{\α}}_d\×{\left(R_d\right)}^{{\mathrm{\β}}_d}$ 中的模型参数；

⑥-5、从对原始左视点彩色视频、原始右视点彩色视频进行编码的码率集合Ω中任取n个值不等于R_t'且各不相同的码率，分别记任取的n个码率为R''_t1,…,R''_ti,…,R''_tn；然后从任取的n个码率中的第1个码率R''_t1开始，按照步骤⑥-4的操作处理，直至获得任取的n个码率对应的绘制失真，分别记为COST''₁,…,COST''_i,…,COST''_n，其中，2≤n≤R_tmax-R_tmin-1，1≤i≤n，R''_t1表示任取的n个码率中的第1个码率，R''_ti表示任取的n个码率中的第i个码率，R''_tn表示任取的n个码率中的第n个码率，COST''₁表示R''_t1对应的绘制失真，COST''_i表示R''_ti对应的绘制失真，COST''_n表示R''_tn对应的绘制失真；

⑥-6、从COST'和{COST''₁,…,COST''_i,…,COST''_n}中找出值最小的绘制失真，记为COST_min，再将COST_min对应的对原始左视点彩色视频、原始右视点彩色视频进行编码的码率作为对原始左视点彩色视频、原始右视点彩色视频进行编码的最佳码率，记为

，将COST_min对应的对原始左视点深度视频、原始右视点深度视频进行编码的码率作为对原始左视点深度视频、原始右视点深度视频进行编码的最佳码率，记为，得到在总码率R_c1下对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的最佳码率比重，记为α₁，

⑥-7、按照步骤⑥-2至步骤⑥-6计算在总码率R_c1下对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的最佳码率比重α₁的操作，分别获取在Ψ={R_cj|1≤j≤M}中任取M-1个值不等于R_c1且各不相同的码率下对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的最佳码率比重，分别记为α₂,…,α_j,…,α_M，由α₁及α₂,…,α_j,…,α_M构成最佳码率比重集合，记为Θ={α_j|1≤j≤M}，通过幂指数拟合方法建立对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的总码率R_c与最佳码率比重集合Θ={α_j|1≤j≤M}中的任意一个码率比重α的关系模型，记为α，α=f(R_c)，

，其中，α_c和β_c均为

中的模型参数。

Images