CN102355582B - 一种三维立体视频编码的率失真模型优化方法 - Google Patents

Abstract

本发明公开了一种三维立体视频编码的率失真模型优化方法，其通过建立对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的率失真模型，并通过二次拟合方法建立编码量化步长与绘制失真的关系模型及编码量化步长与码率的关系模型，然后对率模型进行优化，分别获得在一定码率下对原始左视点彩色视频、原始右视点彩色视频和原始左视点深度视频、原始右视点深度视频进行编码的最佳初始编码量化参数，最后采用最佳初始编码量化参数分别对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码，本方法在保证立体图像的整体质量的前提下，大大提高了虚拟视点图像的质量。

Description

一种三维立体视频编码的率失真模型优化方法

技术领域

本发明涉及一种视频信号的编码压缩方法，尤其是涉及一种三维立体视频编码的率失真模型优化方法。

背景技术

进入本世纪以来，随着数字2D(二维)视频技术日趋成熟，以及计算机、通信及网络技术的快速发展，引发了人们对新一代视频系统的强烈需求。现行的二维视频系统在表现自然场景时，难以满足用户的立体感和视点交互等的需求。三维视频系统由于能够提供立体感、视点交互性的全新视觉体验而越来越受到人们的欢迎，在无线视频通信、影视娱乐、数字动漫、虚拟战场、旅游观光、远程教学等领域有着广泛的应用前景。通常，三维视频系统如图1所示，其主要包括采集、视频编码、视频传输、视频解码和3D(三维)显示等模块。

多视点视频加深度(multi-view video plus depth，MVD)是目前ISO/MPEG推荐采用的3D场景信息表示方式。MVD数据在多视点彩色图像基础上增加了对应视点的深度信息，通过利用参考视点的彩色图像及该参考视点的彩色图像中的每个像素对应的深度信息，采用基于深度图像的绘制(Depth Image Based Rendering，DIBR)技术来合成三维场景的虚拟视点图像。针对深度视频图像编码，目前已有基于小波分解(waveletdecomposition)的方法、基于平板分解(platelet decomposition)的方法对深度视频图像进行编码，也可以直接采用立体/多视点视频编码技术对深度视频序列进行编码。

然而，现有的立体/多视点视频编码的研究更多地考虑如何提升编码效率，而对MVD数据的编码应当有别于现有的视频编码方法，这是因为：一方面，由于彩色视频的编码失真和深度视频的编码失真都会对虚拟视点绘制产生影响，如何在彩色视频与深度视频之间进行合理的码率分配，以保证获得最优的编码性能和绘制质量是一个亟需解决的问题；另一方面，由于绘制的虚拟视点图像没有原始视点图像作为参考，如何通过最佳的曲线逼近来建立绘制失真与编码量化步长的关系模型，以及如何在总码率给定的情况下通过关系模型来确立对彩色视频和深度视频进行编码的编码量化参数，都是对MVD数据的编码过程中需要研究解决的问题。

发明内容

本发明所要解决的技术问题是提供一种能够有效地提高虚拟视点图像质量的三维立体视频编码的率失真模型优化方法。

本发明解决上述技术问题所采用的技术方案为：一种三维立体视频编码的率失真模型优化方法，其特征在于包括以下步骤：

①将外部立体视频捕获工具捕获得到的未经处理的且颜色空间为YUV的彩色立体视频及其对应的深度立体视频定义为原始三维立体视频，在空域上该原始三维立体视频包括原始左视点三维视频和原始右视点三维视频，原始左视点三维视频包括原始左视点彩色视频和原始左视点深度视频，原始左视点彩色视频主要由若干个帧组的原始左视点彩色图像组成，原始左视点深度视频主要由若干个帧组的原始左视点深度图像组成，原始右视点三维视频包括原始右视点彩色视频和原始右视点深度视频，原始右视点彩色视频主要由若干个帧组的原始右视点彩色图像组成，原始右视点深度视频主要由若干个帧组的原始右视点深度图像组成，其中，YUV颜色空间的三个颜色分量的第1个分量为亮度分量并记为Y、第2个分量为第一色度分量并记为U及第3个分量为第二色度分量并记为V；

将介于左视点与右视点之间的视点作为虚拟视点；

②建立对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的率失真模型，记为以保证获得最优的编码性能和绘制质量，其中，min[ ]为取最小值函数，R_c表示预先设定的对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的总码率，R_t表示对原始左视点彩色视频、原始右视点彩色视频进行编码的码率，R_d表示对原始左视点深度视频、原始右视点深度视频进行编码的码率，D_v(R_t，R_d)表示对以码率R_t分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和以码率R_d分别对对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制的绘制失真；

③将D_v(R_t，R_d)近似表示为： $D_v(R_t,R_d)\≅D_t\left(R_t\right)+D_d\left(R_d\right),$ 其中，D_t(R_t)表示对以码率R_t分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和对应的原始左视点深度视频、原始右视点深度视频进行虚拟视点图像绘制的绘制失真，D_d(R_d)表示对原始左视点彩色视频、原始右视点彩色视频和以码率R_d分别对对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制的绘制失真；

④通过二次拟合方法建立对原始左视点彩色视频、原始右视点彩色视频进行编码的编码量化步长TQ_step与D_t(R_t)的关系模型，记为 $D_t\left(R_t\right)\≅{\mathrm{\α}}_t\×{\left({\mathrm{TQ}}_{\mathrm{step}}\right)}^2+{\mathrm{\β}}_t\×\left({\mathrm{TQ}}_{\mathrm{step}}\right)+{\mathrm{\γ}}_t,$ 通过二次拟合方法建立对原始左视点深度视频、原始右视点深度视频进行编码的编码量化步长DQ_step与D_d(R_d)的关系模型，记为 $D_d\left(R_d\right)\≅{\mathrm{\α}}_d\×{\left({\mathrm{DQ}}_{\mathrm{step}}\right)}^2+{\mathrm{\β}}_d\×\left({\mathrm{DQ}}_{\mathrm{step}}\right)+{\mathrm{\γ}}_d,$ 其中，α_t、β_t和γ_t均为 $D_t\left(R_t\right)\≅{\mathrm{\α}}_t\×{\left({\mathrm{TQ}}_{\mathrm{step}}\right)}^2+{\mathrm{\β}}_t\×\left({\mathrm{TQ}}_{\mathrm{step}}\right)+{\mathrm{\γ}}_t$ 中的模型参数，α_d、β_d和γ_d均为 $D_d\left(R_d\right)\≅{\mathrm{\α}}_d\×{\left({\mathrm{DQ}}_{\mathrm{step}}\right)}^2+{\mathrm{\β}}_d\×\left({\mathrm{DQ}}_{\mathrm{step}}\right)+{\mathrm{\γ}}_d$ 中的模型参数；

⑤通过二次拟合方法建立对原始左视点彩色视频、原始右视点彩色视频进行编码的编码量化步长TQ_step与R_t的关系模型，记为 $R_t\≅a_t\×{(1/{\mathrm{TQ}}_{\mathrm{step}})}^2+b_t\×(1/{\mathrm{TQ}}_{\mathrm{step}})+c_t,$ 通过二次拟合方法建立对原始左视点深度视频、原始右视点深度视频进行编码的编码量化步长DQ_step与R_d的关系模型，记为 $R_d\≅a_d\×{(1/{\mathrm{DQ}}_{\mathrm{step}})}^2+b_d\×(1/{\mathrm{DQ}}_{\mathrm{step}})+c_d,$ 其中，a_t、b_t和c_t均为 $R_t\≅a_t\×{(1/{\mathrm{TQ}}_{\mathrm{step}})}^2+b_t\×(1/{\mathrm{TQ}}_{\mathrm{step}})+c_t$ 中的模型参数，a_d、b_d和c_d均为 $R_d\≅a_d\×{(1/{\mathrm{DQ}}_{\mathrm{step}})}^2+b_d\×(1/{\mathrm{DQ}}_{\mathrm{step}})+c_d$ 中的模型参数；

⑥根据TQ_step与D_t(R_t)的关系模型、DQ_step与D_d(R_d)的关系模型、TQ_step与R_t的关系模型及DQ_step与R_d的关系模型，对率失真模型

进行优化，将优化后的率失真模型表示为： $\min \underset{s.t.a_t\×{(1/T{Q}_{\mathrm{step}})}^2+b_t\×(1/{\mathrm{TQ}}_{\mathrm{step}})+c_t+a_d\×{(1/{\mathrm{DQ}}_{\mathrm{step}})}^2+b_d\×(1/{\mathrm{DQ}}_{\mathrm{step}})+c_d\≤R_c}{[{\mathrm{\α}}_t\×{\left({\mathrm{TQ}}_{\mathrm{step}}\right)}^2+{\mathrm{\β}}_t\×\left({\mathrm{TQ}}_{\mathrm{step}}\right)+{\mathrm{\γ}}_t+{\mathrm{\α}}_d\×{\left({\mathrm{DQ}}_{\mathrm{step}}\right)}^2+{\mathrm{\β}}_d\×\left({\mathrm{DQ}}_{\mathrm{step}}\right)+{\mathrm{\γ}}_d]};$

⑦根据优化后的率失真模型 $\min \underset{s.t.a_t\×{(1/T{Q}_{\mathrm{step}})}^2+b_t\×(1/{\mathrm{TQ}}_{\mathrm{step}})+c_t+a_d\×{(1/{\mathrm{DQ}}_{\mathrm{step}})}^2+b_d\×(1/{\mathrm{DQ}}_{\mathrm{step}})+c_d\≤R_c}{[{\mathrm{\α}}_t\×{\left({\mathrm{TQ}}_{\mathrm{step}}\right)}^2+{\mathrm{\β}}_t\×\left({\mathrm{TQ}}_{\mathrm{step}}\right)+{\mathrm{\γ}}_t+{\mathrm{\α}}_d\×{\left({\mathrm{DQ}}_{\mathrm{step}}\right)}^2+{\mathrm{\β}}_d\×\left({\mathrm{DQ}}_{\mathrm{step}}\right)+{\mathrm{\γ}}_d]},$ 通过全搜索方法获取对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的最佳初始编码量化步长，将对原始左视点彩色视频、原始右视点彩色视频进行编码的最佳初始编码量化步长记为

将对原始左视点深度视频、原始右视点深度视频进行编码的编码量化步长记为

⑧根据对原始左视点彩色视频、原始右视点彩色视频进行编码的最佳初始编码量化步长计算对原始左视点彩色视频、原始右视点彩色视频进行编码的最佳初始编码量化参数，记为

${\mathrm{QP}}_t^{\mathrm{opt}}=6\×{\log }_2^{{\mathrm{TQ}}_{\mathrm{step}}^{\mathrm{opt}}}+4;$ 根据设定的立体视频编码预测结构，采用最佳初始编码量化参数

分别对原始左视点彩色视频的各个帧组中的各个原始左视点彩色图像及原始右视点彩色视频的各个帧组中的各个原始右视点彩色图像的亮度分量Y、第一色度分量U和第二色度分量V进行编码，得到左视点彩色视频的编码码流和右视点彩色视频的编码码流，然后服务端通过网络将左视点彩色视频的编码码流和右视点彩色视频的编码码流传输给用户端；

⑨根据对原始左视点深度视频、原始右视点深度视频进行编码的最佳初始编码量化步长

计算对原始左视点深度视频、原始右视点深度视频进行编码的最佳初始编码量化参数，记为

${\mathrm{QP}}_d^{\mathrm{opt}}=6\×{\log }_2^{{\mathrm{DQ}}_{\mathrm{step}}^{\mathrm{opt}}}+4;$ 根据设定的立体视频编码预测结构，采用最佳初始编码量化参数

分别对原始左视点深度视频的各个帧组中的各个原始左视点深度图像及原始右视点深度视频的各个帧组中的各个原始右视点深度图像进行编码，得到左视点深度视频的编码码流和右视点深度视频的编码码流，然后服务端通过网络将左视点深度视频的编码码流和右视点深度视频的编码码流传输给用户端；

⑩用户端分别对服务端发送来的左视点彩色视频的编码码流、右视点彩色视频的编码码流、左视点深度视频的编码码流和右视点深度视频的编码码流进行解码，得到左视点的彩色视频数据、右视点的彩色视频数据、左视点的深度视频数据和右视点的深度视频数据信息，然后采用基于深度图像的绘制得到各个时刻的虚拟视点视频。

所述的步骤③的具体过程为：

③-1、假定S_v表示由原始左视点彩色图像、原始右视点彩色图像和对应的原始左视点深度图像、原始右视点深度图像进行虚拟视点图像绘制得到的虚拟视点图像，

表示由以码率R_t分别对原始左视点彩色图像、原始右视点彩色图像进行编码得到的解码左视点彩色图像、解码右视点彩色图像和以码率R_d分别对对应的原始左视点深度图像、原始右视点深度图像进行编码得到的解码左视点深度图像、解码右视点深度图像进行虚拟视点图像绘制得到的虚拟视点图像，

表示由以码率R_t分别对原始左视点彩色图像、原始右视点彩色图像进行编码得到的解码左视点彩色图像、解码右视点彩色图像和对应的原始左视点深度图像、原始右视点深度图像进行虚拟视点图像绘制得到的虚拟视点图像，

表示由原始左视点彩色图像、原始右视点彩色图像和以码率R_d分别对对应的原始左视点深度图像、原始右视点深度图像进行编码得到的解码左视点深度图像、解码右视点深度图像进行虚拟视点图像绘制得到的虚拟视点图像，则将D_v(R_t，R_d)表示为： $D_v(R_t,R_d)=E\left\{{(S_v-{\hat{S}}_v)}^2\right\}=E\left\{{(S_v-{\stackrel{\‾}{S}}_v+{\stackrel{\‾}{S}}_v-{\hat{S}}_v)}^2\right\},$ 其中，表示求

的数学期望值；

③-2通过多项式分解将

表示为： $E\left\{{(S_v-{\hat{S}}_v)}^2\right\}=E\left\{{(S_v-{\stackrel{\‾}{S}}_v)}^2\right\}+E\left\{{({\stackrel{\‾}{S}}_v-{\hat{S}}_v)}^2\right\}+2\×E\left\{(S_v-{\stackrel{\‾}{S}}_v)({\stackrel{\‾}{S}}_v-{\hat{S}}_v)\right\},$ 其中，

表示求

的数学期望值，表示求

的数学期望值，

表示求

的数学期望值；

③-3、根据 $E\left\{(S_v-{\stackrel{\‾}{S}}_v)({\stackrel{\‾}{S}}_v-{\hat{S}}_v)\right\}\≅0$ 且 $E\left\{{({\stackrel{\‾}{S}}_v-{\hat{S}}_v)}^2\right\}\≅E\left\{{(S_v-{\tilde{S}}_v)}^2\right\},$ 将D_v(R_t，R_d)近似表示为： $D_v(R_t,R_d)\≅E\left\{{(S_v-{\stackrel{\‾}{S}}_v)}^2\right\}+E\left\{{(S_v-{\tilde{S}}_v)}^2\right\},$ 其中，

表示求

的数学期望值；

③-4、将

表示为对以码率R_t分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和对应的原始左视点深度视频、原始右视点深度视频进行虚拟视点图像绘制的绘制失真，记为D_t(R_t)，将

表示为对原始左视点彩色视频、原始右视点彩色视频和以码率R_d分别对对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制的绘制失真，记为D_d(R_d)，根据 $E\left\{{(S_v-{\tilde{S}}_v)}^2\right\}=D_t\left(R_t\right)$ 和 $E\left\{{(S_v-{\stackrel{\‾}{S}}_v)}^2\right\}=D_d\left(R_d\right),$ 将D_v(R_t，R_d)近似表示为： $D_v(R_t,R_d)\≅D_t\left(R_t\right)+D_d\left(R_d\right).$

所述的步骤④的具体过程为：

④-1、任取一个不大于44的编码量化参数作为原始左视点彩色视频、原始右视点彩色视频的编码量化参数，记为QP_t0，得到以该编码量化参数QP_t0对原始左视点彩色视频、原始右视点彩色视频进行编码的平均码率，记为R_t0，将由原始左视点彩色视频、原始右视点彩色视频和对应的原始左视点深度视频、原始右视点深度视频进行虚拟视点图像绘制得到的虚拟视点视频记为

将由以编码量化参数QP_t0分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和对应的原始左视点深度视频、原始右视点深度视频进行虚拟视点图像绘制得到的虚拟视点视频记为I_v(QP_t0)，计算

与I_v(QP_t0)的均方差，作为对以编码量化参数QP_t0分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和对应的原始左视点深度视频、原始右视点深度视频进行虚拟视点图像绘制的绘制失真，记为D_t0；

④-2、选取N个大于QP_t0且各不相同的编码量化参数，分别记为QP_t1，…，QP_ti，…，QP_tN，采用该N个不同的编码量化参数QP_t1，…，QP_ti，…，QP_tN分别对原始左视点彩色视频、原始右视点彩色视频进行编码，分别得到以该N个不同的编码量化参数对原始左视点彩色视频、原始右视点彩色视频进行编码的平均码率，对应的分别记为R_t1，…，R_ti，…，R_tN，计算得到由以该N个不同的编码量化参数分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和对应的原始左视点深度视频、原始右视点深度视频进行虚拟视点图像绘制的绘制失真，对应的分别记为D_t1，…，D_ti，…，D_tN，其中，1≤i≤N，QP_ti＝QP_t0+i；

④-3、将由R_t0和R_t1，…，R_ti，…，R_tN组成的对原始左视点彩色视频、原始右视点彩色视频进行编码的平均码率集合记为{R_tj|0≤j≤N}，根据由QP_t0和QP_t1，…，QP_ti，…，QP_tN组成的对原始左视点彩色视频、原始右视点彩色视频进行编码的编码量化参数集合{QP_tj|0≤j≤N}及由D_t0和D_t1，…，D_ti，…，D_tN组成的绘制失真集合{D_tj|0≤j≤N}，通过二次拟合方法建立对原始左视点彩色视频、原始右视点彩色视频进行编码的编码量化步长TQ_step与对以采用{QP_tj|0≤j≤N}中的各个编码量化参数分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频与对应的原始左视点深度视频、原始右视点深度视频进行虚拟视点图像绘制的绘制失真集合{D_tj|0≤j≤N}中的任意一个绘制失真D_t的关系模型，记为 $D_t\left(R_t\right)\≅{\mathrm{\α}}_t\×{\left({\mathrm{TQ}}_{\mathrm{step}}\right)}^2+{\mathrm{\β}}_t\×\left({\mathrm{TQ}}_{\mathrm{step}}\right)+{\mathrm{\γ}}_t,$ 其中， ${\mathrm{TQ}}_{\mathrm{step}}=2^{(Q{P}_t-4)/6},$ R_t表示{R_tj|0≤j≤N}中的任意一个平均码率，QP_t表示{QP_tj|0≤j≤N}中的任意一个编码量化参数，α_t、β_t和γ_t均为模型参数；

④-4、任取一个不大于44的编码量化参数作为原始左视点深度视频、原始右视点深度视频的编码量化参数，记为QP_d0，得到以该编码量化参数QP_t0对原始左视点深度视频、原始右视点深度视频进行编码的平均码率，记为R_d0，将由原始左视点彩色视频、原始右视点彩色视频和以编码量化参数QP_d0分别对对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制得到的虚拟视点视频记为I_v(QP_d0)，计算

与I_v(QP_d0)的均方差，作为对原始左视点彩色视频、原始右视点彩色视频和以编码量化参数QP_d0分别对对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制的绘制失真，记为D_d0；

④-5、选取N个大于QP_d0且各不相同的编码量化参数，分别记为QP_d1，…，QP_di，…，QP_dN，采用该N个不同的编码量化参数QP_d1，…，QP_di，…，QP_dN分别对原始左视点深度视频、原始右视点深度视频进行编码，分别得到以该N个不同的编码量化参数对原始左视点深度视频、原始右视点深度视频进行编码的平均码率，对应的分别记为R_d1，…，R_di，…，R_dN，计算得到由原始左视点彩色视频、原始右视点彩色视频和以该N个不同的编码量化参数分别对对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制的绘制失真，对应的分别记为D_d1，…，D_di，…，D_dN，其中，1≤i≤N，QP_di＝QP_d0+i；

④-6、将由R_d0和R_d1，…，R_di，…，R_dN组成的对原始左视点深度视频、原始右视点深度视频进行编码的平均码率集合记为{R_dj|0≤j≤N}，根据由QP_d0和QP_d1，…，QP_di，…，QP_dN组成的对原始左视点深度视频、原始右视点深度视频进行编码的编码量化参数集合{QP_di|0≤j≤N}及由D_d0和D_d1，…，D_di，…，D_dN组成的绘制失真集合{D_dj|0≤j≤N}，通过二次拟合方法建立对原始左视点深度视频、原始右视点深度视频进行编码的编码量化步长DQ_step与对原始左视点彩色视频、原始右视点彩色视频与以采用{QP_dj|0≤j≤N}中的各个编码量化参数分别对对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制的绘制失真集合{D_dj|0≤j≤N}中的任意一个绘制失真D_d的关系模型，记为 $D_d\left(R_d\right)\≅{\mathrm{\α}}_d\×{\left({\mathrm{DQ}}_{\mathrm{step}}\right)}^2+{\mathrm{\β}}_d\×\left({\mathrm{DQ}}_{\mathrm{step}}\right)+{\mathrm{\γ}}_d,$ 其中， ${\mathrm{DQ}}_{\mathrm{step}}=2^{(Q{P}_d-4)/6},$ R_d表示{R_dj|0≤j≤N}中的任意一个平均码率，QP_d表示{QP_dj|0≤j≤N}中的任意一个编码量化参数，α_d、β_d和γ_d均为模型参数。

所述的步骤⑤的具体过程为：

⑤-1、根据对原始左视点彩色视频、原始右视点彩色视频进行编码的平均码率集合{R_tj|0≤j≤N}和对原始左视点彩色视频、原始右视点彩色视频进行编码的编码量化参数集合{QP_tj|0≤j≤N}，采用二次拟合方法建立对原始左视点彩色视频、原始右视点彩色视频进行编码的编码量化步长TQ_step与对原始左视点彩色视频、原始右视点彩色视频进行编码的平均码率集合{R_tj|0≤j≤N}中的任意一个码率R_t的关系模型，记为 $R_t\≅{\mathrm{\α}}_t\×{(1/{\mathrm{TQ}}_{\mathrm{step}})}^2+b_t\×(1/{\mathrm{TQ}}_{\mathrm{step}})+c_t,$ 其中， ${\mathrm{TQ}}_{\mathrm{step}}=2^{(Q{P}_t-4)/6},$ QP_t表示{QP_tj|0≤j≤N}中的任意一个编码量化参数，a_t、b_t和c_t均为模型参数；

⑤-2、根据对原始左视点深度视频、原始右视点深度视频进行编码的平均码率集合{R_dj|0≤j≤N}和对原始左视点深度视频、原始右视点深度视频进行编码的编码量化参数集合{QP_dj|0≤j≤N}，采用二次拟合方法建立对原始左视点深度视频、原始右视点深度视频进行编码的编码量化步长DQ_step与对原始左视点深度视频、原始右视点深度视频进行编码的平均码率集合{R_dj|0≤j≤N}中的任意一个码率R_d的关系模型，记为 $R_d\≅{\mathrm{\α}}_d\×{(1/{\mathrm{DQ}}_{\mathrm{step}})}^2+b_d\×(1/{\mathrm{DQ}}_{\mathrm{step}})+c_d,$ 其中， ${\mathrm{DQ}}_{\mathrm{step}}=2^{(Q{P}_d-4)/6},$ QP_d表示{QP_dj|0≤j≤N}中的任意一个编码量化参数，a_d、b_d和c_d均为模型参数。

所述的步骤⑦的具体过程为：

⑦-1、假定对原始左视点彩色视频、原始右视点彩色视频进行编码的码率占总码率R_c的最小比重为0.2，假定对原始左视点深度视频、原始右视点深度视频进行编码的码率占总码率R_c的最大比重为0.8，则根据对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的总码率R_c，计算对原始左视点深度视频、原始右视点深度视频进行编码的最小编码量化参数和最大编码量化参数，分别记为QP_d min和QP_d max， ${\mathrm{QP}}_{d\min }=6\×{\log }_2^{{\mathrm{DQ}}_{\mathrm{step}}^{\min }}+4,$ ${\mathrm{QP}}_{d\max }=6\×{\log }_2^{{\mathrm{DQ}}_{\mathrm{step}}^{\max }}+4,$

${\mathrm{DQ}}_{\mathrm{step}}^{\min }=\frac{2\×a_d}{-b_d+\sqrt{{\left(b_d\right)}^2-4\×a_d\×(c_d-0.8\×R_c)}},$

${\mathrm{DQ}}_{\mathrm{step}}^{\max }=\frac{2\×a_d}{-b_d+\sqrt{{\left(b_d\right)}^2-4\×a_d\×(c_d-0.2\×R_c)}},$ 其中，a_d、b_d和c_d均为

$R_d\≅a_d\×{(1/{\mathrm{DQ}}_{\mathrm{step}})}^2+b_d\×(1/{\mathrm{DQ}}_{\mathrm{step}})+c_d$ 中的模型参数；

⑦-2、将对原始左视点深度视频、原始右视点深度视频进行编码的编码量化参数集合记为Ω，Ω＝{QP_d|QP_d min≤QP_d≤QP_d max}，QP_d∈Ω，然后从对原始左视点深度视频、原始右视点深度视频进行编码的编码量化参数集合Ω中任取一个编码量化参数，记为QP_d′，QP_d′∈Ω；

⑦-3、根据任取的编码量化参数QP_d′计算对原始左视点深度视频、原始右视点深度视频进行编码的平均码率，记为R_d′，R_d′＝a_d×(1/DQ_step′)²+b_d×(1/DQ_step′)+c_d， ${{\mathrm{DQ}}_{\mathrm{step}}}^{\′}=2^{({{\mathrm{QP}}_d}^{\′}-4)/6};$

⑦-4、根据对原始左视点深度视频、原始右视点深度视频进行编码的平均码率R_d′，计算对原始左视点彩色视频、原始右视点彩色视频进行编码的编码量化步长，记为TQ_step′， ${{\mathrm{TQ}}_{\mathrm{step}}}^{\′}=\frac{2\×a_t}{-b_t+\sqrt{{\left(b_t\right)}^2-4\×a_t\×(c_t-R_c+{R_d}^{\′})}};$

⑦-5、计算对以编码量化步长TQ_step′分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和以编码量化步长DQ_step′分别对原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制的绘制失真，记为COST′，COST′＝α_t×(TQ_step′)²+β_t×(TQ_step′)+γ_t+α_d×(DQ_step′)²+β_d×(DQ_step′)+γ_d，其中，α_t、β_t和γ_t均为 $D_t\left(R_t\right)\≅{\mathrm{\α}}_t\×{\left({\mathrm{TQ}}_{\mathrm{step}}\right)}^2+{\mathrm{\β}}_t\×\left({\mathrm{TQ}}_{\mathrm{step}}\right)+{\mathrm{\γ}}_t$ 中的模型参数，α_d、β_d和γ_d均为 $D_d\left(R_d\right)\≅{\mathrm{\α}}_d\×{\left({\mathrm{DQ}}_{\mathrm{step}}\right)}^2+{\mathrm{\β}}_d\×\left({\mathrm{DQ}}_{\mathrm{step}}\right)+{\mathrm{\γ}}_d$ 中的模型参数；

⑦-6、从对原始左视点深度视频、原始右视点深度视频进行编码的编码量化参数集合Ω中任取n个值不等于QP_d′且各不相同的编码量化参数，分别记任取的n个编码量化参数为QP″_d1，…，QP″_di，…，QP″_dn；然后从任取的n个编码量化参数中的第1个编码量化参数QP″_d1开始，重复采用与步骤⑦-3至⑦-5相同的操作处理，直至获得任取的n个编码量化参数对应的绘制失真，分别记为COST″₁，…，COST″_i，…，COST″_n，其中，2≤n≤QP_d max-QP_d min-1，1≤i≤n，QP″_d1表示任取的n个编码量化参数中的第1个编码量化参数，QP″_di表示任取的n个编码量化参数中的第i个编码量化参数，QP″_dn表示任取的n个编码量化参数中的第n个编码量化参数，COST″₁表示QP″_d1对应的绘制失真，COST″_i表示QP″_di对应的绘制失真，COST″_n表示QP″_dn对应的绘制失真；

⑦-7、从COST′和{COST″₁，…，COST″_i，…，COST″_n}中找出值最小的绘制失真，记为COST_min，再将COST_min对应的对原始左视点彩色视频、原始右视点彩色视频进行编码的编码量化步长作为对原始左视点彩色视频、原始右视点彩色视频进行编码的最佳初始编码量化步长，记为

将COST_min对应的对原始左视点深度视频、原始右视点深度视频进行编码的编码量化步长作为对原始左视点深度视频、原始右视点深度视频进行编码的最佳初始编码量化步长，记为

与现有技术相比，本发明的优点在于：

1)本发明方法根据彩色视频的编码失真和深度视频的编码失真对虚拟视点图像绘制的影响，建立对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的率失真模型，并对率失真模型进行了优化，避免了在编码过程中进行复杂的虚拟视点绘制操作，大大提高了率失真模型的有效性。

2)本发明方法通过建立对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的率失真模型，分别获得在一定码率下对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的初始编码量化参数，这一编码流程有别于传统的立体视频编码方法，在保证立体视频的整体质量的前提下，大大提高了虚拟视点图像的质量。

附图说明

图1为典型的三维视频系统的组成示意图；

图2a为“Altmoabit”三维视频测试序列的第8个参考视点的一幅彩色图像；

图2b为“Altmoabit”三维视频测试序列的第10个参考视点的一幅彩色图像；

图2c为图2a所示的彩色图像对应的深度图像；

图2d为图2b所示的彩色图像对应的深度图像；

图3a为“Bookarrival”三维视频测试序列的第9个参考视点的一幅彩色图像；

图3b为“Bookarrival”三维视频测试序列的第11个参考视点的一幅彩色图像；

图3c为图3a所示的彩色图像对应的深度图像；

图3d为图3b所示的彩色图像对应的深度图像；

图4a为“Doorflowers”三维视频测试序列的第8个参考视点的一幅彩色图像；

图4b为“Doorflowers”三维视频测试序列的第10个参考视点的一幅彩色图像；

图4c为图4a所示的彩色图像对应的深度图像；

图4d为图4b所示的彩色图像对应的深度图像；

图5a为“Leavelaptop”三维视频测试序列的第9个参考视点的一幅彩色图像；

图5b为“Leavelaptop”三维视频测试序列的第11个参考视点的一幅彩色图像；

图5c为图5a所示的彩色图像对应的深度图像；

图5d为图5b所示的彩色图像对应的深度图像；

图6为对原始左右视点彩色视频的编码量化步长与绘制失真的关系模型进行二次拟合的曲线示意图；

图7为对原始左右视点深度视频的编码量化步长与绘制失真的关系模型进行二次拟合的曲线示意图；

图8为对原始左右视点彩色视频的编码量化步长与码率的关系模型进行二次拟合的曲线示意图；

图9为对原始左右视点深度视频的编码量化步长与码率的关系模型进行二次拟合的曲线示意图；

图10为“Altmoabit”三维视频测试序列采用本发明方法与采用原始固定码率比重方法得到的虚拟视点彩色图像的亮度分量Y的率失真性能曲线比较示意图；

图11为“Bookarrival”三维视频测试序列采用本发明方法与采用原始固定码率比重方法得到的虚拟视点彩色图像的亮度分量Y的率失真性能曲线比较示意图；

图12为“Doorflowers”三维视频测试序列采用本发明方法与采用原始固定码率比重方法得到的虚拟视点彩色图像的亮度分量Y的率失真性能曲线比较示意图；

图13为“Leavelaptop”三维视频测试序列采用本发明方法与采用原始固定码率比重方法得到的虚拟视点彩色图像的亮度分量Y的率失真性能曲线比较示意图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明提出的一种三维立体视频编码的率失真模型优化方法，其主要包括以下步骤：

①将外部立体视频捕获工具捕获得到的未经处理的且颜色空间为YUV的彩色立体视频及其对应的深度立体视频定义为原始三维立体视频，在空域上该原始三维立体视频包括原始左视点三维视频和原始右视点三维视频，原始左视点三维视频包括原始左视点彩色视频和原始左视点深度视频，原始左视点彩色视频主要由若干个帧组的原始左视点彩色图像组成，原始左视点深度视频主要由若干个帧组的原始左视点深度图像组成，原始右视点三维视频包括原始右视点彩色视频和原始右视点深度视频，原始右视点彩色视频主要由若干个帧组的原始右视点彩色图像组成，原始右视点深度视频主要由若干个帧组的原始右视点深度图像组成，其中，YUV颜色空间的三个颜色分量的第1个分量为亮度分量并记为Y、第2个分量为第一色度分量并记为U及第3个分量为第二色度分量并记为V；将介于左视点与右视点之间的视点作为虚拟视点。

在本实施中，采用德国HHI实验室提供的三维视频测试序列“Altmoabit”、“Bookarrival”、“Doorflowers”和“Leavelaptop”作为原始三维立体视频，这四个三维视频测试序列的各幅彩色图像和各幅深度图像的分辨率均为1024×768。对于“Altmoabit”和“Doorflowers”三维立体视频，将第8个参考视点作为原始三维立体视频的左视点，将第10个参考视点作为原始三维立体视频的右视点，将第9个视点作为原始三维立体视频的虚拟视点；对于“Bookarrival”和“Leavelaptop”原始三维立体视频，将第9个参考视点作为原始三维立体视频的左视点，将第11个参考视点作为原始三维立体视频的右视点，将第10个视点作为原始三维立体视频的虚拟视点。图2a和图2b分别给出了“Altmoabit”的第8个和第10个参考视点的彩色图像；图2c和图2d分别给出了“Altmoabit”的第8个和第10个参考视点的深度图像；图3a和图3b分别给出了“Bookarrival”的第9个和第11个参考视点的彩色图像；图3c和图3d分别给出了“Bookarrival”的第9个和第11个参考视点的深度图像；图4a和图4b分别给出了“Doorflowers”的第8个和第10个参考视点的彩色图像；图4c和图4d分别给出了“Doorflowers”的第8个和第10个参考视点的深度图像；图5a和图5b分别给出了“Leavelaptop”的第9个和第11个参考视点的彩色图像；图5c和图5d分别给出了“Leavelaptop”的第9个和第11个参考视点的深度图像。

②由于深度是用来表征场景几何的负载信息，因此深度信息的编码质量会对后期虚拟视点图像的绘制产生影响，并且由于人眼感知是对彩色视频图像进行的，因此彩色视频图像的编码质量也会直接对后期虚拟视点图像的绘制质量产生影响。由于原始左右视点彩色视频的编码失真和原始左右视点深度视频的编码失真都会对虚拟视点图像绘制产生影响，因此本发明建立对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的率失真模型，记为以保证获得最优的编码性能和绘制质量，其中，min[]为取最小值函数，R_c表示预先设定的对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的总码率，R_t表示对原始左视点彩色视频、原始右视点彩色视频进行编码的码率，R_d表示对原始左视点深度视频、原始右视点深度视频进行编码的码率，D_v(R_t，R_d)表示对以码率R_t分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和以码率R_d分别对对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制的绘制失真。

③由于原始左视点彩色视频、原始右视点彩色视频的编码失真和原始左视点深度视频、原始右视点深度视频的编码失真对虚拟视点图像绘制的影响既是相互独立又是相互影响的，为简单起见，本发明忽略彩色视频和深度视频之间的相互影响，于是将D_v(R_t，R_d)近似表示为： $D_v(R_t,R_d)\≅D_t\left(R_t\right)+D_d\left(R_d\right),$ 其中，D_t(R_t)表示对以码率R_t分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和对应的原始左视点深度视频、原始右视点深度视频进行虚拟视点图像绘制的绘制失真，D_d(R_d)表示对原始左视点彩色视频、原始右视点彩色视频和以码率R_d分别对对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制的绘制失真。

在此具体实施例中，步骤③的具体过程为：

③-1、假定S_v表示由原始左视点彩色图像、原始右视点彩色图像和对应的原始左视点深度图像、原始右视点深度图像进行虚拟视点图像绘制得到的虚拟视点图像，

表示由以码率R_t分别对原始左视点彩色图像、原始右视点彩色图像进行编码得到的解码左视点彩色图像、解码右视点彩色图像和以码率R_d分别对对应的原始左视点深度图像、原始右视点深度图像进行编码得到的解码左视点深度图像、解码右视点深度图像进行虚拟视点图像绘制得到的虚拟视点图像，

表示由以码率R_t分别对原始左视点彩色图像、原始右视点彩色图像进行编码得到的解码左视点彩色图像、解码右视点彩色图像和对应的原始左视点深度图像、原始右视点深度图像进行虚拟视点图像绘制得到的虚拟视点图像，

表示由原始左视点彩色图像、原始右视点彩色图像和以码率R_d分别对对应的原始左视点深度图像、原始右视点深度图像进行编码得到的解码左视点深度图像、解码右视点深度图像进行虚拟视点图像绘制得到的虚拟视点图像，则将D_v(R_t，R_d)表示为： $D_v(R_t,R_d)=E\left\{{(S_v-{\hat{S}}_v)}^2\right\}=E\left\{{(S_v-{\stackrel{\‾}{S}}_v+{\stackrel{\‾}{S}}_v-{\hat{S}}_v)}^2\right\},$ 其中，

表示求

的数学期望值。

③-2通过多项式分解将

表示为： $E\left\{{(S_v-{\hat{S}}_v)}^2\right\}=E\left\{{(S_v-{\stackrel{\‾}{S}}_v)}^2\right\}+E\left\{{({\stackrel{\‾}{S}}_v-{\hat{S}}_v)}^2\right\}+2\×E\left\{(S_v-{\stackrel{\‾}{S}}_v)({\stackrel{\‾}{S}}_v-{\hat{S}}_v)\right\},$ 其中，

表示求

的数学期望值，

表示求

的数学期望值，表示求的数学期望值。

③-3、经大量实验结果表明

近似等于0，

近似等于

因此本发明根据 $E\left\{(S_v-{\stackrel{\‾}{S}}_v)({\stackrel{\‾}{S}}_v-{\hat{S}}_v)\right\}\≅0$ 且 $E\left\{{({\stackrel{\‾}{S}}_v-{\hat{S}}_v)}^2\right\}\≅E\left\{{(S_v-{\tilde{S}}_v)}^2\right\},$ 将D_v(R_t，R_d)近似表示为： $D_v(R_t,R_d)\≅E\left\{{(S_v-{\stackrel{\‾}{S}}_v)}^2\right\}+E\left\{{(S_v-{\tilde{S}}_v)}^2\right\},$ 其中，表示求

的数学期望值。

③-4、将

表示为对以码率R_t分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和对应的原始左视点深度视频、原始右视点深度视频进行虚拟视点图像绘制的绘制失真，记为D_t(R_t)，将

表示为对原始左视点彩色视频、原始右视点彩色视频和以码率R_d分别对对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制的绘制失真，记为D_d(R_d)，根据 $E\left\{{(S_v-{\tilde{S}}_v)}^2\right\}=D_t\left(R_t\right)$ 和 $E\left\{{(S_v-{\stackrel{\‾}{S}}_v)}^2\right\}=D_d\left(R_d\right),$ 将D_v(R_t，R_d)近似表示为： $D_v(R_t,R_d)\≅D_t\left(R_t\right)+D_d\left(R_d\right).$

④由于原始左右视点彩色视频和原始左右视点深度视频的编码失真的大小直接影响绘制失真的大小，而编码失真又与编码量化步长有关，因此本发明通过二次拟合方法建立对原始左视点彩色视频、原始右视点彩色视频进行编码的编码量化步长TQ_step与D_t(R_t)的关系模型，记为 $D_t\left(R_t\right)\≅{\mathrm{\α}}_t\×{\left({\mathrm{TQ}}_{\mathrm{step}}\right)}^2+{\mathrm{\β}}_t\×\left({\mathrm{TQ}}_{\mathrm{step}}\right)+{\mathrm{\γ}}_t,$ 通过二次拟合方法建立对原始左视点深度视频、原始右视点深度视频进行编码的编码量化步长DQ_step与D_d(R_d)的关系模型，记为 $D_d\left(R_d\right)\≅{\mathrm{\α}}_d\×{\left({\mathrm{DQ}}_{\mathrm{step}}\right)}^2+{\mathrm{\β}}_d\×\left({\mathrm{DQ}}_{\mathrm{step}}\right)+{\mathrm{\γ}}_d,$ 其中，α_t、β_t和γ_t均为 $D_t\left(R_t\right)\≅{\mathrm{\α}}_t\×{\left({\mathrm{TQ}}_{\mathrm{step}}\right)}^2+{\mathrm{\β}}_t\×\left({\mathrm{TQ}}_{\mathrm{step}}\right)+{\mathrm{\γ}}_t$ 中的模型参数，α_d、β_d和γ_d均为 $D_d\left(R_d\right)\≅{\mathrm{\α}}_d\×{\left({\mathrm{DQ}}_{\mathrm{step}}\right)}^2+{\mathrm{\β}}_d\×\left({\mathrm{DQ}}_{\mathrm{step}}\right)+{\mathrm{\γ}}_d$ 中的模型参数。

在此具体实施例中，步骤④的具体过程为：

④-1、任取一个不大于44的编码量化参数作为原始左视点彩色视频、原始右视点彩色视频的编码量化参数，记为QP_t0，得到以该编码量化参数QP_t0对原始左视点彩色视频、原始右视点彩色视频进行编码的平均码率，记为R_t0，将由原始左视点彩色视频、原始右视点彩色视频和对应的原始左视点深度视频、原始右视点深度视频进行虚拟视点图像绘制得到的虚拟视点视频记为

将由以编码量化参数QP_t0分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和对应的原始左视点深度视频、原始右视点深度视频进行虚拟视点图像绘制得到的虚拟视点视频记为I_v(QP_t0)，计算与I_v(QP_t0)的均方差，作为对以编码量化参数QP_t0分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和对应的原始左视点深度视频、原始右视点深度视频进行虚拟视点图像绘制的绘制失真，记为D_t0。

④-2、选取N个大于QP_t0且各不相同的编码量化参数，分别记为QP_t1，…，QP_ti，…，QP_tN，采用该N个不同的编码量化参数QP_t1，…，QP_ti，…，QP_tN分别对原始左视点彩色视频、原始右视点彩色视频进行编码，分别得到以该N个不同的编码量化参数对原始左视点彩色视频、原始右视点彩色视频进行编码的平均码率，对应的分别记为R_t1，…，R_ti，…，R_tN，计算得到由以该N个不同的编码量化参数分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和对应的原始左视点深度视频、原始右视点深度视频进行虚拟视点图像绘制的绘制失真，对应的分别记为D_t1，…，D_ti，…，D_tN，其中，1≤i≤N，QP_ti＝QP_t0+i。在本实施例中，取N＝12。

④-3、将由R_t0和R_t1，…，R_ti，…，R_tN组成的对原始左视点彩色视频、原始右视点彩色视频进行编码的平均码率集合记为{R_tj|0≤j≤N}，根据由QP_t0和QP_t1，…，QP_ti，…，QP_tN组成的对原始左视点彩色视频、原始右视点彩色视频进行编码的编码量化参数集合{QP_tj|0≤j≤N}及由D_t0和D_t1，…，D_ti，…，D_tN组成的绘制失真集合{D_tj|0≤j≤N}，通过二次拟合方法建立对原始左视点彩色视频、原始右视点彩色视频进行编码的编码量化步长TQ_step与对以采用{QP_tj|0≤j≤N}中的各个编码量化参数分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频与对应的原始左视点深度视频、原始右视点深度视频进行虚拟视点图像绘制的绘制失真集合{D_tj|0≤j≤N}中的任意一个绘制失真D_t的关系模型，记为 $D_t\left(R_t\right)\≅{\mathrm{\α}}_t\×{\left({\mathrm{TQ}}_{\mathrm{step}}\right)}^2+{\mathrm{\β}}_t\×\left({\mathrm{TQ}}_{\mathrm{step}}\right)+{\mathrm{\γ}}_t,$ 其中， ${\mathrm{TQ}}_{\mathrm{step}}=2^{(Q{P}_t-4)/6},$ R_t表示{R_tj|0≤j≤N}中的任意一个平均码率，QP_t表示{QP_tj|0≤j≤N}中的任意一个编码量化参数，α_t、β_t和γ_t均为模型参数。

④-4、任取一个不大于44的编码量化参数作为原始左视点深度视频、原始右视点深度视频的编码量化参数，记为QP_d0，得到以该编码量化参数QP_t0对原始左视点深度视频、原始右视点深度视频进行编码的平均码率，记为R_d0，将由原始左视点彩色视频、原始右视点彩色视频和以编码量化参数QP_d0分别对对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制得到的虚拟视点视频记为I_v(QP_d0)，计算

与I_v(QP_d0)的均方差，作为对原始左视点彩色视频、原始右视点彩色视频和以编码量化参数QP_d0分别对对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制的绘制失真，记为D_d0。

④-5、选取N个大于QP_d0且各不相同的编码量化参数，分别记为QP_d1，…，QP_di，…，QP_dN，采用该N个不同的编码量化参数QP_d1，…，QP_di，…，QP_dN分别对原始左视点深度视频、原始右视点深度视频进行编码，分别得到以该N个不同的编码量化参数对原始左视点深度视频、原始右视点深度视频进行编码的平均码率，对应的分别记为R_d1，…，R_di，…，R_dN，计算得到由原始左视点彩色视频、原始右视点彩色视频和以该N个不同的编码量化参数分别对对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制的绘制失真，对应的分别记为D_d1，…，D_di，…，D_dN，其中，1≤i≤N，QP_di＝QP_d0+i。在本实施例中，取N＝12。

④-6、将由R_d0和R_d1，…，R_di，…，R_dN组成的对原始左视点深度视频、原始右视点深度视频进行编码的平均码率集合记为{R_dj|0≤j≤N}，根据由QP_d0和QP_d1，…，QP_di，…，QP_dN组成的对原始左视点深度视频、原始右视点深度视频进行编码的编码量化参数集合{QP_dj|0≤j≤N}及由D_d0和D_d1，…，D_di，…，D_dN组成的绘制失真集合{D_dj|0≤j≤N}，通过二次拟合方法建立对原始左视点深度视频、原始右视点深度视频进行编码的编码量化步长DQ_step与对原始左视点彩色视频、原始右视点彩色视频与以采用{QP_dj|0≤j≤N}中的各个编码量化参数分别对对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制的绘制失真集合{D_dj|0≤j≤N}中的任意一个绘制失真D_d的关系模型，记为 $D_d\left(R_d\right)\≅{\mathrm{\α}}_d\×{\left({\mathrm{DQ}}_{\mathrm{step}}\right)}^2+{\mathrm{\β}}_d\×\left({\mathrm{DQ}}_{\mathrm{step}}\right)+{\mathrm{\γ}}_d,$ 其中， ${\mathrm{DQ}}_{\mathrm{step}}=2^{(Q{P}_d-4)/6},$ R_d表示{R_dj|0≤j≤N}中的任意一个平均码率，QP_d表示{QP_dj|0≤j≤N}中的任意一个编码量化参数，α_d、β_d和γ_d均为模型参数。

图6给出了对“Altmoabit”、“Bookarrival”、“Doorflowers”和“Leavelaptop”的原始左右视点彩色视频的编码量化步长TQ_step与绘制失真D_t(R_t)的关系模型进行二次拟合的曲线示意图，图7给出了对“Altmoabit”、“Bookarrival”、“Doorflowers”和“Leavelaptop”的原始左右视点深度视频的编码量化步长DQ_step与绘制失真D_d(R_d)的关系模型进行二次拟合的曲线示意图，从图6和图7中可以看出二次拟合能很好地反映编码量化步长与绘制失真之间的关系。

⑤在总码率限制下，需要合理地控制对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的编码量化步长，使得彩色视频和深度视频输出的码率满足目标总码率要求，因此本发明通过二次拟合方法建立对原始左视点彩色视频、原始右视点彩色视频进行编码的编码量化步长TQ_step与R_t的关系模型，记为 $R_t\≅{\mathrm{\α}}_t\×{(1/{\mathrm{TQ}}_{\mathrm{step}})}^2+b_t\×(1/{\mathrm{TQ}}_{\mathrm{step}})+c_t,$ 通过二次拟合方法建立对原始左视点深度视频、原始右视点深度视频进行编码的编码量化步长DQ_step与R_d的关系模型，记为 $R_d\≅{\mathrm{\α}}_d\×{(1/{\mathrm{DQ}}_{\mathrm{step}})}^2+b_d\×(1/{\mathrm{DQ}}_{\mathrm{step}})+c_d,$ 其中，a_t、b_t和c_t均为 $R_t\≅{\mathrm{\α}}_t\×{(1/{\mathrm{TQ}}_{\mathrm{step}})}^2+b_t\×(1/{\mathrm{TQ}}_{\mathrm{step}})+c_t$ 中的模型参数，a_d、b_d和c_d均为 $R_d\≅{\mathrm{\α}}_d\×{(1/{\mathrm{DQ}}_{\mathrm{step}})}^2+b_d\×(1/{\mathrm{DQ}}_{\mathrm{step}})+c_d$ 中的模型参数。

在此具体实施例中，步骤⑤的具体过程为：

⑤-1、根据对原始左视点彩色视频、原始右视点彩色视频进行编码的平均码率集合{R_tj|0≤j≤N}和对原始左视点彩色视频、原始右视点彩色视频进行编码的编码量化参数集合{QP_tj|0≤j≤N}，采用二次拟合方法建立对原始左视点彩色视频、原始右视点彩色视频进行编码的编码量化步长TQ_step与对原始左视点彩色视频、原始右视点彩色视频进行编码的平均码率集合{R_tj|0≤j≤N}中的任意一个码率R_t的关系模型，记为 $R_t\≅{\mathrm{\α}}_t\×{(1/{\mathrm{TQ}}_{\mathrm{step}})}^2+b_t\×(1/{\mathrm{TQ}}_{\mathrm{step}})+c_t,$ 其中， ${\mathrm{TQ}}_{\mathrm{step}}=2^{(Q{P}_t-4)/6},$ QP_t表示{QP_tj|0≤j≤N}中的任意一个编码量化参数，a_t、b_t和c_t均为模型参数。

⑤-2、根据对原始左视点深度视频、原始右视点深度视频进行编码的平均码率集合{R_dj|0≤j≤N}和对原始左视点深度视频、原始右视点深度视频进行编码的编码量化参数集合{QP_dj|0≤j≤N}，采用二次拟合方法建立对原始左视点深度视频、原始右视点深度视频进行编码的编码量化步长DQ_step与对原始左视点深度视频、原始右视点深度视频进行编码的平均码率集合{R_dj|0≤j≤N}中的任意一个码率R_d的关系模型，记为 $R_d\≅{\mathrm{\α}}_d\×{(1/{\mathrm{DQ}}_{\mathrm{step}})}^2+b_d\×(1/{\mathrm{DQ}}_{\mathrm{step}})+c_d,$ 其中， ${\mathrm{DQ}}_{\mathrm{step}}=2^{(Q{P}_d-4)/6},$ QP_d表示{QP_dj|0≤j≤N}中的任意一个编码量化参数，a_d、b_d和c_d均为模型参数。

图8给出了对“Altmoabit”、“Bookarrival”、“Doorflowers”和“Leavelaptop”的原始左右视点彩色视频的编码量化步长TQ_step与码率R_t的关系模型进行二次拟合的曲线示意图，图9给出了对“Altmoabit”、“Bookarrival”、“Doorflowers”和“Leavelaptop”的原始左右视点深度视频的编码量化步长TQ_step与码率R_t的关系模型进行二次拟合的曲线示意图，从图8和图9中可以看出二次拟合能很好地反映编码量化步长与码率之间的关系。

⑥根据TQ_step与D_t(R_t)的关系模型、DQ_step与D_d(R_d)的关系模型、TQ_step与R_t的关系模型及DQ_step与R_d的关系模型，对率失真模型进行优化，将优化后的率失真模型表示为： $\min \underset{s.t.a_t\×{(1/T{Q}_{\mathrm{step}})}^2+b_t\×(1/{\mathrm{TQ}}_{\mathrm{step}})+c_t+a_d\×{(1/{\mathrm{DQ}}_{\mathrm{step}})}^2+b_d\×(1/{\mathrm{DQ}}_{\mathrm{step}})+c_d\≤R_c}{[{\mathrm{\α}}_t\×{\left({\mathrm{TQ}}_{\mathrm{step}}\right)}^2+{\mathrm{\β}}_t\×\left({\mathrm{TQ}}_{\mathrm{step}}\right)+{\mathrm{\γ}}_t+{\mathrm{\α}}_d\×{\left({\mathrm{DQ}}_{\mathrm{step}}\right)}^2+{\mathrm{\β}}_d\×\left({\mathrm{DQ}}_{\mathrm{step}}\right)+{\mathrm{\γ}}_d]}.$

⑦根据优化后的率失真模型 $\min \underset{s.t.a_t\×{(1/T{Q}_{\mathrm{step}})}^2+b_t\×(1/{\mathrm{TQ}}_{\mathrm{step}})+c_t+a_d\×{(1/{\mathrm{DQ}}_{\mathrm{step}})}^2+b_d\×(1/{\mathrm{DQ}}_{\mathrm{step}})+c_d\≤R_c}{[{\mathrm{\α}}_t\×{\left({\mathrm{TQ}}_{\mathrm{step}}\right)}^2+{\mathrm{\β}}_t\×\left({\mathrm{TQ}}_{\mathrm{step}}\right)+{\mathrm{\γ}}_t+{\mathrm{\α}}_d\×{\left({\mathrm{DQ}}_{\mathrm{step}}\right)}^2+{\mathrm{\β}}_d\×\left({\mathrm{DQ}}_{\mathrm{step}}\right)+{\mathrm{\γ}}_d]},$ 通过全搜索方法获取对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的最佳初始编码量化步长，将对原始左视点彩色视频、原始右视点彩色视频进行编码的最佳初始编码量化步长记为

将对原始左视点深度视频、原始右视点深度视频进行编码的编码量化步长记为

在此具体实施例中，步骤⑦的具体过程为：

⑦-1、假定对原始左视点彩色视频、原始右视点彩色视频进行编码的码率占总码率R_c的最小比重为0.2，假定对原始左视点深度视频、原始右视点深度视频进行编码的码率占总码率R_c的最大比重为0.8，则根据对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的总码率R_c，计算对原始左视点深度视频、原始右视点深度视频进行编码的最小编码量化参数和最大编码量化参数，分别记为QP_d min和QP_d max， ${\mathrm{QP}}_{d\min }=6\×{\log }_2^{{\mathrm{DQ}}_{\mathrm{step}}^{\min }}+4,$ ${\mathrm{QP}}_{d\max }=6\×{\log }_2^{{\mathrm{DQ}}_{\mathrm{step}}^{\max }}+4,$ ${\mathrm{DQ}}_{\mathrm{step}}^{\min }=\frac{2\×a_d}{-b_d+\sqrt{{\left(b_d\right)}^2-4\×a_d\×(c_d-0.8\×R_c)}},$ ${\mathrm{DQ}}_{\mathrm{step}}^{\max }=\frac{2\×a_d}{-b_d+\sqrt{{\left(b_d\right)}^2-4\×a_d\×(c_d-0.2\×R_c)}},$ 其中，a_d、b_d和c_d均为 $R_d\≅a_d\×{(1/{\mathrm{DQ}}_{\mathrm{step}})}^2+b_d\×(1/{\mathrm{DQ}}_{\mathrm{step}})+c_d$ 中的模型参数。

⑦-2、将对原始左视点深度视频、原始右视点深度视频进行编码的编码量化参数集合记为Ω，Ω＝{QP_d|QP_d min≤QP_d≤QP_d max}，QP_d∈Ω，然后从对原始左视点深度视频、原始右视点深度视频进行编码的编码量化参数集合Ω中任取一个编码量化参数，记为QP_d′，QP_d′∈Ω。

⑦-3、根据任取的编码量化参数QP_d′计算对原始左视点深度视频、原始右视点深度视频进行编码的平均码率，记为R_d′，R_d′＝a_d×(1/DQ_step′)²+b_d×(1/DQ_step′)+c_d， ${{\mathrm{DQ}}_{\mathrm{step}}}^{\′}=2^{({{\mathrm{QP}}_d}^{\′}-4)/6}.$

⑦-4、根据对原始左视点深度视频、原始右视点深度视频进行编码的平均码率R_d′，计算对原始左视点彩色视频、原始右视点彩色视频进行编码的编码量化步长，记为TQ_step′， ${{\mathrm{TQ}}_{\mathrm{step}}}^{\′}=\frac{2\×a_t}{-b_t+\sqrt{{\left(b_t\right)}^2-4\×a_t\×(c_t-R_c+{R_d}^{\′})}}.$

⑦-5、计算对以编码量化步长TQ_step′分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和以编码量化步长DQ_step′分别对原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制的绘制失真，记为COST′，COST′＝α_t×(TQ_step′)²+β_t×(TQ_step′)+γ_t+α_d×(DQ_step′)²+β_d×(DQ_step′)+γ_d，其中，α_t、β_t和γ_t均为 $D_t\left(R_t\right)\≅{\mathrm{\α}}_t\×{\left({\mathrm{TQ}}_{\mathrm{step}}\right)}^2+{\mathrm{\β}}_t\×\left({\mathrm{TQ}}_{\mathrm{step}}\right)+{\mathrm{\γ}}_t$ 中的模型参数，α_d、β_d和γ_d均为 $D_d\left(R_d\right)\≅{\mathrm{\α}}_d\×{\left({\mathrm{DQ}}_{\mathrm{step}}\right)}^2+{\mathrm{\β}}_d\×\left({\mathrm{DQ}}_{\mathrm{step}}\right)+{\mathrm{\γ}}_d$ 中的模型参数。

⑦-6、从对原始左视点深度视频、原始右视点深度视频进行编码的编码量化参数集合Ω中任取n个值不等于QP_d′且各不相同的编码量化参数，分别记任取的n个编码量化参数为QP″_d1，…，QP″_di，…，QP″_dn；然后从任取的n个编码量化参数中的第1个编码量化参数QP″_d1开始，重复采用与步骤⑦-3至⑦-5相同的操作处理，直至获得任取的n个编码量化参数对应的绘制失真，分别记为COST″₁，…，COST″_i，…，COST″_n，其中，2≤n≤QP_d max-QP_d min-1，1≤i≤n，QP″_d1表示任取的n个编码量化参数中的第1个编码量化参数，QP″_di表示任取的n个编码量化参数中的第i个编码量化参数，QP″_dn表示任取的n个编码量化参数中的第n个编码量化参数，COST″₁表示QP″_d1对应的绘制失真，COST″_i表示QP″_di对应的绘制失真，COST″_n表示QP″_dn对应的绘制失真。

⑦-7、从COST′和{COST″₁，…，COST″_i，…，COST″_n}中找出值最小的绘制失真，记为COST_min，再将COST_min对应的对原始左视点彩色视频、原始右视点彩色视频进行编码的编码量化步长作为对原始左视点彩色视频、原始右视点彩色视频进行编码的最佳初始编码量化步长，记为

将COST_min对应的对原始左视点深度视频、原始右视点深度视频进行编码的编码量化步长作为对原始左视点深度视频、原始右视点深度视频进行编码的最佳初始编码量化步长，记为

⑧根据对原始左视点彩色视频、原始右视点彩色视频进行编码的最佳初始编码量化步长

计算对原始左视点彩色视频、原始右视点彩色视频进行编码的最佳初始编码量化参数，记为

${\mathrm{QP}}_t^{\mathrm{opt}}=6\×{\log }_2^{{\mathrm{TQ}}_{\mathrm{step}}^{\mathrm{opt}}}+4;$ 根据设定的立体视频编码预测结构，采用最佳初始编码量化参数

分别对原始左视点彩色视频的各个帧组中的各个原始左视点彩色图像及原始右视点彩色视频的各个帧组中的各个原始右视点彩色图像的亮度分量Y、第一色度分量U和第二色度分量V进行编码，得到左视点彩色视频的编码码流和右视点彩色视频的编码码流，然后服务端通过网络将左视点彩色视频的编码码流和右视点彩色视频的编码码流传输给用户端。

⑨根据对原始左视点深度视频、原始右视点深度视频进行编码的最佳初始编码量化步长

计算对原始左视点深度视频、原始右视点深度视频进行编码的最佳初始编码量化参数，记为

${\mathrm{QP}}_d^{\mathrm{opt}}=6\×{\log }_2^{{\mathrm{DQ}}_{\mathrm{step}}^{\mathrm{opt}}}+4;$ 根据设定的立体视频编码预测结构，采用最佳初始编码量化参数分别对原始左视点深度视频的各个帧组中的各个原始左视点深度图像及原始右视点深度视频的各个帧组中的各个原始右视点深度图像进行编码，得到左视点深度视频的编码码流和右视点深度视频的编码码流，然后服务端通过网络将左视点深度视频的编码码流和右视点深度视频的编码码流传输给用户端。

⑩用户端分别对服务端发送来的左视点彩色视频的编码码流、右视点彩色视频的编码码流、左视点深度视频的编码码流和右视点深度视频的编码码流进行解码，得到左视点的彩色视频数据、右视点的彩色视频数据、左视点的深度视频数据和右视点的深度视频数据信息，然后采用基于深度图像的绘制得到各个时刻的虚拟视点视频。

在本实施例中，立体视频编码预测结构采用公知的HBP编码预测结构。

以下就利用本发明方法对“Altmoabit”、“Bookarrival”、“Doorflowers”和“Leavelaptop”三维立体视频测试序列的编码性能进行比较。

表1给出了本发明方法采用二次拟合得到的彩色视频与深度视频的编码量化步长与绘制失真的关系模型的模型参数，表2给出了本发明方法采用二次拟合得到的彩色视频与深度视频的编码量化步长与码率的关系模型的模型参数，从表1和表2中可以看出，采用本发明方法拟合得到的曲线与真实曲线的相关系数(Correlation Coefficient，CC)基本能达到0.99，说明本发明方法提出的率失真模型具有较高的精度。

采用本发明方法来确立对彩色视频和深度视频编码的最佳初始编码量化参数，采用四组不同的总码率R_c进行编码实验，R_c∈{10000kbps，5000kbps，2000kbps，500kbps}，结果如表3所示。采用本发明方法确立的最佳初始编码量化参数与采用穷尽搜索方法确立的最佳初始编码量化参数非常相近，但计算复杂度却远远小于全搜索方法，足以说明本发明方法提出的率失真模型是有效的。

将采用本发明方法的虚拟视点绘制性能，与采用原始固定码率比重方法的虚拟视点绘制性能进行比较，图10给出了“Altmoabit”经本发明方法绘制与经原始固定码率比重方法绘制的虚拟视点彩色视频图像的亮度分量Y的率失真性能曲线比较示意图，图11给出了“Bookarrival”经本发明方法绘制与经原始固定码率比重方法绘制的虚拟视点彩色视频图像的亮度分量Y的率失真性能曲线比较示意图，图12给出了“Doorflowers”经本发明方法绘制与经原始固定码率比重方法绘制的虚拟视点彩色视频图像的亮度分量Y的率失真性能曲线比较示意图，图13给出了“Leavelaptop”经本发明方法绘制与经原始固定码率比重方法绘制的虚拟视点彩色视频图像的亮度分量Y的率失真性能曲线比较示意图，从图10至图13可以看出，采用本发明方法处理后，大大提高了虚拟视点图像的绘制性能，说明本发明方法中建立的率失真模型是有效的。

表1 彩色视频与深度视频的编码量化步长与绘制失真的关系模型的模型参数

表2 彩色视频与深度视频的编码量化步长与码率的关系模型的模型参数

表3 本发明方法确立的对彩色视频和深度视频进行编码的最佳初始编码量化参数

Claims (5)

1.一种三维立体视频编码的率失真模型优化方法，其特征在于包括以下步骤：

①将外部立体视频捕获工具捕获得到的未经处理的且颜色空间为YUV的彩色立体视频及其对应的深度立体视频定义为原始三维立体视频，在空域上该原始三维立体视频包括原始左视点三维视频和原始右视点三维视频，原始左视点三维视频包括原始左视点彩色视频和原始左视点深度视频，原始左视点彩色视频主要由若干个帧组的原始左视点彩色图像组成，原始左视点深度视频主要由若干个帧组的原始左视点深度图像组成，原始右视点三维视频包括原始右视点彩色视频和原始右视点深度视频，原始右视点彩色视频主要由若干个帧组的原始右视点彩色图像组成，原始右视点深度视频主要由若干个帧组的原始右视点深度图像组成，其中，YUV颜色空间的三个颜色分量的第1个分量为亮度分量并记为Y、第2个分量为第一色度分量并记为U及第3个分量为第二色度分量并记为V；

将介于左视点与右视点之间的视点作为虚拟视点；

②建立对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的率失真模型，记为

以保证获得最优的编码性能和绘制质量，其中，min[ ]为取最小值函数，R_c表示预先设定的对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的总码率，R_t表示对原始左视点彩色视频、原始右视点彩色视频进行编码的码率，R_d表示对原始左视点深度视频、原始右视点深度视频进行编码的码率，D_v(R_t，R_d)表示对以码率R_t分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和以码率R_d分别对对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制的绘制失真；

③将D_v(R_t，R_d)近似表示为： $D_v(R_t,R_d)\≅D_t\left(R_t\right)+D_d\left(R_d\right),$ 其中，D_t(R_t)表示对以码率R_t分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和对应的原始左视点深度视频、原始右视点深度视频进行虚拟视点图像绘制的绘制失真，D_d(R_d)表示对原始左视点彩色视频、原始右视点彩色视频和以码率R_d分别对对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制的绘制失真；

④通过二次拟合方法建立对原始左视点彩色视频、原始右视点彩色视频进行编码的编码量化步长TQ_step与D_t(R_t)的关系模型，记为 $D_t\left(R_t\right)\≅{\mathrm{\α}}_t\×{\left({\mathrm{TQ}}_{\mathrm{step}}\right)}^2+{\mathrm{\β}}_t\×\left({\mathrm{TQ}}_{\mathrm{step}}\right)+{\mathrm{\γ}}_t,$ 通过二次拟合方法建立对原始左视点深度视频、原始右视点深度视频进行编码的编码量化步长DQ_step与D_d(R_d)的关系模型，记为 $D_d\left(R_d\right)\≅{\mathrm{\α}}_d\×{\left({\mathrm{DQ}}_{\mathrm{step}}\right)}^2+{\mathrm{\β}}_d\×\left({\mathrm{DQ}}_{\mathrm{step}}\right)+{\mathrm{\γ}}_d,$ 其中，α_t、β_t和γ_t均为 $D_t\left(R_t\right)\≅{\mathrm{\α}}_t\×{\left({\mathrm{TQ}}_{\mathrm{step}}\right)}^2+{\mathrm{\β}}_t\×\left({\mathrm{TQ}}_{\mathrm{step}}\right)+{\mathrm{\γ}}_t$ 中的模型参数，α_d、β_d和γ_d均为 $D_d\left(R_d\right)\≅{\mathrm{\α}}_d\×{\left({\mathrm{DQ}}_{\mathrm{step}}\right)}^2+{\mathrm{\β}}_d\×\left({\mathrm{DQ}}_{\mathrm{step}}\right)+{\mathrm{\γ}}_d$ 中的模型参数；

⑤通过二次拟合方法建立对原始左视点彩色视频、原始右视点彩色视频进行编码的编码量化步长TQ_step与R_t的关系模型，记为 $R_t\≅a_t\×{(1/{\mathrm{TQ}}_{\mathrm{step}})}^2+b_t\×(1/{\mathrm{TQ}}_{\mathrm{step}})+c_t,$ 通过二次拟合方法建立对原始左视点深度视频、原始右视点深度视频进行编码的编码量化步长DQ_step与R_d的关系模型，记为 $R_d\≅a_d\×{(1/{\mathrm{DQ}}_{\mathrm{step}})}^2+b_d\×(1/{\mathrm{DQ}}_{\mathrm{step}})+c_d,$ 其中，a_t、b_t和c_t均为 $R_t\≅a_t\×{(1/{\mathrm{TQ}}_{\mathrm{step}})}^2+b_t\×(1/{\mathrm{TQ}}_{\mathrm{step}})+c_t$ 中的模型参数，a_d、b_d和c_d均为 $R_d\≅a_d\×{(1/{\mathrm{DQ}}_{\mathrm{step}})}^2+b_d\×(1/{\mathrm{DQ}}_{\mathrm{step}})+c_d$ 中的模型参数；

⑥根据TQ_step与D_t(R_t)的关系模型、DQ_step与D_d(R_d)的关系模型、TQ_step与R_t的关系模型及DQ_step与R_d的关系模型，对率失真模型

进行优化，将优化后的率失真模型表示为： $\min \underset{s.t.a_t\×{(1/T{Q}_{\mathrm{step}})}^2+b_t\×(1/{\mathrm{TQ}}_{\mathrm{step}})+c_t+a_d\×{(1/{\mathrm{DQ}}_{\mathrm{step}})}^2+b_d\×(1/{\mathrm{DQ}}_{\mathrm{step}})+c_d\≤R_c}{[{\mathrm{\α}}_t\×{\left({\mathrm{TQ}}_{\mathrm{step}}\right)}^2+{\mathrm{\β}}_t\×\left({\mathrm{TQ}}_{\mathrm{step}}\right)+{\mathrm{\γ}}_t+{\mathrm{\α}}_d\×{\left({\mathrm{DQ}}_{\mathrm{step}}\right)}^2+{\mathrm{\β}}_d\×\left({\mathrm{DQ}}_{\mathrm{step}}\right)+{\mathrm{\γ}}_d]};$

⑦根据优化后的率失真模型 $\min \underset{s.t.a_t\×{(1/T{Q}_{\mathrm{step}})}^2+b_t\×(1/{\mathrm{TQ}}_{\mathrm{step}})+c_t+a_d\×{(1/{\mathrm{DQ}}_{\mathrm{step}})}^2+b_d\×(1/{\mathrm{DQ}}_{\mathrm{step}})+c_d\≤R_c}{[{\mathrm{\α}}_t\×{\left({\mathrm{TQ}}_{\mathrm{step}}\right)}^2+{\mathrm{\β}}_t\×\left({\mathrm{TQ}}_{\mathrm{step}}\right)+{\mathrm{\γ}}_t+{\mathrm{\α}}_d\×{\left({\mathrm{DQ}}_{\mathrm{step}}\right)}^2+{\mathrm{\β}}_d\×\left({\mathrm{DQ}}_{\mathrm{step}}\right)+{\mathrm{\γ}}_d]},$ 通过全搜索方法获取对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的最佳初始编码量化步长，将对原始左视点彩色视频、原始右视点彩色视频进行编码的最佳初始编码量化步长记为

将对原始左视点深度视频、原始右视点深度视频进行编码的编码量化步长记为

⑧根据对原始左视点彩色视频、原始右视点彩色视频进行编码的最佳初始编码量化步长

计算对原始左视点彩色视频、原始右视点彩色视频进行编码的最佳初始编码量化参数，记为 ${\mathrm{QP}}_t^{\mathrm{opt}}=6\×{\log }_2^{{\mathrm{TQ}}_{\mathrm{step}}^{\mathrm{opt}}}+4;$ 根据设定的立体视频编码预测结构，采用最佳初始编码量化参数分别对原始左视点彩色视频的各个帧组中的各个原始左视点彩色图像及原始右视点彩色视频的各个帧组中的各个原始右视点彩色图像的亮度分量Y、第一色度分量U和第二色度分量V进行编码，得到左视点彩色视频的编码码流和右视点彩色视频的编码码流，然后服务端通过网络将左视点彩色视频的编码码流和右视点彩色视频的编码码流传输给用户端；

⑨根据对原始左视点深度视频、原始右视点深度视频进行编码的最佳初始编码量化步长

计算对原始左视点深度视频、原始右视点深度视频进行编码的最佳初始编码量化参数，记为

${\mathrm{QP}}_d^{\mathrm{opt}}=6\×{\log }_2^{{\mathrm{DQ}}_{\mathrm{step}}^{\mathrm{opt}}}+4;$ 根据设定的立体视频编码预测结构，采用最佳初始编码量化参数

分别对原始左视点深度视频的各个帧组中的各个原始左视点深度图像及原始右视点深度视频的各个帧组中的各个原始右视点深度图像进行编码，得到左视点深度视频的编码码流和右视点深度视频的编码码流，然后服务端通过网络将左视点深度视频的编码码流和右视点深度视频的编码码流传输给用户端；

⑩用户端分别对服务端发送来的左视点彩色视频的编码码流、右视点彩色视频的编码码流、左视点深度视频的编码码流和右视点深度视频的编码码流进行解码，得到左视点的彩色视频数据、右视点的彩色视频数据、左视点的深度视频数据和右视点的深度视频数据信息，然后采用基于深度图像的绘制得到各个时刻的虚拟视点视频。

2.根据权利要求1所述的一种三维立体视频编码的率失真模型优化方法，其特征在于所述的步骤③的具体过程为：

③-1、假定S_v表示由原始左视点彩色图像、原始右视点彩色图像和对应的原始左视点深度图像、原始右视点深度图像进行虚拟视点图像绘制得到的虚拟视点图像，表示由以码率R_t分别对原始左视点彩色图像、原始右视点彩色图像进行编码得到的解码左视点彩色图像、解码右视点彩色图像和以码率R_d分别对对应的原始左视点深度图像、原始右视点深度图像进行编码得到的解码左视点深度图像、解码右视点深度图像进行虚拟视点图像绘制得到的虚拟视点图像，

表示由以码率R_t分别对原始左视点彩色图像、原始右视点彩色图像进行编码得到的解码左视点彩色图像、解码右视点彩色图像和对应的原始左视点深度图像、原始右视点深度图像进行虚拟视点图像绘制得到的虚拟视点图像，

表示由原始左视点彩色图像、原始右视点彩色图像和以码率R_d分别对对应的原始左视点深度图像、原始右视点深度图像进行编码得到的解码左视点深度图像、解码右视点深度图像进行虚拟视点图像绘制得到的虚拟视点图像，则将D_v(R_t，R_d)表示为： $D_v(R_t,R_d)=E\left\{{(S_v-{\hat{S}}_v)}^2\right\}=E\left\{{(S_v-{\stackrel{\‾}{S}}_v+{\stackrel{\‾}{S}}_v-{\hat{S}}_v)}^2\right\},$ 其中，

表示求

的数学期望值；

③-2通过多项式分解将表示为： $E\left\{{(S_v-{\hat{S}}_v)}^2\right\}=E\left\{{(S_v-{\stackrel{\‾}{S}}_v)}^2\right\}+E\left\{{({\stackrel{\‾}{S}}_v-{\hat{S}}_v)}^2\right\}+2\×E\left\{(S_v-{\stackrel{\‾}{S}}_v)({\stackrel{\‾}{S}}_v-{\hat{S}}_v)\right\},$ 其中，

表示求

的数学期望值，

表示求

的数学期望值，表示求

的数学期望值；

③-3、根据 $E\left\{(S_v-{\stackrel{\‾}{S}}_v)({\stackrel{\‾}{S}}_v-{\hat{S}}_v)\right\}\≅0$ 且 $E\left\{{({\stackrel{\‾}{S}}_v-{\hat{S}}_v)}^2\right\}\≅E\left\{{(S_v-{\tilde{S}}_v)}^2\right\},$ 将D_v(R_t，R_d)近似表示为： $D_v(R_t,R_d)\≅E\left\{{(S_v-{\stackrel{\‾}{S}}_v)}^2\right\}+E\left\{{(S_v-{\tilde{S}}_v)}^2\right\},$ 其中，

表示求

的数学期望值；

③-4、将表示为对以码率R_t分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和对应的原始左视点深度视频、原始右视点深度视频进行虚拟视点图像绘制的绘制失真，记为D_t(R_t)，将

表示为对原始左视点彩色视频、原始右视点彩色视频和以码率R_d分别对对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制的绘制失真，记为D_d(R_d)，根据 $E\left\{{(S_v-{\tilde{S}}_v)}^2\right\}=D_t\left(R_t\right)$ 和 $E\left\{{(S_v-{\stackrel{\‾}{S}}_v)}^2\right\}=D_d\left(R_d\right),$ 将D_v(R_t，R_d)近似表示为： $D_v(R_t,R_d)\≅D_t\left(R_t\right)+D_d\left(R_d\right).$

3.根据权利要求1或2所述的一种三维立体视频编码的率失真模型优化方法，其特征在于所述的步骤④的具体过程为：

④-1、任取一个不大于44的编码量化参数作为原始左视点彩色视频、原始右视点彩色视频的编码量化参数，记为QP_t0，得到以该编码量化参数QP_t0对原始左视点彩色视频、原始右视点彩色视频进行编码的平均码率，记为R_t0，将由原始左视点彩色视频、原始右视点彩色视频和对应的原始左视点深度视频、原始右视点深度视频进行虚拟视点图像绘制得到的虚拟视点视频记为

将由以编码量化参数QP_t0分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和对应的原始左视点深度视频、原始右视点深度视频进行虚拟视点图像绘制得到的虚拟视点视频记为I_v(QP_t0)，计算

与I_V(QP_t0)的均方差，作为对以编码量化参数QP_t0分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和对应的原始左视点深度视频、原始右视点深度视频进行虚拟视点图像绘制的绘制失真，记为D_t0；

④-2、选取N个大于QP_t0且各不相同的编码量化参数，分别记为QP_t1，…，QP_ti，…，QP_tN，采用该N个不同的编码量化参数QP_t1，…，QP_ti，…，QP_tN分别对原始左视点彩色视频、原始右视点彩色视频进行编码，分别得到以该N个不同的编码量化参数对原始左视点彩色视频、原始右视点彩色视频进行编码的平均码率，对应的分别记为R_t1，…，R_ti，…，R_tN，计算得到由以该N个不同的编码量化参数分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和对应的原始左视点深度视频、原始右视点深度视频进行虚拟视点图像绘制的绘制失真，对应的分别记为D_t1，…，D_ti，…，D_tN，其中，1≤i≤N，QP_ti＝QP_t0+i；

④-3、将由R_t0和R_t1，…，R_ti，…，R_tN组成的对原始左视点彩色视频、原始右视点彩色视频进行编码的平均码率集合记为{R_tj|0≤j≤N}，根据由QP_t0和QP_t1，…，QP_ti，…，QP_tN组成的对原始左视点彩色视频、原始右视点彩色视频进行编码的编码量化参数集合{QP_tj|0≤j≤N}及由D_t0和D_t1，…，D_ti，…，D_tN组成的绘制失真集合{D_tj|0≤j≤N}，通过二次拟合方法建立对原始左视点彩色视频、原始右视点彩色视频进行编码的编码量化步长TQ_step与对以采用{QP_tj|0≤j≤N}中的各个编码量化参数分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频与对应的原始左视点深度视频、原始右视点深度视频进行虚拟视点图像绘制的绘制失真集合{D_tj|0≤j≤N}中的任意一个绘制失真D_t的关系模型，记为 $D_t\left(R_t\right)\≅{\mathrm{\α}}_t\×{\left({\mathrm{TQ}}_{\mathrm{step}}\right)}^2+{\mathrm{\β}}_t\×\left({\mathrm{TQ}}_{\mathrm{step}}\right)+{\mathrm{\γ}}_t,$ 其中， ${\mathrm{TQ}}_{\mathrm{step}}=2^{(Q{P}_t-4)/6},$ R_t表示{R_tj|0≤j≤N}中的任意一个平均码率，QP_t表示{QP_tj|0≤j≤N}中的任意一个编码量化参数，α_t、β_t和γ_t均为模型参数；

④-4、任取一个不大于44的编码量化参数作为原始左视点深度视频、原始右视点深度视频的编码量化参数，记为QP_d0，得到以该编码量化参数QP_t0对原始左视点深度视频、原始右视点深度视频进行编码的平均码率，记为R_d0，将由原始左视点彩色视频、原始右视点彩色视频和以编码量化参数QP_d0分别对对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制得到的虚拟视点视频记为I_v(QP_d0)，计算

与I_v(QP_d0)的均方差，作为对原始左视点彩色视频、原始右视点彩色视频和以编码量化参数QP_d0分别对对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制的绘制失真，记为D_d0；

④-5、选取N个大于QP_d0且各不相同的编码量化参数，分别记为QP_d1，…，QP_di，…，QP_dN，采用该N个不同的编码量化参数QP_d1，…，QP_di，…，QP_dN分别对原始左视点深度视频、原始右视点深度视频进行编码，分别得到以该N个不同的编码量化参数对原始左视点深度视频、原始右视点深度视频进行编码的平均码率，对应的分别记为R_d1，…，R_di，…，R_dN，计算得到由原始左视点彩色视频、原始右视点彩色视频和以该N个不同的编码量化参数分别对对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制的绘制失真，对应的分别记为D_d1，…，D_di，…，D_dN，其中，1≤i≤N，QP_di＝QP_d0+i；

④-6、将由R_d0和R_d1，…，R_di，…，R_dN组成的对原始左视点深度视频、原始右视点深度视频进行编码的平均码率集合记为{R_dj|0≤j≤N}，根据由QP_d0和QP_d1，…，QP_di，…，QP_dN组成的对原始左视点深度视频、原始右视点深度视频进行编码的编码量化参数集合{QP_dj|0≤j≤N}及由D_d0和D_d1，…，D_di，…，D_dN组成的绘制失真集合{D_dj|0≤j≤N}，通过二次拟合方法建立对原始左视点深度视频、原始右视点深度视频进行编码的编码量化步长DQ_step与对原始左视点彩色视频、原始右视点彩色视频与以采用{QP_dj|0≤j≤N}中的各个编码量化参数分别对对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制的绘制失真集合{D_dj|0≤j≤N}中的任意一个绘制失真D_d的关系模型，记为 $D_d\left(R_d\right)\≅{\mathrm{\α}}_d\×{\left({\mathrm{DQ}}_{\mathrm{step}}\right)}^2+{\mathrm{\β}}_d\×\left({\mathrm{DQ}}_{\mathrm{step}}\right)+{\mathrm{\γ}}_d,$ 其中， ${\mathrm{DQ}}_{\mathrm{step}}=2^{(Q{P}_d-4)/6},$ R_d表示{R_dj|0≤j≤N}中的任意一个平均码率，QP_d表示{QP_dj|0≤j≤N}中的任意一个编码量化参数，α_d、β_d和γ_d均为模型参数。

4.根据权利要求3所述的一种三维立体视频编码的率失真模型优化方法，其特征在于所述的步骤⑤的具体过程为：

⑤-1、根据对原始左视点彩色视频、原始右视点彩色视频进行编码的平均码率集合{R_tj|0≤j≤N}和对原始左视点彩色视频、原始右视点彩色视频进行编码的编码量化参数集合{QP_tj|0≤j≤N}，采用二次拟合方法建立对原始左视点彩色视频、原始右视点彩色视频进行编码的编码量化步长TQ_step与对原始左视点彩色视频、原始右视点彩色视频进行编码的平均码率集合{R_tj|0≤j≤N}中的任意一个码率R_t的关系模型，记为 $R_t\≅{\mathrm{\α}}_t\×{(1/{\mathrm{TQ}}_{\mathrm{step}})}^2+b_t\×(1/{\mathrm{TQ}}_{\mathrm{step}})+c_t,$ 其中， ${\mathrm{TQ}}_{\mathrm{step}}=2^{(Q{P}_t-4)/6},$ QP_t表示{QP_tj|0≤j≤N}中的任意一个编码量化参数，a_t、b_t和c_t均为模型参数；

⑤-2、根据对原始左视点深度视频、原始右视点深度视频进行编码的平均码率集合{R_dj|0≤j≤N}和对原始左视点深度视频、原始右视点深度视频进行编码的编码量化参数集合{QP_dj|0≤j≤N}，采用二次拟合方法建立对原始左视点深度视频、原始右视点深度视频进行编码的编码量化步长DQ_step与对原始左视点深度视频、原始右视点深度视频进行编码的平均码率集合{R_dj|0≤j≤N}中的任意一个码率R_d的关系模型，记为 $R_d\≅{\mathrm{\α}}_d\×{(1/{\mathrm{DQ}}_{\mathrm{step}})}^2+b_d\×(1/{\mathrm{DQ}}_{\mathrm{step}})+c_d,$ 其中， ${\mathrm{DQ}}_{\mathrm{step}}=2^{(Q{P}_d-4)/6},$ QP_d表示{QP_dj|0≤j≤N}中的任意一个编码量化参数，a_d、b_d和c_d均为模型参数。

5.根据权利要求4所述的一种三维立体视频编码的率失真模型优化方法，其特征在于所述的步骤⑦的具体过程为：

⑦-1、假定对原始左视点彩色视频、原始右视点彩色视频进行编码的码率占总码率R_c的最小比重为0.2，假定对原始左视点深度视频、原始右视点深度视频进行编码的码率占总码率R_c的最大比重为0.8，则根据对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的总码率R_c，计算对原始左视点深度视频、原始右视点深度视频进行编码的最小编码量化参数和最大编码量化参数，分别记为QP_d min和QP_d max， ${\mathrm{QP}}_{d\min }=6\×{\log }_2^{{\mathrm{DQ}}_{\mathrm{step}}^{\min }}+4,$ ${\mathrm{QP}}_{d\max }=6\×{\log }_2^{{\mathrm{DQ}}_{\mathrm{step}}^{\max }}+4,$ ${\mathrm{DQ}}_{\mathrm{step}}^{\min }=\frac{2\×a_d}{-b_d+\sqrt{{\left(b_d\right)}^2-4\×a_d\×(c_d-0.8\×R_c)}},$ ${\mathrm{DQ}}_{\mathrm{step}}^{\max }=\frac{2\×a_d}{-b_d+\sqrt{{\left(b_d\right)}^2-4\×a_d\×(c_d-0.2\×R_c)}},$ 其中，a_d、b_d和c_d均为 $R_d\≅a_d\×{(1/{\mathrm{DQ}}_{\mathrm{step}})}^2+b_d\×(1/{\mathrm{DQ}}_{\mathrm{step}})+c_d$ 中的模型参数；

⑦-2、将对原始左视点深度视频、原始右视点深度视频进行编码的编码量化参数集合记为Ω，Ω＝{QP_d|QP_d min≤QP_d≤QP_d max}，QP_d∈Ω，然后从对原始左视点深度视频、原始右视点深度视频进行编码的编码量化参数集合Ω中任取一个编码量化参数，记为QP_d′，QP_d′∈Ω；

⑦-3、根据任取的编码量化参数QP_d′计算对原始左视点深度视频、原始右视点深度视频进行编码的平均码率，记为R_d′，R_d′＝a_d×(1/DQ_step′)²+b_d×(1/DQ_step′)+c_d， ${{\mathrm{DQ}}_{\mathrm{step}}}^{\′}=2^{({{\mathrm{QP}}_d}^{\′}-4)/6};$

⑦-4、根据对原始左视点深度视频、原始右视点深度视频进行编码的平均码率R_d′，计算对原始左视点彩色视频、原始右视点彩色视频进行编码的编码量化步长，记为TQ_step′， ${{\mathrm{TQ}}_{\mathrm{step}}}^{\′}=\frac{2\×a_t}{-b_t+\sqrt{{\left(b_t\right)}^2-4\×a_t\×(c_t-R_c+{R_d}^{\′})}};$

⑦-5、计算对以编码量化步长TQ_step′分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和以编码量化步长DQ_step′分别对原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制的绘制失真，记为COST′，COST′＝α_t×(TQ_step′)²+β_t×(TQ_step′)+γ_t+α_d×(DQ_step′)²+β_d×(DQ_step′)+γ_d，其中，α_t、β_t和γ_t均为 $D_t\left(R_t\right)\≅{\mathrm{\α}}_t\×{\left({\mathrm{TQ}}_{\mathrm{step}}\right)}^2+{\mathrm{\β}}_t\×\left({\mathrm{TQ}}_{\mathrm{step}}\right)+{\mathrm{\γ}}_t$ 中的模型参数，α_d、β_d和γ_d均为 $D_d\left(R_d\right)\≅{\mathrm{\α}}_d\×{\left({\mathrm{DQ}}_{\mathrm{step}}\right)}^2+{\mathrm{\β}}_d\×\left({\mathrm{DQ}}_{\mathrm{step}}\right)+{\mathrm{\γ}}_d$ 中的模型参数；

⑦-6、从对原始左视点深度视频、原始右视点深度视频进行编码的编码量化参数集合Ω中任取n个值不等于QP_d′且各不相同的编码量化参数，分别记任取的n个编码量化参数为QP″_d1，…，QP″_di，…，QP″_dn；然后从任取的n个编码量化参数中的第1个编码量化参数QP″_d1开始，重复采用与步骤⑦-3至⑦-5相同的操作处理，直至获得任取的n个编码量化参数对应的绘制失真，分别记为COST″₁，…，COST″_i，…，COST″_n，其中，2≤n≤QP_d max-QP_d min-1，1≤i≤n，QP″_d1表示任取的n个编码量化参数中的第1个编码量化参数，QP″_di表示任取的n个编码量化参数中的第i个编码量化参数，QP″_dn表示任取的n个编码量化参数中的第n个编码量化参数，COST″₁表示QP″_d1对应的绘制失真，COST″_i表示QP″_di对应的绘制失真，COST″_n表示QP″_dn对应的绘制失真；

⑦-7、从COST′和{COST″₁，…，COST″_i，…，COST″_n}中找出值最小的绘制失真，记为COST_min，再将COST_min对应的对原始左视点彩色视频、原始右视点彩色视频进行编码的编码量化步长作为对原始左视点彩色视频、原始右视点彩色视频进行编码的最佳初始编码量化步长，记为

将COST_min对应的对原始左视点深度视频、原始右视点深度视频进行编码的编码量化步长作为对原始左视点深度视频、原始右视点深度视频进行编码的最佳初始编码量化步长，记为

Images