CN105049866B - 基于绘制失真模型的多视点加深度编码的码率分配方法 - Google Patents

Abstract

为了解决纹理视频和深度图联合编码的优化码率分配问题，本发明公开了一种基于绘制失真模型的多视点加深度编码的码率分配方法，其步骤是：建立虚拟视点总失真模型框架；计算左右视点绘制失真；研究加入深度敏感值的绘制失真，建立引入深度误差的几何误差模型；建立加入遮挡区域的失真模型；建立引入纹理视频误差的几何误差模型；求出整体视点绘制失真模型误差；得到基于视点绘制失真模型的码率分配方法。本发明用纹理视频差别和深度图差别来估计虚拟视点绘制失真，可用来优化纹理视频和深度图的码率分配，从而优化视点绘制质量；由于在视点间进行了合理的比特分配，其视点编码图像的质量均衡性较好，具有实际操作性，便于应用实现。

Description

基于绘制失真模型的多视点加深度编码的码率分配方法

技术领域

本发明属于三维视频编码的技术领域，具体涉及的是一种视频编码的码率分配方法，特别是一种基于绘制失真模型的多视点视频加深度编码的码率分配方法。

背景技术

随着多视点系统和3D显示技术的发展，新的3D视频格式——多视点视频加深度(MVD)应用，如3D电视(3DTV)和自由视点电视日益引人关注。与传统2D视频相比，MVD合成了纹理视频和相应深度图，能够使人们在观看视频时获得丰富的立体感和沉浸感；此外，它的交互功能可以从不同视角提供不同的立体效果，使用基于深度图的视点合成技术(DIBR)生成任意位置的虚拟视点。为了绘制新的视点图像，必须同时传输深度图和纹理视频。由于涉及的数据量巨大，纹理视频和深度图都应该在传输前进行压缩，可采用联合编码或独立编码方式来压缩纹理视频和深度图像，解码后的纹理视频和相应深度图像能够在接收端合成虚拟视点。因此，如何对MVD数据进行高效压缩关系到传输性能和绘制质量，是3D视频编码标准研究的一个重要问题。

目前，独立压缩纹理视频和深度图已经有许多成熟的技术，能够取得纹理视频和深度图的高压缩比率。而MVD联合编码中，固定纹理视频和深度图的整体码率，不同的码率分配对视点绘制质量有重要影响。为了解决纹理视频和深度图联合编码的优化码率分配问题，提出了一些技术，但现有技术并没有融合纹理视频压缩和深度图压缩，不能完全反映虚拟视点绘制过程，相应的码率分配性能也不尽如人意，从而影响了虚拟视点绘制质量。因此，如何优化纹理视频和深度图间的码率分配，最小化视点绘制失真是一个有待解决的关键问题。

发明内容

为了解决以上现有技术存在的问题和不足，本发明提供了一种基于视点绘制失真模型的多视点加深度编码的码率分配方法，能够估计视点绘制失真的失真模型，综合考虑深度误差敏感度和遮挡处理，从而降低复杂度、提升编码效率；基于失真模型提出一种码率分配算法，在给定比率限制下优化纹理视频和深度图的量化参数，进而高效解决MVD编码中的码率分配问题。

为了达到上述目的，本发明的构思是：首先推导编码的纹理/深度失真和绘制视点间的关系；然后，建立估计视点合成失真的模型，在此基础上，提出可优化纹理视频和深度图比率的码率分配方法。根据上述构思，本发明的技术方案是：一种基于视点绘制失真模型的多视点视频加深度编码的优化码率分配方法，推导编码的纹理、深度失真和绘制视点间的关系，建立虚拟视点合成失真的模型，然后提出可优化纹理视频和深度图比率的码率分配方法，其步骤如下：

(1)、建立虚拟视点总失真模型，包括深度图编码误差和纹理视频编码误差造成的视点绘制失真；

(2)、计算左右视点绘制失真；

(3)、加入深度敏感值的绘制失真，建立引入深度误差的几何误差模型；

(4)、建立加入遮挡区域的失真模型；

(5)、建立引入纹理视频误差的几何误差模型；

(6)、根据步骤(4)和步骤(5)求出整体视点绘制失真模型误差；

(7)、得到基于视点绘制失真模型的码率分配方法。

所述建立虚拟视点总失真模型是得到一个纹理视频压缩和深度图压缩的视点绘制失真模型的数学表达式，具体方法是：虚拟视点绘制失真D_v为：

其中，I_v表示由未压缩的纹理视频和未压缩的深度图绘制的虚拟视点，表示由未压缩的纹理视频和压缩过的深度图绘制的虚拟视点，表示由压缩过的纹理视频和压缩过的深度图绘制的虚拟视点；表示由深度图编码误差造成的视点绘制失真，表示由纹理视频编码误差造成的视点绘制失真，且

所述计算左右视点绘制失真的具体步骤是：

(2-1)、考虑遮挡影响的虚拟视点绘制

考虑遮挡的影响，虚拟视点图像像素(x_V,y_V)处的像素值I_v(x_V,y_V)表示为：

其中，I_L(x_L,y_L)和I_R(x_R,y_R)分别表示两个邻近相机的左、右参考图像，(x_L,y_L)和(x_R,y_R)分别是虚拟视点图像像素(x_V,y_V)在由左、右参考图像分别生成的目标图像上的对应点；是权重因子，T_L、T_R和T_V分别是左参考、右参考和虚拟视点相机外参矩阵的平移向量；

(2-2)、根据虚拟视点图像像素值I_v(x_V,y_V)，深度图编码误差造成的视点绘制失真表示为：

其中，和分别表示编码深度图的左右参考图像；

(2-3)、针对不同视点，深度图编码引起的虚拟视点绘制失真没有相关性，和相互独立，则深度图编码误差造成的视点视频加深度为：

其中，表示深度图编码导致的左纹理视频失真 表示深度图编码导致的右纹理视频失真

所述引入深度误差引起的几何误差模型的具体步骤是：

(3-1)、深度编码误差引起视点绘制失真，深度失真和合成视点的绘制失真呈线性关系，则深度图编码导致的左、右纹理视频失真和可表示为：

D_vd＝||Δp′||²·ψ (5)

ψ表示与绘制虚拟视点内容相关的运动敏感因子，Δp′指绘制位置误差，Δp′(Δx_v,Δy_v)＝k·Δv_r(x_r,y_r)；其中，Δx_v和Δy_v分别是绘制视点图像在坐标(x，y)上横轴方向和纵轴方向的几何误差，Δv_r(x_r,y_r)指参考视点深度编码后误差；比例因子k由相机参数和深度范围来确定，相同数量的深度误差会导致不同数量的绘制失真，即其中，Z_near和Z_far是来自摄像机场景中最近和最远截面的深度值，分别对应深度图v中255和0的深度值；A_v是虚拟视点摄像机的内参矩阵；R_v是虚拟视点摄像机的旋转矩阵；

(3-2)、使用与深度图一致的属于相同视点的参考纹理图像，绘制位置误差Δp′(Δx_v,Δy_v)进一步改进为：

Δp′(Δx_v,Δy_v)＝k·Δv_r(x_r,y_r)·δ (6)

其中，δ表示深度误差敏感度；

(3-3)、深度图编码误差造成的视点绘制失真改写为:

其中，k_L和k_R表示左参考和右参考摄像机参数，Δv_L(x_L,y_L)和Δv_R(x_R,y_R)表示左参考和右参考摄像机失真变量，ψ_L和ψ_R表示左参考和右参考摄像机的运动敏感因子，δ_L和δ_R分别表示左参考和右参考摄像机的深度误差敏感度。

所述建立加入遮挡区域的失真模型的具体步骤是：

(4-1)、加入遮挡区域，调整深度图编码误差造成的视点绘制失真为：

其中，D_o指由填补绘制虚拟视点的遮挡区域引起的绘制失真；

(4-2)、假定像素i_o在遮挡区域的遮挡绘制失真为根据空洞填补方法，像素i_o的填补值为H(i_o)，则绘制失真计算如下：

其中，V(i_o)表示虚拟纹理图像中像素i_o的亮度值；

(4-3)、填补遮挡区域导致的绘制失真D_o，为：

所述建立引入纹理视频误差引起的几何误差模型的具体步骤是：

(5-1)、纹理视频编码误差造成的视点绘制失真表示为：

其中，和分别表示纹理视频编码造成的左摄像机编码失真和右摄像机编码失真

(5-2)、纹理视频编码造成的编码失真和是遵循左右摄像机的线性组合，表示为：

D_vt＝||Δt||²·ψ (12)

其中，Δt是纹理视频编码的绘制位置误差；

(5-3)、纹理视频编码误差造成的视点绘制失真改写如下：

其中，Δt_L表示纹理视频编码的左绘制位置误差，Δt_R表示为纹理视频编码的右绘制位置误差。

所述整体视点绘制失真模型误差包括：加入遮挡区域的深度误差失真模型和引入纹理视频误差的几何误差模型，为：

所述基于视点绘制失真模型的码率分配方法的具体步骤为：给定总比特率约束R_c，寻求纹理视频和深度图编码的最优量化参数使得视点绘制失真D_v(Q_t,Q_d)最小化，优化码率分配问题描述如下：

其中，R_t和R_d分别表示纹理视频和深度图的编码码率，Q_t和Q_d分别表示纹理视频和深度图的测试量化参数，和分别表示纹理视频和深度图的优化量化参数，Q是纹理视频和深度图的候选量化参数设置集合，求解的具体计算步骤为：

(7-1)为了得到高质量的纹理视频，纹理视频的编码码率应大于给定阈值R_min，R_min设置为R_c/2；

(7-2)纹理视频的编码码率R_t和深度图的编码码率R_d分别依赖于纹理视频和深度图的量化参数，优化码率分配问题转换为纹理视频测试量化参数Q_t和深度图测试量化参数Q_d的优化问题；寻找视点绘制失真和纹理视频及深度图编码的量化误差之间的关系，提出的视点绘制失真模型中，纹理视频编码的绘制位置误差Δt通过纹理视频压缩前后的不同来计算，而深度编码后误差Δv则通过深度图压缩前后的不同来计算。

纹理视频编码应用中，纹理视频编码的绘制位置误差Δt和候选量化参数设置集合Q_t近似为线性关系，表述为：

Δt＝α_tQ_t+β_t (16)

其中，α_t和β_t分别表示两个纹理视频模型的参数；

(7-3)深度图编码中的参考视点深度编码后误差Δv由深度压缩决定，参考视点深度编码后误差Δv和深度图测试量化参数Q_d近似为线性关系，Δv-Q_d模型表达如下：

Δv＝α_dQ_d+β_d (17)

其中，α_d和β_d分别是两个深度图模型的参数；

(7-4)码率R_t与量化参数的倒数1/Q_t近似呈线性关系，R_t-Q_t模型表示如下：

其中，ω_t和ξ_t分别是另两个纹理视频模型的参数；

(7-5)深度图的编码码率R_d和1/Q_d也近似为线性关系，R_d-Q_d模型表示为：

其中，ω_d和ξ_d是另两个深度图的模型参数；

优化码率分配问题转换为约束优化问题，限制量化参数和范围，执行简单搜索，得出最小视点绘制失真代价，能精确计算纹理视频和深度图编码的最优量化参数

与已有技术相比较，本发明具有如下显而易见的实质性突出特点和显著优点：提出的视点绘制失真模型只需用纹理视频差别和深度图差别来估计虚拟视点绘制失真，可用来优化纹理视频和深度图的码率分配，从而优化视点绘制质量。本发明由于在视点间进行了合理的比特分配，其视点编码图像的质量均衡性较好，具有实际操作性，便于应用实现。

附图说明

图1本发明的流程图。

具体实施方式

本发明的一种基于视点绘制失真模型的多视点视频加深度编码的码率分配方法，如图1所示，首先推导编码的纹理/深度失真和绘制视点间的关系，然后建立虚拟视点总失真模型框架，包括深度图编码误差造成的视点绘制失真和纹理视频编码误差造成的视点绘制失真再计算左右视点绘制失真，之后引入深度误差引起的几何误差模型，改写深度图编码误差造成的视点绘制失真在此基础上加入遮挡处理，调整深度图编码误差造成的视点绘制失真模型同时引入纹理视频误差引起的几何误差模型，得到整体视点绘制误差，最后得到可优化纹理视频和深度图比率的码率分配方法。其步骤是：

(1)、建立虚拟视点总失真模型框架

纹理视频和深度图的有损编码导致编码误差，基于深度图的视点合成技术DIBR使用压缩过的纹理视频和深度图会产生失真，从而影响绘制的虚拟视点质量。即虚拟视点失真受两个因素的影响：纹理视频压缩失真和深度图压缩失真，因此，建立虚拟视点总失真模型的目标是得到一个纹理视频压缩和深度图压缩的视点绘制失真模型的数学表达式。

假定I_v表示由未压缩的纹理视频和未压缩的深度图绘制的虚拟视点，表示由未压缩的纹理视频和压缩过的深度图绘制的虚拟视点，表示由压缩过的纹理视频和压缩过的深度图绘制的虚拟视点。虚拟视点绘制失真D_v的模型描述如下：

其中，表示由深度图编码误差造成的视点绘制失真，表示由纹理视频编码误差造成的视点绘制失真，且

(2)、计算左右视点绘制失真

实际投影中，用左右两个参考相机图像合成视点，因此，整体视点绘制失真包含左视点绘制失真和右视点绘制失真，具体步骤为：

(2-1)、考虑遮挡影响的虚拟视点绘制

考虑遮挡的影响，虚拟视点图像坐标(x_V,y_V)处的像素值I_v(x_V,y_V)表示为：

其中，I_L(x_L,y_L)和I_R(x_R,y_R)分别表示两个邻近相机的左右参考图像，(x_L,y_L)和(x_R,y_R)分别是虚拟视点图像像素(x_V,y_V)在由左、右参考图像上生成的目标图像上的对应点；是权重因子，T_L、T_R和T_V分别是左参考、右参考和虚拟视点相机外参矩阵的平移向量。

(2-2)、根据虚拟视点图像像素值I_v(x_V,y_V)，深度图编码误差造成的视点绘制失真进一步表示为：

其中和分别表示编码深度图的左右参考图像。

(2-3)、多视点视频加深度MVD中，每个视点的纹理视频被独立捕捉，针对不同视点，深度图编码引起的虚拟视点绘制失真没有相关性，同时和相互独立，因此深度图编码误差造成的视点绘制失真改写为：

其中，和指量化深度图引起的视点绘制失真，表示深度图编码导致的左纹理视频失真 表示深度图编码导致的右纹理视频失真

(3)、建立引入深度误差引起的几何误差模型

(3-1)、深度编码误差引起视点绘制失真，深度失真和合成视点的绘制失真呈线性关系。将深度图编码导致的左、右纹理视频失真和表示为：

D_vd＝||Δp′||²·ψ (5)

其中，ψ表示与绘制虚拟视点内容相关的运动敏感因子，Δp′指绘制位置误差，Δp′(Δx_v,Δy_v)＝k·Δv_r(x_r,y_r)；其中，Δx_v和Δy_v分别是绘制视点图像在坐标(x，y)上横轴方向和纵轴方向的几何误差，Δv_r(x_r,y_r)指参考视点深度编码后误差；比例因子k由相机参数和深度范围来确定，相同数量的深度误差会导致不同数量的绘制失真，即其中，Z_near和Z_far是来自摄像机场景中最近和最远截面的深度值，分别对应深度图v中255和0的深度值；A_v是虚拟视点摄像机的内参矩阵；R_v是虚拟视点摄像机的旋转矩阵。

深度误差引起的包括几何误差在内的绘制失真可以由视频局部特征来决定，不同像素的深度误差对整体绘制失真有不同的影响，因此深度变化引起的绘制几何失真需要和视频局部特征联合考虑。

(3-2)、为了精确估计深度压缩误差引起的视点绘制失真，使用与深度图一致的属于相同视点的参考纹理图像，绘制位置误差Δp′(Δx_v,Δy_v)进一步改进为：

Δp′(Δx_v,Δy_v)＝k·Δv_r(x_r,y_r)·δ (6)

其中，δ表示深度误差敏感度，说明了根据绘制失真情况，像素与深度误差的敏感程度，高比率显示小的深度误差能导致视点绘制显著失真。因此，根据局部纹理图像结构自适应地确定δ。如果三个水平或垂直相邻像素的最大强度差值大于预定义阈值时，几何失真使用小的深度误差敏感值δ_Small。反之，垂直边界或清晰纹理区域的深度误差能显著影响绘制质量，因此使用大的深度误差敏感值δ_Large。其它情况下使用中等深度误差敏感值δ_Medium。一般地，δ_Small＝1、δ_Large＝3、δ_Medium＝2

(3-3)、深度图编码误差造成的视点绘制失真改写为：

其中，k_L和k_R表示左参考和右参考摄像机参数，Δv_L(x_L,y_L)和Δv_R(x_R,y_R)表示左参考和右参考摄像机失真变量，ψ_L和ψ_R表示左参考和右参考摄像机的运动敏感因子，δ_L和δ_R分别表示左参考和右参考摄像机的深度误差敏感度。式(7)表明由深度编码误差引起的视点绘制失真主要依赖于局部纹理特征和其深度误差，深度误差敏感值δ能区分弱纹理和复杂纹理区域，可通过为复杂纹理区分配更多码率，为弱纹理区域分配更少码率的方式，保证绘制视点质量。

(4)、建立加入遮挡区域的失真模型

(4-1)、视点变化使场景中景物前后遮挡关系发生变化，导致DIBR方法生成虚拟视点时会出现空洞和可视见性的问题。尽管遮挡区域的空洞不大(当前的多视点相机阵列基线很小，形成的遮挡区域很小，遮挡区域失真也很微弱)，增加遮挡处理，如果投影后像素和邻近视点被遮挡，该像素的深度值不如无遮挡区域的值重要，由此，调整深度图编码误差造成的视点绘制失真为：

其中，D_o指由填补绘制虚拟视点的遮挡区域引起的绘制失真。

(4-2)、假定像素i_o在遮挡区域的遮挡绘制失真为由位于i_o附近的无遮挡像素估计遮挡绘制失真根据空洞填补方法，像素i_o的填补值为H(i_o)，则绘制失真计算如下：

其中，V(i_o)表示虚拟纹理图像中像素i_o的亮度值。

(4-3)、填补遮挡区域导致的失真D_o为：

(5)、引入纹理视频误差引起的几何误差模型

(5-1)、纹理视频编码误差造成的视点绘制失真进一步表示为：

其中，和分别表示纹理视频编码造成的左摄像机和右摄像机编码失真

(5-2)、纹理视频编码造成的编码失真和是遵循左右摄像机的线性组合，表示为：

D_vt＝||Δt||²·ψ (12)

其中，Δt是纹理视频编码的绘制位置误差。

(5-3)、纹理视频编码误差造成的视点绘制失真改写如下：

其中，Δt_L表示纹理视频编码的左绘制位置误差，Δt_R表示为纹理视频编码的右绘制位置误差。

(6)、求出整体视点绘制失真模型误差

通过步骤(4-1)得到的式(8)和步骤(5-3)得到的式(13)，得到整体视点绘制误差D_v的表达式：

(7)、得到基于视点绘制失真模型的码率分配算法

MVD编码中，给定总比特率约束R_c，联合码率分配算法的目标寻求纹理视频和深度图编码的最优量化参数使得视点绘制失真D_v(Q_t,Q_d)最小化。优化码率分配问题描述如下：

其中，R_t和R_d分别表示纹理视频和深度图的编码码率，Q_t和Q_d分别表示纹理视频和深度图的测试量化参数，和分别表示纹理视频和深度图的优化量化参数，Q表示纹理视频和深度图的候选量化参数设置集合，具体计算步骤为：

(7-1)实际DIBR过程中，无论深度图质量如何，若纹理视频质量较低，最终绘制的虚拟视点质量也较差，因此，为了得到高质量的纹理视频，其码率应大于给定阈值R_min。又因深度图的码率总是小于纹理视频，因此R_min设置为R_c/2。

(7-2)纹理视频的编码码率R_t和深度图的编码码率R_d依赖于纹理视频和深度图的量化参数，优化码率分配问题转换为量化参数Q_t和Q_d的优化问题。目标是寻找视点绘制失真和纹理视频及深度图编码的量化误差之间的关系，提出的视点绘制失真模型中，Δt通过纹理视频压缩前后的不同来计算，而Δv则通过深度图压缩前后的不同来计算。

纹理视频编码应用中，纹理视频编码的绘制位置误差Δt和纹理视频量化参数Q_t间近似为线性关系，表述为：

Δt＝α_tQ_t+β_t (16)

其中，α_t和β_t分别表示两个纹理视频模型的参数，取值依赖于编码结构和纹理视频内容。

(7-3)深度图编码中的Δv由深度压缩决定。固定纹理视频压缩质量时，随着Q_d的增加，Δv的绝对值也增加。统计结果显示Δv和Q_d也近似为线性关系，Δv-Q_d模型表达如下：

Δv＝α_dQ_d+β_d (17)

其中，α_d和β_d分别是两个深度图模型的参数，由编码结构和深度图内容决定。

(7-4)视频纹理编码应用中，纹理视频的编码码率R_t与量化参数的倒数1/Q_t近似呈线性关系，因此R_t-Q_t模型表示如下：

其中，ω_t和ξ_t分别是另两个纹理视频模型的参数。

(7-5)深度图的编码码率R_d和1/Q_d也近似为线性关系，R_d-Q_d模型表示为：

其中，ω_d和ξ_d是另两个深度图的模型参数。

优化码率分配问题转换为约束优化问题，限制量化参数和范围，执行简单搜索，得出最小视点绘制失真代价。通过以上方法，能精确计算纹理视频和深度图编码的最优量化参数

下面对几个多视点视频序列编码进行测试实验，以MVC参考软件联合多视点编码(JMVC Ver.8.2)为测试平台，表1给出测试数据参数，表2和表3给出本发明的结果。

测试序列：

采用MPEG 3DVC小组发布的8个多视点视频序列为实验序列，包括Kendo、Balloons、Lovebird1、Newspaper、Undo_Dancer、GT_Fly、Poznan_Street和Poznan_Hall2。

表1 测试序列信息

为了验证本发明所述方法的性能，将算法与现有方法进行比较。

表2给出了固定码率为5：1的不同码率分配算法编码性能比较，显示本发明所述的方法具有更好的性能，与现有算法(刘提出算法，Y.Liu,Q.Huang,S.Ma,D.Zhao,and W.Gao.“Joint video/depth rate allocation for 3-D video coding based on viewsynthesis distortion model,”Signal Process.:Image Commun.,vol.24,no.8,pp.666–681,Sep.2009.)相比，针对所有的测试序列，节约了6.28％的码率，PSNR增加0.298dB，编码率失真(rate-distortion，RD)性能优于现有算法。

使用全搜索算法来评估本文算法和现有码率分配算法的运行代价，表3显示本发明所述方法和现有算法相对于全搜索算法的平均编码时间百分比。本发明仅需全搜索算法时间成本的24.16％，能够显著节省运行时间，原因在于本发明极大地减少了纹理视频和深度图的压缩搜索范围，相对于现有算法，因在码率分配过程中可提前终止，节省了29.67％的运行时间。

表2 固定码率5：1的算法编码性能比较

表3 基于全搜索算法的运行代价比较

Claims (2)

1.一种基于绘制失真模型的多视点加深度编码的码率分配方法，其特征在于：推导编码的纹理、深度失真和绘制视点间的关系，建立虚拟视点合成失真的模型，然后提出可优化纹理视频和深度图比率的码率分配方法，其步骤如下：

(1)、建立虚拟视点总失真模型，包括深度图编码误差和纹理视频编码误差造成的视点绘制失真；

(2)、计算左右视点绘制失真；

(3)、加入深度敏感值的绘制失真，建立引入深度误差的几何误差模型；

(4)、建立加入遮挡区域的失真模型；

(5)、建立引入纹理视频误差的几何误差模型；

(6)、根据步骤(4)和步骤(5)求出整体视点绘制失真模型误差；

(7)、得到基于视点绘制失真模型的码率分配方法；

所述建立虚拟视点总失真模型是得到一个纹理视频压缩和深度图压缩的视点绘制失真模型的数学表达式，具体方法是：虚拟视点绘制失真D_v为：

其中，I_v表示由未压缩的纹理视频和未压缩的深度图绘制的虚拟视点，表示由未压缩的纹理视频和压缩过的深度图绘制的虚拟视点，表示由压缩过的纹理视频和压缩过的深度图绘制的虚拟视点；表示由深度图编码误差造成的视点绘制失真，表示由纹理视频编码误差造成的视点绘制失真，且

所述计算左右视点绘制失真的具体步骤是：

(2-1)、考虑遮挡影响的虚拟视点绘制

考虑遮挡的影响，虚拟视点图像像素(x_V,y_V)处的像素值I_v(x_V,y_V)表示为：

其中，I_L(x_L,y_L)和I_R(x_R,y_R)分别表示两个邻近相机的左、右参考图像，(x_L,y_L)和(x_R,y_R)分别是虚拟视点图像像素(x_V,y_V)在由左、右参考图像分别生成的目标图像上的对应点；是权重因子，T_L、T_R和T_V分别是左参考、右参考和虚拟视点相机外参矩阵的平移向量；

(2-2)、根据虚拟视点图像像素值I_v(x_V,y_V)，深度图编码误差造成的视点绘制失真表示为：

其中，和分别表示编码深度图的左右参考图像；

(2-3)、针对不同视点，深度图编码引起的虚拟视点绘制失真没有相关性，和相互独立，则深度图编码误差造成的视点视频加深度为：

其中，表示深度图编码导致的左纹理视频失真 表示深度图编码导致的右纹理视频失真

所述引入深度误差引起的几何误差模型的具体步骤是：

(3-1)、深度编码误差引起视点绘制失真，深度失真和合成视点的绘制失真呈线性关系，则深度图编码导致的左、右纹理视频失真和可表示为：

D_vd＝||Δp′||²·ψ (5)

ψ表示与绘制虚拟视点内容相关的运动敏感因子，Δp′指绘制位置误差，Δp′(Δx_v,Δy_v)＝k·Δv_r(x_r,y_r)；其中，Δx_v和Δy_v分别是绘制视点图像在坐标(x，y)上横轴方向和纵轴方向的几何误差，Δv_r(x_r,y_r)指参考视点深度编码后误差；比例因子k由相机参数和深度范围来确定，相同数量的深度误差会导致不同数量的绘制失真，即其中，Z_near和Z_far是来自摄像机场景中最近和最远截面的深度值，分别对应深度图v中255和0的深度值；A_v是虚拟视点摄像机的内参矩阵；R_v是虚拟视点摄像机的旋转矩阵；

(3-2)、使用与深度图一致的属于相同视点的参考纹理图像，绘制位置误差Δp′(Δx_v,Δy_v)进一步改进为：

Δp′(Δx_v,Δy_v)＝k·Δv_r(x_r,y_r)·δ (6)

其中，δ表示深度误差敏感度；

(3-3)、深度图编码误差造成的视点绘制失真改写为:

其中，k_L和k_R表示左参考和右参考摄像机参数，Δv_L(x_L,y_L)和Δv_R(x_R,y_R)表示左参考和右参考摄像机失真变量，ψ_L和ψ_R表示左参考和右参考摄像机的运动敏感因子，δ_L和δ_R分别表示左参考和右参考摄像机的深度误差敏感度；

所述建立加入遮挡区域的失真模型的具体步骤是：

(4-1)、加入遮挡区域，调整深度图编码误差造成的视点绘制失真为：

其中，D_o指由填补绘制虚拟视点的遮挡区域引起的绘制失真；

(4-2)、假定像素i_o在遮挡区域的遮挡绘制失真为根据空洞填补方法，像素i_o的填补值为H(i_o)，则绘制失真计算如下：

其中，V(i_o)表示虚拟纹理图像中像素i_o的亮度值；

(4-3)、填补遮挡区域导致的绘制失真D_o，为：

所述建立引入纹理视频误差引起的几何误差模型的具体步骤是：

(5-1)、纹理视频编码误差造成的视点绘制失真表示为：

其中，和分别表示纹理视频编码造成的左摄像机编码失真和右摄像机编码失真

(5-2)、纹理视频编码造成的编码失真和是遵循左右摄像机的线性组合，表示为：

D_vt＝||Δt||²·ψ (12)

其中，Δt是纹理视频编码的绘制位置误差；

(5-3)、纹理视频编码误差造成的视点绘制失真改写如下：

其中，Δt_L表示纹理视频编码的左绘制位置误差，Δt_R表示为纹理视频编码的右绘制位置误差；

所述整体视点绘制失真模型误差包括：加入遮挡区域的深度误差失真模型和引入纹理视频误差的几何误差模型为：

2.根据权利要求1所述的基于绘制失真模型的多视点加深度编码的码率分配方法，其特征在于，所述基于视点绘制失真模型的码率分配方法的具体步骤为：给定总比特率约束R_c，寻求纹理视频和深度图编码的最优量化参数使得视点绘制失真D_v(Q_t,Q_d)最小化，优化码率分配问题描述如下：

其中，R_t和R_d分别表示纹理视频和深度图的编码码率，Q_t和Q_d分别表示纹理视频和深度图的测试量化参数，和分别表示纹理视频和深度图的优化量化参数，Q是纹理视频和深度图的候选量化参数设置集合，求解的具体计算步骤为：

(7-1)为了得到高质量的纹理视频，纹理视频的编码码率应大于给定阈值R_min，R_min设置为R_c/2；

(7-2)纹理视频的编码码率R_t和深度图的编码码率R_d分别依赖于纹理视频和深度图的量化参数，优化码率分配问题转换为纹理视频测试量化参数Q_t和深度图测试量化参数Q_d的优化问题；寻找视点绘制失真和纹理视频及深度图编码的量化误差之间的关系，提出的视点绘制失真模型中，纹理视频编码的绘制位置误差Δt通过纹理视频压缩前后的不同来计算，而深度编码后误差Δv则通过深度图压缩前后的不同来计算；

纹理视频编码应用中，纹理视频编码的绘制位置误差Δt和候选量化参数设置集合Q_t近似为线性关系，表述为：

Δt＝α_tQ_t+β_t (16)

其中，α_t和β_t分别表示两个纹理视频模型的参数；

(7-3)深度图编码中的参考视点深度编码后误差Δv由深度压缩决定，参考视点深度编码后误差Δv和深度图测试量化参数Q_d近似为线性关系，Δv-Q_d模型表达如下：

Δv＝α_dQ_d+β_d (17)

其中，α_d和β_d分别是两个深度图模型的参数；

(7-4)码率R_t与量化参数的倒数1/Q_t近似呈线性关系，R_t-Q_t模型表示如下：

其中，ω_t和ξ_t分别是另两个纹理视频模型的参数；

(7-5)深度图的编码码率R_d和1/Q_d也近似为线性关系，R_d-Q_d模型表示为：

其中，ω_d和ξ_d是另两个深度图的模型参数；

优化码率分配问题转换为约束优化问题，限制量化参数和范围，执行简单搜索，得出最小视点绘制失真代价，能精确计算纹理视频和深度图编码的最优量化参数