CN104469336A - 多视点深度视频信号的编码方法 - Google Patents

Abstract

面向绘制冗余的低复杂度的多视点深度视频信号的编码方法，用于降低深度视频编码的计算复杂度，并提高虚拟视点质量与深度码率之间的整体性能。首先根据虚拟视点绘制特性，从而获取深度可容忍范围并计算出每个深度值对应的上下限最大差异，进而分析深度视频中的冗余信息。然后，提出快速参考帧选择方法即从列表中选择出最佳参考帧，再通过快速模式选择选择出最佳编码模式。每次进行快速模式选择之前均需先进行快速参考帧选择，并通过设定阈值T1和T2，使在视频失真较小时，终止模式和参考帧选择，从而降低计算复杂度，并提升压缩性能。

Description

多视点深度视频信号的编码方法

技术领域

本发明涉及视频信号的处理技术，尤其是涉及一种低复杂度的多视点深度视频信号的编码方法。

背景技术

三维视频能够提供真实的深度感知特性，交互性和全新的视觉享受，并能广泛应用于多种多媒体应用，如三维电视(Three Dimensional TV，3DTV)，自由视点电视(Free viewpoint TV，FTV)和沉浸式视频会议虚拟现实。多视点深度视频是三维视频的重要组成部分，主要提供三维视频的几何信息，并使得三维视频系统支持高质量和低复杂度的任意视点绘制。为了降低视频终端的复杂度，多视点深度视频并不是在客户端生成，而是在服务端生成，经过编码后传输至客户端解码使用。然而，由于多视点深度视频数据量巨大，并随着视点数的增加而增加。为了降低存储和传输带宽，高压缩效率且低复杂度的深度视频压缩算法就显得极为重要。

为了解决以上问题，多视点视频编码技术(Multiview Video Coding，MVC)及其优化方法可以扩展并使用与深度视频的编码。然而多视点深度与传统彩色视频具有不同的时间、空间以及频率的相关性。另一方面，深度视频作为虚拟视点绘制的几何信息使用，而非像彩色视频一样直接观看。所以直接使用传统多视点视频编码方法编码深度视频复杂且效率不佳。当前国际联合合作工作组(Joint Collaborative Team，JCT)建立了三维视频编码分组，即JCT-3V，主要从事高性能三维视频技术的研发工作。由此，越来越多的研究人员开始从事深度视频压缩与信号处理技术的研究。由于深度边缘区域对于虚拟视点图像质量尤为重要，因而提出了一种边缘重建滤波器，以保存重建深度视频中深度边缘的锐度。还有人提出了基于边缘自适应的上采样方法，并将其应用于降分辨率的深度视频编码方法中。另外，空间滤波器和时间平滑滤波器被提出并被用于抑制深度噪声和时域不一致性，并由此降低深度视频编码中对高频分量预测残差，提高压缩效率。还有提出的深度无误差(depth no-synthesis-error。D-NOSE)模型，以提高帧内深度图像的编码效率。然而，该方法主要作为深度预处理，难以保证预处理误差和量化误差的叠加量被控制在D-NOSE范围内，由此，将导致高压缩比的情况下，效率明显下降。以上方法主要是面向深度编码的深度预处理和后处理方法，一定程度上从侧面提升深度编码性能。

针对深度视频编码算法的性能提升，可以将虚拟视点绘制所得的图像作为参考图像，提升多视点深度编码视点间预测的准确性，以此提升压缩系能。例如，提出通过对边缘区域采用更精确的帧内预测，以保证深度边缘区域的质量。由于深度视频相对比较平滑，纹理信息较少。或是将深度视频降分辨率后再编码，以此降低码率。由于深度视频编码方法仍然基于现有的多视点视频编码技术框架，其编码算法中包含可变尺寸块运动估计，多参考帧选择等技术，由此导致极高的计算复杂度。传统方法缺乏考虑深度与虚拟视点绘制的作用特性，并基于现有深度视频编码缺乏有效性及其存在计算复杂的问题。

发明内容

基于此，有必要针对视频信号编码计算复杂的问题，提供一种低复杂度的多视点深度视频信号的编码方法。

一种多视点深度视频信号的编码方法，包括以下步骤：

根据三维视频的相机内外参数、相机间距以及绘制虚拟视点图像位置的信息获取深度视频图像在(i，j)位置的可容忍范围R_V(i，j)，并分别计算得到每个深度值v及其对应(i，j)位置的相应的可容忍差异上、下限和遍历所有像素，获得整个图像的所有像素位置的可容忍范围，可容忍差异上、下限；

采用参考帧列表p中第q个参考帧编码当前帧的当前块，并根据所在块中所述各像素深度可容忍范围及每个深度值对应的可容忍差异上、下限计算编码过程中的第一预测代价，选取所述第一预测代价小于或等于阈值T1的参考帧，并保存参考帧为当前帧的最佳参考帧，同时保存最佳参考帧信息及编码信息，终止当前块的参考帧选择；

采用宏块模式M_i编码所述最佳参考帧的当前(u，v)位置的宏块，并根据所述所在宏块中各像素的深度可容忍范围及每个深度值对应的可容忍差异上、下限计算编码过程中产生的第二预测代价，选取所述第二预测代价小于或等于阈值T2且当前宏块模式M_i中的编码块模式系数为小于或等于T3的宏块，并保存为当前块的最佳编码模式，同时保存当前(u，v)位置的块的最佳编码信息。

在其中一个实施例中，所述根据三维视频的相机内外参数、相机间距以及绘制虚拟视点图像位置的信息获取深度视频图像在(i，j)位置的可容忍范围R_V(i，j)的步骤包括：

采用公式计算深度可容忍范围：

其中和分别表示上限最大差异及下限最大差异，L表示彩色视频相机的基线距离，f_x表示焦距的水平分量，m表示像素精度，m取值0、1、2时分别表示整像素、半像素和1/4像素精度，ζ是趋近于0的一个正数，表示向下取整操作，其中，C1为常数系数，n表示深度的比特，Z_near和Z_far分别表示相机与视频场景中最远和最近的像平面之间距离。

在其中一个实施例中，所述分别计算每个深度值对应的上、下限最大差异的步骤包括：

对于给定的深度v计算其可容忍失真范围和采用已知视点图像像素位置信息p₁、图像深度z₁和相机参数信息，绘制虚拟视点绘制的像素位置信息p₂，具体公式为：

$p_2=f(z_1,p_1)=z_1{A}_1{R}_2{R}_1^{-1}{A}_1^{-1}{p}_1-A_2{R}_2{R}_1^{-1}{t}_1+A_2{t}_2;$

其中p₂＝[a,b,c]^T和p₁＝[x,y,1]^T表示虚拟视点和实际视点图像中像素的位置信息，z₁是对应p₁的深度，z₁=v，A₁和A₂是两个3×3矩阵，分别表示虚拟视点和实际视点相机的内部参数，[R₁，t₁]和[R₂，t₂]是像个相机的外部参数，R₁和R₂是旋转矩阵，t₁和t₂偏移矩阵，将上述公式定义为函数f()，当z₁=v+Δv，代入公式f()可以得到p₂′＝[a′,b′,c′]^T，p₂′＝f(v+Δv,p₁)，由此，当或条件满足时的Δv记为当或条件满足时的Δv记为其中T_d表示绘制精度，绘制精度为整像素、半像素和1/4像素精度时T_d分别为1、1/2和1/4。

在其中一个实施例中，所述采用参考帧列表j中第i个参考帧编码当前帧的当前块，并根据所述深度可容忍范围计算第一预测代价的步骤包括：

采用参考帧列表p中第q个参考帧编码当前帧的当前块；计算编码过程中的第一预测代价Cost₁＝f₁(Δr_ij,M,N)，其中M，N分别表示当前编码块的长和宽；

对于(u，v)宏块的误差Δri_j的计算公式为：

其中表示向下取整，表示向上取整，和分别表示深度图像（u，v）块中，位置坐标为(i，j)的像素的最大和最小可容忍深度误差，

所述第一预测代价的具体计算公式为

在其中一个实施例中，所述选取所述第一预测代价大于或等于阈值T1的参考帧，并保存参考帧为当前帧的最佳参考帧的步骤包括：

判断第一预测代价是否小于或等于阈值T1，若是，则认为参考帧为当前帧的最佳参考帧；若否，则将参考帧索引q加1，转至下一个参考帧；

判断当前帧是否超过参考帧列表中的最大数值；若否，则采用下一个参考帧编码当前帧的当前块；若是，则将参考帧索引q清零，参考帧列表p索引加1，转至下一个参考帧列表；

判断是否已遍历所有参考帧列表；若否，则采用下一个参考帧编码当前帧的当前块；若是，则采用迭代式双向预测编码当前帧的当前块，并计算第一预测代价；

判断迭代次数是否达到最大迭代次数，或第一预测代价小于或等于阈值T1，若是，则认为参考帧为当前帧的最佳参考帧；若否，则迭代次数加1并采用迭代式双向预测编码当前帧的当前块；

所有参考帧以及双向预测均为满足提前终止条件，则比较所有列表中所有被测试参考帧的率失真代价，选取最小率失真代价的参考帧为最佳参考帧。。

在其中一个实施例中，在采用模式M_i编码所述最佳参考帧的当前(u,v)宏块的步骤之前还包括：判断当前宏块是否属于帧间；

若是，则采用模式M_i编码当前(u，v)宏块，其中M_i为宏块模式，是直接模式、帧间16x16、帧间8x16、帧间16x8、帧间8x8中的宏块模式之一,其中8x8的亚宏块又可分为subSKIP/SubDIRECT、帧间8x4、帧间4x8、帧间4x4的亚宏块模式；若否，则遍历测试所有帧内模式编码，帧内模式包括IPCM、帧内16x16、帧内8x8、帧内4x4。

在其中一个实施例中，所述根据所述深度可容忍范围及每个深度值对应的上下限最大差异计算编码过程中产生的第二预测代价的步骤包括：

采用M_i模式编码产生的第二预测代价Cost₂＝f₂(Δr_ij,M,N)，其中，M和N分别表示宏块长和宽，对于(u，v)宏块的误差Δr_ij的计算公式为：

其中表示向下取整，表示向上取整，和分别表示深度图像（u，v）块中，位置坐标为(i，j)的像素的最大和最小可容忍深度误差，

所述第二预测代价的具体计算公式为：

在其中一个实施例中，所述选取所述第二预测代价小于或等于阈值T2且当前块模式中的编码块模式系数是否小于或等于T3的宏块，并保存为当前块的最佳编码模式的步骤包括：

判断当前块中第二预测代价是否小于等于阈值T2，并且当前块模式中的编码块模式系数是否小于或等于阈值T3，若以上两个条件同时满足，则根据率失真代价选择已遍历的编码模式中，选择代价最小的模式为当前最佳模式，并保存相关编码信息。若当前帧编码未结束则跳转编码下一个宏块；

若不能同时满足以上两个条件，则i=i+1转入下一种宏块模式；并判断是否所有帧间块模式都已遍历，若是，则遍历测试所有帧内模式编码；若否，则采用模式M_i编码当前(u，v)宏块。

在其中一个实施例中，所述阈值T2为模式选择的早期终止算法阈值，所述阈值T2设为0。

在其中一个实施例中，所述阈值T1设为0；所述阈值T3设为0。

上述面向绘制冗余的低复杂度的多视点深度视频信号的编码方法，用于降低深度视频编码的计算复杂度，并提高虚拟视点质量与深度码率之间的整体性能。首先根据虚拟视点绘制特性，从而获取深度可容忍范围并计算出每个深度值对应的上下限最大差异，进而分析深度视频中的冗余信息。然后，提出快速参考帧选择方法即从列表中选择出最佳参考帧，再通过快速模式选择选择出最佳编码模式。每次进行快速模式选择之前均需先进行快速参考帧选择，并设定阈值T1和T2，使在视频失真较小时，终止模式和参考帧选择，从而降低计算复杂度，并提升压缩性能。

附图说明

图1为多视点深度视频信号的编码方法的流程图；

图2为基于深度可容忍失真的快速多参考帧选择方法的流程图；

图3为基于深度可容忍湿度的快速模式选择方法的流程图；

图4为三维视频系统的模块框图；

图5为像素几何偏移与深度像素值的对应关系示意图。

具体实施方式

基于H.264/AVC编码框架的多视点深度视频编码方法可变尺寸块的模式选择技术提高运动/视差估计的预测精度，从而减少预测残差提高压缩比，其中宏块(Macroblock)模式可主要分为两类，帧间模式（Inter Mode）和帧内模式(IntraMode)。帧间模式包括直接模式（DIRECT/SKIP），16×16、16×8、8×16、8×8、8×8Frext，其中8×8的亚宏块模式分为亚宏块直接模式（sub-DIRECT）、8×4、4×8以及4×4模式。帧内模式包括帧内16×16、帧内8×8、帧内4×4以及差分模式(PCM)。以上编码模式通过率失真优化（Rate DistortionOptimization,RDO）技术，以遍历的方式计算采用各模式编码当前宏块的代价并比较率失真代价值，最小率失真代价的编码模式作为最终的编码模式编码当前宏块。可变尺寸块模式选择技术虽然提高预测精度，然而遍历搜索方式、众多编码模式以及每个模式下率失真代价计算的极高计算复杂度综合导致整个多视点视频编码器的编码复杂度极高，不利于实时性视频压缩应用。

另外，针对每个编码帧间块模式，编码器需要对两个参考列表中的每个参考帧，做前向、后向以及双向的逐一进行预测参考，并选择代价最小、预测最准的参考帧，复杂度极高。为此，多视点深度视频信号的编码方法根据深度视频中的冗余特性，当误差小于可容忍深度误差，则进行提前终止可变尺寸块模式选择以及参考帧选择，提前选择最佳模式和参考帧并终止视频编码中不必要的复杂的模式和参考帧选择过程，从而在保证高压缩比的前提下，更有效降低多视点视频编码复杂度，提高编码速度。另外，通过挖掘深度视频的冗余，保证相同虚拟视点绘制质量的前提下，提高深度视频压缩比。

如图1所示，为多视点深度视频信号的编码方法的流程图。

步骤110，根据三维视频的相机内外参数、相机间距以及绘制虚拟视点图像位置的信息获取深度视频图像在(i，j)位置的可容忍范围R_V(i，j)，并分别计算得到每个深度值v及其对应(i，j)位置的相应的可容忍差异上、下限和遍历所有像素，获得整个图像的所有像素位置的可容忍范围，可容忍差异上、下限。

所述根据三维视频的相机内外参数、相机间距以及绘制虚拟视点图像位置的信息获取深度视频图像在(i，j)位置的可容忍范围R_V(i，j)的步骤包括：

采用公式计算深度可容忍范围：

其中，和分别表示上限最大差异及下限最大差异，L表示彩色视频相机的基线距离，f_x表示焦距的水平分量，m表示像素精度，0、1、2分别表示整像素、半像素和1/4像素精度，ζ是趋近于0的一个正数，表示向下取整操作，其中，C1为常数系数，n表示深度的比特，一般为8，Z_near和Z_far分别表示相机与视频场景中最远和最近的像平面之间距离。

所述分别计算每个深度值对应的上、下限最大差异的步骤包括：

对于给定的深度v计算其可容忍失真范围和采用已知视点图像像素位置信息p₁、图像深度z₁和相机参数信息，绘制虚拟视点绘制的像素位置信息p₂，具体公式为：

$p_2=f(z_1,p_1)=z_1{A}_1{R}_2{R}_1^{-1}{A}_1^{-1}{p}_1-A_2{R}_2{R}_1^{-1}{t}_1+A_2{t}_2;$

其中p₂＝[a,b,c]^T和p₁＝[x,y,1]^T表示虚拟视点和实际视点图像中像素的位置信息，z₁是对应p₁的深度，z₁=v，A₁和A₂是两个3×3矩阵，分别表示虚拟视点和实际视点相机的内部参数，[R₁，t₁]和[R₂，t₂]是像个相机的外部参数，R₁和R₂是旋转矩阵，t₁和t₂偏移矩阵，将上述公式定义为函数f()，当z₁=v+Δv，代入公式f()可以得到p₂′＝[a′,b′,c′]^T，p₂′＝f(v+Δv,p₁)，由此，当或条件满足时的Δv记为当或条件满足时的Δv记为其中T_d表示绘制精度，绘制精度为整像素、半像素和1/4像素精度时T_d分别为1、1/2和1/4。

步骤120，采用参考帧列表p中第q个参考帧编码当前帧的当前块，并根据所在块中所述各像素深度可容忍范围及每个深度值对应的可容忍差异上、下限计算编码过程中的第一预测代价，选取所述第一预测代价小于或等于阈值T1的参考帧，并保存参考帧为当前帧的最佳参考帧，同时保存最佳参考帧信息及编码信息，终止当前块的参考帧选择。

所述阈值T1设为0。

所述采用参考帧列表p中第q个参考帧编码当前帧的当前块，并根据所述深度可容忍范围计算第一预测代价的步骤包括：

采用参考帧列表p中第q个参考帧编码当前帧的当前块；计算编码过程中的第一预测代价Cost₁＝f₁(Δr_ij,M,N)，其中M，N分别表示当前编码块的长和宽；M，N一般为16。

对于(u,v)宏块的误差Δr_ij的计算公式为：

其中表示向下取整，表示向上取整，和分别表示深度图像（u,v）块中，位置坐标为(i,j)的像素的最大和最小可容忍深度误差，

所述第一预测代价的具体计算公式为

所述选取所述第一预测代价大于或等于阈值T1的参考帧，并保存参考帧为当前帧的最佳参考帧的步骤包括：

（1）、判断第一预测代价是否小于或等于阈值T1，若是，则认为参考帧为当前帧的最佳参考帧；若否，则将参考帧索引q加1，转至下一个参考帧。

（2）、判断当前帧是否超过参考帧列表中的最大数值；若否，则采用下一个参考帧编码当前帧的当前块；若是，则将参考帧索引q清零，参考帧列表p索引加1，转至下一个参考帧列表。

（3）、判断是否已遍历所有参考帧列表；若否，则采用下一个参考帧编码当前帧的当前块；若是，则采用迭代式双向预测编码当前帧的当前块并计算第一预测代价。

（4）、判断迭代次数是否达到最大迭代次数，或第一预测代价小于或等于阈值T1，若是，则认为参考帧为当前帧的最佳参考帧；若否，则迭代次数加1并采用迭代式双向预测编码当前帧的当前块。所有参考帧以及双向预测均为满足提前终止条件，则比较所有列表中所有被测试参考帧的率失真代价，选取最小率失真代价的参考帧为最佳参考帧。

具体地，步骤S120包括：

请结合图2。

在本实施例中，第一预测代价为绝对误差和SAD。

步骤121、采用参考帧列表p中第q个参考帧，编码当前块；计算判断SADr(M_i)是否小于等于阈值T1，如果是，则跳转至步骤125，否则执行步骤122。

步骤122、参考帧索引加1，即q=q+1转至下一个参考帧；判断当前帧是否超过参考帧列表中的最大数值，如果否，转至步骤121采用下一个参考帧编码当前块，否则执行步骤123。

步骤123、参考帧索引q清零，参考帧列表索引加1，即p=p+1转至下一个参考帧列表；判断是否已遍历所有参考帧列表，如果否，则跳转步骤121编码当前块，否则执行步骤124。

步骤124、采用迭代式双向预测编码当前块，并计算SADr(M_i)。如果迭代次数达到最大迭代次数，或者SADr(M_i)小于等于阈值T1,则转至步骤125；否则迭代次数加1并跳转步骤124。

步骤125、保存最佳参考帧信息以及编码信息，并结束当前参考帧选择过程。

步骤130，采用宏块模式M_i编码所述最佳参考帧的当前(u，v)位置的宏块，并根据所述所在宏块中各像素的深度可容忍范围及每个深度值对应的可容忍差异上、下限计算编码过程中产生的第二预测代价，选取所述第二预测代价小于或等于阈值T2且当前宏块模式M_i中的编码块模式系数为小于或等于T3的宏块，并保存为当前块的最佳编码模式，同时保存当前块的最佳编码信息。

阈值T2为模式选择的早期终止算法阈值，阈值T2设为0，阈值T3设为0

在采用模式M_i编码所述最佳参考帧的当前(u，v)宏块的步骤之前还包括：判断当前宏块是否属于帧间。

若是，则采用模式M_i编码当前(u，v)宏块，其中M_i为宏块模式；若否，则遍历测试所有帧内模式编码。

所述根据所述深度可容忍范围及每个深度值对应的上下限最大差异计算编码过程中产生的第二预测代价的步骤包括：

采用M_i模式编码产生的第二预测代价Cost₂＝f₂(Δr_ij,M,N)，其中，M和N分别表示宏块长和宽，一般为16，对于(u，v)宏块的误差Δr_ij的计算公式为：

其中表示向下取整，表示向上取整，和分别表示深度图像（u，v）块中，位置坐标为(i，j)的像素的最大和最小可容忍深度误差，

所述第二预测代价的具体计算公式为：

所述选取所述第二预测代价小于或等于阈值T2且当前块模式中的编码块模式系数是否小于或等于T3的宏块，并保存为当前块的最佳编码模式的步骤包括：

（1）、判断当前块中第二预测代价是否小于等于阈值T2，并且当前块模式中的编码块模式系数是否小于或等于阈值T3，若以上两个条件同时满足，则根据率失真代价选择已遍历的编码模式中，选择代价最小的模式为当前最佳模式，并保存相关编码信息。若当前帧编码未结束则跳转编码下一个宏块。

（2）、若不能同时满足以上两个条件，则q=q+1转入下一种宏块模式；并判断是否所有帧间块模式都已遍历，若是，则遍历测试所有帧内模式编码；若否，则采用模式M_i编码当前(u，v)宏块。

具体地，步骤S130包括：

请结合图3。

步骤131、检测当前宏块是否属于帧间片，如果是执行步骤132，否则执行步骤134。

步骤132、采用模式M_i编码当前(u,v)宏块，其中模式M_i为宏块模式DIRECT/SKIP，B16x16、B8x16、B16x8、B8x8分块模式之一。子宏块B8x8又可分为SubDIRECT、B8x4、B4x8、B4x4模式，计算采用M_i模式编码产生的绝对平方误差和SSD。

在本实施例中，第二预测代价为绝对平方误差和SSD。

SSD_r(M_i)具体表示为：

${\mathrm{SSD}}_r\left(M_i\right)=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\left|\mathrm{\Δ}{r}_{\mathrm{ij}}\right|}^2$

其中，M和N分别表示宏块长和宽，一般为16。

对于(u,v)宏块的误差Δr_ij可以表示为：

其中表示向下取整，表示向上取整，和分别表示深度图像（u，v）块中，位置坐标为(i，j)的像素的最大和最小可容忍深度误差，

判断当前块中SSD_r(M_i)是否小于等于阈值T2，并且当前块模式中的编码块模式系数（Coded Block Patten，CBP）是否小于等于T3，如果以上两个条件同时满足，跳转至步骤135，否则至步骤133。

步骤133、q=q+1转入下一种宏块模式，如果所有帧间块模式都已遍历，则转入步骤134，否则跳转至步骤132。

步骤134、遍历测试所有帧内模式编码。

步骤135、根据率失真代价选择已遍历的编码模式中，选择代价最小的模式为当前最佳模式，并保存相关编码信息。如果当前帧编码未结束则跳转步骤131编码下一个宏块。

传统可变尺寸块模式选择技术虽然提高预测精度，然而遍历搜索方式、众多编码模式以及每个模式下率失真代价计算的极高计算复杂度综合导致整个多视点视频编码器的编码复杂度极高，不利于实时性视频压缩应用。另外，针对每个编码帧间块模式，编码器需要对两个参考列表中的每个参考帧，做前向、后向以及双向的逐一进行预测参考，并选择代价最小、预测最准的参考帧，复杂度极高。为此，本发明根据深度视频中的冗余特性，当误差小于可容忍深度误差，则进行提前终止可变尺寸块模式选择以及参考帧选择，提前选择最佳模式和参考帧并终止视频编码中不必要的复杂的模式和参考帧选择过程，从而在保证高压缩比的前提下，更有效降低多视点视频编码复杂度，提高编码速度。另外，通过挖掘深度视频的冗余，保证相同虚拟视点绘制质量的前提下，提高深度视频压缩比。

为了验证本发明深度视频编码方法的有效性，我们采用基于H.264/AVC的多视点视频编码平台，JMVC8.0，配置参数包括：运动/视差估计的搜索范围为±96，快速运动估计/视差估计开启，最多2个参考帧，编码图像组长度为12，量化参数分别为12,16,20,24,28和32。通过对Kendo，Balloons，Champ.Tower，Pantomime,Dog和Door flowers,等6个多视点和深度视频标准测试序列的编码实验，各个测试序列的一帧图像。编码3个视点深度视频，绘制两个中间视点，例如序列的1,3和5视点编码，重建图像绘制2和4视点。这些视点中Kendo和Balloons的深度视频已有，其他序列的深度视频由运动视频专家组MPEG提供的DERS3.0软件生成，虚拟视点绘制采用标准绘制软件VSRS3.0软件。对比实验方案包括原始多视点视频编码平台方案以及本发明的方法。

表I.BDBR(%)和BDPSNR(dB)压缩性能对比

表II.与JMVC的计算复杂度对比[%]

上述多视点深度视频信号的编码方法在深度误差较小时，提前终止深度视频编码过程中的块模式选择和参考帧选择等过程，由此保证虚拟视点绘制质量的前提下，有效降低多视点深度视频编码的计算复杂度。对于快速模式选择方法，相比于原多视点视频编码平台，提高多视点编码速度27.32%至68.41%，平均51.55%；同时，保证相同虚拟视点绘制质量的情况下，降低深度视频比特率约10%。对于快速参考正选择方法，相比于原多视点视频编码平台，保证相同压缩比的条件下，提升多视点编码速度21.54%至52.11%，平均37.18%。将以上两个方法相结合，可提升编码速度约63%，同时提高10%左右的压缩比。

基于上述所有实施例，多视点深度视频信号的编码方法的处理过程如下：

如图4所示，为三维视频系统框图，其中包括内容生成，视频编解码与传输，绘制和显示模块，本发明主要涉及多视点深度视频的编解码和绘制模块，如图红色区域显示。多视点深度视频压缩、解码重建后的图像主要作为三维视频的几何信息，用于多视点虚拟视点图像的绘制，生成更为稠密的多视点彩色视频用于沉浸式三维立体显示和自由立体显示等。然而，多视点深度视频的每个像素一般由n比特（一般n=8）或更多的比特表示，表示范围一般大于2ⁿ级（n=8时，2ⁿ=256）；然而在虚拟视点绘制过程中，深度引起的最大彩色像素的几何偏移s个像素，（对于多数标准测试序列分析，一般s<20个像素）。对于m级像素精度，（m=0表示整数像素精度，1表示半像素精度，2表示1/4像素精度），即使是1/4像素精度，所表示几何偏移为s×2^m（一般小于80）远远小于2ⁿ。由此，存在多个深度值对应一个像素偏移的情况，即多对一的情况，如图2示意图所示。对于平行相机系统，具体多少深度值对应一个几个偏移，可以通过以下公式表示：

其中和分别表示上下限最大差异，L表示彩色视频相机的基线距离，f_x表示焦距的水平分量，m表示像素精度，0,1,2分别表示整像素、半像素和1/4像素精度，ζ是趋近于0的一个正数，表示向下取整操作，其中n表示深度的表示比特，一般为8，Z_near和Z_far分别表示相机与视频场景中最远和最近的像平面之间距离。

请结合图5，像素几何偏移与深度像素值的对应关系示意图

基于以上信息，可以得出，1）当深度视频中的每个深度值v_i，误差波动在之内，也即将会不对虚拟视点绘制产生任何影响；2）当深度误差较大时，即所产生的几何偏移是相同的。依据以上特性，本发明在深度误差较小时，提前终止深度视频编码过程中的块模式选择和参考帧选择等过程，由此保证虚拟视点绘制质量的前提下，有效降低多视点深度视频编码的计算复杂度。对于快速模式选择方法，相比于原多视点视频编码平台，提高多视点编码速度27.32%至68.41%，平均51.55%；同时，保证相同虚拟视点绘制质量的情况下，降低深度视频比特率约10%。对于快速参考正选择方法，相比于原多视点视频编码平台，保证相同压缩比的条件下，提升多视点编码速度21.54%至52.11%，平均37.18%。将以上两个方法相结合，可提升编码速度约63%，同时提高10%左右的压缩比。

基于上述所有实施例，上述多视点深度视频信号的编码方法可以与其他类型的快速模式选择，参考帧选择以及运动估计等算法相结合，进一步提升系统的整体性能。

上述多视点深度视频信号的编码方法的阈值设定，上述所有实施例中仅是提供了某种实施方案，可以存在其他的设定方式。

上述多视点深度视频信号的编码方法中深度视频冗余提取得到和以及Rv等信息，实际可以根据不同的应用，深度视频冗余及其提取方法不同，但只要存在或者设定和以及Rv，就可采用本申请中的快速模式选择和快速参考帧选择方法，提高深度视频编码效率。

上述多视点深度视频信号的编码方法中深度视频冗余提取得到和以及Rv等信息，这些信息用于参考帧选择和模式选择方法，实际用这些信息，还可提高运动估计/视差估计等模块的快速参数选择，提高编码效率。

上述面向绘制冗余的低复杂度的多视点深度视频信号的编码方法，用于降低深度视频编码的计算复杂度，并提高虚拟视点质量与深度码率之间的整体性能。首先根据虚拟视点绘制特性，从而获取深度可容忍范围并计算出每个深度值对应的上下限最大差异，进而分析深度视频中的冗余信息。然后，提出快速参考帧选择方法即从列表中选择出最佳参考帧，再通过快速模式选择选择出最佳编码模式。每次进行快速模式选择之前均需先进行快速参考帧选择，并通过设定阈值T1和T2，使在视频失真较小时，终止模式和参考帧选择，从而降低计算复杂度，并提升压缩性能。另外，主要针对深度视频的模式与参考帧选择的优化方法，可以和传统其他模式、参考帧以及运动/视差估计快速方法结合，并进一步降低复杂度。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种多视点深度视频信号的编码方法，包括以下步骤：

根据三维视频的相机内外参数、相机间距以及绘制虚拟视点图像位置的信息获取深度视频图像在(i，j)位置的可容忍范围R_V(i，j)，并分别计算得到每个深度值v及其对应(i，j)位置的相应的可容忍差异上、下限和遍历所有像素，获得整个图像的所有像素位置的可容忍范围，可容忍差异上、下限；

采用参考帧列表p中第q个参考帧编码当前帧的当前块，并根据所在块中所述各像素深度可容忍范围及每个深度值对应的可容忍差异上、下限计算编码过程中的第一预测代价，选取所述第一预测代价小于或等于阈值T1的参考帧，并保存参考帧为当前帧的最佳参考帧，同时保存最佳参考帧信息及编码信息，终止当前块的参考帧选择；

采用宏块模式M_i编码所述最佳参考帧的当前(u，v)位置的宏块，并根据所述所在宏块中各像素的深度可容忍范围及每个深度值对应的可容忍差异上、下限计算编码过程中产生的第二预测代价，选取所述第二预测代价小于或等于阈值T2且当前宏块模式M_i中的编码块模式系数为小于或等于T3的宏块，并保存为当前块的最佳编码模式，同时保存当前(u，v)位置的块的最佳编码信息。

2.根据权利要求1所述的多视点深度视频信号的编码方法，其特征在于，所述根据三维视频的相机内外参数、相机间距以及绘制虚拟视点图像位置的信息获取深度视频图像在(i，j)位置的可容忍范围R_V(i，j)的步骤包括：

采用公式计算深度可容忍范围：

其中和分别表示上限最大差异及下限最大差异，L表示彩色视频相机的基线距离，f_x表示焦距的水平分量，m表示像素精度，m取值0、1、2时分别表示整像素、半像素和1/4像素精度，ζ是趋近于0的一个正数，表示向下取整操作，其中，C1为常数系数，n表示深度的比特，Z_near和Z_far分别表示相机与视频场景中最远和最近的像平面之间距离。

3.根据权利要求1所述的多视点深度视频信号的编码方法，其特征在于，所述分别计算每个深度值对应的上、下限最大差异的步骤包括：

对于给定的深度v计算其可容忍失真范围和采用已知视点图像像素位置信息p₁、图像深度z₁和相机参数信息，绘制虚拟视点绘制的像素位置信息p₂，具体公式为：

$p_2=f(z_1,p_1)=z_1{A}_1{R}_2{R}_1^{-1}{A}_1^{-1}{p}_1-A_2{R}_2{R}_1^{-1}{t}_1+A_2{t}_2;$

其中p₂＝[a,b,c]^T和p₁＝[x,y,1]^T表示虚拟视点和实际视点图像中像素的位置信息，z₁是对应p₁的深度，z₁=v，A₁和A₂是两个3×3矩阵，分别表示虚拟视点和实际视点相机的内部参数，[R₁，t₁]和[R₂，t₂]是像个相机的外部参数，R₁和R₂是旋转矩阵，t₁和t₂偏移矩阵，将上述公式定义为函数f()，当z₁=v+Δv，代入公式f()可以得到p₂′＝[a′,b′,c′]^T，p₂′＝f(v+Δv,p₁)，由此，当或条件满足时的Δv记为当或条件满足时的Δv记为其中T_d表示绘制精度，绘制精度为整像素、半像素和1/4像素精度时T_d分别为1、1/2和1/4。

4.根据权利要求1所述的多视点深度视频信号的编码方法，其特征在于，所述采用参考帧列表p中第q个参考帧编码当前帧的当前块，并根据所述深度可容忍范围计算第一预测代价的步骤包括：

采用参考帧列表p中第q个参考帧编码当前帧的当前块，计算编码过程中的第一预测代价Cost₁＝f₁(Δr_ij,M,N)，其中M，N分别表示当前编码块的长和宽；

对于(u，v)宏块的误差Δr_ij的计算公式为：

其中表示向下取整，表示向上取整，和分别表示深度图像(u，v)块中，位置坐标为(i，j)的像素的最大和最小可容忍深度误差，

所述第一预测代价的具体计算公式为

5.根据权利要求4所述的多视点深度视频信号的编码方法，其特征在于，所述选取所述第一预测代价大于或等于阈值T1的参考帧，并保存参考帧为当前帧的最佳参考帧的步骤包括：

判断第一预测代价是否小于或等于阈值T1，若是，则认为参考帧为当前帧的最佳参考帧；若否，则将参考帧索引q加1，转至下一个参考帧；

判断当前帧是否超过参考帧列表中的最大数值；若否，则采用下一个参考帧编码当前帧的当前块；若是，则将参考帧索引q清零，参考帧列表p索引加1，转至下一个参考帧列表；

判断是否已遍历所有参考帧列表；若否，则采用下一个参考帧编码当前帧的当前块；若是，则采用迭代式双向预测编码当前帧的当前块，并计算第一预测代价；

判断迭代次数是否达到最大迭代次数，或第一预测代价小于或等于阈值T1，若是，则认为参考帧为当前帧的最佳参考帧；若否，则迭代次数加1并采用迭代式双向预测编码当前帧的当前块；

所有参考帧以及双向预测均为满足提前终止条件，则比较所有列表中所有被测试参考帧的率失真代价，选取最小率失真代价的参考帧为最佳参考帧。

6.根据权利要求1所述的多视点深度视频信号的编码方法，其特征在于，在采用模式M_i编码所述最佳参考帧的当前(u，v)宏块的步骤之前还包括：判断当前宏块是否属于帧间；

若是，则采用模式M_i编码当前(u，v)宏块，其中M_i为宏块模式，是直接模式、帧间16x16、帧间8x16、帧间16x8、帧间8x8中的宏块模式之一,其中8x8的亚宏块又可分为subSKIP/SubDIRECT、帧间8x4、帧间4x8、帧间4x4的亚宏块模式；若否，则遍历测试所有帧内模式编码，帧内模式包括IPCM、帧内16x16、帧内8x8、帧内4x4。

7.根据权利要求1所述的多视点深度视频信号的编码方法，其特征在于，所述根据所述深度可容忍范围及每个深度值对应的上下限最大差异计算编码过程中产生的第二预测代价的步骤包括：

采用M_i模式编码产生的第二预测代价Cost₂＝f₂(Δr_ij,M,N)，其中，M和N分别表示宏块长和宽，对于(u，v)宏块的误差Δr_ij的计算公式为：

其中表示向下取整，表示向上取整，和分别表示深度图像(u，v)块中，位置坐标为(i，j)的像素的最大和最小可容忍深度误差，

所述第二预测代价的具体计算公式为：

8.根据权利要求7所述的多视点深度视频信号的编码方法，其特征在于，所述选取所述第二预测代价小于或等于阈值T2且当前块模式中的编码块模式系数是否小于等于T3的宏块，并保存为当前块的最佳编码模式的步骤包括：

判断当前块中第二预测代价是否小于等于阈值T2，并且当前块模式中的编码块模式系数是否小于或等于阈值T3，若以上两个条件同时满足，则根据率失真代价选择已遍历的编码模式中，选择代价最小的模式为当前最佳模式，并保存相关编码信息。若当前帧编码未结束则跳转编码下一个宏块；

若不能同时满足以上两个条件，则i=i+1转入下一种宏块模式；并判断是否所有帧间块模式都已遍历，若是，则遍历测试所有帧内模式编码；若否，则采用模式M_i编码当前(u，v)宏块。

9.根据权利要求1所述的多视点深度视频信号的编码方法，其特征在于，所述阈值T2为模式选择的早期终止算法阈值，所述阈值T2设为0。

10.根据权利要求1所述的多视点深度视频信号的编码方法，其特征在于，所述阈值T1设为0；所述阈值T3设为0。