CN108259917A - 基于深度时域下采样的三维视频编解码方法及系统 - Google Patents

Abstract

本发明公开一种基于深度时域下采样的三维视频编解码方法及系统，针对三维视频编码中深度图如何压缩以及重建这一目的，首先针对两个NBV利用深度时域下采样编码来降低编码码率，然后通过深度时域插值方法来恢复出丢弃的深度图帧，最后采用维纳滤波来提高重建的深度图序列的质量。过程中使用了多视点纹理视频帧的区域颜色相似性以及空间相近性，纹理与深度相应性作为重建依据，恢复出丢弃的深度图帧，并且采用维纳滤波的方法来进一步提高深度图质量。与传统的方法相比，丢弃两路视点深度信息以进一步降低码率，并采用高质量的深度插值方法来生成更高质量的深度图，能够进一步获得较传统方法更高质量的虚拟视点视图。

Description

基于深度时域下采样的三维视频编解码方法及系统

技术领域

本发明涉及视频处理技术领域，具体涉及一种基于深度时域下采样的三维视频编解码方法及系统。

背景技术

随着数字多媒体处理技术以及显示技术的发展，人们对真实视觉体验的需求日益增强，继高清数字电视成功应用之后，以三维视频(3DV)为典型应用的立体电视(3DTV)和自由视点电视(FTV)迅速成为新的研究热点。3DV能够为观众提供同一立体场景的不同视点的视频，相对于并不能给观众提供自然的深度信息的二维视频而言，3DV能够通过提供同一立体场景的不同视点的视频给观众以距离信息，进而带来真实三维场景的视觉体验，它广泛应用于社会各个领域，极大地丰富了现有的媒体内容。在众多三维视频的数据格式中，多视点视频+深度(MVD)的格式可基于深度-纹理图像的合成(DIBR)技术生成一定视点范围内的中间任意视点的虚拟视频，因而被选作制定三维视频编码标准的数据格式，并被广泛应用。通常，3DV系统首先在发送端对MVD数据进行编码，然后将压缩数据传送给接收端进行解码重建，在解码重建的MVD数据基础上利用传输的摄像机参数以及DIBR技术合成任意视点的虚拟视图。

深度信息在3DV中有其特点和特定应用。首先，深度图是一种只包含有平滑的纹理区域以及尖锐的边缘区域的单色图；其次，多视点深度图序列相对于纹理视频对合成的虚拟视点的视图质量影响较小；第三，深度图的边缘区域与平滑区域相比对合成虚拟视图的质量的影响较大；最后，深度图的编码目标是为了保证合成高质量的虚拟视点。因此，利用MVD表征一个立体场景并利用传统的多视点编码标准来进行编码，虽然已经减少了相当大的数据量，但是这并不能为多视点内容提供具有成本效益的压缩率，因此研究适应深度图自身特点的编码技术显得至关重要。

为了提高深度图编码效率，研究人员提出了一种深度时域下采样的MVD编码方法[1]，但是该方法只能减少一路视点的深度图信息，同时发送端需要发送选择标识符等额外信息给接收端，用于合成虚拟视点视频。

发明内容

有鉴于此，本发明提供一种基于深度时域下采样的三维视频编解码方法及系统，能够降低MVD编码码率，提高编码效率，得到更高质量的虚拟视点视频。

一方面，本发明实施例提出一种基于深度时域下采样的三维视频编解码方法，包括：

S1、在编码端，将原始三视点纹理视频与相应的三视点深度图序列组成的MVD中的左、右两个NBV的深度图序列中的TL3时域层的深度图帧丢弃，编码所有的三视点纹理视频帧以及未丢弃的深度图帧，并对所有的三视点纹理图像帧以及未丢弃的深度图帧进行解码重建，利用解码重建结果重建出丢弃的深度图帧，利用原始的三视点深度图序列与重建出的深度图序列计算出维纳滤波器系数，将所述维纳滤波器系数与编码信息一起传送到解码端，其中，所述重建出的深度图序列包括未丢弃解码重建和丢弃重建的深度图帧，所述编码信息为所有的三视点纹理视频帧以及未丢弃的深度图帧的编码结果；

S2、在解码端，对所有的三视点纹理图像帧以及未丢弃的深度图帧进行解码重建，利用解码重建结果重建出丢弃的深度图帧，利用所述维纳滤波器系数对所述未丢弃解码重建和丢弃重建的深度图帧进行维纳滤波，利用维纳滤波的结果以及所有的三视点纹理图像帧的解码重建结果，并采用DIBR技术合成虚拟视点的虚拟视频。

另一方面，本发明实施例提出一种基于深度时域下采样的三维视频编解码系统，包括：

3DV服务器端和3DV终端；其中，

所述3DV服务器端，用于将原始三视点纹理视频与相应的三视点深度图序列组成的MVD中的左、右两个NBV的深度图序列中的TL3时域层的深度图帧丢弃，编码所有的三视点纹理视频帧以及未丢弃的深度图帧，并对所有的三视点纹理图像帧以及未丢弃的深度图帧进行解码重建，利用解码重建结果重建出丢弃的深度图帧，利用原始的三视点深度图序列与重建出的深度图序列计算出维纳滤波器系数，将所述维纳滤波器系数与编码信息一起传送到所述3DV终端，其中，所述重建出的深度图序列包括未丢弃解码重建和丢弃重建的深度图帧，所述编码信息为所有的三视点纹理视频帧以及未丢弃的深度图帧的编码结果；

所述3DV终端，用于接收所述3DV服务器端传送的维纳滤波器系数与编码信息，对所有的三视点纹理图像帧以及未丢弃的深度图帧进行解码重建，利用解码重建结果重建出丢弃的深度图帧，利用所述维纳滤波器系数对所述未丢弃解码重建和丢弃重建的深度图帧进行维纳滤波，利用维纳滤波的结果以及所有的三视点纹理图像帧的解码重建结果，并采用DIBR技术合成虚拟视点的虚拟视频。

本发明实施例提供的基于深度时域下采样的三维视频编解码方法及系统，在编码端首先针对两个NBV利用深度时域下采样编码来降低编码码率，然后对编码结果进行解码重建，并利用解码重建结果恢复出丢弃的深度图帧，最后通过重建得到的深度图帧与原始的深度图帧的比较计算出维纳滤波器系数，将该维纳滤波器系数连同编码结果发送给解码端；在解码端首先对编码结果进行解码重建，并利用解码重建结果恢复出丢弃的深度图帧，然后采用该维纳滤波器系数对重建的深度图序列进行维纳滤波来提高重建的深度图序列的质量，最后利用维纳滤波的结果以及所有的三视点纹理图像帧的解码重建结果合成虚拟视点的虚拟视频，与传统的方法相比，整个方案通过丢弃两路视点深度信息能够降低深度图编码码率，从而能够降低MVD编码码率，基于解码的多视点纹理视频帧与未丢弃的深度图帧，重建出丢弃的深度图帧，通过采用维纳滤波的方法来进一步提高深度图质量，能够提高三维视频编码效率，从而能够进一步获得较传统方法更高质量的虚拟视点视图。

附图说明

图1为本发明基于深度时域下采样的三维视频编解码方法一实施例的流程示意图；

图2为一个典型的具有四个分层的可分层编码结构示意图；

图3为本发明基于深度时域下采样的三维视频编解码方法另一实施例中丢弃的深度图的重建流程示意图；

图4为本发明基于深度时域下采样的三维视频编解码系统一实施例的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参看图1，本实施例公开一种基于深度时域下采样的三维视频编解码方法，包括：

S1、在编码端，将原始三视点纹理视频与相应的三视点深度图序列组成的MVD中的左、右两个NBV的深度图序列中的TL3时域层的深度图帧丢弃，编码所有的三视点纹理视频帧以及未丢弃的深度图帧，并对所有的三视点纹理图像帧以及未丢弃的深度图帧进行解码重建，利用解码重建结果重建出丢弃的深度图帧，利用原始的三视点深度图序列与重建出的深度图序列计算出维纳滤波器系数，将所述维纳滤波器系数与编码信息一起传送到解码端，其中，所述重建出的深度图序列包括未丢弃解码重建和丢弃重建的深度图帧，所述编码信息为所有的三视点纹理视频帧以及未丢弃的深度图帧的编码结果；

一个典型的具有四个分层的可分层编码结构如图2描述，图2中，TL0层的所有帧进行时域独立编码，因而这些帧的保真度通常比其他时域增强层(TL1，TL2和TL3)要高，同时，根据编码顺序可以得出，编码失真是由TL0向TL3逐层传递的。层数越高，此层继承的编码失真越大。正基于此，本发明在深度时域下采样时通过舍弃NBV(非基本视点)的最低时域增强层的深度图来实现。即图2中，左、右两个NBV的时域增强层TL3的所有深度图均被丢弃，然而BV(基本视点)的深度图则按原编码结构进行编码。

S2、在解码端，对所有的三视点纹理图像帧以及未丢弃的深度图帧进行解码重建，利用解码重建结果重建出丢弃的深度图帧，利用所述维纳滤波器系数对所述未丢弃解码重建和丢弃重建的深度图帧进行维纳滤波，利用维纳滤波的结果以及所有的三视点纹理图像帧的解码重建结果，并采用DIBR技术合成虚拟视点的虚拟视频。

对于3DV系统，相对应的三视点深度图编码失真会在视点合成处理过程中传播至虚拟视点。为了降低编码失真同时也为提高虚拟视点的合成质量，维纳滤波被应用。首先在编码端通过比较重构深度图与原始深度图，来计算维纳滤波器系数。随后将滤波系数传送至3DV系统解码端。在三维视频解码端，这些滤波系数被用于对重建的深度图进行滤波，从而得到更高质量的深度图，进一步获得较高质量的虚拟视图。

本发明实施例提供的基于深度时域下采样的三维视频编解码方法，在编码端首先针对两个NBV利用深度时域下采样编码来降低编码码率，然后对编码结果进行解码重建，并利用解码重建结果恢复出丢弃的深度图帧，最后通过重建得到的深度图帧与原始的深度图帧的比较计算出维纳滤波器系数，将该维纳滤波器系数连同编码结果发送给解码端；在解码端首先对编码结果进行解码重建，并利用解码重建结果恢复出丢弃的深度图帧，然后采用该维纳滤波器系数对重建的深度图序列进行维纳滤波来提高重建的深度图序列的质量，最后利用维纳滤波的结果以及所有的三视点纹理图像帧的解码重建结果合成虚拟视点的虚拟视频，与传统的方法相比，整个方案通过丢弃两路视点深度信息能够降低深度图编码码率，从而能够降低MVD编码码率，基于解码的多视点纹理视频帧与未丢弃的深度图帧，重建出丢弃的深度图帧，通过采用维纳滤波的方法来进一步提高深度图质量，能够提高三维视频编码效率，从而能够进一步获得较传统方法更高质量的虚拟视点视图。

下面对本发明丢弃的深度图帧的重建过程进行详细说明。

在相应的时域增强层中，被丢弃而不被编码平台进行编码的深度图帧被重建。针对于左、右两个非基本视点的丢弃的深度图的重建流程图如图3所示：首先，丢弃的深度图的初始的深度信息被重建；第二，将得到的初始的深度重建划分成一个深度平滑区域(Depth Smooth Region,DSR)以及一个深度非平滑区域(Depth Non-smooth Region,DNSR)。DNSR被划分成为可靠深度区域(Reliable Depth Region)以及不可靠深度区域(Unreliable Depth Region)；第三，非可靠深度区域利用一种深度层以及区域共同约束的深度修正外延方法来确定像素的深度值。下面对深度重建流程的各步骤进行说明：

1、基于前向和后向运动矢量场的深度值初始重建

为了高质量地重建丢弃的深度图帧，在左NBV和右NBV内，时域上顺次两两相邻的深度图帧之间，应当首先获得基于像素的前向运动矢量场(Forward Motion VectorsField,FMVF)以及后向运动矢量场(Backward Motion Vectors Field,BMVF)。在提出的方法中，运动矢量场(Motion Vectors Field,MVF)基于编码端和解码端解码重建的纹理图像来进行估计。假设D^V _n，V∈{L,R}(其中，L和R分别代表左非基视点和右非基视点)代表当前深度图，它属于TL3，所以被丢弃而不被编码，并且假设D^V _n-1和D^V _n+1分别记作D^V _n的前一时刻深度图帧和后一时刻深度图帧，而T^V _n，T^V _n-1和T^V _n+1分别记作当前深度图帧D^V _n，前一时刻深度图帧D^V _n-1和后一时刻深度图帧D^V _n+1的相应的纹理图帧。在左非基视点运动矢量场估计过程和右非基视点运动矢量场估计过程中，T^V _n和T^V _n-1之间的前向MVF(FMVF)记作同时T^V _n和T^V _n+1之间的后向MVF(BMVF)记作它们是通过一个改进的光流算法(MOF)来计算得到。这时，针对一个像素点p，它在当前纹理图像帧T^V _n中的像素为T^V _n(p)，在前一时刻纹理图像帧和后一时刻纹理图像帧中的纹理参考像素分别为和它们相应的深度参考像素分别为和表示中像素点p的运动矢量，表示中像素点p的运动矢量，。对于该像素点p，利用绝对差(Absolute Differences，ADS)来测量计算和T^V _n(p)的前向变化程度，以及来测量计算和T^V _n(p)的后向变化程度。利用前向和后向两个变化程度来选择像素点的纹理参考和深度参考以及运动矢量(MotionVector，MV)表示为

集合被称作像素点p的运动矢量参考集(Motion Estimation Reference Set,MERS)。本发明提出的方法利用p的MERS中的元素来生成丢弃的深度图帧的像素点p所对应的初始的深度重建以及初始的纹理重建

2、初始重建的深度图帧的基于像素点的区域划分

在丢弃的深度图帧的初始的深度重建中，根据以像素点p为中心的局部窗口内的所有空间邻域像素点的深度值来计算标准差该标准差用以计算这个邻域深度窗口的局部变化。越大，表示邻域深度窗口的深度变化越大，像素点p处于深度非平滑区域；越小，表示邻域深度窗口的深度变化越小，像素点p处于深度平滑区域。通过一个预设的门限值(比如)和的比较来划将像素点p归类于DSR或者归类于DNSR。若标准差大于门限值则将像素点p归类于深度非平滑区域，或者若标准差不大于所述门限值则将像素点p归类于深度平滑区域。

3、深度非平滑区域(DNSR)中基于像素点的插值

(1)、深度非平滑区域中的区域划分

由于前景造成的遮挡、运动模糊以及伪影的存在，DNSR的像素点能够被划分为可靠深度区域(Reliable Depth Regions)以及非可靠深度区域(Unreliable DepthRegions)。假设为丢弃的深度图帧的相应的基于改进的光流的纹理图帧重建，和T^V _n(p)之间的ADS被计算出来用以判断DNSR中的像素点的可靠性。ADS越小，说明像素点的可靠性越高，ADS越大，则说明像素点的可靠性越低。根据这个可靠性，DNSR中的像素点能够被归类于可靠深度区域以及非可靠深度区域。为了很好地保持非可靠区域中的前景和背景物体之间的边界，在空间邻域中一个深度层约束的外延方法用于非可靠深度区域的像素深度值重建。

(2)、针对非可靠深度区域的外延方法

为了便于描述，本发明中假设p为非可靠深度区域中的一个像素点，它的MERS为本发明利用λ_f(p)和λ_b(p)来指出这个MERS的预测模式，方式如下：

在确定预测模式后，本发明利用属于相同深度层(即属于前景或者背景中的不同物体)的相邻像素点来估计p的深度值。是一个以像素点p为中心的局部邻域窗口，这个窗口包含的邻域像素中，一部分属于DSR的像素，一部分属于DNSR的非可靠深度区域，其他部分属于DNSR的可靠深度区域。属于DSR的像素点与属于DNSR的可靠深度区域的像素点均被记作可用像素点，它们被分为两类：将利用T^V _n-1内的像素点进行运动补偿得到的内的可用像素点构成的集合记作将利用T^V _n+1内的像素点进行运动补偿得到的内的可用像素点构成的集合记作本发明在每一个邻域上，利用一个深度层以及区域共同约束的深度修正方法来重建p的深度值，计算方法如下：

其中，p_j为内的一个可用像素点。

加权系数ω<T^V _n>(p，p_j)是基于解码的纹理图像获得的，计算方法如下：

其中，dif<T^V _n>(p，p_j)|_R，dif<T^V _n>(p，p_j)|_G以及dif<T^V _n>(p，p_j)|_B分别是解码得到的纹理图中像素点p和p_j之间红颜色分量、绿色分量和蓝色分量的强度差异；σ<T^V _n>|_R ²，σ<T^V _n>|_G ²和σ<T^V _n>|_B ²分别是解码得到的纹理图中所有可用像素点p_j与像素点p的红颜色分量、绿颜色分量和蓝颜色分量的强度差值的方差。

加权系数ω_S(p,p_j)是基于像素点p和p_j之间的空间距离来计算获得，计算方法如下：

E_d(p，p_j)是像素点p和p_j之间的欧氏距离，σ_S ²是所有的p和p_j之间的欧氏距离的方差。

加权系数ω_E[λ_f(p),λ_b(p),p,p_j]是基于检测p和p_j是否属于相同的深度层来计算得到的。像素p的重建深度为像素p的邻域像素点p_j的重建深度为记作内的所有重建的深度值的平均值。

如果则p和p_j是属于同一深度层。加权系数ω_E[λ_f(p),λ_b(p),p,p_j]计算方法如下：

其中，和是像素点的深度层分类指示，计算方法如下：

参看图4，本实施例公开一种基于深度时域下采样的三维视频编解码系统，包括：

3DV服务器端1和3DV终端2；其中，

所述3DV服务器端1，用于将原始三视点纹理视频与相应的三视点深度图序列组成的MVD中的左、右两个NBV的深度图序列中的TL3时域层的深度图帧丢弃，编码所有的三视点纹理视频帧以及未丢弃的深度图帧，并对所有的三视点纹理图像帧以及未丢弃的深度图帧进行解码重建，利用解码重建结果重建出丢弃的深度图帧，利用原始的三视点深度图序列与重建出的深度图序列计算出维纳滤波器系数，将所述维纳滤波器系数与编码信息一起传送到所述3DV终端，其中，所述重建出的深度图序列包括未丢弃解码重建和丢弃重建的深度图帧，所述编码信息为所有的三视点纹理视频帧以及未丢弃的深度图帧的编码结果；

所述3DV终端2，用于接收所述3DV服务器端传送的维纳滤波器系数与编码信息，对所有的三视点纹理图像帧以及未丢弃的深度图帧进行解码重建，利用解码重建结果重建出丢弃的深度图帧，利用所述维纳滤波器系数对所述未丢弃解码重建和丢弃重建的深度图帧进行维纳滤波，利用维纳滤波的结果以及所有的三视点纹理图像帧的解码重建结果，并采用DIBR技术合成虚拟视点的虚拟视频。

本发明实施例提供的基于深度时域下采样的三维视频编解码系统，在编码端首先针对两个NBV利用深度时域下采样编码来降低编码码率，然后对编码结果进行解码重建，并利用解码重建结果恢复出丢弃的深度图帧，最后通过重建得到的深度图帧与原始的深度图帧的比较计算出维纳滤波器系数，将该维纳滤波器系数连同编码结果发送给解码端；在解码端首先对编码结果进行解码重建，并利用解码重建结果恢复出丢弃的深度图帧，然后采用该维纳滤波器系数对重建的深度图序列进行维纳滤波来提高重建的深度图序列的质量，最后利用维纳滤波的结果以及所有的三视点纹理图像帧的解码重建结果合成虚拟视点的虚拟视频，与传统的方法相比，整个方案通过丢弃两路视点深度信息能够降低深度图编码码率，从而能够降低MVD编码码率，基于解码的多视点纹理视频帧与未丢弃的深度图帧，重建出丢弃的深度图帧，通过采用维纳滤波的方法来进一步提高深度图质量，能够提高三维视频编码效率，从而能够进一步获得较传统方法更高质量的虚拟视点视图。

在前述装置实施例的基础上，所述3DV服务器端，可以包括如下的图中未示出的结构：

第一重建单元，用于基于前向和后向运动矢量场，并利用所述解码重建结果对丢弃的深度图帧进行初始的深度重建；

本实施例中，所述第一重建单元，具体可以用于：

对于丢弃的每一个深度图帧D^V _n，通过改进的光流算法MOF计算T^V _n和T^V _n-1之间的前向运动矢量场以及T^V _n和T^V _n+1之间的后向运动矢量场其中，V∈{L,R}，L和R分别代表左非基视点和右非基视点，T^V _n，T^V _n-1和T^V _n+1分别表示该深度图帧D^V _n，该深度图帧D^V _n的前一时刻深度图帧D^V _n-1和后一时刻深度图帧D^V _n+1的相应的纹理图帧；

对于丢弃的每一个深度图帧D^V _n中的每一个像素点p，利用绝对差测量计算和T^V _n(p)的前向变化程度，以及和T^V _n(p)的后向变化程度，根据所述前向变化程度和后向变化程度确定像素点p的运动矢量参考集MERS，得到该深度图帧D^V _n的像素点p所对应的初始的深度重建以及初始的纹理重建像素点p的MERS表示为

其中，表示像素点p在该深度图帧D^V _n的前一时刻深度图帧D^V _n-1相应的纹理图帧T^V _n-1中的纹理参考像素，T^V _n(p)表示像素点p在该深度图帧D^V _n相应的纹理图帧T^V _n中的纹理参考像素，表示像素点p在该深度图帧D^V _n的后一时刻深度图帧D^V _n+1相应的纹理图帧T^V _n+1中的纹理参考像素，表示中像素点p的运动矢量，表示中像素点p的运动矢量，和分别为和的深度参考像素，表示该像素点的纹理参考，表示该像素点的深度参考，表示该像素点的运动矢量。

第一划分单元，用于基于得到的初始的深度重建将每一个丢弃的深度图帧划分成一个深度平滑区域以及一个深度非平滑区域；

本实施例中，所述第一划分单元，具体可以用于：

对于丢弃的每一个深度图帧D^V _n的每一个像素点p，根据以像素点p为中心的局部窗口内的所有空间邻域像素点对应的初始的深度重建计算标准差若判断获知该标准差大于预设的门限值则将像素点p归类于深度非平滑区域，或者若判断获知该标准差不大于所述门限值则将像素点p归类于深度平滑区域。

第二划分单元，用于将所述深度非平滑区域划分成可靠深度区域以及不可靠深度区域；

本实施例中，所述第二划分单元，具体可以用于：

对于所述深度非平滑区域中的每一个像素点p，计算和T^V _n(p)之间的差的绝对值，并根据所述绝对值将像素点p归类于可靠深度区域或不可靠深度区域。

第二重建单元，用于利用深度层以及区域共同约束的深度修正外延方法对所述不可靠深度区域进行最终的深度重建，并将除所述不可靠深度区域外其它区域的初始的深度重建作为最终的深度重建。

本实施例中，所述第二重建单元，具体可以用于：

对于所述不可靠深度区域中的每一个像素点p，利用λ_f(p)和λ_b(p)确定出像素点p的MERS的预测模式，方式如下：

根据所述预测模式重建像素点p的深度值，计算公式为

其中，为利用T^V _n-1内的像素点进行运动补偿得到的以像素点p为中心的局部邻域窗口内的可用像素点构成的集合，为利用T^V _n+1内的像素点进行运动补偿得到的内的可用像素点构成的集合，p_j为内的一个可用像素点，加权系数ω＜T^V _n＞(p，p_j)是基于解码的纹理图像获得的，计算公式为

dif＜T^V _n＞(p，p_j)|_R，dif＜T^V _n＞(p，p_j)|_G以及dif<T^V _n>(p，p_j)|_B分别是解码重建得到的纹理图像帧中像素点p和p_j之间红颜色分量、绿色分量和蓝色分量的强度差异；σ<T^V _n>|_R ²，σ<T^V _n>|_G ²和σ<T^V _n>|_B ²分别是解码重建得到的纹理图像帧中所有可用像素点p_j与像素点p的红颜色分量、绿颜色分量和蓝颜色分量的强度差值的方差，加权系数ω_S(p,p_j)是基

于像素点p和p_j之间的空间距离计算获得的，计算公式为

E_d(p，p_j)是像素点p和p_j之间的欧氏距离，σ_S ²是所有的像素点p和p_j之间的欧氏距离的方差，加权系数ω_E[λ_f(p),λ_b(p),p,p_j]是基于检测像素点p和p_j是否属于相同的深度层来计算得到的，计算公式为

和是像素点的深度层分类指示，计算公式为

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

本发明的说明书中，说明了大量具体细节。然而能够理解的是，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。类似地，应当理解，为了精简本发明公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释呈反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。本发明并不局限于任何单一的方面，也不局限于任何单一的实施例，也不局限于这些方面和/或实施例的任意组合和/或置换。而且，可以单独使用本发明的每个方面和/或实施例或者与一个或更多其他方面和/或其实施例结合使用。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (10)

1.一种基于深度时域下采样的三维视频编解码方法，其特征在于，包括：

S1、在编码端，将原始三视点纹理视频与相应的三视点深度图序列组成的MVD中的左、右两个NBV的深度图序列中的TL3时域层的深度图帧丢弃，编码所有的三视点纹理视频帧以及未丢弃的深度图帧，并对所有的三视点纹理图像帧以及未丢弃的深度图帧进行解码重建，利用解码重建结果重建出丢弃的深度图帧，利用原始的三视点深度图序列与重建出的深度图序列计算出维纳滤波器系数，将所述维纳滤波器系数与编码信息一起传送到解码端，其中，所述重建出的深度图序列包括未丢弃解码重建和丢弃重建的深度图帧，所述编码信息为所有的三视点纹理视频帧以及未丢弃的深度图帧的编码结果；

S2、在解码端，对所有的三视点纹理图像帧以及未丢弃的深度图帧进行解码重建，利用解码重建结果重建出丢弃的深度图帧，利用所述维纳滤波器系数对所述未丢弃解码重建和丢弃重建的深度图帧进行维纳滤波，利用维纳滤波的结果以及所有的三视点纹理图像帧的解码重建结果，并采用DIBR技术合成虚拟视点的虚拟视频。

2.根据权利要求1所述的方法，其特征在于，所述S1，包括：

S10、基于前向和后向运动矢量场，并利用所述解码重建结果对丢弃的深度图帧进行初始的深度重建；

S11、基于得到的初始的深度重建将每一个丢弃的深度图帧划分成一个深度平滑区域以及一个深度非平滑区域；

S12、将所述深度非平滑区域划分成可靠深度区域以及不可靠深度区域；

S13、利用深度层以及区域共同约束的深度修正外延方法对所述不可靠深度区域进行最终的深度重建，并将除所述不可靠深度区域外其它区域的初始的深度重建作为最终的深度重建。

3.根据权利要求2所述的方法，其特征在于，所述S10，包括：

对于丢弃的每一个深度图帧D^V _n，通过改进的光流算法MOF计算T^V _n和T^V _n-1之间的前向运动矢量场以及T^V _n和T^V _n+1之间的后向运动矢量场其中，V∈{L,R}，L和R分别代表左非基视点和右非基视点，T^V _n，T^V _n-1和T^V _n+1分别表示该深度图帧D^V _n，该深度图帧D^V _n的前一时刻深度图帧D^V _n-1和后一时刻深度图帧D^V _n+1的相应的纹理图帧；

对于丢弃的每一个深度图帧D^V _n中的每一个像素点p，利用绝对差测量计算和T^V _n(p)的前向变化程度，以及和T^V _n(p)的后向变化程度，根据所述前向变化程度和后向变化程度确定像素点p的运动矢量参考集MERS，得到该深度图帧D^V _n的像素点p所对应的初始的深度重建以及初始的纹理重建像素点p的MERS表示为

其中，表示像素点p在该深度图帧D^V _n的前一时刻深度图帧D^V _n-1相应的纹理图帧T^V _n-1中的纹理参考像素，T^V _n(p)表示像素点p在该深度图帧D^V _n相应的纹理图帧T^V _n中的纹理参考像素，表示像素点p在该深度图帧D^V _n的后一时刻深度图帧D^V _n+1相应的纹理图帧T^V _n+1中的纹理参考像素，表示中像素点p的运动矢量，表示中像素点p的运动矢量，和分别为和的深度参考像素，表示该像素点的纹理参考，表示该像素点的深度参考，表示该像素点的运动矢量。

4.根据权利要求3所述的方法，其特征在于，所述S11，包括：

对于丢弃的每一个深度图帧D^V _n的每一个像素点p，根据以像素点p为中心的局部窗口内的所有空间邻域像素点对应的初始的深度重建计算标准差若判断获知该标准差大于预设的门限值则将像素点p归类于深度非平滑区域，或者若判断获知该标准差不大于所述门限值则将像素点p归类于深度平滑区域。

5.根据权利要求4所述的方法，其特征在于，所述S12，包括：

对于所述深度非平滑区域中的每一个像素点p，计算和T^V _n(p)之间的ADS，并根据所述ADS将像素点p归类于可靠深度区域或不可靠深度区域。

6.根据权利要求5所述的方法，其特征在于，所述S13，包括：

对于所述不可靠深度区域中的每一个像素点p，利用λ_f(p)和λ_b(p)确定出像素点p的MERS的预测模式，方式如下：

根据所述预测模式重建像素点p的深度值，计算公式为

其中，为利用T^V _n-1内的像素点进行运动补偿得到的以像素点p为中心的局部邻域窗口内的可用像素点构成的集合，为利用T^V _n+1内的像素点进行运动补偿得到的内的可用像素点构成的集合，p_j为内的一个可用像素点，加权系数ω<T^V _n>(p,p_j)是基于解码的纹理图像获得的，计算公式为

式中，dif<T^V _n>(p,p_j)|_R，dif<T^V _n>(p,p_j)|_G以及dif<T^V _n>(p,p_j)|_B分别是解码重建得到的纹理图像帧中像素点p和p_j之间红颜色分量、绿色分量和蓝色分量的强度差异；σ<T^V _n>|_R ²，σ<T^V _n>|_G ²和σ<T^V _n>|_B ²分别是解码重建得到的纹理图像帧中所有可用像素点p_j与像素点p的红颜色分量、绿颜色分量和蓝颜色分量的强度差值的方差，加权系数ω_S(p,p_j)是基于像素点p和p_j之间的空间距离计算获得的，计算公式为

E_d(p,p_j)是像素点p和p_j之间的欧氏距离，σ_S ²是所有的像素点p和p_j之间的欧氏距离的方差，加权系数ω_E[λ_f(p),λ_b(p),p,p_j]是基于检测像素点p和p_j是否属于相同的深度层来计算得到的，计算公式为

和是像素点的深度层分类指示，计算公式为

7.根据权利要求6所述的方法，其特征在于，所述像素点p和p_j是否属于相同的深度层的判断过程为：

计算若判断获知 则确定p和p_j属于相同深度层，否则则确定p和p_j不属于相同深度层，其中，为像素点p_j的初始重建深度，记作内的所有初始重建的深度值的平均值。

8.一种基于深度时域下采样的三维视频编解码系统，其特征在于，包括：

3DV服务器端和3DV终端；其中，

所述3DV服务器端，用于将原始三视点纹理视频与相应的三视点深度图序列组成的MVD中的左、右两个NBV的深度图序列中的TL3时域层的深度图帧丢弃，编码所有的三视点纹理视频帧以及未丢弃的深度图帧，并对所有的三视点纹理图像帧以及未丢弃的深度图帧进行解码重建，利用解码重建结果重建出丢弃的深度图帧，利用原始的三视点深度图序列与重建出的深度图序列计算出维纳滤波器系数，将所述维纳滤波器系数与编码信息一起传送到所述3DV终端，其中，所述重建出的深度图序列包括未丢弃解码重建和丢弃重建的深度图帧，所述编码信息为所有的三视点纹理视频帧以及未丢弃的深度图帧的编码结果；

所述3DV终端，用于接收所述3DV服务器端传送的维纳滤波器系数与编码信息，对所有的三视点纹理图像帧以及未丢弃的深度图帧进行解码重建，利用解码重建结果重建出丢弃的深度图帧，利用所述维纳滤波器系数对所述未丢弃解码重建和丢弃重建的深度图帧进行维纳滤波，利用维纳滤波的结果以及所有的三视点纹理图像帧的解码重建结果，并采用DIBR技术合成虚拟视点的虚拟视频。

9.根据权利要求8所述的系统，其特征在于，所述3DV服务器端，包括：

第一重建单元，用于基于前向和后向运动矢量场，并利用所述解码重建结果对丢弃的深度图帧进行初始的深度重建；

第一划分单元，用于基于得到的初始的深度重建将每一个丢弃的深度图帧划分成一个深度平滑区域以及一个深度非平滑区域；

第二划分单元，用于将所述深度非平滑区域划分成可靠深度区域以及不可靠深度区域；

第二重建单元，用于利用深度层以及区域共同约束的深度修正外延方法对所述不可靠深度区域进行最终的深度重建，并将除所述不可靠深度区域外其它区域的初始的深度重建作为最终的深度重建。

10.根据权利要求9所述的系统，其特征在于，所述第一重建单元，具体用于：

对于丢弃的每一个深度图帧D^V _n，通过改进的光流算法MOF计算T^V _n和T^V _n-1之间的前向运动矢量场以及T^V _n和T^V _n+1之间的后向运动矢量场其中，V∈{L,R}，L和R分别代表左非基视点和右非基视点，T^V _n，T^V _n-1和T^V _n+1分别表示该深度图帧D^V _n，该深度图帧D^V _n的前一时刻深度图帧D^V _n-1和后一时刻深度图帧D^V _n+1的相应的纹理图帧；

对于丢弃的每一个深度图帧D^V _n中的每一个像素点p，利用绝对差测量计算和T^V _n(p)的前向变化程度，以及和T^V _n(p)的后向变化程度，根据所述前向变化程度和后向变化程度确定像素点p的运动矢量参考集MERS，得到该深度图帧D^V _n的像素点p所对应的初始的深度重建以及初始的纹理重建像素点p的MERS表示为

其中，表示像素点p在该深度图帧D^V _n的前一时刻深度图帧D^V _n-1相应的纹理图帧T^V _n-1中的纹理参考像素，T^V _n(p)表示像素点p在该深度图帧D^V _n相应的纹理图帧T^V _n中的纹理参考像素，表示像素点p在该深度图帧D^V _n的后一时刻深度图帧D^V _n+1相应的纹理图帧T^V _n+1中的纹理参考像素，表示中像素点p的运动矢量，表示中像素点p的运动矢量，和分别为和的深度参考像素，表示该像素点的纹理参考，表示该像素点的深度参考，表示该像素点的运动矢量；

所述第一划分单元，具体用于：

对于丢弃的每一个深度图帧D^V _n的每一个像素点p，根据以像素点p为中心的局部窗口内的所有空间邻域像素点对应的初始的深度重建计算标准差若判断获知该标准差大于预设的门限值则将像素点p归类于深度非平滑区域，或者若判断获知该标准差不大于所述门限值则将像素点p归类于深度平滑区域；

所述第二划分单元，具体用于：

对于所述深度非平滑区域中的每一个像素点p，计算和T^V _n(p)之间的差的绝对值，并根据所述绝对值将像素点p归类于可靠深度区域或不可靠深度区域；

所述第二重建单元，具体用于：

对于所述不可靠深度区域中的每一个像素点p，利用λ_f(p)和λ_b(p)确定出像素点p的MERS的预测模式，方式如下：

根据所述预测模式重建像素点p的深度值，计算公式为

其中，为利用T^V _n-1内的像素点进行运动补偿得到的以像素点p为中心的局部邻域窗口内的可用像素点构成的集合，为利用T^V _n+1内的像素点进行运动补偿得到的内的可用像素点构成的集合，p_j为内的一个可用像素点，加权系数ω<T^V _n>(p,p_j)是基于解码的纹理图像获得的，计算公式为

dif<T^V _n>(p,p_j)|_R，dif<T^V _n>(p,p_j)|_G以及dif<T^V _n>(p,p_j)|_B分别是解码重建得到的纹理图像帧中像素点p和p_j之间红颜色分量、绿色分量和蓝色分量的强度差异；σ<T^V _n>|_R ²，σ<T^V _n>|_G ²和σ<T^V _n>|_B ²分别是解码重建得到的纹理图像帧中所有可用像素点p_j与像素点p的红颜色分量、绿颜色分量和蓝颜色分量的强度差值的方差，加权系数ω_S(p,p_j)是基于像素点p和p_j之间的空间距离计算获得的，计算公式为

E_d(p,p_j)是像素点p和p_j之间的欧氏距离，σ_S ²是所有的像素点p和p_j之间的欧氏距离的方差，加权系数ω_E[λ_f(p),λ_b(p),p,p_j]是基于检测像素点p和p_j是否属于相同的深度层来计算得到的，计算公式为

和是像素点的深度层分类指示，计算公式为