CN102761765B - 一种用于三维立体视频的深度快速插帧方法 - Google Patents

Abstract

本发明涉及一种用于三维立体视频的深度快速插帧方法，属于视频处理领域。首先，根据深度视频的帧率选择彩色视频的编码结构，使待插帧的深度帧与彩色视频的B帧相对应；在解码端直接提取彩色视频的运动向量，用于找到待插入的深度宏块对应的参考宏块；使用改进的深度宏块填充算法对待插入的深度宏块进行填充。本发明的优点是利用了彩色视频做运动估计，并且使用改进的填充算法，极大的提高了深度视频插帧的质量，让恢复的深度视频具有更清晰的物体边缘和更好的局部平滑特性，得到更好的三维立体视觉效果。本发明直接读取的彩色视频的运动信息，从而省略了插帧时做运动估计的步骤，极大的提高了插帧的效率，更适合于实际工业应用。

Description

一种用于三维立体视频的深度快速插帧方法

技术领域

本发明涉及一种用于三维立体视频的深度快速插帧方法，属于视频处理技术领域。

背景技术

三维立体视频已经在众多应用中代替传统的二维彩色电视，因为它能够给用户带来全新的观看体验：用户可以获得更真实的三维场景体验和感受，可以自由地选择观看的视点并且随时在不同视点间进行切换。同传统二维视频相比，三维立体视频在视觉效果和用户交互性上的巨大优势，使得三维立体视频成为研究的热点，得到迅速发展和普及。

目前一种常用的三维立体视频显示技术为“视频+深度”技术：使用一路彩色视频来表达纹理信息，并且使用一路与其对应的深度视频来表达彩色视频中每个像素点的纵向深度信息。其中彩色视频为传统的彩色视频；深度视频是与彩色视频“像素-像素”对应的，且每个像素的值在0～255范围内的灰度视频。

实际应用中，要求深度视频具有和彩色视频相同的帧率，然而由于深度视频的采集设备、合成算法等的限制，采集到的深度视频通常具有较低的帧率。此外，出于三维立体视频压缩方面的考虑，深度视频也经常在压缩传输之前对其降低帧率，而在解码之后恢复帧率进行应用。综上所述，深度视频的插帧是其实际应用中非常重要的技术。深度视频的作用是给出每个像素点的深度信息，因此深度视频具有会对三维视觉效果造成影响的两个要求：1）深度图中的物体要求有清晰地边缘；2）一个物体内部，局部具有相同的深度值。在深度视频压缩的过程中，应该尽量保证上述两点，这样才能保证良好的三维效果，否则在合成立体效果的时候，会产生一些噪点。因此，深度视频插帧算法需要尽可能的保证以上两点要求。

作为一个传统的问题，视频插帧已经具有几十年的研究历史，其中插帧效果最好，最广泛应用的方法为基于块运动估计的帧填充算法。然而传统的基于块运动估计的帧填充算法具有一些明显的缺陷：1）运动估计的时间开销很大，从而导致插帧效率很低；2）直接利用深度视频进行运动估计不够准确。为了克服第二个问题，一些方法提出使用高帧率的彩色视频的来进行块运动估计，来得到更为准确的插帧效果。但使用彩色视频进行运动估计，进一步增大的了运动估计的时间开销。因此，为满足实际应用的要求，需要提出一个快速的深度视频插帧算法。本文算法，将插帧过程与视频编码过程结合起来，并且改进了插帧中的填充算法，最终在保证高插帧质量的情况下，大大提高了插帧速度。

发明内容

本发明的目的是提出一种用于三维立体视频的深度快速插帧方法，以应对各种原因造成的低帧率深度视频，既可应对采集设备造成的低帧率，也可处理由于深度图片合成速度较低只能合成关键帧的缺陷，并且可以用于为编码压缩深度视频而特意降低的深度视频帧率。

本发明提出的用于三维立体视频的深度快速插帧方法，包括以下步骤：

（1）设定一个三维立体视频中彩色视频的编码结构，使采集到的三维立体视频中深度视频帧与采集到的三维立体视频中彩色视频的I帧和P帧相对应，使待插的三维立体视频中深度视频帧与采集到的三维立体视频中彩色视频的B帧相对应，初始化待插的深度视频帧的每个像素点的深度值为-1；

（2）将上述三维立体视频中彩色视频的B帧分成多个4×4的彩色像素块，从三维立体视频彩色视频的码流中，读取彩色视频的B帧中每个彩色像素块在时序相邻的I帧或P帧中的对应的彩色像素块的位置改变量，若读取到对应的彩色像素块，则进行步骤（3），若读取不到相关信息，则与该彩色像素块相对应的待插深度像素块的每个像素点的深度值保持不变；

（3）根据上述读取的彩色像素块位置改变量，

（Ⅰ）若在时序相邻的前后I帧或P帧中存在一个对应的彩色像素块，则采用以下方法，对与该彩色像素块相对应的深度像素块进行填充，该方法包括以下步骤：

（3-1）设待插深度视频帧为D，待填充的深度像素块为K，与K对应的彩色像素块为与待插深度视频帧为D对应的彩色视频帧F中的像素块K′，从彩色视频的码流中读取K′在时序相邻的彩色视频帧F_R中对应的彩色像素块K_R′，设与彩色视频帧F_R对应的深度视频帧为D_R，得到深度视频帧D_R中位置与彩色像素块K_R′相同的深度像素块K_R；

（3-2）计算彩色像素块K′和K_R′中各对应的像素点颜色值差的绝对值的和，记为SAD，

$\mathrm{SAD}=\underset{i=0}{\overset{3}{\mathrm{\Σ}}}\underset{j=0}{\overset{3}{\mathrm{\Σ}}}\left|\right|c_{K^{\text{'}}}(i,j)-c_{{K_R}^{\text{'}}}(i,j)\left|\right|$

其中c_K′(i,j)表示彩色像素块K′中像素点(i,j)的颜色值，i为该彩色像素点在K′中的横坐标，j为该彩色像素点在K′中的纵坐标，为彩色像素块K_R′中像素点(i,j)的颜色值；

（3-3）设定一个判断阈值，判断阈值的取值为10～20之间的任意数，将上述SAD与判断阈值进行比较，若SAD小于判断阈值，则将深度像素块K_R填充到深度像素块K中，若SAD大于或等于判断阈值，则使用以下步骤进行填充：

（3-3-1）将像素块K_R扩展为8×8的超大深度像素块SB_R，并在彩色视频帧F_R中找的与超大深度像素块SB_R位置相同的超大彩色像素块SB_R′；

（3-3-2）设定一个彩色值变量c，变量c的取值范围为0～255，若超大彩色像素块SB_R′中至少有一个像素点的彩色值为c，则计算SB_R′中所有彩色值为c的像素点在超大深度像素块SB_R中对应的像素点的深度值的平均值，定义该平均值为dv[c]，并记录一个标志变量m[c]为1；若超大彩色像素块SB_R′中没有彩色值为c的像素点，则将平均值dv[c]赋值为零，标志变量m[c]赋值为0；

（3-3-3）从与待填充的深度像素块K相对应的彩色像素块K′中，找到彩色像素点(u,v)的彩色值c(u,v)，定义g为一个高斯核，Ω为以c(u,v)为中心的颜色搜索范围，根据上述计算得到的平均值dv[c]和标志变量m[c]，计算两个中间变量：

depthSum＝Σ_c∈Ωdv(c)m(c)g(||c-c(u,v)||)

weightSum＝Σ_c∈Ωm(c)g(||c-c(u,v)||)

对两个中间值进行判断，若weightSum≠0，则待填充的深度像素块K中深度像素点(u,v)的深度值d(u,v)为：并进行以下步骤（Ⅱ），

若weightSum＝0，则将待填充的深度像素块K中深度像素点(u,v)的深度值d(u,v)标记为-1，并进行步骤（4）；

（Ⅱ）若在时序相邻的前后I帧或P帧中同时存在两个对应的彩色像素块，则采用以下方法对与该彩色像素块对应的深度像素块进行填充：

设待填充的深度像素块为K，d(x,y)表示K中的像素点(x,y)的深度值，其中x为该深度像素点在K中的横坐标，y为该深度像素点在K中的纵坐标，

采用步骤（Ⅰ）的方法，计算时序相邻的前、后两个待填充深度像素块K中像素点(x,y)的深度填充值d_f(x,y)和d_b(x,y)，对深度填充值d_f(x,y)和d_b(x,y)进行判断，得到待填充深度像素块K中像素点(x,y)的最终深度值d(x,y)为：

若d_f(x,y)和d_b(x,y)都为-1，则d(x,y)保持不变；

若d_f(x,y)不等于-1，且d_b(x,y)等于-1，则使d(x,y)等于d_f(x,y)；

若d_b(x,y)不等于-1且d_f(x,y)等于-1，则使d(x,y)等于d_b(x,y)；

若d_f(x,y)和d_b(x,y)同时不等于-1，则使d(x,y)为：

$d(x,y)=\frac{T_b}{T_f+T_b}{d}_f(x,y)+\frac{T_f}{T_f+T_b}{d}_b(x,y)$

其中T_f和T_b分别表示时序相邻的前、后I帧或P帧与彩色视频帧F的时间间隔长度；

（4）对经过上述步骤（3）的（Ⅰ）和（Ⅱ）中得到的深度视频帧中深度值为-1的像素点，使用下面方法进行填充：其中，已知像素点[l]表示待插入像素点上、下、左、右四个方向上最相邻的深度值不为-1的像素点，l＝1,2,3,4，权重[l]为已知像素点[l]的权重，该权重为归一化后的相似度，相似度的定义如下：

其中，

颜色差[l]＝|已知像素点[l]在彩色视频帧F中对应像素点的颜色值

-待插像素点在彩色视频帧F中对应像素点的颜色值|，

距离[l]＝|待插像素点的行位置-已知像素点[l]的行位置|

+|待插像素点的列位置-已知像素点[l]的列位置|。

本发明提出的用于三维立体视频的深度快速插帧方法，其优点是：

1、本发明的用于三维立体视频的深度快速插帧方法中，使用对应的彩色视频的运动信息来进行插帧，具有更高的准确率。深度视频本身具有比较的纹理信息，从而进行运动估计的时候不够准确；此外，物体纵向运动，会造成深度值的变化，从而影响运动估计；最后，采集到的深度视频是低帧率，而其运动估计是基于一些对运动的简单假设，而彩色视频具有高帧率，待插深度帧对应的彩色帧为真实存在的，使用它进行运动估计，更为可靠。

2、本发明的用于三维立体视频的深度快速插帧方法中，直接从编码器端读出彩色视频的运动信息，从而大大减小了运动估计的时间开销。作为传统的视频插帧的时间瓶颈，运动估计过程也存在于编码器的编码过程中。本发明算法将两者结合起来，充分利用编码器所做的运动估计计算，从而极大的提高了深度视频插帧的效率。

3、本发明的用于三维立体视频的深度快速插帧方法中，提出了一个颜色映射深度填充算法，该方法在局部为每个颜色映射一个深度值。这种方法是建立在深度图片的一个重要的特征之上：同一物体在局部具有相同的深度值，具有很高的合理性。使用这种方法，保证了深度填充的准确性，因为使用这种方法能够使用宏块内部物体边缘的形变等影响。并且该算法进一步保证了运动估计的可靠性，因为当运动估计不准确的情况下，一个颜色无法找到对应的深度值。

附图说明

图1是本发明提出的用于三维立体视频的深度快速插帧方法的流程框图。

图2是本发明方法中彩色视频编码结构选择示意图（深度视频每三帧采集到一帧）。

图3是本发明方法中像素块填充算法。

图4是本发明方法中颜色映射深度填充算法示意图。

具体实施方法

本发明提出的用于三维立体视频的深度快速插帧方法，其流程框图如图1所示，包括以下步骤：

（1）设定一个三维立体视频中彩色视频的编码结构，使采集到的三维立体视频中深度视频帧与采集到的三维立体视频中彩色视频的I帧和P帧相对应，使待插的三维立体视频中深度视频帧与采集到的三维立体视频中彩色视频的B帧相对应，初始化待插的深度视频帧的每个像素点的深度值为-1；

例如，三维立体视频中深度视频中每三个深度视频帧采集到其中的一帧，而另外两个深度视频帧需要通过插帧得到，那么在H.264/AVC编码标准下，三维立体视频中彩色视频的编码采用如图2所示的编码结构，令采集到的深度视频帧对应彩色视频的I帧和P帧，而待插的深度视频帧对应彩色视频的B帧；

本发明设定三维立体视频中彩色视频的编码结构的目的是，让采集到的深度视频帧用于计算待插的深度视频帧，从而保证较好的深度视频插帧质量。此外，通过插帧得到的深度视频帧对应彩色视频的B帧，因此插帧得到的深度视频帧不会再用来计算其他的深度视频帧，从而不会造成错误累积的问题；

（2）将上述三维立体视频中彩色视频的B帧分成多个4×4的彩色像素块，彩色视频的B帧的4×4像素块可以分为帧内预测的像素块，和帧间预测的像素块两种。帧内预测的像素块在时许相邻的I帧或P帧中不存在对应的彩色像素块，帧间预测的像素块在时序相邻的I帧或P帧中存在对应的一个或者两个彩色像素块。从三维立体视频彩色视频的码流中，读取彩色视频的B帧中每个彩色像素块在时序相邻的I帧或P帧中的对应的彩色像素块的位置改变量，若读取到对应的彩色像素块，则该像素块为帧间预测的像素块，则进行步骤（3），若读取不到相关信息，则该像素块为帧内预测的像素块，而与该彩色像素块相对应的待插深度像素块的每个像素点的深度值保持不变；

此处选择4×4作为彩色像素块的大小，是因为在H.264/AVC标准中，4×4为编码处理过程中用到的最小的像素块，而其他尺寸的像素块可以看做是多个4×4像素块拼合而成，例如8×8的像素块可以看成是四个4×4的像素块组成的；

（3）根据上述读取的彩色像素块位置改变量，

（Ⅰ）若在时序相邻的前后I帧或P帧中存在一个对应的彩色像素块，则采用以下方法，对与该彩色像素块相对应的深度像素块进行填充，该方法如图3所示，包括以下步骤：

（3-1）设待插深度视频帧为D，待填充的深度像素块为K，与K对应的彩色像素块为与待插深度视频帧为D对应的彩色视频帧F中的像素块K′，从彩色视频的码流中读取K′在时序相邻的彩色视频帧F_R中对应的彩色像素块K_R′，设与彩色视频帧F_R对应的深度视频帧为D_R，得到深度视频帧D_R中位置与彩色像素块K_R′相同的深度像素块K_R；

（3-2）计算彩色像素块K′和K_R′中各对应的像素点颜色值差的绝对值的和，记为SAD，

$\mathrm{SAD}=\underset{i=0}{\overset{3}{\mathrm{\Σ}}}\underset{j=0}{\overset{3}{\mathrm{\Σ}}}\left|\right|c_{K^{\text{'}}}(i,j)-c_{{K_R}^{\text{'}}}(i,j)\left|\right|$

其中c_K′(i,j)表示彩色像素块K′中像素点(i,j)的颜色值，i为该彩色像素点在K′中的横坐标，j为该彩色像素点在K′中的纵坐标，为彩色像素块K_R′中像素点(i,j)的颜色值；

（3-3）设定一个判断阈值，判断阈值的取值为10～20之间的任意数，将上述SAD与判断阈值进行比较，若SAD小于判断阈值，则将深度像素块K_R填充到深度像素块K中，若SAD大于或等于判断阈值，则使用以下步骤进行填充，如图4所示：

（3-3-1）将像素块K_R扩展为8×8的超大深度像素块SB_R，并在彩色视频帧F_R中找的与超大深度像素块SB_R位置相同的超大彩色像素块SB_R′，这样做的目的是因为的4×4像素块范围太小，很难找到比较可靠的颜色值到深度值的映射，而8×8的像素块相对鲁棒，并且在8×8像素块范围内物体也同样具有局部的彩色值平滑性；

（3-3-2）设定一个彩色值变量c，变量c的取值范围为0～255，若超大彩色像素块SB_R′中至少有一个像素点的彩色值为c，则计算SB_R′中所有彩色值为c的像素点在超大深度像素块SB_R中对应的像素点的深度值的平均值，定义该平均值为dv[c]，并记录一个标志变量m[c]为1；若超大彩色像素块SB_R′中没有彩色值为c的像素点，则将平均值dv[c]赋值为零，标志变量m[c]赋值为0；

（3-3-3）从与待填充的深度像素块K相对应的彩色像素块K′中，找到彩色像素点(u,v)的彩色值c(u,v)，定义g为一个高斯核，Ω为以c(u,v)为中心的颜色搜索范围，根据上述计算得到的平均值dv[c]和标志变量m[c]，计算两个中间变量：

depthSum＝Σ_c∈Ωdv(c)m(c)g(||c-c(u,v)||)

weightSum＝Σ_c∈Ωm(c)g(||c-c(u,v)||)

对两个中间值进行判断，若weightSum≠0，则待填充的深度像素块K中深度像素点(u,v)的深度值d(u,v)为：并进行以下步骤（Ⅱ），

若weightSum＝0，则将待填充的深度像素块K中深度像素点(u,v)的深度值d(u,v)标记为-1，并进行步骤（4）；

（Ⅱ）若在时序相邻的前后I帧或P帧中同时存在两个对应的彩色像素块，则采用以下方法对与该彩色像素块对应的深度像素块进行填充：

设待填充的深度像素块为K，d(x,y)表示K中的像素点(x,y)的深度值，其中x为该深度像素点在K中的横坐标，y为该深度像素点在K中的纵坐标，

采用步骤（Ⅰ）的方法，计算时序相邻的前、后两个待填充深度像素块K中像素点(x,y)的深度填充值d_f(x,y)和d_b(x,y)，对深度填充值d_f(x,y)和d_b(x,y)进行判断，得到待填充深度像素块K中像素点(x,y)的最终深度值d(x,y)为：

若d_f(x,y)和d_b(x,y)都为-1，则d(x,y)保持不变；

若d_f(x,y)不等于-1，且d_b(x,y)等于-1，则使d(x,y)等于d_f(x,y)；

若d_b(x,y)不等于-1且d_f(x,y)等于-1，则使d(x,y)等于d_b(x,y)；

若d_f(x,y)和d_b(x,y)同时不等于-1，则使d(x,y)为：

$d(x,y)=\frac{T_b}{T_f+T_b}{d}_f(x,y)+\frac{T_f}{T_f+T_b}{d}_b(x,y)$

其中T_f和T_b分别表示时序相邻的前、后I帧或P帧与彩色视频帧F的时间间隔长度；

（4）对经过上述步骤（3）的（Ⅰ）和（Ⅱ）中得到的深度视频帧中深度值为-1的像素点，这是因为存在这些像素点所在的像素块对应的彩色像素块在是与相邻的彩色视频的I帧或P帧不存在对应的像素块，或者这些像素点使用（3-3-1）至（3-3-3）步骤不能找到适合的深度值进行填充，对这些像素点使用下面方法进行填充：

其中，已知像素点[l]表示待插入像素点上、下、左、右四个方向上最相邻的深度值不为-1的像素点，l＝1,2,3,4，权重[l]为已知像素点[l]的权重，该权重为归一化后的相似度，相似度的定义如下：

其中，

颜色差[l]＝|已知像素点[l]在彩色视频帧F中对应像素点的颜色值

-待插像素点在彩色视频帧F中对应像素点的颜色值|，

距离[l]＝|待插像素点的行位置-已知像素点[l]的行位置|

+|待插像素点的列位置-已知像素点[l]的列位置|。

Claims (1)

1.一种用于三维立体视频的深度快速插帧方法，其特征在于该方法包括以下步骤：

（1）设定一个三维立体视频中彩色视频的编码结构，使采集到的三维立体视频中深度视频帧与采集到的三维立体视频中彩色视频的I帧和P帧相对应，使待插的三维立体视频中深度视频帧与采集到的三维立体视频中彩色视频的B帧相对应，初始化待插的深度视频帧的每个像素点的深度值为-1；

（2）将上述三维立体视频中彩色视频的B帧分成多个4×4的彩色像素块，从三维立体视频彩色视频的码流中，读取彩色视频的B帧中每个彩色像素块在时序相邻的I帧或P帧中的对应的彩色像素块的位置改变量，若读取到对应的彩色像素块，则进行步骤（3），若读取不到相关信息，则与该彩色像素块相对应的待插深度像素块的每个像素点的深度值保持不变；

（3）根据上述读取的彩色像素块位置改变量，

（Ⅰ）若在时序相邻的前后I帧或P帧中存在一个对应的彩色像素块，则采用以下方法，对与该彩色像素块相对应的深度像素块进行填充，该方法包括以下步骤：

（3-1）设待插深度视频帧为D，待填充的深度像素块为K，与K对应的彩色像素块为与待插深度视频帧为D对应的彩色视频帧F中的像素块K′，从彩色视频的码流中读取K′在时序相邻的彩色视频帧F_R中对应的彩色像素块K_R′，设与彩色视频帧F_R对应的深度视频帧为D_R，得到深度视频帧D_R中位置与彩色像素块K_R′相同的深度像素块K_R；

（3-2）计算彩色像素块K′和K_R′中各对应的像素点颜色值差的绝对值的和，记为SAD，

$\mathrm{SAD}=\underset{i=0}{\overset{3}{\mathrm{\Σ}}}\underset{j=0}{\overset{3}{\mathrm{\Σ}}}\left|\right|c_{K^{\text{'}}}(i,j)-c_{{K_R}^{\text{'}}}(i,j)\left|\right|$

其中c_K′(i,j)表示彩色像素块K′中像素点(i,j)的颜色值，i为该彩色像素点在K′中的横坐标，j为该彩色像素点在K′中的纵坐标，为彩色像素块K_R′中像素点(i,j)的颜色值；

（3-3）设定一个判断阈值，判断阈值的取值为10～20之间的任意数，将上述SAD与判断阈值进行比较，若SAD小于判断阈值，则将深度像素块K_R填充到深度像素块K中，若SAD大于或等于判断阈值，则使用以下步骤进行填充：

（3-3-1）将像素块K_R扩展为8×8的超大深度像素块SB_R，并在彩色视频帧F_R中找的与超大深度像素块SB_R位置相同的超大彩色像素块SB_R′；

（3-3-2）设定一个彩色值变量c，变量c的取值范围为0～255，若超大彩色像素块SB_R′中至少有一个像素点的彩色值为c，则计算SB_R′中所有彩色值为c的像素点在超大深度像素块SB_R中对应的像素点的深度值的平均值，定义该平均值为dv[c]，并记录一个标志变量m[c]为1；若超大彩色像素块SB_R′中没有彩色值为c的像素点，则将平均值dv[c]赋值为零，标志变量m[c]赋值为0；

（3-3-3）从与待填充的深度像素块K相对应的彩色像素块K′中，找到彩色像素点(u,v)的彩色值c(u,v)，定义g为一个高斯核，Ω为以c(u,v)为中心的颜色搜索范围，根据上述计算得到的平均值dv[c]和标志变量m[c]，计算两个中间变量：

depthSum＝Σ_c∈Ωdv(c)m(c)g(||c-c(u,v)||)

weightSum＝Σ_c∈Ωm(c)g(||c-c(u,v)||)

对两个中间值进行判断，若weightSum≠0，则待填充的深度像素块K中深度像素点(u,v)的深度值d(u,v)为：并进行以下步骤（Ⅱ），

若weightSum＝0，则将待填充的深度像素块K中深度像素点(u,v)的深度值d(u,v)标记为-1，并进行步骤（4）；

（Ⅱ）若在时序相邻的前后I帧或P帧中同时存在两个对应的彩色像素块，则采用以下方法对与该彩色像素块对应的深度像素块进行填充：

设待填充的深度像素块为K，d(x,y)表示K中的像素点(x,y)的深度值，其中x为该深度像素点在K中的横坐标，y为该深度像素点在K中的纵坐标，

采用步骤（Ⅰ）的方法，计算时序相邻的前、后两个待填充深度像素块K中像素点(x,y)的深度填充值d_f(x,y)和d_b(x,y)，对深度填充值d_f(x,y)和d_b(x,y)进行判断，得到待填充深度像素块K中像素点(x,y)的最终深度值d(x,y)为：

若d_f(x,y)和d_b(x,y)都为-1，则d(x,y)保持不变；

若d_f(x,y)不等于-1，且d_b(x,y)等于-1，则使d(x,y)等于d_f(x,y)；

若d_b(x,y)不等于-1且d_f(x,y)等于-1，则使d(x,y)等于d_b(x,y)；

若d_f(x,y)和d_b(x,y)同时不等于-1，则使d(x,y)为：

$d(x,y)=\frac{T_b}{T_f+T_b}{d}_f(x,y)+\frac{T_f}{T_f+T_b}{d}_b(x,y)$

其中T_f和T_b分别表示时序相邻的前、后I帧或P帧与彩色视频帧F的时间间隔长度；

（4）对经过上述步骤（3）的（Ⅰ）和（Ⅱ）中得到的深度视频帧中深度值为-1的像素点，使用下面方法进行填充：其中，已知像素点[l]表示待插入像素点上、下、左、右四个方向上最相邻的深度值不为-1的像素点，l＝1,2,3,4，权重[l]为已知像素点[l]的权重，该权重为归一化后的相似度，相似度的定义如下：

其中，

颜色差[l]＝|已知像素点[l]在彩色视频帧F中对应像素点的颜色值

-待插像素点在彩色视频帧F中对应像素点的颜色值|，

距离[l]＝|待插像素点的行位置-已知像素点[l]的行位置|

+|待插像素点的列位置-已知像素点[l]的列位置|。