CN106060511A - 基于深度图的立体视频补全方法及系统 - Google Patents

Abstract

本发明提供了一种基于深度图的立体视频补全方法及系统，其中，方法包括：获取源视频、与源视频对应的源视频深度图视频序列以及预设的目标视频的参数，源视频与目标视频之间存在水平位移；根据源视频、源视频深度图视频序列以及目标视频的参数，合成目标视频序列；计算目标视频序列中的每帧图像之间的相对运动参数，并根据相对运动参数将当前帧内的空洞区域投影到相邻帧，利用相邻帧内已有的信息对当前帧内的空洞区域进行填充。本发明在能够对在合成目标视频的过程中产生的空洞自动进行填充，避免了人工补全操作，大大降低了立体视频的制作成本，填充精度高，方法简单，便于实现。

Description

基于深度图的立体视频补全方法及系统

技术领域

本发明涉及图像处理技术领域，特别涉及一种基于深度图的立体视频补全方法及系统。

背景技术

随着3D影视业的迅速发展，人们对立体视频需求越来越旺盛。近些年，机器学习技术的发展飞快，使得通过单视角图像恢复图像深度的技术变得越来越成熟，通过一段视频来获取其对应深度图视频也因此变得可行。

目前，通过源视频及其对应的深度图，可以合成另一视角的视频序列，从而可以将以前拍摄的传统2D电影电视转换成立体电影电视。在转换过程中，根据已知的视频序列及其对应的深度图、以及给出的同水平线上的另一个视角参数，可以合成目标视角的视频，但是因为遮挡等原因，合成的视频中会出现比较多的空洞，需要后期人工进行填充。由于人工操作复杂，工作量较大，所以导致了后期人工制作成本较高，而且视频填充的质量也无法保证。

发明内容

为解决上述技术问题，克服现有技术水平的缺点和不足，本发明提供一种基于深度图的立体视频补全方法及系统，在提供的源视频序列及源视频对应的深度图序列的基础上，根据设置的目标视频参数，合成对应的目标视图序列，并对在合成目标视频的过程中产生的空洞自动进行填充，使合成的视频每帧保证完整。

本发明提供的一种基于深度图的立体视频补全方法，包括以下步骤：

获取源视频、与所述源视频对应的源视频深度图视频序列以及预设的目标视频的参数，所述源视频与所述目标视频之间存在水平位移；

根据所述源视频、源视频深度图视频序列以及目标视频的参数，合成目标视频序列；

计算所述目标视频序列中的每帧图像之间的相对运动参数，并根据所述相对运动参数将当前帧内的空洞区域投影到相邻帧，利用所述相邻帧内已有的信息对当前帧内的空洞区域进行填充。

作为一种可实施方式，所述根据源视频、源视频深度图视频序列以及目标视频的参数，合成目标视频序列，包括以下步骤：

根据所述源视频深度图视频序列和所述目标视频的参数，生成所述源视频的视差图；

根据所述源视频的视差图获得所述源视频中的每帧图像的视差图，并将所述源视频中的每帧图像的视差图在所述目标视频中进行映射，生成目标视差图；

对所述目标视差图进行行扫描，并采用两侧边缘信息中视差较小的点对所述目标视差图中的空洞进行填充；

根据填充后的所述目标视差图，计算所述目标视频在所述源视频中的对应点，并将所述对应点的信息填充到所述目标视频中，得到所述目标视频序列。

作为一种可实施方式，若所述源视频的视差图中有多点映射到所述目标视频中的同一点，选择视差最大的值作为所述目标视差图的值。

作为一种可实施方式，所述计算目标视频序列中的每帧图像之间的相对运动参数，并根据所述相对运动参数将当前帧内的空洞区域投影到相邻帧，利用所述相邻帧内已有的信息对当前帧内的空洞区域进行填充，包括以下步骤：

提取所述源视频中每帧图像中的特征点并进行匹配，得到所述源视频中任意两帧之间的仿射变换矩阵；

采用数据项和置信项的乘积进行排序，计算所述目标视频序列中待填充的空洞区域的填充顺序；

根据所述仿射变换矩阵，将所述空洞区域中的当前待填充块的中心点的坐标投影到相邻的帧中，并以投影点所在的位置为中心，在预设区域内根据所述当前待填充块中已知点的信息，查找与所述当前待填充块距离最小的样本块及其对应的样本距离；

对查找到的不同帧中的样本块及其对应的样本距离进行加权处理，得到最小距离值；其中，权重与所述样本块所在的帧与当前待填充块所在的帧之间的距离成正比；

比较所述最小距离值，如果所述最小距离值小于设定的距离阈值，则将所述最小距离值对应的样本块中的信息填充到所述当前待填充块中。

作为一种可实施方式，在计算所述目标视频序列中的每帧图像之间的相对运动参数，并根据所述相对运动参数将当前帧内的空洞区域投影到相邻帧，利用所述相邻帧内已有的信息对当前帧内的空洞区域进行填充，之后还包括以下步骤：

针对所述目标视频序列中每帧图像中剩余的未知信息，以区块为单位，在所述目标视频序列中寻找与此区块距离最小的块，将其信息复制到该区块中进行填充。

相应地，本发明还提供一种基于深度图的立体视频补全系统，包括获取模块、合成模块以及补全模块；

所述获取模块，用于获取源视频、与所述源视频对应的源视频深度图视频序列以及预设的目标视频的参数，所述源视频与所述目标视频之间存在水平位移；

所述合成模块，用于根据所述源视频、源视频深度图视频序列以及目标视频的参数，合成目标视频序列；

所述补全模块，用于计算所述目标视频序列中的每帧图像之间的相对运动参数，并根据所述相对运动参数将当前帧内的空洞区域投影到相邻帧，利用所述相邻帧内已有的信息对当前帧内的空洞区域进行填充。

作为一种可实施方式，所述合成模块包括第一生成单元、第二生成单元、第一填充单元以及第一计算单元；

所述第一生成单元，用于根据所述源视频深度图视频序列和所述目标视频的参数，生成所述源视频的视差图；

所述第二生成单元，用于根据所述源视频的视差图获得所述源视频中的每帧图像的视差图，并将所述源视频中的每帧图像的视差图在所述目标视频中进行映射，生成目标视差图；

所述第一填充单元，用于对所述目标视差图进行行扫描，并采用两侧边缘信息中视差较小的点对所述目标视差图中的空洞进行填充；

所述第一计算单元，用于根据填充后的所述目标视差图，求出所述目标视频在所述源视频中的对应点，并将所述对应点的信息填充到所述目标视频中，得到所述目标视频序列。

作为一种可实施方式，所述合成模块还包括选取单元；

所述选取单元，用于在所述源视频的视差图中有多点映射到所述目标视频中的同一点时，选择视差最大的值作为所述目标视差图的值。

作为一种可实施方式，所述补全模块包括提取单元、第二计算单元、查找单元、处理单元以及比较单元；

所述提取单元，用于提取所述源视频中每帧图像中的特征点并进行匹配，得到所述源视频中任意两帧之间的仿射变换矩阵；

所述第二计算单元，用于采用数据项和置信项的乘积进行排序，计算所述目标视频序列中待填充的空洞区域的填充顺序；

所述查找单元，用于根据所述仿射变换矩阵，将所述空洞区域中的当前待填充块的中心点的坐标投影到相邻的帧中，并以投影点所在的位置为中心，在预设区域内根据所述当前待填充块中已知点的信息，查找与所述当前待填充块距离最小的样本块及其对应的样本距离；

所述处理单元，用于对查找到的不同帧中的样本块及其对应的样本距离进行加权处理，得到最小距离值；其中，权重与所述样本块所在的帧与当前待填充块所在的帧之间的距离成正比；

所述比较单元，用于比较所述最小距离值，如果所述最小距离值小于设定的距离阈值，则将所述最小距离值对应的样本块中的信息填充到所述当前待填充块中。

作为一种可实施方式，本发明的基于深度图的立体视频补全系统，还包括填充模块；

所述填充模块，用于针对所述目标视频序列中每帧图像中剩余的未知信息，以区块为单位，在所述目标视频序列中寻找与此区块距离最小的块，将其信息复制到该区块中进行填充。

本发明相比于现有技术的有益效果在于：

本发明提供的基于深度图的立体视频补全方法及系统，在提供的源视频序列及源视频对应的深度图序列的基础上，根据设置的目标视频参数，合成对应的目标视频序列，并对在合成目标视频的过程中产生的空洞自动进行填充，使合成的视频每帧保证完整，避免了视频制作后期的人工补全操作，大大降低了立体视频的制作成本，填充精度高，方法简单，便于实现。

附图说明

图1为本发明提供的基于深度图的立体视频补全方法的一实施例的流程示意图；

图2是本发明提供的基于深度图的立体视频补全系统的一实施例的结构示意图。

具体实施方式

以下结合附图，对本发明上述的和另外的技术特征和优点进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的部分实施例，而不是全部实施例。

参见图1，本发明提供了一种基于深度图的立体视频补全方法，包括以下步骤：

S100、获取源视频、与源视频对应的源视频深度图视频序列以及预设的目标视频的参数，源视频与目标视频之间存在水平位移；

S200、根据源视频、源视频深度图视频序列以及目标视频的参数，合成目标视频序列；

S300、计算目标视频序列中的每帧图像之间的相对运动参数，并根据相对运动参数将当前帧内的空洞区域投影到相邻帧，利用相邻帧内已有的信息对当前帧内的空洞区域进行填充。

从给定的源视频深度图视频序列，可以求出对应的视差图像，其转化公式为：其中B为两摄像机光心的距离，在这里可以用瞳距代替，f表示摄像机的焦距。此处设定在拍摄过程中，两个摄像机的焦距值一致并且在拍摄过程中保持不变，z表示图像点所对应的真实世界坐标系的点的深度。

源视频中的点与其在目标视频中对应的点，其坐标满足关系：

X₁-X_r＝d (1)

其中d为该点的视差。X₁和X_r表示源视频和目标视频中的对应点。视差图中的对应点同样满足该关系：X_dr＝X_d1-d，其中X_d1表示X₁在视差图中的对应点，X_dr表示X_r在视差图中的对应点，d表示对应视差，由此表达式正向投影得到目标视差图中各点的视差，具体实现步骤为：对于源视频的视差图中的同一行，按照视差值从大到小的顺序进行投影。即先选择视差值大的点，计算出目标视差图中的对应点位置，并赋予该点同样的视差值。然后依次选择其它视差值小的点，如果出现计算得到的点的位置已经在前面视差大的点计算过程中出现，那么这点将忽略不计，因为此点已经被前景点覆盖。对于目标视差图中的空洞，行方向进行扫描，比较空洞两侧边缘信息，用视差较小的点进行填充。

具体地，S200包括以下步骤：

S210、根据源视频深度图视频序列和目标视频的参数，生成源视频的视差图；

S220、根据源视频的视差图获得源视频中的每帧图像的视差图，并将源视频中的每帧图像的视差图在目标视频中进行映射，生成目标视差图；

S230、对目标视差图进行行扫描，并采用两侧边缘信息中视差较小的点对目标视差图中的空洞进行填充；

S240、根据填充后的目标视差图，计算目标视频在源视频中的对应点，并将对应点的信息填充到目标视频中，得到目标视频序列。

需要说明的是，若源视频的视差图中有多点映射到目标视频中的同一点，选择视差最大的值作为目标视差图的值。

根据上述公式(1)，及得到的目标视差图，计算目标视频图像中的点X_r在源视频图像中的对应点X₁的位置，将X₁的灰度值填充到目标视频图像中的点X_r中，得到目标视频序列。

作为一种可实施方式，S300包括以下步骤：

S310、提取源视频中每帧图像中的特征点并进行匹配，得到源视频中任意两帧之间的仿射变换矩阵；

S320、采用数据项和置信项的乘积进行排序，计算目标视频序列中待填充的空洞区域的填充顺序；

S330、根据仿射变换矩阵，将空洞区域中的当前待填充块的中心点的坐标投影到相邻的帧中，并以投影点所在的位置为中心，在预设区域内根据当前待填充块中已知点的信息，查找与当前待填充块距离最小的样本块及其对应的样本距离；

S340、对查找到的不同帧中的样本块及其对应的样本距离进行加权处理，得到最小距离值；其中，权重与样本块所在的帧与当前待填充块所在的帧之间的距离成正比；

S350、比较最小距离值，如果最小距离值小于设定的距离阈值，则将最小距离值对应的样本块中的信息填充到当前待填充块中。

针对目标视频序列中每帧图像中剩余的未知信息，以区块为单位，在目标视频序列中寻找与此区块距离最小的块，将其信息复制到该区块中进行填充。

本实施例对于目标视频图像中的空洞，采用基于样本的方式对空洞进行填充。在填充之前，先计算源输入视频图像中每两帧之间的位置关系，用仿射变换表示。

用M_i,i+1表示相邻帧的仿射变换矩阵，下标i和j均表示帧号，则根据仿射变换的传递性，可以得到任意两帧之间的仿射变换为：

M_i,j＝M_i,i+1M_i+1,i+2...M_j-1,j (2)

对于仿射变换矩阵的求取，采用先提取特征点并进行匹配，然后利用匹配结果，结合最小二乘法计算得到仿射变换矩阵。

进一步地，对于目标视频序列中的空洞区域采用数据项和置信项的乘积进行排序确定其填充顺序。其中置信项由当前块中所有非空洞点的置信度之和决定，定义初始图像中，已知点的置信度为1，未知点的置信度为0，在填充的过程中，对填充点的置信度(初始值为0)进行更新，填充点的置信度由填充区域内所有已知点的置信度之和除以区域面积得到，即有较多已知点信息的待填充块将靠前被填充；数据项是由中心点处边缘的法向量值与等照度值的乘积。

具体填充过程可以采用分块填充的方法实施，例如：首先，在目标图像空洞区域选中当前待填充块P_r，根据其中心点坐标P_cr，由上述公式(1)计算出其在对应源视频图像中的对应点P_c1，再根据上述公式(2)，将P_c1投影到前N帧图像及后N帧图像中，其对应点记为P_cl，i，其中下标i表示帧号。对此2N帧中的任意帧i，以P_cl，i为中心，选择一个大小为[2*W+1,2*W+1]的窗口区域，W为选择匹配块时定义的搜索区域大小，其值最大可以取到使搜索区域为整个图像。但是为了保证算法的效率，可以适当的缩小搜索范围，取值为块大小的10-20倍。在此窗口区域范围内，寻找距离与当前待填充块P_r距离最小的样本块，其距离计算方法为求P_r中所有已知信息的点与其在第i帧图像中待匹配块中对应点的SAD值之和，对于选取窗口中的所有块，取SAD和最小的样本块为距离最小样本块，记下该样本块的中心坐标Qⁱ和最小距离这样将得到2N个待匹配样本和其对应的最小距离。

考虑到2N个匹配样本块来源于不同帧，在时序上与当前目标视频的图像有差异。因此，对2N个样本块取不同的权重W_i，W_i＝|i-N+1|，距离目标帧时序越远的帧，其W_i越大。在2N中，计算选择距离最小的样本块，为待选的匹配样本块。将此样本块对应的最小距离值与预先设定的距离阈值进行比较，如果小于该阈值，则认为此样本块为最后的匹配结果，将此样本块中与P_r未知区域对应的点的信息复制到P_r中，则P_r填充结束，开始填充下一块，直至整幅图像填充结束。如果大于或等于阈值，则对P_r不做任何处理，直接进入下一个填充块。

经过上个步骤的处理，图像中可能还有没有填充的空白区域，此时仍然按照前面的数据项和置信项乘积的方法，确定其填充顺序，按顺序找到待匹配块P_r，然后在图像内部寻找与当前待匹配块距离最小的样本块，将其中对应点的信息填充到P_r中未知的区域，完成整幅图像的填充。

基于同一发明构思，本发明实施例还提供了一种基于深度图的立体视频补全系统，该系统解决问题的原理与上述方法相同，故该系统的实施可参照上述方法的具体流程，重复之处不再冗述。

参见图2，本发明实施例提供的基于深度图的立体视频补全系统，包括获取模块100、合成模块200以及补全模块300；

获取模块100用于获取源视频、与源视频对应的源视频深度图视频序列以及预设的目标视频的参数，源视频与目标视频之间存在水平位移；

合成模块200用于根据源视频、源视频深度图视频序列以及目标视频的参数，合成目标视频序列；

补全模块300用于计算目标视频序列中的每帧图像之间的相对运动参数，并根据相对运动参数将当前帧内的空洞区域投影到相邻帧，利用相邻帧内已有的信息对当前帧内的空洞区域进行填充。

作为一种可实施方式，合成模块200包括第一生成单元、第二生成单元、第一填充单元以及第一计算单元；第一生成单元用于根据源视频深度图视频序列和目标视频的参数，生成源视频的视差图；第二生成单元用于根据源视频的视差图获得源视频中的每帧图像的视差图，并将源视频中的每帧图像的视差图在目标视频中进行映射，生成目标视差图；第一填充单元用于对目标视差图进行行扫描，并采用两侧边缘信息中视差较小的点对目标视差图中的空洞进行填充；第一计算单元用于根据填充后的目标视差图，求出目标视频在源视频中的对应点，并将对应点的信息填充到目标视频中，得到目标视频序列。

作为一种可实施方式，合成模块200还包括选取单元；选取单元用于在源视频的视差图中有多点映射到目标视频中的同一点时，选择视差最大的值作为目标视差图的值。

作为一种可实施方式，补全模块300包括提取单元、第二计算单元、查找单元、处理单元以及比较单元；提取单元用于提取源视频中每帧图像中的特征点并进行匹配，得到源视频中任意两帧之间的仿射变换矩阵；第二计算单元用于采用数据项和置信项的乘积进行排序，计算目标视频序列中待填充的空洞区域的填充顺序；查找单元用于根据仿射变换矩阵，将空洞区域中的当前待填充块的中心点的坐标投影到相邻的帧中，并以投影点所在的位置为中心，在预设区域内根据当前待填充块中已知点的信息，查找与当前待填充块距离最小的样本块及其对应的样本距离；处理单元用于对查找到的不同帧中的样本块及其对应的样本距离进行加权处理，得到最小距离值；其中，权重与样本块所在的帧与当前待填充块所在的帧之间的距离成正比；比较单元用于比较最小距离值，如果最小距离值小于设定的距离阈值，则将最小距离值对应的样本块中的信息填充到当前待填充块中。

本发明另一实施例提供的基于深度图的立体视频补全系统还包括填充模块；填充模块用于针对目标视频序列中每帧图像中剩余的未知信息，以区块为单位，在目标视频序列中寻找与此区块距离最小的块，将其信息复制到该区块中进行填充。

本发明提供的基于深度图的立体视频补全方法及系统，在提供的源视频序列及源视频对应的深度图序列的基础上，根据设置的目标视频参数，合成对应的目标视频序列，并对在合成目标视频序列的过程中产生的空洞自动进行填充，使合成的视频每帧保证完整，避免了视频制作后期的人工补全操作，大大降低了立体视频的制作成本，填充精度高，方法简单，便于实现。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。特别指出，对于本领域技术人员来说，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度图的立体视频补全方法，其特征在于，包括以下步骤：

获取源视频、与所述源视频对应的源视频深度图视频序列以及预设的目标视频的参数，所述源视频与所述目标视频之间存在水平位移；

根据所述源视频、源视频深度图视频序列以及目标视频的参数，合成目标视频序列；

计算所述目标视频序列中的每帧图像之间的相对运动参数，并根据所述相对运动参数将当前帧内的空洞区域投影到相邻帧，利用所述相邻帧内已有的信息对当前帧内的空洞区域进行填充。

2.根据权利要求1所述的基于深度图的立体视频补全方法，其特征在于，所述根据源视频、源视频深度图视频序列以及目标视频的参数，合成目标视频序列，包括以下步骤：

根据所述源视频深度图视频序列和所述目标视频的参数，生成所述源视频的视差图；

根据所述源视频的视差图获得所述源视频中的每帧图像的视差图，并将所述源视频中的每帧图像的视差图在所述目标视频中进行映射，生成目标视差图；

对所述目标视差图进行行扫描，并采用两侧边缘信息中视差较小的点对所述目标视差图中的空洞进行填充；

根据填充后的所述目标视差图，计算所述目标视频在所述源视频中的对应点，并将所述对应点的信息填充到所述目标视频中，得到所述目标视频序列。

3.根据权利要求2所述的基于深度图的立体视频补全方法，其特征在于，若所述源视频的视差图中有多点映射到所述目标视频中的同一点，选择视差最大的值作为所述目标视差图的值。

4.根据权利要求1至3任一项所述的基于深度图的立体视频补全方法，其特征在于，所述计算目标视频序列中的每帧图像之间的相对运动参数，并根据所述相对运动参数将当前帧内的空洞区域投影到相邻帧，利用所述相邻帧内已有的信息对当前帧内的空洞区域进行填充，包括以下步骤：

提取所述源视频中每帧图像中的特征点并进行匹配，得到所述源视频中任意两帧之间的仿射变换矩阵；

采用数据项和置信项的乘积进行排序，计算所述目标视频序列中待填充的空洞区域的填充顺序；

根据所述仿射变换矩阵，将所述空洞区域中的当前待填充块的中心点的坐标投影到相邻的帧中，并以投影点所在的位置为中心，在预设区域内根据所述当前待填充块中已知点的信息，查找与所述当前待填充块距离最小的样本块及其对应的样本距离；

对查找到的不同帧中的样本块及其对应的样本距离进行加权处理，得到最小距离值；其中，权重与所述样本块所在的帧与当前待填充块所在的帧之间的距离成正比；

比较所述最小距离值，如果所述最小距离值小于设定的距离阈值，则将所述最小距离值对应的样本块中的信息填充到所述当前待填充块中。

5.根据权利要求1所述的基于深度图的立体视频补全方法，其特征在于，在计算所述目标视频序列中的每帧图像之间的相对运动参数，并根据所述相对运动参数将当前帧内的空洞区域投影到相邻帧，利用所述相邻帧内已有的信息对当前帧内的空洞区域进行填充，之后还包括以下步骤：

针对所述目标视频序列中每帧图像中剩余的未知信息，以区块为单位，在所述目标视频序列中寻找与此区块距离最小的块，将其信息复制到该区块中进行填充。

6.一种基于深度图的立体视频补全系统，其特征在于，包括获取模块、合成模块以及补全模块；

所述获取模块，用于获取源视频、与所述源视频对应的源视频深度图视频序列以及预设的目标视频的参数，所述源视频与所述目标视频之间存在水平位移；

所述合成模块，用于根据所述源视频、源视频深度图视频序列以及目标视频的参数，合成目标视频序列；

所述补全模块，用于计算所述目标视频序列中的每帧图像之间的相对运动参数，并根据所述相对运动参数将当前帧内的空洞区域投影到相邻帧，利用所述相邻帧内已有的信息对当前帧内的空洞区域进行填充。

7.根据权利要求6所述的基于深度图的立体视频补全系统，其特征在于，所述合成模块包括第一生成单元、第二生成单元、第一填充单元以及第一计算单元；

所述第一生成单元，用于根据所述源视频深度图视频序列和所述目标视频的参数，生成所述源视频的视差图；

所述第二生成单元，用于根据所述源视频的视差图获得所述源视频中的每帧图像的视差图，并将所述源视频中的每帧图像的视差图在所述目标视频中进行映射，生成目标视差图；

所述第一填充单元，用于对所述目标视差图进行行扫描，并采用两侧边缘信息中视差较小的点对所述目标视差图中的空洞进行填充；

所述第一计算单元，用于根据填充后的所述目标视差图，求出所述目标视频在所述源视频中的对应点，并将所述对应点的信息填充到所述目标视频中，得到所述目标视频序列。

8.根据权利要求7所述的基于深度图的立体视频补全系统，其特征在于，所述合成模块还包括选取单元；

所述选取单元，用于在所述源视频的视差图中有多点映射到所述目标视频中的同一点时，选择视差最大的值作为所述目标视差图的值。

9.根据权利要求6至8任一项所述的基于深度图的立体视频补全系统，其特征在于，所述补全模块包括提取单元、第二计算单元、查找单元、处理单元以及比较单元；

所述提取单元，用于提取所述源视频中每帧图像中的特征点并进行匹配，得到所述源视频中任意两帧之间的仿射变换矩阵；

所述第二计算单元，用于采用数据项和置信项的乘积进行排序，计算所述目标视频序列中待填充的空洞区域的填充顺序；

所述查找单元，用于根据所述仿射变换矩阵，将所述空洞区域中的当前待填充块的中心点的坐标投影到相邻的帧中，并以投影点所在的位置为中心，在预设区域内根据所述当前待填充块中已知点的信息，查找与所述当前待填充块距离最小的样本块及其对应的样本距离；

所述处理单元，用于对查找到的不同帧中的样本块及其对应的样本距离进行加权处理，得到最小距离值；其中，权重与所述样本块所在的帧与当前待填充块所在的帧之间的距离成正比；

所述比较单元，用于比较所述最小距离值，如果所述最小距离值小于设定的距离阈值，则将所述最小距离值对应的样本块中的信息填充到所述当前待填充块中。

10.根据权利要求6所述的基于深度图的立体视频补全系统，其特征在于，还包括填充模块；

所述填充模块，用于针对所述目标视频序列中每帧图像中剩余的未知信息，以区块为单位，在所述目标视频序列中寻找与此区块距离最小的块，将其信息复制到该区块中进行填充。