CN108171791A - 基于多深度摄像机的动态场景实时三维重建方法及装置 - Google Patents

Abstract

本发明公开了一种基于多深度摄像机的动态场景实时三维重建方法及装置，其中，方法包括：对彩色图像进行背景分割，提取并匹配图像SIFT特征点，并且对深度图像做双边滤波预处理；通过多视角非刚性对齐逐帧拼接深度图像，以得到矫正后的深度图像；通过非刚性变形将参考帧中的静态模型与矫正后的深度图像观测对齐；在当前帧融合几何模型，以重建拓扑变化以及处理跟踪丢失的情况。该方法可以有效保证实时性，且提高鲁棒性，提高运行速度，简单易实现。

Description

基于多深度摄像机的动态场景实时三维重建方法及装置

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种基于多深度摄像机的动态场景实时三维重建方法及装置。

背景技术

最近几年，由于虚拟和增强现实设备的普及，市场对三维建模以及自由视点渲染的需求日趋增大。无论是沉浸式体验，还是远程教学与指导，都需要系统能够真实的重建动态场景。这些应用对动态重建算法提出了两个需求：首先，重建算法应该足够鲁棒，能够重建日常生活中的运动，并且得到用户能够接受的质量；更重要的是，重建算法能够给用户实时反馈。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于多深度摄像机的动态场景实时三维重建方法，该方法可以有效保证实时性，提高鲁棒性，提高运行速度，简单易实现。

本发明的另一个目的在于提出一种基于多深度摄像机的动态场景实时三维重建装置。

为达到上述目的，本发明一方面实施例提出了一种基于多深度摄像机的动态场景实时三维重建方法，包括以下步骤：对彩色图像进行背景分割，提取并匹配图像SIFT特征点，并且对深度图像做双边滤波预处理；通过多视角非刚性对齐逐帧拼接所述深度图像，以得到矫正后的深度图像；通过非刚性变形将参考帧中的静态模型与所述矫正后的深度图像观测对齐；在当前帧融合几何模型，以重建拓扑变化以及处理跟踪丢失的情况。

本发明实施例的基于多深度摄像机的动态场景实时三维重建方法，可以首先对彩色图像进行背景分割，提取并匹配图像SIFT特征点，从而对深度图像做双边滤波等预处理，并采用多视角非刚性对齐的方法逐帧拼接深度图像，以得到矫正后的深度图像，进而利用非刚性变形的方法将参考帧中的静态模型与矫正后的深度观测对齐，融合当前帧观测到的几何模型，有效保证实时性，提高鲁棒性，提高运行速度，简单易实现。

另外，根据本发明上述实施例的基于多深度摄像机的动态场景实时三维重建方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述对彩色图像进行背景分割，提取并匹配图像SIFT特征点，并且对深度图像做双边滤波预处理，进一步包括：通过绿幕抠图分割前景人物并得到对应的轮廓图；对所述深度图像做双边滤波，并使用Scharr算子计算对应的法向图并反投影得到相机坐标系中的三维点云。

进一步地，在本发明的一个实施例中，所述通过多视角非刚性对齐逐帧拼接所述深度图像，进一步包括：将多视角深度图像离散化成一组均匀网格，并且标记落在前景深度图上的节点；用发生在节点处的刚性变形描述整体深度信息的非刚体变形，并且将一对(R_i,t_i)与每个变形节点相关联；建立多视角对齐问题的能量函数，并且对所述能量函数进行求解，以得到多视角对齐的结果。

进一步地，在本发明的一个实施例中，所述能量函数包括第一能量函数和第二能量函数，其中，所述第一能量函数为：

其中，和T分别为每个视角的整体刚性变换和每个变形节点的局部刚性变形，ε_fit为空间约束，ε_arap为局部非刚性运动约束，ε_sift为SIFT图像特征约束；

所述第二能量函数为：

其中，ε_data为描述模型与多视角深度信息的匹配程度，ε_smooth为嵌入式变形图的局部刚性约束项，ε_reg为约束仿射变换的单位正交性质，ε_sil为模型受多视角轮廓图像的约束，ε_sift为模型受前后两帧的SIFT特征约束。

进一步地，在本发明的一个实施例中，所述通过非刚性变形将参考帧中的静态模型与所述矫正后的深度图像观测对齐，进一步包括：在参考帧中累积模型的截断符号距离函数，并且将所述当前帧与所述深度信息融合，以估计多视角的非刚性运动场。

为达到上述目的，本发明另一方面实施例提出了一种基于多深度摄像机的动态场景实时三维重建装置，包括：预处理模块，用于对彩色图像进行背景分割，提取并匹配图像SIFT特征点，并且对深度图像做双边滤波预处理；拼接模块，用于通过多视角非刚性对齐逐帧拼接所述深度图像，以得到矫正后的深度图像；对齐模块，用于通过非刚性变形将参考帧中的静态模型与所述矫正后的深度图像观测对齐；重建模块，用于在当前帧融合几何模型，以重建拓扑变化以及处理跟踪丢失的情况。

本发明实施例的基于多深度摄像机的动态场景实时三维重建装置，可以首先对彩色图像进行背景分割，提取并匹配图像SIFT特征点，从而对深度图像做双边滤波等预处理，并采用多视角非刚性对齐的方法逐帧拼接深度图像，以得到矫正后的深度图像，进而利用非刚性变形的方法将参考帧中的静态模型与矫正后的深度观测对齐，融合当前帧观测到的几何模型，有效保证实时性，提高鲁棒性，提高运行速度，简单易实现。

另外，根据本发明上述实施例的基于多深度摄像机的动态场景实时三维重建装置还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述预处理模块，进一步包括：第一获取单元，用于通过绿幕抠图分割前景人物并得到对应的轮廓图；第二获取单元，用于对所述深度图像做双边滤波，并使用Scharr算子计算对应的法向图并反投影得到相机坐标系中的三维点云。

进一步地，在本发明的一个实施例中，所述拼接模块，进一步包括：标记单元，用于将多视角深度图像离散化成一组均匀网格，并且标记落在前景深度图上的节点；关联单元，用于用发生在节点处的刚性变形描述整体深度信息的非刚体变形，并且将一对{(R_i,t_i)}与每个变形节点相关联；求解单元，建立多视角对齐问题的能量函数，并且对所述能量函数进行求解，以得到多视角对齐的结果。

进一步地，在本发明的一个实施例中，

所述能量函数包括第一能量函数和第二能量函数，其中，所述第一能量函数为：

其中，和T分别为每个视角的整体刚性变换和每个变形节点的局部刚性变形，ε_fit为空间约束，ε_arap为局部非刚性运动约束，ε_sift为SIFT图像特征约束；

所述第二能量函数为：

其中，ε_data为描述模型与多视角深度信息的匹配程度，ε_smooth为嵌入式变形图的局部刚性约束项，ε_reg为约束仿射变换的单位正交性质，ε_sil为模型受多视角轮廓图像的约束，ε_sift为模型受前后两帧的SIFT特征约束。

进一步地，在本发明的一个实施例中，所述对齐模块，进一步包括：在参考帧中累积模型的截断符号距离函数，并且将所述当前帧与所述深度信息融合，以估计多视角的非刚性运动场。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的基于多深度摄像机的动态场景实时三维重建方法的流程图；

图2为根据本发明一个实施例的基于多深度摄像机的动态场景实时三维重建方法的流程图；

图3为根据本发明实施例的基于多深度摄像机的动态场景实时三维重建装置的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例提出的基于多深度摄像机的动态场景实时三维重建方法及装置，首先将参照附图描述根据本发明实施例提出的基于多深度摄像机的动态场景实时三维重建方法。

图1是本发明一个实施例的基于多深度摄像机的动态场景实时三维重建方法的流程图。

如图1所示，该基于多深度摄像机的动态场景实时三维重建方法包括以下步骤：

在步骤S101中，对彩色图像进行背景分割，提取并匹配图像SIFT特征点，并且对深度图像做双边滤波预处理。

进一步地，在本发明的一个实施例中，对彩色图像进行背景分割，提取并匹配图像SIFT特征点，并且对深度图像做双边滤波预处理，进一步包括：通过绿幕抠图分割前景人物并得到对应的轮廓图；对深度图像做双边滤波，并使用Scharr算子计算对应的法向图并反投影得到相机坐标系中的三维点云。

可以理解的是，结合图1和图2所示，本发明实施例可以对彩色图像进行背景分割，提取并匹配图像SIFT特征点，并且对深度图像做双边滤波等预处理。

具体地，本发明实施例首先用绿幕抠图技术分割前景人物，并且得到对应的轮廓图。同时，对深度图做双边滤波，并使用Scharr算子计算对应的法向图并且反投影得到相机坐标系中的三维点云；由于本发明实施例的非刚性对齐部分使用了SIFT图像特征点，因此，还需要在预处理部分计算并且匹配SIFT特征。

在步骤S102中，通过多视角非刚性对齐逐帧拼接深度图像，以得到矫正后的深度图像。

进一步地，在本发明的一个实施例中，通过多视角非刚性对齐逐帧拼接深度图像，进一步包括：将多视角深度图像离散化成一组均匀网格，并且标记落在前景深度图上的节点；用发生在节点处的刚性变形描述整体深度信息的非刚体变形，并且将一对{(R_i,t_i)}与每个变形节点相关联；建立多视角对齐问题的能量函数，并且对能量函数进行求解，以得到多视角对齐的结果。

其中，在本发明的一个实施例中，能量函数包括第一能量函数和第二能量函数，其中，第一能量函数为：

其中，和T分别为每个视角的整体刚性变换和每个变形节点的局部刚性变形，ε_fit为空间约束，ε_arap为局部非刚性运动约束，ε_sift为SIFT图像特征约束；

第二能量函数为：

其中，ε_data为描述模型与多视角深度信息的匹配程度，ε_smooth为嵌入式变形图的局部刚性约束项，ε_reg为约束仿射变换的单位正交性质，ε_sil为模型受多视角轮廓图像的约束，ε_sift为模型受前后两帧的SIFT特征约束。

可以理解的是，本发明实施例可以采用多视角非刚性对齐的方法逐帧拼接这些深度图像，以得到矫正后的深度图像，在本发明的一个具体实施例中，非刚性拼接多视角深度图包括以下步骤：

1)将多视角深度图离散化成一组均匀网格，并且标记落在前景深度图上的节点。

2)用发生在节点处的刚性变形描述整体深度信息的非刚体变形，并且将一对{(R_i,t_i)}与每个变形节点相关联。

具体地，对于深度图上的某个顶点v，它对应的非刚性变形由最近的4个节点的双四元数插值得到，公式为

其中，SE3(·)代表将双四元数归一化并且映射到SE(3)群中，它对应一个单位正交旋转矩阵；ω_j代表第j个节点对三维点v的权重，定义为顶点到节点欧式距离平方的Huber函数。

3)建立多视角对齐问题的能量函数：

其中，和T分别代表每个视角的整体刚性变换以及每个变形节点的局部刚性变形。

ε_fit代表空间约束，它由对应点之间的点到点以及点到平面的距离构成。

其中，T_i是第i个视角对应的刚性变换，是顶点i的局部刚性变形，在2)中计算得到。

ε_arap代表局部非刚性运动约束，约束在每个相机视角下，相邻节点的变形效果一致。

其中，ρ(.)是Huber核函数。

ε_sift代表SIFT图像特征约束，

其中，p_i代表第i个特征点在全局参考系中的三维坐标，ψ(.)是Tukey核函数，用来减弱SIFT错误匹配对优化的影响。

4)对能量函数进行求解，以得到多视角对齐的结果。

本发明实施例采用非刚性迭代最近点方法，利用非线性最小二乘的高斯牛顿法求解。由于多视角的未知量过多，为了保证实时性，本发明实施例提出一种新的交替迭代的优化方法：对于每一次ICP(Iterative Closest Point，迭代最近点算法)迭代，首先固定除第i个视角外的其他视角的未知量，独立求解每个视角的未知量；在更新所有未知量后，再重新搜索最近有效点；交替求解这两步，可以使得优化收敛。

在步骤S103中，通过非刚性变形将参考帧中的静态模型与矫正后的深度图像观测对齐。

进一步地，在本发明的一个实施例中，通过非刚性变形将参考帧中的静态模型与矫正后的深度图像观测对齐，进一步包括：在参考帧中累积模型的截断符号距离函数，并且将当前帧与深度信息融合，以估计多视角的非刚性运动场。

可以理解的是，本发明实施例可以利用非刚性变形的方法将参考帧中的静态模型与矫正后的深度观测对齐。

具体地，这指的是在参考帧中累积模型的TSDF(Truncatiosign distancefunction，截断符号距离函数)，并且在当前帧与深度信息融合，以估计多视角的非刚性运动场。上文的非刚性运动场，指的是定义在表面均匀采样的一组节点的局部刚性变换矩阵(A_i,t_i)。该非刚性运动将顶点V_i变形到顶点顶点的法向n_i变形到其中：

其中，R和t是模型的整体刚性旋转和平移变换，X_j是节点j的三维坐标，ω(X_j,V_i)是节点到顶点的归一化权重，并且定义为

其中，σ_j是节点X_j的采样半径。

在本发明的一个示例中，估计多视角的非刚性运动场包括：

1)从参考帧中使用marching cube算法提取三角网格模型。

2)建立多视角非刚性运动场拟合问题的能量函数：

其中，ε_data描述模型与多视角深度信息的匹配程度。

其中，K_i代表第i个相机的外参变换矩阵，V_j代表视角i下可见点集合Q_i中的一个顶点，代表依照非刚性运动场定义计算的变形顶点，u代表第i个视角深度图上的一个顶点。

ε_smooth代表嵌入式变形图的局部刚性约束项。

ε_reg约束仿射变换的单位正交性质。

公式中的各项分别约束A的列正交性，单位列向量性和行列式正值性质。

ε_sil代表模型受多视角轮廓图像的约束。

其中，B_i(.)代表在第i个视角下的距离采样函数，它具体定义为

其中，d_i(p)代表像素p到最近前景轮廓的等效距离，并且在流水线采集前端用高斯模糊核函数计算。代表第i个视角的彩色相机投影矩阵。轮廓约束产生将模型向轮廓内移动的驱动力，并且提高了系统跟踪快速运动的能力。

ε_sift代表模型受前后两帧的SIFT特征约束。

其中，P是反投影函数，它将当前帧的二维图像坐标投影到参考帧的三维坐标。利用图像SIFT(Scale-invariant feature transform，尺度不变特征变换)特征点约束，本发明实施例可以利用图像中的纹理信息提高跟踪快速运动的质量。对于缺少几何特征信息的观测，比如，跟踪平面运动，使用最近点搜索的方法是无法得到准确的对应点。但利用基于问题的特征点匹配方法，只要物体存在纹理变化，就可以建立对应点关系。

3)求解2)中的能量函数。

为了充分利用GPU并行的优势，本发明实施例使用预处理共轭梯度方法(PCG)求解该能量方程。由于矩阵是对称稀疏分块的，可以直接构造J^T J和J^T f，并使用5个CUDA流并行归约不同的能量项，然后同步所有CUDA流。

在步骤S104中，在当前帧融合几何模型，以重建拓扑变化以及处理跟踪丢失的情况。

可以理解的是，本发明实施例在当前帧融合几何模型，以重建拓扑变化以及处理跟踪丢失的情况。

具体地，系统将参考帧中的TSDF有选择性的投影到当前帧中。选择依据同时考虑两点：

1)对于发生体素碰撞的情况，只投影截断符号距离函数绝对值最小的体素；

2)对于某个节点，如果它的误差较大，算法停止投影所有它作用的体素。

由于TSDF的投影方法是依照其梯度进行，所以在迭代的投影过程中，由于浮点数的数值误差，会引起越来越大的累积误差直到表面重建失败。本发明提出了一种通过TSDF的Laplacian算子约束投影过程的方法。TSDF的Laplacian刻画表面曲率，表面曲率越大，所以用局部法向为依据投影TSDF越不可信；表面曲率越小，投影越可信。因此，本发明实施例将参考帧投影到当前帧的TSDF表述为：

其中，下标r代表参考帧，d代表当前帧。

对于纯平面的情况，如果投影误差使表面法向计算不准，表面的曲率会变大，从而上式会削弱法向误差对投影的影响，产生负反馈的效果。因此，本发明实施例的方法可以得到正确的结果。

在将参考帧的TSDF选择性的投影到当前帧后，本发明实施例将参考帧投影的TSDF融合到当前帧中，并将这一帧的深度信息非刚性的融合到参考帧中。

根据本发明实施例提出的基于多深度摄像机的动态场景实时三维重建方法，可以首先对彩色图像进行背景分割，提取并匹配图像SIFT特征点，从而对深度图像做双边滤波等预处理，并采用多视角非刚性对齐的方法逐帧拼接深度图像，以得到矫正后的深度图像，进而利用非刚性变形的方法将参考帧中的静态模型与矫正后的深度观测对齐，融合当前帧观测到的几何模型，有效保证实时性，提高鲁棒性，提高运行速度，简单易实现。

其次参照附图描述根据本发明实施例提出的基于多深度摄像机的动态场景实时三维重建装置。

图3是本发明一个实施例的基于多深度摄像机的动态场景实时三维重建装置的结构示意图。

如图3所示，该基于多深度摄像机的动态场景实时三维重建装置10包括：预处理模块100、拼接模块200、对齐模块300和重建模块400。

其中，预处理模块100用于对彩色图像进行背景分割，提取并匹配图像SIFT特征点，并且对深度图像做双边滤波预处理。拼接模块200用于通过多视角非刚性对齐逐帧拼接深度图像，以得到矫正后的深度图像。对齐模块300用于通过非刚性变形将参考帧中的静态模型与矫正后的深度图像观测对齐。重建模块400用于在当前帧融合几何模型，以重建拓扑变化以及处理跟踪丢失的情况。本发明实施例的装置10可以有效保证实时性，提高鲁棒性，提高运行速度，简单易实现。

进一步地，在本发明的一个实施例中，预处理模块，进一步包括：第一获取单元，用于通过绿幕抠图分割前景人物并得到对应的轮廓图；第二获取单元，用于对深度图像做双边滤波，并使用Scharr算子计算对应的法向图并反投影得到相机坐标系中的三维点云。

进一步地，在本发明的一个实施例中，拼接模块，进一步包括：标记单元，用于将多视角深度图像离散化成一组均匀网格，并且标记落在前景深度图上的节点；关联单元，用于用发生在节点处的刚性变形描述整体深度信息的非刚体变形，并且将一对{(R_i,t_i)}与每个变形节点相关联；求解单元，建立多视角对齐问题的能量函数，并且对能量函数进行求解，以得到多视角对齐的结果。

进一步地，在本发明的一个实施例中，能量函数包括第一能量函数和第二能量函数，其中，第一能量函数为：

其中，和T分别为每个视角的整体刚性变换和每个变形节点的局部刚性变形，ε_fit为空间约束，ε_arap为局部非刚性运动约束，ε_sift为SIFT图像特征约束；

第二能量函数为：

其中，ε_data为描述模型与多视角深度信息的匹配程度，ε_smooth为嵌入式变形图的局部刚性约束项，ε_reg为约束仿射变换的单位正交性质，ε_sil为模型受多视角轮廓图像的约束，ε_sift为模型受前后两帧的SIFT特征约束。

进一步地，在本发明的一个实施例中，对齐模块，进一步包括：在参考帧中累积模型的截断符号距离函数，并且将当前帧与深度信息融合，以估计多视角的非刚性运动场。

需要说明的是，前述对基于多深度摄像机的动态场景实时三维重建方法实施例的解释说明也适用于该实施例的基于多深度摄像机的动态场景实时三维重建装置，此处不再赘述。

根据本发明实施例提出的基于多深度摄像机的动态场景实时三维重建装置，可以首先对彩色图像进行背景分割，提取并匹配图像SIFT特征点，从而对深度图像做双边滤波等预处理，并采用多视角非刚性对齐的方法逐帧拼接深度图像，以得到矫正后的深度图像，进而利用非刚性变形的方法将参考帧中的静态模型与矫正后的深度观测对齐，融合当前帧观测到的几何模型，有效保证实时性，提高鲁棒性，提高运行速度，简单易实现。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于多深度摄像机的动态场景实时三维重建方法，其特征在于，包括以下步骤：

对彩色图像进行背景分割，提取并匹配图像SIFT特征点，并且对深度图像做双边滤波预处理；

通过多视角非刚性对齐逐帧拼接所述深度图像，以得到矫正后的深度图像；

通过非刚性变形将参考帧中的静态模型与所述矫正后的深度图像观测对齐；以及

在当前帧融合几何模型，以重建拓扑变化以及处理跟踪丢失的情况。

2.根据权利要求1所述的基于多深度摄像机的动态场景实时三维重建方法，其特征在于，所述对彩色图像进行背景分割，提取并匹配图像SIFT特征点，并且对深度图像做双边滤波预处理，进一步包括：

通过绿幕抠图分割前景人物并得到对应的轮廓图；

对所述深度图像做双边滤波，并使用Scharr算子计算对应的法向图并反投影得到相机坐标系中的三维点云。

3.根据权利要求1所述的基于多深度摄像机的动态场景实时三维重建方法，其特征在于，所述通过多视角非刚性对齐逐帧拼接所述深度图像，进一步包括：

将多视角深度图像离散化成一组均匀网格，并且标记落在前景深度图上的节点；

用发生在节点处的刚性变形描述整体深度信息的非刚体变形，并且将一对(R_i,t_i)与每个变形节点相关联；

建立多视角对齐问题的能量函数，并且对所述能量函数进行求解，以得到多视角对齐的结果。

4.根据权利要求3所述的基于多深度摄像机的动态场景实时三维重建方法，其特征在于，所述能量函数包括第一能量函数和第二能量函数，其中，所述第一能量函数为：

其中，和T分别为每个视角的整体刚性变换和每个变形节点的局部刚性变形，ε_fit为空间约束，ε_arap为局部非刚性运动约束，ε_sift为SIFT图像特征约束；

所述第二能量函数为：

其中，ε_data为描述模型与多视角深度信息的匹配程度，ε_smooth为嵌入式变形图的局部刚性约束项，ε_reg为约束仿射变换的单位正交性质，ε_sil为模型受多视角轮廓图像的约束，ε_sift为模型受前后两帧的SIFT特征约束。

5.根据权利要求3所述的基于多深度摄像机的动态场景实时三维重建方法，其特征在于，所述通过非刚性变形将参考帧中的静态模型与所述矫正后的深度图像观测对齐，进一步包括：

在参考帧中累积模型的截断符号距离函数，并且将所述当前帧与所述深度信息融合，以估计多视角的非刚性运动场。

6.一种基于多深度摄像机的动态场景实时三维重建装置，其特征在于，包括：

预处理模块，用于对彩色图像进行背景分割，提取并匹配图像SIFT特征点，并且对深度图像做双边滤波预处理；

拼接模块，用于通过多视角非刚性对齐逐帧拼接所述深度图像，以得到矫正后的深度图像；

对齐模块，用于通过非刚性变形将参考帧中的静态模型与所述矫正后的深度图像观测对齐；以及

重建模块，用于在当前帧融合几何模型，以重建拓扑变化以及处理跟踪丢失的情况。

7.根据权利要求6所述的基于多深度摄像机的动态场景实时三维重建装置，其特征在于，所述预处理模块，进一步包括：

第一获取单元，用于通过绿幕抠图分割前景人物并得到对应的轮廓图；

第二获取单元，用于对所述深度图像做双边滤波，并使用Scharr算子计算对应的法向图并反投影得到相机坐标系中的三维点云。

8.根据权利要求6所述的基于多深度摄像机的动态场景实时三维重建装置，其特征在于，所述拼接模块，进一步包括：

标记单元，用于将多视角深度图像离散化成一组均匀网格，并且标记落在前景深度图上的节点；

关联单元，用于用发生在节点处的刚性变形描述整体深度信息的非刚体变形，并且将一对(R_i,t_i)与每个变形节点相关联；

求解单元，建立多视角对齐问题的能量函数，并且对所述能量函数进行求解，以得到多视角对齐的结果。

9.根据权利要求8所述的基于多深度摄像机的动态场景实时三维重建装置，其特征在于，

所述能量函数包括第一能量函数和第二能量函数，其中，所述第一能量函数为：

其中，和T分别为每个视角的整体刚性变换和每个变形节点的局部刚性变形，ε_fit为空间约束，ε_arap为局部非刚性运动约束，ε_sift为SIFT图像特征约束；

所述第二能量函数为：

其中，ε_data为描述模型与多视角深度信息的匹配程度，ε_smooth为嵌入式变形图的局部刚性约束项，ε_reg为约束仿射变换的单位正交性质，ε_sil为模型受多视角轮廓图像的约束，ε_sift为模型受前后两帧的SIFT特征约束。

10.根据权利要求8所述的基于多深度摄像机的动态场景实时三维重建装置，其特征在于，所述对齐模块，进一步包括：

在参考帧中累积模型的截断符号距离函数，并且将所述当前帧与所述深度信息融合，以估计多视角的非刚性运动场。