CN106105192A - 通过深度相机的实时3d重建 - Google Patents

Abstract

本文中描述了用于通过深度相机的实时3D重建的系统和技术。从目标的深度相机接收的深度测量可存储在深度测量数据结构中。目标的三维表示可存储在模型中。可将从深度相机接收的当前深度图像配准到模型。可基于配准通过当前深度图像修改深度测量数据结构。可基于空间雕刻和修改的深度测量数据结构来使模型变形。

Description

通过深度相机的实时3D重建

技术领域

本文中描述的实施例一般涉及从数字图像构建三维(3D)模型，并且更具体地说，涉及通过深度相机的实时3D重建。

背景技术

从图像数据进行目标（例如，关注的对象）的3D建模（例如，重建）是热门的计算机视觉主题。在从图像数据创建目标的3D模型中，一般的用法（用户体验）是手持相机，并且在向用户实时显示对象的3D模型和相对于对象的当前相机位姿（pose）时围绕目标移动相机。备选地，相机可保持固定，并且转台可用于旋转对象。在任一情形中，向相机显露目标的不同面，以便聚集信息以创建3D模型。

附图说明

在不一定按比例画出的图中，类似的标号可描述不同视图中的类似组件。具有不同字母后缀的类似标号可表示类似组件的不同实例。图形通常通过示例但不是限制示出在本文档中讨论的各种实施例。

图1是根据实施例的包括用于通过深度相机的实时3D重建的设备的系统的示例的框图。

图2示出根据实施例的模型的体素栅格（voxel grid）、深度相机和目标的示例。

图3示出根据实施例的模型的体素栅格、多个深度相机和目标的示例。

图4示出根据实施例的在体素栅格上模型的带符号距离场的示例。

图5示出根据实施例的在体素栅格上具有梯度的模型的延伸带符号距离场的示例。

图6示出根据实施例的用于通过深度相机的实时3D重建的方法的示例的流程图。

图7示出根据实施例的用于通过深度相机的实时3D重建的方法的示例的流程图。

图8是示出可实现一个或更多个实施例的机器的示例的框图。

具体实施方式

在示例中，从深度相机对目标进行3D建模可使用“自下而上”方案。在自下而上方案中，捕捉深度图像，并且将其与当前数据配准，以及将其累积以建立模型。此方案的缺点是即使关注的对象可只占据相机视野的小部分，计算域也必须包括相机视野中的所有内容。通过排除不包含对象的空间的区域，可能逐渐缩小计算域。在捕捉更多相机数据时，缩小计算域转化成3D重建中相当大的加速。

另一缺点是在无进一步后期处理的情况下，模型中缺乏用于不完整深度数据的封闭表面。也就是说，由于由下而上方案基本上在深度测量的末尾放置一段模型，因此，无论何处深度测量缺失，则不放置模型的此类段。这可导致模型表面中的空洞（例如，缺失部分），使得其成为无内部/外部指派的打开的表面。例如，绕在其极点有凹陷处的球体的中纬线旋转的深度相机将得不到凹陷处的深度测量。因此，由上而上方案将没有为模型表达那些凹陷处中的部分。表面中的此类空洞在要求表面封闭的多个应用（例如，3D打印）中可成为问题。

为了解决目标对象的由下而上3D建模的缺陷，可使用由上而下的3D建模方法。在由上而下方案中，模型不是逐段装配，而是从初始化形式雕刻。例如，可将每个深度测量视为应用到足够大以包含目标的3D形状（例如，木块）的切割激光。激光触及的形状部分被去除。由于模型表示固体，因此，它始终保持封闭表面。

本文中描述的方案保持用于累积深度测量的单独数据结构和雕刻模型，并且能够被视为由下而上和由上而下的重建。模型可保持为带符号距离场。此类模型表示允许在例如深度图像配准中宝贵的计算节约。此外，将模型保持为带符号距离场降低了确定点是在模型内还是在模型外或甚至点与模型的边界（例如，表面）接近度的计算复杂性。深度测量被存储为带符号距离场的运行加权平均值；然而，由于带符号距离场未形成线性向量空间——即，带符号距离场的线性组合不一定是带符号距离场，因此，累积深度和模型表示被分别保持。

使用前面的凹球体示例，可对比由上而下方案和由下而上方案。鉴于由下而上方案使得在凹陷空洞的模型表面不完整，由上而下方案将从空洞上方去除模型材料，形成“已填充”效果。然而，球体的表面将是完整的。在另一示例对比中，在由上而下方案中将忽略通过目标附近空虚处的伪对象，这是因为未留下（例如，已经去除）表示对象的模型“材料”。与此相反，由下而上方案将需要另外的处理以确定对象的伪性质，并且禁止将其深度数据添加到模型。

图1是根据实施例的系统100的示例的框图，包括用于通过深度相机145的由上而下实时3D建模的设备105。如图所示，深度相机145绕目标150旋转以捕捉深度图像。然而，如上所述，可将目标150放置在转台（或类似装置）上旋转，而深度相机145保持固定。在这些示例中，深度相机145从目标的外部捕捉深度图像。在示例中，可将深度相机145放置在目标（例如，房间、开放的空间，空球体内等）内移动，以便聚集内部的深度数据。在此示例中，本文中讲解的原理仍适用；然而，可使用不同的模型初始化形式。例如，大立方体可包含从其中雕刻出模型的整个空间。在此类示例中，可设置标志以便提供定向到本文中讨论的多种技术，如模型边界所处位置。

设备105可包括多个组件，包括深度测量数据结构110（例如，存储在机器可读媒体上）、模型115（关于目标150，并且例如存储在机器可读媒体上）、配准模块120、累积模块125和模型变形模块130。设备105也可选择性地包括过滤器模块135和初始化模块155或网格模块(mesh module) 140的一个或更多个模块。如下相对于图8所述，所有模块在硬件中实现。

深度测量数据结构110可配置（例如，布置）成存储从目标150的深度相机145接收的深度测量。在示例中，深度测量数据结构110是对应于包含目标150的空间中的点的体素栅格。在示例中，深度测量数据结构体素栅格与模型的体素栅格是等效的（例如，具有相同属性的不同栅格）。

模型115可配置成存储目标150的三维表示。在示例中，模型115是对应于包含目标150的空间中的点的体素栅格。

配准模块120可配置成配准当前深度图像与从深度相机145接收的模型115。配准通常要求确定在捕捉图像时相机的位姿。在考虑相机位姿指向对象的前端捕捉的第一图像和位姿朝向对象的后面时捕捉的第二图像时，此操作的值是明确的。为避免高成本深度相机145控制（例如，步进电机和其它传感器以提供配准数据），可比较深度图像和模型115以便确定深度相机相对于目标150的位姿。

在示例中，将深度图像配准到模型115可包括配准模块120配置成选择模型115中的体素。可将模型115的带符号距离场延伸到当前体素的周围空间，并且可计算当前体素的梯度。图5示出梯度的延伸和计算。配准模块120也可配置成计算在模型115中目标150的边界上沿梯度对应于当前体素的对应点。也就是说，梯度可用于跟踪从延伸点回到模型115中某个表面点的线路。然后，可存储对应点。在示例中，配准模块120可配置成迭代地选择体素，延伸带符号距离场，计算梯度，计算对应点以及存储用于模型115中多个体素的对应点。在示例中，可选择多个体素，使得它们在模型115中目标150的边界附近。此类选择减少了计算的对应点的数量，并且因此提高了配准的计算效率。然而，例如在迭代最近点(ICP)算法中可使用的减少数量的点可影响配准的准确度。因此，在示例中，在表面附近的体素的选择可被限制成在深度相机的位姿从一个深度图像到另一深度图像有小更改时的示例。在示例，更改被限制成32毫米或更小。

在示例中，配准模块120可配置成将存储的对应点的集合与来自当前深度图像的3D点相关。配准模块120可使用存储的对应点的集合，从第一位姿确定深度相机145的刚体运动。从第一位姿的刚体运动可用于确定深度相机145的第二位姿。这可通过使用例如ICP技术来实现。由于ICP将其大部分计算时间用于确定对应点，因此，使用从延伸的带符号深度场计算的存储的对应点增强了ICP在有限硬件上或有限时间中工作的能力。

下面是配准模块120的示例操作情形。在模型初始化后，基于第一深度图像，可将随后的图像配准到当前模型估计。3D配准的ICP方案将识别源（例如，来自当前深度图像）和目标（例如，模型115）表面上的对应最近点和，并且求解在它们之间的刚体运动（即，）。在应用到源网格后，对应最近点可更改。因此，可执行刚体旋转的重新估计。ICP算法在估计刚体运动与变换点集之间交替，直至收敛。如上所述，大多数计算时间花费在计算最近点上。虽然空间查找数据结构（例如，KD-树）可用于查找点对应，但备选方案可在利用今天的处理硬件中常见的平行性的同时，提供在确定点对应方面的更大效率。

对于模型115的水平集图像中的每个体素，用于当前模型的带符号距离场可经延伸到周围空间中。此外，对于延伸图像中的每个体素，可计算模型的水平集的梯度，并且然后可通过以下定点迭代方案，跟踪从当前体素位置回到模型115中目标的边界的流线：

上式收敛到点。在对于模型115中目标150周围的空间中的每个体素X进行此迭代方案后，模型上的对应最近点已被确定。可独立求解这些对应点。因此，在考虑个体素和P个处理单元时，对应点确定的计算复杂性是。然而，如上所述，如果刚性运动小，则最近点计算可被限制成在模型115中目标150的表面附近。在此示例中，将计算复杂性进一步降低到。

下面的伪代码示出完整3D配准管线的示例：

配准深度图像k与模型115

If (k mod K = 0) // 每个K第5帧

// 在更改的模型表面的部分附近重建距离场

// 计算距离场的梯度

// 求解点对应

// 存储点对应

// 猜测当前位姿

// 初始化当前配准误差

// 初始化最后配准误差

// 计算用于深度图像像素的3D点

// 计算对应点的集合

// 累积配准误差

// 求解刚体运动

ICP的此变型允许快速对应计算，平行性佳，并且具有固定内存占位。

累积模块125可配置成通过基于当前深度图像的其配准，修改深度测量数据结构110。例如，累积模块125通过来自当前深度图像的新深度数据来更新深度测量数据结构110。在示例中，为修改深度测量数据结构110，累积模块125可配置成基于从深度相机145的焦点到当前深度图像中某点的追踪射线的角度，为该点加权。焦点和角度可基于深度相机145的位姿来确定。位姿可从当前深度图像的配准来确定。在示例中，在角度接近90度（例如，射线与深度相机的视野正交，或者点位于沿对象的剪影145的位置）时，加权可较低（例如，指派了更低权重）。

在示例中，累积模块125可将该权重与相同点的以前权重进行组合。在示例中，组合可以是用于点的权重的平均值。在示例中，累积模块125可组合多个点的权重（例如，分别组合为相应点计算的权重）。在示例中，累积模块125可配置成也累积用于点的颜色信息。例如，深度相机145也可在捕捉深度图像的同时能够捕捉可见谱光（例如，红绿蓝(RGB)）。

下面是累积模块125的示例操作情形。深度测量可在与模型的水平集相同的栅格分辨率在体素栅格中累积（例如，在深度测量数据结构110中）。当前深度图像的包络可与权重一起经以下方程计算得出：

其中，是从深度相机的焦点通过跟踪的射线的方向。通过在深度相机145与之间使用点积为深度测量加权，可指派更高置信度到与相机的视野正交的深度图部分。阈值有助于减轻噪声。也就j说，用于将深度图像的支持限制成在内。因此，比更近的任何深度测量将被视为相同表面的部分并且一起被平均。的选择由用户决定，然而，通常，应被选择得足够大以计及表面位置由于噪声造成的变化，但足够小以捕捉数据中的细节。

深度测量可累积到深度缓冲器（例如，在深度测量数据结构110中）并且经以下方程，使用权重进行加权：

以及

其中，和在任何位置被初始化为0，并且累积权重被限制成。

下面的伪代码示出用于深度和颜色两者的累积管线的示例：

累积用于深度图像k的深度

在此示例中，单独的累积缓冲器用于颜色数据，这是因为在深度图像与对应颜色图像之间的映射可能不可靠（例如，在目标的剪影附近）。如图所示，颜色数据被“削弱”或取阈值以去除不可靠的颜色测量。可对颜色以与深度数据的累积和加权类似的方式进行累积和加权。

模型变形模块130可配置成基于空间雕刻和修改的深度测量数据结构110，使模型115变形。在示例中，空间雕刻可包括配置成使当前深度图像与模型115相交的模型变形模块130。此类空间雕刻可如下相对于初始化模块155所述执行。此类空间雕刻对于形状的大幅更改是有效的机制，但可沿目标的前景形成锐边不连续性。此外，它可展示对当前深度图像的偏置，这是因为它未计及在深度相机145的不同位姿的以前深度图像。

在示例中，模型变形模块130可配置成使用修改的深度测量数据结构110，计算近似模型115的表面。近似可基于将表面与修改的深度测量数据结构110拟合的有界迭代过程。通过计算表面，可减轻上述相对于雕刻识别的问题。在示例中，为计算表面，变形模块130可配置成使用活动轮廓分割。活动轮廓分割可在深度测量数据结构110中的体素上使用水平集演化技术。在示例中，活动轮廓技术可限于将模型115保持为带符号距离场。在示例中，有界迭代过程可限于在模型115中目标150的边界附近的体素。

在示例中，水平集演化可通过公式表示为最小化以下目标函数：

其中，是正规化权重，是Dirac delta的紧支撑近似，并且如果，则为1，，否则为0。在重新表示为时间的函数时，通过解Euler-Lagrange方程，推导以下偏微分方程(PDE)：

此PDE的一阶解包括以下迭代技术：

其中

同样地，迭代技术可受到限制，使得始终是带符号距离场。在示例中，每时间帧的迭代（例如，）可被限于1（例如，因为大多数模型的变形通过空间雕刻处理）。

下面的伪代码示出变形管线的示例：

在时间帧内使模型115变形

空间雕刻

forl = 1: L 在L次迭代内演化模型115的水平集

// 重建带符号距离场

演化水平集

过滤器模块135可配置成处理当前深度图像至当前深度图像的深度数据中的填充空洞中的至少一个，或者降低在当前深度图像中的噪声。在示例中，过滤器模块部署在深度相机145与配准模块120、累积模块125、模型变形模块130或网格模块10的任何或所有模块之间的深度图像管线中。

初始化模块155可配置成基于第一深度图像（例如，从过滤器模块135接收）从初始化形式使模型115变形。在示例中，可基于用户输入，创建模型115的初始化形式。例如，初始化模块155可包括允许通过深度相机145观看目标150的用户接口。用户接口可配置成允许用户在显示屏上指定边界形状以在视图中包含目标150。此限界的形状可形成用于模型115的初始化形式的基础。在示例中，深度模型的初始化形式是立方体（例如，如下相对于图2-5所示的那些立方体）。

下面是初始化模块155的示例操作情形。可将关注区域确定为3D边界框（例如立方体）。等向性体素栅格可重叠并且映射到关注区域上。例如，可应用映射；其中，B是边界框（例如，以毫米为单位），并且D是以体素单元表示的体素栅格。保持模型115的水平集表示（例如，用于创建模型的带符号距离场）允许低于栅格分辨率的亚体素级精度，这是因为单独的体素值均指示给定测量从模型115中的目标边界开始的距离和方向。

在深度图像采集已开始时，假设（未进行处理以校验）目标150在3D边界框（且因此在模型115）内。第一深度图像可用于从模型115雕刻不是目标150的部分的区域。这可通过对深度图和目标的剪影进行背投（例如，如图2所示）而完成。因此，假定有的模型的初始水平集表示，可通过以下方程计算深度图像的包络：

其中，是在深度图像上的点与当前体素位置之间差的组件。在无深度数据之处的位置或在边界框外的区域，指示符函数可将设置成无限。结果图像（例如，图2或3的阴影区域）是其零iso级对应于深度图像的包络的水平集。这也可表示为模型115中目标150的边界（例如，表面）是点集 。然而，在此结合处，不一定是带符号距离场。因此，算子可应用到水平集以使其成为带符号距离场。在示例中，带符号距离场的近似。

包络的带符号距离场现在可经与当前模型115相交。在示例中，为减轻深度图像中的空洞，在将包络与当前模型115合并前，可通过多个体素（例如，）将其扩大。这可表示为

此扩大可由过滤器模块135执行。在如下面在图3中所示示例的示例中，可获得多个初始深度图像（例如，从多个相机）。上述过程通过多个视图重复进行。

网格模块140可配置成将模型115转换成三角形网格。三角形网格广泛用于处理3D模型。在示例中，行进立方(Marching Cubes)技术可用于执行转换。在模型115是水平集的示例中，生成的网格将是连续（例如，严密）的表面。在示例中，平滑处理技术可应用到生成的网格。例如，行进立方表面可包括在可被平滑处理的体素边界附近的裂片(sliver)或锐边。在示例中，平滑处理技术是通过均匀权重以便例如正规化三角形大小和形状的隐式Laplacian平滑处理技术。因此，包括顶点的网格可通过向量和表示。如此表示的网格可使用以下迭代技术进行平滑处理：，其中，是酉矩阵，是正规划权重，并且是Laplacian伞算子：

其中，是用于顶点i的相邻顶点集，并且是顶点邻居的数量。过程相应独立地为和组件重复进行。

上述技术正规化网格中三角形的大小和形状，但可从模型115中目标150的边界稍微移动顶点。为纠正此情况，通过经以下迭代技术，将网格顶点替换成模型115上的最的p对应点，可将网格顶点投射到累积深度数据上：

通过在网格顶点线性内插累积颜色缓冲器，可将颜色添加到模型115。在示例中，在某个空间区域缺乏颜色数据（例如，零权重）的情况下，可为该区域指派零的alpha值（例如，不可见），或者为其填充颜色空间中的背景。

图2示出根据实施例的模型205的体素栅格、深度相机145和目标150的示例200。体素210是定向在3D空间中的点。然而，为清晰起见，一般未显示体素，而是示出在其中心包含体素210的边界框。体素栅格205延伸到所有三个维中，然而，为清晰起见，由上而下雕刻方案以二维示出。例如，体素栅格205映射到目标150周围的实空间（例如，如通过相机145看到的一样）。在切割前，可将每个方块着暗色阴影（表示包括到模型中）。在拍摄深度图像（例如，第一深度图像）后，从模型去除方块（由无阴影指示）。在示例中，也可注明模型的边界（由浅色阴影指示），其中，例如可执行其它改进。

图3示出根据实施例的模型的体素栅格205、多个深度相机（例如深度相机145和深度相机305）和目标150的示例300。除添加了第二相机305外，图3基本上与图2相同。同时使用几个相机可允许更快完成扫描。此外，空间雕刻方案不要求存储多相机数据（例如，如在一些视觉外壳重建中使用的一样），这是因为每个方案简单地修改组成模型的体素。

图4示出根据实施例，在体素栅格205上模型的带符号距离场的示例400。图4提供带符号距离场的视觉示例。如图所示，方块的阴影越暗，方块中体素的值就越大。白色阴影为负值，并且表示在模型外的点。白色阴影方块的量级（未指示）表示点离模型的边界的距离。最浅的非白色阴影方块表示零的值，并且指示模型的边界。

由于在带符号距离场中点的值指示点是否在模型内（例如，负值）、在模型的边界上（例如，零值，或者在距离零的预定义范围内）还是在模型外（例如，正值）的所有方面，因此，存储此信息是一种有效的方式。此外，值的量级指示点离模型的边界有多远。这允许方便地确定点与边界的“接近度”。此外，通过“采用”最大值的路径，可轻松地确定梯度（例如，大于或等于其它相邻点的相邻点）。

图5示出根据实施例，在体素栅格205上具有梯度的模型的延伸带符号距离场的示例500。带符号距离场的扩张由线条的无箭头端表示，并且梯度由箭头方向上线条的定向表示。如上讨论的，带符号距离场有助于此类确定。此外，深度场和梯度的扩张也示出与在上面相对于图1描述的有效ICP实现中可使用的边界点的点对应。

图6示出根据实施例，用于通过深度相机的由上而下实时3D建模的方法600的示例的流程图。如上所述，方法600的操作全部使用机器硬件执行。

在操作605，从目标的深度相机接收的深度测量可存储在深度测量数据结构中。在示例中，深度测量数据结构可以是体素栅格，其中，栅格中的体素对应于包含目标的空间中的点。

在操作610，可在模型中存储目标的三维表示。在示例中，模型可以是体素栅格，其中，栅格中的体素对应于包含目标的空间中的点。在示例中，模型包括带符号距离场。因此，模型可通过带符号距离场表示，设置的Ω是模型的边界，并且正值在边界内。

在操作615，可将当前深度图像配准到模型，其中，当前深度图像从深度相机接收。在示例中，将当前深度图像配准到模型可包括另外的操作：选择模型中的体素；将用于选择的体素的模型的带符号距离场延伸到当前体素的周围空间中；计算当前体素的梯度；计算在模型的边界上沿梯度对应于当前体素的对应点；以及存储对应点。在示例中，可为模型中的多个（例如，所有）体素执行这些另外的操作。在示例中，多个体素可被限制成在模型中目标的边界附近的体素。接近度可通过具有低于预确定的值的量级（例如，其带符号距离场表示的绝对值）的体素确定。在示例中，接近度包括至少与任何其它体素一样接近边界的体素。

在示例中，将当前深度图像配准到模型可包括使存储的对应点的集合与来自当前深度图像的三维点相关（例如，其中存储的对应点在存储的对应点的集合中）。通过使用存储的对应点的集合，可从第一位姿确定相机的刚体运动。通过使用从第一位姿的刚体运动，可确定深度相机的第二位姿。在此示例中，第二位姿对应于深度相机相对于目标的位姿。修改也可包括将该权重和相同点的以前权重组合。这可称为累积深度图像数据。在示例中，也可从接收的颜色数据（例如，从深度相机或与深度相机位姿同步的另一相机）累积颜色数据（例如，为每个点）。在示例中，为当前深度图像中的多个（例如，所有）点执行累积。

在操作620，可基于配准通过当前深度图像修改深度测量数据结构。在示例中，修改可包括基于从深度相机的焦点到当前深度图像中某点的追踪射线的角度，为该点加权。焦点和角度可基于从当前深度图像的配准中确定的深度相机的位姿来确定。

在操作625，可基于空间雕刻和修改的深度测量数据结构使模型变形。通过如已配准的当前深度图像和变形前的模型，执行空间雕刻。在示例中，变形可包括通过使当前深度图像与模型相交来对模型进行空间雕刻。在示例中，变形可包括使用修改的深度测量数据结构计算近似模型的表面。近似可基于将表面与修改的深度测量数据结构拟合的有界迭代过程。这是类似于使函数与2D数据点集最佳拟合的3D技术。在示例中，计算表面可包括使用活动轮廓分割。活动轮廓分割可在修改的深度测量数据结构中使用体素的水平集演化方法。在示例中，活动轮廓分割可限于将模型保持为带符号距离场。在示例中，有界迭代过程被限于在模型中目标的边界附近的体素（例如，在深度测量数据结构中，或者在模型中）。

在操作630，可选择性地过滤当前深度图像。过滤可包括处理深度图像以填充空洞。在示例中，可通过扩大（例如，扩张）深度图像中的体素来填充空洞。过滤也可包括正规化当前深度图像。在示例中，正规化可包括从深度图像确定和消除噪声体素。在示例中，过滤可在深度相机与任何操作605-625之间（例如，在使用深度相机前）在深度图像管线中进行。

在操作635，可基于从过滤（例如，操作630）接收的第一深度图像，可选地从初始化形式对模型进行初始化。在示例中，可基于用户输入创建模型的初始化形式以将目标置于模型的初始化形式内。例如，可显示允许用户在目标的图像周围绘出3D图形的用户接口。在示例中，模型的初始化形式是立方体（例如，如图2-5中所示）。

在判定640处，可做出有关是否有其它深度图像要处理的确定。在示例中，确定可基于用户输入（例如，用户接口接收“完成扫描”指示或诸如此类）。在示例中，确定可基于时间、收集的深度图像的数量等的任何一项或更多项。

在操作645，在已获得所有深度图像（例如，如图所示）后，或者在深度图像处理期间，可将模型转换成三角形网格。在示例中，可对网格的三角形进行平滑处理。在示例中，可将平滑处理的三角形应用到模型的容积表示。

图7示出根据实施例，用于通过深度相机的实时3D重建的方法700的示例的流程图。如上所述，方法700的操作可通过硬件执行。方法700是3D模型重建的示例。

在操作705，可过滤深度图像。在示例中，过滤可降低噪声。在示例中，过滤可填充空洞。

在操作710，通过基于第一深度图像，从某个形状（例如，立方体）雕刻目标的剪影，可创建初始模型。

在执行操作705的过滤的深度图像集内，迭代执行操作715-725。

在操作715，将当前深度图像配准到模型。

在操作720，将当前深度帧添加到累积缓冲器（例如，上述深度测量数据结构）。

在操作725，使模型变形以匹配当前深度图像（例如，经与操作710类似的雕刻）和累积缓冲器（例如，以其最新状态）。

在操作730，在无其它深度图像要处理时，可从模型生成三角形网格。在示例中，可对网格进行平滑处理（例如，以改进三角形质量）。在示例中，可将网格投射到目标的容积表示（例如，模型）上。

上述迭代操作可通过以下伪代码执行：

从深度图像重建3D模型

Identity //初始化项

// 计算深度奇偶性

// 计算第一图像的包络

// 合并第一包络与模型

将当前深度图像配准到模型

添加当前深度图像到累积缓冲器

使模型变形以匹配当前深度图像和当前累积缓冲器

图8示出本文中讨论的任何一个或更多个技术（例如，方法）可执行的示例机器800的框图。在备选实施例中，机器800可作为独立装置操作，或者可连接（例如，连网）到其它机器。在连网部署中，机器800可在服务器-客户端网络环境中在服务器机器的容量、客户端机器的容量或两者中操作。在示例中，机器800可充当对等(P2P)（或其它分布式）网络环境中的对等机器。机器800可以是个人计算机(PC)、平板PC、机顶盒(STB)、个人数字助理(PDA)、移动电话、环球网设备、网络路由器、交换器或桥接器或能够执行要由该机器采取的动作的指令（有序或无序）的任何机器。此外，虽然只示出单个机器，但术语“机器”也应视为包括单独或联合执行指令集（或多个指令集）以执行本文中所述的任何一个或多个方法的任何机器的集合，如云计算、软件即服务(SaaS)、其它计算机群集配置。

如本文中所述的示例例如可包括逻辑或多个组件、模块或机制，或者可对其进行操作。模块是能够在操作时执行指定操作的有形实体（例如，硬件）。模块包括硬件。在示例中，硬件可具体配置成执行特定操作（例如，硬连线）。在示例中，硬件可包括可配置执行单元（例如，晶体管、电路等）和包含指令的计算机可读媒体，其中，在操作中时，指令配置执行单元执行特定操作。配置可在执行单元或加载机制的引导下进行。因此，装置在操作时，执行单元以通信方式耦合到计算机可读媒体。在此示例中，执行单元可以是不止一个模块的构件。例如，在操作下，执行单元可由第一指令集配置成在一个时间点实现第一模块，并且由第二指令集重新配置成实现第二模块。

机器（例如，计算机系统）800可包括硬件处理器802（例如，中央处理单元(CPU)、图形处理单元(GPU)、硬件处理器核或其任何组合）、主存储器804和静态存储器806，这些组件的一些或所有组件可经互连（例如，总线）808相互进行通信。机器800还可包括显示单元810、字母数字输入装置812（例如，键盘）和用户接口(UI)导航装置814（例如，鼠标）。在示例中，显示单元810、输入装置812和UI导航装置814可以是触摸屏显示器。机器800可另外包括存储装置（例如，驱动器单元）816、信号生成装置818（例如，扬声器）、网络接口装置820和诸如全球定位系统(GPS)传感器、指南针、加速计或其它传感器的一个或多个传感器821。机器800可包括输出控制器828，如串行（例如，通用串行总线(USB)、并联或其它有线或无线（例如，红外(IR)、近场通信(NFC)等）连接以便控制或与一个或多个外围装置（例如，打印机、读卡器等）进行通信。

存储装置816可包括机器可读媒体822，媒体上存储有由本文中所述任何一个或多个技术或功能实施或利用的数据结构或指令824的一个或多个集合（例如，软件）。指令824也可在其由机器800执行期间完全或至少部分驻留在主存储器804内、静态存储器806内或硬件处理器802内。在示例中，硬件处理器802、主存储器804、静态存储器806或存储装置816的一个或任何组合可构成机器可读媒体。

虽然机器可读媒体822示为单个媒体，但术语“机器可读媒体”可包括配置成存储一个或多个指令824的单个媒体或多个媒体（例如，集中或分布式数据库和/或相关联缓存和服务器）。

术语“机器可读媒体”可包括任何媒体，媒体能够存储、编码或携带用于由机器800执行并且促使机器800执行本公开内容的任何一个或多个技术的指令，或者能够存储、编码或携带由此类指令使用或与其相关联的数据结构。非限制性机器可读媒体示例可包括固态存储器和光学媒体及磁性媒体。在示例中，大容量机器可读媒体包括具有具静止质量的多个颗粒的机器可读媒体。聚集的机器可读媒体的特定示例能够包括：诸如半导体存储器器件（例如，电可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)）的非易失性存储器；闪存存储器器件；诸如内部硬盘和可移动盘的磁盘；磁光盘；以及CD-ROM和DVD-ROM盘。

还可经利用多个传送协议的任何一个协议（例如，帧中继、因特网协议(IP)、传送控制协议(TCP)、用户数据报协议(UDP)、超文本传送协议(HTTP)等）的网络接口装置820，使用传送媒体通过通信网络826传送或接收指令824。除其它之外，示例通信网络可包括局域网(LAN)、广域网(WAN)、分组数据网络（例如，因特网）、移动电话网络（例如，蜂窝网络）、普通老式电话(POTS)网络及无线数据网络（例如，称为Wi-Fi®的电气和电子工程师协会(IEEE) 802.11系列标准、称为WiMax®的IEEE 802.16系列标准）、IEEE 802.15.4系列标准、对等(P2P)网络。在示例中，网络接口装置820可包括一个或多个特理插孔（例如，以太网、同轴或电话插孔）或一个或多个天线以连接到通信网络826。在示例中，网络接口装置820可包括多个天线，以便使用单输入多输出(SIMO)、多输入多输出(MIMO)或多输入单输出(MISO)技术中的至少一个进行无线通信。术语“传送媒体”应视为包括能够存储、编码或携带指令以便由机器800执行的任何无形媒体，并且包括数字或模拟通信信号或其它无形媒体以有利于此类软件的通信。

另外的注释和示例

示例1包括主题（如用于通过深度相机的实时3D重建的装置、设备或装置系统），包括：

存储从目标的深度相机接收的深度测量的深度测量数据结构；存储目标的三维表示的模型；将当前深度图像配准到模型的配准模块，当前深度图像从深度相机接收；基于配准通过当前深度图像修改深度测量数据结构的累积模块；以及基于空间雕刻和修改的深度测量数据结构使模型变形的模型变形模块。

在示例2中，示例1的主题可选择性地包括在深度相机与累积模块之间的深度图像管线中的过滤器模块，过滤器模块处理当前深度图像至当前深度图像的深度数据中的填充空洞中的至少一个，或者降低在当前深度图像中的噪声。

在示例3中，示例2的主题可选择性地包括基于从过滤器模块接收的第一深度图像，从初始化形式使模型变形的初始化模块。

在示例4中，示例1-3的任何一个或更多个示例的主题可选择性地包括，其中基于用户输入，创建模型的初始化形式，目标在模型的初始化形式内。

在示例5中，示例1-4的任何一个或更多个示例的主题可选择性地包括，其中模型的初始化形式是立方体。

在示例6中，示例1-5的任何一个或更多个示例的主题可选择性地包括，其中深度测量数据结构或模型中的至少一个包括体素栅格，体素栅格的体素对应于在包含目标的空间中的点。

在示例7中，示例1-6的任何一个或更多个示例的主题可选择性地包括，其中模型包括带符号距离场。

在示例8中，示例1-7的任何一个或更多个示例的主题可选择性地包括，其中为将当前深度图像配准到模型，配准模块将：选择模型中的体素；将用于选择的体素的模型的带符号距离场延伸到当前体素的周围空间中；计算当前体素的梯度；计算在模型的边界上沿梯度对应于当前体素的对应点；以及存储对应点。

在示例9中，示例1-8的任何一个或更多个示例的主题可选择性地包括，其中配准模块将迭代地选择体素，延伸带符号距离场，计算梯度，计算对应点以及存储用于模型中多个体素的对应点。

在示例10中，示例1-9的任何一个或更多个示例的主题，其中多个体素在模型中目标的边界附近，其中在边界附近的体素是不比另一体素离边界更远的体素。

在示例11中，示例1-10的任何一个或更多个示例的主题可选择性地包括，其中配准模块将：使存储的对应点的集合与来自当前深度图像的三维点相关，存储的对应点在存储的对应点的集合中；使用存储的对应点的集合，从第一位姿确定深度相机的刚体运动；以及使用从第一位姿的刚体运动来确定深度相机的第二位姿，第二位姿对应于深度相机相对于目标的位姿。

在示例12中，示例1-11的任何一个或更多个示例的主题可选择性地包括，其中为基于配准通过当前深度图像修改深度测量数据结构，累积模块将：基于从深度相机的焦点到当前深度图像中某点的追踪射线的角度，为该点加权，焦点和角度基于从当前深度图像的配准中确定的深度相机的位姿来确定；以及将该权重和相同点的以前权重组合。

在示例13中，示例1-12的任何一个或更多个示例的主题可选择性地包括，其中累积模块将累积用于点的颜色信息。

在示例14中，示例1-13的任何一个或更多个示例的主题可选择性地包括，其中累积模块将累积用于点的颜色信息。

在示例15中，示例1-14的任何一个或更多个示例的主题可选择性地包括，其中为基于修改的深度测量数据结构使模型变形，模型变形模块将：通过使当前深度图像与模型相交来对模型进行空间雕刻；以及使用修改的深度测量数据结构计算近似模型的表面，近似基于将表面和修改的深度测量数据结构拟合的有界迭代过程。

在示例16中，示例1-15的任何一个或更多个示例的主题可选择性地包括，其中计算表面包括活动轮廓分割的使用，活动轮廓分割在修改的深度测量数据结构中的体素上使用水平集演化技术。

在示例17中，示例1-16的任何一个或更多个示例的主题可选择性地包括，其中活动轮廓分割被限于将模型保持为带符号距离场。

在示例18中，示例1-17的任何一个或更多个示例的主题可选择性地包括，其中有界迭代过程被限于在模型中目标的边界附近的体素，其中在边界附近的体素是不比另一体素离边界更远的体素。

在示例19中，示例1-18的任何一个或更多个示例的主题可选择性地包括网格模块以将模型转换成三角形网格。

示例20可包括，或者可选择性地与示例1-19的任何一个或更多个示例的主题组合以包括用于通过深度相机的实时3D重建的主题（如用于执行动作的方法、部件或包括指令的机器可读媒体，指令在由机器执行时，促使机器执行动作），包括：在深度测量数据结构中存储从目标的深度相机接收的深度测量；在模型中存储目标的三维表示；将当前深度图像配准到模型，当前深度图像从深度相机接收；基于配准通过当前深度图像修改深度测量数据结构；以及基于空间雕刻和修改的深度测量数据结构使模型变形。

在示例21中，示例20的主题可选择性地包括在深度相机与配准、修改或变形中的至少一个之间的深度图像管线中过滤当前深度图像，以执行处理当前深度图像至当前深度图像的深度数据中的填充空洞或者降低在当前深度图像中的噪声中的至少一个。

在示例22中，示例20-21的任何一个或更多个示例的主题可选择性地包括基于从过滤接收的第一深度图像，从初始化形式使模型变形。

在示例23中，示例20-22的任何一个或更多个示例的主题可选择性地包括，其中基于用户输入，创建模型的初始化形式，目标在模型的初始化形式内。

在示例24中，示例20-23的任何一个或更多个示例的主题可选择性地包括，其中模型的初始化形式是立方体。

在示例25中，示例20-24的任何一个或更多个示例的主题可选择性地包括，其中深度测量数据结构或模型中的至少一个包括体素栅格，体素栅格的体素对应于在包含目标的空间中的点。

在示例26中，示例20-25的任何一个或更多个示例的主题可选择性地包括，其中模型包括带符号距离场。

在示例27中，示例20-21的任何一个或更多个示例的主题可选择性地包括，其中将当前深度图像配准到模型包括：选择模型中的体素；将用于选择的体素的模型的带符号距离场延伸到当前体素的周围空间中；计算当前体素的梯度；计算在模型的边界上沿梯度对应于当前体素的对应点；以及存储对应点。

在示例28中，示例20-27的任何一个或更多个示例的主题可选择性地包括为模型中的多个体素迭代执行示例27的操作。

在示例29中，示例20-28的任何一个或更多个示例的主题可选择性地包括，其中多个体素在模型中目标的边界附近，其中在边界附近的体素是不比另一体素离边界更远的体素。

在示例30中，示例20-29的任何一个或更多个示例的主题可选择性地包括，其中将当前深度图像配准到模型包括：使存储的对应点的集合与来自当前深度图像的三维点相关，存储的对应点在存储的对应点的集合中；使用存储的对应点的集合，从第一位姿确定深度相机的刚体运动；以及使用从第一位姿的刚体运动来确定深度相机的第二位姿，第二位姿对应于深度相机相对于目标的位姿。

在示例31中，示例20-30的任何一个或更多个示例的主题可选择性地包括，其中基于配准通过当前深度图像修改深度测量数据结构包括：基于从深度相机的焦点到当前深度图像中某点的追踪射线的角度，为该点加权，焦点和角度基于从当前深度图像的配准中确定的深度相机的位姿来确定；以及将该权重和相同点的以前权重组合。

在示例32中，示例20-31的任何一个或更多个示例的主题可选择性地包括累积用于点的颜色信息。

在示例33中，示例20-32的任何一个或更多个示例的主题可选择性地包括为当前深度图像中的多个点迭代执行示例31的操作。

在示例34中，示例20-33的任何一个或更多个示例的主题可选择性地包括，其中基于修改的深度测量数据结构使模型变形包括：通过使当前深度图像与模型相交来对模型进行空间雕刻；以及使用修改的深度测量数据结构计算近似模型的表面，近似基于将表面和修改的深度测量数据结构拟合的有界迭代过程。

在示例35中，示例20-34的任何一个或更多个示例的主题可选择性地包括，其中计算表面包括使用活动轮廓分割，活动轮廓分割在修改的深度测量数据结构中的体素上使用水平集演化技术。

在示例36中，示例20-35的任何一个或更多个示例的主题可选择性地包括，其中活动轮廓分割被限于将模型保持为带符号距离场。

在示例37中，示例20-36的任何一个或更多个示例的主题可选择性地包括，其中有界迭代过程被限于在模型中目标的边界附近的体素，其中在边界附近的体素是不比另一体素离边界更远的体素。

在示例38中，示例20-37的任何一个或更多个示例的主题可选择性地包括将模型转换成三角形网格。

示例39包括执行示例20-38的任何技术的部件。

示例40包括一种包括指令的机器可读媒体，指令在由机器执行时，促使机器执行示例20-38的任一技术。

示例41可包括，或者可选择性地与示例1-40的任何一个或更多个示例的主题组合以包括主题（如用于执行用于通过深度相机的实时3D重建的动作的系统或部件），包括：用于在深度测量数据结构中存储从目标的深度相机接收的深度测量的部件；用于在模型中存储目标的三维表示的部件；用于将当前深度图像配准到模型的部件，当前深度图像从深度相机接收；用于基于配准通过当前深度图像修改深度测量数据结构的部件；以及用于基于空间雕刻和修改的深度测量数据结构使模型变形的部件。

在示例42中，示例41的主题可选择性地包括用于在深度相机与配准、修改或变形中的至少一个之间的深度图像管线中过滤当前深度图像，以执行处理当前深度图像至当前深度图像的深度数据中的填充空洞或者降低在当前深度图像中的噪声中的至少一个的部件。

在示例43中，示例41-42的任何一个或更多个示例的主题可选择性地包括用于基于从过滤器模块接收的第一深度图像，从初始化形式使模型变形的部件。

在示例44中，示例41-43的任何一个或更多个示例的主题可选择性地包括，其中基于用户输入，创建模型的初始化形式，目标在模型的初始化形式内。

在示例45中，示例41-44的任何一个或更多个示例的主题可选择性地包括，其中模型的初始化形式是立方体。

在示例46中，示例41-45的任何一个或更多个示例的主题可选择性地包括，其中深度测量数据结构或模型中的至少一个包括体素栅格，体素栅格的体素对应于在包含目标的空间中的点。

在示例47中，示例41-46的任何一个或更多个示例的主题可选择性地包括，其中模型包括带符号距离场。

在示例48中，示例41-47的任何一个或更多个示例的主题可选择性地包括，其中用于将当前深度图像配准到模型的部件包括：用于选择模型中的体素的部件；用于将用于选择的体素的模型的带符号距离场延伸到当前体素的周围空间中的部件；用于计算当前体素的梯度的部件；用于计算在模型的边界上沿梯度对应于当前体素的对应点的部件；以及用于存储对应点的部件。

在示例49中，示例41-48的任何一个或更多个示例的主题可选择性地包括用于为模型中的多个体素迭代执行示例48的操作的部件。

在示例50中，示例41-49的任何一个或更多个示例的主题可选择性地包括，其中多个体素在模型中目标的边界附近，其中在边界附近的体素是不比另一体素离边界更远的体素。

在示例51中，示例41-50的任何一个或更多个示例的主题可选择性地包括，其中用于将当前深度图像配准到模型的部件包括：用于使存储的对应点的集合与来自当前深度图像的三维点相关的部件，存储的对应点在存储的对应点的集合中；用于使用存储的对应点的集合，从第一位姿确定深度相机的刚体运动的部件；以及用于使用从第一位姿的刚体运动来确定深度相机的第二位姿的部件，第二位姿对应于深度相机相对于目标的位姿。

在示例52中，示例41-51的任何一个或更多个示例的主题可选择性地包括，其中用于基于配准通过当前深度图像修改深度测量数据结构的部件包括：用于基于从深度相机的焦点到当前深度图像中某点的追踪射线的角度，为该点加权的部件，焦点和角度基于从当前深度图像的配准中确定的深度相机的位姿来确定；以及用于将该权重和用于相同点的以前权重组合的部件。

在示例53中，示例41-52的任何一个或更多个示例的主题可选择性地包括用于累积用于点的颜色信息的部件。

在示例54中，示例41-53的任何一个或更多个示例的主题可选择性地包括用于为当前深度图像中的多个点迭代执行示例53的操作的部件。

在示例55中，示例41-54的任何一个或更多个示例的主题可选择性地包括，其中用于基于修改的深度测量数据结构使模型变形的部件包括：通过使当前深度图像与模型相交来对模型进行空间雕刻；以及用于使用修改的深度测量数据结构计算近似模型的表面的部件，近似基于将表面和修改的深度测量数据结构拟合的有界迭代过程。

在示例56中，示例41-55的任何一个或更多个示例的主题可选择性地包括，其中用于计算表面的部件包括用于使用活动轮廓分割的部件，活动轮廓分割在修改的深度测量数据结构中的体素上使用水平集演化技术。

在示例57中，示例41-56的任何一个或更多个示例的主题可选择性地包括，其中活动轮廓分割被限于将模型保持为带符号距离场。

在示例58中，示例41-57的任何一个或更多个示例的主题可选择性地包括，其中有界迭代过程被限于在模型中目标的边界附近的体素，其中在边界附近的体素是不比另一体素离边界更远的体素。

在示例59中，示例41-58的任何一个或更多个示例的主题可选择性地包括用于将模型转换成三角形网格的部件。

上述详细描述包括对形成详细描述的一部分的附图的引用。图形通过图示示出可实践的特定实施例。这些实施例在本文中也称为“示例”。此类示例可包括除所示或所述那些元素外的其它元素。然而，本发明者也设想了只提供所示或所述那些元素的示例。另外，本发明者也设想了相对于特定示例（或其一个或多个方面）或者相对于本文中所示或所述的其它示例（或其一个或多个方面），使用所示或所述那些元素的任何组件或置换的示例。

本文档中引用的所有出版物、专利和专利文档通过引用全文结合于本文中，好象单独通过引用结合一样。如果在本文档与通过引用如此结合的那些文档之间出现不一致使用，则结合引用中的使用应被视为是对本文档的内容的补充；对于不可调和的不一致，本文档中的使用优先。

在本文档中，如在专利文档中常见的，数词“一”用于包括一个或不止一个，独立于“至少一个”或“一个或多个”的任何其它实例或使用。在本文档中，除非另有指示，否则，术语“或”用于指非独占，或者使得“A或B”包括“A但无B”、“B但无A”及“A和B”。在随附权利要求中，术语“包括”和“其中”用作相应术语“包含”和“之中”的等同物。此外，在下面的权利要求中，术语“包括”是开口式的，即，除在权利要求中此类术语后所列那些元素外还包括其它元素的系统、装置、制品或过程仍被视为在该权利要求的范围内。另外，在下述权利要求中，术语“第一”、“第二”和“第三”等只用作标签，并无意对其物体强加数字要求。

上述描述旨在说明而不是限制。例如，上述示例（或其一个或多个方面）可相互组合使用。可使用其它实施例，如由本领域技术人员在查看上面的描述后使用。摘要部分是为了让读者快速确定本技术公开内容的本质，并且在它将不用于解释或限制权利要求的范围或含意的条件下提交。此外，在上面的具体实施方式中，各种特征可编组在一起以简化公开内容。这不应视为意图是未声明的公开特征是任何权利要求所必需的。相反，发明主题可在少于特定公开实施例的所有特征中发现。因此，随附的权利要求在此结合到具体实施方式中，其中每个权利要求独立作为单独的实施例。实施例的范围应参照所附权利要求以及此类权利要求被授权的等同的完整范围来确定。

Claims (25)

1.一种用于通过深度相机的实时3D重建的设备，所述设备包括：

用于存储从目标的深度相机接收的深度测量的深度测量数据结构；

用于存储所述目标的三维表示的模型；

用于将当前深度图像配准到所述模型的配准模块，所述当前深度图像从所述深度相机接收；

用于基于所述配准通过所述当前深度图像修改所述深度测量数据结构的累积模块；以及

用于基于空间雕刻和所述修改的深度测量数据结构使所述模型变形的模型变形模块。

2.如权利要求1所述的设备，其中所述深度测量数据结构或所述模型中的至少一个包括体素栅格，所述体素栅格的体素对应于包含所述目标的空间中的点。

3.如权利要求2所述的设备，其中所述模型包括带符号距离场。

4.如权利要求3所述的设备，其中为了将所述当前深度图像配准到所述模型，所述配准模块将：

选择所述模型中的体素；

将用于所述选择的体素的模型的所述带符号距离场延伸到当前体素的周围空间中；

计算所述当前体素的梯度；

沿所述梯度计算在所述模型的边界上对应于所述当前体素的对应点；以及

存储所述对应点。

5.如权利要求4所述的设备，其中所述配准模块将迭代地选择所述体素，延伸所述带符号距离场，计算所述梯度，计算所述对应点以及存储用于所述模型中多个体素的所述对应点。

6.如权利要求5所述的设备，其中所述多个体素在所述模型中所述目标的所述边界附近，其中在所述边界附近的体素是不比另一体素离所述边界更远的体素。

7.如权利要求4所述的设备，其中所述配准模块将：

使存储的对应点的集合与来自所述当前深度图像的三维点相关，所述存储的对应点在存储的对应点的所述集合中；

使用存储的对应点的所述集合来从第一位姿确定所述深度相机的刚体运动；以及

使用从所述第一位姿的所述刚体运动来确定所述深度相机的第二位姿，所述第二位姿对应于所述深度相机相对于所述目标的位姿。

8. 如权利要求1所述的设备，其中为了基于所述配准通过所述当前深度图像修改所述深度测量数据结构，所述累积模块将：

基于从所述深度相机的焦点到所述当前深度图像中的点的追踪射线的角度，对所述点加权，所述焦点和所述角度基于从所述当前深度图像的所述配准中确定的所述深度相机的位姿来确定；以及

将所述权重与所述相同点的以前权重进行组合。

9. 如权利要求1所述的设备，其中为了基于所述修改的深度测量数据结构使所述模型变形，所述模型变形模块将：

通过使所述当前深度图像与所述模型相交来对所述模型进行空间雕刻；以及

使用所述修改的深度测量数据结构计算近似所述模型的表面，所述近似基于将所述表面和所述修改的深度测量数据结构拟合的有界迭代过程。

10.如权利要求9所述的设备，其中计算所述表面包括活动轮廓分割的使用，所述活动轮廓分割在所述修改的深度测量数据结构中的体素上使用水平集演化技术。

11.如权利要求10所述的设备，其中所述活动轮廓分割被限于将所述模型保持为带符号距离场。

12.如权利要求9所述的设备，其中所述有界迭代过程被限于在所述模型中所述目标的所述边界附近的体素，其中在所述边界附近的体素是不比另一体素离所述边界更远的体素。

13.一种用于通过深度相机的实时3D重建的硬件实现的方法，所述方法包括：

在深度测量数据结构中存储从目标的深度相机接收的深度测量；

在模型中存储所述目标的三维表示；

将当前深度图像配准到所述模型，所述当前深度图像从所述深度相机接收；

基于所述配准通过所述当前深度图像修改所述深度测量数据结构；以及

基于空间雕刻和所述修改的深度测量数据结构使所述模型变形。

14.如权利要求13所述的方法，其中所述深度测量数据结构或所述模型中的至少一个包括体素栅格，所述体素栅格的体素对应于在包含所述目标的空间中的点。

15.如权利要求14所述的方法，其中所述模型包括带符号距离场。

16.如权利要求15所述的方法，其中将所述当前深度图像配准到所述模型包括：

选择所述模型中的体素；

将用于所述选择的体素的模型的所述带符号距离场延伸到当前体素的周围空间中；

计算所述当前体素的梯度；

沿所述梯度，计算在所述模型的边界上对应于所述当前体素的对应点；以及

存储所述对应点。

17.如权利要求16所述的方法，包括对于所述模型中的多个体素迭代执行权利要求16的所述操作。

18.如权利要求17所述的方法，其中所述多个体素在所述模型中所述目标的所述边界附近，其中在所述边界附近的体素是不比另一体素离所述边界更远的体素。

19.如权利要求16所述的方法，其中将所述当前深度图像配准到所述模型包括：

使存储的对应点的集合与来自所述当前深度图像的三维点相关，所述存储的对应点在存储的对应点的所述集合中；

使用存储的对应点的所述集合来从第一位姿确定所述相机的刚体运动；以及

使用从所述第一位姿的所述刚体运动来确定所述深度相机的第二位姿，所述第二位姿对应于所述深度相机相对于所述目标的位姿。

20. 如权利要求13所述的方法，其中基于所述配准通过所述当前深度图像修改所述深度测量数据结构包括：

基于从所述深度相机的焦点到所述当前深度图像中的点的追踪射线的角度，对所述点加权，所述焦点和所述角度基于从所述当前深度图像的所述配准中确定的所述深度相机的位姿来确定；以及

将所述权重和所述相同点的以前权重进行组合。

21. 如权利要求13所述的方法，其中基于所述修改的深度测量数据结构使所述模型变形包括：

通过使所述当前深度图像与所述模型相交来对所述模型进行空间雕刻；以及

使用所述修改的深度测量数据结构计算近似所述模型的表面，所述近似基于将所述表面和所述修改的深度测量数据结构拟合的有界迭代过程。

22.如权利要求20所述的方法，其中计算所述表面包括使用活动轮廓分割，所述活动轮廓分割在所述修改的深度测量数据结构中的体素上使用水平集演化技术。

23.如权利要求22所述的方法，其中所述活动轮廓分割被限于将所述模型保持为带符号距离场。

24.如权利要求21所述的方法，其中所述有界迭代过程被限于在所述模型中所述目标的所述边界附近的体素，其中在所述边界附近的体素是不比另一体素离所述边界更远的体素。

25.一种包括指令的机器可读媒体，所述指令在由机器执行时，促使所述机器执行权利要求13-24中的任一项所述的方法。