CN104335006B - 3d扫描以及定位界面 - Google Patents

Abstract

本发明描述一种用于提供关于定位不可靠性的指示的系统以及方法。所述系统包括：扫描仪，所述扫描仪用于扫描对象的表面几何形状并且使用基于形状的定位累积每一帧的3D点；位姿估计器，所述位姿估计器用于使用所述3D点估计所述扫描仪的所估计位姿；不可靠位姿检测器，所述不可靠位姿检测器用于确定所述所估计位姿是否具有约束不足的定位；以及指示产生器，所述指示产生器用于产生检测到所述不可靠位姿估计的指示。在一个实施例中，自由度识别器识别所述所估计位姿中的有疑问自由度。在一个实施例中，特征点检测器检测可再观察到的特征点，并且所述位姿估计器使用所述特征点和所述3D点来估计所述所估计位姿，并且所述不可靠位姿检测器使用所述特征点将所述所估计位姿识别为不可靠位姿估计。

Description

3D扫描以及定位界面

技术领域

本发明大体上涉及对象的表面几何形状的三维扫描的领域，并且更确切地说涉及结构光立体视觉。

背景技术

对象的表面几何形状的三维扫描以及数字化通常在许多工业以及服务中使用，并且所述三维扫描以及数字化的应用众多。对象的形状使用测距传感器来扫描并且数字化，所述测距传感器测量传感器与表面上的点集之间的距离。所述传感器从给定视点捕获对象的表面的区段。为了扩展经扫描区段或为了扫描整个表面，传感器或对象移动到若干视点中的一者，并且获得在传感器与对象之间的所有相对位姿之间的空间关系。

存在用于测量并且计算这些空间关系的若干方法。这些方法中的一者利用所观察对象的形状来计算空间中的相对传感器位置以及定向(即，其位姿)。这些基于形状的方法缩短设置获取的时间，因为不需要在场景中附加目标或额外参考。所观察形状区段的形状可能仍不够复杂以确保可靠地估计位姿。存在不可能明确地确定传感器位姿的六个自由度的例如平面、球形、圆柱形表面和其它形状等众所周知的情形。在存在噪声的情况下，即使非理想情况也可能导致不可靠的位姿估计。

发明内容

根据本发明的一个广义方面，提供一种用于提供关于定位不可靠性的指示的系统。所述系统包括：扫描仪，所述扫描仪用于扫描对象的表面几何形状并且使用扫描仪的基于形状的定位累积多个帧中的每一帧的3D点集；位姿估计器，所述位姿估计器用于使用3D点估计扫描仪的所估计位姿；不可靠位姿检测器，所述不可靠位姿检测器用于确定所估计位姿是否具有约束不足的(undercontstrained)定位，并且如果所估计位姿具有约束不足的定位，那么将所估计位姿识别为不可靠位姿估计；指示产生器，所述指示产生器用于产生检测到不可靠位姿估计的指示。

在一个实施例中，所述系统进一步包括自由度识别器，所述自由度识别器用于识别所估计位姿中的至少一个有疑问自由度，所述自由度识别器由不可靠位姿检测器触发，并且其中由指示产生器产生的指示随所述指示包含关于至少一个有疑问自由度的信息。

在一个实施例中，由指示产生器产生的指示包含关于所有有疑问自由度的信息。

在一个实施例中，所述系统进一步包括特征点检测器，所述特征点检测器用于检测在所述多个帧中的至少两者中可由扫描仪再观察到的特征点的存在，其中位姿估计器使用特征点和3D点来估计所估计位姿，并且其中不可靠位姿检测器使用特征点将所估计位姿识别为不可靠位姿估计。

在一个实施例中，所述系统进一步包括扬声器，其中指示产生器致使扬声器发出可听指示。

在一个实施例中，所述系统进一步包括可视界面，其中指示产生器致使可视界面显示可视指示，其中可视指示是文本消息以及图形消息中的至少一者。

在一个实施例中，所述系统进一步包括模型构建器，所述模型构建器使用3D点集构建表面的几何形状的累加模型，其中可视界面显示累加模型的图形表示，并且其中可视指示叠加在累加模型的图形表示上。

在一个实施例中，所述系统进一步包括三维像素(voxel)灵敏度水平计算器，所述三维像素灵敏度水平计算器用于累积由3D点集修改的累加模型的所有三维像素中的三维像素灵敏度水平的平均值，其中可视界面以对应于三维像素灵敏度水平的颜色显示累加模型的图形表示。

在一个实施例中，所述系统进一步包括帧选择器，所述帧选择器用于确定不可靠位姿估计的不可靠性水平；将所述不可靠性水平与预定不可靠性阈值进行比较；仅在所述不可靠性水平低于预定不可靠性阈值的情况下将每一帧的3D点集传递到模型构建器。

在一个实施例中，可视界面显示扫描的当前帧的图形表示，并且其中可视指示叠加在当前帧的图形表示上。

在一个实施例中，所述系统进一步包括位姿灵敏度水平归属器(attributor)，所述位姿灵敏度水平归属器用于使用所估计位姿将位姿灵敏度水平归于所估计位姿，所述位姿灵敏度水平归属器由不可靠位姿检测器触发，并且其中由指示产生器产生的指示包含关于所述指示的位姿灵敏度水平的信息，其中关于位姿灵敏度水平的信息是可视指示的颜色。

在一个实施例中，所述系统进一步包括自由度识别器，所述自由度识别器用于识别所估计位姿中的至少一个有疑问自由度，不可靠性自由度识别器由不可靠位姿检测器触发，并且其中由指示产生器产生的指示随所述指示包含关于至少一个有疑问自由度的信息，其中图形消息包含至少一个箭头，所述箭头以对应于所述有疑问自由度的定向显示。

在一个实施例中，所述系统进一步包括用户命令界面，所述用户命令界面接收来自用户的命令以执行定位可靠性验证，其中不可靠位姿检测器以及指示产生器由所述命令触发以产生检测到不可靠位姿估计的指示。

根据本发明的另一广义方面，提供一种用于提供关于定位不可靠性的指示的方法。所述方法包括：扫描对象的表面几何形状并且使用基于形状的定位累积多个帧中的每一帧的3D点集；使用3D点估计扫描仪的所估计位姿；确定所估计位姿是否具有约束不足的定位，并且如果所估计位姿具有约束不足的定位，那么将所估计位姿识别为不可靠位姿估计；产生检测到不可靠位姿估计的指示。

在一个实施例中，确定所估计位姿是否具有约束不足的定位包括：通过使用协方差矩阵确定表面几何形状类型，所述协方差矩阵根据所估计位姿的变化描述帧的拟合质量；提取协方差矩阵的本征(eigenvalue)向量；计算本征向量的对应本征值的比率；使用预定阈值识别所述比率中的至少一个高比率；从所述高比率中提取至少一个有疑问本征向量；如果存在单一高比率，那么确定表面几何形状类型对应于线性拉伸、回转面以及螺旋形中的一者；如果存在两个高比率，那么确认表面几何形状类型对应于圆柱形；如果存在三个高比率，那么确定表面几何形状类型对应于平面以及球形中的一者。

在一个实施例中，所述系统进一步包括时域滤波器，当在所述多个帧的n个最新帧中具有不可靠位姿估计的帧的数目u达到预定阈值时所述时域滤波器触发所述指示产生器以产生所述指示。

根据本发明的另一广义方面，提供一种用于提供关于定位不可靠性的指示的系统以及方法。所述系统包括：扫描仪，所述扫描仪用于扫描对象的表面几何形状并且使用基于形状的定位累积每一帧的3D点集；位姿估计器，所述位姿估计器用于使用3D点估计扫描仪的所估计位姿；不可靠位姿检测器，所述不可靠位姿检测器用于确定所估计位姿是否具有约束不足的定位；以及指示产生器，所述指示产生器用于产生检测到不可靠位姿估计的指示。在一个实施例中，自由度识别器识别所估计位姿中的有疑问自由度。在一个实施例中，特征点检测器检测可再观察到的特征点，并且位姿估计器使用特征点和3D点来估计所估计位姿，并且不可靠位姿检测器使用特征点将所估计位姿识别为不可靠位姿估计。

附图说明

经包含以提供对本发明的主要方面的更好理解并且并入本说明书中且构成本说明书的一部分的附图图示了本发明的实例实施例，并且与描述一起用以说明本发明的原理。附图并不意图按比例绘制。在所述图式中：

图1(现有技术)是对象的扫描过程的图示；

图2示出在基于形状的定位中可引起位姿的不确定性的理想表面情况；

图3图示圆柱形对象区段上的无约束自由度的视觉反馈；

图4图示平面对象区段上的无约束自由度的视觉反馈；

图5图示线性拉伸对象区段上的无约束自由度的视觉反馈；

图6图示球形对象区段上的无约束自由度的视觉反馈；

图7图示旋转对称对象区段的无约束自由度的视觉反馈；

图8图示经扫描对象的全局视觉反馈；

图9包含图9A以及图9B，图9A中是用于确定表面几何形状类型的方法的实例步骤的流程图以及图9B中是用于识别表面滑移的情况的方法的实例步骤的流程图；

图10图示平面表面的视觉反馈的替代实施例；

图11图示提示添加目标的视觉反馈的替代实施例；

图12图示使用文本消息的视觉反馈的替代实施例；

图13图示线性拉伸对象区段的帧上的无约束自由度的诊断模式中的视觉反馈；

图14图示不适当传感器定位的潜在结果；

图15是用于提供关于定位不可靠性的指示的系统的实例组件的框图。

具体实施方式

在以下对实施例的描述中，参考附图是为了说明实例，本发明可以通过所述实例来实践。应理解，可以在不脱离所揭示的本发明的范围的情况下实施其它实施例。

图1(现有技术)示出对象102，其表面使用范围传感器101进行测量100。传感器捕获其自身坐标系中视场103内的3D点集。接着，传感器相对于对象的相对位置以及定向稍许改变。传感器观察对象的新区段，同时确保与已捕获的表面区段重叠。累加观察到的区段因此在每一新帧中延伸。假定对象的表面形状保持刚性，当前3D帧可与已观察到的区段拟合以获得传感器相对于先前帧的坐标系或相对于累积表面模型的坐标系的刚体变换。存在针对所述目的的众所周知的方法。举例来说，假设P和Q为具有相关联法线的两个网格或点集。寻求使每一点p_i到Q的切平面(q_i处)的平方距离之和最小化的由3x3旋转矩阵R和3x1平移向量t组成的刚体变换：

如果使对准误差E最小化的旋转较小，那么可在线性化R之后对矩阵R和向量t求解。

图2图示上文描述的基于形状的定位方法变得不可靠的情形200。表1给出图2中所示的每一表面类型的无约束参数。

表面类型	图2中的参考	无约束参数
			球形	201	3个旋转
平面	202	2个平移1个旋转
			回转面	203、204	1个旋转
圆柱形	205	1个平移1个旋转
			线性拉伸	206	1个平移
螺旋形	207	1个平移1个旋转

表1.图2的每一表面类型的无约束参数。

在观察接近球形区段201的表面区段时，不可能确定传感器的相对定向。不存在唯一解。三个定向自由度约束不足。当观察到近似平面表面区段202时，不能唯一地确定平面内的两个平移。此外，也不能确定平面的法向量附近的旋转角。来自回转面203、204的区段的观察将导致无约束定向角。上面附加目标的平面区段也进入此类别。对于圆柱形区段205，沿着轴的一个平移以及圆柱轴附近的旋转角约束不足。对于线性拉伸206，一个平移方向约束不足。对于螺旋运动207，旋转角以及沿着轴的平移约束不足。这些情况为一般情况。

这些情况中的一些可进一步一般化。举例来说，对具有相同法向量的一组平面的观察等效于平面表面类型202。观察同心球或圆柱形区段对应于观察球形201或圆柱形表面类型205的情形。这对于旋转或平行线性拉伸的同心表面的区段同样适用。

当这些情形200的一者发生时，定位系统应利用其它特性来确保定位可靠性。定位可靠性是将对象的大表面区段集成在完整表面模型内的必要条件。可利用纹理信息或在对象上附加目标。纹理的作用类似于目标的作用。纹理中的特征点可经检测并且在帧之间或在当前帧与包含这些特征点的参考模型之间匹配。目标提供以较好精确度提取的优点，因此确保可靠的传感器定位。

检测约束不足定位的这些情形并且防止累积帧时的误差是一项挑战。当检测到此情形时，本发明的系统可告知用户不可靠的自由度。这可实时进行。接着有可能在必要时将目标添加到表面。还有可能提供对整个经建模表面的诊断，并且指示在何处定位可靠以及在何处定位不太可靠或不可靠。

盖尔范德(Gelfand)等人(在国际3D数字成像和建模会议会刊(Proc.International Conference on 3D Digital Imaging and Modeling)，2003年，第260-267页“用于ICP算法的几何学稳定取样(Geometrically Stable Sampling for theICP Algorithm)”，以及ACM几何学处理学术研讨会(ACM Symposium on GeometryProcessing)，2004年，第219-228页“使用局部滑移分析的形状分段(Shape SegmentationUsing Local Slippage Analysis)”中)已提议一种数学工具以从3D表面点集识别较弱自由度。其将等式1重写为变换向量(r,t)的函数，其中r是三个规范轴x、y和z附近的旋转向量，并且t是3D空间中的平移向量。这使得有可能获得协方差矩阵C的表达，所述协方差矩阵C表征等式1中的能量E(对准误差)有多少将在P从其与Q的最佳对准发生较小移位(向量[△r^T △t^T])之后改变：

在此表达式中，p_i是Q中的点，并且n_i是Q中的对应匹配点处的表面法线。移位[△r^T△t^T]之后能量的预期变化为：

此增加相对较小的变换将对应于输入集可相对于彼此滑动并且因此使变换约束不足的方向。为了识别这些方向，将提取矩阵C的本征向量并且计算对应本征值的比率。假定本征值呈从λ₁到λ₆递减次序，计算以下比率：

最后比率是协方差矩阵的条件数。为获得来自协方差矩阵的良好估计值，在正规化点之后计算等式2。这意味着点相对于其平均值优先居中，并且经变换坐标按比例缩放使得到原点的平均距离为1。

利用本发明的系统，当也观察到例如目标等特征点时，协方差矩阵计算如下：

C_tot＝C+αC_f其中α≥0， (4)

其中在使用p_i的特征点的位置并且将法向量用于三个规范平面(x＝0；y＝0；z＝0)的每一者之后与C类似地计算C_f，因此分别对于三个法向量n_i1、n_i2、n_i3：[1 0 0]^T,[0 1 0]^T,[0 0 1]^T。考虑存在促成C和m-k特征点的计算的k个表面点，C_f的表达式为：

α的值可根据准则优化。一个实例为使来自本征值C_tot的条件数λ₁/λ₆最小化的值。

为识别最不可靠自由度，考虑最大本征值与其它本征值的每一者的比率。有趣的是，从图2和表1显而易见，真实表面的观察将约束六个自由度中的至少三者。一旦本征值以递减次序分类，识别不太可靠自由度的子集的一个简单方式因此在于从存在经排序比率中的重要阶梯的第三本征值识别。因数10可在两个子集之间区分。还验证，条件数高于阈值。举例来说，此阈值可超过100。显然，可应用其它值或对本征值的其它标准。接着获得表示不太可靠运动的对应本征向量。值得注意的是，不与规范轴完全对准的本征向量[r_x r_y r_z t_xt_y t_z](其中r_x、r_y和r_z是旋转分量并且t_x、t_y和t_z时是平移分量)表示由均一旋转与均一平移叠加组成的非产生的螺旋运动。如果已检测到一个目标，那么可用高条件数标记不超过一个本征向量，因为表面区段上的3D点与固定特征点的组合约束到一个旋转自由度。当连同表面点一起观察到一个以上目标时，没有本征向量可标记。所述观察根据等式3中的局部能量准则较好地约束位姿。

然而，对称性是可能的并且可在不设想视图之间的小运动、精细配准时识别和/或分析。举例来说，第WO 2012/168,904号PCT专利申请公开案论述了检测可能对称性的方法和系统。

一旦已识别对应于最不可靠自由度的本征向量，就分析这些本征向量的分量。每一本征向量为基础[r_x r_y r_z t_x t_y t_z]中的6分量向量。我们可简单地将其写为[r t]。由于每一向量表示螺旋形，所以螺旋形的间距(pitch)将有助于识别运动的类型。间距的表达式为：

0间距将与均匀旋转相关联，而极大(无限)间距将接近平移。如果当搜索不太可靠自由度时仅识别一个本征向量，那么计算间距并且确定可指派旋转、平移还是螺旋运动。如果其为旋转，那么观察到的表面对应于回转面203、204的情况。如果其为平移，那么观察到的表面区段充当线性拉伸206。否则，其为螺旋形207。

当识别两个本征向量时，我们必须确认对应情况为圆柱形205。一个本征向量将描述具有低间距的旋转，而第二本征向量将表示沿着圆柱轴的平移(高间距值)。它们也使用间距来识别。最后，存在识别三个本征向量的情况。此情况可对应于球形201或平面202。计算间距的低值将指示球形201的情况中的三个旋转，针对每一本征向量一个旋转。与每一本征向量相关联的旋转向量r₁、r₂、r₃应近似正交。在存在平面区段202的情况下，识别一个旋转和两个平移，每一者属于不同本征向量。用于检测具有相同法线的平面的存在的方法在于计算点积r_i·r_j(i≠j)。这些旋转分量对于平面全部近似平行。绝对值将通常高于0.9。

区别平面202与球形201的替代方法在于在当前帧的观察到的3D点上拟合平面。这可通过在减去3D点的协方差矩阵的本征值的平均值之后提取所述本征值来实现。最小本征值对应于垂直于平面的本征向量。因而有可能对第二大本征值与最小本征值的比率应用阈值，并且在平面202与球形201之间作出决策。然而，第一方法产生较好结果，因为其将检测平行平面。如上文提及，平行平面的观察导致相同不可靠自由度。位置可平移滑动并且在平面的共同法向量附近旋转。在此点，将已经确定观察到的表面类型。

在图9中概述了整个程序900。在图9A中，用于确定表面几何形状类型的方法的实例步骤包含901使用根据所估计位姿的变化描述帧的拟合质量的协方差矩阵，903提取协方差矩阵的本征向量，905计算本征向量的对应本征值的比率，907使用预定阈值识别所述比率的至少一个高比率，909从高比率中提取至少一个有疑问本征向量，911确定高比率的数目，以及913使用高比率的数目确定表面几何形状类型。如果存在单一高比率，那么表面几何形状类型确定为对应于线性拉伸、回转面以及螺旋形中的一者。如果存在两个高比率，那么表面几何形状类型确认为对应于圆柱形。如果存在三个高比率，那么表面几何形状类型确定为对应于平面以及球形中的一者。

图9B详述使用高比率的数目确定表面几何形状类型的步骤913的实例子步骤。

921 测试是否仅存在一个表示潜在滑移的本征向量(eigenvector)。如果所述测试为肯定的，那么922计算并且测试经识别本征向量的间距以获得其值。如果间距具有高水平(例如，>1)，那么923我们确认表面的类型对应于线性拉伸。当测试922失败时，924测试间距值是否接近0(例如，<0.1)。如果间距接近0，那么925我们可确认表面类型为回转面，否则926我们可确认其为螺旋形。

如果存在呈现与协方差矩阵的最高本征值相比较高比率的一个以上本征值，那么927测试是否存在两个此类本征值。如果测试为肯定的，那么928我们确认其为圆柱形表面。

否则，929验证三个本征值是否呈现高比率。如果测试为肯定的，那么930测试三个点积r_i·r_j(i≠j)。如果其全部为高(例如，>0.9)，那么931我们确认其为平面表面类型。否则，932我们确认存在球形表面类型。

由于不能存在相对于最高本征值具有高比率的三个以上本征值，所以933另外确定表面为不具有滑移。

为了辅助用户，可提供可视指示。此可视指示可特定针对经识别情况。其可叠加在用户已经可用的当前帧的显示上。或者，可使用可听指示。

图3到图7中图示用户界面中的视觉叠加的实例。在图3中，图示圆柱形的显示300。当前帧302叠加在对象301上。通常，整个对象将仅在其已被完全捕获和建模之后显示。当前帧因此将呈现为叠加在部分建模的对象上。箭头303显示在当前帧上方。当显示此符号303时，其指示沿着圆柱轴的平移运动以及围绕同一轴的旋转潜在地不太可靠。指示旋转的箭头可根据圆柱形301的曲率而弯曲。

此指示303指示用户应较好地约束运动以便避免传感器移位期间误差的累积。约束运动的一种方式是在对象301上或在对象301旁边应用目标。

图4示出平面区段401的显示400。当前帧402示出为叠加在平面401上。再次，通常在扫描过程期间仅平面的部分累积的模型将可见。尽管有可能显示平移和法线轴两者以告知用户可能的准确性损失，但可简化显示并且仅描绘平移自由度403。用户利用经简化图形消息403理解一些特征丢失以帮助定位。象形符号403叠加在当前帧显示402上。

图5示出具有线性拉伸表面类型501的显示500。经建模对象501连同当前帧502一起示出。在此情况下，系统已检测到表面类型以及沿着所描绘箭头503的定位的可靠性的缺乏。

图6示出球形601的显示600。示出对象601连同当前帧602。示出最不可靠自由度的经简化表示603。在此实例情况中，不显示横摇(围绕球形的法线的角旋转)。横摇可在认为有用时显示。

图7示出回转面701的显示700。对象701示出为叠加有当前帧702，并且箭头703示出旋转以及(隐含地)其轴，因为其对于定位来说不太可靠。

未示出螺旋形207的显示。在简化型式中，用户将看到类似于圆柱形(见图3)的视觉反馈的视觉反馈，因为围绕轴的旋转以及沿着此相同轴的平移两者在此情况下是最不可靠自由度。

显然，可显示视觉反馈的其它变化以及类型。举例来说，图10中示出平面表面1000的替代视觉反馈。箭头1003显示为简单的线，并且显示沿着平面的法向量定向的旋转轴1004。描绘经建模表面1001以及当前帧1002。

在图11中，呈现视觉反馈1100的另一实例。显示图标1103，其指示在捕获当前帧1102的表面上添加至少一个目标。此处，还描绘表面模型1101。在平面表面的此特定情况下，应添加一个以上目标以充分约束自由度。

图12呈现又一实例视觉反馈1200。视觉反馈1200是含有在用户处引导的警告消息1202的文本消息1201。在此实例中，文本消息1201如下：“小心！扫描仪定位不可靠”。在此实例中，不存在针对用户的关于滑移的性质的指示。用户仅被警告扫描仪定位当前不可靠。用户可接着决定激活用户界面上的另一类型的反馈和/或简单地在场景中添加目标。

视觉反馈

下文详述用于实现叠加在当前帧(以及任选地，部分建模的对象)的显示上的视觉反馈的步骤。

我们首先考虑图5中所示的平移的情况。目标是在当前帧的显示上叠加纵向箭头。所述箭头沿着定位不太可靠的方向定向。计算当前帧的3D点的平均值(重心)。接着，识别到重心的最近3D点，随后在所显示视图的光轴的方向上添加恒定任意偏移。这将产生箭头在检视者与表面之间的错觉。箭头因此在此位置绘制并且其在经识别本征向量的平移向量分量的方向上定向。当箭头以例如图5中的宽度绘制时，可在计算当前帧中的3D点的平均法向量之后在应用与所计算箭头方向的交叉乘积之前计算其横摇。

对于图7中所示的单一旋转的情况，在已从本征向量识别旋转轴的方向之后，计算轴的位置。出于所述目的，将轴的方向考虑为任意平面的法向量，并且3D点在所述平面中投影。与每一3D点相关联的法线也在相同平面中投影以获得2D向量。每一经投影点连同其经投影法线界定投影平面中的线。所寻求轴将在使到整个线集的平方距离之和最小化的点处与此平面交叉。还对这些距离中的每一者应用加权。加权设定为与同每一点相关联的经投影法向量的长度成比例。更正式地，我们搜索X使得：

其中X是在平面中寻求的2D点，a_i、c_i是直线的参数，并且w_i是与每一点相关联的加权。依据所发现点X以及旋转轴的方向，在3D中设定轴。弯曲箭头经定位使得其中心是所计算的旋转轴。在此实例中，曲率半径为固定的但很清楚其可基于3D点的函数(例如，围绕旋转轴的惯性)调整。沿着轴，箭头定位在轴上的点的重心的投影处。最后，为了避免归因于例如噪声的围绕轴从一个帧到另一帧的振荡，对应于传感器的y轴的向量投影在将绘制箭头的平面中。针对弯曲箭头的固有y轴实现相同效果，随后将此后一投影的y轴与传感器的经投影y轴对准。如此，弯曲箭头的时序将取决于相对于所观察表面的传感器视点。

对于图3中所示的圆柱形的情况，应用应用于回转面的程序来确定旋转轴。接着，估计圆柱形的曲率。这使得有可能使所显示的交叉箭头弯曲。为此，依据整个3D点集估计曲率半径。使半径等于点与圆柱轴之间的平均距离。最后，确定圆柱形的可见表面相对于传感器视点呈现为凸面还是凹面。为此，计算3D点的重心并且识别其最近3D点。当经识别最近3D点比所计算重心更接近传感器时，称圆柱形呈现为凸面。否则，称其呈现为凹面。凹度仅为一指示。有可能观察共享同一轴的圆柱形的同轴区段，并且这些圆柱形相对于传感器视点可不均为凹面。然而，所计算的曲率半径将分别依据其为凸面还是凹面而稍许减小或增加。其可增加或减小20％。这确保在显示之后上覆的交叉箭头将完全可见。

对于图4中所示的平面区段的情况，也使用交叉箭头。在针对线性拉伸描述的相同程序之后计算交叉的位置。两个方向为正交的。为避免垂直于平面的轴周围的归因于例如噪声的潜在振荡，应用使对于回转面的单一旋转的情况的定向稳定的相同程序。交叉的法向量可计算为与3D点相关联的平均法线。其也可作为相关联旋转分量的范数为最大的本征向量的旋转分量(r_i)来获得。

在已识别球形区段的情况之后，遵循标准最小平方法在3D点集上拟合球形。从此程序获得中心以及半径。以相同方式针对圆柱形的情况执行，将曲率标记为相对于传感器视点的凹面或凸面，并且半径出于显示的目的增加或减小。弯曲的交叉箭头相对于重心定位在最近3D点处。其首先定位在基于与3D点相关联的平均法线确定其法向量的平面中。接着在此平面内，使用用于单一旋转的相同程序使交叉的定向稳定。出于相同原因，这防止归因于帧之间的噪声的振荡。

当扫描对象时，可激活刚刚描述的可视指示。当识别不太可靠自由度时，可显示箭头以激活定位警报。箭头可例如使用红色着色。用户可将目标添加到对象或其环境并且继续扫描对象。如果排除不太可靠的自由度，那么停止可视指示的显示。否则，可显示类似或不同可视指示。

在一个实施例中，系统直到确保定位可靠性才将3D点的新观察到的帧添加到对象表面的累积模型。这防止模型被不良定位的帧污染。

在一个实施例中，可使用用以识别不太可靠自由度的不太严苛阈值向用户显示警告。所述警告可使用相同箭头但以例如黄色等不同颜色显示。这将使用户的注意力转向可在对累积模型的影响过于具有破坏性之前解决的潜在定位可靠性问题。

归因于噪声和视点问题，协方差矩阵值的变化是可能的，并且这可致使当本征值比率接近阈值时视觉反馈闪烁。为防止此闪烁，可应用时间滤波。实现此目的的一种方式在于对n个最新帧的警报的数目计数，并且确定何时比预定阈值多的帧有疑问(包含当前帧)，随后激活视觉反馈警报。举例来说，阈值可为n个最新帧中的n/2帧。当帧速率接近15Hz时，n的典型值为20。所考虑帧的数目稍许超过在一秒内捕获的帧的数目。

诊断模式

不太可靠自由度的分析提供非常有趣的可能性来帮助用户扫描对象。举例来说，在体积表面重建框架中，有可能累积并更新所捕获3D点修改的所有三维像素中的条件数的平均值。

W_t+1＝βW_t+(1-β)W_t-1 (8)

其中，W_t是时间阶梯t处的协方差矩阵的条件数，并且提供不可靠位姿估计的不可靠性水平。参数β是控制存储器的常数。其对当前值和先前值加权。β的典型值为0.5。条件数的平均值为三维像素灵敏度水平。在实时扫描期间或在扫描之后，有可能以对应于平均条件数或三维像素灵敏度水平的颜色显示模型。图8中示出彩色模型800的实例。显示对象802，并且定位可靠性已经识别为有疑问的区段用一种颜色801显示(图8中示出的图案)，并且接近有疑问的区段用另一颜色803显示(图8中的另一图案)。在例如刚刚描述的诊断模式中，系统将甚至在帧被认为有疑问的情况下将所述帧集成在模型中。这使得有可能全局视觉化所建模对象，随后用户作出添加目标以及重新扫描对象或对象的一些区段的决策。

图14A和图14B示出当传感器的所计算位置以及定向在一区中偏离时基于形状的定位的潜在结果1400。在图14A中，示出参考模型1404。在图14B中，已获取归因于区1401中靠近1403的表面滑移的失真模型1402。

在另一诊断模式中，不累积模型。系统仅基于当前帧或基于几个帧(通常少于20个)在不累积任何模型的情况下分析位姿的可靠性。图13中示出诊断模式的实例视觉反馈1300。视觉反馈1300类似于图5中所示的视觉反馈，其中箭头1302以及当前帧1301可见，只是此处不示出模型。

实例系统实施例

图15是用于提供关于定位不可靠性的指示的系统1500的实例组件的框图。所述系统包括扫描仪1501，所述扫描仪用于扫描对象的表面几何形状并且使用扫描仪的基于形状的定位累积多个帧中的每一帧的3D点集。所述系统包含用于使用3D点估计扫描仪的所估计位姿的位姿估计器1503。不可靠位姿检测器1505确定所估计位姿是否具有约束不足的定位，并且如果所估计位姿具有约束不足的定位，那么将所估计位姿识别为不可靠位姿估计。指示产生器1507产生检测到不可靠位姿估计的指示。

在一个实施例中，系统1500进一步包括自由度识别器1509，所述自由度识别器用于识别所估计位姿中的至少一个有疑问自由度，所述自由度识别器由不可靠位姿检测器1505触发，并且其中由指示产生器1507产生的指示随所述指示包含关于至少一个有疑问自由度的信息。

在一个实施例中，由指示产生器1507产生的指示包含关于所有有疑问自由度的信息。

在一个实施例中，系统1500进一步包括特征点检测器1511，所述特征点检测器用于检测在多个帧中的至少两者中可由扫描仪1501再观察到的特征点的存在，其中位姿估计器1503使用特征点和3D点来估计所估计位姿，并且其中不可靠位姿检测器1505使用特征点将所估计位姿识别为不可靠位姿估计。特征点检测器1511可累积特征点的模型以执行帧中的可再观察特征点的检测。

在一个实施例中，系统1500进一步包括扬声器1513，其中指示产生器1507致使扬声器1513发出可听指示。

在一个实施例中，系统1500进一步包括可视界面1515，其中指示产生器1507致使可视界面1515显示可视指示，其中可视指示是文本消息以及图形消息中的至少一者。

在一个实施例中，系统1500进一步包括模型构建器1517，所述模型构建器1517使用3D点集构建表面的几何形状的累加模型，其中可视界面1515显示累加模型的图形表示，并且其中可视指示叠加在累加模型的图形表示上。

在一个实施例中，系统1500进一步包括三维像素灵敏度水平计算器1519，所述三维像素灵敏度水平计算器用于累积由3D点集修改的累加模型的所有三维像素中的三维像素灵敏度水平的平均值，其中可视界面1515以对应于三维像素灵敏度水平的颜色显示累加模型的图形表示。

在一个实施例中，系统1500进一步包括帧选择器1521，所述帧选择器用于确定不可靠位姿估计的不可靠性水平；将所述不可靠性水平与预定不可靠性阈值进行比较；仅在所述不可靠性水平低于预定不可靠性阈值的情况下将每一帧的3D点集传递到模型构建器1517。在另一实施例中，帧选择器1521可将所有帧的所有3D点集与不可靠性水平的指示一起传递到模型构建器1517。帧选择器1521可实行与一个或许多不可靠性阈值的比较以证明不可靠性水平合格并且准备不可靠性水平的指示。在又一实施例中，扫描仪1501与模型构建器1517通信以传递所有帧的3D点集。帧选择器1521确定不可靠位姿估计的不可靠性水平并且将此信息传送到模型构建器1517。

在一个实施例中，可视界面1515显示扫描的当前帧的图形表示，并且其中可视指示叠加在当前帧的图形表示上。

在一个实施例中，系统1500进一步包括位姿灵敏度水平归属器1523，所述位姿灵敏度水平归属器用于使用所估计位姿将位姿灵敏度水平归于所估计位姿，所述位姿灵敏度水平归属器1523由不可靠位姿检测器1505触发，并且其中由指示产生器1507产生的指示包含关于所述指示的位姿灵敏度水平的信息，其中关于位姿灵敏度水平的信息是可视指示的颜色。

在一个实施例中，系统1500进一步包括自由度识别器1525，所述自由度识别器用于识别所估计位姿中的至少一个有疑问自由度，不可靠性自由度识别器1525由不可靠位姿检测器1505触发，并且其中由指示产生器1507产生的指示随所述指示包含关于至少一个有疑问自由度的信息，其中图形消息包含至少一个箭头，所述箭头以对应于所述有疑问自由度的定向显示。

在一个实施例中，系统1500进一步包括用户命令界面1527，所述用户命令界面1527接收来自用户的命令以执行定位可靠性验证，其中不可靠位姿检测器1505以及指示产生器1507由所述命令触发以产生检测到不可靠位姿估计的指示。

在一个实施例中，系统1500进一步包括时域滤波器1529，当在多个帧的n个最新帧中具有不可靠位姿估计的帧的数目达到预定阈值时所述时域滤波器1529触发指示产生器1507以产生指示。

尽管以上描述涉及如本发明人目前所考虑的实例实施例，但应理解，本发明在其广义方面包含本文中所描述的元件的等效物。

上文描述的实施例仅希望为示例性的。因此，本发明的范围希望仅由所附权利要求书限制。

Claims (15)

1.一种用于提供关于定位不可靠性的指示的系统，所述系统包括：

扫描仪，所述扫描仪用于扫描对象的表面几何形状并且使用所述扫描仪的基于形状的定位累积多个帧中的每一帧的3D点集；

位姿估计器，所述位姿估计器用于使用所述3D点估计所述扫描仪的估计位姿；

不可靠位姿检测器，所述不可靠位姿检测器用于确定所述估计位姿是否具有约束不足的定位，并且如果所述估计位姿具有约束不足的定位，那么将所述估计位姿识别为不可靠位姿估计；指示产生器，所述指示产生器用于产生检测到所述不可靠位姿估计的指示；以及

进一步包括自由度识别器，所述自由度识别器用于识别所述估计位姿中的至少一个有疑问自由度，所述自由度识别器由所述不可靠位姿检测器触发，并且其中，由所述指示产生器产生的所述指示随所述指示包含关于至少一个有疑问自由度的信息。

2.根据权利要求1所述的系统，其中，由所述指示产生器产生的所述指示包含关于所有所述有疑问自由度的信息。

3.根据权利要求1或2所述的系统，进一步包括特征点检测器，所述特征点检测器用于检测在所述多个帧中的至少两个帧中能够由所述扫描仪再观察到的特征点的存在，其中，所述位姿估计器使用所述特征点与所述3D点来估计所述估计位姿，并且其中，所述不可靠位姿检测器使用所述特征点将所述估计位姿识别为不可靠位姿估计。

4.根据权利要求1到2中任一权利要求所述的系统，进一步包括扬声器，其中，所述指示产生器致使所述扬声器发出可听指示。

5.根据权利要求1到2中任一权利要求所述的系统，进一步包括可视界面，其中，所述指示产生器致使所述可视界面显示可视指示，其中，所述可视指示是文本消息以及图形消息中的至少一者。

6.根据权利要求5所述的系统，进一步包括模型构建器，所述模型构建器使用所述3D点集构建所述表面的所述几何形状的累加模型，其中，所述可视界面显示所述累加模型的图形表示，并且其中，所述可视指示叠加在所述累加模型的所述图形表示上。

7.根据权利要求5所述的系统，进一步包括三维像素灵敏度水平计算器，所述三维像素灵敏度水平计算器用于累积由所述3D点集修改的累加模型的所有三维像素中的三维像素灵敏度水平的平均值，其中，所述可视界面以对应于所述三维像素灵敏度水平的颜色显示所述累加模型的所述图形表示。

8.根据权利要求6所述的系统，进一步包括帧选择器，所述帧选择器用于确定所述不可靠位姿估计的不可靠性水平；将所述不可靠性水平与预定不可靠性阈值进行比较；仅在所述不可靠性水平低于所述预定不可靠性阈值的情况下将每一所述帧的所述3D点集传递到所述模型构建器。

9.根据权利要求5所述的系统，其中，所述可视界面显示所述扫描的当前帧的图形表示，并且其中，所述可视指示叠加在所述当前帧的所述图形表示上。

10.根据权利要求5所述的系统，进一步包括位姿灵敏度水平归属器，所述位姿灵敏度水平归属器用于使用所述估计位姿将位姿灵敏度水平归于所述估计位姿，所述位姿灵敏度水平归属器由所述不可靠位姿检测器触发，并且其中，由所述指示产生器产生的所述指示随所述指示包含关于所述位姿灵敏度水平的信息，其中，关于所述位姿灵敏度水平的所述信息是所述可视指示的颜色。

11.根据权利要求5所述的系统，进一步包括

自由度识别器，所述自由度识别器用于识别所述估计位姿中的至少一个有疑问自由度，所述不可靠性自由度识别器由所述不可靠位姿检测器触发，并且其中由所述指示产生器产生的所述指示随所述指示包含关于所述至少一个有疑问自由度中的至少一者的信息；

其中，所述图形消息包含至少一个箭头，所述至少一个箭头以对应于所述有疑问自由度中的所述至少一者的定向显示。

12.根据权利要求1到2中任一权利要求所述的系统，进一步包括用户命令界面，所述用户命令界面接收来自用户的命令以执行定位可靠性验证，其中，所述不可靠位姿检测器以及所述指示产生器由所述命令触发以产生检测到所述不可靠位姿估计的所述指示。

13.根据权利要求1到2中任一权利要求所述的系统，进一步包括时域滤波器，当在所述多个帧的n个最新帧中具有不可靠位姿估计的帧的数目u达到预定阈值时所述时域滤波器触发所述指示产生器以产生所述指示。

14.一种用于提供关于定位不可靠性的指示的方法，所述方法包括：

扫描对象的表面几何形状并且使用基于形状的定位累积多个帧中的每一帧的3D点集；

使用所述3D点估计所述扫描仪的估计位姿；

确定所述估计位姿是否具有约束不足的定位，并且如果所述估计位姿具有约束不足的定位，那么将所述估计位姿识别为不可靠位姿估计；

产生检测到所述不可靠位姿估计的指示；以及

识别所述估计位姿中的至少一个有疑问自由度，所述识别的步骤由确定所述估计位姿是否具有约束不足的定位的步骤触发，并且，其中，产生所述指示的步骤进一步包括随所述指示提供关于至少一个自由度的信息。

15.根据权利要求14所述的方法，其中，所述估计位姿是否具有所述约束不足的定位的所述确定包含通过以下操作确定表面几何形状类型：

使用根据所述估计位姿的变化描述帧的拟合质量的协方差矩阵；

提取所述协方差矩阵的本征向量；

计算所述本征向量的对应本征值的比率；

使用预定阈值识别所述比率中的至少一个高比率；

从所述高比率中提取至少一个有疑问本征向量；

如果存在单一高比率，那么确定所述表面几何形状类型对应于线性拉伸、回转面以及螺旋形中的一者；

如果存在两个高比率，那么确认所述表面几何形状类型对应于圆柱形；

如果存在三个高比率，那么确定所述表面几何形状类型对应于平面以及球形中的一者。