CN104395932A - 对准数据的方法 - Google Patents

Abstract

三维数据通过从第一坐标系中的数据中选择第一组基元和从第二坐标系的数据中选择第二组基元进行对准，其中，所述第一组基元包括至少一个面、至少一个点、以及或者是点或者是面的第三基元，所述第二组基元包括至少一个面、至少一个点、以及与所述第一组基元中的所述第三基元相对应的第三基元。然后，所述面彼此对准，所述点彼此对准，以获得对准的基元。

Description

对准数据的方法

技术领域

本发明通常涉及三维(3D)数据的对准，更具体地，涉及彼此对准3D点和3D面，用于实时重建应用。

背景技术

3D重建

场景的交互实时3D重建用在许多应用中，例如机器人学、增强现实、医学成像以及计算机视觉。实时的稀疏和密集的3D重建可以使用诸如照相机的无源传感器。然而，无源传感器在重建无纹理区域上有困难。

为了重建无纹理区域，可以使用有源3D传感器。例如，用于微软Xbox的Kinet传感器使用IR模式，用于实时从传感器的视点获取作为深度映射的3D数据。

其他问题涉及处理时间、存储器需求以及准确性。由于视野和分辨率，3D传感器通常产生场景的部分重建。期望提供一种能够结合连续部分深度映射和场景模型的准确快速的对准方法。惯性传感器容易漂移。因此，为了准确对准，需要依赖RGB(纹理)图像或深度映射的特征。另外，深度映射通常是有噪声的，没有任何更高层次的空间约束。而且，点云需要非常大的存储器，并且难以压缩。

3D-3D对准

局部

3D数据的对齐或对准是计算机视觉应用中的根本问题，该问题可以利用多种方法解决。对准方法可以是局部的或全局的。局部方法应当以良好的初始化开始，并利用相对较小的迭代移动对准两个3D点云。这类似于收敛到具有良好初始解的全局解的非线性最小化方法。最常见的局部方法是迭代最近点(ICP)方法，该方法利用闭合形式的解迭代地确定相应的3D点和移动。

全局

全局方法通常考虑整个3D点云，识别某些关键的几何特征(基元)，遍及点云匹配这些特征，并使用利用随机抽样一致(RANSACA)过程的对应关系的最小集来生成最佳假设。通过全局方法获得的粗糙对准后面通常跟随局部非线性细化。与局部方法不同，全局方法不要求初始化。然而，全局方法可能遇到不正确和不充分的对应关系。通常用于全局方法中的几何基元要么是点、线或面。

已知有利用同构和异构对应关系的几种全局对准方法。例如，考虑到点到点、线到线、面到面、点到线、点到面或者线到面对应关系，确定对准的闭合形式的解是可能的。一种方法利用分支界定法从点到点、点到线以及点到面的对应关系中获取全局最优解。另一种方法利用分支界定法来获取最佳对应关系以及针对点到点对准问题的变换。

使用3D传感器的SLAM

在移动机器人学中，某些基于3D传感器的方法利用同步定位和映射(SLAM)系统，用于确定传感器的移动以及重建场景结构。这些方法通常使用诸如点基元、线基元或面基元的几何特征。提供3D数据的平面片段的3D传感器，例如2D激光扫描仪或超声波传感器，可以被用于确定平面的、三个自由度(DOF)的运动。提供完整的3D点云的3D传感器，例如结构光扫描仪、安装在活动舞台上的2D激光扫描仪以及Kinect传感器可以用于确定六个DOF运动。

RGB-D映射从RGB图像中提取关键点，利用深度映射以3D的形式向后投射这些点，并利用三个点到点对应关系来确定利用RANSAC过程的姿势的初始估算，该初始估算进一步利用ICP方法进行细化。

另一种方法在具有3D传感器的SLAM系统中使用三个面到面对应关系。该方法利用面之间的几何约束解决对应问题。

对于使用面和线段两者作为基元的SLAM系统，另一种方法使用较小视野(FOV)的3D传感器和较大FOV的2D激光扫描仪。该方法旨在用于解决局部对准问题而无法解决全局对准的顺序的SLAM系统。

KinectFusion通过利用粗到细ICP方法将当前深度映射对准为从全局截短符号距离函数(TSDF)表示生成的虚拟深度映射。TSDF表示整合对准到全局坐标系中的全部的在先深度映射，并能够产生与使用单一图像相比更高质量的深度映射。

已知ICP方法的几种其他变体，但是这些变体在两个3D点云不同时仍然会遇到极小值问题。仅仅依靠点的对准方法或SLAM系统在无纹理区域或具有重复图样的区域中遇到对应关系不充分或者不正确。基于面的技术在包括数量不足的非平行平面的场景上遇到简并问题。

利用诸如Kinect传感器的3D传感器，由于在深度间断点周围的具有噪声的或丢失的深度值，难以获得线对应关系。

发明内容

本发明的实施方式提供一种用于在两个不同的坐标系中对准数据的方法。该方法利用点和面两者作为对准基元。该方法可被利用3D传感器的同步定位和映射(SLAM)系统所使用。该SLAM系统是本文的对准方法的应用。

通过该方法，利用至少三个点和面基元的任意组合，即3个面、2个面和1个点、1个面和2个点、以及3个点在两个不同的坐标系中对准3D数据是可能的。该方法具体涉及一组混合(异种)基元，也就是至少两个3D点和至少一个3D面，或者至少一个3D点和至少两个3D面。

也就是说，该方法可以使用三个基元的最小组和RANSAC过程来对准3D数据并重建场景。由于在3D数据中面的数量明显小于点的数量，优选实施方式所用的RANSAC过程使用包括面比点多，即最少两个面和一个点，的基元组合。

与主要使用点用于对准的现有技术方法相比，本方法具有以下优势。由于面基元的数量更小，对应关系搜索和对准更快，并且可以实时进行。该方法产生比基于点的模型更加紧凑的基于面的3D模型。该方法提供全局对准，而不会遇到如在现有技术局部对准方法中的极小值或初始化问题。

附图说明

图1是根据本发明的实施方式的对准方法的示意图；

图2是使用根据本发明的实施方式的对准方法的同步定位和映射(SLAM)系统的流程图；

图3是本发明的实施方式所用的RANSAC过程的示意图；以及

图4是根据本发明的实施方式的混合式基于面和点的模型的示意图。

具体实施方式

本发明的实施方式提供一种用于在两个不同的坐标系中对准3D数据的方法。如图1中所示，该方法可以在如现有技术已知的连接到存储器和输入/输出接口的处理器150中执行。

图1示出对准方法100的示意图。该对准方法通过使用从两个不同的坐标系101和102中的3D数据中选择的两组的至少三个基元来确定该两个不同的坐标系之间的6-DOF刚体变换105。基元包括3D点110和3D面120。每组中的三个基元包括至少一个3D面、至少一个3D点、以及可以是点或面的第三基元。这两组中的面用面来对准，点用点来对准。该对准方法可以是全局的并且可以实时进行。

如图2中所示，该对准方法可被同步定位和映射(SLAM)系统所使用。该SLAM系统是本文的对准方法的应用。该系统可以在如现有技术已知的连接到存储器和输入/输出接口的处理器200中实现。SLAM系统的示例性输入201是一组一个或多个深度映射202。深度映射描述了映射中每个像素的深度值(距离)，从而通过根据其深度值在映射中向后投射这些像素来提供3D点云。SLAM系统可以可选地获取与深度映射相对应的一组一个或多个2D纹理图像203。纹理图像可以是灰度的或者具有RGB颜色通道。深度映射可以通过3D传感器获得，所述3D传感器例如是无源立体相机204或有源IR或激光扫描仪205，而纹理图像可以通过照相机获得，所述照相机例如有立体照相机204中的单个照相机或者专用照相机206。3D传感器和照相机可以被人手持，或者可以通过机器保持，所述机器例如有机器人臂或机械移动台。关键概念在于可以通过可移动传感器来获取输入；本文的对准方法通过对准在不同视角获取的3D点云来确定传感器的运动并重建场景。

本文的SLAM系统从输入(称为测量值211)中选择210一组3D点和3D面基元并且相对于全局映射225(称为地标221)中的一组点和面基元对准220这些点和面。每组包括至少一个3D点和至少一个3D面。这些组中的第三个基元可以都是点或者都是面。该对准通过利用这两组中的点来对准点以及利用这两组中的面来对准面来进行。

SLAM系统利用使用最小三个基元的随机抽样一致(RANSAC)过程220来进行对准方法。如另外输入所需，优化230可以被应用到全局映射。

3D点

本文的SLAM系统在3D点云中选择一个或多个关键点来获取3D点基元。这些关键点可以利用3D关键点检测器从3D点云中选择，而不使用纹理图像。示例性3D关键点检测器包括普通对齐径向功能(NARF)和3D快速鲁棒特征(SURF)。另选地，该系统可以使用2D关键点检测器从每个纹理图像中选择2D关键点，并且向后映射使用相应深度值的关键点来获取3D点基元。示例性2D关键点检测器包括尺度不变量特征变换(SIFT)和快速鲁棒特征(SURF)。这些3D和2D关键点检测器还提供一种针对各个检测到的关键点的特征描述符。

每个点基元通过关键点的位置p_m和描述符D_m(p_m,D_m)来表示。该描述符可以用于在测量值和地标之间匹配3D点基元。

3D面

为了从3D点云中选择面，我们使用下面的迭代过程：

1.在3D点云中随机选择一组基准点；

2.利用局部窗口内部的附近的点确定针对每个基准点的最佳面；

3.相对于深度映射的栅格图形确定形成与基准点的连接成分的全部内围层；

4.识别具有充足且最大数量的内围层的最佳面；以及

5.从3D点云中移除内围层。

每个面基元由面参数π_m和一组内围层I_m来表示。面参数形成4D向量其中n_m是单位法向量，并且d_m是距离坐标系原点的距离。

对准

通过在全局映射中相对于地标中的基元对准测量值的基元来确定传感器的姿势240(即，相对于全局映射的坐标系的6-DOF刚体变换)。下面描述使用点和面两者的本文的对准方法和本文的RANSAC过程。

映射更新

本文的SLAM系统通过增加从关键帧中选择的点和面基元来更新250全局映射。只有在姿势与在先关键帧足够不同(即，当前帧的平移和旋转与在先关键帧的平移和旋转以超过预定阈值而不同)时，当前帧才被会被认为是关键帧。每个点地标由位置p_l和描述符D_l表示为(p_l,D_l)。每个面地标由面参数和一组内围层I_l表示为(π_l,I_l)。

映射优化

为了共同细化全部关键帧之间的对准，本文的SLAM系统使用点和面两者，通过束调整进行优化230。该束调整在与使用对准方法追踪照相机的姿势的主线程异步的单独线程中进行。下面描述该束调整的细节。

使用点和面的对准

本文的对准方法使用点到点和面到面的对应关系，并且提供闭合形式的解。该方法适用于三个或更多对应关系。因此，该方法可以被用来在本文的RANSAC过程中使用最小数量的三个对应关系来生成假设，以及使用全部的内围层对应关系细化由RANSAC过程给定的初始假设。

针对混合式点到点和面到面对应关系的闭合形式的解

在两个不同的坐标系中，设{pi}以及{p'_i}、i＝1,...,M为相应的3D点，以及{π_j＝(n_j ^T,d_j)^T}和{π'_j＝(n'_j ^T,d′_j)^T}、j＝1,...,N为相应的3D面。我们确定坐标系之间的6-DOF刚体变换[R,t]，其中R是3×3旋转矩阵并且t是3×1变换向量。

针对个案的解

对于点到点对应关系，可以解耦旋转和平移成分。设和 ${\stackrel{\‾}{p}}^{\′}=\frac{1}{M}{\mathrm{\Σ}}_i{p^{\′}}_i$ 为3D点组的形心，并且 $q_i=p_i-\stackrel{\‾}{p}$ 以及 ${q^{\′}}_i={p^{\′}}_i-{\stackrel{\‾}{p}}^{\′}.$ 则，使如下(1)式的误差最小化的旋转的最小二乘解

$\underset{i}{\mathrm{\Σ}}{\left|\right|{q^{\′}}_i-{\mathrm{Rq}}_i\left|\right|}^2---\left(1\right)$

通过使用旋转的四元数表示或者奇异值分解(SVD)来获得。使用估计的旋转平移是旋转的形心之间的差

$\hat{t}={\stackrel{\‾}{p}}^{\′}-\hat{R}\stackrel{\‾}{p}.---\left(2\right)$

对于面到面对应关系的情况，旋转通过使以下误差最小化来获得

$\underset{j}{\mathrm{\Σ}}{\left|\right|{n^{\′}}_j-{\mathrm{Rn}}_j\left|\right|}^2,---\left(3\right)$

其可以与点到点对应关系的情况相类似地进行求解。为了确定平移，我们可以堆叠针对三个或多个面的以下线性约束(liner constraint)并且对线性系统进行求解：

n'_j ^T t＝d_j′-d_j.   (4)

这里，^T是转置运算符。

针对混合式情况的解

对于混合式情况，我们具有点到点和面到面对应关系。我们利用用于个案中的解耦来确定旋转和平移。为了确定旋转，我们组合式(1)和(3)为

$\underset{i}{\mathrm{\Σ}}{\left|\right|{q^{\′}}_i-{\mathrm{Rq}}_i\left|\right|}^2+\underset{j}{\mathrm{\Σ}}{w}_j{\left|\right|{n^{\′}}_j-{\mathrm{Rn}}_j\left|\right|}^2,---\left(5\right)$

其中，w_j是面的权重，其可以针对每个面对应关系进行更改。式(5)与式(1)和式(3)共享相同的形式，并且以相同的方式获取最佳旋转。具体地，我们将3×3相关矩阵K定义为

$K=\underset{i}{\mathrm{\Σ}}{q^{\′}}_i{q_i}^T+\underset{j}{\mathrm{\Σ}}{w}_j{n^{\′}}_j{n_j}^T.---\left(6\right)$

设K＝UDV^T为K的奇异值分解(SVD)。则，最佳旋转为

$\hat{R}=U\left(\begin{array}{ccc}1& & \\ & 1& \\ & & \det \left({\mathrm{UV}}^T\right)\end{array}\right)V^T.---\left(7\right)$

为了确定变换t，我们将以下误差最大化：

$M{\left|\right|t-({\stackrel{\‾}{p}}^{\′}-\hat{R}\stackrel{\‾}{p})\left|\right|}^2+\underset{j}{\mathrm{\Σ}}{w}_j{({{n^{\′}}_j}^{T}t-({d^{\′}}_j-d_j))}^2.---\left(8\right)$

这对应于利用对角权重矩阵W＝diag(M,M,M,w1,...,wN)限定线性系统

则，加权的最小二乘解为t＝(A^TWA)^-1A^TWb。

简并问题

为了唯一地选择R和t，式(6)中的相关矩阵K和式(9)中的矩阵应当满足一定的条件。为了唯一地确定R，相关矩阵K的秩应当大于一，并且下列条件中至少一个应当为真：

det(UV^T)＝1。

K的最小奇异值为单根。

对于要被唯一确定的平移t，式(9)中的矩阵A的秩应当为三。

如果对应关系处理以下至少一个：3个面、2个面和1个点、1个面和2个点、以及3个点，则矩阵K和A满足上述特性。在本文的SLAM系统中的RANSAC过程中，我们使用这些最小数量的对应关系来生成假设。

RANSAC过程

与仅在2D图像空间中的对应关系相比，本文的3D基元提供可以用来识别错误匹配的几种不变量。考虑到两个不同坐标系中的相应的点和面，在一个坐标系中确定的一定几何实体应当大致匹配第二个坐标系中的相应实体。

我们识别每个坐标系中的下列三个不变量：基于两点之间的距离的I1；基于点和面之间的距离的I2；以及基于两个面法线之间的角度的I3。

相应的几何基元可以与不变向量I＝(i₁,i₂,i₃)相关联，其中i₁、i₂、以及i₃分别与相对于类型I1、I2、和I3的不变量的数量相对应。

包括点和面的全部的相应三个一组总共具有三个不变量：3个点：I＝(3,0,0)；1个面和2个点；I＝(1,2,0)；2个面和1个点：I＝(0,2,1)；以及3个面：I＝(0,0,3)。

解释树或分支绑定方法可以用来使用这些不变量来识别错误匹配。对于本文的RANSAC过程，我们使用简单的基于解释树的修剪法。

在删除基于不变量的错误匹配之前，我们获取一些初始对应关系。在点的情况下，我们使用SURF描述符来获取对应关系。在面的情况下，我们以全部可能的对应关系开始并且删除基于不变量的错误匹配。使用三个面的RANSAC过程比使用三个点的RANSAC过程快得多，因为3D数据中的面的数量通常比相应的点的数量小得多。而且，由于面是由很多点产生的，在3D数据中，面受到噪声的影响较小，导致更加准确的对准。因此，如图3中所示，我们利用基元的三个一组对RANSAC过程进行初始化，如果可能的话以下列优选的顺序：3个面301；2个面和1个点302；1个面和2个点303；或者3个点304。

RANSAC过程的结束条件可以是要被抽样的预定最小数量的对应关系。

利用点和面的束调整

本文的SLAM系统对下列变量以束调整的形式进行优化：点地标 $p_l^i=(x^i,y^i,z^i),$ 面地标 ${\mathrm{\π}}_l^j=(a^j,b^j,c^j,d^j),$ 以及关键帧姿势 $T^k=(t_x^k,t_y^k,t_z^k,{\mathrm{\θ}}_x^k,{\mathrm{\θ}}_y^k,{\mathrm{\θ}}_z^k).$

这里，是第k个关键帧的平移的(x,y,z)成分，并且表示围绕(x,y,z)轴的旋转。第k个关键帧的旋转矩阵R^k由 $R^k=R_z\left({\mathrm{\θ}}_z^k\right)R_y\left({\mathrm{\θ}}_y^k\right)R_x\left({\mathrm{\θ}}_x^k\right)$ 来表示。

我们如下地利用与各个点/面地标相关联的点/面基元来确定雅可比矩阵。

点地标

对于点地标，我们使点地标与第k个关键帧中的关联点之间的欧氏距离误差最小化，为

${\left|\right|p_l^i-(R^k{p}_m^k+t^k)\left|\right|}^2=0.---\left(10\right)$

利用地标和关键姿势的当前估算，我们将式(10)线性化为

${\left|\right|{\hat{p}}_l^i+\mathrm{\Δ}{p}_l^i-({\mathrm{\ΔR}}^k{\hat{p}}_m^k+\mathrm{\Δ}{t}^k)\left|\right|}^2=0,---\left(11\right)$

其中， ${\hat{p}}_m^k={\hat{R}}^k{p}_m^k+{\hat{t}}^k$ 并且

$\mathrm{\Δ}{R}^k=\left(\begin{array}{ccc}1& -\mathrm{\Δ}{\mathrm{\θ}}_z^k& \mathrm{\Δ}{\mathrm{\θ}}_y^k\\ \mathrm{\Δ}{\mathrm{\θ}}_z^k& 1& -\mathrm{\Δ}{\mathrm{\θ}}_x^k\\ -\mathrm{\Δ}{\mathrm{\θ}}_y^k& \mathrm{\Δ}{\mathrm{\θ}}_x^k& 1\end{array}\right).---\left(12\right)$

从式(11)中，我们针对各个(x,y,z)成分分别获得三个式。针对x成分的式为

${\left(\begin{array}{c}2({\hat{x}}^i-{\hat{x}}_m^k)\\ 0\\ 0\\ 2({\hat{x}}_m^k-{\hat{x}}^i)\\ 0\\ 0\\ 0\\ 2{\hat{z}}_m^k({\hat{x}}_m^k-{\hat{x}}^i)\\ 2{\hat{y}}_m^k({\hat{x}}^i-{\hat{x}}_m^k)\end{array}\right)}^T\left(\begin{array}{c}{\mathrm{\Δx}}^i\\ \mathrm{\Δ}{y}^i\\ \mathrm{\Δ}{z}^i\\ \mathrm{\Δ}{t}_x^k\\ \mathrm{\Δ}{t}_y^k\\ \mathrm{\Δ}{t}_z^k\\ \mathrm{\Δ}{\mathrm{\θ}}_x^k\\ {\mathrm{\Δ\θ}}_y^k\\ \mathrm{\Δ}{\mathrm{\θ}}_z^k\end{array}\right)=-{({\hat{x}}^i-{\hat{x}}_m^k)}^2,---\left(13\right)$

并且针对y和z成分的式可以以相似的方式获得。

面地标

对于面地标，我们使通过面地标与从关键帧中的关联面中抽样的3D点之间的距离的总和限定的几何误差最小化。具体地，我们从面基元的内围层3D点中一致地抽样3D点并确定各个抽样的点与关联面地标之间的距离。因此，我们最小化的几何误差为

$\underset{s}{\mathrm{\Σ}}{\left({\mathrm{\π}}_l^j\right)}^T\left(\begin{array}{c}{R}^k{x}_m^{k,s}+t^k\\ 1\end{array}\right)=0.---\left(14\right)$

我们利用面地标和关键帧姿势的当前估算使式(14)线性化为

$\underset{s}{\mathrm{\Σ}}{({\mathrm{\π}}_l^j+\mathrm{\Δ}{\mathrm{\π}}_l^j)}^T\left(\begin{array}{c}{\mathrm{\ΔR}}^k{\hat{x}}_m^{k,s}+{\mathrm{\Δt}}^k\\ 1\end{array}\right)=0,---\left(15\right)$

其中 ${\hat{x}}_m^{k,s}={\hat{k}}^k{x}_m^{k,s}+{\hat{t}}^k=({\hat{x}}_m^{k,s},{\hat{y}}_m^{k,s},{\hat{z}}_m^{k,s}).$ 简化之后，我们得到

$\underset{s}{\mathrm{\Σ}}{\left(\begin{array}{c}{\hat{x}}_m^{k,s}\\ {\hat{y}}_m^{k,s}\\ {\hat{z}}_m^{k,s}\\ 1\\ {\hat{a}}^i\\ {\hat{b}}^i\\ {\hat{c}}^i\\ {\hat{c}}^i{\hat{y}}_m^{k,s}-{\hat{b}}^i{\hat{z}}_m^{k,s}\\ {\hat{a}}^i{\hat{z}}_m^{k,s}-{\hat{c}}^i{\hat{x}}_m^{k,s}\\ {\hat{b}}^i{\hat{x}}_m^{k,s}-{\hat{a}}^i{\hat{y}}_m^{k,s}\end{array}\right)}^T\left(\begin{array}{c}\mathrm{\Δ}{a}^j\\ \mathrm{\Δ}{b}^j\\ \mathrm{\Δ}{c}^j\\ \mathrm{\Δ}{d}^j\\ \mathrm{\Δ}{t}_x^k\\ {\mathrm{\Δt}}_y^k\\ \mathrm{\Δ}{t}_z^k\\ \mathrm{\Δ}{\mathrm{\θ}}_x^k\\ \mathrm{\Δ}{\mathrm{\θ}}_y^k\\ \mathrm{\Δ}{\mathrm{\θ}}_z^k\end{array}\right)=-\underset{s}{\mathrm{\Σ}}{\left({\widehat{\mathrm{\π}}}_l^i\right)}^T\left(\begin{array}{c}{\hat{x}}_m^{k,s}\\ 1\end{array}\right).---\left(16\right)$

面地标之间的几何约束

本文的SLAM系统可以可选地在面地标之间以束调整的方式强制实施几何约束。几何约束包括平行性和正交性。正交面和平行面通常可以在人造环境中观察到，在该人造环境中，强制实施几何约束有助于获得准确的对准。

对于每对面地标，和我们利用预定的阈值检查两个面的法向量之间的角度是否充分接近0度(平行)或90度(正交)。如果是，则我们强制实施下列约束

a^ja^j'+b^jb^j'+c^jc^j'＝S，   (17)

其中，当两个面充分接近平行时S＝1，而当两个面充分接近正交时S＝0。

使用两个面地标的当前估算，和 ${\widehat{\mathrm{\π}}}_l^{j^{\′}}=({\hat{a}}^{j^{\′}},{\hat{b}}^{j^{\′}},{\hat{c}}^{j^{\′}},{\hat{d}}^{j^{\′}}),$ 我们将式(17)线性化为

$\begin{array}{c}({\hat{a}}^j+{\mathrm{\Δa}}^j)({\hat{a}}^{j^{\′}}+\mathrm{\Δ}{a}^{j^{\′}})\\ +({\hat{b}}^j+\mathrm{\Δ}{b}^j)({\hat{b}}^{j^{\′}}+\mathrm{\Δ}{b}^{j^{\′}})\\ +({\hat{c}}^j+{\mathrm{\Δc}}^j)({\hat{c}}^{j^{\′}}+\mathrm{\Δ}{c}^{j^{\′}})=S.\end{array}---\left(18\right)$

简化之后，式(18)产生

${\left(\begin{array}{c}{\hat{a}}^{j^{\′}}\\ {\hat{b}}^{j^{\′}}\\ {\hat{c}}^{j^{\′}}\\ {\hat{a}}^j\\ {\hat{b}}^j\\ {\hat{c}}^j\end{array}\right)}^T\left(\begin{array}{c}{\mathrm{\Δa}}^j\\ \mathrm{\Δ}{b}^j\\ \mathrm{\Δ}{c}^j\\ \mathrm{\Δ}{a}^{j^{\′}}\\ \mathrm{\Δ}{b}^{j^{\′}}\\ \mathrm{\Δ}{c}^{j^{\′}}\end{array}\right)=S-({\hat{a}}^j{\hat{a}}^{j^{\′}}+{\hat{b}}^j{\hat{b}}^{j^{\′}}+{\hat{c}}^j{\hat{c}}^{j^{\′}}).---\left(19\right)$

解

针对全部地标和关键帧堆叠式(13)、式(16)和式(19)产生线性系统JΔ＝-ε₀，其中雅可比矩阵为J，误差向量为ε₀，并且更新向量为我们使用高斯-牛顿法来解决优化问题。

实施

本文的实时SLAM系统使用具有640×480像素分辨率的纹理图像和深度映射。当对准成功时，我们使叠加在当前点云上的点和面地标可视化。本文的SLAM系统始终相对于全局映射逐帧地确定全局对准。因此，对准失败不影响后续输入。本文的SLAM系统提供重建的面地标作为更加紧凑的场景的基于面的表示，并提供比场景的基于点的表示更有意味的信息。

发明效果

本发明提供一种使用点和面两者作为基元以在两个不同的坐标系中对准3D数据的对准方法。利用该对准方法，开发了一种使用点到点和面到面对应关系用于对准的3D传感器的实时SLAM系统。利用两种基元比只使用点能够使对准更快更准确。本文的SLAM系统生成作为一组面的3D模型，这提供比严格基于点的表示更加紧凑且更有意味的场景的信息。

本发明示出三个3D点/面基元的任意组合都允许两个不同的坐标系之间的对准。本发明还示出使用3D点和3D面两者的束调整框架，以共同地使多个坐标系之间的对准优化。束调整框架可以强制实施3D面之间的几何约束，例如平行性和正交性，以进一步提高对于人造环境的对准准确性。

面的使用促使更快的重建和紧凑的建模。诸如迭代最近点(ICP)方法的局部方法在3D传感器的快速移动下易受极小值问题的影响，而本文的对准方法提供一种全局方案并且避免了极小值问题。

该方法与从已经对准的3D点云中提取面基元的方法不同。相反，该方法使用从单独的3D点云中选择的面和点基元用于对准。在对准中使用面和点使得对准比只使用点时更有效更准确。

如图4中所示，SLAM系统的输出是场景的对准的点云401和基于面的表示402。基于面的表示提供比基于点的表示更加紧凑且更具意味的信息。该表示被实时地生成。

由于本发明使用点和面两者，因此避免了现有技术方法中出现的失败。这种混合模式对准是新颖的。

针对点到点和面到面对应关系以统一的方式提供对对准的闭合形式的解。

Claims (20)

1.一种用于对准数据的方法，其中，所述数据具有三个维度，该方法包括以下步骤：

从第一坐标系中的所述数据中选择第一组基元，其中，所述第一组基元包括至少一个面、至少一个点、以及是点或者是面的第三基元；

从第二坐标系中的所述数据中选择第二组基元，其中，所述第二组基元包括至少一个面、至少一个点、以及与所述第一组基元中的所述第三基元相对应的第三基元；以及

在所述第一组基元和所述第二组基元中，彼此对准面并彼此对准点，以获得对准的基元。

2.根据权利要求1所述的方法，其中，所述对准被用于同步定位和映射系统中。

3.根据权利要求1所述的方法，其中，所述对准是全局的。

4.根据权利要求1所述的方法，其中，所述对准是实时的。

5.根据权利要求2所述的方法，该方法进一步包括：

获取所述数据作为深度映射。

6.根据权利要求5所述的方法，其中，所述深度映射是通过3D传感器获取的。

7.根据权利要求5所述的方法，该方法进一步包括：

在全局映射中维持对准的基元。

8.根据权利要求5所述的方法，其中，所述对准使用随机抽样一致过程。

9.根据权利要求5所述的方法，该方法进一步包括：

通过位置和描述符表示每个点，以及通过单位法向量和到相应坐标系的原点的距离表示每个面。

10.根据权利要求5所述的方法，其中，每个面是通过以下步骤选择的：

在3D点云中随机选择一组基准点；

利用局部窗口内部的附近的点确定针对每个基准点的最佳面；

关于所述深度映射的栅格图形确定形成与所述基准点的连接成分的全部内围层；

识别具有预定数量的内围层的最佳面；以及

从所述3D点云中移除所述内围层。

11.根据权利要求7所述的方法，其中，利用所述点和所述面通过束调整对所述全局映射进行了优化。

12.根据权利要求1所述的方法，该方法进一步包括：

在所述对准期间根据以下内容识别错误匹配：点之间的距离；点和面之间的距离；或者各个坐标系中的两个面的法线之间的角度。

13.根据权利要求8所述的方法，该方法进一步包括：

按照以下顺序利用可用的三个一组的基元对所述随机抽样一致过程进行初始化：3个面、2个面和1个点、1个面和2个点、或者3个点。

14.根据权利要求5所述的方法，其中，每个点是通过3D关键点检测器选择的。

15.根据权利要求11所述的方法，其中，所述束调整强制实施所述面之间的几何约束。

16.根据权利要求1所述的方法，其中，所述方法的输出包括场景的对准点云和基于面的表示。

17.根据权利要求6所述的方法，其中，所述3D传感器在所述获取期间是可移动的。

18.根据权利要求5所述的方法，该方法进一步包括：

获取与所述深度映射相对应的纹理图像。

19.根据权利要求18所述的方法，其中，各个点通过2D关键点检测器选择，所述2D关键点检测器应用于所述纹理图像并且利用所述深度映射向后投射检测到的关键点。

20.根据权利要求19所述的方法，其中，所述纹理图像是通过照相机获取的。