CN105180830A - 一种适用于ToF相机的三维点云自动配准方法及系统 - Google Patents

Abstract

本发明公开了一种适用于ToF相机的三维点云自动配准方法及系统。系统包括漫反射材料铺粘在转台上表面，漫反射材料上间隔设有圆形标记点，ToF相机和可控转台均与计算机相连接。通过ToF相机采集数据，从三维点云中识别转台并结合转台转角对三维点云进行粗配准，同时通过背景分割获得被测物点云，再通过从强度图像中识别转台上的标记点并结合粗配准三维点云获得标记点点云，而后再利用局部逐渐配准的方法完成各视角标记点点云的配准，最后将标记点点云的配准结果应用于被测物点云，完成配准过程。本发明相比现有技术具有准确性好、鲁棒性强、易用性佳、成本相对较低的优点，并且应用广泛。

Description

一种适用于ToF相机的三维点云自动配准方法及系统

技术领域

本发明涉及三维扫描技术领域，尤其涉及一种适用于ToF相机的三维点云自动配准方法及系统。

背景技术

ToF相机是基于时间飞行法(TimeofFlight)测距原理的3D成像仪，其不仅能像传统2D相机获得强度图像，还能实时获得感光器件上每个像素点到目标物体的对应距离，继而可以计算得到三维点云。由于ToF相机通过主动发射光线进行测量，对光环境的要求较低，具有较好的鲁棒性。

在利用ToF相机构建三维扫描系统时，由于物体本身的遮挡，一次扫描无法获得被测物完整的三维数据，因此通常需要从被测物的不同方位进行扫描。这就需要将不同方位扫描所得的点云转化到同一坐标系，以获得被测物的完整三维点云，该过程称为点云的配准。

为解决多视角点云配准问题，出现了基于转台的三维扫描系统及点云配准方法。现有的方法主要有如下几种：

1.基于可控转角的转台进行多角度扫描，事先获得转台轴线的粗略位置，并根据转台转角进行粗配准，利用ICP方法进行精配准。该方法存在的问题是：由于ToF相机扫描得到的点云存在误差，甚至存在受被测物材质等影响导致局部点云形变等现象，因此直接对被测物点云使用ICP方法容易产生累积误差，导致全局优化配准难的问题。

2.基于可控转角的精密转台进行多角度扫描，事先采用一定方法获得转台轴线精确位置，并结合转台转角直接计算完成配准。该方法虽避免了ICP方法带来的问题，但对转台设备要求较高，且需提前操作以获取转台轴线的精确位置，配准结果会受到轴线测量误差的直接影响。

3.基于非精密转台进行多角度扫描，通过在转台上印刷或粘贴标记物，使用额外的相机拍摄并识别标记物来获得转台位置，进而对ToF相机所得点云进行配准。为此，需要事先对两相机进行标定以获取其相对位置，且需要适度的光照环境以辅助拍摄。该方法虽对转台要求不高，且避开了ICP方法带来的问题，但需要事先标定、对光环境有一定要求的特点限制了其易用性。

发明内容

为了解决背景技术中存在的问题，本发明提出了一种适用于ToF相机的三维点云自动配准方法及系统。

本发明采用如下技术方案：

一、一种适用于ToF相机的三维点云自动配准方法，包括以下步骤：

1)将被测物(4)放置于转台(1)中心，转台(1)上表面铺有漫反射材料(2)，漫反射材料(2)上间隔设有圆形标记点(3)，调节ToF相机(5)的视角朝向转台(1)中心的被测物(4)；

2)从ToF相机(5)采集数据，获得原始点云C_i和原始强度图像G_i，i表示采集次数的序数；

3)对原始点云C_i和原始强度图像G_i进行处理得到粗配准被测物点云CWS_i和标记点点云CWM_i；

4)使转台旋转角度，转台转动的角度为：

θ＝360/(2×3ⁿ)＝180/3ⁿ,n＝1,2,3...

其中，n表示转动参数，n为固定值；

5)如果转台累计转过角度达到一圈，则继续以下步骤；如果转台累计转过角度未达到一圈，则返回步骤2)再次进行采集数据计算，每次采集转台转动的角度相同；

6)采用配准方法配准各次处理得到的标记点点云CWM_i获得各自的精配准变换矩阵TM_i；

7)使用精配准变换矩阵TM_i对各自对应的粗配准被测物点云CWS_i进行变换，即得到精配准被测物点云CWST_i，实现被测物三维点云的配准。

所述步骤3)对原始点云C_i和原始强度图像G_i进行处理得到粗配准被测物点云CWS_i和标记点点云CWM_i具体为：

3.1)从原始点云C_i中识别出转台并获得转台内点、转台中心与转台法向；

3.2)计算原始点云C_i的粗配准变换矩阵T_i；

3.3)使用粗配准变换矩阵T_i对原始点云C_i进行变换，得到粗配准点云CW_i；

3.4)根据已知数据对粗配准点云CW_i进行背景分割，得到粗配准被测物点云CWS_i；

3.5)根据原始点云C_i中各点与原始强度图像G_i中各像素的对应关系，结合转台内点，从原始强度图像G_i中抠取出转台强度图像GP_i；

3.6)在转台强度图像GP_i中识别出各圆形标记点(3)的中心，根据上述对应关系，结合粗配准点云CW_i，用双线性内插法求得各圆形标记点(3)中心的三维坐标，得到标记点点云CWM_i。

所述步骤3.1)中从原始点云C_i中识别出转台并获得转台内点、转台中心与转台法向具体包括：

3.1.1)对原始点云C_i进行多平面拟合获得所有平面及各平面的内点；

3.1.2)对于每一平面，将其内点投影到该平面上，计算所有投影点的凸包；

3.1.3)对于每一凸包，取其上的所有点，用最小二乘法拟合圆；

3.1.4)筛选出拟合度达到圆拟合度阈值的拟合结果；

3.1.5)从筛选出的拟合结果中选取拟合半径最接近转台半径的拟合数据，获得转台内点、转台中心与转台法向。

所述步骤3.2)中计算原始点云C_i的粗配准变换矩阵T_i具体包括：

3.2.1)计算原始点云C_i变换到转台中心坐标系O_T的转台中心变换矩阵T_a，转台中心坐标系O_T是以转台中心为原点，转台法向为Z轴方向，转台中心指向视点的矢量在转台平面上的投影方向为Y轴方向；

3.2.2)计算绕转台中心坐标系O_T的Z轴向转台旋转相反方向转过转台所累计转角的转台旋转变换矩阵T_b；

3.2.3)将转台中心变换矩阵T_a与转台旋转变换矩阵T_b相乘得到粗配准变换矩阵T_i＝T_a×T_b。

所述步骤3.4)中，已知数据是指Z轴分割的起止范围以及转台半径；所述背景分割具体是在粗配准点云CW_i的转台上方建立一个圆柱形区域，并选取圆柱形区域内部的所有点作为粗配准被测物点云CWS_i，圆柱形区域的圆柱轴线与粗配准点云CW_i所在坐标系的Z轴重合，圆柱形区域的半径为转台半径，圆柱形区域的高度方向起止范围作为Z轴分割的起止范围。

所述步骤3.6)中在转台强度图像GP_i中识别出各圆形标记点(3)的中心具体包括：

3.6.1)使用Canny计算方法获得转台强度图像GP_i的边缘，分割不连通的边缘；

3.6.2)对于每一边缘进行椭圆拟合，筛选出拟合度达到椭圆拟合度阈值、长短轴分别处于长轴值域内和短轴值域内的椭圆作为圆形标记点(3)，椭圆中心作为圆形标记点(3)的中心。

所述步骤6)中配准方法具体包括：

6.1)为每一幅标记点点云CWM_i建立一个与之对应的迭代变换矩阵TL_i，并将其初始化为单位矩阵；

6.2)将各幅标记点点云CWM_i作为待处理点云，对待处理点云进行处理，得到前最终点云C_X与后最终点云C_Y；

6.3)以前最终点云C_X为目标点云，以后最终点云C_Y为源点云，进行ICP配准，得到最终变换矩阵T_Y；

6.4)将最终变换矩阵T_Y分别累乘到组成后最终点云C_Y的各幅标记点点云CWM_i所对应的迭代变换矩阵TL_i中，获得所有精配准变换矩阵TM_i。

所述步骤6.2)中对待处理点云进行处理具体包括：

6.2.1)对于各幅待处理点云，按采集的顺序将每相邻的三幅点云分为一组，对各组点云进行处理，每组各得到一幅点云；

6.2.2)将各组得到的点云作为待处理点云，重复上述步骤6.2.1)再进行处理，直到得到仅剩的两幅最终点云，以采集顺序在前的点云为前最终点云C_X，采集顺序在后的点云为后最终点云C_Y；

所述步骤6.2.1)中对各组点云进行处理具体包括：

6.2.1.1)对于每组中的三幅点云，以采集顺序在中的中待处理点云C_B为目标点云，以采集顺序在前的前待处理点云C_A和采集顺序在后的后待处理点云C_C为源点云，分别进行ICP配准，得到前待处理点云C_A、后待处理点云C_C分别配准到中待处理点云C_B的前变换矩阵T_A和后变换矩阵T_C；

6.2.1.2)将前变换矩阵T_A分别累乘到各幅组成前待处理点云C_A的标记点点云CWM_i所对应的迭代变换矩阵TL_i中；将后变换矩阵T_C分别累乘到各幅组成后待处理点云C_C的标记点点云CWM_i所对应的迭代变换矩阵TL_i中；

6.2.1.3)分别使用前变换矩阵T_A和后变换矩阵T_C对前待处理点云C_A、后待处理点云C_C进行变换，将变换后的两幅点云与中待处理点云C_B合并为一幅点云。

二、一种适用于ToF相机的三维点云自动配准系统：

包括可控转台(1)、漫反射材料(2)、圆形标记点(3)、ToF相机(5)和计算机(6)，漫反射材料(2)铺粘在转台(1)上表面，漫反射材料(2)上间隔设有圆形标记点(3)，任意两个圆形标记点(3)之间有间距；ToF相机(5)和可控转台(1)均与计算机(6)相连接，ToF相机(5)朝向转台(1)中心，可控转台(1)由计算机(6)控制旋转角度，ToF相机(5)由计算机(6)控制拍摄并向计算机(6)传输数据。

所述的圆形标记点(3)随意排布地粘贴在漫反射材料(2)上表面。

所述的漫反射材料(2)上表面中心置有被测物(4)，所述的圆形标记点(3)设在漫反射材料(2)上表面除被测物(4)放置区域以外的其他区域。

所述的漫反射材料(2)为EVA泡棉垫。

本发明利用ToF相机可同时获得强度图像与三维点云的特性，从三维点云中识别转台并结合转台转角对三维点云进行粗配准，同时通过背景分割获得被测物点云，再通过从强度图像中识别转台上的标记点并结合粗配准三维点云获得标记点点云，而后再利用局部逐渐配准的方法完成各视角标记点点云的配准，最后将标记点点云的配准结果应用于被测物点云，完成配准过程。

与现有技术相比，本发明具有的有益效果是：

1)相比使用ICP方法直接对被测物点云进行配准的方法，本发明利用标记点点云进行局部逐渐配准，具有较小的配准误差，准确性较好。

2)相比利用精密转台、提前获取转台轴线的方法，本发明使用的转台对精度要求一般，成本相对较低；且本发明在开始扫描前不需要进行额外的操作，有较好易用性；且由于本发明采用包含若干标记点的点云进行多次配准，受随机误差的影响较小，具有较强的鲁棒性。

3)相比利用额外相机识别标记点的方法，本发明无需额外相机即可完成对标记点的识别，由于ToF相机发出的光线可提供照明，因此也并不需要额外的光源，成本相对较低。

简而言之，本发明与现有技术相比，具有准确性好、鲁棒性强、易用性佳、成本相对较低的特点，可在未来基于ToF相机的自动三维扫描系统中得以广泛使用。

附图说明

图1是本发明系统结构示意图；

图2是本发明方法的流程图；

图3是本发明实施例提供的一种识别转台方法的流程图；

图4是本发明实施例提供的一种识别标记点中心方法的流程图；

图5是本发明实施例提供的一种配准各标记点点云方法的流程图；

图6是本发明实施例提供的一种配准各标记点点云方法中处理待处理点云子过程的流程图；

图7是本发明实施例提供的一种配准各标记点点云方法中处理各组点云子过程的流程图；

图8是本发明实施例提供的一种计算粗配准变换矩阵方法的示意图；

图9是本发明实施例提供的一种背景分割方法的示意图；

图10是本发明实施例提供的一种配准各标记点点云方法的示意图。

图中：1、可控转台，2、漫反射材料，3、圆形标记点，4、被测物，5、ToF相机，6、计算机。

具体实施方式

以下结合附图及实施例，对本发明作进一步详细说明。

如图1所示，本发明包括可控转台1、漫反射材料2、圆形标记点3、ToF相机5和计算机6，漫反射材料2铺粘在转台1上表面，漫反射材料2上间隔设有圆形标记点3，任意两个圆形标记点3之间有间距；ToF相机5和可控转台1均与计算机6相连接，ToF相机5朝向转台1中心，可控转台1由计算机6控制旋转角度，ToF相机5由计算机6控制拍摄并向计算机6传输数据。

圆形标记点3随意排布地粘贴在漫反射材料2上表面，漫反射材料2上表面中心置有被测物4，圆形标记点3随机地分布于漫反射材料2上表面除被测物4放置区域以外的其他区域。

漫反射材料2可采用灰色EVA泡棉垫，圆形标记点3可采用高反射率材料，具体可采用白色亚光纸。

如图2所示，本发明的实施例及其实施工作过程如下：

01、将被测物4放置于转台1的中心，调节ToF相机5的视角，初始化系统各部件。具体地，调节ToF相机5的视角时，使转台1与被测物4均能完全在其视野内，且ToF相机5近似地朝向转台1的中心；初始化系统各部件的操作包括：连接各设备电源，启动计算机6并运行相关程序。

02、从ToF相机5采集数据，每次获得的数据包括原始点云C_i和原始强度图像G_i，i表示采集次数的序数，i可以是1、2、3等正整数值，由数据的获取顺序所确定，与后文出现各标记中的i相对应。例如，第一次采集得到的是原始点云C₁和原始强度图像G₁，第二次采集得到的是原始点云C₂和原始强度图像G₂，以此类推。

点云是指三维点云，且后文出现的所有点云均指三维点云；强度图像是指ToF相机各像素所获取的特定波段光强度值所构成的图像，例如红外ToF相机所获得的即为某特定波段的红外图像。

03、从原始点云C_i中识别转台，获得转台内点、转台中心与转台法向。

识别转台的过程如图3所示：

031、对原始点云C_i进行多平面拟合，获得所有平面及各平面的内点。

032、对于每一平面，将其内点投影到该平面上，计算这些投影点的凸包。

033、对于每一凸包，取其上的所有点，用最小二乘法拟合圆。

034、筛选出拟合度达到圆拟合度阈值的拟合结果。例如，设圆拟合度阈值为0.9，对于所有拟合结果，保留拟合度大于等于0.9的各组数据，舍弃拟合度小于0.9的各组数据。

上述拟合结果中的每组数据包括圆拟合公式与内点，圆拟合公式包括拟合半径、圆心与法向。具体地，由于凸包和圆均为投影平面的二维数据，因此需要将所得二维圆心转换到三维坐标系中，作为圆心；而法向即为投影平面的法向。

035、从筛选出的拟合结果中选取拟合半径最接近转台半径的一组数据，将其作为转台，获得转台内点、转台中心与转台法向。

对于选取作为转台的一组数据，将其内点作为转台内点，其圆心作为转台中心，其指向视点一侧的法向作为转台法向。

举例说明上述“选取拟合半径最接近转台半径的一组数据”：假设所获得的拟合结果中的各拟合半径为0.22m、0.31m、0.26m，已知转台半径为0.25m，由于0.26m最接近0.25m，则选择0.26m所在的一组数据。

04、计算原始点云C_i的粗配准变换矩阵T_i。

在计算粗配准变换矩阵T_i时，先计算原始点云C_i变换到转台中心坐标系O_T的转台中心变换矩阵T_a，转台中心坐标系O_T是以转台中心为原点，转台法向为Z轴方向，转台中心指向视点的矢量在转台平面上的投影方向为Y轴方向；再计算绕转台中心坐标系O_T的Z轴、向转台旋转相反方向转过转台所累计转角的转台旋转变换矩阵T_b，将转台中心变换矩阵T_a与转台旋转变换矩阵T_b相乘得到粗配准变换矩阵T_i＝T_a×T_b。

具体说明粗配准变换矩阵T_i的计算过程：图8所示为该计算过程的示意图。如图8.(a)所示，已知的转台中心Q_T与转台法向n_T已在图中标出，对于原始点云C_i，其坐标系为相机坐标系为O_C。则根据这些数据，如图8.(b)所示，首先需要计算原始点云C_i变换到转台中心坐标系O_T的转台中心变换矩阵T_a，转台中心坐标系O_T的方位已在图中标出，即以转台中心Q_T为原点，转台法向n_T为Z轴方向，转台中心Q_T指向视点Q_C的矢量在转台平面上的投影方向为Y轴方向。该操作的目的在于将点云的坐标系变换到转台中心的位置，以便再根据转台累计转角来绕转台轴线旋转。

随后需要计算转台旋转变换矩阵T_b，继而计算粗配准变换矩阵T_i＝T_a×T_b。对于第一幅点云C₁而言，转台此时还没有旋转，累计转角为0°，因此其T_b为单位矩阵，则T_i＝T_a，则C₁最终变换到的坐标系就是C₁的转台中心坐标系O_T，将其记为O_W，那么其后的各点云C_i在变换到各自的转台中心坐标系O_T之后就可通过旋转而变换到O_W下，最终使各点云处于同一坐标系下。

对于除第一幅点云以外的其他点云C_i，转台累计转角都不为0°，此时O_W的位置如图8.(c)所示，图中曲线箭头表示转台转动方向，而C_i的转台中心坐标系O_T如图8.(d)所示，因此要将O_T变换到O_W就要将O_T向转台旋转相同方向旋转，如图中虚线箭头所示，那么相对地，在O_T中的点云就要向转台旋转相反方向旋转，所转度数即为转台累计转角，该旋转过程所需变换矩阵即为T_b。

因此最终将T_a与T_b相乘，即可得到点云从O_C变换到O_W所需的粗配准变换矩阵T_i＝T_a×T_b。

用数据举例说明上述过程。假设已获得的数据有：

转台中心Q_T＝(0.0327762,0.0129711,0.761305)

转台法向n_T＝(-0.0111967,0.832864,-0.553365)

视点Q_C＝(0,0,0)

转台累计转角为60°

根据Q_T、n_T、Q_C求得 $T_a=\left[\begin{array}{cccc}-0.9991& -0.0134424& 0& 0.0329476\\ -0.00743854& 0.553315& 0.832939& -0.641054\\ -0.0111967& 0.832864& -0.553365& 0.410843\\ 0& 0& 0& 1\end{array}\right]$

根据转台累计转角求得 $T_b=\left[\begin{array}{cccc}0.5& 0.866025& 0& 0\\ -0.866025& 0.5& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]$

则 $T_i=T_a\×T_b=\left[\begin{array}{cccc}-0.488313& -0.872668& 0& 0.0329476\\ -0.482904& -0.270215& 0.832939& -0.641054\\ -0.72688& 0.406735& -0.553365& 0.410843\\ 0& 0& 0& 1\end{array}\right]$

05、使用粗配准变换矩阵T_i对原始点云C_i进行变换，得到粗配准点云CW_i。该操作的目的在于为后续各标记点点云CWM_i的ICP配准提供一个初始位置，即为粗配准。需要说明的是，该操作中，点云的有序性得以保留，且其中各点与强度图像各像素的对应关系均保持不变。

06、根据已知数据对粗配准点云CW_i进行背景分割，得到粗配准被测物点云CWS_i。此处，已知数据是指Z轴分割的起止范围以及转台半径，这些参数均需预先设定。所述背景分割具体是在粗配准点云CW_i的转台上方建立一个圆柱形区域，并选取圆柱形区域内部的所有点作为粗配准被测物点云CWS_i，圆柱形区域的圆柱轴线与粗配准点云CW_i所在坐标系的Z轴重合，圆柱形区域的半径为转台半径，圆柱形区域的高度方向起止范围作为Z轴分割的起止范围。

图9所示为背景分割的示意图，图中用虚线表示上述圆柱形区域，则从粗配准点云CW_i中选取圆柱区域内的所有点作为粗配准被测物点云CWS_i。

07、根据原始点云C_i中各点与原始强度图像G_i中各像素的对应关系，结合转台内点，从原始强度图像G_i中抠取出转台强度图像GP_i。上述对应关系是指，点云中的每一点都与强度图像中的一个像素相对应，这是因为点云是由深度图像计算而来，而由ToF相机的工作原理可知，深度图像上的各像素与强度图像上的各像素是一一对应的。

08、在转台强度图像GP_i中识别各标记点中心，根据上述对应关系，结合粗配准点云CW_i，用双线性内插法求得各标记点中心的三维坐标，得到标记点点云CWM_i。

其中，在转台强度图像GP_i中识别各标记点中心的过程如图4所示：

081、使用Canny方法获得转台强度图像GP_i的边缘，分割不连通的边缘。

082、对于每一边缘，对其进行椭圆拟合，筛选出拟合度达到椭圆拟合度阈值、长短轴分别处于长轴值域内和短轴值域内的椭圆作为标记点，记录各椭圆中心，作为各标记点的中心。筛选的目的在于确保识别到的椭圆为标记点而不是其他物体。其中，由于长轴值域和短轴值域的单位为像素，与ToF相机到标记点的距离有关，因此需预先根据强度图像中标记点大小来确定合适的数值。

举例说明上述长轴值域和短轴值域的确定方法：

对于长轴而言，如在转台强度图像GP_i中长轴最大的标记点的长轴占用了20个像素，长轴最小的标记点的长轴占用了15个像素，为确保鲁棒性，长轴值域应比最小长轴到最大长轴的范围略大，则长轴值域可为[16,21]，即在过滤时椭圆的长轴需在16～21之间。同理，对于短轴而言，短轴值域可为[11,15]，即在过滤时椭圆的短轴需在11～15之间。

举例说明上述筛选椭圆的过程：

设椭圆拟合度阈值为0.9，长轴值域为[16,21]，短轴值域为[11,15]，那么对于一个椭圆，若其拟合度大于等于0.9，长轴在16～21之间，短轴在11～15之间，则保留该椭圆；若椭圆的拟合度、长轴、短轴中有任意一个不满足上述条件，则舍弃该椭圆。

得到标记点点云CWM_i的过程如下：

由于原始点云C_i中各点与原始强度图像G_i中各像素一一对应，粗配准点云CW_i各点与原始点云C_i各点一一对应，转台强度图像GP_i各像素与原始强度图像G_i中各像素一一对应，因此粗配准点云CW_i中的各点与转台强度图像GP_i中的各像素也具有这种对应关系。而又由于各标记点的中心是处于转台强度图像GP_i中，因此即可结合粗配准点云CW_i用双线性内插法求得各标记点三维坐标，得到标记点点云CWM_i。具体地，对于每一识别到的标记点中心，根据其在转台强度图像GP_i中的坐标(x_p,y_p)获得其所属的像素区间[x,x+1]、[y,y+1]，即x≤x_p≤x+1，y≤y_p≤y+1，则(x_p,y_p)在由P_x,y、P_x,y+1、P_x+1,y、P_x+1,y+1这4点构成的矩形内。从粗配准点云CW_i中获得与上述4点对应的4个三维点CP_x,y、CP_x,y+1、CP_x+1,y、CP_x+1,y+1。则利用双线性内插法，得到该标记点中心的三维点：

CP＝CP_x,y(x+1-x_p)(y+1-y_p)+CP_x,y+1(x+1-x_p)(y_p-y)

+CP_x+1,y(x_p-x)(y+1-y_p)+CP_x+1,y+1(x_p-x)(y_p-y)

举例说明该计算过程：

假设计算得到的其中一个标记点中心坐标为(213.6,208.7)，即x_p＝213.6，y_p＝208.7，则其所属的像素区间为[213,214]、[208,209]，即x＝213，y＝208，即标记点中心坐标在由P_213,208＝(213,208)、P_213,209＝(213,209)、P_214,208＝(214,208)、P_214,209＝(214,209)这4点所构成的矩形内。从粗配准点云CW_i中获得与上述4点对应的4个三维点CP_213,208、CP_213,209、CP_214,208、CP_214,209，假设这4点的坐标分别如下：

CP_213,208＝(0.1652,-0.0326,-0.0008)

CP_213,209＝(0.1655,-0.0307,-0.0009)

CP_214,208＝(0.1634,-0.0321,-0.0007)

CP_214,209＝(0.1637,-0.0298,-0.0008)

则利用双线性内插法进行如下计算，分别求标记点中心三维点CP的x、y、z坐标：

CP_x＝0.1652×(214-213.6)×(209-208.7)+0.1655×(214-213.6)×(208.7-208)

+0.1634×(213.6-213)×(209-208.7)+0.1637×(213.6-213)×(208.7-208)

＝0.1643

CP_y＝-0.0326×(214-213.6)×(209-208.7)-0.0307×(214-213.6)×(208.7-208)

-0.0321×(213.6-213)×(209-208.7)-0.0298×(213.6-213)×(208.7-208)

＝-0.0308

CP_z＝-0.0008×(214-213.6)×(209-208.7)-0.0009×(214-213.6)×(208.7-208)

-0.0007×(213.6-213)×(209-208.7)-0.0008×(213.6-213)×(208.7-208)

＝-0.0008

即所求标记点中心三维点CP的坐标为(0.1643,-0.0308,-0.0008)

对识别得到的各标记点中心均执行此操作，所获得的各个标记点中心的三维点即构成标记点点云CWM_i。

09、使转台旋转角度θ。此处，角度θ在扫描过程中为固定值，需预先设定，其值可以是60°、20°、20/3°等。这是因为，为配合本发明的配准方法，需从2×3ⁿ个方位进行扫描，即转台每次转动的角度为：

θ＝360/(2×3ⁿ)＝180/3ⁿ,n＝1,2,3...

其中，n表示转动参数，用来确定θ的值。

例如：

设n＝1，则θ＝60°，则在6个方位进行扫描；

设n＝2，则θ＝20°，则在18个方位进行扫描。

10、判断转台是否累计已转过一圈，如果是，则继续执行下一步11，否则返回执行02。

例如：

当转台累计转过角度为300°，未达到一圈(360°)，则返回执行02；

当转台累计转过角度为360°，达到一圈，则执行11。

11、采用如图5所示的配准方法配准各次处理得到的标记点点云CWM_i，获得各自的精配准变换矩阵TM_i。

所述配准方法的基本原理是分散式地对局部相邻点云进行配准、合并，再重复此过程，最终得到一个较好的整体配准结果。为此，所要处理的点云个数必须为2×3ⁿ个，其中n即为前文所述的转动参数。该方法可以有效减少顺序配准方法带来的累积误差。具体实施中的工作过程如下：

111、为每一幅标记点点云CWM_i建立一个与之对应的迭代变换矩阵TL_i，并将其初始化为单位矩阵。

112、将各幅标记点点云CWM_i作为待处理点云，对待处理点云进行处理，得到前最终点云C_X与后最终点云C_Y。

具体实施中对待处理点云进行处理的工作过程如图6所示：

1121、对于各幅待处理点云，按采集的顺序将每相邻的三幅点云分为一组，对各组点云进行处理，每组各得到一幅点云。

具体实施中对各组点云进行处理的工作过程如图7所示：

11211、对于每组中的三幅点云，以采集顺序在中的中待处理点云C_B为目标点云，以采集顺序在前的前待处理点云C_A和采集顺序在后的后待处理点云C_C为源点云，分别进行ICP配准，得到前待处理点云C_A、后待处理点云C_C分别配准到中待处理点云C_B的前变换矩阵T_A和后变换矩阵T_C。

11212、将前变换矩阵T_A分别累乘到各幅组成前待处理点云C_A的标记点点云CWM_i所对应的迭代变换矩阵TL_i中；将后变换矩阵T_C分别累乘到各幅组成后待处理点云C_C的标记点点云CWM_i所对应的迭代变换矩阵TL_i中。

上述累乘是指，假设有变换矩阵T₀与T₁，则“将T₀累乘到T₁”的意思是把T₀×T₁得到的结果存入T₁中。

11213、分别使用前变换矩阵T_A和后变换矩阵T_C对前待处理点云C_A、后待处理点云C_C进行变换，将变换后的两幅点云与中待处理点云C_B合并为一幅点云。

1122、将各组得到的点云作为待处理点云，重复上述步骤1121再进行处理，直到得到仅剩的两幅最终点云，以采集顺序在前的点云为前最终点云C_X，采集顺序在后的点云为后最终点云C_Y。

113、以前最终点云C_X为目标点云，以后最终点云C_Y为源点云，进行ICP配准，得到最终变换矩阵T_Y。

114、将最终变换矩阵T_Y分别累乘到各幅组成后最终点云C_Y的标记点点云CWM_i所对应的迭代变换矩阵TL_i中，获得各个精配准变换矩阵TM_i。

所述“获得各个精配准变换矩阵TM_i”的方法具体为：按采集序数i进行对应，每一精配准变换矩阵TM_i即为其所对应的迭代变换矩阵TL_i。

图10所示为本发明所述配准方法实施例的示意图，以便更好地解释图5、图6、图7所述的工作过程。实施例所描述的只是一个例子情况，设转动参数n＝2，即所要处理的标记点点云CWM_i个数为2×3²＝18个，分别将CWM₁～CWM₁₈记作C_1,1～C_1,18，则配准过程如下：

第一轮配准：

C_1,1、C_1,3分别配准到C_1,2，并将配准后的3幅点云合并为C_2,1；

C_1,4、C_1,6分别配准到C_1,5，并将配准后的3幅点云合并为C_2,2；

C_1,7、C_1,9分别配准到C_1,8，并将配准后的3幅点云合并为C_2,3；

C_1,10、C_1,12分别配准到C_1,11，并将配准后的3幅点云合并为C_2,4；

C_1,13、C_1,15分别配准到C_1,14，并将配准后的3幅点云合并为C_2,5；

C_1,16、C_1,18分别配准到C_1,17，并将配准后的3幅点云合并为C_2,6；

第二轮配准：

C_2,1、C_2,3分别配准到C_2,2，并将配准后的3幅点云合并为C_3,1；

C_2,4、C_2,6分别配准到C_2,5，并将配准后的3幅点云合并为C_3,2；

第三轮配准：

只剩两幅最终点云C_3,1与C_3,2，因此将C_3,2配准到C_3,1，完成全部配准。

上述“A配准到B”是指以A为源点云、B为目标点云，使用ICP方法进行配准。在上述每一步配准后，相应地更新所变换点云对应的迭代变换矩阵TL_i，如步骤11212与步骤114所述。最后根据各个迭代变换矩阵TL_i获得各个精配准变换矩阵TM_i。

举例说明所述“更新所变换点云对应的迭代变换矩阵TL_i”的工作过程：

如在上述第一轮配准中，C_1,1、C_1,3分别配准到C_1,2，则将C_1,1、C_1,2、C_1,3分别记作C_A、C_B、C_C，配准后得到T_A和T_C，配准中用T_A和T_C分别对C_A、C_C进行变换，因此所变换点云即为C_A、C_C。而C_A就是C_1,1也就是CWM₁，因此C_A所对应的唯一TL_i即为CWM₁所对应的TL₁，将T_A累乘到TL₁；同理，C_C所对应的即为TL₃，将T_C累乘到TL₃。

再如在上述第二轮配准中，C_2,1、C_2,3分别配准到C_2,2，则将C_2,1、C_2,2、C_2,3分别记作C_A、C_B、C_C，配准后得到T_A和T_C，所变换点云为C_2,1、C_2,3。因C_A就是C_2,1，C_2,1又是由C_1,1、C_1,2、C_1,3合并而成的，也就是由CWM₁、CWM₂、CWM₃合并而成，其所对应的就是TL₁、TL₂、TL₃，因此C_A所对应的TL_i即为TL₁、TL₂、TL₃这3个，则将T_A分别累乘到TL₁、TL₂、TL₃；同理，C_C对应的是TL₇、TL₈、TL₉，则将T_C分别累乘到TL₇、TL₈、TL₉。

又如在上述第三轮配准中，只剩2幅最终点云，将C_3,2配准到C_3,1，则将C_3,1、C_3,2分别记作C_X、C_Y，配准后得到T_Y，所变换点云为C_3,2。因C_Y就是C_3,2，C_3,2是由C_2,4、C_2,5、C_2,6合并而成，即C_3,2是由C_1,10～C_1,18合并而成，也就是由CWM₁₀～CWM₁₈合并而成，其所对应的是TL₁₀～TL₁₈。因此C_Y所对应的TL_i有9个，即TL₁₀～TL₁₈，则将T_Y分别累乘到TL₁₀～TL₁₈。

举例说明“根据各个迭代变换矩阵TL_i获得各个精配准变换矩阵TM_i”的工作过程：在完成TL_i的全部累乘计算后，各个TL_i即为所求的各个TM_i。例如TM₁即为TL₁，TM₂即为TL₂，以此类推。

12、使用精配准变换矩阵TM_i对各自对应的粗配准被测物点云CWS_i进行变换，即得到精配准被测物点云CWST_i，实现被测物三维点云的配准。该过程即为将标记点点云CWM_i配准所得的结果应用于各幅粗配准被测物点云CWS_i，使其完成配准。上述“各自对应”是指按采集序数对应，比如TM₁对应CWS₁，TM₂对应CWS₂，以此类推。

由此可见，本发明一方面从三维点云中识别转台并结合转台转角对三维点云进行粗配准，同时通过背景分割获得被测物点云，该过程无需事先对转台轴线进行测量且对转台精度要求一般，具有较好的易用性与较低的成本。

另一方面通过从强度图像中识别转台上的标记点并结合粗配准三维点云获得标记点点云，该过程无需额外相机与额外光源就可较为准确地完成标记点识别，具有较强的鲁棒性与较低的成本。

最后利用局部逐渐配准的方法完成各视角标记点点云的配准，并最终将其配准结果应用于被测物点云完成配准，由于标记点点云中包含若干标记点，能够有效减小随机误差的影响，也具有较强的鲁棒性与较好的准确性。

Claims (10)

1.一种适用于ToF相机的三维点云自动配准方法，其特征在于，所述方法包括以下步骤：

1)将被测物(4)放置于转台(1)中心，转台(1)上表面铺有漫反射材料(2)，漫反射材料(2)上间隔设有圆形标记点(3)，调节ToF相机(5)的视角朝向转台(1)中心的被测物(4)；

2)从ToF相机(5)采集数据，获得原始点云C_i和原始强度图像G_i，i表示采集次数的序数；

3)对原始点云C_i和原始强度图像G_i进行处理得到粗配准被测物点云CWS_i和标记点点云CWM_i；

4)使转台旋转角度，转台转动的角度为：

θ＝360/(2×3ⁿ)＝180/3ⁿ,n＝1,2,3...

其中，n表示转动参数，n为固定值；

5)如果转台累计转过角度达到一圈，则继续以下步骤；如果转台累计转过角度未达到一圈，则返回步骤2)再次进行采集数据计算，每次采集转台转动的角度相同；

6)采用配准方法配准各次处理得到的标记点点云CWM_i获得各自的精配准变换矩阵TM_i；

7)使用精配准变换矩阵TM_i对各自对应的粗配准被测物点云CWS_i进行变换，即得到精配准被测物点云CWST_i，实现被测物三维点云的配准。

2.根据权利要求1所述的一种适用于ToF相机的三维点云自动配准方法，其特征在于：所述步骤3)对原始点云C_i和原始强度图像G_i进行处理得到粗配准被测物点云CWS_i和标记点点云CWM_i具体为：

3.1)从原始点云C_i中识别出转台并获得转台内点、转台中心与转台法向；

3.2)计算原始点云C_i的粗配准变换矩阵T_i；

3.3)使用粗配准变换矩阵T_i对原始点云C_i进行变换，得到粗配准点云CW_i；

3.4)根据已知数据对粗配准点云CW_i进行背景分割，得到粗配准被测物点云CWS_i；

3.5)根据原始点云C_i中各点与原始强度图像G_i中各像素的对应关系，结合转台内点，从原始强度图像G_i中抠取出转台强度图像GP_i；

3.6)在转台强度图像GP_i中识别出各圆形标记点(3)的中心，根据上述对应关系，结合粗配准点云CW_i，用双线性内插法求得各圆形标记点(3)中心的三维坐标，得到标记点点云CWM_i。

3.根据权利要求2所述的一种适用于ToF相机的三维点云自动配准方法，其特征在于：所述步骤3.1)中从原始点云C_i中识别出转台并获得转台内点、转台中心与转台法向具体包括：

3.1.1)对原始点云C_i进行多平面拟合获得所有平面及各平面的内点；

3.1.2)对于每一平面，将其内点投影到该平面上，计算所有投影点的凸包；

3.1.3)对于每一凸包，取其上的所有点，用最小二乘法拟合圆；

3.1.4)筛选出拟合度达到圆拟合度阈值的拟合结果；

3.1.5)从筛选出的拟合结果中选取拟合半径最接近转台半径的拟合数据，获得转台内点、转台中心与转台法向。

4.根据权利要求2所述的一种适用于ToF相机的三维点云自动配准方法，其特征在于：所述步骤3.2)中计算原始点云C_i的粗配准变换矩阵T_i具体包括：

3.2.1)计算原始点云C_i变换到转台中心坐标系O_T的转台中心变换矩阵T_a，转台中心坐标系O_T是以转台中心为原点，转台法向为Z轴方向，转台中心指向视点的矢量在转台平面上的投影方向为Y轴方向；

3.2.2)计算绕转台中心坐标系O_T的Z轴向转台旋转相反方向转过转台所累计转角的转台旋转变换矩阵T_b；

3.2.3)将转台中心变换矩阵T_a与转台旋转变换矩阵T_b相乘得到粗配准变换矩阵T_i＝T_a×T_b。

5.根据权利要求2所述的一种适用于ToF相机的三维点云自动配准方法，其特征在于：所述步骤3.4)中，已知数据是指Z轴分割的起止范围以及转台半径；所述背景分割具体是在粗配准点云CW_i的转台上方建立一个圆柱形区域，并选取圆柱形区域内部的所有点作为粗配准被测物点云CWS_i，圆柱形区域的圆柱轴线与粗配准点云CW_i所在坐标系的Z轴重合，圆柱形区域的半径为转台半径，圆柱形区域的高度方向起止范围作为Z轴分割的起止范围。

6.根据权利要求2所述的一种适用于ToF相机的三维点云自动配准方法，其特征在于：所述步骤3.6)中在转台强度图像GP_i中识别出各圆形标记点(3)的中心具体包括：

3.6.1)使用Canny计算方法获得转台强度图像GP_i的边缘，分割不连通的边缘；

3.6.2)对于每一边缘进行椭圆拟合，筛选出拟合度达到椭圆拟合度阈值、长短轴分别处于长轴值域内和短轴值域内的椭圆作为圆形标记点(3)，椭圆中心作为圆形标记点(3)的中心。

7.根据权利要求1所述的一种适用于ToF相机的三维点云自动配准方法，其特征在于：所述步骤6)中配准方法具体包括：

6.1)为每一幅标记点点云CWM_i建立一个与之对应的迭代变换矩阵TL_i，并将其初始化为单位矩阵；

6.2)将各幅标记点点云CWM_i作为待处理点云，对待处理点云进行处理，得到前最终点云C_X与后最终点云C_Y；

6.3)以前最终点云C_X为目标点云，以后最终点云C_Y为源点云，进行ICP配准，得到最终变换矩阵T_Y；

6.4)将最终变换矩阵T_Y分别累乘到组成后最终点云C_Y的各幅标记点点云CWM_i所对应的迭代变换矩阵TL_i中，获得所有精配准变换矩阵TM_i。

8.根据权利要求7所述的一种适用于ToF相机的三维点云自动配准方法，其特征在于：所述步骤6.2)中对待处理点云进行处理具体包括：

6.2.1)对于各幅待处理点云，按采集的顺序将每相邻的三幅点云分为一组，对各组点云进行处理，每组各得到一幅点云；

6.2.2)将各组得到的点云作为待处理点云，重复上述步骤6.2.1)再进行处理，直到得到仅剩的两幅最终点云，以采集顺序在前的点云为前最终点云C_X，采集顺序在后的点云为后最终点云C_Y。

9.根据权利要求8所述的一种适用于ToF相机的三维点云自动配准方法，其特征在于：所述步骤6.2.1)中对各组点云进行处理具体包括：

6.2.1.1)对于每组中的三幅点云，以采集顺序在中的中待处理点云C_B为目标点云，以采集顺序在前的前待处理点云C_A和采集顺序在后的后待处理点云C_C为源点云，分别进行ICP配准，得到前待处理点云C_A、后待处理点云C_C分别配准到中待处理点云C_B的前变换矩阵T_A和后变换矩阵T_C；

6.2.1.2)将前变换矩阵T_A分别累乘到各幅组成前待处理点云C_A的标记点点云CWM_i所对应的迭代变换矩阵TL_i中；将后变换矩阵T_C分别累乘到各幅组成后待处理点云C_C的标记点点云CWM_i所对应的迭代变换矩阵TL_i中；

6.2.1.3)分别使用前变换矩阵T_A和后变换矩阵T_C对前待处理点云C_A、后待处理点云C_C进行变换，将变换后的两幅点云与中待处理点云C_B合并为一幅点云。

10.用于实施权利要求1所述方法的一种适用于ToF相机的三维点云自动配准系统，其特征在于：包括可控转台(1)、漫反射材料(2)、圆形标记点(3)、ToF相机(5)和计算机(6)，漫反射材料(2)铺粘在转台(1)上表面，漫反射材料(2)上间隔设有圆形标记点(3)，任意两个圆形标记点(3)之间有间距；ToF相机(5)和可控转台(1)均与计算机(6)相连接，ToF相机(5)朝向转台(1)中心，可控转台(1)由计算机(6)控制旋转角度，ToF相机(5)由计算机(6)控制拍摄并向计算机(6)传输数据。