CN111047631A - 一种基于单Kinect加圆盒的多视角三维点云配准方法 - Google Patents

Abstract

本发明公开了一种基于单Kinect加圆盒的多视角点云自动配准方法。首先，建模物体放在回转圆盒上，用Kinect V2对建模物体和圆盒每隔60°进行一次点云采集，获得6个闭合的多视角点云。其次，用传统ICP配准算法对0°到180°视角范围内的3个点云进行两两配准后生成前部点云，对180°到360°视角范围内的3个点云做同样处理后生成后部点云。再次，用基于圆盒特征和小型包围盒约束的方法对前部点云和后部点云进行粗配准。最后，用基于圆盒交接区域的特征和SVD奇异值刚性变换矩阵评估法对前部点云和后部点云进行细配准。实验结果表明，该方法对三维点云的配准质量优于传统方法。

Description

一种基于单Kinect加圆盒的多视角三维点云配准方法

技术领域

本发明属于计算机技术领域，更具体地，涉及一种基于单Kinect加圆盒的多视角三维点云配准方法。

背景技术

利用三维扫描技术对物体进行三维重建是当今游戏、影视、虚拟现实、增强现实中的一项新技术，已被广泛应用到游戏、影视动漫、虚拟现实、产品展示、人机交互和机器人导航控制等诸多领域。

为了重建出完整的三维模型，需要对建模物体从不同的视角进行扫描，每次扫描的获得的点云(待配准点云)往往拥有独立的局部坐标系统，需要转换成统一的全局坐标，这一过程称为点云配准。点云配准是三维重建的核心步骤，配准精度会直接影响三维模型的整体精度。

根据采集视角数的不同，点云配准可以分为双视角配准和多视角配准。双视角配准是在输入点云和目标点云之间构造一个三维空间变换，使输入点云在此变换作用下能够最大限度地和目标点云整合成一个整体。其代表性的算法为迭代最近点(Iterativeclosest point，ICP)配准算法，其核心思想是以迭代最近点的方法，使两个点云相互靠近，最终使两个点云之间的距离误差最小。ICP算法存在的问题是容易陷入局部最优和缺少重叠区域导致配准精度不高。Kristijan Lenac等人把遗传算法和ICP算法相结合起来，利用遗传算法找到近似匹配点之后，使用ICP算法来提高精度，收到较好效果。Hong Zhang等人提出一种半概率裁剪的ICP改进算法，利用帧对模型方法和帧对帧方法之间转换后，使用传统ICP算法对相机的姿态进行细化，最后使用TUM RGD-D来评估配准的精度。

在多视角点云配准下，多视角点云配准是通过计算各输入点云和目标点云之间的刚体变换关系，然后利用变换关系让各输入点云向目标点云进行变换。其代表性的算法是Chen Yang等人提出的多个视角的顺序配准算法。该算法先随机选择一个点云作为目标点云，然后按照点云之间的对应关系依次以此点云为基准，后一个点云为待配准点云，采用双目视角的配准方法进行配准，依次完成多视角的点云配准。此算法操作方便、易上手，但是前、后点云配准之后会有误差积累，在进行多次进行双目视角的配准之后累计的误差会被放大，最后影响三维模型整体的精度和可靠性。针对这些问题，不少学者提出了解决方案。闫利等人提出了一种闭合条件约束的配准方法。该方法先采用“点－切平面”迭代最近点算法分别求解各点云之间的坐标转换参数，再以单站点云为配准单元，以转换参数作为I观测值构建条件方程，以条件平差方法对转换参数作改正以达到全局最优。李健等人提出结合转台约束下利用图像几何特征进行粗配准和使用迭代最近点ICP算法实现点云的精确配准的方法，对累积误差导致的闭环问题以及不同角度拍摄引起的色差问题，通过全局误差修正与色差修正算法处理，提升重建结果的精度。徐思雨等人设计一个目标函数，将多视角配准问题分解成多个双视角配准问题，提出了逐步求精的解决策略获得精确的多视角配准结果。郭瑞科等人提出一种基于KD-Tree点云均匀采样简化算法，通过对传统四点算法(4-Points Congruent Sets Algorithm，4PCS)中的阈值参数进行统一，确定了各误差阈值参数和点云密度之间的关系；然后通过基于姿态校正的方法解决对称视角点云引起的误配准问题。尽管多视角点云配准研究取得不错的进展，但仍有进一步提高配准精度的需要。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种在闭合多视角点云配准条件下人为加入强几何特征的圆盒作为配准的特征区域，其目的在于提高闭合多视角点云配准精度，由此解决闭合多视角点云配准特征区域稀少导致配准精度低下的技术问题。

为实现上述目的，本发明提供了一种基于单Kinect加圆盒的多视角三维点云配准方法，包括：

(1)将建模物体放在旋转圆盒上，利用Kinect V2对建模物体每隔60°进行一次点云采集，一共采集6个点云，形成一个有序而且闭环的建模物体多视角点云；

(2)对建模物体0°到180°视角范围内的3个点云，通过两边的两个点云分别与中间点云使用迭代最近点(Iterative closest point，ICP)配准算法进行两两配准生成前部点云，以同样的方法对180°到360°视角范围内的3个点云进行处理后生成后部点云；

(3)对前部点云和后部点云的圆盒点云重叠部分分别提取重叠的特征区域，使用基于圆盒特征和小型包围盒约束的方法对前部点云和后部点云进行粗匹配；

(4)对前部点云和后部点云的圆盒点云重叠部分分别提取重叠的特征区域，得到重叠特征区域分别记为

和

然后使用基于奇异值刚性变换矩阵评估法求出

到

的刚性变化矩阵，刚性变化矩阵包括旋转矩阵R和平移矩阵T，并利用求出的旋转矩阵R和平移矩阵T对后部点云进行刚性变换，使它向前部点云进行变换，完成配准。

在本发明的一个实施例中，在所述步骤(1)和步骤(2)之间还包括，去除建模物体多视角点云含有的地面点云信息，具体为：

对地面点云G遍历其中每一个点并求出在y轴坐标中最大的值，设为y_{G_max}，然后对建模物体多视角点云中每一个点进行遍历，若点(x,y,z)的y坐标值小于y_{G_max}，则该点为地面点云，将该点从建模物体多视角点云中去除。

在本发明的一个实施例中，在去除建模物体多视角点云含有的地面点云信息后，还对建模物体多视角点云去除离群点，具体为：

采用PCL点云库中RadiusOutlierRemoval滤波器对点云进行采样滤波，首先，设置滤波器的两个参数，一个参数为圆的半径长度r，另外一个参数为以r为半径生成圆内包含点云的个数n，然后，在建模物体多视角点云中任取一点云为圆心、半径为r的圆，如果在邻域内的点云数量大于n，那么认定该点是非离群点，否则判断该点为离群点，并将其去除。

在本发明的一个实施例中，所述步骤(2)具体为：

将采集到的0°至180°的三个点云预处理后记为左边点云M_l、中间点云M_m、右边点云M_r，其中M_l和M_m两个点云之间在视角上有theta＝60°的角度差，M_r和M_m两个点云之间在视角上有theta＝-60°的角度差；

对M_l和M_m进行配准，再对M_r和M_m进行配准；首先使用公式

进行旋转操作对输入点云进行变换，随后再使用ICP进行配准，其中data为输入点云，new_data为变换后的点云，theta为输入点云到目标点云的视角差。

在本发明的一个实施例中，所述步骤(3)中对前部点云和后部点云的圆盒点云重叠部分分别提取重叠的特征区域，具体为：

采用基于角度阈值的特征提取方法提取前部点云S和后部点云P分别对应的特征区域：设点云B∈{S,P}，vector(1,0,0)是x轴正方向向量(vector_正)，vector(-1,0,0)是x轴负方向向量(vector_负)，圆盒点云C在y轴的最大值与最小值分别为y_min和y_max；

用公式

对点云B进行特征区域的提取，得到特征区域记为B^t，其中γ为预设的角度阈值。

在本发明的一个实施例中，所述步骤(3)中使用基于圆盒特征和小型包围盒约束的方法对前部点云和后部点云进行粗匹配，具体为：

(3.1)对点云S所提取到的特征区域S^t，计算出S^t在x轴的最大值S_{max_x}和z轴的最大值S_{max_z}，设定一个包围盒大小的阈值h，并设包围盒的4个顶点分别为：(S_{max_x}+h,S_{max_z}+h)、(S_{max_x}+h,S_{max_z}-h)、(S_{max_x}-h,S_{max_z}+h)、(S_{max_x}-h,S_{max_z}-h)。

(3.2)对点云P用公式提取到的特征区域P^t，然后计算出其在x轴最大值P_{max_x}和在z轴最小值P_{min_x}；

(3.3)设阈值Δ_x为在x轴上P每次移动的量，Δ_z为在z轴上P每次移动的量，如果P_{max_x}当前所处于位置的x轴坐标值大于(S_{max_x}+h)，Δ_x设负值，P_{max_x}当前所处于位置的x轴坐标值小于(S_{max_x}-h)，Δ_x设正值，P_{min_z}和Δ_z也做同样的处理，使用公式

对P中的每个点(x,z)进行平移操作；

(3.4)对点(P_{max_x},P_{min_z})进行平移得到的点

用公式

判断是否落在包围盒内：

(3.5)如果END的值为TRUE，则

落在包围盒中，粗配准结束，否则重复步骤(3.3)和步骤(3.5)。

在本发明的一个实施例中，所述步骤(4)具体为：

首先，设前部点云为S，粗配准后的后部点云为P₁；

使用公式

进行分别对S和P₁特征提取，分别得到相应的特征区域S^t和P₁ ^t；

使用SVD奇异值刚性变换矩阵评估法对S^t和P₁ ^t求出旋转矩阵R和平移矩阵T；

最后对后部点云P₁使用刚性变换公式P₁ ¹＝RP₁+T进行刚性变换，其中R为旋转矩阵，T为平移矩阵，P₁ ¹是刚性变换后的点云。

在本发明的一个实施例中，所述步骤(1)中对Kinect V2的采集范围进行精确的设置：z轴范围设定在0.05米到2米，x轴范围设定在-0.5米到0.5米，还需要对地面点云进行单独采集，以便去除其中包含的地面点云。

在本发明的一个实施例中，所述步骤(1)具体为：

设置Kinect V2采集的有效范围，将Kinect V2放置在一个物体上，使Kinect V2达到预设的高度；

对地面进行点云采集，获取地面点云G；

将圆盒放置于地面上并进行点云采集，采集圆盒点云C；

将目标物体放置在圆盒之上，对目标物体按每隔60度进行旋转并顺序采集点云，获得建模物体的6个闭合多视角点云序列M_i,i∈{1,2,3,4,5,6}。建模对象点云采集完成。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有如下有益效果：

(1)只需要对圆盒进行特征提取然后进行配准。无需对整个建模对象进行配准，减少时间成本和计算的复杂度。

(2)强几何特征的圆盒，无论从何处切割都具有很好的鲁棒性，能适用多数建模物体。

附图说明

图1是本发明实施例中配准系统的结构示意图；

图2是本发明实施例中闭合多视角点云配准方法原理示意图；

图3是本发明实施例中点云的采集示意图；

图4是本发明实施例中除去离群点的示意图；

图5是本发明实施例中前部点云S和后部点云P的空间位置关系示意图；

图6(a)是本发明实施例中的Kinect拍摄场景；

图6(b)是本发明实施例中的采集对象水果篮子；

图6(c)是本发明实施例中的采集对象打印机；

图7是本发明实施例中通过ICP两两配准获得的前部点云和后部点云；其中图7(a)是前部点云，图7(b)是后部点云；

图8是本发明实施例中水果篮子配准效果示意图；

图9是本发明实施例中打印机配准效果示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明使用一台Kinect V2传感器作为采集设备搭建了一套闭合多视角三维点云的配准系统。首先，将建模物体放在旋转圆盒上，利用Kinect V2对建模物体每隔60°进行一次点云采集，一共采集6个点云，形成一个有序而且闭环的点云序列。其次，对建模物体0°到180°视角范围内的3个点云，通过两边的两个点云分别与中间点云使用ICP算法进行两两配准生成前部点云。以同样的方法对180°到360°视角范围内的3个点云进行处理后生成后部点云。再次，用基于圆盒特征和小型包围盒约束的方法对前部点云和后部点云进行粗匹配。最后，使用基于圆盒特征和奇异值分解(Singular Value Decomposition，SVD)刚性变换矩阵评估法对前部点云和后部点云进行细匹配。在进行多视角点云配准时，通过精心安排配准的顺序，避免误差累积的问题。同时，提出的粗配准方法和细配准方法都充分利用圆盒的几何特征，通过圆盒稳定和明显几何特征进行基于特征的点云配准，克服了传统ICP需要对前部点云进行迭代计算的缺点。实验结果表明，所提出的方法克服了多视角点云配准的误差累积问题，提高了三维点云的配准质量。

1系统组成和方法框架

本发明基于Kinect V2的闭合多视角三维测量系统如图1所示。将待测物体置于圆盒上，Kinect V2置于物体前方，测量时手动旋转圆盒，Kinect V2每间隔60°采集一帧图像，待物体旋转一周后采集结束。测量时，把圆盒和待测物体作为建模物体一起扫描。圆盒是一个几何特征明显并且外形变化有规律的物体，其外形在本发明中被当作一个在建模物体中人为加入的作为配准所需要的几何特征。

为了实现对被测目标的闭合多视角三维测量，采用如图2所示的方法步骤，下面对各个主要步骤做一简要说明：

步骤一：采集及预处理。将待测物体放置在一个圆盒上，对圆盒和待测物体每隔60°采集点云一次，获得6个点云，它们形成一个有序而且闭环的点云序列。然后去除建模物体(含圆盒和待测物体)以外的点云，为随后配准做准备。

步骤二：生成前部点云和后部点云。对建模物体0°到180°视角范围内的3个点云，用两边的两个点云分别与中间点云用ICP算法进行两两配准生成前部点云。以同样的方法对180°到360°角范围内的3个点云进行处理后生成后部点云。

步骤三：粗配准。对前部点云和后部点云的圆盒点云重叠部分分别提取重叠的特征区域，用本发明提出的小型包围盒约束粗配准方法前部点云和后部点云进行粗配准。

步骤四：细配准。完成粗配准之后，对前部点云和后部点云的圆盒点云重叠部分分别提取重叠的特征区域，得到重叠特征区域分别记为

和

然后使用基于SVD奇异值刚性变换矩阵评估法求出

到

的刚性变化矩阵，刚性变化矩阵包括旋转矩阵R和平移矩阵T。并利用求出的旋转矩阵R和平移矩阵T对后部点云进行刚性变换，使它向前部点云进行变换，完成配准。

2方法详细描述

2.1数据采集

对建模物体进行点云配准需要采集完整的点云。由于Kinect V2一次只能采集建模物体一部分的点云；因此，本发明采用六面采集方法，对建模物体按圆周顺序每隔60°的不同角度采集六个点云，这些点云包含了建模对象的完整点云信息。

Kinect V2的深度摄像头采集范围为z轴方向0.5米到4.5米，y轴方向±60°，x轴方向±70°。由于Kinect V2采集范围非常大，所以采集到的点云将会包括地面、背景、场景内其他物体等不需要的点云。这些不必要的点云会影响点云配准、特征提取等操作，最后对三维建模的精度造成不良影响。为避免采集到多余的点云，本发明对Kinect V2的采集范围进行精确的设置：z轴范围设定在0.05米到2米，x轴范围设定在-0.5米到0.5米。同时，还需要对地面点云进行单独采集，以便去除其中包含的地面点云。对建模物体点云进行采集步骤如下：

步骤一：设置Kinect V2采集的有效范围。将Kinect V2放置在一个物体上，如图6所示，使Kinect V2达到一定的高度，因为所采集的物体随后要放在一个圆盒之上。如果Kinect V2的高度不够，会导致目标物体部分区域无法采集到，导致生成的点云产生残缺和空洞，最终影响随后点云配准精度。

步骤二：对地面进行点云采集，获取地面点云G。

步骤三：将圆盒放置于地面上并进行点云采集，采集圆盒点云C。

步骤四：将目标物体放置在圆盒之上，对目标物体按图3所示方向以0→1→2→3→4→5顺序采集点云，获得建模物体的6个闭合多视角点云序列M_i,i∈{1,2,3,4,5,6}。建模对象点云采集完成。

2.2点云的预处理

由于采集到的建模物体多视角点云含有地面点云信息以及离群点，需要去除这些干扰配准的点。

对地面点云G遍历其中每一个点并求出在y轴坐标(高度)中最大的值，设为y_{G_max}。然后，对建模物体多视角点云中每一个点进行遍历，若点(x,y,z)的y坐标值小于y_{G_max}，则该点为地面点云，将该点从建模物体多视角点云中去除。

在除去地面点云之后，对建模物体多视角点云还要去除离群点。本发明采用PCL点云库中RadiusOutlierRemoval滤波器对点云进行采样滤波，其原理是：首先，设置滤波器的两个参数，一个参数为圆的半径长度r，另外一个参数为以r为半径生成圆内包含点云的个数n。然后，在建模物体多视角点云中任取一点云为圆心、半径为r的圆，如果在邻域内的点云数量大于n，那么认定该点是非离群点；否则判断该点为离群点，并将其去除。例如，设半径为r，n为1时，则图4中S1点云将判定为离群点将其去除，而S2点云和S3点云将判断为非离群点将其保留。

2.3生成前部点云和后部点云

作为多视角点云配准代表性，顺序配准算法直接易行，但前后配准点云之间有误差累积，影响整体配准的精度与可靠性。在顺序配准算法基础上，有些方法采用了各种全局优化措施减少误差累计问题，但是计算复杂。本发明提出一种解决累积误差的方案，对于采集到的6个有序闭合视角点云序列，我们对0°至180°的三个点云中的两个两边点云分别与中间点云用ICP算法进行两两配准生成前部点云。以同样的方法对180°到360°视角范围内的3个点云进行处理后生成后部点云。由于采用两个两边点云分别与中间点云用ICP算法进行两两配准，而不是对三个点云顺序配准，因此没有产生累积误差。最后，对生成的前部点云和后部点云进行配准，最终完成闭环多视角点云的配准。

当两个点云有一定的重叠(重叠率超60％情况下)，ICP算法能得到正确的配准结果。按照2.1节方案采集点云时，两个相邻的点云有非常大的重叠，可用直接用ICP算法进行配准。

将采集到的0°至180°的三个点云预处理后记为M_l(左边)、M_m(中间)、M_r(右边)。从上下文可知M_l和M_m两个点云之间在视角上有theta＝60°的角度差，M_r和M_m两个点云之间在视角上有theta＝-60°的角度差。对M_l(作为输入点云)和M_m(作为目标点云)进行配准，首先使用公式(1)进行旋转操作对输入点云进行变换，随后再使用ICP进行配准。

其中data为输入点云，new_data为变换后的点云，theta为输入点云到目标点云的视角差。

对M_r(作为输入点云)和M_m(作为目标点云)进行配准，使用公式(1)进行旋转操作对输入点云进行变换，随后再使用ICP算法进行配准。

通过以上操作，将0°至180°的三个点云配准成前部点云S。用同样的方法将180°至360°视角范围内的3个点云进行处理后生成后部点云P。生成的前部点云和后部点云为完成建模物体的闭环多视角点云配准打下了基础。

2.4点云前部点云和后部点云的配准

前部点云和后部点云视角差为180°，如图5所示。两个点云之间重叠区域非常稀少，直接使用ICP算法会由于缺少重叠区域中的特征，造成配准效果差，甚至配准失败。针对以上问题，我们利用建模物体中圆盒具有几何特征稳定的特点，将圆盒点云作为特征，提出了一种小型包围盒约束的粗配准算法和基于局部角度阈值精配准算法，先用提出的粗匹配算法进行配准，获得良好的初始位置。然后，再用提出的细配准算法进行配准，有效解决了上述问题。

2.4.1基于局部角度阈值的特征提取

前部点云S和后部点云P位置关系如图5所示(从y轴截面上看)。其中，圆弧代表圆盒，空心圆圈是前部点云S在后续配置中要用到的特征区域，灰色实心圆圈是后部点云P在后续配置中要用到的特征区域。我们采用基于角度阈值的特征提取方法提取前部点云S和后部点云P分别对应的特征区域，该方法形式化描述如下：设点云B∈{S,P}，vector(1,0,0)是x轴正方向向量(vector_正)，vector(-1,0,0)是x轴负方向向量(vector_负)，圆盒点云C在y轴的最大值与最小值分别为y_min和y_max，用公式(2)对点云B进行特征区域的提取，得到特征区域记为B^t。公式(2)中γ为预设的角度阈值。

2.4.2小型包围盒的约束粗配准

基于特征的粗配准方法首先要确定要靠拢的特征区域。由于每次建模物体不一样，导致每一个建模物体交接区中的域特征区域的几何特征有很大区别，鲁棒性不高。这种拥有几何特征不明显会的特征区域会导致点云配准精度不高。针对上述问题，本发明把建模物体放置在圆盒之上，将前部点云的圆盒部分和后部点云的圆盒部分的特征区域进行点云配准，求解它们的出刚性变换矩阵，随后通过刚性变换矩阵对建模对象和圆盒作为一个整体进行变换。由于使用圆盒，从不同位置分割都不会破坏其几何特征，具有很高的鲁棒性。

设点云S为目标点云，点云P为输入点云，粗匹配的目标是将输入点云P通过平移变换移动到与S交接的位置上。粗匹配的过程如下：

步骤一：对点云S用公式(2)提取到特征区域S^t，计算出S^t在x轴的最大值S_{max_x}和z轴的最大值S_{max_z}，设定一个包围盒大小的阈值h，如图5所示。并设包围盒的4个顶点分别为：(S_{max_x}+h,S_{max_z}+h)、(S_{max_x}+h,S_{max_z}-h)、(S_{max_x}-h,S_{max_z}+h)、(S_{max_x}-h,S_{max_z}-h)。

步骤二：对点云P用公式(2)提取到特征区域P^t，然后计算出其在x轴最大值P_{max_x}和在z轴最小值P_{min_x}。

步骤三：设阈值Δ_x为在x轴上P每次移动的量，Δ_z为在z轴上P每次移动的量。P_{max_x}当前所处于位置的x轴坐标值大于(S_{max_x}+h)，Δ_x应设负值，P_{max_x}当前所处于位置的x轴坐标值小于(S_{max_x}-h)，Δ_x应设正值。P_{min_z}和Δ_z也做同样的处理。如果Δ_x和Δ_z设置过大，可能会导致每次平移中让P_{max_x}和P_{min_z}都无法有效进入包围盒范围内。如果Δ_x和Δ_z设置过小，会增加迭代的次数。所以设置Δ_x和Δ_z合适大小的数值，不仅能让P_{max_x}和P_{min_z}有效进入包围盒范围内完成粗配准，而且还能减少迭代的次数。对P中的每个点(x,z)进行平移操作使用公式(3)：

步骤四：用公式(3)对点(P_{max_x},P_{min_z})进行平移得到的点

用公式(4)判断是否落在包围盒内：

步骤五：如果END的值为TRUE，则

落在包围盒中，粗配准结束。否则重复步骤三和步骤四。

2.4.3使用圆盒特征的细配准

在完成前部点云和后部点云粗配准后，前部点云和后云部点集获得了良好初始位置，已经具备进行细配准的条件。接下来要对前部点云和后部点云进行基于特征的细配准。

本发明所采用细配准方法是把包含建模对象和圆盒的点云作为一个整体来进行刚性变换。首先，设前部点云为S，粗配准后的后部点云为P₁。使用公式(2)进行分别对S和P₁特征提取，分别得到相应的特征区域S^t和P₁ ^t。使用SVD奇异值刚性变换矩阵评估法对S^t和P₁ ^t求出旋转矩阵R和平移矩阵T。最后对后部点云P₁使用刚性变换公式(公式(5))进行刚性变换。

P₁ ¹＝RP₁+T (5)

其中R为旋转矩阵，T为平移矩阵，P₁ ¹是刚性变换后的点云。

由于本发明是利用特征区域S^t和P₁ ^t进行SVD刚性变换矩阵评估法来获取旋转矩阵R和平移矩阵T。而传统ICP算法中必须对建模物体特征区域的每一个点进行遍历计算，而本发明只需要对圆盒的特征区域进行计算，需要计算的点数量比传统ICP要少，因此，本发明的细配准算法计算效率比传统的ICP算法要高。同时由于引进了拥有几何特征明显的圆盒作为特征，避免了传统ICP算法在少量特征点云的情况下配准精度不高的问题，解决了建模物体的前部点云和后面点云配准精度低的问题。

3实验及结果分析

3.1实验环境

本发明使用Kinect V2作为深度数据采集的设备。Kinect V2的深度摄像头适用于室内弱光的环境下，所以本发明选择在白天关闭照明的室内进行深度信息采集。在程序实现，本发明采用VS2015作为编译环境，并且使用PCL点云库和OpenCV作为第三方编程库。所有程序代码在PCL点云库基础上进行算法改进，采用C++实现，运行于Window 10 64位系统、Inter(R)Core(TM)i7-7700HQ CPU@2.80GHZ处理器、8G内存的笔记本电脑上。图6为本发明Kinect V2拍摄场景和采集目标水果篮子、打印机。

图6中，圆盒高3厘米、直径10厘米。KinectV2放置在高6厘米上的矩形石块上，圆盒距离KinectV2 23厘米。水果篮子高5厘米、长轴15厘米、短轴11厘米。打印机长17厘米、宽7厘米、高5厘米。

3.2实验和效果分析

3.2.1实验处理过程

分别用2.2节方法对6个闭合多视角点云序列去背景、除离群点；用2.3节方法对分别对0°-180°的三个点云配准生成前部点云(图7(a))，用2.3节方法对分别对180°-360°的三个点云配准生成后部点云(图7(b))；用2.4节方法对前部点云和后部点云进行前后配准，得到配准后的点云，如图8第三列。

3.2.2实验效果分析

我们将本发明提出的方法与用顺序配准算法、传统ICP算法进行对比，实验效果如图8所示。

图8第一列是顺序配准获得的效果图。用2.1节采集到的点云，以1→0→2→4→3→5按圆周顺序两两用ICP算法进行配准得到的效果图。在顺序配准的正面视图(图8第一列第一张图)和反面视图(图8第一列第三张图)中可以看出，前部点云和后部点云出现严重的穿模，但是点云0、点云1、点云2利用顺序配准得到配准精度不错的前部点云，后部点云也是亦然。但是顺序配准的问题在于点云2和点云4配准的时候，由于这两个点云缺少足够的特征导致配准的精度低下，从左视图(图8第一列第二张图)和右视图(图8第一列第四张图)更容易看出前部点云和后部点云严重穿模的程度。并且在随后点云4与点云3配准的时候，由于点云4已经在处于误差非常大的位置上，导致点云3在点云4基础上继续配准导致配准的误差被放大。

在前部点云和后部点云形成之后(2.3节)，需要对前部点云和后部点云进行配准，本发明将使用ICP算法与本发明提出的方法(2.4节)进行对比，实验效果如图8(第二列、第三列)所示。

图8(第三列)中的第一张图、第二张图、第三张图、第四张图是使用本发明方法进行前部点云和后部点云配准的效果图(对应0°、90°、180°、270°视角)，明显可以看到前部点云和后部点云的交接区域能很好的拼接在一起，交接区域并无明显的错位。图8(第二列)中的第一张图、第二张图、第三张图、第四张是直接使用ICP算法进行拼接的效果图(对应0°、90°、180°、270°视角)。由于ICP算法一般应用于同一面的点云配准，对本发明前部点云和后部点云这样具有局部重叠区域且重叠区域比较少的情况，导致配准的精度不高。在图8(第二列第一张图)中后部点云已经开始发生偏移，图8(第二列第二张图)中前部点云和后部点云的交接区域有明显的错位。图8(第二列第三张图)中后部点云已经跟前部点云有穿模现象，图8(第二列第四张图)中前部点云和后部点云交接区域穿模更加明显。

图9第一列为顺序配准对打印机进行配准的效果图。用2.1节采集到的点云，以1→0→2→4→3→5按圆周顺序两两使用ICP算法进行配准得到的效果图。在顺序配准的正面视图(图9第一列第一张图)可以看到前部点云配准获得不错的配准效果。但是由于点云2和点云4缺少特征，点云2和点云4配准误差开始增大，从而导致点云3的配准精度低下。在反面视图(图9第一列第三张图)后部点云的右边部分已经向前部点云倾斜的。

图9第二列为ICP算法对打印机前部点云和后部点云配准的效果图。在左视图和右视图中(图9第二列第二张图、第二列第四张图)明显看出前部点云和后部点云的圆盒的交接区域已经出现上下错位，并且正面效果图(图9第二列第一张图)，前部点云看出已经向右边偏斜。图9第三列是使用本发明方法(2.4.1节到2.4.2节)对打印机前部点云和后部点云配准的效果图，可以看到前部点云和后部点云配准的交接区域能很好的拼接在一起，交接区域并无明显的错位。

从以上实例可看出，本发明方法利用圆盒点云作为特征点进行配准，依赖于圆盒稳定的几何特征，配准效果明显比ICP算法好。

4结论

本发明提出了一个Kinect V2闭合多视角三维点云的配准方法。首先，将建模物体放在旋转圆盒上，利用Kinect V2对建模物体进行每隔60°进行一次点云数据采集，获得一个含有6个点云的有序而且闭环的点云序列。其次，对建模物体0°到180°视角范围内的3个点云(180°到360°角范围内的3个点云)进行配准生成前部点云(后部点云)。再次，用基于圆盒特征和小型包围盒约束的方法对前部点云和后部点云进行粗匹配。最后，用基于圆盒特征和SVD奇异值刚性变换矩阵评估法对前部点云和后部进行细匹配。理论分析和实验结果表明，所提出的方法克服了多视角点云配准的误差累积问题，该配准方法提高了三维点云的配准质量，为在点云上进一步进行曲面重建创造了良好的条件。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于单Kinect加圆盒的多视角三维点云配准方法，其特征在于，包括：

(1)将建模物体放在旋转圆盒上，利用Kinect V2对建模物体每隔60°进行一次点云采集，一共采集6个点云，形成一个有序而且闭环的建模物体多视角点云；

(2)对建模物体0°到180°视角范围内的3个点云，通过两边的两个点云分别与中间点云使用迭代最近点(Iterative closest point，ICP)配准算法进行两两配准生成前部点云，以同样的方法对180°到360°视角范围内的3个点云进行处理后生成后部点云；

(3)对前部点云和后部点云的圆盒点云重叠部分分别提取重叠的特征区域，使用基于圆盒特征和小型包围盒约束的方法对前部点云和后部点云进行粗匹配；

(4)对前部点云和后部点云的圆盒点云重叠部分分别提取重叠的特征区域，得到重叠特征区域分别记为

和

然后使用基于奇异值刚性变换矩阵评估法求出

到

的刚性变化矩阵，刚性变化矩阵包括旋转矩阵R和平移矩阵T，并利用求出的旋转矩阵R和平移矩阵T对后部点云进行刚性变换，使它向前部点云进行变换，完成配准。

2.如权利要求1所述的基于单Kinect加圆盒的多视角三维点云配准方法，其特征在于，在所述步骤(1)和步骤(2)之间还包括，去除建模物体多视角点云含有的地面点云信息，具体为：

对地面点云G遍历其中每一个点并求出在y轴坐标中最大的值，设为y_{G_max}，然后对建模物体多视角点云中每一个点进行遍历，若点(x,y,z)的y坐标值小于y_{G_max}，则该点为地面点云，将该点从建模物体多视角点云中去除。

3.如权利要求2所述的基于单Kinect加圆盒的多视角三维点云配准方法，其特征在于，在去除建模物体多视角点云含有的地面点云信息后，还对建模物体多视角点云去除离群点，具体为：

采用PCL点云库中RadiusOutlierRemoval滤波器对点云进行采样滤波，首先，设置滤波器的两个参数，一个参数为圆的半径长度r，另外一个参数为以r为半径生成圆内包含点云的个数n，然后，在建模物体多视角点云中任取一点云为圆心、半径为r的圆，如果在邻域内的点云数量大于n，那么认定该点是非离群点，否则判断该点为离群点，并将其去除。

4.如权利要求1或2所述的基于单Kinect加圆盒的多视角三维点云配准方法，其特征在于，所述步骤(2)具体为：

将采集到的0°至180°的三个点云预处理后记为左边点云M_l、中间点云M_m、右边点云M_r，其中M_l和M_m两个点云之间在视角上有theta＝60°的角度差，M_r和M_m两个点云之间在视角上有theta＝-60°的角度差；

对M_l和M_m进行配准，再对M_r和M_m进行配准；首先使用公式

进行旋转操作对输入点云进行变换，随后再使用ICP进行配准，其中data为输入点云，new_data为变换后的点云，theta为输入点云到目标点云的视角差。

5.如权利要求1或2所述的基于单Kinect加圆盒的多视角三维点云配准方法，其特征在于，所述步骤(3)中对前部点云和后部点云的圆盒点云重叠部分分别提取重叠的特征区域，具体为：

采用基于角度阈值的特征提取方法提取前部点云S和后部点云P分别对应的特征区域：设点云B∈{S,P}，vector(1,0,0)是x轴正方向向量(vector_正)，vector(-1,0,0)是x轴负方向向量(vector_负)，圆盒点云C在y轴的最大值与最小值分别为y_min和y_max；

用公式

对点云B进行特征区域的提取，得到特征区域记为B^t，其中γ为预设的角度阈值。

6.如权利要求1或2所述的基于单Kinect加圆盒的多视角三维点云配准方法，其特征在于，所述步骤(3)中使用基于圆盒特征和小型包围盒约束的方法对前部点云和后部点云进行粗匹配，具体为：

(3.1)对点云S所提取到的特征区域S^t，计算出S^t在x轴的最大值S_{max_x}和z轴的最大值S_{max_z}，设定一个包围盒大小的阈值h，并设包围盒的4个顶点分别为：(S_{max_x}+h,S_{max_z}+h)、(S_{max_x}+h,S_{max_z}-h)、(S_{max_x}-h,S_{max_z}+h)、(S_{max_x}-h,S_{max_z}-h)；

(3.2)对点云P用公式提取到的特征区域P^t，然后计算出其在x轴最大值P_{max_x}和在z轴最小值P_{min_x}；

(3.3)设阈值Δ_x为在x轴上P每次移动的量，Δ_z为在z轴上P每次移动的量，如果P_{max_x}当前所处于位置的x轴坐标值大于(S_{max_x}+h)，Δ_x设负值，P_{max_x}当前所处于位置的x轴坐标值小于(S_{max_x}-h)，Δ_x设正值，P_{min_z}和Δ_z也做同样的处理，使用公式

对P中的每个点(x,z)进行平移操作；

(3.4)对点(P_{max_x},P_{min_z})进行平移得到的点

用公式

判断是否落在包围盒内：

(3.5)如果END的值为TRUE，则

落在包围盒中，粗配准结束，否则重复步骤(3.3)和步骤(3.5)。

7.如权利要求1或2所述的基于单Kinect加圆盒的多视角三维点云配准方法，其特征在于，所述步骤(4)具体为：

首先，设前部点云为S，粗配准后的后部点云为P₁；

使用公式

进行分别对S和P₁特征提取，分别得到相应的特征区域S^t和P₁ ^t；

使用SVD奇异值刚性变换矩阵评估法对S^t和P₁ ^t求出旋转矩阵R和平移矩阵T；

最后对后部点云P₁使用刚性变换公式P₁ ¹＝RP₁+T进行刚性变换，其中R为旋转矩阵，T为平移矩阵，P₁ ¹是刚性变换后的点云。

8.如权利要求1或2所述的基于单Kinect加圆盒的多视角三维点云配准方法，其特征在于，所述步骤(1)中对Kinect V2的采集范围进行精确的设置：z轴范围设定在0.05米到2米，x轴范围设定在-0.5米到0.5米，还需要对地面点云进行单独采集，以便去除其中包含的地面点云。

9.如权利要求1或2所述的基于单Kinect加圆盒的多视角三维点云配准方法，其特征在于，所述步骤(1)具体为：

设置Kinect V2采集的有效范围，将Kinect V2放置在一个物体上，使Kinect V2达到预设的高度；

对地面进行点云采集，获取地面点云G；

将圆盒放置于地面上并进行点云采集，采集圆盒点云C；

将目标物体放置在圆盒之上，对目标物体按每隔60度进行旋转并顺序采集点云，获得建模物体的6个闭合多视角点云序列M_i,i∈{1,2,3,4,5,6}。建模对象点云采集完成。

Images