CN105701820A

CN105701820A - 一种基于匹配区域的点云配准方法

Info

Publication number: CN105701820A
Application number: CN201610023654.5A
Authority: CN
Inventors: 王健鑫; 安平; 周杰; 郑帅; 严徐乐
Original assignee: University of Shanghai for Science and Technology
Current assignee: University of Shanghai for Science and Technology
Priority date: 2016-01-14
Filing date: 2016-01-14
Publication date: 2016-06-22
Anticipated expiration: 2036-01-14
Also published as: CN105701820B

Abstract

本发明公开了一种基于匹配区域的点云配准方法，包括数据采集、点云和目标点云的区域分割、特征点提取与匹配、区域匹配、匹配区域对排序、点云初始配准、设定当前匹配区域对的编号m为0，设置配准误差阈值的初始值、点云局部配准、逐区域进行点云配准调整步骤；如果调整配准点云与目标点云Q之间的配准误差是否小于配准误差阈值，则更新配准误差阈值再次进行调整，否则结束本匹配区域的调整。本发明是一种点云配准精度更高的、鲁棒性更好的点云配准方法对点云全局最优配准所导致的点云局部配准不精确的点云，利用匹配区域的点云局部配准，进行局部修正，提高了点云的配准精度。

Description

一种基于匹配区域的点云配准方法

技术领域

本发明涉及一种点云配准方法，尤其涉及一种基于匹配区域的点云配准方法，属于三维重建技术领域。

背景技术

随着传感器技术的发展，对于场景的深度信息的获取更加方便，精确。大部分深度相机，尤其是较为廉价的Kinect深度传感器，因其能较为准确并快速的获取场景深度信息，被广泛用于场景分析，肢体信息捕捉，以及三维扫描等研究领域。因此彩色相机和深度相机(简称为RGB-D相机)联合采集三维点云，对其进行重建逐渐成为三维扫描研究领域的研究热点和重点。基于RGB-D相机的三维点云重建系统主要包括三部分：点云的获取与配准，闭合环路检测，全局信息配准。其中点云间的自动配准研究是点云重建系统中的一个研究热点和难点。

点云配准技术是指：通过一定算法，利用计算机计算两点云之间的错位关系，从而将两块点云关联在一起。其问题关键是求得两块点云间的坐标变换参数，包括旋转矩阵R和平移向量T，使得两视角下测得的三维数据间坐标变换后的距离最小，也就是说将真实场景中不同视角下的重叠区域，在点云数据中通过配准，使该区域在统一坐标系中也尽可能重叠在一起。

Besl,P.J.&McKay,N.D.(1992).Amethodforregistrationof3-Dshapes.IEEETransactionsonPatternAnalysisandMachineIntelligence,14(2),239–256.公开了一种基于帧间配准的点云配准算法的IterativeClosestPoint(ICP)算法。Rusinkiewicz,S.,&Levoy,M.EfficientvariantsoftheICPalgorithm.InProc.ofthethirdinternationalconferenceon3-Ddigitalimagingandmodeling，pp.145–152，2001。公开了一种改进的ICP算法。这两种算法通过迭代求使点云间重叠部分的Hausdorff距离最小时的刚体变换。此时，点云间应该重叠部分实现基本重叠，从而完成点云间的配准。然而ICP算法及其改进算法仍然属于一种局部最优算法，不能保证收敛得到全局最优解，因此ICP相关算法只有在两点云初始位置较为逼近时，才能得到较为准确的配准结果。

为了使点云间能够在任意初始位置都能够进行较为准确的配准，许多全局最优配准算法被提出。全局最优配准算法是通过解决全局最优问题来求解点云间最为准确的刚体变换。一种较为常用的全局最优算法是在两点云中，基于RANSAC随机寻找最优的3组匹配点，求得最优的刚体变换矩阵，但这种算法的复杂度在最坏情况下达到Ο(n³)；另一种常用的全局最优配准算法是通过特征描述子提取特征向量，作为点云的配准点集，通过配准这些特征点集来选择最优的刚体变换矩阵对两点云进行配准。然而，这种基于特征描述子提取的全局最优配准算法只有在两点云中存在较为离散的特征匹配时，才能够进行较为准确的全局最优配准，而且当点云中存在噪声和错误信息较多时，点云配准的鲁棒性较差。

目前，AigerD,MitraNJ,Cohen-OrD.4-pointscongruentsetsforrobustpairwisesurfaceregistration[J].ACMTransactionsonGraphics,2008,27(3):ArticleNo.85公开的4PCS算法点云配准精度较高，鲁棒性很强。然而，该算法在配准后的点云中，局部区域的配准结果并不准确。

发明内容

本发明的目的在于克服现有技术的不足，本发明提出了一种点云配准精度更高、鲁棒性更好的基于匹配区域的点云配准方法。

为实现上述目的，本发明提供一种基于匹配区域的点云配准的方法。

一种基于匹配区域的点云配准的方法，包括以下步骤：

步骤1：数据采集：利用RGB-D相机从N个方位采集场景的深度图像序列和彩色图像序列，N>1,生成第一至第N点云；所述各点云的空间点数目由其深度图像有效像素数目决定；所述各点云的的空间点生成方法相同；所述第一点云中第一空间点(x,y,z)的生成方法为：

z = \frac{D I_d e p t h}{1000}

x = \frac{(D I_x - \frac{D I_w i d t h}{2}) * w i d t h}{D I_w i d t h} - - - (1)

y = \frac{(\frac{D I_h e i g h t}{2} - D I_y) * h e i g h t}{D I_h e i g h t}

其中(x,y,z)为所述第一点云中第一空间点的空间坐标，DI_x、DI_y、DI_depth、DI_width、DI_height分别表示第一点云中第一空间点对应的深度图像像素的横坐标、纵坐标、深度值、深度图像的宽度和深度图像的高度；width和height分别为第一点云的宽度高度，其计算方法为：

w i d t h = D I_d e p t h * t a n (h_v a * \frac{P I}{360}) * 2 - - - (2)

h e i g h t = D I_d e p t h * t a n (v_v a * \frac{P I}{360}) * 2

其中h_va是表示水平视角的期望值，v_va是表示垂直视角的期望值，PI为常量；

步骤2：源点云和目标点云的区域分割：选择第P方位的点云作为源点云,选择第Q方位的点云作为目标点云,分别对源点云的彩色图像CP和目标点云的彩色图像CQ进行区域分割，P≠Q,1≤P,Q≤N；所述彩色图像CP分割为S_p块，所述彩色图像CQ分割为S_q块，1≤S_P,S_q；所述源点云中各空间点的状态初始化为未配准状态；

步骤3：特征点提取与匹配：提取彩色图像CP和彩色图像CQ的特征点，进行特征点匹配，得到K组特征点匹配对；

步骤4：区域匹配：逐一判断彩色图像CP中各分割区域是否存在已建立特征点匹配对的特征点，如果是，选择彩色图像CQ中与其特征点匹配对组数最多的区域作为对应匹配区域，建立匹配区域对；

步骤5：匹配区域对排序：按照匹配区域对中彩色图像CP的分割区域中像素点数目从多到少排序所述匹配区域对，得到编号m为1至MS的匹配区域对，所述编号MS小于或等于S_p与S_q中的最小值；

步骤6：点云初始配准：运用点云配准算法对源点云P和目标点云Q进行初始配准，获得全局变换矩阵，所述的全局变换矩阵由全局旋转矩阵R和全局平移向量T组成，依据全局变换矩阵将源点云P变换为全局配准点云P'；所述彩色图像CP中的各分割区域变换为全局配准点云P'中彩色图像CP’中的对应分割区域；所述各匹配区域对变换为相应的全局匹配区域对；所述各特征点匹配对中源点云P中的空间点的状态更新为配准状态；

步骤7：设定当前匹配区域对的编号m为0，设置配准误差阈值的初始值；

步骤8：点云局部配准：当前匹配区域对的编号加1，对当前匹配区域对进行局部配准，得到当前匹配区域对的局部变换矩阵TA_m；

步骤9：点云配准调整：利用局部变换矩阵TA_m，调整全局配准点云P'编号为m至MS全局匹配区域对中处于未配准状态的空间点的空间位置；得到调整配准点云P”_m；

步骤10：判断调整配准点云P”_m与目标点云Q之间的配准误差是否小于配准误差阈值，如果小于转向步骤11，否则转向步骤12；

步骤11：用所述整配准点云P”_m更新全局配准点云P'，用调整配准点云P”_m与目标点云Q之间的配准误差更新配准误差阈值；

步骤12：达到配准结束条件：判断当前匹配区域对的编号是否等于MS，如果是，结束；否则，转向步骤8。

所述步骤6所述的点云初始配准方法，包括以下步骤：

步骤6-1：在源点云P中任意提取一个点四元组B，所述点四元组B由四个共面的空间点组成，所述点四元组B中任意两个空间点之间距离大于预设距离阈值；

步骤6-2：确定所述点四元组B的对角线交点e，计算对角线交点e分割两条对角线形成的第一和第二分割比r₁、r₂；在目标点云Q中搜索相应的全等点四元组集合U，所述全等点四元组集合U由与所述点四元组B全等的点四元组组成；所述全等点四元组满足：利用第一和第二分割比r₁，r₂得到第一和第二分割点e₁、e₂之间距离小于预设的距离容忍度阈值；

步骤6-3：全局旋转矩阵R和平移向量T获取：逐一计算全等点四元组集合U中各全等点四元组和点四元组B之间的旋转矩阵R_i和平移向量T_i，1≤i≤UM，UM为全等点四元组集合U中全等点四元组数目，选择配准误差最小的旋转矩阵和平移向量作为全局旋转矩阵R和平移向量T。

上述步骤9点云配准调整方法为：

{P^{''}}_{m} = (R_{m} ({PP}_{m - 1} - Σ_{l = 0}^{m - 1} {MA}_{l}) + T_{m}) + Σ_{l = 0}^{m - 1} {MA}_{l} - - - (3)

其中，P”_m表示使用局部变换矩阵TA_m调整后的调整配准点云；PP_m-1表示使用调整配准点云编号P″_m-1更新的的全局配准点云，MA_l表示编号为l的已经进行配准调整的匹配区域对，R_m和T_m分别为局部变换矩阵TA_m的旋转矩阵和平移向量。

上述步骤6和步骤10中所述的配准误差的计算方法相同，均为：

D i f f (p, q) = Σ_{i = 1}^{n_{p}} \sqrt{{(x_{i}^{p} - x_{i}^{q})}^{2} + {(y_{i}^{p} - y_{i}^{q})}^{2} + {(z_{i}^{p} - z_{i}^{q})}^{2}} - - - (4)

其中和在步骤6中分别表示源点云P和目标点云Q的第i空间点的坐标，n_p表示源点云P中的空间点数目；和在步骤10中分别表示调整配准点云P”_m与目标点云Q的第i空间点的坐标，n_p表示调整配准点云P”中的空间点数目。

所述步骤6-2中采用全搜索方法目标点云Q中搜索相应的全等点四元组集合U。

本发明技术效果如下：

本发明的对点云全局最优配准所导致的点云局部配准不精确的点云，利用匹配区域的点云局部配准，进行局部修正，提高了点云的配准精度。

附图说明

图1为本发明的流程图；

图2为本实施例中的源点云和目标点云彩色图像；图中(a)为源点云的彩色图像，(b)为目标点云的彩色图像；

图3为本实施例中的源点云和目标点云深度图像；图中(a)为源点云的深度图像，(b)为目标点云的深度图像；

图4为本实施例中生成的源点云和目标点云；

图5为本实施例中彩色图像CP和彩色图像CQ的分割图像，(a)彩色图像CP的分割图像，(b)彩色图像CQ的分割图像；

图6为本实施例中彩色图像CP和彩色图像CQ的特征点配对图像；

图7为本实施例中彩色图像CP和彩色图像CQ的区域配对图像；

图8为本实施例中点云局部配准前后的对比的图像，(a)为两点云局部配准前的图像；(b)为两点云局部配准后的图像；

图9为本实施例中点云配准前后的对比的图像，(a)为两点云配准前的图像；(b)为两点云配准后的图像。

具体实施方式

如图1所示，一种基于匹配区域的点云配准的方法，包括以下步骤：

步骤1：数据采集：利用RGB-D相机从N个方位采集场景的深度图像序列和彩色图像序列，N>1,生成第一至第N点云；所述各点云的空间点数目由深度图像有效像素数目决定，所述空间点(x,y,z)为：

z = \frac{D I_d e p t h}{1000}

x = \frac{(D I_x - \frac{D I_w i d t h}{2}) * w i d t h}{D I_w i d t h} - - - (1)

y = \frac{(\frac{D I_h e i g h t}{2} - D I_y) * h e i g h t}{D I_h e i g h t}

其中(x,y,z)为所述各点云中空间点的空间坐标，DI_x、DI_y、DI_depth、DI_width、DI_height分别表示深度图像像素的横坐标、纵坐标、像素值、深度图像的宽度和深度图像的高度；width为点云宽度和height为点云高度，其计算方法为：

w i d t h = D I_d e p t h * t a n (h_v a * \frac{P I}{360}) * 2 - - - (2)

h e i g h t = D I_d e p t h * t a n (v_v a * \frac{P I}{360}) * 2

所述步骤6所述的点云初始配准方法，包括以下步骤：

上述步骤9点云配准调整方法为：

{P^{''}}_{m} = (R_{m} ({PP}_{m - 1} - Σ_{l = 0}^{m - 1} {MA}_{l}) + T_{m}) + Σ_{l = 0}^{m - 1} {MA}_{l} - - - (3)

其中，P”_m表示使用局部变换矩阵TA_m调整后的调整配准点云；PP_m-1表示使用调整配准点云编号P'_m'_-1更新的的全局配准点云，MA_l表示编号为l的已经进行配准调整的匹配区域对，R_m和T_m分别为局部变换矩阵TA_m的旋转矩阵和平移向量。

D i f f (p, q) = Σ_{i = 1}^{n_{p}} \sqrt{{(x_{i}^{p} - x_{i}^{q})}^{2} + {(y_{i}^{p} - y_{i}^{q})}^{2} + {(z_{i}^{p} - z_{i}^{q})}^{2}} - - - (4)

在本实施例中RGB-D传感器由Kinect等RGB-D集成传感器或由RGB传感器和深度传感器组装，获取场景时间连续的深度图像序列和彩色图像序列。通过深度图像像素值计算每个像素对应的空间点在世界坐标系中的x，y，z的坐标，得到点云，如图2、3、4所示。

水平视角期望值h_va为57，垂直视角期望值v_va为43，PI为常量，这里取值为3.14。

彩色图像CP和彩色图像CQ区域分割使用的MeanShift算法，参见[D.ComaniciuandPMeer,“Meanshift:Arobustapproachtowardfeaturespaceanalysis,”IEEETransactionsonPatternAnalysisandMachineIntelligence,vol.24,pp.603–619,2002.]，本发明并不局限该MeanShift算法，也可选用其他图像分割算法对彩色图像进行区域分割。区域分割结果如图5所示。

本实施例中使用SIFT特征点(ScaleInvariantFeatureTransform)匹配彩色图像CP和彩色图像CQ。本发明并不局限SIFT特征点的提取和匹配算法，也可选用其他尺度不变的特征点提取和匹配算法。特征点提取和匹配的结果如图6所示。匹配特征点分别所在的位置坐标，映射于源点云和目标点云中的分割区域，此匹配特征点坐标所处于的分割区域即为匹配区域，区域匹配结果如图7所示，图中相同颜色的区域即为匹配区域。

统计彩色图像CP中存在的与彩色图像CQ匹配的各个区域所包含的像素点数目，按照从多到少的顺序进行区域排序，如：Num(CP_A)>Num(CP_B)>Num(CP_C)等，其中CP_A、CP_B、CP_C分别代表彩色图像CP中的区域，其对应的彩色图像CQ中匹配区域为CQ_A、CQ_B、CQ_C。

本实施例中运用4PCS点云配准算法对P和Q进行点云初始配准，本发明并不局限使用4PCS配准算法，也可选用其他配准算法，P经过初始配准后变换为点云P'；点云局部配准结果如图8所示。

经过MS次局部配准调整后，完成点云的配准，配准结果如图9所示。

本文所描述的具体实施例仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims

1.一种基于匹配区域的点云配准的方法，其特征在于：包括以下步骤：

z = \frac{D I_d e p t h}{1000}

x = \frac{(D I_x - \frac{D I_w i d t h}{2}) * w i d t h}{D I_w i d t h} - - - (1)

y = \frac{(\frac{D I_h e i g h t}{2} - D I_y) * h e i g h t}{D I_h e i g h t}

w i d t h = D I_d e p t h * t a n (h_v a * \frac{P I}{360}) * 2 - - - (2)

h e i g h t = D I_d e p t h * t a n (v_v a * \frac{P I}{360}) * 2

步骤9：点云配准调整：利用局部变换矩阵TA_m，调整全局配准点云P'编号为m至MS全局匹配区域对中处于未配准状态的空间点的空间位置；得到调整配准点云P″_m；

步骤10：判断调整配准点云P″_m与目标点云Q之间的配准误差是否小于配准误差阈值，如果小于转向步骤11，否则转向步骤12；

步骤11：用所述整配准点云P″_m更新全局配准点云P'，用调整配准点云P″_m与目标点云Q之间的配准误差更新配准误差阈值；

2.根据权利要求1所述的基于匹配区域的点云配准的方法，其特征在于：所述步骤6所述的点云初始配准方法，包括以下步骤：

步骤6-2：确定所述点四元组B的对角线交点e，计算对角线交点e分割两条对角线形成的第一和第二分割比r₁、r₂；在目标点云Q中搜索相应的全等点四元组集合U，所述全等点四元组集合U由与所述点四元组B全等的点四元组组成；所述全等点四元组满足：利用第一和第二分割比r₁，r₂得到第一和第二分割点e₁、e₂，第一和第二分割点e₁、e₂之间距离小于预设的距离容忍度阈值；

步骤6-3：全局旋转矩阵R和平移向量T获取：逐一计算全等点四元组集合U中各全等点四元组和点四元组B之间的旋转矩阵R_i和平移向量T_i，1≤i≤UM，UM为全等点四元组集合U中全等点四元组数目，选择配准误差最小的旋转矩阵R_i和平移向量T_i，作为全局旋转矩阵R和平移向量T。

3.根据权利要求1所述的基于匹配区域的点云配准的方法，其特征在于：所述步骤9中的点云配准调整方法为：

{P^{''}}_{m} = (R_{m} ({PP}_{m - 1} - Σ_{l = 0}^{m - 1} {MA}_{l}) + T_{m}) + Σ_{l = 0}^{m - 1} {MA}_{l} - - - (3)

其中，P″_m表示使用局部变换矩阵TA_m调整后的调整配准点云；PP_m-1表示使用调整配准点云编号P″_m-1更新的的全局配准点云，MA_l表示编号为l的已经进行配准调整的匹配区域对，R_m和T_m分别为局部变换矩阵TA_m的旋转矩阵和平移向量。

4.根据权利要求2所述的基于匹配区域的点云配准的方法，其特征在于：所述步骤6和步骤10中所述的配准误差的计算方法相同，均为：

D i f f (p, q) = Σ_{i = 1}^{n_{p}} \sqrt{{(x_{i}^{p} - x_{i}^{q})}^{2} + {(y_{i}^{p} - y_{i}^{q})}^{2} + {(z_{i}^{p} - z_{i}^{q})}^{2}} - - - (4)

其中和在步骤6中分别表示源点云P和目标点云Q的空间点i的坐标，n_p表示源点云P中的空间点数目；和在步骤10中分别表示调整配准点云P″与目标点云Q的空间点i的坐标，n_p表示调整配准点云P″中的空间点数目。

5.根据权利要求1所述的基于匹配区域的点云配准的方法，其特征在于：所述步骤6-2中采用全搜索方法目标点云Q中搜索相应的全等点四元组集合U。