CN109559340A - 一种并行的三维点云数据自动化配准方法 - Google Patents
一种并行的三维点云数据自动化配准方法 Download PDFInfo
- Publication number
- CN109559340A CN109559340A CN201811442638.5A CN201811442638A CN109559340A CN 109559340 A CN109559340 A CN 109559340A CN 201811442638 A CN201811442638 A CN 201811442638A CN 109559340 A CN109559340 A CN 109559340A
- Authority
- CN
- China
- Prior art keywords
- point
- point cloud
- cloud
- calculating
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种并行的三维点云数据自动化配准方法，通过获取处于不同视图下且具有重叠区域的两个待配准点云，对点云进行下采样处理以减少计算量，计算点云数据的法向量并计算快速点特征直方图FPFH特征，启动多个进程分别从一个点云中选择n个点并在另一个点云中查找对应点，根据对应点计算刚性变换的旋转平移矩阵，同时计算错误度量标准，将最小错误度量标准的结果作为本次迭代结果，进行多次迭代，将最终的结果作为变换矩阵；最后利用ICP迭代算法进行精配准。
Description
技术领域
本发明属于点云数据处理领域，尤其是一种并行的三维点云数据自动化配准方法。
背景技术
三维点云数据是通过测量仪器得到的物体外观表面的点数据集合，是对真实世界的一种数字化表现形式。三维点云数据在建筑物保护、三维地图、生物医学等领域具有很强的应用价值。三维点云数据会遇到需要将两个不同视图获取的点云数据统一到相同的坐标系下的问题，即点云配准。
目前的点云配准技术主要分为手动配准和自动配准。手动配准需要提前人工标注两个点云数据中的多个对应点，然后根据标注的对应点求解刚性变换的齐次方程求解旋转矩阵R和平移向量T，最后根据求得的R、T将两个点云的坐标系进行统一，此方法对人工标准的准确性要求极高，错误的标准对应点会影响配准效果。自动配准通过计算点云数据的特征描述子FPFH，并进行特征匹配，通过特征匹配代替人工标准，进而求解旋转平移矩阵，此方法需要对点云数据进行大量的预处理，在大型三维点云数据中，特征的提取和匹配都需要巨大的时间成本，同时特征匹配的准确性是配准成果的关键。
发明内容
针对上述问题，本发明提供了一种并行的三维点云数据自动化配准方法,包括以下步骤:
步骤1：获取不同视图下待配准的源点云P和目标点云Q；
步骤2：点云降采样处理。针对大型的三维点云数据进行降采样处理，在最大程度保留点云数据特征的前提下减少计算量。此处采用尺度不变特征变换3D-SIFT提取点云中的关键点作为降采样的结果。特殊的，针对三维重建领域可以直接采用稀疏点云作为降采样结果。降采样后源点云P中的关键点数量Np,目标点云Q中的关键点数量Pq。
步骤3：对两个点云集合中的点计算法向量进而计算快速点特征直方图描述子FPFH，FPFH是由点特征直方图描述子PFH简化而来，在保留FPH大部分特性和结果的同时，计算复杂度更低。具体步骤如下：
步骤3.1：针对三维点云中的某点Pq，它的FPFH描述子由三维空间中半径为r的球体区域中的k个领域点决定。
步骤3.2：计算中心点Pq和领域点的相对差异，取领域中的任一点Pk，且各自的法向量为n1和n2，在点Pq上定义局部坐标系，坐标系方向u、v、w根据下式计算：
u＝n1
w＝u×v (式1)
步骤3.3：根据u、v、w坐标，n1和n2的差异可以用一个三元组(α，φ，θ)来表示，三元组的表达形式仅使用3个参数就涵盖两个点相对位置关系的12个参数。其中α，φ，θ根据下式计算：
α＝v·n2
θ＝arctan(w·n2，u·n2) (式2)
步骤3.4：计算中心点Pq和领域k个点之间的三元组，并统计一个简化的点特征直方图SPFH。
步骤3.5：分别以k个领域点自身为中心点，采用同样的方式计算以每个点为中心的SPFH，利用领域点的SPFH加权计算Pq点最终的FPFH。权重wk依赖于中心点Pq和领域点Pk的距离：
步骤4：启动多个进程分别进行点云的特征匹配和刚性变换，每个进程的具体步骤如下：
步骤4.1：从源点云P中随机选取n个采样点，由于FPFH特征的特点，选取的点两两之间的距离应满足预先给定的最小阈值dmin。
步骤4.2：在目标点云Q中根据kd-树最近邻查询算法FLANN查找与源点云P中采用点具有相似FPFH特征的对应点。
步骤4.3：由于噪声的影响并不是所有的点对应关系都是正确的，根据随机采样一致性RANSAC去除错误的匹配关系，在提高准确性的同时提高计算速度。同时将获取到的对应关系建立索引对应表。
步骤4.4：根据对应点利用SVD分解方法获取旋转矩阵和平移向量。
步骤4.5：通过计算变换后的距离误差和函数来判断当前变换的误差水平，其中误差计算采用Huber函数。其中li为第i组对应点变换后的距离差，δ为预先设定的阈值。
步骤5：上步骤的4.1到4.5成为一次迭代，迭代中进行对应点特征匹配的4.2首先查询之前建立的索引对应表，如果存在对应关系直接获取，不存在对应关系再根据FLANN进行特征匹配，加快匹配速度。由于各进程的初始点是随机选取能够保证获取不同的对应关系，进而获取不同的刚性变换矩阵，每个进程的每次迭代都计算误差度量。
步骤6：当各个进程达到迭代次数m时停止，将误差和函数最小的刚性变换矩阵作为最终变换矩阵。
步骤7：利用得到的变换矩阵作为ICP迭代算法的初始化矩阵进行精配准，ICP算法的配准效果和初始化矩阵有大关系，坏的初始化矩阵可能导致局部最优不能收敛到正确的结果，之前的步骤能够最大程度保证初始变换的正确性。
有益效果
针对当前手动点云配准的准确性低，人工成本大和自动点云配准的计算复杂度大、配准精度不高等背景，本发明提出一种并行的三维点云数据自动化配准方法，避免了人工标准的高成本和不准确标准带来的错误配准，并且降低了当前自动配准技术的计算复杂度，提高了当前自动化配准技术的精度。
附图说明
图1是两点之间三元组的计算图。
图2是FPFH描述子图。
图3是Huber函数图。
图4是技术方案流程图。
具体实施方式
本发明提供了一种并行的三维点云数据自动化配准方法,如图4所示，包括以下步骤:
步骤1：获取不同视图下待配准的源点云P和目标点云Q；
步骤2：点云降采样处理。针对大型的三维点云数据进行降采样处理，在最大程度保留点云数据特征的前提下减少计算量。此处采用尺度不变特征变换3D-SIFT提取点云中的关键点作为降采样的结果。特殊的，针对三维重建领域可以直接采用稀疏点云作为降采样结果。降采样后源点云P中的关键点数量Np,目标点云Q中的关键点数量Mq。
步骤3：对两个点云集合中的点计算法向量进而计算快速点特征直方图描述子FPFH，FPFH是由点特征直方图描述子PFH简化而来，在保留FPH大部分特性和结果的同时，计算复杂度更低。具体步骤如下：
步骤3.1：针对三维点云中的某点Pq，它的FPFH描述子由三维空间中半径为r的球体区域中的k个领域点决定。
步骤3.2：计算中心点Pq和领域点的相对差异，取领域中的任一点Pk，且各自的法向量为n1和n2，在点Pq上定义局部坐标系，坐标系方向u、v、w根据下式计算：
u＝n1
w＝u×v (式1)
步骤3.3：根据u、v、w坐标，n1和n2的差异可以用一个三元组(α，φ，θ)来表示，如图1所示。三元组的表达形式仅使用3个参数就涵盖两个点相对位置关系的12个参数。其中α，φ，θ根据下式计算：
α＝v·n2
θ＝arctan(w·n2，u·n2) (式2)
步骤3.4：计算中心点Pq和领域k个点之间的三元组，并统计一个简化的点特征直方图SPFH。
步骤3.5：分别以k个领域点自身为中心点，采用同样的方式计算以每个点为中心的SPFH，利用领域点的SPFH加权计算Pq点最终的FPFH。权重wk依赖于中心点Pq和领域点Pk的距离，如图2所示。
步骤4：启动多个进程分别进行点云的特征匹配和刚性变换，每个进程的具体步骤如下：
步骤4.1：从源点云P中随机选取n个采样点，由于FPFH特征的特点，选取的点两两之间的距离应满足预先给定的最小阈值dmin。
步骤4.2：在目标点云Q中根据kd-树最近邻查询算法FLANN查找与源点云P中采用点具有相似FPFH特征的对应点。
步骤4.3：由于噪声的影响并不是所有的点对应关系都是正确的，根据随机采样一致性RANSAC去除错误的匹配关系，在提高准确性的同时提高计算速度。同时将获取到的对应关系建立索引对应表。
步骤4.4：根据对应点利用SVD分解方法获取旋转矩阵和平移向量。
步骤4.5：通过计算变换后的距离误差和函数来判断当前变换的误差水平，其中误差计算采用Huber函数，其中li为第i组对应点变换后的距离差，δ为预先设定的阈值。
当δ＝10，δ＝5，δ＝3，δ＝1时，函数图像如图3所示。
步骤5：上步骤的4.1到4.5成为一次迭代，迭代中进行对应点特征匹配的4.2首先查询之前建立的索引对应表，如果存在对应关系直接获取，不存在对应关系再根据FLANN进行特征匹配，加快匹配速度。由于各进程的初始点是随机选取能够保证获取不同的对应关系，进而获取不同的刚性变换矩阵，每个进程的每次迭代都计算误差度量。
步骤6：当各个进程达到迭代次数m时停止，将误差和函数最小的刚性变换矩阵作为最终变换矩阵。
步骤7：利用得到的变换矩阵作为ICP迭代算法的初始化矩阵进行精配准，ICP算法的配准效果和初始化矩阵有大关系，坏的初始化矩阵可能导致局部最优不能收敛到正确的结果，之前的步骤能够最大程度保证初始变换的正确性。
Claims (3)
1.一种并行的三维点云数据自动化配准方法,其特征在于,包括以下步骤：
步骤1：获取不同视图下待配准的源点云P和目标点云Q；
步骤2：对大型的三维点云数据进行降采样处理；提取点云中的关键点作为降采样的结果；降采样后源点云P中的关键点数量Np,目标点云Q中的关键点数量Mq；
步骤3：对两个点云集合中的点计算法向量进而计算快速点特征直方图描述子FPFH；
步骤4：启动多个进程分别进行点云的特征匹配和刚性变换；
步骤5：所述步骤4为一次迭代，迭代中进行对应点特征匹配；
查询之前建立的索引对应表，确定是否存在对应关系，存在对应关系直接获取，不存在对应关系再根据FLANN进行特征匹配，加快匹配速度；各进程的初始点是随机选取能够保证获取不同的对应关系，进而获取不同的刚性变换矩阵，每个进程的每次迭代都计算误差度量；
步骤6：当各个进程达到迭代次数m时停止，将误差和函数最小的刚性变换矩阵作为最终变换矩阵；
步骤7：利用得到的变换矩阵作为ICP迭代算法的初始化矩阵进行精配准。
2.根据权利要求1所述的一种并行的三维点云数据自动化配准方法，其特征在于，所述步骤3的具体方法为：
步骤3.1：针对三维点云中的某点Pq，它的FPFH描述子由三维空间中半径为r的球体区域中的k个领域点决定；
步骤3.2：计算中心点Pq和领域点的相对差异，取领域中的任一点Pk，且各自的法向量为n1和n2，在点Pq上定义局部坐标系，坐标系方向u、v、w根据下式1计算：
u＝n1
w＝u×v (式1)
步骤3.3：根据u、v、w坐标，n1和n2的差异可以用一个三元组(α，φ，θ)来表示；其中α，φ，θ根据下式计算：
α＝v·n2
θ＝arctan(w·n2，u·n2) (式2)
步骤3.4：计算中心点Pq和领域k个点之间的三元组，并统计一个简化的点特征直方图SPFH；
步骤3.5：分别以k个领域点自身为中心点，采用步骤3.4的方式计算以每个点为中心的SPFH，利用领域点的SPFH加权计算Pq点最终的FPFH；权重wk依赖于中心点Pq和领域点Pk的距离:
3.根据权利要求1所述的一种并行的三维点云数据自动化配准方法，其特征在于，所述步骤4的具体方法为：
步骤4.1：从源点云P中随机选取n个采样点，选取的点两两之间的距离应满足预先给定的最小阈值dmin；
步骤4.2：在目标点云Q中根据kd-树最近邻查询算法FLANN查找与源点云P中采用点具有相似FPFH特征的对应点；
步骤4.3：根据随机采样一致性RANSAC去除错误的匹配关系，在提高准确性的同时提高计算速度；同时将获取到的对应关系建立索引对应表；
步骤4.4：根据对应点利用SVD分解方法获取旋转矩阵和平移向量；
步骤4.5：通过计算变换后的距离误差和函数来判断当前变换的误差水平，误差计算采用Huber函数；其中li为第i组对应点变换后的距离差，δ为预先设定的阈值；其计算方法为：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811442638.5A CN109559340B (zh) | 2018-11-29 | 2018-11-29 | 一种并行的三维点云数据自动化配准方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811442638.5A CN109559340B (zh) | 2018-11-29 | 2018-11-29 | 一种并行的三维点云数据自动化配准方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109559340A true CN109559340A (zh) | 2019-04-02 |
| CN109559340B CN109559340B (zh) | 2023-06-09 |
Family
ID=65867951
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811442638.5A Active CN109559340B (zh) | 2018-11-29 | 2018-11-29 | 一种并行的三维点云数据自动化配准方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109559340B (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110033409A (zh) * | 2019-04-18 | 2019-07-19 | 中国科学技术大学 | 一种迭代最近点刚性注册方法及系统 |
| CN110688440A (zh) * | 2019-09-29 | 2020-01-14 | 中山大学 | 一种适用于子地图重叠部分较少的地图融合方法 |
| CN111325663A (zh) * | 2020-02-21 | 2020-06-23 | 深圳市易尚展示股份有限公司 | 基于并行架构的三维点云匹配方法、装置和计算机设备 |
| CN112070832A (zh) * | 2020-08-07 | 2020-12-11 | 清华大学 | 基于点云dca特征的非合作目标位姿跟踪方法及装置 |
| CN112381862A (zh) * | 2020-10-27 | 2021-02-19 | 新拓三维技术(深圳)有限公司 | 一种cad模型与三角网格全自动配准方法和装置 |
| CN112581511A (zh) * | 2020-12-14 | 2021-03-30 | 北京林业大学 | 基于近似直立扫描点云快速配准的三维重建方法及系统 |
| CN113902782A (zh) * | 2021-10-21 | 2022-01-07 | 济南大学 | 一种挖掘机周边障碍物三维点云的快速配准方法及系统 |
| CN114118181A (zh) * | 2021-08-26 | 2022-03-01 | 西北大学 | 一种高维回归点云配准方法、系统、计算机设备及应用 |
| CN114926549A (zh) * | 2022-05-30 | 2022-08-19 | 北京百度网讯科技有限公司 | 三维点云处理方法、装置、设备以及存储介质 |
| CN116777961A (zh) * | 2023-06-26 | 2023-09-19 | 安徽开源路桥有限责任公司 | 一种利用kd树搜索的并行化点云配准的方法 |
| CN117934734A (zh) * | 2024-03-25 | 2024-04-26 | 北京思路智园科技有限公司 | 基于cv和vr的企业危险工艺动态场景模拟方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104732581A (zh) * | 2014-12-26 | 2015-06-24 | 东华大学 | 基于点特征直方图的移动场景点云精简算法 |
| CN107886528A (zh) * | 2017-11-30 | 2018-04-06 | 南京理工大学 | 基于点云的配电线路作业场景三维重建方法 |
| CN108133458A (zh) * | 2018-01-17 | 2018-06-08 | 视缘(上海)智能科技有限公司 | 一种基于目标物体空间点云特征的自动拼接方法 |
-
2018
- 2018-11-29 CN CN201811442638.5A patent/CN109559340B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104732581A (zh) * | 2014-12-26 | 2015-06-24 | 东华大学 | 基于点特征直方图的移动场景点云精简算法 |
| CN107886528A (zh) * | 2017-11-30 | 2018-04-06 | 南京理工大学 | 基于点云的配电线路作业场景三维重建方法 |
| CN108133458A (zh) * | 2018-01-17 | 2018-06-08 | 视缘(上海)智能科技有限公司 | 一种基于目标物体空间点云特征的自动拼接方法 |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110033409A (zh) * | 2019-04-18 | 2019-07-19 | 中国科学技术大学 | 一种迭代最近点刚性注册方法及系统 |
| CN110033409B (zh) * | 2019-04-18 | 2021-04-23 | 中国科学技术大学 | 一种迭代最近点刚性注册方法及系统 |
| CN110688440B (zh) * | 2019-09-29 | 2022-03-04 | 中山大学 | 一种适用于子地图重叠部分较少的地图融合方法 |
| CN110688440A (zh) * | 2019-09-29 | 2020-01-14 | 中山大学 | 一种适用于子地图重叠部分较少的地图融合方法 |
| CN111325663A (zh) * | 2020-02-21 | 2020-06-23 | 深圳市易尚展示股份有限公司 | 基于并行架构的三维点云匹配方法、装置和计算机设备 |
| CN111325663B (zh) * | 2020-02-21 | 2023-11-28 | 深圳市易尚展示股份有限公司 | 基于并行架构的三维点云匹配方法、装置和计算机设备 |
| CN112070832A (zh) * | 2020-08-07 | 2020-12-11 | 清华大学 | 基于点云dca特征的非合作目标位姿跟踪方法及装置 |
| CN112070832B (zh) * | 2020-08-07 | 2023-02-17 | 清华大学 | 基于点云dca特征的非合作目标位姿跟踪方法及装置 |
| CN112381862A (zh) * | 2020-10-27 | 2021-02-19 | 新拓三维技术(深圳)有限公司 | 一种cad模型与三角网格全自动配准方法和装置 |
| CN112581511B (zh) * | 2020-12-14 | 2023-07-18 | 北京林业大学 | 基于近似直立扫描点云快速配准的三维重建方法及系统 |
| CN112581511A (zh) * | 2020-12-14 | 2021-03-30 | 北京林业大学 | 基于近似直立扫描点云快速配准的三维重建方法及系统 |
| CN114118181A (zh) * | 2021-08-26 | 2022-03-01 | 西北大学 | 一种高维回归点云配准方法、系统、计算机设备及应用 |
| CN114118181B (zh) * | 2021-08-26 | 2022-06-21 | 西北大学 | 一种高维回归点云配准方法、系统、计算机设备及应用 |
| CN113902782A (zh) * | 2021-10-21 | 2022-01-07 | 济南大学 | 一种挖掘机周边障碍物三维点云的快速配准方法及系统 |
| CN114926549A (zh) * | 2022-05-30 | 2022-08-19 | 北京百度网讯科技有限公司 | 三维点云处理方法、装置、设备以及存储介质 |
| CN114926549B (zh) * | 2022-05-30 | 2024-05-14 | 北京百度网讯科技有限公司 | 三维点云处理方法、装置、设备以及存储介质 |
| CN116777961A (zh) * | 2023-06-26 | 2023-09-19 | 安徽开源路桥有限责任公司 | 一种利用kd树搜索的并行化点云配准的方法 |
| CN117934734A (zh) * | 2024-03-25 | 2024-04-26 | 北京思路智园科技有限公司 | 基于cv和vr的企业危险工艺动态场景模拟方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109559340B (zh) | 2023-06-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109559340A (zh) | 一种并行的三维点云数据自动化配准方法 | |
| CN106296693B (zh) | 基于3d点云fpfh特征实时三维空间定位方法 | |
| CN111199564B (zh) | 智能移动终端的室内定位方法、装置与电子设备 | |
| CN106023298B (zh) | 基于局部泊松曲面重建的点云刚性配准方法 | |
| CN110659636B (zh) | 基于深度学习的指针式仪表读数识别方法 | |
| CN110287873B (zh) | 基于深度神经网络的非合作目标位姿测量方法、系统及终端设备 | |
| CN109241901B (zh) | 一种对具有孔洞的三维点云的检测与识别方法 | |
| CN109636854A (zh) | 一种基于line-mod模板匹配的增强现实三维跟踪注册方法 | |
| CN106780459A (zh) | 一种三维点云数据自动配准方法 | |
| CN107346550B (zh) | 一种针对具有颜色信息的三维点云数据快速配准方法 | |
| CN104121902B (zh) | 基于Xtion摄像机的室内机器人视觉里程计实现方法 | |
| CN112001955A (zh) | 一种基于二维投影平面匹配约束的点云配准方法及系统 | |
| Yu et al. | Robust robot pose estimation for challenging scenes with an RGB-D camera | |
| CN103136525B (zh) | 一种利用广义Hough变换的异型扩展目标高精度定位方法 | |
| CN106125907B (zh) | 一种基于线框模型的三维目标注册定位方法 | |
| CN109448043A (zh) | 平面约束下的立木高度提取方法 | |
| CN112257676A (zh) | 一种指针式仪表读数方法、系统以及巡检机器人 | |
| CN109671174A (zh) | 一种电塔巡检方法及装置 | |
| CN106355197A (zh) | 基于K‑means聚类算法的导航图像匹配过滤方法 | |
| CN108921895A (zh) | 一种传感器相对位姿估计方法 | |
| CN106780551B (zh) | 一种三维运动目标检测方法和系统 | |
| CN109784250A (zh) | 自动引导小车的定位方法和装置 | |
| Shi et al. | A visual circle based image registration algorithm for optical and SAR imagery | |
| CN108830888A (zh) | 基于改进的多尺度协方差矩阵特征描述子的粗匹配方法 | |
| CN102938147A (zh) | 一种基于快速鲁棒特征的低空无人机视觉定位方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |