CN115760939A - 一种激光点云迭代配准方法、装置及存储介质 - Google Patents
一种激光点云迭代配准方法、装置及存储介质 Download PDFInfo
- Publication number
- CN115760939A CN115760939A CN202211517031.5A CN202211517031A CN115760939A CN 115760939 A CN115760939 A CN 115760939A CN 202211517031 A CN202211517031 A CN 202211517031A CN 115760939 A CN115760939 A CN 115760939A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- voxel
- source point
- target point
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种激光点云迭代配准方法、装置及存储介质，其方法包括：将预设数量的源点云和目标点云分别输入PointNet分类网络进行特征提取得到特征向量；将源点云和目标点云的特征向量输入Transformer模块进行相互特征学习得到学习特征向量；将源点云和目标点云的学习特征向量进行拼接操作得到拼接向量，将拼接向量输入全连接层得到配准的旋转平移向量；通过旋转平移向量对源点云三维坐标进行刚性变换得到配准三维坐标；将配准三维坐标作为源点云三维坐标，重复上述步骤直至到达预设最大迭代次数，得到最终的配准三维坐标且配准结束；本发明能够直接生成配准点云对的旋转平移关系，且有效提高点云配准的精度以及效率。
Description
技术领域
本发明涉及一种激光点云迭代配准方法、装置及存储介质，属于点云配准技术领域。
背景技术
点云配准任务主要是寻找源点云与目标点云之间的刚性变换关系，寻找使得配准点云对之间重合的变换关系。点云配准广泛运用于逆向工程、尺寸测量、机器人等领域。点云无序性以及不同点云之间复杂的初始对应关系增加了点云配准的难度。传统的迭代最近点(Iterative Closet Point，ICP)算法及其变种算法是广泛运用于点云配准方面的方法，但该方法对点云初始位置十分敏感，容易陷入局部最优。随着深度学习在三维点云领域的有效使用，基于深度学习的点云配准方式也得到极大关注，然而诸如PointNetLK等主要用来学习点云的特征再寻找特定的关系，不能直接生成点云对之间的转换矩阵，增加了复杂度。
发明内容
本发明的目的在于克服现有技术中的不足，提供一种激光点云迭代配准方法、装置及存储介质，能够直接生成配准点云对的旋转平移关系，有效提高了点云配准的精度以及效率。
为达到上述目的，本发明是采用下述技术方案实现的：
第一方面，本发明提供了一种激光点云迭代配准方法，包括：
将预设数量的源点云和目标点云分别输入PointNet分类网络进行特征提取得到特征向量；
将源点云和目标点云的特征向量输入Transformer模块进行相互特征学习得到学习特征向量；
将源点云和目标点云的学习特征向量进行拼接操作得到拼接向量，将拼接向量输入全连接层得到配准的旋转平移向量；
通过旋转平移向量对源点云三维坐标进行刚性变换得到配准三维坐标；
将配准三维坐标作为源点云三维坐标，重复上述步骤直至到达预设最大迭代次数，得到最终的配准三维坐标且配准结束；
其中，所述预设数量的源点云和目标点云的获取包括：
获取源点云集和目标点云集，并分别进行体素下采样得到预设数量的源点云和目标点云。
可选的，所述体素下采样包括：
读取点云并获取位于边界的点云三维坐标；
根据边界的点云三维坐标构建将点云包含在内的长方体空间；
获取初始化的最大体素Vmax和最小体素Vmin；
基于二分法确定寻优体素Vmid：Vmid＝(Vmax+Vmin)/2；
将长方体空间根据寻优体素大小离散划分为多个大小相同的体素立方体；
获取长方体空间和立方体的三轴边界长度并分别记为lx、ly、lz和lv_x、lv_y、lv_z；
根据长方体空间和体素立方体的三轴边界长度获取体素立方体数量N：
N＝nx×ny×nz
nx＝lx/lv_x；ny＝ly/lv_y；nz＝lz/lv_z
若体素立方体数量N小于预设点云数量n，则返回步骤：获取初始化的最大体素Vmax和最小体素Vmin，并令Vmax＝Vmid；
若体素立方体数量N大于预设点云数量n，则返回步骤：获取初始化的最大体素Vmax和最小体素Vmin，并令Vmin＝Vmid；
若体素立方体数量N等于预设点云数量n，则将当前寻优体素作为最优体素；
确定最优体素对应的各体素立方体的几何重心三维坐标，获取各体素立方体中与其几何重心三维坐标距离最近的点云三维坐标；
将各距离最近的点云三维坐标对应的点云作为体素下采样结果。
可选的，所述特征提取包括：
读取点云并获取点云三维坐标；
基于多层感知机对各点云三维坐标做embedding操作得到一次嵌入矩阵；
通过feature对一次嵌入矩阵进行尺度变换操作得到变换矩阵；
基于多层感知机对变换矩阵中各元素做embedding操作得到二次嵌入矩阵；
通过maxpooling获取二次嵌入矩阵中各维度中最大值元素；
根据各维度中最大值元素得到点云的特征向量。
可选的，所述互特征学习包括：
将源点云和目标点云的特征向量分别记为
将
分别作为encoder、decoder的输入，得到以目标点云为条件将源点云配准至目标点云的特征
将
分别作为encoder、decoder的输入，得到以源点云为条件将目标点云配准至目标点云的特征
对特征
进行残差连接得到源点云和目标点云的学习特征向量Φx,Φy：
第二方面，本发明提供了一种激光点云迭代配准装置，所述装置包括：
特征提取模块，用于将预设数量的源点云和目标点云分别输入PointNet分类网络进行特征提取得到特征向量；
特征学习模块，用于将源点云和目标点云的特征向量输入Transformer模块进行相互特征学习得到学习特征向量；
配准向量模块，用于将源点云和目标点云的学习特征向量进行拼接操作得到拼接向量，将拼接向量输入全连接层得到配准的旋转平移向量；
坐标配准模块，用于通过旋转平移向量对源点云三维坐标进行刚性变换得到配准三维坐标；
循环迭代模块，用于将配准三维坐标作为源点云三维坐标，重复上述步骤直至到达预设最大迭代次数，得到最终的配准三维坐标且配准结束；
其中，所述预设数量的源点云和目标点云的获取包括：
体素材料模块，用于获取源点云集和目标点云集，并分别进行体素下采样得到预设数量的源点云和目标点云。
第三方面，本发明提供了一种激光点云迭代配准装置，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据上述方法的步骤。
第四方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。
与现有技术相比，本发明所达到的有益效果：
本发明提供的一种激光点云迭代配准方法、装置及存储介质，通过体素下采样处理点云，可以在减小计算压力的同时保留原始点云的信息，提高后续特征的稳定性；点云对利用PointNet分类网络进行特征提取，对得到源点云和目标点云使用Transformer模块，学习到配准点云对中另一点云的信息，最后拼合得到的源点云和目标点云特征进行拼接再将其送入全连接层得到结果转化为旋转平移向量；通过旋转平移向量进行刚性变换完成配准并进行迭代；综上，本发备能够直接生成配准点云对的旋转平移关系，有效提高了点云配准的精度以及效率。
附图说明
图1是本发明实施例一提供的一种激光点云迭代配准方法的流程图；
图2是本发明实施例一提供的PointNet深度学习网络模型的结构图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
实施例一：
如图1所示，本发明提供了一种激光点云迭代配准方法，包括以下步骤：
1、获取源点云集和目标点云集，并分别进行体素下采样得到预设数量的源点云和目标点云；
体素下采样包括：
S1.1、读取点云并获取位于边界的点云三维坐标；此处点云分别为源点云和目标点云；
S1.2、根据边界的点云三维坐标构建将点云包含在内的长方体空间；
S1.3、获取初始化的最大体素Vmax和最小体素Vmin；
S1.4、基于二分法确定寻优体素Vmid：Vmid＝(Vmax+Vmin)/2；
S1.5、将长方体空间根据寻优体素大小离散划分为多个大小相同的体素立方体；
S1.6、获取长方体空间和立方体的三轴边界长度并分别记为lx、ly、lz和lv_x、lv_y、lv_z；
S1.7、根据长方体空间和体素立方体的三轴边界长度获取体素立方体数量N：
N＝nx×ny×nz
nx＝lx/lv_x；ny＝ly/lv_y；nz＝lz/lv_z
S1.8、若体素立方体数量N小于预设点云数量n，则返回步骤：获取初始化的最大体素Vmax和最小体素Vmin，并令Vmax＝Vmid；
S1.9、若体素立方体数量N大于预设点云数量n，则返回步骤：获取初始化的最大体素Vmax和最小体素Vmin，并令Vmin＝Vmid；
S1.10、若体素立方体数量N等于预设点云数量n，则将当前寻优体素作为最优体素；
S1.11、确定最优体素对应的各体素立方体的几何重心三维坐标，获取各体素立方体中与其几何重心三维坐标距离最近的点云三维坐标；
S1.12、将各距离最近的点云三维坐标对应的点云作为体素下采样结果。
2、将预设数量的源点云和目标点云分别输入PointNet分类网络进行特征提取得到特征向量；
特征提取包括：
S2.1、读取点云并获取点云三维坐标；此处分别为源点云和目标点云；
S2.2、基于多层感知机对各点云三维坐标(大小为n×3)做embedding操作得到一次嵌入矩阵；
S2.3、通过feature对一次嵌入矩阵进行尺度变换操作得到变换矩阵；
S2.4、基于多层感知机对变换矩阵中各元素做embedding操作得到二次嵌入矩阵(维度为n×1024)；
S2.5、通过maxpooling获取二次嵌入矩阵中各维度中最大值元素；
S2.6、根据各维度中最大值元素得到点云的特征向量(维度为1×1024)。
3、将源点云和目标点云的特征向量输入Transformer模块进行相互特征学习得到学习特征向量；
互特征学习包括：
S3.1、将源点云和目标点云的特征向量分别记为
S3.2、将
分别作为encoder、decoder的输入，得到以目标点云为条件将源点云配准至目标点云的特征
S3.3、将
分别作为encoder、decoder的输入，得到以源点云为条件将目标点云配准至目标点云的特征
S3.4、对特征
进行残差连接得到源点云和目标点云的学习特征向量Φx,Φy：
在步骤S3.2中，
首先经过多头注意力机制和残差连接再进行层正则化，接着传向前馈网络再进行一次残差连接和正则化。
经过多头注意力机制以及残差和正则化，随后将encoder的输入以及经过多头注意力机制的
的结果作为下一阶段多头注意力的输入，并进行残差和正则化，最后送入前馈网络再进行残差连接和正则化得到decoder输出
在步骤3.3中，同理可得
4、将源点云和目标点云的学习特征向量(维度为1×1024)进行拼接操作得到拼接向量(维度为1×2048)，将拼接向量输入全连接层得到配准的旋转平移向量(维度为1×7，其中前三维表示平移量，后四维表示旋转量)。
5、通过旋转平移向量对源点云三维坐标进行刚性变换得到配准三维坐标。
6、将配准三维坐标作为源点云三维坐标，返回步骤2直至到达预设最大迭代次数，得到最终的配准三维坐标且配准结束；
如图2所示，本实施例采用的PointNet深度学习网络模型，包括PointNet分类网络、Transformer模块、拼接层、全连接层。
实施例二：
本发明实施例提供了一种激光点云迭代配准装置，装置包括：
特征提取模块，用于将预设数量的源点云和目标点云分别输入PointNet分类网络进行特征提取得到特征向量；
特征学习模块，用于将源点云和目标点云的特征向量输入Transformer模块进行相互特征学习得到学习特征向量；
配准向量模块，用于将源点云和目标点云的学习特征向量进行拼接操作得到拼接向量，将拼接向量输入全连接层得到配准的旋转平移向量；
坐标配准模块，用于通过旋转平移向量对源点云三维坐标进行刚性变换得到配准三维坐标；
循环迭代模块，用于将配准三维坐标作为源点云三维坐标，重复上述步骤直至到达预设最大迭代次数，得到最终的配准三维坐标且配准结束；
其中，预设数量的源点云和目标点云的获取包括：
体素材料模块，用于获取源点云集和目标点云集，并分别进行体素下采样得到预设数量的源点云和目标点云。
实施例三：
基于实施例一，本发明实施例提供了一种激光点云迭代配准装置，包括处理器及存储介质；
存储介质用于存储指令；
处理器用于根据指令进行操作以执行根据上述方法的步骤。
实施例四：
基于实施例一，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
Claims (7)
1.一种激光点云迭代配准方法，其特征在于，包括：
将预设数量的源点云和目标点云分别输入PointNet分类网络进行特征提取得到特征向量；
将源点云和目标点云的特征向量输入Transformer模块进行相互特征学习得到学习特征向量；
将源点云和目标点云的学习特征向量进行拼接操作得到拼接向量，将拼接向量输入全连接层得到配准的旋转平移向量；
通过旋转平移向量对源点云三维坐标进行刚性变换得到配准三维坐标；
将配准三维坐标作为源点云三维坐标，重复上述步骤直至到达预设最大迭代次数，得到最终的配准三维坐标且配准结束；
其中，所述预设数量的源点云和目标点云的获取包括：
获取源点云集和目标点云集，并分别进行体素下采样得到预设数量的源点云和目标点云。
2.根据权利要求1所述的一种激光点云迭代配准方法，其特征在于，所述体素下采样包括：
读取点云并获取位于边界的点云三维坐标；
根据边界的点云三维坐标构建将点云包含在内的长方体空间；
获取初始化的最大体素Vmax和最小体素Vmin；
基于二分法确定寻优体素Vmid：Vmid＝(Vmax+Vmin)/2；
将长方体空间根据寻优体素大小离散划分为多个大小相同的体素立方体；
获取长方体空间和立方体的三轴边界长度并分别记为lx、ly、lz和lv_x、lv_y、lv_z；
根据长方体空间和体素立方体的三轴边界长度获取体素立方体数量N：
N＝nx×ny×nz
nx＝lx/lv_x；ny＝ly/lv_y；nz＝lz/lv_z
若体素立方体数量N小于预设点云数量n，则返回步骤：获取初始化的最大体素Vmax和最小体素Vmin，并令Vmax＝Vmid；
若体素立方体数量N大于预设点云数量n，则返回步骤：获取初始化的最大体素Vmax和最小体素Vmin，并令Vmin＝Vmid；
若体素立方体数量N等于预设点云数量n，则将当前寻优体素作为最优体素；
确定最优体素对应的各体素立方体的几何重心三维坐标，获取各体素立方体中与其几何重心三维坐标距离最近的点云三维坐标；
将各距离最近的点云三维坐标对应的点云作为体素下采样结果。
3.根据权利要求1所述的一种激光点云迭代配准方法，其特征在于，所述特征提取包括：
读取点云并获取点云三维坐标；
基于多层感知机对各点云三维坐标做embedding操作得到一次嵌入矩阵；
通过feature对一次嵌入矩阵进行尺度变换操作得到变换矩阵；
基于多层感知机对变换矩阵中各元素做embedding操作得到二次嵌入矩阵；
通过maxpooling获取二次嵌入矩阵中各维度中最大值元素；
根据各维度中最大值元素得到点云的特征向量。
4.根据权利要求1所述的一种激光点云迭代配准方法，其特征在于，所述互特征学习包括：
将源点云和目标点云的特征向量分别记为
将
分别作为encoder、decoder的输入，得到以目标点云为条件将源点云配准至目标点云的特征
将
分别作为encoder、decoder的输入，得到以源点云为条件将目标点云配准至目标点云的特征
对特征
进行残差连接得到源点云和目标点云的学习特征向量Φx,Φy：
5.一种激光点云迭代配准装置，其特征在于，所述装置包括：
特征提取模块，用于将预设数量的源点云和目标点云分别输入PointNet分类网络进行特征提取得到特征向量；
特征学习模块，用于将源点云和目标点云的特征向量输入Transformer模块进行相互特征学习得到学习特征向量；
配准向量模块，用于将源点云和目标点云的学习特征向量进行拼接操作得到拼接向量，将拼接向量输入全连接层得到配准的旋转平移向量；
坐标配准模块，用于通过旋转平移向量对源点云三维坐标进行刚性变换得到配准三维坐标；
循环迭代模块，用于将配准三维坐标作为源点云三维坐标，重复上述步骤直至到达预设最大迭代次数，得到最终的配准三维坐标且配准结束；
其中，所述预设数量的源点云和目标点云的获取包括：
体素材料模块，用于获取源点云集和目标点云集，并分别进行体素下采样得到预设数量的源点云和目标点云。
6.一种激光点云迭代配准装置，其特征在于，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据权利要求1-4任一项所述方法的步骤。
7.计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-4任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211517031.5A CN115760939A (zh) | 2022-11-30 | 2022-11-30 | 一种激光点云迭代配准方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211517031.5A CN115760939A (zh) | 2022-11-30 | 2022-11-30 | 一种激光点云迭代配准方法、装置及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115760939A true CN115760939A (zh) | 2023-03-07 |
Family
ID=85341284
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211517031.5A Pending CN115760939A (zh) | 2022-11-30 | 2022-11-30 | 一种激光点云迭代配准方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115760939A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117274331A (zh) * | 2023-09-19 | 2023-12-22 | 北京斯年智驾科技有限公司 | 一种定位配准优化方法、系统、装置和存储介质 |
-
2022
- 2022-11-30 CN CN202211517031.5A patent/CN115760939A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117274331A (zh) * | 2023-09-19 | 2023-12-22 | 北京斯年智驾科技有限公司 | 一种定位配准优化方法、系统、装置和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Deng et al. | Vector neurons: A general framework for so (3)-equivariant networks | |
| CN108804094B (zh) | 学习自动编码器 | |
| CN107067473B (zh) | 用于对3d建模对象进行重构的方法、装置及系统 | |
| Ezuz et al. | GWCNN: A metric alignment layer for deep shape analysis | |
| JP7491685B2 (ja) | ニューラルネットワークのセット | |
| Chen et al. | Visibility-aware point-based multi-view stereo network | |
| WO2022100379A1 (zh) | 基于图像和三维模型的物体姿态估计方法、系统及介质 | |
| CN113298934B (zh) | 一种基于双向匹配的单目视觉图像三维重建方法及系统 | |
| CN110598601A (zh) | 一种基于分布式热力图的人脸3d关键点检测方法及系统 | |
| CN113379646A (zh) | 一种利用生成对抗网络进行稠密点云补全的算法 | |
| GB2581536A (en) | Joint shape and texture decoders for three-dimensional rendering | |
| CN115760939A (zh) | 一种激光点云迭代配准方法、装置及存储介质 | |
| Guan et al. | Point cloud registration based on improved ICP algorithm | |
| CN114022542A (zh) | 一种基于三维重建的3d数据库制作方法 | |
| Tochilkin et al. | Triposr: Fast 3d object reconstruction from a single image | |
| Friedrich et al. | On the potential and challenges of neural style transfer for three-dimensional shape data | |
| Chang et al. | Candidate-based matching of 3-D point clouds with axially switching pose estimation | |
| Yuniarti et al. | A 3D template-based point generation network for 3D reconstruction from single images | |
| Golla et al. | Temporal upsampling of point cloud sequences by optimal transport for plant growth visualization | |
| Wang et al. | Ovpt: Optimal viewset pooling transformer for 3d object recognition | |
| EP4075328A1 (en) | Method and device for classifying and searching for a 3d model on basis of deep attention | |
| CN113888697A (zh) | 一种双手交互状态下的三维重建方法 | |
| Houchens et al. | Neuralodf: Learning omnidirectional distance fields for 3d shape representation | |
| Ping et al. | Visual enhanced 3D point cloud reconstruction from a single image | |
| CN115661218A (zh) | 一种基于虚拟超点的激光点云配准方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |