CN117876447B - 一种基于微表面融合与对齐的三维点云配准方法 - Google Patents
一种基于微表面融合与对齐的三维点云配准方法 Download PDFInfo
- Publication number
- CN117876447B CN117876447B CN202410285198.6A CN202410285198A CN117876447B CN 117876447 B CN117876447 B CN 117876447B CN 202410285198 A CN202410285198 A CN 202410285198A CN 117876447 B CN117876447 B CN 117876447B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- micro
- matrix
- target point
- representing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000004927 fusion Effects 0.000 title claims abstract description 19
- 239000011159 matrix material Substances 0.000 claims abstract description 103
- 239000013598 vector Substances 0.000 claims abstract description 79
- 238000013519 translation Methods 0.000 claims abstract description 34
- 230000009466 transformation Effects 0.000 claims abstract description 14
- 238000013507 mapping Methods 0.000 claims abstract description 13
- 238000005070 sampling Methods 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 3
- 230000001419 dependent effect Effects 0.000 claims description 3
- 230000005484 gravity Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 230000000452 restraining effect Effects 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 abstract description 6
- 238000005457 optimization Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明属于计算机视觉技术领域，公开了一种基于微表面融合与对齐的三维点云配准方法，该方法包括：（1）将点云数据映射到一个单位球表面，通过交叉采样的方式获取无对应点对的目标点云和源点云，（2）获取初始变换矩阵和重叠掩码，结合自注意力机制和交叉注意力机制获取源点云和目标点云的高维特征与相似矩阵，（3）根据相似矩阵和重叠掩码，计算源点云和目标点云之间的伪对应点对，计算粗粒度的旋转矩阵和平移向量，（4）采用点到平面的ICP算法进一步对齐源和目标点云，根据细粒度配准结果，分析源点云和目标点云融合后重叠区域的微表面平面厚度，优化模型的网络权重参数。本发明提供点云配准质量与鲁棒性，提高配准的精度和稳定性。
Description
技术领域
本发明属于计算机视觉技术领域，具体的说是涉及一种基于微表面融合与对齐的三维点云配准方法。
背景技术
近些年，随着三维扫描设备的广泛应用，三维点云已逐步成为一种精确获取环境信息的数据格式，从不同视角获得的点云的精确配准也已成为智能建造和机器人等新兴领域的一项关键视觉任务，精确的点云配准结果可以为后续的下游任务如场景重建和模型生成提供可靠的基础。
大部分点云配准方法需要从源点云和目标点云中寻找大量对应点来计算变换矩阵，然而，激光雷达传感器或RGBD相机从现实世界收集的点云大部分情况都是不理想的，不同帧之间可能只存在很少甚至不存在真正可用的对应点对。特别是对于从不同视角采集的点云，在重叠的区域较小的情况下往往只有几个较为稀疏的数据点，在稀疏点云之间寻找对应关系较为困难。此外，被扫描的物体或场景离激光雷达设备越远，收集到的点云就越稀疏，源点云和目标点云的对应关系匹配难度大幅提升。
大多数主流的基于对应点对的配准方法并未考虑缺乏正确匹配点对的情况，因此，在稀疏和无对应点对的配准任务中，此类方法无法消除由错误点对引起的系统误差；另一方面，大多数针对无对应配准的方法都是基于全局特征来优化刚性变换矩阵，然而，此类方法处理遮挡和结构不完整的点云时配准效果较差。
发明内容
为了解决上述技术问题，本发明提供了一种基于微表面融合与对齐的三维点云配准方法，通过该方法可以提高三维点云配准的精确度。
为了达到上述目的，本发明是通过以下技术手段实现的：
本发明是一种基于微表面融合与对齐的三维点云配准方法，包括如下步骤：
步骤1、选取物体模型，将点云数据从笛卡尔坐标系映射到球坐标系上，通过极角和方位角将单位球面划分成互不相交的栅格单元，再根据交叉采样的方式获取无对应点的源点云和目标点云；
步骤2、使用基于PointNet的编码-解码器结构，计算初始旋转矩阵和初始平移向量/>并获取重叠掩码，通过自注意力模块和交叉注意力模块对步骤1获取的源点云与目标点云中每个点的输入特征进行特征提取与融合，进而计算特征矩阵；
步骤3、使用步骤2所获取的重叠掩码和特征矩阵计算相似矩阵搜索对应的伪点对，用前k个相似的伪点对计算粗粒度配准的目标函数，得到粗粒度配准阶段的旋转矩阵和粗粒度配准阶段的平移向量/>；
步骤4、使用步骤2所获取的重叠掩码和特征矩阵计算相似矩阵搜索对应的伪点对，用前k个相似的伪点进行细粒度点云配准，采用点到平面的ICP算法和最小二乘法优化点云对齐结果，计算细粒度配准的旋转矩阵和细粒度配准的平移向量/>；
步骤5、根据步骤4所获取的旋转矩阵和平移向量/>，使用微表面厚度估计网络分析源点云和目标点云融合后重叠区域的微表面平面厚度，根据微表面平面厚度估计结果以优化源点云与目标点云融合后的厚度损失；
步骤6、根据步骤1-5获取旋转矩阵、平移向量/>、微表面平面平均厚度，计算损失函数，优化模型权重。
本发明的进一步改进在于：步骤1根据交叉采样的方式获取无对应点的源点云和目标点云是通过构建取值范围(0，1)的随机矩阵获取，具体包括以下步骤：
步骤1.1、输入一个整点云，将其从笛卡尔坐标系映射到球坐标系上，通过设定极角和方位角φ分辨率，将映射所在的单位球体表面切分成/>个栅格单元；
步骤1.2、生成元素个数为C的(0,1)随机矩阵，其0,1的个数比为源点云与目标点云的点数比例，即一个栅格对应一个0/1数值，假设该栅格对应的随机矩阵值为1，则为源点云区域，若随机矩阵值为0则为目标点云区域。
本发明的进一步改进在于：所述步骤2中使用基于PointNet的编码-解码器结构，计算初始旋转矩阵和初始平移向量/>并获取重叠掩码具体包括如下步骤：
步骤2.1.1、通过由多个一维卷积层组成的PointNet编码器将步骤1获取的无对应点的源点云和目标点云映射到一个高维的特征空间，将其获取到的高维特征拼接获取全局特征向量；
步骤2.1.2、将步骤2.1.1获取的全局特征向量输入到一个多层感知机与由多个一维卷积层组成的PointNet解码器中，多层感知机生成初始旋转矩阵、平移向量/>，PointNet解码器生成重叠掩码；
本发明的进一步改进在于：所述步骤2中计算特征矩阵具体包括如下步骤：
步骤2.2.1、通过自注意力模块和交叉注意力模块对步骤1获取的源点云与目标点云中每个点的输入特征f记作/>，其中/>为点云坐标，/>为中心点与其相邻点/>通过坐标之差计算出的相对坐标，/>为点/>由周围点的超平面生成的法向量；
步骤2.2.2、使用自注意力模块处理输入特征：
其中，的下标x表示与目标点云y相区别的源点云，上标i表示迭代次数，表示可学习的线性投影权重矩阵，/>表示在源点云第i次迭代后的查询向量，分别表示键向量和值向量，/>表示特征矩阵/>的维度；
步骤2.2.3、采用交叉注意力模块获取源点云与目标点云之间的关系得到特征矩阵：
，
其中表示在整个源点云的查询向量，/>分别表示整个目标点云的键向量和值向量。
本发明的进一步改进在于：步骤3中粗粒度配准的目标函数为：
其中，和/>分别表示伪对应点集中源点云与目标点云的点，/>分别为源点云与目标点云的伪对应点集，/>、/>分别表示源点云与目标点云中的点坐标，分别表示变换和逆变换。
本发明的进一步改进在于：所述步骤4中点到平面的ICP算法和最小二乘法的目标函数为：
，
其中，和/>分别表示伪对应点集中源点云与目标点云的点，/>是目标点云的法向量；/>分别为源点云与目标点云的伪对应点集，/>表示目标点/>对应的法向量。
本发明的进一步改进在于：所述步骤5具体包括如下步骤：
步骤5.1、对点云数据进行处理获取源点云与目标点云的交叉特征，其中，/>是预测点云与目标点云之间坐标的差异，即相对位置，/>是目标点云的法向量，/>为源点云中心点到目标点云中对应点的绝对距离，/>为中心点在对应目标点法线方向上的分量，/>为分量在法向量上的长度，/>为长度/>与绝对距离/>的乘积；
步骤5.2、将步骤5.1获取的交叉特征输入微表面厚度估计网络中，使估计微表面平面厚度与由真实源点云与目标点云融合得到的表面的厚度一致，其中，所述微表面厚度估计网络包括多个一维卷积层、批量归一化层、ReLU激活函数和最大池化层，微表面厚度估计网络对局部交叉特征进行编码和求和，得到估计微表面平面厚度/>。
本发明的进一步改进在于：真实微表面平面厚度计算公式为：
，
其中，表示目标点/>的微表面，/>表示源点云和目标点云中的相邻点/>，/>是一个给定的阈值，用于限制相邻搜索半径，/>是/>的法向量，权值与距离相关，以调整/>的比重，/>、/>分别表示源点云与目标点云中的点坐标。
本发明的进一步改进在于：步骤6损失函数由三部分组成，分别为，损失函数具体包括如下步骤：
步骤6.1、计算损失函数，/>表示为真实旋转矩阵/>与预测旋转矩阵/>以及真实平移向量/>与预测平移向量/>之间的损失，公式如下：
，
其中，表示一个3×3的单位矩阵，/>表示弗罗贝尼乌斯范数，即矩阵的Frobenius范数，/>表示向量之间的欧式距离；
步骤6.2、计算损失函数，/>表示为在欧几里德空间中，经过真实变换矩阵与预测变换矩阵的点的距离损失，公式如下：
,
其中，表示源点云坐标；
步骤6.3、计算损失函数，/>表示真实微表面平面厚度与微表面平面估计厚度/>之间的均方根误差，用于约束点云配准性能，公式如下：
，
其中，表示目标点/>的微表面，/>表示均方根误差计算。
步骤6.4、计算总损失函数，公式如下：
，
其中，为超参数。
本发明的有益效果是：
本发明提出将点云配准任务从对应点的距离最小化问题转化为重叠面厚度最小化问题，利用厚度优化方法捕捉点云之间的重叠区域特征，提高点云配准质量与鲁棒性。
本发明针对无对应点问题，提出了伪对应点对与伪对应关系。通过自注意力机制和交叉注意力机制获取特征矩阵，并与重叠掩码结合计算相似矩阵用于获取对应的伪点对与伪对应关系。
本发明设计了一个轻量级的厚度估计网络用于融合表面与厚度估计。此网络可以融合表面信息进行厚度估计，有助于消除源点云与目标点云所表达的表面不一致性，从而提高配准的精度和稳定性。
附图说明
图1是本发明三维点云配准方法的流程图。
图2 是本发明微表面厚度估计网络的示意图。
图3 是本发明微表面融合与对齐即MicroSAF模型示意图。
具体实施方式
以下将以图式揭露本发明的实施方式，为明确说明起见，许多实务上的细节将在以下叙述中一并说明。然而，应了解到，这些实务上的细节不应用以限制本发明。也就是说，在本发明的部分实施方式中，这些实务上的细节是非必要的。此外，为简化图式起见，一些习知惯用的结构与组件在图式中将以简单的示意的方式绘示之。
如图1所示，本发明是一种基于微表面融合与对齐的三维点云配准方法，该三维点云配准方法具体包括如下步骤：
步骤1、选取物体模型，将点云数据从笛卡尔坐标系映射到球坐标系上，通过极角和方位角将单位球面划分成互不相交的栅格单元，再根据交叉采样的方式获取无对应点的源点云和目标点云。
其中，根据交叉采样的方式获取无对应点的源点云和目标点云是通过构建取值范围(0，1)的随机矩阵获取，具体包括以下步骤：
步骤1.1、输入一个整点云，将其从笛卡尔坐标系映射到球坐标系上，通过设定极角和方位角φ分辨率，将映射所在的单位球体表面切分成/>个栅格单元；
步骤1.2、生成元素个数为C的(0,1)随机矩阵，其0,1的个数比为源点云与目标点云的点数比例，即一个栅格对应一个0/1数值，假设该栅格对应的随机矩阵值为1，则为源点云区域，若随机矩阵值为0则为目标点云区域。
步骤2、使用基于PointNet的编码-解码器结构，计算初始旋转矩阵和初始平移向量/>并获取重叠掩码，通过自注意力模块和交叉注意力模块对步骤1获取的源点云与目标点云中每个点的输入特征进行特征提取与融合，进而计算特征矩阵；
具体包括如下步骤：
步骤2.1.通过由多个一维卷积层组成的PointNet编码器将步骤1获取的无对应点的源点云和目标点云映射到一个高维的特征空间，将其获取到的高维特征拼接获取全局特征向量；
步骤2.2将步骤2.1获取的全局特征向量输入到一个多层感知机与由多个一维卷积层组成的PointNet解码器中，多层感知机生成初始旋转矩阵、初始平移向量/>，PointNet解码器生成重叠掩码；
步骤2.3、通过自注意力模块和交叉注意力模块对步骤1获取的源点云与目标点云中每个点的输入特征f记作/>，其中/>为点云坐标，/>为中心点/>与其相邻点/>通过坐标之差计算出的相对坐标，/>为点/>由周围点的超平面生成的法向量；
步骤2.4、使用自注意力模块处理输入特征：
其中，的下标x表示与目标点云y相区别的源点云，上标i表示迭代次数，表示可学习的线性投影权重矩阵，/>表示在源点云第i次迭代后的查询向量，分别表示键向量和值向量，/>表示特征矩阵/>的维度；
步骤2.5、采用交叉注意力模块获取源点云与目标点云之间的关系得到特征矩阵：
，
其中表示在整个源点云的查询向量，/>分别表示整个目标点云的键向量和值向量。
步骤3、使用步骤2所获取的重叠掩码和特征矩阵计算相似矩阵搜索对应的伪点对，用前k个相似的伪点对计算粗粒度配准的目标函数，得到粗粒度配准阶段的旋转矩阵和粗粒度配准阶段的平移向量/>。
具体操作如下：
步骤3.1、根据重叠掩码与特征矩阵计算相似矩阵，选择与每个源点最匹配的k个目标点，从而生成伪点对与伪对应关系，用于计算粗粒度配准。
步骤3.2、设计粗粒度配准的旋转矩阵与平移向量/>的目标函数为：
，
其中，和/>分别表示伪对应点集中源点云与目标点云的点，/>分别为源点云与目标点云的伪对应点集，/>、/>分别表示源点云与目标点云中的点坐标，分别表示变换和逆变换。
步骤4、使用步骤2所获取的重叠掩码和特征矩阵计算相似矩阵搜索对应的伪点对，用前k个相似的伪点进行细粒度点云配准，采用点到平面的ICP算法和最小二乘法优化点云对齐结果，计算细粒度配准的旋转矩阵和细粒度配准的平移向量/>；
具体操作如下：
步骤4.1、根据重叠掩码与特征矩阵计算相似矩阵，选择与每个源点最匹配的k个目标点，从而生成伪点对与伪对应关系；
步骤4.2、点到平面的ICP算法和最小二乘法的目标函数为：
其中，/>和/>分别表示伪对应点集中源点云与目标点云的点，/>是目标点云的法向量；/>分别为源点云与目标点云的伪对应点集，/>表示目标点/>对应的法向量。
步骤4.3、将算法利用最小乘法求解, 对源点云与目标点云进行去中心化操作，其中源点云信息为(sx,sy,sz)，即欧式空间中三个正交坐标轴上的点坐标；目标点云信息为(dx,dy,dz,nx,ny,nz)，即点坐标与法向量。使用如下公式计算法向量的贡献值：
，
步骤4.4、构建方程矩阵：
构建右侧项：
目标函数进一步修改为：
上述目标函数采用奇异值分解算法（SVD）进行求解，求解出源于目标点云之间的变换T为：
其中，T定义为，(r1 r2 r3)即为三个方向的旋转分量，根据旋转分量构造旋转矩阵/>，将源点云的质心根据旋转矩阵/>进行变换，变换后的质心减去目标点云质心即为平移向量/>。
步骤5、根据步骤4所获取的旋转矩阵和平移向量/>，使用微表面厚度估计网络分析源点云和目标点云融合后重叠区域的微表面平面厚度，根据微表面平面厚度估计结果以优化源点云与目标点云融合后的厚度损失；
所述步骤5具体包括如下步骤：
步骤5.1、对点云数据进行处理获取源点云与目标点云的交叉特征，其中，/>是预测点云与目标点云之间坐标的差异，即相对位置，/>是目标点云的法向量，/>为源点云中心点到目标点云中对应点的绝对距离，/>为中心点在对应目标点法线方向上的分量，/>为分量在法向量上的长度，/>为长度/>与绝对距离/>的乘积；
步骤5.2、将步骤5.1获取的交叉特征输入微表面厚度估计网络中，使估计微表面平面厚度与由真实源点云与目标点云融合得到的表面的厚度一致，如图2所示，所述微表面厚度估计网络包括多个一维卷积层、批量归一化层、ReLU激活函数和最大池化层，微表面厚度估计网络对局部交叉特征进行编码和求和，得到估计微表面平面厚度/>。
步骤6、根据步骤1-5获取旋转矩阵、平移向量/>、微表面平面平均厚度，计算损失函数，优化模型权重。
步骤6的具体操作如下：
预测的旋转矩阵和平移向量{R, t}包含从初始过程、粗粒度配准和细粒度配准阶段产生的预测结果和/>。
损失函数具体包括如下步骤：
步骤6.1、计算损失函数，/>表示为真实旋转矩阵/>与预测旋转矩阵/>以及真实平移向量/>与预测平移向量/>之间的损失，公式如下：
其中，/>表示一个3×3的单位矩阵，表示弗罗贝尼乌斯范数，即矩阵的Frobenius范数，/>表示向量之间的欧式距离；
步骤6.2、计算损失函数，/>表示为在欧几里德空间中，经过真实变换矩阵与预测变换矩阵的点的距离损失，公式如下：
，
其中，表示源点云坐标；
步骤6.3、计算损失函数，/>表示真实微表面平面厚度与微表面平面估计厚度/>之间的均方根误差，用于约束点云配准性能，公式如下：
，
其中表示目标点/>的微表面，/>用于表示源点云和目标点云中的相邻点/>, r是一个给定的阈值，用于限制相邻搜索半径，/>是/>的法向量，权值与距离相关，以调整/>的比重，/>表示均方根误差计算。
当点云中的对应点在三维空间中更为接近时，计算表面厚度的结果通常较小，故较薄的表面厚度表明点云配准性能良好。
步骤6.4、计算总损失函数，公式如下：
，
其中，为超参数。
如图3所示，描述了本发明的模型框架。该框架包括交叉采样、上下文特征提取、粗粒度配准和细粒度配准、厚度优化四个模块。
交叉采样模块用于生成无对应点的源点云与目标点云。
上下文特征提取模块通过使用基于PointNet的编码-解码器结构，预测初始旋转矩阵和初始平移向量/>，然后使用自注意力机制与交叉注意力机制将经过初始变换的源点云与目标点云进行特征融合进而获取上下文特征。
粗粒度配准和细粒度配准模块分为粗粒度配准阶段和细粒度配准阶段，在粗粒度配准阶段，首先通过重叠掩码判断点是否位于重叠部分；然后，计算特征矩阵的相似矩阵，以搜索对应的伪点对和/>，由于源点云和目标点云中没有真实的对应关系，将重叠部分中的相似点对定义为伪对应点对/>和/>，用于计算粗粒度配准结果。在细粒度配准阶段，首先计算源点云中每个点的微表面平面厚度，然后使用点到平面的ICP算法和最小二乘法计算细粒度的旋转矩阵/>和平移向量/>。
厚度优化模块通过分析点云微表面平面厚度来优化点云的配准性能。首先，根据细粒度配准阶段得到的旋转变换和平移变换/>，将源点云和目标点云融合到同一个微平面上；然后，使用厚度估计网络来预测源点云的表面厚度；最终，通过比较预测的厚度和真实的厚度，来评估点云的配准性能。
为了验证本发明的效果，选择多个经典的点云配准模型与本发明微表面融合与对齐即MicroSAF模型进行对比实验，包括ICP、PointNetLK、RPMNet、 ROPNet。使用旋转误差Error(R)、平移误差Error(t)、平均绝对误差MAE(R)、MAE(t)、平均距离(CD)、切比雪夫距离(AD)作为评判指标。
实验结果如表一、表二所示。其中表一为ModelNet40数据集的实验结果，包含了在不同源点云数据与目标点云数据的点个数比值下所有数据集(Total Object)与对称数据集(Asymmetric Objects)的实验结果，表二为3DMatch数据集的实验结果。
表一
表二
本发明利用厚度优化方法捕捉点云之间的重叠区域特征，提高点云配准质量与鲁棒性，设计的轻量级的厚度估计网络可以融合表面信息进行厚度估计，有助于消除源点云与目标点云所表达的表面不一致性，从而提高配准的精度和稳定性。
以上所述仅为本发明的实施方式而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理的内所作的任何修改、等同替换、改进等，均应包括在本发明的权利要求范围之内。
Claims (9)
1.一种基于微表面融合与对齐的三维点云配准方法，其特征在于：所述三维点云配准方法具体包括如下步骤：
步骤1、选取物体模型，将点云数据从笛卡尔坐标系映射到球坐标系上，通过极角和方位角将单位球面划分成互不相交的栅格单元，再根据交叉采样的方式获取无对应点的源点云和目标点云；
步骤2、使用基于PointNet的编码-解码器结构，计算初始旋转矩阵和初始平移向量并获取重叠掩码，通过自注意力模块和交叉注意力模块对步骤1获取的源点云与目标点云中每个点的输入特征进行特征提取与融合，进而计算特征矩阵；
步骤3、使用步骤2所获取的重叠掩码和特征矩阵计算相似矩阵搜索对应的伪点对，用前k个相似的伪点对计算粗粒度配准的目标函数，得到粗粒度配准阶段的旋转矩阵和粗粒度配准阶段的平移向量/>；
步骤4、使用步骤2所获取的重叠掩码和特征矩阵计算相似矩阵搜索对应的伪点对，用前k个相似的伪点进行细粒度点云配准，采用点到平面的ICP算法和最小二乘法优化点云对齐结果，计算细粒度配准的旋转矩阵和细粒度配准的平移向量/>；
步骤5、根据步骤4所获取的旋转矩阵和平移向量/>，使用微表面厚度估计网络分析源点云和目标点云融合后重叠区域的微表面平面厚度，根据微表面平面厚度估计结果以优化源点云与目标点云融合后的厚度损失；
步骤6、根据步骤1-5获取旋转矩阵、平移向量/>、微表面平面平均厚度，计算损失函数，优化模型权重。
2.根据权利要求1所述的一种基于微表面融合与对齐的三维点云配准方法，其特征在于： 步骤1根据交叉采样的方式获取无对应点的源点云和目标点云是通过构建取值范围(0，1)的随机矩阵获取，具体包括以下步骤：
步骤1.1、输入一个整点云，将其从笛卡尔坐标系映射到球坐标系上，通过设定极角和方位角φ分辨率，将映射所在的单位球体表面切分成/>个栅格单元；
步骤1.2、生成元素个数为C的(0,1)随机矩阵，其0,1的个数比为源点云与目标点云的点数比例，即一个栅格对应一个0/1数值，假设该栅格对应的随机矩阵值为1，则为源点云区域，若随机矩阵值为0则为目标点云区域。
3.根据权利要求1所述的一种基于微表面融合与对齐的三维点云配准方法，其特征在于：所述步骤2中使用基于PointNet的编码-解码器结构，计算初始旋转矩阵和初始平移向量/>并获取重叠掩码具体包括如下步骤：
步骤2.1.1、通过由多个一维卷积层组成的PointNet编码器将步骤1获取的无对应点的源点云和目标点云映射到一个高维的特征空间，将其获取到的高维特征拼接获取全局特征向量；
步骤2.1.2、将步骤2.1.1获取的全局特征向量输入到一个多层感知机与由多个一维卷积层组成的PointNet解码器中，多层感知机生成初始旋转矩阵、初始平移向量/>，PointNet解码器生成重叠掩码。
4.根据权利要求1或3所述的一种基于微表面融合与对齐的三维点云配准方法，其特征在于：所述步骤2中计算特征矩阵具体包括如下步骤：
步骤2.2.1、通过自注意力模块和交叉注意力模块对步骤1获取的源点云与目标点云中每个点的输入特征f记作/>，其中/>为点云坐标，/>为中心点/>与其相邻点/>通过坐标之差计算出的相对坐标，/>为点/>由周围点的超平面生成的法向量；
步骤2.2.2、使用自注意力模块处理输入特征：，/>，
其中，的下标x表示与目标点云y相区别的源点云，上标i表示迭代次数，/>表示可学习的线性投影权重矩阵，/>表示在源点云第i次迭代后的查询向量，/>分别表示键向量和值向量，/>表示特征矩阵/>的维度；
步骤2.2.3、采用交叉注意力模块获取源点云与目标点云之间的关系得到特征矩阵：
，
其中，表示在整个源点云的查询向量，/>分别表示整个目标点云的键向量和值向量。
5.根据权利要求1所述的一种基于微表面融合与对齐的三维点云配准方法，其特征在于：步骤3中粗粒度配准的目标函数为：
，
其中，和/>分别表示伪对应点集中源点云与目标点云的点，/>分别为源点云与目标点云的伪对应点集，/>、/>分别表示源点云与目标点云中的点坐标，/>分别表示变换和逆变换。
6.根据权利要求1所述的一种基于微表面融合与对齐的三维点云配准方法，其特征在于：所述步骤4中点到平面的ICP算法和最小二乘法的目标函数为：
其中，/>和/>分别表示伪对应点集中源点云与目标点云的点，/>是目标点云的法向量；/>分别为源点云与目标点云的伪对应点集，/>表示目标点/>对应的法向量。
7.根据权利要求1所述的一种基于微表面融合与对齐的三维点云配准方法，其特征在于：所述步骤5具体包括如下步骤：
步骤5.1、对点云数据进行处理获取源点云与目标点云的交叉特征，其中，/>是预测点云与目标点云之间坐标的差异，即相对位置，/>是目标点云的法向量，/>为源点云中心点到目标点云中对应点的绝对距离，/>为中心点在对应目标点法线方向上的分量，/>为分量在法向量上的长度，/>为长度/>与绝对距离/>的乘积；
步骤5.2、将步骤5.1获取的交叉特征输入微表面厚度估计网络中，使估计微表面平面厚度与由真实源点云与目标点云融合得到的表面的厚度一致，其中，所述微表面厚度估计网络包括多个一维卷积层、批量归一化层、ReLU激活函数和最大池化层，微表面厚度估计网络对局部交叉特征进行编码和求和，得到估计微表面平面厚度/>。
8.根据权利要求1所述的一种基于微表面融合与对齐的三维点云配准方法，其特征在于：步骤6损失函数由三部分组成，分别为，损失函数具体包括如下步骤：
步骤6.1、计算损失函数，/>表示为真实旋转矩阵/>与预测旋转矩阵/>以及真实平移向量/>与预测平移向量/>之间的损失，公式如下：
，
其中，表示一个3×3的单位矩阵，/>表示弗罗贝尼乌斯范数，即矩阵的Frobenius范数，/>表示向量之间的欧式距离；
步骤6.2、计算损失函数，/>表示为在欧几里德空间中，经过真实变换矩阵与预测变换矩阵的点的距离损失，公式如下：
，
其中，表示源点云坐标；
步骤6.3、计算损失函数，/>表示真实微表面平面厚度/>与微表面平面估计厚度/>之间的均方根误差，用于约束点云配准性能，公式如下：
，
其中，表示目标点/>的微表面，/>表示均方根误差计算，
步骤6.4、计算总损失函数，公式如下：
，
其中，为超参数。
9.根据权利要求8所述的一种基于微表面融合与对齐的三维点云配准方法，其特征在于：真实微表面平面厚度计算公式为：
，
其中，表示目标点/>的微表面，/>表示源点云和目标点云中的相邻点，/>是一个给定的阈值，用于限制相邻搜索半径，/>是/>的法向量，权值与距离相关，以调整/>的比重，/>、/>分别表示源点云与目标点云中的点坐标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410285198.6A CN117876447B (zh) | 2024-03-13 | 2024-03-13 | 一种基于微表面融合与对齐的三维点云配准方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410285198.6A CN117876447B (zh) | 2024-03-13 | 2024-03-13 | 一种基于微表面融合与对齐的三维点云配准方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117876447A CN117876447A (zh) | 2024-04-12 |
| CN117876447B true CN117876447B (zh) | 2024-05-07 |
Family
ID=90592134
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410285198.6A Active CN117876447B (zh) | 2024-03-13 | 2024-03-13 | 一种基于微表面融合与对齐的三维点云配准方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117876447B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118097038B (zh) * | 2024-04-29 | 2024-06-21 | 陕西龙跃锐星科技有限公司 | 一种基于转台的3d扫描方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115908517A (zh) * | 2023-01-06 | 2023-04-04 | 广东工业大学 | 一种基于对应点匹配矩阵优化的低重叠点云配准方法 |
| CN116128944A (zh) * | 2023-02-23 | 2023-05-16 | 西北大学 | 一种基于特征交互和可靠对应关系估计的三维点云配准方法 |
| CN116912296A (zh) * | 2023-07-25 | 2023-10-20 | 广东工业大学 | 一种基于位置增强注意力机制的点云配准方法 |
-
2024
- 2024-03-13 CN CN202410285198.6A patent/CN117876447B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115908517A (zh) * | 2023-01-06 | 2023-04-04 | 广东工业大学 | 一种基于对应点匹配矩阵优化的低重叠点云配准方法 |
| CN116128944A (zh) * | 2023-02-23 | 2023-05-16 | 西北大学 | 一种基于特征交互和可靠对应关系估计的三维点云配准方法 |
| CN116912296A (zh) * | 2023-07-25 | 2023-10-20 | 广东工业大学 | 一种基于位置增强注意力机制的点云配准方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117876447A (zh) | 2024-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112837356B (zh) | 一种基于wgan的无监督多视角三维点云联合配准方法 | |
| Yue et al. | Hierarchical probabilistic fusion framework for matching and merging of 3-d occupancy maps | |
| CN117876447B (zh) | 一种基于微表面融合与对齐的三维点云配准方法 | |
| Li et al. | A tutorial review on point cloud registrations: principle, classification, comparison, and technology challenges | |
| Wang et al. | Storm: Structure-based overlap matching for partial point cloud registration | |
| CN112750198B (zh) | 一种基于非刚性点云的稠密对应预测方法 | |
| CN113327275A (zh) | 一种基于多约束点到局部曲面投影的点云双视角精配准方法 | |
| CN113706381A (zh) | 一种三维点云数据的拼接方法及装置 | |
| Pan et al. | Robust partial-to-partial point cloud registration in a full range | |
| CN112070832A (zh) | 基于点云dca特征的非合作目标位姿跟踪方法及装置 | |
| CN112444246A (zh) | 高精度的数字孪生场景中的激光融合定位方法 | |
| Wu et al. | Multiview point cloud registration based on minimum potential energy for free-form blade measurement | |
| Amorim et al. | Multi-robot sensor fusion target tracking with observation constraints | |
| He et al. | Pose tracking of spacecraft based on point cloud DCA features | |
| Lu et al. | Efficient deep-learning 4d automotive radar odometry method | |
| CN109978957B (zh) | 基于量子行为粒子群的双目系统标定方法 | |
| Wang et al. | LiDAR-SLAM loop closure detection based on multi-scale point cloud feature transformer | |
| Shi et al. | City-scale continual neural semantic mapping with three-layer sampling and panoptic representation | |
| CN113436235B (zh) | 一种激光雷达与视觉点云的初始化自动配准方法 | |
| An et al. | Survey of extrinsic calibration on lidar-camera system for intelligent vehicle: Challenges, approaches, and trends | |
| CN113256693A (zh) | 基于K-means与正态分布变换的多视角配准方法 | |
| Sun et al. | A robust point set registration approach with multiple effective constraints | |
| Feng et al. | Research on Target Tracking Algorithm of Micro‐UAV Based on Monocular Vision | |
| Li et al. | Industrial Robot Hand–Eye Calibration Combining Data Augmentation and Actor-Critic Network | |
| LYU et al. | A Laser Scanner Point Cloud Registration Method Using Difference of Normals (DoN) Based Segmentation. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |