CN115661218A - 一种基于虚拟超点的激光点云配准方法和系统 - Google Patents
一种基于虚拟超点的激光点云配准方法和系统 Download PDFInfo
- Publication number
- CN115661218A CN115661218A CN202211360543.5A CN202211360543A CN115661218A CN 115661218 A CN115661218 A CN 115661218A CN 202211360543 A CN202211360543 A CN 202211360543A CN 115661218 A CN115661218 A CN 115661218A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- super
- point
- source
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000007781 pre-processing Methods 0.000 claims abstract description 16
- 239000011159 matrix material Substances 0.000 claims description 65
- 238000004364 calculation method Methods 0.000 claims description 32
- 238000004422 calculation algorithm Methods 0.000 claims description 27
- 238000000605 extraction Methods 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 14
- 238000013519 translation Methods 0.000 claims description 14
- 238000009616 inductively coupled plasma Methods 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000012805 post-processing Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开一种基于虚拟超点的激光点云配准方法和系统，其中，激光点云配准方法包括：对激光雷达获取的点云数据进行预处理，分别得到源点云和目标点云；将源点云和目标点云投影至球形坐标系，使用稀疏卷积提取点云的特征，得到源点云和目标点云分别对应的超点和超点特征；根据源点云和目标点云的超点特征的欧氏距离，计算得到特征对应概率；查找源点云中每个超点在目标点云中特征对应概率最大的预定数量的超点，使用预定数量的超点生成目标点云中虚拟超点及超点特征；根据源点云的超点分别与目标点云中虚拟超点及超点特征的对应关系生成点云配准结果。本发明的技术方案能解决现有技术配准的两组点云重叠率较低、鲁棒性不强且配准效率低的问题。
Description
技术领域
本发明涉及激光点云测量技术领域，尤其涉及一种基于虚拟超点的激光点云配准方法和系统。
背景技术
两组未对齐部分点云的准确欧式变换(即点云配准)，是许多点云任务的先决条件，例如激光雷达测绘、3D重建、姿态估计、AR/VR和自动驾驶等点云任务，因此找到准确的点云配准方法具有重要意义。激光点云具有数据量大、无序且特征难以提取等特点，传统的点云配准方法在处理大规模点云数据时通常精度较低且速度较慢。
近年来，随着深度学习技术的发展，大规模点云配准任务的效率得到很大提升，所以基于深度学习的激光点云配准方法具有较大的潜力。目前的点云配准算法以基于深度学习和基于对应点的方法为主。其中，基于深度学习的激光点云配准方法，通常依靠训练神经网络，提取两个输入点云之间的点对应关系，并在此基础上使用稳健的估计算法(例如RANSAC算法)计算对齐变换。上述基于点对应关系的配置方法，通常依赖于关键点的检测，以此来获得对应点。
然而，检测两个点云重叠区域的关键点是具有挑战性的，尤其是当它们具有较小的重叠区域时；另外，点云配准算法不具有足够的鲁棒性，因为源点云和目标点云所提取的超点是稀疏的，随机的，并不一定具有对应关系，强行匹配会产生较多的错误匹配。最后，现有的RANSAC算法，在进行后处理时输入的点数较多，计算速度较慢，尤其是处理大规模点云数据时，效率会明显降低。
发明内容
本发明提供一种基于虚拟超点的激光点云配准方案，旨在解决现有技术提供的技术方案，存在两组点云重叠率较低、鲁棒性不强且效率较低的问题。
为实现上述目的，根据本发明的第一方面，本发明提出了一种基于虚拟超点的激光点云配准方法，包括：
对激光雷达获取的点云数据进行预处理，分别得到待配准的源点云和目标点云；
将源点云和目标点云投影至球形坐标系，使用稀疏卷积提取投影后的源点云和目标点云的特征，得到源点云和目标点云分别对应的超点和超点特征；
根据源点云和目标点云的超点特征之间的欧氏距离，计算得到特征对应概率；
查找源点云中每个超点在目标点云中特征对应概率最大的预定数量的超点，使用预定数量的超点生成目标点云中虚拟超点及超点特征；
根据源点云的超点分别与目标点云中虚拟超点及超点特征的对应关系，生成点云配准结果。
优选的，上述点云配准方法中，对激光雷达获取的点云数据进行预处理，分别得到待配准的源点云和目标点云的步骤包括：
使用激光雷达扫描被监测场景，得到被监测场景对应的点云数据；
对点云数据进行体素滤波，得到源点云和目标点云。
优选的，上述激光点云配准方法中，将源点云和目标点云投影至球形坐标系，使用稀疏卷积提取投影后的源点云和目标点云的特征的步骤包括：
将源点云和目标点云投影至球形坐标系，使用球形坐标系分别得到源点云和目标点云的球形坐标；
将投影至球形坐标系的源点云和目标点云输入至稀疏卷积模块进行特征提取；
根据源点云和目标点云的球形坐标，分别计算得到源点云和目标点云对应的超点和超点特征。
优选的，上述激光点云配准方法中，根据源点云和目标点云的超点特征之间的欧氏距离，计算得到特征对应概率的步骤包括：
根据源点云和目标点云分别对应的超点特征之间的距离，计算得到两组超点的距离矩阵；
使用Softmax函数对距离矩阵进行归一化处理，得到距离矩阵对应的概率矩阵。
优选的，上述激光点云配准方法中，查找源点云中每个超点在目标点云中特征对应概率最大的预定数量的超点，使用预定数量的超点生成目标点云中虚拟超点及超点特征的步骤包括：
求解概率矩阵，计算得到源点云中每个超点在目标点云中的特征对应概率；
选取特征对应概率最大的预定数量的超点和超点特征；
根据预定数量的超点和超点特征，使用基于距离的加权融合策略分别计算得到虚拟超点及超点特征。
优选的，上述激光点云配准方法，根据源点云的超点分别与目标点云中虚拟超点及超点特征的对应关系，生成点云配准结果的步骤包括：
获取超点与虚拟超点的对应关系，以及超点的超点特征与虚拟超点的超点特征的对应关系；
根据超点与虚拟超点的对应关系，以及超点的超点特征与虚拟超点的超点特征的对应关系，使用RANSAC算法，计算得到点云数据的平移矩阵和旋转矩阵。
优选的，上述激光点云配准方法，在计算得到点云数据的平移矩阵和旋转矩阵的步骤之后还包括：
使用ICP算法对平移矩阵和旋转矩阵分别进行计算，得到点云配准结果。
根据本发明的第二方面，本发明提供了一种基于虚拟超点的激光点云配准系统，包括：
预处理模块，用于对激光雷达获取的点云数据进行预处理，分别得到待配准的源点云和目标点云；
点云投影模块，用于将源点云和目标点云投影至球形坐标系；
特征提取模块，用于使用稀疏卷积提取投影后的源点云和目标点云的特征，得到源点云和目标点云分别对应的超点和超点特征；
概率计算模块，用于根据源点云和目标点云的超点特征之间的欧氏距离，计算得到特征对应概率；
超点查找模块，用于查找源点云中每个超点在目标点云中特征对应概率最大的预定数量的超点，使用预定数量的超点生成目标点云中虚拟超点及超点特征；
配准生成模块，用于根据源点云的超点分别与目标点云中虚拟超点及超点特征的对应关系，生成点云配准结果。
优选的，上述激光点云配准系统中，点云投影模块包括：
球形坐标计算子模块，用于将源点云和目标点云投影至球形坐标系，使用球形坐标系分别得到源点云和目标点云的球形坐标；
特征提取子模块，用于将投影至球形坐标系的源点云和目标点云输入至稀疏卷积模块进行特征提取；
超点计算子模块，用于根据源点云和目标点云的球形坐标，分别计算得到源点云和目标点云对应的超点和超点特征。
优选的，上述激光点云配准系统中，概率计算模块包括：
矩阵计算子模块，用于根据源点云和目标点云分别对应的超点特征之间的距离，计算得到两组超点的距离矩阵；
归一化处理子模块，用于使用Softmax函数对距离矩阵进行归一化处理，得到距离矩阵对应的概率矩阵。
综上，本发明提供的基于虚拟超点的激光点云配准方案，通过对激光雷达获取的点云数据进行预处理，得到源点云和目标点云，开始源点云和目标点云的配准工作，使用稀疏卷积网络作为特征提取网络提取点云的特征，提取的效率较高，在使用稀疏卷积网络分别得到源点云和目标点云的超点和超点特征后，根据超点特征的欧氏距离计算特征对应概率，由于超点数量远少于原始点云的点数，因此使用超点特征进行特征匹配，能够增加计算速度，使得算法以较快速度处理点云数据，提高点云后处理效率。在计算得到特征对应概率后查找源点云中每个超点在目标点云中特征对应概率最大的预定数量的超点，超点数量远少于原始点云数据，因此计算量小。在使用预定数量的超点生成目标点云的虚拟超点和超点特征后，使用源点云中超点与目标点云中虚拟超点和超点特征的对应关系生成点云配准结果，因为使用虚拟超点的方式计算特征匹配，能够进一步增强鲁棒性，同时以应对具有较低重叠率的点云配准场景，另外将源点云和目标点云投影至球形坐标系，能够将基于描述符和全卷积的特征提取方式相结合，提高方法整体的泛化能力，提高卷积速度。综上，通过上述基于虚拟超点的激光点云配准方案，能够解决现有技术中配准的两组点云重叠率较低、鲁棒性不强且配准效率低的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1是本发明实施例提供的一种基于虚拟超点的激光点云配准方法的流程示意图；
图2是图1所示实施例提供的一种点云数据的预处理方法的流程示意图；
图3是图1所示实施例提供的一种系数卷积提取特征方法的流程示意图；
图4是图1所示实施例提供的一种特征对应概率计算方法的流程示意图；
图5是图1所示实施例提供的一种虚拟超点及超点特征的生成方法的流程示意图；
图6是图1所示实施例提供的一种点云配准结果的生成方法的流程示意图；
图7是本发明实施例提供的一种神经网络结构示意图；
图8是本发明实施例提供的一种基于虚拟超点的激光点云配准系统的结构示意图；
图9是图8所示实施例提供的一种点云投影模块的结构示意图；
图10是图8所示实施例提供的一种概率计算模块的结构示意图。
本发明目实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例的主要解决的技术问题是：
现有的激光点云配准方法大多基于深度学习算法，通常依靠训练神经网络，提取两个输入点云之间的点对应关系，并在此基础上使用稳健的估计算法计算对齐变换。上述基于点对应关系的配置方法，通常依赖于关键点的检测，以此来获得对应点。然而，检测两个点云重叠区域的关键点是具有挑战性的，尤其是当它们具有较小的重叠区域时；另外，点云配准算法不具有足够的鲁棒性，因为源点云和目标点云所提取的超点是稀疏的和随机的，并不一定具有对应关系，强行匹配会产生较多的错误匹配。最后，现有的RANSAC算法，在进行后处理时输入的点数较多，计算速度较慢，尤其是处理大规模点云数据时，效率会明显降低。
为了解决上述问题，本发明下述实施例提供了基于虚拟超点的激光点云配准方法，通过将源点云和目标点云投影至球形坐标系，然后使用稀疏卷积提取投影后的源点云和目标点云的特征，得到超点和超点特征，最后根据源点云的超点分别与目标点云中虚拟超点及超点特征的对应关系，生成点云配准结果，从而达到适应两组点云重叠率低，提高点云配准鲁棒性和配准效率的目的，提高了点云配准的精度，降低了计算成本。
为实现上述目的，具体参见图1，图1是本发明实施例提供的一种基于虚拟超点的激光点云配准方法的流程示意图。如图1所示，该基于虚拟超点的激光点云配准方法包括：
S110：对激光雷达获取的点云数据进行预处理，分别得到待配准的源点云和目标点云。该预处理过程包括设置点云数据的三维空间坐标，进行体素滤波，使得点云数据分别均匀等操作，从而得到待配置的源点云S和T，为后续点云配准做好数据准备。
具体地，作为一种优选的实施例，如图2所示，上述对激光雷达获取的点云数据进行预处理，分别得到待配准的源点云和目标点云的步骤包括：
S111：使用激光雷达扫描被监测场景，得到被监测场景对应的点云数据。
S112：对点云数据进行体素滤波，得到源点云和目标点云。
通过使用三维激光扫描仪(或激光雷达)扫描场景点云，得到待配置的点云数据，以三维空间坐标点(x,y,z)的形式保存点云数据中的每个反射点；
激光雷达扫描到的点云数据在靠近激光雷达的区域，其点云密度较大，距离较远处的点云比较稀疏，因此本申请实施例对点云数据进行体素滤波，从而在一定程度上使得点云数据分布均匀。同时避免点云过于密集，增加神经网络的计算效率。
在得到待配置的源点云和目标点云后，图1所示实施例提供的基于虚拟超点的激光点云配准方法还包括：
S120：将源点云和目标点云投影至球形坐标系，使用稀疏卷积提取投影后的源点云和目标点云的特征，得到源点云和目标点云分别对应的超点和超点特征。
对预处理后的源点云和目标点云使用基于稀疏卷积的球面坐标系进行特征提取，能够得到放大后的超点特征。因为球形坐标系使用极坐标表示，使得神经网络更关注于局部结构信息，所以球形坐标系特征提取是一种类似于具有特征描述符的表示，能够提高点云配准的鲁棒性。投影至球形坐标系，能够获得超点X和Y，及其特征Fx和Fy。
具体地，作为一种优选的实施例，如图3所示，上述将源点云和目标点云投影至球形坐标系，使用稀疏卷积提取投影后的源点云和目标点云的特征的步骤包括：
S121：将源点云和目标点云投影至球形坐标系，使用球形坐标系分别得到源点云和目标点云的球形坐标。
S122：将投影至球形坐标系的源点云和目标点云输入至稀疏卷积模块进行特征提取。
S123：根据源点云和目标点云的球形坐标，分别计算得到源点云的超点和超点特征，以及目标点云的超点和超点特征。
具体的，在将两组点云数据投影到球形坐标系中，将具有三维空间坐标(x,y,z)表示的三维点云，更新为对于激光雷达数据的球形坐标
具体如下公式：
将投影到球形坐标系中的点云S和T输入到稀疏卷积模块中进行特征提取操作，其也伴随着下采样的效果，能够得到数量远小于原始点云数量的超点及其对应的特征，源点云和目标点云对应的超点分别记为X和Y；同理，源点云和目标点云对应的超点特征记为FX和FY。上述超点和超点特征是通过神经网络根据上述激光雷达数据的球形坐标
计算得到的。
在得到源点云和目标点云分别对应的超点和超点特征后，图1所示实施例提供的技术方案还包括：
S130：根据源点云和目标点云的超点特征之间的欧氏距离，计算得到特征对应概率。通过上述欧氏距离计算得到特征对应概率，使用该特征对应概率能够通过超点特征，筛选与源点云的超点相匹配的目标点云的超点。
具体地，作为一种优选的实施例，如图4所示，上述激光点云配准方法中，根据源点云和目标点云的超点特征之间的欧氏距离，计算得到特征对应概率的步骤包括：
S131：根据源点云和目标点云分别对应的超点特征之间的距离，计算得到两组超点的距离矩阵。
S132：使用Softmax函数对距离矩阵进行归一化处理，得到距离矩阵对应的概率矩阵。
根据上述实施例得到的超点特征，在其度量空间中计算距离矩阵D，然后使用Softmax进行归一化处理，就能够得到对应概率矩阵M。其中，距离矩阵D中第i行第j列的值表示源点云中超点的第i个特征与目标点云中超点的第j个特征间的距离。同理，概率矩阵代表各点间的匹配概率。
其中，距离矩阵D的计算公式如下：
D＝X2-2XYT+Y2
对应的，概率矩阵M＝Softmax(D)，其中，Softmax函数展开如下：
在筛选与源点云的超点相匹配的目标点云的超点后，图1所示实施例提供的激光点云配准方法还包括：
S140：查找源点云中每个超点在目标点云中特征对应概率最大的预定数量的超点，使用预定数量的超点生成目标点云中虚拟超点及超点特征。因为已经提取了特征对应概率，因此使用上述特征对应概率能够将源点云中超点与目标点云中超点匹配起来，达到配准两组点云的目的。因为源点云中每个超点都有大量可匹配的目标点云中的超点，因此选取特征对应概率最大的预定数量的超点，能够降低神经网络的计算概率，从而使用上述预定数量的超点生成目标点云中虚拟超点及超点特征；其中，该超点特征是一个虚拟超点对应的高维向量。
具体地，作为一种优选的实施例，如图5所示，上述查找源点云中每个超点在目标点云中特征对应概率最大的预定数量的超点，使用预定数量的超点生成目标点云中虚拟超点及超点特征的步骤包括：
S141：求解概率矩阵，计算得到源点云中每个超点在目标点云中的特征对应概率。
S142：选取特征对应概率最大的预定数量的超点和超点特征。
S143：根据预定数量的超点和超点特征，使用基于距离的加权融合策略分别计算得到虚拟超点及超点特征。
本申请实施例提供的技术方案，通过寻找源点云中每个超点在目标点云中特征间对应概率最大的k个超点。并对超点的坐标和特征进行加权生成虚拟超点及其特征。
具体的，根据上述步骤求得的距离矩阵计算源点云与目标点云中超点对应概率最大的k个超点及其特征，记为Yk和Fk；然后，使用基于距离的加权融合策略得到目标点云中的虚拟超点及其特征，记为Yvir和Fvir，具体公式如下所示。
其中，Wi表示源点云中第i个超点对应的基于距离求得的各点所对应的权重，d()表示欧氏距离。
在生成目标点云中虚拟超点及超点特征后，图1所示实施例提供的激光点云配准方法还包括：
S150：根据源点云的超点分别与目标点云中虚拟超点及超点特征的对应关系，生成点云配准结果。
作为一种优选的实施例，如图6所示，上述根据源点云的超点分别与目标点云中虚拟超点及超点特征的对应关系，生成点云配准结果的步骤包括：
S151：获取超点与虚拟超点的对应关系，以及超点的超点特征与虚拟超点的超点特征的对应关系；
S152：根据超点与虚拟超点的对应关系，以及超点的超点特征与虚拟超点的超点特征的对应关系，使用RANSAC算法，计算得到点云数据的平移矩阵和旋转矩阵。
RANSAC算法主要核心公式还是最小二乘法求解平移矩阵R和旋转矩阵T。其核心公式为：
其中，ai是源点云上的第i个点，bi是目标点云上的第i个点，n为点数。
具体步骤如下：
1.在超点中选取三个非共线点，根据特征对应关系找到虚拟超点中的对应的三个虚拟超点。
2.根据第一步中的对应关系，根据公式
应用最小二乘法，求最小误差时的矩阵R和T。
3.将超点根据得到的矩阵R和T变换，将两组超点中距离阈值小于给定阈值t的所有点取出来构成一个集合，且集合中拥有的点数称为内点。
4.重新选择点，重复执行上述步骤1-3，如果迭代次数达到阈值时，统计内点数量最多的平移矩阵R和旋转矩阵T，根据这个矩阵R和T，对所有点应用最小二乘法求得R和T，公式为：
通过根据源点云中的超点与目标点云中虚拟超点的对应关系及其特征的对应关系，应用RANSAC算法求得平移旋转矩阵，所求得的平移矩阵R和旋转矩阵T，即为源点云和目标点云的粗配准的结果。此处进行RANSAC迭代的点数，即为虚拟超点的数量，相对于传统算法和其他基于学习的方法能够使用更少的点，从而提高了计算机的计算效率。
另外，图6所示实施例中的激光点云配准方法，在步骤S152：计算得到点云数据的平移矩阵和旋转矩阵的步骤之后还包括：
S153：使用ICP算法对平移矩阵和旋转矩阵分别进行计算，得到点云配准结果。
在使用RANSAC算法求得的粗配准结果只是一个粗略的结果，存在稍小的误差。为了解决上述问题，本发明实施例使用精细配准任务中常用的ICP算法对源点云和目标点云进行精配准，进一步细化配准结果。
ICP算法就是基于已有的矩阵R和T迭代优化该式：
使得到的E(R,T)最小，直至得到达到阈值或者迭代次数时停止。其中，a和b分别为源点云和目标点云上的点，n为点数。
基于上述步骤得到的粗配准结果进一步使用ICP算法进行精细配准，能够得到更准确的配准结果，即点云的平移矩阵R和旋转矩阵T。
综上，结合图7所示实施例提供的神经网络结构图可知，本发明实施例提供的基于虚拟超点的激光点云配准方法，通过对激光雷达获取的点云数据进行预处理，得到源点云和目标点云，开始源点云和目标点云的配准工作。使用球形坐标系对上述源点云和目标点云分别进行坐标变换，再使用稀疏卷积网络作为特征提取网络提取点云的特征，从而提高提取效率，在使用稀疏卷积网络分别得到源点云和目标点云的超点和超点特征后，根据超点特征的欧氏距离计算特征对应概率，首先计算得到两组超点的距离矩阵D，再通过Softmax函数得到概率矩阵M。因为超点数量远小于原始点云的点数，所以使用超点特征进行特征匹配，能够增加计算速度，使得算法以较快速度处理点云数据，提高点云后处理效率。在计算得到特征对应概率后查找源点云中每个超点在目标点云中特征对应概率最大的预定数量的超点，超点数量远少于原始点云数据，因此计算量小。在使用预定数量的超点生成目标点云的虚拟超点和超点特征后，使用源点云中超点与目标点云中虚拟超点和超点特征的对应关系生成点云配准结果，因为使用虚拟超点的方式计算特征匹配，能够进一步增强鲁棒性，同时以应对具有较低重叠率的点云配准场景，另外将源点云和目标点云投影至球形坐标系，能够将基于描述符和全卷积的特征提取方式相结合，提高方法整体的泛化能力，提高卷积速度。综上，通过上述基于虚拟超点的激光点云配准方法，能够解决现有技术中配准的两组点云重叠率较低、鲁棒性不强且配准效率低的问题。
基于上述方法实施例的同一构思，本发明实施例还提供了基于虚拟超点的激光点云配准系统，用于实现本发明的上述方法，由于该系统实施例解决问题的原理与方法相似，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。
参见图8，图8为本发明还提供了一种基于虚拟超点的激光点云配准系统的结构示意图。如图8所示，该基于虚拟超点的激光点云配准系统，包括：
预处理模块110，用于对激光雷达获取的点云数据进行预处理，分别得到待配准的源点云和目标点云；
点云投影模块120，用于将源点云和目标点云投影至球形坐标系；
特征提取模块130，用于使用稀疏卷积提取投影后的源点云和目标点云的特征，得到源点云和目标点云分别对应的超点和超点特征；
概率计算模块140，用于根据源点云和目标点云的超点特征之间的欧氏距离，计算得到特征对应概率；
超点查找模块150，用于查找源点云中每个超点在目标点云中特征对应概率最大的预定数量的超点，使用预定数量的超点生成目标点云中虚拟超点及超点特征；
配准生成模块160，用于根据源点云的超点分别与目标点云中虚拟超点及超点特征的对应关系，生成点云配准结果。
综上，本发明实施例提供的基于虚拟超点的激光点云配准系统，通过对激光雷达获取的点云数据进行预处理，得到源点云和目标点云，开始源点云和目标点云的配准工作，使用稀疏卷积网络作为特征提取网络提取点云的特征，提取的效率较高，在使用稀疏卷积网络分别得到源点云和目标点云的超点和超点特征后，根据超点特征的欧氏距离计算特征对应概率，超点数量远小于原始点云的点数，因此使用超点特征进行特征匹配，能够增加计算速度，使得算法以较快速度处理点云数据，提高点云后处理效率。在计算得到特征对应概率后查找源点云中每个超点在目标点云中特征对应概率最大的预定数量的超点，超点数量远少于原始点云数据，因此计算量小。在使用预定数量的超点生成目标点云的虚拟超点和超点特征后，使用源点云中超点与目标点云中虚拟超点和超点特征的对应关系生成点云配准结果，因为使用虚拟超点的方式计算特征匹配，能够进一步增强鲁棒性，同时以应对具有较低重叠率的点云配准场景，另外将源点云和目标点云投影至球形坐标系，能够将基于描述符和全卷积的特征提取方式相结合，提高方法整体的泛化能力，提高卷积速度。综上，通过上述基于虚拟超点的激光点云配准系统，能够解决现有技术中配准的两组点云重叠率较低、鲁棒性不强且配准效率低的问题。
作为一种优选的实施例，如图9所示，上述激光点云配准系统中，点云投影模块120包括：
球形坐标计算子模块121，用于将源点云和目标点云投影至球形坐标系，使用球形坐标系分别得到源点云和目标点云的球形坐标；
特征提取子模块122，用于将投影至球形坐标系的源点云和目标点云输入至稀疏卷积模块进行特征提取；
超点计算子模块123，用于根据源点云和目标点云的球形坐标，分别计算得到源点云和目标点云对应的超点和超点特征。
作为一种优选的实施例，如图10所示，上述激光点云配准系统中，概率计算模块140包括：
矩阵计算子模块141，用于根据源点云和目标点云分别对应的超点特征之间的距离，计算得到两组超点的距离矩阵；
归一化处理子模块142，用于使用Softmax函数对距离矩阵进行归一化处理，得到距离矩阵对应的概率矩阵。
综上，与现有技术相比，本发明上述实施例提供的激光点云配准方案，具有以下优点：
1、使用的特征提取网络为稀疏卷积网络，其效率较高，同时使用远小于原始点云点数的超点特征计算特征匹配，增加了计算速度，使得算法能以较快的速度处理点云数据，提高了实际生产中点云后处理的效率。
2、在提取点云特征时将其映射到球形坐标系中，再输入到稀疏卷积神经网络中，将基于描述符和全卷积的特征提取方式相结合，使得算法兼具基于描述符方法的泛化能力强，全卷积方法的速度快的优点。
3、使用虚拟超点的方式计算特征匹配，进一步的增强了鲁棒性，同时也可以应对具有较低重叠率的点云配准场景，从而本方法更具有通用性。
4、由于本发明使用了超点及其特征估计匹配结果，从而可以使用了较少的点数和特征使用RANSAC进行迭代求解，增加了其计算效率。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种基于虚拟超点的激光点云配准方法，其特征在于，包括：
对激光雷达获取的点云数据进行预处理，分别得到待配准的源点云和目标点云；
将所述源点云和目标点云投影至球形坐标系，使用稀疏卷积提取投影后的所述源点云和目标点云的特征，得到所述源点云和目标点云分别对应的超点和超点特征；
根据所述源点云和目标点云的超点特征之间的欧氏距离，计算得到特征对应概率；
查找所述源点云中每个超点在所述目标点云中特征对应概率最大的预定数量的超点，使用所述预定数量的超点生成目标点云中虚拟超点及超点特征；
根据所述源点云的超点分别与所述目标点云中虚拟超点及超点特征的对应关系，生成点云配准结果。
2.根据权利要求1所述的激光点云配准方法，其特征在于，所述对激光雷达获取的点云数据进行预处理，分别得到待配准的源点云和目标点云的步骤，包括：
使用激光雷达扫描被监测场景，得到所述被监测场景对应的点云数据；
对所述点云数据进行体素滤波，得到所述源点云和目标点云。
3.根据权利要求1所述的激光点云配准方法，其特征在于，所述将源点云和目标点云投影至球形坐标系，使用稀疏卷积提取投影后的所述源点云和目标点云的特征的步骤，包括：
将所述源点云和目标点云投影至所述球形坐标系，使用所述球形坐标系分别得到所述源点云和目标点云的球形坐标；
将投影至所述球形坐标系的源点云和目标点云输入至稀疏卷积模块进行特征提取；
根据所述源点云和目标点云的球形坐标，分别计算得到所述源点云的超点和超点特征，以及目标点云的超点和超点特征。
4.根据权利要求1或3所述的激光点云配准方法，其特征在于，所述根据所述源点云和目标点云的超点特征之间的欧氏距离，计算得到特征对应概率的步骤，包括：
根据所述源点云和目标点云分别对应的超点特征之间的距离，计算得到两组超点的距离矩阵；
使用Softmax函数对所述距离矩阵进行归一化处理，得到所述距离矩阵对应的概率矩阵。
5.根据权利要求4所述的激光点云配准方法，其特征在于，所述查找所述源点云中每个超点在所述目标点云中特征对应概率最大的预定数量的超点，使用所述预定数量的超点生成目标点云中虚拟超点及超点特征的步骤，包括：
求解所述概率矩阵，计算得到所述源点云中每个超点在所述目标点云中的特征对应概率；
选取特征对应概率最大的预定数量的超点和超点特征；
根据所述预定数量的超点和超点特征，使用基于距离的加权融合策略分别计算得到所述虚拟超点及超点特征。
6.根据权利要求1所述的激光点云配准方法，其特征在于，所述根据所述源点云的超点分别与所述目标点云中虚拟超点及超点特征的对应关系，生成点云配准结果的步骤，包括：
获取所述超点与虚拟超点的对应关系，以及所述超点的超点特征与虚拟超点的超点特征的对应关系；
根据所述超点与虚拟超点的对应关系，以及所述超点的超点特征与虚拟超点的超点特征的对应关系，使用RANSAC算法，计算得到点云数据的平移矩阵和旋转矩阵。
7.根据权利要求6所述的激光点云配准方法，其特征在于，在计算得到所述点云数据的平移矩阵和旋转矩阵的步骤之后，所述方法还包括：
使用ICP算法对所述平移矩阵和旋转矩阵分别进行计算，得到所述点云配准结果。
8.一种基于虚拟超点的激光点云配准系统，其特征在于，包括：
预处理模块，用于对激光雷达获取的点云数据进行预处理，分别得到待配准的源点云和目标点云；
点云投影模块，用于将所述源点云和目标点云投影至球形坐标系；
特征提取模块，用于使用稀疏卷积提取投影后的所述源点云和目标点云的特征，得到所述源点云和目标点云分别对应的超点和超点特征；
概率计算模块，用于根据所述源点云和目标点云的超点特征之间的欧氏距离，计算得到特征对应概率；
超点查找模块，用于查找所述源点云中每个超点在所述目标点云中特征对应概率最大的预定数量的超点，使用所述预定数量的超点生成目标点云中虚拟超点及超点特征；
配准生成模块，用于根据所述源点云的超点分别与所述目标点云中虚拟超点及超点特征的对应关系，生成点云配准结果。
9.根据权利要求8所述的激光点云配准系统，其特征在于，所述点云投影模块，包括：
球形坐标计算子模块，用于将所述源点云和目标点云投影至所述球形坐标系，使用所述球形坐标系分别得到所述源点云和目标点云的球形坐标；
特征提取子模块，用于将投影至所述球形坐标系的源点云和目标点云输入至稀疏卷积模块进行特征提取；
超点计算子模块，用于根据所述源点云和目标点云的球形坐标，分别计算得到所述源点云和目标点云对应的超点和超点特征。
10.根据权利要求8所述的激光点云配准系统，其特征在于，所述概率计算模块，包括：
矩阵计算子模块，用于根据所述源点云和目标点云分别对应的超点特征之间的距离，计算得到两组超点的距离矩阵；
归一化处理子模块，用于使用Softmax函数对所述距离矩阵进行归一化处理，得到所述距离矩阵对应的概率矩阵。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211360543.5A CN115661218B (zh) | 2022-11-02 | 2022-11-02 | 一种基于虚拟超点的激光点云配准方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211360543.5A CN115661218B (zh) | 2022-11-02 | 2022-11-02 | 一种基于虚拟超点的激光点云配准方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115661218A true CN115661218A (zh) | 2023-01-31 |
| CN115661218B CN115661218B (zh) | 2023-11-21 |
Family
ID=84995937
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211360543.5A Active CN115661218B (zh) | 2022-11-02 | 2022-11-02 | 一种基于虚拟超点的激光点云配准方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115661218B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117095033A (zh) * | 2023-07-25 | 2023-11-21 | 重庆邮电大学 | 一种基于图像与几何信息引导的多模态点云配准方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111798453A (zh) * | 2020-07-06 | 2020-10-20 | 博康智能信息技术有限公司 | 用于无人驾驶辅助定位的点云配准方法及其系统 |
| US20220292728A1 (en) * | 2021-03-15 | 2022-09-15 | Shenzhen University | Point cloud data processing method and device, computer device, and storage medium |
-
2022
- 2022-11-02 CN CN202211360543.5A patent/CN115661218B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111798453A (zh) * | 2020-07-06 | 2020-10-20 | 博康智能信息技术有限公司 | 用于无人驾驶辅助定位的点云配准方法及其系统 |
| US20220292728A1 (en) * | 2021-03-15 | 2022-09-15 | Shenzhen University | Point cloud data processing method and device, computer device, and storage medium |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117095033A (zh) * | 2023-07-25 | 2023-11-21 | 重庆邮电大学 | 一种基于图像与几何信息引导的多模态点云配准方法 |
| CN117095033B (zh) * | 2023-07-25 | 2024-05-24 | 重庆邮电大学 | 一种基于图像与几何信息引导的多模态点云配准方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115661218B (zh) | 2023-11-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110287873B (zh) | 基于深度神经网络的非合作目标位姿测量方法、系统及终端设备 | |
| US8798357B2 (en) | Image-based localization | |
| US8830229B2 (en) | Recognition and pose determination of 3D objects in 3D scenes | |
| JP6216508B2 (ja) | ３ｄシーンにおける３ｄ物体の認識および姿勢決定のための方法 | |
| Liu et al. | 3D Point cloud analysis | |
| Huang et al. | A coarse-to-fine algorithm for registration in 3D street-view cross-source point clouds | |
| Cai et al. | A novel saliency detection algorithm based on adversarial learning model | |
| CN111783722B (zh) | 一种激光点云的车道线提取方法和电子设备 | |
| CN112364881B (zh) | 一种进阶采样一致性图像匹配方法 | |
| Xu et al. | GLORN: Strong generalization fully convolutional network for low-overlap point cloud registration | |
| CN111311651A (zh) | 点云配准方法和装置 | |
| CN115661218B (zh) | 一种基于虚拟超点的激光点云配准方法和系统 | |
| CN111597367B (zh) | 基于视图和哈希算法的三维模型检索方法 | |
| Cao et al. | Stable image matching for 3D reconstruction in outdoor | |
| Chen et al. | AugTarget data augmentation for infrared small target detection | |
| Yang et al. | Ground plane matters: Picking up ground plane prior in monocular 3d object detection | |
| CN115409896A (zh) | 位姿预测方法、装置、电子设备和介质 | |
| Ruan et al. | Combining scene coordinate regression and absolute pose regression for visual relocalization | |
| Zahari et al. | Stereo matching algorithm for autonomous vehicle navigation using integrated matching cost and non-local aggregation | |
| CN115375731B (zh) | 一种关联点和体素的3d点云单目标跟踪方法及相关装置 | |
| CN113543307B (zh) | 视觉信息特征指纹库构建方法、定位方法及装置 | |
| Méndez et al. | Comparative study of point cloud registration techniques between ICP and others | |
| Feng et al. | Aligning point clouds with an effective local feature descriptor | |
| CN116342666B (zh) | 基于多形式优化的三维点云配准方法及电子设备 | |
| Shin et al. | 6DOF pose estimation using 2D-3D sensor fusion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |