CN116363177A - 一种基于几何Transformer和高斯混合模型的三维点云配准方法 - Google Patents
一种基于几何Transformer和高斯混合模型的三维点云配准方法 Download PDFInfo
- Publication number
- CN116363177A CN116363177A CN202310158547.3A CN202310158547A CN116363177A CN 116363177 A CN116363177 A CN 116363177A CN 202310158547 A CN202310158547 A CN 202310158547A CN 116363177 A CN116363177 A CN 116363177A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- point
- dimensional
- gaussian mixture
- mixture model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 239000000203 mixture Substances 0.000 title claims abstract description 38
- 230000009466 transformation Effects 0.000 title claims description 11
- 239000011159 matrix material Substances 0.000 claims abstract description 38
- 230000004927 fusion Effects 0.000 claims abstract description 5
- 230000000007 visual effect Effects 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 5
- 238000000354 decomposition reaction Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 2
- 239000000284 extract Substances 0.000 claims description 2
- 238000011176 pooling Methods 0.000 claims description 2
- 230000002159 abnormal effect Effects 0.000 abstract description 4
- 230000000694 effects Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于几何Transformer和高斯混合模型的三维点云配准方法,包括:步骤1,通过三维扫描仪获取多个视角的三维点云;步骤2,首先利用PointNet网络提取两片点云的局部特征,后将单个点云的局部特征与两点云的全局特征进行特征融合;步骤3,再利用带有几何关系编码的Transformer网络来识别两片点云间的重叠区域;步骤4,使用高斯混合模型来表示输入的点云,利用点云特征、重叠分数、概率矩阵计算得到匹配参数;步骤5,从匹配的高斯混合模型(GMM)参数中计算匹配矩阵,完成三维点云的配准。本发明提供的三维点云配准方法在两片点云包含大量噪声和异常点情况下仍能快速并精确地完成三维点云配准任务。
Description
技术领域
本发明涉及三维点云模型配准技术,具体涉及一种基于几何Transformer和高斯混合模型的三维点云配准方法。
背景技术
点云配准是机器人、计算机视觉、文物修复等领域中的一个基本问题,其目的在于寻找对齐两个点云的最佳转换(旋转、平移和缩放)。
当点云之间的真实对应关系已知,且点受到零均值高斯噪声的影响时,配准问题很容易解决。然而,在实践中,对应关系要么是未知的,要么包含许多异常值,导致点云配准的求解器产生较差的配准结果。对于未知或不确定对应关系的配准,常用的方法要么依赖于对未知变换初始猜测的可用性(例如,迭代最近点方法ICP),要么假设存在一个小的异常值集(例如,RANSAC方法)。这些算法可能会在点云存在大量异常值和噪声情况下配准效果不佳。
发明内容
针对现有技术存在的不足,本发明的目的在于提供一种在面对点云中存在大量噪声和异常值的情况下仍精确处理的基于几何Transformer和高斯混合模型的三维点云配准方法。
为了实现上述目的,本发明采用以下技术方案予以实现:
一种基于几何Transformer和高斯混合模型的三维点云配准方法,包括如下步骤:
步骤1,通过三维扫描仪获取多个视角的三维点云;
步骤2,首先利用PointNet网络提取两片点云的局部特征,然后将单个点云的局部特征与两点云的全局特征进行特征融合;
步骤3,再利用带有几何关系编码的Transformer网络来识别两片点云间的重叠区域;
步骤4,使用高斯混合模型(Gaussian Mixture Models,GMM)来表示输入的点云,利用点云特征、重叠分数、概率矩阵计算得到匹配参数;
步骤5,从匹配的高斯混合模型(GMM)参数中计算匹配矩阵,完成三维点云的配准。
本发明还具有以下技术特征:
优选的,所述步骤2中的PointNet网络通过多层感知机和最大池化提取点云的全局特征,后将1024维的全局特征和64维的局部特征通过concat操作连接起来,并通过全连接层输出每个点的特征。
进一步的,所述的PointNet网络每层输出特征的维度分别为64、64、64、128、1024;
所述的全连接层每层输出特征的维度分别为1024、1024、512。
优选的,所述步骤3中的几何关系由三个手工特征通过concate操作组成;
所述的三个手工制作的特征分别为点云点对之间距离、三元角和局部三角形周长之间差异值。
进一步的,所述的点云点对之间的距离ρi,j可以定义为:ρi,j=||pi-pj||2,其中pi和pj为三维空间中的两个点;
所以最终的几何关系gi,j可以表示为:gi,j=concate[ρi,j,αi,j,ηi,j],其中concate表示连接操作。
优选的,所述步骤3中的Transformer网络由几个堆叠的自注意力和交叉注意力层组成;
所述的自注意力用于学习每个点云在特征空间和几何空间中的全局上下文信息;
其中ai,j是权重系数,通过自注意力分数ei,j计算;
所述的交叉注意力用于对两点云的特征进行交互;交叉注意力分数ei,j可以表示为:
优选的,所述步骤4中高斯混合模型将三维空间上的多模态生成概率分布建立为L个高斯密度的加权和,其形式为:
每个密度N(x∣μj,Σj)被称为一个高斯混合模型的分量,并用均值μj和协方差Σj进行参数化,N(x∣μj,Σj)表示第j个子模型的高斯分布密度函数即概率,x表示点云数据。
进一步的,所述的点云特征的集合P的用高斯混合模型可以表示为:
而高斯混合模型的参数可以表示为:
优选的,所述步骤5中计算匹配矩阵是将匹配的高斯混合模型GMM参数和特征的质心通过最优传输计算匹配矩阵,之后通过带有加权的SVD奇异值分解方法求解出两点云间的变换矩阵;
计算匹配矩阵Γ过程可以表示为:
s.t.,Γ1M=πp,Γ·1N=πq,Γij∈[0,1]
获得匹配矩阵后,通过以下公式计算最终的变换矩阵:
本发明与现有技术相比,具有如下技术效果:
本发明提出的三维点云配准网络模型由五个部分组成:点云特征提取、点云特征融合、嵌入几何关系的Transformer网络对特征进行聚合、GMM求解匹配参数和加权奇异值分解(SVD);具体来说,利用PointNet网络提取点的全局特征,再将单个点云的64维局部特征和两点云的1024维全局特征进行concate操作,融合为2112维特征,再利用带有几何关系编码的Transformer网络来对点云的特征进行聚合,帮助网络识别点云间的重叠区域;此外,使用高斯混合模型(Gaussian Mixture Models,GMM)来表示输入的点云,利用点云特征、重叠分数、概率矩阵计算得到匹配参数;最后从匹配的高斯混合模型(GMM)参数中计算匹配矩阵,完成三维点云的配准;本模型为了加快点云配准模型的鲁棒性,在特征提取部分对点云的局部特征和全局特征进行融合;此外,使用Transformer网络对特征进行聚合,提高了特征的鲁棒性,最后借助GMM模型计算匹配矩阵;这使得本发明构建的点云配准网络在点云包含大量噪声、异常值的情况下仍能快速和准确地完成三维点云配准。
附图说明
图1为本发明的流程图;
图2为点云配准网络模型图;
图3为秦俑源点云效果图;
图4为秦俑目标点云效果图;
图5为秦俑点云配准后效果图。
具体实施方式
以下结合实施例对本发明的具体内容做进一步详细解释说明。
参照图1-2,本实施例提供一种基于特征交互和可靠对应关系估计的三维点云配准方法,包括如下步骤:
步骤1,通过三维扫描仪获取多个视角的三维点云;
步骤2,首先利用PointNet网络提取两片点云的局部特征,后将单个点云的局部特征与两点云的全局特征进行特征融合;其中PointNet由一个共享权重的MLP组成,输出的特征的维度分别为64、64、64、128、1024,后将1024维的特征进行最大池化为全局特征,再将单个点云的64位局部特征与两点云的1024维的全局特征进行融合为2112位特征,最后经过一个全连接层输出点云最终的特征,全连接层每层输出的特征维度为1024、1024、512。
步骤3,再利用带有几何关系编码的Transformer网络来识别两片点云间的重叠区域;其中几何关系由三个手工特征通过concate操作组成,三个手工制作的特征分别为点云点对之间距离、三元角和三角形周长差异值;
点云点对之间的距离ρi,j可以定义为:ρi,j=||pi-pj||2,其中pi和pj为三维空间中的两个点;
所以最终的几何关系gi,j可以表示为:gi,j=concate[ρi,j,αi,j,ηi,j];其中concate表示连接操作;
而几何Transformer是由多个自注意力和交叉注意力堆叠而成,其中自注意力目的是学习每个点云在特征空间和几何空间中的全局上下文信息;
其中ai,j是权重系数,通过自注意力分数ei,j计算;
而交叉注意力目的对两点云的特征进行交互,帮助网络更好地识别两片点云的重叠区域;交叉注意力与自注意力在注意力分数求解上不同,而交叉注意力分数ei,j可以表示为:
步骤4,使用高斯混合模型(Gaussian Mixture Models,GMM)来表示输入的点云,利用点云特征、重叠分数、概率矩阵计算得到匹配参数;其中高斯混合模型(GMM)将三维空间上的多模态生成概率分布建立为L个高斯密度的加权和,其形式为:
每个密度N(x∣μj,Σj)被称为一个GMM的分量,并用均值μj和协方差Σj进行参数化;N(x∣μj,Σj)表示第j个子模型的高斯分布密度函数即概率;x表示点云数据;点云特征的集合P的用GMM可以表示为:
而GMM的参数可以表示为:
步骤5,将匹配的高斯混合模型GMM参数和特征的质心通过最优传输计算匹配矩阵,之后通过带有加权的SVD奇异值分解方法求解出两点云间的变换矩阵,完成三维点云的配准;计算匹配矩阵Γ过程可以表示为:
s.t.,Γ1M=πp,Γ·1N=πq,Γij∈[0,1]
获得匹配矩阵后,通过以下公式计算最终的变换矩阵:
图5为通过本发明所述方法进行配准后的点云配准结果图,由图可知本发明所述方法针对点云间包含大量噪声和异常点时仍能鲁棒地处理。
Claims (9)
1.一种基于几何Transformer和高斯混合模型的三维点云配准方法,其特征在于,包括如下步骤:
步骤1,通过三维扫描仪获取多个视角的三维点云;
步骤2,首先利用PointNet网络提取两片点云的局部特征,然后将单个点云的局部特征与两点云的全局特征进行特征融合;
步骤3,再利用带有几何关系编码的Transformer网络来识别两片点云间的重叠区域;
步骤4,使用高斯混合模型(Gaussian Mixture Models,GMM)来表示输入的点云,利用点云特征、重叠分数、概率矩阵计算得到匹配参数;
步骤5,从匹配的高斯混合模型(GMM)参数中计算匹配矩阵,完成三维点云的配准。
2.如权利要求1所述的基于几何Transformer和高斯混合模型的三维点云配准方法,其特征在于,所述步骤2中的PointNet网络通过多层感知机和最大池化提取点云的全局特征,后将1024维的全局特征和64维的局部特征通过concat操作连接起来,并通过全连接层输出每个点的特征。
3.如权利要求2所述的基于几何Transformer和高斯混合模型的三维点云配准方法,其特征在于,所述的PointNet网络每层输出特征的维度分别为64、64、64、128、1024;
所述的全连接层每层输出特征的维度分别为1024、1024、512。
4.如权利要求1所述的基于几何Transformer和高斯混合模型的三维点云配准方法,其特征在于,所述步骤3中的几何关系由三个手工特征通过concate操作组成;
所述的三个手工制作的特征分别为点云点对之间距离、三元角和局部三角形周长之间差异值。
6.如权利要求1所述的基于几何Transformer和高斯混合模型的三维点云配准方法,其特征在于,所述步骤3中的Transformer网络由几个堆叠的自注意力和交叉注意力层组成;
所述的自注意力用于学习每个点云在特征空间和几何空间中的全局上下文信息;
其中ai,j是权重系数,通过自注意力分数ei,j计算;
所述的交叉注意力用于对两点云的特征进行交互;交叉注意力分数ei,j可以表示为:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310158547.3A CN116363177A (zh) | 2023-02-23 | 2023-02-23 | 一种基于几何Transformer和高斯混合模型的三维点云配准方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310158547.3A CN116363177A (zh) | 2023-02-23 | 2023-02-23 | 一种基于几何Transformer和高斯混合模型的三维点云配准方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116363177A true CN116363177A (zh) | 2023-06-30 |
Family
ID=86917829
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310158547.3A Pending CN116363177A (zh) | 2023-02-23 | 2023-02-23 | 一种基于几何Transformer和高斯混合模型的三维点云配准方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116363177A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116817771A (zh) * | 2023-08-28 | 2023-09-29 | 南京航空航天大学 | 一种基于圆柱体素特征的航天零件涂层厚度测量方法 |
-
2023
- 2023-02-23 CN CN202310158547.3A patent/CN116363177A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116817771A (zh) * | 2023-08-28 | 2023-09-29 | 南京航空航天大学 | 一种基于圆柱体素特征的航天零件涂层厚度测量方法 |
CN116817771B (zh) * | 2023-08-28 | 2023-11-17 | 南京航空航天大学 | 一种基于圆柱体素特征的航天零件涂层厚度测量方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105740899B (zh) | 一种机器视觉图像特征点检测与匹配复合的优化方法 | |
CN110287873B (zh) | 基于深度神经网络的非合作目标位姿测量方法、系统及终端设备 | |
CN102880877B (zh) | 一种基于轮廓特征的目标识别方法 | |
CN111915677A (zh) | 一种基于三维点云特征的船舶位姿估计方法 | |
CN110781920B (zh) | 一种室内场景点云部件语义信息的识别方法 | |
CN105046694A (zh) | 一种基于曲面拟合系数特征的点云快速配准方法 | |
KR101460313B1 (ko) | 시각 특징과 기하 정보를 이용한 로봇의 위치 추정 장치 및 방법 | |
WO2022237225A1 (zh) | 针对具有平面基准但不完整的三维扫描点云的在线实时配准方法 | |
CN116363177A (zh) | 一种基于几何Transformer和高斯混合模型的三维点云配准方法 | |
CN112084895B (zh) | 一种基于深度学习的行人重识别方法 | |
CN108537805A (zh) | 一种基于特征几何收益的目标识别方法 | |
CN112801945A (zh) | 基于双重注意力机制特征提取的深度高斯混合模型颅骨配准方法 | |
CN116152870A (zh) | 人脸识别方法、装置、电子设备及计算机可读存储介质 | |
CN109255815A (zh) | 一种基于零阶球谐函数的物体检测与识别方法 | |
CN117132630A (zh) | 一种基于二阶空间兼容性度量的点云配准方法 | |
Liao et al. | Fuzzypsreg: Strategies of fuzzy cluster-based point set registration | |
CN109886206B (zh) | 一种三维物体识别方法及设备 | |
CN114332172A (zh) | 一种基于协方差矩阵改进的激光点云配准方法 | |
CN112418250A (zh) | 一种复杂3d点云的优化匹配方法 | |
CN115661218B (zh) | 一种基于虚拟超点的激光点云配准方法和系统 | |
CN113316080B (zh) | 基于Wi-Fi与图像融合指纹的室内定位方法 | |
Chen et al. | An application of improved RANSAC algorithm in visual positioning | |
CN111626096B (zh) | 一种三维点云数据兴趣点提取方法 | |
CN114445468A (zh) | 一种异源遥感图像配准方法及系统 | |
CN110390268B (zh) | 一种基于几何特性和方向特征的三维掌纹识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |