CN113610903A - 一种基于K-means聚类中心局部曲面投影的多视角点云配准方法 - Google Patents
一种基于K-means聚类中心局部曲面投影的多视角点云配准方法 Download PDFInfo
- Publication number
- CN113610903A CN113610903A CN202110667408.4A CN202110667408A CN113610903A CN 113610903 A CN113610903 A CN 113610903A CN 202110667408 A CN202110667408 A CN 202110667408A CN 113610903 A CN113610903 A CN 113610903A
- Authority
- CN
- China
- Prior art keywords
- point
- point cloud
- curved surface
- registration
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Probability & Statistics with Applications (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于K‑means聚类中心局部曲面投影的多视角点云配准方法。给定初始的全局变换矩阵;计算每帧点云的多尺度特征描述子和法向量;通确定完整点云中每个点的聚类归属;计算多尺度特征描述子和法向量,得到原始点相对完整点云的配准对应点;局部MLS曲面进行双向内插投影,若不满足刚体变换一致性约束条件则将该点对剔除,获得单帧点云的最终匹配点集;若满足刚体变换一致性约束条件则将投影点与其对应点视为正确的对应点对;将N个视角点云依次配准;实现全局优化。本发明将原本就具有稀疏性的激光点云进行了下采样操作,导致点云分辨率下降,配准精度不高的问题,即三维激光点云的采样稀疏性问题。
Description
技术领域
本发明属于三维点云重建领域,特别涉及一种基于K-means聚类中心局部曲面投影的多视角点云配准方法。
背景技术
点云配准是三维重建技术中的重要步骤,其配准精度直接影响三维重建的结果。其中双视角配准过程虽然能够较为准确的配准两片点云,但是这两片点云之间必然会存在非重叠区域,配准误差不可避免,多个视角点云两两配准后累积误差会不断增大,因此需要进行多视角全局优化。
一些方法为了利用多视角点云的单闭合环约束条件,使用低秩稀疏矩阵分解的方法进行多视角配准。针对重叠率较大的扫描点云,利用了多视角配准过程中的相对运动信息冗余,将相对变换矩阵拼接成一个大的矩阵,通过低秩稀疏矩阵分解的方法提取变换矩阵的主成分分量,从而计算出相对准确的绝对变换矩阵,降低了噪声对相对运动的影响。但是该方法需要获取较多的相对变换矩阵,对先验信息的冗余性要求较高,而且对点云的三维结构信息利用不充分。
基于K-means聚类的多视角全局优化算法在高斯混合模型多视角点云配准算法的启发下提出。该方法利用双视角配准后的结果,构建信息冗余的完整点云模型,然后对其进行聚类并获取聚类中心作为完整模型的表示,再将每个视角的点云向聚类中心配准。遍历每帧点云之后,交替迭代的进行聚类中心优化和坐标变换矩阵求解,直至满足停止条件。这样配准的点云就不需要考虑非重叠区域的情况,提高了配准精度。但是该方法将聚类中心作为全局优化的完整目标点云,降低完整点云分辨率,导致了点云在空间中的稀疏性,一定程度上降低了点云配准精度。
发明内容
本发明提供一种基于K-means聚类中心局部曲面投影的多视角点云配准方法,将原本就具有稀疏性的激光点云进行了下采样操作,导致点云分辨率下降,配准精度不高的问题,即三维激光点云的采样稀疏性问题。
本发明通过以下技术方案实现:
一种基于K-means聚类中心局部曲面投影的多视角点云配准方法,所述多视角点云配准方法包括以下步骤:
步骤1:给定初始的全局变换矩阵;
步骤2:计算每帧点云的多尺度特征描述子和法向量;
步骤3:通过对聚类中心的最近邻搜索,确定单帧点云中每个点的聚类归属;
步骤4:针对步骤3完整点云中每个点的聚类归属计算同类点集的中心点并将其作为新的聚类中心;
步骤5:对步骤4的聚类中心点集计算多尺度特征描述子和法向量,根据特征描述子相似性,得到原始点相对完整点云的配准对应点;
步骤6:将原始点向对应中心点表示的局部MLS曲面进行双向内插投影,若不满足刚体变换一致性约束条件则进行步骤7,若满足刚体变换一致性约束条件则进行步骤8;
步骤7:将该点对剔除,获得单帧点云的最终匹配点集;
步骤8:将投影点与其对应点视为正确的对应点对;将N个视角点云依次配准,使用式(1)计算全局变换参数:
循环迭代直至相邻两次迭代计算的刚性变换矩阵大致相同或者当迭代次数q超过阈值最大迭代次数Q。
步骤9:基于步骤8的逐帧计算变换矩阵,实现全局优化;
对点云中一点pi,j,设共有L个不同的支撑域半径r1<r2<...<rL;在每个支撑域半径rl中,建立局部邻域的协方差矩阵:
式中表示邻域中的一点,K为邻域点的个数,l=1,...,L;对3×3的协方差矩阵Cl进行SVD奇异值分解,获得三个特征值λl1≥λl2≥λl3和特征值对应的特征向量nl1、nl2、nl3;将第二个尺度下的特征值最小的特征向量作为该点的法向量ni,j=n23;并且用sl表示归一化特征值向量:
设定Δsl=sl+1-sl,特征描述符Di,j表示为:
Di,j=(Δs1,...,ΔsL-1) (4)。
其中,cq(i,j)为单个点云的聚类归属,如果pi,j归属于第个聚类中心,则cq(i,j)=k;Rq i为当前旋转矩阵,tq i为当前平移矩阵,N为点云帧数,Mj为单帧点云的点数。
进一步的,所述步骤4具体为,聚类中心更新公式如下所示,
通过式(6),对聚类归属cq(i,j)=k的点计算质心,并将其作为新的聚类中心。
进一步的,所述步骤7具体为,将N个视角点云依次配准,最小化式(7)计算全局变换参数:
循环迭代步骤2-6,直至相邻两次迭代计算的刚性变换矩阵大致相同或者当迭代次数q超过阈值最大迭代次数Q。
进一步的,所述步骤8具体为,若满足刚体变换一致性约束条件则将投影点μ'c(i,j)与pi,j视为正确的对应点对;否则剔除。
本发明的有益效果是:
本发明的点到聚类中心局部曲面投影降低了在多视角配准过程中由于聚类导致的完整点云分辨率下降问题,提高多视角配准精度。
本发明的聚类中心局部曲面拟合,用移动最小二乘曲面替代稀疏点云对构成了闭环的多帧点云进行表示,使最终得到的投影点云更逼近真实模型。
本发明的多视角配准降低了双视角逐帧配准造成的累积误差,减少了由于配准不准确造成的点云间交叉重叠现象,为三维重建提供更准确的先验信息。
本发明的单帧点云与聚类中心面间互投影过程,用特征相似性约束对投影区域进行限制,并刚性变换一致性距离约束对投影点进行筛选,提高投影点的三维坐标精度。
附图说明
图1本发明的点-点配准与曲面-曲面配准示意图。
图2本发明的点到HMLS曲面投影示意图。
图3本发明的双向插补距离约束示意图。
图4本发明的多约束点到HMLS曲面投影算法示意图。
具体实施方式
下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
基于聚类的多视角配准方法使用聚类中心代替原始数据,相当于对原始点云进行了下采样操作,不可避免的导致点云分辨率下降,影响配准精度。因此对基于K-means聚类的多视角配准方法改进:如图1所示,,先对初始的多帧点云构成的较为粗糙的完整点云进行聚类,获得其聚类中心,然后使用多约束MLS曲面投影的ICP配准方法,将单帧点云向完整点云配准。相当于用MLS曲面代替聚类中心作为完整点云模型,通过双向内插的方法克服了聚类导致的分辨率下降问题。在循环迭代过程中,完整点云不断精确,变换矩阵不断优化。
首先建立多视角配准优化函数,假设有N个待配准的不同视角点云。表示第i个点集的Mi个点云,并用表示多视角点云的总和。假设配准后的点云都是从K个聚类中心表示的完整MLS曲面模型上采样得到的。在多视角配准前,使用粗配准得到初始的刚性变换矩阵多视角配准算法的目标是在对全部M个点云聚类的同时,求解每帧点云与聚类中心之间的全局刚性变换矩阵
K-means聚类是一种非常有效的聚类方法,但是如此导致的点云分辨率下降问题会对配准产生很大影响。因此本发明提出了融合多约束点到MLS曲面投影ICP的多视角点云配准方法。
一种基于K-means聚类中心局部曲面投影的多视角点云配准方法,所述多视角点云配准方法包括以下步骤:
步骤1:给定初始的全局变换矩阵;
步骤2:计算每帧点云的多尺度特征描述子和法向量;
步骤3:通过对聚类中心的最近邻搜索,确定单帧点云中每个点的聚类归属;
步骤4:针对步骤3完整点云中每个点的聚类归属计算同类点集的中心点并将其作为新的聚类中心;
步骤5:对步骤4的聚类中心点集计算多尺度特征描述子和法向量,根据特征描述子相似性,得到原始点相对完整点云的配准对应点;
步骤6:将原始点向对应中心点表示的局部MLS曲面进行双向内插投影,若不满足刚体变换一致性约束条件则进行步骤7,若满足刚体变换一致性约束条件则进行步骤8;
步骤7:将该点对剔除,获得单帧点云的最终匹配点集;
步骤8:将投影点与其对应点视为正确的对应点对;将N个视角点云依次配准,使用式(1)计算全局变换参数:
循环迭代直至相邻两次迭代计算的刚性变换矩阵大致相同或者当迭代次数q超过阈值最大迭代次数Q;
步骤9:基于步骤8的逐帧计算变换矩阵,实现全局优化。
对点云中一点pi,j,设共有L个不同的支撑域半径r1<r2<...<rL。在每个支撑域半径rl中,可以建立局部邻域的协方差矩阵:
式中表示邻域中的一点,K为邻域点的个数,l=1,...,L。对3×3的协方差矩阵Cl进行SVD奇异值分解,可以获得三个特征值λl1≥λl2≥λl3和特征值对应的特征向量nl1、nl2、nl3。将第二个尺度下的特征值最小的特征向量作为该点的法向量ni,j=n23。并且用sl表示归一化特征值向量:
设定Δsl=sl+1-sl,特征描述符Di,j可以表示为:
Di,j=(Δs1,...,ΔsL-1) (4)。
进一步的,所述步骤3具体为,
其中,cq(i,j)为单个点云的聚类归属,如果pi,j归属于第个聚类中心,则cq(i,j)=k。Rq i为当前旋转矩阵,tq i为当前平移矩阵,N为点云帧数,Mj为单帧点云的点数。
进一步的,所述步骤4具体为,
通过式(3),对聚类归属cq(i,j)=k的点计算质心,并将其作为新的聚类中心。
进一步的,所述步骤7具体为,将N个视角点云依次配准,最小化式(4)计算全局变换参数
循环迭代步骤2-6,直至相邻两次迭代计算的刚性变换矩阵大致相同或者当迭代次数q超过阈值最大迭代次数Q。
进一步的,所述步骤8具体为,若满足刚体变换一致性约束条件则将投影点μ'c(i,j)与pi,j视为正确的对应点对;否则剔除。
改进K-means聚类多视角配准算法中点到MLS曲面投影过程如下:
q0沿其k邻域点集的加权法矢量方向n(q0)最小化能量函数e(y,a)得到点qm,循环迭代此过程,最终得到收敛于MLS曲面上的投影点q,则MLS曲面的函数表达式可以定义为:
式中a为投影方向,由每次迭代过程中点qm在局部表面区域的k个邻近点的的加权法矢量表示:
式中y=qm+1=qm+t·a表示迭代收敛过程中产生的新的点,标量t表示单次逼近步长。则点到MLS曲面投影的表达式可以重写为:
式中传统的高斯权函数
改进K-means聚类多视角配准算法中双向插补过程如下:
如图3所示,在目标点集P和源点集Q中多尺度特征描述子相似性约束筛选得到对应点对(pi,qj),并获得对应子集表示的MLS曲面投影区域S(q)和S(p)。由于激光扫描点云的稀疏特性,原始对应点在实际物体中表示的位置是不同的。因此采用双向插补的方法,利用法向量信息和公式(5)分别将两点向对应区域上进行点到MLS曲面投影,得到两对新的对应点(pi,pi')与(qj,qj')。若(pi,pi')与(qj,qj')对应关系正确,则应满足刚体变换一致性约束条件:||pi-pi'||=||qi-qi'||。在实际配准情况中,该条件很难严格满足,因此将该约束条件变化为:
验证多约束点到曲面投影ICP算法在多视角情况下的配准效果,对Bunny、Dragon、Armadillo、Happy数据集进行多视角配准,原始点云与配准效果图如图4所示。首先采用双视角配准算法计算相邻帧点云的变换参数,将多视角点云大致对齐。然后将本发明算法与K-means聚类多视角配准算法进行对比。结合多约束点到MLS曲面投影思想的改进多视角配准算法能够克服聚类造成的完整模型点云分辨率下降的问题,降低旋转误差和平移误差。
Claims (9)
1.一种基于K-means聚类中心局部曲面投影的多视角点云配准方法,其特征在于,所述多视角点云配准方法包括以下步骤:
步骤1:给定初始的全局变换矩阵;
步骤2:计算每帧点云的多尺度特征描述子和法向量;
步骤3:通过对聚类中心的最近邻搜索,确定单帧点云中每个点的聚类归属;
步骤4:针对步骤3完整点云中每个点的聚类归属计算同类点集的中心点并将其作为新的聚类中心;
步骤5:对步骤4的聚类中心点集计算多尺度特征描述子和法向量,根据特征描述子相似性,得到原始点相对完整点云的配准对应点;
步骤6:将原始点向对应中心点表示的局部MLS曲面进行双向内插投影,若不满足刚体变换一致性约束条件则进行步骤7,若满足刚体变换一致性约束条件则进行步骤8;
步骤7:将该点对剔除,获得单帧点云的最终匹配点集;
步骤8:将投影点与其对应点视为正确的对应点对;将N个视角点云依次配准,使用式(1)计算全局变换参数:
循环迭代直至相邻两次迭代计算的刚性变换矩阵大致相同或者当迭代次数q超过阈值最大迭代次数Q;
步骤9:基于步骤8的逐帧计算变换矩阵,实现全局优化。
对点云中一点pi,j,设共有L个不同的支撑域半径r1<r2<...<rL;在每个支撑域半径rl中,建立局部邻域的协方差矩阵:
式中表示邻域中的一点,K为邻域点的个数,l=1,...,L;对3×3的协方差矩阵Cl进行SVD奇异值分解,获得三个特征值λl1≥λl2≥λl3和特征值对应的特征向量nl1、nl2、nl3;将第二个尺度下的特征值最小的特征向量作为该点的法向量ni,j=n23;并且用sl表示归一化特征值向量:
设定Δsl=sl+1-sl,特征描述符Di,j表示为:
Di,j=(Δs1,...,ΔsL-1) (4)。
9.根据权利要求1所述一种基于K-means聚类中心局部曲面投影的多视角点云配准方法,其特征在于,所述步骤8具体为,若满足刚体变换一致性约束条件则将投影点μ'c(i,j)与pi,j视为正确的对应点对;否则剔除。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110667408.4A CN113610903B (zh) | 2021-06-16 | 2021-06-16 | 一种基于K-means聚类中心局部曲面投影的多视角点云配准方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110667408.4A CN113610903B (zh) | 2021-06-16 | 2021-06-16 | 一种基于K-means聚类中心局部曲面投影的多视角点云配准方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113610903A true CN113610903A (zh) | 2021-11-05 |
CN113610903B CN113610903B (zh) | 2023-04-07 |
Family
ID=78303532
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110667408.4A Active CN113610903B (zh) | 2021-06-16 | 2021-06-16 | 一种基于K-means聚类中心局部曲面投影的多视角点云配准方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113610903B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114648445A (zh) * | 2022-03-03 | 2022-06-21 | 电子科技大学 | 一种基于特征点提取及精配准优化的多视角高分辨率点云拼接方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104143210A (zh) * | 2014-07-31 | 2014-11-12 | 哈尔滨工程大学 | 一种多尺度法向特征点云配准方法 |
CN109919984A (zh) * | 2019-04-15 | 2019-06-21 | 武汉惟景三维科技有限公司 | 一种基于局部特征描述子的点云自动配准方法 |
-
2021
- 2021-06-16 CN CN202110667408.4A patent/CN113610903B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104143210A (zh) * | 2014-07-31 | 2014-11-12 | 哈尔滨工程大学 | 一种多尺度法向特征点云配准方法 |
CN109919984A (zh) * | 2019-04-15 | 2019-06-21 | 武汉惟景三维科技有限公司 | 一种基于局部特征描述子的点云自动配准方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114648445A (zh) * | 2022-03-03 | 2022-06-21 | 电子科技大学 | 一种基于特征点提取及精配准优化的多视角高分辨率点云拼接方法 |
CN114648445B (zh) * | 2022-03-03 | 2023-05-30 | 电子科技大学 | 一种基于特征点提取及精配准优化的多视角高分辨率点云拼接方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113610903B (zh) | 2023-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Chen et al. | Unsupervised multi-manifold clustering by learning deep representation | |
Lu et al. | Hregnet: A hierarchical network for large-scale outdoor lidar point cloud registration | |
Patel et al. | Latent space sparse subspace clustering | |
CN113327275B (zh) | 一种基于多约束点到局部曲面投影的点云双视角精配准方法 | |
Zhu et al. | AdaFit: Rethinking learning-based normal estimation on point clouds | |
CN110532921B (zh) | 基于ssd检测广义标签多伯努利视频多目标跟踪方法 | |
Sun et al. | Guide to match: Multi-layer feature matching with a hybrid gaussian mixture model | |
Laga | A survey on deep learning architectures for image-based depth reconstruction | |
Chen et al. | Guide local feature matching by overlap estimation | |
CN112200915A (zh) | 一种基于靶标三维模型纹理影像的前后形变量检测方法 | |
Xu et al. | GLORN: Strong generalization fully convolutional network for low-overlap point cloud registration | |
CN113610903B (zh) | 一种基于K-means聚类中心局部曲面投影的多视角点云配准方法 | |
Münch et al. | A modified ICP algorithm for normal-guided surface registration | |
CN116091727A (zh) | 一种基于多尺度特征描述的复杂曲面点云配准方法、电子设备及存储介质 | |
Ali et al. | Rpsrnet: End-to-end trainable rigid point set registration network using barnes-hut 2d-tree representation | |
CN117876447B (zh) | 一种基于微表面融合与对齐的三维点云配准方法 | |
Yao et al. | Depthssc: Depth-spatial alignment and dynamic voxel resolution for monocular 3d semantic scene completion | |
Sun et al. | Progressive match expansion via coherent subspace constraint | |
Mei et al. | Joint feature selection and optimal bipartite graph learning for subspace clustering | |
CN113674332B (zh) | 一种基于拓扑结构与多尺度特征的点云配准方法 | |
CN110176029A (zh) | 基于层级稀疏表示的图像复原与匹配一体化方法及系统 | |
Guo et al. | Sam-guided graph cut for 3d instance segmentation | |
CN115578574A (zh) | 一种基于深度学习和拓扑感知的三维点云补全方法 | |
Zhao et al. | Visual homing by robust interpolation for sparse motion flow | |
Dai et al. | Mdr-mfi: multi-branch decoupled regression and multi-scale feature interaction for partial-to-partial cloud registration |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |