CN115908112A - 一种面向低重叠率的点云配准方法 - Google Patents

一种面向低重叠率的点云配准方法 Download PDF

Info

Publication number
CN115908112A
CN115908112A CN202211422935.XA CN202211422935A CN115908112A CN 115908112 A CN115908112 A CN 115908112A CN 202211422935 A CN202211422935 A CN 202211422935A CN 115908112 A CN115908112 A CN 115908112A
Authority
CN
China
Prior art keywords
point cloud
point
matrix
source
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211422935.XA
Other languages
English (en)
Inventor
李磊鑫
张云青
谢俊琨
刘坤华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN202211422935.XA priority Critical patent/CN115908112A/zh
Publication of CN115908112A publication Critical patent/CN115908112A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提出一种面向低重叠率的点云配准方法,涉及三维点云配准的技术领域,首先采集源点云和目标点云,然后对源点云和目标点云进行特征提取和下采样,对下采样后的点云在点云邻域范围内进行位置编码,提升了特征表达能力,将位置编码结果与特征相加,接着通过注意力模块和最优传输理论结合,提高点云的同名点对位于点云重叠部分的概率,进而提高点云配准精度,基于相似矩阵的最优传输,不但能求出匹配点对,还能筛去缺失对应点的关键点,通过分数机制和空间相容性原理,构建可信点对集合直接求解转换矩阵,缩短点云配准所花费的时间。

Description

一种面向低重叠率的点云配准方法
技术领域
本发明涉及三维点云配准的技术领域,更具体地,涉及一种面向低重叠率的点云配准方法。
背景技术
三维点云(3D Point Cloud)是指三维空间坐标系下一系列空间点所构成的集合,能够反映三维物体的空间分布和表面特征。根据点云的采集设备不同,点云中还存在除位置信息以外的其他信息,如RGB和激光反射强度信息。
点云配准是指给定源点云P和目标点云Q,通过算法估计出一个转换矩阵,使得P能够通过该转换矩阵变换到Q所在的坐标系下。传统的经典点云配准方法有ICP和NDT两种。ICP方法是通过迭代来求出一个转换矩阵,使得点云P中的每个点pi,在经过变换后与点云qi的平均距离最小。这种方法虽然精度高,但是需要提供一个较好的粗配准初始值,而且容易陷入局部最优解,只适用于重叠率很高的点云配准。NDT方法是采用正态分布匹配进行点云配准,优势在于可以提前计算每个点云的分布,从而节约配准时间。但是其对点云自身密度敏感,且也无法用于重叠率较低的点云配准。
近年来,随着深度学习方法的发展,也有不少学者通过深度神经网络来解决点云配准问题。目前常见的基于深度学习的点云配准的方法有直接法、特征匹配法。直接法的输入为待配准点云对,通过深度神经网络直接预测转换矩阵作为输出。这种方法的问题在于泛化能力差、可解释性弱。而特征匹配法,则基于以下流程对点云进行配准:1.通过网络学习找出两个点云中的关键点。2.提取关键点的描述子。3.根据描述子之间的差别,计算对应的点对。4.采用RANSAC等估计方法计算转换矩阵。如现有技术中公开了一种低重合度点云配准方法,针对低重合度场景下同名点对难以搜索的问题,采用自注意力机制使聚合点对整体点云达到整体感知,同时利用交叉注意力机制显式挖掘重叠区域信息,预测出点云中所有点在重叠区域的置信度,使用概率选择将匹配阶段的点对采样在重叠区域内,提高配准的召回率。同时动态限制卷积核感受野于重叠区域内,避免了无效几何邻域信息提取,提升了逐点特征的精度与准确性。在该方法中,通过用RANSAC方法来筛选外(异常值)点,这种方法需要多次迭代,会造成很高的时间成本,不能准确的找到对应的关键点对。在低重叠率的情况下,大部分关键点在另外一个点云内根本不存在对应点。且很多方法提出的特征,并不具备很好的空间旋转、平移不变性质,当输入点云空间位置发生改变时,无法给出正确的匹配点对,从而导致误差增大,点云配准精度不高。
发明内容
为解决如何对低重叠率的点云进行配准以及配准中花费时间长、配准精度低的问题,本发明提出了一种面向抵充叠率的点云配准方法,在点云配准前,点云特征提取的表达能力强,在点云配准过程中,噪声和异常值干扰小,最后挑选可信点直接配准,避免时间耗费长的弊端,提高了点云配准精度。
为了达到上述技术效果,本发明的技术方案如下:
一种面向低重叠率的点云配准方法,所述方法包括以下步骤:
S1.获取源点云数据和目标点云数据;
S2.对源点云和目标点云下采样至同一密度后归一化点云,然后对点云进行空间卷积,实现特征提取,获得下采样后的点云及每个点云对应的特征;
S3.对下采样后的点云在点云邻域范围内进行位置编码,将位置编码结果与特征相加后,输入注意力模块,输出源点云和目标点云对应的特征;
S4.将S3得到的特征做内积,得到相似矩阵,相似矩阵的元素为源点云与目标点云对应点特征的内积,对相似矩阵进行扩充处理后,求解相似矩阵的最优传输,得到分数矩阵;
S5.从分数矩阵中确定源点云与目标点云的同名点对集合,从同名点对集合中通过空间相容性进一步筛选出多个可信同名点对集合;
S6.对于每个可信同名点对集合,通过分数阈值,确定可信点对集合中分数大于分数阈值的同名点对,然后基于此类同名点对,求得源点云到目标点云的转换矩阵,完成点云配准。
优选地,在步骤S2中,对源点云和目标点云下采样至同一密度后归一化点云,然后对点云进行空间卷积,实现特征提取,获得下采样后的点云及每个点云对应的特征的过程为:
S21.将源点云与目标点云合于一个点云W上,记录点云W上的每个点分属于源点云还是目标点云;
S22.对源点云和目标点云下采样至同一密度,然后归一化点云坐标,引入空间卷积网络,进行特征提取,输出下采样后的点云及每个点云对应的特征;
S23.根据S21记录的每个点所属源点云还是目标点云,将S22输出的点云分开为下采样后的源点云Px及其对应的特征Fx、下采样后的目标点云Py及其对应的特征Fy,其中,x表示下采样前的源点云,y表示下采样前的目标点云,设源点云x经过下采样后还剩下N个点,则Px是一个N*3的矩阵结构,“3”表示三维的坐标,Fx则是一个N*d的数据结构,d表示特征向量的长度,根据空间卷积网络的不同而不同。
在此,对输入的点云做特征提取和下采样,一是为了减少点云中点的个数,从而减轻后续的点云配准过程中的计算压力,二是为了通过下采样的方式,将源点云和目标点云的点云密度调整至同一水平,有助于后续更好的找到点云同名点对。
优选地,空间卷积网络为公开的点云特征提取网络。
优选地,步骤S3所述对下采样后的点云在点云邻域范围内进行位置编码的方式为:
Figure BDA0003942717870000031
Figure BDA0003942717870000032
Figure BDA0003942717870000033
其中,Ni表示下采样后的点云中点pi邻域范围内的点所构成的集合,n表示每个点特征的长度;δi表示点pi邻域范围内的所有点到点pi的距离的二范数;位置编码与特征相加,得到F’x,F’y
在此,本方案采取位置编码时,并不编码该点在整个点云中的位置,而是在点云邻域范围内进行编码,由于点云具有无序性,直接编码点在点云中的位置,并不能带给点云配准有效的信息,而对点云邻域范围内的信息编码,即可更好的获取该点的相对位置信息。
优选地,所述注意力模块包括依次连接的自注意力机制网络和交叉注意力机制网络,自注意力机制网络使每个点与所有点产生交互,交叉注意力机制网络寻找源点云与目标点云内结构相似的地方,使两个点云重叠区域的特征明显化,其中,自注意力机制的过程为:
MHattn(Q,K,V)=(head1,...,haedn)WO
Figure BDA0003942717870000041
Figure BDA0003942717870000042
其中,WO,
Figure BDA0003942717870000043
表示网络中要学习的参数,(,…,)代表拼接操作,对于源点云,自注意力机制网络中的实现过程满足MHattn(F′x,F′x,F′x),交叉注意力机制网络中的实现过程满足MHattn(F′x,F′y,F′y);对于目标点云,自注意力机制网络中的实现过程满足MHattn(F′y,F′y,F′y),交叉注意力机制网络中的实现过程满足MHattn(F′y,F′x,F′x),经过多个自注意力机制网络和交叉注意力机制网络后,得到特征
Figure BDA0003942717870000044
在此,自注意力机制网络相较于空间卷积只能聚和邻点周围的信息,注意力机制能够让每个点与所有点产生交互,大大的提升了特征提取感受野范围。而交叉注意力机制网络则用于寻找源点云和目标点云内结构相似的地方,从而使得两个点云重叠区域的特征更为明显。
优选地,设将S3得到的特征
Figure BDA0003942717870000045
做内积后,得到相似矩阵S;特征的内积能够代表两个点的特征的相似性,视作对应点的粗略分数,则相似矩阵S的元素Sij为源点云第i个点和目标点云第j个点是同名点对的分数,对相似矩阵做一行一列扩充处理;然后,利用Sinkhorn算法求解相似矩阵S的最优传输,得到分数矩阵。
优选地,在步骤S5中,从分数矩阵中确定源点云与目标点云的同名点对集合的过程为:
从分数矩阵中取行和列均为最大值的元素,将该元素对应的行号和列号作为源点云和目标点云同名点对的序号,记同名点对集合为C,该元素值作为同名点对的分数。记dij=|||xi-xj||-||yi-yj|||,其中,xi,yi分别代表同名点对ci的源点云和目标点云的坐标,利用空间相容性原理从同名点对集合中筛选出可信点对集合。若ci为真正的同名点对,由于刚体变换不改变物体本身的形状,则变换前后点云内相同两个点之间的距离不变,即dij必定为0,考虑点云存在的噪音干扰情况,设定阈值τ,当dij≤τ时,ci和cj是空间相容的。此处,τ是一个极小的参数,根据点云密度和噪音情况设置。
优选地,在利用空间相容性原理从同名点对集合中筛选出可信点对集合时,利用二阶空间相容性对筛选过程进行增强,其中,一阶空间相容性矩阵SC(1)构造为:
Figure BDA0003942717870000051
Figure BDA0003942717870000052
二阶空间相容性矩阵SC(2)构造为:SC(2)=SC(1)*(SC(1)×SC(1))
其中,*代表矩阵点乘操作,×代表矩阵叉乘操作;
Figure BDA0003942717870000053
表示与点对ci和点对cj同时满足空间相容性的其他点对的数量;在求出二阶空间相容性矩阵后,每次选择一个分数最大的点对,然后找到在二阶相容性矩阵中的前k个点对作为一个可信点对集合,得到可信点对集合C*
在此,考虑即使是错误的对应点,也可能存在dij较小的情况,在异常点对过多时,这种方法筛除错误的异常点对的几率不高,引入二阶空间相容性对筛选过程进行了增强,提高了筛除错误的异常点对的几率。
优选地,从同名点对集合中筛选出可信点对集合时,使用指定阈值筛除或基于深度学习的方式筛除的方式。
优选地,源点云到目标点云的转换矩阵(R,t)的表达式为:
Figure BDA0003942717870000054
其中,(xi,yi)∈C*即为最终符合条件的同名点对,wi为点对对应的分数,R代表三维空间旋转矩阵,其大小为3*3,t代表三维空间平移向量,其大小为1*3,通过R,t能够表述三维空间中任何的平移旋转形式,最终点云配准的目标任务也就是求出一组(R,t),使其作用在源点云上得到的新点云与目标点云的平均距离最小。在得到C*后,利用带权重的矩阵奇异值分解算法求解转换矩阵(R,t)的表达式,每一个可信点对集合得到一个转换矩阵,遍历这些转换矩阵,选择效果最佳的转换矩阵作为源点云到目标点云的配准结果。
与现有技术相比,本发明技术方案的有益效果是:
本发明提出一种面向低重叠率的点云配准方法,首先采集源点云和目标点云,然后对源点云和目标点云进行特征提取和下采样,对下采样后的点云在点云邻域范围内进行位置编码,提升了特征表达能力,将位置编码结果与特征相加,接着通过注意力模块和最优传输结合,使得点云的同名点对能够位于点云的重叠部分,从而提高点云配准精度,基于相似矩阵的最优传输,不但能求出匹配点对,还能筛去缺失对应点的关键点,通过分数机制,挑选足够可信的点对直接配准,减小点云配准所花费的时间。
附图说明
图1表示本发明实施例1中提出的面向低重叠率的点云配准方法的流程示意图;
图2表示本发明实施例2中提出的点云配准方法实施的网络结构示意图;
图3表示本发明实施例2中提出的空间相容性原理的示意图;
图4表示本发明实施例2中提出的一阶、二阶空间相容性矩阵示意图。
具体实施方式
附图仅用于示例性说明,不能理解为对本专利的限制;
为了更好地说明本实施例,附图某些部位会有省略、放大或缩小,并不代表实际尺寸;
对于本领域技术人员来说,附图中某些公知内容说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
附图中描述位置关系的仅用于示例性说明,不能理解为对本专利的限制。
实施例1
本实施例主要针对现有的三维点云配准方法中存在的以下几点问题,提出了一种面向低重叠率的点云配准方法。
(1)低重叠率点云配准表现差。很多基于学习的三位点云配准方法都是经过特征提取后,通过特征之间的的相似度选取同名点对,随后以RANSAC方法来筛选出合适点对来进行估计。这种方法不能保证选取的同名点对在重叠区域,且错误率较高,效果不好。
(2)当前的点云特征描述子大多是通过点的邻域信息构建的。基于学习的方法,一般是使用3D-卷积的方法提取特征,而传统的点云特征,如FPFH特征描述子,也是只考虑了点云的邻域信息。这些方法没有充分利用点云的整体信息以及两个点云之间的信息,这使得配准效果受到限制。
(3)大多数点云配准方法需要用RANSAC方法,通过随机采样一致的方法找出最优的转换矩阵,所耗费的时间较长,仅适用于同名点对正确率高的情况。
参见图1,所述方法包括以下步骤:
S1.获取源点云数据和目标点云数据;在本实施例中,采用专门的点云收集设备,针对具体的应用场景,对源点云数据和目标点云数据进行收集,必要时还需进行预处理。
S2.对源点云和目标点云下采样至同一密度后归一化点云,然后对点云进行空间卷积,实现特征提取,获得下采样后的点云及每个点云对应的特征;此步骤对应的过程为:
S21.将源点云与目标点云合于一个点云W上,记录点云W上的每个点分属于源点云还是目标点云;
S22.对源点云和目标点云下采样至同一密度,然后归一化点云坐标,引入空间卷积网络,进行特征提取,输出下采样后的点云及每个点云对应的特征;在本实施例中,空间卷积网络为公开的点云特征提取网络,如KPConv、PointNet++等主干网络。
S23.根据S21记录的每个点所属源点云还是目标点云,将S22输出的点云分开为下采样后的源点云Px及其对应的特征Fx、下采样后的目标点云Py及其对应的特征Fy,其中,x表示下采样前的源点云,y表示下采样前的目标点云,设源点云x经过下采样后还剩下N个点,则Px是一个N*3的矩阵结构,“3”表示三维的坐标,Fx则是一个N*d的数据结构,d表示特征向量的长度,根据空间卷积网络的不同而不同。
S3.对下采样后的点云在点云邻域范围内进行位置编码,将位置编码结果与特征相加后,输入注意力模块,输出源点云和目标点云对应的特征;
在本实施例中,注意力模块包括包括依次连接的自注意力机制网络和交叉注意力机制网络,具体实施时,将经过多个自注意力机制和交叉注意力机制模块交叠使用,充分利用了点云自身的信息,以及源点云和目标点云的信息,提取出的特征相对其他的特征子描述方法效果更好。
S4.将S3得到的特征做内积,得到相似矩阵,相似矩阵的元素为源点云与目标点云同名点对的分数,对相似矩阵进行扩充处理后,求解相似矩阵的最优传输,得到分数矩阵;
S5.从分数矩阵中确定源点云与目标点云的同名点对集合,从同名点对集合中通过空间相容性进一步筛选出多个可信同名点对集合;
S6.对于每个可信同名点对集合,通过分数阈值,确定可信点对集合中分数大于分数阈值的同名点对,然后基于此类同名点对,求得源点云到目标点云的转换矩阵,完成点云配准。
通过S4~S6的过程实施,将特征做内积后,通过求解最优传输问题来使得源点云和目标点云在概率分布上趋于一致,从而更准确的找到同名点对。另外由于同名点对具有很高的精确性,因此部分异常点对可以通过空间相容性原理筛去。这样该方法得到的点对要比其他方法的点对更为准确,相差不会过大。在求出同名点对后,由于点对关系较为准确,不需要使用RANSAC方法去选取内点估计转换矩阵。而是通过空间相容性质选取多个点对集合,随后直接利用奇异值分解法球最小约束问题计算出最优转换矩阵,大大减少了点云配准所花费的时间。
实施例2
针对于实施例1所提出的点云配准的方法流程,其实施对应的网络结构图可参见图2,通过图2可以看出,这些发明主要分为三部分,第一部分为对源点云和目标点云通过相同的网络进行提取特征和下采样,第二部分对特征进行自注意力和交叉注意力,得到同名点对关系,第三部分是通过同名点对求解转换矩阵。
在具体实施时,第一部分对源点云和目标点云做下采样和特征提取,一是为了减少点云中点的个数,从而减轻后续的点云配准过程中的计算压力,二是为了通过下采样的方式,将源点云和目标点云的点云密度调整至同一水平,有助于后续更好的找到点云同名点对。
第二部分实施时,首先要对特征进行位置编码,本部分采取的位置编码并不编码该点在整个点云中的位置,而是在点云邻域范围内进行编码,由于点云具有无序性,直接编码点在点云中的位置,并不能带给点云配准有效的信息,而对点云邻域范围内的信息编码,即可更好的获取该点的相对位置信息。对下采样后的点云在点云邻域范围内进行位置编码的方式为:
Figure BDA0003942717870000081
Figure BDA0003942717870000082
Figure BDA0003942717870000083
其中,Ni表示下采样后的点云中点pi邻域范围内的点所构成的集合,n表示每个点特征的长度;δ表示点pi邻域范围内的所有点到点pi的距离的二范数;位置编码与特征相加,得到F’x,F’y
如图2所示,所提的注意力模块包括依次连接的自注意力机制网络和交叉注意力机制网络,自注意力机制网络使每个点与所有点产生交互,交叉注意力机制网络寻找源点云与目标点云内结构相似的地方,使两个点云重叠区域的特征明显化,其中,自注意力机制的过程为:
MHattn(Q,K,V)=(head1,...,haedn)WO
Figure BDA0003942717870000091
Figure BDA0003942717870000092
其中,WO,
Figure BDA0003942717870000093
表示网络中要学习的参数,(,…,)代表拼接操作,对于源点云,自注意力机制网络中的实现过程满足MHattn(F′x,F′x,F′x),交叉注意力机制网络中的实现过程满足MHattn(F′x,F′y,F′y);对于目标点云,自注意力机制网络中的实现过程满足MHattn(F′y,F′y,F′y),交叉注意力机制网络中的实现过程满足MHattn(F′y,F′x,F′x),经过多个自注意力机制网络和交叉注意力机制网络后,得到特征
Figure BDA0003942717870000094
将S3得到的特征
Figure BDA0003942717870000095
做内积后,得到相似矩阵S;特征的内积能够代表两个点的特征的相似性,可视作对应点的粗略分数,则相似矩阵S的元素Sij为源点云第i个点和目标点云第j个点是同名点对的分数,相似矩阵S的元素Sij为源点云第i个点和目标点云第j个点是同名点对的分数,对相似矩阵做一行一列扩充处理;
在具体实施时,设该矩阵大小为m*n,其中m,n分别代表降采样后点云Px,Py的点的数量,对S矩阵进行扩充1行1列S′,使其变成,大小为(m+1)*(n+1),多出来的一行一列用于存储没有找到对应匹配点的点;然后,利用Sinkhorn算法求解相似矩阵S的最优传输,得到分数矩阵P′,将分数矩阵P′删去第m+1行,n+1列,得到分数矩阵P。
在步骤S5中,从分数矩阵中确定源点云与目标点云的同名点对集合的过程为:
从分数矩阵中取行和列均为最大值的元素,将该元素对应的行号和列号作为源点云和目标点云同名点对的序号,记同名点对集合为C,该元素值作为同名点对的分数。记dij=|||xi-xj||-||yi-yj|||,其中,xi,yi分别代表同名点对ci的源点云和目标点云的坐标,利用空间相容性原理从同名点对集合中筛选出可信点对集合。若ci为真正的同名点对,由于刚体变换不改变物体本身的形状,则变换前后点云内相同两个点之间的距离不变,即dij必定为0,考虑点云存在的噪音干扰情况,设定阈值τ,当dij≤τ时,ci和cj是空间相容的。此处,τ是一个极小的参数,根据点云密度和噪音情况设置。
空间相容性示意图可参见图3,在图3中,c1,c2,c3为正确匹配的点对,而c4为异常匹配的点对。d23和d′23作为两个正常点对之间的距离,由刚体变换的性质可知,d23=d′23。而作为异常点对与正常点对的距离,d34和d′34则不一定相等。此图只是说明距离不变,在刚体变换中,除了距离之外,角度、法向量等信息也不会发生变化,因此也可以使用这些信息进行筛选。当我们的网络模型结构所提取的匹配点对其正确点对在点对中比例较高的时候,可以直接通过空间相容性原理筛出其中的错误点对。
由图3可以看出即使是错误的对应点,也可能存在dij较小的情况,在异常点对过多时,这种方法筛除错误的异常点对的几率不高。为了解决这一问题,如图4所示,可以使用二阶空间相容性对筛选过程进行增强。在利用空间相容性原理从同名点对集合中筛选出可信点对集合时,利用二阶空间相容性对筛选过程进行增强,其中,一阶空间相容性矩阵SC(1)构造为:
Figure BDA0003942717870000101
Figure BDA0003942717870000102
二阶空间相容性矩阵SC(2)构造为:SC(2)=SC(1)*(SC(1)×SC(1))
其中,*代表矩阵点乘操作,×代表矩阵叉乘操作;
Figure BDA0003942717870000103
表示与点对ci和点对cj同时满足空间相容性的其他点对的数量;在求出二阶空间相容性矩阵后,每次选择一个分数最大的点对,然后找到在二阶相容性矩阵中的前k个点对作为一个可信点对集合,得到可信点对集合C*
最后根据这些点对,根据分数阈值,取分数值大于阈值的点对,源点云到目标点云的转换矩阵(R,t)的表达式为:
Figure BDA0003942717870000104
其中,(xi,yi)∈C*即为最终符合条件的同名点对,wi为点对对应的分数,R代表三维空间旋转矩阵,其大小为3*3,t代表三维空间平移向量,其大小为1*3,通过R,t能够表述三维空间中任何的平移旋转形式,最终点云配准的目标任务也就是求出一组(R,t),使其作用在源点云上得到的新点云与目标点云的平均距离最小。在得到C*后,利用带权重的矩阵奇异值分解算法求解转换矩阵(R,t)的表达式,每一个可信点对集合得到一个转换矩阵,遍历这些转换矩阵,选择效果最佳的转换矩阵作为源点云到目标点云的配准结果。
实施例3
与实施例2中的基本实施一致,在从同名点对集合中筛选出可信点对集合时,还可以使用指定阈值筛除或基于深度学习的方式筛除的方式,基于深度学习的方式筛除如PointDSC模型等。
显然,本发明的上述实施例仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种面向低重叠率的点云配准方法,其特征在于,所述方法包括以下步骤:
S1.获取源点云数据和目标点云数据;
S2.对源点云和目标点云下采样至同一密度后归一化点云,然后对点云进行空间卷积,实现特征提取,获得下采样后的点云及每个点云对应的特征;
S3.对下采样后的点云在点云邻域范围内进行位置编码,将位置编码结果与特征相加后,输入注意力模块,输出源点云和目标点云对应的特征;
S4.将S3得到的特征做内积,得到相似矩阵,相似矩阵的元素为源点云与目标点云对应点特征的内积,对相似矩阵进行扩充处理后,求解相似矩阵的最优传输,得到分数矩阵;
S5.从分数矩阵中确定源点云与目标点云的同名点对集合,从同名点对集合中通过空间相容性进一步筛选出多个可信同名点对集合;
S6.对于每个可信同名点对集合,通过分数阈值,确定可信点对集合中分数大于分数阈值的同名点对,然后基于此类同名点对,求得源点云到目标点云的转换矩阵,完成点云配准。
2.根据权利要求1所述的面向低重叠率的点云配准方法,其特征在于,在步骤S2中,对源点云和目标点云下采样至同一密度后归一化点云,然后对点云进行空间卷积,实现特征提取,获得下采样后的点云及每个点云对应的特征的过程为:
S21.将源点云与目标点云合于一个点云W上,记录点云W上的每个点分属于源点云还是目标点云;
S22.对源点云和目标点云下采样至同一密度,然后归一化点云坐标,引入空间卷积网络,进行特征提取,输出下采样后的点云及每个点云对应的特征;
S23.根据S21记录的每个点所属源点云还是目标点云,将S22输出的点云分开为下采样后的源点云Px及其对应的特征Fx、下采样后的目标点云Py及其对应的特征Fy,其中,x表示下采样前的源点云,y表示下采样前的目标点云,设源点云x经过下采样后还剩下N个点,则Px是一个N*3的矩阵结构,“3”表示三维的坐标,Fx则是一个N*d的数据结构,d表示特征向量的长度,根据空间卷积网络的不同而不同。
3.根据权利要求2所述的面向低重叠率的点云配准方法,其特征在于,空间卷积网络为公开的点云特征提取网络。
4.根据权利要求2所述的面向低重叠率的点云配准方法,其特征在于,步骤S3所述对下采样后的点云在点云邻域范围内进行位置编码的方式为:
Figure FDA0003942717860000021
Figure FDA0003942717860000022
Figure FDA0003942717860000023
其中,Ni表示下采样后的点云中点pi邻域范围内的点所构成的集合,n表示每个点特征的长度;δ表示点pi邻域范围内的所有点到点pi的距离的二范数;位置编码与特征相加,得到F’x,F’y
5.根据权利要求4所述的面向低重叠率的点云配准方法,其特征在于,所述注意力模块包括依次连接的自注意力机制网络和交叉注意力机制网络,自注意力机制网络使每个点与自身点云内所有点产生交互,交叉注意力机制网络寻找源点云与目标点云内结构相似的地方,使两个点云重叠区域的特征明显化,其中,自注意力机制的过程为:
MHattn(Q,K,V)=(head1,...,haedn)WO
Figure FDA0003942717860000024
Figure FDA0003942717860000025
其中,WO,
Figure FDA0003942717860000026
表示网络中要学习的参数,(,…,)代表拼接操作,对于源点云,自注意力机制网络中的实现过程满足MHattn(F′x,F′x,F′x),交叉注意力机制网络中的实现过程满足MHattn(F′x,F′y,F′y);对于目标点云,自注意力机制网络中的实现过程满足MHattn(F′y,F′y,F′y),交叉注意力机制网络中的实现过程满足MHattn(F′y,F′x,F′x),经过多个自注意力机制网络和交叉注意力机制网络后,得到特征
Figure FDA0003942717860000027
6.根据权利要求5所述的面向低重叠率的点云配准方法,其特征在于,设将S3得到的特征
Figure FDA0003942717860000028
做内积后,得到相似矩阵S;特征的内积能够代表两个点的特征的相似性,可视作对应点的粗略分数,则相似矩阵S的元素Sij为源点云第i个点和目标点云第j个点是同名点对的分数,对相似矩阵做一行一列扩充处理;然后,利用Sinkhorn算法求解相似矩阵S的最优传输,得到分数矩阵。
7.根据权利要求6所述的面向低重叠率的点云配准方法,其特征在于,在步骤S5中,从分数矩阵中确定源点云与目标点云的同名点对集合的过程为:
从分数矩阵中取行和列均为最大值的元素,将该元素对应的行号和列号作为源点云和目标点云同名点对的序号,记同名点对集合为C,该元素值作为同名点对的分数;记dij=||xi-xj||-||yi-yj|||,其中,xi,yi分别代表同名点对ci的源点云和目标点云的坐标,利用空间相容性原理从同名点对集合中筛选出可信点对集合;若ci为真正的同名点对,由于刚体变换不改变物体本身的形状,则变换前后点云内相同两个点之间的距离不变,即dij必定为0,考虑点云存在的噪音干扰情况,设定阈值τ,当dij≤τ时,ci和cj是空间相容的;此处,τ是一个极小的参数,根据点云密度和噪音情况设置。
8.根据权利要求7所述的面向低重叠率的点云配准方法,其特征在于,在利用空间相容性原理从C中筛选出可信点对集合时,利用二阶空间相容性对筛选过程进行增强,其中,一阶空间相容性矩阵SC(1)构造为:
Figure FDA0003942717860000031
Figure FDA0003942717860000032
二阶空间相容性矩阵SC(2)构造为:SC(2)=SC(1)*(SC(1)×SC(1))
其中,*代表矩阵点乘操作,×代表矩阵叉乘操作;
Figure FDA0003942717860000033
表示与点对ci和点对cj同时满足空间相容性的其他点对的数量;在求出二阶空间相容性矩阵后,每次从C中选择一个当前尚未被选择的分数最大的点对,然后找到在二阶相容性矩阵中的前k个点对作为一个可信点对集合,得到可信点对集合C*
9.根据权利要求6所述的面向低重叠率的点云配准方法,其特征在于,从同名点对集合中筛选出可信点对集合时,可以使用指定阈值筛除或基于深度学习的方式筛除的方式。
10.根据权利要求8或9所述的面向低重叠率的点云配准方法,其特征在于,源点云到目标点云的转换矩阵(R,t)的表达式为:
Figure FDA0003942717860000034
其中,(xi,yi)∈C*即为最终符合条件的同名点对,wi为点对对应的分数,R代表三维空间旋转矩阵,其大小为3*3,t代表三维空间平移向量,其大小为1*3,通过R,t能够表述三维空间中任何的平移旋转形式,最终点云配准的目标任务也就是求出一组(R,t),使其作用在源点云上得到的新点云与目标点云的平均距离最小;在得到C*后,利用带权重的矩阵奇异值分解算法求解转换矩阵(R,t)的表达式,每一个可信点对集合得到一个转换矩阵,遍历这些转换矩阵,选择效果最佳的转换矩阵作为源点云到目标点云的配准结果。
CN202211422935.XA 2022-11-14 2022-11-14 一种面向低重叠率的点云配准方法 Pending CN115908112A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211422935.XA CN115908112A (zh) 2022-11-14 2022-11-14 一种面向低重叠率的点云配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211422935.XA CN115908112A (zh) 2022-11-14 2022-11-14 一种面向低重叠率的点云配准方法

Publications (1)

Publication Number Publication Date
CN115908112A true CN115908112A (zh) 2023-04-04

Family

ID=86490792

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211422935.XA Pending CN115908112A (zh) 2022-11-14 2022-11-14 一种面向低重叠率的点云配准方法

Country Status (1)

Country Link
CN (1) CN115908112A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116401794A (zh) * 2023-06-09 2023-07-07 四川大学 基于注意力引导的深度点云配准的叶片三维精确重建方法
CN116523982A (zh) * 2023-05-12 2023-08-01 北京长木谷医疗科技股份有限公司 基于相似度兼容性度量的稀疏点云配准方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116523982A (zh) * 2023-05-12 2023-08-01 北京长木谷医疗科技股份有限公司 基于相似度兼容性度量的稀疏点云配准方法及装置
CN116523982B (zh) * 2023-05-12 2024-05-03 北京长木谷医疗科技股份有限公司 基于相似度兼容性度量的稀疏点云配准方法及装置
CN116401794A (zh) * 2023-06-09 2023-07-07 四川大学 基于注意力引导的深度点云配准的叶片三维精确重建方法
CN116401794B (zh) * 2023-06-09 2023-08-15 四川大学 基于注意力引导的深度点云配准的叶片三维精确重建方法

Similar Documents

Publication Publication Date Title
Shi et al. A deeply supervised attention metric-based network and an open aerial image dataset for remote sensing change detection
Yu et al. Stacked convolutional sparse denoising auto-encoder for identification of defect patterns in semiconductor wafer map
CN108960140B (zh) 基于多区域特征提取和融合的行人再识别方法
CN115908112A (zh) 一种面向低重叠率的点云配准方法
He et al. A dual global–local attention network for hyperspectral band selection
CN110929080B (zh) 基于注意力和生成对抗网络的光学遥感图像检索方法
CN113657450B (zh) 基于注意机制的陆战场图像-文本跨模态检索方法及其系统
JP2011008631A (ja) 画像変換方法及び装置並びにパターン識別方法及び装置
CN113435253B (zh) 一种多源影像联合城区地表覆盖分类方法
Xia et al. A deep Siamese postclassification fusion network for semantic change detection
CN110969613B (zh) 一种具有影像征象解释的肺结核智能识别方法及系统
CN114283120B (zh) 一种基于领域自适应的端到端多源异质遥感影像变化检测方法
CN115496928A (zh) 基于多重特征匹配的多模态图像特征匹配方法
CN109002771B (zh) 一种基于递归神经网络的遥感图像分类方法
CN112733627A (zh) 一种基于融合局部与全局特征网络的指静脉识别方法
CN108805280B (zh) 一种图像检索的方法和装置
CN115187786A (zh) 一种基于旋转的CenterNet2目标检测方法
Gao et al. Adaptive spatial tokenization transformer for salient object detection in optical remote sensing images
CN116363750A (zh) 人体姿态预测方法、装置、设备及可读存储介质
Kishore et al. A Multi-class SVM Based Content Based Image Retrieval System Using Hybrid Optimization Techniques.
Ou et al. CBW-MSSANet: A CNN framework with compact band weighting and multiscale spatial attention for hyperspectral image change detection
CN111241326B (zh) 基于注意力金字塔图网络的图像视觉关系指代定位方法
Zeng et al. Multi-level context feature fusion for semantic segmentation of ALS point cloud
Chen et al. IGS-Net: Seeking good correspondences via interactive generative structure learning
Zhou et al. Deep global semantic structure-preserving hashing via corrective triplet loss for remote sensing image retrieval

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination