CN115641365A - 点云配准方法、系统、设备及介质 - Google Patents
点云配准方法、系统、设备及介质 Download PDFInfo
- Publication number
- CN115641365A CN115641365A CN202211028442.8A CN202211028442A CN115641365A CN 115641365 A CN115641365 A CN 115641365A CN 202211028442 A CN202211028442 A CN 202211028442A CN 115641365 A CN115641365 A CN 115641365A
- Authority
- CN
- China
- Prior art keywords
- point
- point clouds
- pieces
- clouds
- registration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000003860 storage Methods 0.000 claims description 13
- 238000013519 translation Methods 0.000 claims description 12
- 238000010276 construction Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 description 25
- 238000010586 diagram Methods 0.000 description 23
- 230000008569 process Effects 0.000 description 12
- 230000009466 transformation Effects 0.000 description 11
- 238000004590 computer program Methods 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000012795 verification Methods 0.000 description 6
- 238000009825 accumulation Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Image Generation (AREA)
Abstract
本发明涉及点云配准方法、系统、设备及介质。点云配准方法包括:获取待配准的多片点云;其中,多片点云中的不同点云具有位置与尺度差异,点云包括多个三维点;根据待配准的多片点云,提取多片点云内的匹配点对,得到多个匹配点对;其中,构成匹配点对的两个三维点来自不同的点云;根据多个匹配点对,构建多片点云的点云间关系图;其中,点云间关系图包括多片点云以及多片点云之间的连线;根据点云间关系图,对待配准的多片点云进行非刚性配准。
Description
技术领域
本发明涉及三维重建技术领域,更具体地,涉及一种点云配准方法、系统、设备及介质。
背景技术
随着三维视觉技术的发展,人们已经可以通过激光扫描仪等设备或者三维重建等技术采集并生成真实场景的三维点云模型,但由于采集方式或计算方法的不同,从不同角度或区域所获得的多片三维点云通常不在统一的参考坐标系下,而对于规模特别大的三维场景也必须分块对其进行重建,这些三维点云通常也不具备统一的参考坐标系。目前,现有方法只考虑两片点云配准的情形,还未将其推广到多片点云配准,且现有技术不能解决具有位置与尺度差异的多片点云的配准问题。
发明内容
本公开实施例的一个目的是提供一种关于点云配准方法的新的技术方案。
根据本公开的第一方面,提供了一种点云配准方法。点云配准方法包括:
获取待配准的多片点云;其中,多片点云中的不同点云具有位置与尺度差异,点云包括多个三维点;根据待配准的多片点云,提取多片点云内的匹配点对,得到多个匹配点对;其中,构成匹配点对的两个三维点来自不同的点云;根据多个匹配点对,构建多片点云的点云间关系图;其中,点云间关系图包括多片点云以及多片点云之间的连线;根据点云间关系图,对待配准的多片点云进行非刚性配准。
可选地,根据待配准的多片点云,提取多片点云内的匹配点对,包括:根据待配准的多片点云,分别提取多片点云的特征信息;其中,特征信息包括多片点云中的三维点的特征描述子;根据多片点云的特征信息,提取多片点云内的匹配点对。
可选地,根据多片点云的特征信息,提取多片点云内的匹配点对,包括:根据多片点云的特征信息,提取任意两片点云中满足特征描述子相似性约束的点对,作为匹配点对。
可选地,根据多个匹配点对,构建多片点云的点云间关系图,包括:根据多片点云中任意两片点云的匹配点对的数量,确定多片点云中的任意两片点云的关联度;根据关联度,对关联度超过预设阈值的两片点云进行连线;其中,关联度为对应的连线的权值。
可选地,根据点云间关系图,对待配准的多片点云进行非刚性配准,包括:获取多片点云的配准模式;其中,多片点云的配准模式包括目标配准路径和目标配准对象;根据目标配准路径,对点云间关系图上的多片点云依次进行非刚性配准。
可选地,根据目标配准路径,对点云间关系图上的多片点云依次进行非刚性配准,包括:当目标配准对象为点云间关系图中任意两个点云时,优先将剩余连线中具有最大权值的连线所对应的两片点云进行第一次非刚性配准。其中,第一次非刚性配准包括对两片点云缩放至同一尺度,并进行相应的平移或者旋转,以使两片点云在同一坐标系中对齐。
可选地,当已配准的多片点云所对应的连线形成一个环路时,目标配准对象为环路中的多片点云,对环路中的多片点云进行第二次非刚性配准。其中,第二次非刚性配准包括对环路中的多片点云缩放至同一尺度,并进行相应的平移或者旋转,以使多片点云在同一坐标系中对齐。
根据本说明书的第二方面,还提供了一种点云配准系统。点云配准系统包括:数据获取模块,用于获取待配准的多片点云;其中,多片点云中的不同点云具有位置与尺度差异,点云包括多个三维点;点对提取模块,用于根据待配准的多片点云,提取多片点云内的匹配点对,得到多个匹配点对,其中,构成匹配点对的两个三维点来自不同的点云;关系构建模块,用于根据多个匹配点对,构建多片点云的点云间关系图;其中,点云间关系图包括多片点云以及多片点云之间的连线;点云配准模块,用于根据点云间关系图,对待配准的多片点云进行非刚性配准。
根据本发明说明书的第三方面,还提供了一种电子设备。电子设备包括处理器和存储器,存储器存储有计算机指令,计算机指令被处理器运行时,执行如第一方面中任一项的点云配准方法的步骤。
根据本发明说明书的第四方面,还提供了一种计算机可读存储介质。其上存储有计算机指令,计算机指令被处理器运行时执行如第一方面中任一项的点云配准方法的步骤。
本公开实施例提供的点云配准方法,通过对已获取的待配准的多片点云提取多片点云内的匹配点对,得到多个匹配点对。根据多个匹配点对,构建多片点云的点云间关系图。再根据该点云间关系图,对待配准的多片点云进行非刚性配准。通过这种方式,能够有效地对多片具有位置与尺度差异的三维点云进行配准,且配准的误差较小,在大规模场景重建等问题当中具有良好的实用价值。
通过以下参照附图对本发明的示例性实施例的详细描述,本发明的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例,并且连同其说明一起用于解释本发明的原理。
图1是可用于实现一个实施例的电子设备的硬件配置结构图;
图2是根据一个实施例的点云配准方法的流程示意图;
图3是根据再一个实施例的点云配准方法的流程示意图;
图4是根据一个实施例的点云配准系统的示意图;
图5为根据一个实施例的电子设备的示意图。
具体实施方式
现在将参照附图来详细描述本申请的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本申请及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它例子可以具有不同的值。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
<实施环境和硬件配置>
图1为可以应用本发明实施例的点云配准方法的电子设备1000的硬件配置结构图。
如图1所示,电子设备1000可以包括处理器1100、存储器1200、接口装置1300、显示装置1400、输入装置1500等。其中,处理器1100用于执行计算机程序,该计算机程序可以采用比如x86、Arm、RISC、MIPS、SSE等架构的指令集。存储器1200例如包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置1300为实体接口,例如USB接口或耳机接口等。显示装置1400可以是显示屏,该显示屏可以是触摸显示屏。输入装置1500可以包括键盘、鼠标等,也可以包括触摸装置。
在本实施例中,电子设备1000的存储器1200用于存储计算机程序,该计算机程序用于控制处理器1100进行操作以实施根据任意实施例的点云配准方法。技术人员可以根据本说明书所公开方案设计计算机程序。该计算机程序如何控制处理器1100进行操作,这是本领域公知,故在此不再详细描述。
本领域技术人员应当理解,尽管在图1中示出了电子设备1000的多个装置,但是,本公开实施例的电子设备1000可以仅涉及其中的部分装置,也可以还包含其他装置,在此不做限定。
<方法实施例>
图2示出了根据一个实施例的点云配准方法,该点云配准方法可以由如图1所示的电子设备1000实施。
该点云配准方法可以包括以下步骤S1000至S1300:
步骤S1000,获取待配准的多片点云;其中,多片点云中的不同点云具有位置与尺度差异,点云包括多个三维点。
根据本公开的实施例,首先可以获取待配准的多片具有位置与尺度差异的三维点云。其中,每片待配准的三维点云包括多个三维点。由于待配准的多片点云在位置以及尺度上均存在差异,因而其不能在同一坐标系中对齐。
步骤S1100,根据待配准的多片点云,提取多片点云内的匹配点对,得到多个匹配点对;其中,构成匹配点对的两个三维点来自不同的点云。
根据获取到的待配准的多片点云,可以根据每片点云中三维点的CSHOT(ColorSignature of Histograms of OrienTations)特征信息,来提取多片点云之间的匹配点对,计算得到多个匹配点对。其中,每个匹配点对中包括两个三维点。其中需要注意的是,构成匹配点对的两个三维点分别来自于不同的点云。在计算多片点云内的匹配点对的过程中,可以分别计算多片点云中的每两片点云之间的匹配点对。
在本公开的一个实施例中,步骤S1100在根据待配准的多片点云,提取多片点云内的匹配点对,得到多个匹配点对,可以包括如下步骤S1110至S1120,以下予以详细说明:
步骤S1110,根据待配准的多片点云,分别提取多片点云的特征信息;其中,特征信息包括多片点云中的三维点的特征描述子。
在获取待配准的多片点云之后,对待配准的多片三维点云计算其包含颜色信息的CSHOT特征描述子,并使用主成分分析(PrincipalComponents Analysis,PCA)的方法提取点云中每个三维点的主要特征信息,即CSHOT特征描述子。其中,CSHOT特征描述子一共包含1344维,分别描述了三维点邻域内不同方向上的颜色与形状信息。由于CSHOT特征没有使用点之间的绝对距离来描述采样点邻域内的性质,因此对于尺度的变化较为鲁棒,能够适用于具备位置与尺度差异的多片三维点云之间的配准。
在本公开的一个实施例中,通过提取CSHOT特征描述子的前30维的显著分量构成低维的特征子空间,以加速特征匹配的过程。对于本申请实施例中提取CSHOT特征描述子的维度数量,可以根据实际情况人为设定,此处不作限制。
步骤S1120,根据多片点云的特征信息,提取多片点云内的匹配点对。
在计算完多片点云中的多个三维点云的特征信息之后,还需要根据多个三维点云的特征信息进行特征匹配,计算得到多片点云内的匹配点对。对此,本公开的实施例提供了一种基于相似特征三角形约束的特征匹配方法,可以根据多片点云中三维点的特征描述子,提取任意两片点云中的匹配点对,并过滤掉其中的退化三角形以减少可能出现的点云噪声与错误匹配。
在本公开的一个实施例中,步骤S1120在根据多片点云的特征信息,提取多片点云内的匹配点对,可以包括如下步骤S1121,以下予以详细说明:
步骤S1121,根据多片点云的特征信息,提取任意两片点云中满足特征描述子相似性约束的点对,作为匹配点对。
对于多片点云中的任意两片点云,根据这两片点云中三维点的特征描述子,每三组能够匹配到一起的三维点一定能构成相似三角形。根据该原理,以提取多片点云中的点云P和点云Q的匹配点对为例,对于点云P中的一组三维点与点云Q中的一组三维点当这些三维点满足如下相似特征三角形约束时,就可以认为这些三维点构成两片点云之间的匹配点对。相似特征三角形约束具体如下:
约束一:三维点pi与qi互相为对方点云中特征距离最近的点。
约束二:三角形p1p2p3与三角形q1q2q3构成一组相似三角形。
约束三:匹配的相似三角形中不包含退化的三角形,一般要求三角形的内角度数均在5度到170度之间。
根据上述内容中的约束条件,本发明的实施例可以如下算法计算多片点云中任意两片点云之间的匹配点对:
输入:点云P、Q,点云特征F(P)、F(Q)。
第一步:根据约束一找出满足要求的点对加入集合S。
第二步:随机选择S中的三组匹配点对,分别验证在点云P、Q中是否满足约束二。
第三步:验证这三组点对是否构成满足约束三。
第四步:若选取的点对满足所有条件,则将这三组点对都加入到匹配点对集合Ω中。
第五步:重复以上的第二步至第四步,直到达到一定的次数或找出M组匹配对后停止。
输出:满足条件的匹配点对(p,q)。
在本公开的一个实施例中,根据上述算法,可以计算得到在获取的多片点云中任意两片点云之间的匹配点对。对于M的具体数值,可以根据具体情况设定,此处不作限制。
步骤S1200,根据多个匹配点对,构建多片点云的点云间关系图。其中,点云间关系图包括多片点云以及多片点云之间的连线。
根据上述内容,对于所有输入的点云,将其中的每片点云作为顶点,根据多片点云中的任意两片点云之间的关联度,对多片点云分别进行连线,可以构建多片点云的点云间关系图。其中需要注意的是,在本公开的实施例中,点云间关系图可以为连通的,也就是说,点云间关系图中的多个点云可以通过其相互之间的连线,形成多个连通的环路。
在一个实施例中,该步骤S1200在根据多个匹配点对,构建多片点云的点云间关系图,可以包括如下步骤S1210至S1211,以下予以详细说明:
步骤S1210,根据多片点云中任意两片点云的匹配点对的数量,确定多片点云中的任意两片点云的关联度。
在匹配点云的计算过程中,若多片点云中的任意两片点云的重叠部分越多,则其匹配点云的数量也就越多;而对于重叠部分较少的两片点云,虽然可以计算得到一定数量的匹配点对。当匹配点对的数量较少。
在本公开的实施例中,可以选择多片点云中的任意两片点云之间的匹配点对数量,作为这两片点云的关联度。对于所有输入的点云,根据多片点云中的任意两片点云之间的关联度,对多片点云分别进行连线,可以构建多片点云的点云间关系图。
步骤S1211,根据关联度,对关联度超过预设阈值的两片点云进行连线;其中,关联度为对应的连线的权值。
根据输入的多片点云,对多片点云中关联度超过预设阈值的任意两片点云进行连线。其中,将多片点云中的任意两片点云的关联度作为这两片点云之间连线的权值。其中,对于多片点云中关联度未超过预设阈值的任意两片点云,则不进行连线。对于关联度的预设阈值的具体数值,可以根据实际情况人为设置,此处不作限制。
步骤S1300,根据点云间关系图,对待配准的多片点云进行非刚性配准。
在本公开的一个实施例中,根据构建完的点云间关系图,对点云间关系图中的多片点云进行非刚性配准。其中,非刚性配准为将待配准的多片点云缩放至同一尺度,并通过平移与旋转将其在同一坐标系中对齐。
在本公开的一个实施例中,该步骤S1300在根据点云间关系图,对待配准的多片点云进行非刚性配准,可以包括如下步骤S1310至S1320,以下予以详细说明:
步骤S1310,获取多片点云的配准模式。其中,多片点云的配准模式包括目标配准路径和目标配准对象。
在本发明的实施例中,对待配准的多片点云进行非刚性配准之前,需要获取多片点云的配准模式。多片点云的配准模式包括目标配准路径和目标配准对象。其中,不同的目标配准对象所采用目标配准路径不同,所对应的多片点云的配准模式也不同。
步骤S1320,根据目标配准路径,对点云间关系图上的多片点云依次进行非刚性配准。
根据确定的目标配准对象选择对应的目标配准路径,对点云间关系图中包含的多片点云依次进行非刚性配准。其中,目标配准对象可以为点云间关系图中的任意两片点云,也可以为已配准的多片点云的连线所形成的环路中的多片点云。
在本公开的一个实施例中,该步骤S1320在根据目标配准路径,对点云间关系图上的多片点云依次进行非刚性配准,可以包括如下步骤S1321,如图2至图3所示,以下予以详细说明:
步骤S1321,当目标配准对象为点云间关系图中任意两个点云时,优先将剩余连线中具有最大权值的连线所对应的两片点云进行第一次非刚性配准。其中,第一次非刚性配准包括对两片点云缩放至同一尺度,并进行相应的平移或者旋转,以使两片点云在同一坐标系中对齐。
在本公开的实施例中,采用了一种基于贪心策略的增量式多片点云配准方法,也就是说,对于一个连通的点云间关系图,我们每次优先对剩余连线中具有最大权值的连线所对应的两片点云进行配准,并采取Kruskal算法的方式构建最大生成树作为配准路径。其中,当构建生成树的过程中出现环路时,本公开的实施例通过验证该环路中的尺度一致性、环路整体优化等方法减少配准过程中的误差累积。
根据上述内容,在已构建完的点云间关系图中,优先将剩余连线中具有最大权值的连线所对应的两片点云进行第一次非刚性配准,即对这条边关联的两片点云计算尺度、旋转与平移关系。此处具有最大权值的连线就可以加入生成树。第一次非刚性配准的算法具体如下:
在本公开的实施例中,两片点云的配准结果受尺度因素的影响很大,因此我们考虑结合特征匹配结果预估出一个好的尺度先验,用以加快算法的收敛过程并使其能够收敛到一个相对较优的解。具体算法如下:
对于一组匹配的相似三角形X={(p1,q1),(p2,q2),(p3,q3)},{r1,r2,r3}分别为三条对应边的比值,可估计其整体的相似比R(X)。R(X)的具体公式为:
结合两片点云的尺度先验后,已经初步地将两片点云换算到同一尺度下,这也使得目标函数能够更好地收敛。
在获取两片点云之间的尺度先验S0的基础上,设定剩余连线中具有最大权值的连线所对应的两片点云分别为点云P和点云Q,对于点云间匹配点对集合为Ω={(p,q)|p∈P,q∈Q},目标为获取合适的变换矩阵使得变换后匹配点对之间的均方误差和最小,即目标函数E(H)的值最小。E(H)的公式如下:
但是,考虑到在实际的点对匹配过程中可能存在一定数量的错误匹配点对,为了提高第一次非刚性配准的准确性,本公开的实施例采用相对误差度量作为两片点云配准的目标函数E(H):
其中,为带缩放系数的Geman-McClure函数,该函数能够减少离群点或噪声所带来的不利影响。对于采用相对误差度量的目标函数,本公开的实施例采取结合线过程和稳健统计的方法进行求解。通过构造定义在集合
Ω上的权重集合L={l(p,q)},则优化上述目标函数可等价于优化如下目标函数E(H,L):
对于该目标函数,本发明通过交替更新变换矩阵H中的尺度因子s、旋转参数R、平移参数T、权重系数L与误差缩放系数μ,迭代优化该目标函数的值,从而使得目标函数最终收敛到全局意义上的一个最优解。
根据目标函数在全局意义上的最优解,可以得到合适的变换矩阵根据该变换矩阵,可以将两片点云缩放至同一尺度,并进行相应的平移或者旋转,以使两片点云在同一坐标系中对齐,从而可以完成对剩余连线中具有最大权值的连线所对应的两片点云完成第一次非刚性配准。
根据本公开的一个实施例,当已配准的多片点云所对应的连线形成一个环路时,目标配准对象为环路中的多片点云,对环路中的多片点云进行第二次非刚性配准。其中,第二次非刚性配准包括对环路中的多片点云缩放至同一尺度,并进行相应的平移或者旋转,以使多片点云在同一坐标系中对齐。
在本公开的实施例中,为了尽量减少误差累积,对于新加入的连线与基于点云间关系图所构建的生成树中的已经加入的连线形成环路时,需要对整个环路进中的多片点云进行尺度验证与整体优化。在理想状况下,对于单个环路而言,其中的任意点云在沿着环路中的边计算完一圈尺度后,尺度之积应当刚好为该点云与其本身的尺度关系。根据这一性质,记一个长度为N的环路中每条连线所对应的尺度变化分别为s1,…,sN,则有:
考虑在实际配准过程中,由于点云噪声、匹配错误以及配准误差的存在,通常当环路中每条连线所对应的尺度满足如下条件:
其中,δ为设定的阈值,在满足该条件的情况下,就可以认为这个环路中每条连线所对应的尺度满足整体尺度的验证。而当这一性质不满足时,说明环路中每条连线所对应的尺度估计可能存在错误。为了避免这一错误影响之后的整体配准结果,我们需要对环路中的尺度进行调整。当尺度验证出现明显错误时,我们优先对两片点云配准过程中配准误差最大的两片点云进行调整。记误差最大的两片点云对应的第k条连线,在其他连线尺度估计相对正确的情况下,其尺度应当为:
根据上式中所得sk为初值,进一步地优化目标函数并计算出新的尺度因子。重复上述操作直到环路中每条连线所对应的尺度满足整体验证后,停止对该环路中的尺度调整。该方法能够优化环路中每条连线所对应的尺度估计,从而减少尺度不一致对最终配准结果的影响。
在对于环路中每条连线所对应的尺度进行调整后,若环路中每条连线所对应的尺度满足整体尺度验证,则认为该环路中的尺度估计是相对可靠的。对于满足尺度验证的环路,可以先将该环路中的多片点云换算到统一的尺度下,再对其旋转和平移变换进行整体上的优化。设在某条长度为N环路中,由于环路的连通性,任选该环路内的一个点云作为环路整体的参考坐标系,该点云作为参考点云,可以对每片点云Pi计算出其相对于整体坐标系的变换矩阵Hi。这里我们认为经过尺度调整,环路中的多片点云已经能够被换算到同样的尺度下,换算后的Hi中不含尺度因子。此时,我们将环路中相邻点云配准的能量函数联立可得:
记H'i为优化后的变换矩阵,ωi=(αi,βi,γi)为其相对于原先姿态的旋转变换欧拉角,ti=(ai,bi,ci)为平移向量,当旋转角度较小时可以近似地表示为这六个自由度上的线性形式:
初始的变换矩阵Hi已经通过环路中相邻点云的配准结果得出,将H'i代入到总的目标函数中可知对其优化即对6N个旋转与平移变量进行求解。记χ为所有N组(αi,βi,γi,ai,bi,ci)构成的向量Hi,χ可以通过求解下列线性方程组得到:
其中r与Jr分别为剩余向量与相应的Jacobian矩阵。根据得到的结果可以更新环路中的变换矩阵Hi,从而优化该环路内多片点云的配准结果,从而减少整体上的误差累积。根据上述更新后的变换矩阵,可以完成对环路中的多片点云进行第二次非刚性配准。其中需要注意的是,当加入的连线构成最大的生成树时,即点云间关系图中所有连线均加入该生成树,则计算其中的每片点云到参考点云的变换关系,从而完成对多片具备位置与尺度差异的三维点云的配准。
本公开实施例提供的点云配准方法,通过对已获取的待配准的多片点云提取多片点云内的匹配点对,得到多个匹配点对。根据多个匹配点对,构建多片点云的点云间关系图。再根据该点云间关系图,对待配准的多片点云进行非刚性配准。通过这种方式,可以有效地对多片具有位置与尺度差异的三维点云进行配准,且配准的误差较小,在大规模场景重建等问题当中具有良好的实用价值。
<系统实施例>
在本发明实施例中,还提供一种点云配准系统2000,图4示出了点云配准系统2000的结构示意图,点云配准系统2000包括:数据获取模块2100、点对提取模块2200、关系构建模块2300以及点云配准模块2400。
其中:
数据获取模块2100,用于获取待配准的多片点云;其中,多片点云中的不同点云具有位置与尺度差异,点云包括多个三维点;
点对提取模块2200,用于根据待配准的多片点云,提取多片点云内的匹配点对,得到多个匹配点对,其中,构成匹配点对的两个三维点来自不同的点云;
关系构建模块2300,用于根据多个匹配点对,构建多片点云的点云间关系图;其中,点云间关系图包括多片点云以及多片点云之间的连线;
点云配准模块2400,用于根据点云间关系图,对待配准的多片点云进行非刚性配准。
应当注意,尽管在上文详细描述中提及了用于动作执行的系统的若干装置或者单元,但这种划分并非强制性的。实际上,根据本发明的实施方法,上文描述的两个或者更多装置或者单元的特性和功能可以在一个装置或者单元中具体化。反之,上文描述的一个装置或者单元的特征和功能可以进一步划分为由多个装置或者单元来具体化。
<设备实施例>
在本实施例中,还提供一种电子设备7000。如图5所示,该电子设备7000可以包括处理器7100和存储器7200,存储器7200中存储有计算机指令,计算机指令被处理器7100运行时执行本公开任一实施例的点云配准方法的步骤。
<介质实施例>
在本实施例中,还提供一种计算机可读存储介质,其上存储有计算机指令,计算机指令被处理器运行时,实现如本发明任一方法实施例的点云配准方法的步骤。
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于使处理器1100实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,编程语言包括面向对象的编程语言—诸如Smalltalk、C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器1100,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据处理装置的处理器1100执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是,通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本发明的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。
Claims (10)
1.一种点云配准方法,其特征在于,包括:
获取待配准的多片点云;其中,所述多片点云中的不同点云具有位置与尺度差异,所述点云包括多个三维点;
根据待配准的所述多片点云,提取所述多片点云内的匹配点对,得到多个匹配点对;其中,构成所述匹配点对的两个三维点来自不同的点云;
根据所述多个匹配点对,构建所述多片点云的点云间关系图;其中,所述点云间关系图包括所述多片点云以及所述多片点云之间的连线;
根据所述点云间关系图,对待配准的所述多片点云进行非刚性配准。
2.根据权利要求1所述的点云配准方法,其特征在于,所述根据待配准的所述多片点云,提取所述多片点云内的匹配点对,包括:
根据待配准的所述多片点云,分别提取所述多片点云的特征信息;其中,所述特征信息包括所述多片点云中的所述三维点的特征描述子;
根据所述多片点云的特征信息,提取所述多片点云内的匹配点对。
3.根据权利要求2所述的点云配准方法,其特征在于,所述根据所述多片点云的特征信息,提取所述多片点云内的匹配点对,包括:
根据所述多片点云的特征信息,提取任意两片点云中满足特征描述子相似性约束的点对,作为所述匹配点对。
4.根据权利要求1所述的点云配准方法,其特征在于,所述根据所述多个匹配点对,构建所述多片点云的点云间关系图,包括:
根据所述多片点云中任意两片点云的匹配点对的数量,确定所述多片点云中的任意两片点云的关联度;
根据所述关联度,对所述关联度超过预设阈值的两片点云进行连线;其中,所述关联度为对应的所述连线的权值。
5.根据权利要求1所述的点云配准方法,其特征在于,所述根据所述点云间关系图,对待配准的所述多片点云进行非刚性配准,包括:
获取所述多片点云的配准模式;其中,所述多片点云的配准模式包括目标配准路径和目标配准对象;
根据所述目标配准路径,对所述点云间关系图上的所述多片点云依次进行非刚性配准。
6.根据权利要求5所述的点云配准方法,其特征在于,所述根据所述目标配准路径,对所述点云间关系图上的所述多片点云依次进行非刚性配准,包括:
当所述目标配准对象为所述点云间关系图中任意两个点云时,优先将剩余连线中具有最大权值的所述连线所对应的两片点云进行第一次非刚性配准。其中,
所述第一次非刚性配准包括对所述两片点云缩放至同一尺度,并进行相应的平移或者旋转,以使所述两片点云在同一坐标系中对齐。
7.根据权利要求6所述的点云配准方法,其特征在于,当已配准的所述多片点云所对应的连线形成一个环路时,所述目标配准对象为所述环路中的所述多片点云,对所述环路中的所述多片点云进行第二次非刚性配准。其中,
所述第二次非刚性配准包括对所述环路中的所述多片点云缩放至同一尺度,并进行相应的平移或者旋转,以使所述多片点云在同一坐标系中对齐。
8.一种点云配准系统,其特征在于,所述点云配准系统包括:
数据获取模块,用于获取待配准的多片点云;其中,所述多片点云中的不同点云具有位置与尺度差异,所述点云包括多个三维点;
点对提取模块,用于根据待配准的所述多片点云,提取所述多片点云内的匹配点对,得到多个匹配点对,其中,构成所述匹配点对的两个三维点来自不同的点云;
关系构建模块,用于根据所述多个匹配点对,构建所述多片点云的点云间关系图;其中,所述点云间关系图包括所述多片点云以及所述多片点云之间的连线;
点云配准模块,用于根据所述点云间关系图,对待配准的所述多片点云进行非刚性配准。
9.一种电子设备,其特征在于,包括处理器和存储器,所述存储器存储有计算机指令,所述计算机指令被所述处理器运行时,执行权利要求1-7任一项所述的点云配准方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机指令,所述计算机指令被处理器运行时执行权利要求1-7任一项所述的点云配准方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211028442.8A CN115641365B (zh) | 2022-08-25 | 2022-08-25 | 点云配准方法、系统、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211028442.8A CN115641365B (zh) | 2022-08-25 | 2022-08-25 | 点云配准方法、系统、设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115641365A true CN115641365A (zh) | 2023-01-24 |
CN115641365B CN115641365B (zh) | 2023-08-04 |
Family
ID=84940511
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211028442.8A Active CN115641365B (zh) | 2022-08-25 | 2022-08-25 | 点云配准方法、系统、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115641365B (zh) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103020960A (zh) * | 2012-11-26 | 2013-04-03 | 北京理工大学 | 基于凸包不变性的点云配准方法 |
CN104966287A (zh) * | 2015-06-08 | 2015-10-07 | 浙江大学 | 层次化的多片点云刚性配准方法 |
CN105740915A (zh) * | 2016-03-04 | 2016-07-06 | 浙江大学 | 一种融合感知信息的协同分割方法 |
CN106651926A (zh) * | 2016-12-28 | 2017-05-10 | 华东师范大学 | 一种基于区域配准的深度点云三维重建方法 |
CN106846380A (zh) * | 2016-12-26 | 2017-06-13 | 北京理工大学 | 一种医学图像配准方法及设备 |
US20200265552A1 (en) * | 2019-02-19 | 2020-08-20 | Google Llc | Cost-driven framework for progressive compression of textured meshes |
US11037346B1 (en) * | 2020-04-29 | 2021-06-15 | Nanjing University Of Aeronautics And Astronautics | Multi-station scanning global point cloud registration method based on graph optimization |
CN113034555A (zh) * | 2021-03-19 | 2021-06-25 | 南京天巡遥感技术研究院有限公司 | 一种基于最小生成树的特征精匹配方法及应用 |
CN113160287A (zh) * | 2021-03-17 | 2021-07-23 | 华中科技大学 | 一种基于特征融合的复杂构件点云拼接方法及系统 |
CN114494347A (zh) * | 2022-01-21 | 2022-05-13 | 北京科技大学 | 一种单摄像头多模式视线追踪方法和装置、电子设备 |
WO2022156425A1 (zh) * | 2021-01-21 | 2022-07-28 | 中国科学院深圳先进技术研究院 | 一种微创手术器械定位方法和系统 |
-
2022
- 2022-08-25 CN CN202211028442.8A patent/CN115641365B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103020960A (zh) * | 2012-11-26 | 2013-04-03 | 北京理工大学 | 基于凸包不变性的点云配准方法 |
CN104966287A (zh) * | 2015-06-08 | 2015-10-07 | 浙江大学 | 层次化的多片点云刚性配准方法 |
CN105740915A (zh) * | 2016-03-04 | 2016-07-06 | 浙江大学 | 一种融合感知信息的协同分割方法 |
CN106846380A (zh) * | 2016-12-26 | 2017-06-13 | 北京理工大学 | 一种医学图像配准方法及设备 |
CN106651926A (zh) * | 2016-12-28 | 2017-05-10 | 华东师范大学 | 一种基于区域配准的深度点云三维重建方法 |
US20200265552A1 (en) * | 2019-02-19 | 2020-08-20 | Google Llc | Cost-driven framework for progressive compression of textured meshes |
US11037346B1 (en) * | 2020-04-29 | 2021-06-15 | Nanjing University Of Aeronautics And Astronautics | Multi-station scanning global point cloud registration method based on graph optimization |
WO2022156425A1 (zh) * | 2021-01-21 | 2022-07-28 | 中国科学院深圳先进技术研究院 | 一种微创手术器械定位方法和系统 |
CN113160287A (zh) * | 2021-03-17 | 2021-07-23 | 华中科技大学 | 一种基于特征融合的复杂构件点云拼接方法及系统 |
CN113034555A (zh) * | 2021-03-19 | 2021-06-25 | 南京天巡遥感技术研究院有限公司 | 一种基于最小生成树的特征精匹配方法及应用 |
CN114494347A (zh) * | 2022-01-21 | 2022-05-13 | 北京科技大学 | 一种单摄像头多模式视线追踪方法和装置、电子设备 |
Non-Patent Citations (1)
Title |
---|
张琮毅 等: "尺度可变的快速全局点云配准方法", vol. 42, no. 9, pages 1939 - 1952 * |
Also Published As
Publication number | Publication date |
---|---|
CN115641365B (zh) | 2023-08-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020199693A1 (zh) | 一种大姿态下的人脸识别方法、装置及设备 | |
US20170124433A1 (en) | Unsupervised matching in fine-grained datasets for single-view object reconstruction | |
CN111627065A (zh) | 一种视觉定位方法及装置、存储介质 | |
EP3475879A1 (en) | Domain separation neural networks | |
US20170092015A1 (en) | Generating Scene Reconstructions from Images | |
US20220005212A1 (en) | Shape supplementation device, shape supplementation learning device, method, and program | |
US10217225B2 (en) | Distributed processing for producing three-dimensional reconstructions | |
CN104019799A (zh) | 一种利用局部参数优化计算基础矩阵的相对定向方法 | |
US20190259175A1 (en) | Detecting object pose using autoencoders | |
WO2017107865A1 (zh) | 图像检索系统、服务器、数据库及相关的方法 | |
CN109544610A (zh) | 一种基于卷积神经网络的图像配准方法 | |
US10902260B2 (en) | Estimating a height of a cloud depicted in an image | |
JP2014032623A (ja) | 画像処理装置 | |
CN112652020B (zh) | 一种基于AdaLAM算法的视觉SLAM方法 | |
CN111144082A (zh) | 多表格迭代计算方法、装置、电子设备及存储介质 | |
CN114202632A (zh) | 网格线性结构恢复方法、装置、电子设备及存储介质 | |
CN114998433A (zh) | 位姿计算方法、装置、存储介质以及电子设备 | |
US8548225B2 (en) | Point selection in bundle adjustment | |
CN110717405A (zh) | 人脸特征点定位方法、装置、介质及电子设备 | |
CN114429534A (zh) | 三维模型处理方法、装置、电子设备及存储介质 | |
Kang et al. | An optimized BaySAC algorithm for efficient fitting of primitives in point clouds | |
US20230401737A1 (en) | Method for training depth estimation model, training apparatus, and electronic device applying the method | |
CN112258647A (zh) | 地图重建方法及装置、计算机可读介质和电子设备 | |
CN115641365A (zh) | 点云配准方法、系统、设备及介质 | |
CN111507265B (zh) | 表格关键点检测模型训练方法、装置、设备以及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CB03 | Change of inventor or designer information | ||
CB03 | Change of inventor or designer information |
Inventor after: Han Shaoqiang Inventor after: Li Fanghui Inventor after: Zhang Tongyuan Inventor before: Zhang Xingqian Inventor before: Li Fanghui Inventor before: Zhang Tongyuan |