CN115631341A - 一种基于多尺度特征投票的点云配准方法及系统 - Google Patents

一种基于多尺度特征投票的点云配准方法及系统 Download PDF

Info

Publication number
CN115631341A
CN115631341A CN202211644483.XA CN202211644483A CN115631341A CN 115631341 A CN115631341 A CN 115631341A CN 202211644483 A CN202211644483 A CN 202211644483A CN 115631341 A CN115631341 A CN 115631341A
Authority
CN
China
Prior art keywords
point cloud
point
feature
source
pair matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211644483.XA
Other languages
English (en)
Inventor
高庆
关海宁
吕金虎
张鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202211644483.XA priority Critical patent/CN115631341A/zh
Publication of CN115631341A publication Critical patent/CN115631341A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于控制科学与工程领域，涉及一种基于多尺度特征投票的点云配准方法及系统；本方法针对点云特征描述符生成时卷积核感受野范围固定而导致的特征描述受无关几何信息干扰的问题，设计多尺度特征提取网络对输入点云进行逐点稠密多尺度特征提取，并在多个特征尺度空间下进行特征匹配，得到点对匹配关系；设计高维空间投票模块，将匹配点对坐标组织成高维向量表示，利用高维稀疏卷积网络对匹配点对进行置信度投票，根据置信度进行匹配关系选择，提升了匹配点对集合中正确匹配点对的占比，进而得到更为精确、稳定的点云配准结果；本发明能够完成且不限于低重合度场景下的点云配准任务。

Description

一种基于多尺度特征投票的点云配准方法及系统
技术领域
本发明属于控制科学与工程领域，涉及一种基于多尺度特征投票的点云配准方法及系统，尤其涉及一种面向单光子雷达测量系统的基于多尺度特征投票的点云配准方法及系统。
背景技术
单光子成像是一种采用脉冲激光光源，利用波分复用等非线性光学技术实现超高精度与强抗噪成像的新型技术。该技术在远距离、恶劣噪声干扰下相较于传统激光雷达具有显著优势，并在微弱信号探测、远距离成像、精密测量等领域具有巨大应用潜力。
在三维成像中，为了获取真实世界物体或场景的完整三维模型，通常使用激光雷达设备如单光子雷达系统对目标物体或场景的点云进行采集。单光子雷达系统在不同角度扫描目标物体或场景得到点云数据，进而通过点云配准技术，将采集得到的位于不同坐标系下的点云进行旋转平移变换至统一的全局坐标系下，生成完整的三维模型。
点云配准技术按照阶段可以分为粗配准与精配准两个阶段。目前，粗配准主要采用特征匹配式方法，核心步骤为：首先对两输入点云进行随机采样作为待匹配点，接着在待匹配点的欧式邻域内利用不同的特征生成方式产生相应的特征描述符进行局部几何描述，接着在特征空间上进行最近邻匹配以形成点对匹配关系，最后利用鲁棒误匹配对剔除方法如RANSAC进行位姿求取，解得配准所需的旋转、平移刚体变换。粗配准阶段求得的旋转平移钢体变换通常并不是最优刚体变换，因此在粗配准后往往会利用ICP算法进行精配准，对粗配准获得的结果进行进一步地优化微调，逐渐减小配准误差以获取最优刚体变换。
由上述可知，在特征匹配式的点云粗配准算法流程框架下，旋转平移矩阵的求取很大程度上取决于构造的点对匹配关系的准确程度，而点对匹配关系由两输入点云生成的点云特征描述符在特征空间上建立，因此如何生成具有充分局部几何描述能力的特征描述符是特征匹配式点云配准算法的关键步骤。
然而，目前常用的基于点云卷积式的特征描述符生成方式在对低重合度场景下的输入点云进行特征提取时，常常由于点云卷积核感受野大小范围固定而产生误匹配对，从而影响最终配准结果。即，当采样点选择在输入点云重叠区域时，采样点周围非重叠区域部分的信息将会作为噪声被局部感知，为采样点处特征的生成带来不必要的几何信息，进而在后续的特征匹配阶段产生错误的匹配点对，在最终的位姿求取阶段产生较大误差。
因此在点云配准问题中，如何针对不同采样点位置控制点云卷积感受野大小以得到准确的点云特征描述符的关键问题仍然没有得到比较好的解决。
发明内容
为解决单光子雷达测试系统场景下扫描得到的低重合度点云配准精度低、成像效果差等问题，本发明通过研究点云多尺度特征，设计了一种基于点云多尺度特征的高维投票机制，以动态选择合适的点云特征进行匹配。本发明的基于多尺度特征投票的点云配准方法，面向单光子雷达探测系统场景，通过设计多尺度特征提取骨干网络对输入点云以不同的卷积核大小提取稠密多尺度特征，进行多尺度特征匹配，得到多尺度匹配点对关系，解决了配准低重叠度点云时点云特征感受野固定而导致的特征受到几何噪声干扰的问题，提升了不限于低重合度场景下点云匹配的特征匹配精确度以及配准召回率。
为实现上述目的，本发明提供了一种基于多尺度特征投票的点云配准方法，包括如下步骤：
S1：对待配准的源点云与目标点云执行点云全卷积特征编码，分别提取源点云和目标点云的特征聚合点及其对应的特征向量；
S2：利用注意力机制对源点云与目标点云的特征向量进行自、交叉注意力信息交互；
S3：基于源点云与目标点云的经过注意力机制的特征向量以及点云全卷积特征编码阶段保存的临时特征，以并行方式提取生成对源点云和目标点云具有不同感受野尺度的点云逐点特征；
S4：利用生成的点云逐点特征，在不同感受野尺度下进行特征匹配，得到不同感受野尺度下的点对匹配关系，组成初始点对匹配集合；
S5：将初始点对匹配集合进行高维向量表示，并利用高维稀疏卷积网络进行初始点对匹配集合中的点对匹配关系的置信度预测，并根据预测到的置信度大小得到最终点对匹配集合；
S6：基于得到的最终点对匹配集合中点对匹配对的点对匹配关系，求解得到旋转与平移的刚体变换；
S7:将得到的刚体变换作用于源点云，使源点云和目标点云变换至统一的全局坐标系下，完成源点云与目标点云的配准，从而重建得到完整的三维模型。
进一步，步骤S1具体过程为：针对源点云和目标点云具有的空间稀疏特性，对待配准的源点云与目标点云利用点云全卷积网络进行连续下采样特征编码，并将每个下采样层得到的临时特征输出进行保存；经过全部下采样层后，得到源点云和目标点云的具有高维表征能力的特征聚合点及其对应的特征向量。
进一步，步骤S2中，采用Transformer模型对源点云与目标点云的特征向量进行显式的信息交互，使源点云与目标点云实现相互整体感知。
进一步，步骤S3具体过程为：设计具有三个并行输出通道的多尺度特征提取网络，分别以源点云的经过注意力机制的特征向量、目标点云的经过注意力机制的特征向量以及点云全卷积特征编码阶段保存的临时特征作为通道输入，分别对应高、中、低纬度的特征生成通道，以并行方式对源点云和目标点云进行逐点稠密多尺度特征提取，生成对源点云和目标点云具有不同感受野尺度的点云逐点特征。
进一步，步骤S4具体过程为：基于所设计的多尺度特征提取网络，利用生成的对源点云和目标点云具有不同感受野尺度的点云逐点特征的描述子，在不同感受野尺度下进行特征最近邻搜索，得到在不同感受野尺度下的点对匹配关系。
进一步，步骤S5具体过程为：将初始点对匹配集合中点对的三维坐标进行拼接，组织成高维的向量表示形式；然后使用高维稀疏卷积神经网络对初始点对匹配集合中的点对匹配对进行置信度分数预测，并将预测得到的置信度分数从高至低进行排序，选择高于设定阈值的点对匹配对组成求取位姿变换时的最终点对匹配集合。
进一步，步骤S6中利用奇异值分解SVD求解得到旋转与平移的刚体变换。
本发明还提供了一种基于多尺度特征投票的点云配准系统，包括：
点云特征编码模块，用于对待配准的源点云与目标点云执行点云全卷积特征编码，分别提取源点云和目标点云的特征聚合点及其对应的特征向量；
注意力机制模块，用于对源点云与目标点云的特征向量进行自、交叉注意力信息交互；
多尺度特征提取网络模块，用于基于源点云与目标点云的经过注意力机制的特征向量以及点云全卷积特征编码阶段保存的临时特征，以并行方式提取生成对源点云和目标点云具有不同感受野尺度的点云逐点特征；
特征匹配模块，用于利用生成的点云逐点特征，在不同感受野尺度下进行特征匹配，得到不同感受野尺度下的点对匹配关系，组成初始点对匹配集合；
高维空间投票模块，用于将初始点对匹配集合进行高维向量表示，并利用高维稀疏卷积网络进行初始点对匹配集合中的点对匹配关系的置信度预测，并根据预测到的置信度大小得到最终点对匹配集合；
位姿变换模块，用于基于得到的最终点对匹配集合中点对匹配对的点对匹配关系，求解得到旋转与平移的刚体变换；并将得到的刚体变换作用于源点云，使源点云和目标点云变换至统一的全局坐标系下，完成源点云与目标点云的配准，从而重建得到完整的三维模型。
本发明还提供了一种电子设备，包括：存储器、处理器和存储在所述存储器上并可在所述处理器上运行的程序，所述处理器执行所述程序，以实现上述点云配准方法。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有程序，该程序被处理器执行，以实现上述点云配准方法。
本发明的有益效果：
1）本发明采用基于全卷积的神经网络架构进行点云特征提取，相较于传统几何特征描述子提取的方式，能够实现点云逐点稠密特征的快速生成；
2）本发明通过设计多尺度特征提取网络对输入点云提取具有不同感受野尺度的特征，使得点对特征匹配在多个空间尺度上进行，从而增大了点对匹配成功的机率；
3）本发明通过设计高维空间投票模块，利用稀疏卷积网络进行点对匹配对置信度预测，提高了正确匹配对在点对匹配集合中的占比，进一步提高了点云配准的精度与稳定性。
附图说明
图1为本发明实施例的基于多尺度特征投票的点云配准方法流程图；
图2为本发明实施例的多尺度特征提取网络结构示意图；
图3为本发明实施例的注意力机制模块的自、交叉注意力机制过程示意图；
图4为本发明实施例的高维投票机制示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步详细说明。
本实施例提供了一种面向单光子雷达探测系统的基于多尺度特征投票的点云配准方法，其中针对点云特征描述符生成时卷积核感受野范围固定而导致的特征描述受无关几何信息干扰的问题，设计了多尺度特征提取网络对输入点云（源点云和目标点云）进行逐点稠密多尺度特征提取，并在多个特征尺度空间下进行特征匹配，得到点对匹配关系；进一步设计了高维空间投票模块，提升了点对匹配集合中正确匹配点对关系占比，进而得到更为精确、稳定的点云配准结果。
如图1所示，本实施例的基于多尺度特征投票的点云配准方法包括如下步骤：
步骤一：点云全卷积特征编码
针对输入点云具有的空间稀疏特性，利用点云全卷积网络对待配准的源点云
Figure 551038DEST_PATH_IMAGE001
与目标点云
Figure 637943DEST_PATH_IMAGE002
进行连续下采样特征编码，并将每个下采样层得到的临时特征输出进行保存，以在后续的解码阶段进行融合；经过全部下采样层后，得到具有高维表征能力的特征聚合点坐标及相对应的特征向量。具体过程如下：
首先将点云配准问题建模为给定处于不同坐标系下的具有一定重叠度的待配准的源点云
Figure 111650DEST_PATH_IMAGE003
与目标点云
Figure 956109DEST_PATH_IMAGE004
，求解旋转矩阵
Figure 376726DEST_PATH_IMAGE005
与平移向量
Figure 380454DEST_PATH_IMAGE006
达到最小化点对误差：
Figure 228324DEST_PATH_IMAGE007
（1）
其中，
Figure 324194DEST_PATH_IMAGE008
表示源点云
Figure 282923DEST_PATH_IMAGE009
中的第
Figure 406737DEST_PATH_IMAGE010
个点，
Figure 97612DEST_PATH_IMAGE011
表示源点云
Figure 775718DEST_PATH_IMAGE009
中的点个数；
Figure 538138DEST_PATH_IMAGE012
表示目标点云
Figure 391824DEST_PATH_IMAGE013
中的第
Figure 378235DEST_PATH_IMAGE014
个点，M表示目标点云
Figure 12478DEST_PATH_IMAGE013
中的点个数；
Figure 250693DEST_PATH_IMAGE015
代表源点云
Figure 21203DEST_PATH_IMAGE009
与目标点云
Figure 444094DEST_PATH_IMAGE013
之间的真值点对匹配集合，应该理解正确的点对匹配关系只存在于重叠区域中；
Figure 300054DEST_PATH_IMAGE016
为欧氏空间中所有环绕原点的旋转矩阵组成的旋转群，解旋转矩阵
Figure 863932DEST_PATH_IMAGE017
代表实数。
针对点云数据的在空间中的无序稀疏分布特性，本实施例采用基于点的连续点云卷积KPConv取代传统基于体素的三维卷积。连续点云卷积定义如下，以输入的源点云
Figure 754528DEST_PATH_IMAGE018
为例：
Figure 348320DEST_PATH_IMAGE019
（2）
其中，
Figure 691577DEST_PATH_IMAGE020
为输入卷积时的逐点特征；
Figure 271594DEST_PATH_IMAGE021
为卷积输入的特征维度；
Figure 16696DEST_PATH_IMAGE022
代表源点云
Figure 781390DEST_PATH_IMAGE023
中的第
Figure 611943DEST_PATH_IMAGE024
个点
Figure 995651DEST_PATH_IMAGE025
在
Figure 860838DEST_PATH_IMAGE026
中对应的特征；
Figure 796433DEST_PATH_IMAGE027
为查询点
Figure 520807DEST_PATH_IMAGE028
在源点云
Figure 770523DEST_PATH_IMAGE029
中的球形最近邻点集合；
Figure 552534DEST_PATH_IMAGE030
表示针对查询点
Figure 596713DEST_PATH_IMAGE028
的邻域半径；
Figure 572497DEST_PATH_IMAGE031
表示核函数，其定义如下：
Figure 360325DEST_PATH_IMAGE032
（3）
其中，
Figure 996842DEST_PATH_IMAGE033
为提前计算固定位置与数量的核心点，每一个核心点都有一个权重矩阵
Figure 884027DEST_PATH_IMAGE034
与之对应；
Figure 176468DEST_PATH_IMAGE035
为卷积输出的特征维度；
Figure 564724DEST_PATH_IMAGE036
为核心点数量；
Figure 259010DEST_PATH_IMAGE037
为权重系数，定义为：
Figure 582676DEST_PATH_IMAGE038
（4）
其中，
Figure 96834DEST_PATH_IMAGE039
为控制空间距离敏感程度的预定义参数。
从上式（1）-（4）可以看到，对于点
Figure 288780DEST_PATH_IMAGE040
，基于点的连续点云卷积操作在以点
Figure 837573DEST_PATH_IMAGE040
为中心的球形最近邻点集合
Figure 332140DEST_PATH_IMAGE041
内进行，因此当针对于查询点
Figure 333594DEST_PATH_IMAGE040
的邻域半径
Figure 329232DEST_PATH_IMAGE042
固定，类似于二维卷积，点云卷积操作的感受野范围也相应的随之确定。
本实施例的特征编码模块如图2左侧所示的特征解码器，以输入源点云
Figure 732531DEST_PATH_IMAGE018
为例，经过层级式下采样与点云卷积操作，输出点数更少的特征聚合点
Figure 630955DEST_PATH_IMAGE043
及其相对应的特征向量
Figure 182022DEST_PATH_IMAGE044
，同时对于经过每层下采样层所产生的临时特征
Figure 919034DEST_PATH_IMAGE045
，
Figure 114523DEST_PATH_IMAGE046
，
Figure 13209DEST_PATH_IMAGE047
进行保存。同理，输入目标点云Y经过层级式下采样与点云卷积操作，输出点数更少的特征聚合点
Figure 51572DEST_PATH_IMAGE048
及其相对应的特征向量
Figure 326695DEST_PATH_IMAGE049
，同时对于经过每层下采样层所产生的临时特征
Figure 376691DEST_PATH_IMAGE045
，
Figure 711857DEST_PATH_IMAGE046
，
Figure 971937DEST_PATH_IMAGE047
进行保存。
步骤二：基于步骤1中得到的特征聚合点与其特征向量，采用注意力机制模块进行自、交叉注意力信息交互，分别达到增强特征局部感知以及对待配准点云达到整体感知的效果。本实施例的注意力机制模块包括自注意力机制模块和交叉注意力机制模块，如图3所示。本步骤具体过程如下：
Figure 316331DEST_PATH_IMAGE044
，
Figure 955254DEST_PATH_IMAGE049
是由来自于源点云和目标点云各自点云的几何信息所聚合生成的特征向量，仍不具有对方点云的几何信息。为了进一步增强特征向量对自身点云局部几何的描述能力以及实现输入源点云和目标点云之间的信息交互，本实施例采用Transformer模型对特征向量
Figure 461322DEST_PATH_IMAGE044
，
Figure 208698DEST_PATH_IMAGE049
进行显式的信息交互，Transformer模型的核心操作定义如下：
Figure 825624DEST_PATH_IMAGE050
（5）
其中，
Figure 348747DEST_PATH_IMAGE051
、
Figure 25716DEST_PATH_IMAGE052
、
Figure 260388DEST_PATH_IMAGE053
分别代表索引、键值、信息，具体化至点云配准问题中，特征聚合点的特征向量
Figure 681005DEST_PATH_IMAGE044
，
Figure 560100DEST_PATH_IMAGE049
即为Transformer模型中的
Figure 407970DEST_PATH_IMAGE051
、
Figure 129938DEST_PATH_IMAGE052
、
Figure 88667DEST_PATH_IMAGE053
，以从特征向量
Figure 87847DEST_PATH_IMAGE049
至
Figure 841039DEST_PATH_IMAGE044
的信息流为例，此时
Figure 50304DEST_PATH_IMAGE051
为
Figure 812723DEST_PATH_IMAGE044
,
Figure 666410DEST_PATH_IMAGE052
为
Figure 856083DEST_PATH_IMAGE049
,
Figure 287064DEST_PATH_IMAGE053
即为
Figure 587595DEST_PATH_IMAGE049
；
Figure 59903DEST_PATH_IMAGE054
为特征空间下的余弦相似度计算，以索引
Figure 420477DEST_PATH_IMAGE051
与信息
Figure 338754DEST_PATH_IMAGE053
做内积，向量维度
Figure 442977DEST_PATH_IMAGE055
作为尺度参数以控制相似度在合理的数值范围内。接着将得到的相似度数值通过softmax函数归一化成隶属0~1范围内的加和为1的概率数值分布，将此相似度数值与信息
Figure 271255DEST_PATH_IMAGE053
做内积，得到索引
Figure 802731DEST_PATH_IMAGE051
与信息
Figure 208304DEST_PATH_IMAGE053
间的注意力信息流，本实施例中得到特征向量
Figure 850638DEST_PATH_IMAGE049
至
Figure 533424DEST_PATH_IMAGE044
的注意力信息流
Figure 235800DEST_PATH_IMAGE056
。同理，特征向量
Figure 128670DEST_PATH_IMAGE044
至
Figure 574695DEST_PATH_IMAGE049
的反向注意力信息流可由相同的计算规律计算得出。
之后将得到的注意力信息流与特征聚合点的特征向量进行线性融合，即信息交互过程，使特征聚合点的特征向量
Figure 111987DEST_PATH_IMAGE044
，
Figure 985265DEST_PATH_IMAGE049
能够实现相互整体感知。
步骤三：多尺度特征解码
将点云全卷积网络的解码阶段网络分成三个并行输出通道，如图2右侧的并行解码器所示。以输入源点云
Figure 365430DEST_PATH_IMAGE057
为例，分别以经过注意力机制模块的特征聚合点的特征向量
Figure 615146DEST_PATH_IMAGE058
，编码阶段保存的临时特征
Figure 505480DEST_PATH_IMAGE059
，
Figure 549659DEST_PATH_IMAGE060
作为通道输入，分别对应高、中、低维度的特征生成通道，以并行的方式进行特征生成，实现生成对输入源点云
Figure 151542DEST_PATH_IMAGE057
具有不同感受野尺度的点云逐点特征。
具体而言，对于最高维的特征输出通道，在经过每次上采样层前，都会依次与特征编码阶段保存得到的临时特征
Figure 204948DEST_PATH_IMAGE059
，
Figure 716832DEST_PATH_IMAGE060
，
Figure 931913DEST_PATH_IMAGE061
进行特征拼接，对于中、低维度的特征输出通道采用相似的融合策略，以增强特征的感知能力。最终在并行的三个输出通道上得到具有不同感受野尺度的点云逐点特征（即多尺度特征）
Figure 286671DEST_PATH_IMAGE062
，同理，对输入目标点云
Figure 284714DEST_PATH_IMAGE063
也得到多尺度特征
Figure 713421DEST_PATH_IMAGE064
。
步骤四：特征匹配
在完成了输入源点云和目标点云在高、中、低三个维度下的特征提取后，分别在对应的特征空间中进行特征匹配，即特征最近邻搜索以构造点对匹配关系，组成匹配对集合
Figure 427299DEST_PATH_IMAGE065
，如图4所示。
步骤五：高维空间投票
将步骤四中得到的点对匹配集合
Figure 941457DEST_PATH_IMAGE065
进行高维向量表示，即将点对的三维坐标进行拼接，组织成高维的向量表示形式；之后使用高维稀疏卷积神经网络对点对匹配关系进行置信度分数预测，即评估每一对匹配关系的可信程度；接着基于以上的置信度得分从高至低进行排序，选择高于设定阈值的点对匹配关系作为求取位姿变换时的最终匹配对集合
Figure 8770DEST_PATH_IMAGE066
。
步骤六：反求位姿变换
利用步骤五得到的最终匹配对集合
Figure 557563DEST_PATH_IMAGE067
，采用奇异值分解SVD进行闭合形式的求解。具体而言，对于最终匹配对集合
Figure 176763DEST_PATH_IMAGE068
，定义质心计算如下：
Figure 178217DEST_PATH_IMAGE069
（6）
其中，
Figure 547757DEST_PATH_IMAGE070
表示源点云质心，
Figure 951056DEST_PATH_IMAGE071
表示目标点云质心。
协方差矩阵
Figure 475578DEST_PATH_IMAGE072
可以通过式（7）计算得到：
Figure 902012DEST_PATH_IMAGE073
（7）
对协方差矩阵
Figure 373444DEST_PATH_IMAGE072
进行奇异值分解
Figure 693567DEST_PATH_IMAGE074
，
Figure 123412DEST_PATH_IMAGE075
、
Figure 771562DEST_PATH_IMAGE076
、
Figure 781106DEST_PATH_IMAGE077
分别表示奇异值分解得到的对应正交矩阵，对角矩阵与正交矩阵，接着最小化式（1）的旋转与平移矩阵的闭合解计算形式如下：
Figure 221315DEST_PATH_IMAGE078
（8）
步骤七：将步骤六中求解得到的旋转与平移矩阵变换作用于输入源点云
Figure 290902DEST_PATH_IMAGE057
，使源点云
Figure 691927DEST_PATH_IMAGE057
与目标点云
Figure 505162DEST_PATH_IMAGE063
处于同一全局坐标系下，完成源点云与目标点云的配准，进而重建得到完整的三维模型。
为进一步说明本发明的点云配准方法，下面将本配准方法与FCGF（稀疏全卷积特征配准网络）、D3Feat（核心关键点卷积特征配准网络）、Predator（重叠区域核心点卷积特征）三种现有方法在配准召回率方面的对比，具体对比数值如下表1所示。
表1本方法与三种现有方法配准召回率比较
Figure 799878DEST_PATH_IMAGE079
从表1可以看出，在标准重合度场景3DMatch以及低重合度场景3DLoMatch数据集上，本方法相较于目前的主流特征匹配式点云配准算法在不同采样点数的设置下，在特征匹配召回率以及配准成功率标准上均获得了指标上的提升，特别是在低重合度场景中，在大点数采样情况下取得了较大的提升。从以上表格可以得出结论，说明本发明在低重合场配准场景下表现出显著优势，证明本发明专门为低重合场景设计的模块的有效性。
本实施例还提供了一种执行上述点云配准方法的点云配准系统，包括：
点云特征编码模块，用于对待配准的源点云X与目标点云Y执行点云全卷积特征编码，分别提取源点云X和目标点云Y的特征聚合点
Figure 305945DEST_PATH_IMAGE080
,
Figure 427223DEST_PATH_IMAGE081
及其对应的特征向量
Figure 44149DEST_PATH_IMAGE082
，
Figure 193371DEST_PATH_IMAGE083
；
注意力机制模块，用于对源点云X与目标点云Y的特征向量
Figure 870340DEST_PATH_IMAGE082
，
Figure 980378DEST_PATH_IMAGE083
进行自、交叉注意力信息交互；
多尺度特征提取模块，用于基于源点云X与目标点云Y的经过注意力机制的特征向量
Figure 932153DEST_PATH_IMAGE082
，
Figure 139144DEST_PATH_IMAGE083
以及点云全卷积特征编码阶段保存的临时特征
Figure 924697DEST_PATH_IMAGE084
，
Figure 584349DEST_PATH_IMAGE085
，
Figure 605394DEST_PATH_IMAGE086
和
Figure 401312DEST_PATH_IMAGE087
，
Figure 357767DEST_PATH_IMAGE088
，
Figure 504714DEST_PATH_IMAGE089
，以并行方式提取生成对源点云X和目标点云Y具有不同感受野尺度的点云逐点特征
Figure 329451DEST_PATH_IMAGE090
，
Figure 245454DEST_PATH_IMAGE091
，
Figure 605766DEST_PATH_IMAGE092
，
Figure 240010DEST_PATH_IMAGE093
，
Figure 602858DEST_PATH_IMAGE094
，
Figure 638947DEST_PATH_IMAGE095
；
特征匹配模块，用于利用生成的点云逐点特征，在不同感受野尺度下进行特征匹配，得到不同感受野尺度下的点对匹配关系，组成点对匹配集合
Figure 671625DEST_PATH_IMAGE096
；
高维空间投票模块，用于将点对匹配集合
Figure 793165DEST_PATH_IMAGE096
进行高维向量表示，并利用高维稀疏卷积网络进行点对匹配集合
Figure 959704DEST_PATH_IMAGE096
中的点对匹配对的置信度预测，并根据预测到的置信度大小得到最终点对匹配集合
Figure 584721DEST_PATH_IMAGE097
；
位姿变换模块，用于基于得到的点对匹配集合
Figure 53879DEST_PATH_IMAGE098
中点对匹配对的点对匹配关系，求解得到旋转与平移的刚体变换；并将得到的刚体变换作用于源点云，使源点云和目标点云变换至统一的全局坐标系下，完成源点云与目标点云的配准，从而重建得到完整的三维模型。
对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以对本发明的实施例作出若干变型和改进，这些都属于本发明的保护范围。

Claims (10)

1.一种基于多尺度特征投票的点云配准方法，其特征在于，包括如下步骤：
步骤S1：对待配准的源点云与目标点云执行点云全卷积特征编码，分别提取源点云和目标点云的特征聚合点及其对应的特征向量；
步骤S2：利用注意力机制对源点云与目标点云的特征向量进行自、交叉注意力信息交互；
步骤S3：基于源点云与目标点云的经过注意力机制的特征向量以及点云全卷积特征编码阶段保存的临时特征，以并行方式提取生成对源点云和目标点云具有不同感受野尺度的点云逐点特征；
步骤S4：利用生成的点云逐点特征，在不同感受野尺度下进行特征匹配，得到不同感受野尺度下的点对匹配关系，组成初始点对匹配集合；
步骤S5：将初始点对匹配集合进行高维向量表示，并利用高维稀疏卷积网络进行初始点对匹配集合中的点对匹配关系的置信度预测，并根据预测到的置信度大小得到最终点对匹配集合；
步骤S6：基于得到的最终点对匹配集合中点对匹配对的点对匹配关系，求解得到旋转与平移的刚体变换；
步骤S7: 将得到的刚体变换作用于源点云，使源点云和目标点云变换至统一的全局坐标系下，完成源点云与目标点云的配准，从而重建得到完整的三维模型。
2.根据权利要求1所述的一种基于多尺度特征投票的点云配准方法，其特征在于，步骤S1具体过程为：针对源点云和目标点云具有的空间稀疏特性，对待配准的源点云与目标点云利用点云全卷积网络进行连续下采样特征编码，并将每个下采样层得到的临时特征输出进行保存；经过全部下采样层后，得到源点云和目标点云的具有高维表征能力的特征聚合点及其对应的特征向量。
3.根据权利要求1所述的一种基于多尺度特征投票的点云配准方法，其特征在于，步骤S2中，采用Transformer模型对源点云与目标点云的特征向量进行显式的信息交互，使源点云与目标点云实现相互整体感知。
4.根据权利要求1所述的一种基于多尺度特征投票的点云配准方法，其特征在于，步骤S3具体过程为：设计具有三个并行输出通道的多尺度特征提取网络，分别以源点云的经过注意力机制的特征向量、目标点云的经过注意力机制的特征向量以及点云全卷积特征编码阶段保存的临时特征作为通道输入，分别对应高、中、低纬度的特征生成通道，以并行方式对源点云和目标点云进行逐点稠密多尺度特征提取，生成对源点云和目标点云具有不同感受野尺度的点云逐点特征。
5.根据权利要求4所述的一种基于多尺度特征投票的点云配准方法，其特征在于，步骤S4具体过程为：基于所设计的多尺度特征提取网络，利用生成的对源点云和目标点云具有不同感受野尺度的点云逐点特征的描述子，在不同感受野尺度下进行特征最近邻搜索，得到在不同感受野尺度下的点对匹配关系。
6.根据权利要求1所述的一种基于多尺度特征投票的点云配准方法，其特征在于，步骤S5具体过程为：将初始点对匹配集合中点对的三维坐标进行拼接，组织成高维的向量表示形式；然后使用高维稀疏卷积神经网络对初始点对匹配集合中的点对匹配对进行置信度分数预测，并将预测得到的置信度分数从高至低进行排序，选择高于设定阈值的点对匹配对组成求取位姿变换时的最终点对匹配集合。
7.根据权利要求1所述的一种基于多尺度特征投票的点云配准方法，其特征在于，步骤S6中利用奇异值分解SVD求解得到旋转与平移的刚体变换。
8.一种基于多尺度特征投票的点云配准系统，其特征在于，包括：
点云特征编码模块，用于对待配准的源点云与目标点云执行点云全卷积特征编码，分别提取源点云和目标点云的特征聚合点及其对应的特征向量；
注意力机制模块，用于对源点云与目标点云的特征向量进行自、交叉注意力信息交互；
多尺度特征提取模块，用于基于源点云与目标点云的经过注意力机制的特征向量以及点云全卷积特征编码阶段保存的临时特征，以并行方式提取生成对源点云和目标点云具有不同感受野尺度的点云逐点特征；
特征匹配模块，用于利用生成的点云逐点特征，在不同感受野尺度下进行特征匹配，得到不同感受野尺度下的点对匹配关系，组成初始点对匹配集合；
高维空间投票模块，用于将初始点对匹配集合进行高维向量表示，并利用高维稀疏卷积网络进行初始点对匹配集合中的点对匹配关系的置信度预测，并根据预测到的置信度大小得到最终点对匹配集合；
位姿变换模块，用于基于得到的最终点对匹配集合中点对匹配对的点对匹配关系，求解得到旋转与平移的刚体变换；并将得到的刚体变换作用于源点云，使源点云和目标点云变换至统一的全局坐标系下，完成源点云与目标点云的配准，从而重建得到完整的三维模型。
9.一种电子设备，其特征在于，包括：
存储器、处理器和存储在所述存储器上并可在所述处理器上运行的程序，所述处理器执行所述程序，以实现根据权利要求1-7任一项所述的基于多尺度特征投票的点云配准方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有程序，该程序被处理器执行，以实现根据权利要求1-7任一项所述的基于多尺度特征投票的点云配准方法。
CN202211644483.XA 2022-12-21 2022-12-21 一种基于多尺度特征投票的点云配准方法及系统 Pending CN115631341A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211644483.XA CN115631341A (zh) 2022-12-21 2022-12-21 一种基于多尺度特征投票的点云配准方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211644483.XA CN115631341A (zh) 2022-12-21 2022-12-21 一种基于多尺度特征投票的点云配准方法及系统

Publications (1)

Publication Number Publication Date
CN115631341A true CN115631341A (zh) 2023-01-20

Family

ID=84910770

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211644483.XA Pending CN115631341A (zh) 2022-12-21 2022-12-21 一种基于多尺度特征投票的点云配准方法及系统

Country Status (1)

Country Link
CN (1) CN115631341A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116958557A (zh) * 2023-08-11 2023-10-27 安徽大学 一种基于残差脉冲神经网络的三维室内场景语义分割方法
WO2024170182A1 (de) * 2023-02-15 2024-08-22 Robert Bosch Gmbh Vorrichtung und verfahren zur verarbeitung von sensordaten, sensorsystem

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114037743A (zh) * 2021-10-26 2022-02-11 西北大学 一种基于动态图注意力机制的秦俑三维点云鲁棒配准方法
CN114926325A (zh) * 2022-06-07 2022-08-19 中南大学 一种点云配准的方法、系统及存储介质
CN115409931A (zh) * 2022-10-31 2022-11-29 苏州立创致恒电子科技有限公司 一种基于图像与点云数据融合的三维重建方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114037743A (zh) * 2021-10-26 2022-02-11 西北大学 一种基于动态图注意力机制的秦俑三维点云鲁棒配准方法
CN114926325A (zh) * 2022-06-07 2022-08-19 中南大学 一种点云配准的方法、系统及存储介质
CN115409931A (zh) * 2022-10-31 2022-11-29 苏州立创致恒电子科技有限公司 一种基于图像与点云数据融合的三维重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HAINING GUAN ET AL.: "DOANet: Point Cloud Registration with Deep Overlap Attention" *
HAINING GUAN ET AL.: "Voting Multi-scale Features for Robust Point Cloud Registration" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024170182A1 (de) * 2023-02-15 2024-08-22 Robert Bosch Gmbh Vorrichtung und verfahren zur verarbeitung von sensordaten, sensorsystem
CN116958557A (zh) * 2023-08-11 2023-10-27 安徽大学 一种基于残差脉冲神经网络的三维室内场景语义分割方法

Similar Documents

Publication Publication Date Title
Huang et al. A novel nonlocal-aware pyramid and multiscale multitask refinement detector for object detection in remote sensing images
Xie et al. Point clouds learning with attention-based graph convolution networks
CN115631341A (zh) 一种基于多尺度特征投票的点云配准方法及系统
Cheng et al. Bi-pointflownet: Bidirectional learning for point cloud based scene flow estimation
Zhang et al. Progressive hard-mining network for monocular depth estimation
CN113838109B (zh) 一种低重合度点云配准方法
CN114550161B (zh) 一种端到端的三维目标稀疏检测方法
Yang et al. ANFIS construction with sparse data via group rule interpolation
Zhan et al. FA-ResNet: Feature affine residual network for large-scale point cloud segmentation
Xu et al. GLORN: Strong generalization fully convolutional network for low-overlap point cloud registration
Xu et al. AutoSegNet: An automated neural network for image segmentation
Cui et al. Exploiting more information in sparse point cloud for 3d single object tracking
CN110956601B (zh) 一种基于多传感器样态系数的红外图像融合方法和装置以及计算机可读存储介质
CN116128944A (zh) 一种基于特征交互和可靠对应关系估计的三维点云配准方法
CN115439669A (zh) 基于深度学习的特征点检测网络及跨分辨率图像匹配方法
Liu et al. Playing to Vision Foundation Model's Strengths in Stereo Matching
Gao et al. HDRNet: High‐Dimensional Regression Network for Point Cloud Registration
An et al. PointTr: Low-Overlap Point Cloud Registration with Transformer
CN114998630A (zh) 一种从粗到精的地对空图像配准方法
Sa et al. Depth grid-based local description for 3D point clouds
Faraji et al. Drone-YOLO: Improved YOLO for Small Object Detection in UAV
CN118172398B (zh) 基于双层聚焦-注意力特征交互的点云配准方法及系统
Zhao et al. Visible/Infrared Image Registration Based on Region-Adaptive Contextual Multi-Features
Chen et al. Recognition and Classification of High Resolution Remote Sensing Image based on Convolutional Neural Network
Wu et al. A Global Perception Attention-based Network for Point Cloud Completion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20230120