CN115631221A - 一种基于一致性采样的低重叠度点云配准方法 - Google Patents

一种基于一致性采样的低重叠度点云配准方法 Download PDF

Info

Publication number
CN115631221A
CN115631221A CN202211513216.9A CN202211513216A CN115631221A CN 115631221 A CN115631221 A CN 115631221A CN 202211513216 A CN202211513216 A CN 202211513216A CN 115631221 A CN115631221 A CN 115631221A
Authority
CN
China
Prior art keywords
point
point cloud
cloud
feature
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211513216.9A
Other languages
English (en)
Other versions
CN115631221B (zh
Inventor
高庆
关海宁
吕金虎
张鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202211513216.9A priority Critical patent/CN115631221B/zh
Publication of CN115631221A publication Critical patent/CN115631221A/zh
Application granted granted Critical
Publication of CN115631221B publication Critical patent/CN115631221B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于一致性采样的低重叠度点云配准方法，属于点云图像处理的技术领域，解决了现有技术中低重叠度点云配准方法噪声大、配准精度差的问题。本发明通过多尺度特征对输入点云提取具有不同感受野范围大小的逐点特征，并在多个特征尺度空间下进行最近邻查找，进行多尺度特征匹配以得到点对匹配关系，然后基于一致性采样策略，对通过多尺度特征匹配在目标点云上得到的不同尺度下的候选匹配关系点进行一致性检验，保留具有一致性的候选匹配关系点作为选中匹配点，进而提升匹配速度。

Description

一种基于一致性采样的低重叠度点云配准方法
技术领域
本发明属于点云图像处理的技术领域，具体涉及一种基于一致性采样的低重叠度点云配准方法。
背景技术
在三维成像中，为了获取真实世界物体或场景的完整三维模型，通常使用深度相机或激光雷达等探测设备对目标物体或场景进行点云采集，但是由于视角、遮挡以及探测设备感知范围等因素的限制，使得探测设备对目标物体或场景采集得到的是处于不同的世界空间坐标系下的点云片段。为了将获得的各个点云片段进行拼接，重建得到完整的三维模型，需要通过点云配准技术获得各个点云片段间相对刚体位姿变换关系，即旋转与平移信息，进而将其进行刚体变换至统一的全局坐标系下，重建得到完整的三维模型。
点云配准常常是在点云片段之间不具有较高重叠度的状态下进行配准，对于低重叠度的点云配准，一般采用基于点云卷积式的特征描述符生成方式的点云配准技术，该点云配准技术在对低重叠度场景下的输入点云进行特征提取时，常常由于点云卷积核感受野的大小范围固定而产生误匹配对，从而影响最终配准结果。即当采样点选择在输入点云重叠区域时，采样点周围非重叠区域部分的信息将会作为噪声被局部感知，为采样点处特征的生成带来不必要的几何信息，进而在后续的特征匹配阶段产生错误的匹配点对，在最终的位姿求取阶段产生较大误差。
发明内容
鉴于上述分析，本发明提供了一种基于一致性采样的低重叠度点云配准方法，解决了现有的低重叠度点云配准方法噪声大、配准精度差的问题。
本发明提供的一种基于一致性采样的低重叠度点云配准方法，其特征在于，包括以下步骤：
步骤S1、点云数据预处理获得输入点云；
步骤S2、对输入点云建模：
获取不同坐标系的输入点云中具有重叠度的源点云X∈{x i |i=1,2,…,N}与目标点云Y∈{y j |j=1,2,…,M}，其中，x i 为源点云X中点x i 的三维坐标向量，y j 为目标点云Y中点y j 的三维坐标向量；求源点云X与目标点云Y的旋转矩阵R与平移向量t的最小化点对误差：
Figure 67862DEST_PATH_IMAGE001
其中，C ij 为源点云X中第i个点x i 与目标点云Y中第j个点y j 之间的真值点对匹配集合；SO3为欧氏空间中所有环绕坐标轴原点的旋转矩阵组成的集合，
Figure 363976DEST_PATH_IMAGE002
为实数域；N为源点云X中点的个数；M为源点云Y中点的个数；
步骤S3、点云全卷积特征编码：
利用核心点卷积网络对源点云X与目标点云Y进行连续下采样提取特征编码，获得源点云X和目标点云Y的特征聚合点的特征向量F X’ 和F Y’ ；在经过每个下采样层之前获取与各层下采样层对应的源点云X与目标点云Y的临时特征F X o 和F Y o ，o=1,2,…O，O≥3，O为下采样总层数；
步骤S4、多尺度特征解码：
将特征向量F X’ 和F Y’ 以及临时特征F X o 和F Y o 作为输入，分别对应解码生成源点云X和目标点云Y的并行的高、中和低维特征输出通道；
解码生成源点云X和目标点云Y的并行的高、中和低维特征输出通道的方法为：
对于源点云X，层级式上采样临时特征F X o ；对于源点云X的高维特征输出通道，以输入特征向量F X’ 作为解码器输入，在经过每层上采样后，依层分别接入临时特征F X O ,F X O-1 ,…,和F X 1 ；对于源点云X的中维特征输出通道，以临时特征F X O 作为解码器输入，在经过每层上采样后，依层分别接入临时特征F X O-1 ,…,F X 1 ；对于源点云X的低维特征输出通道，以临时特征F X O-1 作为解码器输入，依层分别接入临时特征F X O-2 ,…,F X 1 ，由此，在源点云X并行的高、中和低维特征输出通道上获得高、中和低维感受野尺度的源点云逐点特征F X h 、F X m 和F X l ；
对于目标点云Y，层级式上采样临时特征F Y o ；对于目标点云Y的高维特征输出通道，以输入特征向量F Y’ 作为解码器输入，在经过每层上采样后，依层分别接入临时特征F Y O ,F Y O -1 ,…,和F Y 1 ；对于目标点云Y的中维特征输出通道，以临时特征F Y O 作为解码器输入，在经过每层上采样后，依层分别接入临时特征F Y O-1 ,…,F Y 1 ；对于目标点云Y的低维特征输出通道，以临时特征F Y O-1 作为解码器输入，依层分别接入临时特征F Y O-2 ,…,F Y 1 ，由此，在目标点云Y并行的高、中和低维特征输出通道上获得高、中和低维感受野尺度的目标点云逐点特征F Y h 、F Y m 和F Y l ；
步骤S5、特征匹配：
对源点云X与目标点云Y中的点进行随机采样，得到源点云X的候选匹配点x n 与目标点云Y的候选匹配点y s 及所选候选匹配点相对应的高、中和低维点云逐点特征，其中，n∈i，s∈j；对源点云X的候选匹配点x n 与目标点云Y的候选匹配点y s 分别在高、中和低维上进行对应尺度特征空间的特征匹配，获得源点云X中的点x n 在目标点云Y中的候选匹配关系点y n s ，候选匹配关系点的逐点特征为y n sh ，y n sm 和y n sl ，其中，y n sh ，y n sm 和y n sl 分别代表源点云X中的候选匹配点x n 在目标点云Y中的候选匹配关系点y n s 对应的高、中和低维感受野尺度的点云逐点特征；
步骤S6、一致性检验：
对在步骤S5中获得的候选匹配关系点进行空间一致性检验，获得具有一致性的候选匹配关系点对应的源点云X的候选匹配点x n 为选中匹配点x n’ ，所有选中匹配点构成匹配对集合C，C={(x n’ ,y n’ s )|n’=1,2,…,|C|}，其中，|C|为集合C的基数，x n’ 为源点云X中第n’个选中匹配点，y n’ s 为源点云X中的选中匹配点x n’ 在多尺度特征空间下于目标点云Y中对应的匹配关系点；
步骤S7、位姿求解模块：
对步骤S6的匹配对集合C，利用鲁棒的误匹配对剔除方法结合奇异值分解进行位姿求取，得到旋转平移信息；
步骤S8：将步骤S7得到的旋转平移信息作用于源点云X，使源点云X与目标点云Y处于同一全局坐标系下，重建得到完整的三维模型。
可选地，步骤S3具体步骤为：将源点云X的点x i 核心点卷积为：
Figure 744142DEST_PATH_IMAGE003
其中，F in 为输入卷积时的逐点特征，
Figure 400383DEST_PATH_IMAGE004
，
Figure 916815DEST_PATH_IMAGE002
为实数域；D in 为当前输入卷积层的特征维度，N为源点云X中点的个数；x iw 为点x i 的第w个邻域点的三维坐标向量，f iw 为点x iw 在F in 中对应的特征；N xi 为点x i 在源点云X构成的球体内的邻域点集合，N xi ={x iw ∈X‖x iw -x i ‖≤r,x iw ≠x i }，r为源点云X构成的球体半径；g为核函数；
核函数g为：
Figure 960994DEST_PATH_IMAGE005
其中，源点云X的核心点卷积网络中共有K个核心点，
Figure 687510DEST_PATH_IMAGE006
为源点云X的核心点卷积网络中的第k个核心点的三维坐标向量；W k 为第k个核心点的权重矩阵，
Figure 537655DEST_PATH_IMAGE007
；D in 为当前输入卷积层的特征维度，D out 为当前输出卷积层的特征维度；h c 为权重系数；
权重系数h c 为：
Figure 783959DEST_PATH_IMAGE008
其中，σ为控制空间距离敏感程度的预定义参数；
对于目标点云Y，采用与源点云X相同的方式进行点云全卷积特征编码；
获得源点云X和目标点云Y的特征聚合点的特征向量F X’ 和F Y’ 。
可选地，步骤S6具体步骤为：候选匹配关系点逐点特征y n sh ，y n sm 和y n sl 的质心点特征y n sc =(y n sh +y n sm +y n sl )/3，质心点特征y n sc 与候选关系匹配点逐点特征y n sh ，y n sm 和y n sl 之间的欧式距离d n sh ，d n sm 和d n sl 为：
d n sh =‖d n sh -y n sc ‖2，d n sm =‖d n sm -y n sc ‖2，d n sl =‖d n sl -y n sc ‖2；
当欧式距离d n sh ，d n sm 和d n sl 之和小于一致性阈值，则候选匹配关系点具有一致性，与该具有一致性的候选匹配点对应的源点云X的候选匹配点x n 为选中匹配点x n’ 。
可选地，一致性阈值为1.5倍的点云下采样率。
可选地，步骤S7具体步骤为：对于匹配对集合C，点集质心
Figure 999040DEST_PATH_IMAGE009
为：
Figure 88219DEST_PATH_IMAGE010
其中，x n’ 为源点云X中选中匹配点x n’ 的三维坐标向量，y n’ s 为选中匹配点x n’ 在多尺度特征空间下于目标点云Y中对应的匹配关系点的三维坐标向量；
协方差矩阵H为：
Figure 99644DEST_PATH_IMAGE011
对协方差矩阵H进行奇异值分解H SVD =USV T ，其中，U，S和V分别为协方差矩阵奇异值分解得到的正交矩阵、对角矩阵以及正交矩阵；
基于步骤S2中的最小化点对误差，对旋转矩阵R与平移向量t进行求解，得到最终旋转矩阵R与平移向量t的闭合形式解：
Figure 325089DEST_PATH_IMAGE012
。
可选地，步骤S1具体步骤为：降采样不同坐标系的点云数据，剔除点云数据中的离群点，获得输入点云。
与现有技术相比，本发明的有益效果体现在：
（1）本发明采用基于全卷积的神经网络架构进行点云特征提取，能够实现点云逐点稠密特征的快速生成。
（2）本发明设计多尺度特征提取网络机制，能够对输入点云提取具有不同感受野尺度的特征，使得点对特征匹配在多个空间尺度上进行，增大了点对匹配成功的机率。
（3）本发明基于一致性采样，利用多尺度空间一致性对待匹配点进行显式剔除操作，提升了点对匹配集合中正确匹配对占比，从而提高点云配准的精度与稳定性。
（4）本发明点云配准方法的配准召回率以及整体配准流程速度得到显著提升。
附图说明
图1为本发明的感受野大小变化示意图；
图2为本发明的多尺度特征提取网络机制示意图；
图3为本发明的空间一致性示意图。
具体实施方式
下面结合附图和具体实施例，对本发明进行详细描述。
本发明的一个具体实施例，参见图1-3，公开了一种基于一致性采样的低重叠度点云配准方法，包括以下步骤：
步骤S1、点云数据预处理：
降采样不同坐标系的点云数据，并剔除点云数据中的离群点，获得不同坐标系的输入点云。通过该步骤，将密度分布不均和/或受传感器噪声影响的点云数据经过预处理得到密度分布均匀，无离群点的输入点云，成为一种可用于深度学习网络的点云输入形式。
具体过程为：
步骤S1-1、体素下采样不同坐标系下的点云数据，使得获得的点云数据密度分布均匀；
步骤S1-2、定义给定半径的球体与给定半径的球体内点数阈值；以点云数据中的每一个点作为球心构造给定半径的球体，统计以该点作为球心构造给定半径的球体内的点数，如果该点数小于点数阈值，则认为该点为离群点，对离群点进行剔除；点云数据中不是离散点的点构成输入点云。
步骤S2、对输入点云建模：
获取不同坐标系的输入点云中具有重叠度的源点云X∈{x i |i=1,2,…,N}与目标点云Y∈{y j |j=1,2,…,M}，其中，x i 为源点云X中点x i 的三维坐标向量，y j 为目标点云Y中点y j 的三维坐标向量；求源点云X与目标点云Y的旋转矩阵R与平移向量t的最小化点对误差：
Figure 711071DEST_PATH_IMAGE001
（1）
其中，C ij 为源点云X中第i个点x i 与目标点云Y中第j个点y j 之间的真值点对匹配集合；SO3为欧氏空间中所有环绕坐标轴原点的旋转矩阵组成的集合，
Figure 162912DEST_PATH_IMAGE002
为实数域；N为源点云X中点的个数；M为源点云Y中点的个数。
步骤S3、点云全卷积特征编码：
针对输入点云的空间稀疏特性，用核心点卷积网络KPConv（Kernel PointConvolution）对源点云X与目标点云Y利进行连续下采样提取特征编码，获得源点云X和目标点云Y的特征聚合点的特征向量F X’ 和F Y’ ；在经过每个下采样层之前将源点云X与目标点云Y的临时特征F X o 和F Y o 进行输出并行保存，用于在多尺度特征解码时进行融合，其中，F X o 和F Y o 分别为源点云X与目标点云Y第o层下采样时产生的临时特征。针对不同数据集模态，设计不同的下采样层数O以适应不同点云规模大小的输入，o=1,2,…O，O≥3。
具体过程为：
对于源点云X，将源点云X的点x i 核心点卷积为：
Figure 354859DEST_PATH_IMAGE013
（2）
其中，F in 为输入卷积时的逐点特征，
Figure 559444DEST_PATH_IMAGE004
，
Figure 381906DEST_PATH_IMAGE002
为实数域；D in 为当前输入卷积层的特征维度，N为源点云X中点的个数；x iw 为x i 的第w个邻域点，f iw 为点x iw 在F in 中对应的特征；N xi 为点x i 在源点云X构成的球体内的邻域点集合，N xi ={x iw ∈X‖x iw -x i ‖≤r,x iw ≠x i }，r为源点云X构成的球体半径；g为核函数。
核函数g为：
Figure 180098DEST_PATH_IMAGE014
（3）
其中，源点云X的核心点卷积网络中共有K个核心点，
Figure 51102DEST_PATH_IMAGE006
为源点云X的核心点卷积网络中的第k个核心点；W k 为第k个核心点的权重矩阵，
Figure 985560DEST_PATH_IMAGE007
；D in 为当前输入卷积层的特征维度，D out 为当前输出卷积层的特征维度；h c 为权重系数。
权重系数h c 为：
Figure 978924DEST_PATH_IMAGE015
（4）
其中，σ为控制空间距离敏感程度的预定义参数。
对于点x i ，在以点x i 为中心的球体的邻域点集合N xi 内进行连续点云卷积操作，源点云X构成的球体半径r，其感受野范围等于半径为r的球体。参见图1，在一次核心点卷积操作中，若感受野球体半径为r，则对于点x i ，其感受野范围也为r，即点x i 能够接收与其距离小于r的点的信息。经过一次核心点卷积后，由于点x i 领域点也进行了卷积操作，导致点x i 的感受野范围相较之前得到的扩大。经过两次卷积后，相应的进行一次下采样，并将球体半径由r扩大为2r，结合以上分析，其点x i 的感受野范围得到进一步扩大。因此感受野范围大小与网络结构的深度成正比，由此，采用控制网络深度的方式，实现了控制点云卷积感受野大小的目的。
对于目标点云Y同理，源点云X和目标点云Y经过全部下采样层后，获得源点云X和目标点云Y的具有抽象表征能力的特征聚合点坐标X’与Y’及特征聚合点的特征向量F X’ 和F Y’ 。
参见图2，以源点云
Figure 890510DEST_PATH_IMAGE016
为例，使用特征编码器进行层级式下采样与点云卷积操作，输出点数更少的具有高维表征能力的特征聚合点X’及其相对应的特征向量F X’ ，同时对经过每层下采样层时所产生的临时特征F X 1、F X 2和F X 3进行保存。
步骤S4、多尺度特征解码：
输入特征向量F X’ 和F Y’ 以及临时特征F X o 和F Y o ，分别对应解码生成源点云X和目标点云Y的并行的高、中和低维特征输出通道；
具体过程为：
对于源点云X，层级式上采样临时特征F X o ；对于源点云X的高维特征输出通道，以输入特征向量F X’ 作为解码器输入，在经过每层上采样后，依层分别接入临时特征F X O ,F X O-1 ,…,和F X 1 ；对于源点云X的中维特征输出通道，以临时特征F X O 作为解码器输入，在经过每层上采样后，依层分别接入临时特征F X O-1 ,…,F X 1 ；对于源点云X的低维特征输出通道，以临时特征F X O-1 作为解码器输入，依层分别接入剩下临时特征，由此，在源点云X并行的高、中和低维特征输出通道上获得高、中和低维感受野尺度的源点云X逐点特征F X h 、F X m 和F X l ；对于目标点云Y中的特征向量F Y’ 与临时特征F Y o 的多尺度特征解码，采用与特征向量F X’ 与临时特征F X o 相同的方法获得高、中和低维感受野尺度的目标点云Y逐点特征F Y h 、F Y m 和F Y l ，由此构成多尺度特征空间。
参见图2，O=3时，对于源点云X的高维特征输出通道，以输入特征向量F X’ 作为解码器输入，在经过每层上采样后，依层分别拼接入临时特征F X 3 , F X 2 和F X 1 ；对于源点云X的中维特征输出通道，以临时特征F X 3 作为解码器输入，在经过每层上采样后，依层分别拼接入拼接临时特征F X 2 和F X 1 ；对于源点云X的低维特征输出通道，以临时特征F X 2 作为解码器输入，拼接临时特征F X 1 。
在并行的源点云X输出通道上得到具有不同感受野尺度的源点云X逐点特征F X h ，F X m 和F X l ，同理，目标点云Y得到具有不同感受野尺度的目标点云Y逐点特征F Y h ，F Y m 和F Y l ，其中，h，m和l分别代表具有高（high）、中（mid）和低（low）的感受野野尺度的点云特征，由此构成多尺度特征空间。
步骤S5、特征匹配：对源点云X与目标点云Y中的点进行随机采样，得到源点云X的候选匹配点x n 与目标点云Y的候选匹配点y s 及所选候选匹配点相对应的高、中和低维点云逐点特征，其中，n∈i,i=1,2,…,N，s∈j,j =1,2,…,M；对源点云X的候选匹配点x n 与目标点云Y的候选匹配点y s 分别在高、中和低维上进行对应尺度特征空间的特征匹配，获得源点云X中的点x n 在目标点云Y中的候选匹配关系点y n s ，候选匹配关系点的逐点特征为y n sh ，y n sm 和y n sl ，其中，y n sh ，y n sm 和y n sl 分别代表源点云X中的候选匹配点x n 在目标点云Y中的候选匹配关系点y n s 对应的高、中和低维感受野尺度的点云逐点特征；由所有候选匹配关系点构建得到高、中和低维感受野尺度上的匹配对输出集合。
具体步骤为：
特征匹配过程采用特征最近邻搜索的匹配方式，对于源点云X的候选匹配点及其相对应的高、中和低维源点云逐点特征，计算其与目标点云Y的候选匹配点相对应的高、中和低维目标点云逐点特征的相似度，选择相似度最高的目标点云Y的候选匹配点作为源点云X的候选匹配关系点；依次对源点云X与目标点云Y的所有候选匹配点及该候选匹配点相对应的高、中和低维点云逐点特征进行特征匹配获得候选匹配关系点集合。
步骤S6、一致性检验：对在步骤S5中获得的候选匹配关系点集合中的所有候选匹配关系点进行空间一致性检验，得到针对源点云X中候选匹配点的多尺度空间一致性，并根据所得结果剔除源点云X中不具有一致性的候选匹配点，具有一致性的候选匹配点为选中匹配点x n’ ，所有选中匹配点构成匹配对集合C，C={(x n’ ,y n’ s )|n’=1,2,…,|C|}，其中，|C|为集合C的基数，x n’ 为源点云X中第n’个选中匹配点，y n’ s 为源点云X中的选中匹配点x n’ 在多尺度特征空间下于目标点云Y中对应的匹配关系点。一致性检验实现了提升匹配对集合中正确匹配对占比以及减少待匹配对数量，提升匹配速度。
具体过程为：
对在步骤S5中获得的候选匹配关系点进行空间一致性检验，如图3所示，候选匹配关系点逐点特征y n sh ，y n sm 和y n sl 的质心点特征y n sc =(y n sh +y n sm +y n sl )/3，质心点特征y n sc 与候选关系匹配点逐点特征y n sh ，y n sm 和y n sl 之间的欧式距离d n sh ，d n sm 和d n sl 为：
d n sh =‖d n sh -y n sc ‖2，d n sm =‖d n sm -y n sc ‖2，d n sl =‖d n sl -y n sc ‖2；（5）
定义一致性阈值为1.5倍的点云下采样率，当欧式距离d n sh ，d n sm 和d n sl 之和小于一致性阈值认为候选匹配点具有一致性，即在三个特征空间下的候选匹配点d n sh ，d n sm 和d n sl 分布位置紧凑，与该具有一致性的候选匹配点对应的源点云X的候选匹配点x n 为选中匹配点x n’ 保留；高于阈值则不具有一致性，认为候选匹配点分布位置分散，进行剔除，获得点对匹配集合C。一致性采样策略一方面提高了点对匹配中正确匹配点对的占比，另一方面有效的剔除了错误候选匹配点，缩小了匹配点集大小范围，在提高最终匹配精度的同时加速了整体流程的配准。
步骤S7、位姿求解模块，对步骤S6得到的经过一致性采样的匹配对集合C，利用鲁棒的误匹配对剔除方法RANSAC（random sample consensus）结合奇异值
分解SVD进行位姿求取，得到旋转平移信息。
具体过程为：
匹配对集合C的点集质心
Figure 424260DEST_PATH_IMAGE017
为：
Figure 682066DEST_PATH_IMAGE018
（6）
协方差矩阵H为：
Figure 518435DEST_PATH_IMAGE019
（7）
对协方差矩阵H进行奇异值分解H SVD =USV T ，其中，U，S和V分别为协方差矩阵奇异值分解得到的正交矩阵、对角矩阵以及正交矩阵；
基于步骤S2中的最小化点对误差，对旋转矩阵R与平移向量t进行求解，得到最终旋转矩阵R与平移向量t的闭合形式解：
Figure 25640DEST_PATH_IMAGE020
（8）
步骤八：将步骤七得到的旋转矩阵R与平移向量t的闭合形式解作用于源点云X，使源点云X与目标点云Y处于同一全局坐标系下，进而重建得到完整的三维模型。
为了便于理解本发明，下面举例详细阐述本发明方法，但是本发明还可以应用于其他不同于此实施例来实施，因此，本发明保护范围不限于下述实例。
数据集的准备：在目前点云配准算法常用的室内数据集3DMatch、低重叠度场景数据集3DLoMatch、合成CAD数据集ModelNet以及室外激光雷达数据集Odometry KITTI上进行操作。在3DMatch、ModelNet及Odometry KITTI上验证本发明也可适用于一般重叠度下的、多输入数据模态下的通用点云配准任务，在3DLoMatch上验证本发明在低重叠度场景下的优越性能。
评价指标：内点比率（Inlier Ratio）、特征匹配召回率（Feature MatchingRecall）与配准成功率（Registration Recall）以及平均配准速度（Hz），前两个指标衡量特征提取模块提取特征的描述能力，第三个指标表征配准中成功匹配的对数占点云总数的比例，互相呈现正相关的关系，特征匹配召回率越高，配准的成功率也将越高。同时测量配准速度，以验证本发明在效率上的优越性。
测试过程：为了验证本发明的有效性，对本发明中所提出一致性采样策略的实用性进行实验验证。
数据集的准备：在点云配准任务中的三个常用数据集上进行测试，分别是室内数据集3DMatch以及其低重合度版本3DLoMatch，人工合成CAD数据集ModelNet40，以及室外雷达里程计数据集Odometry KITTI。
评价指标：本主要对内点比率（Inlier Ratio）、特征匹配召回率（FeatureMatching Recall）以与配准召回率（Registration Recall）进行评价，前两者衡量特征提取模块提取特征的描述能力，后者表征配准中成功匹配的对数占点云总数的比例。两个指标互相呈现正相关的关系，特征匹配召回率越高，配准的成功率也将越高。
模型训练：将本发明的方法在以上三个数据集的训练集上分别进行训练，选用SGD优化器，学习率分别设置为5e-3、5e-2、1e-2，GPU选用NVIDIA 3090，整体模型训练40个周期可以收敛。后端RANSAC使用open3D（版本0 .10.0）实现。实验结果具体参见表1-表4：
表1 3DMatch上的模型表现
测试组 多尺度一致性采样策略 匹配采样点 内点比率（%） 特征匹配召回率（%） 配准召回率（%） 平均配准速度（Hz）
1 × 5000 47.63 97.35 86.62 4
2 √ 5000 47.63 97.35 90.36 9
3 × 2500 45.44 97.77 88.17 8
4 √ 2500 45.44 97.77 88.93 16
5 × 1000 40.73 97.41 84.93 18
6 √ 1000 40.73 97.41 84.15 34
表2 3DLoMatch上的模型表现
测试组 多尺度一致性采样策略 匹配采样点 内点比率（%） 特征匹配召回率（%） 配准召回率（%） 平均配准速度（Hz）
7 × 5000 18.72 79.55 48.37 11
8 √ 5000 18.72 79.55 61.87 21
9 × 2500 17.60 79.02 45.88 27
10 √ 2500 17.60 79.02 56.99 34
11 × 1000 15.25 76.88 40.05 57
12 √ 1000 15.25 76.88 43.05 66
表3 合成CAD数据集ModelNet上的模型表现
测试组 多尺度一致性采样策略 匹配采样点 旋转角度误差(°) 平移误差 平均配准速度（Hz）
13 × 450 5.5735 0.0699 12
14 √ 450 5.4179 0.0628 22
表4 Odometry KITTI上的模型表现
测试组 多尺度一致性采样策略 匹配采样点 旋转角度误差(°) 平移误差(m) 配准召回率(%) 平均配准速度(Hz)
15 × 5000 0.330 7.6 99.8 1
16 √ 5000 0.357 7.4 99.8 3
17 × 2500 0.391 9.1 99.8 3
18 √ 2500 0.424 9.1 99.8 6
19 × 1000 0.619 13.2 99.8 7
20 √ 1000 0.657 12.9 99.8 16
本发明的基于一致性采样的低重叠度点云配准方法，针对点云特征描述符生成时卷积和感受野范围固定而导致的特征描述符受无关几何信息干扰的问题，通过多尺度特征提取骨干网络对输入点云提取具有不同感受野范围大小的逐点稠密特征，并在多个特征尺度空间下进行最近邻查找，进行多尺度特征匹配以得到点对匹配关系，然后基于一致性采样策略，对通过多尺度特征匹配在目标点云上得到的不同尺度下的特征匹配点进行一致性检验，通过剔除不具有一致性的待匹配点，进而达到提升点对匹配集合中正确匹配对占比以及减少待匹配对数量，提升匹配速度。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (6)

1.一种基于一致性采样的低重叠度点云配准方法，其特征在于，包括以下步骤：
步骤S1、点云数据预处理获得输入点云；
步骤S2、对输入点云建模：
获取不同坐标系的输入点云中具有重叠度的源点云X∈{x i |i=1,2,…,N}与目标点云Y∈{y j |j=1,2,…,M}，其中，x i 为源点云X中点x i 的三维坐标向量，y j 为目标点云Y中点y j 的三维坐标向量；求源点云X与目标点云Y的旋转矩阵R与平移向量t的最小化点对误差：
Figure 141768DEST_PATH_IMAGE001
其中，C ij 为源点云X中第i个点x i 与目标点云Y中第j个点y j 之间的真值点对匹配集合；SO3为欧氏空间中所有环绕坐标轴原点的旋转矩阵组成的集合，
Figure 974595DEST_PATH_IMAGE002
为实数域；N为源点云X中点的个数；M为源点云Y中点的个数；
步骤S3、点云全卷积特征编码：
利用核心点卷积网络对源点云X与目标点云Y进行连续下采样提取特征编码，获得源点云X和目标点云Y的特征聚合点的特征向量F X’ 和F Y’ ；在经过每个下采样层之前获取与各层下采样层对应的源点云X与目标点云Y的临时特征F X o 和F Y o ，o=1,2,…O，O≥3，O为下采样总层数；
步骤S4、多尺度特征解码：
将源点云X的特征向量F X’ 和目标点云Y的F Y’ 以及源点云X的临时特征F X o 和目标点云Y的F Y o 作为输入，分别对应解码生成源点云X和目标点云Y的并行的高、中和低维特征输出通道；
解码生成源点云X和目标点云Y的并行的高、中和低维特征输出通道的方法为：
对于源点云X，层级式上采样临时特征F X o ；对于源点云X的高维特征输出通道，以输入特征向量F X’ 作为解码器输入，在经过每层上采样后，依层分别接入临时特征F X O , F X O-1 ,…,和F X 1 ；对于源点云X的中维特征输出通道，以临时特征F X O 作为解码器输入，在经过每层上采样后，依层分别接入临时特征F X O-1 ,…, F X 1 ；对于源点云X的低维特征输出通道，以临时特征F X O-1 作为解码器输入，依层分别接入临时特征F X O-2 ,…, F X 1 ，由此，在源点云X并行的高、中和低维特征输出通道上获得高、中和低维感受野尺度的源点云逐点特征F X h 、F X m 和F X l ；
对于目标点云Y，层级式上采样临时特征F Y o ；对于目标点云Y的高维特征输出通道，以输入特征向量F Y’ 作为解码器输入，在经过每层上采样后，依层分别接入临时特征F Y O , F Y O -1 ,…,和F Y 1 ；对于目标点云Y的中维特征输出通道，以临时特征F Y O 作为解码器输入，在经过每层上采样后，依层分别接入临时特征F Y O-1 ,…, F Y 1 ；对于目标点云Y的低维特征输出通道，以临时特征F Y O-1 作为解码器输入，依层分别接入临时特征F Y O-2 ,…, F Y 1 ，由此，在目标点云Y并行的高、中和低维特征输出通道上获得高、中和低维感受野尺度的目标点云逐点特征F Y h 、F Y m 和F Y l ；
步骤S5、特征匹配：
对源点云X与目标点云Y中的点进行随机采样，得到源点云X的候选匹配点x n 与目标点云Y的候选匹配点y s 及所选候选匹配点相对应的高、中和低维点云逐点特征，其中，n∈i, s∈j；对源点云X的候选匹配点x n 与目标点云Y的候选匹配点y s 分别在高、中和低维上进行对应尺度特征空间的特征匹配，获得源点云X中的点x n 在目标点云Y中的候选匹配关系点y n s ，候选匹配关系点的逐点特征为y n sh ，y n sm 和y n sl ，其中，y n sh ，y n sm 和y n sl 分别代表源点云X中的候选匹配点x n 在目标点云Y中的候选匹配关系点y n s 对应的高、中和低维感受野尺度的点云逐点特征；
步骤S6、一致性检验：
对在步骤S5中获得的候选匹配关系点进行空间一致性检验，获得具有一致性的候选匹配关系点对应的源点云X的候选匹配点x n 为选中匹配点x n’ ，所有选中匹配点构成匹配对集合C，C={(x n’ , y n’ s ) | n’=1,2,…,|C|}，其中，|C|为集合C的基数，x n’ 为源点云X中第n’个选中匹配点，y n’ s 为源点云X中的选中匹配点x n’ 在多尺度特征空间下于目标点云Y中对应的匹配关系点；
步骤S7、位姿求解模块：
对步骤S6的匹配对集合C，利用鲁棒的误匹配对剔除方法结合奇异值分解进行位姿求取，得到旋转平移信息；
步骤S8：将步骤S7得到的旋转平移信息作用于源点云X，使源点云X与目标点云Y处于同一全局坐标系下，重建得到完整的三维模型。
2.根据权利要求1所述的基于一致性采样的低重叠度点云配准方法，其特征在于，步骤S3具体步骤为：将源点云X的点x i 核心点卷积为：
Figure 741694DEST_PATH_IMAGE003
其中，F in 为输入卷积时的逐点特征，
Figure 863233DEST_PATH_IMAGE004
，
Figure 764193DEST_PATH_IMAGE002
为实数域；D in 为当前输入卷积层的特征维度，N为源点云X中点的个数；x iw 为点x i 的第w个邻域点的三维坐标向量，f iw 为点x iw 在F in 中对应的特征；N xi 为点x i 在源点云X构成的球体内的邻域点集合，N xi ={x iw ∈X‖x iw -x i ‖≤r, x iw ≠x i }，r为源点云X构成的球体半径；g为核函数；
核函数g为：
Figure 77625DEST_PATH_IMAGE005
其中，源点云X的核心点卷积网络中共有K个核心点，
Figure 609101DEST_PATH_IMAGE006
为源点云X的核心点卷积网络中的第k个核心点的三维坐标向量；W k 为第k个核心点的权重矩阵，
Figure 749095DEST_PATH_IMAGE007
；D in 为当前输入卷积层的特征维度，D out 为当前输出卷积层的特征维度；h c 为权重系数；
权重系数h c 为：
Figure 594691DEST_PATH_IMAGE008
其中，σ为控制空间距离敏感程度的预定义参数；
对于目标点云Y，采用与源点云X相同的方式进行点云全卷积特征编码；
获得源点云X的特征聚合点的特征向量F X’ 和目标点云Y的特征聚合点的特征向量F Y’ 。
3.根据权利要求1所述的基于一致性采样的低重叠度点云配准方法，其特征在于，步骤S6具体步骤为：候选匹配关系点逐点特征y n sh ，y n sm 和y n sl 的质心点特征y n sc =(y n sh +y n sm +y n sl )/3，质心点特征y n sc 与候选关系匹配点逐点特征y n sh ，y n sm 和y n sl 之间的欧式距离d n sh ，d n sm 和d n sl 为：
d n sh =‖d n sh -y n sc ‖2，d n sm =‖d n sm -y n sc ‖2，d n sl =‖d n sl -y n sc ‖2；
当欧式距离d n sh ，d n sm 和d n sl 之和小于一致性阈值，则候选匹配关系点具有一致性，与该具有一致性的候选匹配点对应的源点云X的候选匹配点x n 为选中匹配点x n’ 。
4.根据权利要求3所述的基于一致性采样的低重叠度点云配准方法，其特征在于，一致性阈值为1.5倍的点云下采样率。
5.根据权利要求3所述的基于一致性采样的低重叠度点云配准方法，其特征在于，步骤S7具体步骤为：对于匹配对集合C的点集质心
Figure 339793DEST_PATH_IMAGE009
为：
Figure 838908DEST_PATH_IMAGE010
其中，x n’ 为源点云X中选中匹配点x n’ 的三维坐标向量，y n’ s 为选中匹配点x n’ 在多尺度特征空间下于目标点云Y中对应的匹配关系点的三维坐标向量；
协方差矩阵H为：
Figure 856411DEST_PATH_IMAGE011
对协方差矩阵H进行奇异值分解H SVD =USV T ，其中，U，S和V分别为协方差矩阵奇异值分解得到的正交矩阵、对角矩阵以及正交矩阵；
基于步骤S2中的最小化点对误差，对旋转矩阵R与平移向量t进行求解，得到最终旋转矩阵R与平移向量t的闭合形式解：
Figure 99174DEST_PATH_IMAGE012
。
6.根据权利要求1所述的基于一致性采样的低重叠度点云配准方法，其特征在于，步骤S1具体步骤为：降采样不同坐标系的点云数据，剔除点云数据中的离群点，获得输入点云。
CN202211513216.9A 2022-11-30 2022-11-30 一种基于一致性采样的低重叠度点云配准方法 Active CN115631221B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211513216.9A CN115631221B (zh) 2022-11-30 2022-11-30 一种基于一致性采样的低重叠度点云配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211513216.9A CN115631221B (zh) 2022-11-30 2022-11-30 一种基于一致性采样的低重叠度点云配准方法

Publications (2)

Publication Number Publication Date
CN115631221A true CN115631221A (zh) 2023-01-20
CN115631221B CN115631221B (zh) 2023-04-28

Family

ID=84910753

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211513216.9A Active CN115631221B (zh) 2022-11-30 2022-11-30 一种基于一致性采样的低重叠度点云配准方法

Country Status (1)

Country Link
CN (1) CN115631221B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113838109A (zh) * 2021-11-30 2021-12-24 北京航空航天大学 一种低重合度点云配准方法
CN113963040A (zh) * 2021-11-02 2022-01-21 云南大学 一种基于深度特征一致性的点云配准方法及系统
CN114037743A (zh) * 2021-10-26 2022-02-11 西北大学 一种基于动态图注意力机制的秦俑三维点云鲁棒配准方法
CN114926325A (zh) * 2022-06-07 2022-08-19 中南大学 一种点云配准的方法、系统及存储介质
CN115409931A (zh) * 2022-10-31 2022-11-29 苏州立创致恒电子科技有限公司 一种基于图像与点云数据融合的三维重建方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114037743A (zh) * 2021-10-26 2022-02-11 西北大学 一种基于动态图注意力机制的秦俑三维点云鲁棒配准方法
CN113963040A (zh) * 2021-11-02 2022-01-21 云南大学 一种基于深度特征一致性的点云配准方法及系统
CN113838109A (zh) * 2021-11-30 2021-12-24 北京航空航天大学 一种低重合度点云配准方法
CN114926325A (zh) * 2022-06-07 2022-08-19 中南大学 一种点云配准的方法、系统及存储介质
CN115409931A (zh) * 2022-10-31 2022-11-29 苏州立创致恒电子科技有限公司 一种基于图像与点云数据融合的三维重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HAINING GUAN ET AL.: "DOANet: Point Cloud Registration with Deep Overlap Attention" *
HAINING GUAN ET AL.: "Voting Multi-scale Features for Robust Point Cloud Registration" *

Also Published As

Publication number Publication date
CN115631221B (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
Riegler et al. Octnetfusion: Learning depth fusion from data
CN110135366B (zh) 基于多尺度生成对抗网络的遮挡行人重识别方法
Zou et al. 3d-prnn: Generating shape primitives with recurrent neural networks
CN110348330B (zh) 基于vae-acgan的人脸姿态虚拟视图生成方法
Lu et al. 3DCTN: 3D convolution-transformer network for point cloud classification
Ali et al. A hybrid geometric spatial image representation for scene classification
CN109035172B (zh) 一种基于深度学习的非局部均值超声图像去噪方法
CN112990010B (zh) 点云数据处理方法、装置、计算机设备和存储介质
CN112905828B (zh) 一种结合显著特征的图像检索器、数据库及检索方法
CN113159232A (zh) 一种三维目标分类、分割方法
Wei et al. AGConv: Adaptive graph convolution on 3D point clouds
CN113378112A (zh) 一种基于各向异性卷积的点云补全方法及装置
CN115830375A (zh) 点云分类方法及装置
CN112581626B (zh) 一种基于非参数化和多注意力机制的复杂曲面测量系统
CN102819840B (zh) 一种纹理图像的分割方法
CN112329662B (zh) 基于无监督学习的多视角显著性估计方法
Johansson Low level operations and learning in computer vision
CN111292230A (zh) 深度学习中螺旋变换数据扩增方法、系统、介质及设备
CN115631221B (zh) 一种基于一致性采样的低重叠度点云配准方法
CN115311653A (zh) 一种3d目标检测方法、装置、终端和存储介质
CN114897842A (zh) 基于纹理增强网络的红外小目标分割检测方法
CN111414802B (zh) 蛋白质数据特征提取方法
JP2023013293A (ja) 教師データ生成装置、学習モデル生成装置、および教師データの生成方法
CN113222879A (zh) 一种用于红外与可见光图像融合的生成对抗网络
CN111860668A (zh) 一种针对原始3d点云处理的深度卷积网络的点云识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant