CN114638866A - 一种基于局部特征学习的点云配准方法及系统 - Google Patents

一种基于局部特征学习的点云配准方法及系统 Download PDF

Info

Publication number
CN114638866A
CN114638866A CN202210301546.5A CN202210301546A CN114638866A CN 114638866 A CN114638866 A CN 114638866A CN 202210301546 A CN202210301546 A CN 202210301546A CN 114638866 A CN114638866 A CN 114638866A
Authority
CN
China
Prior art keywords
point cloud
point
dimensional
dimensions
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210301546.5A
Other languages
English (en)
Inventor
马文萍
刘金生
武越
朱浩
姚乾林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202210301546.5A priority Critical patent/CN114638866A/zh
Publication of CN114638866A publication Critical patent/CN114638866A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于局部特征学习的点云配准方法及系统，从数据集读入点云数据并进行预处理；利用点的三维坐标构建局部特征；通过最大池化操作生成全局特征；构造包含特征提取模块的配准网络；选取训练集和测试集；利用训练集对配准网络进行训练；利用训练好的配准网络对测试集进行配准，得到变换参数并评估配准结果。本发明属于端到端的点云配准网络，只需输入源点云和模板点云即可得到配准结果。

Description

一种基于局部特征学习的点云配准方法及系统
技术领域
本发明属于计算机视觉及三维图像处理技术领域，具体涉及一种基于局部特征学习的点云配准方法及系统。
背景技术
随着激光雷达和Kinect相机等高精度传感器的快速发展，点云已成为描述三维图像的主要数据格式。由于传感器只能在其有限的视野范围内扫描获取数据，因此需要采用配准算法生成完整的三维场景。点云配准是一个估计两帧扫描点云之间变换矩阵的过程，根据变换矩阵，可以将同一个三维场景或物体的部分扫描点云合并成一个完整的三维点云。点云配准技术广泛的应用于三维重建、三维定位、姿态估计等众多计算机视觉应用中，并起着独特而关键的作用。
在现有的点云配准方法主要分为两大类，一类是传统的配准方法，一类是基于深度学习的配准方法。传统算法中基于最近点迭代(Iterative Closest Point)算法及其变种算法由于简易且高效的特性得到了广泛的应用，但是该方法对点云的初始位置十分敏感，容易陷入局部最优。随着深度学习在二维图像处理上的大放异彩，基于深度学习的三维点云处理也受到了极大的关注。然而基于深度学习的点云配准方法大都采用两段式，即先寻找点对间的对应关系，在利用对应关系求解变换矩阵，因此这些方法的复杂度较高。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于局部特征学习的点云配准方法及系统，解决现有技术对点云的初始位置敏感，对噪声敏感，容易陷入局部最优的问题，并且能够进行端到端的配准，无需计算点对间的对应关系。
本发明采用以下技术方案：
一种基于局部特征学习的点云配准方法，包括
S1、读取点云数据，并对点云数据进行预处理；
S2、对步骤S1预处理后的点云数据施加变换，制作训练集和测试集；
S3、构建局部特征提取网络，通过局部特征提取网络获得待配准点云的局部特征，并通过最大池化操作得到待配准点云的全局特征；
S4、基于步骤S3得到的待配准点云的局部特征和待配准点云的全局特征构建点云配准网络；
S5、利用步骤S2得到的训练集对步骤S4构建的点云配准网络进行训练；
S6、利用步骤S5训练好的点云配准网络对步骤S2选取的测试集进行配准，得到变换参数并评估配准结果。
具体的，步骤S1中，对点云数据进行预处理具体为：
从ModelNet40数据集中读入点云数据，点云数据中每一个点均包括x,y,z三个坐标值，通过最远点采样从每个点云中采集1024个点，在每一个点云数据中，用每个点的坐标值减去该点云中所有坐标的均值。
具体的，步骤S2具体为：
对步骤S1预处理后的点云数据施加随机变换，随机变换包含旋转变换与平移变换，旋转变换的范围为-45～+45°，平移变换的范围为-1～+1，变换前的点云作为模板点云，变换后的点云作为源点云；将ModelNet40数据集中前20个物体类别中包含的5112个点云数据和对应的源点云作为训练集，将ModelNet40数据集中后20个物体类别中包含的1266个点云数据和对应的源点云作为测试集。
具体的，步骤S3具体为：
将点云通过第一层多层感知机和第二层多层感知机，将3维的坐标特征映射到64维的高维空间；利用最远点采样对源点云进行采样，得到512个点(512×64)；
以每个点为中心，距离作为尺度，在原1024个点中找出距离每个点最近的32个邻居点，每个邻居点的特征减去中心点特征得到一个由邻居点指向中心点的特征向量；
将每一个由邻居点指向中心点的特征向量和中心点的特征拼接得到一个128维的组合特征向量，对每个邻域内32个点的128维组合特征中的每一维做最大池化，得到代表邻域特征的128维向量，128维向量中的前64维代表每个邻域内的邻域点在某一维度的最大特征值，128维向量中的后64维代表中心点的特征；
将512个采样点的特征由64维变成了128维，利用最远点采样对512个点再次采样，得到256个点，再次划分256个邻域，并求得能够代表每个邻域特征的256维组合特征向量，其中前128维代表每个邻域内的邻域点在某一维度的最大特征值，后128维代表中心点的特征；；
通过第三层多层感知机和第四层多层感知机得到1024维特征，将得到的1024维特征与第二次采样并划分邻域后得到的256维特征进行拼接，得到1280维特征；再经过第五层多层感知机得到1024维特征向量；
最后经过一个最大池化得到1024维的全局特征。
进一步的，第一层多层感知机的输入维度是3，输出维度是64；第二层多层感知机的输入维度是64，输入维度是64，第三层多层感知机的输入维度是256，输出维度是512；第四层多层感知机的输入维度是512，输入维度是1024，第五层多层感知机的输入维度是1280，输出维度是1024。
具体的，步骤S4具体为：
将源点云与模板点云输入点云配准网络，分别经过局部特征提取网络后得到两个1×1024维的全局特征，将两个全局特征拼接得到1×2048维特征向量，再经过一系列全连接层得到1×7维的向量，根据1×7维向量求得旋转四元数和平移向量。
进一步的，7维的向量中，前4维代表旋转四元数，后3维代表平移向量，全连接层的参数为：全连接层一：输入2048维，输出1024维；全连接层二：输入1024维，输出1024维；全连接层三：输入1024维，输出512维；全连接层四：输入512维，输出512维；全连接层五：输入512维，输出256维；全连接层六：输入256维，输出7维。
具体的，步骤S5中，将训练集输入点云配准网络，源点云与模板点云经过特征提取并拼接到一起经过全连接层得到变换参数，根据变换参数对源点云施加变换，求得变换后的点云与模板点云的CDloss值，通过反向传播算法不断的降低CDLoss值，优化点云配准网络的网络参数，得到训练好的点云配准网络。
进一步的，使用CDLoss作为点云配准网络训练的损失函数。
本发明的另一技术方案是，一种基于局部特征学习的点云配准系统，包括：
预处理模块，读取点云数据，并对点云数据进行预处理；
选取模块，对预处理后的点云数据施加变换，制作训练集和测试集；
特征模块，构建局部特征提取网络，通过局部特征提取网络获得待配准点云的局部特征，并通过最大池化操作得到待配准点云的全局特征；
构建模块，基于特征模块得到的待配准点云的局部特征和待配准点云的全局特征构建点云配准网络；
训练模块，利用选取模块得到的训练集对构建模块构建的点云配准网络进行训练；
配准模块，利用训练模块训练好的点云配准网络对选取模块选取的测试集进行配准，得到变换参数并评估配准结果。
与现有技术相比，本发明至少具有以下有益效果：
本发明一种基于局部特征学习的点云配准方法，充分利用点云的局部特征，对噪声数据有很好的鲁棒性且不易陷入全局最优，通过实验证明能够有效的提升点云配准的精度与速度，通过学习局部特征进行配准，相比于Pcrnet利用Pointnet提取全局特征来讲，本发明提取的局部特征对于噪声有更好的鲁棒性，不依赖初始状态、且不易陷入局部最优；采用端到端的点云配准网络，相比于传统的两段式结构，即先找出点的对应关系，再求出变换矩阵，网络更加简明清晰。
进一步的，在步骤S1中，对读入点云数据进行最远点采样，以此来除去冗余数据，采样1024个点，在保证配准精度同时能够减小计算开销，节省算力。对所有点云数据进行预处理，每个点云中的每一个点均减去其该点云坐标的统计平均值，有利于凸显个体差异，提升配准结果。
进一步的，在步骤S2中，通过对原始点云施加旋转变换和平移变换来制作训练集和测试集，用于对点云配准网络的训练和测试。
进一步的，在步骤S3中，构建了局部特征提取网络。首先将点云输入两层多层感知机，将特征维度升64维，丰富点云特征信息。对点云进行采样操作，减少点的数目，以距离作为尺度，在采样后的点周围划分一个包含32个邻域点的邻域，并计算每个由邻域点指向中心点的特征向量，将该特征向量与中心点的特征值拼接在一起得到组合特征向量，对一个邻域内的所有组合特征向量在不同维度上做最大池化操作，由此得到能够代表一个邻域的特征向量，该特征向量的每一维特征值代表了该邻域内的所有组合特征向量在该维向量的最大值，充分的体现了邻域的局部特征。类似的再次重复一次上述的采样，划分邻域，最大池化操作，进一步的减少点云中点数量，增加邻域局部特征的维数。至此每个点云中剩余256个点，每个点的特征维度是256维，将该特征矩阵(256×256)输入两层多层感知机以增加特征维数，每个点的特征维数变为1024维(256×1024)。将该1024维特征与第二次采样并划分邻域后得到的256维特征进行拼接，得到1280维特征(256×1280)，此操作融合了两次不同采样层次上的点云特征，提供了更深的局部特征信息，再经过第五层多层感知机得到1024维特征向量(256×1024)，最后经过一个最大池化操作得到1024维(1×1024)的全局特征，该特征能够代表一个点云的全局信息，可以作为点云配准的特征信息。
进一步的，在步骤S3中，第一层多层感知机的输入维度是3，输出维度是64；第二层多层感知机的输入维度是64，输出维度是64；第三层多层感知机的输入维度是256，输出维度是512；第四层多层感知机的输入维度是512，输出维度是1024；第五层多层感知机的输入维度是1280，输出维度是1024。前两层多层感知机将点云的特征由3维的坐标特征增加至64维特征，提升了特征维度，丰富了点云的特征信息；在经过两次局部特征提取后再次经过两层多层感知机，将点云特征由256维增加至1024维，在增加特征维度的同时，实现了点云中点的特征信息之间的交互；最后一层感知机将点云特征由1280维降至1024维，实现了不同采样层次上点云局部特征之间的交互，增强了特征的鲁棒性。
进一步的，在步骤S4中，局部特征提取网络作为点云配准网络的一部分，源点云与模板点云在分别经过局部特征提取网络后得到两个1×1024维的全局特征，将这两个全局特征拼接成2048维的特征向量输入到一系列全连接层得到1×7维的向量，从这7维的向量中分离出旋转参数和平移参数。
进一步的，这7维向量中，前四维的值代表旋转四元数，后三位代表平移向量。全连接层有五层，全连接层的参数为：全连接层一：输入2048维，输出1024维；全连接层二：输入1024维，输出1024维；全连接层三：输入1024维，输出512维；全连接层四：输入512维，输出512维；全连接层五：输入512维，输出256维；全连接层六：输入256维，输出7维。经过实验，如果全连接层的层数过少，点云配准网络的性能较差，5层是一个合适的层数。四元数可以执行任意绕过原点的向量的旋转，方便快捷，在某些实现下比旋转矩阵效率更高，因此使用四元数来表示变换参数。
进一步的，在步骤S5中，使用步骤S2中制作的训练集对构建的点云配准网络进行训练，CDLoss作为损失函数，可以很好的度量两个点云之间的距离，CDLoss值越小，则说明两个点云越接近，配准效果越好。
进一步的，将训练数据输入点云配准网络中，得到估计的变换参数，根据变换参数对源点云施加变换，求得变换后的点云与模板点云的CDloss值，通过反向传播算法不断的降低CDLoss值，当该值降低到足够小时，可以认为源点云与模板点云已完成配准。
综上所述，本发明采用了独特的局部特征提取结构，所提取的特征对于配准精度有了很明显的提升，实现了非常好的配准结果。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为点云配准网络示意图；
图2为局部特征提取的示意图；
图3为配准效果图，其中，(a)为瓶子的配准效果图，(b)为帽子的配准效果图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
在附图中示出了根据本发明公开实施例的各种结构示意图。这些图并非是按比例绘制的，其中为了清楚表达的目的，放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。
本发明提供了一种基于局部特征学习的点云配准方法，从数据集读入点云数据并进行预处理；利用点的三维坐标构建局部特征；通过最大池化操作生成全局特征；构造包含特征提取模块的配准网络；选取训练集和测试集；利用训练集对配准网络进行训练；利用训练好的配准网络对测试集进行配准，得到变换参数并评估配准结果。本发明重点在于提取点的局部邻域特征，构造从邻域点指向中心点的特征向量该特征对噪声鲁棒，配准效果好；此外本发明构建了端到端的点云配准网络，相比于传统二段式方法，结构更简洁，只需输入源点云和模板点云即可得到配准结果。
请参阅图1，本发明一种基于局部特征学习的点云配准方法，包括以下步骤：
S1、从数据集读入点云数据并进行预处理；
从ModelNet40数据集中读入点云数据，点云数据中每一个点均包括x,y,z三个坐标值，通过FPS(最远点采样)从每个点云中采集1024个点，在每一个点云数据中，用每个点的坐标值减去该点云坐标的均值。
S2、制作训练集与测试集
对步骤S1预处理后的点云数据施加随机变换(随机变换包含旋转变换与平移变换，旋转变换的范围为-45～+45°，平移变换的范围为-1～+1)，变换前的点云称为模板点云，变换后的点云称为源点云。ModelNet40数据集中包含40个物体类别，前20个物体类别中包含5112个点云数据，这5112个模板点云与其对应的源点云作为训练集；后20个物体类别中包含1266个点云数据，这1266个模板点云与其对应的源点云作为测试集。
S3、学习局部特征；
S301、将源点云(每个点云的维度是1024×3)通过两层多层感知机，第一层多层感知机的输入维度是3，输出维度是64；第二层的输入维度是64，输入维度也是64；至此将3维的坐标特征映射到了64维的高维空间；
S302、采样、分组、汇聚；
请参阅图2，利用FPS(最远点采样)对源点云进行采样，得到512个点(512×64)；
以每个点为中心，距离作为尺度，在原来的1024个点钟找出距离每个点最近的32个邻居点(512×32×64)，每个邻居点的特征减去其中心点特征得到一个由邻域点指向中心点的特征向量(512×32×64)；
将每个特征向量与其中心点的特征值拼接起来得到一个组合特征向量(512×32×128)，对一个邻域内的所有组合特征向量在不同维度上做最大池化操作，由此得到能够代表一个邻域的特征向量(512×128)。
S303、得到全局特征。
类似S302的步骤，对512个点在再次进行采样，分组，汇聚操作，得到采样后的256个点和每个点的256维特征向量(256×256)；
通过两层多层感知机，第一层多层感知机的输入维度是256，输出维度是512；第二层的输入维度是512，输入维度是1024(256×1024)；
将得到的1024维特征与第二次进行步骤S302操作后得到的256维特征进行拼接，得到1280维特征；经过一层多层感知机，输入维度是1280，输出维度是1024，得到1024维特征向量(256×1024)；
最后经过一个最大池化得到1024维的全局特征(1×1024)。
S4、构造基于局部特征的点云配准网络，将源点云和模板点云经过步骤S303得到的全局特征拼接起来(1×2048)，再经过全连接层，得到7维的向量，其中前4维代表旋转四元数，后3维代表平移向量，由此得到估计的旋转参数和平移参数；
全连接的参数如下：
全连接层一：输入2048维，输出1024维；
全连接层二：输入1024维，输出1024维；
全连接层三：输入1024维，输出512维；
全连接层四：输入512维，输出512维；
全连接层五：输入512维，输出256维；
全连接层六：输入256维，输出7维。
S5、用训练集对构建的点云配准网络进行训练；
S501、训练批次大小为16，初始学习率为0.01，训练次数为200个epoch，训练中使用CDLoss作为损失函数；
S502、CDLoss算法如下：
给定两个点集S1和S2，它们之间的Chamfer Distance定义为
Figure BDA0003565658260000101
其中S1,S2代表两个点集，x是S1中的点，y是S2中的点
S503、将训练集输入点云配准网络，源点云与模板点云经过特征提取得到全局特征，将两个全局特征拼接到一起经过全连接层得到变换参数，根据变换参数对源点云施加变换，求得变换后的点云与模板点云的CDloss值，通过反向传播算法不断的降低CDLoss值，优化点云配准网络的网络参数，得到训练好的点云配准网络。。
S6、利用步骤S5训练好的点云配准网络对测试集进行配准；
将测试集的样本块作为训练好的点云配准网络的输入，训练好的点云配准网络的输出为测试集中点云所求得的变换参数。
本发明再一个实施例中，提供一种基于局部特征学习的点云配准系统，该系统能够用于实现上述基于局部特征学习的点云配准方法，具体的，该基于局部特征学习的点云配准系统包括预处理模块、选取模块、特征模块、构建模块、训练模块以及配准模块。
其中，预处理模块，读取点云数据，并对点云数据进行预处理；
选取模块，对预处理后的点云数据施加变换，制作训练集和测试集；
特征模块，构建局部特征提取网络，通过局部特征提取网络获得待配准点云的局部特征，并通过最大池化操作得到待配准点云的全局特征；
构建模块，基于特征模块的局部特征提取网络构建点云配准网络，点云配准网络包含局部特征提取网络；
训练模块，利用选取模块得到的训练集对构建模块构建的点云配准网络进行训练；
配准模块，利用训练模块训练好的点云配准网络对选取模块选取的测试集进行配准，得到变换参数并评估配准结果。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
仿真条件
硬件平台为：HP-Z840工作站，TITAN-X-12GB-GPU,64GB RAM。
软件平台为：Python，Pytorch。
仿真内容与结果
本发明仿真实验使用的是ModelNet40数据集，配准效果图如图3所示，(a)中对于瓶子这个点云来讲，配准后的点云和模板点云已经几近重合，只有瓶口处和瓶底处有少许点没有配准，(b)中的配准后的点云和模板点云已经完全重合，由此可见本发明所提出的点云配准方法有着很高配准精度。
相比于现有方法，本发明提取的局部特征对于噪声有更好的鲁棒性，不依赖初始状态、且不易陷入局部最优。在ModelNet40数据集上，本发明获得了10.4545的平均绝对值旋转误差和0.0035的平均绝对值平移误差。
综上所述，本发明一种基于局部特征学习的点云配准方法及系统，请对本发明的效果进行总结说明。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (10)

1.一种基于局部特征学习的点云配准方法，其特征在于，包括
S1、读取点云数据，并对点云数据进行预处理；
S2、对步骤S1预处理后的点云数据施加变换，制作训练集和测试集；
S3、构建局部特征提取网络，通过局部特征提取网络获得待配准点云的局部特征，并通过最大池化操作得到待配准点云的全局特征；
S4、基于步骤S3得到的待配准点云的局部特征和待配准点云的全局特征构建点云配准网络；
S5、利用步骤S2得到的训练集对步骤S4构建的点云配准网络进行训练；
S6、利用步骤S5训练好的点云配准网络对步骤S2选取的测试集进行配准，得到变换参数并评估配准结果。
2.根据权利要求1所述的基于局部特征学习的点云配准方法，其特征在于，步骤S1中，对点云数据进行预处理具体为：
从ModelNet40数据集中读入点云数据，点云数据中每一个点均包括x,y,z三个坐标值，通过最远点采样从每个点云中采集1024个点，在每一个点云数据中，用每个点的坐标值减去该点云中所有坐标的均值。
3.根据权利要求1所述的基于局部特征学习的点云配准方法，其特征在于，步骤S2具体为：
对步骤S1预处理后的点云数据施加随机变换，随机变换包含旋转变换与平移变换，旋转变换的范围为-45～+45°，平移变换的范围为-1～+1，变换前的点云作为模板点云，变换后的点云作为源点云；将ModelNet40数据集中前20个物体类别中包含的5112个点云数据和对应的源点云作为训练集，将ModelNet40数据集中后20个物体类别中包含的1266个点云数据和对应的源点云作为测试集。
4.根据权利要求1所述的基于局部特征学习的点云配准方法，其特征在于，步骤S3具体为：
将点云通过第一层多层感知机和第二层多层感知机，将3维的坐标特征映射到64维的高维空间；利用最远点采样对源点云进行采样，得到512个点(512×64)；
以每个点为中心，距离作为尺度，在原1024个点中找出距离每个点最近的32个邻居点，每个邻居点的特征减去中心点特征得到一个由邻居点指向中心点的特征向量；
将每一个由邻居点指向中心点的特征向量和中心点的特征拼接得到一个128维的组合特征向量，对每个邻域内32个点的128维组合特征中的每一维做最大池化，得到代表邻域特征的128维向量，128维向量中的前64维代表每个邻域内的邻域点在某一维度的最大特征值，128维向量中的后64维代表中心点的特征；
将512个采样点的特征由64维变成了128维，利用最远点采样对512个点再次采样，得到256个点，再次划分256个邻域，并求得能够代表每个邻域特征的256维组合特征向量，其中前128维代表每个邻域内的邻域点在某一维度的最大特征值，后128维代表中心点的特征；；
通过第三层多层感知机和第四层多层感知机得到1024维特征，将得到的1024维特征与第二次采样并划分邻域后得到的256维特征进行拼接，得到1280维特征；再经过第五层多层感知机得到1024维特征向量；
最后经过一个最大池化得到1024维的全局特征。
5.根据权利要求4所述的基于局部特征学习的点云配准方法，其特征在于，第一层多层感知机的输入维度是3，输出维度是64；第二层多层感知机的输入维度是64，输入维度是64，第三层多层感知机的输入维度是256，输出维度是512；第四层多层感知机的输入维度是512，输入维度是1024，第五层多层感知机的输入维度是1280，输出维度是1024。
6.根据权利要求1所述的基于局部特征学习的点云配准方法，其特征在于，步骤S4具体为：
将源点云与模板点云输入点云配准网络，分别经过局部特征提取网络后得到两个1×1024维的全局特征，将两个全局特征拼接得到1×2048维特征向量，再经过一系列全连接层得到1×7维的向量，根据1×7维向量求得旋转四元数和平移向量。
7.根据权利要求6所述的基于局部特征学习的点云配准方法，其特征在于，7维的向量中，前4维代表旋转四元数，后3维代表平移向量，全连接层的参数为：全连接层一：输入2048维，输出1024维；全连接层二：输入1024维，输出1024维；全连接层三：输入1024维，输出512维；全连接层四：输入512维，输出512维；全连接层五：输入512维，输出256维；全连接层六：输入256维，输出7维。
8.根据权利要求1所述的基于局部特征学习的点云配准方法，其特征在于，步骤S5中，将训练集输入点云配准网络，源点云与模板点云经过特征提取并拼接到一起经过全连接层得到变换参数，根据变换参数对源点云施加变换，求得变换后的点云与模板点云的CDloss值，通过反向传播算法不断的降低CDLoss值，优化点云配准网络的网络参数，得到训练好的点云配准网络。
9.根据权利要求8所述的基于局部特征学习的点云配准方法，其特征在于，使用CDLoss作为点云配准网络训练的损失函数。
10.一种基于局部特征学习的点云配准系统，其特征在于，包括：
预处理模块，读取点云数据，并对点云数据进行预处理；
选取模块，对预处理后的点云数据施加变换，制作训练集和测试集；
特征模块，构建局部特征提取网络，通过局部特征提取网络获得待配准点云的局部特征，并通过最大池化操作得到待配准点云的全局特征；
构建模块，基于特征模块得到的待配准点云的局部特征和待配准点云的全局特征构建点云配准网络；
训练模块，利用选取模块得到的训练集对构建模块构建的点云配准网络进行训练；
配准模块，利用训练模块训练好的点云配准网络对选取模块选取的测试集进行配准，得到变换参数并评估配准结果。
CN202210301546.5A 2022-03-25 2022-03-25 一种基于局部特征学习的点云配准方法及系统 Pending CN114638866A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210301546.5A CN114638866A (zh) 2022-03-25 2022-03-25 一种基于局部特征学习的点云配准方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210301546.5A CN114638866A (zh) 2022-03-25 2022-03-25 一种基于局部特征学习的点云配准方法及系统

Publications (1)

Publication Number Publication Date
CN114638866A true CN114638866A (zh) 2022-06-17

Family

ID=81950145

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210301546.5A Pending CN114638866A (zh) 2022-03-25 2022-03-25 一种基于局部特征学习的点云配准方法及系统

Country Status (1)

Country Link
CN (1) CN114638866A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024055493A1 (zh) * 2022-09-13 2024-03-21 浙江大学 基于深度相位相关的异构三维观测配准方法、介质及设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024055493A1 (zh) * 2022-09-13 2024-03-21 浙江大学 基于深度相位相关的异构三维观测配准方法、介质及设备

Similar Documents

Publication Publication Date Title
CN110458939B (zh) 基于视角生成的室内场景建模方法
CN109859296B (zh) Smpl参数预测模型的训练方法、服务器及存储介质
CN110443842B (zh) 基于视角融合的深度图预测方法
CN111243093B (zh) 三维人脸网格的生成方法、装置、设备及存储介质
CN111028330B (zh) 三维表情基的生成方法、装置、设备及存储介质
CN110674829B (zh) 一种基于图卷积注意网络的三维目标检测方法
CN112052839B (zh) 图像数据处理方法、装置、设备以及介质
CN114255238A (zh) 一种融合图像特征的三维点云场景分割方法及系统
CN107329962B (zh) 图像检索数据库生成方法、增强现实的方法及装置
Chen et al. Cross parallax attention network for stereo image super-resolution
CN113159232A (zh) 一种三维目标分类、分割方法
CN112270332A (zh) 一种基于子流稀疏卷积的三维目标检测方法及系统
Shi et al. An improved lightweight deep neural network with knowledge distillation for local feature extraction and visual localization using images and LiDAR point clouds
CN113592015B (zh) 定位以及训练特征匹配网络的方法和装置
He et al. Stereo RGB and deeper LiDAR-based network for 3D object detection in autonomous driving
CN114627244A (zh) 三维重建方法及装置、电子设备、计算机可读介质
CN112906675B (zh) 一种固定场景中的无监督人体关键点检测方法及系统
CN114638866A (zh) 一种基于局部特征学习的点云配准方法及系统
Yin et al. Virtual reconstruction method of regional 3D image based on visual transmission effect
Phalak et al. DeepPerimeter: Indoor boundary estimation from posed monocular sequences
CN116485892A (zh) 一种弱纹理物体的六自由度位姿估计方法
CN115222917A (zh) 三维重建模型的训练方法、装置、设备及存储介质
CN115147692A (zh) 目标检测方法、装置、电子设备及存储介质
CN114820369A (zh) 一种基于改进的RandLA-Net的变电站设备点云分割方法
WO2021134970A1 (zh) 图像语义分割方法及装置、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination