CN114638867A - 基于特征提取模块和对偶四元数的点云配准方法及系统 - Google Patents

基于特征提取模块和对偶四元数的点云配准方法及系统 Download PDF

Info

Publication number
CN114638867A
CN114638867A CN202210317913.0A CN202210317913A CN114638867A CN 114638867 A CN114638867 A CN 114638867A CN 202210317913 A CN202210317913 A CN 202210317913A CN 114638867 A CN114638867 A CN 114638867A
Authority
CN
China
Prior art keywords
point cloud
template
feature extraction
cloud registration
registration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210317913.0A
Other languages
English (en)
Inventor
马文萍
岳铭煜
武越
朱浩
苑咏哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202210317913.0A priority Critical patent/CN114638867A/zh
Publication of CN114638867A publication Critical patent/CN114638867A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于特征提取模块和对偶四元数的点云配准方法及系统，从数据集中读取3D点云数据，得到每个样本所含有的点的三维坐标以及类别标签；对每个样本包含的点进行随机采样，得到模板点云；对模板点云进行平移和旋转得到源点云，根据样本的类别标签将源点云和模板点云划分为训练集和测试集；构造基于特征提取模块和对偶四元数的点云配准模型，并构造点云配准模型的损失函数；用划分的训练集对点云配准模型进行训练，利用训练好的点云配准模型对划分的测试集进行点云配准。本发明充分挖掘点云中的全局和局部信息，有效弥补点云配准的全局特征提取阶段局部特征的缺失。

Description

基于特征提取模块和对偶四元数的点云配准方法及系统
技术领域
本发明属于图像处理技术领域，具体涉及一种基于特征提取模块和对偶四元数的点云配准方法及系统。
背景技术
随着三维数据采集技术的快速发展，由激光雷达、结构光传感器和立体相机采集的点云数据得到了广泛的应用。因此，这在开发直接点云配准、分类、分割、跟踪等算法时引起了相当大的关注。三维刚体点云配准是计算机视觉和机器人领域中的许多重要应用中的一项关键任务，其中包括自动驾驶、外科导航、以及同步定位和映射(SLAM)。点云配准的目的是找到一个刚性变换，使一个点云与另一个点云对齐。然而，固有的结构缺陷使得在深度学习体系结构中直接使用点云非常困难。点网(PointNet)及其变体的出现提供了点云的结构化表示，可以克服直接在深度学习中使用点云的困难，提高处理速度。
现有技术中描述了许多先进的点云配准方法。最经典的点云配准方法之一是迭代最近点(ICP)算法，该算法根据对应点估计刚体运动，并迭代修改对应点，以最小化点到对应点的距离。ICP及其扩展已在许多应用中得到广泛应用。然而，由于对初始化的敏感性，注册通常会由于陷入局部极小值而失败。近年来，基于学习的方法被设计用于在使用点网提取全局描述符时提供精确对齐并加快处理时间。在这些方法中，PointNetLK和PCRNetar是使用PointNet的典型的基于深度学习的注册技术。PointNetLK改进了经典的LK算法，使用梯度法对PointNet提取的特征进行对齐。该方法在初始化鲁棒性和计算效率方面具有显著优势，但易受噪声影响。PCRNet将点网作为编码函数来提取点云的全局特征，并使用数据驱动技术进行特征对齐。它可以直接处理点云数据进行注册，而无需手工制作特征、体素化或网格生成。
然而，基于最近提出的无对应方法的特征提取，通常的过程都是通过点网来提取点云的全局特征，再对全局特征进行一系列变换来得到最终的配准结果；然而，用点网的一个最大的弊端在于这些忘了没有考虑点云的局部特征，也没有充分利用点云信息。所以所导致提取的全局特征，会存在大量的点信息缺失。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于特征提取模块和对偶四元数的点云配准方法及系统，通过使用局部特征单元弥补局部特征的不足，并使用对偶四元数估计特征对齐中的刚性变换；局部特征单元将每个维度的局部信息反馈给下一层的每个点，充分利用局部信息；在提取全局特征时，利用相邻层间的局部特征单元可以得到更多的点云局部信息；此外，对偶四元数可以在一个共同的框架内同时表示旋转和平移，并为刚性变换获得紧凑而精确的表示。与现有的自由点云配准方法相比，本发明方法不需要寻找对应的点云，对噪声具有较强的鲁棒性。
本发明采用以下技术方案：
基于特征提取模块和对偶四元数的点云配准方法，从数据集中读取3D点云数据，得到每个样本所含有的点的三维坐标以及类别标签；对每个样本包含的点进行随机采样，得到模板点云；对模板点云进行平移和旋转得到源点云，根据样本的类别标签将源点云和模板点云划分为训练集和测试集；构造基于特征提取模块和对偶四元数的点云配准模型，并构造点云配准模型的损失函数；用划分的训练集对点云配准模型进行训练，利用训练好的点云配准模型对划分的测试集进行点云配准。
具体的，每个3D点云数据包含2048个点，每个点由3维坐标(x,y,z)组成，得到每个样本所含有的点的三维坐标以及样本的类别标签。
具体的，对每个样本包含的点进行随机采样得到1024个点。
具体的，对模板点云进行平移和旋转得到源点云，并将源点云划分为训练集和测试集具体为：
将从原始数据集中读的数据设定为模板点云；对得到的每一个模板点云进行随机角度的旋转和随机距离的平移，随机角度为[-45°，45°]，随机距离为[-1，1]，得到源点云；将得到的每个源点云对应模板点云所旋转的角度和平移的距离设为刚性变换的真实值；从不同类别的源点云和模板点云中选取70％的样本作为训练集，剩余30％的样本作为测试集。
具体的，构造基于特征提取模块和对偶四元数的点云配准模型具体为：
将源点云和模板点云作为输入送入GLFNet特征提取网络，经过拼接得到N*1152的特征矩阵，分别对源点云和模板点云得到的特征矩阵进行最大池化得到包含局部信息的全局特征；
将提取的全局特征进行拼接得到大小为1*2304的特征；然后输入全连接层提取大小为N*8的元素，将8维元素定义为对偶四元数的8个参数，再通过8个参数预测最终的旋转矩阵和平移矩阵得到刚性变换G，最后通过迭代变换源点云，将更新后的源点云作为GLFNet特征提取网络的输入；在执行n次迭代后通过组合每次迭代中的所有姿势获得源点云和模板点云之间的整体变换Gest。
进一步的，GLFNet特征提取网络包括五个大小分别为64、64、64、128、1024的MLP，使用LF单元对每一层的输出特征提取局部特征，将从共享MLP输出的特征作为每一层LF单元的输入；LF单元的输出跟下一层MLP的输出相拼接，再作为下一层MLP的输入，每层提取的特征融合局部信息，每一层的特征大小分别扩展到64、128、128、192、1152，源点云和模板点云包含局部信息的全局特征
Figure BDA0003566205040000041
和
Figure BDA0003566205040000042
分别为：
Figure BDA0003566205040000043
Figure BDA0003566205040000044
其中，MP为最大池化操作，
Figure BDA0003566205040000045
为扩展到1152维的源点云特征，
Figure BDA0003566205040000046
为扩展到1152维的模板点云特征。
进一步的，源点云和模板点云之间的整体变换Gest为：
Gest＝G(n)×G(n-1)×…×G(1)
其中，G(n)为第n次迭代所求得的旋转矩阵，G(n-1)为第n-1次迭代所求得的旋转矩阵。
具体的，点云配准模型的损失函数L3具体为：
L3＝L1+0.007×L2
其中，L1为倒角损失，L2为全局变换的角度衡量损失。
具体的，用划分的训练集对点云配准模型进行训练具体为：
将训练集的样本对作为点云配准模型的输入，源点云和模板点云同时输入点云配准模型的两个支路，两个点云的预测刚性变换作为点云配准模型的输出，通过求解预测的刚性变换与真实刚性变换间的误差以及对应点之间的误差并对误差进行反向传播，优化点云配准模型的网络参数，得到训练好的点云配准模型。
本发明的另一技术方案是，一种基于特征提取模块和对偶四元数的点云配准系统，包括：
读取模块，从数据集中读取3D点云数据，得到每个样本所含有的点的三维坐标以及类别标签；
采样模块，对读取模块得到的每个样本包含的点进行随机采样，得到模板点云；
划分模块，对采样模块得到模板点云进行平移和旋转得到源点云，根据点云的类别标签将源点云和模板点云划分为训练集和测试集；
构造模块，构造基于特征提取模块和对偶四元数的点云配准模型，构造点云配准模型的损失函数；
配准模块，利用划分模块划分的训练集对构造模块构建的点云配准模型进行训练，利用训练好的点云配准模型对划分模块划分的测试集进行点云配准。
与现有技术相比，本发明至少具有以下有益效果：
本发明基于特征提取模块和对偶四元数的点云配准方法，使用对偶四元数估计刚性变换，双四元数同时表示旋转和平移，并获得紧凑而精确的刚体变换表示，使用了无对应的方法，在不需要提取点与点之间的对应关系的情况下，大量的减少了计算成本，直接对点云的全局特征进行刚性变换估计，求取点云配准所需要的旋转矩阵和平移矩阵；设计特征提取网络弥补局部特征的不足，并充分利用点云信息，提取出包含局部信息的点云全局特征，充分挖掘点云中的全局和局部信息，有效弥补点云配准的全局特征提取阶段局部特征的缺失。
进一步的，点云配准所需要的信息主要来源于点云的位置信息，数据集很好的为配准提供了点云的原始坐标，以便于实现配准任务；同时，关于数据集中多个类别的设定，可以使得我们的模型很好的去实现不同形状的点云配准任务，加强了模型的拟合能力。
进一步的，将所有的点云都采样至1024个点，为网络统一输入大小，避免因为输入点云的大小不一致而造成的模型训练困难。
进一步的，将模板点云进行旋转和平移得到源点云，可以保证模板点云和源点云的完整性，源点云和模板点云本质上是来自于同一个点云，这样可以避免噪声点的影响。随后我们再将源点云和模板点云根据类别分别划分为训练集和测试集用于模型训练。
进一步的，特征提取模块可以弥补局部特征的不足，充分挖掘点云中的全局和局部信息，有效弥补了点云配准的全局特征提取阶段局部特征的缺失，为后续刚体变换估计提供准确的特征表示，以提升参数估计的精度；同时，使用对偶四元数可以同时表示旋转和平移，依赖于对偶四元数，我们可以把平移和旋转统一到同一个框架之中，使得提取的全局特征信息充分被使用。
进一步的，在GLFNet特征提取网络中，我们为点云中的每个点提取特征。为每个点进行特征提取时，点与点之间的信息相互独立，无法进行信息交互，我们为此设计了局部特征单元将低维局部特征输入到下一层。单元将各个维度的局部信息反馈给下一层的每个点，充分利用了各个维度的局部信息，而且每个点都会拥有其他点的特征信息。在提取全局特征时，相邻层之间使用单元会得到更多的点云低维局部信息，并且加强了信息交互，从而实现信息融合。
进一步的，将旋转和平移统一到整体变换Gest中，从而可以从整体的刚性变换角度去考虑模型性能。
进一步的，大量的点云配准模型使用倒角损失去最小化模板点云和源点云对应点的距离，这一方法没有从全局的角度去考虑刚性变化的旋转和平移。我们在此基础之上，加入了对于整体变换Gest的损失，分别从点对与变换矩阵两个角度同时对模型进行优化。从而使得模型最终所拟合的旋转矩阵和平移矩阵更接近于真实值。
进一步的，根据划分好的训练集去训练得到一个可以实现配准任务的网络，再通过测试集验证网络的泛化能力。
综上所述，本发明充分挖掘了点云中的全局和局部信息，有效弥补了点云配准的全局特征提取阶段局部特征的缺失，在刚体变换估计阶段使用了深度神经网络拟合对偶四元数的刚体变换参数，其可以在一个公共框架内同时表示旋转和平移，为姿态估计提供紧凑和精确的表示。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的实现流程图；
图2为使用本发明方法对数据集进行配准的结果图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
在附图中示出了根据本发明公开实施例的各种结构示意图。这些图并非是按比例绘制的，其中为了清楚表达的目的，放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。
本发明提供了一种基于特征提取模块和对偶四元数的点云配准方法，设计全局局部融合网络(GLFNet特征提取网络)的特征提取网络来弥补局部特征不足的缺陷，并在姿态估计阶段使用双四元数来估计刚性变换，对偶四元数可以在一个共同的框架内同时表示旋转和平移，并为刚性变换获得紧凑而精确的表示，为了全面优化网络，定义新的目标函数，同时考虑到了刚性变换和对应点的影响；为目标函数设定了不同的系数，使得网络更加快速的收敛。本发明方法提高了点云配准的性能；在数据集上进行了大量实验，实验结果表明，本发明方法具有良好的竞争性能，可以获得更高的配准精度。
请参阅图1，本发明一种基于特征提取模块和对偶四元数的点云配准方法，从数据集中读入3D点云数据；对数据进行采样；对数据进行平移和旋转得到源点云和模板点云并将这些数据分为训练集和测试集；构造基于特征提取模块和对偶四元数的点云配准模型；用训练集对配准模型进行训练；利用训练好的配准模型对测试集进行点云配准，具体步骤如下：
S1、读入3D点云数据：
从数据集中得到3D点云数据，每个3D点云数据包含2048个点，每个点由3维坐标(x,y,z)组成，得到每个样本所含有的点的三维坐标以及样本的类别标签；
S2、对数据集中每个样本所包含的点进行采样。
对于数据集中所包含的样本，每个样本都包含2048个点，需要对每个样本都随机采样出1024个点。
S3、生成源点云和模板点云
S301、将读入的数据设定为模板点云。
S302、对于每一个模板点云进行随机角度的旋转和随机距离的平移，随机角度的范围设置在[-45°，45°]，随机距离的范围设置在[-1，1]，得到源点云。
S303、将每个源点云对应于模板点云所旋转的角度和平移的距离设为刚性变换的真实值。
S304、选取训练集和测试集，将不同类别的源点云和模板点云的百分之七十作为训练集，百分之三十作为测试集。
S4、构造基于特征提取模块和对偶四元数的点云配准网络
S401、对于源点云和模板点云，分别提取源点云和模板点云的特征；
用一个融合局部特征的全局特征提取模块，利用一个局部特征提取单元，去提取每一层的局部特征。源点云和模板点云支路首先都经过一个GLFNet特征提取网络，输入为N*3的点云坐标，输出为N*1152的点云全局特征。
其中，GLFNet特征提取网络由五个大小分别为64、64、64、128、1024的MLP组成。使用LF单元来对每一层的输出特征来提取局部特征，将从共享MLP输出的特征作为每一层LF单元的输入。为了融合局部信息，LF单元的输出跟下一层MLP的输出相拼接，再作为下一层MLP的输入，这样，每层提取的特征都会融合局部信息，每一层的特征大小分别扩展到64、128、128、192、1152。
源点云和模板点云，首先都会作为输入进入到GLFNet特征提取网络的第一层，第一层是一个输入为3维，输出为64维的MLP。源点云和模板点云会经过这一层，大小由N*3变为N*64。
Figure BDA0003566205040000111
Figure BDA0003566205040000112
源点云和模板点云的N*64的特征都会分别作为第二层MLP和第一个LF单元的输入。第二层MLP的输入为64维，输出也为64维。特征在经过第二层MLP后，大小仍为N*64。
Figure BDA0003566205040000113
Figure BDA0003566205040000114
LF单元用于提取局部信息，这个单元由三个大小为64、128、D的MLP组成，D就是输入特征的维度。当特征输入后，会通过3个MLP，得到大小为N*D的特征矩阵。然后通过最大池函数提取大小为1*D的特征向量。最后，将特征向量重复N次，并在GLFNet特征提取网络的下一层中使用。这样LF单元的输入维度和输出维度都为N*D。
N*64的特征在经过LF单元后，会得到大小仍为N*64的特征。将第一个LF单元输出的特征与第二个MLP输出的特征进行拼接，得到大小为N*128的特征。
Figure BDA0003566205040000115
Figure BDA0003566205040000116
将N*128维的特征，作为第三个MLP输入。第三个MLP的输入维度为128，输出维度为64，通过第三个MLP得到大小为N*64的特征。
Figure BDA0003566205040000121
Figure BDA0003566205040000122
将第二个MLP的输出N*64维的特征作为第二个LF单元的输入，通过第二个LF单元得到N*64的特征矩阵。
Figure BDA0003566205040000123
Figure BDA0003566205040000124
将二者进行拼接得到N*128的特征矩阵。
Figure BDA0003566205040000125
Figure BDA0003566205040000126
将N*128维的特征，作为第四个MLP的输入，第四个MLP的输入维度为128，输出维度为128，通过第四个MLP得到大小为N*128的特征。
Figure BDA0003566205040000127
Figure BDA0003566205040000128
将第三个MLP的输出N*64维的特征作为第三个LF单元的输入，通过第三个LF单元得到N*64的特征矩阵。
Figure BDA0003566205040000129
Figure BDA00035662050400001210
将二者进行拼接得到N*192的特征矩阵。
Figure BDA00035662050400001211
Figure BDA00035662050400001212
将N*192维的特征，作为第五个MLP的输入。第五个MLP的输入维度为192，输出维度为1024，通过第五个MLP得到大小为N*1024的特征。
Figure BDA00035662050400001213
Figure BDA00035662050400001214
将第四个MLP的输出N*128维的特征作为第四个LF单元的输入，通过第四个LF单元得到N*128的特征矩阵。
Figure BDA0003566205040000131
Figure BDA0003566205040000132
将二者进行拼接得到N*1152的特征矩阵。
Figure BDA0003566205040000133
Figure BDA0003566205040000134
在对源点云和模板点云都得到了N*1152的特征后，分别对两个特征进行最大池化得到包含了局部信息的全局特征，大小都为1*1152。
Figure BDA0003566205040000135
Figure BDA0003566205040000136
S402、刚体变换估计
基于对偶四元数的原理进行刚体变换估计，对于步骤S401中所提取出的全局特征，首先将它们进行拼接得到大小为1*2304的特征；
Figure BDA0003566205040000137
再将其作为输入，输入到一个全连接层中。全连接层由6层组成，每一层的大小分别为1024，1024，512，512，256和8。
Fdual＝FC(Ff)
通过全连接层，就可以提取出大小为N*8的元素，将8维元素定义为对偶四元数的8个参数(r0，r1，r2，r3，A，B，C，M)，再通过这8个参数来预测最终的旋转矩阵和平移矩阵。
旋转矩阵的求法：
Figure BDA0003566205040000141
平移矩阵的求法：
Figure BDA0003566205040000142
当求出旋转矩阵R和平移矩阵T后，再通过这两个参数表示出最终的刚性变换G。
Figure BDA0003566205040000143
最后，通过迭代的方式，不断地变换源点云，使得其越来越接近模板点云。更新后的源点云将作为GLFNet特征提取网络的输入。在执行n次迭代后通过组合每次迭代中的所有姿势来获得源点云和模板点云之间的整体变换Gest：
Gest＝G(n)×G(n-1)×…×G(1)
S5、构造点云配准模型的损失函数
分别从两个部分来设置损失函数，第一部分通过从源点云和模板点云中相对应的点来进行损失设置，第二部分通过刚性变换来设置损失。
第一部分损失L1采用经典的倒角损失(Chamfer Distance loss)，L1防止源点云和模板点云在对齐过程中丢失点对间的对应关系，因此计算两个点集之间的距离损失。
Figure BDA0003566205040000144
其中，ps表示源点云，pt表示模板点云。
第二部分损失L2从全局变换的角度衡量损失，目的是为了减少模型的预测值Gest和刚性变换的真实值Gt之间的差距。
L2＝||(Gest)-1Ggt-I4||F
为了在训练中同时考虑变换和对应点对配准结果的影响，使用了一个新的目标函数L3。
L3＝L1+λL2
通过实验测试出λ的最优值为0.007，最终的损失函数为：
L3＝L1+0.007×L2
S6、用训练集对点云配准模型进行训练，得到训练好的配准模型；
将训练集的样本对作为点云配准模型的输入，其中源点云和模板点云同时输入到点云配准模型的两个支路当中，两个点云的预测刚性变换会作为配准模型的输出，通过求解预测的刚性变换与真实刚性变换间的误差以及对应点之间的误差并对误差进行反向传播，来优化点云配准模型的网络参数，得到训练好的点云配准模型。
S7、利用训练好的点云配准模型对测试集进行配准，得到测试集中每组样本的配准结果。
将测试集的样本作为训练好的配准模型的输入，训练好的配准模型的输出为测试集中每对源点云和模板点云的刚性变换估计。
本发明再一个实施例中，提供一种基于特征提取模块和对偶四元数的点云配准系统，该系统能够用于实现上述基于特征提取模块和对偶四元数的点云配准方法，具体的，该基于特征提取模块和对偶四元数的点云配准系统包括读取模块、采样模块、划分模块、构造模块以及配准模块。
其中，读取模块，从数据集中读取3D点云数据，得到每个样本所含有的点的三维坐标以及类别标签；
采样模块，对读取模块得到的每个样本包含的点进行随机采样，得到模板点云；
划分模块，对采样模块得到模板点云进行平移和旋转得到源点云，根据点云的类别标签将源点云和模板点云划分为训练集和测试集；
构造模块，构造基于特征提取模块和对偶四元数的点云配准模型，构造点云配准模型的损失函数；
配准模块，利用划分模块划分的训练集对构造模块构建的点云配准模型进行训练，利用训练好的点云配准模型对划分模块划分的测试集进行点云配准。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的效果可以通过以下仿真实验进一步说明
1.仿真条件
硬件平台为：HP-Z840工作站，TITAN-X-12GB-GPU，64GB RAM。
软件平台为：Python，Pytorch。
2.仿真内容与结果
请参阅图2，本发明仿真实验的数据集是ModelNet40点云数据集。其中包括各种点云，共有9840个模型，分为40个不同类别，如飞机、汽车、桌子等。由于CAD顶点是非均匀分布的，因此。提供每个模型具有10000个均匀采样曲面点和法线的版本。
本发明的仿真实验是将旋转和平移后点云与原点云进行配准，并与真实值进行比较，比较不同方法的性能。
表1是分别使用传统方法ICP从一个初始变换开始，迭代地交替求解两个平凡的子问题：在当前变换下寻找最接近的点作为对应，并通过奇异值分解从找到的对应点云计算最优变换)，本发明1(在特征提取阶段不使用LF单元，不融合局部信息)，本发明2(基于特征提取模块融合LF单元，但不使用对偶四元数计算刚性变换)，本发明3(仅仅使用L1损失)，本发明4(仅仅使用L2损失)，本发明5(既使用特征提取模块，又使用对偶四元数计算刚性变换，并使用L3损失)六种方法进行测试。并统计了六种方法对于旋转和平移的均方误差(RMSE)。
表1本发明(应用不同策略、结构)与传统方法的性能比较
方法 RMSE(R) RMSE(T)
ICP 45.8016 0.2873
本发明1 2.6360 0.0029
本发明2 2.7815 0.0509
本发明3 2.6415 0.0015
本发明4 3.6045 0.0693
本发明5 2.5257 0.0014
从表1中可以看出，本发明方法相比于传统方法，在配准精度上有了较大的提高，使用LF单元和对偶四元数进行配准，会对精度有进一步的提高，并且将两个损失函数结合起来，准确率相对于单个损失函数有了更加明显的提高。
综上所述，本发明一种基于特征提取模块和对偶四元数的点云配准方法及系统，具有以下特点：
在对应自由点云配准的姿态估计阶段，使用对偶四元数来估计刚性变换，双四元数可以同时表示旋转和平移，并且仅使用8个参数就可以获得紧凑而精确的刚体变换表示。
设计新的特征提取网络GLFNet特征提取网络，它包含了一个局部特征提取单元LF单元，这个网络可以弥补局部特征的不足，并充分利用点云信息，提取出包含局部信息的点云全局特征。
定义新的目标函数来综合优化网络，它同时考虑了刚性变换和点云每个点对于配准结果的影响。通过大量实验证明，性能优于其他方法，并且对噪声具有鲁棒性。
本发明可用于自动驾驶中、机器人技术和实时监控地下采矿的大型三维重建、为无人驾驶提供高精度的定位服务以及姿态估计等相关领域中。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (10)

1.基于特征提取模块和对偶四元数的点云配准方法，其特征在于，从数据集中读取3D点云数据，得到每个样本所含有的点的三维坐标以及类别标签；对每个样本包含的点进行随机采样，得到模板点云；对模板点云进行平移和旋转得到源点云，根据样本的类别标签将源点云和模板点云划分为训练集和测试集；构造基于特征提取模块和对偶四元数的点云配准模型，并构造点云配准模型的损失函数；用划分的训练集对点云配准模型进行训练，利用训练好的点云配准模型对划分的测试集进行点云配准。
2.根据权利要求1所述的基于特征提取模块和对偶四元数的点云配准方法，其特征在于，每个3D点云数据包含2048个点，每个点由3维坐标(x,y,z)组成，得到每个样本所含有的点的三维坐标以及样本的类别标签。
3.根据权利要求1所述的基于特征提取模块和对偶四元数的点云配准方法，其特征在于，对每个样本包含的点进行随机采样得到1024个点。
4.根据权利要求1所述的基于特征提取模块和对偶四元数的点云配准方法，其特征在于，对模板点云进行平移和旋转得到源点云，并将源点云划分为训练集和测试集具体为：
将从原始数据集中读的数据设定为模板点云；对得到的每一个模板点云进行随机角度的旋转和随机距离的平移，随机角度为[-45°，45°]，随机距离为[-1，1]，得到源点云；将得到的每个源点云对应模板点云所旋转的角度和平移的距离设为刚性变换的真实值；从不同类别的源点云和模板点云中选取70％的样本作为训练集，剩余30％的样本作为测试集。
5.根据权利要求1所述的基于特征提取模块和对偶四元数的点云配准方法，其特征在于，构造基于特征提取模块和对偶四元数的点云配准模型具体为：
将源点云和模板点云作为输入送入GLFNet特征提取网络，经过拼接得到N*1152的特征矩阵，分别对源点云和模板点云得到的特征矩阵进行最大池化得到包含局部信息的全局特征；
将提取的全局特征进行拼接得到大小为1*2304的特征；然后输入全连接层提取大小为N*8的元素，将8维元素定义为对偶四元数的8个参数，再通过8个参数预测最终的旋转矩阵和平移矩阵得到刚性变换G，最后通过迭代变换源点云，将更新后的源点云作为GLFNet特征提取网络的输入；在执行n次迭代后通过组合每次迭代中的所有姿势获得源点云和模板点云之间的整体变换Gest。
6.根据权利要求5所述的基于特征提取模块和对偶四元数的点云配准方法，其特征在于，GLFNet特征提取网络包括五个大小分别为64、64、64、128、1024的MLP，使用LF单元对每一层的输出特征提取局部特征，将从共享MLP输出的特征作为每一层LF单元的输入；LF单元的输出跟下一层MLP的输出相拼接，再作为下一层MLP的输入，每层提取的特征融合局部信息，每一层的特征大小分别扩展到64、128、128、192、1152，源点云和模板点云包含局部信息的全局特征
Figure FDA0003566205030000021
和
Figure FDA0003566205030000022
分别为：
Figure FDA0003566205030000023
Figure FDA0003566205030000024
其中，MP为最大池化操作，
Figure FDA0003566205030000025
为扩展到1152维的源点云特征，
Figure FDA0003566205030000031
为扩展到1152维的模板点云特征。
7.根据权利要求5所述的基于特征提取模块和对偶四元数的点云配准方法，其特征在于，源点云和模板点云之间的整体变换Gest为：
Gest＝G(n)×G(n-1)×…×G(1)
其中，G(n)为第n次迭代所求得的旋转矩阵，G(n-1)为第n-1次迭代所求得的旋转矩阵。
8.根据权利要求1所述的基于特征提取模块和对偶四元数的点云配准方法，其特征在于，点云配准模型的损失函数L3具体为：
L3＝L1+0.007×L2
其中，L1为倒角损失，L2为全局变换的角度衡量损失。
9.根据权利要求1所述的基于特征提取模块和对偶四元数的点云配准方法，其特征在于，用划分的训练集对点云配准模型进行训练具体为：
将训练集的样本对作为点云配准模型的输入，源点云和模板点云同时输入点云配准模型的两个支路，两个点云的预测刚性变换作为点云配准模型的输出，通过求解预测的刚性变换与真实刚性变换间的误差以及对应点之间的误差并对误差进行反向传播，优化点云配准模型的网络参数，得到训练好的点云配准模型。
10.一种基于特征提取模块和对偶四元数的点云配准系统，其特征在于，包括：
读取模块，从数据集中读取3D点云数据，得到每个样本所含有的点的三维坐标以及类别标签；
采样模块，对读取模块得到的每个样本包含的点进行随机采样，得到模板点云；
划分模块，对采样模块得到模板点云进行平移和旋转得到源点云，根据点云的类别标签将源点云和模板点云划分为训练集和测试集；
构造模块，构造基于特征提取模块和对偶四元数的点云配准模型，构造点云配准模型的损失函数；
配准模块，利用划分模块划分的训练集对构造模块构建的点云配准模型进行训练，利用训练好的点云配准模型对划分模块划分的测试集进行点云配准。
CN202210317913.0A 2022-03-25 2022-03-25 基于特征提取模块和对偶四元数的点云配准方法及系统 Pending CN114638867A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210317913.0A CN114638867A (zh) 2022-03-25 2022-03-25 基于特征提取模块和对偶四元数的点云配准方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210317913.0A CN114638867A (zh) 2022-03-25 2022-03-25 基于特征提取模块和对偶四元数的点云配准方法及系统

Publications (1)

Publication Number Publication Date
CN114638867A true CN114638867A (zh) 2022-06-17

Family

ID=81951733

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210317913.0A Pending CN114638867A (zh) 2022-03-25 2022-03-25 基于特征提取模块和对偶四元数的点云配准方法及系统

Country Status (1)

Country Link
CN (1) CN114638867A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024065343A1 (zh) * 2022-09-29 2024-04-04 中国科学院深圳先进技术研究院 术前术中肝脏点云数据配准系统、方法、终端以及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024065343A1 (zh) * 2022-09-29 2024-04-04 中国科学院深圳先进技术研究院 术前术中肝脏点云数据配准系统、方法、终端以及存储介质

Similar Documents

Publication Publication Date Title
Fu et al. Geo-neus: Geometry-consistent neural implicit surfaces learning for multi-view reconstruction
Zhang et al. Reference pose generation for long-term visual localization via learned features and view synthesis
Özyeşil et al. A survey of structure from motion*.
CN111627065B (zh) 一种视觉定位方法及装置、存储介质
WO2022100379A1 (zh) 基于图像和三维模型的物体姿态估计方法、系统及介质
CN110287873B (zh) 基于深度神经网络的非合作目标位姿测量方法、系统及终端设备
CN115439694A (zh) 一种基于深度学习的高精度点云补全方法及装置
Peyghambarzadeh et al. Point-PlaneNet: Plane kernel based convolutional neural network for point clouds analysis
Phalak et al. Scan2plan: Efficient floorplan generation from 3d scans of indoor scenes
Nie et al. MMFN: Multimodal information fusion networks for 3D model classification and retrieval
EP4162443A1 (en) Three-dimensional map inconsistency detection using neural network
CN115147599A (zh) 一种面向遮挡和截断场景的多几何特征学习的物体六自由度位姿估计方法
Chang et al. Candidate-based matching of 3-D point clouds with axially switching pose estimation
Zhang et al. EANet: Edge-attention 6D pose estimation network for texture-less objects
Jiang et al. Learned local features for structure from motion of uav images: A comparative evaluation
CN115049833A (zh) 一种基于局部特征增强和相似性度量的点云部件分割方法
CN114638867A (zh) 基于特征提取模块和对偶四元数的点云配准方法及系统
Lai et al. 2D3D-MVPNet: Learning cross-domain feature descriptors for 2D-3D matching based on multi-view projections of point clouds
CN115098717A (zh) 三维模型检索方法、装置、电子设备及存储介质
CN114638866A (zh) 一种基于局部特征学习的点云配准方法及系统
CN111815684A (zh) 一种基于统一残差模型的空间多元特征配准优化方法及装置
Carvalho et al. Technical Report: Co-learning of geometry and semantics for online 3D mapping
CN113436235A (zh) 一种激光雷达与视觉点云的初始化自动配准方法
Zieliński et al. 3d dense mapping with the graph of keyframe-based and view-dependent local maps
WO2019202042A1 (en) Quantum bundle adjustment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination