CN115797419A

CN115797419A - 点云配准方法、设备及介质

Info

Publication number: CN115797419A
Application number: CN202211332940.1A
Authority: CN
Inventors: 梁艳阳; 叶达游; 周集华; 黄子健; 石峰; 孙伟霖; 黎诗茵; 吴佳乐; 陈建静; 钟铭溪; 黄永伟
Original assignee: Wuyi University
Current assignee: Wuyi University
Priority date: 2022-10-28
Filing date: 2022-10-28
Publication date: 2023-03-14

Abstract

本申请实施例提供了点云配准方法、设备及介质，通过对源点云和目标点云进行特征提取，得到源点云的第一全局特征向量和目标点云的第二全局特征向量；比较第一全局特征向量和第二全局特征向量以确定源点云与目标点云之间的变换关系得到变换矩阵；根据变换矩阵进行位姿预测，得到经变换的目标点云的位姿参数；提高了堆叠和噪声的场景下无序工件点云配准的准确性，以高精度实现对含噪声、不完整的点云数据进行配准，具有良好的鲁棒性。

Description

点云配准方法、设备及介质

技术领域

本申请实施例涉及但不限于数据仿真领域，尤其涉及点云配准方法、设备及介质。

背景技术

随着结构光传感器等三维相机的发展，三维点云被广泛应用于各个领域。点云配准是无序工件位姿估计的一项重要技术，点云配准原理是通过若干次旋转、平移等刚性变换，将不同视角的点云统一到同一个参考坐标系。PointNet是一个可以直接处理点云的基于深度学习的网络模型，已被应用于点云配准和目标检测等任务，但缺乏对全局和局部特征的考虑。在复杂的场景下点云数据量庞大，目前的配准算法存在难以处理复杂场景的点云、配准精度低的问题。

发明内容

以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。

本申请实施例提供了点云配准方法、设备及介质。

本申请的第一方面的实施例，一种点云配准方法，包括：

获取源点云和目标点云；

对所述源点云和所述目标点云进行特征提取，得到所述源点云的第一全局特征向量和所述目标点云的第二全局特征向量；

比较所述第一全局特征向量和所述第二全局特征向量以确定所述源点云与所述目标点云之间的变换关系，得到变换矩阵，其中所述变换矩阵用于减小所述第一全局特征向量和所述第二全局特征向量之间的差异；

根据所述变换矩阵进行位姿预测，得到经变换的目标点云的位姿参数。

本申请的第一方面的某些实施例，所述对所述源点云和所述目标点云进行特征提取，得到所述源点云的第一全局特征向量和所述目标点云的第二全局特征向量，包括：

对所述源点云的点和所述目标点云的点进行卷积运算，得到所述源点云的第一源点云特征和所述目标点云的第一目标点云特征；

将所述第一源点云特征和所述第一目标点云特征通过第一多层感知器得到所述源点云的第二源点云特征和所述目标点云的第二目标点云特征；

对所述第二源点云特征和所述第二目标点云特征进行卷积运算，得到所述源点云的第三源点云特征和所述目标点云的第三目标点云特征；

将所述第三源点云特征和所述第三目标点云特征通过第二多层感知器得到所述源点云的第四源点云特征和所述目标点云的第四目标点云特征；

对所述第四源点云特征和所述第四目标点云特征进行池化运算并利用对称函数进行特征提取，得到所述第一全局特征向量和所述第二全局特征向量。

本申请的第一方面的某些实施例，所述比较所述第一全局特征向量和所述第二全局特征向量以确定所述源点云与所述目标点云之间的变换关系，得到变换矩阵，包括：

执行以下迭代步骤得到多个子变换矩阵：

根据上一迭代所得到的子变换矩阵对所述目标点云进行变换，得到变换点云；

将所述变换点云和所述源点云进行配准，得到当前迭代的子变换矩阵；

根据多个所述子变换矩阵得到所述变换矩阵。

本申请的第一方面的某些实施例，当所述迭代步骤的执行次数大于或等于预设的迭代次数阈值，结束所述迭代步骤。

本申请的第一方面的某些实施例，所述子变换矩阵满足收敛标准，所述收敛标准为：由上一迭代所得到的子变换矩阵与当前迭代的子变换矩阵所得到的收敛值小于预设的收敛阈值。

本申请的第一方面的某些实施例，所述点云配准方法还包括：

根据陆地移动距离函数计算得到所述目标点云与所述源点云之间的陆地移动距离值；

根据所述陆地移动距离值得到对应所述点云配准方法的模型的损失函数；

根据所述损失函数优化对应所述点云配准方法的模型。

根据所述经变换的目标点云的位姿参数和真实位姿参数得到旋转误差和平移误差；

根据所述旋转误差和所述平移误差进行点云配准精度评估，得到评估结果。

本申请的第二方面的某些实施例，一种点云配准装置，包括：

点云获取模块，用于获取源点云和目标点云；

特征提取模块，用于对所述源点云和所述目标点云进行特征提取，得到所述源点云的第一全局特征向量和所述目标点云的第二全局特征向量；

变换矩阵计算模块，用于比较所述第一全局特征向量和所述第二全局特征向量以确定所述源点云与所述目标点云之间的变换关系，得到变换矩阵，其中所述变换矩阵用于减小所述第一全局特征向量和所述第二全局特征向量之间的差异；

位姿预测模块，用于根据所述变换矩阵进行位姿预测，得到经变换的目标点云的位姿参数。

本申请的第三方面的某些实施例，一种电子设备，所述电子设备包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，所述程序被所述处理器执行时实现如上所述的点云配准方法。

本申请的第四方面的某些实施例，一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如上所述的点云配准方法。

本申请的点云配准方法、设备及介质能够通过对源点云和目标点云进行特征提取，得到源点云的第一全局特征向量和目标点云的第二全局特征向量；比较第一全局特征向量和第二全局特征向量以确定源点云与目标点云之间的变换关系得到变换矩阵；根据变换矩阵进行位姿预测，得到经变换的目标点云的位姿参数；提高了堆叠和噪声的场景下无序工件点云配准的准确性，以高精度实现对含噪声、不完整的点云数据进行配准，具有良好的鲁棒性。

附图说明

附图用来提供对本申请技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。

图1是本申请的实施例所提供的点云配准方法的步骤图；

图2是步骤S200的子步骤图；

图3是迭代步骤的步骤图；

图4是网络优化步骤的步骤图；

图5是精度评估步骤的步骤图；

图6是本申请的实施例所提供的点云配准装置的结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书、权利要求书或上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

下面结合附图，对本申请实施例作进一步阐述。

本申请的实施例，提供了一种点云配准方法。

参照图1，点云配准方法，包括但不限于以下步骤：

步骤S100，获取源点云和目标点云；

步骤S200，对源点云和目标点云进行特征提取，得到源点云的第一全局特征向量和目标点云的第二全局特征向量；

步骤S300，比较第一全局特征向量和第二全局特征向量以确定源点云与目标点云之间的变换关系，得到变换矩阵，其中变换矩阵用于减小第一全局特征向量和第二全局特征向量之间的差异；

根步骤S400，根据变换矩阵进行位姿预测，得到经变换的目标点云的位姿参数。

对于步骤S100，获取源点云和目标点云，将源点云和目标点云作为对应点云配准方法的模型的输入。其中，源点云为要配准的物体的已知模型的点云，将源点云记作P_T；目标点云为从结构光传感器采集的点云，将目标点云记作P_S。三维点云是高度非结构化，具有无序性和几何不变性，在顺序排列上存在模糊性且保存了三维空间中原始的几何信息，包括三维坐标、类别、法向量等。

将源点云和目标点云输入至配准网络，配准网络包括特征提取层和回归层。

对于步骤S200，对源点云和目标点云先进行预处理，包括去噪过滤等。

参照图2，对源点云和目标点云进行特征提取，得到源点云的第一全局特征向量和目标点云的第二全局特征向量，包括但不限于以下步骤：

步骤S210，对源点云的点和目标点云的点进行卷积运算，得到源点云的第一源点云特征和目标点云的第一目标点云特征；

步骤S220，将第一源点云特征和第一目标点云特征通过第一多层感知器得到源点云的第二源点云特征和目标点云的第二目标点云特征；

步骤S230，对第二源点云特征和第二目标点云特征进行卷积运算，得到源点云的第三源点云特征和目标点云的第三目标点云特征；

步骤S240，将第三源点云特征和第三目标点云特征通过第二多层感知器得到源点云的第四源点云特征和目标点云的第四目标点云特征；

步骤S250，对第四源点云特征和第四目标点云特征进行池化运算并利用对称函数进行特征提取，得到第一全局特征向量和第二全局特征向量。

对于步骤S210，将维度为n*3的源点云进行一维卷积运算得到维度为n*3的第一源点云特征；将维度为n*3的目标点云进行一维卷积运算得到维度为n*3的第一目标点云特征。

对于步骤S220，将维度为n*3的第一源点云特征通过大小为64*64的第一多层感知器得到维度为n*64的第二源点云特征；将维度为n*3的第一目标点云特征通过大小为64*64的第一多层感知器得到维度为n*64的第二目标点云特征。其中第一多层感知器以连体结构排列。

对于步骤S230，将维度为n*64的第二源点云进行一维卷积运算得到维度为n*64的第三源点云特征；将维度为n*64的目标点云进行一维卷积运算得到维度为n*64的第三目标点云特征。

对于步骤S240，将维度为n*64的第三源点云特征通过大小为64*128*1024的第二多层感知器得到维度为n*1024的第四源点云特征；将维度为n*64的第三目标点云特征通过大小为64*128*1024的第二多层感知器得到维度为n*1024的第四目标点云特征。其中第二多层感知器以连体结构排列。

对于步骤S250，对维度为n*1024的第四源点云特征进行最大池化运算，并利用对称函数进行特征提取，得到维度为1*1024的第一全局特征向量

对维度为n*1024的第四目标点云特征进行最大池化运算，并利用对称函数进行特征提取，得到维度为1*1024的第二全局特征向量

利用对称函数以提供对输入点云变换的不变性，点云的全局特征向量包含点云的几何信息和方向信息。

另外，为避免每个点损失过多的特征需要将特征映射到冗余高维的空间(1024维)特征，再利用对称函数进行特征提取。

第一全局特征向量和第二全局特征向量做向量串联，扩充张量维度进行特征融合。

对于步骤S300，由于实际场景中存在遮挡、空洞和点云不完整的情况，这容易导致最终的变换矩阵不满足精度要求，这可以通过运用迭代的方式求得更精确的整体变换，进而使得后续的位姿参数更精确。

参照图3，比较第一全局特征向量和第二全局特征向量以确定源点云与目标点云之间的变换关系，得到变换矩阵，包括但不限于以下步骤：

执行以下迭代步骤得到多个子变换矩阵：

步骤S311，根据上一迭代所得到的子变换矩阵对目标点云进行变换，得到变换点云；

步骤S312，将变换点云和源点云进行配准，得到当前迭代的子变换矩阵；

根据多个子变换矩阵得到变换矩阵。

对于第i次迭代，将第i-1次迭代所得到的子变换矩阵T(i-1)对目标点云进行变换得到变换点云；将变换点云和源点云输入至单次配准模块进行配准，得到第i次迭代的子变换矩阵。当迭代步骤的执行次数大于或等于预设的迭代次数阈值n，则结束迭代步骤。

经过n次迭代，可以得到n个子变换矩阵，为T(1)、T(2)、...、T(n-1)、T(n)。

另外，子变换矩阵需要满足收敛标准，收敛标准为：由上一迭代所得到的子变换矩阵与当前迭代的子变换矩阵所得到的收敛值小于预设的收敛阈值，具体表示为：

其中ε为收敛阈值，ε＝10^-5。若子变换矩阵T(k)不满足收敛标准，则将其舍弃。

将n个子变换矩阵相乘，得到整体的变换矩阵，即T＝T(n)×T(n-1)×…×T(1)。

变换矩阵用于减小第一全局特征向量和第二全局特征向量之间的差异；进一步，变换矩阵能够使第一全局特征向量和第二全局特征向量之间的差异最小。

对于步骤S400，根据变换矩阵进行位姿预测，得到经变换的目标点云的位姿参数。具体地，可以通过单位四元数、欧拉角等方式进行位姿预测求解位姿参数。在该实施例中，通过矩阵奇异值分解(SVD)对变换矩阵T求解出具体的位姿参数。

位姿参数可以通过以下式子表示：

R＝VU^T，t＝u_x-

其中，X'＝(x_i-u_x)＝(x′_i)；P'＝(x_i-u_x)＝(x′_i)；

δ₁、δ₂、δ₃为特征值。

参照图4，点云配准方法还包括通过损失函数优化点云配准网络的网络优化步骤，网络优化步骤包括但不限于以下步骤：

步骤S510，根据陆地移动距离函数计算得到目标点云与源点云之间的陆地移动距离值；

步骤S520，根据陆地移动距离值得到对应点云配准方法的模型的损失函数；

步骤S530，根据损失函数优化对应点云配准方法的模型。

用于训练点云配准网络的损失函数的目的是使预测点云与目标点云之间的距离尽可能小。陆地移动距离(Earth Mover’s Distance，EMD)函数是对特征空间中的多维矩阵中某一维距离的一种度量。

考虑S₁，S₂∈R³的大小相等，即s＝|S₁|＝|S₂|，经变换的目标点云

和源点云P_T两片点云之间的EMD表示为：

其中，ψ为一种双射关系。EMD函数解决一个分配优化问题，在点的无限小距离内移动下是不变的。

根据陆地移动距离值得到对应点云配准方法的模型的损失函数；具体地，损失函数表示为：

另外，点云配准方法还包括精度评估步骤。参照图5，精度评估步骤包括但不限于以下步骤：

步骤S610，根据变换矩阵和真实变换矩阵得到旋转误差和平移误差；

步骤S620，根据旋转误差和平移误差进行点云配准精度评估，得到评估结果。

具体地，旋转误差可以表示为：

平移误差可以表示为：

R，t分别为变换矩阵的各向异性旋转平均绝对误差、平移平均绝对误差；

分别为真实变换矩阵的各向异性旋转平均绝对误差、平移平均绝对误差。可以通过计算欧拉角和平移向量的平均绝对误差，评估各向异性旋转平均绝对误差R(mse,mae)、平移平均绝对误差t(mse,mae)。

因此，本申请的实施例所提供的点云配准方法提高了堆叠和噪声的场景下无序工件点云配准的准确性，以高精度实现对含噪声、不完整的点云数据进行配准，具有良好的鲁棒性。

本申请的实施例，提供了一种点云配准装置。

参照图6，点云配准装置包括点云获取模块110、特征提取模块120、变换矩阵计算模块130和位姿预测模块140。

点云获取模块110用于获取源点云和目标点云；特征提取模块120用于对源点云和目标点云进行特征提取，得到源点云的第一全局特征向量和目标点云的第二全局特征向量；变换矩阵计算模块130用于比较第一全局特征向量和第二全局特征向量以确定源点云与目标点云之间的变换关系，得到变换矩阵，其中变换矩阵用于减小第一全局特征向量和第二全局特征向量之间的差异；位姿预测模块140用于根据变换矩阵进行位姿预测，得到经变换的目标点云的位姿参数。

可以理解的是，点云配准方法实施例中的内容均适用于本点云配准装置实施例中，本点云配准装置实施例所具体实现的功能与点云配准方法实施例相同，并且达到的有益效果与点云配准方法实施例所达到的有益效果也相同。

本申请的某些实施例，提供了一种电子设备。所述电子设备包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，所述程序被所述处理器执行时实现如上所述的点云配准方法。

该电子设备可以为包括平板电脑、车载电脑等任意智能终端。

总体而言，对于电子设备的硬件结构，处理器可以采用通用的CPU(CentralProcessingUnit，中央处理器)、微处理器、应用专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请实施例所提供的技术方案。

存储器可以采用只读存储器(ReadOnlyMemory，ROM)、静态存储设备、动态存储设备或者随机存取存储器(RandomAccessMemory，RAM)等形式实现。存储器可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器中，并由处理器来调用执行本申请实施例的方法。

输入/输出接口用于实现信息输入及输出。

通信接口用于实现本设备与其他设备的通信交互，可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。

总线在设备的各个组件(例如处理器、存储器、输入/输出接口和通信接口)之间传输信息。处理器、存储器、输入/输出接口和通信接口通过总线实现彼此之间在设备内部的通信连接。

本申请的某些实施例，提供了一种计算机可读存储介质。所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如上所述的点云配准方法。

应当认识到，本发明实施例中的方法步骤可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。

此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。

进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、智能手机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。

计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。

尽管已经示出和描述了本申请的实施方式，本领域的普通技术人员可以理解：在不脱离本申请的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本申请的范围由权利要求及其等同物限定。

以上是对本申请的较佳实施进行了具体说明，但本申请并不限于实施例，熟悉本领域的技术人员在不违背本申请精神的前提下可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims

1.一种点云配准方法，其特征在于，包括：

获取源点云和目标点云；

2.根据权利要求1所述的一种点云配准方法，其特征在于，所述对所述源点云和所述目标点云进行特征提取，得到所述源点云的第一全局特征向量和所述目标点云的第二全局特征向量，包括：

3.根据权利要求1所述的一种点云配准方法，其特征在于，所述比较所述第一全局特征向量和所述第二全局特征向量以确定所述源点云与所述目标点云之间的变换关系，得到变换矩阵，包括：

执行以下迭代步骤得到多个子变换矩阵：

根据多个所述子变换矩阵得到所述变换矩阵。

4.根据权利要求3所述的一种点云配准方法，其特征在于，当所述迭代步骤的执行次数大于或等于预设的迭代次数阈值，结束所述迭代步骤。

5.根据权利要求3所述的一种点云配准方法，其特征在于，所述子变换矩阵满足收敛标准，所述收敛标准为：由上一迭代所得到的子变换矩阵与当前迭代的子变换矩阵所得到的收敛值小于预设的收敛阈值。

6.根据权利要求1所述的一种点云配准方法，其特征在于，所述点云配准方法还包括：

根据所述损失函数优化对应所述点云配准方法的模型。

7.根据权利要求1所述的一种点云配准方法，其特征在于，所述点云配准方法还包括：

根据所述变换矩阵和真实变换矩阵得到旋转误差和平移误差；

8.一种点云配准装置，其特征在于，包括：

点云获取模块，用于获取源点云和目标点云；

9.一种电子设备，其特征在于，所述电子设备包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，所述程序被所述处理器执行时实现如权利要求1至7任一项所述的点云配准方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至7任一项所述的点云配准方法。