CN114022525A - 基于深度学习的点云配准方法、装置、终端设备及介质 - Google Patents

Abstract

本公开提供一种基于深度学习的点云配准方法、装置、终端设备及计算机可读存储介质，其中，所述方法包括：分别对各组点云进行多尺度体素化分割，得到各组点云的多尺度体素化点云块；分别对各组点云的多尺度体素化点云块进行深度学习，得到各组点云的若干点云特征；分别融合各组点云的若干点云特征，得到各组点云的融合特征；基于各组点云的融合特征获取各组点云之间的重叠匹配特征；以及，基于所述重叠匹配特征对各组点云进行点云配准。本公开可以快速处理密度不均匀的点云数据，避免陷入局部最大值，且能够准确找到点云的重叠特征，可以有效解决点云之间重叠部分太小或有异常点时所产生的配准失败等问题，提高点云配准的效率。

Description

基于深度学习的点云配准方法、装置、终端设备及介质

技术领域

本公开涉及图像处理技术领域，尤其涉及一种基于深度学习的点云配准方法、一种基于深度学习的点云配准装置、一种终端设备以及一种计算机可读存储介质。

背景技术

3D点云是3D对象表面几何构造的一种无序化表示，可通过3D深度相机等3D视觉技术采集获取，3D点云可在三维物体重建、逆向工程设计、无人驾驶、机器人等领域。等领域中应用。受到3D视觉采集设备和测量环境的限制，三维物体完整点云数据的获取，往往需要进行多次不同角度的测量，并将多组部分点云拼接，以获得三维物体完整点云数据。这种拼接整合局部重叠点云数据的任务称为点云配准。

点云配准是计算机视觉中的一个重要研究方向，迭代最近点(Iterative ClosestPoint,简称ICP)因其简单且复杂度低得以被广泛应用，其可根据点云数据首先构造局部几何特征，然后再根据局部几何特征进行点云数据重定位。但它容易使点云数据陷入局部最大值，并且当两个点云之间的重叠部分太小或有许多噪声/异常点时，将导致配准失败。

发明内容

本公开提供了一种基于深度学习的点云配准方法、装置、终端设备及计算机可读存储介质，以至少解决采用ICP算法进行点云配准所产生的容易陷入局部最大值以及对于点云之间重叠部分太小或有异常点时容易导致配准失败等问题。

根据本公开的一方面，提供一种基于深度学习的点云配准方法，包括：

分别对各组点云进行多尺度体素化分割，得到各组点云的多尺度体素化点云块；

分别对各组点云的多尺度体素化点云块进行深度学习，得到各组点云的若干点云特征；

分别融合各组点云的若干点云特征，得到各组点云的融合特征；

基于各组点云的融合特征获取各组点云之间的重叠匹配特征；以及，基于所述重叠匹配特征对各组点云进行点云配准。

在一种实施方式中，所述分别对各组点云的多尺度体素化点云块进行深度学习，得到各组点云的若干点云特征，包括：

构建多尺度神经网络，所述多尺度神经网络包括若干不同尺度的神经网络层；以及，

分别将各组点云的多尺度体素化点云块同步输入至所述多尺度神经网络中，得到各组点云的若干点云特征。

在一种实施方式中，所述多尺度神经网络包括第一多尺度子神经网络和第二多尺度子神经网络，分别将各组点云的多尺度体素化点云块同步输入至所述多尺度神经网络中，包括：

分别将各组点云的多尺度体素化点云块同步输入至所述第一多尺度子神经网络中进行下采样，得到各组点云的若干初始特征提取结果；以及，

分别将各组点云的初始特征提取结果同步输入至所述第二多尺度子神经网络中进行上采样，得到各组点云的若干点云特征。

在一种实施方式中，分别融合各组点云的若干点云特征，得到各组点云的融合特征，包括：

利用多层感知机MLP作为编码器分别融合各组点云的若干点云特征，得到各组点云的融合特征。

在一种实施方式中，所述各组点云包括X组点云和Y组点云，利用多层感知机MLP作为编码器分别融合各组点云在不同尺度神经网络层中的若干点云特征，根据以下公式得到：

式中，F_X表示X组点云的融合特征，F_Y表示Y组点云的融合特征，MLP表示各组点云经MLP进行融合的运算符，

表示输出全连接，D表示多尺度体素化分割总次数，φ^d(X，f^d)表示X组点云经过多尺度体素化分割的d尺度体素点云块进行深度学习得到的点云特征，φ^d(Y，f^d)表示Y组点云经过多尺度体素化分割的d尺度体素点云块进行深度学习得到的点云特征。

在一种实施方式中，基于所述重叠匹配特征对各组点云进行点云配准，包括：

基于所述重叠匹配特征计算各组点云之间的旋转矩阵和平移矩阵的最优解；以及，基于所述最优解对各组点云进行点云配准。

在一种实施方式中，所述各组点云包括X组点云和Y组点云，基于所述重叠匹配特征计算各组点云之间的旋转矩阵和平移矩阵的最优解，根据以下公式得到：

式中，R’,T’表示X组点云和Y组点云之间的旋转矩阵和平移矩阵的最优解，M表示X组点云和Y组点云之间的重叠匹配特征，x_i，y_j分别为X组点云和Y组点云的属于重叠匹配特征的点，R表示旋转矩阵，T表示平移矩阵。

根据本公开的另一方面，提供一种基于深度学习的点云配准装置，包括：

分割模块，其设置为分别对各组点云进行多尺度体素化分割，得到各组点云的多尺度体素化点云块；

训练模块，其设置为分别对各组点云的多尺度体素化点云块进行深度学习，得到各组点云的若干点云特征；

融合模块，其设置为分别融合各组点云的若干点云特征，得到各组点云的融合特征；

获取模块，其设置为基于各组点云的融合特征获取各组点云之间的重叠匹配特征；以及，

配准模块，其设置为基于所述重叠匹配特征对各组点云进行点云配准。

根据本公开的又一方面，提供一种终端设备，包括存储器和处理器，所述存储器中存储有计算机程序，当所述处理器运行所述存储器存储的计算机程序时，所述处理器执行所述的基于深度学习的点云配准方法。

根据本公开的再一方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，所述处理器执行所述的基于深度学习的点云配准方法。

根据本公开提供的基于深度学习的点云配准方法，通过分别将各组点云分割为多尺度体素化点云块，并对各组点云的对多尺度体素化点云块进行深度学习，以获得各组点云的若干点云特征，然后分别融合各组点云的若干点云特征以获得各组点云的融合特征，进而基于融合特征获得重叠匹配特征以实现各组点云之间的点云配准，可以快速处理密度不均匀的点云数据，避免陷入局部最大值，且能够准确找到点云的重叠特征，可以有效解决点云之间重叠部分太小或有异常点时所产生的配准失败等问题，提高点云配准的效率。

本公开的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本公开而了解。本公开的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本公开技术方案的进一步理解，并且构成说明书的一部分，与本公开的实施例一起用于解释本公开的技术方案，并不构成对本公开技术方案的限制。

图1为本公开实施例提供的一种基于深度学习的点云配准方法的流程示意图；

图2为图1中步骤S12的流程示意图；

图3为相关技术中进行点云语义分割的流程示意图；

图4为图1中步骤S15的流程示意图；

图5为本公开另一实施例提供的一种基于深度学习的点云配准方法的流程示意图；

图6为本公开另一实施例中X组点云的多尺度体素化点云块同步输入至多尺度神经网络中的场景示意图；

图7为本公开实施例提供的一种基于深度学习的点云配准装置的结构示意图；

图8为本公开实施例提供的一种终端设备的结构示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序；并且，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互任意组合。

其中，在本公开实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本公开的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。

相关技术中的ICP算法总体思想是假设有两组点云P和G，且两者有局部几何特征相似部分，需找到旋转平移矩阵使P经转换后与G的误差最小，即需要一个旋转平移矩阵R，对于每次旋转平移变换后计算P的所有采样点到G对应最近点的距离，用最小二乘法求出最小二乘误差，看是否在设定的范围内，如果最小二乘误差小于设定的值或迭代次数达到上限，则计算结束，否则继续进行迭代，直至达到最小值，上述过程容易陷入局部最大值，并且当两个点云之间的重叠部分太小或有许多噪声/异常点时，会导致配准失败。

为解决上述问题，本公开实施例提出了一种基于深度学习的3D点云配准方法，首先对3D点云进行多尺度体素化分割，并进行基于自监督深度学习完成特征提取，以此快速处理密度不均匀的3D点云数据，并找到多组点云集之间正确的重叠匹配关系，之后，通过变换估算器求出旋转平移变换矩阵的最优解，最终得以完成高效点云配准，以有效解决相关技术中的ICP算法容易陷入局部最大值，以及容易导致配准失败等问题。

请参照图1，图1为本公开实施提供的一种基于深度学习的点云配准方法的流程示意图，包括步骤S11-S15。

在步骤S11中，分别对各组点云进行多尺度体素化分割，得到各组点云的多尺度体素化点云块。

在一种实施方式中，若需要对X、Y两组点云进行点云配准，X∈P^Nx×3，Y∈P^Ny×3，其中P为点云Point Cloud，指的是一整个点云，Nx和Ny分别表示X，Y点云集在三维坐标系下某一轴上的尺度宽度，也就是划分的体素块的数量的多少，N越大划分的体素块越小。通过在xyz每个尺度上均乘以2的策略来对每组点云进行多尺度体素化，在一些实施方式中，也可以乘以其它数值进行多尺度体素化，设分别对该两组点云进行多尺度体素化分割D次，该两组点云均分割为A，B，…，H个不同尺度的体素化点云块，举例来说，如通过使用3个尺度体素(即多尺度体素化分割3次)的点云，可以将初始体素的分辨率大小扩大至64倍，即1*1*1＝1,2*2*2＝8,4*4*4＝64，实际算法使用过程中，网络可根据点云的体量动态设定初始体素尺寸及体素网格切分子采样次数(多尺度体素化分割次数)。可以理解的是，初始体素尺寸即对未分割的原点云进行第一次体素化，然后按照尺度乘2的策略进行多尺度划分。

可以理解的是，多尺度分割是指在影像信息损失最小的前提下，以任意尺度生成异质性最小、同质性最大的有意义影像多边形对象的过程，其是一种影像抽象(压缩)的手段，即把高分辨率像元的信息保留到低分辨率的对象上，不同的地物类型可以在相应尺度的对象上得到反映。本实施例利用多尺度分割对多组点云进行多尺度体素化分割，获得多组点云的不同尺度下的体素化三维模型，即多尺度体素化点云块A，B，…，H。

在步骤S12中，分别对各组点云的多尺度体素化点云块进行深度学习，得到各组点云的若干点云特征。

具体地，本实施例通过分别将各组点云的多尺度体素化点云块输入到神经网络层中进行深度学习，获得每组点云的在不同尺度下的点云特征数据，以快速处理密度不均匀的3D点云数据。

可选地，通过将神经网络也划分为不同尺度的神经网络层，将多尺度的体素块同时送入该神经网络，来捕捉点云中不同维度下的中间关键特征信息，可带来更多的全局上下文，这对于点云配准更有效。所述分别对各组点云的多尺度体素化点云块进行深度学习，得到各组点云的若干点云特征(步骤S12)，如图2所示，包括以下步骤S121和步骤S122。

由于3D点云采集时极易出现噪点、异常值、不完整点云等问题，导致点云配准工作具有较大难度。现阶段，随着深度学习的不断成熟，可以通过在大量点云数据集上学习点云特征及点云变换计算方法，来解决点云配准问题。例如相关技术中，如图3所示，其用于点云语义分割，并以若干不同尺度的相邻体素同时输入来对每个点进行分类，给每个点打上一个标签，其虽然也采用了不同尺度体素对点云语义分割，但与此不同的是，但其分割后直接对点云中每个点进行分类，本实施例则是将对不同体素尺度的整个3D点云体素块进行子采样，并且将不同尺度的体素化点云块输入至多尺度神经网络中进行学习，较大程度地提高了基于监督学习的特征学习性能。

步骤S121、构建多尺度神经网络，所述多尺度神经网络包括若干不同尺度的神经网络层。

步骤S122、分别将各组点云的多尺度体素化点云块同步输入至所述多尺度神经网络中，得到各组点云的若干点云特征。

例如，将神经网络划分为{3D Conv 3×3×3,1,32}(卷积核尺寸3，步长1，滤波器32)，{3D Conv 3×3×3,2,64}，{3D Conv 3×3×3,2,128}，{3D Conv 3×3×3,2,256}多个不同尺度的神经网络中。

在步骤S13中，分别融合各组点云的若干点云特征，得到各组点云的融合特征。

具体地，通过将点云的不同尺度的点云特征进行特征融合，获得融合特征，可以理解的是，融合不同尺度的特征是提高分割性能的一个重要手段，例如，将点云输入至神经网络中所获得的点云特征，低层特征分辨率更高，包含更多位置、细节信息，但是由于经过的卷积更少，其语义性更低，噪声更多。高层特征具有更强的语义信息，但是分辨率很低，对细节的感知能力较差，通过将两者高效融合，取其长处，弃之糟泊，是改善分割模型的关键。

在步骤S14中，基于各组点云的融合特征获取各组点云之间的重叠匹配特征。

本实施例中，在得到各组点云的融合特征后(例如两组点云X和Y，其融合特征为F_X和F_Y)，根据融合特征，通过Triplet损失函数的度量学习来计算点云X和点云Y的重叠匹配关系，进而找到重叠匹配特征M。具体地，Triplet损失函数根据以下公式得到：

上式解释如下，L(F，F₊，F_-)表示点云X和点云Y中点对计算重叠匹配关系的损失，其损失越小说明匹配关系越大，说明二者为重叠匹配特征，F表示任意两个点对之间的重叠匹配特征，F₊表示正匹配点对的特征，F_-表示负匹配点对特征，D(F，F₊)表示重叠匹配特征与正匹配点对特征之间的距离，D(F，F_-)表示重叠匹配特征与负匹配点对特征之间的距离，m表示阈值参数。具体而言，设(X_i,Y_j)是已给定的正匹配点对，即两点之间确定存在特征重叠，则应让它们的融合输出特征F_Xi和F_Yj之间的距离尽可能接近0，但为防止过拟合，只需将两者之间的距离控制在小于某个设定的阈值下，即D(F_Xi,F_Yj)＜m_p。同理，设(X_i,Y_j)是随机选定的负匹配点对，即两点之间不存在特征重叠，则应让它们的融合输出特征F_Xi和F_Yj之间的距离尽可能接近无穷大，但为防止过拟合，只需将两者之间的距离控制在大于某个设定的阈值下，即D(F_Xi,F_Yj)＞m_n。设定m是m_p和m_n之间的阈值参数。因此，上式即找到正确的重叠匹配特征F使其与正匹配点对的特征F₊越近越好，并与负匹配点对特征F_-越远越好，通过给定的模型及损失函数训练网络，以实现对点云集合推理并找到正确的重叠匹配点云集合M的目标。

需要说明的是，在一些实施例中，也可以采用其它损失函数获取各组点云之间的重叠匹配特征，上述示例并非对本公开的限定。本实施例通过引入Triplet损失函数，可以不断优化模型参数使损失函数L值最小，继而达到自监督优化神经网络参数的目的，使得获得的重叠匹配特征M越准确，可以理解的是，重叠匹配特征M各组点云之间的特征重叠点的集合。

在步骤S15中，基于所述重叠匹配特征对各组点云进行点云配准。

可选地，可以针对重叠匹配特征计算出各组点云之间的旋转矩阵和平移矩阵的最优解，以实现点云配准，如图4所示，步骤S15具体为：

步骤S151、基于所述重叠匹配特征计算各组点云之间的旋转矩阵和平移矩阵的最优解；以及，步骤S152、基于所述最优解对各组点云进行点云配准。

在一种实施方式中，可以针对重叠匹配特征计算出各组点云之间的旋转矩阵和平移矩阵的最优解，基于该最优解实现各组点云进行旋转、平移后各组点云之间的每个点之间的差值最小，例如X组点云和Y组点云，利用变换估算器如FGR、AO、ICL等算法，求出旋转矩阵R和平移矩阵T的最优解，如下式所示，arg min是指使后面式子达到最小值时变量的取值。即求出R、T的最优参数解，使X点云中每个点经旋转、平移后与Y点云中每个点之间的差值最小，以此实现最终的高效点云配准。

具体地，步骤S151中计算旋转矩阵R和平移矩阵T的最优解根据以下公式得到：

式中，R’,T’表示X组点云和Y组点云之间的旋转矩阵和平移矩阵的最优解，M表示X组点云和Y组点云之间的重叠匹配特征，x_i表示X组点云中属于重叠匹配特征的第i个点，y_j表示Y组点云中属于重叠匹配特征的第j个点，R表示旋转矩阵，T表示平移矩阵。

请参照图5，图5为本公开另一实施例提供的一种基于深度学习的点云配准方法的流程示意图，通过将神经网络层也划分为不同尺度的神经网络层，其中多尺度神经网络包括第一多尺度子神经网络和第二多尺度子神经网络，将不同尺度的体素化点云块同步输入至第一多尺度子神经网络进行下采样再输入至第二多尺度子神经网络进行上采样，以获取更加准确的点云特征，具体地，所述分别将各组点云的多尺度体素化点云块同步输入至所述多尺度神经网络中(步骤S122)，包括以下步骤S1221和步骤S1222。

S1221、分别将各组点云的多尺度体素化点云块同步输入至所述第一多尺度子神经网络中进行下采样，得到各组点云的若干初始特征提取结果；

S1222、分别将各组点云的初始特征提取结果同步输入至所述第二多尺度子神经网络中进行上采样，得到各组点云的若干点云特征。

结合图6所示，以X组点云为例，针对划分好的多尺度体素化点云块A，B，…，H，同步输入到多尺度神经网络进行特征提取。首先点云体素块进行一系列下采样，依次输入到{3DConv 3×3×3,1,32}(卷积核尺寸3，步长1，滤波器32)，{3D Conv 3×3×3,2,64}，{3DConv 3×3×3,2,128}，{3D Conv 3×3×3,2,256}的神经网络层中，获得初始特征提取结果，采用一系列下采样的方式可以捕捉点云中不同维度下的中间关键特征信息，带来更多的全局上下文。

然后针对下采样获得的各尺度的体素化点云块的特征提取结果，再进行一系列上采样操作，依次输入到{3D Conv 3×3×3,2,128}，{3D Conv 3×3×3,2,64}，{3D Conv 3×3×3,1,32}的神经网络层中。上采样可以对特征信息进行全局性的精准定位，得到X组点云各个尺度体素化点云块A，B，…，H对应的点云特征A，B，…，H，再输入至全连接层中进行特征融合。

进一步地，本实施例在得到各组点云的若干点云特征后，直接输入至隐藏层，利用隐藏层中的全连接层(Fully Connected Layer，简称FC)也即多层感知机(Multi-layerPerceptron，简称MLP)进行特征融合，分别融合各组点云的若干点云特征，得到各组点云的融合特征，具体为以下步骤：

利用多层感知机MLP作为编码器分别融合各组点云的若干点云特征，得到各组点云的融合特征。

进一步地，所述各组点云包括X组点云和Y组点云，利用多层感知机MLP作为编码器分别融合各组点云在不同尺度神经网络层中的若干点云特征，根据以下公式得到：

式中，F_X表示X组点云的融合特征，F_Y表示Y组点云的融合特征，MLP表示各组点云经MLP进行融合的运算符，

表示输出全连接，D表示多尺度体素化分割总次数，φ^d(X，f^d)表示X组点云经过多尺度体素化分割的d尺度体素点云块进行深度学习得到的点云特征，φ^d(Y，f^d)表示Y组点云经过多尺度体素化分割的d尺度体素点云块进行深度学习得到的点云特征。

基于相同的技术构思，本公开实施例相应还提供一种基于深度学习的点云配准装置，如图7所示，所述装置包括分割模块71、训练模块72、融合模块73、获取模块74以及配准模块75，其中，

所述分割模块71，其设置为分别对各组点云进行多尺度体素化分割，得到各组点云的多尺度体素化点云块；

所述训练模块72，其设置为分别对各组点云的多尺度体素化点云块进行深度学习，得到各组点云的若干点云特征；

所述融合模块73，其设置为分别融合各组点云的若干点云特征，得到各组点云的融合特征；

所述获取模块74，其设置为基于各组点云的融合特征获取各组点云之间的重叠匹配特征；以及，

所述配准模块75，其设置为基于所述重叠匹配特征对各组点云进行点云配准。

进一步地，所述训练模块72，包括：

构建单元，其设置为构建多尺度神经网络，所述多尺度神经网络包括若干不同尺度的神经网络层；以及，

输入单元，其设置为分别将各组点云的多尺度体素化点云块同步输入至所述多尺度神经网络中，得到各组点云的若干点云特征。

进一步地，所述多尺度神经网络包括第一多尺度子神经网络和第二多尺度子神经网络，

所述输入单元具体设置为，分别将各组点云的多尺度体素化点云块同步输入至所述第一多尺度子神经网络中进行下采样，得到各组点云的若干初始特征提取结果；以及，分别将各组点云的初始特征提取结果同步输入至所述第二多尺度子神经网络中进行上采样，得到各组点云的若干点云特征。

进一步地，所述融合模块73具体设置为，利用多层感知机MLP作为编码器分别融合各组点云的若干点云特征，得到各组点云的融合特征。

进一步地，所述各组点云包括X组点云和Y组点云，所述融合模块73利用多层感知机MLP作为编码器分别融合各组点云在不同尺度神经网络层中的若干点云特征，根据以下公式得到：

式中，F_X表示X组点云的融合特征，F_Y表示Y组点云的融合特征，MLP表示各组点云经MLP进行融合的运算符，

表示输出全连接，D表示多尺度体素化分割总次数，φ^d(X，f^d)表示X组点云经过多尺度体素化分割的d尺度体素点云块进行深度学习得到的点云特征，φ^d(Y，f^d)表示Y组点云经过多尺度体素化分割的d尺度体素点云块进行深度学习得到的点云特征。

进一步地，所述配准模块75，包括：

计算单元，其设置为基于所述重叠匹配特征计算各组点云之间的旋转矩阵和平移矩阵的最优解；以及，配准单元，其设置为基于所述最优解对各组点云进行点云配准。

进一步地，所述各组点云包括X组点云和Y组点云，所述计算单元，根据以下公式得到：

式中，R’,T’表示X组点云和Y组点云之间的旋转矩阵和平移矩阵的最优解，M表示X组点云和Y组点云之间的重叠匹配特征，x_i表示X组点云中属于重叠匹配特征的第i个点，y_j表示Y组点云中属于重叠匹配特征的第j个点，R表示旋转矩阵，T表示平移矩阵。

基于相同的技术构思，本公开实施例相应还提供一种终端设备，如图8所示，所述终端设备包括存储器81和处理器82，所述存储器81中存储有计算机程序，当所述处理器82运行所述存储器81存储的计算机程序时，所述处理器82执行所述的基于深度学习的点云配准方法。

基于相同的技术构思，本公开实施例提供相应还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，所述处理器执行所述的基于深度学习的点云配准方法。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

最后应说明的是：以上各实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述各实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的范围。

Claims (10)

1.一种基于深度学习的点云配准方法，其特征在于，包括：

分别对各组点云进行多尺度体素化分割，得到各组点云的多尺度体素化点云块；

分别对各组点云的多尺度体素化点云块进行深度学习，得到各组点云的若干点云特征；

分别融合各组点云的若干点云特征，得到各组点云的融合特征；

基于各组点云的融合特征获取各组点云之间的重叠匹配特征；以及，基于所述重叠匹配特征对各组点云进行点云配准。

2.根据权利要求1所述的方法，其特征在于，所述分别对各组点云的多尺度体素化点云块进行深度学习，得到各组点云的若干点云特征，包括：

构建多尺度神经网络，所述多尺度神经网络包括若干不同尺度的神经网络层；以及，

分别将各组点云的多尺度体素化点云块同步输入至所述多尺度神经网络中，得到各组点云的若干点云特征。

3.根据权利要求2所述的方法，其特征在于，所述多尺度神经网络包括第一多尺度子神经网络和第二多尺度子神经网络，分别将各组点云的多尺度体素化点云块同步输入至所述多尺度神经网络中，包括：

分别将各组点云的多尺度体素化点云块同步输入至所述第一多尺度子神经网络中进行下采样，得到各组点云的若干初始特征提取结果；以及，

分别将各组点云的初始特征提取结果同步输入至所述第二多尺度子神经网络中进行上采样，得到各组点云的若干点云特征。

4.根据如权利要求1-3任一项所述的方法，其特征在于，分别融合各组点云的若干点云特征，得到各组点云的融合特征，包括：

利用多层感知机MLP作为编码器分别融合各组点云的若干点云特征，得到各组点云的融合特征。

5.根据权利要求4所述的方法，其特征在于，所述各组点云包括X组点云和Y组点云，利用多层感知机MLP作为编码器分别融合各组点云在不同尺度神经网络层中的若干点云特征，根据以下公式得到：

式中，F_X表示X组点云的融合特征，F_Y表示Y组点云的融合特征，MLP表示各组点云经MLP进行融合的运算符，⊕表示输出全连接，D表示多尺度体素化分割总次数，φ^d(X，f^d)表示X组点云经过多尺度体素化分割的d尺度体素点云块进行深度学习得到的点云特征，φ^d(Y，f^d)表示Y组点云经过多尺度体素化分割的d尺度体素点云块进行深度学习得到的点云特征。

6.根据权利要求1所述的方法，其特征在于，基于所述重叠匹配特征对各组点云进行点云配准，包括：

基于所述重叠匹配特征计算各组点云之间的旋转矩阵和平移矩阵的最优解；以及，基于所述最优解对各组点云进行点云配准。

7.根据权利要求6所述的方法，其特征在于，所述各组点云包括X组点云和Y组点云，基于所述重叠匹配特征计算各组点云之间的旋转矩阵和平移矩阵的最优解，根据以下公式得到：

式中，R’,T’表示X组点云和Y组点云之间的旋转矩阵和平移矩阵的最优解，M表示X组点云和Y组点云之间的重叠匹配特征，x_i表示X组点云中属于重叠匹配特征的第i个点，y_j表示Y组点云中属于重叠匹配特征的第j个点，R表示旋转矩阵，T表示平移矩阵。

8.一种基于深度学习的点云配准装置，其特征在于，包括：

分割模块，其设置为分别对各组点云进行多尺度体素化分割，得到各组点云的多尺度体素化点云块；

训练模块，其设置为分别对各组点云的多尺度体素化点云块进行深度学习，得到各组点云的若干点云特征；

融合模块，其设置为分别融合各组点云的若干点云特征，得到各组点云的融合特征；

获取模块，其设置为基于各组点云的融合特征获取各组点云之间的重叠匹配特征；以及，

配准模块，其设置为基于所述重叠匹配特征对各组点云进行点云配准。

9.一种终端设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，当所述处理器运行所述存储器存储的计算机程序时，所述处理器执行权利要求1至6中任一项所述的基于深度学习的点云配准方法。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时，所述处理器执行权利要求1至6中任一项所述的基于深度学习的点云配准方法。

Images