CN115862012A - 点云数据语义分割方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开涉及点云数据语义分割方法、装置、电子设备及存储介质，上述方法包括：获取对目标矿山区域中采集到的三维点云数据和彩色图像；将所述三维点云数据和所述彩色图像进行融合，得到待分割三维彩色点云数据；将所述待分割三维彩色点云数据输入到语义分割模型，获得对所述待分割三维彩色点云数据的语义分割结果。这样通过采集矿山作业场景中的点云数据和对应的彩色图像，过将点云数据与对应的彩色图像进行融合，得到彩色点云数据，使得通过语义分割模型对该彩色点云数据进行语义分割，可以有效地提高点云语义分割的精度。

Description

点云数据语义分割方法、装置、电子设备及存储介质

技术领域

本公开涉及点云技术领域，尤其涉及点云数据语义分割方法、装置、电子设备及存储介质。

背景技术

矿产资源是人类社会赖以生存的一种重要物质基础，是经济发展的重要保证。目前针对固体矿藏的开采主要以露天开采的形式进行，作为矿石剥离和采装作业的关键矿山设备，矿用电铲来用于在露天开采中进行开采，通常与矿用自卸车配套使用。而矿用电铲庞大复杂的机身结构导致传统的人工作业存在挖掘效率低、安全隐患大、驾驶员身体劳损严重等问题。

为了能够持续高效地进行开采工作，智能矿用电铲的无人化自主装载作业的研发成为未来大型矿用电铲发展的重要方向之一。为了更好的实现无人电铲的智能化开采工作，需要对开采环境的点云数据进行准确的分割。

发明内容

本公开提供了一种点云数据语义分割方法、装置、电子设备及存储介质。

根据本公开的第一方面，提供了一种点云数据语义分割方法，所述方法包括：

获取对目标矿山区域中采集到的三维点云数据和彩色图像；

将所述三维点云数据和所述彩色图像进行融合，得到待分割三维彩色点云数据；

将所述待分割三维彩色点云数据输入到语义分割模型，获得对所述待分割三维彩色点云数据的语义分割结果。

根据本公开的第二方面，提供了一种点云语义分割装置，其特征在于，所述装置包括：

数据获取模块，用于获取对目标矿山区域中采集到的三维点云数据和彩色图像；

数据融合模块，用于将所述三维点云数据和所述彩色图像进行融合，得到待分割三维彩色点云数据；

分割模块，用于将所述待分割三维彩色点云数据输入到语义分割模型，获得对所述待分割三维彩色点云数据的语义分割结果。

根据本公开的第三方面，提供了一种电子设备。该电子设备包括：存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现如以上所述的方法。

根据本公开的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本公开的上述方法。

本公开实施例提供的点云数据语义分割方法、装置、电子设备及存储介质，通过获取对目标矿山区域中采集到的三维点云数据和彩色图像。并将三维点云数据和彩色图像进行融合，得到待分割三维彩色点云数据。将待分割三维彩色点云数据输入到语义分割模型，获得对待分割三维彩色点云数据的语义分割结果。这样通过采集矿山作业场景中的点云数据和对应的彩色图像，过将点云数据与对应的彩色图像进行融合，得到彩色点云数据，使得通过语义分割模型对该彩色点云数据进行语义分割，可以有效地提高点云语义分割的精度。

附图说明

在下面结合附图对于示例性实施例的描述中，本公开的更多细节、特征和优点被公开，在附图中：

图1为本公开一示例性实施例提供的点云数据语义分割方法的流程图；

图2为本公开一示例性实施例提供的点云数据语义分割装置的框图；

图3为本公开一示例性实施例提供的电子设备的结构框图；

图4为本公开一示例性实施例提供的计算机系统的结构框图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。

本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。

需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。

本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。

矿产资源是人类社会赖以生存的一种重要物质基础，是经济发展的重要保证。目前针对固体矿藏的开采主要以露天开采的形式进行，作为矿石剥离和采装作业的关键矿山设备，矿用电铲来用于在露天开采中进行开采，通常与矿用自卸车配套使用。而矿用电铲庞大复杂的机身结构导致传统的人工作业存在挖掘效率低、安全隐患大、驾驶员身体劳损严重等问题。

近年来，深度学习技术的应用为矿产资源的智能化生产提供了新的可能性，并受到越来越多的关注。早期使用三维数据的深度学习主要使用体素网格、点云、多视图以及深度图等结构，通过对其特征进行学习和处理完成对象的语义分割。基于多视图的方法采用降维的方式，将三维数据由二维图像表示，并基于二维的CNN(Convolutional NeuralNetworks，卷积神经网络)对其进行处理。最后将分类结果恢复为三维。该方法可以很好地解决点云数据的结构化问题，但也会导致点云几何结构的缺失。并且由于视野的局限性使其无法应用于大型、复杂的场景。另一种早期方法通过将体素网格与三维CNN结合解决了原始点云的无序性问题。然而这种形式会大量占用存储空间导致较高的计算成本和内存要求。

最近，研究者们将三维深度学习的重点放在了点云数据上。基于深度学习的点云语义分割方法在分割精度，鲁棒性方面都取得了很大进展。PointNet作为输入点云进行神经网络学习的开山之作，通过最大池化处理无序的点集以进行语义特征提取，然而其无法捕捉局部特征，使得在复杂场景下难以实施。在此基础上，PointNet++利用多尺度的邻域来实现鲁棒性和细节捕获，使得网络能够在不断增加的上下文范围内学习局部特征；DGCNN提出使用EdgeConv代替MLP(Multi-Layer Perceptron，多层感知器)来实现获取局部特征。然而这两种分割方法虽然精度有所提高，但运行速度较为缓慢，难以满足实际工程需求。而ShellNet使用一组同心球体对点云进行划分，得到同心球壳，然后根据每个壳体内部点的统计信息来提取具有代表性的特征。该方法虽然运行速度较快，但分割准确度有限。

因此，为了实现对矿山场景多模态彩色点云的高精度语义分割，本公开实施例会采集矿山作业场景中的点云数据和对应的彩色图像，通过将点云数据与对应的彩色图像进行融合，得到彩色点云数据，这样通过模型训练后得到的语义分割模型对该彩色点云数据进行语义分割，可以有效地提高点云语义分割的精度。

其中，本公开实施例采用的语义分割模型，主要是基于shellconv的框架，通过在其中加入一个注意力机制和一个跨通道池化层。并且该注意力机制相较于传统的SE-NET，使用LeakyReLU激活函数代替ReLu激活函数，不仅可以解决负输入情况下的0梯度问题，也能很好的缓解Dead Relu问题，能够有效提高语义分割的准确率。在上采样的过程中，本公开实施例使用一个跨通道的池化操作将早期层的特征与反卷积层的输出特征进行连接，这样能够减少网络参数，提高网络的轻量化程度。

因此，为了实现无人电铲的智能化开采工作，本公开实施例能够实现复杂条件下矿用电铲的环境感知，进而保障矿用电铲的安全无人自主运行。本公开实施例首先对SE-Net进行了改进，使用LeakyReLU代替原网络中的ReLu激活函数来调整负值的零梯度问题；然后将ShellConv与该注意力机制结合，通过跨通道池化操作，有效地减少了网络的参数量，提高了网络的轻量化水平，实现了对矿山场景多模态彩色点云的高精度语义分割。

在本公开提供的实施例中，为了训练得到语义分割模型，需要获得训练样本。因此，本公开实施例首先需要进行数据采集，即对首先通过相机和激光雷达同步地采集电铲作业场景下的点云及其对应的彩色图像。将在电铲复杂作业环境下采集到的点云主要分为9个类别，分别为料堆、地面、车、人、杂点、墙、楼梯、车上的料以及电铲本身。然后通过手动标注的方式为点云中的每个点打上相应的类别标签。

为了生成训练样本，本公开实施例需要进行多模态数据融合。即将上述获得的点云数据和彩色图像，需要通过确定点云与图像之间的转换关系并将采集到的图像数据与点云数据融合为三维彩色点云数据。记p＝[x，y，z]^T为一帧点云数据中的一个激光点，其齐次坐标可以表示为

激光点p投影到像素坐标系下的点为q＝[u，v]^T，其齐次坐标可以表示为/>

则有：

上式(1)中，[R t]为为三维激光坐标系到相机坐标系之间的几何映射关系，也称之为外参矩阵；A为相机内参矩阵，可由相机标定获得；s为比例因子。通过该映射关系，可以找到每个激光点在图像中对应的投影像素点，并将该像素点的颜色信息返回到激光点中。融合得到的三维彩色激光点p_c的坐标形式可由下式(2)表示，其中，R(u,v)、G(u,v)、B(u,v)表示投影像素点的三维颜色信息：

本公开实施例可以将上述方式将点云数据与彩色图像进行融合，并且通过人工标注来得到包含三维彩色点云数据的训练样本数据。

通过将训练样本对语义分割模型进行训练，在训练满足预设条件后，得到能够用于三维彩色点云数据分割的训练后的语义分割模型。

在需要对目标矿山区域进行环境识别时，本公开实施例可以通过上述方式采集目标矿山区域中的三维点云数据和彩色图像，通过上述方式将采集到的该三维点云数据和彩色图像进行融合，得到待分割三维彩色点云数据，通过将待分割三维彩色点云数据输入到上述训练后的语义分割模型中，可以对待分割三维彩色点云数据进行准确分割。

具体的，对于融合得到的待分割三维彩色点云数据，通过本公开实施例提出的训练后的语义分割模型进行分割。该语义分割模型的网络结构与U-Net相似，编码器部分通过三次卷积操作对输入的包含N个点的彩色点云进行下采样并计算特征。这使得点的数量逐渐减少，而输出的通道数逐渐增加。每个卷积中输入和采样后的点数为N0>N1>N2，每个点的输出特征通道数C0<C1<C2。在本公开实施例中输入点的数量N为4096，从第一层到第三层(即i分别为0、1和2时)，Ni设置为512、128、32，Ci设置为128、256和512。

作为一种轻量化的网络，本公开实施例通过使用ShellConv来代替传统的二维卷积，能够大幅地减少了计算成本。ShellConv实现的功能是计算出一个采样点的特征。一个壳表示两个同心但不同半径的球面之间的空间范围。该网络根据邻域点到中心采样点的距离将点云划分到不同的壳内，每个壳内包含的点的个数相同(本公开实施例中点的数量可以设为8)。对于一个采样点p_s及其邻域点qs∈Ωps，其中Ωps是由最近邻居查询确定的邻居集，其卷积定义为：

其中，F表示特殊信道的点集的输入特征，ω是卷积的权重，上标(n)表示层n的数据或参数。对于每个特殊通道，仅选择最大值来表示特征：

F(S)=maxpool({F(qs∈Ωs (4)

其中，Ω_S表示壳S。

为了提高点云分割的性能，本公开实施例在每一次ShellConv之后都加入了一个注意力模块L-SE-Net。该注意力模块主要的功能是对各个通道进行权重的分配，帮助网络把重要的特征信息学习到。并且该注意力模块首先对特征图进行全局平均池化，将特征图由[h,w,c]的矩阵变为[1,1,c]的向量，其中h,w为特征图的尺寸，c为通道数。通过全连接层(FC1)，将特征图向量的通道维度降低为原来的1/r(r默认取16)，即[1,1,c*1/r]；然后使用LeakyReLU代替原网络中的ReLu激活函数，该函数将x<0部分的梯度设置为0.01，使得负轴的信息不会全部丢失；再通过一个全连接层(FC2)，将特征图向量的特征图上升回原来[1,1,c]；然后经过sigmoid函数转化为一个0-1之间的归一化权重向量。最后将归一化权重和原输入特征图逐通道相乘，生成加权后的特征图。

解卷积部分通过ShellConv算子对点云进行上采样，直到点云达到原始分辨率。反卷积层逐渐输出更多的点，但特征通道数逐渐减少。从编码器输出的N2个点开始，首先通过ShellConv以及L-SE-Net进行上采样，得到N1个点及C1条特征通道。然后通过一个跨通道的池化层将早期层的特征连接到反卷积层的输出特征中，首先将两个K维特征拼接在一起，然后对其两两求最大池化，最终输出得到一个K维特征。由此我们可得到N1个点及C1条特征通道，接着重复上述操作得到N0个点及C0条特征通道。最后再通过一层ShellConv以及L-SE-Net，输出N×C(实施例中C设置为64)被馈送到MLP中，以产生用于分割的概率图，其中可以获得64×k_seg矩阵，其中k_seg表示标签的数量。通过该网络可以实现对场景中各类物体的语义分割。

本公开实施例能够基于注意力机制的矿山场景多模态彩色点云进行语义分割方式，可以用于实现复杂条件下矿用电铲作业环境感知。首先，针对传统的点云分割算法只对点云的三维坐标进行特征学习而忽略了点云丰富的颜色信息的问题，本公开实施例采用相机标定的方法对点云和图像进行多模态信息融合得到3d彩色点云数据。然后针对传统点云语义分割模型精度不够高的问题，本发明使用一种新型语义分割模型。该网络通过结合L-SE-Net注意力机制和ShellConv进行特征计算，并通过一个跨通道的池化操作对特征进行拼接，实现了矿山场景多模态彩色点云的高精度语义分割。

本公开实施例在Ubuntu14.04上用Python3.6、TensorFlow1.13.2、CUDA10.0和cuDNN7.3进行了测试。初始学习率为0.001，批量大小为16。衰减步长为20000，衰减速率为0.7，使用adam进行优化。点云采样方式设置为随机采样。最大迭代次数设置为80。通过实验证明，本公开实施例提出的语义分割方法相较于PointNet和ShellNet网络，分割精度得到大幅提升，平均准确度达到90％。这主要是由于如下技术贡献：1、采用多模态信息融合将场景中丰富的颜色信息融入到点云数据中，以增强特征。2、加入了改进的L-SE-Net注意力模块，合理分配各个通道的权重。同时将其与ShellConv结合，进一步地提高了点云分割的准确率。3、通过跨通道池化操作将早期层的特征与反卷积层输出的特征连接，在提高语义分割精度的同时还减少了网络参数。可以观察到，本公开实施例提出的方法在大部分场景下的性能总是接近最佳。实验结果表明，本公开实施例可以有效地提高点云语义分割的精度。

因此，基于上述实施例，如图1所示，本公开实施例提供了一种点云数据语义分割方法，该方法可以包括以下步骤：

在步骤S110中，获取对目标矿山区域中采集到的三维点云数据和彩色图像。

实施例中，可以通过相机和激光雷达同步地采集目标矿山区域中的点云及其对应的彩色图像。

在步骤S120中，将三维点云数据和彩色图像进行融合，得到待分割三维彩色点云数据。

具体融合方式可以参见上述实施例的描述，这里不再赘述。

在步骤S130中，将待分割三维彩色点云数据输入到语义分割模型，获得对待分割三维彩色点云数据的语义分割结果。

本公开提供的实施例中，在通过语义分割模型对待分割三维彩色点云数据进行语义分割之前，还需要训练样本对预设模型进行训练，并将训练后的预设模型作为语义分割模型。该预设模型可以为上述实施例中的基于shellconv的框架，通过在其中加入一个注意力机制和一个跨通道池化层的网络。

因此，本公开实施例通过获取训练样本，其中，该训练样本为对目标矿山区域进行数据采集获得的三维彩色点云数据，该训练样本携带有类别标签。通过训练样本对预设模型进行训练，并将训练后的预设模型作为语义分割模型。该类别标签可以包括：料堆、地面、车、人、杂点、墙、楼梯、车上的料和电铲中的至少一种。

本公开实施例获取训练样本的过程，需要对目标矿山区域进行数据采集，得到多组数据。其中，每组数据包含对目标矿山区域中同一区域采集到的三维点云数据和对应的彩色图像，每组数据中的三维点云数据携带有类别标签。通过将每组数据中的点云数据和彩色图像进行融合，得到多组彩色三维点云数据。并将多组三维彩色点云数据作为训练样本对预设模型进行训练，并将训练后的预设模型作为语义分割模型。

本公开实施例在对待分割三维彩色点云数据进行语义分割时，通过语义分割模型中的卷积层对待分割三维彩色点云数据进行卷积处理，获得第一特征。并通过语义分割模型中的反卷积层对待分割三维彩色点云数据进行反卷积处理，获得第二特征。以及通过跨通道的池化层连接第一特征和第二特征，并通过多层感知机MLP对连接后的特征进行语义分割，可以得到料堆、地面、车、人、杂点、墙、楼梯、车上的料和电铲中等分割结果。具体可以参见上述实施例的描述，这里不再赘述。

本公开实施例提供的点云数据语义分割方法，通过获取对目标矿山区域中采集到的三维点云数据和彩色图像。并将三维点云数据和彩色图像进行融合，得到待分割三维彩色点云数据。将待分割三维彩色点云数据输入到语义分割模型，获得对待分割三维彩色点云数据的语义分割结果。这样通过采集矿山作业场景中的点云数据和对应的彩色图像，过将点云数据与对应的彩色图像进行融合，得到彩色点云数据，使得通过语义分割模型对该彩色点云数据进行语义分割，可以有效地提高点云语义分割的精度。

在采用对应各个功能划分各个功能模块的情况下，本公开实施例提供了一种点云语义分割装置，该点云语义分割装置可以为服务器或应用于服务器的芯片。图2为本公开一示例性实施例提供的点云语义分割装置的功能模块示意性框图。如图2所示，该点云语义分割装置包括：

数据获取模块10，用于获取对目标矿山区域中采集到的三维点云数据和彩色图像；

数据融合模块20，用于将所述三维点云数据和所述彩色图像进行融合，得到待分割三维彩色点云数据；

分割模块30，用于将所述待分割三维彩色点云数据输入到语义分割模型，获得对所述待分割三维彩色点云数据的语义分割结果。

在本公开提供的又一实施例中，所述装置还包括：

样本获取模块，用于获取训练样本，所述训练样本为对所述目标矿山区域进行数据采集获得的三维彩色点云数据，所述训练样本携带有类别标签；

训练模块，用于通过训练样本对预设模型进行训练，并将训练后的所述预设模型作为所述语义分割模型。

在本公开提供的又一实施例中，所述训练模块，具体还用于：

对所述目标矿山区域进行数据采集，得到多组数据；其中，每组数据包含对所述目标矿山区域中同一区域采集到的三维点云数据和对应的彩色图像，每组数据中的三维点云数据携带有类别标签；

将所述每组数据中的点云数据和彩色图像进行融合，得到多组彩色三维点云数据；

将所述多组三维彩色点云数据作为训练样本对预设模型进行训练，并将训练后的所述预设模型作为所述语义分割模型。

在本公开提供的又一实施例中，所述类别标签包括：料堆、地面、车、人、杂点、墙、楼梯、车上的料和电铲中的至少一种。

在本公开提供的又一实施例中，所述分割模块，具体还用于：

通过所述语义分割模型中的卷积层对所述待分割三维彩色点云数据进行卷积处理，获得第一特征；

通过所述语义分割模型中的反卷积层对所述待分割三维彩色点云数据进行反卷积处理，获得第二特征；

通过跨通道的池化层连接所述第一特征和所述第二特征，并通过多层感知机MLP对连接后的特征进行语义分割。

在本公开提供的又一实施例中，所述卷积层包括壳网络以及注意力模块，所述注意力模块用于对各个通道进行权重分配。

具体可以参见上述实施例的具体描述，这里不再赘述。

本公开实施例提供的点云数据语义分割装置，通过获取对目标矿山区域中采集到的三维点云数据和彩色图像。并将三维点云数据和彩色图像进行融合，得到待分割三维彩色点云数据。将待分割三维彩色点云数据输入到语义分割模型，获得对待分割三维彩色点云数据的语义分割结果。这样通过采集矿山作业场景中的点云数据和对应的彩色图像，过将点云数据与对应的彩色图像进行融合，得到彩色点云数据，使得通过语义分割模型对该彩色点云数据进行语义分割，可以有效地提高点云语义分割的精度。

本公开实施例还提供一种电子设备，包括：至少一个处理器；用于存储所述至少一个处理器可执行指令的存储器；其中，所述至少一个处理器被配置为执行所述指令，以实现本公开实施例公开的上述方法。

图3为本公开一示例性实施例提供的电子设备的结构示意图。如图3所示，该电子设备1800包括至少一个处理器1801以及耦接至处理器1801的存储器1802，该处理器1801可以执行本公开实施例公开的上述方法中的相应步骤。

上述处理器1801还可以称为中央处理单元(central processing unit，CPU)，其可以是一种集成电路芯片，具有信号的处理能力。本公开实施例公开的上述方法中的各步骤可以通过处理器1801中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1801可以是通用处理器、数字信号处理器(digital signal processing，DSP)、ASIC、现成可编程门阵列(field-programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本公开实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储器1802中，例如随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质。处理器1801读取存储器1802中的信息，结合其硬件完成上述方法的步骤。

另外，根据本公开的各种操作/处理在通过软件和/或固件实现的情况下，可从存储介质或网络向具有专用硬件结构的计算机系统，例如图4所示的计算机系统1900安装构成该软件的程序，该计算机系统在安装有各种程序时，能够执行各种功能，包括诸如前文所述的功能等等。图4为本公开一示例性实施例提供的计算机系统的结构框图。

计算机系统1900旨在表示各种形式的数字电子的计算机设备，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图4所示，计算机系统1900包括计算单元1901，该计算单元1901可以根据存储在只读存储器(ROM)1902中的计算机程序或者从存储单元1908加载到随机存取存储器(RAM)1903中的计算机程序，来执行各种适当的动作和处理。在RAM 1903中，还可存储计算机系统1900操作所需的各种程序和数据。计算单元1901、ROM 1902以及RAM 1903通过总线1904彼此相连。输入/输出(I/O)接口1905也连接至总线1904。

计算机系统1900中的多个部件连接至I/O接口1905，包括：输入单元1906、输出单元1907、存储单元1908以及通信单元1909。输入单元1906可以是能向计算机系统1900输入信息的任何类型的设备，输入单元1906可以接收输入的数字或字符信息，以及产生与电子设备的用户设置和/或功能控制有关的键信号输入。输出单元1907可以是能呈现信息的任何类型的设备，并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。存储单元1908可以包括但不限于磁盘、光盘。通信单元1909允许计算机系统1900通过网络诸如因特网的与其他设备交换信息/数据，并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信收发机和/或芯片组，例如蓝牙TM设备、WiFi设备、WiMax设备、蜂窝通信设备和/或类似物。

计算单元1901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1901执行上文所描述的各个方法和处理。例如，在一些实施例中，本公开实施例公开的上述方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1908。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1902和/或通信单元1909而被载入和/或安装到电子设备1900上。在一些实施例中，计算单元1901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行本公开实施例公开的上述方法。

本公开实施例还提供一种计算机可读存储介质，其中，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行本公开实施例公开的上述方法。

本公开实施例中的计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。上述计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。更具体的，上述计算机可读存储介质可以包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

本公开实施例还提供一种计算机程序产品，包括计算机程序，其中，所述计算机程序被处理器执行时实现本公开实施例公开的上述方法。

在本公开的实施例中，可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络(包括局域网(LAN)或广域网(WAN))连接到用户计算机，或者，可以连接到外部计算机。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的模块、部件或单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块、部件或单元的名称在某种情况下并不构成对该模块、部件或单元本身的限定。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示例性的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。

以上描述仅为本公开的一些实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

虽然已经通过示例对本公开的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本公开的范围。本领域的技术人员应该理解，可在不脱离本公开的范围和精神的情况下，对以上实施例进行修改。本公开的范围由所附权利要求来限定。

Claims (10)

1.一种点云数据语义分割方法，其特征在于，所述方法包括：

获取对目标矿山区域中采集到的三维点云数据和彩色图像；

将所述三维点云数据和所述彩色图像进行融合，得到待分割三维彩色点云数据；

将所述待分割三维彩色点云数据输入到语义分割模型，获得对所述待分割三维彩色点云数据的语义分割结果。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取训练样本，所述训练样本为对所述目标矿山区域进行数据采集获得的三维彩色点云数据，所述训练样本携带有类别标签；

通过训练样本对预设模型进行训练，并将训练后的所述预设模型作为所述语义分割模型。

3.根据权利要求2所述的方法，其特征在于，所述获取训练样本，包括：

对所述目标矿山区域进行数据采集，得到多组数据；其中，每组数据包含对所述目标矿山区域中同一区域采集到的三维点云数据和对应的彩色图像，每组数据中的三维点云数据携带有类别标签；

将所述每组数据中的点云数据和彩色图像进行融合，得到多组彩色三维点云数据；

将所述多组三维彩色点云数据作为训练样本对预设模型进行训练，并将训练后的所述预设模型作为所述语义分割模型。

4.根据权利要求2或3所述的方法，其特征在于，所述类别标签包括：料堆、地面、车、人、杂点、墙、楼梯、车上的料和电铲中的至少一种。

5.根据权利要求1所述的方法，其特征在于，所述将所述待分割三维彩色点云数据输入到语义分割模型，包括：

通过所述语义分割模型中的卷积层对所述待分割三维彩色点云数据进行卷积处理，获得第一特征；

通过所述语义分割模型中的反卷积层对所述待分割三维彩色点云数据进行反卷积处理，获得第二特征；

通过跨通道的池化层连接所述第一特征和所述第二特征，并通过多层感知机MLP对连接后的特征进行语义分割。

6.根据权利要求5所述的方法，其特征在于，所述卷积层包括壳网络以及注意力模块，所述注意力模块用于对各个通道进行权重分配。

7.一种点云语义分割装置，其特征在于，所述装置包括：

数据获取模块，用于获取对目标矿山区域中采集到的三维点云数据和彩色图像；

数据融合模块，用于将所述三维点云数据和所述彩色图像进行融合，得到待分割三维彩色点云数据；

分割模块，用于将所述待分割三维彩色点云数据输入到语义分割模型，获得对所述待分割三维彩色点云数据的语义分割结果。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

样本获取模块，用于获取训练样本，所述训练样本为对所述目标矿山区域进行数据采集获得的三维彩色点云数据，所述训练样本携带有类别标签；

训练模块，用于通过训练样本对预设模型进行训练，并将训练后的所述预设模型作为所述语义分割模型。

9.一种电子设备，其特征在于，包括：

至少一个处理器；

用于存储所述至少一个处理器可执行指令的存储器；

其中，所述至少一个处理器被配置为执行所述指令，以实现如权利要求1-6中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1-6中任一项所述的方法。

Images