CN114359562B

CN114359562B - 一种四维点云自动语义分割标注系统及方法

Info

Publication number: CN114359562B
Application number: CN202210273992.XA
Authority: CN
Inventors: 吕呈刚; 赵捷
Original assignee: Ningbo Boden Intelligent Technology Co ltd
Current assignee: Ningbo Boden Intelligent Technology Co ltd
Priority date: 2022-03-20
Filing date: 2022-03-20
Publication date: 2022-06-17
Anticipated expiration: 2042-03-20
Also published as: CN114359562A

Abstract

本发明公开了一种四维点云自动语义分割标注系统，涉及自动驾驶标注技术领域，包括数据上传模块，数据采样模块，前端模块，四维点云自动标注模块，指令发送模块，结果获取模块；本发明还公开了一种四维点云自动语义分割标注方法，包括如下步骤：S100、采样四维点云数据集获得样本集，S200、样本集的人工标注，S300、四维点云预处理，S400、四维点云自动语义分割标注模型训练，S500、模型推理以及结果后处理，S600、人工质检和微调。本发明实现了点云语义分割标注的自动化，大幅缩减了人工标注的时间和成本。

Description

一种四维点云自动语义分割标注系统及方法

技术领域

本发明涉及自动驾驶标注技术领域，尤其涉及一种四维点云自动语义分割标注系统及方法。

背景技术

近年来，伴随着科学技术的发展与设备应用层面的更新迭代，自动驾驶已经逐步走进人类的生活当中。各大汽车主机厂、高校、研究所、高新科技企业都纷纷将自动驾驶相关的软硬件技术落地作为工作的重心。感知环节是自动驾驶中最重要的环节之一，它充当了自动驾驶的“眼睛”。感知环节主要涉及到激光雷达、毫米波雷达、摄像头等传感器设备的应用，它能够检测周围环境的信息，并送入后续的流程以供一系列分析和决策。自动驾驶场景中的感知环节离不开以深度学习为骨架的感知算法。深度学习是一项重度数据依赖的工作，训练一个效果好，精度高，泛化性强的感知模型往往需要大量的有标签数据。在这个环节中，如何高效、快速地获得大量有标签数据、提高数据标注的效率是一个至关重要的问题。对于进一步推进自动驾驶领域的发展，数据标注的重要性不言而喻。

激光雷达传感器已成为现代自动驾驶车辆中不可或缺的设备。与传统的摄像头相比，它可以捕获更精确和更远的周围环境距离测量值。从激光雷达传感器的测量结果可构建出三维点云，可用于实现对自动驾驶规划和执行的全面场景理解，其中激光雷达点云语义分割对于驾驶场景理解至关重要。语义分割旨在识别点云中每个点的预定义类别，例如轿车、卡车、行人等。

最近，深度学习的进步极大地推动了图像分割的最新发展。一些现有的激光雷达语义分割方法遵循这条思路将三维点云投影到二维空间，并通过以二维卷积为主要模块的深度神经网络对其进行分割。然而，这类方法在三维到二维投影的过程中不可避免的丢失了准确的三维几何关系和拓扑结构。另一种方式是利用体素化和三维卷积网络来处理点云。体素化的过程可以理解成将点云转化成一幅三维图像，体素则代表这幅三维图像中的最小单位，相当于二维图片中的像素。一般的体素化方法是将点云按照立方体形状均匀划分成体素。然而，室外点云具有近密远疏的特点，如果用立方体来进行体素划分，则会导致近处的体素中的点多而密，而远处的体素往往捕捉不到任何点。这样就会产生大量的空体素，这些空体素在后续的三维卷积过程中不仅无法携带有意义的信息，而且会造成额外的计算开销和显存负担。

针对上述问题，有学者提出将点云参照圆柱体进行体素划分以适应室外点云近密远疏的特点，在这种体素化方式下，近处的体素体积小而点云密，远处的体素体积大而点云稀疏，这样划分出的体素所包含的点的数量相比于立方体体素化方法更加均匀。而然，他们的研究只停留在实验层面，且只在大型的公开数据集上验证了实验结果。

目前市面上已可以找到三维点云的自动目标检测标注系统，但是却缺乏高效的自动语义分割标注系统。相比于三维点云目标检测标注任务下的简单拉框，三维点云的语义分割标注难度更高，操作更繁琐。标注员工在操作时候会出现大量的错检、漏检、以及精度无法保证的情况，且人工标注需要耗费大量的时间，效率低下。一个高精度的三维点云语义分割算法可以返回可靠的预标注结果，从而节省大量的人工标注时间。

因此，本领域的技术人员致力于开发一种四维点云自动语义分割标注系统及方法。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是如何提高语义分割算法预测的准确率，提高标注效率。

发明人定义“四维点云”为代表一组时序上连续的三维点云文件或多帧叠加后的三维点云，“点云”为代表单帧的三维点云文件或者广义上的点云物体。发明人首先对现有技术存在的问题进行了分析，发现现有技术存在的问题有：全手动标注，没有算法作为预标，标注的质量只能依靠标注员工的熟练程度和专注度；因为手动标注，所以成本难以得到控制，自动驾驶技术的发展需要巨量的有标签数据来推动，在这样的前提下，手动标注的用人成本会随着数据量增加成指数级增加；因为没有算法的支撑，所以在标注三维点云的时候，很难确定其目标物体在对应的图片上的位置；目前常见的三维点云自动语义分割算法准确率不高，通用性差，即使在标注系统中借助这样的分割算法，也仍然需要人工对分割结果做后续的精细调整，耗费时间；一般的三维点云算法会将点云以相同大小的立方体形状为单位分割为体素,但是点云的分布具有近密远疏的特点，这种体素化方式会导致远处出现大量的空体素，从而导致卷积操作时算力资源和显存的浪费。

针对现有技术的问题，发明人设计了四维点云自动语义分割标注系统的算法，运用了点云连续帧依照时序的叠加，三维点云加上时序信息构成了四维点云，并将四维点云以圆柱体的形状进行体素化，即圆柱体体素化。

本发明的一个实施例中，提供了一种四维点云自动语义分割标注系统，包括：

数据上传模块，上传四维点云数据集到控制模块；

数据采样模块，对四维点云数据集采样得到样本集；

前端模块，与用户进行交互，进行指令获取和数据展示；

四维点云自动标注模块，对四维点云数据集进行预处理，训练及推理四维点云自动语义分割标注模型；

指令发送模块，将指令发送到四维点云自动标注模块；

结果获取模块，获取四维点云自动标注模块关于所述四维点云数据集的推理结果；

控制模块，连接数据上传模块、数据采样模块、前端模块、指令发送模块、结果获取模块，负责指令的控制和数据的收发，通过指令发送模块和结果获取模块与四维点云自动标注模块进行通信；

响应于用户的上传四维点云数据集的请求，前端模块发送数据给控制模块；控制模块控制数据上传模块完成数据的获取，再控制数据采样模块完成样本集的采样；采样完成后，前端模块完成数据标注；响应于用户的开始训练请求，前端模块发送训练请求给控制模块，控制模块通过指令发送模块通知四维点云自动标注模块开始自动训练并完成自动标注；自动标注完成后，控制模块通过结果获取模块取得标注结果，并在前端模块进行标注结果展示。

可选地，在上述实施例中的四维点云自动语义分割标注系统中，四维点云为时序上的连续帧点云，未经过采样或经过均匀间隔采样。

可选地，在上述任一实施例中的四维点云自动语义分割标注系统中，四维点云来自于三维激光雷达的多线束，水平和垂直视野范围以及射程不做限定。

可选地，在上述实施例中的四维点云自动语义分割标注系统中，预处理包括把图像转化成自动标注平台支持的格式。

进一步地，在上述实施例中的四维点云自动语义分割标注系统中，自动标注平台支持的格式包括以pcd为后缀的点云数据文件格式和以bin为后缀的二进制文件格式。

可选地，在上述任一实施例中的四维点云自动语义分割标注系统中，四维点云数据集的采样方式为均匀采样，采样比例设置范围为0-100%，一般为10%。

基于上述任一实施例，本发明的另一个实施例中，提供了一种四维点云自动语义分割标注方法，包括如下步骤：

S100、采样四维点云数据集获得样本集，在数据采样模块对四维点云数据集进行采样，得到样本集；

S200、样本集的人工标注，在前端模块对样本集进行人工标注；

S300、四维点云预处理，在四维点云自动标注模块对四维点云预处理；

S400、四维点云自动语义分割标注模型训练，在四维点云自动标注模块中训练四维点云自动语义分割标注模型；

S500、模型推理以及结果后处理，在四维点云自动标注模块中进行模型推理以及结果后处理；

S600、人工质检和微调，在前端模块进行人工质检和微调。

可选地，在上述实施例中的四维点云自动语义分割标注方法中，步骤S100包括：

S110、上传点云数据，在前端模块，用户创建并上传四维点云数据集；

S120、划分待标注数据，数据采样模块自动将四维点云数据集以相同间隔采样出小批待标注数据作为样本集。

进一步地，在上述实施例中的四维点云自动语义分割标注方法中，四维点云数据集为时序上的连续帧，未经过采样或经过均匀间隔采样。

可选地，在上述实施例中的四维点云自动语义分割标注方法，点云数据的格式是以pcd为后缀的点云数据文件格式和以bin为后缀的二进制文件格式。

可选地，在上述实施例中的四维点云自动语义分割标注方法中，小批待标注数据占四维点云数据集总数据量的10%。

可选地，在上述任一实施例中的四维点云自动语义分割标注方法中，步骤S200中的人工标注由用户决定待标注的类别和标注规范，标注系统不作限定。

可选地，在上述任一实施例中的四维点云自动语义分割标注方法中，步骤S300还包括：

S310、数据下载，四维点云自动标注模块下载数据集、下载样本集、下载标注信息；

S320、点云多帧叠加，对N帧时序上连续的点云做叠加，其中N为根据点云疏密自动调节的参数，N的范围是1到19，取奇数；进行叠加时，对点云原时序索引进行记录；

S330、坐标系转换和圆柱体体素化，将多帧叠加后的四维点云的坐标（z，y，x）从笛卡尔坐标系转换成极坐标（p, r, z），随后进行圆柱体体素化，得到各点的体素中心点坐标和索引；

S340、点云特征拼接，将点云的时序索引，点云的笛卡尔坐标（z，y，x）和点云的极坐标（p,r,z）信息拼接成一个大张量，作为训练模型的输入。

进一步地，在上述实施例中的四维点云自动语义分割标注方法中，步骤S320中记录遵守如下原则：当前帧的索引0，先前帧的索引为负，而后续帧的索引为正。

可选地，在上述任一实施例中的四维点云自动语义分割标注方法中，步骤S400中的四维点云自动语义分割标注模型为深度神经网络模型，模型结构包括两组多层感知机以及由稀疏卷积层构成的编码器和解码器，每组多层感知机包含三个多层感知机，第一组中三个多层感知机的特征数量逐层递增，第二组中三个多层感知机的特征数量逐层递减。

进一步地，在上述实施例中的四维点云自动语义分割标注方法中，深度神经网络模型的训练流程包括：

S410、四维点云输入第一组多层感知机，其输出的特征映射到各体素位置得到圆柱体体素化的特征；

S420、圆柱体体素化的特征经过编码器和解码器，解码器输出的结果与体素标签计算voxel-wise损失；

S430、第一组多层感知机的输出特征另送入第二组多层感知机进行后续运算；

S440、解码器输出的结果另送入第二组多层感知机，输出与点云标签计算point-wise损失。

进一步地，在上述实施例中的四维点云自动语义分割标注方法中，voxel-wise损失函数为带有权重的交叉熵损失和lovasz-softmax的加权平均。

进一步地，在上述实施例中的四维点云自动语义分割标注方法中，voxel-wise损失函数和point-wise损失函数中的带有权重的交叉熵损失函数，计算公式如（1）所示：

(1)

其中，N代表样本总数，M代表类别总数，

为预测得到的第i个样本的类别为c的概率，

(2)

为赋予类别c的权重，满足

(3)

进一步地，在上述实施例中的四维点云自动语义分割标注方法中，voxel-wise损失函数中的lovasz-softmax损失函数计算公式如（4）所示：

(4)

其中

为预测类别c的全图预测结果，其中每一个体素的预测结果为

（5）

为预测得到的第i个样本的类别为c的概率，

为Jaccard损失函数，计算公式如(6)所示：

（6）。

可选地，在上述任一实施例中的四维点云自动语义分割标注方法中，步骤S500还包括：

S510、单帧推理，单帧推理，用保存的四维点云自动语义分割标注模型权重来对四维点云数据集中的每一帧点云做推理；

S520、推理结果后处理，对每一帧点云的推理结果进行多数投票，得到最终的点云分割结果；

S530、结果上传，四维点云自动标注模块将语义分割结果上传控制模块；

S540、结果可视化，控制模块对语义分割结果进行可视化操作，并在前端模块将可视化的结果进行展示。

进一步地，在上述实施例中的四维点云自动语义分割标注方法中，步骤S510中推理过程基于N帧叠加的点云，平均每帧点云都会得到N个推理结果。

本发明提出的四维点云自动语义分割标注系统实现了点云语义分割标注的自动化，大幅缩减了人工标注的时间和成本，且其标注质量可控；算法使用连续帧点云的多帧叠加，返回的语义分割结果具有高准确性的特点，大幅减少了后续人工微调的成本；使用了创新性的圆柱体体素化方式，更加符合驾驶场景中室外点云近密远疏的特点，提高了算法预测结果的准确性；将点云投影到2D图像的辅助功能，方便标注和质检人员在算法返回结果的基础上进行校验和修正。

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。

附图说明

图1是图示根据示例性实施例的四维点云自动语义分割标注系统结构图；

图2是图示根据示例性实施例的四维点云自动语义分割标注方法流程图；

图3是图示根据示例性实施例的四维点云自动语义分割标注模型的深度神经网络结构示意图。

具体实施方式

以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。

在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的，本发明并没有限定每个组件的尺寸和厚度。为了使图示更清晰，附图中有些地方示意性地适当夸大了部件的厚度。

发明人设计了一种四维点云自动语义分割标注系统，四维点云为时序上的连续帧点云，未经过采样或经过均匀间隔采样，四维点云来自于三维激光雷达的多线束，水平和垂直视野范围以及射程不做限定。如图1所示，包括：

数据上传模块，上传四维点云数据集到控制模块；

数据采样模块，对四维点云数据集采样得到样本集，四维点云数据集的采样方式为均匀采样，采样比例设置范围为0-100%，一般为10%；

前端模块，与用户进行交互，进行指令获取和数据展示；

四维点云自动标注模块，对四维点云数据集进行预处理，训练及推理四维点云自动语义分割标注模型，预处理包括把图像转化成自动标注平台支持的格式，自动标注平台支持的格式包括以pcd为后缀的点云数据文件格式和以bin为后缀的二进制文件格式；

指令发送模块，将指令发送到四维点云自动标注模块；

基于上述实施例，发明人提供了一种四维点云自动语义分割标注方法，如图2所示，包括如下步骤：

S100、采样四维点云数据集获得样本集，四维点云数据集为时序上的连续帧，未经过采样或经过均匀间隔采样，在数据采样模块对四维点云数据集进行采样，得到样本集，具体包括：

S110、上传点云数据，点云数据的格式是以pcd为后缀的点云数据文件格式和以bin为后缀的二进制文件格式，在前端模块，用户创建并上传四维点云数据集；

S120、划分待标注数据，数据采样模块自动将四维点云数据集以相同间隔采样出小批待标注数据作为样本集，小批待标注数据占四维点云数据集总数据量的10%。

S200、样本集的人工标注，在前端模块对样本集进行人工标注，人工标注由用户决定待标注的类别和标注规范，标注系统不作限定。

S300、四维点云预处理，在四维点云自动标注模块对四维点云预处理；具体包括：

S320、点云多帧叠加，对N帧时序上连续的点云做叠加，其中N为根据点云疏密自动调节的参数，N的范围是1到19，取奇数；进行叠加时，对点云原时序索引进行记录，记录遵守如下原则：当前帧的索引0，先前帧的索引为负，而后续帧的索引为正；

S330、坐标系转换和圆柱体体素化，将多帧叠加后的点云的坐标（z，y，x）从笛卡尔坐标系转换成极坐标（p, r, z），随后进行圆柱体体素化，得到各点的体素中心点坐标和索引；

S400、四维点云自动语义分割标注模型训练，在四维点云自动标注模块中训练四维点云自动语义分割标注模型，四维点云自动语义分割标注模型为深度神经网络模型，如图3所示，深度神经网络模型结构包括两组多层感知机以及由稀疏卷积层构成的编码器和解码器，每组多层感知机包含三个多层感知机，第一组中三个多层感知机的特征数量逐层递增，第二组中三个多层感知机的特征数量逐层递减，具体包括：

S420、圆柱体体素化的特征经过编码器和解码器，解码器输出的结果与体素标签计算voxel-wise损失，voxel-wise损失函数为带有权重的交叉熵损失和lovasz-softmax的加权平均；

上述voxel-wise损失函数和point-wise损失函数中的带有权重的交叉熵损失函数计算公式如（1）所示：

(1)

其中，N代表样本总数，M代表类别总数，

为预测得到的第i个样本的类别为c的概率，

(2)

为赋予类别c的权重，满足

(3)

voxel-wise损失函数中的lovasz-softmax损失函数计算公式如（4）所示：

(4)

其中

为预测类别c的全图预测结果，其中每一个体素的预测结果为

（5）

为预测得到的第i个样本的类别为c的概率，

为Jaccard损失函数，计算公式如(6)所示：

（6）。

S500、模型推理以及结果后处理，在四维点云自动标注模块中进行模型推理以及结果后处理；具体包括：

S510、单帧推理，单帧推理，用保存的四维点云自动语义分割标注模型权重来对四维点云数据集中的每一帧点云做推理，推理过程基于N帧叠加的点云，平均每帧点云都会得到N个推理结果；

S600、人工质检和微调，在前端模块进行人工质检和微调。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims

1.一种四维点云自动语义分割标注方法，使用四维点云自动语义分割标注系统，其特征在于，所述四维点云自动语义分割标注系统包括：

数据上传模块，上传四维点云数据集到控制模块；

数据采样模块，对所述四维点云数据集采样得到样本集；

前端模块，与用户进行交互，进行指令获取和数据展示；

四维点云自动标注模块，对所述四维点云数据集进行预处理，训练及推理四维点云自动语义分割标注模型；

指令发送模块，将所述指令发送到所述四维点云自动标注模块；

结果获取模块，获取所述四维点云自动标注模块关于所述四维点云数据集的推理结果；

控制模块，连接所述数据上传模块、所述数据采样模块、所述前端模块、所述指令发送模块、所述结果获取模块，负责所述指令的控制和所述数据的收发，通过所述指令发送模块和所述结果获取模块与所述四维点云自动标注模块进行通信；

响应于用户的上传所述四维点云数据集的请求，所述前端模块发送数据给所述控制模块；所述控制模块控制所述数据上传模块完成所述数据的获取，再控制所述数据采样模块完成所述样本集的采样；采样完成后，所述前端模块完成数据标注；响应于用户的开始训练请求，所述前端模块发送训练请求给所述控制模块，所述控制模块通过所述指令发送模块通知所述四维点云自动标注模块开始自动训练并完成自动标注；自动标注完成后，所述控制模块通过所述结果获取模块取得标注结果，并在所述前端模块进行所述标注结果展示；

所述四维点云自动语义分割标注方法包括如下步骤：

S100、采样四维点云数据集获得样本集，在所述数据采样模块对所述四维点云数据集进行采样，得到所述样本集；

S200、样本集的人工标注，在所述前端模块对所述样本集进行人工标注；

S300、四维点云预处理，在所述四维点云自动标注模块对所述四维点云预处理；

所述步骤S300包括：

S310、数据下载，所述四维点云自动标注模块下载数据集、下载样本集、下载标注信息；

S320、点云多帧叠加，对N帧时序上连续的点云做叠加，进行叠加时，对所述点云原时序索引进行记录；

S330、坐标系转换和圆柱体体素化，将多帧叠加后的所述点云的坐标（z，y，x）从笛卡尔坐标系转换成极坐标（p, r, z），随后进行圆柱体体素化，得到各点的体素中心点坐标和索引；

S340、点云特征拼接，将所述点云的时序索引，所述点云的笛卡尔坐标（z，y，x）和所述点云的极坐标（p,r,z）信息拼接成一个大张量，作为训练所述四维点云自动语义分割标注模型的输入；

S400、四维点云自动语义分割标注模型训练，在所述四维点云自动标注模块中训练所述四维点云自动语义分割标注模型，所述四维点云自动语义分割标注模型为深度神经网络模型，所述深度神经网络模型结构包括两组多层感知机以及由稀疏卷积层构成的编码器和解码器，每组多层感知机包含三个多层线性感知机，第一组中三个多层感知机的特征数量逐层递增，第二组中三个多层感知机的特征数量逐层递减；

所述深度神经网络模型的训练流程包括：

S410、所述四维点云输入所述第一组多层感知机，输出的特征映射到各体素位置得到所述圆柱体体素化的特征；

S420、所述圆柱体体素化的特征经过所述编码器和所述解码器，所述解码器输出的结果与体素标签计算voxel-wise损失；

S430、所述第一组多层感知机的输出特征另送入所述第二组多层感知机进行后续运算；

S440、所述解码器输出的结果送入所述第二组多层感知机，输出与点云标签计算point-wise损失；

S500、模型推理以及结果后处理，在所述四维点云自动标注模块中进行模型推理以及结果后处理；

S600、人工质检和微调，在所述前端模块进行人工质检和微调。

2.如权利要求1所述的四维点云自动语义分割标注方法，其特征在于，所述步骤S100包括：

S110、上传点云数据，在所述前端模块，用户创建并上传所述四维点云数据集；

S120、划分待标注数据，所述数据采样模块自动将所述四维点云数据集以相同间隔采样出小批待标注数据作所述为样本集。

3.如权利要求1的四维点云自动语义分割标注方法，其特征在于，所述步骤S500还包括：

S510、单帧推理，用保存的四维点云自动语义分割标注模型权重来对四维点云数据集中的每一帧点云做推理；

S520、推理结果后处理，对所述每一帧点云的推理结果进行多数投票，得到最终的点云分割结果；

S530、结果上传，所述四维点云自动标注模块将语义分割结果上传所述控制模块；

S540、结果可视化，所述控制模块对语义分割结果进行可视化操作，并在所述前端模块将可视化的结果进行展示。