CN110197215A - 一种自主驾驶的地面感知点云语义分割方法 - Google Patents

Abstract

一种自主驾驶的地面感知点云语义分割方法，包括自动预测地面点类别的策略和弱监督全局注意力驱动架构，利用深度CNN从原始数据中提取出地面感知关系和深层特征以及两种注意力机制融合点云特征，使用弱监督方式和约束地面与目标物的联合损失函数作为监督。本发明提出一种自主驾驶的地面感知点云语义分割方法，以推动自动驾驶场景3D场景理解的发展，为实现自动驾驶商用化奠定基础。

Description

一种自主驾驶的地面感知点云语义分割方法

技术领域

本发明涉及自动驾驶技术领域，尤其涉及一种自主驾驶的地面感知点云语义分割方法。

背景技术

随着自动驾驶和人工智能的快速发展，场景理解对于复杂动态场景中机器自动感知的安全性和有效性至关重要。自动驾驶的车辆通常配备有各种传感器，特别是激光雷达传感器在理解视觉环境中起着重要的作用，激光雷达系统用于收集稀疏的3D点云以重建实际场景中的环境并帮助自动系统做出决策以更好地理解场景，因此点云的场景语义理解对于自动驾驶至关重要；同时，研究发现，地面可以提供有用的信息，有效的消除数据稀疏性造成的模糊性，物体与地面之间的关系有利于语义分割预测，所以如何针对自动驾驶场景的点云语义进行有效分割以及如何分割地面并获得物体与地面之间的关系是研究的重点。

发明内容

本发明提出一种自主驾驶的地面感知点云语义分割方法，以解决背景技术中提出的问题，提出一种有效的以弱监督的方式对大型稀疏点云数据进行语义分割的ground-aware网络，以隐式的使用注意力驱动的框架对地面信息进行有效的利用。

为达此目的，本发明采用以下技术方案：

一种自主驾驶的地面感知点云语义分割方法，包括自动预测地面点类别的策略和弱监督全局注意力驱动架构，利用深度CNN从原始数据中提取出地面感知关系和深层特征以及两种注意力机制融合点云特征，使用弱监督方式和约束地面与目标物的联合损失函数作为监督。

优选的，所述自动预测地面点类别策略的步骤如下：

步骤A1：使用扫描传感器采集地面数据；

步骤A2：根据采集到的地面数据的特征，将点云分成沿车辆行驶方向的多个部分，并进行提取；

步骤A3：提取包括以下步骤：

步骤a31：将车辆行驶场景划分成多个场景块，在划分的场景块中，对点云段内的各个点依据高度进行排序，找到一组具有最低高度值的点作为平面估计的初始化平面；

步骤a32：对点云段中的每一个点采用平面模型进行计算得到点到平面投影的距离；

步骤a33：设定阈值，通过所设定的阈值确定哪些点属于地平面；

步骤A4：重复步骤A3，得到每个划分的点云段的地面平面分割。

优选的，所述注意力机制包括粗粒度注意力机制，所述粗粒度注意力机制包括利用PointNet提取点到平面距离的地面感知关系，利用T-net和MLP架构提取地面特征，并使用PointNet的与训练模型初始化粗粒度注意力机制网络的权重。

优选的，所述注意力机制还包括细粒度注意力机制，所述细粒度注意力机制包括根据地面和物体的距离信息计算地面感知关系的半全局信息作为输入点云的附加特征，其中包括计算点到平面的连接点的距离信息，作为输入点云特征图中的所有位置特征的加权和。

优选的，所述细粒度注意力机制包括半全局模块，所述半全局模块包括使用3D语义分割网络捕捉点云的长距离依赖关系，使用深度CNN提取包含距离信息的点云特征，在所述半全局模块中，将non-ground feat和ground feat作为输入。

优选的，使用弱监督方式和约束地面与目标物的联合损失函数作为监督包括：

得到最大化非地面物体被划分为地面等级的概率的损失函数，将非地面物体分成地面类别的概率最小化，损失函数如下：

其中：P_ig表示第i类实际被预测成地面g这一类的概率，y_ig表示真实的第i类是地面g的概率，一共有N个样本。

优选的，使用弱监督方式和约束地面与目标物的联合损失函数作为监督还包括：

定义使预测为地面的点与实际地面平面之间的距离最小化的损失项，确保被预测为地面的点位于地面上，包括最小化目标值与预测值之间的距离，具体公式如下：

其中：

Y_ig表示真实第i类物体与地面类别g的距离，P_ig表示网络预测的第i类物体与地面g的概率，一共有N个样本。

优选的，使用弱监督方式和约束地面与目标物的联合损失函数作为监督还包括：

训练网络使数据各个类别数目均衡，具体公式如下：

α_i＝freq/f_i；

其中：P_ig表示第i类在网络中被预测成第k类的概率，y_ig表示真实的第i类是地面g的概率，一共有N个样本，共有K个类别。Y表示真实标签值，P表示预测的值。

在所有训练数据中第i类物体出现的频率为f_i，其中f_req表示f_i的中值频率。

优选的，在所述半全局模块中，将non-ground feat和ground feat作为输入包括公式化弱监督全局注意力驱动架构；公式如下：

Z_j＝W_zy_i+x_i；

其中：i表示3D空间中第i个点的索引，p表示只属于地面标签的点的索引，j表示空间中任意一点的索引，x表示经过前面特征提取步骤后的feature，y表示通过注意力架构和x同大小的输出feature，C(x)是归一化系数，f为高斯函数，g是线性嵌入的函数(W_gx_j其中W_g是学习到的权值矩阵)，W_z表示1x1x1的卷积操作。

优选的，在步骤a32中，所述平面模型的公式如下：

ax+by+cz+d＝0

n^Tx＝-d；

其中：a，b，c，d表示平面方程的系数，x，y，z表示点的坐标位置，n表示法向量，x为点的坐标。

其中：C为协方差矩阵，S_i为点集，为S_i的均值，|s|为点集的数量。

附图说明

图1是本发明的自动预测地面点类别的流程图；

图2是本发明的粗粒度注意力机制的框架图；

图3是本发明的细粒度注意力机制的框架图；

图4是本发明的主框架图；

图5是图4中E的放大图；

图6是图4中F的放大图。

具体实施方式

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。

本实施例的一种自主驾驶的地面感知点云语义分割方法，包括自动预测地面点类别的策略。还包括了两个注意力机制的架构，以指导网络通过反向传播自动学习需要重点关注的点云特征，来架构中的融合地面感知能力。其中还包括联合损失函数，如图4、图5和图6所示，其中图5是本发明的主体框架网络输入图，图6是本发明的主体框架网络输出图，A、B、C分别代表不同的颜色，通过不同的颜色来进行区分物体类别，如A代表紫色，表示物体类别为自行车，B代表红色，表示物体类别为行人，C代表蓝色，表示物体类别为其他车辆，整体共有7大类别，分别包括自行车，行人，三轮车，小车，大车，人群和未知目标物。

一、地面分段和平面拟合

地面类别在稀疏点云分割中起着重要作用，一方面由于数据的特殊性，点云数据的地面类别在整个数据中占据的比例相较于其他目标物更大，另一方面靠近地面的点由于数据稀疏性分类中会出现很大的模糊性和歧义性。在自动驾驶场景中，大多数物体如车辆和行人都位于地面上，因此我们推测如果地面可以很好地分割，其他类别的准确性也可以得到改善。稀疏自动驾驶场景的数据中的人工类别标注部分只是整个场景的一小部分，标注的覆盖范围增加将有利于CNN提取的特征。由于地面真实标签难以获得，人工注释需要花费大量人力物力来处理大规模激光雷达数据。因此设计了自动获得地面分割的策略，以一种弱监督的方式指导后续网络进行特征提取和分割。

如图1所示，现实的道路场景非常复杂，因此采集到的地面数据不是完全规则的平面，而且当扫描距离较长时，LiDAR扫描传感器(在实验过程中采用LiDAR扫描传感器进行收集数据)会引入测量信号噪声，因此单个的平面模型不能完全代表真实地面。本实施例中，根据LiDAR数据的特征，将点云分成沿车辆行驶方向的几个部分。具有的先验信息是一般而言具有最低高度的点是地平面的一部分，进而用于算法的启动和提取。将场景分成几个场景块。对于细分的每个部分，首先我们对段内的各个点依据高度进行排序，以找到一组具有最低高度值的点作为平面估计的初始化平面。之后每一点云段中的每个点根据估计的平面模型进行计算，然后我们可以获得点到其投影的距离。然后我们根据设置的阈值来确定哪些点属于地平面。重复上述步骤我们可以获得每个划分的点云段的地面平面分割。在估算地平面的步骤中，我们利用了线性模型如下：

ax+by+cz+d＝0

n^Tx＝-d；

其中：a，b，c，d表示平面方程的系数，x，y，z表示点的坐标位置，n表示法向量，x为点的坐标。

其中：C为协方差矩阵，S_i为点集，为S_i的均值，|s|为点集的数量。

二、半全局注意力机制架构

利用深度CNN从原始数据中提取地面感知关系和深层特征。将地面和物体的距离信息作为地面-目标关系的半全局信息，由于距离信息保持了原始点云的特征，从半全局注意力机制架构网络中提取的特征是原始点云的信息。半全局注意力机制架构计算3D空间中所有位置的某一位置处的响应，作为地面点的特征的加权和。两个注意力驱动架构旨在引导网络自动学习反向传播的重点特征信息。

粗粒度注意力机制

如图2所示，首先对每个点根据估计出来的地面模型计算点云，然后我们可以获得从点到平面投影的距离。距离以三维体素的形式进行存储，并且具有原始点云的XYZ值。我们的粗粒度网络利用PointNet的部分架构来提取点到平面距离的地面感知关系，以证明半全局地面信息可以提高LiDAR数据的语义分割准确性。因为我们处理的点云是无序不规则的点，因此利用T-net和MLP架构来提取地面特征。并且使用PointNet的预训练模型来初始化粗粒度注意力网络的权重，而不是用随机初始化的方式，进而通过微调方式来改善网络。

细粒度注意力机制

首先根据地面和物体的距离信息计算地面感知关系的半全局信息作为输入点云的附加特征。

无论是在图像领域还是在点云区域，各个点间的长距离依赖性总是容易被忽视，尤其是在神经网络中，因为难以优化这些点的度量。经过粗粒度注意力机制框架后，在LiDAR数据的3D空间中，计算从点到平面的连接点的距离信息，作为输入点云特征图中的所有位置特征的加权和。提出了一个半全局模块，它利用3D语义分割网络捕捉点云的长距离依赖关系。在图像或视频领域，主要关注各个像素的位置，但是在我们自动驾驶3D点云场景，关注从各个点到地平面的距离测量，并且将各个距离加上相应的权重约束，使网络自动关注不同点距离的度量。可以使网络隐式的将注意力放在不同的点对距离及点云特征上，引导网络通过反向传播自动学习。因此远离地面的物体的点将更加远离地面，而在地面上的点将确切的在地平面上，这是充分利用了LiDAR数据的地面信息的结果。如图3所示，首先我们使用深度CNN来提取包含了距离信息的点云特征。步骤包括：首先我们使用深度CNN来提取包含了距离信息的点云特征。在我们的半全局模块中，我们的输入分为两块，通过弱监督全局注意力驱动架构利用地面信息，这里分别将non-ground feat和ground feat作为输入。公式化如下：

Z_j＝W_zy_i+x_i；

其中：i表示3D空间中第i个点的索引，p表示只属于地面标签的点的索引，j表示空间中任意一点的索引，x表示经过前面特征提取步骤后的feature，y表示通过注意力架构和x同大小的输出feature，C(x)是归一化系数，f为高斯函数，g是线性嵌入的函数(W_gx_j其中W_g是学习到的权值矩阵)，W_z表示1x1x1的卷积操作。

三、地面感知损失函数

首先定义了最大化非地面物体被划分为地面等级的概率的损失函数。将非地面物体分成地面类别的概率应该尽可能小，这里的物理意义是最大化各个物体和地面之间的距离。

公式如下：

其中：P_ig表示第i类实际被预测成地面g这一类的概率，y_ig表示真实的第i类是地面g的概率，一共有N个样本。

然后定义了使预测为地面的点与实际地面平面之间的距离最小化的损失项。主要物理意义是保证被预测为地面的点确实在地面上。那些错误分类到地面的点很难利用点与面的空间距离进行优化，因此反向传播更新梯度时这些点就会被滤除。这里我们使用损失函数来最小化目标值与预测值之间的距离，其中是真正属于地面类标签的点的位置，是我预测的实际地面标签的位置，公式如下：

其中：Y_ig表示真实第i类物体与地面类别g的距离，P_ig表示网络预测的第i类物体与地面g的概率，一共有N个样本。

因为数据集场景中的道路或背景占据了整个数据的大部分，为了解决数据各个类别数目不均衡的问题，使用类平衡加权交叉熵损失函数训练网络，公式如下：

α_i＝freq/f_i；

其中：P_ig表示第i类在网络中被预测成第k类的概率，y_ig表示真实的第i类是地面_g的概率，一共有N个样本，共有K个类别。Y表示真实标签值，P表示预测的值。

在所有训练数据中第i类物体出现的频率为f_i，其中f_req表示f_i的中值频率。

四实验

数据集和评估指标

数据集包含了80000帧的完整场景，训练集为50000，测试集为30000。每帧包含大约50000个3D点。与大多数现有LiDAR数据不同，标注包含7个类别(自行车，行人，三轮车，小车，大车，人群和未知目标物)，数据中的背景和地面都没有人工注释，场景大面积缺乏标注对语义分割任务来说更具挑战性。由于测试集没有相应的地面实况，我们在实验中自定义的随机划分数据集，将训练数据分成训练和测试两部分。场景点云中每个点都有XYZ值，为了避免数据的噪声，我们不使用数据中的强度值。

我们自己的实际场景自动驾驶稀疏语义分割数据集使用与DF-3D数据集相同的LiDAR设备进行采集，数据集中的每帧点云与DF-3D数据集类似，为了证明我们的方法在不同类别数据上的有效性和鲁棒性，这里我们只用标注的5种类别(自行车，行人，三轮车，汽车和其他物体)。我们只利用整个数据集的一部分，在我们的实验中，我们使用的训练集为6000帧，测试集为1500帧，每个点也有XYZ和强度值，同样这里我们不使用强度值。

我们主要使用大型室外数据集semantic3D中的准确率评估方法来评估我们的稀疏点云分割性能。我们计算标注数据中每个类的IoU，并计算所有类别的平均IoU。在所有类别中，我们假设总共有N个标记的类别1，...，N，我们将IoU定义为，

其中N是类的数量，M是N阶混淆矩阵，Mij表示其中类别i的地面实况点被预测为j的类别的样本数。因此，mIoU定义为：

同样，我们将整体精确度定义为，

以上结合具体实施例描述了本发明的技术原理。这些描述只是为了解释本发明的原理，而不能以任何方式解释为对本发明保护范围的限制。基于此处的解释，本领域的技术人员不需要付出创造性的劳动即可联想到本发明的其它具体实施方式，这些方式都将落入本发明的保护范围之内。

Claims (10)

1.一种自主驾驶的地面感知点云语义分割方法，其特征在于：包括自动预测地面点类别的策略和弱监督全局注意力驱动架构，利用深度CNN从原始数据中提取出地面感知关系和深层特征以及两种注意力机制融合点云特征，使用弱监督方式和约束地面与目标物的联合损失函数作为监督。

2.根据权利要求1所述一种自主驾驶的地面感知点云语义分割方法，其特征在于：

所述自动预测地面点类别策略的步骤如下：

步骤A1：使用扫描传感器采集地面数据；

步骤A2：根据采集到的地面数据的特征，将点云分成沿车辆行驶方向的多个部分，并进行提取；

步骤A3：提取包括以下步骤：

步骤a31：将车辆行驶场景划分成多个场景块，在划分的场景块中，对点云段内的各个点依据高度进行排序，找到一组具有最低高度值的点作为平面估计的初始化平面；

步骤a32：对点云段中的每一个点采用平面模型进行计算得到点到平面投影的距离；

步骤a33：设定阈值，通过所设定的阈值确定哪些点属于地平面；

步骤A4：重复步骤A3，得到每个划分的点云段的地面平面分割。

3.根据权利要求2所述一种自主驾驶的地面感知点云语义分割方法，其特征在于：

所述注意力机制包括粗粒度注意力机制，所述粗粒度注意力机制包括利用PointNet提取点到平面距离的地面感知关系，利用T-net和MLP架构提取地面特征，并使用PointNet的与训练模型初始化粗粒度注意力机制网络的权重。

4.根据权利要求1所述一种自主驾驶的地面感知点云语义分割方法，其特征在于：

所述注意力机制还包括细粒度注意力机制，所述细粒度注意力机制包括根据地面和物体的距离信息计算地面感知关系的半全局信息作为输入点云的附加特征，其中包括计算点到平面的连接点的距离信息，作为输入点云特征图中的所有位置特征的加权和。

5.根据权利要求4所述一种自主驾驶的地面感知点云语义分割方法，其特征在于：

所述细粒度注意力机制包括半全局模块，所述半全局模块包括使用3D语义分割网络捕捉点云的长距离依赖关系，使用深度CNN提取包含距离信息的点云特征，在所述半全局模块中，将non-ground feat和ground feat作为输入。

6.根据权利要求1所述一种自主驾驶的地面感知点云语义分割方法，其特征在于：

使用弱监督方式和约束地面与目标物的联合损失函数作为监督包括：

得到最大化非地面物体被划分为地面等级的概率的损失函数，将非地面物体分成地面类别的概率最小化，损失函数如下：

其中：P_ig表示第i类实际被预测成地面g这一类的概率，y_ig表示真实的第i类是地面g的概率，一共有N个样本。

7.根据权利要求6所述一种自主驾驶的地面感知点云语义分割方法，其特征在于：

使用弱监督方式和约束地面与目标物的联合损失函数作为监督还包括：

定义使预测为地面的点与实际地面平面之间的距离最小化的损失项，确保被预测为地面的点位于地面上，包括最小化目标值与预测值之间的距离，具体公式如下：

其中：

Y_ig表示真实第i类物体与地面类别g的距离，P_ig表示网络预测的第i类物体与地面g的概率，一共有N个样本。

8.根据权利要求6所述一种自主驾驶的地面感知点云语义分割方法，其特征在于：

使用弱监督方式和约束地面与目标物的联合损失函数作为监督还包括：

训练网络使数据各个类别数目均衡，具体公式如下：

α_i＝freq/f_i；

其中：P_ig表示第i类在网络中被预测成第k类的概率，y_ig表示真实的第i类是地面g的概率，一共有N个样本，共有K个类别，Y表示真实标签值，P表示预测的值；

在所有训练数据中第i类物体出现的频率为f_i，其中f_req表示f_i的中值频率。

9.根据权利要求5所述一种自主驾驶的地面感知点云语义分割方法，其特征在于：

在所述半全局模块中，将non-ground feat和ground feat作为输入包括公式化弱监督全局注意力驱动架构；公式如下：

Z_j＝W_zy_i+x_i；

其中：i表示3D空间中第i个点的索引，p表示只属于地面标签的点的索引，j表示空间中任意一点的索引，x表示经过前面特征提取步骤后的feature，y表示通过注意力架构和x同大小的输出feature，C(x)是归一化系数，f为高斯函数，g是线性嵌入的函数(W_gx_j其中W_g是学习到的权值矩阵)，W_z表示1x1x1的卷积操作。

10.根据权利要求2所述一种自主驾驶的地面感知点云语义分割方法，其特征在于：

在步骤a32中，所述平面模型的公式如下：

ax+by+cz+d＝0

n^Tx＝-d；

其中：a，b，c，d表示平面方程的系数，x，y，z表示点的坐标位置，n表示法向量，x为点的坐标；

其中：C为协方差矩阵，S_i为点集，为S_i的均值，|s|为点集的数量。