CN110222626A - 一种基于深度学习算法的无人驾驶场景点云目标标注方法 - Google Patents

Abstract

本发明涉及智能算法领域，公开了一种基于深度学习算法的无人驾驶场景点云目标标注方法，对于无人驾驶场景下的三维点云数据标注，本发明解决了现有人工标注方法存在的速度慢、效率低、受心里状态影响比较大的缺点，针对算法提出柱坐标系的体素分割方法，在RPN每个位置产生[30°,90°,150°]三种anchor，不需要角度分类loss，提高了精度，达到90％的准确率，明显缩短激光雷达点云的标注时间，相比于现有方法的1帧/分钟的速度，该方法可以实现3帧/分钟的标注速度。

Description

一种基于深度学习算法的无人驾驶场景点云目标标注方法

技术领域

本发明涉及智能算法领域，特别是一种基于深度学习算法的无人驾驶场景点云目标标注方法。

背景技术

近年来，随着深度学习的快速发展，无人驾驶的发展也进入了快车道，基于深度学习的环境感知是无人驾驶技术中最为重要的技术之一。基于激光雷达的三维物体检测对于自动驾驶是不可避免的，因为它直接与环境理解相关联，因此为预测和运动规划奠定了基础。实时推断高度稀疏的3D数据的能力对于除自动车辆之外的许多其他应用领域也同样适用，然而深度学习模型的训练需要大量的标注数据，就现在而言，这些工作都是由人工完成的，无疑，开发一种自动或者半自动的点云标注算法无疑是一个非常有意义的研究工作，本课题基于目标识别算法的点云半自动标注工具设计旨在解决这个问题。

基于卷积网络的目标识别算法在图片上已经表现出了非常优秀的效果，然而对于点云信息而言，由于点云信息是无序存储的结构，无法进行常规的卷积操作。如果将3D信息映射到2D图像进行操作，然后尝试从2D图像信息中恢复实际的3D环境信，在这个过程中将丢弃对你最重要的许多信息。并且尝试将这些信息重新组合在一起很困难，即使对于最先进的算法，也容易出错。现在大多倾向于直接基于点云数据识别目标，将是无人驾驶技术中具有重要意义的一项技术。准确识别三维点云数据中的事物要素，仍然是当今快速发展的应用技术中的难题之一。无论是自动驾驶汽车，抑或自动化的清扫机器人，再或者其他需要自主导航能力的机器，都将需要更高精度、高效率的环境、包括针对各类物体的识别能力。而且与单纯的基于二维的图像识别能力相比，基于三维点云的数据识别能力往往准确性要更高；但受限于点云的密度差异，密度较低的点云数据在识别方面也往往引发不少问题。目前，行之有效的点云数据识别的训练方法，是依靠手工标注特点的方式来进行。例如操作人员会将点云数据从鸟瞰视角进行特点的标注，或者把这些数据三维网格化之后，对每一个立体网格要素进行手动标注，因此开发一种可以半自动甚至自动标注的工具就显得尤为重要。

发明内容

本发明的目的在于提供一种基于深度学习算法的无人驾驶场景点云目标标注方法，基于高度稀疏的3D点云数据的目标检测算法的智能、简单易用、高效的点云标注方法。

为实现上述技术目的，达到上述技术效果，本发明公开了一种基于深度学习算法的无人驾驶场景点云目标标注方法，包括了以下步骤：

S1、使用多线束激光雷达获取一帧点云数据，进行时间同步；

S2、将点云p_i＝[x_i,y_i,z_i,r_i]转换到柱坐标系p_i＝[ρ_i,θ_i,z_i,r_i]，ρ,θ，z三个轴均匀分割，将待检测空间分割为若干体素，对S1中采集得到的点云数据根据位置分组到对应的体素，设定体素中点数最大值T_max；

S3、定义V＝{p_i＝[ρ_i,θ_i,z_i,r_i],i＝1,2...,n}为非空体素，首先计算每个体素的中心，定义为[v_ρ,v_θ,v_z]，然后将每个体素扩增 V＝{p_i＝[ρ_i,θ_i,z_i,r_i,ρ_i-v_ρ,θ_i-v_θ,z_i-v_z],i＝1,2...,n}，使用全连接层提取特征，得到 4D稀疏矩阵；

S4、遍历所有体素，收集非空体素索引来构造矩阵，执行通用矩阵乘法算法，然后将数据映射回稀疏张量；

S5、利用S4得到的特征图输入到区域推荐网络，产生可能存在目标的区域；

S6、对S5得到的特征图进行卷积，得到目标的类别、位置、维度、角度和置信度；

S7、对S6得到的结果，根据置信度进行筛选，选择置信度大于0.8的目标，输出到标签，作为标注数据的初始标签；

S8、人工框选点云，然后使用区域生长算法来实现智能点云框；

S9、根据S8得到的点云，使用PCA主成分分析计算点云的三个主方向，转换点云主方向与坐标轴重合，建立包围盒，根据转换关系转换到原始坐标系，得到最小包围盒，完成一帧数据的标注；

S10、重复S1-S9，直至所需标注场景标注完毕。

其中，多线束激光雷达为2.5D激光雷达或3D激光雷达，激光雷达的垂直视野的范围为10°-40°。

其中，S2具体步骤为：

S21、对于所检测场景内的物体，将点云转换到圆柱坐标系下，然后将距离r轴，角度θ轴、高度轴z均匀划分，得到扇形的体素，并对不同物体进行最大点数限制；

S22、对不同物体的体素数量限制预分配缓冲区，迭代点云并将点云分配给相应的体素，保存体素坐标和每个体素的点数。

其中，S3中提取特征具体步骤为：

S31、将同一体素中的所有点作为输入体素特征编码层，并使用由线性层，批量归一化层和整流线性单元层组成的完全连接网络来提取逐点特征；

S32、使用元素最大池对S31得到的特征表示进行逐元素的聚合，得到局部聚合特征；

S33、将获得的特征平铺，并将这些平铺特征和逐点特征连接在一起。

其中，S4具体步骤为：

S41、遍历所有体素，卷积的输出Y_x,y,m，其中Y_x,y,m如下：

其中，W_u,v,l,m为滤波器的元素，D_u,v,l为图像元素，其中u和v是空间位置索引，l表示输入通道，m表示输出通道；函数P(x,y)生成在给定输出位置的情况下需要计算的输入位置，其中x和y是输出空间索引，u-u₀和v-v₀表示内核偏移u和v坐标；

S42、收集构造矩阵所需的所有数据；然后执行通用矩阵乘法：

其中，其中W_*,l,m对应于

对于稀疏数据D_P′(j),l和相关的输出Y_j,m，直接计算算法如下：

对于稀疏数据矩阵中不需要计算的零，直接收集内核偏移量k和输出索引j的输入索引i；

S43、执行通用矩阵乘法算法，将数据映射回稀疏张量。

其中，S5中区域推荐网络具体步骤如下：

S51、将区域推荐网络分层三个阶段，每个阶段均以下采样卷积层开始，随后后跟随若干卷积层，在每个卷积层之后，应用BatchNorm和ReLU层；

S52、通过将每个阶段的输出上采样到相同大小的要素图，并将各个要素图连接成一个要素图；

S53、通过三组1×1卷积来预测目标的类别、位置、维度、角度和置信度。

其中，S8点云标注具体步骤为：

S81、使用点云目标检测算法检测出点云中存在的目标，根据置信度将目标进行排序，将大于阈值的目标保留，作为点云的初始标签；

S82、打开初始标签，根据标注的质量进行修改、删除和增加；

S83、对于新增的标签，首先选中目标及目标外围的一部分点，使用区域生长算法来实现智能点云框，以去除地面等环境因素对于目标定位的干扰。

进一步的，S83中区域生长算法如下：

S831、根据点的曲率值对点云进行排序，曲率最小的点设为初始种子点，从曲率最小的种子点开始生长；

S832、设置一空的聚类区域和空的种子点序列，选好初始种子点，将其加入种子点序列，并搜索该种子点的邻域点，计算每一个邻域点法线与种子点法线之间的夹角；

S833、判断夹角与平滑阀值的大小关系，当夹角小于设定的平滑阀值时，将邻域点加入到邻域中，同时判断该邻域点的曲率值是否小于曲率阀值，将小于曲率阔值的邻域点加入种子点序列中，返回步骤S832直至种子点中序列为空。

其中，S9中最小包围盒生成算法如下：

S91、利用PCA主成分分析法获得点云的三个主方向，获取质心，计算协方差，获得协方差矩阵，求取协方差矩阵的特征值和特征向量；

S92、利用S91中获得的主方向和质心，将输入点云转换至原点，且主方向与坐标系方向重回，建立变换到原点的点云的包围盒；

S93、给输入点云设置主方向和包围盒，通过输入点云到原点点云变换的逆变换实现。

本发明具有以下有益效果：

1、对于无人驾驶场景下的三维点云数据标注，本发明解决了现有人工标注方法存在的速度慢、效率低、受心里状态影响比较大的缺点。

2、本发明中的算法对于高度稀疏的无人驾驶场景点云数据，可以实现高精度的识别，达到90％的准确率。

3、本发明可以明显缩短激光雷达点云的标注时间，相比于现有方法的1帧/ 分钟的速度，该方法可以实现3帧/分钟的标注速度。

附图说明

图1为本发明的圆柱坐标系样视图。

图2为本发明的点云数据可视化结果图。

图3为本发明的点云目标检测算法网络结构图。

图4为本发明的智能点云框选算法处理结果图。

图5为本发明的基于PCA主成分分析算法生成的最小包围盒示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。

实施例1

如图1-5所示，本发明公开了一种基于深度学习算法的无人驾驶场景点云目标标注方法，包括了以下步骤：

S1、使用多线束激光雷达获取一帧点云数据，进行时间同步；

S2、如图1所示，将点云转换到圆柱坐标系下，然后将距离ρ轴，角度θ轴、高度轴z均匀划分，得到扇形的体素，V＝[v_ρ＝0.2,v_θ＝0.45,v_z＝0.4]，设定检测检测为S＝{ρ∈[0,70m],θ∈[-360,0°],z∈[-3，,1m]}，可以得到350×400×10的体素栅格；

设定每个空体素中的最大点数被设置为T＝35，其基于KITTI数据集中每个体素的点数的分布来选择；行人和骑车者检测的相应最大值设置为T＝45，因为行人和骑车者相对较小，因此，体素特征提取需要更多的点。

S3、定义V＝{p_i＝[ρ_i,θ_i,z_i,r_i],i＝1,2...,n}为非空体素，首先计算每个体素的中心，定义为[v_ρ,v_θ,v_z]，然后将每个体素扩增 V＝{p_i＝[ρ_i,θ_i,z_i,r_i,ρ_i-v_ρ,θ_i-v_θ,z_i-v_z],i＝1,2...,n}，使用全连接层提取特征，得到 4D稀疏矩阵；

其中，S3中提取特征具体步骤为：

S31、将同一体素中的所有点作为输入体素特征编码层，并使用由线性层，批量归一化层和整流线性单元层组成的完全连接网络来提取逐点特征；

S32、使用元素最大池对S31得到的特征表示进行逐元素的聚合，得到局部聚合特征；

S33、将获得的特征平铺，并将这些平铺特征和逐点特征连接在一起。

S4、遍历所有体素，收集非空体素索引来构造矩阵，执行通用矩阵乘法算法，然后将数据映射回稀疏张量；

具体步骤如下：

S41、遍历所有体素，卷积的输出Y_x,y,m，其中Y_x,y,m如下：

其中，W_u,v,l,m为滤波器的元素，D_u,v,l为图像元素，其中u和v是空间位置索引，l表示输入通道，m表示输出通道；函数P(x,y)生成在给定输出位置的情况下需要计算的输入位置，其中x和y是输出空间索引，u-u₀和v-v₀表示内核偏移u和v坐标；

S42、收集构造矩阵所需的所有数据；然后执行通用矩阵乘法：

其中，其中W_*,l,m对应于

对于稀疏数据D_P′(j),l和相关的输出Y_j,m，直接计算算法如下：

对于稀疏数据矩阵中不需要计算的零，直接收集内核偏移量k和输出索引j的输入索引i；

S43、执行通用矩阵乘法算法，将数据映射回稀疏张量。

S5、利用S4得到的特征图输入到区域推荐网络，产生可能存在目标的区域；

其中，S5中区域推荐网络具体步骤如下：

S51、将区域推荐网络分层三个阶段，每个阶段均以下采样卷积层开始，随后后跟随若干卷积层，在每个卷积层之后，应用BatchNorm和ReLU层；

S52、通过将每个阶段的输出上采样到相同大小的要素图，并将各个要素图连接成一个要素图；

S53、通过三组1×1卷积来预测目标的类别、位置、维度、角度和置信度。

S6、对S5得到的特征图进行卷积，得到目标的类别、位置、维度、角度和置信度；

S7、对S6得到的结果，根据置信度进行筛选，选择置信度大于0.8的目标，输出到标签，作为标注数据的初始标签；

S8、人工框选点云，然后使用区域生长算法来实现智能点云框；

其中，S8点云标注具体步骤为：

S81、使用点云目标检测算法检测出点云中存在的目标，根据置信度将目标进行排序，将大于阈值的目标保留，作为点云的初始标签；

S82、打开初始标签，根据标注的质量进行修改、删除和增加；

S83、对于新增的标签，首先选中目标及目标外围的一部分点，使用区域生长算法来实现智能点云框，以去除地面等环境因素对于目标定位的干扰。

进一步的，S83中区域生长算法如下：

S831、根据点的曲率值对点云进行排序，曲率最小的点设为初始种子点，从曲率最小的种子点开始生长；

S832、设置一空的聚类区域和空的种子点序列，选好初始种子点，将其加入种子点序列，并搜索该种子点的邻域点，计算每一个邻域点法线与种子点法线之间的夹角；

S833、判断夹角与平滑阀值的大小关系，当夹角小于设定的平滑阀值时，将邻域点加入到邻域中，同时判断该邻域点的曲率值是否小于曲率阀值，将小于曲率阔值的邻域点加入种子点序列中，返回步骤S832直至种子点中序列为空。

S9、根据S8得到的点云，使用PCA主成分分析计算点云的三个主方向，转换点云主方向与坐标轴重合，建立包围盒，根据转换关系转换到原始坐标系，得到最小包围盒，完成一帧数据的标注；

其中，S9中最小包围盒生成算法如下：

S91、利用PCA主成分分析法获得点云的三个主方向，获取质心，计算协方差，获得协方差矩阵，求取协方差矩阵的特征值和特征向量；

S92、利用S91中获得的主方向和质心，将输入点云转换至原点，且主方向与坐标系方向重回，建立变换到原点的点云的包围盒；

S93、给输入点云设置主方向和包围盒，通过输入点云到原点点云变换的逆变换实现。

S10、重复S1-S9，直至所需标注场景标注完毕。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (9)

1.一种基于深度学习算法的无人驾驶场景点云目标标注方法，其特征在于，包括了以下步骤：

S1、使用多线束激光雷达获取一帧点云数据，进行时间同步；

S2、将点云p_i＝[x_i,y_i,z_i,r_i]转换到柱坐标系p_i＝[ρ_i,θ_i,z_i,r_i]，ρ,θ，z三个轴均匀分割，将待检测空间分割为若干体素，对S1中采集得到的点云数据根据位置分组到对应的体素，设定体素中点数最大值T_max；

S3、定义V＝{p_i＝[ρ_i,θ_i,z_i,r_i],i＝1,2...,n}为非空体素，首先计算每个体素的中心，定义为[v_ρ,v_θ,v_z]，然后将每个体素扩增V＝{p_i＝[ρ_i,θ_i,z_i,r_i,ρ_i-v_ρ,θ_i-v_θ,z_i-v_z],i＝1,2...,n}，使用全连接层提取特征，得到4D稀疏矩阵；

S4、遍历所有体素，收集非空体素索引来构造矩阵，执行通用矩阵乘法算法，然后将数据映射回稀疏张量；

S5、利用S4得到的特征图输入到区域推荐网络，产生可能存在目标的区域；

S6、对S5得到的特征图进行卷积，得到目标的类别、位置、维度、角度和置信度；

S7、对S6得到的结果，根据置信度进行筛选，选择置信度大于0.8的目标，输出到标签，作为标注数据的初始标签；

S8、人工框选点云，然后使用区域生长算法来实现智能点云框；

S9、根据S8得到的点云，使用PCA主成分分析计算点云的三个主方向，转换点云主方向与坐标轴重合，建立包围盒，根据转换关系转换到原始坐标系，得到最小包围盒，完成一帧数据的标注；

S10、重复S1-S9，直至所需标注场景标注完毕。

2.如权利要求1所述的一种基于深度学习算法的无人驾驶场景点云目标标注方法，其特征在于，所述的多线束激光雷达为2.5D激光雷达或3D激光雷达，激光雷达的垂直视野的范围为10°-40°。

3.如权利要求1所述的一种基于深度学习算法的无人驾驶场景点云目标标注方法，其特征在于，所述的S2具体步骤为：

S21、对于所检测场景内的物体，将点云转换到圆柱坐标系下，然后将距离ρ轴，角度θ轴、高度轴z均匀划分，得到扇形的体素，并对不同物体进行最大点数限制；

S22、对不同物体的体素数量限制预分配缓冲区，迭代点云并将点云分配给相应的体素，保存体素坐标和每个体素的点数。

4.如权利要求1所述的一种基于深度学习算法的无人驾驶场景点云目标标注方法，其特征在于，所述的S3中提取特征具体步骤为：

S31、将同一体素中的所有点作为输入体素特征编码层，并使用由线性层，批量归一化层和整流线性单元层组成的完全连接网络来提取逐点特征；

S32、使用元素最大池对S31得到的特征表示进行逐元素的聚合，得到局部聚合特征；

S33、将获得的特征平铺，并将这些平铺特征和逐点特征连接在一起。

5.如权利要求1所述的一种基于深度学习算法的无人驾驶场景点云目标标注方法，其特征在于，所述的S4具体步骤为：

S41、遍历所有体素，卷积的输出Y_x,y,m，其中Y_x,y,m如下：

其中，W_u,v,l,m为滤波器的元素，D_u,v,l为图像元素，其中u和v是空间位置索引，l表示输入通道，m表示输出通道；函数P(x,y)生成在给定输出位置的情况下需要计算的输入位置，其中x和y是输出空间索引，u-u₀和v-v₀表示内核偏移u和v坐标；

S42、收集构造矩阵所需的所有数据；然后执行通用矩阵乘法：

其中，其中W_*,l,m对应于

对于稀疏数据D_P′(j),l和相关的输出Y_j,m，直接计算算法如下：

对于稀疏数据矩阵中不需要计算的零，直接收集内核偏移量k和输出索引j 的输入索引i；

S43、执行通用矩阵乘法算法，将数据映射回稀疏张量。

6.如权利要求1所述的一种基于深度学习算法的无人驾驶场景点云目标标注方法，其特征在于，所述的S5中区域推荐网络具体步骤如下：

S51、将区域推荐网络分层三个阶段，每个阶段均以下采样卷积层开始，随后后跟随若干卷积层，在每个卷积层之后，应用BatchNorm和ReLU层；

S52、通过将每个阶段的输出上采样到相同大小的要素图，并将各个要素图连接成一个要素图；

S53、通过三组1×1卷积来预测目标的类别、位置、维度、角度和置信度。

7.如权利要求1所述的一种基于深度学习算法的无人驾驶场景点云目标标注方法，其特征在于，所述的S8点云标注具体步骤为：

S81、使用点云目标检测算法检测出点云中存在的目标，根据置信度将目标进行排序，将大于阈值的目标保留，作为点云的初始标签；

S82、打开初始标签，根据标注的质量进行修改、删除和增加；

S83、对于新增的标签，首先选中目标及目标外围的一部分点，使用区域生长算法来实现智能点云框，以去除地面等环境因素对于目标定位的干扰。

8.如权利要求7所述的一种基于深度学习算法的无人驾驶场景点云目标标注方法，其特征在于，所述的S83中区域生长算法如下：

S831、根据点的曲率值对点云进行排序，曲率最小的点设为初始种子点，从曲率最小的种子点开始生长；

S832、设置一空的聚类区域和空的种子点序列，选好初始种子点，将其加入种子点序列，并搜索该种子点的邻域点，计算每一个邻域点法线与种子点法线之间的夹角；

S833、判断夹角与平滑阀值的大小关系，当夹角小于设定的平滑阀值时，将邻域点加入到邻域中，同时判断该邻域点的曲率值是否小于曲率阀值，将小于曲率阔值的邻域点加入种子点序列中，返回步骤S832直至种子点中序列为空。

9.如权利要求1所述的一种基于深度学习算法的无人驾驶场景点云目标标注方法，其特征在于，所述的S9中最小包围盒生成算法如下：

S91、利用PCA主成分分析法获得点云的三个主方向，获取质心，计算协方差，获得协方差矩阵，求取协方差矩阵的特征值和特征向量；

S92、利用S91中获得的主方向和质心，将输入点云转换至原点，且主方向与坐标系方向重回，建立变换到原点的点云的包围盒；

S93、给输入点云设置主方向和包围盒，通过输入点云到原点点云变换的逆变换实现。