CN112613450B - 一种增强在困难样本上表现的3d目标检测方法 - Google Patents

Abstract

本发明提出了一种增强在困难样本上表现的3D目标检测方法。包括以下步骤：1.将点云进行体素化，然后对这些体素进行特征提取；2.使用3D目标检测网络根据特征图得到一系列的目标建议框；3.预测每个候选框内的点的个数所属的类别以及该候选框的中心点和框内所有点的坐标的平均值之间的单位距离向量，使用辅助损失模块进行分类和回归；4.对损失函数进行优化，进行前背景的分类，中心点位置、形状和转向角的回归，以及物体朝向的二分类，得到最终的3D目标检测结果。本发明有效提高了对于内部点云数过少以及内部点云分布过于不均匀的困难样本的检测性能，解决了基于点云的3D目标检测在远距离、被遮挡和过偏的转向角的情况下表现较差的问题。

Description

一种增强在困难样本上表现的3D目标检测方法

技术领域

本发明属于基于激光雷达点云使用神经网络进行3D物体检测领域，具体设计一种增强在困难样本上表现的3D目标检测方法。

背景技术

对于3D目标检测，目前的主流方法可以按照以下的3种分类方式进行划分。按照所使用的传感器进行划分，可分为单独使用照相机，单独使用激光雷达以及同时使用照相机和激光雷达，单独使用照相机即根据2D的RGB图片来进行3D物体的预测；单独使用激光雷达即根据3D点云数据来进行3D物体预测；同时使用照相机和激光雷达的话可以通过相机和雷达之间的转换矩阵将2D的RGB图片中的每一个像素对应到3D空间中的每一个点，这样3D空间中的每一个点就可以既拥有坐标和强度信息又拥有语义信息。按照网络的输入表征进行划分，可分为基于体素的表征方式和基于点的表征方式，基于体素的表征方式可以通过3D卷积进行降维，从而将3D特征转到2D空间，接下来就可以使用在2D检测中基于锚点的RPN，然后再接各种预测头得到结果；基于点的表征方式会针对点云的独特性质对其设计提取特征的操作，比如有比较流行的PointNet以及PointNet++。按照网络训练阶段进行划分，可分为单阶段和两阶段，单阶段的一般是类似SSD的结构，两阶段的会把第一阶段预测的box和一些特征以及原始数据融合进一步改进从而得到更好的结果。

发明内容

本发明的目的是，针对现有的3D目标检测方法在困难样本上表现不好的问题，提供一种增强在困难样本上表现的3D目标检测方法；该方法通过对每个候选框内部的点数类别以及其中心点和内部所有点的中心点之间的单位距离向量使用辅助损失模块进行分类和预测，能够增强对距离较远或者被遮挡的困难样本的检测结果。

本发明所使用的的技术方案是：一种增强在困难样本上表现的3D目标检测方法，其特征在于，增强在困难样本上表现的3D目标检测方法包括以下步骤：

步骤1：将点云数据进行体素化；

步骤2：搭建3D目标检测网络；

步骤3：对物体内的点数类别以及单位距离向量进行辅助训练，辅助训练的过程为：对于物体内的点数的分类的做法为：首先对整个数据集的所有物体内部的点数进行统计，接着对这些点数使用KMeans方法进行聚类，将其分为K类，其中每一个物体根据其内部所含点数可以将其分为类别C_{point_num}：

C_{point_num}＝k k∈{0，1，2，…，K-1}

每一类由一个点数范围所限制，第k类的点数P_k所属的范围为：

P_k∈[point_num_k-1，point_num_k)

其使用多个残差网络模块进行预测，每个残差网络模块包括一个3×3的2D卷积，一个BatchNorm层和一个ReLU层，以及一个侧边连接；

对于物体的单位距离向量的回归的做法为：对于每一个物体可以知道他的box的中心点为：

接着可以计算物体box内所有的点的中心点为：

(x_i，y_i，z_i)是位于box内的点，N是位于box内的所有点数，接着box的中心点和box内所有点的中心点之间的单位距离向量的计算公式为：

其和物体内部点数分类模块一样使用多个残差网络模块进行预测，每个残差网络包括一个3×3的2D卷积，一个BatchNorm层和一个ReLU层，以及一个侧边连接。

步骤4：对损失函数进行优化。

进一步的，在步骤1中，所述将点云数据进行体素化的计算过程为：

首先通过统计所有点云数据确定3D坐标范围(x_min，x_max)，(y_min，y_max)，(z_min，z_max)，用其来对点云进行过滤和筛选；然后将所有的激光雷达点云数据进行体素化，设定固定的体素大小(v_x，v_y，v_z)对整个3D空间进行切分，得到固定数目的体素接着通过统计所有点云数据确定体素中最大点数N_point，当一个体素中的点数超过N_point的时候对其中的点进行随机筛选，当一个体素中的点数不足N_point的时候使用(0，0，0)来进行补充；最后通过统计所有点云数据确定点云的最大体素数N_voxel，当一个点云中的体素数超过N_voxel的时候舍去那些内部不含有点的体素，当一个点云中的体素数不足N_voxel的时候使用包含N_point个(0，0，0)点的体素来进行补充；至此可以得到[N_voxel，N_point，4]个体素内部的点坐标信息，其中4表示(x，y，z，intensity)，同时可以得到[N_voxel，voxel_x，voxel_y，voxel_z]个体素自身的坐标信息，该坐标是体素的中心点位置。

进一步的，在步骤2中，所述搭建3D目标检测网络的过程为：

将体素化之后的数据送入网络，整体的网络分为四个部分：体素特征提取器，稀疏3D卷积网络，候选位置生成网络和预测头；体素特征提取器用来对每一个体素进行特征的提取，直接将体素内的所有点的坐标和强度取平均值作为该体素的特征；稀疏3D卷积网络对于分布在3D空间内的体素特征进行3D稀疏卷积来提取特征，其通过进行下采样将特征图尺寸不断缩小，将z方向的尺寸降维为1或者2，然后将它乘到通道维度上去，这样可以把原来的3维的特征降维为2维，同时使用稀疏3D卷积可以大大地优化运算速度和内存占用；候选位置生成网络将降维为2维的特征图作为输入，通过2D卷积来进行下采样以及上采样，最后得到最终用于预测的特征图；预测头对上面得到的特征图进行三个物体特征值的预测，预测物体的类别，回归物体的中心点位置、尺寸和转向角的偏移量，预测物体的朝向。

进一步的，在步骤4中，所述对损失函数进行优化的过程为：

总的损失函数Loss分为5个部分，其计算方式为：

Loss＝λ₁Loss_cls+λ₂Loss_reg+λ₃Loss_dir+λ₄Loss_{point_num}+λ₅Loss_{center_dist}

其中Loss_cls为计算预测物体类别的损失函数，其使用softmax函数来计算，Loss_reg为回归物体的中心点坐标、尺寸和转向角的损失韩式，其使用smooth-L1函数来计算，Loss_dir为预测物体的朝向的损失函数，其使用softmax函数来计算，Loss_{point_num}为预测物体内部的点数所属类别的损失函数，其使用softmax函数来计算，Loss_{center_dist}为预测物体的box中心点和box内所有点的中心点之间单位向量的损失函数，其使用smooth-L1函数来计算。

本发明的有益效果：根据激光雷达的特性，我们观察到远处物体内部的点数十分稀疏，密度很低，其难以提取足够的特征来进行3D目标检测；同时被遮挡或者处于较偏位置的物体内部点云分布比较不均匀，也难以提取好的特征以供检测。这些困难样本导致3D目标检测的精度下降。本发明通过加入对物体内的点数类别以及单位距离向量的辅助训练，提高了对困难样本的检测表现，从而获得更好的3D目标检测效果。

附图说明

图1为增强在困难样本上表现的3D目标检测方法示意图。

具体实施方式

一种增强在困难样本上表现的3D目标检测方法的网络结构如附图1所示，该方法通过对物体内的点数类别以及物体的框的中心点和框内所有点的中心点之间的单位距离向量进行辅助训练，增强在困难样本上检测的表现，从而大大提升了3D目标检测的精确度，其特征在于，增强在困难样本上表现的3D目标检测方法包括以下步骤：

步骤1：将点云数据进行体素化；统计所有点云数据确定3D坐标范围(x_min，x_max)，(y_min，y_max)，(z_min，z_max)，对点云进行过滤和筛选；然后将点云数据进行体素化，设定固定的体素的大小(v_x，v_y，v_z)来对整个3D空间进行划分，得到固定数目的体素接着通过统计所有点云数据确定体素中最大点数N_point，当一个体素中的点数超过N_point的时候对其中的点进行随机筛选，当一个体素中的点数不足N_point的时候使用(0，0，0)来进行补充；最后通过统计所有点云数据确定点云的最大体素数N_voxel，当一个点云中的体素数超过N_voxel的时候舍去那些内部不含有点的体素，当一个点云中的体素数不足N_voxel的时候使用包含N_point个(0，0，0)点的体素来进行补充；至此可以得到[N_voxel，N_point，4]个体素内部的点坐标信息，其中4表示(x，y，z，intensity)，同时可以得到[N_voxel，voxel_x，voxel_y，voxel_z]个体素自身的坐标信息，该坐标是体素的中心点位置。

步骤2：搭建3D目标检测网络；网络结构如附图1所示，将体素化之后的数据送入网络，整体的网络分为四个部分：体素特征提取器，稀疏3D卷积网络，候选位置生成网络和预测头；体素特征提取器用来对每一个体素进行特征的提取，直接将体素内的所有点的坐标和强度取平均值作为该体素的特征；稀疏3D卷积网络对于分布在3D空间内的体素特征进行3D稀疏卷积来提取特征，其通过进行下采样将特征图尺寸不断缩小，将z方向的尺寸降维为1或者2，然后将它乘到通道维度上去，这样可以把原来的3维的特征降维为2维，同时使用稀疏3D卷积可以大大地优化运算速度和内存占用；候选位置生成网络将降维为2维的特征图作为输入，通过2D卷积来进行下采样以及上采样，最后得到最终用于预测的特征图；预测头对上面得到的特征图进行三个物体特征值的预测，预测物体的类别，回归物体的中心点位置、尺寸和转向角的偏移量，预测物体的朝向。

步骤3：对物体内的点数类别以及单位距离向量进行辅助训练；那些离激光雷达距离比较远的物体以及被遮挡或者离激光雷达的角度比较偏的物体，由于这些物体内部点的密度过低或者点的分布过于局部导致这些物体比较难检测，通过加入对物体内的点数类别的分类以及对单位距离向量进行回归的辅助训练模块可以增强在困难样本上的3D检测的表现；

对于物体内的点数的分类的做法为：首先对整个数据集的所有物体内部的点数进行统计，接着对这些点数使用KMeans方法进行聚类，将其分为K类，其中每一个物体根据其内部所含点数可以将其分为类别C_{point_num}：

C_{point_num}＝k k∈{0，1，2，…，K-1}

每一类由一个点数范围所限制，第k类的点数P_k所属的范围为：

P_k∈[point_num_k-1，point_num_k)

其使用多个残差网络模块进行预测，每个残差网络模块包括一个3×3的2D卷积，一个BatchNorm层和一个ReLU层，以及一个侧边连接；

对于物体的单位距离向量的回归的做法为：对于每一个物体可以知道他的box的中心点为：

接着可以计算物体box内所有的点的中心点为：

(x_i，y_i，z_i)是位于box内的点，N是位于box内的所有点数，接着box的中心点和box内所有点的中心点之间的单位距离向量的计算公式为：

其和物体内部点数分类模块一样使用多个残差网络模块进行预测，每个残差网络包括一个3×3的2D卷积，一个BatchNorm层和一个ReLU层，以及一个侧边连接。

步骤4：对损失函数进行优化；总的损失函数Loss分为5个部分，其计算方式为：

Loss＝λ₁Loss_cls+λ₂Loss_reg+λ₃Loss_dir+λ₄Loss_{point_num}+λ₅Loss_{center_dist}

其中Loss_cls为计算预测物体类别的损失函数，其使用softmax函数来计算，Loss_reg为回归物体的中心点坐标、尺寸和转向角的损失韩式，其使用smooth-L1函数来计算，Loss_dir为预测物体的朝向的损失函数，其使用softmax函数来计算，LOss_{point_num}为预测物体内部的点数所属类别的损失函数，其使用softmax函数来计算，Loss_{center_dist}为预测物体的box中心点和box内所有点的中心点之间单位向量的损失函数，其使用smooth-L1函数来计算。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种增强在困难样本上表现的3D目标检测方法，基于激光雷达的点云数据进行物体3D检测，检测对象包括：物体的中心点位置，形状和转向角，其特征在于，一种增强在困难样本上表现的3D目标检测方法包括以下步骤：

步骤1：将点云数据进行体素化；

步骤2：搭建3D目标检测网络；

步骤3：对物体内的点数类别以及单位距离向量进行辅助训练，辅助训练的过程为：对于物体内的点数的分类的做法为：首先对整个数据集的所有物体内部的点数进行统计，接着对这些点数使用KMeans方法进行聚类，将其分为K类，其中每一个物体根据其内部所含点数可以将其分为类别C_{point_num}：

C_{point_num}＝kk∈{0,1,2,…,K-1}

每一类由一个点数范围所限制，第k类的点数P_k所属的范围为：

P_k∈[point_num_k-+,point_num_k)

其使用多个残差网络模块进行预测，每个残差网络模块包括一个3×3的2D卷积，一个BatchNorm层和一个ReLU层，以及一个侧边连接；

对于物体的单位距离向量的回归的做法为：对于每一个物体可以知道他的box的中心点为：

接着可以计算物体box内所有的点的中心点为：

(x_i,y_i,z_i)是位于box内的点，N是位于box内的所有点数，接着box的中心点和box内所有点的中心点之间的单位距离向量的计算公式为：

其和物体内部点数分类模块一样使用多个残差网络模块进行预测，每个残差网络包括一个3×3的2D卷积，一个BatchNorm层和一个ReLU层，以及一个侧边连接步骤4：对损失函数进行优化。

2.根据权利要求1所述的一种增强在困难样本上表现的3D目标检测方法，其特征在于：在步骤1中，所述的将点云数据进行体素化的过程为：

首先通过统计所有点云数据确定3D坐标范围(x_min,x_max),(y_min,y_max),(z_min,z_max)，用其来对点云进行过滤和筛选；然后将所有的激光雷达点云数据进行体素化，设定固定的体素大小(v_x,v_y,v_z)对整个3D空间进行切分,得到固定数目的体素接着通过统计所有点云数据确定体素中最大点数N_point，当一个体素中的点数超过N_point的时候对其中的点进行随机筛选，当一个体素中的点数不足N_point的时候使用(0,0,0)来进行补充；最后通过统计所有点云数据确定点云的最大体素数N_voxel，当一个点云中的体素数超过N_voxel的时候舍去那些内部不含有点的体素，当一个点云中的体素数不足N_voxel的时候使用包含N_point个(0,0,0)点的体素来进行补充；至此可以得到[N_voxel,N_point,4]个体素内部的点坐标信息，其中4表示(x,y,z,intensity)，同时可以得到[N_voxel,voxel_x,voxel_y,voxel_z]个体素自身的坐标信息，该坐标是体素的中心点位置。

3.根据权利要求1所述的一种增强在困难样本上表现的3D目标检测方法，其特征在于：在步骤2中，所述的搭建3D目标检测网络的过程为：

将体素化之后的数据送入网络，整体的网络分为四个部分：体素特征提取器，稀疏3D卷积网络，候选位置生成网络和预测头；体素特征提取器用来对每一个体素进行特征的提取，直接将体素内的所有点的坐标和强度取平均值作为该体素的特征；稀疏3D卷积网络对于分布在3D空间内的体素特征进行3D稀疏卷积来提取特征，其通过进行下采样将特征图尺寸不断缩小，将z方向的尺寸降维为1或者2，然后将它乘到通道维度上去，这样可以把原来的3维的特征降维为2维，同时使用稀疏3D卷积可以大大地优化运算速度和内存占用；候选位置生成网络将降维为2维的特征图作为输入，通过2D卷积来进行下采样以及上采样，最后得到最终用于预测的特征图；预测头对上面得到的特征图进行三个物体特征值的预测，预测物体的类别，回归物体的中心点位置、尺寸和转向角的偏移量，预测物体的朝向。

4.根据权利要求1所述的一种增强在困难样本上表现的3D目标检测方法，其特征在于：在步骤4中，所述的对损失函数进行优化的过程为：

总的损失函数Loss分为5个部分，其计算方式为：

Loss＝λ₊Loss_cls+λ₂Loss_reg+λ₃Loss_dir+λ_＝Loss_{point_num}+λ₅Loss_{center_dist}

其中Loss_cls为计算预测物体类别的损失函数，其使用softmax函数来计算，Loss_reg为回归物体的中心点坐标、尺寸和转向角的损失韩式，其使用smooth-L1函数来计算，Loss_dir为预测物体的朝向的损失函数，其使用softmax函数来计算，Loss_{point_num}为预测物体内部的点数所属类别的损失函数，其使用softmax函数来计算，Loss_{center_dist}为预测物体的box中心点和box内所有点的中心点之间单位向量的损失函数，其使用smooth-L1函数来计算。