CN111999741A - 路侧激光雷达目标检测方法及装置 - Google Patents

Abstract

本发明提供一种路侧激光雷达目标检测方法，其包含：从路侧激光雷达采集的数据中选取不同时段的多帧背景点云数据作为背景数据，对背景数据进行栅格化处理并统计栅格特征，计算得到栅格平均统计特征作为背景栅格统计表；针对实测的原始点云数据，进行与背景数据具备相同栅格尺寸的栅格化处理，统计得到原始点云数据对应的栅格统计特征，结合背景栅格统计表进行背景滤波后，得到非背景点云数据；将非背景点云数据输入构建的多尺度体素三维检测检测网络，输出目标的检测结果张量，结果张量包含目标的类别信息和边界框信息。本发明通过背景滤波，滤除大量的无效点，显著缩短网络的训练和推理时间，同时没有了大量背景点的干扰提高了检测结果的精度。

Description

路侧激光雷达目标检测方法及装置

技术领域

本发明涉及机器视觉与智能驾驶汽车技术领域，具体地说，涉及一种路侧激光雷达目标检测方法及装置。

背景技术

现有的针对激光雷达点云目标检测技术主要分为传统的机器学习的目标检测方法和基于深度学习的目标检测方法。

基于传统的机器学习的目标检测方法主要分为四个步骤：1)对原始点云进行地面分割或者背景滤波，滤除大量的背景点或者地面点。2)对滤波后的点云采用多种聚类的方法进行聚类，得到属于同一个目标的点云形成的聚类簇。3)对得到的聚类簇进行手工提取特征。常见的特征包括密度，高度差，法向量和统计直方图等特征。4)对手工提取到的特征进行类，常见的分类器有SVM(支持向量机)和决策树等。

基于深度学习的目标检测方法主要分为两类：基于候选区域的(regionproposal)提取的两阶段(two-stage)目标检测方法和单阶段的(one stage)的目标检测方法。两者各有优势，前者由于通过候选区域提取滤除大量的无效的目标，具有较高的检测精度，但是速度较慢。后者由于省去了候选区域提取步骤，具有较高的检测速度，但是检测精度往往低于两阶段的目标检测方法。

传统机器学习方法数据处理流程繁琐，需要经过多个步骤处理来得到有效的目标聚类簇，同时在分类阶段需要手动定义特征用于分类器分类，手工定义特征需要领域知识和专家经验，同时可能不具有统计性。基于深度学习的方法无需人工经验，省去了繁琐的特征工程，在原始数据输入下模型会自动学习提取数据中的特征，同时在大数据的驱动下可以得到很好的泛化能力，检测精度往往高于传统机器学习方法。但是深度学习的方法需要大量的标注数据作为输入，同时依赖于数据的多样性来避免过拟合，计算量较大，实时性难以保证。在路侧环境下，激光雷达安装在固定的路侧基站，无法获取大量的多样的点云数据，获取的点云数据中地形背景部分往往高度一致，导致训练得到的模型是过拟合的。

因此，为了解决上述深度学习在路侧激光雷达的应用，本发明提供了一种深度网络与背景滤波相结合的路侧激光雷达目标检测方法及装置。

发明内容

为解决上述问题，本发明提供了一种路侧激光雷达目标检测方法，所述方法包含以下步骤：

步骤一：从路侧激光雷达采集的数据中选取不同时段的多帧背景点云数据作为背景数据，对所述背景数据进行栅格化处理并统计栅格特征，计算得到栅格平均统计特征作为背景栅格统计表；

步骤二：针对实测的原始点云数据，进行与所述背景数据具备相同栅格尺寸的所述栅格化处理，统计得到所述原始点云数据对应的栅格统计特征，结合所述背景栅格统计表进行背景滤波后，得到非背景点云数据；

步骤三：将所述非背景点云数据输入构建的多尺度体素三维检测检测网络，输出目标的检测结果张量，所述结果张量包含目标的类别信息和边界框信息。

根据本发明的一个实施例，所述步骤一中具体包含以下步骤：

对所述多帧背景点云中的对每帧背景点云数据进行栅格化处理，统计每帧背景点云数据中每一栅格的栅格统计特征；

统计所述多帧背景点云数据中所有栅格对应的栅格统计特征，并进行平均计算，得到所述多帧背景点云数据对应的所述栅格平均统计特征，将所述栅格平均统计特征进行保存得到所述背景栅格统计表。

根据本发明的一个实施例，所述栅格统计特征包含：栅格中的背景点数量、栅格的平均高度以及栅格的最大高度差。

根据本发明的一个实施例，所述步骤二中具体包含以下步骤：

将所述原始点云数据对应的栅格统计特征与所述背景栅格统计表进行比较，若每个栅格统计特征的差值均大于特定阈值，则将所述原始点云数据中的对应栅格内的点保留作为所述非背景点云数据。

根据本发明的一个实施例，所述步骤三中具体包含以下步骤：

对所述非背景点云数据进行多尺度的二维栅格化处理，得到不同维度的栅格图，确定每一维度栅格图对应的特征图，对每一特征图分别进行特定步长的上采样，在通道维度合并并通过卷积进行降维得到合并特征图；

采用特定网络中的检测头对所述合并特征图进行特征提取，以输出所述结果张量。

根据本发明的一个实施例，得到所述合并特征图的步骤中，还包含以下步骤：

对所述非背景点云数据进行三种尺度的二维栅格化处理，得到三种栅格图，记录每个尺度的每个栅格在各自栅格图的位置坐标，采用栅格特征提取网络对每个栅格进行特征提取，得到每个栅格多维度的特征向量；

根据每个栅格在各自栅格图中的所述位置坐标，将所述特征向量进行二维排列得到三个维度不同的特征图，分别为特征图F1、特征图F2以及特征图F3；

将所述特征图F1、特征图F2以及特征图F3分别依次通过第一反卷积层、第二反卷积层以及第三反卷积层，输出维度相同的三个特征图，将维度相同的三个特征图在通道维度合并并经过第一卷积层进行通道降维后，得到所述合并特征图。

根据本发明的一个实施例，通过所述检测头对所述合并特征图进行特征提取包含三个阶段，分别为：

第一阶段：针对所述合并特征图，通过步长为2第二卷积层进行降采样后连接两个第三卷积层进行特征提取得到特征图F5，通过步长为2第四反卷积层对所述特征图F5进行上采样得到特征图F6；

第二阶段，针对所述特征图F5，通过步长为2第四卷积层进行将降采样后连接两个第五卷积层进行特征提取得到特征图F7，通过第五反卷积层对所述特征图F7进行上采样得到特征图F8；

第三阶段，针对所述特征图F7，通过步长为2第六卷积层进行降采样后连接两个第七卷积层进行特征提取，并通过步长为2第六反卷积层进行上采样得到特征图F9。

根据本发明的一个实施例，得到所述特征图F9后，还包含以下步骤：

将所述特征图F6、所述特征图F8以及所述特征图F9在通道维度上合并以得到特征图F10，并通过并行的三个第八卷积层进行类别分类、边界框回归以及方向分类，以得到所述结果张量。

根据本发明的一个实施例，所述方法还包含：

在构建所述多尺度体素三维检测检测网络时，基于确定的最大学习率，进行包含学习率由小至大以及由大至小两个过程的多轮迭代训练，得到多个待选训练模型；

针对多个待选训练模型，选取在验证集上评价指标AP最高的模型，作为所述多尺度体素三维检测检测网络。

根据本发明的另一方面，还提供了一种路侧激光雷达目标检测装置，所述装置包含：

第一模块，其用于从路侧激光雷达采集的数据中选取不同时段的多帧背景点云数据作为背景数据，对所述背景数据进行栅格化处理并统计栅格特征，计算得到栅格平均统计特征作为背景栅格统计表；

第二模块，其用于针对实测的原始点云数据，进行与所述背景数据具备相同栅格尺寸的所述栅格化处理，统计得到所述原始点云数据对应的栅格统计特征，结合所述背景栅格统计表进行背景滤波后，得到非背景点云数据；

第三模块，其用于将所述非背景点云数据输入构建的多尺度体素三维检测检测网络，输出目标的检测结果张量，所述结果张量包含目标的类别信息和边界框信息。

本发明提供的路侧激光雷达目标检测方法及装置通过背景滤波滤除了大量的无效的背景点，显著减少深度检测网络处理的数据量，减少显存占用，提高了网络推理速度；同时由于减少了无效的地形背景点的干扰，可以同时提高训练阶段的收敛速度和推理阶段检测精度。此外采用多尺度的栅格化点云输入，提取不同尺度下体素的特征，检测网络能够适应点云密度不均匀的特点，进一步提高检测结果的精度。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中：

图1显示了根据本发明的一个实施例的路侧激光雷达目标检测方法流程图；

图2显示了根据本发明的一个实施例的得到特征图d的流程示意图；

图3显示了根据本发明的一个实施例的RPN检测头处理过程示意图；

图4显示了根据本发明的一个实施例的某一帧背景点云数据及其对应的栅格平均高度统计图；

图5显示了根据本发明的一个实施例的未经背景滤波的背景点云及经背景滤波后的背景点云数据；

图6显示了根据本发明的一个实施例的四种算法在验证集上的可视化结果图；

图7显示了根据本发明的一个实施例的四种算法在测试集上的可视化结果图；以及

图8显示了根据本发明的一个实施例的路侧激光雷达目标检测装置结构框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，以下结合附图对本发明实施例作进一步地详细说明。

现有技术中，针对路侧激光雷达目标检测，首先进行背景滤波，然后采用改进的DBSCAN聚类方法对剩余点进行聚类，之后计算每个聚类簇的统计特征，输入简单的三层全连接网络进行分类。以上方法是典型的传统机器学习方法，需要手工定义提取每个聚类簇的统计特征，同时聚类结果会存在无效的聚类簇，需要采取额外的步骤进行滤除。与之相比，本发明采用三维检测网络对点云自动学习滤波器提取特征，无需聚类，避免了繁琐的特征工程，同时由于深度检测网络的泛化能力，检测精度和鲁棒性明显高于传统方法。

另外，对于背景滤波部分，现有技术将多帧背景点云进行体素化，然后统计每个每个体素的点的密度，然后依据体素的点的密度来划分背景和目标。本发明同样采用多帧点云进行背景点特征的统计，不同的是本发明将背景点云进行二维栅格化而不是三维体素化，同时统计每个栅格的多个特征包括平均高度，最大高度差和密度来划分背景和目标。相比现有技术，本发明采用多种特征进行统计提高了背景滤波的鲁棒性和准确性，同时采用采用二维栅格相比三维体素化计算量显著减少。

另一现有技术中，针对激光雷达目标检测，将原始点云直接输入三维检测网络，由于原始点云包含大量的无效背景点，导致训练和推理速度降低，同时采用单一尺度的体素对点云进行特征提取，不是适应于密度不均匀点云数据。与之相比，本发明首先对原始点云采用提出的多帧多统计特征的背景滤波方法进行预处理，处理后的点云保留了所有的有效目标，同时滤除了大部分无效背景点云，之后将剩余的点云输入深度网络，不仅减少了数据量和运算量，提高训练和推理速度，同时减少背景点的干扰。更重要的是对于由于路侧地形发生变化导致的数据分布变化时，由于背景滤波的作用，避免了背景数据分布变化带来的网络预测性能的下降。

图1显示了根据本发明的一个实施例的路侧激光雷达目标检测方法流程图。如图1，在步骤S101中，从路侧激光雷达采集的数据中选取不同时段的多帧背景点云数据作为背景数据，对背景数据进行栅格化处理并统计栅格特征，计算得到栅格平均统计特征作为背景栅格统计表。

具体来说，在步骤S101中，还包含以下步骤：

首先，对多帧背景点云中的对每帧背景点云数据进行栅格化处理，统计每帧背景点云数据中每一栅格的栅格统计特征。一般来说，栅格统计特征包含：栅格中的背景点数量、栅格的平均高度以及栅格的最大高度差。

然后，统计多帧背景点云数据中所有栅格对应的栅格统计特征，并进行平均计算，得到多帧背景点云数据对应的栅格平均统计特征，将栅格平均统计特征进行保存得到背景栅格统计表。一般来说，根据所有背景点云的栅格统计特征，对每个栅格的统计特征进行平均，计算得到不同时间段所有背景点云的栅格平均统计特征，将栅格平均统计特征进行离线保存得到背景栅格统计表。

如图1，在步骤S102中，针对实测的原始点云数据，进行与背景数据具备相同栅格尺寸的栅格化处理，统计得到原始点云数据对应的栅格统计特征，结合背景栅格统计表进行背景滤波后，得到非背景点云数据。

具体来说，在步骤S102中，将原始点云数据对应的栅格统计特征与背景栅格统计表进行比较，若每个栅格统计特征的差值均大于特定阈值，则将原始点云数据中的对应栅格内的点保留作为非背景点云数据。

在一个实施例中，首先对原始点云数据进行二维栅格化，计算每个栅格的统计特征：点的个数、平均高度和最大高度差；之后读取背景栅格统计表，比较原始点云数据的每个栅格的统计特征和对应的背景栅格统计特征，如果原始点云数据三个统计特征均大于背景栅格统计表，保留该栅格，将所有保留的栅格内的点输出作为非背景点云数据。

如图1，在步骤S103中，将非背景点云数据输入构建的多尺度体素三维检测检测网络，输出目标的检测结果张量，结果张量包含目标的类别信息和边界框信息。

具体来说，在步骤S103中，还包含以下步骤：

首先，对非背景点云数据进行多尺度的二维栅格化处理，得到不同维度的栅格图，确定每一维度栅格图对应的特征图，对每一特征图分别进行特定步长的上采样，在通道维度合并并通过卷积进行降维得到合并特征图。然后，采用特定网络中的检测头对合并特征图进行特征提取，以输出结果张量。

具体来说，得到合并特征图的步骤中，还包含以下步骤：

首先，对非背景点云数据进行三种尺度的二维栅格化处理，得到三种栅格图，记录每个尺度的每个栅格在各自栅格图的位置坐标，采用栅格特征提取网络对每个栅格进行特征提取，得到每个栅格多维度的特征向量。

然后，根据每个栅格在各自栅格图中的位置坐标，将特征向量进行二维排列得到三个维度不同的特征图，分别为特征图F1、特征图F2以及特征图F3；

最后，将特征图F1、特征图F2以及特征图F3分别依次通过第一反卷积层、第二反卷积层以及第三反卷积层，输出维度相同的三个特征图，将维度相同的三个特征图在通道维度合并并经过第一卷积层进行通道降维后，得到合并特征图。

在一个实施例中，对背景滤波后的非背景点云数据进行二维栅格化，得到维度为(H，W)的栅格图，并记录每个栅格在整个栅格图的位置坐标，采用VFE网络(简化的PointNet)对每个栅格提取维度为C的特征向量，如图2所示。根据每个栅格的位置坐标，将栅格的特征向量进行二维排列得到维度为(H，W，C)的特征图a。

本发明采用多种栅格尺寸，得到维度为(H/2，W/2，C)的特征图b和维度(H/4，W/4，C)的特征图c，将特征图a，b，c分别进行步长为1，2，4的上采样，然后在通道维度合并通过1*1卷积进行降维得到维度为(H，W，C)的特征图d。

具体来说，通过检测头对合并特征图进行特征提取包含三个阶段，分别为：

第一阶段：针对合并特征图，通过步长为2第二卷积层进行降采样后连接两个第三卷积层进行特征提取得到特征图F5，通过步长为2第四反卷积层对特征图F5进行上采样得到特征图F6；

第二阶段，针对特征图F5，通过步长为2第四卷积层进行将降采样后连接两个第五卷积层进行特征提取得到特征图F7，通过第五反卷积层对特征图F7进行上采样得到特征图F8；

第三阶段，针对特征图F7，通过步长为2第六卷积层进行降采样后连接两个第七卷积层进行特征提取，并通过步长为2第六反卷积层进行上采样得到特征图F9。

进一步地，得到特征图F9后，还包含以下步骤：将特征图F6、特征图F8以及特征图F9在通道维度上合并以得到特征图F10，并通过并行的三个第八卷积层进行类别分类、边界框回归以及方向分类，以得到结果张量。

在一个实施例中，采用PointPillars网络中的RPN检测头对特征图d进行特征提取，并输出检测结果。结构如图3所示：该RPN检测头包括三个阶段，每个阶段首先通过步长为2的Conv2D进行降采样之后连接若干步长为1的Conv2D进行特征提取，最后通过DeConv2D对降采样的特征图进行上采样，并将上采样前的特征图输入下个阶段的网络进行特征提取。三个阶段网络的上采样操作得到维度相同的特征图，将这三个特征图在通道维度C上进行合并，然后在通道合并后的特征图上通过并行的三个1*1的Conv2D分别进行类别分类，边界框回归和方向分类。

在一个实施例中，在构建多尺度体素三维检测检测网络时，基于确定的最大学习率，进行包含学习率由小至大以及由大至小两个过程的多轮迭代训练，得到多个待选训练模型；针对多个待选训练模型，选取在验证集上评价指标AP最高的模型，作为多尺度体素三维检测检测网络。具体来说，采用与PointPillars相同的损失函数，对构建的多尺度体素三维检测检测网络进行训练。

在一个实施例中，将测试数据按照步骤S102中的方法进行背景滤波预处理，如果测试的路侧数据集与训练数据集不属于同一地形场景，需要按照步骤S101生成新地形的背景栅格统计表，然后再按照步骤S102中的方法对测试数据进行背景滤波处理，将预处理后的测试数据输入训练好的网络推理，输出目标的检测结果张量。

总结来说，本发明提出了基于背景滤波和三维检测网络相结合的路侧激光雷达目标检测方法，对于原始点云首先通过背景滤波滤除大量的无效的背景点和非目标点，然后将剩余的少量的非背景点输入三维检测网络进行训练和推断。

另外，本发明提出了基于多帧背景点云多统计特征的背景滤波方法，选取不同时间段内的多帧背景点云，对每帧背景点云进行栅格化，统计每个栅格的背景点数量，栅格的平均高度和栅格的最大高度差；根据所有背景点云的栅格统计特征，对每个栅格的统计特征进行平均，计算得到不同时间段所有背景点云的栅格平均统计特征，将栅格平均统计特征进行离线保存得到背景栅格统计表；对与新的点云数据采用相同的栅格尺寸进行栅格化，统计每个栅格内点云数量，高度均值和最大高度差，读取离线保存的背景栅格统计表，比较每个栅格与对应的背景统计表对应栅格的统计特征，如果相差大于一定阈值就保留该栅格内的所有点作为非背景点。

另外，本发明提出了多尺度栅格特征融合子网络，该子网络可以与现有的PointPillars等三维检测网络结合，提高检测网络对密度不均匀的点云数据的适应性，提高检测精度，特征在于：

对背景滤波后的非背景点云数据采用三种不同的栅格尺寸进行二维栅格化，得到维度分别为为(H，W)，(H/2，W/2)，(H/4，W/4)的栅格图，并记录每个栅格在各自栅格图的位置坐标，采用VFE网络(简化的PointNet)对每个栅格提取维度为C的特征向量。根据每个栅格的位置坐标，将栅格的特征向量进行二维排列得到维度分别为(H，W，C)，(H/2，W/2，C)和(H/4，W/4，C)的特征图a，b和c，将特征图a，b，c分别进行步长为1，2，4的上采样，然后在通道维度合并通过1*1卷积进行降维和通道特征融合得到维度为(H，W，C)的特征图d，该特征图可用于后续的RPN检测头实现三维目标检测。

在一个实施例中：为方便说明本实施例采用如下表示方式：全连接层FC(Cout),卷积层Conv2D(Cout，k，s)，反卷积层DeConv2D(Cout，k，s)，其中Cout表述输出通道数，k表示卷积核尺寸，s表示卷积步长。为证明本发明提出的背景滤波与深度学习结合的目标检测方法不受地形限制，本实施例在两个不同的矿山场景的路侧数据集上进行，场景1包含1000帧标注数据，800帧作为训练集，200帧作为验证集，场景2包含800帧标注数据，用作测试集。该实施例模型只检测一类Truck(此处为本实施例中的目标)。

S1、根据背景点云生成背景栅格统计表：

S1.1、从路侧雷达采集的数据中挑选不同时段的多帧背景点云，本实施例挑选1000帧点云，由于路侧地形的特点规定每帧点云在x，y，z三个方向的检测范围分别为(-34，60.08)，(-60.08，34)和(-5，1)，每帧背景点云进行栅格化，栅格尺寸为0.5m，统计每个栅格的背景点数量，栅格的平均高度和栅格的最大高度差。

S1.2、根据所有背景点云的栅格统计特征，对每个栅格在所有1000帧背景点云中对应的栅格的统计特征进行求均值，计算得到在不同时间段所有背景点云上的每个栅格统计特征，将栅格平均统计特征进行离线保存得到背景栅格统计表，如图4所示为某一帧背景点云和其对应的栅格平均高度的统计表的部分数据，其中图4中左侧图一帧背景点云，图4右侧图为对应的高度均值统计表的部分数据，每个数表示该栅格的高度均值，空栅格的高度均为0。

S2、对每帧训练数据通过背景滤波进行预处理：

S2.1、对训练数据(训练集)原始点云进行栅格化，栅格尺寸与背景栅格相同为0.5m，统计每个栅格内点的数量，高度平均值和最大高度差。

S2.2、读取步骤S1中生成的背景栅格统计表，比较训练数据的每个栅格的统计特征和对应的背景栅格统计特征。如果每个统计特征的差值均大于相应的阈值时，将该栅格内的点作为非背景点保留，否则将该栅格内的点作为背景点滤除。栅格点数量，高度平均值和最大高度差三个统计特征的阈值分别为15，0.2，0.1.如图5所示为一帧数据经过滤波前与后的点云数据。

S3、构建多尺度体素三维检测检测网络：

S3.1、对背景滤波后的非背景点按照0.56，0.28，0.14三种尺度进行二维栅格化，得到如图2所示的三种栅格立柱，生成的栅格图维度分别为(168，168)，(336，336)和(672，672)，并记录每个尺度的每个栅格在各自栅格图的位置坐标，采用各自VFE网络(简化的PointNet)对每个栅格进行特征提取，本实施例中栅格特征提取网络包含如图2所示，每个尺度的VFE网络配置相同，都包含一个全连接层FC(64)和MaxPooling层，经过特征提取网络VFE得到每个栅格64维度的特征向量。然后根据每个栅格在各自栅格图的位置坐标，将栅格的特征向量进行二维重排列得到维度分别为(168，168，64)，(336，336，64)和(672，672，64)的特征图F1，F2和F3。

S3.2、将特征图F1，F2，F3分别通过DeConv2D(64，3，4)，DeConv2D(64，3，2)和DeConv2D(64，3，1)输出维度均为(336，336，64)三个特征图，然后将这三个特征图在通道维度合并并通过Conv2D(64，3，1)降维，得到维度为(336，336，64)的特征图F4(即合并特征图)。

S4、采用PointPillars网络中的RPN检测头对特征图F4进行特征提取，并输出检测结果。结构如图3所示：该RPN检测头包括三个阶段：

S4.1、第一阶段首先通过Conv2D(128，3，2)进行降采样之后连接两个Conv2D(128，3，1)进行特征提取得到特征图F5，最后通过DeConv2D(128，3，1)对降采样的特征图进行上采样得到(168，168，128)的特征图F6。

S4.2、第二阶段首先通过Conv2D(256，3，2)对特征图F5进行降采样之后连接两个Conv2D(256，3，1)进行特征提取得到特征图F7，最后通过DeConv2D(128，3，2)对降采样的特征图进行上采样得到(168，168，128)的特征图F8。

S4.3、第三阶段首先通过Conv2D(512，3，2)对特征图F7进行降采样之后连接两个Conv2D(512，3，1)进行特征提取，最后通过DeConv2D(128，3，4)对降采样的特征图进行上采样得到(168，168，128)的特征图F9。

S4.4、将这三个阶段上采样得到的特征图F6，F8和F9在通道维度上进行合并得到(168，168，384)的特征图F10，然后通过并行的三个1*1的Conv2D分别进行类别分类，边界框回归和方向分类。

S5、采用与PointPillars相同的损失函数，anchors尺寸为(9.25，4.65，4.76)，方向为(0，π)。采用Pytorch框架对模型进行100轮迭代训练，优化器选择Adam，最大学习率为0.0025，其中在前40轮根据迭代步数，学习率从0线性增加到最大学习率，后60轮根据迭代步数，学习率从最大降低到0，权重衰减系数为0.001，batchsize为10，计算平台为TiTANRTX，显存24GB。

S6、选取在验证集上AP最高的模型作为最终的结果模型，在测试集上测试，为了验证本发明提出背景滤波与深度网络结合的方法的优势，将SECOND，PointPillars的开源实现采用相同的训练集，验证集进行训练，anchors配置和训练参数相同。同样选取各自在验证集上AP最高的模型最为最终的结果模型，在测试集上与本发明进行对比，同时统计显存占用，推理速度，收敛速度，验证集AP，对比结果如表1。其中显存占用表示推理过程中平均值，batch_size为1，模型数据类型均为Float32。

表1四种不同算法的对比

从表1中可以看出四种方法在与训练集地形一致的验证集的AP指标近似，此外SECOND相比PointPillars采用三维的体素进行特征提取取得较高的精度，同时推理速度和显存占用都相对较高。PillarsNet为没有采用背景滤波的多尺度栅格的检测网络，由于采用多尺度的栅格，相较PointPillars提高了AP一个百分点，在SECOND和PointPillars之间取得了速度与精度的权衡。

但是这三种方法在数据分布与训练集相差较大的情况下的测试集上检测精度显著降低，IOU0.5时AP下降将近40个百分点，与之相反本发明提出的BF-PillarsNet取得了与验证集接近的AP，说明本发明提出的方法可以有效适应不同地形的路侧数据，提高了算法的鲁棒性。

如图6为四种算法在验证集上某帧的可视化结果，其中a)，b)，c)，d)分别为PointPillars，SECOND，PillarsNet，BF-PillarsNet，由于验证集和训练集地形一致，数据分布高度相似，都能取得很好的检测结果。

如图7为四种算法在地形不同的测试集上某一帧的可视化结果，其中a)，b)，c)，d)分别为PointPillars，SECOND，PillarsNet，BF-PillarsNet，由于测试集和训练集地形一致，数据分布相差较大导致，没有经过背景滤波的方法都出现不同程度的误检或者漏检。而本发明提出的BF-PillarsNet能够很好的适应不同的地形数据，保持与训练集验证集相同的精度。

本发明具备以下优势：

1、由于采用背景滤波，采用地形变化之前的路侧激光雷达数据训练的模型在地形变化后的检测性能大幅降低的问题有效的到解决。经过背景滤波滤除了大量的无效的背景点，减少模型对于无效背景地形数据的过拟合，提高的模型的泛化能力，对于地形变化后的激光雷达数据，现有的优秀的三维目标检测网络往往由于地形变化导致精度大幅降低，本发明通过结合背景滤波，训练的模型在地形变化的数据可以保持与原先同样的精度，尤其在移动式路侧数据平台或者地形变化频繁的区域优势明显。

2、本发明提出了基于多帧背景多统计特征的背景滤波方法，相比现有的背景滤波可有效提高背景滤波能力。现有的背景滤波在生成背景统计表时往往只考虑单帧的背景数据，往往不能适应动态的背景如树木和激光雷达本身微笑振动的情况，其次采用单一的特征往往不能有效统计背景的信息。本文结合多帧的信息，同时结合多个统计特征可以有效克服上述问题

3、本发明提出了多尺度栅格特征融合的子网络，该网络通过多个尺度的栅格特征在通道维度融合，可有效克服激光雷达点云数据密度分布不一致的情况，提高对于目标检测网络的检测精度。

本发明提供的路侧激光雷达目标检测方法及装置通过采用背景滤波，可以滤除大量的无效点，可以显著缩短网络的训练和推理时间，同时没有了大量背景点的干扰提高了检测结果的精度。此外对于路侧激光雷达来说，采集到的训练数据由于背景高度一致，如果不经过背景滤波将原始点云直接用于训练模型，训练出的模型基本都是过拟合模型，在路侧地形发生变化时，模型检测效果将大大下降，需要基于新的地形数据重新训练模型。与之相反如果采用背景滤波后的点云训练得到的模型在地形变化时，只要通过背景滤波滤除相应的背景点，省去了地面发生变化导致背景点带来的干扰，检测效果可以保持不变，无需重新训练模型。

图8显示了根据本发明的一个实施例的路侧激光雷达目标检测装置结构框图。如图8所示，检测装置800包含第一模块801、第二模块802以及第三模块803。

第一模块801用于从路侧激光雷达采集的数据中选取不同时段的多帧背景点云数据作为背景数据，对背景数据进行栅格化处理并统计栅格特征，计算得到栅格平均统计特征作为背景栅格统计表。

第二模块802用于针对实测的原始点云数据，进行与背景数据具备相同栅格尺寸的栅格化处理，统计得到原始点云数据对应的栅格统计特征，结合背景栅格统计表进行背景滤波后，得到非背景点云数据。

第三模块803用于将非背景点云数据输入构建的多尺度体素三维检测检测网络，输出目标的检测结果张量，结果张量包含目标的类别信息和边界框信息。

综上，本发明提供的路侧激光雷达目标检测方法及装置通过背景滤波滤除了大量的无效的背景点，显著减少深度检测网络处理的数据量，减少显存占用，提高了网络推理速度；同时由于减少了无效的地形背景点的干扰，可以同时提高训练阶段的收敛速度和推理阶段检测精度。此外采用多尺度的栅格化点云输入，提取不同尺度下体素的特征，检测网络能够适应点云密度不均匀的特点，进一步提高检测结果的精度。

应该理解的是，本发明所公开的实施例不限于这里所公开的特定结构、处理步骤或材料，而应当延伸到相关领域的普通技术人员所理解的这些特征的等同替代。还应当理解的是，在此使用的术语仅用于描述特定实施例的目的，而并不意味着限制。

说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。

虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所公开的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种路侧激光雷达目标检测方法，其特征在于，所述方法包含以下步骤：

步骤一：从路侧激光雷达采集的数据中选取不同时段的多帧背景点云数据作为背景数据，对所述背景数据进行栅格化处理并统计栅格特征，计算得到栅格平均统计特征作为背景栅格统计表；

步骤二：针对实测的原始点云数据，进行与所述背景数据具备相同栅格尺寸的所述栅格化处理，统计得到所述原始点云数据对应的栅格统计特征，结合所述背景栅格统计表进行背景滤波后，得到非背景点云数据；

步骤三：将所述非背景点云数据输入构建的多尺度体素三维检测检测网络，输出目标的检测结果张量，所述结果张量包含目标的类别信息和边界框信息。

2.如权利要求1所述的方法，其特征在于，所述步骤一中具体包含以下步骤：

对所述多帧背景点云中的对每帧背景点云数据进行栅格化处理，统计每帧背景点云数据中每一栅格的栅格统计特征；

统计所述多帧背景点云数据中所有栅格对应的栅格统计特征，并进行平均计算，得到所述多帧背景点云数据对应的所述栅格平均统计特征，将所述栅格平均统计特征进行保存得到所述背景栅格统计表。

3.如权利要求2所述的方法，其特征在于，所述栅格统计特征包含：栅格中的背景点数量、栅格的平均高度以及栅格的最大高度差。

4.如权利要求3所述的方法，其特征在于，所述步骤二中具体包含以下步骤：

将所述原始点云数据对应的栅格统计特征与所述背景栅格统计表进行比较，若每个栅格统计特征的差值均大于特定阈值，则将所述原始点云数据中的对应栅格内的点保留作为所述非背景点云数据。

5.如权利要求1所述的方法，其特征在于，所述步骤三中具体包含以下步骤：

对所述非背景点云数据进行多尺度的二维栅格化处理，得到不同维度的栅格图，确定每一维度栅格图对应的特征图，对每一特征图分别进行特定步长的上采样，在通道维度合并并通过卷积进行降维得到合并特征图；

采用特定网络中的检测头对所述合并特征图进行特征提取，以输出所述结果张量。

6.如权利要求5所述的方法，其特征在于，得到所述合并特征图的步骤中，还包含以下步骤：

对所述非背景点云数据进行三种尺度的二维栅格化处理，得到三种栅格图，记录每个尺度的每个栅格在各自栅格图的位置坐标，采用栅格特征提取网络对每个栅格进行特征提取，得到每个栅格多维度的特征向量；

根据每个栅格在各自栅格图中的所述位置坐标，将所述特征向量进行二维排列得到三个维度不同的特征图，分别为特征图F1、特征图F2以及特征图F3；

将所述特征图F1、特征图F2以及特征图F3分别依次通过第一反卷积层、第二反卷积层以及第三反卷积层，输出维度相同的三个特征图，将维度相同的三个特征图在通道维度合并并经过第一卷积层进行通道降维后，得到所述合并特征图。

7.如权利要求6所述的方法，其特征在于，通过所述检测头对所述合并特征图进行特征提取包含三个阶段，分别为：

第一阶段：针对所述合并特征图，通过步长为2第二卷积层进行降采样后连接两个第三卷积层进行特征提取得到特征图F5，通过步长为2第四反卷积层对所述特征图F5进行上采样得到特征图F6；

第二阶段，针对所述特征图F5，通过步长为2第四卷积层进行将降采样后连接两个第五卷积层进行特征提取得到特征图F7，通过第五反卷积层对所述特征图F7进行上采样得到特征图F8；

第三阶段，针对所述特征图F7，通过步长为2第六卷积层进行降采样后连接两个第七卷积层进行特征提取，并通过步长为2第六反卷积层进行上采样得到特征图F9。

8.如权利要求7所述的方法，其特征在于，得到所述特征图F9后，还包含以下步骤：

将所述特征图F6、所述特征图F8以及所述特征图F9在通道维度上合并以得到特征图F10，并通过并行的三个第八卷积层进行类别分类、边界框回归以及方向分类，以得到所述结果张量。

9.如权利要求1-8中任一项所述的方法，其特征在于，所述方法还包含：

在构建所述多尺度体素三维检测检测网络时，基于确定的最大学习率，进行包含学习率由小至大以及由大至小两个过程的多轮迭代训练，得到多个待选训练模型；

针对多个待选训练模型，选取在验证集上评价指标AP最高的模型，作为所述多尺度体素三维检测检测网络。

10.一种路侧激光雷达目标检测装置，其特征在于，所述装置包含：

第一模块，其用于从路侧激光雷达采集的数据中选取不同时段的多帧背景点云数据作为背景数据，对所述背景数据进行栅格化处理并统计栅格特征，计算得到栅格平均统计特征作为背景栅格统计表；

第二模块，其用于针对实测的原始点云数据，进行与所述背景数据具备相同栅格尺寸的所述栅格化处理，统计得到所述原始点云数据对应的栅格统计特征，结合所述背景栅格统计表进行背景滤波后，得到非背景点云数据；

第三模块，其用于将所述非背景点云数据输入构建的多尺度体素三维检测检测网络，输出目标的检测结果张量，所述结果张量包含目标的类别信息和边界框信息。

Images