CN113064135A - 在3d雷达点云连续帧数据中检测障碍物的方法及装置 - Google Patents

Abstract

本公开是关于一种在3D雷达点云连续帧数据中检测障碍物的方法及装置、电子设备和计算机可读存储介质。其中方法包括：采集点云数据连续帧，将当前帧的点云数据划分为地面点集及障碍物点集；根据地面点集，获取当前帧的道路边缘；根据道路边缘，得到障碍物的位置，位置包括路面及非路面；基于障碍物的位置信息，检测当前帧包含的所有障碍物的类别。通过算法预先对物体的类别进行检测，减少了后续人工标注的工作量，提高了标注效率；引入了道路边缘检测的方法，将整个检测场景分类为路面及非路面区域，通过先验知识提高了障碍物类别检测的精度及效率，适用于对实时性要求高的任务场景。

Description

在3D雷达点云连续帧数据中检测障碍物的方法及装置

技术领域

本公开涉及图像处理领域，尤其涉及在3D雷达点云连续帧数据中检测障碍物的方法及装置、电子设备和计算机可读存储介质。

背景技术

在车辆辅助驾驶任务中对环境感知和障碍物检测有着强烈的需求，只有能准确地感知环境，才可能做出更安全、更合理的决策。在车辆辅助驾驶任务中，通常采集3D点云数据对周围环境进行分析标注。点云是某个坐标系下的点的数据集。点包含了丰富的信息，包括三维坐标X，Y，Z、颜色、分类值、强度值、时间等等。点云数据主要是通过三维激光扫描仪进行数据采集获取，其次通过二维影像进行三维重建，在重建过程中获取点云数据，另外还有一些，通过三维模型来计算获取点云。通常，使用LiDAR（Light Detection And Ranging）技术获取3D点云数据，LiDAR为激光探测与测量技术，在获取点云数据的同时也对点云数据进行处理加工以及应用。LiDAR获取数据的方式主要分为三大类：星载、机载和地面，对于自动驾驶所用的点云数据大多为车载地面获取。与RGB图像不同，LIDAR点云是3D的并且是非结构化的，面对车辆辅助驾驶任务要求的实时性，在车辆过程中，会连续采集到许多帧的图像数据，对连续多帧中出现的所有物体进行标注并判断物体的类别是一项非常重要且繁琐的工作。

目前来说，常见的障碍物检测方法是通过人工来进行标注，在纯人工标注时，假如对点云数据不做预分类检测，所有点云数据的颜色是相同的，而统一的颜色会降低标注员的工作效率，甚至会导致标注员的误标和漏标。

发明内容

为克服相关技术中存在的问题，本公开提供一种在3D雷达点云连续帧数据中检测障碍物的方法及装置、电子设备和计算机可读存储介质。

根据本公开实施例的第一方面，提供一种在3D雷达点云连续帧数据中检测障碍物的方法，方法包括：采集点云数据连续帧，将当前帧的点云数据划分为地面点集及障碍物点集；根据地面点集，获取当前帧的道路边缘；根据道路边缘，得到障碍物的位置，位置包括路面及非路面；基于障碍物的位置信息，检测当前帧包含的所有障碍物的类别。

在一实施例中，将当前帧的点云数据划分为地面点集及障碍物点集，包括：通过平面拟合确定点云数据中的基准平面；将点云数据划分为多个栅格；基于基准平面及栅格确定点云数据中的地面点集及障碍物点集。

在一实施例中，通过平面拟合确定点云数据中的基准平面，包括：获取当前帧的点云数据；在点云数据中随机迭代选取三个点形成平面；获取平面的法向量与点云数据的Z轴形成的夹角，保留夹角小于预设倾斜阈值的平面；获取点云数据中位于平面上的点的数量；选择点的数量最多的平面作为基准平面。

在一实施例中，在通过平面拟合确定点云数据中的基准平面的步骤之后，方法还包括：基于基准平面的法向量与点云数据的Z轴形成的夹角，对点云数据进行校准。

在一实施例中，将点云数据划分为多个栅格，包括：获取雷达的行进方向；根据行进方向将点云数据划分为行进区域与其他区域；根据雷达的射线间隔，确定行进区域与其他区域的栅格弧长。

在一实施例中，根据雷达的射线间隔，确定行进区域与其他区域的栅格弧长，包 括：获取间隔c：

，其中h为雷达高度，a、b分别为雷达相邻的两条 射线与地面形成的夹角；行进区域中扇形栅格的弧长为

，其他区域中扇形栅格的弧长 为

。

在一实施例中，基于基准平面及栅格确定点云数据中的地面点集，包括：基于临近点数量，筛除所有栅格中的离散点；基于栅格中点的最大高度差及平均高度值，逐一筛除所有栅格中的非地面栅格；将基准平面中剩余的点集作为地面点集。

在一实施例中，根据地面点集，获取当前帧的道路边缘，包括：获取雷达的行进方向；获取与地面垂直且与行进方向平行的路沿平面；根据路沿平面确定道路边缘。

在一实施例中，根据地面点集，获取当前帧的道路边缘，包括：基于栅格高度差及路沿高度阈值，确定与地面平行的路沿平面；根据路沿平面确定道路边缘。

在一实施例中，根据地面点集，获取当前帧的道路边缘，包括：基于路沿障碍物的检测结果，确定路沿障碍物之间的距离；根据距离确定道路的宽度及边缘。

在一实施例中，根据道路边缘，得到障碍物的位置，位置包括路面及非路面，包括：获取障碍物点集基于道路边缘确定道路区域，将以道路区域为底面的点云区域划分为路面区域，根据路面区域，将障碍物点集划分为路面障碍物点及非路面障碍物点。

在一实施例中，基于障碍物的位置信息，检测当前帧包含的所有障碍物的类别，包括：获取障碍物的高度；基于障碍物的位置信息及高度，确定检索目标范围；根据检索目标范围，检测障碍物的类别。

在一实施例中，方法还包括：获取当前帧的下一帧的点云数据；利用卡尔曼滤波对下一帧的点云数据中的障碍物类别进行预测。

根据本公开实施例的第二方面，提供一种在3D雷达点云连续帧数据中检测障碍物的装置，装置包括：地面点集获取单元，用于采集点云数据连续帧，将当前帧的点云数据划分为地面点集及障碍物点集；道路边缘确定单元，用于根据地面点集，获取当前帧的道路边缘；位置划分单元，用于根据道路边缘，得到障碍物的位置，位置包括路面及非路面；检测单元，用于基于障碍物的位置信息，检测当前帧包含的所有障碍物的类别。

在一实施例中，地面点集获取单元包括：平面拟合单元，用于通过平面拟合确定点云数据中的基准平面；栅格划分单元，用于将点云数据划分为多个栅格；点云划分单元，用于基于基准平面及栅格确定点云数据中的地面点集及障碍物点集。

在一实施例中，平面拟合单元包括：获取当前帧的点云数据；在点云数据中随机迭代选取三个点形成平面；获取平面的法向量与点云数据的Z轴形成的夹角，保留夹角小于预设倾斜阈值的平面；获取点云数据中位于平面上的点的数量；选择点的数量最多的平面作为基准平面。

在一实施例中，装置还包括：点云校准单元，用于基于基准平面的法向量与点云数据的Z轴形成的夹角，对点云数据进行校准。

在一实施例中，栅格划分单元包括：获取雷达的行进方向；根据行进方向将点云数据划分为行进区域与其他区域；根据雷达的射线间隔，确定行进区域与其他区域的栅格弧长。

在一实施例中，根据雷达的射线间隔，确定行进区域与其他区域的栅格弧长，包 括：获取间隔c：

，其中h为雷达高度，a、b分别为雷达相邻的两条 射线与地面形成的夹角；行进区域中扇形栅格的弧长为

，其他区域中扇形栅格的弧长 为

。

在一实施例中，点云划分单元包括：基于临近点数量，筛除所有栅格中的离散点；基于栅格中点的最大高度差及平均高度值，逐一筛除所有栅格中的非地面栅格；将基准平面中剩余的点集作为地面点集。

在一实施例中，道路边缘确定单元包括：获取雷达的行进方向；获取与地面垂直且与行进方向平行的路沿平面；根据路沿平面确定道路边缘。

在一实施例中，道路边缘确定单元包括：基于栅格高度差及路沿高度阈值，确定与地面平行的路沿平面；根据路沿平面确定道路边缘。

在一实施例中，道路边缘确定单元包括：基于路沿障碍物的检测结果，确定路沿障碍物之间的距离；根据距离确定道路的宽度及边缘。

在一实施例中，位置划分单元包括：获取障碍物点集；基于道路边缘确定道路区域，将以道路区域为底面的点云区域划分为路面区域，根据路面区域，将障碍物点集划分为路面障碍物点及非路面障碍物点。

在一实施例中，检测单元包括：获取障碍物的高度；基于障碍物的位置信息及高度，确定检索目标范围；根据检索目标范围，检测障碍物的类别。

在一实施例中，装置还包括：预测单元，用于获取当前帧的下一帧的点云数据；利用卡尔曼滤波对下一帧的点云数据中的障碍物类别进行预测。

根据本公开实施例的第三方面，提供一种电子设备，包括：存储器，用于存储指令；以及处理器，用于调用存储器存储的指令执行第一方面的在3D雷达点云连续帧数据中检测障碍物的方法。

根据本公开实施例的第四方面，提供一种计算机可读存储介质，存储有指令，指令被处理器执行时，执行第一方面的在3D雷达点云连续帧数据中检测障碍物的方法。

本公开的实施例提供的技术方案可以包括以下有益效果：本公开提出了一种在3D雷达点云连续帧数据中检测障碍物的方法，通过算法预先对物体的类别进行检测，减少了后续人工标注的工作量，极大提高了标注效率；引入了道路边缘检测的方法，将整个检测场景分类为路面及非路面区域，将需要检测的障碍物通过场景分类为路面及非路面区域的障碍物，通过路面的先验知识，提高了后续障碍物类别检测的精度及效率，适用于车辆辅助驾驶、自动驾驶等对障碍物检测实时性要求高的任务场景。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是根据一示例性实施例示出的点云数据图；

图2是根据一示例性实施例示出的将符合地面方程的点集去除后的点云数据图；

图3是根据一示例性实施例示出的一种在3D雷达点云连续帧数据中检测障碍物的方法的流程示意图；

图4是根据一示例性实施例示出的车载移动测量系统的实际图像；

图5是根据一示例性实施例示出的通过车载移动测量系统的采集的点云数据的标注后效果示意图；

图6是根据一示例性实施例示出的点云原始数据俯视图；

图7是根据一示例性实施例示出的将点云数据划分为地面点集的流程示意图；

图8是根据一示例性实施例示出的通过平面拟合确定点云数据中的基准平面的流程示意图；

图9是根据一示例性实施例示出的获取的圆形范围点云数据图；

图10是根据一示例性实施例示出的经过筛选后的条状点云数据图；

图11是根据一示例性实施例示出的另一种在3D雷达点云连续帧数据中检测障碍物的方法的流程示意图；

图12是根据一示例性实施例示出的一种在3D雷达点云连续帧数据中检测障碍物的装置的示意框图；

图13是根据一示例性实施例示出的另一种在3D雷达点云连续帧数据中检测障碍物的装置的示意框图；

图14是根据一示例性实施例示出的一种装置的示意框图；

图15是根据一示例性实施例示出的一种电子装置的示意框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

目前来说，常见的点云数据障碍物检测方法是通过人工来进行标注，在纯人工标注时，假如对点云数据不做预分类检测，如图1所示，点云数据的颜色是相同的，统一的颜色会降低标注员的工作效率，甚至会导致标注员的误标和漏标。

相关研究人员提出解决办法包括以下两种，方法1：通过平面拟合出地面方程，将符合地面方程的点集去除，在保留的点集中进行全类别的物体检测，由此标定出不同类别颜色，如图2所示。方法2：直接对整个点云数据进行物体检测。上述方法1在实际操作中，由于路面的复杂性，单一平面拟合通常无法很好的去除地面点集；又由于3D点云的特性，物体的点集通常都不完整，对全类别的检测精度有极大影响。方法2由于处理的点云数据太多，在实际操作中精确度过低，同时检测效率低下。

而本公开为解决上述问题，如图3所示，提供一种在3D雷达点云连续帧数据中检测障碍物的方法，参见图1，包括步骤S11-步骤S14，以下详细说明：

步骤S11，采集点云数据连续帧，将当前帧的点云数据划分为地面点集及障碍物点集。

点云是某个坐标系下的点的数据集。点包含了丰富的信息，包括三维坐标X，Y，Z、颜色、分类值、强度值、时间等等。点云数据主要是通过三维激光扫描仪进行数据采集获取，其次通过二维影像进行三维重建，在重建过程中获取点云数据，另外还有一些，通过三维模型来计算获取点云。通常，使用LiDAR（Light Detection And Ranging）技术获取3D点云数据，LiDAR为激光探测与测量技术，在获取点云数据的同时也对点云数据进行处理加工以及应用。LiDAR获取数据的方式主要分为三大类：星载、机载和地面，对于自动驾驶所用的点云数据大多为车载地面获取，图4即为车载MMS移动测量系统的实际图像。图5是通过车载MMS采集的点云数据的标注后效果，中间的圆形中心即为LiDAR采集设备所在位置，由此为中心向外发射探测激光。现阶段用于点云数据采集的雷达设备多为64线，从雷达中心点以固定的不同角度向外发射64条激光射线，每一帧都会360度扫射一圈，将这一圈数据整合成为该帧的整个点云数据。

在标注物体时，在调整好物体包围框以后，还需要选择一系列参数，对于汽车来说，运动状态、是否开门、车型等都是常见的3D对象标注任务。所谓的图像3D对象标注是指：针对图像中的目标对象，例如车辆、自行车、行人、路牌指示物等，利用3D激光扫描得到的同一时刻的激光点云数据，标注该对象在3D空间中的立体包围框，并投影至图像中的标注方法。图6为实际情况中的点云原始数据俯视图，环状点可以大致认为是该场景中的地面，高于该平面的是各类障碍物，例如：汽车、行人、建筑物、树木等。确定地面点集是车辆辅助驾驶任务中的重要环节，根据地面有利于后续判断障碍物所处位置。

在一实施例中，如图7所示，步骤S11包括：步骤S111，通过平面拟合确定点云数据中的基准平面；步骤S112，将点云数据划分为多个栅格；步骤S113，基于基准平面及栅格确定点云数据中的地面点集及障碍物点集。

其中，障碍物点集即点云数据中除地面点集的剩余点集。由于路面的复杂性，单一平面拟合通常无法很好的去除非地面点集，单一的栅格法算法处理速度慢，且在实际应用中容易出现误判。因此在本公开的技术方案中，利用平面拟合结合栅格法的方式共同判断地面，既利用平面拟合快速查找到包含地面的所有点集，同时利用栅格法逐一判断，能够去除大部分难以判断的非地面点集，对地面点集的检测效率更高也更加准确。

在一实施例中，如图8所示，步骤S111，通过平面拟合确定点云数据中的基准平面，包括：步骤S1111，获取当前帧的点云数据。

根据实际点云数据确定点云中心到路边的距离d，一般选取值在20米左右，通过获取的雷达车高度h计算射线角度r，r=arctan（h/d），从点云数据中选取射线角度处在r与90度（往雷达车车底发射的角度）之间的射线点集，所选区域将会是如图9所示的圆形范围。

步骤S1112，在点云数据中随机迭代选取三个点形成平面；步骤S1113，获取平面的法向量与点云数据的Z轴形成的夹角，保留夹角小于预设倾斜阈值的平面；步骤S1114，获取点云数据中位于平面上的点的数量；步骤S1115，选择点的数量最多的平面作为基准平面。

例如，在获取到的全部点云数据中，设置迭代次数为10000次，每次均选取3个点形成一个平面，计算出一个平面方程，计算该平面法向量与点云数据中的坐标轴Z轴的夹角，设定一个预设倾斜阈值，例如5°，如果大于给定阈值范围则认为该平面不是我们寻找的地面平面，直接进行下一次迭代，如果小于给定阈值，则计算在该平面一定距离范围之内的点的数量，也可以根据经验设置数量阈值或比例阈值，其中数量阈值大于实际中路面点数量的大多数情况，当在该平面一定距离范围之内的点的数量超过了该数量阈值，或超过了一定的比例阈值，则停止迭代。通过设置数量阈值或比例阈值的方法可以提升迭代效率，减少迭代次数。

对于选择点的数量最多的平面，在点云数据获取的点集中，通常情况下，由于行驶过程中，道路中能检测到的平面并非大部分都是障碍物，其中获取到的地面点集是最多的。因此利用平面上的点数量进行排序筛查可以快速、准确地确定地面平面。

在一实施例中，在步骤S111通过平面拟合确定点云数据中的基准平面的步骤之后，方法还包括：基于基准平面的法向量与点云数据的Z轴形成的夹角，对点云数据进行校准。

基准平面与Z轴夹角对整体点云数据进行校准，也就是将点云数据中的基准平面旋转至坐标轴中真正的XY平面，所有点做同样的转换，增加校准步骤可以减小地面平面的测量误差，避免了整体点云倾斜对后续栅格内高度计算时可能产生的误差。

在一实施例中，将点云数据划分为多个栅格，包括：获取雷达的行进方向；根据行进方向将点云数据划分为行进区域与其他区域；根据雷达的射线间隔，确定行进区域与其他区域的栅格弧长。

使用以雷达为坐标原点，雷达车行进方向为0度（起始角度），x轴逆时针旋转方向为正向的极坐标轴，由于在车辆驾驶过程中对道路行进范围内的目标更感兴趣，所以对角度在0度到30度、330度到360度（前进方向的60度角范围）以及150度到210度（车后方向60度角范围）内的区域作为行进区域，剩余区域作为其他区域，不同区域会有弧长区别，行进区域的弧长更短，栅格数量更多，在检测时会更加精确，其他区域的弧长则较长，栅格数量较少，可以有效提升栅格检测时的算法效率。

在一实施例中，根据雷达的射线间隔，确定行进区域与其他区域的栅格弧长，包 括：获取间隔c：

，其中h为雷达高度，a、b分别为雷达相邻的两条 射线与地面形成的夹角；行进区域中扇形栅格的弧长为

，其他区域中扇形栅格的弧长 为

。

行进区域与其他区域中，根据环状间隔来制订弧长。环状间隔依据两个相邻射线 在地面投影间隔距离的三分之一划分：射线角度a与射线角度b之间的环状间隔c计算公式 为

区域1中弧长为

，区域2弧长为

，根据所给环状间 隔与弧长划分栅格。所得的栅格为扇形区域。上述弧长是根据实验结果精确的同时兼顾算 法效率的情况进行筛选的，可根据应用场景进行调整。

在一实施例中，基于基准平面及栅格确定点云数据中的地面点集，包括：基于临近点数量，筛除所有栅格中的离散点；基于栅格中点的最大高度差及平均高度值，逐一筛除所有栅格中的非地面栅格；将基准平面中剩余的点集作为地面点集。

利用栅格法逐一对点云数据进行筛选，首先，逐个对每个栅格进行离散点剔除。使用给定阈值作为判定两个点是否邻近的依据（仅关注z轴上各点距离），然后计算栅格中每个点的邻近点数量，将邻近点数量小于5的作为离散点，标记为非地面点。

其次，删除非平面点栅格。统计每个栅格内的最高点高度与最低点高度，并计算其扇形栅格内高度差，根据经验值筛去非平面栅格。即，若栅格内高度差大于阈值，则该栅格视为非地面栅格，标记该栅格内所有点为非地面点。

第三，删除非地面的平面点栅格。在统计栅格内所有点的高度再进行栅格高度判断，以栅格内点的平均高度值与基准平面在该栅格中心点的高度值计算落差，若落差在经验值范围内（默认0.5），则认为该栅格保留为地面结果；否则，就视为非地面栅格，标记该栅格内所有点为非地面点。该步骤可去除某些非地面的平面：如花坛、汽车顶。保留下来的最终结果即为该点云数据的地面点集，其余数据标记为障碍物点。利用栅格法逐步对点云数据判断，能够去除大部分难以判断的非地面点集，例如非平面点、非地面的平面点，对地面点集的检测效率更高也更加准确。

步骤S12，根据地面点集，获取当前帧的道路边缘。

引入了道路边缘检测的方法，可以充分融合车辆行驶实际情况的先验知识，将整个检测场景分类为路面及非路面区域，为进一步将需要检测的障碍物通过场景分类为路面及非路面区域的障碍物提供了依据。

在步骤S12前还可包括如下步骤：获取雷达的行进方向，根据方向对点云数据进行筛选。

其中获取雷达的行进方向可以通过以下方式获取：使用连续帧数据中的障碍物匹配，确定采集车的行进方向，以此确定道路走向。根据道路宽度的经验值（适当放宽），从点云数据中选出包含路面的区域，如图10所示，得到比路面宽度更宽的一个条状数据。可以剔除掉不感兴趣的点云数据，进一步提升整体算法的运算效率，满足驾驶过程中的实时性需求。

在一实施例中，步骤S12包括：获取雷达的行进方向；获取与地面垂直且与行进方向平行的路沿平面；根据路沿平面确定道路边缘。

道路两旁通常有隔离带、隔音板、墙壁、绿化带等设施，与地面垂直，因此通过平面拟合寻找垂直于路面并且与行进方向一致的平面（该平面法向量与路面法向量夹角范围为90° ±5°，与采集车行进方向夹角范围为90° ±5°），通过该方式可以寻找出隔离带、隔音板、墙壁、绿化带等，由此确定道路边缘。

在一实施例中，步骤S12包括：基于栅格高度差及路沿高度阈值，确定与地面平行的路沿平面；根据路沿平面确定道路边缘。

很多情况下，道路两旁有人行道区域，根据测量经验，确定出人行道区域的高度，通过栅格高度差找到与路面栅格差距在0.2与0.5之间的平面栅格，通过该方式寻找出人行道，从而确定道路边缘。

在一实施例中，步骤S12包括：基于路沿障碍物的检测结果，确定路沿障碍物之间的距离；根据距离确定道路的宽度及边缘。

对于路边障碍物密集，无法探测出路沿标志性物体（例如第一种与第二种中所寻找的目标），可以直接通过路边障碍物的物体检测，间接推断出路沿范围，路沿障碍物例如路灯、交通指示灯、路牌、锥桶等，特征较为明显且与路面范围有一定关系的物体，一般两个路灯间的距离即为道路宽度，根据道路宽度。路灯的位置及行进方向可以确定道路边缘。上述的三种实施例的方法可以单独、也可以共同用于检测道路边缘，以适应复杂路况，在多种场景下都可以准确识别道路边缘。

步骤S13，根据道路边缘，得到障碍物的位置，位置包括路面及非路面。

依据障碍物相对于道路边缘的位置，可以判断障碍物是否在路面上或在非路面区域。

在一实施例中，根据道路边缘，得到障碍物的位置，位置包括路面及非路面，包括：获取障碍物点集，基于道路边缘确定道路区域，将以道路区域为底面的点云区域划分为路面区域，根据路面区域，将障碍物点集划分为路面障碍物点及非路面障碍物点。

找到路沿并确定了马路范围后，可将整个点云数据分离为四个部分，根据已经分出的地面和障碍物的两个点集，以道路边缘的矩形框为底、形成一个高度不限的区域。利用这个区域进一步把上面地面和障碍物的两个点集分开，得到a-d四个类别：

a、路面地面

b、路面（除地面外）障碍物

c、非路面地面

d、非路面（除地面外）障碍物

其中，障碍物点集被划分为了路面障碍物及非路面障碍物，为后续的障碍物类别检测提供了类别依据。

步骤S14，基于障碍物的位置信息，检测当前帧包含的所有障碍物的类别。

在一实施例中，基于障碍物的位置信息，检测当前帧包含的所有障碍物的类别，包括：获取障碍物的高度；基于障碍物的位置信息及高度，确定检索目标范围；根据检索目标范围，检测障碍物的类别。

其中，障碍物的位置信息及高度均包含一定的先验知识。对于不同区域不同高度范围内，套用先验知识确定检索目标：例如对路面障碍物中高度在2米以下区域进行行人、小汽车、骑行非机动车、骑行摩托车、快递车等目标的检测；对路面障碍物中2米以上区域进行路灯、树木、指示牌等目标的检测；非路面障碍物中的建筑物、垃圾桶等。可以预先划分不同类别障碍物的检测集合。检测算法可以是采用多个体学习(Multiple InstanceLearning，以下简称：MIL)的方法直接预测像素类别。在这个设定下，每个障碍物被认为是一系列像素或者超像素的集合。其中如果集合中有一个元素为正样本则整体输出为正，反之如果集合中的所有元素都为负样本则整体输出为负。也可以采取有监督或无监督的分类算法，例如对路面障碍物类型和非路面障碍物类型各自训练对应的分类或聚类模型。将整个检测场景分类为路面及非路面区域，将需要检测的障碍物通过场景分类为路面及非路面区域的障碍物，通过路面的先验知识，提升了构建路面障碍物和非路面障碍物识别模型的识别精度，进一步提高了障碍物类别整体检测的准确率及效率，该类别结果可以作为预分类标准，将不同种类的障碍物以不同颜色标识，以辅助进一步的准确标注，从而有效地较少人工标注的工作量。

在一实施例中，如图11所示，方法还包括：步骤S15，获取当前帧的下一帧的点云数据；利用卡尔曼滤波对下一帧的点云数据中的障碍物类别进行预测。

由于获取的是连续帧数据，在完成了对当前帧的预分类后，可以对于后续帧可通过卡尔曼滤波将当前帧的分类结果进行预测，路面划分可基本沿用，对于前一帧没有出现过的物体重新进行目标检测。通过对连续帧中障碍物的预测，可以保持结果的一致性，同时进一步减少障碍物检测的工作量，提升整体检测算法的实时性能。

根据本公开实施例的第二方面，如图12所示，提供一种在3D雷达点云连续帧数据中检测障碍物的装置100，装置100包括：地面点集获取单元110，用于采集点云数据连续帧，将当前帧的点云数据划分为地面点集及障碍物点集；道路边缘确定单元120，用于根据地面点集，获取当前帧的道路边缘；位置划分单元130，用于根据道路边缘，得到障碍物的位置，位置包括路面及非路面；检测单元140，用于基于障碍物的位置信息，检测当前帧包含的所有障碍物的类别。

在一实施例中，地面点集获取单元110包括：平面拟合单元，用于通过平面拟合确定点云数据中的基准平面；栅格划分单元，用于将点云数据划分为多个栅格；点云划分单元，用于基于基准平面及栅格确定点云数据中的地面点集及障碍物点集。

在一实施例中，平面拟合单元包括：获取当前帧的点云数据；在点云数据中随机迭代选取三个点形成平面；获取平面的法向量与点云数据的Z轴形成的夹角，保留夹角小于预设倾斜阈值的平面；获取点云数据中位于平面上的点的数量；选择点的数量最多的平面作为基准平面。

在一实施例中，装置100还包括：点云校准单元，用于基于基准平面的法向量与点云数据的Z轴形成的夹角，对点云数据进行校准。

在一实施例中，栅格划分单元包括：获取雷达的行进方向；根据行进方向将点云数据划分为行进区域与其他区域；根据雷达的射线间隔，确定行进区域与其他区域的栅格弧长。

在一实施例中，根据雷达的射线间隔，确定行进区域与其他区域的栅格弧长，包 括：获取间隔c：

，其中h为雷达高度，a、b分别为雷达相邻的两条 射线与地面形成的夹角；行进区域中扇形栅格的弧长为

，其他区域中扇形栅格的弧长 为

。

在一实施例中，点云划分单元包括：基于临近点数量，筛除所有栅格中的离散点；基于栅格中点的最大高度差及平均高度值，逐一筛除所有栅格中的非地面栅格；将基准平面中剩余的点集作为地面点集。

在一实施例中，道路边缘确定单元120包括：获取雷达的行进方向；获取与地面垂直且与行进方向平行的路沿平面；根据路沿平面确定道路边缘。

在一实施例中，道路边缘确定单元120包括：基于栅格高度差及路沿高度阈值，确定与地面平行的路沿平面；根据路沿平面确定道路边缘。

在一实施例中，道路边缘确定单元120包括：基于路沿障碍物的检测结果，确定路沿障碍物之间的距离；根据距离确定道路的宽度及边缘。

在一实施例中，位置划分单元130包括：获取障碍物点集；基于道路边缘确定道路区域，将以道路区域为底面的点云区域划分为路面区域，根据路面区域，将障碍物点集划分为路面障碍物点及非路面障碍物点。

在一实施例中，检测单元140包括：获取障碍物的高度；基于障碍物的位置信息及高度，确定检索目标范围；根据检索目标范围，检测障碍物的类别。

在一实施例中，如图13所示，装置100还包括：预测单元150，用于获取当前帧的下一帧的点云数据；利用卡尔曼滤波对下一帧的点云数据中的障碍物类别进行预测。

参照图14，装置200可以包括以下一个或多个组件：处理组件202，存储器204，电源组件206，多媒体组件208，音频组件210，输入/输出（I/ O）的接口212，传感器组件214，以及通信组件216。

处理组件202通常控制装置200的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件202可以包括一个或多个处理器220来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件202可以包括一个或多个模块，便于处理组件202和其他组件之间的交互。例如，处理组件202可以包括多媒体模块，以方便多媒体组件208和处理组件202之间的交互。

存储器204被配置为存储各种类型的数据以支持在装置200的操作。这些数据的示例包括用于在装置200上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器204可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（SRAM），电可擦除可编程只读存储器（EEPROM），可擦除可编程只读存储器（EPROM），可编程只读存储器（PROM），只读存储器（ROM），磁存储器，快闪存储器，磁盘或光盘。

电源组件206为装置200的各种组件提供电力。电源组件206可以包括电源管理系统，一个或多个电源，及其他与为装置200生成、管理和分配电力相关联的组件。

多媒体组件208包括在所述装置200和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器（LCD）和触摸面板（TP）。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件208包括一个前置摄像头和/或后置摄像头。当装置200处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件210被配置为输出和/或输入音频信号。例如，音频组件210包括一个麦克风（MIC），当装置200处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器204或经由通信组件216发送。在一些实施例中，音频组件210还包括一个扬声器，用于输出音频信号。

I/ O接口212为处理组件202和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件214包括一个或多个传感器，用于为装置200提供各个方面的状态评估。例如，传感器组件214可以检测到装置200的打开/关闭状态，组件的相对定位，例如所述组件为装置200的显示器和小键盘，传感器组件214还可以检测装置200或装置200一个组件的位置改变，用户与装置200接触的存在或不存在，装置200方位或加速/减速和装置200的温度变化。传感器组件214可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件214还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件214还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件216被配置为便于装置300和其他设备之间有线或无线方式的通信。装置200可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件216经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件216还包括近场通信（NFC）模块，以促进短程通信。例如，在NFC模块可基于射频识别（RFID）技术，红外数据协会（IrDA）技术，超宽带（UWB）技术，蓝牙（BT）技术和其他技术来实现。

在示例性实施例中，装置200可以被一个或多个应用专用集成电路（ASIC）、数字信号处理器（DSP）、数字信号处理设备（DSPD）、可编程逻辑器件（PLD）、现场可编程门阵列（FPGA）、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器204，上述指令可由装置200的处理器220执行以完成上述方法。例如，所述计算机可读存储介质可以是ROM、随机存取存储器（RAM）、CD-ROM、磁带、软盘和光数据存储设备等。

图15是根据一示例性实施例示出的一种电子装置300的框图。例如，装置300可以被提供为一服务器。参照图15，装置300包括处理组件322，其进一步包括一个或多个处理器，以及由存储器342所代表的存储器资源，用于存储可由处理组件322的执行的指令，例如应用程序。存储器342中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件322被配置为执行指令，以执行上述方法。

装置300还可以包括一个电源组件326被配置为执行装置300的电源管理，一个有线或无线网络接口350被配置为将装置300连接到网络，和一个输入输出（I/O）接口358。装置300可以操作基于存储在存储器342的操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM, LinuxTM，FreeBSDTM或类似。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (28)

1.一种在3D雷达点云连续帧数据中检测障碍物的方法，其特征在于，所述方法包括：

采集点云数据连续帧，将当前帧的点云数据划分为地面点集及障碍物点集；

根据所述地面点集，获取所述当前帧的道路边缘；

根据所述道路边缘，得到所述障碍物的位置，所述位置包括路面及非路面；

基于所述障碍物的位置信息，检测所述当前帧包含的所有障碍物的类别。

2.根据权利要求1所述的在3D雷达点云连续帧数据中检测障碍物的方法，其特征在于，所述将当前帧的点云数据划分为地面点集及障碍物点集，包括：

通过平面拟合确定所述点云数据中的基准平面；

将所述点云数据划分为多个栅格；

基于所述基准平面及栅格确定所述点云数据中的地面点集及障碍物点集。

3.根据权利要求2所述的在3D雷达点云连续帧数据中检测障碍物的方法，其特征在于，所述通过平面拟合确定所述点云数据中的基准平面，包括：

获取所述当前帧的点云数据；

在所述点云数据中随机迭代选取三个点形成平面；

获取所述平面的法向量与所述点云数据的Z轴形成的夹角，保留所述夹角小于预设倾斜阈值的平面；

获取点云数据中位于所述平面上的点的数量；

选择所述点的数量最多的平面作为基准平面。

4.根据权利要求2所述的在3D雷达点云连续帧数据中检测障碍物的方法，其特征在于，在所述通过平面拟合确定所述点云数据中的基准平面的步骤之后，方法还包括：

基于所述基准平面的法向量与所述点云数据的Z轴形成的夹角，对所述点云数据进行校准。

5.根据权利要求2所述的在3D雷达点云连续帧数据中检测障碍物的方法，其特征在于，所述将所述点云数据划分为多个栅格，包括：

获取所述雷达的行进方向；

根据所述行进方向将所述点云数据划分为行进区域与其他区域；

根据所述雷达的射线间隔，确定所述行进区域与其他区域的栅格弧长。

6.根据权利要求5所述的在3D雷达点云连续帧数据中检测障碍物的方法，其特征在于，所述根据所述雷达的射线间隔，确定所述行进区域与其他区域的栅格弧长，包括：

获取所述间隔c：

，其中h为所述雷达高度，a、b分别为所述雷达相邻的两条射线与地面形成的夹角；

所述行进区域中扇形栅格的弧长为

，所述其他区域中扇形栅格的弧长为

。

7.根据权利要求2所述的在3D雷达点云连续帧数据中检测障碍物的方法，其特征在于，所述基于所述基准平面及栅格确定点云数据中的地面点集，包括：

基于临近点数量，筛除所有栅格中的离散点；

基于栅格中点的最大高度差及平均高度值，逐一筛除所有栅格中的非地面栅格；

将所述基准平面中剩余的点集作为所述地面点集。

8.根据权利要求1所述的在3D雷达点云连续帧数据中检测障碍物的方法，其特征在于，所述根据所述地面点集，获取所述当前帧的道路边缘，包括：

获取所述雷达的行进方向；

获取与所述地面垂直且与行进方向平行的路沿平面；

根据所述路沿平面确定所述道路边缘。

9.根据权利要求2所述的在3D雷达点云连续帧数据中检测障碍物的方法，其特征在于，所述根据所述地面点集，获取所述当前帧的道路边缘，包括：

基于栅格高度差及路沿高度阈值，确定与所述地面平行的路沿平面；

根据所述路沿平面确定所述道路边缘。

10.根据权利要求1所述的在3D雷达点云连续帧数据中检测障碍物的方法，其特征在于，所述根据所述地面点集，获取所述当前帧的道路边缘，包括：

基于路沿障碍物的检测结果，确定所述路沿障碍物之间的距离；

根据所述距离确定所述道路的宽度及边缘。

11.根据权利要求1所述的在3D雷达点云连续帧数据中检测障碍物的方法，其特征在于，所述根据所述道路边缘，得到所述障碍物的位置，所述位置包括路面及非路面，包括：

获取所述障碍物点集；

基于所述道路边缘确定道路区域，将以所述道路区域为底面的点云区域划分为路面区域；

根据所述路面区域，将所述障碍物点集划分为路面障碍物点及非路面障碍物点。

12.根据权利要求1所述的在3D雷达点云连续帧数据中检测障碍物的方法，其特征在于，所述基于所述障碍物的位置信息，检测所述当前帧包含的所有障碍物的类别，包括：

获取所述障碍物的高度；

基于所述障碍物的位置信息及高度，确定检索目标范围；

根据所述检索目标范围，检测所述障碍物的类别。

13.根据权利要求1所述的在3D雷达点云连续帧数据中检测障碍物的方法，其特征在于，所述方法还包括：

获取当前帧的下一帧的点云数据；

利用卡尔曼滤波对所述下一帧的点云数据中的障碍物类别进行预测。

14.一种在3D雷达点云连续帧数据中检测障碍物的装置，其特征在于，所述装置包括：

地面点集获取单元，用于采集点云数据连续帧，将当前帧的点云数据划分为地面点集及障碍物点集；

道路边缘确定单元，用于根据所述地面点集，获取所述当前帧的道路边缘；

位置划分单元，用于根据所述道路边缘，得到所述障碍物的位置，所述位置包括路面及非路面；

检测单元，用于基于所述障碍物的位置信息，检测所述当前帧包含的所有障碍物的类别。

15.根据权利要求14所述的在3D雷达点云连续帧数据中检测障碍物的装置，其特征在于，所述地面点集获取单元包括：

平面拟合单元，用于通过平面拟合确定所述点云数据中的基准平面；

栅格划分单元，用于将所述点云数据划分为多个栅格；

点云划分单元，用于基于所述基准平面及栅格确定所述点云数据中的地面点集及障碍物点集。

16.根据权利要求15所述的在3D雷达点云连续帧数据中检测障碍物的装置，其特征在于，所述平面拟合单元包括：

获取所述当前帧的点云数据；

在所述点云数据中随机迭代选取三个点形成平面；

获取所述平面的法向量与所述点云数据的Z轴形成的夹角，保留所述夹角小于预设倾斜阈值的平面；

获取点云数据中位于所述平面上的点的数量；

选择所述点的数量最多的平面作为基准平面。

17.根据权利要求15所述的在3D雷达点云连续帧数据中检测障碍物的装置，其特征在于，所述装置还包括：

点云校准单元，用于基于所述基准平面的法向量与所述点云数据的Z轴形成的夹角，对所述点云数据进行校准。

18.根据权利要求15所述的在3D雷达点云连续帧数据中检测障碍物的装置，其特征在于，所述栅格划分单元包括：

获取所述雷达的行进方向；

根据所述行进方向将所述点云数据划分为行进区域与其他区域；

根据所述雷达的射线间隔，确定所述行进区域与其他区域的栅格弧长。

19.根据权利要求18所述的在3D雷达点云连续帧数据中检测障碍物的装置，其特征在于，所述根据所述雷达的射线间隔，确定所述行进区域与其他区域的栅格弧长，包括：

获取所述间隔c：

，其中h为所述雷达高度，a、b分别为所述雷达相邻的两条射线与地面形成的夹角；

所述行进区域中扇形栅格的弧长为

，所述其他区域中扇形栅格的弧长为

。

20.根据权利要求15所述的在3D雷达点云连续帧数据中检测障碍物的装置，其特征在于，所述点云划分单元包括：

基于临近点数量，筛除所有栅格中的离散点；

基于栅格中点的最大高度差及平均高度值，逐一筛除所有栅格中的非地面栅格；

将所述基准平面中剩余的点集作为所述地面点集。

21.根据权利要求14所述的在3D雷达点云连续帧数据中检测障碍物的装置，其特征在于，所述道路边缘确定单元包括：

获取所述雷达的行进方向；

获取与所述地面垂直且与行进方向平行的路沿平面；

根据所述路沿平面确定所述道路边缘。

22.根据权利要求15所述的在3D雷达点云连续帧数据中检测障碍物的装置，其特征在于，所述道路边缘确定单元包括：

基于栅格高度差及路沿高度阈值，确定与所述地面平行的路沿平面；

根据所述路沿平面确定所述道路边缘。

23.根据权利要求14所述的在3D雷达点云连续帧数据中检测障碍物的装置，其特征在于，所述道路边缘确定单元包括：

基于路沿障碍物的检测结果，确定所述路沿障碍物之间的距离；

根据所述距离确定所述道路的宽度及边缘。

24.根据权利要求14所述的在3D雷达点云连续帧数据中检测障碍物的装置，其特征在于，所述位置划分单元包括：

获取所述障碍物点集；

基于所述道路边缘确定道路区域，将以所述道路区域为底面的点云区域划分为路面区域；

根据所述路面区域，将所述障碍物点集划分为路面障碍物点及非路面障碍物点。

25.根据权利要求14所述的在3D雷达点云连续帧数据中检测障碍物的装置，其特征在于，所述检测单元包括：

获取所述障碍物的高度；

基于所述障碍物的位置信息及高度，确定检索目标范围；

根据所述检索目标范围，检测所述障碍物的类别。

26.根据权利要求14所述的在3D雷达点云连续帧数据中检测障碍物的装置，其特征在于，所述装置还包括：预测单元，

用于获取当前帧的下一帧的点云数据；

利用卡尔曼滤波对所述下一帧的点云数据中的障碍物类别进行预测。

27.一种电子设备，其特征在于，包括：

存储器，用于存储指令；以及

处理器，用于调用所述存储器存储的指令执行如权利要求1至13中任一项所述的在3D雷达点云连续帧数据中检测障碍物的方法。

28.一种计算机可读存储介质，其特征在于，存储有指令，所述指令被处理器执行时，执行如权利要求1至13中任一项所述的在3D雷达点云连续帧数据中检测障碍物的方法。

Images