CN116047540A - 基于点云强度信息的激光雷达自遮挡判断的方法及装置 - Google Patents

Abstract

本发明公开了一种基于点云强度信息的激光雷达自遮挡判断的方法及装置，该方法包括：接收激光雷达扫描的点云数据，其中包括点云坐标和点云强度，识别数据中的目标以及各目标的点云强度信息；跟踪每一帧数据中的目标以及各目标的点云强度信息，并将点云强度信息和点云在激光雷达表面的投影坐标结合，生成各目标的点云强度轨迹图；当同一目标的点云强度在预设时间内降低超过阈值，判断激光雷达表面存在遮挡，根据点云在激光雷达表面的投影关系确定遮挡位置并对遮挡进行清洗。

Description

基于点云强度信息的激光雷达自遮挡判断的方法及装置

技术领域

本发明涉及自动驾驶技术领域，特别是关于一种基于点云强度信息的激光雷达自遮挡判断的方法及装置。

背景技术

当前自动驾驶技术感知系统中主要包含分割、检测、跟踪、预测等多个模块子系统。环境感知作为自动驾驶全系统的“眼睛”，是十分关键的一环。环境感知使用传感器主要包含毫米波雷达、摄像头、激光雷达、超声波雷达等传感器。其中，激光雷达能够直接获取外界环境三维信息，对于后续检测、跟踪等功能十分有利；同时激光雷达作为主动传感器，能够适用于多种环境。

传感器工况受到较大的挑战时，输出结果将会变得极为不稳定。特别地，当激光雷达表面存在细小灰尘产生遮挡时，输出点云信息将会受到较大的威胁。因此，如何确保激光雷达正常工作是当前急需解决的一个问题。

发明内容

本发明的目的在于提供一种基于点云强度信息的激光雷达表面遮挡判断的方法及装置，来克服或至少减轻现有技术的上述缺陷中的至少一个。

为实现上述目的，本发明提供一种基于点云强度信息的激光雷达自遮挡判断的方法，包括：

接收激光雷达扫描的点云数据，其中包括点云坐标和点云强度，识别数据中的目标以及各目标的点云强度信息；

跟踪每一帧数据中的目标以及各目标的点云强度信息，并将点云强度信息和点云在激光雷达表面的投影坐标结合，生成各目标的点云强度轨迹图；

当同一目标的点云强度在预设时间内降低超过阈值，判断激光雷达表面存在遮挡，根据点云在激光雷达表面的投影关系确定遮挡位置并对遮挡进行清洗。

优选的，识别数据中的目标包括：

利用预训练好的深度学习检测模型，识别数据中的目标。

优选的，将点云强度信息和点云在激光雷达表面的投影坐标结合，生成各目标的点云强度轨迹图，包括：

以激光雷达水平面的前方为x轴正方向，右侧为y轴正方向，竖直向上为z轴正方向，每一个点云的数据包括(x,y,z,r)，其中，r表示点云强度；

点云在激光雷达表面的投影坐标表示为(α,β)，其中，α为点云在水平面相对原点的偏角，β为点云在竖直方向相对原点的偏角；

生成各目标的时序跟踪信息，结合各目标的点云强度信息(r)以及点云在激光雷达表面的投影坐标(α,β)，生成各目标的点云强度轨迹图。

优选的，当同一目标的点云强度在预设时间内降低超过阈值，判断激光雷达表面存在遮挡，包括：

若当前帧中目标的点云强度比上一帧中目标的点云强度的降低量超过阈值，则判断激光雷达表面存在遮挡。

本发明还提供一种基于点云强度信息的激光雷达自遮挡判断的装置，包括：

目标检测模块，用于接收激光雷达扫描的点云数据，其中包括点云坐标和点云强度，识别数据中的目标以及各目标的点云强度信息；

目标跟踪模块，用于跟踪每一帧数据中的目标以及各目标的点云强度信息，并将点云强度信息和点云在激光雷达表面的投影坐标结合，生成各目标的点云强度轨迹图；

判断模块，用于当同一目标的点云强度在预设时间内降低超过阈值，判断激光雷达表面存在遮挡，根据点云在激光雷达表面的投影关系确定遮挡位置；

清洗模块，用于根据确定的遮挡位置对遮挡进行清洗。

优选的，目标检测模块用于：

利用预训练好的深度学习检测模型，识别数据中的目标。

优选的，目标跟踪模块用于：

设置激光雷达水平面的前方为x轴正方向，右侧为y轴正方向，竖直向上为z轴正方向，每一个点云的数据包括(x,y,z,r)，其中，r表示点云强度；

将点云在激光雷达表面的投影坐标表示为(α,β)，其中，α为点云在水平面相对原点的偏角，β为点云在竖直方向相对原点的偏角；

生成各目标的时序跟踪信息，结合各目标的点云强度信息(r)以及点云在激光雷达表面的投影坐标(α,β)，生成各目标的点云强度轨迹图。

优选的，判断模块用于：

若当前帧中目标的点云强度比上一帧中目标的点云强度的降低量超过阈值，则判断激光雷达表面存在遮挡。

本发明由于采取以上技术方案，其具有以下优点：

本发明提供的方案，通过实时接收激光雷达的扫描数据，跟踪并检测目标的点云强度信息来判断是否存在表面遮挡，未对具体使用场景做出限制，适用于大多数能够使用激光雷达收集数据的场景中，能够使激光雷达工作稳定，激光雷达载体正常运行，提高设备安全性和可靠性，提高工作效率。

附图说明

图1为本发明实施例提供的一种基于点云强度信息的激光雷达自遮挡判断的方法的流程示意图。

图2是本发明一示例提供的点云强度轨迹图的生成过程。

图3为本发明实施例提供的一种基于点云强度信息的激光雷达自遮挡判断的装置的结构示意图。

具体实施方式

在附图中，使用相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面结合附图对本发明的实施例进行详细说明。

在本发明的描述中，术语“中心”、“纵向”、“横向”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明保护范围的限制。

在不冲突的情况下，本发明各实施例及各实施方式中的技术特征可以相互组合，并不局限于该技术特征所在的实施例或实施方式中。

下面结合附图以及具体实施例对本发明做进一步的说明，需要指出的是，下面仅以一种最优化的技术方案对本发明的技术方案以及设计原理进行详细阐述，但本发明的保护范围并不仅限于此。

本文涉及下列术语，为便于理解，对其含义说明如下。本领域技术人员应当理解，下列术语也可能有其它名称，但在不脱离其含义的情形下，其它任何名称都应当被认为与本文所列术语一致。

本实施例提供一种基于点云强度信息的激光雷达自遮挡判断的方法，应用于车辆的激光雷达清晰装置，如图1所示，该方法包括：

步骤11，接收激光雷达扫描的点云数据，其中包括点云坐标和点云强度，识别数据中的目标以及各目标的点云强度信息。

在一种实施方式中，识别数据中的目标包括：利用预训练好的深度学习检测模型，识别数据中的目标。

在一种实施方式中，激光雷达采集得到带有点云坐标和强度的原始点云数据。首先，将该原始点云数据转换为鸟瞰图(BEV视角)。

其中，以激光雷达水平面的前方为x轴正方向，右侧为y轴正方向，竖直向上为z轴正方向，每一个点云的数据包括(x,y,z,r)，其中，r表示点云强度。

该原始点云数据转换为鸟瞰图的具体过程可以包括：

将点云信息(x,y,z,r)在竖直方向上压缩投影至水平面，获得水平面点云信息(x,y)。根据水平点云信息进行栅格划分，栅格大小以及栅格形状可以根据实际需要灵活调整，本文对此不做限定。将划分得到的栅格结合内部水平点云对应的高度信息以及强度信息生成各个栅格对应的高度和强度信息。最终得到的栅格信息即为鸟瞰图信息。

然后，确定鸟瞰图中的目标。目标的类别主要包含当前使用场景中存在的主要目标类别，例如为车辆、行人、卡车、自行车、路障等等。确定鸟瞰图中的目标使用的是预训练好的深度学习检测模型。例如，使用人工标注数据集对深度学习检测模型进行训练，直至最终收敛在一定范围内，满足使用情况的效果。

步骤12，跟踪每一帧数据中的目标以及各目标的点云强度信息，并将点云强度信息和点云在激光雷达表面的投影坐标结合，生成各目标的点云强度轨迹图。

其中，将点云强度信息和点云在激光雷达表面的投影坐标结合，生成各目标的点云强度轨迹图，包括：

以激光雷达水平面的前方为x轴正方向，右侧为y轴正方向，竖直向上为z轴正方向，每一个点云的数据包括(x,y,z,r)，其中，r表示点云强度；

点云在激光雷达表面的投影坐标表示为(α,β)，其中，α为点云在水平面相对原点的偏角，β为点云在竖直方向相对原点的偏角；

生成各目标的时序跟踪信息，结合各目标的点云强度信息(r)以及点云在激光雷达表面的投影坐标(α,β)，生成各目标的点云强度轨迹图。

步骤13，当同一目标的点云强度在预设时间内降低超过阈值，判断激光雷达表面存在遮挡，根据点云在激光雷达表面的投影关系确定遮挡位置并对遮挡进行清洗。

在一种实施方式中，若当前帧中目标的点云强度比上一帧中目标的点云强度的降低量超过阈值，则判断激光雷达表面存在遮挡。

下面结合图2通过一示例说明步骤12中点云强度轨迹图的生成过程。

跟踪得到的目标信息可以包括目标类别、目标标识(ID)以及目标内(例如指示目标的包围框内)的点云强度信息，也可以不包括目标类别。

如图2所示，假设激光雷达水平面的前方为x轴正方向，右侧为y轴正方向，竖直向上为z轴正方向；如下式1，通过比较同一个点云的x与y坐标可以得到该点云在水平面相对原点的偏角α；

如下式2，比较点云的z轴坐标和点云投影在水平面相对原点的距离得到点云在竖直方向相对原点的偏角β。

得到的两个偏角(α,β)即为点云坐标(x,y,z)对应在激光雷达表面的位置信息。

将点云强度信息(r)和点云在激光雷达表面的投影坐标(α,β)结合即可生成点云的强度轨迹图，同样的，可以生成目标内点云的强度轨迹图。当存在多个目标时，多个目标对应得到多个目标内点云强度轨迹图。

下面结合图2说明激光雷达表面存在遮挡的判断过程。

当激光雷达表面存在半透明以及透明遮挡时，激光点云强度将由于遮挡受到影响，具体表现为强度值相对下降。如图2所示，其中T₀、T₁、T₂、T₃为同一目标时序上的四个激光点，其中颜色较深的代表点云强度较大。根据式1、式2将T₀、T₁、T₂、T₃四个点投影在激光雷达表面，生成点云强度轨迹图，对应轨迹图坐标分别为(0,β₀,r₀)、(α₁,β₁,r₁)、(α₂,β₂,r₂)、(α₃,β₃,r₃)。特别地，假设T₁比T₀强度信息陡降超过20％，即T₁点云对应在激光雷达表面的位置(α₁,β₁,r₁)处存在遮挡，且(α₁,β₁)为激光雷达遮挡的起始位置；同样地，假设T₃比T₂强度信息陡增20％，说明T₂点云对应在激光雷达表面的位置(α₂,β₂,r₂)处依然存在遮挡，但T₃点云对应在激光雷达表面位置(α₃,β₃,r₃)处遮挡已经消失，即(α₂,β₂)为激光雷达遮挡的结束位置。

点云强度陡降20％时判断存在遮挡只是示例，陡降阈值可以根据实际需要灵活设置。

根据上述判断得到的激光雷达遮挡的起始位置和结束位置，确定遮挡位置，还可以确定遮挡形状信息，进而对激光雷达进行清洗。例如，根据遮挡位置信息选择就近清洗介质出口并调整清洗介质的出口角度使得清洗介质能够直接对遮挡位置进行清洗。可以选择气、液等单介质或混合介质进行清洗操作；可以选择多个喷头的设计或选择密集孔型清洗介质出口；以上清洗介质以及介质出口设计仅作示例方法。

本发明实施例提供一种基于点云强度信息的激光雷达自遮挡判断的装置，用于实现上述任意实施方式及示例中提供的方法，该装置的各模块与方法中相应操作对应，如图3所示，该装置可以包括：

目标检测模块31，用于接收激光雷达扫描的点云数据，其中包括点云坐标和点云强度，识别数据中的目标以及各目标的点云强度信息；

目标跟踪模块32，用于跟踪每一帧数据中的目标以及各目标的点云强度信息，并将点云强度信息和点云在激光雷达表面的投影坐标结合，生成各目标的点云强度轨迹图；

判断模块33，用于当同一目标的点云强度在预设时间内降低超过阈值，判断激光雷达表面存在遮挡，根据点云在激光雷达表面的投影关系确定遮挡位置；

清洗模块34，用于根据确定的遮挡位置对遮挡进行清洗。

其中，目标检测模块31可以用于：利用预训练好的深度学习检测模型，识别数据中的目标。

其中，目标跟踪模块32用于：

设置激光雷达水平面的前方为x轴正方向，右侧为y轴正方向，竖直向上为z轴正方向，每一个点云的数据包括(x,y,z,r)，其中，r表示点云强度；

将点云在激光雷达表面的投影坐标表示为(α,β)，其中，α为点云在水平面相对原点的偏角，β为点云在竖直方向相对原点的偏角；

生成各目标的时序跟踪信息，结合各目标的点云强度信息(r)以及点云在激光雷达表面的投影坐标(α,β)，生成各目标的点云强度轨迹图。

其中，判断模块33用于：

若当前帧中目标的点云强度比上一帧中目标的点云强度的降低量超过阈值，则判断激光雷达表面存在遮挡。

本发明提供的方案，通过实时接收激光雷达的扫描数据，跟踪并检测目标的点云强度信息来判断是否存在表面遮挡，未对具体使用场景做出限制，适用于大多数能够使用激光雷达收集数据的场景中，能够使激光雷达工作稳定，激光雷达载体正常运行，提高设备安全性和可靠性，提高工作效率。

最后需要指出的是：以上实施例仅用以说明本发明的技术方案，而非对其限制。本领域的普通技术人员应当理解：可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种基于点云强度信息的激光雷达自遮挡判断的方法，其特征在于，包括：

接收激光雷达扫描的点云数据，其中包括点云坐标和点云强度，识别数据中的目标以及各目标的点云强度信息；

跟踪每一帧数据中的目标以及各目标的点云强度信息，并将点云强度信息和点云在激光雷达表面的投影坐标结合，生成各目标的点云强度轨迹图；

当同一目标的点云强度在预设时间内降低超过阈值，判断激光雷达表面存在遮挡，根据点云在激光雷达表面的投影关系确定遮挡位置并对遮挡进行清洗。

2.根据权利要求1所述的基于点云强度信息的激光雷达自遮挡判断的方法，其特征在于，识别数据中的目标包括：

利用预训练好的深度学习检测模型，识别数据中的目标。

3.根据权利要求1或2所述的基于点云强度信息的激光雷达自遮挡判断的方法，其特征在于，将点云强度信息和点云在激光雷达表面的投影坐标结合，生成各目标的点云强度轨迹图，包括：

以激光雷达水平面的前方为x轴正方向，右侧为y轴正方向，竖直向上为z轴正方向，每一个点云的数据包括(x,y,z,r)，其中，r表示点云强度；

点云在激光雷达表面的投影坐标表示为(α,β)，其中，α为点云在水平面相对原点的偏角，β为点云在竖直方向相对原点的偏角；

生成各目标的时序跟踪信息，结合各目标的点云强度信息(r)以及点云在激光雷达表面的投影坐标(α,β)，生成各目标的点云强度轨迹图。

4.根据权利要求3所述的基于点云强度信息的激光雷达自遮挡判断的方法，其特征在于，当同一目标的点云强度在预设时间内降低超过阈值，判断激光雷达表面存在遮挡，包括：

若当前帧中目标的点云强度比上一帧中目标的点云强度的降低量超过阈值，则判断激光雷达表面存在遮挡。

5.一种基于点云强度信息的激光雷达自遮挡判断的装置，其特征在于，包括：

目标检测模块，用于接收激光雷达扫描的点云数据，其中包括点云坐标和点云强度，识别数据中的目标以及各目标的点云强度信息；

目标跟踪模块，用于跟踪每一帧数据中的目标以及各目标的点云强度信息，并将点云强度信息和点云在激光雷达表面的投影坐标结合，生成各目标的点云强度轨迹图；

判断模块，用于当同一目标的点云强度在预设时间内降低超过阈值，判断激光雷达表面存在遮挡，根据点云在激光雷达表面的投影关系确定遮挡位置；

清洗模块，用于根据确定的遮挡位置对遮挡进行清洗。

6.根据权利要求5所述的基于点云强度信息的激光雷达自遮挡判断的装置，其特征在于，目标检测模块用于：

利用预训练好的深度学习检测模型，识别数据中的目标。

7.根据权利要求5或6所述的基于点云强度信息的激光雷达自遮挡判断的装置，其特征在于，目标跟踪模块用于：

设置激光雷达水平面的前方为x轴正方向，右侧为y轴正方向，竖直向上为z轴正方向，每一个点云的数据包括(x,y,z,r)，其中，r表示点云强度；

将点云在激光雷达表面的投影坐标表示为(α,β)，其中，α为点云在水平面相对原点的偏角，β为点云在竖直方向相对原点的偏角；

生成各目标的时序跟踪信息，结合各目标的点云强度信息(r)以及点云在激光雷达表面的投影坐标(α,β)，生成各目标的点云强度轨迹图。

8.根据权利要求7所述的基于点云强度信息的激光雷达自遮挡判断的装置，其特征在于，判断模块用于：

若当前帧中目标的点云强度比上一帧中目标的点云强度的降低量超过阈值，则判断激光雷达表面存在遮挡。

Images