CN116259028A - 用于激光雷达的异常场景检测方法、电子设备和存储介质 - Google Patents

Abstract

本公开提供一种用于激光雷达的异常场景检测方法、电子设备和存储介质，所述方法包括：对激光雷达获得的点云数据进行预处理；基于预处理后的点云数据，获得目标检测数据；检测所述目标检测数据存在的异常场景，并且针对存在异常场景的帧数据，赋予描述所述异常场景的信息标签，统计并存储所述信息标签。根据本方法可以有效降低人工挖掘并标注异常场景激光雷达点云数据的工作量，提升算法和模型的迭代效率，从而提高自动驾驶系统的感知性能。

Description

用于激光雷达的异常场景检测方法、电子设备和存储介质

技术领域

本公开属于智能驾驶控制领域，尤其涉及一种用于激光雷达的异常场景检测方法、电子设备和存储介质。

背景技术

激光雷达（LiDAR）系统常用于通过发射激光束探测可能目标的位置、速度等特征量。与普通雷达对比，激光雷达具有分辨率高、精度好、抗干扰能力强、获取信息丰富等特点。在自动驾驶或智能驾驶中，激光雷达扮演了重要的三维环境感知角色，同时也是高精地图三维数据的主要获取手段。与摄像头提供的二维信息相比，激光雷达能够提供三维以上的信息，从而能通过提供更加丰富的信息来提升车辆的环境感知能力。

激光雷达系统在对所获取的三维点云数据进行处理的过程中，经常使用感知算法，例如传统机器学习（ML）辅以高精度地图和定位信息、深度学习(DL)、或者前述两者的结合，获取可能目标的几何位置信息和语义特征等。无论是传统机器学习或者是深度学习，都需要大量的场景数据来完善感知算法（如训练深度神经网络），尤其是关于可能存在的异常场景（corner case）的数据。目前，激光雷达异常场景数据的主要获取方式是通过数据管理模块，在路测或者运营的过程中将三维点云数据实时上传云端，根据系统日志或人工记录的方式来发现点云数据中的异常场景，然后对云端的数据进行回放切片。这种方式效率较低、场景错漏明显，所以有必要寻找新的激光雷达场景挖掘方法。

发明内容

本公开针对现有技术的缺陷，提供一种创新的用于激光雷达的异常场景检测方法，所述方法包括：

对激光雷达获得的点云数据进行预处理；

基于预处理后的点云数据，获得目标检测数据；

检测所述目标检测数据存在的异常场景，并且针对存在异常场景的帧数据，赋予描述所述异常场景的信息标签，统计并存储所述信息标签。

根据上述方案，在将带有信息标签的数据存储到流量云端系统后，算法工程师可以从客户端通过标签等信息查询异常场景数据用于训练算法模型，以降低人工挖掘并标注异常场景的工作量。

在一个或多个实施例中，针对所述目标检测数据的数据流，设置固定大小的采样窗口，所述采样窗口设置有用于判断当前帧数据存在异常场景的判断规则。

在一个或多个实施例中，分别利用传统机器学习算法和深度学习算法获取相应的目标检测数据。

在一个或多个实施例中，将利用传统机器学习算法获取的目标检测数据与利用深度学习算法获取的目标检测数据进行比较，当两者不一致时，确定存在异常场景。

在一个或多个实施例中，基于传统机器学习算法目标检测数据中的目标列表和深度学习算法目标检测数据中的目标列表，分别计算所有目标的边界框关联矩阵，再根据所述边界框关联矩阵进行目标匹配而获得差异目标，该差异目标即为异常场景。

在一个或多个实施例中，将利用深度学习算法获得的目标检测数据与高精地图数据进行比较，当两者不一致时，判定存在异常场景。

在一个或多个实施例中，针对所述目标检测数据中的特征量，将所述特征量在当前帧数据中的数值与在历史帧数据中的数值进行比较，当所述特征量的差值超出预设阈值时，判定存在异常场景。

在一个或多个实施例中，根据关于历史帧数据的历史检测目标列表和关于当前帧数据的当前检测目标列表，分别计算所有目标的边界框关联矩阵，并根据所述边界框关联矩阵进行匹配以获取并更新匹配目标特征量，当更新的匹配目标特征量相比历史检测目标列表中的对应目标特征量的差值超出预设阈值时，判定存在异常场景。

本公开还提供一种电子设备，包括：

处理器；

存储器，其存储由所述处理器执行的指令；

其中，所述指令被所述处理器执行时实现如上所述的方法。

本公开还提供一种存储介质，所述存储介质存储应用程序，当所述应用程序被处理器执行时，实现如上所述的方法。

附图说明

图1例示了一种用于智能驾驶的例示性激光雷达数据处理系统。

图2例示了一种用于智能驾驶的例示性激光雷达数据处理方法的流程图。

图3例示了一种用于激光雷达的异常场景检测方法的流程图。

图4例示了另一种异常场景检测方法的流程图。

图5例示了另一种异常场景检测方法的流程图。

图6例示了另一种异常场景检测方法的流程图。

具体实施方式

为进一步描述本公开的相关内容，以下将结合多个实施例及附图，对技术方案进行描述。所描述的内容仅涉及部分实施例，并且基于所描述的实施例，本领域技术人员在无需创造性劳动的前提下，能够想到所述实施例的其他未描述的相关内容或者类似实施例。

图1示出了一种用于智能驾驶的例示性激光雷达数据处理系统100，其包括：数据接收模块110、感知模块120、数据管理模块130等，其中感知模块120包括预处理子模块121、目标检测子模块122、后处理子模块123等。所述数据接收模块110例如接收有关自车运动信息、高精地图和激光雷达点云等各类数据，发送至感知模块120。感知模块120的预处理子模块121对所述数据（主要是其中的激光雷达点云）进行各类预处理，之后由目标检测子模块122获取可能目标的各类目标信息数据，之后再进入后处理子模块123进行例如滤波、生命周期管理等处理。经由上述处理后的数据通过数据管理模块130被存储，以备后续的其他处理，例如数据搜索、查询、切片、模型训练、融合等等。

图2示出了一种用于智能驾驶的例示性激光雷达数据处理方法200的流程图。如图2所示，所述方法200包括如下步骤中的部分、全部甚至额外的其他步骤。

S210：预处理步骤，该预处理步骤包括对激光雷达获得的点云数据以及其他可能的数据进行预处理。如图2所示，高精地图、自车运动信息以及激光雷达点云等其他数据在例如在预处理子模块中接受如下一种或多种甚至更多的未列出的处理：错误帧过滤，例如包括根据点数和时间戳等条件判断当前帧是否合法；预变换，例如包括主激光雷达和辅助激光雷达的点云被转换到车体坐标系；自车速度补偿，例如包括点云帧根据自车运动状态做运动学补偿；自车运动补偿，例如包括点云帧根据自车速度做速度补偿。

S220：目标检测步骤，该步骤包括基于经所述预处理后的数据，进一步在例如目标检测子模块中进行目标检测。如图2所示，所述目标检测步骤S220例如分别进行传统机器学习处理和深度学习处理，以获得目标检测数据。所述传统机器学习处理主要是使用无监督的机器学习算法（PCA, DBSCAN等）进行感兴趣区域滤波、地面分割、路沿分割、目标聚类、生成数据目标的边界框(BoundingBox)、尺寸、位置和速度等信息。所述深度学习处理主要利用卷积神经网络等对可能目标进行检测，例如包括：目标检测、车道线检测、输出目标边界框、输出车道线路沿边界框等。关于所述利用传统机器学习和深度学习对激光雷达点云数据进行目标检测，本领域现有技术中还存在众多可行的其他技术方案供选择使用，在此不再赘述。

S230：后处理步骤，该步骤包括对经感知处理步骤（目标检测步骤）获得的目标检测数据进一步接受后处理步骤，以检测所述目标检测数据中存在的异常场景。如图2所示，所述目标检测步骤S220例如在后处理子模块接受如下的一种或多种处理：将传统机器学习算法的检测结果和深度学习的输出目标进行融合；目标检测结果跟踪和生命周期管理；车道线路沿检测结果滤波及拟合；异常场景挖掘；感知结果汇总等。经所述后处理步骤获得的感知结果将被输出以备后续的其他处理，例如数据搜索、查询、切片、模型训练、融合等等。

在一个或多个实施例中，所述后处理步骤中的异常场景挖掘例如包括：检测所述目标检测数据中存在的异常场景，并且针对存在异常场景的帧数据，赋予描述所述异常场景的信息标签，统计并存储所述信息标签。

所述异常场景例如可以包括如下一种或多种：

隧道；

收费站；

道路类型：正常道路、匝道、连接匝道、进入/退出服务区的道路；

道路等级：高速公路、城市快速路、普通道路（高速和城市快速路之外的都归为普通道路）；

车道类型：普通车道、入口车道、出口车道、进入匝道、退出匝道、应急车道、紧急停车道、连接匝道、左加速车道、左减速车道、右加速车道、右减速车道等；

桥梁：高架桥、跨河桥、立交桥等。

图3示出了一种例示性的异常场景检测方法300的流程图。如图3所示，所述检测方法300包括如下步骤中的部分、全部甚至额外的其他步骤。

S310：设置采样窗口。如图3所示，在一个或多个实施例中，例如可以在后处理子模块设置数据埋点，其包括固定大小的采样窗口，该采样窗口被设置为适合检测的单帧数据最大例如为40000点云，并且该采样窗口设置有异常场景判定规则或者规则集合。

S320：统计异常帧。如图3所示，在检测的过程中，所述采样窗口读取关于目标检测数据的数据流，并依据预设的判断规则或规则集合确定所述数据流中可能存在的异常场景，并且针对确定有异常场景的帧数据，赋予描述所述异常场景的信息标签。

S330：组装标签信息。如图3所示，随着三维数据的不断输入，采样窗口获取整个数据帧的异常统计和打包。通过对激光雷达的每一帧数据加入标签，加入标签的数据例如通过数据管理模块同步存入到云端的数据中，并设定相应规则自动数据切片。

在将带有信息标签的数据存储到流量云端系统后，算法工程师可以从客户端通过标签等信息查询异常场景数据用于训练算法模型，以降低人工挖掘并标注异常场景的工作量。通过异常场景数据来驱动算法模型的迭代，可以进一步完善和优化异常场景判定规则和判定精度，使得新的算法模型交付速度和量产速度得以提升，从而整体提高自动驾驶系统的性能和市场竞争力。

图4例示了又一种异常场景检测方法400，其对利用传统机器学习算法和深度学习算法分别获取的目标检测数据（目标列表）进行比较，当两者不一致时，确定存在异常场景。如图4所示，在一个或多个实施例中，所述异常场景检测方法400包括如下步骤中的部分、全部甚至额外的其他步骤。

S410：获取传统机器学习算法目标列表和深度学习算法目标列表，所述列表分别包括利用传统感知算法和深度学习算法获取的相应的目标检测数据。

S420：基于传统机器学习算法目标列表和深度学习算法目标列表，计算所有目标边界框关联矩阵，例如计算边界框广义3D交并比建立关联。

S430：确定差异目标列表，作为异常场景。例如根据例如匈牙利匹配，得到差异目标列表，差异目标列表呈现的是基于传统机器学习算法目标列表和深度学习算法目标列表中未获得匹配的目标，该差异目标即为异常场景。

此检测方法尤其可识别汽车、卡车，交通锥、行人等异常场景。例如，假设深度学习目标列表中检测出了某一个行人，将该行人的边界框分别与传统机器学习算法输出的所有目标的边界框计算广义交并比，如果计算值低于设定的阈值，则判定该行人为异常场景。

图5例示了另一种例示性的异常场景检测方法500。如图5所示，在一个或多个实施例中，所述异常场景检测方法500包括如下步骤中的部分、全部甚至额外的其他步骤。

S510：获取例如经由深度学习算法获得的目标检测数据与高精地图数据。

S520：确定异常场景。如图5所示，在一个或多个实施例中，将利用深度学习算法获得的目标检测数据与高精地图数据进行比较，例如点云匹配并滤波，当两者不一致时，判定存在异常场景。

此检测方法尤其适于识别车道线、路沿、隧道、收费站、道路、桥梁等异常场景。例如，高精地图中的某个位置的车道线是实线，而深度学习算法在同样位置检测出来的是虚线，则可以判断当前是异常场景。

图6例示了又一种例示性的异常场景检测方法600，其针对目标检测数据中的特征量，将所述特征量在当前帧数据中的数值与在历史帧数据中的数值进行比较，当所述特征量的差值超出预设阈值时，确定存在异常场景。此方法尤其有利于识别如汽车、卡车、交通锥、行人等异常场景。如图6所示，在一个或多个实施例中，所述异常场景检测方法600包括如下步骤中的部分、全部甚至额外的其他步骤。

S610：获取历史检测目标列表和当前检测目标列表。

S620：确定异常场景。在一个或多个实施例中，基于所述目标列表中的检测数据特征量，将所述特征量在当前帧数据中的数值与在历史帧数据中的数值进行比较，当所述特征量的差值超出预设阈值时，判定存在异常场景。如图6所示，在一个或多个实施例中，所述异常场景确定步骤S620可以包括分别根据历史检测目标列表（例如前五帧）和当前检测目标列表（例如当前帧），计算所有目标边界框关联矩阵，并进行例如匈牙利匹配以获取并更新当前帧的匹配目标特征量。当所述特征量相比历史检测目标列表的差值超出预设阈值时，确定存在异常场景。

再如图6所示，所述异常场景确定步骤S620例如可以设置所述特征量为特定检测目标的绝对速度大小，当目标的绝对速度相比前一帧的变化超出±30%，则判定存在异常场景。

再如图6所示，所述异常场景确定步骤S620例如可以设置所述特征量为特定检测目标的绝对速度方向，当目标的速度方向角度相比前一帧变化超过30°，则判定存在异常场景。

再如图6所示，所述异常场景确定步骤S620例如可以设置所述特征量为特定检测目标的绝对加速度大小，当加速度大于例如界限加速度10m/s^2时，则判定存在异常场景。

再如图6所示，所述异常场景确定步骤S620例如可以设置所述特征量为特定检测目标的绝对加速度方向，当方向变化超过30°，则判定存在异常场景。

再如，所述异常场景确定步骤S620可以设置所述特征量为特定检测目标的类型，当遍历共计例如6帧的数据，如果有超过2次以上的目标类型突变，则判定存在异常场景。

再如图6所示，所述异常场景确定步骤S620例如可以设置所述特征量为特定检测目标的长度，当目标类别为例如卡车或公交车时，如果目标长度超过30米或者小于1米，则判定存在异常场景。当目标类别为例如中小型汽车或者微型车时，如果长度超过10米或者小于0.5米，则判定存在异常场景。当目标类别为汽车时，如果长度超过30m或者小于0.5m，则判定存在异常场景。或者，利用前5帧数据计算出所述长度的平均值，如果目标长度超出平均值的30%，则判定存在异常场景。

再如图6所示，所述异常场景确定步骤S620例如可以设置所述特征量为特定检测目标的宽度，当目标类别为例如卡车或公交车时，如果长度超过10米或者小于0.1米，则判定存在异常场景。当目标类别为例如中小型汽车或者微型车时，如果长度超过10米或者小于0.1米，则判定存在异常场景。或者，利用前5帧数据计算出平均值，当目标长度超出平均值的30%，则判定存在异常场景。

再如，所述异常场景确定步骤S620可以设置所述特征量为特定检测目标的最近点，当最近点的前进方向位置相比最近一帧超过±3米，或者最近点的横向位置相比最近一帧超过±2米，则判定存在异常场景。不同类别目标的最近点可以根据本领域已知的任何方法进行确定。例如，针对汽车或者行人，由于激光雷达点云成像比较稀疏，一般装在自车车头位置的激光雷达能够看清前方一定距离的汽车或者行人的后部和侧面，所以作为检测目标的汽车或者行人后部的点云相对稠密，这些点被定义为最近点。最近点相比检测目标的其他点在被用于检测计算时相对更为精确。

再如，所述异常场景确定步骤S620可以设置所述特征量为自车的偏航角。例如可以比较最近一帧的偏航角，如果当前的偏航角超过45°，则判定存在异常场景。

上述异常场景判断方法可以作为采样窗口中的判定规则单独使用，也可以与其他的一种或多种判断方法一起使用，构成采样窗口的规则集合。

在上述例示的方案中，可以通过配置规则或规则集合，自动给相关的雷达数据帧打上标签，为后续的数据挖掘和切片提供基础，从而有效提高激光雷达数据场景挖掘的自动化和覆盖率，为后续的算法优化提供数据保障，从而不断迭代完善激光雷达三维场景感知能力。

本领域技术人员可以理解，上述实施例方法中的全部或部分步骤可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程，在此不再赘述。

以上实施例仅用以说明本公开方案，而非对方案的限制。本领域技术人员应当理解，可以对前述各实施例所记载的技术方案进行修改，或对其中部分技术特征进行等同替换，这些修改或者替换并不使相应技术方案的本质脱离上述各实施例技术方案的精神和范围。

Claims (10)

1.一种用于激光雷达的异常场景检测方法，其特征在于，所述异常场景检方法包括：

对激光雷达获得的点云数据进行预处理；

基于预处理后的点云数据，获得目标检测数据；

检测所述目标检测数据存在的异常场景，并且针对存在异常场景的帧数据，赋予描述所述异常场景的信息标签，统计并存储所述信息标签。

2.根据权利要求1所述的异常场景检测方法，其特征在于，所述异常场景检测方法还包括：

针对所述目标检测数据的数据流，设置固定大小的采样窗口，所述采样窗口设置有用于判断当前帧数据存在异常场景的判断规则。

3.根据权利要求1所述的异常场景检测方法，其特征在于，所述异常场景检测方法还包括：

分别利用传统机器学习算法和深度学习算法获取相应的目标检测数据。

4.根据权利要求3所述的异常场景检测方法，其特征在于，所述异常场景检测方法还包括：

将利用传统机器学习算法获取的目标检测数据与利用深度学习算法获取的目标检测数据进行比较，当两者不一致时，确定存在异常场景。

5.根据权利要求4所述的异常场景检测方法，其特征在于，所述异常场景检测方法还包括：

基于传统机器学习算法目标检测数据中的目标列表和深度学习算法目标检测数据中的目标列表，分别计算所有目标的边界框关联矩阵，再根据所述边界框关联矩阵进行目标匹配而获得差异目标，该差异目标即为异常场景。

6.根据权利要求3所述的异常场景检测方法，其特征在于，所述异常场景检测方法还包括：

将利用深度学习算法获得的目标检测数据与高精地图数据进行比较，当两者不一致时，判定存在异常场景。

7.根据权利要求3所述的异常场景检测方法，其特征在于，所述异常场景检测方法还包括：

针对所述目标检测数据中的特征量，将所述特征量在当前帧数据中的数值与在历史帧数据中的数值进行比较，当所述特征量的差值超出预设阈值时，判定存在异常场景。

8.根据权利要求7所述的异常场景检测方法，其特征在于，所述异常场景检测方法还包括：

根据关于历史帧数据的历史检测目标列表和关于当前帧数据的当前检测目标列表，分别计算所有目标的边界框关联矩阵，并根据所述边界框关联矩阵进行匹配以获取并更新匹配目标特征量，当更新的匹配目标特征量相比历史检测目标列表中的对应目标特征量的差值超出预设阈值时，判定存在异常场景。

9.一种电子设备，其特征在于，包括：

处理器；

存储器，其存储由所述处理器执行的指令；

其中，所述指令被所述处理器执行时实现如权利要求1至8中任一项所述的方法。

10.一种存储介质，其特征在于，所述存储介质存有应用程序，当所述应用程序被处理器执行时，实现如权利要求1至8中任一项所述的方法。

Images