CN111881029A - 一种面向自动驾驶的多场景自动化点云扩增方法 - Google Patents

Abstract

一种面向自动驾驶的多场景自动化点云扩增方法，其特征是基于不同天气场景特征，设计点云数据变异规则，生成模拟不同天气场景的点云数据。本发明包括三个组成部分：用户配置模块，数据增扩模块，扩增数据有效性验证模块。本发明的输入为传感器采集的原始点云数据，根据用户配置信息，对原始数据进行扩增，输入自动驾驶模型，检测其中所存在的缺陷。本发明有以下有益效果：自动驾驶激光雷达点云数据在雨、雾、雪条件下的扩增，提供了这些在真实世界采集成本极高的极端天气点云数据，对于自动驾驶系统的测试具有现实意义。

Description

一种面向自动驾驶的多场景自动化点云扩增方法

技术领域

本发明属于面向自动驾驶系统的软件测试领域，特别是涉及到针对激光雷达设备的测试数据生成。基于不同的天气场景，根据开源原始点云数据自动化地生成模拟不同天气场景的变异点云数据。

背景技术

近年来， 5G技术的快速发展，为自动驾驶车辆提供了毫秒级超低时延，帮助车辆在环境感知、信息交互和协同控制等关键技术上取得突破，无论是基于单车智能还是车路协同的自动驾驶技术，都会在5G的加持下实现高速发展。不过自动驾驶系统运行环境复杂度极高，通过实景路测及仿真等方法获取的图像点云等感知数据极难覆盖所有的驾驶场景及环境信息,环境感知与行为决策模块的测试成为了自动驾驶系统质量保障的一个巨大挑战。激光雷达传感器通常用于自动驾驶车辆，以补充相机，雷达和超声传感器对环境的探测。由于激光雷达的探测能力会受到雾、灰尘、雪、雨、污染和烟雾的严重影响，在恶劣条件下，会导致点云数据中的错误点测量。因此需要考虑在极端天气条件采集的数据对自动驾驶系统产生的影响。目前自动驾驶系统的测试还处于初步阶段，测试过程中感知数据的收集成为影响测试效果的关键点，此外实际路测、仿真测试都存在代价昂贵、测试效率低下、测试充分性无法保障等问题。针对自动驾驶系统面临的测试场景多变、软件系统庞大复杂、测试成本巨大等问题，能够结合自动驾驶系统领域知识的测试数据自动生成技术变得尤为重要。因此需要考虑在恶劣条件采集的数据对自动驾驶系统产生的影响。然而现实世界采集点云数据效率低成本高，需要考虑如何基于不同天气场景进行点云数据变异。首先要提取出不同天气下对于激光雷达测量结果的具体影响规则。

Filgueira等人为了定量的分析降雨对激光雷达产生的影响，使用VelodyneVLP-16型激光雷达在学校附近的路段进行测试，测试路段包括带有建筑物信息的金属标牌、混凝土墙、石材立面，以及窗户、交通标志、反光表面、沥青路面、垂直反光标志等物体，这些测试物体均在100米的范围以内，测试是在真实的降雨条件下进行。测试结果反应：雨水强度的变化不仅影响材料表面，还影响激光路径，各目标的回波强度和探测点数均随降雨的增加而减小。随着雨强的增加，探测点的数量急剧减少，它们从164个的点（不下雨时）下降到4个点（7.2L/m2*h）。该团队研究表明降雨天气会明显影响激光雷达检测结果，而且，激光雷达点云数据衰减程度会随着降雨规模的增大而提高。Mokrane Hadj-Bachir等人建立了激光雷达模型，使用Pro-SiVIC软件模拟了激光雷达在晴天、雾、雨等天气条件下的表现，方便有效地代替真实的激光雷达测试活动来测量它们的性能。该模型考虑了物质的相互作用及反射率和激光脉冲的传播以及能量的衰减，模拟了激光雷达在轻雾、中雾、浓雾、小雨、中雨、大雨下的表现，得出了在不同天气条件下激光雷达信噪比随距离的变化曲线。Christopher Goodin等人使用雷达功率方程、消光系数方程建立了一个模型，该模型使用激光雷达传感器的简单参数化来预测降雨引起的反射强度和射程减小。模型除了考虑降低激光雷达回波的强度外，也考虑了雨水的存在也会给测距带来噪声。Christopher Goodin等人将该模型集成到基于物理的汽车自动驾驶模拟器中，并进行了仿真实验，评估了降雨对障碍物检测性能的影响。测试结果得出激光雷达射程、激光雷达扫描点数、障碍物探测范围随降雨的曲线图。同时他们也定量的模拟测试了降雨ADAS的影响。上文描述了在不同天气条件下激光雷达的检测结果，以下是对现有工作的总结：雨天场景下，激光雷达点云数据检测结果会随降雨规模的变化产生不同程度的衰减；雪天场景下，雪颗粒可以反射激光雷达射线从而形成噪点，同时由于雪阻挡了激光的传播，扩增后的点云数据采集个数将会衰减；雾天场景下，雾不仅会反射激光雷达射线从而形成噪点，还会干扰激光射线的传播造成点云个数的衰减。

基于上述工作，总结了业界专家针对激光雷达在不同天气条件下的检测性能测试结果，本发明利用这些测试结果提取规则，并根据基于不同场景的点云数据扩增规则进而对原始点云数据进行基于场景的数据增强工作。因此，本发明基于多场景变异的点云数据扩增规则，自动化地根据用户需求提供增强数据集，利用分布式技术保证与用户交付的实时性，并通过实时测试评估模型来筛选有效的扩增数据交付用户。

发明内容

本发明要解决的问题是：对于自动驾驶系统而言数据集对系统安全性至关重要，而极端天气环境的激光雷达点云数据采集难度大成本高的问题。本发明能够解决移动应用众包测试中众测工人提交的缺陷报告质量低下，难以形成有效缺陷修复作用的问题。并且可以依据基于场景变异的点云数据扩增规则，自动化地响应用户需求，模拟极端天气环境提供增强数据集，解决点云数据采集难度大成本高的问题。

本发明的技术方案为：一种面向自动驾驶的多场景自动化点云扩增方法。其特征是能够根据用户提供的原始点云数据和一组配置信息生成模拟特定场景的点云扩增数据并可视化展示。该生成方法包含以下三个模块/步骤：

1）用户配置模块：此阶段，用户首先选择目标天气模式。天气模式包括降雨、降雪、雾霾三种模式。设置好目标天气模式信息后，进行模式状态信息的设置，需要选择对应模式的强度。具体为设置降雨降雪模式为大雨（雪）、中雨（雪）、小雨（雪），浓雾、中雾、轻雾。这些信息将结合原始点云数据为数据扩增模块变异增强数据提供必要信息。最后，这些配置信息将和点云数据一并传入到数据扩增模块中进行数据生成。

2）数据扩增模块：此阶段，系统接收来自用户配置模块输入的配置信息以及原始点云数据。首先，要对原始点云数据进行相应处理根据对应的配置信息对原始点云数据进行处理，得到扩增后的点云数据。根据配置模式的不同，将使用不同场景下的变异规则模型来处理数据首先是雨模型，该模型主要负责处理雨天状态下的数据扩增过程。通过搜集扩增规则，根据《Quantifying the influence of rain in LiDAR performance》所量化的标准总结了雨天相关的扩增规则：1、小雨情况下：点云的个数衰减集中在1%到20%（本发明取10%）；2、中雨情况下：个数衰减集中在30%到90%（本发明取60%）；3、大雨情况下：个数衰减大于90%（本发明取90%）。本发明随机从原始数据中选择点作为衰减点进行去除。其次是雪模型，该模型主要负责处理雪天状态下的数据扩增过程。通过分析《Canadian AdverseDriving Conditions Dataset》 给出的雪天实际采集数据点云数据集，发现雪颗粒可以反射激光雷达射线从而形成噪点，同时由于雪阻挡了激光的传播扩增后的点云数据采集的个数将会衰减。因此，本发明总结了在雪天时扩增的相关规则，根据降雪的大小，分为三种情况讨论：1、小雪情况下，原始数据点云个数衰减5%，但由于降雪的影响，扩增后的点云数据较扩增之前增加的噪点数为原点云文件中点数的10%；2、中雪情况下，原始数据点云个数衰减15%，扩增后的点云数据较扩增之前增加的噪点数为原点云文件中点数的30%；3、大雪情况下，原始数据点云个数衰减25%，但由于降雪的影响，扩增后的点云数据较扩增之前增加的噪点数为原点云文件中点数的50%。其中，增加噪点按正态分布以激光雷达为中心，360°的分布在其周围，对于减少的点，本发明随机从原始数据中选择点作为衰减点进行去除。最后是雾模型，该模型主要负责处理雾天状态下的数据扩增过程。根据《CNN-Based LidarPoint Cloud De-Noising in Adverse Weather》中所描述的扩增规则以及分析《ABenchmark for Lidar Sensors in Fog: Is Detection Breaking Down》给出的雾天状况下的数据，发现雾不仅会反射激光雷达射线从而形成噪点，还会干扰激光射线的传播造成点云个数的衰减。

3）扩增数据有效性验证模块：此阶段，系统为了评估扩增点云数据的有效性，使用提前训练好的模型进行点云数据目标检测，比如second.pytorch。second.pytorch是点云目标检测网络，是基于点云的Point（三维体素）特征的深度学习方法。和图像视觉中的深度学习方法一样，该模型不需要人为设计的目标特征，通过大量的训练数据集，即可学习到对应的目标的特征，从而检测出点云中的目标，实现对点云中目标的准确检测。本发明拟采用蜕变测试评估工具，通过该模型，系统可以检测原始点云目标集合和扩增点云目标集合，对比这两个集合的差异即可判断扩增数据有效性。

本发明的特点在于：

1. 用户可以灵活地配置环境信息。

2. 首次基于天气场景信息的维度进行点云数据扩增。

3. 数据扩增与有效性验证均为自动化流程。

附图说明

图1为本发明实施总流程图。

图2为本发明实施系统架构图。

图3为点云扩增模块关键步骤流程图。

图4为用户配置模块流程图。

图5为用户配置模块流程图PointPillars目标检测流程图。

具体实施方式

本专利通过点云变异技术来实施多场景激光雷达点云数据扩增自动化生成，主要采用了点云处理技术，涉及到的具体关键技术有深度卷积神经网络（CNN）、NMS加速技术、点云变异模型设计、蜕变测试验证技术、3D物体目标检测技术。

1.点云变异模型

在本发明中，通过总结领域专家对激光雷达在不同天气条件下的测量表现，总结出一系列基于不同环境信息和不同天气规模的点云扩增规则：1、轻雾情况下，原始数据点云个数衰减10%，但由于雾的影响，扩增后的点云数据较扩增之前增加的噪点数为原点云文件中点数的5%；2、中雾情况下，原始数据点云个数衰减60%，扩增后的点云数据较扩增之前增加的噪点数为原点云文件中点数的30%；3、大雾情况下，原始数据点云个数衰减90%，扩增后的点云数据较扩增之前增加的噪点数为原点云文件中点数的45%；其中，增加噪点按正态分布以激光雷达为中心，360°的分布在其周围，对于减少的点，随机从原始数据中选择点作为衰减点进行去除。

2.PointPillars目标检测

在本发明中计划采用PointPillars编码器来进行点云数据目标检测工作。PointPillars编码器提出了精简的下游网络，让编码特征技术可以与任何标准2D卷积检测结构一起使用，通过学习在垂直列柱体组织中的点云的特征，使得PointPillars在速度和精度方面都大大优于以前的编码器，在点云上实现3D物体检测网络的端到端训练。PointPillars编码器将柱体上的所有计算都设置为稠密的2D卷积，从而实现62 Hz的检测速率并比其他方法快2-4倍。因此，PointPillars在点云目标检测中是一个很好的编码方法。

3.蜕变测试验证

本发明中将采用蜕变测试技术验证扩增数据有效性。由于自动驾驶的行为状态区间十分庞大，无法准确定义特定场景下的正确驾驶行为，直接评估扩增数据的正确性是很困难的。采用蜕变测试来评估扩增数据。定义蜕变关系MR：V和V'是在相同位置的两帧点云数据(V'是扩增后的点云数据)，O和O'分别是V和V'利用3D目标检测模型检测到的目标物集合。3D目标检测模型拟采用second.torch算法，该算法优化了已有的基于体素的3D卷积网络推理速度慢和方位估计性能差的问题，使用改进的稀疏卷积方法进行点云目标检测，显著增加了训练和推理速度。本发明从KITTI数据集中随机选取点云数据，利用3D目标检测算法对其进行目标检测，生成检测到的目标物集合O。再通过选择不同的天气模式和对应模式的具体状况进行点云数据扩增，生成检测到的障碍物集合O'。之后通过比较O和O'来评估扩增数据，扩增后的可识别目标数应该与原始数据不同。

4.NMS加速算法

本发明在训练3D物体目标检测模型时使用GPU模块的NMS算法进行加速。NMS全称为非极大抑制算法，其主要目的是消除3D目标检测中多余的目标框，从而找到最佳的物体检测位置。其实现的思想主要是将各个框的置信度进行排序，然后选择其中置信度最高的框A，将其作为标准选择其他框，同时设置一个阈值，当其他框B与A的重合程度超过阈值就将B舍弃掉，然后在剩余的框中选择置信度最大的框，重复上述操作。通过使用NMS算法，可以加快检测模型训练速度，提高工作效率。

面向自动驾驶的多场景自动化激光雷达点云扩增技术仿真模拟不同天气场景，实现对自动驾驶激光雷达点云数据在雨、雾、雪条件下的扩增，提供了这些在真实世界采集成本极高的极端天气点云数据，对于自动驾驶系统的测试具有现实意义，相信基于场景变异的扩增点云数据会为广大自动驾驶开发者提供帮助。

Claims (4)

1.一种面向自动驾驶的多场景自动化点云扩增方法，其特征是基于不同天气场景特征，设计点云数据变异规则，根据用户配置环境信息选择具体变异规则，生成模拟不同天气场景的点云数据，最后通过自动化验证模块对生成的点云数据进行有效性验证，确保产生的测试用例增扩符合自动驾驶场景要求，使得自动驾驶中可能的场景得到充分地检测。

2.根据权利要求1中的环境信息配置，其特征是，包括降雨、降雪、雾霾三个方面，设置好目标天气模式信息后，进行天气状态信息的设置，需要选择对应模式的强度,具体为设置降雨降雪模式为大雨（雪）、中雨（雪）、小雨（雪），浓雾、中雾、轻雾，这些信息将结合原始点云数据为数据扩增模块变异增强数据提供必要信息，最后，这些配置信息将和点云数据一并传入到数据扩增模块中进行数据生成。

3.根据权利要求1中的云点数据增扩，其特征是，围绕天气信息，基于数据衰减幅度，衰减范围，噪声幅度设计对应的变异规则，然后对图像数据进行规则变异，进行云点数据增扩。

4.对于权利要求1中的自动化有效性验证，其特征是，采用蜕变测试技术验证扩增数据有效性，使用改进的稀疏卷积方法进行点云目标检测，显著增加了训练和推理速度，从KITTI数据集中随机选取点云数据，利用3D目标检测算法对其进行目标检测，生成检测到的目标物集合O，再通过选择不同的天气模式和对应模式的具体状况进行点云数据扩增，生成检测到的障碍物集合O'，之后通过比较O和O'来评估扩增数据的有效性。

Images