CN114241258A

CN114241258A - 一种面向自动驾驶雷达点云数据的扩增与优化方法

Info

Publication number: CN114241258A
Application number: CN202111496532.5A
Authority: CN
Inventors: 冯洋; 郭安; 程一镇; 黄欢
Original assignee: Shenzhen Muzhi Technology Co ltd
Current assignee: Shenzhen Muzhi Technology Co ltd
Priority date: 2021-12-09
Filing date: 2021-12-09
Publication date: 2022-03-25

Abstract

本发明涉及一种面向自动驾驶雷达点云数据的扩增与优化方法。该方法首先由领域专家定义点云数据的变异规则（天气变换与仿射变换）后，将变异规则通过点云操作库自动化地应用到种子点云数据上，从而获得增强激光雷达点云数据集，并对目标检测模型进行测试。在此基础上使用熵和选择方法选择出更容易触发模型错误的数据进行重训练，最后获得优化后的目标检测模型，该模型对一些恶劣天气、路况更加鲁棒。本发明目的在于解决基于雷达的自动驾驶系统的输入域极其庞大，内部实现逻辑可解释性较差的问题。我们的发明针对3D目标检测任务能够检测模型推理错误，并能够利用少量资源发现大量边界测试用例，最终提升目标检测模型鲁棒性。

Description

一种面向自动驾驶雷达点云数据的扩增与优化方法

技术领域

本发明属于软件测试与程序分析领域，尤其适用于软件测试中的复杂智能软件系统测试领域，其目的在于为自动驾驶软件测试企业在测试时提供指导，是一种使用少量成本快速生成大量边界用例的点云数据扩增方法，且该方法能提升雷达目标检测模型鲁棒性。

背景技术

随着人工智能技术的进步，自动驾驶系统获得了极其快速的发展。作为一种典型的智能软件，自动驾驶系统利用雷达与摄像头等传感器捕获周围环境信息作为输入，并通过人工智能模型做出驾驶决策，从而自动化地完成各类驾驶任务。目前已有超过50家公司在积极研发自动驾驶汽车与无人机等。在这些自动驾驶系统中，软件在实现其环境感知、智能自主决策、路径预测、驾驶操作控制功能等方面发挥着核心作用。然而，就像其他任何软件系统一样，自动驾驶系统也容易受到软件缺陷的影响，并且，由于自动驾驶系统通常被部署到安全攸关环境中运行，其软件缺陷很可能导致灾难性后果。考虑到雷达采集天气道路及驾驶环境的高复杂性，仅通过实景路测与3D仿真环境测试获取雷达点云感知数据对自动驾驶系统进行测试，很难在资源有限的情况下保障测试的完备性与充分性，因此如何使用少量成本快速生成大量边界用例的点云数据，并提升模型鲁棒性是一项具有挑战性的工作。

如何在多种环境因素影响下进行点云数据生成是一种重要的研究问题。自动驾驶系统在其运行环境下，其雷达传感器感知的点云数据可能受到包括天气因素，雾霾状况等在内的多种环境因素影响。这些影响可能会造成感知的点云数据存在不同程度的衰减或存在各类噪音信息，从而使得自动驾驶系统在操作判断上产生错误。通过反复展开实景路测获取大量且多样的点云数据通常会消耗极其大量的资源。因此，如何在不明显增加额外资源消耗的情况下，自动化地生成能够描述多种真实环境因素的点云数据，是需要解决的一个关键问题。

如何在多种环境因素影响下不同点云数据中选择更易触发bug的数据并进行模型重训练是另一个重要的研究问题。自动驾驶系统在其运行环境下，生成或采集的包括天气因素，雾霾状况等在内的多种因素影响的点云数据对目标检测模型的影响程度不同。通过反复展开实景路测或扩增获取大量且多样的点云数据并不会全部触发深度学习模型缺陷。因此，如何在节约训练成本且不明显增加额外资源消耗的情况下，选择大量边界用例，并提升雷达目标检测模型鲁棒性是需要解决的一个关键问题。

对此，本发明提出一种面向自动驾驶雷达点云数据的扩增与优化方法。

本发明的基本思想为：首先需要定义与设计相关的变异规则，然后根据规则对点云数据进行变异。针对驾驶场景特征，变异规则可以借助领域专家协助定义或者进一步采取众包的手段获得。在完成规则的设计之后，需要在真实场景数据上应用规则从而得到大量变异数据。而点云数据变异技术的实现则需要结合变异规则通过依赖库实现相关算法来完成，接着实现对原始数据和扩增数据的可视化操作。根据不同点云扩增规则生成大量数据后，使用一种数据选择方法选择一定比例的扩增点云数据，这些数据的特点是及其容易使得自动驾驶目标检测模型判断错误（包括误检、漏检）。这种选择方法能发现的缺陷数明显高出随机选择法。最后，将选择出的点云数据加入到原始数据中进行重训练，从而获得鲁棒性更强的雷达目标检测模型。

发明内容

本发明通过提供一种面向自动驾驶雷达点云数据的扩增与优化方法，来使用少量成本快速生成大量边界用例的点云数据扩增方法，且该方法能提升雷达目标检测模型鲁棒性。

为达成上述目标，本发明提出一种面向自动驾驶雷达点云数据的扩增与优化方法。该方法首先由领域专家定义点云数据的变异规则（天气变换与仿射变换）后，将变异规则通过点云操作库自动化地应用到种子点云数据上，从而获得增强激光雷达点云数据集，并对目标检测模型进行测试。在此基础上使用熵和选择方法选择出更容易触发模型错误的数据进行重训练，最后获得优化后的目标检测模型，该模型对一些恶劣天气、路况更加鲁棒。具体而言，该方法包括下列步骤。

1）变异规则制定，领域专家给定雷达扩增规则，包括仿射变换（平移、旋转、放缩、对称）与天气变换（雨、雪、雾），根据实际驾驶场景可定义更多的变换规则；这些变异规则用于种子点云数据的扩增；

2）点云数据扩增，给定种子点云数据P ₀，将变异规则通过点云操作库自动化地应用到种子点云数据上，生成对应的扩增点云数据P _a，并形成扩增数据集；

本步骤的目的是生成大量真实的点云数据，这些数据能模拟诸多不同天气、路况的场景；将扩增数据放入预训练模型M _0，，比较扩增前后的目标检测的准确率，准确率下降表明扩增方法有效；目标检测准确率定义如下：

用R ₄₀等距召回，插值函数ρ给出了在r点上的精度；

3）点云数据可视化，实现对原始数据和扩增数据的可视化操作，点云数据的可视化处理采用PCL(The Point Cloud Library) 点云操作库进行，PCL点云操作库是一个用于2D/3D图像和点云处理的大型的开源项目，能实现对点云的获取、配准、检索、特征提取、识别、追踪、可视化操作；

4）边界用例数据选择，为了节约成本并发现触发错误的边界用例，使用针对自动驾驶雷达点云数据的数据选择方法，熵和方法表示如下：

其中b _ic第i个图像，第c类3D目标检测框的集合,conf（j）表示模型对第j个检测框的置信度；

通过上述公式可以获得一个数据优先级排序序列，优先级越高，则导致自动驾驶模型判断错误的概率越大，且重训练效果越好；

5）模型重训练优化，将上述熵和选择方法所选择的数据加入到原始数据中，进行重新训练，获得新模型M ₁，该模型比预训练模型具有更高的鲁棒性，即3D目标检测模型能更好的应对极端天气、路况。

进一步，其中上述步骤1）的具体步骤如下：

步骤1）-1：起始状态；

步骤1）-2：输入自动驾驶条件描述，包括天气和道路环境；

步骤1）-3：使用众包方法收集点云扩增规则；

步骤1）-4：专家判断决策收集的扩增规则的可行性，若可行，则执行下一步，否则执行步骤1）-3；

步骤1）-5：输出通过专家决策的点云扩增规则；

步骤1）-6：结束状态。

进一步，其中上述步骤2）的具体步骤如下：

步骤2）-1：起始状态；

步骤2）-2：输入种子点云数据与上一步筛选出的领域专用规则；

步骤2）-3：PCL操作库实现点云扩增；

步骤2）-4：生成数据并将其存储到相应物理地址；

步骤2）-5：原始数据与扩增数据同时放入预训练模型进行准确率测试；

步骤2）-6：输出测试报告；

步骤2）-7：结束状态。

进一步，其中上述步骤3）的具体步骤如下：

步骤3）-1：起始状态；

步骤3）-2：输入原始数据与扩增数据以及分别对预训练模型的测试结果；

步骤3）-3：利用点云可视化工具完成数据可视化；

步骤3）-4：将可视化结果存储并进行分析；

步骤3）-5：输出可视化效果图与分析报告；

步骤3）-6：结束状态。

进一步，其中上述步骤4）的具体步骤如下：

步骤4）-1：起始状态；

步骤4）-2：输入基于某个领域扩增规则的扩增点云数据集；

步骤4）-3：规定合适的数据选择比例；

步骤4）-4：确定并实现数据选择方法；

步骤4）-5：判断选择方法发现的bug数是否显著优于随机选择方法，若多于，则执行下一步，否则执行步骤4）-4 ；

步骤4）-6：输出选择的边界用例点云数据；

步骤4）-7：结束状态。

进一步，其中上述步骤5）的具体步骤如下：

步骤5）-1：起始状态；

步骤5）-2：输入选择出的边界用例；

步骤5）-3：加入原始数据中进行数据重训练；

步骤5）-4：判断重训练的新模型是否更加鲁棒，若是，则执行下一步，否则执行步骤5）-3；

步骤5）-5：输出重训练模型；

步骤5）-6：结束状态。

附图说明

图1为本发明实施中的一种面向自动驾驶雷达点云数据的扩增与优化方法的流程图。

图2为图1中变异规则制定的流程图。

图3为图1中点云数据扩增的流程图。

图4为图1中点云数据可视化的流程图。

图5为图1中边界用例数据选择的流程图。

图6为图1中模型重训练优化的流程图。

具体实施方式

为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。

图1为本发明实施的一种面向自动驾驶雷达点云数据的扩增与优化方法的流程图。

一种面向自动驾驶雷达点云数据的扩增与优化方法，其特征在于，包括下列步骤。

S1变异规则制定，通过众包方式收集点云变异数据，专家通过讨论后决策出有效的自动驾驶场景点云扩增规则。

S2点云数据扩增，确定点云扩增规则（如天气变换、仿射变换）后，对种子点云数据实施扩增，得到扩增点云数据，将原始数据与扩增数据输入到预训练模型中进行准确率测试，输出扩增点云与准确率测试报告。

S3点云数据可视化，使用激光雷达点云可视化工具实现原始数据与扩增数据的可视化，并将输入到预训练模型的所产生的推理框同时显示，然后存储可视化结果并进行分析，得出分析报告。

S4 边界用例数据选择，对基于某个领域规则所生成的扩增数据集进行数据选择，确定数据选择比例后，选择合适的数据选择方法（如熵和），这种方法比随机选择方法发现的bug数量多，得到边界用例点云数据。

S5模型重训练优化，将选择的边界数据加入到原始数据中进行重训练，直到新训练的模型比原始预训练模型更加鲁棒，输出重训练模型。

图2为变异规则制定的流程图。通过众包采集，专家商讨获得可靠的专业点云扩增规则。具体步骤如下：

步骤1：起始状态；步骤2：输入驾驶条件描述（天气、道路环境）；步骤3：众包收集点云扩增规则；步骤4：专家决策采集领域规则是否通过，若是则执行下一步，否则执行步骤3；步骤5：输出通过决策的点云扩增规则；步骤6：结束状态。

图3为点云数据扩增的流程图。使用点云可视化工具对原始与扩增点云连通推理结果可视化，将结果保存并输出测试报告。具体步骤如下：

步骤1：起始状态；步骤2：输入领域专用扩增规则、种子点云数据；步骤3：PCL点云操作库实现；步骤4：扩增点云数据生成与存储；步骤5：原始与扩增点云数据目标检测准确率测试；步骤6：输出扩增点云与测试报告。步骤7：结束状态。

图4为点云数据可视化的流程图。根据之前生成的数据与原始数据，利用可视化工具完成数据可视化，将可视化结果保存并分析。具体步骤如下：

步骤1：起始状态；步骤2：输入原始点云与扩增点云、预训练模型测试结果；步骤3：点云可视化工具执行可视化；步骤4：存储与可视化结果分析；步骤5：输出扩增前后含有推理结果的可视化效果图与分析报告；步骤6：结束状态。

图5为边界用例数据选择的流程图。针对某个扩增数据集，使用一种数据选择方法并采用合适的数据选择比例（如熵和选择方法），该方法明显比随机选择发现的bug数量多，最终得到选择的边界用例。具体步骤如下：

步骤1：起始状态；步骤2：输入基于某个领域规则的扩增的点云数据集；步骤3：确定合适数据选择比例；步骤4：确定并实现数据选择方法；步骤5：判断bug数是否比随机选择多，若是则执行下一步，否则执行步骤4；步骤6：输出边界用例数据；步骤7：结束状态。

图6为模型重训练优化的流程图。将选择出的边界用例点云数据加入原始数据中进行重训练，获得鲁棒性更强的重训练模型，即重训练模型检测准确率比原始有一定幅度提升。具体步骤如下：

步骤1：起始状态；步骤2：输入数据选择方法选择出的边界用例数据；步骤3：数据重训练；步骤4：判断重训练模型是否更鲁棒，若是则执行下一步。否则执行步骤3；步骤5：输出重训练模型；步骤6：结束状态。

综上所述，本发明解决了目前存在的有价值的雷达数据采集困难和资源有限的情况下无法保障自动驾驶测试的充分性的难题，并节约了大量成本，从而能帮助测试人员使用简单高效的方法发现边界用例并提升模型鲁棒性，最终起到提高软件测试效率、保障自动驾驶智能软件质量的目的。

Claims

1.一种面向自动驾驶雷达点云数据的扩增与优化方法，其特征在于，先由领域专家定义点云数据的变异规则（天气变换与仿射变换）后，将变异规则通过点云操作库自动化地应用到种子点云数据上，从而获得增强激光雷达点云数据集，这些数据的特点是能触发自动驾驶目标检测模型的bug，为了寻找边界用例并节约重训练成本，在此基础上采用一种数据选择方法，选择出更容易触发模型错误的数据，然后选择数据加入进行重训练，最后获得优化后的目标检测模型，该模型对一些恶劣天气、路况更加鲁棒；该方法包括下列步骤：

用R ₄₀等距召回，插值函数ρ给出了在r点上的精度；

2.根据权利要求1所述的面向雷达点云数据的自动驾驶测试数据扩增与优化方法，其特征在于，在步骤1）中，进行变异规则制定；规则制定具有普遍性及专业性，注意解释扩增前和扩增后的点云数据含义，且扩增具有坚实的理论支撑，如天气变换会影响雷达激光的反射强度。

3.根据权利要求1所述的面向雷达点云数据的自动驾驶测试数据扩增与优化方法，其特征在于，在步骤2）中，使用前一步领域专家归纳的完备性规则，通过点云操作库自动化地应用到种子点云数据上，针对每一个变换规则生成一个扩增数据集，比较原始数据集与扩增数据集在各个检测类别下的准确率，分析扩增测试集的质量与效果，生成测试报告。

4.根据权利要求1所述的面向雷达点云数据的自动驾驶测试数据扩增与优化方法，其特征在于，在步骤3）中，对每个扩增变换部分典型案例进行可视化，并与原始数据可视化结果进行对比；对比结果能够清晰展示出点云数据变化，扩增前后检测结果变化（包括误检、漏检）。

5.根据权利要求1所述的面向雷达点云数据的自动驾驶测试数据扩增与优化方法，其特征在于，在步骤4）中，采用一种方法选择一定比例的数据，这种方法选择的数据发现的bug明显多于随机选择方法所发现的bug数，这种方法适用于多种模型、所有扩增变换、数据上的各个种类。

6.根据权利要求1所述的面向雷达点云数据的自动驾驶测试数据扩增与优化方法，其特征在于，在步骤5）中，将上一步所选取的数据加入到原始数据中进行重训练，通过对比预训练模型与重训练模型的检测准确率，计算准确率提升幅度，分析点云目标检测鲁棒性提升效果。