CN115080386A

CN115080386A - 基于自动驾驶功能要求的场景有效性分析方法与设备

Info

Publication number: CN115080386A
Application number: CN202210561027.2A
Authority: CN
Inventors: 杨渊泽; 赵朋刚; 吴振昕; 刘涛; 彭亮; 张正龙; 迟霆; 赵思佳; 周忠贺; 赵悦岑
Original assignee: FAW Group Corp
Current assignee: FAW Group Corp
Priority date: 2022-05-23
Filing date: 2022-05-23
Publication date: 2022-09-20

Abstract

基于自动驾驶功能要求的场景有效性分析方法与设备，属于自动驾驶测试场景开发技术领域，解决了如何区分出测试场景是否对自动驾驶功能有实际验证作用的问题。在场景开发的过程中，首先分析自动驾驶系统应该满足的所有功能要求，根据每一条功能要求分析转化出对应的典型场景训练集，再利用机器学习的方法训练出对应自动驾驶功能要求的场景有效性分类工具，进而在场景提取过程中加入对单个场景的有效性分析步骤，剔除与具体功能验证相关度较低的场景，保留强相关的场景，既节省测试资源，也提高了仿真测试工作的效率和准确度。

Description

基于自动驾驶功能要求的场景有效性分析方法与设备

技术领域

本发明涉及自动驾驶测试场景开发技术领域，具体涉及基于自动驾驶功能要求的场景有效性分析方法与设备。

背景技术

汽车自动驾驶功能开发过程中，仿真测试是非常重要的一环，而测试场景的开发工作则是重中之重，场景开发工作一般会参考相关的标准法规，特定的驾驶场景，部分危险和极限场景来制作测试场景，场景开发的数据来源多种多样，有真实的道路采集数据、虚拟仿真测试的反馈数据、交通部门或者其他相关方的统计数据以及前面提到的正向开发的场景数据，最终形成的统一格式的测试场景更是规模庞大，因此，如果直接用所获得的所有场景去检测自动驾驶算法的可靠性，将会给测试工作带来很大的挑战，无论是人力物力都需要投入巨大，甚至较小的测试团队，设备属性不够的情况下，几乎无法开展测试工作。面对这一现实问题，目前行业主流的做法是采用超实时，高并发的云平台技术，搭建虚拟测试平台，这是解决这一问题的最直接有效的方法，也是未来应对大量的自动驾驶功能验证需求必须要走的道路，云平台测试技术旨在将测试工具链集中部署在云计算平台上，成规模的虚拟主机代替现实测试工具，并且通过统一的监管控制，实现超实时，高并发的计算特性，提高测试工作效率，节省人力物力。这种方法从设备和流程上优化了测试过程，从而解决了测试场景数量规模大的问题，但却并没有考虑大量的测试场景是否都对自动驾驶功能有验证作用，没有从实际测试需求角度筛选测试场景。

因此，现有的技术手段存在的缺陷为：缺少根据实际的自动驾驶功能测试验证需求筛选单个测试场景有效性的过程。

现有技术中，专利文献CN110553853A公开了“基于场地下较差场景搜索的自动驾驶功能测试测评方法”，应用实际测试场地对待测自动驾驶功能进行测试，使得测试结论更接近于真实状况；并且在不断搜索较差测试场景的基础上进行自动驾驶功能测试，对自动驾驶功能的完善程度直接提出改进建议。专利文献CN112256590A公开了“虚拟场景有效性判定方法、装置和自动驾驶系统”，根据对虚拟仿真场景与现实场景的匹配度和还原度分析结果，判定虚拟场景的有效性，避免无效的虚拟场景对仿真测试带来的干扰，从而有助于在后续的仿真测试过程中提高仿真测试结果的准确性。

综上，现有的技术手段旨在解决仿真场景与现实场景匹配程度和准确度问题，缺少对仿真场景本身是否对自动驾驶功能有验证作用的分析过程。

发明内容

本发明解决了如何区分出测试场景是否对自动驾驶功能有实际验证作用的问题。

本发明所述的基于自动驾驶功能要求的场景有效性分析方法，包括以下步骤：

步骤S1，收集最新的自动驾驶相关资料，梳理出自动驾驶系统提出的功能要求、典型的动态事件和常见的静态场景；

步骤S2，按照自动驾驶的功能要求对场景进行分类后，形成各类场景的功能场景，从OpenScenario标准提取出对于场景参数类型的定义，作为全集的场景参数类型；

步骤S3，根据各类场景的功能场景和场景参数类型，将所有的功能场景转化为对应的逻辑场景，再根据实际情况，将所有的逻辑场景合理的泛化出对应的具体测试场景，至此，得到了按照自动驾驶功能要求分类的参数化测试场景库；

步骤S4，参数化场景库包括若干个测试场景，测试场景由自动驾驶功能要求分类的，以这些多个测试场景作为训练集，然后对每一类场景分别进行机器学习，从而就得到每项自动驾驶功能要求所对应的分类器，将所述分类器作为每类场景有效性判定规则；

步骤S5，根据每类场景有效性的判定规则对已提取的测试场景进行筛选，对筛选的结果分别进行训练集更新和问题分析。

进一步地，在本发明的一个实施例中，所述步骤S1中，所述的自动驾驶相关资料包括自动驾驶技术开发、自动驾驶测试验证和标准制定。

进一步地，在本发明的一个实施例中，所述步骤S2中，所述的形成各类场景的功能场景是通过各类场景的动态事件和静态场景排列组合再结合人工分析获得。

进一步地，在本发明的一个实施例中，所述步骤S4中，所述的机器学习为Adaboosts算法模型。

进一步地，在本发明的一个实施例中，所述步骤S5中，所述的筛选的结果分为有效场景库和无效场景库。

进一步地，在本发明的一个实施例中，所述的有效场景库是与每一项自动驾驶功能要求强相关的对应测试场景集合。

进一步地，在本发明的一个实施例中，所述的有效场景库内的测试场景作为训练场景投入到训练集中，更新分类器。

进一步地，在本发明的一个实施例中，所述的有效场景库是按照频次定期更新的有效场景库。

进一步地，在本发明的一个实施例中，所述的无效场景库中的测试场景进行重点进行问题分析，发现分类器的不足，进行分类器调整，修复失效场景。

本发明所述的一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现上述方法任一所述的方法步骤。

本发明解决了如何区分出测试场景是否对自动驾驶功能有实际验证作用的问题。具体有益效果包括：

1、本发明所述的基于自动驾驶功能要求的场景有效性分析方法，基于自动驾驶详细的功能要求，结合每条功能要求对应的典型动态事件和静态事件，通过分类，组合动态事件与静态事件，开发出满足自动驾驶功能验证的功能场景库，再根据OpenX系列标准提出的场景参数类型，结合人工的专家经验，合理的转化泛化出具体场景库，并以此作为机器学习的训练集，利用Adaboosts算法原理，集成学习出可以有效区分对于自动驾驶功能验证有测试作用的有效测试场景的识别程序，从而对大量的测试场景可以做第一轮的筛选，排除无效场景，减少测试工作量，提高测试工作效率，提高测试结果准确度。

2、本发明所述的基于自动驾驶功能要求的场景有效性分析方法，从自动驾驶功能具体要求出发提出了一种新的场景分类方法，通过这种分类方法结合机器学习训练出可以帮助筛选与每条自动驾驶功能要求强相关的测试场景，排除掉相关性较低或无关的场景，提高单个场景质量。

3、本发明所述的基于自动驾驶功能要求的场景有效性分析方法，场景有效性分析的判断程序训练集并不是固定不变的，按照规定的频率，可以根据新补充进来的有效场景以及更新的功能要求条件，动态的更新有效性分析程序。这样最终就可以得到一个实时更新并且与自动驾驶功能验证契合度很高的场景有效性分析工具。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是具体实施方式所述的基于自动驾驶功能要求的场景有效性分析方法流程图。

图2是具体实施方式所述的基于自动驾驶功能要求的场景有效性分析方法示例图。

具体实施方式

下面结合附图将对本发明的多种实施方式进行清楚、完整地描述。通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

本实施方式所述的基于自动驾驶功能要求的场景有效性分析方法，包括以下步骤：

本实施方式中，所述步骤S1中，所述的自动驾驶相关资料包括自动驾驶技术开发、自动驾驶测试验证和标准制定。

本实施方式中，所述步骤S2中，所述的形成各类场景的功能场景是通过各类场景的动态事件和静态场景排列组合再结合人工分析获得。

本实施方式中，所述步骤S4中，所述的机器学习为Adaboosts算法模型。

本实施方式中，所述步骤S5中，所述的筛选的结果分为有效场景库和无效场景库。

本实施方式中，所述的有效场景库是与每一项自动驾驶功能要求强相关的对应测试场景集合。

本实施方式中，所述的有效场景库内的测试场景作为训练场景投入到训练集中，更新分类器。

本实施方式中，所述的有效场景库是按照频次定期更新的有效场景库。

本实施方式中，所述的无效场景库中的测试场景进行重点进行问题分析，发现分类器的不足，进行分类器调整，从而修复失效场景。

本实施方式所述的一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现上述实施方式所述的方法步骤。

本实施方式基于本发明所述的基于自动驾驶功能要求的场景有效性分析方法，参照图1能更好的理解本实施方式，结合具体对象提供一种实际的实施方式：

分为五个部分：信息收集整理、场景组合分类、场景转化泛化、算法模型训练、问题分析和训练集更新。

如图2所示，总体技术路线：

第一步，信息收集整理，收集国内外最新的自动驾驶技术开发、测试验证，标准制定等文献资料，梳理出目前对自动驾驶系统提出的所有功能要求、典型的动态事件、常见的静态场景；同时，解读最新的OpenX系例标准，尤其是OpenScenario部分。

第二步，场景的分类和组合，按照自动驾驶的功能要求对场景进行分类，在此类别下的动态事件和静态场景排列组合再结合人工经验分析，形成各类场景类别下的功能场景；这一步同时还有承接上一步骤的标准解读任务，从最新的OpenScenario及其他系列标准中，提取出它对于场景参数类型的定义，结合专业分析，作为全集的场景参数类型。

第三步，场景的转化和泛化，根据第二步得到的功能场景，结合OpenX系列标准中获取的场景参数类型，首先可以将所有的功能场景转化为对应的逻辑场景，再根据实际情况，将所有的逻辑场景合理的泛化出对应的具体测试场景，至此，得到按照自动驾驶功能要求分类的参数化测试场景库。例如：

类别1：场景1-1{A,B,C,……}，场景1-2{D,E,F,……}……,场景1-N{H,J,K,……},数组中，每一个参数都代表指定场景参数的具体值。

第四步，机器学习算法模型训练，根据第三步得到的参数化场景库，每一项自动驾驶功能要求都对应着若干个经典测试场景，以这些测试场景作为训练集，然后对每一类场景分别进行Adaboosts算法模型的集成学习，并且保证每一类场景的预测准确率都达到要求值，以得到每项自动驾驶功能要求所对应的强分类器，即每类场景的有效性判定规则。

第五步，问题分析和训练集更新，在第四步得到场景有效性的判定规则后对已提取的测试场景进行筛选，筛选的结果分为有效场景库和无效(失效)场景，针对有效场景库，即是与每一项自动驾驶功能要求强相关的对应测试场景集合，同时按照一定的频次将有效场景库内的一部分测试场景作为训练场景投入到训练集中，更新分类器；针对无效或失效场景，应重点进行问题分析，发现分类器的不足，进行调整，修复失效场景，提高场景数据利用率。

以上对本发明所提出的基于自动驾驶功能要求的场景有效性分析方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.基于自动驾驶功能要求的场景有效性分析方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于自动驾驶功能要求的场景有效性分析方法，其特征在于，所述步骤S1中，所述的自动驾驶相关资料包括自动驾驶技术开发、自动驾驶测试验证和标准制定。

3.根据权利要求1所述的基于自动驾驶功能要求的场景有效性分析方法，其特征在于，所述步骤S2中，所述的形成各类场景的功能场景是通过各类场景的动态事件和静态场景排列组合再结合人工分析获得。

4.根据权利要求1所述的基于自动驾驶功能要求的场景有效性分析方法，其特征在于，所述步骤S4中，所述的机器学习为Adaboosts算法模型。

5.根据权利要求1所述的基于自动驾驶功能要求的场景有效性分析方法，其特征在于，所述步骤S5中，所述的筛选的结果分为有效场景库和无效场景库。

6.根据权利要求5所述的基于自动驾驶功能要求的场景有效性分析方法，其特征在于，所述的有效场景库是与每一项自动驾驶功能要求强相关的对应测试场景集合。

7.根据权利要求5所述的基于自动驾驶功能要求的场景有效性分析方法，其特征在于，所述的有效场景库内的测试场景作为训练场景投入到训练集中，更新分类器。

8.根据权利要求7所述的基于自动驾驶功能要求的场景有效性分析方法，其特征在于，所述的有效场景库是按照频次定期更新的有效场景库。

9.根据权利要求5所述的基于自动驾驶功能要求的场景有效性分析方法，其特征在于，所述的无效场景库中的测试场景进行重点进行问题分析，发现分类器的不足，进行分类器调整，修复失效场景。

10.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1-9任一所述的方法步骤。