CN116067677A - 一种自动驾驶道路测试系统及分析方法 - Google Patents

Abstract

本发明涉及汽车自动驾驶功能测试技术，公开了一种自动驾驶道路测试系统及分析方法，包括处理器模块，以及分别与处理器模块连接的数据采集模块、数据处理模块、场景构建模块、测试模块和评价模块；构建成熟的测试场景库后开展测试，实时采集测试过程中的测试数据，通过数据分析单元选定评测指标和评测场景以及获取待评测数据的特征量，并根据特征量一致性和/或位置一致性将待评测数据与真值数据进行配对形成数据对矩阵，确定数据对匹配评测场景和评测指标的匹配度，将匹配度超过阈值的数据对作为分析对象，最后对分析对象进行评测指标的分析来评价自动驾驶技术。本发明具有提高数据处理效率以及提高自动驾驶技术测试结果准确性的有益效果。

Description

一种自动驾驶道路测试系统及分析方法

技术领域

本发明涉及汽车自动驾驶功能测试技术领域，具体涉及一种自动驾驶道路测试系统及分析方法。

背景技术

随着汽车保有量的增加，目前市场对汽车的功能性有了更多的要求，因此现在随着智慧汽车理念的提出，为汽车配备自动驾驶技术也成为了汽车功能性增加的主要方向。而由于道路的复杂性以及车况的多变性，对自动驾驶技术的安全性要求也更高，在保证汽车安全自动驾驶的基础上，还要求能够在复杂的通行车况下自动调整最优的驾驶策略，因此，对汽车自动驾驶技术进行测试也成为了汽车出厂前的主要检测事项。

自动驾驶技术的测试技术是用来全面测试汽车在自动驾驶模式下，能否适应复杂多变的道路场景，对自动驾驶汽车的性能提升有重要意义。而目前关于自动驾驶的测试技术，面向复杂的自动驾驶汽车实际道路应用场景，其所涉及的测试数据量巨大，因此传统的汽车场地测试分析方法难以满足其需求，其不仅测试精度低，且对数据的处理效率慢，并且整体的测试场景单一，也就导致难以精准地测试出自动驾驶技术面对不同且复杂的道路场景时的性能表现。

故，目前需要一种能够快速处理不同道路场景下的测试数据分析的自动驾驶测试系统，以提高自动驾驶技术相关测试的测试精度。

发明内容

本发明意在提供一种自动驾驶道路测试系统及分析方法，以提高自动驾驶技术测试结果的准确性。

为达到上述目的，本发明采用如下技术方案：一种自动驾驶道路测试系统，包括处理器模块，以及分别与处理器模块连接的数据采集模块、数据处理模块、场景构建模块、测试模块和评价模块；

所述数据采集模块，用于实时采集目标车辆的通行数据，并形成第一数据集合后发送至数据处理模块；

所述数据处理模块，用于对采集到的第一数据集合进行预处理，预处理后得到有效数据集合；

所述场景构建模块，用于搭建目标车辆进行自动驾驶的测试道路场景，设置测试道路场景的场景类型、道路类型以及环境类型，并形成自动驾驶道路场景库；

所述测试模块，用于控制目标车辆在对应的测试道路场景下进行自动驾驶，并检测其通行情况来测试目标车辆搭载的自动驾驶技术的性能；

所述处理器模块，包括存储单元和数据分析单元，所述存储单元用于存储所述自动驾驶道路场景库；所述数据分析单元用于对有效数据集合进行数据分析，并得到分析结果；

所述评价模块，用于根据得到的分析结果对目标车辆的自动驾驶技术的性能进行评价。

本方案的原理及优点是：实际应用时，通过构建丰富的测试场景库，并控制测试车辆在多个不同的场景下分别进行自动驾驶测试，过程中实时采集测试数据，并对数据进行处理分析，并选定评测指标和评测场景，然后获取待评测数据的特征量，并根据特征量一致性和/或位置一致性将待评测数据与真值数据进行配对形成数据对矩阵，确定数据对匹配评测场景和评测指标的匹配度，通过神经网络模型对配对后数据的匹配度进行优先级排序，将匹配度超过阈值的数据对作为分析对象，最后对分析对象进行评测指标的分析得到分析结果，然后根据分析结果对自动驾驶技术的性能进行全面评价。

相比于现有技术，本方案的优点在于能够同时处理大量的数据且效率高，对于自动驾驶技术的测评指标统计结果也十分准确，进而能使自动驾驶技术的测试结果更精准。同时，本方案中构建的场景库十分丰富，能够充分模拟真实的复杂路况，从而给测试提供真实的道路环境，提升测试结果的真实性和还原性。通过充分的测试数据以及逼真的测试场景模拟，从而更全面地测试出该车辆上搭载的自动驾驶技术的好坏，从而综合评估自动驾驶技术的性能，不仅起到提升用户车辆驾驶体验感的作用，同时也能够进一步保障车辆在使用自动驾驶功能时的安全性。

另一方面，本方案独具创造性的一点是，测试过程中对测试大数据的处理，能够从大量的测试数据中提取出满足测试指标的数据，从而提高数据的有效性，对后续的测试结果分析起到正向促进作用，进而提高对自动驾驶技术面对多种且复杂多变的道路场景下的测试精度，从而保障相关车辆的运行安全性。建立了一种全面的测试体系，实现了根据用户选取的测试指标量和测试场景自动输出待评测数据的指标分析，具有效率高、数据分析处理量大、统计指标准确等优点。更重要的是，本方案利用特征量一致性和位置一致性将待评测数据与标准数据进行配对，然后再通过神经网络模型对配对后的数据的匹配度进行优先级排序，最后选择匹配度高的数据来进行自动驾驶技术性能的分析评测，进而提升了整体测试结果的精度。

优选的，作为一种改进，通行数据包括场景数据、行驶状态数据和动力学数据；所述场景数据包括当前目标车辆测试的通行场景的相关数据；所述行驶状态数据包括目标车辆的操控信息、位置信息和姿态信息；所述动力学数据包括车速、油门、加减速度、制动距离和转向输入。

优选的，作为一种改进，对采集到的第一数据集合进行预处理为，对采集到的数据进行清理，删除异常数据后对数据进行整理分类。

优选的，作为一种改进，测试道路场景的场景类型包括典型场景、边角场景和事故场景，所述典型场景为实际车辆行驶过程中最常见的场景；所述边角场景为车辆行驶过程中出现非常规动作时的场景；所述事故场景为车辆发生事故或者即将要发生事故的场景。

优选的，作为一种改进，测试道路场景的道路类型包括高速、城市道路、乡村道路和停车场。

优选的，作为一种改进，测试道路场景的环境类型包括晴天、雨天、雪天和雾霾天。

优选的，作为一种改进，对有效数据集合进行数据分析为，根据预设数据标定程序，跟踪有效数据集合中待评测数据的各描述参数的变化趋势，对目标信息进行标定和校准。

优选的，作为一种改进，数据标定程序根据数值分析方法构建，包括多个驾驶操作的判定规则，若纵向加速度测量值连续大于设定值超过N次，则确认为急加速操作；若纵向减速度测量值连续小于设定值超过N次，则确认为急减速操作；若侧向加速度测量值以及横摆角速度测量值分别连续大于设定值超过N次，则确认为急转弯操作。

优选的，作为一种改进，数据分析单元在进行数据分析时，根据特征量一致性和/或位置一致性将待评测数据与标准数据进行配对，形成数据对矩阵，并确定数据对匹配评测场景和评测指标的匹配度，将匹配度超过阈值的数据对作为分析对象。

本方案还提供了一种自动驾驶道路测试分析方法，包括以下步骤：

步骤S1，构建自动驾驶道路测试场景库，并控制目标车辆在自动驾驶模式下进行预设场景的行驶测试，并在测试过程中实时采集目标车辆的通行数据；

步骤S2，对采集到的数据进行处理、分析，并选定评测指标和评测场景，然后获取待评测数据的特征量，并将待评测数据与真值数据进行配对得到分析对象；

步骤S3，针对分析对象进行评测指标的分析得到分析结果，并根据分析结果对自动驾驶技术的性能进行评价。

附图说明

图1为本发明一种自动驾驶道路测试系统实施例一的结构示意图。

图2为本发明一种自动驾驶道路测试分析方法实施例一的流程示意图。

具体实施方式

下面通过具体实施方式进一步详细说明：

说明书附图中的标记包括：数据采集模块1、数据处理模块2、场景构建模块3、测试模块4、评价模块5、处理器模块6、存储单元7、数据分析单元8。

实施例一：

本实施例基本如附图1所示：一种自动驾驶道路测试系统，包括处理器模块6，以及分别与处理器模块6连接的数据采集模块1、数据处理模块2、场景构建模块3、测试模块4和评价模块5；

所述数据采集模块1，用于实时采集目标车辆的通行数据，并形成第一数据集合后发送至数据处理模块2；

所述数据处理模块2，用于对采集到的第一数据集合进行预处理，预处理后得到有效数据集合；

所述场景构建模块3，用于搭建目标车辆进行自动驾驶的测试道路场景，设置测试道路场景的场景类型、道路类型以及环境类型，并形成自动驾驶道路场景库；

所述测试模块4，用于控制目标车辆在对应的测试道路场景下进行自动驾驶，并检测其通行情况来测试目标车辆搭载的自动驾驶技术的性能；

所述处理器模块6，包括存储单元7和数据分析单元8，所述存储单元7用于存储所述自动驾驶道路场景库；所述数据分析单元8用于对有效数据集合进行数据分析，并得到分析结果；

所述评价模块5，用于根据得到的分析结果对目标车辆的自动驾驶技术的性能进行评价。

具体的，在进行自动驾驶测试前，会先将测试需要用到的道路场景构建完成，通过场景构建模块3来搭建测试道路场景，其中场景类型包含了典型场景、边角场景和事故场景。

典型场景是实际车辆行驶过程中最普通、最常见的场景，覆盖自动驾驶场景的80％以上，典型场景主要来源于自然驾驶场景数据，通过在车辆配备不同类型传感器，记录自然驾驶中的实际情况；

边角场景是实际车辆行驶过程中遇到的出现概率较小的场景，场景多来源于自然采集，同时也有部分数据来源于施工标准等其他数据。从道路结构层面，边角场景指出现的非标准化的或者是临时的道路结构条件，例如，道路施工、城市玻璃幕墙反光等；从车辆动作层面，边角场景指行驶过程中，出现的非常规动作，例如，本车速度分布在前后5％的场景(传感器输出正常)等；

事故场景是实际车辆发生事故或即将要发生事故的场景，研究表明人类需要大约390到600毫秒的时间来检测和应对道路危险，如果已发生事故，或者场景预留的反应时间小于人类反应时间，则定义为事故场景。事故场景多来源于事故数据的复现和自然驾驶场景数据中场景的数据延伸。

另一方面，测试道路场景的道路类型包括高速、城市道路、乡村道路和停车场等领域，而其中涉及到的环境类型还包括晴天、雨天、雪天和雾霾天等多种天气，具体的，晴天为日照时间占整天时间比例超过三分之二的天气，雨天为持续降雨超过1小时或者整天降雨时间占比超过二分之一的天气，雾霾天为能见度低于100米的天气。构建的场景库还具有多个测试场景类别，且对于每种历史场景类别均提取有对应的历史场景特征数据作为初始对比的场景数据参考，每种历史场景数据类别均具有相应的场景元素区间，包括速度、加速度、位置精度、横纵向加速度变化率等元素。

场景搭建完毕后，则启动自动驾驶测试，选定目标车辆后，调整其驾驶模式为自动驾驶模式，并设定要测试的场景元素，包括场景类型、道路类型和环境类型。开始测试，目标车辆在自动驾驶模式下通过设定的测试道路场景，通行过程中，利用数据采集模块1实时采集目标车辆的通行数据，通行数据包括场景数据、行驶状态数据和动力学数据。

具体的，场景数据包括当前目标车辆测试的通行场景的相关数据，利用多个摄像头采集图像数据，多个激光雷达采集到的目标车辆以及测试环境的点云数据；行驶状态数据包括目标车辆的操控信息、位置信息和姿态信息；动力学数据包括车速、油门、加减速度、制动距离和转向输入等数据。

当数据采集完成后，对采集到的数据进行清理，删除异常数据后对数据进行整理分类得到有效数据集合，从有效数据集合中标定待评测数据，并指定收集数据所需评测的评测指标和评测场景，同时将场景库中的测试场景类别进行分类得到标准场景数据。

然后再建立统一坐标系下的车辆环境坐标，并根据预设的数据标定程序，使用标定靶及卷尺等标定工具，跟踪待评测数据的各描述参数的变化趋势，对目标信息进行标定和校准，具体的，如果某一或某些描述参数连续n次被动量均超过设定幅度，则计算描述参数的统计特征，如果统计特征大于或等于设定的统计特征阈值，则将描述参数的统计特性值作为特征量。

再根据建立的统一坐标系下的车辆环境坐标，将识别到的多个目标物坐标信息融合为统一坐标系下该目标物的融合坐标信息。

具体的，数据标定程序根据数值分析方法构建，包括多个驾驶操作的判定规则，若纵向加速度测量值连续大于设定值超过5次，则确认为急加速操作；若纵向减速度测量值连续小于设定值超过5次，则确认为急减速操作；若侧向加速度测量值以及横摆角速度测量值分别连续大于设定值超过5次，则确认为急转弯操作。通过限定检测次数，既能保证有足够多次数的数据进行比对，从而提高检测结果的准确率，同时又能有效保障检测的效率。

根据预设的数据处理方法将待评测数据进行分析处理，得到评测数据与自动驾驶性能评价相关的评价指标。具体的，根据特征量一致性和/或位置一致性将待评测数据与标准数据进行配对，形成数据对矩阵，并确定数据对匹配评测场景和评测指标的匹配度，通过神经网络模型对配对后数据的匹配度进行优先级排序，将匹配度超过阈值的数据对作为分析对象，然后再利用数据分析单元8针对得到的分析对象进行评测指标的具体分析，得到分析结果，最后通过评价模块5根据得到的分析结果对目标车辆的自动驾驶技术的性能进行评价。

具体的，所述特征量一致性是指特征量误差小于阈值，位置一致性是指待评测数据中定位数据的一致性。

具体的，若目标车辆在自动驾驶模式下能够完美通过设定的测试道路场景，且耗时在规定时间内，则自动驾驶技术的性能评价为优秀；

若目标车辆在自动驾驶模式下能够完美通过设定的测试道路场景，但耗时超过规定时间，则自动驾驶技术的性能评价为良好；

若目标车辆在自动驾驶模式下通过设定的测试道路场景，且耗时在规定时间内，但是中途存在驾驶员人为操作干预的情况，则自动驾驶技术的性能评价为一般；

若目标车辆在自动驾驶模式下通过设定的测试道路场景，但是中途存在驾驶员人为操作干预的情况且耗时超过规定时间，则自动驾驶技术的性能评价为合格；

若目标车辆在自动驾驶模式下不能通过设定的测试道路场景，包括发生事故、自动驾驶模式卡机以及人为操控切换不了等情况，则均判定自动驾驶技术的性能为不合格。

如附图2所示，本方案中还提供了一种应用于上述系统中的一种自动驾驶道路测试分析方法，包括以下步骤：

步骤S1，构建自动驾驶道路测试场景库，并控制目标车辆在自动驾驶模式下进行预设场景的行驶测试，并在测试过程中实时采集目标车辆的通行数据；

步骤S2，对采集到的数据进行处理、分析，并选定评测指标和评测场景，然后获取待评测数据的特征量，并将待评测数据与真值数据进行配对得到分析对象；

步骤S3，针对分析对象进行评测指标的分析得到分析结果，并根据分析结果对自动驾驶技术的性能进行评价。

本实施例的具体实施过程如下：

先构建测试自动驾驶技术所要用到的道路场景，形成成熟的、高精度的道路场景库，且场景库场景类型覆盖典型场景、边角场景和事故场景，道路类型覆盖高速、城市道路、乡村道路和停车场等重点领域，环境类型覆盖晴天、雨天、雪天和雾霾天等多种天气。

场景库构建完成后，选定目标车辆在自动驾驶模式下通行预设的多个场景，同时在测试过程中实时采集目标车辆的通行数据，并对采集到的数据进行处理分析，并选定评测指标和评测场景，然后获取待评测数据的特征量，并根据特征量一致性和/或位置一致性将待评测数据与真值数据进行配对形成数据对矩阵，确定数据对匹配评测场景和评测指标的匹配度，通过神经网络模型对配对后数据的匹配度进行优先级排序，将匹配度超过阈值的数据对作为分析对象。

最后对分析对象进行具体的评测指标的分析得到分析结果，然后根据分析结果对自动驾驶技术的性能进行全面评价。

本方案中，利用特征量一致性和/或位置一致性将待评测数据与标准数据进行配对，通过神经网络模型对配对后数据的匹配度进行优先级排序，然后将匹配度较高的数据作为分析对象，从而从海量的数据中提取出能够满足用户指定测评指标、符合用户测评场景的数据，从而极大程度上提升了测试的高效性和准确性。实现了根据用户选取的测试指标和场景来确定待评测数据的指标分析，从而快速高效且准确地评测出最优秀的自动驾驶技术的性能，从而更好的应对复杂多变的实际道路行车环境。

通过本方案，不仅建立了自动驾驶技术的评测系统，还规范了其性能的评判标准，从而给自动驾驶技术提供了一个更好的测试环境，能够准确、快速测试出自动驾驶性能的优劣，为用户的行车安全进行稳定可靠的保护，同时还能够根据自动驾驶技术的测试结果自动对搭载的自动驾驶系统进行反馈调整，从而使其始终维持在高精准性能上，为用户的自动驾乘体验提供优质服务。根据不同的道路情况构建不同的测试环境，同时匹配更优质的辅助技术，来为自动驾驶技术进行综合测评，不仅能提高测试结果的精准性，同时能为自动驾驶技术提供更完善的修正方向，从而提高自动驾驶技术的先进性和智能程度。

以上所述的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本申请给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。

Claims (10)

1.一种自动驾驶道路测试系统，其特征在于：包括处理器模块，以及分别与处理器模块连接的数据采集模块、数据处理模块、场景构建模块、测试模块和评价模块；

所述数据采集模块，用于实时采集目标车辆的通行数据，并形成第一数据集合后发送至数据处理模块；

所述数据处理模块，用于对采集到的第一数据集合进行预处理，预处理后得到有效数据集合；

所述场景构建模块，用于搭建目标车辆进行自动驾驶的测试道路场景，设置测试道路场景的场景类型、道路类型以及环境类型，并形成自动驾驶道路场景库；

所述测试模块，用于控制目标车辆在对应的测试道路场景下进行自动驾驶，并检测其通行情况来测试目标车辆搭载的自动驾驶技术的性能；

所述处理器模块，包括存储单元和数据分析单元，所述存储单元用于存储所述自动驾驶道路场景库；所述数据分析单元用于对有效数据集合进行数据分析，并得到分析结果；

所述评价模块，用于根据得到的分析结果对目标车辆的自动驾驶技术的性能进行评价。

2.根据权利要求1所述的一种自动驾驶道路测试系统，其特征在于：所述通行数据包括场景数据、行驶状态数据和动力学数据；所述场景数据包括当前目标车辆测试的通行场景的相关数据；所述行驶状态数据包括目标车辆的操控信息、位置信息和姿态信息；所述动力学数据包括车速、油门、加减速度、制动距离和转向输入。

3.根据权利要求1所述的一种自动驾驶道路测试系统，其特征在于：所述对采集到的第一数据集合进行预处理为，对采集到的数据进行清理，删除异常数据后对数据进行整理分类。

4.根据权利要求1所述的一种自动驾驶道路测试系统，其特征在于：所述测试道路场景的场景类型包括典型场景、边角场景和事故场景，所述典型场景为实际车辆行驶过程中最常见的场景；所述边角场景为车辆行驶过程中出现非常规动作时的场景；所述事故场景为车辆发生事故或者即将要发生事故的场景。

5.根据权利要求4所述的一种自动驾驶道路测试系统，其特征在于：所述测试道路场景的道路类型包括高速、城市道路、乡村道路和停车场。

6.根据权利要求4所述的一种自动驾驶道路测试系统，其特征在于：所述测试道路场景的环境类型包括晴天、雨天、雪天和雾霾天。

7.根据权利要求1所述的一种自动驾驶道路测试系统，其特征在于：所述对有效数据集合进行数据分析为，根据预设数据标定程序，跟踪有效数据集合中待评测数据的各描述参数的变化趋势，对目标信息进行标定和校准。

8.根据权利要求7所述的一种自动驾驶道路测试系统，其特征在于：所述数据标定程序根据数值分析方法构建，包括多个驾驶操作的判定规则，若纵向加速度测量值连续大于设定值超过N次，则确认为急加速操作；若纵向减速度测量值连续小于设定值超过N次，则确认为急减速操作；若侧向加速度测量值以及横摆角速度测量值分别连续大于设定值超过N次，则确认为急转弯操作。

9.根据权利要求1所述的一种自动驾驶道路测试系统，其特征在于：所述数据分析单元在进行数据分析时，根据特征量一致性和/或位置一致性将待评测数据与标准数据进行配对，形成数据对矩阵，并确定数据对匹配评测场景和评测指标的匹配度，将匹配度超过阈值的数据对作为分析对象。

10.一种自动驾驶道路测试分析方法，应用于如权利要求1-9任一项所述的一种自动驾驶道路测试系统中，其特征在于：包括以下步骤：

步骤S1，构建自动驾驶道路测试场景库，并控制目标车辆在自动驾驶模式下进行预设场景的行驶测试，并在测试过程中实时采集目标车辆的通行数据；

步骤S2，对采集到的数据进行处理、分析，并选定评测指标和评测场景，然后获取待评测数据的特征量，并将待评测数据与真值数据进行配对得到分析对象；

步骤S3，针对分析对象进行评测指标的分析得到分析结果，并根据分析结果对自动驾驶技术的性能进行评价。

Images