CN116841907A - 一种场景连续的高等级自动驾驶实车测试评价系统与方法 - Google Patents

Abstract

本发明涉及自动驾驶测试技术领域，公开了一种场景连续的高等级自动驾驶实车测试评价系统与方法，包括用于实现测试场景的测试工况条件的结构化测试场景库模块、用于系统化构建测试场景的场景规划模块、用于采集测试车辆的车端数据的车载数据采集模块、用于采集目标物的运动学数据的目标对象数据采集模块、用于管理各项测试元素的GPS信息，并用于计算测试车辆与测试元素的相对位置关系的地图模块、用于切分测试车辆和目标物的测试数据，并构成测试用例数据的数据切片模块和用于评价测试场景的测试结果的评价模块。本发明能够为实车测试提供多样化的、真实化的测试场景，达到较高的测试效率和测评可靠度。

Description

一种场景连续的高等级自动驾驶实车测试评价系统与方法

技术领域

本发明涉及自动驾驶测试技术领域，具体涉及一种场景连续的高等级自动驾驶实车测试评价系统与方法。

背景技术

自动驾驶汽车被认为是未来出行的主导形式之一，相较于传统汽车具备更高的智能程度，更优的感知性能。进一步的，自动驾驶汽车在测试评价内容和形式上与传统汽车的物理性能测试评价也有明显不同，自动驾驶汽车测试重视评价整车多传感器的配合以及传感器融合输出的感知、判断和决策能力。自动驾驶测试方法的V模型基本在行业内已经达成共识，既是测试必然经过仿真测试、硬件在环测试、实车受控场地测试和公共道路测试这一历程，测试内容包括传感器、算法、执行器、人机界面等等各个环节，测试目的从应用功能、性能、稳定性和鲁棒性、功能安全、型式认证等等。

在实车场地测试方面，将在真实可控的道路环境中，搭建典型的测试场景、辅以边缘场景和极端场景对自动驾驶汽车进行试验验证。对于具备辅助驾驶功能或低级别自动驾驶实车场地测试，一般采用单一的、离散的单线功能测试，通过功能场景所需的具体参数搭建测试环境，这种场景一定有确定的输入、条件，以及结果明确可控，重复测试和验证自动驾驶的某个单一功能，该方法虽可重复性强，但缺乏“决策能力”“安全性能”等方面的评估，此方法对于辅助驾驶系统的测试是可行的，因为辅助驾驶系统的单一功能测试具备单调性，可预测，但高等级自动驾驶汽车，涉及整个驾驶控制器，运行环境是人-车-环境耦合的复杂系统，其测试结果不稳定也不可预测，故独立的重复测试某个功能，或“输入”固定的场景参数，因局限于某个特定功能的测试而无法满足功能相对复杂的高等级自动驾驶综合能力测试需求，在自动驾驶系统的自主决策能力、网联化协同决策控制等客观测评和舒适性主观测评乏力。

综上，当前的实车场地测试方法和技术，主要存在的缺陷总结如下：

(1)实车场地测试效果达不到预期：实车场地测试的目的是在仿真测试基础上，通过典型的场景和在安全可控的环境下，验证自动驾驶汽车实车运行能力，从而降低直接到公开道路运行的安全风险，经过单项的、离散的功能测试高等级自动驾驶车辆，只能验证某项功能在特定的条件下能够达到要求，无法验证高等级自动驾驶汽车在真实交通环境下的控制决策效果，例如测试项目为信号灯识别及响应，搭建的场景中只存在信号灯一个动态因素，但是真实交通环境中，这种场景是低概率发生场景，无法反应自动驾驶汽车在面临复杂场景时的应对能力，因此，实车的封闭场地测试环节的作用略显鸡肋。

(2)测试效率不高：根据自动驾驶测试验证的相关管理要求中，明确提出场地测试需到达到一定测试里程和试验项目重复次数的要求，以此确保自动驾驶汽车功能的可靠性和稳定性，每种场景搭建和切换将消耗大量的人力和时间，同时，实施多目标物、网联协同、多车等复杂工况，实施难度更大。

(3)测试和评价偏主观：当前的实车测试实施基本依靠测试人员主观判断，测试数据采集较单一和片面，测试数据的处理和分析，基本依靠测试人员整理和计算，缺少客观数据的量化指标。

发明内容

本发明意在提供一种场景连续的高等级自动驾驶实车测试评价系统与方法，用来解决现有实车场地测试方法中存在的测试效果无法达到预期、测试效率不高，测试评价偏主观的技术问题，能够为实车测试提供多样化的、真实化的测试场景，达到较高的测试效率和测评可靠度。

为达到上述目的，本发明提供的基础方案为：

方案一

一种场景连续的高等级自动驾驶实车测试评价系统，包括测试场景库模块、场景规划模块、车载数据采集模块、目标对象数据采集模块、地图模块、数据切片模块和评价模块；

所述测试场景库模块用于实现测试场景的测试工况条件的结构化，所述测试工况条件包括测试场的路侧测试设备工作状态、目标物工作模式、测试数据有效性条件和测试通过指标；

所述场景规划模块用于根据测试工况条件，生成测试场路侧测试设备和目标物的控制方案，并驱动路测测试设备和目标物，以系统化构建测试场景；所述测试场景为适于测试场的连续测试场景；

所述车载数据采集模块用于采集测试车辆的车端数据；所述目标对象数据采集模块用于采集目标物的运动学数据；所述地图模块用于管理测试场中各项道路元素的GPS信息，并用于计算测试车辆与道路元素的相对位置关系；

所述数据切片模块用于根据连续测试场景对应的测试工况条件，按测试场景切分测试车辆和目标物的测试数据，并聚合相应的路侧设备工作状态，构成测试用例数据；

所述评价模块用于管理测评规则以及评价方案，还用于基于测试用例数据，计算各项测评指标，输出测试结果。

方案二

一种场景连续的高等级自动驾驶实车测试评价方法，采用如方案一所述的一种场景连续的高等级自动驾驶实车测试评价系统进行高等级自动驾驶实车测试评价。

本发明的工作原理及优点在于：

第一，本方案能够有效验证高等级自动驾驶汽车在真实交通环境下的控制决策效果，实现多维化测试、多维化评价。首先，本方案所构建的测试场景为更逼近公开道路环境的连续的测试场景，在每个具体的测试项目下，测试工况和实体测试场的场景能够形成不同的组合，选择不同的测试路线和测试工况便可构成连续的测试场景。在连续场景下，每次测试能够不再要求测试车辆执行某个特定功能，而是允许车辆自然驾驶，提供了自动驾驶自主决策的自由度，并且相应的测试评价也能够实现多维化的评价。

相较于常规测试方法，常规方法中往往是根据测试指标人为设定测试流程，各个测试工况相对独立，测试数据易于采集，测试指标易于评价。在实际应用中，此种方法，对于低等级的自动驾驶汽车而言尚且可行，但对于高等级自动驾驶汽车而言，其测试效果则远远不足以体现汽车的真实性能水平。并且，即使少数方案进行了多场景设置，但复杂度不高，并且各场景之间实际上难以实现真正的连续与融合，测试效果并不难得到实质性的提升。

其中原因概为，一是受限于标准测试中的按项目、按指标进行单项测试的惯性思维，少有测试方案会去进行多维测试；二是多维测试中测试数据的准确分析存在技术壁垒，在场景连续融合后，现有测评方案难以准确区分出各测试工况实际对应的运行数据，难以实现准确评价。而本方案则突破了上述惯性思维局限，并通过场景规划模块实现了各场景各工况的真正连续与融合，并进一步通过数据切片模块克服了上述技术壁垒，能够实现测试数据的准确评估，实现准确的多维化测试、多维化评价。

与现有的基于仿真系统的测试方案不同，本方案的连续场景规划保有了传感器感知识别和车端对多种数据融合处理的功能，能够验证自动驾驶车辆传感器在实车运行过程中的性能。本方案通过参数化手段，组装真实场景，能够真实反应自动驾驶汽车在现实环境中的功能和性能。

第二，本方案能够快速实现复杂连续场景的搭建与切换，能够支撑第一点内容有效执行，并达到较高的测评效率。具体地，首先，本方案的测试场景库模块中不仅预设有各测试工况所需的构建条件，还预设有实体测试场的场景条件，实现了对实体测试场场地本身的抽象化和参数化。再配合以场景规划模块进行测试场景的智能搭建，能够快速实现多种测试项目的切换，有助于高效满足测试里程和试验项目重复次数的要求。

在连续场景下，每次测试能够不再要求测试车辆执行某个特定功能，而是允许车辆自然驾驶，这实际突破了当前测试方法的局限性，实现多场景的并行测试，加速测试进程，与单项测试方法相比，明显提高测试效率。另外，因车辆在测试过程中基本为自然驾驶，除客观测试外，可同时进行舒适性、人车驾驶意识等主观性能测评。

第三，本方案能够实现多维化的客观评价，测评可靠度较高。具体地，首先，本方案的测试场景构建和测试工况选择均由场景规划模块，基于实体测试场的场景条件和各测试工况所需的场景条件，智能匹配生成。测试项目相对脱离了人的主观调控，能够多角度地将各种测试工况融合起来，形成更真实复杂的自动驾驶测试环境，测试真实度更高，测试数据更具参考价值，有助于获得更为客观、真实的测评结果。其次，本方案的测试评价由评价模块基于评价指标生成，不再单纯依靠于测试人员主观判断，能够达到较高的测评可靠度。

附图说明

图1为本发明一种场景连续的高等级自动驾驶实车测试评价系统与方法实施例的系统结构示意图；

图2为本发明一种场景连续的高等级自动驾驶实车测试评价系统与方法实施例的分类神经网络测试示意图。

具体实施方式

下面通过具体实施方式进一步详细的说明：

实施例基本如附图1所示：一种场景连续的高等级自动驾驶实车测试评价系统，包括测试场景库模块、场景规划模块、车载数据采集模块、目标对象数据采集模块、地图模块、数据切片模块和评价模块。

所述测试场景库模块用于实现测试场景的测试工况条件的结构化，所述测试工况条件包括测试场的路侧测试设备工作状态、目标物工作模式、测试数据有效性条件和测试通过指标。

在具体应用中，目标物包括自带有控制系统的模拟行人、模拟车辆、模拟自行车、模拟障碍物等实体性的模拟目标物。其运行参数包括：目标物的速度、加速度及其余运行参数。

所述测试有效性条件用于判断各个测试工况对应的测试数据是否有效、是否达到工况触发条件；所述测试通过指标用于判断各个测试工况是否达到功能要求的参数。

具体地，当测试场景定义为：前车切入的识别与避让功能，对应的测试工况定义为：测试车辆测试速度区间50-55km/h，前车以20-40km/h速度区间切入，在此过程中，测试车辆能够识别前车，并且控制车速，使碰撞时间(两车碰撞时间＝相对距离÷相对速度)TTC不能小于3s。

以上测试工况中，测试有效条件为测试车辆速度达到工况要求区间，前车切入时的速度达到工况要求区间，视为本次测试有效。测试通过指标即为这个过程中，通过采集的数据计算出两车的碰撞时间始终大于等于3s。

并且，在整个测试过程中，先设置有测试场景，所述测试场景指能够跟车辆的功能对应的场景，比如信号灯识别、比如行人识别与避撞等等，测试场景下分细化的测试工况，测试工况指不同的测试条件，比如测试开始和结束的标记性数据、测试速度、测试过程的要求等。单个测试场景下可对应设有数个测试工况。

所述车载数据采集模块用于采集测试车辆的车端数据，所述车端数据包括运动学数据、CAN控制信号以及车端视频。所述测试车辆的车端数据还包括车辆的高精度位置数据、基础运行数据(包括但不限于速度、加速度、航向角、横向加速度等)、部分CAN总线数据(包含灯光、行驶状态等)或其他外接的传感器数据等、能够检测车辆驾驶位是否存在人工操作的识别数据等。

所述目标对象数据采集模块用于采集目标物的运动学数据。所述目标物的运动学数据包括目标物的高精度位置数据、基础运行数据(包括但不限于速度、加速度、航向角、横向加速度等)等。在实际应用中，目标对象数据采集模块主要采集测试环境中参与测试的目标物数据。且采集方式包含三种，一是在目标物上同样搭载高精度定位数据设备，由高精度定位数据设备表征其运动数据；二是由模拟的目标物驱动系统在测试过程中直接实时输出，在云端通过关键参数标定转换为目标物的特征点。三是针对不可标的随机目标物，例如公开道路测试中的交通参与对象等，将由路侧感知设备实时输出目标级数据。此类数据用于计算测试车辆与目标物的相对关系参数。

并且，本实施例中，所述目标对象数据采集模块还用于采集测试场景的中参与测试的路侧网联设备数据和端路协同应用触发数据，例如OBU模块数据、交通控制信号数据、模拟特殊环境的设备环境参数等，以保证后续测评分析拥有充足的数据基础。

所述地图模块用于管理测试场中各项道路元素的GPS信息，并用于计算测试车辆与道路元素的相对位置关系。所述GPS信息包括但不限于车道线、车道边界线、交通标志牌位置、交通标线包含路口停止线、让行线、人行横道线等、交通信号灯位置及类型、道路类型、道路车道数量、道路航向弯道曲率半径等。

所述场景规划模块用于根据测试工况条件，生成测试场路侧测试设备和目标物的控制方案，并驱动路测测试设备和目标物，以系统化构建测试场景；所述测试场景为适于测试场的连续测试场景。

具体地，所述场景规划模块生成的控制方案包括：测试路段与测试工况的关联关系；目标物的运动触发条件、运行路径和运行参数；以及路侧测试设备的控制参数；所述路侧测试设备的控制参数包括测试场景所需的交通信号灯方案、道路限速值、模拟雨量、模拟能见度、模拟灯光亮度、V2X的路侧广播消息，以及各路测环境参数对应的有效时长。并且，本实施例中，场景规划模块在设定目标物的相关控制参数后，还将目标物的相关控制参数传送至各目标物的控制系统中。

所述场景规划模块构建的适于实体测试场的连续测试场景包括：叠加式组合的连续测试场景和融合式组合的连续测试场景。

所述数据切片模块用于根据连续测试场景对应的测试工况条件，按测试场景切分测试车辆和目标物的测试数据，并聚合相应的路侧设备工作状态，构成测试用例数据。

所述数据切片模块内设有场景分类策略；所述场景分类策略包括：根据测试要素，对测试过程进行量化处理，再利用分类神经网络基于测试场景的场景参数的量化标签以及测试车辆的车端数据，识别测试场景。

本实施例中，所述测试要素指测试场景中，除测试车辆之外的所有元素。例如，当测试场景为行人识别避障场景时，测试要素包括模拟的行人目标物等元素；当测试场景为车道线识别与响应场景时，测试要素包括各种车道线、标志线等元素。

如附图2所示，所述分类神经网络包括输入层、隐藏层、激活层和输出层；所述分类神经网络在识别测试场景时，通过输入层输入测试场景的场景参数的量化标签以及测试车辆的车端数据作为输入X(x₁,x₂,x₃...x_n)，并经过隐藏层和激活层，再由输出层输出为Y(y₁,y₂,y₃...y_n),并经由softmax函数对Y进行归一化处理，并得到测试场景的发生概率值η；当发生概率值η大于预设阈值时，判定为测试过程中存在该测试场景，并触发评价模块进行对应的测试评价。

具体地，发生概率值

其中，m为测试场景的类别数量。

并且，在对分类神经网络进行训练时，首先计算SoftMax函数输出的交叉熵，通过使交叉熵最小，驱动误差返向传播，优化网络中的权重参数，能够有效优化网络性能，实现更准确的场景识别。

所述评价模块用于管理测评规则以及评价方案，还用于基于测试用例数据，计算各项测评指标，输出测试结果。

所述评价模块能够对单个测试场景进行评价，还能够对多个测试场景进行综合性评价。

在评价单个测试场景的测试结果时，所计算的单个测试场景的评价指标为根据该场景下各项测试工况中描述的要求，得到该场景的评价指标，例如单个测试场景下，有20个测试工况，要求测试工况通过率是小于20％时，该场景得分为1分，通过率是20-50％时，得2分，通过率是50％-90％得4分，通过率90-100％，得7分。这些评价指标对应一系列测评标准。

在评价多个测试场景，即评价场景组的测试结果时，场景组为有一定连续性和关联性的场景，比如红绿灯识别的场景和行人识别和避撞的场景，当这两个场景是一个组合时，则并非按照两个单独的场景来评价该测试车辆的功能是否合理，而是由评价模块再智能设置综合评价指标，分析组合场景下合理的控制策略，并输出综合性的测试结果。

具体地，所述评价模块基于先验参数进行评价；所述先验参数为其中，ε为先验参数，/>为所有测试正样本的平均值，Δε为不同测试工况下，先验参数对于平均值的合理偏差；且Δε为关于测试要素X的函数，Δε＝ω₁x₁+ω₂x₂+...+ω₀；其中，ω_i(i＝1,2...n)，ω_i为通过参数神经网络学习得到，实车测试时，计算参数的波动范围，从而实现参数的在线优化。本实施例中，所述参数神经网络的网络结构与分类神经网络的网络结构相同。

在评价模块中，每一个测试场景对应设置有一组参数神经网络；所述参数神经网络包括特征泛化层和参数学习层；并且，每个先验参数对应一个参数学习层，所有的参数学习层共用一个特征泛化层。

所述参数神经网络在训练时，先基于一个先验参数对应的参数学习层进行训练，当该先验参数的误差下降到误差阈值以下时，再训练下一个先验参数的参数学习层。

本实施例还提供一种场景连续的高等级自动驾驶实车测试评价方法，采用如上述的一种场景连续的高等级自动驾驶实车测试评价系统进行高等级自动驾驶实车测试评价。

具体可包括以下步骤：由场景规划模块智能生成连续测试场景，并生成测试场路侧测试设备和目标物的控制方案，并驱动路测测试设备和目标物，以系统化构建测试场景。测试车辆在构建出的测试场景中运行，在此过程中，由车载数据采集模块采集测试车辆的车端数据，目标对象数据采集模块采集目标物的运动学数据，地图模块管理测试场中各项道路元素的GPS信息，并计算测试车辆与道路元素的相对位置关系。测试完成后，数据切片模块基于上述模块采集的数据，即测试数据，对测试数据进行整合，并构成测试用例数据。再由评价模块基于测试用例数据，完成针对不同测试场景、不同测试工况的多维化评价。

本实施例提供的一种场景连续的高等级自动驾驶实车测试评价系统与方法，能够满足感知、决策、控制和网联功能等基本功能测试需求和涵盖舒适、驾驶意识等性能测试的多变需求。具体地，本方案首先能够实现场景构建自动化；通过设置可控设备的参数(实体测试场、目标物、路侧设备等)，自动构建所需的测试场景，使场景元素能够更精确的执行，避免人员搭建场景因主观因素造成的差异性。其次，本方案能够实现测试评价自动化；根据测评指标和规程，对数据进行处理，并基于神经网络原理对场景切片和评价参数优化，进一步细化场景中的事件粒度，形成更全面的测试用例集，优化评价指标将为标准提供有效数据支撑，促进标准的完善和成熟。

再者，本方案能够实现测试场景的连续耦合。在自然状态下，各类测试场景随机出现，即存在场景的多样性，也存在场景组合的复杂性。多个测试场景可以顺序出现，从时间和空间上，可分隔式出现，两个及其以上的测试场景也可以相互融合的方式出现，在时间和空间上没有明确的分隔界线。根据测试要素，对测试过程进行量化处理后，利用神经网络对测试场景进行分类。可以识别单个测试场景，也能处理多个测试场景混合出现的情况，实现实车单车智能和网联智能相结合的连续化、随机化、自动化测评。

以上所述的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本申请给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。

Claims (9)

1.一种场景连续的高等级自动驾驶实车测试评价系统，其特征在于，包括测试场景库模块、场景规划模块、车载数据采集模块、目标对象数据采集模块、地图模块、数据切片模块和评价模块；

所述测试场景库模块用于实现测试场景的测试工况条件的结构化，所述测试工况条件包括测试场的路侧测试设备工作状态、目标物工作模式、测试数据有效性条件和测试通过指标；

所述场景规划模块用于根据测试工况条件，生成测试场路侧测试设备和目标物的控制方案，并驱动路测测试设备和目标物，以系统化构建测试场景；所述测试场景为适于测试场的连续测试场景；

所述车载数据采集模块用于采集测试车辆的车端数据；所述目标对象数据采集模块用于采集目标物的运动学数据；所述地图模块用于管理测试场中各项道路元素的GPS信息，并用于计算测试车辆与道路元素的相对位置关系；

所述数据切片模块用于根据连续测试场景对应的测试工况条件，按测试场景切分测试车辆和目标物的测试数据，并聚合相应的路侧设备工作状态，构成测试用例数据；

所述评价模块用于管理测评规则以及评价方案，还用于基于测试用例数据，计算各项测评指标，输出测试结果。

2.根据权利要求1所述的一种场景连续的高等级自动驾驶实车测试评价系统，其特征在于，所述场景规划模块生成的控制方案包括：测试路段与测试工况的关联关系，目标物的运动触发条件、运行路径和运行参数，以及路侧测试设备的控制参数；所述路侧测试设备的控制参数包括测试场景所需的交通信号灯方案、道路限速值、模拟雨量、模拟能见度、模拟灯光亮度和V2X的路侧广播消息。

3.根据权利要求1所述的一种场景连续的高等级自动驾驶实车测试评价系统，其特征在于，所述场景规划模块构建的适于实体测试场的连续测试场景包括：叠加式组合的连续测试场景和融合式组合的连续测试场景。

4.根据权利要求1所述的一种场景连续的高等级自动驾驶实车测试评价系统，其特征在于，所述数据切片模块内设有场景分类策略；所述场景分类策略包括：根据测试要素，对测试过程进行量化处理，再利用分类神经网络基于测试场景的场景参数的量化标签以及测试车辆的车端数据，识别测试场景。

5.根据权利要求4所述的一种场景连续的高等级自动驾驶实车测试评价系统，其特征在于，所述分类神经网络包括输入层、隐藏层、激活层和输出层；所述分类神经网络在识别测试场景时，通过输入层输入测试场景的场景参数的量化标签以及测试车辆的车端数据作为输入X，并经过隐藏层和激活层，再由输出层输出为Y,并经由softmax函数对Y进行归一化处理，并得到测试场景的发生概率值η；当发生概率值η大于预设阈值时，判定为测试过程中存在该测试场景，并触发评价模块进行对应的测试评价。

6.根据权利要求1所述的一种场景连续的高等级自动驾驶实车测试评价系统，其特征在于，所述评价模块基于先验参数进行评价；所述先验参数为其中，ε为先验参数，/>为所有测试正样本的平均值，Δε为不同测试工况下，先验参数对于平均值的合理偏差；且Δε为关于测试要素X的函数，Δε＝ω₁x₁+ω₂x₂+...+ω₀；其中，ω_i(i＝1,2...n)，ω_i为通过参数神经网络学习得到。

7.根据权利要求6所述的一种场景连续的高等级自动驾驶实车测试评价系统，其特征在于，在评价模块中，每一个测试场景对应设置有一组参数神经网络；所述参数神经网络包括特征泛化层和参数学习层；并且，每个先验参数对应一个参数学习层，所有的参数学习层共用一个特征泛化层。

8.根据权利要求7所述的一种场景连续的高等级自动驾驶实车测试评价系统，其特征在于，所述参数神经网络在训练时，先基于一个先验参数对应的参数学习层进行训练，当该先验参数的误差下降到误差阈值以下时，再训练下一个先验参数的参数学习层。

9.一种场景连续的高等级自动驾驶实车测试评价方法，其特征在于，采用如权利要求1-8任一项所述的一种场景连续的高等级自动驾驶实车测试评价系统进行高等级自动驾驶实车测试评价。