CN107843440A - 一种自动驾驶车辆性能测试系统及方法 - Google Patents

Abstract

本发明公开了一种自动驾驶车辆性能测试方法以及系统。方法包括：获取测试需求，根据所述测试需求生成离线测试参数和/或在线测试参数，其中，所述离线测试参数用于配置待测试车辆上设备的离线仿真测试，所述在线测试参数用于配置待测试车辆的实地行驶测试；基于所述离线测试参数针对所述待测车辆进行离线仿真测试，获取测试结果；基于所述在线测试参数针对所述待测车辆进行实地行驶测试，获取测试结果。根据本发明的系统以及方法，可以根据实际测试需要对自动驾驶车辆进行包含离线测试以及实地驾驶测试的综合测试；相较于现有技术，根据本发明的系统以及方法可以获取更加准确全面的测试结果。

Description

一种自动驾驶车辆性能测试系统及方法

技术领域

本发明涉及交通领域，具体涉及一种自动驾驶车辆性能测试系统及方法。

背景技术

自动驾驶车辆，其主要依靠车载传感系统感知道路环境，自动规划行车路线并控制车辆到达预定目标。自动驾驶车辆是集自动控制、视觉计算、体系结构等众多技术于一体的高度发展的产物，是衡量一个国家科研实力和工业水平的重要标志，在国防和国民经济领域具有广阔的应用前景。

随着全球范围内自动驾驶车辆技术的快速发展和不断提升，自动驾驶车辆在复杂环境下的驾驶行为能力的测试是自动驾驶车辆研发过程中的一项重要任务。我们需要构建一种完全独立于测试车辆的测试系统来准确、科学、全方位地对自动驾驶车辆的智能水平、环境认知能力、自主驾驶能力等进行测评。

但是，在现有技术中，由于场地测试的可设置场景有限、天气等因素不易控制、现场测试费用高、对车辆系统出现的异常也缺乏有效的跟踪手段等原因，针对自动驾驶车辆的测试无法满足自动驾驶车辆的研发检验需求。

发明内容

本发明提供了一种自动驾驶车辆性能测试方法，所述方法包括：

获取测试需求，根据所述测试需求生成离线测试参数和/或在线测试参数，其中，所述离线测试参数用于配置待测试车辆上设备的离线仿真测试，所述在线测试参数用于配置待测试车辆的实地行驶测试，所述在线测试参数包括用于布置测试场地的测试场地配置参数以及用于指导待测试车辆在所述测试场地进行测试行驶的测试路线数据；

基于所述离线测试参数针对所述待测车辆进行离线仿真测试，获取测试结果；

基于所述在线测试参数针对所述待测车辆进行实地行驶测试，获取测试结果。

在一实施例中，根据所述测试需求生成离线测试参数和/或在线测试参数，包括：

确定所述测试需求包含的测试场景；

根据所述测试场景调用对应的测试场景特征信息；

根据调用的测试场景特征信息生成对应的离线测试参数和/或在线测试参数。

在一实施例中，获取待测车辆在实地行驶测试过程中反馈的测试结果，包括：

在所述待测试车辆基于所述测试路线数据行驶时对所述待测试车辆进行驾驶状态分析，获取驾驶状态分析结果。

在一实施例中，获取待测车辆在实地行驶测试过程中反馈的测试结果，还包括：

在所述待测试车辆基于所述测试路线数据行驶时采集车辆动力学数据。

在一实施例中，所述方法还包括：

根据待测车辆在离线仿真测试和/或实地行驶测试过程中反馈的测试结果生成测试报告，其中，所述测试报告包括安全性分析报告、智能性分析报告、舒适性分析报告和/或敏捷性分析报告。

本发明还提出了一种自动驾驶车辆性能测试系统，所述系统包括：

测试参数生成模块，其配置为获取测试需求，根据所述测试需求生成并输出离线测试参数和/或在线测试参数，其中，所述离线测试参数用于配置待测试车辆上设备的离线仿真测试，所述在线测试参数用于配置待测试车辆的实地行驶测试，所述在线测试参数包括用于布置测试场地的测试场地配置参数以及用于指导待测试车辆在所述测试场地进行测试行驶的测试路线数据；

离线测试数据采集模块，其配置为基于所述离线测试参数获取待测车辆在离线仿真测试中反馈的测试结果；

实地行驶测试数据采集模块，其配置为基于所述在线测试参数获取待测车辆在实地行驶测试过程中反馈的测试结果。

在一实施例中，所述测试参数生成模块包括：

场景库，其配置为存储评测场景的测试场景特征信息；

测试场景确定单元，其配置为获取测试需求，确定所述测试需求包含的测试场景；

场景特征获取单元，其配置为根据所述测试场景从所述场景库中调用对应的测试场景特征信息；

测试参数生成单元，其配置为根据所述场景特征获取单元调用的测试场景特征信息生成对应的离线测试参数和/或在线测试参数。

在一实施例中，所述实地行驶测试数据采集模块包括：

定性测试单元，其配置为在所述待测试车辆基于所述测试路线数据行驶时对所述待测试车辆进行驾驶状态分析，获取驾驶状态分析结果。

在一实施例中，所述实地行驶测试数据采集模块还包括：

车辆动力学测试单元，其配置为在所述待测试车辆基于所述测试路线数据行驶时采集车辆动力学数据。

在一实施例中，所述系统还包括：

测试数据分析模块，所述测试数据分析模块包括安全性分析单元、智能性分析单元、舒适性分析单元以及敏捷性分析单元，所述测试数据分析模块配置为根据待测车辆在离线仿真测试以及实地行驶测试过程中反馈的测试结果生成测试报告。

根据本发明的系统以及方法，可以根据实际测试需要对自动驾驶车辆进行包含离线测试以及实地驾驶测试的综合测试；相较于现有技术，根据本发明的系统以及方法可以获取更加准确全面的测试结果。

本发明的其它特征或优点将在随后的说明书中阐述。并且，本发明的部分特征或优点将通过说明书而变得显而易见，或者通过实施本发明而被了解。本发明的目的和部分优点可通过在说明书、权利要求书以及附图中所特别指出的步骤来实现或获得。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中：

图1是根据本发明一实施例的方法执行流程图；

图2是根据本发明一实施例的测试报告示意图；

图3是根据本发明一实施例的部分方法执行流程图；

图4是根据本发明一实施例的系统结构框图；

图5是根据本发明一实施例的系统部分结构框图；

图6以及图7是根据本发明不同实施例的系统部分结构框图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此本发明的实施人员可以充分理解本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程并依据上述实现过程具体实施本发明。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

自动驾驶车辆，其主要依靠车载传感系统感知道路环境，自动规划行车路线并控制车辆到达预定目标。自动驾驶车辆是集自动控制、视觉计算、体系结构等众多技术于一体的高度发展的产物，是衡量一个国家科研实力和工业水平的重要标志，在国防和国民经济领域具有广阔的应用前景。

随着全球范围内自动驾驶车辆技术的快速发展和不断提升，自动驾驶车辆在复杂环境下的驾驶行为能力的测试是自动驾驶车辆研发过程中的一项重要任务。我们需要构建一种完全独立于测试车辆的测试系统来准确、科学、全方位地对自动驾驶车辆的智能水平、环境认知能力、自主驾驶能力等进行测评。

但是，在现有技术中，由于场地测试的可设置场景有限、天气等因素不易控制、现场测试费用高、对车辆系统出现的异常也缺乏有效的跟踪手段等原因，针对自动驾驶车辆的测试无法满足自动驾驶车辆的研发检验需求。

针对上述问题，本发明提出了一种自动驾驶车辆性能测试方法。根据本发明的方法，可以根据实际测试需要对自动驾驶车辆进行包含离线测试以及实地驾驶测试的综合测试；相较于现有技术，根据本发明的系统以及方法可以获取更加准确全面的测试结果。

接下来基于流程图详细描述本发明实施例的实施过程。附图的流程图中示出的步骤可以在包含诸如一组计算机可执行指令的计算机系统中执行。虽然在流程图中示出了各步骤的逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

如图1所示，在一实施例中，方法包括：

S110，获取测试需求；

S111，根据测试需求生成离线测试参数；

S112，根据测试需求生成在线测试参数；

S120，基于离线测试参数针对待测车辆进行离线仿真测试，获取测试结果；

S130，基于在线测试参数针对待测车辆进行实地行驶测试，获取测试结果。

在上述流程中，离线测试参数用于配置待测试车辆上设备的离线仿真测试。具体的，例如仿真类型、仿真环境参量、仿真次数、仿真输入参量、仿真结果采集设定参数等。

在线测试参数用于配置待测试车辆的实地行驶测试。具体的，例如行驶场地参数、行驶路线参数、行驶数据采集设定参数等。

具体的，在线测试参数包括用于布置测试场地的测试场地配置参数以及用于指导待测试车辆在测试场地进行测试行驶的测试路线数据。在测试过程中，先依照测试场地配置参数配置测试场地(S131)，然后令待测试车辆依照测试路线数据行驶(S132)，这样就可以在行驶过程中采集测试结果数据(S133)。

在上述流程中，不仅在待测车辆在实际行驶场地上的行驶过程中对车辆进行测试，而且还在非行驶状态下针对待测车辆的设备进行离线仿真模拟测试。这样，就可以有效解决仅仅进行行驶测试时测试结果无法满足研发检验需求的问题。

进一步的，在一实施例中，针对待测试车辆的测试分为定性测试以及定量测试两部分。

具体的，在一实施例中，定性测试包括：

在待测试车辆基于测试路线数据行驶时对待测试车辆进行驾驶状态分析，获取驾驶状态分析结果。

在一实施例中，定量测试包括：

在待测试车辆基于测试路线数据行驶时采集车辆动力学数据。

进一步的，在一实施例中，定量测试还包括：

基于离线测试参数对待测试车辆的设备进行离线仿真测试；

进一步的，由于离线仿真测试以及实地行驶测试过程中待测试车辆反馈的测试结果主要是一系列具体的数值(尤其是定量测试的测试结果)，从测试结果上并不能直接体现待测试车辆的性能。因此，在一实施例中，当获取到测试结果后还要对测试结果进行分析，生成测试报告，从而从更直观的角度向用户展示待测试车辆的性能。具体的，在一实施例中，测试报告包括安全性分析报告、智能性分析报告、舒适性分析报告和/或敏捷性分析报告。

具体的，在一实施例中，安全性分析报告主要包括紧急制动能力考察报告、信息安全能力考察报告、人机交互能力考察报告。紧急制动能力考察报告，是考察自动驾驶车辆在紧急情况下的行为反应以及制动能力，包括自动刹停等；信息安全能力考察报告，是考察自动驾驶车辆的系统安全与网络安全，包括APP安全、ECU安全、Can-bus总线安全等；人机交互能力考察报告，是考察在当自动驾驶系统退化或者自动驾驶系统失灵等情况下，自动驾驶车辆能否较好的规避或者降低当前交通安全风险，平滑过渡到驾驶员接管模式。

智能性分析报告，主要包括：感知能力考察报告、决策规划考察报告、车辆控制考察报告。感知能力考察报告考察自动驾驶车辆的感知识别能力，包括物体检测、物体识别或分类、物体定位和行为预测等。决策规划考察报告考察自动驾驶车辆在交通环境下的行为决策和路径规划能力，包括变道考察、跟车考察、全局路径规划与局部路径规划考察等；车辆控制考察报告考察自动驾驶车辆精准执行上层运动控制指令等的效果，包括响应指令时间、可控制动的速度范围等。

舒适性分析报告，主要包括平稳能力考察报告、迅捷能力考察报告。平稳能力考察报告考察自动驾驶车辆行驶中的平稳程度，包括通过车辆动力学参数的实时变化，来考察车辆是否有过大摇摆、颠簸等；迅捷能力考察报告考察自动驾驶车辆完成相关驾驶任务的情况，包括停顿次数、所耗时间等。

敏捷性分析报告，主要包括适应能力考察报告、应急能力考察报告、修正能力考察报告。适应能力考察报告考察自动驾驶车辆的跟车能力，或者叫自动巡航能力，能否自主调整速度等参数以适应当前的交通环境；应急能力考察报告考察自动驾驶车辆在一些危险情况下的应急处理能力，包括GPS信号丢失、突发危险路况、自动驾驶系统失灵、自动驾驶系统被入侵等情况下，自动驾驶系统的处理方式和风险大小。修正能力考察报告考察自动驾驶车辆在行驶中，是否具有路线偏离后的调整能力、超出道路约定速度后，调整速度以满足道路要求等能力。

具体的，在一具体的应用场景中，最终的测试结果以及测试报告输出如图2所示。

接下来基于以具体测试需求详细描述本发明方法的测试细节。

在一具体应用场景中，以‘两相位灯丁字路口直行’实地行驶测试场景为例，进行测评分析。

根据‘两相位灯丁字路口直行’测试场景，生成对应的离线测试参数以及在线测试参数，基于离线测试参数以及在线测试参数进行离线仿真测试以及实地行驶测试，在测试过程中对自动驾驶车辆进行定性和定量测试。

定性测试，主要是在测试场地构建测试场景，查看自动驾驶车辆是否能够完成相关的驾驶任务，以‘两相位灯丁字路口直行’场景为例，在两相位灯丁字路口处，考察该自动驾驶车辆是否能够：直行通过当前路口、正确识别信号灯状态、正确检测路牌信息(在实际场地上的丁字路口设置以下路牌：丁字路口的指示标志牌、限速标志牌)、调整速度至限速范围内、是否压标线等。在车辆通过该路口的过程中，记录全部的定性考察的结果，并且采集车辆的实际车辆动力学参数、决策规划模块输出的动力学参数、实际GPS轨迹、行驶视频等。

最后，对定性测试的结果给出一定的评价结果，比如以如下的计算方式：

表1

如表1所示：假设定性测试中，第i个测试任务是“两相位灯丁字路口直行”，分值是M_i，该测试任务的最终得分是W_i,那么：

1)若“直行通过路口”中选择“否”，也就是车辆没能直行通过路口，则该测试任务的得分W_i＝0；

2)若“直行通过路口”中选择“是”，那么再查看自动驾驶车辆的驾驶任务完成效果，减去驾驶任务完成效果下面几项扣分项即可，比如可以正确识别红绿灯，但是超速并且压路面黄线，则最后的得分是：W_i＝M_i-M_i2-M_i3

最终，定性测试的总得分W满足：

W＝∑w_i (1)

定量测试，数据来源于两部分：一部分是测试场地采集到的数据，比如上面提到的自动驾驶车辆的车辆动力学参数、GPS轨迹、行驶视频等；另一部分来源于离线仿真测试。离线仿真测试包括：感知能力测试、决策规划能力测试、车辆控制能力测试。

具体的，在一实施例中，感知能力测试主要考察自动驾驶车辆对交通流中物体的识别分类能力。其中：

1)离线感知能力测试任务内容：在不同光照、遮挡、道路类型及车辆运动等因素下，对采集的车辆实际行驶过程中车载相机图像离散数据进行识别和定位，即各类物体(轿车，行人，货车，自行车，公交车等)在图像中的位置。

2)离线感知能力测试任务流程：

(1)自动驾驶测试系统从离线数据平台的通信数据接口获取测试数据。

离线测试数据来源于真实道路交通环境中行驶车辆的车载相机采集的实际交通场景图离散序列。离线测试数据集中根据对物体的遮挡程度的不同，分为5种难度等级的图像序列。实际测试时，分别随机选取相同数目的5个难度等级的图像序列。不是一般性，假设选取的5个难度等级的图片数均为n，5种难度等级的得分依次为：N_1,N_2,N_3,N_4,N_5，难度越高，分值越大。

(2)自动驾驶测试系统从接口获取到数据后，要立刻利用自身的感知算法分析数据，最终，将分析的结果返回离线数据平台的结果记录与评估接口。其中，返回的结果以txt格式回传，内容包括：从“离线数据平台的通信数据接口”获取到数据的时间戳、每一帧图像序列中，物体名称、物体在图片中的坐标(x,y)、全部图片序列分析完的时间戳。

(3)最终，离线数据平台对返回的文档和数据库中的真实结果进行对比，给出：5个难度等级的图片识别正确的数目依次为：n_01，n_02，n_03，n_04，n_05；5个难度等级的图片定位正确的数目依次为：n_11，n_12，n_13，n_14，n_15；完成数据分析的总时间t。

物体识别能力得分：C＝N_1*n_01+N_2*n_02+N_3*n_03+N_4n_04+N_5*n_05

物体定位能力得分：P＝N_1*n_11+N_2*n_12+N_3*n_13+N_4n_14+N_5*n_15

离线测试感知能力得分：N＝(C+P)/t

根据定性测试与定量测试的结果，基于综合测评模块深入分析自动驾驶车辆的4S性能，包括安全性、智能性、舒适性、敏捷性，给出最终的测试报告。

具体的，在一实施例中，在定性测试中，给出感知相关项目的扣分情况：比如，因为发生压黄线，说明不能准确识别车道线等路面标线，汇总感知方向的违规错误内容和分值，例如给出如表2的表格：

表2

在定量测试中，给出如表3所示的感知相关项目的得分情况：

表3

综合上述定性测试以及定量测试的得分，就可以给出感知能力的总分以及待提高的技术方向。

在本发明的方法流程中，通过离线仿真测试和实地行驶测试结合的方式获取更为全面可靠的测试结果。但是，针对不同的车辆、不同的研发目标，其测试需求往往是不同的。因此，为了适应不同的测试需求，关键步骤之一在于确定离线测试参数以及在线测试参数。

在一实施例中，对测试需求进行分析以及分解，将测试需求分解为多个需要满足的测试场景的集合。然后针对每个测试场景生成离线测试参数以及在线测试参数，使得最终生成的离线测试参数以及在线测试参数满足所有的测试场景的需求。

如图3所示，在一实施例中，根据测试需求生成离线测试参数以及在线测试参数的过程包括：

S410，确定测试需求包含的测试场景；

S420，根据测试场景调用对应的测试场景特征信息；

S430，根据调用的测试场景特征信息生成对应的离线测试参数以及在线测试参数。

进一步的，考虑到车辆进行测试时往往需要在实际路面上进行驾驶，而在路面实际行驶时有可能出现交通意外。为了尽可能的完全控制测试过程，降低测试过程中意外事故带来的不良后果，在一实施例中，对测试需求进行分析以及分解，将测试需求分解为多个需要满足的测试场景的集合。然后依托现有的可控的测试场地生成离线测试参数以及在线测试参数，使得最终的测试内容满足所有的测试场景。这样，在满足测试需求的基础上最大限度的提高了测试过程的可控性，从而降低了测试过程中意外事故所带来的影响。

例如，针对实地行驶测试，测试需求是从地图上实际的A点到B点的行驶测试。但是A点到B点是已投入运行的路段，测试过程中发生意外势必会影响其他车辆通行。因此，在一实施例中，分析A点到B点的道路细节情况，基于现有的可控测试场地生成在线测试参数，使得基于在线测试参数进行的实地行驶过程可以包含与A点到B点的道路细节情况相同的道路情况，这样就可以实际模拟A点到B点的行驶。在车辆安全稳定性不高时首先在可控测试场地上进行A点到B点的模拟测试，待安全稳定性达到标准时在进行实际路段测试。

进一步的，在一实施例中，将测试过程中各个环节的细节描述划分为静态特征信息以及动态特征信息。在一实施例中，根据测试需求生成离线测试参数以及在线测试参数的过程包括：

确定测试需求包含的测试场景；

根据测试场景调用对应的静态特征信息；

根据测试场景调用对应的动态特征信息；

根据调用的静态特征信息以及动态特征信息生成对应的离线测试参数以及在线测试参数。

具体的，在一实施例中，动态特征信息包括事故形态、驾驶者违规形式、车辆行驶状态以及车辆安全状态。

具体的，在一实施例中，静态特征信息包括道路类型、道路线形、线路交叉状态、路面质量、道路横断面状态、天气、能见度以及照明状态。

进一步的，为了便于实现基于测试需求的测试内容生成，在一实施例中，基于难度系数定量描述测试需求，将不同的静态特征信息以及动态特征信息与量化的难度系数进行关联，这样在进行静态特征信息以及动态特征信息的调用时就可以根据测试需求的难度系数直接调用具体参数的静态特征信息以及动态特征信息。

基于本发明的方法，本发明还提出了一种自动驾驶车辆性能测试系统。如图4所示，在一实施例中，系统包括：

测试参数生成模块510，其配置为获取测试需求，根据测试需求生成并输出离线测试参数以及在线测试参数，其中，离线测试参数用于配置待测试车辆上设备的离线仿真测试，在线测试参数用于配置待测试车辆的实地行驶测试，在线测试参数包括用于布置测试场地的测试场地配置参数以及用于指导待测试车辆在所述测试场地进行测试行驶的测试路线数据；

离线测试数据采集模块520，其配置为基于离线测试参数获取待测车辆在离线仿真测试中反馈的测试结果；

实地行驶测试数据采集模块530，其配置为基于在线测试参数获取待测车辆在实地行驶测试过程中反馈的测试结果。

具体的，在一实施例中，在离线仿真测试过程中，测试参数生成模块510将离线测试参数发送到离线测试数据采集模块520以及待测试车辆上的相关设备，由离线测试数据采集模块520针对待测试车辆进行离线仿真测试。

在实地行驶测试过程中，测试参数生成模块510将测试场地配置参数发送到测试场地以配置测试场地；测试参数生成模块510将测试路线数据发送到待测试车辆以便待测试车辆按照测试路线在测试场地行驶；测试参数生成模块510将在线测试参数中数据采集相关的参数数据发送到实地行驶测试数据采集模块530，从而令实地行驶测试数据采集模块530在待测试车辆进行测试行驶时进行数据采集。

进一步的，在一实施例中，实地行驶测试数据采集模块包括：

定性测试单元，其配置为在待测试车辆基于测试路线数据行驶时对待测试车辆进行驾驶状态分析，获取驾驶状态分析结果。

进一步的，在一实施例中，实地行驶测试数据采集模块还包括：

车辆动力学测试单元，其配置为在待测试车辆基于测试路线数据行驶时采集车辆动力学数据。

进一步的，在一实施例中，离线测试数据采集模块包括感知能力测试模块、决策规划能力测试模块、车辆控制能力测试模块。

进一步的，在一实施例中，系统还包括：

测试数据分析模块，测试数据分析模块包括安全性分析单元、智能性分析单元、舒适性分析单元以及敏捷性分析单元，测试数据分析模块配置为根据待测车辆在离线仿真测试以及实地行驶测试过程中反馈的测试结果生成测试报告。

具体的，在一实施例中，安全性分析单元，主要包括紧急制动能力考察模块、信息安全能力考察模块、人机交互能力考察模块。紧急制动能力考察模块，负责考察自动驾驶车辆在紧急情况下的行为反应以及制动能力，包括自动刹停等；信息安全能力考察模块，负责考察自动驾驶车辆的系统安全与网络安全，包括APP安全、ECU安全、Can-bus总线安全等；人机交互能力考察模块，负责考察在当自动驾驶系统退化或者自动驾驶系统失灵等情况下，自动驾驶车辆能否较好的规避或者降低当前交通安全风险，平滑过渡到驾驶员接管模式。

智能性分析单元，主要包括：感知能力考察模块、决策规划考察模块、车辆控制考察模块。感知能力考察模块负责考察自动驾驶车辆的感知识别能力，包括物体检测、物体识别或分类、物体定位和行为预测等。决策规划考察模块，负责考察自动驾驶车辆在交通环境下的行为决策和路径规划能力，包括变道考察、跟车考察、全局路径规划与局部路径规划考察等；车辆控制考察模块，负责考察自动驾驶车辆精准执行上层运动控制指令等的效果，包括响应指令时间、可控制动的速度范围等。

舒适性分析单元，主要包括平稳能力考察模块、迅捷能力考察模块。平稳能力考察模块，负责考察自动驾驶车辆行驶中的平稳程度，包括通过车辆动力学参数的实时变化，来考察车辆是否有过大摇摆、颠簸等；迅捷能力考察模块，负责考察自动驾驶车辆完成相关驾驶任务的情况，包括停顿次数、所耗时间等。

敏捷性分析单元，主要包括适应能力考察模块、应急能力考察模块、修正能力考察模块。适应能力考察模块，负责考察自动驾驶车辆的跟车能力，或者叫自动巡航能力，能否自主调整速度等参数以适应当前的交通环境；应急能力考察模块，负责考察自动驾驶车辆在一些危险情况下的应急处理能力，包括GPS信号丢失、突发危险路况、自动驾驶系统失灵、自动驾驶系统被入侵等情况下，自动驾驶系统的处理方式和风险大小。修正能力考察模块，负责考察自动驾驶车辆在行驶中，是否具有路线偏离后的调整能力、超出道路约定速度后，调整速度以满足道路要求等能力。

进一步的，如图5所示，在一实施例中，测试参数生成模块包括：

场景库610，其配置为存储评测场景的测试场景特征信息；

测试场景确定单元620，其配置为获取测试需求，确定测试需求包含的测试场景；

场景特征获取单元630，其配置为根据测试场景从场景库中调用对应的测试场景特征信息；

测试参数生成单元640，其配置为根据场景特征获取单元调用的测试场景特征信息生成对应的离线测试参数以及在线测试参数。

进一步的，在一实施例中，场景库包括静态场景库以及动态场景库。

具体的，在一实施例中，静态场景库包括自然环境库、地理环境库以及交通元素库。

具体的，在一实施例中，自然环境库包括天气、光照、能见度。例如晴天、多云、阴天、雨天、雪天、雾天等天气，白天、夜晚等不同光照，200米、100-200米等不同范围的能见度。

地理环境库包括城市道路、高速道路，乡村道路和特殊区域。具体的，在一实施例中，城市道路包括多种道路交叉口和一些典型城区道路：十字交叉路口、T字交叉路口、环形交叉口、双向二车道道路、双向四车道道路、公交线路专用车道；高速道路包括直线路段、收费站、弯曲道路、进出高速路段的匝道、双向六车道等典型高度路段；乡村道路包括县道、乡道和村道，具体如无分割线双向车道、泥泞路段、Z字型道路、无信号灯的交叉路口；特殊区域包括：泊车区域、装有限速带路段、隧道路段、越野路段。

交通元素库包括道路交通标志，依据国家标准GB5768-2009《道路交通标志和标线》分别如下：警告标志，如连续弯路、Y型交叉；禁令标志，如禁止驶入、禁止向左转弯、限制速度、禁止掉头；指示标志：直行和向右转弯、环岛行驶、分向行驶车道、非机动车车道；一般道路指路标志：环形交叉路口、互通式立交、急救站、加油站、绕行标志、停车场；高度公路指路标志：入口预告、下一出口、地点方向、紧急停车带、服务区预告、合流、分流、线形诱导标；道路交通标志和标线，如中心黄色双实线、中心黄色虚实线、双向两车道路面中心线、禁止变换车道线、左弯待转区线、左转弯导向线、信号灯路口的停止线；道路施工安全标志，施工路栏、锥形交通标、前方施工、道路封闭、移动性施工标志。

在一实施例中，动态场景库包括常态交通场景库、危险交通场景库以及人机交互场景库。

具体的，在一实施例中，常态交通场景库，即普通交通场景，例如检测和响应交通灯、无碰撞执行U-Turn通过、检测与避让行人(用移动假人来代替行人)、倒车、掉头、左转弯、右转弯、变更车道；危险交通场景，即易发事故场景，例如驶向逆向车道进行变道或合流、积水或有雾路段减速慢行；人机交互场景库，即人类驾驶员与自动驾驶操作系统可能交互的场景，例如：退出自动驾驶模式时，与人类驾驶员的交接方式、交接中的风险规避；自动驾驶车辆的自动驾驶系统不能做出决策时，需要人类驾驶员干预时，与人类驾驶员的交接方式等。

具体的，在一实施例中，以检测自动驾驶车辆在限定驾驶范围(尤其是地理环境)下的性能为测试需求，测试流程包括：

步骤1：确定测试场景

基于测试需求中的驾驶范围限定，设计自动驾驶车辆的行驶范围。考虑到自动驾驶的分级以及实现难度，自动驾驶车辆可能在初期不能同时适配与所有的道路环境，因此，先逐步实现限定范围内的自动驾驶车辆，比如能在高速道路行驶的自动驾驶车辆、能在城市道路行驶的自动驾驶车辆、能在工业园区或者景区等有固定线路内行驶的自动驾驶车辆等。

根据自动驾驶车辆的行驶范围，尤其是地理环境，基于场景库，设计考察自动驾驶车辆的驾驶能力，选择相关的测试场景。

步骤2：生成测试参数

根据步骤1确定的测试场景，梳理出具体驾驶能力任务，将能够量化的驾驶任务能力指标进行细分和标准化，生成进行相关的定性测试和定量测试的测试参数。

步骤3：测试

根据步骤2确定的测试参数进行相关的定性测试和定量测试，获取测试结果。

步骤4：结果分析

根据步骤3输出的定性测试和定量测试的结果，对自动驾驶车辆的性能进行分析，给出最终的测试报告，指明当前自动驾驶车辆存在的问题以及待提高的驾驶能力等。

在一实施例中，以检测自动驾驶车辆性能的某一项或几项为测试需求。具体的，根据车辆性能中某一或某些性能的考察点，设计相应的测试场景来测评自动驾驶车辆。测试流程包括：

步骤1：确定测试场景

确定待测试的车辆性能类型，基于该车辆性能类型的考察点，设计相关待测的驾驶能力；

根据待测驾驶能力，设计自动驾驶车辆的驾驶范围；

基于场景库，设计、选择测试场景和驾驶任务。

步骤2：生成测试参数

根据步骤1确定的测试场景以及具体驾驶能力任务，生成进行相关的定性测试和定量测试的测试参数。

步骤3：测试

根据步骤2确定的测试参数进行相关的定性测试和定量测试，获取测试结果。

步骤4：结果分析

根据步骤3输出的定性测试和定量测试的结果，对自动驾驶车辆的性能进行分析，给出最终的测试报告。

进一步的，如图6所示，在一实施例中，实地行驶测试数据采集模块100包括：静态数据存储模块101、静态数据获取模块102、动态数据采集模块103、数据处理模块104以及数据通信模块105。

其中，静态数据存储模块101与静态数据获取模块102连接，静态数据存储模块101存储有关于待测试自动驾驶车辆的静态数据。当实地行驶测试数据采集模块100需要获取待测试自动驾驶车辆的静态数据时，静态数据获取模块102可以通过读取静态数据存储模块101中的相关数据来得到待测试自动驾驶车辆的静态数据。

在一实施例中，静态数据存储模块101所存储的静态数据可以是由专用设备进行采集后导入到静态数据存储模块101中的。当然，在本发明的其它实施例中，静态数据存储模块101中所存储的数据的获取方式还可以时其它合理方式，本发明不限于此。

在一实施例中，优选地，静态数据存储模块101所存储的静态数据包括地图数据。利用高精度地图采集车对测试场地进行高精度地图采集，这样也就可以得到高精度地图数据。随后将所得到的高精度地图数据存储在静态数据存储模块101中，这样在后续需要的时候也就可以利用静态数据获取模块102来从静态数据存储模块101中读取关于当前待测试自动驾驶车辆的静态数据(例如高精度地图数据)。

由于自动驾驶车辆的测试场地可能包括多个不同的场地，因此在一实施例中，静态数据存储模块101所存储的静态数据可以包括对应于多个不同场地的多组高精度地图数据。静态数据获取模块102在从静态数据存储模块101中读取待测试自动驾驶车辆的静态数据时，可以根据所获取到的待测试自动驾驶车辆当前所处的测试场地信息来从静态数据存储模块101中读取对应于当前测试场地的静态数据。

需要指出的是，在本发明的其它实施例中，静态数据存储模块101中所存储的静态数据还可以包括其它合理数据，同时，静态数据获取模块102从静态数据存储模块101中所读取的静态数据也可以为或是包括高精度地图数据之外的其它合理数据，本发明不限于此。

为了使得对自动驾驶车辆的自动驾驶性能的分析更加高效，在一实施例中，静态数据存储模块101和静态数据获取模块102优选地配置在车辆测评系统服务器107中，这样车辆测评系统服务器107也就可以更加高效、准确地获取到待分析车辆的静态数据。

当然，在本发明的其它实施例中，根据实际需要，静态数据存储模块101和静态数据获取模块102还可以采用车辆测评系统服务器107之外的其它专用设备来实现，本发明不限于此。

在一实施例中，动态数据获取模块103与数据处理模块104连接，其能够获取待测试自动驾驶车辆的动态数据，并将上述动态数据传输至数据处理模块104。其中，为了能够更加准确、客观、量化地评价自动驾驶车辆/无人驾驶车辆的性能或是行为能力，在一实施例中，动态数据获取模块103所获取的待测试自动驾驶车辆的动态数据优选地包括：V2X通信设备数据、车辆定位数据、车辆动力学数据、车辆操作数据以及车辆视频数据。

具体地，如图7所示，在一实施例中，动态数据获取模块103优选地包括：车载V2X终端设备201、高精度差分定位设备202、高精度惯性导航测量设备、方向盘转角测量设备204以及行车电脑数据读取设备205。

车载V2X终端设备201能够获取车辆与车辆交互信息以及车辆与路边交互信息。通过与当前测试场地相匹配的车载V2X终端设备201，动态数据获取模块103也就可以获取到待测试自动驾驶车辆与该测试场地中其它车辆以及该测试场地中的相关路边设备之间的交互信息。

利用高精度差分定位设备202，动态数据获取模块103可以获取到待测试自动驾驶车辆的经度数据和纬度数据。而利用高精度惯性导航测试设备203，动态数据获取模块103则可以获取到待测试自动驾驶车辆的相关车辆动力学数据，例如车辆的横向速度、纵向速度、航向角、横摆角速度、纵向加速度以及侧向加速度等。方向盘转角测量设备204能够测量方向盘转角，这样动态数据获取模块103也就可以利用方向盘转角测量设备204来获取到待测试自动驾驶车辆的方向盘转角数据。由于自动驾驶车辆的高度智能化，因此行车电脑在自动驾驶车辆的行驶过程中扮演着重要作用，其相当于自动驾驶车辆的大脑，利用行车电脑数据读取设备205，动态数据获取模块103能够通过读取行车电脑的数据来获取到自动驾驶车辆的灯光状态(例如转向灯状态和/或大灯状态等)以及其它决策操作数据。

在一实施例中，动态数据获取模块103还包括用于获取车辆视频数据的视频数据采集装置。具体的，在一实施例中，待测试自动驾驶车辆的视频数据优选地由跟拍无人机和跟拍车辆配合地采集得到。

跟拍车辆的车辆挡风玻璃上设置有摄像头，其能够对主副驾驶目前前方的位置点进行视频采集。对待测试自动驾驶车辆进行测试时，待测试自动驾驶车辆会在测试场地中行驶，在此过程中，跟拍车辆会跟随在待测试自动驾驶车辆后方，这样跟拍车辆也就可以利用自身所配置的摄像头来获取到待测试自动驾驶车辆的第一视频数据。其中，该第一视频数据即为以地面跟随着的角度所观察到的待测试自动驾驶车辆的视频数据。

同时，为了能够更加准确、全面地记录、呈现待测试自动驾驶车辆在测试场地中的行驶状态，在一实施例中，视频数据采集装置还会利用跟拍无人机来从空中获取待测试自动驾驶车辆的视频数据，从而得到第二视频数据。其中，该第二视频数据即为以空中跟随者的角度所观察到的待测试自动驾驶车辆的视频数据。

当然，在本发明的其它实施例中，根据实际需要，动态数据获取模块103所获取到的动态数据既可以仅包含以上所列项中的某一项或某几项，也可以包含其它未列出的合理项，抑或是以上所列出的某一项或几项与其它未列出的合理项的组合，本发明不限于此。

同时，需要说明的是，上述设备仅仅是获取相关动态数据的一个具体实施例，在本发明的不同实施例中，根据实际情况，上述动态数据均可以采用其它合理设备来获取，本发明同样不限于此。

动态数据获取模块103在得到待测试自动驾驶车辆的动态数据后，会将该动态数据传输至与之连接的数据处理模块104，以由数据处理模块103对上述动态数据进行预处理。

具体地，在一实施例中，对于动态数据所包含的不同类型的数据，数据处理模块104优选地采用不同的处理方式来进行预处理，以此得到预处理动态数据。

例如，对于动态数据获取模块103所传输来的动态数据中所包含的车辆视频数据，在一实施例中，数据处理模块104优选地对车辆视频数据进行压缩编码，以减少后续数据传输以及数据处理过程中的数据量，这样有助于提高整个测评系统的效率。

再例如，对于动态数据获取模块103所传输来的动态数据中的其它数据(例如V2X通信设备数据、车辆定位数据、车辆动力学数据和车辆操作数据等)，在一实施例中，数据处理模块104优选地对上述动态数据进行数据清洗，以去除上述动态数据中的噪声数据和/或奇异值数据。噪声数据和/或奇异值数据的去除有助于提高数据的准确性，这样也就为最终准确、可靠地对自动驾驶车辆的行为能力或性能的测评奠定了数据基础。

在一实施例中，数据处理模块104优选地采用诸如人工神经网络的机器学习方法来对上述动态数据进行数据清洗。当然，在本发明的其它实施例中，数据处理模块104还可以采用其它合理方式来对动态数据进行预处理，本发明不限于此。

在完成对动态数据获取模块103所传输来的动态数据的相应处理后，在一实施例中，数据处理模块104优选地还按照预设封装格式来对处理后的动态数据进行数据封装，从而得到预处理动态数据。

具体地，在一实施例中，数据处理模块104优选地按照表4所示的帧格式来对处理后的动态数据进行数据封装。

起始标识	帧长度	流水号	帧域	校验位
					2字节	1字节	2字节	N字节	2字节

表4

从表4中可以看出，在一实施例中数据处理模块104所使用的帧格式包括：起始标识位、帧长度位、流水号位、帧域位以及校验位。其中，起始标识位、流水号位以及校验位均为2字节，帧长度位为1字节，帧域位的长度位N字节(具体长度可以根据实际需要调节)。

当然，在本发明的其它实施例中，预处理动态数据的帧格式还可以为其它合理格式，本发明不限于此。

通过对处理后的动态数据进行数据封装，本实施例所提供的实地行驶测试数据采集模块为自动驾驶车辆的测试提供了一致的数据共享接口与传输方式，这样有助于提高对自动驾驶车辆的自动驾驶行为能力进行测评过程中的数据传输效率。

数据处理模块104与数据通信模块105连接，其会将预处理得到的预处理动态数据传输至数据通信模块105。数据通信模块105在接收到上述预处理动态数据后，会对上述预处理动态数据进行数据加密，并将加密后的数据传输至与之连接的车辆测评系统服务器107。

需要指出的是，根据实际需要，实地行驶测试数据采集模块100还可以包括本次存储模块106。其中，本体存储模块106与数据处理模块104连接，其能够接收数据处理模块104所传输来的相关数据(例如预处理动态数据等)。当需要从本地调取相关数据时，数据处理模块104可以通过对本次存储模块106进行数据读取来实现数据调取。

在一实施例中，由于车辆测评系统服务器107同时与静态数据获取模块102和数据通信模块105连接，因此其不仅能够接收到静态数据获取模块102所传输来的关于待测试自动驾驶车辆的静态数据，还可以接收到数据通信模块105所传输来的待测试自动驾驶车辆的动态数据，这样车辆测评系统服务器107也就可以综合上述静态数据和动态数据来准确、全面、量化地对待测试自动驾驶车辆的自动驾驶行为能力进行测评。

需要指出的是，在本发明的其它实施例中，根据实际需要，实地行驶测试数据采集模块还可以不配置静态数据获取模块和/或静态数据存储模块，这样实地行驶测试数据采集模块向车辆测评服务器107所传输的数据即仅包含待测试自动驾驶车辆的动态数据。

虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。本发明所述的方法还可有其他多种实施例。在不背离本发明实质的情况下，熟悉本领域的技术人员当可根据本发明做出各种相应的改变或变形，但这些相应的改变或变形都应属于本发明的权利要求的保护范围。

Claims (10)

1.一种自动驾驶车辆性能测试方法，其特征在于，所述方法包括：

获取测试需求，根据所述测试需求生成离线测试参数和/或在线测试参数，其中，所述离线测试参数用于配置待测试车辆上设备的离线仿真测试，所述在线测试参数用于配置待测试车辆的实地行驶测试，所述在线测试参数包括用于布置测试场地的测试场地配置参数以及用于指导待测试车辆在所述测试场地进行测试行驶的测试路线数据；

基于所述离线测试参数针对所述待测车辆进行离线仿真测试，获取测试结果；

基于所述在线测试参数针对所述待测车辆进行实地行驶测试，获取测试结果。

2.根据权利要求1所述的方法，其特征在于，根据所述测试需求生成离线测试参数和/或在线测试参数，包括：

确定所述测试需求包含的测试场景；

根据所述测试场景调用对应的测试场景特征信息；

根据调用的测试场景特征信息生成对应的离线测试参数和/或在线测试参数。

3.根据权利要求1所述的方法，其特征在于，获取待测车辆在实地行驶测试过程中反馈的测试结果，包括：

在所述待测试车辆基于所述测试路线数据行驶时对所述待测试车辆进行驾驶状态分析，获取驾驶状态分析结果。

4.根据权利要求3所述的方法，其特征在于，获取待测车辆在实地行驶测试过程中反馈的测试结果，还包括：

在所述待测试车辆基于所述测试路线数据行驶时采集车辆动力学数据。

5.根据权利要求1-4中任一项所述的方法，其特征在于，所述方法还包括：

根据待测车辆在离线仿真测试和/或实地行驶测试过程中反馈的测试结果生成测试报告，其中，所述测试报告包括安全性分析报告、智能性分析报告、舒适性分析报告和/或敏捷性分析报告。

6.一种自动驾驶车辆性能测试系统，其特征在于，所述系统包括：

测试参数生成模块，其配置为获取测试需求，根据所述测试需求生成并输出离线测试参数和/或在线测试参数，其中，所述离线测试参数用于配置待测试车辆上设备的离线仿真测试，所述在线测试参数用于配置待测试车辆的实地行驶测试，所述在线测试参数包括用于布置测试场地的测试场地配置参数以及用于指导待测试车辆在所述测试场地进行测试行驶的测试路线数据；

离线测试数据采集模块，其配置为基于所述离线测试参数获取待测车辆在离线仿真测试中反馈的测试结果；

实地行驶测试数据采集模块，其配置为基于所述在线测试参数获取待测车辆在实地行驶测试过程中反馈的测试结果。

7.根据权利要求6所述的系统，其特征在于，所述测试参数生成模块包括：

场景库，其配置为存储评测场景的测试场景特征信息；

测试场景确定单元，其配置为获取测试需求，确定所述测试需求包含的测试场景；

场景特征获取单元，其配置为根据所述测试场景从所述场景库中调用对应的测试场景特征信息；

测试参数生成单元，其配置为根据所述场景特征获取单元调用的测试场景特征信息生成对应的离线测试参数和/或在线测试参数。

8.根据权利要求6所述的系统，其特征在于，所述实地行驶测试数据采集模块包括：

定性测试单元，其配置为在所述待测试车辆基于所述测试路线数据行驶时对所述待测试车辆进行驾驶状态分析，获取驾驶状态分析结果。

9.根据权利要求8所述的系统，其特征在于，所述实地行驶测试数据采集模块还包括：

车辆动力学测试单元，其配置为在所述待测试车辆基于所述测试路线数据行驶时采集车辆动力学数据。

10.根据权利要求6-9中任一项所述的系统，其特征在于，所述系统还包括：

测试数据分析模块，所述测试数据分析模块包括安全性分析单元、智能性分析单元、舒适性分析单元以及敏捷性分析单元，所述测试数据分析模块配置为根据待测车辆在离线仿真测试以及实地行驶测试过程中反馈的测试结果生成测试报告。