CN109697169A - 一种自动驾驶系统的测试方法和装置 - Google Patents

Abstract

本申请提供一种自动驾驶系统的测试方法和装置，涉及智能交通测试领域，用以对自动驾驶系统进行测试。该方法中在至少两个设定工况下运行自动驾驶系统，获得所述自动驾驶系统在各个设定工况的驾驶数据；针对每个设定工况，将该设定工况下的驾驶数据输入给评分模型，得到所述自动驾驶系统在该设定工况下的评分；根据所述自动驾驶系统在各个设定工况下的评分，确定所述自动驾驶系统的最终评分。这样，不需要人工分析自动驾驶系统的驾驶数据，专业人员可以根据自动驾驶系统的最终评分了解到自动驾驶系统的驾驶能力，从而对自动驾驶系统进行优化，节省了人力资源，提高了自动驾驶系统的测试效率，缩短了自动驾驶系统的测试周期。

Description

一种自动驾驶系统的测试方法和装置

技术领域

本申请涉及智能交通测试领域，尤其涉及一种自动驾驶系统的测试方法和装置。

背景技术

计算机技术、互联网、物联网思维的快速发展给传统的汽车制造工业带来了崭新的变革，研究表明自动驾驶技术可以大大提高交通系统的效率和出行的安全性，自动驾驶成为汽车产业发展的必然趋势。

自动驾驶汽车，又称无人驾驶汽车、电脑驾驶汽车、或轮式移动机器人，是一种通过自动驾驶系统实现无人驾驶的智能汽车。自动驾驶系统采用先进的通信、计算机、网络和控制技术，对车辆实现实时、连续控制。在自动驾驶系统投入使用前，需要对自动驾驶系统进行测试使其达到标准。

发明内容

现有技术中，对自动驾驶系统的测试只是对自动驾驶系统在实车测试时，输出的参数进行分析和判断，确定自动驾驶系统的性能。而这种方法由于需要专业人员对其参数进行分析，浪费人力资源并且效率低，最终导致自动驾驶系统的测试周期长。

为了解决上述技术问题，本申请实施例提供一种自动驾驶系统的测试方法和装置。

一方面，本申请提供了一种自动驾驶系统的测试方法，该方法中在至少两个设定工况下运行自动驾驶系统，获得所述自动驾驶系统在各个设定工况的驾驶数据；

针对每个设定工况，将该设定工况下的驾驶数据输入给评分模型，得到所述自动驾驶系统在该设定工况下的评分，所述评分模型为预先根据不同驾驶能力的自然人进行驾驶操作时获得的驾驶数据得到的模型，所述自动驾驶系统的评分用于表征所述自动驾驶系统的驾驶能力；

根据所述自动驾驶系统在各个设定工况下的评分，确定所述自动驾驶系统的最终评分。

进一步的，根据所述自动驾驶系统在各个设定工况下的评分，确定所述自动驾驶系统的最终评分，具体包括：

读取所述各个设定工况的预设权重；

对所述预设权重和所述各个设定工况下的评分进行加权求和，得到的结果为所述最终评分。

进一步的，所述方法还包括：

获取所述不同驾驶能力的自然人在所述各个设定工况的驾驶数据；

读取所述自然人在所述各个设定工况的主观评分，所述主观评分是评分观察员通过观察待评分的自然人的驾驶操作得出的；

根据各个自然人在所述各个设定工况的驾驶数据和对应的主观评分，建立所述各个设定工况的评分模型。

进一步的，读取所述自然人在所述各个设定工况的主观评分之后，所述方法还包括：

剔除满足预设条件的驾驶数据和对应的主观评分。

进一步的，所述预设条件至少包括以下中的一种：

按分值对所述主观评分进行排序；

剔除排序在前第一预设数量的主观评分和对应的驾驶数据；以及，剔除排序在后第二预设数量的主观评分和对应的驾驶数据；

若各自然人在各设定工况下进行至少两次驾驶操作，则针对每个自然人，在每个设定工况下剔除该自然人在该设定工况下的预设驾驶次数的驾驶数据和对应的主观评分。

进一步的，建立所述各个设定工况的评分模型，包括：

建立多元线性回归模型。

进一步的，采用方程显著性检验方式，剔除所述多元线性回归模型中，不显著存在线性关系的驾驶数据。

进一步的，建立所述各个设定工况的评分模型，包括：

根据所述自然人在各个设定工况下的评分，对卷积神经网络模型进行训练得到所述评分模型。

一方面，本申请实施例提供一种自动驾驶系统的测试装置，该装置包括：

运行模块，用于在至少两个设定工况下运行自动驾驶系统，获得所述自动驾驶系统在各个设定工况的驾驶数据；

输入模块，用于针对每个设定工况，将该设定工况下的驾驶数据输入给评分模型，得到所述自动驾驶系统在该设定工况下的评分，所述评分模型为预先根据不同驾驶能力的自然人进行驾驶操作时获得的驾驶数据得到的模型，所述自动驾驶系统的评分用于表征所述自动驾驶系统的驾驶能力；

确定模块，用于根据所述自动驾驶系统在各个设定工况下的评分，确定所述自动驾驶系统的最终评分。

进一步的，确定模块具体用于读取所述各个设定工况的预设权重；

对所述预设权重和所述各个设定工况下的评分进行加权求和，得到的结果为所述最终评分。

进一步的，该装置还包括：

获取模块，用于获取所述不同驾驶能力的自然人在所述各个设定工况的驾驶数据；

读取模块，用于读取所述自然人在所述各个设定工况的主观评分，所述主观评分是评分观察员通过观察待评分的自然人的驾驶操作得出的；

建立模块，用于根据各个自然人在所述各个设定工况的驾驶数据和对应的主观评分，建立所述各个设定工况的评分模型。

进一步的，读取模块在读取所述自然人在所述各个设定工况的主观评分之后，还用于剔除满足预设条件的驾驶数据和对应的主观评分。

其中，所述预设条件至少包括以下中的一种：按分值对所述主观评分进行排序；剔除排序在前第一预设数量的主观评分和对应的驾驶数据；以及，剔除排序在后第二预设数量的主观评分和对应的驾驶数据；若各自然人在各设定工况下进行至少两次驾驶操作，则针对每个自然人，在每个设定工况下剔除该自然人在该设定工况下的预设驾驶次数的驾驶数据和对应的主观评分。

进一步的，建立模块具体用于建立多元线性回归模型。

进一步的，采用方程显著性检验方式，剔除所述多元线性回归模型中，不显著存在线性关系的驾驶数据。

进一步的，建立模块具体用于根据所述自然人在各个设定工况下的评分，对卷积神经网络模型进行训练得到所述评分模型。

一方面，本申请实施例还提供一种自动驾驶系统的测试设备，该设备包括：

机动车驾驶底架，

安装于所述机动车驾驶底架上的方向盘、刹车、油门、换挡装置、车灯和驾驶座椅；

虚拟现实显示系统，用于渲染设定工况的虚拟现实场景，以及获取所述行车过程中通过设定工况的驾驶数据。

一方面，提供一种计算装置，包括至少一个处理单元、以及至少一个存储单元，其中，存储单元存储有计算机程序，当程序被处理单元执行时，使得处理单元执行上述任意一种自动驾驶系统的测试方法的步骤。

一方面，提供一种计算机可读介质，其存储有可由网络安全分析设备执行的计算机程序，当程序在网络安全分析设备上运行时，使得网络安全分析设备执行上述任意一种自动驾驶系统的测试方法的步骤。

本申请实施例提供的一种自动驾驶系统的测试方法，通过将自动驾驶系统在不同设定工况下的驾驶数据输入给评分模型，能够得到自动驾驶系统在不同设定工况下的评分，最后能够得到自动驾驶系统的最终评分，评分用于表征自动驾驶系统的驾驶能力。这样，专业人员可以根据自动驾驶系统的最终评分，了解该自动驾驶系统的驾驶能力，不需要人工分析驾驶数据，节省了人力资源，提高了效率。若自动驾驶系统的最终评分表示该自动驾驶系统的驾驶能力差，则可以继续对自动驾驶系统进行优化，缩短了自动驾驶系统的测试周期。

本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，显而易见地，下面所介绍的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例中一种自动驾驶系统的测试方法流程图；

图2为本申请实施例中评分模型建立方法流程图；

图3为本申请实施例中一种自动驾驶系统的测试装置示意图；

图4为本申请实施例中一种自动驾驶系统的测试设备示意图；

图5为根据本申请实施方式的计算装置示意图。

具体实施方式

研究表明自动驾驶技术可以大大提高交通系统的效率和出行的安全性，自动驾驶成为汽车产业发展的必然趋势。自动驾驶汽车是一种通过自动驾驶系统实现无人驾驶的智能汽车。自动驾驶系统采用先进的通信、计算机、网络和控制技术，对车辆实现实时、连续控制。在自动驾驶系统投入使用前，需要对自动驾驶系统进行测试使其达到标准。

现有技术中，对自动驾驶系统的测试只是对自动驾驶系统在实车测试时，输出的参数进行分析和判断，确定自动驾驶系统的性能。而这种方法由于需要专业人员对其参数进行分析，浪费人力资源并且效率低，最终导致自动驾驶系统的测试周期长。

基于这种需求，本申请实施例提供一种自动驾驶系统的测试方法和装置。为了更好的理解本申请实施例提供的技术方案，下面对本申请实施例中的名词进行解释：

1、设定工况：指预先设置的工作条件，例如直行、转弯、制动灯。

2、驾驶数据：指驾驶过程中输出的数据，例如速度、加速度，在转弯时的方向盘转角、车辆侧倾角等。

3、驾驶能力：用于表征机动车驾驶操作的娴熟程度，如新手可能在转弯、侧方停车、倒车入库等各工况下进行操作时，用时长及操作数较多，而相对熟练的驾驶员用时短和操作数较少。这里的操作数指完成一种工况进行操作的总次数，例如倒车入库涉及的倒挡换挡操作，新手可能需要多次前后行车才能入库，多次前后停车需要多次换挡，其中换倒挡的总次数有可能为多次，还有转动方向盘的次数、换前进挡的次数，都是为实现倒车入库的操作，各操作的总次数称之为操作数。

接下来对该方案的基本原理做一下简单的说明：

该方法中，在至少两个设定工况下运行自动驾驶系统，获得所述自动驾驶系统在各个设定工况的驾驶数据；针对每个设定工况，将该设定工况下的驾驶数据输入给评分模型，得到所述自动驾驶系统在该设定工况下的评分，所述评分模型为预先根据不同驾驶能力的自然人进行驾驶操作时获得的驾驶数据得到的模型，所述自动驾驶系统的评分用于表征所述自动驾驶系统的驾驶能力；根据所述自动驾驶系统在各个设定工况下的评分，确定所述自动驾驶系统的最终评分。

这样，通过将自动驾驶系统在不同设定工况下的驾驶数据输入给评分模型，能够得到自动驾驶系统在不同设定工况下的评分，最后能够得到自动驾驶系统的最终评分，评分用于表征自动驾驶系统的驾驶能力。这样，专业人员可以根据自动驾驶系统的最终评分，了解该自动驾驶系统的驾驶能力，不需要人工分析驾驶数据，节省了人力资源，提高了效率。若自动驾驶系统的最终评分表示该自动驾驶系统的驾驶能力差，则可以继续对自动驾驶系统进行优化，缩短了自动驾驶系统的测试周期。

参阅图1，为本申请实施例中一种自动驾驶系统的测试方法流程图，包括以下步骤：

步骤101：在至少两个设定工况下运行自动驾驶系统，获得所述自动驾驶系统在各个设定工况的驾驶数据。

步骤102：针对每个设定工况，将该设定工况下的驾驶数据输入给评分模型，得到所述自动驾驶系统在该设定工况下的评分。所述评分模型为预先根据不同驾驶能力的自然人进行驾驶操作时获得的驾驶数据得到的模型，所述自动驾驶系统的评分用于表征所述自动驾驶系统的驾驶能力。

步骤103：根据所述自动驾驶系统在各个设定工况下的评分，确定所述自动驾驶系统的最终评分。

这样，不需要人工分析自动驾驶系统的驾驶数据，专业人员可以根据自动驾驶系统的最终评分了解到自动驾驶系统的驾驶能力，从而对自动驾驶系统进行优化，节省了人力资源，提高了自动驾驶系统的测试效率，缩短了自动驾驶系统的测试周期。

具体实施时，可以根据设定工况的重要程度，预先设置设定工况的权重。例如，转弯设置为0.2、直行设置为0.3、刹车设置为0.3、加速设置为0.2等。那么，最终评分P=0.2*P_转弯+0.3*P_直行+0.3*P_刹车+0.2*P_加速。之后，读取所述各个设定工况的预设权重；对所述预设权重和所述各个设定工况下的评分进行加权求和，得到的结果为所述最终评分。

这样，可以根据不同设定工况的重要程度，确定设定工况对最终评分的影响力（预设权重），得到的最终评分能够更好的表示自动驾驶系统的驾驶能力。

参阅图2，为本申请实施例中评分模型建立方法流程图。上述步骤102中的评分模型，可以根据如图2所示的步骤建立。

步骤201: 获取所述不同驾驶能力的自然人在所述各个设定工况的驾驶数据。

具体实施时，自然人可以在自动驾驶系统的测试设备中进行驾驶操作，该设备的虚拟现实显示系统能够获取驾驶操作过程中的驾驶数据。

步骤202：读取所述自然人在所述各个设定工况的主观评分，所述主观评分是评分观察员通过观察待评分的自然人的驾驶操作得出的。

步骤203：根据各个自然人在所述各个设定工况的驾驶数据和对应的主观评分，建立所述各个设定工况的评分模型。

这样，通过观察员为自然人的驾驶操作评分，得到自然人的驾驶数据与主观评分的对应关系。根据自然人在各个设定工况的驾驶数据和对应的主观评分，建立各个设定工况的评分模型，该评分模型能够表示驾驶数据与评分的对应关系。无需通过专业人员对驾驶数据进行人工分析，就能够得到驾驶数据的评分，了解自动驾驶系统的驾驶能力，节省了人力资源，提高了分析效率。

具体实施时，每个自然人可以在各设定工况多次进行驾驶，得到该自然人在该设定工况下的多组驾驶数据。为了减少计算量，在读取自然人在各个工况的主观评分之后，剔除满足预设条件的驾驶数据和对应的主观评分。具体的，预设条件至少包括以下中的一种：1、按分值对所述主观评分进行排序，剔除排序在前第一预设数量的主观评分和对应的驾驶数据，以及，剔除排序在后第二预设数量的主观评分和对应的驾驶数据。其中，第一预设数量和第二预设数量自行设置，第一预设数量和第二预设数量可以相同，也可以不同，本申请不做限定。例如，将第一预设数量设置为5，将第二预设数量设置为2。此外，也可以用比值的形式表示第一预设数量和第二预设数量。例如，剔除排序靠前的5%的主观评分和对应的驾驶数据，5%是剔除的主观评分数量与主观评分的总数的比值。

2、若各自然人在各设定工况下进行至少两次驾驶操作，则针对每个自然人，在每个设定工况下剔除该自然人在该设定工况下的预设驾驶次数的驾驶数据和对应的主观评分。例如，一自然人在设定工况（如转弯）下，进行了15次驾驶操作。则剔除前3次的驾驶数据和对应的主观评分。

这样，能够减少建立评分模型时的计算量。还可以剔除观察员评分较为不准确的主观评分和对应的驾驶数据，使得建立的评分模型能够更好的评价自动驾驶系统。

上述步骤203中的模型可以是多元线性回归模型。为了能够清楚的理解本申请实施例中提供的多元线性回归模型，下面以转弯工况的驾驶数据为例进行进一步的说明。

转弯工况下的驾驶数据包括就横摆角速度变化、横摆角速度响应、侧倾角变化、侧向加速度变化、方向盘转角、方向盘转角速度等。不同驾驶能力的自然人在转弯工况下的评分分别为5、6、6、7、8等。

Y=b₀+b₁x₁+b₂x₂+b₃x₃+……+b_nx_n+ε 公式（1）

其中，Y表示主观评分，b₀表示回归常数，b₁……b_n表示回归系数，ε为随机误差项，x₁……x_n表示各个驾驶数据。

通过公式（1）建立多元线性回归方程组，求得回归常数、回归系数和随机误差项，最后建立转弯工况下的多元线性回归模型。

较佳的，由于驾驶数据较多，在建立多元线性回归模型之后，采用方程显著性检验方式（F检验），剔除所述多元线性回归模型中，不显著存在线性关系的驾驶数据。

这样，通过建立简单的多元线性回归模型，就能够得到各个设定工况下的评分模型，计算简单，快捷。通过F检验，剔除不显著存在线性关系的驾驶数据，能够使评分模型更好的表示自动驾驶系统的驾驶能力，也能够减少在给出自动驾驶系统的评分时的计算量。

一种可能的实施方式中，评分模型也可以是卷积神经网络模型。具体的，根据所述自然人在各个设定工况下的评分，对卷积神经网络模型进行训练得到所述评分模型。这样，通过神经网络训练模型得到的评分模型能够更加贴近真实的评分。

基于相同的发明构思，本申请实施例中还提供一种自动驾驶系统的测试装置。参阅图3，为本申请实施例中一种自动驾驶系统的测试装置示意图。该装置包括：

运行模块301，用于在至少两个设定工况下运行自动驾驶系统，获得所述自动驾驶系统在各个设定工况的驾驶数据；

输入模块302，用于针对每个设定工况，将该设定工况下的驾驶数据输入给评分模型，得到所述自动驾驶系统在该设定工况下的评分，所述评分模型为预先根据不同驾驶能力的自然人进行驾驶操作时获得的驾驶数据得到的模型，所述自动驾驶系统的评分用于表征所述自动驾驶系统的驾驶能力；

确定模块303，用于根据所述自动驾驶系统在各个设定工况下的评分，确定所述自动驾驶系统的最终评分。

进一步的，确定模块303具体用于读取所述各个设定工况的预设权重；

对所述预设权重和所述各个设定工况下的评分进行加权求和，得到的结果为所述最终评分。

进一步的，该装置还包括：

获取模块，用于获取所述不同驾驶能力的自然人在所述各个设定工况的驾驶数据；

读取模块，用于读取所述自然人在所述各个设定工况的主观评分，所述主观评分是评分观察员通过观察待评分的自然人的驾驶操作得出的；

建立模块，用于根据各个自然人在所述各个设定工况的驾驶数据和对应的主观评分，建立所述各个设定工况的评分模型。

进一步的，读取模块在读取所述自然人在所述各个设定工况的主观评分之后，还用于剔除满足预设条件的驾驶数据和对应的主观评分。

其中，所述预设条件至少包括以下中的一种：按分值对所述主观评分进行排序；剔除排序在前第一预设数量的主观评分和对应的驾驶数据；以及，剔除排序在后第二预设数量的主观评分和对应的驾驶数据；若各自然人在各设定工况下进行至少两次驾驶操作，则针对每个自然人，在每个设定工况下剔除该自然人在该设定工况下的预设驾驶次数的驾驶数据和对应的主观评分。

进一步的，建立模块具体用于建立多元线性回归模型。

进一步的，采用方程显著性检验方式，剔除所述多元线性回归模型中，不显著存在线性关系的驾驶数据。

进一步的，建立模块具体用于根据所述自然人在各个设定工况下的评分，对卷积神经网络模型进行训练得到所述评分模型。

基于相同的发明构思，本申请实施例中还提供一种自动驾驶系统的测试设备。参阅图4，为本申请实施例中一种自动驾驶系统的测试设备示意图。该设备包括机动车驾驶底架401、安装于所述机动车驾驶底架上的方向盘402、刹车403、油门404、换挡装置405、车灯406和驾驶座椅407、虚拟现实显示系统408。

其中，虚拟现实显示系统408，用于渲染设定工况的虚拟现实场景，以及获取所述行车过程中通过设定工况的驾驶数据。虚拟现实现实系统可以仅是一个简单的显示屏，也可以是结合虚拟现实技术的头盔等。车灯406包括前照灯、雾灯、倒车灯、转向灯、牌照灯、制动灯、示宽灯与尾灯。

这样，自然人可以在自动驾驶系统的测试设备中模拟在不同的设定工况下进行驾驶操作，无需进行实车测试，保证了自然人的安全，也节省时间。

在介绍了本申请示例性实施方式的自动驾驶系统的测试方法、装置和设备之后，接下来，介绍根据本申请的另一示例性实施方式的计算装置。

所属技术领域的技术人员能够理解，本申请的各个方面可以实现为系统、方法或程序产品。因此，本申请的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式（包括固件、微代码等），或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

在一些可能的实施方式中，根据本申请的计算装置可以至少包括至少一个处理器、以及至少一个存储器（如前述的第一服务器）。其中，存储器存储有程序代码，当程序代码被处理器执行时，使得处理器执行本说明书上述描述的根据本申请各种示例性实施方式的自动驾驶系统的测试方法中的步骤。例如，处理器可以执行如图1中所示的步骤101-103或者如图2中所示的步骤201-203。

下面参照图5来描述根据本申请的这种实施方式的计算装置130。图5显示的计算装置130仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图5所示，计算装置130以通用计算装置的形式表现。计算装置130的组件可以包括但不限于：上述至少一个处理器131、上述至少一个存储器132、连接不同系统组件（包括存储器132和处理器131）的总线133。

总线133表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。

存储器132可以包括易失性存储器形式的可读介质，例如随机存取存储器（RAM）1321和/或高速缓存存储器1322，还可以进一步包括只读存储器（ROM）1323。

存储器132还可以包括具有一组（至少一个）程序模块1324的程序/实用工具1325，这样的程序模块1324包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

计算装置130也可以与一个或多个外部设备134（例如键盘、指向设备等）通信，还可与一个或者多个使得用户能与计算装置130交互的设备通信，和/或与使得该计算装置130能与一个或多个其它计算装置进行通信的任何设备（例如路由器、调制解调器等等）通信。这种通信可以通过输入/输出（I/O）接口135进行。并且，计算装置130还可以通过网络适配器136与一个或者多个网络（例如局域网（LAN），广域网（WAN）和/或公共网络，例如因特网）通信。如图所示，网络适配器136通过总线133与用于计算装置130的其它模块通信。应当理解，尽管图中未示出，可以结合计算装置130使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

在一些可能的实施方式中，本申请提供的自动驾驶系统的测试方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在计算机设备上运行时，程序代码用于使计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的自动驾驶系统的测试方法中的步骤，例如，计算机设备可以执行如图1中所示的步骤101-103或者如图2中所示的步骤201-203。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

本申请的实施方式的用于自动驾驶系统的测试的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在计算装置上运行。然而，本申请的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算装置上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算装置上部分在远程计算装置上执行、或者完全在远程计算装置或服务器上执行。在涉及远程计算装置的情形中，远程计算装置可以通过任意种类的网络——包括局域网（LAN）或广域网（WAN）—连接到用户计算装置，或者，可以连接到外部计算装置（例如利用因特网服务提供商来通过因特网连接）。

应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。

此外，尽管在附图中以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (9)

1.一种自动驾驶系统的测试方法，其特征在于，所述方法包括：

在至少两个设定工况下运行自动驾驶系统，获得所述自动驾驶系统在各个设定工况的驾驶数据；

针对每个设定工况，将该设定工况下的驾驶数据输入给评分模型，得到所述自动驾驶系统在该设定工况下的评分，所述自动驾驶系统的评分用于表征所述自动驾驶系统的驾驶能力；

根据所述自动驾驶系统在各个设定工况下的评分，确定所述自动驾驶系统的最终评分；

所述评分模型是通过以下方法得到的：

获取所述不同驾驶能力的自然人在所述各个设定工况的驾驶数据；

读取所述自然人在所述各个设定工况的主观评分，所述主观评分是评分观察员通过观察待评分的自然人的驾驶操作得出的；

根据各个自然人在所述各个设定工况的驾驶数据和对应的主观评分，建立所述各个设定工况的评分模型。

2.根据权利要求1所述的方法，其特征在于，根据所述自动驾驶系统在各个设定工况下的评分，确定所述自动驾驶系统的最终评分，具体包括：

读取所述各个设定工况的预设权重；

对所述预设权重和所述各个设定工况下的评分进行加权求和，得到的结果为所述最终评分。

3.根据权利要求1所述的方法，其特征在于，读取所述自然人在所述各个设定工况的主观评分之后，所述方法还包括：

剔除满足预设条件的驾驶数据和对应的主观评分。

4.根据权利要求3所述的方法，其特征在于，所述预设条件至少包括以下中的一种：

按分值对所述主观评分进行排序；

剔除排序在前第一预设数量的主观评分和对应的驾驶数据；以及，剔除排序在后第二预设数量的主观评分和对应的驾驶数据；

若各自然人在各设定工况下进行至少两次驾驶操作，则针对每个自然人，在每个设定工况下剔除该自然人在该设定工况下的预设驾驶次数的驾驶数据和对应的主观评分。

5.根据权利要求1所述的方法，其特征在于，建立所述各个设定工况的评分模型，包括：

建立多元线性回归模型。

6.根据权利要求5所述的方法，其特征在于，采用方程显著性检验方式，剔除所述多元线性回归模型中，不显著存在线性关系的驾驶数据。

7.根据权利要求1所述的方法，其特征在于，建立所述各个设定工况的评分模型，包括：

根据所述自然人在各个设定工况下的评分，对卷积神经网络模型进行训练得到所述评分模型。

8.一种自动驾驶系统的测试装置，其特征在于，所述装置包括：

运行模块，用于在至少两个设定工况下运行自动驾驶系统，获得所述自动驾驶系统在各个设定工况的驾驶数据；

输入模块，用于针对每个设定工况，将该设定工况下的驾驶数据输入给评分模型，得到所述自动驾驶系统在该设定工况下的评分，所述自动驾驶系统的评分用于表征所述自动驾驶系统的驾驶能力；

确定模块，用于根据所述自动驾驶系统在各个设定工况下的评分，确定所述自动驾驶系统的最终评分；

其中，所述评分模型是通过以下方法得到的：

获取所述不同驾驶能力的自然人在所述各个设定工况的驾驶数据；

读取所述自然人在所述各个设定工况的主观评分，所述主观评分是评分观察员通过观察待评分的自然人的驾驶操作得出的；

根据各个自然人在所述各个设定工况的驾驶数据和对应的主观评分，建立所述各个设定工况的评分模型。

9.一种自动驾驶系统的测试设备，其特征在于，所述设备包括：

机动车驾驶底架，

安装于所述机动车驾驶底架上的方向盘、刹车、油门、换挡装置、车灯和驾驶座椅；

虚拟现实显示系统，用于渲染设定工况的虚拟现实场景，以及获取所述行车过程中通过设定工况的驾驶数据。