CN110197027B - 一种自动驾驶测试方法、装置、智能设备和服务器 - Google Patents

Abstract

本发明实施例提供一种自动驾驶测试方法、装置、智能设备和服务器，该方法包括：获取第一场景数据和第二场景数据，其中，所述第一场景数据包括定义的场景数据，所述第二场景数据包括通过路测采样得到的数据；依据所述第一场景数据和地图数据，执行自动驾驶的仿真测试，得到第一测试数据，以及依据所述第二场景数据和所述地图数据，执行自动驾驶的仿真测试，得到第二测试数据；根据所述第一测试数据和所述第二测试数据，确定自动驾驶的仿真测试结果。本发明实施例可以克服测试覆盖率低的问题，提高测试效率，以及降低测试成本。

Description

一种自动驾驶测试方法、装置、智能设备和服务器

技术领域

本发明涉及智能驾驶技术领域，尤其涉及一种自动驾驶测试方法、装置、智能设备和服务器。

背景技术

随着科学技术的发展，车辆驾驶从人手动驾驶发展到半自动驾驶，进一步还可以实现全自动驾驶。自动驾驶可以根据感知的数据(例如：道路数据和障碍物数据)进行自动驾驶，例如：基于感知的数据进行决策，并规划，再执行规划结果，以实现自动驾驶。然而，业界现有方案多是依赖实车路测进行测试验证，这样导致验证不够充分(即测试覆盖率低)，测试效率比较低，且测试成本比较高。

发明内容

本发明实施例提供一种自动驾驶测试方法、装置、智能设备和服务器，以解决自动驾驶的测试覆盖率低，测试效率比较低，且测试成本比较高的问题。

第一方面，本发明实施例提供一种自动驾驶测试方法，包括：

获取第一场景数据和第二场景数据，其中，所述第一场景数据包括定义的场景数据，所述第二场景数据包括通过路测采样得到的数据；

依据所述第一场景数据和地图数据，执行自动驾驶的仿真测试，得到第一测试数据，以及依据所述第二场景数据和所述地图数据，执行自动驾驶的仿真测试，得到第二测试数据；

根据所述第一测试数据和所述第二测试数据，确定自动驾驶的仿真测试结果。

可选的，所述定义的场景数据包括：

多个参数化的初始场景数据，其中，所述初始场景数据包括本车的初始位置和朝向信息，以及还包括道路信息和障碍物信息，所述障碍物信息包括：障碍物的位置信息、速度和加速度中至少一项。

可选的，所述依据所述第一场景数据和地图数据，执行自动驾驶的仿真测试，得到第一测试数据，包括：

针对每个参数化的初始场景数据，依据多帧数据执行的自动驾驶的仿真测试，得到第一测试数据，其中，所述多帧数据中每一帧数据均包括场景数据和地图数据，且所述多帧数据中的第一帧数据包括所述初始场景数据和所述初始场景数据对应的地图数据，所述多帧数据除所述第一帧数据之外的其他帧的场景数据是，依据自适应策略在上一帧数据的基础上调节道路信息和/或调节障碍物的位置和速度中的至少一项得到的场景数据。

可选的，所述多个参数化的初始场景数据包括：

对定义的初始场景数据全集进行剪枝，以去除冗余和/或无效初始场景数据得到的多个参数化的初始场景数据。

可选的，所述通过路测采样得到的数据包括：

初始场景数据，以及在时间区间内多个时间点的障碍物的位置、速度和加速度中至少一项的变化状态信息。

可选的，所述获取第一场景数据和第二场景数据，包括：

接收服务器下发的第一场景数据和第二场景数据，其中，所述第一场景数据为结构化的配置文件，所述第二场景数据为结构化的配置文件。

可选的，所述自动驾驶的仿真测试包括：

自动驾驶的决策和规划的仿真测试。

第二方面，本发明实施例还提供一种自动驾驶测试方法，包括：

生成并向执行器下发第一场景数据和第二场景数据，其中，所述第一场景数据包括定义的场景数据，所述第二场景数据包括通过路测采样得到的数据，以使得所述执行器依据所述第一场景数据和地图数据，执行自动驾驶的仿真测试，得到第一测试数据，以及依据所述第二场景数据和所述地图数据，执行自动驾驶的仿真测试，得到第二测试数据；并由所述执行器根据所述第一测试数据和所述第二测试数据，确定自动驾驶的仿真测试结果。

第三方面，本发明实施例还提供一种自动驾驶测试装置，包括：

获取模块，用于获取第一场景数据和第二场景数据，其中，所述第一场景数据包括定义的场景数据，所述第二场景数据包括通过路测采样得到的数据；

测试模块，用于依据所述第一场景数据和地图数据，执行自动驾驶的仿真测试，得到第一测试数据，以及依据所述第二场景数据和所述地图数据，执行自动驾驶的仿真测试，得到第二测试数据；

确定模块，用于根据所述第一测试数据和所述第二测试数据，确定自动驾驶的仿真测试结果。

可选的，所述定义的场景数据包括：

多个参数化的初始场景数据，其中，所述初始场景数据包括本车的初始位置和朝向信息，以及还包括道路信息和障碍物信息，所述障碍物信息包括：障碍物的位置信息、速度和加速度中至少一项。

可选的，所述测试模块用于针对每个参数化的初始场景数据，依据多帧数据执行的自动驾驶的仿真测试，得到第一测试数据，其中，所述多帧数据中每一帧数据均包括场景数据和地图数据，且所述多帧数据中的第一帧数据包括所述初始场景数据和所述初始场景数据对应的地图数据，所述多帧数据除所述第一帧数据之外的其他帧的场景数据是，依据自适应策略在上一帧数据的基础上道路信息和/或调节障碍物的位置和速度中的至少一项得到的场景数据。

可选的，所述多个参数化的初始场景数据包括：

对定义的初始场景数据全集进行剪枝，以去除冗余和/或无效初始场景数据得到的多个参数化的初始场景数据。

可选的，所述通过路测采样得到的数据包括：

初始场景数据，以及在时间区间内多个时间点的障碍物的位置、速度和加速度中至少一项的变化状态信息。

可选的，所述获取模块用于接收服务器下发的第一场景数据和第二场景数据，其中，所述第一场景数据为结构化的配置文件，所述第二场景数据为结构化的配置文件。

可选的，所述自动驾驶的仿真测试包括：

自动驾驶的决策和规划的仿真测试。

第四方面，本发明实施例还提供一种自动驾驶测试装置，包括：

下发模块，用于生成并向执行器下发第一场景数据和第二场景数据，其中，所述第一场景数据包括定义的场景数据，所述第二场景数据包括通过路测采样得到的数据，以使得所述执行器依据所述第一场景数据和地图数据，执行自动驾驶的仿真测试，得到第一测试数据，以及依据所述第二场景数据和所述地图数据，执行自动驾驶的仿真测试，得到第二测试数据；并由所述执行器根据所述第一测试数据和所述第二测试数据，确定自动驾驶的仿真测试结果。

第五方面，本发明实施例还提供一种智能设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现本发明实施例第一方面提供的自动驾驶测试方法的步骤。

第六方面，本发明实施例还提供一种服务器，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现本发明实施例第二方面提供的自动驾驶测试方法的步骤。

第七方面，本发明实施例还提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例提供第一方面的自动驾驶测试方法的步骤，或者，所述计算机程序被处理器执行时实现本发明实施例提供第二方面的自动驾驶测试方法的步骤。

本发明实施例中，获取第一场景数据和第二场景数据，其中，所述第一场景数据包括定义的场景数据，所述第二场景数据包括通过路测采样得到的数据；依据所述第一场景数据和地图数据，执行自动驾驶的仿真测试，得到第一测试数据，以及依据所述第二场景数据和所述地图数据，执行自动驾驶的仿真测试，得到第二测试数据；根据所述第一测试数据和所述第二测试数据，确定自动驾驶的仿真测试结果。这样相比进行实车路测，可以提高测试场景覆盖率，提高测试效率，以及降低测试成本。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种自动驾驶测试方法的流程图；

图2是本发明实施例提供的一种闭环测试的示意图；

图3是本发明实施例提供的一种自动驾驶测试的示意图；

图4是本发明实施例提供的另一种自动驾驶测试的示意图；

图5是本发明实施例提供的另一种自动驾驶测试方法的流程图；

图6是本发明实施例提供的一种自动驾驶测试装置的结构图；

图7是本发明实施例提供的另一种自动驾驶测试装置的结构图；

图8是本发明实施例提供的一种智能设备的结构图；

图9是本发明实施例提供的一种服务器的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请的说明书和权利要求书中的术语“包括”以及它的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。此外，说明书以及权利要求中使用“和/或”表示所连接对象的至少其中之一，例如A和/或B，表示包含单独A，单独B，以及A和B都存在三种情况。

在本发明实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

请参见图1，图1是本发明实施例提供的一种自动驾驶测试方法的流程图，如图1所示，包括以下步骤：

步骤101、获取第一场景数据和第二场景数据，其中，所述第一场景数据包括定义的场景数据，所述第二场景数据包括通过路测采样得到的数据。

其中，上述定义的场景数据可以设备定义的场景数据，例如：服务器定义的场景数据。由于上述第一场景数据是定义而不是路测得到的真实数据，这样，本发明实施例中可以定义概括车辆在实际驾驶过程中可能会遇到的所有场景的测试数据，从而上述第一场景数据也可以称作全面场景测试数据。这样测试模式可以解决场景覆盖不全的问题，以提高自动驾驶的整体性能。另外，上述场景数据可以包括本车的信息，例如：位置和朝向信息等信息，以及场景信息，例如：GPS、路段、直道、弯道、匝道信息，以及还可以包括障碍物信息，如障碍物的位置信息、速度、加速度等信息。

而上述通过路测采样得到的数据可以是实车路测得到的真实数据，例如：从真实路测场景数据中定频或者按照一定的场景重要度相关指标采样并记录的数据，例如：障碍物位置、障碍物数量、障碍物类型、障碍物初始速度、障碍物加速度等信息以及车辆定位信息、道路信息等。进一步的，上述通过路测采样得到的数据可以是采样车辆在驾驶过程中可能遇到的典型场景的数据，这样可以在保证场景覆盖的情况下减少路测数据规模，从而上述第二场景数据也可以称作典型场景测试数据。

本发明实施例中，上述自动驾驶测试方法可以应用于智能设备，例如：服务器、计算机或者车载终端等。

作为一种可选的实施方式，上述获取第一场景数据和第二场景数据，包括：

接收服务器下发的第一场景数据和第二场景数据，其中，所述第一场景数据为结构化的配置文件，所述第二场景数据为结构化的配置文件。

该实施方式中可以实现采用主从式架构，其中，执行上述自动驾驶测试方法的智能设备可以称作执行器(执行端)，而提供上述第一场景数据和第二场景数据可以称作参数生成器(服务器)。

进一步的，服务器可以向多个执行器下发第一场景数据和第二场景数据，以使得多个执行并行执行自动驾驶测试，以进一步提高测试效率。其中，向不同执行器下发的第一场景数据和第二场景数据可以是不同的测试数据。

另外，上述结构化的配置文件可以是XML或JSON格式等标准格式的配置文件，上述实施方式中，由于服务器下发的第一场景数据和第二场景数据均为结构化的配置文件，这样执行器在执行仿真测试时可以直接使用，从而进一步提高测试效率。

当然，本发明实施例中并不限定是主从式架构，例如：也可以是服务器或者其他智能设备独立完成整个测试过程，如服务器配置数据并完成测试。

步骤102、依据所述第一场景数据和地图数据，执行自动驾驶的仿真测试，得到第一测试数据，以及依据所述第二场景数据和所述地图，执行自动驾驶的仿真测试，得到第二测试数据。

需要说明的是，本发明实施例中对步骤101和步骤102的执行顺序不作限定，例如：可以如图1所示的先执行步骤101再执行步骤102，或者可以是步骤101与步骤102同时执行，例如：在获取到第一场景数据后就可以执行第一场景数据的相应测试，以及在获取到第二场景数据后就可以执行第二场景数据的相应测试。

上述依据所述第一场景数据和地图数据，执行自动驾驶的仿真测试，得到第一测试数据可以是，将上述第一场景数据和地图数据作为车辆测试场景，针对该场景执行相应的连续的自动驾驶仿真控制，以测试自动驾驶的效果。当然，上述依据所述第二场景数据和所述地图数据，执行自动驾驶的仿真测试，得到第二测试数据可以是，将上述第二场景数据和地图数据作为车辆测试场景，针对该场景执行相应的连续的自动驾驶仿真控制，以测试自动驾驶的效果。

另外，上述第一测试数据和第二测试数据可以是用于确定仿真测试结果的关键数据，例如：用于评价碰撞率、变道平稳性、纵向速度稳定性、危险状态是否检测到并提示接管和决策规划模块是否有异常输出等等需要的数据，如碰撞次数、变道平稳性参数、纵向速度稳定性参数、危险状态是否检测到并提示接管的提示或者异常输出信息等等。需要说明的是，本发明实施例对第一测试数据和第二测试数据不作限定，第一测试数据和第二测试数据可以根据不同的测试需求，以记录测试过程中的不同数据。

另外，上述地图数据可以是高清度地图(简称高清地图)提供的数据。

作为一种可选的实施方式，上述定义的场景数据包括：

多个参数化的初始场景数据，其中，所述初始场景数据包括本车的初始位置和朝向信息，以及还包括道路信息和障碍物信息，所述障碍物信息包括但不限于：障碍物的位置信息、速度和加速度中至少一项。

需要说明的是，本发明实施例中障碍物可以是车辆、行人、动物等车辆的驾驶过程可能遇到的障碍物。

其中，上述初始场景数据可以是待测试的感知场景的初始状态，包括本车的初始位置(例如：经纬度)和朝向角，以及道路和障碍物信息。上述障碍物的位置信息可以是障碍物相对于本车坐标系的绝对位置，进一步的，上述障碍物信息还包括障碍物数量和障碍物类型，也就是说，上述障碍物信息可以包括障碍物数量以及每个障碍物相对于本车坐标系的绝对位置、速度和加速度等信息。

另外，上述参数化的初始场景数据可以是用于参数表示的初始场景数据，且上述参数化的初始场景数据结构化的配置文件。

另外，上述多个参数化的初始场景数据可以是尽量可能地概括车辆在实际驾驶过程中可能遇到的所有场景的初始数据。假设前后感知边界L米，横向W车道，位置离散化粒度为P*1(即假设每间隔纵向P米，1车道宽可以存在一个障碍物)，障碍物最多考虑K辆，其位置在位置离散化的位置随机采样得到，如果障碍物参数只考虑速度和加速度，且令正常速度范围Vrange，速度采样步长Vstep，正常加速度范围Arange，加速度采样步长Astep，则总计生成的初始场景数量为：

通过上述方法采用全遍历的方式实现了场景的全包含。当然，上述仅是一个举例，本发明实施例中并不限定初始场景数据的定义方式，具体可以根据实际测试需求进行定义。

进一步的，上述多个参数化的初始场景数据可以包括：

对定义的初始场景数据全集进行剪枝，以去除冗余和/或无效初始场景数据得到的多个参数化的初始场景数据。

其中，上述初始场景数据全集可以是定义的大量初始场景数据，例如：定义上述公式对应的数量的初始场景数据。在实际应用中，上述初始场景数据全集可能会包含冗余和无效场景，这样通过该实施方式中，可以实现进行初始场景检查，并进行剪枝，以去除冗余和/或无效初始场景数据得到的多个参数化的初始场景数据。上述无效初始场景数据可以是是在车辆实际驾驶过程中可能不遇到或者一些极端的驾驶场景，例如：按照运动学极端推算(即按照允许的最大/最小加减速度，反应时间等参数做碰撞安全性检查)任意障碍物有故意撞击本车的意图或者本车难以避免的会撞上任意障碍物的风险，则将该无效场景从场景全集中移除。

该实施方式中，由于去除冗余和/或无效初始场景数据，从而可以进一步提高测试效率。

可选的，上述实施方式中，依据所述第一场景数据和地图数据，执行自动驾驶的仿真测试，得到第一测试数据，包括：

针对每个参数化的初始场景数据，依据多帧数据执行的自动驾驶的仿真测试，得到第一测试数据，其中，所述多帧数据中每一帧数据均包括场景数据和地图数据，且所述多帧数据中的第一帧数据包括所述初始场景数据和所述初始场景数据对应的地图数据，所述多帧数据除所述第一帧数据之外的其他帧的场景数据是，依据自适应策略在上一帧数据的基础上调节道路信息和/或调节障碍物的位置和速度中的至少一项得到的场景数据。

其中，上述调节道路信息和/或调节障碍物的位置和速度中的至少一项可以是理解为，调节道路信息，或者，调节障碍物的位置和速度中的至少一项，或者，调节道路信息，以及调节障碍物的位置和速度中的至少一项。进一步，对于调节障碍物本发明实施例并不限定位置和速度中的至少一项，还可以是其他障碍物的其他状态。

上述针对每个参数化的初始场景数据，依据多帧数据执行的自动驾驶的仿真测试，得到第一测试数据可以是指，针对每个参数化的初始场景数据，均执行对应的依据多帧数据执行的自动驾驶的仿真测试，得到第一测试数据。

上述自适应策略可以是NPA(Non-Player-Agent，即障碍物)行驶策略，进一步的，上述自适应策略可以是自适应加速度控制函数，当然，对此不作限定，例如：还可以是自适应加速度和朝向控制函数。上述自适应策略可以控制障碍物在场景中如何像真实障碍物车辆一样连续行驶，例如：在每一帧场景变化的时候自动调节障碍物车辆的加速度和/或行驶策略，进而改变其速度和位置。另外，上述可以是上述第一场景数据中包括自适应策略，例如：上述参数化的初始场景数据与上述自适应策略一并写入配置文件中下发给执行器，当然，对此不作限定，例如：上述自适应策略可以是执行器自行配置的，或者服务器预先配置的等。

该实施方式中，上述初始场景数据只包括初始场景数据，即第一帧的场景数据，这样通过上述自适应策略可以在初始场景数据的基础上得到障碍物在各帧的变化状态，从而得到各帧的场景数据，这样可以降低场景数据的提供，以及还可以模拟障碍物真实状态变化，以及大规模连续帧测试，以提高测试效果。

作为一种可选的实施方式，上述通过路测采样得到的数据包括：

初始场景数据，以及在时间区间内多个时间点的障碍物的位置、速度和加速度中至少一项的变化状态信息。

需要说明的是，上述变化状态信息并不限定上述位置、速度和加速度中至少一项的变化状态信息，还可以是障碍物的其他状态的变化信息。

其中，上述每个时间点可以对应测试过程中的一帧数据，也就是说，上述数据包括多帧数据的场景数据。

另外，初始场景数据可以是包括多个场景(例如：多个典型场景)的初始场景数据，上述在时间区间内多个时间点的障碍物的位置、速度和加速度中至少一项的变化状态信息可以是包括多个场景(例如：多个典型场景)的在时间区间内多个时间点的障碍物的位置、速度和加速度中至少一项的变化状态信息。

例如：可以从实车路测的真实数据中解析和提取场景数据(例如：本车位置和朝向角，感知到的障碍物信息等)作为测试的初始场景数据。进一步，可以将其转化为结构化的配置文件。另外，初始场景数据采样方式可以基于定频的方法，也可以基于对场景相似度的衡量等方法，对此不作限定。

进一步的，上述变化状态信息可以是相对于初始场景数据的状态变化，例如：将采样后得到的时间区间内的障碍物真实的状态变化(例如：位置、速度加速度和朝向等)，参考本车坐标系还原为每个时间点相对于初始状态的绝对状态变化(例如：位置、速度加速度和朝向等)，并生成一个结构化的动作剧本，即在测试过程中各障碍物按照对应的动作剧本进行状态变化。这样可以实现，在测试过程中，障碍物的变化不受闭环行为的影响，准确地还原障碍物真实的行为，以提高测试的准确性。

该实施方式中，由于包括初始场景数据，以及在时间区间内多个时间点的障碍物的位置、速度和加速度中至少一项的变化状态信息，这样在测试过程中可以准确地还原各障碍物在每一帧真实变化情况，从而提高测试的准确性。

作为一种可选的辨方式，上述自动驾驶的仿真测试包括：

自动驾驶的决策和规划的仿真测试。

该实施方式中，可以实现依据所述第一场景数据和地图数据，执行自动驾驶的决策和规划的仿真测试，得到第一测试数据，以及依据所述第二场景数据和所述地图数据，执行自动驾驶的决策和规划的仿真测试，得到第二测试数据，从而测试自动驾驶的决策和规划的效果。

下面以图2和图3为例，对自动驾驶的决策和规划的仿真测试进行举例说明：

执行器上的仿真程序运行结构如图2所示整体闭环结构，包括：模拟器、真实决策模块(decision_T)和真实规划模块(planning_T)，其中，模拟器中可看作两个虚拟模块，即虚拟控制模块(control_F)和虚拟感知模块(perception_F)，其中，虚拟控制模块完成对规划模块规划结果的实时接收处理并完成本车状态(例如：包括位置、经纬度、速度、加速度、转向等)的更新，而虚拟感知模块完成障碍物(例如：位置、速度、加速度等)更新计算和从高清地图获取的车道线数据更新，从而完成新一帧感知数据的更新和下发给决策模块。另外，执行器上的模块间的仿真闭环方式如图2所示的模拟器整体闭环结构中的箭头方向所示。

需要说明的是，上述介绍的模块均可以是虚拟的模块，本发明实施例，对执行器内的模块不作限定，例如：可以将上述决策模块和规划模块作为一个综合的决策规划模块。

执行器的自动驾驶测试的程序内部逻辑流程可以如图3所示：按照从服务器得到的参数初始化程序状态，待初始化完成后开始主流程循环，将本车初始状态(例如：经纬度和朝向角等)发送给高精地图模块，并获取高精地图的返回结果(例如：道路信息)，与场景数据中的障碍物信息加以组合，生成第一帧感知数据发给决策模块，决策模块根据感知数据做出决策并下发给规划模块，规划模块根据决策模块的输出做出包含位置、速度、加速度和朝向等的轨迹并发给模拟器中的虚拟控制模块，控制模块根据闭环系统的时间频率执行规划模块下发的指令，完成本车状态(例如：位置、朝向、速度、加速度等)的更新，接下来虚拟感知模块会基于本车状态的更新和新一帧高精数据的获取，并基于障碍物的下一时间点的障碍物状态来完成新一帧感知场景数据的生成和下发决策模块，如此循环往复，达到连续帧闭环测试的效果。其中，上述障碍物的下一时间点的障碍物状态可以是基于运动策略推算下一时间点的障碍物状态，例如：全面测试模式时(即使用上述第一场景数据进行测试时)，障碍物按照自适应加速度控制，如前方无障碍物车辆时匀加速至场景限速，如前方有障碍物车辆时按照速度差、距离远近决定加速度或减速度大小，直至速度稳定。而对于典型测试模式时(即使用上述第二场景数据进行测试时)，障碍物按照服务器给出的动作剧本逐帧地提取绝对位置、速度和加速度并直接更新。

需要说明的是，在上述模拟器闭环执行的过程中，每个执行器上可以有一个程序或者进程负责将闭环的数据流进行记录和落盘，一方面保证异常执行可追溯，另一方面留存关键数据以备后面对于决策规划模块的场景覆盖率以及效果的评测。

步骤103、根据所述第一测试数据和所述第二测试数据，确定自动驾驶的仿真测试结果。

上述根据所述第一测试数据和所述第二测试数据，确定自动驾驶的仿真测试结果可以是，对上述第一测试数据和第二测试数据进行统计、分析或者计算等操作，以确定自动驾驶的仿真测试结果。例如：确定自动驾驶的碰撞率、变道平稳性、纵向速度稳定性、危险状态是否检测到并提示接管和决策规划模块是否有异常输出等等至少一项的仿真测试结果，具体可以根据测试需求进行确定，对此不作限定。进一步的，如果采用多个执行器并行进行测试，步骤103还可以结合其他执行器得到的测试数据来确定自动驾驶的仿真测试结果。或者，可以将上述仿真测试结果发送给其他执行器以确定最终的仿真测试结果。

需要说明的是，本发明实施例中，在上述方法中，可以上述仿真测试过程的得到的第一测试数据和所述第二测试数据(这些数据可以称作落盘数据)进行统计、分析或者计算等操作，可以得到自动驾驶的决定和规划在面对连续的场景时的全部反应，进而可以计算一系列的分场景的指标：如碰撞率，变道平稳性，纵向速度稳定性，危险状态是否检测到并提示接管，决策规划模块是否有异常输出等等，通过这些指标能快速发现决策规划算法的优劣势，不光有定性结论，数据的可追溯，也可定量地指导算法迭代。进一步的，依托计算资源的优势，整个流程的例行化可在天级完成，能给出覆盖面广的结论，以及还能大大解放繁琐的离线验证人力，提升算法迭代的效率。

下面以本发明实施例提供的自动驾驶测试方法主从架构进行举例说明，如图4所示，包括：参数服务器(Parameter Server)，若干个(数量依集群计算资源决定)执行器(Executor)。通过给参数服务器指定测试模式：全面测试和典型测试，全面测试即通过参数定义场景初始状态全集和剪枝(批量生成场景测试参数传给下游分布式执行集群，其中，场景初始状态(即第一场景数据)可以包括：GPS、路段、直道、弯道、匝道等场景，以及还包括障碍物数量、类型、初始速度、初始位置、加速度和行驶策略等信息；典型测试即从真实路测场景数据中定频或者按照一定的场景重要度相关指标采样并记录经纬度，障碍物数量、类型、初始速度、初始位置和加速度等信息(即第二场景数据)，同时在绝对坐标系中还原障碍物的连续运动并保存为动作剧本，同时作为参数传给下游分布式执行集群。执行集群中的执行器们并行(其中，图4中的“…”表示并行的多个执行器)地启动程序利用从参数服务器取得场景参数构建连续的感知数据，加载高精地图，形成感知-决策-规划-控制的连续闭环，如果执行的是全面测试模式，初始场景中的障碍物按照简单的自适应策略控速平稳行驶；如果执行的是典型测试模式，障碍物按照参数服务器下发的动作剧本逐帧行驶，类似障碍物的影子模式。在执行器执行每个场景闭环的过程中同时记录中间的关键数据，方便最后汇总计算相关指标和结论。

需要说明的是，图4中的所示的参数服务器可以是指同一个参数服务器，当然，对此不作限定，例如：可以是指两个不同的参数服务器。

本发明实施例中，通过两种测试模式比较完整地解决了场景全覆盖的问题。场景参数化解决了有效的场景如何得到的问题，借由线下的计算集群优势而实现的并行化优势，使得全面测试可以在有限时间内对十亿量级的场景全集完成遍历扫描。同时，依托本发明实施例定制的车辆行驶策略以及动作剧本策略以及高精地图的加入，能以较低成本和很高效率还原和刻画场景中障碍物的连续行为变化，使得决策规划测试能够得以高效低成本，保质保量的推进。

本发明实施例中，比较完整地解决了如何构造大量有效的场景输入去测试决策规划算法的安全和鲁棒性的问题，无需一开始就付出高昂的实车验证成本，最大程度避免不必要的安全风险，也避免了精确仿真工作对经济和人力的大量需求。本发明实施例凭借场景采样和动作剧本提取技术，实现了路测场景连续数据的精准复现；凭借场景全面性定义和剪枝策略以及自适应加速度控制方法，实现了全覆盖的连续场景推算。

本发明实施例中，获取第一场景数据和第二场景数据，其中，所述第一场景数据包括定义的场景数据，所述第二场景数据包括通过路测采样得到的数据；依据所述第一场景数据和地图数据，执行自动驾驶的仿真测试，得到第一测试数据，以及依据所述第二场景数据和所述地图数据，执行自动驾驶的仿真测试，得到第二测试数据；根据所述第一测试数据和所述第二测试数据，确定自动驾驶的仿真测试结果。这样相比进行实车路测和精确仿真，可以提高测试覆盖率，提高测试效率，以及降低测试成本。

请参见图5，图5是本发明实施例提供的另一种自动驾驶测试方法的流程图，如图5所示，包括以下步骤：

步骤501、生成并向执行器下发第一场景数据和第二场景数据，其中，所述第一场景数据包括定义的场景数据，所述第二场景数据包括通过路测采样得到的数据，以使得所述执行器依据所述第一场景数据和地图数据，执行自动驾驶的仿真测试，得到第一测试数据，以及依据所述第二场景数据和所述地图数据，执行自动驾驶的仿真测试，得到第二测试数据；并由所述执行器根据所述第一测试数据和所述第二测试数据，确定自动驾驶的仿真测试结果。

需要说明的是，本实施例作为与图1所示的实施例中对应的服务器的实施方式，其具体的实施方式可以参见图1所示的实施例的相关说明，为了避免重复说明，本实施例不再赘述，且还可以达到相同有益效果。

请参见图6，图6是本发明实施例提供一种自动驾驶测试装置的结构图，如图6所示，自动驾驶测试装置600包括：

获取模块601，用于获取第一场景数据和第二场景数据，其中，所述第一场景数据包括定义的场景数据，所述第二场景数据包括通过路测采样得到的数据；

测试模块602，用于依据所述第一场景数据和地图数据，执行自动驾驶的仿真测试，得到第一测试数据，以及依据所述第二场景数据和所述地图数据，执行自动驾驶的仿真测试，得到第二测试数据；

确定模块603，用于根据所述第一测试数据和所述第二测试数据，确定自动驾驶的仿真测试结果。

可选的，所述定义的场景数据包括：

多个参数化的初始场景数据，其中，所述初始场景数据包括本车的初始位置和朝向信息，以及还包括道路信息和障碍物信息，所述障碍物信息包括：障碍物的位置信息、速度和加速度中至少一项。

可选的，所述测试模块602用于针对每个参数化的初始场景数据，依据多帧数据执行的自动驾驶的仿真测试，得到第一测试数据，其中，所述多帧数据中每一帧数据均包括场景数据和地图数据，且所述多帧数据中的第一帧数据包括所述初始场景数据和所述初始场景数据对应的地图数据，所述多帧数据除所述第一帧数据之外的其他帧的场景数据是，依据自适应策略在上一帧数据的基础上调节道路信息和/或调节障碍物的位置和速度中的至少一项得到的场景数据。

可选的，所述多个参数化的初始场景数据包括：

对定义的初始场景数据全集进行剪枝，以去除冗余和/或无效初始场景数据得到的多个参数化的初始场景数据。

可选的，所述通过路测采样得到的数据包括：

初始场景数据，以及在时间区间内多个时间点的障碍物的位置、速度和加速度中至少一项的变化状态信息。

可选的，所述获取模块601用于接收服务器下发的第一场景数据和第二场景数据，其中，所述第一场景数据为结构化的配置文件，所述第二场景数据为结构化的配置文件。

可选的，所述自动驾驶的仿真测试包括：

自动驾驶的决策和规划的仿真测试。

需要说明的是，本发明实施例中方法实施例中任意实施方式都可以被本实施例中的上述自动驾驶测试装置所实现，以及达到相同的有益效果，此处不再赘述。

请参见图7，图7是本发明实施例提供另一种自动驾驶测试装置的结构图，如图7所示，自动驾驶测试装置700包括：

下发模块701，用于生成并向执行器下发第一场景数据和第二场景数据，其中，所述第一场景数据包括定义的场景数据，所述第二场景数据包括通过路测采样得到的数据，以使得所述执行器依据所述第一场景数据和地图数据，执行自动驾驶的仿真测试，得到第一测试数据，以及依据所述第二场景数据和所述地图数据，执行自动驾驶的仿真测试，得到第二测试数据；并由所述执行器根据所述第一测试数据和所述第二测试数据，确定自动驾驶的仿真测试结果。

需要说明的是，本发明实施例中方法实施例中任意实施方式都可以被本实施例中的上述自动驾驶测试装置所实现，以及达到相同的有益效果，此处不再赘述。

请参见图8，图8是本发明实施例提供的一种智能设备的结构图，如图8所示，智能设备800包括处理器801、存储器802及存储在所述存储器802上并可在所述处理器上运行的计算机程序。

其中，所述计算机程序被所述处理器801执行时实现如下步骤：

获取第一场景数据和第二场景数据，其中，所述第一场景数据包括定义的场景数据，所述第二场景数据包括通过路测采样得到的数据；

依据所述第一场景数据和地图数据，执行自动驾驶的仿真测试，得到第一测试数据，以及依据所述第二场景数据和所述地图数据，执行自动驾驶的仿真测试，得到第二测试数据；

根据所述第一测试数据和所述第二测试数据，确定自动驾驶的仿真测试结果。

可选的，所述定义的场景数据包括：

多个参数化的初始场景数据，其中，所述初始场景数据包括本车的初始位置和朝向信息，以及还包括道路信息和障碍物信息，所述障碍物信息包括：障碍物的位置信息、速度和加速度中至少一项。

可选的，所述依据所述第一场景数据和地图数据，执行自动驾驶的仿真测试，得到第一测试数据，包括：

针对每个参数化的初始场景数据，依据多帧数据执行的自动驾驶的仿真测试，得到第一测试数据，其中，所述多帧数据中每一帧数据均包括场景数据和地图数据，且所述多帧数据中的第一帧数据包括所述初始场景数据和所述初始场景数据对应的地图数据，所述多帧数据除所述第一帧数据之外的其他帧的场景数据是，依据自适应策略在上一帧数据的基础上调节道路信息和/或障碍物的位置和速度中的至少一项得到的场景数据。

可选的，所述多个参数化的初始场景数据包括：

对定义的初始场景数据全集进行剪枝，以去除冗余和/或无效初始场景数据得到的多个参数化的初始场景数据。

可选的，所述通过路测采样得到的数据包括：

初始场景数据，以及在时间区间内多个时间点的障碍物的位置、速度和加速度中至少一项的变化状态信息。

可选的，所述获取第一场景数据和第二场景数据，包括：

接收服务器下发的第一场景数据和第二场景数据，其中，所述第一场景数据为结构化的配置文件，所述第二场景数据为结构化的配置文件。

可选的，所述自动驾驶的仿真测试包括：

自动驾驶的决策和规划的仿真测试。

本发明实施例提供的智能设备能够实现图1所示的方法实施例中智能设备实现的各个过程，且可以达到相同有益效果，为避免重复，这里不再赘述。

请参见图9，图9是本发明实施例提供的一种服务器的结构图，如图9所示，服务器900包括处理器801、存储器802及存储在所述存储器802上并可在所述处理器上运行的计算机程序。

其中，所述计算机程序被所述处理器801执行时实现如下步骤：

生成并向执行器下发第一场景数据和第二场景数据，其中，所述第一场景数据包括定义的场景数据，所述第二场景数据包括通过路测采样得到的数据，以使得所述执行器依据所述第一场景数据和地图数据，执行自动驾驶的仿真测试，得到第一测试数据，以及依据所述第二场景数据和所述地图数据，执行自动驾驶的仿真测试，得到第二测试数据；并由所述执行器根据所述第一测试数据和所述第二测试数据，确定自动驾驶的仿真测试结果。

本发明实施例提供的服务器能够实现图5所示的方法实施例中服务器实现的各个过程，且可以达到相同有益效果，为避免重复，这里不再赘述。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例提供智能设备侧的自动驾驶测试方法的步骤，或者，所述计算机程序被处理器执行时实现本发明实施例提供服务器侧的自动驾驶测试方法的步骤。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护之内。

Claims (15)

1.一种自动驾驶测试方法，其特征在于，包括：

获取第一场景数据和第二场景数据，其中，所述第一场景数据包括定义的场景数据，所述第二场景数据包括通过路测采样得到的数据；

依据所述第一场景数据和地图数据，执行自动驾驶的仿真测试，得到第一测试数据，以及依据所述第二场景数据和所述地图数据，执行自动驾驶的仿真测试，得到第二测试数据；

根据所述第一测试数据和所述第二测试数据，确定自动驾驶的仿真测试结果；

其中，所述获取第一场景数据和第二场景数据，包括：

接收服务器下发的第一场景数据和第二场景数据，其中，所述第一场景数据为结构化的配置文件，该配置文件包括参数化的初始场景数据与自适应策略，所述自适应策略用于自动调节障碍物的加速度和/或行驶策略；

所述第二场景数据为结构化的配置文件，该配置文件包括通过路测采样得到的数据，且所述通过路测采样得到的数据包括：初始场景数据，以及在时间区间内多个时间点的障碍物的位置、速度和加速度中至少一项的变化状态信息，所述变化状态信息为所述障碍物在每个时间点相对于初始状态的绝对状态变化的结构化的动作剧本；

其中，在依据所述第一场景数据和地图数据，执行自动驾驶的仿真测试过程中，通过所述自适应策略控制所述障碍物按照所述自适应策略进行行驶；

在依据所述第二场景数据和所述地图数据，执行自动驾驶的仿真测试过程中，通过所述动作剧本控制所述障碍物按照所述动作剧本逐帧行驶。

2.如权利要求1所述的方法，其特征在于，所述定义的场景数据包括：

多个参数化的初始场景数据，其中，所述初始场景数据包括本车的初始位置和朝向信息，以及还包括道路信息和障碍物信息，所述障碍物信息包括：障碍物的位置信息、速度和加速度中至少一项。

3.如权利要求2所述的方法，其特征在于，所述依据所述第一场景数据和地图数据，执行自动驾驶的仿真测试，得到第一测试数据，包括：

针对每个参数化的初始场景数据，依据多帧数据执行的自动驾驶的仿真测试，得到第一测试数据，其中，所述多帧数据中每一帧数据均包括场景数据和地图数据，且所述多帧数据中的第一帧数据包括所述初始场景数据和所述初始场景数据对应的地图数据，所述多帧数据除所述第一帧数据之外的其他帧的场景数据是，依据自适应策略在上一帧数据的基础上调节道路信息和/或调节障碍物的位置和速度中的至少一项得到的场景数据。

4.如权利要求2所述的方法，其特征在于，所述多个参数化的初始场景数据包括：

对定义的初始场景数据全集进行剪枝，以去除冗余和/或无效初始场景数据得到的多个参数化的初始场景数据。

5.如权利要求1至4中任一项所述的方法，其特征在于，所述自动驾驶的仿真测试包括：

自动驾驶的决策和规划的仿真测试。

6.一种自动驾驶测试方法，其特征在于，包括：

生成并向执行器下发第一场景数据和第二场景数据，其中，所述第一场景数据包括定义的场景数据，所述第二场景数据包括通过路测采样得到的数据，以使得所述执行器依据所述第一场景数据和地图数据，执行自动驾驶的仿真测试，得到第一测试数据，以及依据所述第二场景数据和所述地图数据，执行自动驾驶的仿真测试，得到第二测试数据；并由所述执行器根据所述第一测试数据和所述第二测试数据，确定自动驾驶的仿真测试结果；

其中，所述第一场景数据为结构化的配置文件，该配置文件包括参数化的初始场景数据与自适应策略，所述自适应策略用于自动调节障碍物的加速度和/或行驶策略；

所述第二场景数据为结构化的配置文件，该配置文件包括通过路测采样得到的数据，且所述通过路测采样得到的数据包括：初始场景数据，以及在时间区间内多个时间点的障碍物的位置、速度和加速度中至少一项的变化状态信息，所述变化状态信息为所述障碍物在每个时间点相对于初始状态的绝对状态变化的结构化的动作剧本；

其中，在依据所述第一场景数据和地图数据，执行自动驾驶的仿真测试过程中，通过所述自适应策略控制所述障碍物按照所述自适应策略进行行驶；

在依据所述第二场景数据和所述地图数据，执行自动驾驶的仿真测试过程中，通过所述动作剧本控制所述障碍物按照所述动作剧本逐帧行驶。

7.一种自动驾驶测试装置，其特征在于，包括：

获取模块，用于获取第一场景数据和第二场景数据，其中，所述第一场景数据包括定义的场景数据，所述第二场景数据包括通过路测采样得到的数据；

测试模块，用于依据所述第一场景数据和地图数据，执行自动驾驶的仿真测试，得到第一测试数据，以及依据所述第二场景数据和所述地图数据，执行自动驾驶的仿真测试，得到第二测试数据；

确定模块，用于根据所述第一测试数据和所述第二测试数据，确定自动驾驶的仿真测试结果；

其中，所述获取第一场景数据和第二场景数据，包括：

接收服务器下发的第一场景数据和第二场景数据，其中，所述第一场景数据为结构化的配置文件，该配置文件包括参数化的初始场景数据与自适应策略，所述自适应策略用于自动调节障碍物的加速度和/或行驶策略；

所述第二场景数据为结构化的配置文件，该配置文件包括通过路测采样得到的数据，且所述通过路测采样得到的数据包括：初始场景数据，以及在时间区间内多个时间点的障碍物的位置、速度和加速度中至少一项的变化状态信息，所述变化状态信息为所述障碍物在每个时间点相对于初始状态的绝对状态变化的结构化的动作剧本；

其中，在依据所述第一场景数据和地图数据，执行自动驾驶的仿真测试过程中，通过所述自适应策略控制所述障碍物按照所述自适应策略进行行驶；

在依据所述第二场景数据和所述地图数据，执行自动驾驶的仿真测试过程中，通过所述动作剧本控制所述障碍物按照所述动作剧本逐帧行驶。

8.如权利要求7所述的装置，其特征在于，所述定义的场景数据包括：

多个参数化的初始场景数据，其中，所述初始场景数据包括本车的初始位置和朝向信息，以及还包括道路信息和障碍物信息，所述障碍物信息包括：障碍物的位置信息、速度和加速度中至少一项。

9.如权利要求8所述的装置，其特征在于，所述测试模块用于针对每个参数化的初始场景数据，依据多帧数据执行的自动驾驶的仿真测试，得到第一测试数据，其中，所述多帧数据中每一帧数据均包括场景数据和地图数据，且所述多帧数据中的第一帧数据包括所述初始场景数据和所述初始场景数据对应的地图数据，所述多帧数据除所述第一帧数据之外的其他帧的场景数据是，依据自适应策略在上一帧数据的基础上调节道路信息和/或调节障碍物的位置和速度中的至少一项得到的场景数据。

10.如权利要求8所述的装置，其特征在于，所述多个参数化的初始场景数据包括：

对定义的初始场景数据全集进行剪枝，以去除冗余和/或无效初始场景数据得到的多个参数化的初始场景数据。

11.如权利要求7至10中任一项所述的装置，其特征在于，所述自动驾驶的仿真测试包括：

自动驾驶的决策和规划的仿真测试。

12.一种自动驾驶测试装置，其特征在于，包括：

下发模块，用于生成并向执行器下发第一场景数据和第二场景数据，其中，所述第一场景数据包括定义的场景数据，所述第二场景数据包括通过路测采样得到的数据，以使得所述执行器依据所述第一场景数据和地图数据，执行自动驾驶的仿真测试，得到第一测试数据，以及依据所述第二场景数据和所述地图数据，执行自动驾驶的仿真测试，得到第二测试数据；并由所述执行器根据所述第一测试数据和所述第二测试数据，确定自动驾驶的仿真测试结果；

其中，所述第一场景数据为结构化的配置文件，该配置文件包括参数化的初始场景数据与自适应策略，所述自适应策略用于自动调节障碍物的加速度和/或行驶策略；

所述第二场景数据为结构化的配置文件，该配置文件包括通过路测采样得到的数据，且所述通过路测采样得到的数据包括：初始场景数据，以及在时间区间内多个时间点的障碍物的位置、速度和加速度中至少一项的变化状态信息，所述变化状态信息为所述障碍物在每个时间点相对于初始状态的绝对状态变化的结构化的动作剧本；

其中，在依据所述第一场景数据和地图数据，执行自动驾驶的仿真测试过程中，通过所述自适应策略控制所述障碍物按照所述自适应策略进行行驶；

在依据所述第二场景数据和所述地图数据，执行自动驾驶的仿真测试过程中，通过所述动作剧本控制所述障碍物按照所述动作剧本逐帧行驶。

13.一种智能设备，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至5中任一项所述的自动驾驶测试方法的步骤。

14.一种服务器，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求6所述的自动驾驶测试方法的步骤。

15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的自动驾驶测试方法的步骤，或者所述计算机程序被处理器执行时实现如权利要求6所述的自动驾驶测试方法的步骤。