CN109884916A

CN109884916A - 一种自动驾驶仿真评估方法及装置

Info

Publication number: CN109884916A
Application number: CN201910143137.5A
Authority: CN
Inventors: 牛晨晓; 潘金文
Original assignee: Momenta Suzhou Technology Co Ltd
Current assignee: Momenta Suzhou Technology Co Ltd
Priority date: 2019-02-26
Filing date: 2019-02-26
Publication date: 2019-06-14
Anticipated expiration: 2039-02-26
Also published as: CN109884916B

Abstract

本发明实施例公开一种自动驾驶仿真评估方法及装置。该方法包括：从预先建立的仿真系统中获取虚拟车辆在虚拟环境中的行驶状态数据，以及虚拟车辆中的虚拟传感器针对虚拟环境采集的传感器数据；根据行驶状态数据和传感器数据，以及预设的车辆驾驶控制算法，确定针对虚拟车辆的驾驶控制数据；将驾驶控制数据输入仿真系统，以使仿真系统根据所述驾驶控制数据对所述虚拟车辆进行驾驶控制并显示所述虚拟车辆在驾驶控制下的行驶状态；根据显示的虚拟车辆在驾驶控制下的行驶状态，对车辆驾驶控制算法的性能进行评估。应用本发明实施例提供的方案，能够通过仿真系统实现对自动驾驶中的车辆驾驶控制算法的性能进行评估。

Description

一种自动驾驶仿真评估方法及装置

技术领域

本发明涉及自动驾驶技术领域，具体而言，涉及一种自动驾驶仿真评估方法及装置。

背景技术

自动驾驶是一门新兴的领域，也是一个具有极高复杂度的系统工程。直接使用尚不成熟的自动驾驶车辆在真实道路上进行系统和算法的验证，不但成本高，而且非常危险。如果能够使用系统仿真技术在虚拟环境中对自动驾驶车辆进行测试和验证，可以减少人力物力成本，而且规避了潜在安全风险。

然而，目前市场上存在的仿真平台，更多的是对车辆的机械性能等细节进行仿真，因此这些仿真更适合针对车辆的设计研发。但是，目前亟待针对自动驾驶整个核心算法的仿真评估。

发明内容

本发明提供了一种自动驾驶仿真评估方法及装置，以通过仿真系统实现对自动驾驶中的车辆驾驶控制算法的性能进行评估。具体的技术方案如下。

第一方面，本发明实施例提供了一种自动驾驶仿真评估方法，包括：

从预先建立的仿真系统中获取虚拟车辆在虚拟环境中的行驶状态数据，以及所述虚拟车辆中的虚拟传感器针对所述虚拟环境采集的传感器数据；

根据所述行驶状态数据和所述传感器数据，以及预设的车辆驾驶控制算法，确定针对所述虚拟车辆的驾驶控制数据；

将所述驾驶控制数据输入所述仿真系统，以使所述仿真系统根据所述驾驶控制数据对所述虚拟车辆进行驾驶控制并显示所述虚拟车辆在驾驶控制下的行驶状态；

根据显示的所述虚拟车辆在驾驶控制下的行驶状态，对所述车辆驾驶控制算法的性能进行评估。

可选的，所述车辆驾驶控制算法包括：融合算法、规划算法和控制算法；

所述根据所述行驶状态数据和所述传感器数据，以及预设的车辆驾驶控制算法，确定针对所述虚拟车辆的驾驶控制数据的步骤，包括：

根据所述融合算法以及所述传感器数据，确定针对所述虚拟车辆周围的虚拟环境的环境感知结果；

根据所述规划算法和所述行驶状态数据、所述环境感知结果，以及预设的所述虚拟车辆的参考轨迹和获取的地图信息，确定所述虚拟车辆在当前时刻之后预设时长内的目标轨迹点；

根据预设的控制算法以及所述行驶状态数据和所述目标轨迹点，确定针对所述虚拟车辆的驾驶控制数据。

可选的，所述车辆驾驶控制算法还包括：预测算法；

所述根据所述规划算法和所述行驶状态数据、所述环境感知结果，以及预设的所述虚拟车辆的参考轨迹和获取的地图信息，确定所述虚拟车辆在当前时刻之后预设时长内的目标轨迹点的步骤，包括：

当所述虚拟环境中存在其他行驶车辆时，根据所述预测算法和所述传感器数据，预测所述虚拟车辆周围其他行驶车辆的他车行驶轨迹；

根据所述规划算法和所述行驶状态数据、所述环境感知结果、所述他车行驶轨迹，以及预设的所述虚拟车辆的参考轨迹和获取的地图信息，确定所述虚拟车辆在当前时刻之后预设时长内的目标轨迹点。

可选的，当预测所述虚拟车辆周围其他行驶车辆的他车行驶轨迹之后，所述方法还包括：

获取所述虚拟环境中创建的标准他车行驶轨迹；

根据对所述标准他车行驶轨迹与所述他车行驶轨迹之间的对比，对所述预测算法进行评估。

可选的，在确定针对所述虚拟车辆周围的虚拟环境的环境感知结果之后，所述方法还包括：

获取所述虚拟环境中创建的标准环境信息；根据对所述标准环境信息和所述环境感知结果之间的对比，对所述融合算法进行评估。

可选的，所述车辆驾驶控制算法还包括：车辆控制算法；其中，所述车辆控制算法包括以下算法中的至少一种：自适应巡航算法、车道保持辅助算法和自动电平控制算法；

根据所述规划算法和所述行驶状态数据、所述环境感知结果，以及预设的所述虚拟车辆的参考轨迹和获取的地图信息，并结合车辆控制算法，确定所述虚拟车辆在当前时刻之后预设时长内的目标轨迹点。

可选的，所述根据所述行驶状态数据和所述传感器数据，以及预设的车辆驾驶控制算法，确定针对所述虚拟车辆的驾驶控制数据的步骤，包括：

对所述行驶状态数据和所述传感器数据进行解析变换；

根据变换后的行驶状态数据和变换后的传感器数据，以及预设的车辆驾驶控制算法，确定针对所述虚拟车辆的驾驶控制数据。

可选的，所述根据显示的所述虚拟车辆在驾驶控制下的行驶状态，对所述车辆驾驶控制算法的性能进行评估的步骤，包括：

获取显示的所述虚拟车辆在驾驶控制下的行驶状态的各个图像帧；

根据预设的不良行驶图像特征，检测各个图像帧中所述虚拟车辆的不良行驶信息；

根据得到的不良驾驶信息，对所述车辆驾驶控制算法的性能进行评估。

可选的，所述根据预设的不良行驶图像特征，检测各个图像帧中所述虚拟车辆的不良行驶信息的步骤，包括：

将各个图像帧输入检测网络，从所述检测网络中获得所述虚拟车辆的不良行驶信息；

其中，所述检测网络根据预先建立的不良行驶图像特征与不良行驶信息之间的关联关系，从各个图像帧中检测到所述虚拟车辆的不良行驶信息；

所述检测网络，为根据预先获取的样本图像帧，以及标注的所述样本图像帧中的不良行驶图像区域和对应的不良行驶信息，基于对预先搭建的深度学习网络训练得到；其中，所述不良行驶图像区域为包含不良行驶图像特征的区域。

可选的，所述仿真系统包括虚拟环境引擎和车辆动力学模型；所述行驶状态数据为根据所述车辆动力学模型和所述虚拟环境引擎获取，所述传感器数据为根据所述虚拟传感器的设置从所述虚拟环境引擎中获取。

可选的，所述根据所述驾驶控制数据对所述虚拟车辆进行驾驶控制的步骤，包括：

根据所述驾驶控制数据和所述车辆动力学模型，对所述虚拟车辆进行驾驶控制。

第二方面，本发明实施例提供了一种自动驾驶仿真评估装置，包括：

获取单元，被配置为从预先建立的仿真系统中获取虚拟车辆在虚拟环境中的行驶状态数据，以及所述虚拟车辆中的虚拟传感器针对所述虚拟环境采集的传感器数据；

确定单元，被配置为根据所述行驶状态数据和所述传感器数据，以及预设的车辆驾驶控制算法，确定针对所述虚拟车辆的驾驶控制数据；

输入单元，被配置为将所述驾驶控制数据输入所述仿真系统，以使所述仿真系统根据所述驾驶控制数据对所述虚拟车辆进行驾驶控制并显示所述虚拟车辆在驾驶控制下的行驶状态；

第一评估单元，被配置为根据显示的所述虚拟车辆在驾驶控制下的行驶状态，对所述车辆驾驶控制算法的性能进行评估。

可选的，所述车辆驾驶控制算法包括：融合算法、规划算法和控制算法；所述确定单元，具体被配置为：

可选的，所述车辆驾驶控制算法还包括：预测算法；

所述确定单元，根据所述规划算法和所述行驶状态数据、所述环境感知结果，以及预设的所述虚拟车辆的参考轨迹和获取的地图信息，确定所述虚拟车辆在当前时刻之后预设时长内的目标轨迹点时，包括：

可选的，所述装置还包括：

第二评估单元，被配置为当预测所述虚拟车辆周围其他行驶车辆的他车行驶轨迹之后，获取所述虚拟环境中创建的标准他车行驶轨迹；根据对所述标准他车行驶轨迹与所述他车行驶轨迹之间的对比，对所述预测算法进行评估。

可选的，所述装置还包括：

第三评估单元，被配置为在确定针对所述虚拟车辆周围的虚拟环境的环境感知结果之后，获取所述虚拟环境中创建的标准环境信息；

根据对所述标准环境信息和所述环境感知结果之间的对比，对所述融合算法进行评估。

可选的，所述确定单元，具体被配置为：

对所述行驶状态数据和所述传感器数据进行解析变换；

可选的，所述第一评估单元，具体被配置为：

可选的，所述第一评估单元，根据预设的不良行驶图像特征，检测各个图像帧中所述虚拟车辆的不良行驶信息时，包括：

可选的，所述仿真系统，根据所述驾驶控制数据对所述虚拟车辆进行驾驶控制时，包括：

由上述内容可知，本发明实施例提供的自动驾驶仿真评估方法及装置，可以根据行驶状态数据和传感器数据以及预设的车辆驾驶控制算法，确定针对虚拟车辆的驾驶控制数据，将驾驶控制数据输入仿真系统，并根据仿真系统显示的虚拟车辆在驾驶控制下的状态，对车辆驾驶控制算法的性能进行评估。由于本发明实施例能够利用仿真系统显示出虚拟车辆在驾驶控制下的行驶状态，进而能够根据该行驶状态评估车辆驾驶控制算法的性能。

本发明实施例的创新点包括：

1、采用仿真系统和车辆驾驶控制算法进行结合，通过将仿真系统中的数据输入车辆驾驶控制算法，得到对虚拟车辆的驾驶控制数据，并返回给仿真系统，使得仿真系统显示虚拟车辆的行驶状态，进而实现对车辆驾驶控制算法性能的评估。

2、将车辆动力学模型嵌入虚拟环境引擎，打通了自动驾驶车辆和仿真世界的接口，形成闭环的仿真环境，为自动驾驶仿真提供了系统平台。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的自动驾驶仿真评估方法的一种流程示意图；

图2为仿真系统中显示的虚拟车辆在驾驶控制下行驶时的一种参考图；

图3(1)为本发明实施例提供的MSim的一种结构示意图；

图3(2)为本发明实施例提供的各个模块之间的一种交互示意图；

图4为图1中步骤S120的一种流程示意图；

图5为本发明实施例提供的自动驾驶仿真评估装置的一种结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

本发明实施例公开了一种自动驾驶仿真评估方法及装置，能够利用仿真系统显示出虚拟车辆在驾驶控制下的行驶状态，进而能够根据该行驶状态评估车辆驾驶控制算法的性能。下面对本发明实施例进行详细说明。

图1为本发明实施例提供的自动驾驶仿真评估方法的一种流程示意图。该方法应用于电子设备。具体的，该方法可以应用于电子设备中的主控制器。该主控制器可以为CPU等。电子设备可以安装有机器人操作系统(Robotics Operating System，ROS)，本实施例的方法可以是在ROS中执行的。该方法具体包括以下步骤。

S110：从预先建立的仿真系统中获取虚拟车辆在虚拟环境中的行驶状态数据，以及虚拟车辆中的虚拟传感器针对虚拟环境采集的传感器数据。

其中，仿真系统可以理解为计算机应用程序软件，为对车辆驾驶实现仿真功能的应用程序软件。虚拟环境可以包括：交通道路、信号灯、交通标识、其他车辆、行人、不同天气、各种建筑等。行驶状态数据包括虚拟车辆的位置坐标、行驶速度、行驶方向以及油门刹车的踏板开度等数据。

虚拟传感器可以包括图像传感器、激光雷达传感器、定位传感器等。传感器数据包括图像传感器采集的虚拟车辆周围的环境图像、虚拟车辆周围的激光数据和虚拟车辆的卫星定位信息等。

为了使得仿真系统更能接近于实际情况，使得仿真评估更准确，在建立仿真系统时，仿真系统可以包括虚拟环境引擎和车辆动力学模型。其中，虚拟环境引擎用于创建虚拟环境，虚拟环境引擎可以理解为可创建虚拟环境的应用程序。例如，虚拟环境引擎可以为UE引擎(Unreal Engine)。车辆动力学模型可以采用更接近真实汽车性能的模型，例如CarSim模型，该CarSim模型能够针对具体车型建模出包括油门、刹车控制量到车辆加减速、方向盘转角到车辆转向力等参数的模型。车辆动力学模型可以理解为能构成汽车各项功能的数学函数的组合，用于创建虚拟车辆以及根据输入参数控制虚拟车辆，使得虚拟车辆能够在虚拟环境中行驶。车辆动力学模型创建的虚拟车辆包括虚拟车辆中车载的虚拟传感器。车辆动力学模型可以为经过实车测试后的数学模型，其性能更接近于真实车辆。

将虚拟环境引擎和车辆动力学模型结合起来，可以得到仿真系统，本实施例中的仿真系统可以称为MSim。例如，UE引擎即能够支持CarSim车辆动力学模型的嵌入。本实施例中，MSim为能够提供图像化的界面，并且能够模拟真实车辆运行的虚拟仿真平台。参见图3(1)，该图3(1)为MSim的一种结构示意图，其中MSim包含UE和CarSim模型。

行驶状态数据可以为根据车辆动力学模型和虚拟环境引擎获取，传感器数据为根据虚拟传感器的设置从虚拟环境引擎中获取。例如，可以实时地从虚拟环境引擎中读取虚拟车辆的位置坐标，并根据时间信息和虚拟车辆位置坐标的变化得到虚拟车辆的行驶速度的大小。由于虚拟环境为虚拟环境引擎创建，因此，根据虚拟传感器的设置，能够从虚拟环境引擎中直接获取到各个传感器数据，例如根据图像传感器的图像采集范围得到采集的当前时刻车辆周围的图像，根据激光雷达传感器采集的虚拟车辆周围反射回来的激光数据，根据定位传感器对虚拟车辆定位的位置，该位置可以为与虚拟环境引擎中的地图对应的位置，该地图可以为公开地图(Open Street Map，OSM)。

S120：根据行驶状态数据和传感器数据，以及预设的车辆驾驶控制算法，确定针对虚拟车辆的驾驶控制数据。

车辆驾驶控制算法可以理解为自动驾驶中的核心算法。车辆驾驶控制算法以行驶状态数据和传感器数据作为当前时刻的输入数据，通过运算，能够确定出针对虚拟车辆的驾驶控制数据。

其中，驾驶控制数据包括针对刹车、油门踏板的控制量以及针对方向盘的控制量等。

S130：将驾驶控制数据输入仿真系统，以使仿真系统根据驾驶控制数据对虚拟车辆进行驾驶控制并显示虚拟车辆在驾驶控制下的行驶状态。

仿真系统在接收到驾驶控制数据时，可以根据驾驶控制数据对虚拟车辆进行驾驶控制。仿真系统还可以显示虚拟车辆在驾驶控制下的行驶状态。图2所示为仿真系统中显示的虚拟车辆在驾驶控制下行驶时的参考图。其中，虚拟车辆在虚拟环境下可以沿着道路行驶并停止等。

当仿真系统包括车辆动力学模型，且仿真系统在对虚拟车辆进行驾驶控制时，还可以根据驾驶控制数据和车辆动力学模型，对虚拟车辆进行驾驶控制。例如，将驾驶控制数据作为输入参数输入车辆动力学模型的函数中，即可以实现对虚拟车辆的驾驶控制。

S140：根据显示的虚拟车辆在驾驶控制下的行驶状态，对车辆驾驶控制算法的性能进行评估。

当显示的虚拟车辆的行驶状态中存在不合理、不安全的情况时，可以认为车辆驾驶控制算法的性能不够完善。例如，虚拟车辆在虚拟环境中存在压线行驶，或者行驶不稳定等等，均可以从显示中直接得到。具体的，评估结果可以包括性能稳定，性能欠佳或性能良好等。

在一种实施方式中，可以直接通过人工查看的方式从显示的虚拟车辆在驾驶控制下的行驶状态中确定车辆驾驶控制算法的性能。

当确定车辆驾驶控制算法的性能未达到指定水平时，可以根据显示的虚拟车辆的行驶状态对车辆驾驶控制算法进行修正，以便提高车辆驾驶控制算法的性能。

在另一实施方式中，主控制器可以包括MSim模块、车辆驾驶控制模块和评估模块。其中，MSim模块从自身获取虚拟车辆在虚拟环境中的行驶状态数据，以及虚拟车辆中的虚拟传感器针对虚拟环境采集的传感器数据，并将行驶状态数据和传感器数据输入车辆驾驶控制模块。车辆驾驶控制模块根据行驶状态数据和传感器数据，以及预设的车辆驾驶控制算法，确定针对虚拟车辆的驾驶控制数据，并将驾驶控制数据输入MSim模块。MSim模块根据驾驶控制数据对虚拟车辆进行驾驶控制并显示虚拟车辆在驾驶控制下的行驶状态。评估模块根据显示的虚拟车辆在驾驶控制下的行驶状态，对车辆驾驶控制算法的性能进行评估。

由上述内容可知，本实施例提供的自动驾驶仿真评估方法及装置，可以根据行驶状态数据和传感器数据以及预设的车辆驾驶控制算法，确定针对虚拟车辆的驾驶控制数据，将驾驶控制数据输入仿真系统，并根据仿真系统显示的虚拟车辆在驾驶控制下的状态，对车辆驾驶控制算法的性能进行评估。由于本实施例能够利用仿真系统显示出虚拟车辆在驾驶控制下的行驶状态，进而能够根据该行驶状态评估车辆驾驶控制算法的性能。

自动驾驶仿真的重要性主要可以体现在两个方面：第一，仿真调试相对于实车测试可以节省大量的成本；第二，通过在仿真平台上测试算法，可以对于算法的性能有一个比较直观的认识。本实施例中，可以将拥有车辆动力学模型仿真功能的CarSim，虚拟世界仿真功能的UE和能够支持自动驾驶车辆控制规划的ROS环境进行融合，实现仿真与测试的闭环。

在本发明的另一实施例中，在图1所示实施例中，车辆驾驶控制算法包括：融合算法、规划算法和控制算法。

步骤S120，根据行驶状态数据和所述传感器数据，以及预设的车辆驾驶控制算法，确定针对所述虚拟车辆的驾驶控制数据的步骤，具体可以按照图4所示流程示意图进行，包括：

步骤S120A：根据融合算法以及上述传感器数据，确定针对虚拟车辆周围的虚拟环境的环境感知结果。

其中，融合算法(Fusion)用于根据传感器数据对虚拟环境进行感知。例如，融合算法可以对图像传感器、激光雷达、定位传感器的传感器数据进行融合，得到针对虚拟车辆周围的虚拟环境的环境感知结果。该环境感知结果可以包括对障碍物的感知，对路面状况的感知以及对整体地理环境的感知等。

步骤S120B：根据规划算法和行驶状态数据、环境感知结果，以及预设的虚拟车辆的参考轨迹和获取的地图信息，确定虚拟车辆在当前时刻之后预设时长内的目标轨迹点。

其中，规划算法，用于根据行驶状态数据、环境感知结果、虚拟车辆的参考轨迹和地图信息，确定虚拟车辆在当前时刻之后预设时长内的目标轨迹点。预设的虚拟车辆的参考轨迹，可以是预设的从当前地点到目的地的路线，也可以是沿着某个道路行驶的轨迹。在获取地图信息时，可以直接从虚拟环境引擎中获取OSM的地图信息。该地图信息可以包括障碍物信息、车辆状态信息、红绿灯信息、交通标志线信息等。

预设时长可以为预先设定的一段时长，该预设时长可以为根据经验值确定的时长。当前时刻之后的预设时长，可以理解为未来的一段时间，即规划算法可以规划出未来一段时间内虚拟车辆行驶的目标轨迹点。该目标轨迹点为能够使得虚拟车辆很好地执行，并且保证行驶安全的轨迹点。

步骤S120C：根据预设的控制算法以及行驶状态数据和目标轨迹点，确定针对虚拟车辆的驾驶控制数据。

其中，控制算法，用于根据行驶状态数据和目标轨迹点确定针对虚拟车辆的驾驶控制数据。控制算法根据行驶状态数据，确定出可以使得虚拟车辆能够平稳地行驶到目标轨迹点的驾驶控制数据。

当车辆驾驶控制算法包括融合算法、规划算法和控制算法时，根据显示的虚拟车辆在驾驶控制下的行驶状态，对车辆驾驶控制算法的性能进行评估时，实际可以对融合算法、规划算法和控制算法的性能进行评估，该评估既可以对各个算法进行整体上的评估，也可以针对行驶状态中的细节对各个算法单独进行评估。

在本实施例中，车辆驾驶控制算法具体可以包括融合算法、规划算法和控制算法。根据各个算法之间的相互配合最终得到针对虚拟车辆的驾驶控制数据，并且能够根据显示的虚拟车辆在驾驶控制下的行驶状态，对各个算法进行评估。

在本发明的另一实施例中，图1所示实施例中，为了更好地实现对复杂路况的适用性，当虚拟环境中存在其他行驶车辆时，车辆驾驶控制算法还可以包括：预测算法。预测算法用于根据传感器数据预测虚拟车辆周围其他行驶车辆的他车行驶轨迹。

在本实施例中，步骤S120B，根据规划算法和行驶状态数据、环境感知结果，以及预设的虚拟车辆的参考轨迹和获取的地图信息，确定虚拟车辆在当前时刻之后预设时长内的目标轨迹点的步骤，具体可以包括步骤1a和2a。

步骤1a：根据预测算法和传感器数据，预测虚拟车辆周围其他行驶车辆的他车行驶轨迹。

例如，预测虚拟车辆周围其他行驶车辆的他车行驶轨迹时，预测算法可以根据传感器数据中的图像帧和激光数据，识别虚拟车辆周围的其他行驶车辆，并预测当前时刻之后的预设时长内其他行驶车辆的他车行驶轨迹。

步骤2a：根据规划算法和行驶状态数据、环境感知结果、他车行驶轨迹，以及预设的虚拟车辆的参考轨迹和获取的地图信息，确定虚拟车辆在当前时刻之后预设时长内的目标轨迹点。

其中，规划算法，用于根据行驶状态数据、环境感知结构、他车行驶轨迹以及虚拟车辆的参考轨迹和地图信息，确定虚拟车辆在当前时刻之后预设时长内的目标轨迹点。

本实施例中，车辆驾驶控制算法还包括预测算法，进而可以预测他车行驶轨迹，在确定目标轨迹点时参考他车行驶轨迹，能够更准确地确定目标轨迹点，进而更好地控制车辆的行驶。

在本发明的另一实施例中，还可以对预测算法进行评估。当预测虚拟车辆周围其他行驶车辆的他车行驶轨迹之后，该方法还可以包括：

获取虚拟环境中创建的标准他车行驶轨迹；根据对标准他车行驶轨迹与他车行驶轨迹之间的对比，对预测算法进行评估。

本实施例中，虚拟环境引擎可以在虚拟车辆附近创建一些其他行驶车辆，这样能够使得虚拟环境更接近于实际交通状况。为了对预测算法进行评估，可以从仿真系统中获取虚拟环境中创建的其他行驶车辆的行驶信息，根据该行驶信息确定虚拟车辆周围的其他行驶车辆的行驶轨迹，作为标准他车行驶轨迹。

当他车行驶轨迹与标准他车行驶轨迹之间的差异大于差异阈值时，可以确定预测算法性能不够好。当他车行驶轨迹与标准他车行驶轨迹的差异不大于差异阈值时，可以确定预测算法性能良好。

在本发明的另一实施例中，还可以对融合算法进行评估。在确定针对虚拟车辆周围的虚拟环境的环境感知结果之后，该方法还可以包括：

获取虚拟环境中创建的标准环境信息；根据对标准环境信息和环境感知结果之间的对比，对融合算法进行评估。

本实施例中，为了对融合算法进行评估，可以从仿真系统中获取虚拟环境中创建的虚拟车辆周围的环境信息，作为标准环境信息。

当环境感知结果与标准环境信息之间的差异大于差异阈值时，可以确定融合算法性能不够好。当环境感知结果与标准环境信息之间的差异不大于差异阈值时，可以确定融合算法性能良好。

在本发明的另一实施例中，为了使得对车辆的驾驶控制更多元化，车辆驾驶控制算法还包括：车辆控制算法；其中，车辆控制算法包括以下算法中的至少一种：自适应巡航算法(Adaptive Cruise Control，ACC)、车道保持辅助算法(Lane Keeping Assistance，LKA)和自动电平控制算法(Automatic Level Control，ALC)。

本实施例中，步骤S120B，根据规划算法和行驶状态数据、环境感知结果，以及预设的所述虚拟车辆的参考轨迹和获取的地图信息，确定虚拟车辆在当前时刻之后预设时长内的目标轨迹点的步骤，具体可以包括：

根据规划算法和行驶状态数据、环境感知结果，以及预设的虚拟车辆的参考轨迹和获取的地图信息，并结合车辆控制算法，确定虚拟车辆在当前时刻之后预设时长内的目标轨迹点。

在仿真系统显示出虚拟车辆在驾驶控制下的行驶状态时，可以根据该行驶状态对包括车辆控制算法在内的算法的性能进行评估。

本实施例中，规划算法结合车辆控制算法，车辆控制算法本身与规划算法联用，能够为虚拟车辆提供更丰富的行驶模式，实现对更复杂算法的评估。这是本发明创新点之一。

在本发明的另一实施例中，为了更好地实现仿真系统的数据与车辆驾驶控制算法之间的对接，步骤S120，根据行驶状态数据和传感器数据，以及预设的车辆驾驶控制算法，确定针对虚拟车辆的驾驶控制数据的步骤，具体可以包括步骤1b和2b。

步骤1b：对行驶状态数据和传感器数据进行解析变换。

由于从仿真系统中获得的行驶状态数据和传感器数据是基于仿真系统中的坐标系，而车辆驾驶控制算法需要基于现实世界中的世界坐标系中的数据。因此，可以对行驶状态数据和传感器数据进行解析变换，得到变换后的行驶状态数据和变换后的传感器数据。

步骤2b：根据变换后的行驶状态数据和变换后的传感器数据，以及预设的车辆驾驶控制算法，确定针对虚拟车辆的驾驶控制数据。

本实施例中，对行驶状态数据和传感器数据进行解析变换后，输入车辆驾驶控制算法，能够实现针对虚拟车辆的驾驶控制数据的确定。

在另一种实施方式中，步骤S140，根据显示的虚拟车辆在驾驶控制下的行驶状态，对车辆驾驶控制算法的性能进行评估的步骤，具体可以包括步骤1c～3c。

步骤1c：获取显示的虚拟车辆在驾驶控制下的行驶状态的各个图像帧。

在虚拟车辆在驾驶控制下行驶时，可以采用图像采集设备对显示的画面进行拍摄，得到包含虚拟车辆在驾驶控制下的行驶状态的各个图像帧。

步骤2c：根据预设的不良行驶图像特征，检测各个图像帧中所述虚拟车辆的不良行驶信息。

本实施例中，本步骤具体可以，将各个图像帧中的像素点的像素值与不良驾驶图像特征进行匹配，检测各个图像帧中虚拟车辆的不良行驶信息。

本步骤也可以采用以下实施方式进行，具体包括：将各个图像帧输入检测网络，从检测网络中获得虚拟车辆的不良行驶信息；

其中，检测网络根据预先建立的不良行驶图像特征与不良行驶信息之间的关联关系，从各个图像帧中检测到所述虚拟车辆的不良行驶信息。

检测网络，为根据预先获取的样本图像帧，以及标注的所述样本图像帧中的不良行驶图像区域和对应的不良行驶信息，基于对预先搭建的深度学习网络训练得到。其中，不良行驶图像区域为包含不良行驶图像特征的区域。

当检测网络能够使得样本图像帧与对应的不良行驶信息进行对应，即认为检测网络训练完成。

其中，不良驾驶信息可以包括：车辆压线、与前车间距小于第一预设距离、与后车间距小于第二预设距离、车辆轨迹不稳定等等。在对样本图像帧中的不良行驶图像区域进行标注时，可以对样本图像帧中能表示以上各个不良驾驶信息种类的区域分别进行标注。不良行驶图像特征是根据不良行驶图像区域中各个像素点的像素值得到的特征。

获取虚拟车辆在驾驶控制下行驶时的图像帧，通过对图像帧进行图像分析，确定车辆驾驶控制算法的性能。例如，通过对图像帧进行图像分析，可以确定图像帧中是否存在车辆轨迹的不稳定、是否存在车辆压线等情况，进而根据这些情况确定车辆驾驶控制算法的性能。

步骤3c：根据得到的不良驾驶信息，对车辆驾驶控制算法的性能进行评估。

当得到的不良驾驶信息的种类越多，严重程度越大，认为车辆驾驶控制算法的性能越差。

当确定车辆驾驶控制算法的性能未达到指定水平时，可以根据得到的不良驾驶信息，对车辆驾驶控制算法进行修正。这样能够更有针对性地提高车辆驾驶控制算法的性能。

本实施例提供了根据对图像帧进行图像分析对车辆驾驶控制算法的性能进行评估的实施方式，这种实施方式能够减少人工参与，提高处理效率。

在本发明的另一实施例中，主控制器可以包括MSim模块、融合(Fusion)模块、预测(Prediction)模块、控制(Control)模块、规划(Planning)模块和评估模块。其中，融合模块可以根据融合算法以及传感器数据，确定针对虚拟车辆周围的虚拟环境的环境感知结果，并将该环境感知结果发送至规划模块。预测模块可以根据预测算法和传感器数据，预测虚拟车辆周围其他行驶车辆的他车行驶轨迹，并将该他车行驶轨迹发送至规划模块。规划模块，根据规划算法和行驶状态数据、环境感知结果、他车行驶轨迹，以及预设的虚拟车辆的参考轨迹和获取的地图信息，确定虚拟车辆在当前时刻之后预设时长内的目标轨迹点，并将目标轨迹点发送至控制模块。控制模块可以根据预设的控制算法以及行驶状态数据和目标轨迹点，确定针对虚拟车辆的驾驶控制数据，将驾驶控制数据发送至MSim模块。

主控制器还可以包括中间(msim-ros-bridge)模块。该中间模块的作用是与MSim模块进行通信，具体可以采用socket通信模式。中间模块可以接收MSim模块发送的行驶状态数据和传感器数据，并对接收的行驶状态数据和传感器数据进行解析变换，并把处理后的数据发送至融合模块、预测模块、控制模块、规划模块等。

中间模块在与MSim模块进行通信的过程中，使用recv_from_msim函数来接收MSim模块发出的json字符串，该json字符串包含了行驶状态数据和传感器数据。控制模块可以通过send_cmd函数将驾驶控制数据发送至MSim模块。

融合模块和预测模块的输入数据都是通过中间模块的get_object_array_msg_sent函数实现。

中间模块可以通过以下函数将行驶状态数据发送至控制模块：give_car2enu(用于进行坐标变换)、give_misc1(线控必须的一条消息)，give_steering_report(用于发送方向盘状态)、give_brake_report(用于发送刹车状态)、give_throttle_report(用于发送油门状态)和give_navi_msg(用于发送车辆位置信息)。控制模块接收到上述行驶状态数据后可以根据控制算法、上述行驶状态数据和目标轨迹点，计算出驾驶控制数据。

不同于传统的基于仿真系统和单纯的车辆动力学仿真系统，本发明实施例巧妙地将车辆动力学模型嵌入虚拟环境引擎，同时打通自动驾驶车辆和仿真世界的接口。相对于传统仿真的失真和车辆动力学模型的不直观，该发明能够给算法开发人员提供一个直观的置信区间很大的调试平台。如图3(2)所示，MSim模块可以给控制算法、规划算法、融合算法和预测算法的闭环仿真测试提供很好的支持。在仿真测试时，也可以对ACC、LKA、ALC等算法进行测试。其中的原因包括，该平台使用了OSM高精度地图作为输入，即UE引擎使用高精度地图的信息渲染出一个逼近真实道路的场景。在进行算法仿真的时候，研究人员可以很方便地看到车辆的行驶状态，评估出算法误差。

图5为本发明实施例提供的自动驾驶仿真评估装置的一种结构示意图。该装置应用于电子设备，具体应用于电子设备中的处理器。该装置包括：

获取单元510，被配置为从预先建立的仿真系统中获取虚拟车辆在虚拟环境中的行驶状态数据，以及所述虚拟车辆中的虚拟传感器针对所述虚拟环境采集的传感器数据；

确定单元520，被配置为根据所述行驶状态数据和所述传感器数据，以及预设的车辆驾驶控制算法，确定针对所述虚拟车辆的驾驶控制数据；

输入单元530，被配置为将所述驾驶控制数据输入所述仿真系统，以使所述仿真系统根据所述驾驶控制数据对所述虚拟车辆进行驾驶控制并显示所述虚拟车辆在驾驶控制下的行驶状态；

第一评估单元540，被配置为根据显示的所述虚拟车辆在驾驶控制下的行驶状态，对所述车辆驾驶控制算法的性能进行评估。

在本发明的另一实施例中，图5所示实施例中，车辆驾驶控制算法包括：融合算法、规划算法和控制算法；确定单元520具体被配置为：

在本发明的另一实施例中，图5所示实施例中，所述车辆驾驶控制算法还包括：预测算法；

确定单元520，根据所述规划算法和所述行驶状态数据、所述环境感知结果，以及预设的所述虚拟车辆的参考轨迹和获取的地图信息，确定所述虚拟车辆在当前时刻之后预设时长内的目标轨迹点时，包括：

在本发明的另一实施例中，图5所示实施例中，装置还包括：

第二评估单元(图中未示出)，被配置为当预测所述虚拟车辆周围其他行驶车辆的他车行驶轨迹之后，获取所述虚拟环境中创建的标准他车行驶轨迹；根据对所述标准他车行驶轨迹与所述他车行驶轨迹之间的对比，对所述预测算法进行评估。

在本发明的另一实施例中，图5所示实施例中，装置还包括：

第三评估单元(图中未示出)，被配置为在确定针对所述虚拟车辆周围的虚拟环境的环境感知结果之后，获取所述虚拟环境中创建的标准环境信息；

在本发明的另一实施例中，图5所示实施例中，所述车辆驾驶控制算法还包括：车辆控制算法；其中，所述车辆控制算法包括以下算法中的至少一种：自适应巡航算法、车道保持辅助算法和自动电平控制算法；

在本发明的另一实施例中，图5所示实施例中，确定单元520具体被配置为：

对所述行驶状态数据和所述传感器数据进行解析变换；

在本发明的另一实施例中，图5所示实施例中，第一评估单元540具体被配置为：

在本发明的另一实施例中，图5所示实施例中，第一评估单元540，根据预设的不良行驶图像特征，检测各个图像帧中所述虚拟车辆的不良行驶信息时，包括：

在本发明的另一实施例中，图5所示实施例中，所述仿真系统包括虚拟环境引擎和车辆动力学模型；所述行驶状态数据为根据所述车辆动力学模型和所述虚拟环境引擎获取，所述传感器数据为根据所述虚拟传感器的设置从所述虚拟环境引擎中获取。

在本发明的另一实施例中，图5所示实施例中，所述仿真系统，根据所述驾驶控制数据对所述虚拟车辆进行驾驶控制时，包括：

上述装置实施例与方法实施例相对应，与该方法实施例具有同样的技术效果，具体说明参见方法实施例。装置实施例是基于方法实施例得到的，具体的说明可以参见方法实施例部分，此处不再赘述。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims

1.一种自动驾驶仿真评估方法，其特征在于，包括：

2.如权利要求1所述的方法，其特征在于，所述车辆驾驶控制算法包括：融合算法、规划算法和控制算法；

3.如权利要求2所述的方法，其特征在于，所述车辆驾驶控制算法还包括：预测算法；

4.如权利要求3所述的方法，其特征在于，当预测所述虚拟车辆周围其他行驶车辆的他车行驶轨迹之后，所述方法还包括：

获取所述虚拟环境中创建的标准他车行驶轨迹；

5.如权利要求2所述的方法，其特征在于，在确定针对所述虚拟车辆周围的虚拟环境的环境感知结果之后，所述方法还包括：

获取所述虚拟环境中创建的标准环境信息；

6.如权利要求2所述的方法，其特征在于，所述车辆驾驶控制算法还包括：车辆控制算法；其中，所述车辆控制算法包括以下算法中的至少一种：自适应巡航算法、车道保持辅助算法和自动电平控制算法；

7.如权利要求1所述的方法，其特征在于，所述根据所述行驶状态数据和所述传感器数据，以及预设的车辆驾驶控制算法，确定针对所述虚拟车辆的驾驶控制数据的步骤，包括：

对所述行驶状态数据和所述传感器数据进行解析变换；

8.如权利要求1所述的方法，其特征在于，所述根据显示的所述虚拟车辆在驾驶控制下的行驶状态，对所述车辆驾驶控制算法的性能进行评估的步骤，包括：

9.如权利要求8所述的方法，其特征在于，所述根据预设的不良行驶图像特征，检测各个图像帧中所述虚拟车辆的不良行驶信息的步骤，包括：

10.如权利要求1所述的方法，其特征在于，所述仿真系统包括虚拟环境引擎和车辆动力学模型；所述行驶状态数据为根据所述车辆动力学模型和所述虚拟环境引擎获取，所述传感器数据为根据所述虚拟传感器的设置从所述虚拟环境引擎中获取。

11.一种自动驾驶仿真评估装置，其特征在于，包括：

12.如权利要求11所述的装置，其特征在于，所述车辆驾驶控制算法包括：融合算法、规划算法和控制算法；所述确定单元，具体被配置为：

13.如权利要求12所述的装置，其特征在于，所述车辆驾驶控制算法还包括：预测算法；

14.如权利要求13所述的装置，其特征在于，所述装置还包括：

15.如权利要求12所述的装置，其特征在于，所述装置还包括：

16.如权利要求12所述的装置，其特征在于，所述车辆驾驶控制算法还包括：车辆控制算法；其中，所述车辆控制算法包括以下算法中的至少一种：自适应巡航算法、车道保持辅助算法和自动电平控制算法；

17.如权利要求12所述的装置，其特征在于，所述确定单元，具体被配置为：

对所述行驶状态数据和所述传感器数据进行解析变换；

18.如权利要求11所述的装置，其特征在于，所述第一评估单元，具体被配置为：

19.如权利要求18所述的装置，其特征在于，所述第一评估单元，根据预设的不良行驶图像特征，检测各个图像帧中所述虚拟车辆的不良行驶信息时，包括：

20.如权利要求11所述的装置，其特征在于，所述仿真系统包括虚拟环境引擎和车辆动力学模型；所述行驶状态数据为根据所述车辆动力学模型和所述虚拟环境引擎获取，所述传感器数据为根据所述虚拟传感器的设置从所述虚拟环境引擎中获取。