CN109774724A - 用于自主驾驶系统的开发&评估的场景生成和参数扫描的方法和设备 - Google Patents

Abstract

本申请总体上涉及用于在多种驾驶场景和条件下评估驾驶性能的方法和设备。更具体地，本申请教导了一种用于重复地测试驾驶场景，同时更改参数变化(诸如雾度)以便在变化条件下评估驾驶系统性能的方法和设备。

Description

用于自主驾驶系统的开发＆评估的场景生成和参数扫描的方 法和设备

技术领域

本申请总体上涉及车辆控制系统和自主车辆。更具体地，本申请教导了一种用于评估和量化在模拟中开发的事件、情况、以及场景的复杂性的方法和设备，作为评定以及随后训练自主驾驶的认知模型的措施。

背景技术

通常，自主车辆是能够通过车辆传感器监测外部信息、响应于外部信息和车主的操纵识别道路情况的车辆。自主车辆软件是通过使该软件在各种测试场景下运行以确定软件的性能以及成功和失败的频率来进行测试、评估和细化。令人期望的是使车辆软件暴露于各种潜在的挑战性情况以便借助大量有意义的数据来分析性能和训练新系统，从而提供对这些系统的能力的增强洞察。令人期望的是在模拟环境中执行对系统的验证和确认以便确保系统一旦经部署就不太可能在某些复杂情况下发生故障。只要必要参数在车辆内进行了正确模拟，该系统也可以用于测试自主控制的其它系统的性能，例如，自动化制动系统。因此，令人期望的是能够模拟尽可能多的可能驾驶场景和条件以便识别系统弱点且根据这些弱点来改进系统。

在该背景技术章节中公开的上述信息仅仅是为了加强对本发明的背景技术的理解，并且因此其可能包含并不构成这个国家的本领域的普通技术人员已经了解的现有技术的信息。

发明内容

根据本公开的实施例提供了多个优点。例如，根据本公开的实施例可以使得能够对自主车辆软件、子系统等进行测试。该系统可以进一步用于测试其它控制系统软件并且不限于自主车辆。

根据本发明的一个方面，一种设备包括：传感器接口，该传感器接口用于生成用于联接至车辆控制系统的传感器数据；控制系统接口，该控制系统接口用于接收来自车辆控制系统的控制数据；存储器，该存储器用于储存第一场景，其中，第一场景与第一参数变化和第二参数变化相关联；以及模拟器，该模拟器用于响应于第一场景、第一参数变化和控制数据来模拟第一驾驶环境并且响应于第一驾驶环境的模拟来分配第一性能指标，模拟器进一步操作用于响应于第一场景、第二参数变化和控制数据来模拟第二驾驶环境并且响应于第二驾驶环境的模拟来分配第二性能指标。

根据本发明的另一方面，一种方法包括：接收驾驶场景、第一参数变化和第二参数变化；使用第一参数变化来模拟驾驶场景；响应于驾驶场景、第一参数变化和第一控制数据来评估第一驾驶员表现；响应于第一驾驶员表现来分配第一性能指标；使用第二参数变化来模拟驾驶场景；响应于驾驶场景、第二参数变化和第二控制数据来评估第二驾驶员表现；以及响应于第二驾驶员表现来分配第二性能指标。

当结合附图来看优选实施例的如下详细描述时，本公开的上述优点以及其它优点和特征将显而易见。

附图说明

通过结合附图参照本发明的实施例的如下描述，本发明的上述和其它特征和优点、以及其实现方式将变得更加显而易见并且本发明将得到更好的理解，在附图中：

图1是根据实施例的示例性左转弯场景。

图2是根据实施例的用于实施用于自主系统性能指标生成和基准评测的方法的示例性设备。

图3是根据实施例的用于自主驾驶系统的开发&评估的场景生成和参数扫描的示例性方法。

本文所陈述的范例图示了本发明的优选实施例，并且这些范例不应被理解为以任何方式限制本发明的范围。

具体实施方式

如下详细描述在性质上仅仅是示例性的并且不意在限制本公开或者其应用和使用。此外，并不意在受到前述背景或者如下详细描述中所呈现的任何理论的约束。例如，本发明的算法、软件和系统具有用于用在车辆上的特定应用。然而，如本领域的技术人员将理解的，本发明可以具有其它应用。

驾驶复杂性通常是连同道路规则和驾驶目标一起相对于特定场景进行测量。例如，在左转弯场景中，决定在T字路口执行左转弯的时机是具有许多起作用的复杂性因素的关键时刻，其最终会促成所产生的行为和结果。在另一示例性场景中，如果汽车堵住了道路的一部分，则在停止车辆中或者附近的驾驶员或者行人可以挥手示意通行(wave trafficby)。停止车辆和迎面而来的交通量的成功航行需要驾驶员基于其它驾驶员的行为来观察、评定和判断各种复杂因素和潜在危险，同时协调该复杂情况。

在确定和量化驾驶复杂性时，令人期望的是强调当前AI(人工智能)或者基于深度学习的自主驾驶系统具有最差性能的场景的开发、参数变化和量化。复杂性也可以在理论上被量化并且以各种方式进行测量。例如，某些行为测量允许研究人员量化驾驶性能，诸如，车辆至车道中心的距离、或者与其它交通车辆的行车间距。此外，人类在驾驶任务上的表现可以用参与、表现、以及导致较弱表现的因素的行为和神经生理指标来评定。行为测量包括决策和行为的反应时间，包括知觉检测、辨别、以及任务时间。

典型的驾驶故障是由人为误差和过程故障造成。使用脑电图和其它非侵入式脑成像技术的神经测量包括操作员在子任务过程中的认知工作负荷、参与和认知状态，诸如，疲劳、空间注意力等。驾驶控制输入也可以用于在给定目标或者理想条件、决策、或者路径(例如，汽车追踪误差)的情况下评定性能。驾驶员的先前经验以及对该经验和知识的访问也是决策表现中的关键因素。驾驶员在高度复杂情况下的决策过程是场景设计以及来自这些场景的人在回路(HIL)和自主驾驶示例两者的复杂性和评级指标的具体重点。目标在于初始地使用复杂场景的“最佳”HIL示例来训练认知模型，并且然后使用自主控制系统来生成良好和不良训练数据并且在集群上对后续范例进行评级。

在关于HIL驾驶员行为和交通安全的研究中，复杂性测量常常被导出用于量化交通情况的困难以及评定性能。这取决于许多环境因素以及指标，诸如，交通密度、驾驶员主体行为、如由交通控制摄像头生成的占用率和平均速度地面真值、以及交通、道路和认知感受性的总体布局。为了训练认知驾驶系统，所有这些变量都必须以自动化方式进行操纵以便创建丰富的场景库，从该场景库可以生成准确的语义信息并且生成达到或超过人类驾驶员能力的新颖行为。当前系统使用对这些参数的扫描以便产生不同复杂性的场景并且提供这些场景的快速迭代和变化，这在现实世界驾驶环境下是不能进行复制的。

在场景中，“情景”被定义为一组离散的“事件”并且是认知系统的层级的最高层。情景可以被看作是认知系统内的存储器的基本单元，其限定用于描述一些车辆场景的实例(例如，在繁忙的十字路口的左转弯)的连续现象序列。完整的情景包括被称为“事件”的较小序列，其是多个情景可能共享的特定刻板事件。在上述示例中，包括情景的一些事件可以包括如下项目，诸如，交叉车流的速度、交通内的可用空隙、其它车辆/行人的轨线、或者自我车辆的当前车道位置。这种离散化现象不一定是左转弯事件的情况独有的，并且可以存在于其它情景中；例如，行人可能存在于用于描述停车场景的情景中。

每个事件是由感知对象、或者通过内部传感器系统和外部传感器系统所提供的数据从环境获取的观察结果来限定。这些感知对象被收集作为“记号(token)”并且由实时地从传感器系统流出的数据包组成。这些数据然后被处理并且用于限定事件。感知对象包括关于世界的关键信息，诸如，车道位置、转弯车道、以及对于驾驶行为不可缺少的其它环境条件。同样不可缺少的是该世界中的主体的属性(诸如，对象定义、非自我中心速度、航向等)以及自我车辆的方面(诸如，自我中心速度、航向等)。记号是被组装以限定场景状态的离散单元(被称为事件)的流式感知对象。然后，通过现实世界驾驶和模拟来学习一些观察事件以便生成被称为情景的端对端场景，其被储存作为主要存储单元。

令人期望的是学习尽可能多的通过现实世界驾驶场景的被动收集更为可行的情景，这是因为认知处理器的性质需要相关的实践经验以便更加透彻地学习且随后改进驾驶性能。与确定性的基于规则的系统形成对照，认知处理器必须暴露于尽可能多的现实世界数据，包括其可能需要在部署环境中进行评估的给定场景的细微变化。不幸的是，在物理车辆中进行原地暴露以开发认知模型是资源密集的、耗时的、并且不稳定的；即是说，必须通过人类辅助驾驶的未知迭代、以及/或者在物理世界中在闭合回路中艰难复制来偶然遇到场景的期望变化。因此，已经产生了现实模拟中的场景，其允许各种世界状态的快速迭代，诸如，道路车道配置、交通场景、自我车辆属性、以及用于情景的快于实时储存的非自我主体行为。这允许更丰富的情景存储体，并且提供更广泛的场景库，这样，认知系统就可以经历机器学习并且生成对于生成性非规则型主体而言关键的语义关系。

在模拟期间，可以经由通过接口的感知对象流来实时地生成记号。车辆数据和环境数据在每个模拟步骤被收集并且流向输出插座以收集到认知模型中，认知模型然后将所收集的记号数据打包为事件。感知对象可以是从车辆“自我端口”数据被收集，并且以每个车辆为基础被记号化，从而提供场景内的每个主体的非自我中心位置/速度阵列。环境状态(诸如，道路配置)在认知模型中通过从车道标记传感器收集到的数据进行重建，车道标记传感器限定有效车道的边缘并且提供关于十字路口或者要道配置(其由认知系统学习作为情景的成分)的信息。非地面真值装置可以以每个车辆为基础被记号化。“传感器世界”然后将代替地面真值自我端口数据，并且经受到感知流的现实扰动，诸如，传感器闭塞、失灵、或者由于诸如雨或雾等环境因素引起的信号衰减。首先将通过在模拟中产生场景来促进对单个事件和情景的描绘。在通过对模拟变量(例如，车道号)的参数扫描实现的不同事件的快速收集和自动化的情况下，认知系统最终会通过语法算法和分级群聚技术的使用来限定事件的时间边缘。

现在看图1，示出了示例性左转弯场景。为了生成准确且有意义的复杂性指标，将该场景划分为子任务。示出了T字路口道路表面110，车辆从较低道路S1向此处驶来并且通过一个交通车道左转弯航行。复杂性指标的引入允许在自主驾驶任务期间在子任务水平下计算复杂性值。通过采用在模拟期间生成的数据并且提取复杂性的测量，自主车辆基于具有相似复杂性得分的先前情况来创建用于场景比较的基础和用于采取行动的基础。自主系统的注意力需求然后可以基于复杂性。复杂性测量最终连同评级得分一起进给至认知模型以便指导决策制定。在该示例性实施例中，在左转弯场景中执行评估。在该场景中，存在可以基于例如交通密度、行人的数量、天气条件等发生的许多迭代。为了测量复杂性，将进行左转弯的主要任务分解为子任务。在该示例性实施例中，进行左转弯的主要任务被分解为四个子任务S1、S2、S3和S4。为了允许至其它场景的可扩展性，找出了子任务的特征以建立将数据分解为子任务的一套指南。通过找出汽车的速度下降至低于某一可接受停止速度的时间点来确定子任务1的S1端点。然后在汽车超过某一加速速度时找出子任务2的S2端点。通过识别汽车的x坐标何时停止改变来定位子任务3的S3端点。假定一个子任务的端点是下一子任务的开始点。用于确定相应子任务的结束的这些特征应该可扩展至最简单的左转弯场景，但其取决于驾驶员的进取性、对道路的熟悉度、以及左转弯任务的难易度。

将左转弯任务分解为子任务的目的是因为复杂性会基于测量任务复杂性的地点而发生变化。通过将任务分为子任务，能够看出复杂性在该任务的不同部分之间是如何改变的，而且还能看出复杂性随着时间的推移是如何改变的。通过将任务拆分为子任务，可以在每个子任务内计算复杂性并且可以在子任务之间根据时间来计算复杂性。固有地，复杂性从子任务1S1变为子任务2S2表现出了随着时间的推移复杂性的差异。然而，在子任务内，特征通常是相同的，因此测量子任务之间的差异会得出复杂性的重大时间差异。通常，子任务是基于特征的差异来被确定，这允许子任务之间的自然时间复杂性比较。当然，可能存在一些在子任务内发生变化的特征，但对于分解子任务的方式而言重要的是这些特征变化的最小化。取决于应用，可能感兴趣的是测量复杂性在整个任务中或者排外地在一个子任务中在时间上发生变化的方式。由于子任务是连续的(一个子任务的端点是下一子任务的起始点)，所以可以计算大规模(在整个任务中)和小规模(在子任务中)时间复杂性两者，并且我们假定我们未来的努力会是将这些复杂性测量外推到连续或者离散的事件相关时间域中。

从来自模拟的数据计算出的特定特征用于映射至复杂性参数。例如，天气可以在确定感知复杂性和(在较小程度上)决策制定的速度上起着非常重要的作用。测量替代方案的数量以及因此评估复杂性的直接方式是测量每个子任务中的车道的平均数。在该左转弯场景中，计算车道数量可以是对复杂性的直接测量，因为其指示了接近十字路口，在此具有大量替代方案。然而，车道数量在其它情况下可能并不指示复杂性，诸如，多车道高速公路可能在每个方向上具有四个车道，但其可能甚至并不如双向十字路口复杂。车道数量可能仅仅在较低速度下才重要，这意味着未来可能需要考虑到速度特征与车道数量特征之间的相互作用。在该场景中使用车道数量背后的基本理念在于：(1)其在该场景中指示十字路口，以及(2)其指示并入的车道的选择。这样，计算车道数量就可以被用于计算复杂性。可以在时间维度上进行对替代方案的数量的另一测量，如与空间维度相反。就此而言，交通中的空隙的数量可以用于确定替代方案。在给定子任务中测量交通中的空隙量背后的理念在于：其允许测量存在多少进行左转弯的机会。该信息可以与车道数量数据一起用于给出对替代方案的更完整的测量。然而，着眼于可扩展性，在不必要行驶通过车流的情况的任何场景中，替代方案的数量可能并不总是与交通中的空隙成比例。在这种情况下，必须找到另一时间替代特征。无论驾驶情况如何，在空间上和时间上测量替代方案的数量都是重要的。

从根本上，关键性是一种主观量度并且可以被认为是未做决策的风险的预期值。即是说，如果在一个子任务中风险相对于其它子任务较高，诸如，当穿过十字路口时，则关键性在该子任务中较高。在左转弯的特定情况下，当接近停车标志时和当进行左转弯时，关键性较高。在这种情况下，当速度较低时，诸如，在停车标志处停止和在转弯处启动，关键性较高。就此而言，在该特定场景中，关键性可以被测量作为速度的倒数。然而，关键性是最针对场景的复杂性测量，并且在高速公路驾驶的情况下，关键性可以随着速度增加而增加或者其可以在减速以离开高速公路时增加。因此，在每种情况下并且甚至在每个子任务中的情况下，关键性都会非常不同。

感知复杂性的直接量度是天气。感知复杂性在大雪或者大雾条件下会大幅增加。感知复杂性的另一量度是传感器接收的物体的数量。在给定子任务中测量汽车看到的物体的数量背后的理念在于：汽车需要与之相互作用的物体越多，该汽车需要的感知就越复杂。该特征应该相当地可扩展，但权重可以基于场景发生变化。例如，当在晴天穿过繁忙的十字路口时，物体的数量可能比天气更重要，但当在在下雪条件下在蜿蜒的荒凉道路上行驶时，物体的数量可能就不那么重要。

最后，决策速度可以被看作子任务的总长度的倒数。驾驶员在某个子任务中的时间量越大，决策速度就越长。这也与驾驶员的速度有关，该速度越大，决策速度就越少(lower)，因为驾驶员在特定子任务中花费更少的时间。在针对决策速度的复杂性计算方面，计算在每个子任务中的秒数。在该计算中固有的是速度，因此其并未明确地被看作决策速度的因素。该特征是可扩展的：基本上通过求子任务的长度的倒数来找出决策速度，子任务越长，决策速度越慢，只要子任务进行了恰当地划分。

下一步骤是将所计算出的复杂性得分与由人创建的主观复杂性得分作比较。由人创建的复杂性得分包括出错率概率和熟悉度，其在所计算出的复杂性得分中并未被考虑到。令人期望的是初始地使所计算出的复杂性得分与人创建的复杂性得分相匹配以便建立基线。因此，为了使所计算出的复杂性得分与所创建出的复杂性得分相匹配，对不同的子任务复杂性进行衡量和调节以便更好地匹配人类得分。将算法计算出的复杂性得分与主观人类复杂性得分作比较的该过程将在生成数据时继续进行，过程本身进行迭代以继续微调算法。许多人类创建复杂性得分被合计并且标准化以便概括该算法。

为了确定子任务或者复杂性类别与人类复杂性得分之间的相关性，从不同角度对数据进行分析。在给定场景中，计算子任务1的复杂性类别之间的总复杂性。在示例性实施例中，总复杂性值然后除以所有子任务的总算法复杂性得分并且然后乘以100。这会得出缩放特征，其显示子任务1对场景1的总体复杂性的贡献大小。在计算出每个子任务的缩放复杂性贡献之后，使得分在每个子任务内进一步缩放。即是说，所有子任务得分然后除以所有场景中任何子任务的最高得分，以便在给定子任务内缩放结果。然后将所计算出的复杂性结果与人类复杂性得分作比较。与子任务得分相似，所有人类复杂性得分除以各子任务中最大的人类复杂性得分，这允许通过相似缩放来进行比较。

与人类复杂性得分具有负相关性的子任务(诸如，接近停车标志和减速)预计是不会对总体复杂性具有较大贡献的简单子任务。因此，预计在子任务的复杂性的量会对总体复杂性作出贡献时，其是更加复杂的子任务。例如，如果在接近停车标志1时减速(其是进行左转弯中最简单的子任务)对总体复杂性贡献很大，则该任务本身相对于其它任务而言并不非常困难。

在所有复杂性类别中重复同样的分析。在给定场景中，在所有子任务之间找出每个复杂性类别的总得分。该得分然后除以该场景的总复杂性得分并且然后乘以100。该计算计算出在给定场景中复杂性类别对总复杂性的贡献的相对百分比。针对每个复杂性类别重复该计算。

使用分布式模拟，可以使交通场景的复杂性测量自动化并且快速地迭代以便使可用于认知系统的场景数据的量最大化。可以根据需要操纵模拟中的参数(诸如，交通密度)，并且可以使用参数扫描来在大量复杂性得分中快速地生成交通场景。数千种复杂性场景变化然后可以同时在分布式集群硬件上运行以便填充认知学习模型的情景记忆以使其暴露于指导驾驶行为的丰富情景阵列。

返回至示例性实施例，在左转弯场景的四个阶段中，复杂性测量随着自我车辆在转弯期间前进而发生变化。在S1阶段中，汽车是静止的并且前进/不前进的行动受到限制。在该阶段中，可以通过加上或者减去模拟资产(诸如，代表防止行动的关键元素的行人或者停靠汽车、或者在前进至S2时创建附加复杂性的视觉障碍/混淆)来更改任务的关键性和感知难度。这些元素可以被写为脚本以便自动地生成使S1的条件极大地多样化的许多情况实例。相似地，可以通过更改交叉车流的速度、交通密度、或者交通类型(诸如，限制视觉范围的卡车车辆类型)以自动化方式来修改S2的复杂性。S3可以通过相同方式来进行修改，但还包含用于调节交叉车流的进取性或者交叉车流的一致性的自动化。最后，可以通过诸如突然刹车、道路类型、非自我车辆的合并行为、以及“惊喜”障碍物(诸如，道路碎片、车道能见度等)的存在等因素来修改S4的复杂性。影响全局决策的参数(诸如，附加车道、特殊车道、建造、或者其它可能在道路上进行的场景的存在)全都是适合于自动化的附加元素。在道路上进行的条件中复制起来较难或者危险的其它参数(诸如，传感器闭塞或者故障)也可以在模拟中安全地被调整至不同程度。通过这些实验变量的修改，有可能生成给定交通情景的数千种排列，这会为认知系统提供丰富的训练数据。交通变量的这种快速迭代、以及对自我车辆行动和非自我车辆行动的基于群集的并行模拟是为认知模型提供超过通过现实世界驾驶独自可行的大量训练数据的关键。该方法的益处在于对环境情况和车辆情况以及交通行为的完全参数化控制。这有助于安全地测试边缘示例，同时系统地修改模型参数以便确保认知架构的性能达到并超过最佳人类驾驶员的能力。

现在看图2，示出了用于实施用于自主系统性能指标生成和基准评测的方法的示例性设备200。设备200操作用于模拟驾驶场景以评估和量化驾驶系统(包括自主驾驶系统)的性能。该设备用于量化驾驶员或者驾驶系统成功完成场景所需要的认知成本和努力。设备包括模拟器220、传感器接口210、车辆控制系统230、控制系统接口240、以及存储器250。传感器接口210和控制系统接口240操作用于与车辆控制系统相互作用。设备可以在硬件、软件或者其组合中进行实施。

模拟器220操作用于模拟驾驶环境和场景并且生成用于控制传感器接口210的控制信号。传感器接口210操作用于生成可由车辆控制系统230读取的传感器信号。传感器信号按照一种方式与车辆控制系统230配合以便使得在车辆控制系统看来其是在实际环境中操作。控制系统接口240接收由车辆控制系统230生成的控制信号。控制系统接口240将这些控制信号转化为由模拟器220使用的数据，作为来自场景的反馈。场景被储存在由模拟器访问的存储器250中。模拟器进一步操作用于将附加信息以及对场景和复杂性指标的更新储存在存储器250上。

现在看图3，示出了用于自主驾驶系统300的开发&评估的场景生成和参数扫描的示例性方法。所提出的方法和对应的系统不同于其它模拟示例，因为其能够应用于具有现实行动者行为的多种潜在复杂驾驶场景。先前的模拟聚焦于测试自主车辆的一个特定特征。示例性参数扫描(聚焦于在过去已经证明对于自主车辆具有挑战性的情况)允许对现实世界系统准备程度有更高的信赖度，这些系统在所有参数扫描条件下都能在各种驾驶场景中很好地执行。通过创建深度参数扫描技术(其涉及行动者行为以及一组不同的潜在复杂场景的物理特性)，系统操作用于将多个自主系统的性能和特征作比较。系统进一步操作用于生成许多高度复杂的变化，潜在的是危险示例，这些示例对于现实世界测试而言可能是禁止的，或者是人类辅助原型AI可能长达数百万英里都不会遇到的。通过聚焦于这些复杂情况和涉及困难情况的自动化参数扫描，系统能够以更大数量快速地扩大对相关有用数据的获取。

方法首先操作用于接收驾驶场景310。该场景可以是响应于由模拟生成的控制信号而被接收或者可以是从单独的控制器源头接收。场景将具有与该场景相关联的至少一组参数变化。该示例性方法有助于有意义的数据的快速生成，同时并未使用自主控制系统容易处理的场景中的资源。结果是在罕见情况中在减少现实世界故障的量的情况下使训练更快。该方法和系统使得系统开发人员能够在大量条件下测试其自主车辆系统的许多特征。

方法然后操作用于使用第一个参数变化并且模拟驾驶环境320。当前系统和方法使用一组参数变化以便训练自主认知系统，并且在模拟环境中衡量所述系统的性能。该系统操作用于创建可能在驾驶时遇到的一组不同的高度复杂场景。然后在模拟中扫描特定参数，包括：天气(雨、雾、和雪)、车流速度、车流的进取性、行人/骑行者的存在、场景中其它行动者的反应性、传感器健康/感知质量、以及每个主体的车道保持能力。参数扫描在先前已经证明对于自主车辆具有挑战性的各种潜在挑战性情况(例如，在繁忙的十字路口处左转弯)中运行。通过在各场景中运行参数扫描，可以连同被测试的系统的能力一起获取关于在高度复杂场景中的其它交通和自主主体的行为的大量有意义的数据。这些扫描还允许系统通过记录该系统并未最佳地执行的参数和场景来查明任何控制系统的特定弱点。该系统允许对自主系统进行审查以供现实世界使用或者测试。现实世界驾驶将会花费大量时间才能目睹参数扫描中涵盖的许多复杂情况，从而导致较长的延迟和对系统在高度复杂情况下的能力的不确定性。场景设定和参数扫描可以极大地减少与训练新自主车辆特征相关联的成本和时间。该特征可以被验证并且我们可以保证系统将在现实时间测试中执行。由于训练交通条件的充分生成，所以有用数据的质量和数量也有可能大大地增加。

为了充分解释不同的实验条件，令人期望的是执行参数扫描以便创建用于提供大量结果数据的场景。对多个变量进行操纵以便模仿从简单至复杂的现实驾驶条件。复杂性的定义可以是通过将复杂性划分为五个子类别来进行定义。复杂性类别可以包括但不限于：关键性、替代方案、感知复杂性、决策速度、以及惊喜。通过将来自模拟器的输出映射至这五种复杂性类别，可以按照场景变化计算出复杂性的准确测量。在该示例性实施例中，左转弯任务被分解为四个不同的子任务。第一个子任务是接近停车标志，第二个子任务是在停车标志处停止，第三个子任务是进行左转弯，并且第四个子任务是完成转弯并且与周围车流速度相匹配。针对每个复杂性类别给每个子任务分配单个复杂性等级。所获取的数据可以用于：量化场景的复杂性，评估系统的性能，或者关于交通行为和现实场景对系统进行教导。对该场景和其它场景进行了模拟，因为每个场景都代表可以通过复杂性指标来量化的独特挑战。这些场景包括罕见且具有挑战性的情况，其会导致通常较高的复杂性得分并且在驾驶员测试期间不常遇到。然后针对每个场景对变量进行扫描。

可以通过限定每个场景的建议速度来扫描速度。从该现实，可以将该速度的偏差并入到该场景中的交通汽车中。这可以是通过如下方式来完成：将交通汽车的期望速度设定为等于场景的建议速度+-随机数。也可以对场景内的每个行动者的轨线进行操纵以便显示行动者在现实驾驶情况中可以选择的几种可能路径。例如，离开停车场的主体可以选择在十字路口处左转、右转、或者直行。可以手动地对路径进行操纵，或者可以使用自动化脚本来随机地选择轨线。行人和骑行者的速度和轨线也可以按照相似方式被操纵。已经通过实验确定成年男性和女性的平均优选步行速度为1.2m/s至1.4m/s(≈3mph)。测试中的行人的速度可以被扫描为1至3m/s以便显示大量步行速度。同样，平均骑行速度为大约4.5m/s(≈10mph)。例如，在场景中可以给模拟自行车分配范围为4.5m/s至8.5m/s的速度，以便展示悠闲和快速骑行速度。

天气的参数也可以被扫描。对降雨和由于雾引起的能见度进行操纵以便再现现实天气条件。当能见度下降为低于1/4英里(≈402米)时，国家气象局发布雾气公告。由于雾引起的能见度可以被设定为从402米至50米以便显示大量可能的雾气情况。通过改变每立方米的雨滴密度(184-384)和更改每一滴的直径(0.77mm-2.03mm[5])来更改雨的猛烈度。模拟模型可以采用较大雨滴更快速地降落的现实世界物理现象。在不同的试验之间改变雪花直径(2.5mm-20mm)，其中，较大的雪花表明更大的降雪。雪花的速度和密度可以保持恒定或者随着大气条件发生变化。在高密度的雨、雾或者雪的情况下，情况变得非常复杂。还对场景中的其它主体的行车间距和进取性进行操纵。不太复杂的示例包含更少的行人。更复杂的试验包含可能意外穿行的行人，例如，在人行横道外横穿的行人或者挡住自主车辆的传感器对人或者其它关键实体的视线的条件/物体的存在。不太复杂的示例仅仅包含在指定自行车车道中的骑行者。更复杂的示例包含在与车辆共享的交通车道中的骑行者。对车辆的可接受行车间距进行操纵，在更复杂的示例中，使用较短的距离来减小自主车辆在转弯期间可用的空隙。在更复杂的试验中，使一些交通车辆能够变换车道以便超过慢速车辆。待被扫描的另一重要参数是行动者密度。每个试验中存在的行动者的数量也被更改。初始地可能存在较少行动者，并且可以将附加行动者添加至实验以便增加复杂性。

方法然后操作用于响应于具有参数变化的场景来评估驾驶系统的性能330。方法然后操作用于检查看是否具有用于模拟的附加参数变化330。如果是，则方法然后操作用于使用下一个参数变化并且模拟驾驶环境320。如果不是，则方法然后可以操作用于给各个经测试的参数变化分配性能指标以及可选地分配总体性能指标340。方法然后可以能够给场景内的每个参数变化分配复杂性指标以及可选地分配总体复杂性350。再次，驾驶员可以是人类驾驶员、部分辅助自主驾驶系统或者完全自主驾驶系统。

Claims (10)

1.一种设备，所述设备包括：

-传感器接口，所述传感器接口用于生成用于联接至车辆控制系统的传感器数据；

-控制系统接口，所述控制系统接口用于接收来自所述车辆控制系统的控制数据；

-存储器，所述存储器用于储存第一场景，其中，所述第一场景与第一参数变化和第二参数变化相关联；以及

-模拟器，所述模拟器用于响应于所述第一场景、所述第一参数变化和所述控制数据来模拟第一驾驶环境并且响应于所述第一驾驶环境的所述模拟来分配第一性能指标，所述模拟器进一步操作用于响应于所述第一场景、所述第二参数变化和所述控制数据来模拟第二驾驶环境并且响应于所述第二驾驶环境的所述模拟来分配第二性能指标。

2.根据权利要求1所述的设备，其中，所述第一参数变化和所述第二参数变化与天气强度有关。

3.根据权利要求1所述的设备，其中，所述存储器操作用于储存与所述第一参数变化和所述第二参数变化相关联的第二场景。

4.根据权利要求1所述的设备，其中，所述设备在软件中进行实施。

5.根据权利要求1所述的设备，其中，所述设备在硬件中进行实施。

6.根据权利要求1所述的设备，其中，所述模拟器进一步操作用于响应于所述性能指标和所述第二性能指标生成成功率。

7.根据权利要求1所述的设备，其中，所述车辆控制系统是自主车辆控制系统。

8.一种方法，所述方法包括：

-接收驾驶场景、第一参数变化和第二参数变化；

-使用所述第一参数变化来模拟所述驾驶场景；

-响应于所述驾驶场景、所述第一参数变化和第一控制数据来评估第一驾驶员表现；

-响应于所述第一驾驶员表现来分配第一性能指标；

-使用所述第二参数变化来模拟所述驾驶场景；

-响应于所述驾驶场景、所述第二参数变化和第二控制数据来评估第二驾驶员表现；以及

-响应于所述第二驾驶员表现来分配第二性能指标。

9.根据权利要求8所述的方法，所述方法进一步包括：响应于所述第一性能指标和所述第二性能指标来分配总体性能指标。

10.根据权利要求8所述的方法，其中，所述第一参数变化和所述第二参数变化与所述驾驶场景内的传感器性能有关。