CN109782730A - 用于自主系统性能和评级的方法和装置 - Google Patents

Abstract

本申请主要涉及一种用于评估和分配对驾驶场景的驾驶员响应的性能度量的方法和装置。更具体地，该申请教导了一种方法和装置以用于将场景分解为特征、为每个特征分配评级并响应于所述评级的加权组合产生总评级。

Description

用于自主系统性能和评级的方法和装置

技术领域

本申请主要涉及一种车辆控制系统和自主车辆。更具体地，该申请教导了一种用于评估和量化穿过模拟环境的任何被驱动的、半自主的或自主的车辆的性能的方法和装置，以作为用于评估和随后训练自主驾驶的认知模型的量度。

背景技术

通常，自主车辆是能够通过车辆传感器监控外部信息、响应于所述外部信息来识别道路状况以及车辆的操纵的车辆。通过针对各种测试场景运行软件来测试、评估和改进自主车辆软件以确定软件的性能以及成功和失败的频率。期望通过一般评级算法来量化不同自主驾驶系统和子系统的性能，以在框架中为自主车辆控制系统提供驾驶训练数据的正面和负面评估，从而区分最佳自主驾驶系统。这将为不同自主驾驶系统的性能提供具体启示，以便在将来为决策制定提供信息。

在该背景技术部分中公开的上述信息仅用于增强对本发明背景的理解，因此其可能包含不构成本国本领域普通技术人员已知的现有技术的信息。

发明内容

根据本发明的实施例提供了许多优点。例如，根据本发明的实施例可以仅通过周期性的人为干预来快速地测试自主车辆软件、子系统等。该系统可以进一步用于测试其他控制系统软件，并且不限于自主车辆。

根据本发明的一个方面，一种装置包括：传感器接口，所述传感器接口用于产生用于耦合到车辆控制系统的传感器数据；控制系统接口，其用于从车辆控制系统接收控制数据；存储器，其用于存储场景，其中第一场景划分为第一特征和第二特征；以及处理器，其用于将控制数据与第一特征进行比较以产生第一评级，并将控制数据与第二特征进行比较以产生第二评级，对第一评级进行加权以产生第一加权评级并加权第二评级以产生第二加权评级，并响应于第一加权评级和第二加权评级产生性能度量。

根据本发明的另一方面，一种方法包括：接收指示驾驶员表现的控制数据；将控制数据与驾驶场景进行比较，其中驾驶场景具有第一特征和第二特征；将第一评级分配给第一特征并将第二评级分配给第二特征；对第一评级进行加权以产生第一加权评级并对第二评级进行加权以产生第二加权评级，并且响应于第一加权评级和第二加权产生性能度量。

根据本发明的另一方面，一种用于为驱动系统产生性能度量的方法，其包括：产生用于耦合到车辆控制系统的传感器数据；接收指示对驾驶场景的驾驶员响应的控制数据，其中驾驶场景具有第一特征和第二特征；比较对第一特征的驾驶员响应以产生第一评级并将驾驶员响应与第二特征进行比较以产生第二评级；响应于第一评级和第二评级产生总评级；并且响应于总评级产生指示对驾驶场景的驾驶员响应的性能度量。

从以下结合附图对优选实施例的详细描述中，本发明的上述优点和其他优点和特征将变得显而易见。

附图说明

通过参考下面结合附图对本发明实施例的描述，本发明的上述和其它特征和优点以及实现它们的方式将变得更加明显，并且将更好地理解本发明，其中：

图1是根据实施例的示例性左转弯场景。

图2是根据实施例的用于实现用于自主系统性能和评级的方法的示例性装置。

图3是根据实施例的用于自主系统性能和评级的示例性方法。

本文给出的示例说明了本发明的优选实施例，并且这些示例不应被解释为以任何方式限制本发明的范围。

具体实施方式

以下详细描述本质上仅是示例性的，并不旨在限制本发明或其应用和用途。此外，无意受前述背景技术或以下详细描述中提出的任何理论的约束。例如，本发明的算法、软件和系统具有在车辆上使用的特定应用。然而，如本领域技术人员将理解的，本发明可以具有其他应用。

期望具有评级算法以便量化和评估穿过模拟环境的任何驱动的、半自主的或完全自主的汽车的性能。开发了一种评级算法，其具有用于计算每个驾驶试验结束时的评级的特征，其源自诸如停止速度、距理想路径的速度加权平均距离、距理想路径的速度加权最大距离，交通速度的左转弯后匹配、距其他车辆的平均距离、惊吓和关键误差等特征。同样关键的是，对这些特征进行加权的过程大致为计算用于训练机器学习系统以及评估和基准试验车辆控制系统的性能的评级。该方法和系统可操作以用于量化模拟中的任何驾驶试验的实例的性能，从而提供反馈以训练自主驾驶控制系统并且将自主驾驶系统的子系统与包括人在环的驾驶和基于规则的自主驾驶的备选方案进行比较和调整。这将允许对任何具有明确正面和负面的实例的自主驾驶系统进行全面训练。此外，这还允许在不同驾驶系统之间进行比较的无偏和一致的基础，其将最终证明哪个系统是最有效的。该系统还提供了一个框架以识别和减轻传统的基于规则的驾驶系统的基本问题。虽然现代系统未能对其没有规则的新驾驶情况进行充分评级和量化，但示例性框架包括在驾驶试验期间的连续评级，其允许离散驾驶评级特征与显式事件的链接。最后，使用评级算法可以在给定的驾驶情况下量化固有安全水平或安全元件的需要。

所提出的系统使用回归模型来采用特征加权来基于人评级分数来确定评级算法特征系数。使用评级作为诸如人在环的和认知模型的不同驾驶系统之间的比较的基础，并且评级分数和复杂性分数之间的相互作用通过将驾驶试验分为在评级算法中创建粒度并启用对自动产生的训练数据集的监督的时间解析的子任务来创建自主系统性能的完整表示。

当前公开的方法和系统的未来应用包括：利用评级分数数据趋势来集中传感器、相机和其他新技术的改进努力，使用评级算法来识别道路的不安全驾驶子部分，以及非自主驾驶员的匿名评级以提供车辆使用信息。随着自主驾驶技术变得越来越重要，该评级算法的未来应用可用于精确定位研究和开发工作以及情况安全评估。

关键误差的概念用于识别未能实现其目标或未能实现安全驾驶的试验。上述示例中的关键故障可能包括未能在停止标志处完全停止、涉及自主车辆的碰撞，和/或汽车未能完成左转弯。如果发生任何这些事件，则可以给出零分，以便表明未实现该场景的关键目标。示例性关键误差因素可以是用于乘以所产生的性能度量的二元分数。这些关键误差的识别还使得可以在不仅是不期望的、而是应不惜一切代价避免的负驱动实例的子集上训练认知模型。

为了确保当前的评级系统有意义，引入了复杂性的概念。复杂性度量的引入允许在离散时间点期间或在整个自主驾驶任务期间计算复杂性值。通过获取产生的数据并提取复杂性的量度，自主车辆系统可以基于具有类似复杂性分数的先前情况来确定用于场景比较的基础以及用于采取行动的基础。然后，自主系统的注意要求可以基于复杂性。复杂性量度最终和评级分数一起提供给认知模型，以指导训练期间的决策制定。复杂性计算和评级评分进一步用于分析所有自主系统的性能。复杂性可以分为子类别，例如关键性、备选方案、感知复杂性、决策速度和意图预测。通过将来自模拟的输出映射到这五个复杂性类别，可以估计复杂性的量度。

现在转向图1，示出了示例性左转弯场景。为了产生准确且有意义的复杂性度量，该场景被划分为子任务。示出了T形接合道路表面110，其中车辆从下部道路S1接近并且在一条交通车道上导航左转弯。复杂性度量的引入允许在自主驾驶任务期间在子任务水平计算复杂性值。通过获取在模拟期间产生的数据并提取复杂性的量度，自主车辆基于具有类似复杂性分数的先前情况来创建用于场景比较的基础以及用于采取行动的基础。然后，自主系统的注意要求可以基于复杂性。复杂性量度最终会与评级分数一起提供给认知模型，以指导决策制定。在该示例性实施例中，在左转弯场景下执行评估。在这种场景下，可以基于例如交通密度、行人数量、天气条件等进行许多迭代。为了量度复杂性，进行左转弯的主任务被分解为子任务。在该示例性实施例中，进行左转弯的主任务被分解为四个子任务S1、S2、S3和S4。为了允许其他场景的可扩展性，发现子任务的特征构建了一组准则以将数据分解为子任务。通过找到汽车速度下降到某个可接受的停止速度以下的时间点来确定子任务1的S1终点。然后在汽车超过某个加速速度时找到子任务2的S2终点。通过查看汽车的x坐标何时停止变化来定位子任务3的S3终点。假设一个子任务的终点是下一个子任务的起始点。确定各个子任务的结束的这些功能应该可以扩展到大多数简单的左转弯场景，但这取决于场景中驾驶员和其他驾驶员的侵略性、对道路的熟悉程度以及左转弯任务的简单性。

将左转弯任务分解为子任务的目的是基于测量任务复杂性的位置来确定复杂性变化。通过将任务拆分为子任务，可以看到任务中不同部分之间的复杂性如何变化，以及复杂性随时间的变化情况。通过将任务分块为子任务，可以在每个子任务中计算复杂性，并且可以在子任务之间计算复杂性作为时间的函数。固有地，从子任务1S1到子任务2S2的复杂性变化证明复杂性随时间的差异。但是，在子任务中，特征通常是相同的，因此测量子任务之间的差异会产生复杂性的非平凡时间差异。通常，基于特征的差异来确定子任务，这允许子任务之间的自然时间复杂性比较。当然，可能有一些特征在子任务中发生变化，但子任务如何分解的基础是这些特征变化的最小化。根据应用，可能有兴趣测量复杂性在时间上跨过整个任务中的变化或仅在一个子任务中的变化。由于子任务是连续的(一个终点是下一个的起点)，因此可以计算大尺度(整个任务)和小尺度(整个子任务)时间复杂性，并且我们假定我们未来的努力将推断这些复杂性量度为连续的或离散的事件相关的时域。

评估车辆的性能以定量地确定特定驾驶场景的某个实例(例如左转弯任务)被安全执行的情况。在这种方法中，自主车辆在具有从现实世界驾驶中提取的大量安全关键场景的环境中与人-环(HIL)车辆模型相互作用。此安全评估基于随后定义的五个子类别。使用基于规则的系统以及人在环(HIL)系统来获取自主汽车的数据，以便构建评级算法。基于以下概述的五个子任务中的自主车辆的性能计算的分数被称为评级。在示例性左转弯模拟环境中用于确定该评级的特征包括：左转弯后距离最近的代理的平均距离、停止标志处的停止速度、交通速度的左转弯后匹配、距理想路径的平均距离、距理想路径的最大距离，以及场景中其他代理的惊吓行为。其他模拟环境可以包括与手头的特定场景相关的附加特征。

用于计算评级的第一特征是交通速度的左转弯后匹配。使用自端口数据获取自主系统或HIL系统中的驾驶员相对于其车道内的最临近的车辆的速度。自端口数据也称为地面实况数据，并且它假设场景中所有代理都是全知的。通过使用自端口数据，可以找到对驾驶员分数的最完整表示。替代性地，可以使用更真实的传感器、例如雷达或LiDAR。当自主汽车的速度不等于交通速度时，驾驶员收到低的分数。系统/驾驶员仅在左转弯执行后不匹配交通速度时受到处罚，以便在停止标志停车后为车辆提供时间以增加速度。取自身速度和交通速度的差异的绝对值，以便对驾驶太慢或太快给出相等的惩罚。例如，如果自主车辆在周围交通速度的每秒4米范围内，则驾驶员不会受到惩罚。假设自主汽车能够更快地达到交通速度，驾驶实例越好越安全。

用于计算评级分数的下一个特征是从自主车辆到其他代理的最小距离。在场景中的每个时间步长连续记录场景中的自主车辆和所有其他代理之间的距离。当确定自主车辆在与另一车辆的特定动态距离内时，记录这些值和时间步长，并且基于在试验期间在特定动态距离内花费的时间量来对驾驶员进行处罚。例如，可以建议动态安全距离要求驾驶员在所跟随的车辆后面至少停留两秒钟。因此，通过在给定时间t将自主车辆的速度乘以2来计算安全距离。假设在动态跟随距离的限制内花费的时间越少，驾驶实例越好。

用于计算评级分数的另一个特征是距预定理想路径的距离。使用固有路径产生器确定理想的左转弯路径。固有路径产生器可以确定在左转弯期间要采取的最佳左转弯路径，其包括左转弯的平滑度以及确保停留在每个相应的左转弯车道和合并车道的中间。将每个时间点的自主车辆的位置与理想路径上的每个空间位置进行比较。当自主汽车左转弯时，每个时间步长重复这一过程。该措施消除了对转弯进行评级的时间维度，以防止惩罚速度的微小差异。然后，将自主车辆在时间t的空间位置到理想路径上的每个点的最小距离记录为自主车辆距理想路径的偏差。为了防止距理想路径的短而宽的偏差对该评级方面的影响最小，距离乘以每次的速度。这进一步防止了汽车在理想路径上完美停车并获得满分。记录速度加权平均偏差和距理想路径的速度加权最大偏差，以量化自主车辆遵循理想路径的程度。假设自主车辆越接近理想路径，驾驶实例越好。

可能有助于驾驶试验的评级的另一个特征是自主车辆是否完全停在停止标志处。当自主车辆从停止标志到达其最小欧几里德距离时，记录车辆的速度。停止标志的空间位置的值是预定的，并且假设停止标志不移动。例如，如果该停止位置和时间t处的速度不小于0.01，则系统/驾驶员因跑过停止标志而受到惩罚。停止标志处的速度越大，惩罚越大。惩罚可以与停止速度线性地成比例。如果停止速度超过每秒2米，则接收针对该驾驶实例的关键误差，因为我们假设汽车没有停在停止标志处，这将导致指示不安全驾驶实例的自动故障。

为计算特定试验的评级而引入的最终因素是惊吓的因素。此功能可用于合并，以便在看不见或新颖的实例中确定系统的性能。最终，这将是对认知模型在特定时间对其他代理意图的预测的评估。此外，该预测具有一定的附在其上的置信度，因此如果置信度高但预测最终不正确，则系统会比如果不正确预测具有较低置信度时更高地得到惩罚。替代性地，如果系统正确预测其他代理的意图，则会在此类评级类别中获得奖励。如果交通以一种不是由认知模型预测的方式执行，例如当代理在交通中失速时，这被认为是惊吓。如果自主车辆尽管发生了这种意外事件仍能成功完成转弯，那么将被奖励高评级。如果驾驶试验中没有出现惊吓事件，则自主车辆不会受到处罚。

现在转向图2，示出了用于实现用于自主系统性能和评级的方法的示例性装置200。装置200可操作以模拟用于评估和量化包括自主驾驶系统的驱动系统的性能的驾驶场景。该装置用于量化驾驶员或驾驶系统成功完成该场景所需的认知成本和努力。该装置包括模拟器220、传感器接口210、控制系统接口240和存储器250。传感器接口210和控制系统接口240可操作以与车辆控制系统交互。该装置可以用硬件、软件或两者的组合来实现。

模拟器220可操作以模拟驾驶环境和场景并产生用于控制传感器接口210的控制信号。传感器接口210可操作以产生可由车辆控制系统230读取的传感器信号。传感器信号与车辆控制系统230交互，使得车辆控制系统看起来它在实际环境中运行。控制系统接口240接收由车辆控制系统230产生的控制信号。控制系统接口240将这些控制信号转换为模拟器220使用的数据，从而作为来自场景的反馈。场景存储在由模拟器访问的存储器250中。模拟器还可操作以存储对存储器250上的场景和复杂性度量的附加信息和更新。

为了确保评级分数在复杂性的背景下有意义，引入了评级和复杂性特征的加权。最初，客观人员在左转弯模拟环境中为具有不同复杂性的十个场景给出评级和复杂性分数。这允许将人类分数与评级和复杂性算法计算的分数进行比较。因为人类仅为整个场景给出一个相应的复杂性分数和评级，所以假设一个分数分别代表所有评级特征和所有复杂性特征。通过评级和复杂性计算给予每个评级和复杂性特征一定的分数，将人类分数与评级计算和复杂性分数进行回归。在第一多元回归中，用于评级的每个特征的评级分数、惊吓、距理想路径的速度加权平均偏差、距理想路径的速度加权最大偏差、速度的左转弯后匹配、停止速度和距其他汽车的平均距离是预测因子并且人类分数是多元回归中的响应。

类似地，在用于复杂性的第二多元回归中，每个特征、惊吓、关键性、备选方案、感知复杂性和决策速度的分数是预测因子，并且人类分数是多元回归中的响应。由这些回归产生的系数成为构成评级和复杂性计算的单个特征的加权。该初始加权为评级和复杂性分数的加权提供了基础，并且加权的精确调整来自自动化试验的结果。

使用人工加权分数进行评级和复杂性计算，然后可以批量处理评级算法和复杂性算法，以创建所有自动化试验的评级和复杂性分数。自动化试验的变化特征是场景中其他参与者的数量及其平均速度。随着参与者数量的增加和复杂性随着这些参与者的平均速度的增加而增加，可以假设复杂性增加。加权是一个迭代过程，并且用于计算复杂性和评级的相应特征以及那些特征的相对加权可能会随着系统演化和更多数据产生而继续变化。计算每个HIL试验的评级，并且然后用加权计算HIL试验的复杂性。

可以执行新的试验，并且可以将复杂性和评级的结果与先前的HIL结果和先前的自动化试验结果进行比较。示例性新场景可以是这样的汽车的情况，该汽车合并到交叉路口的左转弯车道但随后失速。该场景证明了传统的基于规则的系统的缺点，该系统对于失速的汽车没有规则，假设它以前从未遇到过这种情况。新的场景将具有高度复杂性，因为我们没有关于这种情况的训练数据，并且因为失速的汽车阻挡了我们左转弯的路径。在较低复杂性的场景中，自主车辆和人类驾驶员可比地执行，因为低复杂性场景不会对HIL驾驶员或基于规则的系统构成重大挑战。由于两个系统都没有受到挑战，因此HIL驾驶员和自主系统之间的评级分数没有太大差异。自主系统的分数落在由HIL驾驶员设定的范围内。在这种低复杂性的情况下，基于上述评级特征，人类和基于规则的系统都达到了它们可以执行的程度的评级上限。

示例性的高复杂性场景涉及车辆在左转弯车道中失速，自主汽车需要经过该车道以完成目标左转弯。这导致更高的复杂性分数，因为参与者以先前未观察到的方式做出行为。传统的基于规则的系统在这种新的高复杂性场景中失败，因为系统不知道如何对其没有相应规则的情况做出响应，因此系统无法完成左转弯任务。由于这种新场景是一种新的情况，因此没有创建规则来处理失速的汽车，而这是基于规则的系统的基本缺陷。这个缺钱由认知模型解决，其最终允许自主汽车完成左转弯。可以使用从非常类似的场景(例如，上面讨论的示例)完成的残差数据相应地对该行为进行评级，但是复杂性度量相应地增加。由于子任务评级的粒度，系统仍然可以产生可用且一致的评级输出，即使对于新情况也是如此。

现在转到图3，示出了用于自主系统性能度量产生和基准测试300的示例性方法。该方法首先可操作以接收指示驾驶员表现310的控制数据。该方法然后将控制数据与驾驶场景进行比较，其中驾驶场景具有第一特征和第二特征320。该示例性方法然后可操作以将第一评级分配给第一特征并将第二评级分配给第二特征330。该方法然后对第一评级进行加权以产生第一加权评级并对第二评级加权以产生第二加权评级340。该方法然后响应于第一加权评级和第二加权评级340产生性能度量。可以响应于人类驾驶员表现或自主驾驶控制系统性能来产生控制数据。

与场景的最佳性能相比，性能度量可以指示驾驶员表现。该性能度量可以传回给驾驶员或自主驾驶控制系统，以提高未来的驾驶员表现。示例性方法不限于两个特征，并且可以评估任何数量的特征以便产生性能度量。评估的特征可以包括停止速度、距理想路径的速度加权平均距离、交通速度的左转弯后匹配、距其他车辆的平均距离、惊吓和关键误差。在另一示例性配置中，第一特征可具有第一复杂性，并且第二特征具有第二复杂性，并且其中响应于第一加权评级、第二加权评级、第一复杂性和第二复杂性而产生性能度量。可以响应于二元关键误差因素来进一步加权性能度量。同样，驾驶员可以是人类驾驶员、部分辅助自主驾驶系统或完全自主驾驶系统。

Claims (10)

1.一种装置，包括：

-传感器接口，其用于产生用于耦合到车辆控制系统的传感器数据；

-控制系统接口，其用于从所述车辆控制系统接收控制数据；

-存储器，其用于存储其中第一场景被划分为第一特征和第二特征的场景；以及

-处理器，其用于：将所述控制数据与所述第一特征进行比较以产生第一评级并将所述控制数据与所述第二特征进行比较以产生第二评级，对所述第一评级进行加权以产生第一加权评级并对所述第二评级进行加权以产生第二加权评级，并响应于所述第一加权评级和所述第二加权评级产生性能度量。

2.根据权利要求1所述的装置，其中所述性能度量指示与所述场景的最佳性能相比的驾驶员表现。

3.根据权利要求1所述的装置，其中，所述第一特征是停止速度、距理想路径的速度加权平均距离、交通速度的左转弯后匹配、距其他车辆的平均距离、惊吓和关键误差中的至少一个。

4.根据权利要求1所述的装置，其中，所述控制数据由自主驾驶控制系统产生。

5.根据权利要求4所述的装置，其中，所述性能度量被发送到所述自主驾驶控制系统。

6.根据权利要求1所述的装置，其中，所述第一特征具有第一复杂性，并且所述第二特征具有第二复杂性，并且其中，响应于所述第一加权评级、所述第二加权评级、所述第一复杂性和所述第二复杂性来产生所述性能度量。

7.根据权利要求1所述的装置，其中，响应于二元关键误差因素、第一加权评级和第二加权评级来产生所述性能度量。

8.一种评估驾驶员表现的方法，包括：

-接收指示驾驶员表现的控制数据；

-将所述控制数据与驾驶场景进行比较，其中所述驾驶场景具有第一特征和第二特征；

-为所述第一特征分配第一评级，并且为所述第二特征分配第二评级；

-加权所述第一评级以产生第一加权评级并加权所述第二评级以产生第二加权评级；以及

-响应于所述第一加权评级和所述第二加权评级产生性能度量。

9.一种用于为驱动系统产生性能度量的方法，包括：

-产生用于耦合到车辆控制系统的传感器数据；

-接收指示驾驶员对驾驶场景的响应的控制数据，其中所述驾驶场景具有第一特征和第二特征；

-将所述驾驶员响应与所述第一特征进行比较以产生第一评级并将所述驾驶员响应与所述第二特征进行比较以产生第二评级；

-响应于所述第一评级和所述第二评级产生总评级；以及

-响应于所述总评级，产生指示对所述驾驶场景的所述驾驶员响应的性能度量。

10.根据权利要求9所述的方法，其中，响应于二元关键误差因素、所述第一加权评级和所述第二加权评级来产生所述性能度量。