CN117396853A - 自主车辆规划器性能测试工具 - Google Patents

Abstract

一种评估场景中自我机器人的目标规划器性能的计算机实现方法，该方法包括：在计算机设备的图形用户界面的显示器上渲染自我机器人根据来自目标规划器的第一规划轨迹沿着第一路径移动和比较自我机器人根据来自比较规划器的第二规划轨迹沿着第二路径移动的动态可视化；检测第一轨迹与第二轨迹分歧的交错点；将自我机器人和比较自我机器人渲染为沿着第一路径与第二路径在交错点之前共享的公共路径运动的单个视觉对象；将自我机器人和比较自我机器人渲染为显示器上沿着自交错点起相应第一路径和第二路径的单独视觉对象。

Description

自主车辆规划器性能测试工具

技术领域

本公开涉及测试自主车辆规划器性能的工具和技术及其实现方法、系统和计算机程序。

背景技术

自主车辆领域取得了重大而迅速的发展。自主车辆是一种配备传感器和自主系统而能够在无人控制其行为的情况下运行的交通工具。本文中，术语“自主”涵盖半自主行为和全自主行为。传感器使车辆能够感知其物理环境，例如可包括摄像头、雷达和激光雷达。自主车辆配备适当编程的计算机，能够处理从传感器接收的数据，并根据传感器感知的环境做出安全且可预测的决策。测试特定自主车辆或某类自主车辆(Autonomous Vehicle，AV)上传感器和自主系统的行为涉及不同方面。AV测试可以在现实世界中进行，也可以基于模拟驾驶场景进行。被测自主车辆(现实或模拟)可以称为自我车辆(Ego Vehicle，EV)。

业界的一种测试方法依赖于“影子模式(Shadow Mode)”操作。这种测试旨在使用人类驾驶作为评定自主决策的基准。自主驾驶系统(ADS)在影子模式下根据从配备传感器但人类驾驶的车辆捕获的输入运行。ADS处理人类驾驶车辆的传感器输入，并做出驾驶决策，就好像理论上控制车辆一样。然而，这些自主决策并未实际实行，而只是简单记录下来，目的是将它们与人类实际驾驶行为进行比较。如此累积“影子里程”，通常目的是证明ADS可以在某些方面的表现可能与人类驾驶员一样或更好，如安全性或高效性。

发明内容

现有的影子模式测试存在明显的缺点。影子模式测试可能会标记某些场景，其中可用的测试数据表明ADS的表现与人类驾驶员不同。然而，这种方法存在两个基本缺陷：首先，影子模式操作无法提供可靠的指标来表明若ADS控制车辆则ADS在该场景中实际的表现如何；其次，影子模式操作在某种程度上可以有意义地证明人类和自主行为之间的某些差异，但对这些差异的原因知之甚少。

现有的影子模式系统充其量只能在一定程度上洞察ADS在场景中特定规划步骤的瞬时推理，但无法洞察ADS在场景全程内的实际表现。

另一方面，人类驾驶员的情况恰恰相反。对于人类驾驶员行为只能洞察人类驾驶员在某些驾驶场景中决定采取的实际最终轨迹；但对于这些决策的原因或人类驾驶员专家心中的长期规划却无任何结构化见解。例如，无法断言场景期间的特定事件是否导致人类驾驶员改变对某些早期规划的想法；对于经验丰富的人类驾驶员来说，驾驶是“第二天性”，甚至可能无法用定性用语来表达这些问题。

本申请人开发了一种提供进一步见解的技术，参阅英国专利申请GB2017253.2，其内容通过引用归并本文。引入参考规划器的概念是为了能够在目标规划器(被测规划器)与参考规划器之间进行系统性比较。参考规划器为评定目标规划器的能力提供了客观基准。这两个规划器都制定了可比较的规划，而参考规划器提供了比人类行为更有意义的基准。这项技术的另一优点是能够在模拟场景中实施该方法，从而使其可扩展性大幅提升。参考规划器计算参考规划，目标规划器(被测规划器)计算自我规划。自我规划采用瞬时自我轨迹的形式，其中每个轨迹具有确定轨迹持续时间的“规划范围”。在规划范围结束时，基于最新的可用信息规划新的自我轨迹。规划范围可以是很短时段，从而提供了貌似瞬时的自我轨迹规划。参考规划可以采用瞬时参考轨迹的形式，其中术语“瞬时(instantaneous)”与如上所述的瞬时自我轨迹含义相同。可以使用表现分数将瞬时自我轨迹与瞬时参考轨迹进行比较。

上述将目标规划器与参考规划器进行比较的技术存在许多优点。

例如，可以将目标规划器轨迹与相同场景的参考规划器轨迹进行比较，并且可以根据基于性能的度量来进行判断。通过这种方式，可以断定一组特定情况下参考规划器比目标规划器表现更佳。然而，在轨迹已经实施比较的背景下，这一点是通过针对每个“运行”进行全局评分来实现。例如，一个性能度量是“运行”是否满足道路规则(Road Rule)标准。可以评定所实施的轨迹是否不符合道路规则，但难以评定道路规则失败的原因或可以采取哪些不同做法。在目标规划器不符合道路规则但参考规划器合规的情况下，可能很难弄清这种情况出现的原因以及目标规划器可能需要进行哪些修改。

本发明人认识到，如果可以确立比较下两条行迹的分歧点，则可洞察一个规划器不符合道路规则而另一个规划器符合道路规则的原因。可以利用相同的原理来洞察应将分析重点放在何处来了解其他性能度量。

本发明一方面提供了一种评估场景中自我机器人目标规划器性能的计算机实现方法，该方法包括：在计算机设备的图形用户界面的显示器上渲染自我机器人根据来自目标规划器的第一规划轨迹沿着第一路径移动和比较自我机器人根据来自比较规划器的第二规划轨迹沿着第二路径移动的动态可视化；检测第一轨迹与第二轨迹分歧的交错点；将自我机器人和比较自我机器人渲染为沿着第一路径与第二路径在交错点之前共享的公共路径运动的单个视觉对象；将自我机器人和比较自我机器人渲染为显示器上沿着自交错点起相应第一路径和第二路径的单独视觉对象。

所述方法可以包括向用户指示交错点，其中通过在显示器上轨迹之间确定交错点的位置处渲染视觉指示符。

比较规划器可以是参考规划器，该参考规划器配置为计算比较轨迹的一系列自我规划所用的处理资源超过目标规划器计算其一系列自我规划所用的处理资源。

所述方法可以包括：确定第一轨迹与第二轨迹之间存在多个交错点；确定多个交错点中有至少一个重要的交错点；使用至少一个重要的交错点来控制将自我机器人和比较机器人渲染为单独视觉对象。

某些实施例中，所述方法包括：接收用于评估目标规划器性能的评估数据，生成评估数据是通过自初始场景状态起在场景中应用目标规划器来生成场景中自我机器人所采取的自我轨迹，该自我轨迹定义为至少一个目标轨迹参数；接收比较数据，生成比较数据是通过自相同的初始场景状态起在场景中应用比较规划器来生成表示场景中比较自我机器人所采取轨迹的比较自我轨迹，该比较自我轨迹包括至少一个比较轨迹参数；其中，确定交错点包括：确定比较轨迹参数与实际轨迹参数不同的一点。

所述方法可以包括：确定交错点处实际轨迹参数与比较轨迹参数之间的差异；将所确定的差异与阈值进行比较以标识交错点是否重要。

轨迹参数可以包括自我机器人所采取路径的位置数据，其中，将实际轨迹参数与比较轨迹参数之间的差异确定为距离，其中，阈值表示阈值距离。

轨迹参数可以表示轨迹运动数据，选自：速度、加速度、加加速度和加加加速度。

目标规划器可以包括实现被测规划栈的第一版本软件。比较数据可以接收自实现被测规划栈的第二版本软件。

目标规划器可以包括来自第一来源的第一被测规划栈。比较数据可以接收自来自第二来源的第二被测规划栈。

生成评估数据可以是通过在模拟场景中应用目标规划器来以计算响应第一场景瞬时变化的第一系列自我规划，该第一系列自我规划在第一场景瞬时中实施引起第一自我状态变化，其中，自我轨迹由第一模拟场景瞬时的持续时间内第一自我状态变化来定义。

在第二模拟场景瞬时中生成比较数据可以是通过计算对应于第二模拟场景瞬时中变化的一系列参考规划，该一系列系列参考规划在第二场景瞬时中实施引起第二自我状态变化，其中，比较轨迹由第二模拟场景瞬时的持续时间内第二自我状态变化来定义。

评估数据和比较数据中至少一者可以包括来自自我机器人在现实世界中的运动所实施的实际自我轨迹的行迹数据。

本发明另一方面提供了一种用于评估情景中自我机器人的目标规划器的性能的计算机系统，该计算机系统包括含显示器的图形用户界面、计算机存储器以及一个或多个处理器，其中，计算机存储器中存储有计算机可读指令，这些计算机可读指令被一个或多个处理器执行时促使计算机系统实施任何上述方法。

本发明又一方面提供了一种暂态或非暂态计算机可读介质，其上存储的计算机可读指令被一个或多个处理器执行时实施任何上述方法。

本文描述的技术可用于评估被测系统或被测栈(SUT)。该评估可以通过将SUT与参考规划器进行比较。这些技术还可用于比较特定栈或系统的不同版本，或者比较来自不同来源(例如来自不同公司)的栈或系统。

下面举例结合附图来更清楚地理解本发明。

附图说明

下面举例结合附图来更清楚地理解本发明并表明本发明实施方式，图中：

图1示出了自主车辆运行时栈的高度示意性框图。

图2示出了自主车辆模拟过程中性能测试流程的高度示意性框图。

图3示出了使用内省预言机的交错点识别功能对第一被测系统与第二被测系统进行比较。

图4示出了内省预言机的高度示意性框图。

图5示出了用于标识两个主体的位置行迹中交错点的方法流程图。

图6示出了配置为向用户提供主体行迹和交错点的视觉渲染的示例性图形用户界面。

图7示出了与图6中相同的图形用户界面，其中视觉渲染的时间点晚于图6。

图8示出了与图6中相同的图形用户界面，其中视觉渲染的时间点晚于图7。

图9示出了场景提取管道的高度示意性框图。

具体实施方式

本公开涉及控制图形用户界面(GUI)，以使用户能够轻松识别相应车辆“行驶”的两条行迹之间所谓的“交错点”。第一主体和第二主体的行迹最初对齐(第二主体位于第一主体“下方”并被其隐藏)，从而GUI上只有第一主体可见。可见的时间线包括交错点标记，其指示视频中出现交错的一点，进而数据帧索引用来标识交错点。已识别的交错点用来控制GUI上的可视化效果。亦即，在定义的交错点处，主体所采取的路径在可视化中出现分歧，两个主体在各自的路径上变得可见。

AV栈实例

图1示出了自主车辆AV(本文又称自我车辆EV)的运行时栈100的高度示意性框图。运行时栈100表示为包括感知系统102、预测系统104、规划器106和控制器108。

在现实世界中，感知系统102将从AV的车载传感器系统110接收传感器输入，并使用这些传感器输入来检测外界主体并测量这些主体的物理状态，如主体的位置、速度、加速度等。机载传感器系统110可以采取不同的形式，但大体上包括各种传感器，如图像捕捉器(摄像头/光学传感器)、激光雷达和/或雷达单元、卫星定位传感器(GPS等)、运动传感器(加速度计、陀螺仪等)等，这些传感器共同提供丰富的传感器数据，可以从中提取有关周围环境以及该环境内AV和任何外界参与者(车辆、行人、骑行人等)状态的详细信息。传感器输入通常包括多种传感器形态的传感器数据，如来自一个或多个立体光学传感器、激光雷达、雷达等的立体图像。

感知系统102包括多个感知组件，这些感知组件相互协作来解释传感器输入并由此向预测系统104提供感知输出。检测并按概率表示外界主体的方式可以是反映在感知系统102内感知该外界主体的不确定性水平。

来自感知系统102的感知输出被预测系统104用来预测外界参与者(外界主体，如AV附近的其他车辆)的未来行为。其他主体是EV感知的动态障碍。预测系统104的输出可以例如采取一组预测的障碍物轨迹形式。

将预测系统104计算出的预测提供给规划器106，规划器106使用这些预测做出AV要在给定驾驶场景中执行的自主驾驶决策。场景表示为规划器106使用的一组场景描述参数集。典型的场景将定义可驾驶区域，还将捕获任何静态障碍物以及可驾驶区域内任何外界主体的预测移动。

规划器106的核心功能是考虑任何静态和/或动态障碍物(包括后者的任何预测运动)来规划AV的轨迹(自我轨迹)，这可称为轨迹规划。轨迹规划的目的是在场景内实现预期目标。该目标例如可能是进入环岛并在预期的出口离开；超越前方车辆；或按目标速度留在当前车道上(车道随行)。该目标可以例如由自主路线规划器(未示出)确定。下例中，通过固定或移动目标位置来定义目标，规划器106规划从EV的当前状态(自我状态)到目标位置的轨迹。例如，该目标位置可以是与特定路口或环岛出口相关联的固定目标位置，也可以是在超车情况下保持在前方车辆之前的移动目标位置。本文中，轨迹具有空间分量和运动分量，不仅定义了为自我车辆规划的空间路径，而且定义了沿该路径规划的运动轮廓。

规划器106需要在存在任何静态或动态障碍物(如其他车辆、自行车、行人、动物等)情况下安全导航。

在运行时栈100内，控制器108实施规划器106做出的决策。为了实现这一点，控制器108向AV的机载参与者(Actor)系统112提供适当的控制信号。在任何给定规划步骤中，规划了瞬时自我轨迹之后，规划器106会向控制器108提供足够的规划轨迹数据以允许控制器108实施该规划轨迹的初始部分直到下一个规划步骤。例如，规划器106可以将瞬时自我轨迹规划为递增的未来时刻的一系列离散自我状态，但实际上仅将第一个规划的自我状态(或前几个规划的自我状态)提供给控制器108来进行实施。

在物理AV中，参与者系统112包括可控制为实现车辆移动和现实世界自我状态中的其他物理变化的电动机、致动器等。

来自控制器108的控制信号通常是对参与者系统112的可频繁更新的低级指令。例如，控制器108可以使用如速度、加速度和加加速度等输入来产生控制参与者系统112的组件的控制信号。控制信号可以例如指定特定的方向盘角度或特定的踏板力变化，从而引起速度、加速度、加加速度等变化和/或方向变化。

模拟测试-概述

本公开实施例可有益地应用在基于模拟的测试。例如就栈100而言，为了通过模拟来测试栈100的全部或部分性能，将栈暴露于模拟的驾驶场景。下例考虑了测试规划器106，单独进行，却也可与栈100的一个或多个其他子系统或组件组合。

在模拟驾驶场景中，自我主体基于随着模拟场景进度而从模拟场景导出的模拟输入来实施规划器106做出的决策。通常，自我主体要在存在一个或多个真实车辆需要安全交互的模拟障碍物的情况下在静态可驾驶区域内(例如特定的静态道路布局内)导航。如其他车辆、行人、骑行人、动物等动态障碍物可以在模拟中表示为动态主体。

模拟输入的处理方式与相应的物理输入完全相同，最终形成规划器在模拟场景过程中自主决策的基础。自我主体又会执行这些决策，从而模拟物理自主车辆在此类情况下的行为。在模拟中，这些决策最终会随着模拟自我状态变化而实现。规划器106与模拟器之间存在双向交互，其中规划器106做出的决策影响模拟，而模拟中的变化影响随后的规划决策。可以记录结果并根据安全和/或其他性能标准分析结果。

本说明书上下文中，被测栈(Stack Under Test，SUT)可以视为单个黑盒(Black-Box)单元，其生成用于交错点识别功能的数据。可以调整SUT的某些参数，或者调整模拟和感知模糊(PRISM、PEM)参数，但本文不对此赘述。

例如就栈100而言，若要测试全栈(包括整个感知系统102)，则模拟输入将采取模拟传感器输入的形式提供给感知系统120的最低级组件。然后，感知系统102会像解释真实传感器数据那样解释模拟传感器输入，以便提供感知输出(从通过解释模拟传感器数据而导出的意义上进行模拟)。这可以称为“全”模拟，通常涉及生成足够真实的模拟传感器输入(如逼真的图像数据和/或同样真实的模拟激光雷达/雷达数据等)，这些输入又可馈送到感知系统102并以与真实传感器数据完全相同的方式进行处理。感知系统所得的输出又会馈送到更高级别的预测规划系统，测试这些组件对模拟传感器输入的响应。

替选地，在本文中可称为“无头”模拟的情况下，直接从模拟计算出模拟感知输出，绕过了部分或全部感知系统102。在现实世界背景下，等效的感知输出源自感知系统102的一个或多个感知组件，解释来自传感器的低级传感器输入。在无头模拟中，不应用这些感知组件，而是直接从模拟的地面实况计算出这些感知组件的感知输出，而不必模拟这些感知组件的输入。例如，对于边界框检测器，并不生成模拟传感器数据并将边界框检测器应用于模拟传感器数据，而是直接从模拟计算出模拟边界框检测输出。

图2示出了测试管道的示意性框图。测试管道表示为包括模拟器202、测试预言机252和“内省”预言机253。模拟器202运行模拟的目的是测试全部或部分EV运行时栈。

图2示出了被测AV栈100内的预测系统104、规划系统106和控制系统108，其中模拟感知输入203从模拟器202馈送到栈100。当完整的感知系统102在被测栈中实施时，模拟感知输入203将会包括模拟传感器数据。

模拟感知输入203用作预测基础，最终由规划器108做出决策。但应当注意，模拟感知输入203相当于感知系统102将会输出的数据。为此，模拟感知输入203也可视作输出数据。控制器108又通过输出控制信号109来实施规划器的决策。在现实世界背景下，这些控制信号将驱动AV的物理参与者系统112。测试中生成的控制信号的格式和内容与现实世界背景下的相同。然而，在测试管道200内，这些控制信号109反而驱动自我动力模型204在模拟器202内模拟自我主体的运动。

就外界主体在模拟器202内表现出自主行为/决策而言，实施某种形式的主体决策逻辑210以执行这些决策并相应地在模拟器202内驱动外界主体动态。主体决策逻辑210在复杂度上可以与自我栈100本身相当，或者可以具有更有限的决策能力。其目的在于，在模拟器202内提供足够真实的外界主体行为，以便能够有效地测试自我栈100的决策能力。某些背景下，这根本无需任何主体决策逻辑210(开环模拟)，而其他背景下，可以使用相对有限的主体逻辑210(如基本自适应巡航控制(ACC))来提供有效的测试。类似于自我栈100，任何主体决策逻辑210均由来自模拟器202的输出驱动，模拟器202又用来导出主体动态模型206的输入作为主体行为模拟的基础。

驾驶场景的模拟是根据场景描述201来运行，场景描述201既有静态层201a又有动态层201b。

静态层201a定义场景的静态元素，通常包括静态道路布局。

动态层201b定义关于场景内外界主体的动态信息，如其他车辆、行人、自行车等。所提供的动态信息范围可能发生变化。例如，针对每个外界主体，动态层201b可以包括该主体所遵循的空间路径以及该路径相关联的运动数据和行为数据之一或两者。

在简单的开环模拟中，外界参与者仅遵循动态层中定义的空间路径和运动数据，该动态层为非反应式，即不会对模拟内的自我主体做出反应。这种开环模拟无需任何主体决策逻辑210即可实施。

但在“闭环”模拟中，动态层201b却定义沿着静态路径遵循的至少一种行为(如ACC行为)。在此情形下，主体决策逻辑210在模拟内反应式实施该行为，即对自我主体和/或其他外界主体做出反应。运动数据仍可以与静态路径相关联，但在此情形下规范性较弱，可以例如用作沿路径的目标。例如，对于ACC行为，可以沿着主体寻求匹配的路径设定目标速度，但可允许主体决策逻辑110在沿着路径的任何点将外界主体的速度降低到目标以下，以便与前方车辆保持目标车距。

模拟器202针对给定模拟的输出包括自我主体的自我踪迹212a以及一个或多个外界主体的一个或多个主体踪迹212b(踪迹212)。

行迹是模拟中主体路径的历史记录。行迹可以采取位置集的形式提供，每个位置与数据[x,y,yaw,Ts]相关联，其中x和y是笛卡尔坐标轴中位置的x,y坐标，yaw表示主体姿态，Ts是表示记录数据时间的时间戳。应当注意，时间戳可以与模拟起始时间相关，也可以表示与起始时间的时间差而非实际时间。

行迹表示模拟内主体行为的完整历史记录，既有空间分量又有运动分量。例如，行迹可以采取先前行进空间路径的形式，该空间路径的运动数据与沿途定义运动轮廓的点相关联。运动数据可以是速度、加速度、加加速度(加速度变化率)、加加加速度(加加速度变化率)等。

一些实施例中，将模拟器生成的每个行迹与其测试度量和/或环境数据相关联地提供给内省预言机253。内省预言机253操作为比较不同运行的行迹。具体地，该内省预言机253操作为将第一被测栈中模拟运行的行迹与第二被测栈中模拟运行的行迹进行比较。本文使用的词语“运行(Run)”是指模拟场景或现实世界驾驶场景的特定瞬时。亦即，术语“运行”可指模拟场景的特定输出，也可指来自现实世界AV的原始数据。

运行的长度可能有所变化。例如，可以从属于现实世界AV运行的原始数据中提取运行，在此情形下，运行理论上可以是任意长度，甚至≥30分钟。此外，可以从这样的原始数据中提取场景，并且可以通过模拟产生基于提取场景的进一步运行，其具有与原始数据相同的理论上任意长度。替选地，场景可以采取人为设计，即有意构建场景来评定特殊AV行为。在此情形下，场景可能短至～50秒。应当理解，上述运行长度仅为示例性，应当视为非限制性。

还提供附加信息来补充踪迹212并为其提供上下文。这种附加信息称为“环境”数据214，可以既有静态分量(例如道路布局)又有动态分量(例如模拟过程中变化的天气条件)。

在某种程度上，环境数据214可以是“透传”数据，因为该数据直接由场景描述201定义而不受模拟结果影响。例如，环境数据214可以包括直接来自场景描述201的静态道路布局。然而，环境数据214通常包括模拟器202内导出的至少一些元素。这可以例如包括模拟的天气数据，其中模拟器202随着模拟进度而自由改变天气条件。在此情形下，天气数据可以具时间相关性，该时间相关性会反映在环境数据214中。

本公开涉及在内省预言机中执行交错点识别功能。交错点识别功能有助于内省预言机确定规划器或规划栈组件可能改进性能之处。本文描述的方法未必需要测试预言机。然而，该方法是在内省预言机可在某些实施例中操作的背景下予以描述。例如，在某些实施例中，测试预言机检查EV是否违反道路规则。

测试预言机可用于自动选择/分割关注的场景，以便使用内省预言机进行进一步检查，例如在第一被测系统(SUT1)不符合给定规则集的场景中，因为已知第一SUT1表现不佳，第二被测系统SUT2可能表现更佳。

存在测试预言机252的情况下，其接收行迹212和环境数据214，并且评定行迹是否违反任何道路规则。这一点是通过将行迹数据与一组“数字公路法规(Digital HighwayCode，DHC)”或数字驾驶规则(Digital Driving Rule)进行比较来完成。如上所述，测试预言机还可以提取行迹中关注的片段，以供内省预言机进行后续分析。

测试预言机的输出(例如，在本次运行中，EV违反X规则，进而表现不佳)可能有益的原因是，它预先选择潜在关注的情形，其中内省预言机可能会在与不同的参考栈进行比较时发现不同的性能。

然而，内省预言机的“运行”数据可以通过多种方式获得-测试预言机输出不是必要条件。运行数据可以通过其他方式获取(例如，分类引擎可以在模拟或真实场景中测试AV栈性能期间生成或找到这些数据)。

图3示出了使用内省预言机的交错点识别特征对第一被测系统SUT1与第二被测系统SUT2进行比较的示例性框图。每个被测系统均与模拟相关联。模拟可以由对相应被测系统编程的同一模拟器来执行，或者可以由单独的模拟器来执行。行迹具有共同的起始状态，但由各个被测系统独立生成。

一些实施例中，可以将被测系统之一与参考规划器进行比较。在此情形下，第二被测系统是参考规划器系统。输出是比较系统的运行之间检测到的一个或多个交错点。

对于这种应用，需要用户运行的详情。图9示出了场景提取管道的高度示意性框图。现实世界运行的运行数据140传递到地面实况管道142以便生成场景地面实况。运行数据140可以例如包括在一辆或多辆车辆(可以是自主车辆、人类驾驶车辆或二者组合)上捕获/生成的传感器数据和/或感知输出以及/或者从外置传感器等其他来源(CCTV等)捕获的数据。如图9所示，从运行规划栈152(标记为栈A)的自主车辆150提供运行数据140。在地面实况管道142内处理运行数据，以便针对现实世界运行生成适当的地面实况144(行迹和上下文数据)。地面实况处理可以基于对原始运行数据142的手动注释，或者该过程可以完全自动化(例如，使用离线感知方法)，或者可以使用手动和自动地面实况的组合。例如，可以将3D边界框放置在运行数据140中捕获的车辆和/或其他主体周围，以便确定其踪迹的空间状态和运动状态。场景提取组件146接收场景地面实况144并处理该场景地面实况以提取可用于模拟目的的抽象场景描述148。将该场景描述提供给模拟器202以便能够执行模拟运行。为此，模拟器202可以利用标记为栈B[config 1]的栈100。下面详述其相关性。栈B是规划器栈，用于比较目的，将其性能与真实运行中运行的栈A的性能进行比较。栈B可以例如是参考栈，如下所述。应当注意，模拟器的运行输出是由规划器栈B使用从真实运行中提取的场景内所含的地面实况生成。这样最大限度地提高了规划器栈B的执行能力。

将来自模拟的运行数据提供给内省预言机253。地面实况的真实运行数据也提供给内省预言机156。

图4是内省预言机253的示意性框图。处理器50接收用于评估被测系统性能的数据。在输入52处接收数据。图中示出单个输入，但很容易理解，可以实施对内省预言机的任何形式的输入。特别地，来自第一被测系统的评估数据和来自第二被测系统的比较数据可能存在不同的输入。处理器50将接收到的数据存储在存储器54中。图4示出了不同的存储器部分保存不同类型的数据。存储器部分56保存比较数据，存储器部分58保存评估数据。但这完全为示意性说明，应当理解，可以实施任何存储输入数据的方式。处理器50还可访问代码存储器60，代码存储器60存储有计算机可执行指令，这些指令被处理器50执行时配置处理器50实行某些功能。存储器60中存储的代码可以与比较数据和评估数据存储在同一存储器中。但更可能的是，用于存储比较数据和评估数据的存储器将配置用于逐帧接收数据，而用于存储代码的存储器60将位于处理器内部。

处理器50执行来自代码存储器60的计算机可读指令以执行交错点确定功能62。交错点确定功能62访问存储器54来接收比较数据和评估数据，如下所述。交错点确定功能62确定至少一个交错点，此处比较行迹参数与被评估的自我机器人的实际行迹参数不同。该功能确定在所确定的交错点处实际行迹参数与比较行迹参数之间的差异。该功能将所确定的差异与阈值进行比较以标识交错点是否重要。为了确定交错点是否重要，交错点确定功能62访问阈值表64，每个阈值与特定行迹参数相关联。

内省预言机253可以连接到或合并图形用户界面68。处理器实施视觉渲染功能66来控制图形用户界面68向用户呈现机器人行迹和交错点，如下所述。

内省预言机253配置为确定其正比较的两个行迹之间的交错点。该交错点是标识在行迹分歧点处。参照图5所述的示例中，交错点定义为沿着主体相应行迹的位置。注意下述内容中，假设行迹已经对齐，以便进行比较并标识交错点。一种对齐行迹的方式是在两种情形下以相同状态同时开始场景。因此，行迹起点对齐。另一种对齐场景的方式是使用图案匹配来识别两条行迹之间的相似性，从而使之对齐。

如下文参照图5至图8的全面描述，通过标识两条行迹分歧的位置、然后评定该分歧是否“关注”来识别交错点。即在许多情况下，主体行迹可能会出现分歧，但这些分歧不会对任何相关的性能度量产生影响。因此，识别所有分歧点而不评定分歧点是否与进一步调查相关则毫无用处。这可以通过基于正调查的分歧度量评定行迹分歧点处的分歧值是否高于阈值来完成。在图5的示例中，分歧与位置相关，因而阈值是距离值。

在一种或多种分歧类别中，两条行迹之间可能存在不止一个分歧点(事实上，这很有可能)。一些实施例中，可以提供以单个值评定这些分歧的总分。例如，每个分歧类别可以加权计算总分。

如上所述，运动规划数据可以构成多个分歧类别。例如，可以评定主体车辆在速度、加速度、加加速度或加加加速度方面的分歧。这会允许测试人员确立运行在主体行为方面有何不同。例如下述实施例中，在一个被测系统中，主体车辆响应于前方车辆而减速，而在另一个被测系统中，主体车辆加速并进行超车动作。

下文指出，“帧”可以表示主体行迹数据已被记录的瞬时。该程序可以应用于主体行迹数据集，该数据集包括多帧。因而，特定主体行迹数据集中帧的时间间隔取决于数据采样率。

图5示出了可用于标识两个主体的位置行迹中交错点的示例性方法流程图。行迹可以涉及模拟数据、现实世界数据或上述组合。

在图5的示例中，正分析两个主体行迹，假设两个主体行迹的时间帧已对齐。应当理解，这里提供的示例性功能名称和列表名称可以根据用户偏好来替换为任何替选名称。步骤S1，用户可以定义函数“frame_difference”，其返回特定帧的两个主体车辆的位置差异。

步骤S3，可以创建标题为“frame_by_frame_diff”的列表。“frame_by_frame_diff”列表可以编程为将“frame_difference”函数的每个输出存储为单独的元素。“frame_by_frame_diff”列表包括大量值，每个特定值表示两个主体的位置差异并对应于主体行迹数据集中的特定帧。

步骤S5，将“frame_by_frame_diff”列表中的每个元素与预定义的阈值进行比较，该阈值表示主体分离距离，超过该距离则视为已经出现交错点。

步骤S7，可以定义“points_over_threshold”列表，“points_over_threshold”列表是“frame_by_frame_diff”列表的过滤版本，仅包括“frame_by_frame_diff”列表中超过预定义阈值的元素。因此，“points_over_threshold”列表可以至少包括“frame_by_frame_diff”列表中元素的子集。

步骤S9，程序然后可以执行长度命令(例如，PYTHON中的“len()”)以确定“points_over_threshold”列表内所含的元素数目。如果长度命令应用于“points_over_threshold”列表时返回零，则系统确定“frame_by_frame_diff”列表中不存在任何元素超过预定义阈值。因而，在此情形下，主体行迹数据集中不存在交错点；该过程标记为S11。

替选地，长度命令应用于“points_over_threshold”列表时可以返回非零整数。在此情形下，系统确定“frame_by_frame_diff”列表中的一个或多个元素超过预定义阈值，所标识交错点的数量与非零整数相同。步骤S13，程序可以使用“frame_by_frame_diff”列表上的索引命令来确定交错点出现在主体行迹数据的哪一帧中。步骤S15，程序然后可以返回已经标识交错点的指示，并且返回交错点出现帧的索引。应当注意，可以定义例如名为“find_juncture_point_index”的函数，当对两个主体的行迹数据执行该函数时，执行标记为S3到S15的所有步骤。

图6示出了配置为向用户提供主体行迹和交错点的视觉渲染的示例性图形用户界面(GUI)600。本实施例中，可以向希望快速轻松比较规划栈的用户显示有用的可视化。本实施例提出的方法包括在图形用户界面的显示器上渲染自我机器人根据来自目标规划器的第一规划轨迹沿着第一路径移动和比较自我机器人根据来自比较规划器的第二规划轨迹沿着第二路径移动的动态可视化。例如使用本文描述的技术来确定第一轨迹与第二轨迹分歧的交错点。自我机器人和比较自我机器人渲染为在交错点之前沿着第一路径和第二路径共享的公共路径运动的单个视觉对象，也渲染为显示器上从交错点开始沿着各自的第一路径和第二路径的单独视觉对象。

图6的GUI 600提供了包括所标识交错点的场景的视觉渲染，该视觉渲染呈视频格式。GUI 600包括时间线607。时间线607可以是可选择的特征，当用户在时间线607上的特定位置选择该特征时，可以促使相关联的视频跳转到与时间线607上所选点相对应的场景瞬时。时间线607还包括时间演变条609，提供了用户正观看视频中哪一点的视觉指示。当视频正在播放时，时间演变条609即可沿着时间线607前进。GUI 600还包括暂停按钮619，暂停按钮619配置为在选择时停止或开始视频。

GUI 600还包括显示数字的帧计数器611。帧计数器611显示的数字是视频中当前正呈现的主体数据帧的索引。当视频正在播放时，帧计数器611中显示的数字将会改变，使得帧编号始终与该帧处的行迹视觉渲染一致。GUI还包括前进按钮613和后退按钮615，分别配置为导航到视频中的下一帧或前一帧。

图6的GUI 600示出了两个主体(自我车辆601和第二主体603)的行迹重叠。GUI600中所示的视频允许用户可视化两条行迹之间出现交错点的瞬时。在图6中，自我车辆601和第二主体603的行迹对齐，从而GUI 600上只有自我车辆601可见。然而，时间线607包括交错点标记617，其指示视频中出现交错的一点，进而指示数据帧索引(使用帧计数器611)。已识别的交错点用于渲染图6所示的可视化效果。亦即，正是定义的交错点导致车辆行经的路径在可视化中出现分歧。GUI 600还示出了障碍物605，可以例如是停放的汽车。

图7示出了与图6中相同的GUI 600，GUI 600也显示与图6中相同的视频。在图7中，时间演变条609进一步前进到时间线607右侧，并且帧计数器611相应地显示更大的数字。这表明图7所示的瞬时发生时间晚于图6所示的瞬时。

在图7中，自我车辆601和第二主体603已经行驶到更靠近障碍物605。然而，行迹已经开始发生分歧，使得第二主体603此时在自我车辆601下方部分可见。时间演变条609显示为已经前进到时间线607上的交错点标记，进而指示两辆车辆刚刚超过视为已出现交错点的阈值距离。

图8示出了与图6和图7中相同的GUI 600，GUI 600也显示与图6和图7中相同的视频。在图8中，时间演变条609已经进一步前进到时间线607右侧。帧计数器611又显示比图7中更大的数字，进而指示图8显示的瞬时发生时间晚于图7所示的瞬时。交错点标记617的位置还指示所示瞬时发生在交错点之后。

在图8中，自我车辆601和第二主体603的行迹分歧更加明显。自我车辆601和第二主体603此时在视觉上完全不同，即自我车辆601和第二主体603的图形表示无重叠。在模拟中，自我车辆行迹包括超越障碍物605的超车动作。然而，第二主体行迹中未发生这样的动作。第二主体603反而在障碍物605后面保持相对静止。

如本文所述，某些性能度量可以提供给内省预言机的交错点识别功能。

性能度量

性能度量254可以基于各种因素，如EV运行的距离、速度等。替代地或附加地，监测对一组适用道路规则集的合规情况，如适用于英国公路用户的公路法规。在本文中，术语“数字公路法规(DHC)”和“数字驾驶规则”可作同义使用。DHC术语仅为方便速记，并不暗示任何具体的驾驶管辖区。DHC可以由任何一组道路或交通规则组成，可能包括例如留在车道上或在停车标志处停车等规则。可以构建度量来测定栈在遵循DHC规则集方面的表现如何。

性能度量254重点关注车辆的驾驶情况。举例而言，车辆可以保持在车道上，但可能在车道边缘之间突然转向而令乘客感到不适或不安全。即使遵循一组DHC道路规则集，使用性能度量254也能识别如本例中的不良性能。性能度量254可以例如测定诸如舒适性、安全性、相对于潜在行驶距离的实际行驶距离等因素，每个因素在场景和存在其他主体的背景下进行评定。每个度量都是数字且与时间相关，给定度量在部分时间的值称为当时该度量的分数。

相对简单的度量包括基于车辆速度、加速度、加加速度等或到另一主体的距离(例如到最近骑行人的距离、到最近迎面车辆的距离、到路边的距离、到中心线的距离等)的度量。舒适性度量可以根据加速度或加速度的一阶或高阶时间导数(加加速度、加加加速度等)对路径进行评分。其他形式的度量衡量实现既定目标的进度，例如抵达特定环岛出口。一种简单的进度度量可以简单地考虑抵达目标所需的时间。更复杂的度量会量化诸如“错过时机”等概念，例如在环岛背景下，自我车辆错过进入环岛时机的程度。

对于每个度量，定义了相关联的“失败阈值”。如果自我主体相对于该度量的分数低于该阈值，则称该自我主体未通过该度量。

并非所有度量254都必然适用于给定场景。例如，可以选择适用于给定场景的度量254子集。测试预言机252可以根据关于所考虑场景的环境数据214和用于模拟该场景的场景描述201之一或两者来选择适用的度量子集。例如，某些度量可能仅适用于环岛或交叉路口等，或者仅适用于某些天气或照明条件。

度量254及其相关联的失败阈值之一或两者可以适应给定场景。例如，基于速度的度量和/或其相关联的失败度量可以根据适用的速度限制以及天气/照明条件等来进行调整。

交错点识别(Juncture Point Recognition)可以使用所有上述度量以及其他数据作为其输入。

如本文所述，一种可能性是将第一被测系统SUT1与第二被测系统SUT2进行比较，其中第二被测系统是参考规划器。在某些情况下，参考规划器能够产生更优的轨迹，因为它不一定受到与目标规划器相同的约束。具体地，第一被测系统SUT1通常需要实时操作，可能在资源受限的平台上操作(计算和/或存储器资源有限)，如自主车辆的车载计算机系统。参考规划器不必受到相同的约束—它可获更大量的计算和/或内存资源，又未必要实时操作。

举例而言，参阅英国专利申请GB2001200.1、GB2001202.7和GB2001277.9以及F·Eiras、M·Hawasly、S·V·Albrecht和S·Ramamoorthy著“A two-stage optimizationapproach to safe-by-design planning for autonomous driving(自主驾驶安全设计规划的两阶段优化方法)”，arXiv preprint arXiv:2002.02215,2020，它们均通过引用全文归并本文。这些文献公开了多阶段约束优化规划器，能够鲁棒地规划高质量轨迹。然而，使用本领域现有硬件和求解器未必能实时实施(至少在不影响性能的情况下)。这样的规划器可以用作参考规划器来评估实时目标规划器的性能。应当理解，这仅为合适参考规划器的一个实例。

本文描述的实例应理解为本发明实施例的说明性实例。本文可以设想更多的实施例及实例。关于任何实例或实施例描述的任何特征可以单独使用或者与其他特征组合使用。另外，关于任何实例或实施例描述的任何特征也可以与任何其他实例或实施例的一个或多个特征组合使用，或者与任何其他实例或实施例的任意组合结合使用。另外，在权利要求定义的本发明保护范围内，也可以采用本文未描述的等同和修改方案。

Claims (17)

1.一种评估场景中自我机器人的目标规划器性能的计算机实现方法，该方法包括：

在计算机设备的图形用户界面的显示器上渲染自我机器人根据来自目标规划器的第一规划轨迹沿着第一路径移动和比较自我机器人根据来自比较规划器的第二规划轨迹沿着第二路径移动的动态可视化；

检测所述第一轨迹与所述第二轨迹分歧的交错点；

将所述自我机器人和所述比较自我机器人渲染为沿着所述第一路径与所述第二路径在所述交错点之前共享的公共路径运动的单个视觉对象；

将所述自我机器人和所述比较自我机器人渲染为所述显示器上沿着自所述交错点起相应第一路径和第二路径的单独视觉对象。

2.根据权利要求1所述的方法，包括：向用户指示所述交错点，其中通过在所述显示器上轨迹之间确定所述交错点的位置处渲染视觉指示符。

3.根据权利要求1或2所述的方法，其中，所述比较规划器是参考规划器，所述参考规划器配置为计算所述比较轨迹的一系列自我规划所用的处理资源超过所述目标规划器计算其一系列自我规划所用的处理资源。

4.根据任一项前述权利要求所述的方法，包括：

确定所述第一轨迹与所述第二轨迹之间存在多个交错点；

确定所述多个交错点中有至少一个重要的交错点；

使用所述至少一个重要的交错点来控制将所述自我机器人和所述比较机器人渲染为单独视觉对象。

5.根据任一项前述权利要求所述的方法，包括：

接收用于评估目标规划器性能的评估数据，生成所述评估数据是通过自初始场景状态起在所述场景中应用目标规划器来生成所述场景中所述自我机器人所采取的自我轨迹，所述自我轨迹定义为至少一个目标轨迹参数；

接收比较数据，生成所述比较数据是通过自相同的初始场景状态起在所述场景中应用所述比较规划器来生成表示所述场景中所述比较自我机器人所采取轨迹的比较自我轨迹，所述比较自我轨迹包括至少一个比较轨迹参数；

其中，确定所述交错点包括：确定所述比较轨迹参数与所述实际轨迹参数不同的一点；

6.根据权利要求5所述的方法，包括：

确定所述交错点处所述实际轨迹参数与所述比较轨迹参数之间的差异；

将所确定的差异与阈值进行比较以标识所述交错点是否重要。

7.根据权利要求5或6所述的方法，其中，所述轨迹参数包括所述自我机器人所采取路径的位置数据，其中，将所述实际轨迹参数与所述比较轨迹参数之间的差异确定为距离，其中，所述阈值表示阈值距离。

8.根据权利要求5至7中任一项所述的方法，其中，所述轨迹参数表示轨迹运动数据，选自：

速度、加速度、加加速度和加加加速度。

9.根据权利要求5至8中任一项所述的方法，其中，生成所述评估数据是通过在模拟场景中应用所述目标规划器来以计算响应第一场景瞬时变化的第一系列自我规划，所述第一系列自我规划在所述第一场景瞬时中实施引起第一自我状态变化，其中，所述自我轨迹由第一模拟场景瞬时的持续时间内所述第一自我状态变化来定义。

10.根据任一项前述权利要求所述的方法，其中，所述目标规划器包括实现被测规划栈的第一版本软件。

11.根据权利要求5的从属权利要求10所述的方法，其中，所述比较数据接收自实现所述被测规划栈的第二版本软件。

12.根据任一项前述权利要求所述的方法，其中，所述目标规划器包括来自第一来源的第一被测规划栈。

13.根据权利要求5的从属权利要求12所述的方法，其中，所述比较数据接收自来自第二来源的第二被测规划栈。

14.根据任一项前述权利要求所述的方法，包括：在第二模拟场景瞬时中生成所述比较数据是通过计算对应于所述第二模拟场景瞬时中变化的一系列参考规划，所述一系列系列参考规划在第二场景瞬时中实施引起第二自我状态变化，其中，所述比较轨迹由第二模拟场景瞬时的持续时间内所述第二自我状态变化来定义。

15.根据任一项前述权利要求所述的方法，其中，所述评估数据和所述比较数据中至少一者包括来自所述自我机器人在现实世界中的运动所实施的实际自我轨迹的行迹数据。

16.一种用于评估情景中自我机器人的目标规划器的性能的计算机系统，所述计算机系统包括含显示器的图形用户界面、计算机存储器以及一个或多个处理器，其中，所述计算机存储器中存储有计算机可读指令，所述计算机可读指令被所述一个或多个处理器执行时促使所述计算机系统实施根据前述权利要求中任一项所述的方法。

17.一种暂态或非暂态计算机可读介质，其上存储的计算机可读指令被一个或多个处理器执行时实施根据权利要求1至15中任一项所述的方法。