CN113753040B - 预测弱势道路用户乱穿马路行为 - Google Patents

Abstract

可以预测诸如骑自行车者或行人等弱势道路用户(VRU)的乱穿马路行为。获得位置数据，该位置数据标识车辆附近的VRU的位置。获得描述VRU的环境的环境数据，其中环境数据标识VRU的环境中的环境特征集。系统可以确定VRU的标称走向，并生成预测性输入集，该预测性输入集针对环境特征集的至少一个子集中的每一个，指示VRU和环境特征之间的物理关系。该物理关系可以相对于VRU的标称走向和VRU的位置来确定。可以利用走向估计模型来处理预测性输入集，以生成VRU的预测的走向偏移(例如，目标走向偏移)。

Description

预测弱势道路用户乱穿马路行为

技术领域

本申请涉及预测弱势道路用户(Vulnerable road user，VRU)的乱穿马路(jaywalking)行为的系统、方法、设备和其他技术。

背景技术

自主车辆使用各种车载传感器和计算机系统来检测附近的对象，并且使用这些检测来做出控制和导航决策。弱势(vulnerable)道路用户(VRU)(诸如骑自行车者、行人和低速车辆)通常出现在自主车辆操作的道路上。

发明内容

本说明书描述了用于预测VRU的乱穿马路(jaywalking)行为的系统、方法、设备和其他技术。VRU经常做出与主要道路用户(诸如汽车、卡车或摩托车)明显不同的移动和操纵。例如，与主要道路用户不同，VRU可能不遵守普通的交通法规，并且可能试图使用不符合通行交通模式的不规则移动来穿越道路。尽管如此，主要道路用户通常与VRU共享道路，并且在他们在场的情况下，自主车辆(例如，自驾驶汽车)必须小心以安全地操作车辆。本说明书描述了可以用于预测VRU是否可能在诸如自驾驶汽车的车辆前面乱穿马路和抢道的机器学习技术和预测模型。此外，对于被预测为乱穿马路的VRU，描述了用于预测VRU朝向终点(terminal)位置(例如，乱穿马路者朝向的街道对面的位置)的最终走向(heading)的技术。例如，走向估计模型(例如，也可以被称为“乱穿马路目标估计模型”或“乱穿马路目标预测模型”)可以预测到VRU的标称走向(nominal heading)的偏移，该偏移指示为了到达VRU的终点位置，VRU的走向可能改变了多少。然后，当做出自主驾驶决策时，自主车辆的规划和控制系统可以考虑预测的走向、预测的终点位置或两者。

本文所描述的主题的一些实现方式包括由一个或多个计算机的系统执行的方法。该方法可以包括获得(i)标识在道路上行驶的车辆附近检测到的弱势道路用户(VRU)的位置的位置数据，以及(ii)获得描述VRU的环境的环境数据，其中该环境数据标识VRU的环境中的环境特征集。该系统可以确定VRU的标称走向，并生成预测性输入集，该预测性输入集指示对于该环境特征集的至少一个子集中的每一个、VRU和环境特征之间的物理关系。该物理关系可以相对于VRU的标称走向和VRU的位置来确定。可以用走向估计模型来处理该预测性输入集，以生成VRU的预测的走向偏移。

在一些示例中，这些和其他实现方式可以包括以下特征中的一个或多个。

系统可以使用预测的走向偏移、或从预测的走向偏移导出的值，来规划在道路上行驶的车辆的移动。

可以基于VRU的标称走向和VRU的预测的走向偏移之和，来确定VRU的绝对预测走向。

系统可以将VRU的当前走向指定为VRU的标称走向。

系统可以进一步执行选择环境特征集中的第一环境特征、以及确定沿着第一环境特征的点的位置的动作。确定VRU的标称走向可以包括确定VRU和沿着第一环境特征的点之间的向量，并且将向量的方向指定为VRU的标称走向。

第一环境特征可以是道路边缘。沿着第一环境特征的点可以基于是沿着道路边缘到VRU的最近点而被选择。标称走向指示从VRU到沿着道路边缘的最近点的方向。

基于VRU的位置历史和环境数据，可以确定指示VRU是否正在车辆行驶的道路上乱穿马路或可能在车辆行驶的道路上乱穿马路的乱穿马路预测。系统可以响应于指示VRU正在车辆行驶的道路上乱穿马路或可能在车辆行驶的道路上乱穿马路的乱穿马路预测，生成VRU的预测的走向偏移。

系统可以被配置为响应于指示VRU没有在车辆行驶的道路上乱穿马路并且不太可能在车辆行驶的道路上乱穿马路的乱穿马路预测，而不生成VRU的预测的走向偏移。

可以基于VRU的位置历史和环境数据生成第二预测性输入集。可以利用乱穿马路预测模型来处理第二预测性输入集，以生成乱穿马路预测，并且乱穿马路预测模型可以是使用监督机器学习技术训练的机器学习模型。

乱穿马路预测模型可以是或包括决策树、随机决策森林、人工神经网络或回归模型。

环境特征集可以包括道路边缘、车道边界、步行道、自行车道、路沿(road curb)或交叉路口中的至少一个。

VRU可以是行人、骑自行车者或低速机动车辆。

车辆可以是全自主或半自主车辆。

可以分析由车辆感测系统捕获到的传感器数据，以将VRU分类为预定义的VRU类型集之一。系统可以从与预定义的VRU类型集中的不同的VRU类型相对应的预定义的走向估计模型集中选择第一走向估计模型，用作处理预测性输入集并生成VRU的预测的走向偏移的走向估计模型，该第一走向估计模型对应于VRU的分类后的类型。

预测的走向偏移可以包括反映预测的置信度或不确定性的走向偏移值的范围。

预测的走向偏移可以用于预测VRU的终点位置，其中该终点位置可以包括第一环境特征的点或段，在该点或段处，VRU被预测为与第一环境特征相交。

第一环境特征可以是或包括道路边缘。

走向估计模型可以是使用监督机器学习技术训练的机器学习模型。

如预测性输入集的第一预测性输入所指示的，VRU和环境特征集的第一环境特征之间的物理关系可以包括VRU和第一环境特征之间的位置关系、距离关系或角度关系中的至少一个。

本文所公开的主题的其他方面包括一种系统，该系统包括存储器和数据处理装置，该数据处理装置被配置为执行本文所描述的任何方法或过程。一些实现方式提供了用指令编码的一个或多个非暂时性计算机可读介质，当由数据处理装置执行这些指令时，这些指令使得数据处理装置根据本文所描述的任何方法或过程来执行操作。

本说明书中公开的主题的一些实现方式可以实现以下优点中的一个或多个。第一，通过预测自驾驶汽车附近的VRU的行为，可以做出考虑到VRU的未来行为的自驾驶决策。以这种方式，自驾驶汽车不仅可以基于VRU的当前位置和走向来规划操纵，还可以基于VRU的预测的位置和走向来规划操纵。第二，通过对机器学习模型的使用，系统可以实现相对于其他方法(诸如基于启发式的模型)的提高的准确度、精度和/或查全率(recall)。也可以在更大的数据集上训练机器学习模型，这些数据集将该模型暴露给更多的特征和样本场景。第三，通过仅当环境中的代理(例如，VRU)被第一次检测到当前正在乱穿马路或被第一次预测到在一段时间内可能乱穿马路时，才选择性地生成代理的预测的走向，可以减少计算开销。第四，本说明书中描述的方法可以有利地允许彼此独立地训练乱穿马路预测模型和走向估计模型。

在附图和以下描述中阐述本说明书主题的一个或多个实施例的细节。根据说明书、附图和权利要求，本主题的其他特征、方面和优点将变得清楚。

附图说明

图1描绘了计算系统的示例环境，该计算系统被配置为训练机器学习模型并将机器学习模型应用于与VRU的行为预测相关的任务。

图2示出了自驾驶汽车附近的示例物理环境的俯视图。

图3是用于预测位于第一车辆的道路上或附近的VRU的乱穿马路行为的示例过程的流程图。

图4是基于相对于候选道路边缘集计算出的标称走向来预测VRU的走向的示例过程的流程图。

图5是示出特征生成器和乱穿马路预测模型对数据输入的处理的框图。

图6是示出特征生成器和走向估计模型对数据输入的处理的框图。

图7是用于训练乱穿马路预测模型的示例过程的流程图。

图8是用于训练走向估计模型的示例过程的流程图。

图9示出了自驾驶汽车附近的示例物理环境的俯视图。示出了附近的特定VRU的走向。

图10描绘了包含街道的交叉路口的道路的部分的示例道路图。

具体实施方式

图1描绘了计算系统的示例环境100，该计算系统被配置为训练机器学习模型并将机器学习模型应用于与弱势道路用户(VRU)的行为预测相关的任务。与由有执照的操作员或复杂的自主驾驶系统驾驶的典型大型车辆不同，VRU通常表现出与主要道路用户(诸如汽车、卡车和摩托车的有执照的用户)大不相同的行为。例如，行人可能试图从街道的一侧乱穿马路到另一侧，而不管这种街道穿越是否符合行人交通标志或信号。由于行人相对较小的尺寸，行人甚至可以利用车辆交通中的短间隙来穿越道路。同样，骑自行车者通常会占用部分道路，包括标准车道、预留的自行车道、或者两者，并且有时会转进交通中或乱穿马路，以从街道的一侧穿到另一侧。VRU可以免于或无视非弱势道路用户(诸如有执照的客运或商用车辆操作者)所遵守的特定交通规则和做法。环境100内的系统采用机器学习模型(例如，乱穿马路预测模型196和走向估计模型198)来预测VRU是否可能乱穿马路，如果可能，则预测VRU的可能走向和目的地。在一些实现方式中，自驾驶汽车122或者其他自主或半自主道路车辆上的系统使用对VRU行为的这些预测来规划安全驾驶操纵，这将避免与自驾驶汽车122附近的VRU的碰撞或其他不安全的交互。如在本说明书中所使用的，术语“乱穿马路”不一定限于非法的道路穿越，而是可以包含VRU移动到或穿越驾驶非VRU的道路的任何事件(incident)，诸如从道路的一侧穿越到另一侧(或出于其他目的)。在一些实现方式中，对乱穿马路活动的预测可以被限制为VRU移动到或穿越道路的事件的子集，诸如VRU穿越专用于非VRU的车道的事件、或者VRU违反适用的法律或法规进入道路的事件。在其他实现方式中，对乱穿马路活动的预测不受如此限制。

环境100可以包括训练系统110和车载系统130。车载系统130可以包括物理上位于自驾驶汽车122上的一个或多个计算机和其他设备，而训练系统110可以距自驾驶汽车122全部或部分地远程实现。一般地，自驾驶汽车122是能够规划和自执行驾驶操纵(例如，转向、制动、加速)以至少部分地独立于人为监督或操作而导航到目标位置的自主车辆。

车载系统130可以包括具有被配置为感测关于车辆的环境的信息的组件的感测系统132。例如，感测系统132可以包括用于捕获由自驾驶汽车122上的能量源发射的电磁辐射的反射的感测设备，诸如光检测和测距(LIDAR)子系统、无线电检测和测距(RADAR)子系统或两者。LIDAR子系统检测和处理激光的反射，而RADAR检测和处理无线电波的反射。LIDAR或RADAR子系统可以输出描述所反射的辐射的距离、方向和/或强度的信息。例如，这些子系统可以沿特定方向发射电磁辐射脉冲，并测量反射的强度和相移。可以基于脉冲发射和其相应的反射之间的时间延迟来计算辐射源和环境中的对象之间的距离。每个传感器可以以角度或方位角(azimuth)或者两者连续地扫描特定空间。例如，以方位角进行扫描可以允许传感器沿着同一条视线检测多个对象。感测系统132还可以包括用于检测可见光并对其成像的一个或多个相机子系统。感测系统132的输出是包含对自驾驶汽车122周围环境的观察的传感器数据155。例如，传感器数据155可以包括从LIDAR信号生成的点云或由相机子系统中的相机捕获到的图像。在一些实现方式中，可以提取与围绕和/或包含与自驾驶汽车122附近的特定对象(例如，VRU)的环境的部分对应的传感器数据155。

为了允许自驾驶汽车122监视汽车122附近的VRU，车载系统130还包括VRU跟踪系统186和VRU行为预测系统192。跟踪系统186和行为预测系统192可以各自在自驾驶汽车122上的一个或多个计算机或其他数据处理装置上实现。跟踪系统186的检测和分类引擎187处理传感器数据155，以识别自驾驶汽车122附近的VRU(并且可选地，识别其他对象)。引擎187还可以根据类型对检测到的VRU进行分类，例如，以指示特定的VRU是行人、骑自行车者、踏板车(scooter)或是其他低速车辆。检测和分类引擎187可以应用任何合适的对象检测和辨识算法来检测和分类以传感器数据155表示的对象。当检测到VRU时，关于该VRU的信息可以被存储在对象数据库180中。例如，可以为VRU分配ID，并且该ID可以被存储在数据库元件188中。关于VRU的分类(例如，类型)、当前位置和/或在一个或多个先前时间步长处的位置历史、以及当前走向和/或在一个或多个先前时间步长处的走向历史的信息可以被分别存储在数据库元件189、190和191中。也可以基于对传感器数据155的分析，例如，通过测量VRU相对于自驾驶汽车122的位置并识别VRU在环境的图像或点云内的朝向，来确定VRU的位置和走向。

行为预测系统192预报(forecast)检测到的VRU在未来一段时间(例如，进入未来的预定数量的时间步长)内的行为(例如，移动)。例如，预测系统192可以预测与未来的1、2、5、10、15或20秒相对应的多个时间步长上的VRU行为。系统192提供包括特征生成器193、走向投影引擎194、一个或多个乱穿马路预测模型196以及一个或多个走向估计模型198的多个子组件。一般地，乱穿马路预测模型196被配置为预测检测到的VRU是否将在预测时间窗口内的某个点乱穿马路。乱穿马路预测模型196可以生成指示VRU将在预测时间窗口内乱穿马路的可能性的乱穿马路预测值。在其他实现方式中，乱穿马路预测模型196可以二元分类的形式生成乱穿马路预测，即在预测时间窗口内，VRU要么被预测为乱穿马路、要么不被预测为乱穿马路。例如，可以通过将乱穿马路预测似然值与阈值进行比较来确定二元分类。在一些实现方式中，用于模型196的预测时间窗口不仅包括未来时间步长，还包括当前时间步长。作为结果，由模型196输出的乱穿马路预测不仅表示对未来乱穿马路的预测，还表示对当前乱穿马路行为的指示。在一些实现方式中，通用乱穿马路预测模型196可以用于任何检测到的VRU，而不管其类型分类。在其他实现方式中，提供了多个乱穿马路预测模型196，每个模型对应于不同的类型分类(例如，行人、骑自行车者、踏板车)。然后，预测系统192可以根据由VRU检测和分类引擎187确定的VRU的类型分类来选择模型196中的适当的一个。在一些情况下，提供多个乱穿马路预测模型196可能是有利的，使得每个模型可以被更精细地调整到不同VRU类型的独特行为，并且预测准确度可以被提高。

如果乱穿马路预测模型196预测VRU正在或将要在预测时间窗内乱穿马路，则预测系统192可以调用走向估计模型198来预测VRU的最终走向。VRU的最终走向与从VRU的当前位置到VRU的当前或预测的乱穿马路终点位置的向量方向相对应。在一些示例中，终点位置是沿着道路边缘的点，在该点处，VRU被预测为离开乱穿马路活动发生(或被预测发生)的该道路。与除道路边缘之外的环境特征相对应的终点位置也是可能的，诸如车道边界(例如，汽车车道和自行车道或人行道之间的边界)、步行道边界、物理屏障的边界(例如，栅栏或墙)、交叉路口边界等。实际上，VRU经常转弯、以曲线行进(curve)或做出其他非线性移动，而不是在乱穿马路事件的整个过程中保持静态走向。因此，可以基于传感器数据155观察到和测量到的VRU的当前走向并不总是VRU的最终走向或其终点位置的可靠指示符。为了便于改进预测，走向估计模型198预测到VRU的标称走向(例如，当前走向)的偏移，其中该偏移表示为了到达乱穿马路事件的终点位置，VRU的标称走向可能改变了多少的差。换句话说，预测的走向偏移指示VRU的标称走向和最终走向之间的估计的差。偏移和其他的走向值可以以角度、弧度或其他合适的惯例来表示。利用来自走向估计模型198的预测的偏移，预测系统然后可以通过将偏移加到标称走向来确定VRU的预测的最终走向。

在一些实现方式中，通用走向估计模型198可以用于任何检测到的VRU，而不管其类型分类。在其他实现方式中，提供多个走向估计模型198，每个走向估计模型198对应于不同的类型分类(例如，行人、骑自行车者、踏板车)。然后，预测系统192可以根据由VRU检测和分类引擎187确定的VRU的类型分类来选择模型198中的适当的一个。在一些情况下，提供多个走向估计模型198会有利，使得每个模型可以被更精细地调整到不同VRU类型的独特行为，并且预测准确度可以被提高。

如参考图3、图4、图6和图8进一步详细解释的，为了生成预测的走向偏移，走向估计模型198不需要直接预测VRU的乱穿马路的终点位置。尽管如此，对于自驾驶汽车122的规划系统136或其他方面来说，例如，在为自驾驶汽车的自身行驶规划轨迹和操纵时，知道终点位置可能是有价值的。为此，预测系统192还可以包括使用VRU的预测的(最终)走向来预测VRU的乱穿马路的终点位置的走向投影引擎194。例如，引擎194可以访问道路图和/或描述VRU的环境的其他地图。然后，引擎194可以在地图上从VRU的当前位置投影VRU的预测的走向，以识别VRU被预测在完成其乱穿马路活动时将要前往的预测的终点位置(例如，沿着道路边缘的点)。例如，预测的终点位置可以是沿着道路边缘的位置，在该位置，预测的走向与道路边缘相交。在一些实现方式中，由走向估计模型198生成的预测的走向偏移是指示VRU的单个最可能走向偏移的离散值(例如，均值(mean value))。在这种情况下，预测的走向可以被投影以识别沿着道路边缘(或其他环境特征)的离散点来作为预测的终点位置。在其他实现方式中，由走向估计模型198输出的预测的走向偏移可以包括对不确定性的度量(或者相反地，对置信度的度量)，诸如指示预测的走向偏移的可能范围的方差。在这种情况下，可以使用该范围来投影预测的走向，以将道路边缘(或其他环境特征)的路段识别为预测的终点位置。可以预测VRU在沿着该路段的任意点与道路边缘相交。

由乱穿马路预测模型196和走向估计模型198处理的数据类型可以取决于数据输入的可用性和用于实现模型196、198的基础模型类型而变化。在一些实现方式中，模型196、198不被配置为处理原始数据，诸如由感测子系统132直接提供的数据或从对象数据库180检索的数据。相反，数据输入可能需要预处理，以计算适于由预测性模型处理的工程化特征的值、或以适于由所述模型处理的方式对数据进行格式化、或者两者都需要。这些功能可以由特征生成器193执行。在一些实现方式中，可以提供通用特征生成器193来处理原始/初始数据输入，并且生成能够由乱穿马路预测模型196或走向估计模型198进一步处理的预测性输入。在其他实现方式中，提供了多个特征生成器193，使得可以应用不同的特征生成器来生成特定于特定乱穿马路预测模型196或走向估计模型198的特征。基于诸如手头的任务(例如，乱穿马路预测或走向偏移预测)、VRU的分类类型和/或其他的因素，系统可以选择适当的特征生成器193来应用。参考图3、图5和图6描述由特征生成器193产生的预测性输入的进一步细节。

预测的走向(例如，预测的走向偏移、预测的绝对或最终走向)、预测的终点位置、乱穿马路预测或这些的组合可以由行为预测系统192输出，并且被车载系统130的一个或多个其他组件(包括规划系统136和用户界面系统138)共享。规划系统136可以使用任何单独的预测或预测的组合来通知全自主或半自主驾驶决策。例如，如果位于自驾驶汽车122前方短距离的骑自行车者被预测为穿越车道并移动到自驾驶汽车122的当前车道中，则规划系统136可以为自驾驶汽车122规划确保自驾驶汽车122保持安全地避开骑自行车者(例如，通过移动到距骑自行车者一段距离的另一个车道或者通过减速以给骑自行车者让路)的轨迹。如果行人被预测为乱穿交通繁忙的街道，则规划系统136为车辆规划操纵，该操纵在被执行时使得自驾驶汽车122减速、停止或以其他方式向行人让路。在一些实现方式中，用户界面系统138可以使用来自系统192的预测，通过预测的图形描述和/或听觉描述为用户可视化所述环境。例如，自驾驶汽车122中的显示屏可以呈现车辆周围环境的道路图。道路图可以覆盖有表示在VRU的当前位置处检测到的VRU的图形图标，并且VRU的预测的走向和/或终点位置可以被投影在地图上以提供信息。

可以基于各种参数(其值是通过使用机器学习算法的训练过程导出的)来配置乱穿马路预测模型196和走向估计模型198。这些模型参数的值可以被存储在数据库或其他储存库172中，并且在评估模型196、198时，根据需要被行为预测系统192访问。描述自驾驶汽车122的环境的特征的道路图、地图和其他环境数据可以被存储在数据库或其他储存库185中。

训练系统110被配置为实现机器学习技术来训练预测模型196、198。训练系统110可以接收训练数据125，训练数据125可以部分地基于从VRU跟踪系统186、行为预测系统192或两者收集的数据。可以标记训练数据125以指示对每个训练样本的目标预测，然后可以在训练过程中评估被标记的样本。例如，训练样本的输入分量可以由训练模型114(与乱穿马路预测模型196或走向估计模型198相对应)使用当前参数值来处理。由模型114生成的预测135被提供给训练引擎116，然后训练引擎116将预测135与训练样本的目标预测进行比较，并更新模型参数以最小化预测135和目标预测之间的任何误差。更新后的模型参数值145被存储在储存库170中，然后在下一次训练迭代中作为模型114的当前模型参数值115、在处理下一次训练示例时被再次应用。取决于被训练的模型的类型(例如，回归模型或神经网络)，其它训练算法也是优选的。一旦训练完成，来自训练系统110的最后的参数值集171被加载到机载系统130上的数据库172中。图7和图8分别描述了训练乱穿马路预测模型196和走向估计模型198的过程的附加细节。

参考图2，示出了自驾驶汽车202周围的物理环境200的俯视图。在图2捕捉到的时刻，自驾驶汽车202停在道路的T字路口，在该T字路口处，自驾驶汽车202可以在向其他车辆让路并遵守其他可用的交通信号之后左转到单行道上。如图所示，图2中描绘的道路不仅被大型持照车辆(如由汽车202、206a和206b表示的那些车辆)占用，而且还被包括206a-206d的VRU占用和围绕。例如，第一行人206a站在道路边缘216b和216d之间的拐角处，第二行人206b当前在自驾驶汽车202后面乱穿马路，第三行人206d站在道路边缘216a的左侧，并且骑自行车者206c正朝着道路边缘216c穿越(乱穿马路)。每个VRU 206a-206d分别具有当前走向208a-208d，当前走向208a-208d可以指示VRU当前面对的方向、当前行进的方向或两者。当自驾驶汽车202规划朝向其目标位置行驶的操纵时，传感器子系统可以反复地扫描环境200以识别VRU、其他障碍物以及可能影响驾驶决策的环境特征，以确保汽车202可以安全地使用道路导航，并避免与VRU或其他障碍物的碰撞或其他不安全的交互。本说明书描述了自驾驶汽车202如何预测VRU(例如，VRU 206a-206d)的乱穿马路行为，以预测VRU是否正在或将会乱穿马路，并估计VRU的最终走向。

转到图3，示出了用于预测位于第一车辆(例如，自驾驶汽车)的道路上或附近的VRU的乱穿马路行为的示例过程300的流程图。过程300可以由一个或多个计算机的系统(例如机载系统130)来执行。该系统可以通过检测第一车辆附近(例如，在预定距离内或在感测系统的扫描范围内)的VRU来开始(302)。可以通过分析由第一车辆上的感测系统获取的LIDAR数据、图像和/或其他传感器数据并应用对象检测和/或辨识算法，来识别VRU。还可以生成指示VRU的类型或类别(例如，行人、骑自行车者、踏板车或其他低速车辆)的分类。基于VRU的类型或类别，系统可以选择在分析和预测VRU的行为时采用哪些模型和组件(304)。例如，可以基于已经在与所识别出的VRU类型或类别相关(并因此于该类型或类别相对应)的数据上训练了的所选模型，从乱穿马路预测模型的库中选择单独的乱穿马路预测模型。类似地，可以基于已经在与所识别出的VRU类型或类别相关(并因此于该类型或类别相对应)的数据上训练了的所选走向估计模型，从走向估计模型的库中选择单独的走向估计模型。

系统可以获得与对乱穿马路预测和/或走向估计的确定相关的各种类型的数据(例如，以用于确定预测的走向偏移)(306)。这样的数据可以包括检测到的VRU的位置数据、检测到的VRU的走向数据、第一车辆和/或检测到的VRU的环境数据、或者这些数据的组合。检测到的VRU的位置数据可以包括VRU在当前时间步长处的当前位置的指示，并且可选地包括指示VRU在一个或多个过去时间步长处的先前位置的位置历史。系统可以以绝对方式或以相对方式确定VRU位置，例如相对于第一车辆的位置。可以基于对由第一车辆上的感测系统获取的LIDAR数据、图像和/或其他传感器数据的分析，和/或使用其他可用信号(例如，GPS信号、三角测量信号)来确定位置。检测到的VRU的走向数据可以包括VRU在当前时间步长处的当前走向的指示，并且可选地包括指示VRU在一个或多个过去时间步长处的先前位置的走向历史。系统可以基于环境的表示(例如，点云或图像)中所示的VRU的瞬时行进方向、VRU本身的朝向、覆盖在VRU上的边界框的朝向、或者这些或其他信号的组合，来确定VRU的走向。检测到的VRU的环境数据描述了关于VRU的环境的上下文。例如，VRU的环境可以是VRU附近的限定区域、或者是第一辆车周围与VRU附近的区域重叠的区域。此外，环境数据可以包括指示环境中道路的地理流和位置的道路图。道路图数据可以描述各种道路特征(和其他环境特征)，诸如道路边缘和车道边界的位置和路径。例如，在图10中描绘了示例道路图1000，其示出了交叉路口处的道路的布局和结构。环境数据还可以包括步行道、自行车道、人行横道、邻近道路的建筑物和结构的地图、指示道路的每个点或段的速度限制的速度限制数据、以及可能影响道路上的驾驶条件的其他交通控制数据。由环境数据描述的一些信息可以从系统对传感器数据的分析以及由第一车辆上的设备做出的观察/测量中导出。由环境数据描述的其他信息可以被预加载到系统上、或者以其他方式(例如，经由有线或无线通信网络)从外部源获得。

在预测VRU的走向之前，系统可以首先确定第一VRU当前是否正在道路上乱穿马路、或者可能在特定时间间隔内在道路上乱穿马路。为了做出这种乱穿马路预测，系统生成可以由乱穿马路预测模型处理的第一预测性输入集(308)。在一些实现方式中，第一预测性输入集包括描述关于VRU在一个或多个时间步长(例如，当前时间步长和可选的一个或多个先前时间步长)处的位置的信息的值的集合。反映在第一预测性输入集中的位置信息可以根据VRU相对于VRU附近的一个或多个环境特征(例如，道路边缘、车道边界、车道中线、车道区域、交通灯、交通标志(例如，停车或让行标志)、步行道、交通环形路口、其他代理或障碍物(例如，其他车辆或VRU))的距离、方向和/或定位/位置来指定。第一预测性输入集中的这些特征可以从在先前获得的位置数据和环境数据中提供的信息中导出。在一些实现方式中，系统获得并处理指示VRU的当前或过去行为的数据，并且特征生成器对过去行为数据进行格式化，以使格式化后的过去行为数据包括在第一预测性输入集中。例如，指示过去行为的数据可以描述VRU在一个或多个先前时间步长处的过去位置、VRU在一个或多个先前时间步长处的过去走向、VRU在一个或多个先前时间步处长的过去移动、VRU在一个或多个先前时间步长处的过去车道变化、VRU在一个或多个先前时间步长处的过去方向或走向的变化、VRU在一个或多个先前时间步长处的过去速度、和/或其他行为。过去行为数据和相应的特征可以直接从由设备获取的传感器数据、位置数据、走向数据、环境数据和/或基于由系统中的其他模型生成的其他中间特征导出。预测性输入还可以包括表示第一VRU附近的一个或多个其他代理(例如，车辆或VRU)的这些特征的值。预测性输入还可以识别作为预测的目标的VRU的属性，诸如VRU的分类或类型(例如，行人或骑自行车者、成人或儿童)、VRU的速度、VRU是否在闪烁灯光、VRU的尺寸(例如，长度/宽度)或这些的组合。

在第一预测性输入集可用的情况下，然后，系统可以基于这些输入来评估所选乱穿马路预测模型(310)。例如，在图5中示出了阶段308和310处的处理，其示出了特征生成器193如何基于VRU的位置历史502和环境数据504来确定第一预测性输入集508。然后，乱穿马路预测模型196处理第一预测性输入集508以生成乱穿马路预测510。由图3所示的处理生成的乱穿马路预测(例如，预测510)可以是一个或多个值，该一个或多个值指示VRU将在基于当前时间步长和到未来的一个或多个时间步长的预测时间窗口内乱穿马路的可能性。在一些实现方式中，乱穿马路预测是指示在预测时间窗内VRU要么被预测为乱穿马路要么不被预测为乱穿马路的二元分类。例如，可以通过将指示VRU乱穿马路的可能性(例如，概率)的分数与阈值分数进行比较来确定二元乱穿马路预测。如果分数高于阈值，则可以确定正二元预测，而如果分数低于阈值，则可以确定负二元预测。

乱穿马路预测模型(例如，模型196)可以是机器学习模型，因为其是使用机器学习算法和技术训练的。在一些实现方式中，乱穿马路预测模型包括决策树模型、回归模型、随机决策森林模型、人工神经网络(例如，前馈、递归或卷积神经网络)或这些的组合。参考图7描述了用于训练乱穿马路预测模型的过程的一个示例。包含在预测性输入中的特征和所采用的训练算法的性质可以根据被用作乱穿马路预测模型的模型的类型被适当地调整。通过将机器学习模型用于乱穿马路预测任务，系统可以相对于其他方法(诸如基于启发式的模型)实现提高的准确度、精度和查全率(recall)。也可以在比基于启发式的方法中通常反映的更大的数据集上训练所述模型。

然后，过程300可以基于乱穿马路预测指示VRU可能正在乱穿马路或者将在不久的将来乱穿马路、还是指示VRU可能没有在乱穿马路或者在不久的将来不会乱穿马路，而分支到不同的操作(312)。如果后一种预测被确定，则过程300可以返回到阶段302，并且针对其他检测到的VRU重复操作。一般地，系统持续地预测第一车辆(例如，自驾驶汽车)附近的所有或尽可能多的检测到的VRU的行为。系统可以并行或快速连续地对每个VRU执行过程300，并且可以在每个第n时间步长(例如，n＝1、2、3、5、10、15)对每个检测到的VRU重复该过程。如果前一种预测被确定(即，VRU可能正在乱穿马路或者将在不久的将来乱穿马路)，则可以生成第二预测性输入集(314)，并且确定走向预测(例如，预测的走向偏移)(316)。在一些实现方式中，如果在第一种情况下VRU没有被预测为乱穿马路，则系统避免超越阶段312并生成VRU的预测的走向。当VRU不太可能乱穿马路或干扰车辆的操作时，这种生成预测的走向的选择性动作可以节省计算时间和开销。

如果系统确定生成VRU的预测的走向，则生成可由走向估计模型处理的第二预测性输入集(314)。第二预测性输入集包括描述关于VRU在一个或多个时间步长(例如，当前时间步长和可选的一个或多个先前时间步长)处的位置和/或走向的信息的值的集合。在一些实现方式中，包含在第二预测性输入集中的特征值是相对于VRU的标称走向(因此是以VRU的标称走向为条件)来确定的。然后，这些特征值可以基于VRU的标称走向与表示VRU和VRU附近的一个或多个指定的环境特征(例如，道路边缘、车道边界、车道中线、车道区域、交通灯、交通标志(例如，停车或让行标志)、步行道、交通环形路口、建筑物、对象、其他车辆或VRU)之间的方向的向量或走向之间的比较(例如，差)来计算。例如，特征可以指示VRU和道路边缘上的点之间的距离，并且可以指示VRU的标称走向和从VRU到道路边缘上的点的方向之间的差。在一个实施例中，出于计算第二预测性输入集的特征值的目的，VRU的当前走向被用作标称走向。在另一个实施例中，标称走向是独立于VRU的实际或当前走向来计算的，并且相反地被定义为从VRU延伸到指定的参考位置的向量的方向。在一些示例中，参考位置是沿着道路边缘或其他环境特征的最接近VRU的当前位置的点(位置)。在一些实现方式中，系统获得并处理指示VRU的当前或过去行为的数据，并且特征生成器对过去行为数据进行格式化，以将其包括在第二预测性输入集中。例如，指示过去行为的数据可以描述VRU在一个或多个先前时间步长处的过去位置、VRU在一个或多个先前时间步长处的过去走向、VRU在一个或多个先前时间步长处的过去移动、VRU在一个或多个先前时间步长处的过去车道变化、VRU在一个或多个先前时间步长处的过去方向或走向的变化、VRU在一个或多个先前时间步长处的过去速度、和/或其他行为。过去行为数据和相应的特征可以直接从由设备获取的传感器数据、位置数据、走向数据、环境数据和/或基于由系统中的其他模型生成的其他中间特征来导出。预测性输入还可以包括表示第一VRU附近的一个或多个其他代理(例如，车辆或VRU)的这些特征的值。预测性输入还可以识别作为走向估计的对象的VRU的属性，诸如VRU的分类或类型(例如，行人或骑自行车者、成人或儿童)、VRU的速度、VRU是否在闪烁灯光、VRU的尺寸(例如，长度/宽度)或这些的组合。

在第二预测性输入集可用的情况下，然后，系统可以基于这些输入来评估所选走向估计模型(316)，以生成VRU的预测的走向偏移。例如，在图6中示出了阶段314和316的处理，其示出了特征生成器193如何基于VRU位置数据602、VRU走向数据604和环境数据606来确定第二预测性输入集610。然后，走向估计模型198处理第二预测性输入集610，以生成预测的走向偏移612。由走向估计模型发出的预测的走向偏移(例如偏移612)指示在当前时间步长处VRU的预测的最终走向和VRU的标称走向之间的差。对于标称走向对应于VRU的实际当前走向的实施例，预测的走向偏移指示VRU的当前走向被预测为改变多少以到达VRU的乱穿马路活动的终点位置(例如，沿着VRU被预测走向的道路边缘的点)。对于标称走向对应于VRU的当前位置和指定的参考位置之间的走向的实施例，预测的走向偏移指示计算出的走向被预测为改变多少以到达VRU的乱穿马路活动的终点位置。利用来自走向估计模型的预测的走向偏移，系统可以通过将预测的走向偏移添加到VRU的标称走向来将预测的最终走向确定为绝对值(318)。

在一些实现方式中，走向估计模型输出反映对走向估计中的置信度或不确定性的度量的信息。例如，除了与预测相关联的方差之外，还可以预测平均或最可能的走向偏移。走向估计模型可以输出与具有至少最小置信水平或概率的预测的走向偏移相对应的走向偏移的范围(例如，包括下限和上限)。预测的走向偏移的方差或范围也可以被应用于最终预测的走向。

为了生成预测的走向偏移，走向估计模型不需要明确地预测VRU的终点位置。相反，走向估计模型可以被配置为直接根据第二预测性输入集计算预测的走向偏移。尽管如此，自驾驶汽车的规划者或操作者仍然可以在获得对VRU的预测的终点位置的明确指示中找到用途。因此，在一些实现方式中，系统可以在环境的地图(或环境的其他表示)上投影最终预测的走向，以预测VRU的终点位置(320)。预测的终点位置可以是沿着环境特征(例如，道路边缘)的离散点，在该离散点处，预测VRU将完成乱穿马路。可替代地，预测的终点位置可以包括可能的位置的范围，诸如环境特征(例如，道路边缘)的段。例如，走向估计模型可以输出与预测的走向偏移相关联的方差或置信水平。预测的终点位置的范围可以包含位置的间隔，在该间隔中存在针对该预测的至少一个阈值或其他定义的置信水平。例如，可以通过将VRU的最终预测的走向从VRU的当前位置延伸到合格的环境特征(例如，道路边缘)来识别预测的终点位置。走向与特征相交的点或段可以是预测的终点位置或段。然后，自驾驶汽车的规划系统可以使用乱穿马路预测、预测的走向偏移、最终预测的走向、预测的终点位置或这些的组合，来确定安全避开VRU的驾驶操纵。这些度量中的任何一个也可以被存储在日志中以供以后分析、在用户界面中被呈现给用户、或者被应用于其他期望的目的。

走向估计模型(例如，模型198)可以是机器学习模型，因为其是使用机器学习算法和技术训练的。在一些实现方式中，走向估计模型包括回归模型或人工神经网络(例如，前馈、递归或卷积神经网络)。参考图8描述了训练走向估计模型的过程的一个示例。包含在预测性输入中的特征和所采用的训练算法的性质可以根据被用作走向估计模型的模型类型被适当地调整。通过将机器学习模型用于乱穿马路预测任务，系统可以实现相对于其他方法(诸如基于启发式的模型)的提高的准确度、精度和查全率。也可以在比基于启发式的方法中通常反映的更大的数据集上训练模型。

图4是基于相对于候选道路边缘集计算出的标称走向来预测VRU的走向的示例过程400的流程图。该过程可以由一个或多个计算机的系统(例如车载系统130)来执行。例如，当不知道VRU最有可能前往哪个环境特征(例如，道路边缘)作为乱穿马路事件的目的地时，可以调用过程400来确定预测的终点位置集。在一些实现方式中，可以调用过程400来确定VRU最有可能前往的最可能的环境特征作为乱穿马路事件的目的地。典型地，过程400响应于确定检测到的VRU可能乱穿马路(例如，如乱穿马路预测模型生成的乱穿马路预测所指示的)而被执行。系统识别VRU附近的候选道路边缘集(402)。对于第一次迭代，从集合中选择第一候选道路边缘(404)。系统确定所选道路边缘上最靠近VRU的点，并计算VRU和最近点之间的标称走向(406)。可以生成预测性输入集，其以与关于操作314(图3)所描述的方式类似的方式以标称走向为条件(408)。然后，系统可以基于该预测性输入集来评估走向估计模型，以确定相对于标称走向的预测的走向偏移(410)。预测的走向偏移和标称走向可以被组合(例如，相加)以确定VRU的最终(绝对)预测的走向(412)。然后，最终预测的走向可以用于规划自驾驶汽车的驾驶决策、使VRU的预测的行为可视化，或其他应用。如果还存在额外的道路边缘需要分析，则可以重复过程400(414)。在一些实现方式中，一旦已经考虑了所有候选道路边缘，则系统可以比较每个边缘的与预测的走向相关联的置信水平或概率分数，并且选择与最高置信水平或概率分数相关联的候选道路边缘之一作为VRU前往的最可能的道路边缘。

图7描绘了使用机器学习技术训练乱穿马路预测模型的示例过程700的流程图。系统可以由一个或多个计算机的系统(例如训练系统110)来实现。首先，系统获得VRU训练样本，每个VRU训练样本描述关于VRU的相关信息(802)。例如，训练样本可以指示VRU在当前时间步长处的位置，并且可选地指示VRU在一个或多个先前时间步长处的位置(702)。在一些实现方式中，VRU训练样本包含位置数据之外的附加信息，诸如关于VRU的当前或最近移动(例如，速度和/或方向)的信息。可以在不同的训练样本中表示不同的VRU，尽管一些训练样本可以基于相同的VRU。如果通用模型正在被训练，则训练样本可以包括表示若干种不同类型的VRU(例如，行人、骑自行车者、踏板车)的样本。如果特定类型的模型正在被训练，则所有的训练样本都可以属于同一类型的VRU。还可以获得描述VRU周围环境的环境特征(例如，由道路图指示的特征)的环境训练样本(704)。每个VRU训练样本可以与相应的环境训练样本相关联，从而可以参考关于VRU的环境的信息。然后，系统可以例如通过计算与VRU和VRU的环境中的特征之间的关系相关的特征，为每对VRU和环境训练样本生成预测性输入(706)。预测性输入可以以类似于关于操作308(图3)描述的方式生成。可以用根据由预测性输入表示的VRU是否在相应的VRU训练样本的当前时间步长处乱穿了马路、或者由预测性输入表示的VRU是否在相应的VRU训练样本的一个或多个未来时间步长处乱穿了马路的目标乱穿马路预测，来标记每个预测性输入集(708)。如果乱穿马路在当前时间步长处或未来时间步长处实际发生，则该预测性输入集被分配正的目标乱穿马路预测。如果在这些时间步长处乱穿马路没有实际发生，那么该预测性输入集被分配负的乱穿马路预测。然后，可以应用适当的监督机器学习算法，以基于标记的预测性输入集来训练乱穿马路预测模型(710)。取决于被训练的模型的类型，可以应用不同的算法。例如，可以应用反向传播和梯度下降来训练神经网络、可以应用ID3或CART来训练决策树、或者可以应用回归算法来训练分类模型。然后，模型可以被验证(712)，并被提供以例如在自驾驶汽车上使用(714)。

图8描绘了使用机器学习技术训练走向估计模型的示例过程800的流程图。该系统可以由一个或多个计算机的系统(例如训练系统110)来实现。首先，系统获得VRU训练样本，每个VRU训练样本描述关于VRU的相关信息(802)。例如，训练样本可以指示VRU在当前时间步长处的位置，并且可选地指示VRU在一个或多个先前时间步长处的位置。训练样本可以进一步指示VRU在当前时间步长处的走向，并且可选地指示VRU在一个或多个先前时间步长处的走向。在一些实现方式中，VRU训练样本包含除位置数据和走向数据之外的附加信息，诸如关于VRU的当前或最近移动(例如，速度和/或方向)的信息。可以在不同的训练样本中表示不同的VRU，尽管一些训练样本可以基于相同的VRU。如果通用模型正在被训练，则训练样本可以包括表示若干种不同类型的VRU(例如，行人、骑自行车者、踏板车)的样本。如果特定类型的模型正在被训练，则所有的训练样本可以属于同一类型的VRU。还可以获得描述VRU周围环境的环境特征(例如，由道路图指示的特征)的环境训练样本(804)。每个VRU训练样本可以与相应的环境训练样本相关联，从而可以参考关于VRU的环境的信息。然后，系统可以例如通过计算与VRU和VRU的环境中的特征之间的关系相关的特征，为每对VRU和环境训练样本生成预测性输入(706)。特征中的至少一些是以VRU的标称走向为条件的。在一个实施例中，标称走向是VRU本身的当前走向。在另一个实施例中，标称走向是基于VRU和指定的参考位置(诸如所选环境特征(例如，道路边缘)的最近点)之间的方向的。预测性输入可以以类似于关于操作314(图3)描述的方式生成。然后，可以用目标走向偏移来标记每个预测性输入集(808)。目标走向偏移可以通过从训练样本中识别VRU在乱穿马路事件结束时的终点位置、确定从VRU到实际终点位置的走向、以及确定到终点位置的走向和标称走向之间的偏移来确定。这种分析可能需要查看与训练样本相关联的所记录的数据日志，该训练样本是从当前时间步长到未来的一个或多个时间步长。然后，可以应用适当的监督机器学习算法、基于标记的预测性输入集来训练走向估计模型(810)。取决于被训练的模型的类型，可以应用不同的算法。例如，可以应用反向传播和梯度下降来训练神经网络、可以应用ID3或CART来训练决策树、或者可以应用回归算法来训练回归模型。然后，模型可以被验证(812)，并被提供以例如在自驾驶汽车上使用(814)。

为了解释走向偏移、最终走向和终点位置的概念，图9描绘了类似于图2所示的环境200的俯视图。然而，在这种情况下，视图集中于两个VRU—行人206b和骑自行车者206c。从VRU 206b、206c伸出的虚线标识不同的走向概念。具体地，对于行人206b，第一虚线208b指示行人206b的当前走向。这是行人206b当前面对和/或行进的方向。如果行人206b继续沿着当前走向208b的路径线性移动，他将在终点位置222b处与道路边缘216a相交。然而，实际上，行人206b可能出于任何原因偏离该路线，并且实际上在终点位置224b处与道路边缘216a相交。最终走向220b表示行人的当前位置和最终终点位置224b之间的方向。最终走向220b和当前走向208b之间的差是行人206b的走向偏移226b。类似地，对于骑自行车者206c，第一虚线208c指示骑自行车者206c的当前走向。这是骑自行车者206c当前面对和/或行进的方向。如果骑自行车者206c继续沿着当前走向208c的路径线性移动，她将在终点位置222c处与道路边缘216c相交。然而，事实上，骑自行车者206c可能出于任何原因偏离该路线，并且实际上在终点位置224c处与道路边缘216c相交。最终走向220c表示骑自行车者的当前位置和最终终点位置224c之间的方向。最终走向220c和当前走向208c之间的差是骑自行车者206c的走向偏移226c。

在一些实现方式中，乱穿马路预测模型和走向估计模型可以被配置为直接处理原始输入数据，诸如LIDAR数据或示出VRU在一个或多个时间步长处的环境的图像。利用这些技术，可以在预测乱穿马路是否可能发生的方面执行类似的操作，如果可能，预测VRU的走向偏移。然而，由模型处理的预测性输入的性质可能不同。例如，这种方法消除了计算由模型处理的工程化特征的值的任何需要。例如，深度神经网络可能非常适合这些任务。此外，在一些实现方式中，本文公开的技术可以被应用于在自驾驶汽车或道路附近检测到的弱势道路用户之外的其他代理。

在本说明书中描述的主题和功能操作的实施例可以在数字电子电路中实现、在有形实施的计算机软件或固件中实现、在计算机硬件中实现，包括在本说明书中公开的结构和它们的结构等同物，或者在它们的一个或多个的组合中实现。本说明书中描述的主题的实施例可以被实现为一个或多个计算机程序，即编码在有形的非暂时性存储介质上的计算机程序指令的一个或多个模块，用于由数据处理装置执行或控制数据处理装置的操作。计算机存储介质可以是机器可读存储设备、机器可读存储基底、随机或串行访问存储设备、或者它们中的一个或多个的组合。可替代地或附加地，程序指令可以被编码在人工生成的传播信号上，例如，机器生成的电、光或电磁信号，其被生成以对信息进行编码，用于到合适的接收器装置的传输，以由数据处理装置执行。

术语“数据处理设备”是指数据处理硬件，并且包括用于处理数据的所有种类的装置、设备和机器，例如，包括可编程处理器、计算机或多个处理器或计算机。装置还可以是或进一步包括现成的或定制的并行处理子系统，例如GPU或另一种专用处理子系统。装置还可以是或进一步包括专用逻辑电路，例如，现场可编程门阵列(FPGA)或专用集成电路(ASIC)。除了硬件之外，装置可以可选地包括为计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统或它们中的一个或多个的组合的代码。

计算机程序(也可以被称为或描述为程序、软件、软件应用、应用、模块、软件模块、脚本或代码)可以用任何形式的编程语言编写，包括编译或解释语言、声明性或过程性语言，并且计算机程序可以以任何形式部署，包括作为独立的程序或作为模块、组件、子例程或适合在计算环境中使用的其他单元。程序可以，但不是必须，对应于文件系统中的文件。程序可以被存储在保存其他程序或数据的文件的部分(例如，存储在标记语言文档中的一个或多个脚本、专用于所讨论的程序的单个文件、或者多个协同文件(例如存储一个或多个模块、子程序或代码部分的文件))中。计算机程序可以被部署为在一个计算机上或位于一个站点或分布在多个站点并通过数据通信网络互连的多个计算机上执行。

如本说明书中所使用的，“引擎”或“软件引擎”是指提供不同于输入的输出的软件实现的输入/输出系统。引擎可以是编码的功能块，诸如库、平台、软件开发工具包(“SDK”)或对象。每个引擎可以在任何适当类型的计算设备(诸如服务器、移动电话、平板计算机、笔记本计算机、音乐播放器、电子书阅读器、膝上型或台式计算机、掌上计算机、智能电话或其他固定或便携式设备)上实现，计算设备包括一个或多个处理器和计算机可读介质。此外，引擎中的两个或更多个可以在相同的计算设备上实现、或者在不同的计算设备上实现。

本说明书中描述的过程和逻辑流程可以由一个或多个可编程计算机来执行，这些可编程计算机执行一个或多个计算机程序，以通过对输入数据进行操作并生成输出来执行功能。过程和逻辑流程也可以由专用逻辑电路(例如，FPGA或ASIC)或者由专用逻辑电路和一个或多个编程计算机的组合来执行。

适于执行计算机程序的计算机可以基于通用或专用微处理器或两者、或任何其他类型的中央处理单元。一般地，中央处理单元将从只读存储器或随机访问存储器或两者接收指令和数据。计算机的基本元件是用于执行或运行指令的中央处理单元和用于存储指令和数据的一个或多个存储器设备。中央处理单元和存储器可以由专用逻辑电路来补充或并入专用逻辑电路。一般地，计算机还将包括或可操作地耦合到用于存储数据的一个或多个大容量存储设备(例如磁盘、磁光盘或光盘)，以从其接收数据或向其发送数据、或两者兼有。然而，计算机不需要这样的设备。此外，计算机可以嵌入另一个设备，例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏控制台、全球定位系统(GPS)接收器或便携式存储设备，例如通用串行总线(USB)闪存驱动器，仅举几个示例。

适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，例如，包括半导体存储器设备，例如EPROM、EEPROM和闪存设备；磁盘，例如内部硬盘或可移动磁盘；磁光盘；以及CD-ROM和DVD-ROM盘。

为了提供与用户的交互，本说明书中所描述的主题的实施例可以在计算机上实现，该计算机具有用于向用户显示信息的显示设备，例如阴极射线管(CRT)或液晶显示器(LCD)，以及键盘和定点设备，例如鼠标、轨迹球或存在敏感显示器或者用户可以向计算机提供输入的其他表面。也可以使用其他类型的设备来提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感官反馈，例如视觉反馈、听觉反馈或触觉反馈；并且可以以任何形式(包括声音、语音或触觉输入)接收来自用户的输入。此外，计算机可以通过向用户使用的设备发送文档和从用户使用的设备接收文档来与用户交互；例如，通过响应于从web浏览器接收到的请求将网页发送到用户设备上的web浏览器。此外，计算机可以通过向个人设备(例如，智能手机)发送文本消息或其他形式的消息、运行消息传递应用并从用户接收响应消息来与用户交互。

尽管本说明书包含多个具体的实现方式细节，但是这些细节不应被解释为对任何发明的范围或对所要求保护的范围的限制，而是对特定于特定发明的特定实施例的特征的描述。本说明书中在单独的实施例的上下文中描述的特定特征也可以在单个实施例中组合实现。相反地，在单个实施例的上下文中描述的各种特征也可以在多个实施例中单独实现或者在任何合适的子组合中实现。此外，尽管特征可以在上文中被描述为在特定组合中起作用，并且甚至最初被如此要求保护，但是在一些情况下，来自所要求保护的组合的一个或多个特征可以从该组合中被删除，并且所要求保护的组合可以针对子组合或子组合的变型。

类似地，尽管在附图中以特定顺序描述了操作，但是这不应该被理解为要求以所示的特定顺序或顺序地执行这些操作，或者要求执行所有示出的操作，以获得期望的结果。在特定情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统模块和组件的分离不应该被理解为在所有实施例中都需要这种分离，并且应该理解，所描述的程序组件和系统一般可以被一起集成在单个软件产品中或者被封装到多个软件产品中。

已经描述了主题的特定实施例。其他实施例在所附权利要求的范围内。例如，权利要求中列举的动作可以以不同的顺序执行，并且仍然获得期望的结果。作为一个示例，附图中描述的过程不一定需要所示的特定顺序或顺序地来实现期望的结果。在特定情况下，多任务和并行处理可能是有利的。

Claims (19)

1.一种由一个或多个计算机的系统执行的用于预测弱势道路用户VRU的行为的方法，包括：

获得位置数据，所述位置数据标识在道路上行驶的车辆附近检测到的VRU的当前位置；

获得描述VRU的环境的环境数据，其中所述环境数据标识VRU的环境中的多个环境特征；

确定VRU的标称走向；

生成预测性输入集，所述预测性输入集针对所述多个环境特征的至少一个子集中的每一个，指示VRU和所述环境特征之间的物理关系，其中所述物理关系是相对于所述VRU的标称走向和所述VRU的当前位置来确定的；

利用走向估计模型处理所述预测性输入集，以确定VRU的预测的走向偏移，其中，所述预测的走向偏移指示(i)由所述VRU的标称走向定义的向量的方向与(ii)从所述VRU的当前位置到VRU移动的预测的终点位置的向量的方向之间的差；以及

引导所述车辆实现使用所述VRU的预测的走向偏移而生成的自主驾驶决策。

2.根据权利要求1所述的方法，包括，通过将所述VRU的预测的走向偏移添加到所述VRU的标称走向来生成VRU的预测的走向。

3.根据权利要求1所述的方法，包括，选择沿着所述多个环境特征中的第一环境特征的点的位置，其中，确定所述VRU的标称走向包括确定从所述VRU的当前位置到选择的沿着第一环境特征的点的位置的向量的方向。

4.根据权利要求1所述的方法，包括，将VRU的当前走向指定为所述VRU的标称走向。

5.根据权利要求1所述的方法，包括：

选择所述多个环境特征中的第一环境特征；以及

确定沿着所述第一环境特征的点的位置；

其中，确定所述VRU的标称走向包括：确定VRU的当前位置和沿着所述第一环境特征的点之间的第一向量，并将所述第一向量的方向指定为所述VRU的标称走向。

6.根据权利要求5所述的方法，其中：

所述第一环境特征是道路边缘；

沿着所述第一环境特征的点是基于作为沿着所述道路边缘到VRU的最近点而被选择的；以及

所述标称走向指示从VRU的当前位置到沿着所述道路边缘的最近点的方向。

7.根据权利要求1所述的方法，包括：

基于VRU的位置历史和所述环境数据，确定乱穿马路预测，所述乱穿马路预测指示VRU是否正在车辆行驶的道路上乱穿马路或可能在车辆行驶的道路上乱穿马路；

其中，所述系统响应于所述乱穿马路预测指示VRU是正在车辆行驶的道路上乱穿马路或可能在车辆行驶的道路上乱穿马路，生成所述VRU的预测的走向偏移。

8.根据权利要求7所述的方法，其中，所述系统被配置为，响应于所述乱穿马路预测指示VRU没有在车辆行驶的道路上乱穿马路并且不太可能在车辆行驶的道路上乱穿马路，生成所述VRU的预测的走向偏移。

9.根据权利要求7所述的方法，包括：

基于所述VRU的位置历史和所述环境数据生成第二预测性输入集；以及

利用乱穿马路预测模型处理所述第二预测性输入集以生成所述乱穿马路预测，其中所述乱穿马路预测模型是使用监督机器学习技术训练的机器学习模型。

10.根据权利要求9所述的方法，其中，所述乱穿马路预测模型包括决策树、随机决策森林、人工神经网络或回归模型。

11.根据权利要求1所述的方法，其中，所述多个环境特征包括道路边缘、车道边界、步行道、自行车道、路沿或交叉路口中的至少一个。

12.根据权利要求1所述的方法，其中，所述VRU是行人、骑自行车者或低速机动车辆。

13.根据权利要求1所述的方法，其中，所述车辆是全自主或半自主车辆。

14.根据权利要求1所述的方法，包括：

分析由车辆的感测系统捕获到的传感器数据，以将VRU分类为多个预定义的VRU类型之一；以及

从与多个预定义类型的VRU中的不同类型相对应的多个预定义的走向估计模型中选择第一走向估计模型，用作用于处理所述预测性输入集并生成所述VRU的预测的走向偏移的走向估计模型，所述第一走向估计模型与VRU的分类后的类型相对应。

15.根据权利要求3所述的方法，其中，所述第一环境特征是道路边缘，并且选择沿着所述第一环境特征的点的位置包括选择与所述VRU的当前位置最近的道路边缘的位置。

16.根据权利要求1所述的方法，其中，所述走向估计模型是使用监督机器学习技术训练的机器学习模型。

17.根据权利要求1所述的方法，其中，如由所述预测性输入集中的第一预测性输入所指示的，VRU和所述多个环境特征中的第一环境特征之间的物理关系包括VRU和所述第一环境特征之间的位置关系、距离关系或角度关系中的至少一个。

18.一种用于预测弱势道路用户VRU的行为的系统，包括：

存储器；以及

一个或多个计算机，被配置为：

获得位置数据，所述位置数据标识在道路上行驶的车辆附近检测到的VRU的当前位置；

获得描述VRU的环境的环境数据，其中所述环境数据标识VRU的环境中的多个环境特征；

确定VRU的标称走向；

生成预测性输入集，所述预测性输入集针对所述多个环境特征的至少一个子集中的每一个，指示VRU和所述环境特征之间的物理关系，其中所述物理关系是相对于所述VRU的标称走向和所述VRU的位置来确定的；

利用走向估计模型处理所述预测性输入集，以确定VRU的预测的走向偏移，其中，所述预测的走向偏移指示(i)由所述VRU的标称走向定义的向量的方向与(ii)从所述VRU的当前位置到VRU移动的预测的终点位置的向量的方向之间的差；以及

引导所述车辆实现使用所述VRU的预测的走向偏移而生成的自主驾驶决策。

19.一种非暂时性计算机可读介质，编码有指令，当由数据处理装置执行所述指令时，所述指令使得数据处理装置执行包括以下步骤的操作：

获得位置数据，所述位置数据标识在道路上行驶的车辆附近检测到的弱势道路用户VRU的当前位置；

获得描述VRU的环境的环境数据，其中所述环境数据标识VRU的环境中的多个环境特征；

确定VRU的标称走向；

生成预测性输入集，所述预测性输入集针对所述多个环境特征的至少一个子集中的每一个，指示VRU和所述环境特征之间的物理关系，其中所述物理关系是相对于所述VRU的标称走向和所述VRU的位置来确定的；

利用走向估计模型处理所述预测性输入集，以确定VRU的预测的走向偏移，其中，所述预测的走向偏移指示(i)由所述VRU的标称走向定义的向量的方向与(ii)从所述VRU的当前位置到VRU移动的预测的终点位置的向量的方向之间的差；以及

引导所述车辆实现使用所述VRU的预测的走向偏移而生成的自主驾驶决策。