CN112977472A

CN112977472A - 预测车辆的移动轨迹的方法及系统

Info

Publication number: CN112977472A
Application number: CN202011449841.2A
Authority: CN
Inventors: 潘嘉诚; 孙宏艺; 许珂诚; 蒋一飞; 肖祥全; 胡江滔; 缪景皓
Original assignee: Baidu USA LLC
Current assignee: Baidu USA LLC
Priority date: 2019-12-12
Filing date: 2020-12-09
Publication date: 2021-06-18
Also published as: US20210179097A1; US11860634B2

Abstract

提供一种预测车辆的移动轨迹的方法及系统。确定移动障碍物的空间位置在一段时间内的障碍物状态演变。还确定移动障碍物与移动障碍物附近的一条或多条车道中的每条车道在一段时间内的障碍物关系演变。基于障碍物状态演变和车道‑障碍物演变预测移动障碍物的预期移动。此后，基于所预测的移动障碍物的预期移动，规划ADV的轨迹以控制ADV避免与移动障碍物碰撞。对于在ADV的预定邻近范围内检测到的移动障碍物中的每个，迭代地执行以上过程。

Description

预测车辆的移动轨迹的方法及系统

技术领域

本公开的实施例总体上涉及操作自主驾驶车辆。更具体地，本公开的实施例涉及预测移动障碍物的移动或轨迹。

背景技术

以自主模式(例如，无人驾驶)操作的车辆可以减轻乘员(特别是驾驶员)免于某些与驾驶有关的责任。当以自主模式操作时，车辆可以使用车载传感器导航到各种位置，允许车辆在最少的人机交互、或者在某些情况下无需任何乘客的情况下行进。

运动规划和控制是自主驾驶中至关重要的操作。在规划自主驾驶车辆(autonomous driving vehicle,ADV)的路径或轨迹时，重要的是预测在ADV邻近范围内的每个移动障碍物的移动或轨迹。但是，这样的预测难以实现高精度。例如，可以通过移动障碍物的驾驶员的意图确定移动障碍物的轨迹，这受周围静态环境(诸如，移动障碍物附近的风景、车道线和道路形状)的影响。因此，可能难以估计移动障碍物的驾驶员的意图。

发明内容

在第一方面中，提供一种用于操作自主驾驶车辆(ADV)的计算机实现方法，方法包括：

确定移动障碍物的空间位置在一段时间内的障碍物状态演变；

确定移动障碍物与移动障碍物附近的一条或多条车道中的每条车道在一段时间内的车道-障碍物关系演变；

基于障碍物状态演变和车道-障碍物关系演变，预测移动障碍物的预期移动；以及

基于所预测的移动障碍物的预期移动，规划ADV的轨迹以控制ADV避免与移动障碍物碰撞。

在第二方面中，提供一种非暂时性机器可读介质，具有存储在其中的指令，指令在由处理器执行时使处理器执行如第一方面所述的操作自主驾驶车辆(ADV)的方法的操作。

在第三方面中，提供一种数据处理系统，包括：

处理器；以及

存储器，耦合到处理器并被配置为存储指令，指令在由处理器执行时使处理器执行如第一方面所述的操作自主驾驶车辆(ADV)的方法的操作。

通过本发明的方法及系统，可以准确地预测移动障碍物的移动轨迹。

附图说明

在附图的图中以示例而非限制的方式示出本公开的实施例，在附图中，相似的附图标记指示相似的元件。

图1是示出根据一个实施例的联网系统的框图。

图2是示出根据一个实施例的自主车辆的示例的框图。

图3A-3B是示出根据一个实施例的与自主车辆一起使用的感知和规划系统的示例的框图。

图4是示出根据一个实施例的预测模块的示例的框图。

图5是示出根据一个实施例的预测模块的示例的处理流程图。

图6示出预测移动障碍物在出口附近的轨迹的问题的示例。

图7A示出通过网格状欧几里得方法基于动态交互作用预测行人的轨迹的示例。

图7B示出通过非欧几里得方法基于动态交互作用预测行人的轨迹的示例。

图7C示出通过网格状欧几里得方法基于静态环境预测移动障碍物的轨迹的示例。

图7D示出根据一个实施例的基于静态环境预测移动障碍物的轨迹的示例。

图8示出根据一个实施例的预测移动障碍物的轨迹的方法的示例。

图9A-9E示出预测移动障碍物的轨迹的方法的示例的细节。图9A示出新信息的接收；图9B示出时间演变；图9C示出空间聚合；图9D示出车道注意力；以及图9E示出移动障碍物的整体状态的更新。

图10是示出根据一个实施例的预测移动障碍物的轨迹的过程的流程图。

具体实施方式

将参考下面讨论的细节来描述本公开的各种实施例和方面，并且附图将示出各种实施例。以下描述和附图是本公开的说明，并且不应被解释为限制本公开。许多具体细节被描述以提供对本公开的各种实施例的全面理解。然而，在某些情况下，为了提供对本公开的实施例的简要讨论，没有描述公知的或常规的细节。

在说明书中对“一个实施例”或“一实施例”的引用是指结合该实施例描述的特定特征、结构或特性可以被包含在本公开的至少一个实施例中。说明书中各个地方出现的短语“在一个实施例中”不一定都指相同的实施例。

根据一些实施例，通过利用注意力机制以及长短期记忆(long short-termmemory,LSTM)网络，学习驾驶员的意图与移动障碍物相对于道路基础设施改变位置之间的关系。关系用于指导移动障碍物的预期移动的预测。例如，公路上的车道可以被视为非欧几里得结构，以及移动障碍物的移动历史可以被展开以形成时空图。可以基于图形神经网络预测移动障碍物的预期移动。通过使用非欧几里得方法处理所预测物体周围的静态环境特征是有利的。本文公开的方法的实用性和可解释性分析示出在各种自主驾驶系统中大规模部署的巨大潜力。

根据一个实施例，公开了一种用于操作ADV的计算机实现方法。确定移动障碍物的空间位置在一段时间内的障碍物状态演变。还确定移动障碍物与移动障碍物附近的一条或多条车道中的每条车道在一段时间内的车道-障碍物关系演变。基于障碍物状态演变和车道-障碍物关系演变预测移动障碍物的预期移动。此后，基于所预测的移动障碍物的预期移动，规划ADV的轨迹以控制ADV避免与移动障碍物碰撞。对于在ADV的预定邻近范围内检测到的移动障碍物中的每个，迭代地执行以上过程。

在一个实施例中，可以基于移动障碍物的空间位置以及移动障碍物与一条或多条车道中的每条车道的车道-障碍物关系演变生成时空图。时空图可以包括两种类型的节点、空间边的集合和两种类型的时间边。两种类型的节点可以包括表示移动障碍物在给定时间的空间位置的障碍物节点，以及表示在给定时间的多条车道中的每条车道的对应车道节点。例如，空间边的集合中的每条空间边可以指示障碍物节点与对应车道节点之间的对应成对关系。例如，两种类型的时间边可以包括移动障碍物的空间位置在一段时间内的障碍物状态演变，以及移动障碍物与一条或多条车道中的每条车道在一段时间内的车道-障碍物关系演变。。

在一个实施例中，通过使用包括多层感知(multi-layer perception,MLP)网络的LSTM网络确定移动障碍物的空间位置在一段时间内的障碍物状态演变。在一个实施例中，通过使用包括MLP网络的LSTM网络确定移动障碍物对一条或多条车道中的每条车道在一段时间内的车道-障碍物关系演变。

在一个实施例中，确定指示移动障碍物的预期移动的聚合车道编码，其中，还基于聚合车道编码预测移动障碍物的预期移动。在一个实施例中，对于一条或多条车道中的每条车道，基于移动障碍物与车道的车道-障碍物关系演变、车道对移动障碍物的当前相对位置以及车道的未来形状确定车道编码。在一个实施例中，对于一条或多条车道中的每条车道，基于移动障碍物与车道的车道-障碍物关系演变以及车道对移动障碍物的当前相对位置确定车道的注意力得分。在一个实施例中，聚合车道编码基于一条或多条车道中的每条车道的车道编码的加权和，其中一条或多条车道中的每条车道的权重基于车道的注意力得分。

图1是示出根据本公开的一个实施例的自主车辆网络配置的框图。参考图1，网络配置100包括可以通过网络102通信地耦合到一个或多个服务器103-104的自主车辆101。尽管示出一个自主车辆，但是多个自主车辆可以彼此耦合和/或通过网络102耦合到服务器103-104。网络102可以是任何类型的网络，诸如局域网(LAN)、广域网(WAN)(诸如Internet、蜂窝网络、卫星网络的或其组合)、有线或无线的网络。服务器103-104可以是任何种类的服务器或服务器集群，诸如Web或云服务器、应用服务器、后端服务器或其组合。服务器103-104可以是数据分析服务器、内容服务器、交通信息服务器、地图和兴趣点(MPOI)服务器、或位置服务器等。

自主车辆是指可以被配置为处于自主模式的车辆，在自主模式下，车辆在驾驶员很少或没有输入的情况下导航通过环境。这种自主车辆可以包括具有一个或多个传感器的传感器系统，一个或多个传感器被配置为检测关于车辆在其中操作的环境的信息。车辆及其相关联的(一个或多个)控制器使用检测的信息导航通过环境。自主车辆101可以在手动模式、完全自主模式或部分自主模式下操作。

在一个实施例中，自主车辆101包括但不限于感知和规划系统110、车辆控制系统111、无线通信系统112、用户接口系统113和传感器系统115。自主车辆101还可以包括包含在普通车辆中的某些通用组件，诸如引擎、车轮、方向盘、变速器等，其可以由车辆控制系统111和/或感知和规划系统110使用各种通信信号和/或命令来控制，诸如，例如加速信号或命令、减速信号或命令、转向信号或命令、制动信号或命令等。

组件110-115可以经由互连、总线、网络或其组合彼此通信地耦合。例如，组件110-115可以经由控制器局域网(CAN)总线彼此通信地耦合。CAN总线是一种车辆总线标准，其被设计为允许微控制器和设备在没有主机的应用中彼此通信。它是一种基于消息的协议，最初是为汽车内的多路电气布线设计的，但也用于许多其他情况。

现在参考图2，在一个实施例中，传感器系统115包括但不限于一个或多个相机211、全球定位系统(GPS)单元212、惯性测量单元(IMU)213、雷达单元214、以及光检测和测距(LIDAR)单元215。GPS系统212可以包括收发器214，收发器214可操作以提供关于自主车辆的位置的信息。IMU单元213可以基于惯性加速度来感测自主车辆的位置和方向的改变。雷达单元214可以表示利用无线电信号感测在自主车辆的局部环境内的物体的系统。在一些实施例中，除了感测物体之外，雷达单元214可以附加地感测物体的速度和/或前进方向。LIDAR单元215可以使用激光感测自主车辆所处环境中的物体。LIDAR单元215可以包括一个或多个激光源、激光扫描仪以及一个或多个检测器、以及其他系统组件。相机211可以包括一个或多个设备以捕获自主车辆周围的环境的图像。相机211可以是静态相机和/或视频相机。相机可以例如通过将相机安装在旋转和/或倾斜的平台上是机械地可移动的。

传感器系统115还可以包括其他传感器，诸如声纳传感器、红外传感器、转向传感器、油门传感器、制动传感器和音频传感器(例如，麦克风)。音频传感器可以被配置为从自主车辆周围的环境捕获声音。转向传感器可以被配置为感测方向盘的转向角、车辆车轮或其组合。油门传感器和制动传感器分别感测车辆的油门位置和制动位置。在某些情况下，油门传感器和制动传感器可以被集成为集成的油门/制动传感器。

在一个实施例中，车辆控制系统111包括但不限于转向单元201、油门单元202(也称为加速单元)和制动单元203。转向单元201用于调节车辆的方向或前进方向。油门单元202用于控制马达或引擎的速度，进而控制车辆的速度和加速度。制动单元203用于通过提供摩擦以减慢车辆的车轮或轮胎来使车辆减速。注意，图2中所示的组件可以以硬件、软件或其组合来实现。

再次参考图1，无线通信系统112用于允许自主车辆101与外部系统(诸如设备、传感器、其他车辆等)之间的通信。例如，无线通信系统112可以直接或者经由通信网络(诸如通过网络102的服务器103-104)与一个或多个设备进行无线通信。无线通信系统112可以使用任何蜂窝通信网络或无线局域网(WLAN)，例如使用WiFi与另一个组件或系统进行通信。无线通信系统112可以例如使用红外链路、蓝牙等直接与设备(例如，乘客的移动设备、车辆101内的显示设备、扬声器)通信。用户接口系统113可以是在车辆101内实现的外围设备的一部分，包括例如键盘、触摸屏显示器、麦克风和扬声器等。

自主车辆101的某些或全部功能可以由感知和规划系统110控制或管理，特别是在以自主驾驶模式操作时。感知和规划系统110包括必要的硬件(例如(一个或多个)处理器、存储器、存储装置)和软件(例如，操作系统、规划和路由程序)，以接收来自传感器系统115、控制系统111、无线通信系统112和/或用户接口系统113的信息，处理接收到的信息，规划从起点到目的地点的路线或路径，然后基于规划和控制信息驾驶车辆101。可替换地，感知和规划系统110可以与车辆控制系统111集成在一起。

例如，作为乘客的用户可以例如经由用户界面指定行程的起始位置和目的地。感知和规划系统110获得行程有关的数据。例如，感知和规划系统110可以从MPOI服务器(其可以是服务器103-104的一部分)获得位置和路线信息。位置服务器提供位置服务，以及MPOI服务器提供某些位置的地图服务和POI。可替换地，这样的位置和MPOI信息可以局部缓存在感知和规划系统110的永久存储设备中。

当自主车辆101沿着路线移动时，感知和规划系统110还可以以从交通信息系统或服务器(TIS)获得实时交通信息。注意，服务器103-104可以由第三方实体操作。可替换地，服务器103-104的功能可以与感知和规划系统110集成在一起。基于由传感器系统115检测或感测的实时交通信息、MPOI信息和位置信息、以及实时交通环境数据(例如，障碍物、物体、附近车辆)，感知和规划系统110可以规划最佳路线并且例如根据规划的路线经由控制系统111驾驶车辆101，以安全有效地到达指定目的地。

服务器103可以是为各种客户端执行数据分析服务的数据分析系统。在一个实施例中，数据分析系统103包括数据收集器121和机器学习引擎122。数据收集器121从各个车辆(自主车辆或由人类驾驶员驾驶的常规车辆)收集驾驶统计123。驾驶统计123包括指示发出的驾驶命令(例如，油门、制动器、转向命令)以及由车辆的传感器在不同时间点捕获的车辆的响应(例如，速度、加速度、减速度、方向)的信息。驾驶统计123还可以以包括描述不同时间点的驾驶环境的信息，诸如，例如路线(包括起点位置和目的地位置)、MPOI、道路状况、天气状况等。

基于驾驶统计123，机器学习引擎122出于各种目的生成或训练一组规则、算法和/或预测模型124。在一个实施例中，算法124可以包括确定移动障碍物的空间位置在一段时间内的障碍物状态演变的算法或模型、确定移动障碍物与移动障碍物附近的一条或多条车道中的每条车道在一段时间内的车道-障碍物关系演变的算法、和/或基于障碍物状态演变和车道-障碍物演变预测移动障碍物的预期移动的算法或预测模型，这将在下面进行详细描述。然后可以将算法124上载到ADV上，以在自主驾驶期间实时使用。

图3A和图3B是示出根据一个实施例的与自主车辆一起使用的感知和规划系统的示例的框图。系统300可以被实现为图1的自主车辆101的一部分，包括但不限于感知和规划系统110、控制系统111和传感器系统115。参考图3A-3B，感知和规划系统110包括但不限于定位模块301、感知模块302、预测模块303、决策模块304、规划模块305、控制模块306和路由模块307。

模块301-307中的一些或全部可以以软件、硬件或其组合来实现。例如，这些模块可以被安装在永久存储设备352中、被加载到存储器351中、并且由一个或多个处理器(未示出)执行。注意，这些模块中的一些或全部可以通信地耦合到图2的车辆控制系统111的一些或全部模块或与这些模块集成。模块301-307中的一些可以作为集成模块被集成在一起。

定位模块301确定自主车辆300的当前位置(例如，利用GPS单元212)，并管理与用户的行程或路线有关的任何数据。定位模块301(也称为地图和路线模块)管理与用户的行程或路线有关的任何数据。用户可以例如经由用户界面登录并指定行程的开始位置和目的地。定位模块301与自主车辆300的其他组件通信，诸如地图和路线信息311，以获得与行程有关的数据。例如，定位模块301可以从位置服务器以及地图和POI(MPOI)服务器获得位置和路线信息。位置服务器提供位置服务，并且MPOI服务器提供某些位置的地图服务和POI，其可以被缓存为地图和路线信息311的一部分。在自主车辆300沿路线移动时，定位模块301还可以从交通信息系统或服务器获取实时交通信息。

基于由传感器系统115提供的传感器数据和由定位模块301获得的定位信息，由感知模块302确定对周围环境的感知。感知信息可以表示普通驾驶员在驾驶员正在驾驶的车辆周围将会感知到的东西。感知可以包括车道配置、交通信号灯、另一车辆的相对位置、行人、建筑物、人行横道、或其他与交通有关的标志(例如，停车标志、让路标志)，例如，以物体的形式。车道配置包括描述一条或多条车道的信息，诸如，例如车道的形状(例如，直行或弯曲)、车道的宽度、道路中有多少个车道、单向或双向车道、合并或拆分车道、出口车道等。

感知模块302可以包括计算机视觉系统或计算机视觉系统的功能，以处理和分析由一个或多个相机捕获的图像，以便识别自主车辆的环境中的物体和/或特征。物体可以包括交通信号、道路边界、其他车辆、行人和/或障碍物等。计算机视觉系统可以使用物体识别算法、视频跟踪和其他计算机视觉技术。在一些实施例中，计算机视觉系统可以映射环境、跟踪物体并估算物体的速度等。感知模块302还可以基于由诸如雷达和/或LIDAR的其他传感器提供的其他传感器数据来检测物体。

对于每个物体，预测模块303预测在这种情形下物体将表现的行为。根据一组地图/路线信息311和交通规则312基于当时感知驾驶环境的感知数据进行预测。例如，如果物体是在相反方向的车辆并且当前驾驶环境包括交叉路口，则预测模块303将预测车辆是可能直行向前移动还是转弯。如果感知数据指示交叉路口没有交通灯，则预测模块303可以预测车辆可能必须在进入交叉路口之前完全停止。如果感知数据指示车辆当前在只能向左转的车道或只能向右转的车道，则预测模块303可以分别预测车辆将更可能向左转或向右转。

对于每个物体，决策模块304做出关于如何处理物体的决策。例如，对于特定的物体(例如，在交叉路线中的另一辆车)以及描述该物体的元数据(例如，速度、方向、转弯角度)，决策模块304决定如何遇见该物体(例如，超车、让车、停止、经过)。决策模块304可以根据可以存储在永久存储设备352中的一组规则(诸如交通规则或驾驶规则312)做出这样的决策。

路由模块307被配置为提供从起点到目的地点的一条或多条路线或路径。对于例如从用户接收的从起始位置到目的地位置的给定行程，路由模块307获得路线和地图信息311，并且确定从起始位置到达目的地位置的所有可能的路线或路径。路由模块307可以为每条路线(其确定从起始位置到达目的地位置)生成地形图式的参考线。参考线是指一条理想的路线或路径，不受诸如其他车辆、障碍物或交通状况的其他因素的干扰。即如果道路上没有其他车辆、行人或障碍物，则ADV应该准确或密切跟随参考线。然后地形图被提供给决策模块304和/或规划模块305。根据由其他模块提供的其他数据(诸如来自定位模块301的交通状况、由感知模块302感知的驾驶环境以及由预测模块303预测的交通状况)，决策模块304和/或规划模块305检查所有可能的路线以选择和修改最佳路线中的一条。用于控制ADV的实际路径或路线可能与由路由模块307提供的参考线接近或不同，这取决于当时的特定驾驶环境。

基于对感知到的每个物体的决策，规划模块305使用由路由模块307提供的参考线作为基础，以规划用于自主车辆的路径或路线以及驾驶参数(例如，距离、速度和/或转弯角度)。即对于给定的物体，决策模块304决定如何处理该物体，而规划模块305确定如何进行该处理。例如，对于给定的物体，决策模块304可以决定经过该物体，而规划模块305可以确定是在该物体的左侧还是在右侧经过。规划和控制数据由规划模块305生成，规划和控制数据包括描述车辆300如何在下一移动周期(例如，下一路线/路径段)中移动的信息。例如，规划和控制数据可以指示车辆300以每小时30英里(mph)的速度移动10米，然后以25mph的速度改变到右车道。

基于规划和控制数据，控制模块306根据由规划和控制数据限定的路线或路径，通过向车辆控制系统111发送适当的命令或信号，控制和驾驶自主车辆。规划和控制数据包括足够的信息，以沿路径或路线在不同时间点使用适当的车辆设置或驾驶参数(例如，油门、制动、转向命令)将车辆从路线或路径的第一点驾驶到第二点。

在一个实施例中，在数个规划周期(也称为驾驶周期)中执行规划阶段，诸如，例如在每100毫秒(ms)的时间间隔中。对于每个规划周期或驾驶周期，将基于规划和控制数据发出一个或多个控制命令。即每100ms，规划模块305规划下一路线段或路径段(例如包括目标位置和ADV到达目标位置所需的时间)。可替换地，规划模块305还可以指定特定的速度、方向和/或转向角等。在一个实施例中，规划模块305为下一预定时间段(诸如5秒)规划路线段或路径段。对于每个规划周期，规划模块305基于在前一个周期中规划的目标位置，为当前周期(例如，接下来的5秒)规划目标位置。然后，控制模块306基于当前周期的规划和控制数据产生一个或多个控制命令(例如，油门、制动、转向控制命令)。

注意，决策模块304和规划模块305可以被集成为集成模块。决策模块304/规划模块305可以包括导航系统或导航系统的功能，以为自主车辆确定行驶路径。例如，导航系统可以确定一系列速度和定向的前进方向，以影响自主车辆沿着基本上避开感知到的障碍物的路径的移动，同时通常使自主车辆沿着通往最终目的地的基于道路的路径前进。可以根据经由用户接口系统113的用户输入来设置目的地。导航系统可以在操作自主车辆时动态地更新行驶路径。导航系统可以合并来自GPS系统和一个或多个地图的数据，以便确定自主车辆的行驶路径。

尽管未示出，但是感知和规划系统110还包括数据记录器或数据收集器，数据记录器或数据收集器被配置为收集由组件301-307和传感器在一段时间内处理的数据，其可以被存储为数据记录313的一部分。例如，数据记录313包括在每个驾驶/规划周期中规划或做出的任何预测、决策和路径。数据记录313还可以包括发出的控制命令，以及在每个驾驶周期的不同时间点捕获的车辆的响应或状态(例如，速度、加速度、前进方向、位置等)。数据记录313还可以包括在一段时间内感知到的移动障碍物及其行为(例如，在过去的周期期间捕获的先前的位置、速度、前进方向等)。可以随后利用数据记录313以规划和控制车辆，或者可替换地，可以离线分析数据记录313以改善驾驶算法或预测模型。

根据一个实施例，预测模块303被配置为基于感知模块302提供的感知信息识别移动障碍物。对于在ADV邻近范围内移动障碍物中的每个移动障碍物，预测模块303基于障碍物状态演变和车道-障碍物演变以及基于一组车道注意力预测规则或模型314，预测移动障碍物的预期移动。

图4是示出根据一个实施例的预测模块的示例的框图，以及图5是根据一个实施例的预测模块的处理流程图。参考图4和图5，预测模块303包括但不限于时空(ST)图生成器401、状态演变生成器402、车道-障碍物关系演变生成器403、空间聚合确定模块404和轨迹预测器404，它们使用车道注意力预测算法或模型314一起工作，以基于障碍物状态演变和车道-障碍物演变确定或预测移动障碍物的预期移动。注意，模块401-405可以被集成到更少数量的模块或单个模块中。移动障碍物可以是车辆、行人、自行车或能够移动的任何其他物体。

根据一个实施例，可以识别在ADV邻近范围内的移动障碍物和移动障碍物周围的一条或多条车道。移动障碍物可以是车辆、摩托车、自行车或行人。可以作为由感知模块302基于从安装在ADV上的各种传感器(诸如图2所示的传感器)获得的传感器数据执行的感知过程的一部分来识别移动障碍物和移动障碍物周围的一条或多条车道。在一个实施例中，基于感知信息，ST图生成器401被配置为基于移动障碍物的空间位置和移动障碍物与一条或多条车道中的每条车道的车道-障碍物关系演变生成ST图。状态演变生成器402被配置为确定移动障碍物的空间位置在一段时间内的障碍物状态演变，并且车道-障碍物关系演变生成器403被配置为确定移动障碍物与移动障碍物附近的一条或多条车道中的每条车道在一段时间内的车道-障碍物关系演变。轨迹预测器405被配置为基于障碍物状态演变和车道-障碍物演变预测移动障碍物的预期移动。此后，规划模块305被配置为基于所预测的移动障碍物的预期移动，规划ADV的轨迹以控制ADV避免与移动障碍物的碰撞。

在一个实施例中，空间聚合确定模块404被配置为确定指示移动障碍物的预期移动的聚合车道编码，其中还基于聚合车道编码，预测移动障碍物的预期移动。在一个实施例中，对于一条或多条车道中的每条车道，空间聚合确定模块404被配置为，基于移动障碍物与车道的车道-障碍物关系演变、车道对移动障碍物的当前相对位置以及车道的未来形状确定车道编码。在一个实施例中，对于一条或多条车道中的每条车道，空间聚合确定模块404被配置为，基于移动障碍物与车道的车道-障碍物关系演变以及车道对移动障碍物的当前相对位置确定车道的注意力得分。空间聚合确定模块404被配置为，基于一条或多条车道中的每条车道的车道编码的加权和确定聚合的车道编码，其中一条或多条车道中的每条车道的权重基于车道的注意力得分。

在一个实施例中，车道注意力预测算法或模型314可以基于长短期记忆(LSTM)网络和多层感知(MLP)网络。例如，可以通过使用LSTM网络和MLP网络确定移动障碍物的空间位置在一段时间内的障碍物状态演变；可以通过使用另一个LSTM网络和另一个MLP网络确定移动障碍物对一条或多条车道中的每条车道在一段时间内的车道-障碍物关系演变。

图6是示出预测在移动障碍物601周围具有一条或多条车道(例如602、603、604)的移动障碍物601的轨迹的问题的示例的图600。在该示例中，障碍物601在出口附近正以特定速度沿特定方向移动，其中移动障碍物601附近有一条或多条车道，例如602、603、604。可以约束移动障碍物601在一条或多条车道(例如602、603、604)中的一条上驾驶。在为ADV 605规划路径时，重要的是准确预测移动障碍物601将最可能采用车道(例如602、603、604)中的哪条车道。移动障碍物601将采用哪条车道可能极大地影响ADV 605将如何移动以避免与移动障碍物601碰撞。

图7A是示出通过网格状欧几里得方法基于动态交互作用预测行人的轨迹的示例的图700a。欧几里得方法已被用来学习行人的动态交互作用，并使用动态交互作用指导行人的轨迹的预测。例如，欧几里得方法已被用来预测拥挤场景中行人的轨迹。在欧几里得方法中，将空间划分为网格并应用占用网格池或社交池。但是，这种方法没有考虑行人的注意力。图7B是示出通过非欧几里得方法基于动态交互作用预测行人的轨迹的示例的图700b。非欧几里得方法已被用来将物体及其交互作用视为图形，并使用注意力机制预测行人的轨迹。

但是如结合图6所讨论的，移动障碍物的行为可能受车道信息的约束，而不是受移动障碍物的动力学或与其他移动障碍物的偶然交互作用的约束。因此，在确定移动障碍物的未来移动轨迹时，静态环境的影响可能占主导地位。

图7C是示出通过网格状欧几里得方法基于静态环境预测移动障碍物(例如，移动车辆)的轨迹的示例的图700c。欧几里得方法将道路基础设施视为欧几里得数据(例如，语义图)。但是，道路上的车道的结构可能不统一。移动障碍物周围可以有任意数量的车道，范围从一个到很大的数量(例如，当进入具有许多分支的大交叉路口时)。此外，车道的形状或方向可能会有所不同：在高速公路上，车道大多是笔直的；而在交叉路口内，车道可能会分支成若干完全不同的方向。驾驶时，驾驶员可能会基于其预期移动的意图将注意力集中在一个或几个车道上。在某些情况下，驾驶员可能倾向于跟随车道的方向。因为欧几里得方法没有考虑上述因素，因此欧几里得方法可能无法准确预测移动障碍物的轨迹。可能需要开发一种方法或模型，以基于移动障碍物的预期移动准确预测移动障碍物的轨迹。

图7D是示出根据一个实施例的基于静态环境预测移动障碍物的轨迹的示例的图700d。移动障碍物(例如701)与其周围车道(例如702、703、704)之间的成对关系在预测移动障碍物的未来移动中起着重要作用。因此，预测移动障碍物的轨迹的方法可以基于车道的信息(例如，702、703、704)和注意机制以聚合静态环境信息。在该方法中，可以学习移动障碍物与周围车道之间的关系。通过理解和建模来自周围环境的影响，方法可以准确预测移动障碍物的轨迹或预期移动。另外，该方法可以应用于基于高清(HD)地图和基于非HD地图的自主驾驶两者。在基于HD地图的自主驾驶中，可以通过预先收集的HD地图提供车道信息。在基于非HD地图的自主驾驶中，可以将相机检测到的车道或预先收集到的人类驾驶路径用作车道信息。此外，因为所学习的注意力分数可以被可视化，该方法可以提供对移动障碍物的行为的直观解释。这种可解释性也可以使自主驾驶系统的其他下游模块受益。

图8是示出在ADV邻近范围内(未示出)预测移动障碍物801的轨迹的方法的示例的图800，其中移动障碍物801可以在一条或多条车道802、803、804附近。在一个实施例中，方法可以通过公式化用以展开移动障碍物在一条或多条车道802、803、804上的运动历史的ST图805，预测移动障碍物801的轨迹。移动障碍物801可以例如是移动车辆。如图8所示，一条或多条车道802、803、804可以在出口附近。

在该方法中，ADV的感知模块的传感器可以以Δt的增量(传感器的采样周期)接收每个移动障碍物从先前时间-T_obs到当前时间步t＝0的历史位置。可以假设在每个时间步给出了移动障碍物的周围车道，并且车道数量表示为N。通过该方法，可以预测每个车辆在T_pred时间跨度上的未来位置，T_pred可以是Δt的整数倍。例如，可以通过使用该方法预测移动障碍物801在T_pred时间跨度上的未来位置。

可以通过使用图形神经网络(graph neural network,GNN)对移动障碍物801的静态环境进行建模。可以生成基于GNN的ST图805，以清楚地表明移动障碍物801与一条或多条车道802、803、804之间的成对关系。GNN是经由在图的节点之间传递的消息捕获图的依赖性的联结主义模型。不像标准神经网络，GNN可以保留可以表示来自具有任意深度的邻域的信息的状态。GNN在处理非欧几里得输入或从输入数据中挖掘成对关系特性方面非常有效。时空图神经网络(spatiotemporal graph neural network ST-GNN)是GNN的衍生产品，使用节点表示实体并且使用两种边表示时间和空间关系。

如图8所示，对于移动障碍物801，可以生成ST图805：G＝(ν；ε_T；ε_S)，其中ν是节点的集合，ε_T是时间边的集合，以及ε_S是空间边的集合，如以下等式(1)和(2)中描述的：

和

其中

如等式(1)所示，节点的集合ν包含两种节点：障碍物节点和车道节点。例如，障碍物节点v^t 811表示在给定时间t处的移动障碍物801，并且车道节点

(例如，821、822、823)表示在时间t处移动障碍物801周围的局部车道(例如，802、803、804)中的一条。障碍物节点v^t+1 811′表示在时间步t+1处的移动障碍物801，并且车道节点

(例如821′、822′、823′)表示在时间步t+1处移动障碍物周围的局部车道(例如，802、803、804)中的一条，以此类推等等。

可以基于障碍物节点v^t 811与车道节点

(例如821、822、823)在同一时间t处的成对关系形成空间边的集合ε_S(例如

831、

832、

833)。如图8所示，在给定时间t处，连接线

831、

832和

833分别表示障碍物节点v^t 811与车道节点

821、

822和

823之间的空间边。在时间步t+1处，连接线

831′、

832′和

833′分别表示障碍物节点v^t+1811′与车道节点

821′、

822′和

823′之间的空间边。

如等式(2)所示，存在两种类型的时间边，一种类型是关于障碍物状态演变的时间边，另一种类型是关于车道-障碍物关系随时间的演变的时间边。例如，连接障碍物节点v^t811和障碍物节点v^t+1 811′的时间边841表示障碍物状态演变。在给定时间t处的一组空间边ε_S(例如

831、

832、

833)和在时间步t+1处的一组空间边ε_S(例如

831′、

832′和

833′)之间的时间边(例如851、852、853)可以表示车道-障碍物关系随时间的演变。移动障碍物801的移动历史以及其与周围车道802、803、804的变化关系可以随着时间展开以形成ST图805，如图8所示。

图9A-图9E示出图8中的方法的示例的细节，用于预测ADV邻近范围内移动障碍物801的轨迹。图9A是示出接收移动障碍物801的新信息的步骤的图900a。参考图8和图9A，可以在每个时刻接收移动障碍物801的空间位置。也可以在每个时刻接收关于移动障碍物801附近的一条或多条车道(例如802、803、804)的车道信息。例如，在每个时刻，障碍物节点υ^t811可以接收移动障碍物801的新空间位置

并且也可以刷新车道节点

(例如821、822、823)以反映在移动障碍物801的当前邻域中的车道(例如802、803、804)。车道节点

(例如821、822、823)可以包含一组有序车道点。关于车道(例如802、803、804)的车道信息可以直接来自ADV的感知模块的传感器。可替换地，可以通过首先定位移动障碍物801的位置，然后从预先收集到的HD地图提取关于移动障碍物801周围的车道(例如，802、803、804)的信息而得出关于车道(例如，802、803、804)的信息。因此，该时刻的所有空间边

(例如

831、

832、

833)则很容易用移动障碍物801对于移动障碍物附近的局部车道(例如802、803、804)的新空间关系更新。

图9B是示出用于预测移动障碍物801的轨迹的方法的时间演变的步骤的图900b。例如，时间演变可以包括移动障碍物801的空间位置的障碍物状态演变以及移动障碍物801与移动障碍物801附近的一条或多条车道(例如，802、803、804)中的每条车道在一段时间内的车道-障碍物关系演变。例如，方法可以更新表示移动障碍物801的障碍物状态演变的时间边851′以及表示移动障碍物801与一条或多条车道(例如802、803、804)的车道-障碍物关系演变的一组时间边(例如852′)。

在一个实施例中，可以通过使用长短期记忆网络(LSTM)确定障碍物状态演变。LSTM是在深度学习领域中使用的人工递归神经网络(recurrent neural network,RNN)架构。不像标准前馈神经网络，LSTM具有反馈连接。LSTM不仅可以处理单个数据点，还可以处理整个数据序列。LSTM可以应用于学习序列数据的模式。例如，可以用以下等式描述LSTM网络：

f_t＝σ(W_fx_t+U_fh_t-1+b_f) (3)

i_t＝σ(W_ix_t+U_ih_t-1+b_i) (4)

o_t＝σ(W_ox_t+U_oh_t-1+b_o) (5)

c_t＝f_t⊙c_t-1+i_t⊙tanh(W_cx_t+U_ch_t-1+b_c) (6)

h_t＝o_t⊙tanh(c_t) (7)

在以上等式中，f_t、i_t、o_t和c_t分别表示遗忘门、更新门、输出门和单元状态，h_t是隐藏状态并且可以包含序列输入的编码模式。以下等式(8)可以用作等式(3)–(7)的缩写：

h_t＝LSTM(h_t-1,x_t；Θ) (8)

障碍物移动是序列数据形式，并且该移动可能部分地受运动学和车辆动力学的支配，特别是在短期内。例如，车辆无法瞬间完成急转弯；车辆也无法在眨眼间从60mph减速到0mph。因此，LSTM网络可以用于学习这种潜在的驾驶力。例如，LSTM网络可以首先使用多层感知(MLP)网络嵌入移动障碍物801的空间位置的相对位移，如以下等式(9)中描述的。MLP网络是一类前馈人工神经网络。MLP网络可以包括至少三层节点：输入层、隐藏层和输出层。MLP可以利用称为反向传播的监督学习技术进行训练。接下来，嵌入和先前隐藏的状态可以用作输入，以更新时间边851′(v^t-1，v^t)的新隐藏状态

901，如下面的等式(10)中描述的。

可以通过使用另一个LSTM网络确定移动障碍物801的车道-障碍物关系演变。可以通过驾驶员的意图确定障碍物的移动。驾驶员的意图通常可能没有被明确表达，但是可以基于障碍物与每条车道的变化关系来推断，因为驾驶员倾向于跟随一个或几个车道以保持礼貌并避免事故发生。因此，可以通过使用另一个LSTM网络确定移动障碍物801与一条或多条车道(例如，802、803、804)中的每条车道在一段时间内的车道-障碍物关系演变。

参考图8和图9B，利用移动障碍物801的空间位置

811和更新的局部车道信息

(例如821、822、823)，移动障碍物801在每条车道(例如802、803或804)上的位置可以被投影以获得投影点

然后，可以确定投影点和移动障碍物801的位置之间的差，并且可以使用MLP嵌入此矢量，如以下等式(11)中描述的。接下来，如以下等式(12)所示，该嵌入和先前隐藏的状态可以用于更新对应于连接顺序车道-车辆关系对的时间边

(例如852′)的编码

(例如911)。

如等式(11)和(12)所示，编码

(例如911)包含学习到的移动障碍物801与一条或多条车道(例如802、803、804)的第i车道之间的演变关系。例如，编码

911包含学习到的移动障碍物801与第一车道802之间的演变关系，如图9B所示。

图9C是示出预测移动障碍物801的轨迹的方法的空间聚合的步骤的图900c。空间聚合是指关于移动障碍物801的障碍物状态的信息和关于所有车道(例如802、803、804)的车道信息的聚合，以推断移动障碍物801的驾驶员的意图，以便准确预测移动障碍物801的进一步轨迹。如上描述的，对于每条车道，可以通过使用LSTM网络确定车道与移动障碍物801的历史演变关系的编码

(例如911)。接下来，可以各自使用MLP网络分别确定每条车道对移动障碍物801的当前相对位置和每条车道的未来形状，例如，分别如以下的等式(13)和(14)描述的：

可以将每条车道的编码

每条车道的当前相对位置

和每条车道的未来形状

联接在一起，以形成在给定时间t处的每条车道的总编码

例如，如图8和图9C所示，对于第一车道802，可以将编码

911、当前相对位置

912和未来形状

913联接在一起，以形成在给定时间t处的总编码

921。类似地，对于第二车道803，可以形成在给定时间t处的总编码

922；对于第三车道804，可以形成在给定时间t处的总编码

923。

为了准确预测移动障碍物801的轨迹，需要考虑所有周围车道(例如802、803、804)的车道信息。为了跨多个车道共同推理，可以聚合所有车道(例如921、922、923)的编码。这是一项具有挑战性的任务，因为可能会有可变数量的车道，但聚合输出应该是紧凑且尺寸固定的。而且，不同车道在确定移动障碍物801的移动中可以扮演不同角色。

例如，车道合并机制可以用于聚合所有车道。在车道合并机制中，决定因素可以基于单条车道。单条车道是最靠近移动障碍物801的车道，并且车道可以随时间变化。在每个时间步，可以选择最靠近移动障碍物801的车道的编码作为车道合并结果。所选择的编码可以用作聚合编码a^t：

但是，移动障碍物801的驾驶员在驾驶时可能不仅专注于单条车道；驾驶员可能宁愿注意多条车道。此外，在某些情况下(诸如在换道行为的中间)，车道合并结果可能会发生突然变化，这可能会对后续网络模块产生一些负面影响。

图9D示出根据一个实施例的基于车道注意力机制预测移动障碍物801的轨迹。车道注意力机制可以用于解决以上问题。车道注意力机制是指一种预测算法或模型，其基于驾驶员分别对每条车道的注意力聚合所有车道的编码。例如，车道注意力机制可以通过ADV的车道注意力预测模型314执行。在一个实施例中，首先，可以基于每条车道的当前相对位置

和每条车道对移动障碍物801的历史演变关系的编码

计算每条车道的注意力得分，

参考图9D，可以基于第一车道的当前相对位置

912和第一车道对移动障碍物801的演变关系的编码

911，计算第一车道的注意力得分。每条车道的注意力得分表示驾驶员对每条车道的注意力，这对应于移动障碍物可能在对应车道上驾驶的可能性。

然后，可以通过采用来自等式(15)的每条车道的总编码

的加权和计算总聚合编码a^t 930，其中权重是归一化的注意力得分，如以下等式(19)描述的，

可以预期基于车道合并机制或车道注意力机制所得的聚合车道编码a^t 930包含学习到的移动障碍物801的驾驶员的意图的编码。基于车道注意力机制所得的聚合车道编码a^t 930可以通过考虑驾驶员对所有车道的注意力来准确预测驾驶员的意图。

图9E示出移动障碍物801的总状态的更新。聚合车道编码和障碍物的移动历史的先前编码可以被组合、并且被用来更新对应于障碍物节点v^t的总隐藏状态：

如图9E所示，总隐藏状态

可以在每个时间步更新，并且可以被用来推断移动障碍物801的未来轨迹。

当在时间t(其中t∈[1,T_pred/Δt])预测移动障碍物801的轨迹时，可以假设每个轨迹点遵循双变量高斯分布，并且网络可以被训练以学习高斯分布的所有参数。因此，可以使用去除最后的修正线性单元(rectified linear unit,ReLU)层的MLP处理障碍物节点的隐藏状态

可以确定每个轨迹点的5维矢量，其可以包含均值矢量和协方差矩阵的值，如以下等式(22)中描述的：

预测分布的期望值

可以代替

用作移动障碍物801的新空间位置，以用作下一周期LSTM的输入并推断出下一个时间步的轨迹点。可以重复该过程，直到预测到t＝T_pred/Δt的所有轨迹点。

例如，负对数似然可以用作损失函数，并且可以通过最小化该损失函数来训练网络，如以下等式(23)中描述的：

图10是示出根据一个实施例的预测移动障碍物的轨迹的过程的流程图。可以通过处理逻辑来执行过程1000，该处理逻辑可以包括软件、硬件或其组合。例如，可以由预测模块303执行过程1000。参考图10，在操作1001中，处理逻辑可以基于移动障碍物的空间位置和移动障碍物与一条或多条车道中的每条车道的车道-障碍物关系演变生成时空图。在操作1002中，处理逻辑确定移动障碍物的空间位置在一段时间内的障碍物状态演变。在操作1003中，处理逻辑确定移动障碍物与移动障碍物附近的一条或多条车道中的每条车道在一段时间内的车道-障碍物关系演变。在操作1004中，处理逻辑可以确定指示移动障碍物的预期移动的聚合车道编码。在操作1005中，处理逻辑基于障碍物状态演变和车道-障碍物演变，预测移动障碍物的预期移动。在一个实施例中，还可以基于聚合车道编码预测移动障碍物的预期移动。在操作1006中，处理逻辑基于所预测的移动障碍物的预期移动规划ADV的轨迹以控制ADV避免与移动障碍物碰撞。

注意，上面示出和描述的一些或全部组件可以以软件、硬件或其组合来实现。例如，这样的组件可以被实现为安装并存储在永久存储设备中的软件，软件可以由处理器(未示出)加载并在存储器中执行以实施整个本申请描述的过程或操作。可替换地，这样的组件可以被实现为被编程或嵌入到诸如集成电路(例如，专用IC或ASIC)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)的专用硬件中的可执行代码，其可以经由相应驱动器和/或操作系统从应用程序进行访问。此外，作为软件组件经由一个或多个特定指令可访问的指令集的一部分，这样的组件可以被实现为处理器或处理器核心中的特定硬件逻辑。

根据对计算机存储器内的数据位的操作的算法和符号表示已经呈现前面详细描述的某些部分。这些算法描述和表示是数据处理领域的技术人员用来最有效地向本领域其他技术人员传达其工作实质的方式。算法在这里并且通常被认为是导致期望结果的自相容操作序列。这些操作是需要对物理量进行物理操纵的那些操作。

然而，应当牢记的是，所有这些和类似术语均应与适当的物理量相关联，并且仅仅是应用于这些量的方便的标记。除非从上述讨论中另外明确指出，否则应理解的是，在整个说明书中，利用诸如所附权利要求书中阐述的术语的讨论是指计算机系统或类似电子计算设备的动作和过程，该计算机系统或类似电子计算设备将计算机系统寄存器和存储器内表示为物理(电子)量的数据操纵和转换为计算机系统存储器或寄存器或其他这样的信息存储、发送或显示设备内的类似地表示为物理量的其他数据。

本公开的实施例还涉及用于执行本文中的操作的装置。这种计算机程序存储在非暂时性计算机可读介质中。机器可读介质包括用于以机器(例如，计算机)可读的形式存储信息的任何机制。例如，机器可读(例如，计算机可读)介质包括机器(例如，计算机)可读存储介质(例如，只读存储器(“ROM”)、随机存取存储器(“RAM”)、磁盘存储介质、光存储介质、闪存设备)。

在前述附图中描绘的过程或方法可以由包括硬件(例如，电路、专用逻辑等)、软件(例如，体现在非暂时性计算机可读介质上)或两者组合的处理逻辑来执行。尽管以上根据一些顺序操作描述了过程或方法，但是应当理解的是，可以以不同的顺序执行所描述的一些操作。此外，一些操作可以并行地执行而不是顺序地执行。

本公开的实施例不是参考任何特别编程语言描述的。将理解的是，可以使用各种编程语言来实现如本文描述的本公开的实施例的教示。

在前述说明书中，已经参考本公开的具体示例性实施例描述了本公开的实施例。显然，在不背离如所附权利要求书中阐述的本公开的更宽的精神和范围的情况下，可以对其进行各种修改。因此，说明书和附图应被认为是说明性的而不是限制性的。

Claims

1.一种用于操作自主驾驶车辆(ADV)的计算机实现方法，方法包括：

2.根据权利要求1所述的方法，还包括，基于移动障碍物的空间位置和移动障碍物与一条或多条车道中的每条车道的车道-障碍物关系演变生成时空图。

3.根据权利要求2所述的方法，其中时空图包括多种类型的节点、空间边的集合和多种类型的时间边。

4.根据权利要求3所述的方法，其中多种类型的节点包括：表示移动障碍物在给定时间的空间位置的障碍物节点；以及表示在给定时间的多条车道中的每条车道的对应车道节点。

5.根据权利要求4所述的方法，其中空间边的集合中的每条空间边指示障碍物节点与对应车道节点之间的对应成对关系。

6.根据权利要求3所述的方法，其中多种类型的时间边包括：移动障碍物在一段时间内的空间位置的障碍物状态演变，以及移动障碍物与一条或多条车道中的每条车道在一段时间内的车道-障碍物关系演变。

7.根据权利要求1所述的方法，其中通过使用长短期记忆(LSTM)网络或多层感知(MLP)网络中的至少一个，确定移动障碍物的空间位置在一段时间内的障碍物状态演变。

8.根据权利要求1所述的方法，其中通过使用长短期记忆(LSTM)网络或多层感知(MLP)网络中的至少一个，确定移动障碍物对一条或多条车道中的每条车道在一段时间内的车道-障碍物关系演变。

9.如权利要求1所述的方法，还包括，确定指示移动障碍物的预期移动的聚合车道编码，其中还基于聚合车道编码预测移动障碍物的预期移动。

10.根据权利要求9所述的方法，还包括，对于一条或多条车道中的每条车道，基于移动障碍物与车道的车道-障碍物关系演变、车道对移动障碍物的当前相对位置、以及车道的后续形状确定车道编码。

11.根据权利要求10所述的方法，还包括，对于一条或多条车道中的每条车道，基于移动障碍物与车道的车道-障碍物状态演变以及车道对移动障碍物的当前相对位置确定车道的注意力得分。

12.根据权利要求11所述的方法，其中基于一条或多条车道中的每条车道的车道编码的加权和确定聚合车道编码，其中一条或多条车道中的每条车道的权重基于车道的注意力得分。

13.一种非暂时性机器可读介质，具有存储在其中的指令，指令在由处理器执行时使处理器执行如权利要求1至12中任一项所述的操作自主驾驶车辆(ADV)的方法的操作。

14.一种数据处理系统，包括：

处理器；以及

存储器，耦合到处理器并被配置为存储指令，指令在由处理器执行时使处理器执行如权利要求1至12中任一项所述的操作自主驾驶车辆(ADV)的方法的操作。