CN112572451A - 用于自主驾驶车辆执行的方法和装置 - Google Patents

Abstract

本公开的实施例公开了一种用于自主驾驶车辆执行的方法和装置，以及一种数据处理系统。在一个实施例中，在控制自主驾驶车辆(ADV)期间执行过程。确定多个点置信度得分，每个点置信度得分限定移动障碍物的轨迹上的对应点的可靠性。点置信度得分中的至少一个基于a)总体轨迹置信度得分和b)障碍物的至少一个环境因素确定。基于移动障碍物的轨迹和多个点置信度得分中的至少一个控制ADV。

Description

用于自主驾驶车辆执行的方法和装置

技术领域

本公开的实施例一般涉及操作自主车辆。更特别地，本公开的实施例涉及用于自主驾驶 车辆(ADV)执行的方法和装置以及一种数据处理系统。

背景技术

以自主模式(例如，无人驾驶)操作的车辆可以减轻乘坐者，尤其是驾驶员的一些驾驶 相关责任。当以自主模式操作时，车辆可以使用车载传感器导航到各种位置，从而允许车辆 以最小的人机交互或者在没有任何乘客的一些情况下行驶。

运动规划和控制是自主驾驶中的关键操作。然而，传统的运动规划操作主要从给定路径 的曲率和速度估计完成该给定路径的难度，而不考虑不同类型的车辆的特征的差异。相同的 运动规划和控制应用于所有类型的车辆，在某些情况下，这可能不是精确和平滑的。

由自主驾驶车辆(ADV)做出的规划决策可以基于地图数据和交通规则。诸如其它车辆、 骑自行车的人和行人的移动障碍物可以改变ADV的路线。可预测此类移动障碍物的轨迹以 帮助调整ADV的路线。因为轨迹是障碍物将如何移动的预测，所以不确定障碍物的实际路 径将匹配预测的路径。因此，可以基于ADV在预测中的置信程度做出规划决策。

发明内容

本公开的实施例公开了一种用于自主驾驶车辆执行的方法和装置，以及一种数据处理系 统。

在本公开的实施例的第一方面，提供了一种用于自主驾驶车辆执行的方法，包括：确定 当前状态置信度得分，所述当前状态置信度得分表示与移动障碍物的当前状态的准确度有关 的置信度水平，所述移动障碍物的所述当前状态包括所述移动障碍物的速度、位置、航向、 加速度或类型中的一个或多个；基于所述移动障碍物的所述当前状态、地图数据和交通规则 生成预测所述移动障碍物的路径的轨迹；基于所述当前状态置信度得分和所述移动障碍物的 所述当前状态，确定表示所述移动障碍物具有在其上移动的可能性的轨迹的置信度水平的轨 迹置信度得分；以及鉴于所述轨迹和所述轨迹置信度得分规划路径以控制和驱动所述ADV。

在本公开的实施例的第二方面，提供了一种用于自主驾驶车辆执行的装置，包括：第一 确定模块，用于确定当前状态置信度得分，所述当前状态置信度得分表示与移动障碍物的当 前状态的准确度有关的置信度水平，所述移动障碍物的所述当前状态包括所述移动障碍物的 速度、位置、航向、加速度或类型中的一个或多个；生成模块，用于基于所述移动障碍物的 所述当前状态、地图数据和交通规则生成预测所述移动障碍物的路径的轨迹；第二确定模块， 用于基于所述当前状态置信度得分和所述移动障碍物的所述当前状态，确定表示所述移动障 碍物具有在其上移动的可能性的轨迹的置信度水平的轨迹置信度得分；以及规划模块，用于 鉴于所述轨迹和所述轨迹置信度得分规划路径以控制和驱动所述ADV。

在本公开的实施例的第三方面，提供了一种非暂时性机器可读介质，其中存储有指令， 指令在由处理器执行时使处理器执行如本申请的实施例的第一方面所述的方法。

在本公开的实施例的第四方面，提供了一种数据处理系统包括：处理器；以及耦接到处 理器以存储指令的存储器，指令在由处理器执行时使处理器执行如本申请的实施例的第一方 面所述的方法。

附图说明

在附图中的图中通过示例的方式而非限制的方式示出本公开的实施例，在附图中相同的 附图标记表示相似的元件。

图1是示出根据一个实施例的联网系统的框图。

图2是示出根据一个实施例的自主车辆的示例的框图。

图3A-3B是示出根据一个实施例的与自主车辆一起使用的感知和规划系统的示例的框 图。

图4示出根据一个实施例的用于生成点置信度得分的过程。

图5示出根据一个实施例的用于生成点置信度得分的过程的框图。

图6-8示出根据一些实施例的影响点置信度得分的轨迹周围的环境因素。

具体实施方式

将参考以下讨论的细节描述本公开的各个实施例和方面，并且附图将示出各个实施例。 以下描述和附图是本公开的说明并且不应被解释为限制本公开。描述了许多具体细节以提供 对本公开的各个实施例的全面理解。然而，在某些情况下，为了提供对本公开的实施例的简 要讨论，没有描述公知或常规的细节。

说明书中对“一个实施例”或“实施例”的引用意味着结合该实施例描述的特定特征、 结构或特性可包括在本公开的至少一个实施例中。在说明书中的各个地方出现的短语“在一 个实施例中”不一定都指同一实施例。

根据一些实施例，一种过程可以确定沿着移动障碍物的单个预测轨迹的多个置信度得 分。置信度得分表示特定数据被认为是确定的置信度水平。此过程可包括确定与移动障碍物 的当前状态相关联的当前状态置信度水平，移动障碍物的当前状态包括移动障碍物的速度、 位置、航向、加速度或类型中的一个或多个。生成预测移动障碍物的路径的轨迹。可基于移 动障碍物的当前状态、地图数据和交通规则生成轨迹。生成单个轨迹置信度得分并且将其与 移动障碍物的轨迹相关联。基于当前状态置信度得分和移动障碍物的当前状态确定轨迹置信 度得分。轨迹置信度得分限定轨迹的总体置信度水平。确定多个点置信度得分，每个点置信 度得分限定轨迹上的对应点的可靠性。基于a)轨迹置信度得分和b)障碍物的至少一个环 境因素确定点置信度得分中的至少一个。基于移动障碍物的轨迹多个点置信度得分中的至少 一个控制ADV。例如，ADV可以基于轨迹的点置信度得分改变路线。在点置信度得分低的 情况下，ADV可以选择不改变路线，但是在点置信度得分高的情况下，ADV可以改变路线 以防止与障碍物的可能的负面交互(诸如碰撞)。

图1是示出根据本公开的一个实施例的自主车辆网络配置的框图。参考图1，网络配置 100包括自主车辆101，自主车辆101可以通过网络102通信地耦接到一个或多个服务器 103-104。尽管示出一个自主车辆，但是多个自主车辆可以通过网络102彼此耦接和/或耦接 到服务器103-104。网络102可以是任何类型的网络，诸如局域网(LAN)、诸如因特网的广 域网(WAN)、蜂窝网络、卫星网络、或其组合，有线或无线。服务器103-104可以是任何 类型的服务器或服务器群集，诸如Web或云服务器、应用服务器、后端服务器或其组合。 服务器103-104可以是数据分析服务器、内容服务器、交通信息服务器、地图和兴趣点(MPOI) 服务器或位置服务器等。

自主车辆指的是能够被配置为处于自主模式的车辆，在自主模式中，车辆在驾驶员很少 或没有输入的情况下导航通过环境。这种自主车辆可包括具有一个或多个传感器的传感器系 统，传感器被配置为检测关于车辆操作于其中的环境的信息。车辆及其相关联的控制器使用 检测的信息导航通过环境。自主车辆101可以以手动模式、全自主模式或部分自主模式操作。

在一个实施例中，自主车辆101包括但不限于感知和规划系统110、车辆控制系统111、 无线通信系统112、用户接口系统113和传感器系统115。自主车辆101还可包括在普通车 辆中包括的某些常见组件，例如引擎、车轮、转向盘、变速器等，这些组件可以被车辆控制 系统111和/或感知和规划系统110使用各种通信信号和/或命令(例如加速信号或命令、减 速信号或命令、转向信号或命令、制动信号或命令等)控制。

组件110-115可以经由互连、总线、网络或其组合彼此通信地耦接。例如，组件110-115 可以经由控制器局域网(CAN)总线彼此通信地耦接。CAN总线是一种车辆总线标准，其被设计为允许微控制器和设备在没有主机的应用中彼此通信。它是基于消息的协议，最初被 设计用于汽车内的多路电气布线，但是也用于许多其它环境中。

现在参考图2，在一个实施例中，传感器系统115包括但不限于一个或多个相机211、 全球定位系统(GPS)单元212、惯性测量单元(IMU)213、雷达单元214以及光检测和范围(LIDAR)单元215。GPS系统212可包括可操作以提供关于自主车辆的位置的信息的收 发器。IMU单元213可基于惯性加速度感测自主车辆的位置和朝向变化。雷达单元214可 以表示使用无线电信号感测自主车辆的局部环境内的对象的系统。在一些实施例中，除了感 测对象之外，雷达单元214还可以额外地感测对象的速度和/或航向。LIDAR单元215可以 使用激光感测自主车辆所处的环境中的对象。LIDAR单元215可包括一个或多个激光源、 激光扫描器以及一个或多个检测器，以及其他系统组件。相机211可包括一个或多个设备以 捕获自主车辆周围的环境的图像。相机211可以是静态相机和/或摄影机。相机可以是机械 可移动的，例如通过将相机安装在旋转和/或倾斜的平台上。

传感器系统115还可包括其它传感器，诸如声纳传感器、红外传感器、转向传感器、油 门传感器、制动传感器和音频传感器(例如麦克风)。音频传感器可以被配置为捕获来自自 主车辆周围的环境的声音。转向传感器可以被配置为感测转向盘、车辆的车轮或其组合的转 向角。油门传感器和制动传感器分别感测车辆的油门位置和制动位置。在一些情况下，油门 传感器和制动传感器可以集成为集成的油门/制动传感器。

在一个实施例中，车辆控制系统111包括但不限于转向单元201、油门单元202(也称 为加速单元)和制动单元203。转向单元201用于调节车辆的方向或航向。油门单元202用于控制马达或引擎的速度，马达或引擎的速度转而控制车辆的速度和加速度。制动单元203通过提供摩擦力以使车辆的车轮或轮胎变慢来使车辆减速。注意，图2所示的组件可以以硬件、软件或其组合实现。

返回参考图1，无线通信系统112允许在自主车辆101和外部系统，诸如设备、传感器、 其他车辆等之间的通信。例如，无线通信系统112可以直接或经由通信网络与一个或多个设 备(诸如在网络102上的服务器103-104)无线通信。无线通信系统112可以使用任何蜂窝 通信网络或无线局域网(WLAN)，例如使用WiFi与另一组件或系统通信。无线通信系统112可以例如使用红外链路、蓝牙等直接与设备(例如，乘客的移动设备、车辆101内的显 示设备、扬声器)通信。用户接口系统113可以是在车辆101内实现的外围设备的一部分， 包括例如键盘、触摸屏显示设备、麦克风和扬声器等。

自主车辆101的一些或所有功能可以由感知和规划系统110控制或管理，尤其是当以自 主驾驶模式操作时。感知和规划系统110包括必要的硬件(例如，处理器、存储器、存储设 备)和软件(例如，操作系统、规划和路由程序)，以从传感器系统115、控制系统111、无线通信系统112和/或用户接口系统113接收信息，处理接收的信息，规划从起点到目的地点的路线或路径，然后基于规划和控制信息驾驶车辆101。可替换地，感知和规划系统110可以与车辆控制系统111集成。

例如，作为乘客的用户可以例如经由用户接口指定行程的起始位置和目的地。感知和规 划系统110获得行程相关数据。例如，感知和规划系统110可以从MPOI服务器获得位置和 路线信息，MPOI服务器可以是服务器103-104的一部分。位置服务器提供位置服务，以及 MPOI服务器提供某些位置的地图服务和POI。可替换地，这种位置和MPOI信息可本地缓存在感知和规划系统110的永久存储设备中。

当自主车辆101沿着路线移动时，感知和规划系统110还可以从交通信息系统或服务器 (TIS)获得实时交通信息。注意，服务器103-104可以由第三方实体操作。可替换地，服务器103-104的功能可以与感知和规划系统110集成。基于实时交通信息、MPOI信息和位 置信息，以及由传感器系统115检测或感测的实时局部环境数据(例如，障碍物、对象、附 近车辆)，感知和规划系统110可规划最佳路线，并例如经由控制系统111根据规划路线驾 驶车辆101，以安全且高效地到达指定目的地。

服务器103可以是用以执行用于各种客户端的数据分析服务的数据分析系统。在一个实 施例中，数据分析系统103包括数据收集器121和机器学习引擎122。数据收集器121从各 种车辆(自主车辆或者是由人类驾驶员驾驶的常规车辆)收集驾驶统计123。驾驶统计123 包括指示发出的驾驶命令(例如，油门、制动、转向命令)和由车辆的传感器在不同的时间 点捕获的车辆的响应(例如，速度、加速度、减速度、方向)的信息。驾驶统计123还可包括描述不同的时间点的驾驶环境的信息，诸如路线(包括起始位置和目的地位置)、MPOI、道路状况、天气状况等。

基于驾驶统计123，机器学习引擎122出于各种目的而生成或训练一组规则、算法和/ 或预测模型124。例如，算法124可以包括用以计算用于障碍物的当前状态的置信度得分、 为障碍物预测的轨迹和轨迹的轨迹点的算法或函数，这将在下面进一步描述。然后，算法 124可以被上传到ADV上以在自主驾驶期间实时地使用。

图3A和3B是示出根据一个实施例的与自主车辆一起使用的感知和规划系统的示例的 框图。系统300可以被实现为图1的自主车辆101的部分，包括但不限于感知和规划系统 110、控制系统111和传感器系统115。参考图3A-3B，感知和规划系统110包括但不限于定位模块301、感知模块302、预测模块303、决策模块304、规划模块305、控制模块306、 路由模块307。

模块301-307中的一些或全部可以以软件、硬件或其组合实现。例如，这些模块可被安 装在永久存储设备352中，加载到存储器351中，并由一个或多个处理器(未示出)执行。 注意，这些模块中的一些或全部可以通信地耦接到图2的车辆控制系统111的一些或全部模 块或与之集成。模块301-307中的一些可以被集成在一起作为集成模块。

定位模块301确定自主车辆300的当前位置(例如，利用GPS单元212)并管理与用户的行程或路线有关的任何数据。定位模块301(也称为地图和路线模块)管理与用户的行程或路线有关的任何数据。用户可以例如经由用户接口登录并指定行程的起始位置和目的地。 定位模块301与自主车辆300的其他组件交流诸如地图和路线信息311，以获得与行程有关 的数据。例如，定位模块301可以从位置服务器和地图与POI(MPOI)服务器获得位置和路线信息。位置服务器提供位置服务，以及MPOI服务器提供某些位置的地图服务和POI， 它们可作为地图和路线信息311的一部分被缓存。当自主车辆300沿着路线移动时，定位模 块301还可以从交通信息系统或服务器获得实时交通信息。

基于由传感器系统115提供的传感器数据和由定位模块301获得的定位信息，由感知模 块302确定对周围环境的感知。感知信息可以表示普通驾驶员将感知到的驾驶员正在驾驶的 车辆周围的情况。感知可包括车道配置、交通灯信号、例如以对象形式的另一车辆、行人、 建筑物、人行横道或其它交通相关标志(例如，停止标志、让路标志)等的相对位置。车道 配置包括描述一个或多个车道的信息，诸如，例如车道的形状(例如，直的或弯曲的)、车 道的宽度、道路中的车道数量、单向或双向车道、合并或分离车道、驶出车道等。

感知模块302可包括计算机视觉系统或计算机视觉系统的功能，以处理和分析由一个或 多个相机捕获的图像，以便识别自主车辆的环境中的对象和/或特征。对象可包括交通信号、 车行道边界、其他车辆、行人和/或其他障碍物等。计算机视觉系统可使用对象识别算法、 视频跟踪和其它计算机视觉技术。在一些实施例中，计算机视觉系统可以映射环境、跟踪对 象、以及估计对象的速度等。感知模块302还可基于由诸如雷达和/或LIDAR的其他传感器 提供的其他传感器数据检测对象。

对于每个对象，预测模块303预测对象将在这种情况下表现什么。鉴于一组地图/路线 信息311和交通规则312，基于感知在时间点的驾驶环境的感知数据执行预测。例如，如果 对象是在相反方向上的车辆并且当前驾驶环境包括交叉路口，则预测模块303将预测车辆将 可能笔直向前移动还是转弯。如果感知数据指示交叉路口没有交通灯，则预测模块303可以 预测车辆在进入交叉路口之前可能必须完全停止。如果感知数据指示车辆当前处于仅左转弯 车道或仅右转弯车道，则预测模块303可预测车辆将更可能分别进行左转弯或右转弯。

在一些方面，预测模块生成障碍物的预测轨迹，障碍物例如是除ADV之外的车辆、行 人或骑自行车的人，预测轨迹至少在被认为与ADV的当前路径有关的区域中预测移动障碍 物的路径。预测轨迹可基于移动障碍物的当前状态(例如，移动障碍物的速度、位置、航向、 加速度或类型)、地图数据和交通规则被生成。

例如，ADV可以基于障碍物的航向和位置以及对地图数据的参考将障碍物识别为被感 测到在地图上的驾驶车道中行驶的车辆，地图数据包括基于障碍物的航向和位置确证障碍物 似乎在驾驶车道中驾驶的车道位置和朝向。假设地图数据指示这是仅右转弯的车道。基于交 通规则(例如，在右转弯专用车道中的“车辆”类型的障碍物必须右转弯)，可以生成包括 预测障碍物的移动的线的坐标和/或数学表示的轨迹。

在一些实施例中，当预测障碍物的移动轨迹时，预测系统或模块将障碍物的轨迹预测分 成两个部分：1)纵向移动轨迹生成和2)横向移动轨迹生成。这些部分可以组合以形成障 碍物的预测轨迹。

在一些实施例中，生成横向移动轨迹(也简称为横向轨迹)，包括使用第一多项式函数 优化轨迹。生成纵向移动轨迹(也简称为纵向轨迹)，包括使用第二多项式函数优化轨迹。 基于作为初始状态的障碍物的当前状态和作为约束的集合的障碍物的预测结束状态执行优 化，使得轨迹至少与障碍物的当前航向平滑地对准。鉴于障碍物被预测要移动到的车道的形 状确定结束状态。一旦已经限定和生成纵向移动轨迹和横向移动轨迹，就可以通过组合纵向 移动轨迹和横向移动轨迹确定障碍物的最终预测轨迹。结果，基于障碍物的当前状态和车道 的形状，障碍物的预测轨迹更加准确。

根据一些方面，基于感知在车道内驾驶的ADV周围的驾驶环境的感知数据预测障碍物 从起点移动到终点。从起点到终点的纵向移动轨迹是鉴于车道的形状被生成。生成从起点到 终点的横向移动轨迹，包括使用第一多项式函数优化横向移动轨迹的形状。然后，组合纵向 移动轨迹和横向移动轨迹以形成预测障碍物如何移动的最终预测轨迹。生成路径以控制 ADV鉴于障碍物的预测轨迹而移动，例如以避免与障碍物碰撞。

对于对象中的每一个，决策模块304作出关于如何处理该对象的决策。例如，对于特定 对象(例如，在交叉路线中的另一车辆)以及描述该对象的元数据(例如，速度、方向、转 向角)，决策模块304决定如何遇到该对象(例如，超车、让行、停止、通过)。决策模块 304可根据一组规则，诸如交通规则或驾驶规则312作出这些决策，这组规则可存储于永久 存储设备352中。

路由模块307被配置为提供从起点到目的地点的一条或多条路线或路径。对于例如从用 户接收到的从起始位置到目的地位置的给定行程，路由模块307获得路线和地图信息311并 且确定从起始位置用以到达目的地位置的所有可能的路线或路径。路由模块307可以为其确 定的从起始位置用以到达目的地位置的每条路线生成地形图形式的参考线。参考线是指没有 来自诸如其它车辆、障碍物或交通状况的其它者的任何干扰的理想路线或路径。也就是说， 如果在道路上没有其它车辆、行人或障碍物，则ADV应该精确地或紧密地跟随参考线。然 后，地形图被提供给决策模块304和/或规划模块305。决策模块304和/或规划模块305检 查所有可能的路线，以鉴于由其它模块提供的其它数据(诸如来自定位模块301的交通状况、 由感知模块302感知的驾驶环境和由预测模块303预测的交通状况)选择和修改最佳路线中 的一个。取决于在时间点的特定驾驶环境，用于控制ADV的实际路径或路线可以接近或不 同于由路由模块307提供的参考线。

基于对于每个感知的对象的决策，规划模块305使用由路由模块307提供的参考线作为 基础规划用于自主车辆的路径或路线以及驾驶参数(例如，距离、速度和/或转向角)。也就 是说，对于给定对象，决策模块304决策对该对象做什么，而规划模块305确定如何做。例 如，对于给定对象，决策模块304可以决策经过对象，而规划模块305可以确定是在对象的 左侧还是右侧经过。规划和控制数据由规划模块305生成，包括描述车辆300在下一个移动 周期(例如，下一个路线/路径段)中将如何移动的信息。例如，规划和控制数据可指示车辆300以30英里每小时(mph)的速度移动10米，然后以25mph的速度改变到右车道。

基于规划和控制数据，控制模块306通过根据由规划和控制数据限定的路线或路径向车 辆控制系统111发送适当的命令或信号控制和驾驶自主车辆。规划和控制数据包括足够的信 息以沿着路径或路线在不同的时间点使用适当的车辆设置或驾驶参数(例如，油门、制动、 转向命令)将车辆从路线或路径的第一点驾驶到第二点。

在一个实施例中，规划阶段在多个规划周期(也称为驾驶周期，诸如在100毫秒(ms) 的每个时间间隔内)内执行。对于每个规划周期或驾驶周期，将基于规划和控制数据发出一 个或多个控制命令。也就是说，对于每100ms，规划模块305规划下一个路线段或路径段， 例如包括目标位置和ADV到达目标位置所需的时间。可替换地，规划模块305还可指定具 体速度、方向和/或转向角等。在一个实施例中，规划模块305为下一预定的时间段，诸如5 秒规划路线段或路径段。对于每个规划周期，规划模块305基于在先前周期中规划的目标位 置规划用于当前周期(例如，下一个5秒)的目标位置。然后控制模块306基于当前周期的 规划和控制数据生成一个或多个控制命令(例如，油门、制动、转向控制命令)。

注意，决策模块304和规划模块305可以集成为集成模块。决策模块304/规划模块305 可包括导航系统或导航系统的功能，以确定用于自主车辆的驾驶路径。例如，导航系统可以 确定一系列速度和方向航向，以影响自主车辆沿着基本上避开感知的障碍物的路径的移动， 同时大体使自主车辆沿着通向最终目的地的基于车行道的路径前进。目的地可以根据经由用 户接口系统113的用户输入而被设置。当自主车辆在操作时，导航系统可以动态地更新驾驶 路径。导航系统可以并入来自GPS系统的数据和一个或多个地图，以便确定用于自主车辆 的驾驶路径。

多项式优化或多项式拟合是指优化由多项式函数(例如，五次或四次多项式函数)表示 的曲线(例如，障碍物的轨迹)的形状，使得曲线沿着曲线是连续的(例如，可获得两个相 邻段的接头处的导数)。在自主驾驶的领域中，从起点到终点的多项式曲线被划分为多个段 (或块)，每个段对应于控制点(或参考点)。这种分段的多项式曲线被称为分段多项式。当 优化分段多项式时，除了初始状态约束和结束状态约束的集合之外，还需要满足两个相邻段 之间的接头约束的集合和边界约束的集合。

接头约束的集合包括相邻段的位置(x，y)、速度、航向和加速度需要相同。例如，第一段(例如，引导段)的结束位置和第二段(例如，跟随段)的起始位置需要相同或在预定 的接近度内。第一分段的结束位置的速度、航向和加速度以及第二分段的起始位置的对应速度、航向和加速度需要相同或在预定的范围内。另外，每个控制点与预定的边界(例如，控制点周围的左右0.2米)相关联。多项式曲线需要经过其对应边界内的每个控制点。当在优化期间满足这两个约束的集合时，表示轨迹的多项式曲线应当是平滑且连续的。

参考图4，示出可以在驾驶期间为自主驾驶车辆(ADV)执行的过程400。作为过程的结果，生成移动障碍物的轨迹，轨迹沿着轨迹的不同点具有多个置信度水平。

在框401处，过程包括确定与移动障碍物的当前状态相关联的当前状态置信度得分(也 称为置信度水平)，移动障碍物的当前状态包括移动障碍物的速度、位置、航向、加速度或 类型中的一个或多个。当前状态置信度得分可以是表示ADV在车辆的当前状态中的置信程 度的值。置信度得分也可被解释为表示移动障碍物将采取特定路径或移动到特定位置的概 率。

在一些实施例中，当前状态置信度得分可以是百分比。如果由于在其它部分中讨论的因 素，当前状态中的置信度低，则该水平可以被设置为20％。如果也是由于这些因素，置信度 高，则该水平可以被设置为99％。当前状态和与当前状态相关联的置信度可以随着不同因素 的改变(例如，对障碍物的感测变得较少受阻)而从一个帧到下一帧改变。在一些实施例中， 当前状态包括移动障碍物的速度、位置、航向、加速度和类型中的全部。

在框402处，过程包括生成预测移动障碍物的路径的轨迹，轨迹的生成是基于移动障碍 物的当前状态、地图数据和交通规则。如在其它部分中所述，障碍物的轨迹可以由线的坐标 和/或数学表示形成。这可以涉及将障碍物的横向移动轨迹与纵向移动轨迹组合。在组合之 前，可以使用多项式优化优化横向和纵向移动轨迹。移动障碍物的当前状态(例如，航向、 速度、位置、加速度)可以用作约束以优化相应的多项式函数。多项式函数可以表示基于地 图数据和交通规则形成的预测轨迹。例如，如果当前状态将障碍物限定为沿着驾驶车道向下 航行的车辆类型，并且驾驶车道是直的而没有任何转弯(基于地图数据)，则可以参考交通 规则指示车辆的轨迹将沿驾驶车道向下直行。

在框403处，过程包括确定与移动障碍物的轨迹相关联的轨迹置信度得分，轨迹置信度 得分基于当前状态置信度得分和移动障碍物的当前状态确定。基于特定因素，可针对整个轨 迹确定单个轨迹置信度得分。这可以被描述为全局轨迹置信度得分，并且可以在下一个框中 被用于确定轨迹的点置信度得分。影响轨迹的全局置信度得分的因素在其他部分中进一步讨 论。

在框404处，过程包括确定多个点置信度得分，每个点置信度得分限定轨迹上的对应点 的可靠性，点置信度得分中的至少一个是基于a)轨迹置信度得分和b)障碍物的至少一个 环境因素确定的。基于移动障碍物的轨迹和多个点置信度得分中的至少一个控制ADV。例 如，基于障碍物的轨迹，规划可以调整ADV的路径以避开障碍物的预测路径。在一些情况 下，ADV的规划可确定是否让路、停止或超车障碍物。在一些情况下，ADV可以基于障碍物的置信度得分是否满足一些阈值标准确定是否调整ADV的路径。例如，如果置信度得分低于5％，则ADV可以维持当前路径。ADV的控制模块可以向ADV的控制系统发出转向、 加速和制动命令以相应地移动ADV。影响每个点置信度得分的环境因素可以包括a)相应点 与移动障碍物的起始位置之间的距离，b)交通规则，c)地图数据，或者d)移动障碍物的 类型(例如，车辆、行人或骑自行车的人)的任何组合。

由于预测轨迹和对象的置信度得分，这样的过程可以帮助ADV调整路线，并且因此调 整诸如转向、制动和/或加速的其他车辆控制。沿着不同点的置信度得分可以变化，使得ADV 可以基于ADV在特定点处在预测轨迹中的置信程度来规划路线和控制。与仅基于轨迹的总 体置信度得分做出驾驶决策相反，这提供了更精细的控制和决策做出。在一些实施例中，基 于a)ADV的环境中的对象、交通规则或地图数据与b)轨迹上的对应点处的移动障碍物之 间的预测交互确定点置信度得分中的至少一个。这在其它部分中进一步描述。

参考图5，示出进一步详细描述图4所示的过程400的特征的流程图，在感知模块302， 传感器系统115感测障碍物，诸如车辆114。基于感测到的数据生成当前状态，包括移动障 碍物(在这种情况下是车辆114)的速度、位置、航向、加速度和/或类型。可以基于许多因 素确定与当前状态相关联的置信度得分。在一些实施例中，基于ADV与移动障碍物之间的 距离确定当前状态的置信度得分。移动障碍物越远，对移动障碍物的感测给定的置信度就越 低。因此，尽管传感器系统115的传感器可能看起来感测障碍物，但是当障碍物相对较远(例 如，30-50米)时，距离因素可以降低当前状态的置信度得分。随着障碍物和ADV之间的 距离缩小，置信度得分可以增加，因为传感器更靠近障碍物，并且因此，感测到的数据很可 能更可靠。

在一些实施例中，当前状态置信度得分是进一步基于对象识别准确度确定的。例如，对 象识别块702可以使用计算机视觉和机器学习算法，诸如已经使用数据集训练的经训练的神 经网络，以识别感测到的障碍物。例如，由传感器系统115感测的图像可以在对象识别块 702处被处理以识别图像中的移动障碍物，诸如车辆(汽车、摩托车、卡车等)、行人或骑 自行车的人。然而，对象识别并不完美。取决于图像的清晰度，或基于过去的训练数据集的 障碍物的形状的可识别程度，对象识别块702可确定对象的识别在那些图像中的置信或可靠 程度的得分。得分可以帮助确定对象的识别是真还是假阳性。神经网络API(例如，Tensorflow 对象检测API)可被用来提供指示对象识别的置信度的各种可靠性度量(例如，PASCAL VOC 2010检测度量、加权PASCAL VOC检测度量、PASCAL VOC 2010实例分割度量、COCO 检测度量、COCO掩码度量、开放图像V2检测度量等)。

在一些实施例中，基于ADV的一个或多个传感器与移动障碍物之间的视线是否至少部 分被阻挡确定当前状态置信度得分。移动障碍物的阻挡可以影响对象识别度量。作为度量的 补充或替代，如果移动障碍物至少部分被阻挡，则对象识别块702可以向当前状态置信度得 分添加惩罚。可以根据阻挡的量增加或减少惩罚(例如，阻挡越大，惩罚越高)。因此，随 着阻挡增加，当前状态的置信度得分减小，并且相反地，随着阻挡减少，当前状态的置信度 得分增大。

应当理解的是，在本公开中，因素可以增加或减少当前状态、障碍物轨迹或沿着障碍物 轨迹的点的置信度得分。可以通过算术，例如加、减、乘和/或除应用这些因素。

在一些方面中，进一步基于移动障碍物的类型，例如，车辆、行人或骑自行车的人，确 定当前状态置信度得分。基于不同类型的障碍物，可以认为对当前状态信息的感测更可靠。 例如，由于车辆、行人和骑自行车的人的大小、可检测表面和速度差异，感测车辆的航向、 速度和位置的传感器信息可以被认为比感测行人或骑自行车的人的航向、速度和位置的传感 器信息更准确。ADV可以需要多个帧以确定航向、速度和/或加速度。车辆可倾向于从一个 帧到下一个帧具有更恒定的航向、速度和加速度，从而使得航向信息比行人的航向信息更可 靠。

在框704处，可以基于讨论的因素(例如，障碍物类型、障碍物和/或机器学习对象识 别准确度)中的一个或多个确定单个当前状态置信度得分，并且单个当前状态置信度得分与 障碍物的当前状态相关联。如上所述，当前状态和相关联的置信度得分可以逐帧地改变，例 如，随着障碍物变得更接近或更远离ADV，或者变得或多或少地被阻碍。当前状态706和 相关联的当前状态置信度得分708可以被提供给预测模块303。

轨迹生成块714基于来自地图和路线信息311的地图数据生成轨迹。可以参考交通规则 312预测障碍物将如何相对于地图数据移动。例如，如果障碍物是车辆，则可以为车辆确定 一个或多个轨迹。如图5中的示例所示，地图数据可以指示检测到的车辆前方的交叉路口。 交通规则可以指示在车辆的检测到的车道中，允许车辆笔直行驶或进行右转弯。因此，可以 生成轨迹710以预测车辆沿着那些轨迹的移动。置信度得分712可以被生成并且与车辆的每 个轨迹相关联。该置信度得分可以描述ADV系统在采用对应轨迹时具有的置信度。在另一 示例中，如果障碍物是被检测为沿着人行道行走的行人，则地图数据指定人行道将在何处结 束。基于参考交通规则可以确定行人的多个轨迹，例如，可以生成第一轨迹，使得预测行人 在第一方向上移动穿过人行道，可以确定行人在第二方向上移动穿过人行道的第二轨迹，并 且可以确定行人绕过人行道的拐角并继续在人行道上行走的第三轨迹。

在一些实施例中，单个轨迹置信度得分与每个轨迹相关联。轨迹置信度得分可基于障碍 物的当前状态置信度得分和当前状态确定。例如，如果当前状态的置信度得分是80％，则这 可以作为基线轨迹置信度得分延续下去。基于当前状态中的数据(例如速度、航向、加速度 和类型)的置信度可以被添加到此基线，但是此置信度是相对于轨迹确定的。例如，参考图 5中所示的车辆114，如果车辆的速度高，和/或没有检测到减速，则这可以指示车辆意图笔 直移动而不是右转弯。在此情况下，与笔直轨迹相关联的置信度得分可高于与右转弯轨迹相 关联的置信度得分。如所指示，在一些实施例中，基于地图数据(例如，知道人行道、交叉 路口、道路和/或车道在何处)和交通规则(知道给定道路或交叉路口上的每一个障碍物类 型的所允许的内容，其可指示障碍物意图如何移动)确定轨迹置信度得分。

在一些实施例中，轨迹置信度得分是进一步基于机器学习确定的。例如，可以基于指示 不同情况(诸如车辆、行人和/或骑自行车的人以给定的航向、速度和加速度接近交叉路口) 的多个训练数据训练神经网络。其它训练数据可指示障碍物何时可基于航向、速度和/或加 速度的变化而改变车道或改变方向。基于这些经训练的神经网络，在框714处，可处理障碍 物的航向信息以确定障碍物轨迹的置信度得分712。应当理解的是，可以同时处理多个障碍 物。针对每个障碍物生成一个或多个轨迹，每个轨迹表示障碍物可采取的预测路径。

在框716处，确定点置信度得分。点置信度得分715是在障碍物轨迹712的不同对应点 处变化的置信度得分。这些点可以以不同间隔(例如，每1、5、10、20米)隔开，这取决 于应用、障碍物类型、障碍物速度、轨迹长度，并且能够通过常规测试和实验确定。轨迹的 每个点置信度得分可以基于a)使用轨迹的轨迹置信度得分作为基线，以及b)一个或多个 环境因素确定。

在一些实施例中，至少一个环境因素包括a)相应点与移动障碍物的起始位置之间的距 离、b)交通规则或c)地图数据中的一个或多个。例如，参照图6，针对障碍物802(例如，车辆、行人或骑自行车的人)生成轨迹S。在对应点S1-S8处的点置信度得分可根据从障碍物的当前位置(其可在障碍物的当前状态中指定)到沿着轨迹更远距离的距离而被确定。随着沿着轨迹离当前位置的距离增加，每个点S1-S8处的置信度C减小。尽管斜坡被示为笔直的，但是应当理解的，斜坡可以是笔直的或弯曲的，并且可以从一种障碍物类型到下一种障碍物类型而变化。例如，与车辆相比，行人的置信度相对于距离可以变化得更大(例如，降低得更快)，考虑到行人可能更可能从人行道迷路或进入商店，与倾向于受道路约束的车辆相反。可以基于常规测试和重复确定适当的斜率值。在一些情况下，置信度和距离的关系可以是非线性的。

在一些实施例中，基于a)ADV的环境中的对象、交通规则或地图数据与b)轨迹上的对应点处的移动障碍物之间的预测交互确定点置信度得分中的至少一个。例如，如果在道路 的中间感测到诸如垃圾桶的对象，则在垃圾桶附近可以降低沿着该道路行驶的车辆的轨迹的 点处的置信度得分，因为不确定车辆可能如何移动以避开垃圾桶。

在另一示例中，如图7所示，可以基于地图数据和交通规则确定轨迹的不同点处的置信 度得分。地图数据可指示诸如车辆的障碍物902位于驾驶车道904处并且沿着驾驶车道向上 航行。地图数据可指示交叉路口906位于障碍物的前方。交通规则可以指示允许在该驾驶车 道中驾驶的车辆在交叉路口继续笔直行驶或右转弯。可生成第一轨迹S以表示笔直轨迹，同 时可生成第二轨迹S’以表示右转弯轨迹。可以为轨迹S确定点S1-S4处的点置信度得分。类 似地，可以为轨迹S’确定点S’1-S’4处的点置信度得分。在此示例中，S1和S’1以及S2和 S’2处的置信度得分匹配，因为S和S’在那些点处共享相同的轨迹。在点S3和S4处的点置 信度得分在交叉路口之后下降(与在点S1和S2处的置信度相比)，因为存在关于车辆将转 弯还是直行的不确定性。类似地，由于相同的不确定性，在点S’3和S’4处的置信度得分在 交叉路口之后下降(与点S’1和S’2处的置信度相比)。

在一个实施例中，基于障碍物的当前状态，点S’3和S’4具有比S3和S4更低的点置信 度得分。例如，车辆902的速度、航向和/或加速度可以指示车辆意图继续直行。如果车辆速度保持在阈值以上、保持航向和/或不减速，则这可以指示车辆不意图减速以转弯。在这种情况下，S3和S4可以具有比S’3和S’4更高的置信度。另一方面，如果车辆减速、具有 低于转弯阈值的速度、或者改变了航向改变，则这可以指示车辆意图右转弯。在这种情况下， S’3和S’4可以具有比S3和S4更高的点置信度得分。然而，在这两种情况下，在交叉路口 之后的点具有比在交叉路口之前的点更低的置信度得分。这是因为交叉路口表明障碍物的轨迹中的不确定性。

在一些方面中，环境因素包括移动障碍物的类型(例如，障碍物是车辆、行人还是骑自 行车的人)。可以对照地图数据和交通规则参考移动障碍物的类型，以判断轨迹的不同点处 的置信度得分。例如，如所讨论的，根据行人轨迹的距离的点置信度得分可以比车辆轨迹的 点置信度得分更显著地更低，因为行人可以走进商店、住宅、在垃圾桶处扔掉垃圾、追赶朋 友等。相反，车辆可能更受限于道路规则(例如，仅右转弯、仅直行等)。

在一些实施例中，潜在地干扰障碍物的对象可以是另一障碍物，诸如行人、车辆或骑自 行车的人。随着两个障碍物的预测轨迹彼此更接近，由于障碍物将如何彼此干扰的不确定性， 沿着轨迹在轨迹接近或潜在相交的点处的置信度得分将降低。

在另一个示例中，如图8所示，可以为车辆1002生成轨迹A和A’，并且可以为车辆1004 确定轨迹B。根据地图数据和交通规则，车辆1002可以保持直行或右转弯。轨迹A和A’可 具有共享第一置信度得分的点A1和A2。在交叉路口之后，由于关于车辆1002将右转弯还是保持直行的不确定性，点A3、A’3、A4和A’4具有降低的置信度得分。相反，轨迹B保 持恒定，因为车辆1002沿着仅右转弯的道路航行。因此，点B1-B4可以具有相同的置信度 得分，因为与轨迹B相关的交通规则不会在交叉路口处产生歧义。

另外，在图8所示的实施例中，不考虑与起点的距离，如轨迹B的点置信度得分的平坡 所示，相反，将与起点的距离作为因素计入图7所示的点置信度得分中，如轨迹S和S’的点置信度得分的略微向下的斜坡所示。

应当理解的是，移动障碍物可以包括除了车辆、行人或骑自行车的人之外的其他移动对 象。另外，图8中讨论的示例旨在是说明性的而非限制性的。地图数据、交通规则和障碍物 类型之间存在许多关系，其可以影响障碍物的预测轨迹的点置信度得分。然而，基于本公开 中所讨论的特征，可以基于特定地图细节、特定交通规则、特定障碍物类型以及可能影响障 碍物的轨迹的障碍物附近(例如，0-30米内)的其他检测到的对象增大或减小沿着预测轨迹 的点置信度得分。另外，图8中所示的图被示出以说明本文描述的概念，而不是示出置信度 得分的精确值。

参考图5，决策模块304和规划模块305可基于障碍物的轨迹和轨迹的一个或多个点置 信度得分调整ADV的路线，从而产生规划和控制数据。在一些实施例中，仅在轨迹的点置 信度得分满足阈值(例如，5％、10％、25％等)的情况下调整路线。控制模块306使用规划和控制数据以生成控制命令，例如转向和加速。这些控制命令由控制系统111使用以沿着调整的路线移动ADV。

注意，如上所示和所述的一些或所有组件可以用软件、硬件或其组合实现。例如，这些 组件可以被实现为安装并存储在永久存储设备中的软件，软件可以由处理器(未示出)加载 并执行在存储器中以执行贯穿本申请所述的过程或操作。可替换地，这些组件可被实现为被 编程或嵌入到专用硬件中的可执行代码，专用硬件诸如集成电路(例如，专用IC或ASIC)、 数字信号处理器(DSP)或现场可编程门阵列(FPGA)，可执行代码可经由来自应用的对应 驱动器和/或操作系统访问。此外，这些组件可以被实现为处理器或处理器核中的特定硬件 逻辑，作为经由一个或多个特定指令软件组件可访问的指令集的一部分。

已经在对计算机存储器内的数据位的操作的算法和符号表示方面呈现了前述详细描述 的一些部分。这些算法描述和表示是数据处理领域的技术人员用来最有效地将他们的工作实 质传达给本领域的其他技术人员的方式。算法在这里并且通常被认为是导致期望结果的自相 容操作序列。这些操作是需要对物理量进行物理操纵的那些操作。

然而，应当记住的是，所有这些和类似的术语都与适当的物理量相关联，并且仅仅是应 用于这些量的方便的标记。除非特别声明，否则从以上讨论中显而易见的是，应当理解的是， 在整个说明书中，使用诸如所附权利要求书中所阐述的术语的讨论指的是计算机系统或类似 电子计算设备的动作和过程，所述计算机系统或类似电子计算设备将计算机系统的寄存器和 存储器内表示为物理(电子)量的数据操纵和变换成计算机系统存储器或寄存器或其它这样 的信息存储、传输或显示设备内的类似地表示为物理量的其它数据。

本公开的实施例还涉及用于执行本文的操作的装置。这种计算机程序存储在非瞬态计算 机可读介质中。机器可读介质包括用于以机器(例如，计算机)可读的形式存储信息的任何 机制。例如，机器可读(例如，计算机可读)介质包括机器(例如，计算机)可读存储介质 (例如，只读存储器(“ROM”)、随机存取存储器(“RAM”)、磁盘存储介质、光存储介质、 闪存设备)。

在前述附图中描述的过程或方法可以由包括硬件(例如，电路、专用逻辑等)、软件(例 如，体现在非暂时性计算机可读介质上)或两者的组合的处理逻辑来执行。尽管以上根据一 些顺序操作描述了过程或方法，但是应当理解的是，可以以不同的顺序执行所述的一些操作。 此外，一些操作可以并行地而不是顺序地执行。

本公开的实施例不是参考任何特别编程语言描述的。将了解，可使用各种编程语言实施 如本文所述的本公开的实施例的教示。

在前述说明书中，已经参考本公开的具体示例性实施例描述了本公开的实施例。显然， 在不背离如所附权利要求书中所阐述的本公开的更宽的精神和范围的情况下，可以对其进行 各种修改。因此，说明书和附图应被认为是说明性的而不是限制性的。

Claims (11)

1.一种用于自主驾驶车辆ADV执行的方法，所述方法包括：

确定当前状态置信度得分，所述当前状态置信度得分表示与移动障碍物的当前状态的准确度有关的置信度水平，所述移动障碍物的所述当前状态包括所述移动障碍物的速度、位置、航向、加速度或类型中的一个或多个；

基于所述移动障碍物的所述当前状态、地图数据和交通规则生成预测所述移动障碍物的路径的轨迹；

基于所述当前状态置信度得分和所述移动障碍物的所述当前状态，确定表示所述移动障碍物具有在其上移动的可能性的轨迹的置信度水平的轨迹置信度得分；以及

鉴于所述轨迹和所述轨迹置信度得分规划路径以控制和驱动所述ADV。

2.如权利要求1所述的方法，还包括基于所述轨迹置信度得分和所述移动障碍物的至少一个环境因素确定多个点置信度得分，每一个点置信度得分限定所述轨迹上的对应点的可靠性，其中所述路径还基于所述轨迹的所述点置信度得分被规划。

3.如权利要求2所述的方法，其中所述至少一个环境因素包括a)相应点与所述移动障碍物的起始位置之间的距离，b)所述交通规则，或c)所述地图数据中的一个或多个。

4.如权利要求2所述的方法，其中所述至少一个环境因素包括所述移动障碍物的所述类型。

5.如权利要求2所述的方法，其中所述点置信度得分中的至少一个是基于所述ADV的环境中的对象、所述交通规则或所述地图数据与在所述轨迹上的对应的点处的所述移动障碍物之间的预测交互确定的。

6.如权利要求1所述的方法，其中基于所述ADV与所述移动障碍物之间的距离确定所述当前状态置信度得分。

7.如权利要求1所述的方法，其中基于所述ADV的一个或多个传感器与所述移动障碍物之间的视线是否至少部分地被阻挡确定所述当前状态置信度得分。

8.如权利要求1所述的方法，其中进一步基于所述地图数据和所述交通规则确定所述轨迹置信度得分。

9.一种用于自主驾驶车辆ADV执行的装置，包括：

第一确定模块，用于确定当前状态置信度得分，所述当前状态置信度得分表示与移动障碍物的当前状态的准确度有关的置信度水平，所述移动障碍物的所述当前状态包括所述移动障碍物的速度、位置、航向、加速度或类型中的一个或多个；

生成模块，用于基于所述移动障碍物的所述当前状态、地图数据和交通规则生成预测所述移动障碍物的路径的轨迹；

第二确定模块，用于基于所述当前状态置信度得分和所述移动障碍物的所述当前状态，确定表示所述移动障碍物具有在其上移动的可能性的轨迹的置信度水平的轨迹置信度得分；以及

规划模块，用于鉴于所述轨迹和所述轨迹置信度得分规划路径以控制和驱动所述ADV。

10.一种非暂时性机器可读介质，具有存储在其中的指令，所述指令在由处理器执行时使得所述处理器执行根据权利要求1-8中任一项所述的方法。

11.一种数据处理系统，包括：

处理器；以及

存储器，所述存储器耦接到所述处理器以存储指令，所述指令在由所述处理器执行时使得所述处理器执行根据权利要求1-8中任一项所述的方法。

Images