CN111775933B - 用于基于车辆周围障碍物的移动轨迹自主驾驶车辆的方法 - Google Patents

Abstract

在自主驾驶期间，可以在对应缓冲器中保持障碍物以及自主驾驶车辆(ADV)的移动轨迹或移动历史。对于障碍物或对象以及ADV中的每个，保持不同时间点处的车辆状态并存储在一个或多个缓冲器中。表示障碍物和ADV的移动轨迹或移动历史的车辆状态可以用于重构障碍物和ADV的历史迹线，其可用于各种目的。例如，可以使用障碍物的移动轨迹或历史来确定道路的一个或多个车道的车道配置，特别是在车道标记不清楚的乡村地区。障碍物的移动历史也可以用于预测障碍物的未来移动、紧跟障碍物以及推断车道线。

Description

用于基于车辆周围障碍物的移动轨迹自主驾驶车辆的方法

技术领域

本公开的实施例总体上涉及操作自主车辆。更具体而言，本公开的实施例涉及用于基于车辆周围障碍物的移动历史自主驾驶车辆。

背景技术

以自主模式(例如，无人驾驶)操作的车辆可以减轻乘坐者，尤其是驾驶员的一些驾驶相关的责任。当在自主模式下操作时，车辆可以使用车载传感器导航到各种位置，允许车辆以最小人机交互或者在没有任何乘客的一些情况下行驶。

移动规划和控制是自主驾驶中的关键操作。在规划操作期间，精确地确定车道配置和预测在道路上检测到的障碍物的移动是重要的。尤其是，在车道标记不明显的乡村地区行驶时，难以确定车道配置并预测障碍物的移动。

发明内容

在一个实施例中，本申请涉及一种用于操作自主驾驶车辆(autonomous drivingvehicle,ADV)的计算机实施的方法。所述方法包括：基于从多个传感器获得的传感器数据，感知ADV周围的驾驶环境，包括检测一个或多个移动障碍物；分配一个或多个障碍物状态缓冲器，为所述移动障碍物中的每个分配一个障碍物状态缓冲器，以对预定时间段，存储在不同时间点处对应的移动障碍物的障碍物状态，其中每个障碍物状态至少包括在特定时间点处所述对应的移动障碍物的位置；基于存储在相关障碍物状态缓冲器中的过去障碍物状态，预测所述移动障碍物中的至少一个的进一步移动；以及基于所述移动障碍物的预测的移动，规划驾驶所述ADV的迹线以避免与所述移动障碍物中的任一个的碰撞。

在另一个实施例中，本申请还涉及一种非暂时性机器可读介质，其中存储有指令，当由处理器执行时，使得所述处理器执行上述用于操作自主驾驶车辆的计算机实施的方法。

在另一个实施例中，本申请还涉及一种数据处理系统。数据处理系统包括：处理器；以及耦接到所述处理器的存储器，用于存储指令，当由所述处理器执行时，使得所述处理器执行上述用于操作自主驾驶车辆的计算机实施的方法。

在另一实施例中，本申请还涉及一种用于操作自主驾驶车辆(ADV)的计算机实施的装置，包括：感知模块，用于基于从多个传感器获得的传感器数据，感知ADV周围的驾驶环境，包括检测一个或多个移动障碍物；对象跟踪模块，用于分配一个或多个障碍物状态缓冲器，为所述移动障碍物中的每个分配一个障碍物状态缓冲器，以对预定时间段，存储在不同时间点处对应的移动障碍物的障碍物状态，其中每个障碍物状态至少包括在特定时间点处所述对应的移动障碍物的位置；预测模块，用于基于存储在相关障碍物状态缓冲器中的过去障碍物状态，预测所述移动障碍物中的至少一个的进一步移动；以及规划模块，用于基于所述移动障碍物的预测的移动，规划驾驶所述ADV的迹线以避免与所述移动障碍物中的任一个的碰撞。

附图说明

本公开的实施例在附图中以示例且不限制的方式示出，在附图中相似的附图标记表示相似的元件。

图1是示出根据一个实施例的联网系统的框图。

图2是示出根据一个实施例的自主车辆的示例的框图。

图3A-3B是示出根据一个实施例的与自主车辆一起使用的感知和规划系统的示例的框图。

图4是示出根据一个实施例的对象跟踪系统的框图。

图5是示出根据一个实施例的用于跟踪对象的图形用户界面的屏幕截图。

图6是示出根据一个实施例的用于跟踪对象的过程的示例的流程图。

具体实施方式

将参考以下讨论的细节描述本公开的各个实施例和方面，并且附图将示出各个实施例。以下描述和附图是本公开的说明并且不应被解释为限制本公开。描述了许多具体细节以提供对本公开的各种实施例的全面理解。然而，在某些情况下，为提供对本公开的实施例的简要讨论，没有描述公知或常规的细节。

说明书中对“一个实施例”或“实施例”的引用意味着结合该实施例描述的特定特征、结构或特性可包括在本公开的至少一个实施例中。在说明书中的各个地方出现的短语“在一个实施例中”不必须都指相同的实施例。

根据一些实施例，在自主驾驶期间，障碍物以及自主驾驶车辆(autonomousdriving vehicle,ADV)的移动轨迹或移动历史可以被保持在对应的缓冲器中。对于障碍物或对象中以及ADV中的每个，在不同时间点处的车辆状态(例如，位置、速度和/或前进方向)被保持并存储在一个或多个缓冲器中。表示障碍物和ADV的移动轨迹或移动历史的车辆状态可以用于重构障碍物和ADV的历史迹线，其可用于各种目的。例如，可以使用障碍物的移动轨迹或移动历史确定道路的一个或多个车道的车道配置，特别地，在车道标记不清楚的乡村地区。障碍物的移动历史也可以用于预测障碍物的未来移动、分析交通状况或拥挤、紧跟障碍物、以及推断车道线(例如，车道中心线)等。

根据一个实施例，基于从各种传感器获得的传感器数据感知或确定ADV周围的驾驶环境，包括检测一个或多个移动障碍物或移动障碍物。对于检测到的移动障碍物中的每个，分配障碍物状态缓冲器以存储移动障碍物在预定时间段内的不同时间点处的障碍物状态。每个障碍物状态至少包括对应的移动障碍物在特定时间点处的位置。基于存储在相关障碍物状态缓冲器中的过去的障碍物状态预测移动障碍物中的每个的进一步移动。

在一个实施例中，每个障碍物状态进一步包括对应的移动障碍物在特定时间点处的速度和/或前进方向。车辆状态缓冲器被进一步保持以存储ADV在不同时间点处的车辆状态。类似地，车辆状态包括车辆在特定时间点处的位置、速度和/或前进方向。在一个实施例中，对存储在障碍物状态缓冲器中的障碍物状态的至少部分执行分析以确定驾驶环境的车道配置。可以在不使用与驾驶环境相关的地图的地图数据的情况下确定车道配置。另外，可以基于从对应的障碍物状态缓冲器检索到的对应障碍物状态，对移动障碍物中的至少一个重构移动迹线。然后，可以基于移动障碍物的重构的移动迹线导出车道配置。

在一个实施例中，确定车道配置包括推断车道线，诸如车道的车道中心线、车道宽度和/或车道的弯曲。当障碍物被另一对象(静止对象或移动对象)阻挡或看不见时，障碍物的移动轨迹或移动历史也可以用于预测障碍物的进一步移动。障碍物状态或障碍物的移动历史也可以用于通过重构障碍物的过去迹线以由ADV跟随或紧跟对应的障碍物，并基于重构的轨迹规划ADV的新轨迹以跟随障碍物。

图1是示出根据本公开的一个实施例的自主车辆网络配置的框图。参考图1，网络配置100包括自主车辆101，其可以通过网络102通信地耦接到一个或多个服务器103-104。尽管示出一个自主车辆，多个自主车辆可以通过网络102彼此耦接和/或耦接到服务器103-104。网络102可以是有线的或无线的任何类型的网络，诸如局域网(local area network,LAN)、诸如因特网的广域网(wide area network,WAN)、蜂窝网络、卫星网络、或其组合。服务器103-104可以是任何类型的服务器或服务器群集，诸如Web或云服务器、应用服务器、后端服务器或其组合。服务器103-104可以是数据分析服务器、内容服务器、交通信息服务器、地图和兴趣点(map and point of interest,MPOI)服务器或位置服务器等。

自主车辆指的是能够被配置为处于自主模式的车辆，在该模式中，车辆在很少或没有来自驾驶员的输入的情况下，通过环境进行导航。这种自主车辆可以包括具有一个或多个传感器的传感器系统，传感器被配置为检测关于车辆在其中操作的环境的信息。车辆及其相关控制器使用检测的信息通过环境进行导航。自主车辆101可以以手动模式、全自主模式或部分自主模式操作。

在一个实施例中，自主车辆101包括但不限于感知和规划系统110、车辆控制系统111、无线通信系统112、用户接口系统113、信息娱乐系统114和传感器系统115。自主车辆101可以进一步包括在普通车辆中包括的某些通用组件，诸如引擎、车轮、转向盘、变速器等，其可以由车辆控制系统111和/或感知和规划系统110使用各种通信信号和/或命令(例如加速信号或命令、减速信号或命令、转向信号或命令、制动信号或命令等)控制。

组件110-115可以经由互连、总线、网络或其组合通信地耦接至彼此。例如，组件110-115可以经由控制器域网(controller area network,CAN)总线通信地耦接至彼此。CAN总线是车辆总线标准，其被设计为允许微控制器和设备在没有主机的应用中彼此通信。它是基于消息的协议，最初被设计用于汽车内的多路电线，但是也用于许多其它环境中。

现在参考图2，在一个实施例中，传感器系统115包括但不限于一个或多个相机211、全球定位系统(global positioning system,GPS)单元212、惯性测量单元(inertialmeasurement unit,IMU)213、雷达单元214以及光检测和范围(light detection andrange,LIDAR)单元215。GPS系统212可以包括可操作以提供关于自主车辆的位置的信息的收发器。IMU单元213可以基于惯性加速度感测自主车辆的位置和方位变化。雷达单元214可以表示利用无线电信号感测自主车辆的局部环境内的对象的系统。在一些实施例中，除了感测对象之外，雷达单元214可以额外地感测对象的速度和/或前进方向。LIDAR单元215可以使用激光感测自主车辆所处环境中的对象。LIDAR单元215可以包括一个或多个激光源、激光扫描器和一个或多个检测器，以及其他系统组件。相机211可以包括一个或多个设备以捕获自主车辆周围的环境的图像。相机211可以是静态相机和/或摄像机。例如，通过将相机安装在旋转和/或倾斜的平台上，相机可以是机械可移动的。

传感器系统115可以进一步包括其它传感器，诸如声纳传感器、红外传感器、转向传感器、油门传感器、制动传感器和音频传感器(例如麦克风)。音频传感器可以被配置为捕获来自自主车辆周围的环境的声音。转向传感器可以被配置为感测车辆的转向盘、车轮或其组合的转向角。油门传感器和制动传感器分别感测车辆的油门位置和制动位置。在一些情况下，油门传感器和制动传感器可以被集成为集成的油门/制动传感器。

在一个实施例中，车辆控制系统111包括但不限于转向单元201、油门单元202(也称为加速单元)和制动单元203。转向单元201用于调节车辆的方向或前进方向。油门单元202用于控制电动机或引擎的速度，电动机或引擎的速度又控制车辆的速度和加速度。制动单元203通过提供摩擦力以减缓车辆的车轮或轮胎来使车辆减速。注意，图2中示出的组件可以以硬件、软件或其组合实施。

返回参考图1，无线通信系统112允许在自主车辆101和外部系统，诸如设备、传感器、其他车辆等之间的通信。例如，无线通信系统112可以直接或经由通信网络与一个或多个设备无线通信，诸如通过网络102与服务器103-104无线通信。无线通信系统112可以使用任何蜂窝通信网络或无线局域网(wireless local area network,WLAN)，例如使用WiFi与另一组件或系统通信。无线通信系统112可以例如使用红外链路、蓝牙等直接与设备(例如，乘客的移动设备、显示设备、车辆101内的扬声器)通信。用户接口系统113可以是在车辆101内实施的外围设备的部分，包括例如键盘、触摸屏显示设备、麦克风和扬声器等。

自主车辆101的一些或所有功能可以由感知和规划系统110控制或管理，尤其是当以自主驾驶模式操作时。感知和规划系统110包括必要的硬件(例如，处理器、存储器、存储设备)和软件(例如，操作系统、规划和路线程序)，以从传感器系统115、控制系统111、无线通信系统112和/或用户接口系统113接收信息，处理接收的信息，规划从起点到目的地点的路线或路径，然后基于规划和控制信息驾驶车辆101。可替换地，感知和规划系统110可以与车辆控制系统111集成。

例如，作为乘客的用户可以例如经由用户接口指定行程的起始位置和目的地。感知和规划系统110获得行程有关的数据。例如，感知和规划系统110可以从MPOI服务器获得位置和路线信息，MPOI服务器可以是服务器103-104的部分。位置服务器提供位置服务，MPOI服务器提供地图服务和某些位置的POI。可替换地，这种位置和MPOI信息可以本地缓存在感知和规划系统110的永久存储设备中。

当自主车辆101沿着路线移动时，感知和规划系统110还可以从交通信息系统或服务器(traffic information system or server,TIS)获得实时交通信息。注意，服务器103-104可以由第三方实体操作。可替换地，服务器103-104的功能可以与感知和规划系统110集成。基于实时交通信息、MPOI信息和位置信息，以及由传感器系统115检测或感测的实时局部环境数据(例如，障碍物、对象、附近车辆)，感知和规划系统110可以规划最佳路线，并例如经由控制系统111根据规划路线驾驶车辆101以安全且高效地到达指定目的地。

服务器103可以是数据分析系统，以执行用于各种客户端的数据分析服务。在一个实施例中，数据分析系统103包括数据收集器121和机器学习引擎122。数据收集器121从各种车辆(自主车辆或者是由人类驾驶员驾驶的常规车辆)收集驾驶统计123。驾驶统计123包括指示发出的驾驶命令(例如，油门、制动、转向命令)和由车辆的传感器在不同时间点处捕获的车辆的响应(例如，速度、加速、减速、方向)的信息。驾驶统计123可以进一步包括描述不同时间点处的驾驶环境的信息，诸如路线(包括起始位置和目的地位置)、MPOIs、道路条件、天气条件等。

基于驾驶统计123，机器学习引擎122生成或训练一组规则、算法和/或预测模型124，用于各种目的。在一个实施例中，算法124可以包括算法，以保持障碍物和ADV的移动历史、基于历史重构移动迹线、确定车道配置、并预测障碍物的进一步移动。然后，算法124可以上传到ADV上，以便在自主驾驶期间实时使用。

图3A和3B是示出根据一个实施例的与自主车辆一起使用的感知和规划系统的示例的框图。系统300可以被实施为图1的自主车辆101的部分，包括但不限于感知和规划系统110、控制系统111和传感器系统115。参考图3A-3B，感知和规划系统110包括但不限于定位模块301、感知模块302、预测模块303、决策模块304、规划模块305、控制模块306、路线模块307和和对象跟踪模块308。

模块301-308中的一些或全部可以以软件、硬件或其组合实现。例如，这些模块可以安装在永久存储设备352中，加载到存储器351中，并由一个或多个处理器(未示出)执行。注意，这些模块中的一些或全部可以通信地耦接到图2的车辆控制系统111的一些或全部模块或与之集成。模块301-308中的一些可以被集成在一起作为集成模块。

定位模块301确定自主车辆300的当前位置(例如，利用GPS单元212)并管理与用户的行程或路线有关的任何数据。定位模块301(也称为地图和路线模块)管理与用户的行程或路线有关的任何数据。用户可以例如经由用户接口登录并指定行程的起始位置和目的地。定位模块301与自主车辆300的其他组件，诸如地图和路线信息311通信，以获得行程相关的数据。例如，定位模块301可以从位置服务器和地图与POI(MPOI)服务器获得位置和路线信息。位置服务器提供位置服务，且MPOI服务器提供地图服务和某些位置的POI，其可以作为地图和路线信息311的部分被缓存。当自主车辆300沿着路线移动时，定位模块301还可以从交通信息系统或服务器获得实时交通信息。

基于由传感器系统115提供的传感器数据和由定位模块301获得的定位信息，由感知模块302确定对周围环境的感知。感知信息可以表示普通驾驶员能够在驾驶员正在驾驶的车辆周围中所感知的。感知可包括车道配置、交通灯信号、另一车辆的相对位置、行人、建筑物、人行横道或例如以对象形式的其它交通相关标志(例如，停止标志、让步标志)等。车道配置包括描述一个或多个车道的信息，诸如，例如车道的形状(例如，直的或弯曲的)、车道的宽度、道路中的车道数量、单向或双向车道、合并或分离车道、驶出车道等。

感知模块302可以包括计算机视觉系统或计算机视觉系统的功能，以处理和分析由一个或多个相机捕获的图像，以识别自主车辆的环境中的对象和/或特征。对象可以包括交通信号、道路边界、其他车辆、行人和/或障碍物等。计算机视觉系统可以使用对象识别算法、视频跟踪和其它计算机视觉技术。在一些实施例中，计算机视觉系统可以绘制环境、跟踪对象、以及估计对象的速度等。感知模块302还可以基于由诸如雷达和/或LIDAR的其他传感器提供的其他传感器数据来检测对象。

对于对象中的每个，预测模块303预测对象将在该环境下的表现是什么。在考虑到一组地图/路线信息311和交通规则312的情况下，基于感知在时间点处驾驶环境的感知数据执行预测。例如，如果对象是在相反方向上的车辆并且当前驾驶环境包括交叉路口，预测模块303将预测车辆将可能直线向前移动还是转弯。如果感知数据指示交叉路口没有交通灯，则预测模块303可以预测车辆在进入交叉路口之前可能必须完全停止。如果感知数据指示车辆当前处于仅左转弯车道或仅右转弯车道，预测模块303可以预测车辆将更可能分别进行左转弯或右转弯。

对于对象的每个，决策模块304作出关于如何处理对象的决策。例如，对于特定对象(例如，在交叉路线中的另一车辆)以及描述对象的元数据(例如，速度、方向、转弯角)，决策模块304决定如何遇到对象(例如，超车、让行、停止、通过)。决策模块304可以根据一组规则，诸如交通规则或驾驶规则312作出这些决策，这组规则可以存储于永久存储设备352中。

路线模块307被配置为提供从起始点到目的地点的一条或多条路线或路径。对于例如从用户接收的从起始位置到目的地位置的给定行程，路线模块307获得路线和地图信息311并确定从起始位置到达目的地位置的所有可能的路线或路径。路线模块307可以为确定从起始位置到达目的地位置的路线中的每个生成地形图形式的参考线。参考线是指没有来自其它(诸如其它车辆、障碍物或交通状况)的任何干扰的理想路线或路径。也就是说，如果在道路上没有其它车辆、行人或障碍物，ADV应该精确地或紧密地跟随参考线。然后，地形图被提供给决策模块304和/或规划模块305。决策模块304和/或规划模块305检查所有可能的路线，以在考虑到由其它模块提供的其它数据(诸如来自定位模块301的交通状况、由感知模块302感知的驾驶环境和由预测模块303预测的交通状况)的情况下，选择和修改最佳路线中的一个。取决于在时间点处的特定驾驶环境，用于控制ADV的实际路径或路线可以接近或不同于由路线模块307提供的参考线。

基于对于感知的对象中的每个的决策，规划模块305使用由路线模块307提供的参考线作为基础，规划用于自主车辆的路径或路线以及驾驶参数(例如，距离、速度和/或转弯角)。也就是说，对于给定对象，决策模块304决定对对象做什么，而规划模块305确定如何做。例如，对于给定对象，决策模块304可以决定通过对象，而规划模块305可以确定是在对象的左侧还是右侧通过。规划和控制数据由规划模块305生成，包括描述车辆300在下一移动周期(例如，下一个路线/路径段)中将如何移动的信息。例如，规划和控制数据可以指示车辆300以30英里每小时(mph)的速度移动10米，然后以25mph的速度改变到右车道。

基于规划和控制数据，控制模块306根据由规划和控制数据定义的路线或路径，通过向车辆控制系统111发送适当的命令或信号，控制和驾驶自主车辆。规划和控制数据包括在沿着路径或路线的不同时间点处使用适当的车辆设置或驾驶参数(例如，油门、制动、转向命令)将车辆从路线或路径的第一点驾驶到第二点的足够信息。

在一个实施例中，在多个规划周期(也称为驾驶周期)内执行规划阶段，诸如每隔100毫秒(ms)的时间间隔。对于规划周期或驾驶周期的每个，将基于规划和控制数据发出一个或多个控制命令。也就是说，对于每100ms，规划模块305规划下一个路线段或路径段，例如包括目标位置和ADV到达目标位置所需的时间。可替换地，规划模块305可以进一步指定特定速度、方向和/或转向角等。在一个实施例中，规划模块305为下一预定的时间段(诸如5秒)规划路线段或路径段。对于每个规划周期，规划模块305基于在先前周期中规划的目标位置规划用于当前周期(例如，下一5秒)的目标位置。然后，控制模块306基于当前周期的规划和控制数据生成一个或多个控制命令(例如，油门、制动、转向控制命令)。

注意，决策模块304和规划模块305可以集成为集成模块。决策模块304/规划模块305可以包括导航系统或导航系统的功能，以确定用于自主车辆的驾驶路径。例如，导航系统可以确定一系列速度和方向前进方向，以影响自主车辆沿着路径的移动，其基本上避开感知的障碍物同时通常使自主车辆沿着通向最终目的地的基于车道的路径前进。可以根据经由用户接口系统113的用户输入设置目的地。当自主车辆在操作时，导航系统可以动态地更新驾驶路径。导航系统可以合并来自GPS系统的数据和一个或多个地图，以确定用于自主车辆的驾驶路径。

根据一个实施例，对象跟踪模块308被配置为跟踪由感知模块302检测到的障碍物的移动历史以及ADV的移动历史。对象跟踪模块308可以被实施为感知模块302的部分。障碍物和ADV的移动历史可以作为驾驶统计313的部分存储在存储器351和/或永久存储设备352中保持的相应的障碍物和车辆状态缓冲器中。对于由感知模块302检测的每个障碍物，确定在预定时间段内不同时间点处的障碍物状态，并将其保持在与保持在存储器351中的障碍物相关的障碍物状态缓冲器中，用于快速访问。障碍物状态可以进一步被刷新并存储在永久存储设备352中，作为驾驶统计313的部分。在存储器351中保持的障碍物状态可以被保持较短的时间段，而永久存储设备352中存储的障碍物状态可以被保持较长的时间段。类似地，ADV的车辆状态也可以被保持在存储器351和永久存储设备352中，作为驾驶统计313的部分。

图4是示出根据一个实施例的对象跟踪系统的框图。参照图4，对象跟踪模块308包括车辆跟踪模块401和障碍物跟踪模块402，其可被实施为集成模块。车辆跟踪模块401被配置为至少基于从GPS 212接收的GPS信号和/或从IMU 213接收的IMU信号，跟踪ADV的移动。车辆跟踪模块401可以基于GPS/IMU信号执行移动估计以在确定不同时间点处的车辆状态，诸如位置、速度和前进方向。然后，车辆状态被存储在车辆状态缓冲器403中。在一个实施例中，存储在车辆状态缓冲器403中的车辆状态可以仅包括在以固定时间增量的不同时间点处的车辆的位置。因此，基于在固定的递增时间戳处的位置，可以导出速度和前进方向。可替换地，车辆状态可以包括丰富的车辆状态元数据集，包括位置、速度、前进方向、加速/减速以及发出的控制命令。

在一个实施例中，障碍物跟踪模块402被配置为跟踪基于从例如相机211、LIDAR215和/或RADAR 214的传感器获得的传感器数据检测的障碍物。障碍物跟踪模块402可以包括相机对象检测器/跟踪模块和LIDAR对象检测器/跟踪模块，以分别检测和跟踪由图像捕获的障碍物和由LIDAR点云捕获的障碍物。可以对由相机和LIDAR对象检测器/跟踪模块提供的输出执行数据融合操作。在一个实施例中，可以在神经网络预测模型中实施相机和LIDAR对象检测器/跟踪模块，以预测并跟踪障碍物的移动。然后，障碍物的障碍物状态被存储在障碍物状态缓冲器404中。障碍物状态与上述车辆状态类似或相同。

在一个实施例中，对于检测的障碍物的每个，分配障碍物状态缓冲器以具体存储对应的障碍物的障碍物状态。在一个实施例中，车辆状态缓冲器和障碍物状态缓冲器中的每个被实施为类似于先进先出(first-in-first-out,FIFO)缓冲器的循环缓冲器，以保持与预定时间段相关的预定量的数据。存储在障碍物状态缓冲器404中的障碍物状态可以用于预测障碍物的未来移动，使得可为ADV规划更好的路径以避免与障碍物的碰撞。

例如，在某些情况下，障碍物可能被另一对象阻挡，使得ADV不能“看到”。然而，基于障碍物的过去障碍物状态，即使障碍物在视线之外，也可以预测进一步的移动轨迹。这是重要的，因为障碍物可能暂时处于盲点中且ADV需要通过考虑障碍物的未来位置来规划以避免潜在的碰撞。可替换地，可以基于障碍物的轨迹确定交通流量或交通拥挤。

根据一个实施例，在一段时间内障碍物的障碍物状态可用于重构障碍物在过去移动的轨迹。驾驶环境中的一个或多个障碍物的重构轨迹可以用于通过创建虚拟车道确定或预测道路的车道配置。车道配置可以包括车道的数量、车道宽度、车道形状或弯曲，和/或车道中心线。例如，基于障碍物流的多个流的交通流量，可以确定车道的数量。另外，障碍物或移动对象通常在车道的中心移动。因此，通过跟踪障碍物的移动轨迹，可以预测车道中心线。此外，通过观察障碍物宽度加上政府规章要求的最小间隙空间，海可以基于预测的车道中心线确定车道宽度。当ADV在无法获得车道标记或车道标记不够清晰的乡村地区行驶时，这种车道配置预测是特别有用的。

根据另一实施例，如果需要跟随或跟随另一移动障碍物，可以基于从对应障碍物状态缓冲器检索的障碍物状态重构该障碍物的过去移动轨迹。然后，可以基于要跟随的障碍物的重构轨迹，来规划紧跟的路径。

根据一个实施例，可以在ADV内的图形用户界面(graphical user interface,GUI)上实时显示障碍物的重构轨迹，以向ADV内的用户提供视觉印象，或可替换地，GUI可以用于在线或离线分析，诸如传感器校准。图5是根据一个实施例的示出障碍物的重构轨迹的GUI的屏幕截图。参见图5，由安装在ADV上的相机捕获并由感知处理处理第一图形501，以检测并识别图像上的一个或多个障碍物/对象。对于障碍物中的每个，生成边界框并将其叠加在第一图像上。在此示例中，检测障碍物511-513，用于说明的目的。另外，对于检测的障碍物中的每个，在不同的时间点(例如，每个驾驶周期，即，每100ms)捕获障碍物状态，并将其存储在如上所述的对应障碍物状态缓冲器中。

第一图像501表示从ADV的前视点看去的二维(two-dimensional,2D)视图，并将第一图像501显示在显示设备的第一显示区域上。基于第一图像501和诸如LIDAR和RADAR传感器数据的其他传感器数据，生成表示三维(three-dimensional,3D)视图(在此示例中，自顶向下视图)的第二图像502，并将其显示在显示设备的第二显示区域上。另外，对于在ADV的视野中或更靠近ADV的障碍物中的至少一些，基于在对应障碍物状态缓冲器中保持的障碍物状态信息重构移动迹线或轨迹。然后，重构的轨迹叠加在第二图像502上，在此示例中，轨迹521-523分别对应于障碍物511-513。此外，根据一个实施例，基于2D图像501和3D图像502生成再投影2D图像503，包括2D视图中的投影轨迹521-523。图像503显示在显示设备的第三显示区域上。在此示例中，图像501-503被同时显示在显示设备上。结果，用户可以可视地执行各种分析。

图6是示出根据一个实施例的跟踪移动对象的过程的示例的流程图。处理600可以由可以包括软件、硬件或其组合的处理逻辑执行。例如，过程600可由感知模块302和/或对象跟踪模块308执行。参考图6，在框601处，处理逻辑基于从各种传感器(例如，相机、LIDAR和/或RADAR)获得的传感器数据感知ADV周围的驾驶环境，包括检测一个或多个障碍物。在框602处，为检测的障碍物中的每个分配障碍物状态缓冲器，以在预定时间段内具体地存储在不同时间点处障碍物的障碍物状态。每个障碍物状态至少包括在特定时间点处对应障碍物的位置。在框603处，基于存储在障碍物状态缓冲器中的信息预测障碍物中的至少一个的未来移动。基于障碍物的预测移动，在框604处，规划迹线以驱动ADV，例如，以避免与障碍物中的任一个碰撞。

注意，如上所示和所述的一些或所有组件可以以软件、硬件或其组合来实施。例如，这样的组件可以被实施为安装并存储在永久存储设备中的软件，其可以由处理器(未示出)加载在存储器中并执行以执行贯穿本申请描述的过程或操作。可替换地，这些组件可以被实施为编程或嵌入到专用硬件中的可执行代码，专用硬件诸如集成电路(例如，专用IC或ASIC)、数字信号处理器(digital signal processor,DSP)或现场可编程门阵列(fieldprogrammable gate array,FPGA)，其可以经由来自应用的对应驱动器和/或操作系统访问。此外，这些组件可以被实施为处理器中的特定硬件逻辑或处理器核，作为经由一个或多个特定指令由软件组件可访问的指令集的部分。

已经在对计算机存储器内的数据位的操作的算法和符号表示方面呈现了前述详细描述的一些部分。这些算法描述和表示是数据处理领域的技术人员用来最有效地将其工作实质传递给本领域的其他技术人员的方式。算法在此并且通常被认为是导致期望结果的自相容操作序列。这些操作是需要对物理量进行物理操作的那些。

然而，应当记住的是，所有这些和类似的术语都与适当的物理量相关，并且仅仅是应用于这些量的方便的标记。除非特别声明，如从以上讨论中显而易见的，应当理解的是，在整个说明书中，使用例如如下权利要求书中所阐述的术语的讨论指的是计算机系统或类似电子计算设备的动作和处理，所述计算机系统或类似电子计算设备将计算机系统的寄存器和存储器内表示为物理(电子)量的数据操纵和变换成计算机系统存储器或寄存器或其它这样的信息存储、传输或显示设备内类似地表示为物理量的其它数据。

本公开的实施例还涉及用于执行在此的操作的装置。这种计算机程序存储在非瞬态计算机可读介质中。机器可读介质包括用于以机器(例如，计算机)可读的形式存储信息的任何机制。例如，机器可读(例如，计算机可读)介质包括机器(例如，计算机)可读存储介质(例如，只读存储器(read only memoyr,“ROM”)、随机存取存储器(random accessmemory,“RAM”)、磁盘存储介质、光存储介质、闪存设备)。

在前述附图中描绘的过程或方法可以由包括硬件(例如，电路、专用逻辑等)、软件(例如，包含在非暂时性计算机可读介质上)或两者的组合的处理逻辑执行。尽管以上根据一些顺序操作描述了过程或方法，应当理解的是，可以以不同的顺序执行描述的操作中的一些。此外，一些操作可以并行地而不是顺序地执行。

不参考任何特定编程语言来描述本公开的实施例。应当理解的是，可以使用各种编程语言实施如在此描述的本发明的实施例的教导。

在前述说明书中，已经参考本公开的具体示例性实施例描述了本公开的实施例。显然，在不背离如所附权利要求书中阐述的本公开的更宽的精神和范围的情况下，可以对其进行各种修改。因此，说明书和附图应被认为是说明性的而不是限制性的。

Claims (9)

1.一种用于操作自主驾驶车辆（ADV）的计算机实施的方法，所述方法包括：

基于从多个传感器获得的传感器数据，感知ADV周围的驾驶环境，包括检测一个或多个移动障碍物；

分配一个或多个障碍物状态缓冲器，为所述移动障碍物中的每个分配一个障碍物状态缓冲器，以对预定时间段，存储在不同时间点处对应的移动障碍物的障碍物状态，其中每个障碍物状态至少包括在特定时间点处所述对应的移动障碍物的位置；

基于存储在相关障碍物状态缓冲器中的过去障碍物状态，预测所述移动障碍物中的至少一个的进一步移动；以及

基于所述移动障碍物的预测的移动，规划驾驶所述ADV的迹线以避免与所述移动障碍物中的任一个的碰撞；

所述方法还包括：对存储在所述障碍物状态缓冲器中的所述障碍物状态进行分析，以在不使用与所述驾驶环境相关的地图的地图数据的情况下，确定所述驾驶环境的车道配置；

其中，确定所述车道配置包括：基于从所述障碍物状态缓冲器中的至少一个检索的所述障碍物状态，推断车道的车道中心线；以及

基于所述车道中心线、所述移动障碍物的障碍物宽度和要求的最小间隙空间，确定车道宽度。

2.如权利要求1所述的方法，其中每个障碍物状态还包括：在所述特定时间点处，所述对应的移动障碍物的速度和前进方向。

3.如权利要求1所述的方法，还包括：保持车辆状态缓冲器以存储不同时间点处所述ADV的车辆状态，其中每个车辆状态包括在特定时间点处所述ADV的位置、速度或前进方向中的至少一个。

4.如权利要求1所述的方法，还包括：基于从所述对应的障碍物状态缓冲器检索的障碍物状态，重构所述移动障碍物中的每个的移动迹线，其中基于所述移动障碍物的所述移动迹线导出所述车道配置。

5.如权利要求1所述的方法，还包括：

检测到第一移动障碍物被静止障碍物遮挡；以及

在所述第一移动障碍物持续被所述静止障碍物遮挡时，基于存储在与所述第一移动障碍物相关的第一障碍物状态缓冲器中的障碍物状态，预测所述第一移动障碍物的移动。

6.如权利要求1所述的方法，还包括：

响应于用于跟随第二移动障碍物的请求，从与所述第二移动障碍物相关的第二障碍物状态缓冲器检索障碍物状态；

由从所述第二障碍物状态缓冲器检索的所述障碍物状态重构第二移动迹线；以及

基于所述第二移动迹线，规划用于ADV的迹线。

7.一种非暂时性机器可读介质，其中存储有指令，当由处理器执行时，使得所述处理器执行如权利要求1至6中任一项所述的用于操作自主驾驶车辆（ADV）的计算机实施的方法。

8.一种数据处理系统，包括：

处理器；以及

存储器，耦接到所述处理器，用于存储指令，当所述指令由所述处理器执行时，使得所述处理器执行如权利要求1至6中任一项所述的用于操作自主驾驶车辆（ADV）的计算机实施的方法。

9.一种用于操作自主驾驶车辆（ADV）的计算机实施的装置，包括：

感知模块，用于基于从多个传感器获得的传感器数据，感知ADV周围的驾驶环境，包括检测一个或多个移动障碍物；

对象跟踪模块，用于分配一个或多个障碍物状态缓冲器，为所述移动障碍物中的每个分配一个障碍物状态缓冲器，以对预定时间段，存储在不同时间点处对应的移动障碍物的障碍物状态，其中每个障碍物状态至少包括在特定时间点处所述对应的移动障碍物的位置；

预测模块，用于基于存储在相关障碍物状态缓冲器中的过去障碍物状态，预测所述移动障碍物中的至少一个的进一步移动；以及

规划模块，用于基于所述移动障碍物的预测的移动，规划驾驶所述ADV的迹线以避免与所述移动障碍物中的任一个的碰撞；

所述装置还用于：对存储在所述障碍物状态缓冲器中的所述障碍物状态进行分析，以在不使用与所述驾驶环境相关的地图的地图数据的情况下，确定所述驾驶环境的车道配置；

其中，所述装置用于：基于从所述障碍物状态缓冲器中的至少一个检索的所述障碍物状态，推断车道的车道中心线；以及

基于所述车道中心线、所述移动障碍物的障碍物宽度和要求的最小间隙空间，确定车道宽度。