CN113165652B - 使用基于网格的方法检验预测轨迹 - Google Patents

Abstract

本公开的方面提供了在自主驾驶模式下控制车辆(100)。例如，可接收对象的传感器数据和多个预测轨迹(510、512)。每个预测轨迹可代表对象的多个可能的未来位置。可生成包括多个单元的网格(610)，每个单元与地理区域相关联。可基于传感器数据可确定在未来一段时间内对象将进入与多个单元中的每个单元相关联的地理区域的概率，以便生成热图(710)。可将多个预测轨迹中的一个或多个与热图进行比较。可基于比较在自主驾驶模式下控制车辆。

Description

使用基于网格的方法检验预测轨迹

相关申请的交叉引用

本申请要求享有于2018年11月9日提交的美国申请第16/185,787号的优先权，其公开内容通过引用合并于此以作参考。

技术领域

本公开一般而言涉及使用基于网格的方法检验预测轨迹。

背景技术

自主车辆，诸如不需要人类驾驶员的车辆，可被用于协助将乘客或物品从一个地方运输到另一个地方。这样的车辆可在完全自主模式下操作，在完全自主模式下，乘客可提供一些初始输入，诸如上车位置或目的地位置，车辆就会自行移动至该位置。

为了确定如何在具有其他独立参与者(例如车辆、自行车和行人)的环境中操纵无人驾驶车辆，对于无人驾驶车辆的计算设备来说，检测此类参与者并对这些参与者的未来运动进行预测至关重要。典型的预测系统可使用行为预测模型，这些模型评估对象将遵循给定轨迹的可能性。在进行此类预测时，某些轨迹模型甚至可能会考虑其他参与者的相对位置和运动。

发明内容

本公开的一方面提供了一种在自主驾驶模式下控制车辆的方法。所述方法包括由一个或多个处理器接收针对对象的传感器数据；由一个或多个处理器接收多个预测轨迹，每个预测轨迹代表对象的多个可能的未来位置；由一个或多个处理器生成包括多个单元的网格，每个单元代表地理区域；由一个或多个处理器基于传感器数据预测对象将在未来一段时间内进入到多个单元中的每个的地理区域的概率，以生成热图；由一个或多个处理器将多个预测轨迹中的一个或多个与热图进行比较；以及由一个多个处理器基于所述比较以自主驾驶模式控制车辆。

在一个示例中，多个预测轨迹中的每个预测轨迹与概率值相关联，且所述方法还包括：在比较之前，基于与多个预测轨迹相关联的概率值和阈值，识别多个预测轨迹中的一个或多个。在该示例中，阈值是阈值最小概率值。在另一个示例中，所述方法还包括基于传感器数据生成多个预测轨迹。在另一个示例中，对象是车辆。在另一个示例中，所述方法还包括基于对象的类型确定是否生成网格。在另一个示例中，所述方法还包括基于观察到的对象的速度，确定是否生成网格。在另一个示例中，比较包括评估多个预测轨迹中的一个或多个的有效性。在该示例中，当多个预测轨迹中的一个或多个被评估为有效时，进一步基于多个预测轨迹中的一个或多个来控制车辆。可替换地，当多个预测轨迹中的一个或多个被评估为无效时，不基于多个预测轨迹中的一个或多个来控制车辆。在另一个示例中，所述方法还包括，基于比较，生成基于热图的新的预测轨迹，且控制还基于该新的预测轨迹。在该示例中，生成新的预测轨迹包括检查热图的边界单元，并基于与边界单元相关联的概率对边界单元的单元位置求平均。此外，生成新的预测轨迹还包括使用所述平均和对象的位置来生成恒定曲率轨迹。此外或可替换地，生成新的预测轨迹包括对由热图的所有单元的概率加权的单元位置求平均。在该示例中，生成新的预测轨迹还包括使用所述平均和对象的位置来生成恒定曲率轨迹。在另一个示例中，所述方法还包括识别热图中满足阈值最小概率值Threshold的第一组单元，且其中比较进一步基于所识别的第一组单元。在该示例中，比较还包括，对于多个预测轨迹中的一个或多个中的每个给定预测轨迹，分析给定预测轨迹的点以识别热图中与每个点最接近的第二组单元，并将第一组识别出的单元与第二组识别出的单元进行比较。可替换地，比较还包括，对于多个预测轨迹中的一个或多个中的每个给定预测轨迹，搜索给定预测轨迹的点以识别该给定预测轨迹穿过的边界单元，并将边界单元与第一组单元进行比较。在另一个示例中，比较还包括确定多个轨迹中的一个或多个是否与热图中具有满足最小阈值概率值的概率的一个或多个单元重叠。在该示例中，所述方法还包括，当多个轨迹中的一个或多个都没有重叠时，将所述多个轨迹标记为异常。

附图说明

图1是根据本公开方面的示例性车辆的功能框图。

图2是根据本公开方面的地图信息的示例性表示。

图3是根据本公开方面的车辆的示例性外观图。

图4是根据本公开方面的车辆的示例性俯视图及其环境。

图5是根据本公开方面的用于道路使用者的多个轨迹的示例。

图6A和6B是根据本公开方面的网格的示例性投影。

图7是根据本公开方面的示例性热图。

图8A和8B是根据本公开方面的示例性数据比较。

图9是根据本公开方面的示例性轨迹。

图10是根据本公开方面的示例性车辆路径。

图11是根据本公开方面的流程图。

具体实施方式

概述

本技术涉及使用基于网格的方法来评估其他道路使用者的预测轨迹的有效性。为了确定如何在具有其他独立参与者(诸如车辆、自行车和行人)的环境中操纵无人驾驶车辆，对于无人驾驶车辆的计算设备来说，检测此类参与者并对这些参与者的未来运动进行预测至关重要。典型的预测系统可使用基于习得的轨迹建议的行为模型来例如基于先前观察到的运动评估对象，诸如另一位道路使用者，将遵循给定轨迹的可能性。在进行此类预测时，某些轨迹模型甚至可考虑其他参与者的相对位置和运动。

例如，对于每个道路使用者来说，可使用一个或多个行为模型来生成多个轨迹。这些模型可以相当简单，或者可以是高度复杂的机器学习模型。在机器学习模型的情况下，这些轨迹中的每个可以与道路使用者将遵循该轨迹的可能性有多大的概率相关联。在许多情况下，这种轨迹建模可以是一种实用且有用的方法。但是，在某些情况下，智能体(agent)的行为可能难以预测。尤其是在未遵循“道路规则”的其他道路使用者正在不可预测地行动、或者以先前未观察到或未建模的方式行动、以鲁莽地方式行动，和/或仅仅是非常缓慢地移动的情况下更是如此。

尽管这些“坏的”轨迹或不完美的预测可在事实或“离线”后被识别，但这样做对于实时解决这些问题是无效的。为了解决这些障碍，可使用对于道路使用者在未来短时间段内的可能的未来位置的基于网格的预测。

例如，对于车辆感知系统检测到的每个道路使用者，可在道路使用者周围投影网格。网格的大小可以对应于道路使用者在短时间段内将能够移动多远的向外边界。使用关于道路使用者的观察，可以为每个单元确定一个值，该值指示道路使用者在短时间段内进入该单元的可能性。

因此，每个网格单元可表示道路使用者在短时间段内进入该单元的概率。这可提供道路使用者的预测位置的热图。热图可随后被用来评估预测轨迹的有效性。例如，一个或多个预测轨迹可随后被与热图的单元进行比较以确定这些轨迹中的一个或多个是否与高概率单元重叠。如果为否，则识别的轨迹可能无法完全捕捉到道路使用者未来会怎么做。为了解决这个问题，车辆的计算设备可使用热图生成额外的轨迹，以便捕捉道路使用者可能会怎么做，而这可能会被识别的轨迹忽略。

在此描述的特征允许实时检验预测轨迹。由于基于网格的方法的时间范围很小，因此更可能准确预测道路使用者在非常短的时间段内的行为。换句话说，热图可以利用智能体的更多动态特性(例如，曲率、速度、加速度等)来实现高准确度。这样，它可以用于检验基于较长期轨迹的预测。另外，因为热图覆盖道路使用者周围的所有位置，热图可具有捕获和预测道路使用者的任何运动的能力，甚至包括那些未被建模、未遇到过或者甚至是非法的运动。同时，所识别的轨迹可能不会覆盖道路使用者可能会去的所有可能位置，因此可能并不总是可靠的。这样，热图随后可被用于验证或检查所识别的轨迹，并且可能用如上所述的额外轨迹来对其进行补充。

示例性系统

如图1所示，根据本公开一方面的车辆100包括各种组件。尽管本公开的特定方面对于特定类型的车辆特别有用，但是车辆可以是任何类型的车辆，包括但不限于轿车、卡车、摩托车、公交车、休闲车等。车辆可具有一个或多个计算设备，诸如计算设备110，其包含一个或多个处理器120、存储器130和通用计算设备中通常存在的其他组件。

存储器130存储可被一个或多个处理器120访问的信息，包括可被处理器120执行或以其他方式使用的指令132和数据134。存储器130可以是能够存储可被处理器访问的信息的任何类型的存储器，包括计算设备可读介质，或者是存储可以借助于电子设备读取的数据的其他介质，诸如硬盘驱动器、存储卡、ROM、RAM、DVD或其他光盘、以及其他可写和只读存储器。系统和方法可以包括前述的不同组合，由此指令和数据的不同部分被存储在不同类型的介质上。

指令132可以是由处理器直接执行(例如，机器代码)或间接执行(例如，脚本)的任何指令集。例如，指令可以作为计算设备代码存储在计算设备可读介质上。就这点而言，术语“指令”和“程序”在本文中可以互换使用。指令可以以目标代码格式存储以供处理器直接处理，或者以任何其他计算设备语言存储，包括按需解释或预先编译的脚本或独立源代码模块的集合。以下将更详细地说明指令的功能、方法和例程。

数据134可被处理器120根据指令132检索、存储或修改。一个或多个处理器120可以是任何传统的处理器，例如市售CPU。可替换地，一个或多个处理器可以是专用设备，诸如ASIC或其他基于硬件的处理器。尽管图1在功能上将处理器、存储器和计算设备110的其他元件示出为在同一块内，但是本领域普通技术人员将理解，处理器、计算设备或存储器实际上可以包括多个处理器、计算设备或存储器，其可能会或可能不会存储在同一物理外壳内。作为示例，内部电子显示器152可以被具有其自己的处理器或中央处理单元(CPU)、存储器等的专用计算设备控制，该专用计算设备可经由高带宽或其他网络连接与计算设备110对接。在一些示例中，该计算设备可以是可与用户的客户端设备通信的用户界面计算设备。类似地，存储器可以是位于不同于计算设备110的外壳中的硬盘驱动器或其他存储介质。因此，提到处理器或计算设备，将被理解为包括对可以并行运行或者也可以不并行运行的处理器或计算设备或存储器的合称。

计算设备110可以是通常与计算设备结合使用的所有组件，例如上述处理器和存储器、以及用户输入150(例如，鼠标、键盘、触摸屏和/或麦克风)、以及各种电子显示器(例如，具有屏幕的监视器或可被操作用于显示信息的任何其他电子设备)。在该示例中，车辆包括内部电子显示器152以及一个或多个扬声器154以提供信息或视听体验。就这点而言，内部电子显示器152可以位于车辆100的车厢内，并且可被计算设备110用于向车辆100内的乘客提供信息。车辆还可以包括一个或多个无线网络连接156以有助于与远离车辆的设备的通信和/或车辆的各种系统之间的通信。

在一个示例中，计算设备110可以是结合到车辆100中的自主驾驶计算系统。自主驾驶计算系统可能够与车辆的各种组件和系统进行例如无线通信(通过无线网络连接156)和/或有线连接(例如控制器局域网总线或其他通信总线)通信。例如，回到图1，在不需要或需要来自车辆乘客的连续或周期性输入的自主驾驶模式下，根据存储器130的指令132，计算设备110可以与车辆100的各种系统通信，例如减速系统160(用于控制车辆的制动)、加速系统162(用于控制车辆的加速)、转向系统164(用于控制车轮朝向和车辆方向)、信号系统166(用于控制转向信号)、导航系统168(用于将车辆导航到某个位置或对象周围)、定位系统170(用于确定车辆位置)、感知系统172(用于检测车辆环境中的对象)和动力系统174(例如电池和/或汽油或柴油动力引擎)，以控制车辆100的运动、速度等。同样，尽管这些系统被示出为在计算设备110的外部，但实际上，这些系统也可以被并入到计算设备110中，再次作为用于控制车辆100的自主驾驶计算系统。

计算设备110可以通过控制各种组件来控制车辆的方向和速度。举例来说，计算设备110可使用来自地图信息和导航系统168的数据完全自主地将车辆导航到目的地位置。计算设备110可使用定位系统170来确定车辆的位置和感知系统172来检测并在需要时对对象做出响应以安全到达位置。为了这样做，计算设备110可以使车辆加速(例如，通过加速系统162增加提供给发动机的燃料或其他能量)、减速(例如，通过减少提供给发动机的燃料、改变档位、和/或通过减速系统160施加制动)、改变方向(例如，通过转向系统164旋转车辆100的前轮或后轮)和信号通知这样的变化(例如，通过打开信号系统166的转向信号)。因此，加速系统162和减速系统160可以是动力传动系统(drivetrain)的一部分，该动力传动系统包括车辆的发动机和车辆的车轮之间的各种组件。再次，通过控制这些系统，计算设备110还可以控制车辆的动力传动系统，以便自主操纵车辆。

作为示例，计算设备110可以与减速系统160和加速系统162交互以控制车辆的速度。类似地，转向系统164可被计算设备110使用以控制车辆100的方向。例如，如果车辆100被配置为在道路上使用，诸如轿车或卡车，则转向系统可以包括控制车轮角度以使车辆转向的组件。信号系统166可由计算设备110使用，以便例如在需要时通过打开转向信号灯或刹车灯来向其他驾驶员或车辆发出信号通知车辆的意图。

计算设备110可使用导航系统168以确定并遵循到达某个位置的路线。在这方面，导航系统168和/或数据134可存储地图信息，例如计算设备110可以用来导航或控制车辆的高度详细的地图。作为示例，这些地图可以标识道路、车道标记、交叉路口、人行横道、限速、交通信号灯、建筑物、标志、实时或历史交通信息、植被或其他此类对象和信息的形状和标高。车道标记可以包括诸如实线或虚线的双车道线或单车道线、实线或虚线车道线、反光板等特征。给定的车道可以与左右车道线或其他定义车道边界的车道标记相关联。因此，大多数车道可以由一条车道线的左边缘和另一条车道线的右边缘界定。如上所述，地图信息可以存储来自过去的相似时间的特定上车地点的已知交通或拥堵信息和/或交通时刻表(火车、公交车等)。该信息甚至可以通过计算设备110接收的信息被实时更新。

图2是一段道路的地图信息200的示例。在该示例中，地图信息200描述了一部分地图信息，其包括标识车道标记或车道线210、212，路缘220、222、224、226，车道230、232、234、236和中间区域240、242的形状、位置和其他特性的信息。在该示例中，地图信息还指示如箭头250、252、254、256所示的每个车道的交通方向，以及如箭头260所示的地图信息的朝向。就这点而言，车道230和232中的每条都是西行车道，而车道234和236中的每条是东行车道。在该示例中，地图信息200还标识例如商业停车场区域270。除了这些特征之外，地图信息还可包括标识每个车道的限速的信息以及允许计算设备110确定车辆是否具有完成特定操纵(即完成转弯或越过行车道或交叉路口)的通行权的信息，以及其他特征，例如建筑物、水路、植被、标志等。

尽管详细的地图信息在本文中被描述为基于图像的地图，但是地图信息不必完全基于图像(例如，栅格图)。例如，详细的地图信息可以包括一个或多个道路图或信息图网络，诸如道路、车道、交叉路口以及这些特征之间的连接。每个特征可被存储为图形数据，并且可与信息相关联，诸如地理位置及其是否链接到其他相关特征，例如，停车标志可以链接到道路和交叉路口等。在一些示例中，相关联的数据可以包括基于网格的道路图索引，以允许高效查找某些道路图特征。

感知系统172还包括一个或多个组件用于检测车辆外部的对象，诸如其他车辆(例如其他轿车、卡车、公交车、摩托车等)、行人、骑自行车的人、车道上的障碍物、交通信号、标志、树等。例如，感知系统172可包括一个或多个LIDAR传感器、声纳设备、雷达单元、摄像机和/或记录可由计算设备110处理的数据的任何其他检测设备。感知系统的传感器可以检测对象及其特性，例如位置、朝向、大小、形状、类型(例如，车辆、行人、骑自行车的人等)、行进方向、行进方向变化率、速度、加速度、加速度变化率、减速度、减速度变化率等。当由感知系统172生成时，来自传感器的原始数据和/或上述特性可以被量化或被安排到描述函数、向量和/或边界框中，并周期性且连续地发送给计算设备110以进行进一步处理。

如以下进一步详细讨论的，计算设备110可使用定位系统170来确定车辆的位置，使用感知系统172以检测对象并在需要时对对象做出响应以安全到达位置。

例如，图3是车辆100的示例性外观图。在该示例中，车顶壳体310和圆顶壳体312可包括LIDAR传感器以及各种摄像机和雷达单元。另外，位于车辆100的前端的壳体320和在车辆的驾驶员和乘客侧的壳体330、332每个可存储LIDAR传感器。例如，壳体330位于驾驶员门350的前方。车辆100还包括用于雷达单元和/或摄像机的壳体340、342，它们也位于车辆100的车顶上。其他雷达单元和摄像机(未示出)可位于车辆100的前端和后端，和/或在沿着车顶或车顶壳体310的其他位置上。车辆100还包括典型乘用车的许多特征，例如门350、352，车轮360、362等。

示例性方法

除了上述和附图中示出的操作之外，现在将描述各种操作。应当理解，不必按照以下描述的精确顺序来执行以下操作。而是，可以以不同的顺序或同时处理各个步骤，并且还可以添加或省略步骤。

当车辆100被计算设备110操纵时，车辆的感知系统172可以从各种传感器接收传感器数据。这些传感器数据可被用于检测车辆环境中的对象。一旦检测到对象，计算设备110和/或感知系统172可确定对象的类型，例如交通锥标、行人、车辆(例如乘用车、卡车、公交车等)、自行车等。可以通过各种模型来识别对象，这些模型可考虑检测到的对象的各种特性，例如对象的大小、对象的速度(自行车的行驶速度通常不会超过每小时40英里或低于每小时0.1英里)、来自自行车的热量(自行车往往会使骑手从身上散发热量)等。此外，可以根据对象的特定属性(例如，车牌上包含的信息、保险杠贴纸或出现在车辆上的徽标)来对对象进行分类。

图4是在与地图信息200的区域相对应的环境中行驶的车辆100的俯视图。在该示例中，车道线410、412，路缘420、422、424、426，车道430、432、434、436，中间区域440、442和停车场470分别对应于车道标记或车道线210、212，路缘220、222、224、226，车道230、232、234、236，中间区域240、242和停车场270的形状、位置和其他特性。在该示例中，每个车道430、432、434、436的交通方向对应于箭头250、252、254、256所指示的交通方向。在这点上，车道430和432中的每条都是西行车道，而车道434和436中的每条都是东行车道。在图4的示例中，车辆在车道436上向东行驶。此外，感知系统172和/或计算设备110可检测在停车场470中的车辆480并将车辆480识别为另一个道路使用者(这里是车辆)。感知系统172和/或计算设备110还可基于传感器信息来确定车辆480的前述特性。

对于每个检测到的对象，可使用一个或多个行为模型来生成多个轨迹。每个轨迹可以包括在未来的一段时间内对象预期将位于的多个可能的位置和对应的时间。例如，该段时间可以是10秒或更多或更少。在一个示例中，计算设备110和/或感知系统172可操作为仅基于另一道路使用者的即时方向、加速度/减速度和速度来预测所述另一道路使用者的轨迹，例如该对象的当前方向和运动将继续。但是，存储器130也可以存储行为模型，该行为模型提供被检测对象采取一个或多个动作的概率。这些模型可以相当简单，或者可以是高度复杂的机器学习模型。在机器学习模型的情况下，这些轨迹中的每一个可以与道路使用者将遵循该轨迹的可能性有多大的概率相关联。在一些示例中，对于给定的道路使用者，这些概率的和可以为1。生成的轨迹的数量可取决于道路使用者可用的合理或可行选项的数量，例如车道数量、转向选项数量等。

在某些情况下，为了增加这些行为模型的有用性，每个行为模型可以与特定类型的道路使用者相关联。例如，一种类型的行为模型可用于被识别为行人的对象，另一种类型的行为模型可用于被识别为车辆的对象，而另一种类型的行为模型可用于被识别为自行车或骑自行车的人的对象，等等。行为模型可被计算设备110使用以通过分析与对象的特性(例如，检测到的或估计的大小、形状、位置、朝向、行进方向、速度、加速度或减速度、加速度或减速度的变化等)以及道路使用者的当前周围环境(例如道路使用者相对于地图信息的位置、其他道路使用者的相对位置和行为等)相关的数据来预测道路使用者的一个或多个轨迹，并确定其他道路使用者将可能如何响应。在这点上，行为模型可以从道路使用者的环境的以对象为中心的角度来工作，因为系统确定其他道路使用者正在感知什么，以便更好地预测这些道路使用者将如何行动。在这点上，至少在某些情况下，行为模型还可以指示道路使用者的预测行为是否是响应于包括车辆100的特定其他道路使用者。

图5提供了基于观察到的车辆480的特性的用于车辆480的一组预测轨迹的示例。在该示例中，该组预测轨迹包括轨迹510、512、514。这些轨迹中的每一个包括在未来的一段时间内对象预期将位于的多个可能的位置和对应的时间。另外，如在机器学习的示例中那样，这些轨迹中的每一个可与车辆480将遵循该轨迹的概率相关联，并且这些概率可总计为1。例如，轨迹510可以与车辆480将右转进入车道434的概率0.3(即，30％)相关联，轨迹512可与车辆480将右转进入车道436的概率0.65(即65％)相关联，而轨迹514可与车辆480将进一步倒退至停车场470的概率0.05(即5％)相关联。

对于由感知系统172检测到的、被识别为道路使用者的每个对象，计算设备110可以在该对象周围投影网格。网格可包括多个单元，每个单元表示道路使用者周围的地理区域。网格可被布置为使得道路使用者上的任意点或给定点位于网格的中心。网格的大小可对应于道路使用者在短时间段内能够移动多远的朝外边界。该短时间段可大大短于用于预测轨迹的时间段。例如，如果短时间段为2秒或更短(例如1.5秒)，则网格可以是27米×27米，而单元是0.5米。当然，为了权衡计算资源(时间和精力)与预测精度，大小可被选为更大或更小。

图6A是用于车辆480的网格610的示例性投影。图6B是网格610的示例性详细视图。可以看出，在该示例中，网格610是144个单元的12×12网格。当然，如上所述，也可以使用更大或更小的网格和/或单元。图6B还提供了列坐标A-L和行坐标1-12。这些坐标(例如A1，B2等)将用于指示网格的不同单元。

使用观察到的道路使用者的速度、行进方向或移动方向、曲率或行进方向的变化率、朝向、加速度或减速度、加速度或减速度的变化等，计算设备110可以确定每个单元的值。这些值可指示道路使用者在短时间段内进入该单元的地理区域的可能性。例如，相比于车辆后方的网格单元(进入后方的网格单元将要求车辆倒车或将方向改变180度)，车辆可以更可能向前移动并进入左前或右前的网格单元。因此，每个网格单元可表示车辆在短时间段内的某个时间点将进入该单元(或者，道路使用者的某部分将占据该单元和/或该单元的任何部分)的概率。

网格的俯视图提供了热图，其中具有道路使用者将穿越网格单元的较高可能性的一些区域颜色最深，而道路使用者不太可能穿越的区域颜色最浅。因此，每个单元的强度取决于对该单元的预测。就这点而言，图7表示用于网格610的热图710。同样，较深阴影的单元，诸如单元B1、C1、C2等，表示最高概率，而白色单元，诸如单元A1、A2，表示最低概率，并且具有介于之间的阴影的单元，诸如单元H1、I2等，表示中等概率或介于最高和最低概率单元之间的概率。当然，标度也可以反过来，使得热图的最浅色的单元是具有最大概率的单元，而最深色的单元是具有最低概率的单元，等等。

热图随后可被用来评估对于道路使用者的预测轨迹的有效性。例如，具有阈值最小概率值T的每个预测轨迹可被计算设备110识别。作为示例，如上所述假设轨迹的概率总和为1，则T可以是大于0.1(或者更大或更小)的某个值。例如，参考图5，从包括轨迹510、512、514的一组预测轨迹中，轨迹510和512可以被识别为具有超过阈值最小概率值T的概率的轨迹。

计算设备110可以将识别出的轨迹与热图的单元进行比较，以确定这些轨迹中的一个或多个是否与高概率单元重叠。这可涉及遍历网格中的所有单元，以识别具有阈值最小概率值K的那些单元。作为示例，K可以是大于0.1(或者更大或更小)的某个值，并且可以与T相同或不同。K可以是习得或手工调整的值。具有大于K的概率的那些单元可以被包括在列表中。例如，阴影最深的单元，诸如单元B1、C1、D1、E1、F1、C2、D2、E2、F2、D3、E3、F3、G3、E4和E5，每个可具有大于阈值最小概率值K的概率。就这点而言，每个前述单元可被包括在列表中。

可替换地，计算设备110可以仅分析网格的边缘或边界单元以识别具有满足阈值最小概率值K的概率的那些边界单元，而不是遍历网格的所有单元。例如，边界单元可以包括行1和12中的所有单元以及列A和L中的所有单元。在该示例中，阴影最深的边界单元，例如单元B1、C1、D1、E1和F1，每个可具有大于阈值最小概率值K的概率。就这一点而言，前述单元中的而每一个都可被包括在列表中。

识别出的轨迹中的每一个，可被覆盖到网格上，和/或被计算设备110逐点分析，以便识别网格中与识别出的轨迹上的每个点最接近的单元。随后可以将这些识别出的单元与列表进行比较。如果每个识别出的单元都被包含在列表中，或者多于阈值最小单元数，则识别出的轨迹与高概率单元重叠，并且可通过验证。如果少于阈值数量的单元与最高概率单元重叠，则识别出的轨迹为通过验证。为了进行比较，图8A提供了投影在所识别的轨迹510、512上的热图710的示例性视图。图8B提供了该投影的细节图。从图8B可以看出，轨迹510穿过单元G3、H2、H1和I1。具有满足阈值最小概率值K的概率的所有单元的列表中仅包括单元G3。因此，轨迹510将不会通过验证。轨迹512穿过单元G3、H3、H2、I2、J2、K3和L3。在具有满足阈值最小概率值K的概率的所有单元的列表中，仅包括单元G3。因此，轨迹512将不会通过验证。

可替换地，不对所识别的轨迹中的所有点进行比较，而是搜索所识别的轨迹中的点以识别与边界单元重叠的点。如果该边界单元包括在列表中，则预测轨迹与高概率边界单元重叠，并且预测轨迹可通过验证。如从图8B可以看出的，轨迹510穿过边界单元H1和I1，边界单元H1和I1没有被包括在具有满足阈值最小概率值K的概率的边界单元的列表中。因此，轨迹510将不会通过验证。轨迹512穿过边界单元L3，该边界单元L3没有被包括在具有满足阈值最小概率值K的概率的边界单元的列表中。因此，轨迹512不会通过验证。

如果所识别的轨迹中有至少一个通过验证(例如，在该识别出的轨迹上包括多于阈值数量的点与列表中包括的单元最接近，和/或该识别出的轨迹的边界单元被包含在列表中)，则所有识别出的轨迹都可被计算设备110验证。就这点而言，计算设备110可以只需要遍历识别出的轨迹直到找到通过验证的轨迹为止。在某些情况下，未通过验证的个体轨迹可以被标记为异常，以便允许人类操作员进一步分析这样的轨迹和/或计算设备110的轨迹生成软件。

但是，如果识别出的轨迹都没有通过验证(即，不存在具有多于阈值数量的点与列表中包括的单元最接近的识别出的轨迹，和/或识别出的轨迹的边界单元没有被包括在列表中)，则识别出的轨迹可未通过验证，和/或被计算设备110标记为异常。在这种情况下，识别出的轨迹可能没有完全捕获道路使用者将来的行为。

针对这种情况，计算设备110可以使用热图来生成新的预测轨迹，以便捕获道路使用者可能会做什么，而这可能被识别出的轨迹所遗漏。作为一种方法，可以通过检查热图的边界单元并对具有最高概率的边界单元的单元位置求平均来使轨迹拟合到单元。根据平均单元位置，以及在网格中心的道路使用者的位置和道路使用者的当前行进方向，可以确定新的轨迹。例如，可以从边界单元的平均单元位置、位于网格中心的道路使用者的位置以及道路使用者的当前行进方向来确定新的轨迹。作为示例，利用该信息，计算设备110可以计算从道路使用者的位置和当前行进方向到达边界单元的平均单元位置的恒定曲率。该恒定曲率可用于确定新轨迹。

作为另一种方法，可以采用由热图或网格的所有单元的概率加权的单元位置的平均。从所有单元的该平均单元位置、位于网格中心的道路使用者的位置以及道路使用者的当前行进方向，可以确定新的轨迹。作为示例，利用该信息，计算设备110可以计算从道路使用者的位置和当前行进方向到达所有单元的平均单元位置的恒定曲率。该恒定曲率可用于确定新轨迹。

图9提供了基于热图710生成的新轨迹910的示例。例如，轨迹910可以是如上述任一示例中确定的恒定曲率轨迹。在该示例中，车辆480可能左转进入车道436，同时向西行驶进入迎面车流，而不是遵循“道路规则”右转进入车道434或436并向东行驶。

所产生的新轨迹，以及在某些情况下识别出的轨迹，可随后被用于确定如何在自主驾驶模式下控制车辆以避开对象。例如，新的轨迹和识别出的轨迹可被用于生成车辆的物理约束，或者，生成车辆不应穿过的位置和时间。就这点而言，在为车辆规划未来路径或轨迹时，计算设备110可以尝试避开这些物理约束。因此，即使当道路使用者以未曾被识别出的轨迹捕获的方式行动时，其仍然可被恒定曲率轨迹捕获。图10是计算设备110可以确定的以便进入车道434的路径1010的示例。这样做可允许车辆100避免与基于恒定曲率轨迹910以及识别出的轨迹510、512的车辆480碰撞或太靠近。因此，计算设备110可如上所述在自主驾驶模式下控制车辆以遵循该路径，且计算设备110能够避免碰撞或仅仅是太靠近该道路使用者。

可以对所有道路使用者或者仅对具有或不具有特定特性的特定类型的道路使用者执行对预测轨迹的这种检验。例如，可以仅检验其他车辆的预测轨迹和/或以特定预定速度移动的车辆。例如，检验以每小时10英里或以下的速度移动的其他车辆的轨迹可能特别有用，因为这些车辆可能往往更难以预测；此外，基于网格的方法对于短期预测特别有用。换句话说，对于更快速移动的道路使用者，例如高速公路上的车辆，基于网格的方法用处较小，因为车辆会迅速超过热图区域。

图11是可由一个或多个处理器，诸如计算设备110的一个或多个处理器120，执行以在自主驾驶模式下控制车辆的流程图1100。在该示例中，在框1110，接收对象的传感器数据。在框1120，接收多个预测轨迹。每个预测轨迹代表对象的多个可能的未来位置。在框1130，生成包括多个单元的网格。多个单元中的每个单元代表一地理区域。在框1140，基于传感器数据预测对象在未来一段时间内将进入到多个单元中的每个单元的地理区域的概率，以生成热图。在框1150，将多个预测轨迹中的一个或多个与热图进行比较。在框1160，基于所述比较，在自主驾驶模式下控制车辆。如上所述，除非另有说明，否则可以以各种顺序来执行在此描述的流程图的特征。例如，框1130可以与框1120同时发生或在框1120之前发生。

本文所述的特征允许实时检验预测轨迹。由于基于网格的方法的时间范围很小，因此很可能准确预测道路使用者在非常短的时间段内的行为。换句话说，热图可以利用道路使用者的更多动态特性(例如，曲率、速度、加速度等)来实现高准确度。这样，它可以用于检验基于长期轨迹的预测。另外，由于热图覆盖道路使用者周围的所有位置，因此热图可以具有捕获和预测道路使用者的任何运动的能力，甚至包括那些未被建模、未遇到过的或甚至是非法的运动。同时，识别出的轨迹可能不会覆盖道路使用者可能会去的所有可能位置，因此可能并不总是可靠的。因此，热图可被用于验证或检查识别出的轨迹，并且如上所述用额外的轨迹来对其进行可能的补充。

除非另有说明，否则前述替代示例不是互相排斥的，而是可以以各种组合实施以实现独特的优点。由于可以在不背离权利要求所限定的主题的情况下利用以上讨论的特征的这些和其他变形以及组合，因此，对实施例的前述描述应当被理解为是说明的方式，而不是限制权利要求所限定的主题的方式。另外，本文描述的示例的提供以及用短语“诸如”，“包括”等表达的用语，不应被解释为将权利要求的主题限制到特定示例；相反，这些示例仅旨在说明许多可能的实施例之一。此外，不同附图中的相同的附图标记可以标识相同或相似的元件。

Claims (20)

1.一种在自主驾驶模式下控制车辆的方法，所述方法包括：

由一个或多个处理器接收车辆环境中的对象的传感器数据；

由一个或多个处理器接收多个预测轨迹，每个预测轨迹代表所述对象的多个可能的未来位置；

由一个或多个处理器生成包括多个单元的网格，每个单元代表一地理区域；

由一个或多个处理器基于传感器数据预测所述对象在未来一段时间内将进入所述多个单元中的每个单元的地理区域的概率，以生成热图；

由一个或多个处理器将多个预测轨迹中的一个或多个与热图进行比较；以及

由一个或多个处理器基于所述比较在自主驾驶模式下控制车辆。

2.如权利要求1所述的方法，其中，所述多个预测轨迹中的每个预测轨迹与一概率值相关联，并且所述方法还包括：在进行比较之前，基于与所述多个预测轨迹相关联的概率值和阈值来识别所述多个预测轨迹中的所述一个或多个。

3.如权利要求2所述的方法，其中，所述阈值是阈值最小概率值。

4.如权利要求1所述的方法，还包括：基于传感器数据生成所述多个预测轨迹。

5.如权利要求1所述的方法，其中，所述对象是车辆。

6.如权利要求1所述的方法，还包括基于对象的类型确定是否生成网格。

7.如权利要求1所述的方法，还包括基于观察到的对象的速度确定是否生成网格。

8.如权利要求1所述的方法，其中，所述比较包括评估所述多个预测轨迹中的所述一个或多个的有效性。

9.如权利要求8所述的方法，其中，当所述多个预测轨迹中的所述一个或多个被评估为有效时，还基于所述多个预测轨迹中的所述一个或多个来控制车辆。

10.如权利要求8所述的方法，其中，当所述多个预测轨迹中的所述一个或多个被评估为无效时，不基于所述多个预测轨迹中的所述一个或多个来控制车辆。

11.如权利要求1所述的方法，还包括：基于所述比较，基于热图生成新的预测轨迹，并且其中，所述控制还基于新的预测轨迹。

12.如权利要求11所述的方法，其中，生成新的预测轨迹包括检查热图的边界单元，并对由边界单元的概率加权的边界单元位置求平均。

13.如权利要求12所述的方法，其中，生成新的预测轨迹还包括使用所述平均和对象的位置来生成恒定曲率轨迹。

14.如权利要求11所述的方法，其中，生成新的预测轨迹包括对由热图的所有单元的概率加权的单元位置求平均。

15.如权利要求14所述的方法，其中，生成新的预测轨迹还包括使用所述平均和对象的位置来生成恒定曲率轨迹。

16.如权利要求1所述的方法，还包括识别热图中满足阈值最小概率值的第一组单元，并且其中，所述比较还基于识别出的第一组单元。

17.如权利要求16所述的方法，其中，所述比较还包括，对于所述多个预测轨迹中的所述一个或多个中的每个给定预测轨迹，

分析给定预测轨迹的点以识别热图中与所述点中的每个点最接近的第二组单元；以及

将识别出的第一组单元与识别出的第二组单元进行比较。

18.如权利要求16所述的方法，其中，所述比较还包括，对于所述多个预测轨迹中的所述一个或多个中的每个给定预测轨迹：

搜索给定预测轨迹的点以识别给定预测轨迹穿过的边界单元；以及

将所述边界单元与第一组单元进行比较。

19.如权利要求1所述的方法，其中，所述比较还包括确定所述多个轨迹中的所述一个或多个是否与热图中具有满足阈值最小概率值的概率的一个或多个单元重叠。

20.如权利要求19所述的方法，其中，当所述多个轨迹中的所述一个或多个都不重叠时，将所述多个轨迹标记为异常。

Images