CN115190987A - 垂直切入训练 - Google Patents

Abstract

本发明描述了与检测车辆可能进入另一车辆前方的车道区域有关的技术。在一个示例中，第一车辆车载的一个或多个计算装置可以接收与第一车辆的环境相关联的传感器数据。至少部分地基于从传感器数据确定的属性，一个或多个计算装置可以确定靠近第一车辆的第二车辆被预测为从不同的行进方向进入第一车辆前方的车道区域(例如，通过U形转弯、n点转弯、停车位或私人车道等)。在一个示例中，一个或多个计算装置可以至少部分地基于确定第二车辆被预测将进入第一车辆前方的车道区域来确定用于控制第一车辆的指令。

Description

垂直切入训练

相关申请的交叉引用

本申请要求于2020年2月27日提交的标题为“PERPENDICULAR CUT-IN TRAINING”的美国专利申请16/803,644以及于于2020年2月27日提交的标题为“PERPENDICULAR CUT-IN DETECTION”的美国专利申请16/803,705的优先权，其全部内容通过引用并入本申请。

背景技术

通常，预测系统利用与环境中的对象相关联的信息来推断对象的未来动作，例如轨迹。然后，这种信息可用于确定如何例如在环境中控制车辆。

附图说明

参考附图来描述详细描述。在附图中，附图标记的一个或多个最左侧数字标识附图标记首次出现的附图。在不同的附图中使用相同的附图标记表示相似或相同的部件或特征。

图1示出了如本文所述的用于预测车辆是否将进入另一车辆前方的车道区域的示例环境。

图2示出了如本文所述的用于预测车辆是否将进入另一车辆前方的车道区域的另一示例环境。

图3示出了如本文所述的用于预测车辆是否将进入另一车辆前方的车道区域的另一示例环境。

图4示出了如本文所述的用于预测车辆是否将进入另一车辆前方的车道区域的另一示例环境。

图5示出了如本文所述的用于预测车辆是否将进入另一车辆前方的车道区域的另一示例环境。

图6是示出用于执行如本文所述的技术的示例系统的框图。

图7示出了如本文所述的用于训练模型以用于预测车辆是否将进入另一车辆前方的车道区域的示例过程。

图8示出了如本文所述的用于预测车辆是否将进入另一车辆前方的车道区域并基于这样的预测来控制另一车辆的示例过程。

具体实施方式

本文描述的技术涉及训练和使用模型来预测车辆的环境中的对象(例如，行人、动物、骑车者、其他车辆等)的特定行为。例如，可以使用机器学习对模型进行训练以预测靠近并基本垂直于另一车辆(例如自主车辆)的车辆何时将进入自主车辆前方的车道区域(例如“切入”)，例如驶出私人车道、驶出垂直停车位，进行U形转弯等。在至少一个示例中，可以基于先前由环境中的一辆或多辆车辆收集的训练数据来训练该模型。在至少一个示例中，该模型可以被提供至自主车辆并且可以被自主车辆车载的一个或多个计算装置用来预测靠近且基本垂直于自主车辆的对象(例如，其他车辆)可能会如何行为。

例如，自主车辆车载的一个或多个计算装置可以利用该模型来预测靠近并基本垂直于自主车辆的车辆何时将进入自主车辆前方的车道区域(例如，“切入”)，例如驶出私人车道、驶出垂直停车位、进行U形转弯等。特别是这些场景提出了独特挑战在于：除了主体运动可能包括从可能不遵守道路规则的多点转弯到结构化运动和/或复杂运动的过渡的事实，这种主体(执行这些机动的其他车辆)可能从地图的非结构化部分(例如，其中没有车道标记，例如在私人车道或停车位中)开始。自主车辆车载的一个或多个计算装置可以利用这种预测来确定如何在环境中导航自主车辆。即，自主车辆车载的一个或多个计算装置可以基于模型输出的预测来适配驾驶操作。因此，自主车辆可以利用该模型来(i)预测靠近并基本垂直于自主车辆的车辆何时将切入，以及(ii)确定导航自主车辆以适应其他车辆的轨迹(例如，使自主车辆减速从而增加车辆与另一车辆之间的跟随距离、使自主车辆对另一车辆让行和/或停止、使自主车辆执行车道变换操作、使自主车辆围绕另一辆车安全地机动、和/或使自主车辆执行自主车辆能够执行的任何其他机动组合)。

本文描述的技术涉及例如使用机器学习来训练模型，以使诸如自主车辆的车辆能够预测其环境中的对象的行为。本文描述的技术可以利用有噪声传感器数据，且更具体地，有噪声预测数据(例如，经处理传感器数据)以比利用现有预测技术更准确地预测与车辆相关联的环境中的对象的行为。此外且如上所述，对于与自主车辆垂直或基本垂直的车辆，这种车辆可能不遵循道路网络和/或不遵循自主车辆被训练为感知和理解的道路规则。因此，现有预测技术可能不足以检测且围绕这些车辆安全地机动。即，本文描述的技术提供了对现有预测技术的技术改进。除了提高传感器数据可用于预测车辆的环境中对象行为的准确性之外，本文描述的技术还可减少误报并提高安全结果。

本文描述的技术可以以多种方式实现。下面参考以下附图提供示例实施方式。在自主车辆的背景下讨论了示例实施方式；然而，本文描述的方法、设备和部件可以应用于各种部件(例如，传感器部件或机器人平台)并且不限于自主车辆。在一个示例中，本文描述的技术可以用于驾驶员控制的车辆中，其中这种部件可以向车辆的驾驶员提供执行各种机动是否安全的指示。在另一个示例中，这些技术可以在航空或航海背景下使用，或者在涉及可能与对部件未知的行为相关联的对象或实体的任何部件中使用。在一些示例中，这些技术可以在自主车辆和/或感知部件之外的背景下使用。此外，本文描述的技术可以与真实数据(例如，使用一个或多个传感器捕获的)、模拟数据(例如，由模拟器生成的)或两者的任何组合一起使用。

图1示出了如本文所述的用于预测车辆是否将进入另一车辆前方的车道区域的示例环境100。

在示例环境100中，车辆102可以定位于行驶表面106的行驶车道104中。在至少一个示例中，车辆102可以是自主车辆，其被构造为根据美国国家公路交通安全管理局发布的5级分类进行操作，该分类描述了能够在整个行程中执行所有安全关键功能的车辆，而其中驾驶员(或乘员)不被期望在任何时候控制车辆。在这种示例中，由于车辆102可以被构造为控制从启动到停止的所有功能，包括所有停车功能，因此它可以未被占用。这仅是示例，并且本文描述的部件和方法可以结合到任何地面、空中或水中载具中，包括从需要始终由驾驶员手动控制的载具到那些部分或完全自主控制的载具。即，在所示示例中，车辆102是自主车辆；然而，车辆102可以是任何其他类型车辆。

在至少一个示例中，行驶车道104可以与车道区域相关联并且行驶表面106可以与道路相关联。在至少一个示例中，可以在环境100内检测到另一车辆108。在一些示例中，另一车辆108可以靠近车辆102，使得另一车辆108在车辆102的阈值距离内。在一些示例中，另一车辆108可以与不同于车辆102的行进方向相关联。车辆102的行进方向由车辆102行进所沿的轨迹110端部处的箭头示出。在一些示例中，另一车辆108可以与车辆102的行进方向相反的行进方向相关联。在其他示例中，行进方向可以通过与另一行进方向的偏移超过阈值而不同于另一行进方向。

在一些示例中，另一车辆108可以与车辆102成一定角度定位。在至少一个示例中，该角度可以处于90度指定偏移内，使得另一车辆108基本上垂直于车辆102。也即，为了本讨论的目的，如果两辆车之间的角度在90度指定偏移内，则该车辆与另一辆车“基本垂直”。作为非限制性示例，指定偏移可以是50度，使得车辆102和另一车辆108(或任何两辆车辆)可以“基本垂直”，只要两者之间的角度介于40度和140度之间即可。在至少一个示例中，可以使用本文描述的机器学习技术来学习指定偏移。在一些示例中，指定偏移可以手动设置，可以基于地图数据(例如，可以取决于位置)等。

在图1中，另一车辆108定位成基本垂直于车辆102。作为非限制性示例，另一车辆108可以驶出停车位(例如，基本垂直的停车位)或停车场、小巷、私人车道、或基本垂直于车辆102的任何其他位置。在一些示例中，可以在与环境100相关联的地图中注释这种停车位或停车场、小巷、私人车道等。在其他示例中，这种停车位或停车场、小巷、私人车道等可不在地图中注释。

在至少一个示例中，车辆102可以包括一个或多个计算装置，其可以被车辆102车载。在至少一个示例中，一个或多个计算装置可以包括用于控制车辆102的部件。例如，在至少一个示例中，感知部件可以至少部分地基于从车辆102的一个或多个传感器部件接收到的传感器数据来执行对象检测、分割和/或分类。在至少一个示例中，预测部件可以接收来自一个或多个传感器部件的传感器数据、与(例如，环境100的)地图相关联的地图数据和/或从感知部件输出的感知数据(例如，经处理传感器数据)，并且可以输出与车辆102的环境100内的一个或多个对象相关联的预测。在至少一个示例中，规划部件可以至少部分地基于从一个或多个传感器部件接收的传感器数据、地图数据和/或车辆102的其他部件做出的任何确定来确定用于控制车辆102的输出。下面参考图6描述与这种一个或多个计算装置和相关部件相关联的额外细节。

如上所述，车辆102可以与一个或多个传感器部件相关联。在至少一个示例中，一个或多个传感器部件可以包括激光雷达传感器、雷达传感器、超声换能器、声纳传感器、位置传感器(例如，全球定位部件(GPS)、罗盘等)、惯性传感器(例如，惯性测量单元、加速度计、磁力计、陀螺仪等)、相机(例如RGB、IR、强度、深度等)、车轮编码器、麦克风、环境传感器(例如温度传感器、湿度传感器、光传感器、压力传感器等)、飞行时间(ToF)传感器等。此类传感器数据可包括但不限于激光雷达数据、雷达数据、超声换能器数据、声纳数据、位置数据(例如，全球定位部件(GPS)、罗盘等)、惯性数据(例如，惯性测量单元数据、加速度计数据、磁力计数据、陀螺仪数据等)、相机数据(例如，RGB数据、IR数据、强度数据、深度数据等)、车轮编码器数据、麦克风数据、环境传感器数据(例如，温度传感器数据、湿度传感器数据、光传感器数据、压力传感器数据等)、ToF传感器数据等。

在至少一个示例中，感知部件可以检测另一车辆108并且预测部件可以预测另一车辆108是否将进入行驶车道104的位于车辆102前方的车道区域。在一些示例中，预测部件可以利用由一种或多种机器学习机制训练的模型来输出指示另一车辆108是否将进入行驶车道104的位于车辆102前方的车道区域的预测。在至少一个示例中，预测部件可以分析与环境100相关联的一个或多个特征(也称为属性、特性、参数、数据等)以确定另一车辆108是否可能进入行驶车道104的车道区域。可以与环境100的一个或多个特性相关联的这种一个或多个特征可以包括与环境100相关联的地图中的注释，其指示另一车辆108位于停车位(例如，基本上垂直的停车位)或停车场、小巷、私人车道等中。

在至少一个示例中，预测部件可以分析与另一车辆108相关联的一个或多个特征以确定另一车辆108是否可能进入行驶车道104的车道区域。例如，可以与另一车辆108的一个或多个特性相关联的这种一个或多个特征可以包括但不限于：另一车辆108相对于车辆102的位置(例如，行进方向、角度偏移等)、另一车辆108的瞬时速度、驾驶员是否在另一车辆108中的指示、驾驶员正在看的方向的指示(例如，驾驶员的头部位置)，与另一车辆108相关联的门是打开还是关闭的指示，另一车辆108的引擎是处于运行状态还是关闭状态的指示，与另一车辆108的一个或多个车轮相关联的车轮角度(用于确定此类的额外细节在2019年12月10日提交的美国专利申请16/709,263中进行了描述并且通过引用整体并入本文)，另一车辆108的刹车灯是否亮起的指示，另一车辆108的前灯是否亮起的指示，另一车辆108的倒车灯是否亮起的指示，另一车辆108的闪光灯是否亮起的指示或与另一车辆108相关联的照明状态。

下面参考图7描述与这种模型相关联的额外细节以及用于训练这种模型的技术。

如图1所示，如果另一车辆108遵循与其相关联的轨迹112，则另一车辆108将进入行驶车道104的位于车辆102前方的车道区域(例如，当其执行右转进入交通时)。也就是说，如果另一车辆108遵循与其关联的轨迹112，则另一车辆108将执行切入，使得与车辆102相关联的规划部件可以修改其轨迹110以考虑到另一车辆202而操纵车辆102。如上所述，规划部件可以使车辆102减速以增加车辆102和另一车辆108之间的跟随距离、使车辆102减速并对另一车辆108让行和/或停止、使车辆102执行车道变换、使车辆102安全地围绕另一车辆108机动、和/或使车辆102执行车辆102能够执行的任何其他机动组合。

图2示出了如本文所述的用于预测车辆是否将要进入另一车辆前方的车道区域的另一示例环境200。

示例环境200包括车辆102，其可以定位于行驶表面106的行驶车道104中。在至少一个示例中，行驶车道104可以与车道区域相关联并且行驶表面106可以与道路相关联，如上面参照图1所述。在至少一个示例中，可以在环境200内检测到另一车辆202。在一些示例中，另一车辆202可以靠近车辆102，使得另一车辆202位于车辆102的阈值距离内。此外，在一些示例中，另一车辆202可以与不同于车辆102的行进方向相关联。车辆102的行进方向由车辆102行进所沿的轨迹110端部处的箭头示出。在一些示例中，另一车辆202可以与车辆102的行进方向相反的行进方向相关联。在一些示例中，另一车辆202可以定位成与车辆102成角度。在至少一个示例中，该角度可以在90度指定偏移内，使得另一车辆202基本垂直于车辆102。

在图2中，另一车辆202定位成基本垂直于车辆102。作为非限制性示例，另一车辆108可以驶出停车位(例如，基本垂直的停车位)或停车场、小巷、私人车道、或基本上垂直于车辆102的任何其他位置。在一些示例中，可以在与环境200相关联的地图中注释这种停车位或停车场、小巷、私人车道等。在其他示例中，这种停车位或停车场、小巷、私人车道等可以不地图上注释。

在至少一个示例中，感知部件可以检测另一车辆202并且预测部件可以输出指示另一车辆202是否将进入行驶车道104的位于车辆102前方的车道区域的预测。在一些示例中，预测部件可以利用由一个或多个机器学习机制训练的模型来预测另一车辆202是否将进入行驶车道104的位于车辆102前方的车道区域。在至少一个示例中，如上所述，预测部件可以分析与环境200和/或另一车辆202相关联的一个或多个特征以确定另一车辆202是否可能进入行驶车道104的车道区域。

如图2所示，如果另一车辆202遵循与其相关联的轨迹204，则另一车辆202将进入行驶车道104的位于车辆102前方的车道区域(例如，当其执行左转进入交通时)。即，如果另一车辆202遵循与其相关联的轨迹204，则另一车辆202将执行切入，使得与车辆102相关联的规划部件可以修改其轨迹110以考虑到另一车辆202来操纵车辆102。如上所述，规划部件可以使车辆102减速以增加车辆102和另一车辆202之间的跟随距离、使车辆102减速以对另一车辆202让行和/或停止、和/或使车辆102执行车辆102能够执行的任何其他机动组合。

图1和图2示出了本文所述技术的示例，由此另一车辆108和202分别驶出小巷、停车位(例如，基本垂直的停车位)或停车场、私人车道或基本垂直于车辆102和/或行驶表面106的其他位置。在图1中，另一车辆108定位于位于行驶表面106中与车辆102同一侧上的小巷、停车位(例如，基本垂直的停车位)或停车场、私人车道或其他位置处。即，另一车辆108定位成基本垂直于车辆102所定位于的行驶车道104并位于行驶表面106中与车辆102所定位于的行驶车道104的同一侧上。在图2中，另一车辆202定位于位于行驶表面106中与车辆102的相反一侧上的小巷、停车位(例如，基本垂直的停车位)或停车场、私人车道或其他位置处。即，另一车辆108定位成基本垂直于车辆102所定位于的行驶车道104并位于行驶表面106中与车辆102所定位于的行驶车道104的相反一侧上。

在一些示例中，另一车辆108或202可以定位在车辆102的前方并且定位为与车辆102基本平行(例如，沿同一方向)。在这种示例中，另一车辆108或202可以横跨行驶车道104执行左转或右转。车辆102可以利用如上所述的一个或多个特征来预测这种机动并规划部件可以确定如何相应地控制车辆102。

图3示出了如本文所述的用于预测车辆是否将进入另一车辆前方的车道区域的另一示例环境300。

示例环境300包括车辆102，其可定位于行驶表面106的行驶车道104中。在至少一个示例中，行驶车道104可以与车道区域相关联并且行驶表面106可以与道路相关联，如上文参考图1所述。在至少一个示例中，可以在环境300内检测到另一车辆302。在一些示例中，另一车辆302可以靠近车辆102使得另一车辆302在车辆102的阈值距离内。此外，在一些示例中，另一车辆302可以与与车辆102不同的行进方向相关联。车辆102的行进方向由位于车辆102行进所沿的轨迹110端部处的箭头示出。在一些示例中，另一车辆302可以与车辆102的行进方向相反的行进方向相关联(例如，如图3所示)。在一些示例中，另一车辆302可以定位成与车辆102成角度。

在至少一个示例中，感知部件可以检测另一车辆302并且预测部件可以预测另一车辆302是否将进入行驶车道104的位于车辆102前方的车道区域。在一些示例中，预测部件可以利用由一个或多个机器学习机制训练的模型来输出指示另一车辆302是否将进入行驶车道104的位于车辆102前方的车道区域的预测。在至少一个示例中，如上所述，预测部件可以分析与环境300和/或另一车辆302相关联的一个或多个特征以确定另一车辆302是否可能进入行驶车道104的车道区域。

如图3所示，如果另一车辆302遵循与其相关联的轨迹304，则另一车辆302将进入行驶车道104的位于车辆102前方的车道区域(例如，当其执行U形转弯时)。即，如果另一车辆302遵循与其关联的轨迹304，则另一车辆302将执行切入，使得与车辆102关联的规划部件可以修改其轨迹110以考虑到另一车辆302来操纵车辆102。如上所述，规划部件可以使车辆102减速以增加车辆102和另一车辆302之间的跟随距离、使车辆102减速以对另一车辆302让行和/或停止、和/或使车辆102执行车辆102能够执行的任何其他启动组合。

尽管图3示出了另一车辆302进行U形转弯，但在可替代示例中，另一车辆302可以横跨行驶车道104执行转弯(例如，进入私人车道、街道、小巷等)。在这种示例中，车辆102可以利用相同的一个或多个特征来确定另一车辆302是否可能进入行驶车道104的位于车辆102前方的车道区域并且规划部件可以确定如何相应地控制车辆102。

图4示出了如本文所述的用于预测车辆是否将进入另一车辆前方的车道区域的另一示例环境400。

示例环境400包括车辆102，其可以定位于行驶表面106的行驶车道104中。在至少一个示例中，行驶车道104可以与车道区域相关联并且行驶表面106可以与道路相关联，如上文参照图1所述。在至少一个示例中，可以在环境400内检测到另一车辆402。在一些示例中，另一车辆402可以靠近车辆102，使得另一车辆402在车辆102的阈值距离内。此外，在一些示例中，另一车辆402可以与与车辆102不同的行进方向相关联。车辆102的行进方向由位于车辆102行进所沿的轨迹110端部处的箭头示出。在一些示例中，另一车辆402可以与车辆102的行进方向相反的行进方向相关联(例如，如图4所示)。在一些示例中，另一车辆402可以定位成与车辆102成角度。

在至少一个示例中，感知部件可以检测另一车辆402并且预测部件可以预测另一车辆402是否将进入行驶车道104的位于车辆102前方的车道区域。在一些示例中，预测部件可以利用由一个或多个机器学习机制训练的模型来输出指示另一车辆402是否将进入行驶车道104的位于车辆102前方的车道区域的预测。在至少一个示例中，如上所述，预测部件可以分析与环境400和/或另一车辆402相关联的一个或多个特征以确定另一车辆402是否可能进入行驶车道104的车道区域。

如图4所示，如果另一车辆402遵循与其相关联的轨迹404，则另一车辆402将进入行驶车道104的位于车辆102前方的车道区域(例如，当其执行三点转弯时或任何N点转弯时)。即，如果另一车辆402遵循与其相关联的轨迹404，则另一车辆402将执行切入，使得与车辆102相关联的规划部件可以修改其轨迹110以考虑到另一车辆402来操纵车辆102。如上所述，规划部件可以使车辆102减速以增加车辆102和另一车辆402之间的跟随距离、使车辆102减速以对另一车辆402让行和/或停止、和/或使车辆102执行车辆102能够执行的任何其他机动组合。

图5示出了如本文所述的用于预测车辆是否将进入另一车辆前方的车道区域的另一示例环境500。

示例环境500包括车辆102，其可以位于行驶表面106的行驶车道104中。在至少一个示例中，行驶车道104可以与车道区域相关联并且行驶表面106可以与道路相关联，如上文参考图1所述。在至少一个示例中，可以在环境500内检测到另一车辆502。在一些示例中，另一车辆502可以靠近车辆102，使得另一车辆502在车辆102的阈值距离内。此外，在一些示例中，另一车辆502可以与与车辆102不同的行进方向相关联。车辆102的行进方向由位于车辆102行进所沿的轨迹110端部处的箭头示出。在一些示例中，另一车辆502可以与与车辆102的行进方向相反的行进方向相关联。在一些示例中，另一车辆502可以定位成与车辆102成角度。如图5所示，另一车辆502可以基本上垂直于车辆102。

在至少一个示例中，感知部件可以检测另一车辆502并且预测部件可以预测另一车辆502是否将进入行驶车道104的位于车辆102前方的车道区域。在一些示例中，预测部件可以利用由一个或多个机器学习机制训练的模型来输出指示另一车辆502是否将进入行驶车道104的位于车辆102前方的车道区域的预测。在至少一个示例中，如上所述，预测部件可以分析与环境500和/或另一车辆502相关联的一个或多个特征以确定另一车辆502是否可能进入行驶车道104的车道区域。

如图5所示，如果另一车辆502遵循与其相关联的轨迹504，则另一车辆502将进入车辆102前方的行驶车道104的车道区域(例如，当其从其当前位置倒车并沿与车辆102相同的行进方向前进时)。即，如果另一车辆502遵循与其相关联的轨迹504，则另一车辆502将执行切入，使得与车辆102相关联的规划部件可以修改其轨迹110以考虑到另一车辆502来操纵车辆102。如上所述，规划部件可以使车辆102减速以增加车辆102和另一车辆502之间的跟随距离、使车辆102改变车道、使车辆102减速以对另一车辆502让行和/或停止、使车辆102围绕另一车辆502安全地机动、和/或使车辆102执行车辆102能够执行的任何其他机动组合。

尽管图5示出了另一车辆502在行驶表面106中与车辆102的同一侧上倒车驶出私人车道、停车位、小巷等，但本文描述的技术也适用于在行驶表面106中与车辆102的相反一侧上倒车驶出私人车道、停车位、小巷等的另一车辆502。

图1-5示出了靠近车辆102的其他车辆的各种示例，这些其他车辆正在进入行驶车道104的位于车辆102前方的车道区域或者以其他方式执行如本文所述的“切入机动”。这种示例包括左转、右转、U形转弯、三点转弯等。额外或可替代示例处于本公开的范围内。例如，本文描述的技术可用于确定当另一车辆执行K形转弯、任何N点转弯等或另一车辆转入或转出交通时如何控制车辆102。即，本文描述的技术不限于图1-5中描述的示例，并且可以适用于任何示例，其中靠近车辆102并与与其相同或不同行进方向相关联的另一车辆进入-或被预测将进入-行驶车道104的位于车辆102前方的车道区域。此外，本文描述的技术适用于另一车辆从道路上(例如，在行驶表面106上)或道路外(例如，不在行驶表面106上)的位置进入车道区域的场景。

图6是说明用于执行如本文所述的技术的示例系统600的框图。在至少一个示例中，车辆602可以包括一个或多个车辆计算装置604、一个或多个传感器部件606、一个或多个发射器608、一个或多个通信连接610、至少一个直接连接612以及一个或多个驱动系统614。在至少一个示例中，车辆602可以对应于上文参照图1描述的车辆102。如上面参照图1所述的，在所示示例中，车辆602是自主车辆；然而，车辆602可以是任何其他类型的车辆。虽然在图6中仅示出了单个车辆602，但在实际应用中，示例系统600可以包括多辆车辆，在一些示例中，该示例系统600可以包括车队。

一个或多个车辆计算装置604可以包括一个或多个处理器616以及与一个或多个处理器616通信联接的存储器618。在所示示例中，一个或多个车辆计算装置604的存储器618存储定位部件620、感知部件622、预测部件624、规划部件626和一个或多个系统控制器628。另外，存储器618可以包括存储装置630，其可以存储一个或多个地图、一个或多个模型、先前输出等。地图可以是能够提供关于环境的信息的任意数量数据结构，例如但不限于拓扑(例如路口、车道、交汇区域等)、街道、山脉、道路、地形和一般环境。地图可以与真实环境或模拟环境相关联。一个或多个模型可以包括机器训练模型，如下所述。在一些示例中，存储装置630可以存储先前输出。

在至少一个示例中，定位部件620可以至少部分地基于从一个或多个传感器部件606接收的传感器数据和/或与地图(例如，一个或多个地图中的地图)相关联的地图数据来确定车辆602相对于局部和/或全局地图的姿态(位置和定向)。在至少一个示例中，定位部件620可以包括校准部件或与校准部件相关联，该校准部件能够基本上同时执行用于校准(确定与一个或多个传感器部件606中的任何一个或多个相关联的各种内在和外在参数)、定位和映射的操作。

在至少一个示例中，感知部件622可以至少部分地基于从一个或多个传感器部件606接收的传感器数据来执行对象检测、分割和/或分类。在至少一个示例中，感知部件622可以接收原始传感器数据(例如，来自一个或多个传感器部件606)。在至少一个示例中，感知部件622可以接收传感器数据并且可以利用一种或多种处理算法以对于传感器数据中识别的一个或多个对象执行对象检测、分割和/或分类。在一些示例中，感知部件622可以将边界区域(或以其他方式的实例分割)与所识别对象相关联并且可以将与所识别对象的分类相关联的置信度分数与所识别对象相关联。在一些示例中，对象在经由显示器呈现时可以基于其感知的类别来着色。

预测部件624可以接收来自一个或多个传感器部件606的传感器数据、与地图(例如，可以在存储装置630中的一个或多个地图中的地图)相关联的地图数据、和/或从感知部件输出的感知数据622(例如，经处理传感器数据)，并且可以输出与车辆602环境内的一个或多个对象相关联的预测。在至少一个示例中，规划部件626可以至少部分地基于从一个或多个传感器部件606接收的传感器数据、地图数据和/或由车辆602的其他部件做出的任何决定确定输出以用于控制车辆602。

可以在2017年4月4日提交的美国专利9,612,123和2019年7月16日提交的美国专利10,353,390中找到可用的定位部件、感知部件、预测部件和/或规划部件的其他详细信息，两者的全部内容通过引用并入本文。在一些示例中(例如，在车辆602不是自主车辆的情况下)，可以从车辆602中省略上述部件中的一个或多个。虽然上述部件被示为车辆602“车载”，但在其他实施方式中，部件可以远程定位和/或可由车辆602远程访问。此外，虽然部件在上面被描述为“部件”，但是这种部件可以包括一个或多个部件，其可以是系统的一部分，以用于执行归属于每个部件的操作。

在至少一个示例中，定位部件620、感知部件622、预测部件624和/或规划部件626可以如上所述处理传感器数据，并且可以通过一个或多个网络632将其相应输出发送到一个或多个计算装置634。在至少一个示例中，定位部件620、感知部件622、预测部件624和/或规划部件626可以以特定频率、预定时间段之后、接近实时地等将其相应输出到发送一个或多个计算装置634。

在至少一个示例中，一个或多个车辆计算装置604可以包括一个或多个系统控制器628，其可以被构造为控制车辆602的转向、推进、制动、安全、发射器、通信和其他系统。这些一个或多个系统控制器628可以与一个或多个驱动系统614和/或车辆602的其他系统中的相应系统通信和/或控制相应系统。

在至少一个示例中，一个或多个传感器部件606可以包括激光雷达传感器、雷达传感器、超声换能器、声纳传感器、位置传感器(例如，GPS、罗盘等)、惯性传感器(例如，惯性测量单元、加速度计、磁力计、陀螺仪等)、相机(例如RGB、IR、强度、深度等)、车轮编码器、音频传感器、环境传感器(例如温度传感器、湿度传感器、光传感器、压力传感器等)、ToF传感器等。一个或多个传感器部件606可以向一个或多个车辆计算装置604提供输入。在一些示例中，一个或多个传感器部件606可以在将传感器数据发送到一个或多个车辆计算装置604之前预处理传感器数据中的至少一些。在至少一个示例中，一个或多个传感器部件606可以通过一个或多个网络632以特定频率、预定时间段之后、接近实时地等将传感器数据发送到一个或多个计算装置634。

如上所述，车辆602还可以包括用于发射光和/或声音的一个或多个发射器608。该示例中的一个或多个发射器608包括与车辆602的乘客通信的内部音频和视觉发射器。作为示例而非限制，内部发射器可以包括扬声器、灯、标志、显示屏、触摸屏、触觉发射器(例如，振动和/或力反馈)、机械致动器(例如，安全带张紧器、座椅定位器、头枕定位器等)等。该示例中的一个或多个发射器608还包括外部发射器。作为示例而非限制，该示例中的外部发射器包括光发射器(例如，指示灯、标志、光阵列等)以与行人、其他驾驶员、其他附近车辆等进行视觉通信、一个或多个音频发射器(例如，扬声器、扬声器阵列、喇叭等)以与行人、其他驾驶员、其他附近车辆等进行听觉交流。在至少一个示例中，一个或多个发射器608可以定位在车辆602的外部和/或内部周围的各种位置处。

车辆602还可以包括能够实现车辆602和其他一个或多个本地或远程计算装置之间通信的一个或多个通信连接610。例如，一个或多个通信连接610可以促进与车辆602上的其他一个或多个本地计算装置和/或一个或多个驱动系统614的通信。而且，一个或多个通信连接610可以允许车辆与附近的其他一个或多个计算装置(例如，附近的其他车辆、交通信号灯等)进行通信。一个或多个通信连接610还使车辆602能够与远程操作计算装置或其他远程服务进行通信。

一个或多个通信连接610可以包括用于将一个或多个车辆计算装置604连接到另一个计算装置或网络(例如一个或多个网络632)的物理和/或逻辑接口。例如，一个或多个通信连接610可以启用基于Wi-Fi的通信，例如通过由IEEE 802.11标准定义的频率、诸如蓝牙的短距离无线频率、或使相应计算装置能够与其他一个或多个计算装置交互的任何合适的有线或无线通信协议。

直接连接612可以将车辆602的一个或多个驱动系统614和其他系统直接联接。

在至少一个示例中，车辆602可以包括一个或多个驱动系统614。在一些示例中，车辆602可以具有单个驱动系统614。在至少一个示例中，如果车辆602具有多个驱动系统614，各个驱动系统614可以定位在车辆602的相对端部(例如，前部和后部等)上。在至少一个示例中，一个或多个驱动系统614可以包括一个或多个传感器部件以检测一个或多个驱动系统614和/或车辆602的周围的状况。作为示例而非限制，一个或多个传感器部件可以包括一个或多个车轮编码器(例如，旋转编码器)以感测驱动系统的车轮的旋转、惯性传感器(例如，惯性测量单元、加速度计、陀螺仪、磁力计等)以测量驱动系统的位置和加速度、相机或其他图像传感器、超声传感器以声学检测驱动系统的周围中的对象、激光雷达传感器、雷达传感器等。一些传感器，例如一个或多个车轮编码器，对于一个或多个驱动系统614可以是唯一的。在一些情况下，一个或多个驱动系统614上的一个或多个传感器部件可以重叠或补充车辆602的相应系统(例如，一个或多个传感器部件606)。

一个或多个驱动系统614可以包括许多车辆系统，包括高压电池、驱动车辆602的马达、将来自电池的直流电转换成交流电以供其他车辆系统使用的逆变器、包括转向马达和转向齿条(可以是电动的)的转向系统、包括液压或电动致动器的制动系统、包括液压和/或气动部件的悬架系统、用于分配制动力以减轻牵引力损失并保持控制的稳定控制系统、HVAC系统、照明(例如，诸如头灯/尾灯的照明以照亮车辆的外部周围)、以及一个或多个其他系统(例如，冷却系统、安全系统、车载充电系统、其他电气部件(例如DC/DC转换器、高压接头、高压电缆、充电系统、充电端口)等)。另外，一个或多个驱动系统614可以包括驱动系统控制器，其可以接收和预处理来自一个或多个传感器部件的数据并控制各种车辆系统的操作。在一些示例中，驱动系统控制器可以包括一个或多个处理器和与一个或多个处理器通信联接的存储器。存储器可以存储一个或多个部件以执行一个或多个驱动系统614的各种功能。此外，一个或多个驱动系统614还包括一个或多个通信连接，其使得相应驱动系统能够与其他本地或远程计算装置进行通信。

在图6中，一个或多个车辆计算装置604、一个或多个传感器部件606、一个或多个发射器608和一个或多个通信连接610显示为车载在车辆602上。然而，在一些示例中，一个或多个车辆计算装置604、一个或多个传感器部件606、一个或多个发射器608和一个或多个通信连接610可以在实际车辆之外(即，不车载在车辆602上)实现。

如上所述，车辆602可以经由一个或多个网络632将传感器数据发送至一个或多个计算装置634。在一些示例中，车辆602可以原始传感器数据发送至一个或多个计算装置634。在其他示例中，车辆602可以将经处理传感器数据和/或传感器数据的表示发送到一个或多个计算装置634(例如，从定位部件620、感知部件622、预测部件624和/或规划部件626输出的数据)。在一些示例中，车辆602可以将传感器数据以特定频率、在预定时间段之后、接近实时等发送到一个或多个计算装置634。

一个或多个计算装置634可以接收来自车辆602和/或其他数据收集装置的传感器数据(原始的或处理的)以及来自一个或多个第三方源和/或系统的数据。在至少一个示例中，一个或多个计算装置634可以包括一个或多个处理器636和与一个或多个处理器636通信联接的存储器638。在所示示例中，一个或多个计算装置634的存储器638存储训练部件640，其可以包括注释部件642、地图存储装置644(例如，存储一个或多个地图)、训练数据存储装置646(例如，存储训练部件640可访问的训练数据)和模型存储装置648(例如，由训练部件640输出的模型)。在一些示例中，代替或除了与一个或多个计算装置634的存储器638相关联，系统和/或存储库中的一个或多个可以与车辆602或与系统600相关联的其他一个或多个计算装置相关联。

在至少一个示例中，训练部件640可以训练一个或多个模型，其可以用于本文所述的各种操作。即，训练部件640可训练可用于预测第一车辆是否将进入另一车辆(例如，车辆602)前方的行驶车道的一个或多个模型。在至少一个示例中，注释部件642可以至少部分地基于传感器数据和/或与从一个或多个车辆接收的传感器数据相关联的日志数据来接收或以其他方式确定注释数据，如下所述。如本文所用，与训练一个或多个模型相关联的细节在下文参考图7进行描述。在至少一个示例中，所得的一个或多个模型可以存储在模型存储装置648和/或车辆602上的存储装置630中并且可以由一个或多个车辆计算装置604的一个或多个部件接近实时地访问。

车辆602的一个或多个处理器616和一个或多个计算装置634的一个或多个处理器636可以是能够执行指令以处理数据和执行如本文所述的操作的任何合适的处理器。作为示例而非限制，一个或多个处理器616和636可以包括一个或多个中央处理单元(CPU)、图形处理单元(GPU)或处理电子数据以将该电子数据转换为可存储在寄存器和/或存储器中的其他电子数据的任何其他装置或装置的一部分。在一些示例中，集成电路(例如，ASIC等)、门阵列(例如，FPGA等)和其他硬件设备也可以被认为是处理器只要其被构造为实现编码指令即可。

存储器618和638是非暂时性计算机可读介质的示例。存储器618和638可以存储操作系统和一个或多个软件应用、指令、程序和/或数据以实现本文描述的方法和归属于各种系统的功能。在各种实施方式中，存储器可以使用任何合适的存储器技术来实施，例如静态随机接收存储器(SRAM)、同步动态RAM(SDRAM)、非易失性/闪存型存储器或能够存储信息的任何其他类型的存储器。本文描述的架构、系统和各个元件可以包括许多其他逻辑、程序和物理部件，其中附图中所示的那些仅仅是与本文讨论相关的示例。

应当注意，虽然图6被示为分布式系统，但在一些示例中，车辆602的部件可以与一个或多个计算装置634相关联和/或一个或多个计算装置634的部件可以与车辆602相关联。即，车辆602可以执行与一个或多个计算装置634相关联的功能中的一个或多个且反之亦然。

图7和8是示出涉及如本文所述的技术的示例过程的流程图。为了方便和易于理解，参考图6中所示的系统600来描述图7和图8中所示的过程。然而，图7和图8中所示的过程不限于使用系统600来执行。此外，本文描述的系统600不限于执行图7和图8中所示的过程。

过程700和800被示为逻辑流程图中的框的集合，其表示可以在硬件、软件或其组合中实现的操作序列。在软件的背景中，框表示存储在一个或多个计算机可读存储介质上的计算机可执行指令，当计算机可执行指令由一个或多个处理器执行时，计算机可读存储介质执行所述操作。通常，计算机可执行指令包括执行特定功能或实现特定抽象数据类型的例程、程序、对象、部件、数据结构等。描述操作的顺序不旨在被解释为限制，并且可以以任何顺序和/或并行地组合任何数量的所描述的框以实现这些过程。在一些实施例中，可以完全省略该过程的框中的一个或多个。此外，过程700和800可以彼此整体或部分组合或与其他过程组合。

图7示出了如本文所述的用于训练模型的示例过程700，该模型用于预测车辆是否将进入另一车辆前方的车道区域(例如，执行切入机动)。

框702示出了接收传感器数据和/或与传感器数据相关联的日志数据。如上所述，各个车辆，例如车辆602，可以包括一个或多个传感器部件606。在至少一个示例中，一个或多个传感器部件606可以包括激光雷达传感器、雷达传感器、超声换能器、声纳传感器、定位传感器(例如GPS、罗盘等)、惯性传感器(例如惯性测量单元、加速度计、磁力计、陀螺仪等)、相机(例如RGB、IR、强度、深度等)、车轮编码器、音频传感器、环境传感器(例如，温度传感器、湿度传感器、光传感器、压力传感器等)、ToF传感器等。一个或多个传感器部件606可以向一个或多个车辆计算装置604提供输入。在一些示例中，一个或多个传感器部件606可以在将传感器数据发送到一个或多个车辆计算装置604之前预处理传感器数据中的至少一些。在至少一个示例中，一个或多个传感器部件606可以经由一个或多个网络632以特定频率、在预定时间段之后、接近实时等将传感器数据发送到一个或多个计算装置634。

在至少一个示例中，多个车辆(例如，车队)可以经由一个或多个网络632将传感器数据发送到一个或多个计算装置634。在一些示例中，这种传感器数据可以与行驶日志(即“日志数据”)相关联，其可以指示多个车辆中的各个车辆如何随时间在相应环境中移动。即，这种行驶日志可以是指示多个车辆中的各个车辆随时间的移动的历史行驶日志。在一些示例中，这种行驶日志可以包括随时间接收的传感器数据-其可以包括各个传感器在特定时间实例的一个或多个输出。在一些示例中，这种行驶日志可以包括基于与时间段相关联的传感器数据(例如，经处理传感器数据)的输出。即，在一些示例中，日志数据可以包括从一个或多个传感器部件606接收的原始传感器数据以及在诸如车辆602的车辆的驾驶任务期间用于各个消息的一个或多个下游输出(例如，感知输出、预测输出、规划器输出、控制输出等)。

在至少一个示例中，一个或多个计算装置634的训练部件640可以从多个车辆接收传感器数据和/或相关联的行驶日志。

框704示出了挖掘传感器数据和/或日志数据以检测与切入机动相关联的事件(例如，本文详细描述的机动中的任何一个或多个(无论切入机动是否相对于第二车辆))，其中在传感器数据和/或日志数据中对检测到的事件进行注释以生成经注释数据。在至少一个示例中，训练部件640可以挖掘(例如，分析)传感器数据和/或日志数据以检测车辆何时执行切入机动(例如，其可以与左转(例如，从停车位(例如，基本垂直的停车位)或停车场、小巷、私人车道等)、右转(例如，从停车位(例如，基本垂直的停车位)或停车场，小巷、私人车道等)、U形转弯、K形转弯、N点转弯等)相关联。例如，训练部件640可以分析传感器数据和/或日志数据以检测车辆何时与行驶表面未对准(例如当车辆基本上垂直于行驶表面)并且随后变得与行驶表面对齐或基本平行于行驶表面。在至少一个示例中，注释部件642可以自动注释传感器数据和/或日志数据以指示切入机动的发生。

在至少一个示例中，注释部件642可以确定与切入机动相关联的时间段。即，注释部件642可以访问导致检测到的事件(例如，与切入机动相关联)的传感器数据和/或日志数据，并且可以确定检测到的事件何时开始和结束。对于移动的车辆(例如，进行U形转弯、k点转弯、n点转弯等的车辆)，注释部件642可以回退(例如，在日志数据中)到车辆开始偏离行驶车道的第一时间以确定与事件相关联的开始时间。例如，注释部件642可以确定车辆的位置从基本平行于行驶表面(例如，道路、车道等)的中心线改变为在中心线的90度指定偏移内(例如，基本垂直于中心线)，并且可以相应地确定与事件相关联的开始时间。对于停止的车辆(例如，停车、在私人车道或小巷中空转等)，注释部件642可以利用速度变化来确定车辆何时开始执行切入机动。例如，注释部件642可以确定车辆从零速度移动到非零速度的第一时间以确定与事件相关联的开始时间。在至少一个示例中，结束时间可以对应于事件发生的时间。

框706示出了生成训练数据。在至少一个示例中，训练部件640可以访问导致检测到的事件(例如，与切入机动相关联)的传感器数据和/或日志数据，并且可以生成与这种传感器数据和/或日志数据相关联的一个或多个多通道图像。在至少一个示例中，注释部件642可以确定与切入机动相关联的事件何时开始和结束，如上所述，并且可以访问从开始时间到恰好在事件发生之前的传感器数据和/或日志数据。例如，训练部件640可以访问检测到的事件之前的1-10秒传感器数据和/或日志数据，其可用于生成表示在检测到的事件发生之前环境和/或车辆的状态的一个或多个多通道图像。

在至少一个示例中，传感器数据和/或日志数据可以被编码成一个或多个多通道图像。每个通道可以对应于如下特征：对于被检测为执行切入机动的车辆，该特征可以包括但不限于与指示一个或多个停车位的一个或多个环境相关联的一个或多个地图中的注释(例如，基本垂直的一个或多个停车位或一个或多个停车场、一个或多个小巷、一个或多个私人车道等)、车辆的位置(例如，行进方向、与另一车辆的角度偏移等)、车辆的瞬时速度、驾驶员是否在车辆内的指示、驾驶员正在注视的方向的指示(例如，驾驶员的头部方向)、与车辆相关联的车门是打开还是关闭的指示、车辆的引擎是处于运行状态还是关闭状态的指示、与车辆的一个或多个车轮相关联的车轮角度、车辆的刹车灯是否亮起的指示、车辆的前灯是否亮起的指示、车辆的倒车灯是否亮起的指示、车辆的闪光灯是否亮起的指示、或与车辆相关联的照明状态等。在至少一个示例中，每个通道可以与环境的自上而下视图相关联。即，通道可以表示传感器输出或基于以自上而下的表示建模的传感器输出的信息。然后可以将一个或多个通道输入到模型中，例如多层模型、卷积神经网络等。与自上而下卷积神经网络相关的额外细节在2019年5月22日提交的美国专利申请16/420,050和2019年7月5日提交的美国专利申请16/504,147中进行了描述，两者的全部内容通过引用并入本文。当然，尽管上面针对多通道图像进行了描述，但任何数量的多通道图像(其可以表示最近时间步长之前的一系列时间)和/或任何其他数据结构都也是可以考虑的。

在一些示例中，训练数据和相关联的传感器数据和/或日志数据可以被称为地面事实。

框708示出了将训练数据输入模型以确定与车辆是否可能执行切入机动的指示相关联的输出。在至少一个示例中，可以由训练部件640使用机器学习机制来分析训练数据。例如，在至少一个示例中，可以使用神经网络(例如，卷积神经网络等)和训练数据来训练模型。即，可以将训练数据输入到模型(例如，自上而下的卷积神经网络等)以确定与预测车辆是否将进入另一车辆前方的车道或以其他方式执行本文描述为“切入机动”的机动相关联的输出。这种“预测”可以是对切入机动的检测、对环境中的未来车道或位置的预测、或者介于两者之间的事物。在一些示例中，输出可以是二进制指示符(例如，“是”或“否”)，从而指示车辆是否将进入另一车辆的位于另一车辆前方的行驶车道。在一些示例中，输出可以与置信度分数相关联。在一些示例中，输出可以是指示车辆是否将进入另一车辆的位于另一车辆前方的行驶车道的确定性的百分比或其他度量。如上所述，在一些示例中，输出可以与环境中的预测车道或位置相关联。

框710示出了确定输出和与训练数据相关联的预期输出之间的差异。在至少一个示例中，所得到的模型可以确定与车辆是否将进入另一车辆前方的车道或以其他方式执行切入机动的预测相关联的输出，如本文所述。训练部件640可以将输出与训练数据相关联的预期输出(其可以至少部分地基于注释数据)进行比较以确定差异。在至少一个示例中，训练部件640可以至少部分地基于差异(例如，通过梯度下降、反向传播等)来修改模型的一个或多个参数。

框712示出了确定该差是否大于或等于阈值。在至少一个示例中，训练部件640可以确定该差异是否大于或等于阈值。如果差异大于或等于阈值，则训练部件640可以修改模型的参数，如框714所示，并且过程700可以返回框702。如果差异小于阈值，则训练部件640可以将模型传输到模型存储装置648和/或车辆上的存储装置，例如车辆602上的存储装置630。在一些示例中且如框716所示，可以将模型传输到车辆，例如车辆602，其可以被构造为由模型的一个或多个输出控制。在这种示例中，所得模型可以存储在车辆602上的存储装置630中，并且可以由一个或多个车辆计算装置604的一个或多个部件接近实时地访问，如下面参考图8所述。

在至少一个示例中，训练部件640可以使用机器学习技术训练一个或多个模型。框708参考可用于训练模型的一个或多个神经网络。额外或可替代的机器学习算法可用于训练模型。此类机器学习算法可以包括但不限于：回归算法(例如，普通最小二乘回归(OLSR)、线性回归、逻辑回归、逐步回归、多元自适应回归样条(MARS)、局部估计散点图平滑(LOESS))，基于示例的算法(例如，岭回归、最小绝对收缩和选择算子(LASSO)、弹性网、最小角度回归(LARS))，决策树算法(例如，分类和回归树(CART)、迭代二分法3(ID3)、卡方自动交互检测(CHAID)、决策树桩、条件决策树)、贝叶斯算法(例如，朴素贝叶斯、高斯朴素贝叶斯、多项朴素贝叶斯、平均单依赖估计器(AODE)、贝叶斯信念网络(BNN)，贝叶斯网络)、聚类算法(例如，k均值、k中值、期望最大值(EM)、层次聚类)、关联规则学习算法(例如，感知机、反向传播、hopfield网络、径向基函数网络(RBFN))、深度学习算法(例如，深度玻尔兹曼机(DBM)、其他深度信念网络(DBN)、人工神经网络(ANN)、堆叠自动编码器)、降维算法(例如，主成分分析(PCA)、主成分回归(PCR)、偏最小二乘回归(PLSR)、Sammon映射、多维缩放(MDS)、投影追踪、线性判别分析(LDA)、混合判别分析(MDA)、二次判别分析(QDA)、灵活判别分析(FDA))、SVM(支持向量机)、监督学习、无监督学习、半监督学习等。

图8示出了如本文所述的用于预测车辆是否将要进入另一车辆前方的车道区域并基于这种预测来控制另一车辆的示例过程800。

框802示出了接收与车辆环境相关联的传感器数据。如上所述，各个车辆，例如车辆602，可以包括一个或多个传感器部件606。在至少一个示例中，一个或多个传感器部件606可以包括激光雷达传感器、雷达传感器、超声换能器、声纳传感器、定位传感器(例如GPS、罗盘等)、惯性传感器(例如惯性测量单元、加速度计、磁力计、陀螺仪等)、相机(例如RGB、IR、强度、深度等)、车轮编码器、音频传感器、环境传感器(例如，温度传感器、湿度传感器、光传感器、压力传感器等)、ToF传感器等。一个或多个传感器部件606可以向一个或多个车辆计算装置604提供输入。

框804示出了确定是否检测到靠近车辆的另一车辆。如上所述，车辆602可以包括与车辆602车载的一个或多个车辆计算装置604相关联的一个或多个部件。在至少一个示例中，定位部件620可以至少部分地基于从一个或多个传感器部件606接收的传感器数据和/或与地图(例如，一个或多个地图中的地图)相关联的地图数据来确定车辆602相对于局部和/或全局地图的姿态(位置和定向)。在至少一个示例中，定位部件620可以包括校准部件或与校准部件相关联，其能够基本上同时执行用于校准(确定与一个或多个传感器部件606中的一个或多个相关联的各种内在和外在参数)、定位和映射的操作。

在至少一个示例中，感知部件622可以至少部分地基于从一个或多个传感器部件606接收的传感器数据来执行对象检测、分割和/或分类。在至少一个示例中，感知部件622可以接收原始传感器数据(例如，来自校准部件传感器部件606)。在至少一个示例中，感知部件622可以接收传感器数据并且可以利用一种或多种处理算法来针对传感器数据中识别的一个或多个对象执行对象检测、分割和/或分类。在一些示例中，感知部件622可以将边界区域(或以其他方式的实例分割)与所识别对象相关联，并且可以将与所识别对象的分类相关联的置信度分数与所识别对象相关联。在一些示例中，对象在经由显示器呈现时可以基于其所感知的类别来着色。

在至少一个示例中，预测部件624可以分析定位数据(例如，来自定位部件620的输出)和感知数据(例如，来自感知部件622的输出)以确定感知数据是否指示另一车辆在车辆602的阈值距离内。即，预测部件624可以确定另一车辆是否靠近车辆602。如果确定没有车辆靠近车辆602，则过程800可以返回到框802。如果另一车辆被确定靠近车辆602时，预测部件624可以确定指示另一车辆是否被预测进入车辆602前方的车道的输出，如下所述。

框806示出了确定是否预测另一车辆将执行切入机动。在至少一个示例中，预测部件624可以使用经由以上参考图7描述的机器学习技术训练的模型以输出指示另一车辆是否将进入车辆602的位于车辆602前方的行驶车道的预测或者以其他方式执行切入机动。即，预测部件624可以使用模型以生成关于另一车辆是否可能执行切入机动(例如，进入车辆602前方的行驶车道)的预测。

在至少一个示例中，预测部件624可以将传感器数据(例如，在框802中接收的)转换为环境的自上而下表示。例如，预测部件624可以生成与这种传感器数据相关联的一个或多个多通道图像。如上所述，每个通道可以对应于如下特征：其可以包括但不限于与环境相关联的一个或多个地图中指示一个或多个停车位(例如，一个或多个基本垂直的停车位或停车场、一个或多个小巷、一个或多个私人车道等)的注释、车辆和/或另一车辆的位置(例如，行进方向、与另一车辆的角度偏移等)、另一车辆的瞬时速度、驾驶员是否在另一车辆内的指示、驾驶员正在注视的方向的指示(例如，驾驶员的头部方向)、与另一车辆相关联的车门是打开还是关闭的指示、另一车辆的引擎是处于运行状态还是关闭状态的指示、与另一车辆的一个或多个车轮相关联的车轮角度、另一车辆的刹车灯是否亮起的指示、另一车辆的前灯是否亮起的指示、另一车辆的倒车灯是否亮起的指示、另一车辆的闪光灯是否亮起的指示，或与另一车辆相关联的照明状态等。在至少一个示例中，每个通道可以与环境的自上而下视图相关联。即，通道可以表示传感器输出或基于以自上而下表示建模的传感器输出的信息。如上所述，可以设想表示最近时间步长(或任何其他数据结构)之前的时间段的多个多通道图像。

在至少一个示例中，可以训练模型以分析与传感器数据相关联的环境相关联和/或与另一车辆相关联的一个或多个特征(也称为属性、特性、参数、数据等)以输出关于另一车辆是否将进入该车辆602的位于车辆602前方的行驶车道的预测。在至少一个示例中，预测部件624可以接收指示另一车辆将进入车辆602的位于车辆602前方的行驶车道的可能性的输出(例如，来自相应模型)。如上所述，在一些示例中，输出可以是二进制指示符(例如，“是”或“否”)，从而指示另一车辆是否将进入车辆602的位于车辆602前方的行驶车道。在一些示例中，输出可以是指示另一车辆是否将进入车辆602的位于车辆602前方的行驶车道的确定性的百分比或其他度量。在这种示例中，预测部件624可以将输出百分比或其他度量与阈值进行比较，并且如果输出百分比或其他度量大于或等于阈值，则预测部件624可以确定预测另一车辆被预测进入车辆602的位于车辆前方的行驶车道。如果输出百分比或其他度量小于阈值，则预测部件624可以确定另一车辆被预测进入车辆602的位于车辆前方的行驶车道。

在至少一个示例中，如果预测另一车辆将进入车辆602前方的车道(例如，执行切入机动)，则与车辆602相关联的规划部件626可以接收这种指示。规划部件626可以考虑到另一车辆而确定用于控制车辆602的第一指令(如框808所示)并且可以使车辆602至少部分地基于第一指令被控制(如框810所示)。即，如上所述，规划部件626可以利用模型的输出来确定如何在其环境中导航车辆602。例如，规划部件626可以生成可以被与车辆602相关联的其他部件使用的一个或多个轨迹以基于模型输出的预测来调整驾驶操作。在一些示例中，一个或多个这种轨迹可以是一个或多个先前轨迹的修改。在一些示例中，一个或多个这种轨迹可以是基于第一指令的一个或多个新轨迹。鉴于前述，规划部件626可以确定用于导航车辆602以适应另一车辆的轨迹，例如，通过使车辆602减速从而增加车辆602与另一车辆之间的跟随距离、使车辆602减速以对另一车辆让行和/或停止、使车辆602执行车道变换、使车辆602围绕另一车辆安全地机动、和/或车辆602能够执行的任何其他机动组合等。

在一些示例中，预测部件624可以使用输出来预测另一车辆可能如何机动并且预测部件624可以输出表示这种预测的轨迹。在这种示例中，可以将与另一车辆相关联的预测轨迹提供给规划部件626以确定用于导航车辆602的轨迹。

在至少一个示例中，如果另一车辆没有被预测为将进入车辆602前方的车道，则与车辆602相关联的规划部件626可以接收这种指示。在这种示例中，规划部件626可以确定用于控制车辆602的第二指令(如框812所示)并且可以使车辆602至少部分地基于第二指令而被控制(如框814所示)。在这种示例中，如果另一车辆没有被预测为进入车辆602前方的车道，则规划部件626可以规划以其他方式控制车辆602在环境内行进(这可以或可以不考虑到另一轿车)的轨迹。在一些示例中，这种轨迹可以是与先前确定(例如，在确定另一车辆未被预测为执行切入机动之前)相同的轨迹。在一些示例中，轨迹可以是基于第二指令的新轨迹。

上文描述的图1-5示出了靠近诸如车辆602的车辆的其他车辆的各种示例，这些车辆正在进入行驶车道的位于车辆602前方的车道区域或者正在以其他方式执行“切入机动”，如本文所述。这种示例包括左转、右转、U形转弯、三点转弯等。如上所述，额外或可替代示例处于本公开的范围内(例如，K-转弯、任何N-点转弯等)。即，上述过程800可适用于与车辆602靠近并与车辆602的相同或不同行进方向相关联的另一车辆进入或预测进入行驶车道的位于车辆前方的车道区域的任何示例。

示例条款

A、一种方法，包括：接收与环境中的车辆相关联的日志数据；检测日志数据中的事件，其中事件对应于车辆执行的切入机动；确定与事件相关联的时间段；访问日志数据中对应于该时间段的一部分；至少部分基于将日志数据中对应于时间段的一部分转换为环境的自上而下表示来生成训练数据；将训练数据输入到模型中；通过模型确定输出，该输出包括另一车辆可能执行另一切入机动的指示；确定该输出与训练数据相关联的预期输出之间的差异；基于差异改变模型的一个或多个参数；以及将模型传输到被构造为由模型的另一个输出控制的自主车辆。

B、根据段落A所述的方法，其中，日志数据包括原始传感器数据和至少部分基于原始传感器数据确定的下游输出，其中，下游输出包括感知数据、预测数据或规划器数据。

C、根据段落A或B所述的方法，还包括：确定车辆的位置从基本平行于行驶表面的中心线变化到处于中心线的90度指定偏移内；以及至少部分地基于确定车辆的位置何时从基本平行于中心线改变到处于中心线的90度指定偏移内来确定时间段的开始。

D、根据段落A至C中任一段所述的方法，还包括：确定车辆的速度在事件之前从零变为非零速度；以及至少部分地基于确定车辆的速度在事件之前何时从零变为非零速度来确定时间段的开始。

E、一种系统，包括：一个或多个处理器；以及存储指令的一个或多个非暂时性计算机可读介质，当指令由一个或多个处理器执行时，使系统执行包括以下的操作：接收与环境中的车辆相关联的日志数据；检测日志数据中的事件，其中事件对应于车辆执行的切入机动；至少部分基于将日志数据中对应于事件的数据的一部分转换为环境的自上而下表示来生成训练数据；将训练数据输入到模型中；以及将模型传输到被构造为由模型的另一个输出控制的自主车辆。

F、根据段落E所述的系统，该操作还包括：确定与事件相关联的时间段；以及访问日志数据中对应于该时间段的一部分；其中，环境的自上而下表示与日志数据中对应于该时间段的部分相关联。

G、根据段落F所述的系统，操作还包括：确定车辆的位置从基本平行于行驶表面的中心线变化到处于中心线的90度指定偏移内；以及至少部分地基于确定车辆的位置何时从基本平行于中心线改变到处于中心线的90度指定偏移内来确定时间段的开始。

H、根据段落F或G所述的系统，操作还包括：确定车辆的速度在事件之前从零变为非零速度；以及至少部分地基于确定车辆的速度在事件之前何时从零变为非零速度来确定时间段的开始。

I、根据段落E至H中任一项所述的系统，操作还包括：通过模型确定输出，该输出包括另一车辆可能执行另一个切入机动的指示；确定输出和与训练数据相关联的预期输出之间的差异；以及基于差异改变模型的一个或多个参数。

J、根据段落E至I中任一项所述的系统，其中，模型包括卷积神经网络。

K、根据段落E至J中任一项所述的系统，其中，自上而下表示包括多通道图像，其中每个通道对应于以下至少一项：车辆相对于行驶表面的中心线的位置；车辆的瞬时速度；驾驶员是否在车辆中的指示；与车辆相关联的车门是打开还是关闭的指示；车辆的引擎是处于运行状态还是关闭状态的指示；车辆的刹车灯是否亮起的指示；车辆的前灯是否亮起的指示；车辆的倒车灯是否亮起的指示；或车辆的闪光灯是否亮起的指示。

L、根据段落E至K中任一项所述的系统，其中，切入机动包括以下任一项：从小巷、停车位或私人车道左转；从小巷、停车位或私人车道右转；U形转弯；n点转弯；k形转弯；或向后倒车进入行驶车道。

M、一种或多种非暂时性计算机可读介质，其存储指令，当该指令由一个或多个处理器执行时使一个或多个处理器执行包括以下的操作：接收与环境中的车辆相关的日志数据；检测日志数据中的事件，其中事件对应于车辆执行的切入机动；至少部分基于将日志数据中对应于事件的一部分转换为环境的自上而下表示来生成训练数据；以及将训练数据输入到模型中，其中，模型被训练为输出另一车辆是否可能执行另一切入机动的指示。

N、根据段落M所述的一种或多种非暂时性计算机可读介质，操作还包括将模型传输到被配置为由模型的另一个输出控制的自主车辆。

O、根据段落M或N所述的一种或多种非暂时性计算机可读介质，操作还包括：确定与事件相关的时间段；访问日志数据中对应于该时间段的一部分；其中，环境的自上而下表示与日志数据中对应于该时间段的一部分相关联。

P、根据段落O所述的一种或多种非暂时性计算机可读介质，其中，确定时间段基于车辆位置的变化或车辆的速度中的至少一个。

Q、根据段落M至P中任一项所述的一种或多种非暂时性计算机可读介质，操作还包括：确定模型的输出与训练数据相关联的预期输出之间的差异；以及基于差异改变模型的一个或多个参数。

R、根据段落M至Q中任一项所述的一种或多种非暂时性计算机可读介质，其中，模型包括卷积神经网络。

S、根据段落M至R中任一项所述的一种或多种非暂时性计算机可读介质，其中，自上而下表示包括多通道图像，其中每个通道对应于以下至少一项：车辆相对于行驶表面的中心线的位置；车辆的瞬时速度；驾驶员是否在车辆中的指示；与车辆相关联的车门是打开还是关闭的指示；车辆的引擎是处于运行状态还是关闭状态的指示；车辆的刹车灯是否亮起的指示；车辆的前灯是否亮起的指示；车辆的倒车灯是否亮起的指示；或车辆的闪光灯是否亮起的指示。

T、根据段落M至S中任一项所述的一种或多种非暂时性计算机可读介质，其中，切入机动包括以下中的任一项：从小巷、停车位或私人车道左转；从小巷、停车位或私人车道右转；U形转弯；n点转弯；k形转弯；或向后倒车进入行驶车道。

U、一种方法，包括：接收与第一车辆的环境相关联的传感器数据；至少部分地基于传感器数据检测靠近第一车辆的第二车辆，其中，第二车辆基本上垂直于第一车辆；至少部分地基于传感器数据确定与环境或第二车辆相关联的属性，该属性指示第二车辆是否将进入第一车辆前方的车道区域；至少部分地基于该属性确定第二车辆是否将进入第一车辆前方的车道区域的指示；以及至少部分地基于该指示来确定用于控制第一车辆的指令。

V、根据段落U所述的方法，其中，第二车辆至少部分地基于第二车辆和第一车辆之间的角度在90度指定偏移内而基本上垂直于第一车辆。

W、根据段落V所述的方法，其中，指定偏移为50度。

X、根据段落U至W中任一项所述的方法，其中，第二车辆定位在基本垂直于第一车辆的停车位、私人车道或小巷中。

Y、根据段落U至X中任一项所述的方法，其中，第二车辆与与第一车辆不同的行进方向相关联。

Z、根据段落U至Y中任一项所述的方法，其中，该属性包括以下至少一项：第二车辆相对于第一车辆的位置；第二车辆的瞬时速度；驾驶员是否在第二车辆中的指示；与第二车辆相关联的车门是打开还是关闭的指示；第二车辆的引擎是处于运行状态还是处于关闭状态的指示；第二车辆的刹车灯是否亮起的指示；第二车辆的前灯是否亮起的指示；第二车辆的倒车灯是否亮起的指示；或者第二车辆的闪光灯是否亮起的指示。

AA、一种系统，包括：一个或多个处理器；以及存储指令的一个或多个非暂时性计算机可读介质，当指令由一个或多个处理器执行时，使系统执行包括以下的操作：接收与第一车辆的环境相关联的传感器数据；至少部分地基于传感器数据确定靠近第一车辆的第二车辆被预测为进入第一车辆前方的车道区域；以及至少部分地基于确定靠近第一车辆的第二车辆被预测将进入第一车辆前方的车道区域来确定用于控制第一车辆的指令。

AB、根据段落AA所述的系统，还包括至少部分地基于确定与第二车辆或环境中的至少一个相关联的一个或多个属性来确定第二车辆被预测将进入第一车辆前方的车道区域。

AC、根据段落AB所述的系统，其中，一个或多个属性包括以下至少一项：第二车辆相对于第一车辆的位置；第二车辆的瞬时速度；驾驶员是否在第二车辆中的指示；与第二车辆相关联的车门是打开还是关闭的指示；第二车辆的引擎是处于运行状态还是处于关闭状态的指示；第二车辆的刹车灯是否亮起的指示；第二车辆的前灯是否亮起的指示；第二车辆的倒车灯是否亮起的指示；或者第二车辆的闪光灯是否亮起的指示。

AD、根据段落AA至AC所述的系统，其中，第一车辆和第二车辆定位为成处于距90度指定偏移之间的角度。

AE、根据段落AD所述的系统，其中，第二车辆位于道路中与第一车辆的同一侧上或道路中与第一车辆的相反一侧上的停车位或私人车道中。

AF、根据段落AA至AE所述的系统，其中，至少部分地基于来自机器训练模型的输出来确定用于控制第一车辆的指令，其中该输出包括第二车辆是否将进入第一车辆前方的车道区域的二进制指示或指示与第二车辆是否会进入第一车辆前方的车道区域相关联的确定性的百分比。

AG、根据段落AA至AF所述的系统，其中，指令使第一车辆减速、停止或执行车道变换操作中的至少一个。

AH、一种或多种非暂时性计算机可读介质，其存储指令，当指令由一个或多个处理器执行时，使该一个或多个处理器执行以下操作，包括：接收与第一车辆的环境相关联的传感器数据；将传感器数据转换为环境的自上而下表示；将自上而下表示输入到机器训练模型中；至少部分基于将自上而下表示输入到机器训练模型中，确定靠近第一车辆的第二车辆被预测为进入第一车辆前方的车道区域；以及至少部分地基于确定靠近第一车辆的第二车辆被预测为进入第一车辆前方的车道区域来确定用于控制第一车辆的指令。

AI、根据段落AH所述的一种或多种非暂时性计算机可读介质，其中，至少部分地基于至少一个属性确定靠近第一车辆的第二车辆被预测为进入第一车辆前方的车道区域，其中，该属性包括：第二车辆的瞬时速度；驾驶员是否在第二车辆中的指示，并且如果驾驶员在第二辆车中，则驾驶员的头部方向的指示；第二车辆的引擎是处于运行状态还是处于关闭状态的指示；与第二车辆的车轮相关联的车轮角度；或者第二车辆的刹车灯、前灯、倒车灯或者闪光灯是否亮起的指示。

AJ、根据段落AH或AI所述的一种或多种非暂时性计算机可读介质，其中，第二车辆与与第一车辆不同的行进方向相关联。

AK、根据段落AH至AJ中任一项所述的一种或多种非暂时性计算机可读介质，其中，第二车辆和第一车辆定位为成处于90度指定偏移内的角度。

AL、根据段落AH至AK中任一项所述的一种或多种非暂时性计算机可读介质，其中，第二车辆定位于(i)道路中与第一车辆的同一侧上的停车位或私人车道中或(ii)道路中与第一车辆的相反一侧上的停车位或私人车道中。

AM、根据段落AH至AL中任一项所述的一种或多种非暂时性计算机可读介质，操作还包括：向预测部件输入靠近第一车辆的第二车辆被预测为进入第一车辆前方的车道区域的指示；从预测部件接收与第二车辆相关联的预测轨迹；以及进一步至少部分地基于预测轨迹确定指令。

AN、根据段落AH至AM中任一项所述的一种或多种非暂时性计算机可读介质，其中，该指令使第一车辆减速或执行车道变换操作中的至少一个。

虽然上述示例条款是针对一种特定实施方式进行描述的，但应理解，在本文档的上下文中，示例条款的内容还可以经由方法、装置、系统、计算机可读介质和/或另一种实施方式实施。此外，任何示例A-AN可以单独实施或与任何其他一个或多个示例A-AN组合实施。

结论

尽管已经描述了本文描述的技术的一个或多个示例，但其各种改变、添加、排列和等价物都包括在本文描述的技术的范围内。

在示例的描述中，参考了构成其一部分的附图，这些附图通过图式的方式示出了要求保护的主题的具体示例。应当理解，可以使用其他示例并且可以进行变化或改变，例如结构改变。这样的示例、改变或变更不一定脱离关于预期要求保护的主题的范围。虽然本文中的步骤可以以特定顺序呈现，但在某些情况下，可以改变顺序以便在不同时间或以不同顺序提供某些输入，而不改变所描述的系统和方法的功能。公开的程序也可以以不同的顺序执行。另外，本文中的各种计算不需要按照所公开的顺序执行，并且可以容易地实现使用计算的替代排序的其他示例。除了重新排序之外，计算还可以分解为具有相同结果的子计算。

Claims (15)

1.一种系统，包括：

一个或多个处理器；以及

一种或多种非暂时性计算机可读介质，其存储指令，当所述指令由所述一个或多个处理器执行时，所述指令使所述系统执行包括以下的操作：

接收与第一车辆的环境相关联的传感器数据；

至少部分地基于所述传感器数据确定靠近所述第一车辆的第二车辆被预测为进入所述第一车辆前方的车道区域；以及

至少部分地基于确定靠近所述第一车辆的所述第二车辆被预测为进入所述第一车辆前方的所述车道区域来确定用于控制所述第一车辆的指令。

2.根据权利要求1所述的系统，还包括至少部分地基于确定与所述第二车辆或所述环境中的至少一个相关联的一个或多个属性来确定所述第二车辆被预测为进入所述第一车辆前方的所述车道区域。

3.根据权利要求2所述的系统，其中，所述一个或多个属性包括以下中的至少一项：

所述第二车辆相对于所述第一车辆的位置；

所述第二车辆的瞬时速度；

驾驶员是否在所述第二车辆中的指示；

与所述第二车辆相关联的车门是打开还是关闭的指示；

所述第二车辆的引擎是处于运行状态还是处于关闭状态的指示；

所述第二车辆的刹车灯是否亮起的指示；

所述第二车辆的前灯是否亮起的指示；

所述第二车辆的倒车灯是否亮起的指示；或者

所述第二车辆的闪光灯是否亮起的指示。

4.根据权利要求1至3中任一项所述的系统，其中，所述第一车辆和所述第二车辆定位为成处于距90度指定偏移之间的角度，其中所述指定偏移为50度。

5.根据权利要求4所述的系统，其中，所述第二车辆定位于道路中与所述第一车辆的同一侧上或道路中与所述第一车辆的相反一侧上的停车位、私人车道或小巷中。

6.根据权利要求1至5中任一项所述的系统，其中，确定用于控制所述第一车辆的指令至少部分地基于来自机器训练模型的输出，其中，所述输出包括所述第二车辆是否将进入所述第一车辆前方的所述车道区域的二进制指示或者指示与所述第二车辆是否将进入所述第一车辆前方的所述车道区域相关联的确定性的度量。

7.根据权利要求1至6中任一项所述的系统，其中，所述指令使所述第一车辆减速、停止或执行车道变换操作中的至少一项。

8.一种方法，包括：

接收与第一车辆的环境相关联的传感器数据；

至少部分地基于所述传感器数据检测靠近所述第一车辆的第二车辆，其中，所述第二车辆基本垂直于所述第一车辆；

至少部分地基于所述传感器数据确定与所述环境或所述第二车辆相关联的属性，所述属性指示所述第二车辆是否将进入所述第一车辆前方的车道区域；

至少部分地基于所述属性确定所述第二车辆是否将进入所述第一车辆前方的所述车道区域的指示；以及

至少部分地基于所述指示来确定用于控制所述第一车辆的指令。

9.根据权利要求8所述的方法，还包括：

至少部分地基于所述传感器数据确定所述环境的自上而下表示；

将所述自上而下表示输入到机器训练模型中；以及

进一步至少部分地基于将所述自上而下表示输入到所述机器训练模型中来确定所述第二车辆将进入所述第一车辆前方的所述车道区域。

10.根据权利要求8或9所述的方法，其中，所述属性包括：

所述第二车辆的瞬时速度；

驾驶员是否在所述第二车辆中的指示，以及如果所述驾驶员在所述第二车辆中，则所述驾驶员的头部方向的指示；

所述第二车辆的引擎是处于运行状态还是处于关闭状态的指示；

与所述第二车辆的车轮相关联的车轮角度；或者

所述第二车辆的刹车灯、前灯、倒车灯或闪光灯中的至少一个是否亮起的指示。

11.根据权利要求8至10中任一项所述的方法，还包括：

将所述第二车辆将进入所述第一车辆前方的所述车道区域的指示输入预测部件中；

从所述预测部件接收与所述第二车辆相关联的预测轨迹；以及

进一步至少部分地基于所述预测轨迹来确定所述指令。

12.根据权利要求8至11中任一项所述的方法，其中，所述第二车辆与与所述第一车辆不同的行进方向相关联。

13.根据权利要求8至12中任一项所述的方法，其中，至少部分地基于所述第二车辆和所述第一车辆之间的角度处于90度指定偏移内，所述第二车辆基本垂直于所述第一车辆。

14.根据权利要求8至13中任一项所述的方法，其中，所述第二车辆定位在基本垂直于所述第一车辆的停车位、私人车道或小巷中。

15.一种或多种非暂时性计算机可读介质，其存储指令，当所述指令由一个或多个处理器执行时，所述指令使所述一个或多个处理器执行根据权利要求8-14中任一项所述的方法。

Images