CN114375467A - 紧急车辆的检测 - Google Patents

Abstract

本公开的方面涉及检测紧急车辆(454)。例如，可以从自主车辆(100)的视角拍摄多个图像(400，600，802，804)。可以为图像生成表示距车辆(100)相应距离处的感兴趣区域的一个或多个门(340‑352，480‑492)。可以在一个或多个门(340‑352，480‑492)内检测多个光(604)。可以从一个图像(600)的一个或多个门(486)中检测到的多个光(604)中识别第一候选紧急车辆(702)，并且可以从另一图像(804)的一个或多个门中检测到的多个光(604)中识别第二候选紧急车辆(802)。第一和第二候选紧急车辆(702，802)被确定为相同的紧急车辆(454)并且是活动的。基于确定给定紧急车辆(454)是活动的，控制自主车辆的操作系统。

Description

紧急车辆的检测

相关申请的交叉引用

本申请要求2019年11月13日提交的第16/682,747号美国专利申请的优先权，该申请要求2019年7月29日提交的第62/879,636号美国临时申请的申请日的权益，其全部公开内容通过引用并入本文。

背景技术

自主车辆，诸如不需要人类驾驶员的车辆，可以用于帮助将乘客或物品从一个位置运输到另一位置。这样的车辆可以在完全自主驾驶模式下操作，其中乘客可以提供一些初始输入，诸如目的地，并且车辆自己操纵到达该目的地。因此，这样的车辆可能很大程度上依赖于系统，所述系统能够在任何给定时间确定自主车辆的位置，以及检测和识别车辆外部的对象，诸如其他车辆、停车光、行人等。

发明内容

本公开的方面提供了用于检测紧急车辆的系统。该系统包括车辆的操作系统和与操作系统通信的一个或多个计算设备。所述一个或多个计算设备被配置为接收从车辆视角观察的环境的多个图像，所述多个图像包括第一图像和附加图像；在所述多个图像中生成一个或多个门，所述一个或多个门中的每一个表示距车辆相应距离处的感兴趣区域；检测一个或多个门内的多个光；识别与第一图像的所述一个或多个门的给定门(given gate)中的检测到的多个光的组相对应的第一候选紧急车辆；识别与附加图像的所述一个或多个门中的一些门(ones)中的检测到的多个光的组相对应的第二候选紧急车辆；确定第一候选紧急车辆和第二候选紧急车辆是相同的给定紧急车辆；确定给定紧急车辆是活动的；和基于给定紧急车辆是活动的确定，操作车辆的操作系统。

在一个示例中，所述一个或多个计算设备还被配置为选择在其内生成所述一个或多个门的一个或多个区域。在另一示例中，一个或多个计算设备还被配置为遮蔽(mask)第一图像中与环境中和紧急车辆不相关的区域相关联的像素。在另一示例中，所述一个或多个计算设备被配置为基于第一候选车辆多边形来识别第一候选紧急车辆，所述第一候选车辆多边形被生成为包含第一图像中的给定大门内的所检测到的多个光的组。在该示例中，所述一个或多个计算设备被配置为基于第二候选车辆多边形和第一候选车辆多边形与第二候选车辆多边形之间的相似性度量来确定第一候选紧急车辆和第二候选紧急车辆是相同的给定紧急车辆，所述第二候选车辆多边形被生成为包含附加图像中的检测到的多个光的组和给定门。另外或可选地，所述一个或多个计算设备还被配置为基于第一候选车辆多边形来识别活动的紧急车辆的特征。在另一示例中，所述一个或多个计算设备被配置为基于对第一候选紧急车辆或第二候选紧急车辆的验证来确定给定紧急车辆是活动的。在这个示例中，验证包括相比其他检测到的对象检查活动的候选紧急车辆的特征。另外或可选地，验证包括过滤在所述一个或多个门内检测到的对象的假阳性。在另一示例中，所述一个或多个计算设备还被配置为基于第一图像的所述一个或多个门或附加图像的所述一个或多个门来识别活动的紧急车辆的特征。在另一示例中，车辆的操作系统是用于规划车辆轨迹的导航系统。在另一示例中，车辆的操作系统是用于将车辆减速至停止的减速系统。在另一示例中，车辆的操作系统是用于控制车轮角度以使车辆转向的转向系统。在另一示例中，所述一个或多个计算设备被配置为通过识别特定频率范围内的光来检测所述多个光。在另一示例中，所述一个或多个计算设备被配置为检测包括过滤特定频率范围之外的光的所述多个光。

本公开的另一方面提供了一种用于检测紧急车辆的方法。所述方法包括由一个或多个计算设备接收从自主车辆的视角拍摄的多个图像，所述多个图像包括第一图像和附加图像；由所述一个或多个计算设备在所述多个图像中生成一个或多个门，所述一个或多个门中的每一个表示距车辆相应距离处的感兴趣区域；由所述一个或多个计算设备检测所述一个或多个门内的多个光；由所述一个或多个计算设备识别与第一图像的所述一个或多个门中的一些门中的检测到的多个光的组相对应的第一候选紧急车辆；由所述一个或多个计算设备识别与附加图像的所述一个或多个门的给定门中的检测到的多个光的组相对应的第二候选紧急车辆；由所述一个或多个计算设备确定第一候选紧急车辆和第二候选紧急车辆是相同的给定紧急车辆；由所述一个或多个计算设备确定给定紧急车辆是活动的；和由所述一个或多个计算设备基于给定紧急车辆是活动的确定，操作车辆的操作系统。

在一个示例中，所述方法还包括由所述一个或多个计算设备选择在其内生成所述一个或多个门的一个或多个区域。在另一示例中，所述方法还包括由一个或多个计算设备遮蔽第一图像中与和紧急车辆不相关的对象相关联的像素。在另一示例中，识别第一候选紧急车辆包括生成第一候选车辆多边形，以包含第一图像中的检测到的多个光的组和给定门。在该示例中，确定第一候选紧急车辆和第二候选紧急车辆是相同的给定紧急车辆包括生成第二候选车辆多边形以包含附加图像中的检测到的多个光的组和给定门；将第二候选车辆多边形投影到第一图像中；确定第一候选车辆多边形和投影的第二候选车辆多边形之间的相似性的度量；以及当相似性的量大于阈值量时，确定第一候选紧急车辆和第二候选紧急车辆是相同的给定紧急车辆。在另一示例中，确定给定紧急车辆是活动的包括验证第一候选紧急车辆或第二候选紧急车辆。在另一示例中，基于第一图像的所述一个或多个门或者附加图像的所述一个或多个门来识别活动的紧急车辆的特征。

附图说明

图1是根据本公开的方面的示例车辆的功能图。

图2是根据本公开的方面的车辆的示例代表性视图。

图3A、图3B和图3C示出了根据本公开各方面的示例图像300。

图4A、图4B和图4C示出了根据本公开各方面的示例图像400。

图5示出了根据本公开各方面的示例输出图像500。

图6A和图6B示出了根据本公开的方面的经裁剪的图像部分600。

图7示出了根据本公开的其他方面的示例图像400。

图8示出了根据本公开的方面的一系列图像。

图9示出了根据本公开的其他方面的示例图像400。

图10示出了根据本公开的方面的另一系列图像。

图11是根据本公开的方面的示例方法的流程图1100。

具体实现

概述

该技术涉及用于自主车辆的紧急车辆的远距离检测。能够在紧急车辆处于更远距离时更早地检测到紧急车辆将允许自主车辆更早地或者以更准确、更有效的方式调整其路径或行为。紧急车辆包括例如警车、救护车和消防车等。所述方法可包括基于道路的几何形状选择第一图像中的一个或多个区域，以便将图像搜索空间限制在迎面而来的车辆所在或可能所在的区域。可以根据在所选区域中检测到闪烁的红光和蓝光的位置来确定所选区域内的候选框，因为闪烁的红光和蓝光通常与活动的紧急车辆相关联。

自主车辆可以包括图像捕获系统，所述图像捕获系统被配置为在相对于自主车辆的前向方向上捕获一个或多个图像，包括第一图像。车辆的计算设备可被配置为根据道路图几何形状选择第一图像中的一个或多个区域。所选择的一个或多个区域可以是迎面而来的交通所在或可能所在的区域。可以通过检测第一图像中的车道特征来确定道路图的几何形状。车道特征可用于识别与自主车辆的行进车道方向相同的车道和与自主车辆的行进车道方向相反的车道。

车辆的计算设备然后可以在选择的一个或多个区域中生成一个或多个门。每个门可以表示距自主车辆特定距离处的感兴趣区域。可以从自主车辆的一系列短距离传感器结束的地方开始生成一个或多个门。所述一个或多个门可以终止于相反方向的车道变得不可察觉的距离，或者标称紧急车辆将变得小于第一图像中的第一阈值像素量的距离。在生成一个或多个门之后，车辆的计算设备可以确定在一个或多个门内是否有任何红光或蓝光。

车辆的计算设备然后可以识别与一个或多个门中的给定门中的红或蓝光的组相对应的候选紧急车辆。红光或蓝光的组可以是给定门内彼此非常接近的多个红光或蓝光。识别候选紧急车辆可以包括根据红或蓝光的组和给定的门生成第一候选车辆多边形。识别候选紧急车辆还可以包括确定在第一图像之前和/或之后拍摄的一个或多个附加图像中是红光还是蓝光。为了捕获闪光，可以包括使用一个或多个附加图像。可以根据一个或多个附加图像中的每一个的红光或蓝光生成附加候选车辆多边形。

第一图像中的第一候选车辆多边形可以与一个或多个附加图像的至少一个中的至少一个附加候选车辆多边形相关联。候选车辆多边形之间的关联允许自主车辆确定相关联的候选车辆多边形与相同的候选紧急车辆相对应，并且还允许自主车辆追踪候选紧急车辆随时间的行为。此外，该关联可以随时间捕获候选紧急车辆上的闪光。该关联可以通过将至少一个附加候选车辆多边形投影到第一图像中来生成。

将至少一个附加候选车辆多边形投影到第一图像中可以包括基于(i)至少一个附加候选车辆多边形的尺寸和位置以及(ii)自主车辆在第一图像和对应的至少一个附加图像之间的相对运动，来在第一图像中对准至少一个附加候选车辆多边形。当相似性的度量超过第二阈值量时，至少一个附加图像中的给定附加图像可以与第一图像相关联。相似性的度量可以基于第一候选车辆多边形和投影到第一图像中的至少一个附加候选车辆多边形中的给定附加候选车辆多边形之间的物理交集的量来确定。

在将第一候选车辆多边形与至少一个附加候选车辆多边形相关联之后，车辆的计算设备可以确定候选紧急车辆是活动的紧急车辆。该确定可以包括将第一候选车辆多边形中的红光或蓝光与至少一个附加候选车辆多边形中的红光或蓝光进行比较。光的数量、光的强度或光的位置的差异可以是候选紧急车辆具有闪光的指示。

在一些实现中，确定候选紧急车辆是活动的紧急车辆包括通过消除可能的假阳性或者相比其他检测到的对象检查活动的候选紧急车辆的特征来验证活动的紧急车辆。为了消除假阳性，车辆的计算设备可以基于活动的紧急车辆的非典型特征或活动的紧急车辆的不可靠指示器来过滤掉在给定图像中检测到的对象。消除假阳性的另一示例包括将给定图像中的候选紧急车辆与自主车辆的感知系统检测到的对象进行比较。

在确定候选紧急车辆是活动的紧急车辆之后，车辆的计算设备可以根据活动的紧急车辆的特征来操作自主车辆。特征可以包括活动的紧急车辆的位置、运动、速度或预测路线。操作自主车辆可以包括确定自主车辆让位于活动的紧急车辆的路线、控制自主车辆的系统减速到未来的停靠点、或者适当响应活动的紧急车辆的其他动作。

上述特征可以提供自主车辆，其能够在更早的时间点、更远的距离并且使用比其他机器学习技术更少的数据来识别在外观上变化很大的紧急车辆。这样，自主车辆然后可以在更早的时间点开始准备响应紧急车辆。此外，所描述的特征还提供了一种识别假阳性的方法，该方法允许自主车辆对其环境中的对象做出准确的响应。

示例系统

如图1所示，根据本公开一个方面的车辆100包括各种组件。虽然本公开的某些方面对于特定类型的车辆特别有用，但是车辆可以是任何类型的车辆，包括但不限于汽车、卡车、摩托车、公共汽车、休闲车等。车辆可具有一个或多个计算设备，诸如计算设备110，包括一个或多个处理器120、存储器130和通常存在于通用计算设备中的其他组件。

一个或多个处理器120可以是任何常规处理器，诸如商业上可用的CPU。或者，一个或多个处理器可以是专用设备，诸如ASIC或其他基于硬件的处理器。

存储器130存储可由一个或多个处理器120访问的信息，包括可由处理器120执行或使用的指令132和数据134。存储器130可以是能够存储可由处理器访问的信息的任何类型，包括计算设备可读介质或存储可在电子设备的帮助下读取的数据的其他介质，诸如硬盘驱动器、存储卡、ROM、RAM、DVD或其他光盘，以及其他可写和只读存储器。系统和方法可以包括前述的不同组合，由此指令和数据的不同部分被存储在不同类型的介质上。

指令132可以是由处理器直接地(诸如机器代码)或间接地(诸如脚本)执行的任何指令的集合。例如，指令可以作为计算设备代码存储在计算设备可读介质上。在这方面，术语“指令”和“程序”在本文可以互换使用。指令可以以目标代码格式存储，以便由处理器直接处理，或者以任何其他计算设备语言存储，包括按需解释或预先编译的独立源代码模块的脚本或集合。指令的功能、方法和例程将在下面更详细地解释。

处理器120可以根据指令132检索、存储或修改数据134。例如，尽管所要求保护的主题不受任何特定数据结构的限制，但是数据可以存储在计算设备寄存器中，存储在关系数据库中作为具有多个不同字段和记录的表格、XML文档或平面文件。数据也可以被格式化成任何计算设备可读的格式。

尽管图1在功能上将处理器、存储器和计算设备110的其他元件示出为在相同框内，但是本领域普通技术人员将会理解，处理器、计算设备或存储器实际上可以包括多个处理器、计算设备或存储器，这些处理器、计算设备或存储器可以存储在也可以不存储在相同物理外壳内。例如，存储器可以是位于不同于计算设备110的外壳中的硬盘驱动器或其他存储介质。因此，对处理器或计算设备的引用将被理解为包括对可以或不可以并行操作的处理器或计算设备或存储器的集合的引用。

计算设备110可以包括通常结合计算设备使用的所有组件，诸如上述处理器和存储器，以及用户输入150(例如，鼠标、键盘、触摸屏和/或麦克风)和各种电子显示器(例如，具有屏幕的监视器或可操作来显示信息的任何其他电子设备)。在该示例中，车辆包括内部电子显示器152以及一个或多个扬声器154，以提供信息或视听体验。在这方面，内部电子显示器152可以位于车辆100的车厢内，并且可以被计算设备110用来向车辆100内的乘客提供信息。

计算设备110还可以包括一个或多个无线网络连接156，以便于与其他计算设备进行通信，诸如下面详细描述的客户端计算设备和服务器计算设备。无线网络连接可以包括短距离通信协议，诸如蓝牙、蓝牙低能量(LE)、蜂窝连接，以及各种配置和协议，包括因特网、万维网、内联网、虚拟专用网、广域网、局域网、使用一个或多个公司专有的通信协议的专用网络、以太网、Wi-Fi和HTTP，以及前述的各种组合。

在一个示例中，计算设备110可以是结合到车辆100中的自主驾驶计算系统。自主驾驶计算系统能够与车辆的各种组件通信，以便在完全自主驾驶模式和/或半自主驾驶模式下操纵车辆100。例如，回到图1，计算设备110可以与车辆100的各种操作系统通信，诸如减速系统160、加速系统162、转向系统164、信号系统166、导航系统168、定位系统170、感知系统172和动力系统174(例如，汽油或柴油驱动的马达或电动引擎)，以便根据存储器130的指令132控制车辆100的运动、速度等。同样，尽管这些系统被示出为在计算设备110的外部，但是实际上，这些系统也可以被结合到计算设备110中，再次作为用于控制车辆100的自主驾驶计算系统。

作为示例，计算设备110可以与减速系统160和加速系统162交互，以便控制车辆的速度。类似地，转向系统164可由计算设备110使用，以便控制车辆100的方向。例如，如果车辆100被配置为在道路上使用，诸如汽车或卡车，转向系统可以包括控制车轮角度以使车辆转向的组件。信号系统166可由计算设备110使用，以便向其他驾驶员或车辆发出车辆意图的信号，例如通过在需要时点亮转向信号灯或刹车灯。

导航系统168可以由计算设备110使用，以便确定并遵循路线到达位置。例如，导航系统可以用于生成位置之间的路线，并为车辆规划轨迹，以便遵循该路线。尽管被描述为单个系统，但是导航系统实际上可以包括多个系统来实现前述的路线和规划功能。在这方面，导航系统168和/或数据134可以存储详细的地图信息，例如，识别道路、车道线、交叉路口、人行横道、限速、交通信号、建筑物、标志、实时交通信息、植被或其他这样的对象和信息的形状和高度(elevation)的非常详细的地图。换句话说，该详细地图信息可以定义包括道路以及这些道路的速度限制(法定速度限制)的车辆预期环境的几何形状。具体地，地图信息可以包括定义道路特征的几何形状的道路图，诸如车道、中央分隔带、路缘、人行横道等。作为示例，道路图可以包括彼此连接的多个点和/或线段，这些点和/或线段定义了前述道路特征的几何形状(例如，尺寸、形状、维度和位置)。这些特征的坐标可以在欧几里德坐标系中定义，使得几何形状包括x、y和z维度，即每个道路特征相对于地球上某个点的横向、纵向和高度信息。当然，这些尺寸可以在GPS坐标或其他坐标系统中定义。道路图还可以包括识别车辆预期如何在给定道路上行进的信息，包括方向(即，每条车道上交通的合法方向)、车道位置、速度等。例如，该地图信息可以包括关于交通控制的信息，诸如交通信号灯、停车标志、让行标志等。该信息结合从感知系统172接收的实时信息，可以被计算设备110用来确定哪些方向的交通是迎面而来的车道和/或在给定位置具有通行权。

感知系统172还包括一个或多个用于检测车辆外部对象的组件，诸如其他车辆、道路上的障碍物、交通信号、标志、树木等。例如，感知系统172可以包括一个或多个成像传感器，包括可见光相机、热成像系统、激光和射频检测系统(例如，LIDAR、RADAR等)、声纳设备、麦克风和/或记录可由计算设备110处理的数据的任何其他检测设备。可见光相机或其他类型的图像捕获系统可以被配置为在相对于车辆的前向方向上捕获一个或多个图像。激光检测传感器或其他类型的传感器可以提供直接距离测量，这可能具有距离限制。在具有不同范围约束的一个或多个成像传感器中可以有短距离传感器和远距离传感器。例如，短距离传感器的范围限制可以是60米，或者更大或更小。长距离传感器的范围限制可能大于短距离传感器的范围限制，诸如150米。在一个或多个短距离传感器的范围限制之外的点处，感知系统172收集数据的能力可能降低。

感知系统172的一个或多个成像传感器可以检测对象及其特征，诸如位置、方向、尺寸、形状、类型、运动方向和速度等。来自传感器的原始数据和/或前述特征可以被量化或排列成描述函数或向量，并被发送到计算设备110以供进一步处理。作为示例，计算设备110可以使用定位系统170来确定车辆的位置，并且当需要安全到达该位置时，使用感知系统172来检测和响应对象。

图2是车辆100的示例外部视图，包括感知系统172的各个方面。例如，上车顶(roof-top)外壳210和圆顶(dome)外壳212可以包括LIDAR传感器或系统以及各种相机和雷达单元。此外，位于车辆100前端的外壳220和车辆驾驶员侧和乘客侧的外壳230、232可以各自存储LIDAR传感器或系统。例如，外壳230位于驾驶员门260的前面。车辆100还包括同样位于车辆100车顶的雷达单元和/或相机的外壳240、242。附加的雷达单元和相机(未示出)可以位于车辆100的前端和后端和/或沿着车顶或上车顶外壳210的其他位置。

示例方法

除了上面描述的和附图中示出的操作之外，现在将描述各种操作。应当理解，以下操作不必按照下述的精确顺序来执行。相比之下，可以以不同的顺序或同时处理各种步骤，并且还可以添加或省略步骤。

使用感知系统172中的图像捕获系统，车辆的计算设备110可以在相对于车辆100的航向的前向方向上捕获的图像。车辆100的航向或车辆100的姿态可以与捕获的图像相关联地存储。图3A中示出了示例第一图像300。在第一图像300中捕获的是多个道路特征，包括车道302、304、306、312、314、316、车道线308、310、318、320和中央分隔带322。车辆100在第一车道302行进。第二车道304和第三车道306被描绘在第一图像300中，用于与第一车道302相同的行进方向。虚线车道线308和310被示出为将车道302、304和306中的每一个相互限定。第四车道312、第五车道314和第六车道316示出为与第一车道302相反的行进方向。虚线车道线318和320被示出为将车道312、314和316中的每一个相互限定。车道312、314和316在第一图像300中被示为通过中央分隔带322与车道302、304和306分开。除了上面讨论的那些之外，还可以在第一图像中捕获其他道路特征，诸如实线车道线、双车道线、路标、交通灯等。

由感知系统172中的图像捕获系统捕获的示例第二图像400在图4A中示出。在第二图像400中捕获的多个道路特征包括道路特征，诸如车道402、404、406、412、414、车道线408、410、416、双车道线420、十字路口424和交通灯430、432、434、436等。交通灯430、432、434和436的停止灯用红光频率点亮，如图中阴影所示。在第二图像400中捕获的其他对象还包括车辆440、442、444、446、448、450、452、454、456、460和462。车辆440和442的尾灯用红光频率点亮，如图中阴影所示。车辆454顶部和车身上的灯用红光频率点亮，如图中阴影所示。车辆100的行进车道是车道402。车道404和406用于与车道402相同的行进方向。车道412和414用于与车道402相反的行进方向。十字路口424至少近似垂直于车道402的行进方向。车辆440在车道402，车辆442在车道404。车辆444、446、450、452和456在车道412，而车辆448和454在车道414。车辆460和462在十字路口424。

车辆的计算设备110可被配置为根据存储在地图信息中的道路的几何形状在捕获的图像中选择一个或多个区域。所选择的一个或多个区域可以是迎面而来的交通的区域。根据捕获的图像时车辆100的姿态，通过将道路图的各种道路特征(诸如车道、路缘中央分隔带等)的几何形状投影到捕获的图像中，来确定捕获的图像中描绘的道路的几何形状。可选地，捕获的图像中描绘的道路的几何形状可以通过检测捕获的图像中的道路特征并将它们与道路图中定义的道路特征的几何形状进行比较来确定。

回到图4A，基于在捕获第二图像时车辆的姿态，车辆的计算设备110可以通过将道路图的各种特征的几何形状投影到图像中和/或通过检测第一图像中的道路特征(例如，使用各种图像处理技术)并将这些特征与道路图的道路特征的几何形状进行比较，来确定第一图像400中描绘的道路的几何形状。在这方面，计算设备110可以检测车道402、404、406、412、414、车道线408、410、416、双车道线420以及其他道路特征。

基于道路图中存储的这样的信息，道路特征可用于识别与车辆100的行进车道方向相同的车道和与车辆的行进车道方向相反的车道。相反方向的车道可以是相同道路的一部分，也可以是不同道路的一部分。所选的一个或多个区域可以是图像中相反方向的车道所在的区域。

回到图3A，基于中央分隔带322的道路特征的物理位置和类型和/或与道路图中识别的车道312、314、316的方向相比的车道302(车辆100当前行进于其中)的交通方向，车辆的计算设备110可以确定车道312、314和316与车辆100当前行进于其中的车道302的方向相反，或者更确切地说，是迎面而来的交通车道。这样，如图3B所示，示例第一图像300中的区域330可以由车辆的计算设备110在第一图像300中选择。车辆的计算设备110然后可以基于道路特征来定义区域330，道路特征包括车道312、314和316，车道线318和320，以及在第一图像300中可见的中央分隔带322和/或道路图中识别的信息。结果，区域330被选择为包括车道312、314和316所在的第一图像300的区域。

转到第二图像400的图4B的示例，区域470可以由车辆的计算设备110选择。车辆的计算设备110可至少基于双车道线420的道路特征的位置和类型来确定车道412和414是与车辆的行进车道402相反的方向或迎面而来的交通。车辆的计算设备110然后可以基于包括车道412、414和车道线416、420的道路特征来定义区域470。结果，区域470被选择为包括车道412和414在第二图像中可见的区域的第二图像400的区域。

车辆的计算设备110然后可以在所选择的一个或多个区域中生成一个或多个门或感兴趣的区域。每个门可以表示距车辆特定距离处的感兴趣区域。每个门可以跨越至少一条或多条道路的宽度，所述道路包含与车辆相反的交通方向或迎面而来的交通的车道。每个门的高度可以基于估计的紧急车辆尺寸，诸如最高的紧急车辆的平均高度。例如，每个门的高度可以是3.5米，或者更大或更小。每个门的高度可以基于该区域中紧急车辆的预期最大高度。一个或多个门可以以规则的距离生成，诸如每15米，或者可以根据特定距离处的感兴趣程度而变化。这些距离可以使用检测到的3D几何信息来确定，或者基于捕获的图像的视角来估计。

可以从车辆的短距离传感器的范围结束的地方开始生成一个或多个门，诸如60米，或者更大或更小。一个或多个门可以终止于这样的距离，在该距离处，车辆的相反方向的交通车道在图像中变得不可察觉，或者在该距离处，标称紧急车辆将变得小于捕获的图像中的第一阈值像素量。可选地，一个或多个门可以在车辆的远距离传感器的范围结束的地方结束，诸如150米。在另一个替代示例中，一个或多个门可以由车辆的计算设备110或远距离计算设备使用已知的地图信息生成。然后，可以在地图信息中的特定位置处为给定道路生成一个或多个门。每个门之间的距离可以是给定道路上的设定道路长度。

例如，如图3C所示，在示例第一图像300中最近的第一门340可以跨越三个车道312、314、316的宽度或横向距离，这三个车道被包含在选定区域330内，距离车辆100 60米。每个随后的门，诸如门342、344、346、348、350和352，可以被确定为与前一个门相距15米的距离。图3C中的第一图像300中的每个门大约有三(3)米高。从第一图像300的视角来看，由于与车辆100的距离增加，每个后续的门可能看起来比前一个门更短。第一图像300中的门延续到150米，在此远距离传感器的范围结束。

转到图4C的示例第二图像400，第一门480可以被生成为最近的门，并且可以跨越两个车道412、414的宽度或横向距离，这两个车道412、414在离车辆100 60米的距离处被包含在所选区域470内。每个随后的门，诸如门482、484、486、488、490和492，可以被确定为与前一个门相距15米的距离。图4C中的第二图像400中的每个门大约有三(3)米高。从第二图像400的视角来看，由于与车辆100的距离增加，每个后续的门可能看起来比前一个门更短。第二图像400中的门延续到150米，在此远距离传感器的范围结束。

在一些实现中，车辆的计算设备110还可以遮蔽与和紧急车辆的检测不相关的对象相关联的像素。例如，不相关的对象可以包括交通灯、在与车辆100相同的方向上行进的车辆、或者具有蓝光和/或红光或者通常与紧急车辆相关联但不是紧急车辆的其他光频率的其他对象。可以通过将检测到的对象分类为不相关的对象，使用与检测到的对象相关联的3D几何信息将检测到的对象投影到捕获的图像中，并且将检测到的对象的投影所覆盖的像素识别为不相关，或者“遮蔽”像素，来执行该图像遮蔽。如图5所示，可以对第二图像400进行过滤，以遮蔽与诸如交通灯、与车辆相同行进方向的车道以及相同方向行进的车辆等对象相关联的像素。具体地，交通灯430、432、434、436，与车辆100行进方向相同的车道402、404、406，以及在第二图像400中的这些车道中行进的车辆440、442可以被遮蔽，如输出图像500中的白色部分502、504、506、508和510所示。

在生成一个或多个门之后，车辆的计算设备110可以确定在一个或多个门内是否有任何红光或蓝光。红光可以包括频率在大约405-480THz范围内的光。蓝光可以包括频率在大约620-680THz范围内的光。确定一个或多个门内是否有任何红光或蓝光可以包括针对红光频率或蓝光频率过滤捕获的图像。虽然这里描述的示例方法讨论了红光和/或蓝光，但是该方法也可以针对可能与紧急车辆或可能需要车辆100的特定响应的其他类型的车辆相关联的其他频率的光来执行。

例如，在图6A中，示出由感知系统172的图像捕获设备捕获的第二图像400的经裁剪图像部分600。经裁剪图像部分600中描绘的对象包括道路特征，诸如车道402、404、412、414、车道线408、416、420、十字路口424和交通灯436等。经裁剪图像部分600中描绘的对象还包括车辆440、448的一部分和车辆450、452、454、456。

如图6B所示，可以基于红光频率过滤经裁剪图像部分600，以识别红光，如输出图像602所示。在输出图像602中，与经裁剪图像部分600的其余部分形成对比，示出了车辆454上或周围的多个红光604。多个红光604包括光A、B、C、D和E，其中光A-D出现在车辆454的顶部，光E出现在车辆454的车身上。如图4B所示，由于交通灯436被遮蔽，交通灯436上的红光没有在输出图像602中示出。虽然仅示出了裁剪后的图像部分600，但是可以对整个图像400执行过滤过程。可以基于蓝光频率将相同的过滤过程应用于图像400，以识别图像中的蓝光。

在一些示例中，捕获的图像可以由车辆的计算设备110使用中心环绕(center-surround)过滤器进行过滤，以检测在一个或多个门中哪里存在鲜明的颜色对比，从而在利用频率进行过滤之前或代替利用频率进行过滤，识别哪里可能存在有色光。此外，在利用频率过滤之前或代替利用频率过滤，可以基于光能过滤捕获的图像以识别哪里可能有亮光。此外，确定一个或多个门内否有任何红光或蓝光可以附加地或替代地包括识别或标记一个或多个门内的红光或蓝光。可以使用深度网络或其他类型的机器学习方法来执行识别或标记。

车辆的计算设备110然后可以识别与一个或多个门中的给定门中的红光和/或蓝光的组相对应的候选紧急车辆。红光和/或蓝光的组可以是给定门内的多个红光和/或蓝光，它们彼此非常接近或在阈值距离内，诸如彼此在一(1)米或者更大或更小的距离内。识别候选紧急车辆可以包括根据红和/或蓝光的组和给定的门生成第一候选车辆多边形。在第一候选车辆多边形中被捕获或被捕获超过50％的车辆可以被识别为候选紧急车辆。第一候选车辆多边形的尺寸可以是紧急车辆的估计或平均宽度和高度。或者，宽度可以与红光和/或蓝光的组的宽度相同或相似，或者高度可以与给定门的高度相同或相似。此外，在捕获的图像中生成的第一候选车辆多边形的尺寸可以与给定门的距离或尺寸相对应，诸如与车辆具有相同或相似的距离，或者与给定门具有相同或相似的高度。第一候选车辆多边形的位置也可以与红或蓝光的组的位置相对应。也就是说，第一候选车辆多边形可以被定位成使得第一候选车辆多边形包含红和/或蓝光的组。可以以相同或相似的方式在捕获的图像中识别附加的候选紧急车辆。

如图7所示，可以基于在输出图像602中识别的红光的组生成第一候选车辆多边形702(这里描述为方框或矩形，尽管可以使用具有更多或更少顶点的其他多边形)。图6B中示出的红光A、B、C和D可以由车辆的计算设备110识别为组，基于多个红光604中的每个光在至少一个其他光的一(1)米内，红光A、B、C和D被识别为组。红光E可能不被识别为该组的一部分，因为它距离光A、B、C和D中的每一个都大于一(1)米。第一候选车辆多边形702的宽度包含红光A-D组的宽度，并且其高度与门486的高度相同。车辆454被完全捕获在第一候选车辆多边形702中，因此被识别为候选紧急车辆。

识别候选紧急车辆还可以包括确定在捕获的图像之前和/或之后捕获的一个或多个附加图像中是否有附加的红光和/或蓝光。为了捕获闪光，可以包括使用一个或多个附加图像。一个或多个附加图像可以在捕获的图像的一(1)秒内拍摄。可以以与上述相同或相似的方式在一个或多个附加图像中确定附加的红光和/或蓝光，包括选择一个或多个区域并生成一个或多个门。一个或多个附加图像中的附加红光和/或蓝光可以被车辆的计算设备110用来(i)生成一个或多个聚合的输出图像以生成更准确的候选车辆多边形，和/或(ii)验证第一候选车辆多边形。

在一些实现中，可以使用捕获的图像和一个或多个附加图像来生成一个或多个聚合的输出图像，以增加用于检测目的的光能的量或者增加候选车辆多边形的定位精度。增加可检测的光能的量可以导致紧急车辆的较高的车辆检测分数。例如，来自捕获的图像的红光和/或蓝光以及来自一个或多个附加图像中的至少一个的红光和/或蓝光可以被组合在聚合的输出图像中。可以生成多个聚合的输出图像，诸如从在第一时间段内拍摄的第一组图像生成的第一聚合的输出图像，以及从在第一时间段之后(或紧接在第一时间段之后或与其部分重叠)的第二时间段拍摄的第二组图像生成的第二聚合的输出图像。这些时间段中的每一个都可以相对短暂，例如大约0.5秒，或者更大或更小。可以在每个聚合的输出图像中检测红光和/或蓝光的组，并且除了第一候选车辆多边形之外或者代替第一候选车辆多边形，可以生成与该组相对应的候选紧急车辆方框。可以以与上述捕获的图像的第一候选车辆多边形相同或相似的方式，为每个聚合的输出图像中的候选紧急车辆生成候选车辆多边形。

如图8所示，第1列示出了示例第二图像400的图像部分600的透视图；第2列示出了在图像400之后拍摄的第一附加图像的图像部分802的透视图；第3列示出了在第一附加图像之后拍摄的第二附加图像的图像部分804的透视图。示例第二图像400和第一附加图像的捕获时间可以在十分之一秒内，并且第一附加图像和第二附加图像的捕获时间可以在十分之一秒内。第一和第二附加图像的图像部分802、804可以示出与示例第二图像400的图像部分600大致相同的地理区域。具体地，图像部分600、802和804中的每一个可以示出车辆454。如在图像部分中捕获的，车辆454顶部和车辆454车身上的光可以以不同的模式点亮。

图8中的第1行示出了每个图像部分的原始输入，第2行示出了如参考图6A和图6B所述获得的每个图像的过滤后的红光输出。第3行示出了当过滤的红光输出被加在一起时的累积的光输出。第3行第1列的输出图像与第2行第1列的输出图像相同。第3行的第2列中的输出图像是示出来自第2行的第1列和第2列中的输出图像的光输出的总和的集合的输出图像。第3行的第3列中的输出图像是示出来自第2行的第1、2和3列中的输出图像的光输出的总和的聚合的输出图像。如上所述，从第3行的第3列中的聚合输出图像输出的红光可以用于生成第一候选车辆多边形702，以代替输出图像602的第一候选车辆多边形。

在一些情况下，每个候选车辆多边形可以被验证或者与另一候选车辆多边形进行比较，以便确认该候选车辆多边形是活动的紧急车辆。为了验证第一候选车辆多边形，可以根据一个或多个附加图像中的每一个的附加红光和/或蓝光来生成附加候选车辆多边形。当一个或多个附加图像的至少一个中的至少一个附加候选车辆多边形与和第一候选车辆多边形相同的候选紧急车辆相对应时，可以验证捕获的图像中的第一候选车辆多边形。当第一候选车辆多边形和另外的候选车辆多边形对应于相同候选紧急车辆时，车辆的计算设备110可以创建候选车辆多边形之间的关联。车辆的计算设备110然后可以使用相关联的候选车辆多边形来追踪候选紧急车辆随时间的行为。被追踪的行为可以包括例如闪光、航向改变、运动等。

可以通过将至少一个附加的候选车辆多边形投影到捕获的图像中来执行验证。将至少一个附加的候选车辆多边形投影到捕获的图像中可以包括基于(i)至少一个附加的候选车辆多边形的尺寸和位置以及(ii)捕获的图像和相应的至少一个附加的图像之间的车辆的相对运动，在捕获的图像中对准至少一个附加的候选车辆多边形。当相似性的度量超过第二阈值量时，至少一个附加图像中的给定附加图像可以与捕获的图像相关联。相似性的度量可以基于第一候选车辆多边形和投影到捕获的图像中的至少一个附加候选车辆多边形中的给定附加候选车辆多边形之间的物理交集的量来确定。例如，对于第一候选车辆多边形和给定的附加候选车辆多边形，可以使用Jaccard指数或检测评价函数(intersection-over-union)来确定相似性的度量。

如图9所示，除了关于图7生成的候选车辆多边形702之外，示例第二图像400具有投影到第二图像中的附加候选车辆多边形902。可能已经为感知系统172的图像捕获系统先前捕获的图像生成了附加的候选车辆多边形902。先前捕获的图像可能是在第二图像400的十分之一秒内捕获的。可选地，可以使用来自在第二图像400之前或之后一秒捕获的图像的其他候选车辆多边形。车辆的计算设备110可以使用Jaccard指数来确定候选车辆多边形702和902之间的相似性的度量。假设候选车辆多边形902的大部分与候选车辆多边形702重叠，则候选车辆多边形702和902之间的相似性的度量较高。车辆的计算设备110可确定相似性的度量大于第二阈值量，并验证候选车辆多边形702。车辆的计算设备110还可以出于追踪目的创建候选车辆多边形702和候选车辆多边形902之间的关联。

在用至少一个附加的候选车辆多边形验证第一候选车辆多边形之后，车辆的计算设备110可以确定候选紧急车辆是活动的紧急车辆。在一些示例中，当候选紧急车辆具有闪光时，候选紧急车辆可以被确定为活动的。该确定可以包括将第一候选车辆多边形中的红光和/或蓝光与至少一个附加候选车辆多边形中的红光和/或蓝光进行比较。光的数量、光的强度或光的位置的差异可以是候选紧急车辆具有闪光的指示。

例如，第一候选车辆多边形和至少一个附加候选车辆多边形可以基于第一候选车辆多边形和至少一个附加候选车辆多边形中的特征(诸如候选紧急车辆的锚光或其他部件的位置)来对准。可以确定第一候选车辆多边形和至少一个另外的候选车辆多边形中的光能之间的相似性的度量，诸如通过取候选车辆多边形之间的绝对差的和或者比较每个候选车辆多边形中的总光能的最大值。当相似性的度量小于第三阈值量时，候选紧急车辆可以被确定为具有闪光，因此是活动的。

在图10中，示出了根据本公开的方面的描绘了候选紧急车辆的一系列图像。第1行的第1列示出了示例第二图像400的一部分，其示出了第一候选车辆多边形702中的候选紧急车辆454。第1行的第2列示出了先前捕获的图像的一部分，该部分示出了附加候选车辆多边形902中的候选紧急车辆454。附加候选车辆多边形902中的候选紧急车辆454的顶部和车身上的光可以以与第1列中不同的模式点亮，如阴影所示。在第2行的第1列和第2列中分别示出了示例第二图像的该部分的过滤的输出1002和先前捕获的图像的过滤的输出1012。过滤的输出可以从过滤的输出图像中获得。例如，过滤的输出1002可以从输出图像602获得。车辆的计算设备110可比较过滤的输出1002和1012，并确定过滤的输出1002中的总光能和过滤的输出1012中的总光能之间的相似性的度量低于第三阈值量。车辆的计算设备110因此可以确定候选紧急车辆454是活动的候选紧急车辆。

在一些实现中，确定候选紧急车辆是活动的紧急车辆也可以验证候选紧急车辆。验证可以包括消除可能的假阳性，诸如通过相比其他检测到的对象的特征来检查活动的候选紧急车辆的特征，和/或使用来自除了相机之外的传感器的数据来确认在候选紧急车辆的位置处检测到对象等。为了消除假阳性，车辆的计算设备110可以基于由车辆的其他系统(例如，感知系统的不同传感器和/或处理系统)检测到的那些检测到的对象的特征，过滤在给定图像中检测到的对象，所述特征是活动的紧急车辆的不典型特征或者活动的紧急车辆的不可靠指示器。这些特征可以包括当另一检测到的对象(i)是静止的，(ii)非车辆，(iii)不可识别的对象以小于1米/秒的速度移动，(iv)在距车辆的最小距离内，(v)被图像的边缘遮挡，或者(vi)具有相对于车辆直接迎面而来的航向大于60度的航向。

车辆的计算设备110然后可以在用于验证候选紧急车辆的检测到的对象是活动的紧急车辆的不典型特征时，将候选紧急车辆作为假阳性丢弃。例如，当用于验证候选紧急车辆的检测的对象具有相对于车辆不是迎面而来的航向时，候选紧急车辆可以作为假阳性被丢弃。例如，当航向与直接迎面而来的航向成大于60度时，该航向可被确定为非迎面而来。使用航向过滤掉非迎面而来的车辆，尤其是在弯道上的非迎面而来的车辆，其中非迎面而来的车辆的尾灯可能被一个或多个门内的检测系统捕获。过滤检测到的对象还可以包括将在先前拍摄的图像中过滤的检测到的对象的位置投影到更近拍摄的图像，并且过滤在更近拍摄的图像中处于投影位置的对象。

作为另一示例验证，可以使用来自除了相机之外的传感器等的数据来确认在候选紧急车辆的位置处检测到对象。例如，来自雷达传感器的数据，即使具有高噪声，也可以用于确认到对象的距离和位置。这可以为超出诸如LIDAR传感器的其他传感器的感知范围的对象提供确认。

在其他情况下，验证候选紧急车辆可以包括确定检测到的对象的验证分数。对于指示候选紧急车辆是活动的紧急车辆的每个附加信息或信号，例如在上述任何示例中，可以增加该候选紧急车辆的验证分数。类似地，对于指示候选紧急车辆不是活动的紧急车辆的每个附加信息或信号(例如，以上示例中的任何假阳性特征)，可以降低该候选紧急车辆的验证分数。举例来说，在某些情况下，在风中飘动的橙色旗帜看起来像闪光，其他车辆的尾灯看起来闪烁，因为它们偶尔被遮挡，等等。

候选紧急车辆的该验证分数可以与一个或多个阈值进行比较。例如，只有当验证分数达到某个最小值时，候选紧急车辆才被“公布”或者被车辆100的各种系统(诸如导航系统168)使用，以便确定如何控制车辆。另外或可选地，导航系统168可以使用该分数来确定是否简单地忽略候选紧急车辆。例如，取决于相对于一些地图特征的位置、与车辆100的距离、速度、预测的未来轨迹，甚至相对高的验证分数也可能被忽略。同时，考虑到这些相同的因素，相对较低的验证分数也可以被视为车辆100应该响应的事情。例如，如在第一图像300的示例中，即使候选紧急车辆的验证分数相对较高(例如，候选紧急车辆不太可能进入车道302或以其他方式与车辆100直接交互)，在给定中央分隔带的位置的情况下，响应候选紧急车辆可能不太重要，而如在第二图像400的示例中，即使候选紧急车辆454的确认分数相对较低，考虑到车辆100需要与候选紧急车辆454交互的可能性，响应接近交叉路口的候选紧急车辆可能更重要。

在一些情况下，由感知系统检测到的对象的特征可以由车辆的计算设备110估计，并被分配给或用于表征候选紧急车辆。特别地，可以使用感知系统中的噪声传感器来检测对象的位置，诸如在纵向维度上比横向维度上更可靠的雷达传感器。可以通过计算误差来估计位置，诸如三维误差椭圆(error ellipse)。给定的被检测对象的误差椭圆可以基于给定的被检测对象的平滑坐标和相应的协方差估计来确定。估计的位置可以被投影到给定图像中以生成边界框。车辆的计算设备110然后可以确定候选紧急车辆的中心是否落在给定的检测到的对象的边界框内。当中心落在边界框内时，给定的检测到的对象的分数可以增加。在一些实现中，分数可以是当中心落在边界框内时增加1的计数。此外，当候选紧急车辆不在检测到的对象的边界框内时，计数可以减少或者甚至重置。在其他示例中，可以使用用于是否中心不在边界框内的更一般的测试，诸如考虑用于生成度量的替代传感器的噪声特征的测试。检测到的对象具有候选紧急车辆的最高分数可以用于表征候选紧急车辆。例如，具有最大验证分数的检测到的对象的距离、速度、航向或其他确定或检测到的特征可以被分配给候选紧急车辆。

在确定候选紧急车辆是活动的紧急车辆之后，车辆的计算设备110可以根据活动的紧急车辆的特征来操作车辆。特征可以包括活动的紧急车辆的位置、运动、速度或预测路线。车辆的计算设备110可以基于与被确定为活动的紧急车辆的车辆相对应的一个或多个候选车辆多边形或一个或多个门的特征来识别活动的紧急车辆的特征。例如，活动的紧急车辆454的距离和位置可以是与候选车辆多边形702或另一个最近的候选车辆多边形的距离和位置相同的相对于车辆100的距离和位置。操作车辆可以包括将这些特征提供给导航系统，以使导航系统能够生成让出或以其他方式避开活动的紧急车辆的轨迹，控制转向系统远离或绕过活动的紧急车辆，控制减速系统减速到未来的停止，和/或适当地响应活动的紧急车辆的其他动作。

虽然这里的示例涉及检测迎面而来的车道上的紧急车辆，但是偶尔紧急车辆可能在相同的行进车道上行进，但是方向相反。例如，在第二图像400中描绘的交叉路口，如果在候选紧急车辆454和交叉路口之间有车辆，则紧急车辆的驾驶员可以决定进入车道402，以便绕过其他车辆。在这方面，类似的特征可以用于检测非迎面而来的交通车道中的候选紧急车辆(例如，在与车辆100当前行进的车道大致相同的方向上行进的车辆)。然而，在这样的情况下，可能很难区分其他车辆的尾灯，因此，可能会有明显更多的假阳性。

图11示出了根据本公开的方面的示例流程图。更具体地，图11示出了由车辆的计算设备110执行的用于检测紧急车辆的示例方法的流程。备选地，示例方法中的一个或多个步骤可由远离车辆100的一个或多个计算设备执行。

在框1102，接收从车辆视角观察的环境的多个图像。多个图像可以包括第一图像，诸如图4A中所示的图像400，以及附加图像。可以使用自主车辆的图像捕获系统来捕获第一和附加图像。在框1104，在多个图像中生成一个或多个门。一个或多个门的每一个表示距车辆相应距离处的感兴趣区域。例如，对于图像400，可以如图4C所示生成门480、482、484、486、488、490和492。一个或多个门的每一个表示距多个图像中的每个图像的视角给定距离处的感兴趣区域。在框1106，在一个或多个门内检测多个光。例如，可以在一个或多个门内检测红光和/或蓝光。例如，如图6A-图6B所示，可以在图像400中检测红光A-E。

在框1108，在第一图像的一个或多个门的给定门中识别与检测到的多个光的组相对应的第一候选紧急车辆。在图像400中，车辆454可以被识别为候选紧急车辆。在框1110，在附加图像的一个或多个门中的一些门中识别与检测到的多个光的组相对应的第二候选紧急车辆。可以使用与第一候选紧急车辆相同的方法来识别第二候选紧急车辆。在框1112，第一候选紧急车辆和第二候选车辆可以被确定为相同的给定紧急车辆。例如，图像400中的车辆454可以被确定为在图像400以及先前捕获的图像中识别的候选紧急车辆。在框1114，给定紧急车辆可以被确定为是活动的。在框1116，可以基于给定紧急车辆是活动的确定，操作自主车辆的操作系统。例如，操作系统可以被操作来让位于活动的紧急车辆，或者根据交通法规和其他最佳驾驶实践来适当地响应活动的紧急车辆的运动。

上述特征可以提供一种自主车辆，其能够在更早的时间点、更远的距离并且使用比其他机器学习技术更少的数据来识别在外观上变化很大的紧急车辆。这样，自主车辆然后可以在更早的时间点开始准备响应紧急车辆。此外，所描述的特征还提供了一种识别假阳性的方法，该方法允许自主车辆对其环境中的对象做出准确的响应。

除非另有说明，否则前述替代示例并不相互排斥，而是可以以各种组合来实现，以实现独特的优点。由于在不脱离权利要求所定义的主题的情况下，可以利用上述特征的这些和其他变化和组合，因此实施例的前述描述应当被视为说明性的，而不是对权利要求所定义的主题的限制。此外，在此描述的示例的提供，以及措辞为“诸如”、“包括”等的从句，不应该被解释为将权利要求的主题限制到特定的示例；相比之下，这些示例旨在仅示出许多可能实施例中的一个。此外，不同附图中的相同附图标记可以识别相同或相似的元件。

Claims (22)

1.一种用于检测紧急车辆的系统，所述系统包括：

车辆的操作系统；和

与操作系统通信的一个或多个计算设备，所述一个或多个计算设备被配置为：

接收从车辆的视角观察的环境的多个图像，所述多个图像包括第一图像和附加图像；

在所述多个图像中生成一个或多个门，所述一个或多个门中的每一个表示距车辆相应距离处的感兴趣区域；

检测所述一个或多个门内的多个光；

识别与第一图像的所述一个或多个门中的给定门中的检测到的多个光的组相对应的第一候选紧急车辆；

识别与附加图像的所述一个或多个门中的一些门中的检测到的多个光的组相对应的第二候选紧急车辆；

确定第一候选紧急车辆和第二候选紧急车辆是相同的给定紧急车辆；

确定给定紧急车辆是活动的；和

基于给定紧急车辆是活动的确定，操作车辆的操作系统。

2.根据权利要求1所述的系统，其中，所述一个或多个计算设备还被配置为选择在其内生成所述一个或多个门的一个或多个区域。

3.根据权利要求1所述的系统，其中，所述一个或多个计算设备还被配置为遮蔽第一图像中与环境中和紧急车辆不相关的区域相关联的像素。

4.根据权利要求1所述的系统，其中，所述一个或多个计算设备被配置为基于第一候选车辆多边形来识别第一候选紧急车辆，所述第一候选车辆多边形被生成为包含第一图像中的给定门内的检测到的多个光的组。

5.根据权利要求4所述的系统，其中，所述一个或多个计算设备被配置为基于以下来确定第一候选紧急车辆和第二候选紧急车辆是相同的给定紧急车辆：

第二候选车辆多边形，其被生成为包含附加图像中的检测到的多个光的组和给定门；和

第一候选车辆多边形和第二候选车辆多边形之间的相似性的度量。

6.根据权利要求4所述的系统，其中，所述一个或多个计算设备还被配置为基于第一候选车辆多边形来识别活动的紧急车辆的特征。

7.根据权利要求1所述的系统，其中，所述一个或多个计算设备被配置为基于对第一候选紧急车辆或第二候选紧急车辆的验证来确定给定紧急车辆是活动的。

8.根据权利要求6所述的系统，其中，验证包括相比其他检测到的对象来检查活动的候选紧急车辆的特征。

9.根据权利要求6所述的系统，其中，验证包括过滤在所述一个或多个门内检测到的对象的假阳性。

10.根据权利要求1所述的系统，其中，所述一个或多个计算设备还被配置为基于第一图像的所述一个或多个门或附加图像的所述一个或多个门来识别活动的紧急车辆的特征。

11.根据权利要求1所述的系统，其中，车辆的操作系统是用于规划车辆轨迹的导航系统。

12.根据权利要求1所述的系统，其中，车辆的操作系统是用于将车辆减速至停止的减速系统。

13.根据权利要求1所述的系统，其中，车辆的操作系统是用于控制车轮角度以使车辆转向的转向系统。

14.根据权利要求1所述的系统，其中，所述一个或多个处理器被配置为通过识别特定频率范围内的光来检测所述多个光。

15.根据权利要求1所述的系统，其中，所述一个或多个处理器被配置为通过过滤特定频率范围之外的光来检测所述多个光。

16.一种用于检测紧急车辆的方法，所述方法包括：

由一个或多个计算设备接收从自主车辆的视角拍摄的多个图像，所述多个图像包括第一图像和附加图像；

由所述一个或多个计算设备在所述多个图像中生成一个或多个门，所述一个或多个门中的每一个表示距车辆相应距离处的感兴趣区域；

由所述一个或多个计算设备检测所述一个或多个门内的多个光；

由所述一个或多个计算设备识别与第一图像的所述一个或多个门中的一些门中的检测到的多个光的组相对应的第一候选紧急车辆；

由所述一个或多个计算设备识别与附加图像的所述一个或多个门中的给定门中的检测到的多个光的组相对应的第二候选紧急车辆；

由所述一个或多个计算设备确定第一候选紧急车辆和第二候选紧急车辆是相同的给定紧急车辆；

由所述一个或多个计算设备确定给定紧急车辆是活动的；和

由所述一个或多个计算设备基于给定紧急车辆是活动的确定，操作车辆的操作系统。

17.根据权利要求16所述的方法，还包括由所述一个或多个计算设备选择在其内生成所述一个或多个门的一个或多个区域。

18.根据权利要求16所述的方法，还包括由所述一个或多个计算设备遮蔽第一图像中与和紧急车辆不相关的对象相关联的像素。

19.根据权利要求16所述的方法，其中，识别第一候选紧急车辆包括生成第一候选车辆多边形，以包含第一图像中的检测到的多个光的组和给定门。

20.根据权利要求19所述的方法，其中，确定第一候选紧急车辆和第二候选紧急车辆是相同的给定紧急车辆包括：

生成第二候选车辆多边形以包含附加图像中的检测到的多个光的组和给定门；

将第二候选车辆多边形投影到第一图像中；

确定第一候选车辆多边形和投影的第二候选车辆多边形之间的相似性的度量；和

当相似性的量大于阈值量时，确定第一候选紧急车辆和第二候选紧急车辆是相同的给定紧急车辆。

21.根据权利要求16所述的方法，其中，确定给定紧急车辆是活动的包括验证第一候选紧急车辆或第二候选紧急车辆。

22.根据权利要求16所述的方法，其中，基于第一图像的所述一个或多个门或附加图像的所述一个或多个门来识别活动的紧急车辆的特征。

Images