CN113928335A - 用于控制具有自主驾驶模式的车辆的方法和系统 - Google Patents

Abstract

本公开的方面涉及控制具有自主驾驶模式的车辆。例如，可以确定交通灯的当前状态。可基于交通灯的当前状态来选择多个黄灯持续时间中的一个。可以基于所选择的一个来预测交通灯何时会变红。可以使用该预测在自主驾驶模式下控制车辆。

Description

用于控制具有自主驾驶模式的车辆的方法和系统

技术领域

本发明涉及一种用于控制具有自主驾驶模式的车辆的方法和系统，特别地，使得自主车辆能够响应黄色交通灯。

背景技术

自主车辆，例如在自主驾驶模式下运行时不需要驾驶员的车辆，可用于帮助将乘客或物品从一个位置运输到另一个位置。自主车辆的一个重要组件是感知系统，其允许车辆使用传感器，例如照相机、雷达、激光雷达传感器、和其他类似设备感知和解释其周围环境。例如，感知系统和/或车辆的计算设备可以处理来自这些传感器的数据以便识别物体以及其特性，诸如位置、形状、大小、方位、朝向、加速度或减速度、类型等。此信息对于车辆的计算系统为车辆做出恰当的驾驶决策是至关重要的。

附图说明

图1是根据本公开的方面的示例车辆的功能图。

图2是根据本公开的方面的地图信息的示例。

图3是根据本公开的方面的车辆的示例图。

图4是根据本公开的方面的系统的示例直观图。

图5是根据本公开的方面的系统的示例功能图。

图6是根据本公开的方面的地理区域的示例鸟瞰图。

图7是根据本公开的方面的示例照相机图像。

图8是根据本公开的方面的示例流程图。

发明内容

本公开的方面提供了一种控制具有自主驾驶模式的车辆的方法。该方法包括车辆的一个或多个计算设备的一个或多个处理器接收交通灯的当前状态；一个或多个处理器基于交通灯的当前状态来选择多个黄灯持续时间中的一个；基于所选择的一个预测交通灯何时会变红；并且一个或多个处理器使用该预测在自主驾驶模式下控制车辆。

在一个示例中，方法包括一个或多个处理器接收交通灯的更新状态，并且一个或多个处理器基于交通灯的更新状态来选择多个黄灯持续时间中的第二个，其中所选择的一个和第二个是不同的持续时间。在此示例中，在交通灯的更新状态之前，不依靠交通灯的任何状态来选择第二个持续时间。在另一个示例中，方法还包括确定在特定状态下最后观察到交通灯的时间，并且其中预测交通灯何时会变红进一步基于确定在特定状态下最后观察到交通灯的时间。在此示例中，特定状态是闪烁的黄灯。可替代地，特定状态是闪烁的绿灯。在另一示例中，多个黄灯持续时间包括用于交通灯的常亮绿色圆圈状态的第一黄灯持续时间和用于交通灯的绿色箭头状态的第二黄灯持续时间，并且第一黄灯持续时间和第二个黄灯持续时间是不同的持续时间。在另一示例中，多个黄灯持续时间包括用于交通灯的常亮绿色箭头状态的第一黄灯持续时间和用于交通灯的闪烁的黄色箭头状态的第二黄灯持续时间，并且第一黄灯持续时间和第二个黄灯持续时间是不同的持续时间。在另一示例中，多个黄灯持续时间存储在与交通灯相关联的表中，并且选择多个黄灯持续时间中的一个包括访问该表。在该示例中，该方法还包括一个或多个处理器确定交通灯的黄灯的持续时间并且存储所确定的持续时间供以后使用。此外，该方法还包括将所确定的持续时间发送到远程计算设备。

本公开的另一方面提供了一种用于控制具有自主驾驶模式的车辆的系统。该系统包括一个或多个处理器，其被配置为接收交通灯的当前状态；基于交通灯的当前状态来选择多个黄灯持续时间中的一个；基于所选择的一个预测交通灯何时会变红；并且使用该预测在自主驾驶模式下控制车辆。

在一个示例中，该系统还包括车辆。在另一示例中，一个或多个处理器还被配置为接收交通灯的更新状态；并且基于交通灯的更新状态来选择多个黄灯持续时间中的第二个，其中所选择的一个和第二个是不同的持续时间。在此示例中，一个或多个处理器还被配置为在交通灯的更新状态之前不依靠交通灯的任何状态来选择第二个黄灯持续时间。在另一示例中，多个黄灯持续时间包括用于交通灯的常亮绿色圆圈状态的第一黄灯持续时间和用于交通灯的绿色箭头状态的第二黄灯持续时间，其中，第一黄灯持续时间和第二黄灯持续时间是不同的持续时间。在另一示例中，多个黄灯持续时间包括用于交通灯的绿色箭头状态的第一黄灯持续时间和用于交通灯的闪烁的黄色箭头状态的第二黄灯持续时间，并且第一黄灯持续时间和第二个黄灯持续时间是不同的持续时间。在另一示例中，该系统还包括存储包括多个黄灯持续时间的表，并且一个或多个处理器还被配置为访问该表以选择多个黄灯持续时间中的一个。在该示例中，一个或多个处理器还用于确定交通灯的黄灯的持续时间；并存储确定的持续时间供以后使用。在另一示例中，一个或多个处理器还被配置为将所确定的持续时间发送到远程计算设备。

具体实施方式

概述

该技术涉及使自主车辆能够响应黄灯。例如，当自主车辆的感知系统在交通灯十字路口观察到黄灯时，车辆的计算设备必须决定车辆是应该停下来还是继续通过十字路口。用于此类确定的当前办法可能涉及基于十字路口处的行车道的速度、行车道的几何形状和/或城市或其他政府机构用于设置黄灯持续时间的其他公式来预存储默认交通灯持续时间。然而，实际上，这些持续时间在全国乃至同一座城市的设置方式可能缺乏一致性。因此，在许多情况下，黄灯可能比预期的要短或长得多，这可能导致自主车辆闯红灯或在有足够的时间通过十字路口时立即停车导致紧急制动事件。可能包括与交通灯进行通信或从交通灯接收关于黄灯持续时间的信息的其他办法可能不适合广泛使用。

为了解决这些缺点，不是简单地预先存储交通灯的默认黄灯持续时间，而是可以基于该交通灯的不同的可能转变来存储多个默认黄灯持续时间。例如，虽然一些交通灯可能只具有从绿色到黄色到红色再到绿色的转变，但其他类型的交通灯可能具有不同类型的转变。因此，对于交通灯的不同的可能转变中的每一个，可以存储不同的默认黄灯持续时间

可以以各种方式确定黄灯持续时间。例如，可以要求标记人员从视频中标记黄灯的持续时间。作为另一种办法，持续时间可以由自主车辆的车载交通灯检测系统软件模块自动确定。

使用时，当自主车辆接近交通灯时，车辆的交通灯检测系统软件模块将尝试检测交通灯的当前状态。基于交通灯的当前状态，车辆的计算设备可以确定交通灯的下一个或当前黄灯的持续时间。在这方面，车辆的计算设备可以访问交通灯的交通灯持续时间的预存储表，并且选择黄灯持续时间。该选择的黄灯持续时间然后可用于预测交通灯何时会变红，并转而确定车辆是否应该因交通灯而停车。

此信息也可以与远程计算设备(诸如后端服务器计算设备)共享。如果表的持续时间与附加的持续时间之间存在足够的差异，则可以将其用作标示交通灯的信号以进行附加分析。此外或可替代地，服务器计算设备可以向附近的其他车辆或车队的所有车辆广播该信息。这些差异还可用于确定特定交通灯是否存在任何双峰分布。换言之，黄灯持续时间可能会在一天中的不同时间和/或一周中的不同天发生变化(例如，在高峰时间或不太繁忙的时间更长)。

本文描述的特征可以使自主车辆能够识别并响应单个交通灯的不同黄灯持续时间。这可以降低此类车辆闯红灯或在不合适的时间突然刹车的可能性。

示例系统

如图1所示，根据本公开一个方面的车辆100包括各种组件。虽然本公开的某些方面对于特定类型的车辆特别有用，但是车辆可以是任何类型的车辆，包括但不限于汽车、卡车、摩托车、公共汽车、休闲车等。车辆可以具有一个或多个计算设备，诸如包含一个或多个处理器120、存储器130和通常存在于通用计算设备中的其他组件的计算设备110。

存储器130存储可由一个或多个处理器120访问的信息，包括可由处理器120执行或使用的指令132和数据134。存储器130可以是能存储可由处理器访问的信息的任何类型，包括计算设备可读介质，或存储可借助电子设备读取的数据的其他介质，诸如硬盘驱动器、存储卡、ROM、RAM、DVD或其他光盘，以及其他可写和只读存储器。系统和方法可以包括前述的不同组合，由此指令和数据的不同部分存储在不同类型的介质上。

指令132可以是由处理器直接(诸如机器代码)或间接(诸如脚本)执行的任何指令集。例如，指令可作为计算设备代码存储在计算设备可读介质上。在那方面，本文中可以互换使用术语“指令”和“程序”。指令可以目标代码格式存储以由处理器直接处理，或可以以包括脚本或独立源代码模块集合的任何其他计算设备语言存储，该独立源代码模块被按需解释或提前编译。下文将更详细地解释指令的函数、方法和例程。

处理器120可以根据指令132来检索、存储或修改数据134。例如，虽然要求保护的主题不受任何特定数据结构的限制，但是数据可以作为具有多个不同字段和记录、XML文档或平面文件的表存储在关系数据库中的计算设备寄存器中。数据也可以被格式化为任何计算设备可读格式。

一个或多个处理器120可以是任何传统处理器，诸如市售的CPU或GPU。可替代地，一个或多个处理器可以是专用设备，诸如ASIC或其他基于硬件的处理器。虽然在图1中将计算设备110的处理器、存储器和其他元件功能性地示出在同一框内，但本领域普通技术人员将理解处理器、计算设备或存储器实际上可以包括可以或不可以存储在同一物理外壳内的多个处理器、计算设备或存储器。例如，存储器可以是位于与计算设备110的外壳不同的外壳中的硬盘驱动器或其他存储介质。因此，对处理器或计算设备的引用将被理解为包括对可以或不可以并行操作的处理器或计算设备或存储器的集合的引用。

计算设备110还可以连接到一个或多个扬声器112以及一个或多个用户输入114。扬声器可以使计算设备能够向车辆的乘员，包括驾驶员，提供可听消息和信息。在一些示例中，计算设备可以连接到一个或多个振动设备，其被配置为基于来自计算设备的信号振动以便向驾驶员和/或车辆的任何其他乘员提供触觉反馈。作为示例，振动设备可由振动电机或一个或多个线性谐振致动器组成，这些线性谐振致动器放置在车辆的一个或多个乘员下方或后方，诸如嵌入车辆的一个或多个座椅中。

用户输入可以包括按钮、触摸屏或其他设备，这些设备可以使车辆的乘员，诸如驾驶员，能够向如本文所述的计算设备110提供输入。作为示例，可以专门设计触摸屏上的按钮或选项以引起从自主驾驶模式到手动驾驶模式或半自主驾驶模式的转变。

在一个方面，计算设备110可以是自主控制系统的一部分，该自主控制系统能够与车辆的各种组件进行通信以便在自主驾驶模式下控制车辆。例如，回到图1，计算设备110可以与车辆100的各种系统进行通信，诸如减速系统160、加速系统162、转向系统164、路线选择系统166、规划系统168、定位系统170和感知系统172，以便在自主驾驶模式下根据存储器130的指令132控制车辆100的运动、速度等。在这方面，这些系统中的每一个可以是一个或多个处理器、存储器、数据和指令。这样的处理器、存储器、指令和数据可以类似于计算设备110的一个或多个处理器120、存储器130、指令132和数据134来进行配置。

作为示例，计算设备110可以与减速系统160和加速系统162进行交互以控制车辆的速度。类似地，计算设备110可以使用转向系统164以便控制车辆100的方向。例如，如果车辆100被配置为在道路上使用，诸如汽车或卡车，则转向系统可以包括控制车轮的角度以使车辆转向的组件。

计算设备110可以使用规划系统168以便确定和沿着由路线选择系统16生成的路线行驶到某个位置。例如，路线选择系统166可以使用地图信息来确定从车辆的当前位置到下车地点的路线。规划系统168可以周期性地生成轨迹或短期计划，用于在未来的一段时间内控制车辆，以便沿着路线(车辆的当前路线)到达目的地。在这方面，规划系统168、路线选择系统166和/或数据134可存储详细的地图信息，例如，识别道路的形状和标高、车道线、十字路口、人行横道、限速、交通信号、建筑物、标志、实时交通信息、植被或其他此类物体和信息的高度详细的地图。此外，地图信息可以识别区域类型，诸如建筑区、学校区、住宅区域、停车场等。

地图信息可以包括一个或多个道路图形或诸如道路、车道、十字路口以及这些特征之间的连接的信息的图形网络，这些特征之间可以由路段表示。每个特征可以存储为图形数据，并且可以与诸如地理位置以及它是否链接到其他相关特征的信息相关联，例如，停车标志可以链接到道路和十字路口等。在一些示例中，相关联的数据可以包括道路图的基于网格的索引以允许有效查找某些道路图形特征。

图2是包括十字路口202和204的路段的地图信息200的示例。地图信息200可以是存储在计算设备110的存储器130中的地图信息的本地版本。地图信息的其他版本也可以存储在下文进一步讨论的存储系统450中。在该示例中，地图信息200包括识别定义车道216、218的车道线210、212、214、交通灯220、222、停车线224、人行横道230、人行道240、停车标志250、252和让行标志260的形状、位置和其他特性的信息。在这方面，地图信息包括交通灯220、222的三维(3D)位置以及识别由这些交通灯控制的车道的信息。

在一些示例中，地图信息可以识别关于交通灯的附加信息。该信息可以包括，例如，预期状态和持续时间(例如，绿灯、黄灯或红灯应该持续多久)以及识别交通灯控制哪个车道的信息。在这方面，地图信息可以存储交通灯220、222的预期状态和持续时间以及分别指示这些交通灯控制车道216、218的信息。

然而，不是简单地预先存储交通灯的默认黄灯持续时间，而是可以基于该交通灯的不同的可能转变来存储多个默认黄灯持续时间。例如，虽然一些交通灯可能仅具有从绿色到黄色到红色再到绿色的转变，但其他类型的交通灯可能具有不同类型的转变，例如从闪烁的黄色转变为常亮的黄色。

关于第一示例，交通灯220可以包括四个灯或四个灯状态。这些灯或灯状态可以包括常亮的左转红色箭头(SLRA)、常亮的左转黄色箭头(SLYA)、闪烁的左转黄色箭头(FLYA)和常亮的左转绿色箭头(SLGA)。交通灯220的常亮的左转黄色箭头(SLYA)的黄灯持续时间可以根据转变而不同。例如，当交通灯从FLYA转变到SLYA时，SLYA的持续时间可能与交通灯从SLGA转变到SLYA时的SLYA持续时间不同。

作为第二个示例，交通灯222可以包括四个灯或四个灯状态。这些灯或灯状态可以包括常亮的红色圆圈(SRC)、常亮的绿色箭头(SGA)、常亮的绿色圆圈(SGC)和常亮的黄色圆圈(SYC)。交通灯222的常亮的黄色圆圈(SYC)的黄灯持续时间可以根据转变而不同。例如，当交通灯从SGC转变到SYC时，SYC的持续时间可能与交通灯从SGA转变到SYC时的SYC持续时间不同。

其他交通灯配置也可能发生不同的转变，其中存在多个绿色元素(诸如圆圈和箭头)，只有一个黄灯。

因此，关于交通灯的不同的可能转变中的每一个，可以存储不同的默认黄灯持续时间。例如，这些持续时间可以存储在每个交通灯的表中，该表被附加到用于控制车辆的地图信息。在这方面，地图信息中的所有或一些交通灯可以与标识持续时间的单个表相关联。一些交通灯(诸如只有三个灯的那些交通灯)可能仅与单个默认黄灯持续时间相关联，而其他交通灯可能与多个默认黄灯持续时间相关联(每个可能的转变对应一个)。

例如，下方的表1是交通灯220的示例表。在此示例中，持续时间1与持续时间2不同。该表可以被附加到地图信息200并且因此被预先存储。

表1–交通灯220

关于另一个示例，下方的表2是交通灯222的示例表。在此示例中，持续时间3与持续时间4不同。再者，该表可以被附加到地图信息200并因此被预先存储。

表2–交通灯222

观察到的灯状态	下一个黄灯	下一个黄灯持续时间
			SLGA	SYC	持续时间3
SGC	SYC	持续时间4

当然，如果对于特定交通灯没有足够的观察值和数据，则可能没有用于该特定交通灯的表。如果没有特定交通灯的表，则可以使用基于十字路口处交通车道的速度、交通车道的几何形状和/或城市或其他政府机构用于设置黄灯持续时间的其他公式的默认黄灯持续时间。

可以以各种方式确定黄灯持续时间。例如，可以要求标记人员从视频标记黄灯的持续时间。例如，对于交通灯的不同帧(或图像)，标记人员可以识别观察到黄灯的第一帧和观察到黄灯的最后一帧，并且可以推算这些帧之间的时间量。然而，由于标记人员并不完美，他们的标记会有轻微的变化，因此对于特定的黄灯持续时间，可以使用同一交通灯的多个不同观察值的平均值。

作为另一种方式，持续时间可以由自主车辆的车载交通灯检测系统软件模块自动确定。由于信号灯可能会被遮挡、误检测，并且其他启发式算法可能会改变黄灯时间设置，因此该数据可能会更加嘈杂。另外，可能难以确定哪个是从中提取这些黄灯持续时间的传感器数据的可靠段。然而，通过实时确定黄灯持续时间，这可能有助于检测输入的预存储持续时间的变化，并可用于标示哪些交通灯需要更新。

虽然地图信息可以是基于图像的地图，但地图信息不需要完全基于图像(例如，栅格)。例如，地图信息可以包括一个或多个道路图形或诸如道路、车道、由节点表示的十字路口以及这些特征之间的连接的信息的图形网络，这些特征之间可以由路段表示。每个特征可以存储为图形数据，并且可以与诸如地理位置以及它是否链接到其他相关特征的信息相关联，例如，停车标志可以链接到道路和十字路口等。在一些示例中，相关联的数据可以包括道路图形的基于网格的索引以允许有效查找某些道路图形特征。

计算设备110可以使用定位系统170以便确定在地图或地球上的车辆的相对或绝对位置。定位系统170还可以包括GPS接收器以确定设备的相对于地球的纬度、经度和/或高度位置。其他定位系统，诸如基于激光的定位系统、惯性辅助GPS、或基于照相机的定位系统也可以用于识别车辆的位置。车辆的位置可以包括绝对地理位置，诸如纬度、经度和高度以及相对位置信息，诸如相对于紧邻其周围的其他汽车的位置，该位置往往可以用绝对地理位置的较小噪声来确定。

定位系统170还可以包括与计算设备110通信的其他设备，诸如加速度计、陀螺仪或另一个方向/速度检测设备以确定车辆的方向和速度或其变化。仅作为示例，加速设备可以确定其相对于重力方向或与其垂直的平面的俯仰角、偏航角或翻滚角(或其变化)。该设备还可以跟踪速度上的增加或减少以及这样的变化的方向。如本文所述的设备提供的位置和方位数据可以自动地提供给计算设备110、其他计算设备和前述的组合。

感知系统172还包括一个或多个组件，其用于检测车辆外部的物体，诸如其他车辆、道路中的障碍物、交通信号、标志、树木等。例如，感知系统172可以包括激光器、声纳、雷达、照相机和/或记录可以由计算设备110处理的数据的任何其他检测设备。在车辆是客运车辆，例如小型货车，的情况下，小型货车可以包括安装在车顶或其他方便位置上的激光器或其他传感器。

例如，图3是车辆100的示例外视图。在该示例中，车顶外壳310和车顶外壳312、314可以包括LIDAR传感器以及各种照相机和雷达单元。此外，位于车辆100前端的外壳320和车辆驾驶员侧和乘客侧的外壳330、332每个可以存储LIDAR传感器。例如，外壳330位于还包括车窗364、366的车门360、362的前面。车辆100还包括用于也位于车辆100车顶上的雷达单元和/或照相机的外壳340、342。其他雷达单元和照相机(未示出)可以位于车辆100的前端和后端和/或沿车顶或车顶外壳310的其他位置。

计算设备110能够与车辆的各种组件通信，以便根据计算设备110的存储器的主要车辆控制代码来控制车辆100的移动。例如，返回图1，计算设备110可以包括与车辆100的各种系统进行通信的各种计算设备，诸如减速系统160、加速系统162、路线选择系统166、规划系统168、定位系统170、感知系统172和动力系统174(即车辆的发动机或马达)，以便根据存储器130的指令132控制车辆100的运动、速度等。

车辆的各种系统可以使用自主车辆控制软件来运行以确定如何以及控制车辆。作为示例，感知系统172的感知系统软件模块可以使用由自主车辆的一个或多个传感器(诸如照相机、LIDAR传感器、雷达单元、声纳单元等)生成的传感器数据来检测和识别物体以及他们的特征。这些特征可以包括位置、类型、朝向、方位、速度、加速度、加速度的变化、大小、形状等。在一些示例中，特征可以输入到行为预测系统软件模块中，该行为预测系统软件模块使用基于物体类型的各种行为模型以为检测到的物体输出预测的未来行为。

在其他示例中，特征可以输入一个或多个检测系统软件模块中，诸如被配置为检测已知交通信号状态的交通灯检测系统软件模块、被配置为检测校车的校车检测系统软件模块、被配置为检测施工区域的施工区域检测系统软件模块、被配置为检测指挥交通的一个或多个人(例如，行人)的检测系统软件模块、被配置为检测交通事故的交通事故检测系统软件模块、被配置为检测应急车辆的应急车辆检测系统等。这些检测系统软件模块可以并入感知系统172或计算设备110中。这些检测系统软件模块中的每一个可以将感知系统172和/或一个或多个传感器生成的传感器数据(以及在一些示例中，车辆周围区域的地图信息)输入到各种模型中，各种模型分别可以输出某种交通灯状态的可能性、物体是校车的可能性、施工区域的面积、物体是指挥交通的人的可能性、交通事故的区域、物体是应急车辆的可能性等。

检测到的物体、预测的未来行为、来自检测系统软件模块的各种可能性、识别车辆环境的地图信息、来自识别车辆位置和方位的定位系统170的位置信息、车辆的目的地以及来自车辆的各种其他系统的反馈可输入到规划系统168的规划系统软件模块中。规划系统可以使用该输入来基于车辆的由路线选择系统166的路线选择模块生成的当前路线来生成轨迹供车辆在将来的短时段内沿其行驶。计算设备110的控制系统软件模块可以被配置为控制车辆的运动，例如通过控制车辆的制动、加速和转向，以便沿着轨迹行驶。

计算设备110还可以包括一个或多个无线网络连接150以便于与其他计算设备进行通信，例如下文详细描述的客户端计算设备和服务器计算设备。无线网络连接可以包括短程通信协议，诸如蓝牙、蓝牙低功耗(LE)、蜂窝连接、以及各种配置和协议，包括互联网、万维网、内联网、虚拟专用网、广域网、局域网、使用专属一家或多家公司的通信协议的专用网、以太网、WiFi和HTTP，以及上述各项的各种组合。

计算设备110可以通过控制各种组件在自主驾驶模式下控制车辆。例如，作为示例，计算设备110可以使用来自详细地图信息和规划系统168的数据完全自主地将车辆导航到目的地位置。计算设备110可以使用定位系统170来确定车辆的位置以及当需要安全到达该位置时可以使用感知系统172来检测和响应于物体。再者，为了这样做，计算设备110可生成轨迹并使车辆沿着这些轨迹行驶，例如，使车辆加速(例如，加速系统162向发动机或动力系统174供应燃料或其他能量)、减速(例如，减少供应给发动机或动力系统174的燃料、换档及/或减速系统160施加制动)、改变方向(例如，转向系统164使车辆100的前轮或后轮转向)，并发出这种变化的信号(例如，使用转向信号)。因此，加速系统162和减速系统160可以是包括车辆发动机和车辆车轮之间的各种组件的动力传动系统的一部分。再者，通过控制这些系统，计算设备110还可以控制车辆的动力传动系统以便自主地操纵车辆。

车辆100的计算设备110还可以与其他计算设备相互接收信息或传递信息，诸如作为运输服务的一部分的那些计算设备以及其他计算设备。图3和图4分别是包括经由网络460连接的多个计算设备410、420、430、440和存储系统450的示例系统400的直观图和功能图。系统400还包括车辆100和可以与车辆100相同或类似配置的车辆100A、100B。尽管为简单起见仅描绘了少数车辆和计算设备，但是一个典型系统可以包括明显更多的车辆和计算设备。

如图4所示，计算设备410、420、430、440中的每一个可以包括一个或多个处理器、存储器、数据和指令。这种处理器、存储器、数据和指令可类似于计算设备110的一个或多个处理器120、存储器130、数据132和指令134来进行配置。

网络460和中间节点可以包括各种配置和协议，包括短程通信协议，例如蓝牙、蓝牙低功耗、互联网、万维网、内联网、虚拟专用网、广域网、局域网、使用专属一家或多家公司的通信协议的专用网、以太网、WiFi和HTTP、以及上述各项的各种组合。这种通信可以由能够向或从其他计算设备发送数据的任何设备促成，诸如调制解调器和无线接口。

在一个示例中，一个或多个计算设备410可以包括一个或多个服务器计算设备，该服务器计算设备具有多个计算设备，例如负载平衡服务器群，多个计算设备为了接收、处理以及向或从其他计算设备发送数据与网络的不同节点交换信息。例如，一个或多个计算设备410可以包括一个或多个服务器计算设备，其能够经由网络460与车辆100的计算设备110或车辆100A的类似计算设备以及计算设备420、430、440进行通信。例如，车辆100、100A可以是可由服务器计算设备分派到各种位置的车队的一部分。在这方面，服务器计算设备410可以充当验证计算系统，其可用于验证车辆(诸如车辆100和车辆100A)可以用于在自主驾驶模式下操作的自主控制软件。此外，服务器计算设备410可以使用网络460来发送以及向用户呈现信息，诸如在显示器上的用户422、432、442，诸如计算设备420、430、440的显示器424、434、444。在这方面，计算设备420、430、440可以被认为是客户端计算设备。

如图4所示，每个客户端计算设备420、430、440可以是旨在由一个或多个用户422、432、442使用的个人计算设备，并且具有通常与个人计算设备结合使用的所有组件，包括一个或多个处理器(例如，中央处理单元(CPU))、存储数据和指令的存储器(例如，RAM和内部硬盘驱动器)、显示器，诸如显示器424、434、444的显示器(例如，具有屏幕、触摸屏、投影仪、电视或可操作以显示信息的其他设备的监视器)，以及用户输入设备426、436、446(例如，鼠标、键盘、触摸屏或麦克风)。客户端计算设备还可以包括用于记录视频流的照相机、扬声器、麦克风、网络接口设备以及用于将这些元件彼此连接的所有组件。

尽管客户端计算设备420、430和440每个可以包括全尺寸的个人计算设备，但是它们可替代地包括能够通过网络(诸如因特网)与服务器无线交换数据的客户端计算设备。仅作为示例，客户端计算设备420可以是移动电话或诸如支持无线的PDA、平板PC、可穿戴计算设备或系统、或能够经由互联网或其他网络获取信息的上网本。在另一个示例中，客户端计算设备430可以是可穿戴计算系统，如图4中所示的智能手表。作为示例，用户可以使用小键盘、键盘、麦克风、使用视觉信号的照相机或触摸屏来输入信息。

在一些示例中，客户端计算设备420可以是车辆乘客使用的移动电话。换言之，用户422可以代表乘客。此外，客户端通信设备430可以代表车辆乘客的智能手表。换言之，用户432可以代表乘客。客户端通信设备430可以代表操作人员的工作站，例如远程协助操作人员或可以向车辆和/或乘客提供远程协助的人。换言之，用户442可以代表远程协助操作人员。尽管在图4和图5中仅示出了少数乘客和操作人员，但是在典型系统中可以包括任意数量的这样的乘客和操作人员(以及他们相应的客户端计算设备)。

与存储器130一样，存储系统450可以是能够存储可由服务器计算设备410访问的信息的任何类型的计算机化存储器，诸如硬盘驱动器、存储卡、ROM、RAM、DVD、CD-ROM、可写和只读存储器。此外，存储系统450可以包括分布式存储系统，其中数据存储在多个不同的存储设备上，这些存储设备可物理上位于相同或不同的地理位置。存储系统450可以经由如图4和5所示的网络460连接到计算设备和/或可直接连接到或并入计算设备110、410、420、430、440等中的任何一个。

存储系统450可以存储各种类型的信息，这些信息可以由服务器计算设备，诸如一个或多个服务器计算设备410，检索或访问，以便执行各种动作。

示例方法

除了上述和图中所示的操作之外，现将对各种操作进行描述。应当理解的是以下操作不必以下面描述的精确顺序执行。更准确地说，可以以不同的顺序或同时处理各种步骤，并且还可添加或省略步骤。

图8包括用于控制具有自主驾驶模式的车辆的示例中的一些的示例流程图800，其可以由一个或多个处理器，诸如计算设备110的处理器120，执行以便确定何时交通灯接下来会变红。例如，在框810处，确定交通灯的当前状态。

当自主车辆，诸如车辆100，在自主驾驶模式下行驶时，车辆的计算设备110和/或感知系统172可以检测和识别交通灯的位置和当前状态。如上所述，交通灯检测系统软件模块可以被并入感知系统172或计算设备110中并且可以访问地图信息以确定交通灯检测系统软件模型应当预期感知交通灯的地点。

图6描绘了在包括十字路口602和604的一段道路600上被操纵的车辆100。在此示例中，十字路口602和604分别对应于地图信息200的十字路口202和204。在此示例中，车道线610、612、614和车道616、618分别对应于车道线210、212、214和车道216、218的形状、位置和其他特性。类似地，人行横道630分别对应于人行横道230的形状、位置和其他特性；人行道640对应于人行道240；交通灯620、622分别对应于交通灯220、222；停车标志650、652分别对应停车标志250、252；并且让行标志660对应于让行标志260。在此示例中，车辆100正在接近由交通灯620控制的十字路口602，如地图信息中所示。

计算设备110和/或感知系统172可以尝试识别沿路线的交通灯的状态和位置。在图6的示例中，车辆的计算设备110和/或感知系统172可以使用交通灯检测系统软件模块来尝试定位交通灯220(对应于交通灯620)并由此确定交通灯620的状态。

作为其一部分，感知系统172可以使用照相机来捕获车辆100的环境的图像。图7是当车辆从车道616接近十字路口602时由车辆100的感知系统172的照相机捕获的示例照相机图像700，例如图6的示例。在此示例中，照相机图像700包括交通灯620。

这些图像以及如上所述的其他信息可以被输入到交通灯检测系统软件模块中以便确定交通灯620的状态以及其他信息，诸如其三维位置。状态可以是任意数量的不同值，例如包括“关”、“未检测到”、“常亮的红色圆圈”、“常亮的黄色圆圈”、“常亮的绿色圆圈”、“闪烁的红色圆圈”、“闪烁的黄色圆圈”、“常亮的黄色箭头”、“常亮的红色箭头”、“常亮的绿色箭头”、“闪烁的黄色箭头”、“闪烁的绿色箭头”等。在这方面，“常亮”是指灯不闪烁，或者更确切地说，对观察人员来说看起来是常亮的。此外，每个箭头(常亮或闪烁)还可以进一步划定为其方向，例如“常亮的左转黄色箭头”、“常亮的左转红色箭头”、“常亮的左转绿色箭头”、“闪烁的左转黄色箭头”、“闪烁的左转绿色箭头”、“常亮的右转黄色箭头”、“常亮的右转红色箭头”、“常亮的右转绿色箭头”、“闪烁的右转黄色箭头”、“闪烁的右转绿色箭头”等。状态，例如，关和未检测到，可以对应于交通灯被遮挡(例如被另一车辆、建筑物或其他结构、植被、天气条件等所遮挡)或距离车辆太远而无法实际确定。该信息可由交通灯检测系统软件模块发布，并可用于车辆100的其它计算设备和/或系统。

例如，交通灯检测系统可以处理照相机图像700并识别包括交通灯620的图像的区域720。交通灯检测系统可识别交通灯620的四个灯A、B、C、D中的哪一个当前是亮着的。该当前亮着的灯将对应于交通灯620的状态。

回到框820处的图8，基于交通灯的当前状态选择多个黄灯持续时间中的一个。例如，基于交通灯的当前状态，计算设备110可以使用交通灯的当前状态来查找或选择下一个或当前黄灯的持续时间。例如，如果交通灯的当前状态是任何类型的红色(例如常亮红色圆圈、闪烁红色圆圈、常亮红色箭头、闪烁红色箭头)，则计算设备可以不需要确定下一个或当前黄色灯的持续时间。换言之，对于红灯，可以不必确定下一个或当前黄灯的持续时间，因此可以不由计算设备110执行。

如果交通灯的当前状态是任何类型的绿色(例如常亮的圆圈、闪烁的圆圈、常亮的箭头、闪烁的箭头)或闪烁的黄色(例如闪烁黄色圆圈或闪烁黄色箭头)，计算设备可以使用交通灯的当前状态来确定下一个黄灯的持续时间。在这方面，车辆的计算设备可以访问交通灯的交通灯持续时间表，并且仅基于交通灯的当前状态来选择黄灯持续时间。因此，当交通灯的当前状态是任何类型的绿色或闪烁的黄色时，下一个黄灯持续时间的确定仅基于交通灯的最当前检测到的状态而不是任何先前状态。如果交通灯在不同的时间点被部分遮挡(可导致由交通灯状态检测系统实际观察到的转变上的错误)，这可以降低错误确定的可能性。

如上所述，如果存在交通灯的多个可能转变，则该表可以存储多个可能黄灯持续时间。因此，计算设备110可以从表中选择多个黄灯持续时间中的一个。例如，回到交通灯620的示例，如果交通灯的当前状态被确定为闪烁的左转黄色箭头(FLYA)，那么参考表1，下一个黄灯持续时间将会是持续时间1。因此，可以选择持续时间1。然而，当交通灯的当前状态被确定为绿色箭头(GA)时，则参考表1，下一个黄灯持续时间将会是持续时间2。因此，可以选择持续时间2。

作为另一个示例，例如，回到交通灯622的示例，如果交通灯的当前状态被确定为绿色箭头(GA)，那么参考表2，下一个黄灯持续时间将会是持续时间3。因此，可以选择持续时间3。然而，当交通灯的当前状态被确定为常亮的绿色圆圈(SGC)时，则参考表2，下一个黄灯持续时间将是持续时间4。因此，可以选择持续时间4。

返回到图8，在框830处，使用所选择的黄灯持续时间来预测交通灯接下来何时会变红，然后在框840处，使用该预测在自主驾驶模式下控制车辆。例如，计算设备110然后可以使用所选择的黄灯持续时间来预测交通灯何时会变红，并转而确定是否因交通灯而停车。然而，为了提供交通灯何时可能变红的准确预测，车辆的计算设备可能会继续检测交通灯的当前状态，以便准确观察究竟何时常亮或闪烁的绿灯(箭头或圆圈)或闪烁的黄灯(箭头或圆圈)变为常亮的黄灯(箭头或圆圈)。此时，车辆的计算设备可以简单地将所选择的黄灯持续时间添加到最后观察到的常亮或闪烁的绿灯或闪烁的黄灯(箭头或圆圈)的时间点，以预测交通灯何时会变红。在这方面，如果最后观察到的常亮或闪烁的绿灯或闪烁的黄灯(箭头或圆圈)未检测到，车辆的计算设备可以假设常亮的黄灯随时可能变成红色，并会相应地做出计划。

当预测交通灯变红时，其可用作规划系统168的输入，以便决定是否因交通灯而停车。可替代地，规划系统可以使用所选择的黄灯持续时间以及最后观察到的常亮或闪烁的绿灯(箭头或圆圈)或闪烁的黄灯(箭头或圆圈)作为输入来预测灯何时可能变红，转而，这会通知车辆决定是否因交通灯而停车。换言之，当交通灯为常亮的黄色箭头或圆圈时，规划系统可准确确定车辆是否有足够的时间安全通过十字路口。规划系统可以相应地生成车辆在未来沿着行驶的轨迹。

如上所述，如果没有用于特定交通灯的表，例如因为对于交通灯的黄灯持续时间还没有足够的标签或观察，计算设备110可以使用基于十字路口处的交通车道的速度和交通车道的几何形状的默认黄灯持续时间。

如果交通灯的当前状态是常亮的黄色(例如常亮的黄色圆圈或常亮的黄色箭头)或更确切地说交通灯是黄灯且不闪烁，则计算设备110可能不需要确定下一个黄灯的持续时间。然而，为了确定当前黄灯的持续时间，计算设备110可以使用最后常亮或闪烁的绿灯或黄灯的状态。在这方面，闪烁的黄灯被视为常亮或闪烁的绿灯。因此，车辆的计算设备可以访问交通灯的交通灯持续时间表并基于交通灯的先前状态以及交通灯的当前状态为当前黄灯选择黄灯持续时间。

当然，随着时间的流逝，交通灯的状态会发生变化。感知系统172的传感器将继续捕获传感器数据，并且计算设备110和/或感知系统172可以将该传感器数据输入到交通灯检测系统软件模块中。因此，交通灯检测系统软件模块可以确定交通灯的更新状态。每次交通灯的状态改变时，只要更新状态不是红色，计算设备110就可以使用改变或更新状态来确定下一个或当前黄灯的持续时间。例如，计算设备110可以基于交通灯的更新状态为给定交通灯选择多个黄灯持续时间中的第二个。换言之，每当交通灯的状态改变时，计算设备110可以重新评估下一个或当前黄灯的持续时间，并如上所述相应地确定该持续时间。

此外，每次车辆的交通灯检测系统软件模块在交通灯处观察到黄灯时，该交通灯的持续时间可由例如交通灯检测系统软件模块来确定。简单地说，该持续时间可以是交通灯检测系统软件模块观察黄灯(诸如常亮的黄色圆圈或常亮的黄色箭头)期间的时间长度。在一些示例中，如果检测黄灯和/或其持续时间的置信度相对较高，则可以存储该持续时间由计算设备110以后使用，例如，通过将持续时间附加到该交通灯的表中。

该信息还可以与远程计算设备(诸如服务器计算设备410)共享。在这方面，计算设备110可以例如经由网络460向服务器计算设备410发送交通灯的持续时间。

服务器计算设备410可以各种方式使用该信息。例如，当表的持续时间和附加的持续时间之间存在足够的差异时，服务器计算设备410可以将其用作标示交通灯的信号以进行附加分析。例如，可以使用统计模型(例如，均值和标准偏差)来确定交通灯的黄灯持续时间是否与表中该交通灯的持续时间有足够的偏差，并且可以标示交通灯用于检查。这样的模型还可以考虑其他因素，如遮挡、误检测或太阳角度，并且除非存在预先存储的持续时间不再可靠、良好、可用等的高置信度，否则通常信任预先存储的黄灯持续时间。此外或可替代地，服务器计算设备可以向附近的其他车辆或车队的所有车辆广播该信息。

例如，服务器计算设备410还可以使用差异来确定对于特定交通灯是否存在任何双峰分布。换言之，黄灯持续时间可能会在一天中的不同时间和/或一周中的不同天发生变化(例如在高峰时间或不太繁忙的时间更长)。在这方面，在一些示例中，特定交通灯的表可以包括不仅针对交通灯的不同状态而且针对一天中的不同时间和/或一周中的不同天的不同黄灯持续时间。因此，车辆的计算设备也可以使用某一天中的当前时间和一周中的某一天来选择默认黄灯值。然而，在一些示例中，黄灯切换持续时间的边界可能是挑战，因此可能需要某种方式来允许不确定哪个是正确的或者允许接近时间边界。此外或可替代地，当给予不同持续时间的足够观察，可以建立关于灯何时改变持续时间的统计模型。

本文描述的特征可以使自主车辆能够识别并响应单个交通灯的不同黄灯持续时间。这可以降低此类车辆闯红灯或在不适当的时间突然刹车的可能性。

除非另有说明，否则上述替代示例不是相互排斥的，而是可以实施为不同的组合以实现独特的优势。由于在不偏离权利要求定义的主题的情况下可以使用上述特征的这些和其他变化及组合，因此实施例的上述描述应当通过说明而不是通过限制权利要求所定义的主题来进行。此外，本文所描述的示例的规定以及表述为“诸如”、“包括”等的子句不应被解释为将权利要求的主题限定于具体示例；而是，这些示例仅旨在说明许多可能实施例中的一个。此外，不同附图中的相同附图标号可以标识相同或相似的元件。

Claims (20)

1.一种控制具有自主驾驶模式的车辆的方法，所述方法包括：

由所述车辆的一个或多个计算设备的一个或多个处理器接收交通灯的当前状态；

由所述一个或多个处理器基于所述交通灯的当前状态来选择多个黄灯持续时间中的一个；

基于选择的一个预测所述交通灯何时会变红；并且

由所述一个或多个处理器使用所述预测在自主驾驶模式下控制所述车辆。

2.根据权利要求1所述的方法，还包括：

由所述一个或多个处理器接收所述交通灯的更新状态；并且

由所述一个或多个处理器基于所述交通灯的更新状态来选择所述多个黄灯持续时间中的第二个，并且所述选择的一个和第二个是不同的持续时间。

3.根据权利要求2所述的方法，其中选择所述第二个不依赖所述交通灯的更新状态之前的所述交通灯的任何状态。

4.根据权利要求1所述的方法，还包括，确定在特定状态下最后一次观察到交通灯的时间，并且其中，预测交通灯何时会变红还基于在特定状态下最后一次观察到交通灯的时间的确定。

5.根据权利要求4所述的方法，其中所述特定状态是闪烁的黄灯。

6.根据权利要求4所述的方法，其中所述特定状态是闪烁的绿灯。

7.根据权利要求1所述的方法，其中，所述多个黄灯持续时间包括用于所述交通灯的常亮的绿色圆圈状态的第一黄灯持续时间和用于所述交通灯的绿色箭头状态的第二黄灯持续时间，并且所述第一黄灯持续时间和所述第二黄灯持续时间是不同的持续时间。

8.根据权利要求1所述的方法，其中，所述多个黄灯持续时间包括用于所述交通灯的常亮的绿色箭头状态的第一黄灯持续时间和用于所述交通灯的闪烁的黄色箭头状态的第二黄灯持续时间，并且所述第一黄灯持续时间和所述第二黄灯持续时间是不同的持续时间。

9.根据权利要求1所述的方法，其中，所述多个黄灯持续时间存储在与所述交通灯相关联的表中，并且选择所述多个黄灯持续时间中的一个包括访问所述表。

10.根据权利要求9所述的方法，还包括：

由所述一个或多个处理器确定所述交通灯的黄灯的持续时间；并且

存储所述确定的持续时间用于以后使用。

11.根据权利要求10所述的方法，还包括，将所述确定的持续时间发送到远程计算设备。

12.一种用于控制具有自主驾驶模式的车辆的系统，所述系统包括：

一个或多个处理器，被配置为：

接收交通灯的当前状态；

基于所述交通灯的当前状态选择多个黄灯持续时间中的一个；

基于选择的一个预测所述交通灯何时会变红；并且

使用所述预测在自主驾驶模式下控制所述车辆。

13.根据权利要求12所述的系统，还包括所述车辆。

14.根据权利要求12所述的系统，其中所述一个或多个处理器还被配置为：

接收所述交通灯的更新状态；并且

基于所述交通灯的更新状态来选择多个黄灯持续时间中的第二个，并且所述选择的一个和第二个是不同的持续时间。

15.根据权利要求14所述的系统，其中，所述一个或多个处理器还被配置为不依赖所述交通灯的更新状态之前的所述交通灯的任何状态来选择所述第二个。

16.根据权利要求12所述的系统，其中，所述多个黄灯持续时间包括用于所述交通灯的常亮的绿色圆圈状态的第一黄灯持续时间和用于所述交通灯的绿色箭头状态的第二黄灯持续时间，其中所述第一黄灯持续时间和所述第二黄灯持续时间是不同的持续时间。

17.根据权利要求12所述的系统，其中所述多个黄灯持续时间包括用于所述交通灯的绿色箭头状态的第一黄灯持续时间和用于所述交通灯的闪烁的黄色箭头状态的第二黄灯持续时间，并且所述第一黄灯持续时间和所述第二黄灯持续时间是不同的持续时间。

18.根据权利要求12所述的系统，还包括存储包括所述多个黄灯持续时间的表的存储器，其中所述一个或多个处理器还被配置为访问所述表以便选择所述多个黄灯持续时间中的一个。

19.根据权利要求18所述的系统，其中所述一个或多个处理器还被配置为：

确定所述交通灯的黄灯的持续时间；并且

存储所述确定的持续时间用于以后使用。

20.根据权利要求19所述的系统，其中所述一个或多个处理器还被配置为将所述确定的持续时间发送到远程计算设备。

Images