CN115761661A - 用于道路标志检测和评估的流水线架构 - Google Patents

Abstract

本技术提供了标志检测和分类方法。统一的流水线方法将通用标志检测与稳健的并行分类策略相结合。诸如相机影像和激光雷达深度、强度和高度(高程)信息的传感器信息被应用于标志检测器模块。这使得系统能够检测车辆的外部环境中的标志的存在。将模块化分类方法应用于检测到的标志。这包括选择性地应用一个或多个训练的机器学习分类器，以及文本和符号检测器。注释有助于将分类信息联系在一起，并解决来自不同分类器的不同输出的任何冲突。识别标志在车辆周围环境中的位置可以提供上下文细节。识别的标牌可以与车辆驾驶环境中的其他对象相关联，这可以用于协助车辆自主驾驶。

Description

用于道路标志检测和评估的流水线架构

技术领域

本发明涉及用于道路标志检测和评估的流水线架构。

背景技术

以自主驾驶模式操作的车辆可以将乘客或货物或其他物品从一个位置运输到另一个位置。在自主驾驶时，车辆将使用感知系统来使用一个或多个传感器来感知和解释其周围。例如，感知系统和/或车辆的计算设备可以处理来自这些传感器的数据以便识别对象及其特性，诸如位置、形状、大小、朝向、加速度或减速度、速度、类型等。该信息对于车辆的计算系统为车辆做出适当的驾驶决策是重要的。一个重要类型的对象是标牌(signage)。有诸如速度限制标志、让行标志、停止标志等的许多类型的标志来通知或指示道路使用者。无法快速检测和理解标志的含义可能不利地影响车辆自主操作。

发明内容

本技术涉及统一标志检测和分类方法。统一流水线方法将通用标志检测与稳健的并行分类策略相结合。可以应用注释来将分类信息联系在一起，并解决任何冲突。识别标志在车辆周围环境中的位置可以提供上下文细节，并且识别的标牌可以与车辆驾驶环境中的其他对象相关联，这可以用于协助车辆自主驾驶。该方法可扩展，以增加对新标志类型的支持，这对于本地或特定区域的标牌是有帮助的。

根据一个方面，提供了一种控制以自主驾驶模式操作的车辆的方法。该方法包括由车辆感知系统的一个或多个传感器接收与车辆的外部环境中的对象相关联的传感器数据，该传感器数据包括相机影像和激光雷达数据；由车辆的计算系统的一个或多个处理器将通用标志检测器应用于传感器数据，以识别一个或多个道路标志是否存在于车辆的外部环境中；由一个或多个处理器根据通用标志检测器识别道路标志存在于车辆的外部环境中；由一个或多个处理器根据通用标志检测器预测道路标志的属性；由一个或多个处理器基于预测的道路标志的属性，将道路标志的图像路由到一组标志分类器中的一个或多个选择的标志分类器，以执行图像的特定标志类型的评估；由一个或多个处理器将道路标志的图像路由到文本和符号检测器，以识别图像中的任何文本或符号；由一个或多个处理器基于(i)来自由每个选择的标志分类器进行的特定标志类型的评估的分类结果和(ii)由文本和符号检测器识别的任何文本或符号信息，向道路标志注释标志类型；以及由一个或多个处理器基于注释标志类型确定是否使车辆以自主驾驶模式执行驾驶动作。激光雷达数据可以包括深度信息、强度信息或高度信息中的至少一个。

在一个示例中，该方法还包括在注释标志类型时，执行标志定位操作。在另一个示例中，该方法还包括，在注释标志类型时，执行标志-对象关联操作。一个或多个选择的标志分类器可以包括从由停止标志分类器、速度限制标志分类器、标志颜色分类器或管制标志分类器组成的所述一组标志分类器中选择的一个或多个标志分类器。

道路标志的属性可以包括背景颜色、形状、安放、深度或走向中的至少一个。这里，安放可以是手持的、临时的或永久的。

在另一个示例中，识别道路标志存在包括生成或存储关于在车辆的外部环境中检测到的对象的细节的集合。这里，识别道路标志存在还可以包括评估关于相机型号或相机图像时间戳的信息。

每个选择的标志分类器可以输出特定的标志类型或者对未知类型的指示。将图像路由到一个或多个选择的标志分类器，以及将图像路由到文本和符号检测器，可以包括裁剪道路标志四周的区域。通用标志检测器可以被训练为基于传感器数据来识别是否存在任何道路标志。并且所述一组标志分类器中的每个分类器可以基于裁剪的影像被分开地训练，以识别相应的标志类型。

根据该技术的另一个方面，车辆被配置为以自主驾驶模式操作。该车辆包括感知系统、驾驶系统、定位系统和控制系统。该感知系统包括一个或多个传感器，该一个或多个传感器被配置为接收与车辆的外部环境中的对象相关联的传感器数据。驾驶系统包括转向子系统、加速子系统和减速子系统，以控制车辆的驾驶。定位系统被配置为确定车辆的当前定位。控制系统包括一个或多个处理器，并且控制系统可操作地耦合到驾驶系统、感知系统和定位系统。控制系统被配置为：从感知系统的一个或多个传感器接收与车辆的外部环境中的对象相关联的传感器数据，其中，接收的传感器数据包括相机影像和激光雷达数据；将通用标志检测器应用于传感器数据，以识别一个或多个道路标志是否存在于车辆的外部环境中；根据通用标志检测器识别道路标志存在于车辆的外部环境中；根据通用标志检测器预测道路标志的属性；基于预测的道路标志的属性，将道路标志的图像路由到一组标志分类器中的一个或多个选择的标志分类器，以执行图像的特定标志类型的评估；将道路标志的图像路由到文本和符号检测器，以识别图像中的任何文本或符号；基于(i)来自由每个选择的标志分类器进行的特定标志类型的评估的分类结果和(ii)由文本和符号检测器识别的任何文本或符号信息，向道路标志注释标志类型；以及基于注释标志类型确定是否使驾驶系统以自主驾驶模式执行驾驶动作。

该控制系统还可以被配置为在注释标志类型时，执行标志定位操作。控制系统还可以被配置为在注释标志类型时，执行标志-对象关联操作。识别道路标志存在可以包括生成或存储关于在车辆的外部环境中检测到的对象的细节的集合。可替代地或附加地，识别道路标志存在还可以包括评估关于相机型号或相机图像时间戳的信息。将图像路由到一个或多个选择的标志分类器，以及将图像路由到文本和符号检测器，可以包括裁剪道路标志四周的区域。并且每个选择的标志分类器可以输出特定的标志类型或者对未知类型的指示。

附图说明

图1A-图1B示出了根据本技术的各方面的示例自驾驶车辆。

图1C-图1D示出了被配置为用于与本技术的各方面一起使用的示例货物类型车辆。

图2示出了根据本技术的各方面的自驾驶车辆的部件(component)。

图3A-图3B是根据本技术的各方面的示例货物类型车辆的系统的框图。

图4A-图4B示出了根据本技术的各方面的标志相关的情景。

图5A-图5D示出了根据本技术的各方面的流水线过程和示例性情景。

图6A-图6B示出了根据本技术的各方面的检测文本和符号的示例。

图7A-图7B示出了根据本技术的各方面的分类示例。

图8示出了根据本技术的各方面的流水线过程。

图9A-图9D示出了根据本技术的各方面的标志-对象关联场景。

图10A-图10B示出了根据本技术的各方面的示例系统。

图11示出了根据本技术的各方面的示例方法。

具体实施方式

以自主驾驶模式操作车辆涉及评估关于车辆外部环境的信息。车辆的感知系统检测周围的对象，该感知系统具有诸如激光雷达(lidar)、雷达和/或相机的一个或多个传感器。可能有动态对象，诸如车辆、骑自行车者、慢跑者或行人，或者在环境四周移动的其他道路使用者。除了识别动态对象之外，感知系统还检测静态对象，诸如建筑物、树木、标牌、道路上的人行横道或停止线、道路一侧上存在的停车的车辆等。

当以自主驾驶模式操作时，检测诸如标牌的交通控制设备并对其作出适当响应可能特别重要。然而，有用于不同目的的许多不同道路标志类型，包括管制标志(例如，停止、让行、禁止转弯或速率限制标志)、警告标志(例如，通知关于诸如急转弯或禁止超车区的、即将到来的道路状况)、学校区标志(例如，标识学校穿行道(crossing)或慢行区)、引导标志(例如，提供关于州或本地路线标记的信息)、紧急管理和民防标志、驾驶者服务和休闲标志(例如，提供关于附近设施的信息)以及临时交通控制标志(可以定位在道路上或与道路相邻)。在美国，统一交通控制设备手册(MUTCD)提供了关于用于这样的标牌的大小、形状、颜色等的标准。

在许多情形中，标牌可能很容易可见，并且易于理解。然而，诸如给定标志的替代物、指示多个状况(例如，允许从不同车道转弯)的标志、特定位置的标志或非标准标志的其他情形，不仅检测可能是具有挑战性的，而且理解和作出反应也可能是具有挑战性的。举例来说，禁止转弯标牌可以具有声明“红灯禁止转弯”的文本、没有任何文本的划叉的红色圆圈内部的右转弯箭头、文本和箭头指示符两者、日期和/或时间制约等。为了避免不正当的延迟，车辆需要正确识别标志并作出适当的响应。

可以采用不同的方法来检测和评估标牌。例如，来自相机传感器的图像可以应用于采用机器学习(ML)的检测器，以识别标志是什么。这可以通过向ML方法添加模板匹配来增强。影像(imagery)和激光雷达数据可以被采用以发现高强度的块(patch)，从而使用ML分类器来检测例如速度限制标志。对于非标准或特定区域的标牌，可以使用相机和激光雷达信息来尝试识别标志是什么。可替代地，可以将射线跟踪应用于相机影像，以执行文本检测来推断标志在说什么。然而，这样的特定的方法可能是计算密集型的(例如，对于车载计算系统具有高计算“成本”)、可能难以维护、并且可能不可拓展或不可扩展到新的标志或已知标志的变体。

根据本技术的各方面，诸如相机影像和激光雷达深度、强度和高度(高程)信息的传感器信息被应用于标志检测器模块。这使得系统能够检测给定标志的存在。将模块化分类方法应用于检测到的标志。这可以包括一个或多个训练的机器学习分类器以及文本和符号检测器的选择性应用。可以使用注释器在结果之间进行仲裁，以识别特定的标志类型(aspecific sign type)。还可以应用另外的增强，诸如识别周围3D场景中标牌的位置(定位)，以及将标志与驾驶环境中的其他附近对象相关联。并且如果系统不能够确定特定的标志类型是什么或其含义是什么，则车辆可以将细节发送到远程协助服务，以确定如何处理标志(例如，通过更新电子地图)。

示例车辆系统

该技术可以用于被配置为以自主驾驶模式操作的所有方式的车辆，包括运输乘客或诸如食品递送、包裹、货物等物品的车辆。虽然本公开的某些方面可能结合特定类型的车辆特别有用，但是车辆可以是许多不同类型的车辆中的一个，包括但不限于小汽车、货车、摩托车、货运车辆、公共汽车、休闲车、应急车辆、施工设备等。

图1A示出了诸如小型货车(minivan)或运动型多用途车辆(SUV)的示例客运车辆100的透视图。图1B示出了另一个示例客运车辆120(诸如轿车)的透视图。客运车辆可以包括用于获得关于车辆外部环境的信息的各种传感器。例如，顶部(roof-top)外壳单元(车顶吊舱组件(assembly))102可以包括一个或多个激光雷达传感器以及各种相机(例如，光学或红外)、雷达单元、声学传感器(例如，麦克风或声纳类型传感器)、惯性(例如，加速度计、陀螺仪等)或其他传感器(例如，诸如GPS传感器的定位传感器)。位于车辆100前端的外壳104和位于车辆驾驶员侧和乘客侧的外壳106a、106b，可以各自结合激光雷达、雷达、相机和/或其他传感器。例如，外壳106a可以沿着车辆的侧围板(quarter panel)位于驾驶员侧门的前方。如图所示，客运车辆100还包括用于雷达单元、激光雷达和/或相机的外壳108a、108b，这些外壳也位于朝向车辆的后车顶部分的位置。另外的激光雷达、雷达单元和/或相机(未示出)可以位于沿车辆100的其他地方。例如，箭头110指示传感器单元(未示出)可以沿车辆100的后部定位，诸如在保险杠上或与保险杠相邻。取决于车辆类型和传感器外壳配置，声学传感器可以放置在车辆周围的这些外壳中的任何或全部中。

箭头114指示了如图所示的车顶吊舱102包括耦合到车辆车顶的基部(basesection)。并且箭头116指示了车顶吊舱102还包括高置于基部之上的上部(uppersection)。基部和上部中的每个都可以容纳被配置为获得关于车辆四周环境中的对象和状况的信息的不同传感器单元。车顶吊舱102和其他传感器外壳也可以沿着图1B中的车辆120放置。作为示例，每个传感器单元可以包括一个或多个上述类型的传感器，诸如激光雷达、雷达、相机(例如，光学或红外)、声学(例如，无源麦克风或有源声发射声纳类型传感器)、惯性(例如，加速度计、陀螺仪等)或其他传感器(例如，诸如GPS传感器的定位传感器)。

图1C-图1D示出了示例货运车辆150，诸如牵引车-拖车式卡车。卡车可以包括例如单拖车、双拖车或三拖车，或者可以是另一种中型或重型卡车(诸如商业重量类在4至8内)。如图所示，卡车包括牵引车单元152和单个货运单元或拖车154。取决于被运输的商品或其他货物的类型，拖车154可以是完全封闭的、敞开的(诸如平板式)或部分敞开的。在该示例中，牵引车单元152包括引擎和转向系统(未示出)以及用于驾驶员和任何乘客的驾驶室156。

如图1D所示，拖车154包括称为中枢栓的栓接点(hitching point)158以及用于在拖车从牵引车单元脱离时的撑地装置159。中枢栓(kingpin)158典型地被制成实心钢轴，其被配置为枢转地附接到牵引车单元152。特别地，中枢栓158附接到被称为半拖车接轮(fifth-wheel)的拖车联轴器(trailer coupling)160，其安装在驾驶室的后部。对于双或三牵引车-拖车，第二和/或第三拖车可以与前导拖车具有简单的栓接连接。或者，可替代地，每个拖车可以有自身的中枢栓。在这种情况下，至少第一拖车和第二拖车可以包括被布置为耦合下一个拖车的半拖车接轮类型的结构。

如图所示，牵引车可以具有沿其放置的一个或多个传感器单元162、163和164。例如，一个或多个传感器单元162和/或163可以被放置在车顶或驾驶室156的顶部(例如，在传感器单元162的中心，或者诸如传感器单元163的安装在相对侧的一对)，并且一个或多个侧传感器单元164可以被放置在驾驶室156的左侧和/或右侧。传感器单元还可以位于沿着驾驶室156的其他区域，诸如沿着前保险杠或引擎盖区域、在驾驶室的后部、与半拖车接轮相邻、底盘下方等。拖车154还可以具有一个或多个传感器单元166，其被放置于例如沿着拖车154的一个或两个侧板、前部、后部、车顶和/或底架(undercarriage)。

与图1A-图1B中的客运车辆的传感器单元一样，货运车辆的每个传感器单元可以包括一个或多个传感器，诸如激光雷达、雷达、相机(例如，光学或红外)、声学(例如，麦克风或声纳类型传感器)、惯性(例如，加速度计、陀螺仪等)或其他传感器(诸如基于地理位置的(例如，GPS)定位传感器)、荷载单元或压力传感器(例如，压电或机械)。

对于以部分或完全自主驾驶模式操作的车辆，可以存在不同程度的自主性。美国国家公路交通安全管理局和汽车工程师协会已经标识了不同的等级以指示车辆控制驾驶的程度。例如，等级0(Level 0)没有自动化，并且驾驶员做出所有与驾驶相关的决定。最低的半自动模式，等级1(Level 1)，包括一些驾驶辅助，诸如定速巡航(cruise control)。在这个等级，车辆可以严格地在驾驶员信息系统中操作，而无需对车辆进行任何自动控制。这里，车辆的车载传感器、它们之间的相对定位知识以及它们交换数据的方式可以用于实现本文所讨论的技术的各方面。等级2(Level 2)具有某些驾驶操作的部分自动化，而等级3(Level 3)涉及到可以使处于驾驶员座椅上的人能够在有必要时进行控制的有条件的自动化。相比之下，等级4(Level 4)是高度自动化等级，其中车辆能够在选择的状况下无需辅助进行驾驶。而等级5(Level 5)是完全自主模式，其中车辆能够在所有情形下都无需辅助进行驾驶。本文描述的架构、部件、系统和方法可以在例如在本文被称为自主驾驶模式的等级1-5的任何半自主或完全自主模式下运行。因此，对自主驾驶模式的引用包括部分自主性(等级1-3)和完全自主(等级4-5)二者。

图2示出了具有以自主驾驶模式操作的示例性车辆(诸如客运车辆100或120)的各种部件和系统的框图200。如图所示，框图200包括一个或多个计算设备202，诸如包含一个或多个处理器204、存储器206和典型地存在于通用计算设备中的其他部件的计算设备。存储器206存储可由一个或多个处理器204访问的信息，包括可以由处理器204执行或以其他方式使用的指令208和数据210。在以自主驾驶模式操作时，计算系统可以控制车辆的总体操作。

存储器206存储可由处理器204访问的信息，包括可以由处理器204执行或以其他方式使用的指令208和数据210。例如，存储器可以包括执行例如遮挡车辆检测的照明相关的信息。存储器206可以是能够存储可由处理器访问的信息的任何类型的存储器，包括计算设备可读介质。存储器是非暂时性介质，诸如硬盘驱动器、存储卡、光盘、固态(solid-state)等。系统可以包括前述的不同组合，由此指令和数据的不同部分被存储在不同类型的介质上。

指令208可以是由处理器直接地(诸如机器代码)或间接地(诸如脚本)执行的任何指令集合。例如，指令可以作为计算设备代码被存储在计算设备可读介质上。在这方面，术语“指令”、“模块”和“程序”在本文中可以互换使用。指令可以以用于由处理器直接处理的目标代码格式存储，或者以包括按需解释或预先编译的独立源代码模块的集合或脚本的任何其他计算机设备语言存储。一个或多个处理器204可以根据指令208检索、存储或修改数据210(诸如地图(例如，道路图)信息)。在一个示例中，存储器206中的一些或者全部可以是被配置为存储车辆诊断和/或检测的传感器数据的事件数据记录器或其他安全数据存储系统，取决于实施方式，其可以是车载于车辆或远程的。

处理器204可以是任何常规处理器，诸如商用CPU，GPU等。可替代地，每个处理器可以是专用设备，诸如ASIC或其它基于硬件的处理器。尽管图2在功能上示出了处理器、存储器和计算设备202的其他元素在同一框内，但这样的设备实际上可以包括多个处理器、计算设备或存储器，这些处理器、计算设备或存储器可以或可以不被存储在相同的物理外壳内。类似地，存储器206可以是硬盘驱动器或其他存储介质，其位于与处理器204不同的外壳中。因此，对处理器或计算设备的引用将被理解为包括对可以并行操作或可以不并行操作的处理器或计算设备或存储器的集合的引用。

在一个示例中，计算设备202可以形成结合到车辆100中的自主驾驶计算系统。自主驾驶计算系统可能能够与车辆的各种部件通信。例如，计算设备202可以与车辆的各种系统通信，包括驾驶系统，驾驶系统包括减速系统212(用于控制车辆的制动)、加速系统214(用于控制车辆的加速度)、转向系统216(用于控制车轮的朝向和车辆的方向)、信号系统218(用于控制转弯信号)、导航系统220(用于将车辆导航到位置或对象四周)和定位系统222(用于确定车辆的定位，例如，包括车辆的位姿，例如，沿着道路的朝向和位置，或者车辆底盘相对于坐标系的俯仰、偏航和滚动)。自主驾驶计算系统可以根据导航系统220、定位系统222和/或系统的其他部件采用规划器/轨迹模块223，例如用于确定从起点到目的地的路线、用于识别交叉路口处的停止位置、用于根据特定交通标志调整短期轨迹、或者用于根据当前的或预期的牵引状况对各个驾驶方面做出修改。

计算设备202还可操作地耦合到感知系统224(用于检测车辆环境中的对象)、动力系统226(例如，电池和/或内燃机引擎)和传输系统230，以便在不要求或不需要来自车辆乘客的连续或周期性输入的自主驾驶模式下，根据存储器206的指令208控制车辆的移动、速度等。一些或全部车轮/轮胎228被耦合到传输系统230，并且计算设备202可能能够接收关于轮胎压力、平衡和可以影响以自主模式驾驶的其他因素的信息。

计算设备202可以通过使得各种部件致动来例如经由规划器/轨迹模块223控制车辆的方向和速度。作为示例，计算设备202可以使用来自地图信息和导航系统220的数据完全自主地将车辆导航到目的地位置。计算设备202可以使用定位系统222来确定车辆的位置，并且使用感知系统224来检测对象以及在需要时对对象作出响应，以安全到达该位置。为此，计算设备202可以使车辆加速(例如，通过增加由加速系统214提供给引擎的燃料或其他能量)、减速(例如，通过减少供应给引擎的燃料、换档和/或通过减速系统212施加制动)、改变方向(例如，通过转向系统216转动车辆100的前车轮或其他车轮)，并且用信号通知这样的改变(例如，通过点亮信号系统218的转弯信号)。因此，加速系统214和减速系统212可以是包括在车辆引擎和车辆车轮之间的各种部件的传动系统或其他类型的传输系统230的部分。同样，通过控制这些系统，计算设备202还可以控制车辆的传输系统230以便自主地操纵车辆。

计算设备202可以使用导航系统220以便确定并遵循到位置的路线。在这方面，导航系统220和/或存储器206可以存储地图信息，例如，计算设备202可以用来导航或控制车辆的高度详细的地图。尽管地图信息可以是基于图像的地图，但是地图信息不需要完全基于图像(例如，栅格(raster))。例如，地图信息可以包括诸如道路、车道、交叉路口以及可以由道路段表示的这些特征之间的连接的信息的一个或多个道路图、图形网络或道路网络。地图中的每个特征也可以被存储为图形数据，并且可以与诸如地理位置以及它是否链接到其他相关特征(例如，标牌(例如，停止、让行或转弯标志)或道路标记(例如，停止线或人行横道)可以被链接到道路和交叉路口等)的信息相关联。在一些示例中，相关联的数据可以包括道路网络的基于网格的索引，以允许高效查找某些道路网络特征。

在这点上，地图信息可以包括表示道路或车道段的多个图像节点和边缘，它们一起构成地图信息的道路网络。在这种情况下，每个边缘可以由具有特定地理位置(例如，纬度、经度、海拔等)的开始图像节点、具有特定地理位置(例如，纬度、经度、海拔等)的结束图形节点、以及方向来定义。该方向可以指车辆为了遵循边缘而必须移动的方向(即，交通流的方向)。图形节点可以位于固定或可变的距离。例如，图形节点的间距范围可以从几厘米到几米，并且可以对应于图形节点所位于的道路的速度限制。在这点上，更大的速度可以对应于图形节点之间更大的距离。

因此，地图可以标识道路、车道标记、交叉路口、停止线、人行横道、速度限制、交通信号灯、建筑物、标志、实时交通信息、植被的形状和高程或其他这样的对象和信息。车道标记可以包括诸如实线或虚线的双车道线或单车道线、实线或虚线车道线、反射器等的特征。给定的车道可以与左和/或右车道线或定义车道边界的其他车道标记相关联。因此，大多数车道可以由一个车道线的左边缘和另一个车道线的右边缘来界定。

感知系统224包括用于检测车辆外部对象的传感器232。检测到的对象可以是其他车辆、道路中的障碍物、交通信号、标志、道路标记(例如，人行横道和停止线)、诸如人行道、树木或灌木丛等的与道路相邻的对象。传感器232还可以检测天气状况的某些方面，例如雪、雨或水雾，或者道路上的水坑、冰或其他材料。

仅作为示例，感知系统的传感器可以包括光检测和测距(lidar)传感器、雷达单元、相机(例如，具有或不具有中性密度过滤器(ND)的光学成像设备)、定位传感器(例如，陀螺仪、加速度计和/或其他惯性部件)、红外传感器和/或记录可以由计算设备202处理的数据的任何其他检测设备。感知系统224还可以包括例如沿着车顶吊舱102和/或其他传感器组件外壳布置的一个或多个麦克风或其他声学阵列，以及压力或惯性传感器等。

感知系统224的这样的传感器可以检测车辆外部环境中的对象及其特性，诸如位置、相对于道路的朝向(位姿)、大小、形状、类型(例如，车辆、行人、骑自行车者等)、走向、相对于车辆的移动速度等以及车辆周围的环境状况。感知系统224还可以包括车辆内的其他传感器以检测车辆内的(诸如乘客车厢中的)对象和状况。例如，这样的传感器可以检测例如一个或多个人、宠物、包裹等以及车辆内和/或外部的状况，诸如温度、湿度等。感知系统224的传感器232还可以测量车轮228的转速、减速系统212的制动量或制动类型以及与车辆本身的设备相关联的其他因素。

由传感器获得的原始数据(例如，相机影像、激光雷达点云数据、雷达返回信号)可以由感知系统224处理和/或随着数据被感知系统224生成而周期性地或持续地向计算设备202发送以供进一步处理。计算设备202可以使用定位系统222来确定车辆的位置，并且使用感知系统224检测对象和道路信息(例如，标牌或道路标记)以及在需要时对对象和道路信息作出响应，以诸如通过由规划器/轨迹模块223做出的调整而安全到达该位置，该调整包括用以处理遮挡和其他问题的操作中的调整。

如图1A-图1B所示，感知系统224的某些传感器可以结合到一个或多个传感器组件或外壳中。在一个示例中，这些可以集成到车辆四周的前部、后部或侧部周界传感器(perimeter sensor)组件中。在另一个示例中，其他传感器可以是顶部外壳(车顶吊舱)102的部分。计算设备202可以与位于车辆之上或以沿车辆分布的传感器组件通信。每个组件可以具有一个或多个类型的传感器，诸如上述传感器。

回到图2，计算设备202可以包括通常与计算设备结合使用的所有部件，诸如上述处理器和存储器以及用户接口子系统234。用户接口子系统234可以包括一个或多个用户输入236(例如，鼠标、键盘、触摸屏和/或麦克风)和一个或多个显示设备238(例如，具有屏幕的监视器或可操作以显示信息的任何其他电气设备)。在这方面，内部电子显示器可以位于车辆的舱室内(未示出)，并且可以由计算设备202使用以向车辆内的乘客提供信息。诸如扬声器240的其他输出设备也可以位于客运车辆内以向乘坐者(rider)提供信息，或者与车辆外部的用户或其他人通信。

车辆还可以包括通信系统242。例如，通信系统242还可以包括一个或多个无线配置以促进与其他计算设备通信，诸如车辆内的乘客计算设备、车辆外部的(诸如道路上其他附近车辆中的)计算设备和/或远程服务器系统。连接可以包括短程通信协议，诸如蓝牙(Bluetooth)^TM、蓝牙^TM低功耗(LE)、蜂窝连接，以及各种配置和协议，包括互联网、万维网、内联网、虚拟专用网、广域网、局域网、使用专属于一个或多个公司的通信协议的专用网络、以太网、WiFi和HTTP，以及前述的各种组合。

图3A示出了具有车辆(例如，图1C-图1D中的车辆150)的各种部件和系统的框图300。作为示例，车辆可以是配置为以一个或多个自主操作模式操作的卡车、农场设备或施工设备。如框图300所示，车辆包括一个或多个计算设备的控制系统，诸如计算设备302，其包含一个或多个处理器304、存储器306和与以上关于图2所讨论的部件202、204和206类似或等同的其他部件。例如，数据可以包括与地图相关的信息(例如，道路图)以执行停止线确定。

控制系统可以构成货运车辆的牵引车单元的电子控制单元(ECU)。与指令208一样，指令308可以是由处理器直接地(诸如机器代码)或间接地(诸如脚本)执行的任何指令集合。类似地，一个或多个处理器304可以根据指令308检索、存储或修改数据310。

在一个示例中，计算设备302可以形成结合到车辆150中的自主驾驶计算系统。类似于以上关于图2所讨论的布置，框图300的自主驾驶计算系统可能能够与车辆的各个部件进行通信以便执行路线规划和驾驶操作。例如，计算设备302可以与诸如驾驶系统的、车辆的各种系统通信，驾驶系统包括减速系统312、加速系统314、转向系统316、信号系统318、导航系统320和定位系统322，它们中的每个可以用作如同上文关于图2所讨论的那样。

计算设备302还可操作地耦合到感知系统324、动力系统326和传输系统330。一些或全部车轮/轮胎328被耦合到传输系统330，并且计算设备302能够接收关于轮胎压力、平衡、转速和可能影响以自主模式驾驶的其他因素的信息。与计算设备202一样，计算设备302可以通过控制各种部件来控制车辆的方向和速度。作为示例，计算设备302可以使用来自地图信息和导航系统320的数据完全自主地将车辆导航到目的地位置。类似于上述图2的方式，计算设备302可以采用规划器/轨迹模块323，结合定位系统322、感知系统324以及其他子系统来检测对象和在需要时对对象作出响应，以安全到达该位置。

类似于感知系统224，感知系统324也包括一个或多个传感器或其他部件，诸如上述用于检测车辆外部的对象、车辆内部的对象或状况和/或某些车辆设备(诸如车轮和减速系统312)的操作的那些部件。例如，如图3A所指示的，感知系统324包括一个或多个传感器组件332。每个传感器组件332包括一个或多个传感器。在一个示例中，传感器组件332可以被布置为集成到卡车、农场设备、施工设备等的侧视镜中的传感器塔。如上文关于图1C-图1D所述，传感器组件332还可以定位在牵引车单元152或拖车154上的不同位置。计算设备302可以与位于牵引车单元152和拖车154两者上的传感器组件通信。每个组件可以具有一个或多个类型的传感器，诸如上述传感器。

图3A中还示出了用于牵引车单元和拖车之间的连接的联轴器系统(couplingsystem)334。联轴器系统334可以包括一个或多个动力和/或气动连接(未示出)，以及牵引车单元处的、用于连接拖车处的中枢栓的半拖车接轮336。通信系统338(等同于通信系统242)也被示为车辆系统300的一部分。

类似于图2，在该示例中，货运卡车或其他车辆也可以包括用户接口子系统339。用户接口子系统339可以位于车辆的舱室内并且可以由计算设备302使用以向车辆内的乘客提供信息，诸如能够以手动驾驶模式驾驶卡车的卡车司机。

图3B示出了拖车(诸如图1C-图1D的拖车154)的系统的示例框图340。如图所示，该系统包括一个或多个计算设备的拖车ECU 342，诸如包含一个或多个处理器344、存储器346和典型地存在于通用计算设备中的其他部件的计算设备。存储器346存储可由一个或多个处理器344访问的信息，包括可以由处理器344执行或以其他方式使用的指令348和数据350。对来自图2和图3A的处理器、存储器、指令和数据的描述可以应用于图3B中的这些元素。

拖车ECU 342被配置为接收来自牵引车单元的信息和控制信号以及来自各种拖车部件的信息。ECU 342的车载处理器344可以与拖车的各种系统通信，包括减速系统352、信号系统354和定位系统356。ECU 342还可以可操作地耦合到具有被布置在传感器组件364中的、用于检测拖车环境中对象的一个或多个传感器的感知系统358。ECU 342还可以可操作地与动力系统360(例如，电池电源)耦合以向局部部件提供动力。拖车的一些或全部车轮/轮胎362可以耦合到减速系统352，并且处理器344能够接收关于轮胎压力、平衡、车轮速度和可能影响以自主模式驾驶的其他因素的信息，并将该信息中继给牵引车单元的处理系统。减速系统352、信号系统354、定位系统356、感知系统358、动力系统360和车轮/轮胎362可以以诸如上述关于图2和图3A的方式操作。

拖车还包括一组撑地装置(landing gear)366以及联轴器系统368。撑地装置可以在与牵引车单元解耦时为拖车提供支撑结构。提供拖车和牵引车单元之间的连接的联轴器系统368可以是联轴器系统334的一部分。因此，联轴器系统368可以包括连接部分370(例如，用于与牵引车单元的通信、动力和/或气动链接)。联轴器系统还包括被配置用于与牵引车单元的半拖车接轮连接的中枢栓372。

示例实施方式

如上所述，检测标志和对标志作出动作具有挑战性的原因有很多。图4A的视图400示出了多个示例。特别地，图4A示出了交叉路口处有停止标志404的道路402。停止线406画在道路402上。道路402还可以包括车道线408和/或指示车辆应该在交叉路口处停止的“停止”文本或另一个图形410。在该示例中，存在分开的人行横道412。

行人穿行道标志414定位在停止标志404的下方。由于其安放，标志414可能被走在它前面的行人遮挡。禁止右转弯标志416也定位在交叉路口附近。这里，灌木418可以至少部分地从即将到来的车辆遮挡标志。最后，便携式禁止停止标志420沿着路缘安放。该标志可能不符合MUTCD标准，并且因此可能难以识别，尤其是如果它相对于道路402成一定角度安放时。

图4B示出了另一个视图450，其中每个标志应用于多个车道。这里，有3个北行车道452L、452C和452R，其中每个车道必须向左、直行、或者具有直行或向右的选择权。虽然箭头454可以画在道路上，但是标志456指示每个相应车道的方向限制。同样，西行车道458L和458R也具有其自身的约束。这里，左车道458L必须左转弯，而右车道458R可以向左或直行。这些限制由画在道路上的箭头460以及标志462示出。对于自主驾驶的车辆，由于其他车辆，可能很难检测画在道路表面上的箭头。可能更容易检测悬挂在道路上方的标志456和462。然而，识别每个特定车道的要求以及列出的转弯动作与车辆所在的车道之间的相互关联的程度可能是具有挑战性的。

为了解决这些和其他标牌情形，提供了一种流水线架构。图5A示出了流水线的视图500，其采用了异步计算图形架构。最初，从感知系统(例如，图2的感知系统224或图3A的感知系统324)获得车辆驾驶环境中的对象的传感器数据集合。如图所示，传感器数据集合包括相机影像502、激光雷达深度信息504、激光雷达强度信息506和激光雷达高度(高程)信息508。相机影像可以来自沿车辆放置的一个或多个相机或其他成像设备。激光雷达信息可以来自由沿着车辆放置的一个或多个激光雷达单元获得的激光雷达点云数据。在某些情况下，来自一个相机的影像被处理为独立的影像。相比之下，在其他情况下，来自感知系统的多个相机的影像可以被融合或以其他方式集成以供处理。例如二次激光雷达返回的一些传感器信息可以在处理之前被丢弃。来自其他传感器的信息也可以用于增强评估过程。

在框510，输入传感器数据(例如，502-508中的每个)由通用标志检测器模块接收。由于有数百个标志类型，并且添加新的标志类型可能要求部署完全新的模型，因此为每个标志类型采用分开的检测器在计算上是低效的并且不可拓展的。此外，每个标志类型的标签可能是通过不同的标签框架和策略来独立地收集的，这使得采用分开的检测器的方法更加复杂。

因此，根据本技术的各方面，即使标志类型尚不被以自主驾驶模式操作的车辆支持，通用检测方法也引起对标志的检测。即使不知道标志类型，这也能提供有用的信息。例如，标志的密度可以指示有具有不同的转弯规则、重量限制等的许多车道的高速公路立交或大型交叉路口、施工区。知道存在标志可以使车辆能够请求远程协助以理解具有感兴趣的属性(例如，位于预期没有标志的地方的标志，具有非标准颜色和/或形状的标志，或其他感兴趣的属性)的标志。对于不同的应用，该系统可以具有不同的操作点(例如，由于分类器可以过滤掉假正例(和假负例)而导致的馈送到分类器的高查全率(recall)，以及对于诸如分割的其他下游应用的另一个高查准率(precision)操作点)。例如，机器学习检测器具有许多可能的操作点，每个操作点具有对应的查全率和查准率。查全率等于检测器检测的真正例对象的百分比，而查准率等于检测到的对象是真正例的百分比。由于检测的输出被馈送到下游分类器，所以这些分类器可以用来滤除假正例(检测到的对象不是真正的标志)。然而，如果其他下游应用需要使用原始通用标志检测输出，在这种情形下，可以采用更高查准率的操作点，这不会导致太多的假正例检测(例如，超过某个阈值的假正例)。

检测器的输入是整个相机图像，而分类器的输入是检测的块(检测器认为有标志的图像部分)。因此，通用检测器方法的另一个好处是，它允许系统较不经常地训练检测器，而随着新标志的浮现，更经常地重新训练分类器。此外，这种方法提供了一种可扩展的系统，因为拆分检测和分类使得添加新的标志类型更加容易。例如，这应该只需要在图像块上重新训练分类器，而不要求重新训练检测器。此外，作为检测器的附加头部并且受益于与相机块相对的整个相机上下文，系统可以预测丰富的性质，这例如可以帮助预测标志安放(例如，标志位于场景中的何处，以及它是手持的、临时的还是永久的等)。这里，诸如标志安放的一些性质要求更多的上下文，而不仅仅是块。考虑停止标志，它可以是手持的(例如，由穿行道警卫或施工工人)、在校车上、在永久的柱子上、或在诸如路障或交通锥的临时的固定物上。仅通过观看标志块，可能很难或不可能推断停止标志附接在哪种固定物上。然而，完整的相机图像可以提供足够的上下文来预测这些。多任务学习也被证明提高了跨任务性能。因此，在常规检测任务之外被训练来预测标志性质的神经网络可以胜过在原始检测问题上不预测性质的神经网络。

鉴于此，通用标志检测器模块的一个方面是识别车辆的邻近(vicinity)中任何标志的存在。模块的另一个方面是预测诸如背景颜色(例如，白/黑、白/红、红、黄、绿、蓝等)、形状(例如，矩形、八边形等)、安放、深度和走向的标志属性。具体而言，该模块用于检测任何标志(例如，停止标志、速度限制标志等)，而不考虑类型。在初始检测阶段，系统可以生成并存储(和/或输出)关于检测到的对象、相机型号和具有相机读出时间的时间戳的细节的集合。

细节的集合可以包括以下中的一个或多个:(i)深度信息(例如，相机和对象之间的直线距离)，(ii)标志属性(例如，标志类型、标志类型的置信度值、安放(例如，永久的、便携式的、手持的、在校车上、在另一个车辆类型上的、未知)等)、(iii)检测到的对象在图像帧中的位置、(iv)背景颜色(例如，白色或黑色、红色、黄色、橙色、未知)、(v)速度限制标志属性(例如，以英里/小时或公里/小时为单位的标志的速度限制值、例如最后观察的速度限制标志的速度限制标志历史等)。其他细节可以包括，作为示例，标志形状和/或标志内容。唯一标识符可以与每个检测到的对象的细节的集合相关联。每个标志安放可以被分配其自身的预测分数，预测分数用于该安放是正确的可能程度(例如，0-100％之间的百分比值，1、2或3的等级，或一些其他分数类型)。类似地，背景颜色可以包括或可以不包括给定颜色的可能性的预测、分数或其他等级。并且标志形状可以或可以不与置信度值相关联。

图5B示出了通用标志检测的示例性情景540，其中车辆542正在接近具有包括披萨店544、邮局546和发廊548的建筑物的街区。如图所示，在拐角处有禁止右转弯的标志550，在人行道上有前方公共事业作业(UTILITY WORK)标志552。标志四周的虚线框指示它们已经在接收的影像(例如，经由由从框到车辆的车顶上的传感器模块的点划线指示的返回信号)中被检测。

在该情景下，根据输入的传感器数据，通用标志检测器模块可以将标志550识别为距车辆53米并且成24°的角度的白色矩形永久固定物。它还可以将标志552识别为距车辆27米并成14°角度的橙色菱形临时固定物。仅作为示例，由于单个中心杆接触地面，所以标志550可以被确定为永久的，而由于对从标志支撑物的底部延伸的一组腿的识别，所以标志552可以被确定为临时的。

在初始检测阶段之后，一旦系统生成了关于检测到的对象的细节的集合，通用标志检测器模块就执行标志调度操作。具体地，在图5A的框512中，通用标志检测器模块从上述检测阶段吸收检测和对应的性质，并将这些检测路由到相关的分类器。例如，被认为具有红色背景的检测可以被路由到停止标志分类器514，而不是被路由到速度限制标志分类器516、黄色和橙色标志分类器518或白色管制标志分类器520。这里，它还可以被路由到其他分类器522和/或文本和符号检测器524。在另一个示例中，文本和符号检测器524可以包括用于文本和符号的分开的检测器。这种方法可以显著地帮助资源管理，以避免使得同时对相同的检测运行太多的分类器。

因此，使用图5B的禁止右转弯标志550，在图5C的示例560中，通用标志检测器510可以将标志的信息传递给停止标志分类器514、白色管制标志分类器520以及文本和符号检测器524。相比之下，对于图5B的前方公共事业作业标志552，在图5D的示例580中，通用标志检测器510可以将标志的信息传递给黄色和橙色标志分类器518、其他分类器522(例如，施工警告分类器)以及文本和符号检测器524。

除了将检测路由到各种分类器之外，由通用标志检测器操作的调度器阶段负责从图像块检测创建分批输入。这涉及在每个检测的标志四周裁剪一区域(如配置文件所指定的)，并将各种检测分批到将去往标志类型分类器的一个输入中。调度器程序操作的输出包括具有对应的对象ID的图像块。在一个情景下，输出是通用标志检测器指示可能有标志的、来自一个相机拍摄的一个图像的块的集合。例如，系统可以裁剪给定图像中通用标志检测器发现可能的标志的所有区域。这允许系统将特定检测追踪回到由感知系统获得的对应的影像。

从通用标志检测器框接收来自调度器的输入的、框512中的每个分类器对给定输入运行其底层深度神经网络，例如卷积神经网络(CNN)。标志分类阶段的输出是从对象ID到分类器的类的预测分数的映射。例如，速度限制标志分类器516可以输出以下类的预测分数:

·0类：15英里/小时

·1类：20英里/小时

·2类：25英里/小时

·3类：30英里/小时

·4类：35英里/小时

·5类：40英里/小时

·6类：45英里/小时

·7类：50英里/小时

·8类：其他速度限制

·9类：不是速度限制

在该特定示例中，对于每个对象ID，速度限制标志分类器516将输出10个预测分数(即，每个类一个)。

文本和符号检测器524从关键字和符号的固定词汇表中检测单独的分量。例如，如图6A的示例600所示，检测器识别单词“作业”和“前方”，这可以由系统(例如，规划器/轨迹模块)考虑，以调整车辆的速度和/或从先前规划的路径改变车道。

该分开的检测器对于长尾(long-tail)情况和罕见的示例特别有用。例如，如图6B中示例620的上半部分所示，有许多不同的方式来指示红灯禁止转弯。并且如该示例的下半部分所示，文本和符号检测器能够从不同的标志中解析出文本和符号两者，以达到对“红灯禁止右转弯”的确定。

回到图5A，在框512中的分类器和文本/符号检测器对检测的标志的信息进行操作之后，这些操作的结果被发送给标志类型注释器框526。给定来自所有标志类型分类器的分类(以及来自文本和符号检测器的信息)，标志类型注释器负责创建关于其标志的特定类型的注释。如果对象只被一个分类器分类，则过程是简单的，因为对象将被打上为属于该分类器的类型的标签。因此，如图7A的示例700所示，如果停止标志仅被停止标志分类器分类，并且文本被检测为“停止”，则注释将是“停止标志”。

然而，如图7B的示例720所示，如果对象被多个分类器(例如，白色管制标志分类器和转弯制约分类器)分类，则合并两个分类结果会更加复杂。这里，来自文本和符号检测器的信息(例如，“仅”和“仅”作为两个识别的单词，多个转向箭头作为符号)，然后该信息可以与来自白色管制标志分类器和转弯制约分类器的分类结合使用，以将其被注释为多车道的转弯标志。

在一个情景下，系统可以保留踪迹(track)上所有预测标志类型的历史(例如，沿着道路的特定部分的给定时间段)，以避免一帧的误分类。该历史可以用于消除分类结果中的大多数不一致。

在考虑文本/符号检测器信息和历史数据后，任何剩余的不一致可以经由标牌的优先级列表来解决。举例来说，如果停止标志和速度限制标志分类分数二者都高于它们相应阈值，从而指示该标志可能是停止标志和速度限制标志二者，则系统可以选择停止标志作为合适的分类，因为该类型的标志对于车辆操作具有更关键的行为影响。此外，如果永久标志存在，那么一旦标志被添加到地图(例如，作为对道路图数据的更新)，系统就可以使用该信息作为先验数据。例如，这里，系统可以使用这样的数据来偏好与地图一致的预测。

在一个情景下，如果采用分开的检测器，那么相应的检测器可以将每个支持的标志类型发布在车辆的内部通信总线(例如，控制器局域网(CAN)总线或FlexRay总线)上作为具有相应的检测器自身的类型的对象(例如，潜在的停止标志或潜在的慢速标志)。然而，因为这里讨论的流水线方法具有带有多个分类器的一个通用标志检测器，所以检测器可以发布与标志相关的对象，并且每个分类器具有通过添加类型信息来修改这些对象的能力。

因此，标志类型可以被视为可修改的性质。这将允许系统避免一次性的误分类错误，并保持关于标志类型预测的更丰富的历史和信息，例如，一旦车辆更靠近标志并且感知系统对其具有更清晰的视野，这转而可以允许我们纠正在第一距离发生的误分类。

在执行任何注释时，系统然后还可以评估和处理与标志相关的数据。图8示出了一个示例800。例如，如图所示并根据图5A的讨论，来自框802的传感器信息被用于框804处的通用标志检测。来自通用标志检测的输出被选择性地提供给框806中的一个或多个分类器和文本/符号检测模块。然后，在框808，用(可能的)标志类型来注释来自框806的结果。接下来，系统可以在框810执行标志定位和/或在框812执行标志-对象关联。虽然以串行示出，但是这些可以并行或以相反的顺序执行。这些操作可以包括修订或修改标志注释。

定位涉及识别标志在现实世界中的位置，因为这可能影响车辆做出的驾驶决策。这可以包括组合投射到图像视野的激光雷达输入，以理解标志在车辆周围环境中的位置。特别地，系统通过估计其在全球坐标系中的坐标来估计标志在3D世界中的定位。这可以使用包括来自标志检测阶段的深度预测和使用高程地图数据的方法的组合来进行。可替代地或附加地，这也可以包括使用关于标志类型和它可以存在的大小的其他先验知识(例如，永久停止标志可能仅具有几个可允许的物理大小)，以及融合来自道路图或车辆环境中的其他对象的上下文信息。定位信息可以被添加到关于标志的现有信息中。

标志-对象关联将标志与环境中的其他对象相关联。这包括将标志与现有映射的标志相关联，以及将未映射标志与包含(hold)它们的其他对象相关联。例如，如果标志已经在地图中，则检测的标志可以被标记为副本。如果不是副本，则系统可以对新标志作出反应，包括修改当前驾驶操作、更新车载地图和/或通知后端服务关于新标志。框812处的标志-对象关联还可以将标志与来自其他模型的其他检测相关联。这可以包括行人检测模型，其中可能有施工工人、警官或持有停止标志的穿行道警卫。它还可以包括诸如识别另一个车辆是否为校车、施工车辆、应急车辆等的车辆检测模型。

作为示例，图9A示出场景900，其中系统可检测第一路障902和道路封闭标志904，以及第二路障906和禁止进入标志908。这里，系统可以将道路封闭标志与第一路障相关联，将禁止进入标志与第二路障相关联。由于该信息可以指示沿着道路有正在进行的施工，因此可以相应地更新车辆的地图，并且可以向后端系统发送通知，例如使得可以向其他车辆通知道路封闭。

图9B示出了另一个场景910，其中系统可以检测道路中的停止标志912和与道路相邻的施工标志914。由于施工标志在道路一侧和/或由于识别了从标志支撑物的底部延伸的一组腿，因此建筑标志可以被确定为临时标志。在该场景中，行人检测模型可以将人916识别为施工工人(例如，由于确定该人穿着安全帽或反光背心)。系统可以识别停止标志与施工工人相邻并且由施工工人持有。在这种情形下，系统可以通过修改规划的驾驶轨迹来对停止标志作出反应，以便停止。

图9C示出了又一场景920，其中系统的标志流水线检测了停止标志922，并且车辆模型确定相邻的车辆924是校车。这可以基于车辆的整体形状、其颜色(例如，黄色)、文本926(例如，“校车”或“区域辖区4号”)和/或沿车辆的其他迹象(indicia)(例如，红色或黄色闪光灯的存在)来进行。这里，一旦系统确定存在与校车相关联的停止标志，并且该标志是伸出的而不是缩回的，则规划器/轨迹模块可以使车辆停止。

可能有检测了标志，但是由于与另一个对象的关联，系统确定不需要对该标志作出反应的情形。例如，图9D示出场景930，其中有具有两个车道932L和932R的道路，且车辆934在左车道932L中。这里，标志流水线系统检测了具有其他车辆保持右行的指令的一组标志936。然而，因为系统该组标志与车辆相关联(这可以包括确定标志被装载到车辆的后部)，所以可以确定(例如，通过规划器/轨迹模块)不需要移动到右车道932R或改变当前轨迹。

回到图8，一旦注释完成，并且已经使用对注释进行的对应的修改执行了包括定位或对象关联的任何后续处理，则系统在车辆的内部通信总线上发布关于检测的标志的信息。在这点上，诸如规划器/轨迹模块的各种车载系统可以使用注释的标志信息来做出与自主驾驶相关的决策。

与标志相关的信息，包括观察的不在地图上的新标志的存在、流水线不能够分类的标志、或者标志的感兴趣的特征(例如，非标准的颜色或形状)，可以被传输到后端系统以用于评估或进一步处理。例如，可以为一个或多个分类器执行非车载处理。在一个情景中，后端系统可以为多个自主车辆执行车队管理操作，并且可能能够与车队中的一些或所有自主车辆进行实时直接通信。后端系统可能比单独的车辆具有更多对其可用的处理资源。因此，在一些情形下，后端系统可能能够实时地快速执行用于道路标志评估的处理，并将该信息中继给车辆，使得车辆可以相应地修改其规划的驾驶(例如，停止)操作。

后端系统还可以使用接收的标志信息来训练新的标志分类器或更新现有的标志分类器，以及训练通用标志检测器。

在一些示例中，可以包括神经网络的用于标志分类器的机器学习模型可以在标志信息、地图数据和/或另外的人类标签数据上被训练。训练可以基于收集的真实世界数据(例如，根据道路环境、交叉路口类型、诸如停止或让行标志的标牌等被打上标签)。由此，可以开发一个或多个模型，并在自主车辆的实时评估中使用，在后端系统的事后(例如，后处理)评估中使用，或者两者中都使用。作为示例，模型结构可以是深度网络，其中确切的结构和参数可以通过自动机器学习(例如使用神经架构搜索(NAS)类型的模型)来搜索。基于此，车载系统(例如，车辆自主驾驶系统的规划器/轨迹模块和/或导航系统)可以利用本文中讨论的并行架构方法中的模型。

作为示例，模型可以采用交通标志的特性并输出交通标志类型。模型可以用于特定类型的标志，使得不同的模型用于不同的分类器(例如，图5A的标志分类器514-522)。如上所述，交通标志类型可以包括管理、警告、引导、服务、娱乐、施工、学校区等。在某些情况下，诸如停止标志或铁路交叉口(crossing)标志的某些标志可以被视为标志类型。为了能够使用模型来对交通标志类型进行分类，可以首先“离线”(即，提前和/或在远程计算设备处)训练模型，并且然后经由网络发送给车辆或者下载到车辆。一个或多个服务器计算设备可以通过首先从存储系统检索训练数据来生成模型参数值。

例如，一个或多个服务器计算设备可以检索影像的集合。影像可以包括对应于交通标志可能可见的位置的相机图像，例如距离已知交通标志预定距离并朝向朝着已知交通标志的图像。例如，由安装在诸如车辆100、120或150的车辆上的相机或其他传感器捕获的图像可以被检索和/或包括在集合中，其中相机在交通标志的一定距离内并且朝向朝着交通标志。相机图像可以被处理并用于生成模型的初始训练数据。如上所述，影像可以与标示图像被捕获的位置和朝向的信息相关联。

模型的初始训练数据可以以各种方式从影像生成。例如，人类操作员可以通过查看图像、在交通标志四周绘制边界框以及标识交通标志的类型来给交通标志的图像以及交通标志的类型打上标签。附加或可替代地，现有的模型或图像处理技术可以用于给交通标志的图像以及交通标志的类型打上标签。

给定可以被视为训练输入的交通标志图像和可以被视为训练输出的指示交通标志的类型的标签，给定分类器的模型可以被训练为输出在捕获的图像中发现的交通标志的类型。换句话说，在模型将得到什么输入以及模型将生成什么输出上，训练输入和训练输出被用于训练模型。作为示例，模型可以接收包含标志的图像，诸如图5B中的虚线框所示。模型还可以接收指示每个图像示出的标志的类型的标签，包括“监管标志”、“施工标志”等。在某些情况下，标志的类型可能是特定的，诸如“禁止右转弯标志”和“前方公共事业作业”。基于该训练数据，模型可以学习识别相似的交通标志。在这点上，训练可以增加模型的查准率，使得用于训练模型的训练数据(输入和输出)越多，模型在识别标志类型时的查准率就越高。

在一些情况下，模型可以被配置为提供指示标志的内容的另外的标签。在这点上，在机器学习模型的训练期间，训练数据可以包括对应于交通标志性质的标签。例如，指示服务标志的性质的标签可以与指示标志类型为服务标志的标签一起输入到机器学习模型中，服务标志的性质包括“矩形形状”、“蓝颜色”和声明“下一个右行有休息区”的“文本”。这样，当训练模型在标签和服务标志的图像上运行时，模型可以学习该标志是指示前方休息区的服务标志。基于该确定，模型可以学习包括诸如“矩形形状”、“蓝颜色”和声明“下一个右行有休息区”的“文本”的性质的其他标志也可以是服务标志。

一旦给定分类器的模型被训练，它可以被发送或加载到诸如车辆100、120或150的存储器的、自主车辆的计算系统的存储器中以供使用。例如，当车辆四周驾驶时，该车辆的感知系统可以捕获其周围的传感器数据。包括包含交通标志的任何图像的该传感器数据可以被周期性地或连续地发送到后端系统，以用作模型的输入。模型然后可以为图像中的每个交通标志提供对应的标志类型。例如，车辆可以捕获包含标志550和/或552的图像，如图5B所示。模型可以输出指示标志类型是管制或建筑标志的标签。在某些情况下，模型还可以提供特定类型的标志。例如，该模型可以输出“警告标志”和“前方铁路交叉口”标志类型。然后，提供的标志类型和性质可以用于确定如何控制车辆，以便如本文所述地适当地对检测的标志作出响应。

由人类注释的标签包括图像中有标志的位置的边界框，以及标志类型注释(例如，停止标志、让行标志等)，以及包括但不限于颜色的属性(例如，红色、绿色、橙色、白色等。)、安放(手持的、永久的、临时的、校车)、内容(文字、图形等。)，深度等。通过向检测器馈送具有边界框和性质注释的完整图像来训练检测器。检测器将学习预测边界框以及诸如颜色和形状的额外的性质。为了训练分类器，运行检测器以获得检测的标志。这些检测与标签相结合。如果检测的标志与给定的标签显著重叠，则该标签的标志类型被分配给它(例如，停止标志)。如果检测的标志没有与该标签显著重叠，则系统认为它不是标志。然后，在检测四周裁剪块，并且因此系统将图像块加上它们的标签作为训练模型的输入。对于给定的分类器，系统仅保持该分类器预测的类(例如，所有速度限制)，并将其他所有事物标记为“未知”。

图10A和图10B示出了用于车队类型操作的后端系统的一个示例。具体地，图10A和10B分别是示例系统1000的示意图和功能图，示例系统1000包括经由网络1016连接的多个计算设备1002、1004、1006、1008和存储系统1010。系统1000还包括被配置为以自主驾驶模式操作的车辆1012和1014，其可以分别被配置为与图1A-图1B和图1C-图1D的车辆100和150相同或相似。车辆1012和/或车辆1014可以是一个或多个车队的部分，该一个或多个车队为乘客提供乘坐或者向顾客递送包裹、杂货、货物或其他物品。尽管为了简单起见，仅描绘了一些车辆和计算设备，但是典型的系统可以包括显著更多。

如图10B所示，每个计算设备1002、1004、1006和1008可以包括一个或多个处理器、存储器、数据和指令。这样的处理器、存储器、数据和指令可以类似于上面关于图2或3A描述的那些来配置。

各种计算设备和车辆可以经由一个或多个网络(诸如网络1016)直接或间接通信。网络1016和中间节点可以包括各种配置和协议，包括短程通信协议，诸如蓝牙^TM、蓝牙LE^TM、互联网、万维网、内联网、虚拟专用网、广域网、局域网、使用专属于一家或多家公司的通信协议的专用网络、以太网、WiFi和HTTP，以及上述的各种组合。这样的通信可以由能够向其他计算设备传输数据和从其他计算设备接收数据的任何设备(诸如调制解调器和无线接口)来促进。

在一个示例中，计算设备1002可以包括具有多个计算设备的一个或多个服务器计算设备(例如，负载平衡服务器群)，多个计算设备与网络的不同节点交换信息，目的是从其他计算设备接收数据、处理数据和向其他计算设备传输数据。例如，计算设备1002可以包括能够经由网络1016与车辆1012和/或1014的计算设备以及计算设备1004、1006和1008通信的一个或多个服务器计算设备。例如，车辆1012和/或1014可以是可以由服务器计算设备调度到各种位置的自主车辆车队的一部分。在这方面，计算设备1002可以用作调度服务器计算系统，其可以用于将车辆调度到不同位置以便接起和放下乘客或接载和递送货物或其他物品。此外，服务器计算设备1002可以使用网络1016来向其他计算设备中的一个计算设备的用户或车辆乘客传输和呈现信息。在这方面，计算设备1004、1006和1008可以被认为是客户端计算设备。

如图10A-10B所示，每个客户端计算设备1004、1006和1008可以是旨在供相应用户1018使用的个人计算设备，并且具有通常与个人计算设备结合使用的所有部件，包括一个或多个处理器(例如，中央处理单元(CPU)、图形处理单元(GPU)和/或张量处理单元(TPU))、存储数据和指令的存储器(例如，RAM和内部硬盘驱动器)、显示器(例如，具有屏幕的监视器、触摸屏、投影仪、电视机或可操作以显示信息的诸如智能手表显示器的其他设备)，以及用户输入设备(例如鼠标、键盘、触摸屏或麦克风)。客户端计算设备还可以包括用于记录视频流的相机、扬声器、网络接口设备以及用于将这些元件彼此连接的所有部件。

虽然客户端计算设备可以各自包括全尺寸的个人计算设备，但是它们可以可替代地包括能够通过诸如互联网的网络与服务器无线交换数据的移动计算设备。仅作为示例，客户端计算设备1006和1008可以是移动电话或设备，诸如支持无线的PDA、平板PC、可穿戴计算设备(例如，智能手表)或能够经由互联网或其他网络获得取信息的上网本。

在一些示例中，客户端计算设备1004可以是管理员或操作员用来与调度的车辆的乘坐者进行通信的远程协助工作站。尽管在图10A-图10B中仅示出了单个的远程协助工作站1004，但在给定系统中可以包括任何数量的这样的工作站。此外，虽然操作工作站被描绘为台式计算机，但操作工作站可以包括各种类型的个人计算设备，诸如膝上型电脑、上网本、平板计算机等。作为示例，远程协助工作站可以由技术人员或其他用户用来帮助进行标志相关的处理，包括对不同类型的标志打标签。

存储系统1010可以是能够存储可由服务器计算设备1002访问的信息的任何类型的计算机化存储，诸如硬盘驱动器、存储卡、ROM、RAM、DVD、CD-ROM、闪存驱动器和/或磁带驱动器。此外，存储系统1010可以包括分布式存储系统，其中数据存储在可以物理上位于相同或不同地理位置处的多个不同的存储设备。存储系统1010可以如图10A-图10B所示地经由网络1016连接到计算设备，和/或可以直接连接到或结合到任何计算设备中。

存储系统1010可以存储各种类型的信息。例如，存储系统1010可以存储自主车辆控制软件，自主车辆控制软件将由诸如车辆1012或1014的车辆使用来以自主驾驶模式操作这样的车辆。存储系统1010还可以存储一个或多个模型和用于训练模型的数据，诸如影像、模型的参数值、例如打标签的标志性质的数据结构。存储系统1010还可以存储训练模型的训练子系统，以及诸如训练的分类器、通用标志检测器以及文本和符号检测器的结果信息。训练的分类器和检测器可以根据需要与特定车辆或跨车队共享。它们可以在获得另外的与标志相关的信息时，实时、周期性、或者离线更新。存储系统1010还可以包括路线信息、天气信息等。该信息可以与车辆1012和1014共享，例如来帮助以自主驾驶模式操作车辆。

图11示出了根据该技术的一个方面的流程图1100，其提供了一种控制以自主驾驶模式操作的车辆的方法。在框1102，该方法包括由车辆的感知系统的一个或多个传感器接收与车辆的外部环境中的对象相关联的传感器数据，该传感器数据包括相机影像和激光雷达数据。在框1104，车辆的计算系统的一个或多个处理器将通用标志检测器应用于传感器数据，以识别一个或多个道路标志是否存在于车辆的外部环境中。在框1106，该方法包括由一个或多个处理器根据通用标志检测器识别道路标志存在于车辆的外部环境中。在框1108，根据通用标志检测器预测道路标志的属性。在框1110，该方法包括基于预测的道路标志的属性，将道路标志的图像路由到一组标志分类器中的一个或多个选择的标志分类器，以执行图像的特定标志类型的评估(sign type specific evaluation)。在框1112，道路标志的图像还被路由到文本和符号检测器，以识别图像中的任何文本或符号。在框1114，该方法包括基于(i)来自由每个选择的标志分类器进行的特定标志类型的评估的分类结果和(ii)由文本和符号检测器识别的任何文本或符号信息，向道路标志注释标志类型。并且在框1116，该方法包括基于注释标志类型确定是否使车辆以自主驾驶模式执行驾驶动作。

尽管本文中的技术是根据特定实施例描述的，但是应当理解，这些实施例仅是对本技术的原理和应用的说明。因此应当理解，在不脱离由所附权利要求限定的本技术的精神和范围的情况下，可以对说明性实施例进行多种修改并且可以设计其他布置。

Claims (20)

1.一种控制以自主驾驶模式操作的车辆的方法，所述方法包括：

由车辆的感知系统的一个或多个传感器接收与车辆的外部环境中的对象相关联的传感器数据，所述传感器数据包括相机影像和激光雷达数据；

由车辆的计算系统的一个或多个处理器将通用标志检测器应用于传感器数据，以识别一个或多个道路标志是否存在于车辆的外部环境中；

由一个或多个处理器根据通用标志检测器识别道路标志存在于车辆的外部环境中；

由一个或多个处理器根据通用标志检测器预测道路标志的属性；

由一个或多个处理器基于预测的道路标志的属性，将道路标志的图像路由到一组标志分类器中的一个或多个选择的标志分类器，以执行图像的特定标志类型的评估；

由一个或多个处理器将道路标志的图像路由到文本和符号检测器，以识别图像中的任何文本或符号；

由一个或多个处理器基于(i)来自由每个选择的标志分类器进行的特定标志类型的评估的分类结果和(ii)由文本和符号检测器识别的任何文本或符号信息，向道路标志注释标志类型；以及

由一个或多个处理器基于注释标志类型确定是否使车辆以自主驾驶模式执行驾驶动作。

2.根据权利要求1所述的方法，其中，所述激光雷达数据包括深度信息、强度信息或高度信息中的至少一个。

3.根据权利要求1所述的方法，还包括：

在注释标志类型时，执行标志定位操作。

4.根据权利要求1所述的方法，还包括：

在注释标志类型时，执行标志-对象关联操作。

5.根据权利要求1所述的方法，其中，所述一个或多个选择的标志分类器包括从由停止标志分类器、速度限制标志分类器、标志颜色分类器或管制标志分类器组成的所述一组标志分类器中选择的一个或多个标志分类器。

6.根据权利要求1所述的方法，其中，所述道路标志的属性包括背景颜色、形状、安放、深度或走向中的至少一个。

7.根据权利要求6所述的方法，其中，所述安放是手持的、临时的或永久的。

8.根据权利要求1所述的方法，其中，识别所述道路标志存在包括生成或存储关于在车辆的外部环境中检测到的对象的细节的集合。

9.根据权利要求8所述的方法，其中，识别所述道路标志存在还包括评估关于相机型号或相机图像时间戳的信息。

10.根据权利要求1所述的方法，其中，每个选择的标志分类器输出特定的标志类型或者对未知类型的指示。

11.根据权利要求1所述的方法，其中，将所述图像路由到一个或多个选择的标志分类器，以及将所述图像路由到文本和符号检测器，包括裁剪道路标志四周的区域。

12.根据权利要求1所述的方法，其中，所述通用标志检测器被训练为基于传感器数据来识别是否存在任何道路标志。

13.根据权利要求1所述的方法，其中，所述一组标志分类器中的每个分类器基于裁剪的影像被分开地训练，以识别相应的标志类型。

14.一种被配置为以自主驾驶模式操作的车辆，所述车辆包括：

感知系统，包括一个或多个传感器，所述一个或多个传感器被配置为接收与车辆的外部环境中的对象相关联的传感器数据；

驾驶系统，包括转向子系统、加速子系统和减速子系统，以控制车辆的驾驶；

定位系统，被配置为确定车辆的当前定位；以及

控制系统，包括一个或多个处理器，所述控制系统可操作地耦合到驾驶系统、感知系统和定位系统，所述控制系统被配置为：

从感知系统的一个或多个传感器接收与车辆的外部环境中的对象相关联的传感器数据，其中，接收的传感器数据包括相机影像和激光雷达数据，

将通用标志检测器应用于传感器数据，以识别一个或多个道路标志是否存在于车辆的外部环境中，

根据通用标志检测器识别道路标志存在于车辆的外部环境中，

根据通用标志检测器预测道路标志的属性，

基于预测的道路标志的属性，将道路标志的图像路由到一组标志分类器中的一个或多个选择的标志分类器，以执行图像的特定标志类型的评估，

将道路标志的图像路由到文本和符号检测器，以识别图像中的任何文本或符号，

基于(i)来自由每个选择的标志分类器进行的特定标志类型的评估的分类结果和(ii)由文本和符号检测器识别的任何文本或符号信息，向道路标志注释标志类型，并且

基于注释标志类型确定是否使驾驶系统以自主驾驶模式执行驾驶动作。

15.根据权利要求14所述的车辆，其中，所述控制系统还被配置为在注释标志类型时，执行标志定位操作。

16.根据权利要求14所述的车辆，其中，所述控制系统还被配置为在注释标志类型时，执行标志-对象关联操作。

17.根据权利要求14所述的车辆，其中，识别所述道路标志存在包括生成或存储关于在车辆的外部环境中检测到的对象的细节的集合。

18.根据权利要求14所述的车辆，其中，识别所述道路标志存在还包括评估关于相机型号或相机图像时间戳的信息。

19.根据权利要求14所述的车辆，其中，将图像路由到一个或多个选择的标志分类器，以及将图像路由到文本和符号检测器，包括裁剪道路标志四周的区域。

20.根据权利要求14所述的车辆，其中，每个选择的标志分类器输出特定的标志类型或者对未知类型的指示。

Images