CN111845771A - 数据收集自动化系统 - Google Patents

Abstract

自动驾驶车辆(ADV)接收对于试驾员的指令，以在手动模式下驾驶ADV，并为一个或多个指定的驾驶类别收集指定的驾驶数据量。当用户驾驶员以手动模式驾驶ADV时，记录与一个或多个驾驶类别对应的驾驶数据。ADV的用户界面显示指示驾驶员对其收集数据的一个或多个驾驶类别，以及随着人类驾驶的进行，这些类别中的每个的进度指示器。驾驶数据上传到服务器用于进行机器学习。如果服务器机器学习将上传数据的阈值分级量实现为动态自驾驶模型的变量，则服务器生成ADV自驾驶模型，并将该模型分发给在自驾驶模式下导航的一个或多个ADV。

Description

数据收集自动化系统

技术领域

本公开的实施方式总体涉及操作自动驾驶车辆。更具体地，本公 开的实施方式涉及收集用于自动驾驶车辆的自动驾驶的训练数据的更 有效的方式。

背景技术

以自动驾驶模式运行(例如，无人驾驶)的车辆可将乘员、尤其 是驾驶员从一些驾驶相关的职责中解放出来。当以自动驾驶模式运行 时，车辆可使用车载传感器导航到各个位置，从而允许车辆在最少人 机交互的情况下或在没有任何乘客的一些情况下行驶。

为了在自动驾驶模式下操作自动驾驶车辆(ADV)，必须收集大 量的训练数据来训练自动驾驶模式，以便在无人驾驶模式下安全地操 作ADV。当人类驾驶员以手动(“人类驾驶员”)模式操作ADV时收 集数据。数据收集对于自动驾驶车辆的动态模型和校准表的生成和彻 底训练至关重要。收集涵盖所有必要场景的数据集需要机器学习和 ADV控制系统的专业知识。人类驾驶员不知道需要收集哪些数据。因 此，工程师通常伴随人类驾驶员以指导人类驾驶员关于需要收集的数 据，用于训练和/或校准自动驾驶车辆操作模型。这种方法效率很低。

发明内容

在本公开的一方面，提供了在自动驾驶车辆(ADV)的计算系统 上执行的计算机实施的方法，所述方法包括：

在所述ADV的用户界面上呈现一个或多个驾驶类别，其中，所 述驾驶类别中的每个均能够选择用于收集该驾驶类别的驾驶数据；

响应于经由所述用户界面接收的所述驾驶类别之一的选择：

经由所述用户界面呈现所述ADV正被驾驶的驾驶类别的指 示，

收集与所述驾驶类别相关联的驾驶数据，所述驾驶数据包括 发出的控制命令和响应于在不同时间点捕获的控制命令的所述 ADV状态，以及

在所述用户界面上显示和更新进度指示器，所述进度指示器 指示在收集所述驾驶数据时为所述驾驶类别收集的数据量的进 度；以及

将用于所述一个或多个驾驶类别的所收集的驾驶数据存储在所述 计算系统的永久性存储装置中，其中，将所收集的驾驶数据发送到服 务器，以训练所述ADV的驾驶模型以用于随后的自动驾驶。

在本公开的另一方面，提供了一种存储有指令的非暂时性机器可 读介质，所述指令在由处理器执行时致使所述处理器执行操作，所述 操作包括：

在所述ADV的用户界面上呈现一个或多个驾驶类别，其中，所 述驾驶类别中的每个均能够选择用于收集该驾驶类别的驾驶数据；

响应于经由所述用户界面接收的所述驾驶类别之一的选择：

经由所述用户界面呈现所述ADV正被驾驶的驾驶类别的指 示，

收集与所述驾驶类别相关联的驾驶数据，所述驾驶数据包括 发出的控制命令和响应于在不同时间点捕获的控制命令的所述 ADV状态，以及

在所述用户界面上显示和更新进度指示器，所述进度指示器 指示在收集所述驾驶数据时为所述驾驶类别收集的数据量的进 度；以及

将用于所述一个或多个驾驶类别的所收集的驾驶数据存储在所述 计算系统的永久性存储装置中，其中，将所收集的驾驶数据发送到服 务器，以训练所述ADV的驾驶模型以用于随后的自动驾驶。

在本公开的又一方面，提供了一种数据处理系统，包括：

处理器；以及

存储器，所述存储器联接至所述处理器，以存储指令，所述指令 在由所述处理器执行时致使所述处理器执行操作，所述操作包括：

在所述ADV的用户界面上呈现一个或多个驾驶类别，其中，所 述驾驶类别中的每个均能够选择用于收集该驾驶类别的驾驶数据；

响应于经由所述用户界面接收的所述驾驶类别之一的选择：

经由所述用户界面呈现所述ADV正被驾驶的驾驶类别的指 示，

收集与所述驾驶类别相关联的驾驶数据，所述驾驶数据包括 发出的控制命令和响应于在不同时间点捕获的控制命令的所述 ADV状态，以及

在所述用户界面上显示和更新进度指示器，所述进度指示器 指示在收集所述驾驶数据时为所述驾驶类别收集的数据量的进 度；以及

将用于所述一个或多个驾驶类别的所收集的驾驶数据存储在所述 计算系统的永久性存储装置中，其中，将所收集的驾驶数据发送到服 务器，以训练所述ADV的驾驶模型以用于随后的自动驾驶。

附图说明

本公开的实施方式在附图的各图中以举例而非限制的方式示出， 附图中的相同参考标记指示相似元件。

图1是示出根据一个实施方式的网络化系统的框图。

图2是示出根据一个实施方式的自动驾驶车辆的示例的框图。

图3是示出根据一个实施方式的与自动驾驶车辆一起使用的感知 与规划系统的示例的框图。

图4A和4B是示出根据一些实施方式的自动驾驶车辆(ADV)中 的数据收集自动化系统的用户界面的框图。

图5是示出根据实施方式的ADV在人类驾驶模式下对一个或多 个驾驶类别执行数据收集的方法的框图。

图6是示出根据实施方式的ADV在人类驾驶模式下对一个或多 个驾驶类别执行数据收集的方法以及使用所收集的数据生成ADV自 驾驶模型的服务器的框图。

图7是在实施方式中，服务器使用数据收集自动化为一个或多个 ADV训练动态模型的方法的框图。

图8是示出根据一个实施方式的数据处理系统的框图。

具体实施方式

将参考以下所讨论的细节来描述本公开的各种实施方式和方面， 附图将示出所述各种实施方式。下列描述和附图是本公开的说明，而 不应当解释为对本公开进行限制。描述了许多特定细节以提供对本公 开的各种实施方式的全面理解。然而，在某些情况下，并未描述众所 周知的或常规的细节，以提供对本公开的实施方式的简洁讨论。

本说明书中对“一个实施方式”或“实施方式”的提及意味着结 合该实施方式所描述的特定特征、结构或特性可包括在本公开的至少 一个实施方式中。短语“在一个实施方式中”在本说明书中各个地方 的出现不必全部指同一实施方式。

在第一方面，在由人类驾驶员在手动驾驶模式下操作的自动驾驶 车辆(ADV)中的计算系统上实施计算机实现的方法。该方法包括接 收指令以收集一个或多个驾驶类别的驾驶数据，以及对于每个驾驶类 别，要收集的数据量。在ADV的用户界面上呈现一个或多个驾驶类 别。在实施方式中，驾驶类别由服务器定义，该服务器将使用所收集 的数据来生成用于在自驾驶模式下导航ADV的自动模式(自驾驶) 模型。在实施方式中，从服务器接收用于收集一个或多个驾驶类别的 驾驶数据的指令。在实施方式中，要收集的数据量被指定为数据帧的 秒数或数据帧的数量。响应于确定ADV是根据一个或多个驾驶类别 中的一个在人驾驶模式下被驾驶的，该方法还包括经由用户界面呈现 ADV正被驾驶的驾驶类别的指示、记录该驾驶类别的ADV驾驶数据、 和更新指示为驾驶类别收集的数据量进度的用户界面的进度指示器。

经由用户界面呈现ADV正被驾驶的驾驶类别的指示可以包括用 户界面上驾驶类别的图形指示器或驾驶类别的音频指示器。驾驶类别 的图形指示可以包括在用户界面的显示屏的未使用区域中显示驾驶类 别，或者以不同于在用户界面上显示的其他驾驶类别的方式视觉地突 出驾驶类别。该方法还包括将所收集的数据从ADV发送到服务器， 用于一个或多个驾驶类别，服务器以训练ADV的驾驶模型。该方法 还包括从服务器接收经训练的驾驶模型，并根据从服务器接收到的经 训练的驾驶模型在自动驾驶模式下导航ADV。在实施方式中，为驾驶 类别记录的驾驶数据包括识别驾驶类别的标签，以及至少ADV的速 度、ADV的转向控制的转向输入的量和方向、ADV的制动控制的制 动输入的量。在实施方式中，更新驾驶类别的进度指示器反映该ADV 在驾驶类别上作出的进度，或者指示从服务器接收的多个ADV在驾 驶类别上的进度。

在第二方面，服务器可通信地联接到一个或多个自动驾驶车辆 (ADV)。服务器包括处理器和联接到处理器以存储指令的存储器， 当由处理器执行时，致使处理器接收由人类驾驶员驾驶的一个或多个 驾驶类别中的一个或多个ADV的驾驶数据，用于一个或多个类型的 ADV。这些指令还使处理器为一种或多种驾驶类别选择指定类型ADV 的驾驶数据。服务器对所选择的驾驶数据执行机器学习到预定的分级 阈值，以将驾驶数据分级到ADV的校准表或动态数据模型的预定组 的特征或变量。然后，服务器为指定ADV类型生成一个或多个校准 表和至少一个ADV自驾驶模型。服务器将指定ADV类型的一个或多 个校准表和至少一个ADV自驾驶模型分发给指定类型的至少一个 ADV，以便在自驾驶模式下导航至少一个ADV。

响应于服务器确定使用所选择的驾驶数据执行的机器学习未达到 预定阈值分级量，则，在为指定ADV类型生成一个或多个校准表和 至少一个ADV自驾驶模型之前，服务器向指定ADV类型的一个或多 个ADV发送指令以收集附加数据。服务器根据指令从指定的ADV类 型的一个或多个ADV接收所收集的附加数据，并重新执行针对一个 或多个驾驶类别的指定类型的ADV的驾驶数据的选择，并对所选择 的驾驶数据重新执行机器学习至预定分级阈值。服务器可以重复指示 ADV收集更多数据、以及服务器重新执行驾驶数据的选择和机器学习 的过程，直到达到分级阈值量。

在第三方面，上述任何方法都可以由具有至少一个硬件处理器的 处理系统和用可执行指令编程的存储器来执行，该可执行指令在由处 理系统执行时执行方法的操作。在第四方面，可以使用编程到非暂时 性计算机可读介质(例如内存或存储器)上的可执行指令来实现上述 任何方法。当可执行指令由具有至少一个硬件处理器的处理系统执行 时，处理系统使方法操作被执行。

图1是示出根据本公开的一个实施方式的自动驾驶车辆网络配置 的框图。参考图1，网络配置100包括可通过网络102通信地联接到 一个或多个服务器103至104的自动驾驶车辆101。尽管示出一个自 动驾驶车辆，但多个自动驾驶车辆可通过网络102联接到彼此和/或联 接到服务器103至104。网络102可以是任何类型的网络，例如，有 线或无线的局域网(LAN)、诸如互联网的广域网(WAN)、蜂窝网络、 卫星网络或其组合。服务器103至104可以是任何类型的服务器或服 务器群集，诸如，网络或云服务器、应用服务器、后端服务器或其组 合。服务器103至104可以是数据分析服务器、内容服务器、交通信 息服务器、地图和兴趣点(MPOI)服务器或位置服务器等。

自动驾驶车辆是指可配置成处于自动驾驶模式下运行的车辆，在 所述自动驾驶模式下车辆在极少或没有来自驾驶员的输入的情况下导 航通过环境。这种自动驾驶车辆可包括传感器系统，所述传感器系统 具有配置成检测与车辆运行环境有关的信息的一个或多个传感器。所 述车辆和其相关联的控制器使用所检测的信息来导航通过所述环境。自动驾驶车辆101可在手动模式下、在全自动驾驶模式下或者在部分 自动驾驶模式下运行。

在一个实施方式中，自动驾驶车辆101包括，但不限于，感知与 规划系统110、车辆控制系统111、无线通信系统112、用户接口系统 113和传感器系统115。自动驾驶车辆101还可包括普通车辆中包括的 某些常用部件，诸如：发动机、车轮、方向盘、变速器等，所述部件可由车辆控制系统111和/或感知与规划系统110使用多种通信信号和 /或命令进行控制，该多种通信信号和/或命令例如，油门信号或命令、 转向信号或命令、制动信号或命令等。

部件110至115可经由互连件、总线、网络或其组合通信地联接 到彼此。例如，部件110至115可经由控制器局域网(CAN)总线通 信地联接到彼此。CAN总线是设计成允许微控制器和装置在没有主机 的应用中与彼此通信的车辆总线标准。它是最初是为汽车内的复用电 气布线设计的基于消息的协议，但也用于许多其它环境。

现在参考图2，在一个实施方式中，传感器系统115包括但不限 于一个或多个摄像机211、全球定位系统(GPS)单元212、惯性测量 单元(IMU)213、雷达单元214以及光探测和测距(LIDAR)单元 215。GPS单元212可包括收发器，所述收发器可操作以提供关于自动 驾驶车辆的位置的信息。IMU单元213可基于惯性加速度来感测自动 驾驶车辆的位置和定向变化。雷达单元214可表示利用无线电信号来 感测自动驾驶车辆的本地环境内的对象的系统。在一些实施方式中， 除感测对象之外，雷达单元214可另外感测对象的速度和/或前进方向。 LIDAR单元215可使用激光来感测自动驾驶车辆所处环境中的对象。 除其它系统部件之外，LIDAR单元215还可包括一个或多个激光源、 激光扫描器以及一个或多个检测器。摄像机211可包括用来采集自动 驾驶车辆周围环境的图像的一个或多个装置。摄像机211可以是静物 摄像机和/或视频摄像机。摄像机可以是可机械地移动的，例如，通过 将摄像机安装在旋转和/或倾斜平台上。

传感器系统115还可包括其它传感器，诸如：声纳传感器、红外 传感器、转向传感器、油门传感器、制动传感器以及音频传感器(例 如，麦克风)。音频传感器可配置成从自动驾驶车辆周围的环境中采集 声音。转向传感器可配置成感测方向盘、车辆的车轮或其组合的转向 角度。油门传感器和制动传感器分别感测车辆的油门位置和制动位置。 在一些情形下，油门传感器和制动传感器可集成为集成式油门/制动传 感器。

在一个实施方式中，车辆控制系统111包括但不限于转向单元 201、油门单元202(也称为加速单元)和制动单元203。转向单元201 用来调整车辆的方向或前进方向。油门单元202用来控制电动机或发 动机的速度，电动机或发动机的速度进而控制车辆的速度和加速度。 制动单元203通过提供摩擦使车辆的车轮或轮胎减速而使车辆减速。 应注意，如图2所示的部件可以以硬件、软件或其组合实施。

返回参考图1，无线通信系统112允许自动驾驶车辆101与诸如 装置、传感器、其它车辆等外部系统之间的通信。例如，无线通信系 统112可以与一个或多个装置直接无线通信，或者经由通信网络进行 无线通信，诸如，通过网络102与服务器103至104通信。无线通信 系统112可使用任何蜂窝通信网络或无线局域网(WLAN)，例如，使 用WiFi，以与另一部件或系统通信。无线通信系统112可例如使用红 外链路、蓝牙等与装置(例如，乘客的移动装置、显示装置、车辆101 内的扬声器)直接通信。用户接口系统113可以是在车辆101内实施 的外围装置的部分，包括例如键盘、触摸屏显示装置、麦克风和扬声 器等。

自动驾驶车辆101的功能中的一些或全部可由感知与规划系统 110控制或管理，尤其当在自动驾驶模式下操作时。感知与规划系统 110包括必要的硬件(例如，处理器、存储器、存储装置)和软件(例 如，操作系统、规划和路线安排程序)，以从传感器系统115、控制系 统111、无线通信系统112和/或用户接口系统113接收信息，处理所 接收的信息，规划从起始点到目的地点的路线或路径，随后基于规划 和控制信息来驾驶车辆101。可替代地，感知与规划系统110可与车 辆控制系统111集成在一起。

例如，作为乘客的用户可例如经由用户接口来指定行程的起始位 置和目的地。感知与规划系统110获得行程相关数据。例如，感知与 规划系统110可从MPOI服务器中获得位置和路线信息，所述MPOI 服务器可以是服务器103至104的一部分。位置服务器提供位置服务， 并且MPOI服务器提供地图服务和某些位置的POI。可替代地，此类 位置和MPOI信息可本地高速缓存在感知与规划系统110的永久性存 储装置中。

当自动驾驶车辆101沿着路线移动时，感知与规划系统110也可 从交通信息系统或服务器(TIS)获得实时交通信息。应注意，服务器103至104可由第三方实体进行操作。可替代地，服务器103至104 的功能可与感知与规划系统110集成在一起。基于实时交通信息、MPOI信息和位置信息以及由传感器系统115检测或感测的实时本地 环境数据(例如，障碍物、对象、附近车辆)，感知与规划系统110可 规划最佳路线并且根据所规划的路线例如经由控制系统111来驾驶车 辆101，以安全且高效到达指定目的地。

服务器103可以是数据分析系统，从而为各种客户执行数据分析 服务。在一个实施方式中，数据分析系统103包括数据收集器121和 机器学习引擎122。数据收集器121从各种车辆(自动驾驶车辆或由 人类驾驶员驾驶的常规车辆)收集驾驶统计数据123。驾驶统计数据 123包括指示所发出的驾驶指令(例如，油门、制动、转向指令)以 及由车辆的传感器在不同的时间点捕捉到的车辆的响应(例如，速度、 加速、减速、方向)的信息。驾驶统计数据123还可包括描述不同时 间点下的驾驶环境的信息，例如，路线(包括起始位置和目的地位置)、 MPOI、道路状况、天气状况等。

基于驾驶统计数据123，出于各种目的，机器学习引擎122生成 或训练一组规则、算法和/或预测模型124。在一个实施方式中，算法 124可以包括使用预先分类用于由服务器103机器学习引擎122机器 学习的人类驾驶数据的指定型号ADV的训练。多个自动驾驶车辆 (ADV)101可以接收ADV的人类驾驶员的指令，以根据一个或多个 预定义的驾驶类别来收集指定的驾驶数据量。ADV 101内的用户界面 通知人类驾驶员要在其上收集数据的指定驾驶类别的人类驾驶。每个 显示的驾驶类别都具有进度指示器，其让驾驶员知道对于驾驶类别的 数据收集的进度。视觉和/或听觉指示器让驾驶员知道他/她当前正在按 照指定的驾驶类别之一以手动模式驾驶ADV，并正在收集该驾驶类别 的数据。ADV 101可以将其数据上传到服务器103以供机器学习引擎 122处理。机器学习引擎122可以接收到的一个或多个类别的驾驶数 据使用到校准表或动态驾驶模型的变量，将机器学习分级为预定分级 阈值。服务器103的算法/模型124可以进一步生成用于ADV的ADV 自驾驶动态模型，并将该动态模型分发给一个或多个ADV。然后算法/模型124可上传到ADV上以在自动驾驶期间实时使用。

图3是示出根据一个实施方式的与自动驾驶车辆一起使用的感知 与规划系统的示例的框图。系统300可实施为图1的自动驾驶车辆101 的一部分，包括但不限于感知与规划系统110、控制系统111和传感 器系统115。参考图3，感知与规划系统110包括但不限于定位模块 301、感知模块302、预测模块303、决策模块304、规划模块305、控 制模块306、路线安排模块307、驾驶监视器308和数据帧记录器309。

模块301至309中的一些或全部可以以软件、硬件或其组合实施。 例如，这些模块可安装在永久性存储装置352中、加载到存储器351 中，并且由一个或多个处理器(未示出)执行。应注意，这些模块中 的一些或全部可通信地联接到图2的车辆控制系统111的一些或全部 模块或者与它们集成在一起。模块301至309中的一些可一起集成为 集成模块。

定位模块301确定自动驾驶车辆300的当前位置(例如，利用GPS 单元212)以及管理与用户的行程或路线相关的任何数据。定位模块 301(又称作为地图与路线模块)管理与用户的行程或路线相关的任何 数据。用户可例如经由用户接口登录并且指定行程的起始位置和目的 地。定位模块301与自动驾驶车辆300的诸如地图与路线信息311的 其它部件通信，以获得行程相关数据。例如，定位模块301可从位置 服务器和地图与POI(MPOI)服务器获得位置和路线信息。位置服务 器提供位置服务，并且MPOI服务器提供地图服务和某些位置的POI， 从而可作为地图与路线信息311的一部分高速缓存。当自动驾驶车辆 300沿着路线移动时，定位模块301也可从交通信息系统或服务器获 得实时交通信息。

基于由传感器系统115提供的传感器数据和由定位模块301获得 的定位信息，感知模块302确定对周围环境的感知。感知信息可表示 普通驾驶员在驾驶员正驾驶的车辆周围将感知到的东西。感知可包括 例如采用对象形式的车道配置、交通灯信号、另一车辆的相对位置、 行人、建筑物、人行横道或其它交通相关标志(例如，停止标志、让 行标志)等。车道配置包括描述一个或多个车道的信息，诸如，例如 车道的形状(例如，直线或弯曲)、车道的宽度、道路中的车道数量、 单向或双向车道、合并或分开车道、出口车道等。

感知模块302可包括计算机视觉系统或计算机视觉系统的功能， 以处理并分析由一个或多个摄像机采集的图像，从而识别自动驾驶车 辆环境中的对象和/或特征。所述对象可包括交通信号、道路边界、其 它车辆、行人和/或障碍物等。计算机视觉系统可使用对象识别算法、 视频跟踪以及其它计算机视觉技术。在一些实施方式中，计算机视觉 系统可绘制环境地图，跟踪对象，以及估算对象的速度等。感知模块 302也可基于由诸如雷达和/或LIDAR的其它传感器提供的其它传感 器数据来检测对象。

针对每个对象，预测模块303预测对象在这种情况下将如何表现。 预测是基于感知数据执行的，该感知数据在考虑一组地图/路线信息 311和交通规则312的时间点感知驾驶环境。例如，如果对象为相反 方向上的车辆且当前驾驶环境包括十字路口，则预测模块303将预测 车辆是否可能会笔直向前移动或转弯。如果感知数据表明十字路口没 有交通灯，则预测模块303可能会预测车辆在进入十字路口之前可能 需要完全停车。如果感知数据表明车辆目前处于左转唯一车道或右转 唯一车道，则预测模块303可能预测车辆将更可能分别左转或右转。

针对每个对象，决策模块304作出关于如何处置对象的决定。例 如，针对特定对象(例如，交叉路线中的另一车辆)以及描述对象的 元数据(例如，速度、方向、转弯角度)，决策模块304决定如何与所 述对象相遇(例如，超车、让行、停止、超过)。决策模块304可根据诸如交通规则或驾驶规则312的规则集来作出此类决定，所述规则集 可存储在永久性存储装置352中。

路线安排模块307配置成提供从起始点到目的地点的一个或多个 路线或路径。对于从起始位置到目的地位置的给定行程，例如从用户 接收的给定行程，路线安排模块307获得路线与地图信息311，并确 定从起始位置至到达目的地位置的所有可能路线或路径。路线安排模 块307可生成地形图形式的参考线，它确定了从起始位置至到达目的 地位置的每个路线。参考线是指不受其它诸如其它车辆、障碍物或交 通状况的任何干扰的理想路线或路径。即，如果道路上没有其它车辆、 行人或障碍物，则ADV应精确地或紧密地跟随参考线。然后，将地 形图提供至决策模块304和/或规划模块305。决策模块304和/或规划 模块305检查所有可能的路线，以根据由其它模块提供的其它数据选 择和更改最佳路线中的一个，其中，其它数据诸如为来自定位模块301 的交通状况、由感知模块302感知到的驾驶环境以及由预测模块303 预测的交通状况。根据时间点下的特定驾驶环境，用于控制ADV的实际路径或路线可能接近于或不同于由路线安排模块307提供的参考 线。

基于针对所感知到的对象中的每个的决定，规划模块305使用由 路线安排模块307提供的参考线作为基础，为自动驾驶车辆规划路径 或路线以及驾驶参数(例如，距离、速度和/或转弯角度)。换言之， 针对给定的对象，决策模块304决定对该对象做什么，而规划模块305 确定如何去做。例如，针对给定的对象，决策模块304可决定超过所 述对象，而规划模块305可确定在所述对象的左侧还是右侧超过。规 划和控制数据由规划模块305生成，包括描述车辆300在下一移动循 环(例如，下一路线/路径段)中将如何移动的信息。例如，规划和控 制数据可指示车辆300以30英里每小时(mph)的速度移动10米， 随后以25mph的速度变到右侧车道。

基于规划和控制数据，控制模块306根据由规划和控制数据限定 的路线或路径通过将适当的命令或信号发送到车辆控制系统111来控 制并驾驶自动驾驶车辆。所述规划和控制数据包括足够的信息，以沿 着路径或路线在不同的时间点使用适当的车辆设置或驾驶参数(例如， 油门、制动、转向命令)将车辆从路线或路径的第一点驾驶到第二点。

在一个实施方式中，规划阶段在多个规划周期(也称作为驾驶周 期)中执行，例如，在每个时间间隔为100毫秒(ms)的周期中执行。 对于规划周期或驾驶周期中的每一个，将基于规划和控制数据发出一 个或多个控制命令。即，对于每100ms，规划模块305规划下一个路 线段或路径段，例如，包括目标位置和ADV到达目标位置所需要的 时间。可替代地，规划模块305还可规定具体的速度、方向和/或转向 角等。在一个实施方式中，规划模块305为下一个预定时段(诸如，5 秒)规划路线段或路径段。对于每个规划周期，规划模块305基于在 前一周期中规划的目标位置规划用于当前周期(例如，下一个5秒) 的目标位置。控制模块306然后基于当前周期的规划和控制数据生成 一个或多个控制命令(例如，油门、制动、转向控制命令)。

应注意，决策模块304和规划模块305可集成为集成模块。决策 模块304/规划模块305可包括导航系统或导航系统的功能，以确定自 动驾驶车辆的驾驶路径。例如，导航系统可确定用于影响自动驾驶车 辆沿着以下路径移动的一系列速度和前进方向：所述路径在使自动驾 驶车辆沿着通往最终目的地的基于车行道的路径前进的同时，基本上 避免感知到的障碍物。目的地可根据经由用户接口系统113进行的用 户输入来设定。导航系统可在自动驾驶车辆正在运行的同时动态地更 新驾驶路径。导航系统可将来自GPS系统和一个或多个地图的数据合 并，以确定用于自动驾驶车辆的驾驶路径。

模块301-307中的每一个都可以以规则和/或不规则的间隔生成与 模块相关的ADV驾驶信息的一个或多个消息。生成的特定消息以及 是否/何时生成消息，可以基于ADV是在手动模式(“人类驾驶模式”) 下驾驶还是在自驾驶模式(“自动驾驶模式”)下驾驶来确定。驾驶监 视器308可以确定要捕获这些消息中的哪一个。驾驶监视器308可以 接收消息、将消息排序并将其打包成基于时间的数据帧，以便由数据 帧记录器309以例如每帧10ms的时间增量来存储。

例如，定位模块301可以定期生成指示ADV的位置的消息，例 如，每100ms。感知模块302可以生成一个或多个消息，每个消息对 应于ADV的驾驶路径上的感知障碍物。预测模块303可以定期生成 包括由感知模块302感知的每个对象的预测轨迹的消息，例如每100ms。控制模块306可产生指示对油门、转向和制动的ADV输入的信 息，例如，100ms增量。传感器系统115可以为传感器系统中的每个 传感器生成一个或多个消息，以指示例如ADV的速度、ADV的加速 度、ADV的加速度率、ADV的横向加速度、物理制动输入量(“轻点”、 制动输入的百分比、或“急剧”制动输入)、物理转向输入(方向盘的 转动圈数或方向盘可以在每个方向上转动的全圈数的百分比)或油门 输入，例如当前应用的油门百分比。在自驾驶模式下，当ADV向控 制模块输出时，可以从控制模块306接收制动、转向和油门消息。在 人类驾驶模式下，制动、转向和油门消息表示控制系统的人类输入。

来自传感器系统115的消息还可以包括ADV的“俯仰”(前/后)、 ADV的偏航(右/左)、ADV外部的温度以及天气评估(太阳、云、雾、 薄雾、小雨、雨、大雨、雪、冰)和ADV的其他操作和环境变量。 所有上述消息都可以由驾驶监视器308接收、排序和打包，并传递给 数据帧记录器309以存储在存储帧的驾驶数据313中。在实施方式中， 一个或多个帧可以被标记以指示车辆的驾驶状态的宏观视图的驾驶类 别，以便可以容易地识别数据帧以用于离线机器学习。

应注意，如上文示出和描述的部件中的一些或全部可在软件、硬 件或其组合中实施。例如，此类部件可实施为安装并存储在永久性存 储装置中的软件，所述软件可通过处理器(未示出)加载在存储器中 并在存储器中执行以实施贯穿本申请所述的过程或操作。可替代地， 此类部件可实施为编程或嵌入到专用硬件(诸如，集成电路(例如， 专用集成电路或ASIC)、数字信号处理器(DSP)或现场可编程门阵 列(FPGA))中的可执行代码，所述可执行代码可经由来自应用的相 应驾驶程序和/或操作系统来访问。此外，此类部件可实施为处理器或 处理器内核中的特定硬件逻辑，作为可由软件部件通过一个或多个特 定指令访问的指令集的一部分。

图4A是示出根据实施方式的自动驾驶车辆(ADV)中的数据收 集自动化系统的用户界面400的框图。如上所述，本文所述的要求的 实施方式的目标包括便于收集预定义的驾驶类别中的人类驾驶数据， 向人类驾驶员通知在预定义类别中收集数据的进度，以将所收集的数 据上传到用于机器学习的服务器，以及接收经训练的动态模型，用于 根据经训练的模型在自驾驶模式下导航ADV。

用户界面(UI)400显示在ADV中，供人类驾驶员使用。UI 400 可以包括制动输入指示器405、油门输入指示器407、转向输入指示器410和速度指示器415。在人类驾驶模式下，控制输入指示器制动405、 油门407和转向410表示由人类驾驶员提供的车辆控制输入。制动输 入405可以用百分比(0..100％)表示，例如小于30％的制动输入，或 者用例如大于30％的“制动脉冲”表示。在实施方式中，用于区分制 动轻点和制动脉冲的阈值可以被配置为不同于30％的值。在实施方式 中，可以配置额外的制动类别，例如制动tap0-20％，正常制动20-30％， 以及急剧制动大于30％的制动输入。转向输入410可以表示为方向盘 能够转向的向左或向右方向盘转数的百分比。

例如，如果方向盘能够向左或向右转动1.5整圈，则转动方向盘 0.2整圈将导致0.2*1.5＝0.3或30％的转向输入百分比。”“急油门”可 以用时间和百分比来表示，例如在2到3秒或更长的时间内大于65％ 的油门输入，例如当人类驾驶员准备超车或进入高速公路时。类似地， “低油门”可以表示为百分比和时间，例如2-3秒的0-5％油门输入， 例如人类驾驶员在“滑行”时可能会这样做。在实施方式中，驾驶类 别的油门输入可以具有额外的范围，例如油门0-20％慢加速、20-50％ 正常加速，超过50％是急剧加速。以上值仅为示例性的。每个驾驶类 别440的每个驾驶输入类型的定义可以由测试工程师或诸如服务器 103的服务器来定义。在实施方式中，UI 400可被配置成显示接收到 用于收集驾驶数据的指令的驾驶类别。

UI 400还可以包括多个驾驶类别440，每个驾驶类别440具有进 度指示器442。示例性驾驶类别显示在图4A的驾驶类别440的标题下。 人类驾驶员或ADV可以接收用于收集一个或多个驾驶类别440的数 据的指令。ADV可以从服务器接收指令，该服务器稍后将接收收集的 数据。或者，人类驾驶员可以接收关于在哪些驾驶类别440上收集数 据以及为每个类别收集多少数据的书面指令。用户可以在UI 400上触 摸驾驶类别，例如“左转向0％-20％”，并输入要收集的数据量，例如 要收集的持续时间或数据帧的数量。在实施方式中，ADV 101中的电 子邮件系统可以接收关于要收集的驾驶数据的指令的电子邮件，人类 驾驶员可以打开电子邮件，从电子邮件中选择激活控制，并且UI 400 将更新以突出要收集数据的特定驾驶类别440以及所突出的类别的驾 驶数据的收集的当前进度。

为驾驶类别440收集的数据的进度442可以表示由该特定ADV 101收集的数据的进度，或者表示需要由多个ADV 101收集的数据总 量的进度。在后一实施方式中，多个ADV都贡献于收集驾驶类别440 的数据的进度，并且进度指示器442指示多个ADV的集体进度。服务器103可以估计对于在自驾驶ADV中使用的动态模型实现阈值分 级值所需的数据量。当服务器从用于驾驶类别的多个ADV中的任何 ADV接收数据时，服务器可以向多个ADV推送更新消息，指示多个 ADV的对该驾驶类别的数据收集的当前进度。

在实施方式中，UI 400可以突出要为其收集数据的驾驶类别，例 如，通过将要为其收集数据的驾驶类别可视化地分组在一起(图4A 中未示出)，或者通过可视化地突出要为其收集数据的驾驶类别。如图 4A所示，四个类别被加粗以显示它们是已接收到为其收集人类驾驶数 据的指令的驾驶类别440：左转向0％-20％，左转向20％-40％，右转 向0％-20％，右转向20％-40％。

当ADV由人类驾驶员驾驶时，可以提供指示，使驾驶员知道哪 个驾驶类别440与ADV的当前状态匹配。在实施方式中，指示器455 可提供当前驾驶类别的视觉指示，即人类驾驶员正在按照特定驾驶类 别440驾驶ADV 101，在本情况下，“左转向20％-40％”。在实施方式 中，指示器455还可以，或者可选地，包括当前驾驶类别455的音频 指示。在实施方式中，当驾驶类别440的数据收集进度达到100％时， 可以移除驾驶类别440的视觉突出，以便仅将仍要收集数据的驾驶类 别440(进度小于100％)保持突出。在实施方式中，进度指示器442 可以另外或者可选地包括覆盖在正在为其收集数据的驾驶类别440上 的可视进度条。在实施方式中，进度指示器442还可以包括表示驾驶 类别440的数据收集进度的音频消息。在实施方式中，人类驾驶员可 以选择驾驶类别来决定在哪执行驾驶数据收集任务，例如正常驾驶、 空停车场、高速公路或试车道。

UI 400还可以包括数据收集控件425，用于打开/关闭人类驾驶员 要为其收集数据的驾驶类别440的数据收集。UI 400还可以包括驾驶 模式控件430，该驾驶模式控件430选择ADV 101的手动(“人类驾 驶员”)模式或自驾驶(自动驾驶)模式。UI 400还可以包括用于上传 数据435的控件。选择后，上传数据435的控件上传ADV 101被指示 为其收集数据的驾驶类别440收集的数据。上传数据控件435可以包 括进度指示器，以让人类驾驶员知道向服务器103数据上传的进度。 UI 400还可以包括重置控件445，其可以重置所有驾驶类别440的进 度指示器442。在实施方式中，选择重置控件445还可以清除永久性 存储器352的存储帧的驾驶数据313。

本公开考虑了不同型号或配置的车辆具有不同的物理属性，例如 重量、轴距、转弯半径、制动配置、发动机马力、加速度、最高速度， 等等。UI 400可以包括ADV型号选择器450，该ADV型号选择器 450包括下拉列表(由图4A的控件450中的向下箭头

指示)， 该下拉列表允许用户选择为其收集驾驶数据的ADV的特定型号。在 实施方式中，ADV型号450默认为安装和使用UI 400的ADV 101的 特定型号。选择特定型号可以自动更新UI 400以指示为ADV 101的 特定型号(其可以不同于ADV 101的其他型号)定义的驾驶类别440。

UI 400还可以包括通用显示区域420，其可以向人类驾驶员显示 任何相关信息。在自驾驶模式下，显示器420将用于指示ADV 101的 规划轨迹、沿着ADV 101的驾驶路径的障碍物等。在人类驾驶模式下， 此信息可能被认为是对人类驾驶员的干扰，并且可以省略。

图4B是示出根据实施方式的自动驾驶车辆(ADV)中的数据收 集自动化系统的用户界面400的框图。在该用户界面400中，用户使 用标签视图选择器460选择了“标签视图”。在标签视图中，驾驶显示 器中填充有可供选择的驾驶类别440的不同组合的标签式选择480。 标签可以包括岔路转弯(例如20°-75°)、直行(无转弯)、转弯(例如 75°-90°)、急转弯(例如180°U形转弯或类似的急转弯)的驾驶类别。 标签480还可以包括标注为“今日”的标签，指示已经接收到对于其 的驾驶数据收集指令的驾驶类别。今日标签可以包括图4A所示的驾 驶类别440，或如图4A所示的标签式视图驾驶类别，例如岔路、直行、 转弯、急转弯、在一定速度范围以及制动或油门输入。

在图4B所示的标签式视图中，选择了岔路481标签。标签的选 择可以通过触摸显示器420上的所需标签、语音命令(例如“岔路标 签”)或其他选择方法来进行。岔路标签481显示驾驶类别和每个驾驶 类别的进度指示器。每种驾驶类别可以具有速度范围482，例如0-10 mps、10-20mps或大于(“>”)20mps。对于每个速度范围482，驾驶 类别可以具有制动483输入范围或油门484输入范围。制动483输入 范围可以是0-20％、20-25％或大于25％。油门484输入范围可以是， 例如0-25％、25-30％、或大于30％。所示的范围值是示例性的，并且 是非限制性的。速度范围482、制动483输入范围和油门484输入范 围可以指定和编辑、添加或删除。对于每个速度范围482、制动483 输入或油门484输入，可以存在带有“岔路左”485或“岔路右”486 进度指示器的驾驶类别。岔路是转弯，即从向前直行转向20°-75°。进 度指示器可以显示在标题“岔路左％完成485”或“岔路右％完成486” 下。图4B显示了要为驾驶类别收集的驾驶数据量的完成百分比。完 成百分比可以由其他指示器显示，如进度条、音频指示或其他指示驾 驶类别数据收集进度的方式。

为了方便人类驾驶员容易观看，驾驶员正驾驶车辆的当前驾驶类 别可以通过以下方式指示，例如，突出人类驾驶员当前驾驶ADV的 速度范围，突出车辆正在被操作的适用制动483或油门484输入范围， 或者通过视觉提示，如箭头455，如图4所示。在实施方式中，当人 类驾驶员导航ADV时，速度482、制动483或油门484输入，岔路左 485或右486进度指示器的视觉突出或提示可以自动更新以反映ADV 的当前操作状态。

在图4B的标签视图中，与图4A所示相同的控件可以位于UI 400 的不同部分中。例如，数据收集开/关425、驾驶模式430、更新数据 435、数据重置455、ADV型号选择器450和标签视图选择器460的 控件可以显示为在显示器420的标签视图区域右侧的竖直栏中布置。

直行标签的显示布局(未显示)可以类似于岔路标签481，其中 具有用于速度范围482、制动483输入范围和油门484输入范围的栏。 栏485可被显示用于在驾驶类别之一内的直行驾驶数据收集进度，例 如0-10mps，油门输入为0-25％。直行驾驶类别可以表示在从向前直 行转向例如0°±20°的范围内的基本上向前直行的驾驶。

转弯标签的显示布局(未显示)可以类似于岔路标签，其中具有 用于速度范围482、制动输入范围483和油门输入范围484的栏。栏 485可被显示用于在驾驶类别之一内的左转驾驶数据收集进度，例如 速度范围482为0-10mps，油门输入484为0-25％。在速度范围、制 动483或油门484输入范围的驾驶类别内，可以示出用于右转驾驶数 据收集进度的栏486。转弯行驶可以表示在从向前直行转向例如 20°-90°的范围内的转弯，左485或右486。

急转弯标签的显示布局(未显示)可以类似于岔路标签，其中具 有用于速度范围482、制动输入范围483和油门输入范围484的栏。 栏485可被显示用于在每个驾驶类别内的急左转驾驶数据收集进度 485，例如速度范围482为0-10mps，油门484输入为0-25％。在速度 范围482、制动483或油门484输入范围的每个驾驶类别中，可以示 出用于急右转驾驶数据收集进度的栏486。转弯行驶可以表示在从向 前直行转向例如20°-90°的范围内的转弯，左485或右486。

图5是示出根据实施方式的ADV在人类驾驶模式下对一个或多 个驾驶类别执行数据收集的方法500的框图。

在操作505中，接收用于收集一个或多个驾驶类别(例如驾驶类 别440)的驾驶数据的指令。这些指令包括为每种驾驶类别收集的数 据的量。如上所述，ADV可以通过按照指定的驾驶类别驾驶ADV来 接收关于人类驾驶员要为哪些驾驶类别收集数据的指令，并且ADV 可以自动更新用户界面(例如UI 400)，以突出驾驶要为其收集数据的 驾驶类别。在实施方式中，人类驾驶员可以经由ADV中的电子邮件 接收指令并激活控件以使电子邮件突出人类驾驶员将要为其收集驾驶 数据的驾驶类别。或者，如上文参照图4A所述，人类驾驶员可以手 动选择他/她要收集数据的驾驶类别，并输入要收集的数据的量，例如 以秒或帧为单位的数据。

在操作510中，在用户界面上呈现人类驾驶员将为其收集驾驶数 据的一个或多个驾驶类别。在实施方式中，将驾驶员要为其收集驾驶 数据的一个或多个驾驶类别分组在一起，以便人类驾驶员可以容易地 识别这些驾驶类别。可选地，或者另外，可以突出驾驶类别，以便驾 驶员可以容易地根据驾驶类别识别要驾驶ADV的驾驶类别。在实施 方式中，在用户界面上仅示出了人类驾驶器要为其收集驾驶数据的驾 驶类别。

在操作515中，响应于确定ADV的人类驾驶模式是激活的，并 且人类驾驶员是根据指示人类驾驶员收集驾驶数据的驾驶类别之一来 驾驶ADV的：用户界面向人类驾驶员呈现与ADV 101的当前驾驶状 态相匹配驾驶类别的指示，执行驾驶类别的ADV人类驾驶数据的记 录，并且更新进度指示器，关于已收集了所要收集的所需数量的驾驶 数据中的多少。如上所述，参照图3，驾驶数据通过驾驶监视器308 作为从感知与规划系统110内的多个传感器和模块接收到的消息来获 取。驾驶监视器308可以将消息排序并打包成数据帧，以便数据帧记 录器309可以将驾驶数据313的数据帧存储在永久性存储器352中。 在实施方式中，数据帧被打包成大约10毫秒(ms)的序列。

在操作520中，可以确定是否已经收集了所有(100％)要为驾驶 类别收集的指定数量的数据。如果不是，则方法500在操作525处继 续。否则，方法500在操作530处继续。在操作525中，人类驾驶员 继续驾驶ADV。方法500在操作515继续。在操作530中，已收集 ADV被指示收集的所有驾驶类别的所有数据，并且ADV将收集的驾 驶数据发送到服务器103以训练一个或多个ADV驾驶模型以用于 ADV的自动驾驶。在操作535中，ADV从服务器接收经训练的动态 驾驶模型，激活接收到的动态驾驶模型，并在自驾驶(自动)驾驶模 式下导航ADV。

图6是示出根据实施方式的在人类驾驶模式下ADV和服务器执 行一个或多个驾驶类别的数据收集的方法600的框图。在图6的实施 方式中，一个或多个ADV为所有驾驶类别收集预定义或默认数据量 的数据。服务器从多个ADV接收所有驾驶类别的驾驶数据。服务器 尝试将接收到的数据与为ADV的动态自驾驶模型定义的一组变量相 关联。如果服务器确定它没有足够的数据来达到收集到的数据到自驾 驶模型变量的阈值分级值，例如65％或更高，则服务器指示一个或多 个ADV关于在其上收集附加驾驶数据的特定驾驶类别，以及为每个 驾驶类别收集的附加驾驶数据量。此过程重复，直到服务器确定数据 分级到变量的阈值大于阈值量，然后服务器生成动态模型，用于在自 驾驶模式下导航ADV。

在操作605中，一个或多个ADV对于处于人类驾驶模式的ADV 101上的所有驾驶类别440中的每一个收集默认或预定义量的驾驶数 据。在操作610中，一个或多个ADV各自将其为每个驾驶类别收集 的驾驶数据发送到服务器。在操作615中，服务器使用从多个ADV接收的所收集的数据，在ADV的动态模型上执行训练，如下面参考 图7所述，训练到分级阈值。在操作620中，确定服务器是否具有足 够的驾驶数据以实现大于最小阈值分级值(例如65％)的动态自驾驶 模型的阈值分级值，该动态自驾驶模型用于在自驾驶模式下驾驶ADV。如果不是，则方法600在操作625继续，否则方法600在操作 630继续。

在操作625中，服务器向一个或多个ADV发送指令，以为指定 列表的驾驶类别中的每个收集指定的附加驾驶数据量。方法600在操 作605处继续。在操作630中，已确定服务器具有足够的数据以实现 大于阈值量(例如65％)的所接收的驾驶数据的机器学习等级，该等 级达到在自动驾驶模式下导航ADV的动态模型的变量。服务器生成 用于在自驾驶模式下导航ADV的动态模型。在操作635中，一个或 多个ADV中的ADV从服务器接收动态模型并使用动态模型导航 ADV。

图7是使用数据收集自动化训练动态模型的服务器的方法700的 框图，该动态模型供一个或多个ADV在自驾驶模式下导航时使用。 在操作705中，服务器从一个或多个ADV接收多个驾驶类别440的 人类模式驾驶数据。在操作710中，服务器对于指定类型的ADV和至少一个驾驶类别选择驾驶数据。在操作715中，服务器在对指定类 型ADV的所选择驾驶类别执行机器学习。在操作720中，可以确定 机器学习是否导致在所选择数据和ADV的对于所选择驾驶类别的模 型或校准表的变量之间的机器学习分级值大于预定阈值，例如65％。如果分级值大于阈值量，则方法700在操作730继续，否则方法700 在操作725继续。

在操作725中，服务器向指定类型的一个或多个ADV发送消息， 指示该驾驶类别需要额外的驾驶数据，包括为该驾驶类别收集的估计 驾驶数据量，对于指定的ADV型号。在实施方式中，该消息可以发 送给测试工程师用于为指定的ADV型号建立数据收集计划。在实施 方式中，将消息作为指令发送到ADV，以收集用于该驾驶类别的指定 驾驶数据量。在实施方式中，该消息被发送到ADV的人类驾驶员， 作为手动进入ADV的数据收集指令，或者作为包含激活控件的电子 邮件，该激活控件在激活时更新ADV的用户界面以指示要收集的驾驶数据。

在操作730中，服务器使用接收到的和选定的指定类型ADV的 驾驶数据为所选择的驾驶类别生成校准表或模型。在操作735中，可 以确定在服务器应在其上执行训练的指定类型ADV上是否存在更多 的驾驶类别。如果是，则方法700在操作740继续，否则方法700在 操作745继续。在操作740中，服务器使用接收到的人类驾驶员驾驶 数据选择将在其上执行训练的下一驾驶类别。方法700在操作710处 继续。在操作745中，服务器使用收集的数据和生成的校准表和模型 生成用于指定类型ADV的自驾驶模式的动态模型。服务器将动态模 型分发给一个或多个指定类型的ADV，以用于导航ADV。

图8是示出可与本公开的一个实施方式一起使用的数据处理系统 的示例的框图。在实施方式中，如上所述的数据收集服务器可以在多 计算机组、集群、云计算环境或其他分布式或网络化系统中实现。具 有如参照图8所描述的计算系统的ADV可以是多计算机组、集群、 云或其他分布式或网络系统中的节点。例如，系统1500可表示以上所 述的执行上述过程或方法中的任一个的任何数据处理系统，例如，图 1的感知与规划系统110或者服务器103至104中的任一个。系统1500 可包括许多不同的部件。这些部件可实施为集成电路(IC)、集成电路 的部分、分立电子装置或适用于电路板(诸如，计算机系统的主板或 插入卡)的其它模块或者实施为以其它方式并入计算机系统的机架内 的部件。

还应注意，系统1500旨在示出计算机系统的许多部件的高阶视 图。然而，应当理解的是，某些实施例中可具有附加的部件，此外， 其它实施例中可具有所示部件的不同布置。系统1500可表示台式计算 机、膝上型计算机、平板计算机、服务器、移动电话、媒体播放器、 个人数字助理(PDA)、智能手表、个人通信器、游戏装置、网络路由 器或集线器、无线接入点(AP)或中继器、机顶盒或其组合。此外， 虽然仅示出了单个机器或系统，但是术语“机器”或“系统”还应当 理解为包括单独地或共同地执行一个(或多个)指令集以执行本文所讨论的任何一种或多种方法的机器或系统的任何集合。

在实施方式中，系统1500包括通过总线或互连件1510连接的处 理器1501、存储器1503以及装置1505至1508。处理器1501可表示 其中包括单个处理器内核或多个处理器内核的单个处理器或多个处理 器。处理器1501可表示一个或多个通用处理器，诸如，微处理器、中 央处理单元(CPU)等。更具体地，处理器1501可以是复杂指令集计 算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令 字(VLIW)微处理器、或实施其它指令集的处理器、或实施指令集组 合的处理器。处理器1501还可以是一个或多个专用处理器，诸如，专 用集成电路(ASIC)、蜂窝或基带处理器、现场可编程门阵列(FPGA)、 数字信号处理器(DSP)、网络处理器、图形处理器、通信处理器、加 密处理器、协处理器、嵌入式处理器、或者能够处理指令的任何其它 类型的逻辑。

处理器1501(其可以是低功率多核处理器套接口，诸如超低电压 处理器)可充当用于与所述系统的各种部件通信的主处理单元和中央 集线器。这种处理器可实施为片上系统(SoC)。处理器1501配置成 执行用于执行本文所讨论的操作和步骤的指令。系统1500还可包括与 可选的图形子系统1504通信的图形接口，图形子系统1504可包括显 示控制器、图形处理器和/或显示装置。

处理器1501可与存储器1503通信，存储器1503在实施方式中可 经由多个存储器装置实施以提供给定量的系统存储。存储器1503可包 括一个或多个易失性存储(或存储器)装置，诸如，随机存取存储器 (RAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、静态RAM(SRAM)或者其它类型的存储装置。存储器1503可存储包括由处理 器1501或任何其它装置执行的指令序列的信息。例如，各种操作系统、 装置驱动程序、固件(例如，输入输出基本系统或BIOS)和/或应用 的可执行代码和/或数据可加载到存储器1503中并由处理器1501执行。操作系统可以是任何类型的操作系统，例如，机器人操作系统 (ROS)、来自

公司的

操作系统、来自苹果公司 的Mac

来自

公司的

LINUX、UNIX， 或者其它实时或嵌入式操作系统。

系统1500还可包括IO装置，诸如装置1505至1508，包括网络 接口装置1505、可选的输入装置1506，以及其它可选的IO装置1507。 网络接口装置1505可包括无线收发器和/或网络接口卡(NIC)。所述 无线收发器可以是WiFi收发器、红外收发器、蓝牙收发器、WiMax收发器、无线蜂窝电话收发器、卫星收发器(例如，全球定位系统(GPS) 收发器)或其它射频(RF)收发器或者它们的组合。NIC可以是以太 网卡。

输入装置1506可包括鼠标、触摸板、触敏屏幕(其可与显示装置 1504集成在一起)、指针装置(诸如，手写笔)和/或键盘(例如，物 理键盘或作为触敏屏幕的一部分显示的虚拟键盘)。例如，输入装置 1506可包括联接到触摸屏的触摸屏控制器。触摸屏和触摸屏控制器例 如可使用多种触敏技术(包括但不限于电容、电阻、红外和表面声波 技术)中的任一种，以及其它接近传感器阵列或用于确定与触摸屏接 触的一个或多个点的其它元件来检测其接触和移动或间断。

IO装置1507可包括音频装置。音频装置可包括扬声器和/或麦克 风，以促进支持语音的功能，诸如语音识别、语音复制、数字记录和/ 或电话功能。其它IO装置1507还可包括通用串行总线(USB)端口、 并行端口、串行端口、打印机、网络接口、总线桥(例如，PCI-PCI 桥)、传感器(例如，诸如加速度计运动传感器、陀螺仪、磁强计、光 传感器、罗盘、接近传感器等)或者它们的组合。装置1507还可包括 成像处理子系统(例如，摄像机)，所述成像处理子系统可包括用于促 进摄像机功能(诸如，记录照片和视频片段)的光学传感器，诸如电 荷耦合装置(CCD)或互补金属氧化物半导体(CMOS)光学传感器。 某些传感器可经由传感器集线器(未示出)联接到互连件1510，而诸 如键盘或热传感器的其它装置可根据系统1500的具体配置或设计由 嵌入式控制器(未示出)控制。

为了提供对诸如数据、应用、一个或多个操作系统等信息的永久 性存储，大容量存储装置(未示出)也可联接到处理器1501。在各种 实施方式中，为了实现更薄且更轻的系统设计并且改进系统响应性， 这种大容量存储装置可经由固态装置(SSD)来实施。然而，在其它 实施方式中，大容量存储装置可主要使用硬盘驱动器(HDD)来实施， 其中较小量的SSD存储装置充当SSD高速缓存以在断电事件期间实 现上下文状态以及其它此类信息的非易失性存储，从而使得在系统活 动重新启动时能够实现快速通电。另外，闪存装置可例如经由串行外 围接口(SPI)联接到处理器1501。这种闪存装置可提供系统软件的 非易失性存储，所述系统软件包括所述系统的BIOS以及其它固件。

存储装置1508可包括计算机可访问的存储介质1509(也称为机 器可读存储介质或计算机可读介质)，其上存储有体现本文所述的任何 一种或多种方法或功能的一个或多个指令集或软件(例如，模块、单 元和/或逻辑1528)。处理模块/单元/逻辑1528可表示上述部件中的任 一个，例如规划模块305、控制模块306。处理模块/单元/逻辑1528 还可在其由数据处理系统1500、存储器1503和处理器1501执行期间 完全地或至少部分地驻留在存储器1503内和/或处理器1501内，数据 处理系统1500、存储器1503和处理器1501也构成机器可访问的存储 介质。处理模块/单元/逻辑1528还可通过网络经由网络接口装置1505 进行传输或接收。

计算机可读存储介质1509也可用来永久性地存储以上描述的一 些软件功能。虽然计算机可读存储介质1509在示例性实施方式中被示 为单个介质，但是术语“计算机可读存储介质”应当被认为包括存储 所述一个或多个指令集的单个介质或多个介质(例如，集中式或分布 式数据库和/或相关联的高速缓存和服务器)。术语“计算机可读存储 介质”还应当被认为包括能够存储或编码指令集的任何介质，所述指 令集用于由机器执行并且使得所述机器执行本公开的任何一种或多种 方法。因此，术语“计算机可读存储介质”应当被认为包括但不限于 固态存储器以及光学介质和磁性介质，或者任何其它非暂时性机器可读介质。

本文所述的处理模块/单元/逻辑1528、部件以及其它特征可实施 为分立硬件部件或集成在硬件部件(诸如，ASICS、FPGA、DSP或类 似装置)的功能中。此外，处理模块/单元/逻辑1528可实施为硬件装 置内的固件或功能电路。此外，处理模块/单元/逻辑1528可以以硬件 装置和软件部件的任何组合来实施。

应注意，虽然系统1500示出为具有数据处理系统的各种部件，但 是并不旨在表示使部件互连的任何特定架构或方式；因为此类细节和 本公开的实施方式没有密切关系。还应当认识到，具有更少部件或可 能具有更多部件的网络计算机、手持计算机、移动电话、服务器和/ 或其它数据处理系统也可与本公开的实施方式一起使用。

前述详细描述中的一些部分已经根据在计算机存储器内对数据位 的运算的算法和符号表示而呈现。这些算法描述和表示是数据处理领 域中的技术人员所使用的方式，以将他们的工作实质最有效地传达给 本领域中的其他技术人员。本文中，算法通常被认为是导致所期望结 果的自洽操作序列。这些操作是指需要对物理量进行物理操控的操作。

然而，应当牢记，所有这些和类似的术语均旨在与适当的物理量 关联，并且仅仅是应用于这些量的方便标记。除非在以上讨论中以其 它方式明确地指出，否则应当了解，在整个说明书中，利用术语(诸 如所附权利要求书中所阐述的术语)进行的讨论是指计算机系统或类 似电子计算装置的动作和处理，所述计算机系统或电子计算装置操控 计算机系统的寄存器和存储器内的表示为物理(电子)量的数据，并 将所述数据变换成计算机系统存储器或寄存器或者其它此类信息存储 装置、传输或显示装置内类似地表示为物理量的其它数据。

本公开的实施方式还涉及用于执行本文中的操作的设备。这种计 算机程序存储在非暂时性计算机可读介质中。机器可读介质包括用于 以机器(例如，计算机)可读的形式存储信息的任何机构。例如，机 器可读(例如，计算机可读)介质包括机器(例如，计算机)可读存 储介质(例如，只读存储器(“ROM”)、随机存取存储器(“RAM”)、 磁盘存储介质、光存储介质、闪存存储器装置)。

前述附图中所描绘的过程或方法可由处理逻辑来执行，所述处理 逻辑包括硬件(例如，电路、专用逻辑等)、软件(例如，体现在非暂 时性计算机可读介质上)或两者的组合。尽管所述过程或方法在上文 是依据一些顺序操作来描述的，但是应当了解，所述操作中的一些可 按不同的顺序执行。此外，一些操作可并行地执行而不是顺序地执行。

本公开的实施方式并未参考任何特定的编程语言进行描述。应认 识到，可使用多种编程语言来实施如本文描述的本公开的实施方式的 教导。

在以上的说明书中，已经参考本公开的具体示例性实施方式对本 公开的实施方式进行了描述。将显而易见的是，在不脱离所附权利要 求书中阐述的本公开的更宽泛精神和范围的情况下，可对本发明作出 各种修改。因此，应当在说明性意义而不是限制性意义上来理解本说 明书和附图。

Claims (21)

1.在自动驾驶车辆的计算系统上执行的计算机实施的方法，所述方法包括：

在所述自动驾驶车辆的用户界面上呈现一个或多个驾驶类别，其中，所述驾驶类别中的每个均能够选择用于收集该驾驶类别的驾驶数据；

响应于经由所述用户界面接收的所述驾驶类别之一的选择：

经由所述用户界面呈现所述自动驾驶车辆正被驾驶的驾驶类别的指示，

收集与所述驾驶类别相关联的驾驶数据，所述驾驶数据包括发出的控制命令和响应于在不同时间点捕获的控制命令的所述自动驾驶车辆状态，以及

在所述用户界面上显示和更新进度指示器，所述进度指示器指示在收集所述驾驶数据时为所述驾驶类别收集的数据量的进度；以及

将用于所述一个或多个驾驶类别的所收集的驾驶数据存储在所述计算系统的永久性存储装置中，其中，将所收集的驾驶数据发送到服务器，以训练所述自动驾驶车辆的驾驶模型以用于随后的自动驾驶。

2.根据权利要求1所述的方法，其中，响应于通过网络从服务器接收的请求来执行对驾驶的一个或多个驾驶类别的驾驶数据的收集。

3.根据权利要求1所述的方法，其中，经由所述用户界面将待收集的数据量指定为数据帧的秒数，或数据帧的数量。

4.根据权利要求1所述的方法，其中，所述驾驶类别是预定义的。

5.根据权利要求1所述的方法，其中，所述进度指示器包括所述用户界面上的驾驶类别的图形指示器或所述驾驶类别的音频指示器中的一个或两者。

6.根据权利要求1所述的方法，其中，用于所述驾驶类别的所收集的驾驶数据包括识别所述驾驶类别的标签，以及至少所述自动驾驶车辆的速度、所述自动驾驶车辆的转向控制的转向输入的量和方向、和所述自动驾驶车辆的制动控制的制动输入的量。

7.根据权利要求1所述的方法，其中，所述进度指示器指示由所述自动驾驶车辆进行的关于所述驾驶类别的数据收集进度，或从所述服务器接收的由多个自动驾驶车辆进行的关于所述驾驶类别的数据收集进度的指示。

8.一种存储有指令的非暂时性机器可读介质，所述指令在由处理器执行时致使所述处理器执行操作，所述操作包括：

在所述自动驾驶车辆的用户界面上呈现一个或多个驾驶类别，其中，所述驾驶类别中的每个均能够选择用于收集该驾驶类别的驾驶数据；

响应于经由所述用户界面接收的所述驾驶类别之一的选择：

经由所述用户界面呈现自动驾驶车辆正被驾驶的驾驶类别的指示，

收集与所述驾驶类别相关联的驾驶数据，所述驾驶数据包括发出的控制命令和响应于在不同时间点捕获的控制命令的所述自动驾驶车辆状态，以及

在所述用户界面上显示和更新进度指示器，所述进度指示器指示在收集所述驾驶数据时为所述驾驶类别收集的数据量的进度；以及

将用于所述一个或多个驾驶类别的所收集的驾驶数据存储在所述计算系统的永久性存储装置中，其中，将所收集的驾驶数据发送到服务器，以训练所述自动驾驶车辆的驾驶模型以用于随后的自动驾驶。

9.根据权利要求8所述的机器可读介质，其中，响应于通过网络从服务器接收的请求来执行对驾驶的一个或多个驾驶类别的驾驶数据的收集。

10.根据权利要求8所述的机器可读介质，其中，经由所述用户界面将待收集的数据量指定为数据帧的秒数，或数据帧的数量。

11.根据权利要求8所述的机器可读介质，其中，所述驾驶类别是预定义的。

12.根据权利要求8所述的机器可读介质，其中，所述进度指示器包括所述用户界面上的驾驶类别的图形指示器或所述驾驶类别的音频指示器中的一个或两者。

13.根据权利要求8所述的机器可读介质，其中，用于所述驾驶类别的所收集的驾驶数据包括识别所述驾驶类别的标签，以及至少所述自动驾驶车辆的速度、所述自动驾驶车辆的转向控制的转向输入的量和方向、和所述自动驾驶车辆的制动控制的制动输入的量。

14.根据权利要求8所述的机器可读介质，其中，所述进度指示器指示由所述自动驾驶车辆进行的关于所述驾驶类别的数据收集进度，或从所述服务器接收的由多个自动驾驶车辆进行的关于所述驾驶类别的数据收集进度的指示。

15.一种数据处理系统，包括：

处理器；以及

存储器，所述存储器联接至所述处理器，以存储指令，所述指令在由所述处理器执行时致使所述处理器执行操作，所述操作包括：

在所述自动驾驶车辆的用户界面上呈现一个或多个驾驶类别，其中，所述驾驶类别中的每个均能够选择用于收集该驾驶类别的驾驶数据；

响应于经由所述用户界面接收的所述驾驶类别之一的选择：

经由所述用户界面呈现自动驾驶车辆正被驾驶的驾驶类别的指示，

收集与所述驾驶类别相关联的驾驶数据，所述驾驶数据包括发出的控制命令和响应于在不同时间点捕获的控制命令的所述自动驾驶车辆状态，以及

在所述用户界面上显示和更新进度指示器，所述进度指示器指示在收集所述驾驶数据时为所述驾驶类别收集的数据量的进度；以及

将用于所述一个或多个驾驶类别的所收集的驾驶数据存储在所述计算系统的永久性存储装置中，其中，将所收集的驾驶数据发送到服务器，以训练所述自动驾驶车辆的驾驶模型以用于随后的自动驾驶。

16.根据权利要求15所述的系统，其中，响应于通过网络从服务器接收的请求来执行对驾驶的一个或多个驾驶类别的驾驶数据的收集。

17.根据权利要求15所述的系统，其中，经由所述用户界面将待收集的数据量指定为数据帧的秒数，或数据帧的数量。

18.根据权利要求15所述的系统，其中，所述驾驶类别是预定义的。

19.根据权利要求15所述的系统，其中，所述进度指示器包括所述用户界面上的驾驶类别的图形指示器或所述驾驶类别的音频指示器中的一个或两者。

20.根据权利要求15所述的系统，其中，用于所述驾驶类别的所收集的驾驶数据包括识别所述驾驶类别的标签，以及至少所述自动驾驶车辆的速度、所述自动驾驶车辆的转向控制的转向输入的量和方向、和所述自动驾驶车辆的制动控制的制动输入的量。

21.根据权利要求15所述的系统，其中，所述进度指示器指示由所述自动驾驶车辆进行的关于所述驾驶类别的数据收集进度，或从所述服务器接收的由多个自动驾驶车辆进行的关于所述驾驶类别的数据收集进度的指示。

Images