CN108073168A

CN108073168A - 对自主驾驶车辆进行决策的评估体系

Info

Publication number: CN108073168A
Application number: CN201710710966.8A
Authority: CN
Inventors: 蒋飞; 蒋一飞; 李栋; 陶佳鸣; 胡江滔; 李力耘; 杨光; 王京傲
Original assignee: Baidu USA LLC
Current assignee: Baidu USA LLC
Priority date: 2016-11-09
Filing date: 2017-08-18
Publication date: 2018-05-25
Anticipated expiration: 2037-08-18
Also published as: EP3323690A1; US20180127000A1; JP2018077827A; CN108073168B; US10421460B2; EP3323690B1; JP6506805B2

Abstract

在一实施方式中，公开了用于评估自主驾驶车辆(ADV)的驾驶决策的系统和方法。选择驾驶场景，诸如路线或目的地或驾驶条件类型。关闭ADV规划和控制模块，并且不控制ADV。当用户驾驶ADV时，传感器检测并周期性地记录ADV外部的多个目标。还周期性地记录人类驾驶员的驾驶控制输入。ADV驾驶决策模块对通过传感器检测的每个目标生成驾驶决策。ADV驾驶决策被记录但是不用于控制ADV。在日志中识别ADV驾驶决策，以及提取相应的人类驾驶决策并对其评分并将之与ADV驾驶决策相比较。可利用日志和经评分的人类驾驶决策来对ADV驾驶决策进行评分。

Description

对自主驾驶车辆进行决策的评估体系

技术领域

本发明实施方式大体涉及操作自主车辆。更具体地，本发明实施方式涉及评估自主车辆做出的驾驶决策。

背景技术

在自主模式(例如，无人驾驶)中操作的车辆可使占有者尤其是驾驶员从一些驾驶相关的职责中解脱。当在自主模式中操作时，车辆可利用车载传感器来导航到各种地方，从而允许车辆在最少人机交互的情况下或者在没有任何乘客的一些情况下行驶。

在自主驾驶中，运动规划和控制是关键操作。对于人类驾驶员，车辆的规划和控制是主观的决策过程。面对相同驾驶情景的两个不同人类驾驶员可能对所述驾驶情景做出不同的规划和控制决策。自主车辆驾驶决策是客观的，并且在相同的驾驶情景下应当产生相同的驾驶决策。对于相同的驾驶情况，需要一种评估体系来对客观的自主车辆驾驶决策与主观的人类决策之间的差异做出解释。

发明内容

本申请第一方面提供了一种计算机实现方法，可包括：接收多个自主驾驶车辆日志；利用多个自主驾驶车辆日志，提取与自主驾驶车辆驾驶决策对应的人类驾驶决策；根据多个评分指标，对人类驾驶决策进行评分；以及至少部分基于人类驾驶决策的评分以及人类驾驶决策与自主驾驶车辆驾驶决策的比较，生成对于自主驾驶车辆驾驶决策的评分，其中自主驾驶车辆驾驶决策的评分用于修改随后的自主驾驶车辆驾驶的算法。

根据实施方式，多个自主驾驶车辆日志可包括：由自主驾驶车辆的决策模块做出的多个自主驾驶车辆驾驶决策日志、包括多个目标传感器输出日志的感知日志、以及包括多个驾驶控制输入日志的驾驶日志；其中当自主驾驶车辆由用户驾驶时，从自主驾驶车辆中捕捉多个驾驶控制输入。

根据实施方式，可针对自主驾驶车辆外部的目标专门做出自主驾驶车辆驾驶决策，并且自主驾驶车辆驾驶决策可包括：赶超目标、为目标让路、使自主驾驶车辆在离目标的最小距离处停止、或者忽视目标。

根据实施方式，驾驶控制输入可包括以下之一：加速度控制的输入量、刹车控制的输入量或者转向控制的输入量。

根据实施方式，评分指标可包括：安全性指标、舒适度指标、规则遵守指标或者时间效率指标。

根据实施方式，针对目标提取与自主驾驶车辆驾驶决策对应的人类驾驶决策可包括以下步骤中的一个或多个：确定做出自主驾驶车辆决策的时间；分析自主驾驶车辆驾驶决策之前和之后的时间的感知日志；或者分析自主驾驶车辆驾驶决策之前和之后时间的驾驶日志，其中分析驾驶日志包括：确定多个驾驶控制输入中的一个或多个驾驶控制输入之间的关系，以及确定目标相对于自主驾驶车辆的位置或距离。

根据实施方式，目标传感器可包括LIDAR、RADAR、GPS或相机中的一个或多个；目标传感器输出可包括以下中的一个或多个：目标离自主驾驶车辆的距离、自主驾驶车辆外部的目标的速度、自主驾驶车辆的速度、自主驾驶车辆外部的目标相对于自主驾驶车辆的方向、自主驾驶车辆外部的目标的方向、自主驾驶车辆的方向或者自主驾驶车辆的位置。

根据实施方式，对人类驾驶决策评分可包括：在人类驾驶决策之后，分析一个或多个驾驶输入或一个或多个目标传感器输出，以确定所提取的人类驾驶决策的安全性指标、舒适度指标、规则遵守指标或时间效率指标。

根据实施方式，对自主驾驶车辆驾驶决策评分可包括：在自主驾驶车辆驾驶决策之后，评估一个或多个驾驶输入或一个或多个目标传感器输出，以确定自主驾驶车辆驾驶决策的安全性指标、舒适度指标、规则遵守指标或时间效率指标。

根据本申请的第二方面，提供了存储有指令的非瞬时性机器可读介质，指令在被处理器执行时导致处理器执行操作，所述操作可包括：接收多个自主驾驶车辆日志；利用多个自主驾驶车辆日志，提取与自主驾驶车辆驾驶决策对应的人类驾驶决策；根据多个评分指标，对人类驾驶决策进行评分；以及至少部分地基于人类驾驶决策的评分以及人类驾驶决策与自主驾驶车辆驾驶决策的比较，生成对自主驾驶车辆驾驶决策的评分，其中对自主驾驶车辆驾驶决策的评分用于修改随后的自主驾驶车辆驾驶的算法。

根据实施方式，多个自主驾驶车辆日志可包括：由自主驾驶车辆的决策模块做出的多个自主驾驶车辆驾驶决策日志、包括多个目标传感器输出日志的感知日志、以及包括多个驾驶控制输入日志的驾驶日志；其中当自主驾驶车辆被用户驾驶时，从自主驾驶车辆中捕捉多个驾驶控制输入。

根据本申请第三方面，提供了一种数据处理系统，可包括处理器和存储器，其中，存储器联接至处理器用于储存指令，指令在被处理器执行时导致处理器执行操作，所述操作包括：接收多个自主驾驶车辆日志；利用多个自主驾驶车辆日志，提取与自主驾驶车辆驾驶决策对应的人类驾驶决策；根据多个评分指标，对人类驾驶决策进行评分；以及至少部分基于人类驾驶决策的评分以及人类驾驶决策与自主驾驶车辆驾驶决策的比较，生成对于自主驾驶车辆驾驶决策的评分，其中自主驾驶车辆驾驶决策的评分用于修改随后自主驾驶车辆驾驶的算法。

根据实施方式，可针对目标提取与自主驾驶车辆驾驶决策对应的人类驾驶决策可包括以下步骤中的一个或多个：确定做出自主驾驶车辆决策的时间；分析自主驾驶车辆驾驶决策之前和之后的时间的感知日志；或者分析自主驾驶车辆驾驶决策之前和之后时间的驾驶日志，其中分析驾驶日志包括：确定多个驾驶控制输入中的一个或多个驾驶控制输入之间的关系，以及确定目标相对于自主驾驶车辆的位置或距离。

附图说明

附图的图形中以示例而非限制的方式示出本发明实施方式，在附图中相同的参考标号表示相同的元件。

图1是示出根据本发明一实施方式的网络系统的概观的框图。

图2是示出根据本发明一实施方式自主驾驶车辆(ADV)的传感器和控制模块的示例的框图。

图3是示出根据本发明一实施方式ADV感知和规划系统的示例的框图。

图4以框的形式示出根据一些实施方式评估人类驾驶决策和ADV驾驶决策的方法的概观。

图5是可做出一个或多个驾驶决策的示例性驾驶情景。

图6以框的形式示出根据一些实施方式生成和采集要在评估人类和ADV驾驶决策中使用的信息的方法。

图7以框的形式示出根据一些实施方式评估人类和ADV驾驶决策的方法。

图8A示出根据一些实施方式的示例性感知日志。

图8B示出根据一些实施方式的示例性驾驶记录。

图8C示出根据一些实施方式的示例性ADV驾驶决策记录。

图8D示出根据一些实施方式参考在具体时间处的目标的人类驾驶决策的评分。

图9是示出根据一实施方式的数据处理系统的框图。

具体实施方式

将参考以下讨论的细节描述本发明的各实施方式和方面，并且附图中将示出各实施方式。以下描述和附图对本发明是示例性的，而不解释为限制本发明。诸多具体的细节被描述以透彻理解本发明各实施方式。然而，在某些情况下，为简化本发明实施方式的讨论，没有描述公知或常规的细节。

在说明书中，对“一实施方式”或“实施方式”的引用意味着：结合实施方式描述的特定特征、结构或特性可被包括在本发明的至少一实施方式中。在本说明书各处，短语“在一实施方式中”的出现不一定全部表示相同的实施方式。

根据某些实施方式，自主车辆可配置为关闭自主驾驶规划和控制功能，以使得人类驾驶员可操作所述自主车辆。可选择诸如路线、目的地或交通类型(例如，高速公路或城市驾驶)的驾驶场景。当通过人类驾驶员或通过ADV逻辑操作自主车辆时，多种传感器可检测自主车辆外部的目标的位置、距离、速度和方向。传感器输出可被周期性地记录到感知日志中。在实施方式中，传感器输出可在记录之前被处理。驾驶控制输入，诸如驾驶员对方向盘、加速器和刹车的使用，也可被周期性地记录在驾驶日志中。自主车辆驾驶决策模块可响应于传感器输出和控制输入生成驾驶决策。在实施方式中，因为规划和控制功能关闭，所以可生成驾驶决策并可将它记录到ADV驾驶决策日志中而非自主地执行驾驶决策。在驾驶结束之后，可终止记录传感器输出、控制输入和自主车辆驾驶决策。在实施方式中，感知日志、驾驶日志和ADV驾驶决策日志可上传至服务器用于分析。

在另一实施方式中，数据分析系统可利用所上传的感知日志、驾驶日志和ADV驾驶决策日志，提取人类驾驶决策和对它评分。自主驾驶车辆(ADV)驾驶决策日志可包括：对由一个或多个ADV传感器检测的多个目标中的每个目标做出的驾驶决策的日志。然而，当ADV规划和控制模块关闭时，不执行ADV驾驶决策，因此不能利用感知日志和ADV驾驶决策日志直接对ADV驾驶决策的结果进行评分。另外，当人类驾驶ADV时，人类驾驶员在她脑海中做出驾驶决策。因此，关于感知日志中的目标，不存在人类驾驶决策的日志。然而，可以从ADV驾驶决策日志、感知日志和驾驶日志中推算出人类驾驶决策并且对它进行评分。人类驾驶决策将通常在与做出ADV决策的时间大约相同的时间处被做出。在实施方式中，人类驾驶决策可在ADV驾驶决策之后滞后了合理可预测的人类反应时间，诸如0.75秒。因此，可利用ADV驾驶决策日志、感知日志和驾驶控制输入日志提取要被评分的人类驾驶决策。

可在ADV驾驶决策日志中识别ADV驾驶决策。可检查在所识别的ADV驾驶决策之前的感知日志和在所识别的ADV驾驶决策之后的驾驶日志，以检测靠近ADV的一个或多个目标的速度、距离和定向以及回应那些目标的任意驾驶控制输入。从该信息中，可提取关于目标的人类驾驶决策。可进一步地分析在人类驾驶决策之后的感知日志和驾驶日志，以对人类驾驶决策评分。例如，可从感知日志中确定：喇叭是否鸣响，ADV是否不安全地靠近诸如小汽车或人的目标，发起ADV的驾驶员是否为避让目标而闯黄灯、突然停止或偏离驾驶车道。在实施方式中，可基于诸如乘客舒适度、决策安全性、符合驾驶规定和时间效率的指标，对人类驾驶决策评分。可将所评分的人类驾驶决策与ADV驾驶决策相比较。所评分的人类驾驶决策、感知日志和驾驶日志可用以确定ADV驾驶决策的评分。

图1是示出根据本发明一实施方式自主驾驶车辆网络配置100的框图。参照图1，网络配置100包括自主车辆101，该自主车辆101可通过网络102通信地联接至一个或多个服务器103-104。虽然示出一个自主车辆101，但是多个自主车辆可通过网络102彼此联接和/或联接至服务器103-104。网络102可以是有线或无线的任意类型的网络，诸如局域网(LAN)、广域网(WAN)(诸如互联网)、蜂窝网络、卫星网络或者它们的组合。服务器103-104可以是任意类型的服务器或服务器集群，诸如网页(Web)或云服务器、应用服务器、后端服务器或它们的组合。服务器103-104可以是数据分析服务器、内容服务器、交通信息服务器、地图和兴趣点(MPOI)服务器或位置服务器等。下文参照图9描述示例性服务器系统。

自主车辆101指的是可配置为处于自主模式的车辆，在该自主模式中车辆在少有或没有来自驾驶员的控制输入的情况下导航通过环境。这些自主车辆101可包括传感器系统115，该传感器系统115具有配置为检测与车辆在其中操作的环境有关的信息的一个或多个传感器。车辆和它关联的控制器使用所检测的信息导航通过该环境。自主车辆101可在手动模式、完全自主模式或部分自主模式中操作。

在一实施方式中，自主车辆101包括但不限于：感知和规划系统110、车辆控制系统111、无线通信系统112、用户接口系统113和传感器系统115。自主车辆101还可包括普通车辆中所具有的某些通用组件，诸如发动机、车轮、方向盘、变速器等，该通用组件可由车辆控制系统111和/或感知和规划系统110利用例如加速信号或命令、减速信号或命令、转向信号或命令、刹车信号或命令等多种通信信号和/或命令来控制。

服务器103可包括数据分析系统，该数据分析系统包括机器学习引擎103A、驾驶决策提取模块103B和驾驶决策评分模块103C。该模块可各自在软件、硬件或它们的组合中实现。在实施方式中，模块103A、103B和103C包括至少一个硬件处理器。下文参考图4、图7和图8D描述驾驶决策提取模块103B和驾驶决策评分模块103C的功能。

组件110-115可经由互连、总线、网络或它们的组合彼此通信地联接。例如，组件110-115可经由控域网(CAN)总线彼此通信地联接。CAN总线是设计为允许微处理器和设备在没有宿主计算机的应用中彼此通信的车辆总线标准。它是最初针对机动车内的多路利用电线设计的基于消息的协议，但是也在诸多其他环境中使用。

图2是示出根据本发明一实施方式自主车辆101(AV)的传感器和控制模块的示例的框图。

现在参考图2，在一实施方式中，传感器系统115包括但不限于：一个或多个相机211、全球定位系统(GPS)单元212、惯性测量单元(IMU)213、雷达单元214和激光雷达(LIDAR)单元215。GPS系统212可包括可操作为提供关于自主车辆位置的信息的收发器。IMU单元213可基于惯性加速度感测自主车辆的位置和方向变化。雷达单元214可表示在自主车辆的局部环境内、利用无线电信号感测目标的系统。在某些实施方式中，除感测目标之外，雷达单元214可另行感测目标的速度和/或前进方向。LIDAR单元215可利用激光感测自主车辆所处环境中的目标。LIDAR单元215可包括其他系统组件之中的一个或多个激光光源、激光扫描仪和一个或多个检测器。相机211可包括用于拍摄自主车辆周围环境的图像的一个或多个设备。相机211可以是静物相机或视频相机。相机例如可通过使所述相机安装在旋转和/或倾斜平台上而机械可动。

传感器系统115还可包括其他传感器，诸如声纳传感器、红外传感器、转向传感器、油门传感器、刹车传感器和音频传感器(例如，麦克风)。音频传感器可配置为捕捉来自自主车辆101周围环境的声音。转向传感器可配置为感测方向盘、车辆车轮或它们的组合的转向角。油门传感器和刹车传感器分别感测车辆的油门位置和刹车位置。在一些情况中，油门传感器和刹车传感器可集成为集成式油门/刹车传感器。油门传感器、转向传感器和刹车传感器输出值可被记录在驾驶控制输入日志中。由传感器监测的外部目标以及自主车辆的速度、位置和方向可记录到传感器输出日志或“感知”日志。

在一实施方式中，车辆控制系统111包括但不限于：转向单元201、油门单元202(也称作加速单元)和刹车单元203。转向单元201调整车辆的方向或前进方向。油门单元202控制发动机或引擎的速度，该发动机或引擎转而控制车辆的速度和加速度。刹车单元203通过提供用于使车辆的车轮或轮胎变慢的摩擦力来使车辆减速。注意，如图2所示的组件可在硬件、软件或它们的组合中实现。

返回参照图1，无线通信系统112允许自主车辆101和诸如设备、传感器、其他车辆等外部系统之间进行通信。例如，无线通信系统112可直接地或经由通信网络与一个或多个设备无线通信，诸如通过网络102与服务器103-104无线通信。无线通信系统112可使用任意蜂窝通信网络或无线局域网(WLAN)，例如利用WiFi与另一组件或系统通信。无线通信系统112可利用例如红外线路、蓝牙等直接地与设备(例如，乘客的移动设备、车辆101内部的显示设备、扬声器)通信。用户接口系统113可以是车辆101内实现的外围设备的一部分，例如键盘、触摸屏显示设备、麦克风和扬声器等。

自主车辆101的某些或全部功能可由感知和规划系统110控制或管理，特别当在自主驾驶模式中操作时。感知和规划系统110包括从传感器系统115、控制系统111、无线通信系统112和/或用户接口系统113接收信息，处理所接收的信息，规划从起始点至目标点的路线或路径，然后基于规划和控制信息驾驶车辆101所必需的硬件(例如，处理器、存储器、存储设备)和软件(例如，操作系统、规划和路线选择程序)。可替代地，感知和规划系统110可与车辆控制系统111集成。在实施方式中，可关闭感知和规划系统110的规划部分。在实施方式中，可关闭控制系统111。当规划和控制模块关闭时，自主车辆101可由人类驾驶员驾驶。

例如，作为乘客的用户可经由例如用户接口系统113指定旅程的起始位置和目的地。感知和规划系统110获得与旅程相关的数据。例如，感知和规划系统110可从可作为服务器103-104的一部分的MPOI服务器获得位置和路线信息。位置服务器提供位置服务，以及MPOI服务器提供地图服务和某些位置的POI。可替代地，这些位置和MPOI信息可本地缓存至感知和规划系统110的永久存储设备。

当自主车辆101沿着路线移动时，感知和规划系统110也可获得来自交通信息系统或服务器(TIS)的实时交通信息。注意，服务器103-104可由第三方实体操作。可替代地，服务器103-104的功能可与感知和规划系统110集成。基于实时交通信息、MPOI信息和位置信息以及通过传感器系统115所检测或感测的实时本地环境数据(例如，障碍物、目标、附近车辆)，感知和规划系统110可以例如经由控制系统111规划最佳路线，并且可根据所规划的路线驾驶车辆101以安全并有效地到达指定目的地。

在自主车辆101中，可能不存在真实的或物理的窗口。更准确地说，“窗口”(本文成为虚拟窗口)可由选择性地具有触摸屏的显示设备即成型为车窗形状的平坦或弯曲屏幕显示设备表示或替换。显示设备将显示通过适当的相机或实时动态捕捉的图像或图像流(例如，视频)，犹如用户通过透明窗口观察或观看真实物理内容一样。对于“窗口”(例如，显示设备)中的每一个，可存在用于对要实时显示的对应内容进行串流的对应显示信道，其中该内容可通过例如数据处理系统110的增强现实系统集中处理。在该情况中，增强的图像经由数据处理系统110以虚拟现实的方式(也称作增强现实方式)显示。

在本文描述的实施方式中，当人类驾驶员驾驶自主车辆101时，在规划和控制模块关闭的情况下，可记录来自传感器系统115中的每个传感器的输出。人类驾驶员可设置对控制系统111的组件的输入。当人类驾驶自主车辆101时，到转向单元201、油门单元202和刹车单元203中的人类输入可被记录在获取人类驾驶员所采取的动作“驾驶日志”中。传感器日志和驾驶日志可上传至服务器103。在实施方式中，传感器和驾驶日志是实时上传的或者接近实时上传的。

图3是示出根据本发明一实施方式与自主车辆101一起使用的感知和规划系统110的示例的框图300。系统300可实现为图1中的自主车辆101的一部分，包括但不限于：感知和规划系统110、控制系统111和传感器系统115。参照图3，感知和规划系统110包括但不限于：定位模块301、感知模块302、决策模块303、规划模块304、控制模块305和记录模块306。

模块301-306中的一些或全部可在软件、硬件或它们的组合中实现。例如，这些模块可安装在永久性存储设备352中、加载到存储器351中、并且被一个或多个处理器(未示出)执行。注意，这些模块中的一些或全部可通信地联接至图2的车辆控制系统111的一些或所有模块，或者与图2的车辆控制系统111的一些或所有模块集成。模块301-306中的一些可集成在一起成为集成式模块。

定位模块301(也称作地图和路线模块)管理与用户的旅程或路线相关的任意数据。用户可经由例如用户接口记录和指定旅程的起始位置和目的地。定位模块301与自主车辆300的其他组件(诸如地图和路线信息311)通信，以获得所述旅程相关的数据。例如，定位模块301可从位置服务器以及地图和POI(MPOI)服务器获得位置和路线信息。位置服务器提供位置服务，以及MPOI服务器提供地图服务和可以缓存为地图和路线信息311的一部分的某些位置的POI。当自主车辆300沿着所述路线移动时，定位模块301还可从交通信息系统或服务器获得实时交通信息。

基于通过传感器系统115提供的传感器数据和通过定位模块301获得的定位信息，感知模块302确定周围环境的感知信息。感知信息可表示普通驾驶员将感知驾驶员所驾驶的车辆周围的信息。感知信息可包括例如呈目标形式的车道配置(例如，直道或弯道)，交通灯信号，另一车辆的相对位置、行人、建筑物、人行横道的相对位置或其他交通相关标志(例如，停止标志、让路标志)等。

为了识别自主车辆的环境中的目标和/或特征，感知模块302可包括用于处理和分析通过一个或多个相机捕捉的图像的计算机视觉系统或计算机视觉系统功能。目标可包括交通信号、道路边界、其他车辆、行人和/或障碍等。计算机视觉系统可利用目标识别算法、视频跟踪和其他计算机视觉技术。在一些实施方式中，计算机视觉系统可映射环境、跟踪目标并且估计目标速度等。感知模块302还可基于诸如雷达和/或LIDAR的其他传感器提供的其他传感器数据来检测目标。

对于目标中的每一个，决策模块303可做出关于如何处理所述目标的决策。例如，对于具体的目标(例如，在交叉路线上的另一车辆)以及描述所述目标的元数据(例如，速度、方向、转向角)，决策模块303决定如何对待所述目标(例如，赶超、让路、停止、通过)。决策模块303可根据可存储在永久性存储设备352中的一组规则诸如交通规则(未示出)做出这些决策。

基于对每个感知的目标的决策，规划模块304为自主车辆101规划路径或路线以及驾驶参数(例如，距离、速度和/或转向角)。换言之，对于给定的目标，决策模块303决定对于所述目标该做什么，并且规划模块304确定如何做。例如，对于给定的目标，决策模块303可决定通过所述目标，并且规划模块304可确定是从目标的左侧通过还是从目标的右侧通过。规划模块304生成包括描述车辆300在下一移动周期中(例如，下一路线/路径区段)将如何移动的信息的规划和控制数据。例如，规划和控制数据可指示车辆300以30英里每小时(mph)的速度移动10米，然后以25mph的速度改变到右车道。

基于所述规划和控制数据，控制模块305通过向车辆控制系统111发送适当的命令或信号，来根据由规划和控制数据限定的路线或路径控制和驾驶所述自主车辆。规划和控制数据包括这样的信息，所述信息足以沿着路径或路线、在不同的时间点处、利用适当的车辆设定或驾驶参数(例如，油门、刹车和转向命令)将自主车辆101从所述路线或路径的第一点驾驶到第二点。

注意，决策模块303和规划模块304可集成为集成式模块。决策模块303/规划模块304可包括用于确定自主车辆的驾驶路径的导航系统或导航系统功能。例如，当通常自主车辆沿着基于通向最终目的地的路径的车行道前进时，导航系统可确定用于使自主车辆沿着大体上避开感知到的障碍物的路径有效地移动的一系列的速度和前近方向。可根据经由用户接口系统113进行的用户输入设定目的地。当自主车辆在操作时，导航系统可动态地更新驾驶路径。导航系统可从GPS系统和一个或多个地图中合并数据以确定自主车辆的驾驶路径。

决策模块303/规划模块304还可包括用于识别、评价和避免或者另行协商自主车辆的环境中的潜在障碍的防撞系统或防撞系统功能。例如，防撞系统可通过操作控制系统111中的一个或多个子系统来影响自主车辆的导航中的改变，以着手转弯策略、转向策略、刹车策略等。防撞系统可自动地以周围的交通模式、道路条件等为基础，确定可能的障碍物规避策略。当其他感测系统在将转弯的自主车辆的邻近区域中检测到车辆、建筑障碍等时，防撞系统可配置成使得不进行转弯策略。防撞系统可自动地选择既有效又使自主车辆的占有者安全性最大化的策略。防撞系统可选择预测为导致在自主车辆的客舱中加速度最小的规避策略。

记录模块306可从感知模块302接收数据，从决策模块303接收ADV决策，以及从控制系统111接收控制系统输入。在实施方式中，来自控制系统111的控制输入是有效的，可替代地或另外，来自控制模块305的控制输入也是有效的。记录模块306可经由感知模块302接收通过传感器系统115感测的目标的感知数据。在实施方式中，在感知信息传到记录模块306之前，感知模块302可处理来自传感器系统115的一个或多个传感器输出。例如，感知模块302可通过结合由LIDAR确定的距离与由GPS或RADAR确定的方向确定目标的位置。目标的位置可通过感知模块302传至记录模块306用于记录在感知日志中，而不是存储原始的传感器数据。记录模块306可在ADV 101中的永久性存储设备352上将感知日志数据写至感知日志312并且将人类驾驶控制输入写至人类驾驶日志313。

记录模块306可从控制系统111接收驾驶控制输入。驾驶控制输入可包括来自刹车单元203的刹车输入量、来自转向单元201的转向输入量以及来自油门单元202的油门输入量。在实施方式中，这些输入是对人类驾驶员的响应。在实施方式中，这些输入由规划模块304和控制模块305确定。在实施方式中，当人类驾驶ADV时，规划模块304和控制模块305可关闭。

记录模块306还可从决策模块303接收ADV驾驶决策。ADV驾驶决策可以每个目标为基础。ADV驾驶决策可包括赶超目标、向目标让路、停止ADV或忽视目标。ADV驾驶决策日志可存储在永久性存储设备352中的ADV驾驶决策日志314中。

人类驾驶日志313、感知日志312和ADV驾驶决策日志313包括记录信息。记录模块306可在ADV 101的永久性存储设备352中实时地或接近实时地储存记录信息。另外，或可替代地，记录模块306可经由网络102向服务器103传输记录信息。在实施方式中，记录模块306可向服务器103实时地或接近实时地传输记录信息。在实施方式中，在驾驶场景完成之后或在另一时间处，记录模块306可向服务器103传输记录信息。

注意，如以上示出和描述的组件的某些或全部可在软件、硬件或它们的组合中实现。例如，这些组件可被实现为安装和存储在永久性存储设备中的软件，所述软件可加载到存储器中并且被处理器(未示出)运行以执行本申请通篇所描述的过程或操作。可替代地，这些组件可实现为编程或嵌入到专用硬件中的、可由相应的驱动和/或操作系统从应用中访问的可执行代码，其中所述专用硬件诸如集成电路(例如，专用集成电路或ASIC)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)。此外，这些组件可实现为处理器或处理器内核中的、作为可由软件组件经由一个或多个特定指令访问指令集的一部分的特定硬件逻辑。

图4以框的形式示出根据一些实施方式评估人类和ADV驾驶决策的方法400的概图。

在操作405中，可选择驾驶场景。可出于评估目的选择现实世界路线。针对驾驶场景选择的街道/道路可以是不受诸如交通控制信号或交通灯的任何控制的公共街道/道路，或者如果需要可以是受控制的或部分受控制的街道。为了做出更通用的评估，推荐具有不同类型道路的一组场景，例如公路、市区、郊区。

在操作410中，用户开始驾驶自主驾驶车辆(ADV)101。人类用户可在规划和控制功能关闭的情况下驾驶ADV 101。ADV可记录三种类型的信息：记录针对感知模块302感知的每个目标的决策的ADV驾驶决策日志314；可包括ADV 101的车辆速度、位置和方向的人类驾驶日志313；以及可包括感知模块302感测的目标以及感测的每个目标的速度、位置和方向的感知日志312。

在操作415中，记录模块306可生成人类驾驶日志313。

在操作420中，记录模块306可生成感知日志312。

在操作435中，记录模块306可生成ADV驾驶决策日志314。

在操作425中，可通过人类驾驶决策提取模块103B提取人类驾驶决策。人类驾驶决策提取模块103B可基于人类驾驶日志313和感知日志312得知人类驾驶决策，并且可得知ADV驾驶决策日志314。

在操作430中，人类驾驶评分模块103C可基于人类驾驶日志313、感知日志312对人类驾驶决策进行评分。人类驾驶决策评分模块103C可自动地在舒适、遵守交通规则、安全和时间效率方面对每个决策进行评分。

在操作440中，可将对应于人类驾驶决策的ADV决策与人类驾驶决策进行比较。在操作445中，ADV决策可基于操作440中的比较，以及驾驶日志313和感知日志312进行评分。如果ADV决策和人类决策相同，则在操作450中，可将人类驾驶决策评分用于ADV驾驶决策评分。否则，在操作450中，可使用人类驾驶决策评分和ADV驾驶决策评分之间的差异来修改或生成ADV驾驶决策评分。

图5是可做出一个或多个驾驶决策的驾驶场景500的示例。在以下驾驶场景中，目标的速度、距离和方向是相对于ADV 101而言的。在实施方式中，驾驶场景中目标的速度、距离和方向可相对于诸如GPS或地图坐标系统的坐标系统来表达。在速度、距离和方向是相对于ADV 101而言的实施方式中，ADV 101的方向可以是0°＝ADV 101的“直着向前”，在ADV的前方从左向右行驶的目标可具有正方向，例如+90°或→，诸如汽车510。在ADV 101的前方从右向左行驶的目标可具有负方向，例如-90°或←，诸如行人/狗512。

在这个场景中，ADV 101接近在交叉路口的每个拐角处具有人行横道513的4路交叉路口。ADV 101与可收集用于ADV 101的ADV决策日志314、人类驾驶日志313和感知日志312的服务器103通信。另外，在这个场景中，对于ADV 101，各种目标被检测并且记录到感知日志312中。目标包括接近的汽车510、建筑物511、行人和狗512、与ADV 101相邻的驾驶车道514的右边缘以及驾驶车道515的右边缘。

ADV 101相对于驾驶车道515以一速度、距离和方向接近交叉口人行横道513。在时间t0处，ADV 101可以25mph、相对于驾驶车道515以0°(直着向前)行驶。汽车510也可以25mph、定位成距离ADV 101为101英尺的距离并且相对于ADV 101为-75°、并且定向成相对于ADV 101在+90°处行驶。简言之，汽车510离ADV 101大约100英尺，并且以25mph从ADV 101的左边接近交叉口。在时间t0处，ADV 101可做出是否赶超汽车510、停止、为汽车510让路或者忽视汽车510的决策。

ADV 101也可感知房屋511。由于房屋是固定目标，在时间t0处，房屋511的速度将是0mph。在时间t0处，房屋511可相对于ADV 101位于-28°处并且离ADV 101有111英尺。由于房屋511是固定的，所以房屋511不具有方向。

另外，ADV 101也可感知从不同的方向接近交叉口的行人和狗512(或仅仅“行人”)。在时间t0处，行人512可以3mph、定位成相对于ADV 101为+36°并且离ADV 101为40′的距离处行驶。简言之，人和他的狗在与汽车510以固定的驾驶速度从ADV 101的左侧接近交叉口的时间大体相同的时间处，以步行速度从右侧接近人行横道513。如果ADV 101、汽车510和行人512继续它们各自当前的速度和方向，则行人512可在与汽车510通过交叉口的时间大体相同的时间处、在与ADV 101将横过人行横道513并且进入交叉口的时间大体相同的时间处，进入人行横道513。在某些情况下，根据法律，进入人行横道的行人相对于进入包括人行横道513的交叉口的汽车有权具有优先。在某些情况下，当两辆汽车同时接近一个交叉口时，在右侧的汽车(在这种情况下，ADV 101)根据法律需要为在左侧的汽车(在这种情况下，汽车510)让路。在本公开的评估体系中，ADV 101和ADV 101的人类驾驶员均将需要做出考虑到所有目标的驾驶决策，所述目标为：ADV 101、汽车510、房屋511、行人512和人行横道513。对于每个目标510-513，做出赶超目标、为目标让路、停止或者忽视目标的决策。

人类决策是主观的并且将随着驾驶员而变化。为了首先通过交叉口，第一驾驶员可决定赶超汽车510和行人512(因此，赶超人行横道513)并且忽视房屋511。这个决策可打破包括通过交叉口的最大速度、在交叉口为另一车辆让路并且在人行横道处为行人停止的一个或多个交通规则，但是它将节省驾驶时间。所述决策同样还可能需要在车道位置中加速以及可能的抖动或急转向，以避让汽车510或行人512。当ADV乘客经历向前和侧向加速度二者之时，这可能降低乘客的舒适度。ADV 101的第二驾驶员可选择减速以为汽车510让出交叉口，并且在人行横道513之前5英尺处停止以允许行人512在人行横道513中横过街道。这个决策符合全部法规，通过避免与汽车510可能的碰撞或对行人512的伤害增加了安全性，以及提供了舒适的减速。但是，决策可能降低时间效率。ADV 101决策模块303可做出不同的决策，诸如为进入交叉口的汽车510让路，但是赶超行人512从而赶超人行横道513，以及忽视房屋511。如下所述，本文公开的评估系统可对人类驾驶决策和ADV驾驶决策进行比较和评分。

图6以框的形式示出根据某些实施方式生成和采集在评估人类驾驶决策和ADV驾驶决策中使用的信息的方法600。在实施方式中，诸如当人类驾驶员驾驶ADV 101时，方法600可在线地、实时地或接近实时地实现。在实施方式中，收集的信息可例如通过网络102传输至服务器103。另外或可替代地，当人类驾驶员驾驶ADV 101时，收集的信息可存储在例如ADV的永久性存储设备352中。

在操作605中，可选择用于评估的驾驶场景。驾驶场景可包括具体的目的地、交通类型(重型对轻型)、驾驶速度(高速公路对城镇)、一天的时间(通勤交通对周末交通对工作日交通的正午)、旅程长度(短对长)、人类驾驶员是否熟悉驾驶区域、或其他驾驶场景。

在操作610中，可关闭ADV规划模块304和控制模块305。仍然激活ADV驾驶决策模块303，以及将做出并记录ADV驾驶决策，但是将不会通过ADV 101规划或执行ADV驾驶决策。取而代之，人类驾驶员将控制ADV的加速、刹车和转向。

在操作615中，人类用户可开始驾驶ADV。

在操作620中，ADV控制系统111可从人类驾驶员接收一个或多个驾驶控制输入。驾驶控制输入可包括油门输入202(包括减速)、刹车输入203和转向输入201(向右量、向左量或居中量)。驾驶控制输入111也可包括输入的衍生物，诸如输入施加的速率，例如人类驾驶员在油门或刹车控制上“重踩”，或者急剧地向左或向右转向“调转”。驾驶控制输入可传到记录模块306。

在操作625中，记录模块306可从ADV传感器系统115中的多个传感器接收输出。多个传感器输出可检测或描绘一个或多个目标的属性。例如，相机211可检测移动目标或固定目标的存在，例如汽车510、建筑物511或行人512；LIDAR单元215可检测目标离ADV 101的距离。RADAR单元214可检测目标的距离、方向和速度。GPS单元212可检测目标相对于GPS坐标的位置。在实施方式中，可一起使用一个或多个传感器的输出，以提高确定目标的速度、位置或方向的精确度。

在操作630中，记录模块306可接收由ADV驾驶决策模块303生成的一个或多个驾驶决策。由于在上述操作610中ADV规划模块304和控制模块305关闭，所以不执行ADV驾驶决策。ADV驾驶决策可传到记录模块306。

在操作635中，在操作625中记录模块306从传感器115接收的输出可周期性地标记时间戳并且存储在感知日志312中。下文参考图8A描述示例性感知日志800。记录模块306在操作620中接收的一个或多个驾驶控制输入可被标记时间戳并且写入驾驶日志313中。下文参考图8B描述示例性驾驶日志。记录模块306在操作630中接收的一个或多个ADV驾驶决策可被标记时间戳并且记录为ADV驾驶决策日志314。下文参考图8C描述示例性ADV驾驶决策日志。

在操作640中，可确定是否继续驾驶。可从ADV是否移动推断出所述决策。如果这样，则驾驶继续。如果在操作605中选择的驾驶场景具有路线和/或目的地，则可从ADV到达目的地推断出驾驶已经终止的决策，并且停止。否则，ADV可推断出，ADV继续驾驶直到ADV接收到驾驶要终止的明确指示。

如果在操作640中驾驶继续，则方法600在操作620处继续。否则方法600在操作645处继续。

在操作645中，ADV决策模块303停止生成ADV驾驶决策，记录模块306停止写入感知日志312、驾驶控制日志313和ADV决策日志314，并且方法600结束。

图7以框的形式示出根据某些实施方式评估人类和ADV驾驶决策的方法700。在实施方式中，可例如通过服务器103的数据分析系统脱机执行方法700。在实施方式中，可实时地或接近实时地执行方法700，或者在通过方法700使用的数据被收集之后立刻执行方法700。方法700可用于对单一的ADV评估人类驾驶决策和ADV驾驶决策。在实施方式中，方法700可针对大量的ADV评估人类驾驶决策和ADV驾驶决策。

在操作705中，可选择驾驶场景以将评估体系的结果缩小至特定驾驶场景。

在操作710中，可使用时间范围来缩小用于方法700的记录信息，或者可选择全部(ALL)数据。记录信息包括用于在操作705中选择的场景的感知日志312、驾驶日志313和ADV驾驶决策日志314。

在操作715中，可针对所选择的场景在ADV驾驶决策日志314中识别ADV驾驶决策，并且例如可受到操作710中的时间范围的限制。驾驶决策专用于目标。例如，如图8C的示例性驾驶决策日志810中所描述的那样，在时间t0处相对于汽车510的ADV 101驾驶决策可以是“赶超汽车510”。在时间t2处、相对于人行横道513的另一示例性ADV驾驶决策可以是“在人行横道513之前停止”。

在操作720中，可利用感知日志312和驾驶日志313提取与ADV驾驶决策对应的人类驾驶决策。人类具有大约0.75秒的一般反应时间。响应于从感知模块303中的传感器接收的数据，可几乎瞬时做出ADV驾驶决策。因此，在例如时间t0处做出的ADV驾驶决策可更接近地与在时间t1处的人类驾驶决策对应。因此，提取人类决策以与ADV驾驶决策进行比较可包括：在ADV驾驶决策之后立刻检查感知日志312和驾驶日志313。可进一步地从驾驶日志313中的驾驶输入推断出人类驾驶决策。通过人类或通过ADV进行关于目标的驾驶决策将导致驾驶输入，或者如果决策是“忽视目标”则将导致没有驾驶输入。因此，当ADV做出驾驶决策时，人类驾驶员也可做出驾驶决策，并且人类决策可在ADV决策之后与人类反应时间对应的一个时间做出。

在操作725中，可利用例如服务器103的评分模块103C对人类驾驶决策评分。决策的评分可包括针对安全性、ADV内部驾驶员和/或乘客的舒适度、遵守驾驶规则(法规)和时间效率的指标。在实施方式中，每个指标可给予0～1的评分。例如，驾驶决策评分模块103C可确定，相对于接近的汽车，人类决定为所述接近的汽车让路并且允许它通过。可从指示降低的油门输入202、提高的刹车输入203的驾驶日志313以及从指示接近的汽车在认为安全的距离处利用不会导致乘客不舒服的减速刹车通过ADV 101的前方的感知日志312推断出所述决策，并且在执行所述让路决策期间不会打破任何交通规则。可通过ADV减速并恢复驾驶速度所花费的实际时间对例如没有做出让路的决策已经经过的评估时间来确定时间效率。

在操作730中，驾驶决策评分模块103C可将人类驾驶决策与ADV驾驶决策进行比较。因为ADV的规划和控制模块在驾驶场景期间关闭并且人类驾驶ADV，所以不能直接地从驾驶日志313和感知日志312中确定ADV驾驶决策的影响。然而，仍然可利用感知日志312和驾驶日志313评估ADV驾驶决策评分。下文将参考图8D描述在将人类决策和ADV决策比较之后评估ADV驾驶决策的评分的示例。

在操作735中，ADV驾驶决策评分模块103C可基于与人类驾驶决策、ADV驾驶决策、人类驾驶决策评分和评估的ADV驾驶决策评分的比较，选择性地修改ADV驾驶决策评分。

在操作740中，可确定是否存在更多要分析的ADV决策。如果是这样，则方法700在操作操作715处重新开始，否则方法700结束。

图8A示出根据一些实施方式的示例性感知日志800。感知日志312(感知日志800是它的示例)是在驾驶场景期间记录的传感器输出的日志。对于多个时间增量，感知日志312标识ADV传感器感知的目标、每个目标的速度、每个目标的位置以及每个目标的方向。示例性感知日志800表示在时间t0、t1和t2处针对目标：ADV 101、汽车510、房屋511、人/狗512、人行横道513、ADV 101车道的左边缘514以及ADV 101车道的右边缘515记录的信息。这些仅仅是示例。所记录的信息可以多种格式来表示，包括表格、数据表、数据库表格或其他格式。对于每个目标，在每个时间增量处，目标的速度、目标的位置以及目标的方向可被记录在感知日志312中。在实施方式中，可在2D或3D坐标中表示该位置，并且可计算相距该位置的距离。在实施方式中，可以极坐标格式存储位置，以及相距ADV 101的距离以及绕已知的点旋转的角度，诸如网格或ADV 101正向的方向。在实施方式中，方向可以是相对于通用标准而言的，诸如北或GPS网格。在实施方式中，方向可以是相对于ADV 101的正向而言的。在实施方式中，感知日志312可额外记录与感知日志312的条目对应的一个或多个目标的图像。

在实施方式中，原始传感器输出可被处理以获得期望的信息。例如，可利用传感器系统115中的多个传感器的输出获得目标(例如，汽车510)的方向。LIDAR可用以确定汽车510离ADV 101的距离(例如，在时间t0处为101英尺)。可使用一个或多个RADAR读取物来获得汽车510相对于ADV 101的方向(在时间t0处为-75°)。可使用汽车510在时间t0和时间t1之间的位置差值来确定汽车510的速度(例如在t1处为23mph)。

可从感知日志312中得到推论。例如，在示例性感知日志800中，观察对于ADV的101排，可以看出在时间t0和时间t2之间，ADV 101减速至停止。获得该信息，当观察512排人/狗和513排人行横道时，可以看出人/狗512从ADV 101的右侧靠近ADV 101，以及ADV在到达人行横道513之前停止。可推断出人类驾驶决策将在人行横道513之前停止并且允许人/狗512使用人行横道513。类似地，观察汽车510排，可以看出汽车510从左侧接近ADV 101，并且当人/狗512使用人行横道513时，随着它在ADV 101的前方横过而轻微减速。因此，可推断出人类决策是相对于接近的汽车510让路或停止。

图8B示出根据一些实施方式的示例性驾驶记录805。驾驶日志313(驾驶记录805是它的一个示例)在驾驶场景期间记录在多个时间增量处人类驾驶员对ADV 101驾驶控制的驾驶控制输入。在实施方式中，当驾驶控制输入被记录时，驾驶控制输入数据还可与ADV的速度、位置和方向相关。在实施方式中，如果ADV 101的速度、位置和方向存储在感知日志312中，则驾驶313可包括对感知日志312中的这种信息的指针或其他引用物。驾驶控制输入可包括油门输入202的量、刹车输入203的量和转向输入201的量。转向输入201的量可指示所述输入的方向(向左或向右，顺时针或逆时针)。驾驶控制输入也可包括这些输入的派生物(未示出)，以指示驾驶控制输入的变化速率。例如，油门输入202的变化速率高可指示人类驾驶员在油门上“重踩”以达到快速的加速度。类似地，刹车输入203的变化速率高可指示人类驾驶员在刹车上“重踩”，关于转向输入201的变化速率高可指示人类驾驶员努力地“调转”方向盘向右或向左。当给驾驶决策评分时，这些高速率输入的每一个可对乘客舒适度、安全性以及可能对规则遵守造成负面影响。

图8C示出根据一些实施方式的示例性ADV驾驶决策日志810。ADV驾驶决策日志314(驾驶决策日志810是它的示例)是在驾驶场景期间ADV驾驶决策模块303做出的驾驶决策的记录。在驾驶场景期间，ADV 101的规划和控制模块关闭。因此，不执行ADV驾驶决策。取而代之，人类驾驶员控制ADV，ADV决策(如果规划和控制模块打开则将被执行)被记录在ADV驾驶决策日志314中。

如示例性ADV驾驶决策日志810所指示，在多个时间增量处，ADV 101为每个感知的目标做出驾驶决策。示例性ADV驾驶决策日志810示出在时间t0、t1和t2中的每一个处，为每个目标汽车510、房屋511、人/狗512和人行横道513做出的ADV驾驶决策。由于在评估人类用户的驾驶期间规划和控制模块关闭，所以通过人类驾驶员控制ADV 101。对于目标，ADV驾驶决策可不同于相应的人类驾驶决策。因此，ADV驾驶决策日志314可包括与通过人类驾驶员做出的决策具有相反作用的ADV驾驶决策。例如，在时间t0处，ADV驾驶决策可以是赶超人/狗512和汽车510。另外在t0处，人类驾驶决策可以是给汽车510让路并且为人行横道513和人/狗512停止。为实现人类决策，人类可降低油门输入202并且增大刹车输入203，从而导致ADV 101减速。在时间t1处，ADV 101决策模块303可使用感知模块302中的数据和/或感知日志312中的信息确定出ADV 101目前太过靠近接近的汽车510而不能赶超汽车510，以及太靠近人行横道513和人/狗512而同样不能赶超它们。因此，在时间t1处，基于包括ADV 101的一个或多个目标的速度、位置和/或方向的变化，ADV驾驶决策模块303可与针对每个目标的人类驾驶决策一样，针对每个目标改变它的驾驶决策。

图8D示出根据一些实施方式参考在时间t0处的目标汽车510的人类驾驶决策815的评分的示例。驾驶决策的评分可通过例如服务器103的驾驶决策评分模块103C实现。如上所述，ADV驾驶决策是针对感知模块302感知和/或记录在感知日志312中的每个目标做出的。图8D描述在具体时间例如t0处针对一个感知目标的一个ADV决策、一个相应的人类驾驶决策的评分示例。驾驶决策(人类或ADV)的评分可由不同的指标组成，包括安全性820、乘客舒适度825、规则遵守830和时间效率835。安全性指示820可考虑道路条件(湿的、干的、结冰、积雪、强光、黑暗等)、与感知模块302感知的其他目标的距离、相对于ADV 101的每个目标的速度和方向、ADV的速度、ADV是上坡还是下坡行驶、在ADV驾驶车道内维持安全的车道位置、前述中的一个或多个的组合以及其他因素。乘客舒适度指标825可考虑ADV的向前/向后加速度、ADV的侧向加速度、ADV的振动(转弯)以及影响乘客舒适度的其他因素。规则遵守指标830可检测或评估在由感知模块302确定的驾驶条件和控制系统111的驾驶控制输入201-203下，用于操作车辆的遵守交通法和推荐的安全实践。规则遵守可包括驾驶法规和安全实践的主要和次要违规的计算。时间效率指标835可考虑驾驶决策对驾驶场景的一部分的长度的影响。例如，为接近的汽车让路可更安全，但是赶超接近的汽车可更具有时间效率。赶超接近的汽车可能牵涉违反某些交通法规或安全实践。

在示例性评分比较815中，为接近的汽车510让路的人类驾驶决策与赶超接近的汽车510的ADV驾驶决策进行比较。假设，在该示例中，为接近的汽车让路意味着：减速以在ADV前方的黄灯处停止，以及允许朝向ADV的交通灯变红。接近的汽车510可接收绿灯，从而允许接近的汽车510在ADV的前方横过交叉口。为接近的汽车510让路的人类决策具有1.0(最高)的安全值，但是因为在ADV可继续驾驶场景之前，ADV 101必须在交通灯的整个周期中保持等待，所以具有0.3的时间效率。相反，通过黄灯的ADV驾驶决策可具有较小的安全性，并且可能违犯交通法，诸如在黄灯处加速，或不能在交通灯变红的时间之前离开交叉口。但是，因为可与如同人类驾驶决策一样在整个交通灯周期中等待相比，因为ADV 101可继续驾驶场景，所以ADV驾驶决策的时间效率更高。

服务器103可分析大多数的相似的驾驶场景以及ADV驾驶决策相对人类驾驶决策，以及它们各自的评分。然后，服务器103可基于所述评分利用机器学习引擎103A改善ADV驾驶决策。

图9是示出可与本发明一实施方式一起使用的数据处理系统900的示例的框图。例如，系统900可表示执行上述任意过程或方法的上述任意的数据处理系统，例如，自主车辆101系统，诸如感知和规划系统110、控制系统111等，或图1中的任意服务器103-104。系统900可包括许多不同的组件。这些组件可实现为集成电路(IC)、它们的部分、独立的电子设备或适合电路板的其他模块，诸如计算机系统的母板或插入卡，或者实现为另行并入计算机系统的底盘内的组件。

还要注意，系统900旨在示出计算机系统的许多组件的高级视图。然而，要理解，在某些实施例中可存在另外的组件，此外，在其他实施例中可存在所示组件的不同布置。系统900可表示台式机、膝上型计算机、平板、服务器、移动电话、媒体播放器、个人数字助理(PDA)、嵌入式处理控制器、智能手表、个人通信器、游戏设备、网络路由器或集线器、无线接入点(AP)或中继器、机顶盒或它们的组合。另外，虽然仅仅示出单个机器或系统，但是术语“机器”或“系统”也应包括单独或共同地执行用于执行本文讨论的任意一种或多种方法的一组(或多组)指令的机器或系统的任意集合。

在一实施方式中，系统900包括经由总线或互连910连接的处理器901、存储器903和设备905-908。处理器901可表示其中包括单处理器内核或多处理器内核的单处理器或多处理器。处理器901可表示一个或多个通用处理器，诸如微处理器、中央处理单元(CPU)等。更具体地，处理器901可以是复合指令集计算(CISC)微处理器、简化指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器或执行其他指令集的处理器，或执行指令集的组合的处理器。处理器901还可以是一个或多个专用处理器，诸如专用集成电路(ASIC)、蜂窝或基带处理器、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、网络处理器、图形处理器、通信处理器、加密处理器、协同处理器、嵌入式处理器或能够处理指令的任意其他类型的逻辑。在实施方式中，处理器901包括至少一个硬件处理器。

处理器901，可以是诸如超低电压处理器的低功耗多核处理器插口，可充当与系统的各种组件通信的主处理单元和中心集线器。这些处理器可实现为片上系统(SoC)。处理器901配置为执行用于执行本文讨论的操作和步骤的指令。系统900还可包括与可选图形子系统904通信的图形接口，所述可选图形子系统904可包括显示控制器、图形处理器和/或显示设备。

处理器901可与存储器903通信，在一实施方式中该存储器903可经由多个存储设备实现以提供给定量的系统内存。存储器903可包括一个或多个易失性存储设备(或存储器)，诸如随机存取存储器(RAM)、动态随机存取存储器(DRAM)、同步动态随机存储器(SDRAM)、静态随机存取存储器(SRAM)或其他类型的存储设备。存储器903可储存包括指令序列的信息，该指令被处理器901或任意其他设备执行。例如，多种操作系统、设备驱动器、固件(例如，基本输入输出系统或BIOS)的可执行代码和/或数据，和/或可加载到存储器903中并且被处理器901执行的应用。操作系统可以是任意种类的操作系统，诸如机器人操作系统(ROS)、来自的操作系统、苹果的的LINUX、UNIX或其他实时或嵌入式操作系统。

系统900还可包括诸如设备905-908的IO设备，包括网络接口设备905、可选输入设备906和其他可选IO设备907。网络接口设备905可包括无线收发器和/或网络接口卡(NIC)。无线收发器可以是WiFi收发器、红外线收发器、蓝牙收发器、WiMax收发器、无线蜂窝电话收发器、卫星收发器(例如，全球定位系统(GPS)收发器)或其他射频(RF)收发器或它们的组合。NIC可以是以太网卡。

输入设备906可包括鼠标、触控板、触敏屏幕(可与显示设备904集成)、诸如手写笔和/或键盘的指针设备(例如，物理键盘或作为触敏屏幕的一部分显示的虚拟键盘)。例如，输入设备906可包括联接至触摸屏的触摸屏控制器。触摸屏和触摸屏控制器例如可利用多种触敏技术中的任意技术来检测触摸和移动或它们的中断，其中所述技术包括但不限于：电容、电阻、红外线和表面声波技术，以及其他接近传感器阵列或用于确定与触摸的一个或多个接触点的其他元件。

IO设备907可包括音频设备。音频设备可包括扬声器和/或麦克风以促进语音使能功能，诸如声音识别、语音复制、数字记录和/或电话功能。其他IO设备907还可包括通用串行总线(USB)端口、并行端口、串行端口、打印机、网络接口、总线桥(例如，PCI-PCI桥)、传感器(例如，诸如加速计、陀螺仪、磁力计、光传感器、指南针、接近传感器等的动作传感器)或它们的组合。设备907还可包括用于促进相机功能(诸如记录照片和视频剪辑)的成像处理子系统(例如，相机)，这可包括光学传感器，诸如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)光学传感器。根据系统900的具体配置或设计，某些传感器可经由传感器集线器(未示出)联接至互连910，而诸如键盘或热传感器的其他设备可由嵌入式控制器(未示出)控制。IO设备907还可包括：RADAR系统(无线电检测和变动)；LIDAR系统(光检测和变动)；GPS系统(全球定位系统)；可利用基地塔、麦克风等来进行检测和三角测量的蜂窝电话子系统；音频和/或视频记录设备；位置、距离、时间、速度、加速度、水平和垂直面检测器；方位和方向传感器。

为了永久性地存储诸如数据、应用、一个或多个操作系统等的信息，还可将大容量存储器(未示出)联接至处理器901。在各实施方式中，为了实现更薄和更轻的系统设计以及提高系统反应性，这个大容量存储器可经由固态设备(SSD)来实现。然而在其他实施方式中，大容量存储器可主要利用硬盘驱动器(HDD)来实现，并且较小容量的SSD存储器充当SSD缓存，以在掉电事件期间能够非易失性地存储上下文状态和其他类似信息，使得在系统活动重启时可快速通电。另外，闪存设备可经由例如串行外围接口(SPI)联接至处理器901。该闪存设备可非易失性地存储系统软件，包括BIOS以及系统的其他固件。

存储设备908可包括计算机可访问的存储介质909(也称为机器可读存储介质或计算机可读介质)，在该储介质909上存储有体现本文描述的一种或多种方法或功能中的任意一个的一组或多组指令或软件(例如，模块、单元和/或逻辑928)。处理模块/单元/逻辑928可表示任意上述组件，诸如自主车辆101(AV)驾驶决策记录模块、传感器记录模块、驾驶控制输入记录模块、驾驶决策提取模块、驾驶决策评分模块和处理传感器数据以用于驱动AV规划和控制模块的一个或多个模块。在它们被数据处理系统900执行期间，处理模块/单元/逻辑928也可完全地或至少部分地处于存储器903内和/或处理器901内，存储器903和处理器901也构成机器可访问的存储介质。处理模块/单元/逻辑928还可经由网络接口设备905通过网络被传输或接收。

计算机可读存储介质909还可用以永久性地储存上述某些软件功能。虽然计算机可读存储介质909在示例性实施方式中示为单个介质，但是术语“计算机可读存储介质”应当包括储存一个或多个指令集的单个介质或多个介质(例如，集中式或分布式数据库和/或相关的缓存和服务器)。术语“计算机可读存储介质”还应当包括能够存储或编码通过机器执行的一组指令的任意介质，以及导致机器执行本发明的方法中的任意一个或多个的任意介质。术语“计算机可读存储介质”因此应当包括但不限于：固态存储器和光磁介质，或者任意其他非瞬时性机器可读介质。

本文描述的处理模块/单元/逻辑928、组件和其他特征可实现为独立的硬件组件或集成在诸如ASICS、FPGA、DSP或相似设备的硬件组件的功能中。另外，处理模块/单元/逻辑928可实现为固件或硬件设备内的功能电路。另外，处理模块/单元/逻辑928可实现在任意硬件设备和软件组件的组合中。处理模块928可包括例如服务器103机器学习引擎103A、驾驶决策提取模块103B和驾驶决策评分模块103C。处理模块928还可包括例如ADV 101定位模块301、感知模块312、决策模块303、规划模块304、控制模块305和记录模块306。

注意，虽然系统900示出具有数据处理系统的各种组件，但是它并非旨在表示组件互连的任意具体架构和方式；如同这些细节与本发明实施方式不具有密切关系一样。还将意识到，网络计算机、手持式计算机、移动电话、服务器和/或具有较少组件又或许较多组件的其他数据处理系统也可与本发明实施方式一起使用。

已经根据对计算机存储器内的数据位运算的算法和符号表示提出前面详细描述的一部分。这些算法描述和表示是数据处理领域的技术人员用来最有效地将他们工作的实质传达给本领域其他技术人员的方式。算法在这里通常被认为是引起期望结果的自相一致的操作顺序。这些操作是需要对物理量进行物理操控的操作。

然而，应注意，所有的这些以及相似的术语与适当的物理量相关，并且仅仅是应用于这些量的方便标志。除非另外特别强调，否则如同通过上述讨论显而易见的那样，要理解在说明书通篇，利用术语(诸如在以下权利要求中阐述的术语)的讨论表示计算机系统或相似的电子计算设备的、将在计算机系统寄存器和存储器内表示为物理量(电子量)的数据操控和转换为与在计算机系统存储器或寄存器或其他这样的信息存储器、变速器或显示设备内相似地表示为物理量的其他数据的动作和过程。

本发明实施方式还涉及用于执行本文的操作的计算机程序。这些计算机程序存储在非瞬时性计算机可读介质中。机器可读介质包括用于存储呈机器(例如，计算机)可读形式的信息的任意机构。例如，机器可读(例如，计算机可读)介质包括机器(例如，计算机)可读存储介质(例如，只读存储器(“ROM”)、随机存取存储器(“RAM”)、磁盘存储介质、光学存储介质、闪速存储设备)。

之前的图中描述的过程或方法可通过包括硬件(例如电路、专用逻辑等)、软件(例如，体现在非瞬时性计算机可读介质上)或两种组合的处理逻辑来执行。虽然所述过程或方法按照一些连续操作来描述，但是应理解，所描述的一些操作可以不同的顺序执行。另外，可并行地而不是顺序地执行一些操作。

本发明实施方式不参考任意具体的编程语言描述。应当理解，多种编程语言可用以实现如本文所述的本发明实施方式的教导。

在上述说明书中，本发明实施方式已经参考它的具体示例性实施方式描述。在不脱离如所附权利要求中阐述的本发明的宽广的精神和范围的情况下，可对这些实施方式做出各种修改。因此，本说明书和附图要以说明性的意义而不是限制性的意义来考虑。

Claims

1.一种计算机实现方法，包括：

接收多个自主驾驶车辆日志；

利用所述多个自主驾驶车辆日志，提取与自主驾驶车辆驾驶决策对应的人类驾驶决策；

根据多个评分指标，对所述人类驾驶决策进行评分；以及

至少部分基于所述人类驾驶决策的评分以及所述人类驾驶决策与所述自主驾驶车辆驾驶决策的比较，生成对于所述自主驾驶车辆驾驶决策的评分，其中所述自主驾驶车辆驾驶决策的评分用于修改随后的自主驾驶车辆驾驶的算法。

2.如权利要求1所述的方法，其中所述多个自主驾驶车辆日志包括：由所述自主驾驶车辆的决策模块做出的多个自主驾驶车辆驾驶决策日志、包括多个目标传感器输出日志的感知日志、以及包括多个驾驶控制输入日志的驾驶日志；其中当所述自主驾驶车辆由用户驾驶时，从所述自主驾驶车辆中捕捉所述多个驾驶控制输入。

3.如权利要求1所述的方法，其中针对所述自主驾驶车辆外部的目标专门做出自主驾驶车辆驾驶决策，并且所述自主驾驶车辆驾驶决策包括：赶超所述目标、为所述目标让路、使所述自主驾驶车辆在离所述目标的最小距离处停止、或者忽视所述目标。

4.如权利要求2所述的方法，其中所述驾驶控制输入包括以下之一：加速度控制的输入量、刹车控制的输入量或者转向控制的输入量。

5.如权利要求1所述的方法，其中所述评分指标包括：安全性指标、舒适度指标、规则遵守指标或者时间效率指标。

6.如权利要求2所述的方法，其中针对目标提取与自主驾驶车辆驾驶决策对应的人类驾驶决策包括以下步骤中的一个或多个：

确定做出所述自主驾驶车辆决策的时间；

分析所述自主驾驶车辆驾驶决策之前和之后的时间的所述感知日志；或者

分析所述自主驾驶车辆驾驶决策之前和之后时间的所述驾驶日志，其中分析所述驾驶日志包括：确定所述多个驾驶控制输入中的一个或多个驾驶控制输入之间的关系，以及确定所述目标相对于所述自主驾驶车辆的位置或距离。

7.如权利要求2所述的方法，其中所述目标传感器包括LIDAR、RADAR、GPS或相机中的一个或多个；所述目标传感器输出包括以下中的一个或多个：目标离所述自主驾驶车辆的距离、所述自主驾驶车辆外部的目标的速度、所述自主驾驶车辆的速度、所述自主驾驶车辆外部的目标相对于所述自主驾驶车辆的方向、所述自主驾驶车辆外部的目标的方向、所述自主驾驶车辆的方向或者所述自主驾驶车辆的位置。

8.如权利要求1所述的方法，其中对所述人类驾驶决策评分包括：在所述人类驾驶决策之后，分析一个或多个驾驶输入或一个或多个目标传感器输出，以确定所提取的人类驾驶决策的安全性指标、舒适度指标、规则遵守指标或时间效率指标。

9.如权利要求1所述的方法，其中对所述自主驾驶车辆驾驶决策评分包括：在所述自主驾驶车辆驾驶决策之后，评估一个或多个驾驶输入或一个或多个目标传感器输出，以确定所述自主驾驶车辆驾驶决策的安全性指标、舒适度指标、规则遵守指标或时间效率指标。

10.存储有指令的非瞬时性机器可读介质，所述指令在被处理器执行时导致所述处理器执行操作，所述操作包括：

接收多个自主驾驶车辆日志；

根据多个评分指标，对所述人类驾驶决策进行评分；以及

至少部分地基于所述人类驾驶决策的评分以及所述人类驾驶决策与所述自主驾驶车辆驾驶决策的比较，生成对所述自主驾驶车辆驾驶决策的评分，其中对所述自主驾驶车辆驾驶决策的评分用于修改随后的自主驾驶车辆驾驶的算法。

11.如权利要求10所述的介质，其中所述多个自主驾驶车辆日志包括：由所述自主驾驶车辆的决策模块做出的多个自主驾驶车辆驾驶决策日志、包括多个目标传感器输出日志的感知日志、以及包括多个驾驶控制输入日志的驾驶日志；其中当所述自主驾驶车辆被用户驾驶时，从所述自主驾驶车辆中捕捉所述多个驾驶控制输入。

12.如权利要求10所述的介质，其中针对所述自主驾驶车辆外部的目标专门做出自主驾驶车辆驾驶决策，并且所述自主驾驶车辆驾驶决策包括：赶超所述目标、为所述目标让路、使所述自主驾驶车辆在离所述目标的最小距离处停止、或者忽视所述目标。

13.如权利要求11所述的介质，其中所述驾驶控制输入包括以下之一：加速度控制的输入量、刹车控制的输入量或者转向控制的输入量。

14.如权利要求10所述的介质，其中所述评分指标包括：安全性指标、舒适度指标、规则遵守指标或者时间效率指标。

15.如权利要求11所述的介质，其中针对目标提取与自主驾驶车辆驾驶决策对应的人类驾驶决策包括以下步骤中的一个或多个：

确定做出所述自主驾驶车辆决策的时间；

16.如权利要求11所述的介质，其中所述目标传感器包括LIDAR、RADAR、GPS或相机中的一个或多个；所述目标传感器输出包括以下中的一个或多个：目标离所述自主驾驶车辆的距离、所述自主驾驶车辆外部的目标的速度、所述自主驾驶车辆的速度、所述自主驾驶车辆外部的目标相对于所述自主驾驶车辆的方向、所述自主驾驶车辆外部的目标的方向、所述自主驾驶车辆的方向或者所述自主驾驶车辆的位置。

17.如权利要求10所述的介质，其中对所述人类驾驶决策评分包括：在所述人类驾驶决策之后，分析一个或多个驾驶输入或一个或多个目标传感器输出，以确定所提取的人类驾驶决策的安全性指标、舒适度指标、规则遵守指标或时间效率指标。

18.如权利要求10所述的介质，其中对所述自主驾驶车辆驾驶决策评分包括：在所述自主驾驶车辆驾驶决策之后，评估一个或多个驾驶输入或一个或多个目标传感器输出，以确定所述自主驾驶车辆驾驶决策的安全性指标、舒适度指标、规则遵守指标或时间效率指标。

19.一种数据处理系统，包括：

处理器；以及

存储器，联接至所述处理器用于储存指令，所述指令在被所述处理器执行时导致所述处理器执行操作，所述操作包括：

接收多个自主驾驶车辆日志；

根据多个评分指标，对所述人类驾驶决策进行评分；以及

至少部分基于所述人类驾驶决策的评分以及所述人类驾驶决策与所述自主驾驶车辆驾驶决策的比较，生成对于所述自主驾驶车辆驾驶决策的评分，其中所述自主驾驶车辆驾驶决策的评分用于修改随后自主驾驶车辆驾驶的算法。

20.如权利要求19所述的数据处理系统，其中所述多个自主驾驶车辆日志包括：由所述自主驾驶车辆的决策模块做出的多个自主驾驶车辆驾驶决策日志、包括多个目标传感器输出日志的感知日志、以及包括多个驾驶控制输入日志的驾驶日志；其中当所述自主驾驶车辆由用户驾驶时，从所述自主驾驶车辆中捕捉所述多个驾驶控制输入。

21.如权利要求19所述的数据处理系统，其中针对所述自主驾驶车辆外部的目标专门做出自主驾驶车辆驾驶决策，并且所述自主驾驶车辆驾驶决策包括：赶超所述目标、为所述目标让路、使所述自主驾驶车辆在离所述目标的最小距离处停止、或者忽视所述目标。

22.如权利要求20所述的数据处理系统，其中所述驾驶控制输入包括以下之一：加速度控制的输入量、刹车控制的输入量或者转向控制的输入量。

23.如权利要求19所述的数据处理系统，其中所述评分指标包括：安全性指标、舒适度指标、规则遵守指标或者时间效率指标。

24.如权利要求20所述的数据处理系统，其中针对目标提取与自主驾驶车辆驾驶决策对应的人类驾驶决策包括以下步骤中的一个或多个：

确定做出所述自主驾驶车辆决策的时间；

25.如权利要求20所述的数据处理系统，其中所述目标传感器包括LIDAR、RADAR、GPS或相机中的一个或多个；所述目标传感器输出包括以下中的一个或多个：目标离所述自主驾驶车辆的距离、所述自主驾驶车辆外部的目标的速度、所述自主驾驶车辆的速度、所述自主驾驶车辆外部的目标相对于所述自主驾驶车辆的方向、所述自主驾驶车辆外部的目标的方向、所述自主驾驶车辆的方向或者所述自主驾驶车辆的位置。

26.如权利要求19所述的数据处理系统，其中对所述人类驾驶决策评分包括：在所述人类驾驶决策之后，分析一个或多个驾驶输入或一个或多个目标传感器输出，以确定所提取的人类驾驶决策的安全性指标、舒适度指标、规则遵守指标或时间效率指标。

27.如权利要求19所述的数据处理系统，其中对所述自主驾驶车辆驾驶决策评分包括：在所述自主驾驶车辆驾驶决策之后，评估一个或多个驾驶输入或一个或多个目标传感器输出，以确定所述自主驾驶车辆驾驶决策的安全性指标、舒适度指标、规则遵守指标或时间效率指标。