CN115761686A - 用于检测自动驾驶系统中的意外控制状态的方法和装置 - Google Patents

Abstract

本公开描述了用于检测自动驾驶系统的意外控制状态的各种实施方式。根据实施方式，检测自动驾驶系统的意外控制状态的示例性方法包括：生成车辆的环境数据；由自动驾驶系统基于车辆的环境数据确定第一控制状态；通过参考模型基于环境数据确定第二控制状态，其中，参考模型定义至少一个场景，每个场景对应于多个预期控制状态和状态切换条件，并且在对应于场景的预期控制状态中的每个中，车辆在该场景中的动作遵循交通规则；以及通过比较第一控制状态和第二控制状态来确定自动驾驶系统的意外控制状态。

Description

用于检测自动驾驶系统中的意外控制状态的方法和装置

技术领域

本公开的实施方式总体涉及自动驾驶车辆。更具体地，本公开的实施方式涉及检测自动驾驶系统中的意外控制状态。

背景技术

自动驾驶车辆是利用硬件传感器和软件控制器的实时协作来理解周围环境和安全驾驶的智能车辆，具有很少或没有人为干预。普遍认为的是，安全是自动驾驶车辆成功交付给公共交通的关键。因此，在大规模生产和商业化之前，自动驾驶车辆必须在真实世界的交通中进行大规模的道路测试。

发明内容

在第一方面，本公开的实施方式提供了一种用于检测自动驾驶系统的意外控制状态的计算机实现的方法，该方法包括：生成车辆的环境数据；由自动驾驶系统基于车辆的环境数据确定第一控制状态；通过参考模型基于环境数据确定第二控制状态，其中，参考模型定义至少一个场景，每个场景对应于多个预期控制状态和状态切换条件，并且在对应于场景的预期控制状态中的每个中，车辆在该场景中的动作遵循交通规则；以及通过比较第一控制状态和第二控制状态来确定自动驾驶系统的意外控制状态。

在第二方面，本公开的实施方式提供了一种装置，该装置包括：处理器；以及存储器，联接到处理器以存储指令，所述指令在由处理器执行时致使处理器执行操作，所述操作包括：生成车辆的环境数据；由自动驾驶系统基于车辆的环境数据确定第一控制状态；通过参考模型基于环境数据确定第二控制状态，其中，参考模型定义至少一个场景，每个场景对应于多个预期控制状态和状态切换条件，并且在对应于场景的预期控制状态中的每个中，车辆在该场景中的动作遵循交通规则；以及通过比较第一控制状态和第二控制状态来确定自动驾驶系统的意外控制状态。

在第三方面中，本发明的实施方式提供一种其中存储有指令的非暂时性机器可读介质，所述指令在由处理器执行时致使处理器执行操作，所述操作包括：生成车辆的环境数据；由自动驾驶系统基于车辆的环境数据确定第一控制状态；通过参考模型基于环境数据确定第二控制状态，其中，参考模型定义至少一个场景，每个场景对应于多个预期控制状态和状态切换条件，并且在对应于场景的预期控制状态中的每个中，车辆在该场景中的动作遵循交通规则；以及通过比较第一控制状态和第二控制状态来确定自动驾驶系统的意外控制状态。

附图说明

本公开的实施方式在附图的各图中以举例而非限制的方式示出，附图中的相同参考标记指示相似元件。

图1是示出根据一个实施方式的网络化系统的框图。

图2是示出根据一个实施方式的自动驾驶车辆的示例的框图。

图3A至图3B是示出根据一个实施方式的与自动驾驶车辆一起使用的感知与规划系统的示例的框图。

图4是示出根据一个实施方式的自动驾驶系统的架构的框图。

图5是根据一个实施方式的用于检测自动驾驶系统的意外控制状态的系统的架构。

图6示出了根据本公开的一个实施方式的用于检测自动驾驶系统的意外控制状态的方法。

图7示出了根据一个实施方式的图6中所示的步骤603的详细描述。

图8示出了根据一个实施方式的其中参考模型是状态机的系统。

图9示出了根据一个实施方式的示例性状态机。

图10示出了根据一个实施方式的如图7中所示的步骤702的详细描述。

图11示出了根据另一实施方式的如图7中所示的步骤702的详细描述。

图12示出了根据另一实施方式的用于检测自动驾驶系统的意外控制状态的方法。

图13示出了根据一个实施方式的用于检测自动驾驶系统的意外控制状态的装置。

具体实施方式

将参考以下所讨论的细节来描述本公开的各种实施方式和方面，附图将示出所述各种实施方式。下列描述和附图是本公开的说明，而不应当解释为对本公开进行限制。描述了许多特定细节以提供对本公开的各种实施方式的全面理解。然而，在某些情况下，并未描述众所周知的或常规的细节，以提供对本公开的实施方式的简洁讨论。

本说明书中对“一个实施方式”或“实施方式”的提及意味着结合该实施方式所描述的特定特征、结构或特性可包括在本公开的至少一个实施方式中。短语“在一个实施方式中”在本说明书中各个地方的出现不必全部指同一实施方式。

图1是示出根据本公开的一个实施方式的自动驾驶车辆网络配置的框图。参考图1，网络配置100包括可通过网络102通信地联接到一个或多个服务器103至104的自动驾驶车辆101。尽管示出一个自动驾驶车辆，但多个自动驾驶车辆可通过网络102联接到彼此和/或联接到服务器103至104。网络102可以是任何类型的网络，例如，有线或无线的局域网(LAN)、诸如互联网的广域网(WAN)、蜂窝网络、卫星网络或其组合。服务器103至104可以是任何类型的服务器或服务器群集，诸如，网络或云服务器、应用服务器、后端服务器或其组合。服务器103至104可以是数据分析服务器、内容服务器、交通信息服务器、地图和兴趣点(MPOI)服务器或位置服务器等。

自动驾驶车辆是指可配置成处于自动驾驶模式下的车辆，在所述自动驾驶模式下车辆在极少或没有来自驾驶员的输入的情况下导航通过环境。这种自动驾驶车辆可包括传感器系统，所述传感器系统具有配置成检测与车辆运行环境有关的信息的一个或多个传感器。所述车辆和其相关联的控制器使用所检测的信息来导航通过所述环境。自动驾驶车辆101可在手动模式下、在全自动驾驶模式下或者在部分自动驾驶模式下运行。

在一个实施方式中，自动驾驶车辆101包括，但不限于，感知与规划系统110、车辆控制系统111、无线通信系统112、用户接口系统113和传感器系统115。自动驾驶车辆101还可包括普通车辆中包括的某些常用部件，诸如：发动机、车轮、方向盘、变速器等，所述部件可由车辆控制系统111和/或感知与规划系统110使用多种通信信号和/或命令进行控制，该多种通信信号和/或命令例如，加速信号或命令、减速信号或命令、转向信号或命令、制动信号或命令等。

部件110至115可经由互连件、总线、网络或其组合通信地联接到彼此。例如，部件110至115可经由控制器局域网(CAN)总线通信地联接到彼此。CAN总线是设计成允许微控制器和装置在没有主机的应用中与彼此通信的车辆总线标准。它是最初是为汽车内的复用电气布线设计的基于消息的协议，但也用于许多其它环境。

现在参考图2，在一个实施方式中，传感器系统115包括但不限于一个或多个摄像机211、全球定位系统(GPS)单元212、惯性测量单元(IMU)213、雷达单元214以及光探测和测距(LIDAR)单元215。GPS单元212可包括收发器，所述收发器可操作以提供关于自动驾驶车辆的位置的信息。IMU单元213可基于惯性加速度来感测自动驾驶车辆的位置和定向变化。雷达单元214可表示利用无线电信号来感测自动驾驶车辆的本地环境内的对象的系统。在一些实施方式中，除感测对象之外，雷达单元214可另外感测对象的速度和/或前进方向。LIDAR单元215可使用激光来感测自动驾驶车辆所处环境中的对象。除其它系统部件之外，LIDAR单元215还可包括一个或多个激光源、激光扫描器以及一个或多个检测器。摄像机211可包括用来采集自动驾驶车辆周围环境的图像的一个或多个装置。摄像机211可以是静物摄像机和/或视频摄像机。摄像机可以是可机械地移动的，例如，通过将摄像机安装在旋转和/或倾斜平台上。

传感器系统115还可包括其它传感器，诸如：声纳传感器、红外传感器、转向传感器、油门传感器、制动传感器以及音频传感器(例如，麦克风)。音频传感器可配置成从自动驾驶车辆周围的环境中采集声音。转向传感器可配置成感测方向盘、车辆的车轮或其组合的转向角度。油门传感器和制动传感器分别感测车辆的油门位置和制动位置。在一些情形下，油门传感器和制动传感器可集成为集成式油门/制动传感器。

在一个实施方式中，车辆控制系统111包括但不限于转向单元201、油门单元202(也称为加速单元)和制动单元203。转向单元201用来调整车辆的方向或前进方向。油门单元202用来控制电动机或发动机的速度，电动机或发动机的速度进而控制车辆的速度和加速度。制动单元203通过提供摩擦使车辆的车轮或轮胎减速而使车辆减速。应注意，如图2所示的部件可以以硬件、软件或其组合实施。

返回参考图1，无线通信系统112允许自动驾驶车辆101与诸如装置、传感器、其它车辆等外部系统之间的通信。例如，无线通信系统112可以与一个或多个装置直接无线通信，或者经由通信网络进行无线通信，诸如，通过网络102与服务器103至104通信。无线通信系统112可使用任何蜂窝通信网络或无线局域网(WLAN)，例如，使用WiFi，以与另一部件或系统通信。无线通信系统112可例如使用红外链路、蓝牙等与装置(例如，乘客的移动装置、显示装置、车辆101内的扬声器)直接通信。用户接口系统113可以是在车辆101内实施的外围装置的部分，包括例如键盘、触摸屏显示装置、麦克风和扬声器等。

自动驾驶车辆101的功能中的一些或全部可由感知与规划系统110控制或管理，尤其当在自动驾驶模式下操作时。感知与规划系统110包括必要的硬件(例如，处理器、存储器、存储装置)和软件(例如，操作系统、规划和路线安排程序)，以从传感器系统115、控制系统111、无线通信系统112和/或用户接口系统113接收信息，处理所接收的信息，规划从起始点到目的地点的路线或路径，随后基于规划和控制信息来驾驶车辆101。可替代地，感知与规划系统110可与车辆控制系统111集成在一起。

例如，作为乘客的用户可例如经由用户接口来指定行程的起始位置和目的地。感知与规划系统110获得行程相关数据。例如，感知与规划系统110可从MPOI服务器中获得位置和路线信息，所述MPOI服务器可以是服务器103至104的一部分。位置服务器提供位置服务，并且MPOI服务器提供地图服务和某些位置的POI。可替代地，此类位置和MPOI信息可本地高速缓存在感知与规划系统110的永久性存储装置中。

当自动驾驶车辆101沿着路线移动时，感知与规划系统110也可从交通信息系统或服务器(TIS)获得实时交通信息。应注意，服务器103至104可由第三方实体进行操作。可替代地，服务器103至104的功能可与感知与规划系统110集成在一起。基于实时交通信息、MPOI信息和位置信息以及由传感器系统115检测或感测的实时本地环境数据(例如，障碍物、对象、附近车辆)，感知与规划系统110可规划最佳路线并且根据所规划的路线例如经由控制系统111来驾驶车辆101，以安全且高效到达指定目的地。

服务器103可以是数据分析系统，从而为各种客户执行数据分析服务。在一个实施方式中，数据分析系统103包括数据收集器121和机器学习引擎122。数据收集器121从各种车辆(自动驾驶车辆或由人类驾驶员驾驶的常规车辆)收集驾驶统计数据123。驾驶统计数据123包括指示所发出的驾驶指令(例如，油门、制动、转向指令)以及由车辆的传感器在不同的时间点捕捉到的车辆的响应(例如，速度、加速、减速、方向)的信息。驾驶统计数据123还可包括描述不同时间点下的驾驶环境的信息，例如，路线(包括起始位置和目的地位置)、MPOI、道路状况、天气状况等。

基于驾驶统计数据123，出于各种目的，机器学习引擎122生成或训练一组规则、算法和/或预测模型124。然后，算法124可以被上载到ADV上，以便在自动驾驶期间被实时地利用。

图3A和图3B是示出根据一个实施方式的与自动驾驶车辆一起使用的感知与规划系统的示例的框图。系统300可实施为图1的自动驾驶车辆101的一部分，包括但不限于感知与规划系统110、控制系统111和传感器系统115。参考图3A至图3B，感知与规划系统110包括但不限于定位模块301、感知模块302、预测模块303、决策模块304、规划模块305、控制模块306和路线安排模块307。

模块301至307中的一些或全部可以以软件、硬件或其组合实施。例如，这些模块可安装在永久性存储装置352中、加载到存储器351中，并且由一个或多个处理器(未示出)执行。应注意，这些模块中的一些或全部可通信地联接到图2的车辆控制系统111的一些或全部模块或者与它们集成在一起。模块301至307中的一些可一起集成为集成模块。

定位模块301确定自动驾驶车辆300的当前位置(例如，利用GPS单元212)以及管理与用户的行程或路线相关的任何数据。定位模块301(又称作为地图与路线模块)管理与用户的行程或路线相关的任何数据。用户可例如经由用户接口登录并且指定行程的起始位置和目的地。定位模块301与自动驾驶车辆300的诸如地图与路线信息311的其它部件通信，以获得行程相关数据。例如，定位模块301可从位置服务器和地图与POI(MPOI)服务器获得位置和路线信息。位置服务器提供位置服务，并且MPOI服务器提供地图服务和某些位置的POI，从而可作为地图与路线信息311的一部分高速缓存。当自动驾驶车辆300沿着路线移动时，定位模块301也可从交通信息系统或服务器获得实时交通信息。

基于由传感器系统115提供的传感器数据和由定位模块301获得的定位信息，感知模块302确定对周围环境的感知。感知信息可表示普通驾驶员在驾驶员正驾驶的车辆周围将感知到的东西。感知可包括例如采用对象形式的车道配置、交通灯信号、另一车辆的相对位置、行人、建筑物、人行横道或其它交通相关标志(例如，停止标志、让行标志)等。车道配置包括描述一个或多个车道的信息，诸如，例如车道的形状(例如，直线或弯曲)、车道的宽度、道路中的车道数量、单向或双向车道、合并或分开车道、出口车道等。

感知模块302可包括计算机视觉系统或计算机视觉系统的功能，以处理并分析由一个或多个摄像机采集的图像，从而识别自动驾驶车辆环境中的对象和/或特征。所述对象可包括交通信号、道路边界、其它车辆、行人和/或障碍物等。计算机视觉系统可使用对象识别算法、视频跟踪以及其它计算机视觉技术。在一些实施方式中，计算机视觉系统可绘制环境地图，跟踪对象，以及估算对象的速度等。感知模块302也可基于由诸如雷达和/或LIDAR的其它传感器提供的其它传感器数据来检测对象。

针对每个对象，预测模块303预测对象在这种情况下将如何表现。预测是基于感知数据执行的，该感知数据在考虑一组地图/路线信息311和交通规则312的时间点感知驾驶环境。例如，如果对象为相反方向上的车辆且当前驾驶环境包括十字路口，则预测模块303将预测车辆是否可能会笔直向前移动或转弯。如果感知数据表明十字路口没有交通灯，则预测模块303可能会预测车辆在进入十字路口之前可能需要完全停车。如果感知数据表明车辆目前处于左转唯一车道或右转唯一车道，则预测模块303可能预测车辆将更可能分别左转或右转。

针对每个对象，决策模块304作出关于如何处置对象的决定。例如，针对特定对象(例如，交叉路线中的另一车辆)以及描述对象的元数据(例如，速度、方向、转弯角度)，决策模块304决定如何与所述对象相遇(例如，超车、让行、停止、超过)。决策模块304可根据诸如交通规则或驾驶规则312的规则集来作出此类决定，所述规则集可存储在永久性存储装置352中。

路线安排模块307配置成提供从起始点到目的地点的一个或多个路线或路径。对于从起始位置到目的地位置的给定行程，例如从用户接收的给定行程，路线安排模块307获得路线与地图信息311，并确定从起始位置至到达目的地位置的所有可能路线或路径。路线安排模块307可生成地形图形式的参考线，它确定了从起始位置至到达目的地位置的每个路线。参考线是指不受其它诸如其它车辆、障碍物或交通状况的任何干扰的理想路线或路径。即，如果道路上没有其它车辆、行人或障碍物，则ADV应精确地或紧密地跟随参考线。然后，将地形图提供至决策模块304和/或规划模块305。决策模块304和/或规划模块305检查所有可能的路线，以根据由其它模块提供的其它数据选择和更改最佳路线中的一个，其中，其它数据诸如为来自定位模块301的交通状况、由感知模块302感知到的驾驶环境以及由预测模块303预测的交通状况。根据时间点下的特定驾驶环境，用于控制ADV的实际路径或路线可能接近于或不同于由路线安排模块307提供的参考线。

基于针对所感知到的对象中的每个的决定，规划模块305使用由路线安排模块307提供的参考线作为基础，为自动驾驶车辆规划路径或路线以及驾驶参数(例如，距离、速度和/或转弯角度)。换言之，针对给定的对象，决策模块304决定对该对象做什么，而规划模块305确定如何去做。例如，针对给定的对象，决策模块304可决定超过所述对象，而规划模块305可确定在所述对象的左侧还是右侧超过。规划和控制数据由规划模块305生成，包括描述车辆300在下一移动循环(例如，下一路线/路径段)中将如何移动的信息。例如，规划和控制数据可指示车辆300以30英里每小时(mph)的速度移动10米，随后以25mph的速度变到右侧车道。

基于规划和控制数据，控制模块306根据由规划和控制数据定义的路线或路径通过将适当的命令或信号发送到车辆控制系统111来控制并驾驶自动驾驶车辆。所述规划和控制数据包括足够的信息，以沿着路径或路线在不同的时间点使用适当的车辆设置或驾驶参数(例如，油门、制动、转向命令)将车辆从路线或路径的第一点驾驶到第二点。

在一个实施方式中，规划阶段在多个规划周期(也称作为驾驶周期)中执行，例如，在每个时间间隔为100毫秒(ms)的周期中执行。对于规划周期或驾驶周期中的每一个，将基于规划和控制数据发出一个或多个控制命令。即，对于每100ms，规划模块305规划下一个路线段或路径段，例如，包括目标位置和ADV到达目标位置所需要的时间。可替代地，规划模块305还可规定具体的速度、方向和/或转向角等。在一个实施方式中，规划模块305为下一个预定时段(诸如，5秒)规划路线段或路径段。对于每个规划周期，规划模块305基于在前一周期中规划的目标位置规划用于当前周期(例如，下一个5秒)的目标位置。控制模块306然后基于当前周期的规划和控制数据生成一个或多个控制命令(例如，油门、制动、转向控制命令)。

应注意，决策模块304和规划模块305可集成为集成模块。决策模块304/规划模块305可包括导航系统或导航系统的功能，以确定自动驾驶车辆的驾驶路径。例如，导航系统可确定用于影响自动驾驶车辆沿着以下路径移动的一系列速度和前进方向：所述路径在使自动驾驶车辆沿着通往最终目的地的基于车行道的路径前进的同时，基本上避免感知到的障碍物。目的地可根据经由用户接口系统113进行的用户输入来设定。导航系统可在自动驾驶车辆正在运行的同时动态地更新驾驶路径。导航系统可将来自GPS系统和一个或多个地图的数据合并，以确定用于自动驾驶车辆的驾驶路径。

图4是示出根据一个实施方式的用于自动驾驶的系统架构的框图。系统架构400可表示如图3A和图3B中所示的自动驾驶系统的系统架构。参照图4，系统架构400包括但不限于应用层401、规划和控制(PNC)层402、感知层403、设备驱动器层404、固件层405和硬件层406。应用层401可包括与自动驾驶车辆的用户或乘客交互的用户接口或配置应用，例如，与用户接口系统113相关联的功能。PNC层402可包括至少规划模块305和控制模块306的功能。感知层403可包括至少感知模块302的功能。在一个实施方式中，存在包括预测模块303和/或决策模块304的功能的附加层。可替代地，这种功能可包括在PNC层402和/或感知层403中。系统架构400还包括设备驱动器层404、固件层405和硬件层406。固件层405可至少表示传感器系统115的功能，其可以以现场可编程门阵列(FPGA)的形式实现。硬件层406可表示自动驾驶车辆的硬件，诸如控制系统111。层401至403可经由设备驱动器层404与固件层405和硬件层406通信。

安全是自动驾驶车辆成功交付给公共交通的关键。因此，道路测试增加了难以承受的时间成本。此外，极端的交通条件在道路试验中难以再现，更不用说微妙和危险的转角情况。在这种情况下，已经利用基于游戏引擎的3D模拟器，例如SVL、CARLA、AirSim、Udacity等，以开发更高效的虚拟安全测试方法。此外，自动化分析方法已经积极地采用这些虚拟测试方法作为测试床，以对自动驾驶安全问题进行推理。

虚拟测试用例通常表现为由静态设置和动态设置组成的配置文件。静态设置包括模拟下的全局不变数据，如高清地图、传感器、自动驾驶车辆模型、驾驶目的地等。动态设置包括其值在模拟中是可变的参数，诸如周围非玩家角色(NPC)汽车的位置、交通灯信号、天气和灯光条件等。自动驾驶测试专家需要处理数以百计的虚拟测试用例，以评估关键场景下的车辆行为。最近的工作还应用模糊测试来改变动态虚拟测试用例数据，从而自动生成大量新的测试用例，这极大地减轻了人工的工作量。然而，观察到阻碍这些自动化分析方法的广泛使用的实际限制。

首先，来自自动驾驶测试生成技术的测试案例主要在模拟或更高的定量度量覆盖范围中追溯车辆碰撞，而不是检测其它不适当的交通规则违章。此外，在自动驾驶分析中不适当的数据采集模式可能引入不精确甚至错误的结果。第三，某些自动驾驶系统可能只与特定的模拟器兼容。例如，尽管SVL不支持在运行的模拟上的驾驶数据查询，但是目前它是用于最新Apollo 6.0的唯一公共模拟器。可替代地，可修改Apollo码以弥补SVL的不足。然而，这种侵入和昂贵的努力不太可能在其它封闭源自动驾驶系统上发挥作用。

在本公开的一些实施方式中，提出了一种通过被动地检查意外行为的存在来补充相关技术的非侵入一致性检查方法。在一些实施方式中，通过根据一些实施方式的方法在三重方面的改进，前述限制得以解决。根据一些实施方式的方法采用一致性测试的思想，用于检查不一致的驾驶状态，从而在自动驾驶模拟中查明交通规则违章。用户可自由地定义可插接模型，以便在跟踪分析方法中检查感兴趣的交通规则违章。同时，对模拟器与自动驾驶系统之间的用于完成数据采集的数据交换通道进行监控，从而避免了延迟，并通过来自模拟器的环境数据和来自自动驾驶系统的驾驶状态数据，将违章检测问题转化为跟踪分析问题。

图5示出了用于检测自动驾驶系统的意外控制状态的系统的架构。如图5中所示，在一个实施方式中，给定来自最左边的测试场景生成的测试用例，3D模拟器在双向通信中用自动驾驶系统开始模拟。该模拟器为后端自动驾驶系统构造驾驶场景和传感器输入，后者计算用于仿真器可视化的后续驾驶决策。参考模型是车辆执行模型，其状态总是遵循驾驶规则或交通规则。在一个实施方式中，参考模型描述了环境数据和车辆状态快照下的理想驾驶状态。最右边的一致性检查器确定在模拟中观察到的车辆状态是否与来自参考模型执行的预期状态一致。

图6示出了根据本公开的一个实施方式的用于检测自动驾驶系统的意外控制状态的方法。该方法包括步骤601至604。

步骤601包括生成车辆的环境数据。

在一个实施方式中，环境数据可由作为由传感器系统115提供的传感器数据和由定位模块301获得的定位信息的模拟器生成。

步骤602包括由自动驾驶系统基于车辆的环境数据确定第一控制状态。在一个实施方式中，自动驾驶系统的控制模块306确定车辆的第一控制状态，诸如停止、加速、巡航、减速等。

步骤603包括通过参考模型基于环境数据确定第二控制状态，其中参考模型定义至少一个场景，每个场景对应于多个预期控制状态和状态切换条件，并且在对应于场景的预期控制状态中的每个下，车辆在该场景中的动作遵循交通规则。

在一个实施方式中，将给定的环境数据分别输入到自动驾驶车辆和参考模型。

表1：由参考模型定义的场景

在一个实施方式中，将连续的自动驾驶行为分类为表1中所示的一组场景。然后，通过有限状态机(FSM)对每个场景中的控制状态进行建模。每个状态机M都是元组

其中：

–S是场景下控制状态的有限集合；

–S₀是M的初始控制状态；

–I是输入变量的有限集合；

表示状态变量的有限集合；

–C表示状态转换谓词的有限集合；

是动作字母表，其中，

作用于输入i∈I和状态变量

是转换的有限集合：

表示由谓词c∈C所保护的从s到s'的转换；

是与s相关联的动作，以及i∈I是输入。t也可表示为

在一个实施方式中，遵守交通规则的动作包括：当交通灯变为红色时，在停止线之前停车，不压双黄线，不超过限制速度等。交通规则可基于由政府组织(诸如机动车辆管理局)发布的本地交通规则来确定。

在一个实施方式中，步骤603包括如图7中所示的步骤701至703。

步骤701包括基于环境数据确定至少一个场景中的第一场景和对应于第一场景的状态切换条件。

在一个实施方式中，第一场景是车辆进入具有交通灯的交叉路口，并且对应于第一场景的预期控制状态包括驾驶状态和交通灯状态。图8示出了其中参考模型是第一场景的状态机的系统。

步骤702包括确定车辆的当前状态，以及基于环境数据、第一场景、车辆的当前状态以及与第一场景对应的状态切换条件来确定车辆的当前预期控制状态。

在一个实施方式中，车辆的当前状态包括车辆的当前速度和当前位置。在一个实施方式中，基于由自动驾驶系统获取的快照来确定车辆的当前状态。在一个实施方式中，基于环境数据、车辆的当前状态以及对应于第一场景的状态切换条件，使用用于第一场景的状态机来确定车辆的当前预期控制状态。

步骤703包括将当前预期控制状态确定为第二控制状态。

步骤604包括通过将第一控制状态与第二控制状态进行比较来确定自动驾驶系统的意外控制状态。

在一个实施方式中，响应于确定第一控制状态与第二控制状态不一致或不相同，将第一控制状态确定为意外控制状态。在一个实施方式中，响应于确定第二控制状态是使车辆停车而第一控制状态是巡航、移动或加速，将第一控制状态确定为意外控制状态。

在一个实施方式中，如图9中所示，对图8中所示的状态机进行改进。在一个实施方式中，驾驶状态包括巡航到交叉路口的第一驾驶状态和接近交叉路口处的停止线的第二驾驶状态，并且交通灯状态包括停止移动的第一交通灯状态，其中对应于第一场景的状态切换条件包括：交通灯变为绿色的第一状态切换条件和交通灯变为红色的第二状态切换条件。

在一个实施方式中，步骤702包括如图10中所示的步骤1001至1003。

步骤1001包括响应于确定交通灯变为红色，确定车辆的当前预期控制状态是停止移动的第一交通灯状态。步骤1002包括响应于确定交通灯变为绿色并且车辆的当前状态是接近交叉路口处的停止线，确定车辆的当前预期控制状态是巡航到交叉路口的第一驾驶状态。步骤1003包括响应于确定交通灯变为绿色并且车辆的当前状态是停止移动，确定车辆的当前预期控制状态是接近交叉路口处的停止线的第二驾驶状态。

在一个实施方式中，驾驶状态还包括跟随车道的第三驾驶状态，并且状态切换条件包括：距交叉路口处的停止线的距离小于第一预设阈值的第三切换条件，以及距交叉路口处的停止线的距离小于第二预设阈值的第四切换条件。

在一个实施方式中，步骤702包括步骤1101至1104。

步骤1101包括响应于确定距交叉路口处的停止线的距离不小于第一预设阈值，将跟随车道的第三驾驶状态确定为车辆的当前预期控制状态。

步骤1102包括响应于确定距交叉路口处的停止线的距离小于第一预设阈值并且不小于第二预设阈值并且交通灯变为红色，将接近交叉路口处的停止线的第二驾驶状态确定为车辆的当前预期控制状态。

在一个实施方式中，第二预设阈值小于第一预设阈值。例如，第二预设阈值为2米，第一预设阈值为5米。第一预设阈值和第二预设阈值可以是所需的任何值，并且不限于图9中所示的5米和2米。

步骤1103包括响应于确定距交叉路口处的停止线的距离小于第二预设阈值并且交通灯变为红色，将停止移动的第一交通灯状态确定为车辆的当前预期控制状态。

步骤1104包括响应于确定距交叉路口处的停止线的距离小于第二预设阈值并且交通灯变为绿色，将巡航到交叉路口的第一驾驶状态确定为车辆的当前预期控制状态。

图12示出了根据另一实施方式的用于检测自动驾驶系统的意外控制状态的方法。步骤1201至1204与步骤601至604相同。该方法还包括步骤1205和1206。

步骤1205包括基于意外控制状态来校正自动驾驶系统。

在一个实施方式中，响应于确定意外控制状态，检查自动驾驶系统以找到不适当的部分，诸如不适当的程序代码，并且校正该部分以符合由参考模型输出的预期控制状态。

步骤1206包括基于校正的自动驾驶系统控制车辆。

在一个实施方式中，校正的自动驾驶系统用于控制车辆，从而避免意外控制状态。

图13示出了根据一个实施方式的用于检测自动驾驶系统的意外控制状态的装置。该装置包括：一个或多个处理器1301、存储器1302、以及用于连接各种部件的接口(包括高速接口和低速接口)。各种部件使用不同的总线彼此连接，并且可安装在公共母板上或根据需要以其它方法安装。处理器可处理在装置内执行的指令，包括存储在存储器中或存储器上的指令，以便在外部输入/输出装置(诸如联接到接口的显示设备)上显示GUI的图形信息。在其它实施方式中，如果需要，多个处理器和/或多个总线可与多个存储器一起使用。类似地，可连接多个装置，并且装置提供一些必要的操作，例如作为服务器阵列、一组叶片服务器或多处理器系统。在图13中，处理器1301被用作示例。

存储器1302是由本公开的一些实施方式提供的非暂时性计算机可读存储介质。存储器存储可由至少一个处理器执行的指令，使得至少一个处理器执行根据公开的一些实施方式的用于确定地图上的目的地的方法。本公开的一些实施方式的非暂时性计算机可读存储介质存储用于使计算机执行根据本公开的一些实施方式的用于检测自动驾驶系统的意外控制状态的方法的计算机指令。

作为非暂时性计算机可读存储介质的存储器1302可用于存储非暂时性软件程序、非暂时性计算机可执行程序和模块，诸如与根据本公开的一些实施方式的用于检测自动驾驶系统的意外控制状态的方法对应的程序指令/模块。处理器1301执行存储在存储器1302中的非暂时性软件程序、指令和模块，以执行服务器的各种功能应用和数据处理，即，实现根据本公开的一些实施方式的用于确定地图上的目的地的方法。

存储器1302可包括存储程序区和存储数据区，其中存储程序区可存储操作系统和至少一个功能所需应用程序；并且存储数据区可存储通过使用根据本公开的一些实施方式的用于检测自动驾驶系统的意外控制状态的方法的装置而创建的数据。此外，存储器1302可包括高速随机存取存储器，并且还可包括非暂时性存储器，诸如至少一个磁盘存储设备、闪存设备或其它非暂时性固态存储设备。在一些实施方式中，存储器1302可以可选地包括相对于处理器1301远程设置的存储器，并且这些远程存储器可连接到根据本公开的一些实施方式的用于检测自动驾驶系统的意外控制状态的方法的装置。上述网络的示例包括但不限于因特网、内联网、局域网、移动通信网络及其组合。

执行根据本公开的一些实施方式的用于确定地图上的目的地的方法的装置还可包括：输入装置1303和输出装置1304。处理器1301、存储器1302、输入装置1303和输出装置1304可通过总线或以其它方法连接。在图13中，通过总线的连接被用作示例。

输入装置1303可接收输入的数字或字符信息，并且生成与用于学习知识表示的方法的装置的用户设置和功能控制相关的键信号输入，输入装置1303诸如为触摸屏、小键盘、鼠标、跟踪板、触摸板、指示杆、一个或多个鼠标按钮、跟踪球、操纵杆和其它输入装置。输出装置1304可包括显示设备、辅助照明设备(例如，LED)、触觉反馈装置(例如，振动马达)等。显示设备可包括但不限于液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

应当理解，以上所示的各种形式的过程可用于重新排序、添加或删除步骤。例如，在本公开的一些实施方式中描述的步骤可并行地、顺序地或以不同的顺序执行。只要可实现本公开的一些实施方式中所公开的技术方案的期望结果即可，本文中不进行限制。

上述具体实施方式不构成对本公开的保护范围的限制。本领域中技术人员应当理解，可根据设计要求和其它因素进行各种修改、组合、子组合和替换。在本公开的精神和原理内进行的任何修改、等同替换和改进将包括在本公开的保护范围内。

Claims (20)

1.一种用于检测自动驾驶系统的意外控制状态的计算机实现的方法，所述方法包括：

生成车辆的环境数据；

由所述自动驾驶系统基于所述环境数据确定第一控制状态；

由参考模型基于所述环境数据确定第二控制状态，其中，所述参考模型定义至少一个场景，每个场景对应于多个预期控制状态和状态切换条件，并且在对应于该场景的所述预期控制状态中的每个中，所述车辆在该场景中的动作遵循交通规则；以及

通过将所述第一控制状态与所述第二控制状态进行比较，确定所述自动驾驶系统的所述意外控制状态。

2.根据权利要求1所述的方法，其中，由所述参考模型基于所述环境数据确定所述第二控制状态包括：基于所述环境数据确定所述至少一个场景中的第一场景以及与所述第一场景对应的状态切换条件；确定所述车辆的当前状态；基于所述环境数据、所述第一场景、所述车辆的当前状态以及与所述第一场景对应的所述状态切换条件，确定所述车辆的当前预期控制状态；以及将所述当前预期控制状态确定为所述第二控制状态。

3.根据权利要求2所述的方法，其中，在所述第一场景中，所述车辆进入具有交通灯的交叉路口，并且与所述第一场景对应的多个预期控制状态包括驾驶状态和交通灯状态。

4.根据权利要求3所述的方法，其中，所述驾驶状态包括到巡航到所述交叉路口的第一驾驶状态和接近所述交叉路口处的停止线的第二驾驶状态，以及所述交通灯状态包括停止移动的第一交通灯状态，其中，与所述第一场景对应的所述状态切换条件包括：所述交通灯变为绿色的第一状态切换条件和所述交通灯变为红色的第二状态切换条件。

5.根据权利要求4所述的方法，其中，基于所述环境数据、所述第一场景、所述车辆的当前状态以及与所述第一场景对应的所述状态切换条件来确定所述车辆的当前预期控制状态包括：

响应于确定所述交通灯变为红色，确定所述车辆的当前预期控制状态为停止移动的所述第一交通灯状态；

响应于确定所述交通灯变为绿色且所述车辆的当前状态为接近所述交叉路口处的所述停止线，确定所述车辆的当前预期控制状态为巡航到所述交叉路口的所述第一驾驶状态；以及

响应于确定所述交通灯变为绿色且所述车辆的当前状态为停止移动，确定所述车辆的当前预期控制状态为接近所述交叉路口处的停止线的所述第二驾驶状态。

6.根据权利要求4所述的方法，其中，所述驾驶状态还包括跟随车道的第三驾驶状态，并且所述状态切换条件包括：距所述交叉路口处的所述停止线的距离小于第一预设阈值的第三切换条件，以及距所述交叉路口处的所述停止线的距离小于第二预设阈值的第四切换条件。

7.根据权利要求6所述的方法，其中，基于所述环境数据、所述第一场景、所述车辆的当前状态以及与所述第一场景对应的所述状态切换条件来确定所述车辆的当前预期控制状态包括：

响应于确定距所述交叉路口处的所述停止线的距离不小于所述第一预设阈值，确定跟随所述车道的所述第三驾驶状态为所述车辆的当前预期控制状态；

响应于确定距所述交叉路口处的所述停止线的距离小于所述第一预设阈值且不小于所述第二预设阈值及所述交通灯变为红色，确定接近所述交叉路口处的所述停止线的所述第二驾驶状态为所述车辆的当前预期控制状态；

响应于确定距所述交叉路口处的所述停止线的距离小于所述第二预设阈值且所述交通灯变为红色，确定停止移动的所述第一交通灯状态为所述车辆的当前预期控制状态；以及

响应于确定距所述交叉路口处的所述停止线的距离小于所述第二预设阈值且所述交通灯变为绿色，确定巡航到所述交叉路口的所述第一驾驶状态为所述车辆的当前预期控制状态。

8.根据权利要求3所述的方法，其中，所述至少一个场景还包括第二场景、第三场景、第四场景或第五场景中的至少一个，其中，在所述第二场景中，所述车辆在具有所述交通灯的所述交叉路口处左转或右转；在所述第三场景中，所述车辆在车道上行驶并因并入车辆而制动；在所述第四场景中，所述车辆由于交通拥堵而试图借用左车道；以及在所述第五场景中，所述车辆到达停车标志且然后离开。

9.根据权利要求1所述的方法，其中，所述环境数据由模拟器生成，并且基于由所述自动驾驶系统获取的快照来确定所述车辆的当前状态。

10.根据权利要求1所述的方法，其中，所述方法还包括：

基于所述意外控制状态校正所述自动驾驶系统；以及

基于校正后的自动驾驶系统控制所述车辆。

11.一种装置，包括：

处理器；以及

存储器，存储指令，所述指令在由所述处理器执行时使所述处理器执行操作，所述操作包括：

生成车辆的环境数据；

由自动驾驶系统基于所述环境数据确定第一控制状态；

由参考模型基于所述环境数据确定第二控制状态，其中，所述参考模型定义至少一个场景，每个场景对应于多个预期控制状态和状态切换条件，并且在对应于该场景的所述预期控制状态中的每个中，所述车辆在该场景中的动作遵循交通规则；以及

通过将所述第一控制状态与所述第二控制状态进行比较，确定所述自动驾驶系统的意外控制状态。

12.根据权利要求11所述的装置，其中，由所述参考模型基于所述环境数据确定所述第二控制状态包括：基于所述环境数据确定所述至少一个场景中的第一场景以及与所述第一场景对应的状态切换条件；确定所述车辆的当前状态；基于所述环境数据、所述第一场景、所述车辆的当前状态以及与所述第一场景对应的所述状态切换条件，确定所述车辆的当前预期控制状态；以及将所述当前预期控制状态确定为所述第二控制状态。

13.根据权利要求12所述的装置，其中，在所述第一场景中，所述车辆进入具有交通灯的交叉路口，并且与所述第一场景对应的多个预期控制状态包括驾驶状态和交通灯状态。

14.根据权利要求13所述的装置，其中，所述驾驶状态包括到巡航到所述交叉路口的第一驾驶状态和接近所述交叉路口处的停止线的第二驾驶状态，以及所述交通灯状态包括停止移动的第一交通灯状态，其中，与所述第一场景对应的所述状态切换条件包括：所述交通灯变为绿色的第一状态切换条件和所述交通灯变为红色的第二状态切换条件。

15.根据权利要求14所述的装置，其中，由所述参考模型基于所述环境数据确定所述第二控制状态包括：

响应于确定所述交通灯变为红色，确定所述车辆的当前预期控制状态为停止移动的所述第一交通灯状态；

响应于确定所述交通灯变为绿色且所述车辆的当前状态为接近所述交叉路口处的所述停止线，确定所述车辆的当前预期控制状态为巡航到所述交叉路口的所述第一驾驶状态；以及

响应于确定所述交通灯变为绿色且所述车辆的当前状态为停止移动，确定所述车辆的当前预期控制状态为接近所述交叉路口处的停止线的所述第二驾驶状态。

16.根据权利要求14所述的装置，其中，所述驾驶状态还包括跟随车道的第三驾驶状态，并且所述状态切换条件包括：距所述交叉路口处的所述停止线的距离小于第一预设阈值的第三切换条件，以及距所述交叉路口处的所述停止线的距离小于第二预设阈值的第四切换条件。

17.根据权利要求16所述的装置，其中，由所述参考模型基于所述环境数据确定所述第二控制状态包括：

响应于确定距所述交叉路口处的所述停止线的距离不小于所述第一预设阈值，确定跟随所述车道的所述第三驾驶状态为所述车辆的当前预期控制状态；

响应于确定距所述交叉路口处的所述停止线的距离小于所述第一预设阈值且不小于所述第二预设阈值及所述交通灯变为红色，确定接近所述交叉路口处的所述停止线的所述第二驾驶状态为所述车辆的当前预期控制状态；

响应于确定距所述交叉路口处的所述停止线的距离小于所述第二预设阈值且所述交通灯变为红色，确定停止移动的所述第一交通灯状态为所述车辆的当前预期控制状态；以及

响应于确定距所述交叉路口处的所述停止线的距离小于所述第二预设阈值且所述交通灯变为绿色，确定巡航到所述交叉路口的所述第一驾驶状态为所述车辆的当前预期控制状态。

18.根据权利要求13所述的装置，所述至少一个场景还包括第二场景、第三场景、第四场景或第五场景中的至少一个，其中，在所述第二场景中，所述车辆在具有所述交通灯的所述交叉路口处左转或右转；在所述第三场景中，所述车辆在车道上行驶并因并入车辆而制动；在所述第四场景中，所述车辆由于交通拥堵而试图借用左车道；以及在所述第五场景中，所述车辆到达停车标志且然后离开。

19.根据权利要求11所述的装置，其中，所述环境数据由模拟器生成，并且基于由所述自动驾驶系统获取的快照来确定所述车辆的当前状态。

20.一种其中存储有指令的非暂时性机器可读介质，所述指令在由处理器执行时使所述处理器执行操作，所述操作包括：

生成车辆的环境数据；

由自动驾驶系统基于所述车辆的所述环境数据确定第一控制状态；

由参考模型基于所述环境数据确定第二控制状态，其中，所述参考模型定义至少一个场景，每个场景对应于多个预期控制状态和状态切换条件，并且在对应于该场景的所述预期控制状态中的每个中，所述车辆在该场景中的动作遵循交通规则；以及

通过将所述第一控制状态与所述第二控制状态进行比较，确定所述自动驾驶系统的意外控制状态。

Images