CN111538323A - 限定自动驾驶系统的安全可驾驶区域的方法 - Google Patents

Abstract

公开了用于动态调整传感器的有效传感器覆盖坐标的系统和方法，该系统和方法用于响应于可能影响传感器的理想操作的环境条件来辅助导航自动驾驶车辆(ADV)。ADV包括导航系统和监控导航系统中的一些或全部(包括监控传感器的有效传感器覆盖坐标的动态调整以及ADV在高清晰度地图内的定位)的安全监控系统。ADV安全监控系统还确定ADV周围的安全关键对象，确定用于导航ADV的安全区域，并确保ADV仅导航到安全区域。自动系统性能监控器基于ADV安全监控系统确定是否传递ADV导航控制命令、限制一个或多个控制命令或执行故障下操作动作。

Description

限定自动驾驶系统的安全可驾驶区域的方法

技术领域

本公开的实施方式总体上涉及操作自动驾驶车辆。更具体地，本公开的实施方式涉及自动驾驶车辆在变化的环境条件下的安全操作。

背景技术

以自动驾驶模式运行(例如，无人驾驶)的车辆可以将乘员、尤其是驾驶员从一些驾驶相关的职责中解放出来。当以自动驾驶模式运行时，车辆可以使用车载传感器导航到各个位置，从而允许车辆在最少人机交互的情况下或在没有任何乘客的一些情况下行驶。

自动驾驶车辆安全性在很大程度上依赖于各种传感器(即，相机、RADAR、LIDAR等)，以提供数据并动态地感知周围的环境。传感器数据的质量可以从对象分类、预测动态对象的轨迹、以及规划车辆的安全路径方面直接影响自动驾驶系统的性能。众所周知，每种传感器都有优点和局限性，并且对环境条件(例如是白天还是夜晚、下雨、有雾、多尘，或者一个或多个传感器是否受到污垢或其他碎屑的影响)有很强的依赖性。在过去，已经做了一些工作以试图利用每种传感器的优势。检验和确认通常用于共同提高传感器性能和算法的有效性，这是非常重要的，但不是用于解决动态环境变化对传感器的影响以及感知算法性能的预测方式。现有技术没有提供动态调整有效传感器覆盖范围以及识别传感器限制的方法，以确保自动驾驶车辆周围的区域由根据ISO 26262(具有故障的E/E系统)和ISO21448(SOTIF)(无故障但有限制的E/E系统)的至少一个验证/证明合格的传感器监控。

此外，在汽车工业中已经普遍认识到，为了支持SAE 4/5级车辆，除了低压供电系统、转向系统、制动系统或联网通信等之外，还需要使自动驾驶系统可在故障下操作(fail-operational)。自动驾驶系统需要在车辆环境条件改变时解决传感器和感知算法的系统性能限制，以确保自动驾驶车辆安全性。目前的一种行业方法是设计两个独立的、多余的自动驾驶系统，以实现故障下操作系统。然而，如果环境条件是使得传感器无法实现其完整的规格性能，诸如当下雨或下雪、存在明亮的光线、缺少光线或者车辆位于通信和GPS缺失的隧道内或城市中的建筑物之间时，即使多余的系统也变得性能下降。

正确地感知自动驾驶车辆周围的环境并且定义安全可驾驶区域是加速自主技术部署的关键促成因素。AI/机器学习技术广泛用于处理传感器数据并提供自动驾驶系统“观察到”周围环境所需的事物。但是，AI/机器学习系统很慢，并且无法容易地适应影响传感器性能的环境条件的实时变化，并且可以使传感器的有效覆盖范围小于其技术规格。

发明内容

根据本申请的一个方面，公开了一种操作自动驾驶车辆的计算机实施的方法，所述方法包括：基于从所述自动驾驶车辆的一个或多个传感器获得的传感器数据，生成一个或多个安全关键对象的列表，其中，安全关键对象包括位于第一区域中的一个或多个静态对象和一个或多个动态对象，所述第一区域与所述自动驾驶车辆的可驾驶路径的至少部分重叠；根据所述自动驾驶车辆周围的环境条件，识别基于从所述自动驾驶车辆的传感器获得的所述传感器数据感知的一个或多个对象的列表；以及对于所述安全关键对象中的每一个，搜索所述对象的列表以找到所述安全关键对象，以及响应于确定在所述对象的列表中未找到所述安全关键对象，执行用于导航所述自动驾驶车辆的故障下操作动作。

根据本申请的另一个方面，公开了一种存储有指令的非暂时性机器可读介质，所述指令在由处理器执行时使所述处理器执行操作以操作自动驾驶车辆(ADV)，所述操作包括：基于从所述自动驾驶车辆的一个或多个传感器获得的传感器数据生成一个或多个安全关键对象的列表，其中，安全关键对象包括位于第一区域中的一个或多个静态对象和一个或多个动态对象，所述第一区域与所述自动驾驶车辆的可驾驶路径的至少部分重叠；根据所述自动驾驶车辆周围的环境条件，识别基于从所述自动驾驶车辆的传感器获得的所述传感器数据感知的一个或多个对象的列表；以及对于所述安全关键对象中的每一个，搜索所述对象的列表以找到所述安全关键对象，以及响应于确定在所述对象的列表中未找到所述安全关键对象，执行用于导航所述自动驾驶车辆的故障下操作动作。

根据本申请的又一个方面，公开了一种数据处理系统，其包括：处理器；以及存储器，联接到所述处理器以存储指令，所述指令在由所述处理器执行时，使所述处理器执行操作以操作自动驾驶车辆(ADV)，所述操作包括：基于从所述自动驾驶车辆的一个或多个传感器获得的传感器数据生成一个或多个安全关键对象的列表，其中，安全关键对象包括位于第一区域中的一个或多个静态对象和一个或多个动态对象，所述第一区域与所述自动驾驶车辆的可驾驶路径的至少部分重叠；根据所述自动驾驶车辆周围的环境条件，识别基于从所述自动驾驶车辆的传感器获得的所述传感器数据感知的一个或多个对象的列表；以及

对于所述安全关键对象中的每一个，搜索所述对象的列表以找到所述安全关键对象，以及响应于确定在所述对象的列表中未找到所述安全关键对象，执行用于导航所述自动驾驶车辆的故障下操作动作。

附图说明

本公开的实施方式在附图的各图中以举例而非限制的方式示出，附图中的相同的附图标记指代相似的元件。

图1是示出根据一个实施方式的网络化系统的框图。

图2是示出根据一个实施方式的自动驾驶车辆的示例的框图。

图3是示出根据一个实施方式的与自动驾驶车辆一起使用的感知与规划系统的示例的框图。

图4是示出根据一些实施方式的用于具有安全监控器、安全可驾驶区域确定和有效传感器覆盖确定的故障下操作ADV驾驶系统的系统的框图。

图5A以框图形式示出了根据一些实施方式的使用高清晰度(HD)地图和传感器确定自动驾驶系统中的有效传感器覆盖区域的方法。

图5B和图5C以框图形式示出了根据一些实施方式的使用高清晰度(HD)地图和传感器确定自动驾驶系统中的有效传感器覆盖区域的方法。

图6A和图6B以框图形式示出了根据一些实施方式的使用对象跟踪和传感器确定自动驾驶系统中的有效传感器覆盖区域的方法。

图7A和图7B以框图形式示出了根据一些实施方式的使用多个传感器确认来确定自动驾驶系统中的有效传感器覆盖区域的方法。

图8A以框图形式示出了根据一些实施方式的安全操作ADV的故障下操作方法。

图8B以框图形式示出了根据一些实施方式的安全操作ADV的故障下操作方法。

图9以框图形式示出了根据一些实施方式的用于安全操作ADV的“跋行回家”感知方法。

图10以表格形式示出了根据一些实施方式的组合的ADV传感器系统的优势和劣势。

图11以框图形式示出了根据一些实施方式的用于执行ADV的安全感知的方法。

图12A以框图形式示出了根据一些实施方式的用于执行ADV的安全监控的方法。

图12B以框图形式示出了根据一些实施方式的用于执行ADV的安全监控的方法。

图13以框图形式示出了根据一些实施方式的定义用于安全操作ADV的安全可驾驶区域的方法。

图14是示出可以与本公开的一个实施方式一起使用的数据处理系统的示例的框图。

具体实施方式

将参考以下所讨论的细节来描述本公开的各种实施方式和方面，并且附图将示出各种实施方式。以下描述和附图是对本公开的说明，并且不应被解释为限制本公开。描述了许多特定细节以提供对本公开各种实施方式的全面理解。然而，在某些情况下，并未描述众所周知的或常规的细节以提供对本公开的实施方式的简洁讨论。

本说明书中对“一个实施方式”或“实施方式”的提及意味着结合该实施方式所描述的特定特征、结构或特性可以包括在本公开的至少一个实施方式中。短语“在一个实施方式中”在本说明书中各个地方的出现不必全部指相同的实施方式。

在第一实施方式中，动态调整自动驾驶车辆(ADV)中的第一传感器的有效传感器覆盖区域的计算机实施的方法包括确定ADV相对于高清晰度(HD)地图的位置并确定ADV周围的、ADV将导航避开的一个或多个对象的列表。一个或多个对象的列表可以包括使用来自多个ADV传感器的传感器数据来定位一个或多个对象，或者维护包括其位置已被验证和跟踪的对象的和/或将对其位置进行验证的对象的一个或多个对象的列表。来自第一传感器的第一传感器数据的第一静态对象位于识别的位置。响应于确定由第一传感器定位和识别的所识别的第一静态对象与HD地图中的一个或多个对象中的一个匹配，并且响应于确定第一静态对象位于第一传感器的有效传感器覆盖坐标之外，第一传感器的有效传感器覆盖坐标增加以包括第一静态对象的位置。响应于确定由第一传感器检测到的第一静态对象与HD地图中的一个或多个对象中的任何一个不匹配：可以根据第二传感器的第二传感器数据定位和识别第一静态对象。响应于确定根据第二传感器数据定位和识别的第一静态对象位于第一传感器的有效传感器覆盖坐标内，可以减小第一传感器的传感器有效覆盖坐标以不包括第一静态对象的位置。在实施方式中，增加第一传感器的有效传感器覆盖坐标以包括第一静态对象的位置可以包括将有效覆盖坐标设置为第一传感器的有效传感器覆盖坐标的默认设置，例如出厂默认传感器覆盖范围。在实施方式中，第一传感器可以是相机、LIDAR传感器或RADAR系统。在实施方式中，第一传感器的动态调整的有效传感器覆盖坐标与第一传感器相关联地存储在存储器中。然后，在确定第一静态对象位于第一传感器的有效传感器覆盖坐标之外之前，可以从存储器检索第一传感器的有效传感器覆盖坐标。可以导航ADV以避开ADV周围的一个或多个对象列表中的对象。

在第二实施方式中，安全导航自动驾驶车辆(ADV)的计算机实施的方法包括由ADV导航系统确定导航ADV的路线，该路线至少部分地基于在高清晰度(HD)地图中定位ADV并确定ADV周围的多个对象的位置和轨迹。响应于来自ADV导航系统的多个导航控制输入(例如转向输入、制动输入和油门输入)，沿着路线导航ADV。响应于独立于ADV导航系统的ADV安全监控系统的一个或多个安全监控器，修改多个导航控制输入中的一个或多个。修改多个导航控制输入中的一个或多个可以包括由ADV安全监控系统的定位安全监控器确定ADV导航系统的定位系统未能在HD地图内正确地定位ADV并且修改一个或多个控制输入以使ADV停止。在实施方式中，修改多个导航控制输入中的一个或多个可以包括由ADV安全监控系统的传感器性能监控器确定ADV导航系统的感知系统中的传感器的有效传感器覆盖区域对于ADV的当前速度来说太小并减小多个导航控制输入中的油门输入和/或增加制动输入，以减小ADV的当前速度。该方法还可以包括由ADV安全监控系统的感知监控器从ADV导航系统的感知系统接收代表沿着路线的ADV的障碍物的多个对象、由ADV监控系统的安全感知系统生成围绕ADV的多个安全关键对象以及根据从感知系统接收的多个对象和由安全感知系统生成的多个安全关键对象，由安全感知系统生成安全沿着安全驾驶路线的安全关键对象的最终列表。然后，ADV安全监控系统的安全路径系统可以根据安全关键对象的最终列表来确定用于导航ADV的多个安全区域。在实施方式中，该方法还可以包括由ADV安全监控系统的规划监控器从ADV导航系统的规划系统接收用于导航ADV的路线以及将接收的路线与用于导航的多个安全区域进行比较。响应于确定路线不在用于导航的安全区域内，该方法还可以包括生成位于安全区域内的、用于导航的ADV的新路线，并且沿着该新路线导航ADV。在实施方式中，该方法可以替代地或另外地包括由ADV安全监控系统的自动驾驶系统性能监控器接收用于导航ADV的多个安全区域和用于导航ADV的路线以及指示ADV导航系统的控制系统执行以下之一：执行ADV导航系统的多个导航控制输入、限制ADV导航系统的多个导航控制输入中的至少一个、或者执行ADV的故障下操作导航。在实施方式中，ADV的故障下操作导航可以包括将ADV导航到多个安全区域内的位置并停止ADV。

在第三实施方式中，操作自动驾驶车辆(ADV)的计算机实施的方法包括接收ADV的导航系统的多个传感器中的每一个的传感器数据和有效传感器覆盖坐标。每个传感器的有效传感器覆盖坐标至少部分地基于ADV周围的环境条件。该方法还包括从传感器数据中识别安全关键对象的列表。安全关键对象可以包括位于ADV的可驾驶路径内的一个或多个静态对象以及一个或多个动态对象。该方法还可以包括接收由ADV的导航系统中的感知模块感知的对象列表。对于安全关键对象列表中的每个安全关键对象，该方法搜索所接收的由感知模块感知的对象列表以找到安全关键对象。响应于确定在接收到的由感知模块所感知的对象列表内未找到安全关键对象(1220)，该方法执行故障下操作动作以导航ADV。环境条件可包括以下中的一种或多种：白天、黑暗、天气(例如雪、雨、雾)或碎屑(灰尘、风携带的对象、传感器上的污垢等)。在实施方式中，安全关键对象还包括当前位于ADV的可驾驶路径之外的第二区域中并且位于感兴趣的范围(ROI)内使得一个或者一个或多个动态对象可能稍后拦截ADV的可驾驶路径的一个或多个动态对象。动态对象是移动的对象，例如人和汽车，并且静态对象是不移动的对象，例如建筑物、树木、停放的汽车等。该方法还可以包括确定高清晰度(HD)地图内的、包括ADV的当前车辆路径的一个或多个安全可驾驶区域的列表，其中ADV的安全可驾驶路径考虑安全关键对象列表中的一个或多个静态对象和一个或多个动态对象。该方法还可以包括通过进一步考虑当前不在一个或多个安全可驾驶区域中的一个内且可能在以后拦截一个或多个可驾驶区域之一的一个或多个动态对象来细化一个或多个安全可驾驶区域的列表。在实施方式中，该方法可以包括由安全规划监控器从ADV的导航系统的规划模块接收ADV的当前规划轨迹并且确定当前规划轨迹是否位于一个或多个安全可驾驶区域的列表内。如果不位于该列表内，则该方法执行用于导航ADV的故障下操作动作。安全可驾驶区域可以包括路边、停车位或除行车道之外的位置中的一个或多个。

在第四实施方式中，任何上述方法可以由具有至少一个硬件处理器和用可执行指令编程的存储器的处理系统执行，所述可执行指令在由处理系统执行时执行方法的操作。

在第五实施方式中，任何上述方法可以用编程到非暂时性计算机可读介质(例如存储器或储存器)上的可执行指令来实施。当可执行指令由具有至少一个硬件处理器的处理系统执行时，处理系统使得执行方法操作。

图1是示出根据本公开的一个实施方式的自动驾驶车辆网络配置的框图。参考图1，网络配置100包括可以通过网络102通信地联接到一个或多个服务器103至104的自动驾驶车辆101。尽管示出一个自动驾驶车辆，但多个自动驾驶车辆可以通过网络102联接到彼此和/或联接到服务器103至104。网络102可以是任何类型的网络，例如，有线或无线的局域网(LAN)、诸如互联网的广域网(WAN)、蜂窝网络、卫星网络或其组合。服务器103至104可以是任何类型的服务器或服务器群集，诸如，网络或云服务器、应用服务器、后端服务器或其组合。服务器103至104可以是数据分析服务器、内容服务器、交通信息服务器、地图和兴趣点(MPOI)服务器或者位置服务器等。

自动驾驶车辆是指可以被配置成处于自动驾驶模式下的车辆，在所述自动驾驶模式下车辆在极少或没有来自驾驶员的输入的情况下导航通过环境。这种自动驾驶车辆可以包括传感器系统，所述传感器系统具有被配置成检测与车辆运行环境有关的信息的一个或多个传感器。可以基于自动驾驶车辆周围的环境条件动态地配置传感器的有效覆盖范围。环境条件可包括环境是否昏暗(可能限制相机操作)、是否过亮(可能限制相机对比度)、下雪或下雨(可能影响相机或LIDAR范围)、一个或多个传感器上的灰尘或污垢等。所述车辆和其相关联的控制器使用所检测的信息来导航通过所述环境。自动驾驶车辆101可以在手动模式下、在全自动驾驶模式下或者在部分自动驾驶模式下运行。

在一个实施方式中，自动驾驶车辆101包括，但不限于，感知与规划系统110、车辆控制系统111、无线通信系统112、用户接口系统113、信息娱乐系统114和传感器系统115。自动驾驶车辆101还可以包括普通车辆中包括的某些常用部件，诸如：发动机、车轮、方向盘、变速器等，所述部件可以由车辆控制系统111和/或感知与规划系统110使用多种通信信号和/或命令进行控制，该多种通信信号和/或命令例如，加速信号或命令、减速信号或命令、转向信号或命令、制动信号或命令等。

部件110至115可以经由互连件、总线、网络或其组合通信地联接到彼此。例如，部件110至115可以经由控制器局域网(CAN)总线通信地联接到彼此。CAN总线是被设计成允许微控制器和装置在没有主机的应用中与彼此通信的车辆总线标准。它是最初是为汽车内的复用电气布线设计的基于消息的协议，但也用于许多其它环境。

现在参考图2，在一个实施方式中，传感器系统115包括但不限于一个或多个摄像机211、全球定位系统(GPS)单元212、惯性测量单元(IMU)213、雷达单元214以及光探测和测距(LIDAR)单元215。GPS系统212可以包括收发器，所述收发器可操作以提供关于自动驾驶车辆的位置的信息。IMU单元213可以基于惯性加速度来感测自动驾驶车辆的位置和定向变化。雷达单元214可以表示利用无线电信号来感测自动驾驶车辆的本地环境内的对象的系统。在一些实施方式中，除感测对象之外，雷达单元214可以另外感测对象的速度和/或前进方向。LIDAR单元215可以使用激光来感测自动驾驶车辆所处环境中的对象。除其它系统部件之外，LIDAR单元215还可以包括一个或多个激光源、激光扫描器以及一个或多个检测器。摄像机211可以包括用来采集自动驾驶车辆周围环境的图像的一个或多个装置。摄像机211可以是静物摄像机和/或视频摄像机。摄像机可以是可机械地移动的，例如，通过将摄像机安装在旋转和/或倾斜平台上。可以基于自动驾驶车辆周围的环境条件动态地配置一个或多个传感器的有效覆盖范围。环境条件可包括环境是否昏暗(可能限制相机操作)、是否过亮(可能限制相机对比度)、下雪或下雨(这可能影响相机或LIDAR范围)、一个或多个传感器上的灰尘或污垢等。

传感器系统115还可以包括其它传感器，诸如：声纳传感器、红外传感器、转向传感器、油门传感器、制动传感器以及音频传感器(例如，麦克风)。音频传感器可以被配置成从自动驾驶车辆周围的环境中采集声音。转向传感器可以被配置成感测方向盘、车辆的车轮或其组合的转向角度。油门传感器和制动传感器分别感测车辆的油门位置和制动位置。在一些情形下，油门传感器和制动传感器可以集成为集成式油门/制动传感器。

在一个实施方式中，车辆控制系统111包括但不限于转向单元201、油门单元202(也被称为加速单元)和制动单元203。转向单元201用来调整车辆的方向或前进方向。油门单元202用来控制电动机或发动机的速度，电动机或发动机的速度进而控制车辆的速度和加速度。制动单元203通过提供摩擦使车辆的车轮或轮胎减速而使车辆减速。应注意，如图2所示的部件可以以硬件、软件或其组合实施。

回到图1，无线通信系统112允许自动驾驶车辆101与诸如装置、传感器、其它车辆等外部系统之间的通信。例如，无线通信系统112可以与一个或多个装置直接无线通信，或者经由通信网络进行无线通信，诸如，通过网络102与服务器103至104通信。无线通信系统112可以使用任何蜂窝通信网络或无线局域网(WLAN)，例如，使用WiFi，以与另一部件或系统通信。无线通信系统112可以例如使用红外链路、蓝牙等与装置(例如，乘客的移动装置、显示装置、车辆101内的扬声器)直接通信。用户接口系统113可以是在车辆101内实施的外围装置的部分，包括例如键盘、触摸屏显示装置、麦克风和扬声器等。

自动驾驶车辆101的功能中的一些或全部可以由感知与规划系统110控制或管理，尤其当在自动驾驶模式下操作时。感知与规划系统110包括必要的硬件(例如，处理器、存储器、存储设备)和软件(例如，操作系统、规划和路线安排程序)，以从传感器系统115、控制系统111、无线通信系统112和/或用户接口系统113接收信息，处理所接收的信息，规划从起始点到目的地点的路线或路径，随后基于规划和控制信息来驾驶车辆101。替代地，感知与规划系统110可以与车辆控制系统111集成在一起。

例如，作为乘客的用户可以例如经由用户接口来指定行程的起始位置和目的地。感知与规划系统110获得行程相关数据。例如，感知与规划系统110可以从MPOI服务器中获得位置和路线信息，所述MPOI服务器可以是服务器103至104的一部分。位置服务器提供位置服务，并且MPOI服务器提供地图服务和某些位置的POI。替代地，此类位置和MPOI信息可以本地高速缓存在感知与规划系统110的永久性存储装置中。

当自动驾驶车辆101沿着路线移动时，感知与规划系统110也可以从交通信息系统或服务器(TIS)获得实时交通信息。应注意，服务器103至104可以由第三方实体进行操作。替代地，服务器103至104的功能可以与感知与规划系统110集成在一起。基于实时交通信息、MPOI信息和位置信息以及由传感器系统115检测或感测的实时本地环境数据(例如，障碍物、对象、附近车辆)，感知与规划系统110可以规划最佳路线并且根据所规划的路线例如经由控制系统111来驾驶车辆101，以安全且高效到达指定目的地。在一个或多个传感器的有效传感器覆盖区域由于自动驾驶车辆周围的环境条件而暂时或以其他方式变得受限制的情况下，可以使用安全系统的一个或多个安全监控器来限制自动驾驶车辆的操作以确保车辆安全。例如，如果GPS系统不可用并且LIDAR系统的有效传感器覆盖区域基于自动驾驶车辆周围的环境而动态地减小，则自动驾驶车辆的定位系统可能无法确定自动驾驶车辆在高清晰度(HD)地图内的位置。在这种情况下，安全监控器可以检测定位能力的损失并执行故障下操作动作以将自动驾驶车辆安全地导航到道路侧面的停靠点。

服务器103可为用于为各种客户端执行数据分析服务的数据分析系统。在一个实施方式中，数据分析系统103包括数据收集器121和机器学习引擎122。数据收集器121从多种车辆(自动驾驶车辆或由人类驾驶员驾驶的常规车辆)收集驾驶统计数据123。驾驶统计数据123包括表示在不同的时间点处由车辆的传感器捕获的所发出的驾驶命令(例如，油门命令、制动命令和转向命令)以及车辆的响应(例如，速度、加速度、减速度、方向)的信息。驾驶统计数据123还可包括描述不同的时间点处的驾驶环境的信息，诸如，例如，路线(包括起点位置和目的地位置)、MPOI、道路状况、天气状况等。

基于驾驶统计数据123，机器学习引擎122针对各种目的生成或训练规则集、算法和/或预测模型124。在一个实施方式中，算法124可以包括使用HD地图和一个或多个传感器的组合来预测可能影响安全车辆导航的某些类型的环境变化。例如，驾驶统计数据可以基于该区域内存在的建筑物指示HD地图内可能丢失GPS定位服务的特定位置或区域。驾驶统计可以进一步指示HD地图中存在实时动态(RTK)系统的位置。驾驶统计数据还可以指示当某些天气条件可能影响有效传感器覆盖区域(例如雪、冰雹或雨水)时的年份的日期或时间。这些和其他驾驶统计数据123可以被上传到服务器103，以供机器学习引擎122处理来生成有效的传感器覆盖模型，该传感器覆盖模型可以帮助自动驾驶车辆的安全监控器预测可能影响自动驾驶车辆的传感器系统且因此可能影响自动驾驶车辆的安全导航的位置、季节和/或条件。

然后可以将算法124上传到ADV上以在自动驾驶期间实时使用。

图3是示出根据一个实施方式的与自动驾驶车辆一起使用的感知与规划系统110的示例的框图。系统300可实施为图1的自动驾驶车辆101的一部分，包括但不限于感知与规划系统110、控制系统111和传感器系统115。参考图3，感知与规划系统110包括但不限于定位模块301、感知模块302、预测模块303、决策模块304、规划模块305、控制模块306、路线制定模块307、安全监控模块308和跛行回家安全监控模块309。

模块301至309中的一些或全部可以以软件、硬件或其组合实施。例如，这些模块可安装在永久性存储装置352中、加载到存储器351中，并且由一个或多个处理器(未示出)执行。应注意，这些模块中的一些或全部可通信地联接到图2的车辆控制系统111的一些或全部模块或者与它们集成在一起。模块301至309中的一些可一起集成为集成模块。

定位模块301确定自动驾驶车辆300的当前位置(例如，利用GPS单元212)并管理与用户的行程或路线相关的任何数据。定位模块301(也被称为地图与路线模块)管理与用户的行程或路线相关的任何数据。用户可以例如经由用户接口登录并且指定行程的开始位置和目的地。定位模块301与自动驾驶车辆300的诸如地图和路线信息311的其它组件通信，以获得行程相关数据。例如，定位模块301可从位置服务器和地图与POI(MPOI)服务器获得位置和路线信息。位置服务器提供位置服务，以及MPOI服务器提供地图服务和某些位置的POI，这些可作为地图和路线信息311的一部分高速缓存。当自动驾驶车辆300沿着路线移动时，定位模块301也可从交通信息系统或服务器获得实时交通信息。

基于由传感器系统115提供的传感器数据和由定位模块301获得的定位信息，感知模块302确定对周围环境的感知。感知信息可以表示普通驾驶员在驾驶员正驾驶的车辆周围将感知到的东西。感知可以包括例如采用对象形式的车道配置、交通灯信号、另一车辆的相对位置、行人、建筑物、人行横道或其它交通相关标志(例如，停止标志、让行标志)等。车道配置包括描述一个或多个车道的信息，诸如例如车道的形状(例如，直线或弯曲)、车道的宽度、道路中的车道数量、单向车道或双向车道、合并车道或分离车道、离开车道等。

感知模块302可以包括计算机视觉系统或计算机视觉系统的功能，以处理并分析由一个或多个摄像机采集的图像，从而识别自动驾驶车辆环境中的对象和/或特征。所述对象可以包括交通信号、道路边界、其它车辆、行人和/或障碍物等。计算机视觉系统可以使用对象识别算法、视频跟踪以及其它计算机视觉技术。在一些实施方式中，计算机视觉系统可以绘制环境地图，跟踪对象，以及估算对象的速度等。感知模块302也可以基于由诸如雷达和/或LIDAR的其它传感器提供的其它传感器数据来检测对象。

针对每个对象，预测模块303预测该对象在此情形下将表现什么。根据一组地图/路线信息311和交通规则312，基于该时间点的感知驾驶环境的感知数据来执行预测。例如，如果对象是处于相反方向的车辆并且当前驾驶环境包括十字路口，则预测模块303将预测车辆是将可能直线向前移动还是进行转弯。如果感知数据表明十字路口没有交通灯，则预测模块303可预测车辆在进入十字路口之前可能需要完全停止。如果感知数据表明车辆当前处于仅左转弯车道或仅右转弯车道，则预测模块303可分别预测车辆将更可能向左转弯或向右转弯。

针对每个对象，决策模块304作出关于如何处置对象的决定。例如，针对特定对象(例如，交叉路线中的另一车辆)以及描述对象的元数据(例如，速度、方向、转弯角度)，决策模块304决定如何与所述对象相遇(例如，超车、让行、停止、超过)。决策模块304可根据诸如交通规则或驾驶规则312的规则集来作出此类决定，所述规则集可存储在永久性存储装置352中。

感知模块302的性能可以依赖于传感器系统115中的一个或多个传感器的性能。传感器性能可能受到自动驾驶车辆周围的环境的影响。例如，相机的性能可能受到过多的阳光或者过度昏暗的影响。LIDAR性能可能受到诸如雪、雨、冰雹或碎屑等颗粒物质的影响。在例如相机或LIDAR系统上堆积的污垢可以减小传感器的有效传感器覆盖区域(其可以以坐标表示)。可以基于自动驾驶车辆周围的环境条件的变化动态地调整有效传感器覆盖区域。安全监控模块308可以包括用于确定和动态调整有效传感器覆盖区域的逻辑。如果安全监控模块308确定有效传感器覆盖范围已经降低太多，则跛行回家安全监控模块309可以采取故障下操作动作来使自动驾驶车辆安全地停止。

路线制定模块307配置成提供从起点到目的地点的一个或多个路线或路径。对于从开始位置到目的地位置的给定行程(例如，从用户接收的)，路线制定模块307获得路线和地图信息311，并且确定从开始位置至到达目的地位置的所有可能的路线或路径。路线制定模块307可以以地形图的形式生成用于其确定的从开始位置至到达目的地位置的路线中的每个的参考线。参考线指的是理想的路线或路径，而不受诸如其他车辆、障碍物或交通状况的其他事物的任何干扰。即，如果道路上不存在其他车辆、行人或障碍物，则ADV应该精确地或紧密地遵循参考线。然后，地形图被提供至决策模块304和/或规划模块305。根据由其它模块提供的其它数据(诸如，来自定位模块301的交通状况、由感知模块302感知的驾驶环境和由预测模块303预测的交通状况)，决策模块304和/或规划模块305检查所有可能的路线以选择和修改最优路线中的一个。用于控制ADV的实际路径或路线可与由路线制定模块307提供的参考线接近不同，这取决于该时间点的特定驾驶环境。

基于针对所感知到的对象中的每个的决定，规划模块305使用由路线制定模块307提供的参考线作为基础来为自动驾驶车辆规划路径或路线以及驾驶参数(例如，距离、速度和/或转弯角度)。即，针对给定的对象，决策模块304决定对该对象做什么，而规划模块305确定如何去做。例如，针对给定的对象，决策模块304可以决定超过所述对象，而规划模块305可以确定在所述对象的左侧还是右侧超过。规划和控制数据由规划模块305生成，包括描述车辆300在下一移动循环(例如，下一路线/路径段)中将如何移动的信息。例如，规划和控制数据可以指示车辆300以30英里每小时(mph)的速度移动10米，随后以25mph的速度变到右侧车道。

基于规划和控制数据，控制模块306根据由规划和控制数据限定的路线或路径通过将适当的命令或信号发送到车辆控制系统111来控制并驾驶自动驾驶车辆。所述规划和控制数据包括足够的信息，以沿着路径或路线在不同的时间点使用适当的车辆设置或驾驶参数(例如，油门、制动和转向命令)将车辆从路线或路径的第一点驾驶到第二点。

在一个实施方式中，在多个规划周期(也被称为行驶周期)(诸如，例如，在每100毫秒(ms)的时间间隔中)中执行规划阶段。针对规划周期或行驶周期中的每一个，将基于规划数据和控制数据发出一个或多个控制命令。即，对于每个100ms，规划模块305规划下一路线段或路径段，例如，包括目标位置和ADV到达目标位置所需的时间。替代地，规划模块305还可指定具体速度、方向和/或转向角等。在一个实施方式中，规划模块305为下一预定时间段(诸如5秒)规划路线段或路径段。对于每个规划周期，规划模块305基于先前周期中规划的目标位置来规划当前周期(例如，接下来的5秒)的目标位置。然后，控制模块306基于当前周期的规划数据和控制数据生成一个或多个控制命令(例如，油门命令、制动命令、转向控制命令)。

应注意，决策模块304和规划模块305可以集成为集成模块。决策模块304/规划模块305可以包括导航系统或导航系统的功能，以确定自动驾驶车辆的驾驶路径。例如，导航系统可以确定用于影响自动驾驶车辆沿着以下路径移动的一系列速度和前进方向：所述路径在使自动驾驶车辆沿着通往最终目的地的基于车行道的路径前进的同时，基本上避开感知到的障碍物。目的地可以根据经由用户接口系统113进行的用户输入来设定。导航系统可以在自动驾驶车辆正在运行的同时动态地更新驾驶路径。导航系统可以将来自GPS系统和一个或多个地图的数据合并，以确定用于自动驾驶车辆的驾驶路径。

参考图4，如下面更充分地描述的，安全监控模块308可以包括定位监控器、传感器性能监控器、安全感知模块、感知监控器、定义安全路径模块、规划监控器和自动驾驶系统性能监控器。即使一个或多个传感器的性能降低，安全监控模块308也可以从上面描述的模块301至307接收信息，以确保自动驾驶车辆沿着安全路径导航。上面的模块301至307沿着由规划模块305确定的路径执行主自动导航。上面的模块301至307依赖于由设计标准规范确定的一个或多个传感器来提供低噪声信号以识别潜在对象，该潜在对象可为或可成为沿着根据交通法规同时最大化自动驾驶车辆中的乘客的舒适度的路线导航自动驾驶车辆的障碍物。当传感器性能可能由于自动驾驶车辆周围的环境变化而暂时下降时，安全监控模块308找到一个或多个安全驾驶区域以导航自动驾驶车辆。由安全监控模块308确定的安全驾驶区域可能符合交通法规或者可能不符合交通法规并且可能无法最大化乘客舒适度。

跛行回家安全监控模块309利用从传感器115、定位模块301、感知模块302和规划模块305以及安全监控模块308内的各种安全监控器接收的信息，以确定由安全监控模块308找到的安全驾驶区域内的安全驾驶路径，以在由安全监控模块308确定的有效传感器覆盖区域的范围内执行故障下操作动作。

图4是示出根据一些实施方式的用于具有安全监控器、安全可驾驶区域确定和有效传感器覆盖确定的故障下操作ADV驾驶系统400的系统的框图。故障下操作ADV驾驶系统400包括主自动驾驶路径(逻辑流程)300、主安全监控路径410和备用跛行回家安全路径420。

主自动驾驶路径300包括传感器115、定位模块301、性能感知模块302、预测模块303、规划模块305和控制模块306。上文参照图2和图3描述了传感器115以及模块301至303、305和306。在此扼要重述，定位模块301参考高清晰度(HD)地图确定自动驾驶车辆的位置。HD地图包含许多静态对象，例如建筑物、树木、交通信号灯或交通标志以及其他静态对象。HD地图与传感器系统115一起可以确定自动驾驶车辆相对于HD地图的位置。性能感知模块302从定位模块301接收ADV的位置，并且还从传感器系统115的传感器接收传感器数据。性能感知模块302(所谓的用于将性能感知与安全感知区分开)可以从传感器数据确定ADV位置周围的一个或多个静态(不移动)和/或动态(移动)对象。预测模块303可以从性能感知模块302接收对象列表以及附加的传感器数据，以确定列表中的哪些对象是动态(移动)对象并且预测对象列表中的每个动态对象可能移动的方向。规划模块305可以从预测模块303接收静态对象和动态对象的列表以及动态对象的预测轨迹。然后，规划模块305根据静态对象和动态对象及其预测轨迹确定路线以导航ADV。规划模块305可以将用于导航的规划路线(轨迹)发送至控制模块306，控制模块306产生用于油门、制动或转向的适当控制信号以沿着路线导航ADV。主自动驾驶路径300根据交通法规和逻辑产生确保乘客舒适性的路线。

主安全监控路径(逻辑流程)410包括对主自动驾驶路径300系统执行各种安全检查的多个监控器。主安全监控路径410包括动态地确定和调整传感器系统115中的传感器的有效传感器覆盖区域的监控器。对于特定传感器，传感器的有效传感器覆盖区域与设计规格覆盖区域不同，并且通常小于设计规格覆盖区域。随着ADV周围的环境条件变化，可以基于环境条件动态调整一个或多个传感器的有效传感器覆盖范围。

主安全监控路径410中的安全监控器包括定位监控器411、传感器性能监控器412、安全感知模块413(与性能感知模块302不同)、感知监控器415、定义安全路径模块416、规划监控器417和自动驾驶系统性能监控器418。

定位监控器411确保全球定位卫星(GPS)系统和可选的实时动态(RTK)系统或从传感器数据(例如，相机、LIDAR和/或RADAR)生成的点云中的任一个正确地将ADV相对于HD地图进行定位。GPS信号可能在城市驾驶中丢失，例如在高建筑物之间或在通过隧道行驶时，或者在卫星定位系统的视线受损的其他时间。RTK系统可以用于增强或替代GPS，或者提高GPS的准确度，但是RTK也可能不可用。在GPS/RTK丢失的情况下，来自LIDAR或RADAR设备的传感器数据的点云(可能由相机数据增强)可以与HD地图结合使用以定位ADV。如果GPS/RTK失效或不可用并且一个或多个传感器(例如，LIDAR、RADAR或相机)的有效传感器覆盖区域(例如，由于环境，诸如下雨或下雪)降低到无法使ADV相对于HD地图定位的程度，则可以激活备用跛行回家系统420以执行故障下操作紧急停车。在ADV无法在HD地图内定位的情况下，定位监控器411可以通知自动驾驶系统性能监控器418和跛行回家监控器428：ADV无法在HD地图内定位。自动驾驶系统性能监控器418和跛行回家监控器428两者均在下文进行描述。

传感器性能监控器412可以接收从HD地图获得的、围绕ADV且位于ADV将导航通过的路线附近或位于该路线上的静态对象的列表。传感器性能监控器412可以基于ADV周围的当前环境条件针对传感器系统115中的每个传感器确定传感器的有效传感器覆盖区域。有效传感器覆盖区域可以与传感器的设计规格传感器覆盖区域不同并且通常小于传感器的设计规格传感器覆盖区域。传感器性能监控器412可以从储存器或存储器检索每个传感器的当前传感器覆盖区域。当前传感器覆盖区域可以是设计规格传感器覆盖区域或基于ADV周围的环境条件动态调整的有效传感器覆盖区域。可以从传感器读取传感器数据。在实施方式中，可以从性能感知模块302接收传感器的传感器数据。对于传感器数据内的每个可辨别的静态对象，可以从传感器数据中提取对象的特征和对象的标识。如果通过将可辨别的静态对象与HD地图中的静态对象相关联而使识别的对象正确地位于HD地图中并且所定位和识别的对象位于传感器的有效传感器覆盖区域之外，则传感器的有效传感器覆盖区域至少可以增加到包括定位和识别的对象的区域。如果传感器数据中的可辨别的静态对象无法正确定位在HD地图内，并且另一传感器将可辨别的静态对象正确定位在HD地图中，并且可辨别的静态对象位于当前传感器的有效传感器覆盖区域内，则当前传感器的有效传感器覆盖区域可以至少减少一定量以不包括可辨别的静态对象。然后可以存储传感器的动态调整的有效传感器覆盖范围以供以后检索和使用。

安全感知模块413可识别ADV周围的感兴趣范围(ROI)内的安全关键对象。安全关键对象是在ADV的规划路线上(例如在ROI中)或规划路线附近的那些静态(非移动)和/或动态(移动)对象。安全关键对象还可以包括在ROI之外但是被预测可能在拦截ADV的规划路线的方向上移动的动态对象。安全感知模块413可以根据从定位监控器411接收的定位数据、从传感器性能监控器412接收的有效传感器覆盖区域信息和HD地图构建安全关键对象列表。安全感知模块413确定安全关键对象的列表，来为确定ADV的安全可驾驶区域进行准备。

感知监控器415可以从安全感知模块413接收安全关键对象的列表。感知监控器415可以制作静态和动态安全关键对象的最终列表，利用该列表可以确定安全可驾驶区域。动态对象可以包括位于ADV路径的感兴趣区域内的移动对象以及位于感兴趣区域之外但是基于动态对象的预测轨迹可能拦截ADV路径的区域的那些动态对象。

定义安全路径模块416可以从感知监控器415接收安全关键对象的最终列表。定义安全路径模块416可以定位ADV周围的、ADV可以用于执行故障下操作动作的区域。ADV的安全可驾驶区域可以包括未由规划模块305(必须遵循交通规则和考虑乘客舒适度)考虑到的附加区域。安全驾驶区域是ADV可以安全导航而与交通规则和乘客舒适度无关的区域。安全可驾驶区域是ADV将避开安全关键对象而与由规划模块305规划的导航路线无关的区域。

规划监控器417可以从规划模块305接收规划的导航路线(轨迹)。规划监控器417还从定义安全路径模块416接收安全可驾驶区域的列表。规划监控器417可以确定规划的导航路线(轨迹)是否落入由定义安全路径模块416确定的安全驾驶区域内。如果规划的轨迹没有落入安全驾驶区域内，则规划监控器417可以向规划模块305发送限制请求，从而警告规划模块305：ADV位于由定义安全路径模块416确定的安全可驾驶区域之外或者ADV将要位于该区域之外。响应于警告和限制请求，规划模块305可以修改ADV的规划轨迹并将修改的轨迹发送至控制模块306。要采取的导航动作的最终仲裁由自动驾驶系统性能监控器418处理。

自动驾驶系统性能监控器418可以接收规划监控器417发布给规划模块305的警告和限制请求，从而通知规划模块305ADV位于由定义安全路径模块416确定的安全可驾驶区域之外或者ADV将要位于该区域之外。自动驾驶系统性能监控器418还可以从定位监控器411接收关于ADV是否能够被定位在(是否位于)HD地图内的指示。自动驾驶系统性能监控器418可以接收由控制模块306生成的用于沿着由规划模块305生成的路线路径导航ADV的控制命令的列表，并且可以响应于来自规划监控器417限制请求而由规划模块305修改控制命令的列表。另外，自动驾驶系统性能监控器418从跛行回家监控器428接收ADV导航系统的健康状态。在下文描述跛行回家监控器428和备用跛行回家系统420的其他模块。根据上述接收的信息，自动驾驶系统性能监控器418确定：(1)是否允许从控制模块306接收的控制命令(油门、制动和转向)传递并执行；(2)是否向控制模块306发送限制请求以修改油门命令、制动命令和转向命令中的一个或多个，使得ADV在安全可驾驶区域内导航；或者(3)是否向跛行回家监控器428发送故障下操作信号。

备用跛行回家安全监控路径(逻辑流程)420可包括传感器性能簿记模块422、跛行回家感知模块423、跛行回家安全路径模块426和跛行回家监控器428。

传感器性能簿记模块422存储传感器系统115中的每个传感器的当前有效覆盖区域(坐标)。传感器性能簿记模块422可以从定位模块301接收车辆定位信息，并存储关于是否能够在HD地图中定位ADV的指示符。传感器性能簿记模块422还可以从传感器性能监控器412接收传感器系统115中的每个传感器的有效传感器覆盖区域信息。传感器性能簿记模块422可以将每个传感器和每个其他传感器的有效传感器覆盖区域相关联以确定整个传感器系统115有效的传感器覆盖映射和功能。传感器性能簿记模块422可以传递或以其他可用的映射(例如，利用指针或引用)将有效传感器覆盖范围映射到跛行回家感知模块423。

跛行回家感知模块423存储(簿记)已经在安全感知模块413中识别的安全关键对象，并且关注与跛行回家、故障下操作路径相关的那些对象。跛行回家感知模块423可以从传感器系统115接收传感器数据。跛行回家感知模块423还可以从传感器性能簿记模块422接收每个传感器的有效传感器覆盖区域和/或所有传感器的有效传感器覆盖地图。跛行回家感知模块423还可以从安全感知模块413接收ADV的感兴趣范围(ROI)内的安全关键对象列表。跛行回家感知模块423还可以将安全关键对象的列表减少至可能与由定义安全路径模块416识别的安全可驾驶区域相关的那些对象。跛行回家感知模块423可以将安全关键对象的最终列表传递给跛行回家安全路径模块426。

跛行回家安全路径模块426存储(簿记)已经在定义安全路径模块416中识别的安全路径，并且关注与跛行回家路径相关的安全关键对象。跛行回家路径从跛行回家感知模块423接收安全关键对象的最终列表。跛行回家安全路径模块426还从规划监控模块417接收安全可驾驶区域的列表。根据所接收的信息，跛行回家安全路径模块426确定可以容易地实现为故障下操作动作的一个或多个跛行回家安全驾驶路径。

跛行回家监控器428确定要采取的跛行回家应急操纵动作(故障下操作)。跛行回家应急操纵动作可以包括以下之一：(1)向自动驾驶系统性能监控器418报告备用跛行回家安全监控路径420的健康状态；(2)前往安全停止位置；或者(3)执行立即停止。备用跛行回家安全监控路径420的健康状态可以包括上述任何存储的数据，包括ADV是否可以在HD地图内定位、由传感器性能簿记模块422存储的每个传感器的有效传感器覆盖区域和/或整体有效传感器覆盖地图、与由跛行回家感知模块423存储的感兴趣区域内的ADV的位置和路线相关的安全关键对象的列表、以及由跛行回家安全路径模块426确定的一个或多个安全可驾驶路径。跛行回家监控器可以从自动驾驶系统性能监控器418接收故障下操作请求。如果跛行回家监控器428接收到故障下操作请求，则跛行回家监控器428可以执行以下逻辑：(1)执行应急操纵；(2)前往安全停止位置；或者(3)执行立即停止ADV。

图5A以框图形式示出了根据一些实施方式的使用高清晰度(HD)地图和传感器确定自动驾驶系统中的有效传感器覆盖区域的方法501。

参考图5A，在操作517中，基于HD地图确定ADV周围的一个或多个对象的列表。在实施方式中，一个或多个对象的列表由ADV感知和规划模块系统110确定并传递给传感器性能监控器412。在实施方式中，一个或多个对象的列表由传感器性能监控器412确定。

在操作521中，基于传感器系统115中的第一传感器的传感器数据确定第一静态物体。第一传感器具有有效的传感器覆盖区域(坐标)。

在操作537中，可以确定第一静态对象是否匹配HD图中的一个或多个对象，并且第一静态对象的位置是否位于第一传感器的有效传感器覆盖坐标之外。如果是，则方法501在操作545处继续，否则方法501在操作575处继续。

在操作545中，增加第一传感器的有效传感器覆盖坐标以包括第一静态对象。

在操作575中，根据第一传感器的增加的有效传感器覆盖坐标，导航ADV以避开第一静态对象。

图5B和图5C以框图形式示出了根据一些实施方式的使用高清晰度(HD)地图和传感器确定自动驾驶系统中的有效传感器覆盖范围的方法500。如上所述，方法500可以由传感器性能监控器412实施。在方法500中，使用HD地图内的静态对象测试当前传感器的有效传感器覆盖范围，并用另一传感器验证当前传感器的有效传感器覆盖范围，以基于ADV和传感器周围环境条件的变化确定是否需要调整当前传感器有效传感器覆盖区域。

现在参考图5B，在操作505中，可以将ADV周围区域的高清晰度(HD)地图加载到存储器中。在实施方式中，HD地图可能已经由定位模块301加载并且可以在不重新加载HD地图的情况下进行参考。

在操作510中，可以加载和更新当前ADV路线。更新可以包括沿着路线更新ADV位置并启动一个或多个传感器的读取。更新还可以包括规划模块305对路线的改变。

在操作515中，在HD地图中搜索沿着ADV路线的静态对象。生成HD地图中的静态对象列表。

在操作520中，如果存储器中尚未存在传感器的当前有效传感器覆盖区域(坐标)，则从存储器加载传感器的当前有效传感器覆盖区域(坐标)。从传感器读取传感器的传感器数据，或者如果已经读取则从存储器加载传感器数据。

在操作525中，确定传感器的传感器数据内是否存在可辨别的静态对象。如果存在，则方法500在操作535处继续，否则方法500在操作565处继续。

在操作530中，从传感器的传感器数据中提取可辨别的静态对象的特征。

参考图5C，在操作535中，确定从传感器数据识别的可辨别的静态对象是否正确地定位从HD地图获得的静态对象列表中的对应的静态对象。如果是，则方法500在操作540处继续，否则方法500在操作550处继续。

在操作540中，确定在传感器数据中识别并且正确地定位在HD图中的可辨别的静态对象是否位于传感器的有效传感器覆盖区域(坐标)之外。如果是，则方法500在操作545处继续，否则方法500在操作565处继续。

在操作545中，将传感器的有效传感器覆盖区域增加(即，移除对传感器覆盖范围的限制)为至少包括在HD地图中正确定位的静态对象的区域。方法500在操作565处继续。

在操作550中，确定另一传感器是否正确地定位在当前传感器数据中识别的、但是在操作535中未正确地定位在HD地图内的静态对象。如果另一传感器正确地定位在当前传感器数据中识别的、但是未正确地定位在HD地图内的静态对象，则方法500在操作555处继续，否则方法500在操作565处继续。

在操作555中，确定由当前传感器识别但未正确定位在HD图内的静态对象是否在当前传感器的有效覆盖区域内。如果是，则方法500在操作560处继续，否则方法500在操作565处继续。

在操作560中，从当前传感器的传感器数据中提取的可辨别的静态对象未正确地位于HD地图内，另一传感器已经证实静态对象位于HD地图中，并且静态对象位于当前传感器的有效覆盖区域内部。因此，当前传感器的有效传感器覆盖区域至少减小至这样的区域，该区域不包括在当前传感器的传感器数据中识别但未正确定位在HD图内的静态对象。

在操作565中，可以确定当前ADV路线是否已经改变。如果是，则方法500在图5B的操作510处继续。否则，方法500在操作570处继续。

在操作570中，可以确定是否已经完成ADV路线。如果是，则结束方法500，否则方法500在图5B的操作520处继续。

对于在传感器的传感器数据内找到的附加对象或者对于传感器系统115中的附加传感器，可以可选地重复操作520至操作565。

图6A和图6B以框图形式示出了根据一些实施方式的使用对象跟踪和传感器确定自动驾驶系统中的有效传感器覆盖范围的方法600。方法600可以由传感器性能监控器412实施，以使用跟踪对象和多个传感器来验证传感器的有效传感器覆盖区域(坐标)。

参考图6A，在操作605中，可以从存储器加载或者从感知模块302接收跟踪对象的列表和待定对象的列表两者。在实施方式中，可以更新跟踪对象的列表，例如，通过分析最近读取的一个或多个传感器的传感器数据来更新跟踪对象的位置。跟踪对象是已被识别的对象，并且每个跟踪对象位置已被验证。对象可以是静态的(不移动的)或动态的(移动的)。当ADV沿路线导航时，对象可能是ADV的实际或潜在的障碍物。待定对象是尚未验证其标识和/或位置的对象。

在操作610中，可以从存储器加载或获取传感器的传感器覆盖区域。传感器的传感器覆盖区域是传感器在设计条件下应能够准确感知的区域。例如，LIDAR系统在设计条件下可具有360°和100-150米(m)的覆盖区域。在现实世界的环境中，可能存在雪、雨、冰雹、碎屑或可能阻碍传感器的传感器覆盖区域的其他对象。然而，传感器可能不会因传感器在其中操作的环境条件而完全失能。例如，对于LIDAR系统，在不太理想的条件下，有效覆盖区域可能仍为360°，但范围可能被限制在70米的可靠精度。因此，由于ADV周围的环境条件，有效传感器覆盖区域可能小于设计规格传感器覆盖区域。设计规格传感器覆盖区域可以被存储为基线传感器覆盖区域。

在操作615中，可以从存储器加载或获取有效传感器覆盖区域。如上所述，可以基于ADV周围的环境条件的变化而动态地改变有效传感器覆盖区域。例如，相机的有效传感器覆盖区域在夜间可能由于昏暗而显著减小，或者在明亮的白天可能由于眩光和对比度的缺失而显著减小。然而，传感器本身没有物理或电气故障。对于传感器来说，仅仅是因为传感器的环境不太理想。

在操作620中，可以确定当前传感器覆盖区域内是否存在任何跟踪对象。当前传感器覆盖坐标可以是设计覆盖区域或有效传感器覆盖区域，其中，有效传感器覆盖区域由于环境条件而先前受限于设计传感器覆盖区域。如果在当前传感器覆盖区域内存在跟踪对象，则方法600在操作625处继续，否则方法600在操作605处继续。

在操作625中，从传感器的传感器数据中提取当前传感器覆盖区域内的跟踪对象的特征。

参考图6B，在操作630至操作650中，跟踪对象被用于响应于传感器是否在HD地图中正确地定位跟踪对象而动态地调整传感器的有效传感器覆盖区域。

在操作630中，可以使用提取的对象特征来确定跟踪对象是否正确地定位在ADV周围区域的HD地图内。如果是，则方法600在操作635处继续，否则方法600在操作645处继续。

在操作635中，可以确定跟踪对象是否位于传感器的有效覆盖区域之外。如果是，则方法600在操作640处继续，否则方法600在操作655处继续。

在操作640中，移除对传感器的有效覆盖区域的限制以将其设置回设计规格有效覆盖区域。在实施方式中，有效传感器覆盖区域被设置为至少包括跟踪对象的区域。方法600在操作655处继续。

在操作645中，传感器未将跟踪对象正确地定位在HD地图内。在操作645中，可以确定跟踪对象是否位于传感器的有效覆盖范围内。如果是，则方法600在操作650处继续，否则方法600在操作655处继续。

在操作650中，跟踪对象位于传感器的有效覆盖区域内，并且传感器未将跟踪对象正确地定位在HD地图内。因此，有效传感器覆盖范围减小到至少不包括跟踪对象的区域。

在操作655到675中，使用待定对象和不同传感器来动态调整原始传感器的覆盖区域或者不同的传感器的覆盖区域。

在操作655中，确定是否已经由与当前传感器不同的传感器检测到待定对象(尚未验证位置)。如果是，则方法600在操作660和670处并行继续。在实施方式中，660和670的操作可以以任何顺序依序执行。

在操作660中，可以确定由不同的传感器检测到的待定对象是否位于原始传感器的有效覆盖区域之外。如果是，则方法600在操作665处继续，否则方法600在操作680处继续。

在操作665中，原始传感器的有效传感器覆盖区域可以增加到至少包括待定对象的区域，这是因为原始传感器和不同传感器的组合验证了待定对象的位置。待定对象已经被验证，并且可以被移至跟踪对象的列表中。方法600在操作680处继续。

在操作670中，可以确定由不同传感器检测到的待定对象是否位于不同的传感器的有效覆盖区域之外。如果是，则方法600在操作675处继续，否则方法600在操作680处继续。

在操作675中，待定对象已被不同的传感器检测到，并且待定对象位于不同的传感器的有效传感器覆盖区域之外。不同传感器的有效传感器覆盖区域可以增加为至少包括定位和验证的待定对象。待定对象已经被验证，并且可以被移至跟踪对象的列表中。

在操作680中，可以确定是否完成方法(例程)600。如果没有更多需要验证的待定对象，并且没有要使用对象跟踪验证的更多的传感器，则例程完成。如果例程完成，则方法600结束，否则方法600在图6A的操作605处继续。

图7A和图7B以框图形式示出了根据一些实施方式的使用多个传感器确认来确定自动驾驶系统中的有效传感器覆盖范围的方法700。如上参考图4所述，方法700可以在传感器性能监控器412中实施。

参考图7A，在操作705中，可以从存储器获取或检索一个或多个传感器的有效传感器覆盖区域(坐标)。在传感器性能监控器412中，有效传感器覆盖区域可能已经在上面的方法500或600中的一个或多个中更新。

在操作710中，可以基于一个或多个传感器的有效传感器覆盖区域来生成或更新传感器覆盖区域。

在操作715中，生成或获取与传感器的原始设计传感器覆盖区域相比具有减小的(受限的)有效覆盖区域的传感器列表。分别在方法500和600中使用在HD地图中识别的静态对象和对象跟踪来识别减小有效覆盖区域的限制。

在操作720中，加载或获取待定对象的列表。待定对象是尚未验证其位置的对象。至少部分地由于已经减小(限制)一个或多个传感器的有效传感器覆盖区域的环境条件，可能已经部分地但未完全地识别和定位待定对象。许多环境条件可以快速改变(例如昏暗/灯光、下雪/不下雪、下雨/不下雨等)，并且因此，连续动态调整有效传感器覆盖范围可以使得验证待定对象的位置。

在操作725中，可以确定一个或多个传感器中的传感器是否已检测到新对象。如果是，则方法700在操作730处继续，否则方法700在操作750处继续。

在操作730中，可以确定检测到新物体的传感器是否受到限制，使得有效传感器覆盖区域小于设计传感器覆盖区域。如果是，则方法700在操作735处继续，否则方法700在操作745处继续。

在操作735中，可以确定一个或多个传感器中的另一传感器是否确认新检测到的对象。如果是，则方法700在操作745处继续，否则方法700在操作740处继续。

在操作740中，新对象未被一个或多个传感器中的另一传感器确认，并且新对象被添加到待验证的待定对象列表中。方法700在操作760处继续。

在操作745中，新对象已被另一传感器验证(确认)，并且新对象被添加到对象跟踪列表。

参考图7B，在操作750中，可以确定新对象是否位于首先检测到新对象的传感器的有效传感器覆盖区域之外。如果是，则方法700在操作755处继续，否则方法700在方法760处继续。

在操作755中，由传感器检测到的新对象已经由另一传感器验证，并且检测到新对象的传感器具有小于设计传感器覆盖区域的有效传感器覆盖区域限制。在操作755中，可以移除有效传感器覆盖区域限制，使得有效传感器覆盖区域至少增加至包括新对象。

在操作760中，可以确定是否存在任何待确认的待定对象。如果是，则方法700在操作765处继续，否则方法700在操作775处继续。

在操作765中，可以确定另一传感器是否确认待定对象。如果是，则在操作770中，待定对象已经被验证(确认)并且可以被移至跟踪的对象列表。方法700在操作775处继续。

在操作775中，可以是否已经完成确定方法(例程)700。当不存在更多的待验证的待定对象时，方法700完成。如果没有更多的待验证的待定对象，则方法700结束，否则方法700在操作715处继续。

图8A以框图形式示出了根据一些实施方式的安全操作ADV的故障下操作方法801。

在操作802中，根据ADV周围的一个或多个对象，ADV至少部分地基于在高清晰度(HD)地图中定位ADV来确定导航ADV的路线。可以从传感器系统115中的多个传感器确定一个或多个对象。

在操作810中，ADV逻辑可以确定传感器系统115的每个传感器的当前有效传感器覆盖区域。传感器的有效传感器覆盖区域考虑到ADV周围的环境条件可能不是用于传感器的理想操作条件。影响传感器的环境条件可能因传感器类型而异，并且可能包括污垢在传感器上的累积、光线过强或光线不足、以及诸如下雪、下雨、冰雹或对理想的传感器功能有损的其他天气。

在操作820中，ADV逻辑可以确定一个或多个安全可驾驶区域，其中，ADV可以使用该安全可驾驶区域在由于ADV周围的环境条件而引起的一个或多个传感器受损的情况下安全地导航ADV。安全可驾驶区域可以至少部分地基于路线和ADV中的多个传感器中的每个传感器的有效传感器覆盖区域。在安全可驾驶区域内导航可能不符合交通法规，并且可能无法最大限度地提高驾驶员的舒适度，但是将提供使ADV安全导航至停车。

在操作827中，响应于来自ADV导航系统的多个导航控制输入，ADV可以监控多个传感器中的每个传感器的有效传感器覆盖区域，同时ADV沿着路线导航。

在操作847中，基于监控多个传感器中的每个传感器的有效传感器覆盖区域，ADV逻辑可以响应于确定需要安全动作来修改多个导航控制输入中的一个或多个。

图8B以框图形式示出了根据一些实施方式的安全操作ADV的故障下操作方法800。在正常操作期间，感知和规划系统根据规划的路线导航ADV。在该故障下操作方法800中，将确定传感器性能是否已经例如由于ADV周围的环境条件而受损，和/或是否无法在HD地图内定位ADV，使得仅必须在安全区域内导航，而不一定根据感知和规划模块的规划路线来导航。方法800的许多操作涉及以上参考图3和4描述的主自动驾驶路径300或主安全监控路径410的功能块。

在操作805中，定位监控器411可以加载或获取HD地图并从传感器系统115的多个传感器读取或获取传感器数据。定位监控器411可以确定ADV是否能够定位在HD地图内。

在操作810中，传感器性能监控器412可以确定传感器系统115的每个传感器的当前有效传感器覆盖区域。传感器的有效传感器覆盖区域考虑到ADV周围的环境条件可能不是用于传感器的理想操作条件。影响传感器的环境条件可能因传感器类型而异，并且可能包括污垢在传感器上的累积、光线过强或光线不足、以及诸如下雪、下雨、冰雹或对理想的传感器功能有损的其他天气。

在操作815中，安全感知模块413和感知监控器415可以监控感知模块302的性能。安全感知模块413可以识别ADV的感兴趣区域(ROI)内的安全关键对象。感知监控器415可以确定ADV必须考虑的安全关键静态和动态对象的最终列表以安全地导航ADV。安全关键对象的列表可以包括在ADV的安全可驾驶区域中出现的对象，ADV的安全可驾驶区域可以是除了ADV规划模块305打算用作可驾驶区域的区域之外的区域。安全可驾驶区域可包括ADV可能会在紧急情况下靠边停车和停止的停车场或路肩区域。

在操作820中，驾驶安全路径模块416可以确定ADV可在由于ADV周围的环境条件而导致的一个或多个传感器受损的情况下使用以安全地导航ADV的一个或多个安全可驾驶区域。在安全可驾驶区域内导航可能不符合交通法规，并且可能无法最大限度地提高驾驶员的舒适度，但是将提供使ADV安全导航至停车。

在操作825中，规划监控器417可以从规划模块305接收规划的ADV轨迹(路线)，并且从定义安全路径模块416接收安全驾驶区域的列表。规划监控器417可以确保规划的ADV轨迹保持在通过定义安全路径模块416确定的安全可驾驶区域内。

在操作830中，如果规划监控器417确定车辆不遵循安全可驾驶区域，则自动驾驶系统性能监控器418可以确定是否需要监控动作。监控动作包括：(1)无动作：允许由规划模块305规划的路线继续进行(传递并执行控制命令)；(2)请求控制模块306限制或修改用于ADV路线导航的一个或多个控制命令(速度、制动、油门)；或者(3)确定需要采取故障下操作动作。如果需要故障下操作，则方法800在操作840处继续，否则方法800在操作845处继续。

在操作840中，自动驾驶系统性能监控器418已确定需要故障下操作动作。自动驾驶系统性能监控器418指示跛行回家监控器428前进到可驾驶区域内的安全停止位置并使ADV停止，或者仅停止ADV。方法800在操作850处继续。

在操作845中，已经确定不需要故障下操作动作。自动驾驶系统性能监控器418请求控制模块306修改/限制一个或多个控制命令(油门、转向、制动)以确保ADV在安全可驾驶区域内导航。

在操作850中，可以确定方法(例程)800是否已经完成。当ADV已经到达原始ADV路线中的目的地、将车辆性能限制在安全可驾驶区域(在不需要故障下操作动作的监控动作的情况下)或者完全执行故障下操作动作时，例程完成。如果例程未完成，则方法800在操作805处继续，否则方法800结束。

图9以框图形式示出了根据一些实施方式的用于安全操作ADV的“跛行回家”感知方法900。

在操作905中，可以加载或获取高清晰度(HD)地图。定位模块301和/或定位监控器411都可以访问HD地图并且可以共享对HD地图的引用以加载或获取地图。

在操作910中，可以确定ADV有效传感器覆盖区域信息是否可用。传感器系统115中的所有ADV传感器的有效传感器覆盖区域信息通常是可用的，除非在一个或多个传感器中存在某种类型的故障，其妨碍了获得该传感器的传感器数据。响应于确定一个或多个传感器的有效传感器覆盖区域是可用的，则在操作915中，从ADV的传感器性能监控器412或者储存器或存储器加载或获取一个或多个传感器的有效传感器覆盖区域。

在操作920中，可以确定是否可从主安全监控路径410、安全感知模块413获得安全关键对象的列表。安全感知模块413识别ADV的兴趣范围内的、可能影响ADV的安全驾驶区域的安全关键对象的列表。如果可从主安全监控路径410获得安全关键对象的列表，则在操作925中，从存储器加载或获取来自安全感知模块413的安全关键对象列表。以上参考图4描述了安全感知模块413。

在操作930中，跛行回家感知模块423可以接收并存储从安全感知模块413接收的安全关键静态和动态对象的列表。动态对象可以包括位于ADV路径的感兴趣区域内的移动对象，以及那些在感兴趣区域之外但基于动态对象的预测轨迹可能阻断感兴趣区域的动态对象。跛行回家感知模块可以识别所接收的静态和动态对象列表内的、与跛行回家路径最相关的对象。跛行回家路径是到可以停止ADV的安全可驾驶区域的路径。如果没有这样安全的可驾驶区域，则ADV只能够停止而不是继续不安全的行驶。

在操作935中，可以确定是否完成方法900。如果是，则方法900结束，否则方法900在操作905处继续。实际上，方法900是安全监控器的备用系统，安全监控器是主安全监控器410的活动部分，并且因此连续操作。在实施方式中，每当(1)定位监控器411指示车辆无法被定位或(2)每当传感器性能模块412指示传感器的有效传感器覆盖区域受到限制时，就可以调用方法900。

图10以表格形式示出了具有变化的有效覆盖范围的传感器的组合如何可用于导航ADV。为简单起见，该表使用有效覆盖区域的三种状态(良好、一般和差)示出。良好可以解释为处于传感器的设计规格覆盖区域处或接近传感器的设计规格覆盖区域。一般可以被解释为在某种程度上受到限制，但仍然可以使用。差可以被解释为非常受限。有效覆盖范围是由于环境条件而不是由于部件故障而受到限制。实际上，有效传感器覆盖范围是响应于不断变化的环境条件而动态调整的，并且很少响应于静态条件而动态调整。例如，传感器可能在阴影或隧道中经历黑暗，从而限制其有效传感器覆盖区域，并且当ADV离开隧道时，传感器有效覆盖区域将动态增加。表1000表示从多个传感器(包括相机、雷达和LIDAR)确定的多个特征1010至1045。即使每个单独的传感器可能未在设计规格传感器覆盖区域下操作，这些传感器的组合“相机+雷达+LIDAR”仍可以检测到特征1010至1045。

项1010表示“对象检测”的特征。对象检测是组合传感器检测对象存在的能力。在项1010的示例中，由于ADV周围的环境条件，有效相机覆盖区域和有效雷达覆盖区域已经下降至“一般”。然而，LIDAR覆盖范围仍然良好。使用LIDAR且可选地结合HD地图，可以检测到对象。因此，相机+雷达+LIDAR的组合可以具有良好的对象检测1010。

项1015表示“对象分类”的特征。对象分类可以是例如检测交通灯的颜色。利用良好的相机有效覆盖区域、差的雷达有效覆盖区域和一般的LIDAR有效覆盖区域，传感器的组合可以对检测到的对象进行分类。

类似地，在项1020和项1025中，具有良好有效覆盖区域的雷达或LIDAR中的一个和具有一般有效覆盖区域的相机或LIDAR足以估计距离和速度。

项1030表示可以利用具有良好的有效传感器覆盖区域的雷达以及具有一般的有效传感器覆盖区域的相机和/或LIDAR中的一个或两者执行的可见范围。

项1035表示可以利用仅具有良好的有效传感器覆盖区域的相机以及具有差的有效传感器覆盖区域的雷达和LIDAR两者执行的车道跟踪。

项1040表示即使相机有效传感器覆盖区域差且LIDAR有效传感器覆盖范围一般，组合传感器功能在恶劣天气中仍然可以是良好的。

项1045表示即使相机有效传感器覆盖范围一般并且LIDAR和雷达有效传感器覆盖区域良好，组合传感器功能在不良照明中仍然可以是良好的。

图11以框图形式示出了根据一些实施方式的对ADV执行安全感知的方法1100。

在操作1105中，定位监控器411可以加载或获取用于定位ADV的高清晰度(HD)地图。定位监控器411确保定位功能正常工作并且可以确定ADV相对于HD地图的位置。传感器性能监控器412可以加载和更新传感器系统115中的多个传感器中的每一个的有效传感器覆盖区域。有效传感器覆盖区域表示一个或多个传感器的、基于ADV周围的环境条件的功能降低。安全感知模块413可以从规划模块305接收规划的ADV导航路线。

在操作1110中，传感器性能监控器412可以从传感器加载和更新有效传感器覆盖区域内的(例如，来自性能感知模块302的)传感器数据。传感器性能监控器412可以从储存器或存储器获取和加载每个传感器的存储的有效传感器覆盖区域信息。因此，加载和更新传感器数据可以包括将加载的传感器数据的量限制到仅针对每个传感器的有效传感器覆盖区域内的传感器数据。

在操作1115中，定义两个区域，以用于识别关于沿着规划路线的感兴趣范围和每个传感器的有效传感器覆盖区域内的安全关键对象。第一区域是ADV沿着在操作1105中从规划模块305检索的路线或路径导航的区域。分析传感器数据以确定ADV可能沿着路线拦截的静态对象(非移动)和动态(移动)对象两者。第二区域位于第一区域之外，但在相对于第一区域的感兴趣区域内。在第二区域中，将分析来自ADV路线的感兴趣区域内的传感器数据和每个传感器的有效覆盖区域内的传感器数据，以确定可能沿着规划的路径拦截ADV的动态(移动)对象。感兴趣区域包括除第一区域之外的区域，并且可以由定义安全路径模块416用来定位安全可驾驶区域。

在操作1120中，如在操作1115中所描述的，在两个定义的区域内执行安全感知。结果是第一区域中的安全关键动态和静态对象的列表以及第二区域中的安全关键动态对象的列表。安全关键对象是ADV可能拦截的那些对象。

在操作1125中，可以确定是否完成方法(例程)1100。如果是，则方法1100结束，否则方法1100在操作1105处继续。实际上，方法1100是安全监控器，其是主安全监控器410的活动部分并且可以连续操作。在实施方式中，每当(1)定位监控器411指示车辆无法被定位时或者(2)每当传感器性能模块412指示传感器的有效传感器覆盖区域受到限制时，就可以调用方法1100。

图12A以框图形式示出了根据一些实施方式的执行ADV的安全监控的方法1201。方法1201可以在上面参考图4描述的感知监控器415中实施。

在操作1202中，ADV逻辑可以基于从ADV的一个或多个传感器获得的传感器数据生成一个或多个安全关键对象的列表。安全关键对象可以包括位于与ADV的可驾驶路径的至少一部分重叠的第一区域中的一个或多个静态对象和一个或多个动态对象。

在操作1203中，考虑到ADV周围的环境条件，ADV逻辑可以识别基于从ADV的传感器获得的传感器数据感知的一个或多个对象的列表。

在操作1210中，对于每个安全关键对象，在操作1215中，可以通过搜索对象列表来寻找安全关键对象以确定安全关键对象是否在一个或多个对象的列表中。如果在一个或多个对象的列表中未找到安全关键对象，则在操作1220中，ADV可以执行故障下操作动作以导航ADV。

在操作1225中，可以确定是否存在要在一个或多个对象的列表中搜索的更多安全关键对象。如果存在，则方法1200在操作1210处继续，否则方法1200在操作1230处继续。

在操作1230中，可以确定是否完成方法(例程)1201。在实际中，方法1201是安全监控器，其是主安全监控器410的活动部分并且连续地操作。在实施方式中，每当(1)定位监控器411指示车辆无法被定位时或者(2)每当传感器性能模块412指示传感器的有效传感器覆盖区域受到限制时，就可以调用方法1201。

图12B以框图形式示出了根据一些实施方式的执行ADV的安全监控的方法1200。方法1200可以在上面参考图4描述的感知监控器415中实施。

在操作1205中，感知监控器415可以接收并加载在上面的方法1100中由安全感知模块413确定的安全关键对象的列表。

在操作1210中，感知监控器415可以接收由性能感知模块302感知的对象列表。从性能感知模块接收的列表中的对象是沿着驾驶路径的感兴趣区域或位于其中的静态对象和动态对象两者。对于安全关键对象列表中的每个安全关键对象，在操作1215中，可以通过搜索性能感知对象来寻找安全关键对象来确定安全关键对象是否在从性能感知模块302接收的对象列表中。如果在来自性能感知模块302的对象列表中未找到安全关键对象，则由规划模块305规划的ADV路线基于不考虑一个或多个安全关键对象的性能感知对象的列表，并且在操作1220中，激活感知故障下操作策略。

在操作1225中，可以确定在从性能感知模块302接收的对象列表中是否存在更多要搜索的安全关键对象。如果存在，则方法1200在操作1210处继续，否则方法1200在操作1230处继续。

在操作1230中，可以确定是否完成方法(例程)1200。在实践中，方法1200是安全监控器，其是主安全监控器410的活动部分并且连续地操作。在实施方式中，每当(1)定位监控器411指示车辆无法被定位时或者(2)每当传感器性能模块412指示传感器的有效传感器覆盖区域受到限制时，就可以调用方法1200。

图13以框图形式示出了根据一些实施方式的定义用于安全操作ADV的安全可驾驶区域的方法1300。安全可驾驶区域包含由规划模块305用来规划ADV的路线所考虑到的区域之外的附加区域。安全可驾驶区域包括ADV可以进行故障下操作应急操纵的区域，例如到道路一侧、出口匝道或停车区域靠边停车。方法1300可以在定义安全路径模块416中实施。

在操作1305中，定位监控器411可以加载或获取用于定位ADV的高清晰度(HD)地图。定位监控器411确保定位功能正常工作并且可以确定ADV相对于HD地图的位置。安全感知模块413可以从规划模块305接收规划的ADV导航路线，其可以被传递到感知监控器415和定义安全路径模块416。定义安全路径模块416可以加载在方法1200中由感知监控器415生成的最终安全关键对象列表。安全关键对象列表包含沿ADV导航路线的静态对象和动态对象以及位于ADV导航路线之外的感兴趣区域内的、可能沿着导航路线拦截ADV的动态对象。

在操作1310中，定义安全路径监控器416可以使用HD地图、HD地图内的ADV位置、当前ADV导航路径以及沿ADV导航路径的静态对象来定义初始安全可驾驶区域。

在操作1315中，通过考虑沿ADV导航路径的动态对象，定义安全路径监控器416可以根据操作1310中的初始安全可驾驶区域细化安全可驾驶区域。

在操作1320中，通过进一步考虑位于ADV导航路径之外但是位于动态对象可能在ADV导航通过该路径时拦截ADV的感兴趣区域内的动态对象，定义安全路径监控器416可以进一步细化来自操作1315的安全可驾驶区域。

在操作1325中，可以确定是否完成方法(例程)1300。如果是，则方法1300结束，否则方法1300在操作1305处继续。实际上，方法1300实现主安全监控器路径410的一部分并且通常将连续操作，使得ADV可以快速响应传感器的变化以采取故障下操作动作。在实施方式中，可以响应于定位监控器411检测到在HD地图内定位ADV的能力的丧失，或者响应于传感器性能监控器412检测到一个或多个传感器中的有效传感器覆盖范围的显着减小来执行方法1300。

应注意，如上文示出和描述的部件中的一些或全部可以在软件、硬件或其组合中实施。例如，此类部件可以实施为安装并存储在永久性存储装置中的软件，所述软件可以通过处理器(未示出)加载在存储器中并在存储器中执行以实施贯穿本申请所述的过程或操作。替代地，此类部件可以实施为编程或嵌入到专用硬件(诸如，集成电路(例如，专用集成电路或ASIC)、数字信号处理器(DSP)或现场可编程门阵列(FPGA))中的可执行代码，所述可执行代码可以经由来自应用的相应驱动程序和/或操作系统来访问。此外，此类部件可以实施为处理器或处理器内核中的特定硬件逻辑，作为可由软件部件通过一个或多个特定指令访问的指令集的一部分。

图14是示出可以与本公开的一个实施方式一起使用的数据处理系统的示例的框图。例如，系统1500可以表示以上所述的执行上述过程或方法中的任一个的任何数据处理系统，例如，如图4中所示的主安全监控路径410和/或备用跛行回家安全监控路径420的功能块中的任一个。系统1500可以包括许多不同的部件。这些部件可以实施为集成电路(IC)、集成电路的部分、分立电子装置或适用于电路板(诸如，计算机系统的主板或插入卡)的其它模块或者实施为以其它方式并入计算机系统的机架内的部件。

还应注意，系统1500旨在示出计算机系统的许多部件的高阶视图。然而，应当理解的是，某些实施方式中可以具有附加的部件，此外，其它实施方式中可以具有所示部件的不同布置。系统1500可以表示台式计算机、膝上型计算机、平板计算机、服务器、移动电话、媒体播放器、个人数字助理(PDA)、智能手表、个人通信器、游戏装置、网络路由器或集线器、无线接入点(AP)或中继器、机顶盒或其组合。此外，虽然仅示出了单个机器或系统，但是术语“机器”或“系统”还应当被理解为包括单独地或共同地执行一个(或多个)指令集以执行本文所讨论的任何一种或多种方法的机器或系统的任何集合。

在一个实施方式中，系统1500包括通过总线或互连件1510连接的处理器1501、存储器1503以及装置1505至1508。处理器1501可以表示其中包括单个处理器内核或多个处理器内核的单个处理器或多个处理器。处理器1501可以表示一个或多个通用处理器，诸如，微处理器、中央处理单元(CPU)等。更具体地，处理器1501可以是复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器、或实施其它指令集的处理器、或实施指令集组合的处理器。处理器1501还可以是一个或多个专用处理器，诸如，专用集成电路(ASIC)、蜂窝或基带处理器、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、网络处理器、图形处理器、通信处理器、加密处理器、协处理器、嵌入式处理器、或者能够处理指令的任何其它类型的逻辑。

处理器1501(其可以是低功率多核处理器套接口，诸如超低电压处理器)可以充当用于与所述系统的各种部件通信的主处理单元和中央集线器。这种处理器可以实施为片上系统(SoC)。处理器1501被配置成执行用于执行本文所讨论的操作和步骤的指令。系统1500还可以包括与可选的图形子系统1504通信的图形接口，图形子系统1504可以包括显示控制器、图形处理器和/或显示装置。

处理器1501可以与存储器1503通信，存储器1503在一个实施方式中可以经由多个存储器装置实施以提供给定量的系统存储。存储器1503可以包括一个或多个易失性存储(或存储器)装置，诸如，随机存取存储器(RAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、静态RAM(SRAM)或者其它类型的存储装置。存储器1503可以存储包括由处理器1501或任何其它装置执行的指令序列的信息。例如，各种操作系统、装置驱动程序、固件(例如，输入输出基本系统或BIOS)和/或应用的可执行代码和/或数据可以加载到存储器1503中并由处理器1501执行。操作系统可以是任何类型的操作系统，例如，机器人操作系统(ROS)、来自

公司的

操作系统、来自苹果公司的

来自

公司的

LINUX、UNIX，或者其它实时或嵌入式操作系统。

系统1500还可以包括IO装置，诸如装置1505至1508，包括网络接口装置1505、可选的输入装置1506，以及其它可选的IO装置1507。网络接口装置1505可以包括无线收发器和/或网络接口卡(NIC)。所述无线收发器可以是WiFi收发器、红外收发器、蓝牙收发器、WiMax收发器、无线蜂窝电话收发器、卫星收发器(例如，全球定位系统(GPS)收发器)或其它射频(RF)收发器或者它们的组合。NIC可以是以太网卡。

输入装置1506可以包括鼠标、触摸板、触敏屏幕(其可以与显示装置1504集成在一起)、指针装置(诸如，手写笔)和/或键盘(例如，物理键盘或作为触敏屏幕的一部分显示的虚拟键盘)。例如，输入装置1506可以包括联接到触摸屏的触摸屏控制器。触摸屏和触摸屏控制器例如可以使用多种触敏技术(包括但不限于电容、电阻、红外和表面声波技术)中的任一种，以及其它接近传感器阵列或用于确定与触摸屏接触的一个或多个点的其它元件来检测其接触和移动或间断。

IO装置1507可以包括音频装置。音频装置可以包括扬声器和/或麦克风，以促进支持语音的功能，诸如语音识别、语音复制、数字记录和/或电话功能。其它IO装置1507还可以包括通用串行总线(USB)端口、并行端口、串行端口、打印机、网络接口、总线桥(例如，PCI-PCI桥)、传感器(例如，诸如加速度计运动传感器、陀螺仪、磁强计、光传感器、罗盘、接近传感器等)或者它们的组合。装置1507还可以包括成像处理子系统(例如，摄像机)，所述成像处理子系统可以包括用于促进摄像机功能(诸如，记录照片和视频片段)的光学传感器，诸如电荷耦合装置(CCD)或互补金属氧化物半导体(CMOS)光学传感器。某些传感器可以经由传感器集线器(未示出)联接到互连件1510，而诸如键盘或热传感器的其它装置可以根据系统1500的具体配置或设计由嵌入式控制器(未示出)控制。

为了提供对诸如数据、应用、一个或多个操作系统等信息的永久性存储，大容量存储设备(未示出)也可以联接到处理器1501。在各种实施方式中，为了实现更薄且更轻的系统设计并且改进系统响应性，这种大容量存储设备可以经由固态装置(SSD)来实施。然而，在其它实施方式中，大容量存储设备可以主要使用硬盘驱动器(HDD)来实施，其中较小量的SSD存储设备充当SSD高速缓存以在断电事件期间实现上下文状态以及其它此类信息的非易失性存储，从而使得在系统活动重新启动时能够实现快速通电。另外，闪存装置可以例如经由串行外围接口(SPI)联接到处理器1501。这种闪存装置可以提供系统软件的非易失性存储，所述系统软件包括所述系统的BIOS以及其它固件。

存储装置1508可以包括计算机可访问的存储介质1509(也被称为机器可读存储介质或计算机可读介质)，其上存储有体现本文所述的任何一种或多种方法或功能的一个或多个指令集或软件(例如，模块、单元和/或逻辑1528)。处理模块/单元/逻辑1528可以表示上述部件中的任一个，例如，规划模块305、控制模块306、安全监控模块308、跛行回家安全监控模块309、主安全监控路径410或备用跛行回家安全监控路径420。处理模块/单元/逻辑1528还可以在其由数据处理系统1500、存储器1503和处理器1501执行期间完全地或至少部分地驻留在存储器1503内和/或处理器1501内，数据处理系统1500、存储器1503和处理器1501也构成机器可访问的存储介质。处理模块/单元/逻辑1528还可以通过网络经由网络接口装置1505进行传输或接收。

计算机可读存储介质1509也可以用来永久性地存储以上描述的一些软件功能。虽然计算机可读存储介质1509在示例性实施方式中被示为单个介质，但是术语“计算机可读存储介质”应当被认为包括存储所述一个或多个指令集的单个介质或多个介质(例如，集中式或分布式数据库和/或相关联的高速缓存和服务器)。术语“计算机可读存储介质”还应当被认为包括能够存储或编码指令集的任何介质，所述指令集用于由机器执行并且使得所述机器执行本公开的任何一种或多种方法。因此，术语“计算机可读存储介质”应当被认为包括但不限于固态存储器以及光学介质和磁性介质，或者任何其它非暂时性机器可读介质。

本文所述的处理模块/单元/逻辑1528、部件以及其它特征可以实施为分立硬件部件或集成在硬件部件(诸如，ASICS、FPGA、DSP或类似装置)的功能中。此外，处理模块/单元/逻辑1528可以实施为硬件装置内的固件或功能电路。此外，处理模块/单元/逻辑1528可以以硬件装置和软件部件的任何组合来实施。

应注意，虽然系统1500被示出为具有数据处理系统的各种部件，但是并不旨在表示使部件互连的任何特定架构或方式；因为此类细节和本公开的实施方式没有密切关系。还应当认识到，具有更少部件或可能具有更多部件的网络计算机、手持计算机、移动电话、服务器和/或其它数据处理系统也可以与本公开的实施方式一起使用。

前述详细描述中的一些部分已经根据在计算机存储器内对数据位的运算的算法和符号表示而呈现。这些算法描述和表示是数据处理领域中的技术人员所使用的方式，以将他们的工作实质最有效地传达给本领域中的其他技术人员。本文中，算法通常被认为是导致所期望结果的自洽操作序列。这些操作是指需要对物理量进行物理操控的操作。

然而，应当牢记，所有这些和类似的术语均旨在与适当的物理量关联，并且仅仅是应用于这些量的方便标记。除非在以上讨论中以其它方式明确地指出，否则应当了解，在整个说明书中，利用术语(诸如所附权利要求书中所阐述的术语)进行的讨论是指计算机系统或类似电子计算装置的动作和处理，所述计算机系统或电子计算装置操控计算机系统的寄存器和存储器内的表示为物理(电子)量的数据，并将所述数据变换成计算机系统存储器或寄存器或者其它此类信息存储设备、传输或显示装置内类似地表示为物理量的其它数据。

本公开的实施方式还涉及用于执行本文中的操作的设备。这种计算机程序被存储在非暂时性计算机可读介质中。机器可读介质包括用于以机器(例如，计算机)可读的形式存储信息的任何机构。例如，机器可读(例如，计算机可读)介质包括机器(例如，计算机)可读存储介质(例如，只读存储器(“ROM”)、随机存取存储器(“RAM”)、磁盘存储介质、光存储介质、闪存存储器装置)。

前述附图中所描绘的过程或方法可以由处理逻辑来执行，所述处理逻辑包括硬件(例如，电路、专用逻辑等)、软件(例如，体现在非暂时性计算机可读介质上)或两者的组合。尽管所述过程或方法在上文是依据一些顺序操作来描述的，但是应当了解，所述操作中的一些可以按不同的顺序执行。此外，一些操作可以并行地执行而不是顺序地执行。

本公开的实施方式并未参考任何特定的编程语言进行描述。应认识到，可以使用多种编程语言来实施如本文描述的本公开的实施方式的教导。

在以上的说明书中，已经参考本公开的具体示例性实施方式对本发明的实施方式进行了描述。将显而易见的是，在不脱离所附权利要求书中阐述的本发明的更宽泛精神和范围的情况下，可以对本公开作出各种修改。因此，应当在说明性意义而不是限制性意义上来理解本说明书和附图。

Claims (21)

1.一种操作自动驾驶车辆的计算机实施的方法，所述方法包括：

基于从所述自动驾驶车辆的一个或多个传感器获得的传感器数据，生成一个或多个安全关键对象的列表，其中，安全关键对象包括位于第一区域中的一个或多个静态对象和一个或多个动态对象，所述第一区域与所述自动驾驶车辆的可驾驶路径的至少部分重叠；

根据所述自动驾驶车辆周围的环境条件，识别基于从所述自动驾驶车辆的传感器获得的所述传感器数据感知的一个或多个对象的列表；以及

对于所述安全关键对象中的每一个，

搜索所述对象的列表以找到所述安全关键对象，以及

响应于确定在所述对象的列表中未找到所述安全关键对象，执行用于导航所述自动驾驶车辆的故障下操作动作。

2.根据权利要求1所述的方法，其中，环境条件包括以下项中的一种或多种：白天、黑暗、天气或碎屑。

3.根据权利要求1所述的方法，其中，安全关键对象还包括：

当前位于第二区域中的一个或多个动态对象，所述第二区域在所述第一区域之外，且位于由预测为拦截所述自动驾驶车辆在所述第一区域中的所述可驾驶路径的所述一个或多个动态对象中的一个定义的感兴趣范围(ROI)内。

4.根据权利要求3所述的方法，还包括：

确定高清晰度(HD)地图内的、包括所述自动驾驶车辆的当前车辆路径的一个或多个安全可驾驶区域的列表，其中，所述自动驾驶车辆的安全可驾驶路径考虑所述安全关键对象列表中的一个或多个静态对象和一个或多个动态对象。

5.根据权利要求4所述的方法，还包括：

通过进一步考虑当前不在所述一个或多个安全可驾驶区域之内且随后能够拦截所述一个或多个可驾驶区域之一的一个或多个动态对象来进一步细化所述一个或多个安全可驾驶区域的列表。

6.根据权利要求5所述的方法，还包括：

接收所述自动驾驶车辆的当前规划轨迹；

确定所述当前规划轨迹是否在所述一个或多个安全可驾驶区域的列表内；

响应于确定所述当前规划轨迹不在一个或多个安全可驾驶区域的列表内，执行用于导航所述自动驾驶车辆的故障下操作动作。

7.根据权利要求4所述的方法，其中，所述一个或多个安全可驾驶区域包括路边、停车区域或除行车道之外的位置中的一个或多个。

8.一种存储有指令的非暂时性机器可读介质，所述指令在由处理器执行时使所述处理器执行操作以操作自动驾驶车辆(ADV)，所述操作包括：

基于从所述自动驾驶车辆的一个或多个传感器获得的传感器数据生成一个或多个安全关键对象的列表，其中，安全关键对象包括位于第一区域中的一个或多个静态对象和一个或多个动态对象，所述第一区域与所述自动驾驶车辆的可驾驶路径的至少部分重叠；

根据所述自动驾驶车辆周围的环境条件，识别基于从所述自动驾驶车辆的传感器获得的所述传感器数据感知的一个或多个对象的列表；以及

对于所述安全关键对象中的每一个，

搜索所述对象的列表以找到所述安全关键对象，以及

响应于确定在所述对象的列表中未找到所述安全关键对象，执行用于导航所述自动驾驶车辆的故障下操作动作。

9.根据权利要求8所述的介质，其中，环境条件包括以下项中的一种或多种：白天、黑暗、天气或碎屑。

10.根据权利要求8所述的介质，其中，安全关键对象还包括：

当前位于第二区域中的一个或多个动态对象，所述第二区域在所述第一区域之外，且位于由预测为拦截所述自动驾驶车辆在所述第一区域中的所述可驾驶路径的所述一个或多个动态对象中的一个定义的感兴趣范围(ROI)内。

11.根据权利要求10所述的介质，还包括：

确定高清晰度(HD)地图内的、包括所述自动驾驶车辆的当前车辆路径的一个或多个安全可驾驶区域的列表，其中，所述自动驾驶车辆的安全可驾驶路径考虑所述安全关键对象列表中的一个或多个静态对象和一个或多个动态对象。

12.根据权利要求11所述的介质，还包括：

通过进一步考虑当前不在所述一个或多个安全可驾驶区域之内且随后能够拦截所述一个或多个可驾驶区域之一的一个或多个动态对象来进一步细化所述一个或多个安全可驾驶区域的列表。

13.根据权利要求12所述的介质，还包括：

接收所述自动驾驶车辆的当前规划轨迹；

确定所述当前规划轨迹是否在所述一个或多个安全可驾驶区域的列表内；

响应于确定所述当前规划轨迹不在一个或多个安全可驾驶区域的列表内，执行用于导航所述自动驾驶车辆的故障下操作动作。

14.根据权利要求11所述的介质，其中，所述一个或多个安全可驾驶区域包括路边、停车区域或除行车道之外的位置中的一个或多个。

15.一种数据处理系统，包括：

处理器；以及

存储器，联接到所述处理器以存储指令，所述指令在由所述处理器执行时，使所述处理器执行操作以操作自动驾驶车辆(ADV)，所述操作包括：

基于从所述自动驾驶车辆的一个或多个传感器获得的传感器数据生成一个或多个安全关键对象的列表，其中，安全关键对象包括位于第一区域中的一个或多个静态对象和一个或多个动态对象，所述第一区域与所述自动驾驶车辆的可驾驶路径的至少部分重叠；

根据所述自动驾驶车辆周围的环境条件，识别基于从所述自动驾驶车辆的传感器获得的所述传感器数据感知的一个或多个对象的列表；以及

对于所述安全关键对象中的每一个，

搜索所述对象的列表以找到所述安全关键对象，以及

响应于确定在所述对象的列表中未找到所述安全关键对象，执行用于导航所述自动驾驶车辆的故障下操作动作。

16.根据权利要求15所述的系统，其中，环境条件包括以下项中的一种或多种：白天、黑暗、天气或碎屑。

17.根据权利要求15所述的系统，其中，安全关键对象还包括：

当前位于第二区域中的一个或多个动态对象，所述第二区域在所述第一区域之外，且位于由预测为拦截所述自动驾驶车辆在所述第一区域中的所述可驾驶路径的所述一个或多个动态对象中的一个定义的感兴趣范围(ROI)内。

18.根据权利要求17所述的系统，还包括：

确定高清晰度(HD)地图内的、包括所述自动驾驶车辆的当前车辆路径的一个或多个安全可驾驶区域的列表，其中，所述自动驾驶车辆的安全可驾驶路径考虑所述安全关键对象列表中的一个或多个静态对象和一个或多个动态对象。

19.根据权利要求18所述的系统，还包括：

通过进一步考虑当前不在所述一个或多个安全可驾驶区域之内且随后能够拦截所述一个或多个可驾驶区域之一的一个或多个动态对象来进一步细化所述一个或多个安全可驾驶区域的列表。

20.根据权利要求19所述的系统，还包括：

接收所述自动驾驶车辆的当前规划轨迹；

确定所述当前规划轨迹是否在所述一个或多个安全可驾驶区域的列表内；

响应于确定所述当前规划轨迹不在一个或多个安全可驾驶区域的列表内，执行用于导航所述自动驾驶车辆的故障下操作动作。

21.根据权利要求18所述的系统，其中，所述一个或多个安全可驾驶区域包括路边、停车区域或除行车道之外的位置中的一个或多个。

Images