CN111532253A - 用于自动驾驶系统的具有功能安全监视器的故障运行结构 - Google Patents

Abstract

公开了用于响应于可以影响传感器的理想操作的环境条件动态地调整用于辅助导航自主驾驶车辆(ADV)的传感器的有效传感器覆盖坐标的系统和方法。ADV包括导航系统和安全监视器系统，安全监视器系统监视器导航系统的一些或全部，包括监视：传感器的有效传感器覆盖坐标的动态调整和高清晰度地图内的ADV的定位。ADV安全监视器系统还确定ADV周围的安全关键对象，确定安全区域以导航ADV，以及确保ADV仅导航到安全区域。一种自动系统性能监视器，基于ADV安全监视器系统，确定是否通过ADV导航控制命令，限制一个或多个控制命令，或执行故障运行行为。

Description

用于自动驾驶系统的具有功能安全监视器的故障运行结构

技术领域

本公开的实施例一般涉及操作自主车辆。更特别地，本公开的实施例涉及在变化的环境条件下的自主驾驶车辆的安全操作。

背景技术

以自主模式(例如，无人驾驶)操作的车辆可以减轻乘坐者，尤其是驾驶员的一些驾驶相关责任。当在自主模式下操作时，车辆可以使用车载传感器导航到各种位置，从而允许车辆以最小的人机交互或者在没有任何乘客的一些情况下行驶。

自主车辆安全严重依赖于各种传感器，即，相机、雷达、LIDAR(激光雷达)等，以提供数据并动态地感知周围环境。从对象的分类、预测动态对象的轨迹和为车辆规划安全路径，传感器数据的质量可以对自主系统的性能具有直接影响。众所周知，每个传感器具有优点和限制，以及对环境条件的强依赖性，环境条件诸如是白天还是夜晚、下雨、有雾、多尘，或者一个或多个传感器是否被污垢或其它碎屑损害。过去，已经做了工作尝试使用每个传感器的强度。验证和确认通常用于一起改进传感器性能和算法的有效性(这是非常重要的)，但并未以解决动态环境变化对传感器以及感知算法性能的影响的预测方式。现有技术没有提供动态调整有效传感器覆盖以及识别传感器限制以确保至少一个经验证/合格的传感器根据ISO26262(有故障的E/E系统)和ISO21448(SOTIF)-无故障但有限制的E/E系统-监视自主车辆周围的区域的方法。

此外，在汽车工业中已成为共识的是，为了支持SAE级4/5车辆，除了低压电源系统、转向系统、制动系统或网络通信等之外，还需要自动驾驶系统以进行故障运行。自动驾驶系统需要解决随着车辆环境条件变化的传感器和感知算法的系统性能限制，以确保自主车辆安全。一种当前的工业方法是设计两个独立的自动驾驶系统，以便冗余地实现故障运行系统。然而，如果环境条件使得传感器不能实现其完全的规范性能，诸如当下雨或下雪、有亮光、无光、或者车辆在隧道内或在通信和GPS有困难的城市中的建筑物之间时，即使冗余系统也会变得退化。

正确地感知自主驾驶车辆周围的环境并限定安全的可驾驶区域是加速自主技术部署的关键因素。AI/机器学习技术被广泛用于处理传感器数据并提供自主系统“看到”周围环境所需要的内容。但是，AI/机器学习系统是慢的，并且不容易适应影响传感器性能且可以使传感器的有效覆盖小于其技术规范的环境条件的实时变化。

发明内容

在第一方面中，本公开实施例提供一种安全地导航自主驾驶车辆(ADV)的计算机实现的方法，所述方法包括：

鉴于所述ADV周围的一个或多个对象，至少部分地基于在高清晰度(HD)地图中定位所述ADV确定路线以导航所述ADV；

确定所述ADV的多个传感器中的每一个的有效传感器覆盖区域；

至少部分地基于所述路线和所述ADV的所述多个传感器中的每一个的有效传感器覆盖区域限定一个或多个安全可驾驶区域；

响应于来自ADV导航系统的多个导航控制输入而沿着所述路线导航所述ADV的同时，监视传感器中的每一个的有效传感器覆盖区域；以及

响应于基于监视所述有效传感器覆盖区域确定需要安全动作，修改所述多个导航控制输入中的一个或多个。

在第二方面中，本公开实施例提供一种非暂时性机器可读介质，其中存储有指令，当由处理器执行所述指令时，所述指令使得所述处理器执行安全地导航自主驾驶车辆(ADV)的操作，所述操作包括：

鉴于所述ADV周围的一个或多个对象，至少部分地基于在高清晰度(HD)地图中定位所述ADV确定路线以导航所述ADV；

确定所述ADV的多个传感器中的每一个的有效传感器覆盖区域；

至少部分地基于所述路线和所述ADV的所述多个传感器中的每一个的有效传感器覆盖区域限定一个或多个安全可驾驶区域；

响应于来自ADV导航系统的多个导航控制输入而沿着所述路线导航所述ADV的同时，监视传感器中的每一个的有效传感器覆盖区域；以及

响应于基于监视所述有效传感器覆盖区域确定需要安全动作，修改所述多个导航控制输入中的一个或多个。

在第三方面中，本公开实施例提供一种数据处理系统，包括：

处理器；以及

连接到所述处理器以存储指令的存储器，所述指令在由所述处理器执行时使得所述处理器执行安全地导航自主驾驶车辆(ADV)的操作，所述操作包括：

鉴于所述ADV周围的一个或多个对象，至少部分地基于在高清晰度(HD)地图中定位所述ADV确定路线以导航所述ADV；

确定所述ADV的多个传感器中的每一个的有效传感器覆盖区域；

至少部分地基于所述路线和所述ADV的所述多个传感器中的每一个的有效传感器覆盖区域限定一个或多个安全可驾驶区域；

响应于来自ADV导航系统的多个导航控制输入而沿着所述路线导航所述ADV的同时，监视所述传感器中的每一个的有效传感器覆盖区域；以及

响应于基于监视所述有效传感器覆盖区域确定需要安全动作，修改所述多个导航控制输入中的一个或多个。

附图说明

本公开的实施例通过示例的方式示出并且不限于附图中的图，在附图中相同的附图标记表示相似的元件。

图1是示出根据一个实施例的联网系统的框图。

图2是示出根据一个实施例的自主车辆的示例的框图。

图3是示出根据一个实施例的与自主车辆一起使用的感知和规划系统的示例的框图。

图4是示出根据一些实施例的具有安全监视器、安全可驾驶区域确定和有效传感器覆盖确定的故障运行ADV驾驶系统的框图。

图5A以框图形式示出根据一些实施例的使用高清晰度(HD)地图和传感器确定自主驾驶系统中的有效传感器覆盖区域的方法。

图5B和5C以框图形式示出根据一些实施例的使用高清晰度(HD)地图和传感器确定自主驾驶系统中的有效传感器覆盖区域的方法。

图6A和6B以框图形式示出根据一些实施例的使用对象跟踪和传感器确定自主驾驶系统中的有效传感器覆盖区域的方法。

图7A和7B以框图形式示出根据一些实施例的使用多传感器确认确定自主驾驶系统中的有效传感器覆盖区域的方法。

图8A以框图形式示出根据一些实施例的安全地操作ADV的故障运行方法。

图8B以框图形式示出根据一些实施例的安全地操作ADV的故障运行方法。

图9以框图的形式示出根据一些实施例的用于安全地操作ADV的“跛行模式”感知方法。

图10以框图形式示出根据一些实施例的ADV传感器系统的优势和劣势的组合。

图11以框图形式示出根据一些实施例的执行用于ADV的安全感知的方法。

图12A以框图形式示出根据一些实施例的执行用于ADV的安全监视的方法。

图12B以框图形式示出根据一些实施例的执行用于ADV的安全监视的方法。

图13以框图形式示出根据一些实施方式的限定用于安全地操作ADV的安全可驾驶区域的方法。

图14是示出根据一个实施例的数据处理系统的框图。

具体实施方式

将参考以下讨论的细节描述本公开的各个实施例和方面，并且附图将示出各个实施例。以下描述和附图是本公开的说明并且不应被解释为限制本公开。描述了许多具体细节以提供对本公开的各种实施例的全面理解。然而，在某些情况下，为了提供对本公开的实施例的简要讨论，没有描述公知或常规的细节。

说明书中对“一个实施例”或“实施例”的引用意味着结合该实施例描述的特别特征、结构或特性可包括在本公开的至少一个实施例中。在说明书中的各个地方出现的短语“在一个实施例中”不一定都指同一实施例。

在第一实施例中，一种动态调整自主驾驶车辆(ADV)中的第一传感器的有效传感器覆盖区域的计算机实现的方法包括：确定ADV关于高清晰度(HD)地图的位置，以及确定ADV将导航以避开的ADV周围的一个或多个对象的列表。一个或多个对象的列表可包括使用来自多个ADV传感器的传感器数据定位一个或多个对象，或维护包括其位置已被验证和跟踪的对象和/或其位置验证待决的对象的一个或多个对象的列表。从第一传感器的第一传感器数据定位和识别第一静态对象。响应于确定由第一传感器定位和识别的经识别的第一静态对象与HD地图中的一个或多个对象中的一个匹配，并且响应于确定第一静态对象位于第一传感器的有效传感器覆盖坐标之外，增加第一传感器的有效传感器覆盖坐标以包括第一静态对象的位置。响应于确定由第一传感器检测到的第一静态对象与HD地图中的一个或多个对象中的任何一个对象不匹配：第一静态对象可以从第二传感器的第二传感器数据中定位和识别。响应于确定从第二传感器数据定位和识别的第一静态对象位于第一传感器的有效传感器覆盖坐标内，可以减少第一传感器的传感器有效覆盖坐标以排除第一静态对象的位置。在实施例中，增加第一传感器的有效传感器覆盖坐标以包括第一静态对象的位置可包括将有效覆盖坐标设置为用于第一传感器的有效传感器覆盖坐标的默认设置，诸如工厂默认传感器覆盖。在实施例中，第一传感器可以是相机、LIDAR传感器或雷达系统。在实施例中，第一传感器的经动态调整的有效传感器覆盖坐标与第一传感器相关联地存储在存储器中。然后，在确定第一静态对象位于第一传感器的有效传感器覆盖坐标之外之前，可以从存储器中检索第一传感器的有效传感器覆盖坐标。可以导航ADV以避开ADV周围的一个或多个对象的列表中的对象。

在第二实施例中，一种安全地导航自主驾驶车辆(ADV)的计算机实现的方法包括：由ADV导航系统确定导航ADV的路线，该路线至少部分地基于在高清晰度(HD)地图中定位ADV，以及确定ADV周围的多个对象的位置和轨迹。响应于来自ADV导航系统的多个导航控制输入，例如转向、制动和油门输入，沿着路线导航ADV。响应于独立于ADV导航系统的ADV安全监视器系统的一个或多个安全监视器，修改多个导航控制输入中的一个或多个。修改多个导航控制输入中的一个或多个可包括：由ADV安全监视器系统的定位安全监视器确定ADV导航系统的定位系统未能在HD地图内正确地定位ADV，以及修改一个或多个控制输入以停止ADV。在实施例中，修改多个导航控制输入中的一个或多个可包括：由ADV安全监视器系统的传感器性能监视器确定ADV导航系统的感知系统中的传感器的有效传感器覆盖区域对于ADV的当前速度来说太小，以及减少多个导航控制输入中的油门输入和/或增加多个导航控制输入中的制动输入以减小ADV的当前速度。方法还可包括：由ADV安全监视器系统的感知监视器从ADV导航系统的感知系统接收沿着路线的表示对ADV的障碍的多个对象；由ADV监视器系统的安全感知系统生成围绕ADV的多个安全关键对象；以及由安全感知系统从接收自感知系统的多个对象和由安全感知系统生成的多个安全关键对象生成沿着安全驾驶路线的安全关键对象的最终列表。然后，ADV安全监视器系统的安全路径系统可以考虑安全关键对象的最终列表而确定多个安全区域以导航ADV。在实施例中，方法还可包括由ADV安全监视器系统的规划监视器从ADV导航系统的规划系统接收导航ADV的路线，以及将接收的路线与多个待导航的安全区域进行比较。响应于确定路线不位于待导航的安全区域内，方法还可包括：生成位于安全区域内的为ADV进行导航的新路线，以及沿着新路线对ADV进行导航。在实施例中，方法可以可替换地或额外地包括：由ADV安全监视器系统的自动系统性能监视器接收多个导航ADV的安全区域和导航ADV的路线，以及指示ADV导航的控制系统执行以下操作中的一个：执行ADV导航系统的多个导航控制输入，限制ADV导航系统的多个导航控制输入中的至少一个，或者执行ADV的故障运行导航。在实施例中，ADV的故障运行导航可包括将ADV导航到多个安全区域内的位置以及停止ADV。

在第三实施例中，一种操作自主驾驶车辆(ADV)的计算机实现的方法包括：对于ADV的导航系统的多个传感器中的每一个，接收传感器数据和有效传感器覆盖坐标。用于每个传感器的有效传感器覆盖坐标至少部分地基于ADV周围的环境条件。方法还包括从传感器数据识别安全关键对象的列表。安全关键对象可包括位于ADV的可驾驶路径内的一个或多个静态对象和一个或多个动态对象。方法还可包括接收由ADV的导航系统中的感知模块感知的对象的列表。对于安全关键对象的列表中的每个安全关键对象，方法搜索接收到的由感知模块感知的对象的列表以找到安全关键对象。响应于确定在接收到的由感知模块感知的对象的列表中没有找到安全关键对象(1220)，方法执行故障运行动作以导航ADV。环境条件可包括日光、黑暗、天气(例如，雪、雨、雾)或碎片(灰尘、风携带的对象、传感器上的污垢等)中的一个或多个。在实施例中，安全关键对象还包括一个或多个动态对象，一个或多个动态对象当前位于第二区域中、在ADV的可驾驶路径之外、并且位于感兴趣范围(ROI)之内，从而一个或多个动态对象稍后可以拦截ADV的可驾驶路径。动态对象是正在移动的对象，诸如人和汽车，而静态对象是不在移动的对象，诸如建筑物、树、停放的汽车等。方法还可包括：确定包括用于ADV的当前车辆路径的高清晰度(HD)地图内的一个或多个安全可驾驶区域的列表，其中用于ADV的安全可驾驶路径考虑安全关键列表中的一个或多个静态对象和一个或多个动态对象。方法还可包括：通过进一步考虑当前不在一个或多个安全可驾驶区域中的一个可驾驶区域内的一个或多个动态对象并且一个或多个动态对象可以稍后拦截一个或多个可驾驶区域中的一个可驾驶区域，精炼一个或多个安全可驾驶区域的列表。在实施例中，方法可包括：由安全规划监视器从ADV的导航系统的规划模块接收用于ADV的当前规划轨迹，以及确定当前规划轨迹是否在一个或多个安全可驾驶区域的列表内。如果不是，则方法执行故障运行动作以导航ADV。安全可驾驶区域可包括路边、停车位或并非行驶车道的位置中的一个或多个。

在第四实施例中，上述方法中的任一个可以由具有至少一个硬件处理器和用可执行指令编程的存储器的处理系统执行，当可执行指令由处理系统执行时，执行方法的操作。

在第五实施例中，上述方法中的任一个可以使用编程到诸如存储器或存储装置的非瞬态计算机可读介质上的可执行指令实现。当可执行指令由具有至少一个硬件处理器的处理系统执行时，处理系统使得所述方法操作被执行。

图1是示出根据本公开的一个实施例的自主车辆网络配置的框图。参考图1，网络配置100包括自主车辆101，自主车辆101可以通过网络102通信地连接到一个或多个服务器103-104。尽管示出一个自主车辆，但是多个自主车辆可以通过网络102彼此连接和/或连接到服务器103-104。网络102可以是任何类型的网络，诸如局域网(LAN)、诸如因特网的广域网(WAN)、蜂窝网络、卫星网络、或其组合，有线或无线。服务器103-104可以是任何类型的服务器或服务器群集，诸如Web或云服务器、应用服务器、后端服务器或其组合。服务器103-104可以是数据分析服务器、内容服务器、交通信息服务器、地图和兴趣点(MPOI)服务器或位置服务器等。

自主车辆指的是能够被配置为处于自主模式的车辆，在自主模式中，车辆在驾驶员很少或没有输入的情况下导航通过环境。这种自主车辆可包括具有一个或多个传感器的传感器系统，传感器被配置为检测关于车辆操作的环境的信息。传感器的有效覆盖范围可以基于自主车辆周围的环境条件而被动态地配置。环境条件可包括：环境是否黑暗(可限制相机操作)、过度明亮(可限制相机对比度)、下雪或下雨(其可影响相机或LIDAR范围)、一个或多个传感器上的灰尘或污垢等。车辆及其相关联的控制器使用检测的信息导航通过环境。自主车辆101可以以手动模式、全自主模式或部分自主模式操作。

在一个实施例中，自主车辆101包括但不限于感知和规划系统110、车辆控制系统111、无线通信系统112、用户接口系统113、信息娱乐系统114和传感器系统115。自主车辆101还可包括在普通车辆中包括的某些常见组件，例如引擎、车轮、转向盘、变速器等，这些组件可以被车辆控制系统111和/或感知和规划系统110使用各种通信信号和/或命令(例如加速信号或命令、减速信号或命令、转向信号或命令、制动信号或命令等)控制。

组件110-115可以经由互连、总线、网络或其组合彼此通信地连接。例如，组件110-115可以经由控制器局域网(CAN)总线彼此通信地连接。CAN总线是一种车辆总线标准，其被设计为允许微控制器和设备在没有主机的应用中彼此通信。它是基于消息的协议，最初被设计用于汽车内的多路电线，但是也用于许多其它环境中。

现在参考图2，在一个实施例中，传感器系统115包括但不限于一个或多个相机211、全球定位系统(GPS)单元212、惯性测量单元(IMU)213、雷达单元214以及光检测和范围(LIDAR)单元215。GPS系统212可包括可操作以提供关于自主车辆的位置的信息的收发器。IMU单元213可基于惯性加速度感测自主车辆的位置和方向变化。雷达单元214可以表示使用无线电信号感测自主车辆的局部环境内的对象的系统。在一些实施例中，除了感测对象之外，雷达单元214可以额外地感测对象的速度和/或航向。LIDAR单元215可以使用激光感测自主车辆所处的环境中的对象。LIDAR单元215可包括一个或多个激光源、激光扫描器以及一个或多个检测器，以及其他系统组件。相机211可包括一个或多个设备以捕获自主车辆周围的环境的图像。相机211可以是静态相机和/或摄影机。相机可以是机械可移动的，例如通过将相机安装在旋转和/或倾斜的平台上。一个或多个传感器的有效覆盖范围可以基于自主车辆周围的环境条件而被动态地配置。环境条件可包括：环境是否黑暗(可限制相机操作)、过度明亮(可限制相机对比度)、下雪或下雨(其可影响相机或LIDAR范围)、一个或多个传感器上的灰尘或污垢等。

传感器系统115还可包括其它传感器，诸如声纳传感器、红外传感器、转向传感器、油门传感器、制动传感器和音频传感器(例如麦克风)。音频传感器可以被配置为捕获来自自主车辆周围的环境的声音。转向传感器可以被配置为感测转向盘、车辆的车轮或其组合的转向角。油门传感器和制动传感器分别感测车辆的油门位置和制动位置。在一些情况下，油门传感器和制动传感器可以集成为集成的油门/制动传感器。

在一个实施例中，车辆控制系统111包括但不限于转向单元201、油门单元202(也称为加速单元)和制动单元203。转向单元201用于调节车辆的方向或航向。油门单元202用于控制电动机或引擎的速度，电动机或引擎的速度又控制车辆的速度和加速度。制动单元203通过提供摩擦力以使车辆的车轮或轮胎变慢来使车辆减速。注意，图2所示的组件可以以硬件、软件或其组合实现。

返回参考图1，无线通信系统112允许在自主车辆101和外部系统，诸如设备、传感器、其他车辆等之间的通信。例如，无线通信系统112可以直接或经由通信网络与一个或多个设备无线通信，诸如通过网络102的服务器103-104。无线通信系统112可以使用任何蜂窝通信网络或无线局域网(WLAN)，例如使用WiFi与另一组件或系统通信。无线通信系统112可以例如使用红外链路、蓝牙等直接与设备(例如，乘客的移动设备、显示设备、车辆101内的扬声器)通信。用户接口系统113可以是在车辆101内实现的外围设备的部分，包括例如键盘、触摸屏显示设备、麦克风和扬声器等。

自主车辆101的一些或所有功能可以由感知和规划系统110控制或管理，尤其是当在自主驾驶模式下操作时。感知和规划系统110包括必要的硬件(例如，处理器、存储器、存储设备)和软件(例如，操作系统、规划和路由程序)，以从传感器系统115、控制系统111、无线通信系统112和/或用户接口系统113接收信息，处理接收的信息，规划从起点到目的地点的路线或路径，然后基于规划和控制信息驾驶车辆101。可替换地，感知和规划系统110可以与车辆控制系统111集成。

例如，作为乘客的用户可以例如经由用户接口指定行程的起始位置和目的地。感知和规划系统110获得行程相关数据。例如，感知和规划系统110可以从MPOI服务器获得位置和路线信息，MPOI服务器可以是服务器103-104的一部分。位置服务器提供位置服务，以及MPOI服务器提供地图服务和某些位置的POI。可替换地，这种位置和MPOI信息可本地缓存在感知和规划系统110的永久存储设备中。

当自主车辆101沿着路线移动时，感知和规划系统110还可以从交通信息系统或服务器(TIS)获得实时交通信息。注意，服务器103-104可以由第三方实体操作。可替换地，服务器103-104的功能可以与感知和规划系统110集成。基于实时交通信息、MPOI信息和位置信息，以及由传感器系统115检测或感测的实时局部环境数据(例如，障碍物、对象、附近车辆)，感知和规划系统110可规划最佳路线，并例如经由控制系统111根据规划路线驾驶车辆101，以安全且高效地到达指定目的地。在一个或多个传感器的有效传感器覆盖区域暂时或以其他方式被自主车辆周围的环境条件限制的情况下，安全系统的一个或多个安全监视器可以被引入以限制自主车辆的操作以确保车辆安全。例如，如果GPS系统不可用，并且LIDAR系统的有效传感器覆盖区域基于自主车辆周围的环境而被动态地减少，则自主车辆的定位系统可能无法确定自主车辆在高清晰度(HD)地图内的位置。在这种情况下，安全监视器可以检测定位能力的损失，并且执行故障运行动作以安全地将自主车辆导航到道路一侧的停止处。

服务器103可以是数据分析系统，以执行用于各种客户端的数据分析服务。在一个实施例中，数据分析系统103包括数据收集器121和机器学习引擎122。数据收集器121从各种车辆(自主车辆或者是由人类驾驶员驾驶的常规车辆)收集驾驶统计123。驾驶统计123包括指示发出的驾驶命令(例如，油门、制动、转向命令)和由车辆的传感器在不同时间点捕获的车辆的响应(例如，速度、加速度、减速度、方向)的信息。驾驶统计123还可包括描述不同时间点的驾驶环境的信息，诸如路线(包括起始位置和目的地位置)、MPOI、道路条件、天气条件等。

基于驾驶统计123，机器学习引擎122为各种目的生成或训练一组规则、算法和/或预测模型124。在一个实施例中，算法124可包括使用HD地图和一个或多个传感器的组合预计可影响安全车辆导航的某些类型的环境改变。例如，驾驶统计可以基于HD地图内区域中存在的建筑物指示GPS位置服务可被丢失的HD地图内的特定位置或区域。驾驶统计还可以指示实时运动(RTK)系统在HD地图中存在的位置。驾驶统计可以进一步指示一年中某些天气状况可能影响有效传感器覆盖区域(例如，雪、冰雹或雨)的日期或时间。这些和其他驾驶统计123可以被上载到服务器103，用于由机器学习引擎122处理以生成有效传感器覆盖模型，有效传感器覆盖模型可帮助自主车辆的安全监视器预计可影响自主车辆的传感器系统并且因此可影响自主车辆的安全导航的位置、季节和/或状况。

然后，算法124可以被上载到ADV上，以便在自主驾驶期间被实时使用。

图3是示出根据一个实施例的与自主车辆一起使用的感知和规划系统110的示例的框图。系统300可以被实现为图1的自主车辆101的部分，包括但不限于感知和规划系统110、控制系统111和传感器系统115。参考图3，感知和规划系统110包括但不限于定位模块301、感知模块302、预测模块303、决策模块304、规划模块305、控制模块306、路由模块307、安全监视器模块308和跛行模式安全监视器模块309。

模块301-309中的一些或全部可以以软件、硬件或其组合实现。例如，这些模块可以安装在永久存储设备352中，加载到存储器351中，以及由一个或多个处理器(未示出)执行。注意，这些模块中的一些或全部可以通信地连接到图2的车辆控制系统111的一些或全部模块或与之集成。模块301-309中的一些可以被集成在一起作为集成模块。

定位模块301确定自主车辆300的当前位置(例如，使用GPS单元212)并管理与用户的行程或路线有关的任何数据。定位模块301(也称为地图和路线模块)管理与用户的行程或路线有关的任何数据。用户可以例如经由用户接口登录并指定行程的起始位置和目的地。定位模块301与自主车辆300的其他组件通信诸如地图和路线信息311，以获得与行程有关的数据。例如，定位模块301可以从位置服务器和地图与POI(MPOI)服务器获得位置和路线信息。位置服务器提供位置服务，以及MPOI服务器提供地图服务和某些位置的POI，它们可作为地图和路线信息311的一部分被缓存。当自主车辆300沿着路线移动时，定位模块301还可以从交通信息系统或服务器获得实时交通信息。

基于由传感器系统115提供的传感器数据和由定位模块301获得的定位信息，由感知模块302确定对周围环境的感知。感知信息可以表示普通驾驶员将感知到的驾驶员正在驾驶的车辆周围的情况。感知可包括车道配置、交通灯信号、例如以对象形式的另一车辆、行人、建筑物、人行横道或其它交通相关标志(例如，停止标志、让步标志)等的相对位置。车道配置包括描述一个或多个车道的信息，诸如，例如车道的形状(例如，直的或弯曲的)、车道的宽度、道路中的车道数量、单向或双向车道、合并或分离车道、驶出车道等。

感知模块302可包括计算机视觉系统或计算机视觉系统的功能，以处理和分析由一个或多个相机捕获的图像，以便识别自主车辆的环境中的对象和/或特征。对象可包括交通信号、车行道边界、其他车辆、行人和/或障碍物等。计算机视觉系统可使用对象识别算法、视频跟踪和其它计算机视觉技术。在一些实施例中，计算机视觉系统可以映射环境、跟踪对象、以及估计对象的速度等。感知模块302还可基于由诸如雷达和/或LIDAR的其他传感器提供的其他传感器数据检测对象。

对于每个对象，预测模块303预测对象将在该环境下表现什么。鉴于一组地图/路线信息311和交通规则312，基于感知在该时间点的驾驶环境的感知数据执行预测。例如，如果对象是在相反方向上的车辆并且当前驾驶环境包括十字路口，则预测模块303将预测车辆将可能直线向前移动还是转弯。如果感知数据指示交叉路口没有交通灯，则预测模块303可以预测车辆在进入交叉路口之前可能必须完全停止。如果感知数据指示车辆当前处于仅左转弯车道或仅右转弯车道，则预测模块303可预测车辆将更可能分别进行左转弯或右转弯。

对于每个对象，决策模块304作出关于如何处理该对象的决策。例如，对于特定对象(例如，在交叉路线中的另一车辆)以及描述该对象的元数据(例如，速度、方向、转向角)，决策模块304决定如何遇到该对象(例如，超车、让行、停止、通过)。决策模块304可根据一组规则，诸如交通规则或驾驶规则312作出这些决策，这组规则可存储于永久存储设备352中。

感知模块302的性能可依赖于传感器系统115中的一个或多个传感器的性能。传感器性能可能受到自主车辆周围的环境的影响。例如，相机的性能可能受到过度的阳光或黑暗的影响。LIDAR性能可能受到诸如雪、雨、冰雹或碎片的颗粒物质的影响。在例如相机或LIDAR系统上积累的污垢可能减少传感器的有效传感器覆盖区域(其可以用坐标表示)。可以基于自主车辆周围的环境条件的变化动态地调整有效传感器覆盖区域。安全监视器模块308可包括用于确定和动态调整有效传感器覆盖区域的逻辑。如果安全监视器模块308确定有效传感器覆盖退化得太多，则跛行模式安全监视器模块309可以采取故障运行动作以安全地停止自主车辆。

路由模块307被配置为提供从起点到目的地点的一条或多条路线或路径。对于例如从用户接收到的从起始位置到目的地位置的给定行程，路由模块307获得路线和地图信息311并且确定从起始位置用以到达目的地位置的所有可能的路线或路径。路由模块307可以为其确定的从起始位置用以到达目的地位置的每条路线生成地形图形式的参考线。参考线是指没有来自诸如其它车辆、障碍物或交通状况的其它的任何干扰的理想路线或路径。也就是说，如果在道路上没有其它车辆、行人或障碍物，则ADV应该精确地或紧密地跟随参考线。然后，地形图被提供给决策模块304和/或规划模块305。决策模块304和/或规划模块305检查所有可能的路线，以鉴于由其它模块提供的其它数据(诸如来自定位模块301的交通状况、由感知模块302感知的驾驶环境和由预测模块303预测的交通状况)选择和修改最佳路线中的一个。取决于在时间点的特定驾驶环境，用于控制ADV的实际路径或路线可以接近或不同于由路由模块307提供的参考线。

基于对于每个感知的对象的决策，规划模块305使用由路线模块307提供的参考线作为基础规划用于自主车辆的路径或路线以及驾驶参数(例如，距离、速度和/或转向角)。也就是说，对于给定对象，决策模块304决策对该对象做什么，而规划模块305确定如何做。例如，对于给定对象，决策模块304可以决策经过对象，而规划模块305可以确定是在对象的左侧还是右侧经过。规划和控制数据由规划模块305生成，包括描述车辆300在下一个移动周期(例如，下一个路线/路径段)中将如何移动的信息。例如，规划和控制数据可指示车辆300以30英里每小时(mph)的速度移动10米，然后以25mph的速度改变到右车道。

基于规划和控制数据，控制模块306通过根据由规划和控制数据限定的路线或路径向车辆控制系统111发送适当的命令或信号控制和驾驶自主车辆。规划和控制数据包括足够的信息以沿着路径或路线在不同时间点使用适当的车辆设置或驾驶参数(例如，油门、制动、转向命令)将车辆从路线或路径的第一点驾驶到第二点。

在一个实施例中，规划阶段在多个规划周期(也称为驾驶周期，诸如在100毫秒(ms)的每个时间间隔内)内执行。对于每个规划周期或驾驶周期，将基于规划和控制数据发出一个或多个控制命令。也就是说，对于每100ms，规划模块305规划下一个路线段或路径段，例如包括目标位置和ADV到达目标位置所需的时间。可替换地，规划模块305还可指定具体速度、方向和/或转向角等。在一个实施例中，规划模块305为下一预定的时间段，诸如5秒规划路线段或路径段。对于每个规划周期，规划模块305基于在先前周期规划的目标位置规划用于当前周期(例如，下一个5秒)的目标位置。然后控制模块306基于当前周期的规划和控制数据生成一个或多个控制命令(例如，油门、制动、转向控制命令)。

注意，决策模块304和规划模块305可以集成为集成模块。决策模块304/规划模块305可包括导航系统或导航系统的功能，以确定用于自主车辆的驾驶路径。例如，导航系统可以确定一系列速度和方向航向，以影响自主车辆沿着基本上避开感知的障碍物的路径的移动，同时大体使自主车辆沿着通向最终目的地的基于车行道的路径前进。目的地可以根据经由用户接口系统113的用户输入设置。当自主车辆在操作时，导航系统可以动态地更新驾驶路径。导航系统可以并入来自GPS系统的数据和一个或多个地图，以便确定用于自主车辆的驾驶路径。

安全监视器模块308可包括定位监视器、传感器性能监视器、安全感知模块、感知监视器、定义安全路径模块、规划监视器和自动系统性能监视器，如以下参考图4更全面地描述。安全监视器模块308可以从模块301-307接收信息，如上所述，以确保即使一个或多个传感器的性能退化，自主车辆也沿着安全路径导航。上述模块301-307沿着由规划模块305确定的路径执行主自动导航。上述模块301-307依赖于一个或多个传感器以提供高达设计标准规范的低噪声信号，以识别可以是或者成为障碍物的潜在对象，从而沿着符合交通法的路线导航自主车辆，同时最大化自主车辆中的乘客的舒适度。当传感器性能可由于自主车辆周围的环境变化而暂时退化时，安全监视器模块308找到一个或多个安全驾驶区域以导航自主驾驶车辆。由安全监视器模块308确定的安全驾驶区域可以或可以不遵守交通法并且可以不使乘客舒适度最大化。

跛行模式安全监视器309使用从传感器115、定位模块301、感知模块302和规划模块305以及安全监视器模块308内的各种安全监视器接收的信息，以在由安全监视器模块308找到的安全驾驶区域内确定安全驾驶路径，以便鉴于由安全监视器模块308确定的有效传感器覆盖区域执行故障运行动作。

图4是示出根据一些实施例的用于具有安全监视器、安全可驾驶区域确定和有效传感器覆盖确定的故障运行ADV驾驶系统400的系统的框图。故障运行ADV驾驶系统400包括主自动驾驶路径(逻辑的流程)300、主安全监视器路径410和备用跛行模式安全监视器420。

主自动驾驶路径300包括传感器115、定位模块301、性能感知模块302、预测模块303、规划模块305和控制模块306。传感器115和模块301至303、305和306在上面参照图2和3进行了描述。在此重述，定位模块301参考高清晰度(HD)地图确定自主车辆的位置。HD地图包括许多静态对象，诸如建筑物、树、交通信号或标志，以及其他静态对象。HD地图结合传感器系统115可以确定自主车辆关于HD地图的位置。性能感知302从定位模块301接收ADV的位置，并且还从传感器系统115的传感器接收传感器数据。性能感知302(如此命名以将性能感知与安全感知区分开)可以从传感器数据确定ADV位置周围的一个或多个静态(非移动)和/或动态(移动)对象。预测模块303可以从性能感知模块302接收对象的列表以及额外的传感器数据，以确定列表中的哪些对象是动态(移动)对象，以及预测对象的列表中的每个动态对象可移动的方向。规划模块305可以从预测模块303接收静态和动态对象的列表以及动态对象的预测轨迹。规划模块305然后鉴于静态和动态对象及其预测轨迹来确定导航ADV的路线。规划模块305可以传递规划路线(轨迹)以导航到控制模块306，控制模块306生成用于油门、制动或转向的适当控制信号，以沿着该路线导航ADV。主自动驾驶路径300根据交通法和确保乘客舒适度的逻辑生成路线。

主安全监视器路径(逻辑的流程)410包括多个监视器，监视器在主自动驾驶路径300系统上执行各种安全性检查。主安全监视器410包括动态地确定和调整传感器系统115中的传感器的有效传感器覆盖区域的监视器。传感器的有效传感器覆盖区域不同于并且通常小于用于特定传感器的设计规范覆盖区域。随着ADV周围的环境条件改变，可以基于环境条件动态地调整一个或多个传感器的有效传感器覆盖区域。

主安全监视器410中的安全监视器包括定位监视器411、传感器性能监视器412、安全感知模块413(不同于性能感知模块302)、感知监视器415、定义安全路径模块416、规划监视器417和自动系统性能监视器418。

定位监视器411确保全球定位卫星(GPS)系统和可选地实时运动(RTK)系统，或者从传感器数据(例如，相机、LIDAR和/或雷达)生成的点云，关于HD地图正确地定位ADV。GPS信号可能在城市驾驶中丢失，例如在高楼之间或当驾驶通过隧道时，或当与卫星定位系统的视线受损时的其它时间。RTK系统可用于扩充或替代GPS，或增大GPS的准确度，但RTK也可能不是可用的。在GPS/RTK丢失的情况下，来自LIDAR或雷达设备的可能被相机数据扩充的传感器数据的点云可结合HD地图使用以定位ADV。如果GPS/RTK发生故障或不可用，并且一个或多个传感器(例如LIDAR、雷达或相机)的有效传感器覆盖区域已经退化(例如由于诸如雨或雪的环境)到ADV不能关于HD地图而被确定位置的点，则可以激活备用跛行模式系统420以执行故障运行紧急停止。在ADV不能在HD地图内被确定位置的情况下，定位监视器411可以向自动系统性能监视器418和跛行模式监视器428通知不能在HD地图内为该ADV确定位置。下面描述自动系统性能监视器418和跛行模式监视器428。

传感器性能监视器412可以接收从HD地图获得的静态对象的列表，这些静态对象在ADV周围并且靠近ADV将导航的路线或在该路线上。传感器性能监视器412可以基于ADV周围的当前环境条件，针对传感器系统115中的每个传感器确定传感器的有效传感器覆盖区域。有效传感器覆盖区域可以不同于并且通常少于用于传感器的设计规范传感器覆盖区域。传感器性能监视器412可以从存储设备或存储器中检索每个传感器的当前传感器覆盖区域。当前传感器覆盖区域可以是设计规范传感器覆盖区域或基于ADV周围的环境条件动态调整的有效传感器覆盖区域。传感器数据可以从传感器读取。在实施例中，可以从性能感知模块302接收传感器的传感器数据。对于传感器数据内的每个可辨别的静态对象，可以从传感器数据中提取对象的特征和对象的标识。如果通过将可辨别的静态对象与HD地图中的静态对象相关联而在HD地图中正确地定位识别的对象，并且定位的且识别的对象在用于传感器的有效传感器覆盖区域之外，则用于传感器的有效传感器覆盖区域可以至少增大到包括定位的且识别的对象的区域。如果传感器数据内的可辨别的静态对象不能正确地定位在HD地图内，并且另一传感器在HD地图中正确地定位了可辨别的静态对象，并且该可辨别的静态对象在当前传感器的有效传感器覆盖区域内，则当前传感器的有效传感器覆盖区域可被减小至少一个量以排除该可辨别的静态对象。然后，可以存储用于传感器的动态调整的有效传感器覆盖，以便稍后检索和使用。

安全感知模块413可以识别ADV周围的感兴趣范围(ROI)内的安全关键对象。安全关键对象是在ADV的规划路线(即，在ROI中)上或附近的那些静态(非移动)和/或动态(移动)对象。安全关键对象还可包括在ROI外部但是被预测为在可拦截ADV的规划路线的方向上移动的动态对象。安全感知模块413可以根据从定位监视器411接收的定位数据、从传感器性能监视器412接收的有效传感器覆盖区域信息和HD地图建立安全关键对象的列表。安全感知模块413确定安全关键对象的列表，为确定ADV的安全可驾驶区域作准备。

感知监视器415可以从安全感知模块413接收安全关键对象的列表。感知监视器415可以制作静态和动态安全关键对象的最终列表，使用最终列表可以确定安全可驾驶区域。动态对象可包括在ADV路径的感兴趣区域内的移动对象，以及在感兴趣区域外但基于用于动态对象的预测轨迹可拦截ADV路径的区域的那些动态对象。

定义安全路径模块416可以从感知监视器415接收安全关键对象的最终列表。定义安全路径模块416可以定位ADV周围的区域，ADV可以使用这些区域执行故障运行动作。用于ADV的安全可驾驶区域可包括规划模块305不考虑的额外的区域，规划模块305必须遵循交通规则和乘客舒适度考虑。安全驾驶区域是ADV可以安全地导航的区域，独立于交通规则和乘客舒适度。安全可驾驶区域是ADV将避开安全关键对象的区域，独立于由规划模块305规划的导航路线。

规划监视器417可以从规划模块305接收规划的导航路线(轨迹)。规划监视器还从定义安全路径模块416接收安全可驾驶区域的列表。规划监视器417可以确定规划的导航路线(轨迹)是否落入由定义安全路径模块416确定的安全驾驶区域内。如果规划轨迹未落入安全驾驶区域内，则规划监视器417可以向规划模块305发送限制请求，警告规划模块305ADV在或者将要在由定义安全路径模块416确定的安全可驾驶区域之外。响应于警告和限制请求，规划模块305可修改用于ADV的规划轨迹，并将修改的轨迹发送到控制模块306。要采取的导航动作的最终仲裁由自动系统性能监视器418处理。

自动系统性能监视器418可以接收规划监视器417发出到规划模块305的警告和限制请求，通知规划模块305ADV在或将要在由定义安全路径模块416确定的安全可驾驶区域之外。自动系统性能监视器418还可以从定位监视器411接收关于ADV是否能够在HD地图中被确定位置(定位)的指示。自动系统性能监视器418可以接收由控制模块306生成的用于沿着由规划模块305生成的路线路径导航ADV的控制命令的列表，并且该路线路径可以响应于来自规划监视器417的限制请求而被规划模块305修改。另外，自动系统性能监视器418从跛行模式监视器428接收ADV导航系统的健康状态。下面描述跛行模式监视器428和备用跛行模式系统420的其它模块。根据上述接收到的信息，自动系统性能监视器418确定是否(1)允许从控制模块306接收的控制命令(油门、制动和转向)通过以执行，(2)向控制模块306发送限制请求以修改油门、转向或制动命令中的一个或多个，使得ADV在安全可驾驶区域内导航，或(3)向跛行模式监视器428发送故障运行信号。

备用跛行模式安全监视器路径(逻辑流程)420可包括传感器性能簿记模块422、跛行模式感知模块423、跛行模式安全路径模块426和跛行模式监视器428。

传感器性能簿记模块422存储用于传感器系统115中的每个传感器的当前有效覆盖区域(坐标)。传感器性能簿记模块422可以从定位模块301接收车辆定位信息，并且存储关于ADV是否能够在HD地图中被确定位置的指标。传感器性能簿记模块422还可从传感器性能监视器412接收用于传感器系统115中的每个传感器的有效传感器覆盖区域信息。传感器性能簿记模块422可将每个传感器的有效传感器覆盖区域与每个其它传感器相关联，以确定整个传感器系统115的有效传感器覆盖地图和功能。传感器性能簿记模块422可将有效传感器覆盖地图传递或以其它方式映射为可用于(例如，使用指针或参考)跛行模式感知模块423。

跛行模式感知模块423存储(簿记)已经在安全感知模块413中识别的安全关键对象，并且关注与跛行模式、故障运行路径有关的那些对象。跛行模式感知模块423可以从传感器系统115接收传感器数据。跛行模式感知模块423也可从传感器性能簿记模块422接收用于每个传感器的有效传感器覆盖区域和/或用于所有传感器的有效传感器覆盖地图。跛行模式感知模块423还可以从安全感知模块413接收在ADV的感兴趣范围(ROI)内的安全关键对象的列表。跛行模式感知模块423可以进一步将安全关键对象的列表减少为可以与由定义安全路径模块416识别的安全可驾驶区域有关的那些对象。跛行模式感知模块423可以将安全关键对象的最终列表传递到跛行模式安全路径模块426。

跛行模式安全路径模块426存储(簿记)在定义安全路径模块416中已经识别的安全路径，并且关注与跛行模式路径有关的安全关键对象。跛行模式路径从跛行模式感知模块423接收安全关键对象的最终列表。跛行模式安全路径模块426还从规划监视器模块417接收安全可驾驶区域的列表。从接收的信息，跛行模式安全路径模块426确定一个或多个跛行模式安全驾驶路径，其可容易地实施为故障运行动作。

跛行模式监视器428确定要采取的跛行模式紧急机动动作(故障运行)。跛行模式紧急机动动作可包括以下动作中的一个：(1)向自动系统性能监视器418报告备用跛行模式安全监视器路径420的健康状态；(2)前进至安全停止位置；或(3)执行立即停止。备用跛行模式安全监视器路径420的健康状态可包括上述存储数据中的任一个，包括ADV是否可以在HD地图内被确定位置、由传感器性能簿记模块422存储的每个传感器的有效传感器覆盖区域和/或整个有效传感器覆盖地图、由跛行模式感知模块423存储的在感兴趣区域内的与ADV的位置和路线有关的安全关键对象的列表、以及由跛行模式安全路径模块426确定的一个或多个安全可驾驶路径。跛行模式监视器可以从自动系统性能监视器418接收故障运行请求。如果跛行模式监视器428接收到故障运行请求，则跛行模式监视器428可完成执行应急机动的逻辑：(2)前进至安全停止位置；或者(3)执行ADV的立即停止。

图5A以框图形式示出根据一些实施例的使用高清晰度(HD)地图和传感器确定自主驾驶系统中的有效传感器覆盖区域的方法501。

参照图5A，在操作517中，基于HD地图确定ADV周围的一个或多个对象的列表。在一个实施例中，一个或多个对象的列表由ADV感知和规划模块系统110确定，并且被传递到传感器性能监视器412。在一个实施例中，一个或多个对象的列表由传感器性能监视器412确定。

在操作521中，基于传感器系统115中的第一传感器的传感器数据确定第一静态对象。第一传感器具有有效传感器覆盖区域(坐标)。

在操作537中，可以确定第一静态对象是否与HD地图中的一个或多个对象匹配，以及第一静态对象的位置是否位于第一传感器的有效传感器覆盖坐标之外。如果是，则方法501在操作545处继续，否则方法501在操作575处继续。

在操作545中，增加第一传感器的有效传感器覆盖坐标以包括第一静态对象。

在操作575中，鉴于第一传感器的增加的有效传感器覆盖坐标，ADV被导航以避开第一静态对象。

图5B和5C以框图形式示出根据一些实施例的使用高清晰度(HD)地图和传感器确定自主驾驶系统中的有效传感器覆盖的方法500。如上所述，方法500可由传感器性能监视器412实现。在方法500中，使用HD地图中的静态对象测试并用另一传感器验证当前传感器的有效传感器覆盖，以基于ADV周围的环境条件的变化和传感器确定是否需要调整当前传感器有效传感器覆盖区域。

现在参考图5B，在操作505中，ADV周围区域的高清晰度(HD)地图可以被加载到存储器中。在实施例中，HD地图可能已经由定位模块301加载，并且可在不重新加载HD地图的情况下被引用。

在操作510中，可以加载和更新当前ADV路线。更新可包括更新沿着路线的ADV位置并且启动对一个或多个传感器的读取。更新可进一步包括由规划模块305对路线的改变。

在操作515中，在HD地图中搜索沿着ADV路线的静态对象。从HD地图生成静态对象的列表。

在操作520中，如果用于传感器的当前有效传感器覆盖区域(坐标)尚未在存储器中，则从存储器加载有效传感器覆盖区域(坐标)。用于传感器的传感器数据从传感器读取，或者如果已经读取，则从存储器加载。

在操作525中，确定在传感器的传感器数据内是否存在可辨别的静态对象。如果是，则方法500在操作535处继续，否则方法500在操作565处继续。

在操作530中，从传感器的传感器数据中提取可辨别的静态对象的特征。

参照图5C，在操作535中，确定从传感器数据识别的可辨别的静态对象是否正确地定位了从HD地图获得的静态对象的列表中的对应的静态对象。如果是，则方法500在操作540处继续，否则方法500在操作550处继续。

在操作540中，确定在传感器数据中识别的并且在HD地图中被正确定位的可辨别的静态对象是否在用于传感器的有效传感器覆盖区域(坐标)之外。如果是，则方法500在操作545处继续，否则方法500在操作565处继续。

在操作545中，将用于传感器的有效传感器覆盖区域增大(即，移除对传感器覆盖的限制)到至少包括在HD地图中被正确定位的静态对象的区域。方法500在操作565处继续。

在操作550，确定另一传感器是否正确地定位在当前传感器数据中识别的、但在操作535中未被正确地定位在HD地图内的静态对象。如果另一传感器正确地定位在当前传感器数据中被识别但没有被正确地定位在HD地图内的静态对象，则方法500在操作555处继续，否则方法500在操作565处继续。

在操作555中，确定被当前传感器识别但未被正确地定位在HD地图内的静态对象是否在当前传感器的有效覆盖区域之内。如果是，则方法500在操作560处继续，否则方法500在操作565处继续。

在操作560中，从当前传感器的传感器数据中提取的可辨别的静态对象没有被正确地定位在HD地图内，另一传感器已经验证了静态对象在HD地图中，并且静态对象位于当前传感器的有效覆盖区域内。因此，当前传感器的有效传感器覆盖区域被减少到至少排除在当前传感器的传感器数据中被识别但未被正确地定位在HD地图内的静态对象的区域。

在操作565中，可以确定当前ADV路线是否已经改变。如果是，则方法500在图5B的操作510处继续。否则方法500在操作570处继续。

在操作570中，可以确定ADV路线是否已经完成。如果是，则方法500结束，否则方法500在图5B的操作520处继续。

对于在传感器的传感器数据内找到的额外的对象，或者对于传感器系统115中的额外的传感器，可以可选地重复操作520到565。

图6A和6B以框图形式示出根据一些实施例的使用对象跟踪和传感器确定自主驾驶系统中的有效传感器覆盖的方法600。方法600可由传感器性能监视器412实现，以使用跟踪的对象和多个传感器验证传感器的有效传感器覆盖区域(坐标)。

参考图6A，在操作605中，跟踪的对象的列表和待决的对象的列表都可以从存储器加载或从感知模块302接收。在实施例中，例如，通过分析一个或多个传感器的传感器数据的最近读数以更新跟踪的对象的位置，可以更新跟踪的对象的列表。跟踪的对象是已经被识别的对象，并且每个跟踪的对象位置已经被验证。对象可以是静态的(不移动)或动态的(移动)。对象可以是当ADV导航路线时对ADV的实际或潜在障碍物。待决的对象是其标识和/或位置尚未被验证的对象。

在操作610中，可以从存储器加载或访问用于传感器的传感器覆盖区域。传感器的传感器覆盖区域是在设计条件下传感器应该能够精确感测的区域。例如，LIDAR系统在设计条件下可以具有360°和100-150米(m)的覆盖区域。在真实世界的环境中，可能存在可能妨碍传感器的传感器覆盖区域的雪、雨、冰雹、碎片或其它对象。然而，传感器可能不会被其中传感器被操作的环境条件完全禁用。例如，使用LIDAR系统，在不太理想的条件下，有效覆盖区域可能仍然是360°，但是范围可能被限制为70米的可靠精度。因此，由于ADV周围的环境条件，有效传感器覆盖区域可能少于设计规范传感器覆盖区域。设计规范传感器覆盖区域可以被存储为基线传感器覆盖区域。

在操作615中，可以从存储器加载或访问有效传感器覆盖区域。如上所述，有效传感器覆盖区域可基于ADV周围的环境条件的变化而动态地改变。例如，在夜间，由于黑暗，或在明亮的日光下，由于眩光和缺乏对比度，相机的有效传感器覆盖区域可能显著减少。然而，传感器本身没有物理或电学故障。传感器的环境对于传感器简单地不太理想。

在操作620中，可以确定在当前传感器覆盖区域内是否存在任何跟踪的对象。当前传感器覆盖坐标可以是设计覆盖区域或有效传感器覆盖区域，其中先前由于环境条件而从设计传感器覆盖区域限制有效传感器覆盖区域。如果在当前传感器覆盖区域内存在跟踪的对象，则方法600在操作625继续，否则方法600在操作605处继续。

在操作625中，从传感器的传感器数据提取在当前传感器覆盖区域内的跟踪的对象的特征。

参照图6B，在操作630至650中，响应于传感器是否在HD地图中正确地定位跟踪的对象，跟踪的对象被用于动态地调整传感器的有效传感器覆盖区域。

在操作630中，可以使用提取的对象特征确定跟踪的对象是否被正确地定位在ADV周围的区域的HD地图内。如果是，则方法600在操作635处继续，否则方法600在操作645处继续。

在操作635中，可以确定跟踪的对象是否在传感器的有效覆盖区域之外。如果是，则方法600在操作640继续，否则方法600在操作655继续。

在操作640中，移除对传感器的有效覆盖区域的限制，以将其设置回设计规范的有效覆盖区域。在实施例中，有效传感器覆盖区域被设置为至少包括跟踪的对象的区域。方法600在操作655处继续。

在操作645中，传感器没有在HD地图内正确地定位跟踪的对象。在操作645中，可以确定跟踪的对象是否在传感器的有效覆盖范围之内。如果是，则方法600在操作650处继续，否则方法600在操作655处继续。

在操作650中，跟踪的对象在传感器的有效覆盖区域内，并且传感器没有在HD地图内适当地定位跟踪的对象。因此，有效传感器覆盖被减少到至少排除跟踪的对象的区域。

在操作655至675中，使用待决的对象和不同的传感器动态地调整原始的传感器的覆盖区域或不同的传感器的覆盖区域。

在操作655中，确定是否已经由与当前传感器不同的传感器检测到待决的对象(位置尚未验证)。如果是，则方法600并行地在操作660和670处继续。在实施例中，660和670的操作可以以任一次序顺序地执行。

在操作660中，可以确定由不同的传感器检测到的待决的对象是否在原始的传感器的有效覆盖区域之外。如果是，则方法600在操作665处继续，否则方法600在操作680处继续。

在操作665中，原始的传感器的有效传感器覆盖区域可以增加到至少包括待决的对象的区域，因为原始的传感器和不同的传感器的组合验证待决的对象的位置。待决的对象已经被验证，并且可以被移动到跟踪的对象列表。方法600在操作680处继续。

在操作670中，可以确定由不同的传感器检测到的待决的对象是否在不同的传感器的有效覆盖区域之外。如果是，则方法600在操作675处继续，否则方法600在操作680处继续。

在操作675中，待决的对象已经被不同的传感器检测到，并且待决的对象位于不同的传感器的有效传感器覆盖区域之外。可以增加不同的传感器的有效传感器覆盖区域，以至少包括定位的且验证的待决的对象。待决的对象已经被验证并且可以被移动到跟踪的对象列表。

在操作680中，可以确定方法(例程)600是否完成。如果没有更多待决的对象并且没有更多传感器要使用对象跟踪验证，例程完成。如果例程完成，则方法600结束，否则方法600在图6A上的操作605处继续。

图7A和7B以框图形式示出根据一些实施例的使用多传感器确认确定自主驾驶系统中的有效传感器覆盖的方法700。方法700可以在以上参考图4描述的传感器性能监视器412中实现。

参照图7A，在操作705中，可以从存储器访问或检索一个或多个传感器的有效传感器覆盖区域(坐标)。有效传感器覆盖区域可能已经在传感器性能监视器412中在上述方法500或600中的一个或多个中被更新。

在操作710中，可基于一个或多个传感器的有效传感器覆盖区域生成或更新传感器重叠区域。

在操作715中，生成或访问与用于传感器的原始设计传感器覆盖区域相比具有减少(有限)的有效覆盖区域的传感器的列表。在方法500和600中，分别使用在HD地图和对象跟踪中识别的静态对象识别限制减少的有效覆盖区域。

在操作720中，加载或访问待决的对象的列表。待决的对象是其位置还没有被验证的对象。至少部分地由于已经减小(限制)一个或多个传感器的有效传感器覆盖区域的环境条件，待决的对象可以已经被部分地、但不是完全地识别和定位。许多环境条件可以迅速改变(例如黑暗/光亮、下雪/没有下雪、下雨/没有下雨等)，因此，连续动态地调整有效传感器覆盖可以导致验证待决的对象的位置。

在操作725中，可以确定一个或多个传感器中的传感器是否已经检测到新的对象。如果是，则方法700在操作730处继续，否则方法700在操作750处继续。

在操作730中，可以确定检测到新对象的传感器是否具有限制，使得有效传感器覆盖区域少于设计传感器覆盖区域。如果是，则方法700在操作735处继续，否则方法700在操作745处继续。

在操作735中，可以确定一个或多个传感器中的另一个是否确认新检测到的对象。如果是，则方法700在操作745处继续，否则方法700在操作740处继续。

在操作740中，新对象未被一个或多个传感器中的另一传感器确认，并且新对象被添加到待决的对象列表以被验证。方法700在操作760处继续。

在操作745，新对象已被另一传感器验证(确认)，并且新对象被添加到对象跟踪列表。

参照图7B，在操作750中，可以确定新对象是否在首先检测到该新对象的传感器的有效传感器覆盖区域之外。如果是，则方法700在操作755处继续，否则方法700在操作760处继续。

在操作755中，由传感器检测到的新对象已由另一传感器验证，并且检测到新对象的传感器具有少于设计传感器覆盖区域的有效传感器覆盖区域限制。在操作755中，可以移除有效传感器覆盖区域限制，使得有效传感器覆盖区域被增加以至少包括新对象。

在操作760中，可以确定是否存在任何待确认的待决的对象。如果是，则方法700在操作765处继续，否则方法700在操作775处继续。

在操作765中，可以确定另一传感器是否确认待决的对象。如果是，则在操作770中，待决的对象已经被验证(确认)并且可以被移动到跟踪的对象列表。方法700在操作775处继续。

在操作775中，可以确定方法(例程)700是否已完成。当没有更多待决的对象要验证时，方法700完成。如果没有更多待决的对象要验证，则方法700结束，否则方法700在操作715处继续。

图8A以框图形式示出根据一些实施例的安全地操作ADV的故障运行方法801。

在操作802中，ADV至少部分地基于在高清晰度(HD)地图中定位ADV，鉴于ADV周围的一个或多个对象，确定导航ADV的路线。可以从传感器系统115中的多个传感器确定一个或多个对象。

在操作810中，ADV逻辑可以确定用于传感器系统115的每个传感器的当前有效传感器覆盖区域。传感器的有效传感器覆盖区域考虑了ADV周围的环境条件可以不是用于传感器的理想操作条件。影响传感器的环境条件可以随传感器的类型而变化，并且可包括传感器上污垢的积聚、光的强度或光的缺乏、以及诸如雪、雨、冰雹的天气、或对理想传感器功能性的其他损害。

在操作820中，ADV逻辑可以确定一个或多个安全可驾驶区域，在由于ADV周围的环境条件而导致一个或多个传感器受损的情况下，ADV可以使用该一个或多个安全可驾驶区域安全地导航ADV。安全可驾驶区域可以至少部分地基于路线和ADV中的多个传感器中的每一个的有效传感器覆盖区域。导航安全可驾驶区域可以不遵守交通法并且可以不最大化驾驶员的舒适度，但是将提供将ADV安全导航到停止。

在操作827中，当ADV响应于来自ADV导航系统的多个导航控制输入而沿着路线导航时，ADV可以监视用于多个传感器中的每一个的有效传感器覆盖区域。

在操作847中，ADV逻辑可以响应于基于监视多个传感器中的每一个的有效传感器覆盖区域确定需要安全动作，修改多个导航控制输入中的一个或多个。

图8B以框图形式示出根据一些实施例的安全地操作ADV的故障运行方法800。在正常操作期间，感知和规划系统根据规划路线导航ADV。在该故障运行方法800中，将确定传感器性能是否已经受损，诸如由于ADV周围的环境条件，和/或是否已经存在不能在HD地图内为ADV确定位置的故障，使得必须仅在安全区内导航，而不必根据感知和规划模块的规划路线。方法800的许多操作参考以上参考图3和4描述的主自动驾驶路径300或主安全监视器路径410的功能块。

在操作805中，定位监视器411可以加载或访问HD地图，并且从传感器系统115的多个传感器读取或访问传感器数据。定位监视器411可以确定ADV是否可以在HD地图中确定位置。

在操作810中，传感器性能监视器412可以确定用于传感器系统115的每个传感器的当前有效传感器覆盖区域。传感器的有效传感器覆盖区域考虑了ADV周围的环境条件可以不是用于传感器的理想操作条件。影响传感器的环境条件可以随传感器的类型而变化，并且可包括传感器上污垢的积聚、光的强度或光的缺乏、以及诸如雪、雨、冰雹的天气、或对理想传感器功能性的其他损害。

在操作815中，安全感知413和感知监视器415可以监视感知模块302的性能。安全感知模块413可以识别在ADV的感兴趣区域(ROI)内的安全关键对象。感知监视器415可以确定安全关键静态和动态对象的最终列表，ADV必须考虑这些对象以安全地导航ADV。安全关键对象的列表可包括在ADV的安全可驾驶区域中出现的对象，该安全可驾驶区域还可以是除了ADV规划模块305打算用作可驾驶区域的区域之外的区域。安全可驾驶区域可包括停车或路肩区域，在紧急情况下ADV可以在该区域上靠边停车并停止。

在操作820中，驾驶安全路径模块416可以确定一个或多个安全可驾驶区域，在由于ADV周围的环境条件而导致一个或多个传感器受损的情况下，ADV可以使用该一个或多个安全可驾驶区域安全地导航ADV。导航安全可驾驶区域可能不遵守交通法并且可以不最大化驾驶员的舒适度，但是将提供将ADV安全导航到停止。

在操作825中，规划监视器417可以从规划模块305接收规划的ADV轨迹(路线)，并且从定义安全路径模块416接收安全驾驶区域的列表。规划监视器417可以确保规划的ADV轨迹停留在由定义安全路径模块416确定的安全可驾驶区域内。

在操作830中，如果规划监视器417确定车辆不跟随安全可驾驶区域，则自动系统性能监视器418可确定是否需要监视器动作。监视器动作包括：(1)无动作：允许由规划模块305规划的路线继续前进(控制命令通过并被执行)；(2)请求控制模块306限制或修改用于ADV路线导航的控制命令(速度、制动、油门)中的一个或多个；或(3)确定需要故障运行动作。如果需要故障运行，则方法800在操作840处继续，否则方法800在操作845处继续。

在操作840中，自动系统性能监视器418已经确定需要故障运行动作。自动系统性能监视器418指示跛行模式监视器428前进到可驾驶区域内的安全停止位置并停止ADV，或者仅停止ADV。方法800在操作850处继续。

在操作845中，已经确定不需要故障运行动作。自动系统性能监视器418请求控制模块306修改/限制一个或多个控制命令(油门、转向、制动)，以确保ADV在安全可驾驶区域内导航。

在操作850中，可以确定方法(例程)800是否已经完成。当ADV已经到达原始的ADV路线中的目的地、将车辆性能限制到安全可驾驶区域(在不需要故障运行动作的监视器动作的情况下)或者完全执行故障运行动作时，例程完成。如果例程未完成，则方法800在操作805处继续，否则方法800结束。

图9以框图的形式示出根据一些实施例的用于安全操作ADV的“跛行模式”感知方法900。

在操作905中，可以加载或访问高清晰度(HD)地图。定位模块301和/或定位监视器411都可以访问HD地图，并且可以共享对HD地图的引用以加载或访问该地图。

在操作910中，可以确定ADV有效传感器覆盖区域信息是否可用。用于传感器系统115中的所有ADV传感器的有效传感器覆盖区域信息通常将是可用的，除非在一个或多个传感器中存在妨碍获得该传感器的传感器数据的某种故障。响应于确定对于一个或多个传感器有效传感器覆盖区域可用，则在操作915中，从传感器性能监视器412或ADV的存储设备或存储器加载或访问一个或多个传感器的有效传感器覆盖区域。

在操作920中，可以确定是否可以从主安全监视器路径410、安全感知模块413获得安全关键对象的列表。安全感知模块413识别在ADV的感兴趣范围内的安全关键对象的列表，该安全关键对象可能影响ADV的安全可驾驶区域。如果安全关键对象的列表可从主安全监视器路径410获得，则在操作925中，从存储器加载或访问来自安全感知模块413的安全关键对象列表。安全感知模块413在上面参考图4被描述。

在操作930中，跛行模式感知423可以接收和存储从安全感知模块413接收的安全关键静态和动态对象的列表。动态对象可包括在ADV路径的感兴趣区域内的移动对象，以及在感兴趣区域之外但基于用于动态对象的预测轨迹可以拦截感兴趣区域的那些动态对象。跛行模式感知可以识别接收的静态和动态对象的列表内与跛行模式路径最相关的对象。跛行模式路径是到ADV可以被停止的安全可驾驶区域的路径。如果没有这种安全可驾驶区域，则ADV可以仅停止，而不是不安全地继续。

在操作935中，可以确定方法900是否完成。如果是，则方法900结束，否则方法900在操作905处继续。实际上，方法900是安全监视的备用系统，安全监视是主安全监视器410的活跃部分，并且照此连续地操作。在实施例中，方法900可以在(1)每当定位监视器411指示车辆不能被确定位置时或(2)每当传感器性能模块412指示传感器对其有效传感器覆盖区域具有限制时被调用。

图10以表格的形式示出如何使用具有不同有效覆盖范围的传感器的组合导航ADV。为了简单，使用有效覆盖区域的三种状态示出表格：好、一般和差。好可以被解释为在传感器的设计规范覆盖区域处或附近。一般可以解释为在某种程度上受到限制，但是仍然可以使用。差可以解释为非常受限。有效覆盖的限制是由于环境条件而不是组件故障。实际上，有效传感器覆盖响应于变化的环境条件而被动态地调整，并且很少是静态状况。例如，传感器可以在阴影中或在隧道中经历黑暗，限制了其有效传感器覆盖区域，并且当ADV离开隧道时，传感器有效覆盖区域将被动态地增加。表格1000指示从包括相机、雷达和LIDAR的多个传感器确定的多个特征1010至1045。这些传感器的组合“相机+雷达+LIDAR”可以检测特征1010至1045，即使每个单独的传感器可能不在设计规范传感器覆盖区域处操作。

项1010指示“对象检测”的特征。对象检测是组合的传感器检测对象存在的能力。在项1010的示例中，由于ADV周围的环境条件，有效相机覆盖区域和有效雷达覆盖区域已经被减小到“一般”。然而，LIDAR覆盖仍然好。使用LIDAR，并且可选地与HD地图结合，可以检测对象。因此，相机+雷达+LIDAR的组合可以具有好的对象检测1010。

项1015指示“对象分类”的特征。对象分类可以是例如检测交通灯的颜色。使用好的相机有效覆盖区域、差的LIDAR有效覆盖区域和一般的LIDAR有效覆盖区域，传感器的组合可以对检测到的对象进行分类。

类似地，在项1020和1035中，具有好的有效覆盖区域的雷达或LIDAR和作为一般的有效覆盖区域的相机或LIDAR中的一个足以估计距离和速度。

项1030指示可使用具有好的有效传感器覆盖区域的雷达以及具有一般的有效传感器覆盖区域的相机和/或LIDAR中的一个或两者执行视距。

项1035指示可以使用用于雷达和LIDAR两者的仅好的相机有效传感器覆盖区域和差的有效传感器覆盖区域执行车道跟踪。

项1040指示组合的传感器功能性在恶劣天气中仍然可以是好的，即使相机有效传感器覆盖区域是差的并且LIDAR有效传感器覆盖是一般的。

项1045指示即使相机有效传感器覆盖是一般的并且LIDAR和雷达有效传感器覆盖区域是好的，在差的照明中的组合传感器功能性仍然可以是好的。

图11以框图的形式示出根据一些实施例的执行ADV的安全感知的方法1100。

在操作1105中，定位监视器411可以加载或访问用于为ADV确定位置的高清晰度(HD)地图。定位监视器411确保定位功能性适当地工作，并且可以确定关于HD地图的ADV位置。传感器性能监视器412可以为传感器系统115中的多个传感器中的每一个加载和更新有效传感器覆盖区域。有效传感器覆盖区域考虑了基于ADV周围的环境条件的一个或多个传感器的减少的功能性。安全感知模块413可以从规划模块305接收规划的ADV导航路线。

在操作1110中，传感器性能监视器412可以例如从性能感知模块302加载和更新来自传感器的在有效传感器覆盖区域内的传感器数据。传感器性能监视器412可以从存储器或存储设备访问和加载每个传感器的存储的有效传感器覆盖区域信息。因此，加载和更新传感器数据可包括将加载的传感器数据的量限制为仅在每个传感器的有效传感器覆盖区域内的传感器数据。

在操作1115中，关于沿着规划路线的感兴趣范围并且在用于每个传感器的有效传感器覆盖区域内，限定两个区域以用于识别安全关键对象。第一区域是ADV将沿着在操作1105中从规划模块305检索的路线或路径导航的区域。分析传感器数据以确定ADV可沿着路线拦截的静态对象(非移动)和动态(移动)对象。第二区域在第一区域之外，但在关于第一区域的感兴趣区域内。在第二区域中，将分析来自ADV路线的感兴趣区域内和用于每个传感器的有效覆盖区域内的传感器数据，以确定可沿着规划路径拦截ADV的动态(移动)对象。感兴趣区域还包括除第一区域之外的区域，并且可被定义安全路径模块416用来定位安全可驾驶区域。

在操作1120中，在两个限定的区域内执行安全感知，如操作1115中所述。结果是第一区域中的安全关键动态和静态对象以及第二区域中的安全关键动态对象的列表。安全关键对象是ADV可以拦截的那些对象。

在操作1125中，可以确定方法(例程)1100是否完成。如果是，则方法1100结束，否则方法1100在操作1105处继续。实际上，方法1100是安全监视，其是主安全监视器410的活跃部分并且可以连续地操作。在实施例中，方法1100可以在(1)每当定位监视器411指示车辆不能被确定位置时或(2)每当传感器性能模块412指示传感器对其有效传感器覆盖区域具有限制时被调用。

图12A以框图形式示出根据一些实施例的执行ADV的安全监视的方法1201。方法1201可以在以上参考图4描述的感知监视器415中实现。

在操作1202中，ADV逻辑可以基于从ADV的一个或多个传感器获得的传感器数据生成一个或多个安全关键对象的列表。安全关键对象可包括位于与ADV的可驾驶路径的至少一部分重叠的第一区域中的一个或多个静态对象和一个或多个动态对象。

在操作1203中，ADV逻辑可以鉴于ADV周围的环境条件识别基于从ADV的传感器获得的传感器数据感知的一个或多个对象的列表。

在操作1210中，对于安全关键对象中的每一个，在操作1215中，可以通过搜索对象的列表以找到安全关键对象而确定安全关键对象是否在一个或多个对象的列表中。如果在一个或多个对象的列表中没有找到安全关键对象，则在操作1220中，ADV可以执行故障运行动作以导航ADV。

在操作1225中，可以确定是否存在更多安全关键对象要在一个或多个对象的列表中搜索。如果是，则方法1200在操作1210处继续，否则方法1200在操作1230处继续。

在操作1230中，可以确定方法(例程)1201是否完成。实际上，方法1201是安全监视，其是主安全监视器410的活跃部分并且连续地操作。在实施例中，方法1201可以在(1)每当定位监视器411指示车辆不能被确定位置时或(2)每当传感器性能模块412指示传感器对其有效传感器覆盖区域具有限制时被调用。

图12B以框图形式示出根据一些实施例的执行ADV的安全监视的方法1200。方法1200可以在以上参考图4描述的感知监视器415中实现。

在操作1205中，感知监视器415可以接收和加载由安全感知模块413在上面的方法1100中确定的安全关键对象的列表。

在操作1210中，感知监视器415可以接收由性能感知模块302感知的对象的列表。从性能感知模块接收的列表中的对象是沿着驾驶路径或在感兴趣区域内的静态和动态对象。对于安全关键对象的列表中的每个安全关键对象，在操作1215中，可以通过搜索性能感知对象以找到安全关键对象而确定安全关键对象是否在从性能感知302接收的对象的列表中。如果在来自性能感知模块302的对象的列表中没有找到安全关键对象，则由规划模块305规划的ADV路线基于不考虑一个或多个安全关键对象的性能感知对象的列表，并且在操作1220中，激活感知故障运行策略。

在操作1225中，可以确定是否有更多的安全关键对象要在从性能感知模块302接收的对象的列表中搜索。如果是，则方法1200在操作1210处继续，否则方法1200在操作1230处继续。

在操作1230中，可以确定方法(例程)1200是否完成。实际上，方法1200是安全监视，其是主安全监视器410的活跃部分并且连续地操作。在实施例中，方法1200可以在(1)每当定位监视器411指示车辆不能被确定位置时或(2)每当传感器性能模块412指示传感器对其有效传感器覆盖区域具有限制时被调用。

图13以框图形式示出根据一些实施例的限定用于安全地操作ADV的安全可驾驶区域的方法1300。安全可驾驶区域包括除了由规划模块305考虑的用于为ADV规划路线的区域之外的额外的区域。安全可驾驶区域包括ADV能够进行故障运行紧急机动(诸如在车行道的一侧、下坡道或停车区域停车)的区域。方法1300可以在定义安全路径模块416中实现。

在操作1305中，定位监视器411可以加载或访问用于为ADV确定位置的高清晰度(HD)地图。定位监视器411确保定位功能性适当地工作，并且可以确定关于HD地图的ADV位置。安全感知模块413可以从规划模块305接收规划的ADV导航路线，规划的ADV导航路线可以被传递到感知监视器415和定义安全路径模块416。定义安全路径模块416可以在方法1200中加载由感知监视器415生成的最终的安全关键对象列表。安全关键对象列表包括沿着ADV导航路线的静态和动态对象，以及在ADV导航路线之外的感兴趣区域内的动态对象，该动态对象可以沿着导航路线拦截ADV。

在操作1310中，定义安全路径监视器416可以使用HD地图、HD地图内的ADV位置、当前ADV导航路径以及沿着ADV导航路径的静态对象定义初始安全可驾驶区域。

在操作1315中，通过考虑沿着ADV导航路径的动态对象，定义安全路径监视器416可以从操作1310中的初始安全可驾驶区域精炼安全可驾驶区域。

在操作1320中，定义安全路径监视器416可以通过进一步考虑在ADV导航路径之外但是在感兴趣区域内的动态对象进一步精炼来自操作1315的安全可驾驶区域，在感兴趣区域当ADV导航路径时动态对象可以拦截ADV。

在操作1325中，可以确定方法(例程)1300是否完成。如果是，则方法1300结束，否则方法1300在操作1305处继续。实际上，方法1300实现主安全监视器路径410的一部分，并且通常连续地操作，使得ADV可以对传感器覆盖区域的改变快速反应以采取故障运行动作。在实施例中，方法1300可以响应于定位监视器411检测到在HD地图内为ADV确定位置的能力的损失，或者响应于传感器性能监视器412检测到一个或多个传感器中有效传感器覆盖的实质减少而被执行。

注意，如上所示和所述的一些或所有组件可以用软件、硬件或其组合实现。例如，这些组件可以被实现为安装并存储在永久存储设备中的软件，软件可以由处理器(未示出)加载并执行在存储器中以执行贯穿本申请所述的过程或操作。可替换地，这些组件可被实现为编程或嵌入到专用硬件中的可执行代码，专用硬件诸如集成电路(例如，专用IC或ASIC)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)，可执行代码可经由相应驾驶员和来自应用的/或操作系统访问。此外，这些组件可以被实现为处理器或处理器内核中的特定硬件逻辑，作为软件组件经由一个或多个特定指令可访问的指令集的一部分。

图14是示出可与本公开的一个实施例一起使用的数据处理系统的示例的框图。例如，系统1500可以表示执行上述任何过程或方法(例如，如图4所示的主安全监视器路径410和/或备用跛行模式安全监视器路径420的功能性中的任一个)的上述任何数据处理系统。系统1500可包括许多不同的组件。这些组件可以被实现为集成电路(IC)、其部分、离散电子设备、或适用于诸如计算机系统的主板或内插式卡的电路板的其它模块、或被实现为以其它方式并入计算机系统的机箱内的组件。

还应当注意，系统1500旨在示出计算机系统的许多组件的高级视图。然而，应当理解的是，在某些实施方式中可以存在额外的组件，并且此外，在其他实施方式中可以出现所示组件的不同布置。系统1500可以表示台式机、笔记本电脑、平板计算机、服务器、移动电话、媒体播放器、个人数字助理(PDA)、智能手表、个人通信器、游戏设备、网络路由器或集线器、无线接入点(AP)或中继器、机顶盒或其组合。此外，虽然仅示出单个机器或系统，但是术语“机器”或“系统”还应当被认为包括单独地或联合地执行一组(或多组)指令以执行本文所讨论的方法中的任何一个或多个的机器或系统的任何集合。

在一个实施例中，系统1500包括经由总线或互连1510连接的处理器1501、存储器1503和设备1505-1508。处理器1501可以表示单个处理器或其中包括单个处理器核或多个处理器核的多个处理器。处理器1501可表示一个或多个通用处理器，诸如微处理器、中央处理单元(CPU)等。更特别地，处理器1501可以是复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器、或实现其它指令集的处理器、或实现指令集的组合的处理器。处理器1501还可以是一个或多个专用处理器，诸如专用集成电路(ASIC)、蜂窝或基带处理器、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、网络处理器、图形处理器、通信处理器、密码处理器、协处理器、嵌入式处理器或能够处理指令的任何其它类型的逻辑。

处理器1501可以是低功率多核处理器插槽，诸如超低电压处理器，其可以充当主处理单元和中央集线器，用于与系统的各种组件通信。这种处理器可以实现为片上系统(SoC)。处理器1501被配置为执行用于执行本文所讨论的操作和步骤的指令。系统1500可进一步包括与可选图形子系统1504通信的图形接口，可选图形子系统1504可包括显示控制器、图形处理器和/或显示设备。

处理器1501可与存储器1503通信，在一个实施例中，存储器1503可经由多个存储器设备实现以提供给定量的系统存储器。存储器1503可包括一个或多个易失性存储(或存储器)设备，诸如随机存取存储器(RAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、静态RAM(SRAM)或其他类型的存储设备。存储器1503可以存储包括由处理器1501或任何其它设备执行的指令序列的信息。例如，各种操作系统、设备驱动器、固件(例如，输入输出基本系统或BIOS)和/或应用程序的可执行代码和/或数据可以被加载到存储器1503中，并由处理器1501执行。操作系统可以是任何类型的操作系统诸如，例如机器人操作系统(ROS)、来自微软

的

操作系统、来自苹果(Apple)的Mac

来自

的

LINUX、UNIX或其它实时或嵌入式操作系统。

系统1500还可包括IO设备，诸如设备1505-1508，包括(一个或多个)网络接口设备1505、(一个或多个)可选输入设备1506和(一个或多个)其它可选IO设备1507。网络接口设备1505可包括无线收发器和/或网络接口卡(NIC)。无线收发器可以是WiFi收发器、红外收发器、蓝牙收发器、WiMax收发器、无线蜂窝电话收发器、卫星收发器(例如，全球定位系统(GPS)收发器)或其它射频(RF)收发器，或其组合。NIC可以是以太网卡。

输入设备1506可包括鼠标、触摸板、触敏屏(其可与显示设备1504集成)、诸如指示笔的指示器设备、和/或键盘(例如，作为触敏屏的一部分显示的物理键盘或虚拟键盘)。例如，输入设备1506可包括连接到触摸屏的触摸屏控制器。触摸屏和触摸屏控制器可以例如使用多种触摸灵敏度技术中的任何一种检测接触和移动或其中断，多种触摸灵敏度技术包括但不限于电容性、电阻性、红外和表面声波技术，以及用于确定与触摸屏的一个或多个接触点的其它接近传感器阵列或其它元件。

IO设备1507可包括音频设备。音频设备可包括扬声器和/或麦克风，以促进语音使能功能，诸如语音识别、语音复制、数字记录和/或电话功能。其它IO设备1507还可包括通用串行总线(USB)端口、并行端口、串行端口、打印机、网络接口、总线桥(例如PCI-PCI桥)、传感器(例如，诸如加速度计、陀螺仪、磁力计、光传感器、罗盘、接近传感器等的运动传感器)或其组合。装置1507可以进一步包括成像处理子系统(例如，相机)，其可包括光学传感器，诸如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)光学传感器，用于促进相机功能，诸如记录照片和视频剪辑。某些传感器可以经由传感器集线器(未示出)连接到互连1510，而诸如键盘或热传感器的其它设备可以由嵌入式控制器(未示出)控制，这取决于系统1500的具体配置或设计。

为了提供诸如数据、应用程序、一个或一个以上操作系统等信息的持久存储，大容量存储设备(未图示)也可连接到处理器1501。在各种实施例中，为了使能更薄和更轻的系统设计以及改进系统响应性，该大容量存储设备可经由固态装置(SSD)实现。然而，在其它实施例中，大容量存储设备可主要使用具有较少量SSD存储充当SSD缓存的硬盘驱动器(HDD)实现，以在断电事件期间启用上下文状态和其它此类信息的非易失性存储，使得在系统活动的重新启动时可发生快速加电。此外，闪存设备可以例如经由串行外围接口(SPI)连接到处理器1501。该闪存设备可以提供系统软件(包括BIOS以及系统的其它固件)的非易失性存储。

存储设备1508可包括计算机可访问存储介质1509(也称为机器可读存储介质或计算机可读介质)，在其上存储体现本文所述的方法或功能中的任何一个或多个的一组或多组指令或软件(例如，模块、单元和/或逻辑1528)。处理模块/单元/逻辑1528可以表示上述组件中的任何一个，诸如，例如规划模块305、控制模块306、安全监视器模块308、跛行模式安全监视器模块309、主安全监视器路径410或备用跛行模式安全监视器路径420。在由数据处理系统1500执行处理模块/单元/逻辑1528期间，处理模块/单元/逻辑1528还可以完全或至少部分地驻留在存储器1503内和/或处理器1501内，存储器1503和处理器1501也构成机器可访问存储介质。处理模块/单元/逻辑1528还可以经由网络接口设备1505通过网络发送或接收。

计算机可读存储介质1509还可用于持久地存储上述某些软件功能。尽管在示例性实施例中将计算机可读存储介质1509示出为单个介质，但是术语“计算机可读存储介质”应当被理解为包括存储一组或多组指令的单个介质或多个介质(例如，集中式或分布式数据库，和/或相关联的缓存和服务器)。术语“计算机可读存储介质”还应当被理解为包括能够存储或编码用于由机器执行的指令集并且使得机器执行本公开的方法中的任何一个或多个的任何介质。术语“计算机可读存储介质”因此应被理解为包括但不限于固态存储器、光和磁介质、或任何其它非瞬态机器可读介质。

处理模块/单元/逻辑1528、组件和本文所述的其他特征可以被实现为离散硬件组件或者被集成在诸如ASIC、FPGA、DSP或类似设备之类的硬件组件的功能性中。另外，处理模块/单元/逻辑1528可以被实现为硬件设备内的固件或功能电路。此外，处理模块/单元/逻辑1528可以以硬件设备和软件组件的任何组合实现。

注意，尽管系统1500是使用数据处理系统的各种组件示出，但它不旨在表示互连组件的任何特别体系结构或方式；因为这些细节与本公开的实施例没有密切关系。还将理解的是，具有更少组件或可能更多组件的网络计算机、手持式计算机、移动电话、服务器和/或其它数据处理系统也可与本公开的实施例一起使用。

已经在对计算机存储器内的数据位的操作的算法和符号表示方面呈现了前述详细描述的一些部分。这些算法描述和表示是数据处理领域的技术人员用来最有效地将他们的工作实质传达给本领域的其他技术人员的方式。算法在这里并且通常被认为是导致期望结果的自相容操作序列。这些操作是需要对物理量进行物理操纵的那些操作。

然而，应当记住的是，所有这些和类似的术语都与适当的物理量相关联，并且仅仅是应用于这些量的方便的标记。除非特别声明，否则从以上讨论中显而易见的是，应当理解的是，在整个说明书中，使用诸如所附权利要求书中所阐述的术语的讨论指的是计算机系统或类似电子计算设备的动作和处理，所述计算机系统或类似电子计算设备将计算机系统的寄存器和存储器内表示为物理(电子)量的数据操纵和变换成计算机系统存储器或寄存器或其它这样的信息存储、传输或显示设备内的类似地表示为物理量的其它数据。

本公开的实施例还涉及用于执行本文的操作的装置。这种计算机程序存储在非瞬态计算机可读介质中。机器可读介质包括用于以机器(例如，计算机)可读的形式存储信息的任何机制。例如，机器可读(例如，计算机可读)介质包括机器(例如，计算机)可读存储介质(例如，只读存储器(“ROM”)、随机存取存储器(“RAM”)、磁盘存储介质、光存储介质、闪存设备)。

在前述附图中描述的过程或方法可以由包括硬件(例如，电路、专用逻辑等)、软件(例如，体现在非暂时性计算机可读介质上)或两者的组合的处理逻辑来执行。尽管以上根据一些顺序操作描述了过程或方法，但是应当理解的是，可以以不同的顺序执行所述的一些操作。此外，一些操作可以并行地而不是顺序地执行。

本公开的实施例不是参考任何特别编程语言描述的。将了解，可使用各种编程语言实施如本文所述的本公开的实施例的教示。

在前述说明书中，已经参考本公开的具体示例性实施例描述了本公开的实施例。显然，在不背离如所附权利要求书中所阐述的本公开的更宽的精神和范围的情况下，可以对其进行各种修改。因此，说明书和附图应被认为是说明性的而不是限制性的。

Claims (21)

1.一种安全地导航自主驾驶车辆(ADV)的计算机实现的方法，包括：

鉴于所述ADV周围的一个或多个对象，至少部分地基于在高清晰度(HD)地图中定位所述ADV确定路线以导航所述ADV；

确定所述ADV的多个传感器中的每一个的有效传感器覆盖区域；

至少部分地基于所述路线和所述ADV的所述多个传感器中的每一个的有效传感器覆盖区域限定一个或多个安全可驾驶区域；

响应于来自ADV导航系统的多个导航控制输入而沿着所述路线导航所述ADV的同时，监视传感器中的每一个的有效传感器覆盖区域；以及

响应于基于监视所述有效传感器覆盖区域确定需要安全动作，修改所述多个导航控制输入中的一个或多个。

2.如权利要求1所述的方法，其中修改所述多个导航控制输入中的一个或多个包括：

确定所述ADV导航系统的定位系统没有在所述HD地图内正确地定位所述ADV；以及

修改一个或多个控制输入以停止所述ADV。

3.如权利要求1所述的方法，其中修改所述多个导航控制输入中的一个或多个包括：

确定所述ADV导航系统的感知系统中的传感器的有效传感器覆盖区域对于所述ADV的当前速度来说太小；以及

减少所述多个导航控制输入中的油门输入和/或增加所述多个导航控制输入中的制动输入，以减小所述ADV的当前速度。

4.如权利要求1所述的方法，还包括：响应于确定不需要安全动作，执行所述多个控制输入以沿着所述路线导航所述ADV。

5.如权利要求1所述的方法，其中限定安全可驾驶区域还包括：

识别表示沿着所述路线的对于所述ADV为障碍物的多个对象；

至少部分地基于所述多个对象和所述ADV的所述多个传感器中的每一个的有效传感器覆盖区域，生成所述ADV周围的多个安全关键对象；以及

考虑安全关键对象的列表而确定多个安全区域以导航所述ADV。

6.如权利要求1所述的方法，其中所述安全可驾驶区域包括除了在生成所述路线时由ADV规划模块考虑的区域之外的区域。

7.如权利要求1所述的方法，其中修改所述多个导航控制输入中的一个或多个包括：生成控制输入以执行以下操作中的一个：

导航到所述安全可驾驶区域中的一个以及停止所述ADV；或者

停止所述ADV。

8.一种非暂时性机器可读介质，其中存储有指令，当由处理器执行时，所述指令使得所述处理器执行安全地导航自主驾驶车辆(ADV)的操作，所述操作包括：

鉴于所述ADV周围的一个或多个对象，至少部分地基于在高清晰度(HD)地图中定位所述ADV确定路线以导航所述ADV；

确定所述ADV的多个传感器中的每一个的有效传感器覆盖区域；

至少部分地基于所述路线和所述ADV的所述多个传感器中的每一个的有效传感器覆盖区域限定一个或多个安全可驾驶区域；

响应于来自ADV导航系统的多个导航控制输入而沿着所述路线导航所述ADV的同时，监视传感器中的每一个的有效传感器覆盖区域；以及

响应于基于监视所述有效传感器覆盖区域确定需要安全动作，修改所述多个导航控制输入中的一个或多个。

9.如权利要求8所述的介质，其中修改所述多个导航控制输入中的一个或多个包括：

确定所述ADV导航系统的定位系统没有在所述HD地图内正确地定位所述ADV；以及

修改一个或多个控制输入以停止所述ADV。

10.如权利要求8所述的介质，其中修改所述多个导航控制输入中的一个或多个包括：

确定所述ADV导航系统的感知系统中的传感器的有效传感器覆盖区域对于所述ADV的当前速度来说是太小的；以及

减少所述多个导航控制输入中的油门输入和/或增加所述多个导航控制输入中的制动输入，以减小所述ADV的当前速度。

11.如权利要求8所述的介质，还包括：响应于确定不需要安全动作，执行所述多个控制输入以沿着所述路线导航所述ADV。

12.如权利要求8所述的介质，其中限定安全可驾驶区域还包括：

识别表示沿着所述路线的对于所述ADV为障碍物的多个对象；

至少部分地基于所述多个对象和所述ADV的所述多个传感器中的每一个的有效传感器覆盖区域，生成所述ADV周围的多个安全关键对象；以及

考虑安全关键对象的列表而确定多个安全区域以导航所述ADV。

13.如权利要求8所述的介质，其中所述安全可驾驶区域包括除了在生成所述路线以导航所述ADV时由ADV规划模块考虑的区域之外的区域。

14.如权利要求8所述的介质，其中修改所述多个导航控制输入中的一个或多个包括：生成控制输入以执行以下操作中的一个：

导航到所述安全可驾驶区域中的一个以及停止所述ADV；或者

停止所述ADV。

15.一种数据处理系统，包括：

处理器；以及

连接到所述处理器以存储指令的存储器，所述指令在由所述处理器执行时使得所述处理器执行安全地导航自主驾驶车辆(ADV)的操作，所述操作包括：

鉴于所述ADV周围的一个或多个对象，至少部分地基于在高清晰度(HD)地图中定位所述ADV确定路线以导航所述ADV；

确定所述ADV的多个传感器中的每一个的有效传感器覆盖区域；

至少部分地基于所述路线和所述ADV的所述多个传感器中的每一个的有效传感器覆盖区域限定一个或多个安全可驾驶区域；

响应于来自ADV导航系统的多个导航控制输入而沿着所述路线导航所述ADV的同时，监视所述传感器中的每一个的有效传感器覆盖区域；以及

响应于基于监视所述有效传感器覆盖区域确定需要安全动作，修改所述多个导航控制输入中的一个或多个。

16.如权利要求15所述的系统，其中修改所述多个导航控制输入中的一个或多个包括：

确定所述ADV导航系统的定位系统没有在所述HD地图内正确地定位所述ADV；以及

修改一个或多个控制输入以停止所述ADV。

17.如权利要求15所述的系统，其中修改所述多个导航控制输入中的一个或多个包括：

确定所述ADV导航系统的感知系统中的传感器的有效传感器覆盖区域对于所述ADV的当前速度来说是太小的；以及

减少所述多个导航控制输入中的油门输入和/或增加所述多个导航控制输入中的制动输入，以减小所述ADV的当前速度。

18.如权利要求15所述的系统，其中还包括：响应于确定不需要安全动作，执行所述多个控制输入以沿着所述路线导航所述ADV。

19.如权利要求15所述的系统，其中限定安全可驾驶区域还包括：

识别表示沿着所述路线的对于所述ADV为障碍物的多个对象；

至少部分地基于所述多个对象和所述ADV的所述多个传感器中的每一个的有效传感器覆盖区域，生成所述ADV周围的多个安全关键对象；以及

考虑安全关键对象的列表而确定多个安全区域以导航所述ADV。

20.如权利要求15所述的系统，其中所述安全可驾驶区域包括除了在生成路线以导航所述ADV时由ADV规划模块考虑的区域之外的区域。

21.如权利要求15所述的系统，其中修改所述多个导航控制输入中的一个或多个包括：生成控制输入以执行以下操作中的一个：

导航到所述安全可驾驶区域中的一个以及停止所述ADV；或者

停止所述ADV。

Images