CN114945802A - 用于识别和更新自动驾驶车辆的设计适用域的系统、设备和方法 - Google Patents

Abstract

一种用于识别自动驾驶系统(autonomous driving system，ADS)运行的设计适用域(operational design domain，ODD)的系统、方法和处理器可读介质。一方面，使用建议地图生成地理数据集。根据所述地理数据集评估所述ADS在一系列环境条件下的性能，从而识别由所述建议地图和所述一系列环境条件定义的建议条件空间的有限风险部分。基于所述建议条件空间的所述有限风险部分，识别所述设计适用域。当接收附加数据时，可以更新所述ODD。当使用所述ADS的车辆可能退出所述ODD时，可以提醒驾驶员。

Description

用于识别和更新自动驾驶车辆的设计适用域的系统、设备和 方法

相关申请交叉引用

本申请要求于2020年1月22日递交的申请号为16/749,602、发明名称为“用于识别和更新自动驾驶车辆的设计适用域的系统、设备和方法(SYSTEM,DEVICE AND METHOD OFIDENTIFYING AND UPDATING THE OPERATIONAL DESIGN DOMAIN OF AN AUTONOMOUSVEHICLE)”的美国专利申请案的权益，其全部内容通过引用结合在本申请中。

技术领域

本发明涉及自动驾驶车辆，尤其涉及一种用于识别和更新自动驾驶车辆的设计适用域(Operational Design Domain，ODD)的系统、设备和方法。

背景技术

自动驾驶系统(autonomous driving system，ADS)用于自动或半自动地驾驶车辆。给定ADS要在其中正常运行的域称为设计适用域(operational design domain，ODD)。ODD通常由地理边界或一组道路定义，并且还可以包括适用于ADS运行的附加条件或约束。ODD可以识别ADS要在其上安全运行的道路类型(高速公路、地方公路等)；ADS要在其中安全运行的地理类型(城市、丘陵、山区、沙漠等)；安全运行的速度范围；和/或ADS要在其下运行的环境条件(降水、道路条件、温度、照明条件等)。

通常，在将ADS部署在公共道路上以进行测试之前，定义包括地图边界和环境条件的ODD。用于识别ODD的典型方法基于商业或战略考虑因素针对地理区域设定地理围栏。然后，对设定地理围栏的区域进行测试：将配备ADS的车辆部署到设定地理围栏的区域以进行道路测试和经验验证，使用ADS驾驶车辆，通常车辆内有一名安全驾驶员，该安全驾驶员可以在ADS失败的情况下进行干预。一旦ADS运行经过测试或验证，设定地理围栏的区域即被视为ODD的一部分。

这些现有方法在很大程度上依赖于安全驾驶员在评估ADS时进行干预。这是有问题的，至少有以下四个原因。

第一，这要求安全驾驶员保持充分警惕并随时准备进行干预，而不事先向他们指示哪些条件(例如，哪些特定的道路或位置、哪些环境条件)会增加或降低ADS失败的风险。安全驾驶员在发生事故之前可能不会意识到ADS会失败，届时安全驾驶员可能无法做出足够快速的响应来避免事故。例如，安全驾驶员可能需要花费一定的时间才能意识到ADS未能正确识别对象，然后才能对该失败做出反应，从而导致车辆的总反应时间较长。

第二，要求安全驾驶员在监测ADS的同时始终保持充分警惕是不公平的，而且随着时间的推移安全驾驶员很可能会筋疲力尽，并且注意力不集中。

第三，当ADS的功能随着时间的推移发生变化时，例如通过软件或硬件的更新，安全驾驶员对ADS功能的了解变得不可靠。

第四，一旦ADS在设定地理围栏的区域经过测试，该区域通常被称为ODD，而不管测试期间需要多少安全驾驶员干预，因为没有系统的方法来区分和界定计划ODD的安全部分和不安全部分。

图1所示的流程图中示出了用于生成ODD的这些现有技术的示例。该已知方法10首先基于预测的商业战略选择地理区域12。在步骤14中，创建该区域的高清地图。然后，在步骤16中，通常在模拟中或者在不表示实际区域的封闭路线上运行ADS的初步基本测试。在步骤18中，告知安全驾驶员关于ADS的功能。在步骤20中，在安全驾驶员的陪同下，在该区域内部署ADS以进行道路测试。安全驾驶员有责任出于安全考虑而进行干预。当道路测试被视为完成时，在步骤22中，整个区域被称为ODD，而不考虑测试期间需要多少安全驾驶员干预。

这些当前技术的许多示例是众所周知的。通用汽车公司提供了一份安全报告(https://www.gm.com/content/dam/company/docs/us/en/gmcom/gmsafetyreport.pdf，该安全报告通过引用结合在本申请中)，表明使用公共道路作为任意选择的ODD的试验场地。该安全报告明确指出，只有通过在公共道路上试驾才能识别ODD的高风险区域。类似地，福特公司发布了一份安全报告(https://media.ford.com/content/dam/fordmedia/pdf/ Ford_AV_LLC_FINAL_HR_2.pdf，该安全报告通过引用结合在本申请中)，表明安全驾驶员(称为驾驶员)需要了解系统的功能，并且ODD的来源仅仅是预期和预测，而不是现实。此外，安全驾驶员需要不断了解ADS功能的变化，并在驾驶车辆时记住当前功能。Waymo也发布了一份安全报告(https://storage.googleapis.com/sdc-prod/v1/safety-report/waymo- safety-report-2017.pdf，该安全报告通过引用结合在本申请中)，该安全报告包括关于需要针对ADS功能向安全驾驶员提供教育和更新的类似声明。

发明内容

本发明提供了一种用于识别车辆自动驾驶系统(autonomous driving system，ADS)运行的设计适用域(operational design domain，ODD)的系统、方法和处理器可读介质。与定义上述ODD的现有技术相比，本发明具有一个或多个优点。

第一，在本发明中，可以基于所述ADS的功能相对于客观、系统的风险度量来定义所述ODD，从而捕获所述ADS的完整功能并使所述ODD与商业目标保持一致，而不仅仅基于预测的商业模型来先验地定义所述ODD。

第二，当所述ADS在有限风险参数之外运行并且因此更有可能需要干预时，所述ODD可以使所述ADS能够通知安全驾驶员，而不是依赖于所述安全驾驶员是否能够记住所述ADS的复杂且可能不断变化的功能，如上述技术中所述。

第三，现有技术可以在风险超出任何预定风险参数的区域部署自动驾驶车辆以进行道路测试，与此不同的是，本发明可以避免过早的不安全道路测试，所述过早的不安全道路测试在危险程度方面类似于盲测。

第四，与现有技术不同，本发明可以提供一种正式的方式，以便在收集进一步的数据并与所述ADS的性能以及管理项目的实体的风险容忍度进行比较时更新所述ODD。

基于这些潜在的优点，本发明可以允许在所述ADS部署用于道路测试之前可靠地识别所述ODD。通过证明所述ODD在道路测试开始之前存在有限风险，本发明可以避免现有技术最初高估置信度的方法，然后在所述高估置信度表现为潜在事故时依赖所述安全驾驶员进行干预。本发明可以使所述ADS能够在定义的所述ODD内运行，从而确保所发生损失的预期值限定在预定阈值(例如，美元值阈值)下。

根据本发明的第一方面，提供了一种用于识别车辆自动驾驶系统(autonomousdriving system，ADS)运行的设计适用域的方法。所述方法包括：接收建议条件空间数据，其包括表示建议地图的数据；使用所述建议条件空间数据生成地理数据集；使用所述地理数据集评估所述ADS的性能；基于所述ADS性能，识别所述建议条件空间的有限风险部分；基于所述建议条件空间的所述有限风险部分，识别所述设计适用域。

根据本发明的第二方面，提供了一种用于识别车辆自动驾驶系统(autonomousdriving system，ADS)运行的设计适用域(operational design domain，ODD)的系统。

根据本发明的所述第二方面的一个实施例，所述系统包括处理器系统和耦合至所述处理器系统的存储器。所述存储器在其上有形地存储可执行指令，所述可执行指令在由所述处理器系统执行时，使得所述系统执行以下操作：接收建议条件空间数据，其包括表示建议地图的数据；使用所述建议条件空间数据生成地理数据集；使用所述地理数据集评估所述ADS的性能；基于所述ADS性能，识别所述建议条件空间的有限风险部分；基于所述建议条件空间的所述有限风险部分，识别所述设计适用域。

根据本发明的所述第一方面或第二方面的一些实施例，所述建议条件空间还包括表示一系列建议环境条件；评估所述ADS包括使用所述地理数据集评估所述自动驾驶系统在所述一系列建议环境条件下的性能；所述建议条件空间的所述有限风险部分包括所述建议地图中的位置与存在有限风险的所述一系列建议环境条件中的环境条件的一组组合。环境条件的使用提高了所述系统或方法在评估风险方面的稳健性。

根据本发明的所述第一方面或第二方面的一些实施例，使用所述建议条件空间数据生成所述地理数据集包括：接收所述建议地图的多个地图特征。使用地图特征提高了所述系统或方法在评估车辆可能会遇到的特定特征所呈现的风险方面的稳健性。

根据本发明的所述第一方面或第二方面的一些实施例，所述建议地图的所述地图特征包括：多个节点，对应于所述建议地图上的位置；多个路段，每个路段对应于两个所述节点之间的路径；多条路线，每条路线包括一个或多个所述路段；多种对象类型，每种对象类型具有一个或多个相遇概率，每个相遇概率与所述路段中的一个相关联。使用特定对象类型的相遇概率提高了所述系统在基于所述建议地图区域内给定路线段中每种对象类型的普遍性来评估风险方面的稳健性。

根据本发明的所述第一方面或第二方面的一些实施例，所述有限风险包括低于风险阈值的最大风险度量值，所述最大风险度量值被计算为对应于位于所述建议地图的所述有限风险部分内存在有限风险的多条路线的多个路线风险度量值中的最高路线风险度量值。使用低于风险阈值的最大风险度量确保所述建议地图的所述有限风险部分内路线的任何部分的最大风险将低于项目风险容忍度定义的风险阈值。

根据本发明的所述第一方面或第二方面的一些实施例，通过对所述对应路线上存在的多种对象类型中的每种对象类型的预期风险进行求和来计算每个路线风险度量值，将对象类型的所述预期风险计算为以下各项的乘积：严重性值，其指示所述ADS未能对所述路线上的所述对象类型做出适当反应的预期严重性；暴露值，其指示所述路线上的所述对象类型的普遍性；失败可能性值，其指示所述ADS无法对所述路线上的所述对象类型做出适当反应的可能性；其中，所述失败可能性值基于使用所述地理数据集在所述一系列建议环境条件下对ADS性能的评估。使用严重性值、暴露值和失败可能性值会产生对应于ADS的总体失败可能性的稳健风险度量。

根据本发明的所述第一方面的一些实施例，所述系统还包括车辆，所述车辆包括所述ADS并且用于由驾驶员驾驶，其中，所述指令在由所述处理器系统执行时，还使得所述系统执行以下操作：确定所述车辆可能退出所述设计适用域；响应于确定所述车辆可能退出所述设计适用域，提醒所述驾驶员。如上所述，能够提醒车辆驾驶员退出所述ODD使得所述驾驶员能够关注车辆行驶的无限风险部分。

根据本发明的所述第二方面的一些实施例，所述方法还包括：确定使用所述ADS进行自动驾驶的车辆可能退出所述设计适用域；响应于确定所述车辆可能退出所述设计适用域，提醒所述车辆的驾驶员。如上所述，能够提醒车辆驾驶员退出所述ODD使得所述驾驶员能够关注车辆行驶的无限风险部分。

根据本发明的所述第一方面的一些实施例，所述指令在由所述处理器系统执行时，还使得所述系统在识别所述设计适用域之后执行以下操作：接收附加数据；使用所述地理数据集和所述附加数据重新评估所述ADS的性能，从而更新所述建议条件空间的所述有限风险部分；基于所述建议条件空间的所述更新的有限风险部分，更新所述设计适用域。如上所述，这使得能够在接收到更新的数据时更新所述ODD，以保持所述ODD准确且与最新信息一致。

根据本发明的所述第二方面的一些实施例，所述方法还包括在识别所述设计适用域之后：接收附加数据；使用所述地理数据集和所述附加数据重新评估所述ADS的性能，从而更新所述建议条件空间的所述有限风险部分；基于所述建议条件空间的所述更新的有限风险部分，更新所述设计适用域。如上所述，这使得能够在接收到更新的数据时更新所述ODD，以保持所述ODD准确且与最新信息一致。

根据本发明的所述第一方面或第二方面的一些实施例，所述附加数据选自由以下各项组成的组：更新的建议地图数据、更新的地理数据集数据、更新的预期风险数据、更新的风险阈值数据和更新的ADS性能数据。以上各种数据类型都可能与更新所述ODD相关。

根据本发明的又一方面，提供了一种非瞬时性处理器可读介质，其上有形地存储有可执行指令，所述可执行指令在由处理器执行时，使得所述处理器执行根据本发明的所述第二方面的所述实施例中的一个实施例所述的方法。

附图说明

图1示出了用于识别ADS的ODD的已知方法的流程图；

图2示出了本发明的示例性实施例提供的在包括通信系统的环境中自动驾驶的车辆的示意图；

图3A示出了本发明的一个示例性实施例提供的图2所示车辆的框图；

图3B示出了本发明的一个示例性实施例提供的ODD识别自动驾驶系统的框图；

图4A示出了本发明的示例性实施例提供的用于识别ADS的ODD的系统的概要操作的系统图；

图4B示出了本发明的示例性实施例提供的用于识别包含环境条件的ADS的ODD的系统的概要操作的系统图；

图5示出了本发明的示例性实施例提供的用于识别包含环境条件的ADS的ODD的方法的概要操作的流程图；

图6示出了本发明的示例性实施例提供的用于通过将定位、感知和规划风险中的每一个与自身风险阈值进行比较来识别ADS的ODD的第一方法的概要操作的流程图；

图7示出了本发明的示例性实施例提供的用于通过将组合的定位、感知和规划风险总计与风险阈值进行比较来识别ADS的ODD的第二方法的概要操作的流程图；

图8示出了本发明的示例性实施例提供的用于通过将总体风险与风险阈值进行比较来识别ADS的ODD的第三方法的概要操作的流程图；

图9示出了本发明的示例性实施例提供的用于生成和/或增强用于评估ADS性能的条件数据的方法的概要操作的流程图。

具体实施方式

本发明是参考附图进行的，附图中示出了实施例。但是，可以使用许多不同的实施例，因此描述不应解释为局限于本文中阐述的实施例。相反，提供这些实施例是为了使得本发明彻底和完整。在可能的情况下，在附图和具体实施方式中，使用相同的附图标记表示相同的元件，并且在可替代实施例中，使用加撇符号表示类似的元件、操作或步骤。所示系统、模块和设备的功能元素的单独框或所示分离不一定需要这些功能的物理分离，因为这些元素之间的通信可以在没有任何这种物理分离的情况下通过消息传递、函数调用、共享内存空间等方式发生。因此，尽管为了便于解释，本文单独说明了这些功能，但是这些功能不需要在物理或逻辑上分离的平台中实现。不同的设备可以具有不同的设计，使得尽管一些设备在固定功能硬件中实现一些功能，但其它设备可以在可编程处理器中实现这些功能，该处理器具有从机器可读介质获得的代码。最后，采用单数形式表示的元件可以具有复数含义，反之亦然，除非上下文另有明确或固有指示。

为了方便起见，本发明描述了关于机动车辆的方法和系统的示例性实施例，例如汽车、卡车、公共汽车、小船或轮船、潜艇、飞机、仓库设备、建筑设备、拖拉机或其它农场设备。本发明的教导不限于任何特定类型的车辆，并且可以应用于不运载乘客的车辆以及运载乘客的车辆。本发明的观点还可以在移动机器人车辆中实现，所述移动机器人车辆包括但不限于自主真空吸尘器、探测器、割草机、无人飞行载具(unmanned aerial vehicle，UAV)和其它对象。

图2示出了车辆105在其中驾驶的环境100的示意图。所述环境包括与所述车辆105通信的通信系统100。所述车辆105包括车辆控制系统115。如下所述，图3A中更详细地示出的车辆控制系统115耦合至所述车辆105的驱动控制系统150和机电系统190。在各种实施例中，所述车辆控制系统115可以允许所述车辆105在完全自主、半自主或完全用户控制模式中的一个或多个模式下操作。

所述车辆105可以包括传感器，这里示出为收集有关所述车辆105周围外部环境100的数据的多个环境传感器110(以下称为环境传感器110)，以及收集有关所述车辆105的运行状况的数据的多个传感器111(以下称为车辆传感器111)。例如，所述环境传感器110可以包括一个或多个摄像头单元112、一个或多个激光雷达(light detection and ranging，LiDAR)单元114和一个或多个雷达单元，例如合成孔径雷达(synthetic aperture radar，SAR)单元116。如下所述，所述摄像头(单元)112、LiDAR单元114和SAR单元116安装在所述车辆105上并且位于所述车辆105周围，并且各自耦合至所述车辆控制系统115。在一个示例性实施例中，所述摄像头单元112、LiDAR单元114和SAR单元116安装在所述车辆105上并且位于所述车辆105的前侧、后侧、左侧和右侧，以收集有关位于所述车辆105的所述前侧、后侧、左侧和右侧的所述外部环境100的数据。对于每种类型的环境传感器110，安装或以其它方式定位各个单元，使其具有不同的视场(field of view，FOV)或覆盖区域，以捕获有关所述车辆105周围的环境的数据。在一些示例中，对于每种类型的环境传感器110，一些或所有相邻环境传感器110的所述FOV或覆盖区域部分重叠。相应地，所述车辆控制系统115接收由摄像头单元112、LiDAR单元114和SAR单元116收集的有关所述车辆105的所述外部环境的数据。

车辆传感器111可以包括惯性测量单元(inertial measurement unit，IMU)118、电子罗盘119和其它车辆传感器120，例如速度计、转速计、车轮牵引力传感器、传动齿轮传感器、油门和制动位置传感器、转向角传感器。所述IMU 118使用加速计和陀螺仪的组合来感测所述车辆105的比力和角速度，并基于所述车辆105感测的比力和角速度提供所述车辆的方向。所述车辆传感器111在激活时重复(例如，定期)感测所述环境，并实时或接近实时地向所述车辆控制系统115提供有关所述车辆105的运行状况的数据。例如，所述车辆控制系统115可以使用从卫星接收器132接收的信号来收集有关所述车辆105的位置的数据。所述车辆控制系统115还可以从所述IMU 118接收有关所述车辆105的方向的数据。所述车辆控制系统115可以使用由所述卫星接收器132、所述IMU 118和其它车辆传感器120中的一个或多个提供的有关所述车辆105的运行状况的数据，来确定所述车辆105的线速度、所述车辆105的角速度、所述车辆105的加速度、所述车辆105的发动机转速、所述车辆105的变速器齿轮和轮胎抓地力等因素。

所述车辆控制系统115还可以包括一个或多个无线收发器130，所述无线收发器130使所述车辆控制系统115能够与所述通信系统100的无线广域网(wide area network，WAN)210交换数据和(可选地)语音通信。所述车辆控制系统115可以使用所述无线WAN 210经由一个或多个通信网络220(例如，因特网)来访问服务器240，例如驾驶辅助服务器。所述服务器240可以实现为数据中心中的一个或多个服务器模块，且通常位于防火墙230后方。所述服务器240连接至网络资源250，例如所述车辆控制系统115可以使用的补充数据源。

除所述无线WAN 210外，所述环境100还包括卫星网络260，所述卫星网络260包括多个卫星。所述车辆控制系统115包括所述卫星接收器132(图2)，所述卫星接收器132可以使用所述卫星接收器132从所述卫星网络260中的所述多个卫星接收的信号来确定其位置。所述卫星网络260通常包括多个卫星，所述多个卫星是至少一个全球导航卫星系统(GlobalNavigation Satellite System，GNSS)的一部分，所述GNSS在全球范围内提供自主地理空间定位。例如，所述卫星网络260可以是一组GNSS卫星。示例性GNSS包括美国NAVSTAR全球定位系统(Global Positioning System，GPS)或俄罗斯全球导航卫星系统(GLObalNAvigation Satellite System，GLONASS)。已经部署或正在开发的其它卫星导航系统包括欧盟的伽利略定位系统、中国的北斗导航卫星系统(BeiDou Navigation SatelliteSystem，BDS)、印度区域卫星导航系统和日本卫星导航系统。

图3A示出了本发明的一示例性实施例提供的车辆105的选定组件。如上所述，所述车辆105包括车辆控制系统115，所述车辆控制系统115连接至驱动控制系统150和机电系统190以及环境传感器110和车辆传感器111。所述车辆105还包括各种结构元件，例如本领域已知但本发明中已省略的框架、门、面板、座椅、窗户、镜子等，以避免混淆本发明的观点。所述车辆控制系统115包括处理器系统102，所述处理器系统102经由通信总线(未示出)耦合至所述组件，所述通信总线提供多个组件与所述处理器系统102之间的通信路径。所述处理器系统102耦合至：驱动控制系统150；随机存取存储器(Random Access Memory，RAM)122；只读存储器(Read Only Memory，ROM)124；永久性(非易失性)存储器126，例如闪速可擦除可编程只读存储器(erasable programmable read only memory，EPROM)(闪存)；一个或多个无线收发器130，用于与所述无线网络210交换射频信号；卫星接收器132，用于从所述卫星网络260接收卫星信号；实时时钟134和触摸屏136。所述处理器系统102可以包括一个或多个处理单元，例如包括一个或多个中央处理单元(central processing unit，CPU)、一个或多个图形处理单元(graphical processing unit，GPU)、一个或多个张量处理单元(tensor processing unit，TPU)和其它处理单元。

所述一个或多个无线收发器130可以包括一个或多个蜂窝(RF)收发器，用于使用不同的无线数据通信协议和标准与多个不同的无线接入网(例如，蜂窝网络)进行通信。所述车辆控制系统115可以与其地理覆盖区域内的所述无线WAN 210(例如，蜂窝网络)的多个固定收发器基站(其中一个如图1所示)中的任何一个进行通信。所述一个或多个无线收发器130可以通过所述无线WAN 210发送和接收信号。所述一个或多个无线收发器130可以包括支持多个射频频带的多频带蜂窝收发器。

所述一个或多个无线收发器130还可以包括无线局域网(wireless local areanetwork，WLAN)收发器，用于通过WLAN接入点(access point，AP)与WLAN(未示出)进行通信。所述WLAN可以包括符合IEEE 802.11x标准(有时称为

)或其它通信协议的Wi-Fi无线网络。

所述一个或多个无线收发器130还可以包括短距离无线收发器，例如

收发器，用于与智能手机或平板电脑等移动计算设备进行通信。所述一个或多个无线收发器130还可以包括其它短距离无线收发器，包括但不限于近场通信(Near FieldCommunication，NFC)、IEEE 802.15.3a(也称为超宽带(UltraWideband，UWB))、Z-Wave、ZigBee、ANT/ANT+或红外(例如，国际红外数据协会(Infrared Data Association，IrDA)通信)。

所述实时时钟134可以包括提供精确实时时间数据的晶体振荡器。所述时间数据可以基于通过卫星接收器132接收的时间数据或基于从执行网络时间协议的网络资源250接收的时间数据进行周期性调整。

所述触摸屏136包括显示器，诸如彩色液晶显示器(color liquid crystaldisplay，LCD)、发光二极管(light-emitting diode，LED)显示器或有源矩阵有机发光二极管(active-matrix organic light-emitting diode，AMOLED)显示器，具有连接到电子控制器的触敏输入表面或叠加层。此外，还可以提供耦合至所述处理器系统102的附加输入设备(未示出)，包括按钮、开关和显示盘。

所述车辆控制系统115还包括一个或多个扬声器138、一个或多个麦克风140以及一个或多个数据端口142，例如串行数据端口(例如，通用串行总线(Universal SerialBus，USB)数据端口)。所述车辆控制系统115还可以包括其它传感器120，例如轮胎压力传感器(tire pressure sensor，TPS)、车门接触开关、光传感器和接近传感器等。

所述驱动控制系统150用于控制所述车辆105的运动。所述驱动控制系统150包括转向单元152、制动单元154和油门(或加速)单元156，每个单元可以实现为所述驱动控制系统150内的软件模块或控制块。当处于全自动或半自动驾驶模式时，所述转向单元152、制动单元154和油门单元156处理并从(用于自主/半自动驾驶模式的)自动驾驶系统(autonomous driving system，ADS)170接收导航指令，生成控制信号以控制所述车辆105的转向、制动和油门中的一个或多个。所述驱动控制系统150可以包括用于控制所述车辆105的其它方面的附加组件，例如包括转向信号和制动灯。

所述机电系统190从所述驱动控制系统150接收控制信号，以操作所述车辆105的所述机电组件。所述机电系统190实现所述车辆105的物理操作。所述机电系统190包括发动机192、变速器194和车轮196。例如，所述发动机192可以是汽油发动机、电池供电发动机或混合动力发动机。其它组件可以包括在所述机电系统190中，例如包括转向信号、制动灯、风扇和车窗。

所述车辆控制系统115的图形用户界面(graphical user interface，GUI)由所述处理器系统102呈现并显示在所述触摸屏136上。用户可以使用所述触摸屏136和可选的其它输入设备(例如，按钮、刻度盘)与所述GUI交互以选择所述车辆105的驾驶模式(例如，全自动驾驶模式或半自动驾驶模式)，并且显示相关数据和/或信息，例如导航信息、驾驶信息、停车信息、媒体播放器信息和气候控制信息等。所述GUI可以包括一系列可遍历的内容特定菜单。

除所述GUI外，所述车辆控制系统115的所述存储器126上存储有多个软件系统161，每个软件系统161包括可由所述处理器系统102执行的指令。所述软件系统161包括操作系统160以及用于全自动和/或半自动驾驶的自动驾驶系统(autonomous drivingsystem，ADS)170。在一些实施例中，所述ADS 170可以包括用于在五种公认的自动或半自动车辆驾驶模式中的一种或多种模式中的每种模式下操作的单独子模块：驾驶员辅助子模块，用于在驾驶员辅助模式(1级)下操作；部分自动化子模块，用于在部分自动化模式(2级)下操作；条件自动化子模块，用于在条件自动化模式(3级)下操作；高自动化子模块，用于在高自动化模式(4级)下操作；和/或全自动化子模块，用于在全自动化模式(5级)下操作。

所述自动驾驶系统170可以包括一个或多个软件模块168，所述一个或多个软件模块168包括：计算机视觉模块172；ODD识别模块174，用于根据本文中描述的示例性实施例识别ODD；定位模块177；感知模块178；规划模块和其它模块176。所述存储器126上还存储有所述自动驾驶系统170可以调用的每个所述软件模块168的指令。例如，其它模块176可以包括映射模块、导航模块、气候控制模块、媒体播放器模块、电话模块和消息处理模块。所述ODD识别模块174的所述指令在由所述处理器系统102执行时，使得执行本文中描述的方法的操作。

尽管所述ODD识别模块174示为单独的模块，但在一些实施例中，一个或多个所述软件模块168(包括所述ODD识别模块174)可以与一个或多个其它模块176相结合。

所述存储器126还存储各种数据180。所述数据180可以包括：从所述环境传感器110接收的数据182；用户数据184，包括用户偏好、设置以及可选的个人媒体文件(例如，音乐、视频和方向等)；下载缓存186，包括经由所述无线收发器130下载的数据，所述数据包括从网络资源250下载的数据等。所述传感器数据182可以包括从所述摄像头112接收的摄像头数据、从所述LiDAR单元114接收的LiDAR数据、来自所述SAR单元116的RADAR数据、来自所述IMU 118的IMU数据、来自所述电子罗盘119的罗盘数据以及来自其它车辆传感器120的其它传感器数据。所述摄像头数据表示所述摄像头112捕获的所述环境100的图像。所述LiDAR数据表示所述LiDAR单元114生成的环境的点云。所述RADAR数据还表示所述SAR单元116生成的环境的点云。所述下载缓存186可以定期删除，例如，在预先确定的时间之后。系统软件、软件模块、特定设备应用或其部分可以临时加载到易失性存储器(例如，RAM 122)中，所述易失性存储器用于存储运行时数据变量和其它类型的数据和/或信息。所述车辆控制系统115接收的数据也可以存储在所述RAM 122中。虽然针对各种类型的存储器描述了特定功能，但这仅是一个示例，并且也可以使用不同类型的存储器的功能分配。

识别ADS的ODD

现在将描述自动驾驶系统(autonomous driving system，ADS)的设计适用域(operational design domain，ODD)的识别和更新。

在一些实施例中，所述ODD识别模块174可以在与所述车辆控制系统115分离的系统(例如，远离所述车辆105的计算机系统)上存储和执行。例如，在一些实施例中，所述ODD识别模块174位于所述服务器240内的存储器上，并由所述服务器240的处理器系统执行以识别和/或更新ODD以供所述ADS 170使用。所述服务器240生成的ODD定义数据414、464(图4A和图4B)可以通过图2中所示的通信网络或其它数据传输方式传输到所述车辆控制系统115。在其它实施例中，所述ODD识别模块174可以在分布式计算平台上的一个或多个服务器或处理器上实现，或者也可以是设置在云计算平台上的虚拟机。图3B示出了与所述车辆控制系统115分离的系统(以下称为ODD识别系统300)的示例。

接下来参考图3B，该图示出了本发明示例性实施例提供的用于识别自动驾驶系统(autonomous driving system，ADS)运行的设计适用域(operational design domain，ODD)的ODD识别系统300的框图。所述ODD识别系统300远离所述车辆控制系统115，并通过通信网络(例如，无线通信网络)与所述车辆控制系统115通信，下面将进一步详细描述。

所述ODD识别系统300包括通信系统330和耦合至存储器326的处理器系统302。所述存储器326存储所述ODD识别模块174和数据380。所述数据380包括地理数据382、环境数据384和/或下面将进一步描述的关于识别和/或更新ODD的各种方法的附加数据386。所述ODD识别系统300在执行所述ODD识别模块174的指令时，可以利用存储在所述存储器326中和/或从其它来源(例如，一个或多个通信系统330)接收的所述数据380。所述ODD识别系统300可以位于车辆105上，或者可以是所述车辆105的一部分，或者可以与所述车辆105的所述车辆控制系统115通信。

所述ODD识别模块174和本文所述方法的示例可以使用以货币(或一些其它)值定义的统计数据和风险容忍度来识别和确定给定地图和一系列环境条件是否可以被视为所述ODD的一部分，即使在所述车辆105中部署所述ADS 170之前也是如此。如下面将进一步详细描述的图4A和图4B所示，使用表示所述车辆105将在其中驾驶的环境地图的数据(以下称为地图数据)和表示一系列环境条件的数据(以下称为环境范围数据)作为被视为所述ADS170的所述ODD的一部分的起点。在一些实施例中，例如图4A中所示的实施例，所述地图数据和所述环境范围数据可以彼此相结合和/或与其它条件数据相结合，以构成建议条件空间数据402，下面将进一步详细描述。数据生成器404接收所述建议条件空间数据402作为输入，并生成地理数据集406，所述地理数据集406包括具有不断变化的环境条件的所述地图数据。所述地理数据集406反映对应于所述地图数据的道路上的各种对象的真实暴露(即，找到对象的概率)。然后，使用ADS评估器408在所述地理数据集406上测试所述ADS 170，所述ADS评估器408计算在所述一系列环境条件下所述建议ODD的每个路段的总风险。然后，将所述总风险与预设风险阈值进行比较，识别在所述一系列环境条件的子系列下风险小于所述阈值的路段，并将所述路段更新到所述ODD中，同时识别每个路段对应的子系列环境条件。然后，所识别的ODD产生场景，使得在所述ADS 170失败的情况下预期损失值小于预定阈值。

图4A示出了本发明的示例性实施例提供的用于识别ADS(例如，ADS 170)运行的设计适用域(operational design domain，ODD)的系统400的概要系统图。应当理解的是，所述ODD识别模块174包括所述系统400。在一些实施例中，所述系统400是包括计算机可读指令的软件系统，所述计算机可读指令存储在所述存储器126中并由所述车辆控制系统115的所述处理器系统102执行，用于识别所述ADS 170运行的ODD。在其它实施例中，如上文参考图3B所示的ODD识别系统300所述，所述ODD识别系统300是计算机系统，所述计算机系统在空间和/或时间上与要使用所述ADS 170驾驶的所述车辆105相距较远。所述ODD识别系统300包括所述ODD识别模块174，所述ODD识别模块174包括用于识别所述ODD的所述系统400。可以与所述ADS 170的运行异步包括所述ADS 170的所述ODD，在部署所述车辆105之前，在所述ADS 170中安装所识别或更新的ODD定义。可以通过图2中所示的通信网络执行该安装，或者可以使用任何其它数据传输技术来执行，例如，通过使用物理数据存储介质经由所述数据端口142手动上传所述ODD定义数据。

在一些实施例中，用于执行所述方法的指令有形地存储在非瞬时性处理器可读介质中，下面将进一步描述。所述指令在由处理器执行时，使所述处理器执行本文所述方法。

图4A中所示的系统400开始于所述数据生成器404，所述数据生成器404接收建议条件空间数据402。所述建议条件空间数据402是表示建议条件空间的数据。所述建议条件空间是由所述ADS 170可以在其中运行的一系列或一组建议条件定义的多维空间。在一些实施例中，所述建议条件空间包括地理条件，例如位置(例如，特定道路、路段或地图边界)、地形类型或道路维修条件。所述位置可以包括建议地图，所述建议地图可以包括初始地图边界。在一些其它实施例中，所述建议条件空间还可以包括如下所述的地图特征。

所述建议条件空间还可以包括所述ADS 170可以在其下运行的其它建议条件，包括环境条件、车辆状态条件和驾驶员条件。所述环境条件的示例包括照明条件、天气条件、一天中的时间条件。所述车辆状态条件的示例包括各种传感器和其它车辆系统的操作或性能状态。所述驾驶员条件的示例包括驾驶员的身份、精神状态或身体状态。因此，所述建议条件空间定义了由所述系统400识别的ODD的外部边界。所述系统400的输出是表示ODD定义的数据(以下称为ODD 414/464)。ODD定义是包括所述建议条件空间的一部分的条件子空间。因此，例如，当所述建议条件空间包括包含多个路段(例如，X街道的街区1200+高速公路出口5与高速公路出口6之间的高速公路10)和多个天气条件(晴朗+多云+小雨+大雨)的位置和环境条件时，所述系统400识别的所产生的ODD 414/464可以包括(路段x天气条件)的某个子集：例如，所述ODD 414/464可以包含((X街道的所述街区1200)x(晴朗+多云+小雨))+((高速公路出口5与高速公路出口6之间的高速公路10)x(晴朗+多云))。

数据生成器404接收所述建议条件空间数据402，并使用所述建议条件空间数据402生成地理数据集406。在一些实施例中，所述建议条件空间数据452包括表示地图特征的数据(以下称为地图特征数据)。可以在从所述建议地图推导出地图特征时生成地图特征数据，下面将进一步详细描述。可以从预先存在的地图推导出所述地图特征。替代地或附加地，可以从表示测量车辆周围环境的数据(以下称为测量数据)生成所述地图特征，在所述测量车辆在所述建议地图的边界内的路段上驾驶时，从所述测量车辆的环境传感器接收所述数据。在一些实施例中，可以从所述建议地图的边界内的路段上环境的虚拟表示(以下称为模拟数据，下面将进一步详细描述)生成所述地图特征。在一些实施例中，仅基于所述建议地图数据452生成所述地理数据集406，而在其它实施例中，通过将所述环境范围数据453与所述建议地图数据452(参见图4B)相结合来生成所述地理数据集。因此，对于所述地图边界内的每个路段，所述地理数据集406包括两种不同类型的数据。第一，所述地理数据集406包括指示所述道路上可能存在的对象类型的对象数据以及每种对象类型的相关普遍性值。可以从预先存在的地图特征数据、模拟数据和测量数据的组合中推导出所述对象数据。第二，所述地理数据集406包括传感器数据和/或模拟传感器数据，所述传感器数据指示在测量车辆在所述道路上行驶期间由其传感器接收的数据，所述模拟传感器数据由在所述道路上虚拟行驶的模拟车辆接收。可以由配备精度高于所述车辆105的所述环境传感器110的传感器的测量车辆采集所述传感器数据；在此类情况下，可以在将所述传感器数据包括在所述地理数据集406中之前对所述传感器数据进行下采样，以表示所述车辆105的所述环境传感器110的精度水平。所述传感器数据包括元数据，所述元数据指示所述测量车辆的真实或虚拟位置以及所述传感器数据表示的每个时间点的真实或虚拟条件(例如，所述测量车辆周围的环境条件、驾驶员条件和/或车辆状态条件)。

在所述数据生成器404生成地理数据集406之后，可以通过对所述传感器数据应用所述环境条件的模拟变化来使用增强数据补充所述地理数据集406，从而进一步增强所述地理数据集406，下面将进一步详细描述。因此，所述数据生成器404输出的所述地理数据集406包括测量数据、增强数据、模拟数据，或测量数据、增强数据和模拟数据的任意组合。

生成所述地理数据集406之后，ADS评估器408使用所述地理数据集406评估所述ADS170的性能，下面将进一步详细描述。所述ADS评估器408对所述地理数据集406的评估导致在所述条件(例如，环境条件、车辆状态条件和/或驾驶员条件)的每个组合下计算所述建议地图中的每个路段的ADS风险度量，示出为所述ADS评估器408输出的每个条件的ADS风险410。风险比较器412将风险阈值411与每个路段的所述ADS风险进行比较，并基于哪些路段在哪些条件下满足所述比较来识别ODD 414。所述风险阈值411可以根据风险容忍度来定义，例如通过货币(或一些其它)值来定义，下面将进一步详细描述。具有低于所述风险阈值411的ADS风险410的所述建议条件空间的部分(例如，所述建议地图中的路段、在规定的一系列条件下的路段)定义了所述建议条件空间的有限风险部分。所识别的ODD 414由所述风险比较器412输出，其中，所述ODD 414由所述建议条件空间的所述有限风险部分组成或基于所述建议条件空间的所述有限风险部分。

参考图4B，该图示出了用于识别ODD的第二系统450的示例的概要系统图。应当理解的是，所述ODD识别模块174包括所述系统450。在一些实施例中，所述系统450是包括计算机可读指令的软件系统，所述计算机可读指令存储在所述存储器126中并由所述车辆控制系统115的所述处理器系统102执行，用于识别所述ADS 170运行的ODD。在一些实施例中，所述系统300包括所述ODD识别模块174，所述ODD识别模块174包括用于识别所述ODD的所述系统450。

参考图4B，所述数据生成器454接收建议地图数据452和表示所述一系列建议环境条件453的数据(以下称为环境范围数据453)。所述建议地图数据452和所述环境范围数据453用于生成地理数据集456，所述地理数据集456包括上文参考图4A中生成的所述地理数据集406所述的测量数据、增强数据和/或模拟数据的部分组合。所述ADS评估器458接收所述地理数据集456，并使用上文参考图4A和图4B所述的地理数据集456评估所述ADS 170的性能。所述ADS评估器458输出ADS风险数据460，所述ADS风险数据460指示在所述一系列建议环境条件中的每个环境条件下所述建议地图中的每个路段的风险值。所述风险比较器462接收所述ADS风险数据460和指示风险阈值的风险阈值数据461，将所述风险阈值与每个环境条件下的每个路段的最大风险度量值进行比较，并基于所述比较来识别ODD 464，下面将进一步详细描述。所述ODD 464是存在有限风险的(路段x环境条件的)多维条件子空间(即，不包含风险度量值高于所述风险阈值的路段和环境条件的组合的子空间)。因此，所述建议条件空间的所述有限风险部分包括在所述一系列建议环境条件的有限风险子系列下存在有限风险的所述建议地图的有限风险部分。

因此，如参考图4A和图4B所描述的，用于识别ODD的示例性系统涉及在数据生成器404/454处接收所述建议条件空间数据402(其可以划分为所述建议地图数据452和所述建议环境范围数据453)，所述数据生成器404/454使用所述建议条件空间数据生成地理数据集406/456。ADS评估器408/458使用地理数据集评估所述ADS 170的性能。风险比较器412/462使用该评估的结果来识别由所述建议条件空间数据表示的所述建议条件空间的有限风险部分，所述建议条件空间的所述有限风险部分为所述ODD 414/464。

在一些实施例中，所述建议地图数据452包括表示道路节点的GPS坐标的数据以及表示所选择的道路节点(即，路段)之间连接的GPS坐标的数据，使得所述ODD被识别为所述建议地图的子集。所述建议地图可以包括或对应于多个地图特征，并且使用所述建议条件空间数据生成所述地理数据集406/456包括接收所述建议地图数据452，所述建议地图数据452包括表示所述建议地图的多个地图特征的地图特征数据。所述地图特征可以包括道路节点、路段、路线、对象、路径和/或建议地图或所述建议地图所表示空间区域的其它特征。所述地图特征可以包括对应于所述建议地图上的位置的多个道路节点和多个路段，每个路段对应于两个所述道路节点之间的路径。因此，所述地图特征还可以包括道路节点之间的多条路线，每条路线包括一个或多个所述路段的连续序列。对于给定的建议地图，两个道路节点之间可以有多条路线。建议地图上两个道路节点之间的任何路线(仅穿过所述建议地图中包含的路段)都将被视为所述建议地图中包含的路线。

所述地图特征还可以包括多种对象类型，用于识别所述车辆105沿着所述建议地图中的路线驾驶时可能遇到的对象类型。这些对象类型可以表示为附加到建议地图中的道路节点和路段的元数据。可以通过测量所述建议地图中的环境获得所述对象类型(即，通过在对应于所述建议地图的环境中驾驶所述车辆105，并使用所述车辆105的所述多个环境传感器110感测所述环境中的对象)。对象类型可以包括以下各项中的一种或多种：静止对象(例如，建筑物、杆、塔架、树、桥、路障、石碑、围墙)；移动对象(例如，车辆(例如，汽车、轻运货车、卡车、半拖挂车、有轨电车、列车)、行人、动物)；交通标志(例如，停车让行、让行、泊车、学校区域)；交通信号灯(例如按颜色(例如，红色、琥珀色、绿色、白色)、形状(例如，圆形、方形、前向箭头、左向箭头、右向箭头、行人、“步行”、手、自行车、计数器(数字))、模式(例如，常亮、常灭、闪烁)分类)；道路标识(例如，HOV车道、高速公路入口/出口、双车道、十字路口、让行)；车道边界(例如按颜色(例如，白色、黄色、蓝色、橙色)、图案(例如，实线、双实线、虚线、双虚线、虚/实线、实/虚线、波特点(Botts-dots))和/或车道(例如，驾驶、非驾驶、自行车、十字路口)分类)。有关交通标志和道路标识的更完整列表，请参阅https:// mutcd.fhwa.dot.gov/services/publications/fhwaop02084/us_road_symbol_ signs.pdf，该文件通过引用结合在本申请中。

除所述移动对象外，上面列出的所有其它对象通常是静态的，因此是确定性的：即它们要么存在于所述建议地图上，要么不存在。移动对象是随机的，因此，它们是根据相遇的可能性来定义的。因此，每种对象类型具有一个或多个相遇概率，每个相遇概率与所述建议地图中的所述路段中的一个相关联。在静态对象的情况下，该概率通常为0或1，而对于移动对象，该概率是随机的，并且随着针对该路段收集更多的测量数据或测试数据而变化和更新。在评估ADS风险的背景下，在给定路段上遇到对象的概率在本文中可以称为该对象类型的“暴露”水平。

本文中讨论的环境条件可以包括所述ADS 170意在其中运行的环境的多个不同特征。环境照度[lx]可以指示所述车辆105在其中驾驶的环境中的环境光照度，所述环境照度被参数化为从0.01lx到120000lx的离散化水平(对数标度)。能见度[m]可以指示光束在其光通量减少到其原始值的5％之前经过的大气长度，所述能见度被参数化为从0m到40000m的离散化水平。降水类型可以指示雨、冰、雪、雨夹雪等。降水量[mm/h]可以指示降水强度，所述降水量被参数化为从0.1mm/h到200mm/h的离散化水平。一天中的时间可能会影响上面没有涵盖的数量，如高峰时段的交通密度与凌晨3点的交通密度。此外，还可以包括大气压[Pa]、温度[K]和相对湿度[％]。应当理解的是，这些环境条件和参数化技术仅用作示例，并且在各种实施例中可以改变、省略或补充。

所述地理数据集406/456可以包含测量数据、增强数据和/或模拟数据。所述地理数据集可以包含所述建议地图数据452，以及计算所述ADS 170的性能所需的所有必要元数据(例如，包括道路节点、路段以及对象在所述建议地图的每个路段中的暴露的地图特征)，如下所述。

如上所述，识别存在有限风险的所述建议条件空间的一部分包括将ADS风险与风险阈值411/461进行比较。在一些实施例中，所述ADS评估器408/458使用风险度量对所述ADS风险进行评估，下面将详细描述其示例。为了识别所述建议地图的所述有限风险部分，计算所述建议地图中每条路线的风险度量值。路线的风险度量值通常是所述路线中每个路段的风险度量值总和。因此，所述建议地图的所述有限风险部分是一组路线，每条路线的风险度量值低于所述风险阈值的值。

对于使用所述环境范围数据453的实施例，在所述环境范围数据中的每个建议环境条件下，针对所述建议地图中包括的每条路线计算所述风险度量值。因此，所述建议条件空间的所述有限风险部分是一组(路线x环境条件)组合，每个组合的风险度量值低于所述风险阈值的值。

这使得所述建议条件空间的有限风险部分由低于所述风险阈值的所述风险度量的最大值(即，所述建议条件空间的所述有限风险部分内的最高风险路线或(路线x环境条件)最高风险组合的风险度量值)定义。如果所述建议条件空间的所述有限风险部分用作所述ODD，则所述ODD可以表示为包含GPS坐标(即，道路节点)和这些道路节点之间连接(即，路段)的地理数据集以及一系列环境条件，其中所述ADS 170将能够在全自动模式下运行，并且理论上具有低于预定风险阈值的风险值。这意味着所述ODD中两个道路节点之间可能存在的任何路线也将具有低于所述风险阈值的值的风险值。

所述风险度量可以是在特定环境条件下在建议地图的特定路段中驾驶的量化损失值(以货币单位或其它单位表示)。所述风险度量基于所述ADS 170在所述建议地图的所述部分中存在对象或地图特征的情况下的性能，简要描述发生事故的可能性。在一些实施例中，通过对相应路线上存在的多种对象类型中的每种对象类型的预期风险值进行求和来计算每个路线风险度量值。在一些实施例中，对象类型的所述预期风险值可以计算为三个因素的乘积：严重性、暴露和失败可能性。严重性指示所述ADS 170未能对所述路线上的所述对象类型做出适当反应的预期严重性。如上所述，暴露指示所述路线上的所述对象类型的普遍性或相遇可能性。失败可能性指示所述ADS 170无法对所述路线上的所述对象类型做出适当反应的可能性。因此，路线的所述风险度量值在数学上可以表示为：

风险($)＝∑_i严重性($)_i*暴露(num)_i*可能性(％)_i

其中，下标i表示所述建议地图或所述建议条件空间中的每种对象类型。

严重性可以表示在所述ADS 170无法对对象做出反应的情况下的预期损失(以货币单位或其它单位量化)。例如，所述ADS 170未能对交通信号灯做出反应的严重性可能较高(数百到数百万美元)，而所述ADS 170未能检测到“欢迎来到xyz市”标志的严重性可能低得多。在一些实施例中，严重性可以根据环境条件变化。严重性可以基于收集的经验数据，例如历史保险赔付，或者严重性可以由商业战略确定。

所述ADS 170针对对象类型的失败可能性值可以基于使用所述地理数据集在所述一系列建议环境条件下对所述ADS 170的性能评估。该失败可能性或概率与所述ADS 170的性能负相关。例如，如果所述ADS 170的所述感知模块178在检测卡车方面性能不佳，则所述ADS 170无法检测卡车的可能性较高。

暴露可以表示为与在所述建议地图中遇到地图特征的概率或遇到特定对象的频率成比例的无量纲归一化数字。例如，如果所述建议地图由高速公路组成，则行人的暴露非常低，而半拖车的暴露较高。可以在测量环境中与所述建议地图中的区域对齐的区域的过程中生成表示所述暴露的暴露数据，并且当所述车辆105在与所述建议地图中的区域对齐的区域中驾驶时，随着时间的推移收集更多数据，可以更新所述暴露。

因此，如果所述ADS 170针对对象的失败严重性较高且所述ADS 170的暴露也较高，则所述建议地图中该路段的ADS风险非常高。然而，如果所述ADS 170针对同一对象或特征的暴露非常低，则所述风险可能较低。例如，分车道高速公路上行人的暴露非常低。因此，如果所述建议地图仅由分车道高速公路组成，则所述ADS 170在行人检测方面的性能可能较低，并且风险仍然低于所述风险阈值。

在一些实施例中，当所述ADS 170在自动或半自动模式下运行且所述车辆105可能退出所述ODD时，所述ODD识别模块174还具有使用所述ADS 170提醒所述车辆105的驾驶员(即，安全驾驶员)的功能。所述ODD识别模块174可以确定所述车辆105可能退出所述ODD，这是因为所述车辆105正在物理上行驶到不包括在所述ODD内的路段或其它位置上，或者因为定义所述建议条件空间的环境条件或其它条件不断发生变化或可能很快发生变化，使得所述ADS 170超出定义所述车辆105的所述ODD的所述建议条件空间的所述有限风险部分。在检测到或确定所述车辆105可能退出所述ODD之后，所述ODD识别模块174使用某种形式的用户输出(例如，通过所述车辆105的所述触摸屏136和/或扬声器138传达的视觉和/或语音提醒)来提醒所述车辆105的所述驾驶员。类似地，当所述车辆105可能重新进入所述ODD时，所述ODD识别模块174可以提供提醒或通知。当所述车辆105在所述建议条件空间的有限风险子系列下(即，在路段上且在存在有限风险的一组环境条件下)驾驶时，通过通知所述驾驶员(即，所述安全驾驶员)，所述驾驶员(即，所述安全驾驶员)可以仅在必要时保持高度警惕。因此，可以大大减少对当前技术中所示车辆105的所述驾驶员(即，所述安全驾驶员)的高度依赖性。最终更新的ODD被反馈到所述车辆105中，并且所述驾驶员(即，所述安全驾驶员)可以依赖所述ADS 170来提醒所述驾驶员所述ODD超出边界的情况。因此，所述驾驶员(即，所述安全驾驶员)可能注重警惕异常事件或特殊状况。理想情况下，这些事件或状况应该是所述车辆105中驾驶员(即，安全驾驶员)注重的主要目的，而不是依赖所述驾驶员(即，所述安全驾驶员)推测所述ADS 170是否会提供对所述ODD的有限情况的感测反馈。

在一些实施例中，所述ODD识别模块174可以在所述ODD的初始识别之后继续更新所述ODD。所述ODD识别模块174可以接收附加数据，例如更新的建议地图数据(例如，识别所述ODD的新建议边界的地图数据)、更新的地理数据集(例如，更新的地理数据集，包括更新的暴露数据和/或更新的传感器数据)、更新的预期风险数据(即，表示各种对象类型的更新的严重性值的数据)、更新的风险阈值数据411/461(例如，表示新风险阈值的数据)或更新的ADS性能数据(即，表示在某种环境条件下与路段上的对象类型相关的更新的失败可能性的数据)。然后，所述ODD识别模块174可以使用所述地理数据集中包含的数据和所述附加数据重新评估所述ADS 170的性能，从而更新所述建议条件空间的所述有限风险部分。然后，所述ODD识别模块174可以基于所述建议条件空间的所述更新的有限风险部分来更新所述ODD。

图5示出了由所述ODD识别模块174执行的识别ODD的方法500的示例性实施例的整体操作。所述ODD识别模块174可以包括软件系统(例如，图4A和图4B中描述的系统400、450)。所述方法可以由所述系统400、450的过程执行。用于执行所述方法500的步骤的过程、所述ODD识别模块174和/或所述ODD识别模块174的软件系统400、450的编码完全在本领域普通技术人员的范围内。所述方法500可以包含比所示步骤和所述步骤更多或更少的步骤，所述步骤可以按照不同的顺序执行。

参考图5，在步骤502中，所述ODD识别模块174接收所述建议条件空间数据402，包括所述建议地图数据452。在步骤504中，基于所述建议条件空间数据402，生成所述地理数据集406/456。在一些实施例中，至少部分基于所述建议地图数据452，生成所述地理数据集406/456。所述建议地图数据452包括如上所述的地图特征数据。地图特征数据505识别道路节点、路段、路线、路径和对象类型，并由所述ODD识别模块174用于生成所述地理数据集406/456。在步骤506中，使用所述地理数据集406/456评估所述ADS 170的性能。对所述地理数据集406/456应用风险度量507(对于每种对象类型，严重性x暴露x可能性的乘积)，以评估所述建议条件空间内每个条件(例如，每个路段或每个条件下的每个路段)的ADS风险，从而生成所述建议条件空间内每条路线/每个条件的风险度量值508。在步骤510中，将所述风险度量值508与风险阈值511进行比较，以识别所述建议条件空间的有限风险部分。例如，所述建议条件空间的所述有限风险部分可以是存在由所述风险阈值限定的风险的一组路段和条件组合。在步骤512中，基于所述建议条件空间的所述有限风险部分，识别所述ODD。

在步骤514中，所述方法500检测到车辆105可能退出所述ODD的所述有限风险条件子空间。在步骤516中，为响应于检测到可能退出所述ODD，生成并输出提醒以通知所述车辆105的驾驶员(即，安全驾驶员)。

在步骤518中，接收可能与识别所述ODD相关的附加数据，所述方法500使用现有数据和附加数据回环至评估步骤506，以重新评估所述ADS 170的性能，并通过其余步骤传播，直到在步骤512中更新所述ODD。

通过使用识别和更新所述ODD的系统方法，可以以测试和评估ADS 170所必需的方式来量化和具体化安全性。即使初始建议地图或建议条件空间是基于商业或战略考虑因素决定的，所述识别或更新的ODD仍有大量的统计数据支持。这种形式的ODD识别和更新减少了在公共道路上过早运行自动测试的危险，所述自动测试在危险程度方面类似于盲测，从所述安全驾驶员的角度来看尤其如此。使用基于所述建议地图收集的数据，可以制定所述ODD，而无需在公共道路上进行测试。

现在参考图6、图7、图8和图9描述图4B中所述的系统450的各种操作方法的更详细描述。

参考图6，该图示出了所述系统450的第一示例性操作方法600。所述方法600由所述系统450作为所述ODD识别模块174的一部分执行。所述方法600基于ADS(例如，ADS 170)的以下三个模块评估所述ADS 170的性能：所述定位模块177、所述感知模块178和所述规划模块179。所述感知模块178是所述ADS 170的模块，负责检测和跟踪所述车辆105在其中驾驶的环境中的对象。所述规划模块179是所述ADS 170的模块，负责响应于从所述感知模块178检测到的对象来确定所述车辆105的轨迹。所述定位模块177是所述ADS 170的模块，负责在地图(例如，所述建议地图)上对所述车辆105进行定位。

所述第一方法600开始于所述数据生成器604，所述数据生成器604接收所述建议地图数据602和环境范围数据611；所述建议地图数据602包括建议地图数据，所述建议地图数据表示建议的初始地图边界(即，初始地图上的边界)，所述环境范围数据611包括表示所述ADS(例如，ADS 170)运行的一系列建议环境条件的数据。然后，所述数据生成器604使用所述建议条件空间数据602在以下两个步骤中生成地理数据集612。首先，在步骤606中，提取所述建议地图数据602中存在的任何地图特征数据，并且使用高精度环境传感器110来测量对应于所述建议地图的区域的环境，以识别可能的对象。(如上所述，测量对象607可以包括静止对象、移动对象、交通标志、交通信号灯、道路标识和/或车道边界等。)所述测量步骤606生成初始地理数据集608，所述初始地理数据集608可以包括所述建议地图中的每个路段的对象数据。对象数据可以包括对象普遍性数据，所述对象普遍性数据指示在给定路段上遇到所述对象类型的概率(即，暴露)。

其次，可以将所述初始地理数据集608中包括的所述建议地图中的每个路段的对象数据与所述环境范围数据611相结合，以在步骤610中通过测量、模拟和增强的某种组合收集路段和环境条件的每个组合的传感器数据来生成所述地理数据集612，其中所述环境范围数据611包括环境条件数据，所述环境条件数据表示环境条件。如上所述，例如，环境条件可以包括照度、能见度/雾、降水类型、降水量等。

在一些实施例中，可以使用增强数据来补充或代替所述环境条件数据。例如，数据增强技术可以用于模拟不同的环境条件，因为它们影响所述环境传感器110上的各种类型的输入。可以调整摄像头数据中的亮度和对比度，以模拟不同的照明条件；可以对LiDAR数据应用噪声滤波器，以模拟降水，以此类推。有关用于模拟所述ADS 170性能评估的环境条件的示例性数据增强技术，请访问https://www.freecodecamp.org/news/image- augmentation-make-it-rain-make-it-snow-how-to-modify-a-photo-with-machine- learning-163c0cb3843f/和https://github.com/UjjwalSaxena/Automold--Road- Augmentation-Library，该链接通过引用结合在本申请中。

类似地，可以使用驾驶模拟器来模拟驾驶过程并评估所述ADS 170的性能。GM(TheMatrix，模拟旧金山街道，请参阅https://www.getcruise.com/technology和https:// venturebeat.com/2019/04/20/gms-cruise-is-preparing-for-a-self-driving-future- in-the-cloud/)CARLA(http://carla.org/)、rFpro(http://www.rfpro.com/)和nVidia(https://www.nvidia.com/en-us/self-driving-cars/drive-constellation/)已创造出驾驶模拟器，以上链接通过引用结合在本申请中。这些类型的模拟器可以用于通过提供地图特征数据和/或通过生成模拟传感器数据来生成模拟地理和/或环境条件数据以评估所述ADS，所述模拟传感器数据是指测量车辆在一系列环境条件下在所述建议地图边界内的路线上驾驶时将收集的数据。

可以生成所述地理数据集612，使得所述地理数据集612中所述建议地图中的每个路段的对象数据是在每个路段中遇到不同对象类型的概率，所述概率反映了真实概率。

然后，ADS评估器614使用所述地理数据集612评估所述ADS 170。首先，在步骤618中，在部署在沿着建议地图中的路线人工驾驶的车辆105中的情况下(即，在所述ADS 170未参与驾驶所述车辆的情况下)，使用所述ADS 170和所述环境传感器110来收集数据。所述ADS 170和所述环境传感器110收集的数据(以下称为ADS收集数据620)包括所述环境传感器110收集的传感器数据以及ADS性能数据，所述ADS性能数据指示响应于所述传感器数据的所述ADS的内部定位、感知和规划过程。在步骤616中，所述ADS收集数据620用于评估所述定位模块177对所述车辆105的定位并确定相关风险(即，风险度量)，其中所述ADS 170的失败可能性仅基于所述定位模块177失败的可能性。在步骤616中对定位风险的评估生成每个环境中的每个路段的定位风险622(以下称为定位风险622)，在步骤626中将其与定位风险阈值624进行比较。如果确定所述定位风险622不可容忍(即，所述定位风险622的值高于所述定位风险阈值624的值)，则在步骤628中从暂定ODD子空间中移除具有高风险的路段和环境(或其组合)。所述暂定ODD子空间是所述ODD的未完成版本，所述ODD仍由所述系统450优化。在步骤628中，继续从所述暂定ODD子空间中移除具有高风险的路段和环境(或其组合)，直到所述定位风险622低于所述定位风险阈值624(即，直到所述定位风险622的值小于所述定位风险阈值634的值)。

一旦所述定位风险622可容忍(即，所述定位风险的值小于所述定位风险阈值624的值)，所述方法600即转到步骤630。评估所述ADS 170的所述感知模块178以确定相关感知风险(即，风险度量)，其中所述ADS 170的失败可能性仅基于所述感知模块178失败的可能性。与所述定位模块177一样，所述ADS评估器614生成每个环境中的每个路段的感知风险(以下称为感知风险632)，在步骤636中将其与感知风险阈值634进行比较。如果所述感知风险不可容忍(即，所述感知风险632的值大于或等于所述风险阈值634)，则在步骤638中从所述暂定ODD子空间中移除具有高风险的路段和环境(或其组合)。在步骤638中，继续从所述暂定ODD子空间中移除具有高风险的路段和环境(或其组合)，直到所述感知风险632低于所述感知风险阈值634(即，直到所述感知风险632的值小于所述感知风险阈值634的值)。

一旦所述感知风险632可容忍(即，所述感知风险632的值小于所述风险阈值634的值)，所述方法600即转到步骤640。评估所述ADS 170的所述规划模块179以确定相关规划风险(即，风险度量)，其中所述ADS 170的失败可能性仅基于所述规划模块179失败的可能性。与所述定位模块177和所述感知模块178一样，所述ADS评估器614生成每个环境中的每个路段的规划风险642(以下称为规划风险642)，在步骤646中将其与规划风险阈值644进行比较。如果所述规划风险642不可容忍(即，所述规划风险642的值大于或等于所述规划风险阈值644的值)，则在步骤648中从所述暂定ODD子空间中移除具有高风险的路段和环境(或其组合)。在步骤648中，继续从所述暂定ODD子空间中移除具有高风险的路段和环境(或其组合)，直到所述规划风险642低于所述规划风险阈值644(即，直到所述规划风险642的值小于所述规划风险阈值644的值)。

在最终步骤650中，将所述ODD识别为在步骤628、步骤638或步骤648中尚未从所述暂定ODD子空间中移除的所述一组路段和环境中的其余路段和环境或其它条件。因此，对于所述定位模块177、所述感知模块178和所述规划模块中的每一个，每个(环境条件下的路段)组合在有限风险范围内。

第二方法700也依赖于对所述定位模块177、所述感知模块178和所述规划模块179的评估，但是所述方法700将来自所述定位模块177、所述感知模块178和所述规划模块179的所有三个模块的所述总风险与单个风险阈值进行比较，以识别所述ODD。初始步骤和过程与所述第一方法600的初始步骤和过程相同。然而，未分别将所述定位风险622、所述感知风险632和所述规划风险642与单个定位风险阈值、感知风险阈值和规划风险阈值进行比较，以从所述暂定ODD子空间中移除路段和环境条件。相反，在步骤654中，风险比较器652对所述定位风险622、所述感知风险632和所述规划风险642进行求和，以生成每个环境中的每个路段的总ADS风险662(以下称为总ADS风险662)。在步骤656中，将所述总ADS风险662与总体风险阈值658进行比较。如果所述总ADS风险662低于所述总体风险阈值658(即，所述总风险662的值小于所述总体风险阈值658的值)，则在步骤660中识别所述ODD，以包括所述路段和环境条件。如果所述总ADS风险662高于所述总体风险阈值658(即，所述总风险662的值大于或等于所述总体风险阈值658的值)，则在步骤664中从所述建议条件空间中移除具有高风险的路段和环境条件，直到达到所述总体风险阈值658。

图8中所示的第三方法800对于构成所述ADS 170的不同模块是不可知的。可以使用多个风险评估度量(包括衡量所述ADS 170的总体失败可能性的整体风险度量)中的任何风险评估度量来评估ADS风险，而不是如上所述分别评估定位风险、感知风险和规划风险。所述第三方法800重复所述第二方法700的步骤和过程，但在其ADS评估器814中的情况除外，在这种情况下所述第三方法800仅执行在其中使用风险度量确定总ADS风险的单个步骤802。

所述第三方法800可能会降低针对所述ADS 170的所述定位模块177、所述感知模块178和所述规划模块179中的每个模块设计单独的ADS评估器的复杂性。此外，这可以减轻所述ADS评估器408、458、514、614施加的所述定位模块、所述感知模块和所述规划模块之间的依赖性。其ODD由所述ODD识别模块174识别的ADS可以具有其它模块而不是传统的定位模块177、感知模块178和规划模块179，或者除传统的定位模块177、感知模块178和规划模块179之外还可以具有其它模块，但是只要输入和输出保持不变，仍在所述第三方法800中正常工作。此外，在所述定位模块177、所述感知模块178和/或所述规划模块179的失败可能性彼此不独立并且因此可以以非线性方式组合的情况下，所述第三方法800可以更准确地捕获所述ADS 170的总体失败风险。

图9中所示的流程图中示出了用于生成和/或增强用于评估ADS(例如，所述ADS170)的地理数据集的方法900。所述方法900是由图4B中所示的数据生成器454执行的数据生成过程的更详细表示。所述方法900示出了可以使用建议地图数据452和建议环境范围数据453(参见图4B)的相同输入来生成地理数据集的不同技术，此处示出为包括表示初始建议地图边界452和环境范围数据条件453的地图数据。

在步骤906中，通过在所述建议地图的边界内人工驾驶测量车辆(例如，车辆105)，在环境条件不断变化的情况下收集数据，其中所述测量车辆上配备更高或至少相等精度的环境传感器110。所述数据收集可能运行数天，以有效地收集具有必要冗余和各种环境条件的数据，从而有效地评估ADS(例如，ADS 170)。使用该方法的潜在好处是，收集的数据表示所述车辆周围的实际环境。

在步骤908中，可以通过如上所述的模拟生成建议条件空间数据452和环境范围数据453，所述建议条件空间数据452包括表示地理条件的数据。使用该方法的潜在好处是，节省时间并且可以对环境条件904进行增量更改。

在步骤910中，针对每个路段中的可能对象，测量所述地图的边界内的路段。完成地图测量之后，可以形成如上参考图6所述的初始地理数据集608。所述初始地理数据集608可以包括所述建议地图中的每个路段的对象数据。对象数据可以包括对象普遍性数据，所述对象普遍性数据指示在给定路段上遇到所述对象类型的概率(即，暴露)。

然后，在步骤914中，通过在不断变化的环境条件904下执行进一步的测量，但是使对象普遍性数据与所述初始地理数据集911中的对象普遍性数据保持相同或接近，来收集其它数据。

地图边界内可能已经存在用作初始地理数据集的可用数据集。如上所述，可以在步骤912中获取可用数据集，然后在步骤916中使用所述可用数据集在所述不断变化的环境条件904下增强现有可用数据集。

数据生成过程可以采用这些不同步骤的任意组合来进一步提高所述测量数据的多样性和稳健性，并生成包含路段和环境条件数据的充分组合的最终地理数据集918。为了消除与特定数据集相关联的偏差并适当地评估所述ADS风险，所述ADS评估器454需要大量数据来评估所述ADS 170。可以使用上述多种方法生成所述地理数据集。然后，可以严格评估受试ADS 170的失败风险，以便识别所述ODD。

如上所述，在一些实施例中，可以在没有车辆的情况下(离线)实现上述系统和方法。所述环境条件数据和地图数据不一定需要作为实时数据提供。整个系统可以在模拟数据、真实数据或合成数据上运行。例如，可以通过调整环境条件数据(例如，环境照度)来计算每个环境变量的灵敏度。这样，不仅可以对环境条件参数进行微调，而且所述系统还将具有更稳健的统计数据来确定阈值。

准确获取评估所述ADS所需的数据可能是一项重大挑战。本文中描述的示例性系统和方法能够将模拟数据或合成数据(即，使用模拟环境生成的数据或通过对传感器数据应用模拟环境条件生成的数据，如上所述)作为输入，并测试所述ADS在不同环境条件下的功能。这可能会为所述系统提供更稳健的统计数据。此外，可以通过合成收集的数据来生成各种不同的场景。

本文中描述的用于识别和更新ODD的系统和方法还可以潜在地扩展，以覆盖所学习(例如，机器学习、逻辑回归)模块的安全关键应用和/或其中需要地图和/或环境条件的应用。

本文描述的流程图和附图中的步骤和/或操作仅用于示例目的。在不脱离本发明的观点的情况下，这些步骤和/或操作可以有许多变化。例如，可以按照不同的顺序执行所述步骤，或者可以添加、删除或修改所述步骤。

在考虑本发明的情况下，用于实施上述方法的软件的编码在本领域普通技术人员的范围内。可由一个或多个相应设备的一个或多个处理器执行以执行上述方法的机器可读代码可以存储在数据管理器的存储器等机器可读介质中。在本发明中，术语“软件”和“固件”可互换，包括存储在存储器中以供处理器执行的任何计算机程序，所述存储器包括随机存取存储器(Random Access Memory，RAM)、只读存储器(Read Only Memory，ROM)、EPROM、电EPROM(electrically EPROM，EEPROM)和非易失性RAM(non-volatile RAM，NVRAM)。以上存储器类型仅为示例，因此不限于可用于存储计算机程序的存储器类型。

概述

还公开了所公开范围内的所有值和子范围。此外，尽管本文中公开和示出的系统、设备和过程可以包括特定的多个元件，但是所述系统、设备和组件可以进行修改以包括更多或更少的此类元件。尽管本文描述了几个示例性实施例，但是修改、改编和其它实现方式是可能的。例如，可以对附图中所示的元素进行替换、添加或修改，并且可以通过对所公开的方法进行替换、重新排序或添加步骤来修改本文中描述的示例性方法。此外，阐述了许多具体细节，以提供对本文中描述的示例性实施例的透彻理解。然而，本领域普通技术人员将理解，本文中描述的示例性实施例可以在没有这些具体细节的情况下实施。此外，没有详细描述众所周知的方法、流程和元素，以免对本文中描述的示例性实施例造成模糊。本文所述的主题意在涵盖和包括技术上的所有合适更改。

尽管在方法方面至少对本发明进行了部分描述，但本领域的一般技术人员将理解，本发明还涉及用于执行所述方法的至少一些方面和特征的各种元件，无论是通过硬件、软件还是其组合。因此，本发明的技术方案可以体现在非易失性或非瞬时性机器可读介质(例如，光盘、闪存等)中，其上存储有可执行指令，所述可执行指令有形地存储在其上，使处理设备能够执行本文中公开的方法示例。

术语“处理器”可以包括任何可编程系统，包括使用微处理器/控制器或纳米处理器/控制器、数字信号处理器(digital signal processor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现场可编程门阵列(field-programmable gate array，FPGA)、精简指令集电路(reduced instruction set circuit，RISC)、逻辑电路以及能够执行本文中描述的功能的任何其它电路或处理器的系统。术语“数据库”可以指数据主体、关系数据库管理系统(relational database managementsystem，RDBMS)或两者。本文中使用的数据库可以包括任何数据集合以及存储在计算机系统中的记录或数据的任何其它结构化集合，所述数据集合包括分层数据库、关系数据库、平面文件数据库、对象关系数据库、面向对象的数据库。以上示例仅为示例，因此并非旨在以任何方式限制术语“处理器”或“数据库”的定义和/或含义。

本发明可以在不脱离权利要求书的主题的情况下以其它特定形式体现。所描述的示例性实施例在所有方面均被视为仅是说明性的而非限制性的。本发明旨在涵盖和包含技术中的所有适当变化。因此，本发明的范围通过所附的权利要求书而不是通过以上描述进行说明。权利要求的范围不应受到示例中阐述的实施例的限制，而应给予与整个描述一致的最广泛的解释。

Claims (20)

1.一种用于识别车辆自动驾驶系统(autonomous driving system，ADS)运行的设计适用域的方法，其特征在于，所述方法包括：

接收建议条件空间数据，其包括表示建议地图的数据；

使用所述建议条件空间数据生成地理数据集；

使用所述地理数据集评估所述ADS的性能；

基于所述ADS的所述性能，识别所述建议条件空间的有限风险部分；

基于所述建议条件空间的所述有限风险部分，识别所述设计适用域。

2.根据权利要求1所述的方法，其特征在于：

所述建议条件空间数据还包括表示一系列建议环境条件的数据；

评估所述ADS包括使用所述地理数据集评估所述ADS在所述一系列建议环境条件下的性能；

所述建议条件空间的所述有限风险部分包括所述建议地图中的位置与存在有限风险的所述一系列建议环境条件中的环境条件的一组组合。

3.根据权利要求2所述的方法，其特征在于，使用所述建议条件空间数据生成所述地理数据集包括：接收所述建议地图的多个地图特征。

4.根据权利要求3所述的方法，其特征在于，所述建议地图的所述地图特征包括：

多个节点，对应于所述建议地图上的位置；

多个路段，每个路段对应于两个所述节点之间的路径；

多条路线，每条路线包括一个或多个所述路段；

多种对象类型，每种对象类型具有一个或多个相遇概率，每个相遇概率与所述路段中的一个相关联。

5.根据权利要求4所述的方法，其特征在于，所述有限风险包括低于风险阈值的最大风险度量值，所述最大风险度量值被计算为对应于位于所述建议地图的所述有限风险部分内存在有限风险的多条路线的多个路线风险度量值中的最高路线风险度量值。

6.根据权利要求5所述的方法，其特征在于，通过对所述对应路线上存在的多种对象类型中的每种对象类型的预期风险进行求和来计算每个路线风险度量值，将对象类型的所述预期风险计算为以下各项的乘积：

严重性值，其指示所述ADS未能对所述路线上的所述对象类型做出适当反应的预期严重性；

暴露值，其指示所述路线上的所述对象类型的普遍性；

失败可能性值，其指示所述ADS无法对所述路线上的所述对象类型做出适当反应的可能性；

其中，所述失败可能性值基于使用所述地理数据集在所述一系列建议环境条件下对ADS性能的评估。

7.根据权利要求1至6中任一项所述的方法，其特征在于，还包括：

确定使用所述ADS进行自动驾驶的车辆可能退出所述设计适用域；

响应于确定所述车辆可能退出所述设计适用域，提醒所述车辆的驾驶员。

8.根据权利要求1至7中任一项所述的方法，其特征在于，还包括在识别所述设计适用域之后：

接收附加数据；

使用所述地理数据集和所述附加数据重新评估所述ADS的性能，从而更新所述建议条件空间的所述有限风险部分；

基于所述建议条件空间的所述更新的有限风险部分，更新所述设计适用域。

9.根据权利要求8所述的方法，其特征在于，所述附加数据选自由以下各项组成的组：更新的建议地图数据、更新的地理数据集数据、更新的预期风险数据、更新的风险阈值数据和更新的ADS性能数据。

10.一种用于识别车辆自动驾驶系统(autonomous driving system，ADS)运行的设计适用域的系统，其特征在于，所述系统包括：

处理器系统；

耦合至所述处理器系统的存储器，所述存储器在其上有形地存储可执行指令，所述可执行指令在由所述处理器系统执行时，使得所述系统执行以下操作：

接收建议条件空间数据，其包括表示建议地图的数据；

使用所述建议条件空间数据生成地理数据集；

使用所述地理数据集评估所述ADS的性能；

基于所述ADS的所述性能，识别所述建议条件空间的有限风险部分；

基于所述建议条件空间的所述有限风险部分，识别所述设计适用域。

11.根据权利要求10所述的系统，其特征在于：

所述建议条件空间数据还包括表示一系列建议环境条件的数据；

评估所述ADS包括使用所述地理数据集评估所述ADS在所述一系列建议环境条件下的性能；

所述建议条件空间的所述有限风险部分包括在所述一系列建议环境条件的有限风险子系列下存在有限风险的所述建议地图的有限风险部分。

12.根据权利要求11所述的系统，其特征在于，使用所述建议条件空间数据生成所述地理数据集包括：接收所述建议地图的多个地图特征。

13.根据权利要求12所述的系统，其特征在于，所述建议地图的所述地图特征包括：

多个节点，对应于所述建议地图上的位置；

多个路段，每个路段对应于两个所述节点之间的路径；

多条路线，每条路线包括一个或多个所述路段；

多种对象类型，每种对象类型具有一个或多个相遇概率，每个相遇概率与所述路段中的一个相关联。

14.根据权利要求13所述的系统，其特征在于，所述有限风险包括低于风险阈值的最大风险度量值，所述最大风险度量值被计算为对应于位于所述建议地图的所述有限风险部分内存在有限风险的多条路线的多个路线风险度量值中的最高路线风险度量值。

15.根据权利要求14所述的系统，其特征在于，通过对所述对应路线上存在的多种对象类型中的每种对象类型的预期风险进行求和来计算每个路线风险度量值，将对象类型的所述预期风险计算为以下各项的乘积：

严重性值，其指示所述ADS未能对所述路线上的所述对象类型做出适当反应的预期严重性；

暴露值，其指示所述路线上的所述对象类型的普遍性；

失败可能性值，其指示所述ADS无法对所述路线上的所述对象类型做出适当反应的可能性；

其中，所述失败可能性值基于使用所述地理数据集在所述一系列建议环境条件下对ADS性能的评估。

16.根据权利要求10至15中任一项所述的系统，其特征在于，还包括车辆，所述车辆包括所述ADS并且用于由驾驶员驾驶，其中，所述指令在由所述处理器系统执行时，还使得所述系统执行以下操作：

确定所述车辆可能退出所述设计适用域；

响应于确定所述车辆可能退出所述设计适用域，提醒所述驾驶员。

17.根据权利要求10至16中任一项所述的系统，其特征在于，所述指令在由所述处理器系统执行时，还使得所述系统在识别所述设计适用域之后执行以下操作：

接收附加数据；

使用所述地理数据集和所述附加数据重新评估所述ADS的性能，从而更新所述建议条件空间的所述有限风险部分；

基于所述建议条件空间的所述更新的有限风险部分，更新所述设计适用域。

18.根据权利要求17所述的系统，其特征在于，所述附加数据选自由以下各项组成的组：更新的建议地图数据、更新的地理数据集数据、更新的预期风险数据、更新的风险阈值数据和更新的ADS性能数据。

19.一种计算机可读介质，其特征在于，所述计算机可读介质包括指令，所述指令在由处理器执行时，使得所述处理器执行根据权利要求1至9中任一项所述的方法。

20.一种计算机程序，其特征在于，所述计算程序包括指令，所述指令在由处理系统的处理器执行时，使得所述处理系统执行根据权利要求1至9中任一项所述的方法。

Images