CN115390868A - 自动驾驶系统感知的开发 - Google Patents

Abstract

本申请涉及自动驾驶系统感知的开发。一种由评估系统(1)执行的方法，用于对配备有ADS(21)的自主车辆(2)的PMUD(3)进行性能评估和更新。该评估系统：从自主车辆感知模块(22)获得(1001)世界视图数据(221)；获得(1002)其他世界视图数据(421)；通过在共同参考系统中匹配世界视图数据(221)和其他世界视图数据(421)来形成(1003)联合世界视图；从PMUD获得(1004)感知数据(30)；将感知数据匹配(1005)到所形成的联合世界视图；参考联合世界视图来评估(1006)所获得的感知数据，以确定已识别的感知数据的感知参数和联合世界视图中的相应的感知参数(5)之间的匹配的估计偏差(3005)；并且基于估计偏差来更新(1007)感知模型的一个或多个参数。

Description

自动驾驶系统感知的开发

技术领域

本公开涉及配备有自动驾驶系统(ADS)的车辆的开发中感知模块(PMUD)的性能评估和更新。

背景技术

在汽车领域，多年来一直在开发自动驾驶汽车。越来越多的现代车辆具有高级驾驶员辅助系统ADAS以提高车辆安全性并更普遍的提高道路安全性。例如可以由自适应巡航控制(ACC)、防碰撞系统、前方碰撞预警等来代表ADAS，这些是可以在车辆驾驶员驾驶时帮助车辆驾驶员的电子系统。此外，在不久的将来，自动驾驶(AD)将在更大程度上找到进入现代汽车的方法。在本文中，将在通用术语自动驾驶系统(ADS)下提及AD与ADAS，该自动驾驶系统对应于自动化的所有不同级别(例如，由SAE J3016级别(0-5)定义的驾驶自动化)。ADS可以被解释为各种组件的复杂组合，这些组件可以被定义为系统，在这些系统中，车辆的感知、决策和操作(至少部分地)由电子设备和机械执行，而不是由人类驾驶员执行。这可能包括对车辆、目的地的处理以及对周围环境的认知。虽然自动化系统可以控制车辆，但是它允许人类操作员将所有责任或者至少部分责任留给系统。为了感知周围环境，ADS通常会结合各种传感器(例如，雷达、激光雷达、声纳、摄像头、导航和/或定位系统(例如，GNSS(例如GPS))、里程表和/或惯性测量单元)，高级控制系统可以在这些传感器上解释传感信息以识别适当的导航路径，并识别障碍物和/或相关标志。

确保ADS的安全性是这样的系统能够被发布到市场的核心挑战之一。非常重要的是，ADS既不会将其车辆乘客(一个或多个)暴露于不可接受的风险中，也不会将周围的交通参与者暴露于不可接受的风险中。因此，不仅从数据存储、处理和带宽的角度，而且还从数据安全的角度，开发ADS可能是一项数据和测试密集型的工作，在管理配备有ADS的车辆所产生的大量数据以用于开发和验证各种ADS功能方面面临挑战。此外，与ADS安全性的开发和验证相关(特别是与现场测试以及了解系统在交通中的行为方式有关)的成本通常很高。同样，对于已经发布的ADS系统，以安全和有效的方式来改进系统可能是最重要的，以实现成本降低和性能改进。因此，需要新的解决方案来促进ADS的开发和验证，以便能够持续提供更安全和更高性能的系统。特别需要一种促进ADS相关感知特征的开发的方法，该方法用于开发通常用于视觉任务(例如，与ADS相关的感知相关的目标检测)的神经网络或类似类型的组件，为了达到可接受和/或期望的性能水平，通常需要大量的训练数据，这些数据必须被收集和注释，以便随后对这样的网络进行监督训练。

发明内容

因此，本文实施例的目的是提供一种以改进的和/或替代的方式支持开发ADS相关感知的方法。可以通过本文所公开的主题来实现上述目的。在所附权利要求中、在以下描述中以及在附图中阐述了实施例。

本公开的主题涉及由评估系统执行的方法，该方法用于对配备有ADS的自主车辆的PMUD进行性能评估和更新。该评估系统从自主车辆感知模块获得世界视图数据，该自主车辆感知模块被配置为基于从一个或多个车载传感器获得的传感器数据生成世界视图数据。该评估系统还获得其他世界视图数据，该其他世界视图数据由在自主车辆周围环境中的至少一辆第一其他车辆的其他感知模块生成。另外，该评估系统通过在共同参考系统中匹配世界视图数据和其他世界视图数据来形成联合世界视图。另外，该评估系统从PMUD获得感知数据，该PMUD被配置为基于感知模型和从一个或多个车载传感器获得的传感器数据生成感知数据，其中，该感知数据指示自主车辆周围环境的感知参数。该评估系统进一步将感知数据匹配到所形成的联合世界视图。此外，该评估系统参考联合世界视图来评估所获得的感知数据，以确定已识别的感知数据的感知参数和联合世界视图中的相应的感知参数之间的匹配的估计偏差。另外，该评估系统基于上述估计偏差来更新感知模型的一个或多个参数。

本公开的主题还涉及一种用于对配备有ADS的自主车辆的PMUD进行性能评估和更新的评估系统。该评估系统包括世界视图获得单元，用于从自主车辆感知模块获得世界视图数据，该自主车辆感知模块被配置为基于从一个或多个车载传感器获得的传感器数据生成世界视图数据；其他世界视图获得单元，用于获得其他世界视图数据，该其他世界视图数据由在自主车辆周围环境中的至少一辆第一其他车辆的其他感知模块生成；以及联合世界视图形成单元，用于通过在共同参考系统中匹配世界视图数据和其他世界视图数据来形成联合世界视图；该评估系统还包括PMUD数据获得单元，用于从PMUD获得感知数据，该PMUD被配置为基于感知模型和从一个或多个车载传感器获得的传感器数据生成感知数据，其中，感知数据指示自主车辆周围环境的感知参数；另外，该评估系统包括匹配单元，用于将感知数据匹配到所形成的联合世界视图；以及估计偏差确定单元，用于参考联合世界视图来评估所获得的感知数据，以确定已识别的感知数据的感知参数和联合世界视图中的相应的感知参数之间的匹配的估计偏差；另外，该评估系统包括参数更新单元，用于基于估计偏差来更新感知模型的一个或多个参数。

此外，本公开的主题涉及一种车辆，该车辆包括如本文的评估系统。此外，本公开的主题涉及一种包括计算机程序的计算机程序产品，包括计算机程序代码装置，该计算机程序被存储在计算机可读介质或载波上，被安排为使计算机或处理器执行如本文所述的评估系统的步骤。本公开的主题还涉及一种其上存储有上述计算机程序产品的非易失性计算机可读存储介质。

因此，引入了一种方法，该方法能够实现和/或支持ADS相关感知和/或感知特征的有效开发。即，因为存在从自主车辆感知模块获得的世界视图数据(该自主车辆感知模块被配置为基于从一个或多个车载传感器所获得的传感器数据生成世界视图数据)，所以存在反映周围环境的导出数据，该导出数据由自主车辆的感知模块利用来自一个或多个车载传感器的支持来确定。此外，即，因为还存在获得的由自主车辆的周围环境中的至少一辆第一其他车辆的其他感知模块生成的其他世界视图数据，所以存在反映周围环境的导出数据，该导出数据由包括在位于自主车辆附近的至少一辆第一其他车辆内的感知模块来确定。相应地，除了获得与自主车辆的世界视图相关的数据，还存在另外获得的关于在自主车辆附近的至少一辆第一其他车辆的世界视图的数据，然后，其各自的世界视图以及随后各自的世界视图数据可以被认为至少有部分重叠。此外，即，因为在一个共同参考系统中将上述世界视图数据与上述其他世界视图数据进行匹配以进一步形成联合世界视图，所以不仅来自自主车辆感知模块的世界视图数据而且来自自主车辆附近至少一辆其他车辆的感知模块的世界视图数据可能为形成经结合的世界视图做贡献，从而加强上述经结合的世界视图。也就是说，因为不止一个单一的感知模块可以提供对上述世界视图的贡献，所以实现了一种更可靠和/或更准确的世界视图，该世界视图可以被称为地面实况世界视图和/或基线世界视图。换言之，通过与自主车辆遇到的周围车辆进行通信，多辆车辆的总数据可以用于创建两辆车附近的世界视图的增强版本。此外，即，因为还从PMUD获得了感知数据(该PMUD被配置为基于感知模型和从一个或多个车载传感器获得的传感器数据生成感知数据)，感知数据指示自主车辆周围环境的感知参数，所以还获得了反映周围环境的数据，该数据由PMUD在一个或多个车载传感器的支持下从感知模型中导出而确定。此外，即，因为进一步将感知数据与形成的联合世界视图进行匹配，所以由PMUD提供的感知数据与由自主车辆感知模块和其他车辆感知模块(一个或多个)提供的联合世界视图进行比较和/或覆盖由自主车辆感知模块和其他车辆感知模块(一个或多个)提供的联合世界视图。换句话说，匹配可以被解释为PMUD感知数据和形成的联合世界视图之间的比较步骤，以用于识别上述感知数据(例如，对象位置)和在联合世界视图中的相应感知参数之间的匹配级别。例如，匹配可以包括比较感知数据中被识别对象(例如，车辆)的位置与该车辆在联合世界视图中的位置。匹配的目的是将来自感知数据的对象与来自联合世界视图的一个对象进行匹配，两者对应于现实世界中的一个唯一对象。此外，即，因为参考联合世界视图来进一步评估获得的感知数据，以用于确定已识别的感知数据的感知参数与联合世界视图中的对应感知参数之间的匹配的估计偏差，所以可以评估PMUD的性能。也就是说，在将来自联合世界视图的相应对象与感知数据匹配在一起之后，对与它们相关联的(一个或多个)感知参数(例如，位置、速度、方向等)进行比较，由上述估计偏差来表示它们的差异。另外，即，因为基于所确定的估计偏差进一步更新了感知模型的一个或多个参数，可以考虑该估计偏差来局部地对感知模型软件参数进行更新，并相应地提供了自动驾驶应用中对各种感知特征的学习过程。也就是说，本文提出的学习制度依赖于联合世界视图，该联合世界视图提供了基线和/或地面实况，用于比较正在开发的软件和/或硬件的输出，从而为以下方面提供优势：自动驾驶应用的感知特性的开发的成本效益和/或时间效率、传感器硬件的硬件平台以及ADS的计算硬件的更新的成本效益、和/或对车辆的可用以促进感知特征的开发的资源的有效利用。换句话说，本发明提供了一种用于开发自动驾驶汽车感知特征的连续发布的具有时间效率和/或成本效益的解决方案。因此，支持对(一个或多个)下一代传感器平台(硬件和/或软件)的成本效益的开发，以为未来的产品和/或系统降低系统成本。此外，可以类似地利用本文中的教导以提高例如视觉和融合算法的效率，从而允许在更精简的计算硬件上执行，并因此提供硬件平台的额外成本削减。

出于上述原因，提供了一种方法，以用于以改进和/或替代的方式支持与ADS相关的感知的开发。将在下文中进一步详细讨论上述方法的技术特征和相应的优点。

附图说明

从以下详细描述和附图将容易理解非限制性实施例的各个方面(包括特定特征和优点)，其中：

图1示出了根据本公开实施例的涉及示例化评估系统的示例性第一场景的示意图；

图2示出了根据本公开实施例的涉及示例化评估系统的示例性第二场景的示意图；

图3示出了根据本公开实施例的涉及示例化评估系统的示例性第三场景的示意图；

图4示出了根据本公开实施例的示例化评估系统的示意框图；

图5示出了根据本公开实施例的涉及示例化评估系统的示例化第四场景的示意图；并且

图6是根据本公开实施例描述由评估系统执行的示例化方法的流程图。

具体实施方式

现在将参考附图在下文中更全面地描述本公开的非限制性实施例，其中，示出了本公开的当前优选实施例。然而，可以以许多不同的形式来体现本公开，并且本公开不应该被解释为受限于本文所阐述的实施例。相同的参考标记自始至终指代相同的元件。图中一些方框的虚线表示这些单元或动作是可选的而不是强制性的。

在下文中，根据与ADS PMUD的性能评估和更新相关的本文的实施例，将公开一种能够实现和/或支持与ADS相关的感知和/或感知特征的有效开发的方法。现在参考附图，图1-3描绘了根据本公开的实施例的涉及示例化评估系统1的各个示例化场景的示意图，并且在图4中描绘了根据本公开实施例的示例化评估系统1的示意框图。评估系统1适于用于对开发中感知模块(配备有ADS 21的自主车辆2的PMUD 3)进行性能评估和更新。自主车辆2(该自主车辆2可以被称为主车辆或仅被称为车辆)可以由任何任意的(例如，已知有人驾驶或无人驾驶)车辆来表示(例如，诸如汽车、卡车、货运汽车、厢式货车、公共汽车和/或拖拉机之类的发动机驱动或电动车辆)。此外，术语“车辆”可以指“自动和/或至少部分自动的车辆”、“无人驾驶和/或至少部分无人驾驶的车辆”和/或“自驾和/或至少部分自驾的车辆”，并且根据一个示例进一步指“生产车辆”。此外，可以由任何任意的ADAS或AD系统(例如，在本领域中已知的和/或尚未开发的)来表示自主车辆2上搭载的ADS 21。此外，自主车辆2和/或ADS 21包括、设置有和/或搭载有感知模块和/或系统22(本文中被称为自主车辆感知模块)，该感知模块和/或系统22适于估计自主车辆2的周围环境，并随后适于估计周围环境的世界视图220(例如，在例如众所周知的数字地图(例如，高清晰度HD地图和/或其等效和/或后续版本)的支持下)。感知模块22可以指代任何公知的系统和/或功能(例如，包括在自主车辆2和/或ADS 21的一个或多个电子控制模块、ECU和/或节点中)，适于和/或被配置为解释与自主车辆2的驾驶相关的传感信息，以识别例如物体、障碍物、车道、相关标志、适当的导航路径等。感知模块22可适于支持例如传感器融合、跟踪、定位等，因此可以适于依赖于传感信息。这种示例化的传感信息可以例如从一个或多个例如众所周知的传感器23导出，这些传感器23被包括在自主车辆2内和/或被搭载在自主车辆2上(在本文中被称为一个或多个车载传感器)，适于传感和/或感知自主车辆2的行踪/或周围环境，这些传感器23例如由一个或多个周围检测传感器(例如，图像捕获设备，例如相机、雷达、激光雷达、超声波等)、和/或定位系统、里程计、惯性测量单元等中的一个或其组合来表示。换句话说，在目前的上下文中，感知系统22因此被理解为负责从车载传感器23(例如，相机、激光雷达和雷达、超声波传感器等)获取原始传感器数据并将这些原始数据转换为对场景的理解的系统。

另一方面，额外提供的PMUD 3可以以类似的方式由如上所述的感知模块来表示，不同之处在于上述PMUD 3表示开发中感知模块(PMUD)，包括在自主车辆2中的开发中和/或将测试的一个或多个硬件和/或软件感知特征。这些感知特征可以指任何可行的感知特征，并且例如与以下项相关或者由以下项表示：对象检测特征、对象分类特征、对象状态估计特征，道路参考估计特征、自由空间估计特征、道路摩擦估计特征、对象轨迹估计特征、目标/对象跟踪特征、对象轨迹估计特征、可行驶区域估计特征、对象属性估计特征、自主车辆属性估计特征、操作设计域(ODD)、参数估计特征、路段类别估计特征和/或电子地平线估计特征。换言之，在目前的上下文中，PMUD 3可能被理解为被配置为软件和/或硬件，该软件和/或硬件基于来自一个或多个车载传感器23的输入生成感知输出，其中，模块3在开发中和/或尚未生产(例如，未被验证和/或未被证实)。短语“评估系统”可以指“感知开发系统”、“感知特征开发系统”和/或“计算系统”，并且根据示例进一步指“车辆内评估系统”，而“由评估系统实施的方法”可以指“由评估系统实施的至少部分由计算机执行的方法”。此外，“用于PMUD的性能评估和更新”可以指“用于PMUD的评估”、“用于PMUD的性能评估和参数更新”、“用于PMUD的自动化开发”、“用于支持与ADS相关的感知和/或与ADS相关的感知特征的开发”和/或仅“用于PMUD的性能评估”，而“PMUD”可以指“感知开发模块和/或系统”、“未发布的感知模块”、“新修订感知模块”和/或“测试中感知模块(PMUT)”，并且根据示例，可以进一步指“包括一个或多个开发中的和/或待测试的硬件和/或软件感知特征的PMUD”。

如在示例化的图4中以示例化方式所图示的那样，评估系统1是例如凭借世界视图获得单元101适于和/或被配置为从自主车辆感知模块22获得世界视图数据221，该自主车辆感知模块22被配置为基于从一个或多个车载传感器23获得的传感器数据生成世界视图数据221。由此，在一个或多个车载传感器23的支持下，存在反映环境220的导出数据221，该导出数据221由自主车辆2的感知模块22估计和/或确定。世界视图数据221可以例如包括和/或指示检测到的对象或对象的状态和/或车辆定位、和/或未来状态的统计的和物理的模型预测(例如，连续和/或间歇地导出)。此外，世界视图数据221可以由从自主车辆2的一个或多个车载传感器23获得的传感器数据的至少一部分表示，并且进一步(类似于传感器数据)具有任何可行的格式和/或大小(例如，取决于手头的情况)。自主车辆感知模块22可以由上面讨论的适于估计自主车辆2的周围环境的感知模块22来表示，并且类似地，一个或多个车载传感器23可以由上面讨论的适于传感和/或感知自主车辆2的行踪和/或周围环境的传感器23来表示。短语“获得世界视图数据”可以指“检索、导出和/或接收世界视图数据”，而“世界视图数据”可以指“感知数据”和/或仅指“世界视图”。另一方面，“自主车辆感知模块”可以指“自主车辆感知系统”，而“自主车辆感知模块被配置为生成...”可以指“上述自主车辆感知模块、上述感知模块被配置为生成...”。此外，“基于从一个或多个车载传感器获得的传感器数据生成世界视图”可以指“在具有来自一个或多个车载传感器的输入和/或支持的情况下生成世界视图”和/或“基于从一个或多个车载传感器集合和/或收集的传感器数据生成世界视图”。此外，根据示例，在整个公开中，短语“世界视图数据”和/或“感知数据”可以指代“环境评估数据”、“空间感知数据”、“处理的传感器数据”、“时间相关性数据”和/或“世界视图估计”，而根据示例，结合世界视图数据、其他世界视图数据和/或感知数据的“生成”可以从始至终指“估计周围环境的至少一部分”、“解释与自动操纵相关的传感器信息”和/或“估计车辆周围环境并对周围环境的未来状态进行模型预测”。

评估系统1更进一步地(例如，凭借其他世界视图获得单元102)适于和/或被配置为获得由在自主车辆2的周围环境中的至少一辆第一其他车辆4的其他感知模块42生成的其他世界视图数据421。从而，并且分别如示例化的图1至图3中所示，其中，以示例化方式将其他车辆4定位在与自主车辆车道相邻的车道中，存在反映环境420的导出数据421，该导出数据421由包括在位于自主车辆2附近的至少一辆其他车辆4中的感知模块42估计和/或确定。相应地，除了获得与自主车辆2的世界视图220有关的数据221之外，另外获得了与自主车辆2附近的至少一辆第一其他车辆4的世界视图420相关的数据，然后其各自的世界视图220、420以及随后的各自世界视图数据221、421可以被认为至少部分重叠。可以以任何可行的(例如，已知的)方式(例如，经由车对车(V2V)通信)从(一辆或多辆)其他车辆4获得其他世界视图数据421。此外，可以由自主车辆周围环境中的任意数量的车辆(例如，范围从单辆其他车辆4到许多辆其他车辆4(例如，多达三辆、十辆或二十辆车辆))来表示至少一辆第一其他车辆4。还可以由任何任意可行车辆(例如，上面结合自主车辆2描述的这种车辆)来表示上述(一辆或多辆)其他车辆4，上述(一辆或多辆)其他车辆4进一步可选地配备有任何可行的ADS(例如，上述结合自主车辆2的ADS 21所描述的这种ADS，本文中被称为其他ADS41)，并且进一步可选地设有任何可行的一个或多个传感器(例如，上述结合自主车辆2的一个或多个传感器23所描述的这些传感器，本文中被称为其他传感器43)，适于传感和/或感知至少一辆第一车辆4的行踪和/或周围环境。以类似的方式，可以由任何可行的感知模块来表示适于估计至少一辆第一车辆4的周围环境的其他车辆感知模块42(例如，上述结合自主车辆2所描述的这种感知系统)。至少一辆第一其他车辆4的其他世界视图数据421(类似于自主车辆世界视图数据221)可以例如包括和/或指示检测到的对象或对象的状态和/或车辆定位、和/或未来状态的统计的和物理的模型预测(例如，连续和/或间歇地导出)。此外，其他世界视图数据421可以由从至少一辆第一其他车辆4的(一个或多个)可选其他传感器43获得的传感器数据的至少一部分表示，并且进一步(类似于上述传感器数据)具有任何可行的格式和/或大小(例如，取决于手头的情况)。短语“获得其他世界视图数据”可以指“检索、导出和/或接收其他世界视图数据”，而“其他世界视图数据”可以指“其他感知数据”和/或仅指“其他世界视图”。另一方面，“其他感知模块”可以指“其他感知系统”和/或“其他车辆感知模块”，而“由至少一辆第一其他车辆的其他感知模块生成...”可以指“由至少一辆第一其他车辆感知模块生成...”，并且根据示例进一步指“由至少一辆第一其他车辆的其他感知模块生成，该其他感知模块被配置为基于从搭载在上述至少一辆第一其他车辆上的一个或多个车载传感器集合和/或收集的传感器数据生成世界视图和/或在具有来自搭载在上述至少一辆第一其他车辆上的一个或多个车载传感器的输入和/或支持的情况下生成世界视图”。此外，“其他”车辆、世界视图、世界视图数据、传感器、感知模块和/或ADS可以始终指“外部的、互补的、贡献的和/或次要的”车辆、世界视图、世界视图数据、传感器、感知模块和/或ADS。此外，“在上述自主车辆的周围环境中”可以指“在距上述自主车辆的预定距离内(例如，在上述自主车辆的五十米、一百米或五百米内)和/或在自主车辆的传感器范围内”。

此外，选择哪辆或哪些其他车辆4来获得上述其他世界视图数据421可以以任何可行的方式确定，例如，选择遇到的位于自主车辆周围环境中并支持与自主车辆2通信的一辆或多辆其他车辆4。然而，可选地，获得其他世界视图数据421可以包括从满足车辆充足性标准的一辆或多辆其他车辆4获得上述其他世界视图数据421，该标准包括在什么情况下其他车辆4被认为足以获得其他世界视图数据421的条件。因此，从自主车辆周围的满足这些条件的车辆4获得其他世界视图数据421，而舍弃未能满足这些条件的车辆。因此，在这种情况下，一辆或多辆其他车辆4(例如，如在相应的图1-3中以示例化方式所示出的，上述(一辆或多辆)其他车辆4被定位在与自主车辆2附近并以与自主车辆2相同的方向行驶)被认为是相关的、可行的和/或有兴趣提供其相应世界视图数据421，这些其他车辆4可以被过滤出，从而支持获得其他世界视图数据421的选择性方法。车辆充分性标准包括在何种情况下其他车辆4被认为足以获得其他世界视图数据421的条件，可以用任何可行的规定何时其他车辆4被认为与提供其世界视图数据421有关的准则来表示该车辆充分性标准。根据一个示例，车辆充分性标准例如可能包括一个或多个阈和/或阈值，可能与其他车辆4是否在自主车辆2的通信范围、视场和/或传感器范围内有关。附加地或替代地，车辆充足性标准可以涉及相对于自主车辆2的距离、方向、视野和/或姿势等。此外，附加地或替代地，车辆充足性标准可以涉及硬件和/或软件特性和/或车载感知模块、ADS和/或传感器的版本。根据一个示例，短语“从一辆或多辆其他车辆获得上述其他世界视图数据”可以指“与一辆或多辆其他车辆建立通信并从一辆或多辆其他车辆获得上述世界视图数据”，而“满足车辆充足性标准”可以指“满足可预定的车辆充足性标准”、“满足车辆选择标准”和/或“满足一个或多个车辆充足性阈值”。另一方面，短语“车辆充足性标准包括在什么情况下其他车辆被认为足以获得其他世界视图数据的条件”可以指“车辆充足性标准规定何时其他车辆被认为足以获得其他世界视图数据”，并且根据一个示例还指“车辆充分性标准包括在何种情况下其他车辆被认为足以获得其他世界视图数据的条件，上述车辆充分性标准涉及是否在上述自主车辆的通信范围、视场和/或传感器范围内，涉及相对于上述自主车辆的距离、方向、视场和/或姿态，和/或涉及硬件和/或软件特性和/或车载感知模块、ADS和/或(一个或多个)传感器的版本”。

如以示例化的方式在示例化的图4中所示出的，评估系统1还(例如，凭借联合世界视图形成单元103)适于和/或被配置为用于通过在共同参考系统中匹配世界视图数据221和其他世界视图数据421来形成联合世界视图。因此，不仅来自自主车辆感知模块22的世界视图数据221而且来自自主车辆2附近的至少一辆其他车辆4的感知模块42的世界视图数据421可以向结合的世界视图做贡献，从而能够增强上述结合的世界视图。也就是说，实现了一种更可靠和/或更准确的世界视图，该世界视图可以被称为地面实况世界视图和/或基线世界视图，因为向上述世界视图做贡献的可以不止一个单一的感知模块。换言之，通过与自主车辆2遇到的周围车辆4进行通信，多辆车辆2、4所集合的数据可以被用来创建两个车辆2、4附近的世界视图的增强版本。联合世界视图可以例如包括指示自主车辆2和(一辆或多辆)其他车辆4的周围环境中的一个或多个场景和/或情景的信息，例如与检测到的对象的位置、对象的类别和/或类型、车道标记的位置、车道标记的延伸、自由空间检测、检测到的对象的轨迹等相关。自主车辆2和(一辆或多辆)其他车辆4之间的共同参考系统使获得的世界视图数据221和获得的其他世界视图数据421能够被考虑和/或被评估并形成联合世界视图，该共同参考系统可以以任何可行的方式(例如，在共同检测到的对象的支持下)来识别。可以在(一个或多个)相同发明人的欧洲专利申请(申请号：EP20174909)中找到与识别共同参考系统有关的更多细节，该专利申请以引用方式并入本文，并且为了简洁和简明起见，将不再进一步详述。联合世界视图可以覆盖自主车辆感知模块22的世界视图220的至少一部分和其他感知模块42的世界视图420的至少一部分，这些部分至少部分重叠。此外，联合世界视图还可以具有任何可行的维度和/或大小。短语“形成联合世界视图”可以指“提供和/或生成联合世界视图”和/或“形成结合的、集合的和/或聚合的世界视图”，并且根据一个示例还指“形成增强的联合世界视图”和/或“形成指示自主车辆的周围环境中的情景的联合世界视图”。此外，“通过匹配上述世界视图数据和上述其他世界视图数据”可以指“通过结合、集合和/或聚合上述世界视图数据和上述其他世界视图数据”。另一方面，短语“在共同参考系统中”可以指“在共同参考框架中”、“在同一参考系统中”和/或“在上述自主车辆和上述至少一辆第一其他车辆之间的共同参考系统中”，而“通过在共同参考系统中匹配上述世界视图数据和上述其他世界视图数据”可以指“通过根据共同参考系统评估上述世界视图数据和上述其他世界视图数据”。

可以以任何可行的方式匹配世界视图数据221和其他世界视图数据421(各自对联合世界视图的贡献各自具有任何可行的程度)。例如，根据一个示例，上述世界视图数据221和上述其他世界视图数据421对联合世界视图的各自贡献可以被均分，并且根据另一个示例，可以以预定方式分别加权。然而，可选地，世界视图数据221和其他世界视图数据421可以包括各自的数据充足性属性，该属性指示各自对联合世界视图的贡献的充足性。然后，形成联合世界视图可以包括形成上述联合世界视图，其中，世界视图数据221和其他世界视图数据421的贡献程度分别基于上述各自的数据充足性属性。因此，来自自主车辆感知模块22的数据221和来自(一个或多个)其他感知模块42的数据421可以在不同程度和/或水准上(例如，被舍弃和/或被抑制)对联合世界视图做贡献，这与世界视图数据221和其他世界视图数据的421各自的数据充足性属性相关。因此，在这种情况下，(来自自主车辆感知模块22和其他感知模块42中的一个的)数据221、421可能比另一个更受青睐，从而使得数据221、421被认为不够充分(例如，由于具有较低的和/或相对低的置信水平，而例如被丢弃和/或被压制，随后被阻止对联合世界视图数据的贡献和/或在较小程度上贡献)。世界视图数据221的数据充足性属性指示上述世界视图数据221对联合世界视图4的贡献的充足性，并且相应地，其他世界视图数据421的数据充足性属性指示上述其他世界视图数据421对联合世界的贡献的充足性，这些数据充足性属性可以分别由任何可行的属性来表示，这些可行的属性揭示了对联合世界视图的贡献的适用性和/或有效性。数据充足性属性可以例如与(一辆或多辆)其他车辆4相对于自主车辆2的距离、方向、视野和/或姿势等有关。另外或替代地，数据充足性属性可以与置信水平和/或性能水平(例如，估计的感知置信水平和/或传感器性能水平，即，例如相互比较的世界视图数据221和/或其他世界视图数据421的置信水平、和/或自主车辆2和/或其他车辆4的传感器性能水平)相关。此外，附加地或替代地，数据充足性属性可以与相应的自主车辆2和(一辆或多辆)其他车辆4的车载感知模块、ADS和/或传感器的硬件和/或软件特性和/或版本有关。因此，联合世界视图的构建可以被视为将世界视图数据221与其他世界视图数据421融合，其中，联合世界视图可以被构建为例如两个世界视图221、421的加权平均，其中，权重例如可以是世界视图221、421的置信水平的函数。对于世界视图221、421中的每一个，置信水平不必是单个数字；更确切地说，置信水平可以在世界视图221、421的不同区域中作为所选变量(例如，与车辆2、4的距离、和/或视野)的函数而变化。此外，权重可以被视为世界视图221、421中的每一个的充足程度，因此可以以加权的方式结合两个世界视图221、421以构建联合世界视图。根据一个示例，分别来自世界视图数据221和/或其他世界视图数据421的对联合世界视图的贡献程度可以例如由可预定数据充足性标准(例如，通过感知参数)来规定。例如，如果上述世界视图数据221不满足这样的数据充足性标准，则世界视图数据221可以在联合世界视图贡献中被降低权重、被抑制和/或被舍弃，和/或其他世界视图数据421不满足这样的数据充足性标准，则其他世界视图数据421可以在联合世界视图贡献中被降低权重、被抑制和/或被舍弃。充足性标准可以包括：在什么情况下和/或到什么水平世界视图数据221和/或其他世界视图数据421被认为足以向联合世界视图做贡献的条件和/或限制。根据一个示例，数据充足性标准例如可以包括一个或多个阈和/或阈值，该数据充足性标准可以规定与相对于自主车辆2的距离、方向、视野和/或姿势等相关的条件。附加地或替代地，数据充足性标准可以规定与置信水平和/或性能水平有关的条件(例如，估计的感知置信度水平和/或传感器性能水平)。此外，附加地或替代地，数据充足性标准可以规定与硬件和/或软件特性和/或车载感知模块、ADS和/或传感器的版本有关的条件。短语“数据充足性属性”可以指“数据选择属性”和/或“数据充足性属性”，而“指示对上述联合世界视图的贡献的相应充足性”可以指“包括一个或多个贡献相关性指标”。根据一个示例，短语“相应数据充足性属性指示对上述联合世界视图的贡献的相应充足性”可以包括“相应数据充足性属性指示对上述联合世界视图作出的贡献的相应充足性，上述相应数据充足性属性与(一辆或多辆)其他车辆相对于上述自主车辆的距离、方向、视野和/或姿势有关，与感知置信水平和/或传感器性能水平有关，和/或与硬件和/或软件特性、和/或车载感知模块、ADS和/或(一个或多个)传感器的版本有关”。此外，“根据一定程度的贡献形成上述联合世界视图”可以指“根据一定的贡献度和/或贡献量形成上述联合世界视图”和/或“根据一定程度的输入形成上述联合世界视图”。根据一个示例，短语“基于上述各自的数据充足性属性，根据来自上述世界视图数据和上述其他世界视图数据的贡献程度形成上述联合世界视图”可以指“基于上述各自的数据充足性属性，通过降低权重、抑制和/或舍弃不满足预定数据充足性标准的其他世界视图数据和/或世界视图数据，，根据来自上述世界视图数据和上述其他世界视图数据的贡献程度形成上述联合世界视图”。

如以示例化的方式在示例化的图1至图3中所示出的，评估系统1还适于和/或被配置为(例如，通过PMUD数据获得单元104)从PMUD 3获得感知数据30，其中，PMUD 3被配置为基于感知模型和从一个或多个车载传感器23获得的传感器数据生成感知数据30，其中，感知数据30指示自主车辆2的周围环境的感知参数300。由此，获得了数据30，该数据30反映由PMUD 3估计和/或确定的周围环境，如在一个或多个车载传感器23的支持下由其感知模型导出。在目前的上下文中，感知模型可以被理解为一种软件算法，这种软件算法被配置为接收传感器数据形式的输入(原始数据或具有某种程度的预处理)，并因此生成包括自主车辆2周围环境的至少一部分的表示的输出30。感知模型可以例如是以神经网络的形式，并且模型参数相应地采用网络权重的形式。可能存在多个感知模型，它们被独立地用于不同的任务(例如，车道分割、交通标志识别、自由空间估计等)。可以由任何可检测的可行参数来表示感知数据30所指示的感知参数300。根据一个示例，PMUD 3可以例如包括车道跟踪和/或车道跟踪算法和/或道路几何估计算法，因此来自PMUD 3的输出30然后例如可以包括和/或指示由道路参考特征估计(例如，在自主车辆2的周围环境中的道路或车道几何形状的表示)所表示的感知参数300。另外地或替代地，感知数据30可以例如包括一组边界框，这些边界框指示由在自主车辆2的周围环境中的一组外部对象(例如，一辆或多辆车辆)的位置和分类来表示一个或多个感知参数300。可选地，上述感知参数300可以包括以下各项中的至少一项：目标检测估计；对象分类估计；对象状态估计；道路参考估计；自由空间估计；对象轨迹估计；可行驶区域估计；对象属性估计(例如，对象尺寸、3D边界框、颜色、车型、牌照等)；自主车辆属性估计；ODD参数估计(例如，天气、光照条件等)；路段类别估计(例如，道路工程)；以及电子地平线估计(例如，什么对象是可以预期的、尚未检测到的)。此外，对PMUD3的输入可以是以下项的任意组合：现有生产传感器、其原始输出、原始检测或链中任何更多或更少的处理状态。例如如果想要测试和评估例如一种基于来自新型传感器的不同类型的输入数据的对象检测算法，它也可以是新安装的传感器及其输出(即，不用于生成自主车辆感知模块世界视图数据221的传感器输出)的任何组合。因此，可以由之前讨论的传感器23来表示用于生成PMUD感知数据30的一个或多个车载传感器23，这些传感器23适于传感和/或感知自主车辆2的行踪和/或周围环境，并且进一步地，没有上述传感器23、至少一个上述传感器23、或者全部的上述传感器23可能等同于用于生成先前讨论的自主车辆感知模块世界视图数据221的传感器23。短语“获得感知数据”可以指“检索、导出和/或接收感知数据”，而“感知数据”可以指“开发感知数据”、“世界视图数据”和/或仅指“开发世界视图”。此外，“基于感知模型和从一个或多个车载传感器获得的传感器数据生成感知数据”可以指“基于感知模型和从一个或多个车载传感器收集的传感器数据以及/或在一个或多个车载传感器的输入和/或支持下生成感知数据”。此外，“指示感知参数”可以指“指示一个或多个感知参数和/或至少第一感知参数”。

如以示例化的方式在示例化的图1至图3中所示出的，评估系统1还适于和/或被配置为(例如，通过匹配单元105)将感知数据30与形成的联合世界视图进行匹配。因此，将由PMUD 3提供的感知数据30与由自主车辆感知模块22和其他车辆感知模块42提供的联合世界视图进行比较和/或由PMUD 3提供的感知数据30覆盖由自主车辆感知模块22和其他车辆感知模块42提供的联合世界视图。换句话说，匹配可以被解释为感知数据30和形成的联合世界视图之间的比较步骤，以识别在感知数据30中一个或多个感知参数300(例如，对象位置)与联合世界视图中的相应感知参数5之间的匹配水平。例如，匹配可以包括比较被识别对象的位置(例如，感知数据30中的车辆，该车辆的位置在联合世界视图中)。匹配的目的是将来自感知数据30的对象与来自联合世界视图的对象进行匹配，两者都对应于现实世界中的一个唯一对象。将感知数据30匹配到联合世界视图可以通过将上述感知数据30的至少一部分和/或区域匹配到联合世界视图的至少一部分和/或区域来表示。例如，可以限制实施匹配过程的区域，使得仅将感知数据30与表示在特定视锥内的区域或距自主车辆2一定距离内的区域的联合世界视图进行比较。从而，远离自主车辆2的对象可能会被忽略，因为它们更有可能与更高的不确定性相关联，因此更难以匹配。此外，这可能导致处理能力要求降低。短语“匹配感知数据”可以指“比较感知数据”，而根据一个示例，“将感知数据匹配到形成的联合世界视图”可以指“用感知数据覆盖形成的联合世界视图”。此外，根据一个示例，短语“将上述感知数据匹配到所形成的联合世界视图”可以指“将上述感知数据匹配到形成的联合世界视图，以识别感知数据的上述感知参数与上述联合世界视图中的相应的感知参数之间的匹配”。

如以示例化的方式在示例化的图1至图3中所示出的，评估系统1还适于和/或被配置为(例如，凭借估计偏差确定单元106)适于和/或被配置为用于参考联合世界视图来估计获得的感知数据30，以确定感知数据30的感知参数300与联合世界视图中相应的感知参数5之间的识别出的匹配的估计偏差3005。因此，鉴于从联合世界视图的角度分析了感知数据30，并随后建立了PMUD感知参数300与在联合世界视图中建立的相应感知参数5之间的潜在估计差异3005，可以评估PMUD 3的性能。也就是说，在将来自感知数据30和联合世界视图的对应对象匹配在一起之后，它们的(一个或多个)关联感知参数5、300(例如，位置、速度、方向等)被比较，由上述估计偏差3005指示它们之间的差异。换句话说，一旦感知参数300和联合世界视图中的相应的感知参数5之间的匹配被确定和/或被建立，则可以确定和/或计算估计偏差3005(该估计偏差3005指示PMUD 3执行得有多好)。估计偏差3005可以例如基于感知参数300的类型来确定，并且因此，如果PMUD 3的感知模型是例如目标检测算法，则可能形成和/或定义估计偏差3005，而如果它是一个车道跟踪算法，则可能形成和/或定义另一个估计偏差3005。例如，如果PMUD 3的感知模型是被配置为生成边界框的对象检测算法，则然后利用感知数据30中这些边界框的位置和维度与联合世界视图中匹配边界框的位置和维度的差异来推导出估计误差。也就是说，如果感知参数300是对象位置估计或对象占用估计，则估计误差可以是被检测对象离自主车辆最近的点的横向和纵向偏移(在感知数据30中的对象的边界框表示与联合世界视图中的相应对象的边界框表示之间的偏移)的形式。因此，估计获得的感知数据30的步骤可以包括基于所确定的估计误差来确定和/或形成估计偏差。根据一个示例，可以在像素级的图像平面中潜在地实施评估，因此，可以直接在像素级评估和训练相机软件。短语“评估获得的感知数据”可以指“评估、分析和/或比较获得的感知数据”，而“参考上述联合世界视图”可以指“鉴于上述联合世界视图”，并且根据一个示例，还指“参考上述联合世界视图，其中该联合世界视图构成地面实况”。此外，根据一个示例，“参考上述联合世界视图来评估获得的感知数据以确定估计偏差”可以指“确定估计偏差”，而“估计偏差”可以指“估计误差”。此外，“估计偏差”可以指“至少第一估计偏差”、“估计差异”和/或仅指“偏差”，而“被识别的...之间的匹配的估计偏差”可以指“针对被识别的...之间的匹配的估计偏差”和/或“被识别的...之间的匹配的估计偏差”。根据一个示例，“估计偏差”可以指“成本函数和/或损失函数”，并且短语“为了确定被识别的匹配的估计偏差”可以指“为了基于被识别的匹配确定指示PMUD性能的成本函数和/或损失函数”。

如以示例化的方式在示例化的图1至图3中所示出的，评估系统1还适于和/或被配置为(例如，凭借参数更新单元107)用于基于确定的估计偏差3005来更新感知模型的一个或多个参数。由此，考虑到上述估计偏差3005，可以局部进行感知模型软件参数的更新，并且相应地提供了自动驾驶应用中的各种感知特征的学习过程。也就是说，本文提出的学习制度依赖于联合世界视图，该联合世界视图提供了基线和/或地面实况，用于比较正在开发的软件/硬件的输出，从而在以下方面提供优势：自动驾驶应用的感知特性的开发的成本效益和/或时间效益、以对ADS 21的传感器硬件和计算硬件的硬件平台的有成本效益的开发、和/或对车辆2，4中的可用来促进感知特征的开发的资源的有效利用。换言之，本发明提供了用于为自动驾驶汽车开发连续发布的感知功能的具有时间效益和/或成本效益的解决方案。因此，支持(一个或多个)新一代传感器平台(硬件和/或软件)的具有成本效益的开发，以降低未来产品和/或系统的系统成本。此外，人们可以类似地利用本文的教导来提高例如视觉和融合算法的效率，以允许在更精简的计算硬件上执行，从而提供硬件平台的额外成本削减。短语“更新上述感知模型的一个或多个参数”可以指“更新PMUD的上述感知模型的一个或多个参数”。此外，根据一个示例，短语“基于上述估计偏差更新上述感知模型的一个或多个参数”可以指“凭借算法(例如，优化算法)更新上述感知模型的一个或多个参数，该算法被配置为以一种可预定的方式(例如，最小化或本质上最小化上述估计偏差)影响(例如，最小化或本质上最小化)估计偏差(例如，成本函数)”。考虑到估计偏差3005，可以以任何可行的方式更新感知模型的一个或多个参数。例如，可以凭借一种算法(例如，优化算法)更新一个或多个参数，该算法被配置为以一种可预定的方式(例如，最小化或本质上最小化上述估计偏差3005)影响(例如，最小化或本质上最小化)估计偏差3005。根据一个示例，这样的算法可以涉及和/或包括用于神经网络的反向传播。可以在同一申请人的欧洲专利申请(申请号：EP21158017)中找到以下项：与更新上述感知模型的一个或多个参数有关的进一步细节、和/或与简要提到的可选成本函数有关的细节，该申请通过引用并入本文，并且为了简洁和简明起见，将不再进一步详述。

评估过程可以涉及对任何任意可行的(一个或多个)感知相关参数(例如，比较检测对象、它们的状态、自由空间、车道、道路位置、可驾驶区域等、和/或其组合)进行比较。在示例化的图1中，由对象检测估计分别表示感知参数300和对应的感知参数5，并且用双头箭头指示估计偏差3005，估计偏差3005通过检测对象300a、300b、300c(或检测对象300a、300b、300c周围的边界框)和在联合世界视图中的对应的检测对象5a、5b、5c(或对应的检测对象5a、5b、5c周围的边界框)之间的位置差异来表示。在这里，识别出了两个检测对象300a、300b(以车辆作为示例)的(一个或多个)感知参数300与(一个或多个)相应的感知参数5之间的匹配(被PMUD 3检测到)，然而没有识别到第三个检测对象300c的匹配。在评估过程中，只有匹配的数据(即，识别出的匹配)被用于确定估计偏差3005，以确保在感知数据30和联合世界视图数据之间进行相关比较。

在实例化的图2中，感知参数300和对应的感知参数5分别由车道几何估计表示。即，在图2中示出了在自主车辆2前方具有向左转的两条车道的道路部分。由参考标记6指示真实车道标记，由参考标记5d指示联合世界视图的车道几何估计，而由参考标记300d指示PMUD 3的车道几何估计。与结合图1的讨论类似，识别了PMUD 3的输出30的车道轨迹与联合世界视图的车道轨迹之间的匹配，并导出估计偏差3005。在这里，估计偏差3005被指示为车道几何估计5d、车道几何估计3005d的位置和/或几何形状之间的差异。另一方面，在示例化的图3中，感知参数300和对应的感知参数5分别由自由空间估计表示。即，在图3中图示了具有两个车道和三个示例化的外部对象(以两辆载客车辆和一辆拖拉机位于自主车辆2的前面的形式示出)的道路部分。由参考标记5e指示联合世界视图的自由空间估计，而由参考标记300e指示PMUD 3的自由空间估计。在所示示例中，仅由指示两个自由空间估计5e、3005e的不重叠部分的测量或度量导出估计偏差3005。从集合论的角度来看，这可以被理解为PMUD 3的自由空间估计300e所定义的自由空间集与联合世界视图所定义的自由空间集5e之间的对称差异3005。然后使用估计偏差3005来更新PMUD 3的感知模型的一个或多个参数。在本上下文中，自由空间区域可以被理解为周围环境中没有对象(例如，其他车辆、行人、障碍物、动物、自行车、静态对象等)的区域。因此，自由空间区域的位置可以被理解为对没有外部静态和/或动态对象的区域的估计。人们可以以类似的方式来考虑对“可行驶区域”进行估计，其中，除了对不存在对象的区域(例如，自由空间的情况)进行估计之外，还包括对存在路面的区域进行估计。

可选地，如以示例化的方式在示例化的图4中所示出的，评估系统1还适于和/或被配置为(例如，凭借可选的参数传送单元108)将PMUD 3的感知模型的一个或多个经更新的参数35传送到远程实体8。由此，可以将学习参数和/或权重35提供给后台办公室8以作进一步处理。此外，可选地，并且如以示例化的方式在示例化的图4中所示出的，评估系统1还适于和/或被配置为(例如，凭借可选的参数接收单元109)从远程实体8接收PMUD 3的感知模型的一组全局更新参数85，其中，该组全局更新参数85基于从包括PMUD 3的多辆车辆获得的信息。评估系统1还适于和/或被配置为(例如，凭借可选的模型更新单元109)基于接收到的一组全局更新参数85来更新PMUD 3的感知模型。由此，遍布生产车辆的车队的局部更新的感知模型软件可能随后会被整合到一个中央系统8中，以(至少是为自主车辆2)推动该软件的“全局”更新版本。也就是说，学习参数和/或权重35可以在后台8中被合并，这使得能够运用联合学习来开发与例如新传感器硬件和/或例如现有传感器新算法相关的感知特性。远程实体8(可以被称为后台办公室)可以例如由中央系统或云系统表示和/或包括中央系统或云系统，该中央系统或云系统能够接收数据并向配备有ADS的车队传送数据，和/或负责部署在车队中的ADS的管理和维护。该组全局更新参数85可以基于从包括PMUD 3的多辆车辆获得的信息。另一方面，一个或多个更新模型参数35从自主车辆2到远程实体8的传送可以与可预定的触发或标准相关联，其中，更新的模型参数35被本地存储在自主车辆2中，直到检测到触发或满足标准。一旦检测到触发或一旦满足标准，更新的模型参数35就被传送到远程实体8。自然地，传输时间可以进一步取决于外部因素(例如，网络可用性和网络质量)。触发和/或标准的一个示例可以是驾驶可预定的距离和/或可预定的时间量，在这种情况下，即使没有对模型参数进行更新，也可以传送模型参数，这转而可以发出感知模型表现良好的信号。触发和/或标准的另一个示例可以是超过一定数量的更新次数(即，一旦感知模型被暴露于N次更新，则感知模型的更新模型参数被传送到远程实体8，其中，N例如可以是任何大于等于2的正整数。触发和/或标准的另一个示例可能是超过基础感知模型的变化阈值(例如，基础算法权重)，即，一旦感知模型的模型参数被更新以使得更新后的值与基础值的变化≥K％，则感知模型更新后的模型参数被传送到远程实体8，其中，例如，K可以是例如任何正实数值。基础感知模型不需要是在车辆中启动的第一个感知模型，但是可以例如被定义为感知模型被全局更新参数85更新之后得到的感知模型。因此，每一次全局更新，都会定义一个新的基础感知模型，该模型反过来指示上述触发/阈值。换句话说，远程实体8可以整合学习到的(例如车队中的每一辆车辆的)车辆参数，并且将PMUD 3的更新推送到车辆(例如车队中的每一辆车辆)。因此，人们可以利用整个生产车队(而不是少数专门的测试车辆)来开发和验证与ADS 21相关的各种感知特性。此外，因为在车辆和远程实体8之间传输的数据是模型参数(例如，网络权重)的形式，而不是例如原始的或经处理的传感器数据的形式，所以在带宽要求、数据存储、数据安全、数据隐私和遵守数据法规方面的优势很容易实现。

如图4所进一步示出的，评估系统1包括世界视图获得单元101、其他世界视图获得单元102、联合世界视图形成单元103、PMUD数据获得单元104、匹配单元105、估计偏差确定单元106、参数更新单元107、可选参数传送单元108、可选参数接收单元109和可选模型更新单元110，已经在上面更详细地描述了所有这些。此外，可以通过一个或多个处理器(例如，处理器111，例如由至少一个第一中央处理器来表示)、和/或至少一个第一图形处理单元、连同用于实施本文中实施例的功能和行为的计算机程序代码来实现本文中用于配备有ADS21的自主车辆2的PMUD 3的性能评估和更新的实施例。上述程序代码也可以被作为计算机程序产品来提供(例如，在被装载到评估系统1时，以数据载体的形式携带用于实施本文中实施例的计算机程序代码)。这样的载体可以是以CD/DVD ROM光盘和/或硬盘驱动器的形式，然而其他数据载体也是可行的。计算机程序代码还可以作为纯程序代码被提供在服务器上并被下载到评估系统1。评估系统1还可以包括存储器112(存储器112包括一个或多个存储器单元)。存储器112可选地包括高速随机存取存储器(例如，DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备)，并且进一步可选地包括非易失性存储器(例如，一个或多个磁盘存储设备、光盘存储设备、闪存设备或其他非易失性固态存储设备)。此外，存储器112可以被布置为用于存储例如信息，并且进一步存储数据、配置、调度和应用，以在被评估系统1运行时实施本文中的方法。例如，可以在存储在嵌入式处理器111的闪存存储器112中的固件中实现上述计算机程序代码，并/或例如从场外服务器无线下载上述计算机程序代码。此外，单元101-110、可选处理器111和/或可选存储器112可以至少部分地被包括在一个或多个节点113中，(例如，自主车辆2的ECU，例如，在ADS 21中和/或与ADS21相关联)。本领域技术人员还将理解，上述单元101-110以及本文所描述的任何其他单元、接口、系统、控制器、模块、设备、元件、特征或类似的东西可以指代、包含、包括模拟和数字电路的组合(和/或在模拟和数字电路的组合中被实现或者通过组合数字和模拟电路来实现)和/或配置有软件和/或固件的一个或多个处理器(例如，存储在诸如存储器112之类的存储器中)，当由一个或多个处理器(例如，处理器111)运行时，实施本文所描述的项目。这些处理器中的一个或多个以及其他数字硬件可以被包括在单个专用集成电路(ASIC)或几个处理器中，并且无论是被单独封装还是被组装到片上系统(SoC)，各种数字硬件可以被分布在一些分离的组件中。

潜在地，并且如以示例化的方式在示例化的图5中所示出的，在图5中考虑到时间方面，获得世界视图数据221可以包括在时间段T期间存储从感知模块22获得的在时间段T期间生成的一组世界视图数据221。然后，获得其他世界视图数据421可以包括在本质上的上述时间段T期间存储从另一个感知模块42获得的在上述时间段T期间(或本质上在上述时间段T期间)生成的另一组世界视图数据421。此外，形成联合世界视图于是可以包括分别地或联合地对世界视图数据组221和另一个世界视图数据组421进行后处理来形成联合世界视图，所形成的联合世界视图反映了自主车辆2在时间段T期间的周围环境。此外，获得感知数据30于是可以包括从PMUD 3获得一组感知数据30，该感知数据30是基于感知模型和在时间段T期间(或本质上在时间段T期间)从一个或多个车载传感器23获得的传感器数据而生成的。进一步，潜在地，并且如以示例化的方式在示例化的图5中所示出的，上述时间段T可以在第一时间点T1到第二时间点T2的范围内。联合世界视图的形成于是可以包括在对该组的世界视图数据221和其他世界视图数据421的一部分进行后处理的基础上形成联合世界视图，该一部分的范围从第二时间点T2回到中间时间点Ti(该中间时间点Ti在第一时间点T1和第二时间点T2之间)，所形成的联合世界视图以上述部分为条件指示自主车辆2的周围环境。此外，上述部分的后处理还可以潜在地包括使上述部分通过至少一个第一后向过滤器，该第一后向过滤器被配置为基于一组世界视图数据221和/或另一组世界观数据421中一组感知参数5从中间时间点Ti到第二时间点T2的(一个或多个)状态的发展，在中间时间点Ti对齐该组感知参数5。因此，随着时间从中间时间点Ti到第二时间点T2，对自主车辆周围环境的认识增加，并且通过在逆时间方向分析数据，人们也许可以(具有更高的准确性地)确定自主车辆2周围对象在中间时间点Ti的状态(即，类别、位置、轨迹等)，这比运行时方式可能做的还要多。

在图5中以示例化的方式说明了上述情况，其中描绘了一系列场景，这些场景描绘了自主车辆2和(一辆或多辆)其他车辆4接近外部对象9的时间发展。每个图都与时间段T内的一个时间点相关联，时间段T的范围从T1中第一个时刻到T2中第二个时刻。在第一幅图(a)中，自主车辆2和(一辆或多辆)其他车辆4正在向一个外部对象(这里是以一个示例化的卡车的形式)移动，该卡车在道路部分的相邻车道上沿着相同的方向行驶。然而，由于与外部对象9的距离的缘故，车辆2、4的感知模块22、42可能无法以足够高的准确度水平来确定外部物体9的位置，并无法将其分类为卡车。这由包围卡车的框9a指示，该框用于示意性地指示检测和分类的不确定性。在时间段Ts1内的一个随后的时刻，即，图5中的图(b)，车辆2、4更靠近外部对象9，并且关于外部对象9的位置和类别/类型的不确定性降低，指示为由与框9a相比尺寸减小的框9b。在时间段Ts2内的另一个随后的时刻，即，图5中的图(c)，车辆2、4的感知模块22、42能够准确地确定外部对象9的位置并将其分类为卡车。更具体地，自主车辆2和(一辆或多辆)其他车辆4现在足够靠近卡车9，以能够对其进行分类并且与车辆2、4离卡车较远时相比，能以更高的精确度估计卡车在道路上的位置。然后，凭借适当的过滤技术并基于场景的时间发展，能够在T1和T2之间的时间中间点Ti建立联合世界视图，如图5底部图(d)所示。可以注意到，后处理可以包括比通过后向过滤器运行它更进一步的处理步骤，并且例如包括来自各种传感器的数据的融合，以及对融合的信息应用后向过滤和前向过滤(例如通过使用粒子滤波器或不同类型的卡尔曼滤波器(例如，扩展卡尔曼滤波器))。可以在同一申请人的欧洲专利申请(申请号：EP21158017)中找到与上述后处理有关的进一步细节，该申请通过引用并入本文，并且为了简洁和简洁起见，将不再作进一步详述。在本文中，术语“存储”数据221、421可以指“存储在一个或多个存储器中”、“存储在车辆中”、“存储在一个或多个存储器中”和/或“以数字和/或电子方式存储”，而另一方面，术语数据221、421的“集合”可以指数据221、421的“范围”、“数量”、“系列”、“连续和/或间歇流”和/或“合集”，时间段T以及相应的可选数据缓冲区的长度可以是被认为可行的任何任意的大小，例如，考虑到数据容量限制，并且可以例如范围从不到一秒到几分钟，或更优选地，从几秒到少于一分钟。此外，短语“通过后处理形成”并不一定意味着对所有存储的数据进行了后处理，但应该被理解为对至少一部分或至少一个范围的存储数据进行了后处理。

图6是描绘的由评估系统1根据本公开的实施例实施的示例化方法的流程图。上述方法是针对配备有ADS 21的自主从车辆2的PMUD 3的性能评估与更新。示例化方法可以是连续重复的，该方法包括在图1至图5的支持下讨论的一个或多个下列动作。此外，可以以任何适当的顺序执行这些动作和/或可以同时执行一项或多项动作，和/或在适用时以交替的顺序执行。例如，动作1001、动作1002和动作1004可以以交替顺序和/或同时执行。

动作1001

在动作1001中，评估系统1从自主车辆感知模块22获得(例如，在世界视图获得单元101的支持下)世界视图数据221，该自主车辆感知模块22被配置为基于从一个或多个车载传感器23获得的传感器数据生成世界视图数据221。

动作1002

在动作1002中，评估系统1获得(例如，在其他世界视图获得单元102的支持下)其他世界视图数据421，该其他世界视图数据421由自主车辆4周围环境中的至少一辆第一其他车辆4的其他感知模块42生成。可选地，获得其他世界视图数据421的动作1002可以包括从一辆或多辆满足车辆充足性标准的其他车辆4获得上述其他世界视图数据421，该充足性标准包括在何种情况下，其他车辆4被认为足以从该情况中获得其他世界观数据421。

动作1003

在动作1003中，评估系统1通过在共同参考系统中匹配世界视图数据221和其他世界视图数据421来形成(例如，在联合世界视图形成单元103的支持下)联合世界视图。可选地，世界视图数据221和其他世界视图数据421可以包括各自的数据充足性属性，这些属性指示各自对联合世界视图的贡献的充足性。形成联合世界视图的动作1003于是可以包括(和/或联合世界视图形成单元103可以适于和/或配置为)利用世界观数据221和其他世界观数据421的一定程度的贡献来形成上述联合世界视图，世界观数据221和其他世界观数据421的一定程度的贡献分别基于各自的数据充分性属性。

动作1004

在动作1004中，评估系统1(例如，在PMUD数据获取单元104的支持下)获得来自PMUD 3的感知数据30，上述PMUD 3被配置为基于感知模型和从一个或多个车载传感器23获得的传感器数据生成感知数据30，其中，感知数据30指示自主车辆2周围环境的感知参数300。可选地，感知参数可以包括以下项中的至少一个：对象检测估计；对象分类估计；对象状态估计；道路参考估计；自由空间估计；对象轨迹估计；可行驶区域估计；对象属性估计；自主车辆属性估计；ODD参数估计；路段类别估计；以及电子地平线估计。

动作1005

在动作1005中，评估系统1将感知数据30(例如，在匹配单元105的支持下)匹配到所形成的联合世界视图。

动作1006

在动作1006中，评估系统1(例如，在估计偏差确定单元106的支持下)参考联合世界视图评估所获得的感知数据30，以确定已识别的感知数据30的感知参数300与联合世界视图中相应的感知参数5的匹配的估计偏差3005。

动作1007

在动作1007中，评估系统1(例如，在参数更新单元107的支持下)基于估计偏差3005更新上述感知模型的一个或多个参数。

动作1008

在可选的动作1008中，评估系统1可以(例如，在可选参数传送单元108的支持下)传送PMUD 3的感知模型的一个或多个经更新的参数35到远程实体8。

动作1009

在可选的动作1009中，评估系统1可以(例如，在可选参数接收单元109的支持下)接收来自远程实体8的PMUD 3的感知模型的一组经全局更新的参数85，其中，该组经全局更新的参数85基于从多辆包括PMUD 3的车辆获得的信息。

动作1010

在可选的动作1010中，评估系统1于是可以基于接收到的一组经全局更新的参数85(例如，在模型更新单元110的支持下)更新PMUD 3的感知模型。

本领域技术人员意识到，本公开决不限于上述优选实施例。相反，在所附权利要求的范围内，许多修改和变化都是可能的。还应注意，附图不一定按比例绘制，并且为了清楚起见，某些特征的尺寸可能已经被放大。相反，重点放在说明本文的上述实施例的原理上。此外，在权利要求中，“包括”一词不排除其他元件或步骤，不定冠词“一个(a)”或“一个(an)”不排除多个。

Claims (15)

1.一种由评估系统(1)执行的用于对配备有自动驾驶系统ADS(21)的自主车辆(2)的开发中感知模块PMUD(3)进行性能评估和更新方法，所述方法包括：

从自主车辆感知模块(22)获得(1001)世界视图数据(221)，所述自主车辆感知模块(22)被配置为基于从一个或多个车载传感器(23)获得的传感器数据生成所述世界视图数据(221)；

获得(1002)其他世界视图数据(421)，所述其他世界视图数据(421)由在所述自主车辆(2)的周围环境中的至少一辆第一其他车辆(4)的其他感知模块(42)生成；

通过在共同参考系统中匹配所述世界视图数据(221)和所述其他世界视图数据(421)来形成(1003)联合世界视图；

从所述PMUD(3)获得(1004)感知数据(30)，所述PMUD(3)被配置为基于感知模型和从一个或多个车载传感器(23)获得的传感器数据来生成所述感知数据(30)，其中，所述感知数据(30)指示所述自主车辆(2)的所述周围环境的感知参数(300)；

将所述感知数据(30)匹配(1005)到所形成的所述联合世界视图；

参考所述联合世界视图来评估(1006)所获得的所述感知数据(30)，以确定已识别的所述感知数据(30)的所述感知参数(300)和所述联合世界视图中的相应的感知参数(5)之间的匹配的估计偏差(3005)；并且

基于所述估计偏差(3005)来更新(1007)所述感知模型的一个或多个参数。

2.根据权利要求1所述的方法，其中，所述世界视图数据(221)和所述其他世界视图数据(421)包括指示各自对所述联合世界视图的贡献充足性的各自的数据充足性属性，形成(1003)所述联合世界视图包括：利用所述世界视图数据(221)和所述其他世界视图数据(421)的一定程度的贡献来形成所述联合世界视图，所述一定程度的贡献各自基于所述各自的数据充足性属性。

3.根据权利要求1或2所述的方法，其中，获得(1002)所述其他世界视图数据(421)包括：从满足车辆充足性标准的一辆或多辆其他车辆(4)获得所述其他世界视图数据(421)，所述车辆充足性标准包括以下条件：在什么情况下其他车辆(4)被认为足以获得其他世界视图数据(421)。

4.根据权利要求1至3中任一项所述的方法，其中，所述感知参数(300)包括以下中的至少一项：

对象检测估计；

对象分类估计；

对象状态估计；

道路参考估计；

自由空间估计；

对象轨迹估计；

可行驶区域估计；

对象属性估计；

自主车辆属性估计；

操作设计域ODD参数估计；

路段类别估计；以及

电子地平线估计。

5.根据权利要求1至4中任一项所述的方法，还包括：

将所述PMUD(3)的感知模型的一个或多个经更新的参数(35)传送(1008)到远程实体(8)。

6.根据权利要求1至5中任一项所述的方法，还包括：

从所述远程实体(8)接收(1009)所述PMUD(3)的所述感知模型的一套经全局更新的参数(85)，其中，所述一套经全局更新的参数(85)基于从包括所述PMUD(3)的多辆车辆获得的信息；并且

基于所述接收到的所述一套经全局更新的参数(85)来更新(1010)所述PMUD(3)的所述感知模型。

7.一种用于对配备有自动驾驶系统ADS(21)的自主车辆(2)的开发中感知模块PMUD(3)进行性能评估和更新的评估系统(1)，所述评估系统(1)包括：

世界视图获得单元(101)，用于从自主车辆感知模块(22)获得(1001)世界视图数据(221)，所述自主车辆感知模块(22)被配置为基于从一个或多个车载传感器(23)获得的传感器数据生成所述世界视图数据(221)；

其他世界视图获得单元(102)，用于获得(1002)其他世界视图数据(421)，所述其他世界视图数据(421)由在所述自主车辆(2)的周围环境中的至少一辆第一其他车辆(4)的其他感知模块(42)生成；

联合世界视图形成单元(103)，用于通过在共同参考系统中匹配所述世界视图数据(221)和所述其他世界视图数据(421)来形成(1003)联合世界视图；

PMUD数据获得单元(104)，用于从所述PMUD(3)获得(1004)感知数据(30)，所述PMUD(3)被配置为基于感知模型和从一个或多个车载传感器(23)获得的传感器数据来生成所述感知数据(30)，其中，所述感知数据(30)指示所述自主车辆(2)所述周围环境的感知参数(300)；

匹配单元(105)，用于将所述感知数据(30)匹配(1005)到所形成的所述联合世界视图；

估计偏差确定单元(106)，用于参考所述联合世界视图来评估(1006)所获得的所述感知数据(30)，以确定已识别的所述感知数据(30)的所述感知参数(300)和所述联合世界视图中的相应的感知参数(5)之间的匹配的估计偏差(3005)；并且

参数更新单元(107)，用于基于所述估计偏差(3005)来更新(1007)所述感知模型的一个或多个参数。

8.根据权利要求7所述的评估系统(1)，其中，所述世界视图数据(221)和所述其他世界视图数据(421)包括指示各自对所述联合世界视图的贡献充足性的各自的数据充足性属性，所述世界视图获得单元(101)适于用于利用所述世界视图数据(221)和所述其他世界视图数据(421)的的一定程度的贡献来形成所述联合世界视图，所述一定程度的贡献各自基于所述各自的数据充足性属性。

9.根据权利要求7或8所述的评估系统，其中，所述其他世界视图获得单元(102)适于从满足车辆充足性标准的一辆或多辆其他车辆(4)获得所述其他世界视图数据(421)，所述车辆充足性标准包括以下条件：在什么情况下其他车辆(4)被认为足以获得其他世界视图数据(421)。

10.根据权利要求7至9中任一项所述的评估系统(1)，其中，所述感知参数(300)包括以下中的至少一项：

对象检测估计；

对象分类估计；

对象状态估计；

道路参考估计；

自由空间估计；

对象轨迹估计；

可行驶区域估计；

对象属性估计；

自主车辆属性估计；

操作设计域ODD参数估计；

路段类别估计；以及

电子地平线估计。

11.根据权利要求7至10中任一项所述的评估系统，还包括：

参数传送单元(108)，用于将所述PMUD(3)的感知模型的一个或多个经更新的参数(35)传送(1008)到远程实体(8)。

12.根据权利要求7至11中任一项所述的评估系统(1)，还包括：

参数接收单元(109)，从所述远程实体(8)接收(1009)所述PMUD(3)的所述感知模型的一套经全局更新的参数(85)，其中，所述一套经全局更新的参数(85)基于从包括所述PMUD(3)的多辆车辆获得的信息；并且

模型更新单元(110)，用于基于所接收到的所述一套经全局更新的参数(85)来更新(1010)所述PMUD(3)的所述感知模型。

13.一种车辆(2)，包括根据权利要求7至12中任一项所述的评估系统(1)。

14.一种计算机程序产品，包括存储在计算机可读介质或载波上计算机程序，该计算机程序包括计算机程序代码装置，所述计算机程序代码装置被布置为使计算机或处理器执行根据权利要求1至6中任一项所述的方法的步骤。

15.一种非易失性计算机可读存储介质，其上存储有如权利要求14所述的计算机程序产品。

Images