CN113743709A - 用于自主和半自主车辆的在线感知性能评估 - Google Patents

Abstract

本公开涉及用于自主和半自主车辆的在线感知性能评估。尤其是对自主车辆进行在线感知性能评估的方法和系统。方法包括从自主车辆的感知系统获取传感器数据，传感器数据包括关于自主车辆的周围环境中的对象的信息。方法包括从自主车辆的周围环境中的外部车辆获取通信数据，通信数据包括外部车辆的物理属性。方法包括将外部车辆的物理属性与关于对象的信息相比较，以便找到至少对象中的与物理属性匹配的对象。然后，如果找到对物理属性的匹配，方法进一步包括获取指示外部车辆的世界图景的世界图景数据、在自主车辆和外部车辆之间形成公共参考系，以及将获取的传感器数据与外部车辆的世界图景数据相比较，以便评估自主车辆的感知系统的性能。

Description

用于自主和半自主车辆的在线感知性能评估

技术领域

本公开涉及自主和半自主车辆，并且更具体地，本公开涉及使得能够对这样的车辆进行在线感知性能评估的方法和系统。

背景技术

在最近这些年期间，自主车辆的开发已经在蓬勃发展并且正在探究许多不同的解决方案。增加数量的现代车辆具有高级驾驶辅助系统(ADAS)来提高车辆安全性并且(更一般地说)道路安全性。例如可以通过自适应巡航控制ACC、防碰撞系统、前方碰撞警报，等等所表示的ADAS是可以在驾驶时辅助车辆驾驶员的电子系统。为了如预期地起作用，ADAS可以依赖来自诸如像汽车成像、LIDAR、雷达、图像处理、计算机视觉，和/或车内联网的多个数据源的输入。

今天，在这些领域内的许多不同的技术范围内，在ADAS以及自主驾驶(AD)两者中，发展都在进行中。通常在具有例如通过驾驶自动化的SAE J3016级别(0至5)所定义的不同级别的自动化的常用术语自动驾驶系统(ADS)之下，可以提及ADAS和AD。

因此，在不远的未来，ADS解决方案将在更大的范围找到它们进入现代车辆的方式。ADS可以被解释为各个组件的复合组合，其能够被定义为其中通过电子仪器和机械而非人类驾驶员来执行车辆的感知、决策作出和操作的系统，以及被定义为自动化至公路交通的引入。这包括对车辆、目的地以及周围的意识的处理。在自动化系统能控制车辆时，其允许人类操作员把所有责任交给系统。ADS常常组合各种传感器(诸如像雷达、LIDAR、声纳、照相机、例如GPS的导航系统、里程表和/或惯性测量单元(IMU))来感知车辆的周围，基于其，高级控制系统可以解释感测信息来识别适当的导航路径，以及阻挡物和/或有关的标牌。

然而，如上所述的ADS特征被限制为被具有高完整性的功能所需要以便对车辆乘坐者以及他们的周围环境提供充分低的风险。保证风险充分低可能要求用于统计证明的棘手的数据量，并且根据示例将采取例如大致数百车辆来连续地驾驶五个世纪来获得。在公共道路上启动ADS特征之前，存在若干方式来最小化ADS特征的风险。然而，在这之上，普遍认为应当在现场即刻监视ADS特征，以便确保它们遵守所需要的安全级别。

然而，只是依赖也被使用来实现ADS的动态驾驶任务的制造传感器，进行ADS的性能的该监视，可能是困难的。如果传感器有系统地次优地执行(例如，由于随着时间的推移产生的重新校准的需要或物理劣化所引起的系统误差)，进行检测，可能是非常具有挑战性的。一旦存在实际事故或未遂事故，实际上就能够检测到问题，但是到那时可以说已经太迟，并且作为偶发事件的、人们想要不惜任意代价避免的一些事情可能刺伤公众对我们的技术的信心。

因此，现有技术中需要新的解决方案，并且具体地需要用于减轻与次优地执行自主车辆的传感器相关联的问题的新的解决方案。

发明内容

因此，本公开的目的是提供使得能够对自主车辆进行在线感知性能评估的方法、计算机可读存储介质、对应的系统，以及包括这样的系统的车辆，其缓和以上讨论的问题中的所有或者至少一些。

此外，本公开的目的是提供针对特定实体/身体关于自主车辆的世界图景被判断的位置来识别特定实体/身体的解决方案，以便促进在线感知性能评估。更具体地，本公开的目的是使得车辆能够建立与另一辆车辆的公共参考帧，以便实现/促进感知性能评估。

借助于如所附权利要求所限定的使得能够对自主车辆进行在线感知性能评估的方法、计算机可读存储介质、对应的系统，以及包括这样的系统的车辆来实现这些目的。术语示例性在本上下文中要被理解为充当实例、示例或图示。

根据本公开的第一方面，提供一种使得能够对自主车辆进行在线感知性能评估的方法。该方法包括：从自主车辆的感知系统获取传感器数据，其中传感器数据包括关于自主车辆的周围环境中的至少一个对象的信息。此外，该方法包括从自主车辆的周围环境中的外部车辆获取通信数据，其中获取的通信数据包括外部车辆的至少一个物理属性。而且，该方法包括将获取的外部车辆的至少一个物理属性与关于至少一个对象的信息相比较，以便找到至少一个对象中的与至少一个物理属性匹配的对象。然后，如果找到对至少一个物理属性的匹配，该方法进一步包括获取指示外部车辆的世界图景的世界图景数据、形成自主车辆和外部车辆之间的公共参考系，以及将获取的传感器数据与外部车辆的世界图景数据相比较，以便评估自主车辆的感知系统的性能。

在道路上增加数量的自动驾驶系统(ADS)的情况下，在驾驶时遇到其他ADS，将是越来越可能。通过与这些其他ADS进行通信，可以通过将来自其他ADS的输出(如在当前世界模型/图景中)与来自自己的ADS的输出相比较来进行感知和定位系统的在线性能评估。例如在通过引用全部在本文被合并瑞典·哥森堡的哲内提AB的本申请的申请人的题为“PERCEPTION PERFORMANCE EVALUATION OF A VEHICLE ADAS OR ADS(车辆ADAS或者ADS的感知性能评估)”、当前未决的欧洲专利申请号EP20153214.0中公开了这样的在线感知性能评估的示例。

然而，为了使这样的解决方案工作，完整的是，每个ADS能够与其进行通信的外部车辆建立公共参考系/框架。如果没有能够建立公共参考帧，则根据两辆车辆的传感输出的比较来生成任意有意义的信息，是不可能的。

更详细地，关于自主车辆的围绕本身的世界的“图景”进行的外部车辆的识别是建立公共参考系的一种可能方式。在人们能够完全地依赖高精度全局定位之前，这是创建可以是能够对准并且将来自一个或多个ADS的输出相比较所需要的公共参考系的有效方式。本发明人认识到，仅仅识别其他车辆出现在自主车辆的附近不是足够的，但是其是有利的，并且觉察外部车辆在自主车辆的世界图景中所对应的精确对象可能甚至是关键的。这也包括以下情况，其中自主车辆仅仅“看见”一辆其他车辆，因为其不能简单地推断出该车辆是其进行通信的那辆——即使该车辆高度可能是。在具有附加的其他车辆的更复杂的情形中，甚至存在能够识别ADS进行通信的特定车辆的更大的需求。

因此，因此提供解决方案，其中通过接收传感器数据以及外部车辆的物理属性的集合两者来识别公共参考系/框架。该信息随后被匹配到自己的车辆的世界图景，并且在另一辆车辆是看得见的情况下，所接收的物理属性能够用于找到唯一的匹配。

根据本公开的第二方面，提供一种存储被配置为由车辆控制系统的一个或多个处理器执行的一个或多个程序的非暂时性计算机可读存储介质，该一个或多个程序包括执行根据在本文公开的任意一个实施例的方法的指令。关于本公开的该方面，如在先前讨论的本公开的第一方面中，提出类似的优点和优选的特征。

如在本文所使用的，术语“非暂时性”旨在是描述传播电磁信号以外的计算机可读存储介质(或“存储器”)，但是并不旨在另外限制通过短语计算机可读介质或存储器所涵盖的物理计算机可读存储设备的类型。例如，术语“非暂时性计算机可读介质”或“有形存储器”旨在包含不一定永久地存储信息的存储设备的类型，例如包括随机存取存储器(RAM)。可以进一步通过传输介质或可以经由诸如网络和/或无线链路之类的通信介质所输送的诸如电子、电磁，或数字信号之类的信号来传送存储在非暂时性形式的有形计算机可访问的存储介质上的程序指令和数据。因此，如在本文所使用的，术语“非暂时性”是与对数据存储持续性的限制相反的对介质本身的限制(即，有形、不是信号)(例如，RAM相对于ROM)。

根据本公开的第三方面，提供一种使得能够对自主车辆进行在线感知性能评估的系统。系统包括控制电路，该控制电路被配置为从自主车辆的感知系统获取传感器数据，其中传感器数据包括关于自主车辆的周围环境中的至少一个对象的信息。另外，控制电路被配置为从位于自主车辆的周围环境中的外部车辆获取通信数据，其中获取的通信数据包括外部车辆的至少一个物理属性。控制电路被进一步配置为将获取的外部车辆的至少一个物理属性与关于至少一个对象的信息相比较，以便找到至少一个对象中的与至少一个物理属性匹配的对象。然后，如果找到对至少一个物理属性的匹配，则控制电路被配置为获取指示外部车辆的世界图景的世界图景数据、形成自主车辆和外部车辆之间的公共参考系，以及将获取的传感器数据与外部车辆的世界图景数据相比较，以便评估自主车辆的感知系统的性能。关于本公开的该方面，如在先前讨论的本公开的第一方面中，提出类似的优点和优选的特征。

此外，根据本公开的第四方面，提供一种车辆，其包括具有用于监视车辆的周围环境的至少一个传感器设备的感知系统。车辆进一步包括：通信系统，用于经由一个或多个天线向外部收发信机发送无线数据包并且从外部收发信机接收无线数据包；以及根据在本文公开的任意一个实施例的使得能够进行在线感知性能评估的系统。关于本公开的该方面，如在先前讨论的本公开的第一方面中，提出类似的优点和优选的特征。

在从属权利要求中限定本公开的另外的实施例。应当强调，当在本说明书中使用时，采用术语“包括/包括有”以指定所陈述的特征、整数、步骤，或组件的存在。其不阻止存在或添加一个或多个其他特征、整数、步骤、组件，或其组。

将在下文中参考在下文描述的实施例来进一步澄清本公开的这些和其他特征和优点。

附图说明

根据以下详细描述，本公开的实施例的另外的目的、特征和优点将明显，对附图作出参考，其中：

图1是根据本公开的实施例的使得能够对自主车辆进行在线感知性能评估的方法的示意流程图表示。

图2a至图2e是根据本公开的实施例的、包括使得能够进行在线感知性能评估的系统的车辆的一系列示意顶视图的图示。

图3是根据本公开的实施例的、包括使得能够进行在线感知性能评估的系统的车辆的示意性侧视图示。

具体实施方式

本领域技术人员将理解，可以使用独立的硬件电路、使用结合编程微处理器或通用计算机运行的软件、使用一个或多个专用集成电路(ASIC)和/或使用一个或多个数字信号处理器(DSP)来实施在本文解释的步骤、服务和功能。也将理解，当就方法来描述本公开时，其也可以被体现在一个或多个处理器和耦合到一个或多个处理器的一个或多个存储器中，其中，一个或多个存储器存储当由一个或多个处理器执行时执行在本文公开的步骤、服务和功能的一个或多个程序。

在示例性实施例的以下描述中，相同的附图标记表示相同的或相似的组件。

图1是使得能够对诸如像汽车、公共汽车、卡车，等等的车辆进行在线感知性能评估的方法100的示意流程图表示。更详细地，该方法100提供通过将自己的车辆(即，自主车辆)的输出与位于自主车辆的周围环境中的外部车辆的输出相比较来设定和执行车辆的感知和定位系统的在线性能评估的手段。输出可以被解释为对应的车辆的当前“世界图景”，即，来自感知系统的传感器数据、来自定位系统的位置数据，等等。

继续前进，该方法100可以包括检测101对另一辆车辆的接近的步骤。例如，车辆可以被配置为广播RF(射频)信号，借此两辆车辆可以相互地接收另一辆车辆的广播信号，并且可以推断接近。随后，能够在两辆车辆之间建立通信路径。替换地，车辆可以连接到公共中央车队管理系统(例如，连接到公共“云”系统)，该公共中央车队管理系统被配置为监视车辆的位置并且当车辆接近彼此时向车辆传送信号以便(直接地或经由中央系统)发起车辆之间的通信。

另外，该方法100包括根据自主车辆的感知获取102传感器数据。传感器数据包括关于位于车辆的周围环境中的一个或多个对象的信息。换句话说，，该方法100包括建立/确定自主车辆的世界图景，其可以被解释为自主车辆的周围的感知模型。可以以任意想要的方式(例如已知的方式)实现传感器数据的获取102。而且，传感器数据可以指的是相关于自主车辆的ADS的任意数据。传感器数据可以因此指示自主车辆的周围的感知，并且可以从来自自主车辆的感知系统的一个或多个传感器的输出数据、输出数据的内部处理得出，以便实现传感器融合、跟踪，等等。而且，该方法100可以进一步包括获取诸如像HD地图数据的数字地图数据。应当注意到，甚至所述获取102期间和/或传感器数据的产生期间的自主车辆已经被车辆驾驶员至少部分地控制，也可以从感知系统推导传感器数据。换句话说，可以一直获取102传感器数据，并且传感器数据不取决于影响或完全地控制车辆的ADS特征。术语获取在本文要被概括地解释并且包含接收、调取、收集、获得，等等。

因而，短语“从感知系统获取传感器数据”可以例如指的是“推导感知数据”、“推导自主车辆世界图景数据”、“推导自主车辆的周围的图景”，或者“推导自主车辆的世界图景”。关于后者，短语可以进一步指的是“在来自自主车辆的ADS的内部处理和/或诸如HD地图之类的数字地图的支持的情况下推导世界图景”和/或“推导全局和/或HD地图的世界图景与来自HD地图的支持协调进行”。感知系统在本上下文中被理解为负责从诸如照相机、LIDAR和RADAR、超声波传感器等等的传感器上获得原始传感器数据并且将其该原始数据转换为景物理解的系统。自然地，可以从一个或多个适当的传感器(诸如像照相机、LIDAR传感器、雷达、超声波传感器，等等)直接地接收传感器数据。

另外，该方法100包括从自主车辆的周围环境中的外部车辆获取103通信数据。获取103的通信数据包括(至少)关于外部车辆的至少一个物理属性103a的信息。外部车辆的一个或多个物理属性103a可以例如是外部车辆的颜色、外部车辆的制造商、外部车辆的型号、外部车辆的牌照号或标识符，和/或外部车辆的地理位置(例如，GPS位置)。换句话说，一旦已经建立101了自主车辆和外部车辆之间的通信，则外部车辆以自主车辆的感知系统可检测的一个或多个物理属性的形式发送自己的一个或多个标识符。

在一些实施例中，该方法100可以进一步包括物理属性和世界图景的相互共享。因此，该方法100可以进一步包括向外部车辆发送104自主车辆的一个或多个物理属性，并且向外部车辆发送从自主车辆的感知系统获取102的传感器数据。更详细地，该方法100可以进一步向外部车辆包括发送指示自主车辆的至少一个物理属性的数据。另外，该方法100可以包括从外部车辆获取外部请求信号，该外部请求信号指示向外部车辆传送传感器数据的请求，以及在获取外部请求信号之后向外部车辆发送传感器数据。

继续前进，该方法100进一步包括将所接收的外部车辆的物理属性与自主车辆的“世界图景”匹配105的步骤，即，将外部车辆的物理属性103a与在自主车辆的周围环境中感知的一个或多个对象匹配105。换句话说，该方法100包括将获取103的外部车辆的至少一个物理属性103a与关于至少一个对象的信息相比较105，以便找到至少一个对象中的与至少一个物理属性103a匹配的对象。

在一些实施例中，将获取的外部车辆的至少一个物理属性与关于至少一个对象的信息相比较105的步骤包括：针对预定义的置信度阈值将获取103的外部车辆的至少一个物理属性103a与关于至少一个对象的信息相比较，以及选择至少一个对象中的具有与高于预定义的置信度阈值的获取的至少一个物理属性匹配的一个或多个物理属性的对象。

然后，如果找到106对于至少一个物理属性103a的匹配，该方法进一步包括获取指示外部车辆的世界图景的世界图景数据103b。世界图景数据103b可以例如与外部车辆的一个或多个物理属性103a一起被包括在获取103的通信数据中。更详细地，外部车辆的物理属性可以是通信数据的报头或元数据的形式，而外部车辆的“世界图景”可以形成获取103的通信数据的本体或有效负载。因此，自主车辆可以使用通信数据的报头或元数据以便尝试匹配于外部车辆的物理属性103a，并且如果找到匹配，则处理相关联的世界图景数据103b，否则可以丢弃或拒绝世界图景数据103b。

替换地，一旦找到对于外部车辆的物理属性103a的匹配，则可以由自主车辆请求外部车辆的世界图景数据103b。因此，在该场景中，自主车辆将从外部车辆获取两个数据集，包括外部车辆的一个或多个物理属性103a的第一数据集，并且然后请求和获取包括外部车辆的世界图景103b的第二数据集。因此，在一些实施例中，该方法100包括向外部车辆发送请求信号，该请求信号指示对于外部车辆的世界图景数据的请求，以及在已经发送了请求信号之后从外部车辆接收世界图景数据。

另外，该方法100包括：在自主车辆和外部车辆之感知系统。间形成建立109公共参考系，以及将获取的传感器数据与外部车辆的世界图景数据相比较以便评估111自主车辆的感知系统的性能。可以例如通过传感器融合中的数据关联来执行将数据集匹配的处理，如本领域技术人员容易地理解的。在通过引用全部在本文被合并瑞典·哥森堡的哲内提AB的本申请的申请人的题为“PERCEPTION PERFORMANCE EVALUATION OF A VEHICLE ADAS ORADS(车辆ADAS或者ADS的感知性能评估)”、当前未决的欧洲专利申请号EP20153214.0中公开了这样的感知性能评估的示例。

然而，如果在自主车辆的传感器数据中没有找到对外部车辆的一个或多个物理属性103a的匹配，则该方法100可以包括将获取的外部车辆的世界图景与关于至少一个对象的信息相比较的步骤以便建立107至少自主车辆的世界图景和外部车辆的世界图景之间的部分匹配。因此，如果没有能够找到对外部车辆的物理属性的匹配，并且如果获取了外部车辆的世界图景数据，则除它们的估计的位置和状态之外，能够将(由外部车辆)获取的任意检测到的周围对象的物理属性包括在世界图景数据中。这将允许其他对象的匹配(被称为“部分匹配”)，以便基于这些创建公共参考系。因此，如果建立107了部分匹配，该方法进一步包括：在自主车辆和外部车辆之间(或更具体地在自主车辆的世界图景和外部车辆的世界图景之间)形成109公共参考系，以及将获取的传感器数据与外部车辆的世界图景数据相比较，以便评估111自主车辆的感知系统的性能。

然而，如果没有能够找到获取103的外部车辆的物理属性103a与自主车辆的世界图景中的一个或多个对象之间的匹配，并且如果没有能够建立部分匹配，则该方法可以包括从外部车辆获取110确认信号的步骤。确认信号指示由外部车辆完成的成功匹配。换句话说，确认信号指示外部车辆能够基于传送104的自主车辆的物理属性和自主车辆的世界图景数据而建立了与自主车辆的公共参考系。因此，在从外部车辆获取确认信号时，该方法可以包括确定在自主车辆的内部系统中的一个或多个中存在错误并且向远程实体(例如，公共车队管理系统)发送112错误数据以用于离线处理。

然而，在一些实施例中，该方法100可以进一步包括：通过将自主车辆的视场与获取的世界图景103b相比较来分析获取103的外部车辆的世界图景103b，以便确定外部车辆是否处于自主车辆的视场内。因此，如果分析得出外部车辆目前/曾经处于自主车辆的视场内，则可以仅仅发送112错误数据的步骤。诸如在自主车辆不能够合理地检测/观测外部车辆的情况中，这减小向远程实体发送不必要的数据的风险。

执行这些功能的可执行的指令被可选地包括在非暂时性计算机可读存储介质或被配置用于由一个或多个处理器执行的其他计算机程序产品中。

图2a至图2e示出根据本公开的实施例的、包括使得能够进行在线感知性能评估的系统的车辆1的一系列示意顶视图的图示。更具体地，图2a至图2e示出停车场环境的一系列顶视图图示，其中车辆1(在以下被称为自主车辆)具有使得能够进行在线感知性能评估的系统。一系列图示用来进一步阐明使得能够进行在线感知性能评估的以上描述的处理。

因此，图2a是位于其中外部车辆2所位于的停车场中的自主车辆1的示意顶视图的图示。而且，描绘的场景具有自主车辆1的周围环境中的多辆车辆。自主车辆1和外部车辆2被提供有根据本公开的实施例的使得能够进行在线感知性能评估的系统。然而，以下描述将主要地来自自主车辆的1的视角。

另外，自主车辆1可以经由例如无线链路连接到外部网络(例如，用于检测到另一辆配备ADS的车辆的接近)。因此，相同的或一些其他无线链路可以用于与车辆的附近的其他车辆2或本地基础设施元件进行通信。蜂窝通信技术可以用于诸如与外部网络的远程通信，并且如果所使用的蜂窝通信技术具有低等待时间，其也可以用于车辆之间的、车辆到车辆(V2V)，和/或车辆到基础设施V2X之间的通信。蜂窝无线电技术的示例是GSM、GPRS、EDGE、LTE、5G、5G NR，等等，也包括将来的蜂窝解决方案。然而，在一些解决方案中，使用中程到短程通信技术，诸如无线局域(LAN)，例如，基于IEEE 802.11的解决方案。ETSI着手做用于车辆通信的蜂窝标准，并且由于低等待时间和高带宽和通信信道的高效处理，例如将5G考虑为适当的解决方案。

在第一时间点，由自主车辆1检测到另一辆配备ADS的车辆(外部车辆)2的接近。如所提到的，可以例如通过检测由外部车辆2所传送的广播信号，或者通过从连接到两辆车辆的中央车队管理系统接收信号来实现这。车队管理系统可以被配置为监视和跟踪每辆车辆1、车辆2的位置，并且在检测到两辆车辆1、车辆2充分地接近于彼此时，来执行以上描述的方法，向两辆车辆1、车辆2传送信号，以便发起通信。因此，在第一步骤中，检测到对外部车辆2的接近，并且建立21自主车辆1和外部车辆2之间的通信。应当注意到，术语“外部”车辆2应当被理解为能够传送通信以便使得自主车辆1能够执行在本文公开的方法或处理的“自主车辆以外的车辆”。因此，在一些实施例中，“外部车辆”是在与自主车辆1相同的“ADS车队”中的另一辆车辆。

自主车辆1具有感知系统，该感知系统包括被配置为监视车辆的周围环境的一个或多个车辆安装的传感器。因而，自主车辆的系统被配置为从感知系统获取传感器数据。传感器数据包括关于自主车辆1的周围环境中的至少一个对象2、对象30的信息。

此外，图2b图示出在第一时间点之后的步骤，其中自主车辆1从外部车辆2获取22通信数据。通信数据包括外部车辆2的至少一个物理属性。此外，图2c图示出随后的步骤，其中自主车辆1尝试识别与获取的外部车辆2的一个或多个物理属性匹配31的其世界图景中的对象。更具体地，将获取的外部车辆的至少一个物理属性与从自主车辆1的感知系统获取的传感器数据相比较。如所指出的，将周围环境中的对象2、对象30与识别的自主车辆的世界图景中的对象2、对象30的物理属性相比较，以便确认匹配31或“不匹配”32。

此外，在一些实施例中，可以关于预定义的置信度阈值来进行对于获取的外部车辆2的物理属性与在自主车辆的1传感器数据中识别的一个或多个对象30之间的匹配的搜索。更具体地，将获取的外部车辆2的至少一个物理属性与关于至少一个对象2、对象30的信息相比较的步骤可以包括：针对预定义的置信度阈值将获取的外部车辆的至少一个物理属性与关于至少一个对象2、对象30的信息相比较。然后，选择或确认31具有与高于预定义的置信度阈值的获取的至少一个物理属性匹配的一个或多个物理属性的至少一个对象2、对象30中的对象。相应地对具有与低于阈值的置信水平相关联的物理属性的对象2、对象30进行分类32。

例如，假定获取的物理属性包括外部车辆2的颜色、外部车辆2的制造商、外部车辆2的型号，以及外部车辆2的牌照号。然后，具有完全匹配的牌照号的对象2、对象30(即，其他车辆)可以被考虑为高置信水平匹配，而具有相同的颜色的对象(即，其他车辆)可以被考虑为低置信水平匹配。因此，在一些情况下，牌照号可能不是通过自主车辆的感知系统可见的/可检测的，但是如果找到与颜色、制造，和型号匹配的对象30，则组合的置信水平可以超过置信水平阈值。而且，如果找到具有相同的置信水平的两个或更多对象，然后自主车辆1可以请求世界图景数据以便尝试找到“部分匹配”，或者推断出没有能够找到匹配。

在一些实施例中，一旦找到匹配31，自主车辆1向外部车辆2发送请求信号，其中请求信号指示对于外部车辆的“世界图景”的请求。在由外部车辆2接收和处理请求信号之后，自主车辆1从外部车辆2接收24世界图景数据，如图2d中所图示的。替换地，外部车辆2的世界图景数据被包括在先前获取的通信数据中。世界图景数据可以例如包括指示外部车辆2的“世界图景”的传感器数据(原始传感器数据、对象级数据，或者任意其它适当的格式)。而且，世界图景数据可以包括源自例如外部车辆2的全局导航卫星系统(GNSS)的外部车辆2的地理位置。

此外，如图2e中所图示的，自主车辆1形成自主车辆1和外部车辆2之间的公共参考系，并且将获取的传感器数据(即，自主车辆1的世界图景)与外部车辆2的世界图景数据相比较，以便评估自主车辆1的感知系统的性能。更详细地，因为自主车辆1知道外部车辆2相对于自主车辆2位于哪里，所以可以将自主车辆1的传感器数据与外部车辆1的传感器数据相互参照，即，将两个世界图景相比较，以便识别自主车辆的1传感器数据中的潜在错误。应当注意，在一些实施例中，自主车辆1对外部车辆2相互地共享其自己的物理属性和世界图景，以便使得能够进行对外部车辆2的对应的在线感知性能评估。

因此，在本文公开的处理提供使得能够对自主和半自主车辆1、车辆2进行在线感知性能评估的有效框架。相比之下，在不知道获取的“外部”世界图景的情况下，如果不可能建立重要的公共参考系，如果人们要有效地评估车辆的感知系统的性能，将是困难的。

所以说，在一些情况下，对于一个或多个获取的外部车辆2的物理属性找到自主车辆1的周围环境中的匹配，可能是不可能的。这可以例如是如果外部车辆2相对于自主车辆1被另一个对象(诸如像如在图2e中指示的骑自行车者)完全地或部分地遮挡的情况。因此，自主车辆的世界图景中的与外部车辆2相对应的对象然后可以仅仅与对获取的物理属性的低于预定义的置信度阈值的“匹配”相关联。

然而，为了缓解这样的问题，作为辅助步骤，自主车辆1可以将获取的外部车辆2的世界图景数据与自主车辆的传感器数据相比较(而不找出对获取的物理属性的匹配)，以便建立自主车辆1的世界图景和外部车辆2的世界图景之间的至少“部分匹配”。然后，如果建立“部分匹配”，人们能够在自主车辆1和外部车辆2之间形成25公共参考系，并且进一步将获取的传感器数据与外部车辆2的世界图景数据相比较，以便评估自主车辆1的感知系统的性能。

换句话说，即使没有能够找到对获取的一个或多个物理属性的匹配，以可以将自主车辆1和外部车辆的世界图景相比较，以便找到一个或多个公共对象，并且从那里建立公共参考系。例如，外部车辆的世界图景数据可以指示存在于自主车辆1的世界图景中(例如，在图2e中在自主车辆1的左侧)的皮卡货车的存在。然后，基于该公共对象30，能够建立公共参考系。与找到对于获取的物理属性相比，找到部分匹配并且建立公共参考系的处理需要更多计算资源，理由是如果没有找到对获取的物理属性的匹配才将其作为辅助步骤来发起。然而，在一些实施例中，假定外部车辆2的传感器数据可用，可以与找到对获取的物理属性的匹配的步骤并行地执行找到部分匹配的处理。

如在上文中所提及的，自主车辆1可以向外部车辆2相互地共享其自己的物理属性和传感器数据(即，世界图景)。这使得如果自主车辆不能够找到(与外部车辆的物理属性的)匹配或部分匹配也能够有对感知性能评估的附加的输入。更详细地，外部车辆2可以向自主车辆1传送确认信号。确认信号指示由外部车辆2作出自主车辆2的识别。因而，自主车辆1然后可以推断出关于其感知系统(硬件或软件)的潜在问题，并且向中央实体传送(错误)数据以用于离线处理。(错误)数据优选地包括关于获取的外部车辆2的至少一个物理属性的信息、自主车辆的地理位置，以及自主车辆的传感器数据。在一些实施例中，自主车辆1可以通过将自主车辆1的视场与获取的世界图景相比较来分析获取的外部车辆2的世界图景，以便确定外部车辆2是否处于自主车辆1的视场内。因此，发送错误数据的步骤仅仅在分析得出外部车辆2目前/曾经处于自主车辆1的视场内时发送。诸如在自主车辆1不能够合理地检测/观测外部车辆2的情况中，这减小向远程实体发送不必要的数据的风险。

此外，图3是车辆1的示意性侧视图，车辆1包括使得能够进行车辆1的在线感知性能评估的控制系统10。系统10包括被配置为执行在本文描述的技术的控制电路。车辆1进一步包括感知系统6和定位系统5。感知系统6在本上下文中要被理解为负责从诸如照相机、LIDAR和RADAR、超声波传感器等等的车载传感器6a、6b、6c上获得原始传感器数据并且将该原始数据转换为景物理解的系统。定位系统5被配置为监视车辆的地理位置和航向，并且可以是诸如GPS等等的全局导航卫星系统(GNSS)的形式。然而，定位系统可以替换地被实现为实时运动学(RTK)GPS，以便改善准确度。

更详细地，感知系统6可以指的是任意熟知的系统和/或功能，其例如被包含在车辆1的一个或多个电子控制模块和/或节点中、被适配和/或配置为解释与车辆的驾驶有关的感测信息，以识别例如阻挡物、车道、有关的标牌、适当的导航路径等等。示范感知系统6可以因此适于与感测信息组合地依赖于多个数据源并从多个数据源获取输入，该多个数据源诸如汽车成像、图像处理、计算机视觉，和/或车内联网，等等。例如可以从包含在车辆1中的和/或在车辆1上提供的一个或多个可选周围检测传感器6a至6c推导这样的示范感测信息。可以通过适于感测和/或感知车辆的1周围和/或下落的任意任何的传感器来表示周围检测传感器6a至6c，并且周围检测传感器6a至6c可以例如指的是雷达、LIDAR、声纳、照相机、例如GPS的导航系统、里程表和/或惯性测量单元中的一个或多个中的一个或组合。

系统10包括一个或多个处理器11、存储器12、传感器接口13和通信接口14。处理器11也可以被称为控制电路11或控制线路11。控制电路11被配置为执行存储在存储器12中的指令以执行根据本文公开的任意一个实施例的、使得能够进行车辆1的在线感知性能评估的方法。换句话说，控制设备10的存储器12能够包括用于存储计算机可执行指令的一个或多个(非暂时性)计算机可读存储介质，当计算机可执行指令由一个或多个计算机处理器11执行时，例如能够使计算机处理器11执行在本文描述的技术。存储器12可选地包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或者其它随机存取固态存储器设备；并且可以包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪速存储器设备，或者其它非易失性固态存储设备。

更详细地，控制电路11被配置为从车辆1(被称为自主车辆)的感知系统获取传感器数据，其中传感器数据包括关于自主车辆的周围环境中的至少一个对象的信息。另外，控制电路11被配置为从位于自主车辆的周围环境中的外部车辆获取通信数据，其中获取的通信数据包括外部车辆的至少一个物理属性。控制电路11被进一步配置为将获取的外部车辆的至少一个物理属性与关于至少一个对象的信息相比较，以便找到至少一个对象中的与至少一个物理属性匹配的对象。然后，如果找到对至少一个物理属性的匹配，则控制电路11被配置为获取指示外部车辆的世界图景的世界图景数据、形成自主车辆和外部车辆之间的公共参考系，以及将获取的传感器数据与外部车辆的世界图景数据相比较，以便评估自主车辆的感知系统的性能。

已经参考特定实施例在以上呈现了本公开。然而，以上描述的之外的其他实施例是可能的并且在本公开范围内。可以在本公开范围内提供通过硬件或软件来执行方法的在以上描述的那些方法步骤之外的不同的方法步骤。因此，根据示例性实施例，提供一种存储被配置为由车辆控制系统的一个或多个处理器执行的一个或多个程序的非暂时性计算机可读存储介质，该一个或多个程序包括执行根据以上讨论的实施例中的任意一个的方法的指令。替换地，根据另一个示例性实施例，云计算系统能够被配置为执行在本文呈现的任意方法。云计算系统可以包括分布式云计算资源，其在一个或多个计算机程序产品的控制下联合地执行在本文呈现的方法。

一般说来，计算机可访问的介质可以包括任意有形或非暂时性存储介质或存储器介质，诸如电子、磁性，或光介质——例如，经由总线耦合到计算机系统的磁盘或CD/DVD-ROM。如在本文所使用的，术语“有形”和“非暂时性”旨在是描述传播电磁信号以外的计算机可读存储介质(或“存储器”)，但是并不旨在另外限制通过短语计算机可读介质或存储器所涵盖的物理计算机可读存储设备的类型。例如，术语“非暂时性计算机可读介质”或“有形存储器”旨在包含不一定永久地存储信息的存储设备的类型，例如包括随机存取存储器(RAM)。可以进一步通过传输介质或可以经由诸如网络和/或无线链路之类的通信介质所输送的诸如电子、电磁，或数字信号之类的信号来传送存储在非暂时性形式的有形计算机可访问的存储介质上的程序指令和数据。

(与系统10相关联的)处理器11可以是或包括任意数量的硬件组件用于进行数据或信号处理或用于执行存储在存储器12中的计算机代码。设备10具有相关联的存储器12，并且存储器12可以是用于存储数据和/或用于完成或促进在本说明书中描述的各种方法的计算机代码的一个或多个设备。存储器可以包括易失性存储器或非易失性存储器。存储器12可以包括数据库组件、对象代码组件、脚本组件，或用于支持本说明书的各种活动的任意其他类型的信息结构。根据示例性实施例，可以关于该说明书的系统和方法来利用任意分布式或本地存储器设备。根据示例性实施例，存储器12(例如，经由电路或任意其他有线的、无线，或网络连接)可通信地连接到处理器11并且包括用于执行在本文描述的一个或多个处理的计算机代码。

应当理解，传感器接口13也可以提供直接地或经由车辆1中的专用的传感器控制电路6来获得传感器数据的可能性。通信/天线接口14可以进一步提供借助于天线8向远程位置(例如，中央车队管理系统或向另一辆车辆)发送输出的可能性。而且，车辆中的一些传感器可以使用局部网络设定(诸如CAN总线、I2C、以太网、光导纤维，等等)与控制设备10进行通信。通信接口14可以被安排为与车辆的其他控制功能进行通信并且可以因此也被看作控制接口；然而，可以提供单独的控制接口(未示出)。车辆内的局部通信也可以是利用诸如WiFi、LoRa、紫蜂、蓝牙，或类似的中间/短程技术等等的协议的无线类型。

因此，应当理解，可以在车辆中、在位于车辆外部的系统中，或在车辆内部和外部的组合中任一中；例如在与车辆进行通信的服务器(所谓的云解决方案)中实施所描述的解决方案的部分。例如，可以向外部系统发送传感器数据，并且该系统执行步骤以将传感器数据与外部车辆的世界图景数据相比较，以便评估自主车辆的感知系统的性能。可以在所描述的那些组合之外的其他组合中将实施例的不同的特征和步骤组合。

应当注意到，词语“包括”不排除存在那些列出的之外的其他要素或步骤并且在要素之前的词语“一”不排除存在多个这样的要素。应当进一步注意到，任意附图标记不限制权利要求的范围，可以借助于硬件和软件两者来至少部分地实施本公开，以及可以通过相同项的硬件来表示若干“装置”或“单元”。

尽管图可以示出方法步骤的特定顺序，但步骤的顺序可以不同于被描绘的顺序。此外，可以并行地或在部分同时发生的情况下执行两个或更多步骤。例如，可以基于特定实现与包括外部车辆的一个或多个物理属性的通信数据一起获取世界图景数据，如已经示范出的。而且，根据所应用的通信协议，从外部车辆获取数据的步骤以及来自自主车辆的数据的传输可以至少部分并行地发生。此类变化将取决于所选择的软件和硬件系统以及设计者选择。所有此类变化处于本公开的范围内。同样地，能够利用具有基于规则的逻辑和其他逻辑的标准编程技术来实现软件实施以实现各种连接步骤、处理步骤、比较步骤和决策步骤。仅仅将以上提及的和所描述的实施例作为示例给出并且不应当被限制到本公开。对于本领域技术人员，如在以下描述的专利实施例中所要求保护的本公开的范围内的其他解决方案、使用、目的，和功能应当是明显的。

Claims (15)

1.一种使得能够对自主车辆进行在线感知性能评估的方法，所述方法包括：

从所述自主车辆的感知系统获取传感器数据，所述传感器数据包括关于所述自主车辆的周围环境中的至少一个对象的信息；

从所述自主车辆的所述周围环境中的外部车辆获取通信数据，所获取的所述通信数据包括所述外部车辆的至少一个物理属性；

将所获取的所述外部车辆的至少一个物理属性与关于至少一个对象的所述信息相比较，以便找到所述至少一个对象中的与所述至少一个物理属性匹配的对象；

如果找到对所述至少一个物理属性的匹配，则：

获取指示所述外部车辆的世界图景的世界图景数据；

形成所述自主车辆和所述外部车辆之间的公共参考系，并且将所获取的所述传感器数据与所述外部车辆的所述世界图景数据相比较以便评估所述自主车辆的所述感知系统的性能。

2.根据权利要求1所述的方法，其中，所获取的所述通信数据进一步包括所述世界图景数据。

3.根据权利要求2所述的方法，进一步包括：

如果没有找到对所述至少一个物理属性的匹配，则：

将所获取的所述外部车辆的所述世界图景数据与关于至少一个对象的所述信息相比较，以便建立所述自主车辆的世界图景和所述外部车辆的所述世界图景数据之间的至少部分匹配；并且

如果建立了部分匹配，则：

形成所述自主车辆和所述外部车辆之间的公共参考系，并且将所获取的所述传感器数据与所述外部车辆的所述世界图景数据相比较以便评估所述自主车辆的所述感知系统的性能。

4.根据权利要求3所述的方法，进一步包括：

向所述外部车辆发送指示所述自主车辆的至少一个物理属性的数据；

如果没有找到对所述至少一个物理属性的匹配，并且如果没有建立部分匹配，则：

从所述外部车辆获取确认信号，所述确认信号指示由所述外部车辆对所述自主车辆的识别；

向中央实体发送错误数据，所述错误数据指示所获取的所述外部车辆的至少一个物理属性、所述自主车辆的地理位置以及所述自主车辆的所述传感器数据。

5.根据权利要求1所述的方法，其中，从所述外部车辆获取世界图景数据的步骤包括：

向所述外部车辆发送请求信号，所述请求信号指示对于所述外部车辆的所述世界图景数据的请求；

在发送了所述请求信号之后，从所述外部车辆接收所述世界图景数据。

6.根据权利要求1至5中的任意一项所述的方法，其中，将所获取的所述外部车辆的所述至少一个物理属性与关于至少一个对象的所述信息相比较的步骤包括：

针对预定义的置信度阈值将所获取的所述外部车辆的至少一个物理属性与关于至少一个对象的所述信息相比较；并且

选择所述至少一个对象中的具有与高于所述预定义的置信度阈值的所获取的至少一个物理属性匹配的一个或多个物理属性的对象。

7.根据权利要求1至5中的任意一项所述的方法，进一步包括：

向所述外部车辆发送指示所述自主车辆的至少一个物理属性的数据；

从所述外部车辆获取外部请求信号，所述外部请求信号指示向所述外部车辆传送所述传感器数据的请求；

在获取所述外部请求信号之后向所述外部车辆发送所述传感器数据。

8.根据权利要求1至5中的任意一项所述的方法，其中，所述外部车辆的所述至少一个物理属性包括以下项中的至少一个：所述外部车辆的颜色、所述外部车辆的制造商、所述外部车辆的型号、所述外部车辆的牌照。

9.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序被配置为由车辆控制系统的一个或多个处理器执行，所述一个或多个程序包括用于执行根据在先权利要求中的任意一项所述的方法的指令。

10.一种使得能够对自主车辆进行在线感知性能评估的系统，所述系统包括：

控制电路，所述控制电路被配置为：

从所述自主车辆的感知系统获取传感器数据，所述传感器数据包括关于所述自主车辆的周围环境中的至少一个对象的信息；

从位于所述自主车辆的所述周围环境中的外部车辆获取通信数据，所获取的通信数据包括所述外部车辆的至少一个物理属性；

将所获取的所述外部车辆的至少一个物理属性与关于至少一个对象的所述信息相比较，以便找到所述至少一个对象中的与所述至少一个物理属性匹配的对象；

如果找到对所述至少一个物理属性的匹配，则：

获取指示所述外部车辆的世界图景的世界图景数据；

形成所述自主车辆和所述外部车辆之间的公共参考系，并且将所获取的所述传感器数据与所述外部车辆的所述世界图景数据相比较以便评估所述自主车辆的所述感知系统的性能。

11.根据权利要求10所述的系统，其中，所获取的所述通信数据包括所述世界图景数据。

12.根据权利要求11所述的系统，其中，所述控制电路被进一步配置为：

如果没有找到对所述至少一个物理属性的匹配，则：

将所获取的所述外部车辆的所述世界图景数据与关于至少一个对象的所述信息相比较，以便建立所述自主车辆的世界图景和所述外部车辆的所述世界图景数据之间的至少部分匹配；并且

如果建立了部分匹配，则：

形成所述自主车辆和所述外部车辆之间的公共参考系，并且将所获取的所述传感器数据与所述外部车辆的所述世界图景数据相比较以便评估所述自主车辆的所述感知系统的性能。

13.根据权利要求12所述的系统，其中，所述控制电路被进一步配置为：

向所述外部车辆发送指示所述自主车辆的至少一个物理属性的数据；

如果没有找到对所述至少一个物理属性的匹配，并且如果没有建立部分匹配，则：

从所述外部车辆获取确认信号，所述确认信号指示由所述外部车辆对所述自主车辆的识别；

向中央实体发送错误数据，所述错误数据指示所获取的所述外部车辆的至少一个物理属性、所述自主车辆的地理位置以及所述自主车辆的传感器数据。

14.根据权利要求10所述的系统，其中，所述控制电路被配置通过以下步骤从所述外部车辆为获取所述世界图景数据：

在输出处生成要被发送到所述外部车辆的请求信号，所述请求信号指示对于所述外部车辆的所述世界图景数据的请求；

在发送了所述请求信号之后，在输入处从所述外部车辆接收所述世界图景数据。

15.一种车辆，包括：

感知系统，所述感知系统包括用于监视所述车辆的周围环境的至少一个传感器设备；

通信系统，所述通信系统用于经由一个或多个天线向外部收发信机发送无线数据包并且从所述外部收发信机接收无线数据包；

根据权利要求10至14中的任意一项所述的使得能够进行在线感知性能评估的系统。

Images