CN112764013B - 自动驾驶车辆感知系统测试方法、装置、设备及存储介质 - Google Patents

Abstract

本申请公开了自动驾驶车辆感知系统测试方法、装置、设备及存储介质，涉及自动驾驶、智能交通等人工智能领域。具体实现方案为：获取标注数据和感知数据，标注数据是根据路测数据进行障碍物标注得到的数据，感知数据是感知系统根据路测数据感知得到的数据；对标注数据和感知数据进行匹配处理，得到匹配成功的标注数据和感知数据，及未匹配成功的标注数据和感知数据；对未匹配成功的标注数据和感知数据进行过滤处理，确定与自动驾驶车辆存在交互的障碍物对应的第一标注数据和第一感知数据；根据匹配成功的标注数据和感知数据及第一标注数据和第一感知数据，得到感知系统的测试结果。本申请排除对自动驾驶无影响的障碍物，有助于感知系统的正向迭代。

Description

自动驾驶车辆感知系统测试方法、装置、设备及存储介质

技术领域

本申请涉及数据处理，尤其涉及一种自动驾驶车辆感知系统测试方法、装置、设备及存储介质，可用于自动驾驶、智能交通等人工智能领域。

背景技术

自动驾驶车辆又称无人驾驶车辆，是一种综合感知系统驱动，计算机软件控制实现的无人驾驶的智能车辆。它是未来智能交通的重要组成部分，是当前研究热点之一。

自动驾驶车辆通常包括感知系统和控制系统。其中，通过感知系统，自动驾驶车辆在行驶过程中可以感知周围所处的环境，包括其他车辆、人物、动物、路标等障碍物。自动驾驶车辆根据行驶道路上障碍物信息，结合控制系统，达到无人驾驶的效果。因此，为保证行驶安全，需对感知系统的准确性进行测试。

目前，在对感知系统进行准确性测试时，通常采取将感知系统输出的障碍物与标注数据匹配评估的方式。这种方式是对感知系统输出的全量结果以及标注的全量结果进行整体评估，基于整体评估产出的评估指标进行感知系统的迭代。

发明内容

本申请提供了一种有助于感知系统正向迭代的自动驾驶车辆感知系统测试方法、装置、设备及存储介质。

根据本申请的第一方面，提供了一种自动驾驶车辆感知系统测试方法，包括：。

获取标注数据和感知数据，标注数据是根据路测数据进行障碍物标注得到的数据，感知数据是感知系统根据路测数据感知得到的数据；

对标注数据和感知数据进行匹配处理，得到匹配结果，匹配结果包括匹配成功的标注数据和感知数据，以及未匹配成功的标注数据和感知数据；

分别对未匹配成功的标注数据和感知数据进行过滤处理，确定与自动驾驶车辆存在交互的障碍物对应的第一标注数据和第一感知数据；

根据匹配成功的标注数据和感知数据，以及第一标注数据和第一感知数据，得到感知系统的测试结果。

根据本申请的第二方面，提供了一种自动驾驶车辆感知系统测试装置，包括：

获取模块，用于获取标注数据和感知数据，标注数据是根据路测数据进行障碍物标注得到的数据，感知数据是感知系统根据路测数据感知得到的数据；

匹配模块，用于对标注数据和感知数据进行匹配处理，得到匹配结果，匹配结果包括匹配成功的标注数据和感知数据，以及未匹配成功的标注数据和感知数据；

过滤模块，用于分别对未匹配成功的标注数据和感知数据进行过滤处理，确定与自动驾驶车辆存在交互的障碍物对应的第一标注数据和第一感知数据；

确定模块，用于根据匹配成功的标注数据和感知数据，以及第一标注数据和第一感知数据，得到感知系统的测试结果。

根据本申请的第三方面，提供了一种电子设备，包括：

至少一个处理器；以及

与至少一个处理器通信连接的存储器；其中，

存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上所述的方法。

根据本申请的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，该计算机指令用于使计算机执行如上所述的方法。

根据本申请的第五方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现如上所述的方法。

根据本申请的第六方面，提供了一种自动驾驶车辆，包括：感知系统和控制系统，感知系统是根据如上所述的方法测试得到的感知系统；控制系统用于根据感知系统输出的结果控制自动驾驶车辆的行驶。

根据本申请的技术解决了对感知系统输出的全量结果以及标注的全量结果进行整体评估，基于整体评估产出的评估指标进行感知系统的迭代所导致的感知系统不能够准确反映感知结果对自动驾驶行为的影响的问题，使得感知系统趋于最有利于自动驾驶的平稳性以及安全性而非整体最优。

应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是根据本申请第一实施例的示意图；

图2是根据本申请第二实施例的示意图；

图3是根据本申请实施例的自动驾驶车辆感知系统测试方法得到的感知系统的应用场景示意图；

图4是根据本申请第三实施例的示意图；

图5是根据本申请第四实施例的示意图；

图6是用来实现本申请实施例的自动驾驶车辆感知系统测试方法的电子设备的框图；

图7是可以实现本申请实施例的自动驾驶车辆感知系统测试的构建场景图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

障碍物，主要是指自动驾驶车辆在行驶过程中遇到的可能会对自动驾驶造成影响的物体，包括但不限于其他车辆、人、动物和路标等交通元素。

在对自动驾驶车辆的感知系统进行准确性测试时，通常采取将感知数据与标注数据进行匹配的评估方式：

1)当一个障碍物同时存在于感知数据以及标注数据中，则认为感知正确；

2)当一个障碍物在标注数据中出现，但没有出现在感知数据中，则认为感知系统出现了漏检；

3)当一个障碍物在感知数据中出现，但没有出现在标注数据中，则认为感知系统出现了误检。

上述评估方式是对感知系统输出的全量结果(即感知数据的全部)以及标注的全量结果(即标注数据的全部)整体进行评估，但是通常这种评估方式评估的障碍物中包含了很多实际不会对自动驾驶车辆行驶行为产生影响的障碍物。在这种情况下产出的评估指标，如障碍物的召回率以及识别准确率等不能够正确反映感知系统输出的感知结果对自动驾驶车辆行驶行为的影响，基于这些评估指标进行感知系统的迭代有可能会导致感知系统趋于整体最优而非最有利于驾驶的平稳性以及安全性。

示例地，对于停靠在道路边界外的车辆，对于自动驾驶车辆的行驶行为没有影响，不必关注其检测情况；对于栅栏等障碍物，多数情况下属于背景障碍物不需要感知系统报出，仅在侵入道路内部情况下需要报出；对于受遮挡严重的车辆，标注真值的位置准确性较难确定，由于遮挡感知系统也会存在报出不稳定的情况，对自动驾驶车辆的行驶行为影响较小，可以忽略；对于洒水车喷出的水雾，通常标注数据中会标出这类障碍物，但理想情况下感知系统不会输出水雾等类似的障碍物，因此需要从标注数据中过滤掉。

基于以上4类示例能够看出标注数据以及感知数据的复杂性，因此为建立一套准确的感知系统，需要对标注数据以及感知数据进行精密的过滤，滤除对自动驾驶车辆的行驶行为没有影响的障碍物，从而获得真正有机会与自动驾驶车辆产生交互的障碍物。只有基于过滤后的障碍物进行感知系统评估，才能更准确的反映感知系统的迭代对于自动驾驶的影响。

因此，基于上述，本申请提供一种自动驾驶车辆感知系统测试方法、装置、设备及存储介质，应用于数据处理领域中的自动驾驶、智能交通等人工智能领域，通过滤除不会对自动驾驶车辆行驶行为产生影响的障碍物，使得感知系统趋于最有利于自动驾驶的平稳性以及安全性而非整体最优。

下面采用详细的实施例，来说明本申请如何滤除不会对自动驾驶车辆行驶行为产生影响的障碍物。

实施例一

图1是根据本申请第一实施例的示意图。本申请实施例提供一种自动驾驶车辆感知系统测试方法，该方法可以由自动驾驶车辆感知系统测试装置执行，其中，自动驾驶车辆感知系统测试装置可以具体为电子设备，或者，自动驾驶车辆感知系统测试装置可以内置于电子设备中，例如自动驾驶车辆感知系统测试装置为电子设备内的芯片，等等。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理(Personal Digital Assistant，简称PDA，又可以称为“掌上电脑”)、服务器、刀片式服务器、大型计算机、和其它适合的计算机。

如图1所示，该自动驾驶车辆感知系统测试方法包括以下步骤：

S101、获取标注数据和感知数据。

其中，标注数据是根据路测数据进行障碍物标注得到的数据，感知数据是感知系统根据路测数据感知得到的数据。

路测数据是自动驾驶车辆在实际行驶过程中采集到的数据，包括但不限于雷达点云数据、传感器数据和定位数据等。在实际应用中，相关人员可通过客户端对路测数据进行人工标注障碍物，从而得到标注数据；另外，通过感知系统对该路测数据中的障碍物进行感知，以得到感知数据。

示例地，感知数据和标注数据存储在预设位置，例如客户端的某个文件夹下，在对感知系统进行测试时，测试人员可以通过文件夹路径找到感知数据和标注数据，并将其发送给服务器，由服务器对自动驾驶车辆的感知系统进行测试。

S102、对标注数据和感知数据进行匹配处理，得到匹配结果，匹配结果包括匹配成功的标注数据和感知数据，以及未匹配成功的标注数据和感知数据。

该步骤中，以标注数据作为标准依据，对标注数据和感知数据进行匹配处理。其中，匹配的内容可以包括但不限于障碍物的位置和类型。

目前，较常见的是根据该步骤得到的匹配结果对感知系统进行评估，也即如前所述的评估方式。本申请实施例在此基础上，通过S203步骤对没有匹配成功的障碍物进行过滤，这部分障碍物属于非必须检出的，对自动驾驶车辆的行驶行为影响微乎其微，因此在匹配后进行过滤，使评估指标更能反映可能与自动驾驶车辆产生交互的障碍物的识别情况。

S103、分别对未匹配成功的标注数据和感知数据进行过滤处理，确定与自动驾驶车辆存在交互的障碍物对应的第一标注数据和第一感知数据。

其中，第一标注数据是未匹配成功的标注数据中的部分数据，第一感知数据是未匹配成功的感知数据中的部分数据。对未匹配成功的标注数据和感知数据的过滤处理是相互独立的，二者可以同时进行。过滤处理所基于的条件在后续实施例说明。

S104、根据匹配成功的标注数据和感知数据，以及第一标注数据和第一感知数据，得到感知系统的测试结果。

示例地，感知系统的测试结果可以包含识别准确率、召回率和分类准确率等评估指标，各评估指标的获取方式如下：

一、识别准确率

1)根据匹配成功的标注数据和感知数据，确定匹配成功的障碍物的个数；

2)根据匹配成功的障碍物的个数，以及第一感知数据，得到感知出的障碍物个数；

3)根据匹配成功的障碍物的个数及感知出的障碍物个数，得到感知系统的识别准确率。

示例地，匹配成功的障碍物的个数为90，感知出的障碍物个数为100，则识别准确率为：90÷100×100％＝90％。

二、召回率

1)根据所述匹配成功的标注数据和感知数据，确定匹配成功的障碍物的个数；

2)根据匹配成功的障碍物的个数，以及第一标注数据，得到标注出的障碍物个数；

3)根据所述匹配成功的障碍物的个数及所述标注出的障碍物个数，得到感知系统的召回率。

示例地，匹配成功的障碍物的个数为85，标注出的障碍物个数为100，则召回率为：85÷100×100％＝85％。

三、分类准确率

1)根据匹配成功的标注数据和感知数据，确定匹配成功的障碍物的类别个数；

2)根据匹配成功的障碍物的类别个数，以及第一感知数据，得到感知出的障碍物类别个数；

3)根据匹配成功的障碍物的类别个数及感知出的障碍物类别个数，得到感知系统的分类准确率。

示例地，匹配成功的障碍物的类别个数为12，感知出的障碍物类别个数为15，则分类准确率为：12÷15×100％＝80％。

本申请实施例提供的自动驾驶车辆感知系统测试方法，首先获取标注数据和感知数据；之后，对标注数据和感知数据进行匹配处理，得到匹配成功的标注数据和感知数据，及未匹配成功的标注数据和感知数据，并对未匹配成功的标注数据和感知数据进行过滤处理，确定与自动驾驶车辆存在交互的障碍物对应的第一标注数据和第一感知数据；最后，根据匹配成功的标注数据和感知数据及第一标注数据和第一感知数据，得到感知系统的测试结果。通过匹配后过滤，确定与自动驾驶车辆存在交互的障碍物对应的第一标注数据和第一感知数据，从而可以排除对自动驾驶无影响的障碍物，得到的测量结果更加贴合路上实际的感知效果，更准确的反映障碍物的识别情况，有助于感知系统的正向迭代。

在上述实施例的基础上，在进行实际过滤处理操作时，可以结合空间维度和属性维度组建成不同的过滤规则，以达到特定的过滤目的。可选地，空间维度可以包括障碍物所处的位置，以及障碍物间的透视关系等；属性维度可以包括障碍物的类别、大小和障碍物观测组成等。其中，障碍物观测组成是指障碍物是通过哪种观测得到的，例如相机(camera)观测、激光雷达(lidar)观测和/或雷达(radar)观测。例如一个障碍物是通过激光雷达(lidar)观测和相机(camera)观测两种观测得到的。

示例地，从空间维度出发，具体考虑因素可以包括但不限于：障碍物与自动驾驶车辆之间距离；障碍物与自动驾驶车辆之间的相对方位关系；根据高精度地图计算障碍物是否在道路边界内；根据障碍物的长宽高以及透射关系计算障碍物的遮挡比例；根据高精度地图计算障碍物是否与自动驾驶车辆在同一车道或相邻车道，等等。

一种具体实现中，如上所述的S103步骤可以进一步包括：若障碍物满足以下任一条件，则分别在未匹配成功的标注数据和感知数据中滤除该障碍物对应的数据，得到与自动驾驶车辆存在交互的障碍物对应的第一标注数据和第一感知数据：

障碍物与自动驾驶车辆之间距离大于第一预设距离；

障碍物的遮挡比例大于第一预设值；

障碍物的类别为预设类别，预设类别包括非核心类别；

障碍物的尺寸小于第一预设尺寸；

障碍物的像素点个数小于第一预设个数。

需明确的是，第一预设距离、第一预设值、第一预设尺寸以及第一预设个数的大小需根据实际需求或历史经验设置，本申请不对其进行限制。

可选地，核心类别是指人、车辆、自行车、动物等类别，除此之外的类别即可认为是非核心类别，例如水雾、汽车尾气等；障碍物的尺寸是指障碍物的三维尺寸；障碍物的像素点是指障碍物在二维图像上的大小，即像素点个数。

例如，对于与自动驾驶车辆之间距离大于第一预设距离的障碍物，或遮挡比例大于第一预设值的障碍物，其对自动驾驶车辆的行为影响是可以忽略的，因此，可以忽略此类障碍物。

实施例二

图2是根据本申请第二实施例的示意图。参考图2，本申请实施例的自动驾驶车辆感知系统测试方法可以包括以下步骤：

S201、获取标注数据和感知数据。

该步骤与S101类似，此处不再赘述。

S202、分别对标注数据和感知数据进行过滤处理，确定参与感知系统评估的障碍物对应的第二标注数据和第二感知数据。

该步骤在对标注数据和感知数据进行匹配处理前先过滤，用于滤除不参与感知系统评估的障碍物，从而可以减少进行匹配的数据量。

S203、对第二标注数据和第二感知数据进行匹配处理，得到匹配结果。

其中，S202与S203这两个步骤是对上述S102步骤的进一步细化。

S204、分别对未匹配成功的标注数据和感知数据进行过滤处理，确定与自动驾驶车辆存在交互的障碍物对应的第一标注数据和第一感知数据。

该步骤与S103类似，此处不再赘述。

S205、根据匹配成功的标注数据和感知数据，以及第一标注数据和第一感知数据，得到感知系统的测试结果。

该步骤与S104类似，此处不再赘述。

该实施例通过匹配前过滤，确定参与感知系统评估的障碍物对应的第二标注数据和第二感知数据，以滤除不参与感知系统评估的障碍物，减少进行匹配的数据量。

一些实施例中，S202、分别对标注数据和感知数据进行过滤处理，确定参与感知系统评估的障碍物对应的第二标注数据和第二感知数据，可以进一步包括：

若障碍物满足以下任一条件，则分别在标注数据和感知数据中滤除障碍物对应的数据，得到参与感知系统评估的障碍物对应的第二标注数据和第二感知数据：

障碍物与自动驾驶车辆之间距离大于第二预设距离；

障碍物在自动驾驶车辆的后方；

障碍物未在道路边界内；

障碍物的遮挡比例大于第二预设值；

障碍物与自动驾驶车辆未在同一车道内；

障碍物的类别为预设类别，预设类别包括水雾、车辆尾气、垃圾桶、栅栏；

障碍物的尺寸小于第二预设尺寸；

障碍物的像素点个数小于第二预设个数；

障碍物观测组成为雷达观测。

通过与前述实施例中过滤处理的条件进行比对可知，两次过滤处理的条件中部分是类似的，例如，障碍物与自动驾驶车辆之间距离大于第二预设距离(第一预设距离)。对于这些类似的条件，可以认为两次过滤处理的设置的数值是不同的，例如第一预设距离与第二预设距离不同。可选地，由于第一预设距离用于匹配后过滤，第二预设距离用于匹配前过滤，匹配后过滤的数值相对匹配前过滤可以更严格一些，因此，第一预设距离小于第二预设距离，而第二预设尺寸大于第一预设尺寸，第二预设个数大于第一预设个数。

在进行人为标注时，由于受到标注工具的限制，通常只能标出通过激光雷达观测得到的点云数据以及通过相机观测得到的图像中的障碍物，而对于通过雷达(radar)观测得到的数据中的障碍物不会标注。因此，若感知数据的障碍物如果仅有雷达(radar)观测，则应该进行过滤。

通过上述条件，经匹配前过滤处理，第二标注数据或第二感知数据中障碍物满足以下：

障碍物与自动驾驶车辆之间距离小于或等于第二预设距离；

障碍物在自动驾驶车辆的前方；

障碍物在道路边界内；

障碍物的遮挡比例小于或等于第二预设值；

障碍物与自动驾驶车辆在同一车道内；

障碍物的类别为非预设类别；

障碍物的尺寸大于或等于第二预设尺寸；

障碍物的像素点个数大于或等于第二预设个数；

障碍物观测组成为激光雷达观测和/或相机观测。

匹配后过滤处理，是将第二标注数据和第二感知数据进行匹配处理后，对未成功匹配的标注数据和感知数据进行过滤处理。经匹配后过滤处理，第一标注数据或第一感知数据中障碍物满足以下：

障碍物与自动驾驶车辆之间距离小于或等于第一预设距离；

障碍物的遮挡比例小于或等于第一预设值；

障碍物的类别为非预设类别，从而保留核心类别；

障碍物的尺寸大于或等于第一预设尺寸；

障碍物的像素点个数大于或等于第一预设个数。

本申请实施例通过匹配前过滤和匹配后过滤，最大限度的过滤对自动驾驶车辆行为没有影响的障碍物，最大限度的保留可能与自动驾驶车辆产生交互的障碍物，即核心区域内尺寸、像素点个数、遮挡比例等满足对应设置条件的核心类型障碍物。

示例地，如图3所示，通过匹配前过滤和匹配后过滤，图3中标识为31、32、33的障碍物都可以被过滤掉，保留与自动驾驶车辆产生交互的障碍物，如标识为34、35的障碍物。

本申请提出的方法通过匹配前后的过滤，排除对自动驾驶车辆无影响的障碍物，从而提高感知系统输出的评估指标的权威性，使得评估指标更加贴合路上实际的感知效果，更准确的反映障碍物的识别情况，有助于感知系统的正向迭代。

实施例三

图4是根据本申请第三实施例的示意图。该实施例提供一种自动驾驶车辆感知系统测试装置。如图4所示，该自动驾驶车辆感知系统测试装置400包括：获取模块401、匹配模块402、过滤模块403和确定模块404。其中：

获取模块401，用于获取标注数据和感知数据，标注数据是根据路测数据进行障碍物标注得到的数据，感知数据是感知系统根据路测数据感知得到的数据。

匹配模块402，用于对标注数据和感知数据进行匹配处理，得到匹配结果，匹配结果包括匹配成功的标注数据和感知数据，以及未匹配成功的标注数据和感知数据。

过滤模块403，用于分别对未匹配成功的标注数据和感知数据进行过滤处理，确定与自动驾驶车辆存在交互的障碍物对应的第一标注数据和第一感知数据。

确定模块404，用于根据匹配成功的标注数据和感知数据，以及第一标注数据和第一感知数据，得到感知系统的测试结果。

本实施例提供的自动驾驶车辆感知系统测试装置，可用于执行上述的自动驾驶车辆感知系统测试方法实施例，其实现方式和技术效果类似，本实施例此处不再赘述。

一些实施例中，过滤模块403可以具体用于：在障碍物满足以下任一条件时，分别在未匹配成功的标注数据和感知数据中滤除障碍物对应的数据，得到与自动驾驶车辆存在交互的障碍物对应的第一标注数据和第一感知数据：

障碍物与自动驾驶车辆之间距离大于第一预设距离；

障碍物的遮挡比例大于第一预设值；

障碍物的类别为预设类别，预设类别包括非核心类别；

障碍物的尺寸小于第一预设尺寸；

障碍物的像素点个数小于第一预设个数。

实施例四

图5是根据本申请第四实施例的示意图。参考图5，在图4所示结构的基础上，在自动驾驶车辆感知系统测试装置500中，匹配模块402可以包括：

过滤单元4021，分别对标注数据和感知数据进行过滤处理，确定参与感知系统评估的障碍物对应的第二标注数据和第二感知数据；

匹配单元4022，用于对第二标注数据和第二感知数据进行匹配处理，得到匹配结果。

可选地，过滤单元4021可以具体用于：在障碍物满足以下任一条件时，分别在标注数据和感知数据中滤除障碍物对应的数据，得到参与感知系统评估的障碍物对应的第二标注数据和第二感知数据：

障碍物与自动驾驶车辆之间距离大于第二预设距离；

障碍物在自动驾驶车辆的后方；

障碍物未在道路边界内；

障碍物的遮挡比例大于第二预设值；

障碍物与自动驾驶车辆未在同一车道内；

障碍物的类别为预设类别，预设类别可以包括水雾、车辆尾气、垃圾桶、栅栏等；

障碍物的尺寸小于第二预设尺寸；

障碍物的像素点个数小于第二预设个数；

障碍物观测组成为雷达观测。

一些实施例中，测试结果包含识别准确率。仍参考图5，确定模块404可以包括：

第一确定单元4041，用于根据匹配成功的标注数据和感知数据，确定匹配成功的障碍物的个数；

第二确定单元4042，用于根据匹配成功的障碍物的个数，以及第一感知数据，得到感知出的障碍物个数；

第三确定单元4043，用于根据匹配成功的障碍物的个数及感知出的障碍物个数，得到感知系统的识别准确率。

一些实施例中，测试结果包含召回率。仍参考图5，确定模块404可以包括：

第一确定单元4041，用于根据所述匹配成功的标注数据和感知数据，确定匹配成功的障碍物的个数；

第四确定单元4044，用于根据所述匹配成功的障碍物的个数，以及所述第一标注数据，得到标注出的障碍物个数；

第五确定单元4045，用于根据所述匹配成功的障碍物的个数及所述标注出的障碍物个数，得到所述感知系统的召回率。

一些实施例中，测试结果包含分类准确率。仍参考图5，确定模块404可以进一步包括：

第六确定单元4046，用于根据匹配成功的标注数据和感知数据，确定匹配成功的障碍物的类别个数；

第七确定单元4047，用于根据匹配成功的障碍物的类别个数，以及第一感知数据，得到感知出的障碍物类别个数；

第八确定单元4048，用于根据匹配成功的障碍物的类别个数及感知出的障碍物类别个数，得到感知系统的分类准确率。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

根据本申请的实施例，本申请还提供了一种计算机程序产品，程序产品包括：计算机程序，计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。

图6示出了可以用来实施本申请的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图6所示，电子设备600包括计算单元601，其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序，来执行各种适当的动作和处理。在RAM 603中，还可存储电子设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

电子设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许电子设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如自动驾驶车辆感知系统测试方法。例如，在一些实施例中，自动驾驶车辆感知系统测试方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到电子设备600上。当计算机程序加载到RAM 603并由计算单元601执行时，可以执行上文描述的自动驾驶车辆感知系统测试方法的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行自动驾驶车辆感知系统测试方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本申请的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本申请的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

图7是可以实现本申请实施例的自动驾驶车辆感知系统测试的构建场景图。参考图7，该场景包括自动驾驶车辆71、服务器72和客户端73，自动驾驶车辆71和服务器72之间通过无线网络连接，服务器72和客户端73之间通过有线或无线网络连接。

自动驾驶车辆71是一种通过电脑系统实现无人驾驶的智能汽车，集环境感知和规划决策等功能于一体。自动驾驶车辆71上安装有激光雷达、传感器和监控装置，实现对周围环境和交通状况的获取。

对视觉感知算法进行评测时，自动驾驶车辆71在道路上行驶，其上的激光雷达、监控装置例如摄像头等设备来采集路测数据并进行存储，发送给服务器72。服务器72调用视觉感知算法，对路测数据进行相应的处理，得到视觉感知算法识别出的障碍物并输出，即感知数据。具体的，视觉感知算法可以以静态链接库的形式运行，服务器72通过测试程序来调用静态链接库的视觉感知算法，编译通过后生成识别的障碍物结果。

客户端73获取路测数据，标注人员通过标注工具来对识别出的障碍物进行校正和补标，得到障碍物的实际位置和类型，发送给服务器72。最后服务器72对视觉感知算法识别出的障碍物和障碍物的实际位置类型，来进行匹配处理，得到评测结果。

图7所示场景中，是以自动驾驶车辆感知系统测试装置为服务器为例进行说明，但本申请不以此为限制；且本申请不限制场景中服务器、客户端及自动驾驶车辆的个数，具体以根据实际需求为准。例如，其中的服务器可以替换为服务器集群，等等。

根据本申请实施例的技术方案，首先获取标注数据和感知数据；之后，对标注数据和感知数据进行匹配处理，得到匹配成功的标注数据和感知数据，及未匹配成功的标注数据和感知数据，并对未匹配成功的标注数据和感知数据进行过滤处理，确定与自动驾驶车辆存在交互的障碍物对应的第一标注数据和第一感知数据；最后，根据匹配成功的标注数据和感知数据及第一标注数据和第一感知数据，得到感知系统的测试结果。通过匹配后过滤，确定与自动驾驶车辆存在交互的障碍物对应的第一标注数据和第一感知数据，从而可以排除对自动驾驶无影响的障碍物，得到的测量结果更加贴合路上实际的感知效果，更准确的反映障碍物的识别情况，有助于感知系统的正向迭代。

根据本申请的实施例，本申请还提供了一种自动驾驶车辆，包括：感知系统和控制系统，感知系统是根据上述任一实施例提供的方案测试得到的感知系统；控制系统用于根据感知系统输出的结果控制自动驾驶车辆的行驶。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (11)

1.一种自动驾驶车辆感知系统测试方法，包括：

获取标注数据和感知数据，所述标注数据是根据路测数据进行障碍物标注得到的数据，所述感知数据是感知系统根据所述路测数据感知得到的数据；

分别对所述标注数据和所述感知数据进行第一过滤处理，确定参与感知系统评估的障碍物对应的第二标注数据和第二感知数据；

对所述第二标注数据和所述第二感知数据进行匹配处理，得到匹配结果，所述匹配结果包括匹配成功的标注数据和感知数据，以及未匹配成功的标注数据和感知数据；

在所述未匹配成功的标注数据和感知数据中滤除第一障碍物数据，得到与所述自动驾驶车辆存在交互的障碍物对应的第一标注数据和第一感知数据；其中，所述第一障碍物数据满足以下任一条件：所述障碍物的遮挡比例大于第一预设值、所述障碍物的类别为预设类别，所述预设类别包括非核心类别、所述障碍物的尺寸小于第一预设尺寸、所述障碍物的像素点个数小于第一预设个数；

根据所述匹配成功的标注数据和感知数据，以及所述第一标注数据和所述第一感知数据，得到所述感知系统的测试结果；

所述测试结果包含分类准确率，所述根据所述匹配成功的标注数据和感知数据，以及所述第一标注数据和所述第一感知数据，得到所述感知系统的测试结果，包括：

根据所述匹配成功的标注数据和感知数据，确定匹配成功的障碍物的类别个数；

根据所述匹配成功的障碍物的类别个数，以及所述第一感知数据，得到感知出的障碍物类别个数；

根据所述匹配成功的障碍物的类别个数及所述感知出的障碍物类别个数，得到所述感知系统的分类准确率。

2.根据权利要求1所述的方法，其中，所述分别对所述标注数据和所述感知数据进行第一过滤处理，确定参与感知系统评估的障碍物对应的第二标注数据和第二感知数据，包括：

若所述障碍物满足以下任一条件，则分别在所述标注数据和所述感知数据中滤除障碍物对应的数据，得到参与感知系统评估的障碍物对应的第二标注数据和第二感知数据：

所述障碍物与所述自动驾驶车辆之间距离大于第二预设距离；

所述障碍物在所述自动驾驶车辆的后方；

所述障碍物未在道路边界内；

所述障碍物的遮挡比例大于第二预设值；

所述障碍物与所述自动驾驶车辆未在同一车道内；

所述障碍物的类别为预设类别，所述预设类别包括水雾、车辆尾气、垃圾桶、栅栏；

所述障碍物的尺寸小于第二预设尺寸；

所述障碍物的像素点个数小于第二预设个数；

所述障碍物观测组成为雷达观测。

3.根据权利要求1或2所述的方法，所述测试结果包含识别准确率，所述根据所述匹配成功的标注数据和感知数据，以及所述第一标注数据和所述第一感知数据，得到所述感知系统的测试结果，包括：

根据所述匹配成功的标注数据和感知数据，确定匹配成功的障碍物的个数；

根据所述匹配成功的障碍物的个数，以及所述第一感知数据，得到感知出的障碍物个数；

根据所述匹配成功的障碍物的个数及所述感知出的障碍物个数，得到所述感知系统的识别准确率。

4.根据权利要求1或2所述的方法，所述测试结果包含召回率，所述根据所述匹配成功的标注数据和感知数据，以及所述第一标注数据和所述第一感知数据，得到所述感知系统的测试结果，包括：

根据所述匹配成功的标注数据和感知数据，确定匹配成功的障碍物的个数；

根据所述匹配成功的障碍物的个数，以及所述第一标注数据，得到标注出的障碍物个数；

根据所述匹配成功的障碍物的个数及所述标注出的障碍物个数，得到所述感知系统的召回率。

5.一种自动驾驶车辆感知系统测试装置，包括：

获取模块，用于获取标注数据和感知数据，所述标注数据是根据路测数据进行障碍物标注得到的数据，所述感知数据是感知系统根据所述路测数据感知得到的数据；

匹配模块，用于分别对所述标注数据和所述感知数据进行第一过滤处理，确定参与感知系统评估的障碍物对应的第二标注数据和第二感知数据；

对所述第二标注数据和所述第二感知数据进行匹配处理，得到匹配结果，所述匹配结果包括匹配成功的标注数据和感知数据，以及未匹配成功的标注数据和感知数据；

过滤模块，用于在所述未匹配成功的标注数据和感知数据中滤除第一障碍物数据，得到与所述自动驾驶车辆存在交互的障碍物对应的第一标注数据和第一感知数据；其中，所述第一障碍物数据满足以下任一条件：所述障碍物的遮挡比例大于第一预设值、所述障碍物的类别为预设类别，所述预设类别包括非核心类别、所述障碍物的尺寸小于第一预设尺寸、所述障碍物的像素点个数小于第一预设个数；

确定模块，用于根据所述匹配成功的标注数据和感知数据，以及所述第一标注数据和所述第一感知数据，得到所述感知系统的测试结果；

所述测试结果包含分类准确率，所述确定模块包括：

第六确定单元，用于根据所述匹配成功的标注数据和感知数据，确定匹配成功的障碍物的类别个数；

第七确定单元，用于根据所述匹配成功的障碍物的类别个数，以及所述第一感知数据，得到感知出的障碍物类别个数；

第八确定单元，用于根据所述匹配成功的障碍物的类别个数及所述感知出的障碍物类别个数，得到所述感知系统的分类准确率。

6.根据权利要求5所述的装置，其中，所述过滤模块具体用于：

在所述障碍物满足以下任一条件时，分别在所述标注数据和所述感知数据中滤除障碍物对应的数据，得到参与感知系统评估的障碍物对应的第二标注数据和第二感知数据：

所述障碍物与所述自动驾驶车辆之间距离大于第二预设距离；

所述障碍物在所述自动驾驶车辆的后方；

所述障碍物未在道路边界内；

所述障碍物的遮挡比例大于第二预设值；

所述障碍物与所述自动驾驶车辆未在同一车道内；

所述障碍物的类别为预设类别，所述预设类别包括水雾、车辆尾气、垃圾桶、栅栏；

所述障碍物的尺寸小于第二预设尺寸；

所述障碍物的像素点个数小于第二预设个数；

所述障碍物观测组成为雷达观测。

7.根据权利要求5或6所述的装置，所述测试结果包含识别准确率，所述确定模块包括：

第一确定单元，用于根据所述匹配成功的标注数据和感知数据，确定匹配成功的障碍物的个数；

第二确定单元，用于根据所述匹配成功的障碍物的个数，以及所述第一感知数据，得到感知出的障碍物个数；

第三确定单元，用于根据所述匹配成功的障碍物的个数及所述感知出的障碍物个数，得到所述感知系统的识别准确率。

8.根据权利要求5或6所述的装置，所述测试结果包含召回率，所述确定模块包括：

第一确定单元，用于根据所述匹配成功的标注数据和感知数据，确定匹配成功的障碍物的个数；

第四确定单元，用于根据所述匹配成功的障碍物的个数，以及所述第一标注数据，得到标注出的障碍物个数；

第五确定单元，用于根据所述匹配成功的障碍物的个数及所述标注出的障碍物个数，得到所述感知系统的召回率。

9.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至4中任一项所述的方法。

10.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1至4中任一项所述的方法。

11.一种自动驾驶车辆，包括：感知系统和控制系统，所述感知系统是根据如权利要求1至4中任一项所述的方法测试得到的感知系统；所述控制系统用于根据所述感知系统输出的结果控制所述自动驾驶车辆的行驶。