CN112698421A

CN112698421A - 障碍物检测的测评方法、装置、设备以及存储介质

Info

Publication number: CN112698421A
Application number: CN202011445279.6A
Authority: CN
Inventors: 赵晓健
Original assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Current assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Priority date: 2020-12-11
Filing date: 2020-12-11
Publication date: 2021-04-23

Abstract

本公开公开了障碍物检测的测评方法、装置、设备以及存储介质，涉及计算机视觉、自动驾驶、智能交通等领域。具体实现方案为：获取待测评算法输出的障碍物检测结果，碍物检测结果至少包括第一障碍物的包围框的检测位置；获取第二障碍物的标注结果，标注结果包括第二障碍物的包围框的真实位置；利用第二障碍物的标注结果，对待测评算法输出的障碍物检测结果进行测评。由于标注结果是预先确定的，因此可以利用一次标注结果对待测评算法的不同版本进行测评，或者对不同待测评算法进行测评。该测评可以采用离线方式，因此相对于实际上路测试，可以降低测试人员的安全隐患。

Description

障碍物检测的测评方法、装置、设备以及存储介质

技术领域

本公开涉及图像处理领域，尤其涉及计算机视觉、自动驾驶、智能交通等领域。

背景技术

在车辆的自动驾驶场景下，算法会对不同感知源的输入信息进行融合，输出障碍物的类型、位置、速度等结果。规划决策模块根据上述结果判断车辆是否需要变道、刹车或停车入位等，从而发出对应指令。

相关测试方法通过实车上车路测，测试人员人为检测。因此相关检测方式具有一定主观性。并且，在算法不够成熟的情况下，上述测试方法不仅影响测试人员的坐车体感，还可能会对存在安全隐患。

发明内容

本公开提供了一种障碍物检测的测评方法、装置、设备、存储介质和计算机程序产品。

根据本公开的一方面，提供了一种障碍物检测的测评方法，该方法可以包括以下步骤：

获取待测评算法输出的障碍物检测结果，碍物检测结果至少包括第一障碍物的包围框的检测位置；

获取第二障碍物的标注结果，标注结果包括第二障碍物的包围框的真实位置；

利用第二障碍物的标注结果，对待测评算法输出的障碍物检测结果进行测评。

根据本公开的另一方面，提供了一种障碍物检测的测评装置，该装置可以包括以下组件：

障碍物检测结果获取模块，用于获取待测评算法输出的障碍物检测结果，碍物检测结果至少包括第一障碍物的包围框的检测位置；

标注结果获取模块，用于获取第二障碍物的标注结果，标注结果包括第二障碍物的包围框的真实位置；

测评模块，用于利用第二障碍物的标注结果，对待测评算法输出的障碍物检测结果进行测评。

第三方面，本公开实施例提供一种电子设备，包括：

至少一个处理器；以及

与至少一个处理器通信连接的存储器；其中，

存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开任意一项实施例所提供的方法。

第四方面，本公开实施例提供一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行本公开任意一项实施例所提供的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机指令，该计算机指令被处理器执行时实现本公开任一实施例中的方法。

对于测评过程来说，由于标注结果是预先确定的，因此可以利用一次标注结果对待测评算法的不同版本进行测评，或者对不同待测评算法进行测评。该测评可以采用离线方式，因此相对于实际上路测试，可以降低测试人员的安全隐患。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开障碍物检测的测评方法的流程图；

图2是根据本公开包围框的确定方式的流程图；

图3是根据本公开包围框的确定方式的示意图；

图4是根据本公开障碍物检测结果进行测评的流程图；

图5是根据本公开建立匹配对的流程图；

图6是根据本公开障碍物检测的测评方法的流程图；

图7是根据本公开障碍物检测的测评方法的流程图；

图8是根据本公开障碍物检测的测评装置的示意图；

图9是用来实现本公开实施例的障碍物检测的测评方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

如图1所示，在一种实施方式中，本公开提供一种障碍物检测的测评方法，该方法可以包括以下步骤：

S101：获取待测评算法输出的障碍物检测结果，碍物检测结果至少包括第一障碍物的包围框的检测位置；

S102：获取第二障碍物的标注结果，标注结果包括第二障碍物的包围框的真实位置；

S103：利用第二障碍物的标注结果，对待测评算法输出的障碍物检测结果进行测评。

本公开的上述方案可以应用于车辆在道路行驶或泊车场景下对于障碍物检测结果的测评。

上述方法的执行主体可以是主车的车机。主车的车机根据接收到主车车身上的传感器检测的信息，利用融合算法对信息进行解析，可以解析得到障碍物的位置、类型等检测结果。另外，主车的车机也可以采用车联网技术，根据获取到的其他车辆或者道路设施发送的信息，利用融合算法得到障碍物的位置、类型等检测结果。

在本公开中，以融合算法得出障碍物的位置为例进行说明。在本公开实施例中，将融合算法作为待测试算法。待测试算法检测到的障碍物称为第一障碍物。待测评算法输出的第一障碍物的位置作为检测位置。

待测试算法可以以固定时间间隔输出检测结果。例如，在固定时间间隔的t₁、t₂、……、t_n分别输出检测结果。每次输出的检测结果中，第一障碍物的数量可以是0，也可以是多个。

在泊车场景下，待测试算法的检测结果以第一障碍物的检测框(Bounding Box)或障碍物的检测点集合(Freespace)表征障碍物。由此，根据检测框或检测点集合，可以生成第一障碍物的包围框。

第一障碍物的包围框的检测位置可以是世界坐标系中的位置，也可以是主车坐标系的位置。该检测位置的表现形式可以是二维坐标点、三维坐标点或极坐标点等。

本公开待测试算法可以在离线环境下对接收到的信息进行融合计算。相比于实际路上测试，离线环境无需测试人员参与测试过程，一方面可以节约人力成本，另一方面可以消除路上测试的安全隐患。

在待测试算法输出检测结果的对应时刻，可以预先对障碍物进行标注。该标注结果对应障碍物的真实位置。为区别待测试算法输出的障碍物，标注的障碍物称为第二障碍物。

标注结果可以至少包括第二障碍物的包围框的真实位置。

由此，可以利用第二障碍物的标注结果，对待测评算法输出的障碍物检测结果进行测评。理想情况下，在每个时刻，第一障碍物和第二障碍物的数量是相同的，并且第一障碍物和第二障碍物的包围框的位置差异在允许范围内。

在某个时刻出现第一障碍物和第二障碍物的数量不匹配，或者第一障碍物和第二障碍物的包围框的位置差异超过允许范围的情况下，测评结果对应为待测试算法的障碍物检测结果存在问题。

如图2所示，在一种实施方式中，第一障碍物的包围框的确定方式可以包括以下步骤：

S201：确定第一障碍物的轮廓的特征点；

S202：根据第一障碍物的轮廓的特征点，确定第一障碍物的包围框。

结合图3所示，在图3左侧中实线可以表示待测试算法输出的障碍物检测框，该检测框即对应第一障碍物的轮廓。在当前实施方式中，可以将检测框的角点作为第一障碍物的轮廓的特征点。

根据检测框的4个角点，即可生成第一障碍物的包围框。包围框即对应图3左侧的虚线框。

在图3右侧中的各圆点可以表示待测试算法输出的障碍物检测点集合。通过对各检测点的坐标进行遍历，可以确定在图3中(主车)平面坐标系下各检测点中确定出x值最大、x值最小，y值最大和y值最小的检测点。将上述4个检测点作为第一障碍物的轮廓的特征点。或者，还可以取x值(或y值)差异在预定范围内的多个检测点的均值作为特征点的坐标。

由此据4个特征点，即可生成第一障碍物的包围框。包围框即对应图3右侧的虚线框。

相比于图3左侧在主车坐标系下存在一定角度倾斜情况的检测框，包围框的2条对边与x轴平行，另2条对边与y轴平行。由此可以消除角度倾斜情况对于后续检测精度的影响。另外，相比于图3右侧不规则形状的检测点集合，包围框可以将检测点集合进行规范化，从而得到标准矩形。相比于不规则形状，标准矩形可以在一定程度上提高后续检测的精准度。

如图4所示，在第一障碍物和第二障碍物的数量为多个的情况下，

利用第二障碍物的标注结果，对待测评算法输出的障碍物检测结果进行测评可以进一步包括以下步骤：

S401：基于每个第一障碍物的包围框的检测位置以及每个第二障碍物的包围框的真实位置，建立至少一个匹配对；每个匹配对中包括一个第一障碍物和一个第二障碍物；

S402：利用匹配对的数量，对检测结果进行测评。

利用第一障碍物包围框和第二障碍物包围框的位置，可以计算二者之间的欧式距离。在欧式距离不大于对应阈值的情况下，表示第一障碍物和第二障碍物可以组成匹配对。又例如，还可以计算第一障碍物包围框和第二障碍物包围框的位置之间的空间距离，利用空间距离进行匹配。或者，可以采用第一障碍物包围框和第二障碍物包围框的在地图上的重叠率进行匹配等，在此不再详述。

利用匹配对的数量，可以对检测结果进行测评。例如，标注结果中存在M个第二障碍物，检测结果中包括N个第一障碍物。匹配对的数量即小于M，也小于N，则表示存在未能与第二障碍物组成匹配对的第一障碍物。基于此，可以确定待测评算法出现错检情况。错检情况可以包括误检和/或漏检等。

利用参与匹配的(第一、第二)障碍物的数量，以及成功组成匹配对的数量，即可实现对于对检测结果的测评。

例如，利用匹配对的数量，可以得到成功匹配的第一障碍物、第二障碍物的数量。利用成功匹配的第一障碍物、第二障碍物的数量与所有参与匹配的第一障碍物、第二障碍物的数量的比值，可以得到检测结果的准确度。

通过上述方案，可以利用匹配对的数量，实现对于待测评算法输出的标识跳变率进行检测。

如图5所示，在一种实施方式中，基于每个第一障碍物的包围框的检测位置以及每个第二障碍物的包围框的真实位置，建立至少一个匹配对，可以具体包括以下步骤：

S501：基于每个第一障碍物的包围框的检测位置以及每个第二障碍物的包围框的真实位置，分别计算每个第一障碍物与每个第二障碍物的欧式距离；

S502：利用欧式距离，选择出多个候选匹配对，以使多个候选匹配对满足欧氏距离之和最小；候选匹配对的数量与第一障碍物的数量或第二障碍物的数量相同；

S503：将欧式距离不大于对应阈值的候选匹配对作为建立的匹配对。

可以获取在同一时刻t_n的每个第一障碍物的包围框的位置以及每个第二障碍物的包围框的位置。在当前实施方式中，假设第一障碍物的数量为M，第二障碍物的数量为N。

根据包围框的位置，分别计算每个第一障碍物包围框与每个第二障碍物包围框的欧式距离，得到欧式距离矩阵，欧式距离矩阵为M*N的矩阵。

可以利用匈牙利匹配，从欧式距离矩阵中确定出多个候选匹配对，理想情况下，M＝N。利用匈牙利匹配得到的多个候选匹配对，可以满足多个候选匹配对欧氏距离之和最小。匹配对的数量可以是M个，也可以是N个。

分别将每个候选匹配对中的欧式距离与对应阈值进行比较，得到比较结果。

保留欧式距离不大于对应阈值的匹配对，将其作为建立的匹配对。

通过上述方案，针对多个障碍物的情况，可以率先利用匈牙利匹配确定出多个候选匹配对。进而再根据对应阈值，从多个候选匹配对中筛选出目标匹配对。从而实现高效的确定匹配对。

如图6所示，在一种实施方式中，利用匹配对的数量，对检测结果进行测评，包括：

S601：获取未能与第二障碍物组成匹配对的第一障碍物的数量；

S602：利用未能与第二障碍物组成匹配对的第一障碍物的数量和匹配对的数量，计算检测结果的召回率和精确率。

例如，在第二障碍物的数量多于第一障碍物的情况下，可以表示待测评算法输出的第一障碍物出现漏检的情况。

或者，在第二障碍物的数量少于第一障碍物的情况下，可以表示待测评算法输出的第一障碍物出现误检的情况。

根据匹配对的数量以及漏检的数量，可以确定待测评算法输出的检测结果的召回率。根据匹配对的数量以及误检的数量，可以确定待测评算法输出的检测结果的精准率。

召回率(Recall)的计算方式如下：

式中，N_tp可以表示匹配对的数量，N_fn可以表示漏检的数量。

精确率(Precision)的计算方式如下：

式中N_tp可以表示匹配对的数量，N_fp可以表示误检的数量。

另外，还可以根据匹配对中的障碍物与主车的相对位置关系，对不同区域的召回率和精确率进行测评。

例如，可以根据主车的位置，将其周围划分成不同的区域。例如前向、(左或右)侧向、后向等区域。在障碍物包围框4个角点的x坐标均大于主车车头的x坐标的情况下，可以将障碍物的位置确定为前向。在障碍物包围框4个角点的x坐标均小于主车车头的x坐标的情况下，将障碍物的位置确定为后向。将非前向和非后向的情况确定为侧向。另外，还可以更进一步划分出左前向、右前向、左后向、右后向等区域。

针对不同位置区域，可以分别统计各个位置区域的召回率(Recall_region＝r)，计算方式如下：

式中，N_{tp(gt_region＝r)}可以表示在第r个位置区域中匹配对的数量，N_{fn(gt_region＝r)}可以表示在第r个位置区域中漏检的数量。通过上述计算，可以得到第r个位置区域的召回率。

针对不同区域，可以分别统计各个位置区域的精确率(Precision_region＝r)，计算方式如下：

式中N_{tp(gt_region＝r)}可以表示在第r个位置区域中匹配对的数量，N_{fp(pd_region＝r)}可以表示在第r个位置区域中误检的数量。通过上述计算，可以得到第r个位置区域的精确率。

通过上述方案，利用第一障碍物的数量、第二障碍物的数量和匹配对的数量，即可确定检测结果的召回率和准确率。

在一种实施方式中，障碍物检测结果还包括每个第一障碍物的包围框尺寸信息；

标注结果还包括每个第二障碍物的包围框尺寸信息；

如图7所示，利用匹配对的数量，对检测结果进行测评，包括：

S701：根据每个第一障碍物的包围框尺寸信息和每个第二障碍物的包围框尺寸信息，确定各匹配对中的第一障碍物和第二障碍物的包围框尺寸误差；

S702：利用包围框尺寸误差和匹配对的数量，确定待测评算法输出的障碍物包围框尺寸检测误差。

包围框尺寸信息可以是包围框的长度和宽度。

以长度误差为例，长度误差计算方式如下：

式中∑Dis3_y_tp可以表示每个匹配对中的长度误差之和，N_tp可以表示匹配对的数量。

或者，还可以利用宽度计算尺寸误差，宽度误差计算方式如下：

式中∑Dis3_6_tp可以表示每个匹配对中的宽度误差之和，N_tp可以表示匹配对的数量。

长度误差和宽度误差均可以作为障碍物包围框尺寸检测误差。

另外，针对不同区域，还可以统计不同区域的围框尺寸检测误差。

例如，针对不同区域，可以分别统计各个位置区域的长度误差(Avg_{y(gt_region＝r)})，计算方式如下：

式中∑Dist_y_{tp(gt_region＝r)}可以表示第r个位置区域中各匹配对的长度误差之和，N_{tp(gt_region＝r)}可以表示在第r个位置区域中匹配对的数量。

同理，针对不同区域，可以分别统计各个位置区域的宽度误差Avg_{x(gt_region＝r)})，计算方式如下：

式中∑Dist_6_{tp(gt_region＝r)}可以表示第r个位置区域中各匹配对的宽度误差之和，N_{tp(gt_region＝r)}可以表示在第r个位置区域中匹配对的数量。

另外，还可以在对连续多帧的检测结果进行测评，该测评结果对应误差波动情况。

例如，在第二障碍物位于主车前向的情况下，如果第二障碍物离y轴最近的两个角点分别在x轴两侧，则以包围框下方2个角点为特征点。在第二障碍物所有角点都在x轴左侧的情况下，包围框右下侧角点为特征点。同理，在第二障碍物所有角点都在x轴右侧的情况下，包围框左下侧角点为特征点。另外，还可以利用第二障碍物的检测框(Bounding Box)或障碍物的检测点集合(Freespace)进行与主车相对位置的确定。

在侧向以及后向选择特征点的原理与前向相同，不再赘述。可以利用第一障碍物以及第二障碍物同一特征点在不同时刻的误差，确定出误差波动情况。

通过上述方案，还可以实现对于障碍物尺寸的测评，以及在连续帧情况下对障碍物误差的波动情况进行测评。

如图8所示，本公开提供一种障碍物检测的测评装置，该装置可以包括以下组件：

障碍物检测结果获取模块801，用于获取待测评算法输出的障碍物检测结果，碍物检测结果至少包括第一障碍物的包围框的检测位置；

标注结果获取模块802，用于获取第二障碍物的标注结果，标注结果包括第二障碍物的包围框的真实位置；

测评模块803，用于利用第二障碍物的标注结果，对待测评算法输出的障碍物检测结果进行测评。

在一种实施方式中，在第一障碍物和第二障碍物的数量为多个的情况下，测评模块803可以进一步包括：

匹配对建立子模块，用于基于每个第一障碍物的包围框的检测位置以及每个第二障碍物的包围框的真实位置，建立至少一个匹配对；每个匹配对中包括一个第一障碍物和一个第二障碍物；

测评执行子模块，用于利用匹配对的数量，对检测结果进行测评。

在一种实施方式中，匹配对建立子模块可以进一步包括：

欧式距离计算单元，用于基于每个第一障碍物的包围框的检测位置以及每个第二障碍物的包围框的真实位置，分别计算每个第一障碍物与每个第二障碍物的欧式距离；

候选匹配对选择单元，用于利用欧式距离，选择出多个候选匹配对，以使多个候选匹配对满足欧氏距离之和最小；候选匹配对的数量与第一障碍物的数量或第二障碍物的数量相同；

匹配对建立执行单元，用于将欧式距离不大于对应阈值的候选匹配对作为建立的匹配对。

在一种实施方式中，测评模块803可以进一步包括：

第一障碍物错检统计子模块，用于获取未能与第二障碍物组成匹配对的第一障碍物的数量；

测评执行子模块还用于：利用未能与第二障碍物组成匹配对的第一障碍物的数量和匹配对的数量，计算检测结果的召回率和精确率。

标注结果还包括每个第二障碍物的包围框尺寸信息；

在此情况下，测评模块803可以进一步包括：

尺寸误差确定子模块，用于根据每个第一障碍物的包围框尺寸信息和每个第二障碍物的包围框尺寸信息，确定各匹配对中的第一障碍物和第二障碍物的包围框尺寸误差；

测评执行子模块还用于：利用包围框尺寸误差和匹配对的数量，确定待测评算法输出的障碍物包围框尺寸检测误差。

在一种实施方式中，障碍物检测结果获取模块801可以进一步包括：

特征点确定子模块，用于确定第一障碍物的轮廓的特征点；

包围框确定子模块，用于根据第一障碍物的轮廓的特征点，确定第一障碍物的包围框。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图9示出了可以用来实施本公开的实施例的示例电子设备900的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或要求的本公开的实现。

如图9所示，设备900包括计算单元910，其可以根据存储在只读存储器(ROM)920中的计算机程序或者从存储单元980加载到随机访问存储器(RAM)930中的计算机程序来执行各种适当的动作和处理。在RAM 930中，还可存储设备900操作所需的各种程序和数据。计算单元910、ROM 920以及RAM 930通过总线940彼此相连。输入输出(I/O)接口950也连接至总线940。

设备900中的多个部件连接至I/O接口950，包括：输入单元960，例如键盘、鼠标等；输出单元970，例如各种类型的显示器、扬声器等；存储单元980，例如磁盘、光盘等；以及通信单元990，例如网卡、调制解调器、无线通信收发机等。通信单元990允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元910可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元910的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元910执行上文所描述的各个方法和处理，例如障碍物检测的测评方法。例如，在一些实施例中，障碍物检测的测评方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元980。在一些实施例中，计算机程序的部分或者全部可以经由ROM 920和/或通信单元990而被载入和/或安装到设备900上。当计算机程序加载到RAM 930并由计算单元910执行时，可以执行上文描述的障碍物检测的测评方法的一个或多个步骤。备选地，在其他实施例中，计算单元910可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行障碍物检测的测评方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入、或者触觉输入来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims

1.一种障碍物检测的测评方法，包括：

获取待测评算法输出的障碍物检测结果，所述碍物检测结果至少包括第一障碍物的包围框的检测位置；

获取第二障碍物的标注结果，所述标注结果包括第二障碍物的包围框的真实位置；

利用所述第二障碍物的标注结果，对所述待测评算法输出的障碍物检测结果进行测评。

2.根据权利要求1所述的方法，其中，在所述第一障碍物和第二障碍物的数量为多个的情况下，所述利用所述第二障碍物的标注结果，对所述待测评算法输出的障碍物检测结果进行测评，包括：

基于每个所述第一障碍物的包围框的检测位置以及每个所述第二障碍物的包围框的真实位置，建立至少一个匹配对；每个所述匹配对中包括一个第一障碍物和一个第二障碍物；

利用所述匹配对的数量，对所述检测结果进行测评。

3.根据权利要求2所述的方法，其中，所述基于每个所述第一障碍物的包围框的检测位置以及每个所述第二障碍物的包围框的真实位置，建立至少一个匹配对，包括：

基于每个所述第一障碍物的包围框的检测位置以及每个所述第二障碍物的包围框的真实位置，分别计算每个所述第一障碍物与每个所述第二障碍物的欧式距离；

利用所述欧式距离，选择出多个候选匹配对，以使所述多个候选匹配对满足欧氏距离之和最小；所述候选匹配对的数量与所述第一障碍物的数量或所述第二障碍物的数量相同；

将欧式距离不大于对应阈值的候选匹配对作为建立的匹配对。

4.根据权利要求2所述的方法，其中，所述利用所述匹配对的数量，对所述检测结果进行测评，包括：

获取未能与所述第二障碍物组成匹配对的第一障碍物的数量；

利用所述未能与所述第二障碍物组成匹配对的第一障碍物的数量和所述匹配对的数量，计算所述检测结果的召回率和精确率。

5.根据权利要求2所述的方法，其中，所述障碍物检测结果还包括每个所述第一障碍物的包围框尺寸信息；

所述标注结果还包括每个所述第二障碍物的包围框尺寸信息；

所述利用所述匹配对的数量，对所述检测结果进行测评，包括：

根据每个所述第一障碍物的包围框尺寸信息和每个所述第二障碍物的包围框尺寸信息，确定各所述匹配对中的第一障碍物和第二障碍物的包围框尺寸误差；

利用所述包围框尺寸误差和所述匹配对的数量，确定待测评算法输出的障碍物包围框尺寸检测误差。

6.根据权利要求1至5任一所述的方法，其中，确定所述第一障碍物的包围框，包括：

确定所述第一障碍物的轮廓的特征点；

根据所述第一障碍物的轮廓的特征点，确定所述第一障碍物的包围框。

7.一种障碍物检测的测评装置，包括：

障碍物检测结果获取模块，用于获取待测评算法输出的障碍物检测结果，所述碍物检测结果至少包括第一障碍物的包围框的检测位置；

标注结果获取模块，用于获取第二障碍物的标注结果，所述标注结果包括第二障碍物的包围框的真实位置；

测评模块，用于利用所述第二障碍物的标注结果，对所述待测评算法输出的障碍物检测结果进行测评。

8.根据权利要求7所述的装置，其中，在所述第一障碍物和第二障碍物的数量为多个的情况下，所述测评模块，包括：

匹配对建立子模块，用于基于每个所述第一障碍物的包围框的检测位置以及每个所述第二障碍物的包围框的真实位置，建立至少一个匹配对；每个所述匹配对中包括一个第一障碍物和一个第二障碍物；

测评执行子模块，用于利用所述匹配对的数量，对所述检测结果进行测评。

9.根据权利要求8所述的装置，其中，所述匹配对建立子模块，包括：

欧式距离计算单元，用于基于每个所述第一障碍物的包围框的检测位置以及每个所述第二障碍物的包围框的真实位置，分别计算每个所述第一障碍物与每个所述第二障碍物的欧式距离；

候选匹配对选择单元，用于利用所述欧式距离，选择出多个候选匹配对，以使所述多个候选匹配对满足欧氏距离之和最小；所述候选匹配对的数量与所述第一障碍物的数量或所述第二障碍物的数量相同；

10.根据权利要求8所述的装置，其中，所述测评模块，包括：

第一障碍物错检统计子模块，用于获取未能与所述第二障碍物组成匹配对的第一障碍物的数量；

所述测评执行子模块还用于：利用所述未能与所述第二障碍物组成匹配对的第一障碍物的数量和所述匹配对的数量，计算所述检测结果的召回率和精确率。

11.根据权利要求8所述的装置，其中，所述障碍物检测结果还包括每个所述第一障碍物的包围框尺寸信息；

所述测评模块，包括：

尺寸误差确定子模块，用于根据每个所述第一障碍物的包围框尺寸信息和每个所述第二障碍物的包围框尺寸信息，确定各所述匹配对中的第一障碍物和第二障碍物的包围框尺寸误差；

所述测评执行子模块还用于：利用所述包围框尺寸误差和所述匹配对的数量，确定待测评算法输出的障碍物包围框尺寸检测误差。

12.根据权利要求7至11任一所述的装置，其中，所述障碍物检测结果获取模块，包括：

特征点确定子模块，用于确定所述第一障碍物的轮廓的特征点；

包围框确定子模块，用于根据所述第一障碍物的轮廓的特征点，确定所述第一障碍物的包围框。

13.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至6中任一项所述的方法。

14.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使计算机执行权利要求1至6中任一项所述的方法。

15.一种计算机程序产品，包括计算机指令，该计算机指令被处理器执行时实现权利要求1至6中任一项所述的方法。