CN112528846A - 障碍物检测的测评方法、装置、设备以及存储介质 - Google Patents

Abstract

本申请公开了障碍物检测的测评方法、装置、设备以及存储介质，涉及计算机视觉、自动驾驶、智能交通等领域。具体实现方案为：确定图像中第一障碍物的标注结果，标注结果包括图像中的多个第一障碍物的位置信息；获取待测评算法输出的障碍物检测结果，碍物检测结果包括多个第二障碍物的位置信息；利用图像中的多个第一障碍物的位置信息，对障碍物检测结果进行测评。在进行一次标注后，可以根据该标注信息对待测评算法的迭代升级的效果进行测评，起到节省人力和时间成本的效果。

Description

障碍物检测的测评方法、装置、设备以及存储介质

技术领域

本申请涉及图像处理领域，尤其涉及计算机视觉、自动驾驶、智能交通等领域。

背景技术

在车辆的自动驾驶场景下，算法会对不同感知源的输入信息进行融合，输出障碍物的类型、位置、速度等结果。规划决策模块根据上述结果判断车辆是否需要变道、刹车等，从而发出对应指令。

相关测试方法通过实车上车路测，测试人员人为检测。因此相关检测方式具有一定主观性。并且，在算法不够成熟的情况下，上述测试方法不仅影响测试人员的坐车体感，还可能会对存在安全隐患。

发明内容

本申请提供了一种障碍物检测的测评方法、装置、设备、存储介质和计算机程序产品。

根据本申请的一方面，提供了一种障碍物检测的测评方法，该方法可以包括以下步骤：

确定图像中第一障碍物的标注结果，标注结果包括图像中的多个第一障碍物的位置信息；

获取待测评算法输出的障碍物检测结果，碍物检测结果包括多个第二障碍物的位置信息；

利用图像中的多个第一障碍物的位置信息，对障碍物检测结果进行测评。

根据本申请的另一方面，提供了一种障碍物检测的测评装置，该装置可以包括以下组件：

标注结果确定模块，用于确定图像中第一障碍物的标注结果，标注结果包括图像中的多个第一障碍物的位置信息；

检测结果获取模块，用于获取待测评算法输出的障碍物检测结果，碍物检测结果包括多个第二障碍物的位置信息；

测评模块，用于利用图像中的多个第一障碍物的位置信息，对障碍物检测结果进行测评。

第三方面，本申请实施例提供一种电子设备，包括：

至少一个处理器；以及

与至少一个处理器通信连接的存储器；其中，

存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本申请任意一项实施例所提供的方法。

第四方面，本申请实施例提供一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行本申请任意一项实施例所提供的方法。

根据本申请的另一方面，提供了一种计算机程序产品，包括计算机指令，该计算机指令被处理器执行时实现本申请任一实施例中的方法。

由于待测评算法可以在离线环境下进行。由此，在进行一次标注后，可以根据该标注信息对待测评算法的迭代升级的效果进行测评，起到节省人力和时间成本的效果。另外，由于不需要实际上路测试，一方面可以降低测试成本，另一方面可以最大限度的降低对于测试人员安全的威胁。

应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是根据本申请障碍物检测的测评方法的流程图；

图2是根据本申请图像标注的示意图；

图3是根据本申请道路区域划分的示意图；

图4是根据本申请对检测结果进行测评的流程图；

图5是根据本申请建立匹配对的流程图；

图6是根据本申请利用匹配对的数量对检测结果进行测评的流程图；

图7是根据本申请利用匹配对的数量对检测结果进行测评的流程图；

图8是根据本申请确定图像中第一障碍物的标注结果的流程图；

图9是根据本申请确定图像中第一障碍物的标注结果的流程图；

图10是根据本申请障碍物检测的装置的示意图；

图11是用来实现本申请实施例的障碍物检测的测评方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

如图1所示，在一种实施方式中，本申请提供一种障碍物检测的测评方法，该方法可以包括以下步骤：

S101：确定图像中第一障碍物的标注结果，标注结果包括图像中的多个第一障碍物的位置信息；

S102：获取待测评算法输出的障碍物检测结果，碍物检测结果包括多个第二障碍物的位置信息；

S103：利用图像中的多个第一障碍物的位置信息，对障碍物检测结果进行测评。

本申请实施例中，图像可以是通过设置于主车上的车载图像采集设备采集到的2D视觉图像。结合图2所示，标注可以包括确定图像中的车道信息以及障碍物的位置信息。

以主车当前行驶的车道为主车道。车道编号可以表示为obs_id。在标注过程中，可以将主车道标注为obs_id＝0，主车道两侧的车道线可以分别标注为obs＝-10、obs＝10。

主车道两侧的车道左、右次车道可以分别标注为obs_id＝-2、obs_id＝2。左次车道线可以标注为obs_id＝-21，右次车道线可以标注为obs_id＝21。

在当前实施方式中，可以选取主车道，次车道、次车道线7个区域中的车辆，或者其他静态障碍物进行标注。

在本申请实施例中，图像中标注出的障碍物为第一障碍物。每帧图像检测出的第一障碍物的数量可能为0，也可能为多个。在当前帧图像中包含多个第一障碍物的情况下，可以为每个第一障碍物分配一个标识。

例如，可以通过图像识别技术，在图像中以检测框的形式标注出第一障碍物。进一步的，可以以检测框范围内的一个特定点作为第一障碍物的特征点。该特征点用于表示第一障碍物在图像中的位置信息。该位置信息可以包括障碍物所在车道以及障碍物的坐标等。图像中标注出的第一障碍物的位置信息可以作为第一障碍物的真值。

对于步骤S101中确定图像中的第一障碍物的位置信息可以预先进行。在每次进行测评时，可以采用预先已经确定出的第一障碍物的位置信息作为真值。由此在后续测评时，直接利用预先确定的真值，即可对不同版本的同一类待测评算法，或者对不同类型的待测评算法进行测试。

对于每帧图像对应的时刻，待测评算法会输出检测结果。检测结果可以包括在该时刻检测到的第二障碍物的位置信息。本申请实施例中，待测评算法可以是环境建模算法。

以检测出主车前向障碍物为例，环境建模算法可以将前向广角、前向鱼眼、前侧向鱼眼以及毫米波雷达等传感器的检测信息进行融合，输出主车前向各位置障碍物的位置信息。待测评算法输出的障碍物称为第二障碍物。该算法可以在离线状态下运行，即，根据主车各传感器在每帧图像对应的时刻检测的信息，待测评算法即可得出检测结果。

将第一障碍物的位置信息和第二障碍物的位置信息进行比较，可以对待检测算法的检测结果进行测评。即，理想情况下，第二障碍物和第一障碍物对应的是同一障碍物。因此，第二障碍物和第一障碍物的位置信息的误差即可表示待检测算法优劣。

例如，根据标注的坐标信息可以对待检测算法的位置检测精度进行测评。又例如，还可以对待检测算法的召回率进行测评等。

另外，本申请实施例中，还可以根据障碍物与主车的距离，将道路进行划分。结合图3所示，例如，划分方式可以按照近距(例如可以是距离主车0至60米)、中距(例如可以是距离主车60米至100米)和远距(例如可以是距离主车超过100米)三类。结合当前车道和左右车道，可以得到九宫格区域。对不同区域设置不同权重，由此可以优先对权重较高的区域进行测评。或者，对于权重较高的区域，测评标准更高。

由于待测评算法可以在离线环境下进行。由此，在进行一次标注后，可以根据该标注信息对待测评算法的迭代升级的效果进行测评，起到节省人力和时间成本的效果。另外，由于不需要实际上路测试，一方面可以降低测试成本，另一方面可以最大限度的降低对于测试人员安全的威胁。

结合图4所示，在一种实施方式中，步骤S103可以进一步包括以下子步骤：

S1031：基于每个第一障碍物的位置信息以及每个第二障碍物的位置信息，利用预定匹配规则建立至少一个匹配对；每个匹配对中包括一个第一障碍物和一个第二障碍物；

S1032：利用匹配对的数量，对检测结果进行测评。

例如，匹配规则可以采用第一障碍物和第二障碍物之间欧式距离进行匹配。在欧式距离不大于对应阈值的情况下，表示第一障碍物和第二障碍物可以组成匹配对。又例如，匹配规则还可以采用第一障碍物和第二障碍物之间的空间距离进行匹配，或者，采用第一障碍物和第二障碍物的检测框重叠率进行匹配等，在此不再详述。

可以获取匹配对的数量，根据匹配对的数量对检测结果进行测评。例如，在图像中，存在M个第一障碍物，检测结果中包括N个第二障碍物。匹配对的数量即小于M，也小于N，则表示存在未能与第一障碍物组成匹配对的第二障碍物。基于此，可以确定待测评算法出现错检情况。错检情况可以包括误检和/或漏检等。

利用参与匹配的(第一、第二)障碍物的数量，以及成功组成匹配对的数量，即可实现对于对检测结果进行测评。

例如，利用匹配对的数量，可以得到成功匹配的第一障碍物、第二障碍物的数量。利用成功匹配的第一障碍物、第二障碍物的数量与所有参与匹配的第一障碍物、第二障碍物的数量的比值，可以得到检测结果的准确度。

通过上述方案，可以利用匹配对的数量，实现对于待测评算法输出的标识跳变率进行检测。

结合图5所示，在一种实施方式中，步骤S1031可以进一步包括以下子步骤：

S10311：基于每个第一障碍物的位置信息以及每个第二障碍物的位置信息，分别计算每个第一障碍物与每个第二障碍物的欧式距离；

S10312：基于欧式距离矩阵，选择多个候选匹配对，以使多个候选匹配对满足欧氏距离之和最小；候选匹配对的数量与第一障碍物的数量或者第二障碍物的数量相同；

S10313：将欧式距离小于对应阈值的候选匹配对作为利用预定匹配规则建立的匹配对。

可以将图像对应的时刻可以记为t₁。

获取t₁时刻在图像中标注的每个第一障碍物的位置信息。在当前实施方式中，假设第一障碍物的数量为M。

同样的，获取t₁时刻待测评算法输出的每个第二障碍物的位置信息。在当前实施方式中，假设第二障碍物的数量为N。

分别计算每个第一障碍物与每个第二障碍物的欧式距离，得到欧式距离矩阵，欧式距离矩阵为M*N的矩阵。

可以利用匈牙利匹配，从欧式距离矩阵中确定出多个候选匹配对。候选匹配对的数量可以是M个，或者是N个。分别将每个候选匹配对中的欧式距离与对应阈值进行比较，得到比较结果。利用匈牙利匹配得到的多个候选匹配对，可以满足多个候选匹配对欧氏距离之和最小。

保留欧式距离不大于对应阈值的匹配对，将其作为目标匹配对。

通过上述方案，针对多个障碍物的情况，可以率先利用匈牙利匹配确定出多个候选匹配对。进而再根据对应阈值，从多个候选匹配对中筛选出目标匹配对。从而实现高效的确定匹配对。

结合图6所示，在一种实施方式中，步骤S1032可以进一步包括以下子步骤：

S10321：获取未能与第一障碍物组成匹配对的第二障碍物的数量；

S10322：利用未能与第一障碍物组成匹配对的第二障碍物的数量和匹配对的数量，计算检测结果的召回率和准确率。

第一障碍物的数量可以是图像中标注的第一障碍物的数量。前已述及，在图像中，第一障碍物的数量可能是0，也可能是多个。

第二障碍物的数量可以是在与图像对应的时刻，待测评算法输出的第二障碍物的数量。同理，第二障碍物的数量可能是0，也可能是多个。

可以采用未能与第一障碍物组成匹配对的第二障碍物的数量，作为待检测算法错检的次数。

例如，可以获取图像中每个车道的第一障碍物。以主车道为例，在主车道中存在第一障碍物，但在待测评算法并未检测到第二障碍物的情况下，可以确定待检测算法的一次漏检。

在主车道中存在第一障碍物，且在待测评算法检测到第二障碍物的情况下，可以进一步检测第一障碍物和第二障碍物之间是否满足匹配条件，在不满足匹配条件的情况下，即可以算作待测评算法的一次漏检，也可以算作待测评算法的一次误检。或者，还可以算作待测评算法同时出现了一次漏检和一次误检。

在主车道中不存在第一障碍物，但在待测评算法检测到第二障碍物的情况下，可以确定为待测评算法的一次误检。

召回率可以根据匹配对的数量和待检测算法漏检的数量确定；精确率可以根据匹配对的数量和待检测算法误检的数量确定。其中，匹配对的数量即对应为组成匹配对的第二障碍物的数量。

召回率(Recall)的计算方式如下：

式中，N_tp可以表示组成匹配对的第二障碍物的数量(匹配对的数量)，N_fn可以表示漏检的数量。

另外，针对不同区域，可以分别统计各个区域的召回率，计算方式如下：

式中，N_{tp(gt_region＝r)}可以表示在第r个区域中组成匹配对的第二障碍物的数量(匹配对的数量)，N_{fn(gt_region＝r)}可以表示在第r个区域中漏检的数量。通过上述计算，可以得到第r个区域的召回率(Recall_region＝r)。

精确率(Precision)的计算方式如下：

式中N_tp可以表示组成匹配对的第二障碍物的数量(匹配对的数量)，N_fp可以表示误检的数量。

另外，针对不同区域，可以分别统计各个区域的精确率，计算方式如下：

式中N_{tp(gt_region＝r)}可以表示在第r个区域中组成匹配对的第二障碍物的数量(匹配对的数量)，N_{fp(pd_region＝r)}可以表示在第r个区域中误检的数量。通过上述计算，可以得到第r个区域的精确率(Precision_region＝r)。

通过上述方案，利用第一障碍物的数量、第二障碍物的数量和匹配对的数量，即可确定检测结果的召回率和准确率。

在一种实施方式中，步骤S101中涉及的标注结果还包括每个第一障碍物的尺寸信息；

对应的，步骤S102中障碍物检测结果还包括每个第二障碍物的尺寸信息；

基于上述情况，结合图7所示，S1032还可以包括以下子步骤：

S10323：根据每个第一障碍物的尺寸信息和每个第二障碍物的尺寸信息，确定各匹配对中的第一障碍物和第二障碍物的尺寸误差；

S10324：利用尺寸误差和匹配对的数量，确定待测评算法输出的障碍物尺寸检测误差，将障碍物尺寸检测误差作为测评的结果。

第一障碍物的尺寸信息可以包括检测框的宽度和长度，利用转换参数可以将检测框的宽度和长度换算至世界坐标系下。

第二障碍物的尺寸信息可以通过待检测算法直接输出。

通过比较，可以得到每个匹配对中的尺寸误差，即，包括宽度误差和高度误差。

障碍物尺寸检测误差(Avg_w)的计算可以表示为：

式中Dist_tp可以表示每个匹配对中的误差的均值，N_tp可以表示组成匹配对的第二障碍物的数量(匹配对的数量)。其中，误差的均值可以采用宽度误差和长度误差的平均值计算。

另外，针对不同区域，可以分别统计各个区域的障碍物尺寸检测误差(Avg_{w(gt_region＝r)})，计算方式如下：

式中Dist_{tp(gt_region＝r)}可以在第r个区域中每个匹配对的误差的均值，N_{tp(gt_region＝r)}可以表示在第r个区域中组成匹配对的第二障碍物的数量(匹配对的数量)。

通过上述方案，利用匹配对的数量和匹配对中障碍物尺寸的误差，即可确定检测结果的障碍物尺寸检测误差。从而可以提供多维度的测评指标。

如图8所示，在一种实施方式中，步骤S101可以包括以下步骤：

S1011：在图像中确定每个第一障碍物对应的检测框；

S1012：获取每个检测框的特征点在图像中的坐标；

S1013：根据预设的转换参数，将特征点在图像中的坐标转换至世界坐标系下，得到特征点在世界坐标系下的坐标；

S1014：利用雷达检测数据对特征点在世界坐标系下的坐标进行修正，将修正结果作为对应的第一障碍物的位置信息。

可以通过图像识别技术，在图像中以检测框的形式标注出第一障碍物。进一步的，可以以检测框范围内的一个特定点作为第一障碍物的特征点。例如特征点可以是检测框底边的中心点。该特征点用于表示第一障碍物在图像中的位置信息。该位置信息可以包括车道以及坐标等。

预设的转换参数可以是相机外参数，将特征点的坐标转换至世界坐标系下，得到特征点在世界坐标系下的坐标。

获取主车的雷达检测数据，将雷达检测数据与特征点在世界坐标系下的坐标进行比较，从而对特征点在世界坐标系下的坐标进行修订。例如，在雷达检测到的障碍物的多个检测点中，选择与特征点在世界坐标系下的坐标最接近的检测点，利用该检测点的坐标替换特征点在世界坐标系下的坐标。

通过上述方案，利用精度更高的雷达对标定数据进行修订，可以使得标定数据更接近真值。

如图9所示，在一种实施方式中，步骤S101还可以包括以下步骤：

S1015：利用雷达检测数据确定第一障碍物在世界坐标系下的尺寸；

S1016：根据预设的转换参数，将第一障碍物在世界坐标系下的尺寸转换至图像中，得到图像坐标系下的第一障碍物的尺寸；

S1017：利用图像坐标系下的第一障碍物的尺寸对第一障碍物对应的检测框进行调整，得到调整结果，将调整结果作为标注结果。

利用主车上设置的雷达，可以获取第一障碍物检测框的尺寸。利用预设的转换参数，可以将第一障碍物检测框的尺寸由世界坐标系下转换至图像坐标系下，从而得到第一障碍物在图像坐标系下的尺寸。

利用图像坐标系下的第一障碍物的尺寸对第一障碍物对应的检测框进行调整，得到调整结果，将调整结果作为标注结果。

另外，还可以根据图像识别技术对第一障碍物进行识别，在第一障碍物为汽车的情况下，可以根据汽车的型号确定其尺寸，从而可以使得标注结果更为精准。

对于汽车的型号信息不存在，或者由于车辆被遮挡无法看出型号的情况下，可以根据可以未遮挡部分确定该车辆为大型车、中型车或者小型车等不同类型。对应的，可以预存大型车、中型车或者小型车的尺寸，从而可以进行标注。

通过上述方案，可以对第一障碍物的尺寸进行准确标注，从而可以为待测评算法输出的障碍物尺寸进行测评提供数据支持。

如图10所示，本申请实施例提供一种障碍物检测的测评装置，该装置可以包括以下组件：

标注结果确定模块1001，用于确定图像中第一障碍物的标注结果，标注结果包括图像中的多个第一障碍物的位置信息；

检测结果获取模块1002，用于获取待测评算法输出的障碍物检测结果，碍物检测结果包括多个第二障碍物的位置信息；

测评模块1003，用于利用图像中的多个第一障碍物的位置信息，对障碍物检测结果进行测评。

在一种实施方式中，测评模块1003可以进一步包括：

匹配对建立子模块，用于基于每个第一障碍物的位置信息以及每个第二障碍物的位置信息，利用预定匹配规则建立至少一个匹配对；每个匹配对中包括一个第一障碍物和一个第二障碍物；

测评执行子模块，用于利用匹配对的数量，对检测结果进行测评。

在一种实施方式中，匹配对建立子模块可以进一步包括：

欧式距离计算单元，用于基于每个第一障碍物的位置信息以及每个第二障碍物的位置信息，分别计算每个第一障碍物与每个第二障碍物的欧式距离；

候选匹配对确定单元，用于基于欧式距离矩阵，选择多个候选匹配对，以使多个候选匹配对满足欧氏距离之和最小；候选匹配对的数量与第一障碍物的数量或者第二障碍物的数量相同；

匹配对建立执行单元，用于将欧式距离小于对应阈值的候选匹配对作为利用预定匹配规则建立的匹配对。

在一种实施方式中，可以进一步包括：

数量获取单元，用于获取未能与第一障碍物组成匹配对的第二障碍物的数量；

召回率和准确率计算单元，用于利用未能与第一障碍物组成匹配对的第二障碍物的数量和匹配对的数量，计算检测结果的召回率和准确率。

在一种实施方式中，标注结果还包括每个第一障碍物的尺寸信息；

障碍物检测结果还包括每个第二障碍物的尺寸信息。

基于此，测评执行子模块可以进一步包括：

尺寸误差确定单元，用于根据每个第一障碍物的尺寸信息和每个第二障碍物的尺寸信息，确定各匹配对中的第一障碍物和第二障碍物的尺寸误差；

尺寸检测误差确定单元，用于利用尺寸误差和匹配对的数量，确定待测评算法输出的障碍物尺寸检测误差，将障碍物尺寸检测误差作为测评的结果。

在一种实施方式中，标注结果确定模块1001可以进一步包括：

检测框确定子模块，用于在图像中确定每个第一障碍物对应的检测框；

特征点坐标获取子模块，用于获取每个检测框的特征点在图像中的坐标；

坐标换算子模块，用于根据预设的转换参数，将特征点在图像中的坐标转换至世界坐标系下，得到特征点在世界坐标系下的坐标；

坐标修正子模块，用于利用雷达检测数据对特征点在世界坐标系下的坐标进行修正，将修正结果作为对应的第一障碍物的位置信息。

在一种实施方式中，

标注结果确定模块1001还可以进一步包括：

尺寸确定子模块，用于利用雷达检测数据确定第一障碍物在世界坐标系下的尺寸；

尺寸换算子模块，用于根据预设的转换参数，将第一障碍物在世界坐标系下的尺寸转换至图像中，得到图像坐标系下的第一障碍物的尺寸；

尺寸修正子模块，用于利用图像坐标系下的第一障碍物的尺寸对第一障碍物对应的检测框进行调整，得到调整结果，将调整结果作为标注结果。

根据本申请的实施例，本申请还提供了一种电子设备、一种可读存储介质和计算机程序产品。

如图11所示，是根据本申请实施例的障碍物检测的测评方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图11所示，该电子设备包括：一个或多个处理器1110、存储器1120，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图11中以一个处理器1110为例。

存储器1120即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的障碍物检测的测评方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的障碍物检测的测评方法。

存储器1120作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的障碍物检测的测评方法对应的程序指令/模块(例如，附图10所示的标注结果确定模块1001、检测结果获取模块1002和测评模块1003)。处理器1110通过运行存储在存储器1120中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的障碍物检测的测评方法。

存储器1120可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据障碍物检测的测评方法的电子设备的使用所创建的数据等。此外，存储器1120可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器1120可选包括相对于处理器1110远程设置的存储器，这些远程存储器可以通过网络连接至障碍物检测的测评方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

障碍物检测的测评方法的电子设备还可以包括：输入装置1130和输出装置1140。处理器1110、存储器1120、输入装置1130和输出装置1140可以通过总线或者其他方式连接，图11中以通过总线连接为例。

输入装置1130可接收输入的数字或字符信息，以及产生与障碍物检测的测评方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置1140可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入、或者触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决传统物理主机与虚拟专用服务器(VPS)服务中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (17)

1.一种障碍物检测的测评方法，包括：

确定图像中第一障碍物的标注结果，所述标注结果包括所述图像中的多个第一障碍物的位置信息；

获取待测评算法输出的障碍物检测结果，所述碍物检测结果包括多个第二障碍物的位置信息；

利用所述图像中的多个第一障碍物的位置信息，对所述障碍物检测结果进行测评。

2.根据权利要求1所述的方法，其中，所述利用所述图像中的多个第一障碍物的位置信息，对所述障碍物检测结果进行测评，包括：

基于每个所述第一障碍物的位置信息以及每个所述第二障碍物的位置信息，利用预定匹配规则建立至少一个匹配对；每个所述匹配对中包括一个第一障碍物和一个第二障碍物；

利用所述匹配对的数量，对所述检测结果进行测评。

3.根据权利要求2所述的方法，其中，所述利用预定匹配规则建立至少一个匹配对，包括：

基于每个所述第一障碍物的位置信息以及每个所述第二障碍物的位置信息，分别计算每个所述第一障碍物与每个所述第二障碍物的欧式距离；

基于所述欧式距离，选择多个候选匹配对，以使所述多个候选匹配对满足欧氏距离之和最小；所述候选匹配对的数量与所述第一障碍物的数量或者所述第二障碍物的数量相同；

将欧式距离小于对应阈值的候选匹配对作为利用预定匹配规则建立的匹配对。

4.根据权利要求2所述的方法，其中，所述利用所述匹配对的数量，对所述检测结果进行测评，包括：

获取未能与所述第一障碍物组成匹配对的第二障碍物的数量；

利用所述未能与所述第一障碍物组成匹配对的第二障碍物的数量和所述匹配对的数量，计算所述检测结果的召回率和准确率。

5.根据权利要求3或4所述的方法，其中，

所述标注结果还包括每个所述第一障碍物的尺寸信息；

所述障碍物检测结果还包括每个所述第二障碍物的尺寸信息；

所述利用所述匹配对的数量，对所述检测结果进行测评，包括：

根据每个所述第一障碍物的尺寸信息和每个所述第二障碍物的尺寸信息，确定各所述匹配对中的第一障碍物和第二障碍物的尺寸误差；

利用所述尺寸误差和所述匹配对的数量，确定待测评算法输出的障碍物尺寸检测误差，将所述障碍物尺寸检测误差作为测评的结果。

6.根据权利要求1所述的方法，其中，所述确定图像中第一障碍物的标注结果，包括：

在所述图像中确定每个所述第一障碍物对应的检测框；

获取每个所述检测框的特征点在所述图像中的坐标；

根据预设的转换参数，将所述特征点在所述图像中的坐标转换至世界坐标系下，得到所述特征点在世界坐标系下的坐标；

利用雷达检测数据对所述特征点在世界坐标系下的坐标进行修正，将修正结果作为对应的第一障碍物的位置信息。

7.根据权利要求6所述的方法，所述确定图像中第一障碍物的标注结果，还包括：

利用雷达检测数据确定所述第一障碍物在世界坐标系下的尺寸；

根据所述预设的转换参数，将所述第一障碍物在世界坐标系下的尺寸转换至所述图像中，得到图像坐标系下的第一障碍物的尺寸；

利用所述图像坐标系下的第一障碍物的尺寸对所述第一障碍物对应的检测框进行调整，得到调整结果，将所述调整结果作为标注结果。

8.一种障碍物检测的测评装置，包括：

标注结果确定模块，用于确定图像中第一障碍物的标注结果，所述标注结果包括所述图像中的多个第一障碍物的位置信息；

检测结果获取模块，用于获取待测评算法输出的障碍物检测结果，所述碍物检测结果包括多个第二障碍物的位置信息；

测评模块，用于利用所述图像中的多个第一障碍物的位置信息，对所述障碍物检测结果进行测评。

9.根据权利要求8所述的装置，其中，所述测评模块，包括：

匹配对建立子模块，用于基于每个所述第一障碍物的位置信息以及每个所述第二障碍物的位置信息，利用预定匹配规则建立至少一个匹配对；每个所述匹配对中包括一个第一障碍物和一个第二障碍物；

测评执行子模块，用于利用所述匹配对的数量，对所述检测结果进行测评。

10.根据权利要求9所述的装置，其中，所述匹配对建立子模块，包括：

欧式距离计算单元，用于基于每个所述第一障碍物的位置信息以及每个所述第二障碍物的位置信息，分别计算每个所述第一障碍物与每个所述第二障碍物的欧式距离；

候选匹配对确定单元，用于基于所述欧式距离矩阵，选择多个候选匹配对，以使所述多个候选匹配对满足欧氏距离之和最小；所述候选匹配对的数量与所述第一障碍物的数量或者所述第二障碍物的数量相同；

匹配对建立执行单元，用于将欧式距离小于对应阈值的候选匹配对作为利用预定匹配规则建立的匹配对。

11.根据权利要求9所述的装置，其中，所述测评执行子模块，包括：

数量获取单元，用于获取未能与所述第一障碍物组成匹配对的第二障碍物的数量；

召回率和准确率计算单元，用于利用所述未能与所述第一障碍物组成匹配对的第二障碍物的数量和所述匹配对的数量，计算所述检测结果的召回率和准确率。

12.根据权利要求10或11所述的装置，其中，

所述标注结果还包括每个所述第一障碍物的尺寸信息；

所述障碍物检测结果还包括每个所述第二障碍物的尺寸信息；

所述测评执行子模块，包括：

尺寸误差确定单元，用于根据每个所述第一障碍物的尺寸信息和每个所述第二障碍物的尺寸信息，确定各所述匹配对中的第一障碍物和第二障碍物的尺寸误差；

尺寸检测误差确定单元，用于利用所述尺寸误差和所述匹配对的数量，确定待测评算法输出的障碍物尺寸检测误差，将所述障碍物尺寸检测误差作为测评的结果。

13.根据权利要求8所述的装置，其中，所述标注结果确定模块，包括：

检测框确定子模块，用于在所述图像中确定每个所述第一障碍物对应的检测框；

特征点坐标获取子模块，用于获取每个所述检测框的特征点在所述图像中的坐标；

坐标换算子模块，用于根据预设的转换参数，将所述特征点在所述图像中的坐标转换至世界坐标系下，得到所述特征点在世界坐标系下的坐标；

坐标修正子模块，用于利用雷达检测数据对所述特征点在世界坐标系下的坐标进行修正，将修正结果作为对应的所述第一障碍物的位置信息。

14.根据权利要求13所述的装置，其中，所述标注结果确定模块，还包括：

尺寸确定子模块，用于利用雷达检测数据确定所述第一障碍物在世界坐标系下的尺寸；

尺寸换算子模块，用于根据所述预设的转换参数，将所述第一障碍物在世界坐标系下的尺寸转换至所述图像中，得到图像坐标系下的第一障碍物的尺寸；

尺寸修正子模块，用于利用所述图像坐标系下的第一障碍物的尺寸对所述第一障碍物对应的检测框进行调整，得到调整结果，将所述调整结果作为标注结果。

15.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至7中任一项所述的方法。

16.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使计算机执行权利要求1至7中任一项所述的方法。

17.一种计算机程序产品，包括计算机指令，该计算机指令被处理器执行时实现权利要求1至7中任一项所述的方法。

Images