CN117235474A

CN117235474A - 一种目标检测性能的评估方法、装置、设备及介质

Info

Publication number: CN117235474A
Application number: CN202311245806.2A
Authority: CN
Inventors: 钱金鑫; 郑翔斌
Original assignee: Dongfeng Commercial Vehicle Co Ltd
Current assignee: Dongfeng Commercial Vehicle Co Ltd
Priority date: 2023-09-25
Filing date: 2023-09-25
Publication date: 2023-12-15

Abstract

本申请公开了一种目标检测性能的评估方法、装置、设备及介质，通过基于车辆的功能场景，根据测试集中目标物的空间信息和遮挡截断程度对所述测试集中的目标物进行过滤，以获得过滤后的测试集；通过过滤后的测试集对设置于所述车辆上的目标检测器进行测试，获得目标检测结果；根据所述目标检测结果对所述目标检测器的目标检测性能进行评估，实现了根据车辆的功能场景使用合适的测试集对目标检测器的目标检测性能进行检测，将不必要的目标物排除在外，避免了无关数据对特定车辆功能场景的评估结果的干扰，使得目标检测器的目标检测性能的评估结果更加客观。

Description

一种目标检测性能的评估方法、装置、设备及介质

技术领域

本申请涉及智能驾驶技术领域，尤其涉及一种目标检测性能的评估方法、装置、设备和介质。

背景技术

随着科技的发展，智能驾驶车辆越来越普及，智能驾驶车辆主要依靠其上安装的摄像头、激光雷达以及毫米波雷达等目标检测器检测识别车辆周围环境，来实现辅助驾驶甚至自动驾驶。而目标检测器的目标检测性能直接决定了车辆的驾驶体验和安全性能。

相关技术中，对目标检测性能进行评估的方式有两种，一种是通过人工的方式对小批量的目标检测数据进行漏检和误检统计。然而该方式只适用于小规模、初始阶段的评估，并且评估完全依靠人工，工作量取决于数据量，难以规模化，且统计容易出错，过程难以回溯，评价主观性强，对目标检测性能评价结果不可靠。另一种方法是通过测试集对目标检测算法进行回灌处理，来统计识别情况，这种评估方法的评估结果没有区分车辆在不同功能场景下的情况，对于一些功能场景而言测试集中无用的数据反而会对评价结果造成影响，导致难以得到更加客观的评估结果。

发明内容

本申请的主要目的在于提供一种目标检测性能的评估方法、装置、设备及介质，旨在解决通过测试集对目标检测算法进行回灌处理来统计识别情况时，对于一些功能场景而言测试集中无用的数据反而会对评价结果造成影响，导致难以得到更加客观的评估结果的技术问题。

第一方面，本申请提供一种目标检测性能的评估方法，所述方法包括以下步骤：

基于车辆的功能场景，根据测试集中目标物的空间信息和遮挡截断程度对所述测试集中的目标物进行过滤，以获得过滤后的测试集；

通过过滤后的测试集对设置于所述车辆上的目标检测器进行测试，获得目标检测结果；

根据所述目标检测结果对所述目标检测器的目标检测性能进行评估。

一些实施例中，在基于车辆的功能场景，根据测试集中目标物的空间信息和遮挡截断程度对所述测试集中的目标物进行过滤，以获得过滤后的测试集之前，还包括：

生成所述测试集，所述测试集中包括多种目标物、各个目标物的空间信息和遮挡截断程度；

其中，目标物的空间信息包括：坐标、真值框、与所述车辆的横向距离和纵向距离以及速度。

一些实施例中，基于车辆的功能场景，根据目标物的空间信息和遮挡截断程度对所述测试集中的目标物进行过滤，以获得过滤后的测试集，包括:

基于所述车辆的功能场景设置目标物的横向距离范围、纵向距离范围、遮挡率阈值和截断率阈值；

将所述测试集中横向距离大于所述横向距离范围，纵向距离大于所述纵向距离范围、遮挡率大于所述遮挡率阈值和/或截断率大于所述截断率阈值的目标物进行过滤，以获得过滤后的测试集。

一些实施例中，所述测试集中目标物的空间信息和遮挡截断程度是通过预设的真值系统采集获得的。

一些实施例中，根据所述目标检测结果对所述目标检测器的目标检测性能进行评估，包括：

在不同置信度和交并比下计算目标检测结果的精准率、召回率、平均精度和平均精度的均值。

一些实施例中，所述目标物的种类包括卡车、公交车、特种车、小车、运动型多功能车、面包车、自行车、摩托车、三轮车和/或行人。

一些实施例中，车辆的功能场景包括：换道场景、转弯场景、超车场景、加速场景或减速场景。

第二方面，本申请还提供一种目标检测性能的评估装置，所述装置包括：

过滤模块，其用于基于车辆的功能场景，根据测试集中目标物的空间信息和遮挡截断程度对所述测试集中的目标物进行过滤，以获得过滤后的测试集；

测试模块，其用于通过过滤后的测试集对设置于所述车辆上的目标检测器进行测试，获得目标检测结果；

评估模块，其用于根据所述目标检测结果对所述目标检测器的目标检测性能进行评估。

一些实施例中，该装置还用于：

一些实施例中，所述过滤模块还用于：

一些实施例中，所述评估模块还用于：

第三方面，本申请还提供一种计算机设备，所述计算机设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中所述计算机程序被所述处理器执行时，实现如上述的目标检测性能的评估方法的步骤。

第四方面，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其中所述计算机程序被处理器执行时，实现如上述的目标检测性能的评估方法的步骤。

本申请提供一种目标检测性能的评估方法、装置、设备及介质，通过基于车辆的功能场景，根据测试集中目标物的空间信息和遮挡截断程度对所述测试集中的目标物进行过滤，以获得过滤后的测试集；通过过滤后的测试集对设置于所述车辆上的目标检测器进行测试，获得目标检测结果；根据所述目标检测结果对所述目标检测器的目标检测性能进行评估，实现了根据车辆的功能场景使用合适的测试集对目标检测器的目标检测性能进行检测，将不必要的目标物排除在外，避免了无关数据对特定车辆功能场景的评估结果的干扰，使得目标检测器的目标检测性能的评估结果更加客观。

附图说明

为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种目标检测性能的评估方法的流程示意图；

图2为测试集目标物分类示意图；

图3为；数据集过滤示意图

图4为本申请实施例提供的一种目标检测性能的评估装置的示意性框图；

图5为本申请一实施例涉及的计算机设备的结构示意框图。

本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。

本申请实施例提供一种目标检测性能的评估方法、装置、设备及介质。其中，该目标检测性能的评估方法可应用于计算机设备中，该计算机设备可以是笔记本电脑、车载电脑等电子设备。

下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

请参照图1，图1为本申请的实施例提供的一种目标检测性能的评估方法的流程示意图。

如图1所示，该方法的整体思路包括步骤S101至步骤S103。

步骤S101、基于车辆的功能场景，根据测试集中目标物的空间信息和遮挡截断程度对所述测试集中的目标物进行过滤，以获得过滤后的测试集。

步骤S102、通过过滤后的测试集对设置于所述车辆上的目标检测器进行测试，获得目标检测结果。

步骤S103、根据所述目标检测结果对所述目标检测器的目标检测性能进行评估。

值得说明的是，本实施例中的目标检测性能评估方法可以用于视觉目标检测器，如摄像头等，但不限于视觉目标检测，还可用于毫米波雷达、激光雷达等目标检测传感器。

值得说明的是，在基于车辆的功能场景，根据测试集中目标物的空间信息和遮挡截断程度对所述测试集中的目标物进行过滤，以获得过滤后的测试集之前，还包括：生成所述测试集，所述测试集中包括多种目标物、各个目标物的空间信息和遮挡截断程度。

本实施例中，测试集中目标物的空间信息和遮挡截断程度是通过前期的数据采集和预设的真值系统采集获得的。真值系统是由毫米波雷达、激光雷达、高精组合惯导等车载传感器外加高效的数据记录设备组成的数据采集系统，可以通过对数据进行处理生成可靠性高于被测传感器的数据。

一些实施例中，如图2所示，测试集中目标物的种类包括大车、小车、新人以及骑行者等大类。每个大类中包括多个小类，如打车中包括：卡车、公交车以及特种车；小类中包括小车、运动型多功能车以及面包车；骑行车包括骑行车、摩托车以及三路车。

目标物的空间信息包括目标物的坐标、真值框(包围框)、与车辆的横向距离、纵向距离以及速度。

优选的，本申请中的目标物的遮挡截断程度为目标物的遮挡率和截断率。测试集应尽可能的包含所有人眼能够识别到的截断和遮挡的目标物，并标注其截断和遮挡的百分比。

进一步的，根据目标物的空间信息和遮挡截断程度对所述测试集中的目标物进行过滤，以获得过滤后的测试集，包括:基于所述车辆的功能场景设置目标物的横向距离范围、纵向距离范围、遮挡率阈值和截断率阈值；将所述测试集中横向距离大于所述横向距离范围，纵向距离大于所述纵向距离范围、遮挡率大于所述遮挡率阈值和/或截断率大于所述截断率阈值的目标物进行过滤，以获得过滤后的测试集。

值得说明的是，可以根据车辆在对应的功能场景下的测试目标需求，设置对应的测试集过滤条件，以对测试集进行过滤，实现为车辆的各个功能场景定制测试集。

示范性的，以车辆在换道场景中环视摄像头的目标检测性能评估为例，我们只需要关注临车道近距离的目标物，需要对测试集中远距离的目标物进行过滤。可以通过测试集中目标物的横向距离信息和纵向距离信息过滤范围外的目标物。比如，当只专注纵向距离0-100m，横向距离0-10m的目标物，那么这个距离范围外的目标物都应该从测试集中过滤掉，另外根据算法设定的遮挡率和截断率上限阈值，过滤测试集中超过上限阈值的目标物。

以左侧后视摄像头和右侧前视摄像头为例，阐述纵向距离、横向距离、遮挡率和截断率对单个传感器的评估影响。本实施例中设置纵向距离范围为-100米至50米，横向距离范围为-10米至10米，遮挡率和截断率阈值均为70％，其中距离为从自车中心轴中点到目标车中心点，其纵向距离的正负是以车头的方向为正，车尾的方向为负，横向距离以左右划分正负。

如图3所示，在过滤右侧前视摄像头的测试集时：

测试集中目标车1横纵向距离均在预设的距离范围，有截断但截断率在70％以内，无遮挡，应包含在侧前的测试集内；

目标车2横纵向距离均在预设的距离范围内，无截断和遮挡，应包含在侧前的测试集内；

目标车3纵向距离在预设的距离范围内，但是横向距离在预设的距离范围外，不应包含在侧前的测试集内，需要将其过滤掉；

目标车4横纵向距离在预设的距离范围内，无遮挡，有截断且截断率在70％以上，不应包含在侧前的测试集内，需要将其过滤掉。

在过滤左侧前视摄像头的测试集时：

目标车5横纵向距离在预设的距离范围内，无遮挡，有截断且截断率在70％以上，不应包含在侧后的测试集内，需要将其过滤掉；

目标车6横向距离在预设的距离范围内，但是纵向距离在预设的距离范围外，不应包含在侧后的测试机内，需要将其过滤掉；

目标车7横纵向距离均在预设的距离范围内，无截断，有遮挡且遮挡率在70％以上，不应包含在侧后的测试集内，需要将其过滤掉；

目标车8横纵向距离在预设的距离范围内，无遮挡，有截断但截断率在70％以内，应包含在侧后的测试集内；

目标车9横纵向距离在预设的距离范围内，无遮挡和截断，应包含在侧后的测试集内。

需要理解的是，上述实施例描述了车辆上侧前右方，侧后左方环视摄像头的测试集的过滤方法，其他方位的摄像头如侧前左方、侧后右方、前向、后向等都满足上述过滤方法。

上述只对视觉目标检测器进行举例，但该方法不止局限于视觉目标检测器，其他控制器如毫米波雷达、激光雷达等也满足上述方法。

过滤方法中提到的纵向距离范围、横向距离范围、截断率、遮挡率的阈值不是固定不变的，可以根据车辆实际的功能场景以及评估条件进行调整。

遮挡率和截断率均指传感器未识别到的目标物部分占实际目标物整体的比例，比例越大目标物的不可见性越大，算法识别的困难性越大，对于比例的判断依据与训练集标注的规则而定，遮挡率和截断率的阈值可以不相同，依据实际评判标准而定。

进一步的，基于上述得到的过滤后的测试集对目标检测器进行测试，得到目标检测结果。在根据目标检测结果进行目标检测性能进行评估时我们以视觉感知目标检测为例，对于检测结果进行评估，确定在不同的置信度(Confidence)和交并比(IOU)下，检测的精准率(Precision)、召回率(Recall)、平均精度(AP)、平均精度的均值(mAP)。

精准率也叫查准率，其含义为在被所有预测为正的样本中实际为正样本的概率：

其中，TP(True Positive)为真正例，表示模型正确地将正样本分类为正样本的数量。FP(False Positive)为假正例，表示模型错误地将负样本分类为正样本的数量。FN(False Negative)为假反例，表示模型错误地将正样本分类为负样本数量。TN(TrueNegative)为真反例，表示模型正确地将负样本分类为负样本的数量。

召回率也叫查全率，其含义为在实际为正的样本中被预测为正样本的概率：

平均精度(Average Precision，AP)为精准率对于召回率的积分值；

AP＝∫₀ ¹p(r)dr

其中，p为精准率，r为召回率。

平均精度的均值(mean Average Precision,mAP)为不同类型的AP值的平均数；

Fbeta-Measure指标为精准率和召回率的调和值；

本实施例中，对于漏检和误检，更希望减少漏检率，则可以给出准确率和召回率的调和值F2-Measure，根据上述公式可以计算F2-Measure：

作为一种优选的实施方式，在计算出上述的各个指标之后，可以形成相关的图像和可视化数据形成完整的报告，报告按照算法发布的版本进行管理，并对各阶段的指标进行比较，分析算法版本迭代对性能的影响。

值得说明的是，上述计算结果可以用于得到环视相机在不同版本迭代中不同类别间的漏检率和总体误检率的对比情况。还可以用于计算得到环视侧后识别过程中的断帧持续时长分布情况。

本申请提供一种目标检测性能的评估方法，其有益效果在于，本申请中根据车辆的功能场景对测试集进行过滤，可以将不必要的目标物排除在外，避免了无关数据对特定车辆功能场景的评估结果的干扰，使得目标检测器的目标检测性能的评估结果更加客观。并且本申请中结合真值系统通过距离来过滤目标物，代替用像素值确定距离的方法，结果更加可靠。

请参照图4，图4为本申请实施例提供的一种目标检测性能的评估装置的示意性框图。

如图4所示，该装置包括：

其中，该装置还用于：

其中，所述过滤模块还用于：

其中，所述测试集中目标物的空间信息和遮挡截断程度是通过预设的真值系统采集获得的。

其中，所述评估模块还用于：

其中，所述目标物的种类包括卡车、公交车、特种车、小车、运动型多功能车、面包车、自行车、摩托车、三轮车和/或行人。

其中，车辆的功能场景包括：换道场景、转弯场景、超车场景、加速场景或减速场景。

需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和各模块及单元的具体工作过程，可以参考前述实施例中的对应过程，在此不再赘述。

上述实施例提供的装置可以实现为一种计算机程序的形式，该计算机程序可以在如图5所示的计算机设备上运行。

请参阅图5，图5为本申请实施例提供的一种计算机设备的结构示意性框图。该计算机设备可以为笔记本电脑或车载电脑等。

如图5所示，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口，其中，存储器可以包括非易失性存储介质和内存储器。

非易失性存储介质可存储操作系统和计算机程序。该计算机程序包括程序指令，该程序指令被执行时，可使得处理器执行任意一种目标检测性能的评估方法。

处理器用于提供计算和控制能力，支撑整个计算机设备的运行。

内存储器为非易失性存储介质中的计算机程序的运行提供环境，该计算机程序被处理器执行时，可使得处理器执行任意一种目标检测性能的评估方法。

该网络接口用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

应当理解的是，处理器可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

其中，在一个实施例中，所述处理器用于运行存储在存储器中的计算机程序，以实现如下步骤：

在一个实施例中，所述处理器用于实现：

在一个实施例中，所述处理器实现时，用于实现：

在一个实施例中，所述测试集中目标物的空间信息和遮挡截断程度是通过预设的真值系统采集获得的。

在一个实施例中，所述处理器用于实现：在不同置信度和交并比下计算目标检测结果的精准率、召回率、平均精度和平均精度的均值。

在一个实施例中，所述目标物的种类包括卡车、公交车、特种车、小车、运动型多功能车、面包车、自行车、摩托车、三轮车和/或行人。

在一个实施例中，车辆的功能场景包括：换道场景、转弯场景、超车场景、加速场景或减速场景。

本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序中包括程序指令，所述程序指令被执行时所实现的方法可参照本申请的各个实施例。

其中，所述计算机可读存储介质可以是前述实施例所述的计算机设备的内部存储单元，例如所述计算机设备的硬盘或内存。所述计算机可读存储介质也可以是所述计算机设备的外部存储设备，例如所述计算机设备上配备的插接式硬盘，智能存储卡(SmartMedia Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims

1.一种目标检测性能的评估方法，其特征在于，包括：

2.根据权利要求1所述的目标检测性能的评估方法，其特征在于，在基于车辆的功能场景，根据测试集中目标物的空间信息和遮挡截断程度对所述测试集中的目标物进行过滤，以获得过滤后的测试集之前，还包括：

3.根据权利要求2所述的目标检测性能的评估方法，其特征在于，基于车辆的功能场景，根据目标物的空间信息和遮挡截断程度对所述测试集中的目标物进行过滤，以获得过滤后的测试集，包括:

4.根据权利要求1所述的目标检测性能的评估方法，其特征在于，所述测试集中目标物的空间信息和遮挡截断程度是通过预设的真值系统采集获得的。

5.根据权利要求1所述的目标检测性能的评估方法，其特征在于，根据所述目标检测结果对所述目标检测器的目标检测性能进行评估，包括：

6.根据权利要求1所述的目标检测性能的评估方法，其特征在于，所述目标物的种类包括卡车、公交车、特种车、小车、运动型多功能车、面包车、自行车、摩托车、三轮车和/或行人。

7.根据权利要求1所述的目标检测性能的评估方法，其特征在于，车辆的功能场景包括：换道场景、转弯场景、超车场景、加速场景或减速场景。

8.一种目标检测性能的评估装置，其特征在于，包括：

9.一种计算机设备，其特征在于，所述计算机设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中所述计算机程序被所述处理器执行时，实现如权利要求1至7中任一项所述的目标检测性能的评估方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，其中所述计算机程序被处理器执行时，实现如权利要求1至7中任一项所述的目标检测性能的评估方法的步骤。