CN117671634A - 视觉感知算法的测试方法、装置、设备和存储介质 - Google Patents

Abstract

本申请涉及一种视觉感知算法的测试方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：获取测试素材，测试素材中包括多张连续的图像帧；识别图像帧中的实际障碍物，对实际障碍物进行位置标注得到标注结果；通过待测试的视觉感知算法对测试素材进行处理，得到每张图像帧的回灌结果；回灌结果中包括预测障碍物的预测位置信息；针对任一图像帧，根据所针对的图像帧的标注结果与回灌结果，确定所针对的图像帧中的回灌结果的目标类型；根据连续的预设数量张图像帧的回灌结果的目标类型，得到报警判别结果，根据报警判别结果确定视觉感知算法的测试结果。采用本方法可以避免人工错误标注场景类型导致视觉感知算法的测试准确性低的问题。

Description

视觉感知算法的测试方法、装置、设备和存储介质

技术领域

本申请涉及智能驾驶技术领域，特别是涉及一种视觉感知算法的测试方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术

随着智能驾驶技术的不断发展，智能驾驶感知算法的质量保障越来越重要。智能驾驶感知算法测试一般为算法台架测试，其中，算法台架测试，指不借助于实车进行被测算法测试和验证。

目前，算法台架测试具体包括：实车采集所需要的测试素材；人工将测试素材标注为报警场景和非报警场景；待测试的驾驶感知算法部署在台架设备上，并将测试素材回灌至台架设备，台架设备输出相应的回灌结果；对比分析标注结果和回灌结果，得到测试素材的测试结果。

然而，人工分类测试素材存在较大的人为主观性，对于某些特定情况的场景，特别是对于一些临界情况的场景，人工无法准确的区分是否真正为报警场景，若场景分类错误，则会影响待测试的驾驶感知算法的测试准确性。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高待测试的驾驶感知算法的测试准确性的视觉感知算法的测试方法、装置、计算机设备、存储介质和计算机程序产品。

第一方面，本申请提供了一种视觉感知算法的测试方法。所述方法包括：

获取测试素材，所述测试素材中包括多张连续的图像帧；

识别图像帧中的实际障碍物，并对实际障碍物进行位置标注得到标注结果；

通过待测试的视觉感知算法对所述测试素材进行处理，得到每张图像帧的回灌结果；所述回灌结果中包括预测障碍物的预测位置信息；

针对任一图像帧，根据所针对的图像帧的标注结果与回灌结果，确定所针对的图像帧中的回灌结果的目标类型；

根据连续的预设数量张图像帧的回灌结果的目标类型，得到报警判别结果，并根据所述报警判别结果确定所述视觉感知算法的测试结果。

在其中一个实施例中，所述预测位置信息包括预测边界框，所述回灌结果还包括所述预测障碍物的预测身份标记，所述通过待测试的视觉感知算法对所述测试素材进行处理，得到每张图像帧的回灌结果，包括：

针对所述测试素材中的任一图像帧，通过待测试的视觉感知算法对所针对的图像帧进行处理，得到至少一个预测障碍物以及预测障碍物的预测边界框；

识别每个预测障碍物的预测身份标记，并将每个预测障碍物的预测边界框和预测身份标记对应存储。

在其中一个实施例中，所述针对任一图像帧，根据所针对的图像帧的标注结果与回灌结果，确定所针对的图像帧中的回灌结果的目标类型，包括：

针对任一图像帧，确定所针对的图像帧中不满足报警条件的标注结果和回灌结果；

剔除所针对图像帧中不满足报警条件的标注结果和回灌结果，得到满足报警条件的标注结果和回灌结果；

基于满足报警条件的标注结果和回灌结果，以及不满足报警条件的标注结果和回灌结果，确定所针对的图像帧中的回灌结果的目标类型。

在其中一个实施例中，所述确定所针对的图像帧中不满足报警条件的标注结果和回灌结果，包括：

确定所述视觉感知算法在所针对的图像帧中的工作区域；

将所针对的图像帧中与所述工作区域无交集的标注结果和回灌结果，作为不满足报警条件的标注结果和回灌结果；

将处于所述工作区域但不满足碰撞条件的标注结果和回灌结果，作为不满足报警条件的标注结果和回灌结果。

在其中一个实施例中，所述图像帧还包括目标车辆，所述方法还包括：

基于图像帧中处于所述工作区域内的标注结果，确定处于所述工作区域内的实际障碍物与所述目标车辆发生碰撞所需的第一预测时长；

将所述第一预测时长大于预设碰撞时长的实际障碍物所对应的标注结果，确定为处于所述工作区域但不满足碰撞条件的标记结果；

基于图像帧中处于所述工作区域内的回灌结果，确定处于所述工作区域内的预测障碍物与所述目标车辆发生碰撞所需的第二预测时长；

将所述第二预测时长大于预设碰撞时长的预测障碍物所对应的回灌结果，确定为处于所述工作区域但不满足碰撞条件的回灌结果。

在其中一个实施例中，所述基于满足报警条件的标注结果和回灌结果，以及不满足报警条件的标注结果和回灌结果，确定所针对的图像帧中的回灌结果的目标类型，包括：

计算满足报警条件的标注结果与满足报警条件的回灌结果间的匹配度；

在满足报警条件的回灌结果中，将匹配度大于或等于预设匹配度的第一回灌结果，归类为第一类型；

在满足报警条件的回灌结果中，将匹配度小于所述预设匹配度的第二回灌结果，归类为第二类型；

在不满足报警条件的回灌结果中，若存在第三回灌结果与任一满足报警条件的标注结果间的匹配度大于或等于所述预设匹配度，则将所述第三回灌结果，归类为第三类型。

在其中一个实施例中，所述回灌结果还包括预测障碍物的预测身份标记，所述根据连续的预设数量张图像帧的回灌结果的目标类型，得到报警判别结果，包括：

若连续的预设数量张图像帧中具有相同预测身份标记的回灌结果被归类为第一类型，则确定连续的预设数量张图像帧中被归类为第一类型的回灌结果为正确报警结果；

若连续的预设数量张图像帧中具有相同预测身份标记的回灌结果被归类为第二类型，则确定连续的预设数量张图像帧中被归类为第二类型的回灌结果为误报警结果；

若连续的预设数量张图像帧中具有相同预测身份标记的回灌结果被归类为第三类型，则确定连续的预设数量张图像帧中被归类为第三类型的回灌结果为漏报警结果。

在其中一个实施例中，所述根据所述报警判别结果确定所述视觉感知算法的测试结果，包括：

统计所述报警判别结果中被确定为正确报警结果、误报警结果和漏报警结果的数量；

基于正确报警结果、误报警结果和漏报警结果的数量，确定所述视觉感知算法的测试结果。

第二方面，本申请还提供了一种视觉感知算法的测试装置。所述装置包括：

获取模块，用于获取测试素材，所述测试素材中包括多张连续的图像帧；

标注模块，用于识别图像帧中的实际障碍物，并对实际障碍物进行位置标注得到标注结果；

回灌模块，用于通过待测试的视觉感知算法对所述测试素材进行处理，得到每张图像帧的回灌结果；所述回灌结果中包括预测障碍物的预测位置信息；

分类模块，用于针对任一图像帧，根据所针对的图像帧的标注结果与回灌结果，确定所针对的图像帧中的回灌结果的目标类型；

测试模块，用于根据连续的预设数量张图像帧的回灌结果的目标类型，得到报警判别结果，并根据所述报警判别结果确定所述视觉感知算法的测试结果。

第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述视觉感知算法的测试方法的步骤。

第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述视觉感知算法的测试方法的步骤。

第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述视觉感知算法的测试方法的步骤。

上述视觉感知算法的测试方法、装置、计算机设备、存储介质和计算机程序产品，识别测试素材中图像帧中的实际障碍物，并对实际障碍物进行位置标注得到标注结果，在此过程中对每张图像帧中每个实际障碍物进行分类，无需对测试素材中每张图像帧的场景类型进行分类，可以避免人工错误标注场景类型导致视觉感知算法的测试准确性低的问题。在此基础上，将待测试的视觉感知算法部署在计算机设备，并通过待测试的视觉感知算法对测试素材进行处理，得到每张图像帧的回灌结果，其中，回灌结果中包括预测障碍物的预测位置信息，而不是对测试素材中图像帧的场景类型进行分类，可以避免由于人工对场景类型分类不准确而导致视觉感知算法对场景类型分类错误的场景。为实现基于图像帧中实际障碍物的标注结果对视觉感知算法进行测试，进一步，针对任一图像帧，根据所针对的图像帧的标注结果与回灌结果，确定所针对的图像帧中的回灌结果的目标类型，根据连续的预设数量张图像帧的回灌结果的目标类型，得到报警判别结果，并根据报警判别结果确定视觉感知算法的测试结果。上述过程中，可以确定回灌结果的报警判别结果，该报警判别结果反映了回灌结果的准确性，通过报警判别结果，确定视觉感知算法的测试结果，可以提高视觉感知算法的测试精度。

附图说明

图1为一个实施例中传统方式的流程图；

图2为另一个实施例中传统方式的流程图；

图3为一个实施例中视觉感知算法的测试方法的应用环境图；

图4为一个实施例中视觉感知算法的测试方法的流程示意图；

图5为一个实施例中视觉感知算法的测试方法的框架示意图；

图6为一个实施例中视觉感知算法的工作区域的区域定义示意图；

图7为一个实施例中视觉感知算法的工作区域示意图；

图8为一个实施例中视觉感知算法的测试装置的结构框图；

图9为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

随着智能驾驶技术的不断发展，智能驾驶感知算法的质量保障越来越重要。在将智能驾驶感知算法投入使用之前，通常会对其进行测试。传统方式中通常采用台架测试方式。图1为一个实施例中传统方式的流程图，如图1所示，传统方式具体包括：步骤101，确定好需要采集的测试素材场景，例如晴天高架场景，安排采集车辆上路实车采集所需要的测试素材；采集素材时，尽量采集到能触发报警的场景。步骤102，人工对采集好的素材进行分类，即将能触发报警的场景和不能触发报警的场景分开；此步骤相对主观，需要有经验的人来区分。步骤103，将待测试算法部署在台架设备上，部署完成后，将分类好的素材回灌至台架设备，待测试算法输出相应的回灌结果。步骤104，得到预测结果后，将每一个分类好的素材和回灌结果进行对比，得到每一个素材单独的测试结果。步骤105，汇总每一个素材单独的测试结果，得到该批素材整体的测试结果。

而这种方式存在以下缺点：传统方式存在素材分类错误会导致测试结果不准的问题。由于能不能出发报警，更多的是由人主观来判断的，虽然可以通过寻找经验丰富的人来做场景区分，但对于某些特定情况的场景，特别是对于一些临界情况的场景，即使由权威专家也不一定能准确的区分是否真正为应该报警的场景，场景分类错误会导致测试结果的错误。例如，一个场景确实为报警场景，但人工把它分类成了非报警场景，此时台架回灌结果为报警场景。此场景的测试结果本来应该时正确的，但由于人工分类错误，结果就变成误报了。

此外，传统方式中还通常采用实车测试方式，图2为另一个实施例中传统方式的流程图，参照图2可知，另一个传统方式具体包括：步骤201，按照视觉感知算法的功能定义，设计好实车测试用例。例如，视觉感知算法为盲区监测算法（BSD），在设计测试用例时，根据BSD算法的功能定义，设计需要触发BSD报警场景，以及不能触发BSD报警场景。步骤202，将待测试算法部署至实车。步骤203，由于测试需要在专门的试验场进行测试，需要提前联系好测试场地。步骤204，车辆进入实验场地，按照测试用例逐条进行实车测试。步骤205，所有测试用例执行完毕后，汇总得到本次实车测试的结果。

这种方式存在以下问题：1）成本昂贵。实车测试涉及到的费用是非常多的，例如场地费用，司机费用，试验场地租用费用，进行一次实车测试成本巨大。2）耗时多。实车测试从准备到最终出局测试报告，动辄需要几天甚至十几天，相对于台架测试而言，时间成本巨大。3）能覆盖到的场景有限。由于实车测试执行一条测试用例的时间较长，故在设计测试用例时，一般只会对重点功能进行测试设计，并不能进行大规模场景测试。

有鉴于此，本申请提出了一种视觉感知算法的测试方法，将待测试的视觉感知算法部署在计算机设备，并对测试素材中图像帧中的实际障碍物进行位置标注得到标注结果，通过待测试的视觉感知算法对测试素材进行处理，得到每张图像帧的回灌结果，对比分析每张图像帧的标注结果和回灌结果，得到视觉感知算法的测试结果。在此过程中，将待测试的视觉感知算法部署在计算机设备中，可以解决实车测试方式中成本高以及测试周期长的问题，大大减少了时间和人力成本，缩短算法测试的时间。另外，本申请对每张图像帧中每个实际障碍物进行分类，无需对测试素材中每张图像帧的场景类型进行分类，可以避免台架测试方式中人工错误标注场景类型导致视觉感知算法的测试准确性低的问题，并可出具较为客观的测试报告。

下面再对本申请的视觉感知算法的测试方法进行详细说明：

本申请实施例提供的视觉感知算法的测试方法，可以应用于如图3所示的应用环境中。其中，终端302通过网络与服务器304进行通信。数据存储系统可以存储服务器304需要处理的数据。数据存储系统可以集成在服务器304上，也可以放在云上或其他服务器上。终端302获取测试素材，测试素材中包括多张连续的图像帧；终端302识别图像帧中的实际障碍物，并对实际障碍物进行位置标注得到标注结果；终端302通过待测试的视觉感知算法对测试素材进行处理，得到每张图像帧的回灌结果；回灌结果中包括预测障碍物的预测位置信息；终端302针对任一图像帧，根据所针对的图像帧的标注结果与回灌结果，确定所针对的图像帧中的回灌结果的目标类型；终端302根据连续的预设数量张图像帧的回灌结果的目标类型，得到报警判别结果，并根据报警判别结果确定视觉感知算法的测试结果。

在其它实施例中，也可以是终端302将测试素材传输至服务器304，服务器304执行上述步骤，得到视觉感知算法的测试结果。

其中，终端302可以但不限于是各种台式计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器304可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图4所示，提供了一种视觉感知算法的测试方法，以该方法应用于计算机设备（该计算机设备可以是图3中的终端或服务器）为例进行说明，包括以下步骤：

步骤402，获取测试素材，测试素材中包括多张连续的图像帧。

其中，测试素材是通过实车采集得到的。在采集测试素材时，无需特别设计测试素材场景，任意采集测试素材即可。可选的，可以使用历史采集的视频片段作为测试素材，节省素材采集成本。

图像帧，包括目标车辆以及多个实际障碍物。其中，目标车辆指驾驶员本人正在驾驶的车辆，实际障碍物指建筑物、树木、车辆等。

具体地，计算机设备通过目标车辆上摄像头采集测试素材。或者计算机设备从素材库中选取历史采集的视频片段作为测试素材。

步骤404，识别图像帧中的实际障碍物，并对实际障碍物进行位置标注得到标注结果。

其中，标注结果用于标注测试素材中实际障碍物的位置真值。例如，标注结果包括实际障碍物的实际位置信息、实际障碍物的实际身份标记、实际障碍物的尺寸、实际障碍物相对目标车辆的速度等等参数。其中，实际位置信息可以是实际障碍物相对目标车辆的距离参数。例如，实际障碍物的实际位置信息包括实际障碍物相对目标车辆的相对横向距离和相对纵向距离。在测试素材中不同图像帧中同一实际障碍物的实际身份标记是相同，不同实际障碍物的实际身份标记不同。

每一帧中每个实际障碍物对应有一个标注结果，将同一帧中所有实际障碍物的标注结果作为真值文件。测试素材的真值文件数量和测试素材中图像帧的帧数成正比，若干真值文件形成该测试素材的真值文件集合。

具体地，计算机设备逐帧识别并标注实际障碍物的实际边界框；计算机设备根据实际边界框的位置信息，对实际障碍物进行位置标注得到标注结果。

例如；图5为一个实施例中视觉感知算法的测试方法的框架示意图，参照图5可知，通过人工逐帧标注实际障碍物的实际边界框和实际障碍物的速度，或者计算机设备通过标注系统逐帧识别并标注实际障碍物的实际边界框和实际障碍物的速度；计算机设备根据实际边界框识别图像帧中实际障碍物，并标注实际障碍物的实际身份标记，计算机设备通过实际边界框的大小，确定实际障碍物的大小；计算机设备根据实际边界框的像素点距离目标车辆的像素点的距离，确定的实际障碍物的相对距离；计算机设备根据图像帧中实际障碍物的实际边界框、实际障碍物的尺寸、实际障碍物相对目标车辆的速度等参数，生成标注结果。

步骤406，通过待测试的视觉感知算法对测试素材进行处理，得到每张图像帧的回灌结果；回灌结果中包括预测障碍物的预测位置信息。

其中，视觉感知算法指智能驾驶感知算法中任一中感知算法，例如，盲区监测算法（BSD）、变道辅助算法（LCA）、自动泊车算法等等。待测试的视觉感知算法部署在计算机设备上，该计算机设备具体可以是台架设备，计算机设备作为视觉感知算法的执行装置，其输入测试素材，输出该测试素材经过待测试的视觉感知算法处理后的回灌结果。本申请实施例，将待测试的视觉感知算法部署在计算机设备，通过待测试的视觉感知算法对测试素材进行处理，得到每张图像帧的回灌结果，对比分析每张图像帧的标注结果和回灌结果，得到视觉感知算法的测试结果。在此过程中，不需要为每一次测试付出大量的成本，主要的成本为前期素材库建设成本、台架软硬件成本和少量的人力成本，并且获取的测试素材以及每张图像帧的标注结果为一次投入，便可用于后续不同类型的视觉感知算法的测试，而另一个传统方式中对于不同类型的视觉感知算法的测试需要实车上路验证测试，本申请实施例可以解决实车测试成本昂贵的问题。另外，本申请实施例中视觉感知算法的测试方法应用在计算机设备上，执行一次测试需要的时间不会超过一天，且可通过提升计算机设备硬件资源，来缩短算法执行时间，从而缩短测试周期，解决实车测试时间周期长的问题。

回灌结果，用于标注测试素材中预测障碍物的预测位置信息。例如，回灌结果包括预测障碍物的预测位置信息以及预测障碍物的预测身份标记等等，其中，预测位置信息包括预测障碍物的相对位置参数、绝对位置参数、预测障碍物的预测边界框、预测障碍物的尺寸、预测障碍物相对目标车辆的速度等等参数。其中，预测障碍物的相对位置参数指预测障碍物相对目标车辆的距离参数。例如，预测障碍物的相对位置参数包括预测障碍物相对目标车辆的相对横向距离和相对纵向距离。在测试素材中不同图像帧中同一预测障碍物的预测身份标记是相同，不同预测障碍物的预测身份标记不同。

每一帧中每个预测障碍物对应有一个回灌结果，并且预测障碍物的预测身份标记是由待测试的视觉感知算法重新生成的，与实际身份标记之间并未关联。

具体地，如图5所示，计算机设备通过部署好的待测试的视觉感知算法对测试素材进行处理，得到每张图像帧的回灌结果。例如，计算机设备通过待测试的视觉感知算法对测试素材中图像帧中实际障碍物进行预测，得到预测障碍物，并根据预测障碍物的像素数据，确定预测障碍物的预测尺寸、预测障碍物的相对位置参数，计算机设备根据预测障碍物的预测尺寸和相对位置参数生成预测边界框，计算机设备为每个预测障碍物分配一个预测身份标识。

步骤408，针对任一图像帧，根据所针对的图像帧的标注结果与回灌结果，确定所针对的图像帧中的回灌结果的目标类型。

其中，目标类型，指回灌结果中对报警对象的预测类型。例如，目标类型包括：预测为报警对象的回灌结果与实际为报警对象的标注结果相匹配的类型、预测为非报警对象的回灌结果与实际为非报警对象的标注结果相匹配的类型、预测为报警对象的回灌结果与实际为非报警对象的标注结果不匹配的类型以及预测为非报警对象的回灌结果与实际为报警对象的标注结果不匹配的类型。

具体地，针对任一图像帧，计算机设备根据所针对的图像帧的标注结果与回灌结果之间的匹配度，确定所针对的图像帧中的回灌结果的目标类型。

步骤410，根据连续的预设数量张图像帧的回灌结果的目标类型，得到报警判别结果，并根据报警判别结果确定视觉感知算法的测试结果。

其中，报警判别结果指视觉感知算法基于回灌结果判定预测障碍物存在碰撞的风险，并进行报警时，对报警类型的判别结果。报警判别结果包括正确报警结果、误报警结果和漏报警结果。

本实施例中，得到每一图像帧中回灌结果的目标类型以后，为保证视觉感知算法的识别精度，通过连续的预设数量张图像帧中具有相同预测身份标记的预测障碍物，均符合报警条件时，视觉感知算法才对该预测障碍物进行报警。换言之，根据连续的预设数量张图像帧的回灌结果的目标类型，确定回灌结果的报警判别结果，而不是根据一张图像帧的回灌结果的目标类型直接确定回灌结果的报警判别结果，可以保证视觉感知算法的识别精度。

测试结果，表征视觉感知算法的报警精度，以及测试素材中报警类型的分布情况，测试结果可精准反应每个实际障碍物的预测结果是否正确。

例如，测试结果中包括视觉感知算法正确报警、误报警和漏报警的实际障碍物。

具体地，计算机设备对连续的预设数量张图像帧的回灌结果的目标类型进行分析，根据分析结果进行预测报警，对报警类型进行判别，得到视觉感知算法的报警判别结果，根据测试素材中报警判别结果的统计情况，确定视觉感知算法的测试结果。

上述视觉感知算法的测试方法中，识别测试素材中图像帧中的实际障碍物，并对实际障碍物进行位置标注得到标注结果，在此过程中对每张图像帧中每个实际障碍物进行分类，无需对测试素材中每张图像帧的场景类型进行分类，可以避免人工错误标注场景类型导致视觉感知算法的测试准确性低的问题。在此基础上，将待测试的视觉感知算法部署在计算机设备，并通过待测试的视觉感知算法对测试素材进行处理，得到每张图像帧的回灌结果，其中，回灌结果中包括预测障碍物的预测位置信息，而不是对测试素材中图像帧的场景类型进行分类，可以避免由于人工对场景类型分类不准确而导致视觉感知算法对场景类型分类错误的场景。为实现基于图像帧中实际障碍物的标注结果对视觉感知算法进行测试，进一步，针对任一图像帧，根据所针对的图像帧的标注结果与回灌结果，确定所针对的图像帧中的回灌结果的目标类型，根据连续的预设数量张图像帧的回灌结果的目标类型，得到报警判别结果，并根据报警判别结果确定视觉感知算法的测试结果。上述过程中，可以确定回灌结果的报警判别结果，该报警判别结果反映了回灌结果的准确性，通过报警判别结果，确定视觉感知算法的测试结果，可以提高视觉感知算法的测试精度。

在一个实施例中，通过待测试的视觉感知算法对测试素材进行处理，得到每张图像帧的回灌结果，包括：

针对测试素材中的任一图像帧，通过待测试的视觉感知算法对所针对的图像帧进行处理，得到至少一个预测障碍物以及预测障碍物的预测边界框；识别每个预测障碍物的预测身份标记，并将每个预测障碍物的预测边界框和预测身份标记对应存储。

具体地，计算机设备通过待测试的视觉感知算法对测试素材中图像帧中实际障碍物进行预测，得到至少一个预测障碍物，针对每个预测障碍物，根据所针对的预测障碍物的像素数据，确定所针对的预测障碍物的预测尺寸、所针对的预测障碍物的相对位置参数，计算机设备根据所针对的预测障碍物的预测尺寸和相对位置参数生成预测边界框，计算机设备识别所针对的预测障碍物的预测身份标识，并将所针对的预测障碍物的预测边界框和预测身份标记对应存储。

本实施例中，针对测试素材中的任一图像帧，通过待测试的视觉感知算法对所针对的图像帧进行处理，得到至少一个预测障碍物、预测障碍物的预测边界框和预测身份标记，为后续根据所针对的图像帧的标注结果与回灌结果，确定所针对的图像帧中的回灌结果的目标类型提供数据基础。

在一个实施例中，针对任一图像帧，根据所针对的图像帧的标注结果与回灌结果，确定所针对的图像帧中的回灌结果的目标类型，包括：

一、针对任一图像帧，确定所针对的图像帧中不满足报警条件的标注结果和回灌结果。

其中，报警条件指是否存在与图像帧中目标车辆发生碰撞的风险，若有，则认为满足报警条件，若没有，则认为不满足报警条件。

具体地，针对任一图像帧，计算机设备根据所针对的图像帧中实际障碍物的标注结果，确定实际障碍物是否存在与目标车辆发生碰撞的风险，若不存在，则计算机设备确定该实际障碍物所对应的标注结果不满足报警条件，若存在，则计算机设备确定该实际障碍物所对应的标注结果满足报警条件。针对任一图像帧，计算机设备根据所针对的图像帧中预测障碍物的回灌结果，确定预测障碍物是否存在与目标车辆发生碰撞的风险，若不存在，则计算机设备确定该预测障碍物所对应的回灌结果不满足报警条件，若存在，则计算机设备确定该预测障碍物所对应的回灌结果满足报警条件。

在一些实施例中，可以根据实际障碍物与目标车辆之间的距离，确定实际障碍物所对应的标注结果是否满足报警条件，以及可以根据预测障碍物与目标车辆之间的距离，确定预测障碍物所对应的回灌结果是否满足报警条件。

在一些实施例中，可以根据实际障碍物所对应的相对速度，确定实际障碍物所对应的标注结果是否满足报警条件，以及可以根据预测障碍物所对应的相对速度，确定预测障碍物所对应的回灌结果是否满足报警条件。

二、剔除所针对图像帧中不满足报警条件的标注结果和回灌结果，得到满足报警条件的标注结果和回灌结果。

三、基于满足报警条件的标注结果和回灌结果，以及不满足报警条件的标注结果和回灌结果，确定所针对的图像帧中的回灌结果的目标类型。

其中，满足报警条件的标注结果中所标注的实际障碍物都是实际引起报警的目标，满足报警条件的回灌结果中所标注的预测障碍物都是视觉感知算法预测需要报警的目标。因此，对比分析满足报警条件的标注结果和回灌结果，可以得到回灌结果的目标类型。例如，若标注结果与回灌结果匹配，则对应的目标类型为：预测为报警对象的回灌结果与实际为报警对象的标注结果相匹配的类型；若标注结果与回灌结果不匹配，则对应的目标类型为：预测为报警对象的回灌结果与实际为非报警对象的标注结果不匹配的类型，或者，预测为非报警对象的回灌结果与实际为报警对象的标注结果不匹配的类型。

具体地，计算机设备基于满足报警条件的标注结果和回灌结果之间的匹配度，确定预测正确的回灌结果以及预测不正确的回灌结果，计算机设备基于不满足标注结果和回灌结果，确定预测正确的回灌结果以及预测不正确的回灌结果。

本实施例中，针对任一图像帧，剔除所针对图像帧中不满足报警条件的标注结果和回灌结果，得到满足报警条件的标注结果和回灌结果，其中，满足报警条件的标注结果中所标注的实际障碍物都是实际引起报警的目标，满足报警条件的回灌结果中所标注的预测障碍物都是视觉感知算法预测需要报警的目标，进一步基于满足报警条件的标注结果和回灌结果，以及不满足报警条件的标注结果和回灌结果，确定所针对的图像帧中的回灌结果的目标类型，可以根据标注结果中实际引起报警的目标与回灌结果中预测引起报警的目标，确定回灌结果的目标类型，从而验证回灌结果的准确度。

在一个实施例中，确定所针对的图像帧中不满足报警条件的标注结果和回灌结果，包括：

确定视觉感知算法在所针对的图像帧中的工作区域；将所针对的图像帧中与工作区域无交集的标注结果和回灌结果，作为不满足报警条件的标注结果和回灌结果；将处于工作区域但不满足碰撞条件的标注结果和回灌结果，作为不满足报警条件的标注结果和回灌结果。

其中，不同类型的视觉感知算法在图像帧中的工作区域不同，针对不同类型的视觉感知算法，将不处于工作区域或处于工作区域但是不满足碰撞条件的标注结果和回灌结果作为不满足报警条件的标注结果和回灌结果。

在一些实施例中，图6为一个实施例中视觉感知算法的工作区域的区域定义示意图，参考图6，视觉感知算法为盲区监测算法（BSD），则对应的工作区域如图6所示。其中，N-N是车辆后保险杠位置；B-B是车辆后保险杆的平行线，B-N的距离是3m；C-C是眼椭圆中心，C-N距离为2.5m；E-E为车辆左侧轮廓线，J-J为车辆右侧轮廓线；F-F为左侧区域的右边界，E-F距离为0.5m，K-K为左侧区域的右边界，J-K距离为0.5m；A-A为感知范围最远点，N-A距离为70m，G-F和K-L的距离为2.5m；BSD工作区域为C-C、G-G、F-F、A-A和K-K、L-L、C-C、A-A围成的范围。

本实施例根据标注结果内实际边界框与工作区域是否有交集判断该标注结果是否处于工作区域内，若实际边界框与工作区域有交集，则判定该标注结果处于工作区域内，反之，则标注结果未处于工作区域内。本实施例根据回灌结果内预测边界框与工作区域是否有交集判断该回灌结果是否处于工作区域内，若预测边界框与工作区域有交集，则判定该回灌结果处于工作区域内，反之，则回灌结果未处于工作区域内。

碰撞条件，指与图像帧中目标车辆之间发生碰撞的条件。例如，处于工作区域内的实际障碍物与目标车辆的距离过小时，判定存在碰撞风险，该实际障碍物所在的标注结果满足碰撞条件。例如，处于工作区域内的实际障碍物相对目标车辆的速度大于预设速度时，判定存在碰撞风险，该实际障碍物所在的标注结果满足碰撞条件。例如，处于工作区域内的实际障碍物与目标车辆发生碰撞所需的时长大于预设时长时，判定存在碰撞风险，该实际障碍物所在的标注结果满足碰撞条件。

具体地，计算机设备确定视觉感知算法在所针对的图像帧中的工作区域，将所针对的图像帧中与工作区域无交集，或者处于工作区域但不满足碰撞条件的标注结果和回灌结果，作为不满足报警条件的标注结果和回灌结果。

本实施例中，将所针对的图像帧中与工作区域无交集，或者处于工作区域但不满足碰撞条件的标注结果和回灌结果，作为不满足报警条件的标注结果和回灌结果，可以确定图像帧中存在与目标车辆发生碰撞风险的标注结果和回灌结果，并剔除不满足报警条件的标注结果和回灌结果，在确定回灌结果的目标类型时，可以降低计算量，并为后续确定回灌结果的目标类型提供比较对象。

在一个实施例中，视觉感知算法的测试方法还包括：

一、基于图像帧中处于工作区域内的标注结果，确定处于工作区域内的实际障碍物与目标车辆发生碰撞所需的第一预测时长。

具体地，计算机设备根据实际障碍物距离目标车辆后轴中心的距离，以及实际障碍物相对目标车辆的相对速度，确定处于工作区域内的实际障碍物与目标车辆发生碰撞所需的第一预测时长。具体如下：

TTC = （1）

式（1）中， 为实际障碍物的实际边界框距离目标车辆后轴中心的距离， 为 实际障碍物的实际边界框基于目标车辆的相对速度。

在一些实施例中，由于缺少速度标注装置和方法，因此，实际障碍物的速度标注比较困难。当标注结果没有实际障碍物的速度，或者回灌结果中没有预测障碍物的速度时，可以根据相邻图像帧中同一实际障碍物的实际位置信息，确定实际障碍物的速度，根据相邻图像帧中同一预测障碍物的预测位置信息，确定预测障碍物的速度。

以根据相邻图像帧中同一实际障碍物的实际位置信息，确定实际障碍物的速度为例，具体包括以下步骤：

1）逐帧获取每张图像帧中每个实际障碍物中心点相对于目标车辆后轴中心的距离。

例如，第一图像帧中实际身份标记为1的实际障碍物中心点相对于目标车辆后轴 中心的距离为，第二图像帧中实际身份标记为1的实际障碍物中心点相对于目标车辆后 轴中心的距离为，第n图像帧中实际身份标记为1的实际障碍物中心点相对于目标车辆后 轴中心的距离为。

2）根据当前图像帧与下一图像帧中具有相同实际身份标记的实际障碍物相对目标车辆后轴中心的距离，以及当前图像帧与下一图像帧的时间间隔，计算当前图像帧中实际障碍物相对目标车辆的速度。对应的计算公式如下：

（2）

式（2）中， 为当前图像帧与下一图像帧的时间间隔。

需要说明的是，若当前图像帧为测试素材的最后一帧时，由于不存在下一图像帧，因此，测试素材的最后一帧中具有相同实际身份标记的实际障碍物的速度与前一图像帧保持一致。

需要说明的是，若某个实际障碍物只出现在某一图像帧中，由于无法计算其速度，因此，可剔除该实际障碍物对应的标注结果。

本实施例中，根据当前图像帧与下一图像帧中具有相同实际身份标记的实际障碍物相对目标车辆后轴中心的距离，以及当前图像帧与下一图像帧的时间间隔，计算当前图像帧中实际障碍物相对目标车辆的速度，可以解决实际障碍物和预测障碍物的速度难以标注的问题。

二、将第一预测时长大于预设碰撞时长的实际障碍物所对应的标注结果，确定为处于工作区域但不满足碰撞条件的标记结果。

其中，预设碰撞时长可以根据实际应用自行设置。本实施例中将预设碰撞时长设置为3.5秒，将第一预设时长大于3.5秒的实际障碍物所对应的标注结果，确定为不满足碰撞条件的标记结果，并剔除该实际障碍物对应的标注结果。

三、基于图像帧中处于工作区域内的回灌结果，确定处于工作区域内的预测障碍物与目标车辆发生碰撞所需的第二预测时长。

具体地，计算机设备根据预测障碍物距离目标车辆后轴中心的距离，以及预测障碍物相对目标车辆的相对速度，确定处于工作区域内的预测障碍物与目标车辆发生碰撞所需的第二预测时长。

四、将第二预测时长大于预设碰撞时长的预测障碍物所对应的回灌结果，确定为处于工作区域但不满足碰撞条件的回灌结果。

在一些实施例中，将视觉感知算法的工作区域划分为第一区域和第二区域，其中，第一区域距离目标车辆的距离小于第二区域距离目标车辆的距离；对于第一区域，若实际边界框或者预测边界框与第一区域存在交集，则直接将第一区域内的实际边界框所对应的标注结果或者预测边界框所对应的回灌结果，作为满足满足报警条件的标注结果和回灌结果。对于第二区域，确定处于工作区域内的实际障碍物与目标车辆发生碰撞所需的第一预测时长，以及处于工作区域内的预测障碍物与目标车辆发生碰撞所需的第二预测时长，将第二区域内与目标车辆发生碰撞所需的第一预测时长大于预设碰撞时长的标注结果，以及第二区域内与目标车辆发生碰撞所需的第二预测时长大于预设碰撞时长的回灌结果，确定为处于工作区域但不满足碰撞条件的回灌结果。

例如，图7为一个实施例中视觉感知算法的工作区域示意图，参照图7，视觉感知算法为盲区监测算法（BSD），将盲区监测算法的工作区域划分为第一区域和第二区域，其中，第一区域为盲区监测区域（BSD Basic Zone），第二区域为变道辅助区域（LCA Zone），将直接将盲区监测区域内的实际边界框所对应的标注结果或者预测边界框所对应的回灌结果，作为满足满足报警条件的标注结果和回灌结果，将变道辅助区域内与目标车辆发生碰撞所需的第一预测时长大于预设碰撞时长的实际障碍物，以及与目标车辆发生碰撞所需的第二预测时长小于预设碰撞时长的预测障碍物，作为满足满足报警条件的标注结果和回灌结果。

本实施例中，确定处于工作区域内的实际障碍物与目标车辆发生碰撞所需的第一预测时长，以及处于工作区域内的预测障碍物与目标车辆发生碰撞所需的第二预测时长，将第一预测时长大于预设碰撞时长的实际障碍物所对应的标注结果，以及将第二预测时长大于预设碰撞时长的预测障碍物所对应的回灌结果，确定为处于工作区域但不满足碰撞条件的标注结果和回灌结果，可以根据实际障碍物与目标车辆发生碰撞所需的第一预测时长，以及预测障碍物与目标车辆发生碰撞所需的第二预测时长，精确地确定处于工作区域但不满足碰撞条件的标注结果和回灌结果。

在一个实施例中，基于满足报警条件的标注结果和回灌结果，以及不满足报警条件的标注结果和回灌结果，确定所针对的图像帧中的回灌结果的目标类型，包括：

一、计算满足报警条件的标注结果与满足报警条件的回灌结果间的匹配度。

其中，标注结果与回灌结果间的匹配度可以通过计算两者之间的相似度或准确度来衡量。例如，根据标注结果中实际边界框与回灌结果中预测边界框之间的交并比（IoU）确定标注结果与回灌结果间的匹配度。例如，通过计算回灌结果与标注结果相符的比例来确定匹配度。

具体地，计算机设备计算满足报警条件的每个标注结果与满足报警条件的每个回灌结果间的匹配度。

例如，针对满足报警条件的每个标注结果，计算机设备计算所针对的标注结果中实际边界框与满足报警条件的每个回灌结果中预测边界框间的匹配度。

二、在满足报警条件的回灌结果中，将匹配度大于或等于预设匹配度的第一回灌结果，归类为第一类型。

其中，若满足报警条件的标注结果中存在第一标注结果与第一回灌结果相匹配，则将第一回灌结果归类为第一类型。第一类型，表征实际为满足报警对象的标注结果，也被视觉感知算法预测为满足报警条件，即第一回灌结果为正确报警对象。

三、在满足报警条件的回灌结果中，将匹配度小于预设匹配度的第二回灌结果，归类为第二类型。

其中，若满足报警条件的标注结果中不存在标注结果与第二回灌结果相匹配，则将第二回灌结果归类为第二类型。第二类型，表征实际为不满足报警对象的标注结果，但是被视觉感知算法预测为满足报警条件，即第二回灌结果为误报警对象。

四、在不满足报警条件的回灌结果中，若存在第三回灌结果与任一满足报警条件的标注结果间的匹配度大于或等于预设匹配度，则将第三回灌结果，归类为第三类型。

其中，在不满足报警条件的回灌结果中，若存在满足报警条件的标注结果与第三回灌结果相匹配，则将第三回灌结果归类为第三类型。第三类型，表征实际为满足报警对象的标注结果，但是被视觉感知算法预测为不满足报警条件，即第三回灌结果为漏报警对象。

本实施例中，基于满足报警条件的标注结果和回灌结果之间的匹配度，以及不满足报警条件的标注结果和回灌结果之间的匹配度，确定所针对的图像帧中的回灌结果归类为第一类型、第二类型和第三类型，进而确定视觉感知算法的准确度。

在一个实施例中，当驾驶场景比较复杂时，传统方式只对驾驶场景进行了报警场景和非报警场景分类，无法区分具体是哪个实际障碍物造成了报警。比如目标车辆左侧较远处有一辆车在靠近，同时目标车辆左侧的左侧一辆车变道到目标车辆的左侧车道，此时会触发报警。但是，具体是目标车辆左侧较远处车触发的报警，还是目标车辆左侧的左侧车变道到自车的左侧车道触发的报警，传统方式无法得知的。但对于视觉感知算法的优化而言，能准确知道哪个实际障碍物造成了误报和漏报，是非常重要的。因此，为解决上述问题，本实施例中，根据连续的预设数量张图像帧的回灌结果的目标类型，得到报警判别结果，包括：

若连续的预设数量张图像帧中具有相同预测身份标记的回灌结果被归类为第一类型，则确定连续的预设数量张图像帧中被归类为第一类型的回灌结果为正确报警结果；若连续的预设数量张图像帧中具有相同预测身份标记的回灌结果被归类为第二类型，则确定连续的预设数量张图像帧中被归类为第二类型的回灌结果为误报警结果；若连续的预设数量张图像帧中具有相同预测身份标记的回灌结果被归类为第三类型，则确定连续的预设数量张图像帧中被归类为第三类型的回灌结果为漏报警结果。

其中，针对每一图像帧中回灌结果，由于每个回灌结果都对应有一个预测身份标记，因此，可以根据预测身份标记，确定相邻图像帧中预测障碍物是否为同一个预测障碍物。

本实施例中，若连续的预设数量张图像帧中具有相同预测身份标记的回灌结果被归类为第二类型，则确定连续的预设数量张图像帧中被归类为第二类型的回灌结果为误报警结果，并可以确定引起误报警结果的原因是第二类型的回灌结果所对应的实际障碍物；若连续的预设数量张图像帧中具有相同预测身份标记的回灌结果被归类为第三类型，则确定连续的预设数量张图像帧中被归类为第三类型的回灌结果为漏报警结果，并可以确定引起漏报警结果的原因是第三类型的回灌结果所对应的实际障碍物。上述过程，可以根据连续的预设数量张图像帧的回灌结果的目标类型，精确定位到引起误报警结果和漏报警结果的实际障碍物，为视觉感知算法的优化提供参考目标。

在一个实施例中，根据报警判别结果确定视觉感知算法的测试结果，包括：

统计报警判别结果中被确定为正确报警结果、误报警结果和漏报警结果的数量；基于正确报警结果、误报警结果和漏报警结果的数量，确定视觉感知算法的测试结果。

具体地，若回灌结果的报警判别结果为正确报警结果，则计算机设备在当前统计的正确报警结果数量加一；若回灌结果的报警判别结果为误报警结果，则计算机设备在当前统计的误报警结果数量加一；若回灌结果的报警判别结果为漏报警结果，则计算机设备在当前统计的漏报警结果数量加一；计算机设备汇总正确报警结果、误报警结果和漏报警结果的数量，即可确定视觉感知算法的测试结果。

本实施例中，通过统计报警判别结果中被确定为正确报警结果、误报警结果和漏报警结果的数量，基于正确报警结果、误报警结果和漏报警结果的数量，确定视觉感知算法的测试结果，该测试结果中可以精确反映视觉感知算法的预测精确度。

在一个详细的实施例中，视觉感知算法的测试方法包括以下步骤;

一、获取测试素材，测试素材中包括多张连续的图像帧。

二、识别图像帧中的实际障碍物，并对实际障碍物进行位置标注得到标注结果。

三、针对测试素材中的任一图像帧，通过待测试的视觉感知算法对所针对的图像帧进行处理，得到至少一个预测障碍物以及预测障碍物的预测边界框。

四、识别每个预测障碍物的预测身份标记，并将每个预测障碍物的预测边界框和预测身份标记对应存储，得到回灌结果；回灌结果中包括预测障碍物的预测边界框、预测障碍物的预测身份标记。

五、针对任一图像帧，确定视觉感知算法在所针对的图像帧中的工作区域。

六、将所针对的图像帧中与工作区域无交集的标注结果和回灌结果，作为不满足报警条件的标注结果和回灌结果。

七、基于图像帧中处于工作区域内的标注结果，确定处于工作区域内的实际障碍物与目标车辆发生碰撞所需的第一预测时长。

八、将第一预测时长大于预设碰撞时长的实际障碍物所对应的标注结果，确定为处于工作区域但不满足碰撞条件的标记结果。

九、基于图像帧中处于工作区域内的回灌结果，确定处于工作区域内的预测障碍物与目标车辆发生碰撞所需的第二预测时长。

十、将第二预测时长大于预设碰撞时长的预测障碍物所对应的回灌结果，确定为处于工作区域但不满足碰撞条件的回灌结果。

十一、将处于工作区域但不满足碰撞条件的标注结果和回灌结果，作为不满足报警条件的标注结果和回灌结果。

十二、剔除所针对图像帧中不满足报警条件的标注结果和回灌结果，得到满足报警条件的标注结果和回灌结果。

十三、计算满足报警条件的标注结果与满足报警条件的回灌结果间的匹配度。

十四、在满足报警条件的回灌结果中，将匹配度大于或等于预设匹配度的第一回灌结果，归类为第一类型。

十五、在满足报警条件的回灌结果中，将匹配度小于预设匹配度的第二回灌结果，归类为第二类型。

十六、在不满足报警条件的回灌结果中，若存在第三回灌结果与任一满足报警条件的标注结果间的匹配度大于或等于预设匹配度，则将第三回灌结果，归类为第三类型。

十七、若连续的预设数量张图像帧中具有相同预测身份标记的回灌结果被归类为第一类型，则确定连续的预设数量张图像帧中被归类为第一类型的回灌结果为正确报警结果，执行步骤二十。

十八、若连续的预设数量张图像帧中具有相同预测身份标记的回灌结果被归类为第二类型，则确定连续的预设数量张图像帧中被归类为第二类型的回灌结果为误报警结果，执行步骤二十。

十九、若连续的预设数量张图像帧中具有相同预测身份标记的回灌结果被归类为第三类型，则确定连续的预设数量张图像帧中被归类为第三类型的回灌结果为漏报警结果，执行步骤二十。

二十、统计报警判别结果中被确定为正确报警结果、误报警结果和漏报警结果的数量；

二十一、基于正确报警结果、误报警结果和漏报警结果的数量，确定视觉感知算法的测试结果。

本实施例中，识别测试素材中图像帧中的实际障碍物，并对实际障碍物进行位置标注得到标注结果，在此过程中对每张图像帧中每个实际障碍物进行分类，无需对测试素材中每张图像帧的场景类型进行分类，可以避免人工错误标注场景类型导致视觉感知算法的测试准确性低的问题；可以根据连续的预设数量张图像帧的回灌结果的目标类型，精确定位到引起误报警结果和漏报警结果的实际障碍物，为视觉感知算法的优化提供参考目标。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的视觉感知算法的测试方法的视觉感知算法的测试装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个视觉感知算法的测试装置实施例中的具体限定可以参见上文中对于视觉感知算法的测试方法的限定，在此不再赘述。

在一个实施例中，如图8所示，提供了一种视觉感知算法的测试装置，包括：

获取模块801，用于获取测试素材，测试素材中包括多张连续的图像帧；

标注模块802，用于识别图像帧中的实际障碍物，并对实际障碍物进行位置标注得到标注结果；

回灌模块803，用于通过待测试的视觉感知算法对测试素材进行处理，得到每张图像帧的回灌结果；回灌结果中包括预测障碍物的预测位置信息；

分类模块804，用于针对任一图像帧，根据所针对的图像帧的标注结果与回灌结果，确定所针对的图像帧中的回灌结果的目标类型；

测试模块805，用于根据连续的预设数量张图像帧的回灌结果的目标类型，得到报警判别结果，并根据报警判别结果确定视觉感知算法的测试结果。

在其中一个实施例中，预测位置信息包括预测边界框，回灌结果还包括预测障碍物的预测身份标记，回灌模块803，还用于针对测试素材中的任一图像帧，通过待测试的视觉感知算法对所针对的图像帧进行处理，得到至少一个预测障碍物以及预测障碍物的预测边界框；识别每个预测障碍物的预测身份标记，并将每个预测障碍物的预测边界框和预测身份标记对应存储。

在其中一个实施例中，分类模块804，还用于针对任一图像帧，确定所针对的图像帧中不满足报警条件的标注结果和回灌结果；剔除所针对图像帧中不满足报警条件的标注结果和回灌结果，得到满足报警条件的标注结果和回灌结果；基于满足报警条件的标注结果和回灌结果，以及不满足报警条件的标注结果和回灌结果，确定所针对的图像帧中的回灌结果的目标类型。

在其中一个实施例中，分类模块804，还用于确定视觉感知算法在所针对的图像帧中的工作区域；将所针对的图像帧中与工作区域无交集的标注结果和回灌结果，作为不满足报警条件的标注结果和回灌结果；将处于工作区域但不满足碰撞条件的标注结果和回灌结果，作为不满足报警条件的标注结果和回灌结果。

在其中一个实施例中，图像帧还包括目标车辆，分类模块804，还用于基于图像帧中处于工作区域内的标注结果，确定处于工作区域内的实际障碍物与目标车辆发生碰撞所需的第一预测时长；将第一预测时长大于预设碰撞时长的实际障碍物所对应的标注结果，确定为处于工作区域但不满足碰撞条件的标记结果；基于图像帧中处于工作区域内的回灌结果，确定处于工作区域内的预测障碍物与目标车辆发生碰撞所需的第二预测时长；将第二预测时长大于预设碰撞时长的预测障碍物所对应的回灌结果，确定为处于工作区域但不满足碰撞条件的回灌结果。

在其中一个实施例中，分类模块804，还用于计算满足报警条件的标注结果与满足报警条件的回灌结果间的匹配度；在满足报警条件的回灌结果中，将匹配度大于或等于预设匹配度的第一回灌结果，归类为第一类型；在满足报警条件的回灌结果中，将匹配度小于预设匹配度的第二回灌结果，归类为第二类型；在不满足报警条件的回灌结果中，若存在第三回灌结果与任一满足报警条件的标注结果间的匹配度大于或等于预设匹配度，则将第三回灌结果，归类为第三类型。

在其中一个实施例中，回灌结果还包括预测障碍物的预测身份标记，测试模块805，还用于若连续的预设数量张图像帧中具有相同预测身份标记的回灌结果被归类为第一类型，则确定连续的预设数量张图像帧中被归类为第一类型的回灌结果为正确报警结果；若连续的预设数量张图像帧中具有相同预测身份标记的回灌结果被归类为第二类型，则确定连续的预设数量张图像帧中被归类为第二类型的回灌结果为误报警结果；若连续的预设数量张图像帧中具有相同预测身份标记的回灌结果被归类为第三类型，则确定连续的预设数量张图像帧中被归类为第三类型的回灌结果为漏报警结果。

在其中一个实施例中，测试模块805，还用于统计报警判别结果中被确定为正确报警结果、误报警结果和漏报警结果的数量；基于正确报警结果、误报警结果和漏报警结果的数量，确定视觉感知算法的测试结果。

上述视觉感知算法的测试装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图9所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种视觉感知算法的测试方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置，显示屏可以是液晶显示屏或电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (12)

1.一种视觉感知算法的测试方法，其特征在于，所述方法包括：

获取测试素材，所述测试素材中包括多张连续的图像帧；

识别图像帧中的实际障碍物，并对实际障碍物进行位置标注得到标注结果；

通过待测试的视觉感知算法对所述测试素材进行处理，得到每张图像帧的回灌结果；所述回灌结果中包括预测障碍物的预测位置信息；

针对任一图像帧，根据所针对的图像帧的标注结果与回灌结果，确定所针对的图像帧中的回灌结果的目标类型；

根据连续的预设数量张图像帧的回灌结果的目标类型，得到报警判别结果，并根据所述报警判别结果确定所述视觉感知算法的测试结果。

2.根据权利要求1所述的方法，其特征在于，所述预测位置信息包括预测边界框，所述回灌结果还包括所述预测障碍物的预测身份标记，所述通过待测试的视觉感知算法对所述测试素材进行处理，得到每张图像帧的回灌结果，包括：

针对所述测试素材中的任一图像帧，通过待测试的视觉感知算法对所针对的图像帧进行处理，得到至少一个预测障碍物以及预测障碍物的预测边界框；

识别每个预测障碍物的预测身份标记，并将每个预测障碍物的预测边界框和预测身份标记对应存储。

3.根据权利要求1所述的方法，其特征在于，所述针对任一图像帧，根据所针对的图像帧的标注结果与回灌结果，确定所针对的图像帧中的回灌结果的目标类型，包括：

针对任一图像帧，确定所针对的图像帧中不满足报警条件的标注结果和回灌结果；

剔除所针对图像帧中不满足报警条件的标注结果和回灌结果，得到满足报警条件的标注结果和回灌结果；

基于满足报警条件的标注结果和回灌结果，以及不满足报警条件的标注结果和回灌结果，确定所针对的图像帧中的回灌结果的目标类型。

4.根据权利要求3所述的方法，其特征在于，所述确定所针对的图像帧中不满足报警条件的标注结果和回灌结果，包括：

确定所述视觉感知算法在所针对的图像帧中的工作区域；

将所针对的图像帧中与所述工作区域无交集的标注结果和回灌结果，作为不满足报警条件的标注结果和回灌结果；

将处于所述工作区域但不满足碰撞条件的标注结果和回灌结果，作为不满足报警条件的标注结果和回灌结果。

5.根据权利要求4所述的方法，其特征在于，所述图像帧还包括目标车辆，所述方法还包括：

基于图像帧中处于所述工作区域内的标注结果，确定处于所述工作区域内的实际障碍物与所述目标车辆发生碰撞所需的第一预测时长；

将所述第一预测时长大于预设碰撞时长的实际障碍物所对应的标注结果，确定为处于所述工作区域但不满足碰撞条件的标记结果；

基于图像帧中处于所述工作区域内的回灌结果，确定处于所述工作区域内的预测障碍物与所述目标车辆发生碰撞所需的第二预测时长；

将所述第二预测时长大于预设碰撞时长的预测障碍物所对应的回灌结果，确定为处于所述工作区域但不满足碰撞条件的回灌结果。

6.根据权利要求3所述的方法，其特征在于，所述基于满足报警条件的标注结果和回灌结果，以及不满足报警条件的标注结果和回灌结果，确定所针对的图像帧中的回灌结果的目标类型，包括：

计算满足报警条件的标注结果与满足报警条件的回灌结果间的匹配度；

在满足报警条件的回灌结果中，将匹配度大于或等于预设匹配度的第一回灌结果，归类为第一类型；

在满足报警条件的回灌结果中，将匹配度小于所述预设匹配度的第二回灌结果，归类为第二类型；

在不满足报警条件的回灌结果中，若存在第三回灌结果与任一满足报警条件的标注结果间的匹配度大于或等于所述预设匹配度，则将所述第三回灌结果，归类为第三类型。

7.根据权利要求6所述的方法，其特征在于，所述回灌结果还包括预测障碍物的预测身份标记，所述根据连续的预设数量张图像帧的回灌结果的目标类型，得到报警判别结果，包括：

若连续的预设数量张图像帧中具有相同预测身份标记的回灌结果被归类为第一类型，则确定连续的预设数量张图像帧中被归类为第一类型的回灌结果为正确报警结果；

若连续的预设数量张图像帧中具有相同预测身份标记的回灌结果被归类为第二类型，则确定连续的预设数量张图像帧中被归类为第二类型的回灌结果为误报警结果；

若连续的预设数量张图像帧中具有相同预测身份标记的回灌结果被归类为第三类型，则确定连续的预设数量张图像帧中被归类为第三类型的回灌结果为漏报警结果。

8.根据权利要求7所述的方法，其特征在于，所述根据所述报警判别结果确定所述视觉感知算法的测试结果，包括：

统计所述报警判别结果中被确定为正确报警结果、误报警结果和漏报警结果的数量；

基于正确报警结果、误报警结果和漏报警结果的数量，确定所述视觉感知算法的测试结果。

9.一种视觉感知算法的测试装置，其特征在于，所述装置包括：

获取模块，用于获取测试素材，所述测试素材中包括多张连续的图像帧；

标注模块，用于识别图像帧中的实际障碍物，并对实际障碍物进行位置标注得到标注结果；

回灌模块，用于通过待测试的视觉感知算法对所述测试素材进行处理，得到每张图像帧的回灌结果；所述回灌结果中包括预测障碍物的预测位置信息；

分类模块，用于针对任一图像帧，根据所针对的图像帧的标注结果与回灌结果，确定所针对的图像帧中的回灌结果的目标类型；

测试模块，用于根据连续的预设数量张图像帧的回灌结果的目标类型，得到报警判别结果，并根据所述报警判别结果确定所述视觉感知算法的测试结果。

10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。

12.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。