CN115311885B - 一种评测方法、系统、电子设备及存储介质 - Google Patents

Abstract

本公开提供了一种评测方法、系统、电子设备及存储介质，该方法包括：对获取的评测数据集中的每个道路视频数据进行回放操作，得到所述道路视频数据中每个第一视频帧的交通灯检测结果；其中，所述交通灯检测结果为待评测检测方法对道路视频数据进行检测得到的；根据所述道路视频数据中各个第一视频帧的所述交通灯检测结果，以及从所述评测数据集中获取的所述道路视频数据的各个第二视频帧的交通灯标注结果，生成所述待评测检测方法在至少一种场景维度下的评测结果。

Description

一种评测方法、系统、电子设备及存储介质

技术领域

本公开涉及自动驾驶技术领域，具体而言，涉及一种评测方法、系统、电子设备及存储介质。

背景技术

随着自动驾驶技术的研究与发展，自动驾驶车辆越来越呈现出实用化的趋势。自动驾驶车辆能够准确地识别交通灯的状态，是自动驾驶车辆安全行驶的基础之一。

一般的，自动驾驶车辆可以依靠交通灯感知算法来识别交通灯的状态；故为了确保自动驾驶车辆的安全行驶，需要对交通灯感知算法进行评测。因此，提出一种能够较高效、较准确的对交通灯感知算法进行评测的方法尤为重要。

发明内容

有鉴于此，本公开至少提供一种评测方法、系统、电子设备及存储介质。

第一方面，本公开提供了一种评测方法，包括：

对获取的评测数据集中的每个道路视频数据进行回放操作，得到所述道路视频数据中每个第一视频帧的交通灯检测结果；其中，所述交通灯检测结果为待评测检测方法对道路视频数据进行检测得到的；

根据所述道路视频数据中各个第一视频帧的所述交通灯检测结果，以及从所述评测数据集中获取的所述道路视频数据的各个第二视频帧的交通灯标注结果，生成所述待评测检测方法在至少一种场景维度下的评测结果。

上述方法中，可以先获取评测数据集，该评测数据集包括的每个道路视频数据关联有交通灯检测结果和交通灯标注结果；再可以对评测数据集中的每个道路视频数据进行回放操作，能够较快速和较准确的得到道路视频数据中每个第一视频帧的交通灯检测结果。其中，交通灯检测结果为待评测检测方法对道路视频数据进行检测得到的；该待评测检测方法可以为用于对图像中交通灯状态进行检测的方法；交通灯检测结果包括交通灯的位置信息、转向类型和颜色信息；比如，交通灯的位置信息可以为交通灯对应的检测框的顶点坐标信息，转向类型可以为左转、右转、直行等，颜色信息比如可以为红色、黄色、绿色。进而，可以根据道路视频数据中各个第一视频帧分别对应的交通灯检测结果，以及从评测数据集中获取的道路视频数据的各个第二视频帧的交通灯标注结果，较准确的生成待评测检测方法在至少一种场景维度下的评测结果，使得对待评测检测方法的解读较全面的同时，提高了评测的效率和准确性。

一种可能的实施方式中，获取所述评测数据集，包括：

按照设置的筛选条件，对原始数据集中包括的多个原始道路视频数据进行筛选，得到包括筛选后道路视频数据的候选数据集；其中，所述筛选后道路视频数据关联有对应的交通灯检测结果；

在获取到所述筛选后道路视频数据的交通灯标注结果之后，响应于对所述交通灯标注结果的校验操作，得到所述筛选后道路视频数据对应的校验结果；

在所述校验结果指示为校验通过的情况下，将包括所述交通灯标注结果、所述交通灯检测结果、和所述筛选后道路视频数据的候选数据集，确定为所述评测数据集。

这里，按照设置的筛选条件，对原始数据集中包括的对个原始道路视频数据进行筛选，可以筛选出不符合要求的道路视频数据，得到包括筛选后道路视频数据的候选数据集；以及在获取到筛选后道路视频数据对应的交通灯标注结果之后，响应于对交通灯标注结果的校验操作，得到筛选后道路视频数据对应的校验结果；并在校验结果指示为校验通过的情况下，可以将包括交通灯标注结果、交通灯检测结果、和筛选后道路视频数据的候选数据集，确定为评测数据集，确保了评测数据集包括的交通灯标注结果的准确性，以便后续能够较准确的确定待评测检测方法的评测结果。

一种可能的实施方式中，所述筛选条件包括以下至少一种：

所述原始道路视频数据中至少部分第二视频帧不存在对应的交通灯检测结果；

所述原始道路视频数据中，交通灯被遮挡的第二视频帧的第一数量、与多个第二视频帧的总数量之间的第一比例大于设置的第一比例阈值；

所述原始道路视频数据中，交通灯区域尺寸小于设置的尺寸阈值的第二视频帧的第二数量、与多个第二视频帧的总数量之间的第二比例大于设置的第二比例阈值；

采集所述原始道路视频数据时所使用的目标地图中至少一个交通灯的属性信息、与现实道路场景中交通灯的属性信息不一致；其中，所述属性信息包括以下至少一种：位置、数量和转向类型；

所述原始道路视频数据中，交通灯属性标注结果误差大于设置的误差阈值的第二视频帧的第三数量、与多个第二视频帧的总数量之间的第三比例大于设置的第三比例阈值；其中，所述交通灯属性标注结果为将所述目标地图中对应的交通灯属性信息投影至所述第二视频帧上得到的。

这里，通过设置至少一种筛选条件，以便可以利用筛选条件，灵活对原始道路视频数据进行筛选。

一种可能的实施方式中，采用以下步骤对所述道路视频数据的各个第二视频帧进行标注：

获取所述道路视频数据中各个第二视频帧的初始交通灯标注结果；

确定所述道路视频数据包括的各个第二视频帧中，指示交通灯颜色发生变化的关键视频帧；

将所述关键视频帧之前的多个在先视频帧中，每个在先视频帧作为待处理视频帧，基于所述待处理视频帧对应的初始交通灯标注结果指示的标注颜色、和所述待处理视频帧之前的第一预设数量个历史视频帧分别对应的标注颜色，确定目标颜色；并基于所述目标颜色，对所述待处理视频帧对应的标注颜色进行更新，得到所述待处理视频帧对应的交通灯标注结果；

基于所述道路视频数据中所述在先视频帧的交通灯标注结果、和除所述在先视频帧之外的第一其他视频帧的初始交通灯标注结果，生成所述道路视频数据中各个第二视频帧的交通灯标注结果。

这里，在得到道路视频数据中各个第二视频帧的初始交通灯标注结果后，可以针对关键视频帧之前的多个在先视频帧中的每个在先视频帧，通过设置平滑窗口，利用平滑窗口内第一预设数量个历史视频帧和该在先视频帧对应的标注颜色，确定目标颜色；再利用目标颜色，对该在先视频帧的标注颜色进行更新，得到在先视频帧的交通灯标注结果，实现了对各个在先视频帧的平滑操作，以便后续利用更新后的标注颜色对待评测检测方法进行评测时，评测过程具有较好的稳定性。

一种可能的实施方式中，在确定所述关键视频帧之后，还包括：

基于所述关键视频帧中交通灯的标注颜色、和所述关键视频帧之前的相邻视频帧中同一交通灯的标注颜色，对所述关键视频帧之后的第二预设数量个在后视频帧中同一交通灯的标注颜色、和所述关键视频帧中同一交通灯的标注颜色进行更新，得到所述在后视频帧和所述关键视频帧对应的交通灯标注结果；

基于所述道路视频数据中所述关键视频帧和所述在后视频帧的交通灯标注结果、以及除所述关键视频帧和所述在后视频帧之外的第二其他视频帧的初始交通灯标注结果，生成所述道路视频数据中各个第二视频帧的交通灯标注结果。

考虑到颜色变化前后，视频帧对应的交通灯颜色会存在不稳定的情况，为了缓解上述问题，可以对关键视频帧之后的第二预设数量个在后视频帧和该关键视频帧分别对应的标注颜色进行更新，得到交通灯标注结果，即关键视频帧和在后视频帧对应的标注颜色可以包括关键视频帧中交通灯的标注颜色和关键视频帧之前的相邻视频帧中同一交通灯的标注颜色，以便后续利用该交通灯标注结果，能够较准确的确定评测结果。

一种可能的实施方式中，所述根据所述道路视频数据中各个第一视频帧的所述交通灯检测结果，以及从所述评测数据集中获取的所述道路视频数据的各个第二视频帧的交通灯标注结果，生成所述待评测检测方法在至少一种场景维度下的评测结果，包括：

针对每个所述第一视频帧，从获取的所述道路视频数据的各个第二视频帧中，确定与所述第一视频帧匹配的第二视频帧；

基于所述第一视频帧的所述交通灯检测结果、和与所述第一视频帧匹配的所述第二视频帧的所述交通灯标注结果，生成针对所述第一视频帧的中间检测结果；

基于各个所述第一视频帧分别对应的所述中间检测结果，生成所述待评测检测方法在至少一种场景维度下的评测结果。

这里，针对每个第一视频帧，从获取的道路视频数据的各个第二视频帧中，较准确的确定与第一视频帧匹配的第二视频帧；再利用第一视频帧的交通灯检测结果、和与第一视频帧匹配的第二视频帧的交通灯标注结果，较准确的生成的针对第一视频帧的中间检测结果；进而可以使得生成的评测结果较准确。

一种可能的实施方式中，从获取的所述道路视频数据的各个第二视频帧中，确定与所述第一视频帧匹配的第二视频帧，包括：

基于所述道路视频数据的各个第二视频帧分别对应的第二时间戳、和所述第一视频帧对应的第一时间戳，确定各个所述第二视频帧对应的时间戳差值；

将所述时间戳差值最小的第二视频帧，确定为与所述第一视频帧匹配的第二视频帧。

这里，基于道路视频数据的各个第二视频帧分别对应的第二时间戳、和第一视频帧对应的第一时间戳，确定各个第二视频帧对应的时间戳差值；再将时间戳差值最小的第二视频帧，确定为与第一视频帧匹配的第二视频帧，使得确定的第二视频帧包括的图像信息、与匹配的第一视频帧包括的图像信息相似度较高，以便后续能够较准确的对待评测检测方法进行评测。

一种可能的实施方式中，所述基于各个所述第一视频帧分别对应的所述中间检测结果，生成所述待评测检测方法在至少一种场景维度下的评测结果，包括：

获取所述道路视频数据的各个第二视频帧在多个场景维度上的场景标注结果；其中，所述场景维度包括以下至少一种：交通灯工作状态、遮挡情况、天气、光照、相机污损程度、交通灯高度；

基于与每个第一视频帧匹配的第二视频帧的所述场景标注结果、和各个所述第一视频帧分别对应的所述中间检测结果，生成所述待评测检测方法在至少一种场景维度下的评测结果。

本公开实施例中，从评测数据集中获取道路视频数据的各个第二视频帧在多个场景维度上的场景标注结果；并基于与每个第一视频帧匹配的第二视频帧的场景标注结果、和和各个第一视频帧分别对应的中间检测结果，生成待评测检测方法在至少一种场景维度下的评测结果，实现从多个场景维度对待评测检测方法进行评测，以便可以对待评测检测方法的性能进行全面解读。

一种可能的实施方式中，所述基于与每个第一视频帧匹配的第二视频帧的所述场景标注结果、和各个所述第一视频帧分别对应的所述中间检测结果，生成所述待评测检测方法在至少一种场景维度下的评测结果，包括：

基于与每个第一视频帧匹配的第二视频帧的所述场景标注结果，确定每种所述场景维度中各个场景属性分别包括的第一视频帧；

针对每种场景维度，基于该场景维度中每种所述场景属性包括的第一视频帧关联的中间检测结果，确定该场景属性下的评测指标；

根据该场景维度下各个场景属性分别对应的评测指标，生成所述待评测检测方法在该场景维度下的评测结果。

这里，基于与每个第一视频帧匹配的第二视频帧的场景标注结果，确定每种场景维度中各个场景属性分别包括的第一视频帧；针对每种场景维度，基于该场景维度中每种场景属性包括的第一视频帧关联的中间检测结果，确定该场景属性下的评测指标；根据该场景维度下各个场景属性分别对应的评测指标，生成的待评测检测方法在该场景维度下的评测结果较准确，可以对待评测检测方法的性能进行全面解读。

以下系统、电子设备等的效果描述参见上述方法的说明，这里不再赘述。

第二方面，本公开提供了一种评测系统，包括：

回放模块，用于对获取的评测数据集中的每个道路视频数据进行回放操作，得到所述道路视频数据中每个第一视频帧的交通灯检测结果；其中，所述交通灯检测结果为待评测检测方法对道路视频数据进行检测得到的；

评测模块，用于根据所述道路视频数据中各个第一视频帧的所述交通灯检测结果，以及从所述评测数据集中获取的所述道路视频数据的各个第二视频帧的交通灯标注结果，生成所述待评测检测方法在至少一种场景维度下的评测结果。

第三方面，本公开提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述第一方面或任一实施方式所述的评测方法的步骤。

第四方面，本公开提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述第一方面或任一实施方式所述的评测方法的步骤。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本公开实施例所提供的一种评测方法的流程示意图；

图2示出了本公开实施例所提供的一种评测方法中，评测结果的示意图；

图3示出了本公开实施例所提供的一种评测系统的架构示意图；

图4示出了本公开实施例所提供的一种评测方法中，检测方法评测过程的示意图；

图5示出了本公开实施例所提供的一种电子设备的结构示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

随着自动驾驶技术的研究与发展，自动驾驶车辆越来越呈现出实用化的趋势。自动驾驶车辆能够准确地识别交通灯的状态，是自动驾驶车辆安全行驶的基础之一。

自动驾驶车辆可以依靠交通灯感知算法来识别交通灯的状态；故为了确保自动驾驶车辆的安全行驶，需要对交通灯感知算法进行评测。一般的，针对多帧评测样本，可以通过人工的方式依次比对评测样本的真值和检测值，根据比对结果，对交通灯感知算法进行评测。但是上述人工比对的方式效率较低，使得对算法的评测效率较低；且由于人工方式易出现失误情况，降低了算法评测结果的准确性。

基于此，本公开实施例提出一种评测方法、系统、电子设备及存储介质。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

为便于对本公开实施例进行理解，首先对本公开实施例所公开的一种评测方法进行详细介绍。本公开实施例所提供的评测方法的执行主体一般为具有一定计算能力的计算机设备，该计算机设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端等。在一些可能的实现方式中，该评测方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

参见图1所示，为本公开实施例所提供的评测方法的流程示意图，该方法包括：S101和S102，具体的：

S101，对获取的评测数据集中的每个道路视频数据进行回放操作，得到道路视频数据中每个第一视频帧的交通灯检测结果；其中，交通灯检测结果为待评测检测方法对道路视频数据进行检测得到的。

S102，根据道路视频数据中各个第一视频帧的交通灯检测结果，以及从评测数据集中获取的道路视频数据的各个第二视频帧的交通灯标注结果，生成待评测检测方法在至少一种场景维度下的评测结果。

上述方法中，可以先获取评测数据集，该评测数据集包括的每个道路视频数据关联有交通灯检测结果和交通灯标注结果；再可以对评测数据集中的每个道路视频数据进行回放操作，能够较快速和较准确的得到道路视频数据中每个第一视频帧的交通灯检测结果。其中，交通灯检测结果为待评测检测方法对道路视频数据进行检测得到的；该待评测检测方法可以为用于对图像中交通灯状态进行检测的方法；交通灯检测结果包括交通灯的位置信息、转向类型和颜色信息；比如，交通灯的位置信息可以为交通灯对应的检测框的顶点坐标信息，转向类型可以为左转、右转、直行等，颜色信息比如可以为红色、黄色、绿色。进而，可以根据道路视频数据中各个第一视频帧分别对应的交通灯检测结果，以及从评测数据集中获取的道路视频数据的各个第二视频帧的交通灯标注结果，较准确的生成待评测检测方法在至少一种场景维度下的评测结果，使得对待评测检测方法的解读较全面的同时，提高了评测的效率和准确性。

下述对S101和S102进行具体说明。

针对S101：

实施时，可以先利用安装在行驶装置(比如车辆等)上的采集设备(比如传感器、摄像机等)采集原始数据集，原始数据集中包括多个原始道路视频数据，原始道路视频数据可以关联有对应的交通灯检测结果。可以从原始道路视频数据中随机选取道路视频数据构成评测数据集；或者，也可以对采集的原始道路视频数据进行筛选、标注、校验等操作，得到评测数据集；或者，还可以选取待评测检测方法检测结果存在错误的数据，构成评测数据集。

进而，可以对得到的评测数据集中的每个道路视频数据进行回放操作，得到道路视频数据中每个第一视频帧的交通灯检测结果；其中，交通灯检测结果为待评测检测方法对道路视频数据进行检测得到的；以便后续可以对得到的道路视频数据中每个第一视频帧的交通灯检测结果进行评测。

一种可能的实施方式中，获取评测数据集，包括：

步骤A1，按照设置的筛选条件，对原始数据集中包括的多个原始道路视频数据进行筛选，得到包括筛选后道路视频数据的候选数据集；其中，筛选后道路视频数据关联有对应的交通灯检测结果。

步骤A2，在获取到筛选后道路视频数据的交通灯标注结果之后，响应于对交通灯标注结果的校验操作，得到筛选后道路视频数据对应的校验结果。

步骤A3，在校验结果指示为校验通过的情况下，将包括交通灯标注结果、交通灯检测结果、和筛选后道路视频数据的候选数据集，确定为评测数据集。

实施时，可以先获取原始数据集，该原始数据集可以包括多个原始道路视频数据，并可以按照设置的筛选条件，对原始数据集中包括的多个原始道路视频数据进行筛选，得到包括筛选后道路视频数据的候选数据集，其中，筛选后道路视频数据关联有对应的交通灯检测结果。

再可以获取筛选后道路视频数据对应的交通灯标注结果，并在获取到筛选后道路视频数据对应的交通灯标注结果之后，响应于对交通灯标注结果的校验操作，可以得到筛选后道路视频数据对应的校验结果；其中校验结果可以是指示为校验通过，或校验不通过。比如，可以校验筛选后道路视频数据对应的交通灯标注结果是否正确，若标注正确，则确定校验结果指示为校验通过。若标注错误，则确定校验结果指示为校验不通过。和/或，可以在回放操作过程中，校验是否能够正常回放该筛选后道路视频数据，若能够正常回放，则确定校验结果指示为校验通过。反之，则确定校验结果指示为校验不通过。

在校验结果指示为校验不通过时，可以将校验不通过的筛选后道路视频数据从候选数据集中筛除，得到筛除后候选数据集，该筛除后候选数据集确定为评测数据集。即将校验成功的筛选后道路视频数据、与之关联的交通灯标注结果和交通灯检测结果，构成的候选数据集，确定为评测数据集。

这里，按照设置的筛选条件，对原始数据集中包括的对个原始道路视频数据进行筛选，可以筛选出不符合要求的道路视频数据，得到包括筛选后道路视频数据的候选数据集；以及在获取到筛选后道路视频数据对应的交通灯标注结果之后，响应于对交通灯标注结果的校验操作，得到筛选后道路视频数据对应的校验结果；并在校验结果指示为校验通过的情况下，可以将包括交通灯标注结果、交通灯检测结果、和筛选后道路视频数据的候选数据集，确定为评测数据集，确保了评测数据集包括的交通灯标注结果的准确性，以便后续能够较准确的确定待评测检测方法的第一评测结果。

一种可能的实施方式中，筛选条件包括以下至少一种：

条件一、原始道路视频数据中至少部分第二视频帧不存在对应的交通灯检测结果。

条件二、原始道路视频数据中，交通灯被遮挡的第二视频帧的第一数量、与多个第二视频帧的总数量之间的第一比例大于设置的第一比例阈值。

条件三、原始道路视频数据中，交通灯区域尺寸小于设置的尺寸阈值的第二视频帧的第二数量、与多个第二视频帧的总数量之间的第二比例大于设置的第二比例阈值。

条件四、采集原始道路视频数据时所使用的目标地图中至少一个交通灯的属性信息、与现实道路场景中交通灯的属性信息不一致；其中，属性信息包括以下至少一种：位置、数量和转向类型。

条件五、原始道路视频数据中，交通灯属性标注结果误差大于设置的误差阈值的第二视频帧的第三数量、与多个第二视频帧的总数量之间的第三比例大于设置的第三比例阈值；其中，交通灯属性标注结果为将目标地图中对应的交通灯属性信息投影至第二视频帧上得到的。

实施时，可以按照设置的筛选条件，对原始数据集中包括的多个原始道路视频数据进行筛选，得到筛选后道路视频数据。其中，筛选条件可以根据实际需求进行设置，此处仅为示例性说明。比如，筛选条件还可以包括原始道路视频数据中的交通灯在现实道路场景中存在故障等。

针对条件一，检测原始道路视频数据中包括的每个第二视频帧是否存在对应的交通灯检测结果，在存在第二视频帧无对应的交通灯检测结果时，将该原始道路视频数据筛除。或者，也可以统计不存在交通灯检测结果的第二视频帧的帧数，在该帧数大于设置的帧数阈值时，将该原始道路视频数据筛除。

针对条件二，可以先确定原始道路视频数据中交通灯被遮挡的第二视频帧的第一数量，再根据该第一数量和多个第二视频帧的总数量，确定第一比例。在该第一比例大于设置的第一比例阈值时，则将该原始道路视频数据从候选数据集中筛除。其中，第一比例阈值可以根据实际需求进行设置，比如，第一比例阈值可以为0.5、0.6等。

或者，还可以设置第一数量阈值，在该第一数量大于设置的第一数量阈值时，将该原始道路视频数据从候选数据集中筛除。

针对条件三，可以先确定原始道路视频数据中交通灯区域尺寸；比如，交通灯区域尺寸可以为交通灯对应的检测框尺寸；该检测框可以为交通灯对应的一个方向面的各个顶点连接构成的。再确定原始道路视频数据中交通灯区域尺寸小于设置的尺寸阈值的第二视频帧的第二数量，再根据该第二数量和多个第二视频帧的总数量，确定第二比例。在该第二比例大于设置的第二比例阈值时，则将该原始道路视频数据从候选数据集中筛除。其中，尺寸阈值和第二比例阈值可以根据实际需求进行设置，比如，尺寸阈值可以为64×64像素、128×128像素等，第二比例阈值可以为0.8、0.85等。

或者，还可以设置第二数量阈值，在该第二数量大于设置的第二数量阈值时，将该原始道路视频数据从候选数据集中筛除。

示例性的，若设置的尺寸阈值为64×64像素，设置的第二比例阈值为0.8；原始道路视频数据共有100帧，交通灯区域尺寸小于尺寸阈值的第二视频帧共有90帧，则第二比例为0.9；第二比例大于第二比例阈值，则将该原始道路视频数据从候选数据集中筛除。

或者，若设置的尺寸阈值为64×64像素，设置的第二数量阈值为85；原始道路视频数据共有100帧，交通灯区域尺寸小于尺寸阈值的第二视频帧共有90帧；第二数量大于设置的第二数量阈值(90>85)；则将该原始道路视频数据从候选数据集中筛除。

针对条件四，采集原始道路视频数据时所使用的目标地图中包括至少一个交通灯的属性信息，检测该目标地图中包括的至少一个交通的属性信息是否与现实道路场景中交通灯的属性信息一致，若不一致，则从候选数据集中将该原始道路视频数据筛除。其中，属性信息包括以下至少一种：位置、数量、和转向类型等。

比如，采集原始道路视频数据时目标地图中显示第一交叉口存在直行灯和左转灯，而现实道路场景中该第一交叉口实际存在直行灯、左转灯和右转灯，此时可以将该原始道路视频数据筛除。

针对条件五，可以先确定原始道路视频数据中各个第二视频帧对应的交通灯标注结果误差，再确定交通灯属性标注结果误差大于设置的误差阈值的第二视频帧的第三数量。其中，交通灯属性标注结果为将目标地图中对应的交通灯属性信息投影至第二视频帧上得到的。交通灯属性标注结果误差可以表征交通灯属性标注结果与交通灯真值数据之间的偏差。比如，该交通灯属性标注结果误差可以包括：交通灯检测框在宽度方向上的误差、高度方向上的误差、交通灯检测框对应的交并比等。

再根据该第三数量和多个第二视频帧的总数量，确定第三比例；在该第三比例大于设置的第三比例阈值，则将该原始道路视频数据从候选数据集中筛除。其中，误差阈值和第三比例阈值可以根据实际需求进行设置。

或者，还可以设置第三数量阈值，在该第三数量大于设置的第三数量阈值时，将该原始道路视频数据从候选数据集中筛除。

这里，通过设置至少一种筛选条件，以便可以利用筛选条件，灵活对原始道路视频数据进行筛选。

针对S102：

实施时，针对原始道路数据包括的每个原始道路视频数据，可以先对原始道路视频数据的各个第二视频帧进行标注，得到原始道路视频数据的各个第二视频帧的交通灯标注结果；进而，在对多个原始道路视频数据进行筛选等操作后，得到评测数据集，该评测数据集包括的道路视频数据中各个第二视频帧关联有交通灯标注结果。因此，可以利用道路视频数据的各个第二视频帧的交通灯标注结果，对道路视频数据中各个第一视频帧的交通灯检测结果进行评测，生成待评测检测方法在至少一种场景维度下的评测结果。其中，场景维度可以包括以下至少一种：交通灯工作状态、遮挡情况、天气、光照、相机污损程度、交通灯高度。

一种可能的实施方式中，采用以下步骤对道路视频数据的各个第二视频帧进行标注：

步骤B1，获取道路视频数据中各个第二视频帧的初始交通灯标注结果。

步骤B2，确定道路视频数据包括的各个第二视频帧中，指示交通灯颜色发生变化的关键视频帧。

步骤B3，将关键视频帧之前的多个在先视频帧中，每个在先视频帧作为待处理视频帧，基于待处理视频帧对应的初始交通灯标注结果指示的标注颜色、和待处理视频帧之前的第一预设数量个历史视频帧分别对应的标注颜色，确定目标颜色；并基于目标颜色，对待处理视频帧对应的标注颜色进行更新，得到待处理视频帧对应的交通灯标注结果。

步骤B4，基于道路视频数据中在先视频帧的交通灯标注结果、和除在先视频帧之外的第一其他视频帧的初始交通灯标注结果，生成道路视频数据中各个第二视频帧的交通灯标注结果。

实施时，可以根据以下步骤获取道路视频数据中各个第二视频帧的初始交通灯标注结果：

步骤B11，基于道路视频数据中的每个第二视频帧对应的时间戳、和道路视频数据对应的定位信息，确定采集第二视频帧时行驶装置的目标位姿信息；其中，定位信息可以包括行驶装置采集各个第二视频帧时对应的位姿信息。

步骤B12，基于目标位姿信息，确定第二视频帧对应的坐标系转换矩阵；以及从目标地图中确定在待标注视频帧中存在投影信息的候选交通灯；其中，坐标系转换矩阵可以实现与行驶装置行驶过程所处的三维空间匹配的世界坐标系、和第二视频帧的像素坐标系之间的转换。

比如，可以利用目标位姿信息中的目标位置信息，确定平移矩阵；以及可以利用目标位姿信息中的目标朝向信息，确定旋转矩阵；再可以基于平移矩阵和旋转矩阵，确定第一坐标系矩阵。再利用第一坐标系转换矩阵、和预设的第二坐标系转换矩阵，确定第二视频帧对应的坐标系转换矩阵。其中，第一坐标系转换矩阵用于实现世界坐标系、与行驶装置上惯性测量单元对应的惯导坐标系之间的转换；第二坐标系转换矩阵用于实现惯导坐标系与第二视频帧的像素坐标系之间的转换。

可以基于目标位姿信息指示的位置信息，确定采集设备采集待标注视频帧时的采集区域范围；并可以基于采集区域范围、和目标地图中包括的各个交通灯的位置信息，确定位于采集区域范围内的至少一个中间交通灯；进一步的，可以基于目标位姿信息指示的朝向信息，从至少一个中间交通灯中，确定在待标注视频帧中存在投影信息的候选交通灯。

步骤B13，基于坐标系转换矩阵、候选交通灯在世界坐标系下的位置信息、候选交通灯的转向类型，确定第二视频帧的初始交通灯标注结果。

比如，可以利用坐标系转换矩阵，将候选交通灯在世界坐标系的位置信息转换至像素坐标系，得到候选交通灯在第二视频帧上的标注位置。再可以基于候选交通灯的转向类型，确定标注位置对应的标注转向，以及确定标注转向对应的标注颜色；并可以将标注位置、标注转向和标注颜色，确定为第二视频帧的初始交通灯标注结果。

在得到各个第二视频帧的初始交通灯标注结果之后，可以从道路视频数据包括的各个第二视频帧中，确定关键视频帧，该关键视频帧指示现实道路场景中交通灯颜色发生变化。比如，采集第二视频帧1时，现实道路场景中交通灯颜色为黄色，采集第二视频帧2时，现实道路场景中交通灯颜色为红色，则将第二视频帧2确定为关键视频帧。

在确定了关键视频帧之后，可以确定位于关键视频帧之前的多个在先视频帧；其中，多个在先视频帧的数量可以根据实际情况进行设置。再可以将每个在先视频帧作为待处理视频帧，基于待处理视频帧对应的初始交通灯标注结果指示的标注颜色、和待处理视频帧之前的第一预设数量个历史视频帧分别对应的标注颜色，确定目标颜色。比如，可以将待处理视频帧和历史视频帧中出现次数最多的标注颜色，确定为目标颜色。

在待处理视频帧对应的标注颜色与目标颜色不一致时，可以将待处理视频帧对应的标注颜色更新为目标颜色，得到待处理视频帧对应的交通灯标注结果。在待处理视频帧对应的标注颜色与目标颜色一致时，则无需对待处理视频帧进行更新，并将待处理视频帧对应的初始交通灯标注结果，确定为待处理视频帧对应的交通灯标注结果。进而可以得到各个前视频帧分别对应的交通灯标注结果。其中，第一预设数量可以根据实际情况进行设置，比如，第一预设数量可以为3、5等。

示例性的，若第一预设数量为5，待处理视频帧对应的初始交通灯标注结果指示的标注颜色为黄色、和5个历史视频帧分别对应的标注颜色为绿色、绿色、绿色、黄色、绿色；由于待处理视频帧和待处理视频帧之前的5个历史视频帧分别对应的标注颜色中最多的标注颜色为绿色，故确定目标颜色为绿色；并将待处理视频帧的标注颜色更新为绿色，得到该待处理视频帧对应的交通灯标注结果。

进而，可以基于道路视频数据中在先视频帧的交通灯标注结果、和除在先视频帧之外的第一其他视频帧对应的初始交通灯标注结果，生成道路视频数据中各个第二视频帧的交通灯标注结果。

这里，在得到道路视频数据中各个第二视频帧的初始交通灯标注结果后，可以针对关键视频帧之前的多个在先视频帧中的每个在先视频帧，通过设置平滑窗口，利用平滑窗口内第一预设数量个历史视频帧和该在先视频帧对应的标注颜色，确定目标颜色；再利用目标颜色，对该在先视频帧的标注颜色进行更新，得到在先视频帧的交通灯标注结果，实现了对各个在先视频帧的平滑操作，以便后续利用更新后的标注颜色对待评测检测方法进行评测时，评测过程具有较好的稳定性。

具体实施时，在步骤B2确定关键视频帧之后，还包括：

步骤C1，基于关键视频帧中交通灯的标注颜色、和关键视频帧之前的相邻视频帧中同一交通灯的标注颜色，对关键视频帧之后的第二预设数量个在后视频帧的标注颜色、和关键视频帧的标注颜色进行更新，得到在后视频帧和关键视频帧对应的交通灯标注结果。

步骤C2，基于道路视频数据中关键视频帧和在后视频帧的交通灯标注结果、以及除关键视频帧和在后视频帧之外的第二其他视频帧的初始交通灯标注结果，生成道路视频数据中各个第二视频帧的交通灯标注结果。

实施时，可以基于关键视频帧中交通灯的标注颜色、和关键视频帧之前的相邻视频帧中同一交通灯的标注颜色，对关键视频帧之后的第二预设数量个在后视频帧的标注颜色、和关键视频帧的标注颜色进行更新，得到在后视频帧和关键视频帧对应的交通灯标注结果。比如，可以将关键视频帧中交通灯的标注颜色作为第一颜色，将关键视频帧之前的相邻视频帧中同一交通灯的标注颜色作为第二颜色，在后视频帧和关键视频帧对应的交通灯标注结果指示：更新后的标注颜色可以包括第一颜色和第二颜色。其中，第二预设数量可以根据实际情况进行设置，比如，第二预设数量可以为2、3等。

示例性的，若第二预设数量为3，关键视频帧中交通灯的标注颜色为红色、关键视频帧之前的相邻视频帧中同一交通灯的标注颜色为绿色；对关键视频帧之后的3个在后视频帧的标注颜色、和关键视频帧对应的标注颜色进行更新，得到在后视频帧和关键视频帧对应的交通灯标注结果；即在后视频帧和关键视频帧对应的交通灯标注结果指示的标注颜色包括红色和绿色。

进而，可以基于道路视频数据中关键视频帧和在后视频帧的交通灯标注结果、和除关键视频帧和在后视频帧之外的第二其他视频帧的初始交通灯标注结果，生成道路视频数据中各个第二视频帧的交通灯标注结果。

考虑到颜色变化前后，视频帧对应的交通灯颜色会存在不稳定的情况，为了缓解上述问题，可以对关键视频帧之后的第二预设数量个在后视频帧和该关键视频帧分别对应的标注颜色进行更新，得到交通灯标注结果，即关键视频帧和在后视频帧对应的标注颜色可以包括关键视频帧中交通灯的标注颜色和关键视频帧之前的相邻视频帧中同一交通灯的标注颜色，以便后续利用该交通灯标注结果，能够较准确的确定评测结果。

一种可能的实施方式中，根据道路视频数据中各个第一视频帧的交通灯检测结果，以及从评测数据集中获取的道路视频数据的各个第二视频帧的交通灯标注结果，生成待评测检测方法在至少一种场景维度下的评测结果，包括：

步骤D1，针对每个第一视频帧，从获取的道路视频数据的各个第二视频帧中，确定与第一视频帧匹配的第二视频帧。

步骤D2，基于第一视频帧的交通灯检测结果、和与第一视频帧匹配的第二视频帧的交通灯标注结果，生成针对第一视频帧的中间检测结果。

步骤D3，基于各个第一视频帧分别对应的中间检测结果，生成待评测检测方法在至少一种场景维度下的评测结果。

由于第一视频帧和第二视频帧是通过对道路视频数据进行不同操作得到的，故第一视频帧和第二视频帧的数量、时间戳等信息可能存在不同，因此可以针对每个第一视频帧，从获取的道路视频数据的各个第二视频帧中，确定与第一视频帧匹配的第二视频帧；再可以基于第一视频帧的交通灯检测结果、和与第一视频帧匹配的第二视频帧的交通灯标注结果，生成针对第一视频帧的中间检测结果；比如，中间检测结果可以包括：指示黑色灯的标注数据与检测数据不一致的检测结果、指示黑色灯标注数据与检测数据一致的检测结果、指示绿色灯的标注数据与检测数据不一致的检测结果、指示红色灯标注数据与检测数据不一致的检测结果等。进一步的，可以基于各个第一视频帧分别对应的中间检测结果，生成待评测检测方法在至少一种场景维度下的评测结果，即可以生成待评测检测方法在交通灯工作状态场景维度下的评测结果。

参见图2所示的评测结果的示意图。结合图2进行说明，在确定了各个第一视频帧分别对应的中间检测结果之后，可以根据各个中间检测结果，统计黑色灯对应的正确的视频帧数量、黑色灯对应的总的视频帧数量、公交专用灯对应的正确的视频帧数量等等，再根据上述统计结果，确定各个交通灯对应的正确率。其中，可以将各个交通灯的正确率，确定为评测结果；或者，也可以将各个交通灯的正确率加权求和，得到正确率均值，将该正确率均值确定为评测结果等。

这里，针对每个第一视频帧，从获取的道路视频数据的各个第二视频帧中，较准确的确定与第一视频帧匹配的第二视频帧；再利用第一视频帧的交通灯检测结果、和与第一视频帧匹配的第二视频帧的交通灯标注结果，较准确的生成的针对第一视频帧的中间检测结果；进而可以使得生成的评测结果较准确。

一种可能的实施方式中，步骤D1中，从获取的道路视频数据的各个第二视频帧中，确定与第一视频帧匹配的第二视频帧，包括：基于道路视频数据的各个第二视频帧分别对应的第二时间戳、和第一视频帧对应的第一时间戳，确定各个第二视频帧对应的时间戳差值；将时间戳差值最小的第二视频帧，确定为与第一视频帧匹配的第二视频帧。

由于采集道路视频数据时各个第二视频帧对应的第二帧率、与对道路视频数据进行回放操作时各个第一视频帧对应的第一帧率可能不一致；比如，第二帧率可以为每秒50帧、第一帧率可以为每秒40帧；因此，需要确定与第一视频帧匹配的第二视频帧。

实施时，可以先确定各个第一视频帧的第一时间戳、和各个第二视频帧对应的第二时间戳，再针对每个第一视频帧，基于各个第二视频帧分别对应的第二时间戳、和该第一视频帧对应的第一时间戳，确定各个第二视频帧对应的时间戳差值；并将时间戳差值最小的第二视频帧确定为与该第一视频帧匹配的第二视频帧。

比如，第一视频帧率为每秒40帧，第二视频帧率为每秒50帧；则各个相邻第一视频帧之间相隔0.025秒，各个相邻第二视频帧之间性相隔0.020秒；若道路视频数据的采集时间从11:12:24.000开始，则第一视频帧1对应的第一时间戳为544000(11:12:24.000对应的时间戳为544000)、第一视频帧2对应的第一时间戳为544025；第二视频帧1对应的第二时间戳为544000、第二视频帧2对应的第二时间戳为544020、第二视频帧3对应的第二时间戳为544040。

针对第一视频帧2，该第一视频帧2对应的第一时间戳为544025，可以确定时间戳差值最小的第二视频帧为第二视频帧2；故可以确定第二视频帧2与第一视频帧2相匹配。

这里，基于道路视频数据的各个第二视频帧分别对应的第二时间戳、和第一视频帧对应的第一时间戳，确定各个第二视频帧对应的时间戳差值；再将时间戳差值最小的第二视频帧，确定为与第一视频帧匹配的第二视频帧，使得确定的第二视频帧包括的图像信息、与匹配的第一视频帧包括的图像信息相似度较高，以便后续能够较准确的对待评测检测方法进行评测。

一种可能的实施方式中，基于各个第一视频帧分别对应的中间检测结果，生成待评测检测方法在至少一种场景维度下的评测结果，包括：

步骤E1，获取道路视频数据的各个第二视频帧在多个场景维度上的场景标注结果；其中，场景维度包括以下至少一种：交通灯工作状态、遮挡情况、天气、光照、相机污损程度、交通灯高度。

步骤E2，基于与每个第一视频帧匹配的第二视频帧的场景标注结果、和各个第一视频帧分别对应的中间检测结果，生成待评测检测方法在至少一种场景维度下的评测结果。

实施时，可以从评测数据集中获取道路视频数据的各个第二视频帧在多个场景维度上的场景标注结果；其中，场景维度可以包括以下至少一种：交通灯工作状态、遮挡情况、天气、光照、相机污损程度、交通灯高度；并基于与每个第一视频帧匹配的第二视频帧的场景标注结果、和各个第一视频帧分别对应的中间检测结果，生成待评测检测方法在至少一种场景维度下的评测结果。

示例性的，遮挡情况可以包括：无遮挡，树木遮挡，杆件遮挡，大车遮挡等；天气可以包括：晴天，阴天，雨天，雾天等；光照可以包括：逆光，背光，白天无阳光，夜晚有路灯，夜晚无路灯等；相机污损情况可以包括：无污损，雾气污损，雨水污损，污渍污损等；交通灯高度可以包括：正常灯，低矮灯等。

比如针对天气的场景维度，可以确定晴天场景属性下的准确率、阴天场景属性下的准确率、等等，再综合各个场景属性下的准确率，确定天气场景维度下的评测结果。

本公开实施例中，从评测数据集中获取道路视频数据的各个第二视频帧在多个场景维度上的场景标注结果；并基于与每个第一视频帧匹配的第二视频帧的场景标注结果、和和各个第一视频帧分别对应的中间检测结果，生成待评测检测方法在至少一种场景维度下的评测结果，实现从多个场景维度对待评测检测方法进行评测，以便可以对待评测检测方法的性能进行全面解读。

一种可能的实施方式中，基于与每个第一视频帧匹配的第二视频帧的场景标注结果、和各个第一视频帧分别对应的中间检测结果，生成待评测检测方法在至少一种场景维度下的评测结果，包括：

步骤F1，基于与每个第一视频帧匹配的第二视频帧的场景标注结果，确定每种场景维度中各个场景属性分别包括的第一视频帧。

步骤F2，针对每种场景维度，基于该场景维度中每种场景属性包括的第一视频帧关联的中间检测结果，确定该场景属性下的评测指标(例如，准确率、错误率等)。

步骤F3，根据该场景维度下各个场景属性分别对应的评测指标，生成待评测检测方法在该场景维度下的评测结果。

实施时，可以基于与每个第一视频帧匹配的第二视频帧的场景标注结果，确定每种场景维度中各个场景属性分别包括的第一视频帧；比如，在场景维度包括天气时，与每个第一视频帧匹配的第二视频帧的场景标注结果包括：阴天、雨天、或晴天，进而可以基于第二视频帧的场景标注结果，确定天气场景维度中阴天包括的第一视频帧、雨天包括的第一视频帧、以及晴天包括的第一视频帧；或者，在场景维度包括相机无损程度时，与每个第一视频帧匹配的第二视频帧的场景标注结果还包括：无污损、雨水污损、或污渍污损等，进而可以确定相机污损场景维度中无污损包括的第一视频帧、雨水污损包括的第一视频帧、以及污渍污损包括的第一视频帧。

再可以针对每种场景维度，基于该场景维度中每种场景属性包括的第一视频帧关联的中间检测结果，确定该场景属性下的评测指标；示例性的，针对天气场景维度，可以基于阴天包括的第一视频帧关联的中间检测结果，确定阴天包括的第一视频帧对应的评测指标，该评测指标可以包括在阴天的场景属性下交通灯检测结果的正确率、错误率等。

比如，可以针对阴天的场景属性，基于第一视频帧关联的中间检测结果，统计中间检测结果指示为检测有误的第一视频帧的第一数量、检测无误的第一视频帧的第二数量；根据第一数量和该场景属性下第一视频帧的总数量，确定错误率，以及根据第二数量和总数量，确定正确率，将该正确率和/或错误率，确定为该场景属性下的评测指标。

进一步的，可以将该场景维度下各个场景属性分别对应的评测指标，确定为待评测检测方法在该场景维度下的评测结果；或者，可以基于该场景维度下各个场景属性分别对应的评测指标指示的正确率，生成待评测检测方法在该场景维度下的评测结果，比如，在各个场景属性的正确率均大于或等于评测阈值的情况下，生成的待评测检测方法在该场景维度下的评测结果为：评测通过；在存在任一场景属性的正确率小于评测阈值的情况下，可以生成待评测检测方法在该场景维度下的评测结果为：评测不通过。

这里，基于与每个第一视频帧匹配的第二视频帧的场景标注结果，确定每种场景维度中各个场景属性分别包括的第一视频帧；针对每种场景维度，基于该场景维度中每种场景属性包括的第一视频帧关联的中间检测结果，确定该场景属性下的评测指标；根据该场景维度下各个场景属性分别对应的评测指标，生成的待评测检测方法在该场景维度下的评测结果较准确，可以对待评测检测方法的性能进行全面解读。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于相同的构思，本公开实施例还提供了一种评测系统。参见图3所示，为本公开实施例提供的评测系统的架构示意图，包括回放模块301、评测模块302，具体的：

回放模块301，用于对获取的评测数据集中的每个道路视频数据进行回放操作，得到所述道路视频数据中每个第一视频帧的交通灯检测结果；其中，所述交通灯检测结果为待评测检测方法对道路视频数据进行检测得到的；

评测模块302，用于根据所述道路视频数据中各个第一视频帧的所述交通灯检测结果，以及从所述评测数据集中获取的所述道路视频数据的各个第二视频帧的交通灯标注结果，生成所述待评测检测方法在至少一种场景维度下的评测结果。

一种可能的实施方式中，所述系统还包括：处理模块303；所述处理模块303，用于根据下述步骤获取所述评测数据集：

按照设置的筛选条件，对原始数据集中包括的多个原始道路视频数据进行筛选，得到包括筛选后道路视频数据的候选数据集；其中，所述筛选后道路视频数据关联有对应的交通灯检测结果；

在获取到所述筛选后道路视频数据的交通灯标注结果之后，响应于对所述交通灯标注结果的校验操作，得到所述筛选后道路视频数据对应的校验结果；

在所述校验结果指示为校验通过的情况下，将包括所述交通灯标注结果、所述交通灯检测结果、和所述筛选后道路视频数据的候选数据集，确定为所述评测数据集。

一种可能的实施方式中，筛选条件包括以下至少一种：

所述原始道路视频数据中至少部分第二视频帧不存在对应的交通灯检测结果；

所述原始道路视频数据中，交通灯被遮挡的第二视频帧的第一数量、与多个第二视频帧的总数量之间的第一比例大于设置的第一比例阈值；

所述原始道路视频数据中，交通灯区域尺寸小于设置的尺寸阈值的第二视频帧的第二数量、与多个第二视频帧的总数量之间的第二比例大于设置的第二比例阈值；

采集所述原始道路视频数据时所使用的目标地图中至少一个交通灯的属性信息、与现实道路场景中交通灯的属性信息不一致；其中，所述属性信息包括以下至少一种：位置、数量和转向类型；

所述原始道路视频数据中，交通灯属性标注结果误差大于设置的误差阈值的第二视频帧的第三数量、与多个第二视频帧的总数量之间的第三比例大于设置的第三比例阈值；其中，所述交通灯属性标注结果为将所述目标地图中对应的交通灯属性信息投影至所述第二视频帧上得到的。

一种可能的实施方式中，所述系统还包括：标注模块304，所述标注模块304，用于采用以下步骤对所述道路视频数据的各个第二视频帧进行标注：

获取所述道路视频数据中各个第二视频帧的初始交通灯标注结果；

确定所述道路视频数据包括的各个第二视频帧中，指示交通灯颜色发生变化的关键视频帧；

将所述关键视频帧之前的多个在先视频帧中，每个在先视频帧作为待处理视频帧，基于所述待处理视频帧对应的初始交通灯标注结果指示的标注颜色、和所述待处理视频帧之前的第一预设数量个历史视频帧分别对应的标注颜色，确定目标颜色；并基于所述目标颜色，对所述待处理视频帧对应的标注颜色进行更新，得到所述待处理视频帧对应的交通灯标注结果；

基于所述道路视频数据中所述在先视频帧的交通灯标注结果、和除所述在先视频帧之外的第一其他视频帧的初始交通灯标注结果，生成所述道路视频数据中各个第二视频帧的交通灯标注结果。

一种可能的实施方式中，所述标注模块304，在确定所述关键视频帧之后，还用于：

基于所述关键视频帧中交通灯的标注颜色、和所述关键视频帧之前的相邻视频帧中同一交通灯的标注颜色，对所述关键视频帧之后的第二预设数量个在后视频帧中同一交通灯的标注颜色、和所述关键视频帧中同一交通灯的标注颜色进行更新，得到所述在后视频帧和所述关键视频帧对应的交通灯标注结果；

基于所述道路视频数据中所述关键视频帧和所述在后视频帧的交通灯标注结果、以及除所述关键视频帧和所述在后视频帧之外的第二其他视频帧的初始交通灯标注结果，生成所述道路视频数据中各个第二视频帧的交通灯标注结果。

一种可能的实施方式中，所述评测模块302，在根据所述道路视频数据中各个第一视频帧的所述交通灯检测结果，以及从所述评测数据集中获取的所述道路视频数据的各个第二视频帧的交通灯标注结果，生成所述待评测检测方法在至少一种场景维度下的评测结果时，用于：

针对每个所述第一视频帧，从获取的所述道路视频数据的各个第二视频帧中，确定与所述第一视频帧匹配的第二视频帧；

基于所述第一视频帧的所述交通灯检测结果、和与所述第一视频帧匹配的所述第二视频帧的所述交通灯标注结果，生成针对所述第一视频帧的中间检测结果；

基于各个所述第一视频帧分别对应的所述中间检测结果，生成所述待评测检测方法在至少一种场景维度下的评测结果。

一种可能的实施方式中，所述评测模块302，在从获取的所述道路视频数据的各个第二视频帧中，确定与所述第一视频帧匹配的第二视频帧时，用于：

基于所述道路视频数据的各个第二视频帧分别对应的第二时间戳、和所述第一视频帧对应的第一时间戳，确定各个所述第二视频帧对应的时间戳差值；

将所述时间戳差值最小的第二视频帧，确定为与所述第一视频帧匹配的第二视频帧。

一种可能的实施方式中，所述评测模块302，在所述基于各个所述第一视频帧分别对应的所述中间检测结果，生成所述待评测检测方法在至少一种场景维度下的评测结果时，用于：

获取所述道路视频数据的各个第二视频帧在多个场景维度上的场景标注结果；其中，所述场景维度包括以下至少一种：交通灯工作状态、遮挡情况、天气、光照、相机污损程度、交通灯高度；

基于与每个第一视频帧匹配的第二视频帧的所述场景标注结果、和各个所述第一视频帧分别对应的所述中间检测结果，生成所述待评测检测方法在至少一种场景维度下的评测结果。

一种可能的实施方式中，所述评测模块302，在所述基于与每个第一视频帧匹配的第二视频帧的所述场景标注结果、和各个所述第一视频帧分别对应的所述中间检测结果，生成所述待评测检测方法在至少一种场景维度下的评测结果时，用于：

基于与每个第一视频帧匹配的第二视频帧的所述场景标注结果，确定每种所述场景维度中各个场景属性分别包括的第一视频帧；

针对每种场景维度，基于该场景维度中每种所述场景属性包括的第一视频帧关联的中间检测结果，确定该场景属性下的评测指标；

根据该场景维度下各个场景属性分别对应的评测指标，生成所述待评测检测方法在该场景维度下的评测结果。

下述对待评测检测方法进行评测的过程进行示例性说明。

参见图4所示的评测过程，可以先利用安装在行驶装置比如车辆上的传感器采集原始道路视频数据，多个原始道路视频数据构成原始数据集，即原始case集；其中，该原始道路视频数据可以包括：待检测检测方法检测结果存在错误的数据。

在得到原始数据集之后，利用处理模块，按照设置的筛选条件，对原始数据集中包括的对个原始道路视频数据进行筛选，得到包括筛选后道路视频数据的候选数据集；其中，筛选后道路视频数据关联有对应的交通灯检测结果。

利用标注模块，对筛选后道路视频数据中的每个第二视频帧进行标注，得到筛选后道路视频数据中各个第二视频帧分别对应的初始交通灯标注结果，故得到已标注真值的case集。进而可以对筛选后道路视频数据中各个第二视频帧的初始交通灯标注结果进行真值预处理过程。

示例性的，可以从筛选后道路视频数据包括的各个第二视频帧中，确定关键视频帧。该关键视频帧指示现实道路场景中交通灯颜色发生变化。比如，采集第二视频帧1时，现实道路场景中交通灯颜色为黄色，采集第二视频帧2时，现实道路场景中交通灯颜色为红色，则将第二视频帧2确定为关键视频帧。

在确定了关键视频帧之后，可以确定位于关键视频帧之前的多个在先视频帧。再将每个在先视频帧作为待处理视频帧，基于待处理视频帧对应的初始交通灯标注结果指示的标注颜色、和待处理视频帧之前的第一预设数量个历史视频帧分别对应的标注颜色，确定目标颜色。

在待处理视频帧对应的标注颜色与目标颜色不一致时，可以将待处理视频帧对应的标注颜色更新为目标颜色，得到待处理视频帧对应的交通灯标注结果。在待处理视频帧对应的标注颜色与目标颜色一致时，则无需对待处理视频帧进行更新，并将待处理视频帧对应的初始交通灯标注结果，确定为待处理视频帧对应的交通灯标注结果。进而可以得到各个前视频帧分别对应的交通灯标注结果。其中，第一预设数量可以根据实际情况进行设置。

和/或，还可以基于关键视频帧中交通灯的标注颜色、和关键视频帧之前的相邻视频帧中同一交通灯的标注颜色，对关键视频帧之后的第二预设数量个在后视频帧的标注颜色和关键视频帧对应的标注颜色进行更新，得到在后视频帧和关键视频帧对应的交通灯标注结果。比如，在后视频帧和关键视频帧对应的交通灯标注结果指示：更新后的标注颜色可以包括关键视频帧中交通灯的标注颜色、和关键视频帧之前的相邻视频帧中同一交通灯的标注颜色。其中，第二预设数量可以根据实际情况进行设置。

进而，可以基于筛选后道路视频数据中在先视频帧的交通灯标注结果、和除在先视频帧之外的第一其他视频帧对应的初始交通灯标注结果，和/或，关键视频帧和在后视频帧的交通灯标注结果、与除关键视频帧和在后视频帧之外的第二其他视频帧的初始交通灯标注结果，生成筛选后道路视频数据中各个视频帧的交通灯标注结果。

响应于对交通灯标注结果的校验操作，得到筛选后道路视频数据对应的校验结果；在校验结果指示为校验不通过时，可以将校验不通过的筛选后道路视频数据从候选数据集中筛除，得到筛除后候选数据集，该筛除后候选数据集确定为评测数据集(即评测集)。即将校验成功的筛选后道路视频数据、与之关联的交通灯标注结果和交通灯检测结果，构成的候选数据集，确定为评测数据集。

利用回放模块，对评测数据集中的每个筛选后道路视频数据进行回放操作，得到筛选后道路视频数据中每个第一视频帧的交通灯检测结果。

利用评测模块，从回放模块中读取筛选后道路视频数据中各个第一视频帧分别对应的交通灯检测结果；以及从评测数据集中获取筛选后道路视频数据的各个第二视频帧的交通灯标注结果；并基于交通灯标注结果和交通灯检测结果，生成各个第一视频帧分别对应的中间检测结果；并可以用于基于获取道路视频数据的各个第二视频帧在多个场景维度上的场景标注结果、和各个第一视频帧分别对应的中间检测结果，生成待评测检测方法在至少一种场景维度下的评测结果；其中，场景维度可以包括以下至少一种：交通灯工作状态、遮挡情况、天气、光照、相机污损程度、交通灯高度。比如，评测结果可以包括：交通灯颜色分类评测结果(即交通等工作状态的评测结果)、遮挡情况分类评测结果、天气分类评测结果、光照分类评测结果、相机无损情况分类评测结果、交通灯高度分类评测结果等。

实施时，可以利用评测结果，对待评测算法进行全面评测；示例性的，若评测结果包括多个场景维度，分别为：交通灯工作状态、遮挡情况、天气、光照、相机污损情况、交通灯高度；在遮挡情况为无遮挡、天气为晴天、光照为夜晚有路灯、相机污损情况为无污损、交通灯高度为正常灯的情况下，则可以确定评测阈值为80分；若交通灯颜色分类评测结果为60分，则可以确定待评测检测方法的性能较差。

若评测结果包括多个场景维度，分别为：交通灯工作状态、遮挡情况、天气、光照、相机污损情况、交通灯高度；在遮挡情况为有遮挡(可以包括树木遮挡，杆件遮挡，大车遮挡等)、天气为雨天、光照为夜晚有路灯、相机污损情况为雨水污损、交通灯高度为低矮灯的情况下，则可以确定评测阈值为50分；若若交通灯颜色分类评测结果为60分，则可以确定待评测算法的性能较好。

在一些实施例中，本公开实施例提供的系统的具体步骤，与前述方法的具体内容相对应，其系统的具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。

基于同一技术构思，本公开实施例还提供了一种电子设备。参照图5所示，为本公开实施例提供的电子设备500的结构示意图，包括处理器501、存储器502、和总线503。其中，存储器502用于存储执行指令，包括内存5021和外部存储器5022；这里的内存5021也称内存储器，用于暂时存放处理器501中的运算数据，以及与硬盘等外部存储器5022交换的数据，处理器501通过内存5021与外部存储器5022进行数据交换，当电子设备500运行时，处理器501与存储器502之间通过总线503通信，使得处理器501在执行以下指令：

对获取的评测数据集中的每个道路视频数据进行回放操作，得到所述道路视频数据中每个第一视频帧的交通灯检测结果；其中，所述交通灯检测结果为待评测检测方法对道路视频数据进行检测得到的；

根据所述道路视频数据中各个第一视频帧的所述交通灯检测结果，以及从所述评测数据集中获取的所述道路视频数据的各个第二视频帧的交通灯标注结果，生成所述待评测检测方法在至少一种场景维度下的评测结果。

其中，处理器501的具体处理流程可以参照上述方法实施例的记载，这里不再赘述。

此外，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的评测方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。

本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的评测方法的步骤，具体可参见上述方法实施例，在此不再赘述。

其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种评测方法，其特征在于，包括：

对获取的评测数据集中的每个道路视频数据进行回放操作，得到所述道路视频数据中每个第一视频帧的交通灯检测结果；其中，所述交通灯检测结果为待评测检测方法对道路视频数据进行检测得到的；

根据所述道路视频数据中各个第一视频帧的所述交通灯检测结果，以及从所述评测数据集中获取的所述道路视频数据的各个第二视频帧的交通灯标注结果，生成所述待评测检测方法在至少一种场景维度下的评测结果；

采用以下步骤对所述道路视频数据的各个第二视频帧进行标注：

获取所述道路视频数据中各个第二视频帧的初始交通灯标注结果；

确定所述道路视频数据包括的各个第二视频帧中，指示交通灯颜色发生变化的关键视频帧；

将所述关键视频帧之前的多个在先视频帧中，每个在先视频帧作为待处理视频帧，基于所述待处理视频帧对应的初始交通灯标注结果指示的标注颜色、和所述待处理视频帧之前的第一预设数量个历史视频帧分别对应的标注颜色，确定目标颜色；并基于所述目标颜色，对所述待处理视频帧对应的标注颜色进行更新，得到所述待处理视频帧对应的交通灯标注结果；

基于所述道路视频数据中所述在先视频帧的交通灯标注结果、和除所述在先视频帧之外的第一其他视频帧的初始交通灯标注结果，生成所述道路视频数据中各个第二视频帧的交通灯标注结果；

在确定所述关键视频帧之后，还包括：

基于所述关键视频帧中交通灯的标注颜色、和所述关键视频帧之前的相邻视频帧中同一交通灯的标注颜色，对所述关键视频帧之后的第二预设数量个在后视频帧中同一交通灯的标注颜色、和所述关键视频帧中同一交通灯的标注颜色进行更新，得到所述在后视频帧和所述关键视频帧对应的交通灯标注结果；

基于所述道路视频数据中所述关键视频帧和所述在后视频帧的交通灯标注结果、以及除所述关键视频帧和所述在后视频帧之外的第二其他视频帧的初始交通灯标注结果，生成所述道路视频数据中各个第二视频帧的交通灯标注结果。

2.根据权利要求1所述的方法，其特征在于，获取所述评测数据集，包括：

按照设置的筛选条件，对原始数据集中包括的多个原始道路视频数据进行筛选，得到包括筛选后道路视频数据的候选数据集；其中，所述筛选后道路视频数据关联有对应的交通灯检测结果；

在获取到所述筛选后道路视频数据的交通灯标注结果之后，响应于对所述交通灯标注结果的校验操作，得到所述筛选后道路视频数据对应的校验结果；

在所述校验结果指示为校验通过的情况下，将包括所述交通灯标注结果、所述交通灯检测结果、和所述筛选后道路视频数据的候选数据集，确定为所述评测数据集。

3.根据权利要求2所述的方法，其特征在于，所述筛选条件包括以下至少一种：

所述原始道路视频数据中至少部分第二视频帧不存在对应的交通灯检测结果；

所述原始道路视频数据中，交通灯被遮挡的第二视频帧的第一数量、与多个第二视频帧的总数量之间的第一比例大于设置的第一比例阈值；

所述原始道路视频数据中，交通灯区域尺寸小于设置的尺寸阈值的第二视频帧的第二数量、与多个第二视频帧的总数量之间的第二比例大于设置的第二比例阈值；

采集所述原始道路视频数据时所使用的目标地图中至少一个交通灯的属性信息、与现实道路场景中交通灯的属性信息不一致；其中，所述属性信息包括以下至少一种：位置、数量和转向类型；

所述原始道路视频数据中，交通灯属性标注结果误差大于设置的误差阈值的第二视频帧的第三数量、与多个第二视频帧的总数量之间的第三比例大于设置的第三比例阈值；其中，所述交通灯属性标注结果为将所述目标地图中对应的交通灯属性信息投影至所述第二视频帧上得到的。

4.根据权利要求1~3任一所述的方法，其特征在于，所述根据所述道路视频数据中各个第一视频帧的所述交通灯检测结果，以及从所述评测数据集中获取的所述道路视频数据的各个第二视频帧的交通灯标注结果，生成所述待评测检测方法在至少一种场景维度下的评测结果，包括：

针对每个所述第一视频帧，从获取的所述道路视频数据的各个第二视频帧中，确定与所述第一视频帧匹配的第二视频帧；

基于所述第一视频帧的所述交通灯检测结果、和与所述第一视频帧匹配的所述第二视频帧的所述交通灯标注结果，生成针对所述第一视频帧的中间检测结果；

基于各个所述第一视频帧分别对应的所述中间检测结果，生成所述待评测检测方法在至少一种场景维度下的评测结果。

5.根据权利要求4所述的方法，其特征在于，从获取的所述道路视频数据的各个第二视频帧中，确定与所述第一视频帧匹配的第二视频帧，包括：

基于所述道路视频数据的各个第二视频帧分别对应的第二时间戳、和所述第一视频帧对应的第一时间戳，确定各个所述第二视频帧对应的时间戳差值；

将所述时间戳差值最小的第二视频帧，确定为与所述第一视频帧匹配的第二视频帧。

6.根据权利要求5所述的方法，其特征在于，所述基于各个所述第一视频帧分别对应的所述中间检测结果，生成所述待评测检测方法在至少一种场景维度下的评测结果，包括：

获取所述道路视频数据的各个第二视频帧在多个场景维度上的场景标注结果；其中，所述场景维度包括以下至少一种：交通灯工作状态、遮挡情况、天气、光照、相机污损程度、交通灯高度；

基于与每个第一视频帧匹配的第二视频帧的所述场景标注结果、和各个所述第一视频帧分别对应的所述中间检测结果，生成所述待评测检测方法在至少一种场景维度下的评测结果。

7.根据权利要求6所述的方法，其特征在于，所述基于与每个第一视频帧匹配的第二视频帧的所述场景标注结果、和各个所述第一视频帧分别对应的所述中间检测结果，生成所述待评测检测方法在至少一种场景维度下的评测结果，包括：

基于与每个第一视频帧匹配的第二视频帧的所述场景标注结果，确定每种所述场景维度中各个场景属性分别包括的第一视频帧；

针对每种场景维度，基于该场景维度中每种所述场景属性包括的第一视频帧关联的中间检测结果，确定该场景属性下的评测指标；

根据该场景维度下各个场景属性分别对应的评测指标，生成所述待评测检测方法在该场景维度下的评测结果。

8.一种评测系统，其特征在于，包括：

回放模块，用于对获取的评测数据集中的每个道路视频数据进行回放操作，得到所述道路视频数据中每个第一视频帧的交通灯检测结果；其中，所述交通灯检测结果为待评测检测方法对道路视频数据进行检测得到的；

评测模块，用于根据所述道路视频数据中各个第一视频帧的所述交通灯检测结果，以及从所述评测数据集中获取的所述道路视频数据的各个第二视频帧的交通灯标注结果，生成所述待评测检测方法在至少一种场景维度下的评测结果；

所述评测系统采用以下步骤对所述道路视频数据的各个第二视频帧进行标注：

获取所述道路视频数据中各个第二视频帧的初始交通灯标注结果；

确定所述道路视频数据包括的各个第二视频帧中，指示交通灯颜色发生变化的关键视频帧；

将所述关键视频帧之前的多个在先视频帧中，每个在先视频帧作为待处理视频帧，基于所述待处理视频帧对应的初始交通灯标注结果指示的标注颜色、和所述待处理视频帧之前的第一预设数量个历史视频帧分别对应的标注颜色，确定目标颜色；并基于所述目标颜色，对所述待处理视频帧对应的标注颜色进行更新，得到所述待处理视频帧对应的交通灯标注结果；

基于所述道路视频数据中所述在先视频帧的交通灯标注结果、和除所述在先视频帧之外的第一其他视频帧的初始交通灯标注结果，生成所述道路视频数据中各个第二视频帧的交通灯标注结果；

在确定所述关键视频帧之后，所述评测系统还用于：

基于所述关键视频帧中交通灯的标注颜色、和所述关键视频帧之前的相邻视频帧中同一交通灯的标注颜色，对所述关键视频帧之后的第二预设数量个在后视频帧中同一交通灯的标注颜色、和所述关键视频帧中同一交通灯的标注颜色进行更新，得到所述在后视频帧和所述关键视频帧对应的交通灯标注结果；

基于所述道路视频数据中所述关键视频帧和所述在后视频帧的交通灯标注结果、以及除所述关键视频帧和所述在后视频帧之外的第二其他视频帧的初始交通灯标注结果，生成所述道路视频数据中各个第二视频帧的交通灯标注结果。

9.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1-7任一所述的评测方法的步骤。

10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1-7任一所述的评测方法的步骤。