CN113469109B - 交通灯识别结果处理方法、装置、路侧设备及云控平台 - Google Patents

Abstract

本公开公开了一种交通灯识别结果处理方法、装置、路侧设备及云控平台。涉及人工智能技术领域，具体为自动驾驶技术及智能交通技术。具体实现方案为：获取目标视频中发生灯色切换时的多个待标注图像及对应的标注数据，各标注数据中包括对应的标注灯色；确定各标注数据中标注灯色对应的亮灯时间区间；确定目标视频中发生灯色切换时的多个识别图像、各识别图像对应的识别灯色及时间戳；根据各标注灯色及对应的亮灯时间区间、各识别灯色及对应的时间戳计算交通灯识别结果的正确率。能够有效减少对待标注图像的标注量，而且有效减少了计算量，提高了计算效率。

Description

交通灯识别结果处理方法、装置、路侧设备及云控平台

技术领域

本公开涉及人工智能技术领域，尤其涉及一种交通灯识别结果处理方法、装置、路侧设备及云控平台，可用于自动驾驶及智能交通。

背景技术

随着网络通信技术及人工智能技术的不断发展，自动驾驶技术及智能交通技术也获得了迅猛地发展。交通灯识别是自动驾驶技术和智能交通技术的重要组成部分，所以需要保证对交通灯识别结果的正确率。

目前在确定交通灯识别结果的正确率时，一般是先逐帧对交通灯的灯色进行标注。然后将每帧图像输入到预设的识别模型中进行识别，输出识别灯色。逐帧比较标注灯色与识别灯色是否一致，若一致，则确定识别正确，如不一致，则确定识别错误，进而计算出交通灯识别结果的正确率。

发明内容

本公开提供了一种交通灯识别结果处理方法、装置、路侧设备及云控平台。

根据本公开的第一方面，提供了一种交通灯识别结果处理方法，包括：

获取目标视频中发生灯色切换时的多个待标注图像及对应的标注数据，各所述标注数据中包括对应的标注灯色；

确定各所述标注数据中标注灯色对应的亮灯时间区间；

确定所述目标视频中发生灯色切换时的多个识别图像、各所述识别图像对应的识别灯色及时间戳；

根据各所述标注灯色及对应的亮灯时间区间、各所述识别灯色及对应的时间戳计算交通灯识别结果的正确率。

根据本公开的第二方面，提供了一种交通灯识别结果处理装置，包括：

获取单元，用于获取目标视频中发生灯色切换时的多个待标注图像及对应的标注数据，各所述标注数据中包括对应的标注灯色；

第一确定单元，用于确定各所述标注数据中标注灯色对应的亮灯时间区间；

第二确定单元，用于确定所述目标视频中发生灯色切换时的多个识别图像、各所述识别图像对应的识别灯色及时间戳；

计算单元，用于根据各所述标注灯色及对应的亮灯时间区间、各所述识别灯色及对应的时间戳计算交通灯识别结果的正确率。

根据本公开的第三方面，提供一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面所述的方法。

根据本公开的第四方面，提供一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行第一方面所述的方法。

根据本公开的第五方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序，所述计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得电子设备执行第一方面所述的方法。

根据本公开的第六方面，提供一种路侧设备，包括如第三方面所述的电子设备。

根据本公开的第七方面，提供一种云控平台，包括如第三方面所述的电子设备。

根据本公开的交通灯识别结果处理方法、装置、路侧设备及云控平台，通过技术解决了对目标视频中的待标注图像的标注量较大、计算交通灯识别结果正确率的计算量较大，计算效率较低的问题。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开提供的交通灯识别结果处理方法的一种网络架构示意图；

图2是根据本公开提供的交通灯识别结果处理方法的另一种网络架构示意图；

图3是根据本公开第一实施例提供的交通灯识别结果处理方法的流程示意图；

图4是根据本公开第二实施例提供的交通灯识别结果处理方法的流程示意图；

图5是根据本公开第二实施例提供的交通灯识别结果处理方法中步骤408的流程示意图；

图6是根据本公开第三实施例提供的交通灯识别结果处理方法中步骤4081的流程示意图；

图7是根据本公开第三实施例提供的交通灯识别结果处理方法中步骤4081a的流程示意图；

图8是根据本公开的提供的交通灯识别结果处理方法中将初始识别参考数据集拆分为两个的示意图；

图9是根据本公开第四实施例提供的交通灯识别结果处理方法的流程示意图；

图10是根据本公开第五实施例提供的交通灯识别结果处理方法的流程示意图；

图11是根据本公开第六实施例提供的交通灯识别结果处理装置的结构示意图；

图12是用来实现本公开实施例的交通灯识别结果处理方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

为了清楚理解本公开的技术方案，首先对现有技术的技术方案进行详细介绍。

交通灯识别是自动驾驶技术和智能交通技术的重要组成部分，所以需要保证对交通灯识别结果的正确率。在对交通灯进行识别时，首先需要对图像逐帧进行标注。具体地，需要由架设在监控灯杆或交通灯杆上的摄像头对路口的交通灯进行拍摄，形成视频或连续帧的图像。由于交通灯相对于摄像头的位置是不变的，所以在视频或连续帧的图像中交通灯的位置是不变的。可采用矩形框截取包括交通灯的视频或图像作为待标注图像。对待标注图像中的交通灯的灯色进行标注，形成标注图像。然后将待标注的图像作为待识别图像输入到预设的识别模型中进行识别，输出每个待识别图像的识别灯色。由于标注图像和待识别图像是一一匹配的，所以逐帧比较标注灯色与识别灯色是否一致。若一致，则确定识别正确，若不一致，则确定识别错误。计算出识别正确的待识别图像个数，并计算识别正确的待识别图像个数与所有待识别图像总个数的比值，进而计算出交通灯识别结果的正确率。

所以现有技术中计算交通灯识别结果正确率的方法，需要逐帧去标注交通灯的灯色，并且需要逐帧比较标注灯色与识别灯色是否一致，导致对待标注图像的标注量较大，并且计算量也较大，计算效率较低。

所以面对现有技术中的技术问题，发明人通过创造性的研究发现，衡量交通灯识别结果正确率的方法，不单单只有计算识别正确的待识别图像个数与所有待识别图像总个数的比值的这种方式。由于每个交通灯都会按照对应的预设时长亮灯，所以也可采用计算正确识别时长与总识别时长的比值来计算识别结果正确率。这种交通灯识别结果正确率的计算方式一个关键的环节是确定每个交通灯亮灯时间区间。每个交通灯的亮灯时间区间与灯色是否发生切换相关。所以在对图像进行标注时，只需要从目标视频中获取发生灯色切换时的多个图像作为待标注图像，对各待标注图像进行标注，以获得对应的标注数据。每相邻两个待标注图像对应的标注数据中灯色不同，在标注数据中还可包括待标注图像对应的时间戳。所以可根据相邻两个标注数据中的待标注图像对应的时间戳确定出标注出的灯色对应的亮灯时间区间。在预设的识别算法逐帧确定出目标视频中每个图像的识别灯色后，可确定出发生灯色切换时的多个识别图像，以及各识别图像对应的识别灯色及时间戳。进而可根据各标注灯色及对应的亮灯时间区间、各识别灯色及对应的时间戳计算出正确识别时长与总识别时长，根据正确识别时长与总识别时长确定交通灯识别结果的正确率。

由于在对目标视频中的图像进行标注时，只标注了发生灯色切换时的多个图像，所以有效减少了对待标注图像的标注量。而且只需要各标注灯色及对应的亮灯时间区间、各识别灯色及对应的时间戳就可确定出正确识别时长与总识别时长，进而计算出交通灯识别结果的正确率，而不需要逐帧比较标注灯色与识别灯色是否一致来计算交通灯识别结果的正确率，所以有效减少了计算量，提高了计算效率。

发明人基于上述的创造性发现，提出了本公开的技术方案。下面对本公开提供的交通灯识别结果处理方法的网络架构和应用场景进行介绍。

图1是根据本公开提供的交通灯识别结果处理方法的网络架构示意图，如图1所示，该网络架构中包括摄像头1及电子设备2。摄像头1用于对某一路口的交通灯进行拍摄，形成目标视频，并将拍摄好的目标视频发送给电子设备2，电子设备2向用户提供操作界面，使用户获取到发生灯色切换时的待标注图像，并对多个待标注图像进行灯色的标注，形成标注数据，电子设备获取到待标注图像及标注数据，并采用本公开中的交通灯识别结果处理方法计算交通灯识别结果的正确率。

或者，如图2所示，摄像头1将拍摄好的视频发送给服务器3，服务器3采用数据库对视频按照拍摄的交通灯位置进行分类存储。服务器3还向用户提供操作界面，使用户筛选出目标视频中发生灯色切换时的多个待标注图像，采用数据库对待标注图像进行存储。采用操作界面对待标注图像进行标注，形成标注数据，并采用数据库对标注数据进行存储。电子设备2通过与服务器3进行通信，获取到目标视频中发生灯色切换时的多个待标注图像及对应的标注数据，采用本公开中的交通灯识别结果处理方法计算交通灯识别结果的正确率。

本公开提供的交通灯识别结果处理方法的应用场景主要为对交通灯进行识别的预设识别模型的优劣进行评判。具体地，可通过计算出的交通灯识别结果的正确率，可定量地评判对交通灯进行识别的当前识别模型是否优于前一版本的识别模型。进而可不断对识别模型进行优化，采用最优的识别模型对交通灯进行识别。并将识别结果应用到自动驾驶技术及智能交通技术中。

以下将参照附图来具体描述本公开的实施例。

图3是根据本公开第一实施例提供的交通灯识别结果处理方法的流程示意图，如图3所示，本实施例提供的交通灯识别结果处理方法的执行主体为交通灯识别结果处理装置，该交通灯识别结果处理装置位于电子设备中，则本实施例提供的交通灯识别结果处理方法包括以下步骤：

步骤301，获取目标视频中发生灯色切换时的多个待标注图像及对应的标注数据。

本实施例中，目标视频为具有交通灯并需要对交通灯的灯色进行标注的视频。

具体地，本实施例中，作为一种可选实施方式，如图1所示，电子设备主动接收摄像头拍摄的目标视频，通过操作界面向用户逐帧展示目标视频。用户通过键盘、鼠标或触屏等对目标视频中发生灯色切换时的多个图像进行选中，进而电子设备获取到被选中的多个图像作为待标注图像。将待标注图像展示给用户，用户通过操作界面中的标注工具对各待标注图像中交通灯的灯色进行标注，形成对应的标注数据。

或者作为另一种可选实施方式，如图2所示，用户在通过服务器从目标视频中确定出发生灯色切换时的多个待标注图像。并在服务器中对待标注图像进行交通灯的标注，形成标注数据。电子设备向服务器发送获取请求，在获取请求中包括视频标识信息，服务器根据获取请求，获取到标识信息对应视频中发生灯色切换时的多个待标注图像及对应的标注数据，并发送给电子设备。

其中，在各待标注图像对应的标注数据中包括对应的标注灯色。需要说明的是，若待标注图像中交通灯有多个灯头，在标注数据中包括每个灯头对应的标注灯色。由于交通灯有红、绿、黄三种颜色，而且在标注过程中，目标视频中的待标注图像有可能存在质量问题，或者交通灯有发生故障的情况，所以在标注灯色中主要有红、绿、黄、未知四种灯色，每种标注灯色可采用一个数值表示，如红、绿、黄、未知四种灯色分别采用1-4表示。

如表1所示，在标注数据中还可以包括：是否为标注灯色切换点的取值、待标注图像对应的时间戳、交通灯朝向的取值等。

表1：标注数据示意表

其中，若待标注图像为目标视频中的第一幅图像或最后一幅图像，则对应的是否为标注灯色切换点的取值为0。若待标注图像不为目标视频中的第一幅图像也不为最后一幅图像，则对应的是否为标注灯色切换点的取值为1。

其中，待标注图像对应的时间戳可采用待标注图像对应的采集时间戳表示，或采用待标注图像的序号表示。需要说明的是，待标注图像的序号是单调递增的。即目标视频中，位置靠后的待标注图像的序号大于位置靠前的待标注图像的序号。

其中，交通灯朝向主要分为：东、西、南、北、东南、西南、东北、西北8个方向，所以交通灯朝向的取值可分别采用1-8表示。

步骤302，确定各标注数据中标注灯色对应的亮灯时间区间。

本实施例中，每个标注数据中除了包括标注灯色外，还包括了待标注图像对应的时间戳。由于每相邻两个标注数据，是灯色从一种灯色切换为另一种灯色对应的标注数据，所以通过每相邻两个标注数据中待标注图像对应的时间戳可确定标注灯色对应的亮灯时间区间。

步骤303，确定目标视频中发生灯色切换时的多个识别图像、各识别图像对应的识别灯色及时间戳。

具体地，本实施例中，在电子设备中可预先存储有预设的识别模型。电子设备可主动接收摄像头发送的目标视频或者从服务器中获取到目标视频。将目标视频逐帧输入到预设的识别模型中。预设的识别模型对每帧图像中的交通灯的灯色进行识别，输出识别灯色。然后根据每帧图像对应的识别结果筛选出发生灯色切换时的图像作为识别图像。并获取到识别图像对应的识别灯色。以及识别图像对应的序号或采集时间戳作为对应的时间戳。

其中，预设的识别模型输出的识别灯色可以为：红、绿、黄、未知四种灯色中的任意一种。

示例性的，如目标视频包括30帧图像。第1帧图像至第10帧图像对应的识别灯色为红色，第11帧图像至第20帧图像对应的识别灯色为绿色，第21帧图像至第22帧图像对应的识别灯色为黄色，第23帧图像至第30帧图像对应的识别灯色为红色。30帧图像对应的时间戳分别为0001-0030。则确定出的目标视频中发生灯色切换时的多个识别图像分别为第11帧图像，第21帧图像，第23帧图像。第11帧图像对应的灯色为绿色，时间戳为11。第21帧图像对应的灯色为黄色、时间戳为21、第23帧图像对应的灯色为红色，时间戳为23。由于第1帧图像为最初灯色，第30帧图像为最后灯色，所以也可将第1帧图像和第30帧图像也作为识别图像，对应的灯色分别为红色，时间戳分别为0001和0030。

步骤304，根据各标注灯色及对应的亮灯时间区间、各识别灯色及对应的时间戳计算交通灯识别结果的正确率。

本实施例中，由于识别灯色对应的时间戳会在目标视频中某标注灯色对应的亮灯时间区间内，所以可根据各标注灯色及对应的亮灯时间区间、各识别灯色及对应的时间戳确定出正确识别的亮灯时间区间和错误识别的亮灯时间区间，进而确定出正确识别时长和错误识别时长。根据正确识别时长和错误识别时长计算出交通灯识别结果的正确率。

本实施例提供的交通灯识别结果处理方法，通过获取目标视频中发生灯色切换时的多个待标注图像及对应的标注数据，各标注数据中包括对应的标注灯色；确定各标注数据中标注灯色对应的亮灯时间区间；确定目标视频中发生灯色切换时的多个识别图像、各识别图像对应的识别灯色及时间戳；根据各标注灯色及对应的亮灯时间区间、各识别灯色及对应的时间戳计算交通灯识别结果的正确率。由于在对目标视频中的图像进行标注时，只标注了发生灯色切换时的多个图像，所以有效减少了对待标注图像的标注量。而且只需要各标注灯色及对应的亮灯时间区间、各识别灯色及对应的时间戳就可确定出正确识别时长与总识别时长，进而计算出交通灯识别结果的正确率，而不需要逐帧比较标注灯色与识别灯色是否一致来计算交通灯识别结果的正确率，所以有效减少了计算量，提高了计算效率。

图4是根据本公开第二实施例提供的交通灯识别结果处理方法的流程示意图，如图4所示，本实施例提供的交通灯识别结果处理方法，在本公开上述实施例提供的交通灯识别结果处理方法的基础上，对步骤302-步骤304进行了进一步的细化，则本实施例提供的交通灯识别结果处理方法包括以下步骤：

步骤401，获取目标视频中发生灯色切换时的多个待标注图像及对应的标注数据。

其中，各标注数据中包括对应的标注灯色及待标注图像对应的时间戳。还可以包括是否为标注灯色切换点的取值。

如表2所示，为目标视频中多个待标注图像对应的标注数据。其中，待标注图像对应的时间戳采用待标注图像的序号表示。可以理解的是，若在标注数据中具有多个灯头，则可针对每个灯头，分别形成对应的多个标注数据，保证每相邻两个标注数据中的标注灯色是不同的。

表2：多个标注数据的示意表

需要说明的是，也可将目标视频中的第一幅图像和最后一幅图像也作为待标注图像，作为目标视频最开始识别出灯色的图像和最后识别出灯色的图像。目标视频中的第一幅图像并不是标注灯色切换点的图像，所以对应的是否为标注灯色切换点的取值为0。同理，若目标视频中的最后一幅图像也不是标注灯色切换点的图像，则对应的是否为标注灯色切换点的取值也为0。

步骤402，获取每相邻两个标注数据中各自待标注图像对应的时间戳。

步骤403，确定各自待标注图像对应的时间戳所形成的区间。

步骤404，将各自待标注图像对应的时间戳所形成的区间确定为对应相邻两个标注数据中前一标注数据中标注灯色对应的亮灯时间区间。

需要说明的是，步骤402-步骤404是实施例一中步骤302的一种可选实施方式。

具体地，获取每相邻两个标注数据，在每相邻两个标注数据中对应的标注灯色是不同的，说明每相邻两个标注数据中，前一标注数据的标注灯色在前一标注数据中待标注图像对应的时间戳亮起，在后一标注数据中待标注图像对应的时间戳切换为了后一标注数据中的标注灯色。所以前一标注数据的标注灯色对应的亮灯时间区间为前一标注数据中待标注图像对应的时间戳与后一标注数据中待标注图像对应的时间戳所形成的区间。

示例性的，如表2所示，第一个标注数据中标注灯色1对应的亮灯时间区间为[0002,0020]；第二个标注数据中标注灯色2对应的亮灯时间区间为[0020,0038]；第三个标注数据中标注灯色1对应的亮灯时间区间为[0038,0040]；第四个标注数据中标注灯色1对应的亮灯时间区间为[0040,0056]。

步骤405，将目标视频中的每帧图像输入到预设识别模型中。

步骤406，通过预设识别模型输出每帧图像的识别灯色。

步骤407，根据每帧图像的识别灯色筛选出发生灯色切换时的多个识别图像及识别图像对应的识别灯色。

需要说明的是，步骤405-步骤407是实施例一中步骤303的一种可选实施方式。

具体地，本实施例中，将目标视频逐帧输入到预设识别模型中，预设识别模型对每帧图像中的交通灯灯色进行识别，输出每帧图像对应的灯色，该灯色为识别灯色。由于目标视频中的每帧图像连续输入到预设识别模型中，所以输出的每帧图像中对应的交通灯的识别灯色按照输出顺序排布后能够代表识别出的目标视频中灯色的变化情况。所以从多个识别结果中确定出发生灯色切换时对应的那帧图像作为识别图像。并确定出识别图像对应的识别灯色，及识别图像的序号作为对应的时间戳。

需要说明的是，也可将目标视频中的第一幅图像和最后一幅图像也作为识别图像，作为目标视频最开始识别出灯色的识别图像和最后识别出灯色的识别图像。

步骤408，根据各标注灯色及对应的亮灯时间区间、各识别灯色及对应的时间戳确定正确识别时长及总识别时长。

具体地，本实施例中，由于各标注灯色都有对应的亮灯时间区间，将各亮灯时间区间拼接，就构成了整个目标视频的时长。所以各识别图像对应的时间戳是位于某个亮灯时间区间内的。有的识别图像对应的时间戳位于某个亮灯时间区间的边界上，有的识别图像对应的时间戳位于某个亮灯时间区间的非边界上。无论是哪种情况，都可根据标注灯色及对应的亮灯时间区间、各识别灯色及对应的时间戳确定出哪些时间区间的标注灯色与识别灯色相同，哪些时间区间的标注灯色与识别灯色不同，进而将各标注灯色与识别灯色相同的时间区间对应的时长累加，确定出正确识别时长。将各标注灯色与识别灯色不同的时间区间对应的时长累加，确定出错误识别时长。将正确识别时长和错误识别时长累加，确定出总识别时长。

步骤409，根据正确识别时长和总时长计算交通灯识别结果的正确率。

具体地，本实施例中，计算正确识别时长与总识别时长的比值，并将该比值确定为交通灯识别结果的正确率。

本实施例提供的交通灯识别结果处理方法，在确定各标注数据中标注灯色对应的亮灯时间区间时，获取每相邻两个标注数据中各自待标注图像对应的时间戳；确定各自待标注图像对应的时间戳所形成的区间；将各自待标注图像对应的时间戳所形成的区间确定为对应相邻两个标注数据中前一标注数据中标注灯色对应的亮灯时间区间，由于在标注数据中包括待标注图像对应的时间戳，所以可准确快速地根据相邻两个待标注图像对应的时间戳确定出标注灯色的亮灯时间区间。

本实施例提供的交通灯识别结果处理方法，在根据各标注灯色及对应的亮灯时间区间、各识别灯色及对应的时间戳计算交通灯识别结果的正确率时，根据各标注灯色及对应的亮灯时间区间、各识别灯色及对应的时间戳确定正确识别时长及总识别时长；根据正确识别时长和总识别时长计算交通灯识别结果的正确率。由于在确定正确识别时长时，而不需要逐帧比较标注灯色与识别灯色是否一致来确定，而是通过比较一段亮灯时间区间内的标注灯色与识别灯色是否一致确定，所以可有效减少确定正确识别时长的计算量，进而减少了确定交通灯识别结果正确率的计算量，有效提高了计算效率。

作为一种可选实施方式，本实施例中，如图5所示，步骤408包括以下步骤：

步骤4081，根据各标注灯色及对应的亮灯时间区间、各识别灯色及对应的时间戳确定正确识别时长和错误识别时长。

步骤4082，根据正确识别时长和错误识别时长确定总识别时长。

具体地，本实施例中，由于各识别图像对应的时间戳是位于某个亮灯时间区间内的。有的识别图像对应的时间戳位于某个亮灯时间区间的边界上，有的识别图像对应的时间戳位于某个亮灯时间区间的非边界上。可根据标注灯色及对应的亮灯时间区间、各识别灯色及对应的时间戳确定出哪些时间区间的标注灯色与识别灯色相同，哪些时间区间的标注灯色与识别灯色不同，将标注灯色与识别灯色相同的时间区间对应的时长进行累加，确定出正确识别时长。将各标注灯色与识别灯色不同的时间区间对应的时长累加，确定出错误识别时长。将正确识别时长和错误识别时长累加，确定出总识别时长。

作为一种可选实施方式，本实施例中，如图6所示，步骤4081包括以下步骤：

步骤4081a，根据各标注灯色及对应的亮灯时间区间、各识别灯色及对应的时间戳构建对应的目标识别参考数据集。

其中，在每个目标识别参考数据集中包括标注灯色，识别灯色，标注灯色与识别灯色一致或不一致的亮灯时间区间。

其中，标注灯色与识别灯色一致或不一致的亮灯时间区间是根据标注灯色对应的亮灯时间区间与识别灯色对应的时间戳确定的。

步骤4081b，判断各目标识别参考数据集中的识别灯色和标注灯色是否一致，若是，则执行步骤4081c，否则执行步骤4081d。

步骤4081c，根据灯色一致的目标识别参考数据集中的亮灯时间区间计算正确识别时长。

本实施例中，若确定至少一个目标识别参考数据集中的识别灯色和标注灯色一致，则根据灯色一致的目标识别参考数据集中的亮灯时间区间计算正确识别时长。在根据灯色一致的目标识别参考数据集中的亮灯时间区间计算正确识别时长时，若确定灯色一致的目标识别参考数据集为多个，则将灯色一致的目标识别参考数据集中的亮灯时间区间对应的时长进行求和运算，将求和运算结果确定为正确识别时长。若确定灯色一致的目标识别参考数据集为一个，则将该灯色一致的目标识别参考数据集中的亮灯时间区间对应的时长确定为正确识别时长。

步骤4081d，根据灯色不一致的目标识别参考数据集中的亮灯时间区间计算错误识别时长。

本实施例中，若确定至少一个目标识别参考数据集中的识别灯色和标注灯色不一致，则根据灯色不一致的目标识别参考数据集中的亮灯时间区间计算错误识别时长。在根据灯色不一致的目标识别参考数据集中的亮灯时间区间计算错误识别时长时，若确定灯色不一致的目标识别参考数据集为多个，则将灯色不一致的目标识别参考数据集中的亮灯时间区间对应的时长进行求和运算，将求和运算结果确定为错误识别时长。若确定灯色不一致的目标识别参考数据集为一个，则将该灯色不一致的目标识别参考数据集中的亮灯时间区间对应的时长确定为错误识别时长。

本实施例提供的交通灯识别结果处理方法，在根据各所述标注灯色及对应的亮灯时间区间、各所述识别灯色及对应的时间戳确定正确识别时长和错误识别时长时，根据各所述标注灯色及对应的亮灯时间区间、各所述识别灯色及对应的时间戳构建对应的目标识别参考数据集；判断各所述目标识别参考数据集中的识别灯色和所述标注灯色是否一致；若确定至少一个目标识别参考数据集中的识别灯色和所述标注灯色一致，则根据灯色一致的目标识别参考数据集中的亮灯时间区间计算正确识别时长；若确定至少一个目标识别参考数据集中的识别灯色和所述标注灯色不一致，则根据灯色不一致的目标识别参考数据集中的亮灯时间区间计算错误识别时长。由于在各目标识别参考数据集中既包括标注灯色及对应亮灯时间区间，又包括识别灯色及对应的时间戳，能够将进行标注灯色与识别灯色的快速对比，进而快速确定出灯色一致的时间区间及灯色不一致的时间区间，最终快速确定出正确识别时长和错误识别时长。

作为一种可选实施方式，如图7所示，步骤4081a包括以下步骤：

步骤4081a1，根据各标注灯色及对应的亮灯时间区间构建对应的初始识别参考数据集，各初始识别参考数据集中的识别灯色配置为空。

具体地，本实施例中，每个标注灯色及对应的亮灯时间区间、配置为空的识别灯色构成一个初始识别参考数据集。

示例性地，初始识别参考数据集可表示为GT,GT包括：[start_time，end_time]，gt_color和pred_color。其中[start_time，end_time]为亮灯时间区间，start_time为亮灯时间区间开始时间，end_time为亮灯时间区间结束时间。gt_color为标注灯色。pred_color为识别灯色。例如一个初始识别参考数据GT可表示为：{[0020，0038],2,[]}。2表示标注灯色为绿色，[]表示为空。

步骤4081a2，确定识别灯色对应的时间戳所在的亮灯时间区间，若识别灯色对应的时间戳未在所在的亮灯时间区间边界上，则将所在的亮灯时间区间对应的初始识别参考数据集拆分为两个。

本实施例中，如图8所示，[T_1,T_2]为初始识别参考数据集对应的亮灯时间区间，[T_1,T_2]对应的标注灯色为绿色。t_0,t_1和t_2分别为多个识别图像对应的时间戳，对应的识别灯色分别为红色、绿色和黄色。将每个识别灯色对应的时间戳与标注灯色对应的亮灯时间区间进行对比。识别灯色对应的时间戳会落在某个亮灯时间区间。若识别灯色对应的时间戳未在所在的亮灯时间区间边界上，而在亮灯时间区间的区间内部，则以时间戳为边界，将所在的亮灯时间区间对应的初始识别参考数据集拆分为两个。

示例性的，如图8所示，识别灯色为绿色的时间戳为t_1，位于初始识别参考数据集对应的亮灯时间区间[T_1，T_2]内部，在亮灯时间区间[T_1，T_2]对应的标注灯色为绿色，则将该初始识别参考数据集拆分为两个，拆分后的一个初始识别参考数据集对应的亮灯时间区间为[T_1，t_1]，标注灯色为绿色。拆分后的另一个初始识别参考数据集对应的亮灯时间区间为[t_1，T_2]，标注灯色为绿色。

步骤4081a3，根据时间戳对应的识别灯色确定拆分后的每个初始识别参考数据集对应的识别灯色。

本实施例中，获取将标注灯色对应的亮灯时间区间拆分为两个亮灯时间区间的时间戳前一时间戳对应的识别灯色，将前一时间戳对应的识别灯色确定为拆分后的两个亮灯时间区间的前一个亮灯时间区间对应的初始识别参考数据集中的识别灯色。将该时间戳对应的识别灯色确定为拆分后的两个亮灯时间区间的后一个亮灯时间区间对应的初始识别参考数据集中的识别灯色。

示例性的，如图8所示，时间戳为t_0对应的识别灯色为红色，该时间戳为位于t_1前一时间戳。则[T_1，t_1]对应的初始识别参考数据集中的识别灯色为红色。[t_1，T_2]对应的初始识别参考数据集中的识别灯色为t_1对应的识别灯色，具体为绿色。

步骤4081a4，将每个初始识别参考数据集对应的识别灯色添加到对应的初始识别参考数据集中，形成目标识别参考数据集。

本实施例中，将每个初始识别参考数据集对应的识别灯色添加到对应的初始识别参考数据集中。继续以步骤4081a3中的示例进行说明，例如初始识别参考数据集为GT：{[T_1，T_2],2,[]}则形成的两个目标识别参考数据集分别为GT1’和GT2’。GT1’为：[T_1，t_1]，2,1],GT2’为：{[t_1，T_2],2,2}。

可以理解的是，若识别灯色对应的时间戳在所在的亮灯时间区间边界上，则无需将初始识别参考数据集拆分为两个，若时间戳位于所在的亮灯时间区间的左边界上，则该初始识别参考数据集对应的目标识别参考数据集中的识别灯色为该时间戳对应的识别灯色。若时间戳位于所在的亮灯时间区间的右边界上，则判断该时间戳的前一时间戳是否落入该亮灯时间区间内，若否，则将该初始识别参考数据集对应的目标识别参考数据集中的识别灯色为该时间戳对应的识别灯色。若是，则继续根据前一时间戳落入在该亮灯时间区间内位置判断亮灯时间区间内的识别灯色。具体判断方式与步骤4081a2-步骤4081a4类似，在此不再一一赘述。

步骤4081a5，判断是否存在某初始识别参考数据集未被拆分为两个，若是，则执行步骤4081a6，否则结束。

本实施例中，若存在某初始识别参考数据集未被拆分为两个，则说明仍然存在初始识别参考数据集中识别灯色配置为空，需要确定该初始识别参考数据集中的识别灯色，形成对应的目标识别参考数据集。

步骤4081a6，判断该初始识别参考数据集前一初始识别参考数据集对应的目标识别参考数据集中的识别灯色与后一初始识别参考数据集对应的目标识别参考数据集中的识别灯色是否一致，若是，则执行步骤4081a7，否则执行步骤4081a8。

步骤4081a7，将前一初始识别参考数据集对应的目标识别参考数据集中的识别灯色确定为该初始识别参考数据集对应的目标识别参考数据集中的识别灯色。

本实施例中，若确定初始识别参考数据集前一初始识别参考数据集对应的目标识别参考数据集中的识别灯色与后一初始识别参考数据集对应的目标识别参考数据集中的识别灯色一致，则说明该初始识别参考数据集对应的目标识别参考数据集中的灯色也应该为与前一初始识别参考数据集对应的目标识别参考数据集中的识别灯色及后一初始识别参考数据集对应的目标识别参考数据集中的识别灯色一致的灯色。则将前一初始识别参考数据集对应的目标识别参考数据集中的识别灯色确定为该初始识别参考数据集对应的目标识别参考数据集中的识别灯色。

步骤4081a8，将该初始识别参考数据集对应的目标识别参考数据集中的识别灯色取值为预设数值，预设数值不同于任意一种识别灯色的取值。

本实施例中，若确定初始识别参考数据集前一初始识别参考数据集对应的目标识别参考数据集中的识别灯色与后一初始识别参考数据集对应的目标识别参考数据集中的识别灯色不一致，则说明该初始识别参考数据集对应的亮灯时间区间在识别过程中存在异常，则将该初始识别参考数据集对应的目标识别参考数据集中的识别灯色取值为预设数值，该预设数值表示存在异常的预设数值，并且为了和其他识别灯色进行区分，预设数值不同于任意一种识别灯色的取值。例如该预设数值为-1。

本实施例提供的交通灯识别结果处理方法，在根据各标注灯色及对应的亮灯时间区间、各识别灯色及对应的时间戳构建对应的目标识别参考数据集时，在每个目标识别参考数据集中包括亮灯时间区间，以及在该亮灯时间区间内的标注灯色及识别灯色，能够在计算正确识别时长和错误识别时长时，将目标识别参考数据集中的标注灯色和识别灯色进行快速对比，进而快速确定出目标识别参考数据集中亮灯时间区间对应的时长为正确识别时长或是错误识别时长，进一步提高了交通灯识别结果正确率的计算效率。

图9是根据本公开第四实施例提供的交通灯识别结果处理方法的流程示意图，如图9所示，本实施例提供的交通灯识别结果处理方法在实施例二提供的交通灯识别结果处理方法的基础上，对步骤4081a的进一步细化，初始识别参考数据集中还包括：亮度时间区间的边界点是否为标注灯色切换点的取值。则在4081a2之后，还包括以下步骤：

步骤4081a21，确定拆分后的每个初始识别参考数据集对应的亮度时间区间的左右边界点是否为标注灯色切换点。

步骤4081a22，将左右边界点是否为标注的灯色切换点的取值添加到对应的目标识别参考数据集中。

具体地，本实施例中，在未对初始识别参考数据集进行拆分前，初始识别参考数据集中的亮度时间区间的边界点是否为标注灯色切换点的取值与亮度时间区间对应的标注数据中是否为标注灯色切换点的取值是一致的。若左右任意一个边界点为标注灯色切换点，则取值为1。若左右任意一个边界点不为标注灯色切换点，则取值为0。

然而在对初始识别参考数据集进行拆分后，拆分后的前一初始识别参考数据集中对应的亮度时间区间的左边界点为原有亮度时间区间的左边界点，取值与拆分前的左边界点是否为标注灯色切换点的取值相同。而亮度时间区间的右边界点为识别图像对应的时间戳，不为标注灯色切换点，所以确定右边界点是否为标注灯色切换点的取值为0。而对于后一初始识别参考数据集，对应的亮度时间区间的右边界点为原有亮度时间区间的右边界点，取值与拆分前的右边界点是否为标注灯色切换点的取值相同。而亮度时间区间的左边界点为识别图像对应的时间戳，不为标注灯色切换点，所以确定左边界点是否为标注灯色切换点的取值为0。将确定出的左右边界点是否为标注的灯色切换点的取值添加到对应的目标识别参考数据集中。

示例性的，若初始识别参考数据集为GT：{[T_1，T_2],2,[]，1,1}，亮度时间区间[T_1，T_2]被时间戳t_1拆分后，形成的两个目标识别参考数据集分别为GT1’和GT2’。GT1’为：{[T_1，t_1]，2,1，1,0]},GT2’为：{[t_1，T_2],2,2,0,1}。其中，GT1’中的最后两个数值1和0，表示该亮度时间区间的左边界点为标注灯色切换点，右边界点不为标注灯色切换点。GT2’中的最后两个数值0和1表示该亮度时间区间的左边界点不为标注灯色切换点，右边界点为标注灯色切换点。

需要说明的是，若识别图像对应的时间戳位于某亮度时间区间的左边界或右边界上，则确定对应的目标识别参考数据集时，将与识别图像对应的时间戳重合的边界上的是否为标注灯色切换点的取值从1更新为0。

图10是根据本公开第五实施例提供的交通灯识别结果处理方法的流程示意图，如图10所示，本实施例提供的交通灯识别结果处理方法在实施例四提供的交通灯识别结果处理方法的基础上，对步骤4081c和步骤4081d的进一步细化，则步骤4081c具体包括：根据灯色一致的目标识别参考数据集中的亮灯时间区间及对应的左右边界点是否为标注的灯色切换点的取值计算正确识别时长。则根据灯色一致的目标识别参考数据集中的亮灯时间区间及对应的左右边界点是否为标注的灯色切换点的取值计算正确识别时长具体包括以下步骤：

步骤4081c1，将各亮灯时间区间对应的左右边界点是否为标注灯色切换点的取值分别进行求和。

其中，各亮灯时间区间对应的左边界点是否为标注灯色切换点可表示为left_is_gt_switch。各亮灯时间区间对应的右边界点是否为标注灯色切换点可表示为right_is_gt_switch。将左右边界点是否为标注灯色切换点的取值分别进行求和可表示为：left_is_gt_switch+right_is_gt_switch。

步骤4081c2，将求和结果与预设标注时长误差系数进行乘法运算，以获得对应的标注时长误差。

其中，预设标注时长误差系数可以为(0，1)之间的取值，如可以为0.x或0.0x。其中，x的取值为(0，1)之间的数值。

所以本实施例中，若预设标注时长误差系数为0.x，则标注时长误差可表示为：(left_is_gt_switch+right_is_gt_switch)*0.x。

步骤4081c3，计算各灯色一致的目标识别参考数据集中的亮灯时间区间对应的时长与对应的标注时长误差的差值，以获得排除误差后的亮灯时长。

其中，灯色一致的目标识别参考数据集中的亮灯时间区间可表示为：[start_time,end_time]，所以排除误差后的亮灯时长可表示为：

duration1＝end_time-start_time–(left_is_gt_switch+right_is_gt_switch)*0.x。

步骤4081c4，将各排除误差后的亮灯时长进行求和运算，以获得正确识别时长。

本实施例中，按照目标识别参考数据集的顺序，一一确定每个目标识别参考数据集的标注灯色与识别灯色是否一致，在标注灯色与识别灯色一致的情况下，计算出排除误差后的亮灯时长，并进行求和运算，求和运算的结果为正确识别时长。

需要说明的是，步骤4081d具体为：根据灯色不一致的目标识别参考数据集中的亮灯时间区间及对应的左右边界点是否为标注的灯色切换点的取值计算错误识别时长。具体实现方式与步骤4081c1-步骤4081c4的实现方式类似，在此不再一一赘述。

本实施例提供的交通灯识别结果处理方法，在根据灯色一致的目标识别参考数据集中的亮灯时间区间及对应的左右边界点是否为标注的灯色切换点的取值计算正确识别时长时，将各亮灯时间区间对应的左右边界点是否为标注灯色切换点的取值进行求和；将求和结果与预设标注时长误差系数进行乘法运算，以获得对应的标注时长误差；计算各灯色一致的目标识别参考数据集中的亮灯时间区间对应的时长与对应的标注时长误差的差值，以获得排除误差后的亮灯时长；将各排除误差后的亮灯时长进行求和运算，以获得正确识别时长。能够在计算正确识别时长时，将标注时长误差考虑进去，能够使计算出的正确识别时长更加准确。同理在计算错误识别时长时，将标注时长误差考虑进去，能够使计算出的错误识别时长更加准确，进而使计算出的交通灯识别结果的正确率更加准确。

作为一种可选实施方式，本实施例中，标注数据中还包括：是否为满足质量要求的标注数据标识，初始识别参考数据集和目标识别参考数据集中还包括：是否参与正确率计算的标识。

相应地，在步骤4081b之前，还包括：根据各目标识别参考数据集中是否参与正确率计算的标识信息，对目标识别参考数据集进行选择，以筛选出包括参与正确率计算的标识的目标识别参考数据集的步骤。

其中，在标注数据中包括是否为满足质量要求的标注数据标识。如满足质量要求的标注数据标识为0，不满足质量要求的标注数据标识为1。则在构建的初始识别参考数据集中包括是否参与正确率计算的标识。与初始识别参考数据集相关的标注数据中有一个不满足质量要求的标注数据，则初始识别参考数据集中就为不参与正确率计算的标识。其中，参与正确率计算的标识信息为0，不参与正确率计算的标识信息为1。目标识别参考数据集中的是否参与正确率计算的标识与相关的初始识别参考数据集中是否参与正确率计算的标识一致。

具体地，本实施例中，判断各目标识别参考数据集中是否参与正确率计算的标识是否为0，若是，则说明该目标识别参考数据集可参与正确率计算。若否，则说明该目标识别参考数据集不参与正确率计算。筛选出参与正确率计算的标识的目标识别参考数据集，再执行步骤4081b，即判断各目标识别参考数据集中的识别灯色和标注灯色是否一致。

本实施例提供的交通灯识别结果处理方法，通过标注数据中还包括：是否为满足质量要求的标注数据标识，初始识别参考数据集和目标识别参考数据集中还包括：是否参与正确率计算的标识，判断各目标识别参考数据集中的识别灯色和标注灯色是否一致之前，根据各目标识别参考数据集中是否参与正确率计算的标识信息，对目标识别参考数据集进行选择，以筛选出包括参与正确率计算的标识的目标识别参考数据集，能够在计算正确率之前，将不符合计算正确率要求的目标识别参考数据集进行删除，能有效排除对交通僧识别结果正确率的干扰，进一步提高计算正确率的准确性。

图11是根据本公开第六实施例提供的交通灯识别结果处理装置的结构示意图，如图11所示，本实施例提供的交通灯识别结果处理装置1100包括：获取单元1101，第一确定单元1102，第二确定单元1103，计算单元1104。

其中，获取单元1101，用于获取目标视频中发生灯色切换时的多个待标注图像及对应的标注数据，各标注数据中包括对应的标注灯色。第一确定单元1102，用于确定各标注数据中标注灯色对应的亮灯时间区间。第二确定单元1103，用于确定目标视频中发生灯色切换时的多个识别图像、各识别图像对应的识别灯色及时间戳。计算单元1104，用于根据各标注灯色及对应的亮灯时间区间、各识别灯色及对应的时间戳计算交通灯识别结果的正确率。

本实施例提供的交通灯识别结果处理装置可以执行图3所示方法实施例的技术方案，其实现原理和技术效果与图3所示方法实施例类似，在此不再一一赘述。

可选地，标注数据中还包括：待标注图像对应的时间戳；

第一确定单元1102，获取模块，第一计算模块和第一确定模块。

其中，获取模块，用于获取每相邻两个标注数据中各自待标注图像对应的时间戳。第一计算模块，用于计算后一标注数据中待标注图像对应的时间戳与前一标注数据中待标注图像对应的时间戳的差值。第一确定模块，用于将差值确定为前一标注数据中标注灯色对应的亮灯时间区间。

可选地，第二确定单元1103，包括：输入模块，输出模块，筛选模块。

其中，输入模块，用于将目标视频中的每帧图像输入到预设识别模型中。输出模块，用于通过预设识别模型输出每帧图像的识别灯色。筛选模块，用于根据每帧图像的识别灯色筛选出发生灯色切换时的多个识别图像及识别图像对应的识别灯色。

可选地，计算单元1104，包括：第二确定模块和第二计算模块。

其中，第二确定模块，用于根据各标注灯色及对应的亮灯时间区间、各识别灯色及对应的时间戳确定正确识别时长及总识别时长。第二计算模块，用于根据正确识别时长和总识别时长计算交通灯识别结果的正确率。

可选地，第二确定模块，包括：第一确定子模块和第二确定子模块。

其中，第一确定子模块，用于根据各标注灯色及对应的亮灯时间区间、各识别灯色及对应的时间戳确定正确识别时长和错误识别时长。第二确定子模块，用于根据正确识别时长和错误识别时长确定总识别时长。

可选地，第一确定子模块，具体用于：

根据各标注灯色及对应的亮灯时间区间、各识别灯色及对应的时间戳构建对应的目标识别参考数据集；判断各目标识别参考数据集中的识别灯色和标注灯色是否一致；若确定至少一个目标识别参考数据集中的识别灯色和标注灯色一致，则根据灯色一致的目标识别参考数据集中的亮灯时间区间计算正确识别时长；若确定至少一个目标识别参考数据集中的识别灯色和标注灯色不一致，则根据灯色不一致的目标识别参考数据集中的亮灯时间区间计算错误识别时长。

可选地，第一确定子模块，在若确定灯色一致的目标识别参考数据集为多个，则根据灯色一致的目标识别参考数据集中的亮灯时间区间计算正确识别时长时，具体用于：

将灯色一致的目标识别参考数据集中的亮灯时间区间进行求和运算；将求和运算结果确定为正确识别时长。

可选地，第一确定子模块，在根据各标注灯色及对应的亮灯时间区间、各识别灯色及对应的时间戳构建对应的目标识别参考数据集时，具体用于：

根据各标注灯色及对应的亮灯时间区间构建对应的初始识别参考数据集，各初始识别参考数据集中的识别灯色配置为空；确定识别灯色对应的时间戳所在的亮灯时间区间，若识别灯色对应的时间戳未在所在的亮灯时间区间边界上，则将所在的亮灯时间区间对应的初始识别参考数据集拆分为两个；根据时间戳对应的识别灯色确定拆分后的每个初始识别参考数据集对应的识别灯色；将每个初始识别参考数据集对应的识别灯色添加到对应的初始识别参考数据集中，形成目标识别参考数据集。

可选地，若存在某初始识别参考数据集未被拆分为两个，则第一确定子模块，还用于：

判断该初始识别参考数据集前一初始识别参考数据集对应的目标识别参考数据集中的识别灯色与后一初始识别参考数据集对应的目标识别参考数据集中的识别灯色是否一致；若确定一致，则将前一初始识别参考数据集对应的目标识别参考数据集中的识别灯色确定为该初始识别参考数据集对应的目标识别参考数据集中的识别灯色；若确定不一致，则将该初始识别参考数据集对应的目标识别参考数据集中的识别灯色取值为预设数值，预设数值不同于任意一种识别灯色的取值。

可选地，初始识别参考数据集中还包括：亮度时间区间的边界点是否为标注灯色切换点的取值；

第一确定子模块，在将所在的亮灯时间区间对应的初始识别参考数据集拆分为两个之后，还用于：

确定拆分后的每个初始识别参考数据集对应的亮度时间区间的左右边界点是否为标注灯色切换点；将左右边界点是否为标注的灯色切换点的取值添加到对应的目标识别参考数据集中。

可选地，第一确定子模块，在根据灯色一致的目标识别参考数据集中的亮灯时间区间计算正确识别时长时，具体用于：

根据灯色一致的目标识别参考数据集中的亮灯时间区间及对应的左右边界点是否为标注的灯色切换点的取值计算正确识别时长。

可选地，第一确定子模块，在根据灯色一致的目标识别参考数据集中的亮灯时间区间及对应的左右边界点是否为标注的灯色切换点的取值计算正确识别时长时，具体用于：

将各亮灯时间区间对应的左右边界点是否为标注灯色切换点的取值分别进行求和；将求和结果与预设标注时长误差系数进行乘法运算，以获得对应的标注时长误差；计算各灯色一致的目标识别参考数据集中的亮灯时间区间对应的时长与对应的标注时长误差的差值，以获得排除误差后的亮灯时长；将各排除误差后的亮灯时长进行求和运算，以获得正确识别时长。

可选地，标注数据中还包括：是否为满足质量要求的标注数据标识，初始识别参考数据集和目标识别参考数据集中还包括：是否参与正确率计算的标识；

相应地，第一确定子模块，在判断各目标识别参考数据集中的识别灯色和标注灯色是否一致之前，还用于：

根据各目标识别参考数据集中是否参与正确率计算的标识，对目标识别参考数据集进行选择，以筛选出包括参与正确率计算的标识的目标识别参考数据集。

本实施例提供的交通灯识别结果处理装置可以执行图4-图7，图9-图10所示方法实施例的技术方案，其实现原理和技术效果与图4-图7，图9-图10所示方法实施例类似，在此不再一一赘述。

根据本公开的实施例，本公开还提供了一种电子设备和一种可读存储介质。

根据本公开的实施例，本公开还提供了一种计算机程序产品，计算机程序产品包括：计算机程序，计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。

图12是用来实现本公开实施例的交通灯识别结果处理方法的电子设备的框图。电子设备1200旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图12所示，电子设备1200包括计算单元1201，其可以根据存储在只读存储器(ROM)1202中的计算机程序或者从存储单元1208加载到随机访问存储器(RAM)1203中的计算机程序，来执行各种适当的动作和处理。在RAM 1203中，还可存储设备1200操作所需的各种程序和数据。计算单元1201、ROM 1202以及RAM 1203通过总线1204彼此相连。输入/输出(I/O)接口1205也连接至总线1204。

设备1200中的多个部件连接至I/O接口1205，包括：输入单元1206，例如键盘、鼠标等；输出单元1207，例如各种类型的显示器、扬声器等；存储单元12012，例如磁盘、光盘等；以及通信单元1209，例如网卡、调制解调器、无线通信收发机等。通信单元1209允许电子设备1200通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元1201可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1201的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1201执行上文所描述的各个方法和处理，例如交通灯识别结果处理方法。例如，在一些实施例中，交通灯识别结果处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1208。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1202和/或通信单元1209而被载入和/或安装到设备1200上。当计算机程序加载到RAM 1203并由计算单元1201执行时，可以执行上文描述的用于网络拥塞控制的神经网络模型训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元1201可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行用于网络拥塞控制的神经网络模型训练方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

根据本公开的实施例，本公开还提供了一种路侧设备，包括如上述实施例提供的电子设备。

可选的，路侧设备除了包括电子设备，还可以包括通信部件等，电子设备可以和通信部件一体集成，也可以分体设置。电子设备可以获取感知设备(如路侧相机)的数据，例如图片和视频等，从而进行图像视频处理和数据计算。可选的，电子设备自身也可以具备感知数据获取功能和通信功能，例如是AI相机，电子设备可以直接基于获取的感知数据进行图像视频处理和数据计算。

根据本公开的实施例，本公开还提供了一种云控平台，包括如上述实施例提供的电子设备。

可选地，云控平台在云端执行处理，云控平台包括的电子设备可以获取感知设备(如路侧相机)的数据，例如图片和视频等，从而进行图像视频处理和数据计算；云控平台也可以称为车路协同管理平台、边缘计算平台、云计算平台、中心系统、云端服务器等。

本公开提供一种交通灯识别结果处理方法、装置、设备、介质及产品，应用于自动驾驶及智能交通，由于在对目标视频中的图像进行标注时，只标注了发生灯色切换时的多个图像，而且只需要各标注灯色及对应的亮灯时间区间、各识别灯色及对应的时间戳就可确定出正确识别时长与总识别时长，进而计算出交通灯识别结果的正确率，而不需要逐帧比较标注灯色与识别灯色是否一致来计算交通灯识别结果的正确率，所以有效减少了计算量，提高了计算效率。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (28)

1.一种交通灯识别结果处理方法，包括：

获取目标视频中发生灯色切换时的多个待标注图像及对应的标注数据，各所述标注数据中包括对应的标注灯色；

确定各所述标注数据中标注灯色对应的亮灯时间区间；

确定所述目标视频中发生灯色切换时的多个识别图像、各所述识别图像对应的识别灯色及时间戳；

根据各所述标注灯色及对应的亮灯时间区间、各所述识别灯色及对应的时间戳确定正确识别时长及总识别时长；

根据所述正确识别时长和所述总识别时长计算交通灯识别结果的正确率。

2.根据权利要求1所述的方法，其中，所述标注数据中还包括：待标注图像对应的时间戳；

所述确定各所述标注数据中标注灯色对应的亮灯时间区间，包括：

获取每相邻两个标注数据中各自待标注图像对应的时间戳；

确定各自待标注图像对应的时间戳所形成的区间；

将所述各自待标注图像对应的时间戳所形成的区间确定为对应相邻两个标注数据中前一标注数据中标注灯色对应的亮灯时间区间。

3.根据权利要求1所述的方法，其中，所述确定所述目标视频中发生灯色切换时对应的多个识别图像、各所述识别图像对应的识别灯色，包括：

将所述目标视频中的每帧图像输入到预设识别模型中；

通过所述预设识别模型输出每帧图像的识别灯色；

根据每帧图像的识别灯色筛选出发生灯色切换时的多个识别图像及识别图像对应的识别灯色。

4.根据权利要求1所述的方法，其中，所述根据各所述标注灯色及对应的亮灯时间区间、各所述识别灯色及对应的时间戳确定正确识别时长及总识别时长，包括：

根据各所述标注灯色及对应的亮灯时间区间、各所述识别灯色及对应的时间戳确定正确识别时长和错误识别时长；

根据所述正确识别时长和错误识别时长确定总识别时长。

5.根据权利要求4所述的方法，其中，所述根据各所述标注灯色及对应的亮灯时间区间、各所述识别灯色及对应的时间戳确定正确识别时长和错误识别时长，包括：

根据各所述标注灯色及对应的亮灯时间区间、各所述识别灯色及对应的时间戳构建对应的目标识别参考数据集；

判断各所述目标识别参考数据集中的识别灯色和所述标注灯色是否一致；

若确定至少一个目标识别参考数据集中的识别灯色和所述标注灯色一致，则根据灯色一致的目标识别参考数据集中的亮灯时间区间计算正确识别时长；

若确定至少一个目标识别参考数据集中的识别灯色和所述标注灯色不一致，则根据灯色不一致的目标识别参考数据集中的亮灯时间区间计算错误识别时长。

6.根据权利要求5所述的方法，其中，若确定灯色一致的目标识别参考数据集为多个，则所述根据灯色一致的目标识别参考数据集中的亮灯时间区间计算正确识别时长，包括：

将灯色一致的目标识别参考数据集中的亮灯时间区间对应的时长进行求和运算；

将求和运算结果确定为正确识别时长。

7.根据权利要求5所述的方法，其中，所述根据各所述标注灯色及对应的亮灯时间区间、各所述识别灯色及对应的时间戳构建对应的目标识别参考数据集，包括：

根据各所述标注灯色及对应的亮灯时间区间构建对应的初始识别参考数据集，各所述初始识别参考数据集中的识别灯色配置为空；

确定所述识别灯色对应的时间戳所在的亮灯时间区间，若识别灯色对应的时间戳未在所在的亮灯时间区间边界上，则将所在的亮灯时间区间对应的初始识别参考数据集拆分为两个；

根据所述时间戳对应的识别灯色确定拆分后的每个初始识别参考数据集对应的识别灯色；

将所述每个初始识别参考数据集对应的识别灯色添加到对应的初始识别参考数据集中，形成目标识别参考数据集。

8.根据权利要求7所述的方法，其中，若存在某初始识别参考数据集未被拆分为两个，则还包括：

判断该初始识别参考数据集前一初始识别参考数据集对应的目标识别参考数据集中的识别灯色与后一初始识别参考数据集对应的目标识别参考数据集中的识别灯色是否一致；

若确定一致，则将前一初始识别参考数据集对应的目标识别参考数据集中的识别灯色确定为该初始识别参考数据集对应的目标识别参考数据集中的识别灯色；

若确定不一致，则将该初始识别参考数据集对应的目标识别参考数据集中的识别灯色取值为预设数值，所述预设数值不同于任意一种识别灯色的取值。

9.根据权利要求7所述的方法，其中，所述初始识别参考数据集中还包括：亮度时间区间的边界点是否为标注灯色切换点的取值；

所述将所在的亮灯时间区间对应的初始识别参考数据集拆分为两个之后，还包括：

确定拆分后的每个初始识别参考数据集对应的亮度时间区间的左右边界点是否为标注灯色切换点；

将左右边界点是否为标注的灯色切换点的取值添加到对应的目标识别参考数据集中。

10.根据权利要求9所述的方法，所述根据灯色一致的目标识别参考数据集中的亮灯时间区间计算正确识别时长，包括：

根据灯色一致的目标识别参考数据集中的亮灯时间区间及对应的左右边界点是否为标注的灯色切换点的取值计算正确识别时长。

11.根据权利要求10所述的方法，其中，所述根据灯色一致的目标识别参考数据集中的亮灯时间区间及对应的左右边界点是否为标注的灯色切换点的取值计算正确识别时长，包括：

将各亮灯时间区间对应的左右边界点是否为标注灯色切换点的取值分别进行求和；

将求和结果与预设标注时长误差系数进行乘法运算，以获得对应的标注时长误差；

计算各灯色一致的目标识别参考数据集中的亮灯时间区间对应的时长与对应的标注时长误差的差值，以获得排除误差后的亮灯时长；

将各排除误差后的亮灯时长进行求和运算，以获得正确识别时长。

12.根据权利要求7所述的方法，其中，标注数据中还包括：是否为满足质量要求的标注数据标识，所述初始识别参考数据集和所述目标识别参考数据集中还包括：是否参与正确率计算的标识；

判断各所述目标识别参考数据集中的识别灯色和所述标注灯色是否一致之前，还包括：

根据各所述目标识别参考数据集中是否参与正确率计算的标识，对所述目标识别参考数据集进行选择，以筛选出包括参与正确率计算的标识的目标识别参考数据集。

13.一种交通灯识别结果处理装置，包括：

获取单元，用于获取目标视频中发生灯色切换时的多个待标注图像及对应的标注数据，各所述标注数据中包括对应的标注灯色；

第一确定单元，用于确定各所述标注数据中标注灯色对应的亮灯时间区间；

第二确定单元，用于确定所述目标视频中发生灯色切换时的多个识别图像、各所述识别图像对应的识别灯色及时间戳；

计算单元，包括第二确定模块和第二计算模块；

所述第二确定模块，用于根据各所述标注灯色及对应的亮灯时间区间、各所述识别灯色及对应的时间戳确定正确识别时长及总识别时长；

所述第二计算模块，用于根据所述正确识别时长和所述总识别时长计算交通灯识别结果的正确率。

14.根据权利要求13所述的装置，其中，所述标注数据中还包括：待标注图像对应的时间戳；

所述第一确定单元，包括：

获取模块，用于获取每相邻两个标注数据中各自待标注图像对应的时间戳；

第一计算模块，用于计算后一标注数据中待标注图像对应的时间戳与前一标注数据中待标注图像对应的时间戳的差值；

第一确定模块，用于将所述差值确定为前一标注数据中标注灯色对应的亮灯时间区间。

15.根据权利要求13所述的装置，其中，所述第二确定单元，包括：

输入模块，用于将所述目标视频中的每帧图像输入到预设识别模型中；

输出模块，用于通过所述预设识别模型输出每帧图像的识别灯色；

筛选模块，用于根据每帧图像的识别灯色筛选出发生灯色切换时的多个识别图像及识别图像对应的识别灯色。

16.根据权利要求13所述的装置，其中，所述第二确定模块，包括：

第一确定子模块，用于根据各所述标注灯色及对应的亮灯时间区间、各所述识别灯色及对应的时间戳确定正确识别时长和错误识别时长；

第二确定子模块，用于根据所述正确识别时长和错误识别时长确定总识别时长。

17.根据权利要求16所述的装置，其中，所述第一确定子模块，具体用于：

根据各所述标注灯色及对应的亮灯时间区间、各所述识别灯色及对应的时间戳构建对应的目标识别参考数据集；

判断各所述目标识别参考数据集中的识别灯色和所述标注灯色是否一致；

若确定至少一个目标识别参考数据集中的识别灯色和所述标注灯色一致，则根据灯色一致的目标识别参考数据集中的亮灯时间区间计算正确识别时长；

若确定至少一个目标识别参考数据集中的识别灯色和所述标注灯色不一致，则根据灯色不一致的目标识别参考数据集中的亮灯时间区间计算错误识别时长。

18.根据权利要求17所述的装置，其中，所述第一确定子模块，在若确定灯色一致的目标识别参考数据集为多个，则所述根据灯色一致的目标识别参考数据集中的亮灯时间区间计算正确识别时长时，具体用于：

将灯色一致的目标识别参考数据集中的亮灯时间区间进行求和运算；

将求和运算结果确定为正确识别时长。

19.根据权利要求17所述的装置，其中，所述第一确定子模块，在所述根据各所述标注灯色及对应的亮灯时间区间、各所述识别灯色及对应的时间戳构建对应的目标识别参考数据集时，具体用于：

根据各所述标注灯色及对应的亮灯时间区间构建对应的初始识别参考数据集，各所述初始识别参考数据集中的识别灯色配置为空；

确定所述识别灯色对应的时间戳所在的亮灯时间区间，若识别灯色对应的时间戳未在所在的亮灯时间区间边界上，则将所在的亮灯时间区间对应的初始识别参考数据集拆分为两个；

根据所述时间戳对应的识别灯色确定拆分后的每个初始识别参考数据集对应的识别灯色；

将所述每个初始识别参考数据集对应的识别灯色添加到对应的初始识别参考数据集中，形成目标识别参考数据集。

20.根据权利要求19所述的装置，其中，若存在某初始识别参考数据集未被拆分为两个，则所述第一确定子模块，还用于：

判断该初始识别参考数据集前一初始识别参考数据集对应的目标识别参考数据集中的识别灯色与后一初始识别参考数据集对应的目标识别参考数据集中的识别灯色是否一致；

若确定一致，则将前一初始识别参考数据集对应的目标识别参考数据集中的识别灯色确定为该初始识别参考数据集对应的目标识别参考数据集中的识别灯色；

若确定不一致，则将该初始识别参考数据集对应的目标识别参考数据集中的识别灯色取值为预设数值，所述预设数值不同于任意一种识别灯色的取值。

21.根据权利要求19所述的装置，其中，所述初始识别参考数据集中还包括：亮度时间区间的边界点是否为标注灯色切换点的取值；

所述第一确定子模块，在所述将所在的亮灯时间区间对应的初始识别参考数据集拆分为两个之后，还用于：

确定拆分后的每个初始识别参考数据集对应的亮度时间区间的左右边界点是否为标注灯色切换点；

将左右边界点是否为标注的灯色切换点的取值添加到对应的目标识别参考数据集中。

22.根据权利要求21所述的装置，所述第一确定子模块，在所述根据灯色一致的目标识别参考数据集中的亮灯时间区间计算正确识别时长时，具体用于：

根据灯色一致的目标识别参考数据集中的亮灯时间区间及对应的左右边界点是否为标注的灯色切换点的取值计算正确识别时长。

23.根据权利要求22所述的装置，其中，所述第一确定子模块，在所述根据灯色一致的目标识别参考数据集中的亮灯时间区间及对应的左右边界点是否为标注的灯色切换点的取值计算正确识别时长时，具体用于：

将各亮灯时间区间对应的左右边界点是否为标注灯色切换点的取值分别进行求和；

将求和结果与预设标注时长误差系数进行乘法运算，以获得对应的标注时长误差；

计算各灯色一致的目标识别参考数据集中的亮灯时间区间对应的时长与对应的标注时长误差的差值，以获得排除误差后的亮灯时长；

将各排除误差后的亮灯时长进行求和运算，以获得正确识别时长。

24.根据权利要求19所述的装置，其中，标注数据中还包括：是否为满足质量要求的标注数据标识，所述初始识别参考数据集和所述目标识别参考数据集中还包括：是否参与正确率计算的标识；

所述第一确定子模块，在所述判断各所述目标识别参考数据集中的识别灯色和所述标注灯色是否一致之前，还用于：

根据各所述目标识别参考数据集中是否参与正确率计算的标识，对所述目标识别参考数据集进行选择，以筛选出包括参与正确率计算的标识的目标识别参考数据集。

25.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-12中任一项所述的方法。

26.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1-12中任一项所述的方法。

27.一种路侧设备，包括如权利要求25所述的电子设备。

28.一种云控平台，包括如权利要求25所述的电子设备。

Images