CN114913525A - 一种交通信号灯识别方法、装置、设备及存储介质 - Google Patents

Abstract

本申请公开了一种交通信号灯识别方法、装置、设备及存储介质，涉及机器视觉技术领域，包括：确定原始信号灯图像包含所有灯组的最小外接矩形，并对最小外接矩形区域进行裁剪，得到初始感兴趣区域图像；判断初始感兴趣区域图像的尺寸大小是否满足预设尺寸条件；若不满足，则将初始感兴趣区域图像进行再分割得到满足预设尺寸条件的目标感兴趣图像；将目标感兴趣图像输入至基于卷积神经网络算法构建的语义分割网络，得到包含不同像素点类别的语义分割图像；基于语义分割图像中各像素点类别对应的像素点个数和像素点的位置实现交通信号灯的识别以及信号灯眼的强化。本申请能够提高复杂场景下交通信号灯识别的准确率并提高信号灯识别的处理效率。

Description

一种交通信号灯识别方法、装置、设备及存储介质

技术领域

本发明涉及机器视觉技术领域，特别涉及一种交通信号灯识别方法、装置、设备及存储介质。

背景技术

当前，随着汽车的逐渐普及，在城市十字路口安装电子警察系统，对闯红灯等违章行为进行监控成为智能交通管理的趋势。交通信号灯的识别状态在电子交警违章判罚过程中起着重要的作用，信号灯的识别结果直接决定了相关判罚的准确率。由于信号灯本身的复杂性和多样性，以及信号灯在光线和环境影响下极易出现偏色和过曝的情况，使得对复杂交通场景下的信号灯识别的现有技术很难实现快速、准确的识别效果。

因此，如何提高复杂场景下信号灯的识别效率和准确度是本领域技术人员目前需要解决的问题。

发明内容

有鉴于此，本发明的目的在于提供一种交通信号灯识别方法、装置、设备及存储介质，能够解决复杂场景下交通信号灯识别准确率低的问题，提高信号灯识别的处理效率。其具体方案如下：

第一方面，本申请公开了一种交通信号灯识别方法，包括：

确定原始信号灯图像包含所有灯组的最小外接矩形，并对所述最小外接矩形区域进行裁剪，得到初始感兴趣区域图像；

判断所述初始感兴趣区域图像的尺寸大小是否满足预设尺寸条件；

若不满足所述预设尺寸条件，则对所述初始感兴趣区域图像进行再分割，以得到多个分割区域；

对多个所述分割区域进行裁剪，得到与所述多个分割区域分别对应的多张灯组图像，并对所述多张灯组图像进行拼接以得到满足所述预设尺寸条件的目标感兴趣图像；

将所述目标感兴趣图像输入至基于卷积神经网络算法构建的语义分割网络，得到所述语义分割网络输出的包含不同像素点类别的语义分割图像；

基于所述语义分割图像中各所述像素点类别对应的像素点个数，确定所述原始信号灯图像对应的当前交通场景的信号灯识别结果。

可选的，所述确定原始信号灯图像包含所有灯组的最小外接矩形，并对所述最小外接矩形区域进行裁剪，得到初始感兴趣区域图像，包括：

确定原始信号灯图像中所有信号灯组的位置区域；

基于所述位置区域确定所述原始信号灯图像包含所有所述信号灯组的最小外接矩形；

按照第一预设裁剪尺寸对所述最小外接矩形区域进行裁剪，得到初始感兴趣区域图像。

可选的，所述判断所述初始感兴趣区域图像的尺寸大小是否满足预设尺寸条件之后，还包括：

若所述初始感兴趣区域图像的尺寸大小满足所述预设尺寸条件，则将所述初始感兴趣区域图像确定为目标感兴趣图像。

可选的，所述对所述初始感兴趣区域图像进行再分割，包括：

从所述初始感兴趣区域图像上的所有任意相邻灯组中选取出相隔距离最远的两个相邻灯组，并基于所述相隔距离最远的两个相邻灯组各自对应的目标坐标对所述初始感兴趣区域图像进行再分割。

可选的，所述基于所述语义分割图像中各所述像素点类别对应的像素点个数，确定所述原始信号灯图像对应的当前交通场景的信号灯识别结果，包括：

统计所述语义分割图像中所有灯眼对应的各所述像素点类别对应的像素点个数；

从所述语义分割图像上的每个灯眼中，分别确定出对应于最多所述像素点个数的所述像素点类别，得到每个所述灯眼对应的目标像素点类别；

将所述目标像素点类别对应的颜色确定为所述灯眼的灯眼颜色，并基于每个所述灯眼对应的所述灯眼颜色确定所述原始信号灯图像对应的当前交通场景的信号灯识别结果。

可选的，所述将所述目标像素点类别对应的颜色确定为所述灯眼的灯眼颜色之后，还包括：

判断所述灯眼的所述灯眼颜色是否与所述灯眼对应的原始配置颜色集中的颜色相一致；

如果所述灯眼的所述灯眼颜色与所述原始配置颜色集中的所有颜色均不一致，则判定当前所述灯眼的所述灯眼颜色为异常识别颜色，并将所述灯眼的所述灯眼颜色修改为所述灯眼处于灭灯状态时对应的颜色。

可选的，所述基于每个所述灯眼对应的所述灯眼颜色确定所述原始信号灯图像对应的当前交通场景的信号灯识别结果，包括：

从所有所述灯眼中选取具有相同的预设交通指示方向的多个灯眼，得到各所述预设交通指示方向对应的多个目标灯眼；

判断各所述预设交通指示方向中的所述多个目标灯眼之间的灯眼颜色是否一致；

如果一致，则将所述灯眼颜色确定为所述预设交通指示方向的信号灯识别结果；

如果不一致，则将所述预设交通指示方向中的所述多个目标灯眼对应的所述灯眼颜色修改为所述目标灯眼处于所述灭灯状态时对应的颜色。

可选的，所述基于所述语义分割图像中各所述像素点类别对应的像素点个数，确定所述原始信号灯图像对应的当前交通场景的信号灯识别结果之后，还包括：

从所述语义分割图像中确定出目标灯眼的定位区域；

从所述定位区域中提取出与所述目标灯眼的发光区域对应的掩码区域；

根据识别出的所述目标灯眼对应的目标灯眼颜色对所述目标感兴趣图像上的与所述掩码区域对应的图像区域进行颜色填充，以得到颜色强化后的所述图像区域。

第二方面，本申请公开了一种交通信号灯识别装置，包括：

初始图像确定模块，用于确定原始信号灯图像包含所有灯组的最小外接矩形，并对所述最小外接矩形区域进行裁剪，得到初始感兴趣区域图像；

条件判断模块，用于判断所述初始感兴趣区域图像的尺寸大小是否满足预设尺寸条件；

图像再分割模块，用于当所述初始感兴趣区域图像的尺寸大小不满足所述预设尺寸条件，则对所述初始感兴趣区域图像进行再分割，以得到多个分割区域；

区域裁剪模块，用于对多个所述分割区域进行裁剪，得到与所述多个分割区域分别对应的多张灯组图像；

图像拼接模块，用于对所述多张灯组图像进行拼接以得到满足所述预设尺寸条件的目标感兴趣图像；

图像语义分割模块，用于将所述目标感兴趣图像输入至基于卷积神经网络算法构建的语义分割网络，得到所述语义分割网络输出的包含不同像素点类别的语义分割图像；

识别结果确定模块，用于基于所述语义分割图像中各所述像素点类别对应的像素点个数，确定所述原始信号灯图像对应的当前交通场景的信号灯识别结果。

第三方面，本申请公开了一种电子设备，包括：

存储器，用于保存计算机程序；

处理器，用于执行所述计算机程序，以实现前述公开的交通信号灯识别方法的步骤。

第四方面，本申请公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的交通信号灯识别方法的步骤。

可见，本申请提供了一种交通信号灯识别方法，包括：确定原始信号灯图像包含所有灯组的最小外接矩形，并对所述最小外接矩形区域进行裁剪，得到初始感兴趣区域图像；判断所述初始感兴趣区域图像的尺寸大小是否满足预设尺寸条件；若不满足所述预设尺寸条件，则对所述初始感兴趣区域图像进行再分割，以得到多个分割区域；对多个所述分割区域进行裁剪，得到与所述多个分割区域分别对应的多张灯组图像；对所述多张灯组图像进行拼接以得到满足所述预设尺寸条件的目标感兴趣图像；将所述目标感兴趣图像输入至基于卷积神经网络算法构建的语义分割网络，得到所述语义分割网络输出的包含不同像素点类别的语义分割图像；基于所述语义分割图像中各所述像素点类别对应的像素点个数，确定所述原始信号灯图像对应的当前交通场景的信号灯识别结果。由此可见，本申请将原始信号灯图像输入至语义分割网络之前，先对所述原始信号灯图像进行裁剪得到初始感兴趣区域图像，再将不满足预设条件的初始感兴趣区域图像进行再分割以确定目标感兴趣图像，从而能够提高语义分割网络的准确率，确保后续信号灯识别的效果，然后将所述目标感兴趣图像输入至基于卷积神经网络算法构建的语义分割网络，得到相应的包含不同像素点类别的语义分割图像，通过解析语义分割网络输出的语义分割图像，能够基于解析得到所述语义分割图像中各所述像素点类别对应的像素点个数实现信号灯状态的识别，从而确定所述原始信号灯图像对应的当前交通场景的信号灯识别结果。

综上可知，本申请利用一个语义分割网络完成信号灯识别的技术方案性能开销小、鲁棒性强，不受环境的影响，不依赖先验知识，能够解决复杂场景下交通信号灯识别准确率低的问题，提高信号灯识别的整体处理效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请公开的一种交通信号灯识别方法流程图；

图2a为本申请公开的一种原始信号灯图像示意图；

图2b为本申请公开的一种原始信号灯图像对应的最小外接矩形示意图；

图2c为本申请公开的一种外扩α倍的初始感兴趣区域图像示意图；

图3为本申请公开的一种初始感兴趣区域图像示意图；

图4为本申请公开的一种初始感兴趣图像再分割流程图；

图5为本申请公开的一种交通信号灯识别装置结构示意图；

图6为本申请公开的一种电子设备结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

当前，交通信号灯的识别状态在电子交警违章判罚过程中起着重要的作用，交通信号灯的识别结果直接决定了相关判罚的准确率。由于信号灯本身的复杂性和多样性，以及信号灯在光线和环境影响下极易出现偏色和过曝的情况，使得现有技术很难达到快速、准确的识别效果。为此，本申请提供了一种交通信号灯识别方法，解决复杂场景下交通信号灯识别准确率低的问题，提高信号灯识别的整体处理效率。

本发明实施例公开了一种交通信号灯识别方法，参见图1所示，该方法包括：

步骤S11：确定原始信号灯图像包含所有灯组的最小外接矩形，并对所述最小外接矩形区域进行裁剪，得到初始感兴趣区域图像。

本实施例中，首先确定原始信号灯图像中包含所有灯组的最小外接矩形，并对所述最小外接矩形区域进行裁剪，得到初始感兴趣区域图像，对于每一个语义分割网络的输入都需要获取初始感兴趣区域。

本实施例中，所述确定原始信号灯图像包含所有灯组的最小外接矩形，可以包括：确定原始信号灯图像中所有信号灯组的位置区域；基于所述位置区域确定所述原始信号灯图像包含所有所述信号灯组的最小外接矩形。可以理解的是，在每一个实际交通场景下，每一个交通信号灯组的位置区域都是固定的，所以在整个工程开始之前，利用预先配置的信号灯组区域框，从所述原始信号灯图像中提取出所有信号灯组的位置区域，也就是说，通过按照信号灯组的实际外框对原始信号灯图像中所有信号灯组进行绘制，得到预先配置的信号灯组区域框，所以能够利用预先配置的信号灯组区域框，从所述原始信号灯图像中提取出所有信号灯组的位置区域，最后基于所有信号灯组的位置区域确定所述原始信号灯图像包含所有所述信号灯组的最小外接矩形。

并且，对所述最小外接矩形区域进行裁剪，得到初始感兴趣区域图像时，可以按照第一预设裁剪尺寸对所述最小外接矩形区域进行裁剪，得到初始感兴趣区域图像。也就是说，上述初始感兴趣区域图像是在最小外接矩形的基础上外扩α倍的图像，例如，如图2a为原始信号灯图像，图2b为上述图2a的原始信号灯图像对应的最小外接矩形，然后在最小外接矩形的基础上外扩α倍，得到用于语义分割的初始感兴趣区域图像，图2c即为在上述图2b的区域上外扩α倍的初始感兴趣区域图像。其中，α的数值可以取1.4。

步骤S12：判断所述初始感兴趣区域图像的尺寸大小是否满足预设尺寸条件。

本实施例中，在得到初始感兴趣区域图像之后，首先需要判断该初始感兴趣区域图像的尺寸大小是否满足预设尺寸条件，例如，判断初始感兴趣区域图像对应的图像尺寸中的高或宽是否不大于γ倍的语义分割网络的图像输入尺寸，其中，γ的数值可以取2。

步骤S13：若不满足所述预设尺寸条件，则对所述初始感兴趣区域图像进行再分割，以得到多个分割区域。

可以理解的是，实际交通场景中信号灯种类繁多，存在多灯组、多灯眼、灯组间距离大及特殊灯组的特殊场景，并且实际交通场景下的灯组个数最多可达到8个，并且每个灯组内的灯眼数最多可以达到12个，从而使得随机获取到的当前帧原始信号灯图像的图像尺寸过大，不满足语义分割网络的输入要求，例如，当原始信号灯图像中的灯组个数较多且灯组距离较大时，比如，两个灯组分别在路口的两边，或者是，灯组个数较多，且灯组包含横向灯组和纵向灯组时，即使对原始信号灯图像进行初次裁剪后得到初始感兴趣区域图像之后，该初始感兴趣区域图像的图像尺寸还是远超过规定的输入至语义分割网络的图像尺寸的问题，若直接将不满足预设尺寸条件的初始感兴趣区域图像送入语义分割网络，首先需要对该初始感兴趣区域图像进行压缩处理，然而高倍率的压缩会使得初始感兴趣区域图像中的灯眼更小，直接影响语义分割网络的分割效果，因此将初始感兴趣区域图像输入至语义分割网络之前，需要对初始感兴趣区域图像进行相关的再分割，并且处理后得到的图像包含了原始信号灯图像中所有灯组且满足预设尺寸条件，从而提高了网络语义分割的准确率，并确保后续识别和强化的效果。

本实施例中，若所述初始感兴趣区域图像的尺寸大小不满足所述预设尺寸条件，则基于预设分割原则对所述初始感兴趣区域图像进行再分割，以得到多个分割区域。可以理解的是，初始感兴趣区域图像的尺寸大小不满足所述预设尺寸条件，则需要对初始感兴趣区域图像进行再分割，也就是说，初始感兴趣区域图像对应的图像尺寸中的高或宽大于γ倍的语义分割网络的图像输入尺寸，则需要基于预设分割原则对所述初始感兴趣区域图像进行再分割，也即，从所述初始感兴趣区域图像上的所有任意相邻灯组中选取出相隔距离最远的两个相邻灯组，并基于所述相隔距离最远的两个相邻灯组各自对应的目标坐标对所述初始感兴趣区域图像进行再分割。选取出相隔距离最远的两个相邻灯组之后，就基于所述相隔距离最远的两个相邻灯组各自对应的目标坐标对所述初始感兴趣区域图像进行再分割。如图3所示，有四个灯组，其中相邻灯组2和灯组3间的距离最大，此时我们会在灯组2和灯组3之间进行分割，将灯组2的右上角和右下角的水平方向上的较大坐标确定为灯组2对应的目标坐标，以及将灯组3的左上角和左下角的水平方向上的较小坐标确定为灯组3对应的目标坐标，然后基于灯组2对应的目标坐标和灯组3对应的目标坐标对所述初始感兴趣区域图像进行再分割，再分割得到多个分割区域。

步骤S14：对多个所述分割区域进行裁剪，得到与所述多个分割区域分别对应的多张灯组图像，并对所述多张灯组图像进行拼接以得到满足所述预设尺寸条件的目标感兴趣图像。

本实施例中，可以按照第二预设裁剪尺寸对多个所述分割区域进行裁剪，得到与所述多个分割区域分别对应的多张灯组图像；对所述多张灯组图像进行拼接以得到满足所述预设尺寸条件的目标感兴趣图像。其中，按照第二预设裁剪尺寸对多个所述分割区域进行裁剪得到的多张灯组图像，是在裁剪得到的图像的基础上外扩β倍的图像。需要指出的是，对分割区域进行裁剪时，是对包含有灯组的分割区域进行裁剪，从而得到与包含有灯组的分割区域分别对应的灯组图像。其中，β的数值可以取1。

本实施例中，如果所述初始感兴趣区域图像的尺寸大小满足所述预设尺寸条件，也就是说，初始感兴趣区域图像对应的图像尺寸中的高或宽不大于γ倍的语义分割网络的图像输入尺寸，即初始感兴趣区域图像的宽高比正常，则说明并非为灯组间距离大等的复杂路口信号灯识别场景，可以直接将所述初始感兴趣区域图像确定为目标感兴趣区域图像，上述目标感兴趣区域图像满足输入至语义分割网络的输入尺寸要求。

例如，如图4所示，获取随帧原始信号灯图像，对原始信号灯图像进行初次裁剪，获取到初始感兴趣区域图像，判断初始感兴趣区域图像的图像尺寸对应的高或宽是否大于γ倍的语义分割网络规定的图像输入的高或宽，如果初始感兴趣区域图像的图像尺寸对应的高或宽大于γ倍的语义分割网络规定的图像输入的高或宽，则选取初始感兴趣区域图像中相隔距离最远的两个相邻灯组，并基于所述相隔距离最远的两个相邻灯组各自对应的目标坐标对所述初始感兴趣区域图像进行再分割，获取到裁剪后的多张灯组图像，并对多张灯组图像进行拼接得到目标感兴趣图像。如果初始感兴趣区域图像的图像尺寸对应的高或宽不大于γ倍的语义分割网络规定的图像输入的高或宽，则直接将初始感兴趣区域图像确定为目标感兴趣图像。

步骤S15：将所述目标感兴趣图像输入至基于卷积神经网络算法构建的语义分割网络，得到所述语义分割网络输出的包含不同像素点类别的语义分割图像。

需要指出的是，由于信号灯种类繁多，场景复杂，所以为了保证交通信号灯分割的效果，用于对语义分割网络进行训练的训练素材可以包括圆灯、箭头灯、数字灯及条形灯等，并且涵盖白天、夜间、强光、逆光等多个场景，还可以包含单灯组、多灯组、过曝、偏色灯等训练素材。用像素“0”标注背景点，用像素“1”标注红色灯眼，用像素“2”标注黄色灯眼，用像素“3”标注绿色灯眼，将标注好的灯眼图像作为标签样本，然后将处理好的训练素材及标签样本输入至基于卷积神经网络算法构建的语义分割网络进行训练，例如，将上述训练素材和上述标签样本输入至优化后的Unet分割网络进行训练。

本实施例中，将所述目标感兴趣区域图像输入至训练好的语义分割网络中，得到高精度的语义分割图像，也即，上述语义分割网络输出的语义分割图像包含不同像素点类别，所以语义分割网络输出的语义分割图像能够更好的区分前景点和背景点。例如，Unet语义分割网络输出的与目标感兴趣图像对应的语义分割图像中的不同像素点类别可以为0、1、2、3，显示为一副全黑的图片，所以首先需要将不同类别的像素点颜色标注转换为不同的灰度值，从而区分出图像中的背景和不同状态的灯眼，然后使用双线性插值法将语义分割网络输出的固定尺寸的语义分割图像映射到目标感兴趣图像中，以便执行后续的操作。

步骤S16：基于所述语义分割图像中各所述像素点类别对应的像素点个数，确定所述原始信号灯图像对应的当前交通场景的信号灯识别结果。

可以理解的是，根据不同像素点类别对应的像素点个数能够确定出每个灯眼的颜色状态，从而确定出原始信号灯图像对应的当前交通场景的信号灯识别结果。

具体的，统计所述语义分割图像中所有灯眼对应的各所述像素点类别对应的像素点个数；从所述语义分割图像上的每个灯眼中，分别确定出对应于最多所述像素点个数的所述像素点类别，得到每个所述灯眼对应的目标像素点类别；将所述目标像素点类别对应的颜色确定为所述灯眼的灯眼颜色，并基于每个所述灯眼对应的所述灯眼颜色确定所述原始信号灯图像对应的当前交通场景的信号灯识别结果。例如，获取语义分割图像中的预先配置的配置文件中的灯组的起始点，并将该灯组起始点映射到目标感兴趣图像中。对于单个数字灯，直接在映射后的图像区域内进行处理，统计出像素点类别分别为“0”、“1”、“2”、“3”对应的像素点个数，从而得到背景点、红色、黄色和绿色的像素点个数。对于非单个数字灯的灯组，首先获得各灯眼在语义分割图像中对应的位置区域，分别对各灯眼进行处理，获取各灯眼处的像素点类别分别为“0”、“1”、“2”、“3”对应的像素点个数。并且，还可以根据当前图像中的前景点与背景点的比例判断前景点是否可信，例如，针对某一类型的灯眼，当背景点对应的像素点个数大于10倍的前景点个数时，认为前景点不可信。确定出当前灯眼对应于最多所述像素点个数的所述像素点类别的公式可以为：

MaxPot＝MAX(MAX(RPot，YPot)，GPot))；

其中，RPot、YPot、GPot分别表示红色、黄色、绿色的像素点个数，然后将像素点个数最多的类别作为灯眼的颜色，如果RPot＝MaxPot，则灯眼颜色为红色，如果YPot＝MaxPot，则灯眼颜色为黄色，GPot＝MaxPot，则灯眼颜色为绿色。

本实施例中，确定语义分割图像中各灯眼的颜色之后，还可以判断所述灯眼的所述灯眼颜色是否与所述灯眼对应的原始配置颜色集中的颜色相一致；如果所述灯眼的所述灯眼颜色与所述原始配置颜色集中的所有颜色均不一致，则判定当前所述灯眼的所述灯眼颜色为异常识别颜色，并将所述灯眼的所述灯眼颜色修改为所述灯眼处于灭灯状态时对应的颜色。可以理解的是，对确定出的灯眼颜色进行校验，判断当前确定出的灯眼颜色是否正确，也即，使用各灯眼处的原始配置颜色集对最终的确定出来的灯眼颜色进行校验，当原始配置颜色集中不包含当前确定出的灯眼颜色时，则认为当前确定出的灯眼颜色出现错误，并将当前灯眼的灯眼颜色修改为灯眼处于灭灯状态时对应的颜色。当原始配置颜色集中包含当前确定出的灯眼颜色时，则认为当前确定出的灯眼颜色为正确的。

并且，在确定出所有灯眼的颜色，并完成对所有灯眼颜色的校验之后，还需要从所有所述灯眼中选取具有相同的预设交通指示方向的多个灯眼，得到各所述预设交通指示方向对应的多个目标灯眼；判断各所述预设交通指示方向中的所述多个目标灯眼之间的灯眼颜色是否一致；如果一致，则将所述灯眼颜色确定为所述预设交通指示方向的信号灯识别结果；如果不一致，则将所述预设交通指示方向中的所述多个目标灯眼对应的所述灯眼颜色修改为所述目标灯眼处于所述灭灯状态时对应的颜色。可以理解的是，遍历所有灯眼，判断具有相同的预设交通指示方向的多个灯眼的灯眼颜色是否一致，如果一致，则将所述灯眼颜色确定为当前预设交通指示方向对应的信号灯识别结果，从而得到不同的交通指示方向对应的信号灯识别结果，在根据上述不同的交通指示方向对应的信号灯识别结果确定出所述原始信号灯图像对应的当前交通场景的信号灯识别结果。

需要指出的是，实际场景中的信号灯主要分为，标准三眼单色灯、多眼多色灯、单眼多色灯、多眼多色配合数字灯、条形灯及五眼灯，且信号灯由于受到光线、环境等多因素的影响还会出现偏色、过曝、亮度低、灯眼形状异常或模糊、大光晕、灯眼边缘模糊等情况，因此复杂场景下的信号灯识别难度较高，然而，语义分割网络是基于像素级别的处理，从而能够更加精准的获取灯眼的状态和掩码信息，有利于复杂场景下信号灯的状态识别。

本实施例中，确定所述原始信号灯图像对应的当前交通场景的信号灯识别结果之后，还可以包括：从所述语义分割图像中确定出目标灯眼的定位区域；从所述定位区域中提取出与所述目标灯眼的发光区域对应的掩码区域；根据识别出的所述目标灯眼对应的目标灯眼颜色对所述目标感兴趣图像上的与所述掩码区域对应的图像区域进行颜色填充，以得到颜色强化后的所述图像区域。可以理解的是，为了对灯眼进行强化涂色，首先，获取强化区域，也即，从所述语义分割图像中确定出目标灯眼的定位区域。具体的，获取语义分割图像中的预先配置的配置文件中的灯组的起始点，并将该灯组起始点映射到目标感兴趣图像中，对各灯眼的位置区域外扩δ倍的灯眼尺寸，其中，δ的数值可以取1/5，对于数字灯灯眼，将灯眼的位置区域作为初始化的定位区域，非数字灯灯眼使用外扩后的位置区域作为初始化的定位区域。

然后，在语义分割网络输出的语义分割图像上遍历灯眼定位区域内的像素点，将灯眼定位区域内的像素点存入待强化的掩码内，并将不为0的像素点转换为255，得到二值化的掩码。并且由于环境的干扰等因素，语义分割图像中的掩码可能存在一定的噪点，因此需要对得到的二值化掩码进行后处理。例如，在二值化掩码上提取连通区域，对提取的连通区域进行填充，然后获取所有连通区域中的最大连通区域，并删除其他较小的区域，从而保留最大连通区域，从而减少噪点的影响。然后对二值化掩码进行水平方向和垂直方向的投影，利用投影结果对灯眼的定位区域进行更新，得到掩码前景点的最小外接矩形，将最小外接矩形确定为灯眼强化的精定位区域。又由于光晕等影响，语义分割图像中的掩码可能存在一定的粘连，尤其是尺寸较小的箭头灯。针对箭头灯形状的特殊性，对箭头灯的边缘进行处理，例如，将定位区域内满足条件的不为0像素点强制置为0，避免出现灯眼的粘连。

最后，将得到的灯眼精定位区域映射回目标感兴趣图像中，得到待处理灯眼在目标感兴趣图像中的精定位区域。对二值化掩码进行处理，将处理后的二值化掩码存入灯眼的精定位区域中得到掩码区域，并确定与所述目标灯眼的颜色类别对应的目标颜色，并利用目标颜色对目标感兴趣图像上的与所述掩码区域对应的图像区域进行颜色填充，以得到颜色强化后的所述图像区域。也即，通过上报的精定位区域及掩码值对灯眼进行涂色处理，得到强化处理后的灯眼图像。

本实施例中，将语义分割网络用于红绿灯识别，提高了小尺度、偏色、过曝等复杂场景下红绿灯识别的准确率。并且将语义分割网络输出的分割结果用于信号灯灯眼强化的前景点，提高了强背景干扰场景下红绿灯强化前景点的准确率，确保了闯红灯灯违章判罚证据的有效性，提升了客户的体验度，以及使用语义分割网络输出的分割结果，同时完成信号灯颜色的识别和灯眼的强化处理，简化了信号灯的整体处理流程，提高了处理的效率，确保了工程中的落地实现。

可见，本申请实施例将原始信号灯图像输入至语义分割网络之前，先对所述原始信号灯图像进行裁剪得到初始感兴趣区域图像，再将不满足预设条件的初始感兴趣区域图像进行在分割以确定目标感兴趣图像，也即，对不满足预设条件的初始感兴趣区域图像进行二次分割处理，将处理得到的图像作为目标感兴趣图像输入语义分割网络进行后续识别，从而提高语义分割网络的准确率，确保后续信号灯识别的效果，然后将所述目标感兴趣图像输入至基于卷积神经网络算法构建的语义分割网络，得到相应的包含不同像素点类别的语义分割图像，通过解析语义分割网络输出的语义分割图像，能够基于解析得到所述语义分割图像中各所述像素点类别对应的像素点个数和像素点的位置实现交通信号灯的识别以及信号灯眼的强化。由此可知，本申请实施例利用一个语义分割网络完成信号灯识别和信号灯眼强化的技术方案鲁棒性强，不受环境的影响，不依赖先验知识，能够解决复杂场景下交通信号灯识别准确率低的问题，提高信号灯识别的整体处理效率，确保了实际工程中的落地实现，并且由于本申请技术方案的性能开销小，能够很好的满足多任务的实际项目的需求。

相应的，本申请实施例还公开了一种交通信号灯识别装置，参见图5所示，该装置包括：

初始图像确定模块11，用于确定原始信号灯图像包含所有灯组的最小外接矩形，并对所述最小外接矩形区域进行裁剪，得到初始感兴趣区域图像；

条件判断模块12，用于判断所述初始感兴趣区域图像的尺寸大小是否满足预设尺寸条件；

图像再模块13，用于当所述初始感兴趣区域图像的尺寸大小不满足所述预设尺寸条件，则对所述初始感兴趣区域图像进行再分割，以得到多个分割区域；

区域裁剪模块14，用于对多个所述分割区域进行裁剪，得到与所述多个分割区域分别对应的多张灯组图像；

图像拼接模块15，用于对所述多张灯组图像进行拼接以得到满足所述预设尺寸条件的目标感兴趣图像；

图像语义分割模块16，用于将所述目标感兴趣图像输入至基于卷积神经网络算法构建的语义分割网络，得到所述语义分割网络输出的包含不同像素点类别的语义分割图像；

识别结果确定模块17，用于基于所述语义分割图像中各所述像素点类别对应的像素点个数，确定所述原始信号灯图像对应的当前交通场景的信号灯识别结果。

由上可见，本实施例中将原始信号灯图像输入至语义分割网络之前，先对所述原始信号灯图像进行裁剪得到初始感兴趣区域图像，再将不满足预设条件的初始感兴趣区域图像进行再分割以确定目标感兴趣图像，从而能够提高语义分割网络的准确率，确保后续信号灯识别的效果，然后将所述目标感兴趣图像输入至基于卷积神经网络算法构建的语义分割网络，得到相应的包含不同像素点类别的语义分割图像，通过解析语义分割网络输出的语义分割图像，能够基于解析得到所述语义分割图像中各所述像素点类别对应的像素点个数和像素点位置实现信号灯状态的识别和信号灯眼的强化。由此可知，本申请实施例利用一个语义分割网络完成信号灯识别和信号灯眼强化的技术方案鲁棒性强，不受环境的影响，不依赖先验知识，能够解决复杂场景下交通信号灯识别准确率低的问题，提高信号灯识别的整体处理效率，确保了实际工程中的落地实现，并且由于本申请技术方案的性能开销小，能够很好的满足多任务的实际项目的需求。

在一些具体的实施例中，所述初始图像确定模块11，具体可以包括：

位置区域确定单元，用于确定原始信号灯图像中所有信号灯组的位置区域；

外接矩形确定单元，用于基于所述位置区域确定所述原始信号灯图像包含所有所述信号灯组的最小外接矩形；

区域裁剪单元，用于按照第一预设裁剪尺寸对所述最小外接矩形区域进行裁剪，得到初始感兴趣区域图像。

在一些具体的实施例中，所述交通信号灯识别装置，具体可以包括：

目标图像确定模块，用于当所述初始感兴趣区域图像的尺寸大小满足所述预设尺寸条件，则将所述初始感兴趣区域图像确定为目标感兴趣图像。

在一些具体的实施例中，所述图像再分割模块13，具体可以包括：

相邻灯组确定单元，用于从所述初始感兴趣区域图像上的所有任意相邻灯组中选取出相隔距离最远的两个相邻灯组；

图像再分割单元，用于基于所述相隔距离最远的两个相邻灯组各自对应的目标坐标对所述初始感兴趣区域图像进行再分割。

在一些具体的实施例中，所述识别结果确定模块17，具体可以包括：

像素点个数统计单元，用于统计所述语义分割图像中所有灯眼对应的各所述像素点类别对应的像素点个数；

类别确定单元，用于从所述语义分割图像上的每个灯眼中，分别确定出对应于最多所述像素点个数的所述像素点类别，得到每个所述灯眼对应的目标像素点类别；

识别结果确定单元，用于将所述目标像素点类别对应的颜色确定为所述灯眼的灯眼颜色，并基于每个所述灯眼对应的所述灯眼颜色确定所述原始信号灯图像对应的当前交通场景的信号灯识别结果。

在一些具体的实施例中，所述将所述目标像素点类别对应的颜色确定为所述灯眼的灯眼颜色之后，具体可以包括：

颜色判断单元，用于判断所述灯眼的所述灯眼颜色是否与所述灯眼对应的原始配置颜色集中的颜色相一致；

灯眼异常判定单元，用于所述灯眼的所述灯眼颜色与所述原始配置颜色集中的所有颜色均不一致，则判定当前所述灯眼的所述灯眼颜色为异常识别颜色，并将所述灯眼的所述灯眼颜色修改为所述灯眼处于灭灯状态时对应的颜色。

在一些具体的实施例中，所述识别结果确定单元，具体可以包括：

灯眼选取子单元，用于从所有所述灯眼中选取具有相同的预设交通指示方向的多个灯眼，得到各所述预设交通指示方向对应的多个目标灯眼；

颜色判断子单元，用于判断各所述预设交通指示方向中的所述多个目标灯眼之间的灯眼颜色是否一致；如果一致，则将所述灯眼颜色确定为所述预设交通指示方向的信号灯识别结果；如果不一致，则将所述预设交通指示方向中的所述多个目标灯眼对应的所述灯眼颜色修改为所述目标灯眼处于所述灭灯状态时对应的颜色。

在一些具体的实施例中，所述交通信号灯识别装置，具体可以包括：

定位区域确定模块，用于从所述语义分割图像中确定出目标灯眼的定位区域；

掩码区域提取模块，用于从所述定位区域中提取出与所述目标灯眼的发光区域对应的掩码区域；

颜色填充模块，用于根据识别出的所述目标灯眼对应的目标灯眼颜色对所述目标感兴趣图像上的与所述掩码区域对应的图像区域进行颜色填充，以得到颜色强化后的所述图像区域。

进一步的，本申请实施例还提供了一种电子设备。图6是根据一示例性实施例示出的电子设备20结构图，图中的内容不能认为是对本申请的使用范围的任何限制。

图6为本申请实施例提供的一种电子设备20的结构示意图。该电子设备20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的交通信号灯识别方法中的相关步骤。另外，本实施例中的电子设备20具体可以为电子计算机。

本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。

另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源可以包括操作系统221、计算机程序222等，存储方式可以是短暂存储或者永久存储。

其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222，其可以是Windows Server、Netware、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的交通信号灯识别方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。

进一步的，本申请实施例还公开了一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器加载并执行时，实现前述任一实施例公开的交通信号灯识别方法步骤。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的一种交通信号灯识别方法、装置、设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (11)

1.一种交通信号灯识别方法，其特征在于，包括：

确定原始信号灯图像包含所有灯组的最小外接矩形，并对所述最小外接矩形区域进行裁剪，得到初始感兴趣区域图像；

判断所述初始感兴趣区域图像的尺寸大小是否满足预设尺寸条件；

若不满足所述预设尺寸条件，则对所述初始感兴趣区域图像进行再分割，以得到多个分割区域；

对多个所述分割区域进行裁剪，得到与所述多个分割区域分别对应的多张灯组图像，并对所述多张灯组图像进行拼接以得到满足所述预设尺寸条件的目标感兴趣图像；

将所述目标感兴趣图像输入至基于卷积神经网络算法构建的语义分割网络，得到所述语义分割网络输出的包含不同像素点类别的语义分割图像；

基于所述语义分割图像中各所述像素点类别对应的像素点个数，确定所述原始信号灯图像对应的当前交通场景的信号灯识别结果。

2.根据权利要求1所述的交通信号灯识别方法，其特征在于，所述确定原始信号灯图像包含所有灯组的最小外接矩形，并对所述最小外接矩形区域进行裁剪，得到初始感兴趣区域图像，包括：

确定原始信号灯图像中所有信号灯组的位置区域；

基于所述位置区域确定所述原始信号灯图像包含所有所述信号灯组的最小外接矩形；

按照第一预设裁剪尺寸对所述最小外接矩形区域进行裁剪，得到初始感兴趣区域图像。

3.根据权利要求1所述的交通信号灯识别方法，其特征在于，所述判断所述初始感兴趣区域图像的尺寸大小是否满足预设尺寸条件之后，还包括：

若所述初始感兴趣区域图像的尺寸大小满足所述预设尺寸条件，则将所述初始感兴趣区域图像确定为目标感兴趣图像。

4.根据权利要求1所述的交通信号灯识别方法，其特征在于，所述对所述初始感兴趣区域图像进行再分割，包括：

从所述初始感兴趣区域图像上的所有任意相邻灯组中选取出相隔距离最远的两个相邻灯组，并基于所述相隔距离最远的两个相邻灯组各自对应的目标坐标对所述初始感兴趣区域图像进行再分割。

5.根据权利要求1所述的交通信号灯识别方法，其特征在于，所述基于所述语义分割图像中各所述像素点类别对应的像素点个数，确定所述原始信号灯图像对应的当前交通场景的信号灯识别结果，包括：

统计所述语义分割图像中所有灯眼对应的各所述像素点类别对应的像素点个数；

从所述语义分割图像上的每个灯眼中，分别确定出对应于最多所述像素点个数的所述像素点类别，得到每个所述灯眼对应的目标像素点类别；

将所述目标像素点类别对应的颜色确定为所述灯眼的灯眼颜色，并基于每个所述灯眼对应的所述灯眼颜色确定所述原始信号灯图像对应的当前交通场景的信号灯识别结果。

6.根据权利要求5所述的交通信号灯识别方法，其特征在于，所述将所述目标像素点类别对应的颜色确定为所述灯眼的灯眼颜色之后，还包括：

判断所述灯眼的所述灯眼颜色是否与所述灯眼对应的原始配置颜色集中的颜色相一致；

如果所述灯眼的所述灯眼颜色与所述原始配置颜色集中的所有颜色均不一致，则判定当前所述灯眼的所述灯眼颜色为异常识别颜色，并将所述灯眼的所述灯眼颜色修改为所述灯眼处于灭灯状态时对应的颜色。

7.根据权利要求5所述的交通信号灯识别方法，其特征在于，所述基于每个所述灯眼对应的所述灯眼颜色确定所述原始信号灯图像对应的当前交通场景的信号灯识别结果，包括：

从所有所述灯眼中选取具有相同的预设交通指示方向的多个灯眼，得到各所述预设交通指示方向对应的多个目标灯眼；

判断各所述预设交通指示方向中的所述多个目标灯眼之间的灯眼颜色是否一致；

如果一致，则将所述灯眼颜色确定为所述预设交通指示方向的信号灯识别结果；

如果不一致，则将所述预设交通指示方向中的所述多个目标灯眼对应的所述灯眼颜色修改为所述目标灯眼处于所述灭灯状态时对应的颜色。

8.根据权利要求1至7任一项所述的交通信号灯识别方法，其特征在于，所述基于所述语义分割图像中各所述像素点类别对应的像素点个数，确定所述原始信号灯图像对应的当前交通场景的信号灯识别结果之后，还包括：

从所述语义分割图像中确定出目标灯眼的定位区域；

从所述定位区域中提取出与所述目标灯眼的发光区域对应的掩码区域；

根据识别出的所述目标灯眼对应的目标灯眼颜色对所述目标感兴趣图像上的与所述掩码区域对应的图像区域进行颜色填充，以得到颜色强化后的所述图像区域。

9.一种交通信号灯识别装置，其特征在于，包括：

初始图像确定模块，用于确定原始信号灯图像包含所有灯组的最小外接矩形，并对所述最小外接矩形区域进行裁剪，得到初始感兴趣区域图像；

条件判断模块，用于判断所述初始感兴趣区域图像的尺寸大小是否满足预设尺寸条件；

图像再分割模块，用于当所述初始感兴趣区域图像的尺寸大小不满足所述预设尺寸条件，则对所述初始感兴趣区域图像进行再分割，以得到多个分割区域；

区域裁剪模块，用于对多个所述分割区域进行裁剪，得到与所述多个分割区域分别对应的多张灯组图像；

图像拼接模块，用于对所述多张灯组图像进行拼接以得到满足所述预设尺寸条件的目标感兴趣图像；

图像语义分割模块，用于将所述目标感兴趣图像输入至基于卷积神经网络算法构建的语义分割网络，得到所述语义分割网络输出的包含不同像素点类别的语义分割图像；

识别结果确定模块，用于基于所述语义分割图像中各所述像素点类别对应的像素点个数，确定所述原始信号灯图像对应的当前交通场景的信号灯识别结果。

10.一种电子设备，其特征在于，包括：

存储器，用于保存计算机程序；

处理器，用于执行所述计算机程序，以实现如权利要求1至8任一项所述的交通信号灯识别方法的步骤。

11.一种计算机可读存储介质，其特征在于，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的交通信号灯识别方法的步骤。

Images