CN111723805B - 一种信号灯的前景区域识别方法及相关装置 - Google Patents

Abstract

本申请公开了一种信号灯的前景区域识别方法，包括：从信号灯图像中确定候选区域；采用分类网络对所述候选区域进行场景识别，得到对应的场景类型；根据所述场景类型确定前景区域提取操作，对所述候选区域执行所述前景区域提取操作，得到前景区域。通过对信号灯图像的场景识别，可以选择对应场景类型的前景区域提取操作，提高识别的准确率和精度，提升识别过程的效率。本申请还公开了一种信号灯的前景区域识别装置、服务器以及计算机可读存储介质，具有以上有益效果。

Description

一种信号灯的前景区域识别方法及相关装置

技术领域

本申请涉及图像技术处理领域，特别涉及一种信号灯的前景区域识别方法、信号灯的前景区域识别装置、服务器以及计算机可读存储介质。

背景技术

随着图像处理技术的不断发展，将图像获取装置或监控装置应用在各种环境中，以便对获取的图像进行相应的处理。目前，在城市交通中为了准确的捕获车辆的违章行为，在城市的交通要道中均应用了车道监控相机。当出现车辆违章行为时，及时捕获相应的违章记录图。但是，违章记录容易受到相机自身成像的影响，信号灯的颜色出现偏色，例如，红灯偏黄、偏白。降低了车辆闯红灯证据的说服力。因此，需要对图像中的灯组进行定位，然后在定位区域提取红色信号灯前景点，并进行涂红处理，实现违章记录图的颜色校正。

但是，现有技术中无论信号灯图像的拍摄环境如何，均采用一种前景区域识别的方法进行提取。尽管当拍摄环境差距不大时，可以获得符合要求的前景区域识别结果。但是当应用在更复杂的环境中不仅拍摄场景变化多端，而且每种拍摄场景之间的差距较大，采用同一种提取方式反而会使得提取准确率不高，降低提取过程的执行效率。

因此，如何提高前景区域识别的准确率是本领域技术人员关注的重点问题。

发明内容

本申请的目的是提供一种信号灯的前景区域识别方法、信号灯的前景区域识别装置、服务器以及计算机可读存储介质，通过对信号灯图像的场景识别，可以选择对应场景类型的前景区域提取操作，提高识别的准确率和精度，提升识别过程的效率。

为解决上述技术问题，本申请提供一种信号灯的前景区域识别方法，包括：

从信号灯图像中确定候选区域；

采用分类网络对所述候选区域进行场景识别，得到对应的场景类型；

根据所述场景类型确定前景区域提取操作，对所述候选区域执行所述前景区域提取操作，得到前景区域。

可选的，根据所述场景类型确定前景区域提取操作，对所述候选区域执行所述前景区域提取操作，得到前景区域，包括：

当所述场景类型为逆光场景或雾天场景时，对所述候选区域进行直方图均衡化处理，得到增强候选区域；

采用FCN分割网络对所述增强候选区域进行预设像素点提取操作，得到预设像素点；

根据所述预设像素点确定所述前景区域。

可选的，根据所述场景类型确定前景区域提取操作，对所述候选区域执行所述前景区域提取操作，得到前景区域，包括：

当所述场景类型为光照正常场景时，采用FCN分割网络对所述候选区域进行预设像素点提取，得到预设像素点；

根据所述预设像素点确定所述前景区域。

可选的，根据所述场景类型确定前景区域提取操作，对所述候选区域执行所述前景区域提取操作，得到前景区域，包括：

当所述场景类型为光照不充足场景时，根据所述候选区域的Y分量值将所述候选区域转换为灰度图；

采用最大类间方差法将所述灰度图转换为二值图像，对所述二值图像进行连通区域标记，得到多个标记区域；

根据标准灯眼大小对所述多个标记区域进行过滤，得到多个目标区域；

根据每个目标区域的高亮像素点和非高亮像素点分别对应的RGB分量均值，确定所述前景区域。

可选的，根据每个目标区域的高亮像素点和非高亮像素点分别对应的RGB分量均值，确定所述前景区域，包括：

确定所述目标区域的外接矩形中的所述高亮像素点和所述非高亮像素点；

计算所述高亮像素点在所述候选区域中的RGB分量均值，得到第一RGB分量均值；

计算所述非高亮像素点在所述候选区域中的RGB分量均值，得到第二RGB分量均值；

当所述第一RGB分量均值和所述第二RGB分量均值中的红色分量均大于第一阈值，并且所述第一RGB分量均值和所述第二RGB分量均值中绿色分量的差值大于第二阈值时，将所述目标区域作为所述前景区域。

可选的，采用分类网络对所述候选区域进行场景识别，得到对应的场景类型，包括：

采用ResNet分类网络对所述候选区域进行场景识别，得到对应的场景类型。

可选的，从信号灯图像中确定候选区域，包括：

根据原始参考区域的坐标在所述信号灯图像中确定所述候选区域。

可选的，还包括：

根据所述前景区域对所述原始参考区域进行修正，得到实际信号灯区域。

本申请还提供一种信号灯的前景区域识别装置，包括：

候选区域确定模块，用于从信号灯图像中确定候选区域；

场景识别模块，用于采用分类网络对所述候选区域进行场景识别，得到对应的场景类型；

前景区域提取模块，用于根据所述场景类型确定前景区域提取操作，对所述候选区域执行所述前景区域提取操作，得到前景区域。

本申请还提供一种服务器，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上所述的前景区域识别方法的步骤。

本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的前景区域识别方法的步骤。

本申请所提供的一种信号灯的前景区域识别方法，包括：从信号灯图像中确定候选区域；采用分类网络对所述候选区域进行场景识别，得到对应的场景类型；根据所述场景类型确定前景区域提取操作，对所述候选区域执行所述前景区域提取操作，得到前景区域。

通过已训练的分类网络对候选区域进行识别，确定该候选区域对应的场景类型，并根据该场景类型确定对应的前景区域提取操作，并执行得到前景区域。使得针对不同的场景类型可以选择对应的操作，而并非只采用同一种操作。也就是可以选择更适合该前景区域的提取操作，实现复杂场景类型采用复杂且准确率更高的提取操作，简单场景采用执行效率更高的提取操作。不仅提高识别准确率和识别精度，还提高整体的执行效率和性能利用率。

本申请还提供一种信号灯的前景区域识别装置、服务器以及计算机可读存储介质，具有以上有益效果，在此不做赘述。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例所提供的一种信号灯的前景区域识别方法的流程图；

图2为本申请实施例所提供的前景区域识别方法中一种前景提取操作的流程图；

图3为本申请实施例所提供的前景区域识别方法中另一种前景提取操作的流程图；

图4为本申请实施例所提供的前景区域识别方法中又一种前景提取操作的流程图；

图5为本申请实施例所提供的信号灯的前景区域识别方法中区域确定过程的流程图；

图6为本申请实施例所提供的一种信号灯的重定位方法的流程图；

图7为本申请实施例所提供的一种信号灯的前景区域识别装置的结构示意图。

具体实施方式

本申请的核心是提供一种信号灯的前景区域识别方法、信号灯的前景区域识别装置、服务器以及计算机可读存储介质，通过对信号灯图像的场景识别，可以选择对应场景类型的前景区域提取操作，提高识别的准确率和精度，提升识别过程的效率。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

由于现有技术不对信号灯图像进行场景区分，因此无论信号灯图像的拍摄环境如何，只采用一种前景区域识别的方法进行提取。当不同的拍摄环境差距不大时，可以获得符合要求的前景区域识别结果。不针对不同的场景实施前景区域提取操作，会使得不仅在复杂的信号灯图像中得不到更精确的识别结果，还在简单的信号灯图像中采用过于复杂的识别方法，降低识别效率，增加了性能消耗。也就是说，当应用在更复杂的环境中，存在不同的拍摄环境，每个拍摄环境之间的差距较大时，采用同一种提取方式不仅会造成提取效果不佳，还有可能降低提取过程执行的效率。

因此，本申请实施例提供一种信号灯的前景区域识别方法，通过已训练的分类网络对候选区域进行识别，确定该候选区域对应的场景类型，并根据该场景类型确定对应的前景区域提取操作，并执行得到前景区域。使得针对不同的场景类型可以选择对应的操作，而并非只采用同一种操作。也就是可以选择更适合该前景区域的提取操作，实现复杂场景类型采用复杂且准确率更高的提取操作，简单场景采用执行效率更高的提取操作。不仅提高识别准确率和识别精度，还提高整体的执行效率和性能利用率。

请参考图1，图1为本申请实施例所提供的一种信号灯的前景区域识别方法的流程图。

在对具体实施例进行介绍之前，对本申请实施例中所介绍的概念进行说明：

灯眼区域，为包含了一个灯眼的前景区域的区域。

前景区域，为在信号灯图像中包含了用于指示交通信号的像素点的区域，一般情况下前景区域的大小小于等于灯眼区域。

信号灯组区域，为在信号灯图像中包含了一个或多个灯眼区域的区域，一般的是由一个或多个灯眼区域组合得到。

信号灯区域，也可以是信号灯组区域，包含了一个或多个灯眼区域的区域，一般是由一个或多个灯眼区域组合得到。

原始参考区域，为在监控设备或信号灯查看装置中对信号灯区域进行标定的区域。

候选区域，为在原始参考区域上按照一定比例进行外扩得到的区域。

标记区域，为按照一定规则将预设像素点进行连接出的区域，直观地说就是，表示有预设像素点的图像是灰度图，其中预设像素点为白色，那么标记区域就是对灰度图中的白色区域进行标记得到的。有可能大于、小于、或者等于前景区域。

本实施例中，该方法可以包括：

S101，从信号灯图像中确定候选区域；

本步骤旨在从包含有信号灯的信号灯图片中确定出候选区域。也就是避免进行像素点提取的区域过大，导致像素点提取处理过大的范围，影响像素点提取的效果。同时，也排除了在照片中的其他位置出现的相似颜色的像素点，使像素点提取的效果更好。

可选的，本步骤可以包括：

根据原始参考区域的坐标在信号灯图像中确定候选区域。

也就是，本步骤可以根据原始参考区域对信号灯图片进行外扩得到候选区域。其中，原始参考区域是最后一次对信号灯区域进行识别的结果，但是该参考区域可能由于摄像机的抖动、温度的变化，而没有办法与摄像设备中的信号灯的区域重合上。但是，参考区域与实际信号灯区域一般相差不会过大，可以根据该参考区域进行外扩得到候选区域。

举例来说，假设信号灯图片长为2048个像素，宽为1536个像素，假设该图片中的信号灯的长宽大致为150和50。由于监控装置拍摄的信号灯图片中还包含有其他内容，例如，汽车。而汽车的尾灯颜色与信号灯的红色相近，容易造成误识别。因此缩小识别的区域，也就是从信号灯图像中确定候选区域，将汽车尾灯等红色的像素点进行排除。进一步的，可以根据参考区域的坐标(a，b)大致确定候选区域的位置，并在信号灯的长宽技术上进行外扩，得到候选区域(a，b，250，125)。当然，坐标点的选取方式以及进行外扩的比例，可以根据实际信号灯图片大小和信号灯的大小比例进行选择，还可以参考下述实施例，在此不做具体限定。

以下通过一个实施例，对如何在原始参考区域的基础上确定出候选区域进行说明。

假设原始参考区域的坐标为S₀为{x₀,y₀,H₀,W₀}，该信号灯灯组内灯眼数量为I_num，首先计算每个灯眼的高度h_l和宽度w_l：

再根据灯眼的高度和宽度在原始参考区域的基础上进行外扩，使实际的信号灯的灯眼落在候选区域内，设候选区域的坐标S₁{x₁，y₁，H₁，W₁}，计算方法如下：

H₁＝H₀+3×h_l，

W₁＝W₀+3×w_l。

S102，采用分类网络对候选区域进行场景识别，得到对应的场景类型；

在S101的基础上，本步骤旨在识别该候选区域的场景类型，以便针对不同的场景类型选择合适的前景区域提取操作。

可选的，本实施例中为了提高场景类型的识别准确率，可以采用ResNet分类网络对候选区域进行识别，进而得到该候选区域对应的场景类型。

其中，ResNet分类网络全称为Residual Neural Network，该分类网络可以极快的加速神经网络的训练，模型的准确率比一般的分类网络有比较大的提升。

当然，本步骤中使用ResNet分类网络是经过训练得到的ResNet分类网络。对其进行训练的步骤可以采用现有技术提供的任意一种训练方法，而采用的训练数据可以采用不同场景类型标注的与信号灯相关的图像数据，可以是信号灯图像，也可以是裁剪后的候选区域。其中，场景类型的数量以及分类方式，可以针对不同的应用环境进行划分，也可以根据普遍应用场景划分出基本类型，例如，划分出白天场景和夜间场景。因此，本实施例中场景类型的划分方式并不唯一，需要根据实际的应用需求做选择，在此不做具体限定。

举例来说，假设将信号灯的拍摄场景分为4类，包括：白天场景、夜间场景、逆光场景以及雾天场景。然后将采集到的信号灯图片分别用这些场景类型进行标注，得到已标注的训练数据集。最后采用该训练数据集对初始ResNet分类网络进行训练得到ResNet分类网络。

S103，根据场景类型确定前景区域提取操作，对候选区域执行前景区域提取操作，得到前景区域。

在S102的基础上，本步骤旨在根据场景类型确定对应的前景区域提取操作，并执行该操作以得到前景区域。

可见，本实施例中针对不同的场景类型选择执行不同的前景区域提取操作，以应对拍摄环境差距较大的信号灯图像，提高前景区域识别的准确率和精度，提升前景区域识别方法的整体效率。

综上，本实施例通过已训练的分类网络对候选区域进行识别，确定该候选区域对应的场景类型，并根据该场景类型确定对应的前景区域提取操作，并执行得到前景区域。使得针对不同的场景类型可以选择对应的操作，而并非只采用同一种操作。也就是可以选择更适合该前景区域的提取操作，实现复杂场景类型采用复杂且准确率更高的提取操作，简单场景采用执行效率更高的提取操作。不仅提高识别准确率和识别精度，还提高整体的执行效率和性能利用率。

以下通过三个实施例，说明如何针对不同的场景类型执行不同的前景提取操作。

一种实施例：

请参考图2，图2为本申请实施例所提供的前景区域识别方法中一种前景提取操作的流程图。

S201，当场景类型为逆光场景或雾天场景时，对候选区域进行直方图均衡化处理，得到增强候选区域；

S202，采用FCN分割网络对增强候选区域进行预设像素点提取操作，得到预设像素点；

其中，FCN(Fully Convolutional Networks全卷积网络)分割网络即为训练完成的神经网络。可以提高预设像素点提取的准确率。并且，本实施例中并不对FCN分割网络的训练过程进行限定，可以选择现有技术提供的任意一种训练方法。

以红色像素点为例，采用FCN分割网络对候选区域的红色像素点进行提取。主要包括模型离线训练和像素点提取两个部分。

其中，模型训练过程的训练样本由原图和标签图组成。其中原图为候选区域宽高缩放到224*224的RGB图像；标签图为由原图中像素点的标签值构成灰度图。在标签图中，像素点分为两类，即红色像素点和非红色像素点。若像素点为非红色像素点，则标签值为0，对应位置的像素值也为0；若像素点为红色像素点，则标签值为1，对应位置的像素值也为1。这里候选区域宽高缩放尺寸除了224*224，也可以为其它尺寸，灰度图中的标签值(或像素值)也可以为0～255中的其它数值。在此基础上，根据该训练样本进行训练，得到FCN分割网络。

然后，在已经训练好的FCN分割网络的基础上对候选区域的红色像素点进行提取。具体过程包括：先将候选区域的高度和宽度由H_g1*W_g1缩放至224*224，然后经过FCN分割网络前项计算得到图像概率矩阵H₀、H₁，H₀、H₁两矩阵维数均为224*224。其中，H₀表示为像素点为非红像素点的概率矩阵，H₁表示为像素点为红色像素点的概率矩阵。再由H₀、H₁矩阵计算出对应的黑白灰度图，其中白色为红色像素点，黑色为非红色像素点。

具体的计算方法如下：

其中，G为黑白灰度图的灰度矩阵，维数为224*224；G(i，j)表示灰度图中第i行第j列像素值，H₀(i,j)表示第i行第j列像素点为非红像素点的概率，H₁(i,j)表示第i行第j列像素点为红像素点的概率。

最后，将灰度图G高度和宽度，由224*224缩放至H_g1*W_g1，得到新的灰度图G₁。修正灰度图G₁像素值，修正方法如下式所示：

最后采用二值图表示提取出的红色像素点。该二值图像中的高亮区域，也就是红色像素点的区域包括了前景区域。

S203，根据预设像素点确定前景区域。

可见，本实施例中主要是针对逆光场景和雾天场景进行前景区域提取。其中，逆光场景是指光照过于充足使得图像发生过曝的场景，雾天场景是指光线无法直接反射使得物体表面模糊不清的场景。一般在这两种场景中，信号灯会出现过曝或者信号灯与环境之间难以区分的情况，使得信号灯的像素点和环境的像素点难以区分。也就是信号灯的特征不明显，如果直接对信号灯图像中的前景区域识别，会降低识别的准确率和精度，得不到符合标准的前景区域。因此，需要通过直方图的均衡化处理，将信号灯的像素特征进行增强处理，突显信号灯的颜色特征，提高FCN分割网络的识别效果。避免信号灯图像中不明显的特征影响识别结果，提高准确率和精度。

另一种实施例：

请参考图3，图3为本申请实施例所提供的前景区域识别方法中另一种前景提取操作的流程图。

S301，当场景类型为光照正常场景时，采用FCN分割网络对候选区域进行预设像素点提取，得到预设像素点；

S302，根据预设像素点确定前景区域。

本实施例中的场景类型为光照正常场景，也就是一般情况下的正常白天场景。通常，在该场景中使用一般的前景区域提取方法就可以获取到准确的前景区域，避免浪费多余的执行步骤，降低性能消耗。

其中，采用FCN分割网络进行预设像素点提取的过程与上一实施例的提取过程大体相同，可以参考上一实施例，在此不做赘述。

一般当场景类型为光照正常场景时，信号灯图像中对于信号灯的特征比较明显，但是环境中还存在其他的颜色的物体，因此，采用FCN分割网络进行像素点提取，可以提高前景区域识别的准确率和精度。并且，不会对候选区域多余的执行图像增强操作，降低性能消耗。

又一种实施例：

请参考图4，图4为本申请实施例所提供的前景区域识别方法中又一种前景提取操作的流程图。

本实施例中的光照不充足场景是指环境中自然光线加少或不存在自然光线的场景，图像中更多的是物体自身的发光，一般是指夜间场景。

S401，当场景类型为光照不充足场景时，根据候选区域的Y分量值将候选区域转换为灰度图；

本步骤旨在将候选区域转换为灰度图。具体的，本步骤中首先计算出候选区域的Y分量，然后根据Y分量值将该候选区域转换为灰度图。其中，计算Y分量的计算方法，如下：

Y＝0.299×R+0.587×G+0.114×B

S402，采用最大类间方差法将灰度图转换为二值图像，对二值图像进行连通区域标记，得到多个标记区域；

在S401的基础上，本步骤旨在从灰度图中提取出多个标记区域。

其中，最大类间方差法将灰度图转换为二值图像，主要是让灰度图中的高亮区域和非高亮区域明显区分开来。然后对该二值图像进行联通区域标记，得到多个标记区域。

其中，连通区域标记就是将一副二值图像中的每个白色像素进行标记，属于同一个连通域的白色像素标记相同，不同连通域的白色像素有不同的标记，从而将图像中每个连通域提取出来，也就是得到了本步骤中的标记区域。

S403，根据标准灯眼大小对多个标记区域进行过滤，得到多个目标区域；

在S402的基础上，由于得到的多个标记区域中有可能包括信号灯的灯眼、汽车的车灯以及路灯等在候选区域中的发光体。因此，本步骤首先通过标准灯眼大小对多个标记区域进行过滤，得到多个目标区域。

假设标准灯眼的高和宽分别是h_l、w_l，获取的多个标记区域分别是iArea₁{x₁,y₁,w₁,h₁}、iArea₂{x₂,y₂,w₂,h₂}、iArea₃{x₃,y₃,w₃,h₃}……。

当任意标记区域iArea_i{x_i,y_i,w_i,h_i}满足以下条件：

那么将该标记区域作为目标区域。

S404，根据每个目标区域的高亮像素点和非高亮像素点分别对应的RGB分量均值，确定前景区域。

在S403的基础上，本步骤根据目标区域中的颜色分量判断该目标区域是否为灯眼的前景区域。由于通过标记区域的大小进行过滤没有办法完全将非灯眼的区域过滤，还需要通过目标区域中的颜色参数进行判断，以便将其他的颜色的发光区域进行排除，将最后符合颜色标准的目标区域进行保留。

一般在光照不充足的场景中，发光物体与周围环境可以明显区分开，但是由于环境亮度较低出现光晕现象，使发光物体内部呈现的颜色相似，需要通过光晕的颜色进行判断。例如，信号灯、路灯以及建筑物中的灯光在信号灯图像中，内部呈现的颜色相近，但是光晕部分的颜色具有区别。因此，判断光晕部分的颜色分量是否达到要求，进而判断该目标区域是否为前景区域。

具体的，本步骤可以包括：

步骤一、确定目标区域的外接矩形中的高亮像素点和非高亮像素点；

由于目标区域中包含较少的光晕，也就是不包含全部的光晕，如果直接计算颜色分量，会降低颜色分量的准确率。因此，本步骤是在目标区域的外接矩形中确定高亮像素点和非高亮像素点，包含更多的光晕部分的像素点，提高颜色分量的精度。

步骤二、计算高亮像素点在候选区域中的RGB分量均值，得到第一RGB分量均值；

步骤三、计算非高亮像素点在候选区域中的RGB分量均值，得到第二RGB分量均值；

步骤四、当第一RGB分量均值和第二RGB分量均值中的红色分量均大于第一阈值，并且第一RGB分量均值和第二RGB分量均值中绿色分量的差值大于第二阈值时，将目标区域作为前景区域。

假设任意目标区域的第一RGB分量均值为(R_h,G_h,B_h)，第二RGB分量均值(R_l,G_l,B_l)。当第一RGB分量均值和第二RGB分量均值满足以下条件：

则将该目标区域作为前景区域。其中，σ为第一阈值，δ为第二阈值。

以下通过一个实施例，说明如何根据预设像素点确定前景区域。

一种实施例：

请参考图5，图5为本申请实施例所提供的信号灯的前景区域识别方法中区域确定过程的流程图。

本实施例中，该过程可以包括：

S501，将预设像素点连接出多个目标连接区域；

本步骤旨在对多个预设像素点连接出多个目标连接区域，也就是从所有的预设像素点中确定出多个可能为信号灯的前景区域的目标连接区域。

可选的，本步骤可以包括：

根据八连通算法将多个预设像素点连接出多个目标连接区域。

本可选方案主要是通过八连通算法连接出多个目标连接区域。其中，八连通算法是指从区域内每一像素点出发，可通过八个方向，即上、下、左、右、左上、右上、左下、右下这八个方向的移动的组合，在不越出区域的前提下，到达区域内的任意像素点，该区域即为通过八连通算法连接出的区域。

以预设像素点用灰度图表示举例，就是根据八连通计算方法将该灰度图中的白色区域进行标记，得到多个目标连接区域。

需要说明的是，得到的多个目标连接区域需要进行筛选，排除不符合灯眼的高度和宽度的目标连接区域。

具体的筛选过程可以包括：

连接出的目标连接区域iArea₁{x₁，y₁，w₁，h₁}，iArea₂{x₂，y₂，w₂，h₂}，iArea₃{x₃，y₃，w₃，h₃}……进行高度和宽度的判断，若目标连接区域iArea_i{x_i，y_i，w_i，h_i}满足下式条件：

则保留该目标连接区域。

进一步的，当筛选后的目标连接区域的数量为零，则当前灯组不存在预设像素点对应颜色的灯眼，终止灯组重定位计算。若不为零，则执行S502，也就是通过计算目标连接区域的轮廓与标准信号灯形状的相似度提取前景区域。

可选的，在另一实施例中可以先对该灰度图进行两次膨胀操作，再连续进行两次腐蚀操作，然后执行白色区域的标记操作。

S502，根据Hu矩特征计算每个目标连接区域的形状与标准信号灯的形状之间的相似度，根据相似度确定前景区域。

在S501的基础上，本步骤旨在根据Hu矩特征计算每个目标连接区域与标准信号灯形状之间的相似度，然后再根据相似度确定信号灯的前景区域。

其中，相似度的确定方法通过Hu矩特征进行计算得到两者的特征值，然后再计算得到特征值之间的相似度。

以下通过一个实施例来说明如何通过Hu矩特征确定前景区域：

首先分别计算出目标连接区域、标准箭头灯、标准圆灯的Hu矩特征的特征向量。具体计算方法如下：分别计算目标连接区域归一化后的一阶矩η₁₁和二阶矩η₂₀、η₀₂，构造目标连接区域特征向量M＝[m₁,m₂]，其计算方法如下式所示，

其中，x、y表示像素点坐标，x₀、y₀表示中心坐标，f(x，y)表示像素点像素值，μ_pq为中心矩，p,q为阶数，p,q＝0,1,2…。

同理计算出标准箭头灯、圆灯的特征向量，分别为M_A＝[m_a1,m_a2]、M_R＝[m_r1,m_r2]。

然后，根据灯组配置信息获取灯眼类型。假设，当前灯眼类型为箭头灯，则计算目标连接区域特征向量M与标准箭头灯特征向量M_A的余弦值β。若满足β＞δ，则该目标连接区域为前景区域，并继续进行提取直到所有的目标连接区域均判断完成。若没有目标连接区域的特征向量满足，则停止识别该前景区域。一般的，单个信号灯灯组可以识别出前景区域的个数为1至3个。

可见，本实施例通过Hu矩阵特征将目标连接区域和标准形状进行对比，从多个目标连接区域中提取出符合标准的目标连接区域作为前景区域。采用Hu矩特征作为形状的特征描述，使特征对比更加精确，提高了前景区域提取的准确率以及精度。

在以上所有实施例的基础上，还可以把本申请实施例介绍的前景区域识别方法，应用于监控设备中的灯组坐标重定位的过程中。具体的，本实施例主要是根据获取到的前景区域的坐标将原始参考区域的坐标进行修正，提高灯组坐标修正的准确率和精度。本实施例中的部分执行步骤可以与以上所有实施例中的相同步骤之间相互参考，在此不做赘述。

请参考图6，图6为本申请实施例所提供的一种信号灯的重定位方法的流程图。

本实施例中，该重定位方法可以包括：

S601，根据原始参考区域的坐标在信号灯图像中确定候选区域；

S602，采用ResNet分类网络对候选区域进行场景识别，得到对应的场景类型；

S603，根据场景类型确定前景区域提取操作，对候选区域执行前景区域提取操作，得到前景区域；

S604，根据前景区域对原始参考区域进行修正，得到实际信号灯区域。

S604旨在得到的正确的前景区域的基础上，对原始参考区域的坐标进行修正。首先，确定前景区域表示的灯眼坐标，然后计算前景区域的灯眼坐标与原始参考区域中相对的灯眼坐标之间的偏移量，最后根据该偏移量修正原始参考区域的坐标，得到实际信号灯区域。由于不同信号灯存在不同的灯眼数量，以及不同的灯组配置形状，进而修正计算的策略也不相同。因此，需要首先确定前景区域在灯组内的灯眼位置，再确定如何进行相应的修正计算。

以下通过两个实施例，来说明对原始参考区域进行修正的过程。

一种实施例：

假设灯组只有一个前景区域。这里取该前景区域为灯组内的第i个灯眼。取前景区域iArea₁{x₁，y₁，w₁，h₁}及其中心坐标(x_c1,y_c1)。由原始灯组坐标S₀为{x₀，y₀，H₀，W₀}计算出第i个灯眼的原始参考坐标iArea_i{x_i0，y_i0，w_i0，h_i0}及其中心坐标(x_ic,y_ic)。计算出两灯眼中心，也就是两个中心坐标的偏移量Δx、Δy，根据该偏移量修正参考灯组坐标S₀{x₀，y₀，H₀，W₀}得到修正后灯组坐标S₀₁{x₀₁，y₀₁，H₀₁，W₀₁}，也就是实际信号灯区域的坐标。计算方法如下式所示：

另一种实施例：

当灯组前景区域的数量为多个时，对前景区域的中心进行相互校正，并取出轮廓相似度最大的灯眼中心校正灯组坐标。

以两个前景区域为例进行计算。取两个前景区域iArea₁{x₁，y₁，w₁，h₁}、iArea₂{x₂，y₂，w₂，h₂}，中心坐标分别为C₁(x_c1,y_c1)、C₂(x_c2,y_c2)。

若|x_c1-x_c2|＜|y_c1-y_c2|，则校正两区域中心的横轴坐标，得到新的标记区域中心坐标C₁(x_c11,y_c11)、C₂(x_c21,y_c21)，

若|x_c1-x_c2|＞|y_c1-y_c2|，则校正两区域中心的纵轴坐标，得到新的标记区域中心坐标C₁(x_c11,y_c11)，C₂(x_c21,y_c21)，

在前景区域iArea₁、iArea₂中取出轮廓相似度最大的区域修正灯组坐标。以取iArea₁为例，根据灯组配置信息计算出该前景区域处于第i灯眼位置，并计算出其参考坐标及中心iArea_i{x_i0,y_i0,w_i0,h_i0}及其中心坐标(x_ic,y_ic)，计算出该中心坐标与原始参考区域中对应灯眼的中心坐标之间的偏移量Δx、Δy，根据该偏移量进行修正，得到修正后灯组坐标S₀₁{x₀₁,y₀₁,H₀₁,W₀₁}，也就是实际信号灯区域的坐标。具体计算公式如下式所示：

可见，本实施例通过已训练的分类网络对候选区域进行识别，确定该候选区域对应的场景类型，并根据该场景类型确定对应的前景区域提取操作，并执行得到前景区域。使得针对不同的场景类型可以选择对应的操作，而并非只采用同一种操作。也就是可以选择更适合该前景区域的提取操作，实现复杂场景类型采用复杂且准确率更高的提取操作，简单场景采用执行效率更高的提取操作。进而不仅提高信号灯重定位的准确率和精度，还提高整体的执行效率和性能利用率。

下面对本申请实施例提供的一种信号灯的前景区域识别装置进行介绍，下文描述的一种信号灯的前景区域识别装置与上文描述的一种信号灯的前景区域识别方法可相互对应参照。

请参考图7，图7为本申请实施例所提供的一种信号灯的前景区域识别装置的结构示意图。

本实施例中，该装置可以包括：

候选区域确定模块100，用于从信号灯图像中确定候选区域；

场景识别模块200，用于采用分类网络对候选区域进行场景识别，得到对应的场景类型；

前景区域提取模块300，用于根据场景类型确定前景区域提取操作，对候选区域执行前景区域提取操作，得到前景区域。

与上述方法对应地，本实施例基于信号灯的前景区域识别装置中各模块，以如下优选方式工作，对于其他可以替代的方案，这里不做赘述。

可选的，本实施例中该场景识别模块200，采用分类网络对候选区域进行场景识别得到对应的场景类型时，可以执行如下操作：

采用ResNet分类网络对所述候选区域进行场景识别，得到对应的场景类型。

可选的，本实施例中该前景区域提取模块300，根据场景类型执行前景区域提取操作得到前景区域时，可以执行如下操作：

当场景类型为逆光场景或雾天场景时，对候选区域进行直方图均衡化处理，得到增强候选区域；

采用FCN分割网络对增强候选区域进行预设像素点提取操作，得到预设像素点；

根据预设像素点确定前景区域。

可选的，本实施例中该前景区域提取模块300，根据场景类型执行前景区域提取操作得到前景区域时，可以执行如下操作：

当场景类型为光照正常场景时，采用FCN分割网络对候选区域进行预设像素点提取，得到预设像素点；

根据预设像素点确定前景区域。

可选的，本实施例中该前景区域提取模块300，根据场景类型执行前景区域提取操作得到前景区域时，可以执行如下操作：

当场景类型为光照不充足场景时，根据候选区域的Y分量值将候选区域转换为灰度图；

采用最大类间方差法将灰度图转换为二值图像，对二值图像进行连通区域标记，得到多个标记区域；

根据标准灯眼大小对多个标记区域进行过滤，得到多个目标区域；

根据每个目标区域的高亮像素点和非高亮像素点分别对应的RGB分量均值，确定前景区域。

另外，本实施例中的前景区域提取模块300，在根据每个目标区域的高亮像素点和非高亮像素点分别对应的RGB分量均值确定前景区域时，执行如下操作：

确定目标区域的外接矩形中的高亮像素点和非高亮像素点；

计算高亮像素点在候选区域中的RGB分量均值，得到第一RGB分量均值；

计算非高亮像素点在候选区域中的RGB分量均值，得到第二RGB分量均值；

当第一RGB分量均值和第二RGB分量均值中的红色分量均大于第一阈值，并且第一RGB分量均值和第二RGB分量均值中绿色分量的差值大于第二阈值时，将目标区域作为前景区域。

可选的，本实施例中该候选区域确定模块100，在从信号灯图像中确定候选区域时，执行如下操作：

根据原始参考区域的坐标在信号灯图像中确定候选区域。

可选的，本实施例中当得到前景区域后，还可以执行如下操作：

根据前景区域对原始参考区域进行修正，得到实际信号灯区域。

可见，本实施例中的信号灯的前景区域识别装置通过已训练的分类网络对候选区域进行识别，确定该候选区域对应的场景类型，并根据该场景类型确定对应的前景区域提取操作，并执行得到前景区域。使得针对不同的场景类型可以选择对应的操作，而并非只采用同一种操作。也就是可以选择更适合该前景区域的提取操作，实现复杂场景类型采用复杂且准确率更高的提取操作，简单场景采用执行效率更高的提取操作。不仅提高识别准确率和识别精度，还提高整体的执行效率和性能利用率。

本申请实施例还提供一种服务器，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如以上实施例所述的前景区域识别方法的步骤。

本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如以上实施例所述的前景区域识别方法的步骤。

该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本申请所提供的一种信号灯的前景区域识别方法、信号灯的前景区域识别装置、服务器以及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims (9)

1.一种信号灯的前景区域识别方法，其特征在于，包括：

从信号灯图像中确定候选区域；

采用分类网络对所述候选区域进行场景识别，得到对应的场景类型；

根据所述场景类型确定前景区域提取操作，对所述候选区域执行所述前景区域提取操作，得到前景区域；

其中，根据所述场景类型确定前景区域提取操作，对所述候选区域执行所述前景区域提取操作，得到前景区域，包括：

当所述场景类型为光照不充足场景时，根据所述候选区域的Y分量值将所述候选区域转换为灰度图；采用最大类间方差法将所述灰度图转换为二值图像，对所述二值图像进行连通区域标记，得到多个标记区域；根据标准灯眼大小对所述多个标记区域进行过滤，得到多个目标区域；根据每个目标区域的高亮像素点和非高亮像素点分别对应的RGB分量均值，确定所述前景区域；

其中，根据每个目标区域的高亮像素点和非高亮像素点分别对应的RGB分量均值，确定所述前景区域，包括：

确定所述目标区域的外接矩形中的所述高亮像素点和所述非高亮像素点；计算所述高亮像素点在所述候选区域中的RGB分量均值，得到第一RGB分量均值；计算所述非高亮像素点在所述候选区域中的RGB分量均值，得到第二RGB分量均值；当所述第一RGB分量均值和所述第二RGB分量均值中的红色分量均大于第一阈值，并且所述第一RGB分量均值和所述第二RGB分量均值中绿色分量的差值大于第二阈值时，将所述目标区域作为所述前景区域。

2.根据权利要求1所述的前景区域识别方法，其特征在于，根据所述场景类型确定前景区域提取操作，对所述候选区域执行所述前景区域提取操作，得到前景区域，包括：

当所述场景类型为逆光场景或雾天场景时，对所述候选区域进行直方图均衡化处理，得到增强候选区域；

采用FCN分割网络对所述增强候选区域进行预设像素点提取操作，得到预设像素点；

根据所述预设像素点确定所述前景区域。

3.根据权利要求1所述的前景区域识别方法，其特征在于，根据所述场景类型确定前景区域提取操作，对所述候选区域执行所述前景区域提取操作，得到前景区域，包括：

当所述场景类型为光照正常场景时，采用FCN分割网络对所述候选区域进行预设像素点提取，得到预设像素点；

根据所述预设像素点确定所述前景区域。

4.根据权利要求1至3任一项所述的前景区域识别方法，其特征在于，采用分类网络对所述候选区域进行场景识别，得到对应的场景类型，包括：

采用ResNet分类网络对所述候选区域进行场景识别，得到对应的场景类型。

5.根据权利要求4所述的前景区域识别方法，其特征在于，从信号灯图像中确定候选区域，包括：

根据原始参考区域的坐标在所述信号灯图像中确定所述候选区域。

6.根据权利要求5所述的前景区域识别方法，其特征在于，还包括：

根据所述前景区域对所述原始参考区域进行修正，得到实际信号灯区域。

7.一种信号灯的前景区域识别装置，其特征在于，包括：

候选区域确定模块，用于从信号灯图像中确定候选区域；

场景识别模块，用于采用分类网络对所述候选区域进行场景识别，得到对应的场景类型；

前景区域提取模块，用于根据所述场景类型确定前景区域提取操作，对所述候选区域执行所述前景区域提取操作，得到前景区域；

其中，根据所述场景类型确定前景区域提取操作，对所述候选区域执行所述前景区域提取操作，得到前景区域，包括：

当所述场景类型为光照不充足场景时，根据所述候选区域的Y分量值将所述候选区域转换为灰度图；采用最大类间方差法将所述灰度图转换为二值图像，对所述二值图像进行连通区域标记，得到多个标记区域；根据标准灯眼大小对所述多个标记区域进行过滤，得到多个目标区域；根据每个目标区域的高亮像素点和非高亮像素点分别对应的RGB分量均值，确定所述前景区域；

其中，根据每个目标区域的高亮像素点和非高亮像素点分别对应的RGB分量均值，确定所述前景区域，包括：

确定所述目标区域的外接矩形中的所述高亮像素点和所述非高亮像素点；计算所述高亮像素点在所述候选区域中的RGB分量均值，得到第一RGB分量均值；计算所述非高亮像素点在所述候选区域中的RGB分量均值，得到第二RGB分量均值；当所述第一RGB分量均值和所述第二RGB分量均值中的红色分量均大于第一阈值，并且所述第一RGB分量均值和所述第二RGB分量均值中绿色分量的差值大于第二阈值时，将所述目标区域作为所述前景区域。

8.一种服务器，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至6任一项所述的前景区域识别方法的步骤。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的前景区域识别方法的步骤。

Images