CN112581534A - 一种信号灯重定位方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请公开了一种信号灯重定位方法，所述信号灯重定位方法包括：获取目标信号灯图像，并对所述目标信号灯图像进行语义分割得到前景图像；其中，所述目标信号灯图像为红灯点亮时的信号灯图像，所述前景图像为红灯所在区域的图像；对所述前景图像向预设方向进行投影，并根据投影结果确定所述前景图像中的信号灯位置参考点；根据所述信号灯位置参考点与信号灯配置框的当前参考点确定位置偏差，并根据所述位置偏差对所述信号灯配置框进行信号灯重定位。本申请能够提高重定位信号灯的精准度和效率。本申请还公开了一种信号灯重定位装置、一种电子设备及一种存储介质，具有以上有益效果。

Description

一种信号灯重定位方法、装置、电子设备及存储介质

技术领域

本申请涉及图像处理技术领域，特别涉及一种信号灯重定位方法、装置、一种电子设备及一种存储介质。

背景技术

由于交通信号灯是一个亮度较高的点光源，而电子警察等设备通常采用全局曝光的方式采集信号灯图像，但是上述图像采集方式可能会导致交通信号灯在成像的时候出现偏色情况，从而给执法部门在处理交通违章的过程中带来不必要的争议。为了解决该问题，行业上通常的做法都是采用信号灯增强的技术使得信号灯的成像在感官上更接近于真实效果，从而为违章判罚提供有力可靠的证据材料。

在红绿灯增强的技术当中，一般的做法是绘制信号灯配置框，进一步会在配置框的区域内通过图像处理等方法，最终实现对偏色红灯的效果增强。但是由于热胀冷缩等外界因素会导致信号灯在画面的位置发生偏移，需要对信号灯配置框的位置进行校正，才能保证红绿灯增强的最终效果。相关技术中，主要根据灯组颜色浓度及亮度结合信号灯周期性变换的特征计算信号灯中心点进而重定位信号灯配置框，这种方式具有可靠性差，耗时长等缺点。

因此，如何提高重定位信号灯的精准度和效率是本领域技术人员目前需要解决的技术问题。

发明内容

本申请的目的是提供一种信号灯重定位方法、装置、一种电子设备及一种存储介质，能够提高重定位信号灯的精准度和效率。

为解决上述技术问题，本申请提供一种信号灯重定位方法，该信号灯重定位方法包括：

获取目标信号灯图像，并对所述目标信号灯图像进行语义分割得到前景图像；其中，所述目标信号灯图像为红灯点亮时的信号灯图像，所述前景图像为红灯所在区域的图像；

对所述前景图像向预设方向进行投影，并根据投影结果确定所述前景图像中的信号灯位置参考点；

根据所述信号灯位置参考点与信号灯配置框的当前参考点确定位置偏差，并根据所述位置偏差对所述信号灯配置框进行信号灯重定位。

可选的，对所述前景图像向预设方向进行投影，并根据投影结果确定所述前景图像中的信号灯位置参考点，包括：

生成所述前景图像的二值化图像，并对所述二值化图像在水平方向和竖直方向进行投影，得到第一投影结果；其中，所述第一投影结果包括所述二值化图像在水平方向和竖直方向上每一位置的红灯图像像素点数量；

根据所述第一投影结果将红灯图像像素点数量小于第一预设值的像素点标记为噪点，并去除所述二值化图像中的噪点得到前景点感兴趣区域；其中，所述前景点感兴趣区域为所述二值化图像中红灯所在的区域；

对所述前景点感兴趣区域对应的二值化图像在水平方向和竖直方向进行投影，得到第二投影结果；其中，所述第二投影结果包括所述前景点感兴趣区域对应的二值化图像在水平方向和竖直方向上每一位置的红灯图像像素点数量；

根据所述第二投影结果将红灯图像像素点数量小于第二预设值的像素点标记为噪点，并去除所述前景点感兴趣区域中的噪点；

将所述前景点感兴趣区域中最左侧或最上方连通域的目标点设置为所述信号灯位置参考点。

可选的，将所述前景点感兴趣区域中最左侧或最上方连通域的目标点设置为所述信号灯位置参考点，包括：

若所述目标信号灯图像为非条形信号灯，则将所述前景点感兴趣区域中最左侧或最上方连通域的中心点设置为所述信号灯位置参考点；其中，若所述目标信号灯图像为非条形信号灯，所述信号灯配置框中最左侧或最上方灯眼的中心点为所述当前参考点；

若所述目标信号灯图像为条形信号灯，则将所述前景点感兴趣区域中最上方连通域的上下两条边的中点设置为所述信号灯位置参考点；其中，若所述目标信号灯图像为条形信号灯，所述信号灯配置框的上下两条边的中点为所述当前参考点。

可选的，根据所述信号灯位置参考点与信号灯配置框的当前参考点确定位置偏差，包括：

根据所述前景点感兴趣区域的尺寸判断是否存在多红灯粘结场景；

若是，则对所述前景点感兴趣区域进行尺寸纠正，并根据尺寸纠正后的前景点感兴趣区域确定新的信号灯位置参考点；

根据所述新的信号灯位置参考点与信号灯配置框的当前参考点确定位置偏差。

可选的，根据所述信号灯位置参考点与信号灯配置框的当前参考点确定位置偏差，包括：

若所述目标信号灯图像为非条形信号灯，则根据灯眼坐标差判断所述信号灯位置参考点与所述信号灯配置框的当前参考点是否对应同一灯眼；其中，所述灯眼坐标差为所述信号灯位置参考点与初始配置时所述信号灯配置框的中心点的坐标差；

若否，则根据所述灯眼坐标差调整所述信号灯位置参考点的坐标值；

根据调整坐标值后的信号灯位置参考点与信号灯配置框的当前参考点的坐标差确定所述位置偏差。

可选的，根据所述信号灯位置参考点与信号灯配置框的当前参考点确定位置偏差，包括：

若所述目标信号灯图像为条形信号灯，则计算第一实际参考点与第一预设参考点的第一坐标差，以及第二实际参考点与第二预设参考点的第二坐标差；其中，所述第一实际参考点为所述目标信号灯图像上边界的信号灯位置参考点，所述第二实际参考点为所述目标信号灯图像下边界的信号灯位置参考点，所述第一预设参考点为所述信号灯配置框上边界的当前参考点，所述第二预设参考点为所述信号灯配置框下边界的当前参考点；

若所述第一坐标差大于第二坐标差，则根据所述第二坐标差确定位置偏差；

若所述第一坐标差小于第二坐标差，则根据所述第一坐标差确定位置偏差。

可选的，在根据所述位置偏差对所述信号灯配置框进行信号灯重定位之后，还包括：

判断信号灯状态是否符合风险自规避触发条件；其中，所述风险自规避触发条件为信号灯持续点亮绿灯预设时长后黄灯点亮；

若是，则确定黄灯中心点的偏移距离和偏移方向；

若所述偏移方向为黄灯中心点指向红灯中心点的方向，则根据所述黄灯中心点的偏移距离重定位所述信号灯配置框的红灯位置；

若所述偏移方向为黄灯中心点指向绿灯中心点的方向，则记录预设时长内的红灯坐标，并根据记录次数最多的红灯坐标重定位所述信号灯配置框的红灯位置。

本申请还提供了一种信号灯重定位装置，该装置包括：

语义分割模块，用于获取目标信号灯图像，并对所述目标信号灯图像进行语义分割得到前景图像；其中，所述目标信号灯图像为红灯点亮时的信号灯图像，所述前景图像为红灯所在区域的图像；

参考点确定模块，用于对所述前景图像向预设方向进行投影，并根据投影结果确定所述前景图像中的信号灯位置参考点；

重定位模块，用于根据所述信号灯位置参考点与信号灯配置框的当前参考点确定位置偏差，并根据所述位置偏差对所述信号灯配置框进行信号灯重定位。

本申请还提供了一种存储介质，其上存储有计算机程序，所述计算机程序执行时实现上述信号灯重定位方法执行的步骤。

本申请还提供了一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时实现上述信号灯重定位方法执行的步骤。

本申请提供了一种信号灯重定位方法，包括：获取目标信号灯图像，并对所述目标信号灯图像进行语义分割得到前景图像；其中，所述目标信号灯图像为红灯点亮时的信号灯图像，所述前景图像为红灯所在区域的图像；对所述前景图像向预设方向进行投影，并根据投影结果确定所述前景图像中的信号灯位置参考点；根据所述信号灯位置参考点与信号灯配置框的当前参考点确定位置偏差，并根据所述位置偏差对所述信号灯配置框进行信号灯重定位。

本申请在获取目标信号灯图像之后，通过对目标信号灯图像进行语义分割得到红灯对应的前景图像。对前景图像进行投影能够确定红灯图像像素点在投影方向上的数量，进而可以快速确定前景图像中的信号灯位置参考点。信号灯位置参考点反映了信号灯的实际位置，信号灯配置框的当前参考点反映了信号灯的预设位置，根据信号灯位置参考点与信号灯配置框的当前参考点的位置偏差可以对信号灯配置框的偏差进行矫正，进而对信号灯配置框实现了信号灯重定位，以使信号灯配置框中的位置与信号灯的实际位置相匹配。相对于相关方案中根据颜色浓度和亮度确定参考点的方案，本申请通过投影确定信号灯位置参考点的方案无需进行传统的二值图像连通区域标记以及膨胀和腐蚀等操作，提高了确定信号灯位置参考点效率，同时保证了定信号灯位置参考点的准确性。因此，本申请能够提高重定位信号灯的精准度和效率。本申请同时还提供了一种信号灯重定位装置、一种电子设备和一种存储介质，具有上述有益效果，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例所提供的一种信号灯重定位方法的流程图；

图2为本申请实施例所提供的一种信号灯配置框与信号灯的位置关系图；

图3为本申请实施例所提供的一种信号灯位置参考点的确定方法的流程图；

图4为本申请实施例所提供的第一次投影的结果示意图；

图5为本申请实施例所提供的第二次投影的结果示意图；

图6为本申请实施例所提供的一种多类型灯组的配置框参考点的分布示意图；

图7为本申请实施例所提供的一种条形灯偏移示意图；

图8为本申请实施例所提供的一种多类型灯组配置框自纠正方案的流程图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

下面请参见图1，图1为本申请实施例所提供的一种信号灯重定位方法的流程图。

具体步骤可以包括：

S101：获取目标信号灯图像，并对所述目标信号灯图像进行语义分割得到前景图像；

其中，本步骤中提到的目标信号灯图像为红灯点亮时的信号灯图像，具体的，目标信号灯图像中可以存在多个红灯同时被点亮的情况，也可以存在红灯和其他颜色的灯同时被点亮的情况。

在得到目标信号灯图像的基础上，可以将目标信号灯图像输入语义分割网络，得到较高精度的语义分割图。目标信号灯图像的语义分割可以将红灯及其背景区分，语义分割后的前景图像为红灯所在区域的图像。例如，红灯可以作为前景点输出，而绿灯不作为前景点输出。

S102：对前景图像向预设方向进行投影，并根据投影结果确定所述前景图像中的信号灯位置参考点；

其中，在得到前景图像的基础上，本实施例可以对前景图像向预设方向进行投影得到投影结果，投影结果包括前景图像在预设方向上每一位置的红灯图像像素点数量，因此可以根据投影结果确定前景图像中红灯图像像素点的分布情况，进而可以根据投影结果确定红灯的在前景图像中对应的连通域，以便将连通域的特定点作为信号灯位置参考点。信号灯位置参考点为用于描述目标信号灯图像中红灯实际位置的点。

S103：根据信号灯位置参考点与信号灯配置框的当前参考点确定位置偏差，并根据位置偏差对信号灯配置框进行信号灯重定位。

其中，在本步骤之前可以存在获取信号灯配置框的位置信息的操作，信号灯配置框可以为矩形框，信号灯配置框的位置信息可以包括信号灯配置框左上角的坐标值、长度以及宽度。信号灯配置框的当前参考点为信号灯配置框中预先设置的用于描述红灯位置的点，以三眼信号灯为例，信号灯配置框的当前参考点可以为红灯的中心点。

请参见图2，图2为本申请实施例所提供的一种信号灯配置框与信号灯的位置关系图，图2中虚线框为信号灯配置框，实线部分为实际的信号灯，点A为信号灯配置框中的当前参考点，A’为信号灯位置参考点，根据信号灯位置参考点与信号灯配置框的当前参考点可以确定信号灯配置框与实际的信号灯的位置偏差，进而利用位置偏差对信号灯配置框进行信号灯重定位。信号灯重定位技术是一种对交通信号灯配置框进行纠偏的技术，用于解决信号灯配置框因外界因素导致的与灯组实际位置发生偏差的问题。

本实施例在获取目标信号灯图像之后，通过对目标信号灯图像进行语义分割得到红灯对应的前景图像。对前景图像进行投影能够确定红灯图像像素点在投影方向上的数量，进而可以快速确定前景图像中的信号灯位置参考点。信号灯位置参考点反映了信号灯的实际位置，信号灯配置框的当前参考点反映了信号灯的预设位置，根据信号灯位置参考点与信号灯配置框的当前参考点的位置偏差可以对信号灯配置框的偏差进行矫正，进而对信号灯配置框实现了信号灯重定位，以使信号灯配置框中的位置与信号灯的实际位置相匹配。相对于相关方案中根据颜色浓度和亮度确定参考点的方案，本实施例通过投影确定信号灯位置参考点的方案无需进行传统的二值图像连通区域标记以及膨胀和腐蚀等操作，提高了确定信号灯位置参考点效率，同时保证了定信号灯位置参考点的准确性。因此，本实施例能够提高重定位信号灯的精准度和效率。

请参见图3，图3为本申请实施例所提供的一种信号灯位置参考点的确定方法的流程图，本实施例是对图1对应实施例中S102的进一步介绍，本实施例相当于对前景图像进行预处理的操作，由于语义分割网络并不能保证分割后的结果完全没有杂点，很多时候灯组周围的车灯以及路灯会造成分割信息不正确，因此需要对前景图像进行噪点滤除。具体的，可以对前景图像依次进行一次投影、二次投影和关键位置点确定的操作，以有效去除语义分割后的噪点对于准确估计前景区域中心位置的影响。具体的，本实施例可以包括以下步骤：

S301：生成所述前景图像的二值化图像，并对所述二值化图像在水平方向和竖直方向进行投影，得到第一投影结果；

其中，所述第一投影结果包括所述二值化图像在水平方向和竖直方向上每一位置的红灯图像像素点数量；具体的，本实施例可以生成前景图像的灰度图像，并将灰度图像中灰度值大于阈值的像素点的灰度值设置为255，其余像素点的灰度值设置为0，得到二值化图像。

S302：根据所述第一投影结果将红灯图像像素点数量小于第一预设值的像素点标记为噪点，并去除所述二值化图像中的噪点得到前景点感兴趣区域；

其中，所述前景点感兴趣区域为所述二值化图像中红灯所在的区域；

S303：对所述前景点感兴趣区域对应的二值化图像在水平方向和竖直方向进行投影，得到第二投影结果；

其中，所述第二投影结果包括所述前景点感兴趣区域对应的二值化图像在水平方向和竖直方向上每一位置的红灯图像像素点数量；

S304：根据所述第二投影结果将红灯图像像素点数量小于第二预设值的像素点标记为噪点，并去除所述前景点感兴趣区域中的噪点；

S305：将所述前景点感兴趣区域中最左侧或最上方连通域的目标点设置为所述信号灯位置参考点。

请参见图4，图4为本申请实施例所提供的第一次投影的结果示意图，如图4所示以横向灯组为例进行说明，通过对分割图像(a)在垂直方向和水平方向上进行投影，根据投影结果(b)和(c)可以看出在垂直方向上有五段相对独立的区域，而水平方向有2段相对独立的区域，进一步地可以根据投影信息确定出如(a)中框图所示的红绿灯前景点区域。由于灯眼前景区域的尺寸与噪点的尺寸区别明显，因此可以根据垂直投影和水平投影的结果进一步缩小有效区域的范围，例如过滤掉(b)中的前两个投影区域，结合(c)中的后一个投影区域，便可以得到如(d)所示的投影区域。其中，投影结果(b)和(c)中的横坐标为投影方向上的距离，纵坐标为二值化图像在投影方向上每一位置的红灯图像像素点数量。

请参见图5，图5为本申请实施例所提供的第二次投影的结果示意图，如图5所示，第二次投影的主要目的是在第一次投影的基础上进行精定位，可以得到每一个独立分割出来红灯的连通域。为了进一步得到第一个灯眼的中心位置，需要进行第二次投影，投影方法同上，可以进一步减少灯眼周围的噪点并能够得到第一个灯眼的中心位置，结果如(g)所示，箭头中的白点为信号灯位置参考点。投影结果(e)和(f)中的横坐标为投影方向上的距离，纵坐标为二值化图像在投影方向上每一位置的红灯图像像素点数量。

可以理解的是，信号灯产品规格并没有一个统一的标准，因此信号灯的产品类型也是多种多样，常见的信号灯类型有三眼灯、多色灯、条形灯等。请参见图6，图6为本申请实施例所提供的一种多类型灯组的配置框参考点的分布示意图。如图6所示，三眼灯红灯和多色灯的配置框参考点为最左侧或最上方的灯眼的中心点，条形灯的配置框参考点为上下两条边的中点。

本实施例针对图6中的三眼灯及多色灯，均是以配置框内第一灯眼的中心位置为初始参考位置点，而对于条形灯来说可以将配置框的上边界和下边界的中心点为参考位置点。由于分割出来的红灯前景区域不能直接与原始红灯的位置相匹配，本实施例可以通过以下方式统一设置前景图像中的信号灯位置参考点和信号灯配置框的当前参考点：在进行处理分割图时，只需要关心从左到右或从上到下第一个连通区域的中心位置即可。对于条形灯来说，分别计算连通区域的上边界和下边界的中心位置。具体的，若所述目标信号灯图像为非条形信号灯，则将所述前景点感兴趣区域中最左侧或最上方连通域的中心点设置为所述信号灯位置参考点；其中，若所述目标信号灯图像为非条形信号灯，所述信号灯配置框中最左侧或最上方灯眼的中心点为所述当前参考点。非条形信号灯指圆形灯眼或箭头形灯眼的信号灯。若所述目标信号灯图像为条形信号灯，则将所述前景点感兴趣区域中最上方连通域的上下两条边的中点设置为所述信号灯位置参考点；其中，若所述目标信号灯图像为条形信号灯，所述信号灯配置框的上下两条边的中点为所述当前参考点。

作为对于以上实施例的进一步介绍，下面以纵向三眼灯为例说明确定位置偏差并进行信号灯重定位的过程：根据所述前景点感兴趣区域的尺寸判断是否存在多红灯粘结场景；若是，则对所述前景点感兴趣区域进行尺寸纠正，并根据尺寸纠正后的前景点感兴趣区域确定新的信号灯位置参考点；根据所述新的信号灯位置参考点与信号灯配置框的当前参考点确定位置偏差。

设两次投影后所得的结果分别为Xstart,Ystart,iRsltWdth,iRsltHght,其中Xstar、t Ystart分别表示为前景点感兴趣区域最小外接矩形左上角的横纵坐标。由于实际应用当中会发现存在一些多红灯粘结后作为前景输出的情况，因此需要进行高宽异常纠正，最终确定出的灯眼宽高iRsltWdth′和iRsltHght′如下式所示：

式中，iRsltWdt,hiRsltHght分别表示前景感兴趣区域的宽度和长度，ilgtWdth，ilgtHght分别代表灯组中一个灯眼的标准宽度和标准高度，A、B、C、D、E、F、G和H分别代表相应的固定经验值。

进一步的，由于本实施例将信号灯配置框根据最左侧或最上方的灯眼确定信号灯配置框的当前参考点，将前景点感兴趣区域中最左侧或最上方连通域的中心点设置为所述信号灯位置参考点，可能存在前景点感兴趣区域不为信号灯最左侧或最上方的灯眼的情况。以纵向三眼灯为例，从上至下分别为绿灯、黄灯和红灯，信号灯配置框的当前参考点根据绿灯位置设置，前景点感兴趣区域中的信号灯位置参考点根据红灯位置确定，因此在得到信号灯位置参考点之后，还可以对信号灯位置参考点进行位置变换，以使前景点感兴趣区域为信号灯最左侧或最上方的灯眼对应的区域。因此，若所述目标信号灯图像为非条形信号灯，则根据灯眼坐标差判断所述信号灯位置参考点与所述信号灯配置框的当前参考点是否对应同一灯眼；其中，所述灯眼坐标差为所述信号灯位置参考点与初始配置时所述信号灯配置框的中心点的坐标差；若否，则根据所述灯眼坐标差调整所述信号灯位置参考点的坐标值；根据调整坐标值后的信号灯位置参考点与信号灯配置框的当前参考点的坐标差确定所述位置偏差。

若目标信号灯图像中前景图像的起始坐标为uiGrpStartX，uiGrpStartY，则根据语义分割后所得感兴趣区域的中心位置可表示为：

上式中，iSegRsltX、iSegRsltY表示根据前景点所确定出的第一灯眼中心位置的横坐标和纵坐标，Xstart，Ystart表示第一灯眼感兴趣区域左上角的横坐标和纵坐标。上述第一灯眼为最左侧或最上方的灯眼。

根据感兴趣区域输出的中心位置和由初始配置所得第一灯眼的中心位置，可以求得两者之间在水平方向和竖直方向上的偏差，由于此时输出的感兴趣区域并不一定是第一灯眼的红灯，因而可以通过以下公式将信号灯位置参考点映射到第一灯眼处。

上式中，A’、B’、C’、D’、E’、F’、G’和H’分别代表不同的固定经验值。

对于纵向灯组而言，前景区域在水平方向上的偏差iXoffsetTemp不会对映射后第一灯眼的横坐标有太大影响，而竖直方向上的偏差iYoffsetTemp则是主要的影响因素。由新计算出的灯组第一灯眼前景点中心位置与实际当中第一灯眼的中心位置可计算出新的偏差，如下式所示：

iNewXoffset＝iNSegRslX-iOriGrpCenX

iNewYoffset＝iNSegRslY-iOriGrpCenY；

上式中iNSegRslX为将信号灯位置参考点映射到第一灯眼处的横坐标，iNSegRslY为将信号灯位置参考点映射到第一灯眼处的纵坐标，iOriGrpCenX为信号灯配置框的当前参考点的横坐标，iOriGrpCenY为信号灯配置框的当前参考点的纵坐标。通过上述方式可以得到了灯组的位置偏差，可由此位置偏差确定灯框的纠正距离，与此同时更新并记录新得到的第一个灯眼中心位置值(iNSegRslX,iNSegRslY)。将(iNSegRslX,iNSegRslY)设置为信号灯配置框的新的当前参考点。

进一步的，若所述目标信号灯图像为条形信号灯，则计算第一实际参考点与第一预设参考点的第一坐标差，以及第二实际参考点与第二预设参考点的第二坐标差；其中，所述第一实际参考点为所述目标信号灯图像上边界的信号灯位置参考点，所述第二实际参考点为所述目标信号灯图像下边界的信号灯位置参考点，所述第一预设参考点为所述信号灯配置框上边界的当前参考点，所述第二预设参考点为所述信号灯配置框下边界的当前参考点；若所述第一坐标差大于第二坐标差，则根据所述第二坐标差确定位置偏差；若所述第一坐标差小于第二坐标差，则根据所述第一坐标差确定位置偏差。

请参见图7，图7为本申请实施例所提供的一种条形灯偏移示意图，对于条形灯而言，本实施例同时记录前景点的上下边缘中心点。然后在每次语义分割纠正的周期内，分别将前述记录的前景点上下边界中心与初始配置框的上下边界中心分别求偏差。从而判断出条形灯启亮的方向从而实现正确的矫正。Point1和Point 2分别表示初始时候记录的上下边缘中心点，Point 4和Point 3表示分割图中所求的上下边界中心点。本实施例可以通过以下公式确定偏移方向和偏移距离：

上式中Yoffsetup为上偏差，Yoffsetdown为下偏差。若|Yoffsetup|＜|Yoffsetdown|，则以点Yoffsetup为偏移值并判定偏移方向为向上渐变；若|Yoffsetup|＞|Yoffsetdown|，则以点Yoffsetdown为偏移值，并判定偏移方向为向下渐变。

请参见图8，图8为本申请实施例所提供的一种多类型灯组配置框自纠正方案的流程图，在得到灯组信息之后判断信号灯是否为条形灯。若为条形灯，则在抠图后进行语义分割得到前景点感兴趣区域，将前景点感兴趣区域的上下边界中心作为信号灯位置参考点，计算配置框上下边界与前景点上下边界中心位置偏差。若上偏差大于下偏差则说明条形灯从上到下亮，可以利用上偏差纠正，若上偏差小于下偏差则说明条形灯从下到上亮，可以利用下偏差纠正，以便更新信号灯配置框新的中心位置。若不为条形灯，则在抠图后进行语义分割得到前景点感兴趣区域，并确定前景点第一灯眼的中心位置和配置框第一灯眼的中心位置，计算前景点第一灯眼的中心位置和配置框第一灯眼的中心位置的位置偏差，若偏差大于0则配置框向左移，若偏差小于0则配置框向右移，最后更新信号灯配置框新的中心位置。本实施例针对不同类型的灯组，以不同的红灯某一位置特征点为参考点，进行X方向和Y方向的偏差计算，耗时少，响应速度快，方法通用性好。

上述实施例的实际应用过程中，得到的实验结果表明本发明相比较传统的重定位的方法具有以下优点：1)速度快，采用基于颜色浓度亮度进行信号灯重定位的耗时为2min，采取本方法进行信号灯重定位只需要15ms。2)重定位准确率高且对不同类型的信号灯都适用。

在实际应用中，可能存在一种长时间无语义信息输出的情况，例如长时间的绿灯，此时红灯的实际位置将不可计算。考虑到绿灯熄灭后黄灯输出的语义信息在上述逻辑下可能会出现误差，因此设计了一个风险自规避方案。下面以常见的纵向分别为红、黄、绿的标准三眼灯为例进行说明：

在根据所述位置偏差对所述信号灯配置框进行信号灯重定位之后，判断信号灯状态是否符合风险自规避触发条件；其中，所述风险自规避触发条件为信号灯持续点亮绿灯预设时长后黄灯点亮；若是，则确定黄灯中心点的偏移距离和偏移方向；若所述偏移方向为黄灯中心点指向红灯中心点的方向，则根据所述黄灯中心点的偏移距离重定位所述信号灯配置框的红灯位置；若所述偏移方向为黄灯中心点指向绿灯中心点的方向，则记录预设时长内的红灯坐标，并根据记录次数最多的红灯坐标重定位所述信号灯配置框的红灯位置。本实施例根据偏差值的正负以及记录输出位置的周期个数，判断是否出现误判，以规避黄灯带来的误识别等问题，提高了算法的强鲁棒性。

若黄灯的中心位置向上超过了T倍的最小灯眼高度时，黄灯会被误当成红灯，配置框回下移一个灯眼高度，导致信号灯重定位出错。若黄灯的中心位置向下偏移超过T倍的灯眼高度，黄灯会被误当成第三灯眼，随后红灯一直处于第二灯眼处，导致信号灯重定位出错。

本实施例通过以下的方法进行自矫正。

情况一：黄灯的中心位置向上超过了T倍的最小灯眼高度时，由于黄灯熄灭以后的红灯会出现在黄灯的上方，那么此时计算出来的偏差是负值，可以根据偏差的正负值进行纠正；

情况二：黄灯的中心位置向下偏移超过T倍的灯眼高度时，通过记录红灯处于同一位置的次数来判断。例如，在10个计算周期内，判定在同一位置输出位置信息10次，则认为该前景区域就是第一灯眼。

本申请实施例所提供的一种信号灯重定位装置，该装置可以包括：

语义分割模块，用于获取目标信号灯图像，并对所述目标信号灯图像进行语义分割得到前景图像；其中，所述目标信号灯图像为红灯点亮时的信号灯图像，所述前景图像为红灯所在区域的图像；

参考点确定模块，用于对所述前景图像向预设方向进行投影，并根据投影结果确定所述前景图像中的信号灯位置参考点；

重定位模块，用于根据所述信号灯位置参考点与信号灯配置框的当前参考点确定位置偏差，并根据所述位置偏差对所述信号灯配置框进行信号灯重定位。

本实施例在获取目标信号灯图像之后，通过对目标信号灯图像进行语义分割得到红灯对应的前景图像。对前景图像进行投影能够确定红灯图像像素点在投影方向上的数量，进而可以快速确定前景图像中的信号灯位置参考点。信号灯位置参考点反映了信号灯的实际位置，信号灯配置框的当前参考点反映了信号灯的预设位置，根据信号灯位置参考点与信号灯配置框的当前参考点的位置偏差可以对信号灯配置框的偏差进行矫正，进而对信号灯配置框实现了信号灯重定位，以使信号灯配置框中的位置与信号灯的实际位置相匹配。相对于相关方案中根据颜色浓度和亮度确定参考点的方案，本实施例通过投影确定信号灯位置参考点的方案无需进行传统的二值图像连通区域标记以及膨胀和腐蚀等操作，提高了确定信号灯位置参考点效率，同时保证了定信号灯位置参考点的准确性。因此，本实施例能够提高重定位信号灯的精准度和效率。

可选的，参考点确定模块，包括：

第一投影单元，用于生成所述前景图像的二值化图像，并对所述二值化图像在水平方向和竖直方向进行投影，得到第一投影结果；其中，所述第一投影结果包括所述二值化图像在水平方向和竖直方向上每一位置的红灯图像像素点数量；还用于根据所述第一投影结果将红灯图像像素点数量小于第一预设值的像素点标记为噪点，并去除所述二值化图像中的噪点得到前景点感兴趣区域；其中，所述前景点感兴趣区域为所述二值化图像中红灯所在的区域；

第二投影单元，用于对所述前景点感兴趣区域对应的二值化图像在水平方向和竖直方向进行投影，得到第二投影结果；其中，所述第二投影结果包括所述前景点感兴趣区域对应的二值化图像在水平方向和竖直方向上每一位置的红灯图像像素点数量；还用于根据所述第二投影结果将红灯图像像素点数量小于第二预设值的像素点标记为噪点，并去除所述前景点感兴趣区域中的噪点；

信号灯位置参考点确定单元，用于将所述前景点感兴趣区域中最左侧或最上方连通域的目标点设置为所述信号灯位置参考点。

可选的，信号灯位置参考点确定单元用于若所述目标信号灯图像为非条形信号灯，则将所述前景点感兴趣区域中最左侧或最上方连通域的中心点设置为所述信号灯位置参考点；其中，若所述目标信号灯图像为非条形信号灯，所述信号灯配置框中最左侧或最上方灯眼的中心点为所述当前参考点；还用于若所述目标信号灯图像为条形信号灯，则将所述前景点感兴趣区域中最上方连通域的上下两条边的中点设置为所述信号灯位置参考点；其中，若所述目标信号灯图像为条形信号灯，所述信号灯配置框的上下两条边的中点为所述当前参考点。

进一步的，重定位模块用于尺寸根据所述前景点感兴趣区域的尺寸判断是否存在多红灯粘结场景；若是，则对所述前景点感兴趣区域进行尺寸纠正，并根据尺寸纠正后的前景点感兴趣区域确定新的信号灯位置参考点；还用于根据所述新的信号灯位置参考点与信号灯配置框的当前参考点确定位置偏差。

进一步的，重定位模块包括：

非条形信号灯处理单元，用于若所述目标信号灯图像为非条形信号灯，则根据灯眼坐标差判断所述信号灯位置参考点与所述信号灯配置框的当前参考点是否对应同一灯眼；其中，所述灯眼坐标差为所述信号灯位置参考点与初始配置时所述信号灯配置框的中心点的坐标差；若否，则根据所述灯眼坐标差调整所述信号灯位置参考点的坐标值；还用于根据调整坐标值后的信号灯位置参考点与信号灯配置框的当前参考点的坐标差确定所述位置偏差。

条形信号灯处理单元，用于若所述目标信号灯图像为条形信号灯，则计算第一实际参考点与第一预设参考点的第一坐标差，以及第二实际参考点与第二预设参考点的第二坐标差；其中，所述第一实际参考点为所述目标信号灯图像上边界的信号灯位置参考点，所述第二实际参考点为所述目标信号灯图像下边界的信号灯位置参考点，所述第一预设参考点为所述信号灯配置框上边界的当前参考点，所述第二预设参考点为所述信号灯配置框下边界的当前参考点；还用于若所述第一坐标差大于第二坐标差，则根据所述第二坐标差确定位置偏差；若所述第一坐标差小于第二坐标差，则根据所述第一坐标差确定位置偏差。

进一步的，还包括：

风险自规避模块，用于在根据所述位置偏差对所述信号灯配置框进行信号灯重定位之后，判断信号灯状态是否符合风险自规避触发条件；其中，所述风险自规避触发条件为信号灯持续点亮绿灯预设时长后黄灯点亮；若是，则确定黄灯中心点的偏移距离和偏移方向；还用于若所述偏移方向为黄灯中心点指向红灯中心点的方向，则根据所述黄灯中心点的偏移距离重定位所述信号灯配置框的红灯位置；还用于若所述偏移方向为黄灯中心点指向绿灯中心点的方向，则记录预设时长内的红灯坐标，并根据记录次数最多的红灯坐标重定位所述信号灯配置框的红灯位置。

由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。

本申请还提供了一种存储介质，其上存有计算机程序，该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本申请还提供了一种电子设备，可以包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时，可以实现上述实施例所提供的步骤。当然所述电子设备还可以包括各种网络接口，电源等组件。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种信号灯重定位方法，其特征在于，包括：

获取目标信号灯图像，并对所述目标信号灯图像进行语义分割得到前景图像；其中，所述目标信号灯图像为红灯点亮时的信号灯图像，所述前景图像为红灯所在区域的图像；

对所述前景图像向预设方向进行投影，并根据投影结果确定所述前景图像中的信号灯位置参考点；

根据所述信号灯位置参考点与信号灯配置框的当前参考点确定位置偏差，并根据所述位置偏差对所述信号灯配置框进行信号灯重定位。

2.根据权利要求1所述信号灯重定位方法，其特征在于，对所述前景图像向预设方向进行投影，并根据投影结果确定所述前景图像中的信号灯位置参考点，包括：

生成所述前景图像的二值化图像，并对所述二值化图像在水平方向和竖直方向进行投影，得到第一投影结果；其中，所述第一投影结果包括所述二值化图像在水平方向和竖直方向上每一位置的红灯图像像素点数量；

根据所述第一投影结果将红灯图像像素点数量小于第一预设值的像素点标记为噪点，并去除所述二值化图像中的噪点得到前景点感兴趣区域；其中，所述前景点感兴趣区域为所述二值化图像中红灯所在的区域；

对所述前景点感兴趣区域对应的二值化图像在水平方向和竖直方向进行投影，得到第二投影结果；其中，所述第二投影结果包括所述前景点感兴趣区域对应的二值化图像在水平方向和竖直方向上每一位置的红灯图像像素点数量；

根据所述第二投影结果将红灯图像像素点数量小于第二预设值的像素点标记为噪点，并去除所述前景点感兴趣区域中的噪点；

将所述前景点感兴趣区域中最左侧或最上方连通域的目标点设置为所述信号灯位置参考点。

3.根据权利要求2所述信号灯重定位方法，其特征在于，将所述前景点感兴趣区域中最左侧或最上方连通域的目标点设置为所述信号灯位置参考点，包括：

若所述目标信号灯图像为非条形信号灯，则将所述前景点感兴趣区域中最左侧或最上方连通域的中心点设置为所述信号灯位置参考点；其中，若所述目标信号灯图像为非条形信号灯，所述信号灯配置框中最左侧或最上方灯眼的中心点为所述当前参考点；

若所述目标信号灯图像为条形信号灯，则将所述前景点感兴趣区域中最上方连通域的上下两条边的中点设置为所述信号灯位置参考点；其中，若所述目标信号灯图像为条形信号灯，所述信号灯配置框的上下两条边的中点为所述当前参考点。

4.根据权利要求2所述信号灯重定位方法，其特征在于，根据所述信号灯位置参考点与信号灯配置框的当前参考点确定位置偏差，包括：

根据所述前景点感兴趣区域的尺寸判断是否存在多红灯粘结场景；

若是，则对所述前景点感兴趣区域进行尺寸纠正，并根据尺寸纠正后的前景点感兴趣区域确定新的信号灯位置参考点；

根据所述新的信号灯位置参考点与信号灯配置框的当前参考点确定位置偏差。

5.根据权利要求1所述信号灯重定位方法，其特征在于，根据所述信号灯位置参考点与信号灯配置框的当前参考点确定位置偏差，包括：

若所述目标信号灯图像为非条形信号灯，则根据灯眼坐标差判断所述信号灯位置参考点与所述信号灯配置框的当前参考点是否对应同一灯眼；其中，所述灯眼坐标差为所述信号灯位置参考点与初始配置时所述信号灯配置框的中心点的坐标差；

若否，则根据所述灯眼坐标差调整所述信号灯位置参考点的坐标值；

根据调整坐标值后的信号灯位置参考点与信号灯配置框的当前参考点的坐标差确定所述位置偏差。

6.根据权利要求1所述信号灯重定位方法，其特征在于，根据所述信号灯位置参考点与信号灯配置框的当前参考点确定位置偏差，包括：

若所述目标信号灯图像为条形信号灯，则计算第一实际参考点与第一预设参考点的第一坐标差，以及第二实际参考点与第二预设参考点的第二坐标差；其中，所述第一实际参考点为所述目标信号灯图像上边界的信号灯位置参考点，所述第二实际参考点为所述目标信号灯图像下边界的信号灯位置参考点，所述第一预设参考点为所述信号灯配置框上边界的当前参考点，所述第二预设参考点为所述信号灯配置框下边界的当前参考点；

若所述第一坐标差大于第二坐标差，则根据所述第二坐标差确定位置偏差；

若所述第一坐标差小于第二坐标差，则根据所述第一坐标差确定位置偏差。

7.根据权利要求1至5任一项所述信号灯重定位方法，其特征在于，在根据所述位置偏差对所述信号灯配置框进行信号灯重定位之后，还包括：

判断信号灯状态是否符合风险自规避触发条件；其中，所述风险自规避触发条件为信号灯持续点亮绿灯预设时长后黄灯点亮；

若是，则确定黄灯中心点的偏移距离和偏移方向；

若所述偏移方向为黄灯中心点指向红灯中心点的方向，则根据所述黄灯中心点的偏移距离重定位所述信号灯配置框的红灯位置；

若所述偏移方向为黄灯中心点指向绿灯中心点的方向，则记录预设时长内的红灯坐标，并根据记录次数最多的红灯坐标重定位所述信号灯配置框的红灯位置。

8.一种信号灯重定位装置，其特征在于，包括：

语义分割模块，用于获取目标信号灯图像，并对所述目标信号灯图像进行语义分割得到前景图像；其中，所述目标信号灯图像为红灯点亮时的信号灯图像，所述前景图像为红灯所在区域的图像；

参考点确定模块，用于对所述前景图像向预设方向进行投影，并根据投影结果确定所述前景图像中的信号灯位置参考点；

重定位模块，用于根据所述信号灯位置参考点与信号灯配置框的当前参考点确定位置偏差，并根据所述位置偏差对所述信号灯配置框进行信号灯重定位。

9.一种电子设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时实现如权利要求1至7任一项所述信号灯重定位方法的步骤。

10.一种存储介质，其特征在于，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现如权利要求1至7任一项所述信号灯重定位方法的步骤。

Images