CN109035331B - 一种信号灯组的位置矫正方法及设备 - Google Patents

Abstract

本发明公开了一种信号灯组的位置矫正方法及设备。该方法通过全卷积网络获取信号灯组中的各个灯眼在矫正周期的各个视频帧中对应的像素点集合，根据像素点集合确定灯眼在各视频帧中的位置偏移量，根据灯眼在各视频帧中的位置偏移量确定灯眼在当前帧中的位置偏移量，根据各灯眼在当前帧中的位置偏移量确定信号灯组的位置偏移量，并按照各信号灯组的位置偏移量矫正当前帧中各信号灯组的位置。该方案能够避免引入阈值等主观因素的对信号灯组的位置矫正造成的不利影响，弥补单帧求取偏移量不够准确的缺陷，并且保证当前视频帧中所有信号灯组的位置的准确性。

Description

一种信号灯组的位置矫正方法及设备

技术领域

本发明涉及交通信号灯领域，特别涉及一种信号灯组的位置矫正方法。本发明同时还涉及一种信号灯组的位置矫正设备。

背景技术

交通信号灯状态的准确检测，可以为抓拍闯红灯等交通违法行为提供保障，为交警部门执法提供有力依据，对保障交通安全、减少交通事故、提高交通质量具有重要作用。

交通信号灯组位置对信号灯状态的准确检测至关重要。目前，交通信号灯与电警相机的距离较远，且信号灯组面积较小，当安装杆件热胀冷缩等因素引起相机微小移动时，交通信号灯组在视频帧中位置会发生较大偏移，且各灯组位置偏移差别较大。此时，为了保证交通信号灯状态检测的准确，需要对交通信号灯组位置进行矫正。

目前，现有技术中存在以下两种矫正方案：

(1)该方案首先在当前视频帧中提取满足色度、亮度以及饱和度阈值的颜色前景点；其次对提取的颜色前景点进行行投影和列投影分析，获取交通信号灯的位置。但是，该方案提取前景点时，使用了色度、亮度以及饱和度阈值，存在很大主观因素，当信号灯附近存在颜色相近的物体时，很难准确得到信号灯位置；另外该方案仅利用单帧图像获取前景点，快速闪过颜色接近的干扰物区域可能被误判为信号灯。

(2)该方案首先获取各信号指示灯的重定位区域；其次在单个定位周期内计算每帧图像的重定位区域中各像素点的颜色分量强度；接着在定位周期结束时删除不满足要求的像素点，根据剩余像素点确定指示灯中点，结合指示灯尺寸确定指示灯位置。该方案中认为各信号灯组的位置偏移量基本一致，且寻找周期性变化最剧烈的区域易受附近周期性变化目标的影响，因此对所有信号灯组位置进行整体偏移矫正。但是，忽略了各信号灯组之间的差别，当实际灯组位置差别较大时(如一个灯组在视频帧中间，一个灯组在视频帧边缘)，各信号灯组的位置偏移量差别很大，进行整体矫正就会使部分信号灯组的位置不准确。

发明内容

本发明提供一种信号灯组的位置矫正方法及设备，可以避免阈值等主观因素以及单帧检测对信号灯组的位置矫正造成的影响，从而有效保障各信号灯组的位置的准确性。

为了达到上述目的，本发明一方面提供了一种信号灯组的位置矫正方法，该方法包括：

通过全卷积网络获取信号灯组中的各个灯眼在矫正周期的各个视频帧中对应的像素点集合；

根据所述像素点集合确定所述灯眼在各所述视频帧中的位置区域，或者根据所述像素点集合以及所述灯眼的参照位置区域确定所述灯眼在各所述视频帧中的位置区域，所述参照位置区域为所述灯眼在最近一次矫正后的位置区域；

根据所述灯眼在各所述视频帧中的位置区域以及所述参照位置区域确定所述灯眼在各所述视频帧中的位置偏移量，并根据所述灯眼在各所述视频帧中的位置偏移量确定所述灯眼在当前帧中的位置偏移量；

根据各所述灯眼在所述当前帧中的位置偏移量确定所述信号灯组的位置偏移量，并根据各所述信号灯组的位置偏移量矫正所述当前帧中各所述信号灯组的位置。

优选的，通过全卷积网络获取信号灯组中的各个灯眼在矫正周期的各个视频帧中对应的像素点集合，具体为：

将所述信号灯组的配置框的位置区域作为信号灯组区域；

根据所述信号灯组区域确定全卷积网络检测区域；

利用所述全卷积网络依次对各所述视频帧中全卷积网络检测区域内的灯眼进行检测，以获取所述像素点集合，所述像素点集合与所述灯眼的位置相对应。

优选的，所述根据所述像素点集合以及所述灯眼的参照位置区域确定所述灯眼在各所述视频帧中的位置区域，具体包括：

分别确定各像素点周围指定区域内所存在的属于所述像素点集合的像素点的数量，所述指定区域与所述灯眼的配置框的大小形状一致；

根据所述像素点集合中各像素点位置以及所述像素点周围指定区域内所存在的属于所述像素点集合的像素点的数量确定所述灯眼位置区域的中心点；

若根据所述中心点生成的灯眼初步位置区域与所述参照位置区域存在重合区域，根据所述重合区域的中心点确定所述灯眼在各所述视频帧中的位置区域；

若根据所述中心点生成的灯眼初步位置区域与所述参照位置区域不存在重合区域，将所述参照位置区域作为所述灯眼在各所述视频帧中的位置区域。

优选的，所述根据所述像素点集合确定所述灯眼在各所述视频帧中的位置区域，具体包括：

分别确定各像素点周围指定区域内所存在的属于所述像素点集合的像素点的数量，所述指定区域与所述灯眼的配置框的大小形状一致；

根据所述像素点集合中各像素点位置以及所述像素点周围指定区域内所存在的属于所述像素点集合的像素点的数量确定所述灯眼位置区域的中心点；

根据所述中心点确定所述灯眼在各所述视频帧中的位置区域。

优选的，所述根据所述灯眼在各所述视频帧中的位置偏移量确定所述灯眼在当前帧中的位置偏移量，具体为：

将所述灯眼在各所述视频帧中的位置偏移量通过归一化处理得到各所述视频帧的位移系数，所述位移系数为所述灯眼在所述视频帧中的位置偏移量与所述灯眼在所有视频帧中的位置偏移量总和的比值；

将所述灯眼在各所述视频帧的位置偏移量以及对应的各所述视频帧的位移系数的乘积之和作为所述灯眼在当前帧中的位置偏移量。

优选的，所述根据各所述灯眼在所述当前帧中的位置偏移量确定所述信号灯组的位置偏移量，具体为：

将所述当前帧的各信号灯组中各所述灯眼的位置偏移量通过归一化处理得到各所述灯眼的权重系数，所述权重系数为所述灯眼的位置偏移量与所述信号灯组中所有灯眼的位置偏移量的总和的比值；

将各所述灯眼的位置偏移量以及对应的各所述灯眼的权重系数的乘积之和作为所述信号灯组的位置偏移量。

另一方面，本发明还提出了一种信号灯组的位置矫正设备，该设备包括：

第一确定模块，用于通过全卷积网络获取信号灯组中的各个灯眼在矫正周期的各个视频帧中对应的像素点集合；

第二确定模块，用于根据所述像素点集合确定所述灯眼在各所述视频帧中的位置区域，或者根据所述像素点集合以及所述灯眼的参照位置区域确定所述灯眼在各所述视频帧中的位置区域，所述参照位置区域为所述灯眼在最近一次矫正后的位置区域；

第三确定模块，根据所述灯眼在各所述视频帧中的位置区域以及所述参照位置区域确定所述灯眼在各所述视频帧中的位置偏移量，并根据所述灯眼在各所述视频帧中的位置偏移量确定所述灯眼在当前帧中的位置偏移量；

矫正模块，用于根据各所述灯眼在所述当前帧中的位置偏移量确定所述信号灯组的位置偏移量，并根据各所述信号灯组的位置偏移量矫正所述当前帧中各所述信号灯组的位置。

优选的，所述第一确定模块具体用于：

将所述信号灯组的配置框的位置区域作为信号灯组区域；

根据所述信号灯组区域确定全卷积网络检测区域；

利用所述全卷积网络依次对各所述视频帧中全卷积网络检测区域内的灯眼进行检测，以获取所述像素点集合，所述像素点集合与所述灯眼的位置相对应。

优选的，所述第二确定模块具体用于：

分别确定各像素点周围指定区域大小内所存在的属于所述像素点集合的像素点的数量，所述指定区域与所述灯眼的配置框的大小形状一致；

根据所述像素点集合中各像素点位置以及所述像素点周围指定区域内所存在的属于所述像素点集合的像素点的数量确定所述灯眼位置区域的中心点；

若根据所述中心点生成的灯眼初步位置区域与所述参照位置区域存在重合区域，根据所述重合区域的中心点确定所述灯眼在各所述视频帧中的位置区域；

若根据所述中心点生成的灯眼初步位置区域与所述参照位置区域不存在重合区域，将所述参照位置区域作为所述灯眼在各所述视频帧中的位置区域。

优选的，所述第二确定模块具体用于：

分别确定各像素点周围指定区域内所存在的属于所述像素点集合的像素点的数量，所述指定区域与所述灯眼的配置框的大小形状一致；

根据所述像素点集合中各像素点位置以及所述像素点周围指定区域内所存在的属于所述像素点集合的像素点的数量确定所述灯眼位置区域的中心点；

根据所述中心点确定所述灯眼在各所述视频帧中的位置区域。

优选的，所述第三确定模块根据所述灯眼在各所述视频帧中的位置偏移量确定所述灯眼在当前帧中的位置偏移量，具体为：

将所述灯眼在各所述视频帧中的位置偏移量通过归一化处理为各所述视频帧的位移系数，所述位移系数为所述灯眼在所述视频帧中的位置偏移量与所述灯眼在所有视频帧中的位置偏移量总和的比值；

将所述灯眼在各所述视频帧的位置偏移量以及对应的各所述视频帧的位移系数的乘积之和作为所述灯眼在当前帧中的位置偏移量。

优选的，所述矫正模块根据各所述灯眼在所述当前帧中的位置偏移量确定所述信号灯组的位置偏移量，具体为：

将所述当前帧的各信号灯组中各所述灯眼的位置偏移量通过归一化处理得到各所述灯眼的权重系数，所述权重系数为所述灯眼的位置偏移量与所述信号灯组中所有灯眼的位置偏移量的总和的比值；

将各所述灯眼的位置偏移量以及对应的各所述灯眼的权重系数的乘积之和作为所述信号灯组的位置偏移量。

本申请实施例公开了一种信号灯组的位置矫正方法及设备。该方法通过全卷积网络获取信号灯组中的各个灯眼在矫正周期的各个视频帧中对应的像素点集合，根据像素点集合确定灯眼在各所述视频帧中的位置区域或根据像素点集合以及灯眼的参照位置区域确定灯眼在各视频帧中的位置区域，进而根据灯眼在各视频帧中的位置区域以及参照位置区域确定灯眼在各视频帧中的位置偏移量，根据灯眼在各视频帧中的位置偏移量确定灯眼在当前帧中的位置偏移量，根据各灯眼在当前帧中的位置偏移量确定信号灯组的位置偏移量，并按照各信号灯组的位置偏移量矫正当前帧中各信号灯组的位置。通过应用本申请的技术方案，能够避免引入阈值等主观因素的对信号灯组的位置矫正造成的不利影响，弥补单帧求取偏移量不够准确的缺陷，并且保证当前视频帧中所有信号灯组的位置的准确性。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一种信号灯组的位置矫正方法的流程示意图；

图2为本申请具体实施例流程示意图；

图3为一种信号灯组的位置矫正设备的结构示意图。

具体实施方式

如背景技术所述，现有技术为了解决交通信号灯组位置的偏移的问题所采用的矫正信号灯组的方法存在诸多问题，例如仅利用单帧图像进行检测、使用存在主观因素的因子进行判断以及仅对所有信号灯组位置进行整体偏移矫正等问题，从而导致每个信号灯组很难矫正到较准确的位置。

为了解决上述问题，本申请实施例提出了一种信号灯组的位置矫正方法。该方案基于全卷积网络(又称FCN网络模型)对一个矫正周期内的各视频帧分别进行灯眼位置检测，避免了阈值等主观因素以及单帧检测的影响，对每个信号灯组位置进行单独矫正，从而有效保障各信号灯组的位置的准确性。

如图1所示，为上述信号灯组的位置矫正方法的流程示意图，在针对具体方案进行介绍之前，对下文所涉及的概念进行介绍：

FCN(Fully Convolutional Networks，全卷积网络)：FCN对图像进行像素级的分类，从而解决了语义级别的图像分割问题。与经典的CNN在卷积层之后使用全连接层得到固定长度的特征向量进行分类不同，FCN可以接受任意尺寸的输入图像，采用反卷积层对最近一个卷积层的feature map进行上采样,使它恢复到输入图像相同的尺寸，从而可以对每个像素都产生了一个预测,同时保留了原始输入图像中的空间信息,最近在上采样的特征图上进行逐像素分类。

矫正周期：在交通信号灯组位置的一次矫正中，FCN灯眼检测过程涉及多个连续的视频帧，本发明将这些连续视频帧所构成的时间段称为矫正周期。

具体地，该方法包括如下步骤：

步骤S101、通过全卷积网络获取信号灯组中的各个灯眼在矫正周期的各个视频帧中对应的像素点集合。

如上所述，该步骤在经过了一个矫正周期后，将对于该矫正周期对应的视频所分解出的各帧图像进行处理。基于全卷积网络的特性，本申请通过全卷积网络对矫正周期的各个视频帧中的像素进行分类以确定各灯眼位置相对应的像素点集合，从而确定信号灯组中各个灯眼在每一帧的图像中的位置区域，该位置区域与各个灯眼完全一一对应，这样避免由于采用单帧检测以及阈值等主观因素的不利影响，以此来确保整个信号灯组矫正的精度。

举例来说，假设一个矫正周期对应的视频包含15帧图像，采集该视频的前端设备对应的信号灯组中包含红、黄、绿三种颜色的灯眼，该步骤将通过FCN分别对各帧图像中颜色为红、黄、绿的灯眼对应的像素进行识别并且归类为集合，进而以此确定红、黄、绿的灯眼在各视频帧中的位置区域。

需要说明的是，该全卷积网络可由技术人员实现基于当前存在的信号灯组的外观以及信号类型通过大量训练得到，在能够通过该全卷积网络对图像中各个信号灯组的像素进行检测以及识别的基础上，不同的全卷积网络的结构形式或是训练方式均属于本申请的保护范围。

在设置灯眼的位置区域的过程中，为了准确表示灯眼在各个视频帧中的区域，本申请技术方案设置了通用的位置框，该位置框所在的位置及包含的图像内容即为灯眼的位置区域。该位置区域需要同时结合像素点集合以及最近一次矫正后的位置区域进行确定，以确保位置的准确性。

单个视频帧中所包含的不同颜色的内容很多，为了准确地对信号灯组中各灯眼的像素点集合进行识别，本申请优选实施例通过设置信号灯组的检测区域，使得全卷积网络仅针对检测区域中的像素点进行识别，具体流程如下：

步骤a)将所述信号灯组的配置框的位置区域作为信号灯组区域；

步骤b)根据所述信号灯组区域确定全卷积网络检测区域；

步骤c)利用所述全卷积网络依次对各所述视频帧中全卷积网络检测区域内的灯眼进行检测，以获取所述像素点集合，所述像素点集合与所述灯眼的位置相对应。

基于目前信号灯的结构，本申请优选实施例将信号灯组的配置框作为信号灯组区域。基于该信号灯组区域，为了确保检测区域有足够的面积用于全卷积网络检测，本申请在具体的应用场景中可以所述信号灯组区域为中心向周围扩展r(一般取1＜r≤3)倍得到的区域为全卷积网络检测区域，这样的话，通过全卷积网络所要获取的像素点集合对应的灯眼也会对应包含在全卷积网络检测区域中。相应的，在通过全卷积网络依次对各所述视频帧中全卷积网络检测区域内的灯眼进行检测时，通过信号灯组的配置框确定全卷积网络检测区域。在该过程中，检测区域可以采用矩形框，也可以采用圆形框，在采用对称多边形的基础上，形状的不同并不影响本申请的保护范围。

需要说明的是，本申请优选实施例的上述步骤是为了获取视频帧中信号灯组中的灯眼位置相对应的像素点集合，在能获取视频帧中信号灯组中的灯眼位置相对应的像素点集合的基础上，对上述步骤的改进或者其他的获取方式，并不影响本申请的保护范围。

S102，根据所述像素点集合确定所述灯眼在各所述视频帧中的位置区域，或者根据所述像素点集合以及所述灯眼的参照位置区域确定所述灯眼在各所述视频帧中的位置区域，所述参照位置区域为所述灯眼在最近一次矫正后的位置区域。

基于S101中通过全卷积网络所获取的像素点集合，该步骤通过针对像素点集合确定灯眼在各个视频帧中所在的位置区域。在本申请的一个优选实施例中，根据像素点集合确定灯眼在各视频帧中的位置区域的初步处理方式如下：

在通过S101获取当前矫正周期中的各个视频帧中的信号灯组中的各个灯眼对应的像素点集合后，为了获取灯眼的位置区域，以灯眼的配置框大小作为灯眼的位置区域的大小，流程如下：

步骤a)分别确定各像素点周围指定区域内所存在的属于所述像素点集合的像素点的数量，所述指定区域与所述灯眼的配置框的大小形状一致。

该步骤确定各像素点周围指定区域内所存在的属于所述像素点集合的像素点的数量，基于处于中心的像素点周围的像素点的数量的特征，后续可依据该数量确定灯眼的像素点集合的中心点坐标。

步骤b)根据所述像素点集合中各像素点位置以及所述像素点周围指定区域内所存在的属于所述像素点集合的像素点的数量确定所述灯眼位置区域的中心点。

需要说明的是，在确定中心点的过程中，可结合中心点像素周围像素的数量特征，利用计算方式确定中心像素点所在的位置，具体的中心点的表现形式可以为坐标(横-纵轴或其他坐标表项形式)或者其他方式，在能够清楚表征该像素点所处位置的基础上，具体的表现形式并不影响本申请的保护范围。

步骤c)根据所述中心点确定所述灯眼在各所述视频帧中的位置区域。

上述流程以像素点集合确定灯眼在各所述视频帧中的位置区域，并在获得各个视频帧中各个灯眼的位置区域之后，直接以基于像素点集合所确定的灯眼位置区域的中心点来生成对应的灯眼位置区域，进一步确定各个灯眼当前视频帧的位置偏移量。在本申请的另一优选实施例中，还可以将灯眼在各视频帧中的位置区域与灯眼在最近一次矫正后的位置区域(后文中统称为参照位置区域)进行对比，并以此对通过像素点集合所确定的灯眼位置区域进行调整，使得最终得到的灯眼位置区域更加的准确。

具体地，该优选实施例确定灯眼位置区域的中心点的步骤与上一优选实施例相同，在此不再赘述。在确定灯眼位置区域的中心点之后，该优选实施例进一步基于该中心点以及预设的位置区域的形状以及大小初步确定灯眼的位置区域(该位置区域后文中统称为灯眼初步位置区域)，在能确定灯眼位置区域的前提下，通过中心点生成的灯眼初步位置区域与参照位置区域是否存在重合区域，对基于各个灯眼的像素集合所确定的灯眼初步位置区域进行调整，进而准确确定灯眼在各视频帧中的位置区域。根据情况的不同，具体的判断方式如下：

(1)若根据所述中心点生成的灯眼初步位置区域与所述参照位置区域存在重合区域，根据所述重合区域的中心点确定所述灯眼在各所述视频帧中的位置区域；

(2)若根据所述中心点生成的灯眼初步位置区域与所述参照位置区域不存在重合区域，将所述参照位置区域作为所述灯眼在各所述视频帧中的位置区域。

通过上述优选实施例的步骤，在利用全卷积网络获取矫正周期中的各个视频帧中灯眼对应的像素点集合后，继续通过参照位置区域对基于像素点集合生成的灯眼初步位置区域进行调整，最终确定灯眼在各视频帧中的位置区域，从而避免使用色度、亮度以及饱和度等主观阈值所带来的影响。

S103，根据所述灯眼在各所述视频帧中的位置区域以及所述参照位置区域确定所述灯眼在各所述视频帧中的位置偏移量，并根据所述灯眼在各所述视频帧中的位置偏移量确定所述灯眼在当前帧中的位置偏移量。

在确定灯眼在各所述视频帧中的位置偏移量后，怎么准确的确定各个灯眼在当前视频帧的位置偏移量，对后续的矫正信号灯组的位置的准确性有很大的影响。作为一个位置偏移量的确定示例，在本申请的优选实施例中，根据灯眼在各视频帧中的位置偏移量确定灯眼在当前帧中的位置偏移量可具体通过以下步骤实现：

步骤S1031、将所述灯眼在各所述视频帧中的位置偏移量通过归一化处理得到各所述视频帧的位移系数，所述位移系数为所述灯眼在所述视频帧中的位置偏移量与所述灯眼在所有视频帧中的位置偏移量总和的比值；

各个视频帧中不同灯眼的位置偏移量是有差别的，将灯眼在各视频帧中的位置偏移量通过归一化处理为各所述视频帧的位移系数，可以使位置偏移量较大的灯眼得到较大的位移系数，位置偏移量较小的灯眼得到较小的位移系数，基于该位移系数可以准确的确定当前视频帧中的各个灯眼的位置偏移量。

步骤S1032、将所述灯眼在各所述视频帧的位置偏移量以及对应的各所述视频帧的位移系数的乘积之和作为所述灯眼在当前帧中的位置偏移量。

上述流程后利用矫正周期内各视频帧中灯眼的位置偏移量，获取当前帧中对应灯眼的偏移量，削弱了单帧获取位置偏移量不准确的缺陷，使得到的灯眼偏移量更准确。在此需要说明的是，以上优选实施例的方案仅为本申请所提出的一种具体实现方案，其他将灯眼在各视频帧中的位置偏移量结合各视频帧的位移系数得到灯眼在当前帧中的位置偏移量的实现方式均属于本申请的保护范围。

步骤S104、根据各所述灯眼在所述当前帧中的位置偏移量确定所述信号灯组的位置偏移量，并根据各所述信号灯组的位置偏移量矫正所述当前帧中各所述信号灯组的位置。

基于S103中所得到的各个灯眼的位置偏移量，该步骤根据各灯眼在所述当前帧中的位置偏移量确定信号灯组的位置偏移量。进而依据该信号灯组的位置偏移量实现对信号灯组的矫正，减小因忽略信号灯组间差别造成的误差。

在本申请的优选实施例中，该步骤亦可利用归一化的特性进行处理，具体流程如下:：

S1041、将所述当前帧的各信号灯组中各所述灯眼的位置偏移量通过归一化处理得到各所述灯眼的权重系数，所述权重系数为所述灯眼的位置偏移量与所述信号灯组中所有灯眼的位置偏移量的总和的比值；

在矫正信号灯组的过程中，灯眼位置的偏移量越大，对信号灯组的位置偏移量影响就越大。本申请实施例中，将当前帧的各信号灯组中各灯眼的位置偏移量通过归一化处理为各所述灯眼的权重系数，可以使位置偏移量较大的灯眼对应的较大的权重系数，位置偏移量较小的灯眼则对应较小的权重系数，再基于该权重系数确定信号灯组的位置偏移量。从而为准确矫正信号灯组的位置提供依据。

S1042、将各所述灯眼的位置偏移量以及对应的各所述灯眼的权重系数的乘积之和作为所述信号灯组的位置偏移量。

在此需要说明的是，以上优选实施例的方案仅为本申请所提出的一种具体实现方案，其他将各灯眼在当前帧中的位置偏移量结合各灯眼的权重系数得到信号灯组的位置偏移量的实现方式均属于本申请的保护范围。

与现有技术相比，该方法通过全卷积网络获取信号灯组中的各个灯眼在矫正周期的各个视频帧中对应的像素点集合，根据像素点集合确定灯眼在各所述视频帧中的位置区域或根据像素点集合以及灯眼的参照位置区域确定灯眼在各视频帧中的位置区域，进而根据灯眼在各视频帧中的位置区域以及参照位置区域确定灯眼在各视频帧中的位置偏移量，根据灯眼在各视频帧中的位置偏移量确定灯眼在当前帧中的位置偏移量，根据各灯眼在当前帧中的位置偏移量确定信号灯组的位置偏移量，并按照各信号灯组的位置偏移量矫正当前帧中各信号灯组的位置。通过应用本申请的技术方案，能够避免引入阈值等主观因素的对信号灯组的位置矫正造成的不利影响，弥补单帧求取偏移量不够准确的缺陷，并且保证当前视频帧中所有信号灯组的位置的准确性。

下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

该具体实施例中的主要步骤如图2所示，为本申请具体实施例流程示意图。在该具体实施例中，假设交通信号灯组的一个矫正周期中包含n个视频帧，每个视频帧中包括m个交通信号灯组，每交通信号灯组个灯组中包括s个灯眼。

基于上述设置，该信号灯组的位置矫正方案主要包括以下步骤：

步骤A、利用全卷积网络检测灯眼位置。

具体地，该步骤包括以下子流程：

步骤A1、将信号灯组的配置框作为信号灯组区域，然后以该信号灯组区域为中心向外扩大r倍(1<r≤3)，将扩大r倍得到的区域作为全卷积网络检测区域。

步骤A2、利用全卷积网络依次检测n个视频帧中的各个全卷积网络检测区域，得到各灯眼位置对应的像素点集合。

该具体实施例中以第i帧中第j个信号灯组的第k个灯眼为例进行说明，各灯眼位置对应像素点集合记为{(X_l,Y_l)}(l＝1,2,…,z；z为像素点个数)，且各像素点的像素值记为V(X_l,Y_l)＝1(l＝1,2,…,z)。

步骤A3，依次以{(X_l,Y_l)}(l＝1,2,…,z)为中心，设定与灯眼的配置框等大的矩形框，计算矩形框内像素点个数Cnt_l，确定公式如下：

在上述公式中，W为灯眼配置框宽度；H为灯眼配置框高度。

步骤A4，对{(X_l,Y_l)}(l＝1,2,…,z)中所有像素的坐标进行加权平均，得到该灯眼位置区域的中心点坐标(X_i,j,k,Y_i,j,k)，计算公式如下：

步骤A5，设定与灯眼配置框等大的矩形框，将此矩形框作为该灯眼的灯眼初步位置区域。

该灯眼初步位置区域由左上、右下角坐标表示，即{(tlX_i,j,k,tlY_i,j,k),(brX_i,j,k,brY_i,j,k)}(i＝1,2,…,n；j＝1,2,…,m；k＝1,2,…,s)，计算公式为：

步骤A6，在j＝p，k＝q时，检验该灯眼初步位置区域{(tlX_i,j,k,tlY_i,j,k),(brX_i,j,k,brY_i,j,k)}与最近一次矫正后的参照位置区域{(tlX_p,q,tlY_p,q),(brX_p,q,brY_p,q)}(p＝1,2,…,m；q＝1,2,…,s)是否存在重合区域。

若存在，则获取重合区域中心点，并以此点为中心获取与灯眼初步位置区域等大的矩形框，并将此矩形框作为灯眼位置区域；

若不存在重合区域，则将参照位置区域{(tlX_p,q,tlY_p,q),(brX_p,q,brY_p,q)}作为该灯眼位置区域。

步骤B：确定在当前帧中各个灯眼的位置偏移量。

具体地，该步骤包括以下流程：

步骤B1：计算n个视频帧中各灯眼的位置偏移量。计算公式如下：

X方向偏移量：ΔX_i,j,k＝((tlX_i,j,k-tlX_p,q)+(brX_i,j,k-brX_p,q))/2(i＝1,2,…,n；j＝p；k＝q)

Y方向偏移量：ΔY_i,j,k＝((tlY_i,j,k-tlY_p,q)+(brY_i,j,k-brY_p,q))/2(i＝1,2,…,n；j＝p；k＝q)

步骤B2：对n个视频帧中各个灯眼的位置偏移量进行归一化，将归一化后的值作为位移系数。计算公式如下：

X方向系数：

Y方向系数：

步骤B3：当前帧中各灯眼位置偏移量为n个视频帧中灯眼的位置偏移量的加权和，具体计算公式如下：

X方向偏移量：

Y方向偏移量：

在该步骤中，位移系数的计算方法充分利用了各视频帧中对应灯眼的位置偏移量的差别，使得较大的位置偏移量得到较大的权重，较小的位置偏移量得到较小的权重，进而可以使当前帧各灯眼得到更为准确的位置偏移量。

步骤C：计算各信号灯组的位置偏移量并单独矫正各灯组位置。

步骤C1：将各信号灯组中灯眼的位置偏移量进行归一化，得到权重系数。计算公式如下：

X方向系数：

Y方向系数：

步骤C2：计算各灯组的位置偏移量。计算公式如下：

X方向偏移量：

Y方向偏移量：

步骤C3：矫正各信号灯组位置。

若各信号灯组最近一次矫正后位置为{(tlX_p,tlY_p),(brX_p,brY_p)}(p＝1,2,…,m)，该次矫正后各信号灯组位置为{(tlX_j,tlY_j),(brX_j,brY_j)}(j＝1,2,…,m)，则矫正后各信号灯组位置的具体计算公式为：

tlX_j＝tlX_p+ΔX_j tlY_j＝tlY_p+ΔY_j

brX_j＝brX_p+ΔX_j brY_j＝brY_p+ΔY_j (j＝p)

在该步骤中，通过将各灯眼位置偏移量的归一化值作为权重系数，这是因为灯眼的位置偏移量越大，对灯组的位置偏移量影响越大，而步骤S3中的权重系数计算方法充分利用各灯眼偏移量对灯组偏移量影响程度的不同，影响较大的权重系数较大，影响较小的权重系数较小，这样得到的灯组位置偏移量更准确，使得矫正后的灯组位置更准确。

通过应用以上具体实施例的方案，首先利用全卷积网络获取灯眼的位置区域，避免引入阈值等主观因素的不利影响，随后利用矫正周期内各视频帧中灯眼的位置偏移量计算当前帧中各个灯眼的位置偏移量，得到更合理准确的灯眼位置偏移量；最近根据各个灯眼位置偏移量单独矫正灯眼所属的信号灯组的位置，保证了当前视频帧中所有信号灯组的位置的准确性。

基于与上述方法同样的发明构思，本申请实施例还提出了一种信号灯组的位置矫正设备，如图3所示，为一种信号灯组的位置矫正设备的结构示意图，该设备包括：

第一确定模块310，用于通过全卷积网络获取信号灯组中的各个灯眼在矫正周期的各个视频帧中对应的像素点集合；

第二确定模块320，用于根据所述像素点集合确定所述灯眼在各所述视频帧中的位置区域，或者根据所述像素点集合以及所述灯眼的参照位置区域确定所述灯眼在各所述视频帧中的位置区域，所述参照位置区域为所述灯眼在最近一次矫正后的位置区域；

第三确定模块330，根据所述灯眼在各所述视频帧中的位置区域以及所述参照位置区域确定所述灯眼在各所述视频帧中的位置偏移量，并根据所述灯眼在各所述视频帧中的位置偏移量确定所述灯眼在当前帧中的位置偏移量；

矫正模块340，用于根据各所述灯眼在所述当前帧中的位置偏移量确定所述信号灯组的位置偏移量，并根据各所述信号灯组的位置偏移量矫正所述当前帧中各所述信号灯组的位置。

在具体的应用场景中，所述第一确定模块具体用于：

将所述信号灯组的配置框的位置区域作为信号灯组区域；

根据所述信号灯组区域确定全卷积网络检测区域；

利用所述全卷积网络依次对各所述视频帧中全卷积网络检测区域内的灯眼进行检测，以获取所述像素点集合，所述像素点集合与所述灯眼的位置相对应。

在具体的应用场景中，所述第二确定模块具体用于：

分别确定各像素点周围指定区域大小内所存在的属于所述像素点集合的像素点的数量，所述指定区域与所述灯眼的配置框的大小形状一致；

根据所述像素点集合中各像素点位置以及所述像素点周围指定区域内所存在的属于所述像素点集合的像素点的数量确定所述灯眼位置区域的中心点；

若根据所述中心点生成的灯眼初步位置区域与所述参照位置区域存在重合区域，根据所述重合区域的中心点确定所述灯眼在各所述视频帧中的位置区域；

若根据所述中心点生成的灯眼初步位置区域与所述参照位置区域不存在重合区域，将所述参照位置区域作为所述灯眼在各所述视频帧中的位置区域。

在具体的应用场景中，所述第二确定模块具体用于：

分别确定各像素点周围指定区域内所存在的属于所述像素点集合的像素点的数量，所述指定区域与所述灯眼的配置框的大小形状一致；

根据所述像素点集合中各像素点位置以及所述像素点周围指定区域内所存在的属于所述像素点集合的像素点的数量确定所述灯眼位置区域的中心点；

根据所述中心点确定所述灯眼在各所述视频帧中的位置区域。

在具体的应用场景中，所述第三确定模块根据所述灯眼在各所述视频帧中的位置偏移量确定所述灯眼在当前帧中的位置偏移量，具体为：

将所述灯眼在各所述视频帧中的位置偏移量通过归一化处理为各所述视频帧的位移系数，所述位移系数为所述灯眼在所述视频帧中的位置偏移量与所述灯眼在所有视频帧中的位置偏移量总和的比值；

将所述灯眼在各所述视频帧的位置偏移量以及对应的各所述视频帧的位移系数的乘积之和作为所述灯眼在当前帧中的位置偏移量。

在具体的应用场景中，所述矫正模块根据各所述灯眼在所述当前帧中的位置偏移量确定所述信号灯组的位置偏移量，具体为：

将所述当前帧的各信号灯组中各所述灯眼的位置偏移量通过归一化处理得到各所述灯眼的权重系数，所述权重系数为所述灯眼的位置偏移量与所述信号灯组中所有灯眼的位置偏移量的总和的比值；

将各所述灯眼的位置偏移量以及对应的各所述灯眼的权重系数的乘积之和作为所述信号灯组的位置偏移量。

与现有技术相比，本申请实施例所提出的技术方案通过全卷积网络获取信号灯组中的各个灯眼在矫正周期的各个视频帧中对应的像素点集合，根据像素点集合确定灯眼在各所述视频帧中的位置区域或根据像素点集合以及灯眼的参照位置区域确定灯眼在各视频帧中的位置区域，进而根据灯眼在各视频帧中的位置区域以及参照位置区域确定灯眼在各视频帧中的位置偏移量，根据灯眼在各视频帧中的位置偏移量确定灯眼在当前帧中的位置偏移量，根据各灯眼在当前帧中的位置偏移量确定信号灯组的位置偏移量，并按照各信号灯组的位置偏移量矫正当前帧中各信号灯组的位置。通过应用本申请的技术方案，能够避免引入阈值等主观因素的对信号灯组的位置矫正造成的不利影响，弥补单帧求取偏移量不够准确的缺陷，并且保证当前视频帧中所有信号灯组的位置的准确性。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施场景所述的方法。

本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

上述本发明序号仅仅为了描述，不代表实施场景的优劣。

以上公开的仅为本发明的几个具体实施场景，但是，本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (12)

1.一种信号灯组的位置矫正方法，其特征在于，包括：

通过全卷积网络获取信号灯组中的各个灯眼在矫正周期的各个视频帧中对应的像素点集合，其中每个灯眼在每个所述视频帧处对应一个像素点集合；

根据所述像素点集合确定所述灯眼在各所述视频帧中的位置区域，或者根据所述像素点集合以及所述灯眼的参照位置区域确定所述灯眼在各所述视频帧中的位置区域，所述参照位置区域为所述灯眼在最近一次矫正后的位置区域；

根据所述灯眼在各所述视频帧中的位置区域以及所述参照位置区域确定所述灯眼在各所述视频帧中的位置偏移量，并将所述灯眼在各所述视频帧中的位置偏移量通过归一化处理得到各所述视频帧的位移系数，而后根据所述灯眼在各所述视频帧中的位置偏移量以及对应的各所述视频帧的位移系数确定所述灯眼在当前帧中的位置偏移量，其中所述位移系数为所述灯眼在所述视频帧中的位置偏移量与所述灯眼在所有视频帧中的位置偏移量总和的比值；

根据各所述灯眼在所述当前帧中的位置偏移量确定所述信号灯组的位置偏移量，并根据各所述信号灯组的位置偏移量矫正所述当前帧中各所述信号灯组的位置。

2.如权利要求1所述的方法，其特征在于，通过全卷积网络获取信号灯组中的各个灯眼在矫正周期的各个视频帧中对应的像素点集合，具体为：

将所述信号灯组的配置框的位置区域作为信号灯组区域；

根据所述信号灯组区域确定全卷积网络检测区域；

利用所述全卷积网络依次对各所述视频帧中全卷积网络检测区域内的灯眼进行检测，以获取所述像素点集合，所述像素点集合与所述灯眼的位置相对应。

3.如权利要求2所述的方法，其特征在于，所述根据所述像素点集合以及所述灯眼的参照位置区域确定所述灯眼在各所述视频帧中的位置区域，具体包括：

分别确定各像素点周围指定区域内所存在的属于所述像素点集合的像素点的数量，所述指定区域与所述灯眼的配置框的大小形状一致；

根据所述像素点集合中各像素点位置以及所述像素点周围指定区域内所存在的属于所述像素点集合的像素点的数量确定所述灯眼位置区域的中心点；

若根据所述中心点生成的灯眼初步位置区域与所述参照位置区域存在重合区域，根据所述重合区域的中心点确定所述灯眼在各所述视频帧中的位置区域；

若根据所述中心点生成的灯眼初步位置区域与所述参照位置区域不存在重合区域，将所述参照位置区域作为所述灯眼在各所述视频帧中的位置区域。

4.如权利要求2所述的方法，其特征在于，所述根据所述像素点集合确定所述灯眼在各所述视频帧中的位置区域，具体包括：

分别确定各像素点周围指定区域内所存在的属于所述像素点集合的像素点的数量，所述指定区域与所述灯眼的配置框的大小形状一致；

根据所述像素点集合中各像素点位置以及所述像素点周围指定区域内所存在的属于所述像素点集合的像素点的数量确定所述灯眼位置区域的中心点；

根据所述中心点确定所述灯眼在各所述视频帧中的位置区域。

5.如权利要求1所述的方法，其特征在于，所述根据所述灯眼在各所述视频帧中的位置偏移量以及对应的各所述视频帧的位移系数确定所述灯眼在当前帧中的位置偏移量，具体为：

将所述灯眼在各所述视频帧的位置偏移量以及对应的各所述视频帧的位移系数的乘积之和作为所述灯眼在当前帧中的位置偏移量。

6.如权利要求1所述的方法，其特征在于，所述根据各所述灯眼在所述当前帧中的位置偏移量确定所述信号灯组的位置偏移量，具体为：

将所述当前帧的各信号灯组中各所述灯眼的位置偏移量通过归一化处理得到各所述灯眼的权重系数，所述权重系数为所述灯眼的位置偏移量与所述信号灯组中所有灯眼的位置偏移量的总和的比值；

将各所述灯眼的位置偏移量以及对应的各所述灯眼的权重系数的乘积之和作为所述信号灯组的位置偏移量。

7.一种信号灯组的位置矫正设备，其特征在于，包括：

第一确定模块，用于通过全卷积网络获取信号灯组中的各个灯眼在矫正周期的各个视频帧中对应的像素点集合，其中每个灯眼在每个所述视频帧处对应一个像素点集合；

第二确定模块，用于根据所述像素点集合确定所述灯眼在各所述视频帧中的位置区域，或者根据所述像素点集合以及所述灯眼的参照位置区域确定所述灯眼在各所述视频帧中的位置区域，所述参照位置区域为所述灯眼在最近一次矫正后的位置区域；

第三确定模块，根据所述灯眼在各所述视频帧中的位置区域以及所述参照位置区域确定所述灯眼在各所述视频帧中的位置偏移量，并将所述灯眼在各所述视频帧中的位置偏移量通过归一化处理得到各所述视频帧的位移系数，而后根据所述灯眼在各所述视频帧中的位置偏移量以及对应的各所述视频帧的位移系数确定所述灯眼在当前帧中的位置偏移量，其中所述位移系数为所述灯眼在所述视频帧中的位置偏移量与所述灯眼在所有视频帧中的位置偏移量总和的比值；

矫正模块，用于根据各所述灯眼在所述当前帧中的位置偏移量确定所述信号灯组的位置偏移量，并根据各所述信号灯组的位置偏移量矫正所述当前帧中各所述信号灯组的位置。

8.如权利要求7所述的设备，其特征在于，所述第一确定模块具体用于：

将所述信号灯组的配置框的位置区域作为信号灯组区域；

根据所述信号灯组区域确定全卷积网络检测区域；

利用所述全卷积网络依次对各所述视频帧中全卷积网络检测区域内的灯眼进行检测，以获取所述像素点集合，所述像素点集合与所述灯眼的位置相对应。

9.如权利要求8所述的设备，其特征在于，所述第二确定模块具体用于：

分别确定各像素点周围指定区域大小内所存在的属于所述像素点集合的像素点的数量，所述指定区域与所述灯眼的配置框的大小形状一致；

根据所述像素点集合中各像素点位置以及所述像素点周围指定区域内所存在的属于所述像素点集合的像素点的数量确定所述灯眼位置区域的中心点；

若根据所述中心点生成的灯眼初步位置区域与所述参照位置区域存在重合区域，根据所述重合区域的中心点确定所述灯眼在各所述视频帧中的位置区域；

若根据所述中心点生成的灯眼初步位置区域与所述参照位置区域不存在重合区域，将所述参照位置区域作为所述灯眼在各所述视频帧中的位置区域。

10.如权利要求8所述的设备，其特征在于，所述第二确定模块具体用于：

分别确定各像素点周围指定区域内所存在的属于所述像素点集合的像素点的数量，所述指定区域与所述灯眼的配置框的大小形状一致；

根据所述像素点集合中各像素点位置以及所述像素点周围指定区域内所存在的属于所述像素点集合的像素点的数量确定所述灯眼位置区域的中心点；

根据所述中心点确定所述灯眼在各所述视频帧中的位置区域。

11.如权利要求7所述的设备，其特征在于，所述第三确定模块根据所述灯眼在各所述视频帧中的位置偏移量以及对应的各所述视频帧的位移系数确定所述灯眼在当前帧中的位置偏移量，具体为：

将所述灯眼在各所述视频帧的位置偏移量以及对应的各所述视频帧的位移系数的乘积之和作为所述灯眼在当前帧中的位置偏移量。

12.如权利要求7所述的设备，其特征在于，所述矫正模块根据各所述灯眼在所述当前帧中的位置偏移量确定所述信号灯组的位置偏移量，具体为：

将所述当前帧的各信号灯组中各所述灯眼的位置偏移量通过归一化处理得到各所述灯眼的权重系数，所述权重系数为所述灯眼的位置偏移量与所述信号灯组中所有灯眼的位置偏移量的总和的比值；

将各所述灯眼的位置偏移量以及对应的各所述灯眼的权重系数的乘积之和作为所述信号灯组的位置偏移量。

Images