CN113095220A - 交通信号灯数字识别方法及数字识别系统 - Google Patents

Abstract

本发明提供了一种交通信号灯数字识别方法和系统，涉及车辆自动驾驶技术领域。本发明的交通信号灯数字识别方法包括：获取交通信号灯的图像或视频；根据交通信号灯的图像或视频识别图像或视频中的交通信号灯的形状；根据交通信号灯的形状选择预先建立的识别模型；根据识别模型，对图像或视频进行数据预处理；将预处理后的图像或视频输入到识别模型中对交通信号灯中的倒计时数字进行识别。利用本发明的交通信号灯数字识别方法可以使识别过程简单，且对交通信号灯的倒计时数字识别准确，保证自动驾驶车辆安全、平稳驾驶，防止自动驾驶车辆出现急刹车、闯红灯等而导致交通事故的严重后果。

Description

交通信号灯数字识别方法及数字识别系统

技术领域

本发明涉及车辆技术领域，特别是涉及一种交通信号灯数字识别方法及数字识别系统。

背景技术

自动驾驶技术是当前汽车产业的技术热点，根据SAE的自动驾驶分级，目前主要将自动驾驶划分为L0-L5六个等级，其中，L0级指没有任何自动驾驶功能的车辆，L1-L2级自动驾驶本质上仍是驾驶辅助系统(ADAS)，L3级自动驾驶可以称之为准自动驾驶系统，L4-L5级自动驾驶可以认为是真正有意义的自动驾驶系统。

传统的L1-L2级别自动驾驶车辆，主要利用车辆自身的传感器(前向雷达、前视摄像头、超声波雷达、GPS、IMU、轮速传感器等)实现简单场景的辅助驾驶功能，例如ACC(Adaptive Cruise Control)，AEB，TJA，HWA等。随着车辆自动驾驶功能和安全等级的提升，车辆需要具有更精确的感知定位能力，更加可靠稳定的决策控制能力，能够处理更复杂的场景，对于自车和周边环境感知能力提出了更高的要求。例如L3级别及以上级别的自动驾驶车辆中，通过增加前向激光雷达、多个角雷达和侧雷达、800万像素前视摄像头、侧视摄像头、后视摄像头、高精度地图服务器等设备来实现高精度地图/定位、动静态目标检测跟踪、车道路沿检测、交通标识识别等环境感知能力。

现有的L1-L3级别车辆更多的是利用车辆自身传感器来提供的环境感知信息，为了实现更高级别(L4-L5)的自动驾驶功能，需要增加车辆自身的传感器种类、增强传感器感知能力、和增强车载计算机处理能力，来覆盖更加复杂的驾驶场景(比如人流车流较多的交通路口)、增加自动驾驶功能、提升系统的安全等级等。

交通信号灯的检测与识别是L4及以上级别自动驾驶系统核心功能之一。正确识别当前路口交通灯的指示颜色等指示信号是保证车辆在人流车辆较多的交通路口正常、安全的保障是保证自动驾驶车辆在运营道路上不间断、正常行驶的保障。

交通信号灯的倒计时数字是交通路口重要的指示信息，自动驾驶车辆通过识别交通灯的倒计时数字信息，提前对车辆的行驶速度甚至行驶路线进行局部规划，保证车辆安全、平稳的驾驶，防止自动驾驶车辆出现急刹车、闯红灯等严重后果。

而目前的L4及以上级别自动驾驶系统的车辆中，对于交通路口的交通信号灯的倒计时数字的识别受到了诸多因素的影响，例如，交通灯形状规格不一样、倒计时数字的显示形式不一样，同时交通信号灯可能出现被遮挡或破损的情况，造成对于基于深度学习方法的交通灯倒计时数字识别造成困难或误识别的情况。

发明内容

本发明的第一方面的一个目的是要提供一种交通信号灯数字识别方法，解决上述至少一个问题。

本发明的第一方面的另一个目的是解决现在有技术中基于深度学习的方法对交通信号灯的倒计时数字识别困难或者误识别的问题。

本发明的第一方面的一个目的是解决现有技术中基于深度学习的方法对交通信号灯的倒计时数字识别时倒计时数字识别采集数据不均衡问题的问题。

本发明的第二方面的一个目的是提供一种交通信号灯数字识别系统。

特别地，本发明提供一种交通信号灯数字识别方法，包括：

获取交通信号灯的图像或视频；

根据交通信号灯的所述图像或视频识别所述图像或视频中的交通信号灯的形状；

根据所述交通信号灯的形状选择预先建立的识别模型；

根据所述识别模型对所述图像或视频进行数据预处理以获得预处理后的图像或视频；

将预处理后的图像或视频输入到所述识别模型中对所述交通信号灯中的倒计时数字进行识别。

可选地，所述识别模型为卷积神经网络模型；

在所述卷积神经网络模型中加入焦点损失函数，通过所述卷积神经网络模型内部加权使得输入到所述卷积神经网络模型内的所述预处理后的图像或视频数据均衡。

可选地，所述图像或视频中的交通信号灯的形状包括横向设置的长方形、竖向设置的长方形和正方形；

所述识别模型包括第一识别模型，所述第一识别模型用于在所述图像或视频中的交通信息号灯的形状为横向设置的长方形时，对预处理后的图像或视频的数据进行识别；

所述识别模型包括第二识别模型，所述第二识别模型用于在所述图像或视频中的交通信息号灯的形状为竖向设置的长方形时，对预处理后的图像或视频的数据进行识别；

所述识别模型包括第三识别模型，所述第三识别模型用于在所述图像或视频中的交通信息号灯的形状为正方形时，对预处理后的图像或视频的数据进行识别。

可选地，将预处理后的图像或视频输入到所述识别模型中对所述交通信号灯中的倒计时数字进行识别推断的步骤包括：

通过所述识别模型得到预处理后的图像或视频中有倒计时数字状态占总的图像或视频的概率，并得到概率值；

获取所述概率值中的最大值；

在所述最大值大于第一预设阈值时，则所述图像或视频中的倒计时数字为所述交通信号灯的识别倒计时数字。

可选地，还包括：

利用数字后处理方法对识别出的交通信号灯的所述识别倒计时数字进行修正得到最终倒计时数字。

可选地，所述数字后处理方法包括：

获取所述识别倒计时数字信息，所述识别倒计时数字信息包括当前帧数字和当前帧，上一帧数字和上一帧时刻；

当所述当前帧和所述上一帧时刻的时间差大于第二预设阈值时则所述当前帧数字为所述最终倒计时数字；

当所述当前帧和所述上一帧时刻的时间差小于或等于所述第二预设阈值时，则判断是否需要对所述当前帧数字进行校正得到所述最终倒计时数字。

可选地，所述识别倒计时数字还包括下一帧数字；

判断是否需要对所述当前帧数字进行校正得到所述最终倒计时数字的步骤包括：

当所述当前帧数字的状态为有数字状态，且所述上一帧数字的状态为无数字状态，则将所述当前帧数字置于滞回区内并定义滞回一次，等待所述下一帧数字输入后再判断所述当前帧数字是否需要进行校正；

当所述当前帧的数字的状态为有数字状态，且所述上一帧数字的状态为有数字状态，则所述当前帧数字即为所述最终倒计时数字；

其中，等待所述下一帧数字输入后再判断所述当前帧数字是否需要进行校正的步骤包括：

若所述下一帧数字的状态为无数字状态，则将所述当前帧数字继续置于滞回区再滞回一次定义滞回次数加1，重复上面的过程，当所述当前帧数字滞回的次数超过预设次数，则判定所述当前帧数字不需要校正即为所述最终倒计时数字；

若所述下一帧数字的状态为有数字状态，则判定所述当前帧数字不需要校正即为所述最终倒计时数字。

可选地，所述上一帧数字进行校正的步骤包括：

将所述上一帧数字校正为所述当前帧数字。

可选地，判断是否需要对所述当前帧数字进行校正得到所述最终倒计时数字的步骤还包括：

当所述当前帧数字的状态为有数字状态，且所述上一帧数字的状态为无数字状态，将所述当前帧数字置于滞回区内定义滞回一次，且所述当前帧的数字滞回的次数超过预设阈值，则确定所述当前帧数字状态为无数字状态；

若所述上一帧数字的状态为有数字状态，则将所述当前帧数字校正为上一帧数字，并根据下一帧数字的状态判断是否将校正后的所述当前帧数字作为所述最终倒计时数字；

其中，根据下一帧数字的状态判断是否将校正后的所述当前帧数字作为所述最终倒计时数字的步骤包括：

根据是否满足预设条件来判断是否将校正后的所述当前帧数字作为所述最终倒计时数字，其中，所述预设条件为所述下一帧数字的状态为有数字状态且所述下一帧数字与校正后的所述当前帧数字形成连续倒计时数字；

若满足，则校正后的所述当前帧数字作为所述最终倒计时数字；

若不满足，则校正后的所述当前帧数字不为所述最终倒计时数字。

特别地，本发明还提供一种交通信号灯数字识别系统包括存储器和处理器，所述存储器内存储有控制程序，所述控制程序被所述处理器执行时用于实现上面所述的交通信号灯数字识别方法。

本发明的交通信号灯数字识别方法，是在自动驾驶车辆自动识别交通信号灯中倒计时数字的技术，利用本发明的交通信号灯数字识别方法，在对获得的图像或视频进行数字识别之前首先识别图像或视频的交通灯的形状，根据形状选择识别模型，再根据识别模型对该图像或视频进行数据预处理，使得后续利用识别模型识别交通灯的倒计时数字识别过程简单，且识别的准确性高。让自动驾驶车辆在遇到红绿灯前能够提前对车辆的行驶速度、行驶路线进行局部规划，保证自动驾驶车辆安全、平稳驾驶，防止自动驾驶车辆出现急刹车、闯红灯等而导致交通事故的严重后果。

本发明的识别模型在卷积神经网络模型中加入焦点损失函数(focal_loss)以使得预处理后的图像或视频的数据均衡。

本发明将图像或视频中的交通信号灯的形状分为横向设置的长方形、竖向设置的长方形和正方形，分别输入到对应的第一识别模型、第二识别模型和第三识别模型中，分别使用不同形状的交通灯的图像或视频数据训练三种不同的模型；这三种模型相对于一个识别所有形状信号灯的模型，网络大小和参数量将大大减小，易于训练收敛，使用时计算开销也大大减小。

本发明通过数字后处理方法可以对识别后的数字进行修正，解决数字误识别问题，提高交通信号灯的数字识别的准确率。

根据下文结合附图对本发明具体实施例的详细描述，本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。

附图说明

后文将参照附图以示例性而非限制性的方式详细描述本发明的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：

图1是根据本发明一个实施例的交通信号灯数字识别方法的示意性流程图；

图2是根据本发明一个实施例的将预处理后的图像或视频数据输入到识别模型中对交通信号灯中的倒计时数字进行识别步骤的示意性流程图；

图3是根据本发明另一个实施例的交通信号灯数字识别方法的示意性流程图；

图4是根据本发明一个具体的实施例的识别倒计时数字的后处理方法的示意性流程图。

具体实施方式

图1是根据本发明一个交通信号灯数字识别方法的示意性流程图。其中，本实施例提供一种交通信号灯数字识别方法，该交通信号灯数字识别方法可以包括：

步骤S10，获取交通信号灯的图像或视频；

步骤S20，根据交通信号灯的图像或视频识别图像或视频中的交通信号灯的形状；

步骤S30，根据交通信号灯的形状选择预先建立的识别模型；

步骤S40，根据选择的识别模型，对图像或视频进行数据预处理以获得预处理后的图像或视频；

步骤S50，将预处理后的图像或视频输入到识别模型中对交通信号灯中的倒计时数字进行识别。

本实施例中，步骤S10可以是在车辆上提前安装的摄像头实时拍摄的车辆所处的环境的图像或视频。而在实际过程中，即便车辆处于红绿灯路口，在拍摄到的环境的图像或视频中还是会存在大量与信号灯无关的信息，为了便于识别信号灯中的数字，需要将信号灯识别出来。而目前普遍存在的信号灯的形状各不相同，在图像或视频中识别出信号灯的形状后更有利于识别每一信号灯内存在的数字。

本实施例的步骤S30中中识别模型是提前已经建立好的。根据交通信号灯的形状选择识别模型，再根据识别模型对图像或视频的数据进行预处理是因为不同的识别模型对于图像或视频的预处理方式不一样。具体地，预处理是指将获得的图像或视频中非交通信号灯处的图像剪切、将交通信号灯处的图像放大等。

本实施例中提供了一种交通信号灯数字识别方法，是在自动驾驶车辆自动识别交通信号灯中倒计时数字的技术，利用本实施例的交通信号灯数字识别方法，在对获得的图像或视频进行数字识别之前首先识别图像或视频的交通灯的形状，根据形状选择识别模型，再根据识别模型对该图像或视频进行数据预处理，使得后续利用识别模型识别交通灯的倒计时数字识别过程简单，且识别的准确性高。让自动驾驶车辆在遇到红绿灯前能够提前对车辆的行驶速度、行驶路线进行局部规划，保证自动驾驶车辆安全、平稳驾驶，防止自动驾驶车辆出现急刹车、闯红灯等而导致交通事故的严重后果。

作为本发明另一个具体地实施例，本实施例中预先建立的识别模型可以是卷积神经网络模型。也就是，本实施例中的识别模型是一个基于卷积神经网络模型的深度学习方法。深度学习放方法是机器学习方法的一种，近年来在人工智能领域取得重要进展。尤其是随着数据规模的不断增长和计算硬件的计算能力不断提高，深度学习方法在计算机视觉领域，取得了重大突破，在2D图像检测、识别接近甚至达到了人类的检测、识别能力。本实施例也利用了深度学习方法，在自动驾驶车辆上对采集到的交通灯图像上，对交通灯显示的倒计时数字进行识别。

在实际过程中，在自动驾驶车辆利用卷积神经网络模型对交通灯的倒计时数字继续识别时，输入到该模型中的数据通常是不均衡的。例如，在获取交通信号灯的图像或视频信息中不包含任何数字的图片比任一数字的图片或视频要多得多，甚至比所有数字图片或视频的总数之和还要多。该情况导致模型训练非常困难。实际上，在基于卷积神经网络的深度学习多分类问题中，类别平衡的数据集的目标标签是均匀分布的，若某一类目标的样本相比其他类在数量上占据极大优势，则可以将该数据集视为不平衡的数据集。本实施例的交通灯倒计时数字识别任务中，无任何数字信息的图像或视频的数量要远远多于有数字信息的图像或视频的数量，因此该类问题是典型的数据不平衡问题。而这种数据不平衡可能会导致两个问题：

一，模型训练效率低下。因为大多数样本都是简单目标，这些样本在训练中提供给模型较少有用的信息。

二，简单的样本数量上的极大优势对模型训练有害，使模型性能退化。例如在本方案中，用不平衡的数据集进行训练，即使模型预测输出全部是无倒计时数字，得到的预测准确率也较高，造成模型精度较高的假象。

针对数据不平衡问题，常见的解决方案是执行困难样本挖掘；实现方式是在训练时选取困难样本或使用更复杂的采样，以及重新对样本加权等等。实际上，对于特殊场景，数据增强的方法不能有效解决类别不平衡的问题。

作为本发明一个实施例，本实施例为解决交通灯数据不均衡问题，在卷积神经网络模型中加入焦点损失函数(focal_loss)以使得预处理后的图像或视频的数据均衡。

焦点损失函数旨在通过降低内部加权(简单样本)来解决类别不平衡的问题。在本实施例的识别模型中使用该焦点损失函数后，即使简单样本的数量很大，但它们对总损失的贡献却很小，也即该焦点损失函数侧重于用困难样本稀疏的数据集来进行训练。焦点损失函数以如式(1)所示：

其中，焦点损失函数有两个可调的参数：

焦点参数γ(gamma)：平滑地调整简单样本被加权的速率。当γ＝0时，焦点损失函数的效果与交叉熵函数相同，并且随着γ增加，调制因子的影响同样增加(γ＝2在实验中表现的效果最好，在交通灯倒计时数字识别任务中可能需要微调)。

α(alpha)：平衡焦点损失函数。相对于缺少平衡参数α的loss函数，含有该参数的函数可以提高训练的准确度。

作为本发明另一个具体地实施例，在自动驾驶车辆获取交通道路上交通灯的图像或视频信息时，该图像或视频信息中的交通灯上显示的数字可能是任意的(实际道路上的交通灯倒计时数字一般是一位数和两位数)，或者没有倒计时数字显示的状态(实际输出可以是-1或0，或任意非正整数的数字或字母)。卷积神经分类网络的输入是交通灯完整灯板的图像(如图1所示)，输出是代表了各个数字的预测概率，当且仅当其中最大的概率值足够大时，该最大概率对应的具体数字值才会被识别为交通灯的倒计时数字读数。

不同运营道路上的交通灯形状规格以及倒计时数字的显示形式多种多样，对于基于深度学习方法的交通灯倒计时数字识别造成困难。例如，如果只采用一个神经网络结构和模型，基于不同形状的交通灯的图像或视频输入到模型中以识别倒计时数字，则网络结构和模型会设计得较为负责，训练难度大，模型运行时的时间开销也大，相对不合理地消耗了自动驾驶任务中的计算资源。因此，本实施例中将图像或视频中的交通信号灯的形状分为横向设置的长方形、竖向设置的长方形和正方形。而识别模型可以包括第一识别模型，第一识别模型用于在图像或视频中的交通信息号灯的形状为横向设置的长方形时，对预处理后的图像或视频数据进行识别。识别模型还可以包括第二识别模型，第二识别模型用于在图像或视频中的交通信息号灯的形状为竖向设置的长方形时，对预处理后的图像或视频数据进行识别。识别模型还可以包括第三识别模型，第三识别模型用于在图像或视频中的交通信息号灯的形状为正方形时，对预处理后的图像或视频数据进行识别。

通过本实施例将图像或视频中的交通信号灯的形状分为横向设置的长方形、竖向设置的长方形和正方形，分别输入到对应的第一识别模型、第二识别模型和第三识别模型中，分别使用不同形状的交通灯的图像或视频数据训练三种不同的模型；这三种模型相对于一个识别所有形状信号灯的模型，网络大小和参数量将大大减小，易于训练收敛，使用时计算开销也大大减小。

作为本发明一个具体的实施例，如图2所示，本实施例的步骤S50将预处理后的图像或视频输入到识别模型中对交通信号灯中的倒计时数字进行识别的步骤包括：

步骤S51，通过识别模型得到预处理后的图像或视频中有倒计时数字状态占总的图像或视频的概率，并得到概率值；

步骤S52，获取概率值中的最大值；

步骤S53，在最大值大于第一预设阈值时，则图像或视频中的倒计时数字为交通信号灯的识别倒计时数字。

本实施例，第一预设阈值可以为0.4-0.7。例如第一预设阈值可以是0.4、0.5或0.7。优选为0.5。

本实施例中，倒计时数字状态概率说明了倒计时数字出现的概率。如果该值的概率足够大，说明该数字就为倒计时数字。

由于基于深度学习方法的交通灯到倒计时数字识别准确率并非100％，在道路上交通灯的数字显示管可能出现故障或者被遮挡等现象，此时倒计时数字识别模型可能出现误识别。甚至数字等完好无损的情况下，倒计时数字也可能出现误识别。另外，道路交通灯在绿灯、红灯、黄灯等在将要结束转换成另一种颜色的过程中(如绿灯转为红灯过程中)，可能出现闪烁，闪烁本质上是红、黄、绿灯颜色的灯与黑色的灯在较短时间段内交替出现的现象；由于黑色灯出现的时刻无倒计时数字，此时基于深度学习方法的倒计时数字识别可能给出“无倒计时数字”的结果。以上现象产生的误识别是交通灯倒计时数字识别中经常出现的问题。

因此，基于上述问题，本实施例还需要对识别倒计时数字进行后处理，具体地，如图3所示，本实施例在识别出交通信号灯的识别倒计时数字后还可以包括：

步骤S60，利用数字后处理方法对识别出的交通信号灯的识别倒计时数字进行修正得到最终倒计时数字。

通过该数字后处理方法可以对识别后的数字进行修正，解决数字误识别问题，提高交通信号灯的数字识别的准确率。

具体地，本实施例的数字后处理方法包括：

获取识别倒计时数字信息，识别倒计时数字信息包括当前帧数字和当前帧，上一帧数字和上一帧时刻；

当当前帧和上一帧时刻的时间差大于第二预设阈值时则当前帧数字为最终倒计时数字；

当当前帧和上一帧时刻的时间差小于或等于第二预设阈值时，则判断是否需要对当前帧数字进行校正得到最终倒计时数字。

本实施例中对于当前帧和上一帧时刻的时间差与第二预设阈值进行对比，目的在于了解当前帧和上一帧时刻的时间差的长短，从而了解当前帧是否是连续上一帧时刻的，如果连续，则该交通信号灯的倒计时数字才有意义。如果不连续，则说明了当前帧数字和上一帧时刻数字之间处于不同的交通灯路口，或被遮挡，或交通灯坏掉等情况，此时就需要对识别的倒计时数字进行校正。该第二预设阈值一般情况下为1s。

作为本发明一个实施例，识别倒计时数字还可以包括下一帧数字；

判断是否需要对当前帧数字进行校正得到最终倒计时数字的步骤包括：

当当前帧数字的状态为有数字状态，且上一帧数字的状态为无数字状态，则将当前帧数字置于滞回区内并定义滞回一次，等待下一帧数字输入后再判断当前帧数字是否需要进行校正；

当当前帧的数字的状态为有数字状态，且上一帧数字的状态为有数字状态，则当前帧数字即为最终倒计时数字；

其中，等待下一帧数字输入后再判断当前帧数字是否需要进行校正的步骤包括：

若下一帧数字的状态为无数字状态，则将当前帧数字继续置于滞回区再滞回一次定义滞回次数加1，重复上面的过程，当当前帧数字滞回的次数超过预设次数，则判断当前帧数字不需要校正即为最终倒计时数字；

若下一帧数字的状态为有数字状态，则判断当前帧数字不需要校正即为最终倒计时数字。

具体地，上一帧数字进行校正的步骤包括：

将上一帧数字校正为当前帧数字。

此过程保证了在当当前帧数字的状态为有数字状态时，要根据上一帧数字或下一帧数字对当前帧数字进行校正或不校正，保证整个最终的数字的精确性。

判断是否需要对当前帧数字进行校正得到最终倒计时数字的步骤还包括：

当当前帧数字的状态为无数字状态，且上一帧数字的状态为无数字状态，将当前帧数字置于滞回区内定义滞回一次，且当前帧的数字滞回的次数超过预设阈值，则确定当前帧数字状态为无数字状态；

当当前帧数字的状态为无数字状态，且上一帧数字的状态为有数字状态，则将当前帧数字校正为上一帧数字，并根据下一帧数字的状态判断是否将校正后的当前帧数字作为最终倒计时数字；

其中，根据下一帧数字的状态判断是否将校正后的当前帧数字作为最终倒计时数字的步骤包括：

根据所述下一帧数字是否满足预设条件来判断是否将校正后的当前帧数字作为最终倒计时数字，其中，预设条件为下一帧数字的状态为有数字状态且下一帧数字与校正后的当前帧数字形成连续倒计时数字；

若满足，则校正后的当前帧数字作为最终倒计时数字；

若不满足，则校正后的当前帧数字不为最终倒计时数字。

此过程保证了在当当前帧数字的状态为无数字状态时，要根据上一帧数字或下一帧数字对当前帧数字进行校正或不校正，保证整个最终的数字的精确性。

具体地，如图4所示，本实施例中对于识别倒计时数字的后处理方法的整体流程图；具体还识别倒计时数字的后处理方法的步骤包括：

步骤S100，获取识别倒计时数字信息；

步骤S101，判断当前帧和上一帧时刻的时间差是否大于第二预设阈值；若是，则执行步骤S102，若否，则执行步骤S103；

步骤S102，当前帧数字不需要校正即为最终倒计时数字；

步骤S103，判断当前帧数字的状态是否为有数字状态；若是，则执行步骤S104，则执行步骤S105；

步骤S104，判断上一帧数字的状态是否为有数字状态；若是，则执行步骤S106；若否则执行步骤S107；

步骤S106，当前帧数字不需要校正即为最终倒计时数字

步骤S107，将当前帧数字放入滞回区；

步骤S108，判断下一帧数字的状态是否为有数字状态；若是，则执行步骤S109；若否，则执行步骤S110；

步骤S109，当前帧数字不需要校正即为最终倒计时数字；

步骤S110，判断滞回次数是否大于预设次数；若是，则执行步骤S111；

步骤S105，判断上一帧数字的状态是否为有数字状态；若是，则执行步骤S112，若否，则执行步骤S113；

步骤S113，将当前帧数字放入滞回区；

步骤S117，判断滞回次数是否大于预设阈值，若是，则执行步骤S118；

步骤S118，确定当前帧数字的状态为无数字状态

步骤S112，将当前帧数字校正为上一帧数字；

步骤S114，判断下一帧数字是否满足预设条件；若是，则执行步骤S115；若否，则执行步骤S116；

步骤S115，校正后的当前帧数字作为最终倒计时数字；

步骤S116，校正后的当前帧数字不为最终倒计时数字。

作为本发明一个具体地实施例，本实施例的一种交通信号灯数字识别系统可以包括存储器和处理器，存储器内存储有控制程序，控制程序被处理器执行时用于实现根据上面的交通信号灯数字识别方法。处理器可以是一个中央处理单元(central processingunit，简称CPU)，或者为数字处理单元等等。处理器通过通信接口收发数据。存储器用于存储处理器执行的程序。存储器是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何介质，也可以是多个存储器的组合。上述计算程序可以从计算机可读存储介质下载到相应计算/处理设备或者经由网络(例如因特网、局域网、广域网和/或无线网络)下载到计算机或外部存储设备。

作为本发明一个具体地实施例，本实施例还提供一种自动驾驶车辆，该自动驾驶车辆可以包括上面的交通信号灯数字识别系统。具有该交通信号灯数字识别系统的自动驾驶车辆对交通信号灯的倒计时数字识别准确，让自动驾驶车辆在遇到红绿灯前能够提前对车辆的行驶速度、行驶路线进行局部规划，保证自动驾驶车辆安全、平稳驾驶，防止自动驾驶车辆出现急刹车、闯红灯等而导致交通事故的严重后果。

至此，本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的多个示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。

Claims (11)

1.一种交通信号灯数字识别方法，其特征在于，包括：

获取交通信号灯的图像或视频；

根据交通信号灯的所述图像或视频识别所述图像或视频中的交通信号灯的形状；

根据所述交通信号灯的形状选择预先建立的识别模型；

根据所述识别模型对所述图像或视频进行数据预处理以获得预处理后的图像或视频；

将预处理后的图像或视频输入到所述识别模型中对所述交通信号灯中的倒计时数字进行识别。

2.根据权利要求1所述的交通信号灯数字识别方法，其特征在于，

所述识别模型为卷积神经网络模型；

在所述卷积神经网络模型中加入焦点损失函数，通过所述卷积神经网络模型内部加权使得输入到所述卷积神经网络模型内的所述预处理后的图像或视频数据均衡。

3.根据权利要求2所述的交通信号灯数字识别方法，其特征在于，

所述图像或视频中的交通信号灯的形状包括横向设置的长方形、竖向设置的长方形和正方形；

所述识别模型包括第一识别模型，所述第一识别模型用于在所述图像或视频中的交通信息号灯的形状为横向设置的长方形时，对预处理后的图像或视频的数据进行识别；

所述识别模型包括第二识别模型，所述第二识别模型用于在所述图像或视频中的交通信息号灯的形状为竖向设置的长方形时，对预处理后的图像或视频的数据进行识别；

所述识别模型包括第三识别模型，所述第三识别模型用于在所述图像或视频中的交通信息号灯的形状为正方形时，对预处理后的图像或视频的数据进行识别。

4.根据权利要求3所述的交通信号灯数字识别方法，其特征在于，

将预处理后的图像或视频输入到所述识别模型中对所述交通信号灯中的倒计时数字进行识别推断的步骤包括：

通过所述识别模型得到预处理后的图像或视频中有倒计时数字状态占总的图像或视频的概率，并得到概率值；

获取所述概率值中的最大值；

在所述最大值大于第一预设阈值时，则所述图像或视频中的倒计时数字为所述交通信号灯的识别倒计时数字。

5.根据权利要求1-4中任一项所述的交通信号灯数字识别方法，其特征在于，

还包括：

利用数字后处理方法对识别出的交通信号灯的所述识别倒计时数字进行修正得到最终倒计时数字；

所述数字后处理方法包括：

获取所述识别倒计时数字信息，其中，所述识别倒计时数字信息包括当前帧数字和当前帧，上一帧数字和上一帧时刻；

当所述当前帧和所述上一帧时刻的时间差大于第二预设阈值时则所述当前帧数字为所述最终倒计时数字；

当所述当前帧和所述上一帧时刻的时间差小于或等于所述第二预设阈值时，则判断是否需要对所述当前帧数字进行校正得到所述最终倒计时数字。

6.根据权利要求5所述的交通信号灯数字识别方法，其特征在于，

所述识别倒计时数字还包括下一帧数字；

判断是否需要对所述当前帧数字进行校正得到所述最终倒计时数字的步骤包括：

当所述当前帧数字的状态为有数字状态，且所述上一帧数字的状态为无数字状态，则将所述当前帧数字置于滞回区内并定义滞回一次，等待所述下一帧数字输入后再判断所述当前帧数字是否需要进行校正；

当所述当前帧的数字的状态为有数字状态，且所述上一帧数字的状态为有数字状态，则所述当前帧数字即为所述最终倒计时数字。

7.根据权利要求6所述的交通信号灯数字识别方法，其特征在于，

等待所述下一帧数字输入后再判断所述当前帧数字是否需要进行校正的步骤包括：

若所述下一帧数字的状态为无数字状态，则将所述当前帧数字继续置于滞回区再滞回一次定义滞回次数加1，重复上面的过程，当所述当前帧数字滞回的次数超过预设次数，则判定所述当前帧数字不需要校正即为所述最终倒计时数字；

若所述下一帧数字的状态为有数字状态，则判断所述当前帧数字不需要校正即为所述最终倒计时数字。

8.根据权利要求7所述的交通信号灯数字识别方法，其特征在于，

所述上一帧数字进行校正的步骤包括：

将所述上一帧数字校正为所述当前帧数字。

9.根据权利要求5所述的交通信号灯数字识别方法，其特征在于，

判断是否需要对所述当前帧数字进行校正得到所述最终倒计时数字的步骤还包括：

当所述当前帧数字的状态为有数字状态，且所述上一帧数字的状态为无数字状态，将所述当前帧数字置于滞回区内定义滞回一次，且所述当前帧的数字滞回的次数超过预设阈值，则确定所述当前帧数字状态为无数字状态；

若所述上一帧数字的状态为有数字状态，则将所述当前帧数字校正为上一帧数字，并根据下一帧数字的状态判断是否将校正后的所述当前帧数字作为所述最终倒计时数字。

10.根据权利要求9所述的交通信号灯数字识别方法，其特征在于，

根据下一帧数字的状态判断是否将校正后的所述当前帧数字作为所述最终倒计时数字的步骤包括：

根据是否满足预设条件来判断是否将校正后的所述当前帧数字作为所述最终倒计时数字，其中，所述预设条件为所述下一帧数字的状态为有数字状态且所述下一帧数字与校正后的所述当前帧数字形成连续倒计时数字；

若满足，则校正后的所述当前帧数字作为所述最终倒计时数字；

若不满足，则校正后的所述当前帧数字不为所述最终倒计时数字。

11.一种交通信号灯数字识别系统，其特征在于，包括存储器和处理器，所述存储器内存储有控制程序，所述控制程序被所述处理器执行时用于实现权利要求1-10中任一项所述的交通信号灯数字识别方法。

Images