CN112908006A - 一种识别道路交通信号灯状态和倒计时显示器时间的方法 - Google Patents

Abstract

本发明涉及一种识别道路交通信号灯状态和倒计时显示器时间的方法。包括以下步骤：一、采集道路交通信号灯状态和道路交通信号倒计时显示器数据；二、标注并形成道路交通信号灯和道路交通信号倒计时显示器数据集；三、训练神经网络并且对道路交通信号灯边界框、道路交通信号倒计时显示器边界框和道路交通信号倒计时显示器里数字的边界框进行检测；四、对道路交通信号灯状态、倒计时显示器、倒计时时间进行分组。本发明采用人工智能的方法采集与标注道路交通信号灯状态、道路交通信号倒计时显示器、道路交通信号倒计时显示器时间，形成道路交通信号灯和道路交通信号倒计时显示器数据集，同时识别道路交通信号灯状态和道路交通信号倒计时显示器时间。

Description

一种识别道路交通信号灯状态和倒计时显示器时间的方法

技术领域

本发明涉及汽车技术领域，具体的说涉及一种识别道路交通信号灯状态和倒计时显示器时间的方法。

背景技术

智能驾驶汽车是当今社会中人工智能、计算机视觉、大数据、物联网、多传感融合、自动控制等科学与技术高度发展的产物，它主要依靠车载计算系统、传感器来感知车辆周围交通环境，将通过传感器获得的感知信息进行推理，得到交通环境认知信息，控制车辆的转向和速度，从而使车辆能够安全、可靠、自主地在道路上行驶。智能驾驶汽车在城市道路行驶过程中，通过车端自主认知技术和V2X技术两种方式，同时识别道路交通信号灯状态和道路交通信号倒计时显示器时间，对于保障交通安全、提高通行效率、减少能耗尤为重要。

摄像头传感器成本低廉、易于车规级量产。基于摄像头获得的信息直观、丰富、准确，符合人类视觉感知道路交通环境的形式。基于摄像头的同时识别道路交通信号灯状态和道路交通信号倒计时显示器时间的方法具有极高的应用价值。

现有识别道路交通信号灯状态和道路交通信号倒计时显示器时间的方法存在的主要问题有：

1)基于摄像头的方法普遍偏于只识别道路交通信号灯，无法在不同时段、环境、天气、光照条件下同时识别道路交通信号倒计时显示器时间。

2)基于V2X技术的方法需要的基础建设投资成本较高，实现周期较长，当路端信息发射装置发生故障时，车端无法得到路口交通信号灯和交通信号倒计时信息，此时仍然需要通过车端自主认知识别道路交通信号灯状态和道路交通信号倒计时显示器时间。

发明内容

本发明提供了一种基于摄像头的同时识别道路交通信号灯状态和倒计时显示器时间的方法，该方法鲁棒性强，能够消除其他类型数码显示管对识别倒计时时间的干扰，能全天候地在多个城市、多种天气环境下稳定工作，解决了现有识别道路交通信号灯和道路交通信号倒计时显示器时间的方法存在的上述问题。

本发明技术方案结合附图说明如下：

一种识别道路交通信号灯状态和倒计时显示器时间的方法，包括以下步骤：

步骤一、采集道路交通信号灯状态和道路交通信号倒计时显示器数据；

步骤二、标注并形成道路交通信号灯和道路交通信号倒计时显示器数据集；

步骤三、训练神经网络并且对道路交通信号灯边界框、道路交通信号倒计时显示器边界框和道路交通信号倒计时显示器里数字的边界框进行检测；

步骤四、对道路交通信号灯状态、倒计时显示器、倒计时时间进行分组。

所述步骤一的具体方法如下：

通过安装在车顶和驾驶室风挡玻璃后的摄像头采集道路交通信号灯状态和道路交通信号倒计时显示器数据的视屏录像，并且将视屏录像转成图像，用于标注。

所述步骤二的具体方法如下：

将图像中的以下状态进行标注并形成道路交通信号灯和道路交通信号倒计时显示器数据集；

a)机动车信号灯的红灯亮、黄灯亮、绿灯亮、灯全灭状态；方向指示信号灯的左转红灯亮、左转黄灯亮、左转绿灯亮、右转红灯亮、右转黄灯亮、右转绿灯亮、直行红灯亮、直行黄灯亮、直行绿灯亮状态；掉头信号灯的红灯亮、黄灯亮、绿灯亮状态；

b)非机动车信号灯的红灯亮、黄灯亮、绿灯亮状态；人行横道信号灯的红灯亮、绿灯亮、灯全灭状态；车道信号灯的红灯亮、绿灯亮、灯全灭状态；道口信号灯的左红灯亮、右红灯亮、灯全灭状态；

c)非国标信号灯；

d)道路交通信号倒计时显示器、道路交通信号倒计时显示器里的红色数字0-9、道路交通信号倒计时显示器里的黄色数字0-3、道路交通信号倒计时显示器里的绿色数字0-9。

所述步骤三的具体方法如下：

31)使用道路交通信号灯和道路交通信号倒计时显示器数据集训练神经网络，得到权重文件；

32)使用训练得到的权重文件和神经网络检测出视频中的道路交通信号灯边界框、道路交通信号倒计时显示器边界框和道路交通信号倒计时显示器里数字的边界框，得到在图像坐标系中的道路交通信号灯边界框的左下角坐标值和宽高值(x_li,y_li,w_li,h_li)、道路交通信号倒计时显示器边界框的左下角坐标值和宽高值(x_di,y_di,w_di,h_di)、道路交通信号倒计时显示器时间数字边界框的左下角坐标值和宽高值(x_ni,y_ni,w_ni,h_ni)。其中，x_li为道路交通信号灯边界框的左下角横坐标值；y_li为道路交通信号灯边界框的左下角纵坐标值；w_li为道路交通信号灯边界框的宽值；h_li为道路交通信号灯边界框的高值；x_di为道路交通信号倒计时显示器边界框的左下角横坐标值；y_di为道路交通信号倒计时显示器边界框的左下角纵坐标值；w_di为道路交通信号倒计时显示器边界框的宽值；h_li为道路交通信号倒计时显示器边界框的高值；x_ni为道路交通信号倒计时显示器时间数字边界框的左下角横坐标值；y_ni为道路交通信号倒计时显示器时间数字边界框的左下角纵坐标值；w_ni为道路交通信号倒计时显示器时间数字边界框的宽值；h_ni为道路交通信号倒计时显示器时间数字边界框的高值。

所述步骤四的具体方法如下：

循环遍历计算道路交通信号灯边界框、道路交通信号倒计时显示器边界框、道路交通信号倒计时显示器时间数字边界框的数量和位置关系，判断路口道路交通信号灯和道路交通信号倒计时显示器的设置情况，判断道路交通信号倒计时显示器时间数字边界框的横、纵坐标是否在道路交通信号灯边界框或道路交通信号倒计时显示器边界框内，将在同一个道路交通信号灯边界框或同一个道路交通信号倒计时显示器边界框内的时间数字按其边界框横坐标顺序排列，得到倒计时时间，实现同时识别道路交通信号灯状态和道路交通信号倒计时显示器时间，如下：

41)在摄像头视场内前方无障碍物遮挡情况下，当连续3帧检测结果中没有道路交通信号灯边界框，没有道路交通信号倒计时显示器边界框，没有道路交通信号倒计时显示器时间数字边界框时，此时判断为无道路交通信号灯道路；

42)在摄像头视场内前方无障碍物遮挡情况下，当连续3帧检测结果中有道路交通信号灯边界框，没有道路交通信号倒计时显示器边界框，没有道路交通倒计时显示器时间数字边界框时，令λ_wh＝w_li/h_li，其中，λ_wh为道路交通信号灯边界框的宽高比；w_li为道路交通信号灯边界框的宽值；h_li为道路交通信号灯边界框的高值；当λ_wh∈[0.25,0.52]时，判定道路交通信号灯灯色排列顺序为竖向安装，当λ_wh∈[2.8,4.2]时，判定道路交通信号灯灯色排列顺序为横向安装，此时判断为有道路交通信号灯路口，同时输出道路交通信号灯的数量、序号、灯色排列顺序、坐标、宽度值、高度值、状态；

43)在摄像头视场内前方无障碍物遮挡情况下，当连续3帧检测结果中有道路交通信号灯边界框，没有道路交通信号倒计时显示器边界框，有道路交通信号倒计时显示器时间数字边界框时，循环遍历计算道路交通信号倒计时显示器时间数字边界框的左下角坐标值(x_ni,y_ni)和右上角坐标值(x_ni+w_ni,y_ni+h_ni)，并且判断(x_ni,y_ni)、(x_ni+w_ni,y_ni+h_ni)是否分别在道路交通信号灯边界框值(x_li,x_li+w_li)、(y_li,y_li+h_li)范围内；

当全部道路交通信号倒计时显示器时间数字边界框的(x_ni,y_ni)、(x_ni+w_ni,y_ni+h_ni)值分别均不在道路交通信号灯边界框值(x_li,x_li+w_li)、(y_li,y_li+h_li)范围内，则将时间数字判定为其他类型数字，令λ_wh＝w_li/h_li，其中，λ_wh为道路交通信号灯边界框的宽高比；w_li为道路交通信号灯边界框的宽值；h_li为道路交通信号灯边界框的高值；当λ_wh∈[0.25,0.52]时，判定道路交通信号灯灯色排列顺序为竖向安装，当λ_wh∈[2.8,4.2]时，判定道路交通信号灯灯色排列顺序为横向安装，此时判断为有道路交通信号灯路口，同时输出道路交通信号灯的数量、序号、灯色排列顺序、坐标、宽度值、高度值、状态；

当部分或全部道路交通信号倒计时显示器时间数字边界框的(x_ni,y_ni)、(x_ni+w_ni,y_ni+h_ni)值分别在道路交通信号灯边界框值(x_li,x_li+w_li)、(y_li,y_li+h_li)范围内，则将不在道路交通信号灯边界框内的时间数字判定为其他类型数字，将在同一个道路交通信号灯边界框内的时间数字按边界框横坐标x_ni顺序排列，得到倒计时时间，令λ_wh＝w_li/h_li，其中，λ_wh为道路交通信号灯边界框的宽高比；w_li为道路交通信号灯边界框的宽值；h_li为道路交通信号灯边界框的高值；当λ_wh∈[0.25,0.52]时，判定道路交通信号灯灯色排列顺序为竖向安装，当λ_wh∈[2.8,4.2]时，判定道路交通信号灯灯色排列顺序为横向安装，此时判断为有集成式道路交通信号灯路口，道路交通信号倒计时显示器进入倒计时状态，同时输出道路交通信号灯的数量、序号、灯色排列顺序、坐标、宽度值、高度值、状态和倒计时时间；

44)在摄像头视场内前方无障碍物遮挡情况下，当连续3帧检测结果中有道路交通信号灯边界框，有道路交通信号倒计时显示器边界框，没有道路交通信号倒计时显示器里时间数字边界框时，此时判断为有道路交通信号灯和道路交通信号倒计时显示器路口，道路交通信号倒计时显示器未进入倒计时状态，令λ_wh＝w_li/h_li，其中，λ_wh为道路交通信号灯边界框的宽高比；w_li为道路交通信号灯边界框的宽值；h_li为道路交通信号灯边界框的高值；当λ_wh∈[0.25,0.52]时，判定道路交通信号灯灯色排列顺序为竖向安装，当λ_wh∈[2.8,4.2]时，判定道路交通信号灯灯色排列顺序为横向安装，同时输出道路交通信号灯的数量、序号、灯色排列顺序、坐标、宽度值、高度值、状态；

45)在摄像头视场内前方无障碍物遮挡情况下，当连续3帧检测结果中有道路交通信号灯边界框，有道路交通信号倒计时显示器边界框，有道路交通信号倒计时显示器时间数字边界框时，循环遍历计算道路交通信号倒计时显示器时间数字边界框的左下角坐标值(x_ni,y_ni)和右上角坐标值(x_ni+w_ni,y_ni+h_ni)，循环遍历计算道路交通信号倒计时显示器边界框的横向中值(x_di+0.5w_di)与道路交通信号灯边界框的横向中值(x_li+0.5w_li)之差的绝对值，即d_xi＝|(x_di+0.5w_di)-(x_li+0.5w_li)|，道路交通信号倒计时显示器边界框的纵向中值(y_di+0.5h_di)与道路交通信号灯边界框的纵向中值(y_li+0.5h_li)之差，即d_yi＝|(y_li+0.5h_li)-(y_di+0.5h_di)|；

根据道路交通信号灯边界框、道路交通信号倒计时显示器边界框的数量和坐标位置关系，将道路交通信号灯与道路交通信号倒计时显示器的量比关系分为：一个道路交通信号灯和一个道路交通信号倒计时显示器、多个道路交通信号灯共用一个道路交通信号倒计时显示器、多个道路交通信号灯一一对应多个道路交通信号倒计时显示器3种情况；

令λ_wh＝w_li/h_li，其中，λ_wh为道路交通信号灯边界框的宽高比；w_li为道路交通信号灯边界框的宽值；h_li为道路交通信号灯边界框的高值；当λ_wh∈[0.25,0.42]、d_xi≤0.5w_li、d_yi≥0.4(h_li+h_di)且|w_li-w_di|≤0.2w_li时，判定道路交通信号灯与道路交通倒计时显示器为一组且安装方式为竖向安装分体式；

当全部道路交通信号倒计时显示器时间数字边界框的(x_ni,y_ni)、(x_ni+w_ni,y_ni+h_ni)值分别均不在道路交通信号倒计时显示器边界框值(x_di,x_di+w_di)、(y_di,y_di+h_di)范围内，也分别不在道路交通信号灯边界框值(x_li,x_li+w_li)、(y_li,y_li+h_li)范围内，则将时间数字判定为其他类型数字，此时判断为有道路交通信号灯和道路交通信号倒计时显示器路口，道路交通信号倒计时显示器未进入倒计时状态，令λ_wh＝w_li/h_li，其中，λ_wh为道路交通信号灯边界框的宽高比；w_li为道路交通信号灯边界框的宽值；h_li为道路交通信号灯边界框的高值；当λ_wh∈[0.25,0.52]时，判定道路交通信号灯灯色排列顺序为竖向安装，当λ_wh∈[2.8,4.2]时，判定道路交通信号灯灯色排列顺序为横向安装，同时输出道路交通信号灯的数量、序号、灯色排列顺序、坐标、宽度值、高度值、状态；

当部分或全部道路交通信号倒计时显示器时间数字边界框的(x_ni,y_ni)、(x_ni+w_ni,y_ni+h_ni)值分别在道路交通信号倒计时显示器边界框值(x_di,x_di+w_di)、(y_di,y_di+h_di)范围内，不在道路交通信号灯边界框值(x_li,x_li+w_li)、(y_li,y_li+h_li)范围内，则将不在道路交通信号倒计时显示器边界框内的时间数字判定为其他类型数字，将在同一个道路交通信号倒计时显示器边界框内的时间数字按边界框横坐标x_ni顺序排列，获得倒计时时间。此时判断为有道路交通信号灯和道路交通信号倒计时显示器路口，道路交通信号倒计时显示器进入倒计时状态，同时输出道路交通信号灯数量、序号、灯色排列顺序、坐标、宽度值、高度值、状态和倒计时时间。

本发明的有益效果为：

本发明采用人工智能的方法采集与标注道路交通信号灯状态、道路交通信号倒计时显示器、道路交通信号倒计时显示器时间，形成《道路交通信号灯和道路交通信号倒计时显示器数据集》，设计的推理算法能够同时识别道路交通信号灯状态和道路交通信号倒计时显示器时间，能够消除其他类型数码显示管对识别倒计时时间的干扰，能全天候地在多个城市、多种天气环境下稳定工作，方法鲁棒性强，能够为保障智能驾驶车辆路口交通安全、提高路口通行效率、节约能耗提供依据。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明的算法流程图；

图2a竖向安装示意图；

图2b为竖向安装集成式示意图；

图3为横向安装集成式示意图；

图4为竖向安装分体一对一式示意图；

图5为竖向安装分体二对一式示意图；

图6为竖向安装分体多对多式示意图；

图7a-图7c为竖向安装分体式示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

参阅图1，一种识别道路交通信号灯状态和倒计时显示器时间的方法，包括以下步骤：

步骤一、采集道路交通信号灯状态和道路交通信号倒计时显示器数据；

将摄像头安装于汽车驾驶室风挡玻璃后或汽车顶部支架处，离地高度为1.2-1.9m，需要保证摄像头水平安装，摄像头光轴平行于地面。以摄像头的安装位置作为摄像头坐标系原点，此时坐标轴的x方向为汽车的行驶方向，y轴正向指向行驶方向的左侧，z轴正向竖直向上。本实施例在2016年7月-2020年11月中的晴、雨、雪、雾、霾、台风天气条件下的0：00-24：00时段，采集了长春、黄山、杭州、上海、常熟、武汉、长白、临江、靖宇、大安等城市的市内道路、快速路、高速公路、国道、省道、乡道、山路的640P、720P、1080P、1440P、2160P分辨率交通环境视频录像，将视频录像转成图像。

步骤二、标注并形成道路交通信号灯和道路交通信号倒计时显示器数据集；

将图像中的以下状态进行标注并形成道路交通信号灯和道路交通信号倒计时显示器数据集；

a)机动车信号灯的红灯亮、黄灯亮、绿灯亮、灯全灭状态；方向指示信号灯的左转红灯亮、左转黄灯亮、左转绿灯亮、右转红灯亮、右转黄灯亮、右转绿灯亮、直行红灯亮、直行黄灯亮、直行绿灯亮状态；掉头信号灯的红灯亮、黄灯亮、绿灯亮状态；

b)非机动车信号灯的红灯亮、黄灯亮、绿灯亮状态；人行横道信号灯的红灯亮、绿灯亮、灯全灭状态；车道信号灯的红灯亮、绿灯亮、灯全灭状态；道口信号灯的左红灯亮、右红灯亮、灯全灭状态；

c)非国标信号灯；如单圆灯、多箭头方向指示灯的各种指示状态。

d)道路交通信号倒计时显示器、道路交通信号倒计时显示器里的红色数字0-9、道路交通信号倒计时显示器里的黄色数字0-3、道路交通信号倒计时显示器里的绿色数字0-9。

步骤三、训练神经网络并且对道路交通信号灯边界框、道路交通信号倒计时显示器边界框和道路交通信号倒计时显示器里数字的边界框进行检测；

31)使用道路交通信号灯和道路交通信号倒计时显示器数据集训练神经网络，得到权重文件；

32)使用训练得到的权重文件和神经网络检测出视频中的道路交通信号灯边界框、道路交通信号倒计时显示器边界框和道路交通信号倒计时显示器里数字的边界框，得到在图像坐标系中的道路交通信号灯边界框的左下角坐标值和宽高值(x_li,y_li,w_li,h_li)、道路交通信号倒计时显示器边界框的左下角坐标值和宽高值(x_di,y_di,w_di,h_di)、道路交通信号倒计时显示器时间数字边界框的左下角坐标值和宽高值(x_ni,y_ni,w_ni,h_ni)。其中，x_li为道路交通信号灯边界框的左下角横坐标值；y_li为道路交通信号灯边界框的左下角纵坐标值；w_li为道路交通信号灯边界框的宽值；h_li为道路交通信号灯边界框的高值；x_di为道路交通信号倒计时显示器边界框的左下角横坐标值；y_di为道路交通信号倒计时显示器边界框的左下角纵坐标值；w_di为道路交通信号倒计时显示器边界框的宽值；h_li为道路交通信号倒计时显示器边界框的高值；x_ni为道路交通信号倒计时显示器时间数字边界框的左下角横坐标值；y_ni为道路交通信号倒计时显示器时间数字边界框的左下角纵坐标值；w_ni为道路交通信号倒计时显示器时间数字边界框的宽值；h_ni为道路交通信号倒计时显示器时间数字边界框的高值。

步骤四、对道路交通信号灯状态、倒计时显示器、倒计时时间进行分组。

循环遍历计算道路交通信号灯边界框、道路交通信号倒计时显示器边界框、道路交通信号倒计时显示器时间数字边界框的数量和位置关系，判断路口道路交通信号灯和道路交通信号倒计时显示器的设置情况，判断道路交通信号倒计时显示器时间数字边界框的横、纵坐标是否在道路交通信号灯边界框或道路交通信号倒计时显示器边界框内，将在同一个道路交通信号灯边界框或同一个道路交通信号倒计时显示器边界框内的时间数字按其边界框横坐标顺序排列，得到倒计时时间，实现同时识别道路交通信号灯状态和道路交通信号倒计时显示器时间，如下：

41)在摄像头视场内前方无障碍物遮挡情况下，当连续3帧检测结果中没有道路交通信号灯边界框，没有道路交通信号倒计时显示器边界框，没有道路交通信号倒计时显示器时间数字边界框时，此时判断为无道路交通信号灯道路；

42)在摄像头视场内前方无障碍物遮挡情况下，当连续3帧检测结果中有道路交通信号灯边界框，没有道路交通信号倒计时显示器边界框，没有道路交通倒计时显示器时间数字边界框时，令λ_wh＝w_li/h_li，其中，λ_wh为道路交通信号灯边界框的宽高比；w_li为道路交通信号灯边界框的宽值；h_li为道路交通信号灯边界框的高值；当λ_wh∈[0.25,0.52]时，判定道路交通信号灯灯色排列顺序为竖向安装，当λ_wh∈[2.8,4.2]时，判定道路交通信号灯灯色排列顺序为横向安装，此时判断为有道路交通信号灯路口，同时输出道路交通信号灯的数量、序号、灯色排列顺序、坐标、宽度值、高度值、状态；

43)参阅图2a、图2b和图3，在摄像头视场内前方无障碍物遮挡情况下，当连续3帧检测结果中有道路交通信号灯边界框，没有道路交通信号倒计时显示器边界框，有道路交通信号倒计时显示器时间数字边界框时，循环遍历计算道路交通信号倒计时显示器时间数字边界框的左下角坐标值(x_ni,y_ni)和右上角坐标值(x_ni+w_ni,y_ni+h_ni)，并且判断(x_ni,y_ni)、(x_ni+w_ni,y_ni+h_ni)是否分别在道路交通信号灯边界框值(x_li,x_li+w_li)、(y_li,y_li+h_li)范围内；

当全部道路交通信号倒计时显示器时间数字边界框的(x_ni,y_ni)、(x_ni+w_ni,y_ni+h_ni)值分别均不在道路交通信号灯边界框值(x_li,x_li+w_li)、(y_li,y_li+h_li)范围内，则将时间数字判定为其他类型数字，令λ_wh＝w_li/h_li，其中，λ_wh为道路交通信号灯边界框的宽高比；w_li为道路交通信号灯边界框的宽值；h_li为道路交通信号灯边界框的高值；当λ_wh∈[0.25,0.52]时，判定道路交通信号灯灯色排列顺序为竖向安装，当λ_wh∈[2.8,4.2]时，判定道路交通信号灯灯色排列顺序为横向安装，此时判断为有道路交通信号灯路口，同时输出道路交通信号灯的数量、序号、灯色排列顺序、坐标、宽度值、高度值、状态；

当部分或全部道路交通信号倒计时显示器时间数字边界框的(x_ni,y_ni)、(x_ni+w_ni,y_ni+h_ni)值分别在道路交通信号灯边界框值(x_li,x_li+w_li)、(y_li,y_li+h_li)范围内，则将不在道路交通信号灯边界框内的时间数字判定为其他类型数字，将在同一个道路交通信号灯边界框内的时间数字按边界框横坐标x_ni顺序排列，得到倒计时时间，令λ_wh＝w_li/h_li，其中，λ_wh为道路交通信号灯边界框的宽高比；w_li为道路交通信号灯边界框的宽值；h_li为道路交通信号灯边界框的高值；当λ_wh∈[0.25,0.52]时，判定道路交通信号灯灯色排列顺序为竖向安装，当λ_wh∈[2.8,4.2]时，判定道路交通信号灯灯色排列顺序为横向安装，此时判断为有集成式道路交通信号灯路口，道路交通信号倒计时显示器进入倒计时状态，同时输出道路交通信号灯的数量、序号、灯色排列顺序、坐标、宽度值、高度值、状态和倒计时时间；

44)在摄像头视场内前方无障碍物遮挡情况下，当连续3帧检测结果中有道路交通信号灯边界框，有道路交通信号倒计时显示器边界框，没有道路交通信号倒计时显示器里时间数字边界框时，此时判断为有道路交通信号灯和道路交通信号倒计时显示器路口，道路交通信号倒计时显示器未进入倒计时状态，令λ_wh＝w_li/h_li，其中，λ_wh为道路交通信号灯边界框的宽高比；w_li为道路交通信号灯边界框的宽值；h_li为道路交通信号灯边界框的高值；当λ_wh∈[0.25,0.52]时，判定道路交通信号灯灯色排列顺序为竖向安装，当λ_wh∈[2.8,4.2]时，判定道路交通信号灯灯色排列顺序为横向安装，同时输出道路交通信号灯的数量、序号、灯色排列顺序、坐标、宽度值、高度值、状态；

45)在摄像头视场内前方无障碍物遮挡情况下，当连续3帧检测结果中有道路交通信号灯边界框，有道路交通信号倒计时显示器边界框，有道路交通信号倒计时显示器时间数字边界框时，循环遍历计算道路交通信号倒计时显示器时间数字边界框的左下角坐标值(x_ni,y_ni)和右上角坐标值(x_ni+w_ni,y_ni+h_ni)，循环遍历计算道路交通信号倒计时显示器边界框的横向中值(x_di+0.5w_di)与道路交通信号灯边界框的横向中值(x_li+0.5w_li)之差的绝对值，即d_xi＝|(x_di+0.5w_di)-(x_li+0.5w_li)|，道路交通信号倒计时显示器边界框的纵向中值(y_di+0.5h_di)与道路交通信号灯边界框的纵向中值(y_li+0.5h_li)之差，即d_yi＝|(y_li+0.5h_li)-(y_di+0.5h_di)|；

参阅图4、图5和图6，根据道路交通信号灯边界框、道路交通信号倒计时显示器边界框的数量和坐标位置关系，将道路交通信号灯与道路交通信号倒计时显示器的量比关系分为：一个道路交通信号灯和一个道路交通信号倒计时显示器、多个道路交通信号灯共用一个道路交通信号倒计时显示器、多个道路交通信号灯一一对应多个道路交通信号倒计时显示器3种情况；

参阅图7a和图7c，令λ_wh＝w_li/h_li，其中，λ_wh为道路交通信号灯边界框的宽高比；w_li为道路交通信号灯边界框的宽值；h_li为道路交通信号灯边界框的高值；当λ_wh∈[0.25,0.42]、d_xi≤0.5w_li、d_yi≥0.4(h_li+h_di)且|w_li-w_di|≤0.2w_li时，判定道路交通信号灯与道路交通倒计时显示器为一组且安装方式为竖向安装分体式；

当全部道路交通信号倒计时显示器时间数字边界框的(x_ni,y_ni)、(x_ni+w_ni,y_ni+h_ni)值分别均不在道路交通信号倒计时显示器边界框值(x_di,x_di+w_di)、(y_di,y_di+h_di)范围内，也分别不在道路交通信号灯边界框值(x_li,x_li+w_li)、(y_li,y_li+h_li)范围内，则将时间数字判定为其他类型数字，此时判断为有道路交通信号灯和道路交通信号倒计时显示器路口，道路交通信号倒计时显示器未进入倒计时状态，令λ_wh＝w_li/h_li，其中，λ_wh为道路交通信号灯边界框的宽高比；w_li为道路交通信号灯边界框的宽值；h_li为道路交通信号灯边界框的高值；当λ_wh∈[0.25,0.52]时，判定道路交通信号灯灯色排列顺序为竖向安装，当λ_wh∈[2.8,4.2]时，判定道路交通信号灯灯色排列顺序为横向安装，同时输出道路交通信号灯的数量、序号、灯色排列顺序、坐标、宽度值、高度值、状态；

当部分或全部道路交通信号倒计时显示器时间数字边界框的(x_ni,y_ni)、(x_ni+w_ni,y_ni+h_ni)值分别在道路交通信号倒计时显示器边界框值(x_di,x_di+w_di)、(y_di,y_di+h_di)范围内，不在道路交通信号灯边界框值(x_li,x_li+w_li)、(y_li,y_li+h_li)范围内，则将不在道路交通信号倒计时显示器边界框内的时间数字判定为其他类型数字，将在同一个道路交通信号倒计时显示器边界框内的时间数字按边界框横坐标x_ni顺序排列，获得倒计时时间。此时判断为有道路交通信号灯和道路交通信号倒计时显示器路口，道路交通信号倒计时显示器进入倒计时状态，同时输出道路交通信号灯数量、序号、灯色排列顺序、坐标、宽度值、高度值、状态和倒计时时间。

实施例一将在2018年7月-2020年11月中的晴、雨、雪、雾、霾、台风天气条件下的0：00-24：00时段内，采集的长春市、武汉市市内道路的1080P、1440P、2160P分辨率交通环境视频录像转成图像。标注了机动车信号灯的红灯亮、黄灯亮、绿灯亮、灯全灭状态，方向指示信号灯的左转红灯亮、左转黄灯亮、左转绿灯亮、右转红灯亮、右转黄灯亮、右转绿灯亮、直行红灯亮、直行黄灯亮、直行绿灯亮状态，掉头信号灯的红灯亮、黄灯亮、绿灯亮状态，非机动车信号灯的红灯亮、黄灯亮、绿灯亮状态，人行横道信号灯的红灯亮、绿灯亮、灯全灭状态，道路交通信号倒计时显示器，道路交通信号倒计时显示器里的红色数字0-9，道路交通信号倒计时显示器里的黄色数字0-3，道路交通信号倒计时显示器里的绿色数字0-9，形成包括3万张图像的道路交通信号灯和道路交通信号倒计时显示器数据集。采用标准YOLOv4目标检测算法训练后得到权重，用训练得到的权重和标准YOLOv4目标检测算法进行道路交通信号灯、倒计时显示器和倒计时显示器里时间数字的检测，得到检测22种交通灯状态的均值平均精度为96.63％，检测道路交通信号倒计时显示器的平均精确度为98.17％，检测24种倒计时显示器里时间数字的均值平均精度为97.99％。经连续3帧检测结果推理算法判断后，同时识别道路交通信号灯状态和倒计时显示器时间和实际情况相比的准确率为99.36％，从而验证了本发明有效。

Claims (5)

1.一种识别道路交通信号灯状态和倒计时显示器时间的方法，其特征在于，包括以下步骤：

步骤一、采集道路交通信号灯状态和道路交通信号倒计时显示器数据；

步骤二、标注并形成道路交通信号灯和道路交通信号倒计时显示器数据集；

步骤三、训练神经网络并且对道路交通信号灯边界框、道路交通信号倒计时显示器边界框和道路交通信号倒计时显示器里数字的边界框进行检测；

步骤四、对道路交通信号灯状态、倒计时显示器、倒计时时间进行分组。

2.根据权利要求1所述的一种识别道路交通信号灯状态和倒计时显示器时间的方法，其特征在于，所述步骤一的具体方法如下：

通过安装在车顶和驾驶室风挡玻璃后的摄像头采集道路交通信号灯状态和道路交通信号倒计时显示器数据的视屏录像，并且将视屏录像转成图像，用于标注。

3.根据权利要求2所述的一种识别道路交通信号灯状态和倒计时显示器时间的方法，其特征在于，所述步骤二的具体方法如下：

将图像中的以下状态进行标注并形成道路交通信号灯和道路交通信号倒计时显示器数据集；

a)机动车信号灯的红灯亮、黄灯亮、绿灯亮、灯全灭状态；方向指示信号灯的左转红灯亮、左转黄灯亮、左转绿灯亮、右转红灯亮、右转黄灯亮、右转绿灯亮、直行红灯亮、直行黄灯亮、直行绿灯亮状态；掉头信号灯的红灯亮、黄灯亮、绿灯亮状态；

b)非机动车信号灯的红灯亮、黄灯亮、绿灯亮状态；人行横道信号灯的红灯亮、绿灯亮、灯全灭状态；车道信号灯的红灯亮、绿灯亮、灯全灭状态；道口信号灯的左红灯亮、右红灯亮、灯全灭状态；

c)非国标信号灯；

d)道路交通信号倒计时显示器、道路交通信号倒计时显示器里的红色数字0-9、道路交通信号倒计时显示器里的黄色数字0-3、道路交通信号倒计时显示器里的绿色数字0-9。

4.根据权利要求1所述的一种识别道路交通信号灯状态和倒计时显示器时间的方法，其特征在于，所述步骤三的具体方法如下：

31)使用道路交通信号灯和道路交通信号倒计时显示器数据集训练神经网络，得到权重文件；

32)使用训练得到的权重文件和神经网络检测出视频中的道路交通信号灯边界框、道路交通信号倒计时显示器边界框和道路交通信号倒计时显示器里数字的边界框，得到在图像坐标系中的道路交通信号灯边界框的左下角坐标值和宽高值(x_li,y_li,w_li,h_li)、道路交通信号倒计时显示器边界框的左下角坐标值和宽高值(x_di,y_di,w_di,h_di)、道路交通信号倒计时显示器时间数字边界框的左下角坐标值和宽高值(x_ni,y_ni,w_ni,h_ni)；其中，x_li为道路交通信号灯边界框的左下角横坐标值；y_li为道路交通信号灯边界框的左下角纵坐标值；w_li为道路交通信号灯边界框的宽值；h_li为道路交通信号灯边界框的高值；x_di为道路交通信号倒计时显示器边界框的左下角横坐标值；y_di为道路交通信号倒计时显示器边界框的左下角纵坐标值；w_di为道路交通信号倒计时显示器边界框的宽值；h_li为道路交通信号倒计时显示器边界框的高值；x_ni为道路交通信号倒计时显示器时间数字边界框的左下角横坐标值；y_ni为道路交通信号倒计时显示器时间数字边界框的左下角纵坐标值；w_ni为道路交通信号倒计时显示器时间数字边界框的宽值；h_ni为道路交通信号倒计时显示器时间数字边界框的高值。

5.根据权利要求1所述的一种识别道路交通信号灯状态和倒计时显示器时间的方法，其特征在于，所述步骤四的具体方法如下：

循环遍历计算道路交通信号灯边界框、道路交通信号倒计时显示器边界框、道路交通信号倒计时显示器时间数字边界框的数量和位置关系，判断路口道路交通信号灯和道路交通信号倒计时显示器的设置情况，判断道路交通信号倒计时显示器时间数字边界框的横、纵坐标是否在道路交通信号灯边界框或道路交通信号倒计时显示器边界框内，将在同一个道路交通信号灯边界框或同一个道路交通信号倒计时显示器边界框内的时间数字按其边界框横坐标顺序排列，得到倒计时时间，实现同时识别道路交通信号灯状态和道路交通信号倒计时显示器时间，如下：

41)在摄像头视场内前方无障碍物遮挡情况下，当连续3帧检测结果中没有道路交通信号灯边界框，没有道路交通信号倒计时显示器边界框，没有道路交通信号倒计时显示器时间数字边界框时，此时判断为无道路交通信号灯道路；

42)在摄像头视场内前方无障碍物遮挡情况下，当连续3帧检测结果中有道路交通信号灯边界框，没有道路交通信号倒计时显示器边界框，没有道路交通倒计时显示器时间数字边界框时，令λ_wh＝w_li/h_li，其中，λ_wh为道路交通信号灯边界框的宽高比；w_li为道路交通信号灯边界框的宽值；h_li为道路交通信号灯边界框的高值；当λ_wh∈[0.25,0.52]时，判定道路交通信号灯灯色排列顺序为竖向安装，当λ_wh∈[2.8,4.2]时，判定道路交通信号灯灯色排列顺序为横向安装，此时判断为有道路交通信号灯路口，同时输出道路交通信号灯的数量、序号、灯色排列顺序、坐标、宽度值、高度值、状态；

43)在摄像头视场内前方无障碍物遮挡情况下，当连续3帧检测结果中有道路交通信号灯边界框，没有道路交通信号倒计时显示器边界框，有道路交通信号倒计时显示器时间数字边界框时，循环遍历计算道路交通信号倒计时显示器时间数字边界框的左下角坐标值(x_ni,y_ni)和右上角坐标值(x_ni+w_ni,y_ni+h_ni)，并且判断(x_ni,y_ni)、(x_ni+w_ni,y_ni+h_ni)是否分别在道路交通信号灯边界框值(x_li,x_li+w_li)、(y_li,y_li+h_li)范围内；

当全部道路交通信号倒计时显示器时间数字边界框的(x_ni,y_ni)、(x_ni+w_ni,y_ni+h_ni)值分别均不在道路交通信号灯边界框值(x_li,x_li+w_li)、(y_li,y_li+h_li)范围内，则将时间数字判定为其他类型数字，令λ_wh＝w_li/h_li，其中，λ_wh为道路交通信号灯边界框的宽高比；w_li为道路交通信号灯边界框的宽值；h_li为道路交通信号灯边界框的高值；当λ_wh∈[0.25,0.52]时，判定道路交通信号灯灯色排列顺序为竖向安装，当λ_wh∈[2.8,4.2]时，判定道路交通信号灯灯色排列顺序为横向安装，此时判断为有道路交通信号灯路口，同时输出道路交通信号灯的数量、序号、灯色排列顺序、坐标、宽度值、高度值、状态；

当部分或全部道路交通信号倒计时显示器时间数字边界框的(x_ni,y_ni)、(x_ni+w_ni,y_ni+h_ni)值分别在道路交通信号灯边界框值(x_li,x_li+w_li)、(y_li,y_li+h_li)范围内，则将不在道路交通信号灯边界框内的时间数字判定为其他类型数字，将在同一个道路交通信号灯边界框内的时间数字按边界框横坐标x_ni顺序排列，得到倒计时时间，令λ_wh＝w_li/h_li，其中，λ_wh为道路交通信号灯边界框的宽高比；w_li为道路交通信号灯边界框的宽值；h_li为道路交通信号灯边界框的高值；当λ_wh∈[0.25,0.52]时，判定道路交通信号灯灯色排列顺序为竖向安装，当λ_wh∈[2.8,4.2]时，判定道路交通信号灯灯色排列顺序为横向安装，此时判断为有集成式道路交通信号灯路口，道路交通信号倒计时显示器进入倒计时状态，同时输出道路交通信号灯的数量、序号、灯色排列顺序、坐标、宽度值、高度值、状态和倒计时时间；

44)在摄像头视场内前方无障碍物遮挡情况下，当连续3帧检测结果中有道路交通信号灯边界框，有道路交通信号倒计时显示器边界框，没有道路交通信号倒计时显示器里时间数字边界框时，此时判断为有道路交通信号灯和道路交通信号倒计时显示器路口，道路交通信号倒计时显示器未进入倒计时状态，令λ_wh＝w_li/h_li，其中，λ_wh为道路交通信号灯边界框的宽高比；w_li为道路交通信号灯边界框的宽值；h_li为道路交通信号灯边界框的高值；当λ_wh∈[0.25,0.52]时，判定道路交通信号灯灯色排列顺序为竖向安装，当λ_wh∈[2.8,4.2]时，判定道路交通信号灯灯色排列顺序为横向安装，同时输出道路交通信号灯的数量、序号、灯色排列顺序、坐标、宽度值、高度值、状态；

45)在摄像头视场内前方无障碍物遮挡情况下，当连续3帧检测结果中有道路交通信号灯边界框，有道路交通信号倒计时显示器边界框，有道路交通信号倒计时显示器时间数字边界框时，循环遍历计算道路交通信号倒计时显示器时间数字边界框的左下角坐标值(x_ni,y_ni)和右上角坐标值(x_ni+w_ni,y_ni+h_ni)，循环遍历计算道路交通信号倒计时显示器边界框的横向中值(x_di+0.5w_di)与道路交通信号灯边界框的横向中值(x_li+0.5w_li)之差的绝对值，即d_xi＝|(x_di+0.5w_di)-(x_li+0.5w_li)|，道路交通信号倒计时显示器边界框的纵向中值(y_di+0.5h_di)与道路交通信号灯边界框的纵向中值(y_li+0.5h_li)之差，即d_yi＝|(y_li+0.5h_li)-(y_di+0.5h_di)|；

根据道路交通信号灯边界框、道路交通信号倒计时显示器边界框的数量和坐标位置关系，将道路交通信号灯与道路交通信号倒计时显示器的量比关系分为：一个道路交通信号灯和一个道路交通信号倒计时显示器、多个道路交通信号灯共用一个道路交通信号倒计时显示器、多个道路交通信号灯一一对应多个道路交通信号倒计时显示器3种情况；

令λ_wh＝w_li/h_li，其中，λ_wh为道路交通信号灯边界框的宽高比；w_li为道路交通信号灯边界框的宽值；h_li为道路交通信号灯边界框的高值；当λ_wh∈[0.25,0.42]、d_xi≤0.5w_li、d_yi≥0.4(h_li+h_di)且|w_li-w_di|≤0.2w_li时，判定道路交通信号灯与道路交通倒计时显示器为一组且安装方式为竖向安装分体式；

当全部道路交通信号倒计时显示器时间数字边界框的(x_ni,y_ni)、(x_ni+w_ni,y_ni+h_ni)值分别均不在道路交通信号倒计时显示器边界框值(x_di,x_di+w_di)、(y_di,y_di+h_di)范围内，也分别不在道路交通信号灯边界框值(x_li,x_li+w_li)、(y_li,y_li+h_li)范围内，则将时间数字判定为其他类型数字，此时判断为有道路交通信号灯和道路交通信号倒计时显示器路口，道路交通信号倒计时显示器未进入倒计时状态，令λ_wh＝w_li/h_li，其中，λ_wh为道路交通信号灯边界框的宽高比；w_li为道路交通信号灯边界框的宽值；h_li为道路交通信号灯边界框的高值；当λ_wh∈[0.25,0.52]时，判定道路交通信号灯灯色排列顺序为竖向安装，当λ_wh∈[2.8,4.2]时，判定道路交通信号灯灯色排列顺序为横向安装，同时输出道路交通信号灯的数量、序号、灯色排列顺序、坐标、宽度值、高度值、状态；

当部分或全部道路交通信号倒计时显示器时间数字边界框的(x_ni,y_ni)、(x_ni+w_ni,y_ni+h_ni)值分别在道路交通信号倒计时显示器边界框值(x_di,x_di+w_di)、(y_di,y_di+h_di)范围内，不在道路交通信号灯边界框值(x_li,x_li+w_li)、(y_li,y_li+h_li)范围内，则将不在道路交通信号倒计时显示器边界框内的时间数字判定为其他类型数字，将在同一个道路交通信号倒计时显示器边界框内的时间数字按边界框横坐标x_ni顺序排列，获得倒计时时间。此时判断为有道路交通信号灯和道路交通信号倒计时显示器路口，道路交通信号倒计时显示器进入倒计时状态，同时输出道路交通信号灯数量、序号、灯色排列顺序、坐标、宽度值、高度值、状态和倒计时时间。

Images