CN111428647B - 一种交通信号灯故障检测方法 - Google Patents

一种交通信号灯故障检测方法 Download PDF

Info

Publication number
CN111428647B
CN111428647B CN202010221137.5A CN202010221137A CN111428647B CN 111428647 B CN111428647 B CN 111428647B CN 202010221137 A CN202010221137 A CN 202010221137A CN 111428647 B CN111428647 B CN 111428647B
Authority
CN
China
Prior art keywords
lamp
signal lamp
light
information
traffic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010221137.5A
Other languages
English (en)
Other versions
CN111428647A (zh
Inventor
祁照阁
曹锋
蒋栋奇
徐茂军
马建国
刘少文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Supcon Information Industry Co Ltd
Original Assignee
Zhejiang Supcon Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Supcon Information Industry Co Ltd filed Critical Zhejiang Supcon Information Industry Co Ltd
Priority to CN202010221137.5A priority Critical patent/CN111428647B/zh
Publication of CN111428647A publication Critical patent/CN111428647A/zh
Application granted granted Critical
Publication of CN111428647B publication Critical patent/CN111428647B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种交通信号灯故障检测方法，包括如下步骤：获得各种天气情况下的电子警察视频流，解码电子警察视频流，得到交通信号灯图像信息，交通信号灯灯组在图像中的位置信息、交通信号灯灯组内各信号灯的类型信息和位置信息；设置信号灯组的检测区域和灯组区域，如果检测到的信号灯位置在设定的灯组区域内，则将所述信号灯的类型和位置信息统计在所述设定的灯组区域内。本发明具有有效解决了小范围摄像机抖动和位置偏移问题，降低了基于视频检测信号灯故障的误报率，提高了报警的准确率的特点。

Description

一种交通信号灯故障检测方法
技术领域
本发明涉及交通信号灯状态监测技术领域，尤其是涉及一种交通信号灯故障检测方法。
背景技术
目前城市中交通信号灯的正确设置和稳定工作是保证交通安全和通畅的基础。现存的大量交通信号灯依然是没有故障自诊断能力的非智能交通信号灯，该类交通信号灯的故障检测主要通过执勤交警报修，交通设施单位巡检报修以及市民报警等方式。上述的故障检测方式存在交通信号灯维护费用高，故障发现不及时等问题。针对城市道路交通信号灯故障检测和维修的实际应用需要，普遍采用的自动检测方法有：电子电路检测方法和视频识别检测方法。
电子电路检测方法主要是设计一种交通信号灯故障检测电路，包括信号灯内部检测和信号机输出检测，有电压和电流检测电路。针对目前城市中已经存在的交通信号灯进行更换，存在的缺陷是需要的人工成本比较高，同时路口新增检测模块增加了检测模块的远程维护和保障工作。通过信号机输出检测的方式检测信号灯状态，对不同供电类型和功率类型的信号灯需要适配，存在一定复杂度，外部供电环境也可能对检测造成影响，进而影响检测准确度。
视频识别检测方法主要是通过分析视频图像中信号灯区域内形状、颜色和位置等特征确定信号灯状态。该方法存在多种检测方案，主要有路口级的检测方案和中心级的检测方案。
目前存在的问题主要是路口新增交通信号灯检测摄像机费用高，现有电子警察摄像机成像普遍存在信号灯红灯偏黄，摄像机抖动和位置偏移等问题。
发明内容
本发明的发明目的是为了克服现有技术中的电子电路检测方法复杂度高，检测精度低；视频识别检测方法费用高，电子警察摄像机成像的信号灯红灯偏黄，摄像机抖动和位置偏移的不足，提供了一种交通信号灯故障检测方法。
为了实现上述目的，本发明采用以下技术方案：
一种交通信号灯故障检测方法，包括如下步骤：
(1-1)获得各种天气情况下的电子警察视频流，解码电子警察视频流，得到交通信号灯图像信息(包含交通信号灯的图像)，交通信号灯灯组在图像中的位置信息、交通信号灯灯组内各信号灯的类型信息和位置信息；
(1-2)配置交通信号灯组信息和灯组内的各个信号灯信息：
(1-2-1)配置信号灯组信息
设置信号灯组的检测区域和灯组区域，如果检测到的信号灯位置在设定的灯组区域内，则将所述信号灯的类型和位置信息统计在所述设定的灯组区域内；
(1-2-2)配置信号灯信息：
设置信号灯外接矩形框，每个信号灯外接矩形框包含信号灯的位置信息和类型信息，其中位置信息包括两个部分：(1)信号灯在交通信号灯图像中的中心坐标(x，y)；(2)外接矩形的长h和宽w；
(1-3)交通信号灯的识别
(1-3-1)选择YOLOV3-tiny深度卷积网络作为交通信号灯目标检测网络；
(1-3-2)制作交通信号灯的训练样本，将训练样本送入交通信号灯目标检测网络中，进行交通信号检测模型的分类回归训练，生成信号灯检测模型；
(1-3-3)识别单个交通信号灯的类型并对单个交通信号灯进行定位；
(1-4)按信号灯周期统计一个交通信号灯组的状态；
(1-5)利用信号灯检测模型对交通信号灯图像中的检测区域进行检测，并将检测到的各个信号灯的位置信息和类别信息与每个信号灯组中的信号灯配置信息进行匹配；对未匹配成功的信号灯，做出交通信号灯的故障判断。
信号灯配置信息匹配的含义为：检测到的信号灯中心坐标位于信号灯外接矩形框内，且类别信息与信号灯外接矩形的类别信息相同。
本发明能够实时获取交通信号灯的位置和状态信息，可根据周期统计交通信号灯位置信息和实际信号灯组配置信息进行匹配，对信号灯类型进行纠正，可根据交通信号灯的配置信息判断交通信号灯是否出现故障。
本发明通过采集大量信号灯样本，训练生成信号灯检测模型，通过检测模型识别电子警察视频中一个灯组内各个信号灯的位置信息和信号灯的状态(包括红灯、黄灯、绿灯和倒计时)。以路口信号机的最大周期为统计周期，完成一个周期的灯组中单个灯的位置和类型的统计。根据灯组配置信息中单个灯的相对位置配置信息，以绿灯信号为基准(绿灯的检测准确率高)匹配灯组统计信息中单个灯的位置和灯类型信息，完成灯组类型信息的纠正，解决了摄像机抖动、偏移和红灯检测成黄灯的问题。根据实时检测出的灯组状态，实时判断灯组全灭、同亮、倒计时灭等故障。并根据周期内检测出的红灯、黄灯、绿灯和倒计时灯的信息判断当前交通信号灯组内的各个单灯是否故障，可检测故障类型包括：交通信号灯灯组全灭、红灯灭、黄灯灭、绿灯灭、倒计时灭、红黄同亮、红绿同亮、黄绿同亮等。
作为优选，(1-3-2)包括如下步骤：
获取电子警察视频流，并从视频流中批量获取交通信号灯图像，保证图像中的单个交通信号灯的尺寸≥8×8像素，对图像中每个交通信号灯的位置和类型进行标注，生成训练样本，并将训练样本送入交通信号灯目标检测网络中，进行交通信号检测模型的回归训练，生成信号灯检测模型。
作为优选，(1-3-3)包括如下步骤：
将实时的电子警察视频流转换为RGB图像数据，将RGB图像数据送入信号灯检测模型中，信号灯检测模型检测出当前RGB图像中交通信号灯的外接矩形框和识别得到的信号灯类型。
作为优选，(1-4)包括如下步骤：
所述交通信号灯组包括红灯、黄灯、绿灯和倒计时灯；红灯表示禁止通行，绿灯表示准许通行，黄灯表示警示；
按当前路口一个完整的信号灯周期时长作为基准，统计一个信号灯周期内出现的红灯、绿灯、黄灯和倒计时灯；
如果信号灯周期内统计的红灯没亮过，则存在红灯灭故障；
如果信号灯周期内统计的绿灯没亮过，则存在绿灯灭故障；
如果信号灯周期内统计的黄灯没亮过，则存在黄灯灭故障；
如果信号灯周期内统计的倒计时灯没亮过，则存在倒计时灯灭故障；
如果信号灯周期内统计的红灯、绿灯、黄灯和倒计时灯都没亮过，则存在灯全灭故障；
如果信号灯周期内统计的红灯和黄灯同时亮的时间t＞T，T为设定的时间门限，则判定红灯和黄灯同亮故障；
如果信号灯周期内统计的红灯和绿灯同时亮的时间t＞T，则判定红灯和绿灯同亮故障；
如果信号灯周期内统计的黄灯和绿灯同时亮的时间t＞T，则判定黄灯和绿灯同亮故障。
作为优选，交通信号灯统计的原则是：
记录第一个进入统计队列的信号灯；
计算后进入统计队列的信号灯A的中心与统计队列中已经存在的信号灯的中心之间的距离d，若d＞(h+w)/4，则将信号灯A的位置信息新增入队列。
作为优选，(1-5)包括如下步骤：
(1-5-1)若交通信号灯组配置信息中的类别信息存在绿灯，则进入如下匹配和故障判断过程：
(1-5-1-1)以一个信号灯周期为一个完整的统计时间，统计绿灯的位置信息；
(1-5-1-2)当统计信息中，不存在绿灯位置信息，则绿灯异常报警进入报警队列；
(1-5-1-3)当统计信息中，存在绿灯的位置信息，利用信号灯配置信息，获得绿灯的外接矩形的位置信息(xg，yg，w，h)及红灯的外接矩形的位置信息(xr，yr，w，h)，计算出配置信息中红灯的外接矩形框与绿灯的外接矩形框之间的距离dx1，dx2或dy1，dy2；
对于水平灯组，dx1＝|xg-xr|，dx2＝|yg-yr|；
对于竖直灯组，dy1＝|yg-yr|，dy2＝|xg-xr|；
当统计信息中，存在绿灯的位置信息(x’g，y’g，w，h)，利用dx1，dx2或dy1，dy2计算出红灯位置(x’r，y’r，w，h)；
对于水平灯组，x’r＝x’g-dx1，y’r＝y’g-dx2；
对于竖直灯组，y’r＝y’g-dy1，x’r＝x’g-dy2；
若统计信息中的红灯位置信息(x1，y1，w，h)与计算得到的红灯位置(x’r，y’r，w，h)不匹配，使红灯异常报警进入报警队列；
匹配条件如下：
若(x’r-w/2)＜x1＜(x’r+w/2)，|y’r-y1|＜h/2则认为水平匹配；
若(y’r-h1/2)＜y1＜(y’r+h1/2)，|x’r-x1|＜w/2则认为竖直匹配；
水平灯组需满足水平匹配，竖直灯组需满足竖直匹配；
(1-5-1-4)当统计信息中，存在绿灯的位置信息，利用信号灯配置信息，可以获得绿灯的外接矩形的位置信息(xg，yg，w，h)及黄灯的外接矩形的位置信息(xy，yy，w，h)，计算出配置信息中红灯的外接矩形框与黄灯的外接矩形框之间的距离dx3，dx4或dy3，dy4；
对于水平灯组，dx3＝|xg-xy|，dy4＝|yg-yy|；
对于竖直灯组，dy3＝|yg-yy|，dy4＝|xg-xy|；
当获得统计信息中的绿灯位置(x’g，y’g，w，h)之后，利用dx3，dx4或dy3，dy4计算出黄灯位置(x’y，y’y，w，h)；
对于水平灯组，x’y＝x’g-dx3，y’y＝y’g-dx4；
对于竖直灯组，y’y＝y’g-dy3，x’y＝x’g-dy4；
若统计信息中的黄灯位置信息(x2，y2，w，h)与计算得到的黄灯位置(x’y，y’y，w，h)不匹配，使黄灯异常报警进入报警队列；
匹配条件如下：
若(x’y-w/2)＜x2＜(x’y+w/2)，|y’y-y2|＜h/2则认为水平匹配；
若(y’y-h/2)＜y2＜(y’y+h/2)，|x’y-x2|＜w/2则认为竖直匹配；
水平灯组需满足水平匹配，竖直灯组需满足竖直匹配；
(1-5-1-5)当统计信息中，存在绿灯的位置信息，利用信号灯配置信息，获得绿灯的外接矩形的位置信息(xg，yg，w，h)及倒计时灯的外接矩形的位置信息(xc，yc，w，h)，计算出配置信息中倒计时灯的外接矩形框与绿灯的外接矩形框之间的距离dx5，dx6或dy5，dy6；
对于水平灯组，dx5＝|xg-xc|，dx6＝|yg-yc|；
对于竖直灯组，dy5＝|yg-yc|，dy6＝|xg-xc|，；
当获得统计信息中绿灯位置(x’g，y’g，w，h)之后，利用dx5，dx6或dy5，dy6计算出倒计时灯位置(x’c，y’c，w，h)；
对于水平灯组，x’c＝x’g-dx5，y’c＝y’g-dx6；
对于竖直灯组，y’c＝y’g-dy5，x’c＝x’g-dy6；
若统计信息中的倒计时灯位置信息(x3，y3，w，h)与计算得到的倒计时灯位置(x’c，y’c，w，h)不匹配，使倒计时灯异常报警进入报警队列；
匹配条件如下：
若(x’c-w/2)＜x3＜(x’c+w/2)，|y’c-y3|＜h/2则认为水平匹配；
若(y’c-h1/2)＜y3＜(y’c+h1/2)，|x’c-x3|＜w/2则认为竖直匹配；
若绿灯、红灯、黄灯、倒计时灯都匹配完成，删除报警队列，匹配完成，交通信号灯正常；
(1-5-2)若交通信号灯组配置信息中的类别信息不存在绿灯，则进入如下匹配和故障判断过程：
信号周期内检测到的信号灯位置和状态的统计信息，存在一组灯的位置能与交通信号灯组配置信息完整匹配，则该组信号灯组正常；否则，做出该组信号灯组异常的判断。
因此，本发明具有如下有益效果：有效解决了小范围摄像机抖动和位置偏移问题，降低了基于视频检测信号灯故障的误报率，提高了报警的准确率；采用基于卷积神经网络的深度学习技术，实现信号灯的位置和状态识别；根据路口交通信号机信号周期内检测到的信号灯位置信息进行信号灯位置匹配和类型校准，并能够对交通信号灯的故障进行检测和诊断，保证了交通设施维护人员能及时发现交通信号灯故障，并及时维修交通信号灯。
附图说明
图1为本发明的一种总体流程图；
图2为本发明的一种交通信号灯灯组配置信息图；
图3为本发明的一种交通信号灯灯配置信息图；
图4为本发明的一种交通信号灯灯组统计信息示意图；
图5为本发明的一种交通信号灯灯组匹配报警流程图。
具体实施方式
下面结合附图和具体实施方式对本发明做进一步的描述。
如图1所示的实施例是一种交通信号灯故障检测方法，包括如下步骤：
(1-1)获得晴天、阴天、雨天情况下的电子警察视频流，解码电子警察视频流，得到交通信号灯图像信息，交通信号灯灯组在图像中的位置信息、交通信号灯灯组内各信号灯的类型信息和位置信息；
(1-2)配置交通信号灯组信息和灯组内的各个信号灯信息：
(1-2-1)配置信号灯组信息：
设置信号灯组的检测区域和灯组区域，如果检测到的信号灯位置在设定的灯组区域内，则将所述信号灯的类型和位置信息统计在所述设定的灯组区域内；
如图2所示，考虑到现场视频摄像机的抖动与偏移的，本发明标记配置交通信号灯组时设定的区域比较大。左转箭头灯的检测区域如矩形框1所示。在视频图像识别时，识别到的信号灯中心在矩形框1内，则该信号灯的类型和坐标信息被统计在左转信号灯组1内。同理直行圆盘灯的检测区域如矩形框2所示。在视频图像识别时，识别到的信号灯中心在矩形框2内，则该信号灯的类型和坐标信息被统计在直行信号灯组2内。可以看到信号灯组线框之间有重叠区域，可能导致信号灯信息在灯组线框1和灯组线框2内都存在统计信息，本发明通过匹配修正该冗余信息。
(1-2-2)配置信号灯信息
设置信号灯外接矩形框，每个信号灯外接矩形框包含信号灯的位置信息和类型信息，其中位置信息包括两个部分：(1)信号灯在交通信号灯图像中的中心坐标(x，y)；(2)外接矩形的长h和宽w；
如图3所示，在信号灯组矩形框1内，本发明依次添加了红灯、黄灯、绿灯、倒计时灯的类型和位置信息。图3展示了一个灯组所包含的总的配置信息，包括灯组的类型、编号、检测区域坐标范围(矩形框1)信息；灯组内各个灯的类型和坐标信息；
(1-3)交通信号灯的识别
(1-3-1)选择YOLOV3-tiny深度卷积网络作为交通信号灯目标检测网络；
通过统计各类大小路口场景下的信号灯像素级尺寸确定信号灯尺寸的检测范围在8*8～40*40之间，通过聚类本发明确定了6类锚。YOLOV3-tiny所采用的darknet19通过5层最大值池化，丢弃了图片中大量的低层神经网络能提取识别的简单特征，导致信号灯这类小目标的定位于精度和识别精度比较差。通过大量测试样本的训练和测试，本发明将第1层Maxpool的扫描步长从2改为1，增大检出层的感受野；同时增加了浅层卷积核的数量，提高信号灯检测的定位精度和识别精度。
(1-3-2)制作交通信号灯的训练样本，将训练样本送入交通信号灯目标检测网络中，进行交通信号检测模型的回归训练，生成信号灯检测模型；
获取电子警察视频流，并从视频流中批量获取交通信号灯图像，保证图像中的单个交通信号灯的尺寸≥8×8像素，对图像中每个交通信号灯的位置和类型进行标注，生成训练样本，并将训练样本送入交通信号灯目标检测网络中，进行交通信号检测模型的回归训练，生成信号灯检测模型；
(1-3-3)识别单个交通信号灯的类型并对单个交通信号灯进行定位；将实时的电子警察视频流转换为RGB图像数据，将RGB图像数据送入信号灯检测模型中，信号灯检测模型检测出当前RGB图像中交通信号灯的外接矩形框和识别得到的信号灯类型；
(1-4)按信号灯周期统计一个交通信号灯组的状态；
交通信号灯组包括红灯、黄灯、绿灯和倒计时灯；红灯表示禁止通行，绿灯表示准许通行，黄灯表示警示；
按当前路口一个完整的信号灯周期时长作为基准，统计一个信号灯周期内出现的红灯、绿灯、黄灯和倒计时灯；
如果信号灯周期内统计的红灯没亮过，则存在红灯灭故障；
如果信号灯周期内统计的绿灯没亮过，则存在绿灯灭故障；
如果信号灯周期内统计的黄灯没亮过，则存在黄灯灭故障；
如果信号灯周期内统计的倒计时灯没亮过，则存在倒计时灯灭故障；
如果信号灯周期内统计的红灯、绿灯、黄灯和倒计时灯都没亮过，则存在灯全灭故障；
如果信号灯周期内统计的红灯和黄灯同时亮的时间t＞T，T为设定的时间门限，则判定红灯和黄灯同亮故障；
如果信号灯周期内统计的红灯和绿灯同时亮的时间t＞T，则判定红灯和绿灯同亮故障；
如果信号灯周期内统计的黄灯和绿灯同时亮的时间t＞T，则判定黄灯和绿灯同亮故障。
如图4所示，正常通过交通信号灯检测模型检测到的矩形框，投影到二位平面上是按照信号灯的图像位置排列的；各个交通信号灯位置通过周期统计后形成的统计中心分布满足正态分布。
交通信号灯统计的原则是：
记录第一个进入统计队列的信号灯；
计算后进入统计队列的信号灯A的中心与统计队列中已经存在的信号灯的中心之间的距离d，若d＞(h+w)/4，则将信号灯A的位置信息新增入队列。
如图5所示，整个匹配过程中只要有一组交通信号灯统计结果与配置信息匹配完整就可以判定交通信号灯正常。
确定交通信号灯配置信息中的匹配基准点：
在交通信号灯检测中，通过大量的视频检测验证，发现交通信号灯的绿灯检测错误率非常低，只要检测到绿灯，就可以作为匹配的基准点。如果交通信号灯配置信息中本身不包含绿灯则需要整个灯组全匹配才算正常。
(1-5)利用信号灯检测模型对交通信号灯图像中的检测区域进行检测，并将检测到的各个信号灯的位置信息和类别信息与每个信号灯组中的信号灯配置信息进行匹配(即检测到的信号灯中心坐标位于信号灯外接矩形框内，且类别信息与信号灯外接矩形的类别信息相同)；对未匹配成功的信号灯，做出交通信号灯的故障判断。
(1-5-1)若交通信号灯组配置信息中的类别信息存在绿灯，则进入如下匹配和故障判断过程：
(1-5-1-1)以一个信号灯周期为一个完整的统计时间，统计绿灯的位置信息；
(1-5-1-2)当统计信息中，不存在绿灯位置信息，则绿灯异常报警进入报警队列；
(1-5-1-3)当统计信息中，存在绿灯的位置信息，利用信号灯配置信息，获得绿灯的外接矩形的位置信息(xg，yg，w，h)及红灯的外接矩形的位置信息(xr，yr，w，h)，计算出配置信息中红灯的外接矩形框与绿灯的外接矩形框之间的距离dx1，dx2或dy1，dy2；
对于水平灯组，dx1＝|xg-xr|，dx2＝|yg-yr|；
对于竖直灯组，dy1＝|yg-yr|，dy2＝|xg-xr|；
当统计信息中，存在绿灯的位置信息(x’g，y’g，w，h)，利用dx1，dx2或dy1，dy2计算出红灯位置(x’r，y’r，w，h)；
对于水平灯组，x’r＝x’g-dx1，y’r＝y’g-dx2；
对于竖直灯组，y’r＝y’g-dy1，x’r＝x’g-dy2；
若统计信息中的红灯位置信息(x1，y1，w，h)与计算得到的红灯位置(x’r，y’r，w，h)不匹配，使红灯异常报警进入报警队列；
匹配条件如下：
若(x’r-w/2)＜x1＜(x’r+w/2)，|y’r-y1|＜h/2则认为水平匹配；
若(y’r-h1/2)＜y1＜(y’r+h1/2)，|x’r-x1|＜w/2则认为竖直匹配；
水平灯组需满足水平匹配，竖直灯组需满足竖直匹配；
(1-5-1-4)当统计信息中，存在绿灯的位置信息，利用信号灯配置信息，可以获得绿灯的外接矩形的位置信息(xg，yg，w，h)及黄灯的外接矩形的位置信息(xy，yy，w，h)，计算出配置信息中红灯的外接矩形框与黄灯的外接矩形框之间的距离dx3，dx4或dy3，dy4；
对于水平灯组，dx3＝|xg-xy|，dy4＝|yg-yy|；
对于竖直灯组，dy3＝|yg-yy|，dy4＝|xg-xy|；
当获得统计信息中的绿灯位置(x’g，y’g，w，h)之后，利用dx3，dx4或dy3，dy4计算出黄灯位置(x’y，y’y，w，h)；
对于水平灯组，x’y＝x’g-dx3，y’y＝y’g-dx4；
对于竖直灯组，y’y＝y’g-dy3，x’y＝x’g-dy4；
若统计信息中的黄灯位置信息(x2，y2，w，h)与计算得到的黄灯位置(x’y，y’y，w，h)不匹配，使黄灯异常报警进入报警队列；
匹配条件如下：
若(x’y-w/2)＜x2＜(x’y+w/2)，|y’y-y2|＜h/2则认为水平匹配；
若(y’y-h/2)＜y2＜(y’y+h/2)，|x’y-x2|＜w/2则认为竖直匹配；
水平灯组需满足水平匹配，竖直灯组需满足竖直匹配；
(1-5-1-5)当统计信息中，存在绿灯的位置信息，利用信号灯配置信息，获得绿灯的外接矩形的位置信息(xg，yg，w，h)及倒计时灯的外接矩形的位置信息(xc，yc，w，h)，计算出配置信息中倒计时灯的外接矩形框与绿灯的外接矩形框之间的距离dx5，dx6或dy5，dy6；
对于水平灯组，dx5＝|xg-xc|，dx6＝|yg-yc|；
对于竖直灯组，dy5＝|yg-yc|，dy6＝|xg-xc|，；
当获得统计信息中绿灯位置(x’g，y’g，w，h)之后，利用dx5，dx6或dy5，dy6计算出倒计时灯位置(x’c，y’c，w，h)；
对于水平灯组，x’c＝x’g-dx5，y’c＝y’g-dx6；
对于竖直灯组，y’c＝y’g-dy5，x’c＝x’g-dy6；
若统计信息中的倒计时灯位置信息(x3，Y3，w，h)与计算得到的倒计时灯位置(x’c，y’c，W，h)不匹配，使倒计时灯异常报警进入报警队列；
匹配条件如下：
若(x’c-w/2)＜x3＜(x’c+w/2)，|y’c-y3|＜h/2则认为水平匹配；
若(y’c-h1/2)＜y3＜(y’c+h1/2)，|x’c-x3|＜w/2则认为竖直匹配；
若绿灯、红灯、黄灯、倒计时灯都匹配完成，删除报警队列，匹配完成，交通信号灯正常；
(1-5-2)若交通信号灯组配置信息中的类别信息不存在绿灯，则进入如下匹配和故障判断过程：
信号周期内检测到的信号灯位置和状态的统计信息，存在一组灯的位置能与交通信号灯组配置信息完整匹配，则该组信号灯组正常；否则，做出该组信号灯组异常的判断。
应理解，本实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

Claims (6)

1.一种交通信号灯故障检测方法，其特征是，包括如下步骤：
(1-1)获得各种天气情况下的电子警察视频流，解码电子警察视频流，得到交通信号灯图像信息，交通信号灯灯组在图像中的位置信息、交通信号灯灯组内各信号灯的类型信息和位置信息；
(1-2)配置交通信号灯组信息和灯组内的各个信号灯信息：
(1-2-1)配置信号灯组信息：
设置信号灯组的检测区域和灯组区域，如果检测到的信号灯位置在设定的灯组区域内，则将所述信号灯的类型和位置信息统计在所述设定的灯组区域内；
(1-2-2)配置信号灯信息
设置信号灯外接矩形框，每个信号灯外接矩形框包含信号灯的位置信息和类型信息，其中位置信息包括两个部分：(1)信号灯在交通信号灯图像中的中心坐标(X,Y)；(2)外接矩形的长h和宽w；
(1-3)交通信号灯的识别
(1-3-1)选择YOLOV3-tinY深度卷积网络作为交通信号灯目标检测网络；
(1-3-2)制作交通信号灯的训练样本，将训练样本送入交通信号灯目标检测网络中，进行交通信号检测模型的回归训练，生成信号灯检测模型；
(1-3-3)识别单个交通信号灯的类型并对单个交通信号灯进行定位；(1-4)按信号灯周期统计一个交通信号灯组的状态；
(1-5)利用信号灯检测模型对交通信号灯图像中的检测区域进行检测，并将检测到的各个信号灯的位置信息和类别信息与每个信号灯组中的信号灯配置信息进行匹配，检测到的信号灯中心坐标位于信号灯外接矩形框内，且类别信息与信号灯外接矩形的类别信息相同；对未匹配成功的信号灯，做出交通信号灯的故障判断。
2.根据权利要求1所述的交通信号灯故障检测方法，其特征是，(1-3-2)包括如下步骤：
获取电子警察视频流，并从视频流中批量获取交通信号灯图像，保证图像中的单个交通信号灯的尺寸≥8×8像素，对图像中每个交通信号灯的位置和类型进行标注，生成训练样本，并将训练样本送入交通信号灯目标检测网络中，进行交通信号检测模型的回归训练，生成信号灯检测模型。
3.根据权利要求1所述的交通信号灯故障检测方法，其特征是，(1-3-3)包括如下步骤：
将实时的电子警察视频流转换为RGB图像数据，将RGB图像数据送入信号灯检测模型中，信号灯检测模型检测出当前RGB图像中交通信号灯的外接矩形框和识别得到的信号灯类型。
4.根据权利要求1所述的交通信号灯故障检测方法，其特征是，(1-4)包括如下步骤：
所述交通信号灯组包括红灯、黄灯、绿灯和倒计时灯；红灯表示禁止通行，绿灯表示准许通行，黄灯表示警示；
按当前路口一个完整的信号灯周期时长作为基准，统计一个信号灯周期内出现的红灯、绿灯、黄灯和倒计时灯；
如果信号灯周期内统计的红灯没亮过，则存在红灯灭故障；
如果信号灯周期内统计的绿灯没亮过，则存在绿灯灭故障；
如果信号灯周期内统计的黄灯没亮过，则存在黄灯灭故障；
如果信号灯周期内统计的倒计时灯没亮过，则存在倒计时灯灭故障；如果信号灯周期内统计的红灯、绿灯、黄灯和倒计时灯都没亮过，则存在灯全灭故障；
如果信号灯周期内统计的红灯和黄灯同时亮的时间t>T，T为设定的时间门限，则判定红灯和黄灯同亮故障；
如果信号灯周期内统计的红灯和绿灯同时亮的时间t>T，则判定红灯和绿灯同亮故障；
如果信号灯周期内统计的黄灯和绿灯同时亮的时间t>T，则判定黄灯和绿灯同亮故障。
5.根据权利要求4所述的交通信号灯故障检测方法，其特征是，
交通信号灯统计的原则是：
记录第一个进入统计队列的信号灯；
计算后进入统计队列的信号灯A的中心与统计队列中已经存在的信号灯的中心之间的距离d，若d＞(h+w)/4，则将信号灯A的位置信息新增入队列,h为外接矩形的长，w外接矩形的宽。
6.根据权利要求1或2或3或4或5所述的交通信号灯故障检测方法，其特征是，(1-5)包括如下步骤：
(1-5-1)若交通信号灯组配置信息中的类别信息存在绿灯，则进入如下匹配和故障判断过程：
(1-5-1-1)以一个信号灯周期为一个完整的统计时间，统计绿灯的位置信息；
(1-5-1-2)当统计信息中，不存在绿灯位置信息，则绿灯异常报警进入报警队列；
(1-5-1-3)当统计信息中，存在绿灯的位置信息，利用信号灯配置信息,获得绿灯的外接矩形的位置信息(Xg,Yg,w,h)及红灯的外接矩形的位置信息(Xr,Yr,w,h)，计算出配置信息中红灯的外接矩形框与绿灯的外接矩形框之间的距离dX1,dX2或dY1,dY2；
对于水平灯组，dX1＝|Xg-Xr|,dX2＝|Yg-Yr|；
对于竖直灯组，dY1＝|Yg-Yr|,dY2＝|Xg-Xr|；
当统计信息中，存在绿灯的位置信息(X’ g,Y’ g,w,h)，利用dX1,dX2或dY1,dY2计算出红灯位置(X’ r,Y’ r,w,h)；
对于水平灯组，X’ r＝X’ g-dX1，Y’ r＝Y’ g-dX2；
对于竖直灯组，Y’ r＝Y’ g-dY1，X’ r＝X’ g-dY2；
若统计信息中的红灯位置信息(X1,Y1,w,h)与计算得到的红灯位置(X’ r,Y’ r,w,h)不匹配，使红灯异常报警进入报警队列；
匹配条件如下：
若(X’ r-w/2)<X1<(X’ r+w/2)，|Y’ r-Y1|<h/2则认为水平匹配；
若(Y’ r-h1/2)<Y1<(Y’ r+h1/2)，|X’ r-X1|<w/2则认为竖直匹配；
水平灯组需满足水平匹配，竖直灯组需满足竖直匹配；
(1-5-1-4)当统计信息中，存在绿灯的位置信息，利用信号灯配置信息,可以获得绿灯的外接矩形的位置信息(Xg,Yg,w,h)及黄灯的外接矩形的位置信息(XY,YY,w,h)，计算出配置信息中红灯的外接矩形框与黄灯的外接矩形框之间的距离dX3,dX4或dY3,dY4；
对于水平灯组，dX3＝|Xg-XY|,dY4＝|Yg-YY|；
对于竖直灯组，dY3＝|Yg-YY|,dY4＝|Xg-XY|；
当获得统计信息中的绿灯位置(X’ g,Y’ g,w,h)之后，利用dX3,dX4或dY3,dY4计算出黄灯位置(X’ Y,Y’ Y,w,h)；
对于水平灯组，X’ Y＝X’ g-dX3，Y’ Y＝Y’ g-dX4；
对于竖直灯组，Y’ Y＝Y’ g-dY3，X’ Y＝X’ g-dY4；
若统计信息中的黄灯位置信息(X2,Y2,w,h)与计算得到的黄灯位置(X’ Y,Y’ Y,w,h)不匹配，使黄灯异常报警进入报警队列；
匹配条件如下：
若(X’ Y-w/2)<X2<(X’ Y+w/2)，|Y’ Y-Y2|<h/2则认为水平匹配；
若(Y’ Y-h/2)<Y2<(Y’ Y+h/2)，|X’ Y-X2|<w/2则认为竖直匹配；
水平灯组需满足水平匹配，竖直灯组需满足竖直匹配；
(1-5-1-5)当统计信息中，存在绿灯的位置信息，利用信号灯配置信息,获得绿灯的外接矩形的位置信息(Xg,Yg,w,h)及倒计时灯的外接矩形的位置信息(Xc,Yc,w,h)，计算出配置信息中倒计时灯的外接矩形框与绿灯的外接矩形框之间的距离dX5,dX6或dY5,dY6；
对于水平灯组，dX5＝|Xg-Xc|,dX6＝|Yg-Yc|；
对于竖直灯组，dY5＝|Yg-Yc|,dY6＝|Xg-Xc|,；
当获得统计信息中绿灯位置(X’ g,Y’ g,w,h)之后，利用dX5,dX6或dY5,dY6计算出倒计时灯位置(X’ c,Y’ c,w,h)；
对于水平灯组，X’ c＝X’ g-dX5,Y’ c＝Y’ g-dX6；
对于竖直灯组，Y’ c＝Y’ g-dY5,X’ c＝X’ g-dY6；
若统计信息中的倒计时灯位置信X息(X3,Y3,w,h)与计算得到的倒计时灯位置(X’ c,Y’ c,w,h)不匹配，使倒计时灯异常报警进入报警队列；
匹配条件如下：
若(X’ c-w/2)<X3<(X’ c+w/2)，|Y’ c-Y3|<h/2则认为水平匹配；
若(Y’ c-h1/2)<Y3<(Y’ c+h1/2)，|X’ c-X3|<w/2则认为竖直匹配；
若绿灯、红灯、黄灯、倒计时灯都匹配完成，删除报警队列，匹配完成，交通信号灯正常；
(1-5-2)若交通信号灯组配置信息中的类别信息不存在绿灯，则进入如下匹配和故障判断过程：
信号周期内检测到的信号灯位置和状态的统计信息，存在一组灯的位置能与交通信号灯组配置信息完整匹配，则该组信号灯组正常；否则，做出该组信号灯组异常的判断。
CN202010221137.5A 2020-03-25 2020-03-25 一种交通信号灯故障检测方法 Active CN111428647B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010221137.5A CN111428647B (zh) 2020-03-25 2020-03-25 一种交通信号灯故障检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010221137.5A CN111428647B (zh) 2020-03-25 2020-03-25 一种交通信号灯故障检测方法

Publications (2)

Publication Number Publication Date
CN111428647A CN111428647A (zh) 2020-07-17
CN111428647B true CN111428647B (zh) 2023-07-07

Family

ID=71548740

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010221137.5A Active CN111428647B (zh) 2020-03-25 2020-03-25 一种交通信号灯故障检测方法

Country Status (1)

Country Link
CN (1) CN111428647B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112149509B (zh) * 2020-08-25 2023-05-09 浙江中控信息产业股份有限公司 深度学习与图像处理融合的交通信号灯故障检测方法
CN112180285B (zh) * 2020-09-23 2024-05-31 阿波罗智联(北京)科技有限公司 识别交通信号灯故障的方法、装置、导航系统和路侧设备
CN112581534B (zh) * 2020-12-24 2023-01-13 济南博观智能科技有限公司 一种信号灯重定位方法、装置、电子设备及存储介质
CN112699773B (zh) * 2020-12-28 2023-09-01 阿波罗智联(北京)科技有限公司 交通灯识别方法、装置及电子设备
CN112908006B (zh) * 2021-04-12 2022-06-07 吉林大学 一种识别道路交通信号灯状态和倒计时显示器时间的方法
CN113408409A (zh) * 2021-06-17 2021-09-17 阿波罗智联(北京)科技有限公司 交通信号灯识别方法、设备、云控平台和车路协同系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106650641A (zh) * 2016-12-05 2017-05-10 北京文安智能技术股份有限公司 一种交通信号灯定位识别方法、装置及系统
CN108804983A (zh) * 2017-05-03 2018-11-13 腾讯科技（深圳）有限公司 交通信号灯状态识别方法、装置、车载控制终端及机动车
CN110782692A (zh) * 2019-10-31 2020-02-11 青岛海信网络科技股份有限公司 一种信号灯故障检测方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106650641A (zh) * 2016-12-05 2017-05-10 北京文安智能技术股份有限公司 一种交通信号灯定位识别方法、装置及系统
CN108804983A (zh) * 2017-05-03 2018-11-13 腾讯科技（深圳）有限公司 交通信号灯状态识别方法、装置、车载控制终端及机动车
CN110782692A (zh) * 2019-10-31 2020-02-11 青岛海信网络科技股份有限公司 一种信号灯故障检测方法及系统

Also Published As

Publication number Publication date
CN111428647A (zh) 2020-07-17

Similar Documents

Publication Publication Date Title
CN111428647B (zh) 一种交通信号灯故障检测方法
CN112149509B (zh) 深度学习与图像处理融合的交通信号灯故障检测方法
CN105160924B (zh) 基于视频处理的智能信号灯状态检测方法及检测系统
CN105023439A (zh) 一种智能动态车牌识别报警系统
CN109671278B (zh) 一种基于多目标雷达的卡口精准定位抓拍方法及装置
CN107993470A (zh) 倒计时交通信号灯状态检测方法及基于此方法的监控系统
CN107749055A (zh) 一种led交通诱导屏的故障检测方法、系统及装置
CN109740412A (zh) 一种基于计算机视觉的信号灯故障检测方法
CN113903008A (zh) 基于深度学习和轨迹跟踪的匝道出口车辆违法识别方法
CN114581760B (zh) 一种机房巡检的设备故障检测方法及系统
CN113869177A (zh) 一种用于跟踪多目标的方法及装置
Bu et al. A UAV photography–based detection method for defective road marking
CN109614959A (zh) 一种公路桥面图像获取方法
CN116843686B (zh) 接触网定位器线夹螺母缺陷的检测方法及装置
CN113762144A (zh) 一种基于深度学习的黑烟车检测方法
CN104237808B (zh) 一种基于图像异常的电子警察系统补光灯故障检测方法
CN104091402B (zh) 一种24v电源柜多状态报警变色灯识辨系统及识辨方法
CN110032961A (zh) 一种基于3d卷积神经网络的地下空间管道异常检测方法
KR102178202B1 (ko) 신호등 검출 방법 및 장치
CN110097761B (zh) 光照自适应视频车辆流量检测模式切换系统和方法
JP7103975B2 (ja) 構造物検出装置、構造物検出方法及び構造物検出プログラム
CN110826456A (zh) 一种倒计时牌故障检测方法及系统
CN116958764A (zh) 一种基于深度学习的检测挂载设备数据的方法
CN116363818A (zh) 一种基于深度学习的输电线路防外破监控系统及方法
CN117995080B (zh) 用于led显示屏的故障数据监管方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 310053 23-25, 2 building, 352 BINKANG Road, Binjiang District, Hangzhou, Zhejiang.

Applicant after: Zhejiang zhongkong Information Industry Co.,Ltd.

Address before: 310053 23-25, 2 building, 352 BINKANG Road, Binjiang District, Hangzhou, Zhejiang.

Applicant before: ZHEJIANG SUPCON INFORMATION TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant