CN113129591B - 一种基于深度学习目标检测的交通信号灯故障检测方法 - Google Patents

一种基于深度学习目标检测的交通信号灯故障检测方法 Download PDF

Info

Publication number
CN113129591B
CN113129591B CN202110410532.2A CN202110410532A CN113129591B CN 113129591 B CN113129591 B CN 113129591B CN 202110410532 A CN202110410532 A CN 202110410532A CN 113129591 B CN113129591 B CN 113129591B
Authority
CN
China
Prior art keywords
lamp
fault
signal lamp
color
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110410532.2A
Other languages
English (en)
Other versions
CN113129591A (zh
Inventor
饶欢
陈凝
马党生
盛旺
周东
蔡新闻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Zhitong Transportation Technology Co ltd
Original Assignee
Jiangsu Zhitong Transportation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Zhitong Transportation Technology Co ltd filed Critical Jiangsu Zhitong Transportation Technology Co ltd
Priority to CN202110410532.2A priority Critical patent/CN113129591B/zh
Publication of CN113129591A publication Critical patent/CN113129591A/zh
Application granted granted Critical
Publication of CN113129591B publication Critical patent/CN113129591B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M11/00—Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
    • G01M11/02—Testing optical properties
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R31/00—Arrangements for testing electric properties; Arrangements for locating electric faults; Arrangements for electrical testing characterised by what is being tested not provided for elsewhere
    • G01R31/44—Testing lamps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于深度学习目标检测的交通信号灯故障检测方法，以信号灯路口固定部署的电子警察采集的视频流数据为检测依据，通过构建基于深度学习的轻量级网络结构实现交通信号红绿灯、倒计时牌的多类型故障动态识别，以最长为两个信号周期长度的预设时段内即可识别出红绿灯与倒计时牌的故障类型，基本覆盖常见的故障问题，能够实现实时性强、准确度高的信号灯故障检测，无需增设前端的设备，动态同步路口电子警察视频流数据并进行取样处理，以降低模型运算量为目标，构建轻量级的网络结构，为及时的信号灯设备维修提供支撑，该方法还能够应用于路口电子警察违法抓拍数据的智能审核中，有助于快速识别违法误判数据。

Description

一种基于深度学习目标检测的交通信号灯故障检测方法
技术领域
本发明涉及计算机视觉研究、智能交通技术领域，尤其是涉及一种基于深度学习目标检测的交通信号灯故障检测方法。
背景技术
交通信号灯是城市道路交通管控的重要工具，信号灯的显示装置(包括灯头、倒计时牌)均为电子设备，全天候不间断的运行状态、露天安装的环境条件等，均会影响到信号灯的正常运行，在实际场景中信号灯显示异常故障较为普遍，如灯灭、灯长亮、灯频闪、多个色灯同时亮等，装配的倒计时牌的数值异常、数值不完整、显示频闪/跳动等。对于路口信号机的自动故障检测大多是针对于网络在线状态的检测，更精细的故障问题难以实现在线的诊断。为此，针对交通信号灯的智能故障检测方法和系统已取得了一定的研究成果；发明专利CN 103280117B提出的交通信号等故障智能巡回检测、网络报警系统，通过对电流检测方式实现信号灯亮灭状态的异常检测，从设备内部电路检测角度实现故障检测，但仅对灯的亮灭状态检测，对灯色异常无法检测；发明专利CN109636777A提出一种交通信号灯的故障检测方法、系统及存储介质，是通过对包含信号灯的视频流单帧图像进行灰度处理与二值化处理，对信号灯的熄灭故障、多个色灯同亮两类故障进行了自动识别，但仅对这两种故障类型进行识别远不能够满足实际需要；发明专利CN 111681442A提出一种基于图像分类算法的信号灯故障检测装置，通过卷积神经网络训练四分类模型：正常模型、离线模型、同亮模型、无法判定模型，通过滑动窗口中连续50％的异常状态判断信号灯计时器不亮、信号灯灭灯、多个色灯同亮故障，但对于不同灯色异常的穿插闪烁的异常情况还未充分公开能够有效识别的方法。
另外，倒计时牌搭配红绿灯作为信号灯显示装置在实际应用中也相当常见，但倒计时牌为单色显示装置，其显示内容较纯色的红绿灯而言也较为复杂，由LED灯管组合为数字，其显示特性为逐秒变化，现有针对红绿灯显示状态的识别方法并不适用于倒计时牌的故障识别。发明专利CN110826456A提出一种倒计时牌的故障识别方法，公开了采用空间正则化网络提取样本图像与显示信息标签关系的方法，进而对未亮灯、数字显示不连续、未显示规则数字三种显示异常问题进行识别，但是对倒计时牌故障类型的识别种类较少，比较局限。专利号CN112149509A通过yolov3-tiny实现了一种深度学习与图像处理融合的交通信号灯故障检测方法，该模型复杂度高，对计算机的算力要求高，应用于信号灯故障检测时故障识别的反应速度较慢。
综上所述，现有技术中利进行信号灯、倒计时牌的特征识别或故障识别建模，模型结构都较为复杂，对数据处理的运算能力要求较高，因此在时效性上无法得到保证，且现有技术识别的信号灯、倒计时牌故障类型相对局限，不能覆盖常见的故障问题。
发明内容
为了解决上述问题，本发明提供了一种基于深度学习目标检测的交通信号灯故障检测方法，以信号灯路口固定部署的电子警察采集的视频流数据为检测依据，通过构建基于深度学习的轻量级网络结构实现交通信号红绿灯、倒计时牌的多类型故障动态识别，以最长为两个信号周期长度的预设时段内即可识别出红绿灯与倒计时牌的故障类型，基本覆盖常见的故障问题，能够实现实时性强、准确度高的信号灯故障检测，无需增设前端的设备，动态同步路口电子警察视频流数据并进行取样处理，以降低模型运算量为目标，构建轻量级的网络结构，为及时的信号灯设备维修提供支撑，该方法还能够应用于路口电子警察违法抓拍数据的智能审核中，有助于快速识别违法误判数据。
为实现上述技术目的，达到上述技术效果，本发明是通过以下技术方案实现的：一种基于深度学习目标检测的交通信号灯故障检测方法，方法包括如下步骤：
步骤1，根据摄像头历史采集的视频数据，标注检测目标位置，检测目标包括信号灯、倒计时牌；以图像左上角为原点建立坐标系，检测目标位置信息通过物体外边框巨像的左上角坐标、右下角坐标确定；
步骤2，以T为画面提取时间间隔，从实时视频流数据中提取一帧图像，构建h×w×3阶特征图矩阵F，其中h为图像高度、w为图像宽度、3为通道数；根据检测目标位置信息，从F中截取信号灯、倒计时牌子矩阵；通常画面提取时间间隔T取值为1s，也可根据故障检测的需求延长，进行倒计时牌故障识别时T取值必须为1s；对信号灯故障进行识别转入步骤3，对倒计时牌故障进行识别转入步骤7；
步骤3，若存在高度大于宽度的信号灯子矩阵，则对其进行转置处理；采用双三次插值，将信号灯子矩阵转化为高度、宽度一致的p×p×3阶矩阵SFi，完成对信号灯子矩阵的特征图的一致性处理；p为信号灯子矩阵高度，i为子矩阵编号，其数值为1～n，n为步骤2图像中的信号灯数量，SFi为一致性处理后的信号灯第i个子矩阵；将所有子矩阵拼接得到输入张量Tc＝[SF1,SF2,L,SFn]；
步骤4，采用MobileNet V2网络结构的构建信号灯目标检测模型；Tc输入模型后得到输出张量
Figure BDA0003018446060000031
每一行的数值分别指代各信号灯子矩阵所指代的信号灯子图中灯红亮、黄灯亮、绿灯亮、有灯亮的概率；
步骤5，构建信号灯状态判别模型，基于目标检测模型输出张量对信号灯亮灯状态与灯色进行自动识别；基于判别结果，对信号灯子矩阵的灯色状态进行标记：红灯亮、黄灯亮、绿灯亮、灭灯、灯色冲突；
步骤6，对视频流中提取出的各帧图像在经由信号灯状态判别模型处理后输出的灯色状态结果，构建时间序列；构建基于状态判断结果时间序列分析的信号灯故障模型，从而基于实时视频流进行信号灯故障动态检测；
步骤7，采用卷积神经网络与注意力机制相结合的深度学习网络结构构建文本分类模型，其中卷积循环神经网络实现特征表达，结合注意力机制(Attention)对网络结构进行优化升级，降低网络复杂度，提升网络分类效果；将步骤2获得的倒计时牌子矩阵转化为灰度矩阵；采用双三次插值，将倒计时牌子矩阵转化为高度、宽度一致的u×v阶矩阵BFj，u、v分别取值为32、48，j为倒计时牌子矩阵编号，其数值为1～m，m为步骤2图像中的倒计时牌数量，BFj为对应第j个倒计时牌子图的子矩阵；将所有子矩阵拼接得到输入张量Tcb＝[BF1,BF2,L,BFm]，输入文本分类模型后输出倒计时牌显示数值识别结果；
步骤8，对视频流中提取出的各帧图像在经由文本分类模型处理后输出的倒计时牌显示数值识别结果，构建时间序列；构建基于数值识别结果时间序列分析的倒计时牌故障识别模型。
进一步地，步骤5中的信号灯状态判别模型包括：
(1)灯色冲突：
Figure BDA0003018446060000041
且
Figure BDA0003018446060000042
(2)灭灯状态：
Figure BDA0003018446060000043
(3)灯色识别：在不存在灯色冲突与灭灯状态时，可进行亮灯的灯色判别，即亮灯概率最大值
Figure BDA0003018446060000044
所对应的灯色判定为张量列序号i对应的信号灯子矩阵的亮灯灯色；
式中，a、b均指代输出张量中的行序号，i指代输出张量中的列序号；p1、p2分别为亮灯概率阈值、不同灯色均亮灯的核查阈值；p3、p4分别为存在亮灯状态的最小阈值以及红黄绿各灯色未亮灯的判别阈值。
进一步地，步骤6中的信号灯故障动态检测包括灭灯故障、黄闪故障、常亮故障、灯色显示异常、灯色异常跳动；步骤6具体步骤如下：
步骤6-1，灭灯故障识别：以T1为灭灯故障识别时间间隔，以C1为灭灯故障判别窗口长度，在每个识别时刻的前一个判别窗口内，统计其中的灭灯状态比例，若高于灭灯阈值TH1，则存在灭灯故障；
步骤6-2，黄闪识别：以T2为黄闪识别时间间隔，以C2为黄闪判别窗口长度，在每个识别时刻的前一个判别窗口内，统计其中的黄灯亮状态比例，若高于黄闪阈值TH2，则存在黄闪或黄灯常亮故障；
步骤6-3，灯色常亮故障识别：以T3为灯色显示故障识别时间间隔，以C3为判别窗口长度，在每个识别时刻的前一个判别窗口内，提取相应时段内的灯色状态判别结果子序列，统计其中三种色灯亮状态比例，若高于常亮阈值TH3，则判断该色灯为常亮故障；C3长度与路口信号周期长度有关，至少为两倍周期长度；
步骤6-4，灯色显示异常判别：对于步骤6-3中提取的状态判别结果子序列，遍历阶数k区间[kmin,kmax]，逐一计算k阶自相关系数，若存在自相关系数极大值>THk，则根据极大值对应的最小阶数与周期修正量叠加获得具体信号周期Cs，转入步骤6-5，其中，kmin、kmax分别为自相关系数的阶数取值上下限，THk为自相关系数极大值阈值，通常kmin、kmax根据信号灯周期长度确定；否则，灯色显示情况无法提取出信号周期，判断灯色显示存在异常，但故障类型不明确；
步骤6-5，灯色跳动异常判别：对于提取出信号周期的图像，在T3间隔下以提取出的周期时长为检测窗口长度，提取一个完整周期长度内的灯色状态序列，检测其中的灯色变化次数，其中，相邻时间节点对应的灯色显示状态不同即判定为灯色变化；窗口内变化率大于跳动阈值TH4，则判断周期内灯色出现异常跳动；
步骤6-6，灯时过长检测：对于步骤6-5提取出的灯色状态序列，检测连续绿灯亮状态、连续红灯亮状态占时比例，超出灯时阈值TH5，则判断周期内出现灯时过长情况，可能存在常亮等故障问题。
进一步地，步骤8的具体步骤如下：
步骤8-1，数字未跳动故障判别：以T4为跳动故障识别时间间隔，以C4为跳动故障判别窗口长度，在每个识别时刻的前一个判别窗口内构建状态判别结果序列，统计各数字的出现率，若高于跳动阈值TH6，则存在未跳动故障；
步骤8-2，数字显示异常判别：以T5为显示异常识别时间间隔，以C5为显示异常判别窗口长度，在每个识别时刻的前一个判别窗口内构建状态判别结果序列，遍历阶数k区间[kmin,kmax]，逐一计算k阶自相关系数，若存在自相关系数极大值>THk，则根据极大值对应的最小阶数与周期修正量叠加获得具体信号周期Cs，转入步骤8-3，其中，kmin、kmax分别为自相关系数的阶数取值上下限，THk为自相关系数阈值，通常kmin、kmax根据信号灯周期长度确定，THk取值0.6；否则，倒计时牌的数字显示情况无法提取出信号周期，判断数字显示存在异常，但故障类型不明确；
步骤8-3，数秒异常故障判别：对于提取出信号周期的图像，以T5为识别时间间隔，以Cs为判别窗口长度，在每个识别时刻的前一个判别窗口内提取一个完整周期长度内的显示数值序列，对序列进行数秒异常检测与次数统计，其中，连续两帧数值前者不是比后者大1的数字即判定为数秒异常；窗口内数秒异常率大于波动阈值TH7，则判断周期内灯色出现数秒异常。
本发明的有益效果是：
本发明提供了一种基于深度学习目标检测的交通信号灯故障检测方法，以信号灯路口固定部署的电子警察采集的视频流数据为检测依据，通过构建基于深度学习的轻量级网络结构实现交通信号红绿灯、倒计时牌的多类型故障动态识别，以最长为两个信号周期长度的预设时段内即可识别出红绿灯与倒计时牌的故障类型，基本覆盖常见的故障问题，能够实现实时性强、准确度高的信号灯故障检测，无需增设前端的设备，动态同步路口电子警察视频流数据并进行取样处理，以降低模型运算量为目标，构建轻量级的网络结构，为及时的信号灯设备维修提供支撑，该方法还能够应用于路口电子警察违法抓拍数据的智能审核中，有助于快速识别违法误判数据。
本发明的技术方案无需依赖信号灯周期信息，避免了在信号控制方案采用分时段、自适应控制等动态优化模式时出现了周期变化对信号灯故障检测时效性的干扰，降低误判率。另一方面，本发明的技术方案相较于该现有技术，能够覆盖除灭灯、同亮故障以外的其他故障场景，故障检测的准确率更高。
本发明构建的故障识别模型采用了轻量级的深度学习网络结构，对数据处理设施的算力要求低，能够满足实时性检测的需求；同时，模型设置的检测机制明确了故障检测的时间窗口，保障了故障识别不会超过两个信号周期长度。因此，相较于现有技术，本发明的技术方案在故障检测的时效性上具有显著优势。
本发明相较于现有技术，覆盖了更多的信号灯故障类型，除了现有技术中能够识别的灭灯、灯色常亮故障，还能对灯色跳动异常、信号周期提取异常反映出的灯色显示异常等问题进行识别；对于倒计时牌的故障识别，无需对接信号控制方案数据，即能够实现数秒异常、跳动异常、周期提取异常等故障问题。相较于现有技术，本发明的技术方案在故障检测的全面性上具有显著优势。
附图说明
图1是交通信号灯故障检测流程。
图2是信号灯状态判别模型。
图3是灯色状态判别结果序列。
图4是灯色状态判别结果序列的35～180阶自相关系数序列。
具体实施方式
下面结合附图1-4对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
一种基于深度学习目标检测的交通信号灯故障检测方法，包括步骤如下：
步骤1，根据摄像头历史采集的视频数据，标注检测目标位置，检测目标包括信号灯、倒计时牌；以图像左上角为原点建立坐标系，检测目标位置信息通过物体外边框巨像的左上角坐标、右下角坐标确定；
步骤2，以T为画面提取时间间隔，从实时视频流数据中提取一帧图像，构建h×w×3阶特征图矩阵F，其中h为图像高度、w为图像宽度、3为通道数；根据检测目标位置信息，从F中截取信号灯、倒计时牌子矩阵；通常画面提取时间间隔T取值为1s，也可根据故障检测的需求延长，进行倒计时牌故障识别时T取值必须为1s；
对信号灯故障进行识别转入步骤3，对倒计时牌故障进行识别转入步骤7；
步骤3，若存在高度大于宽度的信号灯子矩阵，则对其进行转置处理；采用双三次插值，将信号灯子矩阵转化为高度、宽度一致的p×p×3阶矩阵SFi，完成对信号灯子矩阵的特征图的一致性处理；p为信号灯子矩阵高度，i为子矩阵编号，其数值为1～n，n为步骤2图像中的信号灯数量，SFi为一致性处理后的信号灯第i个子矩阵；
将所有子矩阵拼接得到输入张量Tc＝[SF1,SF2,L,SFn]；
步骤4，采用MobileNet V2网络结构的构建信号灯目标检测模型；
MobileNet V2是一种基于深度可分离卷积基础单元的轻量级神经网络，通过引入倒置残差结构，增强梯度的传播，显著减少推理期间所需的内存占用；同时还具有网络表达能力更强、低精度计算下鲁棒性更强的优势。
Tc输入模型后得到输出张量
Figure BDA0003018446060000071
每一行的数值分别指代信号各信号灯子矩阵所指代的信号灯子图中灯红亮、黄灯亮、绿灯亮、有灯亮的概率；
步骤5，构建信号灯状态判别模型，基于目标检测模型输出张量对信号灯亮灯状态与灯色进行自动识别；
(1)灯色冲突：
Figure BDA0003018446060000072
且
Figure BDA0003018446060000073
式中，a、b均指代输出张量中的行序号，i指代输出张量中的列序号；p1、p2分别为亮灯概率阈值、不同灯色均亮灯的核查阈值；实施例中，p1、p2均取值0.4；
(2)灭灯状态：
Figure BDA0003018446060000074
式中，p3、p4分别为存在亮灯状态的最小阈值以及红黄绿各灯色未亮灯的判别阈值；实施例中，两阈值可设为不同的数值组合，如p3＝0.5、p4＝0.3，或p3＝0.7、p4＝0.15，亦可进行多组数值组合再组合，进行多轮灭灯状态判别；
(3)灯色识别：在不存在灯色冲突与灭灯状态时，可进行亮灯的灯色判别，即亮灯概率最大值
Figure BDA0003018446060000081
所对应的灯色判定为张量列序号i对应的信号灯子矩阵的亮灯灯色；
基于判别结果，对信号灯子矩阵的灯色状态进行标记：红灯亮、黄灯亮、绿灯亮、灭灯、灯色冲突；
步骤6，对视频流中提取出的各帧图像在经由信号灯状态判别模型处理后输出的灯色状态结果，构建时间序列；构建基于状态判断结果时间序列分析的信号灯故障模型，从而基于实时视频流进行信号灯故障动态检测，包括灭灯故障、黄闪故障、常亮故障、灯色显示异常、灯色异常跳动；
步骤6-1，灭灯故障识别：以T1为灭灯故障识别时间间隔，以C1为灭灯故障判别窗口长度，在每个识别时刻的前一个判别窗口内，统计其中的灭灯状态比例，若高于灭灯阈值TH1，则存在灭灯故障；实施中，T1＝5s，C1＝10s，THo＝70％；
步骤6-2，黄闪识别：以T2为黄闪识别时间间隔，以C2为黄闪判别窗口长度，在每个识别时刻的前一个判别窗口内，统计其中的黄灯亮状态比例，若高于黄闪阈值TH2，则存在黄闪或黄灯常亮故障；实施中，T2＝5s，C2＝20s，THo＝30％；
步骤6-3，灯色常亮故障识别：以T3为灯色显示故障识别时间间隔，以C3为判别窗口长度，在每个识别时刻的前一个判别窗口内，提取相应时段内的灯色状态判别结果子序列，统计其中三种色灯亮状态比例，若高于常亮阈值TH3，则判断该色灯为常亮故障；C3长度与路口信号周期长度有关，至少为两倍周期长度；实施中，T3＝20s，C3＝360s，THo＝90％；
步骤6-4，灯色显示异常判别：对于S6-3中提取的状态判别结果子序列，遍历阶数k区间[kmin,kmax]，逐一计算k阶自相关系数，若存在自相关系数极大值>THk，则根据极大值对应的最小阶数与周期修正量叠加获得具体信号周期Cs，转入S6-5，其中，kmin、kmax分别为自相关系数的阶数取值上下限，THk为自相关系数极大值阈值，通常kmin、kmax根据信号灯周期长度确定；否则，灯色显示情况无法提取出信号周期，判断灯色显示存在异常，但故障类型不明确；实施例中，计算信号周期的周期修正量取值35，kmin取值35、kmax取值180；
步骤6-5，灯色跳动异常判别：对于提取出信号周期的图像，在T3间隔下以提取出的周期时长为检测窗口长度，提取一个完整周期长度内的灯色状态序列，检测其中的灯色变化次数，其中，相邻时间节点对应的灯色显示状态不同即判定为灯色变化；窗口内变化率大于跳动阈值TH4，则判断周期内灯色出现异常跳动；实施例中，TH4取值20％；
步骤6-6，灯时过长检测：对于步骤6-5提取出的灯色状态序列，检测连续绿灯亮状态、连续红灯亮状态占时比例，超出灯时阈值TH5，则判断周期内出现灯时过长情况，可能存在常亮等故障问题；实施例中，TH5取值80％；
步骤7，采用卷积神经网络与注意力机制相结合的深度学习网络结构构建文本分类模型，其中卷积循环神经网络实现特征表达，结合注意力机制(Attention)对网络结构进行优化升级，降低网络复杂度，提升网络分类效果；
将步骤2获得的倒计时牌子矩阵转化为灰度矩阵；采用双三次插值，将倒计时牌子矩阵转化为高度、宽度一致的u×v阶矩阵BFj，u、v分别取值为32、48，j为倒计时牌子矩阵编号，其数值为1～m，m为S2图像中的倒计时牌数量，BFj为对应第j个倒计时牌子图的子矩阵；
将所有子矩阵拼接得到输入张量Tcb＝[BF1,BF2,L,BFm]，输入文本分类模型后输出倒计时牌显示数值识别结果；
步骤8，对视频流中提取出的各帧图像在经由文本分类模型处理后输出的倒计时牌显示数值识别结果，构建时间序列；构建基于数值识别结果时间序列分析的倒计时牌故障识别模型；
步骤8-1，数字未跳动故障判别：以T4为跳动故障识别时间间隔，以C4为跳动故障判别窗口长度，在每个识别时刻的前一个判别窗口内构建状态判别结果序列，统计各数字的出现率，若高于跳动阈值TH6，则存在未跳动故障；实施中，T4＝20s，C4＝100s，TH5＝90％；
步骤8-2，数字显示异常判别：以T5为显示异常识别时间间隔，以C5为显示异常判别窗口长度，在每个识别时刻的前一个判别窗口内构建状态判别结果序列，遍历阶数k区间[kmin,kmax]，逐一计算k阶自相关系数，若存在自相关系数极大值>THk，则根据极大值对应的最小阶数与周期修正量叠加获得具体信号周期Cs，转入S8-3，其中，kmin、kmax分别为自相关系数的阶数取值上下限，THk为自相关系数阈值，通常kmin、kmax根据信号灯周期长度确定，THk取值0.6；否则，倒计时牌的数字显示情况无法提取出信号周期，判断数字显示存在异常，但故障类型不明确；实施例中，计算信号周期的周期修正量取值35，kmin取值35、kmax取值180；
步骤8-3，数秒异常故障判别：对于提取出信号周期的图像，以T5为识别时间间隔，以Cs为判别窗口长度，在每个识别时刻的前一个判别窗口内提取一个完整周期长度内的显示数值序列，对序列进行数秒异常检测与次数统计，其中，连续两帧数值前者不是比后者大1的数字即判定为数秒异常；窗口内数秒异常率大于波动阈值TH7，则判断周期内灯色出现数秒异常；实施中，TH7取值20％。
具体实施例中，以信号灯且配有倒计时牌的圆饼灯为例，从电子警察设备采集的视频流数据中提取一帧图像，解码得到RGB图像数据，构建图像特征图矩阵F，并从中截取信号灯、倒计时牌子矩阵。
将信号灯子矩阵进行一致化处理后形成输入张量，输入目标检测模型得到输出张量
Figure BDA0003018446060000101
根据信号灯状态判别模型输出对应灯色状态为红灯亮，标记为状态0；另外的黄灯、绿灯、灭灯状态分别记为状态1、2、3。
根据每秒钟从视频流中截取的一帧图像在目标检测模型处理后输出的结果，形成时间间隔为1s的灯色状态时间序列。
以5s为灭灯故障识别时间间隔，以20s为灭灯故障判别窗口长度，在每个识别时刻的前一个判别窗口内，统计其中的灭灯状态比例，均低于阈值70％，认为未发生灭灯故障。仍以5s为时间间隔，以20s为判别窗口长度，在每个识别时刻的前一个判别窗口内，统计其中的黄灯亮状态比例，若低于阈值30％，则判定未出现黄闪或黄灯常亮故障。
以20s为灯色显示故障识别时间间隔，以360s为判别窗口长度，在每个识别时刻的前一个判别窗口内，提取灯色状态判别结果序列。计算状态0、1、2的比例分别为51.39％、3.83％、42.78％，均小于阈值90％，则认为没有出现某个色灯常亮故障。对灯色状态判别结果序列，逐一计算35至180阶自相关系数，生成自相关系数序列，其中大于阈值0.6的极大值对应的k值分别是15、65、115，以35作为周期修正量，根据极大值对应的最小阶数15求得周期Cs＝50s。
以20s为时间间隔、周期50s为窗口长度，提取完整周期内的灯色状态序列，灯色变化率为12.24％，低于阈值20％，认为没有出现灯色跳动故障。连续绿灯亮状态、连续红灯亮状态占时比例分别为44％、50％，低于阈值80％，判定未出现灯时过长故障。
对倒计时牌子矩阵进行灰度处理与双三次插值处理，得到输入张量并输入文本分类模型后输出倒计时牌数字识别结果，根据每秒提取出的倒计时牌子矩阵在文本分类模型处理后输出的结果生成倒计时牌数值显示时间序列。以20s为识别时间间隔，以100s为判别窗口长度，在每个识别时刻的前一个判别窗口内构建状态判别结果序列，各数值的出现次数均小于阈值90％，未出现数值不动故障。以20s为识别时间间隔，以360s为判别窗口长度，构建倒计时牌识别结果序列，计算其35～180阶自相关系数，其中大于0.6的极大值点共6个，最小阶数对应为15，以35作为周期修正量，求得周期Cs＝50。
以20s为识别时间间隔，以50s为判别窗口长度，提取完整周期内的数值识别序列，检测数秒异常次数为3，变化率为6.12％，低于阈值20％，判定没有发生数秒异常故障。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (4)

1.一种基于深度学习目标检测的交通信号灯故障检测方法，其特征在于：所述方法包括如下步骤：
步骤1，根据摄像头历史采集的视频数据，标注检测目标位置，检测目标包括信号灯、倒计时牌；以图像左上角为原点建立坐标系，检测目标位置信息通过物体外边框巨像的左上角坐标、右下角坐标确定；
步骤2，以T为画面提取时间间隔，从实时视频流数据中提取一帧图像，构建h×w×3阶特征图矩阵F，其中h为图像高度、w为图像宽度、3为通道数；根据检测目标位置信息，从F中截取信号灯、倒计时牌子矩阵；画面提取时间间隔T取值为1s；对信号灯故障进行识别转入步骤3，对倒计时牌故障进行识别转入步骤7；
步骤3，若存在高度大于宽度的信号灯子矩阵，则对其进行转置处理；采用双三次插值，将信号灯子矩阵转化为高度、宽度一致的p×p×3阶矩阵SFi，完成对信号灯子矩阵的特征图的一致性处理；p为信号灯子矩阵高度，i为子矩阵编号，其数值为1～n，n为步骤2图像中的信号灯数量，SFi为一致性处理后的信号灯第i个子矩阵；将所有子矩阵拼接得到输入张量Tc＝[SF1,SF2,...,SFn]；
步骤4，采用MobileNet V2网络结构的构建信号灯目标检测模型；Tc输入模型后得到输出张量
Figure FDA0003672786080000011
每一行的数值分别指代各信号灯子矩阵所指代的信号灯子图中红灯亮、黄灯亮、绿灯亮的概率；
步骤5，构建信号灯状态判别模型，基于目标检测模型输出张量对信号灯亮灯状态与灯色进行自动识别；基于判别结果，对信号灯子矩阵的灯色状态进行标记：红灯亮、黄灯亮、绿灯亮、灭灯、灯色冲突；信号灯状态判别模型实现灯色冲突、灭灯状态和灯色识别；
步骤6，对视频流中提取出的各帧图像在经由信号灯状态判别模型处理后输出的灯色状态结果，构建时间序列；构建基于状态判断结果时间序列分析的信号灯故障模型，从而基于实时视频流进行信号灯故障动态检测；信号灯故障动态检测包括灭灯故障、黄闪故障、常亮故障、灯色显示异常、灯色异常跳动；
步骤7，采用卷积神经网络与注意力机制相结合的深度学习网络结构构建文本分类模型，其中卷积循环神经网络实现特征表达，结合注意力机制对网络结构进行优化升级，降低网络复杂度，提升网络分类效果；将步骤2获得的倒计时牌子矩阵转化为灰度矩阵；采用双三次插值，将倒计时牌子矩阵转化为高度、宽度一致的u×v阶矩阵BF j，u、v分别取值为32、48，j为倒计时牌子矩阵编号，其数值为1～m，m为步骤2图像中的倒计时牌数量，BFj为对应第j个倒计时牌子图的子矩阵；将所有子矩阵拼接得到输入张量Tcb＝[BF1,BF2,...,BFm]，输入文本分类模型后输出倒计时牌显示数值识别结果；
步骤8，对视频流中提取出的各帧图像在经由文本分类模型处理后输出的倒计时牌显示数值识别结果，构建时间序列；构建基于数值识别结果时间序列分析的倒计时牌故障识别模型；故障识别包括数字未跳动故障判别、数字显示异常判别、数秒异常故障判别。
2.根据权利要求1所述的一种基于深度学习目标检测的交通信号灯故障检测方法，其特征在于，步骤5中的信号灯状态判别模型包括：
(1)灯色冲突：
Figure FDA0003672786080000031
且
Figure FDA0003672786080000032
(2)灭灯状态：
Figure FDA0003672786080000033
(3)灯色识别：在不存在灯色冲突与灭灯状态时，可进行亮灯的灯色判别，即亮灯概率最大值
Figure FDA0003672786080000034
所对应的灯色判定为张量列序号i对应的信号灯子矩阵的亮灯灯色；
式中，a、b均指代输出张量中的行序号，i指代输出张量中的列序号；p1、p2分别为亮灯概率阈值、不同灯色均亮灯的核查阈值；p3、p4分别为存在亮灯状态的最小阈值以及红黄绿各灯色未亮灯的判别阈值。
3.根据权利要求1所述的一种基于深度学习目标检测的交通信号灯故障检测方法，其特征在于，步骤6中的信号灯故障动态检测包括灭灯故障、黄闪故障、常亮故障、灯色显示异常、灯色异常跳动；步骤6具体步骤如下：
步骤6-1，灭灯故障识别：以T1为灭灯故障识别时间间隔，以C1为灭灯故障判别窗口长度，在每个识别时刻的前一个判别窗口内，统计其中的灭灯状态比例，若高于灭灯阈值TH1，则存在灭灯故障；
步骤6-2，黄闪识别：以T2为黄闪识别时间间隔，以C2为黄闪判别窗口长度，在每个识别时刻的前一个判别窗口内，统计其中的黄灯亮状态比例，若高于黄闪阈值TH2，则存在黄闪或黄灯常亮故障；
步骤6-3，灯色常亮故障识别：以T3为灯色显示故障识别时间间隔，以C3为判别窗口长度，在每个识别时刻的前一个判别窗口内，提取相应时段内的灯色状态判别结果子序列，统计其中三种色灯亮状态比例，若高于常亮阈值TH3，则判断该色灯为常亮故障；C3长度与路口信号周期长度有关，至少为两倍周期长度；
步骤6-4，灯色显示异常判别：对于步骤6-3中提取的状态判别结果子序列，遍历阶数k区间[kmin,kmax]，逐一计算k阶自相关系数，若存在自相关系数极大值>THk，则根据极大值对应的最小阶数与周期修正量叠加获得具体信号周期Cs，转入步骤6-5，其中，kmin、kmax分别为自相关系数的阶数取值上下限，THk为自相关系数极大值阈值，kmin、kmax根据信号灯周期长度确定；否则，灯色显示情况无法提取出信号周期，判断灯色显示存在异常，但故障类型不明确；
步骤6-5，灯色跳动异常判别：对于提取出信号周期的图像，在T3间隔下以提取出的周期时长为检测窗口长度，提取一个完整周期长度内的灯色状态序列，检测其中的灯色变化次数，其中，相邻时间节点对应的灯色显示状态不同即判定为灯色变化；窗口内变化率大于跳动阈值TH4，则判断周期内灯色出现异常跳动；
步骤6-6，灯时过长检测：对于步骤6-5提取出的灯色状态序列，检测连续绿灯亮状态、连续红灯亮状态占时比例，超出灯时阈值TH5，则判断周期内出现灯时过长情况，存在常亮故障问题。
4.根据权利要求1所述的一种基于深度学习目标检测的交通信号灯故障检测方法，其特征在于，步骤8的具体步骤如下：
步骤8-1，数字未跳动故障判别：以T4为跳动故障识别时间间隔，以C4为跳动故障判别窗口长度，在每个识别时刻的前一个判别窗口内构建状态判别结果序列，统计各数字的出现率，若高于跳动阈值TH6，则存在未跳动故障；
步骤8-2，数字显示异常判别：以T5为显示异常识别时间间隔，以C5为显示异常判别窗口长度，在每个识别时刻的前一个判别窗口内构建状态判别结果序列，遍历阶数k区间[kmin,kmax]，逐一计算k阶自相关系数，若存在自相关系数极大值>THk，则根据极大值对应的最小阶数与周期修正量叠加获得具体信号周期Cs，转入步骤8-3，其中，kmin、kmax分别为自相关系数的阶数取值上下限，THk为自相关系数阈值，kmin、kmax根据信号灯周期长度确定，THk取值0.6；
否则，倒计时牌的数字显示情况无法提取出信号周期，判断数字显示存在异常，但故障类型不明确；
步骤8-3，数秒异常故障判别：对于提取出信号周期的图像，以T5为识别时间间隔，以Cs为判别窗口长度，在每个识别时刻的前一个判别窗口内提取一个完整周期长度内的显示数值序列，对序列进行数秒异常检测与次数统计，其中，连续两帧数值前者不是比后者大1的数字即判定为数秒异常；窗口内数秒异常率大于波动阈值TH7，则判断周期内灯色出现数秒异常。
CN202110410532.2A 2021-04-13 2021-04-13 一种基于深度学习目标检测的交通信号灯故障检测方法 Active CN113129591B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110410532.2A CN113129591B (zh) 2021-04-13 2021-04-13 一种基于深度学习目标检测的交通信号灯故障检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110410532.2A CN113129591B (zh) 2021-04-13 2021-04-13 一种基于深度学习目标检测的交通信号灯故障检测方法

Publications (2)

Publication Number Publication Date
CN113129591A CN113129591A (zh) 2021-07-16
CN113129591B true CN113129591B (zh) 2022-07-08

Family

ID=76777157

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110410532.2A Active CN113129591B (zh) 2021-04-13 2021-04-13 一种基于深度学习目标检测的交通信号灯故障检测方法

Country Status (1)

Country Link
CN (1) CN113129591B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113674544A (zh) * 2021-07-21 2021-11-19 阿波罗智联(北京)科技有限公司 信号机的报警方法、装置、电子设备和可读存储介质
CN114333388B (zh) * 2021-12-24 2023-04-18 广州市翔通交通设施工程有限公司 智能交通信号灯故障远程检测方法、系统、设备及介质
CN116152785B (zh) * 2023-04-24 2023-07-18 之江实验室 一种基于cbam结合hsb模式的交通信号灯检测方法和系统
CN116721105B (zh) * 2023-08-11 2023-10-20 山东淼珠生物科技有限公司 基于人工智能的爆珠生产异常在线检测方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10328814B3 (de) * 2003-06-20 2004-12-09 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren und Vorrichtung zur Verbesserung der Erkennung und/oder Wiedererkennung von Objekten in der Bildverarbeitung
CN103955705B (zh) * 2014-04-29 2017-11-28 银江股份有限公司 基于视频分析的交通信号灯定位、识别与分类方法
CN109740412A (zh) * 2018-11-09 2019-05-10 浙江浩腾电子科技股份有限公司 一种基于计算机视觉的信号灯故障检测方法
CN110992725B (zh) * 2019-10-24 2022-05-03 合肥讯图信息科技有限公司 用于检测交通信号灯故障的方法、系统及存储介质
CN112149509B (zh) * 2020-08-25 2023-05-09 浙江中控信息产业股份有限公司 深度学习与图像处理融合的交通信号灯故障检测方法

Also Published As

Publication number Publication date
CN113129591A (zh) 2021-07-16

Similar Documents

Publication Publication Date Title
CN113129591B (zh) 一种基于深度学习目标检测的交通信号灯故障检测方法
KR101822924B1 (ko) 영상기반 화재 감지 시스템, 방법 및 프로그램
CN103714325B (zh) 基于嵌入式系统的遗留物和遗失物实时检测方法
EP3859708B1 (en) Traffic light image processing method and device, and roadside device
CN107103330A (zh) 一种指示灯状态识别方法和装置
CN112395928A (zh) 一种设备状态运行自动检测的方法
CN111654692B (zh) 摄像头检测方法、装置、摄像头及存储介质
CN107993470A (zh) 倒计时交通信号灯状态检测方法及基于此方法的监控系统
Wonghabut et al. Traffic light color identification for automatic traffic light violation detection system
CN111127810A (zh) 机房明火自动告警方法及系统
CN103324957B (zh) 信号灯状态的识别方法及识别装置
CN113743332A (zh) 基于通用视觉预训练模型的图像质量评价方法及系统
CN111860457A (zh) 一种斗殴行为识别预警方法及其识别预警系统
CN114677657A (zh) 信号灯时域状态检测方法、模型训练方法及相关装置
Rangari et al. Deep Learning based smart traffic light system using Image Processing with YOLO v7
CN106710253A (zh) 一种高可靠性智能路口交通控制系统及控制方法
CN113723229A (zh) 信号灯的检测方法、装置及计算机可读存储介质
CN111681442A (zh) 一种基于图像分类算法的信号灯故障检测装置
CN116629465A (zh) 智能电网视频监控与风险预测响应系统
WO2023280117A1 (zh) 指示信号识别方法、设备以及计算机存储介质
CN114973102A (zh) 一种基于多路径注意力时序的视频异常检测方法
CN115687911A (zh) 基于脉冲信号的信号灯检测方法、装置和系统
CN113327219A (zh) 基于多源数据融合的图像处理方法与系统
CN116563770B (zh) 车辆颜色的检测方法、装置及设备和介质
CN203931028U (zh) 一种24v电源柜多状态报警变色灯识辨系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant