CN114495032B - 一种交通违法行为监测方法、系统及智慧灯杆 - Google Patents

一种交通违法行为监测方法、系统及智慧灯杆 Download PDF

Info

Publication number
CN114495032B
CN114495032B CN202210386553.XA CN202210386553A CN114495032B CN 114495032 B CN114495032 B CN 114495032B CN 202210386553 A CN202210386553 A CN 202210386553A CN 114495032 B CN114495032 B CN 114495032B
Authority
CN
China
Prior art keywords
monitoring
feature map
branch
traffic
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210386553.XA
Other languages
English (en)
Other versions
CN114495032A (zh
Inventor
张超
张波
万亚东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Innotitan Intelligent Equipment Technology Tianjin Co Ltd
Original Assignee
Innotitan Intelligent Equipment Technology Tianjin Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Innotitan Intelligent Equipment Technology Tianjin Co Ltd filed Critical Innotitan Intelligent Equipment Technology Tianjin Co Ltd
Priority to CN202210386553.XA priority Critical patent/CN114495032B/zh
Publication of CN114495032A publication Critical patent/CN114495032A/zh
Application granted granted Critical
Publication of CN114495032B publication Critical patent/CN114495032B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/017Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules

Abstract

本发明涉及一种交通违法行为监测方法、系统及智慧灯杆,属于交通安全检测技术领域。本发明提供的交通违法行为监测方法,基于轻量双支骨干网络构建行为监测网络后,对构建的监测网络进行训练得到行为监测模型,接着采用行为监测模型对待监测交通路段的视频进行处理得到监测结果,然后基于监测结果进行是否存在交通违法行为的判断,以达到提高闯红灯违法行为监测精确性的目的。并且,本发明通过采用轻量双支骨干网络,能够显著降低网络模型的参数量和计算需求量。

Description

一种交通违法行为监测方法、系统及智慧灯杆
技术领域
本发明涉及交通安全检测技术领域,特别是涉及一种交通违法行为监测方法、系统及智慧灯杆。
背景技术
闯红灯是一种较为普遍且危险性高的交通违法行为,对电动车、非机动车和行人的闯红灯违法行为实行管理和制止十分关键。传统的交通监控设施已经不能满足日益复杂的交通环境,需要更有效的监管措施来依法保证人们的交通安全。
智慧灯杆是未来城市基础设施不可或缺的重要组成部分,通过在智慧灯杆上搭载闯红灯行为监测系统,对公共视频信息进行自动抓取和智能分析,及时发现违规行为并发出警报,能够改善交管部门执法范围有限和警力不足的问题,提升城市的治安管理水平。
随着计算机视觉技术的发展,基于深度学习的交通违规违法行为监测方法得到了广泛研究和应用。然而,现有监测方法主要侧重于算法准确性的提升,(例如,王慧赢. 基于深度学习的车辆未礼让行人的违规行为判定方法研究[D].河北科技大学,2021.DOI:10.27107/d.cnki.ghbku.2021.000078.),导致网络模型参数量和计算需求量较大,难以部署在智慧灯杆这一应用场景中。因此,提供一种轻量化且可靠性高的闯红灯违法行为监测方法或系统,成为本领域系带解决的技术难题。
发明内容
为解决现有技术存在的上述问题,本发明提供了一种交通违法行为监测方法、系统及智慧灯杆。
为实现上述目的,本发明提供了如下方案:
一种交通违法行为监测方法,包括:
构建行为监测网络;构建得到的所述行为监测网络包括:轻量双支骨干网络、区域建议网络、ROI Align层和Faster RCNN检测头;所述轻量双支骨干网络包括:多个轻量双支结构和多个单侧融合支线;
采用样本数据集训练所述行为监测网络得到行为监测模型;
以获取待监测交通路段当前时刻的视频,并将所述视频转换为视频图像;
将所述视频图像输入所述行为监测模型得到监测结果;
判断所述监测结果中是否存在红灯目标,得到第一判断结果;
若所述第一判断结果为所述监测结果中存在红灯目标,则将当前时刻通行状态判定为红灯禁行状态,并判断所述监测结果中是否存在监测目标,得到第二判断结果;
若所述第二判断结果为所述监测结果中存在监测目标,则判定为存在交通违法行为,并输出包含监测目标的视频图像,生成警告信号;
若所述第二判断结果为所述监测结果中不存在监测目标,则判定为不存在交通违法行为,并进行下一时刻监测;
若所述第一判断结果为所述监测结果中不存在红灯目标,则将当前时刻通行状态判定为非禁行状态,进行下一时刻监测。
优选地,所述轻量双支结构包括:第一卷积支线、第二卷积支线和加权处理层;
所述第一卷积支线和所述第二卷积支线均用于对输入图像进行卷积操作;
所述加权处理层用于将所述第一卷积支线的输出特征图和所述第二卷积支线的输出特征图进行逐像素相加操作。
优选地,所述第一卷积支线用于对输入图像进行卷积核为1*1、步长为2以及通道数为9的卷积操作后,进行卷积核为1*1、步长为1以及通道数为18的卷积操作。
优选地,所述第二卷积支线用于对输入图像进行卷积核为3*3、步长为2以及通道数为9的卷积操作后,进行卷积核为3*3、步长为1以及通道数为18的卷积操作。
优选地,所述轻量双支骨干网络的数据处理过程为:
视频图像输入至第一轻量双支结构得到第一特征图;
所述第一特征图输入至第二轻量双支结构得到第二特征图;
所述第二特征图输入至第三轻量双支结构得到第三特征图;
所述第一特征图输入至第一单侧融合支线得到第四特征图;
所述第三特征图和所述第四特征图进行通道维度拼接得到第五特征图;
所述第五特征图输入至第四轻量双支结构得到第六特征图;
所述第二特征图输入至所述第二单侧融合支线得到第七特征图;
所述第七特征图和所述第六特征图进行通道维度拼接得到第八特征图;所述第八特征图即为所述轻量双支骨干网络的输出特征图。
优选地,所述第一单侧融合支线和所述第二单侧融合支线均用于对特征图进行预设比例因子的池化操作。
优选地,所述预设比例因子为4*4的比例因子。
根据本发明提供的具体实施例,本发明公开了以下技术效果:
本发明提供的交通违法行为监测方法,基于轻量双支骨干网络构建行为监测网络后,对构建的监测网络进行训练得到行为监测模型,接着采用行为监测模型对待监测交通路段的视频进行处理得到监测结果,然后基于监测结果进行是否存在交通违法行为的判断,以达到提高闯红灯违法行为监测精确性的目的。并且,本发明通过采用轻量双支骨干网络,能够显著降低网络模型的参数量和计算需求量。
对应于上述提供的交通违法行为监测方法,本发明还提供了以下实施系统:
其中,一种交通违法行为监测系统,包括:
网络构建模块,用于构建行为监测网络;构建得到的所述行为监测网络包括:轻量双支骨干网络、区域建议网络、ROI Align层和Faster RCNN检测头;所述轻量双支骨干网络包括:多个轻量双支结构和多个单侧融合支线;
模型训练模块,用于采用样本数据集训练所述行为监测网络得到行为监测模型;
图像转换模块,用于以获取待监测交通路段当前时刻的视频,并将所述视频转换为视频图像;
行为监测模块,用于将所述视频图像输入所述行为监测模型得到监测结果;
第一判断模块,用于判断所述监测结果中是否存在红灯目标,得到第一判断结果;
第二判断模块,用于当所述第一判断结果为所述监测结果中存在红灯目标时,将当前时刻通行状态判定为红灯禁行状态,并判断所述监测结果中是否存在监测目标,得到第二判断结果;
告警信号生成模块,用于当所述第二判断结果为所述监测结果中存在监测目标时,判定为存在交通违法行为,并输出包含监测目标的视频图像,生成警告信号;
第一循环检测模块,用于当所述第二判断结果为所述监测结果中不存在监测目标时,判定为不存在交通违法行为,并进行下一时刻监测;
第二循环检测模块,用于当所述第一判断结果为所述监测结果中不存在红灯目标时,将当前时刻通行状态判定为非禁行状态,进行下一时刻监测。
一种智慧灯杆,包括:杆体、摄像器、处理器、存储器、显示器和报警器;
所述摄像器、所述存储器、所述显示器和所述报警器均与所述处理器连接;所述摄像器安装在所述杆体顶端;所述处理器和所述存储器植入在所述杆体的内部;所述显示器和所述报警器置于所述杆体的外侧;所述存储器中存储有用于实施上述提供的交通违法行为监测方法的计算机软件程序;所述处理器用于调取所述计算机软件程序,以监测所述摄像器拍摄的视频是否存在交通违法行为,并用于在存在交通违法行为时,生成告警信号;所述报警器用于根据所述告警信号进行报警显示;所述显示器用于显示存在交通违法行为的视频图像。
因本发明提供的交通违法行为监测系统和智慧灯杆实现的技术效果与上述提供的智慧灯杆方法实现的技术效果相同,故在此不再进行赘述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明提供的交通违法行为监测方法的流程图;
图2为本发明实施例提供的轻量双支骨干网络的结构示意图;
图3为本发明实施例提供的交通违法行为监测网络模型的数据处理示意图;
图4为本发明提供的交通违法行为监测系统的结构示意图;
图5为本发明提供的实施交通违法行为监测方法的流程框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的目的是提供一种轻量化的交通违法行为监测方法、系统及智慧灯杆,以提高闯红灯违法行为监测的精确性。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示,本发明提供的一种交通违法行为监测方法,包括:
步骤100:构建行为监测网络。构建得到的行为监测网络包括:轻量双支骨干网络、区域建议网络、ROI Align层和Faster RCNN检测头。如图2所示,轻量双支骨干网络包括:多个轻量双支结构和多个单侧融合支线。其中,轻量双支结构包括:第一卷积支线、第二卷积支线和加权处理层。第一卷积支线和第二卷积支线均用于对输入图像进行卷积操作。加权处理层用于将第一卷积支线的输出特征图和第二卷积支线的输出特征图进行逐像素相加操作。
步骤101:采用样本数据集训练行为监测网络得到行为监测模型。
步骤102:以获取待监测交通路段当前时刻的视频,并将视频转换为视频图像。
步骤103:将视频图像输入行为监测模型得到监测结果。
步骤104:判断监测结果中是否存在红灯目标,得到第一判断结果。
步骤105:若第一判断结果为监测结果中存在红灯目标,则将当前时刻通行状态判定为红灯禁行状态,并判断监测结果中是否存在监测目标,得到第二判断结果。
步骤106:若第二判断结果为监测结果中存在监测目标,则判定为存在交通违法行为,并输出包含监测目标的视频图像,生成警告信号。
步骤107:若第二判断结果为监测结果中不存在监测目标,则判定为不存在交通违法行为,并进行下一时刻监测。
步骤108:若第一判断结果为监测结果中不存在红灯目标,则将当前时刻通行状态判定为非禁行状态,进行下一时刻监测。
下面以输入一张待检测的公共视频图像1024×1024×3为例,展示行为监测网络的具体构建过程,如图3所示:
每一个轻量双支结构由两条不同的卷积支线组成,将尺寸为1024×1024×3的公共视频图像分别输出两条卷积支线中。
在第一轻量双支结构的第一条卷积支线中,首先进行卷积核为1*1、步长为2、通道数为9的卷积操作,提取特征的同时缩小图像分辨率以降低整个网络后续的计算量,从而得到尺寸为512×512×9的特征图。随后,对尺寸为512×512×9的特征图进行卷积核为1*1、步长为1、通道数为18的卷积操作,进一步提取通道维度特征,得到尺寸为512×512×18的特征图,即得到第一条卷积支线的输出特征图C1-A。
在第二条卷积支线中,首先进行卷积核为3*3、步长为2、通道数为9的卷积操作,得到尺寸为512×512×9的特征图。随后,对尺寸为512×512×9的特征图进行卷积核为3*3、步长为1、通道数为18的卷积操作,得到尺寸为512×512×18的特征图,即得到第二条卷积支线的输出特征图C1-B。第二条卷积支线与第一条的不同之处在于两次卷积操作所采用的卷积核不同,这有助于网络在不同支线上获得不同类型的特征信息。此外,轻量双支结构中采用的是小卷积核并行叠加的特征提取方式,这是为了在提取多种类型特征的同时,减少模型所需的参数量。
得到特征图C1-A和特征图C1-B后,对这两个相同维度的特征图在加权处理层中进行逐像素的相加操作,以融合两条支线上提取的特征信息,从而得到尺寸为512×512×18的特征图,即轻量双支结构的输出特征图C1。以上即为轻量双支结构的构建过程,至此,已完成第一阶段的轻量化特征提取。
接下来,再将特征图C1输入第二轻量双支结构中进行第二阶段的轻量化特征提取,得到尺寸为256×256×36的输出特征图C2。
随后,将特征图C2输入第三轻量双支结构中进行第三阶段的轻量化特征提取,得到尺寸为128×128×72的输出特征图。由于逐层的卷积下采样会在抽取高维语义特征的同时导致细粒度特征信息丢失,因此本发明在该骨干网络中设计了轻量化的单侧融合支线,单侧融合支线为特征图C1进行一次比例因子为4*4的池化操作,得到尺寸为128×128×18的输出特征图,然后将该输出特征图与第三轻量双支结构的输出特征图(128×128×72)进行通道维度的拼接,最终得到尺寸为128×128×90的输出特征图C3。此处的单侧融合支线能够在不引入模型参数量的前提下,使高层特征图C3获得来自特征图C1的细粒度信息,从而实现轻量化信息融合。
接下来,再将特征图C3输入第四轻量双支结构中进行第四阶段的轻量化特征提取,得到尺寸为64×64×180的输出特征图。并通过单侧融合支线将来自特征图C2的特征信息(64×64×36)与第四轻量双支结构的输出特征图(64×64×180)相拼接,得到尺寸为64×64×216的输出特征图C4。
以上即为轻量双支骨干网络的设计过程,至此,能够完成整个公共视频图像的轻量化特征提取。
经过轻量双支骨干网络对输入公共视频图像的特征提取后,得到特征图C4,将特征图C4依次输入区域建议网络(Region Proposal Network,RPN)、ROI Align层和FasterRCNN检测头中,并输出最终的监测结果,即公共视频图像中所包含的红灯目标所在位置框和监测路面区域中电动车、非机动车和行人的所在位置框。
其中,轻量双支结构通过小卷积核并行叠加的方式以较少的参数量提取多种不同类型的特征信息,有助于增强网络在复杂交通环境下对闯红灯违法行为的精准感知和识别能力。单侧融合支线通过不引入模型参数量的方式实现轻量化的低层特征融合,从而提升了网络对检测路面上行人等中小型目标的检测准确率。在ResNet101等常用骨干网络中特征图的通道维度大多在500以上,而轻量双支骨干网络中特征图的最高通道维度仅为216,模型的参数量得以显著降低。
对应于上述提供的交通违法行为监测方法,本发明还提供了以下实施系统:
其中,一种交通违法行为监测系统,如图4所示,包括:
网络构建模块400,用于构建行为监测网络。构建得到的行为监测网络包括:轻量双支骨干网络、区域建议网络、ROI Align层和Faster RCNN检测头。轻量双支骨干网络包括:多个轻量双支结构和多个单侧融合支线。
模型训练模块401,用于采用样本数据集训练行为监测网络得到行为监测模型。
图像转换模块402,用于以获取待监测交通路段当前时刻的视频,并将视频转换为视频图像。
行为监测模块403,用于将视频图像输入行为监测模型得到监测结果。
第一判断模块404,用于判断监测结果中是否存在红灯目标,得到第一判断结果。
第二判断模块405,用于当第一判断结果为监测结果中存在红灯目标时,将当前时刻通行状态判定为红灯禁行状态,并判断监测结果中是否存在监测目标,得到第二判断结果。
告警信号生成模块406,用于当第二判断结果为监测结果中存在监测目标时,判定为存在交通违法行为,并输出包含监测目标的视频图像,生成警告信号。
第一循环检测模块407,用于当第二判断结果为监测结果中不存在监测目标时,判定为不存在交通违法行为,并进行下一时刻监测。
第二循环检测模块408,用于当第一判断结果为监测结果中不存在红灯目标时,将当前时刻通行状态判定为非禁行状态,进行下一时刻监测。
还提供了一种智慧灯杆,包括:杆体、摄像器、处理器、存储器、显示器和报警器。
摄像器、存储器、显示器和报警器均与处理器连接。摄像器安装在杆体顶端。处理器和存储器植入在杆体的内部。显示器和报警器置于杆体的外侧。存储器中存储有用于实施上述提供的交通违法行为监测方法的计算机软件程序。处理器用于调取计算机软件程序,以监测摄像器拍摄的视频是否存在交通违法行为,并用于在存在交通违法行为时,生成告警信号。报警器用于根据告警信号进行报警显示。显示器用于显示存在交通违法行为的视频图像。
下面提供一个实施例,基于上述智慧灯杆对交通违法行为监测方法的实施过程进行说明,如图5所示,具体为:
步骤一、建立行为监测数据集。首先,为了符合智慧灯杆这一应用场景且采集到不同状态下的闯红灯行为图像,在位于核心交通路段的灯杆上安装可见光摄像头,确保视场包含交通信号灯及被监测路面。接下来,在不同时间段、光照强度和天气状况下,进行各交通路段的视频采集,获得足够规模的视频集。随后,以每5s采样一次的频率,将视频转换为图像序列。采用标注软件进行图像标注,在每张图像中标注出监测路面上的电动车、非机动车和行人的所在位置框和类别,在处于红灯禁行状态的图像上标注出红色信号灯的位置框和类别,获得每张图像对应的标注文件。最后,将所得图像和对应标注文件划分为训练集和测试集,从而得到闯红灯行为监测数据集。
步骤二、设计轻量双支骨干网络,并在此基础上构建行为监测网络。该步骤的具体内容请参见上述描述。
步骤三、训练行为监测网络,获得行为行为监测模型。基于闯红灯行为监测数据集对行为监测网络进行训练,直至其在测试集上的准确率达到预期要求,从而获得行为监测模型。
步骤四、设计闯红灯违法行为监测系统。编写Python脚本,以每5秒一帧的频率将拍摄的公共视频转换为公共视频图像。将公共视频图像依次输入行为行为监测模型中,并输出监测结果。判断监测结果中是否存在红灯目标,如果不存在红灯目标,则说明当前时刻处于非禁行状态,继续进行下一时刻监测。如果存在红灯目标,则说明当前时刻处于红灯禁行状态,并判断监测结果中是否存在监测目标,如果不存在,则说明当前时刻未发现闯红灯违法行为,继续进行下一时刻监测。如果存在,则说明监测区域出现了闯红灯违法行为,输出包含监测目标(闯红灯的电动车、非机动车或行人目标)矩形包围框的当前图像,并发出“禁止闯红灯”警告。
步骤五、在灯杆上搭载可见光摄像头,将闯红灯违法行为监测系统嵌入灯杆的处理器中,并与摄像头相连接。将拍摄所得视频传输至处理器中,对当前路面区域的闯红灯违法行为进行监测,每5s更新一次。
基于上述描述,本发明提供的技术方案采用轻量化网络进行特征信息提取和智能分析,不仅准确率高检测速度快,且相比常规的检测网络,本发明所提出的网络模型体量较小,更适合部署在智慧灯杆应用中。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种交通违法行为监测方法,其特征在于,包括:
构建行为监测网络;构建得到的所述行为监测网络包括:轻量双支骨干网络、区域建议网络、ROI Align层和Faster RCNN检测头;所述轻量双支骨干网络包括:多个轻量双支结构和多个单侧融合支线;
采用样本数据集训练所述行为监测网络得到行为监测模型;
以获取待监测交通路段当前时刻的视频,并将所述视频转换为视频图像;
将所述视频图像输入所述行为监测模型得到监测结果;
判断所述监测结果中是否存在红灯目标,得到第一判断结果;
若所述第一判断结果为所述监测结果中存在红灯目标,则将当前时刻通行状态判定为红灯禁行状态,并判断所述监测结果中是否存在监测目标,得到第二判断结果;
若所述第二判断结果为所述监测结果中存在监测目标,则判定为存在交通违法行为,并输出包含监测目标的视频图像,生成警告信号;
若所述第二判断结果为所述监测结果中不存在监测目标,则判定为不存在交通违法行为,并进行下一时刻监测;
若所述第一判断结果为所述监测结果中不存在红灯目标,则将当前时刻通行状态判定为非禁行状态,进行下一时刻监测;
所述轻量双支骨干网络的数据处理过程为:
视频图像输入至第一轻量双支结构得到第一特征图;
所述第一特征图输入至第二轻量双支结构得到第二特征图;
所述第二特征图输入至第三轻量双支结构得到第三特征图;
所述第一特征图输入至第一单侧融合支线得到第四特征图;
所述第三特征图和所述第四特征图进行通道维度拼接得到第五特征图;
所述第五特征图输入至第四轻量双支结构得到第六特征图;
所述第二特征图输入至第二单侧融合支线得到第七特征图;所述第一单侧融合支线和所述第二单侧融合支线均用于对特征图进行预设比例因子的池化操作;
所述第七特征图和所述第六特征图进行通道维度拼接得到第八特征图;所述第八特征图即为所述轻量双支骨干网络的输出特征图。
2.根据权利要求1所述的交通违法行为监测方法,其特征在于,所述轻量双支结构包括:第一卷积支线、第二卷积支线和加权处理层;
所述第一卷积支线和所述第二卷积支线均用于对输入图像进行卷积操作;
所述加权处理层用于将所述第一卷积支线的输出特征图和所述第二卷积支线的输出特征图进行逐像素相加操作。
3.根据权利要求2所述的交通违法行为监测方法,其特征在于,所述第一卷积支线用于对输入图像进行卷积核为1*1、步长为2以及通道数为9的卷积操作后,进行卷积核为1*1、步长为1以及通道数为18的卷积操作。
4.根据权利要求2所述的交通违法行为监测方法,其特征在于,所述第二卷积支线用于对输入图像进行卷积核为3*3、步长为2以及通道数为9的卷积操作后,进行卷积核为3*3、步长为1以及通道数为18的卷积操作。
5.根据权利要求1所述的交通违法行为监测方法,其特征在于,所述预设比例因子为4*4的比例因子。
6.一种交通违法行为监测系统,其特征在于,包括:
网络构建模块,用于构建行为监测网络;构建得到的所述行为监测网络包括:轻量双支骨干网络、区域建议网络、ROI Align层和Faster RCNN检测头;所述轻量双支骨干网络包括:多个轻量双支结构和多个单侧融合支线;
模型训练模块,用于采用样本数据集训练所述行为监测网络得到行为监测模型;
图像转换模块,用于以获取待监测交通路段当前时刻的视频,并将所述视频转换为视频图像;
行为监测模块,用于将所述视频图像输入所述行为监测模型得到监测结果;
第一判断模块,用于判断所述监测结果中是否存在红灯目标,得到第一判断结果;
第二判断模块,用于当所述第一判断结果为所述监测结果中存在红灯目标时,将当前时刻通行状态判定为红灯禁行状态,并判断所述监测结果中是否存在监测目标,得到第二判断结果;
告警信号生成模块,用于当所述第二判断结果为所述监测结果中存在监测目标时,判定为存在交通违法行为,并输出包含监测目标的视频图像,生成警告信号;
第一循环检测模块,用于当所述第二判断结果为所述监测结果中不存在监测目标时,判定为不存在交通违法行为,并进行下一时刻监测;
第二循环检测模块,用于当所述第一判断结果为所述监测结果中不存在红灯目标时,将当前时刻通行状态判定为非禁行状态,进行下一时刻监测;
所述轻量双支骨干网络的数据处理过程为:
视频图像输入至第一轻量双支结构得到第一特征图;
所述第一特征图输入至第二轻量双支结构得到第二特征图;
所述第二特征图输入至第三轻量双支结构得到第三特征图;
所述第一特征图输入至第一单侧融合支线得到第四特征图;
所述第三特征图和所述第四特征图进行通道维度拼接得到第五特征图;
所述第五特征图输入至第四轻量双支结构得到第六特征图;
所述第二特征图输入至第二单侧融合支线得到第七特征图;所述第一单侧融合支线和所述第二单侧融合支线均用于对特征图进行预设比例因子的池化操作;
所述第七特征图和所述第六特征图进行通道维度拼接得到第八特征图;所述第八特征图即为所述轻量双支骨干网络的输出特征图。
7.一种智慧灯杆,其特征在于,包括:杆体、摄像器、处理器、存储器、显示器和报警器;
所述摄像器、所述存储器、所述显示器和所述报警器均与所述处理器连接;所述摄像器安装在所述杆体顶端;所述处理器和所述存储器植入在所述杆体的内部;所述显示器和所述报警器置于所述杆体的外侧;所述存储器中存储有用于实施如权利要求1-5任意一项所述交通违法行为监测方法的计算机软件程序;所述处理器用于调取所述计算机软件程序,以监测所述摄像器拍摄的视频是否存在交通违法行为,并用于在存在交通违法行为时,生成告警信号;所述报警器用于根据所述告警信号进行报警显示;所述显示器用于显示存在交通违法行为的视频图像。
CN202210386553.XA 2022-04-14 2022-04-14 一种交通违法行为监测方法、系统及智慧灯杆 Active CN114495032B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210386553.XA CN114495032B (zh) 2022-04-14 2022-04-14 一种交通违法行为监测方法、系统及智慧灯杆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210386553.XA CN114495032B (zh) 2022-04-14 2022-04-14 一种交通违法行为监测方法、系统及智慧灯杆

Publications (2)

Publication Number Publication Date
CN114495032A CN114495032A (zh) 2022-05-13
CN114495032B true CN114495032B (zh) 2022-07-19

Family

ID=81489126

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210386553.XA Active CN114495032B (zh) 2022-04-14 2022-04-14 一种交通违法行为监测方法、系统及智慧灯杆

Country Status (1)

Country Link
CN (1) CN114495032B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105788286A (zh) * 2016-05-19 2016-07-20 湖南博广信息科技有限公司 智能识别闯红灯系统以及车辆行为检测抓拍方法
CN110136449A (zh) * 2019-06-17 2019-08-16 珠海华园信息技术有限公司 基于深度学习的交通视频车辆违停自动识别抓拍的方法
CN110956156A (zh) * 2019-12-13 2020-04-03 广州中科凯泽科技有限公司 一种基于深度学习的闯红灯检测系统
CN111274886A (zh) * 2020-01-13 2020-06-12 天地伟业技术有限公司 一种基于深度学习的行人闯红灯违法行为分析方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113887446A (zh) * 2021-10-08 2022-01-04 黑龙江雨谷科技有限公司 一种基于神经网络的音视频联合行人意外跌倒监控方法
CN114267025A (zh) * 2021-12-07 2022-04-01 天津大学 基于高分辨率网络与轻量注意力机制的交通标志检测方法
CN114241589B (zh) * 2022-02-28 2022-08-23 深圳市城市交通规划设计研究中心股份有限公司 一种基于车载视频的公交司机违规行为判定方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105788286A (zh) * 2016-05-19 2016-07-20 湖南博广信息科技有限公司 智能识别闯红灯系统以及车辆行为检测抓拍方法
CN110136449A (zh) * 2019-06-17 2019-08-16 珠海华园信息技术有限公司 基于深度学习的交通视频车辆违停自动识别抓拍的方法
CN110956156A (zh) * 2019-12-13 2020-04-03 广州中科凯泽科技有限公司 一种基于深度学习的闯红灯检测系统
CN111274886A (zh) * 2020-01-13 2020-06-12 天地伟业技术有限公司 一种基于深度学习的行人闯红灯违法行为分析方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度学习的目标检测与识别算法研究;韩伊娜;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20210115;第4章 *

Also Published As

Publication number Publication date
CN114495032A (zh) 2022-05-13

Similar Documents

Publication Publication Date Title
CN102867418B (zh) 一种判断车牌识别准确性的方法和装置
CN109631848B (zh) 输电线路异物入侵检测系统和检测方法
CN110533950A (zh) 车位使用状况的检测方法、装置、电子设备及存储介质
CN110378222A (zh) 一种输电线路防震锤目标检测与缺陷识别方法及装置
CN109543691A (zh) 积水识别方法、装置以及存储介质
CN104504377A (zh) 一种公交车乘客拥挤程度识别系统及方法
CN111582029A (zh) 一种基于密集连接与注意力机制的交通标志识别方法
CN112116594B (zh) 一种基于语义分割的风飘异物识别方法和装置
CN110796580B (zh) 智能交通系统管理方法及相关产品
KR20190079047A (ko) 육안 인식 검사원의 부하경감을 위한 등급별 영상인식 기술을 이용한 cctv 영상내 의심물체 부분검사 지원 시스템 및 방법
CN106339657A (zh) 基于监控视频的秸秆焚烧监测方法、装置
CN114267082B (zh) 基于深度理解的桥侧坠落行为识别方法
CN113255589A (zh) 一种基于多卷积融合网络的目标检测方法及系统
CN114267025A (zh) 基于高分辨率网络与轻量注意力机制的交通标志检测方法
CN114782949B (zh) 一种边界引导上下文聚合的交通场景语义分割方法
CN115861756A (zh) 基于级联组合网络的大地背景小目标识别方法
CN115376108A (zh) 一种复杂天气下障碍物检测方法及装置
CN114926791A (zh) 一种路口车辆异常变道检测方法、装置、存储介质及电子设备
CN113361528B (zh) 一种多尺度目标检测方法及系统
CN112084892B (zh) 一种道路异常事件检测管理装置及其方法
CN112597996B (zh) 基于任务驱动的自然场景中交通标志显著性检测方法
CN114495032B (zh) 一种交通违法行为监测方法、系统及智慧灯杆
CN115601717B (zh) 基于深度学习的交通违法行为分类检测方法及SoC芯片
CN116630866A (zh) 音视频雷达融合的异常事件监控方法、装置、设备及介质
CN114708560B (zh) 一种基于yolox算法的违章停车检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant