CN113936501A - 基于目标检测的智能路口通行预警系统 - Google Patents
基于目标检测的智能路口通行预警系统 Download PDFInfo
- Publication number
- CN113936501A CN113936501A CN202111186665.2A CN202111186665A CN113936501A CN 113936501 A CN113936501 A CN 113936501A CN 202111186665 A CN202111186665 A CN 202111186665A CN 113936501 A CN113936501 A CN 113936501A
- Authority
- CN
- China
- Prior art keywords
- module
- early warning
- intersection
- light source
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 40
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 19
- 241001465754 Metazoa Species 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 13
- 238000000034 method Methods 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 claims description 2
- 238000005457 optimization Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims 1
- 235000002566 Capsicum Nutrition 0.000 claims 1
- 239000006002 Pepper Substances 0.000 claims 1
- 235000016761 Piper aduncum Nutrition 0.000 claims 1
- 235000017804 Piper guineense Nutrition 0.000 claims 1
- 244000203593 Piper nigrum Species 0.000 claims 1
- 235000008184 Piper nigrum Nutrition 0.000 claims 1
- 230000008034 disappearance Effects 0.000 claims 1
- 150000003839 salts Chemical class 0.000 claims 1
- 230000001960 triggered effect Effects 0.000 claims 1
- 230000007306 turnover Effects 0.000 claims 1
- 206010039203 Road traffic accident Diseases 0.000 abstract 1
- 230000006870 function Effects 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 238000009434 installation Methods 0.000 description 4
- 238000002372 labelling Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000003749 cleanliness Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011049 filling Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000013515 script Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/07—Controlling traffic signals
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/095—Traffic lights
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种基于目标检测的智能路口通行预警系统，包括摄像头采集模块、控制模块、显示模块、报警模块、电源模块。系统可以根据路口摄像头拍摄的画面进行目标检测，通过显示模块实时显示即将到达路口的车、人、动物等运动物体以及到达该路口的大约距离，根据距离不同进行不同级别的警示。该系统可以安装在路线视距不足的曲线部分、山岭区道路极小的曲线半径处、通视恶劣的交叉路口(特别是无信号的交叉路口)、铁路道口以及地下停车场的狭窄转弯处，避免转弯路口车辆不能及时做出反应从而发生交通事故。与现有的道路反光镜相比，解决了反射物体扭曲变形，而且镜面容易脏、易破损，占用空间大，分散司机注意力等问题。同时优化了目标检测的算法，将目标检测算法应用到路口的视频检测中，为我们的汽车，行人通过一些特殊类型的路口提供了一种更安全的、更便捷的、更智能的智能路口通行预警系统。
Description
技术领域
本发明涉及图像识别和智能交通领域，具体为基于目标检测的智能路口通行预警系统。
背景技术
目前，绝大多数车辆驾驶在路线视距不足的曲线部分，山岭区道路极小的曲线半径处、通视恶劣的交叉路口(特别是无信号的交叉路口)、铁路道口以及地下停车场的狭窄转弯处，都只能通过对面车辆的灯光、喇叭声或者路口安装的反光镜来判断路口的情况，这样就会导致驾驶员需要时刻注意外界的一些影响因素，会分散一部分注意力，可能还会被突如其来的情况吓一跳或者来不及反应，造成安全事故。
中国专利号201620954440.5，公开了一种基于计算机视觉的交叉路口通行预警系统，在交叉路口特定区域设置虚拟线圈，特写摄像机的视场对准虚拟线圈，全景摄像机的视场包括交叉路口各个方向视角。具体应用在施工地段交叉路口通行的车辆与行人异常情况时进行预警，这种方式需要分析的样本数据比较大，处理的情况会更加复杂，而且迁移应用效果不好，相对而言投入的成本比较高，对分析者比较有帮助而对实际的使用者效果不好。
针对上述情况，现在的路口通行预警系统很多地方需要技术创新，尽量在不改变现有路口装置和结构、不影响驾驶员正常驾驶的前提下，设计一种更加智能，使用更方便，应用场景更广泛的基于目标检测的智能路口通行预警系统，解决目前车辆通过有视线死角的路口或者转弯处时遇到的问题。
发明内容
本发明的目的在于提供基于目标检测的智能路口通行预警系统，以解决上述背景技术中车辆在通过一些特殊类型路口的时候只能依赖路口安装的反光镜，对面来车的喇叭声、灯光来判断对面来车情况，但是遇上反光镜破损、视线不足，驾驶习惯不好的驾驶员、没有安全意识的行人通过这些特殊类型路口时，驾驶员需要时刻关注这种情况，会分散一部分注意力，可能还被对面车辆突然放响、行人和动物等突然出现等突发情况吓一跳还是很危险的，而且路边安装的反光镜会经常出现破损，容易被尘土弄脏，占地方，坏了之后不易维护，需要专人不定期的巡视。
为实现上述目的，本发明提供如下技术方案：基于目标检测的智能路口通行预警系统，包括辅助光源控制器、摄像头辅助光源、摄像头采集模块、路口预警控制模块、报警模块、显示模块、电源模块。其特征在于：所述摄像头辅助光源与辅助光源控制器电性连接，摄像头辅助光源为摄像头采集模块在夜晚时或者环境比较昏暗时提供灯光，辅助光源控制器与路口预警控制模块电性输出连接，通过控制模块也可以对光源的一些参数进行设置，摄像头采集模块与路口预警控制模块电性输入连接，报警模块通过导线与路口预警控制模块电性连接，显示模块通过导线与路口预警控制模块电性连接，电源模块通过导线与辅助光源控制器电性连接，电源模块通过导线与摄像头辅助光源电性连接，电源模块通过导线与摄像头采集模块电性连接，电源模块通过导线与路口预警控制模块电性连接，电源模块通过导线与报警模块电性连接，电源模块通过导线与显示模块电性连接。
本发明基于目标检测的智能路口通行预警系统是将摄像头辅助光源、摄像头采集模块、显示模块和报警模块可以根据路口类型安装在不同的来车方向的立杆或者一些墙壁上，摄像头辅助光源根据摄像头采集模块的类型进行选择，保证拍摄的视频和照片足够清晰，为后面能准确地进行目标识别做准备；显示模块用来显示待识别区域出现的目标种类和准确度；而报警模块和显示模块配合起来使用会更加的方便，报警模块根据待检测区域目标物体到路口的距离大小，会有不同颜色的灯光亮起并且可以加上不同声音提示来对司机或者行人进行警示，若有多个物体同时出现在路口时会以距离路口最近的物体类型为准；辅助光源控制器和路口预警控制模块安装在就近的控制柜内，辅助光源控制器可以设置光源的工作方式，可以设置为自动模式、人工模式，可以根据安装位置所处的环境进行灵活设置开关时间、亮度；路口预警控制模块作为整个系统的核心，进行输入输出接口的控制，其中就包括上面提到的接收摄像头采集模块的视频或者图片、显示模块的控制、报警模块的控制，目标检测算法的部署、目标的检测；各类型的路口都将采用一个路口预警控制模块，然后根据来车方向的数量进行摄像头辅助光源、摄像头采集模块、辅助光源控制器、显示模块和报警模块的数目选择，然后电源模块从就近的路政供电系统或者小区供电系统接入，有光照条件的可以利用太阳能供电和电网供电相结合的方式，通过隔离放在控制柜内。
本发明在应用前需要准备数据集，然后进行标记，生成标签，制作符合该算法使用的数据集格式，才能进行模型的训练。首先根据我们现在使用的场景不同灵活的选择数据集图片，现在我们主要选择三大类并且定义为三类person类、car类、animal类，包括不同场景下的行人10000张图片、汽车20000张图片、常见的动物20000张图片，后面可以根据我们使用的场景来丰富我们的数据集，以便能够检测更多种类的目标。对数据集进行划分80％的训练集，10％测试集，10％验证集。根据我们对速度和准确度的要求选择合适的训练模型，并且对配置文件进行修改，训练完模型之后进行模型评估，我们的评估结果准确度为95％，召回率为100％，FPS能达到40。这些模型的评估结果完全能够达到我们使用的要求。
与现有技术相比，本发明的优点如下：
1.本发明安装在一些存在视线死角的特殊路口，能够保证驾驶员比较直观地了解对面来车方向的情况，大大减少了安全事故的发生，可有效地解决双向车辆安全快速会车问题。驾驶员也不用一直盯着传统的反光镜来判断路口的情况，正常的驾驶就能清楚了解来车方向的情况。
2.本发明采用目前比较流行的目标检测算法，可以准确地对待检测区域出现的目标进行识别检测，显示模块和报警模块既能显示路口的目标，又能显示距离，而且算法可以很好地应用在视频流，可以实时的对待检测区域进行检测。
3.本发明使用范围更广泛，不管是白天还是夜晚，野外还是地下停车场，丁字路口还是其他类型存在视线死角的路口都可以应用本发明。
4.本发明可以将实时的运行情况，拍摄画面上传到后台的服务器端，后台工作人员可以清楚地知道每个系统的工作情况，可以对每个路口的数据进行一些分析，对不同场景下的系统进行改进，并且可以减少维护成功，不需要专人去巡检设备是否能够正常工作。
附图说明
图1为本发明主视流程示意图。
图中：
1、辅助光源控制器；
2、摄像头辅助光源；
3、摄像头采集模块；
4、路口预警控制模块；
5、报警模块；
6、显示模块；
7、电源模块；
图2为本发明安装示意图
图中：
1、显示模块
2、摄像头采集模块和摄像头辅助光源
3、路口预警控制模块
4、摄像头采集模块和摄像头辅助光源
5、显示模块
图3为本发明显示模块显示内容示意图
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
基于目标检测的智能路口通行预警系统，包括辅助光源控制器、摄像头辅助光源、摄像头采集模块、路口预警控制模块、报警模块、显示模块、电源模块。其特征在于：所述摄像头辅助光源与辅助光源控制器电性连接，摄像头辅助光源保证信息采集清晰，辅助光源控制器与路口预警控制模块电性输出连接，摄像头采集模块与路口预警控制模块电性输入连接，报警模块通过导线与路口预警控制模块电性连接，显示模块通过导线与路口预警控制模块电性连接，电源模块通过导线与辅助光源控制器电性连接，电源模块通过导线与摄像头辅助光源电性连接，电源模块通过导线与摄像头采集模块电性连接，电源模块通过导线与路口预警控制模块电性连接，电源模块通过导线与报警模块电性连接，电源模块通过导线与显示模块电性连接。
工作原理：参阅图1，本发明提供技术方案：辅助光源控制器和摄像头辅助光源以及摄像头采集模块构成整个系统的输入部分。辅助光源控制器对外界环境具有一定的感知能力，内部电路集成光敏传感器，它能感应光线的明暗变化，输出微弱的电信号，通过简单电子线路放大处理，可以控制辅助光源的自动开关以及通过PWM控制来调节灯的亮度；辅助光源采用高清LED补光灯，高亮度LED灯30颗，一颗3瓦，功率60W，波长范围能够达到38nm-780nm，提供两种供电电压：AC110V-220V,DC24V-36V，照明距离能够达到100m，光斑均匀，对人眼无强烈刺激，不影响正常的行车安全，可与多种摄像头匹配；摄像头采集模块采用分辨率、灵敏度、信噪比、强光抑制功能、背光抑制功能、色彩还原功能、数字降噪功能的摄像头，保证采集的图像或者视频效果更好更清晰，噪波点更少，在光线不足或者强光干扰的情况下都能拍摄清晰。而且采用的模块内部集成了DSP芯片进行数字降噪，通过检测和分析帧存储器中的图像信息，自动降低相对静止画面的增益幅度，极大地消除了信号中的干扰噪声波，从而有效地提高了画面清晰度和洁净度，而且方便安装与调试，摄像头接口可以采用GigE端口对摄像头进行设置和调试。通过这个端口可以远程控制摄像机，修改摄像机里面的参数，无需到现场对摄像机进行调整；通过这种快捷方便的端口，大大节省了人力和调试时间。
参阅图1，本发明提供技术方案：报警模块和显示模块构成整个系统的输出部分。报警模块由警示灯模块和警示声模块两部分构成，警示灯模块和警示声模块视听两方面配合达到更好的警醒效果。警示灯由红绿黄三种颜色组成，根据目标距离路口的位置分为三个等级安全等级Ⅰ报警模块绿灯亮起，代表汽车可以快速通过路口，不需要顾及路口有没有人和汽车突然出现；安全等级Ⅱ报警模块黄灯亮起，这时候驾驶员需要注意，说明人或者汽车距离这个路口不远，通过路口的时候需要格外注意；安全等级Ⅲ报警模块红灯亮起，代表路口盲区正有人和汽车准备经过，驾驶员需停车等待，直到报警模块绿灯亮起，方可通过。而目标到路口的距离计算使用假设有一个宽度为W的目标或者物体，然后将这个目标放在距离的摄像头为D的位置，用相机对物体进行拍照并且测量物体的像素宽度P。这样就得出了相机焦距的公式：
同理，在本发明中，我们的摄像头采集模块固定安装，提前计算好固定的焦距。当目标靠近摄像头采集模块时，我们对式1.1进行公式变形得到目标距离摄像头的距离
然后再根据摄像头采集模块实际距离路口的位置，再与D'进行计算得到目标距离路口的距离；显示模块主要用来显示我们路口目标检测的输出结果，包括出现目标的种类以及置信度。
参阅图1，本发明提供技术方案：路口预警控制模块作为整个发明的核心，既需要接收输入部分的视频传入，进行目标检测算法的部署，对视频进行目标检测，又需要控制输出部分的工作方式。目标检测的主要目的是让计算机可以自动识别图片或者视频帧中我们事先需要检测目标的类别，并在该目标周围绘制边界框，标示出每个目标的位置。按一定规则在图片上产生一系列的候选区域，然后根据这些候选区域与图片上物体真实框之间的位置关系对候选区域进行标注。跟真实框足够接近的那些候选区域会被标注为正样本，同时将真实框的位置作为正样本的位置目标。偏离真实框较大的那些候选区域则会被标注为负样本，负样本不需要预测位置或者类别。使用卷积神经网络提取图片特征并对候选区域的位置和类别进行预测。这样每个预测框就可以看成是一个样本，根据真实框相对它的位置和类别进行了标注而获得标签值，通过网络模型预测其位置和类别，将网络预测值和标签值进行比较，就可以建立起损失函数。
采用的目标检测算法不管是在GPU上的运行速度还是在COCO数据集上的精度都相对其他算法略胜一筹，整个算法架构分为三个部分骨架、颈部和头部。利用CSP(Cross-Stage Partial Networks)作为主干，从输入图像中提取特征。PANet被用作收集特征金字塔的主干，头部是最终的检测层，它使用特征上的锚框来检测对象。输入端表示将图片输入到算法网络。该网络的输入图像大小为608*608，该阶段通常包含一个图像预处理阶段，即将输入图像缩放到网络的输入大小，并进行归一化等操作。该算法中将手动修改初始锚框功能嵌入到代码中，每次训练时，根据数据集的名称自适应的计算出最佳的锚框，用户可以根据自己的需求将功能关闭或者打开。省掉了每次需要根据使用的数据集自己修改的过程。在网络训练阶段，算法使用Mosaic数据增强操作，提升模型的训练速度和网络的精度，Mosaic数据增强采用了4张图片，随机缩放、随机裁剪、随机排布的方式进行拼接。这种增强方法可以将几张图片组合成一张，这样不仅可以丰富数据集的同时极大的提升网络的训练速度，而且可以降低模型的内存需求。并提出了一种自适应锚框计算与自适应图片缩放方法。基准网络通常是一些性能优异的分类器种的网络，该模块用来提取一些通用的特征表示，网络不仅使用了CSPDarknet53结构，而且使用了Focus结构作为基准网络。Neck网络通常位于基准网络和头网络的中间位置，利用它可以进一步提升特征的多样性及鲁棒性。Head用来完成目标检测结果的输出。针对不同的检测算法，输出端的分支个数不尽相同，通常包含一个分类分支和一个回归分支。
基于整个专利来说，我们不需要检测过于密集、微小的、背景过于复杂的目标，所以只需要采用最小的S系列网络模型就可以，S系列的模型十几m大小，速度很快，对于正常大小的目标检测精度也足够，嵌入式设备可以使用。
首先根据我们应用场景准备大量数据集，其中包括各种场景下的行人、常见型号的汽车、以及常见的动物图片，然后使用标注软件进行标注，最后生成我们训练用的数据集，总文件夹下分别为Annotations(用于存放xml格式的图片标注文件)，images(存放jpg格式的图片文件)，ImageSets(存放的是txt格式的分类和检测的数据集分割文件。然后用脚本生成ImageSets文件夹下的数据集分割文件和labels文件夹下的标签文件，数据集划分的比例和目标类别信息需要手动修改，一般训练集：测试集：验证集的比例为8：1：1划分，至此所有的数据集制作完成。
然后根据我们使用的算法配置我们需要的环境，安装依赖包。修改配置文件，数据集方面的yaml文件修改，其中train，val，test后面分别改为我们自己生成的训练集、验证集和测试集图片的路径，nc为数据集的类别数，我这里只分了三类，names为类别的名称(person,car,animal)。然后修改我们需要迭代的次数和batch-size，根据我们的电脑配置进行修改，修改完成后开始进行训练。到最后可以看到我们的精确率能够达到0.958，召回率为1，mAP为0.995,可以看到训练的模型的效果还是不错的，自动将最好的一代保存起来，我们用图片进行测试，可以把图片中的目标都能够框选出来，而且类别也都正确。然后我们接着开启我们电脑的摄像头进行动态实时测试，略微有点延时，大约在0.5s左右，在接受范围内，但是精度还是非常不错的。
最后将我们训练好的模型部署到我们的路口预警控制模块，首先将我们通过自带的export.py文件将训练好的pt模型文件转化为onnx文件，然后进入到安装编译好的ncnn目录下，将onnx2ncnn和ncnnoptimize两个可执行文件，可以复制到工程下，方便后面的操作，然后修改配置参数，删掉Split、Crop、Concat层新增Focus层，将最后的Reshape层，把输出数量改为-1，否则最终导出的文件，测试时会有很多框，ncnnoptimize优化模型，使用onnx2ncnn转换为ncnn模型，然后利用C++做一些后处理，生成我们最终下载到路口预警控制模块的文件，所有的部署工作完成。
参阅图1，本发明提供技术方案：电源模块作为整个系统正常工作的保证，供电的稳定至关重要。由于每个模块应用的电压等级不一致，将不同电压转换电路之间单独做了隔离，以防干扰，然后整个供电系统加入稳压保护，过流保护。除了市政供电以外，可以结合使用太阳能供电。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的保护范围由所附权利要求及其等同物限定。
Claims (10)
1.基于目标检测的智能路口通行预警系统，包括辅助光源控制器(1)、摄像头辅助光源(2)、摄像头采集模块(3)、路口预警控制模块(4)、报警模块(5)、显示模块(6)、电源模块(7)。其特征在于：所述摄像头辅助光源(2)与辅助光源控制器(1)电性连接，摄像头辅助光源(2)为摄像头采集模块(3)在夜晚时提供灯光，摄像头采集模块(3)与路口预警控制模块(4)电性输入连接，辅助光源控制器(1)通过导线与路口预警控制模块(4)电性连接，报警模块(5)通过导线与路口预警控制模块(4)电性连接，显示模块(6)通过导线与路口预警控制模块(4)电性连接，电源模块(7)通过导线与辅助光源控制器(1)电性连接，电源模块(7)通过导线与摄像头辅助光源(2)电性连接，电源模块(7)通过导线与摄像头采集模块(3)电性连接，电源模块(7)通过导线与路口预警控制模块(4)电性连接，电源模块(7)通过导线与报警模块(5)电性连接，电源模块(7)通过导线与显示模块(6)电性连接。
2.根据权利要求1所述的基于目标检测的智能路口通行预警系统，其特征在于：所述辅助光源控制器(1)可以根据环境自动调节光源的开关和亮度，以便适应不同的环境下都能拍摄清楚，以便更好地进行目标检测。
3.根据权利要求1所述的基于目标检测的智能路口通行预警系统，其特征在于：所述电源模块(7)内部集成了AC-DC变换电路，交流220V转直流24V，多种DC-DC变换电路，电压等级包括24V、12V、5V可同时给辅助光源控制器(1)、摄像头辅助光源(2)、摄像头采集模块(3)、路口预警控制模块(4)、报警模块(5)、显示模块(6)供电，确保整个系统的供电稳定。
4.根据权利要求1所述的基于目标检测的智能路口通行预警系统，其特征在于：所述摄像头采集模块(3)，是一款采用逐行扫描CCD智能高清摄像机，捕获率高，适用多种复杂环境，并且可以实现自动对焦，可以很轻松地对目标进行捕捉，可同时支持USB和以太网进行图像传输，将图像实时传输给路口预警控制模块(4)。
5.根据权利要求1所述的基于目标检测的智能路口通行预警系统，其特征在于：摄像头采集模块(3)采用物体检测触发，当镜头内没有出现物体时，不进行捕捉触发；当镜头内出现汽车、行人、动物等其他物体时，开启捕捉，进行连拍，这时可以进行连拍频率的设置，当超过24帧以上时，直接就变成了视频捕捉。
6.根据权利要求1所述的基于目标检测的智能路口通行预警系统，其特征在于：算法在训练模型的时候随机加入数据增强，包括使用标准化对图像进行图像增强、使用几何变换(平移、翻转、旋转)对图像进行数据增强、使用随机调整亮度对图像进行增强、使用随机调整对比度对图像进行增强、添加高斯噪声和椒盐噪声、对图像进行仿射变换，还采用了图像遮挡。保证训练出来的模型泛化程度能够达到要求，保证获取样本的多样性与数据的多样性，从而为训练模型打下良好基础。这对系统的识别率与准确率具有重要影响。
7.根据权利要求1所述的基于目标检测的智能路口通行预警系统，其特征在于：核心算法网络结构采用one-stage结构，采用端到端的训练方式，用网格来划分图片区域，每块区域独立检测目标，虽然精度一般，但是检测的速度特别快，特别适合用作实时视频检测。
8.根据权利要求1所述的基于目标检测的智能路口通行预警系统，其特征在于：核心算法的Backbone采用跨阶段局部网络(CSP)，CSPNet解决了其他大型卷积神经网络框架Backbone中网络优化的梯度信息重复问题，将梯度的变化从头到尾地集成到特征图中，因此减少了模型的参数量和FLOPS数值，既保证了推理速度和准确率，又减小了模型尺寸。同时这样可以有效缓解梯度消失问题(通过非常深的网络很难去反推丢失信号)，支持特征传播，鼓励网络重用特征，从而减少网络参数数量。
9.根据权利要求1所述的基于目标检测的智能路口通行预警系统，其特征在于：当拍摄的视频有物体出现时进行事件触发，然后开始用算法对视频进行识别，将检测的结果以及准确率通过显示模块(6)进行显示。
10.根据权利要求1所述的基于目标检测的智能路口通行预警系统，其特征在于：进行视频检测的时候对目标到达路口的距离进行划分，划分为三个等级：安全等级Ⅰ报警模块(5)绿灯亮起，安全等级Ⅱ报警模块(5)黄灯亮起，安全等级Ⅲ报警模块(5)红灯亮起。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111186665.2A CN113936501A (zh) | 2021-10-12 | 2021-10-12 | 基于目标检测的智能路口通行预警系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111186665.2A CN113936501A (zh) | 2021-10-12 | 2021-10-12 | 基于目标检测的智能路口通行预警系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113936501A true CN113936501A (zh) | 2022-01-14 |
Family
ID=79278233
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111186665.2A Pending CN113936501A (zh) | 2021-10-12 | 2021-10-12 | 基于目标检测的智能路口通行预警系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113936501A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115083208A (zh) * | 2022-07-20 | 2022-09-20 | 深圳市城市交通规划设计研究中心股份有限公司 | 人车冲突预警方法、预警分析方法、电子设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102868875A (zh) * | 2012-09-24 | 2013-01-09 | 天津市亚安科技股份有限公司 | 多方向监控区域预警定位自动跟踪监控装置 |
| CN108196286A (zh) * | 2018-01-24 | 2018-06-22 | 三峡大学 | 一种基于gps/rfid组合定位的缆机塔机防碰撞预警系统 |
| CN110648528A (zh) * | 2019-09-10 | 2020-01-03 | 烟台市公路事业发展中心 | 一种智慧公路管理系统 |
| CN112651892A (zh) * | 2020-12-22 | 2021-04-13 | 中国科学技术大学 | 一种基于图像样本的自动数据增强策略选择方法 |
| CN112926405A (zh) * | 2021-02-01 | 2021-06-08 | 西安建筑科技大学 | 一种安全帽佩戴检测方法、系统、设备及存储介质 |
| CN112944256A (zh) * | 2021-02-03 | 2021-06-11 | 北京金源智控科技股份有限公司 | 一种应用于智慧城镇的多功能智慧路灯 |
| CN113223279A (zh) * | 2021-05-14 | 2021-08-06 | 新疆大学 | 一种智能矿山危险源动态识别及互感预警的管控平台 |
-
2021
- 2021-10-12 CN CN202111186665.2A patent/CN113936501A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102868875A (zh) * | 2012-09-24 | 2013-01-09 | 天津市亚安科技股份有限公司 | 多方向监控区域预警定位自动跟踪监控装置 |
| CN108196286A (zh) * | 2018-01-24 | 2018-06-22 | 三峡大学 | 一种基于gps/rfid组合定位的缆机塔机防碰撞预警系统 |
| CN110648528A (zh) * | 2019-09-10 | 2020-01-03 | 烟台市公路事业发展中心 | 一种智慧公路管理系统 |
| CN112651892A (zh) * | 2020-12-22 | 2021-04-13 | 中国科学技术大学 | 一种基于图像样本的自动数据增强策略选择方法 |
| CN112926405A (zh) * | 2021-02-01 | 2021-06-08 | 西安建筑科技大学 | 一种安全帽佩戴检测方法、系统、设备及存储介质 |
| CN112944256A (zh) * | 2021-02-03 | 2021-06-11 | 北京金源智控科技股份有限公司 | 一种应用于智慧城镇的多功能智慧路灯 |
| CN113223279A (zh) * | 2021-05-14 | 2021-08-06 | 新疆大学 | 一种智能矿山危险源动态识别及互感预警的管控平台 |
Non-Patent Citations (2)
| Title |
|---|
| 罗元;王薄宇;陈旭;: "基于深度学习的目标检测技术的研究综述" * |
| 魏玮;蒲玮;刘依;: "改进YOLOv3在航拍目标检测中的应用" * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115083208A (zh) * | 2022-07-20 | 2022-09-20 | 深圳市城市交通规划设计研究中心股份有限公司 | 人车冲突预警方法、预警分析方法、电子设备及存储介质 |
| CN115083208B (zh) * | 2022-07-20 | 2023-02-03 | 深圳市城市交通规划设计研究中心股份有限公司 | 人车冲突预警方法、预警分析方法、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110197589B (zh) | 一种基于深度学习的闯红灯违法检测方法 | |
| US8064643B2 (en) | Detecting and recognizing traffic signs | |
| CN100507970C (zh) | 基于数字摄像机的闯红灯检测系统及方法 | |
| KR102122859B1 (ko) | 교통 영상감시시스템의 멀티 표적 추적 방법 | |
| CN104050620B (zh) | 对象检测设备 | |
| CN101373517A (zh) | 一种车牌识别方法及系统 | |
| CN102945603A (zh) | 检测交通事件的方法及电子警察装置 | |
| CN102447911A (zh) | 图像获取单元、其方法以及相关控制单元 | |
| CN104134352A (zh) | 基于长短曝光结合的视频车辆特征检测系统及其检测方法 | |
| KR101625538B1 (ko) | 도시방범이 가능한 다차선 자동차 번호판 인식시스템 | |
| CN102867417A (zh) | 一种出租车防伪系统及方法 | |
| CN113808418B (zh) | 路况信息显示系统、方法、车辆、计算机设备和存储介质 | |
| CN114781479A (zh) | 交通事件检测方法及装置 | |
| CN104036640A (zh) | 一种全景图像采集装置、全景图像采集方法 | |
| JPH07210795A (ja) | 画像式交通流計測方法と装置 | |
| CN104157143A (zh) | 违章停车检测系统及其检测方法 | |
| CN112258848A (zh) | 一种机动车右转不礼让行人抓拍及行人过街警示系统 | |
| CN112241004B (zh) | 物体识别装置 | |
| CN201134166Y (zh) | 一种车牌识别系统 | |
| CN113936501A (zh) | 基于目标检测的智能路口通行预警系统 | |
| JP6459809B2 (ja) | 画像処理装置およびこれを備えた交通管理システム、画像処理方法 | |
| WO2015055737A1 (en) | Method and system for determining a reflection property of a scene | |
| CN105046223A (zh) | 一种隧道入口“黑洞效应”严重程度的检测装置及方法 | |
| CN116797978A (zh) | 一种基于视频流的智能交通信号灯故障识别方法 | |
| KR102459091B1 (ko) | 과속 단속 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20220114 |
|
| WD01 | Invention patent application deemed withdrawn after publication |