CN110837837B - 一种基于卷积神经网络的车辆违章检测方法 - Google Patents
一种基于卷积神经网络的车辆违章检测方法 Download PDFInfo
- Publication number
- CN110837837B CN110837837B CN201911075126.4A CN201911075126A CN110837837B CN 110837837 B CN110837837 B CN 110837837B CN 201911075126 A CN201911075126 A CN 201911075126A CN 110837837 B CN110837837 B CN 110837837B
- Authority
- CN
- China
- Prior art keywords
- neural network
- convolutional neural
- license plate
- vehicle
- data set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 82
- 238000001514 detection method Methods 0.000 title claims abstract description 60
- 230000004913 activation Effects 0.000 claims abstract description 49
- 230000006870 function Effects 0.000 claims abstract description 46
- 238000012549 training Methods 0.000 claims abstract description 31
- 238000012360 testing method Methods 0.000 claims abstract description 19
- 238000000034 method Methods 0.000 claims abstract description 15
- 230000000007 visual effect Effects 0.000 claims abstract description 15
- 238000013528 artificial neural network Methods 0.000 claims abstract description 13
- 238000010606 normalization Methods 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 9
- 238000004806 packaging method and process Methods 0.000 claims abstract description 7
- 230000009286 beneficial effect Effects 0.000 claims abstract description 4
- 230000000694 effects Effects 0.000 claims description 9
- 230000008901 benefit Effects 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 230000002238 attenuated effect Effects 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 230000006872 improvement Effects 0.000 abstract description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000009795 derivation Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 239000003897 fog Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/153—Segmentation of character regions using recognition of characters or words
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/29—Graphical models, e.g. Bayesian networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Tourism & Hospitality (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Primary Health Care (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Strategic Management (AREA)
- Bioinformatics & Computational Biology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开一种基于卷积神经网络的违章检测方法,所述方法包括以下步骤:步骤A,制作数据集;步骤B,搭建基于YOLOV2改进后的卷积神经网络;步骤C,在原Elu激活函数的基础上设计Kelu激活函数,并分别利用多种激活函数搭载进卷积神经网络进行训练,利用训练产生的loss值及检测准确率来确定激活函数;步骤D,在训练卷积神经网络前对图像作批量归一化处理,批量归一化处理有利于提高准确率(mAP)以及显著的改善收敛性,防止过拟合(Over‑fitting);步骤E,将多方位车辆检测的卷积神经网络、车牌识别的微型卷积神经网络、QT可视化界面一齐封装进ROS(机器人操作系统)操作系统;步骤F,进行实车测试。本发明提供的方法能提高车辆检测的成功率。
Description
技术领域
本发明涉及车辆智能化检测设备领域,尤其涉及一种基于卷积神经网络的车辆违章检测方法。
背景技术
近年来智能交通系统(Intelligent Traffic System,ITS)是未来检测城市交通违章的有效手段,交通违章的检测主要是对车辆的方位及行驶状态进行判断,利用卷积神经网络来检测车辆也逐渐成为了主要的检测方法。随着5G时代的到来,利用卷积神经网络与摄像头对违章区域的车辆进行检测并识别车牌上传系统成为可能。
目前车辆检测的方法主要分为雷达检测与摄像头检测。雷达检测主要分为激光雷达检测、毫米波雷达检测、超声波雷达检测。摄像头检测主要分为传统计算机视觉检测方法和基于卷积神经网络的检测方法。
激光雷达相较于毫米波雷达和超声波雷达优势在于精度高,对检测道路上行驶车辆以及行人都有较好的表现。但激光雷达受环境影响大,光束受遮挡后就不能正常使用,因此无法在雨雪雾霾天恶劣天气中开启,其次激光雷达造价昂贵无法在智能车上普及。从抗干扰能力上来讲毫米波导引头穿透雾、烟、灰尘的能力强,因此可以在糟糕的天气中探测,在这一点上毫米波雷达更胜一筹。
中国发明专利申请号为201610674755.9公开了一种单线激光雷达车辆目标识别方法,该方法通过单线激光雷达的探测数据,识别探测到的物体是否是车辆,并根据识别结果确定是否发出警报信息,提高汽车驾驶安全性。
摄像头检测属于计算机视觉领域。但基于卷积神经网络的图像识别相较于传统计算机视觉对图像识别的优势在于大大的减少参数数量,从而加快计算速度。且卷积神经网络对图像的分类正确率更高。
中国发明专利申请号为201611234581.0公开了一种面向智能车辆与结构化道路的前方移动车辆检测方法,在二值化的过程中,采取局部统计与双最大类间相结合的方法,选取最优阈值,使算法对参数不同的图像具有更强的包容性,增强系统的鲁棒性。
上述车辆检测技术存在受环境因素影响以及成本因素影响和计算速度过慢以及分类准确率不高的问题。
针对这个问题,本发明利用YOLOV2卷积神经网络与高清摄像头来检测禁止转弯路口的车辆违章情况及车牌识别,解决现有技术中车辆检测技术不成熟的问题。
发明内容
本发明针对现有技术中存在的问题,提供一种基于卷积神经网络的违章检测方法,解决了现有技术中车辆检测技术存在易受环境因素影响,计算速度过慢以及分类准确率不高的问题。
为实现上述目的,本发明提供的技术方案如下:
提供一种基于卷积神经网络的违章检测方法,所述方法包括以下步骤:
步骤A,制作数据集,利用高清摄像头分别在晴天、阴天、雨天、黑夜的环境下采集城市道路视频储存在SD卡中,利用Adobe PremierePro视频剪辑软件按照每秒5帧将采集的路况视频剪辑成JPG格式的图片,利用剪辑标注软件labelimg标注每张图像,在标注分类车辆的同时生成XML文件,按照voc数据集的标准制作成含有5种车辆形态分类的数据集;利用下载的中文车牌数据集进行重新标注,所述中文车牌数据集是将完整车牌进行字符分割后分别将单个字符输入进神经网络进行识别;
步骤B,搭建基于YOLOV2改进后的卷积神经网络,YOLOV2对小目标识别效果不理想,据此在YOLOV2的网络结构中添加残差网络结构(Resnet),为了提高卷积神经网络对不同尺寸图片识别的泛化性,添加一层yolo层进行多尺度训练;
步骤C,在原Elu激活函数的基础上设计Kelu激活函数,并分别利用多种激活函数搭载进卷积神经网络进行训练,利用训练产生的loss值及检测准确率来确定激活函数;
步骤D,在训练卷积神经网络前对图像作批量归一化处理,批量归一化处理有利于提高准确率(mAP)以及显著的改善收敛性,防止过拟合(Over-fitting);
步骤E,将多方位车辆检测的卷积神经网络、车牌识别的微型卷积神经网络、QT可视化界面一齐封装进ROS(机器人操作系统)操作系统。
步骤F,进行实车测试。
进一步地,所述步骤A中数据集中种类的划分包括以下具体步骤:
A1,利用高清像头行车记录仪收集路况视频,剪辑成图像格式并根据本发明需要将图像分为5类,分别为被测车辆的正侧方、正前方、正后方、侧前方、侧后方;
A2,数据集包含3个文件夹,分别为Annotation、ImageSets和JPEGImages,其中文件夹Annotation中主要存放xml文件,每一个xml对应一张图像,并且每个xml中存放的是标记的各个目标的位置和类别信息,命名与对应的原始图像一样,在ImageSets文件夹下的Main文件夹,这里面存放文本文件,通常为train.txt、test.txt等,该文本文件里面的内容是需要用来训练或测试的图像的名字(无后缀无路径),JPEGImages文件夹中已按统一规则命名好的原始图像,
A3,车牌数据集分为两类,一类是完整车牌数据集,作用是在识别违章车辆时同时也能识别完整车牌,另一类是单个字符的车牌数据集,作用是识别完整车牌后将车牌提取出并进行字符分割,分别将单个字符图片依次输入进卷积神经网络进行识别。
进一步地,所述步骤B中搭建基于YOLOV2的卷积神经网络包括以下具体步骤:
B1:固定卷积神经网络参数,初始学习率为0.1,使用随机梯度下降,多项式速率衰减10^(-4)。
B:更改原始YOLOV2中的分类数量为5种,分别为被测车辆的正侧方、正前方、正后方、侧前方、侧后方。
C:搭建基于YOLOV2改进的卷积神经网络。包括,卷基层、残差层及多尺度层。
进一步地,所述步骤C中设计卷积神经网络中激活函数包括以下具体步骤:
C1,了解Elu激活函数优缺点,并针对Elu激活函数的缺点进行改进,重新设计了Kelu激活函数;
C2,将两种激活函数分别搭载进卷积神经网络进行训练。观测测试结果及训练后产生的loss值,通过测试结果可知Kelu激活更适用于违章检测。
进一步地,所述步骤F中设计基于卷积神经网络的违章检测系统包括以下具体步骤:
F1,将多方位车辆检测及车牌检测的两个卷积神经网络封装成ROS语言;
F2,利用QT-Creator软件将卷积神经网络检测到的信息通过信号与槽上传到可视化界面。
本发明提供了一种基于卷积神经网络的违章检测方法,该方法与已有的公知技术相比,具有如下显著优点:
(1)本发明所采用的基于YOLOV2改进的卷积神经网络相较于原YOLOV2大大的提高检测准确率并增加了多尺度训练提高训练的泛化性。相较于现有成熟的YOLOV3网络改进后的网络具有更快的检测速度;
(2)本发明设计了全新的激活函数,进一步提高了多多方位车辆检测的准确率;
(3)本发明将多方位车辆检测的卷积神经网络、车牌检测的卷积神经网络、QT-Creator可视化界面集成进ROS操作系统,使得违章监测更加方便智能。分别可以通过编写不同的逻辑算法来检测不同的交通违章。
附图说明
图1为本发明基于卷积神经网络的违章检测方法流程图;
图2是本发明基于卷积神经网络的训练及测试流程图;
图3是车辆检测所有分类结果图;
图4是完整车牌数据集图;
图5是车牌单个字符数据集图;
图6是违章检测系统可视化界面图。
具体实施方式
下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。以下实施适用于说明本发明,但不用来限制本发明的范围。
参考图1,本发明基于卷积神经网络车辆违章检测方法包括如下步骤:
步骤A,制作数据集,利用高清摄像头分别在晴天、阴天、雨天、黑夜的环境下采集城市道路视频储存在SD卡中,利用Adobe PremierePro视频剪辑软件按照每秒5帧将采集的路况视频剪辑成JPG格式的图片,利用剪辑标注软件labelimg标注每张图像,在标注分类车辆的同时生成XML文件,按照voc数据集的标准制作成含有5种车辆形态分类的数据集;利用下载的中文车牌数据集进行重新标注,所述中文车牌数据集是将完整车牌进行字符分割后分别将单个字符输入进神经网络进行识别;
步骤B,搭建基于YOLOV2改进后的卷积神经网络,YOLOV2对小目标识别效果不理想,据此在YOLOV2的网络结构中添加残差网络结构(Resnet),为了提高卷积神经网络对不同尺寸图片识别的泛化性,添加一层yolo层进行多尺度训练;
步骤C,在原Elu激活函数的基础上设计Kelu激活函数,并分别利用多种激活函数搭载进卷积神经网络进行训练,利用训练产生的loss值及检测准确率来确定激活函数;
步骤D,在训练卷积神经网络前对图像作批量归一化处理,批量归一化处理有利于提高准确率(mAP)以及显著的改善收敛性,防止过拟合(Over-fitting);
步骤E,将多方位车辆检测的卷积神经网络、车牌识别的微型卷积神经网络、QT可视化界面一齐封装进ROS(机器人操作系统)操作系统。
步骤F,进行实车测试。
作为优选方案,所述步骤A中数据集中种类的划分包括以下具体步骤:
A1,利用高清像头行车记录仪收集路况视频,剪辑成图像格式并根据本发明需要将图像分为5类,分别为被测车辆的正侧方、正前方、正后方、侧前方、侧后方;
A2,数据集包含3个文件夹,分别为Annotation、ImageSets和JPEGImages,其中文件夹Annotation中主要存放xml文件,每一个xml对应一张图像,并且每个xml中存放的是标记的各个目标的位置和类别信息,命名与对应的原始图像一样,在ImageSets文件夹下的Main文件夹,这里面存放文本文件,通常为train.txt、test.txt等,该文本文件里面的内容是需要用来训练或测试的图像的名字(无后缀无路径),JPEGImages文件夹中已按统一规则命名好的原始图像,
A3,车牌数据集分为两类,一类是完整车牌数据集,作用是在识别违章车辆时同时也能识别完整车牌,另一类是单个字符的车牌数据集,作用是识别完整车牌后将车牌提取出并进行字符分割,分别将单个字符图片依次输入进卷积神经网络进行识别。
作为优选方案,所述步骤B中搭建基于YOLOV2的卷积神经网络包括以下具体步骤:
B1:固定卷积神经网络参数,初始学习率为0.1,使用随机梯度下降,多项式速率衰减10^(-4)。
B:更改原始YOLOV2中的分类数量为5种,分别为被测车辆的正侧方、正前方、正后方、侧前方、侧后方。
C:搭建基于YOLOV2改进的卷积神经网络。包括,卷基层、残差层及多尺度层。
作为优选方案,所述步骤C中设计卷积神经网络中激活函数包括以下具体步骤:
C1,了解Elu激活函数优缺点,并针对Elu激活函数的缺点进行改进,重新设计了Kelu激活函数;
C2,将两种激活函数分别搭载进卷积神经网络进行训练。观测测试结果及训练后产生的loss值,通过测试结果可知Kelu激活更适用于违章检测。
作为优选方案,所述步骤F中设计基于卷积神经网络的违章检测系统包括以下具体步骤:
F1,将多方位车辆检测及车牌检测的两个卷积神经网络封装成ROS语言;
F2,利用QT-Creator软件将卷积神经网络检测到的信息通过信号与槽上传到可视化界面。
实施例
本发明基于卷积神经网络车辆违章检测系统的搭建是按如下步骤进行的:
步骤1:制作数据集,利用双摄像头行车记录仪采集路况视频并剪辑成图片,对图片中车辆形态进行分类。分别为车头、车尾、正侧身、侧车头、侧车尾,如图3所示。再利用Labelimg软件对图片进行标注归类制作成数据集,最后在数据集中添加负样本图像,负样本集是指照片中不存在目标车辆的背景图片,是为了降低卷积神经网络的误检率即提高其背景区分能力。为了防止训练的网络过拟合(Over-fitting),增强网络模型的泛化能力,对训练集进行增强即通过原始数据集样本生成额外副本来增加训练集的大小。在图像样本作为训练数据输入到网络前,通过随机旋转、平移和改变图像的饱和度、曝光和色调的方式,对训练集中的图像实现扩增,这样不仅能得到更多的样本,还能增强网络模型对未见过数据样本的判断能力。
步骤2:搭建基于YOLOV2改进的卷积神经网络,由于原YOLOV2卷积神经网络中所涉及的类别较多,所以将类别缩减为5个。设置初始卷积神经网络参数如学习率及学习率变化的迭代次数。
步骤3:改进网络结构,首先添加残差结构,残差结构解决了随着网络深度增加带来的退化问题,残差结构可以加快网络收敛速度。其次添加多尺度层,多尺度层的添加可以提高遮挡车辆及小目标车辆检测的准确率。
步骤4:基于原有的Elu激活函数重新设计了Kelu激活函数。
Elu激活函数公式如下:
对f(x)求导可得:
Kelu激活函数公式如下:
f(x)=ln(1+ex)-1n2
对f(x)求导可得:
由以上公式及图4所示,可知由Elu激活函数求导公式可得在x=0点处1≠α,左右导数不同,从而导致Elu激活函数在x=0不平滑,也导致在x=0处附近部分参数的不可计算,从而丢失少部分数据。由于改进后的Kelu激活函数在x>0正半轴为指数运算,计算机对指数运算的时间要明显大于非指数运算。所以Kelu激活函数在卷积神经网络检测中实时性要低于其他激活函数,但是应用于交通违章检测并不需要过高的实时性,达到每秒3帧的传输速率就可以精确的监测违章。
步骤5:在图片数据进入卷积层之前,先在输入层对图片作批量归一化处理。批量归一化可以显著改善收敛性。对输入层作批量归一化,可以加速学习过程,使后面的网络更具有鲁棒性。公式如下:
公式的第一部分是Batch内数据归一化(其中E为Batch均值,Var为方差),Batch数据近似代表了整体训练数据。
步骤6:将改进的识别多方位车辆的卷积神经网络与识别车牌的YOLOV2-tiny卷积神经网络同QT-Creator可视化界面一齐封装进ROS系统,并搭建好通信的机制。
步骤7:利用路口进行实车测试。测试过程中高清摄像头采集的视频以每秒3帧的速度以图片的形式发送到识别多方位车辆的卷积神经网络,经过卷积神经网络后得到车辆方位信息与完整车牌;之后完整车牌经过字符分割后将单个字符图片传输到YOLOV2-tiny卷积神经网络识别字符得到车牌号(如图5所示)。通过本专利中针对于禁止转弯的逻辑算法,当检测到车辆的正侧身及侧前身图像并检测图片数量达到5张后即可判定该车辆违章。车辆判定违章后,判定违章按钮变红,车牌照片及车牌号立刻会在可视化界面中显示。
本发明应用于智能车并基于卷积神经网络对道路车辆全方位检测系统包括:信息采集模块、信息处理模块、信息输出模块。
所述信息采集模块包括:高清摄像头。
所述信息处理模块包括:用于多方位车辆识别的改进后的YOLOV2卷积神经网络及用于车牌识别的YOLOV2-tiny卷积神经网络。
所述信息输出模块包括:ROS系统的信息传输模块与QT-Creator可视化界面的信号接收模块。信息处理模块将高清摄像头采集的路况图像传入违章检测系统,具体步骤如下所示:
步骤1:通过高清摄像头采集的视频图像以图片格式每秒3帧传入改进的YOLOV2卷积神经网络,识别车辆形态及车牌。
步骤2:将步骤1提取的车牌照片进行字符分隔,分割成7张单个字符图片,之后分别将7张单个字符图片依次传入YOLOV2-tiny卷积神经网络进行识别。
信息传输模块是将两个卷积神经网络检测的信息在QT-Creator可视化界面中显示,通过信号与槽的机制将对应的信息在可视化界面对应位置显示出来。
判定车辆违章需要对应相应的逻辑算法,按照违章转弯为例,如果路口摄像头检测到车辆由正侧方逐渐转变为侧前方则判定车辆违章转弯。判定车辆违章后可视化界面中的违章按钮会变红予以提示,并且将车牌信息上传至可视化界面(如图6所示)。
以上所述仅为本发明的较佳实施例,并不用于限制本发明,凡在本发明的精神和原则内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (5)
1.一种基于卷积神经网络的车辆违章检测方法,其特征在于,所述方法包括以下步骤:
步骤A,制作数据集,利用高清摄像头分别在晴天、阴天、雨天、黑夜的环境下采集城市道路视频储存在SD卡中,利用Adobe Premiere Pro视频剪辑软件按照每秒5帧将采集的路况视频剪辑成JPG格式的图片,利用剪辑标注软件labelimg标注每张图像,在标注分类车辆的同时生成XML文件,按照voc数据集的标准制作成含有5种车辆形态分类的数据集;利用下载的中文车牌数据集进行重新标注,所述中文车牌数据集是将完整车牌进行字符分割后分别将单个字符输入进神经网络进行识别;
步骤B,搭建基于YOLOV2改进后的卷积神经网络,YOLOV2对小目标识别效果不理想,据此在YOLOV2的网络结构中添加残差网络结构(Resnet),为了提高卷积神经网络对不同尺寸图片识别的泛化性,添加一层yolo层进行多尺度训练;
步骤C,在原Elu激活函数的基础上设计Kelu激活函数,并分别利用多种激活函数搭载进卷积神经网络进行训练,利用训练产生的loss值及检测准确率来确定激活函数;
步骤D,在训练卷积神经网络前对图像作批量归一化处理,批量归一化处理有利于提高准确率(mAP)以及显著的改善收敛性,防止过拟合(Over-fitting);
步骤E,将多方位车辆检测的卷积神经网络、车牌识别的微型卷积神经网络、QT可视化界面一齐封装进ROS(机器人操作系统)操作系统;
步骤F,进行实车测试。
2.根据权利要求书1所述的基于卷积神经网络的车辆违章检测方法,其特征在于,所述步骤A中数据集中种类的划分包括以下具体步骤:
A1,利用高清像头行车记录仪收集路况视频,剪辑成图像格式并根据需要将图像分为5类,分别为被测车辆的正侧方、正前方、正后方、侧前方、侧后方;
A2,数据集包含3个文件夹,分别为Annotation、ImageSets和JPEGImages,其中文件夹Annotation中主要存放xml文件,每一个xml对应一张图像,并且每个xml中存放的是标记的各个目标的位置和类别信息,命名与对应的原始图像一样,在ImageSets文件夹下的Main文件夹,这里面存放文本文件,包括train.txt、test.txt,该文本文件里面的内容是需要用来训练或测试的图像的名字,所述名字无后缀无路径,JPEGImages文件夹中已按统一规则命名好的原始图像,
A3,车牌数据集分为两类,一类是完整车牌数据集,作用是在识别违章车辆时同时也能识别完整车牌,另一类是单个字符的车牌数据集,作用是识别完整车牌后将车牌提取出并进行字符分割,分别将单个字符图片依次输入进卷积神经网络进行识别。
3.根据权利要求书1所述的基于卷积神经网络的车辆违章检测方法,其特征在于,所述步骤B中搭建基于YOLOV2的卷积神经网络包括以下具体步骤:
B1:固定卷积神经网络参数,初始学习率为0.1,使用随机梯度下降,多项式速率衰减10^(-4);
B:更改原始YOLOV2中的分类数量为5种,分别为被测车辆的正侧方、正前方、正后方、侧前方、侧后方;
C:搭建基于YOLOV2改进的卷积神经网络,包括卷基层、残差层及多尺度层。
4.根据权利要求书1所述的基于卷积神经网络的车辆违章检测方法,其特征在于,所述步骤C中设计卷积神经网络中激活函数包括以下具体步骤:
C1,了解Elu激活函数优缺点,并针对Elu激活函数的缺点进行改进,重新设计了Kelu激活函数;
C2,将两种激活函数分别搭载进卷积神经网络进行训练,观测测试结果及训练后产生的loss值,通过测试结果可知Kelu激活更适用于违章检测。
5.根据权利要求书1所述的基于卷积神经网络的车辆违章检测方法,其特征在于,所述步骤F中设计基于卷积神经网络的违章检测系统包括以下具体步骤:
F1,将多方位车辆检测及车牌检测的两个卷积神经网络封装成ROS语言;
F2,利用QT-Creator软件将卷积神经网络检测到的信息通过信号与槽上传到可视化界面。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911075126.4A CN110837837B (zh) | 2019-11-05 | 2019-11-05 | 一种基于卷积神经网络的车辆违章检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911075126.4A CN110837837B (zh) | 2019-11-05 | 2019-11-05 | 一种基于卷积神经网络的车辆违章检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110837837A CN110837837A (zh) | 2020-02-25 |
CN110837837B true CN110837837B (zh) | 2023-10-17 |
Family
ID=69574783
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911075126.4A Active CN110837837B (zh) | 2019-11-05 | 2019-11-05 | 一种基于卷积神经网络的车辆违章检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110837837B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114708560B (zh) * | 2022-06-06 | 2022-08-09 | 科大天工智能装备技术(天津)有限公司 | 一种基于yolox算法的违章停车检测方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104809443A (zh) * | 2015-05-05 | 2015-07-29 | 上海交通大学 | 基于卷积神经网络的车牌检测方法及系统 |
CN106935035A (zh) * | 2017-04-07 | 2017-07-07 | 西安电子科技大学 | 基于ssd神经网络的违章停车车辆实时检测方法 |
CN109816024A (zh) * | 2019-01-29 | 2019-05-28 | 电子科技大学 | 一种基于多尺度特征融合与dcnn的实时车标检测方法 |
WO2019144575A1 (zh) * | 2018-01-24 | 2019-08-01 | 中山大学 | 一种快速行人检测方法及装置 |
-
2019
- 2019-11-05 CN CN201911075126.4A patent/CN110837837B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104809443A (zh) * | 2015-05-05 | 2015-07-29 | 上海交通大学 | 基于卷积神经网络的车牌检测方法及系统 |
CN106935035A (zh) * | 2017-04-07 | 2017-07-07 | 西安电子科技大学 | 基于ssd神经网络的违章停车车辆实时检测方法 |
WO2019144575A1 (zh) * | 2018-01-24 | 2019-08-01 | 中山大学 | 一种快速行人检测方法及装置 |
CN109816024A (zh) * | 2019-01-29 | 2019-05-28 | 电子科技大学 | 一种基于多尺度特征融合与dcnn的实时车标检测方法 |
Non-Patent Citations (1)
Title |
---|
基于卷积神经网络的车型识别研究;刘舒娴等;《有线电视技术》;20171215(第12期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN110837837A (zh) | 2020-02-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110069986B (zh) | 一种基于混合模型的交通信号灯识别方法及系统 | |
WO2020151172A1 (zh) | 运动目标检测方法、装置、计算机设备及存储介质 | |
US10814815B1 (en) | System for determining occurrence of an automobile accident and characterizing the accident | |
Pavlic et al. | Classification of images in fog and fog-free scenes for use in vehicles | |
CN102682301B (zh) | 使用附加分类器来调节畅通路径检测 | |
CN110879950A (zh) | 多级目标分类及交通标志检测方法和装置、设备、介质 | |
KR20210080459A (ko) | 차선 검출방법, 장치, 전자장치 및 가독 저장 매체 | |
CN110222596B (zh) | 一种基于视觉的驾驶员行为分析防作弊方法 | |
CN108960074B (zh) | 基于深度学习的小尺寸行人目标检测方法 | |
CN111832410B (zh) | 一种基于视觉与激光雷达融合的前向列车检测方法 | |
CN111860610B (zh) | 一种车牌过曝及有无牌车识别的方法、设备及计算机存储介质 | |
CN110532876A (zh) | 夜晚模式镜头付着物的检测方法、系统、终端和存储介质 | |
CN112949578B (zh) | 车灯状态识别方法、装置、设备及存储介质 | |
CN112613387A (zh) | 一种基于YOLOv3的交通标志检测方法 | |
CN110837837B (zh) | 一种基于卷积神经网络的车辆违章检测方法 | |
CN115657002A (zh) | 基于交通毫米波雷达的车辆运动状态估计方法 | |
CN112509321A (zh) | 一种基于无人机的城市复杂交通情景的驾驶控制方法、系统及可读存储介质 | |
CN116740124A (zh) | 一种基于改进YOLOv8的车辆跟踪与车牌识别联合检测方法 | |
CN116630866A (zh) | 音视频雷达融合的异常事件监控方法、装置、设备及介质 | |
Guo et al. | Visibility detection based on the recognition of the preceding vehicle’s taillight signals | |
CN112071079B (zh) | 一种基于5g传输的机器视觉车辆远光灯检测预警系统 | |
CN113850112A (zh) | 基于孪生神经网络的路况识别方法和系统 | |
Shahbaz et al. | The Evaluation of Cascade Object Detector in Recognizing Different Samples of Road Signs | |
CN110633637B (zh) | 基于Haar-Like特征提取算法与灰度值差异分析的辅助驾驶方法 | |
Chen et al. | A Hierarchical Accident Recognition Method for Highway Traffic Systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |