CN110837837A - 一种基于卷积神经网络的违章检测方法 - Google Patents

Abstract

本发明公开一种基于卷积神经网络的违章检测方法，所述方法包括以下步骤：步骤A，制作数据集；步骤B，搭建基于YOLOV2改进后的卷积神经网络；步骤C，在原Elu激活函数的基础上设计Kelu激活函数，并分别利用多种激活函数搭载进卷积神经网络进行训练，利用训练产生的loss值及检测准确率来确定激活函数；步骤D，在训练卷积神经网络前对图像作批量归一化处理，批量归一化处理有利于提高准确率(mAP)以及显著的改善收敛性，防止过拟合(Over‑fitting)；步骤E，将多方位车辆检测的卷积神经网络、车牌识别的微型卷积神经网络、QT可视化界面一齐封装进ROS(机器人操作系统)操作系统；步骤F，进行实车测试。本发明提供的方法能提高车辆检测的成功率。

Description

一种基于卷积神经网络的违章检测方法

技术领域

本发明涉及车辆智能化检测设备领域，尤其涉及一种基于卷积神经网络的违章检测方法。

背景技术

近年来智能交通系统(Intelligent Traffic System，ITS)是未来检测城市交通违章的有效手段，交通违章的检测主要是对车辆的方位及行驶状态进行判断，利用卷积神经网络来检测车辆也逐渐成为了主要的检测方法。随着5G时代的到来，利用卷积神经网络与摄像头对违章区域的车辆进行检测并识别车牌上传系统成为可能。

目前车辆检测的方法主要分为雷达检测与摄像头检测。雷达检测主要分为激光雷达检测、毫米波雷达检测、超声波雷达检测。摄像头检测主要分为传统计算机视觉检测方法和基于卷积神经网络的检测方法。

激光雷达相较于毫米波雷达和超声波雷达优势在于精度高，对检测道路上行驶车辆以及行人都有较好的表现。但激光雷达受环境影响大，光束受遮挡后就不能正常使用，因此无法在雨雪雾霾天恶劣天气中开启，其次激光雷达造价昂贵无法在智能车上普及。从抗干扰能力上来讲毫米波导引头穿透雾、烟、灰尘的能力强，因此可以在糟糕的天气中探测，在这一点上毫米波雷达更胜一筹。

中国发明专利申请号为201610674755.9公开了一种单线激光雷达车辆目标识别方法，该方法通过单线激光雷达的探测数据，识别探测到的物体是否是车辆，并根据识别结果确定是否发出警报信息，提高汽车驾驶安全性。

摄像头检测属于计算机视觉领域。但基于卷积神经网络的图像识别相较于传统计算机视觉对图像识别的优势在于大大的减少参数数量，从而加快计算速度。且卷积神经网络对图像的分类正确率更高。

中国发明专利申请号为201611234581.0公开了一种面向智能车辆与结构化道路的前方移动车辆检测方法，在二值化的过程中，采取局部统计与双最大类间相结合的方法，选取最优阈值，使算法对参数不同的图像具有更强的包容性，增强系统的鲁棒性。

上述车辆检测技术存在受环境因素影响以及成本因素影响和计算速度过慢以及分类准确率不高的问题。

针对这个问题，本发明利用YOLOV2卷积神经网络与高清摄像头来检测禁止转弯路口的车辆违章情况及车牌识别，解决现有技术中车辆检测技术不成熟的问题。

发明内容

本发明针对现有技术中存在的问题，提供一种基于卷积神经网络的违章检测方法，解决了现有技术中车辆检测技术存在易受环境因素影响，计算速度过慢以及分类准确率不高的问题。

为实现上述目的，本发明提供的技术方案如下：

提供一种基于卷积神经网络的违章检测方法，所述方法包括以下步骤：

步骤A，制作数据集，利用高清摄像头分别在晴天、阴天、雨天、黑夜的环境下采集城市道路视频储存在SD卡中，利用Adobe PremierePro视频剪辑软件按照每秒5帧将采集的路况视频剪辑成JPG格式的图片，利用剪辑标注软件labelimg标注每张图像，在标注分类车辆的同时生成XML文件，按照voc数据集的标准制作成含有5种车辆形态分类的数据集；利用下载的中文车牌数据集进行重新标注，所述中文车牌数据集是将完整车牌进行字符分割后分别将单个字符输入进神经网络进行识别；

步骤B，搭建基于YOLOV2改进后的卷积神经网络，YOLOV2对小目标识别效果不理想，据此在YOLOV2的网络结构结构中添加残差网络结构(Resnet)，为了提高卷积神经网络对不同尺寸图片识别的泛化性，添加一层yolo层进行多尺度训练；

步骤C，在原Elu激活函数的基础上设计Kelu激活函数，并分别利用多种激活函数搭载进卷积神经网络进行训练，利用训练产生的loss值及检测准确率来确定激活函数；

步骤D，在训练卷积神经网络前对图像作批量归一化处理，批量归一化处理有利于提高准确率(mAP)以及显著的改善收敛性，防止过拟合(Over-fitting)；

步骤E，将多方位车辆检测的卷积神经网络、车牌识别的微型卷积神经网络、QT可视化界面一齐封装进ROS(机器人操作系统)操作系统。

步骤F，进行实车测试。

进一步地，所述步骤A中数据集中种类的划分包括以下具体步骤：

A1，利用高清像头行车记录仪收集路况视频，剪辑成图像格式并根据本发明需要将图像分为5类，分别为被测车辆的正侧方、正前方、正后方、侧前方、侧后方；

A2，数据集包含3个文件夹，分别为Annotation、ImageSets和JPEGImages，其中文件夹Annotation中主要存放xml文件，每一个xml对应一张图像，并且每个xml中存放的是标记的各个目标的位置和类别信息，命名与对应的原始图像一样，在ImageSets文件夹下的Main文件夹，这里面存放文本文件，通常为train.txt、test.txt等，该文本文件里面的内容是需要用来训练或测试的图像的名字(无后缀无路径)，JPEGImages文件夹中已按统一规则命名好的原始图像，

A3，车牌数据集分为两类，一类是完整车牌数据集，作用是在识别违章车辆时同时也能识别完整车牌，另一类是单个字符的车牌数据集，作用是识别完整车牌后将车牌提取出并进行字符分割，分别将单个字符图片依次输入进卷积神经网络进行识别。

进一步地，所述步骤B中搭建基于YOLOV2的卷积神经网络包括以下具体步骤：

B1：固定卷积神经网络参数，初始学习率为0.1，使用随机梯度下降，多项式速率衰减10^(-4)。

B：更改原始YOLOV2中的分类数量为5种，分别为被测车辆的正侧方、正前方、正后方、侧前方、侧后方。

C：搭建基于YOLOV2改进的卷积神经网络。如表1所示，卷基层、残差层及多尺度层。

进一步地，所述步骤C中设计卷积神经网络中激活函数包括以下具体步骤：

C1，了解Elu激活函数优缺点，并针对Elu激活函数的缺点进行改进，重新设计了Kelu激活函数；

C2，将两种激活函数分别搭载进卷积神经网络进行训练。观测测试结果及训练后产生的loss值，通过测试结果可知Kelu激活更适用于违章检测。

进一步地，所述步骤F中设计基于卷积神经网络的违章检测系统包括以下具体步骤：

F1，将多方位车辆检测及车牌检测的两个卷积神经网络封装成ROS语言；

F2，利用QT-Creator软件将卷积神经网络检测到的信息通过信号与槽上传到可视化界面。

本发明提供了一种基于卷积神经网络的违章检测方法，该方法与已有的公知技术相比，具有如下显著优点：

(1)本发明所采用的基于YOLOV2改进的卷积神经网络相较于原YOLOV2大大的提高检测准确率并增加了多尺度训练提高训练的泛化性。相较于现有成熟的YOLOV3网络改进后的网络具有更快的检测速度；

(2)本发明设计了全新的激活函数，进一步提高了多多方位车辆检测的准确率；

(3)本发明将多方位车辆检测的卷积神经网络、车牌检测的卷积神经网络、QT-Creator可视化界面集成进ROS操作系统，使得违章监测更加方便智能。分别可以通过编写不同的逻辑算法来检测不同的交通违章。

附图说明

图1为本发明基于卷积神经网络的违章检测方法流程图；

图2是本发明基于卷积神经网络的训练及测试流程图；

图3是车辆检测所有分类结果图；

图4是完整车牌数据集图；

图5是车牌单个字符数据集图；

图6是违章检测系统可视化界面图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施适用于说明本发明，但不用来限制本发明的范围。

参考图1，本发明基于卷积神经网络车辆违章检测方法包括如下步骤：

步骤A，制作数据集，利用高清摄像头分别在晴天、阴天、雨天、黑夜的环境下采集城市道路视频储存在SD卡中，利用Adobe PremierePro视频剪辑软件按照每秒5帧将采集的路况视频剪辑成JPG格式的图片，利用剪辑标注软件labelimg标注每张图像，在标注分类车辆的同时生成XML文件，按照voc数据集的标准制作成含有5种车辆形态分类的数据集；利用下载的中文车牌数据集进行重新标注，所述中文车牌数据集是将完整车牌进行字符分割后分别将单个字符输入进神经网络进行识别；

步骤B，搭建基于YOLOV2改进后的卷积神经网络，YOLOV2对小目标识别效果不理想，据此在YOLOV2的网络结构结构中添加残差网络结构(Resnet)，为了提高卷积神经网络对不同尺寸图片识别的泛化性，添加一层yolo层进行多尺度训练；

步骤C，在原Elu激活函数的基础上设计Kelu激活函数，并分别利用多种激活函数搭载进卷积神经网络进行训练，利用训练产生的loss值及检测准确率来确定激活函数；

步骤D，在训练卷积神经网络前对图像作批量归一化处理，批量归一化处理有利于提高准确率(mAP)以及显著的改善收敛性，防止过拟合(Over-fitting)；

步骤E，将多方位车辆检测的卷积神经网络、车牌识别的微型卷积神经网络、QT可视化界面一齐封装进ROS(机器人操作系统)操作系统。

步骤F，进行实车测试。

作为优选方案，所述步骤A中数据集中种类的划分包括以下具体步骤：

A1，利用高清像头行车记录仪收集路况视频，剪辑成图像格式并根据本发明需要将图像分为5类，分别为被测车辆的正侧方、正前方、正后方、侧前方、侧后方；

A2，数据集包含3个文件夹，分别为Annotation、ImageSets和JPEGImages，其中文件夹Annotation中主要存放xml文件，每一个xml对应一张图像，并且每个xml中存放的是标记的各个目标的位置和类别信息，命名与对应的原始图像一样，在ImageSets文件夹下的Main文件夹，这里面存放文本文件，通常为train.txt、test.txt等，该文本文件里面的内容是需要用来训练或测试的图像的名字(无后缀无路径)，JPEGImages文件夹中已按统一规则命名好的原始图像，

A3，车牌数据集分为两类，一类是完整车牌数据集，作用是在识别违章车辆时同时也能识别完整车牌，另一类是单个字符的车牌数据集，作用是识别完整车牌后将车牌提取出并进行字符分割，分别将单个字符图片依次输入进卷积神经网络进行识别。

作为优选方案，所述步骤B中搭建基于YOLOV2的卷积神经网络包括以下具体步骤：

B1：固定卷积神经网络参数，初始学习率为0.1，使用随机梯度下降，多项式速率衰减10^(-4)。

B：更改原始YOLOV2中的分类数量为5种，分别为被测车辆的正侧方、正前方、正后方、侧前方、侧后方。

C：搭建基于YOLOV2改进的卷积神经网络。如表1所示，卷基层、残差层及多尺度层。

作为优选方案，所述步骤C中设计卷积神经网络中激活函数包括以下具体步骤：

C1，了解Elu激活函数优缺点，并针对Elu激活函数的缺点进行改进，重新设计了Kelu激活函数；

C2，将两种激活函数分别搭载进卷积神经网络进行训练。观测测试结果及训练后产生的loss值，通过测试结果可知Kelu激活更适用于违章检测。

作为优选方案，所述步骤F中设计基于卷积神经网络的违章检测系统包括以下具体步骤：

F1，将多方位车辆检测及车牌检测的两个卷积神经网络封装成ROS语言；

F2，利用QT-Creator软件将卷积神经网络检测到的信息通过信号与槽上传到可视化界面。

实施例

本发明基于卷积神经网络车辆违章检测系统的搭建是按如下步骤进行的：

步骤1：制作数据集，利用双摄像头行车记录仪采集路况视频并剪辑成图片，对图片中车辆形态进行分类。分别为车头、车尾、正侧身、侧车头、侧车尾，如图3所示。再利用Labelimg软件对图片进行标注归类制作成数据集，最后在数据集中添加负样本图像，负样本集是指照片中不存在目标车辆的背景图片，是为了降低卷积神经网络的误检率即提高其背景区分能力。为了防止训练的网络过拟合(Over-fitting)，增强网络模型的泛化能力，对训练集进行增强即通过原始数据集样本生成额外副本来增加训练集的大小。在图像样本作为训练数据输入到网络前，通过随机旋转、平移和改变图像的饱和度、曝光和色调的方式，对训练集中的图像实现扩增，这样不仅能得到更多的样本，还能增强网络模型对未见过数据样本的判断能力。

步骤2：搭建基于YOLOV2改进的卷积神经网络，由于原YOLOV2卷积神经网络中所涉及的类别较多，所以将类别缩减为5个。设置初始卷积神经网络参数如学习率及学习率变化的迭代次数。

步骤3：改进网络结构，首先添加残差结构，残差结构解决了随着网络深度增加带来的退化问题，残差结构可以加快网络收敛速度。其次添加多尺度层，多尺度层的添加可以提高遮挡车辆及小目标车辆检测的准确率。

步骤4：基于原有的Elu激活函数重新设计了Kelu激活函数。

Elu激活函数公式如下：

对f(x)求导可得：

Kelu激活函数公式如下：

f(x)＝ln(1+e^x)-1n2

对f(x)求导可得：

由以上公式及图4所示，可知由Elu激活函数求导公式可得在x＝0点处1≠α，左右导数不同，从而导致Elu激活函数在x＝0不平滑，也导致在x＝0处附近部分参数的不可计算，从而丢失少部分数据。由于改进后的Kelu激活函数在x＞0正半轴为指数运算，计算机对指数运算的时间要明显大于非指数运算。所以Kelu激活函数在卷积神经网络检测中实时性要低于其他激活函数，但是应用于交通违章检测并不需要过高的实时性，达到每秒3帧的传输速率就可以精确的监测违章。

步骤5：在图片数据进入卷积层之前，先在输入层对图片作批量归一化处理。批量归一化可以显著改善收敛性。对输入层作批量归一化，可以加速学习过程，使后面的网络更具有鲁棒性。公式如下：

公式的第一部分是Batch内数据归一化(其中E为Batch均值，Var为方差)，Batch数据近似代表了整体训练数据。

步骤6：将改进的识别多方位车辆的卷积神经网络与识别车牌的YOLOV2-tiny卷积神经网络同QT-Creator可视化界面一齐封装进ROS系统，并搭建好通信的机制。

步骤7：利用路口进行实车测试。测试过程中高清摄像头采集的视频以每秒3帧的速度以图片的形式发送到识别多方位车辆的卷积神经网络，经过卷积神经网络后得到车辆方位信息与完整车牌；之后完整车牌经过字符分割后将单个字符图片传输到YOLOV2-tiny卷积神经网络识别字符得到车牌号(如图5所示)。通过本专利中针对于禁止转弯的逻辑算法，当检测到车辆的正侧身及侧前身图像并检测图片数量达到5张后即可判定该车辆违章。车辆判定违章后，判定违章按钮变红，车牌照片及车牌号立刻会在可视化界面中显示。

本发明应用于智能车并基于卷积神经网络对道路车辆全方位检测系统包括：信息采集模块、信息处理模块、信息输出模块。

所述信息采集模块包括：高清摄像头。

所述信息处理模块包括：用于多方位车辆识别的改进后的YOLOV2卷积神经网络及用于车牌识别的YOLOV2-tiny卷积神经网络。

所述信息输出模块包括：ROS系统的信息传输模块与QT-Creator可视化界面的信号接收模块。信息处理模块将高清摄像头采集的路况图像传入违章检测系统，具体步骤如下所示：

步骤1：通过高清摄像头采集的视频图像以图片格式每秒3帧传入改进的YOLOV2卷积神经网络，识别车辆形态及车牌。

步骤2：将步骤1提取的车牌照片进行字符分隔，分割成7张单个字符图片，之后分别将7张单个字符图片依次传入YOLOV2-tiny卷积神经网络进行识别。

信息传输模块是将两个卷积神经网络检测的信息在QT-Creator可视化界面中显示，通过信号与槽的机制将对应的信息在可视化界面对应位置显示出来。

判定车辆违章需要对应相应的逻辑算法，按照违章转弯为例，如果路口摄像头检测到车辆由正侧方逐渐转变为侧前方则判定车辆违章转弯。判定车辆违章后可视化界面中的违章按钮会变红予以提示，并且将车牌信息上传至可视化界面(如图6所示)。

以上所述仅为本发明的较佳实施例，并不用于限制本发明，凡在本发明的精神和原则内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于卷积神经网络的违章检测方法，其特征在于，所述方法包括以下步骤：

步骤A，制作数据集，利用高清摄像头分别在晴天、阴天、雨天、黑夜的环境下采集城市道路视频储存在SD卡中，利用Adobe Premiere Pro视频剪辑软件按照每秒5帧将采集的路况视频剪辑成JPG格式的图片，利用剪辑标注软件labelimg标注每张图像，在标注分类车辆的同时生成XML文件，按照voc数据集的标准制作成含有5种车辆形态分类的数据集；利用下载的中文车牌数据集进行重新标注，所述中文车牌数据集是将完整车牌进行字符分割后分别将单个字符输入进神经网络进行识别；

步骤B，搭建基于YOLOV2改进后的卷积神经网络，YOLOV2对小目标识别效果不理想，据此在YOLOV2的网络结构结构中添加残差网络结构(Resnet)，为了提高卷积神经网络对不同尺寸图片识别的泛化性，添加一层yolo层进行多尺度训练；

步骤C，在原Elu激活函数的基础上设计Kelu激活函数，并分别利用多种激活函数搭载进卷积神经网络进行训练，利用训练产生的loss值及检测准确率来确定激活函数；

步骤D，在训练卷积神经网络前对图像作批量归一化处理，批量归一化处理有利于提高准确率(mAP)以及显著的改善收敛性，防止过拟合(Over-fitting)；

步骤E，将多方位车辆检测的卷积神经网络、车牌识别的微型卷积神经网络、QT可视化界面一齐封装进ROS(机器人操作系统)操作系统。

步骤F，进行实车测试。

2.根据权利要求书1所述的基于卷积神经网络的车辆违章检测方法，其特征在于，所述步骤A中数据集中种类的划分包括以下具体步骤：

A1，利用高清像头行车记录仪收集路况视频，剪辑成图像格式并根据本发明需要将图像分为5类，分别为被测车辆的正侧方、正前方、正后方、侧前方、侧后方；

A2，数据集包含3个文件夹，分别为Annotation、ImageSets和JPEGImages，其中文件夹Annotation中主要存放xml文件，每一个xml对应一张图像，并且每个xml中存放的是标记的各个目标的位置和类别信息，命名与对应的原始图像一样，在ImageSets文件夹下的Main文件夹，这里面存放文本文件，通常为train.txt、test.txt等，该文本文件里面的内容是需要用来训练或测试的图像的名字(无后缀无路径)，JPEGImages文件夹中已按统一规则命名好的原始图像，

A3，车牌数据集分为两类，一类是完整车牌数据集，作用是在识别违章车辆时同时也能识别完整车牌，另一类是单个字符的车牌数据集，作用是识别完整车牌后将车牌提取出并进行字符分割，分别将单个字符图片依次输入进卷积神经网络进行识别。

3.根据权利要求书1所述的基于卷积神经网络的车辆违章检测方法，其特征在于，所述步骤B中搭建基于YOLOV2的卷积神经网络包括以下具体步骤：

B1：固定卷积神经网络参数，初始学习率为0.1，使用随机梯度下降，多项式速率衰减10^(-4)。

B：更改原始YOLOV2中的分类数量为5种，分别为被测车辆的正侧方、正前方、正后方、侧前方、侧后方。

C：搭建基于YOLOV2改进的卷积神经网络。如表1所示，卷基层、残差层及多尺度层。

4.根据权利要求书1所述的基于卷积神经网络的车辆违章检测方法，其特征在于，所述步骤C中设计卷积神经网络中激活函数包括以下具体步骤：

C1，了解Elu激活函数优缺点，并针对Elu激活函数的缺点进行改进，重新设计了Kelu激活函数；

C2，将两种激活函数分别搭载进卷积神经网络进行训练。观测测试结果及训练后产生的loss值，通过测试结果可知Kelu激活更适用于违章检测。

5.根据权利要求书1所述的基于卷积神经网络的车辆违章检测方法，其特征在于，所述步骤F中设计基于卷积神经网络的违章检测系统包括以下具体步骤：

F1，将多方位车辆检测及车牌检测的两个卷积神经网络封装成ROS语言；

F2，利用QT-Creator软件将卷积神经网络检测到的信息通过信号与槽上传到可视化界面。

Images