CN107491764A - 一种基于深度卷积神经网络的违规驾驶检测方法 - Google Patents

一种基于深度卷积神经网络的违规驾驶检测方法 Download PDF

Info

Publication number
CN107491764A
CN107491764A CN201710744084.3A CN201710744084A CN107491764A CN 107491764 A CN107491764 A CN 107491764A CN 201710744084 A CN201710744084 A CN 201710744084A CN 107491764 A CN107491764 A CN 107491764A
Authority
CN
China
Prior art keywords
violation
convolutional neural
neural networks
region
depth convolutional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710744084.3A
Other languages
English (en)
Inventor
孟继成
杨涛
魏源璋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201710744084.3A priority Critical patent/CN107491764A/zh
Publication of CN107491764A publication Critical patent/CN107491764A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats

Abstract

本发明公开了一种基于深度卷积神经网络的违规驾驶检测方法，其包括以下步骤：S1、采集驾驶员驾驶过程中的图像；S2、预处理步骤S1所采集的图像，得到图像训练集；S3、通过深度卷积神经网络训练图像训练集，得到图像训练样本；S4、通过深度卷积神经网络识别系统对图像训练样本进行检测，以实现违规驾驶检测。本发明可以采用车载摄像头对驾驶员的驾驶行为进行监测，相比传统检测手段可以获取更多的有效的信息，便于判断驾驶员是否存在违规行为。

Description

一种基于深度卷积神经网络的违规驾驶检测方法
技术领域
本发明涉及违规驾驶领域，具体涉及一种基于深度卷积神经网络的违规驾驶检测方法。
背景技术
当代经济的快速发展提高了人民的生活水平，汽车保有量的不断增长就是一方面的体现，与此同时，交通事故也与日俱增。驾驶员作为道路交通系统中最重要的组成部分，在安全驾驶方面起到决定性的作用。因此，对驾驶员驾驶行为的检测和研究会对减少交通事故大有帮助。
传统的交通违规检测是通过电子摄像头对车辆信息进行捕捉，以达到检测是否闯红灯、逆行、轧线等违章行为的目的，但这种检测对驾驶员的驾驶行为不能做到很好的监测。
发明
针对现有技术中的上述不足，本发明提供的一种基于深度卷积神经网络的违规驾驶检测方法解决了现有交通违规检测对驾驶员的驾驶行为监测效果差的问题。
为了达到上述发明目的，本发明采用的技术方案为：
提供一种基于深度卷积神经网络的违规驾驶检测方法，其包括以下步骤：
S1、采集驾驶员驾驶过程中的图像；
S2、预处理步骤S1所采集的图像，得到图像训练集；
S3、通过深度卷积神经网络训练图像训练集，得到图像训练样本；
S4、通过深度卷积神经网络识别系统对图像训练样本进行检测，以实现违规驾驶检测。
进一步地，步骤S2中预处理图像并得到图像训练集的方法为：
对每个图像中的期望目标进行坐标标定：根据上左和下右两个二维坐标确定目标的矩形框，并对矩形框指定标签以对应不同的违规行为，并将指定了标签的图像制作成图像训练集。
进一步地，步骤S3中通过深度卷积神经网络训练图像训练集，得到图像训练样本的方法为：
S3-1、根据ImageNet的原始特征分类库得到初始参数W0；
S3-2、根据初始参数W0训练区域生成网络；
S3-3、根据区域生成网络提取图像训练集上的候选区域；
S3-4、根据提取的候选区域和参数W0训练Fast RCNN，得到参数W1；
S3-5、根据参数W1训练区域生成网络，得到新的候选区域；
S3-6、根据新的候选区域和参数W1训练FastRCNN，得到参数W2；
S3-7、采用与步骤S3-5和步骤S3-6相同的方法，将参数W1替换成W2进行迭代，直至得到的参数变化范围在允许阈值内，输出对应的图像训练样本。
进一步地，步骤S3-7中允许阈值的判断条件为：
其中n大于等于2。
进一步地，步骤S4中通过深度卷积神经网络识别系统对图像训练样本进行检测，以实现违规驾驶检测的方法为：
S4-1、将图像训练样本输入CNN卷积神经网络得到像素特征和区域提议；
S4-2、在区域提议中使用网格滑动扫描，根据滑动网格与区域提议的窗口全链接得到一个低维向量；
S4-3、根据低维向量得到区域提议的位置信息；判断此区域提议是否为目标样本；
S4-4、若此区域提议是目标样本，则根据区域提议的位置信息得到该位置处违规驾驶的种类，并根据深度卷积神经网络计算该区域提议中像素特征为违规驾驶的概率；
S4-5、若违规驾驶的概率大于或等于违规阈值，则判断为违规驾驶；若违规驾驶的概率低于违规阈值，则判断为正常驾驶。
进一步地，步骤S4-3中判断区域提议是否为目标样本的方法为：
根据定位精度评价公式：
IOU＝(A∪B)/(A∩B)
计算两个矩形框的重叠度，重叠比例最大的区域提议记为目标样本，剩下的区域提议若IOU大于0.7，记为目标样本；
其中矩形框A和矩形框B分别是区域提议和参照样本。
进一步地，步骤S4-5中违规阈值设置为0.9。
本发明的有益效果为：
1、本发明通过对卷积神经网络进行反复训练使其具有学习能力，提高对驾驶员行为图像的识别率，并通过采集驾驶员的驾驶行为为样本，进而构建深度学习神经网络进行识别分类，且具有良好的适应性和较高的检测效果。
2、传统检测驾驶员驾驶时是否存在违规行为是由安装在道路上的高清摄像头进行捕获，本发明采用车载摄像头对驾驶员驾驶行为进行监测，可以获取更多的有效的信息，便于判断驾驶员是否存在违规行为。
附图说明
图1为本发明的检测流程图；
图2为深度卷积神经网络训练预处理后的图像的流程图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
如图1所示，该基于深度卷积神经网络的违规驾驶检测方法包括以下步骤：
S1、采集驾驶员驾驶过程中的图像；
S2、预处理步骤S1所采集的图像，得到图像训练集；
S3、通过深度卷积神经网络训练图像训练集，得到图像训练样本；
S4、通过深度卷积神经网络识别系统对图像训练样本进行检测，以实现违规驾驶检测。
步骤S2中预处理步骤S1所采集的图像，得到图像训练集的方法为：
对每个图像中的期望目标进行坐标标定：根据上左和下右两个二维坐标确定目标的矩形框，并对矩形框指定标签以对应不同的违规行为，并将指定了标签的图像制作成VOC2007格式的图像训练集。
如图2所示，步骤S3中通过深度卷积神经网络训练图像训练集，得到图像训练样本的方法为：
S3-1、根据ImageNet的原始特征分类库得到初始参数W0；
S3-2、根据初始参数W0训练区域生成网络(RPN)；
S3-3、根据区域生成网络(RPN)提取图像训练集上的候选区域；
S3-4、根据提取的候选区域和参数W0训练Fast RCNN，得到参数W1；
S3-5、根据参数W1训练区域生成网络(RPN)，得到新的候选区域；
S3-6、根据新的候选区域和参数W1训练FastRCNN，得到参数W2；
S3-7、采用与步骤S3-5和步骤S3-6相同的方法，将参数W1替换成W2进行迭代，直至得到的参数变化范围在允许阈值内，输出对应的图像训练样本。
步骤S3-7中允许阈值的判断条件为：
其中n大于等于2。
步骤S4中通过深度卷积神经网络识别系统对图像训练样本进行检测，以实现违规驾驶检测的方法为：
S4-1、将图像训练样本输入CNN卷积神经网络得到像素特征和区域提议(RegionProposal)；
S4-2、在区域提议(Region Proposal)中使用网格滑动扫描，根据滑动网格与区域提议(Region Proposal)的窗口全链接得到一个低维向量；
S4-3、根据低维向量得到区域提议(Region Proposal)的位置信息；判断此区域提议(Region Proposal)是否为目标样本；
S4-4、若此区域提议(Region Proposal)是目标样本，则根据区域提议(RegionProposal)的位置信息得到该位置处违规驾驶的种类，并根据深度卷积神经网络计算该区域提议(Region Proposal)中像素特征为违规驾驶的概率；
S4-5、若违规驾驶的概率大于或等于违规阈值，则判断为违规驾驶；若违规驾驶的概率低于违规阈值，则判断为正常驾驶，其中违规阈值设置为0.9。
步骤S4-3中判断区域提议(Region Proposal)是否为目标样本的方法为：
根据定位精度评价公式：
IOU＝(A∪B)/(A∩B)
计算两个矩形框的重叠度，重叠比例最大的区域提议(Region Proposal)记为目标样本，剩下的区域提议(Region Proposal)若IOU大于0.7，记为目标样本；其中矩形框A和矩形框B分别是区域提议和参照样本，参照样本可以预先设置。
在本发明的一个实施例中，在车辆前部安装摄像头，可以全天候的采集驾驶员的驾驶行为信息，并将采集到的目标图像作为待检测样本进行检测，进过深度卷积神经网络系统检测后在原样本中标记出驾驶员存在何种违规驾驶行为，并可以将违规驾驶行为的类别以文本形式保存。本发明为运输公司等机构提供一套便于管理驾驶员驾驶行为的工具，只需将车载摄像头捕获的图片输入到训练好的深度卷积神经网络中，就可得到存在违规驾驶的车辆信息以及违规行为信息。
综上所述，本发明可以采用车载摄像头对驾驶员的驾驶行为进行监测，相比传统检测手段可以获取更多的有效的信息，便于判断驾驶员是否存在违规行为。

Claims (7)

1.一种基于深度卷积神经网络的违规驾驶检测方法，其特征在于，包括以下步骤：
S1、采集驾驶员驾驶过程中的图像；
S2、预处理步骤S1所采集的图像，得到图像训练集；
S3、通过深度卷积神经网络训练所述图像训练集，得到图像训练样本；
S4、通过深度卷积神经网络识别系统对所述图像训练样本进行检测，以实现违规驾驶检测。
2.根据权利要求1所述的基于深度卷积神经网络的违规驾驶检测方法，其特征在于，步骤S2中预处理图像并得到图像训练集的方法为：
对每个图像中的期望目标进行坐标标定：根据上左和下右两个二维坐标确定目标的矩形框，并对矩形框指定标签以对应不同的违规行为，并将指定了标签的图像制作成图像训练集。
3.根据权利要求2所述的基于深度卷积神经网络的违规驾驶检测方法，其特征在于，步骤S3中通过深度卷积神经网络训练所述图像训练集，得到图像训练样本的方法为：
S3-1、根据ImageNet的原始特征分类库得到初始参数W0；
S3-2、根据初始参数W0训练区域生成网络；
S3-3、根据区域生成网络提取图像训练集上的候选区域；
S3-4、根据提取的候选区域和参数W0训练Fast RCNN，得到参数W1；
S3-5、根据参数W1训练区域生成网络，得到新的候选区域；
S3-6、根据新的候选区域和参数W1训练FastRCNN，得到参数W2；
S3-7、采用与步骤S3-5和步骤S3-6相同的方法，将参数W1替换成W2进行迭代，直至得到的参数变化范围在允许阈值内，输出对应的图像训练样本。
4.根据权利要求3所述的基于深度卷积神经网络的违规驾驶检测方法，其特征在于，步骤S3-7中允许阈值的判断条件为：
其中n大于等于2。
5.根据权利要求4所述的基于深度卷积神经网络的违规驾驶检测方法，其特征在于，步骤S4中通过深度卷积神经网络识别系统对所述图像训练样本进行检测，以实现违规驾驶检测的方法为：
S4-1、将图像训练样本输入CNN卷积神经网络得到像素特征和区域提议；
S4-2、在区域提议中使用网格滑动扫描，根据滑动网格与区域提议的窗口全链接得到一个低维向量；
S4-3、根据低维向量得到区域提议的位置信息；判断此区域提议是否为目标样本；
S4-4、若此区域提议是目标样本，则根据区域提议的位置信息得到该位置处违规驾驶的种类，并根据深度卷积神经网络计算该区域提议中像素特征为违规驾驶的概率；
S4-5、若违规驾驶的概率大于或等于违规阈值，则判断为违规驾驶；若违规驾驶的概率低于违规阈值，则判断为正常驾驶。
6.根据权利要求5所述的基于深度卷积神经网络的违规驾驶检测方法，其特征在于，步骤S4-3中判断区域提议是否为目标样本的方法为：
根据定位精度评价公式：
IOU＝(A∪B)/(A∩B)
计算两个矩形框的重叠度，重叠比例最大的区域提议记为目标样本，剩下的区域提议若IOU大于0.7，记为目标样本；
其中矩形框A和矩形框B分别是区域提议和参照样本。
7.根据权利要求5所述的基于深度卷积神经网络的违规驾驶检测方法，其特征在于，步骤S4-5中违规阈值设置为0.9。
CN201710744084.3A 2017-08-25 2017-08-25 一种基于深度卷积神经网络的违规驾驶检测方法 Pending CN107491764A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710744084.3A CN107491764A (zh) 2017-08-25 2017-08-25 一种基于深度卷积神经网络的违规驾驶检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710744084.3A CN107491764A (zh) 2017-08-25 2017-08-25 一种基于深度卷积神经网络的违规驾驶检测方法

Publications (1)

Publication Number Publication Date
CN107491764A true CN107491764A (zh) 2017-12-19

Family

ID=60651007

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710744084.3A Pending CN107491764A (zh) 2017-08-25 2017-08-25 一种基于深度卷积神经网络的违规驾驶检测方法

Country Status (1)

Country Link
CN (1) CN107491764A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108227707A (zh) * 2017-12-25 2018-06-29 清华大学苏州汽车研究院（吴江） 基于激光雷达和端到端深度学习方法的自动驾驶方法
CN109086662A (zh) * 2018-06-19 2018-12-25 浙江大华技术股份有限公司 一种异常行为检测方法及装置
CN109325439A (zh) * 2018-09-18 2019-02-12 成都网阔信息技术股份有限公司 一种基于cnn的驾驶违规行为的识别方法
CN111222449A (zh) * 2020-01-02 2020-06-02 上海中安电子信息科技有限公司 一种基于固定摄像头图像的驾驶员行为检测方法
CN111613225A (zh) * 2020-04-27 2020-09-01 深圳壹账通智能科技有限公司 基于语音及图像处理的道路违规自动上报方法及系统
CN112149511A (zh) * 2020-08-27 2020-12-29 深圳市点创科技有限公司 基于神经网络的驾驶员违规行为检测方法、终端、装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106250812A (zh) * 2016-07-15 2016-12-21 汤平 一种基于快速r‑cnn深度神经网络的车型识别方法
US20170032222A1 (en) * 2015-07-30 2017-02-02 Xerox Corporation Cross-trained convolutional neural networks using multimodal images
CN106682648A (zh) * 2017-01-20 2017-05-17 博康智能信息技术有限公司北京海淀分公司 一种用户接打手机行为检测方法和装置
CN106778538A (zh) * 2016-11-28 2017-05-31 上海工程技术大学 基于层次分析法的智能驾驶行为评判方法
CN106941602A (zh) * 2017-03-07 2017-07-11 中国铁道科学研究院 机车司机行为识别方法、装置及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170032222A1 (en) * 2015-07-30 2017-02-02 Xerox Corporation Cross-trained convolutional neural networks using multimodal images
CN106250812A (zh) * 2016-07-15 2016-12-21 汤平 一种基于快速r‑cnn深度神经网络的车型识别方法
CN106778538A (zh) * 2016-11-28 2017-05-31 上海工程技术大学 基于层次分析法的智能驾驶行为评判方法
CN106682648A (zh) * 2017-01-20 2017-05-17 博康智能信息技术有限公司北京海淀分公司 一种用户接打手机行为检测方法和装置
CN106941602A (zh) * 2017-03-07 2017-07-11 中国铁道科学研究院 机车司机行为识别方法、装置及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
曹诗雨 等: "基于Fast R-CNN的车辆目标检测", 《中国图象图形学报》 *
杜兰 等: "基于卷积神经网络的SAR图像目标检测算法", 《电子与信息学报》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108227707A (zh) * 2017-12-25 2018-06-29 清华大学苏州汽车研究院（吴江） 基于激光雷达和端到端深度学习方法的自动驾驶方法
CN108227707B (zh) * 2017-12-25 2021-11-26 清华大学苏州汽车研究院（吴江） 基于激光雷达和端到端深度学习方法的自动驾驶方法
CN109086662A (zh) * 2018-06-19 2018-12-25 浙江大华技术股份有限公司 一种异常行为检测方法及装置
CN109325439A (zh) * 2018-09-18 2019-02-12 成都网阔信息技术股份有限公司 一种基于cnn的驾驶违规行为的识别方法
CN111222449A (zh) * 2020-01-02 2020-06-02 上海中安电子信息科技有限公司 一种基于固定摄像头图像的驾驶员行为检测方法
CN111613225A (zh) * 2020-04-27 2020-09-01 深圳壹账通智能科技有限公司 基于语音及图像处理的道路违规自动上报方法及系统
CN112149511A (zh) * 2020-08-27 2020-12-29 深圳市点创科技有限公司 基于神经网络的驾驶员违规行为检测方法、终端、装置

Similar Documents

Publication Publication Date Title
CN107491764A (zh) 一种基于深度卷积神经网络的违规驾驶检测方法
CN110197589B (zh) 一种基于深度学习的闯红灯违法检测方法
CN111444821B (zh) 一种城市道路标志自动识别方法
CN105354530B (zh) 一种车身颜色识别方法及装置
CN102043945B (zh) 基于车辆实时跟踪和二进指数分类车牌字符识别的方法
CN103824066B (zh) 一种基于视频流的车牌识别方法
CN102289660B (zh) 一种基于手部姿态跟踪的违规驾驶行为检测方法
CN100414561C (zh) 一种基于投影法和数学形态学的车牌提取方法
CN108921089A (zh) 车道线检测方法、装置和系统及存储介质
CN103824081B (zh) 一种室外恶劣光照条件下的快速鲁棒交通标志检测方法
CN102254152B (zh) 基于彩色跳变点和颜色密度的车牌定位方法
CN102122390B (zh) 基于深度图像进行人体检测的方法
CN109902806A (zh) 基于卷积神经网络的噪声图像目标边界框确定方法
CN107229929A (zh) 一种基于r‑cnn的车牌定位方法
CN106127137A (zh) 一种基于3d轨迹分析的目标检测识别算法
CN103559507A (zh) 基于颜色与形状特征相结合的交通标志检测方法
CN104881661B (zh) 基于结构相似度的车辆检测方法
CN108805018A (zh) 道路交通标志检测识别方法、电子设备、存储介质及系统
CN106128115A (zh) 一种基于双摄像机检测道路交通信息的融合方法
CN108960185A (zh) 基于YOLOv2的车辆目标检测方法及系统
CN102620766B (zh) 地下道路交通标志动态视认性测试方法
CN103927548B (zh) 一种新的避免车辆碰撞的刹车行为检测方法
CN106934374A (zh) 一种雾霾场景中交通标识牌的识别方法及系统
CN109241830A (zh) 基于光照生成对抗网络的课堂听课异常检测方法
CN107133563A (zh) 一种基于公安领域的视频分析系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171219

RJ01 Rejection of invention patent application after publication