CN106611169B - 一种基于深度学习的危险驾驶行为实时检测方法 - Google Patents

一种基于深度学习的危险驾驶行为实时检测方法 Download PDF

Info

Publication number
CN106611169B
CN106611169B CN201611267904.6A CN201611267904A CN106611169B CN 106611169 B CN106611169 B CN 106611169B CN 201611267904 A CN201611267904 A CN 201611267904A CN 106611169 B CN106611169 B CN 106611169B
Authority
CN
China
Prior art keywords
layer
driving behavior
dangerous driving
front truck
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611267904.6A
Other languages
English (en)
Other versions
CN106611169A (zh
Inventor
康宇
陈绍冯
李泽瑞
崔艺
王雪峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN201611267904.6A priority Critical patent/CN106611169B/zh
Publication of CN106611169A publication Critical patent/CN106611169A/zh
Application granted granted Critical
Publication of CN106611169B publication Critical patent/CN106611169B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种基于深度学习的危险驾驶行为实时检测方法，搭建前车图像采集系统，收集训练样本并进行人工标注，建立危险驾驶行为数据集；基于深度学习的方法，根据危险驾驶行为数据集的特点，提出空间金字塔池化的卷积深度置信归一化分类网络(SPP‑CDBRNet)模型；对建立的数据集进行预处理，采用带动量的随机梯度下降方法，利用预处理后的数据集对SPP‑CDBRNet模型进行训练，得到能够精确识别是否具有危险驾驶行为(驾驶途中使用手持电话和抽烟)的SPP‑CDBRNet；利用确定的SPP‑CDBRNet模型，对前车图像进行检测，实现对危险驾驶行为的实时检测。本发明能够有效地提高危险驾驶行为检测的精度，并有具有良好的实时性和迁移性，具有广阔的应用前景。

Description

一种基于深度学习的危险驾驶行为实时检测方法
技术领域
本发明涉及智能交通领域中的危险驾驶行为检测的相关问题，具体涉及一种基于深度学习的危险驾驶行为实时检测方法。
背景技术
随着机械制造和车辆工程技术的进步以及人民经济生活水平的提高，我国的汽车和驾驶员数量在不断攀升，交通工具的进步给人们带来生活便利的同时，也造成了交通事故的频发，对人民的生命财产安全造成了极大的威胁，其中接听电话、抽烟等违规驾驶行为是造成事故的主要原因，这也引起了政府、高校等研究机构和汽车企业的重视，对违规驾驶行为的检测、提醒、监督也成为了目前的一个研究热点。
交通事故造成的人员伤亡和财产损失是非常巨大的，并且在全球范围内每年我国的交通事故数量都比其他国家高，这十分不利于我国的经济发展和社会进步。据欧美的一些调查显示，驾驶员人为因素造成的交通事故数量占事故总量的90％左右，其中85％左右是由驾驶员违规操作、行为规范差、经验不足等造成的，驾驶途中使用手持电话、抽烟等行为在交通违法行为中排名靠前。英国一家交通研究所研究称，驾驶途中使用电话时的大脑反应速度比酒后驾驶(血液中酒精浓度0.08w/v)慢30％，车祸发生的概率比正常驾驶时高4倍，且极易造成交通阻塞，这主要是由于接听电话造成驾驶人员注意力不集中造成的。驾驶途中抽烟易造成驾驶行为不规范、血氧饱和度降低并造成注意力下降、眼睛的感光性和适应性下降，影响驾驶安全。
目前的危险驾驶行为检测主要分为接触式和非接触式两大类。接触式检测主要有两类：(1)基于驾驶员生理特征分析的危险驾驶行为检测，例如吴群.基于心电信号的驾驶疲劳方法研究[D].杭州：浙江大学，2008。这类方法需要驾驶员佩戴一些生理、心理检测装置，操作复杂，佩戴不便，极易受到驾驶员个体因素的影响，不能真实有效的反应实际情况，并且由于价格和佩戴舒适度的影响，推广不易；(2)基于车辆传感器检测的检测系统，例如张希波.基于方向盘操作的驾驶人疲劳状态检测方法[J].清华大学学报：自然科学版，2010，50(7)：1072-1076。这类方法是通过安装能够检测出车辆状态的各类传感器，通过车辆状态分析驾驶员行为并进行预报，此种方法对硬件要求高，价格昂贵，且由于不同驾驶员的驾驶行为差异较大，十分容易造成干扰，误报率高。
非接触式检测的方法，目前主要是通过在车内安装摄像头，通过传统的图像处理的方法进行检测分析，例如申请号201510585266.1，发明名称为《一种适用于多姿态下的驾驶人员接打电话行为检测方法》，这种方法相比于接触式检测方法受干扰因素小，使用方便，价格便宜，但难以满足检测实时性的要求，易受光线、驾驶员体貌的影响，并且图像分析需要根据全局和上下文信息进行判断，而传统的图像处理方法在第一步提取局部纹理特征的时候就丢失了全局信息，造成准确率的下降。
发明内容
本发明技术解决问题：克服现有技术的不足，提供一种基于深度学习的危险驾驶行为实时检测方法，能够有效地提高危险驾驶行为检测的精度，并有具有良好的实时性和迁移性，具有广阔的应用前景。
本发明技术解决这群：一种基于深度学习的危险驾驶行为实时检测方法，包括以下步骤：
步骤一：搭建前车图像采集系统，收集训练样本并进行人工标注，建立危险驾驶行为数据集。
在城市随机选取五个路口，架设前车图像采集装置，收集前车图像，除去无效的前车图像后进行人工标注，标注后的前车图像组成标注前车图像池，从标注的前车图像池中随机选取2-5万张(本发明实例采用2万张)作为测试集；从标注前车图像池中的剩余图像中选取2-5万张(本发明实例采用2万张)图像中无危险驾驶行为的前车图像、2-5万张(本发明实例采用2万张)图像中仅存在驾驶途中使用手持电话一种危险驾驶行为的前车图像、2-5万张(本发明实例采用2万张)图像中仅存在驾驶途中抽烟一种危险行为的前车图像、2-5万张(本发明实例采用2万张)图像中存在既驾驶途中使用手持电话和吸烟两种危险行为的前车图像，这四类前车图像分别以0，1，2，3开头的数字命名，每类的2-5万张前车图像中随机选取20％作为验证集(本发明实例每类4000张，共2万张作为验证集)，每类前车图像中剩余的80％(本发明实例每类16000张)作为训练集。
步骤二：基于深度学习的方法，根据危险驾驶行为数据集的特点，提出空间金字塔池化的卷积深度置信归一化分类网络SPP-CDBRNet模型。
空间金字塔池化的卷积深度置信归一化分类网络SPP-CDBRNet模型自上而下依次由数据层data、卷积深度置信归一化模型CDBRN 1、卷积深度置信归一化模型CDBRN2、卷积层cnn3、卷积层cnn4、卷积层cnn5、降采样层pool5、空间金字塔池化层spp6、全连接层fc7、全连接层fc8、全连接层fc9，损失层loss构成，数据层实现危险驾驶行为数据集的导入，卷积深度置信归一化模型CDBRN1与卷积深度置信归一化模型CDBRN2连用可以提取到输入的图像更紧致的特征；卷积层cnn3、卷积层cnn4、卷积层cnn5连用能够学习到全局性特征，卷积层cnn3、卷积层cnn4、卷积层cnn5后的降采样层pool5降低数据维度，其后紧跟的全连接层fc7、全连接层fc8、对前面提取出的特征进行组合赋予不同的权重，全连接层fc9构成一个分类器，对输入的图像分类，损失层loss用于计算前层网络分类结果与真实结果之间的损失值，label为危险驾驶行为数据集中对应于前车图像的分类标签，如图3所示，图中DriveNet为搭建网络架构模型时为空间金字塔池化的卷积深度置信归一化分类网络SPP-CDBRNet的命名。
1)卷积深度置信归一化模型CDBRN1和卷积深度置信归一化模型CDBRN2
每个卷积深度置信归一化模型CDBRN均包含可视层V、隐含层H、降采样层P、归一化层L，如图2所示。可视层实现对预处理前车图像的输入，为方便描述，输入前车图像为正方形大小为W*W，记可视层大小为WV*WV，隐含层滤波器大小为KH*KH，滤波器个数为NH,步长为SdH，在输入的每个边需要补充的像素为PadH，降采样层P滤波器大小为KP*KP，滤波器个数为NP,步长为SdP，在输入的每个边需要补充的像素为PadP。因此，隐含层(H)大小WV＝(W+2×padH-KH)/SdH+1，降采样层P大小WP＝(W+2×padP-KP)/SdP+1。
卷积深度置信归一化模型CDBRN每个状态(v，h)的能量函数E为：
对有如下限制：
卷积深度置信归一化模型CDBRN1和卷积深度置信归一化模型CDBRN2均有一个对应的能量函数，有能量函数是因为它采用的了限制玻尔兹曼机的架构，所以必然有能量函数，又由于其中包含了卷积操作，所以其能量函数与一般的限制玻尔兹曼机的不同，是含有卷积的能量函数，能量函数对于卷积深度置信归一化模型CDBRN的作用就相当于损失函数对于网络架构的作用一样，卷积深度置信归一化模型CDBRN是通过能量函数的反向传播来调整参数的，因此每个卷积深度置信归一化模型CDBRN均由一个对应的能量函数。
其中，(v，h)代表能量函数的每一种可能的状态，
K是可视层和隐含层含有的特征映射的数量，H代表隐含层，P代表可视层，H和P都有K组特征映射Hk和Pk，k＝1，2，…K，WV是可视层的宽度，WH是隐含层的宽度，是隐含层H的第k个特征映射，i和j分别代表在特征映射中的行数和列数，代表卷积权重Wk的180度旋转，*代表卷积操作，bk是Hk中所有的单元共享的偏差，c是可视层单元共享的偏差，vi,j是可视层第i行第j列的单元，α是对应于隐藏层某个单元的降采样结果。
2)空间池金字塔化SPP-Net
一般的网络都只能输入固定大小的图像，需要经过裁剪或者缩放等处理才能作为输入送到网络中，但这些处理往往会降低检测的精度，而空间金字塔池化能够使得任意大小的特征图都能够转化成固定大小的特征向量，从而使得加入了空间金字塔池化的网络可以输入任意大小的图像，提高网络的精度并减少网络的限制性。
设一张图像大小为W*W，希望提取出N个特征向量，为描述方便，设金字塔有两层，第一层提取出N1个特征向量，第二层提取出N2个特征向量，N＝N1+N2,那么第一层的窗大小为(W/N1，W/N1)，第二层的窗大小为(W/N2，W/N2)。
3)卷积层、池化层和全连接层
卷积神经网络包含特征提取层和特征映射层两层，其中特征提取层的每个神经元与前一层的局部连接域相连并提取局部特征，特征映射层主要通过激活函数使得特征映射具有位移不变性，并通过权值共享降低自由参数个数。
空间金字塔池化的卷积深度置信归一化网络采用了三个卷积层加一个降采样层的方法来学习全局化的特征，因为一个卷积层学到的特征往往是局部的。
4)空间金字塔池化的卷积深度置信归一化分类网络SPP-CDBRNet各层的相关参数
卷积深度置信归一化模型CDBRN1包含可视层V1、隐含层H1、降采样层P1、归一化层L1，可视层V1输入的是经过预处理的前车图像，隐含层H1的数据是可视层V1通过卷积得到的，降采样层P1的数据是隐含层H1数据通过降采样得到的，降采样层P1的数据经过归一化操作后生成归一化层L1数据；隐含层H1的步长为4，卷积核为11，滤波器个数为96；降采样层P1的步长为2，池化区域为3*3，归一化层L1的缩放比例为0.001，指数为0.75，求和的空间区域长度为5*5；
卷积深度置信归一化模型CDBRN2包含可视层V2、隐含层H2、降采样层P2、归一化层L2，可视层V2的输入为卷积深度置信归一化模型CDBRN1归一化层L1的输出，隐含层H2的步长为4，卷积核为5，滤波器个数为256，降采样层P2的步长为2，池化区域为3*3，最后的归一化层L2的缩放比例为0.001，指数为0.75，求和的空间区域长度为5*5；
卷积深度置信归一化模型CDBRN2的归一化层L2的输出作为其后接的卷积层cnn3的输入，所述卷积层cnn3的卷积核大小为3*3，滤波器个数为384，卷积层cnn 4的卷积核大小为3*3，滤波器个数为384，卷积层cnn5的卷积核大小为3*3，滤波器个数为256；
卷积层cnn5后接降采样层pool5，降采样层pool5的卷积核大小为3*3，步长为2；
空间金字塔池化层spp6使用的是单层的空间金字塔，窗大小设为ns*ns, 为降采样层pool5输出的特征图长度，其后接的全连接层fc7、全连接层fc8、全连接层fc9的神经元个数分别为2048、1024、4；
损失层loss的类型为Softmax。
步骤三：对建立的数据集进行预处理，采用带动量的随机梯度下降方法，利用预处理后的数据集对空间金字塔池化的卷积深度置信归一化分类网络SPP-CDBRNet模型进行训练，得到能够精确识别是否具有危险驾驶行为(驾驶途中使用手持电话和抽烟)的空间金字塔池化的卷积深度置信归一化分类网络SPP-CDBRNet
1)预处理方法
在实际应用中的图像可能有多种格式，比如：jpg、jpeg、png等，为了能使用于各种情况，先对前车图像进行处理，统一转化为lmdb格式。首先创建一个sh脚本文件，调用linux命令来生成训练集、测试集的前车图像清单，然后调用caffe自带的creat_lmdb.sh脚本文件生成最终的lmdb格式数据。由于图像减去均值后再进行训练能够提高训练速度和精度，所以在预处理中对转化为lmdb格式的前车图像进行减均值操作。
2)训练方法
采用随机梯度下降加动量的配置，相比普通的随即梯度下降算法，这种配置能极大地加快收敛速度，尤其是对高区率、梯度很小但一致或噪声梯度很有效。其参数更新规则为：
θ←θ+v
其中，v为相比于普通的随机梯度下降增加的速度向量，α为动量参数，ε为学习速率，为针对权重θ的微分，m为minibatch大小，L(f(x(i)；θ),y(i))为损失函数，x(i)为针对权样本中的某个样例，y(i)为对应的标签。
本发明与现有技术相比优点在于：
(1)本发明能够准确地对驾驶员行车过程中使用手持电话和抽烟这两种危险驾驶行为进行检测。
(2)相比于目前已有的方法，本发明成本低，检测速度快，可以输入任意大小的图像，受外界干扰小，具有良好的实时性和迁移性，并且能有效提高检测的精度，具有十分广阔的应用前景。
附图说明
图1为本发明方法的流程示意图；
图2为卷积深度置信归一化模型CDBRN的结构示意图；
图3为本发明中空间金字塔池化的卷积深度置信归一化网络SPP-CDBRNet的结构示意图。
具体实施方式
下面结合附图及实施例对本发明进行详细说明。
在叙述本发明之前对下面叙述到的相关术语进行一下说明，
1)convert_imageset命令：caffe提供的图像转换工具，用于将前车图像转换成lmdb/leveldb格式。
使用方法：convert_imageset[FLAGS]ROOTFOLDER/LISTFILE DB_NAME
参数：ROOTFOLDER表示输入的文件夹
参数：LISTFILE表示输入文件列表
可选参数：[FLAGS]可以指示是否使用颜色空间，编码等。
2)Lmdb格式：是caffe支持的一种数据格式，常用于单标签数据，像分类等。
3)compute_image_mean.cpp：caffe提供的用于计算训练数据库平均图像的文件。
使用方法：compute_image_mean[FLAGS]INPUT_DB[OUTPUT_FILE]\n”)
参数：INPUT_DB表示数集库
参数(可选)：OUTPUT_FILE表示输出文件名。
如图1所示，本发明的一种基于深度学习的危险驾驶行为实时检测方法，包括以下步骤：1、搭建前车图像采集系统，收集训练样本并进行人工标注，建立危险驾驶行为数据集；2、基于深度学习的方法，根据危险驾驶行为数据集的特点，提出空间金字塔池化的卷积深度置信归一化分类网络SPP-CDBRNet模型；3、对建立的数据集进行预处理，采用带动量的随机梯度下降方法，利用预处理后的数据集对空间金字塔池化的卷积深度置信归一化分类网络SPP-CDBRNet模型进行训练，得到能够精确识别是否具有危险驾驶行为(驾驶途中使用手持电话和抽烟)的空间金字塔池化的卷积深度置信归一化分类网络SPP-CDBRNet；4、利用确定的空间金字塔池化的卷积深度置信归一化分类网络SPP-CDBRNet模型，对前车图像进行检测，实现对危险驾驶行为的实时检测。本发明能够有效地提高危险驾驶行为检测的精度，并有具有良好的实时性和迁移性，具有广阔的应用前景。
具体实施如下：
一、搭建前车图像采集系统，收集训练样本并进行人工标注，建立危险驾驶行为数据集
在城市随机选取五个路口，架设前车图像采集装置，收集前车图像，除去无效的前车图像后进行人工标注，标注后的前车图像组成标注前车图像池，从标注的前车图像池中随机选取2-5万张(本发明实例采用2万张)作为测试集；从标注前车图像池中的剩余图形中选取2-5万张(本发明实例采用2万张)图像中无危险驾驶行为的前车图像、2-5万张(本发明实例采用2万张)图像中仅存在驾驶途中使用手持电话一种危险驾驶行为的前车图像、2-5万张(本发明实例采用2万张)图像中仅存在驾驶途中抽烟一种危险行为的前车图像、2-5万张(本发明实例采用2万张)图像中存在既驾驶途中使用手持电话和吸烟两种危险行为的前车图像，这四类前车图像分别以0，1，2，3开头的数字命名，每类的2-5万张前车图像中随机选取20％作为验证集(本发明实例每类4000张，共2万张作为验证集)，每类前车图像中剩余的80％作为训练集。将每一类的4000张作为验证集的图像存至同一文件夹中，命名为test，将每一类中作为训练集的16000张的前车图像存至同一文件夹中，命名为train，将test和train文件夹均存至caffe下的data文件夹中的drive文件夹中。
二、对准备的数据进行预处理
在caffe的examples文件夹下创建一个drive的文件夹用于存放需要的配置文件和脚本文件。
1)将前车图像转化为lmdb格式
为了拓宽本发明的方法使用范围，使其能适用于各种格式的图像，首先将准备好的数据转化为lmdb格式。在drive文件夹下创建一个脚本文件drive_list.sh，用来生成训练集和测试集的txt格式的清单，运行该脚本文件，会在脚本编写的路径下分别生成关于训练集和测试集的txt文件，在这里将路径设置为caffe/examples/drive，txt文件中包含的是前车图像的列表清单。然后编写一个脚本文件调用caffe自带的convert_imageset命令用于转化数据格式，运行该脚本后会在相应路径caffe/examples/drive下生成img_train_lmdb和img_test_lmdb两个文件夹，其中保存的是转化后的lmdb文件。
2)减均值操作
为提高训练速度和精度，直接调用caffe自带的计算均值的文件compute_image_mean.cpp进行减均值预处理，在相应的路径下会生成均值文件mean.binaryproto。
三、搭建网络模型编写配置文件
1)搭建空间金字塔池化的卷积深度置信归一化分类网络SPP-CDBRNet模型
模型采用本发明提出的空间金字塔池化的卷积深度置信归一化分类网(SPP-CDBRNet模型，故须自己编写空间金字塔池化的卷积深度置信归一化分类网络SPP-CDBRNet模型架构的prototxt格式的文件，在drive文件夹下新建一个drive_train_test.prototxt文件，根据网络架构的编写规则编写，空间金字塔池化的卷积深度置信归一化网络SPP-CDBRNet模型自上而下依次由数据层data、卷积深度置信归一化模型CDBRN 1和卷积深度置信归一化模型CDBRN2、卷积层cnn3、卷积层cnn4、卷积层cnn5后分别有激活层relu3、激活层relu4、激活层relu5，以relu函数作为激活函数，能有效解决梯度消失的问题，增加网络训练成功率，进而提升危险驾驶行为实时检测的效率。、降采样层pool5、空间金字塔池化层spp6、全连接层fc7、全连接层fc8、全连接层fc9(全连接层fc7与全连接层fc8均采用relu激活函数，且全连接层fc7与全连接层fc8均包含dropout层，可以有效防止权值过渡拟合，增加网络训练成功率，进而提升危险驾驶行为实时检测的效率)，一个损失层loss构成，label为危险驾驶行为数据集中对应于前车图像的分类标签，为这个网络架构模型命名为DriveNet，如图3所示。
在drive_train_test.prototxt文件中，数据层有两个(训练和测试)，在数据层中在mean_file后添加相应的均值文件mean.binaryproto的路径，在source后添加相应的img_test/train_lmdb文件的路径。
卷积深度置信归一化模型CDBRN1包含可视层V1、隐含层H1、降采样层P1、归一化层L1，可视层V1输入的是经过预处理的前车图像，隐含层H1的数据是可视层V1通过卷积得到的，降采样层P1的数据是隐含层H1数据通过降采样得到的，降采样层P1的数据经过归一化操作后生成归一化层L1数据；隐含层H1的步长为4，卷积核为11，滤波器个数为96；降采样层P1的步长为2，池化区域为3*3，归一化层L1的缩放比例为0.001，指数为0.75，求和的空间区域长度为5*5；
卷积深度置信归一化模型CDBRN2包含可视层V2、隐含层H2、降采样层P2、归一化层L2，可视层V2的输入为卷积深度置信归一化模型CDBRN1归一化层L1的输出，隐含层H2的步长为4，卷积核为5，滤波器个数为256，降采样层P2的步长为2，池化区域为3*3，最后的归一化层L2的缩放比例为0.001，指数为0.75，求和的空间区域长度为5*5；
卷积深度置信归一化模型CDBRN2的归一化层L2的输出作为其后接的卷积层cnn3的输入，所述卷积层cnn3的卷积核大小为3*3，滤波器个数为384，卷积层cnn 4的卷积核大小为3*3，滤波器个数为384，卷积层cnn5的卷积核大小为3*3，滤波器个数为256；
卷积层cnn5后接降采样层pool5，降采样层pool5的卷积核大小为3*3，步长为2；
空间金字塔池化层spp6使用的是单层的空间金字塔，窗大小设为ns*ns,ns＝WP5/64，WP5为降采样层pool5输出的特征图长度，其后接的全连接层fc7、全连接层fc8、全连接层fc9的神经元个数分别为2048、1024、4；
损失层loss的类型为Softmax。
2)搭建测试网络模型
在drive文件夹下，新建名为drive_deploy.prototxt的文件，将drive_train_test.prototxt文件中的数据层和损失层loss去掉，网络名称同样命名为DriveNet。
3)编写配置文件
在drive文件夹下新建名为drive_solver.prototxt的文件，创建的训练集中有16000个验证样本，batch_size设为50，故test_iter为320，共64000个训练样本，batch_size设为100，故test_interval为640。学习策略设置为“step”，总的迭代次数设为256000，stepsize大小设为64000，即为迭代64000次降低一次学习率，动量设为0.9，权重衰减设为0.005，display设为640，base_lr设为0.01。
四、训练和测试
1)训练和测试
数据和相关的网络及配置文件都准备完毕，在命令窗口中直接运行drive_solver.prototxt文件即可。根据显示的训练误差和测试误差，适时终止训练，修改drive_solver.prototxt中的相关参数即可。
2)用训练好的模型分类新的前车图像
再训练中已经生成了训练好的caffemodel和solverstate文件，需要的drive_deploy.prototxt文件也已准备好，利用这三个文件对数据集中的2万张测试集进行分类检测。
五、用训练好的分类网络空间金字塔池化的卷积深度置信归一化分类网络SPP-CDBRNet模型进行危险驾驶行为实时检测
1)从前车图像采集系统中获取道路上实时的前车图片像；
2)对获取的前车图像进行预处理；
3)将预处理后的前车图像送入通过训练获得的caffemodel文件中进行分类，即获得该前车图像的危险驾驶行为实时检测结果。
六、对得到分类网络空间金字塔池化的卷积深度置信归一化分类网络SPP-CDBRNet模型进行对比分析
经过对比和分析，相比于目前已有的其他方法，用空间金字塔池化的卷积深度置信归一化分类网络空间金字塔池化的卷积深度置信归一化分类网络SPP-CDBRNet模型对危险驾驶行为进行检测精度更高，且成本低，检测速度快，可以输入任意大小的图像，具有良好的实时性和迁移性，应用前景十分广阔。
提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。

Claims (5)

1.一种基于深度学习的危险驾驶行为实时检测方法，其特征在于步骤如下：
步骤1：搭建前车图像采集系统，收集训练样本并进行人工标注，建立危险驾驶行为数据集；
步骤2：基于深度学习的方法，根据危险驾驶行为数据集，提出空间金字塔池化的卷积深度置信归一化分类网络SPP-CDBRNet模型，具体如下：
空间金字塔池化的卷积深度置信归一化分类网络SPP-CDBRNet模型自上而下依次由数据层data、卷积深度置信归一化模型CDBRN 1、卷积深度置信归一化模型CDBRN2、卷积层cnn3、卷积层cnn4、卷积层cnn5、降采样层pool5、空间金字塔池化层spp6、全连接层fc7、全连接层fc8、全连接层fc9，损失层loss构成，数据层data实现危险驾驶行为数据集的导入，卷积深度置信归一化模型CDBRN1与卷积深度置信归一化模型CDBRN2连用可以提取到输入的图像更紧致的特征；卷积层cnn3、卷积层cnn4、卷积层cnn5连用能够学习到全局性特征，卷积层cnn3、卷积层cnn4、卷积层cnn5之后的降采样层pool5降低数据维度，其后紧跟的全连接层fc7、全连接层fc8是对前面提取出的特征进行组合赋予不同的权重，全连接层fc9构成一个分类器，对输入的图像分类，损失层loss用于计算前层网络分类结果与真实结果之间的损失值；
所述卷积深度置信归一化模型CDBRN1包含可视层V1、隐含层H1、降采样层P1、归一化层L1，可视层V1输入的是经过预处理的前车图像，隐含层H1的数据是可视层V1通过卷积得到的，降采样层P1的数据是隐含层H1数据通过降采样得到的，降采样层P1的数据经过归一化操作后生成归一化层L1数据；隐含层H1的步长为4，卷积核为11，滤波器个数为96；降采样层P1的步长为2，池化区域为3*3，归一化层L1的缩放比例为0.001，指数为0.75，求和的空间区域长度为5*5；
所述卷积深度置信归一化模型CDBRN2包含可视层V2、隐含层H2、降采样层P2、归一化层L2，可视层V2的输入为卷积深度置信归一化模型CDBRN1的归一化层L1的输出，隐含层H2的步长为4，卷积核为5，滤波器个数为256，降采样层P2的步长为2，池化区域为3*3，最后的归一化层L2的缩放比例为0.001，指数为0.75，求和的空间区域长度为5*5；
卷积深度置信归一化模型CDBRN2的归一化层L2的输出作为其后接的卷积层cnn3的输入，所述卷积层cnn3的卷积核大小为3*3，滤波器个数为384，卷积层cnn 4的卷积核大小为3*3，滤波器个数为384，卷积层cnn5的卷积核大小为3*3，滤波器个数为256；
卷积层cnn5后接降采样层pool5，降采样层pool5的卷积核大小为3*3，步长为2；
空间金字塔池化层spp6使用的是单层的空间金字塔，窗大小设为nS*nS,其中 为降采样层pool5输出的特征图长度，其后接的全连接层fc7、全连接层fc8、全连接层fc9的神经元个数分别为2048、1024、4；
损失层loss的类型为Softmax；
所述卷积深度置信归一化模型CDBRN1和卷积深度置信归一化模型CDBRN2均有一个对应的能量函数，所述能量函数E为：
对有如下限制：
其中，(v，h)代表能量函数的每一种可能的状态，K是可视层和隐含层含有的特征映射的数量，H代表隐含层，V代表可视层，H和V都有K组特征映射Hk和Vk，k＝1，2，…K，WV是可视层的宽度，WH是隐含层的宽度，是隐含层H的第k个特征映射，i和j分别代表在特征映射中的行数和列数，代表卷积权重Wk的180度旋转，*代表卷积操作，bk是Hk中所有的单元共享的偏差，c是可视层单元共享的偏差，vi,j是可视层第i行第j列的单元，α是对应于隐藏层某个单元的降采样结果；
步骤3：对步骤1的危险驾驶行为数据集进行预处理，预处理采用带动量的随机梯度下降方法；利用预处理后的数据集对空间金字塔池化的卷积深度置信归一化分类网络SPP-CDBRNet模型进行训练，得到能够精确识别是否具有危险驾驶行为的空间金字塔池化的卷积深度置信归一化分类网络SPP-CDBRNet模型；
步骤4：利用步骤3训练后的空间金字塔池化的卷积深度置信归一化分类网络SPP-CDBRNet模型，对前车图像进行检测，从而实现对危险驾驶行为的实时检测，具体如下：
步骤4.1：从前车图像采集系统中获取道路上车辆的实时前车图像；
步骤4.2：对获取的前车图像进行预处理；
步骤4.3：将预处理后的前车图像送入通过训练获得的空间金字塔池化的卷积深度置信归一化分类网络SPP-CDBRNet模型中进行分类，即获得该前车图像的危险驾驶行为实时检测结果。
2.根据权利要求1所述的基于深度学习的危险驾驶行为实时检测方法，其特征在于：所述步骤1中，建立危险驾驶行为数据集的具体步骤如下：
2.1)对于前车图像采集系统采集到的前车图像，剔除其中的无效前车图像，进行人工标注，标注后的前车图像组成标注前车图像池；
2.2)从标注前车图像池中随机选取2-5万张作为测试集；从标注前车图像池中的剩余图像中选取2-5万张图像中无危险驾驶行为的前车图像、2-5万张图像中仅存在驾驶途中使用手持电话一种危险驾驶行为的前车图像、2-5万张图像中仅存在驾驶途中抽烟一种危险行为的前车图像、2-5万张图像中存在既驾驶途中使用手持电话和吸烟两种危险行为的前车图像，这四类前车图像分别以0，1，2，3开头的数字命名，每类的2-5万张前车图像中随机选取20％作为验证集，每类前车图像中剩余的80％作为训练集。
3.根据权利要求1所述的基于深度学习的危险驾驶行为实时检测方法，其特征在于：卷积层cnn3、卷积层cnn4、卷积层cnn5后分别有激活层relu3、激活层relu4、激活层relu5，以relu函数作为激活函数，能有效解决梯度消失的问题，增加网络训练成功率，进而提升危险驾驶行为实时检测的效率。
4.根据权利要求1所述的基于深度学习的危险驾驶行为实时检测方法，其特征在于：全连接层fc7与全连接层fc8均采用relu激活函数，且全连接层fc7与全连接层fc8均包含dropout层，可以有效防止权值过渡拟合，增加网络训练成功率，进而提升危险驾驶行为实时检测的效率。
5.根据权利要求1所述的基于深度学习的危险驾驶行为实时检测方法，其特征在于：所述步骤3中，具体过程如下：
5.1)对危险驾驶行为数据集进行预处理，调用深度学习框架caffe中的convert_imageset命令将危险驾驶行为数据集中的前车图像转化为lmdb格式，然后调用深度学习框架caffe中compute_image_mean.cpp文件实现减均值；
5.2)根据空间金字塔池化的卷积深度置信归一化分类网络SPP-CDBRNet模型，编写空间金字塔池化的卷积深度置信归一化分类网络SPP-CDBRNet网络架构的prototxt格式的文件，对空间金字塔池化的卷积深度置信归一化分类网络SPP-CDBRNet网络中各层的相关参数进行初始设置，编写配置文件，并对其中的参数进行初始设置；
5.3)对空间金字塔池化的卷积深度置信归一化分类网络SPP-CDBRNet模型进行训练，在命令窗口中调用配置文件开始训练，若训练误差符合要求，则将训练生成的包含能够精确识别是否具有危险驾驶行为的空间金字塔池化的卷积深度置信归一化分类网络SPP-CDBRNet模型所有参数的类型为caffemodel的文件保存下来，命名为great.caffemodel，若训练误差不符合要求则修改空间金字塔池化的卷积深度置信归一化分类网络SPP-CDBRNet网络架构文件和配置文件中的相关参数，直至误差符合要求。
CN201611267904.6A 2016-12-31 2016-12-31 一种基于深度学习的危险驾驶行为实时检测方法 Active CN106611169B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611267904.6A CN106611169B (zh) 2016-12-31 2016-12-31 一种基于深度学习的危险驾驶行为实时检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611267904.6A CN106611169B (zh) 2016-12-31 2016-12-31 一种基于深度学习的危险驾驶行为实时检测方法

Publications (2)

Publication Number Publication Date
CN106611169A CN106611169A (zh) 2017-05-03
CN106611169B true CN106611169B (zh) 2018-10-23

Family

ID=58636766

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611267904.6A Active CN106611169B (zh) 2016-12-31 2016-12-31 一种基于深度学习的危险驾驶行为实时检测方法

Country Status (1)

Country Link
CN (1) CN106611169B (zh)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107341798B (zh) * 2017-07-06 2019-12-03 西安电子科技大学 基于全局-局部SPP Net的高分辨SAR图像变化检测方法
CN108229497B (zh) * 2017-07-28 2021-01-05 北京市商汤科技开发有限公司 图像处理方法、装置、存储介质、计算机程序和电子设备
CN107609483B (zh) * 2017-08-15 2020-06-16 中国科学院自动化研究所 面向驾驶辅助系统的危险目标检测方法、装置
CN109426765B (zh) * 2017-08-23 2023-03-28 厦门雅迅网络股份有限公司 驾驶危险情绪提醒方法、终端设备及存储介质
CN107657236A (zh) * 2017-09-29 2018-02-02 厦门知晓物联技术服务有限公司 汽车安全驾驶预警方法及车载预警系统
WO2019092041A1 (en) * 2017-11-08 2019-05-16 AVAST Software s.r.o. Malware classification of executable files by convolutional networks
CN107944915B (zh) * 2017-11-21 2022-01-18 北京字节跳动网络技术有限公司 一种游戏用户行为分析方法及计算机可读存储介质
EP3495992A1 (en) * 2017-12-07 2019-06-12 IMRA Europe SAS Danger ranking using end to end deep neural network
US20190205738A1 (en) * 2018-01-04 2019-07-04 Tesla, Inc. Systems and methods for hardware-based pooling
CN110163037B (zh) * 2018-03-14 2022-03-04 北京航空航天大学 监测驾驶员状态的方法、设备、系统、处理器及存储介质
CN108764034A (zh) * 2018-04-18 2018-11-06 浙江零跑科技有限公司 一种基于驾驶室近红外相机的分神驾驶行为预警方法
CN108764293A (zh) * 2018-04-28 2018-11-06 重庆交通大学 一种基于图像的车辆检测方法及系统
CN110555125A (zh) * 2018-05-14 2019-12-10 桂林远望智能通信科技有限公司 一种基于局部特征的车辆检索方法
CN108804581B (zh) * 2018-05-24 2022-05-17 广州数据盒子科技有限公司 一种基于深度学习的同类物体检索方法及系统
TWI701174B (zh) * 2018-06-06 2020-08-11 緯創資通股份有限公司 駕駛預測方法及其處理裝置與系統
CN108921201B (zh) * 2018-06-12 2019-06-28 河海大学 基于特征组合与cnn的大坝缺陷识别与分类方法
CN108898116B (zh) * 2018-07-02 2021-05-04 科大讯飞股份有限公司 一种安全驾驶检测方法、装置、设备及存储介质
CN109241321A (zh) * 2018-07-19 2019-01-18 杭州电子科技大学 基于深度领域适应的图像和模型联合分析方法
CN109214438A (zh) * 2018-08-22 2019-01-15 重庆信络威科技有限公司 一种基于卷积神经网络的驾驶行为识别系统的搭建方法
CN109376634A (zh) * 2018-10-15 2019-02-22 北京航天控制仪器研究所 一种基于神经网络的公交司机违规行为检测系统
CN109446371A (zh) * 2018-11-09 2019-03-08 苏州清研精准汽车科技有限公司 一种智能汽车仿真测试场景库生成方法及测试系统和方法
CN109800806A (zh) * 2019-01-14 2019-05-24 中山大学 一种基于深度学习的农作物病害检测算法
CN111488758A (zh) 2019-01-25 2020-08-04 富士通株式会社 用于驾驶行为识别的深度学习模型、训练装置及方法
CN109871799B (zh) * 2019-02-02 2023-03-24 浙江万里学院 一种基于深度学习的驾驶员玩手机行为的检测方法
CN109829506B (zh) * 2019-02-18 2021-03-23 南京旷云科技有限公司 图像处理方法、装置、电子设备和计算机存储介质
CN109726771B (zh) * 2019-02-27 2023-05-02 锦图计算技术(深圳)有限公司 异常驾驶检测模型建立方法、装置及存储介质
CN110059541A (zh) * 2019-02-28 2019-07-26 长江大学 一种驾驶中的手机使用行为检测方法及装置
CN109978465B (zh) * 2019-03-29 2021-08-03 江苏满运软件科技有限公司 货源推荐方法、装置、电子设备、存储介质
CN110119709B (zh) * 2019-05-11 2021-11-05 东南大学 一种基于时空特性的驾驶员行为识别方法
CN110210336B (zh) * 2019-05-16 2021-03-16 赣南师范大学 一种低分辨率单样本人脸识别方法
CN110390673B (zh) * 2019-07-22 2021-04-27 福州大学 一种监控场景下基于深度学习的香烟自动检测方法
CN110667593B (zh) * 2019-09-06 2022-05-17 中国平安财产保险股份有限公司 基于深度学习的驾驶提醒方法、装置、设备及存储介质
CN113051958A (zh) * 2019-12-26 2021-06-29 深圳市光鉴科技有限公司 基于深度学习的驾驶员状态检测方法、系统、设备及介质
CN111242015B (zh) * 2020-01-10 2023-05-02 同济大学 一种基于运动轮廓语义图预测行车危险场景的方法
CN111449652B (zh) * 2020-05-06 2022-11-29 北方工业大学 一种基于脑电波分析的施工安全监测方法和装置
CN112346000B (zh) * 2020-10-30 2022-07-08 国网山东省电力公司营销服务中心(计量中心) 一种智能电能表运行误差数据统计处理系统与方法
CN112651326B (zh) * 2020-12-22 2022-09-27 济南大学 一种基于深度学习的驾驶员手部检测方法及系统
CN113095377B (zh) * 2021-03-26 2024-06-14 中国科学院电工研究所 一种危险驾驶场景数据随机生成方法及系统
CN113810372B (zh) * 2021-08-06 2022-10-04 杭州电子科技大学 一种低吞吐量dns隐蔽信道检测方法及装置
CN114266934A (zh) * 2021-12-10 2022-04-01 上海应用技术大学 一种基于云存储数据的危险动作检测方法
CN115171377B (zh) * 2022-06-30 2024-01-09 武汉工程大学 一种基于深度学习的交通流参数检测分析方法和装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102542257B (zh) * 2011-12-20 2013-09-11 东南大学 基于视频传感器的驾驶人疲劳等级检测方法
CN103489010B (zh) * 2013-09-25 2017-01-04 吉林大学 基于驾驶行为的疲劳驾驶检测方法
CN103942568B (zh) * 2014-04-22 2017-04-05 浙江大学 一种基于无监督特征选择的分类方法
CN105844252B (zh) * 2016-04-01 2019-07-26 南昌大学 一种面部关键部位的疲劳检测方法
CN106251583B (zh) * 2016-09-30 2018-09-25 江苏筑磊电子科技有限公司 基于驾驶行为与眼动特征的疲劳驾驶辨识方法

Also Published As

Publication number Publication date
CN106611169A (zh) 2017-05-03

Similar Documents

Publication Publication Date Title
CN106611169B (zh) 一种基于深度学习的危险驾驶行为实时检测方法
CN105574550B (zh) 一种车辆识别方法及装置
CN102332089B (zh) 一种基于人工神经网络的铁路货车闸瓦钎窜出故障识别方法
CN106803069A (zh) 基于深度学习的人群高兴程度识别方法
CN106372666B (zh) 一种目标识别方法及装置
CN107945153A (zh) 一种基于深度学习的路面裂缝检测方法
CN106446895A (zh) 一种基于深度卷积神经网络的车牌识别方法
CN107122375A (zh) 基于图像特征的图像主体的识别方法
CN107085696A (zh) 一种基于卡口图像的车辆定位及型号识别方法
CN105205449A (zh) 基于深度学习的手语识别方法
CN114842208B (zh) 一种基于深度学习的电网危害鸟种目标检测方法
CN105005765A (zh) 一种基于Gabor小波和灰度共生矩阵的人脸表情识别方法
CN110321862B (zh) 一种基于紧致三元损失的行人再识别方法
CN110070078A (zh) 一种基于传感器与机器视觉的酒驾检测方法及系统
CN111339935B (zh) 一种基于可解释cnn图像分类模型的光学遥感图片分类方法
CN110533051A (zh) 基于卷积神经网络的x光安检图像中违禁品自动检测方法
CN110197729A (zh) 基于深度学习的静息态fMRI数据分类方法和装置
CN106408030A (zh) 基于中层语义属性和卷积神经网络的sar图像分类方法
CN101593273A (zh) 一种基于模糊综合评价的视频情感内容识别方法
CN107203752A (zh) 一种联合深度学习和特征二范数约束的人脸识别方法
CN109935080A (zh) 一种交通线路上的车流量实时计算的监测系统及方法
CN105574489A (zh) 基于层次级联的暴力群体行为检测方法
CN103971106A (zh) 多视角人脸图像性别识别方法及装置
CN110969073B (zh) 一种基于特征融合与bp神经网络的人脸表情识别方法
CN107633293A (zh) 一种领域自适应方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant