CN106611169A - 一种基于深度学习的危险驾驶行为实时检测方法 - Google Patents
一种基于深度学习的危险驾驶行为实时检测方法 Download PDFInfo
- Publication number
- CN106611169A CN106611169A CN201611267904.6A CN201611267904A CN106611169A CN 106611169 A CN106611169 A CN 106611169A CN 201611267904 A CN201611267904 A CN 201611267904A CN 106611169 A CN106611169 A CN 106611169A
- Authority
- CN
- China
- Prior art keywords
- layer
- driving behavior
- dangerous driving
- spp
- cdbrnet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提出一种基于深度学习的危险驾驶行为实时检测方法,搭建前车图像采集系统,收集训练样本并进行人工标注,建立危险驾驶行为数据集;基于深度学习的方法,根据危险驾驶行为数据集的特点,提出空间金字塔池化的卷积深度置信归一化分类网络(SPP‑CDBRNet)模型;对建立的数据集进行预处理,采用带动量的随机梯度下降方法,利用预处理后的数据集对SPP‑CDBRNet模型进行训练,得到能够精确识别是否具有危险驾驶行为(驾驶途中使用手持电话和抽烟)的SPP‑CDBRNet;利用确定的SPP‑CDBRNet模型,对前车图像进行检测,实现对危险驾驶行为的实时检测。本发明能够有效地提高危险驾驶行为检测的精度,并有具有良好的实时性和迁移性,具有广阔的应用前景。
Description
技术领域
本发明涉及智能交通领域中的危险驾驶行为检测的相关问题,具体涉及一种基于深度学习的危险驾驶行为实时检测方法。
背景技术
随着机械制造和车辆工程技术的进步以及人民经济生活水平的提高,我国的汽车和驾驶员数量在不断攀升,交通工具的进步给人们带来生活便利的同时,也造成了交通事故的频发,对人民的生命财产安全造成了极大的威胁,其中接听电话、抽烟等违规驾驶行为是造成事故的主要原因,这也引起了政府、高校等研究机构和汽车企业的重视,对违规驾驶行为的检测、提醒、监督也成为了目前的一个研究热点。
交通事故造成的人员伤亡和财产损失是非常巨大的,并且在全球范围内每年我国的交通事故数量都比其他国家高,这十分不利于我国的经济发展和社会进步。据欧美的一些调查显示,驾驶员人为因素造成的交通事故数量占事故总量的90%左右,其中85%左右是由驾驶员违规操作、行为规范差、经验不足等造成的,驾驶途中使用手持电话、抽烟等行为在交通违法行为中排名靠前。英国一家交通研究所研究称,驾驶途中使用电话时的大脑反应速度比酒后驾驶(血液中酒精浓度0.08w/v)慢30%,车祸发生的概率比正常驾驶时高4倍,且极易造成交通阻塞,这主要是由于接听电话造成驾驶人员注意力不集中造成的。驾驶途中抽烟易造成驾驶行为不规范、血氧饱和度降低并造成注意力下降、眼睛的感光性和适应性下降,影响驾驶安全。
目前的危险驾驶行为检测主要分为接触式和非接触式两大类。接触式检测主要有两类:(1)基于驾驶员生理特征分析的危险驾驶行为检测,例如吴群.基于心电信号的驾驶疲劳方法研究[D].杭州:浙江大学,2008。这类方法需要驾驶员佩戴一些生理、心理检测装置,操作复杂,佩戴不便,极易受到驾驶员个体因素的影响,不能真实有效的反应实际情况,并且由于价格和佩戴舒适度的影响,推广不易;(2)基于车辆传感器检测的检测系统,例如张希波.基于方向盘操作的驾驶人疲劳状态检测方法[J].清华大学学报:自然科学版,2010,50(7):1072-1076。这类方法是通过安装能够检测出车辆状态的各类传感器,通过车辆状态分析驾驶员行为并进行预报,此种方法对硬件要求高,价格昂贵,且由于不同驾驶员的驾驶行为差异较大,十分容易造成干扰,误报率高。
非接触式检测的方法,目前主要是通过在车内安装摄像头,通过传统的图像处理的方法进行检测分析,例如申请号201510585266.1,发明名称为《一种适用于多姿态下的驾驶人员接打电话行为检测方法》,这种方法相比于接触式检测方法受干扰因素小,使用方便,价格便宜,但难以满足检测实时性的要求,易受光线、驾驶员体貌的影响,并且图像分析需要根据全局和上下文信息进行判断,而传统的图像处理方法在第一步提取局部纹理特征的时候就丢失了全局信息,造成准确率的下降。
发明内容
本发明技术解决问题:克服现有技术的不足,提供一种基于深度学习的危险驾驶行为实时检测方法,能够有效地提高危险驾驶行为检测的精度,并有具有良好的实时性和迁移性,具有广阔的应用前景。
本发明技术解决这群:一种基于深度学习的危险驾驶行为实时检测方法,包括以下步骤:
步骤一:搭建前车图像采集系统,收集训练样本并进行人工标注,建立危险驾驶行为数据集。
在城市随机选取五个路口,架设前车图像采集装置,收集前车图像,除去的无效图像,对剩余图像进行人工标注并分为四类:无危险驾驶行为、驾驶途中使用手持电话、驾驶途中抽烟、驾驶途中使用手持电话且吸烟,从中随机选取2-5万(本发明实施例采用2万张)张用于测试,剩余的前车图像中无危险驾驶行为、驾驶途中使用手持电话、驾驶途中抽烟、驾驶途中使用手持电话且吸烟这四类各选取2-5万张作为训练集,分别以0,1,2,3开头的数字命名,每类的2-5万张中随机选取20%作为验证集(本发明实施例4000张作2万为验证集),剩余的80%(本发明实施例16000)作为训练集。
步骤二:基于深度学习的方法,根据危险驾驶行为数据集的特点,提出空间金字塔池化的卷积深度置信归一化分类网络(SPP-CDBRNet)模型。
空间金字塔池化的卷积深度置信归一化网络(SPP-CDBRNet)模型自上而下依次为一个数据层data、两个卷积深度置信归一化模型CDBRN 1和CDBRN2、三个卷基层cnn3-cnn5(每个卷积层后跟一个激活层relu3-relu5,以relu函数作为激活函数,能有效解决梯度消失的问题)、一个降采样层pool5、一个空间金字塔池化层spp6、三个全链接层fc7-fc9(fc7与fc8均采用relu激活函数,并跟dropout层drop7-drop8,可以有效防止权值过渡拟合),一个损失层loss构成,损失层类型为Soft-max,label为危险驾驶行为数据集中对应于图像的分类标签,如图3所示,图中DriveNet为搭建网络架构模型时为SPP-CDBRNet的命名。
1)两个卷积深度置信归一化模型(CDBRN,分为CDBRN1和CDBRN2)
每个CDBRN模型均包含一个可视层(V)、一个隐含层(H)、一个降采样层(P)、一个归一化层(L),如图2所示。可视层实现对预处理图像的输入,为方便描述,输入图像为正方形大小为W*W,记可视层大小为WV*WV,隐含层滤波器大小为KH*KH,滤波器个数为NH,步长为SdH,在输入的每个边需要补充的像素为PadH,降采样层滤波器大小为KP*KP,滤波器个数为NP,步长为SdP,在输入的每个边需要补充的像素为PadP。因此,隐含层(H)大小WV=(W+2×padH-KH)/SdH+1,降采样层(P)大小WP=(W+2×padP-KP)/SdP+1。
CDBRN每个状态(v,h)的能量函数E为:
对有如下限制:
CDBRN1和CDBRN1均有一个对应的能量函数,有能量函数是因为它采用的了限制玻尔兹曼机的架构,所以必然有能量函数,又由于其中包含了卷积操作,所以其能量函数与一般的限制玻尔兹曼机的不同,是含有卷积的能量函数,能量函数对于CDBRN的作用就相当于损失函数对于网络架构的作用一样,CDBRN是通过能量函数的反向传播来调整参数的,因此每个CDBRN均由一个对应的能量函数。
其中,(v,h)代表能量函数的每一种可能的状态,
K是可视层和隐含层含有的特征映射的数量,H和P都有K组特征映射Hk和Pk,k=1,2,…K,WV是可视层的宽度,WH是隐含层的宽度,是隐含层H的第k个特征映射,i和j分别代表在特征映射中的行数和列数,代表卷积权重Wk的180度旋转,*代表卷积操作,bk是Hk中所有的单元共享的偏差,c是可视层单元共享的偏差,vi,j是可视层第i行第j列的单元,降采样层的宽度,α是对应于隐藏层某个单元的降采样结果。
2)空间池金字塔化(SPP-Net)
一般的网络都只能输入固定大小的图像,需要经过裁剪或者缩放等处理才能作为输入送到网络中,但这些处理往往会降低检测的精度,而空间金字塔池化能够使得任意大小的特征图都能够转化成固定大小的特征向量,从而使得加入了空间金字塔池化的网络可以输入任意大小的图像,提高网络的精度并减少网络的限制性。
设一张图像大小为W*W,希望提取出N个特征向量,为描述方便,设金字塔有两层,第一层提取出N1个特征向量,第二层提取出N2个特征向量,N=N1+N2,那么第一层的窗大小(windows size)为(W/N1,W/N1),第二层的窗大小(windows size)为(W/N2,W/N2)。
3)卷积层、池化层和全链接层
卷积神经网络包含特征提取层和特征映射层两层,其中特征提取层的每个神经元与前一层的局部连接域相连并提取局部特征,特征映射层主要通过激活函数使得特征映射具有位移不变性,并通过权值共享降低自由参数个数。
空间金字塔池化的卷积深度置信归一化网络采用了三层卷积加一个降采样层的方法来学习全局化的特征,因为一层卷积学到的特征往往是局部的。全连接层的主要作用是形成一个分类器。
4)SPP-CDBRNet各层的相关参数
第一个卷积深度置信归一化模型CDBRN1包含一个可视层(V1)、一个隐含层(H1)、一个降采样层(P1)、一个归一化层(L1),可视层(V1)输入的是经过预处理的前车图像,隐含层(H1)数据是可视层通过卷积得到的,降采样层(P1)数据是隐含层数据通过降采样得到的,降采样层(P1)数据经过归一化操作后生成归一化层数据;可视层(V1)输入经过预处理的前车图片像;隐含层(H1)的步长为4,卷积核为11,滤波器个数为96;降采样层(P1)的步长为2,池化区域为3*3,归一化层(L1)的缩放比例为0.001,指数为0.75,求和的空间区域长度为5*5;
第二个卷积深度置信归一化模型CDBRN2包含一个可视层(V2)、一个隐含层(H2)、一个降采样层(P2)、一个归一化层(L2),可视层(V2)输入为第一个卷积深度置信归一化模型归一化层的输出,隐含层(H2)的步长为4,卷积核为5,滤波器个数为256,降采样层(P2)的步长为2,池化区域为3*3,最后的归一化层(L2)的缩放比例为0.001,指数为0.75,求和的空间区域长度为5*5;
CDBRN2的归一化层(L2)的输出作为其后接的三个卷积层的第一个cnn3的输入,所述cnn3的卷积核大小为3*3,滤波器个数为384,cnn 4的卷积核大小为3*3,滤波器个数为384,才能cnn5的卷积核大小为3*3,滤波器个数为256;
cnn5后接降采样层pool5,降采样层pool5的卷积核大小为3*3,步长为2;
空间金字塔池化层spp6使用的是单层的空间金字塔,窗大小设为ns*ns, 为降采样层pool5输出的特征图长度,其后接的三个全连接层fc7-fc9中的fc7神经元个数为2048,fc8神经元个数为1024,fc9神经元个数为4;
损失层的类型为Softmax。
步骤三:对建立的数据集进行预处理,采用带动量的随机梯度下降方法,利用预处理后的数据集对SPP-CDBRNet模型进行训练,得到能够精确识别是否具有危险驾驶行为(驾驶途中使用手持电话和抽烟)的SPP-CDBRNet
1)预处理方法
在实际应用中的图像可能有多种格式,比如:jpg、jpeg、png等,为了能使用于各种情况,先对图像进行处理,统一转化为lmdb格式。首先创建一个sh脚本文件,调用linux命令来生成训练集、测试集的图像清单,然后调用caffe自带的creat_lmdb.sh脚本文件生成最终的lmdb格式数据。由于图像减去均值后再进行训练能够提高训练速度和精度,所以在预处理中对转化为lmdb格式的图像进行减均值操作。
2)训练方法
采用随机梯度下降加动量的配置,相比普通的随即梯度下降算法,这种配置能极大地加快收敛速度,尤其是对高区率、梯度很小但一致或噪声梯度很有效。其参数更新规则为:
θ←θ+v
其中,v为相比于普通的随机梯度下降增加的速度向量,α为动量参数,ε为学习速率,为针对权重θ的微分,m为minibatch大小,L(f(x(i);θ),y(i))为损失函数,x(i)为针对权样本中的某个样例,y(i)为对应的标签。
本发明与现有技术相比优点在于:
(1)本发明能够准确地对驾驶员行车过程中使用手持电话和抽烟这两种危险驾驶行为进行检测。
(2)相比于目前已有的方法,本发明成本低,检测速度快,可以输入任意大小的图像,受外界干扰小,具有良好的实时性和迁移性,并且能有效提高检测的精度,具有十分广阔的应用前景。
附图说明
图1为本发明方法的流程示意图;
图2为卷积深度置信归一化模型(CDBRN)的结构示意图;
图3为本发明中空间金字塔池化的卷积深度置信归一化网络SPP-CDBRNet的结构示意图。
具体实施方式
下面结合附图及实施例对本发明进行详细说明。
在叙述本发明之前对下面叙述到的相关术语进行一下说明,
1)convert_imageset命令:caffe提供的图像转换工具,用于将图像转换成lmdb/leveldb格式。
使用方法:convert_imageset[FLAGS]ROOTFOLDER/LISTFILE DB_NAME
参数:ROOTFOLDER表示输入的文件夹
参数:LISTFILE表示输入文件列表
可选参数:[FLAGS]可以指示是否使用颜色空间,编码等。
2)Lmdb格式:是caffe支持的一种数据格式,常用于单标签数据,像分类等。
3)compute_image_mean.cpp:caffe提供的用于计算训练数据库平均图像的文件。
使用方法:compute_image_mean[FLAGS]INPUT_DB[OUTPUT_FILE]\n”)
参数:INPUT_DB表示数集库
参数(可选):OUTPUT_FILE表示输出文件名。
如图1所示,本发明的一种基于深度学习的危险驾驶行为实时检测方法,包括以下步骤:1、搭建前车图像采集系统,收集训练样本并进行人工标注,建立危险驾驶行为数据集;2、基于深度学习的方法,根据危险驾驶行为数据集的特点,提出空间金字塔池化的卷积深度置信归一化分类网络(SPP-CDBRNet)模型;3、对建立的数据集进行预处理,采用带动量的随机梯度下降方法,利用预处理后的数据集对SPP-CDBRNet模型进行训练,得到能够精确识别是否具有危险驾驶行为(驾驶途中使用手持电话和抽烟)的SPP-CDBRNet;4、利用确定的SPP-CDBRNet模型,对前车图像进行检测,实现对危险驾驶行为的实时检测。本发明能够有效地提高危险驾驶行为检测的精度,并有具有良好的实时性和迁移性,具有广阔的应用前景。
具体实施如下:
一、搭建前车图像采集系统,收集训练样本并进行人工标注,建立危险驾驶行为数据集
在城市随机选取五个路口,架设前车图像采集装置,收集前车图像,除去的无效图像,对剩余图像进行人工标注并分为四类:无危险驾驶行为、驾驶途中使用手持电话、驾驶途中抽烟、驾驶途中使用手持电话且吸烟,从中随机选取2万张用于测试,剩余的前车图像中无危险驾驶行为、驾驶途中使用手持电话、驾驶途中抽烟、驾驶途中使用手持电话且吸烟这四类各选取2万张作为训练集,分别以0,1,2,3开头的数字命名,每类的两万张中随机选取4000张作为验证集,剩余的16000张作为训练集。将每一类的4000张作为验证集的图像存至同一文件夹中,命名为test,将每一类中作为训练集的16000张的图像存至同一文件夹中,命名为train,将test和train文件夹均存至caffe下的data文件夹中的drive文件夹中。
二、对准备的数据进行预处理
在caffe的examples文件夹下创建一个drive的文件夹用于存放需要的配置文件和脚本文件。
1)将图像转化为lmdb格式
为了拓宽本发明的方法使用范围,使其能适用于各种格式的图像,首先将准备好的数据转化为lmdb格式。在drive文件夹下创建一个脚本文件drive_list.sh,用来生成训练集和测试集的txt格式的清单,运行该脚本文件,会在脚本编写的路径下分别生成关于训练集和测试集的txt文件,在这里将路径设置为caffe/examples/drive,txt文件中包含的是图像的列表清单。然后编写一个脚本文件调用caffe自带的convert_imageset命令用于转化数据格式,运行该脚本后会在相应路径caffe/examples/drive下生成img_train_lmdb和img_test_lmdb两个文件夹,其中保存的是转化后的lmdb文件。
2)减均值操作
为提高训练速度和精度,直接调用caffe自带的计算均值的文件compute_image_mean.cpp进行减均值预处理,在相应的路径下会生成均值文件mean.binaryproto。
三、搭建网络模型编写配置文件
1)搭建空间金字塔池化的卷积深度置信归一化分类网络(SPP-CDBRNet)模型
模型采用本发明提出的空间金字塔池化的卷积深度置信归一化分类网络(SPP-CDBRNet)模型,故须自己编写空间金字塔池化的卷积深度置信归一化分类网络(SPP-CDBRNet)模型架构的prototxt格式的文件,在drive文件夹下新建一个drive_train_test.prototxt文件,根据网络架构的编写规则编写,空间金字塔池化的卷积深度置信归一化网络(SPP-CDBRNet)模型自上而下依次为一个数据层data、两个卷积深度置信归一化模型CDBRN 1和CDBRN2、三个卷基层cnn3-cnn5(每个卷积层后跟一个激活层relu3-relu5,以relu函数作为激活函数,能有效解决梯度消失的问题,增加网络训练成功率,进而提升危险驾驶行为实时检测的效率。)、一个降采样层pool5、一个空间金字塔池化层spp6、三个全链接层fc7-fc9(fc7与fc8均采用relu激活函数,并跟dropout层drop7-drop8,可以有效防止权值过渡拟合,增加网络训练成功率,进而提升危险驾驶行为实时检测的效率),一个损失层loss构成,损失层类型为Soft-max,label为危险驾驶行为数据集中对应于图像的分类标签,为这个网络架构模型命名为DriveNet,如图3所示。
在drive_train_test.prototxt文件中,数据层有两个(训练和测试),在数据层中在mean_file后添加相应的均值文件mean.binaryproto的路径,在source后添加相应的img_test/train_lmdb文件的路径。
第一个卷积深度置信归一化模型CDBRN1包含一个可视层(V1)、一个隐含层(H1)、一个降采样层(P1)、一个归一化层(L1),可视层(V1)输入的是经过预处理的前车图像,隐含层(H1)数据是可视层通过卷积得到的,降采样层(P1)数据是隐含层数据通过降采样得到的,降采样层(P1)数据经过归一化操作后生成归一化层数据;可视层(V1)输入经过预处理的前车图片像;隐含层(H1)的步长为4,卷积核为11,滤波器个数为96;降采样层(P1)的步长为2,池化区域为3*3,归一化层(L1)的缩放比例为0.001,指数为0.75,求和的空间区域长度为5*5;
第二个卷积深度置信归一化模型CDBRN2包含一个可视层(V2)、一个隐含层(H2)、一个降采样层(P2)、一个归一化层(L2),可视层(V2)输入为第一个卷积深度置信归一化模型归一化层的输出,隐含层(H2)的步长为4,卷积核为5,滤波器个数为256,降采样层(P2)的步长为2,池化区域为3*3,最后的归一化层(L2)的缩放比例为0.001,指数为0.75,求和的空间区域长度为5*5;
CDBRN2的归一化层(L2)的输出作为其后接的三个卷积层的第一个cnn3的输入,所述cnn3的卷积核大小为3*3,滤波器个数为384,cnn 4的卷积核大小为3*3,滤波器个数为384,才能cnn5的卷积核大小为3*3,滤波器个数为256;
cnn5后接降采样层pool5,降采样层pool5的卷积核大小为3*3,步长为2;
空间金字塔池化层spp6使用的是单层的空间金字塔,窗大小设为ns*ns,ns=WP5/64,WP5为降采样层pool5输出的特征图长度,其后接的三个全连接层fc7-fc9中的fc7神经元个数为2048,fc8神经元个数为1024,fc9神经元个数为4;
损失层的类型为Softmax。
2)搭建测试网络模型
在drive文件夹下,新建名为drive_deploy.prototxt的文件,将drive_train_test.prototxt文件中的数据层和损失层去掉,网络名称同样命名为DriveNet。
3)编写配置文件
在drive文件夹下新建名为drive_solver.prototxt的文件,创建的训练集中有16000个验证样本,batch_size设为50,故test_iter为320,共64000个训练样本,batch_size设为100,故test_interval为640。学习策略设置为“step”,总的迭代次数设为256000,stepsize大小设为64000,即为迭代64000次降低一次学习率,动量设为0.9,权重衰减设为0.005,display设为640,base_lr设为0.01。
四、训练和测试
1)训练和测试
数据和相关的网络及配置文件都准备完毕,在命令窗口中直接运行drive_solver.prototxt文件即可。根据显示的训练误差和测试误差,适时终止训练,修改drive_solver.prototxt中的相关参数即可。
2)用训练好的模型分类新的图像
再训练中已经生成了训练好的caffemodel和solverstate文件,需要的drive_deploy.prototxt文件也已准备好,利用这三个文件对数据集中的2万张测试集进行分类检测。
五、用训练好的分类网络(SPP-CDBRNet)模型进行危险驾驶行为实时检测
1)从前车图像采集系统中获取道路上实时的前车图片像;)
2)对获取的前车图像进行预处理;
3)将预处理后的前车图像送入通过训练获得的caffemodel文件中进行分类,即获得该前车图像的危险驾驶行为实时检测结果。
六、对得到分类网络(SPP-CDBRNet)模型进行对比分析
经过对比和分析,相比于目前已有的其他方法,用空间金字塔池化的卷积深度置信归一化分类网络(SPP-CDBRNet)模型对危险驾驶行为进行检测精度更高,且成本低,检测速度快,可以输入任意大小的图像,具有良好的实时性和迁移性,应用前景十分广阔。
提供以上实施例仅仅是为了描述本发明的目的,而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改,均应涵盖在本发明的范围之内。
Claims (9)
1.一种基于深度学习的危险驾驶行为实时检测方法,其特征在于步骤如下:
步骤1:搭建前车图像采集系统,收集训练样本并进行人工标注,建立危险驾驶行为数据集;
步骤2:基于深度学习的方法,根据危险驾驶行为数据集,建立空间金字塔池化的卷积深度置信归一化分类网络SPP-CDBRNet模型;
步骤3:对建立步骤1的危险驾驶行为数据集进行预处理,预处理采用带动量的随机梯度下降方法;利用预处理后的数据集对SPP-CDBRNet模型进行训练,得到能够精确识别是否具有危险驾驶行为的SPP-CDBRNet模型;
步骤4:利用步骤3训练后的SPP-CDBRNet模型,对前车图像进行检测,从而实现对危险驾驶行为的实时检测。
2.根据权利要求1所述的基于深度学习的危险驾驶行为实时检测方法,其特征在于:所述步骤1中,建立危险驾驶行为数据集的具体如下:
对于前车图像采集系统采集到的图像,剔除其中的无效图像,进行人工标注,随机选取2-5万张作为测试集,剩余前车图像中无危险驾驶行为、驾驶途中使用手持电话、驾驶途中抽烟、驾驶途中使用手持电话且吸烟这四类危险驾驶行为各选取2-5万张作为训练集,分别以0,1,2,3开头的数字命名,每类的2-5万张中随机选取20%作为验证集,剩余的80%作为训练集。
3.根据权利要求1所述的基于深度学习的危险驾驶行为实时检测方法,其特征在于:所述步骤2中,SPP-CDBRNet模型自上而下依次为一个数据层data、两个卷积深度置信归一化模型CDBRN1和CDBRN2、三个卷积层cnn3-cnn5、一个降采样层pool5、一个空间金字塔池化层spp6、三个全链接层fc7-fc9,一个损失层loss构成,损失层类型为Soft-max,数据层实现危险驾驶行为数据集的导入,两个卷积深度置信归一化模型连用可以提取到输入图像更紧致的特征;三个卷积层的连用能够学习到全局性特征,三个卷积层之后的降采样层降低数据维度,其后紧跟的三个全连接层中的前两个是对前面提取出的特征进行组合赋予不同的权重,最后一个全连接层构成一个分类器,对输入的图像分类,损失层用于计算前层网络分类结果与真实结果之间的损失值。
4.根据权利要求3所述的基于深度学习的危险驾驶行为实时检测方法,其特征在于:所述每个卷积层后跟一个激活层relu3-relu5,以relu函数作为激活函数,能有效解决梯度消失的问题,增加网络训练成功率,进而提升危险驾驶行为实时检测的效率。
5.根据权利要求3所述的基于深度学习的危险驾驶行为实时检测方法,其特征在于:所述fc7与fc8均采用relu激活函数,并采用drop7-drop8作为dropout层,可以有效防止权值过渡拟合,增加网络训练成功率,进而提升危险驾驶行为实时检测的效率。
6.根据权利要求3所述的基于深度学习的危险驾驶行为实时检测方法,其特征在于:所述CDBRN1包含一个可视层(V1)、一个隐含层(H1)、一个降采样层(P1)、一个归一化层(L1),可视层(V1)输入的是经过预处理的前车图像,隐含层(H1)数据是可视层通过卷积得到的,降采样层(P1)数据是隐含层数据通过降采样得到的,降采样层(P1)数据经过归一化操作后生成归一化层数据;可视层(V1)输入经过预处理的前车图像;隐含层(H1)的步长为4,卷积核为11,滤波器个数为96;降采样层(P1)的步长为2,池化区域为3*3,归一化层(L1)的缩放比例为0.001,指数为0.75,求和的空间区域长度为5*5;
所述CDBRN2包含一个可视层(V2)、一个隐含层(H2)、一个降采样层(P2)、一个归一化层(L2),可视层(V2)输入为第一个卷积深度置信归一化模型归一化层的输出,隐含层(H2)的步长为4,卷积核为5,滤波器个数为256,降采样层(P2)的步长为2,池化区域为3*3,最后的归一化层(L2)的缩放比例为0.001,指数为0.75,求和的空间区域长度为5*5;
CDBRN2的归一化层(L2)的输出作为其后接的三个卷积层的第一个cnn3的输入,所述cnn3的卷积核大小为3*3,滤波器个数为384,cnn 4的卷积核大小为3*3,滤波器个数为384,才能cnn5的卷积核大小为3*3,滤波器个数为256;
cnn5后接降采样层pool5,降采样层pool5的卷积核大小为3*3,步长为2;
空间金字塔池化层spp6使用的是单层的空间金字塔,窗大小设为nS*nS,其中 为降采样层pool5输出的特征图长度,其后接的三个全连接层fc7-fc9中的fc7神经元个数为2048,fc8神经元个数为1024,fc9神经元个数为4;
损失层的类型为Softmax。
7.根据权利要求3或6所述的基于深度学习的危险驾驶行为实时检测方法,其特征在于:所述CDBRN1和CDBRN1均有一个对应的能量函数,所述能量函数E为:
对有如下限制:
其中,(v,h)代表能量函数的每一种可能的状态,K是可视层和隐含层含有的特征映射的数量,H和P都有K组特征映射Hk和Pk,k=1,2,…K,WV是可视层的宽度,WH是隐含层的宽度,是隐含层H的第k个特征映射,i和j分别代表在特征映射中的行数和列数,代表卷积权重Wk的180度旋转,*代表卷积操作,bk是Hk中所有的单元共享的偏差,c是可视层单元共享的偏差,vi,j是可视层第i行第j列的单元,降采样层的宽度,α是对应于隐藏层某个单元的降采样结果。
8.根据权利要求1所述的基于深度学习的危险驾驶行为实时检测方法,其特征在于:所述步骤3中,具体过程如下:
(1)对危险驾驶行为数据集进行预处理,通过convert_imageset命令将危险驾驶行为数据集中的图像转化为lmdb格式,然后调用compute_image_mean.cpp文件实现减均值;
(2)根据SPP-CDBRNet模型,编写SPP-CDBRNet网络架构的prototxt格式的文件,对SPP-CDBRNet网络中各层的相关参数进行初始设置,编写配置文件,并对其中的参数进行初始设置;
(3)对SPP-CDBRNet模型进行训练,在命令窗口中调用配置文件开始训练,若训练误差符合要求,则将训练的得到的caffemodel文件,即为能够精确识别是否具有危险驾驶行为的SPP-CDBRNet模型,若训练误差不符合要求则修改SPP-CDBRNet网络架构文件和配置文件中的相关参数,直至误差符合要求。
9.根据权利要求1所述的基于深度学习的危险驾驶行为实时检测方法,其特征在于:所述步骤4的具体过程如下:
(1)从道路监控系统前车图像采集系统中获取道路上实时的前车图像;
(2)对获取的前车图像进行预处理;
(3)将预处理后的前车图像送入通过训练获得的caffemodel文件中进行分类,即获得该前车图像的危险驾驶行为实时检测结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611267904.6A CN106611169B (zh) | 2016-12-31 | 2016-12-31 | 一种基于深度学习的危险驾驶行为实时检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611267904.6A CN106611169B (zh) | 2016-12-31 | 2016-12-31 | 一种基于深度学习的危险驾驶行为实时检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106611169A true CN106611169A (zh) | 2017-05-03 |
CN106611169B CN106611169B (zh) | 2018-10-23 |
Family
ID=58636766
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611267904.6A Active CN106611169B (zh) | 2016-12-31 | 2016-12-31 | 一种基于深度学习的危险驾驶行为实时检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106611169B (zh) |
Cited By (41)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107341798A (zh) * | 2017-07-06 | 2017-11-10 | 西安电子科技大学 | 基于全局‑局部SPP Net的高分辨SAR图像变化检测方法 |
CN107609483A (zh) * | 2017-08-15 | 2018-01-19 | 中国科学院自动化研究所 | 面向驾驶辅助系统的危险目标检测方法、装置 |
CN107657236A (zh) * | 2017-09-29 | 2018-02-02 | 厦门知晓物联技术服务有限公司 | 汽车安全驾驶预警方法及车载预警系统 |
CN107944915A (zh) * | 2017-11-21 | 2018-04-20 | 北京深极智能科技有限公司 | 一种游戏用户行为分析方法及计算机可读存储介质 |
CN108764034A (zh) * | 2018-04-18 | 2018-11-06 | 浙江零跑科技有限公司 | 一种基于驾驶室近红外相机的分神驾驶行为预警方法 |
CN108764293A (zh) * | 2018-04-28 | 2018-11-06 | 重庆交通大学 | 一种基于图像的车辆检测方法及系统 |
CN108804581A (zh) * | 2018-05-24 | 2018-11-13 | 广州中大百迅信息技术有限公司 | 一种基于深度学习的同类物体检索方法及系统 |
CN108898116A (zh) * | 2018-07-02 | 2018-11-27 | 科大讯飞股份有限公司 | 一种安全驾驶检测方法、装置、设备及存储介质 |
CN108921201A (zh) * | 2018-06-12 | 2018-11-30 | 河海大学 | 基于特征组合与cnn的大坝缺陷识别与分类方法 |
CN109214438A (zh) * | 2018-08-22 | 2019-01-15 | 重庆信络威科技有限公司 | 一种基于卷积神经网络的驾驶行为识别系统的搭建方法 |
CN109241321A (zh) * | 2018-07-19 | 2019-01-18 | 杭州电子科技大学 | 基于深度领域适应的图像和模型联合分析方法 |
WO2019020075A1 (zh) * | 2017-07-28 | 2019-01-31 | 北京市商汤科技开发有限公司 | 图像处理方法、装置、存储介质、计算机程序和电子设备 |
CN109376634A (zh) * | 2018-10-15 | 2019-02-22 | 北京航天控制仪器研究所 | 一种基于神经网络的公交司机违规行为检测系统 |
CN109426765A (zh) * | 2017-08-23 | 2019-03-05 | 厦门雅迅网络股份有限公司 | 驾驶危险情绪提醒方法、终端设备及存储介质 |
CN109446371A (zh) * | 2018-11-09 | 2019-03-08 | 苏州清研精准汽车科技有限公司 | 一种智能汽车仿真测试场景库生成方法及测试系统和方法 |
CN109726771A (zh) * | 2019-02-27 | 2019-05-07 | 深圳市赛梅斯凯科技有限公司 | 异常驾驶检测模型建立方法、装置及存储介质 |
CN109800806A (zh) * | 2019-01-14 | 2019-05-24 | 中山大学 | 一种基于深度学习的农作物病害检测算法 |
CN109829506A (zh) * | 2019-02-18 | 2019-05-31 | 南京旷云科技有限公司 | 图像处理方法、装置、电子设备和计算机存储介质 |
CN109871799A (zh) * | 2019-02-02 | 2019-06-11 | 浙江万里学院 | 一种基于深度学习的驾驶员玩手机行为的检测方法 |
CN109978465A (zh) * | 2019-03-29 | 2019-07-05 | 江苏满运软件科技有限公司 | 货源推荐方法、装置、电子设备、存储介质 |
CN110008978A (zh) * | 2017-12-07 | 2019-07-12 | 亿目朗欧洲股份有限公司 | 危险分级训练方法、危险分级方法、辅助或自动车辆驾驶系统 |
CN110059541A (zh) * | 2019-02-28 | 2019-07-26 | 长江大学 | 一种驾驶中的手机使用行为检测方法及装置 |
CN110119709A (zh) * | 2019-05-11 | 2019-08-13 | 东南大学 | 一种基于时空特性的驾驶员行为识别方法 |
CN110163037A (zh) * | 2018-03-14 | 2019-08-23 | 北京航空航天大学 | 监测驾驶员状态的方法、设备、系统、处理器及存储介质 |
CN110210336A (zh) * | 2019-05-16 | 2019-09-06 | 赣南师范大学 | 一种低分辨率单样本人脸识别方法 |
CN110390673A (zh) * | 2019-07-22 | 2019-10-29 | 福州大学 | 一种监控场景下基于深度学习的香烟自动检测方法 |
CN110555125A (zh) * | 2018-05-14 | 2019-12-10 | 桂林远望智能通信科技有限公司 | 一种基于局部特征的车辆检索方法 |
CN110562250A (zh) * | 2018-06-06 | 2019-12-13 | 纬创资通股份有限公司 | 驾驶预测方法及其处理装置与系统 |
CN110667593A (zh) * | 2019-09-06 | 2020-01-10 | 中国平安财产保险股份有限公司 | 基于深度学习的驾驶提醒方法、装置、设备及存储介质 |
CN111242015A (zh) * | 2020-01-10 | 2020-06-05 | 同济大学 | 一种基于运动轮廓语义图预测行车危险场景的方法 |
CN111449652A (zh) * | 2020-05-06 | 2020-07-28 | 北方工业大学 | 一种基于脑电波分析的施工安全监测方法和装置 |
CN111758107A (zh) * | 2018-01-04 | 2020-10-09 | 特斯拉公司 | 用于基于硬件的池化的系统和方法 |
CN112005532A (zh) * | 2017-11-08 | 2020-11-27 | 爱维士软件有限责任公司 | 通过卷积网络的可执行文件的恶意软件分类 |
CN112346000A (zh) * | 2020-10-30 | 2021-02-09 | 国网山东省电力公司营销服务中心(计量中心) | 一种智能电能表运行误差数据统计处理系统与方法 |
CN112651326A (zh) * | 2020-12-22 | 2021-04-13 | 济南大学 | 一种基于深度学习的驾驶员手部检测方法及系统 |
CN113051958A (zh) * | 2019-12-26 | 2021-06-29 | 深圳市光鉴科技有限公司 | 基于深度学习的驾驶员状态检测方法、系统、设备及介质 |
CN113095377A (zh) * | 2021-03-26 | 2021-07-09 | 中国科学院电工研究所 | 一种危险驾驶场景数据随机生成方法及系统 |
CN113810372A (zh) * | 2021-08-06 | 2021-12-17 | 杭州电子科技大学 | 一种低吞吐量dns隐蔽信道检测方法及装置 |
US11244180B2 (en) | 2019-01-25 | 2022-02-08 | Fujitsu Limited | Deep learning model used for driving behavior recognition and training apparatus and method thereof |
CN114266934A (zh) * | 2021-12-10 | 2022-04-01 | 上海应用技术大学 | 一种基于云存储数据的危险动作检测方法 |
CN115171377A (zh) * | 2022-06-30 | 2022-10-11 | 武汉工程大学 | 一种基于深度学习的交通流参数检测分析方法和装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102542257A (zh) * | 2011-12-20 | 2012-07-04 | 东南大学 | 基于视频传感器的驾驶人疲劳等级检测方法 |
CN103489010A (zh) * | 2013-09-25 | 2014-01-01 | 吉林大学 | 基于驾驶行为的疲劳驾驶检测方法 |
CN103942568A (zh) * | 2014-04-22 | 2014-07-23 | 浙江大学 | 一种基于无监督特征选择的分类方法 |
CN105844252A (zh) * | 2016-04-01 | 2016-08-10 | 南昌大学 | 一种面部关键部位的疲劳检测方法 |
CN106251583A (zh) * | 2016-09-30 | 2016-12-21 | 防城港市港口区高创信息技术有限公司 | 基于驾驶行为与眼动特征的疲劳驾驶辨识方法 |
-
2016
- 2016-12-31 CN CN201611267904.6A patent/CN106611169B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102542257A (zh) * | 2011-12-20 | 2012-07-04 | 东南大学 | 基于视频传感器的驾驶人疲劳等级检测方法 |
CN103489010A (zh) * | 2013-09-25 | 2014-01-01 | 吉林大学 | 基于驾驶行为的疲劳驾驶检测方法 |
CN103942568A (zh) * | 2014-04-22 | 2014-07-23 | 浙江大学 | 一种基于无监督特征选择的分类方法 |
CN105844252A (zh) * | 2016-04-01 | 2016-08-10 | 南昌大学 | 一种面部关键部位的疲劳检测方法 |
CN106251583A (zh) * | 2016-09-30 | 2016-12-21 | 防城港市港口区高创信息技术有限公司 | 基于驾驶行为与眼动特征的疲劳驾驶辨识方法 |
Non-Patent Citations (1)
Title |
---|
王军等: "基于深度置信网络和生成模型的驾驶疲劳识别", 《湘潭大学自然科学学报》 * |
Cited By (55)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107341798A (zh) * | 2017-07-06 | 2017-11-10 | 西安电子科技大学 | 基于全局‑局部SPP Net的高分辨SAR图像变化检测方法 |
WO2019020075A1 (zh) * | 2017-07-28 | 2019-01-31 | 北京市商汤科技开发有限公司 | 图像处理方法、装置、存储介质、计算机程序和电子设备 |
CN107609483B (zh) * | 2017-08-15 | 2020-06-16 | 中国科学院自动化研究所 | 面向驾驶辅助系统的危险目标检测方法、装置 |
CN107609483A (zh) * | 2017-08-15 | 2018-01-19 | 中国科学院自动化研究所 | 面向驾驶辅助系统的危险目标检测方法、装置 |
CN109426765B (zh) * | 2017-08-23 | 2023-03-28 | 厦门雅迅网络股份有限公司 | 驾驶危险情绪提醒方法、终端设备及存储介质 |
CN109426765A (zh) * | 2017-08-23 | 2019-03-05 | 厦门雅迅网络股份有限公司 | 驾驶危险情绪提醒方法、终端设备及存储介质 |
CN107657236A (zh) * | 2017-09-29 | 2018-02-02 | 厦门知晓物联技术服务有限公司 | 汽车安全驾驶预警方法及车载预警系统 |
CN112005532B (zh) * | 2017-11-08 | 2023-04-04 | 爱维士软件有限责任公司 | 用于对可执行文件进行分类的方法、系统和存储介质 |
CN112005532A (zh) * | 2017-11-08 | 2020-11-27 | 爱维士软件有限责任公司 | 通过卷积网络的可执行文件的恶意软件分类 |
CN107944915A (zh) * | 2017-11-21 | 2018-04-20 | 北京深极智能科技有限公司 | 一种游戏用户行为分析方法及计算机可读存储介质 |
CN110008978A (zh) * | 2017-12-07 | 2019-07-12 | 亿目朗欧洲股份有限公司 | 危险分级训练方法、危险分级方法、辅助或自动车辆驾驶系统 |
CN111758107A (zh) * | 2018-01-04 | 2020-10-09 | 特斯拉公司 | 用于基于硬件的池化的系统和方法 |
CN110163037A (zh) * | 2018-03-14 | 2019-08-23 | 北京航空航天大学 | 监测驾驶员状态的方法、设备、系统、处理器及存储介质 |
CN108764034A (zh) * | 2018-04-18 | 2018-11-06 | 浙江零跑科技有限公司 | 一种基于驾驶室近红外相机的分神驾驶行为预警方法 |
CN108764293A (zh) * | 2018-04-28 | 2018-11-06 | 重庆交通大学 | 一种基于图像的车辆检测方法及系统 |
CN110555125A (zh) * | 2018-05-14 | 2019-12-10 | 桂林远望智能通信科技有限公司 | 一种基于局部特征的车辆检索方法 |
CN108804581A (zh) * | 2018-05-24 | 2018-11-13 | 广州中大百迅信息技术有限公司 | 一种基于深度学习的同类物体检索方法及系统 |
CN108804581B (zh) * | 2018-05-24 | 2022-05-17 | 广州数据盒子科技有限公司 | 一种基于深度学习的同类物体检索方法及系统 |
CN110562250B (zh) * | 2018-06-06 | 2022-12-16 | 纬创资通股份有限公司 | 驾驶预测方法及其处理装置与系统 |
CN110562250A (zh) * | 2018-06-06 | 2019-12-13 | 纬创资通股份有限公司 | 驾驶预测方法及其处理装置与系统 |
CN108921201A (zh) * | 2018-06-12 | 2018-11-30 | 河海大学 | 基于特征组合与cnn的大坝缺陷识别与分类方法 |
CN108898116B (zh) * | 2018-07-02 | 2021-05-04 | 科大讯飞股份有限公司 | 一种安全驾驶检测方法、装置、设备及存储介质 |
CN108898116A (zh) * | 2018-07-02 | 2018-11-27 | 科大讯飞股份有限公司 | 一种安全驾驶检测方法、装置、设备及存储介质 |
CN109241321A (zh) * | 2018-07-19 | 2019-01-18 | 杭州电子科技大学 | 基于深度领域适应的图像和模型联合分析方法 |
CN109214438A (zh) * | 2018-08-22 | 2019-01-15 | 重庆信络威科技有限公司 | 一种基于卷积神经网络的驾驶行为识别系统的搭建方法 |
CN109376634A (zh) * | 2018-10-15 | 2019-02-22 | 北京航天控制仪器研究所 | 一种基于神经网络的公交司机违规行为检测系统 |
CN109446371A (zh) * | 2018-11-09 | 2019-03-08 | 苏州清研精准汽车科技有限公司 | 一种智能汽车仿真测试场景库生成方法及测试系统和方法 |
CN109800806A (zh) * | 2019-01-14 | 2019-05-24 | 中山大学 | 一种基于深度学习的农作物病害检测算法 |
US11244180B2 (en) | 2019-01-25 | 2022-02-08 | Fujitsu Limited | Deep learning model used for driving behavior recognition and training apparatus and method thereof |
CN109871799A (zh) * | 2019-02-02 | 2019-06-11 | 浙江万里学院 | 一种基于深度学习的驾驶员玩手机行为的检测方法 |
CN109871799B (zh) * | 2019-02-02 | 2023-03-24 | 浙江万里学院 | 一种基于深度学习的驾驶员玩手机行为的检测方法 |
CN109829506A (zh) * | 2019-02-18 | 2019-05-31 | 南京旷云科技有限公司 | 图像处理方法、装置、电子设备和计算机存储介质 |
CN109726771A (zh) * | 2019-02-27 | 2019-05-07 | 深圳市赛梅斯凯科技有限公司 | 异常驾驶检测模型建立方法、装置及存储介质 |
CN110059541A (zh) * | 2019-02-28 | 2019-07-26 | 长江大学 | 一种驾驶中的手机使用行为检测方法及装置 |
CN109978465A (zh) * | 2019-03-29 | 2019-07-05 | 江苏满运软件科技有限公司 | 货源推荐方法、装置、电子设备、存储介质 |
CN110119709B (zh) * | 2019-05-11 | 2021-11-05 | 东南大学 | 一种基于时空特性的驾驶员行为识别方法 |
CN110119709A (zh) * | 2019-05-11 | 2019-08-13 | 东南大学 | 一种基于时空特性的驾驶员行为识别方法 |
CN110210336B (zh) * | 2019-05-16 | 2021-03-16 | 赣南师范大学 | 一种低分辨率单样本人脸识别方法 |
CN110210336A (zh) * | 2019-05-16 | 2019-09-06 | 赣南师范大学 | 一种低分辨率单样本人脸识别方法 |
CN110390673A (zh) * | 2019-07-22 | 2019-10-29 | 福州大学 | 一种监控场景下基于深度学习的香烟自动检测方法 |
CN110667593A (zh) * | 2019-09-06 | 2020-01-10 | 中国平安财产保险股份有限公司 | 基于深度学习的驾驶提醒方法、装置、设备及存储介质 |
CN113051958A (zh) * | 2019-12-26 | 2021-06-29 | 深圳市光鉴科技有限公司 | 基于深度学习的驾驶员状态检测方法、系统、设备及介质 |
CN111242015B (zh) * | 2020-01-10 | 2023-05-02 | 同济大学 | 一种基于运动轮廓语义图预测行车危险场景的方法 |
CN111242015A (zh) * | 2020-01-10 | 2020-06-05 | 同济大学 | 一种基于运动轮廓语义图预测行车危险场景的方法 |
CN111449652A (zh) * | 2020-05-06 | 2020-07-28 | 北方工业大学 | 一种基于脑电波分析的施工安全监测方法和装置 |
CN111449652B (zh) * | 2020-05-06 | 2022-11-29 | 北方工业大学 | 一种基于脑电波分析的施工安全监测方法和装置 |
CN112346000B (zh) * | 2020-10-30 | 2022-07-08 | 国网山东省电力公司营销服务中心(计量中心) | 一种智能电能表运行误差数据统计处理系统与方法 |
CN112346000A (zh) * | 2020-10-30 | 2021-02-09 | 国网山东省电力公司营销服务中心(计量中心) | 一种智能电能表运行误差数据统计处理系统与方法 |
CN112651326A (zh) * | 2020-12-22 | 2021-04-13 | 济南大学 | 一种基于深度学习的驾驶员手部检测方法及系统 |
CN113095377A (zh) * | 2021-03-26 | 2021-07-09 | 中国科学院电工研究所 | 一种危险驾驶场景数据随机生成方法及系统 |
CN113810372B (zh) * | 2021-08-06 | 2022-10-04 | 杭州电子科技大学 | 一种低吞吐量dns隐蔽信道检测方法及装置 |
CN113810372A (zh) * | 2021-08-06 | 2021-12-17 | 杭州电子科技大学 | 一种低吞吐量dns隐蔽信道检测方法及装置 |
CN114266934A (zh) * | 2021-12-10 | 2022-04-01 | 上海应用技术大学 | 一种基于云存储数据的危险动作检测方法 |
CN115171377A (zh) * | 2022-06-30 | 2022-10-11 | 武汉工程大学 | 一种基于深度学习的交通流参数检测分析方法和装置 |
CN115171377B (zh) * | 2022-06-30 | 2024-01-09 | 武汉工程大学 | 一种基于深度学习的交通流参数检测分析方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN106611169B (zh) | 2018-10-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106611169A (zh) | 一种基于深度学习的危险驾驶行为实时检测方法 | |
CN110018524B (zh) | 一种基于视觉-属性的x射线安检违禁品识别方法 | |
CN110532900B (zh) | 基于U-Net和LS-CNN的人脸表情识别方法 | |
CN106910185B (zh) | 一种基于cnn深度学习的dbcc分类模型构建方法 | |
CN110533051B (zh) | 基于卷积神经网络的x光安检图像中违禁品自动检测方法 | |
CN104392463B (zh) | 一种基于联合稀疏多尺度融合的图像显著区域检测方法 | |
CN105138973B (zh) | 人脸认证的方法和装置 | |
CN106803069A (zh) | 基于深度学习的人群高兴程度识别方法 | |
CN106980858A (zh) | 一种语言文本检测与定位系统及应用该系统的语言文本检测与定位方法 | |
CN104657717B (zh) | 一种基于分层核稀疏表示的行人检测方法 | |
CN106845556A (zh) | 一种基于卷积神经网络的织物疵点检测方法 | |
CN107945153A (zh) | 一种基于深度学习的路面裂缝检测方法 | |
CN105205449A (zh) | 基于深度学习的手语识别方法 | |
CN105913025A (zh) | 一种基于多特征融合的深度学习人脸识别方法 | |
CN105005765A (zh) | 一种基于Gabor小波和灰度共生矩阵的人脸表情识别方法 | |
CN114842208B (zh) | 一种基于深度学习的电网危害鸟种目标检测方法 | |
CN110070078A (zh) | 一种基于传感器与机器视觉的酒驾检测方法及系统 | |
CN106529503A (zh) | 一种集成卷积神经网络人脸情感识别方法 | |
CN111339935B (zh) | 一种基于可解释cnn图像分类模型的光学遥感图片分类方法 | |
CN114067368B (zh) | 基于深度卷积特征的电网危害鸟种分类识别方法 | |
CN107844760A (zh) | 基于曲面法向分量图神经网络表示的三维人脸识别方法 | |
CN110009648A (zh) | 基于深浅特征融合卷积神经网络的路侧图像车辆分割方法 | |
CN106991666A (zh) | 一种适用于多尺寸图片信息的病害图像识别方法 | |
CN112581450B (zh) | 基于膨胀卷积金字塔与多尺度金字塔的花粉检测方法 | |
CN108932712A (zh) | 一种转子绕组质量检测系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |