CN111914738A - 一种基于并行交叉卷积神经网络的疲劳驾驶行为检测系统 - Google Patents
一种基于并行交叉卷积神经网络的疲劳驾驶行为检测系统 Download PDFInfo
- Publication number
- CN111914738A CN111914738A CN202010747777.XA CN202010747777A CN111914738A CN 111914738 A CN111914738 A CN 111914738A CN 202010747777 A CN202010747777 A CN 202010747777A CN 111914738 A CN111914738 A CN 111914738A
- Authority
- CN
- China
- Prior art keywords
- layer
- fatigue driving
- neural network
- driving
- convolutional neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 47
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 13
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 41
- 238000012549 training Methods 0.000 claims abstract description 22
- 230000006399 behavior Effects 0.000 claims description 26
- 238000011176 pooling Methods 0.000 claims description 14
- 230000004927 fusion Effects 0.000 claims description 11
- 238000000034 method Methods 0.000 claims description 6
- 238000012544 monitoring process Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 4
- 238000013145 classification model Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 239000013598 vector Substances 0.000 claims description 4
- 241001282135 Poromitra oscitans Species 0.000 claims description 2
- 206010048232 Yawning Diseases 0.000 claims description 2
- 238000002372 labelling Methods 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 claims description 2
- 238000005096 rolling process Methods 0.000 claims description 2
- 230000000391 smoking effect Effects 0.000 claims description 2
- 238000002054 transplantation Methods 0.000 claims description 2
- 238000004804 winding Methods 0.000 claims description 2
- 230000001960 triggered effect Effects 0.000 claims 1
- 238000003062 neural network model Methods 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 6
- 206010039203 Road traffic accident Diseases 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000034994 death Effects 0.000 description 1
- 231100000517 death Toxicity 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 230000006461 physiological response Effects 0.000 description 1
- 230000008433 psychological processes and functions Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于并行交叉卷积神经网络的疲劳驾驶检测系统，包括疲劳驾驶样本图像的采集、样本图像的划分以及构建并行交叉的卷积神经网络模型对采集的驾驶状态样本进行训练，并将训练得到的模型应用于疲劳驾驶检测。本发明的并行交叉卷积神经网络模型能够有效提取图像特征，满足实时性要求。同时，本发明提供了基于并行交叉卷积神经网络的疲劳驾驶的检测系统功能组件，包括摄像头、语音提示模块、计时器等，本发明详细说明了疲劳驾驶检测系统的运行流程，该系统能够对驾驶员状态进行实时监测，有效防止意外事故的发生。
Description
技术领域
本发明涉及一种基于卷积神经网络的疲劳驾驶行为检测系统，属于汽车安全驾驶技术领域。
背景技术
随着社会的高速发展，人们出行方式变得丰富，汽车成为我们生活中最常见的代步工具和运输工具；可随之而来的是道路的交通秩序和安全状况也变得十分复杂，交通事故的发生也越来越频繁。据统计，在全世界范围内每年由交通事故造成的死亡人数有至少60万之多；而发生交通事故90％左右是由司机人为原因造成的，其中绝大部分原因是疲劳驾驶。若能监控驾驶员是否处于疲劳驾驶状态，一旦发现立刻报警提醒，便能大幅度减少这类交通事故的发生率。因此，开发一种疲劳驾驶行为检测系统具有重要的意义。
疲劳驾驶是指驾驶员在较长时间不停歇行车后，因生理和心理机能的失调而引起驾驶技能下降的现象。目前疲劳驾驶行为按检测的类别可大致分为基于车辆状态的检测、基于驾驶员生理信号的检测和基于驾驶员生理反应特征的检测等方法。
基于车辆状态(行驶轨迹变化和车道线偏离)的检测方法是通过安装能够检测出车辆状态的各类传感器，通过车辆状态分析驾驶员行为判断疲劳驾驶情况，此种方法对硬件要求高，价格昂贵，且也易受行驶环境和驾驶员习惯的影响，误差较大。
基于生理信号(脑电信号、心电信号等)判别疲劳驾驶的准确性较高，但这种采集方式需要驾驶员佩戴一些传感器，操作复杂佩戴不便，给实际应用带来不便和局限性。
基于驾驶员生理反应特征(眼睛特性、嘴部运动等面部表情)的检测方法目前主要是通过在车内安装摄像头，采用传统机器学习方法进行检测分析，这种方法相比前两种方法受干扰因素小，使用方便，价格便宜，但易受到光照、驾驶员姿态等因素的影响，造成准确率不高的问题。
申请人结合现有技术和实际驾驶员的驾驶状态研究发现，对于判断疲劳状态而言，采用卷积神经网络的方法可以实现高效、高准确率的检测。但是如何将卷积神经网络技术引入到驾驶疲劳检测技术中来，以提高驾驶员疲劳检测的准确性和实时性，成为亟待解决的问题。
发明内容
本发明的目的是克服现有技术的不足，提供一种基于并行交叉卷积神经网络的疲劳驾驶行为检测系统，可以有效地提高疲劳驾驶行为的检测精度，并在驾驶员疲劳驾驶时，可以发出实时状态预警，防止意外事故的发生。
本发明公开了一种基于并行交叉卷积神经网络的疲劳驾驶检测系统，所述方法包括以下步骤：
S1，建立疲劳驾驶图像数据集：在实际驾驶条件下，采集驾驶员在正常行驶状态和疲劳驾驶状态的图像作为样本，并将样本图像划分成6种常见的疲劳驾驶行为和1种正常驾驶行为；
S2，划分疲劳驾驶图像数据集：根据卷积神经网络的训练方法，将每类疲劳驾驶状态的图像样本按照8:2的比例划分为训练图像、测试图像，同时对7个类别的驾驶样本图像按照1～7的顺序进行标注；
S3，构建卷积神经网络模型：所构建的卷积神经网络包括两个并行通路，两个通路均包含5层卷积层(Conv1～Conv5)和2层池化层(pool1～pool2)，当两个通道的特征提取结束后，两个通路的特征融合采用级联方式，并输入到全局平均池化层以及全连接层中，进而由Softmax分类器输出结果。
S4，卷积神经网络模型的训练：将S2所述的训练图像、测试图像作为S3所构建的卷积神经网络数据层的输入，利用前向传播算法和反向传播算法对所述卷积神经网络进行迭代训练、优化训练全局参数，最终使卷积神经网络输出的损失函数值下降并收敛，生成可用于识别疲劳驾驶状态的分类模型；
S5，模型的移植：将S4训练得到的疲劳驾驶分类模型移植到嵌入式平台，嵌入式平台通过固定在车身驾驶位前方的两个摄像头获取司机驾驶状态图像，并对图像信息通过调用模型判断当前司机驾驶状态；
S6，疲劳驾驶报警：将S5获得的驾驶状态信息进行显示，若判断为安全驾驶，则不报警；若连续5帧判断为疲劳驾驶，则发出语音报警。
进一步地，上述本发明提出的基于并行交叉卷积神经网络的疲劳驾驶检测系统中，所述S1中驾驶行为包括：正常驾驶、抽烟、打哈欠、点头、闭眼、左顾右盼、打电话。
进一步地，上述本发明提出的基于并行交叉卷积神经网络的疲劳驾驶检测系统中，S3所述卷积神经网络的网络结构包括如下：
数据层：该层是网络的第一层，存储着疲劳驾驶样本图像及对应样本类别的标签数据；
卷积层：网络包含两个并行的卷积层，卷积的层次相等，除了第一个卷积层的卷积核尺寸不同，其余设置保持相同，详细如下；
第一卷积层：该层是网络的第二层，两个并行通路分别采用不同的卷积核进行特征提取，卷积核尺寸分别为11×11和7×7，步长为4，输出的特征图数量为96，图像卷积后作为下一层的输入；
第一池化层：该层是网络的第三层，卷积核为3×3，步长为2，是对第一卷积层的下采样；
第二卷积层：该层是网络的第四层，卷积核为5×5，步长为为1，输出特征图数量为128，是对图像卷积后作为下一层的输入；
第二池化层：该层是网络的第五层，卷积核为3×3，步长为2，是对第二卷积层的下采样；
第三卷积层：该层是网络的第六层，卷积核为3×3，步长为为1，输出特征图数量为192，是对图像卷积后作为下一层的输入；
第四卷积层：该层是网络的第七层，卷积核为3×3，步长为为1，输出特征图数量为192，是对图像卷积后作为下一层的输入；
第五卷积层：该层是网络的第八层，卷积核为3×3，步长为为1，输出特征图数量为128，是对图像卷积后作为下一层的输入；
特征融合层：该层是网络的第九层，是对并行输出的特征进行特征融合，采用级联融合；
全局池化层：该层是网络的第十层，是对特征融合层的特征图进行全局下采样；
全连接层：该层是网络的第十一层，输出的是一维特征；
分类层：该层是网络的最后一层，输出概率分布向量P，即属于第j类的概率值Pi，
并在Pi中寻找最大值，将概率最大的i所对应的类别作为检测结果，i＝1，2，…，n，n为分类类别数。
进一步地，上述本发明提出的基于并行交叉卷积神经网络的疲劳驾驶检测系统中，S4所述损失函数定义如下：
其中，F(θ)为损失函数，m为待训练图像的总数，n为类别数，1{y(i)＝j}为指示函数，x(i)为全连接层输出节点所构成的向量，θ1，θ2，…θn表示模型参数，T表示矩阵的装置。
进一步地，模型采用平均准确率对模型性能进行评价，定义如下：
其中，ncl为样本类别总数，i为类别标签(1～7)，ni为类别i的样本总数，nii为类别i预测为第i类的样本数。
进一步地，上述本发明提出的基于并行交叉卷积神经网络的疲劳驾驶检测系统中，S6语音报警提示根据卷积神经网络判断的6种疲劳驾驶状态，播出“您正在处于某种驾驶状态，请注意”的语音报警。
进一步地，上述本发明提出的基于并行交叉卷积神经网络的疲劳驾驶检测系统中，S6语音报警提示除了根据卷积神经网络判断的6种疲劳驾驶状态进行语音报警，当行车时间超过4小时时，会播出“您驾驶时间已经超过4小时，请停车休息”的语音报警。
本发明的有益效果：
1、本发明基于并行交叉卷积神经网络，能够有效提取图像特征信息，不需要人工干预，可以有效用于疲劳驾驶检测，相比与传统的机器学习，本发明的分类效果明显。
2、本发明训练得到的卷积神经网络模型，占用内存小，对于遮挡、拍摄角度差异等条件下采集的图像，仍然能够进行决策，具有很好的鲁棒性。
3、本发明的疲劳驾驶检测系统在实际应用时能满足实时性要求，及时对疲劳状态做出决策，并发出预警。
附图说明
图1为本发明并行交叉卷积神经网络模型的结构图。
图2为本发明并行交叉卷积神经网络模型的参数配置图。
图3为本发明基于并行交叉卷积神经网络的疲劳驾驶检测系统功能组件。
图4为本发明基于并行交叉卷积神经网络的疲劳驾驶检测系统流程图。
具体实施方式
以下将结合附图所示的各实施方式对本发明进行详细描述。但这些实施方式并不限制本发明，本领域的普通技术人员根据这些实施方式所做出的结构、方法、或功能上的变换均包含在本发明的保护范围内。
如图1所示，驾驶员疲劳检测的开启通过行车车速决定，当行车车速超过20km/h时，疲劳驾驶系统开始工作，放置在驾驶员前端的摄像头捕捉驾驶员行车状态的图像，每隔5s拍摄一次，再调用训练好的卷积神经网络模型对拍摄的图像进行分析，输出对行车状态的判断结果，若驾驶员的行车状态为安全状态则继续分析下一帧图像，若驾驶员的行车状态判断疲劳驾驶连续五次后，则根据疲劳驾驶的具体状态分类报警，语音报警时间间隔为20s，持续报警到疲劳驾驶状态改变，同时，当行车车速超过10km/h时，计时器开始计时，当行车时间超过4h后开启语音报警，语音报警时间间隔为1h，持续报警到停车休息。
如图2所示，为本发明基于并行交叉卷积神经网络的疲劳驾驶检测系统功能组件，主要由电源模式管理系统提供疲劳驾驶检测系统电源、开启整个系统，轮速传感器传送车速信号至驾驶员疲劳监控系统，疲劳监控系统开启摄像头进行拍摄图像，将拍摄的图像送入疲劳监控系统判定驾驶员状态，判断为疲劳驾驶状态引发扬声器进行语音报警，并传送信号至仪表点亮警报灯，直到状态改变扬声器和仪表停止响应；轮速传感器传送车速至计时器，当计时器超过4h启动扬声器语音报警功能。
进一步地，疲劳驾驶系统通过CAN信号连接到整车CAN总线，与其他电子控制器之间信息交互，仪表盘设有有疲劳驾驶警报灯，当疲劳驾驶系统判断驾驶员处于疲劳驾驶阶段则向仪表发送点亮疲劳驾驶警报灯的信号，以此点亮此灯。
如图3,4所示，本实施例提供一种基于并行交叉卷积神经网络的司机疲劳驾驶检测方法的实现主要包含以下步骤：
步骤1，制作疲劳驾驶图像数据集：
在实际驾驶环境中，对所述的6种常见的疲劳驾驶行为和1种正常驾驶行为图像进行采集，并遵循以下要求：1)保证采集的目标均在图像中间位置；2)具有统一的分辨率、图像格式；3)保持各种类样本数量的均衡性；最后采集到的样本数量为15000张，其中，正常驾驶样本数量为3000张，6个类别的疲劳驾驶样本数量12000，每类的图像数量均为2000张，并将采集的图像样本进行尺度归一化，使用线性插值法将样本图像统一裁剪为256×256像素，格式为*.jpg的RGB彩色图像，同时为了防止模型训练时由于样本数量少出现过拟合，对上述建立的疲劳驾驶图像集进行扩充图像，包括对图像的旋转、镜像、裁剪、尺度、对比度、噪声等，扩充后的图像达到10万张。
步骤2，划分疲劳驾驶图像数据集
对步骤2扩充得到的20万张图像按照比例8:2划分为训练集和测试集，并得到训练集标签文件和测试集标签文件；
步骤3，搭建并行交叉卷积神经网络模型；
按照图3卷积神经网络的参数设置，选择一种深度学习框架构建卷积神经网络，可以选择Caffe、Tesnsorflow框架等。其中，第一卷积层的卷积核尺寸分别为11×11和7×7，步长为4，输出的特征图数量为96；第一池化层的卷积核为3×3，步长为2；第二卷积层的卷积核为5×5，步长为为1，输出特征图数量为128；第二池化层的卷积核为3×3，步长为2；第三卷积层的卷积核为3×3，步长为为1，输出特征图数量为192；第四卷积层的卷积核为3×3，步长为为1，输出特征图数量为192；第五卷积层的卷积核为3×3，步长为为1，输出特征图数量为128；特征融合层采用级联融合；全局池化层采用全局平均池化方式；全连接层输出的类别数为7；
步骤4，训练并行交叉卷积神经网络模型；
采用小批量的随机梯度下降算法训练模型，激活函数采用Relu，根据显卡的显存大小设置Batch size的值，模型采用均值为0，标准差为0.01的高斯分布随机初始化网络权重，初始学习率设置为0.01，并分段逐次减小为原来的0.1。当网络收敛到稳定值以后，保存训练模型。
步骤5，模型的移植和检测
将训练得到的模型移植到嵌入式平台，利用该网络模型对驾驶员驾驶状态下的图像进行识别分类，开发疲劳驾驶自动评估系统。
以上所述，仅为本发明创造较佳的具体实施方式，但本发明创造的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明创造披露的技术范围内，根据本发明创造的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明创造的保护范围之内。
Claims (9)
1.一种基于并行交叉卷积神经网络的疲劳驾驶行为检测系统，其特征在于：包括如下步骤：
S1，建立疲劳驾驶图像数据集：在实际驾驶条件下，采集驾驶员在正常行驶状态和疲劳驾驶状态的图像作为样本，并将样本图像划分成6种常见的疲劳驾驶行为和1种正常驾驶行为；
S2，划分疲劳驾驶图像数据集：根据卷积神经网络的训练方法，将每种疲劳驾驶状态的图像样本按照8:2的比例划分为训练图像与测试图像，同时对7个类别的驾驶状态样本图像按照1～7的顺序进行标注；
S3，构建卷积神经网络模型：所构建的卷积神经网络包括两个并行通路，两个通路均包含5层卷积层，即Conv1～Conv5和2层池化层，即pool1～pool2，当两个通道的特征提取结束后，两个通路的特征融合采用级联方式，并输入到全局平均池化层以及全连接层中，进而由Softmax分类器输出结果；
S4，卷积神经网络模型的训练：将S2所述的训练图像与测试图像作为S3所构建的卷积神经网络数据层的输入，利用前向传播算法和反向传播算法对所述卷积神经网络进行迭代训练、优化训练全局参数，最终使卷积神经网络输出的损失函数值下降并收敛，生成可用于识别疲劳驾驶状态的分类模型；
S5，模型的移植：将S4训练得到的疲劳驾驶分类模型移植到嵌入式平台，嵌入式平台通过固定在车身驾驶位前方的两个摄像头获取司机驾驶状态图像，并对图像信息通过调用模型判断当前司机驾驶状态；
S6，疲劳驾驶报警：将S5获得的驾驶状态信息进行显示，若判断为安全驾驶，则不报警；若连续5帧判断为疲劳驾驶，则发出语音报警。
2.根据权利要求1所述的基于并行交叉卷积神经网络的疲劳驾驶行为检测系统，其特征在于：所述S1中驾驶行为包括：正常驾驶、抽烟、打哈欠、点头、闭眼、左顾右盼、打电话。
3.根据权利要求1所述的基于并行交叉卷积神经网络的疲劳驾驶行为检测系统，其特征在于：所述S3所述卷积神经网络的网络结构包括如下：
数据层：数据层为网络的第一层，存储着疲劳驾驶样本图像及对应样本类别的标签数据；
卷积层：网络包含两个并行的卷积层，卷积的层次相等，除了第一个卷积层的卷积核尺寸不同，其余设置保持相同，详细如下；
第一卷积层：该层是网络的第二层，两个并行通路分别采用不同的卷积核进行特征提取，卷积核尺寸分别为11×11和7×7，步长为4，输出的特征图数量为96，图像卷积后作为下一层的输入；
第一池化层：该层是网络的第三层，卷积核为3×3，步长为2，是对第一卷积层的下采样；
第二卷积层：该层是网络的第四层，卷积核为5×5，步长为为1，输出特征图数量为128，是对图像卷积后作为下一层的输入；
第二池化层：该层是网络的第五层，卷积核为3×3，步长为2，是对第二卷积层的下采样；
第三卷积层：该层是网络的第六层，卷积核为3×3，步长为为1，输出特征图数量为192，是对图像卷积后作为下一层的输入；
第四卷积层：该层是网络的第七层，卷积核为3×3，步长为为1，输出特征图数量为192，是对图像卷积后作为下一层的输入；
第五卷积层：该层是网络的第八层，卷积核为3×3，步长为为1，输出特征图数量为128，是对图像卷积后作为下一层的输入；
特征融合层：该层是网络的第九层，是对并行输出的特征进行特征融合，采用级联融合；
全局池化层：该层是网络的第十层，是对特征融合层的特征图进行全局下采样；
全连接层：该层是网络的第十一层，输出的是一维特征；
分类层：该层是网络的最后一层，输出概率分布向量P，即属于第j类的概率值Pi，
并在Pi中寻找最大值，将概率最大的i所对应的类别作为检测结果，i＝1，2，…，n，n为分类类别数。
4.根据权利要求1所述的基于并行交叉卷积神经网络的疲劳驾驶行为检测系统，其特征在于：所述S4中的损失函数定义如下：
其中，F(θ)为损失函数，m为待训练图像的总数，n为类别数，1{y(i)＝j}为指示函数，x(i)为全连接层输出节点所构成的向量，θ1，θ2，…θn表示模型参数，T表示矩阵的装置。
进一步地，模型采用平均准确率对模型性能进行评价，定义如下：
其中，ncl为样本类别总数，i为类别标签(1～7)，ni为类别i的样本总数，nii为类别i预测为第i类的样本数。
5.根据权利要求1所述的基于并行交叉卷积神经网络的疲劳驾驶行为检测系统，其特征在于：所述S6中的语音报警提示根据卷积神经网络判断驾驶员正处于6种疲劳驾驶状态中的某一种，并播出相对应的语音报警。
6.根据权利要求1所述的基于并行交叉卷积神经网络的疲劳驾驶行为检测系统，其特征在于：所述S6中的语音报警提示除了根据卷积神经网络判断的6种疲劳驾驶状态进行语音报警，当行车时间超过4小时时，会播出提示驾驶时间超时的语音报警。
7.根据权利要求1所述的基于并行交叉卷积神经网络的疲劳驾驶行为检测系统，其特征在于：疲劳驾驶行为检测系统的开启通过行车车速决定，当行车车速超过20km/h时，疲劳驾驶系统开始工作，放置在驾驶员前端的摄像头捕捉驾驶员行车状态的图像，每隔5s拍摄一次，再调用训练好的卷积神经网络模型对拍摄的图像进行分析，输出对行车状态的判断结果，若驾驶员的行车状态为安全状态则继续分析下一帧图像，若驾驶员的行车状态判断疲劳驾驶连续五次后，则根据疲劳驾驶的具体状态分类报警，语音报警时间间隔为20s，持续报警到疲劳驾驶状态改变，同时，当行车车速超过10km/h时，计时器开始计时，当行车时间超过4h后开启语音报警，语音报警时间间隔为1h，持续报警到停车休息。
8.根据权利要求1所述的基于并行交叉卷积神经网络的疲劳驾驶行为检测系统，其特征在于：疲劳驾驶行为检测系统的功能组件至少包括电源模式管理系统、轮速传感器、摄像头、扬声器、计时器及警报灯；所述电源模式管理系统提供疲劳驾驶检测系统电源、开启整个系统，轮速传感器传送车速信号至驾驶员疲劳监控系统，疲劳监控系统开启摄像头进行拍摄图像，将拍摄的图像送入疲劳监控系统判定驾驶员状态，判断为疲劳驾驶状态引发扬声器进行语音报警，并传送信号至仪表点亮警报灯，直到状态改变扬声器和仪表停止响应；轮速传感器传送车速至计时器，当计时器超过4h启动扬声器语音报警功能。
9.根据权利要求1所述的基于并行交叉卷积神经网络的疲劳驾驶行为检测系统，其特征在于：疲劳驾驶系统通过CAN信号连接到整车CAN总线，至少与仪表，娱乐大屏等电子控制器之间信息交互。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010747777.XA CN111914738A (zh) | 2020-07-29 | 2020-07-29 | 一种基于并行交叉卷积神经网络的疲劳驾驶行为检测系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010747777.XA CN111914738A (zh) | 2020-07-29 | 2020-07-29 | 一种基于并行交叉卷积神经网络的疲劳驾驶行为检测系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111914738A true CN111914738A (zh) | 2020-11-10 |
Family
ID=73287386
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010747777.XA Pending CN111914738A (zh) | 2020-07-29 | 2020-07-29 | 一种基于并行交叉卷积神经网络的疲劳驾驶行为检测系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111914738A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113034353A (zh) * | 2021-04-09 | 2021-06-25 | 西安建筑科技大学 | 一种基于交叉卷积神经网络的本质图像分解方法及系统 |
| CN113486699A (zh) * | 2021-05-07 | 2021-10-08 | 成都理工大学 | 一种疲劳驾驶自动检测方法和装置 |
| CN114973330A (zh) * | 2022-06-16 | 2022-08-30 | 深圳大学 | 一种跨场景鲁棒的人员疲劳状态无线检测方法及相关设备 |
| CN115909291A (zh) * | 2022-11-07 | 2023-04-04 | 江西航盛电子科技有限公司 | 基于车辆数据的驾驶员驾驶状态监测系统及其方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108491858A (zh) * | 2018-02-11 | 2018-09-04 | 南京邮电大学 | 基于卷积神经网络的疲劳驾驶检测方法及系统 |
| CN110084141A (zh) * | 2019-04-08 | 2019-08-02 | 南京邮电大学 | 一种基于私有信息的跨领域场景识别方法 |
| CN110119714A (zh) * | 2019-05-14 | 2019-08-13 | 济南浪潮高新科技投资发展有限公司 | 一种基于卷积神经网络的驾驶员疲劳检测方法及装置 |
| CN111028277A (zh) * | 2019-12-10 | 2020-04-17 | 中国电子科技集团公司第五十四研究所 | 基于伪孪生卷积神经网络的sar和光学遥感图像配准方法 |
-
2020
- 2020-07-29 CN CN202010747777.XA patent/CN111914738A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108491858A (zh) * | 2018-02-11 | 2018-09-04 | 南京邮电大学 | 基于卷积神经网络的疲劳驾驶检测方法及系统 |
| CN110084141A (zh) * | 2019-04-08 | 2019-08-02 | 南京邮电大学 | 一种基于私有信息的跨领域场景识别方法 |
| CN110119714A (zh) * | 2019-05-14 | 2019-08-13 | 济南浪潮高新科技投资发展有限公司 | 一种基于卷积神经网络的驾驶员疲劳检测方法及装置 |
| CN111028277A (zh) * | 2019-12-10 | 2020-04-17 | 中国电子科技集团公司第五十四研究所 | 基于伪孪生卷积神经网络的sar和光学遥感图像配准方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113034353A (zh) * | 2021-04-09 | 2021-06-25 | 西安建筑科技大学 | 一种基于交叉卷积神经网络的本质图像分解方法及系统 |
| CN113486699A (zh) * | 2021-05-07 | 2021-10-08 | 成都理工大学 | 一种疲劳驾驶自动检测方法和装置 |
| CN114973330A (zh) * | 2022-06-16 | 2022-08-30 | 深圳大学 | 一种跨场景鲁棒的人员疲劳状态无线检测方法及相关设备 |
| CN115909291A (zh) * | 2022-11-07 | 2023-04-04 | 江西航盛电子科技有限公司 | 基于车辆数据的驾驶员驾驶状态监测系统及其方法 |
| CN115909291B (zh) * | 2022-11-07 | 2023-08-25 | 江西航盛电子科技有限公司 | 基于车辆数据的驾驶员驾驶状态监测系统及其方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111914738A (zh) | 一种基于并行交叉卷积神经网络的疲劳驾驶行为检测系统 | |
| CN107886073B (zh) | 一种基于卷积神经网络的细粒度车辆多属性识别方法 | |
| CN110163187B (zh) | 基于f-rcnn的远距离交通标志检测识别方法 | |
| CN105844257B (zh) | 基于机器视觉雾天行车错失道路标志牌的预警系统及方法 | |
| CN108446678B (zh) | 一种基于骨骼特征的危险驾驶行为识别方法 | |
| CN105488453B (zh) | 一种基于图像处理的驾驶员未系安全带检测识别方法 | |
| CN106781458A (zh) | 一种交通事故监控方法及系统 | |
| CN105769120A (zh) | 疲劳驾驶检测方法和装置 | |
| CN111401188B (zh) | 一种基于人体关键点特征的交警手势识别方法 | |
| CN111274886B (zh) | 一种基于深度学习的行人闯红灯违法行为分析方法及系统 | |
| Jain et al. | Performance analysis of object detection and tracking algorithms for traffic surveillance applications using neural networks | |
| CN111860274A (zh) | 基于头部朝向与上半身骨架特征的交警指挥手势识别方法 | |
| JP6700373B2 (ja) | ビデオ動画の人工知能のための学習対象イメージパッケージング装置及び方法 | |
| CN109670450B (zh) | 一种基于视频的人车物检测方法 | |
| CN112287827A (zh) | 基于智慧灯杆的复杂环境行人口罩佩戴检测方法及系统 | |
| CN106570444A (zh) | 基于行为识别的车载智能提醒方法及系统 | |
| WO2024051296A1 (zh) | 一种复杂天气下障碍物检测方法及装置 | |
| CN110516622A (zh) | 一种车内人员的性别、年龄和情绪智能识别方法及系统 | |
| CN111563468B (zh) | 一种基于神经网络注意力的驾驶员异常行为检测方法 | |
| CN110263836B (zh) | 一种基于多特征卷积神经网络的不良驾驶状态识别方法 | |
| CN114299473A (zh) | 一种基于多源信息融合的驾驶员行为识别方法 | |
| CN113343926A (zh) | 一种基于卷积神经网络的驾驶员疲劳检测方法 | |
| CN113762144A (zh) | 一种基于深度学习的黑烟车检测方法 | |
| CN111339834B (zh) | 车辆行驶方向的识别方法、计算机设备及存储介质 | |
| CN113486711A (zh) | 交通标志识别模型训练方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |