CN113505718A - 一种基于深度学习的驾驶员疲劳检测控制方法 - Google Patents

一种基于深度学习的驾驶员疲劳检测控制方法 Download PDF

Info

Publication number
CN113505718A
CN113505718A CN202110810859.9A CN202110810859A CN113505718A CN 113505718 A CN113505718 A CN 113505718A CN 202110810859 A CN202110810859 A CN 202110810859A CN 113505718 A CN113505718 A CN 113505718A
Authority
CN
China
Prior art keywords
detection
network
fatigue
information
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110810859.9A
Other languages
English (en)
Inventor
赵生捷
沈祺
张荣庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN202110810859.9A priority Critical patent/CN113505718A/zh
Publication of CN113505718A publication Critical patent/CN113505718A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于深度学习的驾驶员疲劳检测控制方法,具体包括以下步骤:S1、采集行驶中的驾驶员的视频图像,对视频图像进行分割提取;S2、对分割提取得到的原始数据进行图像预处理,得到驾驶员的脸部关键信息;S3、脸部关键信息输入检测网络,输出的检测信息合并后输入分类全连接网络,输出驾驶员的疲劳检测值,并与预设的阈值范围比较输出相应的疲劳等级,若疲劳等级超过等级阈值则显示疲劳警告信息。与现有技术相比,本发明具有提升疲劳驾驶的检测准确率、保证检测网络具体较高的检测准确率、实现网络模型的轻量化,有效压缩网络模型的大小,降低网络模型的计算量等优点。

Description

一种基于深度学习的驾驶员疲劳检测控制方法
技术领域
本发明涉及辅助驾驶技术领域,尤其是涉及一种基于深度学习的驾驶员疲劳检测控制方法。
背景技术
随着我国交通行业的高速发展,不论是营运车辆的数量还是家用车辆的数量都在逐年快速增长。同时,由车辆行驶导致的重大交通事故也较为频繁地发生。分析可知,包括开车时接电话、疲劳驾驶等异常驾驶行为是导致交通事故的主要原因。而由于相关部门信息技术化的应用程度并不是特别的高,缺少对道路上行驶的车辆的行驶数据的动态分析,有效分析车辆驾驶人员的驾驶行为,这是重大交通事故发生频率增加的一个重要原因。
与此同时,近年来深度学习的高速发展也告诉了人们一种处理视频和图片的新思路。深度学习作为机器学习算法研究中的一个新的方向,其基础在于建立、模拟人脑进行分析学习的神经网络。深度学习是相对于简单学习而言的,目前多数分类、回归等学习算法都属于简单学习或者浅层结构,浅层结构通常只包含1层或2层的非线性特征转换层,典型的浅层结构有高斯混合模型(GMM)、隐马尔科夫模型(HMM)、条件随机域(CRF)、最大熵模型(MEM)、逻辑回归(LR)、支持向量机(SVM)和多层感知器(MLP)等等。其中人们运用较多也比较成功的分类模型是SVM,SVM使用了浅层线性模式分离对应样本,对于非线性的模型SVM也会尝试将低位的数据向量投射向高位来寻找最优的超平面。但是传统的机器学习的学习能力有限,于是人们开始寻找学习能力更强的模型,深度学习的概念也开始逐渐进入人们的视野。
疲劳检测系统,即通过驾驶员的相关特征作为信息输入来判断驾驶员的状态,并能给予相关的警告。具体来说,机器学习需要的特征并不一定是驾驶员本身的特征,也可以是车辆的行驶特征或者是车内环境都可以作为一个检测特征,事实上驾驶员的疲劳检测确实也依据此分为3个分支,即依靠车辆状况、驾驶员的生理特征、驾驶员的脸部特征作为检测依据。
针对驾驶员的脸部特征检测目前有两种选择,基于图片检测的分类模型和基于多张连续的图片的时序检测模型。基于图片检测的分类模型虽然也可以起到一定的检测效果,同时模型比较小,但是误报率会非常高,而且无法检测出一些细微的疲劳特征,而基于时序的疲劳检测率和鲁棒性会大大提升。
针对时序检测模型也有多种选择,经典的LSTM方法、目标跟踪里经常使用的光流信息以及3D卷积都可以很好地处理时序信息,但是LSTM方法的体量较大,对存储设备的要求较高。注意力机制是近年来起源于NLP的一种新技术,关键在于如何利用特征之间的关联性来提升模型的效果,在2017ImageNet的冠军模型中就使用了注意力机制,带来不错的提升。对于训练好的检测网络,其模型大小以及计算量都会比较大,需要对网络进行压缩减少其大小和计算量,对网络进行轻量化,但是不能使得网络的准确率下降太多。
发明内容
本发明的目的就是为了克服上述现有技术存在的疲劳检测率和鲁棒性较差、检测网络的模型大小和计算量较大的缺陷而提供一种基于深度学习的驾驶员疲劳检测控制方法。
本发明的目的可以通过以下技术方案来实现:
一种基于深度学习的驾驶员疲劳检测控制方法,具体包括以下步骤:
S1、采集行驶中的驾驶员的视频图像,对所述视频图像进行分割提取;
S2、对分割提取得到的原始数据进行图像预处理,得到驾驶员的脸部关键信息;
S3、所述脸部关键信息输入检测网络,输出的检测信息合并后输入分类全连接网络,输出驾驶员的疲劳检测值,并与预设的阈值范围比较输出相应的疲劳等级,若疲劳等级超过等级阈值则显示疲劳警告信息。
所述步骤S1中对所述视频图像进行分割提取的过程具体为隔帧提取所述视频图像作为原始数据。
所述步骤S2中图像预处理的形式具体为通过限制对比度自适应直方图均衡对原始数据进行预处理。
所述步骤S2中脸部关键信息基于Opencv中的人脸关键点检测模型计算得到。
所述脸部关键信息包括眼部信息、嘴部信息以及头部信息。
所述检测网络包括多路基于双流3D卷积网络的检测子网络。
进一步地,所述检测子网络包括眼部检测子网络、嘴部检测子网络和头部检测子网络。
进一步地,所述眼部检测子网络在双流3D卷积网络的基础上,结合注意力机制。
所述原始数据包括原始图像、光流信息和时序信息,所述检测子网络同时结合多帧的原始图像和光流信息,根据时序信息进行检测。
所述检测子网络具体为采用深度压缩的方式对网络进行轻量化后的网络模型,轻量化的具体流程包括剪枝、量化和存储优化。
进一步地,网络模型的剪枝过程具体为将网络模型的权重中小于一定阈值的权重直接设为0,同时进行多次迭代,寻找最优。
进一步地,网络模型的量化过程具体为通过kmeans算法对网络模型进行量化聚类,最终实现权重共享。
进一步地,网络模型的存储优化过程具体为对稀疏化的网络模型进行基于哈夫曼树形式的存储。
与现有技术相比,本发明具有以下有益效果:
1.本发明针对现在的基于深度学习的方法,大多对于图片是直接输入检测网络而不做任何处理,但是针对一些特殊情况比如驾驶员戴着墨镜或者检测的时间进入夜晚,导致检测效果下降,本发明通过对获取的图片进行对比度提升的预处理,使得驾驶员的脸部信息特征更加明显,有效提升了疲劳驾驶的检测准确率。
2.本发明的检测子网络同时结合原始图像和光流信息,根据时序信息对驾驶员的疲劳特征进行检测,同时利用了在NLP以及计算机视觉中广泛使用的注意力机制来提升网络的效果,保证了检测网络具体较高的检测准确率。
3.本发明的检测子网络具体为采用深度压缩的方式对网络进行轻量化后的网络模型,包括剪枝、量化和存储优化,实现了网络模型的轻量化,有效压缩了网络模型的大小,降低了网络模型的计算量。
附图说明
图1为本发明的流程示意图;
图2为本发明图像预处理的流程示意图;
图3为本发明检测子网络的结构示意图;
图4为本发明注意力机制网络的结构示意图;
图5为本发明深度压缩的流程示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
实施例
如图1所示,一种基于深度学习的驾驶员疲劳检测控制方法,具体包括以下步骤:
S1、采集行驶中的驾驶员的视频图像,对视频图像进行分割提取;
S2、对分割提取得到的原始数据进行图像预处理,得到驾驶员的脸部关键信息;
S3、脸部关键信息输入检测网络,输出的检测信息合并后输入分类全连接网络,输出驾驶员的疲劳检测值,并与预设的阈值范围比较输出相应的疲劳等级,若疲劳等级超过等级阈值则显示疲劳警告信息。
如图2所示,步骤S1中对视频图像进行分割提取的过程具体为隔帧提取视频图像作为原始数据,本实施例中,视频图像的帧率是每秒30帧,采用3帧一取的频率取30帧作为本次检测的原始数据,获取将近3秒内的数据,得到驾驶员的眼部截图、嘴部截图和头部截图。
步骤S2中图像预处理的形式具体为通过限制对比度自适应直方图均衡对原始数据进行预处理。
步骤S2中脸部关键信息基于Opencv中的人脸关键点检测模型计算得到。
脸部关键信息包括眼部信息、嘴部信息以及头部信息。
检测网络包括多路基于双流3D卷积网络的检测子网络。
检测子网络包括眼部检测子网络、嘴部检测子网络和头部检测子网络。
眼部检测子网络在双流3D卷积网络的基础上,结合注意力机制,如图5所示,注意力机制利用了通道间的关系,与直接加深网络深度来提升网络效果有一定的区别。
原始数据包括原始图像、光流信息和时序信息,如图3所示,检测子网络同时结合多帧的原始图像和光流信息,根据时序信息进行检测,其中通过原始图像得到时间信息网络,通过光流信息得到空间信息网络。
本实施例中,头部检测子网络的标签包括正常、侧脸以及低头,嘴部检测子网络的标签包括正常、说话与打哈欠,眼部检测子网络的标签包括正常与疲劳。
检测子网络具体为采用深度压缩的方式对网络进行轻量化后的网络模型,轻量化的具体流程包括剪枝、量化和存储优化。
网络模型的剪枝过程具体为将网络模型的权重中小于一定阈值的权重直接设为0,单次剪枝完成之后,重新训练网络并再次剪枝,经过多次迭代之后,权重矩阵由稠密矩阵转变为稀疏矩阵,通过压缩稀疏行或压缩稀疏列来进行存储。
网络模型的量化过程具体为将已经稀疏化的矩阵使用K-means算法聚为多个类,而每个类的权重值都会直接变为它的聚类中心,通过反向传播进行更新,最终实现权重共享。
经过剪枝的神经网络的权重矩阵已经十分稀疏,而经过量化之后,权重矩阵中的值又被限制在了相应的类之中,因为权重的分布并不是均匀的,即聚类之后的权重矩阵中的每个类所包含的值的个数并不相等,因此网络模型的存储优化过程具体为对稀疏化的网络模型进行基于哈夫曼树形式的存储。
本实施例中,对于出现次数多的权值采用短编码表示,而对于出现次数少的编码采用长编码表示。
具体实施时,需要对检测网络的模型进行评价,对于系统的准确率评价分为检测子网络和整体检测网络,对于检测子网络的准确率,检测子网络的准确率越高,一定程度上整体检测网络的准确率不会低,尤其是眼部检测子网络,同时也需要针对不同的场景进行检测,检测系统的鲁棒性。
检测子网络与整体检测网络的检测准确相比率,虽然检测子网络的准确率有一定的参考价值,但最终还是以整体检测网络的准确率为基准。但是对于疲劳检测来说,召回率的意义比较重大,即疲劳状况下误检测是十分危险的,所以尽量提高对于疲劳状态的正确检测率,即召回率。其中:
召回率=疲劳样本数/(疲劳样本数+误检疲劳样本数)
精确率=正确检测样本数/总样本数
具体使用F1 Score来进行评价,F1 score是对精度和召回率的调和平均,使用调和平均而不是简单的算术平均的原因是:调和平均可以惩罚极端情况。一个具有1.0的精度,而召回率为0的分类器,这两个指标的算术平均是0.5,但是F1 score会是0。因为需要召回率和准确率的均衡,任意一个指标太差都是无法接受的。
此外,需要说明的是,本说明书中所描述的具体实施例,所取名称可以不同,本说明书中所描述的以上内容仅仅是对本发明结构所做的举例说明。凡依据本发明构思的构造、特征及原理所做的等效变化或者简单变化,均包括于本发明的保护范围内。本发明所属技术领域的技术人员可以对所描述的具体实例做各种各样的修改或补充或采用类似的方法,只要不偏离本发明的结构或者超越本权利要求书所定义的范围,均应属于本发明的保护范围。

Claims (10)

1.一种基于深度学习的驾驶员疲劳检测控制方法,其特征在于,具体包括以下步骤:
S1、采集行驶中的驾驶员的视频图像,对所述视频图像进行分割提取;
S2、对分割提取得到的原始数据进行图像预处理,得到驾驶员的脸部关键信息;
S3、所述脸部关键信息输入检测网络,输出的检测信息合并后输入分类全连接网络,输出驾驶员的疲劳检测值,并与预设的阈值范围比较输出相应的疲劳等级,若疲劳等级超过等级阈值则显示疲劳警告信息。
2.根据权利要求1所述的一种基于深度学习的驾驶员疲劳检测控制方法,其特征在于,所述步骤S1中对所述视频图像进行分割提取的过程具体为隔帧提取所述视频图像作为原始数据。
3.根据权利要求1所述的一种基于深度学习的驾驶员疲劳检测控制方法,其特征在于,所述步骤S2中图像预处理的形式具体为通过限制对比度自适应直方图均衡对原始数据进行预处理。
4.根据权利要求1所述的一种基于深度学习的驾驶员疲劳检测控制方法,其特征在于,所述步骤S2中脸部关键信息基于Opencv中的人脸关键点检测模型计算得到。
5.根据权利要求1所述的一种基于深度学习的驾驶员疲劳检测控制方法,其特征在于,所述脸部关键信息包括眼部信息、嘴部信息以及头部信息。
6.根据权利要求5所述的一种基于深度学习的驾驶员疲劳检测控制方法,其特征在于,所述检测网络包括多路基于双流3D卷积网络的检测子网络。
7.根据权利要求6所述的一种基于深度学习的驾驶员疲劳检测控制方法,其特征在于,所述检测子网络包括眼部检测子网络、嘴部检测子网络和头部检测子网络。
8.根据权利要求7所述的一种基于深度学习的驾驶员疲劳检测控制方法,其特征在于,所述眼部检测子网络在双流3D卷积网络的基础上,结合注意力机制。
9.根据权利要求6所述的一种基于深度学习的驾驶员疲劳检测控制方法,其特征在于,所述原始数据包括原始图像、光流信息和时序信息,所述检测子网络同时结合原始图像和光流信息,根据时序信息进行检测。
10.根据权利要求6所述的一种基于深度学习的驾驶员疲劳检测控制方法,其特征在于,所述检测子网络具体为采用深度压缩的方式对网络进行轻量化后的网络模型,轻量化的具体流程包括剪枝、量化和存储优化。
CN202110810859.9A 2021-07-19 2021-07-19 一种基于深度学习的驾驶员疲劳检测控制方法 Pending CN113505718A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110810859.9A CN113505718A (zh) 2021-07-19 2021-07-19 一种基于深度学习的驾驶员疲劳检测控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110810859.9A CN113505718A (zh) 2021-07-19 2021-07-19 一种基于深度学习的驾驶员疲劳检测控制方法

Publications (1)

Publication Number Publication Date
CN113505718A true CN113505718A (zh) 2021-10-15

Family

ID=78013196

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110810859.9A Pending CN113505718A (zh) 2021-07-19 2021-07-19 一种基于深度学习的驾驶员疲劳检测控制方法

Country Status (1)

Country Link
CN (1) CN113505718A (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110119676A (zh) * 2019-03-28 2019-08-13 广东工业大学 一种基于神经网络的驾驶员疲劳检测方法
CN110532976A (zh) * 2019-09-03 2019-12-03 湘潭大学 基于机器学习和多特征融合的疲劳驾驶检测方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110119676A (zh) * 2019-03-28 2019-08-13 广东工业大学 一种基于神经网络的驾驶员疲劳检测方法
CN110532976A (zh) * 2019-09-03 2019-12-03 湘潭大学 基于机器学习和多特征融合的疲劳驾驶检测方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
QI SHEN ET AL.: "Robust Two-Stream Multi-Feature Network for Driver Drowsiness Detection", 《ARXIV》 *
SONG HAN ET AL.: "DEEP COMPRESSION: COMPRESSING DEEP NEURAL NETWORKS WITH PRUNING, TRAINED QUANTIZATION AND HUFFMAN CODING", 《ARXIV》 *

Similar Documents

Publication Publication Date Title
CN111274881B (zh) 驾驶安全的监控方法、装置、计算机设备及存储介质
CN108446678B (zh) 一种基于骨骼特征的危险驾驶行为识别方法
CN110263712B (zh) 一种基于区域候选的粗精行人检测方法
CN110852190B (zh) 一种融合目标检测与手势识别的驾驶行为识别方法及系统
Huang et al. Automatic moving object extraction through a real-world variable-bandwidth network for traffic monitoring systems
CN110532925B (zh) 基于时空图卷积网络的驾驶员疲劳检测方法
CN109886102B (zh) 一种基于深度图像的跌倒行为时空域检测方法
CN111950348A (zh) 安全带的佩戴状态识别方法、装置、电子设备和存储介质
CN111738218A (zh) 人体异常行为识别系统及方法
CN113269133A (zh) 一种基于深度学习的无人机视角视频语义分割方法
CN113569756A (zh) 异常行为检测与定位方法、系统、终端设备及可读存储介质
CN111369521A (zh) 一种基于图像质量的图像过滤方法和相关装置
CN113111823A (zh) 一种建筑施工地的异常行为检测方法和相关装置
CN111062319B (zh) 一种基于主动红外图像的驾驶员打电话检测方法
CN115546742A (zh) 一种基于单目热红外摄像头的铁轨异物识别方法及系统
CN114997279A (zh) 一种基于改进Yolov5模型的建筑工人危险区域入侵检测方法
CN109002808B (zh) 一种人体行为识别方法及系统
CN110688969A (zh) 视频帧人体行为识别方法
CN108960181B (zh) 基于多尺度分块lbp和隐马尔科夫模型的黑烟车检测方法
CN116895007A (zh) 一种基于改进YOLOv8n的小目标检测方法
CN111783613A (zh) 异常检测方法、模型的训练方法、装置、设备及存储介质
CN110598716A (zh) 一种人员属性识别方法、装置及系统
CN113505718A (zh) 一种基于深度学习的驾驶员疲劳检测控制方法
CN110543827A (zh) 一种基于高斯混合模型与深度学习的多类别车辆检测方法
Yu et al. An Improved YOLO for Road and Vehicle Target Detection Model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20211015