CN113486699A - 一种疲劳驾驶自动检测方法和装置 - Google Patents
一种疲劳驾驶自动检测方法和装置 Download PDFInfo
- Publication number
- CN113486699A CN113486699A CN202110493906.1A CN202110493906A CN113486699A CN 113486699 A CN113486699 A CN 113486699A CN 202110493906 A CN202110493906 A CN 202110493906A CN 113486699 A CN113486699 A CN 113486699A
- Authority
- CN
- China
- Prior art keywords
- driving
- training
- fatigue
- platform
- driver
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 17
- 238000012549 training Methods 0.000 claims abstract description 14
- 238000000034 method Methods 0.000 claims abstract description 10
- 230000001629 suppression Effects 0.000 claims abstract description 3
- 238000012545 processing Methods 0.000 claims description 7
- 230000001537 neural effect Effects 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 241000512668 Eunectes Species 0.000 claims description 3
- 238000009434 installation Methods 0.000 claims description 3
- 239000004973 liquid crystal related substance Substances 0.000 claims description 3
- 206010039203 Road traffic accident Diseases 0.000 claims description 2
- 230000001133 acceleration Effects 0.000 claims description 2
- 238000013523 data management Methods 0.000 claims description 2
- 238000003062 neural network model Methods 0.000 claims description 2
- 238000011176 pooling Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 claims 5
- 238000013528 artificial neural network Methods 0.000 claims 1
- 238000011161 development Methods 0.000 claims 1
- 238000011156 evaluation Methods 0.000 claims 1
- 238000002474 experimental method Methods 0.000 claims 1
- 230000000007 visual effect Effects 0.000 claims 1
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000013135 deep learning Methods 0.000 abstract 1
- 230000002618 waking effect Effects 0.000 abstract 1
- 230000006399 behavior Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/008—Registering or indicating the working of vehicles communicating information to a remotely located station
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
- G07C5/0841—Registering performance data
- G07C5/085—Registering performance data using electronic data carriers
- G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
- H04L67/5683—Storage of data provided by user terminals, i.e. reverse caching
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Signal Processing (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种疲劳驾驶自动检测方法和装置。所述疲劳驾驶自动检测方法和装置属于人工智能应用领域，包括疲劳驾驶目标检测模型的训练和模型的硬件部署两部分。其中模型的训练包括利用司机驾驶期间人脸的训练集图像使用基于深度学习SSD模型所改进的算法模型进行训练，在不同尺度的特征图上利用直接回归的方式得到目标位置和相应类别，将获得的结果经过非极大值抑制等方法结合起来生成最终目标检测分类结果。在硬件实现方面，本发明实现了将此方法运行在在Raspberry Pi 3b+平台上通过显示屏实时显示驾驶员的清醒/疲劳状态，并将数据上传存储于远程服务器数据库。该发明的主要目的在于提高疲劳驾驶检测系统的准确性，使疲劳驾驶装置的部署更具轻量化。
Description
技术领域
本发明属于人工智能领域，涉及到一种目标检测——面部疲劳状态的判断与定位技术以及在移动硬件平台的实现。
背景技术
随着人民生活水平的提升，汽车的持有量逐年增加，驾驶安全也成了越来越受人关注的热点话题。车载疲劳驾驶检测系统因其能监控检测驾驶人员的驾驶疲劳状况，防范危险驾驶行为，使驾驶的风险大大降低，在驾驶领域愈受到重视。
当前的疲劳驾驶检测系统主要由以下几种：一是通过物理传感器记录驾驶员对方向盘和踏板的的行为，对行为进行分析得出判断，这种方法的逻辑简单，无法适应驾驶员个人驾驶习惯，容易误报。另外一种方法通过采集驾驶员面部图像，对面部特征进行分析以判断疲劳状态。这类方法的问题在于算法模型普遍臃肿，容易造成系统卡顿，受环境角度影响大，容易误判。因而对于更轻量更准确的疲劳驾驶检测的算法和应用实现是非常具有研究意义及实用价值的。
发明内容
本发明提供一种基于SSD算法的疲劳驾驶自动检测方法和装置，已解决现有装置中算法检测速度过慢，模型冗余等问题。其具体方案实施如下：
第一方面，本申请实例提供了一种疲劳驾驶自动检测方法，包括：
数据集采用自己制作的数据集，共有12000张图片，包括网页爬虫抓取1000张，自己拍摄1000张真实场景图片，开源的5000张图片，利用脚本生成5000张反转、模糊化的图片，其中训练集和验证集占10000张，测试集占2000张。
在PC的Anaconda中配置虚拟环境，在虚拟环境中安装pytorch、opencv-python等程序运行所必需的包。
对数据集进行预处理，主要是格式转换,将数据集转成.txt格式，然后将.txt转换成.xml格式，再将xml文件转换成int格式，最后运行xml_to_coco.py文件将.xml格式转换适应COCO的json格式。
训练的主要过程为将格式转换过后的数据集送入VGG_v2_16算法中。其中VGG_v2_16为本专利所提出的轻量级算法。
第二方面，本申请实例提供了一种疲劳驾驶自动检测装置，包括：
运行环境：本发明的运行平台为搭载Debian Linux系统且装载了Intel NeuralCompute Stick 2的Raspberry Pi 3b+平台。
数据存储：系统将采集到的日期时间-驾驶疲劳状态信息缓存在本地，并在一定的时间间隔下定期打包批次上传至云端数据库。
整个系统的运行及配置流程为：1.在PC中配置Anaconda3，在conda环境中安装python以及其他所需要的安装包如pytorch。2.对数据集进行预处理操作。3.对预处理过后的数据集使用 VGG_v2_16算法模型训练。4.将输出的经过验证的模型移植到Raspberry Pi3b+并运行。5.使用摄像头以实时监控记录当前的驾驶人员的驾驶行为视频图像，在液晶显示屏上显示系统对于驾驶人员的疲劳状态的实时反馈判断。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实例提供的一种疲劳驾驶自动检测方法和装置的整体框架示意图。
图2为本申请的软件系统和硬件实现的整体设计流程图。
具体实施方式
软件系统和硬件实现的整体设计如图2所示，其中包括了如下步骤：
步骤1：在PC配置Anaconda版本为Anaconda3，python版本为3.8.5。Pytorch版本torch-1.7.0以及其他所需要的安装包。
步骤2：对司机驾驶期间人脸的图像训练集进行预处理.。
步骤3：将处理好的数据集输入经过修改的VGG16神经网络模型中。
步骤4：经过多次卷积之后获取不同像素尺度的特征层并进行相应的池化处理得到不同像素尺寸的有效特征层。
步骤5：在每个有效特征层的每个像素点上按照公式1设置不同尺度大小的先验预测框，并对每个有效特征层进行两次卷积处理对先验框进行调整得到预测框。
步骤6：将预测框进行分排序和非极大抑制处理(NMS)得到最终预测框。
步骤7：基于图片的真实框信息，相对于预测结果设计loss函数计算回归预测和分类预测的损失函数，损失函数定义为位置误差loc和置信度误差conf的加权和如公式2，其中置信度误差conf采用softmax loss即交叉熵如公式3，通过梯度下降算法训练得出经过IOC算法处理后如公式4的最大结果。
步骤8：将上述训练好的模型移植到搭载了Debian Linux系统并配置了相关软件运算环境的Raspberry Pi 3b+平台。
步骤9：为平台配置Intel Neural Compute Stick 2的运行驱动以实现运算加速。
步骤10：平台配置摄像头和液晶显示屏以实时监控显示当前的驾驶人员的驾驶行为视频图像，显示系统对于驾驶人员的疲劳状态的实时反馈判断。
步骤11：系统将采集到的日期时间-驾驶疲劳状态信息缓存在本地，并在一定的时间间隔下定期打包批次上传至云端数据库。
步骤12：后台的独立的数据管理系统，在需要时可供调特定日期时间的驾驶疲劳数据作为交通事故纠纷的判断依据。
Claims (2)
1.一种疲劳驾驶自动检测的方法和装置，其特征在于对测摄像头采集的驾驶员人脸信息进行目标检测并判断驾驶疲劳状态，同时记录上传至远程服务器，实验及部署平台包括CPU、编程语言、VPU；
所述的CPU为Raspberry Pi 3b+自带的1.4GHz 64位4核ARM Cortex-A53 CPU处理器，本嵌入式平台的核心配件，其功能主要是解释计算机指令以及处理计算机软件中的数据；
所述的编程语言为Python，该语言为我们提供了非常完善的基础代码库，覆盖了网络、文件GUI、数据库、文本等大量内容，被形象地称作"内置电池(batteries included)"，Python的开发使得许多功能不再从零开始写起，直接使用现成即可，Python除了内置的库以外，还有许多第三方库供编程者直接使用，Python的语言特点就是优雅、明确、简单，因而被广泛应用编码中；
所述的VPU全称为Video Processing Unit，是一种全新的视频处理平台核心引擎，具有硬解码功能以及减少CPU负荷的能力，另外，VPU可以减少服务器负载和网络带宽的消耗，所述VPU是基于Intel推出的Neural Compute Stick 2，采用新一代的视觉运算处理器Movidius MyriadX，提供8倍的效能增长，可让开发者更智能、更高效地开发和部署深度神经网络(DNN)应用。
2.根据权利要求1所述的系统，其特征在于模型对司机驾驶期间人脸的实时视频图像进行快速准确的目标检测并判断疲劳状况，为此模型训练所选用的算法在SSD300的基础上调整了网络结构，并在自制数据集上进行训练和评估，最后移植到移动硬件平台进行部署，包括：
(1)在PC配置Anaconda版本为Anaconda3，python版本为3.8.5，Pytorch版本torch-1.7.0以及其他所需要的安装包；
(2)对司机驾驶期间人脸的图像训练集进行预处理；
(3)将处理好的数据集输入经过修改的VGG16神经网络模型中；
(4)经过多次卷积之后获取不同像素尺度的特征层并进行相应的池化处理得到不同像素尺寸的有效特征层；
(5)在每个有效特征层的每个像素点上按照公式1设置不同尺度大小的先验预测框，并对每个有效特征层进行两次卷积处理对先验框进行调整得到预测框；
(6)将预测框进行分排序和非极大抑制处理(NMS)得到最终预测框；
(7)基于图片的真实框信息，相对于预测结果设计loss函数计算回归预测和分类预测的损失函数，损失函数定义为位置误差loc和置信度误差conf的加权和如公式2，其中置信度误差conf采用softmax loss即交叉熵如公式3，通过梯度下降算法训练得出经过IOC算法处理后如公式4的最大结果；
(8)将上述训练好的模型移植到搭载了Debian Linux系统并配置了相关软件运算环境的Raspberry Pi 3b+平台；
(9)为平台配置Intel Neural Compute Stick 2的运行驱动以实现运算加速；
(10)平台配置摄像头和液晶显示屏以实时监控显示当前的驾驶人员的驾驶行为视频图像，显示系统对于驾驶人员的疲劳状态的实时反馈判断；
(11)系统将采集到的日期时间-驾驶疲劳状态信息缓存在本地，并在一定的时间间隔下定期打包批次上传至云端数据库；
(12)后台的独立的数据管理系统，在需要时可供调特定日期时间的驾驶疲劳数据作为交通事故纠纷的判断依据；
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110493906.1A CN113486699A (zh) | 2021-05-07 | 2021-05-07 | 一种疲劳驾驶自动检测方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110493906.1A CN113486699A (zh) | 2021-05-07 | 2021-05-07 | 一种疲劳驾驶自动检测方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113486699A true CN113486699A (zh) | 2021-10-08 |
Family
ID=77932836
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110493906.1A Pending CN113486699A (zh) | 2021-05-07 | 2021-05-07 | 一种疲劳驾驶自动检测方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113486699A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110119714A (zh) * | 2019-05-14 | 2019-08-13 | 济南浪潮高新科技投资发展有限公司 | 一种基于卷积神经网络的驾驶员疲劳检测方法及装置 |
| CN110458160A (zh) * | 2019-07-09 | 2019-11-15 | 北京理工大学 | 一种基于深度压缩神经网络的无人艇水面目标识别算法 |
| CN111179551A (zh) * | 2019-12-17 | 2020-05-19 | 西安工程大学 | 一种危化品运输驾驶员实时监控方法 |
| CN111914738A (zh) * | 2020-07-29 | 2020-11-10 | 南京汽车集团有限公司 | 一种基于并行交叉卷积神经网络的疲劳驾驶行为检测系统 |
| US10832593B1 (en) * | 2018-01-25 | 2020-11-10 | BlueOwl, LLC | System and method of facilitating driving behavior modification through driving challenges |
| CN111967289A (zh) * | 2019-05-20 | 2020-11-20 | 高新兴科技集团股份有限公司 | 一种非配合式人脸活体检测方法及计算机存储介质 |
| CN111985621A (zh) * | 2020-08-24 | 2020-11-24 | 西安建筑科技大学 | 口罩佩戴实时检测的神经网络模型的搭建方法及实施系统 |
| WO2020233489A1 (zh) * | 2019-05-17 | 2020-11-26 | 成都旷视金智科技有限公司 | 疲劳检测方法、装置及可读存储介质 |
-
2021
- 2021-05-07 CN CN202110493906.1A patent/CN113486699A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10832593B1 (en) * | 2018-01-25 | 2020-11-10 | BlueOwl, LLC | System and method of facilitating driving behavior modification through driving challenges |
| CN110119714A (zh) * | 2019-05-14 | 2019-08-13 | 济南浪潮高新科技投资发展有限公司 | 一种基于卷积神经网络的驾驶员疲劳检测方法及装置 |
| WO2020233489A1 (zh) * | 2019-05-17 | 2020-11-26 | 成都旷视金智科技有限公司 | 疲劳检测方法、装置及可读存储介质 |
| CN111967289A (zh) * | 2019-05-20 | 2020-11-20 | 高新兴科技集团股份有限公司 | 一种非配合式人脸活体检测方法及计算机存储介质 |
| CN110458160A (zh) * | 2019-07-09 | 2019-11-15 | 北京理工大学 | 一种基于深度压缩神经网络的无人艇水面目标识别算法 |
| CN111179551A (zh) * | 2019-12-17 | 2020-05-19 | 西安工程大学 | 一种危化品运输驾驶员实时监控方法 |
| CN111914738A (zh) * | 2020-07-29 | 2020-11-10 | 南京汽车集团有限公司 | 一种基于并行交叉卷积神经网络的疲劳驾驶行为检测系统 |
| CN111985621A (zh) * | 2020-08-24 | 2020-11-24 | 西安建筑科技大学 | 口罩佩戴实时检测的神经网络模型的搭建方法及实施系统 |
Non-Patent Citations (1)
| Title |
|---|
| 蔡木生等: "汽车疲劳驾驶的检测与监视系统设计", 《单片机与嵌入式系统应用》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230367809A1 (en) | Systems and Methods for Geolocation Prediction | |
| WO2019191002A1 (en) | Object movement behavior learning | |
| US20180275667A1 (en) | Machine Learning for Event Detection and Classification in Autonomous Vehicles | |
| CN112106081A (zh) | 提供综合机器学习服务的应用开发平台和软件开发套件 | |
| CN110866471A (zh) | 人脸图像质量评价方法及装置、计算机可读介质、通信终端 | |
| CN110956126A (zh) | 一种联合超分辨率重建的小目标检测方法 | |
| CN110598620A (zh) | 模型训练方法和装置、目标检测方法和装置 | |
| KR102366176B1 (ko) | 화질 평가 방법 및 장치 | |
| US20220366244A1 (en) | Modeling Human Behavior in Work Environment Using Neural Networks | |
| CN117217280A (zh) | 神经网络模型优化方法、装置及计算设备 | |
| CN117194163A (zh) | 一种计算机设备、故障检测系统、方法及可读存储介质 | |
| CN117036834A (zh) | 基于人工智能的数据分类方法、装置及电子设备 | |
| CN111310837A (zh) | 车辆改装识别方法、装置、系统、介质和设备 | |
| Ding et al. | Intelligent recognition of rough handling of express parcels based on CNN-GRU with the channel attention mechanism | |
| CN113486699A (zh) | 一种疲劳驾驶自动检测方法和装置 | |
| CN116883941A (zh) | 安全帽检测方法、模型训练方法、系统、装置及存储介质 | |
| CN115871679A (zh) | 驾驶员疲劳检测方法、装置、电子设备及介质 | |
| CN116645587A (zh) | 图像识别模型的生成方法、图像识别方法、系统及芯片 | |
| CN116246147A (zh) | 基于跨层特征融合和线性注意力优化的跨物种目标检测方法 | |
| CN115083229A (zh) | 基于ai视觉识别的飞行训练设备智能识别与警示系统 | |
| US20220171750A1 (en) | Content management system for trained machine learning models | |
| CN111881833B (zh) | 一种车辆检测方法、装置、设备及存储介质 | |
| JP7543978B2 (ja) | 装置、監視システム、方法およびプログラム | |
| KR102483080B1 (ko) | 인공지능을 활용한 항공기 소음 분류 및 추출 방법 | |
| Lock et al. | Drowsiness Detection for Safe Driving Using PERCLOS and YOLOv2 Method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20211008 |