CN110119714B - 一种基于卷积神经网络的驾驶员疲劳检测方法及装置 - Google Patents

一种基于卷积神经网络的驾驶员疲劳检测方法及装置 Download PDF

Info

Publication number
CN110119714B
CN110119714B CN201910398400.5A CN201910398400A CN110119714B CN 110119714 B CN110119714 B CN 110119714B CN 201910398400 A CN201910398400 A CN 201910398400A CN 110119714 B CN110119714 B CN 110119714B
Authority
CN
China
Prior art keywords
driver
convolution
picture
cab
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910398400.5A
Other languages
English (en)
Other versions
CN110119714A (zh
Inventor
于治楼
戴鸿君
裘肖明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Inspur Scientific Research Institute Co Ltd
Original Assignee
Shandong Inspur Scientific Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Inspur Scientific Research Institute Co Ltd filed Critical Shandong Inspur Scientific Research Institute Co Ltd
Priority to CN201910398400.5A priority Critical patent/CN110119714B/zh
Publication of CN110119714A publication Critical patent/CN110119714A/zh
Application granted granted Critical
Publication of CN110119714B publication Critical patent/CN110119714B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于卷积神经网络的驾驶员疲劳检测方法及装置，属于人工智能领域，本发明要解决的技术问题为如何利用卷积神经网络对驾驶员的疲劳程度进行检测，对于已经疲劳的驾驶员进行报警提醒，技术方案为：步骤如下：S1、采集各种情况下的人脸图像数据，对图像进行特征标记；S2、采用cnn卷积神经网络算法，对图像数据集进行训练，得出相应的模型；S3、对步骤S2中训练完的模型编写相应的python代码加载程序；S4、将步骤S3中的加载程序安装到驾驶室内的中控台的主机内；S5、驾驶室内的车载摄像头拍摄驾驶员的图片并传送到加载程序进行推理，利用训练完的模型判断驾驶员是否处于疲劳驾驶。本发明还公开了一种基于卷积神经网络的驾驶员疲劳检测装置。

Description

一种基于卷积神经网络的驾驶员疲劳检测方法及装置
技术领域
本发明涉及人工智能领域，具体地说是一种基于卷积神经网络的驾驶员疲劳检测方法及装置。
背景技术
卷积神经网络是近年发展起来，并引起广泛重视的一种高效识别方法。20世纪60年代，Hubel和Wiesel在研究猫脑皮层中用于局部敏感和方向选择的神经元时发现其独特的网络结构可以有效地降低反馈神经网络的复杂性，继而提出了卷积神经网络(Convolutional Neural Networks-简称CNN)。现在，CNN已经成为众多科学领域的研究热点之一，特别是在模式分类领域，由于该网络避免了对图像的复杂前期预处理，可以直接输入原始图像，因而得到了更为广泛的应用。K.Fukushima在1980年提出的新识别机是卷积神经网络的第一个实现网络。随后，更多的科研工作者对该网络进行了改进。其中，具有代表性的研究成果是Alexander和Taylor提出的“改进认知机”，该方法综合了各种改进方法的优点并避免了耗时的误差反向传播。
一般地，CNN的基本结构包括两层，其一为特征提取层，每个神经元的输入与前一层的局部接受域相连，并提取该局部的特征。一旦该局部特征被提取后，它与其它特征间的位置关系也随之确定下来；其二是特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射是一个平面，平面上所有神经元的权值相等。特征映射结构采用影响函数核小的sigmoid函数作为卷积网络的激活函数，使得特征映射具有位移不变性。此外，由于一个映射面上的神经元共享权值，因而减少了网络自由参数的个数。卷积神经网络中的每一个卷积层都紧跟着一个用来求局部平均与二次提取的计算层，这种特有的两次特征提取结构减小了特征分辨率。
CNN主要用来识别位移、缩放及其他形式扭曲不变性的二维图形。由于CNN的特征检测层通过训练数据进行学习，所以在使用CNN时，避免了显示的特征抽取，而隐式地从训练数据中进行学习；再者由于同一特征映射面上的神经元权值相同，所以网络可以并行学习，这也是卷积网络相对于神经元彼此相连网络的一大优势。卷积神经网络以其局部权值共享的特殊结构在语音识别和图像处理方面有着独特的优越性，其布局更接近于实际的生物神经网络，权值共享降低了网络的复杂性，特别是多维输入向量的图像可以直接输入网络这一特点避免了特征提取和分类过程中数据重建的复杂度。
卷积神经网络长期以来是图像识别领域的核心算法之一，并在大量学习数据时有稳定的表现。对于一般的大规模图像分类问题，卷积神经网络可用于构建阶层分类器，也可以在精细分类识别中用于提取图像的判别特征以供其它分类器进行学习。对于后者，特征提取可以人为地将图像的不同部分分别输入卷积神经网络，也可以由卷积神经网络通过非监督学习自行提取。
在所有交通事故中，驾驶员疲劳驾驶通常占据着一个主要的原因。无论是汽车驾驶员还是列车驾驶员，行驶途中都有可能出现疲劳驾驶，一旦出现疲劳驾驶，事故的发生率就会大大提高，对道路安全造成很大的不利。故如何利用卷积神经网络对驾驶员的疲劳程度进行检测，对于已经疲劳的驾驶员进行报警提醒，降低交通事故发生率是目前现有技术中急需解决的技术问题。
发明内容
本发明的技术任务是提供一种基于卷积神经网络的驾驶员疲劳检测方法及装置，来解决如何利用卷积神经网络对驾驶员的疲劳程度进行检测，对于已经疲劳的驾驶员进行报警提醒，降低交通事故发生率的问题。
本发明的技术任务是按以下方式实现的，一种基于卷积神经网络的驾驶员疲劳检测方法，该方法包括如下步骤：
S1、采集各种情况下的人脸图像数据，对图像进行特征标记；
S2、采用cnn卷积神经网络算法，对图像数据集进行训练，得出相应的模型；
S3、对步骤S2中训练完的模型编写相应的python代码加载程序；
S4、将步骤S3中的加载程序安装到驾驶室内的中控台的主机内；
S5、驾驶室内的车载摄像头拍摄驾驶员的图片并传送到加载程序进行推理，加载程序利用步骤S2中训练完的模型判断驾驶员是否处于疲劳驾驶：
若是，则驾驶室内的音响播放报警或语音提示；
S6、优化模型。
作为优选，所述步骤S1中采集各种情况下的人脸图像数据包括在不同环境下的白天和夜晚以及睁眼和闭眼的人脸图像；人脸图像采用红外车载摄像头拍摄；其中，人脸图像也可以网上搜寻合适的图片进行标记等方式，图片不少于几万张。
作为优选，所述步骤S2中采用cnn卷积神经网络算法，对图像数据集进行训练，得出相应的模型的具体步骤如下：
S201、设置两个前卷积层：包括32个卷积核，每个卷积核是3*3，边缘不补充，卷积步长向右、向下都为1,后端运算使用tf,图片输入尺寸为100*100*3，使用relu作为激活函数；与两个前卷积层对应的池化层中过滤器尺寸设置为2*2；与两个前卷积层对应的Dropout层的参数设置为0.2；
S202、设置两个后卷积层：包括64个卷积核，每个卷积核是3*3，边缘不补充，卷积步长向右、向下都为1,后端运算使用tf,图片输入尺寸为100*100*3，使用relu作为激活函数；与两个后卷积层对应的池化层的过滤器尺寸设置为2*2；与两个后卷积层对应的Dropout层的参数设置为0.2；
S203、设置Flatten层：Flatten层处于卷积层与全连接层(Dense)之间，将图片的卷积输出压扁成一个一维向量；
S204、设置全连接层：包括512个神经元；与全连接层对应的Dropout层的参数设置为0.4；
S205、设置输出层：神经元数是标签种类数，使用sigmoid激活函数，输出最终结果；
S206、使用SGD作为反向传播的优化器，使损失函数最小化，学习率(learning_rate)是0.01，学习率衰减因子(decay)用来随着迭代次数不断减小学习率，防止出现震荡；引入冲量(momentum),不仅能在学习率较小的时候加速学习，又能在学习率较大的时候减速，使用nesterov；
S207、损失函数使用交叉熵，交叉熵函数随着输出和期望的差距越来越大，输出曲线会越来越陡峭，对权值的惩罚力度也会增大；
S208、对已获得数据集进行训练，生成相应的模型。
作为优选，所述步骤S4中驾驶室内的中控台的主机采用linux系统，在linux系统的主机上安装驱动程序和语言环境；驱动程序包括车载摄像头和音响驱动程序；语言环境采用python或tensorflow。
作为优选，所述步骤S5中加载程序利用步骤S2中训练完的模型判断驾驶员是否处于疲劳驾驶的判断方法为：对车载摄像头拍摄的图片进行分析，识别图片中是睁眼还是闭眼状态；若在固定的时间内，被标记为闭眼的图片超过阀值，则认定为驾驶员为疲劳驾驶，驾驶室内的音响播放报警或语音提示；语音提示的内容为驾驶员已经疲劳，注意停车休息。
作为优选，所述步骤S6中优化模型步骤如下：
S601、当加载程序判定失误时，将误判的图片上传到云端，已供优化模型使用；
S602、利用云端图片对模型进行优化训练。
一种基于卷积神经网络的驾驶员疲劳检测装置，该装置包括主机、车载摄像头、音响以及加载模块，主机内安装加载模块，主机分别连接并控制车载摄像头和音响。
作为优选，所述主机的开关与汽车或机车启动装置相连，确保汽车或机车发动时主机即启动；
摄像头安装在汽车的仪表盘位置或者机车司机室内能拍摄到主司机面部表情而又不遮挡视线的位置；
主机及音响安装在驾驶室内不影响驾驶员行为的位置或嵌入中控台；
加载模块用于进行摄像头拍摄及处理。
本发明的基于卷积神经网络的驾驶员疲劳检测方法及装置具有以下优点：
(一)、本发明采用卷积神经网络对人脸进行训练，得出合适的模型，然后通过摄像头自动拍摄的驾驶员照片，通过一段时间内眼睛闭合的时间对其进行判断，从而对驾驶员的疲劳程度进行检测，对于已经疲劳的驾驶员进行报警提醒；
(二)、本发明解决驾驶员的疲劳检测问题，采用人工智能的识别方法，采集各种情况下的人脸数据，包括睁眼、闭眼，白天、夜晚等情况下的人脸图像，对图像进行特征标记；然后采用cnn卷积神经网络算法，对数据集进行训练，得出相应的模型，然后，疲劳检测系统依据此模型，对摄像头拍摄的图片进行分析，对图片睁眼还是闭眼进行识别；如果在固定的时间内，被标记为闭眼的图片超过了限定值，系统将发出警报提醒，提醒驾驶员已经疲劳，注意停车休息，降低交通事故发生率。
附图说明
下面结合附图对本发明进一步说明。
附图1为基于卷积神经网络的驾驶员疲劳检测方法的流程框图；
附图2为基于卷积神经网络的驾驶员疲劳检测装置的结构框图。
具体实施方式
参照说明书附图和具体实施例对本发明的一种基于卷积神经网络的驾驶员疲劳检测方法及装置作以下详细地说明。
实施例1：
如附图1所示，本发明的基于卷积神经网络的驾驶员疲劳检测方法,该方法包括如下步骤：
S1、采集各种情况下的人脸图像数据，对图像进行特征标记；其中，采集各种情况下的人脸图像数据包括在不同环境下的白天和夜晚以及睁眼和闭眼的人脸图像；人脸图像采用红外车载摄像头拍摄；其中，人脸图像也可以网上搜寻合适的图片进行标记等方式，图片不少于几万张；
S2、采用cnn卷积神经网络算法，对图像数据集进行训练，得出相应的模型；具体步骤如下：
S201、设置两个前卷积层：包括32个卷积核，每个卷积核是3*3，边缘不补充，卷积步长向右、向下都为1,后端运算使用tf,图片输入尺寸为100*100*3，使用relu作为激活函数；与两个前卷积层对应的池化层中过滤器尺寸设置为2*2；与两个前卷积层对应的Dropout层的参数设置为0.2；
S202、设置两个后卷积层：包括64个卷积核，每个卷积核是3*3，边缘不补充，卷积步长向右、向下都为1,后端运算使用tf,图片输入尺寸为100*100*3，使用relu作为激活函数；与两个后卷积层对应的池化层的过滤器尺寸设置为2*2；与两个后卷积层对应的Dropout层的参数设置为0.2；
S203、设置Flatten层：Flatten层处于卷积层与全连接层(Dense)之间，将图片的卷积输出压扁成一个一维向量；
S204、设置全连接层：包括512个神经元；与全连接层对应的Dropout层的参数设置为0.4；
S205、设置输出层：神经元数是标签种类数，使用sigmoid激活函数，输出最终结果；
S206、使用SGD作为反向传播的优化器，使损失函数最小化，学习率(learning_rate)是0.01，学习率衰减因子(decay)用来随着迭代次数不断减小学习率，防止出现震荡；引入冲量(momentum),不仅能在学习率较小的时候加速学习，又能在学习率较大的时候减速，使用nesterov；
S207、损失函数使用交叉熵，交叉熵函数随着输出和期望的差距越来越大，输出曲线会越来越陡峭，对权值的惩罚力度也会增大；
S208、对已获得数据集进行训练，生成相应的模型。
S3、对步骤S2中训练完的模型编写相应的python代码加载程序；
S4、将步骤S3中的加载程序安装到驾驶室内的中控台的主机内；其中，驾驶室内的中控台的主机采用linux系统，在linux系统的主机上安装驱动程序和语言环境；驱动程序包括车载摄像头和音响驱动程序；语言环境采用python或tensorflow；
S5、驾驶室内的车载摄像头拍摄驾驶员的图片并传送到加载程序进行推理，加载程序利用步骤S2中训练完的模型判断驾驶员是否处于疲劳驾驶：
若是，则驾驶室内的音响播放报警或语音提示；
其中，加载程序利用步骤S2中训练完的模型判断驾驶员是否处于疲劳驾驶的判断方法为：对车载摄像头拍摄的图片进行分析，识别图片中是睁眼还是闭眼状态；若在固定的时间内，被标记为闭眼的图片超过阀值，则认定为驾驶员为疲劳驾驶，驾驶室内的音响播放报警或语音提示；语音提示的内容为驾驶员已经疲劳，注意停车休息。
S6、优化模型，步骤如下：
S601、当加载程序判定失误时，将误判的图片上传到云端，已供优化模型使用；
S602、利用云端图片对模型进行优化训练。
实施例2：
如附图2所示，基于卷积神经网络的驾驶员疲劳检测装置，该装置包括主机、车载摄像头、音响以及加载模块，主机内安装加载模块，主机分别连接并控制车载摄像头和音响；主机的开关与汽车或机车启动装置相连，确保汽车或机车发动时主机即启动；摄像头安装在汽车的仪表盘位置或者机车司机室内能拍摄到主司机面部表情而又不遮挡视线的位置；主机及音响安装在驾驶室内不影响驾驶员行为的位置或嵌入中控台；加载模块用于进行摄像头拍摄及处理。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (4)

1.一种基于卷积神经网络的驾驶员疲劳检测方法，其特征在于，该方法包括如下步骤：
S1、采集各种情况下的人脸图像数据，对图像进行特征标记；
S2、采用cnn卷积神经网络算法，对图像数据集进行训练，得出相应的模型；具体步骤如下：
S201、设置两个前卷积层：包括32个卷积核，每个卷积核是3*3，边缘不补充，卷积步长向右、向下都为1,后端运算使用tf,图片输入尺寸为100*100*3，使用relu作为激活函数；与两个前卷积层对应的池化层中过滤器尺寸设置为2*2；与两个前卷积层对应的Dropout层的参数设置为0.2；
S202、设置两个后卷积层：包括64个卷积核，每个卷积核是3*3，边缘不补充，卷积步长向右、向下都为1,后端运算使用tf,图片输入尺寸为100*100*3，使用relu作为激活函数；与两个后卷积层对应的池化层的过滤器尺寸设置为2*2；与两个后卷积层对应的Dropout层的参数设置为0.2；
S203、设置Flatten层：Flatten层处于卷积层与全连接层之间，将图片的卷积输出压扁成一个一维向量；
S204、设置全连接层：包括512个神经元；与全连接层对应的Dropout层的参数设置为0.4；
S205、设置输出层：神经元数是标签种类数，使用sigmoid激活函数，输出最终结果；
S206、使用SGD作为反向传播的优化器，使损失函数最小化，学习率是0.01，学习率衰减因子用来随着迭代次数不断减小学习率，防止出现震荡；引入冲量,不仅能在学习率较小的时候加速学习，又能在学习率较大的时候减速，使用nesterov；
S207、损失函数使用交叉熵，交叉熵函数随着输出和期望的差距越来越大，输出曲线会越来越陡峭，对权值的惩罚力度也会增大；
S208、对已获得数据集进行训练，生成相应的模型；
S3、对步骤S2中训练完的模型编写相应的python代码加载程序；
S4、将步骤S3中的加载程序安装到驾驶室内的中控台的主机内；
S5、驾驶室内的车载摄像头拍摄驾驶员的图片并传送到加载程序进行推理，加载程序利用步骤S2中训练完的模型判断驾驶员是否处于疲劳驾驶：
若是，则驾驶室内的音响播放报警或语音提示；
其中，判断驾驶员是否处于疲劳驾驶的判断方法为：对车载摄像头拍摄的图片进行分析，识别图片中是睁眼还是闭眼状态；若在固定的时间内，被标记为闭眼的图片超过阈值，则认定为驾驶员为疲劳驾驶，驾驶室内的音响播放报警或语音提示；语音提示的内容为驾驶员已经疲劳，注意停车休息；
S6、优化模型；步骤如下：
S601、当加载程序判定失误时，将误判的图片上传到云端，已供优化模型使用；
S602、利用云端图片对模型进行优化训练。
2.根据权利要求1所述的基于卷积神经网络的驾驶员疲劳检测方法，其特征在于，所述步骤S1中采集各种情况下的人脸图像数据包括在不同环境下的白天和夜晚以及睁眼和闭眼的人脸图像；人脸图像采用红外车载摄像头拍摄。
3.根据权利要求1所述的基于卷积神经网络的驾驶员疲劳检测方法，其特征在于，所述步骤S4中驾驶室内的中控台的主机采用linux系统，在linux系统的主机上安装驱动程序和语言环境；驱动程序包括车载摄像头和音响驱动程序；语言环境采用python或tensorflow。
4.一种基于卷积神经网络的驾驶员疲劳检测装置，其特征在于，该装置包括主机、车载摄像头、音响以及加载模块，主机内安装加载模块，主机分别连接并控制车载摄像头和音响；
其中，主机的开关与汽车或机车启动装置相连，确保汽车或机车发动时主机即启动；
摄像头安装在汽车的仪表盘位置或者机车司机室内能拍摄到主司机面部表情而又不遮挡视线的位置；
主机及音响安装在驾驶室内不影响驾驶员行为的位置或嵌入中控台；
加载模块用于进行摄像头拍摄及处理；
该装置的工作过程具体如下：
S1、采集各种情况下的人脸图像数据，对图像进行特征标记；
S2、采用cnn卷积神经网络算法，对图像数据集进行训练，得出相应的模型；具体步骤如下：
S201、设置两个前卷积层：包括32个卷积核，每个卷积核是3*3，边缘不补充，卷积步长向右、向下都为1,后端运算使用tf,图片输入尺寸为100*100*3，使用relu作为激活函数；与两个前卷积层对应的池化层中过滤器尺寸设置为2*2；与两个前卷积层对应的Dropout层的参数设置为0.2；
S202、设置两个后卷积层：包括64个卷积核，每个卷积核是3*3，边缘不补充，卷积步长向右、向下都为1,后端运算使用tf,图片输入尺寸为100*100*3，使用relu作为激活函数；与两个后卷积层对应的池化层的过滤器尺寸设置为2*2；与两个后卷积层对应的Dropout层的参数设置为0.2；
S203、设置Flatten层：Flatten层处于卷积层与全连接层之间，将图片的卷积输出压扁成一个一维向量；
S204、设置全连接层：包括512个神经元；与全连接层对应的Dropout层的参数设置为0.4；
S205、设置输出层：神经元数是标签种类数，使用sigmoid激活函数，输出最终结果；
S206、使用SGD作为反向传播的优化器，使损失函数最小化，学习率是0.01，学习率衰减因子用来随着迭代次数不断减小学习率，防止出现震荡；引入冲量,不仅能在学习率较小的时候加速学习，又能在学习率较大的时候减速，使用nesterov；
S207、损失函数使用交叉熵，交叉熵函数随着输出和期望的差距越来越大，输出曲线会越来越陡峭，对权值的惩罚力度也会增大；
S208、对已获得数据集进行训练，生成相应的模型；
S3、对步骤S2中训练完的模型编写相应的python代码加载程序；
S4、将步骤S3中的加载程序安装到驾驶室内的中控台的主机内；
S5、驾驶室内的车载摄像头拍摄驾驶员的图片并传送到加载程序进行推理，加载程序利用步骤S2中训练完的模型判断驾驶员是否处于疲劳驾驶：
若是，则驾驶室内的音响播放报警或语音提示；
其中，判断驾驶员是否处于疲劳驾驶的判断方法为：对车载摄像头拍摄的图片进行分析，识别图片中是睁眼还是闭眼状态；若在固定的时间内，被标记为闭眼的图片超过阈值，则认定为驾驶员为疲劳驾驶，驾驶室内的音响播放报警或语音提示；语音提示的内容为驾驶员已经疲劳，注意停车休息；
S6、优化模型；步骤如下：
S601、当加载程序判定失误时，将误判的图片上传到云端，已供优化模型使用；
S602、利用云端图片对模型进行优化训练。
CN201910398400.5A 2019-05-14 2019-05-14 一种基于卷积神经网络的驾驶员疲劳检测方法及装置 Active CN110119714B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910398400.5A CN110119714B (zh) 2019-05-14 2019-05-14 一种基于卷积神经网络的驾驶员疲劳检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910398400.5A CN110119714B (zh) 2019-05-14 2019-05-14 一种基于卷积神经网络的驾驶员疲劳检测方法及装置

Publications (2)

Publication Number Publication Date
CN110119714A CN110119714A (zh) 2019-08-13
CN110119714B true CN110119714B (zh) 2022-02-25

Family

ID=67522342

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910398400.5A Active CN110119714B (zh) 2019-05-14 2019-05-14 一种基于卷积神经网络的驾驶员疲劳检测方法及装置

Country Status (1)

Country Link
CN (1) CN110119714B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112836549A (zh) * 2019-11-22 2021-05-25 虹软科技股份有限公司 用户信息的检测方法及系统、电子设备
CN110781872A (zh) * 2019-12-31 2020-02-11 南斗六星系统集成有限公司 一种双模态特征融合的驾驶员疲劳等级识别系统
CN111547063A (zh) * 2020-05-12 2020-08-18 武汉艾瓦客机器人有限公司 一种疲劳检测的智能车载情感交互装置
CN111914738A (zh) * 2020-07-29 2020-11-10 南京汽车集团有限公司 一种基于并行交叉卷积神经网络的疲劳驾驶行为检测系统
CN112833808A (zh) * 2021-01-05 2021-05-25 厦门银江智慧城市技术股份有限公司 基于卷积神经网络算法的设备形变检测方法和装置
CN112784723A (zh) * 2021-01-14 2021-05-11 金陵科技学院 一种基于IFast-RCNN算法的道路交通安全保护模型
CN113486699A (zh) * 2021-05-07 2021-10-08 成都理工大学 一种疲劳驾驶自动检测方法和装置
CN113298841B (zh) * 2021-07-26 2024-01-12 四川大学华西医院 一种肤质油份分型方法、计算机设备、系统及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN207637164U (zh) * 2017-11-10 2018-07-20 厦门大学 一种车载疲劳驾驶监控系统
CN108309311A (zh) * 2018-03-27 2018-07-24 北京华纵科技有限公司 一种列车驾驶员实时盹睡检测装置及检测算法
CN109190600A (zh) * 2018-10-18 2019-01-11 知行汽车科技（苏州）有限公司 一种基于视觉传感器的驾驶员监控系统
CN109241842A (zh) * 2018-08-02 2019-01-18 平安科技（深圳）有限公司 疲劳驾驶检测方法、装置、计算机设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190077409A1 (en) * 2017-07-31 2019-03-14 Alcohol Countermeasure Systems (International) Inc. Non-intrusive assessment of fatigue in drivers using eye tracking

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN207637164U (zh) * 2017-11-10 2018-07-20 厦门大学 一种车载疲劳驾驶监控系统
CN108309311A (zh) * 2018-03-27 2018-07-24 北京华纵科技有限公司 一种列车驾驶员实时盹睡检测装置及检测算法
CN109241842A (zh) * 2018-08-02 2019-01-18 平安科技（深圳）有限公司 疲劳驾驶检测方法、装置、计算机设备及存储介质
CN109190600A (zh) * 2018-10-18 2019-01-11 知行汽车科技（苏州）有限公司 一种基于视觉传感器的驾驶员监控系统

Also Published As

Publication number Publication date
CN110119714A (zh) 2019-08-13

Similar Documents

Publication Publication Date Title
CN110119714B (zh) 一种基于卷积神经网络的驾驶员疲劳检测方法及装置
CN107886073B (zh) 一种基于卷积神经网络的细粒度车辆多属性识别方法
CN110949398B (zh) 一种车辆编队行驶中头车驾驶员异常驾驶行为检测方法
CN107704805B (zh) 疲劳驾驶检测方法、行车记录仪及存储装置
CN108280415A (zh) 基于智能移动终端的驾驶行为识别方法
CN106796580B (zh) 用于处理多个异步事件驱动的样本的方法、装置和介质
CN111709285A (zh) 一种基于无人机的疫情防护监控方法、装置和存储介质
CN109800682B (zh) 驾驶员属性识别方法及相关产品
CN112487954B (zh) 一种面向平面交叉口的行人过街行为预测方法
Mafeni Mase et al. Benchmarking deep learning models for driver distraction detection
US11223782B2 (en) Video processing using a spectral decomposition layer
CN112883991A (zh) 对象分类方法、对象分类电路、机动车辆
CN111931837B (zh) 一种识别驾驶事件及其训练方法、装置、设备和存储介质
CN111274886A (zh) 一种基于深度学习的行人闯红灯违法行为分析方法及系统
Dipu et al. Real-time driver drowsiness detection using deep learning
CN114299607A (zh) 一种基于自动驾驶汽车的人车碰撞危险度分析方法
CN116901975A (zh) 一种车载ai安防监控系统及其方法
Taherifard et al. Attention-based event characterization for scarce vehicular sensing data
Chu et al. A review of driving style recognition methods from short-term and long-term perspectives
CN112052829B (zh) 一种基于深度学习的飞行员行为监控方法
Liu et al. 3DCNN-based real-time driver fatigue behavior detection in urban rail transit
JP2020010319A (ja) 車両制御システム用非可逆データ圧縮器
CN117710841A (zh) 一种无人机航拍图像的小目标检测方法、装置
Hao et al. Aggressive lane-change analysis closing to intersection based on UAV video and deep learning
Wang et al. Learning embedding features based on multisense-scaled attention architecture to improve the predictive performance of air combat intention recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220207

Address after: 250100 building S02, No. 1036, Langchao Road, high tech Zone, Jinan City, Shandong Province

Applicant after: Shandong Inspur Scientific Research Institute Co.,Ltd.

Address before: 250100 First Floor of R&D Building 2877 Kehang Road, Sun Village Town, Jinan High-tech Zone, Shandong Province

Applicant before: JINAN INSPUR HIGH-TECH TECHNOLOGY DEVELOPMENT Co.,Ltd.

GR01 Patent grant
GR01 Patent grant