CN113361452A - 一种基于深度学习的驾驶员疲劳驾驶实时检测方法及系统 - Google Patents

一种基于深度学习的驾驶员疲劳驾驶实时检测方法及系统 Download PDF

Info

Publication number
CN113361452A
CN113361452A CN202110705480.1A CN202110705480A CN113361452A CN 113361452 A CN113361452 A CN 113361452A CN 202110705480 A CN202110705480 A CN 202110705480A CN 113361452 A CN113361452 A CN 113361452A
Authority
CN
China
Prior art keywords
face
key points
neural network
detecting
mouth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110705480.1A
Other languages
English (en)
Other versions
CN113361452B (zh
Inventor
凌强
代淇源
李峰
许永华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN202110705480.1A priority Critical patent/CN113361452B/zh
Publication of CN113361452A publication Critical patent/CN113361452A/zh
Application granted granted Critical
Publication of CN113361452B publication Critical patent/CN113361452B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于深度学习的驾驶员疲劳驾驶实时检测方法及系统，其方法包括：S1：采集驾驶室的实时图像，利用神经网络得到人脸图像；S2：对人脸图像进行归一化，得到人脸输入特征图，输入人脸关键点检测深度神经网络，得到人脸关键点；S3：选取部分人脸关键点与3D标准人脸关键点进行匹配，识别点头与未正视前方行为；S4：根据人脸关键点提取眼部区域，检测眼睛的开闭状态，计算眼部疲劳状态；S5：根据嘴部关键点计算嘴部开合程度，识别打哈欠行为；S6：根据S3、S4和S5共同计算驾驶员疲劳值。本发明方法能够识别出丰富的人脸特征信息，分别检测头部、眼部和嘴部的不同行为特征，对多种疲劳行为进行检测，提高了方法的可靠性与实用性。

Description

一种基于深度学习的驾驶员疲劳驾驶实时检测方法及系统
技术领域
本发明涉及计算机视觉与深度学习领域，具体涉及一种基于深度学习的驾驶员疲劳驾驶实时检测方法及系统。
背景技术
随着汽车的广泛普及，驾驶安全问题越来越受到重视。疲劳驾驶是引发交通事故的常见原因之一，但在行车过程中，驾驶员往往无法评估自己的疲劳状态，因而，使用外部设备实时检测驾驶员的疲劳状态，对异常状态进行提醒，能够有效预防交通事故的发生，降低交通安全隐患。
按照数据的测量方式，疲劳驾驶检测方法可分为三大类：基于汽车行驶状态的方法、基于驾驶员生理特征的方法，以及基于计算机视觉的方法。
基于汽车行驶状态的方法利用疲劳驾驶时出现驾驶员反应变慢、控制操作变差等异常驾驶行为，需要测量车速、方向盘操作、车道偏移等多种车辆行驶信息。但汽车行驶信息的测量需要大量的专业设备，成本较高，目前只有一些汽车的高端车型使用，且该方法受车型、驾驶习惯等因素的影响较大，不具有通用性。
基于驾驶员生理特征的方法通过测量驾驶员的脑电、心电和肌电等信号，来判断驾驶员的疲劳状态。由于可直接对生理特征进行测量，该方法可靠性与准确度相对更高，但测量设备需要与驾驶员进行接触，安装方式复杂，可能干扰到驾驶员的正常操作，目前仍停留在实验阶段。
基于计算机视觉的方法设备相对简单，通常使用神经网络提取驾驶员的面部特征，进而识别驾驶员的疲劳状态。但在实际应用中，高精度的深度神经网络参数多、运算慢，无法满足疲劳驾驶检测的实时性要求；另一方面深度神经网络高度依赖训练数据集，针对疲劳驾驶检测的数据集仍较少。
发明内容
为了解决上述技术问题，本发明提供一种基于深度学习的驾驶员疲劳驾驶实时检测方法及系统。
本发明技术解决方案为：一种基于深度学习的驾驶员疲劳驾驶实时检测方法，包括：
步骤S1：采集驾驶室的实时图像，利用三级级联神经网络检测人脸位置，并在后续帧中，利用前一帧的人脸位置，使用所述三级级联神经网络中的第三级进行人脸跟踪，得到人脸图像；
步骤S2：对所述人脸图像进行尺寸、均值和方差归一化，得到人脸输入特征图，输入人脸关键点检测深度神经网络，得到人脸关键点；
步骤S3：选取部分所述人脸关键点与3D标准人脸关键点进行匹配，得到头部三维姿态，根据多帧结果识别点头与未正视前方行为；
步骤S4：根据所述人脸关键点提取眼部区域，利用神经网络检测眼睛的开闭状态，根据PERCLOS算法检测眼部疲劳状态；
步骤S5：根据嘴部关键点计算嘴部开合程度，识别打哈欠行为；
步骤S6：根据步骤S3、S4和S5共同计算驾驶员疲劳值，达到阈值后发出警告。
本发明与现有技术相比，具有以下优点：
本发明使用人脸关键点检测，能够识别出丰富的人脸特征信息，在此基础上分别检测头部、眼部和嘴部的不同行为特征，对多种疲劳行为进行检测，提高了方法的可靠性与实用性。同时，本发明在人脸检测和关键点检测两个运算量较大的步骤上进行优化，人脸检测中，利用前一帧图像的人脸位置信息，直接使用级联神经网络的最后一级进行人脸跟踪，避免了人脸位置的重复提取；关键点检测使用轻量级模块构建深度神经网络，使用小尺寸人脸降低计算量，极大提升了模型的计算速度。通过上述的优化，能够有效防止行为特征的丢失，提高疲劳驾驶行为检测的准确度。
附图说明
图1为本发明实施例中一种基于深度学习的驾驶员疲劳驾驶实时检测方法的流程图；
图2为本发明实施例中基于深度可分离卷积的轻量级卷积模块的结构示意图；
图3为本发明实施例中人脸关键点检测深度神经网络的得到人脸关键点的示意图；
图4为本发明实施例中一种基于深度学习的驾驶员疲劳驾驶实时检测方法中步骤S3：选取部分人脸关键点与3D标准人脸关键点进行匹配，得到头部三维姿态，根据多帧结果识别点头与未正视前方行为的流程图；
图5为本发明实施例中一种基于深度学习的驾驶员疲劳驾驶实时检测方法中步骤S4：根据人脸关键点提取眼部区域，利用神经网络检测眼睛的开闭状态，根据PERCLOS算法检测眼部疲劳状态的流程图；
图6为本发明实施例中一种基于深度学习的驾驶员疲劳驾驶实时检测系统的结构框图。
具体实施方式
本发明提供了一种基于深度学习的驾驶员疲劳驾驶实时检测方法，通过人脸关键点检测，能够识别出丰富的人脸特征信息，在此基础上分别检测头部、眼部和嘴部的不同行为特征，对多种疲劳行为进行检测，提高了可靠性与实用性。
为了使本发明的目的、技术方案及优点更加清楚，以下通过具体实施，并结合附图，对本发明进一步详细说明。
实施例一
如图1所示，本发明实施例提供的一种基于深度学习的驾驶员疲劳驾驶实时检测方法，包括下述步骤：
步骤S1：采集驾驶室的实时图像，利用三级级联神经网络检测人脸位置，并在后续帧中，利用前一帧的人脸位置，使用三级级联神经网络中的第三级进行人脸跟踪，得到人脸图像；
步骤S2：对人脸图像进行尺寸、均值和方差归一化，得到人脸输入特征图，输入人脸关键点检测深度神经网络，得到人脸关键点；
步骤S3：选取部分人脸关键点与3D标准人脸关键点进行匹配，得到头部三维姿态，根据多帧结果识别点头与未正视前方行为；
步骤S4：根据人脸关键点提取眼部区域，利用神经网络检测眼睛的开闭状态，根据PERCLOS算法检测眼部疲劳状态；
步骤S5：根据嘴部关键点计算嘴部开合程度，识别打哈欠行为；
步骤S6：根据步骤S3、S4和S5共同计算驾驶员疲劳值，达到阈值后发出警告。
在一个实施例中，上述步骤S1：采集驾驶室的实时图像，利用三级级联神经网络检测人脸位置，并在后续帧中，利用前一帧的人脸位置，使用三级级联神经网络中的第三级进行人脸跟踪，得到人脸图像，具体包括：
采集驾驶室的实时图像，要检测人脸在图像中的位置，采用三级级联神经网络(MTCNN)进行人脸检测，并使用其第三级神经网络进行人脸跟踪。其中，三级级联神经网络包括：
第一级网络P-Net在多个尺寸的图像上生成人脸候选框。使用P-Net对可能存在人脸的区域进行筛选与回归，并利用非极大值抑制剔除重叠人脸候选框；
第二级网络R-Net对上述人脸候选框进一步筛选与回归，排除非人脸候选框，同样使用非极大值抑制剔除重叠人脸候选框；
第三级网络O-Net对R-Net输出的人脸候选框进行更加精细地筛选，最终回归输出人脸位置与图像。
由于三级级联神经网络的运算集中在第一级网络P-Net的多尺寸图像金字塔的候选框生成过程，在已经识别出前一帧人脸位置的情况下，可直接使用前一帧的人脸候选框，并利用第三级网络O-Net对当前帧的人脸候选框进行回归，实现人脸的快速跟踪。
在得到人脸图像后，需要对其中的关键点进行检测。由于后续疲劳驾驶状态的识别依赖于关键点，因而需要保证该步骤具有较高的精度，保证人脸各部分特征不容易丢失；同时为了减少模型的计算量，本发明采用了人脸关键点检测深度神经网络。
在一个实施例中，上述步骤S2中人脸关键点检测深度神经网络，具体包括：
基于深度可分离卷积的轻量级卷积模块以及损失函数如公式(1)所示：
Figure BDA0003131027090000041
其中，B为样本数，
Figure BDA0003131027090000042
为第k个头部姿态角，
Figure BDA0003131027090000043
为第n个人脸关键点的预测值与真实值之间的差值。
如图2所示的基于深度可分离卷积的轻量级卷积模块的结构示意图。本发明实施例中的人脸关键点检测深度神经网络由多层轻量级卷积模块构成，逐层提取图像的深层特征。单个轻量级卷积模块可分为三个步骤：
(1)使用轻量级卷积进行特征提取。首先使用1×1卷积核对输入人脸特征图进行通道扩展，将通道扩展后的特征图进行各通道分离，并使用单通道3×3卷积核逐通道提取空间尺度特征，即通道分离卷积，再使用1×1卷积核提取通道尺度特征。该方法将普通卷积操作分离为空间尺度卷积和通道尺度卷积，使用极少的参数量完成了特征提取，同时通道扩展操作弥补了通道分离卷积的特征提取能力；
(2)特征通道权重分配。使用轻量级卷积提取特征后，将特征进行空间尺度的全局平均池化，并使用两层1×1卷积对平均后的特征压缩再展开，以获取各通道的权重系数，将权重系数与池化前的特征对应通道相乘，输出权重分配后的特征图。由于可分离卷积无法考虑各通道之间的关系，因而使用权重分配的方法，使模型能够学习不同通道的重要程度；
(3)残差连接结构。考虑到深度网络的复杂性，模块使用了残差连接结构，将输入特征图与处理后的特征图求和作为输出，保证在多层模块堆叠后，整体网络训练时便于梯度传播。该方法要求输入与输出特征图维度相等，本算法在维度不相等时，使用1×1卷积层或池化层改变输入特征图的维度，使其与输出维度相等。
本发明实施例中的人脸关键点检测深度神经网络输入的人脸图像尺寸为112×112像素，输出68个关键点的回归坐标。根据后续步骤的需要，模型使用视频数据集进行训练，使其对闭眼、张嘴等动作的局部关键点检测鲁棒性更强。
同时，由于驾驶场景经常出现大角度头部偏转，本发明实施例通过损失函数引入了的头部姿态角的权重，保证网络训练时，在大角度姿态下的人脸关键点的检测准确率。
图3展示本发明提出的人脸关键点检测深度神经网络的检测结果，可以看出采用的多层轻量级卷积模块并未减小其识别的准确度，对人脸姿态、人脸表情以及光照等因素的影响具有较强的鲁棒性。
如图4所示，在一个实施例中，上述步骤S3：选取部分人脸关键点与3D标准人脸关键点进行匹配，得到头部三维姿态，根据多帧结果识别点头与未正视前方行为，具体包括：
步骤S31：根据公式(2)，将预先设定的3D标准人脸关键点投影到图像平面上；
Figure BDA0003131027090000051
其中，s2d是3D标准人脸关键点在图像平面上的2D坐标(x，y)，S是3D标准人脸关键点3D坐标(X，Y，Z)，f是缩放因子，P是单位投影矩阵，
Figure BDA0003131027090000052
是3×3旋转矩阵，t3d是平移向量；
将公式(2)展开，得到公式(3)：
Figure BDA0003131027090000053
根据步骤S2中得到的实际2D关键点s2dt，通过公式(4)最小化s2d和s2dt之间的距离来估计公式(3)的参数f、旋转矩阵
Figure BDA0003131027090000054
和平移向量t3d：
Figure BDA0003131027090000055
步骤S32：将旋转矩阵
Figure BDA0003131027090000056
转换为三个欧拉姿态角，设定俯仰角阈值检测点头，姿态角偏离中心区域视为视线偏移，通过计算点头次数与视线偏移时间，识别点头与未正视前方行为。
当点头次数与视线偏移时间超过预设的阈值时，判断为疲劳驾驶行为。
如图5所示，在一个实施例中，上述S4：根据人脸关键点提取眼部区域，利用神经网络检测眼睛的开闭状态，根据PERCLOS算法检测眼部疲劳状态，具体包括：
步骤S41：构建一个由卷积层与池化层构成的神经网络，根据人脸关键点提取眼部区域，输入神经网络，识别眼睛的开闭状态；
首先利用上述步骤得到的人脸关键点，截取眼部区域，构建一个只有卷积层与池化层构成的小型的识别眼睛状态神经网络，用于识别眼睛的开闭状态。
步骤S42：根据PERCLOS方法如公式(4)所示，计算闭眼时长；当PERCLOS超过阈值，判断为眼睛疲劳；
Figure BDA0003131027090000061
在一个实施例中，上述步骤S5：根据嘴部关键点计算嘴部开合程度，识别打哈欠行为，具体包括：
选取多个上嘴唇关键点以及与之对应的下嘴唇关键点，计算二者之间的平均距离作为纵向距离，将嘴部左右边缘关键点之间的距离作为横向距离，计算嘴部纵横比，设定纵横比阈值，若连续多帧的嘴部纵横比超过阈值时，判断为打哈欠行为。
在一个实施例中，上述步骤S6：根据步骤S3、S4和S5共同计算驾驶员疲劳值，达到阈值后发出警告，具体包括：
根据点头与未正视前方行为、眼部疲劳状态以及打哈欠行为，根据实际情况，为其设置不同的权值，加权求和后得到最终的疲劳值；当在预设时间段内，疲劳值超出阈值将发出警告。
本发明采用人脸关键点检测，能够识别出丰富的人脸特征信息，在此基础上分别检测头部、眼部和嘴部的不同行为特征，对多种疲劳行为进行检测，提高了方法的可靠性与实用性。同时，本发明在人脸检测和关键点检测两个运算量较大的步骤上进行优化，人脸检测中，利用前一帧图像的人脸位置信息，直接使用级联神经网络的最后一级进行人脸跟踪，避免了人脸位置的重复提取；人脸关键点检测使用轻量级模块构建深度神经网络，使用小尺寸人脸降低计算量，极大提升了模型的计算速度。通过上述的优化，能够有效防止行为特征的丢失，提高疲劳驾驶行为检测的准确度。
实施例二
如图6所示，本发明实施例提供了一种基于深度学习的驾驶员疲劳驾驶实时检测系统，包括下述模块：
获取人脸图像模块61，用于采集驾驶室的实时图像，利用三级级联神经网络检测人脸位置，并在后续帧中，利用前一帧的人脸位置，使用三级级联神经网络中的第三级进行人脸跟踪，得到人脸图像；
获取人脸关键点模块62，用于对人脸图像进行尺寸、均值和方差归一化，得到人脸输入特征图，输入人脸关键点检测深度神经网络，得到人脸关键点；
识别点头与未正视前方模块63，用于选取部分人脸关键点与3D标准人脸关键点进行匹配，得到头部三维姿态，根据多帧结果识别点头与未正视前方行为；
检测眼部疲劳状态模块64，用于根据人脸关键点提取眼部区域，利用神经网络检测眼睛的开闭状态，根据PERCLOS算法检测眼部疲劳状态；
识别打哈欠模块65，用于根据嘴部关键点计算嘴部开合程度，识别打哈欠行为；
计算疲劳值模块66，用于根据识别点头与未正视前方模块、检测眼部疲劳状态模块和识别打哈欠模块共同计算驾驶员疲劳值，达到阈值后发出警告。
提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。

Claims (8)

1.一种基于深度学习的驾驶员疲劳驾驶实时检测方法，其特征在于，包括：
步骤S1：采集驾驶室的实时图像，利用三级级联神经网络检测人脸位置，并在后续帧中，利用前一帧的人脸位置，使用所述三级级联神经网络中的第三级进行人脸跟踪，得到人脸图像；
步骤S2：对所述人脸图像进行尺寸、均值和方差归一化，得到人脸输入特征图，输入人脸关键点检测深度神经网络，得到人脸关键点；
步骤S3：选取部分所述人脸关键点与3D标准人脸关键点进行匹配，得到头部三维姿态，根据多帧结果识别点头与未正视前方行为；
步骤S4：根据所述人脸关键点提取眼部区域，利用神经网络检测眼睛的开闭状态，根据PERCLOS算法检测眼部疲劳状态；
步骤S5：根据嘴部关键点计算嘴部开合程度，识别打哈欠行为；
步骤S6：根据步骤S3、S4和S5共同计算驾驶员疲劳值，达到阈值后发出警告。
2.根据权利要求1所述的基于深度学习的驾驶员疲劳驾驶实时检测方法，其特征在于，所述步骤S1中所述三级级联神经网络，具体包括：
第一级网络P-Net在多个尺寸的图像上生成人脸候选框，对可能存在人脸的区域进行筛选与回归，并利用非极大值抑制剔除重叠的所述人脸候选框；
第二级网络R-Net对所述人脸候选框进一步筛选与回归，排除非人脸候选框，同样使用非极大值抑制剔除重叠的所述人脸候选框；
第三级网络O-Net对所述人脸候选框进行更加精细地筛选，最终输出所述人脸位置与图像。
3.根据权利要求1所述的基于深度学习的驾驶员疲劳驾驶实时检测方法，其特征在于，所述步骤S2中所述人脸关键点检测深度神经网络，具体包括：
基于深度可分离卷积的轻量级卷积模块以及损失函数如公式(1)所示：
Figure FDA0003131027080000011
其中，B为样本数，
Figure FDA0003131027080000012
为第k个头部姿态角，
Figure FDA0003131027080000013
为第n个所述人脸关键点的预测值与真实值之间的差值。
4.根据权利要求1所述的基于深度学习的驾驶员疲劳驾驶实时检测方法，其特征在于，所述步骤S3：选取部分所述人脸关键点与3D标准人脸关键点进行匹配，得到头部三维姿态，根据多帧结果识别点头与未正视前方行为，具体包括：
步骤S31：根据公式(2)，将预先设定的3D标准人脸关键点投影到图像平面上；
Figure FDA0003131027080000021
其中，s2d是所述3D标准人脸关键点在图像平面上的2D坐标(x，y)，S是所述3D标准人脸关键点3D坐标(X，Y，Z)，f是缩放因子，P是单位投影矩阵，
Figure FDA0003131027080000022
是3×3旋转矩阵，t3d是平移向量；
将公式(2)展开，得到公式(3)：
Figure FDA0003131027080000023
根据步骤S2中得到的实际2D关键点s2dt，通过公式(4)最小化s2d和s2dt之间的距离来估计公式(3)的参数f、旋转矩阵
Figure FDA0003131027080000024
和平移向量t3d：
Figure FDA0003131027080000025
步骤S32：将旋转矩阵
Figure FDA0003131027080000026
转换为三个欧拉姿态角，设定俯仰角阈值检测点头，姿态角偏离中心区域视为视线偏移，通过计算点头次数与视线偏移时间，识别点头与未正视前方行为。
5.根据权利要求1所述的基于深度学习的驾驶员疲劳驾驶实时检测方法，其特征在于，所述步骤S4：根据所述人脸关键点提取眼部区域，利用神经网络检测眼睛的开闭状态，根据PERCLOS算法检测眼部疲劳状态，具体包括：
步骤S41：构建一个由卷积层与池化层构成的识别眼睛状态神经网络，根据所述人脸关键点提取眼部区域，输入所述识别眼睛状态神经网络，识别眼睛的开闭状态；
步骤S42：根据PERCLOS方法如公式(4)所示，计算闭眼时长；当PERCLOS超过阈值，判断为眼睛疲劳；
Figure FDA0003131027080000027
6.根据权利要求1所述的基于深度学习的驾驶员疲劳驾驶实时检测方法，其特征在于，所述步骤S5：根据嘴部关键点计算嘴部开合程度，识别打哈欠行为，具体包括：
将上嘴唇关键点与下嘴唇部分关键点之间的距离作为纵向距离，将嘴部左右边缘关键点之间的距离作为横向距离，计算嘴部纵横比，设定纵横比阈值，若连续多帧的嘴部纵横比超过阈值，判断为打哈欠行为。
7.根据权利要求1所述的基于深度学习的驾驶员疲劳驾驶实时检测方法，其特征在于，所述步骤S6：根据步骤S3、S4和S5共同计算驾驶员疲劳值，达到阈值后发出警告，具体包括：
根据所述点头与未正视前方行为、所述眼部疲劳状态以及所述打哈欠行为，为其设置不同的权值，加权求和得到最终的疲劳值；当在预设时间段内，所述疲劳值超出阈值将发出警告。
8.一种基于深度学习的驾驶员疲劳驾驶实时检测系统，其特征在于，包括下述模块：
获取人脸图像模块，用于采集驾驶室的实时图像，利用三级级联神经网络检测人脸位置，并在后续帧中，利用前一帧的人脸位置，使用所述三级级联神经网络中的第三级进行人脸跟踪，得到人脸图像；
获取人脸关键点模块，用于对所述人脸图像进行尺寸、均值和方差归一化，得到人脸输入特征图，输入人脸关键点检测深度神经网络，得到人脸关键点；
识别点头与未正视前方模块，用于选取部分所述人脸关键点与3D标准人脸关键点进行匹配，得到头部三维姿态，根据多帧结果识别点头与未正视前方行为；
检测眼部疲劳状态模块，用于根据所述人脸关键点提取眼部区域，利用神经网络检测眼睛的开闭状态，根据PERCLOS算法检测眼部疲劳状态；
识别打哈欠模块，用于根据嘴部关键点计算嘴部开合程度，识别打哈欠行为；
计算疲劳值模块，用于根据识别点头与未正视前方模块、检测眼部疲劳状态模块和识别打哈欠模块共同计算驾驶员疲劳值，达到阈值后发出警告。
CN202110705480.1A 2021-06-24 2021-06-24 一种基于深度学习的驾驶员疲劳驾驶实时检测方法及系统 Active CN113361452B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110705480.1A CN113361452B (zh) 2021-06-24 2021-06-24 一种基于深度学习的驾驶员疲劳驾驶实时检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110705480.1A CN113361452B (zh) 2021-06-24 2021-06-24 一种基于深度学习的驾驶员疲劳驾驶实时检测方法及系统

Publications (2)

Publication Number Publication Date
CN113361452A true CN113361452A (zh) 2021-09-07
CN113361452B CN113361452B (zh) 2023-06-20

Family

ID=77536172

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110705480.1A Active CN113361452B (zh) 2021-06-24 2021-06-24 一种基于深度学习的驾驶员疲劳驾驶实时检测方法及系统

Country Status (1)

Country Link
CN (1) CN113361452B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113762194A (zh) * 2021-09-16 2021-12-07 浙江大学 一种车载疲劳驾驶检测系统
CN114387677A (zh) * 2022-01-05 2022-04-22 广东电网有限责任公司 一种多特征维度的人员疲劳状态确认方法及装置
CN114743184A (zh) * 2022-06-10 2022-07-12 航天科技控股集团股份有限公司 一种驾驶员驾驶状态预警系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107423689A (zh) * 2017-06-23 2017-12-01 中国科学技术大学 智能交互式人脸关键点标注方法
CN107748858A (zh) * 2017-06-15 2018-03-02 华南理工大学 一种基于级联卷积神经网络的多姿态眼睛定位方法
CN108309311A (zh) * 2018-03-27 2018-07-24 北京华纵科技有限公司 一种列车驾驶员实时盹睡检测装置及检测算法
CN109919049A (zh) * 2019-02-21 2019-06-21 北京以萨技术股份有限公司 基于深度学习人脸姿态估计的疲劳检测方法
CN110119676A (zh) * 2019-03-28 2019-08-13 广东工业大学 一种基于神经网络的驾驶员疲劳检测方法
CN110532887A (zh) * 2019-07-31 2019-12-03 郑州大学 一种基于面部特征融合的疲劳驾驶检测方法及系统
CN110674701A (zh) * 2019-09-02 2020-01-10 东南大学 一种基于深度学习的驾驶员疲劳状态快速检测方法
CN110728241A (zh) * 2019-10-14 2020-01-24 湖南大学 一种基于深度学习多特征融合的驾驶员疲劳检测方法
US20210004618A1 (en) * 2018-10-19 2021-01-07 Shanghai Sensetime Intelligent Technology Co., Ltd. Driving state detection method and apparatus, driver monitoring system and vehicle
CN112949345A (zh) * 2019-11-26 2021-06-11 北京四维图新科技股份有限公司 疲劳监测方法及系统、行车记录仪和智能座舱

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107748858A (zh) * 2017-06-15 2018-03-02 华南理工大学 一种基于级联卷积神经网络的多姿态眼睛定位方法
CN107423689A (zh) * 2017-06-23 2017-12-01 中国科学技术大学 智能交互式人脸关键点标注方法
CN108309311A (zh) * 2018-03-27 2018-07-24 北京华纵科技有限公司 一种列车驾驶员实时盹睡检测装置及检测算法
US20210004618A1 (en) * 2018-10-19 2021-01-07 Shanghai Sensetime Intelligent Technology Co., Ltd. Driving state detection method and apparatus, driver monitoring system and vehicle
CN109919049A (zh) * 2019-02-21 2019-06-21 北京以萨技术股份有限公司 基于深度学习人脸姿态估计的疲劳检测方法
CN110119676A (zh) * 2019-03-28 2019-08-13 广东工业大学 一种基于神经网络的驾驶员疲劳检测方法
CN110532887A (zh) * 2019-07-31 2019-12-03 郑州大学 一种基于面部特征融合的疲劳驾驶检测方法及系统
CN110674701A (zh) * 2019-09-02 2020-01-10 东南大学 一种基于深度学习的驾驶员疲劳状态快速检测方法
CN110728241A (zh) * 2019-10-14 2020-01-24 湖南大学 一种基于深度学习多特征融合的驾驶员疲劳检测方法
CN112949345A (zh) * 2019-11-26 2021-06-11 北京四维图新科技股份有限公司 疲劳监测方法及系统、行车记录仪和智能座舱

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
YAN WANG等: ""Eye gaze pattern analysis for fatigue detection based on GP-BCNN with ESM"", 《PATTERN RECOGNITION LETTERS》 *
张国基等: "《生物辨识系统与深度学习》", 31 December 2018, 北京工业大学出版社 *
言有三: "《深度学习之人脸图像处理：核心算法与案例实战》", 31 July 2020, 北京：机械工业出版社 *
郑伟成等: ""基于深度学习的疲劳驾驶检测算法"", 《计算机工程》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113762194A (zh) * 2021-09-16 2021-12-07 浙江大学 一种车载疲劳驾驶检测系统
CN114387677A (zh) * 2022-01-05 2022-04-22 广东电网有限责任公司 一种多特征维度的人员疲劳状态确认方法及装置
CN114743184A (zh) * 2022-06-10 2022-07-12 航天科技控股集团股份有限公司 一种驾驶员驾驶状态预警系统

Also Published As

Publication number Publication date
CN113361452B (zh) 2023-06-20

Similar Documents

Publication Publication Date Title
CN113361452B (zh) 一种基于深度学习的驾驶员疲劳驾驶实时检测方法及系统
CN108021933B (zh) 神经网络识别装置及识别方法
CN111860274B (zh) 基于头部朝向与上半身骨架特征的交警指挥手势识别方法
CN108596087B (zh) 一种基于双网络结果的驾驶疲劳程度检测回归模型
US9513108B2 (en) Sensor system for determining distance information based on stereoscopic images
CN110728241A (zh) 一种基于深度学习多特征融合的驾驶员疲劳检测方法
CN111553214B (zh) 一种驾驶员吸烟行为检测方法及系统
CN111985403A (zh) 一种基于人脸姿态估计和视线偏离的分心驾驶检测方法
CN112541460B (zh) 一种车辆再识别方法及系统
US20220366570A1 (en) Object tracking device and object tracking method
CN114091598A (zh) 一种基于语义级信息融合的多车协同环境感知方法
CN106529441B (zh) 基于模糊边界分片的深度动作图人体行为识别方法
CN115346197A (zh) 一种基于双向视频流的驾驶员分心行为识别方法
CN117523514A (zh) 基于交叉注意力的雷达视觉融合数据目标检测方法及系统
CN105320930A (zh) 对象物识别装置
CN115861981A (zh) 基于视频姿态不变性的驾驶员疲劳行为检测方法及系统
CN108363968A (zh) 一种基于关键点提取的司机疲劳驾驶监测系统和方法
CN114220138A (zh) 一种人脸对齐方法、训练方法、装置和存储介质
CN107315997B (zh) 一种基于快速特征点定位的视线朝向判断方法及系统
CN117593792A (zh) 一种基于视频帧的异常姿态检测方法和装置
CN103870837B (zh) 一种检测待检测区域内是否存在车辆的方法和装置
CN116740792A (zh) 一种观光车作业人员人脸识别方法及系统
CN116797640A (zh) 一种面向智能伴行巡视器的深度及3d关键点估计方法
CN112926364A (zh) 头部姿态的识别方法及系统、行车记录仪和智能座舱
CN107273801B (zh) 一种视频多目标跟踪检测异常点的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant