CN111104817A - 一种基于深度学习的疲劳检测方法 - Google Patents
一种基于深度学习的疲劳检测方法 Download PDFInfo
- Publication number
- CN111104817A CN111104817A CN201811248367.XA CN201811248367A CN111104817A CN 111104817 A CN111104817 A CN 111104817A CN 201811248367 A CN201811248367 A CN 201811248367A CN 111104817 A CN111104817 A CN 111104817A
- Authority
- CN
- China
- Prior art keywords
- fatigue
- eye
- mouth
- feature
- characteristic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 41
- 238000013135 deep learning Methods 0.000 title claims abstract description 18
- 238000000605 extraction Methods 0.000 claims abstract description 17
- 238000000034 method Methods 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 17
- 208000003464 asthenopia Diseases 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 3
- 238000012706 support-vector machine Methods 0.000 abstract description 5
- 230000008859 change Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- KPMMESISHWWXNM-ROUUACIJSA-N N-acetyl-L-phenylalanyl-4-[difluoro(phosphono)methyl]-L-phenylalaninamide Chemical compound C([C@H](NC(=O)C)C(=O)N[C@@H](CC=1C=CC(=CC=1)C(F)(F)P(O)(O)=O)C(N)=O)C1=CC=CC=C1 KPMMESISHWWXNM-ROUUACIJSA-N 0.000 description 2
- 241001282135 Poromitra oscitans Species 0.000 description 2
- 206010048232 Yawning Diseases 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 206010062519 Poor quality sleep Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 239000003221 ear drop Substances 0.000 description 1
- 229940047652 ear drops Drugs 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000036632 reaction speed Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Ophthalmology & Optometry (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明提出一种基于深度学习的疲劳检测方法，它采用SSD(Single Shot MultiBox Detector)算法和landmark算法实现人脸检测及特征点自动提取。在此基础上，使用支持向量机分类器进行眼部和嘴部疲劳特征分类，再基于疲劳与非疲劳状态时间占比算法实现视频流图像的疲劳状态检测。
Description
技术领域
本发明涉及深度学习及图像识别技术领域，尤其涉及一种新型疲劳检测方法。
背景技术
由于疲劳驾驶的高发性与危险性，驾驶人疲劳监测预警技术(Driver FatigueMonitoring and Prewarning,即DFMP)的研究已成为交通安全领域的研究重点。DFMP的关键是疲劳状态识别，目前疲劳状态识别技术可分为3大类：基于医学的识别、基于车辆行驶参数的识别和基于机器视觉的识别。
目前疲劳检测技术存在以下问题：
(1)基于医学的识别方法，它主要通过检测脑电信号、心电信号、心率变化等生理信号来判断驾驶员是否处于疲劳状态。它利用神经网络，通过人体运动时的生理参数来预测人体疲劳程度。但是因疲劳程度的客观定量化还不够准确，对象的匀速跑步运动也不具备运动的多样性且佩戴的传感器会影响驾驶员的正常驾驶，因此实际应用效果并不是很好。
(2)基于车辆行驶参数的识别方法，它主要是通过由传感器检测方向盘转角大小和车速高低等参数，判定车辆所处的行驶状态，进而判定驾驶员是否疲劳。这种基于车辆行驶参数的识别方法存在算法复杂、识别率较低、反应速度较慢等缺点。
(3)基于机器视觉的识别方法，它目前已成为智能车辆及安全辅助驾驶中疲劳状态识别的主要途径，在车辆内部安装摄像头对驾驶员进行拍摄，通过人在疲劳时会出现的打哈欠、眨眼、头部倾斜等特征来判断。这些由识别面部器官变化状态而得出的疲劳检测标准，由于没有区分个体差异，且人为标定的特征难以清楚地表征疲劳状态，因此这类算法得到的检测效果不是十分理想。
此外，国内外疲劳检测算法大多基于单一的、人工提取的疲劳状态特征实现。大部分算法结构复杂，鲁棒性低。光照变化、面部表情、复杂背景等对检测率造成很大影响。
发明内容
本发明所要解决的技术问题是，针对现有技术的不足，提供一种基于深度学习的疲劳检测方法，它采用SSD(Single Shot MultiBox Detector)算法和landmark算法实现人脸检测及特征点自动提取。在此基础上，使用支持向量机分类器进行眼部和嘴部疲劳特征分类，再基于疲劳与非疲劳状态时间占比算法实现视频流图像的疲劳状态检测。该基于深度学习的疲劳检测方法与司机无接触，安全可靠，识别率高，能够自动提取人脸眼部和嘴部特征点，实现疲劳特征分类，为疲劳判断提供依据。
为了解决以上问题，本发明提供了一种基于深度学习的疲劳检测方法，包括：
视频数据采集步骤：通过摄像头采集司机正面人脸帧图像；
人脸检测步骤：通过SSD算法进行人脸检测；
特征点提取步骤：使用landmark算法检测人脸的68个特征点，定位和提取眼部特征点和嘴部特征点；
疲劳特征分类步骤：采集所述眼部和嘴部的疲劳特征数据，统计眼部疲劳特征数据集和嘴部疲劳特征数据集，用所述数据集训练眼部疲劳特征模型和嘴部疲劳特征模型，进行眼部疲劳特征分类和嘴部疲劳特征分类；
疲劳判断步骤：根据眼部和嘴部开闭时间占比算法判断是否疲劳；
所述眼部疲劳特征数据包括眼睛睁开和闭合两种状态的眼睛周围特征点纵横比(eye aspect ration(EAR))数据，所述嘴部疲劳特征数据包括所述嘴部张开和闭合的开口程度数据α。
优选地，所述特征点提取步骤提取至少6个眼部特征点P1、P2、P3、P4、P5和P6，P1位于眼部内眼角，P2、P3位于眼部上廓，P4位于眼部外眼角，P5和P6位于眼部下廓，所述疲劳特征分类步骤采用EAR方程计算所述EAR数据，所述EAR方程为
优选地，所述特征点提取步骤提取至少4个嘴部特征点Q1、Q2、Q3和Q4，Q1位于嘴部左嘴角，Q2位于嘴部上唇中点，Q3位于嘴部右嘴角，Q4位于嘴部下唇中点，所述疲劳特征分类步骤采用开口程度计算公式计算所述开口程度数据α，所述开口程度计算公式为
优选地，所述摄像头为设置于司机座椅正下前方的红外摄像头，所述视频数据采集步骤使用rtsp协议访问红外摄像头。
优选地，所述人脸检测步骤将所述司机正面人脸帧图像的RGB图像输入网络模型，获得各个特征层，在所述特征层暴力回归目标窗口，判断窗口是否存在人脸。
优选地，所述特征点提取步骤包括：
初始步骤：使用所检测到的人脸作为初始形状；
回归步骤：采用ERT(ensemble of regression trees)级联回归树算法进行回归直至与groundtruth的误差小于阈值，通过10次回归树，得到所述特征点的定位结果；
提取步骤：定位和提取眼部特征点和嘴部特征点。
优选地，所述特征点提取步骤在回归步骤前还包括：
训练步骤：将像素点强度作为特征，已标定的训练集附近的像素点和点对之间的距离作为特征池，将所述距离除以两眼之间的距离以进行归一化，引入指数距离先验，套用级联回归树模型，使用梯度提升算法使用残差回归，拟合误差，得到回归树模型。
优选地，所述疲劳判断步骤根据一定时间内所述眼部张开和闭合的时间比计算FatigueE指数，所述FatigueE指数计算公式为
当所述FatigueE指数超过70％时，判断出现疲劳特征。
优选地，所述疲劳判断步骤根据一定时间内所述嘴部张开和闭合的时间比计算FatigueM指数，所述FatigueM指数计算公式为
当所述FatigueM指数超过70％时，判断出现疲劳特征。
与现有技术相比，本发明包括以下优点：
1.本发明对疲劳状态具有良好的识别率，且采用深度学习方法实现人脸检测及模型训练，提高了人脸检测速率和精度。
2.本发明通过检测眼部和嘴部两部分特征点实现疲劳判断，提高了疲劳检测的可靠性。
附图说明
本发明的以上发明内容以及下面的具体实施方式在结合附图阅读时会得到更好的理解。需要说明的是，附图仅作为所请求保护的发明的示例。在附图中，相同的附图标记代表相同或类似的元素。
图1是根据本发明一实施例的一种基于深度学习的疲劳检测方法示意图；
图2是根据本发明一实施例的特征点提取步骤示意图；
图3是根据本发明另一实施例的特征点提取示意图；
图4是根据本发明一实施例的眼部特征点示意图；
图5是根据本发明一实施例的嘴部特征点示意图。
具体实施方式
以下在具体实施方式中详细叙述本发明的详细特征以及优点，其内容足以使任何本领域技术人员了解本发明的技术内容并据以实施，且根据本说明书所揭露的说明书、权利要求及附图，本领域技术人员可轻易地理解本发明相关的目的及优点。
参见图1，作为本发明的第一方面，本发明提供了一种基于深度学习的疲劳检测方法，包括：
视频数据采集步骤：通过摄像头采集司机正面人脸帧图像；
人脸检测步骤：通过SSD算法进行人脸检测，可选择地，也可以采用传统检测方法，例如：基于特征的方法、基于模板匹配方法；
特征点提取步骤：使用landmark算法检测人脸的68个特征点，定位和提取眼部特征点和嘴部特征点，可选择地，也可采用SAM或AAM算法替代landmark算法；
疲劳特征分类步骤：采集眼部和嘴部的疲劳特征数据，统计眼部疲劳特征数据集和嘴部疲劳特征数据集，利用支持向量机分类器进行典型模型训练，用数据集训练眼部疲劳特征模型和嘴部疲劳特征模型，进行眼部疲劳特征分类和嘴部疲劳特征分类；
疲劳判断步骤：根据眼部和嘴部开闭时间占比算法判断是否疲劳；
眼部疲劳特征数据包括利用支持向量机分类器采集的眼睛睁开和闭合两种状态的眼睛周围特征点纵横比(eye aspect ration(EAR))数据以实现眼部睁开程度计算，即通过采集一段视频序列得到其眼部状态变化的特征序列，统计眼部睁开和闭合状态的EAR数据集，嘴部疲劳特征数据包括嘴部张开和闭合的开口程度数据α，基于特征点曲线拟合的嘴唇内轮廓检测方法以实现嘴部张开程度计算，即通过采集一段视频序列得到其嘴部状态变化的特征序列，统计嘴部张开和闭合的开口程度数据集。
进一步的，特征点提取步骤提取至少6个眼部特征点P1、P2、P3、P4、P5和P6，参见图2，P1位于眼部内眼角，P2、P3位于眼部上廓，P4位于眼部外眼角，P5和P6位于眼部下廓，当眼睛睁开和闭合时，眼部特征点彼此坐标之间的关系如图2中直线所示，长宽比在眼睛睁开和闭合时会有所不同，疲劳特征分类步骤采用EAR方程计算EAR数据，EAR方程为
EAR方程的分子中计算的是眼睛特征点在垂直方向上的距离，分母计算的是眼睛的特征点在水平方向上的距离。由于水平点只有一组，而垂直点有两组，所以分母乘上了2，以保证两组特征点的权重相同。EAR在眼睛睁开时是基本保持不变的，在小范围内会上下浮动，然而，当眼睛闭合时，EAR会迅速下降。通过采集一段视频序列得到其眼部状态变化的特征序列，统计眼部睁开和闭合的EAR数据集，进而用EAR训练眼部睁开和闭合的SVM模型，实现眼部疲劳特征分类。
进一步的，特征点提取步骤提取至少4个嘴部特征点Q1、Q2、Q3和Q4，参见图3，Q1、Q2、Q3和Q4是人脸特征点中对应内嘴唇的4个特征点，Q1位于嘴部左嘴角，Q2位于嘴部上唇中点，Q3位于嘴部右嘴角，Q4位于嘴部下唇中点，疲劳特征分类步骤采用基于嘴巴内轮廓的开口程度计算公式计算开口程度数据α，开口程度计算公式为
||Q2-Q4||即H计算的是嘴巴内轮廓的特征点在垂直方向上的距离，||Q1-Q3||即L计算的是嘴巴内轮廓的特征点在水平方向上的距离。通过采集一段视频序列得到其嘴部状态变化的特征序列，统计嘴部张开和闭合的开口程度数据集，用数据集训练嘴部张开和闭合的疲劳特征模型，实现嘴部疲劳特征分类。
进一步的，摄像头为设置于司机座椅正下前方的红外摄像头，视频数据采集步骤使用rtsp协议访问红外摄像头，选择合适的红外摄像机镜头参数、视场角、焦距，使得人脸全部出现图像画面里时，能够占据画面的50％以上的面积。
进一步的，人脸检测步骤基于SSD算法实现人脸检测，将司机正面人脸帧图像的RGB图像输入网络模型，训练网络模型，即将一张完整的图片送进网络获得各个特征层，在特征层暴力回归目标窗口，判断窗口是否存在人脸，以检测图像中人脸的数量、位置以及大小。
进一步的，特征点提取步骤先使用平均脸贴在一个新的测试脸中，得到初始shape，用脸部形状来预测特征点，同时反过来也用特征点预测脸部的形状，可利用与训练时间同样的误差函数回归，不断回归并减小与groundtruth(真实人脸特征值)的误差，直至误差小于一个预设的阈值，通过10次级联回归树，得到最终的人脸特征点定位结果。参见图4，特征点提取步骤具体包括：
初始步骤：使用所检测到的人脸作为初始形状；
回归步骤：采用ERT(ensemble of regression trees)级联回归树算法，即基于梯度提高学习的回归树方法进行回归，直至与groundtruth的误差小于阈值，通过10次回归树，得到特征点的定位结果；
提取步骤：定位和提取眼部特征点和嘴部特征点。
进一步的，特征点提取步骤在回归步骤前还使用级连回归树算法训练模型，即先在训练集中对人脸图像特征点进行标注，利用回归树模型进行训练。参见图5，特征点提取步骤在回归步骤前还具体包括：
训练步骤：计算平均脸作为模型在测试时初始化的形状，将像素点强度作为特征，已标定的训练集附近的像素点和点对之间的距离作为特征池，将距离除以两眼之间的距离以进行归一化，这里引入指数距离先验，套用集成回归树模型，模型为级联的10个回归树，每个回归树中有500个弱回归器，每个树的深度为5，使用梯度提升算法(集成)使用残差不断回归，拟合误差，得到最终的回归树模型。
采用EAR数据集训练眼部睁开和闭合的疲劳特征模型，再用支持向量机分类器实现眼部疲劳特征分类，用数据集训练嘴部张开和闭合的疲劳特征模型，实现嘴部疲劳特征分类，可选择地，也可以采用统计闭眼次数和嘴部打哈欠次数方法替代眼部和嘴部开闭时间占比算法。
进一步的，采用眼部和嘴部开闭时间占比算法判断是否疲劳，根据眼睛、嘴巴张开和闭合在一定时间内的时间比来判断疲劳状态，疲劳判断步骤根据一定时间内眼部张开和闭合的时间比计算FatigueE指数和/或嘴部张开和闭合的时间比计算FatigueM指数，FatigueE指数计算公式为
FatigueM指数计算公式为
当FatigueE指数或FatigueM指数超过70％或80％时，则可以判断出现疲劳特征。
可选择地，也可利用最近邻分类器(KNN)对脸部疲态进行分类代替基于眼部和嘴部开闭时间占比算法的疲劳判断方法，即KNN分类时，利用K个近邻的投票占总票数的比例作为属于某一概念(疲劳、疑似疲劳、清醒)的分值。
这里采用的术语和表述方式只是用于描述，本发明并不应局限于这些术语和表述。使用这些术语和表述并不意味着排除任何示意和描述(或其中部分)的等效特征，应认识到可能存在的各种修改也应包含在权利要求范围内。其它修改、变化和替换，例如不同规格的元器件的替换，也可能存在。相应的，权利要求应视为覆盖所有这些等效物。
同样，需要指出的是，虽然本发明已参照当前的具体实施例来描述，但是本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，在没有脱离本发明精神的情况下还可做出各种等效的变化或替换，因此，只要在本发明的实质精神范围内对上述实施例的变化、变型都将落在本申请的权利要求书的范围内。
Claims (9)
1.一种基于深度学习的疲劳检测方法，包括：
视频数据采集步骤：通过摄像头采集司机正面人脸帧图像；
人脸检测步骤：通过SSD算法进行人脸检测；
特征点提取步骤：使用landmark算法检测人脸的68个特征点，定位和提取眼部特征点和嘴部特征点；
疲劳特征分类步骤：采集所述眼部和嘴部的疲劳特征数据，统计眼部疲劳特征数据集和嘴部疲劳特征数据集，用所述数据集训练眼部疲劳特征模型和嘴部疲劳特征模型，进行眼部疲劳特征分类和嘴部疲劳特征分类；
疲劳判断步骤：根据眼部和嘴部开闭时间占比算法判断是否疲劳；
其特征在于，所述眼部疲劳特征数据包括眼睛睁开和闭合两种状态的眼睛周围特征点纵横比(eye aspect ration(EAR))数据，所述嘴部疲劳特征数据包括所述嘴部张开和闭合的开口程度数据α。
2.一种如权利要求1所述的基于深度学习的疲劳检测方法，其特征在于，所述特征点提取步骤提取至少6个眼部特征点P1、P2、P3、P4、P5和P6，P1位于眼部内眼角，P2、P3位于眼部上廓，P4位于眼部外眼角，P5和P6位于眼部下廓，所述疲劳特征分类步骤采用EAR方程计算所述EAR数据，所述EAR方程为
3.一种如权利要求1所述的基于深度学习的疲劳检测方法，其特征在于，所述特征点提取步骤提取至少4个嘴部特征点Q1、Q2、Q3和Q4，Q1位于嘴部左嘴角，Q2位于嘴部上唇中点，Q3位于嘴部右嘴角，Q4位于嘴部下唇中点，所述疲劳特征分类步骤采用开口程度计算公式计算所述开口程度数据α，所述开口程度计算公式为
4.一种如权利要求1所述的基于深度学习的疲劳检测方法，其特征在于，所述摄像头为设置于司机座椅正下前方的红外摄像头，所述视频数据采集步骤使用rtsp协议访问红外摄像头。
5.一种如权利要求1所述的基于深度学习的疲劳检测方法，其特征在于，所述人脸检测步骤将所述司机正面人脸帧图像的RGB图像输入网络模型，获得各个特征层，在所述特征层暴力回归目标窗口，判断窗口是否存在人脸。
6.一种如权利要求1所述的基于深度学习的疲劳检测方法，其特征在于，所述特征点提取步骤包括：
初始步骤：使用所检测到的人脸作为初始形状；
回归步骤：采用ERT(ensemble of regression trees)级联回归树算法进行回归直至与groundtruth的误差小于阈值，通过10次回归树，得到所述特征点的定位结果；
提取步骤：定位和提取眼部特征点及嘴部特征点。
7.一种如权利要求6所述的基于深度学习的疲劳检测方法，其特征在于，所述特征点提取步骤在回归步骤前还包括：
训练步骤：将像素点强度作为特征，已标定的训练集附近的像素点和点对之间的距离作为特征池，将所述距离除以两眼之间的距离以进行归一化，引入指数距离先验，套用级联回归树模型，使用梯度提升算法使用残差回归，拟合误差，得到回归树模型。
8.一种如权利要求1所述的基于深度学习的疲劳检测方法，其特征在于，所述疲劳判断步骤根据一定时间内所述眼部张开和闭合的时间比计算FatigueE指数，所述FatigueE指数计算公式为
当所述FatigueE指数超过70％时，判断出现疲劳特征。
9.一种如权利要求1所述的基于深度学习的疲劳检测方法，其特征在于，所述疲劳判断步骤根据一定时间内所述嘴部张开和闭合的时间比计算FatigueM指数，所述FatigueM指数计算公式为
当所述FatigueM指数超过70％时，判断出现疲劳特征。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811248367.XA CN111104817A (zh) | 2018-10-25 | 2018-10-25 | 一种基于深度学习的疲劳检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811248367.XA CN111104817A (zh) | 2018-10-25 | 2018-10-25 | 一种基于深度学习的疲劳检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111104817A true CN111104817A (zh) | 2020-05-05 |
Family
ID=70418223
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811248367.XA Pending CN111104817A (zh) | 2018-10-25 | 2018-10-25 | 一种基于深度学习的疲劳检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111104817A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112528843A (zh) * | 2020-12-07 | 2021-03-19 | 湖南警察学院 | 一种融合面部特征的机动车驾驶人疲劳检测方法 |
| CN113743232A (zh) * | 2021-08-09 | 2021-12-03 | 广州铁路职业技术学院（广州铁路机械学校） | 一种城轨司机疲劳检测方法 |
| CN114049676A (zh) * | 2021-11-29 | 2022-02-15 | 中国平安财产保险股份有限公司 | 疲劳状态检测方法、装置、设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101090482A (zh) * | 2006-06-13 | 2007-12-19 | 唐琎 | 一种基于图象处理和信息融合技术的驾驶员疲劳监测系统及方法 |
| CN106203394A (zh) * | 2016-07-26 | 2016-12-07 | 浙江捷尚视觉科技股份有限公司 | 基于人眼状态检测的疲劳驾驶安全监测方法 |
| CN106372621A (zh) * | 2016-09-30 | 2017-02-01 | 防城港市港口区高创信息技术有限公司 | 基于人脸识别的疲劳驾驶检测方法 |
| CN106682598A (zh) * | 2016-12-14 | 2017-05-17 | 华南理工大学 | 一种基于级联回归的多姿态的人脸特征点检测方法 |
| CN107679468A (zh) * | 2017-09-19 | 2018-02-09 | 浙江师范大学 | 一种嵌入式计算机视觉检测疲劳驾驶方法及装置 |
| CN108229442A (zh) * | 2018-02-07 | 2018-06-29 | 西南科技大学 | 基于ms-kcf的图像序列中人脸快速稳定检测方法 |
| CN108229245A (zh) * | 2016-12-14 | 2018-06-29 | 贵港市瑞成科技有限公司 | 基于面部视频特征的疲劳驾驶检测方法 |
-
2018
- 2018-10-25 CN CN201811248367.XA patent/CN111104817A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101090482A (zh) * | 2006-06-13 | 2007-12-19 | 唐琎 | 一种基于图象处理和信息融合技术的驾驶员疲劳监测系统及方法 |
| CN106203394A (zh) * | 2016-07-26 | 2016-12-07 | 浙江捷尚视觉科技股份有限公司 | 基于人眼状态检测的疲劳驾驶安全监测方法 |
| CN106372621A (zh) * | 2016-09-30 | 2017-02-01 | 防城港市港口区高创信息技术有限公司 | 基于人脸识别的疲劳驾驶检测方法 |
| CN106682598A (zh) * | 2016-12-14 | 2017-05-17 | 华南理工大学 | 一种基于级联回归的多姿态的人脸特征点检测方法 |
| CN108229245A (zh) * | 2016-12-14 | 2018-06-29 | 贵港市瑞成科技有限公司 | 基于面部视频特征的疲劳驾驶检测方法 |
| CN107679468A (zh) * | 2017-09-19 | 2018-02-09 | 浙江师范大学 | 一种嵌入式计算机视觉检测疲劳驾驶方法及装置 |
| CN108229442A (zh) * | 2018-02-07 | 2018-06-29 | 西南科技大学 | 基于ms-kcf的图像序列中人脸快速稳定检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| TEREZA SOUKUPOVA 等: "Real-Time Eye Blink Detection using Facial Landmarks", 《21TH COMPUTER VISION WINTER WORKSHOP》 * |
| VAHID KAZEMI 等: "One Millisecond Face Alignment with an Ensemble of Regression Trees", 《2014 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112528843A (zh) * | 2020-12-07 | 2021-03-19 | 湖南警察学院 | 一种融合面部特征的机动车驾驶人疲劳检测方法 |
| CN113743232A (zh) * | 2021-08-09 | 2021-12-03 | 广州铁路职业技术学院（广州铁路机械学校） | 一种城轨司机疲劳检测方法 |
| CN114049676A (zh) * | 2021-11-29 | 2022-02-15 | 中国平安财产保险股份有限公司 | 疲劳状态检测方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109522793B (zh) | 基于机器视觉的多人异常行为检测与识别方法 | |
| CN100462047C (zh) | 基于全方位计算机视觉的安全驾驶辅助装置 | |
| CN108921100B (zh) | 一种基于可见光图像与红外图像融合的人脸识别方法及系统 | |
| CN104616438B (zh) | 一种用于疲劳驾驶检测的打哈欠动作检测方法 | |
| CN100592322C (zh) | 照片人脸与活体人脸的计算机自动鉴别方法 | |
| CN109840565A (zh) | 一种基于眼部轮廓特征点纵横比的眨眼检测方法 | |
| CN108053615B (zh) | 基于微表情的驾驶员疲劳驾驶状态检测方法 | |
| CN112241658B (zh) | 一种基于深度相机的疲劳驾驶预警方法 | |
| CN103714660B (zh) | 基于图像处理融合心率特征与表情特征实现疲劳驾驶判别的系统 | |
| CN108596087B (zh) | 一种基于双网络结果的驾驶疲劳程度检测回归模型 | |
| CN111582086A (zh) | 基于多特征的疲劳驾驶识别方法及系统 | |
| CN110728241A (zh) | 一种基于深度学习多特征融合的驾驶员疲劳检测方法 | |
| CN110837784A (zh) | 一种基于人体头部特征的考场偷窥作弊检测系统 | |
| CN101710383A (zh) | 一种身份认证的方法及认证装置 | |
| CN105404862A (zh) | 一种基于手部跟踪的安全驾驶检测方法 | |
| CN111104817A (zh) | 一种基于深度学习的疲劳检测方法 | |
| CN111753674A (zh) | 一种基于深度学习的疲劳驾驶的检测识别方法 | |
| CN112016429A (zh) | 基于火车驾驶室场景下疲劳驾驶检测方法 | |
| CN106919913A (zh) | 基于计算机视觉的疲劳驾驶检测方法及装置 | |
| CN112528843A (zh) | 一种融合面部特征的机动车驾驶人疲劳检测方法 | |
| CN110309813A (zh) | 一种基于深度学习的人眼状态检测的模型训练方法、检测方法、装置、移动端设备及服务器 | |
| CN108108651B (zh) | 基于视频人脸分析的驾驶员非专心驾驶检测方法及系统 | |
| CN113887386B (zh) | 基于深度学习和机器学习的多特征融合的疲劳检测方法 | |
| CN109063686A (zh) | 一种汽车驾驶员疲劳检测方法及系统 | |
| CN111460950A (zh) | 自然驾驶通话行为中基于头-眼证据融合的认知分心方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200505 |