CN108460345A - 一种基于人脸关键点定位的面部疲劳检测方法 - Google Patents
一种基于人脸关键点定位的面部疲劳检测方法 Download PDFInfo
- Publication number
- CN108460345A CN108460345A CN201810129392.XA CN201810129392A CN108460345A CN 108460345 A CN108460345 A CN 108460345A CN 201810129392 A CN201810129392 A CN 201810129392A CN 108460345 A CN108460345 A CN 108460345A
- Authority
- CN
- China
- Prior art keywords
- key point
- face
- mouth
- closed
- driver
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于人脸关键点定位的面部疲劳检测方法，先提取单位时间内驾驶员驾驶时包含整个面部表情的视频流，再对视频流中的每一帧图像进行处理，通过每一帧图像中人脸关键点来判断每一帧图像中是否存在眼睛闭合或嘴部张开过大等情况，最后利用利用PECLOS方法来检测单位时间内视频流中出现眼睛闭合或嘴部张开过大的次数，从而判断驾驶员是否出现疲劳驾驶，具有非常好的扩展性和灵活性。
Description
技术领域
本发明属于人脸识别及判断技术领域，更为具体地讲，涉及一种基于人脸关键点定位的面部疲劳检测方法。
背景技术
疲劳检测是通过检测人体各种疲劳特征，及时发现疲劳状态并给出预警信号，涉及到许多学科的知识，是一个十分具有研究价值与现实价值的课题。驾驶员疲劳检测目前有较多的研究方法，按检测类别大致分为基于驾驶员生理信号的检测、基于驾驶员的操作行为的检测、基于车辆状态信息的检测和基于驾驶员生理反应的检测等方法。其中，基于驾驶员视觉图像的非接触式的检测具有非常大的潜力。但是现有的检测基于图像的驾驶员疲劳检测方法精确性不够，实时性不强，特别是当驾驶员头部发生移动的时候会出现检测结果有较大误差。
利用Adaboost算法训练分类器对驾驶员图像进行人脸检测，获得人脸矩形框，在矩形框内进行stasm特征点定位，识别眼睛特征点，获取大致的眼睛矩形范围图像是比较常见的检测方法，但是该方法对训练样本要求比较高，眼睛嘴巴关键点需要分开计算，耗时较长，并且精度不高，对后续的疲劳检测计算有一定的影响，而且当头部有所偏移旋转，会造成判断结果有较大误差。
本发明公开了一种基于人脸关键点检测的疲劳检测系统。该系统搭建成本低，对于人脸左右的转动也具有良好的鲁棒性，并且实时性良好，驾驶员处于疲劳状态能够及时发出提醒，可以将需要的眼睛和嘴巴关键点准确快速的检测出来。在判断是否疲劳的时候，本发明采用几何方法进行判断，保证了准确性的同时，也提高了速度。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于人脸关键点定位的面部疲劳检测方法，根据人脸关键点的相对位置，利用几何方法来判断是否眨眼和打哈欠等比较明显的疲劳特征。
为实现上述发明目的，本发明一种基于人脸关键点定位的面部疲劳检测方法，其特征在于，包括以下步骤：
(1)、提取单位时间t内驾驶员驾驶时包含整个面部表情的视频流；
(2)、获取每一帧中人脸图像的N＝32个人脸关键点
(2.1)、利用回归方法实现当前人脸图像中的人脸对齐
设第k个人脸关键点在正常人脸形状上的坐标为在当前人脸图像中的坐标为k＝1,2,…,N；通过回归的方法，将回归到上实现人脸对齐；
其中，表示第k个人脸关键点在正常人脸形状上所对应的SIFT特征，h()表示非线性特征提取函数，表示第k个人脸关键点在正常人脸形状上的坐标位置；Δxk表示第k个人脸关键点在正常人脸形状上和当前人脸图像上的坐标差值；|| ||2表示求二范数；
(2.2)、在对齐后的当前人脸图像中提取人脸关键点
其中，φk-1＝h(d(xk-1))是上一组人脸关键点提取出的SIFT特征，H、Jh分别是xk-1的海森矩阵和雅可比矩阵；
(2.3)、SDM方法使用梯度下降向量Rk和重缩放因子bk更新xk，使xk成功收敛为得到第k个人脸关键点坐标；
xk＝xk-1+Rk-1φk-1+bk-1
同理，按照上述方法依次提取出当前帧中剩余N-1人脸关键点坐标；
(2.4)、将32个人脸关键点用向量表示为N＝(n1,n2,…,n32)
(3)、对提取的N＝32个人脸关键点进行标注，其中，将n1～n6个人脸关键点标注为左眼关键点，将n7～n12个人脸关键点标注为右眼关键点，将n13～n32个人脸关键点标注为嘴部关键点；
(4)、根据标准三维模型与二维投影之间的关系，将倾斜的头像进行矫正
其中，(α,β,γ)表示标准三维模型中人脸姿态的三个旋转角度，qk表示当前人脸图像中第k个人脸关键点的位置向量，pk表示标准三维模型中第k个人脸关键点的位置向量，R代表旋转矩阵，τ为空间偏移向量，c为伸缩因子；
其中，旋转矩阵R三个矩阵相乘得到：
(5)、根据左右眼关键点之间距离判断是否闭合
(5.1)、根据左右眼关键点的坐标位置，分别计算出左、右眼两个眼角关键点间的距离d1、d2，以及左、右眼四个眼睑关键点间的距离，其中，左眼中上下对称的两组眼睑关键点间的距离为d3、d4，右眼中上下对称的两组眼睑关键点间的距离为d5、d6；
(5.2)、判断左眼是否闭合：用左眼中眼角关键点间距离d1除以眼睑关键点间距离d3、d4之和，得到比值Δd1，再将Δd1与左眼闭合阈值T1＝3.3比较，如果Δd1＞T1，则表明左眼闭合，反正则表示左眼未闭合；
(5.3)、判断右眼是否闭合：用右眼中眼角关键点间距离d2除以眼睑关键点间距离d5、d6之和，得到比值Δd2，再将Δd2与右眼闭合阈值T2＝3.4比较，如果Δd1＞T2，则表明右眼闭合，反正则表示右眼未闭合；
(6)、根据嘴部关键点之间距离判断是否闭合
在嘴部关键点中，选取上、下嘴唇正中间各一个关键点，并计算这两个关键点间距离d；再将距离d与嘴部开合度阈值ζ＝40比较，如果d＞ζ，表示嘴部张开程度大于正常情况，反正则表示嘴部闭合或正常张嘴；
(7)、重复步骤(2)～(6)，直到处理完单位时间t内视频流中的所有帧图像；
(8)、利用PECLOS方法来检测是否处于疲劳状态
在单位时间t内，以每一分钟为单位，利用PECLOS方法统计一分钟内驾驶员左右眼睛闭合次数，以及眼睛闭合时所占的时间比例，如果每分钟内左右眼睛闭合次数在10次以内，且眼睛闭合时所占的时间比例在4s以内，则判定该驾驶员在本分钟为正常眨眼，否则判定该驾驶员在本分钟内为疲劳驾驶；如果单位时间t内疲劳驾驶的分钟数大于阈值σ，则判定该驾驶员在该时间段t内为疲劳状态；
利用PECLOS方法统计一分钟内驾驶员嘴部张开程度大于正常情况的次数，以及嘴部张开程度大于正常情况时所占的时间比例，如果嘴部张开程度大于正常情况的次数在2次以内，且嘴部张开程度大于正常情况时所占的时间比例在2s以内，则判定该驾驶员在本分钟为正常张嘴，否则判定该驾驶员在本分钟内为疲劳驾驶；如果单位时间t内疲劳驾驶的分钟数大于阈值ρ，则判定该驾驶员在该时间段t内为疲劳状态。
本发明的发明目的是这样实现的：
本发明一种基于人脸关键点定位的面部疲劳检测方法，先提取单位时间内驾驶员驾驶时包含整个面部表情的视频流，再对视频流中的每一帧图像进行处理，通过每一帧图像中人脸关键点来判断每一帧图像中是否存在眼睛闭合或嘴部张开过大等情况，最后利用利用PECLOS方法来检测单位时间内视频流中出现眼睛闭合或嘴部张开过大的次数，从而判断驾驶员是否出现疲劳驾驶，具有非常好的扩展性和灵活性。
同时，本发明一种基于人脸关键点定位的面部疲劳检测方法还具有以下有益效果：
(1)、通过使用SDM算法，直接获得了需要的眼睛和嘴部关键点，与Adaboost算法比较更适用与驾驶员检测，速度也有比较明显的提高；
(2)、通过检测出的关键点之间的相对位置关系来判断是否疲劳，与检测瞳孔是否被眼皮遮挡等方法比较，具有十分明显的优势，可以省去很多算法步骤，降低了计算复杂度，优化了系统，几何方法同时也提高了计算的速度和准确性；
(3)、通过眼睛检测与嘴巴检测结合，可以从不同的角度来判断驾驶员状态，不再单一的检测驾驶员一个特征，为后续的发展提供了可能性与方向。
附图说明
图1是本发明基于人脸关键点定位的面部疲劳检测方法流程图；
图2是人脸关键点分布图；
图3是人眼二维示意图。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。
实施例
图1是本发明基于人脸关键点定位的面部疲劳检测方法流程图。
在本实施例中，如图1所示，本发明一种基于人脸关键点定位的面部疲劳检测方法，包括以下步骤：
S1、利用摄像头实时监控驾驶员，使驾驶员的整个头部区域均处中监控范围内，然后提取以10分钟为一个单位，驾驶员驾驶时包含整个面部表情的视频流。
S2、获取每一帧中人脸图像的32个人脸关键点
常用的面部特征提取算法采用参数化表观模型(PAMs)表达面部特征，该方法在人为标定数据集上使用主成分分析(PCA)方法建立目标模型。但这种方法需要优化许多参数(50-60个)，这也就导致其很容易收敛到局部最优解，无法得到准确的结果，而且PAMs仅仅对于训练样本中的特殊对象具有良好的效果，推广到一般性的对象时，检测鲁棒性不佳，最后，由于大多数据集包含的样本的局限性，PAMs只能对对称模型进行建模，无法解决非对称表情状态下的问题(如睁一只眼，闭一只眼)。
基于以上的限制，本发明使用Supervised Desent Method(SDM)方法，该方法使用非参数形状模型，对非训练样本的情形具有较好的泛化能力。，下面我们以其中一帧图像为例，进行具体的分析。
S2.1、利用回归方法实现当前人脸图像中的人脸对齐
设第k个人脸关键点在正常人脸形状上的坐标为在当前人脸图像中的坐标为k＝1,2,…,32；通过回归的方法，将回归到上实现人脸对齐；
其中，表示第k个人脸关键点在正常人脸形状上所对应的SIFT特征，h()表示非线性特征提取函数，表示第k个人脸关键点在正常人脸形状上的坐标位置；Δxk表示第k个人脸关键点在正常人脸形状上和当前人脸图像上的坐标差值；|| ||2表示求二范数；
S2.2、在对齐后的当前人脸图像中提取人脸关键点
其中，φk-1＝h(d(xk-1))是上一组人脸关键点提取出的SIFT特征，H、Jh分别是xk-1的海森矩阵和雅可比矩阵；
S2.3、SDM方法使用梯度下降向量Rk和重缩放因子bk更新xk，使xk成功收敛为得到第k个人脸关键点坐标；
xk＝xk-1+Rk-1φk-1+bk-1
同理，按照上述方法依次提取出当前帧中剩余N-1人脸关键点坐标；
如图2所示，我们最终得到32个人脸关键点，从1到32对其进行标号。
S2.4、将32个人脸关键点用向量表示为N＝(n1,n2,…,n32)，其中，n1～n32分别一一对应图2中的1～32。
S3、对提取的32个人脸关键点进行标注，如图2所示，其中，将n1～n6个人脸关键点标注为左眼关键点，将n7～n12个人脸关键点标注为右眼关键点，将n13～n32个人脸关键点标注为嘴部关键点；
其中，在左眼关键点中，n1、n4为左眼两眼角关键点，n2、n3为左眼上眼睑两关键点，n5、n6为左眼下眼睑两关键点，n2、n3和n5、n6关于n1、n4连成的直线对称；
在右眼关键点中，n7、n10为右眼两眼角关键点，n8、n9为右眼上眼睑两关键点，n11、n12为右眼下眼睑两关键点，n8、n9和n11、n12关于n7、n10连成的直线对称；
在嘴部关键点中，n13、n22为嘴角两关键点，n14～n21为上嘴唇8个关键点，n23～n32为下嘴唇10个关键点，上下嘴唇中的关键点等距离均匀分布。
S4、根据标准三维模型与二维投影之间的关系，将倾斜的头像进行矫正；
检测到人脸之后，人脸位置可能会侧向一边，这样会影响后续检测步骤的准确性，因此需要对检测到的图像进行旋转平移来保证人脸正对前方。
其中，(α,β,γ)表示标准三维模型中人脸姿态的三个旋转角度，qk表示当前人脸图像中第k个人脸关键点的位置向量，pk表示标准三维模型中第k个人脸关键点的位置向量，R代表旋转矩阵，τ为空间偏移向量，c为伸缩因子；
在本实施例中，qk为二维向量，pk为三维向量，因此需要通过伸缩因子c将三维向量转换为二维向量。
其中，旋转矩阵R三个矩阵相乘得到：
S5、根据左右眼关键点之间距离判断是否闭合
S5.1、如图3所示，根据左右眼关键点的坐标位置，分别计算出左、右眼两个眼角关键点间的距离d1、d2，以及左、右眼四个眼睑关键点间的距离，其中，左眼中上下对称的两组眼睑关键点间的距离为d3、d4，右眼中上下对称的两组眼睑关键点间的距离为d5、d6；如图3中n2和n5间的距离为d3，n3和n6间的距离为d4；
S5.2、判断左眼是否闭合：用左眼中眼角关键点间距离d1除以眼睑关键点间距离d3、d4之和，得到比值Δd1，再将Δd1与左眼闭合阈值T1＝3.3比较，如果Δd1＞T1，则表明左眼闭合，反正则表示左眼未闭合；
S5.3、判断右眼是否闭合：用右眼中眼角关键点间距离d2除以眼睑关键点间距离d5、d6之和，得到比值Δd2，再将Δd2与右眼闭合阈值T2＝3.4比较，如果Δd1＞T2，则表明右眼闭合，反正则表示右眼未闭合；
S6、根据嘴部关键点之间距离判断是否闭合
在嘴部关键点中，选取上、下嘴唇正中间各一个关键点，这两个关键点的连线使得左右眼关于这条线对称，如图2所示，选取关键点16和31，并计算这两个关键点间距离d；再将距离d与嘴部开合度阈值ζ＝40比较，如果d＞ζ，表示嘴部张开程度大于正常情况，反正则表示嘴部闭合或正常张嘴；
S7、重复步骤S2～S6，直到处理完10分钟内视频流中的所有帧图像；
S8、利用PECLOS方法来检测是否处于疲劳状态
在10分钟内，以每一分钟为单位，利用PECLOS方法统计一分钟内驾驶员左右眼睛闭合次数，以及眼睛闭合时所占的时间比例，其中，眼睛闭合时所占的时间比例＝检测时间段内眼睛闭合帧数/检测时间段内总帧数×100％；
如果每分钟内左右眼睛闭合次数在10次以内，且眼睛闭合时所占的时间比例在4s以内，则判定该驾驶员在本分钟为正常眨眼，否则判定该驾驶员在本分钟内为疲劳驾驶；如果10分钟内疲劳驾驶的分钟数大于阈值σ，则判定该驾驶员在该10分钟内为疲劳状态；
利用PECLOS方法统计一分钟内驾驶员嘴部张开程度大于正常情况的次数，以及嘴部张开程度大于正常情况时所占的时间比例，其中，嘴部张开程度大于正常情况时所占的时间比例＝检测时间段内嘴部张开程度大于正常情况时的帧数/检测时间段内总帧数×100％；
如果嘴部张开程度大于正常情况的次数在2次以内，且嘴部张开程度大于正常情况时所占的时间比例在2s以内，则判定该驾驶员在本分钟为正常张嘴，否则判定该驾驶员在本分钟内为疲劳驾驶；如果10分钟内疲劳驾驶的分钟数大于阈值ρ，则判定该驾驶员在该10分钟内为疲劳状态。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
Claims (3)
1.一种基于人脸关键点定位的面部疲劳检测方法，其特征在于，包括以下步骤：
(1)、提取单位时间t内驾驶员驾驶时包含整个面部表情的视频流；
(2)、获取每一帧中人脸图像的N＝32个人脸关键点
(2.1)、利用回归方法实现当前人脸图像中的人脸对齐
设第k个人脸关键点在正常人脸形状上的坐标为在当前人脸图像中的坐标为通过回归的方法，将回归到上实现人脸对齐；
其中，表示第k个人脸关键点在正常人脸形状上所对应的SIFT特征，h()表示非线性特征提取函数，表示第k个人脸关键点在正常人脸形状上的坐标位置；Δxk表示第k个人脸关键点在正常人脸形状上和当前人脸图像上的坐标差值；|| ||2表示求二范数；
(2.2)、在对齐后的当前人脸图像中提取人脸关键点
其中，φk-1＝h(d(xk-1))是上一组人脸关键点提取出的SIFT特征，H、Jh分别是xk-1的海森矩阵和雅可比矩阵；
(2.3)、SDM方法使用梯度下降向量Rk和重缩放因子bk更新xk，使xk成功收敛为得到第k个人脸关键点坐标；
xk＝xk-1+Rk-1φk-1+bk-1
同理，按照上述方法依次提取出当前帧中剩余N-1人脸关键点坐标；
(2.4)、将32个人脸关键点用向量表示为N＝(n1,n2,…,n32)
(3)、对提取的N＝32个人脸关键点进行标注，其中，将n1～n6个人脸关键点标注为左眼关键点，将n7～n12个人脸关键点标注为右眼关键点，将n13～n32个人脸关键点标注为嘴部关键点；
(4)、根据标准三维模型与二维投影之间的关系，将倾斜的头像进行矫正
其中，(α,β,γ)表示标准三维模型中人脸姿态的三个旋转角度，qk表示当前人脸图像中第k个人脸关键点的位置向量，pk表示标准三维模型中第k个人脸关键点的位置向量，R代表旋转矩阵，τ为空间偏移向量，c为伸缩因子；
其中，旋转矩阵R三个矩阵相乘得到：
(5)、根据左右眼关键点之间距离判断是否闭合
(5.1)、根据左右眼关键点的坐标位置，分别计算出左、右眼两个眼角关键点间的距离d1、d2，以及左、右眼四个眼睑关键点间的距离，其中，左眼中上下对称的两组眼睑关键点间的距离为d3、d4，右眼中上下对称的两组眼睑关键点间的距离为d5、d6；
(5.2)、判断左眼是否闭合：用左眼中眼角关键点间距离d1除以眼睑关键点间距离d3、d4之和，得到比值Δd1，再将Δd1与左眼闭合阈值T1＝3.3比较，如果Δd1＞T1，则表明左左眼闭合，反正则表示左眼未闭合；
(5.3)、判断右眼是否闭合：用右眼中眼角关键点间距离d2除以眼睑关键点间距离d5、d6之和，得到比值Δd2，再将Δd2与右眼闭合阈值T2＝3.4比较，如果Δd1＞T2，则表明右眼闭合，反正则表示右眼未闭合；
(6)、根据嘴部关键点之间距离判断是否闭合
在嘴部关键点中，选取上、下嘴唇正中间各一个关键点，并计算这两个关键点间距离d；再将距离d与嘴部开合度阈值ζ＝40比较，如果d＞ζ，表示嘴部张开程度大于正常情况，反正则表示嘴部闭合或正常张嘴；
(7)、重复步骤(2)～(6)，直到处理完位时间t内视频流中的所有帧图像；
(8)、利用PECLOS方法来检测是否处于疲劳状态
在单位时间t内，以每一分钟为单位，利用PECLOS方法统计一分钟内驾驶员左右眼睛闭合次数，以及眼睛闭合时所占的时间比例，如果每分钟内左右眼睛闭合次数在10次以内，且眼睛闭合时所占的时间比例在4s以内，则判定该驾驶员在本分钟为正常眨眼，否则判定该驾驶员在本分钟内为疲劳驾驶；如果单位时间t内疲劳驾驶的分钟数大于阈值σ，则判定该驾驶员在该时间段t内为疲劳状态；
利用PECLOS方法统计一分钟内驾驶员嘴部张开程度大于正常情况的次数，以及嘴部张开程度大于正常情况时所占的时间比例，如果嘴部张开程度大于正常情况的次数在2次以内，且嘴部张开程度大于正常情况时所占的时间比例在2s以内，则判定该驾驶员在本分钟为正常张嘴，否则判定该驾驶员在本分钟内为疲劳驾驶；如果单位时间t内疲劳驾驶的分钟数大于阈值ρ，则判定该驾驶员在该时间段t内为疲劳状态。
2.根据权利要求1所述的基于人脸关键点定位的面部疲劳检测方法，其特征在于，所述步骤(2)中，对32个人脸关键点进行标注的具体方法为：
在左眼关键点中，n1、n4为左眼两眼角关键点，n2、n3为左眼上眼睑两关键点，n5、n6为左眼下眼睑两关键点，n2、n3和n5、n6关于n1、n4连成的直线对称；
在右眼关键点中，n7、n10为右眼两眼角关键点，n8、n9为右眼上眼睑两关键点，n11、n12为右眼下眼睑两关键点，n8、n9和n11、n12关于n7、n10连成的直线对称；
在嘴部关键点中，n13、n22为嘴角两关键点，n14～n21为上嘴唇8个关键点，n23～n32为下嘴唇10个关键点，上下嘴唇中的关键点等距离均匀分布。
3.根据权利要求1所述的基于人脸关键点定位的面部疲劳检测方法，其特征在于，所述步骤(8)中，眼睛闭合时所占的时间比例的统计方法为：眼睛闭合时所占的时间比例＝检测时间段内眼睛闭合帧数/检测时间段内总帧数×100％；嘴部张开程度大于正常情况时所占的时间比例的统计方法为：嘴部张开程度大于正常情况时所占的时间比例＝检测时间段内嘴部张开程度大于正常情况时的帧数/检测时间段内总帧数×100％。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810129392.XA CN108460345A (zh) | 2018-02-08 | 2018-02-08 | 一种基于人脸关键点定位的面部疲劳检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810129392.XA CN108460345A (zh) | 2018-02-08 | 2018-02-08 | 一种基于人脸关键点定位的面部疲劳检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108460345A true CN108460345A (zh) | 2018-08-28 |
Family
ID=63238896
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810129392.XA Pending CN108460345A (zh) | 2018-02-08 | 2018-02-08 | 一种基于人脸关键点定位的面部疲劳检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108460345A (zh) |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109271923A (zh) * | 2018-09-14 | 2019-01-25 | 曜科智能科技（上海）有限公司 | 人脸姿态检测方法、系统、电子终端及存储介质 |
| CN109376684A (zh) * | 2018-11-13 | 2019-02-22 | 广州市百果园信息技术有限公司 | 一种人脸关键点检测方法、装置、计算机设备和存储介质 |
| CN109447025A (zh) * | 2018-11-08 | 2019-03-08 | 北京旷视科技有限公司 | 疲劳检测方法、装置、系统及计算机可读存储介质 |
| CN109784313A (zh) * | 2019-02-18 | 2019-05-21 | 上海骏聿数码科技有限公司 | 一种眨眼检测方法及装置 |
| CN109919049A (zh) * | 2019-02-21 | 2019-06-21 | 北京以萨技术股份有限公司 | 基于深度学习人脸姿态估计的疲劳检测方法 |
| CN110008930A (zh) * | 2019-04-16 | 2019-07-12 | 北京字节跳动网络技术有限公司 | 用于识别动物面部状态的方法和装置 |
| CN110020632A (zh) * | 2019-04-12 | 2019-07-16 | 李守斌 | 一种基于深度学习的人脸识别用于检测疲劳驾驶的方法 |
| CN110263663A (zh) * | 2019-05-29 | 2019-09-20 | 南京师范大学 | 一种基于多维面部特征的驾驶员多级疲劳度识别方法 |
| CN110491091A (zh) * | 2019-09-08 | 2019-11-22 | 湖北汽车工业学院 | 一种商用车驾驶员疲劳状态监测预警系统 |
| CN110956068A (zh) * | 2019-05-29 | 2020-04-03 | 初速度（苏州）科技有限公司 | 一种基于人眼状态识别的疲劳检测方法及装置 |
| CN111126347A (zh) * | 2020-01-06 | 2020-05-08 | 腾讯科技（深圳）有限公司 | 人眼状态识别方法、装置、终端及可读存储介质 |
| WO2020119665A1 (zh) * | 2018-12-10 | 2020-06-18 | 深圳先进技术研究院 | 面肌训练方法、装置及电子设备 |
| WO2020140723A1 (zh) * | 2018-12-30 | 2020-07-09 | 广州市百果园信息技术有限公司 | 人脸动态表情的检测方法、装置、设备及存储介质 |
| CN112016429A (zh) * | 2020-08-21 | 2020-12-01 | 高新兴科技集团股份有限公司 | 基于火车驾驶室场景下疲劳驾驶检测方法 |
| WO2020237941A1 (zh) * | 2019-05-29 | 2020-12-03 | 初速度（苏州）科技有限公司 | 一种基于眼睑特征信息的人员状态检测方法及装置 |
| CN112084821A (zh) * | 2019-06-14 | 2020-12-15 | 初速度（苏州）科技有限公司 | 一种基于多面部信息的人员状态检测方法及装置 |
| CN112241645A (zh) * | 2019-07-16 | 2021-01-19 | 广州汽车集团股份有限公司 | 一种疲劳驾驶检测方法及其系统、电子设备 |
| CN112347860A (zh) * | 2020-10-16 | 2021-02-09 | 福建天泉教育科技有限公司 | 基于梯度的眼部状态检测方法及计算机可读存储介质 |
| CN113627316A (zh) * | 2021-08-06 | 2021-11-09 | 南通大学 | 一种人脸眼睛部位定位及视线估计方法 |
| CN113673466A (zh) * | 2021-08-27 | 2021-11-19 | 深圳市爱深盈通信息技术有限公司 | 基于人脸关键点提取大头贴的方法、电子设备及存储介质 |
| CN113780125A (zh) * | 2021-08-30 | 2021-12-10 | 武汉理工大学 | 一种驾驶员多特征融合的疲劳状态检测方法及装置 |
| CN114677734A (zh) * | 2022-03-25 | 2022-06-28 | 马上消费金融股份有限公司 | 关键点的标注方法及装置 |
| CN115861984A (zh) * | 2023-02-27 | 2023-03-28 | 联友智连科技有限公司 | 一种驾驶员疲劳检测方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104766059A (zh) * | 2015-04-01 | 2015-07-08 | 上海交通大学 | 快速精确的人眼定位方法及基于人眼定位的视线估计方法 |
| CN105096528A (zh) * | 2015-08-05 | 2015-11-25 | 广州云从信息科技有限公司 | 一种疲劳驾驶检测方法及系统 |
| CN106372621A (zh) * | 2016-09-30 | 2017-02-01 | 防城港市港口区高创信息技术有限公司 | 基于人脸识别的疲劳驾驶检测方法 |
| US20170119298A1 (en) * | 2014-09-02 | 2017-05-04 | Hong Kong Baptist University | Method and Apparatus for Eye Gaze Tracking and Detection of Fatigue |
| CN106909879A (zh) * | 2017-01-11 | 2017-06-30 | 开易（北京）科技有限公司 | 一种疲劳驾驶检测方法及系统 |
| CN107016370A (zh) * | 2017-04-10 | 2017-08-04 | 电子科技大学 | 一种基于数据增强的部分遮挡人脸识别方法 |
-
2018
- 2018-02-08 CN CN201810129392.XA patent/CN108460345A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170119298A1 (en) * | 2014-09-02 | 2017-05-04 | Hong Kong Baptist University | Method and Apparatus for Eye Gaze Tracking and Detection of Fatigue |
| CN104766059A (zh) * | 2015-04-01 | 2015-07-08 | 上海交通大学 | 快速精确的人眼定位方法及基于人眼定位的视线估计方法 |
| CN105096528A (zh) * | 2015-08-05 | 2015-11-25 | 广州云从信息科技有限公司 | 一种疲劳驾驶检测方法及系统 |
| CN106372621A (zh) * | 2016-09-30 | 2017-02-01 | 防城港市港口区高创信息技术有限公司 | 基于人脸识别的疲劳驾驶检测方法 |
| CN106909879A (zh) * | 2017-01-11 | 2017-06-30 | 开易（北京）科技有限公司 | 一种疲劳驾驶检测方法及系统 |
| CN107016370A (zh) * | 2017-04-10 | 2017-08-04 | 电子科技大学 | 一种基于数据增强的部分遮挡人脸识别方法 |
Non-Patent Citations (5)
| Title |
|---|
| F. DE LA TORRE 等: "Intraface", 《AUTOMATIC FACE ANDGESTURE RECOGNITION 2015》 * |
| RUIJIAO ZHENG 等: "Fatigue Detection Based on Fast Facial Feature Analysis", 《ADVANCES IN MULTIMEDIA INFORMATION PROCESSING--PCM 2015》 * |
| ZHONG-QIU ZHAO 等: "A Real-Time Head Pose Estimation Using Adaptive POSIT Based on Modified Supervised Descent Method", 《ICIC 2016: INTELLIGENT COMPUTING THEORIES AND APPLICATION》 * |
| 武春生: "基于面部特征分析的疲劳驾驶检测算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 甘路涛: "基于面部表情的驾驶员状态分析方法研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 * |
Cited By (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109271923A (zh) * | 2018-09-14 | 2019-01-25 | 曜科智能科技（上海）有限公司 | 人脸姿态检测方法、系统、电子终端及存储介质 |
| CN109447025A (zh) * | 2018-11-08 | 2019-03-08 | 北京旷视科技有限公司 | 疲劳检测方法、装置、系统及计算机可读存储介质 |
| CN109447025B (zh) * | 2018-11-08 | 2021-06-22 | 北京旷视科技有限公司 | 疲劳检测方法、装置、系统及计算机可读存储介质 |
| CN109376684A (zh) * | 2018-11-13 | 2019-02-22 | 广州市百果园信息技术有限公司 | 一种人脸关键点检测方法、装置、计算机设备和存储介质 |
| US11727663B2 (en) | 2018-11-13 | 2023-08-15 | Bigo Technology Pte. Ltd. | Method and apparatus for detecting face key point, computer device and storage medium |
| WO2020119665A1 (zh) * | 2018-12-10 | 2020-06-18 | 深圳先进技术研究院 | 面肌训练方法、装置及电子设备 |
| WO2020140723A1 (zh) * | 2018-12-30 | 2020-07-09 | 广州市百果园信息技术有限公司 | 人脸动态表情的检测方法、装置、设备及存储介质 |
| CN109784313A (zh) * | 2019-02-18 | 2019-05-21 | 上海骏聿数码科技有限公司 | 一种眨眼检测方法及装置 |
| CN109919049A (zh) * | 2019-02-21 | 2019-06-21 | 北京以萨技术股份有限公司 | 基于深度学习人脸姿态估计的疲劳检测方法 |
| CN110020632A (zh) * | 2019-04-12 | 2019-07-16 | 李守斌 | 一种基于深度学习的人脸识别用于检测疲劳驾驶的方法 |
| CN110008930A (zh) * | 2019-04-16 | 2019-07-12 | 北京字节跳动网络技术有限公司 | 用于识别动物面部状态的方法和装置 |
| WO2020237941A1 (zh) * | 2019-05-29 | 2020-12-03 | 初速度（苏州）科技有限公司 | 一种基于眼睑特征信息的人员状态检测方法及装置 |
| CN110956068B (zh) * | 2019-05-29 | 2022-06-10 | 魔门塔(苏州)科技有限公司 | 一种基于人眼状态识别的疲劳检测方法及装置 |
| CN110263663A (zh) * | 2019-05-29 | 2019-09-20 | 南京师范大学 | 一种基于多维面部特征的驾驶员多级疲劳度识别方法 |
| CN110956068A (zh) * | 2019-05-29 | 2020-04-03 | 初速度（苏州）科技有限公司 | 一种基于人眼状态识别的疲劳检测方法及装置 |
| WO2020237940A1 (zh) * | 2019-05-29 | 2020-12-03 | 初速度（苏州）科技有限公司 | 一种基于人眼状态识别的疲劳检测方法及装置 |
| CN112084821A (zh) * | 2019-06-14 | 2020-12-15 | 初速度（苏州）科技有限公司 | 一种基于多面部信息的人员状态检测方法及装置 |
| CN112084821B (zh) * | 2019-06-14 | 2022-06-07 | 魔门塔(苏州)科技有限公司 | 一种基于多面部信息的人员状态检测方法及装置 |
| CN112241645A (zh) * | 2019-07-16 | 2021-01-19 | 广州汽车集团股份有限公司 | 一种疲劳驾驶检测方法及其系统、电子设备 |
| CN110491091A (zh) * | 2019-09-08 | 2019-11-22 | 湖北汽车工业学院 | 一种商用车驾驶员疲劳状态监测预警系统 |
| CN111126347B (zh) * | 2020-01-06 | 2024-02-20 | 腾讯科技（深圳）有限公司 | 人眼状态识别方法、装置、终端及可读存储介质 |
| CN111126347A (zh) * | 2020-01-06 | 2020-05-08 | 腾讯科技（深圳）有限公司 | 人眼状态识别方法、装置、终端及可读存储介质 |
| CN112016429A (zh) * | 2020-08-21 | 2020-12-01 | 高新兴科技集团股份有限公司 | 基于火车驾驶室场景下疲劳驾驶检测方法 |
| CN112347860B (zh) * | 2020-10-16 | 2023-04-28 | 福建天泉教育科技有限公司 | 基于梯度的眼部状态检测方法及计算机可读存储介质 |
| CN112347860A (zh) * | 2020-10-16 | 2021-02-09 | 福建天泉教育科技有限公司 | 基于梯度的眼部状态检测方法及计算机可读存储介质 |
| CN113627316A (zh) * | 2021-08-06 | 2021-11-09 | 南通大学 | 一种人脸眼睛部位定位及视线估计方法 |
| CN113673466A (zh) * | 2021-08-27 | 2021-11-19 | 深圳市爱深盈通信息技术有限公司 | 基于人脸关键点提取大头贴的方法、电子设备及存储介质 |
| CN113780125A (zh) * | 2021-08-30 | 2021-12-10 | 武汉理工大学 | 一种驾驶员多特征融合的疲劳状态检测方法及装置 |
| CN114677734A (zh) * | 2022-03-25 | 2022-06-28 | 马上消费金融股份有限公司 | 关键点的标注方法及装置 |
| CN114677734B (zh) * | 2022-03-25 | 2024-02-02 | 马上消费金融股份有限公司 | 关键点的标注方法及装置 |
| CN115861984A (zh) * | 2023-02-27 | 2023-03-28 | 联友智连科技有限公司 | 一种驾驶员疲劳检测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108460345A (zh) | 一种基于人脸关键点定位的面部疲劳检测方法 | |
| CN109308445B (zh) | 一种基于信息融合的固定岗位人员疲劳检测方法 | |
| CN104616438B (zh) | 一种用于疲劳驾驶检测的打哈欠动作检测方法 | |
| CN104766059B (zh) | 快速精确的人眼定位方法及基于人眼定位的视线估计方法 | |
| CN104688251A (zh) | 一种多姿态下的疲劳及非正常姿态驾驶检测方法 | |
| CN102122357B (zh) | 一种基于人眼睁闭状态的疲劳检测方法 | |
| Batista | A drowsiness and point of attention monitoring system for driver vigilance | |
| CN108053615A (zh) | 基于微表情的驾驶员疲劳驾驶状态检测方法 | |
| CN110197169A (zh) | 一种非接触式的学习状态监测系统及学习状态检测方法 | |
| CN106250801A (zh) | 基于人脸检测和人眼状态识别的疲劳检测方法 | |
| CN105117681A (zh) | 基于安卓的多特征疲劳实时检测方法 | |
| CN102938058A (zh) | 面向平安城市的视频主动智能感知方法及系统 | |
| Liu et al. | A practical driver fatigue detection algorithm based on eye state | |
| CN107103309A (zh) | 一种基于图像识别的学生坐姿检测与纠正系统 | |
| CN105260705A (zh) | 一种适用于多姿态下的驾驶人员接打电话行为检测方法 | |
| CN109063686A (zh) | 一种汽车驾驶员疲劳检测方法及系统 | |
| US20230237694A1 (en) | Method and system for detecting children's sitting posture based on face recognition of children | |
| CN101539989A (zh) | 基于人脸检测的错误阅读姿势检测方法 | |
| US20230360433A1 (en) | Estimation device, estimation method, and storage medium | |
| CN112633111A (zh) | 一种安全帽佩戴检测方法、装置及存储介质 | |
| CN103544478A (zh) | 一种全方位人脸检测的方法及系统 | |
| CN110263663A (zh) | 一种基于多维面部特征的驾驶员多级疲劳度识别方法 | |
| CN109192314A (zh) | 一种基于多示例学习的颈椎健康评分装置及其应用 | |
| Liu et al. | Design and implementation of multimodal fatigue detection system combining eye and yawn information | |
| CN107742112A (zh) | 一种基于图像的人脸防伪方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180828 |
|
| RJ01 | Rejection of invention patent application after publication |