CN109271875B - 一种基于眉部和眼部关键点信息的疲劳检测方法 - Google Patents

一种基于眉部和眼部关键点信息的疲劳检测方法 Download PDF

Info

Publication number
CN109271875B
CN109271875B CN201810971720.0A CN201810971720A CN109271875B CN 109271875 B CN109271875 B CN 109271875B CN 201810971720 A CN201810971720 A CN 201810971720A CN 109271875 B CN109271875 B CN 109271875B
Authority
CN
China
Prior art keywords
eye
microprocessor
feature points
opening
driver
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810971720.0A
Other languages
English (en)
Other versions
CN109271875A (zh
Inventor
刘延飞
姜柯
李琪
田琦
王�忠
姚鹏
王杰铃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rocket Force University of Engineering of PLA
Original Assignee
Rocket Force University of Engineering of PLA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rocket Force University of Engineering of PLA filed Critical Rocket Force University of Engineering of PLA
Priority to CN201810971720.0A priority Critical patent/CN109271875B/zh
Publication of CN109271875A publication Critical patent/CN109271875A/zh
Application granted granted Critical
Publication of CN109271875B publication Critical patent/CN109271875B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种基于眉部和眼部关键点信息的疲劳检测方法，包括步骤：一、驾驶员人脸图像的采集；二、驾驶员眉部和眼部之间开合度的获取；三、驾驶员疲劳状态的判断。本发明方法步骤简单，结合眉部和眼部特征点，得到驾驶员眉部和眼部之间开合度，并对眉部和眼部之间开合度进行判断，实现眼睛开闭状态的检测，可有效提高眼睛开闭状态检测的准确性，进而实现驾驶员疲劳状态检测的准确性，实用性强。

Description

一种基于眉部和眼部关键点信息的疲劳检测方法
技术领域
本发明属于疲劳检测技术领域，具体涉及一种基于眉部和眼部关键点信息的疲劳检测方法。
背景技术
基于视觉的眼睛开闭状态检测是疲劳驾驶检测的一种常用方案，该方案通过分析一定时段内驾驶员的眼睛开闭状态变化来推测该驾驶员的疲劳状态。其关键在于如何实时准确地检测到驾驶员的眨眼频率，降低误检测概率。现在的眼睛开闭状态检测方法中，一种较通常的做法是提取眼睛上下眼睑边缘关键点，并以上下眼睑关键点的距离变化作为眼睛开闭的状态判断。当驾驶员眼睛较小，即其上下眼睑边缘在睁眼和闭眼时距离变化较小时，存在较高的检测误差，严重时甚至会得不到驾驶员的眼睛开闭状态，使得疲劳检测功能失效。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于眉部和眼部关键点信息的疲劳检测方法，其方法步骤简单，结合眉部和眼部特征点，得到驾驶员眉部和眼部之间开合度，并对眉部和眼部之间开合度进行判断，实现眼睛开闭状态的检测，可有效提高眼睛开闭状态检测的准确性，进而实现驾驶员疲劳状态检测的准确性，实用性强，便于推广使用。
为解决上述技术问题，本发明采用的技术方案是：一种基于眉部和眼部关键点信息的疲劳检测方法，该方法所采用的装置包括微处理器以及与微处理器相接的液晶触摸屏和用于采集驾驶员人脸图像的摄像头，所述微处理器的输入端接有报警模式选择按键、手动开补光按键、手动关补光按键和自动补光按键，以及用于检测驾驶脸部所处环境光照度的光照度传感器，所述微处理器的输出端接有语音报警模块、闪烁灯报警模块和补光灯，其特征在于，该方法包括以下步骤：
步骤一、驾驶员人脸图像的采集：
摄像头按照预先设定的采样时间对驾驶过程中的驾驶员人脸图像进行采集，并将每一个采样时刻所采集到的驾驶过程中的驾驶员人脸图像称作疲劳测试图像，则将疲劳测试图像发送至微处理器；
步骤二、驾驶员眉部和眼部之间开合度的获取：
微处理器按照采样时间先后顺序对步骤一中各个采样时刻所采集到的疲劳测试图像分别进行处理，获取驾驶员眉部和眼部之间开合度，且对各个采样时刻所采集到的疲劳测试图像分别进行处理获取驾驶员眉部和眼部之间开合度的方法均相同，任一个采样时刻所采集的疲劳测试图像进行处理时，包括以下步骤：
步骤201、微处理器调取级联分类器模块对当前采样时刻所采集到的疲劳测试图像进行人脸检测，当前采样时刻所采集到的疲劳测试图像中不存在人脸图像区域时，执行步骤202；当前采样时刻所采集到的疲劳测试图像中存在人脸图像区域时，执行步骤203；
步骤202、重复步骤201对下一个采样时刻所采集到的疲劳测试图像进行人脸检测；
步骤203、微处理器对当前采样时刻所采集到的疲劳测试图像进行处理，具体过程如下：
步骤2031、微处理器根据基于点分布模型的主动形状模型算法对当前采样时刻所采集到的疲劳测试图像进行人脸特征点提取，并获取人脸特征点；其中，人脸特征点中包括人脸整体区域的特征点、左眉特征点、右眉特征点、鼻子特征点、左眼特征点和右眼特征点和嘴部特征点，且左眉特征点和右眉特征点的数量均为5个，左眼特征点中左眼上眼睑的特征点和左眼下眼睑的特征点以及右眼特征点中右眼上眼睑的特征点和左眼下眼睑的特征点的数量均为2个；
步骤2032、微处理器调用眼部提取模块对步骤2031中的人脸特征点进行眼部特征点提取，获得左眼特征点和右眼特征点；并采用微处理器调用像素坐标模块对左眼特征点的像素坐标和右眼特征点的像素坐标提取，获得左眼特征点的像素坐标和右眼特征点的像素坐标；
步骤2033、微处理器调用眉部提取模块对步骤2031中的人脸特征点进行眉部特征点提取，获得左眉特征点和右眉特征点；并采用微处理器调用像素坐标模块对左眉特征点的像素坐标和右眉特征点的像素坐标提取，获得左眉特征点的像素坐标和右眉特征点的像素坐标；
步骤2034、微处理器将左眉中部特征点的像素坐标记作Pzm,i(uzm,i,vzm,i)，微处理器将右眉中部特征点的像素坐标记作Pym,i(uym,i,vym,i)；其中，i表示当前采样时刻所采集到的疲劳测试图像的序号，且i为正整数；
步骤2035、微处理器将左眼上眼睑上的两个特征点的像素坐标分别记作和微处理器将左眼下眼睑上的两个特征点的像素坐标分别记作和微处理器将右眼上眼睑上的两个特征点的像素坐标分别记作和微处理器将右眼下眼睑上的两个特征点的像素坐标分别记作和
步骤2036、微处理器根据公式得到左眼上眼睑中部的像素坐标Pzsz,i(uzsz,i,vzsz,i)，微处理器根据公式得到左眼下眼睑中部的像素坐标Pzxz,i(uzxz,i,vzxz,i)；微处理器根据公式得到右眼上眼睑中部的像素坐标Pysz,i(uysz,i,vysz,i)，微处理器根据公式得到右眼下眼睑中部的像素坐标Pyxz,i(uyxz,i,vyxz,i)；
步骤2037、微处理器根据公式得到左眉距左眼上眼睑的距离dzs,i，微处理器根据公式得到左眼上下眼睑的距离dzx,i；微处理器并根据公式得到当前采样时刻所采集到的疲劳测试图像中左眉与左眼之间的开合度λz,i；
步骤2038、微处理器根据公式得到右眉距右眼上眼睑的距离dys,i，微处理器根据公式得到右眼上下眼睑的距离dyx,i；微处理器并根据公式得到当前采样时刻所采集到的疲劳测试图像中右眉与右眼之间的开合度λy,i；
步骤三、驾驶员疲劳状态的判断：
步骤301、微处理器根据判断条件进行判断，当成立，执行步骤302；否则，执行步骤303；其中，λzbs表示左眼闭眼设定值，λybs表示右眼闭眼设定值；
步骤302、当成立，说明驾驶员闭眼，则闭眼次数Nb加1；其中，闭眼次数Nb的初始值为零；
步骤303、微处理器根据判断条件进行判断，当成立，执行步骤304；否则，执行步骤305；其中，λzzs表示左眼睁眼设定值，λyzs表示右眼睁眼设定值，且λzbs>λzzs，λybs>λyzs；
步骤304、当成立，说明驾驶员睁眼，则睁眼次数Nz加1；其中，睁眼次数Nz的初始值为零；
步骤305、微处理器对下一帧疲劳测试图像中左眉与左眼之间的开合度λz,i+1和下一帧疲劳测试图像中右眉与右眼之间的开合度λy,i+1进行判断，直至达到预先设定的判断时间，获得判断时间内睁眼总次数Nzc和闭眼总次数Nbc；
步骤306、微处理器根据判断条件进行判断，当成立时，执行步骤307；否则，执行步骤308；
步骤307、当成立时，说明驾驶员闭眼处于疲劳状态，微处理器控制语音报警模块进行语音报警，同时，微处理器控制闪烁灯报警模块闪烁报警；
步骤308、微处理器对下一个判断时间内睁眼总次数与闭眼总次数之比进行判断。
上述的一种基于眉部和眼部关键点信息的疲劳检测方法，其特征在于：步骤一中采集驾驶过程中的驾驶员人脸图像之前，先获取左眼闭眼设定值λzbs和右眼闭眼设定值λybs，具体过程如下：
步骤A、驾驶员正常闭眼人脸图像的采集及上传：摄像头按照预先设定的采样时间对驾驶员坐在驾驶位置时驾驶员正常闭眼的人脸图像进行采集，并将每一个采样时刻所采集到的驾驶员正常闭眼的人脸图像称作正常闭眼图像，则将正常闭眼图像发送至微处理器；其中，驾驶员正常闭眼的时间为2秒；
步骤B、直至摄像头采集到的正常闭眼图像的帧数达到预先设定的正常闭眼图像设定总帧数Mb；
步骤C、驾驶员正常闭眼时眉部和眼部之间开合度的获取：微处理器对步骤A中各帧正常闭眼图像分别进行处理，获取驾驶员正常闭眼时眉部和眼部之间开合度，且对各帧正常闭眼图像分别进行处理获取驾驶员正常闭眼时眉部和眼部之间开合度的方法均相同，任一帧正常闭眼图像进行处理时，包括以下步骤：
步骤C01、按照步骤201至步骤203所述的方法，对正常闭眼图像进行处理，得到驾驶员正常闭眼时左眉与左眼之间的开合度和驾驶员正常闭眼时右眉与右眼之间的开合度其中，j表示正常闭眼图像按照采样时间先后顺序的帧数序号，且j为1～Mb的正整数；
步骤C02、多次重复步骤C01，获得多个驾驶员正常闭眼时左眉与左眼之间的开合度和驾驶员正常闭眼时右眉与右眼之间的开合度；
步骤D、左眼闭眼开合度均值和右眼闭眼开合度均值的获取：
步骤D01、微处理器根据公式得到左眼闭眼开合度均值微处理器根据公式得到右眼闭眼开合度均值
步骤D02、微处理器根据公式得到左眼闭眼设定值λzbs，微处理器根据公式得到右眼闭眼设定值λybs；其中，βb表示闭眼因子，且0.8≤βb<1；其中，
上述的一种基于眉部和眼部关键点信息的疲劳检测方法，其特征在于：步骤一中采集驾驶过程中的驾驶员人脸图像之前，先获取左眼睁眼设定值λzzs和右眼睁眼设定值λyzs，具体过程如下：
步骤Ⅰ、驾驶员正常睁眼人脸图像的采集及上传：摄像头按照预先设定的采样时间对驾驶员坐在驾驶位置时驾驶员正常睁眼的人脸图像进行采集，并将每一个采样时刻所采集到的驾驶员正常睁眼的人脸图像称作正常睁眼图像，则将正常睁眼图像发送至微处理器；其中，驾驶员正常睁眼的时间为2秒；
步骤Ⅱ、直至摄像头采集到的正常睁眼图像的帧数达到预先设定的正常睁眼图像设定总帧数Mz；
步骤Ⅲ、驾驶员正常睁眼时眉部和眼部之间开合度的获取：微处理器对步骤Ⅰ中各帧正常睁眼图像分别进行处理，获取驾驶员正常睁眼时眉部与眼部之间开合度，且对各帧正常睁眼图像分别进行处理获取驾驶员正常睁眼时眉部与眼部之间开合度的方法均相同，任一帧正常睁眼图像进行处理时，包括以下步骤：
步骤Ⅲ-1、按照步骤201至步骤203所述的方法，对正常睁眼图像进行处理，得到驾驶员正常睁眼时左眉与左眼之间的开合度和驾驶员正常睁眼时右眉与右眼之间的开合度其中，j′表示正常睁眼图像按照采样时间先后顺序的帧数序号，且j′为1～Mz的正整数；
步骤Ⅲ-2、多次重复步骤Ⅲ-1，获得多个驾驶员正常睁眼时左眉与左眼之间的开合度和驾驶员正常睁眼时右眉与右眼之间的开合度；
步骤Ⅳ、左眼睁眼开合度均值和右眼睁眼开合度均值的获取：
步骤Ⅳ-1、微处理器根据公式得到左眼睁眼开合度均值微处理器根据公式得到右眼睁眼开合度均值
步骤Ⅳ-2、微处理器根据公式得到左眼睁眼设定值λzzs，微处理器根据公式得到右眼睁眼设定值λyzs；其中，βb表示睁眼因子，且1≤βz<1.2；其中，
上述的一种基于眉部和眼部关键点信息的疲劳检测方法，其特征在于：步骤一中所述预先设定的采样时间为0.01秒～0.033秒，步骤305中和步骤308中所述判断时间为2min～10min。
上述的一种基于眉部和眼部关键点信息的疲劳检测方法，其特征在于：步骤A中所述预先设定的采样时间为0.01秒～0.033秒，步骤B中正常闭眼图像设定总帧数Mb的取值范围为100～200。
上述的一种基于眉部和眼部关键点信息的疲劳检测方法，其特征在于：步骤Ⅰ中所述预先设定的采样时间为0.01秒～0.033秒，步骤Ⅱ中正常睁眼图像设定总帧数Mz的取值范围为100～200。
上述的一种基于眉部和眼部关键点信息的疲劳检测方法，其特征在于：所述级联分类器模块为基于Haar特征的Adaboost算法级联分类器；
步骤2031中基于点分布模型的主动形状模型算法采用Dlib库的人脸68点Landmark模型标记，所述人脸特征点的数量为68个，68人脸特征点分别为：
人脸整体区域的17个特征点，特征点编号依次为0～16；
右眉的5个特征点，特征点编号依次为17～21；
左眉的5个特征点，特征点编号依次为22～26；
鼻子的9个特征点，特征点编号依次为27～35；
右眼的6个特征点，特征点编号依次为36～41；
左眼的6个特征点，特征点编号依次为42～47；
嘴部的20个特征点，特征点编号依次为48～67。
上述的一种基于眉部和眼部关键点信息的疲劳检测方法，其特征在于：所述微处理器为单片机、FPGA微控制器、DSP微控制器或者ARM微控制器。
上述的一种基于眉部和眼部关键点信息的疲劳检测方法，其特征在于：所述摄像头为低照度宽动态摄像头，所述补光灯为LED补光灯。
本发明与现有技术相比具有以下优点：
1、本发明的疲劳检测方法步骤简单、实现方便且操作简便，不仅考虑眼部的特征点，而且考虑眉部的特征点，可以有效提高眼睛开闭差异不大的驾驶员的开闭状态检测准确性，提高了疲劳检测的可靠性。
2、所采用的疲劳检测方法操作简便且使用效果好，首先对驾驶过程中的驾驶员人脸图像进行采集，然后采用级联分类器模块对采集到的驾驶员人脸图像进行判断，当驾驶员人脸图像存在人脸图像区域时，则采用基于点分布模型的主动形状模型算法获取人脸特征点，进而获取眼部特征点和眉部特征点；其次，根据眼部特征点和眉部特征点获取驾驶员眉部和眼部之间开合度，最后，对驾驶员眉部和眼部之间开合度进行判断进而确定驾驶员是否处于疲劳状态，实现了驾驶员疲劳检测，且结合眉部和眼部关键点能准确检测眼睛开闭状态，实现疲劳准确检测。
3、所采用的疲劳检测方法中通过获取右眉与右眼之间的开合度与左眼睁眼设定值和左眼闭眼设定值进行判断左眼的开闭状态，且通过获取右眉与右眼之间的开合度与右眼睁眼设定值和右眼闭眼设定值进行判断右眼的开闭状态，从而能适应于驾驶员眼睛大小不相同的情况，提高准确度。
4、所采用的疲劳检测方法，无需对眼部进行霍夫变换圆形拟合检测眼的眨眼次数来判断疲劳，一方面，减少眼睛较小带来的误差，另一方面，运算量小，检测时间短。
综上所述，本发明方法步骤简单，结合眉部和眼部特征点，得到驾驶员眉部和眼部之间开合度，并对眉部和眼部之间开合度进行判断，实现眼睛开闭状态的检测，可有效提高眼睛开闭状态检测的准确性，进而实现驾驶员疲劳状态检测的准确性，实用性强。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的方法流程框图。
图2为本发明人脸特征点的示意图。
图3为本发明所采用装置的电路原理框图。
1—微处理器； 2—摄像头； 3—报警模式选择按键；
4—手动开补光按键； 5—手动关补光按键； 6—光照度传感器；
7—液晶触摸屏； 8—语音报警模块； 9—闪烁灯报警模块；
10—补光灯； 12—自动补光按键。
具体实施方式
如图1和图3所示，本发明该方法所采用的装置包括微处理器1以及与微处理器1相接的液晶触摸屏7和用于采集驾驶员人脸图像的摄像头2，所述微处理器1的输入端接有报警模式选择按键3、手动开补光按键4、手动关补光按键5和自动补光按键12，以及用于检测驾驶脸部所处环境光照度的光照度传感器6，所述微处理器1的输出端接有语音报警模块8、闪烁灯报警模块9和补光灯10，其特征在于，该方法包括以下步骤：
步骤一、驾驶员人脸图像的采集：
摄像头2按照预先设定的采样时间对驾驶过程中的驾驶员人脸图像进行采集，并将每一个采样时刻所采集到的驾驶过程中的驾驶员人脸图像称作疲劳测试图像，则将疲劳测试图像发送至微处理器1；
步骤二、驾驶员眉部和眼部之间开合度的获取：
微处理器1按照采样时间先后顺序对步骤一中各个采样时刻所采集到的疲劳测试图像分别进行处理，获取驾驶员眉部和眼部之间开合度，且对各个采样时刻所采集到的疲劳测试图像分别进行处理获取驾驶员眉部和眼部之间开合度的方法均相同，任一个采样时刻所采集的疲劳测试图像进行处理时，包括以下步骤：
步骤201、微处理器1调取级联分类器模块对当前采样时刻所采集到的疲劳测试图像进行人脸检测，当前采样时刻所采集到的疲劳测试图像中不存在人脸图像区域时，执行步骤202；当前采样时刻所采集到的疲劳测试图像中存在人脸图像区域时，执行步骤203；
步骤202、重复步骤201对下一个采样时刻所采集到的疲劳测试图像进行人脸检测；
步骤203、微处理器1对当前采样时刻所采集到的疲劳测试图像进行处理，具体过程如下：
步骤2031、微处理器1根据基于点分布模型的主动形状模型算法对当前采样时刻所采集到的疲劳测试图像进行人脸特征点提取，并获取人脸特征点；其中，人脸特征点中包括人脸整体区域的特征点、左眉特征点、右眉特征点、鼻子特征点、左眼特征点和右眼特征点和嘴部特征点，且左眉特征点和右眉特征点的数量均为5个，左眼特征点中左眼上眼睑的特征点和左眼下眼睑的特征点以及右眼特征点中右眼上眼睑的特征点和左眼下眼睑的特征点的数量均为2个；
步骤2032、微处理器1调用眼部提取模块对步骤2031中的人脸特征点进行眼部特征点提取，获得左眼特征点和右眼特征点；并采用微处理器1调用像素坐标模块对左眼特征点的像素坐标和右眼特征点的像素坐标提取，获得左眼特征点的像素坐标和右眼特征点的像素坐标；
步骤2033、微处理器1调用眉部提取模块对步骤2031中的人脸特征点进行眉部特征点提取，获得左眉特征点和右眉特征点；并采用微处理器1调用像素坐标模块对左眉特征点的像素坐标和右眉特征点的像素坐标提取，获得左眉特征点的像素坐标和右眉特征点的像素坐标；
步骤2034、微处理器1将左眉中部特征点的像素坐标记作Pzm,i(uzm,i,vzm,i)，微处理器1将右眉中部特征点的像素坐标记作Pym,i(uym,i,vym,i)；其中，i表示当前采样时刻所采集到的疲劳测试图像的序号，且i为正整数；其中，左眉中部特征点为24编号的特征点，右眉中部特征点为19编号的特征点；
步骤2035、微处理器1将左眼上眼睑上的两个特征点的像素坐标分别记作和微处理器1将左眼下眼睑上的两个特征点的像素坐标分别记作和微处理器1将右眼上眼睑上的两个特征点的像素坐标分别记作和微处理器1将右眼下眼睑上的两个特征点的像素坐标分别记作和其中，左眼上眼睑上的两个特征点为43和44编号的特征点，左眼下眼睑上的两个特征点为47和46编号的特征点，右眼上眼睑上的两个特征点为37和38编号的特征点，右眼下眼睑上的两个特征点为41和42编号的特征点；
步骤2036、微处理器1根据公式得到左眼上眼睑中部的像素坐标Pzsz,i(uzsz,i,vzsz,i)，微处理器1根据公式得到左眼下眼睑中部的像素坐标Pzxz,i(uzxz,i,vzxz,i)；微处理器1根据公式得到右眼上眼睑中部的像素坐标Pysz,i(uysz,i,vysz,i)，微处理器1根据公式得到右眼下眼睑中部的像素坐标Pyxz,i(uyxz,i,vyxz,i)；
步骤2037、微处理器1根据公式得到左眉距左眼上眼睑的距离dzs,i，微处理器1根据公式得到左眼上下眼睑的距离dzx,i；微处理器1并根据公式得到当前采样时刻所采集到的疲劳测试图像中左眉与左眼之间的开合度λz,i；
步骤2038、微处理器1根据公式得到右眉距右眼上眼睑的距离dys,i，微处理器1根据公式得到右眼上下眼睑的距离dyx,i；微处理器1并根据公式得到当前采样时刻所采集到的疲劳测试图像中右眉与右眼之间的开合度λy,i；
步骤三、驾驶员疲劳状态的判断：
步骤301、微处理器1根据判断条件进行判断，当成立，执行步骤302；否则，执行步骤303；其中，λzbs表示左眼闭眼设定值，λybs表示右眼闭眼设定值；
步骤302、当成立，说明驾驶员闭眼，则闭眼次数Nb加1；其中，闭眼次数Nb的初始值为零；
步骤303、微处理器1根据判断条件进行判断，当成立，执行步骤304；否则，执行步骤305；其中，λzzs表示左眼睁眼设定值，λyzs表示右眼睁眼设定值，且λzbs>λzzs，λybs>λyzs；
步骤304、当成立，说明驾驶员睁眼，则睁眼次数Nz加1；其中，睁眼次数Nz的初始值为零；
步骤305、微处理器1对下一帧疲劳测试图像中左眉与左眼之间的开合度λz,i+1和下一帧疲劳测试图像中右眉与右眼之间的开合度λy,i+1进行判断，直至达到预先设定的判断时间，获得判断时间内睁眼总次数Nzc和闭眼总次数Nbc；
步骤306、微处理器1根据判断条件进行判断，当成立时，执行步骤307；否则，执行步骤308；
步骤307、当成立时，说明驾驶员闭眼处于疲劳状态，微处理器1控制语音报警模块8进行语音报警，同时，微处理器1控制闪烁灯报警模块9闪烁报警；
步骤308、微处理器1对下一个判断时间内睁眼总次数与闭眼总次数之比进行判断。
本实施例中，步骤一中采集驾驶过程中的驾驶员人脸图像之前，先获取左眼闭眼设定值λzbs和右眼闭眼设定值λybs，具体过程如下：
步骤A、驾驶员正常闭眼人脸图像的采集及上传：摄像头2按照预先设定的采样时间对驾驶员坐在驾驶位置时驾驶员正常闭眼的人脸图像进行采集，并将每一个采样时刻所采集到的驾驶员正常闭眼的人脸图像称作正常闭眼图像，则将正常闭眼图像发送至微处理器1；其中，驾驶员正常闭眼的时间为2秒；
步骤B、直至摄像头2采集到的正常闭眼图像的帧数达到预先设定的正常闭眼图像设定总帧数Mb；
步骤C、驾驶员正常闭眼时眉部和眼部之间开合度的获取：微处理器1对步骤A中各帧正常闭眼图像分别进行处理，获取驾驶员正常闭眼时眉部和眼部之间开合度，且对各帧正常闭眼图像分别进行处理获取驾驶员正常闭眼时眉部和眼部之间开合度的方法均相同，任一帧正常闭眼图像进行处理时，包括以下步骤：
步骤C01、按照步骤201至步骤203所述的方法，对正常闭眼图像进行处理，得到驾驶员正常闭眼时左眉与左眼之间的开合度和驾驶员正常闭眼时右眉与右眼之间的开合度其中，j表示正常闭眼图像按照采样时间先后顺序的帧数序号，且j为1～Mb的正整数；
步骤C02、多次重复步骤C01，获得多个驾驶员正常闭眼时左眉与左眼之间的开合度和驾驶员正常闭眼时右眉与右眼之间的开合度；
步骤D、左眼闭眼开合度均值和右眼闭眼开合度均值的获取：
步骤D01、微处理器1根据公式得到左眼闭眼开合度均值微处理器1根据公式得到右眼闭眼开合度均值
步骤D02、微处理器1根据公式得到左眼闭眼设定值λzbs，微处理器1根据公式得到右眼闭眼设定值λybs；其中，βb表示闭眼因子，且0.8≤βb<1；其中，
本实施例中，步骤一中采集驾驶过程中的驾驶员人脸图像之前，先获取左眼睁眼设定值λzzs和右眼睁眼设定值λyzs，具体过程如下：
步骤Ⅰ、驾驶员正常睁眼人脸图像的采集及上传：摄像头2按照预先设定的采样时间对驾驶员坐在驾驶位置时驾驶员正常睁眼的人脸图像进行采集，并将每一个采样时刻所采集到的驾驶员正常睁眼的人脸图像称作正常睁眼图像，则将正常睁眼图像发送至微处理器1；其中，驾驶员正常睁眼的时间为2秒；
步骤Ⅱ、直至摄像头2采集到的正常睁眼图像的帧数达到预先设定的正常睁眼图像设定总帧数Mz；
步骤Ⅲ、驾驶员正常睁眼时眉部和眼部之间开合度的获取：微处理器1对步骤Ⅰ中各帧正常睁眼图像分别进行处理，获取驾驶员正常睁眼时眉部与眼部之间开合度，且对各帧正常睁眼图像分别进行处理获取驾驶员正常睁眼时眉部与眼部之间开合度的方法均相同，任一帧正常睁眼图像进行处理时，包括以下步骤：
步骤Ⅲ-1、按照步骤201至步骤203所述的方法，对正常睁眼图像进行处理，得到驾驶员正常睁眼时左眉与左眼之间的开合度和驾驶员正常睁眼时右眉与右眼之间的开合度其中，j′表示正常睁眼图像按照采样时间先后顺序的帧数序号，且j′为1～Mz的正整数；
步骤Ⅲ-2、多次重复步骤Ⅲ-1，获得多个驾驶员正常睁眼时左眉与左眼之间的开合度和驾驶员正常睁眼时右眉与右眼之间的开合度；
步骤Ⅳ、左眼睁眼开合度均值和右眼睁眼开合度均值的获取：
步骤Ⅳ-1、微处理器1根据公式得到左眼睁眼开合度均值微处理器1根据公式得到右眼睁眼开合度均值
步骤Ⅳ-2、微处理器1根据公式得到左眼睁眼设定值λzzs，微处理器1根据公式得到右眼睁眼设定值λyzs；其中，βb表示睁眼因子，且1≤βz<1.2；其中，
本实施例中，步骤一中所述预先设定的采样时间为0.01秒～0.033秒，步骤305中和步骤308中所述判断时间为2min～10min。
本实施例中，步骤A中所述预先设定的采样时间为0.01秒～0.033秒，步骤B中正常闭眼图像设定总帧数Mb的取值范围为100～200。
本实施例中，步骤Ⅰ中所述预先设定的采样时间为0.01秒～0.033秒，步骤Ⅱ中正常睁眼图像设定总帧数Mz的取值范围为100～200。
如图2所示，本实施例中，所述级联分类器模块为基于Haar特征的Adaboost算法级联分类器；
步骤2031中基于点分布模型的主动形状模型算法采用Dlib库的人脸68点Landmark模型标记，所述人脸特征点的数量为68个，68人脸特征点分别为：
人脸整体区域的17个特征点，特征点编号依次为0～16；
右眉的5个特征点，特征点编号依次为17～21；
左眉的5个特征点，特征点编号依次为22～26；
鼻子的9个特征点，特征点编号依次为27～35；
右眼的6个特征点，特征点编号依次为36～41；
左眼的6个特征点，特征点编号依次为42～47；
嘴部的20个特征点，特征点编号依次为48～67。
本实施例中，所述微处理器1为单片机、FPGA微控制器、DSP微控制器或者ARM微控制器。
本实施例中，所述摄像头2为低照度宽动态摄像头，所述补光灯10为LED补光灯。
本实施例中，报警模块选择按键3的设置，是为了对报警方式的选择，既能选择语音报警模块8单独报警，又能选择闪烁灯报警模块9单独报警，还能选择语音报警模块8和闪烁灯报警模块9共同报警，从而便于根据驾驶员习惯进行设置。
本实施例中，在驾驶员夜间行车时，光照度传感器6对测驾驶者脸部所处环境的光照度进行检测，并将检测到的光照度发送至微处理器1，微处理器1将接收到的光照度与光照度设定值进行比较，当光照度传感器6检测到的光照度小于光照度阈值时，微处理器1控制控制语音报警模块8语音报警提醒或者控制闪烁灯报警模块9闪烁报警，驾驶员操作手动开补光灯按键4，微控制器1控制补光灯10亮；当光照度传感器6检测到的光照度不小于光照度阈值时，微处理器1控制控制语音报警模块8语音报警提醒或者控制闪烁灯报警模块9闪烁报警，驾驶员操作手动关补光灯按键4，微控制器1控制补光灯10灭；或者当光照度传感器6检测到的光照度小于光照度阈值时，微控制器1控制补光灯10亮，当光照度传感器6检测到的光照度不小于光照度阈值时，微控制器1控制补光灯10灭，从而能根据环境光照度，并自动或者手动开启补光灯，提高摄像头采集视频图像的清晰度。
本实施例中，液晶触摸屏7的设置，一方面是为了供左眼睁眼设定值、右眼睁眼设定值、左眼闭眼设定值、右眼闭眼设定值和光照度设定值的输入，另一方面，是为了对采集到的人脸图像进行显示，便于查看。
本实施例中，所述摄像头2为高速低照度宽动态摄像头。是因为为了提高人脸眼部状态变化的捕捉能力，低照度摄像头可以有效提高低照度情况下的视频清晰度，宽动态可以在一定程度上防止夜间行车前方强光对摄像头视频产生的过暴光干扰。
本实施例中，进一步选择，所述摄像头2为RER-USBFHD06H-LS36摄像头。
本实施例中，所述光照度传感器6为BH1750数字光照强度传感器。
本实施例中，补光灯模块主要用于夜间行车时，光线不足的情形下，该模块可以自动检测到环境光照度偏低，并自动或者手动开启补光灯10电源。为了避免补光灯10亮度过大干扰驾驶员视线，一般采用的是柔和补光灯，由于采用的是高速低照度宽动态摄像头，此处补光灯10只需要极小的功率即可保证采集视频图像的清晰度。
综上所述，本发明方法步骤简单，结合眉部和眼部特征点，得到驾驶员眉部和眼部之间开合度，并对眉部和眼部之间开合度进行判断，实现眼睛开闭状态的检测，可有效提高眼睛开闭状态检测的准确性，进而实现驾驶员疲劳状态检测的准确性，实用性强。
以上所述，仅是本发明的较佳实施例，并非对本发明作任何限制，凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化，均仍属于本发明技术方案的保护范围内。

Claims (7)

1.一种基于眉部和眼部关键点信息的疲劳检测方法，该方法所采用的装置包括微处理器(1)以及与微处理器(1)相接的液晶触摸屏(7)和用于采集驾驶员人脸图像的摄像头(2)，所述微处理器(1)的输入端接有报警模式选择按键(3)、手动开补光按键(4)、手动关补光按键(5)和自动补光按键(12)，以及用于检测驾驶脸部所处环境光照度的光照度传感器(6)，所述微处理器(1)的输出端接有语音报警模块(8)、闪烁灯报警模块(9)和补光灯(10)，其特征在于，该方法包括以下步骤：
步骤一、驾驶员人脸图像的采集：
摄像头(2)按照预先设定的采样时间对驾驶过程中的驾驶员人脸图像进行采集，并将每一个采样时刻所采集到的驾驶过程中的驾驶员人脸图像称作疲劳测试图像，则将疲劳测试图像发送至微处理器(1)；
步骤二、驾驶员眉部和眼部之间开合度的获取：
微处理器(1)按照采样时间先后顺序对步骤一中各个采样时刻所采集到的疲劳测试图像分别进行处理，获取驾驶员眉部和眼部之间开合度，且对各个采样时刻所采集到的疲劳测试图像分别进行处理获取驾驶员眉部和眼部之间开合度的方法均相同，任一个采样时刻所采集的疲劳测试图像进行处理时，包括以下步骤：
步骤201、微处理器(1)调取级联分类器模块对当前采样时刻所采集到的疲劳测试图像进行人脸检测，当前采样时刻所采集到的疲劳测试图像中不存在人脸图像区域时，执行步骤202；当前采样时刻所采集到的疲劳测试图像中存在人脸图像区域时，执行步骤203；
步骤202、重复步骤201对下一个采样时刻所采集到的疲劳测试图像进行人脸检测；
步骤203、微处理器(1)对当前采样时刻所采集到的疲劳测试图像进行处理，具体过程如下：
步骤2031、微处理器(1)根据基于点分布模型的主动形状模型算法对当前采样时刻所采集到的疲劳测试图像进行人脸特征点提取，并获取人脸特征点；其中，人脸特征点中包括人脸整体区域的特征点、左眉特征点、右眉特征点、鼻子特征点、左眼特征点和右眼特征点和嘴部特征点，且左眉特征点和右眉特征点的数量均为5个，左眼特征点中左眼上眼睑的特征点和左眼下眼睑的特征点以及右眼特征点中右眼上眼睑的特征点和左眼下眼睑的特征点的数量均为2个；
步骤2032、微处理器(1)调用眼部提取模块对步骤2031中的人脸特征点进行眼部特征点提取，获得左眼特征点和右眼特征点；并采用微处理器(1)调用像素坐标模块对左眼特征点的像素坐标和右眼特征点的像素坐标提取，获得左眼特征点的像素坐标和右眼特征点的像素坐标；
步骤2033、微处理器(1)调用眉部提取模块对步骤2031中的人脸特征点进行眉部特征点提取，获得左眉特征点和右眉特征点；并采用微处理器(1)调用像素坐标模块对左眉特征点的像素坐标和右眉特征点的像素坐标提取，获得左眉特征点的像素坐标和右眉特征点的像素坐标；
步骤2034、微处理器(1)将左眉中部特征点的像素坐标记作Pzm,i(uzm,i,vzm,i)，微处理器(1)将右眉中部特征点的像素坐标记作Pym,i(uym,i,vym,i)；其中，i表示当前采样时刻所采集到的疲劳测试图像的序号，且i为正整数；
步骤2035、微处理器(1)将左眼上眼睑上的两个特征点的像素坐标分别记作和微处理器(1)将左眼下眼睑上的两个特征点的像素坐标分别记作和微处理器(1)将右眼上眼睑上的两个特征点的像素坐标分别记作和微处理器(1)将右眼下眼睑上的两个特征点的像素坐标分别记作和
步骤2036、微处理器(1)根据公式得到左眼上眼睑中部的像素坐标Pzsz,i(uzsz,i,vzsz,i)，微处理器(1)根据公式得到左眼下眼睑中部的像素坐标Pzxz,i(uzxz,i,vzxz,i)；微处理器(1)根据公式得到右眼上眼睑中部的像素坐标Pysz,i(uysz,i,vysz,i)，微处理器(1)根据公式得到右眼下眼睑中部的像素坐标Pyxz,i(uyxz,i,vyxz,i)；
步骤2037、微处理器(1)根据公式得到左眉距左眼上眼睑的距离dzs,i，微处理器(1)根据公式得到左眼上下眼睑的距离dzx,i；微处理器(1)并根据公式得到当前采样时刻所采集到的疲劳测试图像中左眉与左眼之间的开合度λz,i；
步骤2038、微处理器(1)根据公式得到右眉距右眼上眼睑的距离dys,i，微处理器(1)根据公式得到右眼上下眼睑的距离dyx,i；微处理器(1)并根据公式得到当前采样时刻所采集到的疲劳测试图像中右眉与右眼之间的开合度λy,i；
步骤三、驾驶员疲劳状态的判断：
步骤301、微处理器(1)根据判断条件进行判断，当成立，执行步骤302；否则，执行步骤303；其中，λzbs表示左眼闭眼设定值，λybs表示右眼闭眼设定值；
步骤302、当成立，说明驾驶员闭眼，则闭眼次数Nb加1；其中，闭眼次数Nb的初始值为零；
步骤303、微处理器(1)根据判断条件进行判断，当成立，执行步骤304；否则，执行步骤305；其中，λzzs表示左眼睁眼设定值，λyzs表示右眼睁眼设定值，且λzbs>λzzs，λybs>λyzs；
步骤304、当成立，说明驾驶员睁眼，则睁眼次数Nz加1；其中，睁眼次数Nz的初始值为零；
步骤305、微处理器(1)对下一帧疲劳测试图像中左眉与左眼之间的开合度λz,i+1和下一帧疲劳测试图像中右眉与右眼之间的开合度λy,i+1进行判断，直至达到预先设定的判断时间，获得判断时间内睁眼总次数Nzc和闭眼总次数Nbc；
步骤306、微处理器(1)根据判断条件进行判断，当成立时，执行步骤307；否则，执行步骤308；
步骤307、当成立时，说明驾驶员闭眼处于疲劳状态，微处理器(1)控制语音报警模块(8)进行语音报警，同时，微处理器(1)控制闪烁灯报警模块(9)闪烁报警；
步骤308、微处理器(1)对下一个判断时间内睁眼总次数与闭眼总次数之比进行判断；
步骤一中采集驾驶过程中的驾驶员人脸图像之前，先获取左眼闭眼设定值λzbs和右眼闭眼设定值λybs、以及左眼睁眼设定值λzzs和右眼睁眼设定值λyzs，其中，获取左眼闭眼设定值λzbs和右眼闭眼设定值λybs的具体过程如下：
步骤A、驾驶员正常闭眼人脸图像的采集及上传：摄像头(2)按照预先设定的采样时间对驾驶员坐在驾驶位置时驾驶员正常闭眼的人脸图像进行采集，并将每一个采样时刻所采集到的驾驶员正常闭眼的人脸图像称作正常闭眼图像，则将正常闭眼图像发送至微处理器(1)；其中，驾驶员正常闭眼的时间为2秒；
步骤B、直至摄像头(2)采集到的正常闭眼图像的帧数达到预先设定的正常闭眼图像设定总帧数Mb；
步骤C、驾驶员正常闭眼时眉部和眼部之间开合度的获取：微处理器(1)对步骤A中各帧正常闭眼图像分别进行处理，获取驾驶员正常闭眼时眉部和眼部之间开合度，且对各帧正常闭眼图像分别进行处理获取驾驶员正常闭眼时眉部和眼部之间开合度的方法均相同，任一帧正常闭眼图像进行处理时，包括以下步骤：
步骤C01、按照步骤201至步骤203所述的方法，对正常闭眼图像进行处理，得到驾驶员正常闭眼时左眉与左眼之间的开合度和驾驶员正常闭眼时右眉与右眼之间的开合度其中，j表示正常闭眼图像按照采样时间先后顺序的帧数序号，且j为1～Mb的正整数；
步骤C02、多次重复步骤C01，获得多个驾驶员正常闭眼时左眉与左眼之间的开合度和驾驶员正常闭眼时右眉与右眼之间的开合度；
步骤D、左眼闭眼开合度均值和右眼闭眼开合度均值的获取：
步骤D01、微处理器(1)根据公式得到左眼闭眼开合度均值微处理器(1)根据公式得到右眼闭眼开合度均值
步骤D02、微处理器(1)根据公式得到左眼闭眼设定值λzbs，微处理器(1)根据公式得到右眼闭眼设定值λybs；其中，βb表示闭眼因子，且0.8≤βb<1；其中，
获取左眼睁眼设定值λzzs和右眼睁眼设定值λyzs的具体过程如下：
步骤Ⅰ、驾驶员正常睁眼人脸图像的采集及上传：摄像头(2)按照预先设定的采样时间对驾驶员坐在驾驶位置时驾驶员正常睁眼的人脸图像进行采集，并将每一个采样时刻所采集到的驾驶员正常睁眼的人脸图像称作正常睁眼图像，则将正常睁眼图像发送至微处理器(1)；其中，驾驶员正常睁眼的时间为2秒；
步骤Ⅱ、直至摄像头(2)采集到的正常睁眼图像的帧数达到预先设定的正常睁眼图像设定总帧数Mz；
步骤Ⅲ、驾驶员正常睁眼时眉部和眼部之间开合度的获取：微处理器(1)对步骤Ⅰ中各帧正常睁眼图像分别进行处理，获取驾驶员正常睁眼时眉部与眼部之间开合度，且对各帧正常睁眼图像分别进行处理获取驾驶员正常睁眼时眉部与眼部之间开合度的方法均相同，任一帧正常睁眼图像进行处理时，包括以下步骤：
步骤Ⅲ-1、按照步骤201至步骤203所述的方法，对正常睁眼图像进行处理，得到驾驶员正常睁眼时左眉与左眼之间的开合度和驾驶员正常睁眼时右眉与右眼之间的开合度其中，j′表示正常睁眼图像按照采样时间先后顺序的帧数序号，且j′为1～Mz的正整数；
步骤Ⅲ-2、多次重复步骤Ⅲ-1，获得多个驾驶员正常睁眼时左眉与左眼之间的开合度和驾驶员正常睁眼时右眉与右眼之间的开合度；
步骤Ⅳ、左眼睁眼开合度均值和右眼睁眼开合度均值的获取：
步骤Ⅳ-1、微处理器(1)根据公式得到左眼睁眼开合度均值微处理器(1)根据公式得到右眼睁眼开合度均值
步骤Ⅳ-2、微处理器(1)根据公式得到左眼睁眼设定值λzzs，微处理器(1)根据公式得到右眼睁眼设定值λyzs；其中，βb表示睁眼因子，且1≤βz<1.2；其中，
2.按照权利要求1所述的一种基于眉部和眼部关键点信息的疲劳检测方法，其特征在于：步骤一中所述预先设定的采样时间为0.01秒～0.033秒，步骤305中和步骤308中所述判断时间为2min～10min。
3.按照权利要求1所述的一种基于眉部和眼部关键点信息的疲劳检测方法，其特征在于：步骤A中所述预先设定的采样时间为0.01秒～0.033秒，步骤B中正常闭眼图像设定总帧数Mb的取值范围为100～200。
4.按照权利要求1所述的一种基于眉部和眼部关键点信息的疲劳检测方法，其特征在于：步骤Ⅰ中所述预先设定的采样时间为0.01秒～0.033秒，步骤Ⅱ中正常睁眼图像设定总帧数Mz的取值范围为100～200。
5.按照权利要求1所述的一种基于眉部和眼部关键点信息的疲劳检测方法，其特征在于：所述级联分类器模块为基于Haar特征的Adaboost算法级联分类器；
步骤2031中基于点分布模型的主动形状模型算法采用Dlib库的人脸68点Landmark模型标记，所述人脸特征点的数量为68个，68人脸特征点分别为：
人脸整体区域的17个特征点，特征点编号依次为0～16；
右眉的5个特征点，特征点编号依次为17～21；
左眉的5个特征点，特征点编号依次为22～26；
鼻子的9个特征点，特征点编号依次为27～35；
右眼的6个特征点，特征点编号依次为36～41；
左眼的6个特征点，特征点编号依次为42～47；
嘴部的20个特征点，特征点编号依次为48～67。
6.按照权利要求1所述的一种基于眉部和眼部关键点信息的疲劳检测方法，其特征在于：所述微处理器(1)为单片机、FPGA微控制器、DSP微控制器或者ARM微控制器。
7.按照权利要求1所述的一种基于眉部和眼部关键点信息的疲劳检测方法，其特征在于：所述摄像头(2)为低照度宽动态摄像头，所述补光灯(10)为LED补光灯。
CN201810971720.0A 2018-08-24 2018-08-24 一种基于眉部和眼部关键点信息的疲劳检测方法 Active CN109271875B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810971720.0A CN109271875B (zh) 2018-08-24 2018-08-24 一种基于眉部和眼部关键点信息的疲劳检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810971720.0A CN109271875B (zh) 2018-08-24 2018-08-24 一种基于眉部和眼部关键点信息的疲劳检测方法

Publications (2)

Publication Number Publication Date
CN109271875A CN109271875A (zh) 2019-01-25
CN109271875B true CN109271875B (zh) 2019-06-14

Family

ID=65154540

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810971720.0A Active CN109271875B (zh) 2018-08-24 2018-08-24 一种基于眉部和眼部关键点信息的疲劳检测方法

Country Status (1)

Country Link
CN (1) CN109271875B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110008930A (zh) * 2019-04-16 2019-07-12 北京字节跳动网络技术有限公司 用于识别动物面部状态的方法和装置
CN110232327B (zh) * 2019-05-21 2023-04-21 浙江师范大学 一种基于梯形级联卷积神经网络的驾驶疲劳检测方法
CN110956067B (zh) * 2019-05-26 2022-05-17 魔门塔(苏州)科技有限公司 一种人眼眼睑曲线的构建方法及装置
CN110263663A (zh) * 2019-05-29 2019-09-20 南京师范大学 一种基于多维面部特征的驾驶员多级疲劳度识别方法
CN110377385B (zh) * 2019-07-05 2022-06-21 深圳壹账通智能科技有限公司 一种屏幕显示方法、装置及终端设备
CN112241645A (zh) * 2019-07-16 2021-01-19 广州汽车集团股份有限公司 一种疲劳驾驶检测方法及其系统、电子设备
CN110751810A (zh) * 2019-10-29 2020-02-04 深圳联安通达科技有限公司 一种疲劳驾驶检测方法和装置
CN111860254A (zh) * 2020-07-10 2020-10-30 东莞正扬电子机械有限公司 一种驾驶员异常行为检测方法、装置、存储介质及设备
CN114162119A (zh) * 2021-10-27 2022-03-11 广州广日电气设备有限公司 汽车高级驾驶辅助系统横向控制方法、设备、介质、产品

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104408878A (zh) * 2014-11-05 2015-03-11 唐郁文 一种车队疲劳驾驶预警监控系统及方法
CN104751149A (zh) * 2015-04-16 2015-07-01 张小磊 基于电子检测的人员疲惫度判定平台
CN107679468A (zh) * 2017-09-19 2018-02-09 浙江师范大学 一种嵌入式计算机视觉检测疲劳驾驶方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107292251B (zh) * 2017-06-09 2020-08-28 湖北天业云商网络科技有限公司 一种基于人眼状态的驾驶员疲劳检测方法及系统
CN107909055A (zh) * 2017-11-30 2018-04-13 西安科锐盛创新科技有限公司 眼睛状态检测方法
CN108310759B (zh) * 2018-02-11 2021-04-16 Oppo广东移动通信有限公司 信息处理方法及相关产品

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104408878A (zh) * 2014-11-05 2015-03-11 唐郁文 一种车队疲劳驾驶预警监控系统及方法
CN104751149A (zh) * 2015-04-16 2015-07-01 张小磊 基于电子检测的人员疲惫度判定平台
CN107679468A (zh) * 2017-09-19 2018-02-09 浙江师范大学 一种嵌入式计算机视觉检测疲劳驾驶方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于级联卷积神经网络的疲劳检测;赵雪鹏 等;《光电子激光》;20170531;第28卷(第5期);第497-502页

Also Published As

Publication number Publication date
CN109271875A (zh) 2019-01-25

Similar Documents

Publication Publication Date Title
CN109271875B (zh) 一种基于眉部和眼部关键点信息的疲劳检测方法
CN102841354B (zh) 一种具有显示屏幕的电子设备的保护视力实现方法
CN103412647B (zh) 一种人脸识别的页面显示控制方法及移动终端
CN103729981B (zh) 一种儿童坐姿监控智能终端
EP2338416B1 (en) Line-of-sight direction determination device and line-of-sight direction determination method
CN107679468A (zh) 一种嵌入式计算机视觉检测疲劳驾驶方法及装置
US9098243B2 (en) Display device and method for adjusting observation distances thereof
CN106878780A (zh) 能够智能调节亮度的智能电视机及其控制系统和控制方法
CN104133548A (zh) 确定视点区域及控制屏幕亮度的方法及装置
CN103905733A (zh) 一种单目摄像头对人脸实时跟踪的方法及系统
CN105205437B (zh) 基于头部轮廓验证的侧脸检测方法及装置
WO2018218839A1 (zh) 一种活体识别方法和系统
WO2015158087A1 (zh) 一种检测人眼健康状态的方法、装置及移动终端
WO2019067903A1 (en) HEAD POSTURE ESTIMATION FROM A LOCAL EYE REGION
CN101499129A (zh) 远距离虹膜识别系统及方法
CN103079034A (zh) 一种感知拍摄方法及系统
CN105095885B (zh) 一种人眼状态的检测方法和检测装置
CN108471486B (zh) 一种适用于电子助视器的智能阅读操作方法及装置
CN109711309B (zh) 一种自动识别人像图片是否闭眼的方法
CN106569600A (zh) 一种用于控制空调的手势校验方法及装置
CN110290349A (zh) 灯具及侦测使用者的坐姿状态的方法
CN115171024A (zh) 一种基于视频序列的面部多特征融合疲劳检测方法及系统
CN107480629A (zh) 一种基于深度信息的疲劳驾驶检测方法及装置
CN116503794A (zh) 一种驾驶舱机组的疲劳检测方法
CN105380590B (zh) 一种具有眼位检测功能的设备及其实现方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant