CN108742656B - 基于脸部特征点定位的疲劳状态检测方法 - Google Patents

基于脸部特征点定位的疲劳状态检测方法 Download PDF

Info

Publication number
CN108742656B
CN108742656B CN201810194220.0A CN201810194220A CN108742656B CN 108742656 B CN108742656 B CN 108742656B CN 201810194220 A CN201810194220 A CN 201810194220A CN 108742656 B CN108742656 B CN 108742656B
Authority
CN
China
Prior art keywords
eye
face
user
detection
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810194220.0A
Other languages
English (en)
Other versions
CN108742656A (zh
Inventor
黄翰
李子龙
郝志峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201810194220.0A priority Critical patent/CN108742656B/zh
Publication of CN108742656A publication Critical patent/CN108742656A/zh
Priority to PCT/CN2018/115772 priority patent/WO2019169896A1/zh
Priority to EP18908483.3A priority patent/EP3742328A4/en
Application granted granted Critical
Publication of CN108742656B publication Critical patent/CN108742656B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A61B5/7207—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
    • A61B5/721—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts using a separate sensor to detect motion or using motion information derived from signals other than the physiological signal to be measured
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Artificial Intelligence (AREA)
  • Physiology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于脸部特征点定位的疲劳检测方法，用户将摄像头对准脸部，在初始化阶段后，进行检测时，对监控视频输入的每一帧图像使用人脸检测与脸部特征点定位算法检测得到脸部特征点。根据用户脸部特征点确定眼部相关区域，并根据眼部相关区域的灰度值变化程度对用户的闭眼情况做出判断，根据临近帧的闭眼情况对用户的疲劳程度做出预警。本发明使用简单，计算量少，判断精准，可以应用于实时环境，并有效地提醒用户注意休息，保障了用户的生命财产安全。

Description

基于脸部特征点定位的疲劳状态检测方法
技术领域
本发明属于疲劳检测的技术领域，涉及一种基于脸部特征点定位的疲劳状 态检测方法。
背景技术
现有检测疲劳状态的常见方法包括：脑电波检测、面部状态检测以及生理 指标检测。现有的方法具有以下缺陷：缺陷一，基于脑电波等生理指标，设 备复杂，不便携；缺陷二，监控仪器价格昂贵，不适用于实际应用。而本发明 处理速度快，检测准确率高，能在用户发生疲劳现象时基于迅速提醒，保障其 生命财产安全。
发明内容
本发明针对当前疲劳驾驶检测方法的不足，提供了基于脸部特征点定位的 疲劳检测算法。本发明的目的在于自动实时检测用户的疲劳程度。检测分为两 个部分，一是对疲劳检测算法进行初始化，二是根据视频输入的每一帧进行疲 劳程度检测。
为了达到上述目的，本发明采用以下技术方案：
本发明基于脸部特征点定位的疲劳状态检测方法，包括以下步骤：
(a)数据录入阶段，用户根据提示，进行初始疲劳检测初始化数据录入， 待人脸稳定后读入稳定后的视频前M帧，作为初始化帧集；
(b)初始化阶段，对初始化帧集内的所有帧图像，统计人脸与人眼部的特 征信息，并进行初始化工作，确定人脸位置搜索范围和人脸大小范围；
(c)闭眼检测阶段，对摄像头输入的每一帧图片通过特征点定位与二值化 处理的方式进行闭眼检测；
(d)疲劳检测阶段，根据当前帧的闭眼情况与前面几帧的闭眼情况做出疲 劳判断，并进行提醒；
(e)新阶段，统计已经流逝的时间，以N分钟为时间间隔，保存每分钟按 设定的时间间隔选取的5张图像，并在这N分钟结束时根据该时间段内的M帧 图像进行权值更新。
作为优选的技术方案，所述步骤(a)包括下述步骤：
(a-1)根据提示，将摄像头放置在最靠近用户的位置，确保摄像头中检测到 的最大人脸为用户的人脸，并在用户表情自然的情况下，输入视频；
(a-2)对输入视频每10帧图像，选取一个样本，当相邻样本中人脸框的中 心值变化小于人脸框边长的20％时，判定人脸状态移动范围较小，此时，录入 连续25帧的图像，作为初始化帧集。
作为优选的技术方案，所述步骤(b)包括下述步骤：
(b-1)遍历M帧图像，根据用户最靠近摄像头的先验知识，确定用户的人脸 检测矩形框为每帧中检测到的最大人脸矩形框，统计出其平均宽度W0和高度H0以及其平均灰度值GRAY_FACE0，检测前M帧中用户人脸的脸部特征点，确定 用户左右眼瞳孔位置，并据此求得瞳孔平均距离；
(b-2)根据用户瞳孔平均距离，与人脸矩形框的大小，确定圆形人眼近似区 域的半径R0，并计算近似区域内的眼部灰度值，对前M帧的圆形人眼近似区域， 进行二值化处理，二值化的阈值为GRAY_FACE0并统计进行二值化后的值，前M 帧眼部区域的平均灰度值为用户眼部平均灰度值GRAY_EYE0；
(b-3)将人脸检测框的最低检测宽度设定为0.7W0，最低检测高度设定为 0.7H0，初始化人脸检测的搜索范围SEARCH_RECT为以用户人脸检测框的中心 为中心，宽度为2W0,高度为2H0，更新眼部灰度值GRAY_EYE′为GRAY_EYE0。
作为优选的技术方案，所述步骤(c)包括下述步骤：
(c-1)在SEARCH_RECT的矩形范围内进行人脸检测，当人脸检测不到时， 提示人脸检测异常；当人脸可以检测到时，选取其中的最大人脸，记为用户本 阶段人脸矩形Rf(t)；
(c-2)统计用户本阶段人脸矩形Ft的平均灰度值，记为Gf(t)；
(c-3)对用户本阶段人脸Ft进行脸部特征点定位，定位出左右眼瞳孔位置， 鼻尖位置，左右嘴角位置；
(c-4)统计以左右眼瞳孔为中心，半径为R的两个圆形区域内的灰度值，并 进行二值化处理，二值化的阈值为Gf(t)，并设二值化后的，眼部区域的平均灰 度值为Ge(t)；
(c-5)当
Figure BDA0001592604770000031
时可判断为闭眼，则闭眼函数C(t)＝1否则 C(t)＝0。
作为优选的技术方案，所述步骤(d)包括下述步骤：
(d-1)设目前时间点距算法初始化所经过的时间为t帧，目前时间点的用户疲 劳程度为Tired(t)；
(d-2)使用一维加权的方式确定，目前时间点用户的疲劳程度：
Figure BDA0001592604770000041
作为优选的技术方案，所述步骤(e)包括下述步骤：
(e-1)遍历更新用的M帧图像，统计用户人脸的其平均宽度Wu和高度Hu,以 及其平均灰度值GRAY_FACEu，检测前M帧中用户人脸的脸部特征点，确定用 户左右眼瞳孔位置，并求平均得到瞳孔平均距离；
(e-2)根据用户瞳孔平均距离，与人脸矩形框的大小，确定更新后的圆形人 眼近似区域半径Ru，并计算近似区域内的眼部灰度值，对前M帧的圆形人眼近 似区域，进行二值化处理，二值化的阈值为GRAY_FACEu，统计进行二值化后的， 前M帧眼部区域的平均灰度值为用户眼部平均灰度值GRAY_EYEu；
(e-3)将算法的人脸检测框的最低检测宽度更新为0.7Wu,最低检测长度更新 为0.7Hu，更新人脸检测的搜索范围，以用户人脸检测框的中心为中心，宽度为 2Wu,高度为2Hu；
(e-4)更新眼部区域平均灰度值GRAY_EYE′为GRAY_EYEu。
作为优选的技术方案，所述M为25，所述N为5。
本发明与现有技术相比，具有如下优点和有益效果：
1.本发明的人脸和眼部灰度初始化工作，以及更新策略确保了本发明能适 应光照的变化，具有更强的鲁棒性和准确性。
2.本发明的人脸搜索范围初始化工作确保了本发明能避免不必要的计算， 大大缩短了计算时间，提升了运行效率。
3.本发明的疲劳值加权策略，统计的时一个时间段内使用人员的眼睛闭合 时间，避免了因为使用人员短时间内快速眨眼造成的干扰，具有更强的鲁棒性。
4.相较于眼部拟合椭圆的宽高比来判断眨眼的方法，本发明有更高的准确 性和更低的计算复杂性。
附图说明
图1为本发明基于脸部特征点的人脸检测方法整体流程图。
图2为本发明根据脸部特征点定位得到的眼部近似区域例图。
图3为本发明检测到当前帧为睁眼的情况图。
图4为本发明检测到当前帧为闭眼的情况图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方 式不限于此。
实施例
如图1，基于深度学习的人脸检测方法，其主要流程包括以下步骤：
(a)数据录入阶段，用户根据提示，进行初始疲劳检测初始化数据录入。 算法待人脸稳定后读入稳定后的视频前25帧，作为初始化帧集。
步骤(a)要求用户在安静稳定的情况下，进行初始化数据录入工作。需要注 意的是，在具体实施过程中，人脸检测和脸部特征点定位算法不做限制，但人 脸检测应满足实时性的要求，确保检测速度在25帧/S及以上；脸部特征点定位 应确保定位精准，并满足实时性要求。
步骤(a)主要包含以下步骤：
(a-1)根据算法提示，将摄像头放置在最靠近用户的位置，确保摄像头中检 测到的最大人脸为用户的人脸，并在用户表情自然的情况下，输入视频。
(a-2)对输入视频每10帧图像，选取一个样本，当相邻样本中人脸框的中 心值变化小于人脸框边长的20％时，判定人脸状态移动范围较小，可以进行初 始化。此时，录入连续25帧的图像。
(b)算法初始化阶段，算法对初始化帧集内的所有帧图像，统计人脸与人 眼部的特征信息，并进行算法初始化工作，确定人脸位置搜索范围和人脸大小 范围。
步骤(b)主要目的是，进行算法的初始化工作，主要有两个方面，一是为了 确定基准灰度值，二是为了确定人脸搜索范围。确定基准灰度值的目的是为后 续步骤提供闭眼检测的判定标准。确定人脸搜索范围的主要目的是减少人脸检 测的时间消耗，因为在驾驶这种实际应用场景下，人脸的大小相对变化较小， 并且人脸的位置变化比较小。我们可以利用这两个特性来减少人脸检测的时间 消耗，提高人脸检测和脸部特征点定位的速度。
步骤(b)包括以下步骤：
(b-1)遍历25帧图像，根据用户最靠近摄像头的先验知识，确定用户的人 脸检测矩形框为每帧中检测到的最大人脸矩形框。统计出其平均宽度W0和高度 H0以及其平均灰度值GRAY_FACE0。检测前25帧中用户人脸的脸部特征点，确 定用户左右眼瞳孔位置记为
Figure BDA0001592604770000061
并据此求得瞳孔平均距离。
(b-2)根据用户瞳孔平均距离，与人脸矩形框的大小，确定圆形人眼近似区 域的半径R0，如图2所示。在我们的实验过程中，确定比较好的取值为，
Figure BDA0001592604770000062
并计算近似区域(以
Figure BDA0001592604770000063
和
Figure BDA0001592604770000064
为圆心,R0为半径)内的眼部灰度值。对前25帧的圆形人眼近似区域，进行二值化处理，二值化的阈值 为GRAY_FACE0并统计进行二值化后的，前25帧眼部区域的平均灰度值为用户 眼部平均灰度值GRAY_EYE0。
(b-3)将算法的人脸检测框的最低检测宽度设定为0.7W0,最低检测高度设定 为0.7H0。初始化人脸检测的搜索范围SEARCH_RECT为以用户人脸检测框的中 心为中心，宽度为2W0,高度为2H0。更新眼部灰度值GRAY_EYE′为GRAY_EYE0.
(c)闭眼检测阶段，算法对摄像头输入的每一帧图片通过特征点定位与二值 化处理的方式进行闭眼检测。
步骤(c)的主要目的是算法在上述指定的人脸检测区域进行指定最低大小的 人脸检测，并标记脸部特征点点，根据眼部近似圆形区域的灰度值变化判断是 否发生闭眼动作。
步骤(c)包括以下步骤：
(c-1)在SEARCH_RECT的矩形范围内进行人脸检测，当人脸检测不到时， 提示人脸检测异常；当人脸可以检测到时，选取其中的最大人脸，记为用户本 阶段人脸矩形Rf(t)。
(c-2)统计用户本阶段人脸矩形Ft的平均灰度值，记为Gf(t)。
(c-3)对用户本阶段人脸Ft进行脸部特征点定位，定位出左右眼瞳孔位置， 笔尖位置，左右嘴角位置，如图3、图4所示。
(c-4)统计以左右眼瞳孔为中心，半径为R的两个圆形区域内的灰度值，并 进行二值化处理，二值化的阈值为Gf(t),并设二值化后的，眼部区域的平均灰度 值为Ge(t)。
(c-5)当
Figure BDA0001592604770000071
时可判断为闭眼，则闭眼函数C(t)＝1否则 C(t)＝0。
(d)近邻帧疲劳检测阶段，算法根据当前帧的闭眼情况与前面几帧的闭眼 情况做出疲劳判断，并进行提醒。
步骤d的主要目的是，根据近邻时间段的睁闭眼情况判断用户的疲劳程度。
步骤(d)包含以下步骤：
(d-1)设目前时间点距算法初始化所经过的时间为t帧，目前时间点的用户疲 劳程度为Tired(t)。
(d-2)使用一维加权的方式确定，目前时间点用户的疲劳程度：
Figure BDA0001592604770000081
(e)权值更新阶段，算法统计已经流逝的时间，以5分钟为时间间隔，保 存每分钟第0s，12s,24s,36s,48s的图像，并在这5分钟结束时根据该时间段内的 25帧图像进行权值更新。
步骤(e)的主要目的是进行权值更新，以抑制光照变化对疲劳检测的影响。
步骤(e)包含以下步骤：
(e-1)遍历更新用的25帧图像，统计用户人脸的其平均宽度Wu和高度Hu, 以及其平均灰度值GRAY_FACEu。检测前25帧中用户人脸的脸部特征点，确定 用户左右眼瞳孔位置，并求平均得到瞳孔平均距离。
(e-2)根据用户瞳孔平均距离，与人脸矩形框的大小，确定更新后的圆形人 眼近似区域半径Ru，并计算近似区域内的眼部灰度值。对前25帧的圆形人眼近 似区域，进行二值化处理，二值化的阈值为GRAY_FACEu。统计进行二值化后的， 前25帧眼部区域的平均灰度值为用户眼部平均灰度值GRAY_EYEu。
(e-3)将算法的人脸检测框的最低检测宽度更新为0.7Wu,最低检测长度更新 为0.7Hu。更新人脸检测的搜索范围，以用户人脸检测框的中心为中心，宽度为 2Wu,高度为2Hu。
(e-4)更新眼部区域平均灰度值GRAY_EYE＇为GRAY_EYEu。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实 施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、 替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (4)

1.基于脸部特征点定位的疲劳状态检测方法，其特征在于，包括以下步骤：
(a)数据录入阶段，用户根据提示，进行初始疲劳检测初始化数据录入，待人脸稳定后读入稳定后的视频前M帧，作为初始化帧集；
(b)初始化阶段，对初始化帧集内的所有帧图像，统计人脸与人眼部的特征信息，并进行初始化工作，确定人脸位置搜索范围和人脸大小范围，前M帧眼部区域的平均灰度值为用户眼部平均灰度值GRAY_EYE0，更新眼部区域平均灰度值GRAY_EYE′为GRAY_EYE0；
(c)闭眼检测阶段，对摄像头输入的每一帧图片通过特征点定位与二值化处理的方式进行闭眼检测；所述步骤(c)包括下述步骤：
(c-1)在SEARCH_RECT的矩形范围内进行人脸检测，当人脸检测不到时，提示人脸检测异常；当人脸可以检测到时，选取其中的最大人脸，记为用户本阶段人脸矩形；
(c-2)统计用户本阶段人脸矩形的平均灰度值，记为Gf(t)；
(c-3)对用户本阶段人脸矩形进行脸部特征点定位，定位出左右眼瞳孔位置，鼻尖位置，左右嘴角位置；
(c-4)统计以左右眼瞳孔为中心，半径为R的两个圆形区域内的灰度值，并进行二值化处理，二值化的阈值为Gf(t)，并设二值化后的，眼部区域的平均灰度值为Ge(t)；
(c-5)当
Figure FDA0002879909950000011
时可判断为闭眼，则闭眼函数C(t)＝1否则C(t)＝0；
(d)疲劳检测阶段，根据当前帧的闭眼情况与前面几帧的闭眼情况做出疲劳判断，并进行提醒，具体为：
(d-1)设目前时间点距算法初始化所经过的时间为t帧，目前时间点的用户疲劳程度为Tired(t)；
(d-2)使用一维加权的方式确定，目前时间点用户的疲劳程度：
Figure FDA0002879909950000012
(e)新阶段，统计已经流逝的时间，以N分钟为时间间隔，保存每分钟按设定的时间间隔选取的5张图像，并在这N分钟结束时根据该时间段内的M帧图像进行权值更新。
2.根据权利要求1所述基于脸部特征点定位的疲劳状态检测方法，其特征在于，所述步骤(a)包括下述步骤：
(a-1)根据提示，将摄像头放置在最靠近用户的位置，确保摄像头中检测到的最大人脸为用户的人脸，并在用户表情自然的情况下，输入视频；
(a-2)对输入视频每10帧图像，选取一个样本，当相邻样本中人脸框的中心值变化小于人脸框边长的20％时，判定人脸状态移动范围较小，此时，录入连续25帧的图像，作为初始化帧集。
3.根据权利要求1所述基于脸部特征点定位的疲劳状态检测方法，其特征在于，所述步骤(e)包括下述步骤：
(e-1)遍历更新用的M帧图像，统计用户人脸的其平均宽度Wu和高度Hu，以及其平均灰度值GRAY_FACEu，检测前M帧中用户人脸的脸部特征点，确定用户左右眼瞳孔位置，并求平均得到瞳孔平均距离；
(e-2)根据用户瞳孔平均距离，与人脸矩形框的大小，确定更新后的圆形人眼近似区域半径Ru，并计算近似区域内的眼部灰度值，对前M帧的圆形人眼近似区域，进行二值化处理，二值化的阈值为GRAY_FACEu，统计进行二值化后的，前M帧眼部区域的平均灰度值为用户眼部平均灰度值GRAY_EYEu；
(e-3)将算法的人脸检测框的最低检测宽度更新为0.7Wu，最低检测长度更新为0.7Hu，更新人脸检测的搜索范围，以用户人脸检测框的中心为中心，宽度为2Wu，高度为2Hu；
(e-4)更新眼部区域平均灰度值GRAY_EYE′为GRAY_EYEu。
4.根据权利要求1-3中任一项所述基于脸部特征点定位的疲劳状态检测方法，其特征在于，所述M为25，所述N为5。
CN201810194220.0A 2018-03-09 2018-03-09 基于脸部特征点定位的疲劳状态检测方法 Active CN108742656B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201810194220.0A CN108742656B (zh) 2018-03-09 2018-03-09 基于脸部特征点定位的疲劳状态检测方法
PCT/CN2018/115772 WO2019169896A1 (zh) 2018-03-09 2018-11-16 基于脸部特征点定位的疲劳状态检测方法
EP18908483.3A EP3742328A4 (en) 2018-03-09 2018-11-16 METHOD OF FATIGUE DETECTION BASED ON THE POSITIONING OF A FACIAL FEATURE POINT

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810194220.0A CN108742656B (zh) 2018-03-09 2018-03-09 基于脸部特征点定位的疲劳状态检测方法

Publications (2)

Publication Number Publication Date
CN108742656A CN108742656A (zh) 2018-11-06
CN108742656B true CN108742656B (zh) 2021-06-08

Family

ID=63980181

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810194220.0A Active CN108742656B (zh) 2018-03-09 2018-03-09 基于脸部特征点定位的疲劳状态检测方法

Country Status (3)

Country Link
EP (1) EP3742328A4 (zh)
CN (1) CN108742656B (zh)
WO (1) WO2019169896A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108742656B (zh) * 2018-03-09 2021-06-08 华南理工大学 基于脸部特征点定位的疲劳状态检测方法
CN111012353A (zh) * 2019-12-06 2020-04-17 西南交通大学 一种基于人脸关键点识别的身高检测方法
CN112633084B (zh) * 2020-12-07 2024-06-11 深圳云天励飞技术股份有限公司 人脸框确定方法、装置、终端设备及存储介质
CN112541433B (zh) * 2020-12-11 2024-04-19 中国电子技术标准化研究院 一种基于注意力机制的两阶段人眼瞳孔精确定位方法
CN113191231A (zh) * 2021-04-21 2021-07-30 栈鹿(上海)教育科技有限公司 疲劳状态下的安全驾驶方法
CN113397544B (zh) * 2021-06-08 2022-06-07 山东第一医科大学附属肿瘤医院(山东省肿瘤防治研究院、山东省肿瘤医院) 一种病患情绪监测方法及系统
CN116467739A (zh) * 2023-03-30 2023-07-21 江苏途途网络技术有限公司 一种计算机大数据存储系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6927694B1 (en) * 2001-08-20 2005-08-09 Research Foundation Of The University Of Central Florida Algorithm for monitoring head/eye motion for driver alertness with one camera
CN101692980A (zh) * 2009-10-30 2010-04-14 吴泽俊 疲劳驾驶检测方法
WO2018113680A1 (en) * 2016-12-23 2018-06-28 Hong Kong Baptist University Method and apparatus for eye gaze tracking and detection of fatigue

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPQ896000A0 (en) * 2000-07-24 2000-08-17 Seeing Machines Pty Ltd Facial image processing system
CN104504856A (zh) * 2014-12-30 2015-04-08 天津大学 基于Kinect及人脸识别的疲劳驾驶检测方法
CN104809482A (zh) * 2015-03-31 2015-07-29 南京大学 一种基于个体学习的疲劳检测方法
CN106250801A (zh) * 2015-11-20 2016-12-21 北汽银翔汽车有限公司 基于人脸检测和人眼状态识别的疲劳检测方法
CN106846734B (zh) * 2017-04-12 2019-04-16 南京理工大学 一种疲劳驾驶检测装置及方法
CN107563346A (zh) * 2017-09-20 2018-01-09 南京栎树交通互联科技有限公司 一种基于人眼图像处理实现驾驶员疲劳判别的方法
CN108742656B (zh) * 2018-03-09 2021-06-08 华南理工大学 基于脸部特征点定位的疲劳状态检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6927694B1 (en) * 2001-08-20 2005-08-09 Research Foundation Of The University Of Central Florida Algorithm for monitoring head/eye motion for driver alertness with one camera
CN101692980A (zh) * 2009-10-30 2010-04-14 吴泽俊 疲劳驾驶检测方法
WO2018113680A1 (en) * 2016-12-23 2018-06-28 Hong Kong Baptist University Method and apparatus for eye gaze tracking and detection of fatigue

Also Published As

Publication number Publication date
WO2019169896A1 (zh) 2019-09-12
CN108742656A (zh) 2018-11-06
EP3742328A1 (en) 2020-11-25
EP3742328A4 (en) 2021-12-08

Similar Documents

Publication Publication Date Title
CN108742656B (zh) 基于脸部特征点定位的疲劳状态检测方法
WO2017036160A1 (zh) 人脸识别的眼镜消除方法
WO2020098038A1 (zh) 瞳孔跟踪图像处理方法
CN105224285A (zh) 眼睛开闭状态检测装置和方法
CN107895157B (zh) 一种低分辨率图像虹膜中心精确定位的方法
JP2010068848A (ja) 眠気判定装置及びプログラム
JP2008234208A (ja) 顔部位検出装置及びプログラム
JP2008146172A (ja) 眼部検出装置、眼部検出方法及びプログラム
CN111062292B (zh) 一种疲劳驾驶检测装置与方法
CN108108651B (zh) 基于视频人脸分析的驾驶员非专心驾驶检测方法及系统
CN106650574A (zh) 基于PCANet的人脸识别方法
WO2020125318A1 (zh) 青光眼图像识别方法、设备和诊断系统
CN109711239B (zh) 基于改进混合增量动态贝叶斯网络的视觉注意力检测方法
CN108960071A (zh) 一种睁眼闭眼状态检测方法
Luo et al. The driver fatigue monitoring system based on face recognition technology
CN113947807B (zh) 一种基于无监督的眼底影像异常识别方法及系统
CN112183502A (zh) 驾驶员的驾驶状态确定方法、计算机存储介质及电子设备
CN108154483A (zh) 图像处理装置、图像处理方法以及记录介质
CN106557745A (zh) 基于最大类间方差及伽马变换的人体眼球检测方法及系统
JP5139470B2 (ja) 眠気度推定装置および眠気度推定方法
CN108921010A (zh) 一种瞳孔检测方法及检测装置
JP2011152218A (ja) 開眼度判定装置及び開眼度判定方法
JP2004192552A (ja) 開閉眼判定装置
WO2017159215A1 (ja) 情報処理装置及び情報処理方法
Zhao et al. Fast localization algorithm of eye centers based on improved hough transform

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant