CN112434611A - 基于眼部运动细微特征的早期疲劳检测方法及系统 - Google Patents

基于眼部运动细微特征的早期疲劳检测方法及系统 Download PDF

Info

Publication number
CN112434611A
CN112434611A CN202011340546.3A CN202011340546A CN112434611A CN 112434611 A CN112434611 A CN 112434611A CN 202011340546 A CN202011340546 A CN 202011340546A CN 112434611 A CN112434611 A CN 112434611A
Authority
CN
China
Prior art keywords
blink
frame
sequence
eye movement
fatigue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011340546.3A
Other languages
English (en)
Other versions
CN112434611B (zh
Inventor
纪庆革
谢宇光
单广威
印鉴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Sun Yat Sen University
Original Assignee
National Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Sun Yat Sen University filed Critical National Sun Yat Sen University
Priority to CN202011340546.3A priority Critical patent/CN112434611B/zh
Publication of CN112434611A publication Critical patent/CN112434611A/zh
Application granted granted Critical
Publication of CN112434611B publication Critical patent/CN112434611B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明涉及计算机视觉及视频分析技术领域，为基于眼部运动细微特征的早期疲劳检测方法及系统，其方法包括：检测出视频帧序列的人脸位置图像、人脸特征点位置；识别出帧序列中的眨眼帧序列以及眼球运动帧序列，将视频帧序列划分为眨眼与眼球运动交替的帧序列；获取关于每次眨眼的眨眼信息特征、眼球运动信息特征，并融合、组合为眼部运动细微特征序列；训练基于时序的神经网络模型得到疲劳程度检测模型；将需要预测的视频帧序列进行处理，获得人员的眼部运动细微特征序列，输入到疲劳程度检测模型中，判断出当前人员的疲劳程度。本发明可有效检测视频序列中人员的疲劳程度，检测结果包括：清醒、早期疲劳、疲劳，实现早期疲劳的检测。

Description

基于眼部运动细微特征的早期疲劳检测方法及系统
技术领域
本发明涉及计算机视觉及视频分析技术领域，特别涉及一种基于眼部运动细微特征的早期疲劳检测方法及系统。
背景技术
疲劳检测技术在驾驶、高危作业等多种场景下均有重要的作用，及时的疲劳检测及警告能够有效防止交通意外或高危作业安全事故的发生。研究表明，驾驶员在长时间行驶后，对自我疲劳程度的感知能力会下降；在一些高危工作场景，工人在缺少睡眠的情况下，工作效率会下降，且有更高的安全风险。
目前主流的疲劳检测技术主要基于三种指标：分别是操作行为指标、生理信号指标、脸部反应指标。其中，操作行为指标往往需要在多个操作流程中植入传感器，如驾驶操作的刹车、加速、方向盘转动等等，这些传感器往往需要较高的成本；生理信号指标需要对人员的头部、身体等部位放置信号采集器，这种采集器往往是侵入式的，会对人员的正常行为造成一定影响；脸部反应指标主要通过朝向脸部的视频进行采集，如眼睛闭合程度、眨眼频率等，采集过程只需通过在人员的座位正前方摆放摄像头并进行视频录制即可，有成本低、泛用性强等优点。
目前基于脸部反应指标的疲劳检测技术，其主要基于比较明显的疲劳特征，如基于PERCLOS(眼睛闭合时间占特定时长百分比)的疲劳检测技术、基于哈欠检测的疲劳检测技术等。但意外事故的发生与这些明显的疲劳特征的出现之间的时间间隔往往很短，这些疲劳检测技术无法很好的对早期疲劳进行检测。
发明内容
为了解决现有技术所存在的问题，本发明提供一种基于眼部运动细微特征的早期疲劳检测方法及系统，通过对视频序列中眼部运动细微特征(如眨眼信息、眼球运动信息)的分析提取，本发明可以有效地检测视频序列中人员的疲劳程度，检测结果将输出三种：清醒、早期疲劳、疲劳，实现早期疲劳的检测。
根据本发明的基于眼部运动细微特征的早期疲劳检测方法，包括以下步骤：
S1、按序从视频帧序列中读取出每帧图像信息，然后使用人脸检测算法检测出每一帧的人脸位置图像，再通过人脸位置图像及人脸特征点检测算法，检测出对应该帧的人脸特征点位置；
S2、获得视频帧序列的若干帧人脸特征点位置后，通过眨眼检测算法，识别出这些帧序列中的眨眼帧序列以及眼球运动帧序列，两次眨眼帧序列之间的帧序列即为眼球运动帧序列，从而将视频帧序列划分为眨眼与眼球运动交替的帧序列；
S3、对得到的每段眨眼帧序列，应用眨眼特征提取算法，获取关于每次眨眼的眨眼信息特征；
S4、对得到的每段眼球运动帧序列，应用眼球运动信息提取算法，获取每次眨眼间的眼球运动信息特征；
S5、将眨眼信息特征与眼球运动信息特征融合为眼部运动细微特征，并以时间序列的方式组合作为眼部运动细微特征序列；
S6、对视频训练数据集，通过上述步骤S1-S5提取每个视频的眼部运动细微特征序列，存入到基于时序的神经网络模型中进行训练学习，得到疲劳程度检测模型；
S7、对需要预测的视频，将相应的视频帧序列通过步骤S1-S5进行处理，获得视频帧序列中人员的眼部运动细微特征序列；然后将该视频帧序列输入到训练好的疲劳程度检测模型中，疲劳程度检测模型判断出人员的眼部运动模式属于哪种疲劳程度的运动模式，从而判断出当前人员的疲劳程度。
根据本发明的基于眼部运动细微特征的早期疲劳检测系统，包括：
特征提取模块，用于按序从视频帧序列中读取出每帧图像信息，然后检测出每一帧的人脸位置图像，再通过人脸位置图像及人脸特征点检测算法，检测出人脸特征点；得到对应视频序列的人脸特征点帧序列后，再通过眨眼检测算法，识别出这些帧序列中，眨眼帧序列以及眼球运动帧序列，从而将视频帧序列划分为眨眼与眼球运动交替的帧序列；对每次的眨眼帧序列应用眨眼特征提取算法，获取关于每次眨眼的眨眼信息特征，对眼球运动帧序列应用眼球运动信息提取算法，获取每次眨眼间的眼球运动信息特征；最后将眨眼信息特征与眼球运动信息特征融合为眼部运动细微特征，以时间序列的方式组合作为眼部运动细微特征序列；
基于时序的神经网络模型训练模块，首先使用已标记疲劳程度的视频训练数据集，对每个视频帧序列采用所述特征提取模块进行处理，获得每个视频帧序列的眼部运动细微特征序列，并将其疲劳程度作为标签值；然后对神经网络模型输入这些眼部运动细微特征序列及其对应的标签值进行训练，获得输入为眼部运动细微特征序列、输出为相应疲劳程度的疲劳程度检测模型；
疲劳程度检测模块，输入需要预测疲劳程度的一段视频帧序列，通过所述特征提取模块进行处理，获得该视频帧序列的眼部运动细微特征序列；然后，将该眼部运动细微特征序列输入到训练好的疲劳程度检测模型中，获得疲劳程度的输出值。
相对于现有技术，本发明具有如下的优点及效果：
1、本发明针对每一次眨眼，提取了眨眼持续时间、眨眼幅度、眨眼速度、眨眼频率作为眨眼信息特征，针对每两次眨眼间的眼球运动过程，提取了眼球运动持续时间、注视持续时间、平滑追踪持续时间、跳视速度、平滑追踪速度作为眼球运动信息特征。由于提取了这些眼部运动细微特征，使神经网络模型能够关注到足够多的早期疲劳信息，进而能够有效检测出早期疲劳状态。
2、本发明提出了一种眼动信息提取算法，其采用基于眼睛虹膜两侧边缘垂直线位置进行定位，每帧获得共4个垂直线定位点，而现有的瞳孔中心法每帧仅获得2个瞳孔定位点，通过帧差信息，4个定位点相比2个定位点更容易排除异常值，且只需要有1个定位点的帧差信息准确即可准确计算该帧位移，其余3个定位点的帧差信息可以用作排错或推导。因此基于眼睛虹膜两侧边缘垂直线定位的方法具有更高的准确率和稳定性。
3、本发明对眼球运动模式进行了细分判别，在眼球运动提取算法中，针对眼球运动不同帧位移的大小，根据不同阈值划分为3种模式，分别为注视模式、平滑追踪模式、跳视模式，充分描述眼球运动状态，可以更好地识别不同疲劳程度下的不同眼球运动模式，进而提高疲劳程度检测的准确率。
4、本发明采用基于时序的神经网络模型(如LSTM模型)，其能够有效提取视频序列中眼部运动细微特征序列间的时序信息，即每次眨眼、眼球运动间的时序信息，提高疲劳程度检测的准确率。
附图说明
图1是基于眼部运动细微特征的早期疲劳检测算法流程图；
图2是眨眼特征提取算法流程图；
图3是眼球运动信息提取算法流程图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例
如图1所示，本实施例中基于眼部运动细微特征的早期疲劳检测方法步骤如下：
S1、按序从视频帧序列中读取出每帧图像信息，然后使用人脸检测算法检测出每一帧的人脸位置图像，再通过人脸位置图像及人脸68特征点检测算法，检测出对应该帧的人脸68特征点位置。此处提及的人脸检测算法和人脸特征点检测算法可以通过dlib库获得。
S2、获得视频帧序列的若干帧人脸特征点位置后，通过眨眼检测算法，识别出这些帧序列中的眨眼帧序列以及眼球运动帧序列，两次眨眼帧序列之间的帧序列即为眼球运动帧序列，从而可以将视频帧序列划分为眨眼与眼球运动交替的帧序列。其中，眨眼与眼球运动交替的顺序可以为“眨眼，眼球运动，眨眼，……，眨眼，眼球运动，眨眼”。
本步骤中的眨眼检测算法，采用当前帧加上当前帧前后各6帧(共13帧)的EAR(eyeaspect ratio，眼睛宽高比)作为特征，训练SVM分类器；然后使用训练好的SVM分类器进行眨眼检测。眼睛宽高比EAR可以通过包围眼睛的6个特征点通过下方公式计算：
Figure BDA0002798470280000041
S3、对得到的每段眨眼帧序列，应用眨眼特征提取算法，获取关于每次眨眼的眨眼信息特征。
如图2所示，根据步骤S2的眨眼检测算法获得眨眼帧序列，利用眨眼特征提取算法找到眨眼序列帧中EAR值最低的帧作为眨眼当前帧；然后向所述眨眼当前帧的前后两个方向分别查找对应EAR极大值的帧，前方向的则为眨眼开始帧，后方向的为眨眼结束帧；最终计算出单次眨眼的眨眼特征，包括：眨眼持续时间、眨眼幅度、眨眼速度及眨眼频率。各眨眼特征的计算公式如下方所示，其中眨眼频率中的单位时间可以设定为最近10秒；若该次眨眼发生时间距离视频开始时间的间隔时间未达到单位时间，则此次计算中，单位时间取为该间隔时间。
Figure BDA0002798470280000042
Figure BDA0002798470280000043
Figure BDA0002798470280000044
Figure BDA0002798470280000045
S4、对得到的每段眼球运动帧序列，应用眼球运动信息提取算法，获取每次眨眼间的眼球运动信息特征，包括：眼球运动持续时间、注视持续时间、平滑追踪持续时间、跳视速度和平滑追踪速度。
如图3所示，首先求得每帧对应的眼睛虹膜的两侧边缘垂直线位置，再根据人脸特征点中对应眼睛角点的位置，求得边缘的相对水平坐标，然后根据帧差信息，利用稳定的那端垂直线来计算眼球运动信息特征。各特征的计算公式如下方所示，其中眼球运动的模式包括：注视模式、平滑追踪模式、跳视模式。按照位移值的大小，定义0<注视阈值<平滑追踪阈值<跳视阈值，根据连续两帧的位移与各阈值进行比较，将两帧中的后一帧视为相应模式的眼球运动帧。
Figure BDA0002798470280000051
Figure BDA0002798470280000052
Figure BDA0002798470280000053
Figure BDA0002798470280000054
Figure BDA0002798470280000055
S5、将眨眼信息特征与眼球运动信息特征融合为眼部运动细微特征，并以时间序列的方式组合作为眼部运动细微特征序列，融合后的单个特征包括：眨眼持续时间、眨眼幅度、眨眼速度、眨眼频率、眼球运动持续时间、注视持续时间、平滑追踪持续时间、跳视速度及平滑追踪速度。
一段视频帧序列将获取多个眼部运动细微特征。人在疲劳状态下，眨眼会呈现一定的规律模式，如连续的快速眨眼、偶发的长时间闭合眨眼等；此外，人的目光也会趋于呆滞，呈现为眼球运动速度下降，注视时间延长等。因此利用前面定义的眼部运动细微特征，可以刻画出人在不同疲劳状态下的眼部运动表现特征。
S6、对收集的已打上人工标签的视频训练数据集，通过上述步骤S1-S5提取每个视频的眼部运动细微特征序列，存入到基于时序的神经网络模型中进行训练学习，经过一定量数据的多轮模型训练后，神经网络模型通过数据学习到人员在不同疲劳程度下的眼部运动模式，进而得到疲劳程度检测模型。
神经网络模型的搭建方式如下：
第一层：9*16的全连接层，输入9维向量，输出16维向量；
第二层：长短期记忆层(LSTM，Long Short-Term Memory)，隐层尺寸设定为16，输入50*16维向量，输出50*16维向量，再将输出压平为800维向量；
第三层：线性回归层，输入800维向量，输出1维标量。
神经网络模型的训练方式为：
数据预处理：对于单一视频的若干眼部运动细微特征序列，每50个眼部运动细微特征序列作为一组数据，采用滑动窗口的方法，步长设定为2，则每滑动2个步长，作为新的一组数据；而对于视频中特征序列不足50个的情况，对空白数据采用0值填充。最后得到来源于不同视频的n组数据，数据维度为n*50*9，标签维度为n*1。此外，清醒、早期疲劳、疲劳的数据标签值分别记为0、0.5、1。
损失函数设定为：
Figure BDA0002798470280000061
其中N为特征输入序列数，outi为第i个数据经过模型的输出值，labeli为第i个数据的标签值。此外，为防止过拟合，采用L2正则化的方式限制模型权重，其中，W1为全连接层的权重矩阵，W2为线性回归层的权重矩阵。学习率设定为0.01；迭代轮数设定为60；批大小设定为512。
S7、对需要预测的视频，将相应的视频帧序列通过步骤S1-S5进行处理，获得视频帧序列中人员的眼部运动细微特征序列；然后将该视频帧序列输入到训练好的疲劳程度检测模型中，疲劳程度检测模型将通过此前学习到的知识判断出人员的眼部运动模式属于哪种疲劳程度的运动模式，从而判断出当前人员的疲劳程度。具体表现为疲劳程度检测模型将眼部运动细微特征序列作为输入，输出一个0～1范围的输出值，最后根据以下公式得到人员的疲劳程度。
Figure BDA0002798470280000062
疲劳程度的取值范围在0～1之间。
基于相同的发明构思，本实施例还提供基于眼部运动细微特征的早期疲劳检测系统，包括特征提取模块、基于时序的神经网络模型训练模块及疲劳程度检测模块。
在特征提取模块中，首先按序从视频帧序列中读取出每帧图像信息，然后检测出每一帧的人脸位置图像，再通过人脸位置图像及人脸特征点检测算法，检测出人脸特征点。此时，已得到对应视频序列的人脸特征点帧序列，再通过眨眼检测算法，识别出这些帧序列中，眨眼帧序列以及眼球运动帧序列，从而将视频帧序列划分为眨眼与眼球运动交替的帧序列。此后，对每次的眨眼帧序列应用眨眼特征提取算法，获取关于每次眨眼的眨眼信息特征，对眼球运动帧序列应用眼球运动信息提取算法，获取每次眨眼间的眼球运动信息特征。最后，将眨眼信息特征与眼球运动信息特征融合为眼部运动细微特征，以时间序列的方式组合作为眼部运动细微特征序列。
在基于时序的神经网络模型训练模块中，首先使用已标记疲劳程度(如清醒、早期疲劳、疲劳)的视频训练数据集，对每个视频帧序列采用上述特征提取模块进行处理，获得每个视频帧序列的眼部运动细微特征序列，并将其疲劳程度作为标签值；然后对神经网络模型输入这些眼部运动细微特征序列及其对应的标签值进行训练，经过一定量数据的多轮模型训练后，可获得输入为眼部运动细微特征序列、输出为相应疲劳程度的疲劳程度检测模型。
而疲劳程度检测模块中，输入需要预测疲劳程度的一段视频帧序列，通过上述特征提取模块进行处理，获得该视频帧序列的眼部运动细微特征序列；然后，将该眼部运动细微特征序列输入到训练好的疲劳程度检测模型中，获得疲劳程度的输出值。
与本实施例的早期疲劳检测方法相同，本实施例的早期疲劳检测系统中，所采用的眨眼检测算法首先通过包围眼睛部位的6个特征点的位置计算出每帧图像每个眼睛的EAR(eye aspect ratio，眼睛宽高比)，然后对两只眼睛的EAR求平均值。此后，使用滑动窗口的方式，对包含当前帧前后的若干连续帧EAR放入预训练好的SVM分类器中进行分类，识别出当前帧是否为眨眼帧，若是则将这些连续帧作为眨眼序列帧。获得一系列眨眼序列帧后，则每两个相邻的眨眼序列帧之间的序列帧则为眼球运动序列帧。
同样的，眨眼信息提取算法首先通过眨眼检测算法获得眨眼帧序列，然后通过找到该段眨眼序列帧中眼睛宽高比EAR最低值的帧作为眨眼当前帧，然后向其前后两个方向分别查找对应EAR极大值的帧，前方向的则为眨眼开始帧，后方向的为眨眼结束帧。此外，通过眨眼检测算法可以获得最近若干帧中发生眨眼的次数。通过前述信息则可以计算出单次眨眼的眨眼持续时间、眨眼幅度、眨眼速度、眨眼频率等特征。
同样的，眼球运动信息提取算法首先通过包围眼睛部位的6个特征点的位置计算出眼睛的包围矩形和包围多边形，针对包围多边形进行灰度二值化及形态学相关的图像处理，获得呈现眼球巩膜和虹膜的二值化图像，其中虹膜区域为黑色，巩膜部分为白色，此外，针对眼睛的包围矩形图像区域，其包围多边形以外的区域也处理为白色。此后，使用竖线扫描法从左到右扫描呈现眼球巩膜和虹膜的二值化图像，获取到虹膜的左右两端边缘垂直线的水平坐标(对于被眼角遮盖的边缘，取其眼角坐标)。最后，通过分析每段眼球运动序列帧中，相邻帧的虹膜边缘垂直线与眼睛角点的相对坐标信息，判断眼球的帧位移与不同眼球运动模式阈值之间的大小关系，可以计算出单次眼球运动过程的眼球运动持续时间、注视持续时间、平滑追踪持续时间、跳视速度、平滑追踪速度等特征。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.基于眼部运动细微特征的早期疲劳检测方法，其特征在于，包括以下步骤：
S1、按序从视频帧序列中读取出每帧图像信息，然后使用人脸检测算法检测出每一帧的人脸位置图像，再通过人脸位置图像及人脸特征点检测算法，检测出对应该帧的人脸特征点位置；
S2、获得视频帧序列的若干帧人脸特征点位置后，通过眨眼检测算法，识别出这些帧序列中的眨眼帧序列以及眼球运动帧序列，两次眨眼帧序列之间的帧序列即为眼球运动帧序列，从而将视频帧序列划分为眨眼与眼球运动交替的帧序列；
S3、对得到的每段眨眼帧序列，应用眨眼特征提取算法，获取关于每次眨眼的眨眼信息特征；
S4、对得到的每段眼球运动帧序列，应用眼球运动信息提取算法，获取每次眨眼间的眼球运动信息特征；
S5、将眨眼信息特征与眼球运动信息特征融合为眼部运动细微特征，并以时间序列的方式组合作为眼部运动细微特征序列；
S6、对视频训练数据集，通过上述步骤S1-S5提取每个视频的眼部运动细微特征序列，存入到基于时序的神经网络模型中进行训练学习，得到疲劳程度检测模型；
S7、对需要预测的视频，将相应的视频帧序列通过步骤S1-S5进行处理，获得视频帧序列中人员的眼部运动细微特征序列；然后将该视频帧序列输入到训练好的疲劳程度检测模型中，疲劳程度检测模型判断出人员的眼部运动模式属于哪种疲劳程度的运动模式，从而判断出当前人员的疲劳程度。
2.根据权利要求1所述的早期疲劳检测方法，其特征在于，步骤S2中的眨眼检测算法，采用当前帧加上当前帧前后各6帧的眼睛宽高比EAR作为特征，训练SVM分类器；然后使用训练好的SVM分类器进行眨眼检测。
3.根据权利要求1所述的早期疲劳检测方法，其特征在于，步骤S3中，利用眨眼特征提取算法找到眨眼序列帧中眼睛宽高比EAR值最低的帧作为眨眼当前帧；再向所述眨眼当前帧的前后两个方向分别查找对应眼睛宽高比EAR极大值的帧，前方向的则为眨眼开始帧，后方向的为眨眼结束帧；最终计算出单次眨眼的眨眼特征，包括：眨眼持续时间、眨眼幅度、眨眼速度及眨眼频率。
4.根据权利要求3所述的早期疲劳检测方法，其特征在于，各眨眼特征的计算公式为：
Figure FDA0002798470270000011
Figure FDA0002798470270000021
Figure FDA0002798470270000022
Figure FDA0002798470270000023
其中，眨眼频率中的单位时间设定为最近若干秒；若该次眨眼发生时间距离视频开始时间的间隔时间未达到单位时间，则此次计算中，单位时间取为该间隔时间。
5.根据权利要求1所述的早期疲劳检测方法，其特征在于，步骤S4中，首先求得每帧对应的眼睛虹膜的两侧边缘垂直线位置，再根据人脸特征点中对应眼睛角点的位置，求得边缘的相对水平坐标，然后根据帧差信息，利用稳定的那端垂直线来计算眼球运动信息特征。
6.根据权利要求3所述的早期疲劳检测方法，其特征在于，步骤S4中眼球运动信息特征，包括：眼球运动持续时间、注视持续时间、平滑追踪持续时间、跳视速度和平滑追踪速度；眼球运动的模式包括：注视模式、平滑追踪模式、跳视模式；
Figure FDA0002798470270000024
Figure FDA0002798470270000025
Figure FDA0002798470270000026
Figure FDA0002798470270000027
Figure FDA0002798470270000028
其中，0<注视阈值<平滑追踪阈值<跳视阈值。
7.根据权利要求1所述的早期疲劳检测方法，其特征在于，步骤S5中融合后的单个特征包括：眨眼持续时间、眨眼幅度、眨眼速度、眨眼频率、眼球运动持续时间、注视持续时间、平滑追踪持续时间、跳视速度及平滑追踪速度。
8.根据权利要求1所述的早期疲劳检测方法，其特征在于，步骤S7中疲劳程度的计算方式为：
Figure FDA0002798470270000031
疲劳程度的取值范围在0～1之间。
9.基于眼部运动细微特征的早期疲劳检测系统，其特征在于，包括：
特征提取模块，用于按序从视频帧序列中读取出每帧图像信息，然后检测出每一帧的人脸位置图像，再通过人脸位置图像及人脸特征点检测算法，检测出人脸特征点；得到对应视频序列的人脸特征点帧序列后，再通过眨眼检测算法，识别出这些帧序列中，眨眼帧序列以及眼球运动帧序列，从而将视频帧序列划分为眨眼与眼球运动交替的帧序列；对每次的眨眼帧序列应用眨眼特征提取算法，获取关于每次眨眼的眨眼信息特征，对眼球运动帧序列应用眼球运动信息提取算法，获取每次眨眼间的眼球运动信息特征；最后将眨眼信息特征与眼球运动信息特征融合为眼部运动细微特征，以时间序列的方式组合作为眼部运动细微特征序列；
基于时序的神经网络模型训练模块，首先使用已标记疲劳程度的视频训练数据集，对每个视频帧序列采用所述特征提取模块进行处理，获得每个视频帧序列的眼部运动细微特征序列，并将其疲劳程度作为标签值；然后对神经网络模型输入这些眼部运动细微特征序列及其对应的标签值进行训练，获得输入为眼部运动细微特征序列、输出为相应疲劳程度的疲劳程度检测模型；
疲劳程度检测模块，输入需要预测疲劳程度的一段视频帧序列，通过所述特征提取模块进行处理，获得该视频帧序列的眼部运动细微特征序列；然后，将该眼部运动细微特征序列输入到训练好的疲劳程度检测模型中，获得疲劳程度的输出值。
10.根据权利要求9所述的早期疲劳检测系统，其特征在于，
特征提取模块中，眨眼信息提取算法首先通过眨眼检测算法获得眨眼帧序列，然后通过找到该段眨眼序列帧中眼睛宽高比EAR最低值的帧作为眨眼当前帧，然后向其前后两个方向分别查找对应眼睛宽高比EAR极大值的帧，前方向的则为眨眼开始帧，后方向的为眨眼结束帧；通过眨眼检测算法获得最近若干帧中发生眨眼的次数；计算出单次眨眼的眨眼持续时间、眨眼幅度、眨眼速度、眨眼频率；
眼球运动信息提取算法首先通过包围眼睛部位的多个特征点的位置计算出眼睛的包围矩形和包围多边形，针对包围多边形进行灰度二值化及形态学相关的图像处理，获得呈现眼球巩膜和虹膜的二值化图像，其中虹膜区域为黑色，巩膜部分为白色，针对眼睛的包围矩形图像区域，其包围多边形以外的区域也处理为白色；使用竖线扫描法从左到右扫描呈现眼球巩膜和虹膜的二值化图像，获取到虹膜的左右两端边缘垂直线的水平坐标；最后，通过分析每段眼球运动序列帧中，相邻帧的虹膜边缘垂直线与眼睛角点的相对坐标信息，判断眼球的帧位移与不同眼球运动模式阈值之间的大小关系，计算出单次眼球运动过程的眼球运动持续时间、注视持续时间、平滑追踪持续时间、跳视速度、平滑追踪速度。
CN202011340546.3A 2020-11-25 2020-11-25 基于眼部运动细微特征的早期疲劳检测方法及系统 Active CN112434611B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011340546.3A CN112434611B (zh) 2020-11-25 2020-11-25 基于眼部运动细微特征的早期疲劳检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011340546.3A CN112434611B (zh) 2020-11-25 2020-11-25 基于眼部运动细微特征的早期疲劳检测方法及系统

Publications (2)

Publication Number Publication Date
CN112434611A true CN112434611A (zh) 2021-03-02
CN112434611B CN112434611B (zh) 2023-04-07

Family

ID=74697758

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011340546.3A Active CN112434611B (zh) 2020-11-25 2020-11-25 基于眼部运动细微特征的早期疲劳检测方法及系统

Country Status (1)

Country Link
CN (1) CN112434611B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113076885A (zh) * 2021-04-09 2021-07-06 中山大学 一种基于人眼动作特征的专注度分级方法及系统
CN113627256A (zh) * 2021-07-09 2021-11-09 武汉大学 基于眨眼同步及双目移动检测的伪造视频检验方法及系统
CN113693552A (zh) * 2021-08-24 2021-11-26 东莞市东全智能科技有限公司 视觉疲劳监测方法、装置、电子设备及可读存储介质
CN113885699A (zh) * 2021-09-03 2022-01-04 南京信息工程大学 一种眼标控制方法
CN114863545A (zh) * 2022-07-05 2022-08-05 之江实验室 基于DeepLabCut的自动眨眼检测方法和装置
CN116974370A (zh) * 2023-07-18 2023-10-31 深圳市本顿科技有限公司 一种防沉迷儿童学习平板电脑控制方法及系统
CN117253169A (zh) * 2023-09-27 2023-12-19 智点恒创(苏州)智能科技有限公司 高危行业的风险智能管控方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3081156A1 (en) * 2015-04-18 2016-10-19 Toyota Jidosha Kabushiki Kaisha Sleepiness detecting device
CN109886241A (zh) * 2019-03-05 2019-06-14 天津工业大学 基于长短期记忆网络的驾驶员疲劳检测
CN111985351A (zh) * 2020-07-29 2020-11-24 浙江大学 一种基于眼动的疲劳检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3081156A1 (en) * 2015-04-18 2016-10-19 Toyota Jidosha Kabushiki Kaisha Sleepiness detecting device
CN109886241A (zh) * 2019-03-05 2019-06-14 天津工业大学 基于长短期记忆网络的驾驶员疲劳检测
CN111985351A (zh) * 2020-07-29 2020-11-24 浙江大学 一种基于眼动的疲劳检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
KIM, DONGHYUN ET AL.: "Visual fatigue monitoring system based on eye-movement and eye-blink detection", 《PROCEEDINGS OF SPIE-IS&T ELECTRONIC IMAGING》 *
李启运 等: "FastFace: 实时鲁棒的人脸检测算法", 《中国图象图形学报》 *
陈鑫 等: "基于改进ASM的多特征融合疲劳检测方法", 《计算机工程与设计》 *
黄志亮: "基于深度学习的驾驶员疲劳检测技术研究", 《中国优秀博硕士学位论文全文数据库（硕士）工程科技II辑》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113076885A (zh) * 2021-04-09 2021-07-06 中山大学 一种基于人眼动作特征的专注度分级方法及系统
CN113076885B (zh) * 2021-04-09 2023-11-10 中山大学 一种基于人眼动作特征的专注度分级方法及系统
CN113627256A (zh) * 2021-07-09 2021-11-09 武汉大学 基于眨眼同步及双目移动检测的伪造视频检验方法及系统
CN113627256B (zh) * 2021-07-09 2023-08-18 武汉大学 基于眨眼同步及双目移动检测的伪造视频检验方法及系统
CN113693552A (zh) * 2021-08-24 2021-11-26 东莞市东全智能科技有限公司 视觉疲劳监测方法、装置、电子设备及可读存储介质
CN113885699A (zh) * 2021-09-03 2022-01-04 南京信息工程大学 一种眼标控制方法
CN113885699B (zh) * 2021-09-03 2023-12-01 南京信息工程大学 一种眼标控制方法
CN114863545A (zh) * 2022-07-05 2022-08-05 之江实验室 基于DeepLabCut的自动眨眼检测方法和装置
CN114863545B (zh) * 2022-07-05 2022-10-21 之江实验室 基于DeepLabCut的自动眨眼检测方法和装置
CN116974370A (zh) * 2023-07-18 2023-10-31 深圳市本顿科技有限公司 一种防沉迷儿童学习平板电脑控制方法及系统
CN116974370B (zh) * 2023-07-18 2024-04-16 深圳市本顿科技有限公司 一种防沉迷儿童学习平板电脑控制方法及系统
CN117253169A (zh) * 2023-09-27 2023-12-19 智点恒创(苏州)智能科技有限公司 高危行业的风险智能管控方法和系统

Also Published As

Publication number Publication date
CN112434611B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN112434611B (zh) 基于眼部运动细微特征的早期疲劳检测方法及系统
Mbouna et al. Visual analysis of eye state and head pose for driver alertness monitoring
Ji et al. Fatigue state detection based on multi-index fusion and state recognition network
Yan et al. Real-time driver drowsiness detection system based on PERCLOS and grayscale image processing
Dong et al. Driver inattention monitoring system for intelligent vehicles: A review
Tadesse et al. Driver drowsiness detection through HMM based dynamic modeling
Celona et al. A multi-task CNN framework for driver face monitoring
CN111616718B (zh) 基于姿态特征的驾驶员疲劳状态检测方法和系统
Nakamura et al. Detection of driver's drowsy facial expression
CN113989788A (zh) 一种基于深度学习和多指标融合的疲劳检测方法
Ursulescu et al. Driver drowsiness detection based on eye analysis
Devi et al. Fuzzy based driver fatigue detection
Yarlagadda et al. Driver drowsiness detection using facial parameters and rnns with lstm
Pandey et al. A survey on visual and non-visual features in Driver’s drowsiness detection
Yin et al. A driver fatigue detection method based on multi-sensor signals
Mašanović et al. Driver monitoring using the in-vehicle camera
Guo et al. Monitoring and detection of driver fatigue from monocular cameras based on Yolo v5
Diddi et al. Head pose and eye state monitoring (HEM) for driver drowsiness detection: Overview
Joseph et al. Real time drowsiness detection using Viola jones & KLT
Luo et al. Multi-model fusion on real-time drowsiness detection for telemetric robotics tracking applications
Xie et al. Revolutionizing Road Safety: YOLOv8-Powered Driver Fatigue Detection
Ahir et al. Driver inattention monitoring system: A review
CN113408389A (zh) 一种智能识别司机睡意动作的方法
Keyvanara et al. Robust real-time driver drowsiness detection based on image processing and feature extraction methods
Hu et al. Comprehensive driver state recognition based on deep learning and PERCLOS criterion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant