CN110097012A - 基于N-range图像处理算法的眼动参数监测的疲劳检测方法 - Google Patents

基于N-range图像处理算法的眼动参数监测的疲劳检测方法 Download PDF

Info

Publication number
CN110097012A
CN110097012A CN201910372052.4A CN201910372052A CN110097012A CN 110097012 A CN110097012 A CN 110097012A CN 201910372052 A CN201910372052 A CN 201910372052A CN 110097012 A CN110097012 A CN 110097012A
Authority
CN
China
Prior art keywords
eye
activation
pixel
column
standard deviation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910372052.4A
Other languages
English (en)
Other versions
CN110097012B (zh
Inventor
姚康
管凯捷
任谊文
付威威
董月芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Christie Qing Medical Technology Co Ltd
Original Assignee
Suzhou Christie Qing Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Christie Qing Medical Technology Co Ltd filed Critical Suzhou Christie Qing Medical Technology Co Ltd
Priority to CN201910372052.4A priority Critical patent/CN110097012B/zh
Publication of CN110097012A publication Critical patent/CN110097012A/zh
Application granted granted Critical
Publication of CN110097012B publication Critical patent/CN110097012B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Abstract

本发明公开了一种基于N‑range图像处理算法的眼动参数监测的疲劳检测方法，包括以下步骤：1)采集侧眼图像并预处理；2)通过十字交叉卷积核进行卷积操作，得到眼部的梯度激活图；3)对梯度激活图进行阈值分割，去除激活程度低于阈值的区域并置为0，其余区域保持不变；4)计算图像的列方向和行方向的标准差投影图；对标准差投影图采用平均值阈值分割法，保留大于平均值标准差所在的行序号和列序号，作为眼部的区域；5)计算矩形框的高宽比，判断睁、闭眼状态；6)疲劳状态分析。本发明具有平移旋转以及尺度不变形，且鲁棒性高，抗噪声能力与抗光照不均衡能力均较强，能提高疲劳检测的准确率。

Description

基于N-range图像处理算法的眼动参数监测的疲劳检测方法
技术领域
本发明涉及疲劳检测技术领域，特别涉及一种基于N-range图像处理算法的眼动参数监测的疲劳检测方法。
背景技术
疲劳是由于过度的体力或脑力劳动引起的一种生理现象，是人体正常的生理活动规律。在医学上，疲劳被定义为人体困顿、倦怠的感觉，是需要休息和放松的信号。疲劳主要表现为瞌睡，精力不集中，人体的正常反应减慢，交感神经活动减弱，副交感神经增强等。疲劳表现出来的某些生理、心理和行为科学指标可以通过实验来测定。比如，通过肌电图测定肌肉的疲劳现象，通过脑电图、闪光融合频率测定脑力疲劳现象，以及通过眼电图测定眼睛的视觉和眼睛疲劳等。
为提高作业的安全性，疲劳监测的相关研究方法主要有：基于生理的方法，通过分析驾驶员脑电图的变化；通过分析汽车转向轮上握力的变化、基于驾驶员头部行为的方法以及基于眼动的监测方法。其中基于眼动的方法，使用成本最低，监测效率较高。
目前基于眼动的疲劳监测方法均是利用PERCLOS理论并从正面采集人眼，并进行人眼特征提取。例如Tapan Pradhan(Dhar S,Pradhan T,Gupta S,et al.Implementationof real time Visual Attention Monitoring algorithm of human drivers on anembedded platform[C]//Students Technology Symposium.IEEE,2010)提出了一种基于主成分分析的监测方法。其将眼睛图像分为三个类别：完全睁开、部分睁开和完全闭眼。通过对图像提取主成分，并奇异值分解，分别计算三个类别的最大概率，从而判别当前人眼的状态。这种方法在状态判别上具有较高的准确度，但是实用性较低，将人眼只分为3个状态，丢失了大量的人眼微动作信息，在疲劳判决方面，准确率较低。目前基于眼动的疲劳监测方法普遍存在运算量大、鲁棒性低、准确率较低等缺陷。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于N-range图像处理算法的眼动参数监测的疲劳检测方法。本发明可用于穿戴式的疲劳检测设备中(如采用眼镜形式的疲劳监测设备)，对人眼图像进行分析，以最终实现疲劳状态判断。
为解决上述技术问题，本发明采用的技术方案是：一种基于N-range图像处理算法的眼动参数监测的疲劳检测方法，包括以下步骤：
1)采集侧眼图像，对图像进行灰度化处理和抗噪处理，得到预处理后的侧眼图像；
2)针对预处理后的侧眼图像，通过十字交叉卷积核进行卷积操作，得到眼部的梯度激活图；
3)对梯度激活图进行阈值分割，去除激活程度低于阈值的区域并置为0，其余区域保持不变；
4)计算所述步骤3)得到的图像的列方向和行方向的标准差投影图；对标准差投影图采用平均值阈值分割法，保留大于平均值标准差所在的行序号和列序号，作为眼部的区域，即行序号和列序号组成了一个矩形框，通过该矩形框分割出眼部区域；
5)计算所述步骤4)得到的矩形框的高宽比，通过将得到的高宽比的值与设定的睁闭眼阈值进行比较，判断睁、闭眼状态；
6)统计一段时间内的眼部图像，对每一张图像按上述步骤处理得到睁、闭眼状态，计算其闭眼的帧数占总帧数的百分比，当百分比大于设定的疲劳阈值时，判定为疲劳状态。
优选的是，所述步骤2)具体包括：采用十字交叉型的卷积核K，捕捉横纵方向上的绝对梯度和，卷积核K大小为N*N，N＝2*i+1，i＝1,2,3,4……，卷积核中心权重为0，上下两侧各为+1与-1，左右两侧各为+1与-1。
优选的是，所述卷积核K进行卷积激活的公式如下式(1)：
其中，Absolute表示对卷积激活的结果进行绝对值运算，m,n代表预处理后的侧眼图像中坐标位置为(m,n)的像素点；x[m,n]为像素点(m,n)的激活值，对预处理后的侧眼图像中的每一个像素点(m,n)，均与卷积核K进行半绝对卷积运算，从而得到眼部的梯度激活图。
优选的是，所述步骤3)中，采用OTSU算法对梯度激活图进行阈值分割：按照激活的特性将图像分成前景和背景两部分，背景和前景之间的类间方差越大，说明构成图像两部分的差别就越大；通过找到类间方差最大的分割，来凸显出激活区域的，而衰减非激活区域或遮蔽，即将非激活区域激活值置为0。
优选的是，所述步骤3)具体包括：
3-1)先计算梯度激活图的激活直方图，即将梯度激活图所有的像素点按照0～255共256个bin，统计落在每个bin的像素点数量；
3-2)归一化激活直方图，即将每个bin中像素点数量除以总的像素点；
3-3)用i表示分类的阈值，也即一个激活级，从0开始迭代；
3-4)通过归一化的激活直方图，统计0～i激活级的像素占整幅图像的比例w0，假设像素值在0～i范围的像素叫做前景像素，并统计前景像素的平均灰度u0；统计i～255激活级的像素占整幅图像的比例w1，假设像素值在i～255范围的像素叫做背景像素，并统计背景像素的平均激活u1；
3-5)按下式(2)计算前景像素和背景像素的方差，：
g＝w0*w1*(u0-u1)2 (2)
3-6)令i＝i+1；转到步骤3-4)进行迭代，直到i为256时结束迭代；
3-7)将最大g相应的i值作为梯度激活图的全局激活阈值，将激活值小于g的像素点的激活值置于0，其余区域保持不变。
优选的是，所述步骤4具体包括：
4-1)对所述步骤3)得到的图像，计算其列方向标准差投影图，然后对标准差投影图计算列平均标准差，记为CMSTD，并保留列标准差大于列平均标准差CMSTD的列的位置，具体计算公式如下式(3)和式(4)所示：
令所述步骤3)得到的图像共N列，n表示每列的像素数，x1,x2,x3...,xn表示这组像素的具体激活值：
则每列平均灰度：
每列标准差：
通过(3)和式(4)计算得到每列的标准差，然后计算得到所有列的标准差的平均值，即列平均标准差；
4-2)按照与上述步骤4-1)相同的方法，对激活图计算行方向标准差投影图，对标准差投影图计算行平均标准差，记为RMSTD，并保留行标准差大于RMSTD的行的位置；
4-3)将上述步骤4-1)和4-2)保留得到的行序号和列序号形成的区域作为眼部区域，即该行序号和列序号组成了一个包含眼部区域的矩形框。
优选的是，所述步骤5)具体包括：
先定义上下眼睑的最大距离为眼高H，侧眼的眼宽为W，眼高与眼宽的比值为眼部高宽比β，即设定睁闭眼阈值为βt；
然后根据步骤4)的结果，计算得到当前图像中矩形框的高宽比βx，若βx≥βt，则表示当前为睁眼状态，反之则为闭眼状态。
优选的是，其中，所述步骤5)中设定的睁闭眼阈值βt＝0.2，高宽比小于0.2时，为闭眼状态，反之则为睁眼状态。
优选的是，所述步骤6)中设定的疲劳阈值为0.37。
本发明的有益效果是：本发明的基于N-range图像处理算法的眼动参数监测的疲劳检测方法，具有平移旋转以及尺度不变形，且鲁棒性高，抗噪声能力与抗光照不均衡能力均较强，能提高疲劳检测的准确率。本发明由于是从侧面采集人眼，因此可以完全避免从人脸图像中再去提取人眼区域的步骤，降低了错误率并大幅提高了准确率。
附图说明
图1为本发明的基于N-range图像处理算法的眼动参数监测的疲劳检测方法的流程图；
图2为本发明的一种实施例中的卷积核K的结构示意图；
图3为本发明的一种实施例中的眼部区域分割结果示意图；
图4为本发明的一种实施例中的P80评测体系的原理示意图。
具体实施方式
下面结合实施例对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。
应当理解，本文所使用的诸如“具有”、“包含”以及“包括”术语并不排除一个或多个其它元件或其组合的存在或添加。
本实施例的一种基于N-range图像处理算法的眼动参数监测的疲劳检测方法，包括以下步骤：
1)采集侧眼图像，对图像进行灰度化处理和抗噪处理，得到预处理后的侧眼图像；
2)针对预处理后的侧眼图像，通过十字交叉卷积核进行卷积操作，得到眼部的梯度激活图；
3)对梯度激活图进行阈值分割，去除激活程度低于阈值的区域并置为0，其余区域保持不变；
4)计算所述步骤3)得到的图像的列方向和行方向的标准差投影图；对标准差投影图采用平均值阈值分割法，保留大于平均值标准差所在的行序号和列序号，作为眼部的区域，即行序号和列序号组成了一个包含眼部区域的矩形框；
5)计算所述步骤4)得到的矩形框的高宽比，通过将得到的高宽比的值与设定的睁闭眼阈值进行比较，判断睁、闭眼状态；
6)统计一段时间内的眼部图像，对每一张图像按上述步骤处理得到睁、闭眼状态，计算其闭眼的帧数占总帧数的百分比，当百分比大于设定的疲劳阈值时，判定为疲劳状态。
本发明可用于穿戴式的疲劳检测设备中(如采用眼镜形式的疲劳监测设备)，对人眼图像进行分析，以最终实现疲劳状态判断。本发明中可采用侧眼摄像头实时抓取使用者的侧眼部图像，通过图像处理方法得到侧眼眼睛区域的分割图像，并对所得的图像进行分析，确定设备使用者眼睛当前的状态，进而识别使用者的疲劳状态。本发明由于是从侧面采集人眼，因此可以完全避免从人脸图像中再去提取人眼区域的步骤，降低了错误率并大幅提高了准确率。
其中，图像经过灰度化处理和抗噪处理，能降低环境对图像的影响，确保图像的质量。
其中，眼部区域在横纵方向上均能产生较强的梯度变换，本实施例中提出了一种新型的卷积核K，捕捉横纵方向上的绝对梯度和。所述步骤2)具体包括：采用十字交叉型的卷积核K，捕捉横纵方向上的绝对梯度和，参照图2，卷积核K大小为N*N，N＝2*i+1，i＝1,2,3,4……，卷积核中心权重为0，上下两侧各为+1与-1，左右两侧各为+1与-1。所述卷积核K进行卷积激活的公式如下式(1)：
其中，Absolute表示对卷积激活的结果进行绝对值运算，m,n代表预处理后的侧眼图像中坐标位置为(m,n)的像素点；x[m,n]为像素点(m,n)的激活值，对预处理后的侧眼图像中的每一个像素点(m,n)，均与卷积核K进行半绝对卷积运算，从而得到眼部的梯度激活图。
其中，所述步骤3)中，采用OTSU算法对梯度激活图进行阈值分割：按照激活的特性将图像分成前景和背景两部分，背景和前景之间的类间方差越大，说明构成图像两部分的差别就越大；通过找到类间方差最大的分割，来凸显出激活区域的，而衰减非激活区域或遮蔽，即将非激活区域激活值置为0。所述步骤3)具体包括：
3-1)先计算梯度激活图的激活直方图，即将梯度激活图所有的像素点按照0～255共256个bin，统计落在每个bin的像素点数量；
3-2)归一化激活直方图，即将每个bin中像素点数量除以总的像素点；
3-3)用i表示分类的阈值，也即一个激活级，从0开始迭代；
3-4)通过归一化的激活直方图，统计0～i激活级的像素占整幅图像的比例w0，假设像素值在0～i范围的像素叫做前景像素，并统计前景像素的平均灰度u0；统计i～255激活级的像素占整幅图像的比例w1，假设像素值在i～255范围的像素叫做背景像素，并统计背景像素的平均激活u1；
3-5)按下式(2)计算前景像素和背景像素的方差，：
g＝w0*w1*(u0-u1)2 (2)
3-6)令i＝i+1；转到步骤3-4)进行迭代，直到i为256时结束迭代；
3-7)将最大g相应的i值作为梯度激活图的全局激活阈值，将激活值小于g的像素点的激活值置于0，其余区域保持不变。
其中，所述步骤4具体包括：
4-1)对所述步骤3)得到的图像，计算其列方向标准差投影图，然后对标准差投影图计算列平均标准差，记为CMSTD，并保留列标准差大于列平均标准差CMSTD的列的位置，具体计算公式如下式(3)和式(4)所示：
令所述步骤3)得到的图像共N列，n表示每列的像素数，x1,x2,x3...,xn表示这组像素的具体激活值：
则每列平均灰度：
每列标准差：
通过(3)和式(4)计算得到每列的标准差，然后计算得到所有列的标准差的平均值，即列平均标准差；
4-2)按照与上述步骤4-1)相同的方法，对激活图计算行方向标准差投影图，对标准差投影图计算行平均标准差，记为RMSTD，并保留行标准差大于RMSTD的行的位置；
4-3)将上述步骤4-1)和4-2)保留得到的行序号和列序号形成的区域作为眼部区域，即该行序号和列序号组成了一个包含眼部区域的矩形框。通过该矩形框实现眼部区域分割、
参照图3为一种实施例中眼部区域分割结果示意图，本方法具有平移旋转以及尺度不变形，且鲁棒性高，抗噪声能力与抗光照不均衡能力均较强。
在一种实施例中，所述步骤5)具体包括：
先定义上下眼睑的最大距离为眼高H，侧眼的眼宽为W，眼高与眼宽的比值为眼部高宽比β，即设定睁闭眼阈值为βt；
然后根据步骤4)的结果，计算得到当前图像中矩形框的高宽比βx，若βx≥βt，则表示当前为睁眼状态，反之则为闭眼状态。
在优选的实施例中，所述步骤5)中设定的睁闭眼阈值βt＝0.2，高宽比小于0.2时，为闭眼状态，反之则为睁眼状态。
本发明通过计算眼睛的高宽比表示眼睛状态，即使在实时监测过程中，因为剧烈的头部运动会使得穿戴式疲劳监测设备(如采用眼镜形式的疲劳监测设备)位移，眼睛的相对位置发生变化，但是眼部的高宽比例依然能够保持较稳定的数值，这是人眼构造特征所决定的。先定义上下眼睑的最大距离为眼高H，侧眼的眼宽为W，眼高与眼宽的比值为眼部高宽比β，即当人眼闭合时，上下眼睑重合，眼部高宽比β最小；反之人眼完全睁开时眼部高宽比β最大,通常情况下β的取值位于[0,2]之间。
在优选的实施例中，所述步骤6)中设定的疲劳阈值为0.37。
在一种实施例中，选择PERCLOS算法,并选择P80评测体系进行疲劳判断，即计算单位时间内眼睛闭合程度超过80％以上的时间占总时间的百分比。如图4所示，通过测量出，根据下式就能计算出疲劳程度(Fatigue Value，FV)值。
上式中,FV为眼睛闭合时间的百分率,即FV值；t1为眼睛最大瞳孔闭合到80％瞳孔所用时间；t2为眼睛最大瞳孔闭合到20％瞳孔所用时间；t3为眼睛最大瞳孔到下一次20％瞳孔睁开所用时间；t4为眼睛最大瞳孔到下一次80％瞳孔睁开所用时间。
当人从清醒状态逐渐进入疲劳状态时，由于困倦使得眼睛闭合的持续时间逐渐变长。因此，从清醒到疲劳的过程中，FV值会不断变大。当人员发生瞌睡时，眼睛完全处于闭合状态,FV值为1。查阅大量文献后发现，关于疲劳状态判定的FV值并没有固定的数值，其值应该根据采集方法与评估方法来设定。本发明通过大量实验和数据采集统计，发现绝大多数的疲劳阈值FV都在0.33-0.42之间。据此,本发明选择0.37作为判定疲劳状态的FV阈值。即设定的疲劳阈值为0.37，当一段时间内的FV值超过0.37时，判定人员为疲劳状态。
尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节。

Claims (9)

1.一种基于N-range图像处理算法的眼动参数监测的疲劳检测方法，其特征在于，包括以下步骤：
1)采集侧眼图像，对图像进行灰度化处理和抗噪处理，得到预处理后的侧眼图像；
2)针对预处理后的侧眼图像，通过十字交叉卷积核进行卷积操作，得到眼部的梯度激活图；
3)对梯度激活图进行阈值分割，去除激活程度低于阈值的区域并置为0，其余区域保持不变；
4)计算所述步骤3)得到的图像的列方向和行方向的标准差投影图；对标准差投影图采用平均值阈值分割法，保留大于平均值标准差所在的行序号和列序号，作为眼部的区域，即行序号和列序号组成了一个矩形框，通过该矩形框分割出眼部区域；
5)计算所述步骤4)得到的矩形框的高宽比，通过将得到的高宽比的值与设定的睁闭眼阈值进行比较，判断睁、闭眼状态；
6)统计一段时间内的眼部图像，对每一张图像按上述步骤处理得到睁、闭眼状态，计算其闭眼的帧数占总帧数的百分比，当百分比大于设定的疲劳阈值时，判定为疲劳状态。
2.根据权利要求1所述的基于N-range图像处理算法的眼动参数监测的疲劳检测方法，其特征在于，所述步骤2)具体包括：采用十字交叉型的卷积核K，捕捉横纵方向上的绝对梯度和，卷积核K大小为N*N，N＝2*i+1，i＝1,2,3,4……，卷积核中心权重为0，上下两侧各为+1与-1，左右两侧各为+1与-1。
3.根据权利要求2所述的基于N-range图像处理算法的眼动参数监测的疲劳检测方法，其特征在于，所述卷积核K进行卷积激活的公式如下式(1)：
其中，Absolute表示对卷积激活的结果进行绝对值运算，m,n代表预处理后的侧眼图像中坐标位置为(m,n)的像素点；x[m,n]为像素点(m,n)的激活值，对预处理后的侧眼图像中的每一个像素点(m,n)，均与卷积核K进行半绝对卷积运算，从而得到眼部的梯度激活图。
4.根据权利要求3所述的基于N-range图像处理算法的眼动参数监测的疲劳检测方法，其特征在于，所述步骤3)中，采用OTSU算法对梯度激活图进行阈值分割：按照激活的特性将图像分成前景和背景两部分，背景和前景之间的类间方差越大，说明构成图像两部分的差别就越大；通过找到类间方差最大的分割，来凸显出激活区域的，而衰减非激活区域或遮蔽，即将非激活区域激活值置为0。
5.根据权利要求4所述的基于N-range图像处理算法的眼动参数监测的疲劳检测方法，其特征在于，所述步骤3)具体包括：
3-1)先计算梯度激活图的激活直方图，即将梯度激活图所有的像素点按照0～255共256个bin，统计落在每个bin的像素点数量；
3-2)归一化激活直方图，即将每个bin中像素点数量除以总的像素点；
3-3)用i表示分类的阈值，也即一个激活级，从0开始迭代；
3-4)通过归一化的激活直方图，统计0～i激活级的像素占整幅图像的比例w0，假设像素值在0～i范围的像素叫做前景像素，并统计前景像素的平均灰度u0；统计i～255激活级的像素占整幅图像的比例w1，假设像素值在i～255范围的像素叫做背景像素，并统计背景像素的平均激活u1；
3-5)按下式(2)计算前景像素和背景像素的方差：
g＝w0*w1*(u0-u1)2 (2)
3-6)令i＝i+1；转到步骤3-4)进行迭代，直到i为256时结束迭代；
3-7)将最大g相应的i值作为梯度激活图的全局激活阈值，将激活值小于g的像素点的激活值置于0，其余区域保持不变。
6.根据权利要求5所述的基于N-range图像处理算法的眼动参数监测的疲劳检测方法，其特征在于，所述步骤4具体包括：
4-1)对所述步骤3)得到的图像，计算其列方向标准差投影图，然后对标准差投影图计算列平均标准差，记为CMSTD，并保留列标准差大于列平均标准差CMSTD的列的位置，具体计算公式如下式(3)和式(4)所示：
令所述步骤3)得到的图像共N列，n表示每列的像素数，x1,x2,x3...,xn表示这组像素的具体激活值：
则每列平均灰度：
每列标准差：
通过(3)和式(4)计算得到每列的标准差，然后计算得到所有列的标准差的平均值，即列平均标准差；
4-2)按照与上述步骤4-1)相同的方法，对激活图计算行方向标准差投影图，对标准差投影图计算行平均标准差，记为RMSTD，并保留行标准差大于RMSTD的行的位置；
4-3)将上述步骤4-1)和4-2)保留得到的行序号和列序号形成的区域作为眼部区域，即该行序号和列序号组成了一个包含眼部区域的矩形框。
7.根据权利要求1所述的基于N-range图像处理算法的眼动参数监测的疲劳检测方法，其特征在于，所述步骤5)具体包括：
先定义上下眼睑的最大距离为眼高H，侧眼的眼宽为W，眼高与眼宽的比值为眼部高宽比β，即设定睁闭眼阈值为βt；
然后根据步骤4)的结果，计算得到当前图像中矩形框的高宽比βx，若βx≥βt，则表示当前为睁眼状态，反之则为闭眼状态。
8.根据权利要求7所述的基于N-range图像处理算法的眼动参数监测的疲劳检测方法，其特征在于，其中，所述步骤5)中设定的睁闭眼阈值βt＝0.2，高宽比小于0.2时，为闭眼状态，反之则为睁眼状态。
9.根据权利要求1所述的基于N-range图像处理算法的眼动参数监测的疲劳检测方法，其特征在于，所述步骤6)中设定的疲劳阈值为0.37。
CN201910372052.4A 2019-05-06 2019-05-06 基于N-range图像处理算法的眼动参数监测的疲劳检测方法 Active CN110097012B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910372052.4A CN110097012B (zh) 2019-05-06 2019-05-06 基于N-range图像处理算法的眼动参数监测的疲劳检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910372052.4A CN110097012B (zh) 2019-05-06 2019-05-06 基于N-range图像处理算法的眼动参数监测的疲劳检测方法

Publications (2)

Publication Number Publication Date
CN110097012A true CN110097012A (zh) 2019-08-06
CN110097012B CN110097012B (zh) 2022-11-08

Family

ID=67446909

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910372052.4A Active CN110097012B (zh) 2019-05-06 2019-05-06 基于N-range图像处理算法的眼动参数监测的疲劳检测方法

Country Status (1)

Country Link
CN (1) CN110097012B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112651957A (zh) * 2020-12-31 2021-04-13 执鼎医疗科技（杭州）有限公司 人眼闭眼程度检测装置
US11157769B2 (en) * 2018-09-25 2021-10-26 Realtek Semiconductor Corp. Image processing circuit and associated image processing method
CN116168374A (zh) * 2023-04-21 2023-05-26 南京淼瀛科技有限公司 一种主动安全辅助驾驶方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150059860A (ko) * 2013-11-25 2015-06-03 조선대학교산학협력단 형태학적 연산을 이용한 이미지 분할 처리방법
CN107085715A (zh) * 2017-05-19 2017-08-22 武汉理工大学 一种电视智能检测用户睡眠状态的系统及方法
CN107194346A (zh) * 2017-05-19 2017-09-22 福建师范大学 一种汽车疲劳驾驶预测方法
CN109308445A (zh) * 2018-07-25 2019-02-05 南京莱斯电子设备有限公司 一种基于信息融合的固定岗位人员疲劳检测方法
CN109344802A (zh) * 2018-10-29 2019-02-15 重庆邮电大学 一种基于改进的级联卷积神经网的人体疲劳检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150059860A (ko) * 2013-11-25 2015-06-03 조선대학교산학협력단 형태학적 연산을 이용한 이미지 분할 처리방법
CN107085715A (zh) * 2017-05-19 2017-08-22 武汉理工大学 一种电视智能检测用户睡眠状态的系统及方法
CN107194346A (zh) * 2017-05-19 2017-09-22 福建师范大学 一种汽车疲劳驾驶预测方法
CN109308445A (zh) * 2018-07-25 2019-02-05 南京莱斯电子设备有限公司 一种基于信息融合的固定岗位人员疲劳检测方法
CN109344802A (zh) * 2018-10-29 2019-02-15 重庆邮电大学 一种基于改进的级联卷积神经网的人体疲劳检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
黄洁媛等: "基于卷积神经网络的人眼状态检测", 《扬州大学学报(自然科学版)》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11157769B2 (en) * 2018-09-25 2021-10-26 Realtek Semiconductor Corp. Image processing circuit and associated image processing method
CN112651957A (zh) * 2020-12-31 2021-04-13 执鼎医疗科技（杭州）有限公司 人眼闭眼程度检测装置
CN116168374A (zh) * 2023-04-21 2023-05-26 南京淼瀛科技有限公司 一种主动安全辅助驾驶方法及系统
CN116168374B (zh) * 2023-04-21 2023-12-12 南京淼瀛科技有限公司 一种主动安全辅助驾驶方法及系统

Also Published As

Publication number Publication date
CN110097012B (zh) 2022-11-08

Similar Documents

Publication Publication Date Title
Ueno et al. Development of drowsiness detection system
CN104809445B (zh) 基于眼部和嘴部状态的疲劳驾驶检测方法
CN101593425B (zh) 一种基于机器视觉的疲劳驾驶监控方法及系统
CN102054163B (zh) 基于单目视觉的驾驶员疲劳检测方法
WO2013035704A1 (ja) 居眠り検出方法と装置
EP2281506A1 (en) Method and system for determining an individual's state of attention
CN110097012A (zh) 基于N-range图像处理算法的眼动参数监测的疲劳检测方法
CN107491740A (zh) 一种基于面部表情分析的新生儿疼痛识别方法
CN108053615A (zh) 基于微表情的驾驶员疲劳驾驶状态检测方法
CN105286802B (zh) 基于视频信息的驾驶员疲劳检测方法
CN106691474A (zh) 融合脑电信号与生理信号的疲劳检测系统
Batista A drowsiness and point of attention monitoring system for driver vigilance
CN112434611B (zh) 基于眼部运动细微特征的早期疲劳检测方法及系统
CN107595307A (zh) 基于机器视觉人眼识别的疲劳驾驶检测装置及检测方法
CN107403142A (zh) 一种微表情的检测方法
CN109460703A (zh) 一种基于心率和面部特征的非侵入式疲劳驾驶识别方法
CN106128032A (zh) 一种疲劳状态监测及预警方法及其系统
CN109977930A (zh) 疲劳驾驶检测方法及装置
Nie et al. Experimental study on visual detection for fatigue of fixed-position staff
CN112617835B (zh) 一种基于迁移学习的多特征融合疲劳检测方法
CN111985328A (zh) 基于面部特征分析的不安全驾驶行为检测预警方法
CN109875583A (zh) 一种基于ar技术的疲劳驾驶检测系统及方法
CN113989788A (zh) 一种基于深度学习和多指标融合的疲劳检测方法
CN103729646A (zh) 一种眼睛图像有效性检测方法
CN110263663A (zh) 一种基于多维面部特征的驾驶员多级疲劳度识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant