CN110115796B - 基于N-range图像处理算法的眼动参数监测的疲劳检测及促醒系统 - Google Patents

基于N-range图像处理算法的眼动参数监测的疲劳检测及促醒系统 Download PDF

Info

Publication number
CN110115796B
CN110115796B CN201910372038.4A CN201910372038A CN110115796B CN 110115796 B CN110115796 B CN 110115796B CN 201910372038 A CN201910372038 A CN 201910372038A CN 110115796 B CN110115796 B CN 110115796B
Authority
CN
China
Prior art keywords
eye
activation
module
eye movement
standard deviation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910372038.4A
Other languages
English (en)
Other versions
CN110115796A (zh
Inventor
姚康
管凯捷
任谊文
付威威
董月芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Guoke Shiqing Medical Technology Co ltd
Original Assignee
Suzhou Guoke Shiqing Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Guoke Shiqing Medical Technology Co ltd filed Critical Suzhou Guoke Shiqing Medical Technology Co ltd
Priority to CN201910372038.4A priority Critical patent/CN110115796B/zh
Publication of CN110115796A publication Critical patent/CN110115796A/zh
Application granted granted Critical
Publication of CN110115796B publication Critical patent/CN110115796B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103—Detecting eye twinkling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0022—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the tactile sense, e.g. vibrations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0027—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the hearing sense
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0044—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Physiology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Dentistry (AREA)
  • Ophthalmology & Optometry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Acoustics & Sound (AREA)
  • Psychology (AREA)
  • Anesthesiology (AREA)
  • Hematology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种基于N‑range图像处理算法的眼动参数监测的疲劳检测及促醒系统，包括：眼镜本体；图像采集模块，用于采集佩戴者的侧眼图像数据；促醒模块；电源模块；后台处理模块，其包括眼动数据分析模块、疲劳程度分析模块及主控模块；其中，所述眼动数据分析模块采用N‑range图像处理算法对眼动数据进行分析。本发明通过眼动数据分析，能自动实时判定人体疲劳程度，并依据人体疲劳等级进行预警，并施以声、光、振动相结合的促醒刺激，促使人体疲劳程度降低，使人体警觉度及作业能力提升。本发明的眼动参数分析方法具有平移旋转以及尺度不变形，且鲁棒性高，抗噪声能力与抗光照不均衡能力均较强。

Description

基于N-range图像处理算法的眼动参数监测的疲劳检测及促 醒系统
技术领域
本发明涉及疲劳检测与觉醒刺激技术领域，特别涉及一种基于N-range图像处理算法的眼动参数监测的疲劳检测及促醒系统。
背景技术
随机社会的发展，当前工作的自动化水平在提高，各类工作岗位要求工作人员如飞行员，保持高度的机敏度及充沛的精力和注意力，确保高端设备操作无失误及相关作业的顺利实施，但是持续性、高强度、非时间定式的作业影响工作人员的判断、决策和作战执行能力。因此，准确评价持续作业条件下，时间生物节律及其功能状态对相关作业能力的影响，并给予科学的干预，以提升相关人员作业效能。
目前，国内外针对疲劳检测的手段主要分为主观检测和客观检测两种，其中客观检测主要包括行为特征检测(如眨眼，头部动作，嘴部动作等)和生理特征检测(如脑电，眼电，肌电等)；主观检测主要包括评价性检测和生理反应检测。促醒方法主要包括物理调节，化学调节和生物调节。相关研究表明，80％的PRECLOS与人的疲劳程度相关性较大，特定波长的光刺激，特定频率和响度的声音刺激和振动刺激对觉醒度的提高具有较好的作用。
对于眼部检测，通过采用算法对眼动参数进行分析，可判断疲劳程度。而采用的算法的优劣对检测结果具有很大影响。基于区域选择的目标检测算法可用于进行眼动参数检测。目前基于眼动的疲劳监测方法均是利用PERCLOS理论并从正面采集人眼，并进行人眼特征提取。例如Tapan Pradhan(Dhar S,Pradhan T,Gupta S,et al.Implementation ofreal time Visual Attention Monitoring algorithm of human drivers on anembedded platform[C]//Students Technology Symposium.IEEE,2010)提出了一种基于主成分分析的监测方法。其将眼睛图像分为三个类别：完全睁开、部分睁开和完全闭眼。通过对图像提取主成分，并奇异值分解，分别计算三个类别的最大概率，从而判别当前人眼的状态。这种方法在状态判别上具有较高的准确度，但是实用性较低，将人眼只分为3个状态，丢失了大量的人眼微动作信息，在疲劳判决方面，准确率较低。目前基于眼动的疲劳监测方法普遍存在运算量大、鲁棒性低、准确率较低等缺陷。并且目前，市售的相关设备主要集中在驾驶疲劳检测装置的研发上，缺少用于个人作业能力提升等相关领域课题的研究，更缺少集合疲劳检测、预警和促醒刺激于一体的便携穿戴式装置。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于N-range图像处理算法的眼动参数监测的疲劳检测及促醒系统。
为解决上述技术问题，本发明采用的技术方案是：一种基于N-range图像处理算法的眼动参数监测的疲劳检测及促醒系统，包括：
眼镜本体，其用于佩戴到眼部；
图像采集模块，其设置于所述眼镜本体上，用于采集佩戴者的侧眼图像数据；
促醒模块，其设置于所述眼镜本体上，包括光刺激单元、声音刺激单元和振动刺激单元；
电源模块，其设置于所述眼镜本体上，用于为上述各模块供电；
后台处理模块，其包括眼动数据分析模块、疲劳程度分析模块及主控模块；
其中，所述眼动数据分析模块采用N-range图像处理算法对眼动数据进行分析，该方法包括以下步骤：
1)采集的侧眼图像；
2)针对采集的侧眼图像，通过十字交叉卷积核进行卷积操作，得到眼部的梯度激活图；
3)对梯度激活图进行阈值分割，去除激活程度低于阈值的区域并置为0，其余区域保持不变；
4)计算所述步骤3)得到的图像的列方向和行方向的标准差投影图，对标准差投影图采用平均值阈值分割法，保留大于平均值标准差所在的行序号和列序号，作为眼部的区域，即行序号和列序号组成了一个矩形框，通过该矩形框分割出眼部区域；
5)计算所述步骤4)得到的矩形框的高宽比，通过将得到的高宽比的值与设定的睁闭眼阈值进行比较，判断睁、闭眼状态；
其中，所述后台处理模块与图像采集模块和促醒模块均通信连接，所述疲劳程度分析模块根据所述眼动数据分析模块的结果进行疲劳程度判断，所述主控模块根据所述疲劳程度分析模块的判定结果向所述促醒模块发送光刺激和/或声刺激和/或振动刺激的信号，通过所述促醒模块对人体进行促醒。
优选的是，所述疲劳程度分析模块统计一段时间内的眼部图像的睁、闭眼状态，计算其闭眼的帧数占总帧数的百分比，当百分比大于设定的疲劳阈值时，判定为疲劳状态。
优选的是，所述眼镜本体包括镜片支架及连接在所述镜片支架两侧的左、右支腿；所述图像采集模块包括摄像头和红外照明光源，用于实时采集佩戴者的侧眼图像，并传输至所述眼动数据分析模块；
所述后台处理模块为内嵌有所述眼动数据分析模块、疲劳程度分析模块及主控模块的基于安卓系统的平板电脑或智能手机，所述平板电脑与所述图像采集模块和促醒模块通过有线或无线方式建立通信连接。
优选的是，所述光刺激单元包括分别设置在所述眼镜的左、右支腿上的两组蓝光光源，用于发出蓝光以刺激眼部；
所述声音刺激单元包括设置在所述眼镜的支腿上的蜂鸣器，用于提供不同频率和响度的声音刺激；
所述振动刺激单元包括设置在所述眼镜的支腿上的振动马达，用于提供特定序列的振动。
优选的是，所述步骤2)具体包括：采用十字交叉型的卷积核K，捕捉横纵方向上的绝对梯度和，卷积核K大小为N*N，N＝2*i+1，i＝1,2,3,4……，卷积核中心权重为0，上下两侧各为+1与-1，左右两侧各为+1与-1。
优选的是，所述卷积核K进行卷积激活的公式如下式(1)：
Figure BDA0002050316570000031
其中，Absolute表示对卷积激活的结果进行绝对值运算，m,n代表预处理后的侧眼图像中坐标位置为(m,n)的像素点；x[m,n]为像素点(m,n)的激活值，对预处理后的侧眼图像中的每一个像素点(m,n)，均与卷积核K进行半绝对卷积运算，从而得到眼部的梯度激活图。
优选的是，所述步骤3)中，采用OTSU算法对梯度激活图进行阈值分割：按照激活的特性将图像分成前景和背景两部分，背景和前景之间的类间方差越大，说明构成图像两部分的差别就越大；通过找到类间方差最大的分割，来凸显出激活区域的，而衰减非激活区域或遮蔽，即将非激活区域激活值置为0。
优选的是，所述步骤3)具体包括：
3-1)先计算梯度激活图的激活直方图，即将梯度激活图所有的像素点按照0～255共256个bin，统计落在每个bin的像素点数量；
3-2)归一化激活直方图，即将每个bin中像素点数量除以总的像素点；
3-3)用i表示分类的阈值，也即一个激活级，从0开始迭代；
3-4)通过归一化的激活直方图，统计0～i激活级的像素占整幅图像的比例w0，假设像素值在0～i范围的像素叫做前景像素，并统计前景像素的平均灰度u0；统计i～255激活级的像素占整幅图像的比例w1，假设像素值在i～255范围的像素叫做背景像素，并统计背景像素的平均激活u1；
3-5)按下式(3)计算前景像素和背景像素的方差：
g＝w0*w1*(u0-u1)2 (2)
3-6)令i＝i+1；转到步骤3-4)进行迭代，直到i为256时结束迭代；
3-7)将最大g相应的i值作为梯度激活图的全局激活阈值，将激活值小于g的像素点的激活值置于0，其余区域保持不变。
优选的是，所述步骤4具体包括：
4-1)对所述步骤3)得到的图像，计算其列方向标准差投影图，然后对标准差投影图计算列平均标准差，记为CMSTD，并保留列标准差大于列平均标准差CMSTD的列的位置，具体计算公式如下式(3)和式(4)所示：
令所述步骤3)得到的图像共N列，n表示每列的像素数，x1,x2,x3...,xn表示这组像素的具体激活值：
则每列平均灰度：
Figure BDA0002050316570000051
每列标准差：
Figure BDA0002050316570000052
通过(4)和式(5)计算得到每列的标准差，然后计算得到所有列的标准差的平均值，即列平均标准差；
4-2)按照与上述步骤4-1)相同的方法，对激活图计算行方向标准差投影图，对标准差投影图计算行平均标准差，记为RMSTD，并保留行标准差大于RMSTD的行的位置；
4-3)将上述步骤4-1)和4-2)保留得到的行序号和列序号形成的区域作为眼部区域，即该行序号和列序号组成了一个包含眼部区域的矩形框。
优选的是，所述步骤5)具体包括：
先定义上下眼睑的最大距离为眼高H，侧眼的眼宽为W，眼高与眼宽的比值为眼部高宽比β，即
Figure BDA0002050316570000053
设定睁闭眼阈值为βt；
然后根据步骤4)的结果，计算得到当前图像中矩形框的高宽比βx，若βx≥βt，则表示当前为睁眼状态，反之则为闭眼状态。
本发明的有益效果是：本发明的基于N-range图像处理算法的眼动参数监测的疲劳检测及促醒系统，通过眼动数据分析，能自动实时判定人体疲劳程度，并依据人体疲劳等级进行预警，并施以声、光、振动相结合的促醒刺激，促使人体疲劳程度降低，使人体警觉度及作业能力提升。本发明由于是从侧面采集人眼，因此可以完全避免从人脸图像中再去提取人眼区域的步骤，降低了错误率并大幅提高了准确率。本发明的眼动参数分析方法具有平移旋转以及尺度不变形，且鲁棒性高，抗噪声能力与抗光照不均衡能力均较强。
附图说明
图1为本发明的基于N-range图像处理算法的眼动参数监测的疲劳检测及促醒系统的原理框图；
图2为本发明的一种实施例中的眼镜的结构示意图；
图3为本发明的基于N-range图像处理算法的眼动参数监测的疲劳检测及促醒系统的的流程图；
图4为本发明的一种实施例中的卷积核K的结构示意图；
图5为本发明的一种实施例中的眼部区域分割结果示意图。
附图标记说明：
1—镜片支架；2—左支腿；3—右支腿；4—电源模块；5—蓝光光源；6—蓝光光源和红外照明光源集成模块；7—蜂鸣器；8—振动马达；9—摄像头；10—USB接口。
具体实施方式
下面结合实施例对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。
应当理解，本文所使用的诸如“具有”、“包含”以及“包括”术语并不排除一个或多个其它元件或其组合的存在或添加。
参照图1，本实施例的一种基于N-range图像处理算法的眼动参数监测的疲劳检测及促醒系统，包括：眼镜本体、图像采集模块、促醒模块、电源模块4、后台处理模块。
其中，眼镜本体用于佩戴到眼部；图像采集模块设置于眼镜本体上，用于采集佩戴者的眼动数据；促醒模块设置于眼镜本体上，包括光刺激单元、声音刺激单元和振动刺激单元；电源模块4设置于眼镜本体上，用于为上述各模块供电。
其中，后台处理模块包括眼动数据分析模块、疲劳程度分析模块及主控模块；其中，后台处理模块与图像采集模块和促醒模块均通信连接，疲劳程度分析模块根据眼动数据分析模块的结果进行疲劳程度判断，主控模块再根据判定结果向促醒模块发送光刺激和/或声刺激和/或振动刺激的信号，通过促醒模块对人体进行促醒；具体的，根据人体疲劳程度得到人体觉醒等级；当觉醒等级低于设定值时，主控模块发出觉醒预警，并控制促醒模块发送光刺激和/或声刺激和/或振动刺激。
其中，眼动数据分析模块对眼动数据的分析方法为：眼动数据分析模块采用N-range图像处理算法对眼动数据进行分析，其方法包括以下步骤：
1)采集的侧眼图像；
2)针对采集的侧眼图像，通过十字交叉卷积核进行卷积操作，得到眼部的梯度激活图；
3)对梯度激活图进行阈值分割，去除激活程度低于阈值的区域并置为0，其余区域保持不变；
4)计算所述步骤3)得到的图像的列方向和行方向的标准差投影图，对标准差投影图采用平均值阈值分割法，保留大于平均值标准差所在的行序号和列序号，作为眼部的区域，即行序号和列序号组成了一个矩形框，通过该矩形框分割出眼部区域；
5)计算所述步骤4)得到的矩形框的高宽比，通过将得到的高宽比的值与设定的睁闭眼阈值进行比较，判断睁、闭眼状态。
然后根据眼动数据分析模块的处理结果，疲劳程度分析模块统计一段时间内的眼部图像的睁、闭眼状态，计算其闭眼的帧数占总帧数的百分比，当百分比大于设定的疲劳阈值时，判定为疲劳状态。从而实现疲劳状态的监测。其中，在一种优选的实施例中，设定的疲劳阈值为0.33-0.42。主控模块再根据疲劳程度分析模块的判定结果向促醒模块发送光刺激和/或声刺激和/或振动刺激的信号，通过促醒模块对人体进行促醒；具体的，根据人体疲劳程度得到人体觉醒等级(如将闭眼的帧数占总帧数的百分比的值对应于不同的人体觉醒等级)；当觉醒等级低于设定值时，主控模块发出觉醒预警，并控制促醒模块发送光刺激和/或声刺激和/或振动刺激。
参照图2，眼镜本体包括镜片支架1及连接在镜片支架1两侧的左、右支腿3；该系统还包括设置在眼镜的支腿上的电源模块4。光刺激单元包括分别设置在眼镜的左、右支腿3上的两组蓝光光源5，用于发出蓝光以刺激眼部；其中，一组蓝光光源5与红外照明光源集成一体形成蓝光光源和红外照明光源集成模块，并设置在左支腿2上。声音刺激单元包括设置在眼镜的支腿上的蜂鸣器7，用于提供不同频率和响度的声音刺激。振动刺激单元包括设置在眼镜的支腿上的振动马达8，用于提供特定序列的振动，进一步优选的，振动刺激单元还包括线性马达控制器，振动马达8采用微型偏振马达。眼镜的支腿上还设置有USB接口10，以与后台处理模块有线连接。
图像采集模块包括摄像头9和红外照明光源，用于实时采集佩戴者的侧眼图像，并传输至眼动数据分析模块；红外照明光源为摄像头9提供照明。图像采集模块可包括1组，设置在左眼或有眼的侧部，以采集侧眼图像；也可包括2组，分别设置在左右眼两侧，以采集两眼的侧眼图像。
在进一步的优选实施例中，参照图2，一组蓝光光源5与红外照明光源集成设置在眼镜左支腿2上，摄像头9(图像采集模块包括1组)、振动马达8、USB接口10、蜂鸣器7均设置在左支腿2上，且摄像头9的角度和位置可调节；电源模块4和另一组蓝光光源5设置在右支腿3上，且蓝光光源5布置在眼镜支腿与镜片支架1的连接处。眼镜主体结构采用3D打印技术加工制造，应用轻质的树脂材料，整体质量轻盈，佩戴舒适。眼镜支腿呈扁平结构，曲线构造适合人耳佩戴及支撑。
其中，后台处理模块为内嵌有眼动数据分析模块、疲劳程度分析模块及主控模块的基于安卓系统的外置的平板电脑或智能手机，平板电脑与图像采集模块和促醒模块通过有线或无线方式建立通信连接。后台处理模块也可为内嵌有眼动数据分析模块、疲劳程度分析模块及主控模块的处理芯片，并内嵌在眼镜中。
在一种实施例中，所述步骤2)具体包括：采用十字交叉型的卷积核K，捕捉横纵方向上的绝对梯度和，参照图4，卷积核K大小为N*N，N＝2*i+1，i＝1,2,3,4……，卷积核中心权重为0，上下两侧各为+1与-1，左右两侧各为+1与-1。
所述卷积核K进行卷积激活的公式如下式(1)：
Figure BDA0002050316570000081
其中，Absolute表示对卷积激活的结果进行绝对值运算，m,n代表预处理后的侧眼图像中坐标位置为(m,n)的像素点；x[m,n]为像素点(m,n)的激活值，对预处理后的侧眼图像中的每一个像素点(m,n)，均与卷积核K进行半绝对卷积运算，从而得到眼部的梯度激活图。
其中，所述步骤3)中，采用OTSU算法对梯度激活图进行阈值分割：按照激活的特性将图像分成前景和背景两部分，背景和前景之间的类间方差越大，说明构成图像两部分的差别就越大；通过找到类间方差最大的分割，来凸显出激活区域的，而衰减非激活区域或遮蔽，即将非激活区域激活值置为0。所述步骤3)具体包括：
3-1)先计算梯度激活图的激活直方图，即将梯度激活图所有的像素点按照0～255共256个bin，统计落在每个bin的像素点数量；
3-2)归一化激活直方图，即将每个bin中像素点数量除以总的像素点；
3-3)用i表示分类的阈值，也即一个激活级，从0开始迭代；
3-4)通过归一化的激活直方图，统计0～i激活级的像素占整幅图像的比例w0，假设像素值在0～i范围的像素叫做前景像素，并统计前景像素的平均灰度u0；统计i～255激活级的像素占整幅图像的比例w1，假设像素值在i～255范围的像素叫做背景像素，并统计背景像素的平均激活u1；
3-5)按下式(3)计算前景像素和背景像素的方差：
g＝w0*w1*(u0-u1)2 (2)
3-6)令i＝i+1；转到步骤3-4)进行迭代，直到i为256时结束迭代；
3-7)将最大g相应的i值作为梯度激活图的全局激活阈值，将激活值小于g的像素点的激活值置于0，其余区域保持不变。
其中，所述步骤4具体包括：
4-1)对所述步骤3)得到的图像，计算其列方向标准差投影图，然后对标准差投影图计算列平均标准差，记为CMSTD，并保留列标准差大于列平均标准差CMSTD的列的位置，具体计算公式如下式(3)和式(4)所示：
令所述步骤3)得到的图像共N列，n表示每列的像素数，x1,x2,x3...,xn表示这组像素的具体激活值：
则每列平均灰度：
Figure BDA0002050316570000091
每列标准差：
Figure BDA0002050316570000092
通过(4)和式(5)计算得到每列的标准差，然后计算得到所有列的标准差的平均值，即列平均标准差；
4-2)按照与上述步骤4-1)相同的方法，对激活图计算行方向标准差投影图，对标准差投影图计算行平均标准差，记为RMSTD，并保留行标准差大于RMSTD的行的位置；
4-3)将上述步骤4-1)和4-2)保留得到的行序号和列序号形成的区域作为眼部区域，即该行序号和列序号组成了一个包含眼部区域的矩形框。
参照图5为一种实施例中眼部区域分割结果示意图，本方法具有平移旋转以及尺度不变形，且鲁棒性高，抗噪声能力与抗光照不均衡能力均较强。
其中，所述步骤5)具体包括：
先定义上下眼睑的最大距离为眼高H，侧眼的眼宽为W，眼高与眼宽的比值为眼部高宽比β，即
Figure BDA0002050316570000101
设定睁闭眼阈值为βt；然后根据步骤4)的结果，计算得到当前图像中矩形框的高宽比βx，若βx≥βt，则表示当前为睁眼状态，反之则为闭眼状态。在更为优选的实施例中，睁闭眼阈值βt＝0.2。
本发明通过计算眼睛的高宽比表示眼睛状态，即使在实时监测过程中，因为剧烈的头部运动会使得眼镜本体或是摄像头9位移，眼睛的相对位置发生变化，但是眼部的高宽比例依然能够保持较稳定的数值，这是人眼构造特征所决定的。先定义上下眼睑的最大距离为眼高H，侧眼的眼宽为W，眼高与眼宽的比值为眼部高宽比β，即
Figure BDA0002050316570000102
当人眼闭合时，上下眼睑重合，眼部高宽比β最小；反之人眼完全睁开时眼部高宽比β最大,通常情况下β的取值位于[0,2]之间。
本方法具有平移旋转以及尺度不变形，且鲁棒性高，抗噪声能力与抗光照不均衡能力均较强。本发明由于是从侧面采集人眼，因此可以完全避免从人脸图像中再去提取人眼区域的步骤，降低了错误率并大幅提高了准确率。
参照图3，上述基于N-range图像处理算法的眼动参数监测的疲劳检测及促醒系统的一种工作流程为：
1、摄像头9采集佩戴者的侧眼图像，并传输至眼动数据分析模块；
2、眼动数据分析模块对眼动数据进行分析计算，判断睁、闭眼状态；
3、疲劳程度分析模块统计一段时间内的眼部图像的睁、闭眼状态，计算其闭眼的帧数占总帧数的百分比，判定人体疲劳程度，并得到人体觉醒等级；当觉醒等级低于设定值时，主控模块发出觉醒预警，并控制促醒模块发送光刺激和/或声刺激和/或振动刺激；具体为：蓝光光源5发出蓝光以刺激眼部，蜂鸣器7发出声音刺激，振动马达8发出振动刺激。其中，根据人体不同的觉醒等级，可匹配设置不同的促醒信号等级，即不同强度的蓝光刺激、不同响度和频率的声音刺激、不同频率和序列的振动刺激；
4、当佩戴人员响应预警促醒信息时(觉醒等级高于设定值)，促醒模块停止刺激，系统保持持续监测状态。
尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节。

Claims (9)

1.一种基于N-range图像处理算法的眼动参数监测的疲劳检测及促醒系统，其特征在于，包括：
眼镜本体，其用于佩戴到眼部；
图像采集模块，其设置于所述眼镜本体上，用于采集佩戴者的侧眼图像数据；
促醒模块，其设置于所述眼镜本体上，包括光刺激单元、声音刺激单元和振动刺激单元；
电源模块，其设置于所述眼镜本体上，用于为上述各模块供电；
后台处理模块，其包括眼动数据分析模块、疲劳程度分析模块及主控模块；
其中，所述眼动数据分析模块采用N-range图像处理算法对眼动数据进行分析，该方法包括以下步骤：
1)采集的侧眼图像；
2)针对采集的侧眼图像，通过十字交叉卷积核进行卷积操作，得到眼部的梯度激活图；
3)对梯度激活图进行阈值分割，去除激活程度低于阈值的区域并置为0，其余区域保持不变；
4)计算所述步骤3)得到的图像的列方向和行方向的标准差投影图，对标准差投影图采用平均值阈值分割法，保留大于平均值标准差所在的行序号和列序号，作为眼部的区域，即行序号和列序号组成了一个矩形框，通过该矩形框分割出眼部区域；
5)计算所述步骤4)得到的矩形框的高宽比，通过将得到的高宽比的值与设定的睁闭眼阈值进行比较，判断睁、闭眼状态；
其中，所述后台处理模块与图像采集模块和促醒模块均通信连接，所述疲劳程度分析模块根据所述眼动数据分析模块的结果进行疲劳程度判断，所述主控模块根据所述疲劳程度分析模块的判定结果向所述促醒模块发送光刺激和/或声刺激和/或振动刺激的信号，通过所述促醒模块对人体进行促醒；
所述步骤2)具体包括：采用十字交叉型的卷积核K，捕捉横纵方向上的绝对梯度和，卷积核K大小为N*N，N＝2*i+1，i＝1,2,3,4……，卷积核中心权重为0，上下两侧各为+1与-1，左右两侧各为+1与-1。
2.根据权利要求1所述的基于N-range图像处理算法的眼动参数监测的疲劳检测及促醒系统，其特征在于，所述疲劳程度分析模块统计一段时间内的眼部图像的睁、闭眼状态，计算其闭眼的帧数占总帧数的百分比，当百分比大于设定的疲劳阈值时，判定为疲劳状态。
3.根据权利要求2所述的基于N-range图像处理算法的眼动参数监测的疲劳检测及促醒系统，其特征在于，所述眼镜本体包括镜片支架及连接在所述镜片支架两侧的左、右支腿；所述图像采集模块包括摄像头和红外照明光源，用于实时采集佩戴者的侧眼图像，并传输至所述眼动数据分析模块；
所述后台处理模块为内嵌有所述眼动数据分析模块、疲劳程度分析模块及主控模块的基于安卓系统的平板电脑或智能手机，所述平板电脑与所述图像采集模块和促醒模块通过有线或无线方式建立通信连接。
4.根据权利要求3所述的基于N-range图像处理算法的眼动参数监测的疲劳检测及促醒系统，其特征在于，所述光刺激单元包括分别设置在所述眼镜的左、右支腿上的两组蓝光光源，用于发出蓝光以刺激眼部；
所述声音刺激单元包括设置在所述眼镜的支腿上的蜂鸣器，用于提供不同频率和响度的声音刺激；
所述振动刺激单元包括设置在所述眼镜的支腿上的振动马达，用于提供特定序列的振动。
5.根据权利要求4所述的基于N-range图像处理算法的眼动参数监测的疲劳检测及促醒系统，其特征在于，所述卷积核K进行卷积激活的公式如下式(1)：
Figure FDA0003164613810000021
其中，Absolute表示对卷积激活的结果进行绝对值运算，m,n代表预处理后的侧眼图像中坐标位置为(m,n)的像素点；x[m,n]为像素点(m,n)的激活值，对预处理后的侧眼图像中的每一个像素点(m,n)，均与卷积核K进行半绝对卷积运算，从而得到眼部的梯度激活图。
6.根据权利要求5所述的基于N-range图像处理算法的眼动参数监测的疲劳检测及促醒系统，其特征在于，所述步骤3)中，采用OTSU算法对梯度激活图进行阈值分割：按照激活的特性将图像分成前景和背景两部分，背景和前景之间的类间方差越大，说明构成图像两部分的差别就越大；通过找到类间方差最大的分割，来凸显出激活区域的，而衰减非激活区域或遮蔽，即将非激活区域激活值置为0。
7.根据权利要求6所述的基于N-range图像处理算法的眼动参数监测的疲劳检测及促醒系统，其特征在于，所述步骤3)具体包括：
3-1)先计算梯度激活图的激活直方图，即将梯度激活图所有的像素点按照0～255共256个bin，统计落在每个bin的像素点数量；
3-2)归一化激活直方图，即将每个bin中像素点数量除以总的像素点；
3-3)用i表示分类的阈值，也即一个激活级，从0开始迭代；
3-4)通过归一化的激活直方图，统计0～i激活级的像素占整幅图像的比例w0，假设像素值在0～i范围的像素叫做前景像素，并统计前景像素的平均灰度u0；统计i～255激活级的像素占整幅图像的比例w1，假设像素值在i～255范围的像素叫做背景像素，并统计背景像素的平均激活u1；
3-5)按下式(3)计算前景像素和背景像素的方差：
g＝w0*w1*(u0-u1)2 (2)
3-6)令i＝i+1；转到步骤3-4)进行迭代，直到i为256时结束迭代；
3-7)将最大g相应的i值作为梯度激活图的全局激活阈值，将激活值小于g的像素点的激活值置于0，其余区域保持不变。
8.根据权利要求7所述的基于N-range图像处理算法的眼动参数监测的疲劳检测及促醒系统，其特征在于，所述步骤4具体包括：
4-1)对所述步骤3)得到的图像，计算其列方向标准差投影图，然后对标准差投影图计算列平均标准差，记为CMSTD，并保留列标准差大于列平均标准差CMSTD的列的位置，具体计算公式如下式(3)和式(4)所示：
令所述步骤3)得到的图像共N列，n表示每列的像素数，x1,x2,x3...,xn表示这组像素的具体激活值：
则每列平均灰度：
Figure FDA0003164613810000041
每列标准差：
Figure FDA0003164613810000042
通过(4)和式(5)计算得到每列的标准差，然后计算得到所有列的标准差的平均值，即列平均标准差；
4-2)按照与上述步骤4-1)相同的方法，对激活图计算行方向标准差投影图，对标准差投影图计算行平均标准差，记为RMSTD，并保留行标准差大于RMSTD的行的位置；
4-3)将上述步骤4-1)和4-2)保留得到的行序号和列序号形成的区域作为眼部区域，即该行序号和列序号组成了一个包含眼部区域的矩形框。
9.根据权利要求8所述的基于N-range图像处理算法的眼动参数监测的疲劳检测及促醒系统，其特征在于，所述步骤5)具体包括：
先定义上下眼睑的最大距离为眼高H，侧眼的眼宽为W，眼高与眼宽的比值为眼部高宽比β，即
Figure FDA0003164613810000043
设定睁闭眼阈值为βt；
然后根据步骤4)的结果，计算得到当前图像中矩形框的高宽比βx，若βx≥βt，则表示当前为睁眼状态，反之则为闭眼状态。
CN201910372038.4A 2019-05-06 2019-05-06 基于N-range图像处理算法的眼动参数监测的疲劳检测及促醒系统 Active CN110115796B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910372038.4A CN110115796B (zh) 2019-05-06 2019-05-06 基于N-range图像处理算法的眼动参数监测的疲劳检测及促醒系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910372038.4A CN110115796B (zh) 2019-05-06 2019-05-06 基于N-range图像处理算法的眼动参数监测的疲劳检测及促醒系统

Publications (2)

Publication Number Publication Date
CN110115796A CN110115796A (zh) 2019-08-13
CN110115796B true CN110115796B (zh) 2021-10-22

Family

ID=67521817

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910372038.4A Active CN110115796B (zh) 2019-05-06 2019-05-06 基于N-range图像处理算法的眼动参数监测的疲劳检测及促醒系统

Country Status (1)

Country Link
CN (1) CN110115796B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021249239A1 (zh) * 2020-06-12 2021-12-16 广州汽车集团股份有限公司 一种疲劳驾驶检测方法及其系统、计算机设备
CN112037141A (zh) * 2020-08-13 2020-12-04 上海东软医疗科技有限公司 图像去噪方法、装置、存储介质及电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040225340A1 (en) * 2003-03-10 2004-11-11 Evans James W. Light/breath/meditation device
CN103268479A (zh) * 2013-05-29 2013-08-28 电子科技大学 全天候疲劳驾驶检测方法
CN104090384A (zh) * 2014-06-30 2014-10-08 广东九联科技股份有限公司 一种眨眼监控的眼镜及其方法
CN106203394A (zh) * 2016-07-26 2016-12-07 浙江捷尚视觉科技股份有限公司 基于人眼状态检测的疲劳驾驶安全监测方法
CN106558191A (zh) * 2016-12-16 2017-04-05 天津牧瞳星科技有限公司 一种疲劳驾驶预警眼镜
CN106781282A (zh) * 2016-12-29 2017-05-31 天津中科智能识别产业技术研究院有限公司 一种智能行车驾驶员疲劳预警系统
CN107124607A (zh) * 2017-05-08 2017-09-01 上海大学 一种结合视觉疲劳检测的裸眼立体显示装置和方法
CN107648719A (zh) * 2017-08-23 2018-02-02 中国人民解放军总医院 基于疲劳检测与觉醒刺激的眼部可穿戴系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040225340A1 (en) * 2003-03-10 2004-11-11 Evans James W. Light/breath/meditation device
CN103268479A (zh) * 2013-05-29 2013-08-28 电子科技大学 全天候疲劳驾驶检测方法
CN104090384A (zh) * 2014-06-30 2014-10-08 广东九联科技股份有限公司 一种眨眼监控的眼镜及其方法
CN106203394A (zh) * 2016-07-26 2016-12-07 浙江捷尚视觉科技股份有限公司 基于人眼状态检测的疲劳驾驶安全监测方法
CN106558191A (zh) * 2016-12-16 2017-04-05 天津牧瞳星科技有限公司 一种疲劳驾驶预警眼镜
CN106781282A (zh) * 2016-12-29 2017-05-31 天津中科智能识别产业技术研究院有限公司 一种智能行车驾驶员疲劳预警系统
CN107124607A (zh) * 2017-05-08 2017-09-01 上海大学 一种结合视觉疲劳检测的裸眼立体显示装置和方法
CN107648719A (zh) * 2017-08-23 2018-02-02 中国人民解放军总医院 基于疲劳检测与觉醒刺激的眼部可穿戴系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
驾驶员瞌睡的视频监测研究;周玉彬;《北京生物医学工程》;20030330;第22卷(第1期);第30-33页 *

Also Published As

Publication number Publication date
CN110115796A (zh) 2019-08-13

Similar Documents

Publication Publication Date Title
US10016130B2 (en) Eye tracker system and methods for detecting eye parameters
Garbin et al. Openeds: Open eye dataset
CN109308445B (zh) 一种基于信息融合的固定岗位人员疲劳检测方法
CN104200192B (zh) 驾驶员注视检测系统
CN109717830B (zh) 基于眼动及头动参数监测的疲劳检测及促醒系统
Eriksson et al. Driver fatigue: a vision-based approach to automatic diagnosis
Kurylyak et al. Detection of the eye blinks for human's fatigue monitoring
CN103106397B (zh) 基于亮瞳效应的人脸活体检测方法
CN112434611B (zh) 基于眼部运动细微特征的早期疲劳检测方法及系统
CN109847168B (zh) 可穿戴式疲劳检测及干预系统
CN106846734A (zh) 一种疲劳驾驶检测装置及方法
CN106250801A (zh) 基于人脸检测和人眼状态识别的疲劳检测方法
CN110115796B (zh) 基于N-range图像处理算法的眼动参数监测的疲劳检测及促醒系统
CN103340637A (zh) 基于眼动与脑电融合的驾驶员警觉度智能监控系统及方法
CN106600903A (zh) 一种基于图像识别的预警方法及装置
CN109165630A (zh) 一种基于二维人眼识别的疲劳监测方法
CN112989939A (zh) 一种基于视觉的斜视检测系统
CN110063736A (zh) 基于MOD-Net网络的眼动参数监测的疲劳检测及促醒系统
CN110097012B (zh) 基于N-range图像处理算法的眼动参数监测的疲劳检测方法
CN114445666A (zh) 基于深度学习眼底图像左右眼及视野位置分类方法及系统
Toivanen An advanced Kalman filter for gaze tracking signal
CN113297966A (zh) 一种基于多重刺激的夜间学习方法
CN106446822B (zh) 基于圆拟合的眨眼检测方法
CN117056872A (zh) 一种脑疲劳超前预测方法
CN112022641A (zh) 一种辅助转眼运动的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant