CN113297966A - 一种基于多重刺激的夜间学习方法 - Google Patents
一种基于多重刺激的夜间学习方法 Download PDFInfo
- Publication number
- CN113297966A CN113297966A CN202110568929.4A CN202110568929A CN113297966A CN 113297966 A CN113297966 A CN 113297966A CN 202110568929 A CN202110568929 A CN 202110568929A CN 113297966 A CN113297966 A CN 113297966A
- Authority
- CN
- China
- Prior art keywords
- student
- fatigue
- module
- mouth
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 210000001508 eye Anatomy 0.000 claims abstract description 150
- 206010016256 fatigue Diseases 0.000 claims abstract description 94
- 238000004458 analytical method Methods 0.000 claims abstract description 63
- 208000024891 symptom Diseases 0.000 claims abstract description 11
- 238000005507 spraying Methods 0.000 claims abstract description 10
- 230000000638 stimulation Effects 0.000 claims description 23
- 241001282135 Poromitra oscitans Species 0.000 claims description 15
- 206010048232 Yawning Diseases 0.000 claims description 15
- 230000004044 response Effects 0.000 claims description 11
- 230000002618 waking effect Effects 0.000 claims description 8
- 238000012544 monitoring process Methods 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 239000000341 volatile oil Substances 0.000 claims description 4
- 238000004148 unit process Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 2
- 230000036626 alertness Effects 0.000 abstract description 4
- 210000005252 bulbus oculi Anatomy 0.000 description 26
- 238000001514 detection method Methods 0.000 description 20
- 230000004397 blinking Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 230000008859 change Effects 0.000 description 8
- 230000007246 mechanism Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 5
- 239000007921 spray Substances 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000005260 corrosion Methods 0.000 description 4
- 230000007797 corrosion Effects 0.000 description 4
- 210000000744 eyelid Anatomy 0.000 description 4
- 210000001747 pupil Anatomy 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 3
- 230000001154 acute effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 230000002035 prolonged effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000005316 response function Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000003183 myoelectrical effect Effects 0.000 description 1
- 239000003921 oil Substances 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000036387 respiratory rate Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
- F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
- F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
- F16M11/02—Heads
- F16M11/04—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
- F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
- F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
- F16M11/20—Undercarriages with or without wheels
- F16M11/2007—Undercarriages with or without wheels comprising means allowing pivoting adjustment
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
- F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
- F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
- F16M11/20—Undercarriages with or without wheels
- F16M11/24—Undercarriages with or without wheels changeable in height or length of legs, also for transport only, e.g. by means of tubes screwed into each other
- F16M11/26—Undercarriages with or without wheels changeable in height or length of legs, also for transport only, e.g. by means of tubes screwed into each other by telescoping, with or without folding
- F16M11/28—Undercarriages for supports with one single telescoping pillar
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
- F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
- F16M13/00—Other supports for positioning apparatus or articles; Means for steadying hand-held apparatus or articles
- F16M13/02—Other supports for positioning apparatus or articles; Means for steadying hand-held apparatus or articles for supporting on, or attaching to, an object, e.g. tree, gate, window-frame, cycle
- F16M13/022—Other supports for positioning apparatus or articles; Means for steadying hand-held apparatus or articles for supporting on, or attaching to, an object, e.g. tree, gate, window-frame, cycle repositionable
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Ophthalmology & Optometry (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明涉及一种基于多重刺激的夜间学习方法，1）分析模块对图像采集单元的数据进行分析，判断为有疲劳症状时，干扰单元启动，为无疲劳症状时，继续对学员进行图像采集；2）蓝光模块启动，若学员清醒，取消干扰单元，若学员未做出回应，判断学员仍处于疲劳状态；3）喷雾模块启动，若学员清醒，取消干扰单元，若学员未做出任何回应，判断学员还是处于疲劳状态；4）干扰单元的声音模块启动，若学员清醒，取消干扰单元的工作，若学员未做出任何回应，判断学员依然处于疲劳状态；5）声音模块继续工作，并加大分贝，直至学员做出回应；本发明提供的夜间学习方法，通过对眼部及嘴部状态的评定，依据人体疲劳等级进行预警，促使人从疲劳中清醒，提高警觉度。
Description
技术领域
本发明属于学习用具技术领域，具体涉及一种基于多重刺激的夜间学习方法。
背景技术
心率、呼吸频率和腰部肌肉表面肌电值对疲劳状态评价具有有效性，通过声音与疲劳的相关性研究，说明了声强、节奏、频率对疲劳的不同影响程度，生理信号作为人体最真实的指标数据，在疲劳检测方面最能准确反映人的实际精神状态，因此，基于生理信号的学习疲劳检测技术，在反映疲劳状态上具有较好的表现力。
但是，受制于生理信号提取和分析所需的仪器设备，生理信号不能直观直接地反映疲劳程度，不易实现实时监测，其次，目前广泛应用的生理信号检测用传感器设备多为接触性，需要受测人佩戴一些装置，例如手环、电线、电极等，属于侵入性检测，在英语学习过程中，多数人对英语具有抵触情绪，且英语需要记忆内容过多，需要投入大量的时间学习语法和记忆单词，学习过程比较枯燥，因此在学习过程中经常容易犯困，外设装置的存在可能造成学员的部分抵触情绪，影响学员的学习情绪，甚至造成学员的不适反应，同时，大部分生理信号指标的研究仅局限于清醒和疲劳状态下相关测量数据的对比分析上，不能真实描述疲劳与该项参数的直接联系，具有一定的局限性。
发明内容
本发明的目的是为了解决背景技术中所提出的问题，而提供一种基于多重刺激的夜间学习方法，通过对眼部及嘴部状态的评定，判定人体疲劳程度，并依据人体疲劳等级进行预警，施加提神喷雾、闪光和声音结合的方式的物理刺激，促使人从疲劳中清醒，提高警觉度。
本发明的目的是这样实现的：
一种基于多重刺激的夜间学习方法，包括对学员进行监测的图像采集单元和对学员疲劳进行干预的干预单元，所述图像采集单元和干预单元均通信连接至主控单元；
所述图像采集单元包括人脸采集模块、眼部采集模块和嘴部采集模块；
所述干预单元包括喷雾模块、蓝光模块和声音模块；
所述主控单元包括分析模块和控制模块；所述控制模块根据分析模块的分析结果对学员的疲劳程度进行判断，所述控制模块根据判断的结果向所述干预单元发送信号，通过所述干预单元对学员进行促醒；
所述的多重刺激的夜间学习方法包括如下步骤：
1)所述图像采集单元对学员的人脸、眼部和嘴部进行图像采集，所述分析模块对图像采集单元采集的数据进行疲劳分析，判断为有疲劳症状时，干扰单元启动，判断为无疲劳症状时，图像采集单元对学员进行图像采集；
2)判断为有疲劳症状时，干扰单元的蓝光模块启动，对学员进行蓝光闪烁刺激，若学员在蓝光的刺激下清醒，分析模块判断学员处于清醒状态，则取消干扰单元的工作，若学员在蓝光的刺激下未做出任何回应，则分析模块判断学员仍处于疲劳状态；
3)干扰单元的喷雾模块启动，对学员周围的空气进行提神精油雾化喷射，通过气味刺激学员，若学员在气味的刺激下清醒，分析模块判断学员处于清醒状态，则取消干扰单元的工作，若学员在气味的刺激下未做出任何回应，则分析模块判断学员还是处于疲劳状态；
4)干扰单元的声音模块启动，通过语音提醒刺激学员，若学员在声音的刺激下清醒，分析模块判断学员处于清醒状态，则取消干扰单元的工作，若学员在气味的刺激下未做出任何回应，则分析模块判断学员依然处于疲劳状态；
5)干扰单元的声音模块继续工作，并通过加大声音模块的语音分贝来刺激学员，直至学员做出回应，分析模块判断学员处于清醒状态为止，主控单元继续通过图像采集单元对学员的疲劳状态进行监测。
优选的，所述图像采集单元通过摄像头采集视频信号，所述图像采集单元将视频信号进行解码，由模拟信号转换成数字视频信号，传输到主控单元，主控单元对视频数据进行处理。
优选的，所述分析模块在对人脸采集模块采集到的信息进行分析时，在Rein-LienHsu算法的基础上，对单幅图像中人脸的肤色分布进行分析，根据每幅图像的人脸肤色分布特点进行区域分割，自动选取类似区域作为肤色区域，检测并定位人脸。
优选的，所述的人脸肤色的检测算法步骤如下：
S1、将采集到的图像格式设定为YUV(4:2:2:)，直接对每个像素的UV值取其对数值形成呈现一定峰状的二维直方图，引入参数K来消除干扰，且有K＝S/H，其中S表示从峰值到邻近峰谷的最短距离，H表示峰值的高度；
S2、检测二维直方图中的各个峰值区域，将参数K大于阈值K0(K0＝0.1)的峰值作为标记，进行下一步的肤色检测；
S3、对二维直方图进行区域分割：设定初始水平面为二维直方图的最高峰值点所在的水平面，水平面以下的二维直方图为起伏的峰谷，调整水平面使之下移，使得各个山峰按顺序依次在水平面上方出现，设定初始水平面的高度为H0，下移到水平面到H0-d，对于高于水平面H0-d的峰值分配唯一的标记号，继续下移水平面，检测位于H0-2d和H0-d之间的所有像素的值，判断是否有新的峰值出现，如果有，则分配一个新的标记号，否则给它分配与周围最近的像素点相同的标记号，直到所有指定高度的像素都分配到一个标记号；
S4、由S3分割得到若干个区域，根据人脸的肤色椭圆模型来确定可能的肤色点的区域，并将该区域的中心点设为标准中心点，比较各个区域的峰值点与标准中心点之间的距离，距离越近是肤色区域的可能性越大，保留距离标准中心点最近的区域；
S5、根据S1-S4对输入图像的像素逐个进行检测，若它在YUV空间中的UV分量属于肤色区域，则定义为肤色值，否则为非肤色值；
S6、对肤色进行分割：将S5检测出的肤色像素点设为1，非肤色点设为0，把原图像转换为灰度图像提取边缘特征，利用Sobel边缘检测算子对图像的边缘进行处理，将检测出的边缘像素点置为0其余置为1；
S7、将边缘特征提取的结果和肤色检测的结果逐像素进行取“与”操作；
S8、使用四方向判断的算法进行形态学处理，当前点的上下左右有一个点的颜色是白色的时候，就把这点的颜色填充成白色，首先对图像进行两次连续的腐蚀操作，腐蚀操作可以让类似肤色区域与肤色区域分离开，然后对图像连续使用两次膨胀操作，使脸部区域中的不连续的块更连续；
S9、人脸在分割中由于边缘像素的干扰而被分割为多个区域，所以我们对分割后的区域进行有效的合并，并把面积太小的区域去除，得到最终的输出矩形，即肤色分割处理的最终结果。
优选的，所述分析模块在对人脸定位后，利用眨眼信息初步定位学员的眼睛位置，并在Susan眼角提取算子的基础上对眼睛进行精确定位，提取眼角小模板用于眼睛的跟踪，通过获取单帧图像中学员眼睛的开合程度，统计眼睛开合状态，提取眼睛状态的相关参数建立疲劳特征，以建立基于眼睛状态的学员的疲劳特征参数。
优选的，所述分析模块在对眼部的定位和跟踪的过程中，包括眼睛的定位和眼睛的跟踪，定位眼睛以后进行跟踪，跟踪失败，再返回到定位状态，具体的步骤如下：
A1、眼睛的初步定位：根据眨眼信息，定位出眼睛的位置范围；
具体的，有：
A1-1：根据眼睛的眨眼信息进行眼睛搜索窗口所对应的原始捕获设定为图像序列f1(x,y)，f2(x,y)…fn(x,y)，对该图像序列进行滤波处理，对对原序列图和变化图进行初始化：
υ1(x,y)＝f1(x,y)，ω1 2(x,y)＝0；
A1-2：对相邻帧fn-1(x,y)和fn(x,y)，原图和变化图为：
υn(x,y)＝[υn-1(x,y)+fn(x,y)]/2，ωn 2(x,y)＝[υn(x,y)-υn-1
(x,y)]2；
A1-3：将A1-2的变化图二值化，大于设定阈值的像素点设为1，若白点超过一定数量认为出现了眨眼动作，根据双眼的相对位置关系，初步定位出两个眼睛的区域。
A2、眼角定位，在Susan算子的基础上，以眼睛边缘二值图中每一边缘点为圆心，计算edge(A)：
R(r0)＝[g-n(r0)]×0.3/g+edge(A)×0.7,n(r0)＜g；
其中R(r0)为Susan角点检测算法的模板尺度对应的边缘响应函数，n(r0)表示的是Susan算子中核同值区区域内像素的个数，g为特定门限值，edge(A)表示扇形角为A的扇形区域中边缘点个数与整个圆形区域中边缘点个数之比，眼角夹角为锐角，以眼角夹角的角度为A(75°≤A≤85°)，且有edge(A)＝[0,1]，具有最大边缘响应R(r0)的边缘点就是内眼角点。
A3、眼睛的追踪：在A2的基础上，提取内眼角模板，由上一帧图像中的内眼角位置，来确定下一帧图像中的眼睛的搜索范围，设搜索窗图像为f(x,y)，上一帧图像得到内眼角模板为fon(i,j)，对搜索窗图像f(x,y)中不同位置的图像为：
其中(i,j)分别取1,2,3，用Susan算子的3×3的模板在搜索区域内进行匹配，根据内眼角小区域来跟踪眼睛。
A4、在A3的基础上，由上一帧的图像跟踪确定下一帧图像，若无法确定，则表示检测到眼睛，继续进行下一帧的图像跟踪，若可以确定，则计算出前一帧的眼角位置作为模板。
A5、根据上一帧的眼角位置搜索域，利用眼角模板进行匹配，若相关度小于0.4，则表示跟踪失败，若相关度大于等于0.4，则表示检测到眼睛。
优选的，在对眼睛进行定位和追踪后，以人体眼部为模型，设定眼部宽度方向的两侧嘴角分别为p1和p4，设定眼部的上眼睑对应眼球的左右两侧的两点分别为p2和p3，设定眼部的下眼睑对应眼球的左右两侧的两点分别为p6和p5，根据眼睛的纵横比来衡量眼睛的张开程度，对眨眼频率进行判断，设定眨眼过程的变化值E满足：
E＝[‖p2-p6‖+‖p3-p5‖]/[2×‖p1-p4‖]；
眼睛睁开时，左右眼的E值均值在一个较小范围内波动，当其快速下降到远离这一范围时，代表眼睛闭合，再次返回该正常睁眼范围时，代表眼睛重新睁开，整个完整过程即一次眨眼动作的发生；
所述分析模块通过对眼部的眨眼频率进行分析，设定阈值E0为0.3，左右眼的平均E值从大于E0开始计算，到E值逐渐低于E0，再回到E0，定义为依次眨眼，通过对学员单位时间内的眨眼动作进行计数，判断学员的眨眼频率。
优选的，清醒状态下人1分钟眨眼为15-20次，当人由清醒转入疲劳状态时将出现两种情况：一是疲劳导致的闭眼时间变长；二是虽然眼睛睁开，但眼球运动速度变慢，两种情况下，眨眼频率都会明显减少，选取阈值为E0为15次/分钟，如果眨眼频率未达到该范围，则认为学员出现疲劳反应。
优选的，当人处于疲劳状态时，眼球运动速度变慢，分析模块根据眼球的运动速率与正常情况下眼球速率的比较，判断是否处于疲劳状态，具体的，在A1-A5的算法基础上，通过眼角和瞳孔中心的相对位置来计算眼球的运动速度，以眼角为参考点，得到相对位置后分析疲劳状况，根据摄像头采集每帧图像到处理完之间的时间间隔t一样，则有相邻两帧(第一帧和第二帧)眼球运动的距离L满足：
L＝∣L1-L2∣；L1＝[(x1-x0)2+(y1-y0)2]；L1＝[(x3-x2)2+(y3-y2)2]；
眼球的运动速率V满足：V＝L/t；
其中(x0，y0)表示第一帧时，眼球处于眼睛中央处的瞳孔中心的坐标，(x1，y1)表示第一帧时，眼角的坐标；(x2，y2)表示第二帧时，瞳孔中心的坐标，(x3，y3)表示第二帧时，眼角的坐标。
优选的，当人处于疲劳状态时，眼球运动速度变慢，根据实时求出眼球运动速率与正常情况下眼球速率作比较，采集5s内的90帧图片进行疲劳判断，若有36帧以上的图片中的眼球速度低于标准速度V，则视为疲劳。
优选的，所述分析模块在对嘴部采集模块进行分析时，根据嘴部纵横比M与嘴部的最大张开高度H和嘴部的最大张开宽度L之间的关系：M＝H/L，来建立疲劳特征。
优选的，以人体嘴部为模型，设定嘴部宽度方向的两侧嘴角分别为M1和M4，设定嘴部的上唇部对应两颗大门牙的顶端中部的两点分别为M2和M3，设定嘴部的下唇部对应两颗大门牙的底端中部的两点分别为M6和M5，则有当嘴部纵横比M＇满足：
M＇＝[‖M2-M6‖+‖M3-M5‖]/[2×‖M1-M4‖]；
在打哈欠时，嘴部纵横比快速增大并持续较长时间，与正常张嘴状态有明显不同，所述分析模块通过嘴部采集模块采集到的打哈欠的视频进行分析，当M＇≥0.8时，判断为有打哈欠的疲劳状态，当M＇＜0.8时，判断为无打哈欠的清醒状态。
优选的，所述的系统还包括装载图像采集单元、干预单元和主控单元的机体，所述图像采集单元的摄像头设在机体的中央处，所述主控单元的PCB板设于机体的内部，所述干预单元的用于喷雾的喷孔、用于闪烁蓝光的灯体和用于发出声音提醒的扬声器均设于机体上。
优选的，所述机体连接有用于固定机体的固定机构，所述固定机构包括底座、设于底座上端的调节组件和连接调节组件与机体的伸缩组件；
所述伸缩组件包括连接机体的内筒和连接旋转组件的外筒，所述外筒的底部设有驱动电机一和连接驱动电机一的丝杆，所述丝杆通过适配的螺母连接有导程板，所述导程板固定连接内筒的底端，所述丝杆贯穿内筒的底端设置，所述内筒远离外筒的一端通过安装座连接至机体的背部；
所述调节组件包括连接底座的固定座，所述固定座内设有蜗杆和驱动蜗杆转动的驱动电机二，所述固定座内还设有与蜗杆适配的蜗轮，所述外筒的底部固定连接至蜗轮。
所述喷孔连接有设于机体上的用于盛装提神精油液的容液盒，所述扬声器连接有设于主控单元的PCB上的控制模块的语音模块，用于发出语音告警，所述灯体连接有由主控单元控制的光照模块。
与现有技术相比，本发明的有益效果在于：
1、本发明提供的一种基于多重刺激的夜间学习方法，通过对眼部及嘴部状态的评定，判定人体疲劳程度，并依据人体疲劳等级进行预警，施加提神喷雾、闪光和声音结合的方式的物理刺激，促使人从疲劳中清醒，提高警觉度。
2、本发明提供的一种基于多重刺激的夜间学习方法，通过肤色检测对人脸进行定位，进而在人脸的基础上进行眼部的定位，减小眼睛的搜索区域，提高检测速度和检测效率。
3、本发明提供的一种基于多重刺激的夜间学习方法，在对眼部进行疲劳判断中，先对眼睛进行定位和跟踪，准确定位处眼睛的位置及眼球活动位置，进而通过对眼睛状态的识别判断出眨眼频率和瞳孔的运动速率，对眼部疲劳状态进行判定。
4、本发明提供的一种基于多重刺激的夜间学习方法，主控单元的分析模块通过摄像头对采集的图像进行分析和判定，当判定学员处于疲劳状态时，通过控制模块驱动干预单元启动，对学员进行物理刺激，促使学员保持清醒状态。
5、本发明提供的一种基于多重刺激的夜间学习方法，根据学习桌安装机体，将机体与桌面固定紧，通过调节组件和旋转组件对固定机构的高度及角度进行调节，将机体调节至适合当前姿态并使固定机构存储记忆当前姿态，保证机体的有效监测。
附图说明
图1是本发明一种基于多重刺激的夜间学习方法结构示意图。
图2是本发明一种基于多重刺激的夜间学习方法的学习系统示意图。
图3是本发明一种基于多重刺激的夜间学习方法的图像采集单元工作原理图。
图4是本发明一种基于多重刺激的夜间学习方法的嘴部模型图。
图5是本发明一种基于多重刺激的夜间学习方法的机体示意图。
图6是本发明一种基于多重刺激的夜间学习方法的固定机构示意图。
图7是本发明一种基于多重刺激的夜间学习方法的伸缩组件示意图。
图8是本发明一种基于多重刺激的夜间学习方法的调节组件示意图。
图中：1、机体；2、伸缩组件；21、外筒；22、内筒；23、驱动电机一；24、丝杆；25、螺母；26、导程板；3、调节组件；31、固定座；32、驱动电机二；33、蜗杆；34、蜗轮；4、底座；5、安装座。
具体实施方式
下面结合附图对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
结合图1和图2，一种基于多重刺激的夜间学习方法，包括学习系统，所述的学习系统包括对学员进行监测的图像采集单元和对学员疲劳进行干预的干预单元，所述图像采集单元和干预单元均通信连接至主控单元；
所述图像采集单元包括人脸采集模块、眼部采集模块和嘴部采集模块；
所述干预单元包括喷雾模块、蓝光模块和声音模块；
所述主控单元包括分析模块和控制模块；所述控制模块根据分析模块的分析结果对学员的疲劳程度进行判断，所述控制模块根据判断的结果向所述干预单元发送信号，通过所述干预单元对学员进行促醒；
所述的多重刺激的夜间学习方法包括如下步骤：
1)所述图像采集单元对学员的人脸、眼部和嘴部进行图像采集，所述分析模块对图像采集单元采集的数据进行疲劳分析，判断为有疲劳症状时，干扰单元启动，判断为无疲劳症状时，图像采集单元对学员进行图像采集；
2)判断为有疲劳症状时，干扰单元的蓝光模块启动，对学员进行蓝光闪烁刺激，若学员在蓝光的刺激下清醒，分析模块判断学员处于清醒状态，则取消干扰单元的工作，若学员在蓝光的刺激下未做出任何回应，则分析模块判断学员仍处于疲劳状态；
3)干扰单元的喷雾模块启动，对学员周围的空气进行提神精油雾化喷射，通过气味刺激学员，若学员在气味的刺激下清醒，分析模块判断学员处于清醒状态，则取消干扰单元的工作，若学员在气味的刺激下未做出任何回应，则分析模块判断学员还是处于疲劳状态；
4)干扰单元的声音模块启动，通过语音提醒刺激学员，若学员在声音的刺激下清醒，分析模块判断学员处于清醒状态，则取消干扰单元的工作，若学员在气味的刺激下未做出任何回应，则分析模块判断学员依然处于疲劳状态；
5)干扰单元的声音模块继续工作，并通过加大声音模块的语音分贝来刺激学员，直至学员做出回应，分析模块判断学员处于清醒状态为止，主控单元继续通过图像采集单元对学员的疲劳状态进行监测。
结合图3，所述图像采集单元通过摄像头采集视频信号，所述图像采集单元将视频信号进行解码，由模拟信号转换成数字视频信号，传输到主控单元，主控单元对视频数据进行处理。
主控单元的分析模块通过摄像头对采集的图像进行分析和判定，通过对眼部及嘴部状态的评定，判定人体疲劳程度，当判定学员处于疲劳状态时，依据人体疲劳等级进行预警，施加提神喷雾、闪光和声音结合的方式的物理刺激，促使人从疲劳中清醒，提高警觉度，对学员进行物理刺激，促使学员保持清醒状态。
结合图5-8，所述的系统还包括装载图像采集单元、干预单元和主控单元的机体1，所述图像采集单元的摄像头设在机体1的中央处，所述主控单元的PCB板设于机体1的内部，所述干预单元的用于喷雾的喷孔、用于闪烁蓝光的灯体和用于发出声音提醒的扬声器均设于机体1上。
所述机体1连接有用于固定机体1的固定机构，所述固定机构包括底座4、设于底座4上端的调节组件3和连接调节组件3与机体1的伸缩组件2。
所述伸缩组件2包括连接机体1的内筒22和连接调节组件3的外筒21，所述外筒21的底部设有驱动电机一23和连接驱动电机一23的丝杆24，所述丝杆24通过适配的螺母25连接有导程板26，所述导程板26固定连接内筒22的底端，所述丝杆24贯穿内筒22的底端设置，所述内筒22远离外筒21的一端通过安装座5连接至机体1的背部。
所述调节组件3包括连接底座4的固定座31，所述固定座31内设有蜗杆33和驱动蜗杆33转动的驱动电机二32，所述固定座31内还设有与蜗杆33适配的蜗轮34，所述外筒21的底部固定连接至蜗轮34。
根据学习桌安装机体，将机体与桌面固定紧，通过调节组件和旋转组件对固定机构的高度及角度进行调节，将机体调节至适合当前姿态并使固定机构存储记忆当前姿态，保证机体的有效监测，无需将系统穿戴在身上，减轻学员的精神压力。
实施例2
在实施例1的基础上，所述分析模块在对人脸采集模块采集到的信息进行分析时，在Rein-Lien Hsu算法的基础上，对单幅图像中人脸的肤色分布进行分析，根据每幅图像的人脸肤色分布特点进行区域分割，自动选取类似区域作为肤色区域，检测并定位人脸，直接在图像中定位人眼往往造成的误差比较大，利用改进的肤色检测算法定位出人脸，首先定位出人脸部分，可以减小眼睛的搜索范围，提高眼睛的检测速度，将肤色特征引入人脸检测算法，利用肤色特征尽可能排除非肤色的影响，分割出可能的候选人脸区域，以达到减小搜索眼睛的范围、提高算法效率、降低误检率的作用。
眼睛的定位算法：利用眼睛的眨眼信息初步定位出眼睛位置，在此基础上，利用改进的Susan算子定位出内眼角，对Susan算子加入了角点夹角的约束条件，从而更能准确的定位出眼角位置。
眼睛的跟踪算法：在眼睛定位的基础上，利用内眼角稳定的特性，提取出内眼角小模板，进行跟踪，由于只需在很小的范围内对下一帧进行相关性计算，因此检测速度和精度方面有了很大的提高了，如果眼睛跟踪失败，则返回重新定位眼睛。
眼睛状态的识别：采用生成的睁眼模板，对当前帧的图像进行相关计算，相关值大于某一阈值时，就认为眼睛是开状态，否则，则认为是闭状态，可以快速的判断出人眼的状态。
疲劳判定：根据人在疲劳时的平均眨眼频率，当眨眼频率大于平均眨眼频率时，就可以认为驾驶员处于疲劳状态。
嘴部疲劳判定：在对嘴部采集模块进行分析时，根据嘴部纵横比M与嘴部的最大张开高度H和嘴部的最大张开宽度L之间的关系：M＝H/L，来建立疲劳特征。
当眼部和嘴部均判定为疲劳状态时，主控单元的控制模块驱动干预单元，根据学员的反应，依次进行逐步增强感染的提神精油喷雾、闪烁蓝光和声音提醒，在避免对学员身体产生副作用的条件下，选用物理调节的方法，作为促醒干预的方法，以提高大脑警觉度，在一定程度上消除人体疲劳感。
实施例3
在实施例2的基础上，所述分析模块在对人脸采集模块采集到的信息进行分析时，在Rein-Lien Hsu算法的基础上，对单幅图像中人脸的肤色分布进行分析，根据每幅图像的人脸肤色分布特点进行区域分割，自动选取类似区域作为肤色区域，检测并定位人脸。
所述的人脸肤色的检测算法步骤如下：
S1、将采集到的图像格式设定为YUV(4:2:2:)，直接对每个像素的UV值取其对数值形成呈现一定峰状的二维直方图，引入参数K来消除干扰，且有K＝S/H，其中S表示从峰值到邻近峰谷的最短距离，H表示峰值的高度；
S2、检测二维直方图中的各个峰值区域，将参数K大于阈值K0(K0＝0.1)的峰值作为标记，进行下一步的肤色检测；
S3、对二维直方图进行区域分割：设定初始水平面为二维直方图的最高峰值点所在的水平面，水平面以下的二维直方图为起伏的峰谷，调整水平面使之下移，使得各个山峰按顺序依次在水平面上方出现，设定初始水平面的高度为H0，下移到水平面到H0-d，对于高于水平面H0-d的峰值分配唯一的标记号，继续下移水平面，检测位于H0-2d和H0-d之间的所有像素的值，判断是否有新的峰值出现，如果有，则分配一个新的标记号，否则给它分配与周围最近的像素点相同的标记号，直到所有指定高度的像素都分配到一个标记号；
S4、由S3分割得到若干个区域，根据人脸的肤色椭圆模型来确定可能的肤色点的区域，并将该区域的中心点设为标准中心点，比较各个区域的峰值点与标准中心点之间的距离，距离越近是肤色区域的可能性越大，保留距离标准中心点最近的区域；
S5、根据S1-S4对输入图像的像素逐个进行检测，若它在YUV空间中的UV分量属于肤色区域，则定义为肤色值，否则为非肤色值；
S6、对肤色进行分割：将S5检测出的肤色像素点设为1，非肤色点设为0，把原图像转换为灰度图像提取边缘特征，利用Sobel边缘检测算子对图像的边缘进行处理，将检测出的边缘像素点置为0其余置为1；
S7、将边缘特征提取的结果和肤色检测的结果逐像素进行取“与”操作；
S8、使用四方向判断的算法进行形态学处理，当前点的上下左右有一个点的颜色是白色的时候，就把这点的颜色填充成白色，首先对图像进行两次连续的腐蚀操作，腐蚀操作可以让类似肤色区域与肤色区域分离开，然后对图像连续使用两次膨胀操作，使脸部区域中的不连续的块更连续；
S9、人脸在分割中由于边缘像素的干扰而被分割为多个区域，所以我们对分割后的区域进行有效的合并，并把面积太小的区域去除，得到最终的输出矩形，即肤色分割处理的最终结果。
实施例4
所述分析模块在对人脸定位后，利用眨眼信息初步定位学员的眼睛位置，并在Susan眼角提取算子的基础上对眼睛进行精确定位，提取眼角小模板用于眼睛的跟踪，通过获取单帧图像中学员眼睛的开合程度，统计眼睛开合状态，提取眼睛状态的相关参数建立疲劳特征，以建立基于眼睛状态的学员的疲劳特征参数。
所述分析模块在对眼部的定位和跟踪的过程中，包括眼睛的定位和眼睛的跟踪，定位眼睛以后进行跟踪，跟踪失败，再返回到定位状态，具体的步骤如下：
A1、眼睛的初步定位：根据眨眼信息，定位出眼睛的位置范围；
具体的，有：
A1-1：根据眼睛的眨眼信息进行眼睛搜索窗口所对应的原始捕获设定为图像序列f1(x,y)，f2(x,y)…fn(x,y)，对该图像序列进行滤波处理，对对原序列图和变化图进行初始化：
υ1(x,y)＝f1(x,y)，ω1 2(x,y)＝0；
A1-2：对相邻帧fn-1(x,y)和fn(x,y)，原图和变化图为：
υn(x,y)＝[υn-1(x,y)+fn(x,y)]/2，ωn 2(x,y)＝[υn(x,y)-υn-1(x,y)]2；
A1-3：将A1-2的变化图二值化，大于设定阈值的像素点设为1，若白点超过一定数量认为出现了眨眼动作，根据双眼的相对位置关系，初步定位出两个眼睛的区域。
A2、眼角定位，在Susan算子的基础上，以眼睛边缘二值图中每一边缘点为圆心，计算edge(A)：
R(r0)＝[g-n(r0)]×0.3/g+edge(A)×0.7,n(r0)＜g；
其中R(r0)为Susan角点检测算法的模板尺度对应的边缘响应函数，n(r0)表示的是Susan算子中核同值区区域内像素的个数，g为特定门限值，edge(A)表示扇形角为A的扇形区域中边缘点个数与整个圆形区域中边缘点个数之比，眼角夹角为锐角，以眼角夹角的角度为A(75°≤A≤85°)，且有edge(A)＝[0,1]，具有最大边缘响应R(r0)的边缘点就是内眼角点。
A3、眼睛的追踪：在A2的基础上，提取内眼角模板，由上一帧图像中的内眼角位置，来确定下一帧图像中的眼睛的搜索范围，设搜索窗图像为f(x,y)，上一帧图像得到内眼角模板为fon(i,j)，对搜索窗图像f(x,y)中不同位置的图像为：
其中(i,j)分别取1,2,3，用Susan算子的3×3的模板在搜索区域内进行匹配，根据内眼角小区域来跟踪眼睛。
A4、在A3的基础上，由上一帧的图像跟踪确定下一帧图像，若无法确定，则表示检测到眼睛，继续进行下一帧的图像跟踪，若可以确定，则计算出前一帧的眼角位置作为模板。
A5、根据上一帧的眼角位置搜索域，利用眼角模板进行匹配，若相关度小于0.4，则表示跟踪失败，若相关度大于等于0.4，则表示检测到眼睛。
在对眼睛进行定位和追踪后，以人体眼部为模型，设定眼部宽度方向的两侧嘴角分别为p1和p4，设定眼部的上眼睑对应眼球的左右两侧的两点分别为p2和p3，设定眼部的下眼睑对应眼球的左右两侧的两点分别为p6和p5，根据眼睛的纵横比来衡量眼睛的张开程度，对眨眼频率进行判断，设定眨眼过程的变化值E满足：
E＝[‖p2-p6‖+‖p3-p5‖]/[2×‖p1-p4‖]；
眼睛睁开时，左右眼的E值均值在一个较小范围内波动，当其快速下降到远离这一范围时，代表眼睛闭合，再次返回该正常睁眼范围时，代表眼睛重新睁开，整个完整过程即一次眨眼动作的发生；
所述分析模块通过对眼部的眨眼频率进行分析，设定阈值E0为0.3，左右眼的平均E值从大于E0开始计算，到E值逐渐低于E0，再回到E0，定义为依次眨眼，通过对学员单位时间内的眨眼动作进行计数，判断学员的眨眼频率。
清醒状态下人1分钟眨眼为15-20次，当人由清醒转入疲劳状态时将出现两种情况：一是疲劳导致的闭眼时间变长；二是虽然眼睛睁开，但眼球运动速度变慢，两种情况下，眨眼频率都会明显减少，选取阈值为E0为15次/分钟，如果眨眼频率未达到该范围，则认为学员出现疲劳反应。
当人处于疲劳状态时，眼球运动速度变慢，分析模块根据眼球的运动速率与正常情况下眼球速率的比较，判断是否处于疲劳状态，具体的，在A1-A5的算法基础上，通过眼角和瞳孔中心的相对位置来计算眼球的运动速度，以眼角为参考点，得到相对位置后分析疲劳状况，根据摄像头采集每帧图像到处理完之间的时间间隔t一样，则有相邻两帧(第一帧和第二帧)眼球运动的距离L满足：
L＝∣L1-L2∣；L1＝[(x1-x0)2+(y1-y0)2]；L1＝[(x3-x2)2+(y3-y2)2]；
眼球的运动速率V满足：V＝L/t；
其中(x0，y0)表示第一帧时，眼球处于眼睛中央处的瞳孔中心的坐标，(x1，y1)表示第一帧时，眼角的坐标；(x2，y2)表示第二帧时，瞳孔中心的坐标，(x3，y3)表示第二帧时，眼角的坐标。
当人处于疲劳状态时，眼球运动速度变慢，根据实时求出眼球运动速率与正常情况下眼球速率作比较，采集5s内的90帧图片进行疲劳判断，若有36帧以上的图片中的眼球速度低于标准速度V，则视为疲劳。
在对眼部进行疲劳判断中，先对眼睛进行定位和跟踪，准确定位处眼睛的位置及眼球活动位置，进而通过对眼睛状态的识别判断出眨眼频率和瞳孔的运动速率，对眼部疲劳状态进行判定。
实施例5
结合图4，所述分析模块在对嘴部采集模块进行分析时，根据嘴部纵横比M与嘴部的最大张开高度H和嘴部的最大张开宽度L之间的关系：M＝H/L，来建立疲劳特征。
以人体嘴部为模型，设定嘴部宽度方向的两侧嘴角分别为M1和M4，设定嘴部的上唇部对应两颗大门牙的顶端中部的两点分别为M2和M3，设定嘴部的下唇部对应两颗大门牙的底端中部的两点分别为M6和M5，则有当嘴部纵横比M＇满足：
M＇＝[‖M2-M6‖+‖M3-M5‖]/[2×‖M1-M4‖]；
在打哈欠时，嘴部纵横比快速增大并持续较长时间，与正常张嘴状态有明显不同，所述分析模块通过嘴部采集模块采集到的打哈欠的视频进行分析，当M＇≥0.8时，判断为有打哈欠的疲劳状态，当M＇＜0.8时，判断为无打哈欠的清醒状态。
以上仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的保护范围内所做的任何修改，等同替换等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于多重刺激的夜间学习方法，其特征在于：包括对学员进行监测的图像采集单元和对学员疲劳进行干预的干预单元，所述图像采集单元和干预单元均通信连接至主控单元；包括如下步骤：
1）所述图像采集单元对学员的人脸、眼部和嘴部进行图像采集，所述主控单元的分析模块对图像采集单元采集的数据进行疲劳分析，当分析结果判断为有疲劳症状时，控制模块控制干扰单元启动，当分析结果判断为无疲劳症状时，图像采集单元继续对学员进行图像采集；
2）当分析结果判断为有疲劳症状时，主控单元的控制模块控制干扰单元的蓝光模块启动，对学员进行蓝光闪烁刺激，若学员在蓝光的刺激下清醒，分析模块判断学员处于清醒状态，则取消干扰单元的工作，若学员在蓝光的刺激下未做出任何回应，则分析模块判断学员仍处于疲劳状态；
3）控制模块控制干扰单元的喷雾模块启动，对学员周围的空气进行提神精油雾化喷射，通过气味刺激学员，若学员在气味的刺激下清醒，分析模块判断学员处于清醒状态，则取消干扰单元的工作，若学员在气味的刺激下未做出任何回应，则分析模块判断学员还是处于疲劳状态；
4）控制模块控制干扰单元的声音模块启动，通过语音提醒刺激学员，若学员在声音的刺激下清醒，分析模块判断学员处于清醒状态，则取消干扰单元的工作，若学员在气味的刺激下未做出任何回应，则分析模块判断学员依然处于疲劳状态；
5）控制模块控制干扰单元的声音模块继续工作，并通过加大声音模块的语音分贝来刺激学员，直至学员做出回应，分析模块判断学员处于清醒状态为止，主控单元继续通过图像采集单元对学员的疲劳状态进行监测。
2.根据权利要求1所述的一种基于多重刺激的夜间学习方法，其特征在于：所述图像采集单元包括人脸采集模块、眼部采集模块和嘴部采集模块，所述干预单元包括喷雾模块、蓝光模块和声音模块；
所述主控单元包括分析模块和控制模块，所述控制模块根据分析模块的分析结果对学员的疲劳程度进行判断，所述控制模块根据判断的结果向所述干预单元发送信号，通过所述干预单元对学员进行促醒。
3.根据权利要求1所述的一种基于多重刺激的夜间学习方法，其特征在于：所述图像采集单元通过摄像头采集视频信号，所述图像采集单元将视频信号进行解码，由模拟信号转换成数字视频信号，传输到主控单元，主控单元对视频数据进行处理。
4.根据权利要求1所述的一种基于多重刺激的夜间学习方法，其特征在于：所述分析模块在对人脸采集模块采集到的信息进行分析时，在 Rein-Lien Hsu 算法的基础上，对单幅图像中人脸的肤色分布进行分析，根据每幅图像的人脸肤色分布特点进行区域分割，自动选取类似区域作为肤色区域，检测并定位人脸。
5.根据权利要求4所述的一种基于多重刺激的夜间学习方法，其特征在于：所述分析模块在对人脸定位后，利用眨眼信息初步定位学员的眼睛位置，并在Susan 眼角提取算子的基础上对眼睛进行精确定位，提取眼角小模板用于眼睛的跟踪，通过获取单帧图像中驾驶员眼睛的开合程度，统计眼睛开合状态，提取眼睛状态的相关参数建立疲劳特征，以建立基于眼睛状态的驾驶员的疲劳特征参数。
6.根据权利要求1所述的一种基于多重刺激的夜间学习方法，其特征在于：所述分析模块在对嘴部采集模块进行分析时，根据嘴部纵横比M与嘴部的最大张开高度H和嘴部的最大张开宽度L之间的关系：M=H/L，来建立疲劳特征。
7.根据权利要求6所述的一种基于多重刺激的夜间学习方法，其特征在于：以人体嘴部为模型，设定嘴部宽度方向的两侧嘴角分别为M1和M4，设定嘴部的上唇部对应两颗大门牙的顶端中部的两点分别为M2和M3，设定嘴部的下唇部对应两颗大门牙的底端中部的两点分别为M6和M5，则有当嘴部纵横比M＇满足：
M＇=[‖M2-M6‖+‖M3-M5‖]/[2×‖M1-M4‖]；
在打哈欠时，嘴部纵横比快速增大并持续较长时间，与正常张嘴状态有明显不同，所述分析模块通过嘴部采集模块采集到的打哈欠的视频进行分析，当M＇≥0.8时，判断为有打哈欠的疲劳状态，当M＇＜0.8时，判断为无打哈欠的清醒状态。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110568929.4A CN113297966A (zh) | 2021-05-25 | 2021-05-25 | 一种基于多重刺激的夜间学习方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110568929.4A CN113297966A (zh) | 2021-05-25 | 2021-05-25 | 一种基于多重刺激的夜间学习方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113297966A true CN113297966A (zh) | 2021-08-24 |
Family
ID=77324555
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110568929.4A Pending CN113297966A (zh) | 2021-05-25 | 2021-05-25 | 一种基于多重刺激的夜间学习方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113297966A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113967014A (zh) * | 2021-12-22 | 2022-01-25 | 成都航空职业技术学院 | 基于大数据的学生行为分析装置、系统及方法 |
| CN116052607A (zh) * | 2023-04-03 | 2023-05-02 | 荣耀终端有限公司 | 电子设备控制方法、装置、芯片、电子设备及介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107679468A (zh) * | 2017-09-19 | 2018-02-09 | 浙江师范大学 | 一种嵌入式计算机视觉检测疲劳驾驶方法及装置 |
| CN108446600A (zh) * | 2018-02-27 | 2018-08-24 | 上海汽车集团股份有限公司 | 一种车辆驾驶员疲劳监测预警系统及方法 |
| CN108875642A (zh) * | 2018-06-21 | 2018-11-23 | 长安大学 | 一种多指标融合的驾驶员疲劳检测的方法 |
| CN109919049A (zh) * | 2019-02-21 | 2019-06-21 | 北京以萨技术股份有限公司 | 基于深度学习人脸姿态估计的疲劳检测方法 |
| CN110176128A (zh) * | 2019-05-28 | 2019-08-27 | 成都谷辘信息技术有限公司 | 一种驾驶员疲劳驾驶预警处理系统 |
| CN110532887A (zh) * | 2019-07-31 | 2019-12-03 | 郑州大学 | 一种基于面部特征融合的疲劳驾驶检测方法及系统 |
| CN110532976A (zh) * | 2019-09-03 | 2019-12-03 | 湘潭大学 | 基于机器学习和多特征融合的疲劳驾驶检测方法及系统 |
| CN111985328A (zh) * | 2020-07-16 | 2020-11-24 | 西安理工大学 | 基于面部特征分析的不安全驾驶行为检测预警方法 |
| CN112528767A (zh) * | 2020-11-26 | 2021-03-19 | 天津大学 | 基于机器视觉的施工机械操作员疲劳作业检测系统及方法 |
-
2021
- 2021-05-25 CN CN202110568929.4A patent/CN113297966A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107679468A (zh) * | 2017-09-19 | 2018-02-09 | 浙江师范大学 | 一种嵌入式计算机视觉检测疲劳驾驶方法及装置 |
| CN108446600A (zh) * | 2018-02-27 | 2018-08-24 | 上海汽车集团股份有限公司 | 一种车辆驾驶员疲劳监测预警系统及方法 |
| CN108875642A (zh) * | 2018-06-21 | 2018-11-23 | 长安大学 | 一种多指标融合的驾驶员疲劳检测的方法 |
| CN109919049A (zh) * | 2019-02-21 | 2019-06-21 | 北京以萨技术股份有限公司 | 基于深度学习人脸姿态估计的疲劳检测方法 |
| CN110176128A (zh) * | 2019-05-28 | 2019-08-27 | 成都谷辘信息技术有限公司 | 一种驾驶员疲劳驾驶预警处理系统 |
| CN110532887A (zh) * | 2019-07-31 | 2019-12-03 | 郑州大学 | 一种基于面部特征融合的疲劳驾驶检测方法及系统 |
| CN110532976A (zh) * | 2019-09-03 | 2019-12-03 | 湘潭大学 | 基于机器学习和多特征融合的疲劳驾驶检测方法及系统 |
| CN111985328A (zh) * | 2020-07-16 | 2020-11-24 | 西安理工大学 | 基于面部特征分析的不安全驾驶行为检测预警方法 |
| CN112528767A (zh) * | 2020-11-26 | 2021-03-19 | 天津大学 | 基于机器视觉的施工机械操作员疲劳作业检测系统及方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113967014A (zh) * | 2021-12-22 | 2022-01-25 | 成都航空职业技术学院 | 基于大数据的学生行为分析装置、系统及方法 |
| CN116052607A (zh) * | 2023-04-03 | 2023-05-02 | 荣耀终端有限公司 | 电子设备控制方法、装置、芯片、电子设备及介质 |
| CN116052607B (zh) * | 2023-04-03 | 2023-09-19 | 荣耀终端有限公司 | 电子设备控制方法、装置、芯片、电子设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108216254B (zh) | 基于面部图像与脉搏信息融合的路怒情绪识别方法 | |
| CN106846734B (zh) | 一种疲劳驾驶检测装置及方法 | |
| CN110276273B (zh) | 融合面部特征与图像脉搏心率估计的驾驶员疲劳检测方法 | |
| CN106778695B (zh) | 一种基于视频的多人快速心率检测方法 | |
| CN109389806B (zh) | 基于多信息融合的疲劳驾驶检测预警方法、系统及介质 | |
| CN100462047C (zh) | 基于全方位计算机视觉的安全驾驶辅助装置 | |
| EP2111796B1 (en) | Awake state judging model making device, awake state judging device, and warning device | |
| WO2020029444A1 (zh) | 一种驾驶员驾驶时注意力检测方法和系统 | |
| CN111166357A (zh) | 多传感器融合的疲劳监测装置系统及其监测方法 | |
| CN110728241A (zh) | 一种基于深度学习多特征融合的驾驶员疲劳检测方法 | |
| CN113297966A (zh) | 一种基于多重刺激的夜间学习方法 | |
| CN112434611B (zh) | 基于眼部运动细微特征的早期疲劳检测方法及系统 | |
| CN109145852B (zh) | 一种基于眼睛睁闭状态的驾驶员疲劳状态识别方法 | |
| CN104200192A (zh) | 驾驶员注视检测系统 | |
| CN106250801A (zh) | 基于人脸检测和人眼状态识别的疲劳检测方法 | |
| US20200146622A1 (en) | System and method for determining the effectiveness of a cosmetic skin treatment | |
| CN112672474A (zh) | 基于注意力因素的照明控制系统 | |
| US11609628B2 (en) | Method and system for obtaining product prototype based on eye movement data | |
| CN107773225A (zh) | 脉搏波计测装置、脉搏波计测方法、程序以及记录介质 | |
| CN109528217A (zh) | 一种基于生理振动分析的情绪检测和预警方法 | |
| CN108921010A (zh) | 一种瞳孔检测方法及检测装置 | |
| CN112183502B (zh) | 驾驶员的驾驶状态确定方法、计算机存储介质及电子设备 | |
| CN113887386A (zh) | 基于深度学习和机器学习的多特征融合的疲劳检测方法 | |
| CN115171024A (zh) | 一种基于视频序列的面部多特征融合疲劳检测方法及系统 | |
| CN117523537A (zh) | 一种车辆驾驶危险程度动态判断方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |