CN114399752A - 一种基于微眼跳特性的眼动多特征融合疲劳检测系统及检测方法 - Google Patents
一种基于微眼跳特性的眼动多特征融合疲劳检测系统及检测方法 Download PDFInfo
- Publication number
- CN114399752A CN114399752A CN202210153869.4A CN202210153869A CN114399752A CN 114399752 A CN114399752 A CN 114399752A CN 202210153869 A CN202210153869 A CN 202210153869A CN 114399752 A CN114399752 A CN 114399752A
- Authority
- CN
- China
- Prior art keywords
- eye
- micro
- fatigue
- jump
- pupil
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 77
- 230000004424 eye movement Effects 0.000 title claims abstract description 65
- 230000004927 fusion Effects 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 title claims abstract description 28
- 210000001508 eye Anatomy 0.000 claims abstract description 112
- 238000013528 artificial neural network Methods 0.000 claims abstract description 7
- 210000001747 pupil Anatomy 0.000 claims description 64
- 238000004422 calculation algorithm Methods 0.000 claims description 18
- 230000004434 saccadic eye movement Effects 0.000 claims description 15
- 230000004459 microsaccades Effects 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 10
- 230000001133 acceleration Effects 0.000 claims description 8
- 238000013135 deep learning Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 230000015654 memory Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 230000004397 blinking Effects 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 4
- 230000003628 erosive effect Effects 0.000 claims description 3
- 210000000887 face Anatomy 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 230000004461 rapid eye movement Effects 0.000 claims description 3
- 230000006399 behavior Effects 0.000 claims description 2
- 239000000284 extract Substances 0.000 abstract description 3
- 206010016256 fatigue Diseases 0.000 description 101
- 238000010586 diagram Methods 0.000 description 10
- 230000001815 facial effect Effects 0.000 description 8
- 230000004399 eye closure Effects 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000002829 reductive effect Effects 0.000 description 5
- 210000000744 eyelid Anatomy 0.000 description 3
- 230000007787 long-term memory Effects 0.000 description 3
- 230000006403 short-term memory Effects 0.000 description 3
- 208000019914 Mental Fatigue Diseases 0.000 description 2
- 206010041349 Somnolence Diseases 0.000 description 2
- 230000004598 abnormal eye movement Effects 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000003340 mental effect Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 208000000044 Amnesia Diseases 0.000 description 1
- 208000026139 Memory disease Diseases 0.000 description 1
- 206010028372 Muscular weakness Diseases 0.000 description 1
- 206010062519 Poor quality sleep Diseases 0.000 description 1
- 241001282135 Poromitra oscitans Species 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 208000010340 Sleep Deprivation Diseases 0.000 description 1
- 206010048232 Yawning Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 238000007664 blowing Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000035080 detection of muscle activity involved in regulation of muscle adaptation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 208000028327 extreme fatigue Diseases 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000006984 memory degeneration Effects 0.000 description 1
- 208000023060 memory loss Diseases 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000036473 myasthenia Effects 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000007084 physiological dysfunction Effects 0.000 description 1
- 230000005997 psychological dysfunction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 230000001711 saccadic effect Effects 0.000 description 1
- 230000003860 sleep quality Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Medical Informatics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Ophthalmology & Optometry (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Multimedia (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本发明提供了一种基于微眼跳特性的眼动多特征融合疲劳检测系统，所述基于微眼跳特性的眼动多特征融合疲劳检测系统采用基于神经网络的高速摄像机对人脸进行检测和识别，准确标记人脸的多个关键点，并精确提取眼睛的位置，进而实现对驾驶员眼睛状态的实时跟踪，对眼部特征进行获取和分析进行疲劳状态的判断。本发明选用多个眼动指标综合评估驾驶疲劳程度，避免了由单指标引起的误判；通过多个眼动指标综合检测驾驶员疲劳状况并对疲劳驾驶发出警报，对交通安全尤为重要。
Description
技术领域
本发明属于计算机视觉技术领域，具体涉及一种基于微眼跳特性的眼动多特征融合疲劳检测系统及检测方法。
背景技术
疲劳驾驶一般指驾驶员在驾车过程中产生的生理机能和心理机能失调，在客观上出现驾驶技能下降的现象。在现代生活中，人们由于睡眠质量差、睡眠不足以及精神压力等因素更增加了疲劳驾驶发生的频率。出现疲劳状态后继续驾驶车辆，驾驶员会发生困倦、瞌睡、四肢无力、注意力不集中、判断能力下降等情形，甚至还可能出现精神恍惚或瞬间记忆消失，表现出对红灯等的交通变化反应迟缓或无反应等不安全因素，极易发生道路交通事故，严重危害道路交通安全。因此，驾驶员需要及早发现疲劳驾驶状态的出现，并避免疲劳驾驶。
为检测驾驶员在驾驶过程中可能出现的疲劳驾驶，现有技术中已有对驾驶员驾驶状态检测的一些方法，其中有通过在车内安装相机的方式捕捉驾驶员面部信息，进而对驾驶员闭眼、打哈欠等面部特征进行提取，判断驾驶员是否出现疲劳。但上述现有方法中，当采集驾驶员面部信息中检测到驾驶员闭眼等状态时，表明驾驶员已经进入深度疲劳状态，此时的疲劳提示很可能已经无法被驾驶员接收并给予反馈，并且，不同驾驶员出现疲劳驾驶状态时可能在驾驶员的面部上没有异常表现，而此时驾驶员的驾车反应能力已经明显降低。因此，开发一种不基于驾驶员面部信息，而是依据更准确的驾驶员的反应能力判断驾驶员是否发生疲劳的检测方法是非常必要的。
此外，实验室中使用的眼动疲劳监测主要是头戴式眼动仪，即目前眼动指标检测方法主要基于较为笨重的头戴式眼动仪的方法，头戴式眼动仪通过有线连接两台计算机进行显示简单屏幕信号，并检测受测者观看屏幕信号产生的眼动数据，获得一些指标如跳视、注视、位置、速度等。但实验室头戴式眼动仪存在设备昂贵、笨重佩戴不方便影响驾驶等问题。
即使将现有实验室中使用的头戴式眼动仪直接移植到驾驶的车辆中，因为目前疲劳检测算法大多数是通过一定的时间内眼睛闭合时所占的时间比例来衡量疲劳，使得疲劳检测仍然存在以下问题：(1)单一指标判别造成检测准确率、鲁棒性低等问题。(2)驾驶员易受到外界光线、风吹等因素的影响，导致人眼出现短暂的非常规状态如咪眼、迅速眨眼；(3)头戴式眼动仪没有结合眼部特征与疲劳关系的科学依据，存在误检率非常高等问题。
发明内容
为了解决上述问题，本发明人经过多次设计和研究，提供了一种基于微眼跳特性的眼动多特征融合疲劳检测系统及检测方法，其通过计算机视觉方法获取眼动特征，再通过相关算法来判定驾驶员疲劳状态。
依据本发明技术方案的第一方面，提供一种基于微眼跳特性的眼动多特征融合疲劳检测系统，所述微眼跳指示的是一种将中央凹视野从一点移到另一点的快速眼动行为，微眼跳是振幅最大、速度最快的注视型眼动，是在人眼试图注视的时候产生的一种不自觉的眼球运动；所述基于微眼跳特性的眼动多特征融合疲劳检测系统采用基于神经网络算法对高速摄像机获得的人脸信息进行检测和识别：首先准确标记人脸的多个关键点，并精确提取眼睛的位置，进而实现对驾驶员眼睛状态的实时跟踪，再对眼部的微眼跳的多种特征进行获取和分析进行疲劳状态的判断。
其中，基于微眼跳特性的眼动多特征融合疲劳检测系统准确标记人脸的多个关键点为40个以上点位。
优选地，准确标记人脸的多个关键点为68个点位。
进一步地，依据对眼部特征进行获取和分析进行疲劳状态的判断，通过精确识别驾驶员的疲劳状态信息，实时监控疲劳状况并及时报警。
另外地，基于微眼跳特性的眼动多特征融合疲劳检测系统，其包括瞳孔检测装置、扫视注视判断装置、微眼跳检测装置和多指标融合装置，其中瞳孔检测装置用于视频图像对人眼的瞳孔中心进行实时定位，跳视注视判断装置用于检测瞳孔数据中的注视序列，微眼跳检测装置用于检测微眼跳特性的装置，多指标融合装置用于对眼部进行多特征的融合且最终实现对疲劳状态的准确分类。
优选地，瞳孔检测装置通过一台高速摄像机用于拍摄人脸图像，控制装置将训练好的人脸关键点参数存储到数据信息存储器上，将瞳孔检测装置嵌入到高频摄像机中。
优选地，跳视注视判断装置利用基于速度阈值的移动眼动跟踪算法对瞳孔检测的数据进行筛选，筛选出符合注视帧标准的序列，排除眨眼和闪烁人为因素造成的眼动现象。
依据本发明技术方案的第二方面，提供一种基于微眼跳特性的眼动多特征融合疲劳检测方法，其包括以下步骤：
步骤S1,瞳孔检测步骤，基于人脸和瞳孔中心定位数据定位实现人眼动态追踪；
步骤S2,扫视注视判断步骤，基于速度阈值和加速度阈值，挑选注视帧并得到扫描注视的判断；
步骤S3,微眼跳检测步骤，其基于二维速度空间的眼睛轨迹算法来检测微眼跳；
步骤S4,多指标融合步骤，从驾驶员面部视频数据中和微眼跳特征中分别提取能够表征驾驶员疲劳的特征进行特征融合；
步骤S5,疲劳判断步骤，基于微眼跳特性的眼动多指标与PERCLOS疲劳判定原理进行融合，利用LSTM网络进行多特征融合来检测和判断疲劳。
优选地，步骤S1,瞳孔检测步骤具体包括以下：
步骤S11，所述瞳孔检测步骤采用基于神经网络深度学习的高速摄像机对人脸多个关键点进行定位；
步骤S12，基于视频图像对人眼的瞳孔中心进行实时定位；
步骤S13，根据关键点的位置变化从而判断人眼的注视方向即人眼的动态追踪；
步骤S14，对步骤S11、步骤S12和步骤S13中得到的视频图像进行灰度化处理，将视频图像从RGB色彩空间转换到灰度空间；
步骤S15，对步骤S14中得到的灰度图像进行高斯滤波处理，去除图像的噪点；
步骤S16，对步骤S15得到的图像进行二值化处理找到人眼区域，并检测出瞳孔轮廓，然后对瞳孔轮廓进行腐蚀和膨胀操作；
步骤S17，进行瞳孔中心定位实现人眼动态追踪。
优选地，步骤S3微眼跳检测步骤，其基于二维速度空间的眼睛轨迹算法来检测微眼跳中，眼睛位置的时间序列转变为速度：
其中
代表每帧的注视位置，其中
代表前后两个采样点的矢距离，Δt代表视频帧的采样频率。
相比较于现有技术，采用一种基于微眼跳特性的眼动多特征融合疲劳检测系统及检测方法，具有以下技术优势：
1、本发明选用多个眼动指标综合评估驾驶疲劳程度，避免了由单指标引起的误判；通过多个眼动指标综合检测驾驶员疲劳状况并对疲劳驾驶发出警报，对交通安全尤为重要。
2、本发明基于视觉特征的方法利用基于深度学习的摄像头记录驾驶员眼动数据代替眼动仪进行采样并用相关算法进行处理，进而实现对驾驶员眼睛状态的实时跟踪，具有直接检测疲劳特征、非接触式便捷、经济适用等优点。
3、本发明使用基于神经网络(深度学习)的高速摄像机，从眼睛、头部和身体中提取所有信息，通过应用相应的改进的自适应判断算法进行检测微眼跳，并且结合眼部多个特征进行疲劳的判断，检测的驾驶员疲劳状况的准确性显著提高。
4、本发明基于视觉注意力机制与微眼跳特性的相关性，推论出微眼跳可以作为疲劳检测的眼动特征，为眼部特征验证疲劳状态的判定提供了科学依据，检测到的疲劳状态准确性显著提高，在不久的将来会成为交通工程行业检测疲劳的良好工具。
附图说明
图1是基于微眼跳特性的眼动多特征融合疲劳检测技术的瞳孔检测的流程示意图；
图2是瞳孔运动的二维速度第一示意图，连线部分代表微眼跳序列；
图3是瞳孔运动的二维位置第二示意图，连线部分代表微眼跳序列；
图4是依据本发明的通过高速摄像机采集的视觉信息多特征融合并分类的流程示意图；
图5是依据本发明的LSTM长短期记忆网络对多特征融合进行分类的流程示意图；
图6是本发明中的视频帧的瞳孔水平位置坐标示意图，加深部分代表微眼跳序列；
图7是本发明中的视频帧的瞳孔垂直位置坐标示意图，加深部分代表微眼跳序列；
图8是本发明中的多特征融合通过LSTM长短期记忆网络进行分类的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。另外地，不应当将本发明的保护范围仅仅限制至下述具体结构或部件或具体参数。
本发明提供一种基于微眼跳特性的眼动多特征融合疲劳检测系统及检测方法，本申请人经过研究发现，驾驶员疲劳是因为驾驶员长时间驾驶而引起疲劳。本发明所依据的微眼跳指示的是一种将中央凹视野从一点移到另一点的快速眼动行为，并非现有技术中俗称“眨眼”的眼跳行为。本发明所指示的微眼跳是振幅最大、速度最快的注视型眼动，是在人眼试图注视的时候产生的一种不自觉的眼球运动，这种快速的小振幅跳跃的频率约为每秒一次到几次。微眼跳可以结合眼部信息来检测驾驶精神负荷以及疲劳状态。随着时间延长，在没有视觉刺激的注视下，微眼跳率和变异性会逐渐增加。本发明选用多个眼动指标综合评估驾驶疲劳程度，避免了由单指标引起的误判。因此，通过多个眼动指标综合检测驾驶员疲劳状况并对疲劳驾驶发出警报，对交通安全尤为重要。
本发明提供一种基于微眼跳特性的眼动多特征融合疲劳检测系统，其采用基于神经网络的高速摄像机对人脸进行检测和识别，准确标记人脸的多个关键点，优选40个以上点位，更优选68个关键点，并精确提取眼睛的位置，进而实现对驾驶员眼睛状态的实时跟踪，对眼部特征进行获取和分析进行疲劳状态的判断。进一步地，本发明提供一种基于微眼跳特性的眼动多特征融合疲劳检测系统，依据对眼部特征进行获取和分析进行疲劳状态的判断，通过精确识别驾驶员的疲劳状态信息，实时监控疲劳状况并及时报警，提醒驾驶员进行相应的休息和调整，以保证驾驶员的健康和车辆运行的安全性。
本发明的一种基于微眼跳特性的眼动多特征融合疲劳检测方法，其基于人眼所蕴含的注视时间、扫视时间、微眼跳频率和峰值速度与疲劳状态之间的联系，采用结合微眼跳的评测方法和眼动多特征融合方法来辅助PERCLOS判定原理实现驾驶员疲劳度的判定，从而达到更高的准确性和实用性。所述PERCLOS判定原理，指代度量疲劳/瞌睡的物理量的判定，是指在单位时间内眼睛闭合程度超过某一闭值(70％、80％)的时间占总时间的百分比，例如P7O:指眼睑遮住瞳孔的面积超过70％就计为眼睛闭合，统计在一定时间内眼睛闭合时所占的时间比例；P80:指眼睑遮住瞳孔的面积超过80％就计为眼睛闭合，统计在一定时间内眼睛闭合时所占的时间比例；EM:指眼睑遮住瞳孔的面积超过一半就计为眼睛闭合，统计在一定时间内眼睛闭合时所占的时间比例。例如，设定门限阈值
在一个实施例中，本发明的一种基于微眼跳特性的眼动多特征融合疲劳检测系统，其包括瞳孔检测装置、扫视注视判断装置、微眼跳检测装置和多指标融合装置，其中瞳孔检测装置用于视频图像对人眼的瞳孔中心进行实时定位，跳视注视判断装置用于检测瞳孔数据中的注视序列，微眼跳检测装置用于检测微眼跳特性的装置，多指标融合装置用于对眼部进行多特征的融合且最终实现对疲劳状态的准确分类。
瞳孔检测装置通过一台高速摄像机用于拍摄人脸图像，控制装置将训练好的人脸关键点参数存储到数据信息存储器上，将瞳孔检测装置嵌入到高频摄像机中。数据信息存储器是计算机设备的内部存储单元，也可以是计算机设备的外部存储设备，用于存储安装于计算机设备的应用软件及各类数据，安装计算机设备的程序代码等，优选数据信息用来存储有驾驶员疲劳检测计算机程序。瞳孔检测装置进一步包括数据处理器和显示器，数据处理器用于运行存储器中存储的程序代码或处理数据，例如执行驾驶员疲劳检测方法等。显示器用于显示在计算机设备的信息以及用于显示可视化的用户界面。
跳视注视判断装置利用基于速度阈值的移动眼动跟踪算法对瞳孔检测的数据进行进一步筛选，筛选出符合注视帧标准的序列，排除眨眼和闪烁等人为因素造成的眼动现象。
微眼跳检测装置利用基于速度幅度阈值的检测算法检测到微眼跳事件，一旦检测到微眼跳，提取以下特征：微眼跳次数、微眼跳频率、微眼跳速度、微眼跳角峰值速度、微眼跳角幅度、微眼跳持续时间等眼动指标。
多指标融合装置利用微眼跳特性与PERCLOS判定眼部疲劳状态的特征进行融合，并使用LSTM和RNN学习经过融合的多特征信号,同时捕捉特征信号在时间序列上的变化规律和多个特征信号在同一时刻的关系，最终实现对疲劳状态的准确分类。若判定出驾驶员处于中度疲劳状态时，则启动警告提示，若判定出驾驶员处于重度疲劳状态时，则启动报警提示。
上述实施装置中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，都可以硬件形式内嵌于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用并运行以上各个模块。
一种基于微眼跳特性的眼动多特征融合疲劳检测方法，其包括以下步骤：
步骤S1,瞳孔检测步骤，基于人脸和瞳孔中心定位数据定位实现人眼动态追踪，具体包括步骤如下：
步骤S11，所述瞳孔检测步骤采用基于神经网络(深度学习)的高速摄像机对人脸68个关键点进行定位，
步骤S12，基于视频图像对人眼的瞳孔中心进行实时定位，
步骤S13，根据关键点的位置变化从而判断人眼的注视方向即人眼的动态追踪；
步骤S14，对步骤S11、步骤S12和步骤S13中得到的视频图像进行灰度化处理，将视频图像从RGB色彩空间转换到灰度空间。
步骤S15，对步骤S14中得到的灰度图像进行高斯滤波处理，去除图像的噪点。
步骤S16，对步骤S15得到的图像进行二值化处理找到人眼区域，并检测出瞳孔轮廓，然后对瞳孔轮廓进行腐蚀和膨胀操作；
步骤S17，进行瞳孔中心定位实现人眼动态追踪。
实验结果表明，该瞳孔检测步骤能够实时追踪眼动方向。
步骤S2,扫视注视判断步骤，基于速度阈值和加速度阈值，挑选注视帧并得到扫描注视的判断，具体包括步骤如下：
步骤S21，设定速度阈值和加速度阈值；
步骤S22，以步骤S11中的人脸数据和步骤S12中瞳孔中心数据为基础，计算每一帧数据的速度和加速度，将每个点分类为超过一定的速度阈值和加速度阈值的作为一次跳视。
这个阈值被用来排除大部分的异常的眼球运动，并提供有目的的眼动数据，这取决于任务(即静态任务的较低阈值)。
步骤S23，如果该帧的速度没有达到该速度阈值，它被归类为一个注视帧。例如，任何超过5帧(100ms)的扫视持续时间都会被丢弃，因为在这个时间阈值内不会发生跳视。
步骤S24，基于得到的跳视帧和注视帧，将相邻的跳视点和扫视点分组在一起，然后用相邻帧的距离被归类为一个事件。
步骤S3,微眼跳检测步骤，其基于二维速度空间的眼睛轨迹算法来检测微眼跳。首先，眼睛位置的时间序列转变为速度：
其中
代表每帧的注视位置，其中
代表前后两个采样点的矢距离，Δt代表视频帧的采样频率。
其次，计算标准偏差σx，y，该变量的意思是注视眼球跳动曲线各帧点的一个标准速度，用来抑制微眼跳中过高速度的影响：
其中Vx，y代表采样点的水平速度及垂直速度，<>表示对变量进行中位数估计。
针对采样点速度变量计算微眼跳阈值，超过阈值即为微眼跳，公式如下：
ηx，y＝λσx，y
其中λ是代表固定倍数，是一个常数；σx，y代表标准偏差。
分别针对水平和垂直两个分量进行分析，相应的阈值η为两个值。作为微眼跳的必要条件，我们要求所有的样品：
其中v＝(vk，x，vk，y)代表单帧采样点的速度，vk，x代表采样点的水平速度，vk，y代表采样点的垂直速度，相应地，相应的阈值η为两个值，ηx代表采样点水平方向的阈值，ηy代表采样点垂直方向的阈值，在速度空间中定义一个椭圆。
在优选实施例中，对微眼跳持续时间采用6毫秒、振幅采用0.6度和角速度峰值60度每秒的阈值来排除异常值，来降低噪声。
步骤S4,多指标融合步骤，从驾驶员面部视频数据中和微眼跳特征中分别提取能够表征驾驶员疲劳的特征进行特征融合。
在多指标融合步骤中，考虑到驾驶员疲劳的产生是一个长时间的动态的生理变化过程，因此设计了LSTM网络处理融合5维特征数据，即眼睛开度特征、微眼跳频率特征、微眼跳速度特征、微眼跳峰值速度特征及瞳孔疲劳率系数特征，通过网络的长短期记忆功能，充分利用特征序列的时序特性和上下文信息，从而实现驾驶员疲劳产生过程的动态模拟，从而实现驾驶员疲劳状态的分类。
步骤S5,疲劳判断步骤，基于微眼跳特性的眼动多指标与PERCLOS疲劳判定原理进行融合，利用LSTM网络进行多特征融合来检测和判断疲劳。
相比较于现有技术，本发明的技术具有以下技术优势：
1、用高速摄像机取代眼动仪具有直接检测疲劳特征、非接触式等优点，基于深度学习的高速摄像机直接从图像中学习视觉特征，对光照、姿势等条件变化具有更好的鲁棒性和具有较高的精度，使得疲劳检测算法取得很大的进展和较高实用性。
2、用微眼跳特性的多指标融合疲劳检测驾驶员疲劳程度具有跨人群的一致性，人眼特征在检测驾驶疲劳时的有效性，使其可以应用于驾驶员疲劳检测标准的制定和工作负荷的评判提供可靠的科学依据，对保障交通安全具有重要的实践意义。
在另外的实施例中，基于微眼跳特性的眼动多特征融合疲劳检测方法，基于微眼跳特性的眼动多指标与PERCLOS疲劳判定原理进行融合，利用LSTM网络进行多特征融合来检测疲劳，具体的方法如下所示：
步骤W1，使用高速摄像机进行采样，高速摄像机优选使用深度学习训练的高速摄像机，通过图像增强，选择物体检测技术yolov5，基于Anchor的分类和回归，进行训练和学习人脸的68个关键点。本步骤中，训练检测速度较快，检测性能较优，采用检测性能和速度平衡的算法。
步骤W2，利用瞳孔检测技术，获取人眼的瞳孔位置和瞳孔大小，通过计算原始数据中每一帧瞳孔的x和y坐标的位置变化(单位像素)，计算它们之间的距离、速度和加速度，在计算原始数据中每一帧的速度和加速度后，算法将每个点分类为超过一定的速度阈值作为一种跳视。阈值与EOG(眼动电图标记法)进行眼球跟踪，并经过大量实验得出的阈值，这个阈值被用来排除大部分的异常眼球运动，并提供有用的眼动数据。如果该帧的速度没有达到该速度阈值，它被归类为一个注视。
步骤W3，利用微眼跳检测技术，通过获得的注视帧，来计算清醒与疲劳时人的微眼跳频率(单位帧内微眼跳发生的次数)、微眼跳速度(采样点之间的平均速度)、眼跳峰值速度(微眼跳眼动运动中的最大速度)、微眼跳幅度值(微眼跳运动的初始到结束位置的空间距离)、瞳孔疲劳率(瞳孔直径均值与瞳孔直径标准差的比值)变化。
当测试者处于疲劳状态时，其人的微眼跳频率、微眼跳速度、微眼跳峰值速度、微眼跳幅度值会明显降低，并且在降低之前，测试者的瞳孔直径迅速减小，并且其瞳孔疲劳率逐渐降低，而清醒时未表现出这种趋势。在本步骤中引入了微眼跳频率、微眼跳速度、微眼跳峰值速度及瞳孔疲劳率系数这四个指标综合去评估驾驶员的疲劳程度。发现随着时间的推移，漂移速度下降，微跳视速度下降，说明脑力疲劳导致眼球的不稳定性增加。漂移和微跳视可以用来预测神经系统的活动状态，是非常有潜力的脑力疲劳监测指标。驾驶员在进入中度疲劳之前，其微眼跳的频率、速度和峰值速度有下降的趋势，在进入重度疲劳之后，其变化幅度明显增大，说明驾驶员在进入中度疲劳之前，其微眼跳频率、速度、峰值和瞳孔直径相对稳定，而重度疲劳和极度疲劳时，其变化波动的幅度较大。
步骤W4，通过上述计算获得的眼动数据，如微眼跳频率、微眼跳速度、微眼跳峰值速度及瞳孔疲劳率系数等相关指标计结合PERCLOS判定疲劳原理综合判断疲劳状态。为提高疲劳驾驶检测模型的精度和鲁棒性，因此本发明将微眼跳数据和驾驶员面部视频数据中的信息进行融合，面部特征判定疲劳在深度疲劳阶段特征变化幅度小，差异不显著的特点和“微眼跳特征变化幅度明显，特征差异显著”，说明了确实有必要对这两种特征进行融合，利用微眼跳特征来改善眨眼特征疲劳变化幅度小、注意力分散难以检测的缺陷，以提高后续疲劳状态识别的准确性和可靠性。从摄像头采集的驾驶员面部信息中提取了驾驶员面部特征，1维眼睛开度特征，2维瞳孔直径大小和疲劳率特征，从注视帧数据中提取了微眼跳4维特征，即微眼跳频率、微眼跳水平速度、微眼跳垂直速度及微眼跳峰值速度，根据特征层信息融合原理，对其开展特征层级上的信息融合，得到驾驶员面部及微眼跳融合特征共7维。考虑到数据采集时所用摄像机与眼动仪之间的结构差异以及输出的数据格式之间的差别，融合的数据格式一致性要求，需要将以像素为单位测量的数据转换为度，采用中间融合方式对驾驶员的面部视频数据和微眼跳数据进行融合，也就是将从眼动数据中计算出微眼跳的相应特征指标和驾驶员面部视频数据中面部特征进行融合。
下面结合附图，对本发明进一步做出解释和说明。
如图1所示，其示出基于微眼跳特性的眼动多特征融合疲劳检测技术中的瞳孔检测流程，其采用高速摄像机对人脸进行采样，获取人脸帧图片，基于人脸帧图片获取人脸68个关键点的数据，继而基于人眼瞳孔轮廓检测，获取瞳孔中心坐标，实现瞳孔定位。
如图2和图3所示，图2中的纵坐标为垂直速率(度视角每秒)，横坐标为水平速率(度视角每秒)，图2表示瞳孔运动的二维速度第一示意图，连线部分代表微眼跳序列；图3中的纵坐标为垂直速率(度视角)，横坐标为水平速率(度视角)，图3表示瞳孔运动的二维位置第二示意图，连线部分代表微眼跳序列。
图4是通过高速摄像机采集的视觉信息多特征融合并分类的流程示意图；
图5是LSTM长短期记忆网络对多特征融合进行分类的流程示意图；
图6是视频帧的瞳孔水平位置坐标示意图，加深部分代表微眼跳序列；
图7是视频帧的瞳孔垂直位置坐标示意图，加深部分代表微眼跳序列；
图8是多特征融合通过LSTM长短期记忆网络进行分类的示意图。
以上，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。本领域普通的技术人员可以理解，在不背离所附权利要求定义的本发明的精神和范围的情况下，可以在形式和细节中做出各种各样的修改。
Claims (10)
1.一种基于微眼跳特性的眼动多特征融合疲劳检测系统，其特征在于，所述微眼跳指示的是一种将中央凹视野从一点移到另一点的快速眼动行为，微眼跳是振幅最大、速度最快的注视型眼动，是在人眼试图注视的时候产生的一种不自觉的眼球运动；所述基于微眼跳特性的眼动多特征融合疲劳检测系统基于深度学习算法，采用高速摄像机进行检测和识别，准确标记人脸的多个关键点，并精确提取眼睛和瞳孔的信息，实现对驾驶员眼睛状态的实时跟踪，对微眼跳的眼动多特征进行获取和融合分析，进而对驾驶员疲劳状态进行分析判断。
2.根据权利要求1所述的基于微眼跳特性的眼动多特征融合疲劳检测系统，其特征在于，准确标记人脸的多个关键点为40个以上点位。
3.根据权利要求2所述的基于微眼跳特性的眼动多特征融合疲劳检测系统，其特征在于，准确标记人脸的多个关键点为68个点位。
4.根据权利要求2所述的基于微眼跳特性的眼动多特征融合疲劳检测系统，其特征在于，依据对眼部特征进行获取和分析进行疲劳状态的判断，通过精确识别驾驶员的疲劳状态信息，实时监控疲劳状况并及时报警。
5.根据权利要求2所述的基于微眼跳特性的眼动多特征融合疲劳检测系统，其特征在于，基于微眼跳特性的眼动多特征融合疲劳检测系统，其包括瞳孔检测装置、扫视注视判断装置、微眼跳检测装置和多指标融合装置，其中瞳孔检测装置用于视频图像对人眼的瞳孔中心进行实时定位，跳视注视判断装置用于检测瞳孔数据中的注视序列，微眼跳检测装置用于检测微眼跳特性的装置，多指标融合装置用于对眼部进行多特征的融合且最终实现对疲劳状态的准确分类。
6.根据权利要求5所述的基于微眼跳特性的眼动多特征融合疲劳检测系统，其特征在于，瞳孔检测装置通过一台高速摄像机用于拍摄人脸图像，控制装置将训练好的人脸关键点参数存储到数据信息存储器上，将瞳孔检测装置嵌入到高频摄像机中。
7.根据权利要求5所述的基于微眼跳特性的眼动多特征融合疲劳检测系统，其特征在于，跳视注视判断装置利用基于速度阈值的移动眼动跟踪算法对瞳孔检测的数据进行筛选，筛选出符合注视帧标准的序列，排除眨眼和闪烁人为因素造成的眼动现象。
8.一种基于微眼跳特性的眼动多特征融合疲劳检测方法，其特征在于，其包括以下步骤：
步骤S1,瞳孔检测步骤，基于人脸和瞳孔中心定位数据定位实现人眼动态追踪；
步骤S2,扫视注视判断步骤，基于速度阈值和加速度阈值，挑选注视帧并得到扫描注视的判断；
步骤S3,微眼跳检测步骤，其基于二维速度空间的眼睛轨迹算法来检测微眼跳；
步骤S4,多指标融合步骤，从驾驶员面部视频数据中和微眼跳特征中分别提取能够表征驾驶员疲劳的特征进行特征融合；
步骤S5,疲劳判断步骤，基于微眼跳特性的眼动多指标与PERCLOS疲劳判定原理进行融合，利用LSTM网络进行多特征融合来检测和判断疲劳。
9.根据权利要求8所述的基于微眼跳特性的眼动多特征融合疲劳检测方法，其特征在于，步骤S1,瞳孔检测步骤具体包括以下：
步骤S11，所述瞳孔检测步骤采用基于神经网络深度学习的高速摄像机对人脸多个关键点进行定位；
步骤S12，基于视频图像对人眼的瞳孔中心进行实时定位；
步骤S13，根据关键点的位置变化从而判断人眼的注视方向即人眼的动态追踪；
步骤S14，对步骤S11、步骤S12和步骤S13中得到的视频图像进行灰度化处理，将视频图像从RGB色彩空间转换到灰度空间；
步骤S15，对步骤S14中得到的灰度图像进行高斯滤波处理，去除图像的噪点；
步骤S16，对步骤S15得到的图像进行二值化处理找到人眼区域，并检测出瞳孔轮廓，然后对瞳孔轮廓进行腐蚀和膨胀操作；
步骤S17，进行瞳孔中心定位实现人眼动态追踪。
10.根据权利要求8所述的基于微眼跳特性的眼动多特征融合疲劳检测方法，其特征在于，步骤S3微眼跳检测步骤，其基于二维速度空间的眼睛轨迹算法来检测微眼跳中，眼睛位置的时间序列转变为速度：
其中
代表每帧的注视位置，其中
代表前后两个采样点的矢距离，Δt代表视频帧的采样频率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210153869.4A CN114399752A (zh) | 2022-02-19 | 2022-02-19 | 一种基于微眼跳特性的眼动多特征融合疲劳检测系统及检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210153869.4A CN114399752A (zh) | 2022-02-19 | 2022-02-19 | 一种基于微眼跳特性的眼动多特征融合疲劳检测系统及检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114399752A true CN114399752A (zh) | 2022-04-26 |
Family
ID=81234315
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210153869.4A Pending CN114399752A (zh) | 2022-02-19 | 2022-02-19 | 一种基于微眼跳特性的眼动多特征融合疲劳检测系统及检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114399752A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115359545A (zh) * | 2022-10-19 | 2022-11-18 | 深圳海星智驾科技有限公司 | 一种工作人员疲劳检测方法、装置、电子设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107341468A (zh) * | 2017-06-30 | 2017-11-10 | 北京七鑫易维信息技术有限公司 | 驾驶员状态识别方法、装置、存储介质及处理器 |
| CN110811649A (zh) * | 2019-10-31 | 2020-02-21 | 太原理工大学 | 一种基于生物电及行为特征融合的疲劳驾驶检测方法 |
| CN112785890A (zh) * | 2020-12-24 | 2021-05-11 | 中国人民解放军空军工程大学 | 一种塔台飞行指挥模拟训练管制员注意力评估系统及其方法 |
| CN113260547A (zh) * | 2019-01-08 | 2021-08-13 | 索尼半导体解决方案公司 | 信息处理设备、移动设备、方法和程序 |
-
2022
- 2022-02-19 CN CN202210153869.4A patent/CN114399752A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107341468A (zh) * | 2017-06-30 | 2017-11-10 | 北京七鑫易维信息技术有限公司 | 驾驶员状态识别方法、装置、存储介质及处理器 |
| CN113260547A (zh) * | 2019-01-08 | 2021-08-13 | 索尼半导体解决方案公司 | 信息处理设备、移动设备、方法和程序 |
| CN110811649A (zh) * | 2019-10-31 | 2020-02-21 | 太原理工大学 | 一种基于生物电及行为特征融合的疲劳驾驶检测方法 |
| CN112785890A (zh) * | 2020-12-24 | 2021-05-11 | 中国人民解放军空军工程大学 | 一种塔台飞行指挥模拟训练管制员注意力评估系统及其方法 |
Non-Patent Citations (2)
| Title |
|---|
| LEANDRO L. DI STASI 等: "Microsaccade and drift dynamics reflect mental fatigue", 《EUROPEAN JOURNAL OF NEUROSCIENCE》, vol. 38, no. 3, 1 August 2013 (2013-08-01), pages 2389 - 2398, XP055215324, DOI: 10.1111/ejn.12248 * |
| RALF ENGBERT等: "Microsaccades uncover the orientation of covert attention", 《VISION RESEARCH》, vol. 43, no. 9, 1 April 2003 (2003-04-01), pages 1035 - 1045 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115359545A (zh) * | 2022-10-19 | 2022-11-18 | 深圳海星智驾科技有限公司 | 一种工作人员疲劳检测方法、装置、电子设备及存储介质 |
| CN115359545B (zh) * | 2022-10-19 | 2023-01-24 | 深圳海星智驾科技有限公司 | 一种工作人员疲劳检测方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11883173B2 (en) | Roadside impairment sensor | |
| Dong et al. | Driver inattention monitoring system for intelligent vehicles: A review | |
| Amodio et al. | Automatic detection of driver impairment based on pupillary light reflex | |
| EP2500889B1 (en) | Alertness assessment device, method, and program | |
| Gao et al. | Evaluating driving fatigue detection algorithms using eye tracking glasses | |
| JP4864541B2 (ja) | まばたきデータ種別装置、覚醒状態判定装置及び覚醒状態判断装置 | |
| CN109460703B (zh) | 一种基于心率和面部特征的非侵入式疲劳驾驶识别方法 | |
| CN112434611B (zh) | 基于眼部运动细微特征的早期疲劳检测方法及系统 | |
| KR20090091335A (ko) | 각성 상태 판정 모델 생성 장치, 각성 상태 판정 장치 및 경고 장치 | |
| CN105788176A (zh) | 疲劳驾驶监测提醒方法及系统 | |
| CN112957042B (zh) | 一种非接触式目标情绪识别的方法及系统 | |
| CN114648354A (zh) | 一种基于眼动追踪和情绪状态的广告测评方法和系统 | |
| Tang et al. | Real-time image-based driver fatigue detection and monitoring system for monitoring driver vigilance | |
| Suhaiman et al. | Development of an intelligent drowsiness detection system for drivers using image processing technique | |
| CN114399752A (zh) | 一种基于微眼跳特性的眼动多特征融合疲劳检测系统及检测方法 | |
| Alam et al. | Active vision-based attention monitoring system for non-distracted driving | |
| Reimer et al. | Detecting eye movements in dynamic environments | |
| Miyakawa et al. | Development of non-contact real-time blink detection system for doze alarm | |
| Boverie et al. | Driver vigilance diagnostic based on eyelid movement observation | |
| CN111860437A (zh) | 一种基于面部表情判断疲劳程度的方法及装置 | |
| CN115444422A (zh) | 一种基于眼动数据的真实环境心理负荷评估方法和系统 | |
| CN114998874A (zh) | 一种基于深度学习的驾驶员异常行为检测方法 | |
| Khadkikar et al. | A Comparative Study of Driver Drowsiness Detection Techniques | |
| Swathi et al. | Survey on Automatic Drowsiness Detection and Alert System using Deep Learning | |
| Wang et al. | Multicriteria Fatigue Detection with Rapid Facial Tracking and Individualized Thresholds |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |