CN110495895B - 一种基于眼动跟踪的疲劳检测方法与系统 - Google Patents
一种基于眼动跟踪的疲劳检测方法与系统 Download PDFInfo
- Publication number
- CN110495895B CN110495895B CN201910790888.6A CN201910790888A CN110495895B CN 110495895 B CN110495895 B CN 110495895B CN 201910790888 A CN201910790888 A CN 201910790888A CN 110495895 B CN110495895 B CN 110495895B
- Authority
- CN
- China
- Prior art keywords
- tracking
- light spot
- seconds
- eye
- pupil
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000004424 eye movement Effects 0.000 title claims abstract description 54
- 238000001514 detection method Methods 0.000 title claims abstract description 35
- 210000001747 pupil Anatomy 0.000 claims abstract description 65
- 238000000034 method Methods 0.000 claims abstract description 19
- 238000004364 calculation method Methods 0.000 claims abstract description 16
- 238000012360 testing method Methods 0.000 claims description 62
- 230000014759 maintenance of location Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 abstract description 10
- 230000000007 visual effect Effects 0.000 abstract description 3
- 238000012545 processing Methods 0.000 description 4
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 210000000744 eyelid Anatomy 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000035622 drinking Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 230000037081 physical activity Effects 0.000 description 1
- 208000020016 psychiatric disease Diseases 0.000 description 1
- 230000036632 reaction speed Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2503/00—Evaluating a particular growth phase or type of persons or animals
- A61B2503/20—Workers
- A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Veterinary Medicine (AREA)
- Molecular Biology (AREA)
- Public Health (AREA)
- Psychiatry (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Developmental Disabilities (AREA)
- Educational Technology (AREA)
- Social Psychology (AREA)
- Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Child & Adolescent Psychology (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Signal Processing (AREA)
- Eye Examination Apparatus (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了一种基于眼动跟踪的疲劳检测方法,在屏幕上随机产生位置固定、停留时间可调的光点,采集受试者每次跟踪光点的眼动跟踪图像;从眼动跟踪图像中提取相应的瞳孔跟踪位置的坐标,与相应的瞳孔标定位置进行比较,得出跟踪结果;根据跟踪结果分别计算跟踪准确率;根据跟踪准确率,绘制跟踪准确率曲线:低于阈值的跟踪准确率所对应的停留时间越长,表明疲劳程度越严重。一种基于眼动跟踪的疲劳检测系统,包括眼动仪、显示屏与用于产生光点并配置有根据眼动跟踪图像来检测疲劳程度的疲劳检测程序计算处理器。本发明需要的设备少、实施过程简单方便、不需要建立复杂的模型,计算简单,速度快,并且评测结果非常直观。
Description
技术领域
本发明涉及图像处理技术领域,具体涉及一种利用眼动跟踪图像来检测疲劳程度的方法与系统。
背景技术
疲劳驾驶是导致交通事故的主要原因之一,对驾驶员的疲劳状态进行检测对降低交通事故发生率有着十分重要的作用。目前疲劳检测主要有主观和客观两种评测方式。主观评测主要通过主观调查表、自我记录表、睡眠习惯调查表和斯坦福睡眠尺度表等来对被试的疲劳程度进行测评,这种方法简单方便,但不能对疲劳程度进行量化,同时评测结果容易受被试和研究者的主观判断的影响。疲劳的客观评测主要从医学角度出发,利用医学仪器测试被试的脑电、心电、肌电波形等医学指标,从而评测被试的疲劳程度。利用医学仪器测评疲劳的方法比较准确,但是测试条件苛刻,过程复杂,导致使用不方便。疲劳的客观评测除了应用医学手段外,还可以利用图像处理技术计算出人眼眼睑闭合度(PERCLOS)、面部表情、头部姿态等特征作为疲劳检测的依据,这些方法可信度高,但是需要高精度的视频检测设备,同时疲劳检测模型往往比较复杂,导致计算复杂。
疲劳是指由于持续进行脑力或者体力活动而造成的生理和心理的失调,人们在疲劳时头脑不清醒,注意力不集中,反应迟钝,不能准确判断和迅速处理各种异常情况。疲劳程度反应在眼动信息上不仅表现在瞳孔直径、眨眼频率、眼睑开闭程度等指标上,还会出现视物模糊,观察移动速度较快的物体时,对其位置的预判误差较大,不能正确跟踪物体等现象。
发明内容
针对上述现有技术的不足,本发明提供一种基于眼动跟踪的疲劳检测方法,解决现有技术中疲劳检测算法复杂的技术问题,能够简单高效的检测疲劳,不仅操作简单,容易实现,而且避免了复杂的计算。
为了解决上述技术问题,本发明采用了如下的技术方案:一种基于眼动跟踪的疲劳检测方法,其特征在于,包括以下步骤:
在屏幕上随机产生位置固定、停留时间可调的光点,光点总数为n个,每个光点的位置固定,每次只产生一个光点,受试者眼睛跟踪光点,同时采集受试者每次跟踪光点的眼动跟踪图像;
从每幅眼动跟踪图像中提取相应的瞳孔跟踪位置的坐标,将瞳孔跟踪位置与相应的瞳孔标定位置进行比较,并根据瞳孔跟踪位置与相应的瞳孔标定位置之间的距离判断每次光点跟踪是否正确;
将在相同停留时间下的光点跟踪测试划分为同一跟踪测试组,分别计算各跟踪测试组的跟踪准确率;根据每个跟踪测试组的跟踪准确率,绘制跟踪准确率曲线:以横轴代表停留时间,纵轴代表每个跟踪测试组的跟踪准确率;
根据跟踪准确率曲线分析疲劳状态:低于阈值的跟踪准确率所对应的停留时间越长,表明疲劳程度越严重。
进一步的,瞳孔标定位置按如下方式获取:
按照预先设定的顺序在屏幕上依次产生停留时间大于等于2秒的n个光点,每次只产生一个光点,在停留时间大于等于2秒的情况下,认为受试者必定能正确跟踪光点,受试者眼睛按照预先设定的顺序跟踪光点,同时采集受试者每次跟踪光点的眼动跟踪图像;从每幅眼动跟踪图像中提取相应的瞳孔坐标作为正确跟踪光点的瞳孔标定位置。
进一步的,在根据瞳孔跟踪位置与相应的瞳孔标定位置之间的距离判断是否正确跟踪光点时,所述距离在误差允许值内即认为跟踪正确,距离超过误差允许值则认为跟踪错误。
进一步的,误差允许值根据多次重复试验统计获得,单次试验过程如下:在获得n个光点所对应的瞳孔标定位置后,保持光点的停留时间与标定过程的光点的停留时间相同,在屏幕上随机产生所述n个光点中的一个光点,受试者眼睛跟踪光点,同时采集受试者跟踪光点的眼动跟踪图像,从眼动跟踪图像中提取瞳孔跟踪位置的坐标,计算瞳孔跟踪位置与瞳孔标定位置之间的距离;统计每次试验得到的瞳孔跟踪位置与瞳孔标定位置之间的距离总和,并计算距离平均值,以距离平均值作为误差允许值。
进一步的,光点的数量为5~9个,即每次在屏幕的5~9个固定位置上随机产生一个光点;
将光点的停留时间按由长到短的顺序划分为k个梯度,将在相同停留时间下的光点跟踪测试划分为同一跟踪测试组,总共形成k个跟踪测试组,各个跟踪测试组具有相同的光点产生次数,光点产生总次数为m次;按照停留时间由长到短的顺序依次进行各组光点跟踪测试。
一种基于眼动跟踪的疲劳检测系统,用于实现本发明的基于眼动跟踪的疲劳检测方法,包括以下装置:
眼动仪,用于采集眼动跟踪图像;
计算处理器,用于产生光点并配置有根据眼动跟踪图像来检测疲劳程度的疲劳检测程序;
显示屏,用于显示计算处理器产生的光点;
眼动仪、显示屏分别与计算处理器的信号输入端与信号输出端通信连接。
进一步的,疲劳检测程序按如下步骤执行:
Step1:设定误差允许值error_allow;获取屏幕分辨率,并设定光点总数为n,从1到n为光点进行编号;根据屏幕分辨率计算各个光点的位置坐标,其中,第i个光点的位置坐标记为(x[i],y[i]),其中,i∈[1,n];
Step2:设置光点产生总次数为m,为每次产生的光点赋予一个位置序号,其中,产生第j次光点的位置序号pos[j]表示为:
通过第j次光点的位置序号pos[j]以获得第j次光点的产生位置坐标如下:
(x[poss[j]],y[poss[j]]),其中,poss[j]∈[1,n];
Step3:根据光点的停留时间梯度k,设置k种停留时间;每m/k次产生光点的停留时间相同,且停留时间逐渐变短;将在相同停留时间下产生的光点划分为同一光点产生组,与在相同停留时间下的跟踪测试组一一对应;
Step4:获取眼动跟踪图像,并提取瞳孔跟踪位置坐标,从第j幅眼动跟踪图像提取的瞳孔跟踪位置坐标为(para_x[j],para_y[j]),j∈[1,m];
Step5:计算跟踪标签con[j]:
式中,第j次产生的第i个光点对应的瞳孔标定位置坐标为(paraj_x[i],paraj_y[i]);i∈[1,n];j∈[1,m];
Step6:根据跟踪标签判断每次光点跟踪是否正确:当con[j]=pos[j]时,表明第j次光点跟踪正确,跟踪结果err[j]=1;当con[j]≠pos[j]时,表明第j次光点跟踪错误,跟踪结果err[j]=0;
Step7:根据每个跟踪测试组中每次光点跟踪的跟踪结果计算每个跟踪测试组的跟踪准确率;
Step8:根据每个跟踪测试组的跟踪准确率,绘制跟踪准确率曲线:以横轴代表停留时间,纵轴代表每个跟踪测试组的跟踪准确率。
进一步的,眼动仪采用红外眼动仪,采集的眼动跟踪图像为红外图像;选择记录每个光点消失前的最后一帧图像作为眼动跟踪图像。
进一步的,error_allow为10~15个像素;设置光点总数n=5,5个光点分别位于屏幕的左、上、右、下、中,其坐标分别为:(x[1],y[1])=(r,h/2)、(x[2],y[2])=(w/2,r)、(x[3],y[3])=(w-r,h/2)、(x[4],y[4])=(w/2,h-r)、(x[5],y[5])=(w/2,h/2);其中,w表示屏幕宽度,h表示屏幕高度,r表示光点半径;
光点产生总次数为m=200;停留时间梯度k=20,每10次产生光点的停留时间相同;20种停留时间分别为:2秒、1.8秒、1.5秒、1秒、0.9秒、0.8秒、0.7秒、0.65秒、0.6秒、0.55秒、0.5秒、0.45秒、0.4秒、0.35秒、0.3秒、0.25秒、0.2秒、0.15秒、0.1秒、0.05秒。
与现有技术相比,本发明的具有以下有益效果:
1、发明依据人眼在不同疲劳程度下追踪物体的准确性不同,设计了基于眼动跟踪的疲劳检测方法,属于一种客观评价方法,与现有技术中的客观评价方法相比,本发明不需要建立复杂的计算模型,依据坐标位置判断是否正确跟踪光点,根据跟踪结果绘制跟踪准确率曲线,根据跟踪准确率曲线来判断疲劳程度,计算简单,速度快,并且评测结果非常直观。
2、与现有技术中的疲劳检测系统相比,由于本发明所需要检测的参数仅为瞳孔跟踪位置坐标,不涉及脑电、心电等参数的检测,本发明的疲劳检测系统需要的设备较少,成本较低,操作过程简单方便。
附图说明
图1为光点跟踪测试实验的流程图;
图2是受试者上午9时的测试结果图;
图3是受试者下午5时的测试结果图。
具体实施方式
下面结合附图和优选实施方式对本发明作进一步的详细说明。
针对现有疲劳检测算法复杂,对设备要求高等特点,发明一种简单高效、可靠性高的疲劳检测方法。设计合理的眼动跟踪实验,用眼动仪采集被试的眼动追踪视频图像,利用红外图像处理技术提取出被试者的眼睛注视的位置,计算并显示跟踪结果,从而判断被试的疲劳程度。
本发明的基本思想是:对于显示器上随机出现且显示时间可调的光点,不同疲劳程度的被试者有着不同的反应速度和眼动跟踪结果,根据被试的眼动跟踪准确率,可以判断出其疲劳程度。基于此,本发明提供一种基于眼动跟踪的疲劳检测方法,包括以下步骤:
在屏幕上随机产生位置固定、停留时间可调的光点,光点总数为n个,每个光点的位置固定,每次只产生一个光点,受试者眼睛跟踪光点,同时采集受试者每次跟踪光点的眼动跟踪图像;
从每幅眼动跟踪图像中提取相应的瞳孔跟踪位置的坐标,将瞳孔跟踪位置与相应的瞳孔标定位置进行比较,并根据瞳孔跟踪位置与相应的瞳孔标定位置之间的距离判断每次光点跟踪是否正确;
将在相同停留时间下的光点跟踪测试划分为同一跟踪测试组,分别计算各跟踪测试组的跟踪准确率;根据每个跟踪测试组的跟踪准确率,绘制跟踪准确率曲线:以横轴代表停留时间,纵轴代表每个跟踪测试组的跟踪准确率;
根据跟踪准确率曲线分析疲劳状态:低于阈值的跟踪准确率所对应的停留时间越长,表明疲劳程度越严重。
瞳孔标定位置按如下方式获取:
按照预先设定的顺序在屏幕上依次产生停留时间大于等于2秒的n个光点,每次只产生一个光点,在停留时间大于等于2秒的情况下,认为受试者必定能正确跟踪光点,受试者眼睛按照预先设定的顺序跟踪光点,同时采集受试者每次跟踪光点的眼动跟踪图像;从每幅眼动跟踪图像中提取相应的瞳孔坐标作为正确跟踪光点的瞳孔标定位置。
在根据瞳孔跟踪位置与相应的瞳孔标定位置之间的距离判断是否正确跟踪光点时,所述距离在误差允许值内即认为跟踪正确,距离超过误差允许值则认为跟踪错误。
本发明提供的一种基于眼动跟踪的疲劳检测系统,包括以下装置:眼动仪,用于采集眼动跟踪图像;计算处理器,用于产生光点并配置有根据眼动跟踪图像来检测疲劳程度的疲劳检测程序;显示屏,用于显示计算处理器产生的光点;眼动仪、显示屏分别与计算处理器的信号输入端与信号输出端通信连接。眼动仪采用无线红外眼动仪并与计算处理器通过wifi、蓝牙等连接,采集的眼动跟踪图像为红外图像;选择记录每个光点消失前的最后一帧图像作为眼动跟踪图像。
疲劳检测程序按如下步骤执行:
Step1:设定误差允许值error_allow;获取屏幕分辨率,并设定光点总数为n,从1到n为光点进行编号;根据屏幕分辨率计算各个光点的位置坐标,其中,第i个光点的位置坐标记为(x[i],y[i]),其中,i∈[1,n];
error_allow为10~15个像素;设置光点总数n=5,5个光点分别位于屏幕的左、上、右、下、中,其坐标分别为:(x[1],y[1])=(r,h/2)、(x[2],y[2])=(w/2,r)、(x[3],y[3])=(w-r,h/2)、(x[4],y[4])=(w/2,h-r)、(x[5],y[5])=(w/2,h/2);其中,w表示屏幕宽度,h表示屏幕高度,r表示光点半径。
Step2:设置光点产生总次数为m=200;停留时间梯度k=20,每10次产生光点的停留时间相同;20种停留时间分别为:2秒、1.8秒、1.5秒、1秒、0.9秒、0.8秒、0.7秒、0.65秒、0.6秒、0.55秒、0.5秒、0.45秒、0.4秒、0.35秒、0.3秒、0.25秒、0.2秒、0.15秒、0.1秒、0.05秒。
为每次产生的光点赋予一个位置序号,其中,产生第j次光点的位置序号pos[j]表示为:
通过第j次光点的位置序号pos[j]以获得第j次光点的产生位置坐标如下:
(x[poss[j]],y[poss[j]]),其中,poss[j]∈[1,n]。
Step3:根据光点的停留时间梯度k,设置k种停留时间;每m/k次产生光点的停留时间相同,且停留时间逐渐变短;将在相同停留时间下产生的光点划分为同一光点产生组,与在相同停留时间下的跟踪测试组一一对应。
Step4:获取眼动跟踪图像,并提取瞳孔跟踪位置坐标,从第j幅眼动跟踪图像提取的瞳孔跟踪位置坐标为(para_x[j],para_y[j]),j∈[1,m]。
Step5:计算跟踪标签con[j]:
式中,第j次产生的第i个光点对应的瞳孔标定位置坐标为(paraj_x[i],paraj_y[i]);i∈[1,n];j∈[1,m]。
Step6:根据跟踪标签判断每次光点跟踪是否正确:当con[j]=pos[j]时,表明第j次光点跟踪正确,跟踪结果err[j]=1;当con[j]≠pos[j]时,表明第j次光点跟踪错误,跟踪结果err[j]=0。
Step7:根据每个跟踪测试组中每次光点跟踪的跟踪结果计算每个跟踪测试组的跟踪准确率;
Step8:根据每个跟踪测试组的跟踪准确率,绘制跟踪准确率曲线:以横轴代表停留时间,纵轴代表每个跟踪测试组的跟踪准确率。
根据系统显示的跟踪准确率曲线分析疲劳状态:低于阈值的跟踪准确率所对应的停留时间越长,表明疲劳程度越严重。
值得注意的是:光点的数量并非越多越好,光点数量越多,各光点之间的间隔越小,甚至小于误差允许值,这样不利于准确判断每次跟踪是否正确。因此光点的数量为5~9个为宜,即每次在屏幕的5~9个固定位置上随机产生一个光点;将光点的停留时间按由长到短的顺序划分为k个梯度,将在相同停留时间下的光点跟踪测试划分为同一跟踪测试组,总共形成k个跟踪测试组,各个跟踪测试组具有相同的光点产生次数,光点产生总次数为m次;按照停留时间由长到短的顺序依次进行各组光点跟踪测试。
下面以5个光点为例来,并采用本发明提供的一种基于眼动跟踪的疲劳检测系统来实现本发明的基于眼动跟踪的疲劳检测方法,设计如下的光点跟踪测试实验方案对本发明进一步说明,实验流程参考图1所示。
在黑色背景的计算机屏幕上显示红色的光点,光点在左、上、右、下、中五个位置随机出现,在每个位置的停留时间可调,并从2秒到0.05秒逐渐变短。受试者戴上红外视频眼动仪,正对显示屏幕,眼睛跟踪观察出现的光点。在光点位置切换前,由眼动仪获取一帧人眼图像传输到计算机,计算机编写软件,完成瞳孔定位、位置定标、跟踪准确率计算,根据对不同停留时间光点的跟踪准确率判断疲劳程度,具体如下:
a.在计算机屏幕上产生光点,共200次,每次的位置在左、上、右、下、中五个位置随机选择;
b.光点的停留时间共有20种,分别为2秒、1.8秒、1.5秒、1秒、0.9秒、0.8秒、0.7秒、0.65秒、0.6秒、0.55秒、0.5秒、0.45秒、0.4秒、0.35秒、0.3秒、0.25秒、0.2秒、0.15秒、0.1秒、0.05秒;
c.对每种停留时间,随机位置光点出现10次,也就是第1到10个随机光点,停留时间为2秒,第11到20个随机光点,停留时间为1.8秒,第191到200个随机光点停留时间为0.05秒,所以200个光点,每10个停留时间相同,共20种停留时间。
(2)跟踪位置定标
为了准确判断眼动跟踪准确与否,首先需要将受试的注视位置同光点显示的位置关联起来,即标定跟踪过程中的参考坐标。标定过程为:
a.200个光点中,1到5个光点位置设定为左、上、右、下、中,这五个位置分别编号为1、2、3、4、5。由于这几个光点停留时间都为2秒,可以认为受试者一定会跟踪正确(如果需要,可以将定标光点的停留时间调得更长);
b.将与这5个光点对应的人眼图像的瞳孔位置作为左、上、右、下、中的标准位置,作为计算跟踪情况的参考;
c.对任意光点对应的图像进行处理,得到瞳孔实际位置坐标。计算该位置与定标的参考位置的距离,用以设定误差允许值。
(3)跟踪能力测试
在5个标准位置的瞳孔参考坐标确定后,就对200次随机光点对应的眼动跟踪图像进行处理,获得瞳孔位置,并分析跟踪情况,得到跟踪准确率。具体如下:
a.光点产生
第1到5号光点按照定标方法描述的方式产生。此后,产生一个1到5的随机序号,但给出限制条件,不能连续出现2个相同的序号。记录这个序号为n,由这个序号决定光点产生的位置。剩下的195个光点的停留时间由实验方案的b给出。
b.图像记录
采用红外视频眼动仪采集并记录图像。记录时刻为光点切换前,也就是光点停留时间的最后时刻,保证受试者充分利用光点的停留时间进行跟踪。
(4)跟踪效果计算
a.对每一帧图像,采用常规的图像分析算法提取瞳孔区域,以其几何中心,也就是瞳孔区域所有点的坐标的平均值代表瞳孔位置;
b.设定误差范围d,计算每一个瞳孔中心与产生对应光点n的定标位置的距离,若小于d,则判定为跟踪正确,否则跟踪错误,得到200个点跟踪结果(正确或错误),其中前5个点为定标点,检测位置就是定标位置,其距离为0,一定是跟踪正确的。
c.由于每10个光点采用同一个停留时间,因此统计这10个点的跟踪准确率,若10个点都跟踪正确就是100%,跟踪正确4个就是4/10,即40%,以此类推,从而得到20个跟踪准确率百分比,分别对应了从光点停留2秒到0.05秒的准确率。
(5)跟踪曲线显示及疲劳状况判断
a.绘制跟踪准确率曲线,以x轴代表停留时间,从2秒到0.05秒,共20个点,y轴为跟踪准确率,绘制曲线,可以直观看到跟踪准确率变化情况;
b.绘制各帧的跟踪状况,x为200帧的帧序号,y轴为跟踪状况,1表示跟踪正确,0表示跟踪错误。该图可以直观看到各帧的跟踪结果;
c.由跟踪准确率得到疲劳状况判定。得到跟踪准确率下降到50%的停留时间,比如第15种停留时间跟踪准确率下降到50%,表明光点停留时间为0.3秒时,跟踪准确率低于50%,若第11种停留时间跟踪准确率下降到50%,表明光点停留时间为0.5秒时,跟踪准确率低于50%。如果这个时间越长,表明疲劳程度严重,反应能力更差。
考虑到受试者的个体差异,可以对受试者进行各种身体状况进行多次测试,如身体状况良好、饮酒、熬夜、疲劳等作为参考依据,从而对其身体状况进行评估。
除了显示跟踪准确率图以外,还可将err[1]~err[200]在直角坐标系显示,横坐标为200次眼动跟踪,纵坐标为对应的跟踪结果,1代表跟踪正确,0表示跟踪错误。根据跟踪准确率的下降情况判断疲劳状况,尤其是通过对比可以判断反应力状况的变化。附图2和3是同一个人分别在上午9时和下午5时的测试结果,可以看到其跟踪准确率的变化。
图2中上部分曲线图为受试者上午9时的跟踪准确率曲线图,下部分为200次眼动跟踪结果图,从图1中可看出受试者上午9时在第15种停留时间,即停留时间为0.25秒时,跟踪正确率下降到50%。图3中上部分曲线图为受试者下午5时的跟踪准确率曲线图,下部分为200次眼动跟踪结果图,从图3中可看出受试者下午5时在第13种停留时间,即停留时间为0.4秒时,跟踪正确率下降到50%。因此,可以很直观的看出:受试者下午5时比上午9时更加疲劳,而且跟踪正确的次数明显减少。
说明:①本发明中参考坐标标定以及反应测试过程中,光点的停留时间为非固定值,可以调整。②本发明中光点的位置可以为图像输出显示器上的任何合理的位置,为了编程方便,本发明选择上述固定的五个位置。③本发明的反应测试环节中,光点出现的位置随机产生,但任何相邻两次光点不能在同一位置。④由于改变注视位置需要一定时间,为了减小误差,本发明选择记录每个光点消失前的最后一帧图像来计算受试者的注视位置。⑤发明计算跟踪结果所采用的误差允许值为15个像素,该值可根据实际情况作调整。
Claims (9)
1.一种基于眼动跟踪的疲劳检测方法,其特征在于,包括以下步骤:
在屏幕上随机产生位置固定、停留时间可调的光点,光点总数为n个,每个光点的位置固定,每次只产生一个光点,受试者眼睛跟踪光点,同时采集受试者每次跟踪光点的眼动跟踪图像;
从每幅眼动跟踪图像中提取相应的瞳孔跟踪位置的坐标,将瞳孔跟踪位置与相应的瞳孔标定位置进行比较,并根据瞳孔跟踪位置与相应的瞳孔标定位置之间的距离判断每次光点跟踪是否正确;
将在相同停留时间下的光点跟踪测试划分为同一跟踪测试组,分别计算各跟踪测试组的跟踪准确率;根据每个跟踪测试组的跟踪准确率,绘制跟踪准确率曲线:以横轴代表停留时间,纵轴代表每个跟踪测试组的跟踪准确率;
根据跟踪准确率曲线分析疲劳状态:低于阈值的跟踪准确率所对应的停留时间越长,表明疲劳程度越严重。
2.根据权利要求1所述的基于眼动跟踪的疲劳检测方法,其特征在于,瞳孔标定位置按如下方式获取:
按照预先设定的顺序在屏幕上依次产生停留时间大于等于2秒的n个光点,每次只产生一个光点,在停留时间大于等于2秒的情况下,认为受试者必定能正确跟踪光点,受试者眼睛按照预先设定的顺序跟踪光点,同时采集受试者每次跟踪光点的眼动跟踪图像;从每幅眼动跟踪图像中提取相应的瞳孔坐标作为正确跟踪光点的瞳孔标定位置。
3.根据权利要求1所述的基于眼动跟踪的疲劳检测方法,其特征在于:在根据瞳孔跟踪位置与相应的瞳孔标定位置之间的距离判断是否正确跟踪光点时,所述距离在误差允许值内即认为跟踪正确,距离超过误差允许值则认为跟踪错误。
4.根据权利要求3所述的基于眼动跟踪的疲劳检测方法,其特征在于:误差允许值根据多次重复试验统计获得,单次试验过程如下:在获得n个光点所对应的瞳孔标定位置后,保持光点的停留时间与标定过程的光点的停留时间相同,在屏幕上随机产生所述n个光点中的一个光点,受试者眼睛跟踪光点,同时采集受试者跟踪光点的眼动跟踪图像,从眼动跟踪图像中提取瞳孔跟踪位置的坐标,计算瞳孔跟踪位置与瞳孔标定位置之间的距离;统计每次试验得到的瞳孔跟踪位置与瞳孔标定位置之间的距离总和,并计算距离平均值,以距离平均值作为误差允许值。
5.根据权利要求1所述的基于眼动跟踪的疲劳检测方法,其特征在于:光点的数量为5~9个,即每次在屏幕的5~9个固定位置上随机产生一个光点;将光点的停留时间按由长到短的顺序划分为k个梯度,将在相同停留时间下的光点跟踪测试划分为同一跟踪测试组,总共形成k个跟踪测试组,各个跟踪测试组具有相同的光点产生次数,光点产生总次数为m次;按照停留时间由长到短的顺序依次进行各组光点跟踪测试。
6.根据权利要求5所述的基于眼动跟踪的疲劳检测方法,其特征在于:光点的总数n=5,并分别位于屏幕的左、上、右、下、中四个位置。
7.一种基于眼动跟踪的疲劳检测系统,用于实现如权利要求1所述的基于眼动跟踪的疲劳检测方法,其特征在于,包括以下装置:
眼动仪,用于采集眼动跟踪图像;
计算处理器,用于产生光点并配置有根据眼动跟踪图像来检测疲劳程度的疲劳检测程序;
显示屏,用于显示计算处理器产生的光点;
眼动仪、显示屏分别与计算处理器的信号输入端与信号输出端通信连接;
疲劳检测程序按如下步骤执行:
Step1:设定误差允许值error_allow;获取屏幕分辨率,并设定光点总数为n,从1到n为光点进行编号;根据屏幕分辨率计算各个光点的位置坐标,其中,第i个光点的位置坐标记为(x[i],y[i]),其中,i∈[1,n];
Step2:设置光点产生总次数为m,为每次产生的光点赋予一个位置序号,其中,产生第j次光点的位置序号pos[j]表示为:
通过第j次光点的位置序号pos[j]以获得第j次光点的产生位置坐标如下:
(x[poss[j]],y[poss[j]]),其中,poss[j]∈[1,n];
Step3:根据光点的停留时间梯度k,设置k种停留时间;每m/k次产生光点的停留时间相同,且停留时间逐渐变短;将在相同停留时间下产生的光点划分为同一光点产生组,与在相同停留时间下的跟踪测试组一一对应;
Step4:获取眼动跟踪图像,并提取瞳孔跟踪位置坐标,从第j幅眼动跟踪图像提取的瞳孔跟踪位置坐标为(para_x[j],para_y[j]),j∈[1,m];
Step5:计算跟踪标签con[j]:
式中,第j次产生的第i个光点对应的瞳孔标定位置坐标为(paraj_x[i],paraj_y[i]);i∈[1,n];j∈[1,m];
Step6:根据跟踪标签判断每次光点跟踪是否正确:当con[j]=pos[j]时,表明第j次光点跟踪正确,跟踪结果err[j]=1;当con[j]≠pos[j]时,表明第j次光点跟踪错误,跟踪结果err[j]=0;
Step7:根据每个跟踪测试组中每次光点跟踪的跟踪结果计算每个跟踪测试组的跟踪准确率;
Step8:根据每个跟踪测试组的跟踪准确率,绘制跟踪准确率曲线:以横轴代表停留时间,纵轴代表每个跟踪测试组的跟踪准确率。
8.根据权利要求7所述的基于眼动跟踪的疲劳检测系统,其特征在于:眼动仪采用红外眼动仪,采集的眼动跟踪图像为红外图像;选择记录每个光点消失前的最后一帧图像作为眼动跟踪图像。
9.根据权利要求7所述的基于眼动跟踪的疲劳检测系统,其特征在于:error_allow为10~15个像素;设置光点总数n=5,5个光点分别位于屏幕的左、上、右、下、中,其坐标分别为:(x[1],y[1])=(r,h/2)、(x[2],y[2])=(w/2,r)、(x[3],y[3])=(w-r,h/2)、(x[4],y[4])=(w/2,h-r)、(x[5],y[5])=(w/2,h/2);其中,w表示屏幕宽度,h表示屏幕高度,r表示光点半径;
光点产生总次数为m=200;停留时间梯度k=20,每10次产生光点的停留时间相同;20种停留时间分别为:2秒、1.8秒、1.5秒、1秒、0.9秒、0.8秒、0.7秒、0.65秒、0.6秒、0.55秒、0.5秒、0.45秒、0.4秒、0.35秒、0.3秒、0.25秒、0.2秒、0.15秒、0.1秒、0.05秒。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910790888.6A CN110495895B (zh) | 2019-08-26 | 2019-08-26 | 一种基于眼动跟踪的疲劳检测方法与系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910790888.6A CN110495895B (zh) | 2019-08-26 | 2019-08-26 | 一种基于眼动跟踪的疲劳检测方法与系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110495895A CN110495895A (zh) | 2019-11-26 |
CN110495895B true CN110495895B (zh) | 2020-04-28 |
Family
ID=68589541
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910790888.6A Expired - Fee Related CN110495895B (zh) | 2019-08-26 | 2019-08-26 | 一种基于眼动跟踪的疲劳检测方法与系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110495895B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110934599A (zh) * | 2019-12-20 | 2020-03-31 | 东南大学 | 一种自然场景下婴幼儿共同注意评估方法及系统 |
CN113128417B (zh) * | 2021-04-23 | 2023-04-07 | 南开大学 | 一种基于头部姿态的双区域眼动跟踪方法 |
CN114646457B (zh) * | 2022-05-20 | 2022-08-12 | 南昌虚拟现实研究院股份有限公司 | 眼动追踪精准度测试方法及系统 |
CN115359545B (zh) * | 2022-10-19 | 2023-01-24 | 深圳海星智驾科技有限公司 | 一种工作人员疲劳检测方法、装置、电子设备及存储介质 |
CN117717309B (zh) * | 2023-12-25 | 2024-06-28 | 上海雄博精密仪器股份有限公司 | 一种人眼高阶像差的检测方法、装置和存储介质 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR519559A (fr) * | 1917-10-29 | 1921-06-11 | Hermann Frischer | Dispositif et procédé pour le traitement des gaz et vapeurs par des liquides |
JPH1057703A (ja) * | 1996-05-30 | 1998-03-03 | Kyowa Yuka Kk | 蒸留方法及び蒸留装置 |
CN101283905A (zh) * | 2008-05-22 | 2008-10-15 | 重庆大学 | 一种眼震位移矢量的统计分析方法 |
CN102027752A (zh) * | 2008-05-12 | 2011-04-20 | 汤姆森特许公司 | 用于测量立体运动画面的潜在眼睛疲劳的系统和方法 |
CN106073805A (zh) * | 2016-05-30 | 2016-11-09 | 南京大学 | 一种基于眼动数据的疲劳检测方法和装置 |
KR20170070470A (ko) * | 2015-12-14 | 2017-06-22 | 현대자동차주식회사 | 눈 피로 정도를 측정하여 알림하기 위한 방법, 장치 및 그를 실행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 매체 |
CN107361778A (zh) * | 2017-07-31 | 2017-11-21 | 河南农业大学 | 一种人员疲劳检测方法 |
CN108182659A (zh) * | 2018-02-01 | 2018-06-19 | 周金润 | 一种基于视点跟踪、单视角立体画的裸眼3d显示技术 |
CN207589060U (zh) * | 2017-05-08 | 2018-07-06 | 上海大学 | 一种结合视觉疲劳检测的裸眼立体显示装置 |
WO2019043896A1 (ja) * | 2017-08-31 | 2019-03-07 | 富士通株式会社 | 検知プログラム、検知方法、および検知システム |
CN109925678A (zh) * | 2019-03-01 | 2019-06-25 | 北京七鑫易维信息技术有限公司 | 一种基于眼动追踪技术的训练方法、训练装置及设备 |
US10376198B1 (en) * | 2017-11-10 | 2019-08-13 | Rockwell Collins, Inc. | Pilot fatigue and attention tunneling using biometric monitoring |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5302193B2 (ja) * | 2007-06-27 | 2013-10-02 | パナソニック株式会社 | ヒト状態推定装置およびその方法 |
CN101513342A (zh) * | 2009-03-26 | 2009-08-26 | 中国人民解放军第四军医大学 | 全视野瞳孔分析测量方法 |
CN101692978A (zh) * | 2009-09-29 | 2010-04-14 | 华东理工大学 | 基于视觉目标跟踪检测的脑与肢体运动功能测量系统 |
-
2019
- 2019-08-26 CN CN201910790888.6A patent/CN110495895B/zh not_active Expired - Fee Related
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR519559A (fr) * | 1917-10-29 | 1921-06-11 | Hermann Frischer | Dispositif et procédé pour le traitement des gaz et vapeurs par des liquides |
JPH1057703A (ja) * | 1996-05-30 | 1998-03-03 | Kyowa Yuka Kk | 蒸留方法及び蒸留装置 |
CN102027752A (zh) * | 2008-05-12 | 2011-04-20 | 汤姆森特许公司 | 用于测量立体运动画面的潜在眼睛疲劳的系统和方法 |
CN101283905A (zh) * | 2008-05-22 | 2008-10-15 | 重庆大学 | 一种眼震位移矢量的统计分析方法 |
KR20170070470A (ko) * | 2015-12-14 | 2017-06-22 | 현대자동차주식회사 | 눈 피로 정도를 측정하여 알림하기 위한 방법, 장치 및 그를 실행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 매체 |
CN106073805A (zh) * | 2016-05-30 | 2016-11-09 | 南京大学 | 一种基于眼动数据的疲劳检测方法和装置 |
CN207589060U (zh) * | 2017-05-08 | 2018-07-06 | 上海大学 | 一种结合视觉疲劳检测的裸眼立体显示装置 |
CN107361778A (zh) * | 2017-07-31 | 2017-11-21 | 河南农业大学 | 一种人员疲劳检测方法 |
WO2019043896A1 (ja) * | 2017-08-31 | 2019-03-07 | 富士通株式会社 | 検知プログラム、検知方法、および検知システム |
US10376198B1 (en) * | 2017-11-10 | 2019-08-13 | Rockwell Collins, Inc. | Pilot fatigue and attention tunneling using biometric monitoring |
CN108182659A (zh) * | 2018-02-01 | 2018-06-19 | 周金润 | 一种基于视点跟踪、单视角立体画的裸眼3d显示技术 |
CN109925678A (zh) * | 2019-03-01 | 2019-06-25 | 北京七鑫易维信息技术有限公司 | 一种基于眼动追踪技术的训练方法、训练装置及设备 |
Non-Patent Citations (2)
Title |
---|
Fati sensation of eye gaze tracking system users;Suzuki Y;《New ErgonomicsPerspective》;20151231;全文 * |
人眼追踪与视线检测算法研究;李赫;《硕士论文数据库》;20101231;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN110495895A (zh) | 2019-11-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110495895B (zh) | 一种基于眼动跟踪的疲劳检测方法与系统 | |
US12042288B2 (en) | Systems and methods for assessing and improving sustained attention | |
EP1799105B1 (en) | System and method for mental workload measurement based on rapid eye movement | |
JP5498375B2 (ja) | 視野検査システム、視野検査装置の駆動方法、コンピュータプログラム、情報媒体もしくはコンピュータ読取可能媒体およびプロセッサ | |
US4889422A (en) | Method and means for detecting dyslexia | |
EP2800507B1 (en) | Apparatus for psychiatric evaluation | |
US4838681A (en) | Method and means for detecting dyslexia | |
US20130308099A1 (en) | Eye tracking headset and system for neuropsychological testing including the detection of brain damage | |
CN109875583B (zh) | 一种基于ar技术的疲劳驾驶检测系统及方法 | |
TWI813329B (zh) | 認知評估系統 | |
CN115444422A (zh) | 一种基于眼动数据的真实环境心理负荷评估方法和系统 | |
CN108495584A (zh) | 用于通过触觉界面确定眼球运动的装置和方法 | |
CN113729734B (zh) | 一种基于脑电信号的视敏锐度评估系统及其方法 | |
JP7572435B2 (ja) | 欺まん検出のための眼球システム | |
JP7246716B2 (ja) | 脳機能状態計測装置及び脳機能状態を判別するためのプログラム | |
Quang et al. | Mobile traumatic brain injury assessment system | |
EP3164057B1 (en) | System and method for the determination of parameters of eye fixation | |
Saavedra-Peña | Saccade latency determination using video recordings from consumer-grade devices | |
Ek et al. | Eye Blinks as an Indicator of Car Drivers’ Visual Attention: A statistical analysis of differences in eye blinks between roads of high and low complexity | |
US20200390577A1 (en) | Method and system for detecting voluntary binary responses by analyzing the pupil diameter of a subject | |
Obregon-Henao | Towards Finding A Link Between Neuronal Oscillations, Declarative Memory, and Viewing Behavior | |
CN116725536A (zh) | 一种眼动检查设备 | |
JP2023508339A (ja) | 欺まん検出のための眼球システム | |
CN118576207A (zh) | 一种基于眼动追踪的阿尔茨海默病智能筛查系统 | |
CN116115179A (zh) | 眼动检查设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200428 |
|
CF01 | Termination of patent right due to non-payment of annual fee |