CN109700472A - 一种疲劳检测方法、装置、设备和存储介质 - Google Patents
一种疲劳检测方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN109700472A CN109700472A CN201910129180.6A CN201910129180A CN109700472A CN 109700472 A CN109700472 A CN 109700472A CN 201910129180 A CN201910129180 A CN 201910129180A CN 109700472 A CN109700472 A CN 109700472A
- Authority
- CN
- China
- Prior art keywords
- fatigue
- user
- eye movement
- detected
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明实施例公开了一种疲劳检测方法、装置、设备和存储介质。其中,该方法包括:获取用于指示疲劳检测的触发指令;根据所述触发指令实时获取待检测用户的眼动数据;如果检测到数据结束指令,则根据所述眼动数据确定对应的疲劳特征数据;根据所述疲劳特征数据及预先构建的眼动数据库,确定待检测用户的疲劳等级。本发明实施例提供的技术方案,实现待检测用户疲劳状态的量化检测,通过预先构建的眼动数据库对待检测用户的疲劳特征数据进行自动判断,无需待检测用户主动输入其他额外信息,在保证疲劳检测客观性的基础上,提高了疲劳检测的全面性和准确性。
Description
技术领域
本发明实施例涉及数据处理领域,尤其涉及一种疲劳检测方法、装置、设备和存储介质。
背景技术
运动员在进行专有的运动训练和比赛时,当前的疲劳检测是需要面临的一项重要问题,也是运动生理学领域会关注的热点问题。运动员备战期间出现中枢疲劳与心理负荷大的概率相当之高,虽然挑战极限是运动员宗旨,运动员的成长就是在训练和实战中不断调整自身的疲劳极限以及心理承受能力极限来完成。但如果对运动员疲劳程度与心理状态把握不好,也大大影响运动员训练的效果与比赛中的表现,尤其是中枢疲劳比外周疲劳更难以发现。
现有的疲劳检测主要是通过运动员的心理量表、自评报告、生化检验指标或者心率变异性等方式对其中枢疲劳进行检测,而心理量表和自评报告由运动员自身填报,内容不够客观;且大脑生物电操作复杂,生化检验和心率变异性需要通过专有的医疗器件对运动员的各项指标进行检测,不适合频繁性的测试;因此现有的疲劳检测方式存在一定的局限性,检测操作较为复杂,易受到运动员的主观因素影响,使得检测准确性较低,
发明内容
本发明实施例提供了一种疲劳检测方法、装置、设备和存储介质,降低疲劳检测的操作复杂性,提高疲劳检测的全面性和准确性。
第一方面,本发明实施例提供了一种疲劳检测方法,该方法包括:
获取用于指示疲劳检测的触发指令;
根据所述触发指令实时获取待检测用户的眼动数据;
如果检测到数据结束指令,则根据所述眼动数据确定对应的疲劳特征数据;
根据所述疲劳特征数据及预先构建的眼动数据库,确定待检测用户的疲劳等级。
第二方面,本发明实施例提供了一种疲劳检测装置,该装置包括:
触发指令获取模块,用于获取用于指示疲劳检测的触发指令;
眼动数据获取模块,用于根据所述触发指令实时获取待检测用户的眼动数据;
疲劳特征确定模块,用于如果检测到数据结束指令,则根据所述眼动数据确定对应的疲劳特征数据;
疲劳等级确定模块,用于根据所述疲劳特征数据及预先构建的眼动数据库,确定待检测用户的疲劳等级。
第三方面,本发明实施例提供了一种设备,该设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明任意实施例所述的疲劳检测方法。
第四方面,本发明实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本发明任意实施例所述的疲劳检测方法。
本发明实施例提供的一种疲劳检测方法、装置、设备和存储介质,获取疲劳检测阶段内待检测用户的眼动数据,根据该眼动数据确定对应的疲劳特征数据,并将该疲劳特征数据与预先构建的眼动数据库进行分析,确定待检测用户的疲劳等级,实现待检测用户疲劳状态的量化检测,通过预先构建的眼动数据库对待检测用户的疲劳特征数据进行自动判断,无需待检测用户主动输入其他额外信息,在保证疲劳检测客观性的基础上,提高了疲劳检测的全面性和准确性。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1A为本发明实施例一提供的一种疲劳检测方法的流程图;
图1B为本发明实施例一提供的方法中预先构建的眼动数据库的示意图;
图2为本发明实施例二提供的方法中疲劳等级的确定和眼动数据库的构建过程的原理示意图;
图3A为本发明实施例三提供的一种疲劳检测方法的流程图;
图3B为本发明实施例三提供的方法中迷宫任务的示意图;
图3C为本发明实施例三提供的方法中视觉搜索任务的示意图;
图4为本发明实施例四提供的一种疲劳检测装置的结构示意;
图5为本发明实施例五提供的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1A为本发明实施例一提供的一种疲劳检测方法的流程图,本实施例可应用于任一种可以对待检测用户的眼动数据进行分析,进而确定该待检测用户的疲劳等级的检测设备中。本发明实施例的技术方案适用于如何客观且准确地对待检测用户的疲劳状态进行检测的情况中。本实施例提供的一种疲劳检测方法可以由本发明实施例提供的疲劳检测装置来执行,该装置可以通过软件和/或硬件的方式来实现,并集成在执行本方法的设备中,该设备可以是承载有相应的疲劳检测能力的任一种智能终端设备,如平板、笔记本或者台式机等。
具体的,参考图1A,该方法可以包括如下步骤:
S110,获取用于指示疲劳检测的触发指令。
其中,疲劳包括狭义的疲劳和广义的疲劳两种,狭义的疲劳是指由于睡眠缺失、过度劳动导致的困乏和无力的感觉;广义的疲劳是指由多种条件引发的用户认知与肌肉活动下降甚至情绪低落的现象;狭义的疲劳在生活中能够容易发现,而广义的疲劳难以发现,本实施例中的疲劳检测主要针对广义的疲劳,广义的疲劳会对用户的日常生活产生较大的影响,如运动员在当前处于疲劳状态时,会大大影响运动训练的效果或者比赛表现;广义的疲劳存在中枢疲劳和外周疲劳两种,中枢疲劳是一种神经系统的疲劳,相比外周疲劳更加难以发现,本实施例中的疲劳检测针对中枢疲劳能够进行客观且准确的检测。
同时,触发指令是指能够表示当前需要对用户的疲劳状态进行检测的指令,用于指示当前开始进行疲劳检测,并执行后续疲劳检测阶段的各项操作。具体的,本实施例中的触发指令可以由检测人员通过在检测设备上执行对应的触发操作生成,该触发操作可以是点击或者触碰检测设备上预先设置的指示当前需要进行疲劳检测的按钮或者屏幕上的虚拟作用区域等操作。
可选的,在需要对某一用户进行疲劳检测时,首先会由检测人员在检测设备上执行相应指示进行疲劳检测的触发操作,从而获取到对应生成的用于指示疲劳检测的触发指令,以根据该触发指令执行后续的疲劳检测操作。
S120,根据触发指令实时获取待检测用户的眼动数据。
其中,待检测用户是指当前需要进行疲劳检测的用户,可以是普通用户,也可以是工作在特定领域、对疲劳检测存在较高要求的用户,如疲劳状态对于常规训练或正式比赛中存在较大影响的运动员等;眼动数据是指待检测用户的眼睛在疲劳检测阶段实时转动时,通过特定的眼动测量设备捕捉待检测用户的眼睛图像,进而得到的各眼睛图像中包含的表示眼睛转动趋势的数据。具体的,眼动数据可以包括随着眼睛转动而得到的各个眼睛图像中瞳孔轮廓、虹膜轮廓、瞳孔中心、虹膜中心及外界光源在角膜上的反射点等特征的相对位置进行相应变化等各类相关变化趋势数据。
可选的,在获取到用于指示疲劳检测的触发指令时,说明此时需要检测当前待检测用户的疲劳状态,通过让该待检测用户完成一些预先设定的测试任务或者需要待检测用户实际参与的测试活动,检测用户的眼睛能够随着该测试任务或者测试活动对应的测试过程中规定的特定目标或活动目的不同而相应转动,从而根据得到的触发指令实时获取待检测用户在执行测试任务或者完成测试活动时对应所处的各个时刻下的眼睛图像,并对各个眼睛图像进行分析,得到其中包含的待检测用户的眼睛进行转动时对应的眼动数据,具体可以为待检测用户的瞳孔轮廓、虹膜轮廓、瞳孔中心、虹膜中心及外界光源在角膜上的反射点等特征的相对位置等各类相关数据。
示例性的,本实施例中的眼动数据可以通过下述至少一种设备实时采集:桌面式眼动采集设备、眼镜式或眼镜配件式眼动采集设备以及虚拟现实(Virtual Reality,VR)或增强现实(Augmented Reality,AR)头戴式眼动采集设备。
具体的,桌面式眼动采集设备能够放置于桌面上并将其上的图像采集头面向待检测用户,从而通过该桌面式眼动采集设备实时采集待检测用户的眼睛图像,同时桌面式眼动采集设备也可以是在执行本实施例中疲劳检测方法的检测设备上直接配置一个图像采集头,来实时采集待检测用户的眼睛图像;眼镜式或眼镜配件式眼动采集设备通过在眼镜或者眼镜配件上配置相应的图像采集头,由待检测用户直接佩戴该眼镜或眼镜配件,从而实时采集待检测用户的眼睛图像;VR或AR头戴式眼动采集设备是指采用VR技术或者AR技术设计的能够使待检测用户观看到某种虚拟画面的装置,待检测用户通过佩戴该VR或者AR头戴式眼动采集设备来采集待检测用户的眼睛在转动过程中的眼睛图像,进而实时获取对应的眼动数据。
此外,在通过桌面式眼动采集设备获取待检测用户的眼动数据时,可以在该桌面式眼动采集设备对应的屏幕上显示预先设定的测试任务对应包含的任务画面,使该待检测用户通过观看该屏幕上显示的任务画面而执行对应的测试任务,进而通过实时采集对应的眼睛图像来获取待检测用户的眼动数据。
S130,如果检测到数据结束指令,则根据眼动数据确定对应的疲劳特征数据。
其中,数据结束指令是指在当前无需获取待检测用户的眼动数据时对应生成的用于明确指示需要停止获取眼动数据的指令,如待检测用户在已经完成预先设定的测试任务或者需要待检测用户实际参与的测试活动时,后续无需再实时获取对应的眼动数据,则本实施例中可以根据检测到的测试任务或者测试活动对应的完成信息而生成该数据结束指令;示例性的,测试任务从检测到用于指示疲劳检测的触发指令开始直至达到预设的测试完成时长,以使待检测用户后续停止继续执行该测试任务时,可以检测到该测试任务在达到测试完成时长时对应的表示测试任务已经执行完成的完成信息,进而根据该完成信息生成相应的数据结束指令,用于指示停止继续获取眼动数据;或者由检测人员在观察到测试任务或者测试活动结束时,通过在检测设备上执行对应的表示测试任务或者测试活动已经执行完成的结束操作而生成对应的数据结束指令,如检测人员点击检测设备在屏幕上预先设置的表示测试结束的虚拟按钮,或者检测人员对应发出的用于指示测试结束,停止获取眼动数据的语音指令等。
此外,疲劳特征数据是指能够反映待检测用户当前所处的疲劳状态的数据,由于待检测用户所处不同的疲劳状态时对应观看特定目标或者执行特定活动时会存在不同偏向性的差别,此时可以通过待检测用户的注意力分布情况来判断所处的疲劳状态;示例性的,当前待检测用户处于较高疲劳状态时,会伴随有注意力涣散、反映时间变长等行为,严重疲劳时还会出现“眼神发愣”或者“目光呆滞”等异常反映;因此本实施例中通过获取的待检测用户的眼动数据来获取该待检测用户对应的疲劳特征数据,该疲劳特征数据可以包括眼动数据中眼睛在转动过程中所对应的各项眼睛指标数据,该生理指标数据能够反映对应的疲劳状态,如瞳孔直径等;该疲劳特征数据还可以包括通过对实时获取的眼动数据进行分析而确定的待检测用户完成测试任务或者测试活动时对应的注视时长或者眼跳频率等能够表示用户注意力程度的特征数据。
可选的,本实施例在根据触发指令实时获取待检测用户的眼动数据的过程中,如果检测到指示当前需要停止获取眼动数据的数据结束指令,此时不再继续获取待检测用户的眼动数据,并对从获取到触发指令开始直至检测到数据结束指令时所对应的时长范围内实时获取的眼动数据进行分析,判断待检测用户在执行预先设定的测试任务或实际参与的测试活动时眼睛在转动过程中对应的反映待检测用户当前所处疲劳状态的眼睛指标数据以及特征数据,进而确定该待检测用户对应的疲劳特征数据,后续通过该疲劳特征数据判断待检测用户的疲劳等级。
S140,根据疲劳特征数据及预先构建的眼动数据库,确定待检测用户的疲劳等级。
其中,眼动数据库中预先存储有大量处于不同预设的疲劳等级下的各类用户在完成相应测试任务或执行实际的测试活动时对应生成的疲劳特征数据,如图1B所示,该眼动数据库中存储的各个疲劳特征数据均能够准确匹配一个疲劳等级;具体的,眼动数据库在预先存储的数据量较少而需要进行初始构建,从而保证后续疲劳检测在一定程度上的准确性时,可以通过现有的采用心理量表、自评报告、生化检验指标或者心率变异性等方式对预设初始数量的用户进行疲劳检测,准确判断各个用户的疲劳等级,并使各个用户去完成预先设定的测试任务或者实际参与对应的测试活动中,进而获取各个用户的眼动数据,并确定对应的疲劳特征数据,此时将各个用户预先检测出的疲劳等级以及疲劳特征数据对应存储至眼动数据库中,此时该眼动数据库中设定的各个疲劳等级下均对应存储有相应的疲劳特征数据,能够保证一定程度的疲劳检测准确性。
进一步的,疲劳等级是指对用户所处的疲劳程度进行划分,明确表示用户处于不疲劳到严重疲劳之间的哪一疲劳程度的状态信息,本实施例中通过对所处的疲劳状态进行量化,进而客观有效地评价待检测用户的疲劳程度,提高疲劳检测结果的直观性。
可选的,在根据待检测用户的眼动数据确定对应的疲劳特征数据后,可以将该疲劳特征数据与预先构建的眼动数据库中存储的各个疲劳特征数据进行比对,并根据比对结果将眼动数据库中存储的与待检测用户的疲劳特征数据最相近的疲劳特征数据对应的疲劳等级,作为该待检测用户的疲劳等级。
进一步的,由于对工作在不同领域的用户所划分的疲劳等级的依据不同,如普通用户与运动员具备相同的疲劳特征数据时所对应的疲劳等级可能不同,因此预先构建的眼动数据库中针对不同领域的用户对应的疲劳特征数据可以分区进行存储,从而判断处于特定领域的用户与普通用户之间的疲劳等级的区别;本实施例中在获取到待检测用户的疲劳特征数据时,可以在眼动数据库中查找出预先存储的与待检测用户处于同一领域的用户对应的疲劳特征数据,并将该待检测用户的疲劳特征数据与查找出的同一领域内的疲劳特征数据进行比对,进而确定待检测用户的疲劳等级。
本实施例提供的技术方案,获取疲劳检测阶段内待检测用户的眼动数据,根据该眼动数据确定对应的疲劳特征数据,并将该疲劳特征数据与预先构建的眼动数据库进行分析,确定待检测用户的疲劳等级,实现待检测用户疲劳状态的量化检测,通过预先构建的眼动数据库对待检测用户的疲劳特征数据进行自动判断,无需待检测用户主动输入其他额外信息,在保证疲劳检测客观性的基础上,提高了疲劳检测的全面性和准确性。
实施例二
图2为本发明实施例二提供的方法中疲劳等级的确定和眼动数据库的构建过程的原理示意图。本实施例是在上述实施例的基础上进行优化。具体的,由于针对不同用户会得到不同的眼动数据,进而确定出不同的疲劳特征数据,此时如果眼动数据库中预先存储的疲劳特征数据较少,根据待检测用户的疲劳特征数据及预先构建的眼动数据库确定的待检测用户的疲劳等级的准确性也相对较低,因此本实施例中眼动数据库需要在不同疲劳等级下存储大量的疲劳特征数据,从而保证疲劳检测的准确性。可选的,如图2所示,本实施例中待检测用户的疲劳等级的确定过程以及眼动数据库在疲劳检测中的构建过程分别进行详细的解释说明。
可选的,本实施例中可以包括如下步骤:
S210,获取用于指示疲劳检测的触发指令。
S220,根据触发指令实时获取待检测用户的眼动数据。
S230,如果检测到数据结束指令,则根据眼动数据确定对应的疲劳特征数据。
S240,确定疲劳特征数据与眼动数据库中各历史疲劳特征数据的关联度,获得关联度大于设定阈值的至少一个候选疲劳特征数据。
其中,眼动数据库中的历史疲劳特征数据是预先存储的处于预设的不同疲劳等级下的各类用户在完成相应测试任务或执行实际的测试活动时对应生成的疲劳特征数据。
具体的,在根据待检测用户完成相应测试任务或执行实际的测试活动时的眼动数据确定对应的疲劳特征数据后,本实施例中可以将待检测用户的疲劳特征数据与眼动数据库中预先存储的各疲劳等级下的历史疲劳特征数据进行比对,分析待检测用户的疲劳特征数据与各个历史疲劳特征数据之间的关联度,也就是两者的相近程度,若两者完全相同,说明关联度最大;在得到待检测用户的疲劳特征数据与眼动数据库中各个历史疲劳特征数据之间的关联度后,筛选出关联度大于设定阈值的历史疲劳特征数据,该设定阈值能够表示一定程度上的准确性,并将筛选出的大于设定阈值的至少一个历史疲劳特征数据作为对应的候选疲劳特征数据,后续在候选疲劳特征数据与待检测用户的疲劳特征数据的关联度,判断待检测用户的疲劳等级。
S250,将最大关联度对应的候选疲劳特征数据作为与疲劳特征数据关联的目标疲劳特征数据。
具体的,从眼动数据库中筛选出至少一个候选疲劳特征数据后,在得到的多个候选疲劳特征数据中查找出与待检测用户的疲劳特征数据具有最大关联度的候选疲劳特征数据,将其作为与待检测用户的疲劳特征数据关联的目标疲劳特征数据,此时该目标疲劳特征数据与待检测用户的疲劳特征数据最为相近。
S260,从眼动数据库中获取目标疲劳特征数据对应的历史疲劳等级,将历史疲劳等级确定为待检测用户的疲劳等级。
可选的,由于目标疲劳特征数据与待检测用户的疲劳特征数据最为相近,因此在得到目标疲劳特征数据时,可以在眼动数据库中进一步获取预先存储的该目标疲劳特征数据对应的历史疲劳等级,并将该历史疲劳等级确定为待检测用户的疲劳等级,客观有效地实现待检测用户的量化疲劳检测。
S270,接收待检测用户当前所处疲劳状态的疲劳标记结果。
可选的,由于初始构建的眼动数据库中预先存储的历史疲劳特征数据的数量较少,使得对待检测用户的疲劳检测结果的准确性较低,因此本实施例中在在对待检测用户进行疲劳检测的同时,还可以针对本次的疲劳检测结果,对该待检测用户的实际疲劳状态进行追踪分析,进而对通过眼动数据库检测的疲劳等级的准确性进行判断。具体的,在根据疲劳特征数据及预先构建的眼动数据库,确定待检测用户的疲劳等级的过程中,可以由专门的追踪人员对待检测用户当前所处的疲劳状态进行实际追踪,如追踪人员跟随待检测人员参与相应的活动,并相应记录待检测用户在实际活动中的身体各项参数,进而分析待检测用户的实际疲劳程度,判断待检测用户当前所处疲劳状态的实际结果,并根据该实际结果在当前的检测设备中输入人工检测的待检测用户的疲劳标记结果,该疲劳标记结果能够准确表示待检测用户的实际疲劳状态。示例性的,在通过本实施例中的疲劳检测方法确定某一运动员的疲劳等级的过程中,可以由该运动员的教练相应记录该运动员在参与实际训练过程中的参数,实现该运动员的实际疲劳状态追踪,并分析当前实际所处的疲劳状态,得到该运动员当前所处疲劳状态的实际结果,并由该教练将得到的实际结果对应的疲劳标记结果输入本实施例对应的检测设备中,从而获取待检测用户当前所处疲劳状态的疲劳标记结果,该疲劳标记结果表示待检测用户所处的实际疲劳状态的疲劳等级,后续根据该疲劳标记结果与本实施例中确定的待检测用户的疲劳等级,判断疲劳检测的准确性。
S280,如果疲劳标记结果与疲劳等级匹配,则将待检测用户的疲劳特征数据和疲劳等级对应存储至眼动数据库中。
可选的,如果待检测用户的实际追踪结果对应的疲劳标签与本次检测的疲劳等级相匹配,说明本次疲劳检测准确,则将该待检测用户的疲劳特征数据以及确定的疲劳等级对应存储至构建的眼动数据库中,以提高眼动数据库中不同疲劳等级下存储的各类用户的疲劳特征数据的全面性,从而在对待检测用户进行疲劳检测的同时,同步实现眼动数据库中的储数据量的扩展,提升后续疲劳检测的准确性。
本实施例提供的技术方案,通过眼动数据库中存储的各历史疲劳特征数据与待检测用户的疲劳特征数据之间的关联度,筛选出最大关联度的目标疲劳特征数据,将眼动数据库中该目标疲劳特征数据对应的历史疲劳等级确定为待检测用户的疲劳等级,从而实现用户的疲劳检测,并对待检测用户当前所处的疲劳状态进行实际追踪,并将实际追踪结果对应的疲劳标签与确定的疲劳等级进行匹配,判断疲劳检测的准确性,将准确检测的疲劳等级和疲劳特征数据对应存储至眼动数据库中,增加眼动数据库中在不同疲劳等级下存储的疲劳特征数据的全面性,在疲劳检测的同时,同步实现眼动数据库的全面构建,降低疲劳检测的操作复杂性,提高了疲劳检测的准确性。
实施例三
图3A为本发明实施例三提供的一种疲劳检测方法的流程图。本实施例是在上述实施例的基础上进行优化。具体的,如图3所示,本实施例中主要通过待检测用户在测试视频中注视点的变动情况,对相应疲劳状态的检测过程进行详细的解释说明。
可选的,参展图3A,本实施例中可以包括如下步骤:
S310,获取用于指示疲劳检测的触发指令。
S320,根据触发指令实时获取待检测用户的眼动数据。
S330,在屏幕上显示待检测用户对应的测试信息。
其中,测试信息根据预先设定的眼动训练任务生成。具体的,眼动训练任务是指能够使待检测用户在完成该任务的同时保证眼睛能够根据任务执行目的进行转动,从而获取相应的眼动数据,进而对待检测用户在完成该任务时所处的疲劳状态进行分析。此时,测试信息可以是待检测用户执行眼动训练任务对应的实际参与视频或者实际观看的训练图像,如运动员在参与实际训练或者比赛时的实况视频;示例性的,眼动训练任务也可以是预先设定的各类测试任务,如图3B中的迷宫任务或者图3C中的视觉搜索任务等,此时测试信息可以是由各类预先设定有不同任务完成时长的测试任务按照先后展示顺序对应生成。
在本实施例中,获取到用于指示疲劳检测的触发指令后,在实时获取待检测用户的眼动数据的同时,还可以在检测设备的屏幕上实时显示待检测用户对应的根据预先设定的眼动训练任务生成的测试信息,此时本实施例中的触发指令可以该测试信息的展示指令,如对测试视频的播放指令,根据检测人员在屏幕上相应展示测试信息的操作,生成对应的触发指令,同时控制该测试信息在屏幕上显示,以及实时获取待检测用户的眼动数据。
需要说明的是,本实施例中的S320和S330的执行顺序无先后之分,可以在获取到触发指令后同时执行。
S340,根据实时获取的眼动数据确定待检测用户在当前时刻下的注视信息。
可选的,在实时获取待检测用户的眼动数据时,屏幕上会实时显示对应的测试信息中包含的内容,如测试视频中当前时刻的视频帧,本实施例中可以根据实时获取的眼动数据通过眼动跟踪技术估算出待检测用户在当前时刻下的注视信息,后续根据该注视信息的变动可以判断待检测用户的疲劳状态;该注视信息可以是待检测用户在测试信息中的注视点情况等。
S350,在当前时刻下显示的测试信息中标记所述注视信息。
可选的,在获取到待检测用户在当前时刻下的注视信息时,为了在屏幕上实时显示出待检测用户的注视情况,还可以根据在屏幕上显示的当前时刻下的测试信息中相应标记出该注视信息,使得检测人员能够直观的看到待检测用户的眼动情况,以便对待检测人员的疲劳状态进行简单分析。
示例性的,如测试信息为测试视频,且注视信息为注视点时,在根据实时获取的眼动数据确定待检测用户在当前时刻下的注视点时,可以确定出测试视频在当前时刻下在屏幕上对应显示的视频帧,此时可以在当前时刻对应显示的视频帧中标记待检测用户在当前时刻下的注视点,此时通过在屏幕上显示的测试视频中实时标记待检测用户的注视点,使得检测人员能够直观的在检测设备的屏幕上观察出待检测用户注视点的变动规律,进而大致分析出待检测人员当前所处的疲劳状态。
S360,如果检测到数据结束指令,则根据眼动数据确定对应的疲劳特征数据。
S370,根据疲劳特征数据及预先构建的眼动数据库,确定待检测用户的疲劳等级。
本实施例提供的技术方案,通过在屏幕上显示待检测用户对应的测试视频,同时根据实时获取的眼动数据确定待检测用户在各时刻下的注视点,进而在屏幕上显示的测试视频中标注对应的注视点,使检测人员能够直观的看出待检测用户在疲劳检测过程中注视点的变化,提高了疲劳检测的准确性。
实施例四
图4为本发明实施例四提供的一种疲劳检测装置的结构示意图,具体的,如图4所示,该装置可以包括:
触发指令获取模块410,用于获取用于指示疲劳检测的触发指令;
眼动数据获取模块420,用于根据触发指令实时获取待检测用户的眼动数据;
疲劳特征确定模块430,用于如果检测到数据结束指令,则根据眼动数据确定对应的疲劳特征数据;
疲劳等级确定模块440,用于根据疲劳特征数据及预先构建的眼动数据库,确定待检测用户的疲劳等级。
本实施例提供的技术方案,获取疲劳检测阶段内待检测用户的眼动数据,根据该眼动数据确定对应的疲劳特征数据,并将该疲劳特征数据与预先构建的眼动数据库进行分析,确定待检测用户的疲劳等级,实现待检测用户疲劳状态的量化检测,通过预先构建的眼动数据库对待检测用户的疲劳特征数据进行自动判断,无需待检测用户主动输入其他额外信息,在保证疲劳检测客观性的基础上,提高了疲劳检测的全面性和准确性。
进一步的,上述疲劳等级确定模块440,可以包括:
关联度确定单元,用于确定疲劳特征数据与眼动数据库中各历史疲劳特征数据的关联度,获得关联度大于设定阈值的至少一个候选疲劳特征数据;
目标特征确定单元,用于将最大关联度对应的候选疲劳特征数据作为与疲劳特征数据关联的目标疲劳特征数据;
疲劳等级确定单元,用于从眼动数据库中获取目标疲劳特征数据对应的历史疲劳等级,将历史疲劳等级确定为待检测用户的疲劳等级。
进一步的,上述疲劳检测装置,还可以包括:
疲劳标记接收模块,用于接收待检测用户当前所处疲劳状态的疲劳标记结果;
数据存储模块,用于如果疲劳标记结果与疲劳等级匹配,则将待检测用户的疲劳特征数据和疲劳等级对应存储至眼动数据库中。
进一步的,上述疲劳检测装置,还可以包括:
测试信息显示模块,用于在屏幕上显示待检测用户对应的测试信息,该测试信息根据预先设定的眼动训练任务生成。
进一步的,上述疲劳检测装置,还可以包括:
注视信息确定模块,用于根据实时获取的眼动数据确定待检测用户在当前时刻下的注视信息;
注视信息标记模块,用于在当前时刻下显示的测试信息中标记注视信息。
进一步的,上述眼动数据可以通过下述至少一种设备实时采集:
桌面式眼动采集设备、眼镜式或眼镜配件式眼动采集设备以及VR或AR头戴式眼动采集设备。
本实施例提供的疲劳检测装置可适用于上述任意实施例提供的疲劳检测方法,具备相应的功能和有益效果。
实施例五
图5为本发明实施例五提供的一种设备的结构示意图,如图5所示,该设备包括处理器50、存储装置51、通信装置52、输入装置53和输出装置54;设备中处理器50的数量可以是一个或多个,图5中以一个处理器50为例;设备中的处理器50、存储装置51、通信装置52、输入装置53和输出装置54可以通过总线或其他方式连接,图5中以通过总线连接为例。
存储装置51作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本发明实施例中提供的疲劳检测方法对应的程序指令/模块。处理器50通过运行存储在存储装置51中的软件程序、指令以及模块,从而执行设备的各种功能应用以及数据处理,即实现上述疲劳检测方法。
存储装置51可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端的使用所创建的数据等。此外,存储装置51可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储装置51可进一步包括相对于处理器50远程设置的存储器,这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
通信装置52可用于实现设备间的网络连接或者移动数据连接。
输入装置53可用于接收输入的数字或字符信息,以及产生与设备的用户设置以及功能控制有关的键信号输入。
输出装置54可包括显示屏等显示设备。
本实施例提供的一种设备可用于执行上述任意实施例提供的疲劳检测方法,具备相应的功能和有益效果。
实施例六
本发明实施例六还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时可实现上述任意实施例中的疲劳检测方法。该方法具体可以包括:
获取用于指示疲劳检测的触发指令;
根据触发指令实时获取待检测用户的眼动数据;
如果检测到数据结束指令,则根据眼动数据确定对应的疲劳特征数据;
根据疲劳特征数据及预先构建的眼动数据库,确定待检测用户的疲劳等级。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的疲劳检测方法中的相关操作。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是,上述疲劳检测装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
以上所述仅为本发明的优选实施例,并不用于限制本发明,对于本领域技术人员而言,本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种疲劳检测方法,其特征在于,包括:
获取用于指示疲劳检测的触发指令;
根据所述触发指令实时获取待检测用户的眼动数据;
如果检测到数据结束指令,则根据所述眼动数据确定对应的疲劳特征数据;
根据所述疲劳特征数据及预先构建的眼动数据库,确定待检测用户的疲劳等级。
2.根据权利要求1所述的方法,其特征在于,根据所述疲劳特征数据及预先构建的眼动数据库,确定待检测用户的疲劳等级,包括:
确定所述疲劳特征数据与所述眼动数据库中各历史疲劳特征数据的关联度,获得关联度大于设定阈值的至少一个候选疲劳特征数据;
将最大关联度对应的候选疲劳特征数据作为与所述疲劳特征数据关联的目标疲劳特征数据;
从所述眼动数据库中获取所述目标疲劳特征数据对应的历史疲劳等级,将历史疲劳等级确定为所述待检测用户的疲劳等级。
3.根据权利要求1或2所述的方法,其特征在于,在确定待检测用户的疲劳等级之后,还包括:
接收待检测用户当前所处疲劳状态的疲劳标记结果;
如果所述疲劳标记结果与所述疲劳等级匹配,则将待检测用户的疲劳特征数据和疲劳等级对应存储至所述眼动数据库中。
4.根据权利要求1所述的方法,其特征在于,在获取用于指示疲劳检测的触发指令之后,还包括:
在屏幕上显示待检测用户对应的测试信息,所述测试信息根据预先设定的眼动训练任务生成。
5.根据权利要求4所述的方法,其特征在于,在根据所述触发指令实时获取待检测用户的眼动数据之后,还包括:
根据实时获取的眼动数据确定待检测用户在当前时刻下的注视信息;
在当前时刻下显示的测试信息中标记所述注视信息。
6.根据权利要求1所述的方法,其特征在于,所述眼动数据通过下述至少一种设备实时采集:
桌面式眼动采集设备、眼镜式或眼镜配件式眼动采集设备以及虚拟现实VR或增强现实AR头戴式眼动采集设备。
7.一种疲劳检测装置,其特征在于,包括:
触发指令获取模块,用于获取用于指示疲劳检测的触发指令;
眼动数据获取模块,用于根据所述触发指令实时获取待检测用户的眼动数据;
疲劳特征确定模块,用于如果检测到数据结束指令,则根据所述眼动数据确定对应的疲劳特征数据;
疲劳等级确定模块,用于根据所述疲劳特征数据及预先构建的眼动数据库,确定待检测用户的疲劳等级。
8.根据权利要求7所述的装置,其特征在于,所述疲劳等级确定模块包括:
关联度确定单元,用于确定所述疲劳特征数据与所述眼动数据库中各历史疲劳特征数据的关联度,获得关联度大于设定阈值的至少一个候选疲劳特征数据;
目标特征确定单元,用于将最大关联度对应的候选疲劳特征数据作为与所述疲劳特征数据关联的目标疲劳特征数据;
疲劳等级确定单元,用于从所述眼动数据库中获取所述目标疲劳特征数据对应的历史疲劳等级,将历史疲劳等级确定为所述待检测用户的疲劳等级。
9.一种设备,其特征在于,所述设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-6中任一所述的疲劳检测方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-6中任一所述的疲劳检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910129180.6A CN109700472A (zh) | 2019-02-21 | 2019-02-21 | 一种疲劳检测方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910129180.6A CN109700472A (zh) | 2019-02-21 | 2019-02-21 | 一种疲劳检测方法、装置、设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109700472A true CN109700472A (zh) | 2019-05-03 |
Family
ID=66263781
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910129180.6A Pending CN109700472A (zh) | 2019-02-21 | 2019-02-21 | 一种疲劳检测方法、装置、设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109700472A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112006701A (zh) * | 2020-09-04 | 2020-12-01 | 北京中科心研科技有限公司 | 一种驾驶疲劳的检测方法及系统 |
CN112836747A (zh) * | 2021-02-02 | 2021-05-25 | 首都师范大学 | 眼动数据的离群处理方法及装置、计算机设备、存储介质 |
CN113243917A (zh) * | 2021-05-18 | 2021-08-13 | 中国民用航空总局第二研究所 | 一种民航管制员的疲劳检测方法、装置、电子设备及介质 |
CN113838411A (zh) * | 2021-10-12 | 2021-12-24 | 深圳市优聚显示技术有限公司 | 一种基于人因照明的led显示屏亮度调节方法、系统及设备 |
CN114424941A (zh) * | 2022-01-26 | 2022-05-03 | 广东电网有限责任公司 | 疲劳检测模型构建方法、疲劳检测方法、装置及设备 |
CN118012372A (zh) * | 2024-04-10 | 2024-05-10 | 深圳市万国电器有限公司 | 基于人工智能的显示方法、装置、设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6346887B1 (en) * | 1999-09-14 | 2002-02-12 | The United States Of America As Represented By The Secretary Of The Navy | Eye activity monitor |
CN105361880A (zh) * | 2015-11-30 | 2016-03-02 | 上海乃欣电子科技有限公司 | 肌肉运动事件的识别系统及其方法 |
CN106073805A (zh) * | 2016-05-30 | 2016-11-09 | 南京大学 | 一种基于眼动数据的疲劳检测方法和装置 |
CN106096575A (zh) * | 2016-06-24 | 2016-11-09 | 苏州大学 | 一种行车状态监测方法及系统 |
CN107550499A (zh) * | 2017-07-07 | 2018-01-09 | 北京邮电大学 | 一种检测人体疲劳度的方法和系统 |
CN108498068A (zh) * | 2018-04-18 | 2018-09-07 | 北京中启睿宝教育科技有限公司 | 一种基于眼动特征的儿童共同注意分析方法 |
-
2019
- 2019-02-21 CN CN201910129180.6A patent/CN109700472A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6346887B1 (en) * | 1999-09-14 | 2002-02-12 | The United States Of America As Represented By The Secretary Of The Navy | Eye activity monitor |
CN105361880A (zh) * | 2015-11-30 | 2016-03-02 | 上海乃欣电子科技有限公司 | 肌肉运动事件的识别系统及其方法 |
CN106073805A (zh) * | 2016-05-30 | 2016-11-09 | 南京大学 | 一种基于眼动数据的疲劳检测方法和装置 |
CN106096575A (zh) * | 2016-06-24 | 2016-11-09 | 苏州大学 | 一种行车状态监测方法及系统 |
CN107550499A (zh) * | 2017-07-07 | 2018-01-09 | 北京邮电大学 | 一种检测人体疲劳度的方法和系统 |
CN108498068A (zh) * | 2018-04-18 | 2018-09-07 | 北京中启睿宝教育科技有限公司 | 一种基于眼动特征的儿童共同注意分析方法 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112006701A (zh) * | 2020-09-04 | 2020-12-01 | 北京中科心研科技有限公司 | 一种驾驶疲劳的检测方法及系统 |
CN112836747A (zh) * | 2021-02-02 | 2021-05-25 | 首都师范大学 | 眼动数据的离群处理方法及装置、计算机设备、存储介质 |
CN113243917A (zh) * | 2021-05-18 | 2021-08-13 | 中国民用航空总局第二研究所 | 一种民航管制员的疲劳检测方法、装置、电子设备及介质 |
CN113838411A (zh) * | 2021-10-12 | 2021-12-24 | 深圳市优聚显示技术有限公司 | 一种基于人因照明的led显示屏亮度调节方法、系统及设备 |
CN113838411B (zh) * | 2021-10-12 | 2023-04-25 | 深圳市巨融医疗科技有限公司 | 一种基于人因照明的led显示屏亮度调节方法、系统及设备 |
CN114424941A (zh) * | 2022-01-26 | 2022-05-03 | 广东电网有限责任公司 | 疲劳检测模型构建方法、疲劳检测方法、装置及设备 |
CN118012372A (zh) * | 2024-04-10 | 2024-05-10 | 深圳市万国电器有限公司 | 基于人工智能的显示方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Damiano et al. | Distinct roles of eye movements during memory encoding and retrieval | |
CN109700472A (zh) | 一种疲劳检测方法、装置、设备和存储介质 | |
Malcolm et al. | The effects of target template specificity on visual search in real-world scenes: Evidence from eye movements | |
Fu et al. | Eye tracking the user experience–an evaluation of ontology visualization techniques | |
Bixler et al. | Toward fully automated person-independent detection of mind wandering | |
Foulsham et al. | Fixation-dependent memory for natural scenes: an experimental test of scanpath theory. | |
CN108052973B (zh) | 基于多项眼动数据的地图符号用户兴趣分析方法 | |
CN108542404B (zh) | 注意力评估装置、vr设备及可读存储介质 | |
Moran et al. | Using pupillometry to evaluate attentional effort in quiet eye: A preliminary investigation. | |
Lallé et al. | Prediction of users' learning curves for adaptation while using an information visualization | |
Menekse Dalveren et al. | Insights from surgeons’ eye-movement data in a virtual simulation surgical training environment: effect of experience level and hand conditions | |
CN112535479B (zh) | 一种情绪加工倾向的确定方法及相关产品 | |
Zhang et al. | Refixation patterns of mind-wandering during real-world scene perception. | |
Quétard et al. | Differential effects of visual uncertainty and contextual guidance on perceptual decisions: Evidence from eye and mouse tracking in visual search | |
AU2014234955B2 (en) | Automatic detection of task transition | |
Moacdieh et al. | Using eye tracking to detect the effects of clutter on visual search in real time | |
CN113974589B (zh) | 多模态行为范式评估优化系统及认知能力评价方法 | |
Kieras | Modeling visual search of displays of many objects: The role of differential acuity and fixation memory | |
Koehler et al. | Temporal and peripheral extraction of contextual cues from scenes during visual search | |
KR101654265B1 (ko) | 개인 맞춤형 시야 검사 방법 및 그 장치 | |
Riggs et al. | Rummage search by expert dyads, novice dyads and novice individuals for objects hidden in houses | |
Ward et al. | Protocols for the investigation of information processing in human assessment of fundamental movement skills | |
Droll et al. | Gaze control and memory for objects while walking in a real world environment | |
Grüner et al. | Simple shapes guide visual attention based on their global outline or global orientation contingent on search goals. | |
CN104992080B (zh) | 一种潜能值测验的刺激信息编制方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190503 |