CN110811644B - 一种视疲劳测量方法及其系统、存储介质、电子设备 - Google Patents

Abstract

本发明公开了一种视疲劳测量方法及其系统、存储介质、电子设备，所述方法包括步骤：获取眼睛的眼动参数；其中，所述眼动参数包括：固视微动幅度、闪光融合频率以及反应时间；通过眼动参数得到眼睛的疲劳程度。由于采用固视微动幅度、闪光融合频率以及反应时间作为眼动参数来得到疲劳程度，测量结果准确可靠，可以精准确定用户疲劳程度。

Description

一种视疲劳测量方法及其系统、存储介质、电子设备

技术领域

本发明涉及视疲劳测量技术领域，尤其涉及的是一种视疲劳测量方法及其系统、存储介质、电子设备。

背景技术

随着视频显示终端(缩写为VDT，主要是各类手机，平板，桌面电脑，电视机，广告屏等电子屏幕)和人工光源的逐渐普及，人口老龄化发展和学习工作压力的增大，以视力模糊，眼干，重影，流泪，眼痛和头颈肩酸痛等为典型症状的视疲劳现象越来越常见。这种现代生活方式引起的眼疲劳状态不仅会危害眼部健康，调节能力持续下降会引发近视和眼部病变，降低其学习成绩和工作效率。

现有技术中，闪光融合频率(CFF)参数测量视疲劳，指标过于单一，从而导致不准确。

因此，现有技术还有待于改进和发展。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种视疲劳测量方法及其系统、存储介质、电子设备，旨在解决现有技术中闪光融合频率参数测量视疲劳不准确的问题。

本发明解决技术问题所采用的技术方案如下：

一种视疲劳测量方法，其中，包括步骤：

获取眼睛的眼动参数；其中，所述眼动参数包括：固视微动幅度、闪光融合频率以及反应时间；

通过眼动参数得到眼睛的疲劳程度。

所述的视疲劳测量方法，其中，所述获取眼睛的眼动参数之前包括：

采用校准模型，建立眼睛的图像与视点位置对应关系；

采用验证模型验证眼睛的图像与视点位置对应关系，当注视误差大于预设阈值时，更新眼睛的图像与视点位置对应关系；

当注视误差小于或等于预设阈值时，完成验证。

所述的视疲劳测量方法，其中，所述获取眼睛的眼动参数包括：

在屏幕上显示一休息点，并在屏幕上非休息点区域依次显示若干个闪动的任务点；其中，相邻两个任务点的位置不相同；

控制任务点的闪动频率依次从低频率以第一频率间隔为步距上升至接收停止指令，并获得第一停止频率；

控制任务点的闪动频率从第一停止频率-第一频率间隔以第二频率间隔为步距上升至接收停止指令，并获得第二停止频率；其中，第一频率间隔大于第二频率间隔；

所述的视疲劳测量方法，其中，所述获取眼睛的眼动参数还包括：

控制任务点的闪动频率从高频率以第三频率间隔下降至接收停止指令，并获得第三停止频率；

控制任务点的闪动频率从第三停止频率+第三频率间隔以第四频率间隔为步距下降至接收停止指令，并获得第四停止频率；其中，第三频率间隔大于第四频率间隔；

计算第二停止频率和第四停止频率的平均值得到闪光融合频率。

所述的视疲劳测量方法，其中，反应时间为视点位置从休息点位移至任务点的时间间隔，固视微动幅度为视点位置到达任务点后眼球运动的幅度，其中，任务点的闪动时间大于20s。

所述的视疲劳测量方法，其中，所述获取眼睛的眼动参数包括：

在屏幕上依次排列若干个第一搜索点，排列顺序为第一搜索点的闪动频率从低频率以第五频率间隔为步距升序排列，接收停止指令，并根据眼睛的图像获得第五停止频率；

在屏幕上依次排列若干个第二搜索点，排列顺序为第二搜索点的闪动频率从第五停止频率-第五频率间隔以第六频率间隔为步距升序排列，接收停止指令，并根据眼睛的图像获得第六停止频率；

在屏幕上显示第一凝视点以第六停止频率闪动，控制第一凝视点变化预设时间后复原，接收变化指令完成第一凝视反应，其中，第一凝视点的尺寸小于第二搜索点的尺寸。

所述的视疲劳测量方法，其中，所述获取眼睛的眼动参数还包括：

在屏幕上依次排列若干个第三搜索点，排列顺序为第三搜索点的闪动频率从高频率以第七频率间隔为步距降序排列，接收停止指令，并根据眼睛的图像获得第七停止频率；

在屏幕上依次排列若干个第四搜索点，排列顺序为第四搜索点的闪动频率从第七停止频率+第七频率间隔以第八频率间隔为步距降序排列，接收停止指令，并根据眼睛的图像获得第八停止频率；其中，第七频率间隔大于第八频率间隔；

计算第六停止频率和第八停止频率的平均值得到闪光融合频率；

在屏幕上显示第二凝视点以第八停止频率闪动，控制第二凝视点变化预设时间后复原，接收变化指令完成第二凝视反应，其中，第二凝视点的尺寸小于第四搜索点的尺寸；

根据第一凝视反应和第二凝视反应得到反应时间；

固视微动幅度为视点位置在凝视点处时眼球运动的幅度。

一种基于固视微动幅度的视疲劳测量系统，其中，包括：处理器，以及与所述处理器连接的存储器，

所述存储器存储有基于固视微动幅度的视疲劳测量程序，所述基于固视微动幅度的视疲劳测量程序被所述处理器执行时实现以下步骤：

获取眼睛的眼动参数；其中，所述眼动参数包括：固视微动幅度、闪光融合频率以及反应时间；

通过眼动参数得到眼睛的疲劳程度。

一种存储介质，其中，存储有基于固视微动幅度的视疲劳测量程序，所述基于固视微动幅度的视疲劳测量程序被执行时，实现如上述任意一项所述视疲劳测量方法的步骤。

一种电子设备，其中，包括如上述所述的存储介质。

有益效果：由于采用固视微动幅度、闪光融合频率以及反应时间作为眼动参数来得到疲劳程度，测量结果准确可靠，可以精准确定用户疲劳程度。

附图说明

图1是本发明中视疲劳测量方法的流程图。

图2是本发明中屏幕和摄像头的示意图。

图3A是对应图2中A处时的眼睛的图像。

图3B是对应图2中B处时的眼睛的图像。

图4A是本发明中4点校准方式的示意图。

图4B是本发明中5点校准方式的示意图。

图4C是本发明中9点校准方式的示意图。

图5是本发明中视觉任务1的示意图。

图6是本发明中视觉任务2的示意图。

图7A是本发明中视觉任务2中的凝视任务的第一示意图。

图7B是本发明中视觉任务2中的凝视任务的第二示意图。

图8是本发明中固视微动示意图。

图9是本发明中不同视疲劳状态间的参数差异图。

图10是本发明中视疲劳测量系统的功能原理框图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

请同时参阅图1-图9，本发明提供了一种视疲劳测量方法的一些实施例。

如图1所示，本发明实施例的视疲劳测量方法，包括以下步骤：

步骤S100、校准并验证眼睛的图像与视点位置对应关系(以下简称"位置关系模型")。

具体地，在进行视疲劳测量之前可以对位置关系模型进行校准和验证，当然也可以不进行校准和验证。

如图2所示，这里的眼睛的图像，可以采用摄像头2进行录像拍摄，拍摄后截取眼部的图像，眼睛的图像是指时间轴上一系列的图像，视点位置为时间轴上眼睛的视点所在的位置。在用户保持头部相对屏幕1静止不动时，眼睛的视点位置不同，对应的眼睛的图像则不同。图3A的眼睛的图像对应于如图2中用户凝视屏幕1上A凝视点时，摄像头2拍下的眼睛(右眼)的图像；类似地，图3B的眼睛的图像对应于如图2中用户凝视屏幕1上B点时右眼摄像。

摄像头2可以是市售高清(彩色)摄像头，如手机前置高清摄像头，笔记本自带高清摄像头，桌面电脑外配摄像头等，也可以是红外摄像头(考虑到拍摄环境光线较差的可能)，或黑白摄像头(不影响本发明的效果)，可以集成在设备上，也可以外置在设备外。当发明用于非VDT的阅读场景时，摄像头2可以脱离屏幕1而存在，设置在用户眼前固定位置即可，如书桌上或台灯上等。

步骤S100包括以下步骤：

步骤S110、采用校准模型，建立眼睛的图像与视点位置对应关系。

具体地，执行校准操作：在用户处于正常屏幕1阅读浏览状态时，进行屏幕1与眼睛相对位置的校准。如图2所示，在屏幕1上呈现第1个凝视点(例如，凝视点A)，用户"盯住"此点后主动发出"瞄准信号"(表示眼睛已经"瞄准"该位置)，"瞄准"信号，包括但不限于按键，触摸屏幕1，眨眼或发出语音命令等；随后自动在屏幕1下一位置呈现第2个凝视点(例如凝视点2)，同时上一凝视点(凝视点A)消失，类似地，用户重新盯住该点发出"瞄准"信号；然后擦除第2点，换个位置呈现第3个凝视点，...，如此一直进行下去，直到最后一个凝视点被程序识别为已瞄准，该步骤结束。

此步骤要求用户在整个视疲劳测量过程中，保持头部相对屏幕1尽量静止不动，以保证测量结果尽量准确。通过屏幕1的摄像头2记录用户瞄准不同点时对应的实时眼部图像，分析构建位置关系模型。

如图4(图4包括图4A、图4B、图4C)所示，可以使用经典的4点，5点或9点等校准方式，各凝视点呈现次序随机，但需要遍历一次，推荐第1个凝视点呈现在屏幕1正中心；凝视点形状推荐但不限于圆圈，同心圆，叉号或圈叉组合等；凝视点大小推荐随设备的类型(如电视，桌面电脑，平板或手机等)，屏幕1分辨率和尺寸，眼睛与屏幕1的距离等条件做相应调整，以能看清且视点尽量小为标准。该步骤可以由语音或屏幕文字引导用户操作，并且此引导内容可在相关设置中设为开启或关闭。

步骤S120、采用验证模型验证眼睛的图像与视点位置对应关系，当注视误差大于预设阈值时，更新眼睛的图像与视点位置对应关系。

步骤S130、当注视误差小于或等于预设阈值时，完成验证。

执行验证校准操作：再进行一遍基本类似的多次"瞄准"操作，验证此前校准建模的精确度是否满足要求。程序首先在屏幕1上呈现第1个凝视点，用户"盯住"此点后主动发出"瞄准信号"，随后自动在屏幕1下一位置呈现第2个凝视点，用户再次"瞄准"，无需发出任何信号，程序在发现用户眼睛相对静止后自动识别为已瞄准，然后擦除该点，呈现下一个凝视点，...，如此一直进行下去，直至最后一个凝视点被确认已被"瞄准"。

在上述过程进行的同时，每次用户瞄准确认，系统将根据"位置关系模型"计算出用户真正视点视点位置，并计算与屏幕1呈现的指定凝视点之间的距离，记为"注视误差"，当该误差小于某一特定值(即预设阈值)时，该点凝视任务才算顺利完成(即得到已完成的眼睛的图像与视点位置对应关系，或者说已完成的位置关系模型)，否则会引导用户重新开始验证，甚至校准步骤，从而进行更新操作。该预设阈值的取值与设备类型(如电视屏幕，桌面电脑屏幕，平板或手机屏幕等)，屏幕分辨率和尺寸，眼睛与屏幕1的距离等参数相关，非定值。当上一步骤S110校准不进行时，步骤S120和步骤S130也将随之省略。

需要说明的是，优选地，步骤S120和步骤S130使用几点验证，第一验证点推荐出现在哪里，验证点形状和大小，验证操作如何指引等问题，以及相关变形或操作，与步骤S110相似。

步骤S200、获取眼睛的眼动参数；其中，所述眼动参数包括：固视微动幅度、闪光融合频率以及反应时间。业界定义固视微动(Involuntary eye movement)为在凝视很小的静止点视标状态下产生的极微小的眼球运动，它是一种无意识的眼球运动。那么，固视微动幅度为在凝视很小的静止点视标状态下产生的极微小的眼球运动的幅度。

通过实验数据发现，在定点凝视任务中，固视微动平均幅度的增加都能够准确地反映视疲劳程度的加深，反之，则视疲劳程度降低。也就是说，本发明以固视微动幅度(MA)作为主眼动参数，并结合闪光融合频率(CFF)和反应时间(RT)作为辅眼动参数，用来判断视疲劳程度。当然，还可以引入其他眼动参数，如眨眼频率，眨眼时间，眨眼幅度等眨眼参数，注视时间，扫视速率等注视扫视参数。本发明由于采用固视微动幅度、闪光融合频率以及反应时间作为眼动参数来得到疲劳程度，测量结果准确可靠，可以精准确定用户疲劳程度。此外，本发明所述方法为非接触式、简单、耗时短，且对用户当前工作或学习状态影响小(甚至可以做到"无感"测量)，以及测量设备简单可携带和成本低等诸多优点。

本发明提供两种获取眼睛的眼动参数的方式，分别为视觉任务1和视觉任务2，下面对两种方式分别说明：

视觉任务1

所述步骤S200包括：

步骤S210a、由低到高的粗略测量闪光融合频率得到第一停止频率。

步骤S210a具体包括：

步骤S211a、在屏幕上显示一休息点，并在屏幕上非休息点区域依次显示若干个闪动的任务点；其中，相邻两个任务点的位置不相同。

如图5所示，最大框表示屏幕，上边框大黑点表示摄像头，屏幕中心有一眼睛示意图，为任务执行间隙眼睛"休息点"，还有一个小黑点表示"任务点"。

具体地，任务点分为四类，分别为第一类任务点、第二类任务点、第三类任务点、第四类任务点，每类任务点中的各任务点的闪动频率相同，四类任务点分别对应四次闪动过程，四次闪动过程分别为第一次闪动过程、第二次闪动过程、第三次闪动过程、第四次闪动过程。

步骤S212a、控制任务点的闪动频率依次从第一低频率以第一频率间隔为步距上升至接收停止指令，并获得第一停止频率。

具体地，第一类任务点中各任务点依次出现并闪动，进行第一次闪动过程。开始时，要求用户将目光注视在屏幕指定位置(称为"休息点")，如图5所示，休息点推荐设在中心的眼睛型图标处。然后间隔随机时间(比如2.3s)，在屏幕随机出现一个小点(称"第一类任务点")，该点以等频率间隔由低到高闪动：例如，可以是先以20Hz(称为"第一低频率")的频率闪动3s(称为"闪动时间")，然后立即以22Hz闪动3s，23Hz闪动3s(这里的1Hz间隔称为"第一频率间隔")，...，上升直至40Hz(称为"第一高频率")闪动3s。当任务点出现时，要求用户立即将目光转向该任务点并一直凝视，直至用户认为该任务点不再闪动为止，假设此时用户认为某一任务点不再闪动，且该任务点是以29Hz(称为"第一停止频率")闪动，要求用户立即发出"停止信号"(停止信号包括但不限于按键，触摸屏幕，眨眼或发出语音命令等)，并移走目光返回休息点，等待下一个随机位置出现新任务点，同时原"任务点"消失。此过程称为CFF"由低到高的粗略测量"。

步骤S220a、由低到高的精细测量闪光融合频率得到第二停止频率。

步骤S220a具体包括：

步骤S221a、控制任务点的闪动频率从第一停止频率-第一频率间隔以第二频率间隔为步距上升至接收停止指令，并获得第二停止频率；其中，第一频率间隔大于第二频率间隔。

具体地，第二类任务点中各任务点依次出现并闪动，进行第二次闪动过程。间隔随机时间(比如3.5s)，在屏幕随机位置再次呈现一个任务点(该任务点属于第二类任务点)。注意，该点围绕"第一停止频率"加减1Hz，从低向高以等频率间隔闪动。例如，假定已知"第一停止频率"为29Hz，则第二个任务点闪动模式为28Hz(第一停止频率-第一频率间隔)闪动3s，28.2Hz闪动3s，...，上升直至30Hz(第一停止频率+第一频率间隔)闪动3s，这里的0.2s间隔称为"第二频率间隔"。同理，当该点出现时，要求用户立即将目光转向该点并一直凝视，直至用户认为该点不再闪动为止，立即发出"停止信号"，将目光转向休息点，任务点随之消失。假设此时任务点闪动频率为29.2Hz(称为"第二停止频率")。此过程称为CFF"由低到高的细致测量"。

到这里，任务1的上半部分执行完毕。接下来是下半部分。

步骤S230a、由高到低的粗略测量闪光融合频率得到第三停止频率。

步骤S230a具体包括：

步骤S231a、控制任务点的闪动频率从第二高频率以第三频率间隔下降至接收停止指令，并获得第三停止频率。

具体地，第三类任务点中各任务点依次出现并闪动，进行第三次闪动过程。类似第一次闪动过程，经过随机时间(比如2.9s)，屏幕在随机位置出现第三类任务点，以等频率间隔由高频到低频闪动，例如，先以40Hz(称为"第二高频率"，需可以等于或小于第一高频率)闪动3s，然后39Hz闪动3s，...，20Hz(称为"第二低频率")闪动3s，第二低频率需等于或大于第一低频率，第三频率间隔也可以与第一频率间隔相同。该点出现时要求用户在任务点出现时立即转移目光过来凝视，与第一次闪动过程不同的是，当用户认为该点开始闪动时，立即发出"停止信号"，并移回目光至"休息点"，等待新"任务点"出现，同时，原"任务点"消失。假设此时该点闪动频率为28Hz(称为"第三停止频率")。此过程称为CFF"由高到低的粗略测量"。

步骤S240a、由高到低的精细测量闪光融合频率得到第四停止频率。

步骤S240a具体包括：

步骤S241a、控制任务点的闪动频率从第三停止频率+第三频率间隔以第四频率间隔为步距下降至接收停止指令，并获得第四停止频率；其中，第三频率间隔大于第四频率间隔。

具体地，第四类任务点中各任务点依次出现并闪动，进行第四次闪动过程。类似第二次闪动过程，间隔随机时间(比如1.8s)，在屏幕随机位置呈现第四个"任务点"，该点围绕"第三停止频率"加减1Hz从高向低以等间隔频率闪动。例如，假设已知"第三停止频率"为28Hz，则第四个任务点闪动模式为29Hz(第三停止频率+第三频率间隔)闪动3s，28.8Hz闪动3s，...，27Hz(第三停止频率-第三频率间隔)闪动3s。同理，这里的0.2s间隔称为"第四频率间隔"，推荐与"第二频率间隔"相同。当该点出现时，要求用户立即将目光转向该点并一直凝视，直至用户认为该点开始闪动为止，立即发出"停止信号"，并将目光转向休息点，任务点随之消失。假设此时闪动频率为28.8Hz(称为"第四停止频率")。此过程称为CFF"由高到低的细致测量"。

步骤S250a、计算第二停止频率和第四停止频率的平均值得到闪光融合频率。

"第四停止频率"与"第二停止频率"之和再除以2，为闪光融合频率，即CFF。第一停止频率、第二停止频率、第三停止频率、第四停止频率均可以作为闪光融合频率，只是采用第二停止频率作为闪光融合频率时，准确性要高于第一停止频率作为闪光融合频率。同理，采用第四停止频率作为闪光融合频率时，准确性要高于第三停止频率作为闪光融合频率。采用第二停止频率和第四停止频率的平均值作为闪光融合频率，准确性最高。

反应时间为视点位置从休息点位移至任务点的时间间隔，固视微动幅度为视点位置到达任务点后眼球运动的幅度，其中，任务点的闪动时间大于20s，当任务点的闪动时间大于20s时，则可以获得固视微动幅度。

在获得CFF过程中，可以获得固视微动幅度(MA)和反应时间(RT)。至此，任务1执行完毕。

需要补充说明的是，(1)"休息点"的位置，大小，颜色，形状可以自由选择，推荐位于屏幕正中，推荐大小0.5～10厘米(视屏幕大小而定)，推荐与背景成强烈对比色，推荐形状有别于"任务点"。(2)"任务点"位置每次随机，推荐不靠近屏幕边缘和"休息点"，大小尽量小(以能看清为准)，建议颜色与背景区别，对比色最好，形状任意，最好与"休息点"区别。(3)第一高频率和第一低频率并非固定，需要综合考虑用户年龄，性别，所处环境温湿度光线，视疲劳场景，以及最近测得CFF范围等情况，以尽量缩小范围，节省测试时间。(4)第二高频率和第二低频率范围建议被包含于第一高频率和第一低频率区间内，例如，假定第一低频率为20Hz，第一高频率为40Hz，第一停止频率29Hz，则第二低频率建议位于20～29-1之间，比如25Hz，第二高频率位于29+1～40之间，比如35Hz，如此操作，可以大大节省测量时间。(5)本任务中的所有"闪动时间"也非规定值，与人年龄，反应能力等有关，推荐1～5s之间，3s比较合适。此外，每个任务点的总闪动时间也不宜过短，推荐在30s以上。(6)各频率间隔也非规定值，可以具体约定，推荐第一频率间隔和第三频率间隔为1Hz，第二频率间隔和第四频率间隔为0.1～0.2Hz。(7)本任务中的"停止信号"，可以是用户按键，发出语音指令或目光偏移等任意事先约定形式。为计算方便，建议各次停止信号使用同一形式。(8)上述第一、二次闪动过程可以与第三、四次闪动过程调换顺序，即也可以先由高到低粗测和细测，再由低到高粗测和细测，但不可能先细测再粗测。

视觉任务2

本次任务中，在屏幕上依次显示第一搜索点、第二搜索点、第三搜索点、第四搜索点，分别对应第一次搜索过程、第二次搜索过程、第三次搜索过程、第四次搜索过程。

所述步骤S200包括：

步骤S210b、由低到高的粗略搜索闪光融合频率得到第五停止频率。

步骤S210b具体包括：

步骤S211b、在屏幕上依次排列若干个第一搜索点，排列顺序为第一搜索点的闪动频率从第一低频率以第五频率间隔为步距升序排列，接收停止指令，并根据眼睛的图像获得第五停止频率。

具体地，显示第一搜索点进行第一次搜索过程。开始时，屏幕呈现若干图形(称为"第一搜索点")，可以依次排成矩阵，如图6所示，最大框表示屏幕，上边框黑点表示摄像头，屏幕中黑点表示"搜索点"。各圆点分别以20Hz(称为"第一低频率")，21Hz(间隔1Hz称为为"第五频率间隔")，22Hz，...，40Hz(称为"第一高频率")连续闪动，要求用户从左上角第一点开始快速搜索，直至找到第一个自认为不闪动的点(称为"第一停止点")，并发出"停止信号"，假设该第一停止点的闪动频率为29Hz(称为"第五停止频率")，此过程称为CFF"由低到高粗略搜索"。

步骤S220b、由低到高的精细搜索闪光融合频率得到第六停止频率。

步骤S220b具体包括：

步骤S221b、在屏幕上依次排列若干个第二搜索点，排列顺序为第二搜索点的闪动频率从第五停止频率-第五频率间隔以第六频率间隔为步距升序排列，接收停止指令，并根据眼睛的图像获得第六停止频率。

具体地，显示第二搜索点进行第二次搜索过程。屏幕再次呈现若干点(可以在不同于第一次搜索的点阵的其他屏幕位置，或删除第一次搜索的点阵以显示新点阵，即显示第二次搜索的点阵)，新点阵各点按顺序依次以28Hz(第五停止频率-第五频率间隔)，28.1Hz(间隔0.1Hz称为"第六频率间隔")，28.2Hz，...，30Hz(第五停止频率+第五频率间隔)连续闪动，同样要求用户从起点依次搜索，找到第一个自认为不闪动的点(称为"第二次停止点")并发出"停止信号"，假设该点闪动频率为29.2Hz，记为"第六停止频率"，此过程称为CFF"由低到高精细搜索"。

步骤S230b、进行第一凝视反应。

步骤S230b具体包括：

步骤S231b、在屏幕上显示第一凝视点以第六停止频率闪动，控制第一凝视点变化预设时间后复原，接收变化指令完成第一凝视反应，其中，第一凝视点的尺寸小于第二搜索点的尺寸。

然后，程序将"第二次停止点"更改为较小点(称为"第一凝视点")，并保持稳定显示在指定位置上。要求用户转移目光至此位置，并一直凝视该点的中心位置，每间隔随机时间(比如，5.3s，9.5s，4.9s等)，该点会突然发生变化(可选改变形状，大小或颜色等)并持续随机的较短时间(例如0.5s以下)后复原，如图7(图7包括图7A和图7B)所示，改变了凝视点的形状。当发生变化时，要求用户立即作出反应，发出"变化信号"。如此经历数次变化和用户反应，该凝视任务结束(建议单点凝视总时间超过30s)，此过程称为"第一凝视反应"。

至此，该任务完成一半。接下来顺次再进行一遍粗略搜索，精细搜索和凝视反应任务，过程类似上半部分。

步骤S240b、由高到低的粗略搜索闪光融合频率得到第七停止频率。

步骤S240b具体包括：

步骤S241b、在屏幕上依次排列若干个第三搜索点，排列顺序为第三搜索点的闪动频率从高频以第七频率间隔为步距降序排列，接收停止指令，并根据眼睛的图像获得第七停止频率。

与第一次搜索过程的区别是，第三次搜索过程更改为各点依次以"第二高频率"(如40Hz)到"第二低频率"闪烁，采用"第七频率间隔"(如1Hz)，让用户找第一个自认为不闪烁的点，此过程结束后获得"第七停止频率"。

步骤S250b、由高到低的精细搜索闪光融合频率得到第八停止频率。

步骤S250b具体包括：

步骤S251b、在屏幕上依次排列若干个第四搜索点，排列顺序为第四搜索点的闪动频率从第七停止频率+第七频率间隔以第八频率间隔为步距降序排列，接收停止指令，并根据眼睛的图像获得第八停止频率；其中，第七频率间隔大于第八频率间隔。

第四次搜索过程也更改为从"第七停止频率+第七频率间隔"到"第七停止频率-第七频率间隔"闪烁，此二者频率计算方式类同第二次搜索过程，得到"第八停止频率"。

步骤S260b、计算第六停止频率和第八停止频率的平均值得到闪光融合频率。

"第四停止频率"与"第二停止频率"之和再除以2，为闪光融合频率，即CFF。

步骤S270b、进行第二凝视反应。

步骤S270b具体包括：

步骤S271b、在屏幕上显示第二凝视点以第八停止频率闪动，控制第二凝视点变化预设时间后复原，接收变化指令完成第二凝视反应，其中，第二凝视点的尺寸小于第四搜索点的尺寸。

步骤S280b、根据第一凝视反应和第二凝视反应得到反应时间；反应时间为凝视点变化与变化指令之间的时间间隔，固视微动幅度为视点位置在凝视点处时眼球运动的幅度。第一凝视反应的反应时间、第二凝视反应的反应时间均可作为反应时间，这里采用第一凝视反应的反应时间和第二凝视反应的反应时间的平均值作为反应时间，准确性更高。第一凝视反应的固视微动幅度和第二凝视反应的固视微动幅度均可作为固视微动幅度，采用第一凝视反应的固视微动幅度和第二凝视反应的固视微动幅度的平均值作为固视微动幅度，准确性更高。

第五停止频率、第六停止频率、第七停止频率、第八停止频率均可作为闪光融合频率，第六停止频率、第八停止频率作为闪光融合频率时的准确性要分别高于第五停止频率、第七停止频率。第六停止频率和第八停止频率的平均值作为闪光融合频率时的准确性最高。

如图8所示，中心最大黑圆点表示"凝视点"，周围三个小黑点示意凝视过程中，眼球不自主抖动时的视点，连线表示扫视/抖动，小黑点大小与注视该点时间成正比。

至此，任务2执行完毕。

任务2补充说明：(1)"搜索点"的位置，大小，颜色，形状可以自由选择，推荐位于屏幕中间区域成行列时排列，大小0.5～10厘米(视屏幕大小而定，可以尽量大些)，与背景成强烈对比色，实心大圆点。被扫视过的点推荐作消失处理，但至少保留1个最近扫过点不消失。(2)"凝视点"设置也类似，但推荐位于屏幕正中心，较小的实心圆点或同心圆。(3)第一高频率和第一低频率并非固定，需要综合考虑用户年龄，性别，所处环境温湿度光线，视疲劳场景，以及最近测得CFF范围等情况，以尽量缩小范围，节省测试时间。(4)第二高频率和第二低频率范围建议被包含于第一高频率和第一低频率区间内，例如，假定第一低频率为20Hz，第一高频率为40Hz，第五停止频率为29Hz，则第二低频率建议位于20～29-1之间，比如25Hz，第二高频率位于29+1～40之间，比如35Hz，如此操作，可以大大节省测量时间。(5)各频率间隔也非规定值，可以具体约定，推荐第一、三次搜索过程的频率间隔为1Hz，第二、四次搜索过程的频率间隔为0.1～0.2Hz。(6)本任务的"变化信号"，可以是用户按键，发出语音指令或目光偏移等任意事先约定形式。为计算方便，建议各次停止信号使用同一形式。(8)本任务点半部分可以和后半部分调换顺序，即也可以先执行由高到低搜索加凝视，再进行由低到高搜索和凝视任务。

为增加趣味性，两项视觉任务都可以设置成游戏形式，例如，任务1就可以可以设置成类似打地鼠形式，任务2可设置成翻牌游戏形式等等。

如果省去步骤S100，则本发明在凝视反应过程中，需要采用至少2个摄像头2采集数据(以下称"双目摄像头")。至少需要2个摄像头2时，位于显示器不同位置(边框上或屏幕1下均可)，也可使用1个双目摄像头(本质上还是2个摄像头)，或1个高速运动(抖动或滑动)摄像头。采用双目摄像头是模仿人的双眼对视物的空间定位能力，对用户眼睛位置进行双目视觉定位，此做法的好处是可以做的"无感"视疲劳监控，即用户无需进行校准等任何让用户感知到自己正在进行视疲劳测量的操作，完全专注于自己的工作和学习任务中，在不知不觉中完成视疲劳的多次测量，甚至连续长时间的监控。

此外，有时为了更加准确测量某只单眼的视疲劳状态，本发明也允许用户使用特制眼镜，夹片或眼罩等工具，盖上其中一只眼后执行视觉任务，这样测量另一只眼视疲劳更准确。为了更加准确地评价视疲劳，步骤S200还推荐同时进行经典的主观量表或其他客观或任务测量，作为疲劳程度的标杆数据(以下简称标杆数据)，用于个性化数据学习与表达。推荐用于用户使用本发明初期，或者长期不用后重新使用后的若干次测量。

步骤S300、通过眼动参数得到眼睛的疲劳程度。

具体地，获取疲劳程度的标杆数据，根据疲劳程度的标杆数据和眼动参数，得到眼睛的疲劳程度。通过眼动参数与标杆数据对比可得到眼睛的疲劳程度，标杆数据可以是其他视疲劳测量手段(如经典的主观量表或其他客观测量方法)的数据，还可以是经过用户多次搜索的数据形成的样本数据。

在实际应用中，由于视疲劳存在年龄，营养和心理状态等内在的，以及环境和任务等外在的个性化差异(这些因素共同形成用户"特征画像")，不能简单地以上述参数的当次测量值和前后差异值判定用户的视疲劳状态及其变化。本发明采取如下做法:

初始时，采用"样本数据库"中提供的数据。例如，假定T1时刻用户U1测得主参数向量MP1＝[MA1，CFF1，RT1](即固视微动幅度，CFF和反应时间合成向量)，查找数据库中"特征画像"最相似用户的数据，MP1值对应视疲劳程度为VF1。在紧随其后的T2时刻，该用户再次测得主参数向量P2，同样查得数据库中，P2对应视疲劳程度VF2，以及P2-P1对应视疲劳变化量ΔVF。注意起始数据反映的是同类用户(同类群体在同类环境中)的共性情况，并不够准确。然后，综合T1，T2时刻的其他视疲劳测量手段(如经典的主观量表或其他客观测量方法)的数据，给出用户相对个性化的视疲劳状态判断，在用户使用本发明初期，推荐同时使用其他经典测量手段作为早期"标杆"的用处，目的是快速提高数据的准确性和个性化。每一次用户测量数据都会被计入用户U1"个人数据库"，下一次测量将采用该数据库数据与标杆测量方法综合得出新的数据。随着用户U1视疲劳测量次数的增加，本发明综合"标杆"给出的用户视疲劳状态及其变化数据会愈加准确，经过若干次如此迭代之后，用户数据达到相对稳定且个性化的准确状态(即该用户在特定场景下测量主参数MP对应的视疲劳状态VF相对稳定)，此后的测量可考虑撤除标杆测量，以缩短测量时间，优化用户体验。与此同时，该用户稳定后的个性化数据(MP，及其对应的VF)将上传到样本数据库，扩充样本数据，提高数据库的准确性。

最初样本数据库可以通过实验室测量各种典型特征用户(如不同年龄，精神状态，营养状态，温湿度光线等环境以及各种视觉任务等)的视疲劳状况与主参数的关系获得，后面通过更多用户的加入和更多次的测量，不断迭代优化该数据库，最终形成个性化强，稳定性耗和准确性高的大样本数据库。

此外，前面提到的眨眼频率，眨眼时间，眨眼幅度等眨眼参数，以及注视时间，扫视速率等注视扫视参数，也可使用类似方式用于视疲劳测量的迭代和数据库的更新中，不过，这会让整体算法更加复杂，涉及到更多数据处理和融合的问题。

本发明通过多摄像头在捕捉不同时刻人眼在执行屏幕1上特定视觉任务时的眼动反应，主要计算扫视幅度和注视频率两大关键参数前后变化，对当前用户视疲劳状态进行精准评级，提醒和展示等。本发明具有如下优势：

1、使用眼动测试中的固视微动幅度、闪光融合频率以及反应时间作为主要参数测量VDT场景的视疲劳状态及其变化。相比于传统方法，本发明可以做到测量结果准确可靠，方法简单非接触，耗时短，对用户当前工作或学习状态影响小("无感"测量)，以及测量设备简单可携带，成本低等。

2、在VDT视疲劳场景中，通过多摄像头实时定位眼部位置并捕捉眼睛在执行视觉任务时的眼动反映，从而真正"无感"快捷客观地测量用户视疲劳状况，可以方便应用于现有VDT设备上，并用于连续视疲劳监控，对用户正常工作学习零干扰。

3、以主观量表等其他主客观或任务测量手段数据为标杆，结合典型样本数据，逐次迭代获得用户个性化眼动参数与视疲劳关系的方法，也有一定创新性和实用价值。

图9展示的是一组20名大学生志愿者参加视疲劳实验(执行定点凝视任务任务)的平均结果数据。使用视疲劳刺激程序，使得志愿者的视疲劳程度随着时间逐渐加强，依次测量T1，T2和T3这三个时刻的视疲劳的主观评分和眼动参数。

图9中横坐标"T3-T1"表示T3时刻测得参数与T1时刻参数的差值，同理"T2-T1"表示T2时刻参数与T1时刻参数相减，纵坐标表示前后参数差值。横纹柱表示主观评分前后差异，其值为正数表明视疲劳随着时间加深，视疲劳程度T1<T2<T3。竖纹柱表示固视微动幅度前后差值(单位rad)。从图9中可以看出，随着视疲劳程度越来越深，固视微动幅度越来越大，此参数变化可以很好地反映视疲劳状态的改变。

基于上述任意一实施例所述的视疲劳测量方法，本发明还提供了一种基于固视微动幅度的视疲劳测量系统的较佳实施例：

如图10所示，本发明实施例所述基于固视微动幅度的视疲劳测量系统，包括：处理器10，以及与所述处理器10连接的存储器20，

所述存储器20存储有基于固视微动幅度的视疲劳测量程序，所述基于固视微动幅度的视疲劳测量程序被所述处理器10执行时实现以下步骤：

获取眼睛的眼动参数；其中，所述眼动参数包括：固视微动幅度、闪光融合频率以及反应时间；

通过眼动参数得到眼睛的疲劳程度，具体如上所述。

所述基于固视微动幅度的视疲劳测量程序被所述处理器10执行时，还实现以下步骤：

采用校准模型，建立眼睛的图像与视点位置对应关系；

采用验证模型验证眼睛的图像与视点位置对应关系，当注视误差大于预设阈值时，更新眼睛的图像与视点位置对应关系；

当注视误差小于或等于预设阈值时，完成验证，具体如上所述。

所述基于固视微动幅度的视疲劳测量程序被所述处理器10执行时，还实现以下步骤：

在屏幕上显示一休息点，并在屏幕上非休息点区域依次显示若干个闪动的任务点；其中，相邻两个任务点的位置不相同；

控制任务点的闪动频率依次从低频率以第一频率间隔为步距上升至接收停止指令，并获得第一停止频率；

控制任务点的闪动频率从第一停止频率-第一频率间隔以第二频率间隔为步距上升至接收停止指令，并获得第二停止频率；其中，第一频率间隔大于第二频率间隔；

所述基于固视微动幅度的视疲劳测量程序被所述处理器10执行时，还实现以下步骤：

控制任务点的闪动频率从高频率以第三频率间隔下降至接收停止指令，并获得第三停止频率；

控制任务点的闪动频率从第三停止频率+第三频率间隔以第四频率间隔为步距下降至接收停止指令，并获得第四停止频率；其中，第三频率间隔大于第四频率间隔；

计算第二停止频率和第四停止频率的平均值得到闪光融合频率；

所述基于固视微动幅度的视疲劳测量系统，其中，反应时间为视点位置从休息点位移至任务点的时间间隔，固视微动幅度为视点位置到达任务点后眼球运动的幅度，其中，任务点的闪动时间大于20s具体如上所述。

所述基于固视微动幅度的视疲劳测量程序被所述处理器10执行时，还实现以下步骤：

在屏幕上依次排列若干个第一搜索点，排列顺序为第一搜索点的闪动频率从低频率以第五频率间隔为步距升序排列，接收停止指令，并根据眼睛的图像获得第五停止频率；

在屏幕上依次排列若干个第二搜索点，排列顺序为第二搜索点的闪动频率从第五停止频率-第五频率间隔以第六频率间隔为步距升序排列，接收停止指令，并根据眼睛的图像获得第六停止频率；

在屏幕上显示第一凝视点以第六停止频率闪动，控制第一凝视点变化预设时间后复原，接收变化指令完成第一凝视反应，其中，第一凝视点的尺寸小于第二搜索点的尺寸；

所述基于固视微动幅度的视疲劳测量程序被所述处理器10执行时，还实现以下步骤：

在屏幕上依次排列若干个第三搜索点，排列顺序为第三搜索点的闪动频率从高频率以第七频率间隔为步距降序排列，接收停止指令，并根据眼睛的图像获得第七停止频率；

在屏幕上依次排列若干个第四搜索点，排列顺序为第四搜索点的闪动频率从第七停止频率+第七频率间隔以第八频率间隔为步距降序排列，接收停止指令，并根据眼睛的图像获得第八停止频率；其中，第七频率间隔大于第八频率间隔；

计算第六停止频率和第八停止频率的平均值得到闪光融合频率；

在屏幕上显示第二凝视点以第八停止频率闪动，控制第二凝视点变化预设时间后复原，接收变化指令完成第二凝视反应，其中，第二凝视点的尺寸小于第四搜索点的尺寸；

根据第一凝视反应和第二凝视反应得到反应时间；

固视微动幅度为视点位置在凝视点处时眼球运动的幅度，具体如上所述。

基于上述任意一实施例所述的视疲劳测量方法，本发明还提供了一种存储介质的较佳实施例：

本发明实施例所述的存储介质，存储有基于固视微动幅度的视疲劳测量程序，所述基于固视微动幅度的视疲劳测量程序被执行时，实现如上述任意一实施例所述视疲劳测量方法的步骤。

基于上述存储介质，本发明还提供了一种电子设备的较佳实施例：

本发明实施例所述的电子设备，包括如上述所述的存储介质，具体如上所述。

综上所述，本发明所提供的一种视疲劳测量方法及其系统、存储介质、电子设备，所述方法包括步骤：获取眼睛的眼动参数；其中，所述眼动参数包括：固视微动幅度、闪光融合频率以及反应时间；通过眼动参数得到眼睛的疲劳程度。由于采用固视微动幅度、闪光融合频率以及反应时间作为眼动参数来得到疲劳程度，测量结果准确可靠，可以精准确定用户疲劳程度。本发明所述方法为非接触式、简单、耗时短，且对用户当前工作或学习状态影响小(甚至可以做到"无感"测量)，以及测量设备简单可携带和成本低等诸多优点。

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (9)

1.一种视疲劳测量方法，其特征在于，包括步骤：

获取眼睛的眼动参数；其中，所述眼动参数包括：固视微动幅度、闪光融合频率以及反应时间；

通过眼动参数得到眼睛的疲劳程度；

所述获取眼睛的眼动参数包括：

在屏幕上依次排列若干个第一搜索点，排列顺序为第一搜索点的闪动频率从低频率以第五频率间隔为步距升序排列，接收停止指令，并根据眼睛的图像获得第五停止频率；

在屏幕上依次排列若干个第二搜索点，排列顺序为第二搜索点的闪动频率从第五停止频率-第五频率间隔以第六频率间隔为步距升序排列，接收停止指令，并根据眼睛的图像获得第六停止频率；

在屏幕上显示第一凝视点以第六停止频率闪动，控制第一凝视点变化预设时间后复原，接收变化指令完成第一凝视反应，其中，第一凝视点的尺寸小于第二搜索点的尺寸。

2.根据权利要求1所述的视疲劳测量方法，其特征在于，所述获取眼睛的眼动参数之前包括：

采用校准模型，建立眼睛的图像与视点位置对应关系；

采用验证模型验证眼睛的图像与视点位置对应关系，当注视误差大于预设阈值时，更新眼睛的图像与视点位置对应关系；

当注视误差小于或等于预设阈值时，完成验证。

3.根据权利要求1所述的视疲劳测量方法，其特征在于，所述获取眼睛的眼动参数包括：

在屏幕上显示一休息点，并在屏幕上非休息点区域依次显示若干个闪动的任务点；其中，相邻两个任务点的位置不相同；

控制任务点的闪动频率依次从低频率以第一频率间隔为步距上升至接收停止指令，并获得第一停止频率；

控制任务点的闪动频率从第一停止频率-第一频率间隔以第二频率间隔为步距上升至接收停止指令，并获得第二停止频率；其中，第一频率间隔大于第二频率间隔。

4.根据权利要求3所述的视疲劳测量方法，其特征在于，所述获取眼睛的眼动参数还包括：

控制任务点的闪动频率从高频率以第三频率间隔下降至接收停止指令，并获得第三停止频率；

控制任务点的闪动频率从第三停止频率+第三频率间隔以第四频率间隔为步距下降至接收停止指令，并获得第四停止频率；其中，第三频率间隔大于第四频率间隔；

计算第二停止频率和第四停止频率的平均值得到闪光融合频率。

5.根据权利要求4所述的视疲劳测量方法，其特征在于，反应时间为视点位置从休息点位移至任务点的时间间隔，固视微动幅度为视点位置到达任务点后眼球运动的幅度，其中，任务点的闪动时间大于20s。

6.根据权利要求1所述的视疲劳测量方法，其特征在于，所述获取眼睛的眼动参数还包括：

在屏幕上依次排列若干个第三搜索点，排列顺序为第三搜索点的闪动频率从高频率以第七频率间隔为步距降序排列，接收停止指令，并根据眼睛的图像获得第七停止频率；

在屏幕上依次排列若干个第四搜索点，排列顺序为第四搜索点的闪动频率从第七停止频率+第七频率间隔以第八频率间隔为步距降序排列，接收停止指令，并根据眼睛的图像获得第八停止频率；其中，第七频率间隔大于第八频率间隔；

计算第六停止频率和第八停止频率的平均值得到闪光融合频率；

在屏幕上显示第二凝视点以第八停止频率闪动，控制第二凝视点变化预设时间后复原，接收变化指令完成第二凝视反应，其中，第二凝视点的尺寸小于第四搜索点的尺寸；

根据第一凝视反应和第二凝视反应得到反应时间；

固视微动幅度为视点位置在凝视点处时眼球运动的幅度。

7.一种基于固视微动幅度的视疲劳测量系统，其特征在于，包括：处理器，以及与所述处理器连接的存储器，

所述存储器存储有基于固视微动幅度的视疲劳测量程序，所述基于固视微动幅度的视疲劳测量程序被所述处理器执行时实现以下步骤：

获取眼睛的眼动参数；其中，所述眼动参数包括：固视微动幅度、闪光融合频率以及反应时间；

通过眼动参数得到眼睛的疲劳程度；

所述基于固视微动幅度的视疲劳测量程序被所述处理器执行时实现以下步骤：

在屏幕上依次排列若干个第一搜索点，排列顺序为第一搜索点的闪动频率从低频率以第五频率间隔为步距升序排列，接收停止指令，并根据眼睛的图像获得第五停止频率；

在屏幕上依次排列若干个第二搜索点，排列顺序为第二搜索点的闪动频率从第五停止频率-第五频率间隔以第六频率间隔为步距升序排列，接收停止指令，并根据眼睛的图像获得第六停止频率；

在屏幕上显示第一凝视点以第六停止频率闪动，控制第一凝视点变化预设时间后复原，接收变化指令完成第一凝视反应，其中，第一凝视点的尺寸小于第二搜索点的尺寸。

8.一种存储介质，其特征在于，存储有基于固视微动幅度的视疲劳测量程序，所述基于固视微动幅度的视疲劳测量程序被执行时，实现如权利要求1-6任意一项所述视疲劳测量方法的步骤。

9.一种电子设备，其特征在于，包括如权利要求8所述的存储介质。

Images