CN110811645B - 一种视疲劳测量方法及其系统、存储介质、电子设备 - Google Patents
一种视疲劳测量方法及其系统、存储介质、电子设备 Download PDFInfo
- Publication number
- CN110811645B CN110811645B CN201910978007.3A CN201910978007A CN110811645B CN 110811645 B CN110811645 B CN 110811645B CN 201910978007 A CN201910978007 A CN 201910978007A CN 110811645 B CN110811645 B CN 110811645B
- Authority
- CN
- China
- Prior art keywords
- eyes
- eye
- eye movement
- saccade
- acquiring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 208000003464 asthenopia Diseases 0.000 title claims abstract description 107
- 238000000034 method Methods 0.000 title claims abstract description 41
- 210000001508 eye Anatomy 0.000 claims abstract description 170
- 230000004424 eye movement Effects 0.000 claims abstract description 80
- 230000004434 saccadic eye movement Effects 0.000 claims abstract description 70
- 210000005252 bulbus oculi Anatomy 0.000 claims description 23
- 230000003068 static effect Effects 0.000 claims description 11
- 230000004438 eyesight Effects 0.000 claims description 6
- 238000004091 panning Methods 0.000 claims 2
- 238000005259 measurement Methods 0.000 abstract description 33
- 238000012795 verification Methods 0.000 description 17
- 230000000007 visual effect Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 6
- 210000003128 head Anatomy 0.000 description 6
- 238000012360 testing method Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 238000000691 measurement method Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 230000001939 inductive effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 235000016709 nutrition Nutrition 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241000699800 Cricetinae Species 0.000 description 1
- 208000003556 Dry Eye Syndromes Diseases 0.000 description 1
- 206010013774 Dry eye Diseases 0.000 description 1
- 206010015958 Eye pain Diseases 0.000 description 1
- 206010023644 Lacrimation increased Diseases 0.000 description 1
- 208000025174 PANDAS Diseases 0.000 description 1
- 208000021155 Paediatric autoimmune neuropsychiatric disorders associated with streptococcal infection Diseases 0.000 description 1
- 208000002193 Pain Diseases 0.000 description 1
- 240000000220 Panda oleosa Species 0.000 description 1
- 235000016496 Panda oleosa Nutrition 0.000 description 1
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 206010047513 Vision blurred Diseases 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000004317 lacrimation Effects 0.000 description 1
- 230000007786 learning performance Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000004379 myopia Effects 0.000 description 1
- 208000001491 myopia Diseases 0.000 description 1
- 230000035764 nutrition Effects 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000036647 reaction Effects 0.000 description 1
- 230000001711 saccadic effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/02—Subjective types, i.e. testing apparatus requiring the active assistance of the patient
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1103—Detecting eye twinkling
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Physics & Mathematics (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Ophthalmology & Optometry (AREA)
- Pathology (AREA)
- Social Psychology (AREA)
- Psychology (AREA)
- Psychiatry (AREA)
- Hospice & Palliative Care (AREA)
- Educational Technology (AREA)
- Developmental Disabilities (AREA)
- Child & Adolescent Psychology (AREA)
- Physiology (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本发明公开了一种视疲劳测量方法及其系统、存储介质、电子设备，所述方法包括步骤：获取眼睛的眼动参数；其中，所述眼动参数包括：注视频率、扫视幅度中的一种或多种；通过眼动参数得到眼睛的疲劳程度。由于采用注视频率和/或扫视幅度作为眼动参数来得到疲劳程度，测量结果准确可靠，可以精准确定用户疲劳程度。
Description
技术领域
本发明涉及视疲劳测量技术领域，尤其涉及的是一种视疲劳测量方法及其系统、存储介质、电子设备。
背景技术
随着视频显示终端(缩写为VDT，主要是各类手机，平板，桌面电脑，电视机，广告屏等电子屏幕)和人工光源的逐渐普及，人口老龄化发展和学习工作压力的增大，以视力模糊，眼干，重影，流泪，眼痛和头颈肩酸痛等为典型症状的视疲劳现象越来越常见。这种现代生活方式引起的眼疲劳状态不仅会危害眼部健康，调节能力持续下降会引发近视和眼部病变，降低其学习成绩和工作效率。
现有技术中，由于电子背光屏幕(如常见的手机和电脑显示屏等)普遍会引起眨眼频率大幅降低，常用的眨眼参数应用于VDT视疲劳测量时，存在测量不准的问题。
因此，现有技术还有待于改进和发展。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种视疲劳测量方法及其系统，旨在解决现有技术中视疲劳测量不准的问题。
本发明解决技术问题所采用的技术方案如下：
一种视疲劳测量方法，其中，包括步骤：
获取眼睛的眼动参数；其中，所述眼动参数包括：注视频率、扫视幅度中的一种或多种；
通过眼动参数得到眼睛的疲劳程度。
所述的视疲劳测量方法，其中，所述获取眼睛的眼动参数包括：
检测眼睛的眼动轨迹，当眼动轨迹处于浏览状态时，获取眼睛的图像；
根据眼睛的图像得到注视频率；其中，所述注视频率为眼球处于静止状态的频率。
所述的视疲劳测量方法，其中，所述获取眼睛的眼动参数包括：
校准并验证眼睛的图像与视点位置对应关系；
检测眼睛的眼动轨迹，当眼动轨迹处于浏览状态时，获取眼睛的图像；
根据眼睛的图像与视点位置对应关系、眼睛的图像，确定扫视幅度。
所述的视疲劳测量方法，其中，所述校准并验证眼睛的图像与视点位置对应关系，包括：
采用校准模型，建立眼睛的图像与视点位置对应关系；
采用验证模型验证眼睛的图像与视点位置对应关系，当注视误差大于预设阈值时，更新眼睛的图像与视点位置对应关系；
当注视误差小于或等于预设阈值时，完成验证。
所述的视疲劳测量方法，其中，所述获取眼睛的眼动参数包括：
检测眼睛的眼动轨迹，当眼动轨迹处于浏览状态时，采用至少2个摄像头获取眼睛的图像和眼睛的位置数据；
根据眼睛的图像和眼睛的位置数据确定扫视幅度。
所述的视疲劳测量方法，其中，所述扫视幅度为眼球扫视角度值。
所述的视疲劳测量方法，其中，所述通过眼动参数得到眼睛的疲劳程度包括：
获取疲劳程度的标杆数据，根据标杆数据和眼动参数，得到眼睛的疲劳程度。
一种视疲劳测量系统，其中，包括：处理器，以及与所述处理器连接的存储器，
所述存储器存储有视疲劳测量程序，所述视疲劳测量程序被所述处理器执行时实现以下步骤：
获取眼睛的眼动参数；其中，所述眼动参数包括：注视频率、扫视幅度中的一种或多种；
通过眼动参数得到眼睛的疲劳程度。
一种存储介质，其中，存储有视疲劳测量程序，所述视疲劳测量程序被执行时，实现如上述任意一项所述视疲劳测量方法的步骤。
一种电子设备，其中，包括如上述所述的存储介质。
有益效果：由于采用注视频率和/或扫视幅度作为眼动参数来得到疲劳程度，测量结果准确可靠，可以精准确定用户疲劳程度。
附图说明
图1是本发明中视疲劳测量方法的流程图。
图2是本发明中屏幕和摄像头的示意图。
图3A是对应图2中A处时的眼睛的图像。
图3B是对应图2中B处时的眼睛的图像。
图4A是本发明中4点校准方式的示意图。
图4B是本发明中5点校准方式的示意图。
图4C是本发明中9点校准方式的示意图。
图5是本发明中屏幕阅读任务的示意图。
图6是本发明中眼睛注视和扫视示意图。
图7是本发明中阅读区的匹配模板的示意图。
图8是本发明中不同视疲劳状态间的参数差异图。
图9是本发明中视疲劳测量系统的功能原理框图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
请同时参阅图1-图9，本发明提供了一种视疲劳测量方法的一些实施例。
发明人通过实验发现，人眼的注视频率越高、扫视幅度越低，则视疲劳程度越深，因此，可以通过人眼的注视频率、扫视幅度来测量视疲劳，
如图1所示，本发明实施例的视疲劳测量方法，包括以下步骤：
步骤S10、获取眼睛的眼动参数；其中，所述眼动参数包括：注视频率、扫视幅度中的一种或多种。
注视频率是指眼球处于静止状态的频率(单位为Hz)；扫视幅度是指眼球扫视角度值(单位为°)。注视频率、扫视幅度可以通过多种方式获得，由于人眼和视点位置的距离并不会影响注视频率，只要视点位置不变，即可认为眼球处于静止状态，一段时间内眼球处于静止状态的次数/时间＝注视频率。而扫视幅度与人眼和视点位置(或者说被视物)的距离有关，人眼在浏览东西(例如，阅读、搜索、追踪被视物)时，在扫视了相同的两个视点位置下，近距离扫视的扫视幅度大，远距离扫视的扫视幅度小。
通过实验数据发现，在阅读、搜索、追踪任务中，注视频率增加和扫视幅度的降低都能够准确地反映视疲劳(VF)程度的加深，反之，则视疲劳程度降低。也就是说，将注视频率和/或扫视幅度作为眼动参数，通过对眼动参数进行判断可以获得用户的疲劳程度。当然，还可以引入其他眼动参数，如眨眼频率，眨眼时间，眨眼幅度等眨眼参数，注视时间，扫视速率等注视扫视参数。本发明由于采用注视频率和/或扫视幅度作为眼动参数来得到疲劳程度，测量结果准确可靠，可以精准确定用户疲劳程度。此外，本发明所述方法为非接触式、简单、耗时短，且对用户当前工作或学习状态影响小(甚至可以做到"无感"测量)，以及测量设备简单可携带和成本低等诸多优点。
步骤S10包括：
步骤S11a、检测眼睛的眼动轨迹，当眼动轨迹处于浏览状态时，获取眼睛的图像。
步骤S12a、根据眼睛的图像得到注视频率；其中，所述注视频率为眼球处于静止状态的频率。
需要说明的是，注视频率与眼睛的位置数据无关，因此，即使用户在采集眼睛的图像时，因用户头部与屏幕1有相对运动，也不影响注视频率。
因此，采用1个摄像头获取眼睛的图像，即可根据眼睛的图像得到注视频率。
当然在获取眼睛的图像之前可以进行校准并验证眼睛的图像与视点位置对应关系，具体如步骤S11b。获取眼睛的图像后，在眼睛的图像与视点位置对应关系中得到视点位置，通过分析视点位置可以确定眼球处于静止状态的频率，也就得到了注视频率。当视点位置固定在某一范围内时，则判定眼球处于静止状态，统计一段时间内，眼球处于静止状态的次数，则可以计算注视频率。
得到扫视幅度有两种方式，第一种如下：
步骤S10包括：
步骤S11b、校准并验证眼睛的图像与视点位置对应关系。
具体地，在进行视疲劳测量之前可以对眼睛的图像与视点位置对应关系进行校准和验证，当然也可以不进行校准和验证。如图2所示，这里的眼睛的图像，可以采用摄像头2进行录像拍摄，拍摄后截取眼部的图像，眼睛的图像是指时间轴上一系列的图像，视点位置为时间轴上眼睛的视点所在的位置。在用户保持头部相对屏幕1静止不动时，眼睛的视点位置不同，对应的眼睛的图像则不同。图3A的眼睛的图像对应于如图2中用户凝视屏幕1上A凝视点时，摄像头2拍下的眼睛(右眼)的图像；类似地，图3B的眼睛的图像对应于如图2中用户凝视屏幕1上B点时右眼摄像。
摄像头2可以是市售高清(彩色)摄像头，如手机前置高清摄像头，笔记本自带高清摄像头，桌面电脑外配摄像头等，也可以是红外摄像头(考虑到拍摄环境光线较差的可能)，或黑白摄像头(不影响本发明的效果)，可以集成在设备上，也可以外置在设备外。当发明用于非VDT的阅读场景时，摄像头2可以脱离屏幕1而存在，设置在用户眼前固定位置即可，如书桌上或台灯上等。
步骤S11b具体包括：
步骤S11b1、采用校准模型，建立眼睛的图像与视点位置对应关系(以下简称"位置关系模型")。
具体地，执行校准操作：在用户处于正常屏幕1浏览状态时，进行屏幕1与眼睛相对位置的校准。如图2所示，在屏幕1上呈现第1个凝视点(例如，凝视点A)，用户"盯住"此点后主动发出"瞄准信号"(表示眼睛已经"瞄准"该位置)，"瞄准"信号，包括但不限于按键，触摸屏幕1，眨眼或发出语音命令等；随后自动在屏幕1下一位置呈现第2个凝视点(例如凝视点2)，同时上一凝视点(凝视点A)消失，类似地，用户重新盯住该点发出"瞄准"信号；然后擦除第2点，换个位置呈现第3个凝视点，...，如此一直进行下去，直到最后一个凝视点被程序识别为已瞄准，该步骤结束。
此步骤要求用户在整个视疲劳测量过程中，保持头部相对屏幕1尽量静止不动，以保证测量结果尽量准确。通过屏幕1的摄像头2记录用户瞄准不同点时对应的实时眼部图像，分析构建位置关系模型。
如图4(图4包括图4A、图4B、图4C)所示，可以使用经典的4点，5点或9点等校准方式，各凝视点呈现次序随机，但需要遍历一次，推荐第1个凝视点呈现在屏幕1正中心；凝视点形状推荐但不限于圆圈，同心圆，叉号或圈叉组合等；凝视点大小推荐随设备的类型(如电视，桌面电脑，平板或手机等)，屏幕1分辨率和尺寸，眼睛与屏幕1的距离等条件做相应调整，以能看清且视点尽量小为标准。该步骤可以由语音或屏幕文字引导用户操作，并且此引导内容可在相关设置中设为开启或关闭。
步骤S11b2、采用验证模型验证眼睛的图像与视点位置对应关系，当注视误差大于预设阈值时，更新眼睛的图像与视点位置对应关系。
步骤S11b3、当注视误差小于或等于预设阈值时，完成验证。
执行验证校准操作：再进行一遍基本类似的多次"瞄准"操作，验证此前校准建模的精确度是否满足要求。程序首先在屏幕1上呈现第1个凝视点，用户"盯住"此点后主动发出"瞄准信号"，随后自动在屏幕1下一位置呈现第2个凝视点，用户再次"瞄准"，无需发出任何信号，程序在发现用户眼睛相对静止后自动识别为已瞄准，然后擦除该点，呈现下一个凝视点，...，如此一直进行下去，直至最后一个凝视点被确认已被"瞄准"。
在上述过程进行的同时，每次用户瞄准确认，系统将根据"位置关系模型"计算出用户真正视点视点位置，并计算与屏幕1呈现的指定凝视点之间的距离，记为"注视误差"，当该误差小于某一特定值(即预设阈值)时，该点凝视任务才算顺利完成(即得到已完成的眼睛的图像与视点位置对应关系，或者说已完成的位置关系模型)，否则会引导用户重新开始验证，甚至校准步骤，从而进行更新操作。该预设阈值的取值与设备类型(如电视屏幕，桌面电脑屏幕，平板或手机屏幕等)，屏幕分辨率和尺寸，眼睛与屏幕1的距离等参数相关，非定值。
需要说明的是，优选地，步骤S11b2和步骤S11b3使用几点验证，第一验证点推荐出现在哪里，验证点形状和大小，验证操作如何指引等问题，以及相关变形或操作，与步骤S11b1相似。
通过验证和校准后，立即进行测量，实际上通过验证和校准可以获得人眼和被视物之间的距离。如果一旦人眼和被视物之间的距离发生了变化，就需要重新进行验证和校准，重新获得人眼和被视物之间的距离，这样得到的扫视幅度的数据才准确。
步骤S12b、检测眼睛的眼动轨迹，当眼动轨迹处于浏览状态时，获取眼睛的图像。
步骤S13b、根据眼睛的图像与视点位置对应关系、眼睛的图像，确定扫视幅度。
在人眼和被视物之间的距离确定的情况下，扫视幅度与眼睛的图像有关，根据眼睛的图像，并结合校准和验证的眼睛的图像与视点位置对应关系，即可得到视点位置，从而得到扫视幅度。
第二种，步骤S10包括：
步骤S11c、检测眼睛的眼动轨迹，当眼动轨迹处于浏览状态时，采用至少2个摄像头获取眼睛的图像。
通过摄像头2和软件侦测用户在进行浏览任务(如软件发现用户当前正在使用PDF阅读器或office文档，摄像头2发现用户眼动轨迹符合逐行浏览特征，判定眼动轨迹处于浏览状态)时，系统使用多个内置网格模板，匹配出最合适的一个，如图5和图7所示，最大方框表示屏幕1，黑点表示摄像头2，*(星号)表示用户正在浏览的文本(非本测量系统提供，比如用户正在浏览一篇PDF论文)，网格3表示系统最佳匹配模板，保证每个小格内都有1至几个等量且少量的文字。测量系统在不对用户作任何干扰和指引的情况下，记录用户浏览落入网格3中文本的眼动数据，并分析当前视疲劳状态。这样可以做到对用户无任何干扰，不影响用户正在进行的学习或工作，在不知不觉中多时刻，多次测量，达到连续监控视疲劳的目的。
步骤S12c、根据眼睛的图像得到眼睛的位置数据并确定扫视幅度。
由于用户头部与屏幕1有相对运动会影响扫视幅度，因此需要获取眼睛的位置数据，并以最新的眼睛的位置数据为基准，确定扫视幅度，也就是说，一旦用户头部相对屏幕1移动，需要以移动后的眼睛的位置为基础，确定眼球扫视角度值。这里的眼睛的位置数据是指屏幕1扫视区间中心与眼睛的距离。
如果省去校准和验证，则本发明需要采用至少2个摄像头2采集数据(以下称"双目摄像头")。至少需要2个摄像头2时，位于显示器不同位置(边框上或屏幕1下均可)，也可使用1个双目摄像头(本质上还是2个摄像头)，或1个高速运动(抖动或滑动)摄像头。采用双目摄像头是模仿人的双眼对视物的空间定位能力，对用户眼睛位置进行双目视觉定位，此做法的好处是可以做的"无感"视疲劳监控，即用户无需进行校准等任何让用户感知到自己正在进行视疲劳测量的操作，完全专注于自己的工作和学习任务中，在不知不觉中完成视疲劳的多次测量，甚至连续长时间的监控。
此外，有时为了更加准确测量某只单眼的视疲劳状态，本发明也允许用户使用特制眼镜，夹片或眼罩等工具，盖上其中一只眼后执行视觉任务，这样测量另一只眼视疲劳更准确。为了更加准确地评价视疲劳，步骤S200还推荐同时进行经典的主观量表或其他客观或任务测量，作为疲劳程度的标杆数据(以下简称标杆数据)，用于个性化数据学习与表达。推荐用于用户使用本发明初期，或者长期不用后重新使用后的若干次测量。
如图6所示，*(星号)表示浏览的文本，○(圆圈)表示眼睛处于注视状态(即眼球处于静止状态)，通过圆圈的数量可以得到注视频率，两个相邻圆圈之间连线表示眼睛快速扫视，通过连线和眼睛的位置数据可以得到扫视幅度，圆圈大小表示相应的注视时间长短，圆圈及其中间的连线构成了眼睛浏览该文本时的眼动轨迹。
步骤S30、通过眼动参数得到眼睛的疲劳程度。
具体地，获取疲劳程度的标杆数据，根据疲劳程度的标杆数据和眼动参数，得到眼睛的疲劳程度。通过眼动参数与标杆数据对比可得到眼睛的疲劳程度，标杆数据可以是其他视疲劳测量手段(如经典的主观量表或其他客观测量方法)的数据，还可以是经过用户多次测量的数据形成的样本数据，当然可以预先设定视觉任务，如阅读、搜索、跟踪任务，通过完成视觉任务得到样本数据。
在屏幕1上呈现一项视觉任务，可以是一段文本阅读(如图5所示)，也可以是一份随机数表供用户搜索某个指定数字，或者是一张动图或视频，要求用户眼睛跟踪指定的运动物体，又或者类似打地鼠游戏考验用户眼睛反应能力等。摄像头2记录用户执行任务时的录像。
本步骤执行视觉任务可以是单类型单页面，例如，仅执行文本阅读任务这一单一类型，当前屏幕1呈现的文本内容读完即止，不翻页不刷新；也可以是多类型多页面，例如，随机顺序执行文本阅读和随机数字搜索，多页多次呈现，具体如何执行与设置测试时间，设备类型，屏幕1大小等因素有关。当视觉任务多页面呈现时，系统根据"位置关系模型"智能识别用户已完成本页内容，自动翻页。
文本浏览任务的内容可以来源于用户设置的浏览偏好，如新闻报道，学习型短文等，也可以提取当前用户正在浏览的窗口内容，如用户刚刚浏览的PDF论文。为增加趣味性，搜索和跟踪任务可以设置成游戏形式，如搜索矩阵排列的多个大熊猫哪个与众不同，或追踪坦克大战中快速运动的坦克在哪里获得宝藏之类。
对视觉任务中的眼睛的图像进行预处理，截取用户每一页面(屏幕1)任务开始和结束期间视频片段，计算耗时，并利用计算机视觉相关算法，计算注视次数(注视即眼球静止状态)和每次扫视幅度(SA)(根据"位置关系模型"，从屏幕扫视幅度计算出对应的眼球的扫视幅度)等初步数据，再计算每页面以及所有页面内容的注视频率(FF)(次数/耗时)(单位Hz)和平均(眼球)扫视幅度(每页面多个扫视幅度取平均)(单位rad)。眼动轨迹中的注视频率和扫视幅度如图6所示。
在视觉任务中，注视频率增加和扫视幅度的降低都能够准确地反映视疲劳(VF)程度的加深，反之，则视疲劳程度降低，具体参见图8说明(这两个参数为本发明"主参数")。此外，眨眼频率增加，眨眼时间增大，眨眼幅度缩小，注视时间拉长，扫视速率降低等也已被其他学者证明与视疲劳程度加深相关(反方向变化则视疲劳减轻)，也可以用于本发明视疲劳状态的辅助判断。但要注意的是，眨眼参数在本文VDT视疲劳场景下可靠性较差，且测量耗时长。以上是本发明测量视疲劳程度的基本原理。
在实际应用中，由于视疲劳状况存在年龄，营养和心理状态等内在的，以及环境和任务等外在的个性化差异(这些因素共同形成用户"特征画像")，不能简单地以上述参数的当次测量值和前后差异值判定用户的视疲劳状态及其变化。本发明采取如下做法：
初始时，采用"样本数据库"中提供的数据。例如，假定T1时刻用户U1测得主参数向量MP1＝[FF1，SA1](即注视频率和扫视幅度组合成的向量)，查找数据库中"特征画像"最相似用户的数据，MP1值对应视疲劳程度为VF1。在紧随其后的T2时刻，该用户再次测得主参数向量P2，同样查得数据库中，P2对应视疲劳程度VF2，以及P2-P1对应视疲劳变化量ΔVF。注意起始数据反映的是同类用户(同类群体在同类环境中)的共性情况，并不够准确。
然后，综合T1，T2时刻的其他视疲劳测量手段(如经典的主观量表或其他客观测量方法)的数据，给出用户相对个性化的视疲劳状态判断，这也是步骤3中提到，在用户使用本发明初期，推荐同时使用其他经典测量手段作为早期"标杆"的用处，目的是快速提高数据的准确性和个性化。
每一次用户测量数据都会被计入用户U1"个人数据库"，下一次测量将采用该数据库数据与标杆测量方法综合得出新的数据。随着用户U1视疲劳测量次数的增加，本发明综合"标杆"给出的用户视疲劳状态及其变化数据会愈加准确，经过若干次如此迭代之后，用户数据达到相对稳定且个性化的准确状态(即该用户在特定场景下测量主参数MP对应的视疲劳状态VF相对稳定)，此后的测量可考虑撤除标杆测量，以缩短测量时间，优化用户体验。与此同时，该用户稳定后的个性化数据(MP，及其对应的VF)将上传到样本数据库，扩充样本数据，提高数据库的准确性。
最初样本数据库可以通过实验室测量各种典型特征用户(如不同年龄，精神状态，营养状态，温湿度光线等环境以及各种视觉任务等)的视疲劳状况与主参数的关系获得，后面通过更多用户的加入和更多次的测量，不断迭代优化该数据库，最终形成个性化强，稳定性耗和准确性高的大样本数据库。
根据眼睛的疲劳程度，可以进行评级，评级结果用于实时揭示用户视疲劳状态和提醒休息，定时生成视疲劳状态曲线，以及根据结果向用户提供视疲劳预防，测量和缓解治疗方面的建议等。
本发明通过多摄像头在捕捉不同时刻人眼在执行屏幕1上特定视觉任务时的眼动反应，主要计算扫视幅度和注视频率两大关键参数前后变化，对当前用户视疲劳状态进行精准评级，提醒和展示等。本发明具有如下优势：
1、使用眼动测试中的注视频率和扫视幅度作为主要参数测量VDT场景的视疲劳状态及其变化。相比于传统方法，本发明可以做到测量结果准确可靠，方法简单非接触，耗时短，对用户当前工作或学习状态影响小("无感"测量)，以及测量设备简单可携带，成本低等。
2、在VDT视疲劳场景中，通过多摄像头实时定位眼部位置并捕捉眼睛在执行视觉任务时的眼动反映，从而真正"无感"快捷客观地测量用户视疲劳状况，可以方便应用于现有VDT设备上，并用于连续视疲劳监控，对用户正常工作学习零干扰。
3、以主观量表等其他主客观或任务测量手段数据为标杆，结合典型样本数据，逐次迭代获得用户个性化眼动参数与视疲劳关系的方法，也有一定创新性和实用价值。
展示的是一组20名大学生志愿者参加视疲劳实验(执行随机数据搜索任务)的平均结果数据。使用视疲劳刺激程序，使得志愿者的视疲劳程度随着时间逐渐加强，依次测量T1，T2和T3这三个时刻的视疲劳的主观评分和眼动参数。
图8中横坐标"T3-T1"表示T3时刻测得参数与T1时刻参数的差值，同理"T2-T1"表示T2时刻参数与T1时刻参数相减，纵坐标表示前后参数差值。横纹柱表示主观评分前后差异，其值为正数表明视疲劳随着时间加深，视疲劳程度T1<T2<T3。竖纹柱表示注视频率前后差值(单位Hz)，纯色柱表示扫视幅度前后差值(单位rad)。从图8中可以看出，随着视疲劳程度越来越深，注视频率越来越高，扫视幅度越来越低，此二参数变化可以很好地反映视疲劳状态的改变。
基于上述任意一实施例所述的视疲劳测量方法，本发明还提供了一种视疲劳测量系统的较佳实施例：
如图9所示，本发明实施例所述的视疲劳测量系统，包括：处理器10，以及与所述处理器10连接的存储器20，
所述存储器20存储有视疲劳测量程序，所述视疲劳测量程序被所述处理器10执行时实现以下步骤：
获取眼睛的眼动参数；其中，所述眼动参数包括：注视频率、扫视幅度中的一种或多种；
通过眼动参数得到眼睛的疲劳程度，具体如上所述。
所述视疲劳测量程序被所述处理器10执行时，还实现以下步骤：
检测眼睛的眼动轨迹，当眼动轨迹处于浏览状态时，获取眼睛的图像；
根据眼睛的图像得到注视频率；其中，所述注视频率为眼球处于静止状态的频率，具体如上所述。
所述视疲劳测量程序被所述处理器10执行时，还实现以下步骤：
校准并验证眼睛的图像与视点位置对应关系；
检测眼睛的眼动轨迹，当眼动轨迹处于浏览状态时，获取眼睛的图像；
根据眼睛的图像与视点位置对应关系、眼睛的图像，确定扫视幅度，具体如上所述。
所述视疲劳测量程序被所述处理器10执行时，还实现以下步骤：
采用校准模型，建立眼睛的图像与视点位置对应关系；
采用验证模型验证眼睛的图像与视点位置对应关系，当注视误差大于预设阈值时，更新眼睛的图像与视点位置对应关系；
当注视误差小于或等于预设阈值时，完成验证，具体如上所述。
所述视疲劳测量程序被所述处理器10执行时，还实现以下步骤：检测眼睛的眼动轨迹，当眼动轨迹处于浏览状态时，采用至少2个摄像头获取眼睛的图像；
根据眼睛的图像得到眼睛的位置数据并确定扫视幅度，具体如上所述。
所述扫视幅度为眼球扫视角度值，还实现以下步骤：
所述视疲劳测量程序被所述处理器10执行时，还实现以下步骤：
获取疲劳程度的标杆数据，根据标杆数据和眼动参数，得到眼睛的疲劳程度。
基于上述任意一实施例所述的视疲劳测量方法，本发明还提供了一种存储介质的较佳实施例：
本发明实施例所述的存储介质，存储有视疲劳测量程序，所述视疲劳测量程序被执行时，实现如上述任意一实施例所述视疲劳测量方法的步骤。
基于上述存储介质，本发明还提供了一种电子设备的较佳实施例：
本发明实施例所述的电子设备，包括如上述所述的存储介质，具体如上所述。
综上所述，本发明所提供的一种视疲劳测量方法及其系统、存储介质、电子设备，所述方法包括步骤：获取眼睛的眼动参数；其中，所述眼动参数包括：注视频率、扫视幅度中的一种或多种；通过眼动参数得到眼睛的疲劳程度。由于采用注视频率和/或扫视幅度作为眼动参数来得到疲劳程度，测量结果准确可靠，可以精准确定用户疲劳程度。本发明所述方法为非接触式、简单、耗时短，且对用户当前工作或学习状态影响小(甚至可以做到"无感"测量)，以及测量设备简单可携带和成本低等诸多优点。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (4)
1.一种视疲劳测量方法，其特征在于，包括步骤：
获取眼睛的眼动参数；其中，所述眼动参数包括：注视频率和扫视幅度；
通过眼动参数得到眼睛的疲劳程度；
所述获取眼睛的眼动参数包括：
检测眼睛的眼动轨迹，当眼动轨迹处于浏览状态时，获取眼睛的图像；所述浏览状态为眼动轨迹符合逐行浏览特征的状态；所述眼睛的图像为每一页面任务开始和结束期间视频片段；
根据眼睛的图像得到注视频率；其中，所述注视频率为眼球处于静止状态的频率；所述注视频率为每一页面中眼球处于停止状态的次数与耗时的比值；
所述获取眼睛的眼动参数包括：
检测眼睛的眼动轨迹，当眼动轨迹处于浏览状态时，采用至少2个摄像头获取眼睛的图像；至少2个摄像头位于显示器的不同位置，以对眼睛位置进行双目视觉定位，所述显示器的屏幕上呈现浏览的文本以及匹配模板，所述匹配模板的每个小格内都有1至几个等量的文字；
根据眼睛的图像得到眼睛的位置数据并确定扫视幅度；所述扫视幅度为每一页面中多个扫视幅度的平均值，所述眼睛的位置数据是指屏幕扫视区间中心与眼睛的距离；所述扫视幅度为眼球扫视角度值，当眼睛相对屏幕移动时，以移动后的眼睛的位置数据确定眼球扫视角度值；
所述通过眼动参数得到眼睛的疲劳程度包括：
获取疲劳程度的标杆数据，根据标杆数据和眼动参数，得到眼睛的疲劳程度。
2.一种视疲劳测量系统，其特征在于，包括：处理器，以及与所述处理器连接的存储器，
所述存储器存储有视疲劳测量程序，所述视疲劳测量程序被所述处理器执行时实现以下步骤：
获取眼睛的眼动参数；其中，所述眼动参数包括：注视频率和扫视幅度；
通过眼动参数得到眼睛的疲劳程度；
所述存储器存储有视疲劳测量程序，所述视疲劳测量程序被所述处理器执行时实现以下步骤：
检测眼睛的眼动轨迹，当眼动轨迹处于浏览状态时，获取眼睛的图像；所述浏览状态为眼动轨迹符合逐行浏览特征的状态；所述眼睛的图像为每一页面任务开始和结束期间视频片段；
根据眼睛的图像得到注视频率；其中，所述注视频率为眼球处于静止状态的频率；所述注视频率为每一页面中眼球处于停止状态的次数与耗时的比值；
所述存储器存储有视疲劳测量程序，所述视疲劳测量程序被所述处理器执行时实现以下步骤：
检测眼睛的眼动轨迹，当眼动轨迹处于浏览状态时，采用至少2个摄像头获取眼睛的图像；至少2个摄像头位于显示器的不同位置，以对眼睛位置进行双目视觉定位，所述显示器的屏幕上呈现浏览的文本以及匹配模板，所述匹配模板的每个小格内都有1至几个等量的文字；
根据眼睛的图像得到眼睛的位置数据并确定扫视幅度；所述扫视幅度为每一页面中多个扫视幅度的平均值；所述眼睛的位置数据是指屏幕扫视区间中心与眼睛的距离；所述扫视幅度为眼球扫视角度值，当眼睛相对屏幕移动时，以移动后的眼睛的位置数据确定眼球扫视角度值；
所述视疲劳测量程序被所述处理器执行时还实现以下步骤：
获取疲劳程度的标杆数据，根据标杆数据和眼动参数，得到眼睛的疲劳程度。
3.一种存储介质，其特征在于，存储有视疲劳测量程序，所述视疲劳测量程序被执行时，实现如权利要求1所述视疲劳测量方法的步骤。
4.一种电子设备，其特征在于，包括如权利要求3所述的存储介质。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910978007.3A CN110811645B (zh) | 2019-10-15 | 2019-10-15 | 一种视疲劳测量方法及其系统、存储介质、电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910978007.3A CN110811645B (zh) | 2019-10-15 | 2019-10-15 | 一种视疲劳测量方法及其系统、存储介质、电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110811645A CN110811645A (zh) | 2020-02-21 |
| CN110811645B true CN110811645B (zh) | 2022-12-20 |
Family
ID=69549358
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910978007.3A Active CN110811645B (zh) | 2019-10-15 | 2019-10-15 | 一种视疲劳测量方法及其系统、存储介质、电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110811645B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3644325A1 (en) * | 2018-10-26 | 2020-04-29 | Tata Consultancy Services Limited | Analyzing effect of a secondary cognitive load task on a primary executive task |
| CN113413134B (zh) * | 2021-07-01 | 2022-05-27 | 南昌虚拟现实研究院股份有限公司 | 疲劳识别方法、装置、电子设备及存储介质 |
| CN116781823A (zh) * | 2023-08-23 | 2023-09-19 | 深圳市达瑞电子科技有限公司 | 一种手机屏幕亮度的控制方法及其显示终端 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6102870A (en) * | 1997-10-16 | 2000-08-15 | The Board Of Trustees Of The Leland Stanford Junior University | Method for inferring mental states from eye movements |
| US6346887B1 (en) * | 1999-09-14 | 2002-02-12 | The United States Of America As Represented By The Secretary Of The Navy | Eye activity monitor |
| CN102749991A (zh) * | 2012-04-12 | 2012-10-24 | 广东百泰科技有限公司 | 一种适用于人机交互的非接触式自由空间视线跟踪方法 |
| CN103886307A (zh) * | 2014-04-15 | 2014-06-25 | 王东强 | 一种视线跟踪及疲劳预警方法 |
| CN204813795U (zh) * | 2015-07-24 | 2015-12-02 | 中国人民解放军空军航空医学研究所 | 基于眼动扫视速率检测中枢疲劳的装置 |
| CN109925678A (zh) * | 2019-03-01 | 2019-06-25 | 北京七鑫易维信息技术有限公司 | 一种基于眼动追踪技术的训练方法、训练装置及设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109696954B (zh) * | 2017-10-20 | 2021-05-07 | 中国科学院计算技术研究所 | 视线追踪方法、装置、设备和存储介质 |
-
2019
- 2019-10-15 CN CN201910978007.3A patent/CN110811645B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6102870A (en) * | 1997-10-16 | 2000-08-15 | The Board Of Trustees Of The Leland Stanford Junior University | Method for inferring mental states from eye movements |
| US6346887B1 (en) * | 1999-09-14 | 2002-02-12 | The United States Of America As Represented By The Secretary Of The Navy | Eye activity monitor |
| CN102749991A (zh) * | 2012-04-12 | 2012-10-24 | 广东百泰科技有限公司 | 一种适用于人机交互的非接触式自由空间视线跟踪方法 |
| CN103886307A (zh) * | 2014-04-15 | 2014-06-25 | 王东强 | 一种视线跟踪及疲劳预警方法 |
| CN204813795U (zh) * | 2015-07-24 | 2015-12-02 | 中国人民解放军空军航空医学研究所 | 基于眼动扫视速率检测中枢疲劳的装置 |
| CN109925678A (zh) * | 2019-03-01 | 2019-06-25 | 北京七鑫易维信息技术有限公司 | 一种基于眼动追踪技术的训练方法、训练装置及设备 |
Non-Patent Citations (2)
| Title |
|---|
| 眼动仪与视线跟踪技术综述;赵新灿，左洪福，任勇军;《计算机工程与应用》;20061231;第42卷(第12期);全文 * |
| 视线跟踪技术研究;赵新灿，左洪福，徐兴民;《光电工程》;20071031;第34卷(第10期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110811645A (zh) | 2020-02-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110811645B (zh) | 一种视疲劳测量方法及其系统、存储介质、电子设备 | |
| CN109645955B (zh) | 基于vr和眼动追踪的多功能视觉功能检测装置及方法 | |
| US9727645B2 (en) | Method and system of scoring documents based on attributes obtained from a digital document by eye-tracking data analysis | |
| US20140099623A1 (en) | Social graphs based on user bioresponse data | |
| US20150213634A1 (en) | Method and system of modifying text content presentation settings as determined by user states based on user eye metric data | |
| US11354805B2 (en) | Utilization of luminance changes to determine user characteristics | |
| US20200121195A1 (en) | Medical condition sensor | |
| CN109620266B (zh) | 个体焦虑水平的检测方法和系统 | |
| CN112535479B (zh) | 一种情绪加工倾向的确定方法及相关产品 | |
| JP2012152568A (ja) | 実用視力の分析方法 | |
| CN111344222A (zh) | 执行眼睛检查测试的方法 | |
| US20240164672A1 (en) | Stress detection | |
| CN110811644B (zh) | 一种视疲劳测量方法及其系统、存储介质、电子设备 | |
| US20230376107A1 (en) | Detecting unexpected user interface behavior using physiological data | |
| Lin | An eye behavior measuring device for VR system | |
| JPWO2016139706A1 (ja) | 照明評価装置及び照明評価方法 | |
| KR102625583B1 (ko) | Vr 공간에 대한 시지각 분석 시스템, 시지각 분석 방법 및 시지각 분석 방법을 실행시키도록 기록매체에 저장된 컴퓨터 프로그램 | |
| CN107291571B (zh) | Vr一体机的调试方法及装置 | |
| JP6911034B2 (ja) | 触覚インターフェースによって眼球運動を判定する装置及び方法 | |
| Coyne et al. | Improving pupil diameter measurement accuracy in a remote eye tracking system | |
| CN112674714A (zh) | 一种通过滤镜与外设结合的手机检影验光方法 | |
| US20230309824A1 (en) | Accommodation tracking based on retinal-imaging | |
| CN109106330A (zh) | 一种视疲劳刺激方法、装置、存储介质及终端 | |
| US20230418372A1 (en) | Gaze behavior detection | |
| US20230329549A1 (en) | Retinal imaging-based eye accommodation detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |