CN113693552A - 视觉疲劳监测方法、装置、电子设备及可读存储介质 - Google Patents
视觉疲劳监测方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN113693552A CN113693552A CN202110977922.8A CN202110977922A CN113693552A CN 113693552 A CN113693552 A CN 113693552A CN 202110977922 A CN202110977922 A CN 202110977922A CN 113693552 A CN113693552 A CN 113693552A
- Authority
- CN
- China
- Prior art keywords
- eye
- user
- visual fatigue
- eyes
- learning model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 208000003464 asthenopia Diseases 0.000 title claims abstract description 103
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000012544 monitoring process Methods 0.000 title claims abstract description 32
- 210000001508 eye Anatomy 0.000 claims abstract description 159
- 238000013136 deep learning model Methods 0.000 claims abstract description 45
- 230000007613 environmental effect Effects 0.000 claims abstract description 20
- 238000012806 monitoring device Methods 0.000 claims abstract description 5
- 230000004397 blinking Effects 0.000 claims description 26
- 238000012360 testing method Methods 0.000 claims description 25
- 210000001747 pupil Anatomy 0.000 claims description 21
- 230000036544 posture Effects 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 16
- 230000035484 reaction time Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 11
- 230000004424 eye movement Effects 0.000 claims description 10
- 210000003786 sclera Anatomy 0.000 claims description 9
- 239000003086 colorant Substances 0.000 claims description 5
- 210000005252 bulbus oculi Anatomy 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 5
- 206010016256 fatigue Diseases 0.000 description 12
- 238000001514 detection method Methods 0.000 description 11
- 230000004379 myopia Effects 0.000 description 10
- 208000001491 myopia Diseases 0.000 description 10
- 230000004044 response Effects 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 208000024891 symptom Diseases 0.000 description 4
- 230000036541 health Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000008602 contraction Effects 0.000 description 2
- 208000002173 dizziness Diseases 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000036632 reaction speed Effects 0.000 description 2
- 201000004569 Blindness Diseases 0.000 description 1
- 206010009185 Ciliary muscle spasm Diseases 0.000 description 1
- 206010013082 Discomfort Diseases 0.000 description 1
- 208000003556 Dry Eye Syndromes Diseases 0.000 description 1
- 206010013774 Dry eye Diseases 0.000 description 1
- 206010019233 Headaches Diseases 0.000 description 1
- 206010028813 Nausea Diseases 0.000 description 1
- 208000013738 Sleep Initiation and Maintenance disease Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000004308 accommodation Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001886 ciliary effect Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 239000006071 cream Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000013210 evaluation model Methods 0.000 description 1
- 208000030533 eye disease Diseases 0.000 description 1
- 208000027993 eye symptom Diseases 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 231100000869 headache Toxicity 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 206010022437 insomnia Diseases 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000004423 myopia development Effects 0.000 description 1
- 230000008693 nausea Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000004436 pseudomyopia Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1103—Detecting eye twinkling
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1116—Determining posture transitions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Pathology (AREA)
- Ophthalmology & Optometry (AREA)
- Physiology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- Developmental Disabilities (AREA)
- Child & Adolescent Psychology (AREA)
- Human Computer Interaction (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- Eye Examination Apparatus (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了一种视觉疲劳监测方法、执行视觉疲劳监测方法的视觉疲劳监测装置、电子设备以及存储视觉疲劳监测程序的计算机可读存储介质。本发明通过实时获取用户所处的环境信息、用户的用眼特征、用户眼部的动态特征,并将获取到的环境信息、用眼特征、动态特征作为深度学习模型的输入,而后通过深度学习模型分析获得用户的视觉疲劳程度。综合考虑了用户用眼过程中的环境信息、用户的用眼特征、用户眼部的动态特征等多种可以影响或评估用户目前眼睛所处的疲劳程度的因素,可以实现准确判断用户目前眼睛所处的疲劳程度。
Description
技术领域
本发明涉及视觉疲劳监测技术领域,尤其涉及一种视觉疲劳监测方法、装置、电子设备及可读存储介质。
背景技术
我们大脑接收到的80%以上的感官信息来自眼睛。在过去的十年中,随着数字设备的发展,视觉疲劳和相关的眼病变得越来越严重。如今,长时间观看影视时,有大量观众会出现眼睛酸胀和头晕等一些视觉疲劳症状,并且这些症状会随着观看时间延长而加剧。据卫生部、教育部联合调查,目前我国青少年近视发病率接近60%,居世界第二位,人数居世界之首。其中小学生近视率已达34.5%,中学生近视率已达70%以上,患者超越6000万人。因近视致盲的人数达30万。
轻度视觉疲劳会出现眼干、眼涩、眼酸胀等症状,休息后会很快恢复,对健康几乎没有影响。中度视觉疲劳则会引起头晕、头痛和恶心等症状,会一定程度上影响工作和学习。重度视觉疲劳除眼部症状更加明显外,会伴有失眠、记忆力减退等全身不适,严重危害身体健康。根据资料调查,青少年由于视觉疲劳形成的近视为数很多,占70%以上。因此对于青少年,更应该及早发现视觉疲劳状态,纠正不良的阅读环境及阅读状态,早发现早调整,避免不利的环境因素,改正不良用眼习惯,注意用眼卫生,才能防止近视的进一步发展。
视觉疲劳产生的不适,其实是身体在发出信号——眼睛需要休息了。然而儿童、青少年往往课业负担较重加上自控能力不足,往往会忽视身体发出的信号,这样眼睛长时间处于疲劳状态,得不到缓解和调整,就容易导致睫状肌痉挛,睫状肌持续收缩时间过长,使眼睛长期处于疲劳近视的状态,就会发生调节性近视,即假性近视。视觉疲劳检测方法主要分为主观检测方法和客观检测方法。主观检测方法依赖于检测对象本身,很难对视觉疲劳的程度进行量化。而客观检测方法主要分为以下两个方面:
(1)基于生理信号特征的视觉疲劳检测技术,主要是通过检测对象的脑电、心电图、眼电、肌电等生理参数的变化来检测视觉疲劳。
(2)检测对象的行为特征,如眼动规律、反应速度、图像感知等。
使用电生理信号能够真实地反映人体的生理状态,基于电生理特征的检测方式具有较好的实时性以及较高的准确率,但是该方法信号采集设备复杂,同时各生理信号之间存在相互干扰,会对检测效果造成较大的影响。
基于眼部运动特征的疲劳检测关键在于如何对眼部运动特征进行提取和分析。目前已经有一些科研团队对其进行过一些探索,然而效果并没有达到理想的状态。RamirezClavijo等(2015)提出了一种通过分析眨眼率来评估视觉疲劳的简单算法,利用级联Haar分类器对眼睛区域进行检测,从而提供有效眨眼频率特征。Julie(2018)提出了一种用于动态仿真和分析的眼部生物力学模型,从眼外肌神经控制中导出了一个测量视觉疲劳发生可能性的公式,评估消费者级VR头戴设备的沉浸感对辐合运动系统的影响。Wang等(2018)在七个验光指标的基础上对视觉疲劳提出了一个新的定义,并使用眼动仪进行视觉疲劳程度评估;构建了两种基于眼动数据和眨眼数据的实时眼疲劳评估模型,都可以对用户进行眼睛疲劳水平的准确评估。Rakpongsiri(2018)开发了一种测量眼睛疲劳和反应时间的仪器,通过图像处理测量瞳孔的收缩或扩张,通过测量每个时间间隔内每幅图像的瞳孔直径,检测眨眼频率,从而分析视觉疲劳程度。Novelli等(2020)发明了基于视觉成像的眼疲劳检测技术,主要通过对用户对某区域的注视时长,眨眼频率,眨眼速度,眼睛颜色以及用户与屏幕之间的使用距离等方面对用户目前的视觉疲劳状态做出判断。以上这些方式通常基于传统的图像处理模式,使用到的特征比较单一,并且往往依赖于实验室的摄像头做数据采集,没有给用户实时的反馈,也没有在实践中使用的可行性,可推广性较弱。
因此,亟需提供一种新的视觉疲劳监测方法,以解决上述现有技术中所存在的问题。
发明内容
本发明的目的在于提供一种综合考虑多种可以影响眼睛疲劳程度的因素的视觉疲劳监测方法、装置、电子设备及可读存储介质,以实现准确判断用户目前眼睛所处的疲劳程度。
为实现上述目的,本发明提供一种视觉疲劳监测方法,包括信息获取步骤和处理分析步骤。信息获取步骤包括:
获取环境信息,所述环境信息包括环境整体光线亮度、环境与目标物体的光线亮度差以及眼睛直视方向的光线亮度之至少一者;
获取用户的用眼特征,所述用眼特征包括用户的眼睛与目标物体的距离、用眼姿态、用眼时长之至少一者;
获取用户眼部的动态特征,所述动态特征包括瞳孔特征、巩膜特征、眼跳特征、眨眼特征、以及注视特征之至少一者。
处理分析步骤为:将信息获取步骤获得的所述环境信息、用眼特征、动态特征输入至深度学习模型,通过深度学习模型处理分析获得用户的视觉疲劳程度。
较佳地,所述视觉疲劳监测方法还包括:于获得用户处于视觉疲劳状态时,输出用于警示用户的眼睛处于视觉疲劳状态的提示信息。
较佳地,所述用眼特征包括用户的眼睛与目标物体的距离、用眼姿态、用眼时长;所述动态特征包括所述瞳孔特征、巩膜特征、眼跳特征、眨眼特征、以及注视特征。
较佳地,所述瞳孔特征包括瞳孔大小、瞳孔大小改变速度;所述巩膜特征包括巩膜颜色;所述眼跳特征包括眼球移动距离、眼跳平均距离;所述眨眼特征包括眨眼频率、眨眼总时长、眨眼平均时长、眨眼时长标准差、眨眼速度、眨眼闭眼时长;所述注视特征包括注视次数、注视总时长、注视平均时长、注视时长标准差。
较佳地,所述视觉疲劳监测方法还包括:预先训练所述深度学习模型,包括:采集大量用户对随机闪现的颜色识别的正确率和反应时间,以及对空间频率反应测试的正确率和反应时间;将大量用户在颜色识别、空间频率反应测试的正确率和反应时间作为所述深度学习模型的训练数据,获得所述环境信息、用眼特征、动态特征与所述视觉疲劳程度的关系。
较佳地,在所述深度学习模型加入第一嵌入层,添加用户的身份信息作为所述第一嵌入层的输入,以使所述深度学习模型跟踪所述身份信息对应的视觉疲劳特征
较佳地,通过实时采集用户的眼部图像,将所述眼部图像输入至一第二深度学习模型,获得所述动态特征;所述第二深度学习模型以残差网络作为支柱网络,并加入第二嵌入层,添加用户的身份信息作为所述第二嵌入层的输入,以使所述第二深度学习模型跟踪所述身份信息对应的动态特征。
为实现上述目的,本发明提供一种视觉疲劳监测装置,包括环境信息获取模块、用眼特征获取模块、眼动特征获取模块以及处理模块。其中,所述环境信息获取模块用于获取环境信息,所述环境信息包括环境整体光线亮度、环境与目标物体的光线亮度差以及眼睛直视方向的光线亮度之至少一者。所述用眼特征获取模块用于获取用户的用眼特征,所述用眼特征包括用户的眼睛与目标物体的距离、用眼姿态、用眼时长之至少一者。所述眼动特征获取模块用于获取用户眼部的动态特征,所述动态特征包括瞳孔特征、巩膜特征、眼跳特征、眨眼特征、以及注视特征之至少一者。所述处理模块用于将所述环境信息、用眼特征、动态特征输入至深度学习模型,获得用户的视觉疲劳程度。
为实现上述目的,本发明提供一种电子设备,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器执行所述计算机程序时,执行如上所述的视觉疲劳监测方法。
为实现上述目的,本发明提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序可被处理器执行以完成如上所述的视觉疲劳监测方法。
与现有技术相比,本发明通过实时获取用户所处的环境信息、用户的用眼特征、用户眼部的动态特征,并将获取到的环境信息、用眼特征、动态特征作为深度学习模型的输入,而后通过深度学习模型分析获得用户的视觉疲劳程度。本发明综合考虑了用户用眼过程中的环境信息、用户的用眼特征、用户眼部的动态特征等多种可以影响或评估用户目前眼睛所处的疲劳程度的因素,可以实现准确判断用户目前眼睛所处的疲劳程度。此外,本发明还在深度学习模型获得用户处于视觉疲劳状态时,输出提示信息提醒用户,使用户可以及时休息或者调整使用距离、用眼姿态等,防止视觉疲劳程度的加重或近视度数进一步加深。
附图说明
图1是本发明一实施例视觉疲劳监测方法的流程示意图。
图2是本发明一实施例通过深度学习模型预测用户注视点位置的示意图。
图3是眼球极坐标的示意图。
图4是本发明一实施例颜色反应测试的流程图。
图5是本发明训练第二深度学习模型时的示意图。
图6是本发明一实施例视觉疲劳监测装置的组成结构框图。
图7是本发明一实施例电子设备的组成结构框图。
图8是本发明一实施例电子设备的结构示意图。
具体实施方式
为详细说明本发明的内容、构造特征、所实现目的及效果,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1,本发明所提供的视觉疲劳监测方法包括信息获取步骤和处理分析步骤。信息获取步骤包括:获取环境信息,获取用户的用眼特征,以及,获取用户眼部的动态特征。处理分析步骤为:将信息获取步骤获得的环境信息、用眼特征、动态特征输入至深度学习模型1,通过深度学习模型1处理分析获得用户的视觉疲劳程度。
其中,环境信息包括环境整体光线亮度、当前环境与目标物体的光线亮度差以及眼睛直视方向的光线亮度。若环境整体光线过亮或过暗,或环境光线亮度与目标物体的光线亮度差距过大,或环境光源直射用户眼睛,用户更容易出现视觉疲劳。通过获取环境整体光线亮度,可以确认当前环境是否适合阅读书籍/观看电子屏幕。通过获取环境与目标物体的光线亮度差,可以确认例如黑暗环境中的目标物体(电子屏幕)是否过于刺眼,例如目标物体(书籍)是否处于背光位置。通过获取眼睛直视方向的光线亮度,可以确认眼睛直视的方向是否有直射光源。本发明充分考虑各个可能影响用户视觉疲劳程度的环境因素,提高最终的视觉疲劳程度判断的准确性。
用眼特征包括用户的眼睛与目标物体(例如,书本、电子屏幕等)的距离、用眼姿态、用眼时长。通常,用户眼睛离目标物体越近,用户眼睛越疲劳,也越容易诱发视觉疲劳。正确的用眼姿态不容易导致视觉疲劳,运动状态(如,行走状态)、侧卧或者仰卧等各种不规范的姿态,容易导致视觉疲劳。用眼时长越长,眼睛越疲劳。通过充分考虑各个可能影响用户视觉疲劳程度的用眼特征因素,提高最终的视觉疲劳程度判断的准确性。
动态特征包括瞳孔特征、巩膜特征、眼跳特征、眨眼特征、以及注视特征等。其中,瞳孔特征包括瞳孔大小、瞳孔大小改变速度(瞳孔适应速度)。巩膜特征为巩膜颜色。眼跳特征包括眼球移动距离(眼动距离)、眼跳平均距离。眨眼特征包括眨眼频率、眨眼总时长、眨眼平均时长、眨眼时长标准差、眨眼速度、眨眼闭眼时长等指标。注视特征包括注视次数、注视总时长、注视平均时长、注视时长标准差等指标。各指标的评价方法及各指标与视觉疲劳的相关性如下表1所示。
表1
进一步地,在一实施例中,若处理分析步骤中获得用户处于视觉疲劳状态,则输出用于警示用户的眼睛处于视觉疲劳状态的提示信息。以此,使用户可以及时休息或者调整使用距离、用眼姿态等,防止视觉疲劳程度的加重或近视度数进一步加深。
在首次采用本发明所提供的视觉疲劳监测方法进行视觉疲劳监测之前,还需:预先训练深度学习模型1。Kedsara(2018)的工作指出,当人们处于视觉疲劳状态时,瞳孔直径会比不疲劳状态稍大一些,并且对于刺激的反应速度会更慢。因此,在本实施例中,基于颜色反应测试和基于空间频率反应测试,将测试参与者在这两个测试中的正确率和反应时间作为视觉疲劳程度的客观值。通常,在颜色反应测试、空间频率反应测试两个测试中的反应时间越长、正确率越差,则对应的视觉疲劳程度越高。
具体的,颜色反应测试为,测试参与者对屏幕上随机短暂出现的颜色,识别的反应速度及正确率。空间频率反应测试为,借鉴国际认可的临界闪烁融合频率(CFF)的原理,测试参与者从几个相同大小的物体中,识别出一个特定的正方形网格的反应速度及正确率,且在测试过程中,其通过增加网格的空间频率确定参与者可以观察到的最高临界频率。“预先训练深度学习模型1”具体为,采集大量参与者对随机闪现的颜色识别的正确率和反应时间,以及对空间频率反应测试的正确率和反应时间;然后将大量用户在颜色识别、空间频率反应测试的正确率和反应时间作为深度学习模型1的训练数据,从而获得环境信息、用眼特征、动态特征与视觉疲劳程度的关系。
图4示出了一次颜色反应测试的流程图。在颜色反应测试中,采用红、绿、蓝三种颜色来衡量参与者的反应时间和识别的正确率,三种颜色的闪现被随机设定在特定的速度。参与者被要求按下他们看到的颜色,以确定他们对颜色的反应时间和他们决策正确率百分比。通过相关程序处理它们的反应时间值和颜色选择的正确率,以表明初步的疲劳程度。在一次颜色反应测试中,时长20秒,重复次数6次,颜色闪现初始时长为1帧。
在一实施例中,在一次空间频率反应测试中,测试时长40秒,重复次数10次,单次选择限定时长4秒,在四个选项中选择出有网格图像的图像。上述颜色反应测试、空间频率反应测试可以在网络网页、电脑程序或者手机APP上进行,参与者可以选择在任何时刻开始测试。
作为优选实施例,在深度学习模型加入第一嵌入层,添加用户的身份信息作为第一嵌入层的输入,以使深度学习模型跟踪身份信息对应的视觉疲劳特征,例如,视觉疲劳难易程度、疲劳状态下眼睛动态特征表现。既可以达到私人化训练的目的,也能够获知个体差异。例如,对于环境信息、用眼特征等类似的用户,可能拥有不同的视觉疲劳程度。
在一实施例中,通过实时采集用户的眼部图像3,将眼部图像输入至一第二深度学习模型2,获得动态特征。为了训练第二深度学习模型2,获得更加准确的眼睛动态特征,除了利用网络上现有的眼部图像和对应注视位置的数据库以外,还采集了大量中国人的眼部图像和其实时对应注视的位置(注视点,在眼球极坐标下的φ值和θ值,如图3所示)作为训练数据。例如,如图5所示,在墙面上设置九个点P11-P13、P21-P23、P31-P33,参与者面向墙面坐于离目标点固定距离的位置,利用头托固定参与者的下巴及前额的位置,以确保头部不会晃动,并指示参与者依次用眼睛注视前方的上的九个点,该过程中,利用一个正对着参与者眼睛的采集摄像头4拍摄全过程。该采集摄像头4与这九个点的相对位置是已知的,称为校准点。通过将采集到的大量中国人的人眼与对应注视位置的视频(间隔时间极短的眼部图像)以及现有的数据库作为训练数据,最终,第二深度学习模型2可以实现准确根据输入的眼部图像3预测当前用户的眼睛所注视的位置(φ值和θ值)。
针对不同用户的个体,为了让第二深度学习模型2对用户的动态特征能够达到更好的个人预测效果,在一实施例中,在使用一个第二深度学习模型2学习所有用户的共同特征的同时,与深度学习模型1类似的,还在第二深度学习模型2中加入用户的身份信息,将用户的身份信息和眼部图像作为第二深度学习模型2的输入,第二深度学习模型2对应输出φ值和θ值。借此,使深度学习模型可以感知不同用户的个人动态特征,达到私人化训练的目的。
在该实施例中,第二深度学习模型2是以He等人2016年提出的经典的残差网络ResNet(例如ResNet-18)作为支柱网络,并加入第二嵌入层,同时添加了用户的身份信息(ID)作为该第二嵌入层的输入,称之为ID ResNet。ResNet-18与用户的身份信息相结合的结构如图2所示。由于网络接收眼部图像和用户的身份信息作为输入,并同时输出和预测φ值和θ值,因此该结构的ResNet-18包含2个流(Stream)。用户的身份信息经过嵌入层形成第三个流,包含三个个人定标参数,然后由稠密层压缩成一个个人定标参数。ResNet-18的2个流与用户的身份信息形成的第三个流输入至特征联合层,而后被发送到非线性激活层(ReLU),最终获得φ值和θ值。
接下来请参阅图6,与前述视觉疲劳监测方法对应地,本发明所提供的视觉疲劳监测装置包括环境信息获取模块11、用眼特征获取模块12、眼动特征获取模块13以及处理模块14。其中,环境信息获取模块11用于获取环境信息。用眼特征获取模块12用于获取用户的用眼特征。眼动特征获取模块13用于获取用户眼部的动态特征。处理模块14用于将环境信息、用眼特征、动态特征输入至深度学习模型,获得用户的视觉疲劳程度。环境信息、用眼特征及动态特征参见前述视觉疲劳监测方法的描述,在此不再赘述。
进一步地,在一实施例中,视觉疲劳监测装置还包括报警模块15,报警模块15用于在处理模块获得用户处于视觉疲劳时,输出用于警示用户的眼睛处于视觉疲劳状态的提示信息。以此,使用户可以及时休息或者调整使用距离、用眼姿态等,防止视觉疲劳程度的加重或近视度数进一步加深。
接下来请参阅图7、图8,本发明所提供的电子设备包括可佩带式载体21、光线感测模块22、测距模块23、姿态感测模块24、眼部成像模块25、处理器26以及存储器27。其中,载体21内开设有容置槽,容置槽容置光线感测模块22、测距模块23、姿态感测模块24、眼部成像模块25、处理器26以及存储器27,并提供走线所需空间。光线感测模块22用于感测环境整体光线亮度、当前环境与目标物体的光线亮度差以及眼睛直视方向的光线亮度。测距模块23用于感测用户的眼睛与目标物体的距离。姿态感测模块24用于检测用户的用眼姿态。眼部成像模块25用于采集用户的眼部图像并传送至处理器26。处理器26由眼部图像获得用户眼部的动态特征。同时,处理器26还记录用户的用眼时长,并依据环境整体光线亮度、当前环境与目标物体的光线亮度差、眼睛直视方向的光线亮度、用户的眼睛与目标物体的距离、用眼姿态、用眼时长、动态特征获得用户的视觉疲劳程度。存储器27用于存储一个或多个程序,例如视觉疲劳监测程序,当一个或多个程序被处理器26执行,使得处理器26实现上述视觉疲劳监测方法。
存储器27可以是任何形态的集成在电子设备中的随机存取存储器、只读存储器、快闪存储器或其他类似装置。处理器26可以是中央处理单元或者是其它可程序化的一般用途或者特殊用途的微处理器、数字信号处理器、可程序化控制器、特殊集成电路或其它类似装置或者这些装置的组合。
光线感测模块22包括感光元件221和环境成像元件222。感光元件221可为普通的光感传感器,其用于感测当前环境整体光线亮度。环境成像元件222用于采集环境及目标物体的图像,以检测当前环境与目标物体的光线亮度差以及眼睛直视方向的光线亮度。姿态感测模块4包括加速度传感器241和重力传感器242。
相应地,本发明还涉及一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被处理器26执行时,完成上述实施例中的视觉疲劳监测方法。其中,计算机程序包括计算机程序代码,计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读存储介质可以包括:能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM)、随机存取存储器(RAM)等。
综上,本发明通过实时获取用户所处的环境信息、用户的用眼特征、用户眼部的动态特征,并将获取到的环境信息、用眼特征、动态特征作为深度学习模型的输入,而后通过深度学习模型分析获得用户的视觉疲劳程度。本发明综合考虑了用户用眼过程中的环境信息、用户的用眼特征、用户眼部的动态特征等多种可以影响或评估用户目前眼睛所处的疲劳程度的因素,可以实现准确判断用户目前眼睛所处的疲劳程度。
以上所揭露的仅为本发明的较佳实例而已,不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,均属于本发明所涵盖的范围。
Claims (10)
1.一种视觉疲劳监测方法,其特征在于,包括:
获取环境信息,所述环境信息包括环境整体光线亮度、环境与目标物体的光线亮度差以及眼睛直视方向的光线亮度之至少一者;
获取用户的用眼特征,所述用眼特征包括用户的眼睛与目标物体的距离、用眼姿态、用眼时长之至少一者;
获取用户眼部的动态特征,所述动态特征包括瞳孔特征、巩膜特征、眼跳特征、眨眼特征、以及注视特征之至少一者;
将所述环境信息、用眼特征、动态特征输入至深度学习模型,获得用户的视觉疲劳程度。
2.如权利要求1所述的视觉疲劳监测方法,其特征在于,还包括:
于获得用户处于视觉疲劳状态时,输出用于警示用户的眼睛处于视觉疲劳状态的提示信息。
3.如权利要求1所述的视觉疲劳监测方法,其特征在于,所述用眼特征包括用户的眼睛与目标物体的距离、用眼姿态、用眼时长;所述动态特征包括所述瞳孔特征、巩膜特征、眼跳特征、眨眼特征、以及注视特征。
4.如权利要求1所述的视觉疲劳监测方法,其特征在于,所述瞳孔特征包括瞳孔大小、瞳孔大小改变速度;所述巩膜特征包括巩膜颜色;所述眼跳特征包括眼球移动距离、眼跳平均距离;所述眨眼特征包括眨眼频率、眨眼总时长、眨眼平均时长、眨眼时长标准差、眨眼速度、眨眼闭眼时长;所述注视特征包括注视次数、注视总时长、注视平均时长、注视时长标准差。
5.如权利要求1所述的视觉疲劳监测方法,其特征在于,还包括:预先训练所述深度学习模型,包括:
采集大量用户对随机闪现的颜色识别的正确率和反应时间,以及对空间频率反应测试的正确率和反应时间;
将大量用户在颜色识别、空间频率反应测试的正确率和反应时间作为所述深度学习模型的训练数据,获得所述环境信息、用眼特征、动态特征与所述视觉疲劳程度的关系。
6.如权利要求1所述的视觉疲劳监测方法,其特征在于,在所述深度学习模型加入第一嵌入层,添加用户的身份信息作为所述第一嵌入层的输入,以使所述深度学习模型跟踪所述身份信息对应的视觉疲劳特征。
7.如权利要求1所述的视觉疲劳监测方法,其特征在于,通过实时采集用户的眼部图像,将所述眼部图像输入至一第二深度学习模型,获得所述动态特征;所述第二深度学习模型以残差网络作为支柱网络,并加入第二嵌入层,添加用户的身份信息作为所述第二嵌入层的输入,以使所述第二深度学习模型跟踪所述身份信息对应的动态特征。
8.一种视觉疲劳监测装置,其特征在于,包括:
环境信息获取模块,用于获取环境信息,所述环境信息包括环境整体光线亮度、环境与目标物体的光线亮度差以及眼睛直视方向的光线亮度之至少一者;
用眼特征获取模块,用于获取用户的用眼特征,所述用眼特征包括用户的眼睛与目标物体的距离、用眼姿态、用眼时长之至少一者;
眼动特征获取模块,用于获取用户眼部的动态特征,所述动态特征包括瞳孔特征、巩膜特征、眼跳特征、眨眼特征、以及注视特征之至少一者;以及
处理模块,用于将所述环境信息、用眼特征、动态特征输入至深度学习模型,获得用户的视觉疲劳程度。
9.一种电子设备,其特征在于,包括:
处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器执行所述计算机程序时,执行如权利要求1至7任一项所述的视觉疲劳监测方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序可被处理器执行以完成如权利要求1至7任一项所述的视觉疲劳监测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110977922.8A CN113693552A (zh) | 2021-08-24 | 2021-08-24 | 视觉疲劳监测方法、装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110977922.8A CN113693552A (zh) | 2021-08-24 | 2021-08-24 | 视觉疲劳监测方法、装置、电子设备及可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113693552A true CN113693552A (zh) | 2021-11-26 |
Family
ID=78668960
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110977922.8A Pending CN113693552A (zh) | 2021-08-24 | 2021-08-24 | 视觉疲劳监测方法、装置、电子设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113693552A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114241719A (zh) * | 2021-12-03 | 2022-03-25 | 广州宏途教育网络科技有限公司 | 一种学生学习中视觉疲劳状态监测方法、装置及存储介质 |
CN114859557A (zh) * | 2022-04-22 | 2022-08-05 | 歌尔股份有限公司 | 头戴式装备的控制方法、头戴式装备及存储介质 |
CN114926645A (zh) * | 2022-06-21 | 2022-08-19 | 深圳市慧智生命科技有限公司 | 视觉疲劳的检测方法和视觉疲劳的检测装置 |
CN115132364A (zh) * | 2022-08-25 | 2022-09-30 | 首都医科大学附属北京同仁医院 | 一种近视风险确定方法、装置、存储介质及可穿戴设备 |
CN116312928A (zh) * | 2023-05-18 | 2023-06-23 | 安徽星辰智跃科技有限责任公司 | 一种眼疲劳恢复进程的辅助调节方法、系统和装置 |
CN116974370A (zh) * | 2023-07-18 | 2023-10-31 | 深圳市本顿科技有限公司 | 一种防沉迷儿童学习平板电脑控制方法及系统 |
CN117717309A (zh) * | 2023-12-25 | 2024-03-19 | 上海雄博精密仪器股份有限公司 | 一种人眼高阶像差的检测方法、装置和存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109259724A (zh) * | 2018-08-30 | 2019-01-25 | Oppo广东移动通信有限公司 | 一种用眼监控方法、装置、存储介质及穿戴式设备 |
CN112434611A (zh) * | 2020-11-25 | 2021-03-02 | 中山大学 | 基于眼部运动细微特征的早期疲劳检测方法及系统 |
CN113159166A (zh) * | 2021-04-19 | 2021-07-23 | 国网山东省电力公司威海供电公司 | 基于边缘计算的嵌入式图像识别检测方法、系统、介质及设备 |
-
2021
- 2021-08-24 CN CN202110977922.8A patent/CN113693552A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109259724A (zh) * | 2018-08-30 | 2019-01-25 | Oppo广东移动通信有限公司 | 一种用眼监控方法、装置、存储介质及穿戴式设备 |
CN112434611A (zh) * | 2020-11-25 | 2021-03-02 | 中山大学 | 基于眼部运动细微特征的早期疲劳检测方法及系统 |
CN113159166A (zh) * | 2021-04-19 | 2021-07-23 | 国网山东省电力公司威海供电公司 | 基于边缘计算的嵌入式图像识别检测方法、系统、介质及设备 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114241719A (zh) * | 2021-12-03 | 2022-03-25 | 广州宏途教育网络科技有限公司 | 一种学生学习中视觉疲劳状态监测方法、装置及存储介质 |
CN114241719B (zh) * | 2021-12-03 | 2023-10-31 | 广州宏途数字科技有限公司 | 一种学生学习中视觉疲劳状态监测方法、装置及存储介质 |
CN114859557A (zh) * | 2022-04-22 | 2022-08-05 | 歌尔股份有限公司 | 头戴式装备的控制方法、头戴式装备及存储介质 |
CN114859557B (zh) * | 2022-04-22 | 2024-02-09 | 歌尔股份有限公司 | 头戴式装备的控制方法、头戴式装备及存储介质 |
CN114926645A (zh) * | 2022-06-21 | 2022-08-19 | 深圳市慧智生命科技有限公司 | 视觉疲劳的检测方法和视觉疲劳的检测装置 |
CN115132364A (zh) * | 2022-08-25 | 2022-09-30 | 首都医科大学附属北京同仁医院 | 一种近视风险确定方法、装置、存储介质及可穿戴设备 |
CN116312928A (zh) * | 2023-05-18 | 2023-06-23 | 安徽星辰智跃科技有限责任公司 | 一种眼疲劳恢复进程的辅助调节方法、系统和装置 |
CN116312928B (zh) * | 2023-05-18 | 2023-08-11 | 安徽星辰智跃科技有限责任公司 | 一种眼疲劳恢复进程的辅助调节方法、系统和装置 |
CN116974370A (zh) * | 2023-07-18 | 2023-10-31 | 深圳市本顿科技有限公司 | 一种防沉迷儿童学习平板电脑控制方法及系统 |
CN116974370B (zh) * | 2023-07-18 | 2024-04-16 | 深圳市本顿科技有限公司 | 一种防沉迷儿童学习平板电脑控制方法及系统 |
CN117717309A (zh) * | 2023-12-25 | 2024-03-19 | 上海雄博精密仪器股份有限公司 | 一种人眼高阶像差的检测方法、装置和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113693552A (zh) | 视觉疲劳监测方法、装置、电子设备及可读存储介质 | |
CN107929007B (zh) | 一种利用眼动追踪和智能评估技术的注意力和视觉能力训练系统及方法 | |
KR20190026651A (ko) | 사람의 비전 성능에 접근하기 위해 비전 데이터를 획득, 집계 및 분석하기 위한 방법 및 시스템 | |
JP2024009889A (ja) | 視野解析のためのシステムおよび方法 | |
US12093871B2 (en) | Ocular system to optimize learning | |
JP2018520820A (ja) | 視覚の様相を検査する方法及びシステム | |
CN110600103B (zh) | 一种提升视力的可穿戴智能服务系统 | |
JP2009508553A (ja) | 眼球性質を解析することで、人間の感情を決定するシステムおよび方法 | |
CN108065942B (zh) | 一种针对东方人格特征的刺激信息的编制方法 | |
EP2073688A2 (en) | Method of developing a visual processing profile based on a retino-geniculo-cortical pathway | |
CN102496005A (zh) | 基于眼球特征的审讯辅助研判分析系统 | |
US11393252B2 (en) | Emotion sensing artificial intelligence | |
KR102344493B1 (ko) | 인공 지능 기반의 스마트 안진 검사 시스템, 방법 및 프로그램 | |
CN111743553B (zh) | 一种基于眼动数据的情感特征提取方法及系统 | |
Chukoskie et al. | Quantifying gaze behavior during real-world interactions using automated object, face, and fixation detection | |
Arthur et al. | Visuo-motor attention during object interaction in children with developmental coordination disorder | |
US10779726B2 (en) | Device and method for determining eye movements by tactile interface | |
CN202472688U (zh) | 基于眼球特征的审讯辅助研判分析仪 | |
CN106388830B (zh) | 基于Wii Balance board的平衡性检测方法 | |
US11896376B2 (en) | Automated impairment detection system and method | |
Lazar et al. | DEVELOPMENT OF EYE TRACKING PROCEDURES USED FOR THE ANALYSIS OF VISUAL BEHAVIOR-STATE OF ART | |
Guo et al. | Using face and object detection to quantify looks during social interactions | |
Psaltis et al. | Mapping User Engagement to States of Affect via an Unobtrusive Biofeedback Device-A Dynamic Visualization of Real-time Assessment | |
Baritz | Eye Movement Analysis System in Relation to Biomechanical Perturbations | |
CN118236066A (zh) | 一种基于眼动捕捉和追踪的注意力评估及训练系统、方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20211126 |