CN110623629A - 一种基于眼球运动的视觉注意检测方法及系统 - Google Patents

一种基于眼球运动的视觉注意检测方法及系统 Download PDF

Info

Publication number
CN110623629A
CN110623629A CN201910704735.5A CN201910704735A CN110623629A CN 110623629 A CN110623629 A CN 110623629A CN 201910704735 A CN201910704735 A CN 201910704735A CN 110623629 A CN110623629 A CN 110623629A
Authority
CN
China
Prior art keywords
tester
visual attention
eye
determining
pupil
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910704735.5A
Other languages
English (en)
Other versions
CN110623629B (zh
Inventor
毕宏生
胡媛媛
杜煜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sherming Optometry Hospital Co ltd
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201910704735.5A priority Critical patent/CN110623629B/zh
Publication of CN110623629A publication Critical patent/CN110623629A/zh
Application granted granted Critical
Publication of CN110623629B publication Critical patent/CN110623629B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/168—Evaluating attention deficit, hyperactivity

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Developmental Disabilities (AREA)
  • Psychiatry (AREA)
  • Pathology (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本申请实施例提供了一种基于眼球运动的视觉注意检测方法和系统，该方法包括：通过第一显示设备展示视觉注意测试内容。获取测试者在阅读多个E字标时的若干面部图像，根据若干面部图像识别出各面部图像对应的眼部图像，根据若干眼部图像确定各眼部图像的瞳孔位置数据。基于瞳孔位置数据，确定测试者对视觉注意测试内容在第一显示设备上的注视点位置信息。根据注视点位置信息以及视觉注意测试内容，确定视觉注意测试者的视觉注意等级。通过上述技术方案，可以通过自动化的方式对视觉注意测试者的视觉注意进行评价，使其评价更加客观，从而弥补现有临床视觉注意检测技术的不足。

Description

一种基于眼球运动的视觉注意检测方法及系统
技术领域
本发明涉及医疗器械领域，尤其涉及一种基于眼球运动的视觉注意检测方法及系统。
背景技术
眼睛是人类获取外界信息的重要方式，人类通过眼睛获取的外界信息高达80％-90％。人类正常阅读过程中，即使我们的眼睛始终在移动，我们所看到的字体却始终保持静止，这主要与人类有意识的感知觉预测引导的视觉注意有关。眼球运动是神经眼科学的一个重要组成部分，需要依靠正常的神经功能来维持，具有一系列的特殊功能：能把感兴趣的视标固定在视网膜最敏感的中心凹部位，而且能维持两眼的相互协同运动，协调头部及身体的运动和位置。广义的眼球运动包括眼球转动、聚散、调节、眼睑运动、注视、扫视运动、追随运动、前庭眼反射和视动性眼震，同时还需要确保感觉融像和立体视的准确和有效。
因此，通过眼球运动对人的认知活动进行研究是非常有效的手段，尤其是人的认知活动的视觉注意方面。
视觉注意与视力不同，视力差给人们的学习、生活带来的问题很直观，更容易得到重视，也更容易发现和解决。而视觉注意差则不易被发现，也不容易引起人们的重视，但是视觉注意对人类的学习、工作以及生活都有着重要的影响。
视觉注意所造成的影响对于青少年影响尤为突出，学习成绩差往往都是由于视觉注意差而导致的结果。
目前，临床上视觉注意的检测通常是由人来完成，因此会因为主观性强，造成视觉注意检测结果不够客观，而且浪费人力资源。并且由于具有评定视觉注意的医护者数量有限，视觉注意检测受到限制。
因此，如何弥补现有临床视觉注意检测技术的不足，成为亟需解决的难题。
发明内容
本申请实施例提供了一种基于眼球运动的视觉注意检测方法和系统，用以解决上述无法客观的评价视觉注意的问题。
一方面，本申请实施例提供一种基于眼球运动的视觉注意检测方法，其方法包括：通过第一显示设备展示视觉注意测试内容；其中，视觉注意测试内容包括：按照预设规则排列的多个E字标，以及提示测试者阅读多个E字标顺序的信息。获取测试者在阅读多个E字标时的若干面部图像，根据若干面部图像识别出各面部图像对应的眼部图像，根据眼部图像确定眼部图像对应的瞳孔位置数据。其中，瞳孔位置数据为眼部图像中的瞳孔中心位置与角膜反光点位置之间的相对偏移量；基于瞳孔位置数据，确定测试者对视觉注意测试内容在第一显示设备上的注视点位置信息；根据注视点位置信息以及视觉注意测试内容，确定测试者的视觉注意等级。
在一种可能实现的方式中，在角膜反光点数量为多个的情况下，瞳孔位置数据为眼部图像中的瞳孔中心位置与多个角膜反光点所围成的图形的质点之间的相对偏移量。
在一种可能实现的方式中，根据注视点位置信息以及视觉注意测试内容，确定测试者的视觉注意等级，具体包括：基于来自键盘设备的第一数据或者来自语音采集设备的第二数据，确定测试者在视觉注意检测过程中所确定的相应E字标的开口朝向；第一数据为键盘设备根据测试者按照阅读多个E字标的顺序，按压与E字标开口朝向相对应的按键而得到的数据；第二数据为语音采集设备采集的测试者按照阅读多个E字标的顺序，朗读多个E字标开口朝向的语音数据；根据测试者在视觉注意检测过程中所确定的相应E字标的开口朝向、视觉注意测试内容中的多个E字标及提示测试者阅读多个E字标顺序的信息，以及测试者在第一显示设备上的注视点位置信息，确定测试者在阅读多个E字标时的漏字参数和/或误判参数；其中，漏字参数与漏字次数和漏字个数有关，误判参数与误判个数相关；基于漏字参数和/或误判参数，确定测试者的视觉注意等级。
在一种可能实现的方式中，基于漏字参数和/或误判参数，确定测试者的视觉注意等级，具体包括：将按照预设规则排列的多个E字标在第一显示设备上的显示内容，按照预设规则划分成多个区域；根据测试者的瞳孔位置数据，确定测试者对多个区域中各个区域的注视参数值；其中，注视参数值包括以下任意一项或多项：注视次数、总注视时间、回视次数、首个注视点的注视时间；根据各个区域的注视参数值，确定测试者对应的感兴趣区域；接收来自键盘设备或者语音采集设备的有关测试者对感兴趣区域对应的题目的答复内容，得到题目的正确率；其中，感兴趣区域对应的题目包括以下任意一项或多项：至少一个预设位置的E字标的颜色、一个预设位置的E字标的字体、多个预设E字标排列组合成的形状、感兴趣区域中除E字标之外的其它内容、一个预设位置的E字标的开口朝向；根据漏字参数、误判参数、题目的正确率以及测试者阅读视觉注意测试材料所用时间，确定测试者的视觉注意等级。
在一种可能实现的方式中，视觉注意测试内容还包括与E字标排列规律不相关且按照预设规则排列的文字和/或图片；在基于漏字参数和/或误判参数，确定测试者的视觉注意等级之前，方法还包括：将在第一显示设备上显示的按照预设规则排列的文字和/或图片，按照预设规则划分成多个区域；根据测试者的瞳孔位置数据，确定测试者对多个区域中各个区域的注视参数值；其中，注视参数值包括以下任意一项或多项：注视次数、总注视时间、回视次数、首个注视点的注视时间；根据各个区域的注视参数值，确定测试者对应的感兴趣区域；接收来自键盘设备或者语音识别设备的有关对感兴趣区域对应的题目的答复内容，得到题目的正确率；其中，感兴趣区域对应的题目包括以下任意一项或多项：与文字描述内容相关的信息、与图像内容相关的信息、感兴趣区域中除了文字和图片之外的其它信息；根据漏字参数、误判参数、题目的正确率、以及测试者阅读视觉注意测试材料所用时间，确定测试者的视觉注意等级。
在一种可能实现的方式中，根据注视点位置信息以及视觉注意测试内容，确定测试者的视觉注意等级，具体包括：根据每个瞳孔在第一显示设备上的注视点位置信息，计算在第一显示设备上两眼注视点之间的平均距离；在两眼注视点之间的平均距离超出预设阈值时，根据以下一项或多项确定测试者的视觉注意等级：测试者在阅读多个E字标时漏字参数、误判参数，以及测试者阅读视觉注意测试内容时所用时间、两眼注视点之间的平均距离。
在一种可能实现的方式中，根据注视点位置信息以及视觉注意测试内容，确定测试者的视觉注意等级，具体包括：根据与第一部分E字标对应的第一数据或第二数据，确定垂直阅读时间和水平阅读时间，垂直阅读时间是测试者阅读第一部分E字标所用的时间；以及根据与第二部分E字标对应的第一数据或第二数据，确定水平阅读时间以及在阅读第二部分E字标时的漏字个数和/或增字个数，水平阅读时间是测试者阅读第二部分E字标所用的时间；按照以下公式确定测试者的水平调整时间：
计算水平调整时间和垂直阅读时间的比值；在比值超出预设取值范围时，根据比值以及阅读多个E字标的漏字参数、误判参数，以及测试者阅读视觉注意测试内容多个E字标所用时间中的一个或多个，确定测试者的视觉注意等级。其中，视觉注意测试内容包括：第一部分E字标和第二部分E字标，第一部分E字标为按照预设规则排列并提示测试者按照竖直方向阅读的多个E字标；第二部分E字标为按照预设规则排列并提示测试者按照水平方向阅读的多个E字标。
在一种可能实现的方式中，根据注视点位置信息以及视觉注意测试内容，确定测试者的视觉注意等级，具体包括：通过第一显示设备展示单个E字标，以及提示测试者阅读单个E字标的时间；确定测试者阅读单个E字标时在第一显示设备上的注视点位置信息，并根据注视点位置信息确定测试者的稳定注视时间；稳定注视时间为测试者在单个E字标预设范围内的注视时间；在稳定注视时间小于预设阈值时，根据稳定注视时间以及阅读多个E字标的漏字参数、误判参数、以及测试者阅读视觉注意测试内容所用时间中的一个或多个，确定测试者的视觉注意等级。
在一种可能实现的方式中，根据若干面部图像识别出各面部图像对应的眼部图像，具体包括：通过粗定位方式，根据面部识别模型确定测试者粗定位眼部图像；对粗定位眼部图像进行灰度处理；根据灰度处理后的粗定位眼部图像的大小构建横向算子，且横向算子为奇数；将横向算子与灰度处理后的粗定位眼部图像卷积，得到粗定位眼部图像的横向灰度变化曲线；将粗定位眼部图像的横向灰度变化曲线的最大值，作为眼睛区域横向上的中心位置；根据眼睛区域横向中心位置的预设比例的纵向两个位置处，确定眼镜区域的上边界和下边界；根据眼睛区域的上边界和下边界，对粗定位眼部图像进行截取，得到眼睛区域的横向位置图像；对横向位置图像中的每个像素，计算在上边界和下边界的纵向灰度积分函数，得到纵向灰度积分函数图像，将纵向积分函数图像最外侧的两个波峰对应的位置，作为眼睛区域在纵向上的左边界和右边界；根据眼睛区域的左边界和右边界，对横向位置图像进行截取，得到面部图像对应的眼部图像。
在一种可能实现的方式中，基于瞳孔位置数据，确定测试者对视觉注意测试内容在第一显示设备上的注视点位置信息，具体包括：根据预设阈值对眼部图像进行二值化处理，得到含有反光点的二值化图像；计算二值化图像中所有反光点的面积；将反光点的面积对应的数值在预设取值区域范围内的反光点，作为角膜反光点；根据瞳孔中心位置与角膜反光点位置的相对偏移量，确定测试者对视觉注意测试内容在第一显示设备上的注视点位置信息。
在一种可能实现的方式中，确定测试者对视觉注意测试内容在第一显示设备上的注视点位置信息，具体为：计算眼部特征向量P，眼部特征向量P为：P＝[θ1，θ2，L1，L2，Dx，Dy]，其中：θ1为瞳孔位置变化的方向角；θ2为眼部图像中两个内眼角连线与图像水平方向夹角；L1为瞳孔在长轴方向的变化数据，L2为瞳孔在短轴方向的变化数据；(Cx，Cy)为眼部图像中两个内眼角连线中点位置；以眼动特征向量P作为输入，通过预先训练好的神经网络模型，得到误差补偿值(xc，yc)；根据误差补偿值(xc，yc)与预先计算好的注视点位置信息，更新测试者对视觉注意测试内容在第一显示设备上的注视点位置信息。
在一种可能实现的方式中，在所述获取测试者在阅读所述多个E字标时的若干面部图像之后，所述方法还包括：根据以及当S＜7时，判断所述面部图像为模糊图像，其中，gx(i，j)和gy(i，j)分别是用眼图像f在x和y方向的梯度图，m，n分别是用眼图像f在x和y方向的行列数，Gnum是x方向梯度图和y方向梯度图的非零梯度值的个数总和。根据 以及确定所述模糊图像中的前景模糊图像，其中，q(x，y)为前景模糊图像，c为第三预设值，d为第四预设值，Nh是模糊图像中位置为(x，y)的像素的邻域内的像素的总数，h(x，y)是模糊图像中位置为(x，y)的像素的邻域内的像素点的集合，I(s，t)是模糊图像中位置为(x，y)的像素的灰度值，m(x，y)是I(x，y)的均值。采用高斯滤波对确定出的前景模糊图像进行处理，得到前景清晰图像，作为经过图像去模糊后的若干面部图像。
另一方面，本申请实施例还提供了一种基于眼球运动的视觉注意检测系统，系统包括：眼动追踪装置，第一显示设备，主机。第一显示设备，用于显示视觉注意测试内容；其中，视觉注意测试内容包括：按照预设规则排列的多个E字标，以及提示测试者阅读多个E字标的顺序的信息。眼动追踪装置，用于向在阅读多个E字标的测试者的眼部发射红外光，并对测试者在阅读多个E字标时的面部进行连续拍摄，获得若干面部图像。主机，用于获取眼动追踪装置拍摄的若干面部图像，根据若干面部图像识别出各面部图像对应的眼部图像，根据眼部图像确定眼部图像对应的瞳孔位置数据；其中，瞳孔位置数据为眼部图像中的瞳孔中心位置与角膜反光点位置之间的相对偏移量；基于瞳孔位置数据，确定测试者对视觉注意测试内容在第一显示设备上的注视点位置信息；以及根据注视点位置信息以及视觉注意测试内容，确定测试者的视觉注意等级。
在本申请实施例提供的一种基于眼球运动的视觉注意检测方法和系统中，通过确定测试者的注视点位置信息，并根据得到的注视点位置信息和显示在第一显示设备上的视觉注意测试内容，从而确定测试者的视觉注意等级。在上述技术方案中，通过自动化方式对测试者的视觉注意进行评价，使其视觉注意检测的评价结果更加客观、准确，避免了在人为的视觉注意检测过程中因人的主观想法对评价结果造成一定的影响。
附图说明
此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附图中：
图1为本申请实施例提供的一种基于眼球运动的视觉注意检测系统的示意图；
图2为本申请实施例提供的一种基于眼球运动的视觉注意检测方法的流程图；
图3为本申请实施例提供的一种E字标显示第一显示设备上的示意图；
图4为本申请实施例提供的另一种E字标显示第一显示设备上的示意图；
图5为本申请实施例提供的一种文字和图片显示第一显示设备上的示意图；
图6为本申请实施例提供的E字标显示在第一显示设备上时划分多个区域的示意图；
图7为本申请实施例提供的文字和图片显示第一显示设备上划分多个区域的示意图；
图8为本申请实施例提供的测试者的注视点显示第二显示设备上的示意图；
图9为本申请实施例提供的一种确定测试者的视觉注意等级的方法流程图。
具体实施方式
为了更清楚的阐释本申请的整体构思，下面结合说明书附图以示例的方式进行详细说明。
本申请实施例提供的一种基于眼球运动的视觉注意检测方法和系统，通过测试者的眼动信息来评价该测试者的视觉注意水平，实现了自动化评价人们的视觉注意水平，提高了视觉注意水平评价的客观性，弥补了现有临床中视觉注意检测的不足。
图1为本发明实施例提供的一种基于眼球运动的视觉注意检测系统的示意图。如图1所示，上述基于眼球运动的视觉注意检测系统包括：眼动追踪装置110、第一显示设备120、第二显示设备130、主机140。其中，第一显示设备120用于展示视觉注意测试内容。第二显示设备130除了用于展示视觉注意测试内容外，还用于实时的展示测试者在第一显示设备120上的注视点位置。
如图1所示，可以将眼动追踪装置110设置在第一显示设备120的下方。在第一显示设备120向测试者显示视觉注意测试内容时，由眼动追踪装置110监测测试者的眼球运动。主机140根据眼动追踪装置110检测到的数据，计算出测试者在第一显示设备120上的注视点位置信息，并且可以将计算获得的测试者的注视点位置信息显示在第二显示设备130上。以及主机140会对测试者在第一显示设备120上的注视点位置信息进行分析，进而对测试者的视觉注意水平进行客观的评价并确定出测试者的视觉注意等级。
在本申请说明书中，上述眼动追踪装置110包括至少一个红外光源、红外相机。其中，眼动追踪装置110中的红外相机可以用红外摄像机所替代。
上述第一显示设备120、第二显示设备130均可以为液晶显示器、发光二极管显示器、场发射显示器和/或其他合适种类的显示器，在此并不限制其种类。并且，上述第一显示设备120、第二显示设备130可以是同种类的显示器，也可是不同种类的显示器，在此处亦不限制。
上述主机140可以使是现有的一种计算机设备，显然可以包括中央处理器，或是其他可程序化值以便用途或特殊用途的微处理器、数字信号处理器、专用集成电路或其他类似装置或这些装置的组合以及存储器。
上述存储器可以是例如是任何形式的固定式或可移动式随机存取存储器、只读存储器、硬盘或其他类似装置或这些装置的组合。存储器中包括至少一份视觉注意测试内容。
以下结合上述图1来详细说明基于眼球运动的视觉注意检测方法的各步骤，
图2为本申请实施例提供的一种基于眼球运动的视觉注意检测方法的流程图。如图2所示，基于眼球运动的视觉注意检测方法包括步骤S201至步骤S206。
S201，第一显示设备120显示视觉注意测试内容，视觉注意测试内容包括：按照预设规则排列的多个E字标，以及提示测试者阅读多个E字标的顺序的信息。
其中，上述视觉注意测试内容可以是预先存储且预先设定的、用于检测测试者视觉注意的检测方案。
在本申请说明书中，上述按照预设规则排列的多个E字标和提示测试者阅读多个E字标的顺序，可以以图3、图4的形式在第一显示设备120上进行显示。并且，可以以图3、图4中显示的文字提示信息和箭头的方式，以提示测试者阅读多个E字标的顺序。在本申请说明书中，提示测试者阅读多个E字标的顺序还可以语音提示信息和箭头的方式进行显示。例如，在第一显示设备120显示多个E字标时，语音提示测试者按照第一显示设备120上显示的箭头指示的方向尽可能快地、准确的读出下列E字标的开口朝向。
如图3、图4所示，每次显示在第一显示设备120上的E字标为30个，图3所示的E字标竖直方向按照等间距的方式排列，图4所示的E字标通过人眼的眼跳特征设置的间距进行排列。
在本申请说明书中，E字标的个数并不限制于30个，E字标的排列方式以及箭头也不限于图3和图4的表现形式，也可根据实际使用情况进行调整。在本申请的一个实施例中，视觉注意测试内容还包括：与E字标排列规律不相关且按照预设规则排列的文字和/或图片。
在本申请说明书中，上述文字可以包括多个片段，这里所提到的片段例如为章节、段落、小节等。并且，根据测试者的年龄或文化水平可以选择显示在第一显示设备120上的文字和/或图片。例如，测试者为青少年时，按照其文化程度可以采用文字和图片结合的方式显示在第一显示设备120上，如图5所示。
在本申请说明书中，除了通过第一显示设备120上显示提示信息用于提示测试者尽可能快地、准确地阅读之外，还可以提前设置视觉注意测试内容的显示时间，在超过显示时间后，视觉注意测试内容关闭。
需要说明的是，在本申请说明书中提到的显示在第一显示设备120上的E字标可以与国际视力表中视力0.25对应的E字视标相同。并且，测试者与第一显示设备120之间的距离可以为40cm，也可以是60cm，只需E字标的大小是0.25视力对应的大小即可。
S202，眼动追踪装置110中的至少一个红外光源对测试者的眼部发射红外光。
在本申请说明书中，红外光源可以是波长为850nm或940nm的近红外光源。
通过上述方式测试者的眼部的角膜上形成反光点，以便于后续确定测试者在第一显示设备120上的注视点位置信息。
本领域技术人员可以理解的是，上述步骤S201、S202顺序不限于先执行步骤S201再执行步骤S202，也可以先执行步骤S202再执行步骤S201，或者步骤S201、步骤S202同时执行。
S203，眼动追踪装置110中的红外相机对测试者的面部连续拍摄，得到该测试者的若干面部图像。
在本申请说明书中，也可以用红外摄像机替代上述的红外相机，下面均以红外相机为例。
通过上述技术方案，红外相机连续拍摄测试者的面部图像，该面部图像中不仅包括人眼、还包括人脸以及周围环境在内的干扰环境。
由于测试者在视觉注意测试过程中，可能会出现头部晃动而导致红外相机拍摄的面部图像不清楚，从而影响后续对眼部图像的识别。因此，主机140在获取测试者在阅读多个E字标时的若干面部图像后，可以先判断获取到的面部图像是否为模糊图像，在面部图像为模糊图像时，对确定出的模糊图像进行图像去模糊处理，以提高面部图像的清晰度，从而提高后续视觉注意评价的准确性。
具体地，首先，由于对非模糊图像进行处理可能会破坏图像原本的质量。因此，主机140可根据确定面部图像的梯度图，并根据判断面部图像是否为模糊图像。其中，gx(i，j)和gy(i，j)分别是面部图像f在x和y方向的梯度图，m，n分别是面部图像f在x和y方向的行列数，Gnum是x方向梯度图和y方向梯度图的非零梯度值的个数总和。当S＜7时，主机140可判断该面部图像为模糊图像。其中，该数值7可通过实验确定。
其次，主机140可根据 以及mx，y＝1Nh(s，t)∈h(x，y)Is，t，确定出模糊图像中的前景模糊图像。其中，q(x，y)为前景模糊图像，c为第三预设值，d为第四预设值，Nh是模糊图像中位置为(x，y)的像素的邻域内的像素的总数，h(x，y)是模糊图像中位置为(x，y)的像素的邻域内的像素点的集合，I(s，t)是模糊图像中位置为(x，y)的像素的灰度值，m(x，y)是I(x，y)的均值。
最后，主机140可采用高斯滤波对确定出的前景模糊图像进行处理，得到前景清晰图像，再将该前景清晰图像作为经过图像去模糊处理后的面部图像，进行图像识别。
需要说明的是，上述前景模糊图像可以是指面部图像除去周围环境等的人脸部分的图像。
这种图像处理方法，能够将模糊图像中的前景图像部分从原图像中分离出来，以针对这一前景图像部分进行处理，恢复图像的清晰度，且减少了设备的工作量。
在本申请说明书中，也可以在第一显示设备120的前方40cm处放置用于固定测试者头部的支架，从而减少在后续计算注视点位置信息时因测试者头部运动造成一定的误差。
S204，主机140获取测试者在阅读多个E字标时的若干面部图像，根据所述若干面部图像识别出各面部图像对应的眼部图像，并根据若干眼部图像确定眼部图像的瞳孔位置数据。
在本申请说明书中的一种实现方式中，可以通过以下方式从面部图像中识别出相应的眼部图像：首先，将获取到的面部图像进行灰度化以后，把灰度后的若干面部图像进行二值化处理，获得若干面部图像相应的面部二值化图像。
其次，再根据得到的上述面部二值化图像以及人脸结构特征，得到面部图像对应的眼部图像。
在本申请说明书中的另一种实现方式中，还可以通过横向和纵向两个方向对眼部图像进行定位。由于人眼不论在横向还是纵向都是人脸中变化最显著的区域，因此，可基于人脸中灰度变化来定位眼部图像。下述为通过人脸中灰度变化来定位眼部图像的具体方法：
首先可以通过训练相应的定位模型，对各面部图像进行粗定位，得到粗定位眼部图像。在训练定位模型时，可以预先采集若干个包含眼部区域的人脸图像作为训练样本，将面部图像作为输入，粗定位眼部图像作为输出，对该模型进行训练。其中，为减少识别时的工作量，以及减少颜色信息对识别的影响，可以将面部图像灰度化后再输入至模型中。在下述实施例中，如无特殊说明，则图像均为进过灰度化处理后的图像。
其中，分类器可以由AdaBoost学习算法训练得到，并通过多级分类器结构来实现。在AdaBoost算法中，每个训练样本均被赋予一个权重。在每一轮的迭代过程中，如果某个训练样本能被本轮的弱分类器正确分类，那么在学习下一轮的弱分类器之前，需要减小这个样本的权重，从而降低该样本的重要性。反之，提高被本轮弱分类器误判的样本的权重，使得新一轮的训练主要围绕那些无法被正确分类的样本。
再者，从横向对眼睛区域进行定位时，可以首先根据粗定位眼部图像的大小来构造横向算子。在构造横向算子时，根据眉粗定位眼部图像中每行的像素个数，得到像素数量指标W，并根据W的不同，得到横向算子。例如，W可以为每行所包含的像素个数n除以一个固定数再四舍五入，然后再加另一固定数值，且W为大于1的奇数。
需要说明的是，在对测试者的面部图像进行识别过程中，测试者的多个面部图像的像素数量指标W相同。而对于不同用户，像素数量指标W可以相同也可以不同。
在得到W后，若W的值为5，横向算子可以是[1，1，0，-1，-1]，若W的值为9，横向算子可以是[1，1，1，1，0，-1，-1，-1，-1]，并依次类推。
在得到横向算子后，将该横向算子与灰度处理后的粗定位眼部图像卷积，得到能表达粗定位眼部图像的横向灰度变化曲线。在眼睛区域中，由于眼睛所在的横向上，包含有虹膜、巩膜等结构，灰度变化相对于其他位置更明显，所以可以将该粗定位眼部图像的横向灰度变化曲线中的最大值，作为眼睛区域横向上的中心位置。在确定了眼睛区域的在横向上的中心位置后，可以根据该中心位置确定眼睛区域的上边界以及下边界，以确定出横向上眼睛区域所在的位置。
具体地，可以根据该粗定位眼部图像的横向灰度变化曲线中的最大值，来确定上边界以及下边界。例如，在该粗定位眼部图像的横向灰度变化曲线中最大值粗定位眼部图像在所对应的位置处，分别向上以及向下，直至到达该粗定位眼部图像的横向灰度变化曲线中最大值的预设比例处，例如最大值的一半处，作为眼睛区域的上边界以及下边界。即，在上边界以及下边界内的区域，为确定了横向眼睛区域。
在确定了眼睛区域的横向位置后，可以根据上边界以及下边界，在粗定位眼部图像中进行截取，得到根据横向位置确定的横向位置图像，并在该图像中确定眼睛区域的纵向位置。
在确定眼睛区域的纵向位置时，先通过横向位置图像，针对横向位置图像中每个像素，设其横坐标为x0，计算该横向位置图像在区间[y1，y2]上的纵向灰度积分函数，该纵向灰度积分函数的公式可以是：
其中，y1与y2指的是图像的上边界以及下边界所对应的坐标，图像在坐标系中的位置可以是任意的，例如，将图像的左下角作为原点，或将图像的中心点作为原点等，在此不做限定。由于眼睛区域结构比较固定，虹膜、巩膜等区域的亮度差异较明显，因此在虹膜、巩膜的边界处，纵向灰度积分函数会出现波峰或波谷。再结合先验知识中的眼睛在已确定出的区域中的大致位置，即可将纵向灰度积分函数最外侧的两个波峰或波谷所对应的位置作为眼睛区域在纵向上的左边界以及右边界。其中，先验知识指的是，根据人体生理结构等现有的成熟技术，来确定眼睛区域在图像中的大致位置。
在确定了眼睛区域的横向位置以及纵向位置，即在确定了眼睛区域在眉眼图像中上边界、下边界、左边界以及右边界后，就确定了眼睛区域。然后在粗定位眼部图像中进行截取，得到眼睛图像。其中，眼睛图像包括左眼图像以及右眼图像，由于在后续对左眼图像和右眼图像进行的处理类似，为方便描述，将左眼图像与右眼图像都称为眼部图像。
在本申请说明书中，在得到各面部图像对应的眼部图像之后，可以通过下述方式获得各眼部图像的瞳孔位置数据：
首先，根据预设的眼部图像的阶梯灰度阈值，确定不同阈值对所述眼部图像进行分割，得到分割区域以及各分割区域之间的相互包裹特性，提取出眼球区域。
这里提到的各分割区域之间的相互包裹特性是指在上下眼皮包裹的眼球区域内，由外向内依次为巩膜、虹膜和瞳孔，三者之间依次包裹的空间特征。
由于在上下眼皮包裹的眼球区域内，由外向内依次为巩膜、虹膜和瞳孔，三个区域的灰度依次降低。因此，凭借巩膜、虹膜和瞳孔三者的灰度阶梯型分布特征和三者的相互包裹特性，通过设定合适的阶梯灰度阈值，并判断不同阈值所分割区域间的相互包裹特性，就可提取出眼球区域。
在提取得到眼球区域后，在该眼球区域内选取一个灰度值最低点作为提取瞳孔区域的种子点，然后通过预设的生长阈值和边界条件，通过现有的任意一种区域生长算法，得到完整的瞳孔区域。根据该瞳孔区域，计算该瞳孔区域的中心坐标，该中心坐标即为瞳孔中心坐标。
在检测到测试者的瞳孔区域后，在该区域附近寻找角膜反光点，角膜反光点是指眼动追踪装置110中的红外点光源在眼球表面形成的光斑。由于反光点灰度远高于周围区域的灰度，通过设定合适的阈值提取反光点区域。根据该反光点区域，得到该反光点坐标。
根据该瞳孔坐标以及角膜反光点坐标，得到瞳孔位置数据。
在本申请说明书中，瞳孔位置数据是指眼部图像中的瞳孔中心位置与角膜反光点位置之间的相对偏移量。当瞳孔区域内含有多个角膜反光点时，瞳孔位置数据可以是指眼部图像中的瞳孔中心位置与上述多个角膜反光点所围成的图形的质点之间的相对偏移量。例如，作以眼部图像中至少一个角膜反光点所围成的图形的质点为圆心，确定瞳孔中心位置在该坐标系中的位置坐标，且该坐标系是以像素为单位，该位置坐标即为本申请实施例中提到的瞳孔位置数据。
角膜反光点在眼部图像上一般为亮度最高的区域，因此，在本申请说明书中还可以直接通过预设阈值对眼部图像进行二值化处理，通过合适的预设阈值，例如预设阈值为灰度值230。此时，角膜反光点被完全分离出来，得到含有反光点的二值化图像。
但是，在上述含有反光点的二值化图像中，可能会出现由于测试者佩戴眼镜而造成眼镜上出现反光点的情况发生，从而导致上述含有反光点的二值化图像中的反光点不仅仅只包括角膜反光点，进而影响对角膜反光点的确定。
因此，还需要对角膜反光点的轮廓面积进行限定，从而排除眼镜反光点等的干扰。具体地，在含有反光点的二值化图像中，计算所有反光点的面积，将面积位于预设取值范围内的反光点作为角膜反光点。反之，不在上述区域内的反光点作为干扰点。
S205，主机140基于瞳孔位置数据，确定所述测试者对所述视觉注意测试内容在第一显示设备120上的注视点位置信息。
其中，上述注视点位置信息可以是指注视点位置坐标和各注视点对应的时间信息。各注视点对应的时间信息可以由红外相机拍摄面部图像的时间确定。
在本申请的一个实施例中，可以以计算得到的瞳孔位置数据作为已知数据，再通过多项式拟合算法计算出测试者在第一显示设备120上的注视点位置坐标。
具体地，以二次多项式为例，计算测试者在第一显示设备120上的注视点位置坐标(XP，YP)：
其中，上式(xP，yP)为本申请说明书中的瞳孔位置数据。且在眼动追踪装置110为单相机单光源中，(xP，yP)是眼部图像中的瞳孔中心与角膜反光点位置之间的相对偏移量；在眼动追踪装置110为单相机多光源中，(xP，yP)是眼部图像中的瞳孔中心与多个角膜反光点所围成的图形的质点的相对偏移量。
上式中的a0～a11为待定的未知系数，可以通过校准过程获得。该校准过程需要在视觉注意测试之前进行，在第一显示设备120上的多个位置处预先设置依次显示校准点的位置坐标，即已知上述公式(1)中的注视点位置坐标(XP，YP)。针对每个校准点，通过测试者查看该校准点，得到针对该测试者在查看相应校准点的瞳孔位置数据，即得到上述公式(1)中的xP和yP。因此，可以得到以a0～a11为未知数的一组上面所示的方程。因此，通过设置多个校准点，即可以计算得出a0～a11。其中，在校准过程中，至少包括3个校准点，校准点越多计算所得的注视点位置坐标的精准度越高。
在上述的校准过程中，测试者头部的运动可能会造成一定的误差。为解决上述问题，在第一显示设备120的前方40cm或60cm处放置用于固定测试者头部的支架，以减少测试者头部在运动过程中造成测试者和红外相机之间的距离的变化。
在测试者进行视觉注意测试的过程中，还可能因头部运动造成估计注视点位置时造成误差。
为了更进一步消除注视点位置估计误差，例如由头部转动带来的注视点位置估计误差，本申请说明书可以通过眼部特征向量P来进行误差补偿，眼部特征向量为：
P＝[θ1，θ2，L1，L2，Dx，Dy]
其中：θ1为瞳孔位置变化的方向角，反映了测试者在视觉注意检测过程中注视点变化或者头部转动；θ2为眼部图像中两个内眼角连线与图像水平方向夹角，反映了头部转动；L1为瞳孔的在长轴方向的变化数据，L2为瞳孔在短轴方向的变化数据，反映了测试者的注视点变化或者头部位置变化；(Cx，Cy)为眼部图像中两个内眼角连线中点位置，作为相对静止参考点，反映了头部当前位置与校准位置的变化。
由于注视点位置变化能够通过瞳孔位置数据来确定，因此，眼部特征向量P可以有效地反映头部转动，提供了头部运动时误差补偿的依据。
以眼动特征向量P作为输入，通过预先训练好的神经网络模型，得到误差补偿值(xc，yc)。
最后，将误差补偿值(xc，yc)与注视坐标(XP，YP)相加，以更新注视点坐标。
上述计算出的测试者在第一显示设备120上的注视点位置信息可以实时地显示在第二显示设备130上(如图8所示，实心圆为左眼，空心圆为右眼)，以便于实时观测测试者在检测过程中的眼球运动状态。
本领域技术人员可以理解，注视点按时间顺序连接便形成相应的注视轨迹。因此，根据注视点位置信息就可以得到测试者对视觉注意测试内容在第一显示设备120上的注视轨迹。
此外，还可以以反光点为圆心确定的瞳孔中心位置的坐标作为上述瞳孔位置数据，根据该瞳孔中心位置的坐标确定瞳孔的位移，并根据瞳孔的位移确定测试者在第一显示设备120上的注视点位置信息。
具体地，可以先根据红外相机拍摄的首张面部图像，确定测试者的首个瞳孔位置数据，从而获得该图像的瞳孔中心位置的坐标。以及上述瞳孔中心位置坐标对应的测试者在第一显示设备120中的首个注视点位置坐标。然后，根据每张面部图像的瞳孔中心位置的坐标，确定瞳孔的位移。最后根据预先得到的瞳孔的位移与注视点在第一显示设备120上的位移的映射关系，确定测试者在第一显示设备120上的注视点位置信息，并可以将该注视点位置信息展示在第二设备120上。
此外，在眼球运动过程中，正常状态下两眼在第一显示设备120上的注视点是几近重合的，对测试者的其中一只眼睛计算即可获得测试者在第一显示设备120上的注视点位置信息。而在非正常状态下(例如斜视)两眼在第一显示设备120上的注视点之间存在一定的距离，因此需要选定阅读过程中的主视眼，根据该主视眼的眼球运动确定测试者在第一显示设备120上的注视点位置信息。或者根据两眼的中点位置，根据该中点位置的位移确定测试者在第一显示设备120上的注视点位置信息，在此不做限定。
S206，在通过第一显示设备120展示视觉注意测试内容之后，主机140根据测试者在第一显示设备120上的注视点位置信息以及第一显示设备120展示的视觉注意测试内容，确定测试者的视觉注意等级。
在本申请的一个实施例中，主机140确定测试者的视觉注意等级，具体包括以下步骤(如图9所示)：
S901，主机140接收来自键盘设备的第一数据或者语音采集设备的第二数据。
其中，上述第一数据为按键设备根据测试者按照阅读多个E字标的顺序，按压与E字标开口朝向相对应的按键所得到的数据。上述第二数据为语音采集设备采集的测试者按照阅读多个E字标的顺序，朗读多个E字标开口朝向的语音数据。
S902，主机140基于第一数据或第二数据，确定测试者所确定的相应E字标开口朝向。
在本申请说明书中，主机140对接收到的第一数据进行语音识别或者对接收的第二数据进行分析，从而得到测试者所确定的相应E字标的开口朝向。
例如，语音采集设备采集到的第一数据为“向上”或者“上”，则主机140通过语音识别算法解析获得测试者确定当前E字标开口朝向为向上。再例如，键盘设备采集到的第二数据为测试者按下箭头方向“向左”的按键，主机140通过分析可知测试者确定当前E字标的开口朝向为向左。
S903，主机140根据所述测试者在视觉注意检测过程中所确定的相应E字标的开口朝向、所述视觉注意测试内容中的多个E字标及提示测试者阅读多个E字标顺序的信息，以及所述测试者在第一显示设备120上的注视点位置信息，确定测试者在阅读多个E字标时的漏字参数和/或误判参数。
其中，上述漏字参数与漏字次数和漏字个数有关，误判参数与误判个数有关，所述视觉注意测试内容中多个E字标及阅读顺序是预设内容。例如，图4中所示的第一行E字标，预设的阅读视觉注意测试内容中多个E字标的顺序为：上、右、右、上、右。
针对每一个E字标，可以先通过测试者在视觉注意检测过程中所确定的相应E字标的开口朝向、预设的视觉注意测试内容中多个E字标及阅读顺序、以及测试者在第一显示设备120上的注视点位置信息，依次进行比对和匹配，即可得出测试者在阅读多个E字标时的漏字参数。然后，在根据测试者在视觉注意检测过程中所确定的相应E字标的开口朝向、预设的视觉注意测试内容中的多个E字标及阅读顺序、以及测试者在第一显示设备120上的注视点位置信息，确定测试者在阅读多个E字标过程中的误判参数。
例如，预设的视觉注意测试内容中的多个E及阅读顺序为图4所示，则图4中显示前两行的E字标对应的开口方向为：上、右、右、上、右、右、右、下、左、左，而测试者实际确认的E字标对应的开口朝向为：上、右、右、上、右、右、右、下、左、右。根据注视点位置信息和得知测试者所确定的第一行第二个E字标实际察看到的是第二行第二个E字标，则测试者所确定的第一行第二个E字标也属于误判。因此，该测试者在前两行中误判个数为2个。
再例如，图4中显示前两行的E字标对应的开口方向为：上、右、右、上、右、右、右、下、左、左，而测试者实际确认的E字标对应的开口朝向为：上、右、右、下、左、左。如，根据阅读顺序得到是第二行第二个E字标，而根据注视点位置信息得知测试者所确定的第一行第三个E字标，则测试者在前两行中漏字次数为1次，漏字个数为4个。
需要说明的是，上述方式仅为本申请说明书确定误判参数和漏字参数的一个例子。在本说明书中，也可以同时确定误判参数和漏字参数，或者先确定误判参数再确定漏字参数，在此不作限定。
S904，主机140将按照预设规则排列的多个E字标在第一显示设备120上的显示内容，按照预设规则划分为多个区域。
例如，将具体相互关联密切的内容划分为一个区域，如图6所示，将图中显示E字标的部分划分为编号分别为1、2、3、4的四个区域。需要说明的是，如图6中的划分并不显示在第一显示设备120上，防止影响测试者的视觉注意测试。
S905，根据测试者的瞳孔位置数据，确定测试者对上述多个区域中各个区域的注视参数值。
其中，上述注视参数值包括以下任意一项或多项：注视次数、总注视时间、回视次数、首个注视点的注视时间。
需要说明的是，注视次数、总注视时间、回视次数、首个注视点的注视时间均可以由对应的区域内的注视点获得。例如，回视次数可以通过区域内各注视点间的位置关系确定。
S906，根据各个区域的注视参数值，确定测试者对应的感兴趣区域。
在本申请说明书中，可以将注视次数最多的区域作为测试者的感兴趣区域；也可以将总注视时间超过预设阈值的区域作为感兴趣区域；最后，还可以为注视次数、总注视时间、回视次数、首个注视点的注视时间分别设定相应的权重，并且按照预设规则根据各区域内的注视次数、总注视时间、回视次数、首个注视点的注视时间分配相应的分值，从而确定测试者的感兴趣区域，在此不做限定。
例如，提前划定的区域编号分别为1、2、3、4，如图6所示。1区域对应的注视次数为50，2号区域对应的注视次数为52，3号区域对应的注视次数为47，4号区域对应的注视次数为80，则将4号区域作为测试者的感兴趣区域。
再例如，提前划定的区域编号分别为a、b、c、d，注视次数、单次注视时间分别对应的权重为0.8、0.2。在a区域内，测试者的注视次数为80，其对应的分值为80；单次注视时间225ms，其对应分值为88。则计算出的a区域对应的总分值为80×0.8+88×0.2＝81.6。其他区域以此类推计算出其对应的总分值，可以将总分值最高的区域作为测试者的感兴趣区域。
S907，接收来自键盘设备语音采集设备的有关对感兴趣区域对应的题目的答复内容，得到题目的正确率。
在本申请说明书中，为按照预设规则划分得到的多个区域分别设定对应的题目。
在确定出测试者的感兴趣区域后，第一显示设备120上显示该感兴趣区域对应的题目，以指示测试者进行答题。
其中，所述感兴趣区域对应的题目包括以下任意一项或多项：至少一个预设位置的E字标的颜色、一个预设位置的E字标的形状、一个预设位置的E字标的字体、多个预设E字标排列组合成的形状、感兴趣区域中除E字标之外的其它内容、一个预设位置的E字标的开口朝向。
例如，将第一显示设备120中显示的E字标划分为编号分别为1、2、3、4的4个区域，如图6所示。以1号区域为例，将该区域中的最后一个E字标设定为红色，其他E字标均为黑色。则1号区域对应的题目可以设定为：从下述选项中选择1号区域内的首个E字标的颜色。
或者将首个E字标的字体设定为黑体，其他均为正常宋体。则1号区域对应的题目可以设定为：下面这句话是否正确：1号区域内的首个E字标为宋体。
或者可以将1号区域内的多个E字标组合成心形的图案，相应地题目可以设定为：1号区域内E字标组成的图案为以下哪种形式。
再或者，在1号区域内的预定位置嵌入小狗的图案，对应地题目设定为：1号区域内的图案为以下哪种动物。其他区域中也可以采取相似的方式设定题目。
亦或者，可以将1号区域内对应的题目设定为：1号区域内首个E字标的开口朝向。
需要说明的是，上述方式仅是本申请提供的一个实施例。在本申请实施例中，如何设定每个区域对应的题目，可以根据实际情况进行调整或设定。
通过这种方式，可以对测试者在其感兴趣区域进行进一步的检测。
上述题目可以是客观题，例如选择题、判断题等，以便于测试者对题目进行答复。
S908，主机140根据测试者阅读视觉注意测试内容所用时间、上述漏字参数、误判参数、题目的正确率、以及测试者阅读视觉注意测试材料所用时间，确定测试者的视觉注意等级。
在本申请说明书中，也可以先通过步骤S904-S907获得题目的正确率，再通过上述S901-S903获得漏字参数、误判参数，在此并不限制确定漏字参数、误判参数以及题目的正确率的顺序。
在本申请说明书中，可以通过下述方式确定测试者的视觉注意等级：
根据测试者阅读视觉注意测试内容所用时间与预设时间的比值、漏字参数对应的数值、误判参数对应的数值、题目的正确率、按照预设的规则分别分配不同的分值，并为上述三个参数设定不同的权重，从而计算出测试者的视觉注意分数，如下述公式：
H＝ax1+bx2+cx3+dx4， (2)
其中，上述x1为漏字参数对应的分值，x2为误判参数对应的分值，x3为题目的正确率对应的分值，x4为测试者阅读视觉注意测试内容所用时间与预设时间的比值对应的分值；a为漏字参数对应的权重，b为误判参数对应的权重，c为题目的正确率对应的权重，d为测试者阅读视觉注意测试内容所用时间与预设时间的比值对应的权重。
根据预设的视觉注意分数的取值范围划分的视觉注意等级，确定测试者的视觉注意分数对应的视觉注意等级。
例如，在视觉注意检测中，测试者的漏字参数对应分值为80分，权重为0.4；误判参数对应分值为90，权重为0.4；题目的正确率为0.8，其对应分值为80，权重为0.1；测试者阅读视觉注意测试内容所用时间和时间的比值为1.1，其对应分值为80，权重为0.1，则测试者的视觉注意分数为84。若预先设定视觉注意分数的取值范围为70-90时，视觉注意的等级为3级，因此该测试者的视觉注意等级为3级。此外，视觉注意等级也可以仅包括合格和不合格，例如视觉注意分数在60分以上为合格，反之不合格。
进一步地，漏字参数包括漏字个数和漏字次数，漏字参数对应的分值可以通过分别为漏字个数、漏字次数设定不同的权重，并根据其分别的个数分配相应的数值，从而计算出漏字参数对应的分值。
例如：视觉注意检测过程中，设定漏字次数对应的权重为0.8、漏字个数对应的权重为0.2。某测试者的漏字个数为3个，其对应分值为70分；漏字次数为1次，其对应分值为80分，则该测试者的漏字参数对应的分值为70×0.2+80×0.8＝78。
在本说明书中，漏字参数、误判参数、题目的正确率对应的分值和权重都可以根据实际情况进行调整，视觉注意等级对应的视觉注意分数的取值范围也可以根据实际情况进行调整，例如建立关于视觉注意测试的数据库，对数据库中存储的视觉注意分数进行分析，从而调整视觉注意等级的划分，并不限于上述形式。
此外，由本领域技术人员可知，当人的眼睛出现斜视、扫视异常、注视异常等眼球运动异常的情况时，均会造成对人的视觉注意产生一定的影响。因此，在本申请说明书中提到的基于眼球运动的视觉注意检测方法中，如果出现测试者存在斜视、扫视异常、注视异常等眼球运动异常的问题，也会对评价测试者的视觉注意产生一定的干扰。
在本申请说明中，基于眼球运动的视觉注意检测方法中还包括：在测试者确定为斜视、扫视异常、注视异常的情况下，可以在公式(2)的基础上按照以下任意一种公式计算得到测试者的视觉注意分数：
H＝ax1+bx2+cx3+dx4+e； (3)
H＝(ax1+bx2+cx3+dx4)×f； (4)
其中，e为测试者确定为斜视或扫视异常或注视异常而对应的基本分值，且e为正数，f为测试者确定为斜视或扫视异常或注视异常而对应的加权系数，且f大于1。
在本申请说明书中，基于眼球运动的视觉注意检测方法还可以通过测试者两眼间的距离确定测试者为斜视，具体方法如下所示：
首先，根据测试者的瞳孔位置数据，确定测试者的每只眼睛在第一显示设备120上的注视点位置信息。
其次，根据测试者在第一显示设备120上的每只眼睛的注视点位置信息，计算测试者的两眼注视点之间的平均距离。
最后，在两眼注视点之间的平均距离超出预设阈值时，确定该测试者为斜视。
这时，按照公式(3)或公式(4)计算，即可得到存在斜视的测试者的视觉注意分数。其中，公式(3)中的e为所述两眼注视点之间的平均距离大于预设阈值而对应的基本分值，且所述e为正数；公式(4)中的f为所述两眼注视点之间的平均距离大于预设阈值而对应的加权系数，且f大于1。
例如，测试者的斜视等级对应的基本分值为25分，按照常规的计算方法测试者的视觉注意分数为65分，则该患有斜视的测试者的视觉注意分数为65+25＝90分。
再例如，测试者的斜视等级对应的加权系数为1.3分，按照常规的计算方法测试者的视觉注意分数为60分，则该患有斜视的测试者的视觉注意分数为60×1.3＝78分。
需要说明的是，眼动追踪装置110可以对测试者的每只眼睛进行追踪，从而获得测试者在第一显示设备120上的每只眼睛的注视点位置信息。计算测试者在第一显示设备120上的注视点位置信息在上文中已进行过阐述，在此不再加以叙述。
此外，在本申请说明书中还可以根据每只眼睛在第一显示设备120上的注视点位置信息，确定测试者的左右眼分别对应的注视点的相对位置信息，从而确定该测试者的斜视类型和/或斜视度。
上述测试者的斜视类型可以包括内斜视、外斜视、上斜视和下斜视等。例如，某测试者在视觉注意测试时，显示在第二显示设备130上的两只眼睛的注视点存在以下状况：以测试者的右眼作为定点，测试者的左眼对应的注视点在右眼对应的注视点的左侧，则该测试者为内斜视。
在本申请说明书中，显示在第一显示设备120上的视觉注意测试内容包括第一部分E字标和第二部分E字标。
其中，第一部分E字标为E字标在竖直方向等间距排列并提示测试者按照垂直方向阅读的多个E字标，如图3所示。第二部分E字标是指根据人眼在阅读时的眼跳特征排列并提示测试者按照水平方向阅读的多个E字标，如图4所示。
在第一显示设备120显示的视觉注意测试内容包括上述第一部分E字标和第二部分E字标的情况下，该基于眼球运动的视觉注意检测方法还可以用于确定测试者是否存在扫视异常，具体方法如下：
首先，通过上述步骤S701中的第一数据或第二数据，确定测试者阅读第一部分E字标时所花费的时间，作为垂直时间；以及确定测试者阅读第二部分E字标时所花费的时间，作为水平时间。
再者，根据测试者在视觉注意检测过程中所确定的第二部分E字标相应的E字标的开口方向、视觉注意测试内容中第二部分E字标及阅读顺序、以及测试者在第一显示设备120显示第二部分E字标时注视点位置信息，确定测试者在阅读第二部分E字标时的漏字个数和增字个数。
其中，增字个数是指测试者在阅读第二部分E字标时所确认的E字标，相对于视觉注意测试内容中的E字标多出的部分的个数。
其次，根据水平时间，第一显示设备120显示的第二部分E字标的总个数、阅读第二部分E字标时的漏字个数和增字个数，确定测试者在按照水平方向阅读E字标时的水平调整时间。
最后，计算水平调整时间和垂直时间的比值，在测试者的上述比值超出预设取值范围时，确定所述测试者为扫视异常。
上述水平调整时间可以按照以下公式(5)计算：
例如，如图4所示，记录测试者阅读图4中E字标的时间，作为水平时间。图4中E字标的个数均为30个，测试者在阅读图4中的E字标时的漏字个数为2个，增字个数为2个，则水平调整时间为：
此时，根据公式(3)或公式(4)计算存在扫视异常的测试者的视觉注意分数。其中，公式(3)中的e为上述比值大于预设阈值而对应的基本分值，且所述e为正数；公式(4)中的f为上述比值大于预设阈值而对应的加权系数，且f大于1。即，水平调整时间和垂直时间的比值的大小决定了e和f的大小。
在本申请说明书中，基于眼球运动的视觉注意检测方法还可以通过测试者对单个E字标的阅读确定所述测试者为注视异常，具体方法如下：
第一显示设备120显示单个的E字标，并提示测试者阅读该单个E字标的时间。
在稳定注视时间小于预设阈值时，确定所述测试者为注视异常。
例如：提前设定测试者可以阅读显示在第一显示设备120中的单个E字标的时间为15s，预设阈值为5s。在15s的时间内测试者在E字标预设范围内的注视时间即稳定注视时间为3s，则可判定该测试者存在注视异常。
此时，按照公式(3)或者公式(4)计算即可存在扫视异常的测试者的视觉注意分数。其中，公式(3)中的e为稳定注视时间小于预设阈值而对应的基本分值，且所述e为正数；公式(4)中的f为稳定注视时间小于预设阈值而对应的加权系数，且f大于1。即，稳定注视时间的大小决定了e和f的大小。
需要说明的是，稳定注视时间是指在该单个E字标预设的范围内的注视时间。稳定注视时间可以是单眼的稳定注视时间，也可以是双眼的稳定注视时间。并且，根据测试者对该单个E字标在第一显示设备120上的注视点位置信息，可以通过上文中获取测试者注视点位置信息的方式得到，再次不在加以叙述。
在本申请说明书中，还可以根据测试者的稳定注视时间评价测试者的注视水平，以便于后续的使用。例如：提前设定测试者双眼或单眼一直盯着单个E字标看，每次15秒钟，记录稳定注视时间。稳定注视时间10秒以上的，为4+；稳定注视时间5秒以上的，为3+；稳定注视时间5秒以下或需要辅助的，为2+；如果注视一直不稳定的，为1+。2+或1+需进一步诊断和治疗。
通过上述技术方案，可以确定该测试者是否存在斜视、扫视异常、注视异常等问题。在测试者存在斜视、扫视异常、注视异常的情况下，可以为其设定不同于常规测试者的计算公式计算视觉注意等级的方法。
并且，随着社会发展，在教育、职业、娱乐等对视觉需求的增加，对眼球运动功能的检测和评价也急剧增加。然而，现有的临床眼球运动的检测设备也存在主观性强、缺乏标准化等问题。通过上述技术方案，本申请实施例提供的基于眼球运动的视觉注意检测方法和系统还可以检测测试者是否存在例如斜视、扫视异常、注视异常等眼球运动异常的问题，弥补了现有临床眼球运动检测的不足。
此外，由本领域技术人员可知，正常双眼视必须由正常眼球运动维持。因此，通过上述技术方案中对测试者是否存在斜视、扫视异常、注视异常等问题，从而确定测试者的双眼视是否存在异常。
在本申请提供的一个实施例中，确定题目的正确率还可以通过以下方式实现：
将在第一显示设备120上显示的按照预设规则排列的文字和/或图片，按照预设规则划分多个区域；
根据测试者的瞳孔位置数据，确定测试者对多个区域中各个区域的注视参数值，其中注视参数值包括以下任意一项或多项：注视次数、总注视时间、回视次数、首个注视点的注视时间；
根据各个区域的注视参数值，确定测试者对应的感兴趣区域；
接收来自键盘设备或者语音识别设备的有关对所述感兴趣区域对应的题目的答复内容，得到所述题目的正确率；
其中，感兴趣区域对应的题目包括以下任意一项或多项：与文字描述内容相关的信息、与图像内容相关的信息、所述感兴趣区域中除了文字和图片之外的其它信息。
例如，将第一显示设备120中显示的文字和图案划分为标号分别为a、b、c的3个区域，如图7所示。以a区域为例。与所述文字描述内容相关的信息相关的题目例如“a区域内文字描述的部分与歌声有关，这句话是否正确”。与所述图像内容相关的信息相关的题目例如“a区域内动物中有小狗，这句话是否正确”。所述感兴趣区域中除了文字和图片之外的其它信息相关的题目，例如将预先将a、b、c三个区域分别的背景颜色设定为不同的颜色，相应的题目为“a区域的背景颜色为以下哪一种”。其他区域也可用上述类似的方式对各自区域的题目进行设定。
需要说明的是，上述方式仅为本申请实施例提供的一个例子，对于各区域题目的设定可以根据情况进行调整。并且，如图6中的划分并不显示在第一显示设备120上，防止影响测试者的视觉注意测试。
通过上述方式，也可以得到测试者在视觉注意检测过程中题目的正确率。在本申请说明书中，通过E字标、文字、图片均可确定题目的正确率，在此次并不先限定以何种方式获得题目的正确率，可以根据实际需求进行选择。
需要说明的是，步骤S701-S708提供的确定测试者的视觉注意等级的方法，仅为本申请实施例提供的一个例子，并不限定于此方法。还可以仅通过误判参数和题目的正确率两个参数，或者通过漏字参数和题目的正确率两个参数，其分别对应的计算公式也要根据实际情况做出相应的调整，从而确定测试者的等级。
此外，在本申请说明书中，主机140还可以通过对测试者在第一显示设备120上的注视位置信息进行量化分析，得到测试者的单眼眼动数据和双眼眼动数据。
其中，单眼眼动数据包括测试者每只眼睛的注视轨迹、注视点数、某区域首次进入时间、某区域内注视点数和注视时间、注视热点图、各区域注视进入次数、扫视长度等。
双眼眼动数据是根据每只眼睛的单眼眼动数据可以计算得出的，包括测试者双眼注视时间差，双眼注视点差值、双眼首次进入某区域时间差值、双眼某区域首个注视点的注视时间差值、双眼进入某区域统计次数差值、双眼某区域注视时间差值、双眼扫视长度差值、双眼注视轨迹图区别、双眼注视热点图区别等。
通过上述的单眼眼动数据和双眼眼动数据还可以确定测试者是否存在眼球运动异常的现象，例如注视异常、扫视不足、间歇性斜视等，比如说双眼注视点的位置信息的差值超过一定阈值时，可以判断该测试者患有斜视。
上述单眼眼动数据和双眼眼动数据还可以作为直接评价测试者是否患有双眼视功能异常的基础数据。
需要说明的是，单眼眼动数据是指测试者在视觉注意检测时遮挡住一只眼睛仅使用另一只眼睛所获得的数据，双眼眼动数据是指测试者在视觉注意检测时同时使用两只眼睛所获得的数据。
在本申请说明书中，还可以根据测试者的眼球运动异常的数据，通过预先训练的机器学习模型，自动的为测试者提供相应的治疗方案，并可以实时监测治疗进程向测试者和医生反馈治疗效果。
在本申请说明书中，视觉注意检测过程中的拍摄的图像，以及计算过程中所有的数据均可以存储在存储模块中，以便于后期对数据的调用和分析。
需要说明的是，还可以在第二显示设备130上对显示的视觉注意测试内容中的多个E字标、文字或图片划定自定义区域，在划定的自定义区域内可以查看到该区域内的单眼眼动数据和双眼眼动数据。这里所提到的自定义区域可以是自主划定的任意图形的区域，例如划定的自定义区域的形状且正方形、圆形等。
另一方面，本申请实施例还提供了一种基于眼球运动的视觉注意检测系统，所述系统包括：眼动追踪装置110，第一显示设备120，第二显示设备130，主机140。
第一显示设备120用于显示视觉注意测试内容；其中，所述视觉注意测试内容包括：按照预设规则排列的多个E字标，以及提示测试者阅读所述多个E字标的顺序；
眼动追踪装置110用于向在阅读所述多个E字标的测试者的眼部发射红外光，并对所述测试者在阅读所述多个E字标时的面部进行连续拍摄，获得若干面部图像；
主机140用于获取眼动追踪装置110拍摄的若干面部图像，根据所述若干面部图像识别出各面部图像对应的眼部图像，根据若干眼部图像确定各眼部图像的瞳孔位置数据；以及，基于所述瞳孔位置数据，确定所述测试者对所述视觉注意测试内容在第一显示设备120上的注视点位置信息；以及根据所述注视点位置信息以及所述视觉注意测试内容，确定所述测试者的视觉注意等级。
第二显示设备130用于显示视觉注意测试内容，以及实时显示计算出的测试者在第一显示设备120上的注视点位置。
本申请实施例提供了一种基于眼球运动的视觉注意检测方法和系统，通过确定出的注视点位置信息以及测试过程中的视觉注意测试内容，确定测试者的视觉注意等级。通过上述技术方案，通过自动化的方式对测试者的视觉注意进行评价，并获得视觉注意等级，避免了在视觉注意检测过程中因为人的主观性造成的误差，使其对视觉注意的评价更加客观，同时还可以使视觉注意检测得到广泛普及。同时，本申请实施例提供的基于眼球运动的视觉注意检测方法和系统，还弥补了临床上视觉注意检测技术的不足。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
以上所述仅为本说明书的一个或多个实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书的一个或多个实施例可以有各种更改和变化。凡在本说明书的一个或多个实施例的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (13)

1.一种基于眼球运动的视觉注意检测方法，其特征在于，所述方法包括：
通过第一显示设备展示视觉注意测试内容；其中，所述视觉注意测试内容包括：按照预设规则排列的多个E字标，以及提示测试者阅读所述多个E字标顺序的信息；
获取测试者在阅读所述多个E字标时的若干面部图像，根据所述若干面部图像识别出各面部图像对应的眼部图像，根据眼部图像确定眼部图像对应的瞳孔位置数据；其中，所述瞳孔位置数据为眼部图像中的瞳孔中心位置与角膜反光点位置之间的相对偏移量；
基于所述瞳孔位置数据，确定所述测试者对所述视觉注意测试内容在第一显示设备上的注视点位置信息；
根据所述注视点位置信息以及所述视觉注意测试内容，确定所述测试者的视觉注意等级。
2.根据权利要求1所述的方法，其特征在于，在所述角膜反光点数量为多个的情况下，瞳孔位置数据为眼部图像中的瞳孔中心位置与多个角膜反光点所围成的图形的质点之间的相对偏移量。
3.根据权利要求1所述的方法，其特征在于，所述根据所述注视点位置信息以及所述视觉注意测试内容，确定所述测试者的视觉注意等级，具体包括：
基于来自键盘设备的第一数据或者来自语音采集设备的第二数据，确定所述测试者在视觉注意检测过程中所确定的相应E字标的开口朝向；
其中，所述第一数据为所述键盘设备根据测试者按照所述阅读多个E字标的顺序，按压与所述E字标开口朝向相对应的按键而得到的数据；所述第二数据为语音采集设备采集的测试者按照所述阅读多个E字标的顺序，朗读所述多个E字标开口朝向的语音数据；
根据所述测试者在视觉注意检测过程中所确定的相应E字标的开口朝向、所述视觉注意测试内容中的多个E字标及提示测试者阅读多个E字标顺序的信息，以及所述测试者在第一显示设备上的注视点位置信息，确定测试者在阅读多个E字标时的漏字参数和/或误判参数；其中，所述漏字参数与漏字次数和漏字个数有关，误判参数与误判个数相关；
基于所述漏字参数和/或误判参数，确定所述测试者的视觉注意等级。
4.根据权利要求3所述的方法，其特征在于，基于所述漏字参数和/或误判参数，确定所述测试者的视觉注意等级，具体包括：
将所述按照预设规则排列的多个E字标在第一显示设备上的显示内容，按照预设规则划分成多个区域；
根据所述测试者的瞳孔位置数据，确定所述测试者对所述多个区域中各个区域的注视参数值；其中，所述注视参数值包括以下任意一项或多项：注视次数、总注视时间、回视次数、首个注视点的注视时间；
根据所述各个区域的注视参数值，确定所述测试者对应的感兴趣区域；
接收来自键盘设备或者语音采集设备的有关测试者对所述感兴趣区域对应的题目的答复内容，得到所述题目的正确率；
其中，所述感兴趣区域对应的题目包括以下任意一项或多项：至少一个预设位置的E字标的颜色、一个预设位置的E字标的字体、多个预设E字标排列组合成的形状、感兴趣区域中除E字标之外的其它内容、一个预设位置的E字标的开口朝向；
根据所述漏字参数、误判参数、题目的正确率以及所述测试者阅读所述视觉注意测试材料所用时间，确定测试者的视觉注意等级。
5.根据权利要求3所述的方法，其特征在于，所述视觉注意测试内容还包括：与所述E字标排列规律不相关且按照预设规则排列的文字和/或图片；
在所述基于所述漏字参数和/或误判参数，确定所述测试者的视觉注意等级之前，所述方法还包括：
将在所述第一显示设备上显示的所述按照预设规则排列的文字和/或图片，按照预设规则划分成多个区域；
根据所述测试者的瞳孔位置数据，确定所述测试者对所述多个区域中各个区域的注视参数值；其中，所述注视参数值包括以下任意一项或多项：注视次数、总注视时间、回视次数、首个注视点的注视时间；
根据所述各个区域的注视参数值，确定所述测试者对应的感兴趣区域；
接收来自键盘设备或者语音识别设备的有关对所述感兴趣区域对应的题目的答复内容，得到所述题目的正确率；
其中，所述感兴趣区域对应的题目包括以下任意一项或多项：与所述文字描述内容相关的信息、与所述图像内容相关的信息、所述感兴趣区域中除了文字和图片之外的其它信息；
根据所述漏字参数、误判参数、题目的正确率、以及所述测试者阅读所述视觉注意测试材料所用时间，确定测试者的视觉注意等级。
6.根据权利要求1所述的方法，其特征在于，所述根据所述注视点位置信息以及所述视觉注意测试内容，确定所述测试者的视觉注意等级，具体包括:
根据每个瞳孔在第一显示设备上的注视点位置信息，计算在所述第一显示设备上两眼注视点之间的平均距离；
在所述两眼注视点之间的平均距离超出预设阈值时，根据以下一项或多项确定所述测试者的视觉注意等级：测试者在阅读多个E字标时漏字参数、误判参数、以及所述测试者阅读视觉注意测试内容所用时间、所述两眼注视点之间的平均距离。
7.根据权利要求1所述的方法，其特征在于，所述根据所述注视点位置信息以及所述视觉注意测试内容，确定所述测试者的视觉注意等级，具体包括：
根据与第一部分E字标对应的所述第一数据或第二数据，确定垂直阅读时间和水平阅读时间，所述垂直阅读时间是所述测试者阅读所述第一部分E字标所用的时间；
以及根据与所述第二部分E字标对应的所述第一数据或第二数据，确定水平阅读时间，所述水平阅读时间是所述测试者阅读第二部分E字标所用的时间；
确定测试者阅读所述第二部分E字标时的漏字个数和增字个数，并按照以下公式确定所述测试者的水平调整时间：
计算水平调整时间和垂直阅读时间的比值；
在所述比值超出预设取值范围时，根据所述比值以及所述阅读多个E字标的漏字参数、误判参数、以及所述测试者阅读视觉注意测试内容所用时间中的一个或多个，确定所述测试者的视觉注意等级；
其中，所述视觉注意测试内容包括：第一部分E字标和第二部分E字标，所述第一部分E字标为按照预设规则排列并提示测试者按照竖直方向阅读的多个E字标；所述第二部分E字标为按照预设规则排列并提示测试者按照水平方向阅读的多个E字标。
8.根据权利要求1所述的方法，特征在于，所述根据所述注视点位置信息以及所述视觉注意测试内容，确定所述测试者的视觉注意等级，具体包括：
通过所述第一显示设备展示单个E字标，以及提示测试者阅读所述单个E字标的时间；
确定所述测试者阅读所述单个E字标时在所述第一显示设备上的注视点位置信息，并根据所述注视点位置信息确定所述测试者的稳定注视时间；所述稳定注视时间为所述测试者在所述单个E字标预设范围内的注视时间；
在稳定注视时间小于预设阈值时，根据所述稳定注视时间以及阅读多个E字标的漏字参数、误判参数、以及所述测试者阅读视觉注意测试内容所用时间中的一个或多个，确定所述测试者的视觉注意等级。
9.根据权利要求1所述的方法，其特征在于，根据所述若干面部图像识别出各面部图像对应的眼部图像，具体包括：
通过粗定位方式，根据面部识别模型确定测试者粗定位眼部图像；
对所述粗定位眼部图像进行灰度处理；
根据灰度处理后的粗定位眼部图像的大小构建横向算子，且所述横向算子为奇数；
将所述横向算子与所述灰度处理后的粗定位眼部图像卷积，得到所述粗定位眼部图像的横向灰度变化曲线；
将所述粗定位眼部图像的横向灰度变化曲线的最大值，作为眼睛区域横向上的中心位置；
根据所述眼睛区域横向中心位置的预设比例的纵向两个位置处，确定眼镜区域的上边界和下边界；
根据所述眼睛区域的上边界和下边界，对所述粗定位眼部图像进行截取，得到所述眼睛区域的横向位置图像；
对所述横向位置图像中的每个像素，计算在所述上边界和下边界的纵向灰度积分函数，得到纵向灰度积分函数图像，将所述纵向积分函数图像最外侧的两个波峰对应的位置，作为眼睛区域在纵向上的左边界和右边界；
根据所述眼睛区域的左边界和右边界，对所述横向位置图像进行截取，得到所述面部图像对应的眼部图像。
10.根据权利要求1所述的方法，其特征在于，所述根据眼部图像确定眼部图像对应的瞳孔位置数据，具体包括：
根据预设阈值对所述眼部图像进行分割，并根据分割后的分割区域以及各分割区域间的相互包裹特征，获取所述眼部图像对应的眼球区域；
在所述眼球区域内部选择灰度值最低的点作为种子点，通过预设的生长阈值和边界条件以及区域生长算法，得到瞳孔区域；
根据所述瞳孔区域确定瞳孔中心位置；
基于所述瞳孔中心位置，确定眼部图像对应的瞳孔位置数据。
11.根据权利要求1所述的方法，其特征在于，所述基于所述瞳孔位置数据，确定所述测试者对所述视觉注意测试内容在第一显示设备上的注视点位置信息，具体包括：
根据预设阈值对眼部图像进行二值化处理，得到含有反光点的二值化图像；
计算所述二值化图像中所有反光点的面积；
将反光点的面积对应的数值在预设取值区域范围内的反光点，作为角膜反光点；
根据所述瞳孔中心位置与所述角膜反光点位置的相对偏移量，确定所述测试者对所述视觉注意测试内容在第一显示设备上的注视点位置信息。
12.根据权利要求1所述的方法，其特征在于，确定所述测试者对所述视觉注意测试内容在第一显示设备上的注视点位置信息，具体为：
计算眼部特征向量P，所述眼部特征向量P为:
P＝[θ1，θ2，L1，L2，Dx，Dy]
其中:θ1为瞳孔位置变化的方向角；θ2为眼部图像中两个内眼角连线与图像水平方向夹角；L1为瞳孔在长轴方向的变化数据，L2为瞳孔在短轴方向的变化数据；(Cx，Cy)为眼部图像中两个内眼角连线中点位置；
以所述眼动特征向量P作为输入，通过预先训练好的神经网络模型，得到误差补偿值(xc，yc)；
根据所述误差补偿值(xc，yc)与预先计算好的注视点位置信息，更新所述测试者对所述视觉注意测试内容在第一显示设备上的注视点位置信息。
13.一种基于眼球运动的视觉注意检测系统，其特征在于，所述系统包括:
第一显示设备，用于显示视觉注意测试内容；其中，所述视觉注意测试内容包括：按照预设规则排列的多个E字标，以及提示测试者阅读所述多个E字标的顺序的信息；
眼动追踪装置，用于向在阅读所述多个E字标的测试者的眼部发射红外光，并对所述测试者在阅读所述多个E字标时的面部进行连续拍摄，获得若干面部图像；
主机，用于获取所述眼动追踪装置拍摄的若干面部图像，根据所述若干面部图像识别出各面部图像对应的眼部图像，根据眼部图像确定眼部图像对应的瞳孔位置数据；其中，所述瞳孔位置数据为眼部图像中的瞳孔中心位置与角膜反光点位置之间的相对偏移量；基于所述瞳孔位置数据，确定所述测试者对所述视觉注意测试内容在第一显示设备上的注视点位置信息；以及根据所述注视点位置信息以及所述视觉注意测试内容，确定所述测试者的视觉注意等级。
CN201910704735.5A 2019-07-31 2019-07-31 一种基于眼球运动的视觉注意检测方法及系统 Active CN110623629B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910704735.5A CN110623629B (zh) 2019-07-31 2019-07-31 一种基于眼球运动的视觉注意检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910704735.5A CN110623629B (zh) 2019-07-31 2019-07-31 一种基于眼球运动的视觉注意检测方法及系统

Publications (2)

Publication Number Publication Date
CN110623629A true CN110623629A (zh) 2019-12-31
CN110623629B CN110623629B (zh) 2022-05-10

Family

ID=68970281

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910704735.5A Active CN110623629B (zh) 2019-07-31 2019-07-31 一种基于眼球运动的视觉注意检测方法及系统

Country Status (1)

Country Link
CN (1) CN110623629B (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111227849A (zh) * 2020-02-11 2020-06-05 杭州同绘科技有限公司 一种基于vr的注意力评估系统及评估方法
CN111563633A (zh) * 2020-05-15 2020-08-21 上海乂学教育科技有限公司 基于眼动仪的阅读训练系统及方法
CN111938672A (zh) * 2020-08-20 2020-11-17 京东方科技集团股份有限公司 基于虚拟现实环境的视觉特性检测方法及相关设备
CN112168187A (zh) * 2020-09-29 2021-01-05 首都医科大学附属北京安定医院 一种精神分裂症的诊断指标、诊断模型与诊断系统
CN112308014A (zh) * 2020-11-18 2021-02-02 成都集思鸣智科技有限公司 双眼瞳孔与角膜反光点高速精确搜索定位方法
CN113052475A (zh) * 2021-04-02 2021-06-29 江苏徐工工程机械研究院有限公司 一种工程机械图标视觉绩效测试方法、装置及存储介质
CN113126762A (zh) * 2021-04-21 2021-07-16 惠东县人民医院 一种用于监测医疗行为的医疗数据核查装置及方法
CN113205033A (zh) * 2021-04-27 2021-08-03 郭列维 一种视觉信息处理方法及其应用
CN113283402A (zh) * 2021-07-21 2021-08-20 北京科技大学 一种差分式二维注视点检测方法及装置
CN113288044A (zh) * 2021-05-27 2021-08-24 北京大学第三医院（北京大学第三临床医学院） 动态视力检测系统和方法
CN113491502A (zh) * 2020-04-03 2021-10-12 北京七鑫易维信息技术有限公司 一种眼球追踪校准检验方法、装置、设备及存储介质
TWI746184B (zh) * 2020-09-25 2021-11-11 宏碁股份有限公司 利用視線方向調整顯示模式的顯示裝置及其操作方法
CN113743294A (zh) * 2021-09-02 2021-12-03 科大讯飞股份有限公司 客观题答题识别方法和阅卷系统、设备、介质
CN113838086A (zh) * 2021-08-23 2021-12-24 广东电网有限责任公司 注意力评估测试方法、装置、电子设备及存储介质
CN115516544A (zh) * 2020-09-30 2022-12-23 多玩国株式会社 辅助系统、辅助方法以及辅助程序
CN115546884A (zh) * 2022-12-01 2022-12-30 广州视景医疗软件有限公司 一种眼球震颤识别方法、装置及设备
CN116052264A (zh) * 2023-03-31 2023-05-02 广州视景医疗软件有限公司 一种基于非线性偏差校准的视线估计方法及装置
US12019796B2 (en) 2022-07-29 2024-06-25 Qualcomm Incorporated User attention determination for extended reality

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101049236A (zh) * 2007-05-09 2007-10-10 西安电子科技大学 基于脑机交互的注意力状态即时检测系统及检测方法
CN202463683U (zh) * 2011-12-30 2012-10-03 东北大学 一种具有驾驶员目光跟随功能的智能车灯系统
CN103530618A (zh) * 2013-10-23 2014-01-22 哈尔滨工业大学深圳研究生院 一种基于角膜反射的非接触式视线追踪方法
CN104173063A (zh) * 2014-09-01 2014-12-03 北京工业大学 一种视觉注意的检测方法及系统
CN104408409A (zh) * 2014-11-12 2015-03-11 重庆大学 一种适用于散光镜片环境下的瞳孔定位方法
CN106682603A (zh) * 2016-12-19 2017-05-17 陕西科技大学 一种基于多源信息融合的实时驾驶员疲劳预警系统
CN107929007A (zh) * 2017-11-23 2018-04-20 北京萤视科技有限公司 一种利用眼动追踪和智能评估技术的注意力和视觉能力训练系统及方法
CN108256391A (zh) * 2016-12-29 2018-07-06 广州映博智能科技有限公司 一种基于投影积分和边缘检测的瞳孔区域定位方法
CN108256390A (zh) * 2016-12-29 2018-07-06 广州映博智能科技有限公司 基于投影积分和虹膜识别的眼部动作捕捉方法
CN109409223A (zh) * 2018-09-21 2019-03-01 昆明理工大学 一种虹膜定位方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101049236A (zh) * 2007-05-09 2007-10-10 西安电子科技大学 基于脑机交互的注意力状态即时检测系统及检测方法
CN202463683U (zh) * 2011-12-30 2012-10-03 东北大学 一种具有驾驶员目光跟随功能的智能车灯系统
CN103530618A (zh) * 2013-10-23 2014-01-22 哈尔滨工业大学深圳研究生院 一种基于角膜反射的非接触式视线追踪方法
CN104173063A (zh) * 2014-09-01 2014-12-03 北京工业大学 一种视觉注意的检测方法及系统
CN104408409A (zh) * 2014-11-12 2015-03-11 重庆大学 一种适用于散光镜片环境下的瞳孔定位方法
CN106682603A (zh) * 2016-12-19 2017-05-17 陕西科技大学 一种基于多源信息融合的实时驾驶员疲劳预警系统
CN108256391A (zh) * 2016-12-29 2018-07-06 广州映博智能科技有限公司 一种基于投影积分和边缘检测的瞳孔区域定位方法
CN108256390A (zh) * 2016-12-29 2018-07-06 广州映博智能科技有限公司 基于投影积分和虹膜识别的眼部动作捕捉方法
CN107929007A (zh) * 2017-11-23 2018-04-20 北京萤视科技有限公司 一种利用眼动追踪和智能评估技术的注意力和视觉能力训练系统及方法
CN109409223A (zh) * 2018-09-21 2019-03-01 昆明理工大学 一种虹膜定位方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吕俊杰: "基于仿射对应关系的单目视觉头部姿态估计", 《中国优秀博硕士学位论文全文数据库》 *

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111227849A (zh) * 2020-02-11 2020-06-05 杭州同绘科技有限公司 一种基于vr的注意力评估系统及评估方法
CN111227849B (zh) * 2020-02-11 2022-04-01 杭州同绘科技有限公司 一种基于vr的注意力评估系统及评估方法
CN113491502A (zh) * 2020-04-03 2021-10-12 北京七鑫易维信息技术有限公司 一种眼球追踪校准检验方法、装置、设备及存储介质
CN111563633A (zh) * 2020-05-15 2020-08-21 上海乂学教育科技有限公司 基于眼动仪的阅读训练系统及方法
CN111938672A (zh) * 2020-08-20 2020-11-17 京东方科技集团股份有限公司 基于虚拟现实环境的视觉特性检测方法及相关设备
CN111938672B (zh) * 2020-08-20 2024-01-23 京东方科技集团股份有限公司 基于虚拟现实环境的视觉特性检测方法及相关设备
TWI746184B (zh) * 2020-09-25 2021-11-11 宏碁股份有限公司 利用視線方向調整顯示模式的顯示裝置及其操作方法
US11457203B2 (en) 2020-09-25 2022-09-27 Acer Incorporated Display apparatus using sight direction to adjust display mode and operation method thereof
CN112168187A (zh) * 2020-09-29 2021-01-05 首都医科大学附属北京安定医院 一种精神分裂症的诊断指标、诊断模型与诊断系统
CN115516544A (zh) * 2020-09-30 2022-12-23 多玩国株式会社 辅助系统、辅助方法以及辅助程序
CN112308014A (zh) * 2020-11-18 2021-02-02 成都集思鸣智科技有限公司 双眼瞳孔与角膜反光点高速精确搜索定位方法
CN112308014B (zh) * 2020-11-18 2024-05-14 成都集思鸣智科技有限公司 双眼瞳孔与角膜反光点高速精确搜索定位方法
CN113052475B (zh) * 2021-04-02 2023-09-05 江苏徐工工程机械研究院有限公司 一种工程机械图标视觉绩效测试方法、装置及存储介质
CN113052475A (zh) * 2021-04-02 2021-06-29 江苏徐工工程机械研究院有限公司 一种工程机械图标视觉绩效测试方法、装置及存储介质
CN113126762A (zh) * 2021-04-21 2021-07-16 惠东县人民医院 一种用于监测医疗行为的医疗数据核查装置及方法
CN113205033A (zh) * 2021-04-27 2021-08-03 郭列维 一种视觉信息处理方法及其应用
CN113288044B (zh) * 2021-05-27 2022-01-07 北京大学第三医院（北京大学第三临床医学院） 动态视力检测系统和方法
CN113288044A (zh) * 2021-05-27 2021-08-24 北京大学第三医院（北京大学第三临床医学院） 动态视力检测系统和方法
CN113283402A (zh) * 2021-07-21 2021-08-20 北京科技大学 一种差分式二维注视点检测方法及装置
CN113838086A (zh) * 2021-08-23 2021-12-24 广东电网有限责任公司 注意力评估测试方法、装置、电子设备及存储介质
CN113838086B (zh) * 2021-08-23 2024-03-22 广东电网有限责任公司 注意力评估测试方法、装置、电子设备及存储介质
CN113743294A (zh) * 2021-09-02 2021-12-03 科大讯飞股份有限公司 客观题答题识别方法和阅卷系统、设备、介质
CN113743294B (zh) * 2021-09-02 2024-06-04 科大讯飞股份有限公司 客观题答题识别方法和阅卷系统、设备、介质
US12019796B2 (en) 2022-07-29 2024-06-25 Qualcomm Incorporated User attention determination for extended reality
CN115546884B (zh) * 2022-12-01 2023-03-14 广州视景医疗软件有限公司 一种眼球震颤识别方法、装置及设备
CN115546884A (zh) * 2022-12-01 2022-12-30 广州视景医疗软件有限公司 一种眼球震颤识别方法、装置及设备
CN116052264A (zh) * 2023-03-31 2023-05-02 广州视景医疗软件有限公司 一种基于非线性偏差校准的视线估计方法及装置

Also Published As

Publication number Publication date
CN110623629B (zh) 2022-05-10

Similar Documents

Publication Publication Date Title
CN110623629B (zh) 一种基于眼球运动的视觉注意检测方法及系统
US9872615B2 (en) Systems and methods for improved ease and accuracy of gaze tracking
CN104254281B (zh) 测量注意力的方法
US11967075B2 (en) Application to determine reading/working distance
US6089715A (en) Automated photorefractive screening
US12011224B2 (en) Method for determining refractive power of eye using immersive system and electronic device thereof
CN110772218A (zh) 视力筛查设备及方法
JP2021519195A (ja) モバイルデバイスを使用した視覚検査
KR102344493B1 (ko) 인공 지능 기반의 스마트 안진 검사 시스템, 방법 및 프로그램
Sousa de Almeida et al. Computer-aided methodology for syndromic strabismus diagnosis
CN115409774A (zh) 一种基于深度学习的眼检测方法及斜视筛查系统
CN115553707A (zh) 一种基于眼动追踪的对比敏感度测量方法及设备
CN108495584B (zh) 用于通过触觉界面确定眼球运动的装置和方法
Xu Simultaneous automatic detection of optic disc and fovea
CN116997288B (zh) 用于确定视觉表现的方法和设备
Dollée The Role of the Eyes in the Uncanny Valley Effect: Does Incongruence between Eyes and Face Influence Uncanniness?
CN118830804A (zh) 一种视力检测数据的处理方法、系统及视力检测系统
Semerád Theoretical and Experimental Determination of the Amount of Information in Human Ocular Biometric Characteristics
Quang et al. Mobile traumatic brain injury assessment system
KR20240013121A (ko) 피검자의 안과 굴절의 최적의 교정을 객관적으로 결정하기 위한 방법 및 장치
Wang Investigation of image processing and computer-assisted diagnosis system for automatic video vision development assessment
Mazurova Accuracy of Measurements of Eye-Tracking of a human perception on the screen
CN110151123A (zh) 一种基于手机的优先注视视力测试方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240126

Address after: Room 2801, 28th Floor, Building A, Xinquancheng Building, No. 586 Jingqi Road, Huaiyin District, Jinan City, Shandong Province, 250000

Patentee after: Jinan Shierming Doctor Group Management Partnership Enterprise (L.P.)

Country or region after: China

Address before: 250014 No. 48, xiongshan Road, Shizhong District, Jinan City, Shandong Province

Patentee before: Bi Hongsheng

Country or region before: China

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240315

Address after: Room 2801, 28th Floor, Building A, Xinquancheng Building, No. 586 Jingqi Road, Huaiyin District, Jinan City, Shandong Province, 250000

Patentee after: Sherming Optometry Hospital Co.,Ltd.

Country or region after: China

Address before: Room 2801, 28th Floor, Building A, Xinquancheng Building, No. 586 Jingqi Road, Huaiyin District, Jinan City, Shandong Province, 250000

Patentee before: Jinan Shierming Doctor Group Management Partnership Enterprise (L.P.)

Country or region before: China

TR01 Transfer of patent right