CN115857678B - 眼动测试方法、装置、设备及存储介质 - Google Patents
眼动测试方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN115857678B CN115857678B CN202211487489.0A CN202211487489A CN115857678B CN 115857678 B CN115857678 B CN 115857678B CN 202211487489 A CN202211487489 A CN 202211487489A CN 115857678 B CN115857678 B CN 115857678B
- Authority
- CN
- China
- Prior art keywords
- eye movement
- category
- glance
- class
- characteristics corresponding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004424 eye movement Effects 0.000 title claims abstract description 305
- 238000012360 testing method Methods 0.000 title claims abstract description 109
- 238000000034 method Methods 0.000 claims description 46
- 230000008569 process Effects 0.000 claims description 17
- 230000004044 response Effects 0.000 claims description 17
- 210000001508 eye Anatomy 0.000 claims description 13
- 230000035484 reaction time Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 7
- 238000007477 logistic regression Methods 0.000 claims description 7
- 238000003062 neural network model Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 3
- 238000001514 detection method Methods 0.000 description 42
- 230000015654 memory Effects 0.000 description 21
- 230000006870 function Effects 0.000 description 12
- 238000010998 test method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 210000001747 pupil Anatomy 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
Landscapes
- Eye Examination Apparatus (AREA)
Abstract
本申请公开了眼动测试方法、装置、设备及存储介质,涉及智慧医疗技术领域。具体实施方式包括:根据目标对象在所述校准阶段的眼动数据,识别出所述目标对象的眼动类别;根据各所述眼动类别对应的所述眼动数据,提取各所述眼动类别对应的眼动特征;根据各所述眼动类别对应的眼动特征,确定所述目标对象需要进行所述眼动测试的测试内容。基于对应的眼动特征,能够确定出所述目标对象需要进行的测试内容,缩短眼动测试的时间,整体提高测试的效率。
Description
技术领域
本申请涉及智慧医疗技术领域,具体涉及人工智能和眼动追踪技术领域,尤其涉及眼动测试方法、装置、设备及存储介质。
背景技术
现有的眼动捕捉方法以瞳孔-角膜追踪技术方法(pupil center cornealreflections)为主,是基于光学传感器的技术原理,因而在进行相关测试的时候需要校准,然而,在每次眼动测试时,由于每个人眼部的位置不同,需全部校准,致使受试者的检测时间较长,尤其是针对老年人的检测过程中给老年人带来了很大的负担。
发明内容
针对现有技术中眼动测试效率较低的技术问题,提供了一种眼动测试方法、装置、设备及存储介质。
根据第一方面,提供了一种眼动测试方法,所述方法应用于眼动测试的校准阶段,包括:
根据目标对象在所述校准阶段的眼动数据,识别出所述目标对象的眼动类别;
根据各所述眼动类别对应的所述眼动数据,提取各所述眼动类别对应的眼动特征;
根据各所述眼动类别对应的眼动特征,确定所述目标对象需要进行所述眼动测试的测试内容。
根据第二方面,提供了一种眼动测试装置,包括:
识别模块,用于根据目标对象在所述校准阶段的眼动数据,识别出所述目标对象的眼动类别;
计算模块,用于根据各所述眼动类别对应的所述眼动数据,提取各所述眼动类别对应的眼动特征;
确定模块,用于根据各所述眼动类别对应的眼动特征,确定所述目标对象需要进行所述眼动测试的测试内容。
根据第三方面,提供了一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如眼动测试方法中任一实施例的方法。
根据第四方面,提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如眼动测试方法中任一实施例的方法。
根据本申请实施例的方案,以非接触式眼动捕捉方法,在现有技术的检测过程中不添加额外测试步骤,提取各所述眼动类别对应的眼动特征,从而跟推荐算法相融合,有针对性地设置需要进行眼动测试的测试内容,缩短测试的时间,提升了对于每一个特定受试者测试的有效性和效率。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1是本申请一些实施例可以应用于其中的示例性系统架构图;
图2是根据本申请的眼动测试方法的一个实施例的流程图;
图3是本申请实施例的扫视类确定的示意图;
图4是本申请实施例的注视类确定的示意图;
图5是本申请实施例的追踪类确定的示意图;
图6是根据本申请的眼动测试装置的一个实施例的结构示意图;
图7是用来实现本申请实施例的眼动测试方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的眼动测试方法或眼动测试装置的实施例的示例性系统架构100。
如图1所示,系统架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用,例如视频类应用、直播应用、即时通信工具、邮箱客户端、社交平台软件等。
这里的终端设备101、102、103可以是硬件,也可以是软件。当终端设备101、102、103为硬件时,可以是电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等,该电子设备接收视觉设备采集的包括获取在眼动测试校准阶段的眼动数据,进而识别出目标对象的眼动类别,并最终确定出目标对象需要进行的测试内容,该设备包括但不限于深度传感器、深度相机等;还可以是集成有视觉设备的电子设备。当终端设备101、102、103为软件时,可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块),也可以实现成单个软件或软件模块。在此不做具体限定。
服务器105可以是提供各种服务的服务器,例如对终端设备101、102、103提供支持的后台服务器。后台服务器可以接收视觉设备采集的包括眼动测试校准阶段的眼动数据,识别出目标对象的眼动类别,进而提取各眼动类别对应的眼动特征,确定出目标对象需要进行的测试内容,并将处理结果(例如,需要眼动测试的事项或项目)反馈给终端设备。
需要说明的是,本申请实施例所提供的眼动测试方法可以由服务器105或者终端设备101、102、103执行,相应地,计时起立行走测试的测试装置可以设置于服务器105或者终端设备101、102、103中。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
眼动数据可以是眼动图像或是用于描述眼睛位置的坐标数据或者其他数据。
继续参考图2,示出了根据本申请的眼动测试方法的一个实施例的流程200。该眼动测试方法,包括以下步骤:
步骤201,根据目标对象在校准阶段的眼动数据,识别出目标对象的眼动类别。
步骤202,根据各眼动类别对应的眼动数据,提取各眼动类别对应的眼动特征。
步骤203,根据各眼动类别对应的眼动特征,确定目标对象需要进行眼动测试的测试内容。
在本实施例中,眼动测试方法运行于其上的执行主体(例如图1所示的服务器或终端设备)获取目标对象在眼动测试校准阶段的眼动数据以识别出目标对象的眼动类别,进而可以提取各眼动类别对应的眼动特征,根据眼动特征最终计算出目标对象需要进行的测试内容,并进行显示。在眼动测试中,对于不同眼动表现的受试者(尤其针对老年人),基于在现有技术中校准阶段的眼动数据,进一步获取分析校准过程中所表现出来的眼动特征,可以对受试者进行有针对性地测试。
具体的为,现有技术中在确定受试者的眼动特征时,需要进行长时间的眼动测试,但是,没有在眼动测试之前去预测受试者可能的眼动特征,无法更高效地、更针对性的完成测试内容。现有的测试方式无法借助于推荐算法或模型进行确定,一般的,让受试者做全套的测试内容,致使眼动测试的效率低。本发明的旨在将推荐结果放入测试流程中,在遍历测试池中的所有测试,能够剔除掉以受试者所表现的眼动特征不需要进行的测试,将组合推荐算法所形成的测试集合,呈现给当前受试者,从而缩短了在测试过程中的总耗时。推荐算法所形成的测试集合的表达方式可以是数据集合的形式或矩阵的形式或阵列的形式或是文字的形式或是几何符号的表达形式,或是将其中的一种或几种进行结合。例如,基于传统的分类,人基础性的三类眼球活动包括扫视类、注视类和追踪类,眼动测试的校准阶段获取的眼睛数据,通过本发明的方法剔除掉扫视类和注视类的检测内容,仅保留追踪类的检测内容,从而缩短整体检测过程中的耗时,当需要对扫视类、注视类和追踪类同时进行检测时,利用眼动测试的校准阶段获取的眼睛数据且通过本发明的方法能够剔除扫视类和注视类中60%的检测内容,对追踪类的检测内容全部保留,又例如,某个年龄段的人群在眼动测试时,扫视类的检测需要完成50个检测内容,根据本发明所提供的方法针对性的剔除掉扫视类中10项不必要的检测内容,保留40个必要检测内容,从而缩短了在扫视类检测过程中的耗时。
因此,针对不同年龄段的受试者在眼动测试过程中,根据不同年龄段人群的眼动特征,能够针对性在全部测试项目中筛选对应的必要检测内容,从而缩短检测的总时长,以提高整体检测效率。具体的说,考虑到校准过程在现有眼动测试中的必要性,在不影响现有眼动测试流程的基础上,有目的性的计算出当前受试者所必要眼动检测内容的集合,剔除掉不必要的测试内容,将必要检测内容呈现给医生,缩短眼动测试耗时。
眼动数据可以是眼动图像,也可以是描述眼睛位置的坐标数据。
本申请的上述实施例提供的方法,如图3所示,眼动类别包括:扫视类,提取各眼动类别对应的眼动特征,具体的:
响应于确定眼动类别为扫视类,提取扫视类对应的眼动特征,其中,扫视类对应的眼动特征包括扫视的反应时间和扫视的空间定位准确度。反应时间包括简单反应时间和选择反应时间,其中,简单反应时间是感知到刺激就立即做出反应,中间没有其它的认知加工过程;选择反应时间在眼动测试过程中呈现的刺激不止一个,对每一个随机呈现的刺激要求所作出相应的反应。每个反应时间的检测事项包括了朝向扫视检测(用1表示)、背向扫视检测、(用2表示)、交替扫视检测(用3表示)和环向扫视检测(用4表示)等,扫视类(Sac)的检测内容以集合的形式来表示,即为,(1,2,3,4,5……),以朝向扫视为例,系统标注为1-Sac,通过本发明的方法计算得出,1-Sac为必须检测内容,(2-5)Sac非必须检测内容,因此,根据扫视的反应时间和扫视的空间定位准确度的参数,能够对应的确定出当前受试者扫视类中的检测内容和不必做检测内容,剔除不必做检测内容,缩短扫视类检测的时长。
本申请的上述实施例提供的方法,如图4所示,眼动类别包括:注视类,提取各眼动类别对应的眼动特征,具体的:
响应于确定眼动类别为注视类,提取注视类对应的眼动特征,其中,眼动特征包括注视偏移次数和最大眼动移动角度,注视类以Fix表示,反应出受试者对瞳孔对光的敏感程度和反应程度,注视偏移次数和最大眼动移动角度均包括多项对应的检测事项,例如,最大眼动移动角度包括上(用1表示)、下(用2表示)、左(用3表示)和右(用4表示)等方向的最大眼动移动角度,如,根据当前受试者对应的眼动特征确定出仅需上和左的最大眼动移动角度测试项目,即为,从现有所有的最大眼动移动角度检测内容中筛选出对应的必做测试项目,即为,1Fix和3Fix为必检测内容,从而缩短检测的时长。
本申请的上述实施例提供的方法,如图5所示,眼动类别包括:追踪类,提取各眼动类别对应的眼动特征,包括:
响应于确定眼动类别为追踪类,提取追踪类对应的眼动特征,其中,眼动特征包括移动速度,追踪类Pur表示。移动速度反应出对光源反应的快慢,即为,对刺激物的敏感度,例如,现有检测事项包括进行5项移动速度类的检测,根据受试者当前对应的眼动特征只需完成进行3项检测即可,无需全部进行全部移动速度类的检测,即为,减少检测的事项,缩短追踪类检测的时间。
在本实施例的一些可选的实现方式中,眼动类别包括扫视类、注视类和追踪类,也可以是其他医学的分类,以下实例性的说明如何确定扫视类、注视类和追踪类的参数,如下:
扫视类对应的眼动特征为反应时间和空间定位准确度,确定每次扫视中扫视定位位置与目标点位置之间的距离,将距离确定为偏移量,将多次扫视的偏移量的均方根,确定为扫视的空间定位准确度。分别以参数Tl和A来表示,且Tl为每一次扫视的反应时间的平均值,A为每一次扫视时空间定位偏移量的均方根,满足:
式中,n为扫视次数,yi目标点位置;ya扫视定位位置;
注视类对应的眼动特征为注视偏移次数和最大眼动移动角度,并分别以参数S和M来表示,S为每一次偏移注视位置的次数,M为校准过程中眼睛各个角度最大移动距离的集合;
追踪类对应的眼动特征为移动速度,并以参数V来表示,V为每次追踪类中速度d的平均值,且满足:
式中,n为识别为追踪的总次数,d为每次的移动速度。
在本实施例的一些可选的实现方式中,根据各眼动类别对应的眼动特征,确定目标对象需要进行的测试内容,包括:
将各眼动类别对应的眼动特征输入逻辑回归模型,以确定目标对象需要进行眼动测试的测试内容,其中,逻辑回归模型是以各眼动类别对应的历史眼动特征和各眼动类别对应的测试内容为样本训练得到的。逻辑回归模型是以sigmoid函数为基础,是一个s形的曲线,它的取值在[0,1]之间,在远离0的地方函数的值会很快接近0/1,表现出的离散特性更加准确,也更加的平滑,能够大大降低硬件成本。
在本实施例的一些可选的实现方式中,识别出目标对象的眼动类别,包括:将眼动数据输入神经网络模型,确定出目标对象的眼动类别,神经网络模型是以历史眼动数据和对应的眼动类别为样本训练得到的,又例如,将眼动数据输入长短期记忆网络,长短期记忆网络输出目标对象的眼动类别,长短期记忆网络是以历史眼动数据和对应的眼动类别为样本训练得到的。有效的利用历史数据进行当前受试者的精确评述,给出当前某一项眼动特征是否需要检测的结论,以0或1进行输出,其中,1表示需要检测,更加的智能化。
上述神经网络模型也可以是,前馈神经网络模型,函数(RBF)网络模型或Hopfield网络模型或波尔兹曼机模型或限制玻尔兹曼机模型或其他功能相同或类似的模型。
在本实施例的一些可选的实现方式中,眼动测试校准阶段的眼动数据的实例,原始图像采集是基于平面点引导的校准的方法进行获取,具体的:
现有技术中的检测装置中的引导屏幕上会出现目标点,要求受试者去注视多个方向多个角度的目标点,具体的说,屏幕中出现的测试点会根据预先设置的规则进行显示,仪器会记录到眼睛在注视每一处目标点时的瞳孔空间坐标,从而完成坐标轴转化,完成校准,而在这一过程中受试者的眼球时空活动会被完整记录下来。在获取图像数据后,基于灰度进行的图像分割,利用反射点是人眼图像中灰度值最高的区域特性进行提取,如,进行阈值的确定,以确定瞳孔和角膜的位置。将瞳孔看做质心,通过椭圆拟合方法进行瞳孔移动区域的确定,进一步的,按照不同的眼动类别以用于眼部特征的提取。
如图6所示,本实施例的眼动测试装置600包括:
识别模块601,用于根据目标对象在校准阶段的眼动数据,识别出目标对象的眼动类别;
计算模块602,用于根据各眼动类别对应的眼动数据,提取各眼动类别对应的眼动特征;
确定模块603,用于根据各眼动类别对应的眼动特征,确定目标对象需要进行眼动测试的测试内容。
被发明的装置考虑到校准过程在现有眼动测试方案中的必要性,获取分析校准过程中所表现出来的眼动特征,在不影响现有眼动测试流程的基础上,加入针对于受试者的推荐算法,从而可以有目的性的推荐相应的眼动测试集合,从而提升效率,并且,不会影响到现有的标准眼动测试流程,而针对性的推荐测试内容,有利于缩短测试时间,避免受试者进行与其无关的测试。
在本实施例的一些可选的实现方式中,计算模块602,提取各眼动类别对应的眼动特征,包括:眼动类别为扫视类时,提取扫视类的眼动特征,其中,眼动特征包括扫视的反应时间和扫视的空间定位准确度,及,提取各眼动类别对应的眼动特征,包括:眼动类别为注视类时,提取注视类的眼动特征,其中,眼动特征包括注视偏移次数和最大眼动移动角度,及,提取各眼动类别对应的眼动特征,包括:眼动类别为追踪类时,提取追踪类的眼动特征,其中,眼动特征包括移动速度。将眼动数据输入长短期记忆网络,长短期记忆网络输出目标对象的眼动类别,长短期记忆网络是以历史眼动数据和对应的眼动类别为样本训练得到的。
在本实施例的一些可选的实现方式中,确定模块603,用于将各眼动类别对应的眼动特征输入逻辑回归模型,以确定目标对象需要进行眼动测试的测试内容眼动类别,其中,逻辑回归模型是以各眼动类别对应的历史眼动特征和各眼动类别对应的测试内容为样本训练得到的。
如图7所示,是根据本申请实施例的眼动测试方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图7所示,该电子设备包括:一个或多个处理器701、存储器702,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个电子设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图7中以一个处理器701为例。
存储器702即为本申请所提供的非瞬时计算机可读存储介质。其中,存储器存储有可由至少一个处理器执行的指令,以使至少一个处理器执行本申请所提供的眼动测试方法。本申请的非瞬时计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行本申请所提供的眼动测试方法。
存储器702作为一种非瞬时计算机可读存储介质,可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块,如本申请实施例中的眼动测试方法对应的程序指令/模块(例如,识别模块、计算模块和确定模块)。处理器701通过运行存储在存储器702中的非瞬时软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例中的眼动测试方法。
存储器702可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据眼动测试方法的电子设备的使用所创建的数据等。此外,存储器702可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中,存储器702可选包括相对于处理器701远程设置的存储器,这些远程存储器可以通过网络连接至眼动测试方法的处理电子设备。上述网络的实例包括但不限于互联网、企业/医疗机构内部网、局域网、移动通信网及其组合。
眼动测试方法的电子设备还可以包括:输入装置703和输出装置704。处理器701、存储器702、输入装置703和输出装置904可以通过总线或者其他方式连接,图7中以通过总线连接为例。
输入装置703可接收输入的数字或字符信息,以及产生与眼动测试方法的电子设备的用户设置以及功能控制有关的键信号输入,例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆、可以捕捉人体动作信息和/或生理信息的传感器等输入装置。输出装置907可以包括显示设备、辅助照明装置(例如,LED)和触觉反馈装置(例如,振动电机)等。该显示设备可以包括但不限于,液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中,显示设备可以是触摸屏、头戴式显示器(HMD)。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令,并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置(PLD)),包括,接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
作为另一方面,本申请还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的装置中所包含的;也可以是单独存在,而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该装置执行时,使得该装置:根据目标对象在眼动测试校准阶段的眼动数据,识别出目标对象的眼动类别;根据各眼动类别对应的眼动数据,提取各眼动类别对应的眼动特征;根据各眼动类别对应的眼动特征,确定出目标对象需要进行的测试内容。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (6)
1.一种眼动测试方法,所述方法应用于眼动测试的校准阶段,所述方法包括:
根据目标对象在所述校准阶段的眼动数据,识别出所述目标对象的眼动类别,根据各所述眼动类别对应的所述眼动数据,提取各所述眼动类别对应的眼动特征,根据各所述眼动类别对应的眼动特征,确定所述目标对象需要进行所述眼动测试的测试内容;
所述眼动类别包括扫视类,提取各所述眼动类别对应的眼动特征,包括:响应于确定所述眼动类别为扫视类,提取所述扫视类对应的眼动特征,其中,所述扫视类对应的眼动特征包括扫视的反应时间Tl和扫视的空间定位准确度A,提取所述扫视类对应的眼动特征,其中,
扫视的反应时间Tl为每一次扫视的反应时间的平均值;
确定每次扫视中扫视定位位置与目标点位置之间的距离,将所述距离确定为偏移量,将多次扫视的偏移量的均方根,确定为扫视的空间定位准确度A,满足:
式中,n为扫视次数,yi目标点位置,ya扫视定位位置;
所述眼动类别还包括注视类,提取各所述眼动类别对应的眼动特征,包括:响应于确定所述眼动类别为注视类,提取所述注视类对应的眼动特征,其中,所述注视类对应的眼动特征包括注视偏移次数S和最大眼动移动角度M,其中,注视偏移次数S为每一次偏移注视位置的次数,最大眼动移动角度M为在校准过程中眼睛各个角度最大移动距离的集合;
所述眼动类别还包括追踪类,提取各所述眼动类别对应的眼动特征,包括:响应于确定所述眼动类别为追踪类,提取所述追踪类对应的眼动特征包括移动速度V,满足:
式中,n为识别为追踪的总次数,d为每次的移动速度。
2.根据权利要求1所述的方法,其中,根据各所述眼动类别对应的眼动特征,确定所述目标对象需要进行所述眼动测试的测试内容,包括:
将各所述眼动类别对应的眼动特征输入逻辑回归模型,以确定所述目标对象需要进行所述眼动测试的测试内容,其中,所述逻辑回归模型是以各所述眼动类别对应的历史眼动特征和各所述眼动类别对应的测试内容为样本训练得到的。
3.根据权利要求1所述的方法,其中,识别出所述目标对象的眼动类别,包括:
将所述眼动数据输入神经网络模型,确定出所述目标对象的眼动类别,所述神经网络模型是以历史眼动数据和对应的眼动类别为样本训练得到的。
4.一种眼动测试装置,应用于眼动测试的校准阶段,所述装置包括;
识别模块,用于根据目标对象在所述校准阶段的眼动数据,识别出所述目标对象的眼动类别,其中,所述眼动类别包括:扫视类,提取各所述眼动类别对应的眼动特征,包括:响应于确定所述眼动类别为扫视类,提取所述扫视类对应的眼动特征,其中,所述扫视类对应的眼动特征包括扫视的反应时间和扫视的空间定位准确度,和/或,所述眼动类别包括:注视类,提取各所述眼动类别对应的眼动特征,包括:响应于确定所述眼动类别为注视类,提取所述注视类对应的眼动特征,其中,所述注视类对应的眼动特征包括注视偏移次数和最大眼动移动角度;
计算模块,用于根据各所述眼动类别对应的所述眼动数据,提取各所述眼动类别对应的眼动特征,其中,所述眼动类别包括扫视类,提取各所述眼动类别对应的眼动特征,包括:响应于确定所述眼动类别为扫视类,提取所述扫视类对应的眼动特征,其中,所述扫视类对应的眼动特征包括扫视的反应时间Tl和扫视的空间定位准确度A,提取所述扫视类对应的眼动特征,其中,
扫视的反应时间Tl为每一次扫视的反应时间的平均值;
确定每次扫视中扫视定位位置与目标点位置之间的距离,将所述距离确定为偏移量,将多次扫视的偏移量的均方根,确定为扫视的空间定位准确度A,满足:
式中,n为扫视次数,yi目标点位置,ya扫视定位位置;
所述眼动类别还包括注视类,提取各所述眼动类别对应的眼动特征,包括:响应于确定所述眼动类别为注视类,提取所述注视类对应的眼动特征,其中,所述注视类对应的眼动特征包括注视偏移次数S和最大眼动移动角度M,其中,注视偏移次数S为每一次偏移注视位置的次数,最大眼动移动角度M为在校准过程中眼睛各个角度最大移动距离的集合;
所述眼动类别还包括追踪类,提取各所述眼动类别对应的眼动特征,包括:响应于确定所述眼动类别为追踪类,提取所述追踪类对应的眼动特征包括移动速度V,满足:
式中,n为识别为追踪的总次数,d为每次的移动速度;
确定模块,用于根据各所述眼动类别对应的眼动特征,确定所述目标对象需要进行所述眼动测试的测试内容。
5.一种电子设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-3中任一所述的方法。
6.一种计算机可读存储介质,其上存储有计算机程序,其中,该程序被处理器执行时实现如权利要求1-3中任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211487489.0A CN115857678B (zh) | 2022-11-21 | 2022-11-21 | 眼动测试方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211487489.0A CN115857678B (zh) | 2022-11-21 | 2022-11-21 | 眼动测试方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115857678A CN115857678A (zh) | 2023-03-28 |
CN115857678B true CN115857678B (zh) | 2024-03-29 |
Family
ID=85666222
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211487489.0A Active CN115857678B (zh) | 2022-11-21 | 2022-11-21 | 眼动测试方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115857678B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111738234A (zh) * | 2020-08-14 | 2020-10-02 | 湖南师范大学 | 基于个体眼动特征的自动化共情能力识别方法 |
CN112732071A (zh) * | 2020-12-11 | 2021-04-30 | 浙江大学 | 一种免校准眼动追踪系统及应用 |
CN113534945A (zh) * | 2020-04-17 | 2021-10-22 | 北京七鑫易维信息技术有限公司 | 眼球追踪校准系数的确定方法、装置、设备及存储介质 |
CN114795104A (zh) * | 2022-04-27 | 2022-07-29 | 郑州大学 | 一种基于眼动仪的眼球运动功能量化评估系统 |
CN115019382A (zh) * | 2022-06-21 | 2022-09-06 | 中国工商银行股份有限公司 | 区域确定方法、装置、设备、存储介质和程序产品 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9851791B2 (en) * | 2014-11-14 | 2017-12-26 | Facebook, Inc. | Dynamic eye tracking calibration |
-
2022
- 2022-11-21 CN CN202211487489.0A patent/CN115857678B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113534945A (zh) * | 2020-04-17 | 2021-10-22 | 北京七鑫易维信息技术有限公司 | 眼球追踪校准系数的确定方法、装置、设备及存储介质 |
CN111738234A (zh) * | 2020-08-14 | 2020-10-02 | 湖南师范大学 | 基于个体眼动特征的自动化共情能力识别方法 |
CN112732071A (zh) * | 2020-12-11 | 2021-04-30 | 浙江大学 | 一种免校准眼动追踪系统及应用 |
CN114795104A (zh) * | 2022-04-27 | 2022-07-29 | 郑州大学 | 一种基于眼动仪的眼球运动功能量化评估系统 |
CN115019382A (zh) * | 2022-06-21 | 2022-09-06 | 中国工商银行股份有限公司 | 区域确定方法、装置、设备、存储介质和程序产品 |
Also Published As
Publication number | Publication date |
---|---|
CN115857678A (zh) | 2023-03-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111949131B (zh) | 一种基于眼动追踪技术的眼动交互方法、系统及设备 | |
CN111897435B (zh) | 一种人机识别的方法、识别系统、mr智能眼镜及应用 | |
US9039419B2 (en) | Method and system for controlling skill acquisition interfaces | |
CN112970056A (zh) | 使用高速和精确的用户交互跟踪的人类-计算机接口 | |
Rozado et al. | Controlling a smartphone using gaze gestures as the input mechanism | |
CN111966223B (zh) | 非感知的mr眼镜人机识别方法、系统、设备及存储介质 | |
US20140099623A1 (en) | Social graphs based on user bioresponse data | |
WO2016112690A1 (zh) | 一种基于眼动数据的网上用户状态识别方法和装置 | |
CN104809458B (zh) | 一种瞳孔中心定位方法及装置 | |
Zdebskyi et al. | An Application Development for Recognizing of View in Order to Control the Mouse Pointer. | |
Rozado et al. | Low cost remote gaze gesture recognition in real time | |
Sivasangari et al. | Eyeball based cursor movement control | |
Păsărică et al. | Remote control of an autonomous robotic platform based on eye tracking | |
CN113569671A (zh) | 异常行为报警方法、装置 | |
CN112150463A (zh) | 用于确定黄斑中心凹位置的方法及装置 | |
CN115857678B (zh) | 眼动测试方法、装置、设备及存储介质 | |
CN115624315B (zh) | 眼动追踪方法、装置、电子设备、计算机存储介质及产品 | |
Baskaran et al. | Visual task recognition for human-robot teams | |
Bozomitu et al. | Methods of control improvement in an eye tracking based human-computer interface | |
Salman et al. | Improvement of Eye Tracking Based on Deep Learning Model for General Purpose Applications | |
Talukder et al. | Eye-tracking architecture for biometrics and remote monitoring | |
CN112200169A (zh) | 用于训练模型的方法、装置、设备以及存储介质 | |
CN115762772B (zh) | 目标对象的情绪特征确定方法、装置、设备及存储介质 | |
Chugh | An Eye Tracking System for a Virtual Reality Headset | |
Nepal et al. | MoodCapture: Depression Detection Using In-the-Wild Smartphone Images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |