CN115543091A - 综合容错的眼动追踪交互方法及系统 - Google Patents
综合容错的眼动追踪交互方法及系统 Download PDFInfo
- Publication number
- CN115543091A CN115543091A CN202211364549.XA CN202211364549A CN115543091A CN 115543091 A CN115543091 A CN 115543091A CN 202211364549 A CN202211364549 A CN 202211364549A CN 115543091 A CN115543091 A CN 115543091A
- Authority
- CN
- China
- Prior art keywords
- data
- information
- eye movement
- gaze
- eye
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000003993 interaction Effects 0.000 title claims abstract description 30
- 230000004424 eye movement Effects 0.000 claims abstract description 55
- 238000012417 linear regression Methods 0.000 claims abstract description 11
- 210000001747 pupil Anatomy 0.000 claims description 9
- 230000002452 interceptive effect Effects 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000007405 data analysis Methods 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 4
- 230000004438 eyesight Effects 0.000 claims description 3
- 238000013480 data collection Methods 0.000 abstract description 11
- 230000004434 saccadic eye movement Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001711 saccadic effect Effects 0.000 description 2
- 241000542420 Sphyrna tudes Species 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000001028 reflection method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Multimedia (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本发明提供了一种综合容错的眼动追踪交互方法及系统,其中,方法包括:在预设场景中让被试者坐在固定好的眼动数据采集设备前;采集被试者注视不同方位的信息图时的眼动特征作为第一目光焦点数据,采集被试者注视放大特定倍数的信息图时的眼动特征作为第二目光焦点数据,并同步记录信息图的相对位置信息;将第一目光焦点数、第二目光焦点数据以及信息图的相对位置信息进行同步分析,获取有效数据;将有效数据通过预设线性回归模型进行展示,从而对注视相同目标热点时不同位置、不同角度、不同轨迹的目光焦点数据进行预测,以提高注视同一热点信息时存在的多重目光焦点的可能性,从而提高眼动人机交互方法的容错率。
Description
技术领域
本文件涉及人机交互技术领域,尤其涉及一种综合容错的眼动追踪交互方法及系统。
背景技术
在现有人机感官交互研究的方法中,眼动追踪技术可以通过记录用户的目光焦点和眼动轨迹确定瞳孔位置和目光方向,从而判别用户正在关注的目标热点信息。
人类眼睛视角通常是124度,集中注意力时约25度,正确识别信息时在10~20度。因此其标准视线下目光焦点始终存在不确定性,10度均为敏感区,该发散的有效视域内任何信息都可能是人投入关注的目标热点。由于目光焦点数据始终存在10度视线锥的误差,以此评定的目标热点信息无法与之精准匹配,大幅降低了眼动人机交互系统的正确性和精准性,从而存在一定的失效率。
目前人机交互眼动跟踪方法在数据计算中均通过对用户视线的凝视点和方向进行测量完成视线追踪,较为主流的眼动跟踪方法有瞳孔角膜反射法、角膜反射矩阵法以及椭圆法线法。该类方法虽可完成眼动特征检测但仍存在以下问题:
1.由于目光焦点存在不确定性,人机交互时设备提取眼动特征的数据精度较低,无法与评定的目标热点信息精准匹配;
2.现有的眼动人机交互设备算法容错率较低,注视焦点与屏幕元素相关联时存在困难,算法的细微偏差会直接影响交互系统的跟踪精度;
统计学通过搜索、整理、分析、描述数据等手段,以达到推断所测对象的本质,甚至预测对象未来,因此可以凭借统计学相关方法来计算有效目光焦点和实际目标热点的关联度,提高允许匹配错误出现的范围和概率。
发明内容
为提高现有光学条件下人机交互方法对目光焦点的跟踪精度,保证被专注目标热点的准确性和有效性,本发明旨在基于统计学规律计算目光焦点与目标热点间的关联度,减小目光焦点对人机交互系统产生不稳定的概率,提高眼动人机交互方法的容错率。
本发明提供了一种综合容错的眼动追踪交互方法,包括:
S1、在预设场景中让被试者坐在固定好的眼动数据采集设备前;
S2、将信息图分别放置在被试者的不同方位,采集被试者注视不同方位的信息图时的眼动特征作为第一目光焦点数据,并同步记录信息图的相对位置信息;
S3、将信息图上的文字扩大特定倍数后,采集被试者注视信息图时的眼动特征作为第二目光焦点数据,并同步记录信息图的相对位置信息;
S4、将第一目光焦点数、第二目光焦点数据以及信息图的相对位置信息进行同步分析,获取有效数据;
S5、将有效数据通过预设线性回归模型进行展示,从而对注视相同目标热点时不同位置、不同角度、不同轨迹的目光焦点数据进行预测。
本发明提供了一种综合容错的眼动追踪交互系统,包括:
采集模块,用于通过眼动数据采集设备采集被试者的眼动特征数据;
数据分析模块,用于对眼动特征数据进行分析,获取有效数据;
数据预测模块,用于将有效数据通过预设线性回归模型进行展示,从而对注视相同目标热点时不同位置、不同角度、不同轨迹的目光焦点数据进行预测。
采用本发明实施例在眼动特征检测中对目光焦点数据如注视时间,次数、眼跳轨迹、眼跳时间、瞳孔变化大小、眨眼频率等进行提取分析记录,采用多重指标分析记录比对,弥补人目光视线锥角度造成目光焦点不确定性的影响;将软件算法、机械、电子、光学等各种处理识别手段结合统计学规律增强目光焦点对目标热点的学习算法,使人机交互系统的失效率降低到一个可接受的数值,大幅提升目光焦点追踪至目标热点信息的准确有效性,提供人机交互更高的跟踪精度。
附图说明
为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例的综合容错的眼动追踪交互方法的流程图;
图2为本发明实施例的综合容错的眼动追踪交互系统的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书一个或多个实施例中的技术方案,下面将结合本说明书一个或多个实施例中的附图,对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本说明书的一部分实施例,而不是全部的实施例。基于本说明书一个或多个实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本文件的保护范围。
方法实施例
本发明实施例提供了一种综合容错的眼动追踪交互方法,图1为本发明实施例的综合容错的眼动追踪交互方法的流程图,根据图1所示,本发明实施例的综合容错的眼动追踪交互方法具体包括:
S1、在预设场景中让被试者坐在固定好的眼动数据采集设备前;步骤S1具体包括:
在测试环境中固定眼动数据采集设备、用于被试者注视目标热点的信息图,被试者坐在所述眼动数据采集设备前接受眼动数据采集。
S2、将信息图分别放置在被试者的不同方位,采集被试者注视不同方位的信息图时的眼动特征作为第一目光焦点数据,并同步记录信息图的相对位置信息;步骤S2具体包括:
要求被试者进行信息图注视:将信息图分别置于被试者的左前方、右前方、正前方,每处位置停留20秒钟,此部分可大幅改变被试者注视目标热点时的目光焦点角度。使用眼动人机设备同步记录信息图的相对位置与被试者注视时的眼动特征,包括注视时间,次数、眼跳轨迹、眼跳时间、瞳孔变化大小、眨眼频率等;
S3、将信息图上的文字扩大特定倍数后,采集被试者注视信息图时的眼动特征作为第二目光焦点数据,并同步记录信息图的相对位置信息;步骤S3具体包括:重复步骤S2的操作,同时将信息图上的文字扩大一倍,小幅改变被试者注视目标热点时的目光焦点角度;
S4、将第一目光焦点数、第二目光焦点数据以及信息图的相对位置信息进行同步分析,获取有效数据;步骤S4具体包括:
将所述第一目光焦点数、第二目光焦点数据以及信息图的相对位置信息同步分析记录,在同一条时间轴上对注视同一目标热点时的目光数量的特征和数量关系进行纵向对比,找出数据的差异,利用算法进行误差分析,得出有效的数据。
S5、将有效数据通过预设线性回归模型进行展示,从而对注视相同目标热点时不同位置、不同角度、不同轨迹的目光焦点数据进行预测。步骤S5具体包括:
建立主实相同目标热点时不同位置、不同角度以及不同轨迹的目光焦点数据的回归模型;
将所述有效的数据以线性回归模型展示,对人机交互时建立注视相同目标热点时不同位置、不同角度、不同轨迹的目光焦点数据进行预测。
通过采用本发明实施例,具备如下有益效果:
在眼动特征检测中对目光焦点数据如注视时间,次数、眼跳轨迹、眼跳时间、瞳孔变化大小、眨眼频率等进行提取分析记录,采用多重指标分析记录比对,弥补人目光视线锥角度造成目光焦点不确定性的影响;将软件算法、机械、电子、光学等各种处理识别手段结合统计学规律增强目光焦点对目标热点的学习算法,使人机交互系统的失效率降低到一个可接受的数值,大幅提升目光焦点追踪至目标热点信息的准确有效性,提供人机交互更高的跟踪精度。
系统实施例
本发明实施例提供了一种综合容错的眼动追踪交互系统,图2为本发明实施例的综合容错的眼动追踪交互系统的示意图,根据图2所示,本发明实施例的综合容错的眼动追踪交互系统具体包括:
采集模块20,用于通过眼动数据采集设备采集被试者的眼动特征数据;采集模块20具体用于:在测试环境中固定眼动数据采集设备、用于被试者注视目标热点的信息图,被试者坐在所述眼动数据采集设备前接受眼动数据采集;
将信息图分别放置在被试者的不同方位,采集被试者注视不同方位的信息图时的眼动特征作为第一目光焦点数据,并同步记录信息图的相对位置信息;
将信息图上的文字扩大特定倍数后,采集被试者注视信息图时的眼动特征作为第二目光焦点数据,并同步记录信息图的相对位置信息;
其中,眼动特征具体包括:注视时间、次数、眼跳轨迹、眼跳时间、瞳孔变化大小以及眨眼频率。
数据分析模块22,用于对所述眼动特征数据进行分析,获取有效数据;数据分析模块22具体用于:
将所述第一目光焦点数、第二目光焦点数据以及信息图的相对位置信息同步分析记录,在同一条时间轴上对注视同一目标热点时的目光数量的特征和数量关系进行纵向对比,找出数据的差异,利用算法进行误差分析,得出有效的数据。
数据预测模块24,用于将有效数据通过预设线性回归模型进行展示,从而对注视相同目标热点时不同位置、不同角度、不同轨迹的目光焦点数据进行预测。数据预测模块24,具体用于:
建立主实相同目标热点时不同位置、不同角度以及不同轨迹的目光焦点数据的回归模型;
将有效的数据以线性回归模型展示,对人机交互时建立注视相同目标热点时不同位置、不同角度、不同轨迹的目光焦点数据进行预测。
通过采用本发明实施例,具备如下有益效果:
在眼动特征检测中对目光焦点数据如注视时间,次数、眼跳轨迹、眼跳时间、瞳孔变化大小、眨眼频率等进行提取分析记录,采用多重指标分析记录比对,弥补人目光视线锥角度造成目光焦点不确定性的影响;将软件算法、机械、电子、光学等各种处理识别手段结合统计学规律增强目光焦点对目标热点的学习算法,使人机交互系统的失效率降低到一个可接受的数值,大幅提升目光焦点追踪至目标热点信息的准确有效性,提供人机交互更高的跟踪精度。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种综合容错的眼动追踪交互方法,其特征在于,包括:
S1、在预设场景中让被试者坐在固定好的眼动数据采集设备前;
S2、将信息图分别放置在被试者的不同方位,采集被试者注视不同方位的信息图时的眼动特征作为第一目光焦点数据,并同步记录信息图的相对位置信息;
S3、将信息图上的文字扩大特定倍数后,采集被试者注视信息图时的眼动特征作为第二目光焦点数据,并同步记录信息图的相对位置信息;
S4、将所述第一目光焦点数、第二目光焦点数据以及信息图的相对位置信息进行同步分析,获取有效数据;
S5、将所述有效数据通过预设线性回归模型进行展示,从而对注视相同目标热点时不同位置、不同角度、不同轨迹的目光焦点数据进行预测。
2.根据权利要求1所述的方法,其特征在于,所述步骤S1具体包括:
在测试环境中固定眼动数据采集设备、用于被试者注视目标热点的信息图,被试者坐在所述眼动数据采集设备前接受眼动数据采集。
3.根据权利要求1所述的方法,其特征在于,所述步骤S2中将信息图分别放置在被试者的不同方位具体包括:
将信息图分别置于被试者的左前方、右前方、正前方,被试者目光在每处信息图位置停留20秒钟。
4.根据权利要求1所述的方法,其特征在于,所述步骤S2中采集被试者注视不同方位的信息图时的眼动特征具体包括:
采集被试者的注视时间、次数、眼跳轨迹、眼跳时间、瞳孔变化大小以及眨眼频率。
5.根据权利要求1所述的方法,其特征在于,所述步骤S4具体包括:
将所述第一目光焦点数、第二目光焦点数据以及信息图的相对位置信息同步分析记录,在同一条时间轴上对注视同一目标热点时的目光数量的特征和数量关系进行纵向对比,找出数据的差异,利用算法进行误差分析,得出有效的数据。
6.根据权利要求1所述的方法,其特征在于,所述步骤S5具体包括:
建立主实相同目标热点时不同位置、不同角度以及不同轨迹的目光焦点数据的回归模型;
将所述有效的数据以线性回归模型展示,对人机交互时建立注视相同目标热点时不同位置、不同角度、不同轨迹的目光焦点数据进行预测。
7.一种综合容错的眼动追踪交互系统,其特征在于,包括:
采集模块,用于通过眼动数据采集设备采集被试者的眼动特征数据;
数据分析模块,用于对所述眼动特征数据进行分析,获取有效数据;
数据预测模块,用于将所述有效数据通过预设线性回归模型进行展示,从而对注视相同目标热点时不同位置、不同角度、不同轨迹的目光焦点数据进行预测。
8.根据权利要求7所述的系统,其特征在于,所述采集模块具体用于:
在测试环境中固定眼动数据采集设备、用于被试者注视目标热点的信息图,被试者坐在所述眼动数据采集设备前接受眼动数据采集;
将信息图分别放置在被试者的不同方位,采集被试者注视不同方位的信息图时的眼动特征作为第一目光焦点数据,并同步记录信息图的相对位置信息;
将信息图上的文字扩大特定倍数后,采集被试者注视信息图时的眼动特征作为第二目光焦点数据,并同步记录信息图的相对位置信息;
其中,眼动特征具体包括:注视时间、次数、眼跳轨迹、眼跳时间、瞳孔变化大小以及眨眼频率。
9.根据权利要求8所述的系统,其特征在于,所述数据分析模块具体用于:
将所述第一目光焦点数、第二目光焦点数据以及信息图的相对位置信息同步分析记录,在同一条时间轴上对注视同一目标热点时的目光数量的特征和数量关系进行纵向对比,找出数据的差异,利用算法进行误差分析,得出有效的数据。
10.根据权利要求7所述的系统,其特征在于,所述数据预测模块,具体用于:
建立主实相同目标热点时不同位置、不同角度以及不同轨迹的目光焦点数据的回归模型;
将所述有效的数据以线性回归模型展示,对人机交互时建立注视相同目标热点时不同位置、不同角度、不同轨迹的目光焦点数据进行预测。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211364549.XA CN115543091A (zh) | 2022-11-02 | 2022-11-02 | 综合容错的眼动追踪交互方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211364549.XA CN115543091A (zh) | 2022-11-02 | 2022-11-02 | 综合容错的眼动追踪交互方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115543091A true CN115543091A (zh) | 2022-12-30 |
Family
ID=84721414
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211364549.XA Pending CN115543091A (zh) | 2022-11-02 | 2022-11-02 | 综合容错的眼动追踪交互方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115543091A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118012268A (zh) * | 2024-02-21 | 2024-05-10 | 深圳市铱硙医疗科技有限公司 | 一种针对vr眼动追踪数据的后处理矫正方法及系统 |
CN118012268B (zh) * | 2024-02-21 | 2025-02-18 | 深圳市铱硙医疗科技有限公司 | 一种针对vr眼动追踪数据的后处理矫正方法及系统 |
-
2022
- 2022-11-02 CN CN202211364549.XA patent/CN115543091A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118012268A (zh) * | 2024-02-21 | 2024-05-10 | 深圳市铱硙医疗科技有限公司 | 一种针对vr眼动追踪数据的后处理矫正方法及系统 |
CN118012268B (zh) * | 2024-02-21 | 2025-02-18 | 深圳市铱硙医疗科技有限公司 | 一种针对vr眼动追踪数据的后处理矫正方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230055308A1 (en) | Digital visual acuity eye examination for remote physician assessment | |
US11998336B2 (en) | Systems and methods for assessing user physiology based on eye tracking data | |
US10376139B2 (en) | Systems and methods for improved ease and accuracy of gaze tracking | |
EP2829221B1 (en) | Asperger's diagnosis assistance device | |
Chandra et al. | Eye tracking based human computer interaction: Applications and their uses | |
Haque et al. | Deep convolutional neural networks and transfer learning for measuring cognitive impairment using eye-tracking in a distributed tablet-based environment | |
US10888263B2 (en) | Procedure of non-invasive video-oculographic measurement of eye movements as a diagnostic tool for (early) detection of neuropsychiatric diseases | |
CN112890815A (zh) | 一种基于深度学习的孤独症辅助评估系统和方法 | |
US11666258B2 (en) | Eye-tracking system for detection of cognitive load | |
Krishnan et al. | Intelligent-based decision support system for diagnosing glaucoma in primary eyecare centers using eye tracker | |
CN115944266A (zh) | 基于眼动追踪技术的视功能确定方法及装置 | |
US20220395206A1 (en) | Cognitive assessment system based on eye movement | |
Zhao et al. | Eye moving behaviors identification for gaze tracking interaction | |
CN101108120A (zh) | 眼动测试分析方法 | |
CN115543091A (zh) | 综合容错的眼动追踪交互方法及系统 | |
KR102208508B1 (ko) | 복합적인 안과 진료를 수행하는 시스템 및 방법 | |
Sarker et al. | Analysis of smooth pursuit assessment in virtual reality and concussion detection using bilstm | |
Kerr et al. | A real-time lazy eye correction method for low cost webcams | |
CN116458835A (zh) | 一种幼儿近视及弱视的检测预防系统 | |
Oyekoya | Eye tracking: A perceptual interface for content based image retrieval | |
CN112932401A (zh) | 基于vr技术和手势识别的智能视力检测系统及方法 | |
Ma et al. | The quality evaluation of psychometric scale reply base on eye tracking | |
JP7540711B2 (ja) | 眼球運動自動記録システム、演算装置、演算方法およびプログラム | |
Varun et al. | Enhanced Autism Identification with CNN and Gaze | |
Dong et al. | High-speed pupil dynamic tracking algorithm for RAPD measurement equipment utilizing gray-level features |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |