CN109976514B - 基于眼球误差模型的眼动数据校正方法 - Google Patents

基于眼球误差模型的眼动数据校正方法 Download PDF

Info

Publication number
CN109976514B
CN109976514B CN201910155362.0A CN201910155362A CN109976514B CN 109976514 B CN109976514 B CN 109976514B CN 201910155362 A CN201910155362 A CN 201910155362A CN 109976514 B CN109976514 B CN 109976514B
Authority
CN
China
Prior art keywords
eyeball
sight
point
user
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910155362.0A
Other languages
English (en)
Other versions
CN109976514A (zh
Inventor
郑秀娟
淳新益
栗战恒
杨晓梅
刘凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN201910155362.0A priority Critical patent/CN109976514B/zh
Publication of CN109976514A publication Critical patent/CN109976514A/zh
Application granted granted Critical
Publication of CN109976514B publication Critical patent/CN109976514B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明公开了一种基于眼球误差模型的眼动数据校正方法,包括以下步骤:S1、获取视线标定时的用户所注视参考点坐标、眼睛正视前方时视线与屏幕交点的坐标、用户注视参考点时仅有斜视存在时对应的视线估计点坐标、以及近视伴随斜视发生时对应的视线估计点坐标,生成用户实际眼球与眼球参考模型的眼球误差模型;其中,参考点的数量至少为2个,视线标定时参考点坐标已知,眼动视线估计点由眼动仪检测获得;S2、根据眼球误差模型计算数据误差;S3、将误差量补偿于眼动数据中进行数据校正。本发明应用时不需要判定近视、斜视、近视伴随斜视的类型,使得眼动数据校正时更加便捷,且能保证眼动数据与真实数据的匹配度。

Description

基于眼球误差模型的眼动数据校正方法
技术领域
本发明涉及视线跟踪领域,具体是基于眼球误差模型的眼动数据校正方法。
背景技术
在过去40年间,关于视线跟踪的研究引起了多方关注并取得了很大的进步,然而,视线跟踪的关键技术—眼睛的识别与跟踪仍旧是一个难题。目前在进行眼睛的识别与跟踪过程中,常常应用到视线估计技术,现有视线估计技术有基于模型和基于回归的两种类型。其中,大多数基于模型的视线估计方法常需要一些先验参数,如:依据Le Grand眼球模型建立的单摄像机单光源系统,其使用了角膜半径经验值C=7.7mm;人机交互层面广泛使用的Morimoto的二次回归模型,其建立在Gullstrand眼球模型之上,需要角膜半径、折射率等先验参数值;邵国健提出的2D模型的视线估计方法除了使用先验的眼球半径外,更是假定眼球光轴视轴重合。
研究表明人的眼球在一定程度上与民族特征有关,并存在一定的个体差异。虽然进行大样本采样建模得到的眼球固有内参数具有普适性,但对于一些个体来说仍不适用,视线估计中恒定固有内参数的使用可能会导致视线估计得到的眼动数据(Gaze Data)与真实数据不匹配。
另外,近视、斜视等眼病造成的眼球畸变也会对基于模型的视线估计结果造成影响。近视被列为世界三大疾病之一,相关数据显示全球人口近视发生率为22%。近视会导致用户眼球凸出,并且随着近视程度的加深,眼球形变越来越大。近视者眼球形状的变化(尤其是高度近视者)使得依据先验的眼球模型得到的眼动数据不再适用。斜视是指人眼球光轴与视轴发生明显偏离的现象(一般正视者视轴光轴存在微小差别但斜视者差别明显)。斜视是眼科临床上十分常见的眼病之一,目前我国斜视发病率为儿童总人数的1%,并且高度近视者容易引起固定性斜视。斜视所造成的眼球畸变也很大程度上影响了视线估计的准确性。
用户眼球的个体差异导致部分基于模型的视线估计法得到的视线位置与用户实际视线位置不一致,即导致眼动跟踪出现不准确的问题,这限制了基于模型的视线估计方法的推广和应用,也制约了视线跟踪技术的发展。而这一问题可以通过比较参考点(或参考路径)与实际点(或实际路径)之间差异,通过校正进行解决。
近年来国内外一些学者开始致力于眼动数据校正方面的研究,然而,现有眼动数据校正方法普遍基于误差数据本身进行数据拟合,未从产生误差的模型原理进行分析,这导致使用模型拟合进行视线估计所得的眼动数据可能与真实数据不匹配。为了改善眼动数据校正时基于误差数据本身进行数据拟合所存在的缺陷,本申请的申请人于2018年7月5日提出了发明创造名称为“眼动数据的校正方法及装置”的发明专利申请,其公开号为CN108968907A,公开日为2018年12月11日,该专利申请所公开的技术方案应用时能提升眼动数据与真实数据的匹配度。然而,其应用时需要先验条件,必须知道是近视、斜视及近视伴随斜视具体某一类型后,才能选取对应的方式进行校正,操作过程较为繁琐,不便于推广应用。
发明内容
本发明的目的在于克服现有技术的不足,提供了一种基于眼球误差模型的眼动数据校正方法,其应用时不需要判定近视、斜视、近视伴随斜视的类型,使得眼动数据校正时更加便捷,且能保证眼动数据与真实数据的匹配度。
本发明的目的主要通过以下技术方案实现:基于眼球误差模型的眼动数据校正方法,包括以下步骤:
S1、获取视线标定时的用户所注视参考点坐标、眼睛正视前方时视线与屏幕交点的坐标、用户注视参考点时仅有斜视存在时对应的视线估计点坐标、以及近视伴随斜视发生时对应的视线估计点坐标,生成用户实际眼球与眼球参考模型的眼球误差模型;其中,参考点的数量至少为2个,视线标定时参考点坐标已知,眼动视线估计点由眼动仪检测获得;
S2、根据眼球误差模型计算数据误差;
S3、将误差量补偿于眼动数据中进行数据校正。因眼动数据中的注视数据(Fixation Data)具有稳定性,本发明在得到眼球误差模型时根据注视数据进行计算。
进一步的,所述眼球误差模型为:
在水平切面上:
Figure GDA0002071405980000021
Figure GDA0002071405980000022
其中,xA为眼睛正视前方时视线与屏幕交点的横坐标,xB为用户所注视参考点的横坐标,
Figure GDA0002071405980000023
为用户注视参考点时仅有斜视存在时对应的视线估计点横坐标,
Figure GDA0002071405980000024
为近视伴随斜视发生时对应的视线估计点横坐标,OA为眼睛正视前方时视线与屏幕的交点至眼球中心的间距,α1′为在水平切面的用户偏离角度,r为眼球参考模型半径,R为用户实际眼球模型半径;
在垂直切面上:
Figure GDA0002071405980000031
Figure GDA0002071405980000032
其中,yA为眼睛正视前方时视线与屏幕交点的纵坐标,yC为用户所注视参考点的纵坐标,
Figure GDA0002071405980000033
为用户注视参考点时仅有斜视存在时对应的视线估计点纵坐标,
Figure GDA0002071405980000034
为近视伴随斜视发生时对应的视线估计点纵坐标,OA为眼睛正视前方时视线与屏幕的交点至眼球中心的间距,β1′为在垂直切面的用户偏离角度。
进一步的,所述步骤S2中根据眼球误差模型计算数据误差时,在水平切面上采用的公式为:
Figure GDA0002071405980000035
其中,w=xB-xA,xA为眼睛正视前方时视线与屏幕交点的横坐标,xB为视线标定时参考点的横坐标,
Figure GDA0002071405980000036
为近视伴随斜视发生时对应的视线估计点横坐标,OA为眼睛正视前方时视线与屏幕的交点至眼球中心的间距,α1′为在水平切面的用户偏离角度,r为眼球参考模型半径,R为用户实际眼球模型半径;
在垂直切面上采用的公式为:
Figure GDA0002071405980000037
其中,w’=yC-yA,yA为眼睛正视前方时视线与屏幕交点的纵坐标,yC为视线标定时参考点的纵坐标,
Figure GDA0002071405980000038
为近视伴随斜视发生时对应的视线估计点纵坐标,OA为眼睛正视前方时视线与屏幕的交点至眼球中心的间距,β1′为在垂直切面的用户偏离角度。本发明根据眼球误差模型计算数据误差的上述两个公式能达到计算近视伴随斜视条件下数据误差的目的,若计算出的α1′和β1′均为0时,则说明只有近视;若计算出来的R/r为1,则只有斜视发生。
进一步的,所述步骤S3将误差量补偿于眼动数据中进行数据校正时,在水平切面上采用的公式为:
Figure GDA0002071405980000039
其中,
Figure GDA0002071405980000041
xA为眼睛正视前方时视线与屏幕交点的横坐标,
Figure GDA0002071405980000042
为近视伴随斜视发生时对应的视线估计点横坐标,OA为眼睛正视前方时视线与屏幕的交点至眼球中心的间距,α1′为在水平切面的用户偏离角度,r为眼球参考模型半径,R为用户实际眼球模型半径;
在垂直切面上采用的公式为:
Figure GDA0002071405980000043
其中,
Figure GDA0002071405980000044
yA为眼睛正视前方时视线与屏幕交点的纵坐标,
Figure GDA0002071405980000045
为近视伴随斜视发生时对应的视线估计点纵坐标,OA为眼睛正视前方时视线与屏幕的交点至眼球中心的间距,β1′为在垂直切面的用户偏离角度。本发明将误差量补偿于眼动数据中进行数据校正的上述两个公式能达到近视伴随斜视条件下的数据校正,若计算出的α1′和β1′均为0时,则说明只有近视;若计算出来的R/r为1,则只有斜视发生。
眼动仪的常规使用流程为:先进行一个视线标定用于匹配眼动视角与屏幕坐标之间的关系,从而保证眼动仪对视线的有效追踪,然后进行相关操作。但一直以来存在一个问题,眼动仪使用中例行的视线标定只是让用户通过比较参考点与眼动仪视线估计点位置人为的判断视线跟踪是否可用(是否进行重新标定),并没有提供一个具体的量化标准。为了对用户视线标定后眼动仪的可用性提供了一个量化的判断准则,进一步的,所述步骤S1在进行视线标定时,还包括以下步骤:
S11、进行N点标定,由视线标定点、对应的眼动视线估计点N组数据,通过以下两个公式分别计算用户视线单个标定点的偏离角度δi和平均偏离角度
Figure GDA0002071405980000046
Figure GDA0002071405980000047
Figure GDA0002071405980000048
其中,
Figure GDA0002071405980000049
N为视线标定点的个数,JJ1为眼动数据在屏幕上的实际偏差,OJ为用户眼球与被视物的距离,OA为眼睛正视前方时视线与屏幕的交点至眼球中心的间距,(xi,yi)为第i个标定点坐标,
Figure GDA0002071405980000051
为相应的视线估计点坐标;
S12、判断视线平均偏离角度
Figure GDA0002071405980000052
是否大于设置阈值,若大于则进行重新标定。其中,视线平均偏离角度
Figure GDA0002071405980000053
阈值可针对实际需求做自定义设置。
综上所述,本发明与现有技术相比具有以下有益效果:(1)本发明应用时,由导致眼动数据偏差的眼球误差模型出发,提出了利用原有眼动数据进行校正的解决方案,结合眼动仪使用过程中的视线标定,通过计算真实值与错误值之间关系求得眼球误差模型,进而对眼动数据进行校正。本发明应用时不需要判定近视、斜视、近视伴随斜视的类型,使得眼动数据校正时更加便捷,且能保证眼动数据与真实数据的匹配度。
(2)本发明提出的眼动数据校正方法借助眼动仪的视线标定流程,能减少校正方法本身的复杂性。
(3)本发明不仅适用于近视、斜视、近视伴随斜视,用户眼球大小与模型大小不一致、用户视轴与参考模型视轴不一致的情况均适用。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解,构成本申请的一部分,并不构成对本发明实施例的限定。在附图中:
图1为本发明一个具体实施例的流程图;
图2为本发明一个具体实施例应用时所对应的球体模型;
图3为本发明一个具体实施例中眼睛与屏幕位置关系的示意图;
图4为斜视用户的视线示意图;
图5为斜视用户对应的用户眼球局部放大图;
图6为斜视用户偏离角度为水平向右时过眼球中心的水平切面图;
图7为斜视用户偏离角度为水平向左时过眼球中心的水平切面图;
图8为近视伴随斜视用户偏离角度为向右时过眼球中心的水平切面示意图;
图9为近视伴随斜视用户偏离角度为向左时过眼球中心的水平切面示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下面结合实施例和附图,对本发明作进一步的详细说明,本发明的示意性实施方式及其说明仅用于解释本发明,并不作为对本发明的限定。
实施例:
用户视线的改变是靠眼球转动来进行的,人类眼球的转动是一个很复杂的生理过程,纵然眼睛只做单一的水平方向上的运动,眼球也是在某一轨道上做前后运动,而不是简单地作球体旋转。为了简化眼动数据校正中的有关计算,现有眼动数据校正方法均将用户眼球看作如图2所示的一个围绕固定点转动的标准球体,眼球中心为位于角膜后13.5mm的点,瞳孔中心位于球面上,眼球中心与瞳孔中心的连线即为用户视线。
在眼动仪使用过程中,眼睛与屏幕位置关系如图3所示,其中O为眼球中心,Z为眼动仪,A为眼睛正视前方时视线与屏幕的交点。用户使用过程中眼动仪Z位置不变,A点坐标及线段OZ长度可由眼动仪获取,显然OA⊥AZ,由勾股定理可求得OA长度,如果整个使用过程中用户保持头部不动,OA可看作是常量。视线标定时,参考点坐标已知,对应的视线估计点坐标可由眼动仪得到,以下计算时,OA长度、A点坐标、参考点坐标及对应的视线估计点坐标均为已知量;视线标定后,视线估计点坐标可由眼动仪得到,以下计算时,OA长度、A点坐标及视线估计点坐标均为已知量。
如图1所示,基于眼球误差模型的眼动数据校正方法,包括以下步骤:S1、生成用户实际眼球与眼球参考模型的眼球误差模型;S2、根据眼球误差模型计算数据误差;S3、将误差量补偿于眼动数据中进行数据校正。其中,步骤S1在具体实施时,需先获取视线标定时的用户所注视参考点坐标、眼睛正视前方时视线与屏幕交点的坐标、用户注视参考点时仅有斜视存在时对应的视线估计点坐标、以及近视伴随斜视发生时对应的视线估计点坐标,所选取的参考点的数量至少为2个,视线标定时参考点坐标已知,眼动视线估计点由眼动仪检测获得,用户注视参考点时仅有斜视存在时对应的视线估计点坐标、以及近视伴随斜视发生时对应的视线估计点坐标由计算得到。
本实施例的眼球误差模型为:
在水平切面上:
Figure GDA0002071405980000061
Figure GDA0002071405980000062
其中,xA为眼睛正视前方时视线与屏幕交点的横坐标,xB为用户所注视参考点的横坐标,
Figure GDA0002071405980000063
为用户注视参考点时仅有斜视存在时对应的视线估计点横坐标,
Figure GDA0002071405980000064
为近视伴随斜视发生时对应的视线估计点横坐标,OA为眼睛正视前方时视线与屏幕的交点至眼球中心的间距,α1′为在水平切面的用户偏离角度,r为眼球参考模型半径,R为用户实际眼球模型半径。
在垂直切面上:
Figure GDA0002071405980000071
Figure GDA0002071405980000072
其中,yA为眼睛正视前方时视线与屏幕交点的纵坐标,yC为用户所注视参考点的纵坐标,,
Figure GDA0002071405980000073
为用户注视参考点时仅有斜视存在时对应的视线估计点纵坐标,
Figure GDA0002071405980000074
为近视伴随斜视发生时对应的视线估计点纵坐标,OA为眼睛正视前方时视线与屏幕的交点至眼球中心的间距,β1′为在垂直切面的用户偏离角度。
本实施例的步骤S2中根据眼球误差模型计算数据误差时,在水平切面上采用的公式为:
Figure GDA0002071405980000075
其中,w=xB-xA
在垂直切面上采用的公式为:
Figure GDA0002071405980000076
其中,w’=yC-yA
本实施例的步骤S3将误差量补偿于眼动数据中进行数据校正时,在水平切面上采用的公式为:
Figure GDA0002071405980000077
其中,
Figure GDA0002071405980000078
在垂直切面上采用的公式为:
Figure GDA0002071405980000079
其中,
Figure GDA00020714059800000710
眼动仪的视线跟踪是由摄像机拍摄用户面部,通过处理图像获取眼部特征,构建眼部特征与视线之间的映射关系,从而获取用户的视线位置。其中,映射关系中含有一些参数,由于用户使用眼动仪时的头部位置等不同,上面这些参数就不同。眼动仪在使用之前先进行视线标定,以确定这些参数的值,这些参数值求解出来之后映射关系就被唯一确定下来,即-匹配眼动特征与屏幕坐标之间的关系。
本实施例的步骤S1在进行视线标定时,还包括以下步骤:S11、进行N点标定,由视线标定点、对应的眼动视线估计点N组数据,通过以下两个公式分别计算用户视线单个标定点的偏离角度δi和平均偏离角度
Figure GDA0002071405980000081
Figure GDA0002071405980000082
Figure GDA0002071405980000083
其中,
Figure GDA0002071405980000084
N为视线标定点的个数,本实施例采用5点及以上的标定,JJ1为眼动数据在屏幕上的实际偏差,OJ为用户眼球与被视物的距离,OA为眼睛正视前方时视线与屏幕的交点至眼球中心的间距,(xi,yi)为第i个标定点坐标,
Figure GDA0002071405980000085
为相应的视线估计点坐标;S12、判断视线平均偏离角度
Figure GDA0002071405980000086
是否大于设置阈值,若大于则进行重新标定。如图4所示,J点为视线标定时一参考点,J1为屏幕上对应的眼动视线估计点。视线标定时,A点、J点、J1点坐标及线段OA长度均已知,显然,由勾股定理易求得OA、OJ、JJ1距离。一般,眼动数据在屏幕上的实际偏差JJ1远小于用户眼球与被视物的距离OJ,为了简化计算用户偏移角度可用公式
Figure GDA0002071405980000087
近似替代。由于眼球固有的生理震颤,实际的用户视线分布呈现为一个扰动区域而不是一个稳定的点,因此眼动仪的视线跟踪精度一般存在1°的生理门限值,本实施例也选取1°作为眼动仪可用性判断阈值。
本实施例应用时,需要求解用户眼球与眼动仪原始参考模型之间的关系,而关系的求解需要两组数据,一组是真实数据,另一组是对应的视线估计数据。因为眼动仪使用前一般都要进行5点及以上的标定,我们使用标定时的参考点作真实数据,对应的眼动仪反馈(返回)数据作为视线估计数据,就可求解用户眼球与眼动仪原始参考模型之间的关系,这样不用在用户使用时增加附加步骤。
本实施例在具体实施时,双眼校正原理相同,故具体实施步骤里面以单个眼球为例进行校正原理分析。斜视分为水平斜视、垂直斜视和旋转斜视,其中,水平斜视和垂直斜均可视为旋转斜视的特例,本实施例选取旋转斜视进行说明。如图4及图5所示,O为眼球中心,平面ABJC为屏幕所在平面,A'、B'、C'、J'、B1'、C1'、J1'分别为直线OA、OB、OC、OJ、OB1、OC1、OJ1与眼球球面的交点,直线AB、CJ、C1J1平行于水平方向,直线AC、BJ、B1J1平行于垂直方向;A为用户正视前方时视线与屏幕的交点,直线OA垂直于平面ABJC;J为用户实际注视点,J1为基于模型的视线估计方法得到的视线估计点。如图5所示,当用户由A看向J时眼球转动∠A'OJ'(θ),等于眼睛向水平方向转动∠A'OB'(α)与垂直方向转动∠A'OC'(β)的叠加。同理,眼睛的斜视角度∠J'OJ1'(θ′)可分为水平斜视角∠B'OB1'(α′)与垂。直斜视角∠C'OC1'(β′)的叠加。以下记A点、B点、B1点、C点、C1点、J点、J1点坐标分别为(xA,yA)、(xB,yB)、
Figure GDA0002071405980000091
由图可知:xJ=xB
Figure GDA0002071405980000092
yJ=yC
Figure GDA0002071405980000093
如图6所示,在水平切面上当用户偏离角度为水平向右时由于注视目标B位置不同存在五种几何关系。如图6(a)所示,由几何关系可推出以下公式:
Figure GDA0002071405980000094
由公式(1)可以推出:
Figure GDA0002071405980000095
如图6(b)所示,由几何关系可得到以下公式:
Figure GDA0002071405980000096
由公式(3)可以推出:
Figure GDA0002071405980000101
此时,A点与B点重合,所以xA=xB,可以推出:
Figure GDA0002071405980000102
由公式(4)与(5)可以推出公式(2)。
如图6(c)所示,由几何关系可推出以下公式:
Figure GDA0002071405980000103
由公式(6)可以推出:
Figure GDA0002071405980000104
此时,A点与B1点重合,所以
Figure GDA0002071405980000105
可以推出:
Figure GDA0002071405980000106
由公式(7)与公式(8)可以推出公式(2)。
如图6(d)所示,由几何关系可推出以下公式:
Figure GDA0002071405980000107
由公式(9)可以推出公式(2)。
如图6(e)所示,由几何关系可推出以下公式:
Figure GDA0002071405980000111
由公式(10)可以推出公式(2)。
由以上推导过程可知,图6均满足公式(2)的等式关系。
如图7所示,在水平切面上当用户偏离角度为水平向左时由于注视目标B位置不同存在五种几何关系。图7推导过程与图6类似,可以验证图7(a)(b)、(c)、(d)、(e)均满足:
Figure GDA0002071405980000112
可以推出:
Figure GDA0002071405980000113
在水平切面,当用户偏离角度为水平向右时,记α′为α1′;当用户偏离角度为水平向左时,记-α′为α1′。所以,公式(2)和公式(12)均满足通式:
Figure GDA0002071405980000114
当计算得到的tan(α1′)>0,说明用户偏离角度为水平向右,否则用户偏离角度为水平向左。
视线标定时,A点、B点、B1点坐标及线段OA长度均已知,其中xJ=xB,则由公式(13)可解得tan(α1′)。同一用户,tan(α1′)值为常量。在水平切面上用户视线偏离角度及偏离方向不变,视线标定完成后当用户进行眼动操作时用户视线必然满足图6(或图7)类似几何关系。由公式(13)可以推出:
Figure GDA0002071405980000121
此时,A点、B1点坐标及线段OA长度已知,其中xJ=xB,可以推出:
Figure GDA0002071405980000122
利用公式(13)计算tan(α1′),然后用公式(15)进行数据校正。
在垂直切面上当用户由于注视目标C位置不同存在与水平切面相似的几何关系,其数据校正推导过程类似。当用户偏离角度为垂直向上时,记β′为β1′;当用户偏离角度为垂直向下时,记-β′为β1′。存在以下公式:
Figure GDA0002071405980000123
Figure GDA0002071405980000124
当计算得到的tan(β1′)>0,说明用户偏离角度为垂直向上,否则用户偏离角度为垂直向下。
利用公式(16)计算tan(β1′),然后用公式(17)进行数据校正。
如图8所示,近视伴随斜视用户当偏离角度为向右时过眼球中心O时,由于注视目标B位置不同,在水平切面上存在7种几何关系。图中虚线圆为视线估计的眼球参考模型,实线圆为近视用户实际眼球模型,两圆的共同圆心为O。A为用户正视前方时视线与屏幕的交点,直线OA垂直于屏幕所在平面。B为视线标定时的一个参考点,B1为用户注视参考点时仅有斜视存在时对应的视线估计点,B1'为近视伴随斜视发生时对应的视线估计点,A点、B点、B1点B1'四点共线。线段DE为当斜视存在时用户从A看向B时瞳孔在水平方向的实际移动距离,HI为DE在眼球参考模型上的映射,DE=HI。近视伴随斜视发生时基于模型的视线估计方法中视线由A点移到B1'点对应的眼球参考模型中瞳孔在水平方向上移动距离HI。
如图8中(a)、(b)、(c)所示,ΔODE与ΔOB1A相似,ΔOHI与ΔOB1'A相似,根据相似性质可以推出:
Figure GDA0002071405980000131
其中,DE=HI,以下记OH=r为眼球参考模型半径长度,OD=R为用户实际眼球模型半径长度,由公式(18)可推出:
Figure GDA0002071405980000132
假设A点、B点、B1点、B1'坐标分别为(xA,yA)、(xB,yB)、
Figure GDA0002071405980000133
可以推
出:
Figure GDA0002071405980000134
如图8所示,A点、B1点、B1'三点重合,满足公式(20)的等式关系。
如图8中(e)、(f)、(g)所示,ΔODE与ΔOAB1相似,ΔOHI与ΔOAB1'相似,根据相似性质可以推出:
Figure GDA0002071405980000135
其中,DE=HI,以下记OI=r为眼球参考模型半径长度,OH=R为用户实际眼球模型半径长度,由公式(21)可推出公式(22),假设A点、B点、B1点、B1'坐标分别为(xA,yA)、(xB,yB)、
Figure GDA0002071405980000136
可以推出:
Figure GDA0002071405980000141
变形推出公式(20)。
由以上推导可知,图8中所有情况均满足公式(20)。
如图9所示,在水平切面上当用户偏离角度为水平向左时由于注视目标B位置不同也存在7种几何关系。采用水平切面上近视伴随斜视用户当偏离角度为向右时过眼球中心O相同的推导方式,可知图5中(a)、(b)、(c)、(d)、(e)、(f)及(g)均满足公式(20)。
如图9所示,在水平切面上当用户偏离角度为水平向左时由于注视目标B位置不同可能存在7种几何关系。图9推导过程与图8类似,可以验证图9中(a)(b)(c)(d)(e)(f)(g)均满足公式(20)。
B1为近视伴随斜视用户仅当斜视存在时用户注视参考点时对应的视线估计点。同上,在水平切面上,当用户偏离角度为水平向右时,记α′为α1′;当用户偏离角度为水平向左时,记-α′为α1′。由斜视时眼动数据校正的推导易知图8及图9均满足公式(13)。
设w=xB-xA,由公式(13)、(20)可以消去
Figure GDA0002071405980000142
推出:
Figure GDA0002071405980000143
校正前视线标定时,A点、B点及线段OA长度均已知,B1'为对应的视线估计点其坐标值可由眼动仪获取,未知量只有r/R与tan(α1′)。对于同一用户r/R及tan(α1′)值为常量。本实施例在标定时其水平和垂直两个切面上均存在三个参考点,联立3个方程足以解得r/R与tan(α1′)的值。视线标定完成后当用户进行眼动操作时用户视线必然满足图8(或图9)类似几何关系。设:
Figure GDA0002071405980000144
由公式(23)可以推出:
(1-M2-M2tan21′))w2+2OAtan(α1′)w+OA2(tan21′)-M2-M2tan21′))=0 (25)
因为w、M正负性一致,由一元二次方程求根公式可以解得:
Figure GDA0002071405980000145
将w表达式带入公式(26),且xJ=xB,可以推出:
Figure GDA0002071405980000151
利用公式(23)联立求解r/R及tan(α1′),然后用公式(27)进行数据校正。
在垂直切面上,用户由于注视目标C位置不同存在与水平切面相似的几何关系,β′为用户垂直切面上的偏离角度。当用户偏离角度为垂直向上时,记β′为β1′;当用户偏离角度为垂直向下时,记-β′为β1′。设:
Figure GDA0002071405980000152
其数据校正推导过程与水平面上类似,存在以下公式:
Figure GDA0002071405980000153
Figure GDA0002071405980000154
利用公式(29)求解r/R及tan(β1′),然后用公式(30)进行数据校正。
上述推导过程将眼疾用户的眼球模型假设为比正视者眼球模型直径大的球体模型,可以验证,当用户眼球半径小于参考模型半径时,校正公式与眼球半径大于参考模型半径时相同。仅用户眼球半径异于参考模型可视为上述情况的特殊形式,故上述校正方法对仅用户眼球半径异于参考模型的情况均适用。
本实施例采用计算机仿真的方式对上述眼动数据的校正算法进行验证,通常眼动仪的跟踪距离为50~80cm,仿真时我们选取OA长度为65cm,在宽高比为16:9、屏幕分辨率为1920×1080像素(pix)的23.1英寸显示器上进行。眼动仪跟踪用户眼动时必然存在一定的眼球生理震颤和外界干扰从而造成数据误差,我们通过实验拟合扰动误差的参数模型,之后将信号扰动施加于计算机仿真中。
本实施例在进行近视校正的计算机仿真时,近视度数范围的选取为:成年人正常眼球长度为23mm左右,经典理论认为眼轴每延长1mm,屈光力可增加约3D。而眼睛近视度数过高时易发生视网膜脱落,故我们选取仿真R/r范围为1.0~1.2。在选取R/r为1.1,当用户注视点与A点的距离由0变为540pix(像素)时,校正后数据偏差稳定在±45.479pix范围内,明显小于校正前数据偏差。用户注视点与点A的距离一定(具体距离值),R/r从1到1.2时,随着近视程度的加深(即R/r从1变为1.2)校正前数据偏差越来越大,校正后数据偏差稳定在±45.395pix的范围。以上仿真结果说明,所提出的近视校正方案对近视眼球变形造成的眼动数据不准具有很好的校正作用。
本实施例在进行斜视校正的计算机仿真时,斜视度数范围的选取范围为0°~20°。当选取眼睛斜视度数为5°,用户注视点与A点的距离由0变为540pix时,校正后数据偏差明显小于校正前数据偏差。随用户注视点与点A的距离变大,校正前数据偏差越来越大,而校正后数据偏差稳定在46pix的范围内。当用户注视点与A点的距离一定,眼睛斜视角度从0°变为15°时,随着斜视程度的加深(即斜视角度从0°变为15°),校正前数据偏差越来越大,校正后的数据偏差稳定在46pix的范围。其中,以上偏差为欧氏距离绝对值。以上仿真结果说明,斜视的校正方法可以很好的修正由斜视而造成的眼动数据不准。
本实施例在进行近视伴随斜视校正的计算机仿真时,在选取眼球半径比R/r为1.1,斜视角度为5°,用户注视点与点A的距离由0变为540pix时,校正后数据偏差稳定在46pix范围,明显小于校正前数据偏差。用户注视点与A点距离一定,R/r从1变为1.2,眼睛斜视度数从0°变为10°时,随着近视程度和斜视程度的加深(即R/r从1变为1.2,斜视度数从0°变为10°)校正前数据偏差越来越大,校正后数据偏差稳定在47pix的范围。其中,以上偏差为欧氏距离绝对值。以上仿真结果说明,近视伴随斜视的校正方案可以很好的修正由近视伴随斜视眼球变形而造成的眼动数据不准。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (4)

1.基于眼球误差模型的眼动数据校正方法,其特征在于,包括以下步骤:
S1、获取视线标定时的用户所注视参考点坐标、眼睛正视前方时视线与屏幕交点的坐标、用户注视参考点时仅有斜视存在时对应的视线估计点坐标、以及近视伴随斜视发生时对应的视线估计点坐标,生成用户实际眼球与眼球参考模型的眼球误差模型;其中,参考点的数量至少为2个,视线标定时参考点坐标已知,眼动视线估计点由眼动仪检测获得;
S2、根据眼球误差模型计算数据误差;
S3、将误差量补偿于眼动数据中进行数据校正;
所述眼球误差模型为:
在水平切面上:
Figure FDA0002998741380000011
Figure FDA0002998741380000012
其中,xA为眼睛正视前方时视线与屏幕交点的横坐标,xB为用户所注视参考点的横坐标,
Figure FDA0002998741380000013
为用户注视参考点时仅有斜视存在时对应的视线估计点横坐标,
Figure FDA0002998741380000014
为近视伴随斜视发生时对应的视线估计点横坐标,OA为眼睛正视前方时视线与屏幕的交点至眼球中心的间距,α1′为在水平切面的用户偏离角度,r为眼球参考模型半径,R为用户实际眼球模型半径;
在垂直切面上:
Figure FDA0002998741380000015
Figure FDA0002998741380000016
其中,yA为眼睛正视前方时视线与屏幕交点的纵坐标,yC为用户所注视参考点的纵坐标,
Figure FDA0002998741380000017
为用户注视参考点时仅有斜视存在时对应的视线估计点纵坐标,
Figure FDA0002998741380000018
为近视伴随斜视发生时对应的视线估计点纵坐标,OA为眼睛正视前方时视线与屏幕的交点至眼球中心的间距,β1′为在垂直切面的用户偏离角度。
2.根据权利要求1所述的基于眼球误差模型的眼动数据校正方法,其特征在于,所述步骤S2中根据眼球误差模型计算数据误差时,在水平切面上采用的公式为:
Figure FDA0002998741380000021
其中,w=xB-xA,xA为眼睛正视前方时视线与屏幕交点的横坐标,xB为视线标定时参考点的横坐标,
Figure FDA0002998741380000022
为近视伴随斜视发生时对应的视线估计点横坐标,OA为眼睛正视前方时视线与屏幕的交点至眼球中心的间距,α1′为在水平切面的用户偏离角度,r为眼球参考模型半径,R为用户实际眼球模型半径;
在垂直切面上采用的公式为:
Figure FDA0002998741380000023
其中,w’=yC-yA,yA为眼睛正视前方时视线与屏幕交点的纵坐标,yC为视线标定时参考点的纵坐标,
Figure FDA0002998741380000024
为近视伴随斜视发生时对应的视线估计点纵坐标,OA为眼睛正视前方时视线与屏幕的交点至眼球中心的间距,β1′为在垂直切面的用户偏离角度。
3.根据权利要求1所述的基于眼球误差模型的眼动数据校正方法,其特征在于,所述步骤S3将误差量补偿于眼动数据中进行数据校正时,在水平切面上采用的公式为:
Figure FDA0002998741380000025
其中,
Figure FDA0002998741380000026
xA为眼睛正视前方时视线与屏幕交点的横坐标,
Figure FDA0002998741380000027
为近视伴随斜视发生时对应的视线估计点横坐标,OA为眼睛正视前方时视线与屏幕的交点至眼球中心的间距,α1′为在水平切面的用户偏离角度,r为眼球参考模型半径,R为用户实际眼球模型半径;
在垂直切面上采用的公式为:
Figure FDA0002998741380000028
其中,
Figure FDA0002998741380000029
yA为眼睛正视前方时视线与屏幕交点的纵坐标,
Figure FDA00029987413800000210
为近视伴随斜视发生时对应的视线估计点纵坐标,OA为眼睛正视前方时视线与屏幕的交点至眼球中心的间距,β1′为在垂直切面的用户偏离角度。
4.根据权利要求1~3中任意一项所述的基于眼球误差模型的眼动数据校正方法,其特征在于,所述步骤S1在进行视线标定时,还包括以下步骤:
S11、进行N点标定,由视线标定点、对应的眼动视线估计点N组数据,通过以下两个公式分别计算用户视线单个标定点的偏离角度δi和平均偏离角度
Figure FDA0002998741380000031
Figure FDA0002998741380000032
Figure FDA0002998741380000033
其中,
Figure FDA0002998741380000034
N为视线标定点的个数,JJ1为眼动数据在屏幕上的实际偏差,OJ为用户眼球与被视物的距离,OA为眼睛正视前方时视线与屏幕的交点至眼球中心的间距,(xi,yi)为第i个标定点坐标,
Figure FDA0002998741380000035
为相应的视线估计点坐标;
S12、判断视线平均偏离角度
Figure FDA0002998741380000036
是否大于设置阈值,若大于则进行重新标定。
CN201910155362.0A 2019-03-01 2019-03-01 基于眼球误差模型的眼动数据校正方法 Active CN109976514B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910155362.0A CN109976514B (zh) 2019-03-01 2019-03-01 基于眼球误差模型的眼动数据校正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910155362.0A CN109976514B (zh) 2019-03-01 2019-03-01 基于眼球误差模型的眼动数据校正方法

Publications (2)

Publication Number Publication Date
CN109976514A CN109976514A (zh) 2019-07-05
CN109976514B true CN109976514B (zh) 2021-09-03

Family

ID=67077692

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910155362.0A Active CN109976514B (zh) 2019-03-01 2019-03-01 基于眼球误差模型的眼动数据校正方法

Country Status (1)

Country Link
CN (1) CN109976514B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110780742B (zh) * 2019-10-31 2021-11-02 Oppo广东移动通信有限公司 眼球追踪处理方法及相关装置
CN110706283B (zh) * 2019-11-14 2022-07-29 Oppo广东移动通信有限公司 用于视线追踪的标定方法、装置、移动终端及存储介质
CN112987910B (zh) * 2019-12-17 2023-04-07 七鑫易维(深圳)科技有限公司 眼球追踪设备的测试方法、装置、设备及存储介质
CN111459271B (zh) * 2020-03-27 2024-03-08 Oppo广东移动通信有限公司 注视偏移误差确定方法及装置
CN111625090A (zh) * 2020-05-13 2020-09-04 闽江学院 一种大范围眼动跟踪和视线估计算法综合测试平台
CN113448435B (zh) * 2021-06-11 2023-06-13 北京数易科技有限公司 一种基于卡尔曼滤波的眼控光标稳定方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103366381A (zh) * 2013-08-06 2013-10-23 山东大学 基于空间位置的视线跟踪校正方法
CN103385691A (zh) * 2013-08-02 2013-11-13 中国科学院光电技术研究所 双眼自适应光学视觉仿真器和仿真方法
WO2015094191A1 (en) * 2013-12-17 2015-06-25 Intel Corporation Controlling vision correction using eye tracking and depth detection
CN108968907A (zh) * 2018-07-05 2018-12-11 四川大学 眼动数据的校正方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103385691A (zh) * 2013-08-02 2013-11-13 中国科学院光电技术研究所 双眼自适应光学视觉仿真器和仿真方法
CN103366381A (zh) * 2013-08-06 2013-10-23 山东大学 基于空间位置的视线跟踪校正方法
WO2015094191A1 (en) * 2013-12-17 2015-06-25 Intel Corporation Controlling vision correction using eye tracking and depth detection
CN108968907A (zh) * 2018-07-05 2018-12-11 四川大学 眼动数据的校正方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A Novel Simple 2D Model of Eye Gaze Estimation;Guojian Shao;《2010 Second International Conference on Intelligent Human-Machine Systems and Cybernetics》;20100930;第1卷;300-304 *
基于视觉特性的驾驶安全眼动研究进展;郑秀娟;《技术与创新管理》;20180109;第39卷(第一期);51-59 *

Also Published As

Publication number Publication date
CN109976514A (zh) 2019-07-05

Similar Documents

Publication Publication Date Title
CN109976514B (zh) 基于眼球误差模型的眼动数据校正方法
CN109558012B (zh) 一种眼球追踪方法及装置
Shih et al. A novel approach to 3-D gaze tracking using stereo cameras
CN108968907B (zh) 眼动数据的校正方法及装置
CN109758355B (zh) 一种基于人体穴位二维图像处理和三维立体定位方法
Plopski et al. Corneal-imaging calibration for optical see-through head-mounted displays
CN102043952B (zh) 一种基于双光源的视线跟踪方法
US20130076884A1 (en) Method and device for measuring an interpupillary distance
US20150219934A1 (en) System for the measurement of the interpupillary distance using a device equipped with a screen and a camera
WO2023011339A1 (zh) 视线方向追踪方法和装置
CN103366381A (zh) 基于空间位置的视线跟踪校正方法
US11448903B2 (en) Method for correcting centering parameters and/or an axial position and corresponding computer program and methods
Ponto et al. Perceptual calibration for immersive display environments
CN112807200B (zh) 斜视训练设备
CN109766007A (zh) 一种显示设备的注视点补偿方法及补偿装置、显示设备
US20220207919A1 (en) Methods, devices and systems for determining eye parameters
CN113793389B (zh) 一种增强现实系统虚实融合标定方法及装置
WO2019002543A1 (en) METHOD FOR DETERMINING THE POSITION OF THE ROTATION CENTER OF THE EYE OF A SUBJECT, AND DEVICE THEREFOR
CN106963334A (zh) 一种基于vr技术的验光方法及vr眼镜验光仪
Nagamatsu et al. Calibration-free gaze tracking using a binocular 3D eye model
EP3402387B1 (en) Method, system and computer readable medium to determine a strabismus angle between the eyes of an individual
TWI756600B (zh) 鏡框配戴參數之量測方法及其量測設備
CN109308472A (zh) 一种基于虹膜投影匹配函数的三维视线估计方法
Dilbeck et al. Quotidian profile of vergence angle in ambulatory subjects monitored with wearable eye tracking glasses
CN112099622A (zh) 一种视线追踪方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant