CN111429526A - 一种基于四分法逐层分割九点定位的视线追踪标定方法 - Google Patents

一种基于四分法逐层分割九点定位的视线追踪标定方法 Download PDF

Info

Publication number
CN111429526A
CN111429526A CN202010209806.7A CN202010209806A CN111429526A CN 111429526 A CN111429526 A CN 111429526A CN 202010209806 A CN202010209806 A CN 202010209806A CN 111429526 A CN111429526 A CN 111429526A
Authority
CN
China
Prior art keywords
layer
vector
pupil
points
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010209806.7A
Other languages
English (en)
Other versions
CN111429526B (zh
Inventor
王庆敏
姚永杰
李科华
刘秋红
戴圣龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chinese Peoples Liberation Army Naval Characteristic Medical Center
Original Assignee
Chinese Peoples Liberation Army Naval Characteristic Medical Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chinese Peoples Liberation Army Naval Characteristic Medical Center filed Critical Chinese Peoples Liberation Army Naval Characteristic Medical Center
Priority to CN202010209806.7A priority Critical patent/CN111429526B/zh
Publication of CN111429526A publication Critical patent/CN111429526A/zh
Application granted granted Critical
Publication of CN111429526B publication Critical patent/CN111429526B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

一种基于四分法逐层分割九点定位的视线追踪标定方法,包括以下步骤:S10:屏幕区域正方形四分法分割与9个基准点选取;S20:图像预处理与瞳孔角膜向量提取;S30:单个区域的八点瞳孔角膜向量解算;S40:组合平均与视线追踪位置的初步标定;S50:全部区域的标定因子向量求解;S60:各层子区域瞳孔角膜向量均值的求取;S70:观察者实时瞳孔相对各层子区域瞳孔角膜误差向量的解算;S80:采用最小区域标定因子向量实现实时定位解算与视线追踪。该视线追踪标定方法通过对屏幕区域多层分割后,采用中心围绕八点的布局选取特征九点,来解算每区域的局部对应关系,从而通过预先采样标定多点数据的方式提高最终实现追踪的精度。

Description

一种基于四分法逐层分割九点定位的视线追踪标定方法
技术领域
本发明涉及视线跟踪领域,具体涉及一种采用四分法逐层分割的视线追踪定位的方法。
背景技术
眼动跟踪也称为视线追踪技术,是利用机械、电子、光学等各种检测手段获取受试者当前“视觉注意”的方向的技术。它广泛应用于人机交互、助老助残、车辆驾驶、人因分析、虚拟现实和军事等领域。早在40年代末,在20世纪50年代,Fitts等人开始研究飞行员着陆过程中的眼动特征,通过研究认为,眼动记录技术为评价新仪表重要度、仪表判读难易度和仪表面板布置提供了一个有价值的方法。
要实现视线追踪,主要要经过图像预处理、眼部特征获取、标定算法三大部分。其中视线标定算法是通过系统标定确定摄像机的几何和光学参数,摄像机、眼局部特征图像和显示屏幕之间的相对位置关系,使摄像机组能够进行三维空间测量,实时显示视线关注屏幕区域。
目前视线追踪方法中人眼视线方向标定应用较多的是九点法与最小二乘相结合的方法,该方法实际仅需要六个点即可进行解算,多出三个点后,采用最小二乘法,可以利用冗余数据减少测量误差。但该方法的不足之处在于采用一套参数描述整个屏幕空间与眼部特征的对应关系,因此当屏幕区域复杂或者过大时,该方法的精度不高。
发明内容
本发明的目的在于提供一种基于四分法逐层分割九点定位的视线追踪标定方法,通过对屏幕区域多层分割,然后采用中心围绕八点的布局选取特征九点,来解算每区域的局部对应关系,从而可以通过预先采样标定多点数据的方式来提高最终实现追踪的精度。
本发明是通过以下方法实现的,提供一种基于四分法逐层分割九点定位的视线追踪标定方法,包括以下步骤:
步骤S10:屏幕区域正方形四分法分割与9个基准点选取;
步骤S20:图像预处理与瞳孔角膜向量提取;
步骤S30:单个区域的八点瞳孔角膜向量解算;
步骤S40:组合平均与视线追踪位置的初步标定;
步骤S50:全部区域的标定因子向量求解;
步骤S60:各层子区域瞳孔角膜向量均值的求取;
步骤S70:观察者实时瞳孔相对各层子区域瞳孔角膜误差向量的解算,获得最小区域;
步骤S80:采用S70获得的最小区域标定因子向量实现实时定位解算与视线追踪。
特别的,所述步骤S10具体实施方法如下:对屏幕S进行四分法分割与9个基准点选取,其包括将屏幕区域S进行第一层分割,分割为四部分,即上下左右均匀分割,记作S1、S2、S3、S4;依次选取其中一块区域Si(i=1,2,3,4),再次进行第二层分割,将Si分割为四部分,仍然是上下左右均匀分布,每部分为长方形;依次记作Si1、Si2、Si3、Si4;然后对依次选取其中一块区域Sij(i=1,2,3,4;j=1,2,3,4),进行第三次分割,即将Sij分割为四部分,仍然是上下左右均匀分布,每部分为长方形;依次记作Sij1、Sij2、Sij3、Sij4;之后根据需要决定是否对屏幕继续进行细化分割;分割完成之后,在每个区域Sijk选取9个点,记作Aijkm,其中i=1,2,3,4,j=1,2,3,4,k=1,2,3,4,m=1,2,3,4,5,6,7,8,9,每个点的坐标分别记为(aijkmx,aijkmy),其中aijkmx为屏幕水平方向坐标,aijkmy为屏幕垂直方向的坐标,其中第九个点为每个区域的中心位置,其余8点均匀间隔环绕在第九个点周围。
特别的,所述步骤S20具体实施方法如下:首先让受试者眼睛注视屏幕区域分割后某一区域中九个点中的一个点,采用眼动跟踪摄像系统,拍摄人眼局部的高清图像,记作B1;然后对高清人眼局部图像B1进行滤波预处理,去处图像中的噪声,得到滤波后的图像,记作B2;最后通过亮斑检测与瞳孔检测方法,提取瞳孔角膜向量,记为(xe1,ye1)。
特别的,所述步骤S30具体实施方法如下:让受试者眼睛依次注视屏幕区域Sijk的Aijk2、Aijk3、Aijk4、Aijk5、Aijk6、Aijk7、Aijk8与Aijk9点;之后重复步骤S20:得到瞳孔角膜向量(xe2,ye2)、(xe3,ye3)、(xe4,ye4)、(xe5,ye5)、(xe6,ye6)、(xe7,ye7)、(xe8,ye8)、(xe9,ye9),并求取该区域的瞳孔角膜向量均值,记作(xijk,yijk),其计算方法为:
Figure BDA0002422427760000031
特别的,所述步骤S40具体实施方法如下:根据上述屏幕上9点的位置坐标(aijkmx,aijkmy)与瞳孔-角膜向量坐标(xem,yei),进行如下解算,得到初步的标定公式,具体解算方法如下:
首先选取9点中的八点,得到(aijk1x,aijk1y)、(aijk2x,aijk2y)、(aijk3x,aijk3y)、(aijk4x,aijk4y)、(aijk5x,aijk5y)、(aijk6x,aijk6y)、(aijk7x,aijk7y)、(aijk8x,aijk8y),根据相应的八点瞳孔角膜向量(xe1,ye1)、(xe2,ye2)、(xe3,ye3)、(xe4,ye4)、(xe5,ye5)、(xe6,ye6)、(xe7,ye7)、(xe8,ye8),构造非线性齐次瞳孔角膜矩阵G,其定义如下:
Figure BDA0002422427760000041
上述G阵中第一列为1,后四列为
Figure BDA0002422427760000044
形式,且p>0,q>0,p+q=1,若p、q取值较大时,会使得整个解算结果不均匀,数据相关性不好;
其次,根据屏幕上八点的位置坐标(aijk1x,aijk1y)、(aijk2x,aijk2y)、(aijk3x,aijk3y)、(aijk4x,aijk4y)、(aijk5x,aijk5y)、(aijk6x,aijk6y)、(aijk7x,aijk7y)、(aijk8x,aijk8y),构造屏幕坐标向量Dx与Dy,其中Dx与Dy的构成如下:
Dx=[aijk1x aijk2x aijk3x aijk4x aijk5x aijk6x aijk7x aijk8x]T
Dy=[aijk1y aijk2y aijk3y aijk4y aijk5y aijk6y aijk7y aijk8y]T
最后,求解非线性齐次瞳孔角膜矩阵G的逆矩阵G-1,解算出标定因子向量Eijkmx、Eijkmy,其求解方法如下式所示:
Eijkmx=G-1Dx、Eijkmy=G-1Dy
依次采用其它组合选取9点中的八点,重复上述过程,分别解算出标定因子向量,由于9点中选取8点的组合有9种,因此最终能解算出九组标定因子向量Eijkmx、Eijkmy,选取加权平均值作为区域Sijk的标定因子向量Eijkx、Eijky
其计算公式如下:
Figure BDA0002422427760000042
Figure BDA0002422427760000043
特别的,所述步骤S50具体实施方法如下:在每个区域Sijk均按上述方法选取9个点,重复上述步骤S10至S40:得到标定因子向量Eijkx、Eijky
特别的,所述步骤S60具体实施方法如下:让受试者眼睛依次注视屏幕区域Sijk上的九个点;重复步骤S20:得到瞳孔角膜向量记作(xe1,ye1)、(xe2,ye2)、(xe3,ye3)、(xe4,ye4)、(xe5,ye5)、(xe6,ye6)、(xe7,ye7)、(xe8,ye8)、(xe9,ye9),并求取该区域的瞳孔角膜向量均值,记作(xijk,yijk),其计算方法为:
Figure BDA0002422427760000051
Figure BDA0002422427760000052
依次计算出所有区域Sijk瞳孔角膜向量均值;
然后求解Sij区域的四个子区域Sij1、Sij2、Sij3与Sij4,计算其平均瞳孔角膜向量为(xij,yij),其计算方式如下:
Figure BDA0002422427760000053
Figure BDA0002422427760000054
采用同样的方法,依次计算Sij区域的平均瞳孔角膜向量;
然后求解Si区域的平均瞳孔角膜向量,记为(xi,yi),其计算方法如下:
Figure BDA0002422427760000055
Figure BDA0002422427760000056
采用同样的方法,依次计算Si区域的平均瞳孔角膜向量。
特别的,所述步骤S70具体实施方法如下:采用摄像设备对观察者关注屏幕区域的实时眼局部进行拍照,经过步骤S20的滤波处理,提取出实时的瞳孔角膜,记作(x,y),首先与第一层Si的四个区域进行第一层判断,求取第一层瞳孔角膜误差向量,记作e1、e2、e3、e4,其计算方式为:
e1=(x-x1)2+(y-y1)2
e2=(x-x2)2+(y-y2)2
e3=(x-x3)2+(y-y3)2
e4=(x-x4)2+(y-y4)2
然后比较e1、e2、e3、e4的大小,选取其中的最小者,不失一般性,并对最小者区域的四个子区域对应的平均瞳孔角膜向量,进行第二层瞳孔角膜误差向量求解,分别记作e21、e22、e23、e24。其计算方式为:
e21=(x-x21)2+(y-y21)2
e22=(x-x22)2+(y-y22)2
e23=(x-x23)2+(y-y23)2
e24=(x-x24)2+(y-y24)2
然后比较e21、e22、e23、e24的大小,选取其中的最小者,不失一般性,并对最小者的四个子区域对应的平均瞳孔角膜向量,进行第三层瞳孔角膜误差向量求解,分别记作e231、e232、e233、e234,其计算方式为:
e231=(x-x231)2+(y-y231)2
e232=(x-x232)2+(y-y232)2
e233=(x-x233)2+(y-y233)2
e234=(x-x234)2+(y-y234)2
然后比较e231、e232、e233、e234的大小,选取其中的最小者,不失一般性。
特别的,所述步骤S80具体实施方法如下:选定步骤S70最终选定的最小者区域的标定因子向量Eijkx、Eijky作为当前观察者实时瞳孔角膜向量(x,y)对应的屏幕上视线注视点坐标(ax,ay)的计算公式如下:
Figure BDA0002422427760000071
Figure BDA0002422427760000072
其中Eijkx(n)与Eijky(n)分别是上述标定向量Eijkx与Eijky的第n(n=1,2,3,4,5,6,7,8)个分量。
本发明一种基于四分法逐层分割九点定位的视线追踪标定方法,特别适用于屏幕区域固定而且需要高精度视线追踪的领域,如飞行员的驾驶座舱内视线追踪等,视线追踪标定方法通过对屏幕区域多层分割后,采用中心围绕八点的布局选取特征九点,来解算每区域的局部对应关系,从而通过预先采样标定多点数据的方式来提高最终实现追踪的精度,在一定程度上克服了由于相关技术的限制和缺陷而导致的解算结果对大屏幕区域全局适应性不好与精度不高的问题。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明提供的一种基于四分法逐层分割九点定位的视线追踪标定方法流程图;
图2是本发明实施例所提供方法的屏幕区域四分法逐层分割图;
图3是本发明实施例所提供方法的子区域基本点选取示意图;
图4是本发明实施例所提供方法的人眼局部图像;
图5是本发明实施例所提供方法的人眼局部图像滤波后图像;
图6是本发明实施例所提供方法的瞳孔角膜向量坐标提取;
图7是本发明实施例所提供方法的注视点的解算与定位显示。
具体实施方式
现在将参考附图基础上更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本发明将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本发明的实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本发明的技术方案而省略所述特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知技术方案以避免喧宾夺主而使得本发明的各方面变得模糊。
本发明提供了一种通过四分法逐层分割九点定位标定的方法确定视线跟踪的标定向量信息,给出了视线注视点在屏幕上坐标的计算方法。该方法的优点是使得整个视线追踪的解算精度不随屏幕区域的增大而精度降低,而传统方法由于采用一个区域整体解算的方式,难免会随着区域增大而精度减小。同时九点法同时解算八个参数,相对于传统九点法解算六个参数的方式,也增加了对眼睛局部特征与屏幕注视点坐标之间的描述函数的复杂度,从而提高了解算精度。
下面,将结合附图对本发明的基于四分法逐层分割九点定位的视线追踪标定方法,进行进一步的解释以及说明。请参阅图1,本发明提供的一种基于四分法逐层分割九点定位的视线追踪标定方法,包括以下步骤:
步骤S10:屏幕区域正方形四分法分割与9个基准点选取;
步骤S20:图像预处理与瞳孔角膜向量提取;
步骤S30:单个区域的八点瞳孔角膜向量解算;
步骤S40:组合平均与视线追踪位置的初步标定;
步骤S50:全部区域的标定因子向量求解;
步骤S60:各层子区域瞳孔角膜向量均值的求取;
步骤S70:观察者实时瞳孔相对各层子区域瞳孔角膜误差向量的解算,获得最小区域;
步骤S80:采用S70获得的最小区域标定因子向量实现实时定位解算与视线追踪。
实施例
一种基于四分法逐层分割九点定位的视线追踪标定方法,包括以下步骤:
步骤S10:屏幕区域四分法分割与9个基准点选取;
如图2所示,对屏幕区域进行分割,分割为64小块,分别记作S111、S112、S113、S114、L、S441、S442、S443、S444
然后在每个区域选取9个基准点,以S444为例,选取九点,分别记作A441m(m=1,2,3,4,5,6,7,8,9),其中第九个点为中心,其它八个点均匀环绕分布其周围,如图3所示。
步骤S20:此实施例以S441区域为例,首先让受试者眼睛注视屏幕区域S441区的A4411点,采用眼动跟踪摄像系统,拍摄人眼并截取局部的高清图像,记作B1,如图4所示;
然后对高清人眼局部图像B1进行滤波预处理,去处图像中的噪声,得到滤波后的图像,记作B2,如图5所示
最后通过亮斑检测与瞳孔检测方法,提取瞳孔角膜向量,记为(xe1,ye1),如图6中‘+’所示;
步骤S30:让受试者眼睛依次注视屏幕区域S441的A4412、A4413、A4414、A4415、A4416、A4417、A4418与A4419点;重复步骤S20,得到瞳孔角膜向量(xe2,ye2)、(xe3,ye3)、(xe4,ye4)、(xe5,ye5)、(xe6,ye6)、(xe7,ye7)、(xe8,ye8)、(xe9,ye9)。并求取该区域的瞳孔角膜向量均值,记作(x441,y441),其计算方法为:
Figure BDA0002422427760000101
步骤S40:组合平均与视线追踪位置的初步标定;
按照发明内容所述组合平均的方法,对区域S441求解标定因子向量E441x、E441y
步骤S50:全部区域的标定因子向量求解;
按照组合平均的方法,对全部任意区域Sijk求解标定因子向量Eijkx、Eijky(i=1,2,3,4;j=1,2,3,4;k=1,2,3,4)。
步骤S60:各层子区域瞳孔角膜向量均值的求取;
按照发明内容所述方法求取各层子区域瞳孔角膜向量均值,总共有第三层瞳孔角膜向量均值(xijk,yijk)、第二层瞳孔角膜向量均值(xij,yij)与第一层瞳孔角膜向量均值(xi,yi),其中i=1,2,3,4;j=1,2,3,4;k=1,2,3,4。
步骤S70:观察者实时瞳孔相对各层子区域瞳孔角膜误差向量的解算;
按照发明内容所述方法首先求取实时瞳孔角膜向量相对第一层瞳孔角膜向量均值的误差向量,分别记作e1、e2、e3、e4,排序后选取最小值,再在最小值所在区域求取实时瞳孔角膜向量相对第二层瞳孔角膜向量均值的误差向量,排序后选取最小值,再在最小值所在区域求取实时瞳孔角膜向量相对第二层瞳孔角膜向量均值的误差向量,然后排序选取最小值,确定最终所在的第三层子区域。
步骤S80:采用最小区域标定因子向量实现实时定位解算与视线追踪;
采用最终确定的第三层子区域的标定因子向量,代入按照发明内容所述方法的标定公式,求解观察者实时瞳孔对应关注的屏幕区域坐标。如图7所示,观察者观察的是汽车后轮的中心位置,通过上述解算给出了最终观察者注视点坐标的解算位置,如图7中方块位置所示,其与真实位置相比,误差非常小。
至此,一次解算完成。后续通过获取观察者实时瞳孔局部照片,按照步骤S60、S70、S80循环重复求解,即可实现人眼视线的连续追踪。
值得说明的是,上述步骤S20中,有关图像滤波预处理与瞳孔角膜向量提取的方法,有很多专利与文献专门对这两项技术展开了研究,因此不是本发明的关注点与核心技术,在此不作过多的说明。
值得说明的是,上述三层式的屏幕分割方法可以同理类推扩展为四层、五层,或者更多。尽管扩展后会增大标定点选取与标定的工作量,但无疑会大大增大视线追踪的精度,实际使用时可以根据需要选取屏幕分割层数。
本领域技术人员在考虑说明书及实践这类的发明后,将容易想到本发明的其他实施例。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未指明的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由权利要求指出。

Claims (9)

1.一种基于四分法逐层分割九点定位的视线追踪标定方法,其特征在于,包括以下步骤:
步骤S10:屏幕区域正方形四分法分割与9个基准点选取;
步骤S20:图像预处理与瞳孔角膜向量提取;
步骤S30:单个区域的八点瞳孔角膜向量解算;
步骤S40:组合平均与视线追踪位置的初步标定;
步骤S50:全部区域的标定因子向量求解;
步骤S60:各层子区域瞳孔角膜向量均值的求取;
步骤S70:观察者实时瞳孔相对各层子区域瞳孔角膜误差向量的解算,获得最小区域;
步骤S80:采用S70获得的最小区域标定因子向量实现实时定位解算与视线追踪。
2.根据权利要求1所述的一种基于四分法逐层分割九点定位的视线追踪标定方法,其特征在于,所述步骤S10具体实施方法如下:对屏幕S进行四分法分割与9个基准点选取,其包括将屏幕区域S进行第一层分割,分割为四部分,即上下左右均匀分割,记作S1、S2、S3、S4;依次选取其中一块区域Si(i=1,2,3,4),再次进行第二层分割,将Si分割为四部分,仍然是上下左右均匀分布,每部分为长方形;依次记作Si1、Si2、Si3、Si4;然后对依次选取其中一块区域Sij(i=1,2,3,4;j=1,2,3,4),进行第三次分割,即将Sij分割为四部分,仍然是上下左右均匀分布,每部分为长方形;依次记作Sij1、Sij2、Sij3、Sij4;之后根据需要决定是否对屏幕继续进行细化分割;分割完成之后,在每个区域Sijk选取9个点记作Aijkm,其中i=1,2,3,4,j=1,2,3,4,k=1,2,3,4,m=1,2,3,4,5,6,7,8,9,每个点的坐标分别记为(aijkmx,aijkmy),其中aijkmx为屏幕水平方向坐标,aijkmy为屏幕垂直方向的坐标,其中第九个点为每个区域的中心位置,其余8点均匀间隔环绕在第九个点周围。
3.根据权利要求2所述的一种基于四分法逐层分割九点定位的视线追踪标定方法,其特征在于,所述步骤S20具体实施方法如下:首先让受试者眼睛注视屏幕区域分割后某一区域中九个点中的一个点,采用眼动跟踪摄像系统,拍摄人眼局部的高清图像,记作B1;然后对高清人眼局部图像B1进行滤波预处理,去处图像中的噪声,得到滤波后的图像,记作B2;最后通过亮斑检测与瞳孔检测方法,提取瞳孔角膜向量,记为(xe1,ye1)。
4.根据权利要求3所述的一种基于四分法逐层分割九点定位的视线追踪标定方法,其特征在于,所述步骤S30具体实施方法如下:让受试者眼睛依次注视屏幕区域Sijk的Aijk2、Aijk3、Aijk4、Aijk5、Aijk6、Aijk7、Aijk8与Aijk9点;之后重复步骤S20:得到瞳孔角膜向量(xe2,ye2)、(xe3,ye3)、(xe4,ye4)、(xe5,ye5)、(xe6,ye6)、(xe7,ye7)、(xe8,ye8)、(xe9,ye9),并求取该区域的瞳孔角膜向量均值,记作(xijk,yijk),其计算方法为:
Figure FDA0002422427750000021
5.根据权利要求4所述的一种基于四分法逐层分割九点定位的视线追踪标定方法,其特征在于,所述步骤S40具体实施方法如下:根据上述屏幕上9点的位置坐标(aijkmx,aijkmy)与瞳孔-角膜向量坐标(xem,yei),进行如下解算,得到初步的标定公式,具体解算方法如下:
首先选取9点中的八点,得到(aijk1x,aijk1y)、(aijk2x,aijk2y)、(aijk3x,aijk3y)、(aijk4x,aijk4y)、(aijk5x,aijk5y)、(aijk6x,aijk6y)、(aijk7x,aijk7y)、(aijk8x,aijk8y),根据相应的八点瞳孔角膜向量(xe1,ye1)、(xe2,ye2)、(xe3,ye3)、(xe4,ye4)、(xe5,ye5)、(xe6,ye6)、(xe7,ye7)、(xe8,ye8),构造非线性齐次瞳孔角膜矩阵G,其定义如下:
Figure FDA0002422427750000031
上述G阵中第一列为1,后四列为
Figure FDA0002422427750000032
形式,且p>0,q>0,p+q=1;
其次,根据屏幕上八点的位置坐标(aijk1x,aijk1y)、(aijk2x,aijk2y)、(aijk3x,aijk3y)、(aijk4x,aijk4y)、(aijk5x,aijk5y)、(aijk6x,aijk6y)、(aijk7x,aijk7y)、(aijk8x,aijk8y),构造屏幕坐标向量Dx与Dy,其中Dx与Dy的构成如下:
Dx=[aijk1x aijk2x aijk3x aijk4x aijk5x aijk6x aijk7x aijk8x]T
Dy=[aijk1y aijk2y aijk3y aijk4y aijk5y aijk6y aijk7y aijk8y]T
最后,求解非线性齐次瞳孔角膜矩阵G的逆矩阵G-1,解算出标定因子向量Eijkmx、Eijkmy,其求解方法如下式所示:
Eijkmx=G-1Dx、Eijkmy=G-1Dy
依次采用其它组合选取9点中的八点,重复上述过程,分别解算出标定因子向量,由于9点中选取8点的组合有9种,因此最终能解算出九组标定因子向量Eijkmx、Eijkmy,选取加权平均值作为区域Sijk的标定因子向量Eijkx、Eijky。其计算公式如下:
Figure FDA0002422427750000033
Figure FDA0002422427750000034
6.根据权利要求5所述的一种基于四分法逐层分割九点定位的视线追踪标定方法,其特征在于,所述步骤S50具体实施方法如下:在每个区域Sijk均按上述方法选取9个点,重复上述步骤S10至S40:得到标定因子向量Eijkx、Eijky
7.根据权利要求6所述的一种基于四分法逐层分割九点定位的视线追踪标定方法,其特征在于,所述步骤S60具体实施方法如下:让受试者眼睛依次注视屏幕区域Sijk上的九个点;重复步骤S20:得到瞳孔角膜向量记作(xe1,ye1)、(xe2,ye2)、(xe3,ye3)、(xe4,ye4)、(xe5,ye5)、(xe6,ye6)、(xe7,ye7)、(xe8,ye8)、(xe9,ye9),并求取该区域的瞳孔角膜向量均值,记作(xijk,yijk),其计算方法为:
Figure FDA0002422427750000041
Figure FDA0002422427750000042
依次计算出所有区域Sijk瞳孔角膜向量均值;
然后求解Sij区域的四个子区域Sij1、Sij2、Sij3与Sij4,计算其平均瞳孔角膜向量为(xij,yij),其计算方式如下:
Figure FDA0002422427750000043
Figure FDA0002422427750000044
采用同样的方法,依次计算Sij区域的平均瞳孔角膜向量;
然后求解Si区域的平均瞳孔角膜向量,记为(xi,yi),其计算方法如下:
Figure FDA0002422427750000045
Figure FDA0002422427750000046
采用同样的方法,依次计算Si区域的平均瞳孔角膜向量。
8.根据权利要求7所述的一种基于四分法逐层分割九点定位的视线追踪标定方法,其特征在于,所述步骤S70具体实施方法如下:采用摄像设备对观察者关注屏幕区域的实时眼局部进行拍照,经过步骤S20的滤波处理,提取出实时的瞳孔角膜,记作(x,y),首先与第一层Si的四个区域进行第一层判断,求取第一层瞳孔角膜误差向量,记作e1、e2、e3、e4,其计算方式为:
e1=(x-x1)2+(y-y1)2
e2=(x-x2)2+(y-y2)2
e3=(x-x3)2+(y-y3)2
e4=(x-x4)2+(y-y4)2
然后比较e1、e2、e3、e4的大小,选取其中的最小者,不失一般性,并对最小者区域的四个子区域对应的平均瞳孔角膜向量,进行第二层瞳孔角膜误差向量求解,分别记作e21、e22、e23、e24。其计算方式为:
e21=(x-x21)2+(y-y21)2
e22=(x-x22)2+(y-y22)2
e23=(x-x23)2+(y-y23)2
e24=(x-x24)2+(y-y24)2
然后比较e21、e22、e23、e24的大小,选取其中的最小者,不失一般性,并对最小者的四个子区域对应的平均瞳孔角膜向量,进行第三层瞳孔角膜误差向量求解,分别记作e231、e232、e233、e234,其计算方式为:
e231=(x-x231)2+(y-y231)2
e232=(x-x232)2+(y-y232)2
e233=(x-x233)2+(y-y233)2
e234=(x-x234)2+(y-y234)2
然后比较e231、e232、e233、e234的大小,选取其中的最小者,不失一般性。
9.根据权利要求8所述的一种基于四分法逐层分割九点定位的视线追踪标定方法,其特征在于,所述步骤S80具体实施方法如下:选定步骤S70最终选定的最小者区域的标定因子向量Eijkx、Eijky作为当前观察者实时瞳孔角膜向量(x,y)对应的屏幕上视线注视点坐标(ax,ay)的计算公式如下:
Figure FDA0002422427750000061
Figure FDA0002422427750000062
其中Eijkx(n)与Eijky(n)分别是上述标定向量Eijkx与Eijky的第n(n=1,2,3,4,5,6,7,8)个分量。
CN202010209806.7A 2020-03-23 2020-03-23 一种基于四分法逐层分割九点定位的视线追踪标定方法 Active CN111429526B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010209806.7A CN111429526B (zh) 2020-03-23 2020-03-23 一种基于四分法逐层分割九点定位的视线追踪标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010209806.7A CN111429526B (zh) 2020-03-23 2020-03-23 一种基于四分法逐层分割九点定位的视线追踪标定方法

Publications (2)

Publication Number Publication Date
CN111429526A true CN111429526A (zh) 2020-07-17
CN111429526B CN111429526B (zh) 2023-04-14

Family

ID=71555361

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010209806.7A Active CN111429526B (zh) 2020-03-23 2020-03-23 一种基于四分法逐层分割九点定位的视线追踪标定方法

Country Status (1)

Country Link
CN (1) CN111429526B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113052921A (zh) * 2021-05-18 2021-06-29 北京科技大学 一种三维视线跟踪系统的系统标定方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102125422A (zh) * 2010-01-12 2011-07-20 北京科技大学 视线追踪系统中基于瞳孔-角膜反射的视线估计方法
CN106056092A (zh) * 2016-06-08 2016-10-26 华南理工大学 基于虹膜与瞳孔的用于头戴式设备的视线估计方法
US20170031437A1 (en) * 2015-07-30 2017-02-02 Boe Technology Group Co., Ltd. Sight tracking method and device
CN107808397A (zh) * 2017-11-10 2018-03-16 京东方科技集团股份有限公司 瞳孔定位装置、瞳孔定位方法和视线追踪设备
CN108427503A (zh) * 2018-03-26 2018-08-21 京东方科技集团股份有限公司 人眼追踪方法及人眼追踪装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102125422A (zh) * 2010-01-12 2011-07-20 北京科技大学 视线追踪系统中基于瞳孔-角膜反射的视线估计方法
US20170031437A1 (en) * 2015-07-30 2017-02-02 Boe Technology Group Co., Ltd. Sight tracking method and device
CN106056092A (zh) * 2016-06-08 2016-10-26 华南理工大学 基于虹膜与瞳孔的用于头戴式设备的视线估计方法
US20190121427A1 (en) * 2016-06-08 2019-04-25 South China University Of Technology Iris and pupil-based gaze estimation method for head-mounted device
CN107808397A (zh) * 2017-11-10 2018-03-16 京东方科技集团股份有限公司 瞳孔定位装置、瞳孔定位方法和视线追踪设备
CN108427503A (zh) * 2018-03-26 2018-08-21 京东方科技集团股份有限公司 人眼追踪方法及人眼追踪装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵新灿;潘世豪;王雅萍;帖云;: "沉浸式三维视线追踪算法研究" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113052921A (zh) * 2021-05-18 2021-06-29 北京科技大学 一种三维视线跟踪系统的系统标定方法
CN113052921B (zh) * 2021-05-18 2021-10-15 北京科技大学 一种三维视线跟踪系统的系统标定方法

Also Published As

Publication number Publication date
CN111429526B (zh) 2023-04-14

Similar Documents

Publication Publication Date Title
CN108171673B (zh) 图像处理方法、装置、车载抬头显示系统及车辆
Rolland et al. Towards quantifying depth and size perception in virtual environments
CN106485207B (zh) 一种基于双目视觉图像的指尖检测方法及系统
CN111427166B (zh) 一种光场显示方法及系统、存储介质和显示面板
CN106504629B (zh) 一种基于增强现实技术的汽车组装演示记忆系统
CN113421346B (zh) 一种增强驾驶感的ar-hud抬头显示界面的设计方法
EP4383193A1 (en) Line-of-sight direction tracking method and apparatus
CN103815866A (zh) 视觉功能检查用方法和视觉功能检查用控制装置
CN111209811B (zh) 一种实时检测眼球注意力位置的方法及系统
CN107038722A (zh) 一种设备定位方法及装置
JP2013024662A (ja) 3次元範囲計測システム、3次元範囲計測プログラムおよび記録媒体
CN109634431B (zh) 无介质浮空投影视觉追踪互动系统
CN110456904B (zh) 一种无需标定的增强现实眼镜眼动交互方法及系统
CN106023148A (zh) 一种序列聚焦观测模式下恒星像点位置提取方法
CN111145134A (zh) 基于块效应的微透镜光场相机全聚焦图像生成算法
CN111429526B (zh) 一种基于四分法逐层分割九点定位的视线追踪标定方法
CN113534490B (zh) 基于用户眼球追踪的立体显示装置及立体显示方法
CN106530410B (zh) 一种基于增强现实技术的汽车组装演示系统
CN112326206A (zh) Ar模组双目融合检测装置及检测方法
CN114155300A (zh) 一种车载hud系统投影效果检测方法及装置
US20210117672A1 (en) Pupil detection device
CN108616736A (zh) 用于立体显示的跟踪定位方法及装置
CN104349197A (zh) 一种数据处理方法及装置
CN111428634B (zh) 一种采用六点法分块模糊加权的人眼视线追踪定位方法
CN111897423B (zh) 一种基于mr鱼缸的精确触控交互方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant