CN109947253B - 眼球追踪的模型建立方法、眼球追踪方法、设备、介质 - Google Patents

Abstract

本申请公开了一种用于眼球追踪的模型建立方法、眼球追踪方法、设备、介质，该用于眼球追踪的模型建立方法包括：获取多张眼睛图像，确定所述多张眼睛图像中的瞳孔成像；根据所述瞳孔成像以及生成所述眼睛图像的成像设备的焦点确定瞳孔对应的像空间内的瞳孔，根据所述像空间内的瞳孔确定一球心，根据所述球心和所述像空间内的瞳孔确定像空间内的注视点；根据所述像空间内的注视点和所述瞳孔成像的中心点确定瞳孔成像中心点与像空间内的注视点的映射模型。本实施例提供的方案，提高了眼球追踪的准确性。

Description

眼球追踪的模型建立方法、眼球追踪方法、设备、介质

技术领域

本发明涉及视觉互动技术，尤指一种用于眼球追踪的模型建立方法、眼球追踪方法、设备及介质。

背景技术

理想的虚拟现实(Virtual Reality，简称VR)头显需要以临场感所需的极高分辨率呈现图像。这对渲染引擎和传输过程是一个巨大的挑战。受限于头显体积、芯片运算能力以及成本多方面的限制，采用传统的显示技术不能达到很好的效果，降低了用户体验。注视点渲染技术可以较好的解决这一问题，但其也对眼动追踪技术提出了要求。

现有的眼球追踪技术一般的流程通常是利用红外摄像头获取人眼部的图像信息，通过图像算法确定出瞳孔中心，根据映射关系模型求出眼睛在屏幕上的注视点，该映射关系是在用户使用设备时事先标定的，其基本思想是：在VR设备屏幕中出现多个确定位置的注视点(一般为九个)，当人眼分别注视这多个注视点的时候，通过算法可以确定瞳孔中心在图像中的位置坐标。从而得到多组注视点以及对应的瞳孔中心位置，对于两者之间的映射关系可以采用多项式模型，其中的系数采用线性回归求出。现实应用中，VR设备和人眼之间发生相对滑动时会引入误差，多项式模型也无法分析和解释误差的影响，导致事先标定的多项式模型不再准确。

发明内容

本发明至少一实施例提供了一种用于眼球追踪的模型建立方法、眼球追踪方法、设备及介质，提高眼球追踪的准确性。

为了达到本发明目的，本发明至少一实施例提供了一种用于眼球追踪的模型建立方法，包括：

获取多张眼睛图像，确定所述多张眼睛图像中的瞳孔成像；

根据所述瞳孔成像以及生成所述眼睛图像的成像设备的焦点确定瞳孔对应的像空间内的瞳孔，根据所述像空间内的瞳孔确定一球心，所述球心为所述像空间内的瞳孔的中心所在球面的中心；根据所述球心和所述像空间内的瞳孔确定像空间内的注视点；

根据所述像空间内的注视点和所述瞳孔成像的中心点确定瞳孔成像中心点与像空间内的注视点的映射模型。

在一实施例中，在初始标定时，所述多张眼睛图像包括眼睛分别注视屏幕上的多个目标注视点时的眼睛图像。

在一实施例中，所述根据所述瞳孔成像以及生成所述眼睛图像的成像设备的焦点确定瞳孔对应的像空间内的瞳孔包括：

限定所述像空间内的瞳孔的尺寸为预设值，在所述焦点与所述瞳孔成像的边界组成的圆锥中寻找满足所限定的尺寸且边界在所述圆锥的圆锥面上的圆面即为所述像空间内的瞳孔。

在一实施例中，所述根据所述像空间内的瞳孔确定一球心包括：根据所述像空间内的瞳孔基于最小二乘法确定一球心，

在一实施例中，根据所述球心和所述像空间内的瞳孔确定像空间内的注视点包括：

确定所述球心与所述像空间内的瞳孔的中心的连线，该连线与所述屏幕对应的所述像空间内的屏幕的交点即为所述像空间内的注视点，其中，所述屏幕对应的所述像空间内的屏幕的位置在初始标定时确定，且所述像空间内的屏幕的位置满足：所述像空间内的注视点之间的间距与所述屏幕上对应的注视点之间的间距相同。

在一实施例中，所述根据所述像空间内的注视点和所述瞳孔成像的中心点确定瞳孔成像中心点与像空间内的注视点的映射模型包括：

将所述注视点像空间内的注视点坐标(g_x,g_y)和所述瞳孔成像的中心点坐标(e_x,e_y)代入下述多项式映射方程中：

确定参数[a₀,a₁,a₂,a₃,a₄,a₅]和[b₀,b₁,b₂,b₃,b₄,b₅]。

在一实施例中，所述多张眼睛图像包括N张实时眼睛图像，所述N大于等于所述映射模型中单个多项式映射方程的系数个数。

本发明一实施例提供一种眼球追踪方法，包括：

根据任一实施例所述的用于眼球追踪的模型建立方法确定映射模型；

获取眼睛图像，确定所述眼睛图像中的瞳孔成像；

根据所述瞳孔成像和所述映射模型确定像空间内的注视点；

根据所述像空间内的注视点确定屏幕注视点。

本发明一实施例提供一种眼球追踪设备，包括：处理器和存储器，所述存储器存储有程序，所述程序在被所述处理器读取执行时，实现任一实施例所述的眼球追踪方法。

本发明一实施例提供一种介质，其上存储有可在处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现任一实施例所述的眼球追踪方法的步骤。

与相关技术相比，本发明一实施例包括：获取多张眼睛图像，确定所述多张眼睛图像中的瞳孔成像；根据所述瞳孔成像以及生成所述眼睛图像的成像设备的焦点确定瞳孔对应的像空间内的瞳孔，根据所述像空间内的瞳孔确定一球心，根据所述球心和所述像空间内的瞳孔确定像空间内的注视点；根据所述像空间内的注视点和所述瞳孔成像的中心点确定瞳孔成像中心点与像空间内的注视点的映射模型。本实施例建立的映射模型采用了像空间内3D模型，能够更好的标定瞳孔中心与注视点之间的关系，且可以直接根据眼睛图像确定映射模型，相比相关技术中只能在标定时建立映射模型，本实施例可以在使用过程中更新映射模型，从而实现对设备的头动误差补偿，提高了眼球追踪的准确性。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。

图1为瞳孔运动的几何模型示意图；

图2为本发明一实施例提供的用于眼球追踪的模型建立方法流程图；

图3为物像之间的几何模型示意图；

图4为圆锥与瞳孔c的示意图；

图5为本发明一实施例提供的眼球追踪方法流程图；

图6为本发明一实施例提供的标定过程中用于眼球追踪的模型建立方法流程图；

图7a和图7b为注视点示意图；

图8为本发明一实施例中通过瞳孔c确定眼球中心C'和屏幕P'的示意图；

图9为本发明一实施例提供的非初始标定过程中模型建立方法流程图；

图10为本发明一实施例提供的眼球追踪设备示意图；

图11为本发明一实施例提供的介质示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

除非另外定义，本公开使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

经典的九点标定法中采用多项式拟合缺少模型的指导，具有一定的模糊性，现实应用中，VR设备和人眼之间发生相对滑动时会引入误差，多项式模型也无法分析和解释误差的影响，导致事先标定的多项式模型不再准确。

本申请提出在像空间下的几何模型，利用图像处理算法对眼睛图像处理得到瞳孔成像，结合限定条件，可以求出像空间中的瞳孔，根据像空间中的瞳孔确定像空间中的瞳孔的中心的运动轨迹的球心，进而确定像空间中瞳孔、球心以及屏幕平面之间的相对位置关系；利用像空间中屏幕上注视点与瞳孔成像的中心求解映射模型。

现实中的眼球模型是十分复杂的，现对于瞳孔随着视线转动在空间中的运动轨迹进行如下抽象：人眼瞳孔为圆形，瞳孔中心为圆心，假定瞳孔中心的运动轨迹为一个球面，该球面有一个球心O，可等同为眼球中心，而瞳孔则是与该球面相切的一个圆法向量，如图1所示。

本申请是在以成像设备CCD成像面为x-y平面，以成像设备的光轴为z轴的像空间坐标系下讨论。

如图2所示，本发明一实施例提供一种用于眼球追踪的模型建立方法，包括：

步骤201，获取多张眼睛图像，确定所述多张眼睛图像中的瞳孔成像；

其中，所述多张眼睛图像包括眼睛分别注视屏幕上的多个目标注视点时的眼睛图像，即初始标定时获得的眼睛图像。目标注视点即用于初始标定时，屏幕上的多个注视点。比如九点标定法时，多张眼睛图像即为眼睛分别注视屏幕上9个目标注视点时获得的眼睛图像。

另一实施例中，多张眼睛图像包括多张眼睛图像，比如，用户在使用VR设备过程中的多张眼睛图像，而不限于初始标定时的眼睛图像，从而可以在使用过程中实时更新映射模型。在一实施例中，该多张眼睛图像的瞳孔位置不同。

其中，利用瞳孔定位算法对所述眼睛图像进行处理从而确定眼睛图像中的瞳孔成像。瞳孔定位算法有多种，本申请对此不作限定。比如，先定位到眼睛，然后再训练分类器定位瞳孔等等。

步骤202，根据所述瞳孔成像以及生成所述眼睛图像的成像设备的焦点确定瞳孔对应的像空间内的瞳孔；

其中，瞳孔是指用户眼睛内的瞳孔，其在像空间内有对应的瞳孔。

步骤203，根据所述像空间内的瞳孔确定一球心，所述球心为所述像空间内的瞳孔的中心所在球面的中心；

步骤204，根据所述球心和所述像空间内的瞳孔确定像空间内的注视点；

步骤205，根据所述像空间内的注视点和所述瞳孔成像的中心点确定瞳孔成像中心点与像空间内的注视点的映射模型。

本实施例提供的方案，获取多张眼睛图像，确定所述多张眼睛图像中的瞳孔成像，根据所述瞳孔成像以及生成所述眼睛图像的成像设备的焦点确定所述瞳孔成像对应的像空间内的瞳孔，根据所述球心和所述像空间内的瞳孔确定像空间内的注视点，根据所述像空间内的注视点和所述瞳孔成像的中心点确定瞳孔成像中心点与像空间内的注视点的映射模型。本实施例建立的映射模型采用了像空间内3D模型，能够更好的标定瞳孔中心与注视点之间的关系，且可以直接根据眼睛图像确定映射模型，相比相关技术中只能在标定时建立映射模型，本实施例可以在使用过程中更新映射模型，从而实现对设备的头动误差补偿，提高了眼球追踪的准确性。另外，该模型和算法准确稳定，且计算量较小，可以达到实时要求。

首先根据相机小孔成像原理，对眼球与屏幕在像空间的成像关系建模，如图3所示。图3是物像之间的几何模型的平面图。其中，球心O是眼球中心，显示屏幕为P，两者在像空间的对应像为球心O'和屏幕P'，屏幕P上的注视点g在像空间的对应像为g'。眼睛图像中的瞳孔成像即图3中CCD成像面上的瞳孔成像e，且该瞳孔成像e为二维图像空间内的椭圆；瞳孔成像e对应的像空间内的瞳孔为图3中所示的瞳孔c，且该像空间内瞳孔c为三维空间内的圆面。光轴为成像设备的光轴，即垂直于CCD成像面且经过成像设备的透镜中心的轴。焦点F，CCD成像面等都是成像设备的内参，是绝对位置。像空间内的瞳孔c，球心O'和屏幕P'的位置是相对的，其绝对位置不可求，但不影响模型的合理性。因为最终要利用三者得到屏幕P'上的注视点g'的归一化位置，而不是注视点g'的绝对位置。

在一实施例中，所述步骤202中，根据所述瞳孔成像以及生成所述眼睛图像的成像设备的焦点确定瞳孔对应的像空间内的瞳孔包括：

限定所述像空间内的瞳孔的尺寸为预设值，在所述焦点与所述瞳孔成像的边界组成的圆锥中寻找满足所限定的尺寸且边界在所述圆锥的圆锥面上的圆面即为所述像空间内的瞳孔。其中，预设值可以根据需要设定，瞳孔尺寸比如用瞳孔直径来限定。

如图4所示，对于每一个屏幕图像的瞳孔成像e，都有唯一的一个像空间内的瞳孔c与之对应，并且像空间内的瞳孔c的边缘位于连接焦点F和瞳孔成像e的椭圆边界所组成的圆锥面上，像空间内瞳孔c的圆心落在连接焦点F和瞳孔成像e的圆心的直线上。根据圆锥曲面的性质可知，在已知像空间内瞳孔c的法向量

与圆锥面中心线的旋转角方向，限定像空间内瞳孔c的直径为d(d大于0)时，可以计算出像空间内瞳孔c的圆心位置，以及像空间内瞳孔c的角度。d取值可以根据需要设定，可以为该圆锥面内的圆面的直径的取值范围中任一值。d值确定后，在后续更新所述映射模型时，保持d值不变。

需要说明的是，满足要求的圆面有两个，按下述方式取其中一个作为像空间内的瞳孔。获取该多个瞳孔成像的中心点的均值位置，将最靠近该均值位置的瞳孔成像作为参考瞳孔成像，在所述焦点与所述参考瞳孔成像的边界组成的圆锥中寻找满足所限定的尺寸且边界在所述圆锥的圆锥面上的两个圆面，获取两个圆面的法向量与该圆锥中心线(焦点和该参考瞳孔成像的中心的连续)的夹角，其中非负夹角假设为α，对于其他瞳孔成像，如果该瞳孔成像的中心点的纵坐标大于等于所述参考瞳孔成像的中心点的纵坐标(即瞳孔成像的中心点的坐标在参考瞳孔成像的中心点的上方)，则在所述焦点与所述瞳孔成像的边界组成的圆锥中寻找满足所限定的尺寸且边界在所述圆锥的圆锥面上的两个圆面中，取夹角(圆面法向量与所在圆锥中心线的夹角)非负且大于α所对应的圆面为该瞳孔成像对应的像空间内的瞳孔；如果该瞳孔成像的中心点的纵坐标小于所述参考瞳孔成像的中心点的纵坐标(即瞳孔成像的中心点的坐标在参考瞳孔成像的中心点的下方)，则在所述焦点与所述瞳孔成像的边界组成的圆锥中寻找满足所限定的尺寸且边界在所述圆锥的圆锥面上的两个圆面中，取夹角(圆面法向量与所在圆锥中心线的夹角)非正且大于α所对应的圆面为该瞳孔成像对应的像空间内的瞳孔。以图7a所示的9点标定法中的9个注视点为例进行说明。9个注视点相应的瞳孔成像的中心点的均值为注视点g₅对应的瞳孔成像的中心点，将g₅对应的瞳孔成像作为参考瞳孔成像，在所述焦点与所述参考瞳孔成像的边界组成的圆锥中寻找满足所限定的尺寸且边界在所述圆锥的圆锥面上的两个圆面，获取两个圆面的法向量与该圆锥中心线(焦点和该参考瞳孔成像的中心的连线)的夹角，其中非负夹角假设为α，对于瞳孔成像中心坐标在g₅对应的瞳孔成像的中心点的坐标的上方的瞳孔成像，取其非负且夹角大于α所对应的圆面为像空间内的瞳孔。对于瞳孔成像的中心坐标在g₅成像中心坐标的下方的瞳孔成像，取其非正且夹角大于α所对应的圆面为像空间内的瞳孔。需要说明的是，该方法仅为示例，也可通过其他方式确定像空间内的瞳孔。

在一实施例中，所述步骤203中，所述根据所述像空间内的瞳孔确定一球心包括：根据所述像空间内的瞳孔基于最小二乘法确定所述球心，其中，各瞳孔的法向量相交于一点即球心，因此，可以使用最小二乘法拟合一个位置作为球心。具体的，根据像空间内的瞳孔的中心以及法向量，可以确定九条直线。球心为九条直线的交点，联立九个方程，求解球心坐标，共三个未知数，是求解超定方程，可通过最小二乘算法求解。需要说明的是，使用最小二乘法仅为示例，可以根据需要使用其他算法确定球心。

在一实施例中，根据所述球心和所述像空间内的瞳孔确定像空间内的注视点包括：

确定所述球心与所述像空间内的瞳孔的中心的连线，所述连线与所述屏幕对应的所述像空间内的屏幕的交点即为所述像空间内的注视点，其中，所述屏幕对应的所述像空间内的屏幕的位置在初始标定时确定，且所述像空间内的屏幕的位置满足：所述像空间内的注视点之间的间距与所述屏幕上对应的注视点之间的间距相同。如图3所示，球心O＇与瞳孔c的连线与平面P＇的焦点g＇即为像空间内的注视点，为屏幕P上的注视点g在像空间内的对应点。

在一实施例中，所述根据所述像空间内的注视点和所述瞳孔成像的中心点确定瞳孔成像中心点与像空间内的注视点的映射模型包括：

将所述注视点像空间内的注视点坐标(g’_x,g’_y)和所述瞳孔成像的中心点坐标(e_x,e_y)代入下述多项式映射方程中：

确定参数[a₀,a₁,a₂,a₃,a₄,a₅]和[b₀,b₁,b₂,b₃,b₄,b₅]。其中，注视点坐标(g'_x,g'_y)是相对于一参考点的坐标，称为归一化坐标，比如，以屏幕中心作为参考点，确定各注视点的坐标。需要说明的是，参考点选定后，在后续更新映射模型时，保持参考点不变。

在一实施例中，所述多张眼睛图像包括N张实时眼睛图像，所述N大于等于所述映射模型中单个多项式映射方程的系数个数。映射模型包括两个多项式映射方程，对任一多项式方程，当其包括M个系数时，至少需要M个方程才能求取该M个系数，因此，N大于等于M。需要说明的是，映射模型中的两个多项式映射方程的系数数量可以不同，因此，N大于等于所述映射模型中系数数量最多的多项式映射方程的系数个数。另外，眼睛图像为实时图像时，可以实时更新映射模型，从而实现对设备的头动误差补偿，提高了眼球追踪的准确性。

如图5所示，本发明一实施例提供一种眼球追踪方法，包括：

步骤501，根据任一实施例所述的用于眼球追踪的模型建立方法确定映射模型；

其中，可以实时更新映射模型，或者，在接收到指令时更新映射模型，或者，在检测到成像设备与人眼发生相对滑动时确定映射模型；其中，成像设备与人眼是否发生相对滑动可以通过根据所述像空间内的瞳孔确定的球心的位置是否变化来判断。当然，也可以根据其他方式进行判断。

步骤502，获取眼睛图像，确定所述眼睛图像中的瞳孔成像；

步骤503，根据所述瞳孔成像和所述映射模型确定像空间内的注视点；

映射模型为瞳孔成像的中心点与注视点对应关系，因此，瞳孔成像时，即可或者像空间内的注视点；

步骤504，根据所述像空间内的注视点确定屏幕注视点。

像空间内的注视点是屏幕的注视点在像空间内的对应点，二者存在对应关系，可以根据像空间内的注视点确定屏幕注视点。

本实施例提供的方案，采用了像空间内3D模型，能够更好的标定瞳孔中心与注视点之间的关系，提高了眼球追踪的准确性。

下面以标定过程中映射模型的建立和使用过程中映射模型的更新的实现对本发明作进一步说明。

如图6所示，本发明一实施例提供一种用于眼球追踪的模型建立方法，包括：

步骤601，标定时采用九点标定法，屏幕P中所示目标注视点g_i,i＝1,...,9的位置如图7a所示，各点均匀分布，间距为w。当人依次注视9个目标注视点时，获取9张眼睛图像，利用瞳孔定位算法对这9张眼睛图像进行处理，确定9个眼睛图像中的瞳孔成像e。

步骤602，根据瞳孔成像e确定9个像空间内瞳孔c；

步骤603，根据9个像空间内瞳孔c利用最小二乘法求出球心O'。

步骤604，当确定球心O'之后，结合9个像空间内瞳孔c，可以确定九条直线(球心O'与瞳孔c圆心位置的连线)，这9条直线分别与屏幕P'相交于9个点g'_i,i＝1,...,9，交点分布如图7b所示，各点均匀分布，相邻两点间距为w'。如图8所示，当限定w＝w'时，则可以唯一确定屏幕P'的方程，此时屏幕P'中9个点g'_i,i＝1,...,9，与屏幕P中注视点g_i,i＝1,...,9等价。需要说明的是，w'也可以不等于w，此时，确定屏幕P'中g'_i的位置后，需要根据g'_i确定g_i，g'_i和g_i之间存在一比例关系，该比例可以根据w'和w确定，为简便起见，可以限定w＝w'，但本申请不限于此。

对P'中九个注视点g'_i,i＝1,...,9归一化后，与9个瞳孔成像e的中心点坐标，依次代入到如下多项式映射方程中：

其中，(g’_ix,g’_iy)为归一化后的注视点g'_i,i＝1,...,9的坐标，(e_ix,e_iy)为与注视点g'_i,i＝1,...,9对应的瞳孔成像e(为椭圆)的中心点坐标。求解出[a₀,a₁,a₂,a₃,a₄,a₅]和[b₀,b₁,b₂,b₃,b₄,b₅]。

至此标定模型的参数都已经计算完毕，参数包含球心O'的坐标，屏幕P'的平面方程，[a₀,a₁,a₂,a₃,a₄,a₅]和[b₀,b₁,b₂,b₃,b₄,b₅]。

当VR设备相对于人头部发生相对运动时，根据模型可知，球心O'的位置会发生相对滑动。如图9所示，本发明一实施例提供一种用于眼球追踪的模型建立方法，实现头动误差补偿，包括：

步骤901，取连续N张眼睛图像中瞳孔成像e位置发生变化的眼睛图形，通过瞳孔定位算法对N张眼睛图像进行处理，确定N个瞳孔成像e；

当然，也可以是不连续的N张眼睛图像；比如，取N张瞳孔成像e位置发生变化的眼睛图像，瞳孔成像e位置发生变化可以是瞳孔成像e的中心点的位置发生变化，且彼此距离大于预设值，等等。

步骤902，根据N个瞳孔成像e确定对应的N个像空间内瞳孔c；

步骤903，根据N个像空间内瞳孔c利用最小二乘法求出更新之后的球心，记作O”。

其中，N大于等于映射模型中单个多项式映射方程的系数数量，比如，本实施例中每个多项式映射方程的系数为6个，则N大于等于6。在其他实施例中，如果映射多项式改变，比如系数数量变为5个，则N大于等于5即可。

步骤904，以O"为新的球心，结合N个像空间内瞳孔c，可以确定N条直线(球心O"分别与N个像空间内瞳孔c的中心的连线)，其与屏幕P'相交于N个注视点g”。

步骤905，将N个瞳孔成像e的中心(e_x,e_y)和N个注视点g"作为已知数，代入到多项式映射方程(2)中，重新求解模型，更新模型参数[a₀,a₁,a₂,a₃,a₄,a₅]和[b₀,b₁,b₂,b₃,b₄,b₅]。

本实施例中，通过更新映射模型，能够消除头动误差的影响。本实施例中，因为求解多项式模型参数最少需要六个方程，所以需要保证N>6。

传统的九点标定方法，在用户使用之初进行一次标定之后，标定出多项式映射模型的参数后，则无法在使用过程中即时更新映射模型(除非重新进行标定)。本实施例提出的标定方法，在第一次标定时确定屏幕P'的平面方程，此后则可以一直保持不变，通过实时更新O"，进而更新g’，将g’与瞳孔成像的中心(e_x,e_y)带入到多项式拟合方程中，更新多项式映射模型，从而消除头动误差的影响。

如图10所示，本发明一实施例提供一种眼球追踪设备100，包括：处理器1010和存储器1020，所述存储器1020存储有程序，所述程序在被所述处理器1010读取执行时，实现任一实施例所述的眼球追踪方法。该眼球追踪设备比如为VR设备。

如图11所示，本发明一实施例提供一种介质110，其上存储有可在处理器上运行的计算机程序111，所述计算机程序111被所述处理器执行时实现任一实施例所述的眼球追踪方法的步骤。

有以下几点需要说明：

(1)本发明实施例附图只涉及到与本发明实施例涉及到的结构，其他结构可参考通常设计。

(2)在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合以得到新的实施例。

虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种用于眼球追踪的模型建立方法，包括：

获取多张眼睛图像，确定所述多张眼睛图像中的瞳孔成像；

根据所述瞳孔成像以及生成所述眼睛图像的成像设备的焦点确定瞳孔对应的像空间内的瞳孔，根据所述像空间内的瞳孔确定一球心，所述球心为所述像空间内的瞳孔的中心所在球面的中心，根据所述球心和所述像空间内的瞳孔确定像空间内的注视点；

根据所述像空间内的注视点和所述瞳孔成像的中心点确定瞳孔成像中心点与像空间内的注视点的映射模型。

2.根据权利要求1所述的用于眼球追踪的模型建立方法，其特征在于，在初始标定时，所述多张眼睛图像包括眼睛分别注视屏幕上的多个目标注视点时的眼睛图像。

3.根据权利要求1所述的用于眼球追踪的模型建立方法，其特征在于，所述根据所述瞳孔成像以及生成所述眼睛图像的成像设备的焦点确定瞳孔对应的像空间内的瞳孔包括：

限定所述像空间内的瞳孔的尺寸为预设值，在所述焦点与所述瞳孔成像的边界组成的圆锥中寻找满足所限定的尺寸且边界在所述圆锥的圆锥面上的圆面即为所述像空间内的瞳孔。

4.根据权利要求1所述的用于眼球追踪的模型建立方法，其特征在于，所述根据所述像空间内的瞳孔确定一球心包括：根据所述像空间内的瞳孔基于最小二乘法确定所述球心。

5.根据权利要求1所述的用于眼球追踪的模型建立方法，其特征在于，根据所述球心和所述像空间内的瞳孔确定像空间内的注视点包括：

确定所述球心与所述像空间内的瞳孔的中心的连线，该连线与屏幕对应的所述像空间内的屏幕的交点即为所述像空间内的注视点，其中，所述屏幕对应的所述像空间内的屏幕的位置在初始标定时确定，且所述像空间内的屏幕的位置满足：所述像空间内的注视点之间的间距与所述屏幕上对应的注视点之间的间距相同。

6.根据权利要求1至5任一所述的用于眼球追踪的模型建立方法，其特征在于，所述根据所述像空间内的注视点和所述瞳孔成像的中心点确定瞳孔成像中心点与像空间内的注视点的映射模型包括：

将所述注视点像空间内的注视点坐标(g′_x,g′_y)和所述瞳孔成像的中心点坐标(e_x,e_y)代入下述多项式映射方程中：

确定参数[a₀,a₁,a₂,a₃,a₄,a₅]和[b₀,b₁,b₂,b₃,b₄,b₅]。

7.根据权利要求1、3至5任一所述的用于眼球追踪的模型建立方法，其特征在于，所述多张眼睛图像包括N张实时眼睛图像，所述N大于等于所述映射模型中单个多项式映射方程的系数个数。

8.一种眼球追踪方法，包括：

根据权利要求1至7任一所述的用于眼球追踪的模型建立方法确定映射模型；

获取眼睛图像，确定所述眼睛图像中的瞳孔成像；

根据所述瞳孔成像和所述映射模型确定像空间内的注视点；

根据所述像空间内的注视点确定屏幕注视点。

9.一种眼球追踪设备，其特征在于，包括：处理器和存储器，所述存储器存储有程序，所述程序在被所述处理器读取执行时，实现如权利要求8所述的眼球追踪方法。

10.一种介质，其特征在于，其上存储有可在处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求8所述的眼球追踪方法的步骤。

Images