CN114967904A - 视线定位方法、头戴显示设备、计算机设备及存储介质 - Google Patents

Abstract

本申请实施例公开一种视线定位方法、头戴显示设备、计算机设备及存储介质。在一实施方式中，该视线定位方法用于包括显示屏、相机及光源的头戴显示设备，该方法包括：确定第一变换关系及第二变换关系，所述第一变换关系为图像坐标系与光源坐标系的变换关系，所述第二变换关系为光源坐标系与显示屏坐标系的变换关系；根据相机采集的用户眼部的眼部图像，计算瞳孔中心在图像坐标系下的坐标；根据所述瞳孔中心在图像坐标系下的坐标、所述第一变换关系及所述第二变换关系，得到作为注视点位置的瞳孔中心在显示屏坐标系下的坐标。该实施方式可精确高效的实现视线定位，且不需要进行标定，提升了视线追踪系统的精度、效率、稳定性和便捷性。

Description

视线定位方法、头戴显示设备、计算机设备及存储介质

技术领域

本申请涉及显示技术领域。更具体地，涉及一种视线定位方法、头戴显示设备、计算机设备及存储介质。

背景技术

随着VR(Virtual Reality，虚拟现实技术)技术的发展，眼球追踪技术或者说视线追踪技术在VR交互、注视点渲染等方面的应用也得到了重视。

目前，视线追踪系统的视线定位一般采用多项式回归模型或3D几何模型进行注视点计算，模型的输入为眼部图像中的瞳孔中心。在视线追踪系统使用前，会采用多点标定的方式，例如5点或9点标定的方式对用户进行标定，以求解出适用于当前用户的模型参数。上述方案，一方面，每次使用前都需要对用户进行至少一次的多点标定，效率和使用便捷性不高；另一方面，在实际使用中，在用户眼部与初始的标定状态发生相对滑动(例如，用户眼部与VR头戴显示设备之间相对滑动)的情况下，由于瞳孔中心是一个绝对值，发生相对滑动时脱离原始标定位置会注视点误差变大，此时，若仍然采用瞳孔中心作为模型输入，则会造成计算出的注视点发生严重漂移，注视点计算精度严重下降，影响体验。

发明内容

本申请的目的在于提供一种视线定位方法、头戴显示设备、计算机设备及存储介质，以解决现有技术存在的问题中的至少一个。

为达到上述目的，本申请采用下述技术方案：

本申请第一方面提供了一种视线定位方法，用于头戴显示设备，所述头戴显示设备包括显示屏、相机及光源，所述方法包括：

确定第一变换关系及第二变换关系，所述第一变换关系为图像坐标系与光源坐标系的变换关系，所述第二变换关系为光源坐标系与显示屏坐标系的变换关系；

根据相机采集的用户眼部的眼部图像，计算瞳孔中心在图像坐标系下的坐标；

根据所述瞳孔中心在图像坐标系下的坐标、所述第一变换关系及所述第二变换关系，得到作为注视点位置的瞳孔中心在显示屏坐标系下的坐标。

本申请第一方面提供的视线定位方法，通过对瞳孔中心的坐标进行两次坐标系变换，将瞳孔中心位置转化为相对于光源在用户的眼部形成的光斑的相对值，此相对值只与注视点变化有关而与相对滑动(例如用户头部与VR头戴显示设备之间发生滑动)无关。由此，可避免因相对滑动造成的视线定位精度下降。且采用基于瞳孔中心相对光斑的位置进行视线定位或者注视点位置计算的方式，无需进行标定。综上，本申请第一方面提供的视线定位方法，可精确高效的实现视线定位，且不需要进行标定，提升了视线追踪系统的精度、效率、稳定性和便捷性。

可选地，所述确定第一变换关系包括：

利用多个光源在用户的眼部形成多个光斑，并利用所述相机采集包含所述多个光斑的用户眼部的眼部图像；

计算得到包含所述多个光斑的用户眼部的眼部图像中各光斑在图像坐标系下的坐标，并根据所述多个光源的设置位置确定各光源在光源坐标系下的坐标；

根据所述各光斑在图像坐标系下的坐标及对应的光源在光源坐标系下的坐标，计算得到图像坐标系与光源坐标系之间的第一变换矩阵，以确定所述第一变换关系。

此可选方式，可精确高效地确定图像坐标系与光源坐标系之间的变换关系。

可选地，所述第一变换矩阵包括线性变换系数和平移变换系数。

可选地，所述确定第二变换关系包括：

根据多个光源的设置位置确定各光源在光源坐标系下的坐标，并根据所述多个光源的设置位置与显示屏的设置位置之间的相对位置关系确定各光源在显示屏坐标系下的坐标；

根据所述各光源在光源坐标系下的坐标及对应的光源在显示屏坐标系下的坐标，计算得到光源坐标系与显示屏坐标系之间的第二变换矩阵，以确定所述第二变换关系。

此可选方式，可精确高效地确定光源坐标系与显示屏坐标系之间的变换关系。

可选地，所述第二变换矩阵包括线性变换系数和平移变换系数。

本申请第二方面提供了一种头戴显示设备，包括：

多个光源、相机、显示屏和处理器；

所述相机，用于采集在所述光源照射下的用户眼部的眼部图像；

所述处理器，用于确定第一变换关系及第二变换关系，所述第一变换关系为图像坐标系与光源坐标系的变换关系，所述第二变换关系为光源坐标系与显示屏坐标系的变换关系；根据所述用户眼部的眼部图像，计算瞳孔中心在图像坐标系下的坐标；根据所述瞳孔中心在图像坐标系下的坐标、所述第一变换关系及所述第二变换关系，得到作为注视点位置的瞳孔中心在显示屏坐标系下的坐标。

本申请第二方面提供的头戴显示设备，通过对瞳孔中心的坐标进行两次坐标系变换，将瞳孔中心位置转化为相对于光源在用户的眼部形成的光斑的相对值，此相对值只与注视点变化有关而与相对滑动(例如用户头部与VR头戴显示设备之间发生滑动)无关。由此，可避免因相对滑动造成的视线定位精度下降。且采用基于瞳孔中心相对光斑的位置进行视线定位或者注视点位置计算的方式，无需进行标定。综上，本申请第二方面提供的头戴显示设备，可精确高效的实现视线定位，且不需要进行标定，提升了视线追踪系统的精度、效率、稳定性和便捷性。

可选地，

所述多个光源，还用于在用户的眼部形成多个光斑；

所述相机，还用于采集包含所述多个光斑的用户眼部的眼部图像；

所述处理器，用于确定第一变换关系包括：计算得到包含所述多个光斑的用户眼部的眼部图像中各光斑在图像坐标系下的坐标，并根据所述多个光源的设置位置确定各光源在光源坐标系下的坐标；根据所述各光斑在图像坐标系下的坐标及对应的光源在光源坐标系下的坐标，计算得到图像坐标系与光源坐标系之间的第一变换矩阵，以确定所述第一变换关系。

此可选方式，可精确高效地确定图像坐标系与光源坐标系之间的变换关系。

可选地，在与显示屏的显示面平行的一平面内，所述多个光源以所述平面上的一预设位置为中心周向均布。

可选地，所述处理器，用于确定第二变换关系包括：根据多个光源的设置位置确定各光源在光源坐标系下的坐标，并根据所述多个光源的设置位置与显示屏的设置位置之间的相对位置关系确定各光源在显示屏坐标系下的坐标；根据所述各光源在光源坐标系下的坐标及对应的光源在显示屏坐标系下的坐标，计算得到光源坐标系与显示屏坐标系之间的第二变换矩阵，以确定所述第二变换关系。

此可选方式，可精确高效地确定光源坐标系与显示屏坐标系之间的变换关系。

可选地，所述头戴显示设备为虚拟现实头戴显示设备。

本申请第三方面提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本申请第一方面提供的视线定位方法。

本申请第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本申请第一方面提供的视线定位方法。

本申请的有益效果如下：

本申请所述技术方案，通过对瞳孔中心的坐标进行两次坐标系变换，将瞳孔中心位置转化为相对于光源在用户的眼部形成的光斑的相对值，此相对值只与注视点变化有关而与相对滑动(例如用户头部与VR头戴显示设备之间发生滑动)无关。由此，可避免因相对滑动造成的视线定位精度下降。且采用基于瞳孔中心相对光斑的位置进行视线定位或者注视点位置计算的方式，无需进行标定。综上，本申请所述技术方案，可精确高效的实现视线定位，且不需要进行标定，提升了视线追踪系统的精度、效率、稳定性和便捷性。

附图说明

下面结合附图对本申请的具体实施方式作进一步详细的说明。

图1示出本申请实施例提供的视线定位方法的流程图。

图2示出VR头戴显示设备的结构示意图。

图3示出图像坐标系与红外光源坐标系之间的对应关系的示意图。

图4示出红外光源坐标系与显示屏坐标系之间的对应关系的示意图。

图5示出计算机系统的结构示意图。

具体实施方式

为了更清楚地说明本申请，下面结合实施例和附图对本申请做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本申请的保护范围。

现有的例如VR头戴显示设备等头戴显示设备的视线定位方案，通常采用多项式回归模型或3D几何模型进行注视点计算，模型的输入为眼部图像中的瞳孔中心。在视线追踪系统使用前，会采用多点标定的方式，例如5点或9点标定的方式对用户进行标定，以求解出适用于当前用户的模型参数。上述方案，一方面，每次使用前都需要对用户进行至少一次的多点标定，效率和使用便捷性不高；另一方面，在实际使用中，在用户眼部与初始的标定状态发生相对滑动(例如，用户眼部与VR头戴显示设备之间相对滑动)的情况下，由于瞳孔中心是一个绝对值，发生相对滑动时脱离原始标定位置会注视点误差变大，此时，若仍然采用瞳孔中心作为模型输入，则会造成计算出的注视点发生严重漂移，注视点计算精度严重下降，影响体验。

由此，以应用于包括显示屏、红外相机及红外光源的VR头戴显示设备为例，本申请的一个实施例提供了一种视线定位方法，如图1所示，该方法包括如下步骤：

S110、确定第一变换关系及第二变换关系，所述第一变换关系为图像坐标系与红外光源坐标系的变换关系，所述第二变换关系为红外光源坐标系与显示屏坐标系的变换关系。

在一个具体示例中，如图2所示，本实施例涉及的VR头戴显示设备例如包括：壳体、VR显示屏(图2中未示出)、两个红外相机、两个透镜以及多个红外光源。两个透镜例如分别为菲涅尔透镜，分别设置于对应佩戴VR头戴显示设备的用户的左眼和右眼正前方的位置。多个红外光源布设在与显示屏的显示面平行的一平面内，一方面，可以为眼部提供均匀的补光，利于获得较为清晰的眼部图像，从而利于将瞳孔从虹膜区域分割出来，另一方面，可以在用户的眼部区域形成多个光斑，从而获得光斑图像，为注视点计算提供位置参考。其中，红外光源的数量可以是6个、8个、10个、12个等，例如，图2所示的两个透镜在水平方向以显示屏中心为中点对称设置，VR头戴显示设备包括十二个红外光源，六个周向均布在左侧透镜外，六个周向均布在右侧透镜外(图2中的红外LED1至红外LED6)，即，例如红外LED1至红外LED6以右侧透镜中心为中心周向均布，这样可保证补光的效果及视线定位的精度。两个红外相机分别对应设置在两个透镜的下方，用于分别采集用户佩戴VR头戴显示设备时，在红外光源照射下的左眼和右眼的包含瞳孔和光斑的眼部图像。另外，也可仅设置一个红外相机采集左眼和右眼的眼部图像进行后续的视线定位。需要说明的是，本实施例涉及的VR头戴显示设备中，选用红外光源的原因是其不会影响用户观看显示屏，可理解的是，本申请涉及的VR头戴显示设备中，也可选用其他类型的光源并适应性地选用相应类型的相机。

后续的示例中，仅以右侧的红外相机采集在红外LED1至红外LED6照射下的右眼的眼部图像进行坐标系变换关系及瞳孔中心位置映射的说明。

在一种可能的实现方式中，确定第一变换关系(图像坐标系与红外光源坐标系的变换关系)包括：

利用多个红外光源在用户的眼部形成多个光斑，并利用所述红外相机采集包含所述多个光斑的用户眼部的眼部图像；

计算得到包含所述多个光斑的用户眼部的眼部图像中各光斑在图像坐标系下的坐标，并根据所述多个红外光源的设置位置确定各红外光源在红外光源坐标系下的坐标；

根据所述各光斑在图像坐标系下的坐标及对应的红外光源在红外光源坐标系下的坐标，计算得到图像坐标系与红外光源坐标系之间的第一变换矩阵，以确定所述第一变换关系。

这样，可精确高效地确定图像坐标系与红外光源坐标系之间的变换关系，从而可在后续的步骤中将瞳孔中心在图像坐标系下的坐标精确映射为瞳孔中心在红外光源坐标系下的坐标。

在一种可能的实现方式中，所述第一变换矩阵包括线性变换系数和平移变换系数。

接续前述示例，如图3所示，红外LED1至红外LED6的中心在红外光源坐标系下的坐标分别为[(x₁，y₁)、…、(x₆，y₆)]，这是根据六个红外光源的预设安装位置可以获得的，其中，参见图3进一步说明的是，本实施例中，红外光源坐标系指的是红外光源所在平面内的直角坐标系。红外LED1至红外LED6会在用户的右眼形成六个光斑，光斑(红外光斑)在人眼角膜成像后灰度值较高，因此可以对红外相机采集的包含六个光斑的用户眼部的眼部图像，采用自适应阈值算法对光斑进行分割，然后求取连通区域，得到六个光斑连通区域，通过求取六个光斑连通区域的质心，得到红外LED1至红外LED6形成的六个光斑的中心在图像坐标系中的坐标，分别为[(x₁'，y₁')、…、(x₆',，y₆')]，其中，参见图3进一步说明的是，本实施例中，图像坐标系指的是眼部图像的直角坐标系。

红外LED1至红外LED6的中心在红外光源坐标系下的坐标[(x₁，y₁)、…、(x₆，y₆)]与六个光斑的中心在图像坐标系中的坐标[(x₁'，y₁')、…、(x₆',，y₆')]之间的关系，可以表示为[(x₁，y₁)、…、(x₆，y₆)]是对[(x₁'，y₁')、…、(x₆',，y₆')]经过线性变换及平移变换得到的，例如：

x_i＝m11*x′_i+n12*y′_i+m13

y_i＝m21*x′_i+m22*y′_i+m23

表示成矩阵形式如下：

其中，(x_i,y_i)是红外LED的中心在红外光源坐标系下的坐标，(x′_i,y′_i)是对应的光斑的中心在图像坐标系下的坐标，则，矩阵A作为图像坐标系与红外光源坐标系之间的第一变换矩阵，表征了第一变换关系(图像坐标系与红外光源坐标系的变换关系)。其中，m11、m12、m21、m22为矩阵A的线性变换系数，m13和m23为矩阵A的平移变换系数。

需要说明的是，第一变换关系可在一用户初次使用VR头显时确定，并存储于VR头戴显示设备的存储器中，也可在VR头戴显示设备出厂前时由测试人员进行测试确定。在后续步骤需要进行瞳孔中心位置的映射时，可由VR头戴显示设备的处理器直接从存储器中读取。由于红外相机与红外光源相对位置不变，因此在用户使用VR头戴显示设备的过程中，无论出现相对滑动(用户头部与VR头戴显示设备之间发生滑动)还是更换使用者的情况，光斑在图像坐标系与红外光源坐标系之间的变换关系是固定不变的，都不需要重新确定第一变换关系。

在一种可能的实现方式中，确定第二变换关系(红外光源坐标系与显示屏坐标系的变换关系)包括：

根据多个红外光源的设置位置确定各红外光源在红外光源坐标系下的坐标，并根据所述多个红外光源的设置位置与显示屏的设置位置之间的相对位置关系确定各红外光源在显示屏坐标系下的坐标；

根据所述各红外光源在红外光源坐标系下的坐标及对应的红外光源在显示屏坐标系下的坐标，计算得到红外光源坐标系与显示屏坐标系之间的第二变换矩阵，以确定所述第二变换关系。

这样，可精确高效地确定红外光源坐标系与显示屏坐标系之间的变换关系，从而在后续步骤中可实现瞳孔中心位置由红外光源坐标系至显示屏坐标系的精确映射。

在一种可能的实现方式中，所述第二变换矩阵包括线性变换系数和平移变换系数。

接续前述示例，如图4所示，红外LED1至红外LED6的中心在红外光源坐标系下的坐标分别为[(x₁，y₁)、…、(x₆，y₆)]，这是根据六个红外光源的预设安装位置可以获得的。红外LED1至红外LED6的中心在显示屏坐标系下的坐标分别为[(X₁，Y₁)、…、(X₆，Y₆)]，这是根据六个红外光源的预设安装位置与显示屏的预设安装位置之间的相对位置关系可以获得的，其中，参见图4进一步说明的是，本实施例中，显示屏坐标系指的是显示屏的显示面内的直角坐标系。

红外LED1至红外LED6的中心在显示屏坐标系下的坐标[(X₁，Y₁)、…、(X₆，Y₆)]与红外LED1至红外LED6的中心在红外光源坐标系下的坐标分别为[(x₁，y₁)、…、(x₆，y₆)]之间的关系，可以表示为[(X₁，Y₁)、…、(X₆，Y₆)]是对[(x₁，y₁)、…、(x₆，y₆)]经过线性变换及平移变换得到的，例如：

X_i＝n11*x_i+n12*y_i+n13

Y_i＝n21*x_i+n22*y_i+n23

表示成矩阵形式如下：

其中，(x_i,y_i)是红外LED的中心在红外光源坐标系下的坐标，(X_i,Y_i)是红外LED的中心在显示屏坐标系下的坐标，则，矩阵B作为红外光源坐标系与显示屏坐标系之间的第二变换矩阵，表征了第二变换关系(红外光源坐标系与显示屏坐标系的变换关系)。其中，n11、n12、n21、n22为矩阵B的线性变换系数，n13和n23为矩阵B的平移变换系数。

需要说明的是，第二变换关系可预先确定，例如在VR头戴显示设备出厂前确定，并存储于VR头戴显示设备的存储器中。在后续步骤需要进行瞳孔中心位置的映射时，可由VR头戴显示设备的处理器直接从存储器中读取。由于显示屏与红外光源相对位置不变，因此在用户使用VR头戴显示设备的过程中，无论出现相对滑动(用户头部与VR头戴显示设备之间发生滑动)还是更换使用者的情况，在红外光源坐标系与显示屏坐标系之间的变换关系是固定不变的，都不需要重新确定第二变换关系。

S120、根据红外相机采集的用户眼部的眼部图像，计算瞳孔中心在图像坐标系下的坐标。

在一个具体示例中，可对红外相机采集的用户眼部的眼部图像采用自适应阈值分割算法将瞳孔区域分离出来，然后采用Canny边缘检测算法检测瞳孔边缘，利用检测到的边缘点进行椭圆拟合，得到拟合后的瞳孔中心在图像坐标系下的值为(p′_x,p′_y)。

S130、根据所述瞳孔中心在图像坐标系下的坐标、所述第一变换关系及所述第二变换关系，得到作为注视点位置的瞳孔中心在显示屏坐标系下的坐标。

接续前述示例，可先根据第一变换关系将瞳孔中心在图像坐标系下的值为(p′_x,p′_y)映射为红外光源坐标系下的坐标(p_x,p_y)：

然后根据第二变换关系将瞳孔中心在红外光源坐标系下的坐标(p_x,p_y)映射为瞳孔中心在在显示屏坐标系下的坐标(P_x,P_y)：

至此，得到了注视点在显示屏的位置，完成视线定位。

需要说明的是，步骤S120和S130是视线定位过程中实时进行的。

综上，本实施例提供的视线定位方法，通过对瞳孔中心的坐标进行两次坐标系变换，即，将瞳孔中心位置由图像坐标系映射至红外光源坐标系，再映射至显示屏坐标系，从而得到作为注视点位置的瞳孔中心在显示屏坐标系下的坐标，实现视线定位。可见，本实施例提供的视线定位方法将瞳孔中心位置转化为相对于红外光源在用户的眼部形成的光斑的相对值，此相对值只与注视点变化有关而与相对滑动(例如用户头部与VR头戴显示设备之间发生滑动)无关。由此，可避免因相对滑动造成的视线定位精度下降。且采用基于瞳孔中心相对光斑的位置进行视线定位或者注视点位置计算的方式，无需进行标定。其中，由于红外相机与红外光源相对位置不变(在例如用户头部与VR头戴显示设备之间发生滑动、更换使用VR头戴显示设备的用户等情况下，红外相机与红外光源的相对位置关系也不会变化)，则光斑在图像坐标系与红外光源坐标系之间的变换关系是固定不变的；同理，由于显示屏与红外光源相对位置不变，则光斑在红外光源坐标系与显示屏坐标系之间的变换关系也是固定不变的。因此，只需根据实时采集的用户眼部图像计算得到瞳孔中心在图像坐标系下的坐标，即可根据两个变换关系精确高效地得到视线定位结果。综上，本实施例提供的视线定位方法，可精确高效的实现视线定位，且不需要进行标定，提升了视线追踪系统的精度、效率、稳定性和便捷性。

上述实施例仅以应用于VR头戴显示设备为例对本申请提供的视线定位方法进行说明，本领域技术人员可以理解的是，除VR头戴显示设备之外，本申请提供的视线定位方法还可应用于AR头戴显示设备等其他头戴显示设备。

本申请的另一个实施例提供了一种头戴显示设备，包括：多个红外光源、红外相机、显示屏和处理器；

所述红外相机，用于采集在所述红外光源照射下的用户眼部的眼部图像；

所述处理器，用于确定第一变换关系及第二变换关系，所述第一变换关系为图像坐标系与红外光源坐标系的变换关系，所述第二变换关系为红外光源坐标系与显示屏坐标系的变换关系；根据所述用户眼部的眼部图像，计算瞳孔中心在图像坐标系下的坐标；根据所述瞳孔中心在图像坐标系下的坐标、所述第一变换关系及所述第二变换关系，得到作为注视点位置的瞳孔中心在显示屏坐标系下的坐标。

在一种可能的实现方式中，

所述多个红外光源，还用于在用户的眼部形成多个光斑；

所述红外相机，还用于采集包含所述多个光斑的用户眼部的眼部图像；

所述处理器，用于确定第一变换关系包括：计算得到包含所述多个光斑的用户眼部的眼部图像中各光斑在图像坐标系下的坐标，并根据所述多个红外光源的设置位置确定各红外光源在红外光源坐标系下的坐标；根据所述各光斑在图像坐标系下的坐标及对应的红外光源在红外光源坐标系下的坐标，计算得到图像坐标系与红外光源坐标系之间的第一变换矩阵，以确定所述第一变换关系。

在一种可能的实现方式中，在与显示屏的显示面平行的一平面内，所述多个红外光源以所述平面上的一预设位置为中心周向均布。例如，头戴显示设备为VR头戴显示设备，多个红外光源以VR头戴显示设备的透镜中心为中心，周向均布于透镜外围。

在一种可能的实现方式中，所述处理器，用于确定第二变换关系包括：根据多个红外光源的设置位置确定各红外光源在红外光源坐标系下的坐标，并根据所述多个红外光源的设置位置与显示屏的设置位置之间的相对位置关系确定各红外光源在显示屏坐标系下的坐标；根据所述各红外光源在红外光源坐标系下的坐标及对应的红外光源在显示屏坐标系下的坐标，计算得到红外光源坐标系与显示屏坐标系之间的第二变换矩阵，以确定所述第二变换关系。

在一种可能的实现方式中，所述头戴显示设备为VR头戴显示设备。

需要说明的是，本实施例提供的头戴显示设备的原理及工作流程与上述视线定位方法相似，以头戴显示设备为VR头戴显示设备为例，其结构与上述实施例中示例的VR头戴显示设备的结构相似，相关之处可以参照上述说明，在此不再赘述。

如图5所示，适于用来执行上述实施例提供的视线定位方法的计算机系统，包括中央处理模块(CPU)，其可以根据存储在只读存储器(ROM)中的程序或者从存储部分加载到随机访问存储器(RAM)中的程序而执行各种适当的动作和处理。在RAM中，还存储有计算机系统操作所需的各种程序和数据。CPU、ROM以及RAM通过总线被此相连。输入/输入(I/O)接口也连接至总线。

以下部件连接至I/O接口：包括键盘、鼠标等的输入部分；包括诸如液晶显示器(LCD)等以及扬声器等的输出部分；包括硬盘等的存储部分；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分。通信部分经由诸如因特网的网络执行通信处理。驱动器也根据需要连接至I/O接口。可拆卸介质，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器上，以便于从其上读出的计算机程序根据需要被安装入存储部分。

特别地，根据本实施例，上文流程图描述的过程可以被实现为计算机软件程序。例如，本实施例包括一种计算机程序产品，其包括有形地包含在计算机可读介质上的计算机程序，上述计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。

附图中的流程图和示意图，图示了本实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或示意图中的每个方框可以代表一个模块、程序段或代码的一部分，上述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，示意图和/或流程图中的每个方框、以及示意和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

作为另一方面，本实施例还提供了一种非易失性计算机存储介质，该非易失性计算机存储介质可以是上述实施例中上述装置中所包含的非易失性计算机存储介质，也可以是单独存在，未装配入终端中的非易失性计算机存储介质。上述非易失性计算机存储介质存储有一个或者多个程序，当上述一个或者多个程序被一个设备执行时，使得上述设备：

确定第一变换关系及第二变换关系，所述第一变换关系为图像坐标系与红外光源坐标系的变换关系，所述第二变换关系为红外光源坐标系与显示屏坐标系的变换关系；

根据红外相机采集的用户眼部的眼部图像，计算瞳孔中心在图像坐标系下的坐标；

根据所述瞳孔中心在图像坐标系下的坐标、所述第一变换关系及所述第二变换关系，得到作为注视点位置的瞳孔中心在显示屏坐标系下的坐标。

在本申请的描述中，需要说明的是，术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

还需要说明的是，在本申请的描述中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

显然，本申请的上述实施例仅仅是为清楚地说明本申请所作的举例，而并非是对本申请的实施方式的限定，对于本领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本申请的技术方案所引伸出的显而易见的变化或变动仍处于本申请的保护范围之列。

Claims (12)

1.一种视线定位方法，用于头戴显示设备，所述头戴显示设备包括显示屏、相机及光源，其特征在于，所述方法包括：

确定第一变换关系及第二变换关系，所述第一变换关系为图像坐标系与光源坐标系的变换关系，所述第二变换关系为光源坐标系与显示屏坐标系的变换关系；

根据相机采集的用户眼部的眼部图像，计算瞳孔中心在图像坐标系下的坐标；

根据所述瞳孔中心在图像坐标系下的坐标、所述第一变换关系及所述第二变换关系，得到作为注视点位置的瞳孔中心在显示屏坐标系下的坐标。

2.根据权利要求1所述的方法，其特征在于，所述确定第一变换关系包括：

利用多个光源在用户的眼部形成多个光斑，并利用所述相机采集包含所述多个光斑的用户眼部的眼部图像；

计算得到包含所述多个光斑的用户眼部的眼部图像中各光斑在图像坐标系下的坐标，并根据所述多个光源的设置位置确定各光源在光源坐标系下的坐标；

根据所述各光斑在图像坐标系下的坐标及对应的光源在光源坐标系下的坐标，计算得到图像坐标系与光源坐标系之间的第一变换矩阵，以确定所述第一变换关系。

3.根据权利要求2所述的方法，其特征在于，所述第一变换矩阵包括线性变换系数和平移变换系数。

4.根据权利要求1所述的方法，其特征在于，所述确定第二变换关系包括：

根据多个光源的设置位置确定各光源在光源坐标系下的坐标，并根据所述多个光源的设置位置与显示屏的设置位置之间的相对位置关系确定各光源在显示屏坐标系下的坐标；

根据所述各光源在光源坐标系下的坐标及对应的光源在显示屏坐标系下的坐标，计算得到光源坐标系与显示屏坐标系之间的第二变换矩阵，以确定所述第二变换关系。

5.根据权利要求4所述的方法，其特征在于，所述第二变换矩阵包括线性变换系数和平移变换系数。

6.一种头戴显示设备，其特征在于，包括：

多个光源、相机、显示屏和处理器；

所述相机，用于采集在所述光源照射下的用户眼部的眼部图像；

所述处理器，用于确定第一变换关系及第二变换关系，所述第一变换关系为图像坐标系与光源坐标系的变换关系，所述第二变换关系为光源坐标系与显示屏坐标系的变换关系；根据所述用户眼部的眼部图像，计算瞳孔中心在图像坐标系下的坐标；根据所述瞳孔中心在图像坐标系下的坐标、所述第一变换关系及所述第二变换关系，得到作为注视点位置的瞳孔中心在显示屏坐标系下的坐标。

7.根据权利要求6所述的头戴显示设备，其特征在于，

所述多个光源，还用于在用户的眼部形成多个光斑；

所述相机，还用于采集包含所述多个光斑的用户眼部的眼部图像；

所述处理器，用于确定第一变换关系包括：计算得到包含所述多个光斑的用户眼部的眼部图像中各光斑在图像坐标系下的坐标，并根据所述多个光源的设置位置确定各光源在光源坐标系下的坐标；根据所述各光斑在图像坐标系下的坐标及对应的光源在光源坐标系下的坐标，计算得到图像坐标系与光源坐标系之间的第一变换矩阵，以确定所述第一变换关系。

8.根据权利要求6或7所述的头戴显示设备，其特征在于，在与显示屏的显示面平行的一平面内，所述多个光源以所述平面上的一预设位置为中心周向均布。

9.根据权利要求6所述的头戴显示设备，其特征在于，所述处理器，用于确定第二变换关系包括：根据多个光源的设置位置确定各光源在光源坐标系下的坐标，并根据所述多个光源的设置位置与显示屏的设置位置之间的相对位置关系确定各光源在显示屏坐标系下的坐标；根据所述各光源在光源坐标系下的坐标及对应的光源在显示屏坐标系下的坐标，计算得到光源坐标系与显示屏坐标系之间的第二变换矩阵，以确定所述第二变换关系。

10.根据权利要求6所述的头戴显示设备，其特征在于，所述头戴显示设备为虚拟现实头戴显示设备。

11.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-5中任一项所述的方法。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一项所述的方法。

Images