CN110263745B - 一种人眼瞳孔定位的方法及装置 - Google Patents

Abstract

本申请公开了一种人眼瞳孔定位的方法及装置，该方法包括：采集用户在注视屏幕上预设的多个注视点中每个注视点时的人眼图像，提取所述每个注视点的人眼图像的瞳孔参数，并根据所述瞳孔参数确定注视点和人眼瞳孔之间的初始映射函数；实时采集用户在当前注视所述屏幕时的第一人眼图像，提取所述第一人眼图像的瞳孔参数；确定出所述预设的多个注视点对应的人眼图像中与第一人眼图像对应的瞳孔轮廓向量之间距离最小的第二人眼图像；基于所述第一人眼图像、所述第二人眼图像所对应的瞳孔的中心点修正所述初始映射函数，并基于修正后的映射函数确定用户当前注视所述屏幕的位置。解决了现有技术中人眼瞳孔定位不准确的技术问题。

Description

一种人眼瞳孔定位的方法及装置

技术领域

本申请涉及虚拟现实技术领域，尤其涉及一种人眼瞳孔定位的方法及装置。

背景技术

随着虚拟现实(Virtual Reality，VR)技术的迅速发展，VR设备可以通过多维度将文字、视频或者音频等传递给用户，提高用户的体验感受，受到越来越多的用户的喜爱。

为了保证用户在佩戴VR设备时，实现人机交互，需要对人眼的眼球进行追踪。目前，眼球追踪技术一般是：通过预设先VR设备显示屏上标定的多个注视点，然后，通过摄像头采集用户注视每个标定注视点时眼部图像信息，通过眼部图像信息确定瞳孔中心，根据标定的多个注视点和瞳孔中心，确定注视点和瞳孔之间的映射模型，实时采集用户当前注视VR设备显示屏时眼部的图像信息，然后，确定用户当前注视VR设备显示屏时瞳孔中心，根据注视点和瞳孔之间的映射模型，确定出用户当前注视VR设备显示屏上的位置。但是，VR设备和人眼之间可能会出现相对的滑动，基于标定的多个注视点确定的映射模型去计算人眼注视显示屏的位置，导致人眼瞳孔定位不准确，进而影响用户的体验感受。

发明内容

本申请提供一种人眼瞳孔定位的方法及装置，用以解决现有技术中人眼瞳孔定位不准确的技术问题。

第一方面，本申请实施例提供一种人眼瞳孔定位的方法，该方法包括：

采集用户在注视屏幕上预设的多个注视点中每个注视点时的人眼图像，提取所述每个注视点的人眼图像的瞳孔参数，并根据所述瞳孔参数确定注视点和人眼瞳孔之间的初始映射函数，其中，所述瞳孔参数包括瞳孔轮廓向量和瞳孔的中心点；

实时采集用户在当前注视所述屏幕时的第一人眼图像，提取所述第一人眼图像的瞳孔参数；

确定出所述预设的多个注视点对应的人眼图像中与第一人眼图像对应的瞳孔轮廓向量之间距离最小的第二人眼图像；

基于所述第一人眼图像、所述第二人眼图像所对应的瞳孔的中心点修正所述初始映射函数，并基于修正后的映射函数确定用户当前注视所述屏幕的位置。

本申请实施例所提供的方案中，通过采集用户在注视屏幕上预设的多个注视点中每个注视点时的人眼图像，并根据提取人眼图像的瞳孔参数确定注视点和人眼瞳孔之间的初始映射函数，然后，实时采集用户在当前注视屏时的第一人眼图像，提取第一人眼图像的瞳孔参数，并从预设的多个注视点所对应的人眼图像中确定出与第一人眼图像的瞳孔参数之间距离最小的第二人眼图像，基于第一人眼图像和第二人眼图像对应的瞳孔的中心点对初始映射函数进行修正，并基于修正后的映射函数确定用户当前注视所述屏幕的位置。因此，本申请实施例通过实时采集的第一人眼图像和第二人眼图像对应的瞳孔的中心点对初始映射函数进行修正，避免无法对映射函数进行修正，导致的人眼瞳孔定位不准确，进而影响用户的体验感受。

可选地，根据所述瞳孔参数确定注视点和人眼瞳孔之间的初始映射函数，包括：

基于同一坐标系确定所述每个注视点的坐标，以及确定所述每个注视点的人眼图像所对应的瞳孔的中心点坐标；

将所述每个注视点的坐标以及所述每个注视点所对应的瞳孔的中心点坐标分别代入预设的拟合函数，得到注视点与人眼瞳孔之间的初始映射函数。

可选地，将所述每个注视点的坐标以及所述每个注视点所对应的瞳孔的中心点坐标分别代入预设的拟合函数之前，还包括：

将所述每个注视点所对应的瞳孔的中心点坐标进行归一化处理。

可选地，将所述每个注视点的坐标以及所述每个注视点所对应的瞳孔的中心点坐标分别代入预设的拟合函数，得到注视点与人眼瞳孔之间的初始映射函数，包括：

将所述每个注视点的坐标以及所述每个注视点所对应的瞳孔的中心点坐标分别代入预设的拟合函数，计算所述预设的拟合函数中每一项的系数；

将所述每一项的系数带入所述预设的拟合函数，得到映射方程；

将所述映射方程进行格式转换得到所述初始的映射函数。

可选地，提取所述每个注视点的人眼图像的瞳孔参数或提取所述第一人眼图像的瞳孔参数，采用如下方式：

确定人眼图像所对应的瞳孔区域的边界曲线，并将人眼图像所对应的边界曲线转换为椭圆曲线；

提取每个所述椭圆曲线中每一项的系数，以及提取所述椭圆曲线的中心点坐标；

基于所述每一项的系数确定所述瞳孔轮廓向量，以及基于所述椭圆曲线的中心点坐标确定所述瞳孔的中心点。

可选地，确定人眼图像所对应的瞳孔区域的边界曲线，包括：

确定人眼图像中瞳孔区域，提取所述瞳孔区域的多个边界像素点；

将所述多个边界像素点进行曲线拟合，得到所述瞳孔区域的边界曲线。

可选地，基于所述第一人眼图像、所述第二人眼图像所对应的瞳孔的中心点修正所述初始映射函数，包括：

在同一坐标系下，确定所述第一人眼图像和所述第二人眼图像中瞳孔的中心点坐标，并计算相同方向上中心点坐标的差值；

将所述初始映射函数变换为椭圆曲线函数，并确定所述椭圆曲线函数的中心点坐标，基于所述差值以及所述椭圆曲线函数的中心点坐标确定新的中心点坐标；

基于所述新的中心点坐标修正所述初始映射函数。

可选地，基于所述差值以及所述椭圆曲线函数的中心点坐标确定新的中心点坐标之前，还包括：

判断所述差值是否大于预设的阈值；

若不大于所述预设的阈值，基于所述初始映射函数确定用户当前注视所述屏幕的位置。

第二方面，本申请实施例提供一种人眼瞳孔定位的装置，该装置包括：

第一确定单元，用于采集用户在注视屏幕上预设的多个注视点中每个注视点时的人眼图像，提取所述每个注视点的人眼图像的瞳孔参数，并根据所述瞳孔参数确定注视点和人眼瞳孔之间的初始映射函数，其中，所述瞳孔参数包括瞳孔轮廓向量和瞳孔的中心点；

提取单元，用于实时采集用户在当前注视所述屏幕时的第一人眼图像，提取所述第一人眼图像的瞳孔参数；

第二确定单元，用于确定出所述预设的多个注视点对应的人眼图像中与第一人眼图像对应的瞳孔轮廓向量之间距离最小的第二人眼图像；

修正单元，用于基于所述第一人眼图像、所述第二人眼图像所对应的瞳孔的中心点修正所述初始映射函数，并基于修正后的映射函数确定用户当前注视所述屏幕的位置。

可选地，所述第一确定单元，具体用于：

基于同一坐标系确定所述每个注视点的坐标，以及确定所述每个注视点的人眼图像所对应的瞳孔的中心点坐标；

将所述每个注视点的坐标以及所述每个注视点所对应的瞳孔的中心点坐标分别代入预设的拟合函数，得到注视点与人眼瞳孔之间的初始映射函数。

可选地，所述装置，还包括：处理单元；

所述处理单元，用于将所述每个注视点所对应的瞳孔的中心点坐标进行归一化处理。

可选地，所述第一确定单元，具体用于：

将所述每个注视点的坐标以及所述每个注视点所对应的瞳孔的中心点坐标分别代入预设的拟合函数，计算所述预设的拟合函数中每一项的系数；

将所述每一项的系数带入所述预设的拟合函数，得到映射方程；

将所述映射方程进行格式转换得到所述初始的映射函数。

可选地，所述第一确定单元，具体用于确定人眼图像所对应的瞳孔区域的边界曲线，并将人眼图像所对应的边界曲线转换为椭圆曲线；

所述提取单元，具体用于提取每个所述椭圆曲线中每一项的系数，以及提取所述椭圆曲线的中心点坐标；

所述第一确定单元，还具体用于基于所述每一项的系数确定所述瞳孔轮廓向量，以及基于所述椭圆曲线的中心点坐标确定所述瞳孔的中心点。

可选地，所述第一确定单元，具体用于：

确定人眼图像中瞳孔区域，提取所述瞳孔区域的多个边界像素点；

将所述多个边界像素点进行曲线拟合，得到所述瞳孔区域的边界曲线。

可选地，所述修正单元，具体用于：

在同一坐标系下，确定所述第一人眼图像和所述第二人眼图像中瞳孔的中心点坐标，并计算相同方向上中心点坐标的差值；

将所述初始映射函数变换为椭圆曲线函数，并确定所述椭圆曲线函数的中心点坐标，基于所述差值以及所述椭圆曲线函数的中心点坐标确定新的中心点坐标；

基于所述新的中心点坐标修正所述初始映射函数。

可选地，所述处理单元，具体用于：

判断所述差值是否大于预设的阈值；

若不大于所述预设的阈值，基于所述初始映射函数确定用户当前注视所述屏幕的位置。

第三方面，本申请实施例提供一种电子设备，所述电子设备包括：

存储器，用于存储至少一个处理器所执行的指令；

处理器，用于加载并执行存储器中存储的指令，以实现第一方面所述的方法。

第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行第一方面所述的方法。

附图说明

图1为本申请实施例所提供的一种人眼瞳孔定位的方法的流程图；

图2为本申请实施例所提供的一种预设的注视点的分布图；

图3为本申请实施例所提供的一种人眼瞳孔定位的装置的结构示意图；

图4为本申请实施例所提供的一种人眼瞳孔定位的装置的结构示意图；

图5为本申请实施例所提供的一种电子设备的结构示意图。

具体实施方式

本申请实施例提供的方案中，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

为了更好的理解上述技术方案，下面通过附图以及具体实施例对本申请技术方案做详细的说明，应当理解本申请实施例以及实施例中的具体特征是对本申请技术方案的详细的说明，而不是对本申请技术方案的限定，在不冲突的情况下，本申请实施例以及实施例中的技术特征可以相互组合。

实施例一

以下结合说明书附图对本申请实施例所提供的一种人眼瞳孔定位的方法做进一步详细的说明，该方法具体实现方式可以包括以下步骤(方法流程如图1所示)：

步骤101，采集用户在注视屏幕上预设的多个注视点中每个注视点时的人眼图像，提取所述每个注视点的人眼图像的瞳孔参数，并根据所述瞳孔参数确定注视点和人眼瞳孔之间的初始映射函数，其中，所述瞳孔参数包括瞳孔轮廓向量和瞳孔的中心点。

在电子设备上的显示屏幕上预先标定多个注视点，例如，9个标定注视点，然后，通过摄像头采集用户在注视屏幕上预设的多个注视点中每个注视点时的人眼图像，例如，摄像头可以是红外摄像头、也可以是其他类型的摄像头，在此不做限制。

然后，在采集每个注视点所对应的人眼图像之后，提取每个注视点的人眼图像的瞳孔参数，瞳孔参数包括瞳孔轮廓向量和瞳孔的中心点。具体的，提取每个注视点的人眼图像的瞳孔参数的方式有多种，下面以一种较佳的方式为例进行说明。

提取每个注视点的人眼图像的瞳孔参数，包括：确定人眼图像所对应的瞳孔区域的边界曲线，并将人眼图像所对应的边界曲线转换为椭圆曲线；提取每个所述椭圆曲线中每一项的系数，以及提取所述椭圆曲线的中心点坐标；基于所述每一项的系数确定所述瞳孔轮廓向量，以及基于所述椭圆曲线的中心点坐标确定所述瞳孔的中心点。

电子设备在获取人眼图像之后对人眼图像进行图像处理，例如，图像处理包括将人眼图像转换为灰度图或者高斯平滑处理等，在图像处理之后确定人眼图像所对应的瞳孔区域的边界曲线，具体的，确定人眼图像所对应的瞳孔区域的边界曲线的方式有多种，下面以一种常见的方式为例进行说明。

确定人眼图像所对应的瞳孔区域的边界曲线，包括：

确定人眼图像中瞳孔区域，提取所述瞳孔区域的多个边界像素点；

将所述多个边界像素点进行曲线拟合，得到所述瞳孔区域的边界曲线。

具体的，从人眼图像所对应的灰度图中提取瞳孔轮廓，并将瞳孔轮廓转换为点集，根据点集对轮廓进行拟合，得到瞳孔区域的边界曲线_，然后，将瞳孔区域的边界曲线转换为椭圆曲线，得到瞳孔区域的边界曲线为：

A(x-e_x)²+B(x-e_x)(y-e_y)+C(y-e_y)²+f＝0

其中，A、B、C表示二次项的系数，f表示常数项的系数，(e_x，e_y)表示椭圆的中心。

然后，提取每个所述椭圆曲线中每一项的系数A、B、C、f，以及提取所述椭圆曲线的中心点坐标(e_x，e_y)，基于所述每一项的系数确定所述瞳孔轮廓向量(A，B，C，f)，以及基于所述椭圆曲线的中心点坐标确定所述瞳孔的中心点(e_x，e_y)，其中，瞳孔轮廓向量用于表征瞳孔轮廓曲线的形状。

进一步，在确定每个预设的注视点所对应的瞳孔参数之后，根据预设的多个注视点所对应的通孔参数确定注视点和人眼瞳孔之间的初始映射函数，具体的，确定注视点和人眼瞳孔之间的初始映射函数方式有多种，下面以一种较佳的方式为例进行举例说明。

根据所述瞳孔参数确定注视点和人眼瞳孔之间的初始映射函数，包括：

基于同一坐标系确定所述每个注视点的坐标，以及确定所述每个注视点的人眼图像所对应的瞳孔的中心点坐标；

将所述每个注视点的坐标以及所述每个注视点所对应的瞳孔的中心点坐标分别代入预设的拟合函数，得到注视点与人眼瞳孔之间的初始映射函数。

具体的，在同一坐标系下，电子设备确定预设的多个注视点中每个注视点的坐标为(g_x，g_y)，其中，预设的多个注视点至少为6个注视点，以及确定每个注视点所对应的瞳孔的中心点坐标为(e_x，e_y)，电子设备获取预设的拟合函数，其中，预设的拟合函数为如下多项式映射方程：

进一步，为了使得数据处理方便，在将所述每个注视点的坐标以及所述每个注视点所对应的瞳孔的中心点坐标分别代入预设的拟合函数之前，还包括：将所述每个注视点所对应的瞳孔的中心点坐标进行归一化处理。

然后，在每个注视点所对应的瞳孔的中心点坐标进行归一化处理之后，将所述每个注视点的坐标以及所述每个注视点所对应的瞳孔的中心点坐标分别代入预设的拟合函数，得到注视点与人眼瞳孔之间的初始映射函数，包括：

将所述每个注视点的坐标以及所述每个注视点所对应的瞳孔的中心点坐标分别代入预设的拟合函数，计算所述预设的拟合函数中每一项的系数；

将所述每一项的系数带入所述预设的拟合函数，得到映射方程；

将所述映射方程进行格式转换得到所述初始的映射函数。

具体的，将归一化处理后的每个注视点所对应的瞳孔的中心点坐标，以及每个注视点的坐标(g_x，g_y)分别带入(1)式得到一组方程组，然后，计算得方程组，得到a₀、a₁、a₂、a₃、a₄、a₅的值。同理，将每个注视点所对应的瞳孔的中心点坐标为(e_x，e_y)分别带入(2)式得到一组方程组，然后，计算得方程组，得到b₀、b₁、b₂、b₃、b₄、b₅的值。

然后，在计算出a₀、a₁、a₂、a₃、a₄、a₅以及b₀、b₁、b₂、b₃、b₄、b₅之后，将a₀、a₁、a₂、a₃、a₄、a₅带入(1)式，将b₀、b₁、b₂、b₃、b₄、b₅带入(2)式，再将(1)式和(2)式转换为椭圆曲线形式，得到如下关系式：

其中，A_x、B_x、C_x、A_y、B_y、C_y为(3)和(4)式中二次项的系数，均为已知的常数，f_x、f_y为(3)和(4)式中已知的常数项，c₀、c₁、c₂、c₃也为(3)和(4)式中已知的常数，e_x、e_y为(3)和(4)式中变量。

进一步，由于变量e_x或e_y对(3)式中

和(4)式中

的影响远远小于其他项，故可以认为电子设备和人眼之间的滑动对其影响可以忽略，得到注视点与人眼瞳孔之间的初始映射函数，具体的初始映射函数如下所示：

步骤102，实时采集用户在当前注视所述屏幕时的第一人眼图像，提取所述第一人眼图像的瞳孔参数。

具体的，电子设备通过摄像头实时采集人眼在当前注视屏幕时的第一人眼图像，并提取第一人眼图像的瞳孔参数。应理解，提取第一人眼的瞳孔参数的方式有多种，上述提取所述每个注视点的人眼图像的瞳孔参数的方式在此都适用，在此不赘述。

电子设备在提取第一人眼图像的瞳孔参数的过程中，从第一人眼图像中提取瞳孔轮廓，并将瞳孔轮廓转换为点集，根据点集对轮廓进行拟合，得到瞳孔区域的边界曲线_，然后，将瞳孔区域的边界曲线转换为椭圆曲线，得到第一人眼图像的瞳孔区域的边界曲线为：

A′(x-e′_x)²+B′(x-e′_x)(y-e′_y)+C′(y-e′_y)²+f′＝0

其中，A′、B′、C′表示二次项的系数，f′表示常数项的系数，(e′_x，e′_y)表示椭圆的中心。

然后，基于第一人眼图像的瞳孔区域的边界曲线中每一项的系数确定瞳孔轮廓向量(A′，B′，C′，f′)以及基于所述椭圆曲线的中心点坐标确定所述瞳孔的中心点(e′_x，e′_y)。

步骤103，确定出所述预设的多个注视点对应的人眼图像中与第一人眼图像对应的瞳孔轮廓向量之间距离最小的第二人眼图像。

具体的，在确定第一人眼图像的瞳孔参数之后，通过下式分别计算第一人眼图像的瞳孔参数中瞳孔轮廓向量(A′，B′，C′，f′)与预设的多个注视点中每个注视点对应的人眼图像的瞳孔参数中瞳孔轮廓向量(A，B，C，f)之间的距离：

其中，d表示第一人眼图像对应的瞳孔轮廓向量与任一预设的注视点的人眼图像对应的瞳孔轮廓向量之间的距离。

进一步，在计算出第一人眼图像的瞳孔参数中瞳孔轮廓向量(A′，B′，C′，f′)与预设的多个注视点中每个注视点对应的人眼图像的瞳孔参数中瞳孔轮廓向量(A，B，C，f)之间的距离之后，确定出距离最小时所对应的注视点的人眼图像，将该人眼图像为第二人眼图像。

步骤104，基于所述第一人眼图像、所述第二人眼图像所对应的瞳孔的中心点修正所述初始映射函数，并基于修正后的映射函数确定用户当前注视所述屏幕的位置。

基于所述第一人眼图像、所述第二人眼图像所对应的瞳孔的中心点修正所述初始映射函数的方式有多种，下面以一种较佳的方式为例进行说明。

基于所述第一人眼图像、所述第二人眼图像所对应的瞳孔的中心点修正所述初始映射函数，包括：

在同一坐标系下，确定所述第一人眼图像和所述第二人眼图像中瞳孔的中心点坐标，并计算相同方向上中心点坐标的差值；

所述将初始映射函数变换为椭圆曲线函数，并确定所述椭圆曲线函数的中心点坐标，基于所述差值以及所述椭圆曲线函数的中心点坐标确定新的中心点坐标；

基于所述新的中心点坐标修正所述初始映射函数。

具体的，在同一坐标系下，若第二人眼图像对应的瞳孔区域的边界曲线为：

A″(x-e″_x)²+B″(x-e″_x)(y-e″_y)+C″(y-e″_y)²+f″＝0

第一人眼图像的瞳孔区域的边界曲线为：

A′(x-e′_x)²+B′(x-e′_x)(y-e′_y)+C′(y-e′_y)²+f′＝0

则确定第二人眼图像所对应的瞳孔的中心点坐标为(e″_x，e″_y)，第一人眼图像所对应的瞳孔的中心点坐标为(e′_x，e′_y)。

然后，计算第二人眼图像所对应的瞳孔的中心点坐标与第一人眼图像所对应的瞳孔的中心点坐标在不同方向上的差值。

Δe_x＝e′_x-e″_x

Δe_y＝e′_y-e″_y

其中，Δe_x表示中心点坐标在x方向上的差值，Δe_y表示中心点坐标在y方向上的差值。

根据上述(5)和(6)式，将(5)式中等式左边的多项式可以看作是中心点为(c₀、c₁)的椭圆曲线，将(6)式中等式左边的多项式可以看作是中心点为(c₂、c₃)的椭圆曲线。

再根据Δe_x和Δe_y以及中心点(c₀、c₁)，得到新的中心点(c′₀，c′₁)，根据Δe_x和Δe_y以及(c₂、c₃)得到新的中心点(c′₂，c′₃)，令c′₀＝c₀+Δe_x，c′₁＝c₁+Δe_y，c′₂＝c₂+Δe_x，c′₃＝c₃+Δe_y，然后，将c′₀、c′₁带入(5)式，将c′₂，c′₃带入(6)式，得到如下修正后的映射函数：

最后，令e_x＝e′_x，e_y＝e′_y，并将e′_x、e′_y分别带入(7)和(8)式中得到g_x和g_y的值，计算出的(g_x，g_y)即为用户当前注视所述屏幕的位置。

进一步，为了避免电子设备与人眼之间没有发生相对滑动或相对滑动引起的影响可以忽略时，任然需要对初始映射函数进行修正计算，本申请提供的实施例中，在基于所述差值以及所述椭圆曲线函数的中心点坐标确定新的中心点坐标之前，还包括：

判断所述差值是否大于预设的阈值；

若不大于所述预设的阈值，基于所述初始映射函数确定用户当前注视所述屏幕的位置。

为了便于理解上述人眼瞳孔定位的过程，下面以举例的形式进行说明。

例如，如图2所示，电子设备在标定注视点时采用的是九点标定法，即在电子设备的显示屏幕上标定9个注视点分别为g₁、g₂、g₃、g₄、g₄、g₅、g₆、g₇、g₈、g₉，然后，在同一坐标系下，确定每个注视点的坐标分别为(g_1x，g_1y)、(g_2x，g_2y)、(g_3x，g_3y)、(g_4x，g_4y)、(g_5x，g_5y)、(g_6x，g_6y)、(g_7x，g_7y)、(g_8x，g_8y)、(g_9x，g_9y)，9个注视点中每个注视点的人眼图像所对应的瞳孔的中心点坐标分别为(e_1x，e_1y)、(e_2x，e_2y)、(e_3x，e_3y)、(e_4x，e_4y)、(e_5x，e_5y)、(e_6x，e_6y)、(e_7x，e_7y)、(e_8x，e_8y)、(e_9x，e_9y)，将9个注视点中每个注视点的坐标以及每个注视点的人眼图像所对应的瞳孔的中心点坐标分别带入预设的拟合函数：

得到两组方程组为：

基于方程组(9)和(10)求得[a₀，a₁，a₂，a₃，a₄，a₅，a₆]和[b₀，b₁，b₂，b₃，b₄，b₅，b₆]的值，并将其带入预设的拟合函数，得到初始映射函数：

若9个注视点g₁、g₂、g₃、g₄、g₄、g₅、g₆、g₇、g₈、g₉所对应的人眼图像的瞳孔轮廓向量分别为(A₁，B₁，C₁，f₁)、(A₂，B₂，C₂，f₂)、(A₃，B₃，C₃，f₃)、(A₄，B₄，C₄，f₄)、(A₅，B₅，C₅，f₅)、(A₆，B₆，C₆，f₆)、、(A₇，B₇，C₇，f₇)、(A₈，B₈，C₈，f₈)、(A₉，B₉，C₉，f₉)，实时采集用户在当前注视所述屏幕时的第一人眼图像的瞳孔轮廓向量(A′，B′，C′，f′)，瞳孔的中心点为(e′_x，e′_y)，分别求取每个注视点所对应的瞳孔轮廓向量与第一人眼图像的瞳孔轮廓向量之间的距离，若第七个注视点所对应的瞳孔轮廓向量与第一人眼图像的瞳孔轮廓向量之间的距离最小，则确定

Δe_x＝e′_x-e_7x

Δe_y＝e′_y-e_7y

令c′₀＝c₀+(e′_x-e_7x)；c′₁＝c₁+(e′_y-e_7y)；c′₂＝c₂+(e′_x-e_7x)；c′₃＝c₃+(e′_y-e_7y)。将c′₀、c′₁、c′₂以及c′₃带入初始映射函数，得到修正后的映射函数，然后将e′_x，e′_y带入修正后的映射函数得到用户当前注视所述屏幕的位置。

本申请实施例所提供的方案中，通过采集用户在注视屏幕上预设的多个注视点中每个注视点时的人眼图像，并根据提取人眼图像的瞳孔参数确定注视点和人眼瞳孔之间的初始映射函数，然后，实时采集用户在当前注视屏时的第一人眼图像，提取第一人眼图像的瞳孔参数，并从预设的多个注视点所对应的人眼图像中确定出与第一人眼图像的瞳孔参数之间距离最小的第二人眼图像，基于第一人眼图像和第二人眼图像对应的瞳孔的中心点对初始映射函数进行修正，并基于修正后的映射函数确定用户当前注视所述屏幕的位置。因此，本申请实施例通过实时采集的第一人眼图像和第二人眼图像对应的瞳孔的中心点对初始映射函数进行修正，避免无法对映射函数进行修正，导致的人眼瞳孔定位不准确，进而影响用户的体验感受。

实施例二

本申请实施例提供一种人眼瞳孔定位的装置，参见图3，该装置包括：

第一确定单元301，用于采集用户在注视屏幕上预设的多个注视点中每个注视点时的人眼图像，提取所述每个注视点的人眼图像的瞳孔参数，并根据所述瞳孔参数确定注视点和人眼瞳孔之间的初始映射函数，其中，所述瞳孔参数包括瞳孔轮廓向量和瞳孔的中心点；

提取单元302，用于实时采集用户在当前注视所述屏幕时的第一人眼图像，提取所述第一人眼图像的瞳孔参数；

第二确定单元303，用于确定出所述预设的多个注视点对应的人眼图像中与第一人眼图像对应的瞳孔轮廓向量之间距离最小的第二人眼图像；

修正单元304，用于基于所述第一人眼图像、所述第二人眼图像所对应的瞳孔的中心点修正所述初始映射函数，并基于修正后的映射函数确定用户当前注视所述屏幕的位置。

可选地，所述第一确定单元301，具体用于：

基于同一坐标系确定所述每个注视点的坐标，以及确定所述每个注视点的人眼图像所对应的瞳孔的中心点坐标；

将所述每个注视点的坐标以及所述每个注视点所对应的瞳孔的中心点坐标分别代入预设的拟合函数，得到注视点与人眼瞳孔之间的初始映射函数。

可选地，参见图4，所述装置，还包括：处理单元305；

所述处理单元305，用于将所述每个注视点所对应的瞳孔的中心点坐标进行归一化处理。

可选地，所述第一确定单元301，具体用于：

将所述每个注视点的坐标以及所述每个注视点所对应的瞳孔的中心点坐标分别代入预设的拟合函数，计算所述预设的拟合函数中每一项的系数；

将所述每一项的系数带入所述预设的拟合函数，得到映射方程；

将所述映射方程进行格式转换得到所述初始的映射函数。

可选地，所述第一确定单元301，具体用于确定人眼图像所对应的瞳孔区域的边界曲线，并将人眼图像所对应的边界曲线转换为椭圆曲线；

所述提取单元302，具体用于提取每个所述椭圆曲线中每一项的系数，以及提取所述椭圆曲线的中心点坐标；

所述第一确定单元301，还具体用于基于所述每一项的系数确定所述瞳孔轮廓向量，以及基于所述椭圆曲线的中心点坐标确定所述瞳孔的中心点。

可选地，所述第一确定单元301，具体用于：

确定人眼图像中瞳孔区域，提取所述瞳孔区域的多个边界像素点；

将所述多个边界像素点进行曲线拟合，得到所述瞳孔区域的边界曲线。

可选地，所述修正单元304，具体用于：

在同一坐标系下，确定所述第一人眼图像和所述第二人眼图像中瞳孔的中心点坐标，并计算相同方向上中心点坐标的差值；

将所述初始映射函数变换为椭圆曲线函数，并确定所述椭圆曲线函数的中心点坐标，基于所述差值以及所述椭圆曲线函数的中心点坐标确定新的中心点坐标；

基于所述新的中心点坐标修正所述初始映射函数。

可选地，所述处理单元305，具体用于：

判断所述差值是否大于预设的阈值；

若不大于所述预设的阈值，基于所述初始映射函数确定用户当前注视所述屏幕的位置。

实施例三

本申请实施例提供一种电子设备，参见图5，所述电子设备包括：

存储器501，用于存储至少一个处理器所执行的指令；

处理器502，用于加载并执行存储器中存储的指令，以实现实施例一所述的方法。

实施例四

本申请提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行实施例一所述的方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种人眼瞳孔定位的方法，其特征在于，包括：

采集用户在注视屏幕上预设的多个注视点中每个注视点时的人眼图像，提取所述每个注视点的人眼图像的瞳孔参数，并根据所述瞳孔参数确定注视点和人眼瞳孔之间的初始映射函数，其中，所述瞳孔参数包括瞳孔轮廓向量和瞳孔的中心点；

实时采集用户在当前注视所述屏幕时的第一人眼图像，提取所述第一人眼图像的瞳孔参数；

确定出所述预设的多个注视点对应的人眼图像中与第一人眼图像对应的瞳孔轮廓向量之间距离最小的第二人眼图像；

基于所述第一人眼图像、所述第二人眼图像所对应的瞳孔的中心点修正所述初始映射函数，并基于修正后的映射函数确定用户当前注视所述屏幕的位置。

2.如权利要求1所述的方法，其特征在于，根据所述瞳孔参数确定注视点和人眼瞳孔之间的初始映射函数，包括：

基于同一坐标系确定所述每个注视点的坐标，以及确定所述每个注视点的人眼图像所对应的瞳孔的中心点坐标；

将所述每个注视点的坐标以及所述每个注视点所对应的瞳孔的中心点坐标分别代入预设的拟合函数，得到注视点与人眼瞳孔之间的初始映射函数。

3.如权利要求2所述的方法，其特征在于，将所述每个注视点的坐标以及所述每个注视点所对应的瞳孔的中心点坐标分别代入预设的拟合函数之前，还包括：

将所述每个注视点所对应的瞳孔的中心点坐标进行归一化处理。

4.如权利要求2或3所述的方法，其特征在于，将所述每个注视点的坐标以及所述每个注视点所对应的瞳孔的中心点坐标分别代入预设的拟合函数，得到注视点与人眼瞳孔之间的初始映射函数，包括：

将所述每个注视点的坐标以及所述每个注视点所对应的瞳孔的中心点坐标分别代入预设的拟合函数，计算所述预设的拟合函数中每一项的系数；

将所述每一项的系数带入所述预设的拟合函数，得到映射方程；

将所述映射方程进行格式转换得到所述初始的映射函数。

5.如权利要求1所述的方法，其特征在于，提取所述每个注视点的人眼图像的瞳孔参数或提取所述第一人眼图像的瞳孔参数，采用如下方式：

确定人眼图像所对应的瞳孔区域的边界曲线，并将人眼图像所对应的边界曲线转换为椭圆曲线；

提取每个所述椭圆曲线中每一项的系数，以及提取所述椭圆曲线的中心点坐标；

基于所述每一项的系数确定所述瞳孔轮廓向量，以及基于所述椭圆曲线的中心点坐标确定所述瞳孔的中心点。

6.如权利要求5所述的方法，其特征在于，确定人眼图像所对应的瞳孔区域的边界曲线，包括：

确定人眼图像中瞳孔区域，提取所述瞳孔区域的多个边界像素点；

将所述多个边界像素点进行曲线拟合，得到所述瞳孔区域的边界曲线。

7.如权利要求1-3、5-6任一项所述的方法，其特征在于，基于所述第一人眼图像、所述第二人眼图像所对应的瞳孔的中心点修正所述初始映射函数，包括：

在同一坐标系下，确定所述第一人眼图像和所述第二人眼图像中瞳孔的中心点坐标，并计算相同方向上中心点坐标的差值；

将所述初始映射函数变换为椭圆曲线函数，并确定所述椭圆曲线函数的中心点坐标，基于所述差值以及所述椭圆曲线函数的中心点坐标确定新的中心点坐标；

基于所述新的中心点坐标修正所述初始映射函数。

8.如权利要求7所述的方法，其特征在于，基于所述差值以及所述椭圆曲线函数的中心点坐标确定新的中心点坐标之前，还包括：

判断所述差值是否大于预设的阈值；

若不大于所述预设的阈值，基于所述初始映射函数确定用户当前注视所述屏幕的位置。

9.一种人眼瞳孔定位的装置，其特征在于，包括：

第一确定单元，用于采集用户在注视屏幕上预设的多个注视点中每个注视点时的人眼图像，提取所述每个注视点的人眼图像的瞳孔参数，并根据所述瞳孔参数确定注视点和人眼瞳孔之间的初始映射函数，其中，所述瞳孔参数包括瞳孔轮廓向量和瞳孔的中心点；

提取单元，用于实时采集用户在当前注视所述屏幕时的第一人眼图像，提取所述第一人眼图像的瞳孔参数；

第二确定单元，用于确定出所述预设的多个注视点对应的人眼图像中与第一人眼图像对应的瞳孔轮廓向量之间距离最小的第二人眼图像；

修正单元，用于基于所述第一人眼图像、所述第二人眼图像所对应的瞳孔的中心点修正所述初始映射函数，并基于修正后的映射函数确定用户当前注视所述屏幕的位置。

10.一种电子设备，其特征在于，包括：

存储器，用于存储至少一个处理器所执行的指令；

处理器，用于加载并执行存储器中存储的指令，以实现如权利要求1-5任一项所述的方法。

Images