CN107392156A - 一种视线估计方法及装置 - Google Patents

Abstract

本发明提供了一种视线估计方法及装置，其中，该方法包括：按照第一频率获取用户的人眼图像，确定人眼图像对应的注视信息；按照第二频率获取用户的眼球电容向量；根据眼球电容向量和注视信息，构建视线估计模型；通过视线估计模型对用户进行实时视线估计。本发明基于图像处理方式提供的注视信息，结合用户眼球转动产生的眼球电容向量，构建视线估计模型。在视线估计模型构建完成后，停止采用图像处理方式进行视线估计，而是采用视线估计模型进行实时的视线估计。实现从图像处理方式过渡到采用视线估计模型进行估计，大大提高视线估计速度，降低延时及资源占用率，提高眼动跟踪效率及准确性。

Description

一种视线估计方法及装置

技术领域

本发明涉及人机交互技术领域，具体而言，涉及一种视线估计方法及装置。

背景技术

视线是眼睛注视的方向，代表一个人关注的焦点。视线追踪是目前比较活跃的研究课题之一，在人机交互及人类认知科学等领域存在着很大的应用潜力。视线追踪的基础是对人眼视线的方向进行估计。

相关技术中，通常采用P-CR方法确定眼球的注视信息，P-CR方法分为基于回归的P-CR方法和基于3D的P-CR方法两种，这两种方法在具体实现时，均需要利用多个光源在用户眼球中形成多个光斑，并获取用户的人眼图像，通过对人眼图像进行图像处理，在人眼图像上检测到所有光源对应的光斑，进而根据光源与光斑的对应关系确定眼球的注视信息。

但相关技术中对人眼图像进行图像处理，图像处理速度很慢，资源占用率高，视线估计的延时长。

发明内容

有鉴于此，本发明实施例的目的在于提供一种视线估计方法及装置，以解决相关技术存在的以下问题：相关技术采用图像处理方式进行视线估计，图像处理速度很慢，资源占用率高，视线估计的延时长。

第一方面，本发明实施例提供了一种视线估计方法，所述方法包括：

按照第一频率获取用户的人眼图像，确定所述人眼图像对应的注视信息；

按照第二频率获取所述用户的眼球电容向量；

根据所述眼球电容向量和所述注视信息，构建视线估计模型；

通过所述视线估计模型对所述用户进行实时视线估计。

结合第一方面，本发明实施例提供了上述第一方面的第一种可能的实现方式，其中，所述根据所述眼球电容向量和所述注视信息，构建视线估计模型，包括：

根据多组满足获取时刻条件的所述眼球电容向量及所述注视信息，用函数拟合的方式获得眼球电容向量和注视信息之间的映射关系，从而得到视线估计模型；或者，

根据多组满足获取时刻条件的所述眼球电容向量及所述注视信息，进行神经网络训练得到视线估计模型；或者，

将多组满足获取时刻条件的所述眼球电容向量及所述注视信息存储在眼球电容向量与注视信息的对应关系中，将所述对应关系确定为视线估计模型。

结合第一方面，本发明实施例提供了上述第一方面的第二种可能的实现方式，其中，所述通过所述视线估计模型对所述用户进行实时视线估计，包括：

获取所述用户当前的眼球电容向量；

根据所述当前的眼球电容向量，通过所述视线估计模型计算所述用户当前的注视信息。

结合第一方面，本发明实施例提供了上述第一方面的第三种可能的实现方式，其中，所述按照第二频率获取所述用户的眼球电容向量，包括：

当检测到当前时间与上次获取时间之间的时间差达到所述第二频率对应的时间间隔时，读取传感器矩阵包括的多个电容传感器采集的电容值；

按照所述多个电容传感器在所述传感器矩阵中的排列顺序，将读取到的多个所述电容值组成眼球电容向量。

结合第一方面，本发明实施例提供了上述第一方面的第四种可能的实现方式，其中，所述确定所述人眼图像对应的注视信息，包括：

从所述人眼图像中提取眼动特征；

根据所述眼动特征，确定所述人眼图像对应的注视信息。

结合第一方面，本发明实施例提供了上述第一方面的第五种可能的实现方式，其中，所述

根据所述眼球电容向量和所述注视信息，构建视线估计模型之后，还包括：

获取用户的人眼图像及眼球电容向量；

根据获取的所述人眼图像和所述眼球电容向量，对所述视线估计模型进行精度验证；

若验证所述视线估计模型不满足预设精度条件，则重新构建所述视线估计模型。

结合第一方面的第二种可能的实现方式，本发明实施例提供了上述第一方面的第六种可能的实现方式，其中，所述根据所述当前的眼球电容向量，通过所述视线估计模型计算所述用户当前的注视信息之前，还包括：

查看已存储的眼球电容向量与注视信息的对应关系中是否存在所述当前的眼球电容向量；

如果是，则直接从所述对应关系中获取所述当前的眼球电容向量对应的注视信息；

如果否，则执行根据所述当前的眼球电容向量，通过所述视线估计模型计算所述用户当前的注视信息。

结合第一方面的第二种可能的实现方式，本发明实施例提供了上述第一方面的第七种可能的实现方式，其中，所述根据所述当前的眼球电容向量，通过所述视线估计模型计算所述用户当前的注视信息之前，还包括：

查看已存储的眼球电容向量与注视信息的对应关系中是否存在与所述当前的眼球电容向量之间的差值小于预设阈值的眼球电容向量；

如果是，则根据与所述当前的眼球电容向量之间的差值小于预设阈值的眼球电容向量，通过插值方式获得所述当前的眼球电容向量对应的注视信息；

如果否，则执行根据所述当前的眼球电容向量，通过所述视线估计模型计算所述用户当前的注视信息。

结合第一方面的第六种或第七种可能的实现方式，本发明实施例提供了上述第一方面的第八种可能的实现方式，其中，所述根据所述当前的眼球电容向量，通过所述视线估计模型计算所述用户当前的注视信息之后，还包括：

将所述当前的眼球电容向量及所述用户当前的注视信息存储在所述眼球电容向量与注视信息的对应关系中。

第二方面，本发明实施例提供了一种视线估计装置，所述装置包括：

获取模块，用于按照第一频率获取用户的人眼图像，确定所述人眼图像对应的注视信息；按照第二频率获取所述用户的眼球电容向量；

构建模块，用于根据所述眼球电容向量和所述注视信息，构建视线估计模型；

估计模块，用于通过所述视线估计模型对所述用户进行实时视线估计。

结合第二方面，本发明实施例提供了上述第二方面的第一种可能的实现方式，其中，所述构建模块，用于根据多组满足获取时刻条件的所述眼球电容向量及所述注视信息，用函数拟合的方式获得眼球电容向量和注视信息之间的映射关系，从而得到视线估计模型；或者，用于根据多组满足获取时刻条件的所述眼球电容向量及所述注视信息，进行神经网络训练得到视线估计模型；或者，将多组满足获取时刻条件的所述眼球电容向量及所述注视信息存储在眼球电容向量与注视信息的对应关系中，将所述对应关系确定为视线估计模型。

结合第二方面，本发明实施例提供了上述第二方面的第二种可能的实现方式，其中，所述估计模块包括：

获取单元，用于获取所述用户当前的眼球电容向量；

计算单元，用于根据所述当前的眼球电容向量，通过所述视线估计模型计算所述用户当前的注视信息。

结合第二方面，本发明实施例提供了上述第二方面的第三种可能的实现方式，其中，所述获取模块包括：

采集单元，用于当检测到当前时间与上次获取时间之间的时间差达到所述第二频率对应的时间间隔时，读取传感器矩阵包括的多个电容传感器采集的电容值；

组成单元，用于按照所述多个电容传感器在所述传感器矩阵中的排列顺序，将读取到的多个所述电容值组成眼球电容向量。

在本发明实施例提供的方法及装置中，按照第一频率获取用户的人眼图像，确定人眼图像对应的注视信息；按照第二频率获取用户的眼球电容向量；根据眼球电容向量和注视信息，构建视线估计模型；通过视线估计模型对用户进行实时视线估计。本发明基于图像处理方式提供的注视信息，结合用户眼球转动产生的眼球电容向量，构建视线估计模型。在视线估计模型构建完成后，停止采用图像处理方式进行视线估计，而是采用视线估计模型进行实时的视线估计。实现从图像处理方式过渡到采用视线估计模型进行估计，大大提高视线估计速度，降低延时及资源占用率，提高眼动跟踪效率及准确性。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明实施例1所提供的一种视线估计方法的流程图；

图2示出了本发明实施例1所提供的另一种视线估计方法的流程图；

图3示出了本发明实施例2所提供的一种视线估计装置的结构示意图；

图4示出了本发明实施例2所提供的一种视线估计装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

考虑到相关技术中对人眼图像进行图像处理来确定注视信息，图像处理速度很慢，资源占用率高，视线估计的延时长。基于此，本发明实施例提供了一种视线估计方法及装置，下面通过实施例进行描述。

实施例1

本发明实施例提供了一种视线估计方法。该方法的执行主体为用于进行视线估计的终端，该终端配置有多个光源、摄像头及传感器矩阵。其中，该摄像头用于拍摄用户的人眼图像，该人眼图像中包含光斑，光斑为上述光源在用户的眼睛中的成像，光源可以为红外光源。传感器矩阵设置在用户的眼镜等靠近眼睛的穿戴设备上，传感器矩阵包括多个电容传感器，当用户的眼球转动时电容传感器的安装位置对应的眼球部位处的电容会发生变化，电容传感器能够采集到其安装位置对应的眼球部位处的电容值，通过传感器矩阵包括的多个电容传感器能够采集到多个电容值。采集到的这多个电容值对应眼球转动的角度，所以通过传感器矩阵采集的多个电容值能够对应于用户的注视信息。本发明实施例基于对人眼图像进行图像处理得到注视信息，结合传感器矩阵采集用户的眼球电容向量，构建视线估计模型，通过构建的视线估计模型实时进行眼动跟踪，快速估计用户的视线方向，降低延时，提高眼动跟踪速度和效率。

参见图1，该方法具体包括以下步骤：

步骤101：按照第一频率获取用户的人眼图像，确定该人眼图像对应的注视信息。

实时计算当前时间与上次获取人眼图像的时间之间的时间差，当判断该时间差达到第一频率对应的时间间隔时，通过摄像头对用户的眼睛进行拍摄，得到用户的人眼图像。上述第一频率可以为60Hz或120Hz等，第一频率对应的时间间隔可以为或等。

获取到用户的人眼图像后，通过如下方式来确定该人眼图像对应的注视信息，包括：

从人眼图像中提取眼动特征；根据眼动特征，确定人眼图像对应的注视信息。

上述眼动特征包括瞳孔中心的位置及人眼图像中的光斑等。其中，人眼图像对应多个光源，光斑为光源在该用户眼睛上的成像。具体地，从该人眼图像中提取出瞳孔中心的位置和光斑；根据光斑的位置和该人眼图像中的瞳孔中心的位置，确定该人眼图像对应的注视信息。

获取到用户的人眼图像后，对该人眼图像进行图像处理，从该人眼图像中提取光斑，确定光斑的位置和瞳孔中心的位置。根据提取的每个光斑的位置拟合光斑分布曲线。由于光斑为光源在用户眼睛上的成像，因此光斑分布曲线的形状与所有光源的设置形状对应，光斑分布曲线理论上为所有光源的设置形状的仿射变换。

本发明实施例中，根据光斑分布曲线的特征点和瞳孔中心的位置，通过利用基于回归的P-CR算法获得注视信息，注视信息可以有多种呈现方式，如注视信息可以为位置、偏角以及旋转矩阵等。

上述光斑分布曲线的形状与所有光源的设置形状相对应，当所有光源的设置形状为圆形时，光斑分布曲线为圆形或近似圆形，此时光斑分布曲线的特征点为圆心。当所有光源的设置形状为椭圆时，光斑分布曲线为椭圆，此时光斑分布曲线的特征点为椭圆的两个焦点中的任意一个焦点。当所有光源的设置形状为线段时，光斑分布曲线为线段，此时光斑分布曲线的特征点为线段的中点。当所有光源的设置多边形时，光斑分布曲线为多边形，此时光斑分布曲线的特征点为多边形的中心点。

通过上述方式确定用户的注视信息时，无需获知光斑和光源之间的对应关系，计算过程简单，计算效率高。本发明实施例中还可以通过如下方式，基于光斑和光源之间的对应关系来确定用户的注视信息，包括：

从该人眼图像中提取光斑；确定光斑的位置及其对应的光源的位置；根据光斑的位置及光源的位置，确定该人眼图像对应的注视信息。

获取到用户的人眼图像后，对该人眼图像进行图像处理，从该人眼图像中提取光斑，确定光斑的位置。根据确定的每个光斑的位置拟合光斑分布曲线。根据光斑分布曲线的特征点、所有光源排列组成的形状的特征点、确定的每个光斑的位置及每个光源的位置，确定提取的每个光斑对应的光源。根据提取的每个光斑的位置及其对应的光源的位置，确定人眼图像对应的注视信息。

其中，当光斑分布曲线及所有光源排列组成的形状为圆形时，光斑分布曲线的特征点及所有光源排列组成的形状的特征点均为圆心。当光斑分布曲线及所有光源排列组成的形状均为椭圆形时，光斑分布曲线的特征点及所有光源排列组成的形状的特征点均为椭圆的两个焦点中的任一个焦点。当光斑分布曲线及所有光源排列组成的形状均为线段时，光斑分布曲线的特征点及所有光源排列组成的形状的特征点均为线段的中点。当光斑分布曲线及所有光源排列组成的形状均为多边形时，光斑分布曲线的特征点及所有光源排列组成的形状的特征点均为多边形的中心点。

在本发明实施例中，获取用户的人眼图像之后，还删除记录的上次获取人眼图像的时间，然后记录本次获取人眼图像的时间。

周期性地按照本步骤的方式确定用户的注视信息，在每个周期获取用户的人眼图像的同时，还通过如下步骤102的操作来获取用户的眼球电容向量。

步骤102：按照第二频率获取该用户的眼球电容向量。

实时计算当前时间与上次获取用户的眼球电容量的时间之间的时间差，当检测到当前时间与上次获取时间之间的时间差达到上述第二频率对应的时间间隔时，读取传感器矩阵包括的多个电容传感器采集的当前时间该用户对应的电容值；按照多个电容传感器在传感器矩阵中的排列顺序，将读取到的多个电容值组成眼球电容向量。

上述第二频率可能与上述第一频率相同，也可能与上述第一频率不同。第二频率可以为240Hz或480Hz等，第二频率对应的时间间隔可以为或等。

由于眼球转动时眼球各部位的电容会发生变化，所以通过传感器矩阵获取到的眼球电容向量对应于用户眼睛的一个转动角度，即该眼球电容向量能够对应于用户的注视信息。所以本发明实施例中按照相同的周期同时执行步骤101和步骤102，通过步骤101每隔预设时长以图像处理的方式确定出用户的注视信息，通过步骤102每隔预设时长获取用户的眼球电容向量，如此获取到多组注视信息和眼球电容向量。然后通过步骤103的方式确定注视信息和眼球电容向量之间的映射关系，建立视线估计模型，实现从步骤101以图像处理方式进行视线估计，过渡到以视线估计模型进行视线估计，大大提高视线估计的效率，缩短眼动跟踪延时，降低视线估计的资源占用率。

步骤103：根据获取的眼球电容向量和注视信息，构建视线估计模型。

通过步骤101和102的操作获取到多组注视信息和眼球电容向量后，根据多组满足获取时刻条件的眼球电容向量及注视信息，通过函数拟合方式拟合眼球电容向量和注视信息之间的映射关系，得到视线估计模型。上述获取时刻条件为获取眼球电容向量的时刻与获取人眼图像的时刻之间的差值小于预设时间差，该预设时间差越小构建出的视线估计模型的精度越高。

具体来说，函数拟合方式就是预先设定电容向量S和注视信息D对应关系的函数形式D＝F(S，P)，其中P为映射函数中的参数，然后用非线性规划等优化算法估计参数P。

除上述函数拟合方式外，还可以通过机器学习的方式构建视线估计模型。即根据多组同一时刻获取的眼球电容向量及注视信息，进行神经网络等方法训练得到视线估计模型。

在本发明实施例中，除函数拟合方式及机器学习的方式外，还可以直接将多组满足获取时刻条件的眼球电容向量及注视信息存储在眼球电容向量与注视信息的对应关系中，将该对应关系确定为视线估计模型。

在本发明实施例中，通过本步骤的操作构建出视线估计模型之后，还对构建的视线估计模型进行精度验证，包括：

通过传感器矩阵获取用户的眼球电容向量，将获取的眼球电容向量代入该视线估计模型，计算出该眼球电容向量对应的注视信息；在通过传感器矩阵获取用户的眼球电容向量的同时，通过摄像头对用户的眼睛进行拍摄得到用户的人眼图像，通过图像处理的方式确定该人眼图像对应的注视信息；计算通过该视线估计模型计算的注视信息与通过图像处理方式确定的注视信息之间的偏差值，若该偏差值小于或等于预设偏差值，则确定构建的该视线估计模型的准确性符合要求，暂停步骤101所采取的图像处理方式，通过步骤104的操作利用该视线估计模型进行视线估计；若该偏差值大于预设偏差值，则确定该视线估计模型的准确性过低，继续通过步骤101-103的操作来训练构建新的视线估计模型，直到构建出的视线估计模型满足精度要求后，再暂停步骤101所采取的图像处理方式，通过步骤104的操作利用满足精度要求的视线估计模型来进行视线估计。

步骤104：通过该视线估计模型对该用户进行实时视线估计。

构建出视线估计模型后，暂停步骤101的操作，不再通过图像处理的方式来确定用户的注视信息。而是通过视线估计模型对用户进行实时视线估计，包括：

获取该用户当前的眼球电容向量；根据当前的眼球电容向量，通过视线估计模型计算该用户当前的注视信息。

在本发明实施例中，若视线估计模型为眼球电容向量与注视信息的对应关系，则查看该对应关系中是否包含当前的眼球电容向量，若包含，则直接从该对应关系中获取当前的眼球电容向量对应的注视信息。若不包含，则查看该对应关系中是否包含与当前的眼球电容向量之间的差值小于预设阈值的眼球电容向量，若包含，则根据与当前的眼球电容向量之间的差值小于预设阈值的眼球电容向量，通过插值方式获得用户当前的注视信息。若不包含，则从摄像头获取用户当前的人眼图像，根据当前的人眼图像，通过图像处理的方式获得用户当前的注视信息。

在本发明实施例中，用D代表步骤101确定的人眼图像对应的注视信息，用S代表步骤102获取的眼球电容向量。根据多组满足获取时刻条的注视信息D和眼球电容向量，通过函数拟合或机器学习方式构建出的视线估计模型为D＝F(S)。其中，F()表示注视信息D与眼球电容向量S之间的映射关系。构建出该视线估计模型后，通过传感器矩阵包括的多个电容传感器周期性地采集用户的眼球转动产生的电容值，按照多个电容传感器在传感器矩阵中的排列顺序，将采集的多个电容值组成眼球电容向量S。然后将获取的眼球电容向量S代入构建的视线估计模型D＝F(S)中，通过视线估计模型D＝F(S)计算出该眼球电容向量S对应的注视信息D。

由于通过视线估计模型D＝F(S)计算注视信息D的计算过程简单，花费很短时间就能完成计算过程。因此构建出视线估计模型后获取眼球电容向量的周期可以设置的更短，设置的周期远小于构建出视线估计模型之前以图像处理方式进行视线估计的周期。例如，构建出视线估计模型之前，每隔1S获取用户的人眼图像及眼球电容向量，并通过图像处理确定人眼图像对应的注视信息。而构建出视线估计模型后，每隔0.1S获取用户的眼球电容向量，将获取的眼球电容向量代入视线估计模型，获得用户的注视信息。进行视线估计的周期除按照上述每隔一定时长的方式来表述以外，还可以通过频率来表达，构建出视线估计模型后获取眼球电容向量的频率可以设置的更高，设置的频率远大于构建出视线估计模型之前以图像处理方式进行视线估计的频率。例如，构建出视线估计模型之前，获取用户的人眼图像及眼球电容向量的频率为60Hz。而构建出视线估计模型后，获取用户的眼球电容向量，并通过视线估计模型进行视线估计的频率为240Hz。如此通过视线估计模型进行视线估计，大大提高了视线估计的频率，降低了眼动跟踪延时，提高眼动跟踪的效率及准确性。

在本发明实施例中，在通过函数拟合或机器学习的方式构建视线估计模型时，为了进一步提高视线估计的效率，还将过去已经估计出的注视信息及其对应的眼球电容向量存储在眼球电容向量与注视信息的对应关系中。

在通过视线估计模型计算用户当前的注视信息之前，先查看已存储的眼球电容向量与注视信息的对应关系中是否存在用户当前的眼球电容向量；如果是，则直接从该对应关系中获取用户当前的眼球电容向量对应的注视信息。如此通过查表的方式能够迅速获得用户的注视信息，大大缩短了视线估计所需的时间，提高了视线估计效率。

如果通过查表的方式确定上述对应关系中不包括用户当前的眼球电容向量，再根据用户当前的眼球电容向量，通过构建的视线估计模型计算用户当前的注视信息。

在本发明实施例中，当查看出上述对应关系中不包括用户当前的眼球电容向量时，还可以尝试通过插值的方式来进一步提高视线估计的效率，具体包括：

查看已存储的眼球电容向量与注视信息的对应关系中是否存在与用户当前的眼球电容向量之间的差值小于预设阈值的眼球电容向量；如果是，则根据与用户当前的眼球电容向量之间的差值小于预设阈值的眼球电容向量，通过插值方式获得用户当前的眼球电容向量对应的注视信息。

如果通过查表的方式确定上述对应关系中不包括与用户当前的眼球电容向量之间的差值小于预设阈值的眼球电容向量，再根据用户当前的眼球电容向量，通过构建的视线估计模型计算用户当前的注视信息。

结合上述查表法、插值法及视线估计模型能够大大缩短视线估计的时间，提高估计效率。且若最终通过插值法或通过构建的视线估计模型的方式估计出用户当前的注视信息，则还将用户当前的眼球电容向量及估计出的当前的注视信息存储到眼球电容向量与注视信息之间的对应关系中。

在本发明实施例中，除刚构建出视线估计模型时需要对视线估计模型进行精度验证以外，每隔预设时间段还需对视线估计模型进行精度验证，以确保视线估计模型的精度能够满足精度要求，具体包括：

按照一定频率获取用户的人眼图像及眼球电容向量；根据获取的人眼图像和眼球电容向量，对视线估计模型进行精度验证；若验证视线估计模型不满足预设精度条件，则重新构建视线估计模型。

上述预设精度条件为通过视线估计模型估计的注视信息与通过图像处理方式估计的注视信息之间的偏差值小于或等于预设偏差值。每隔预设时间段通过摄像头对用户的眼睛进行拍摄得到用户的人眼图像，通过图像处理的方式获取人眼图像对应的注视信息。通过传感器矩阵获取用户的眼球电容向量，将该眼球电容向量代入视线估计模型，计算出该眼球电容向量对应的注视信息。计算通过该视线估计模型计算的注视信息与通过图像处理方式确定的注视信息之间的偏差值，若该偏差值小于或等于预设偏差值，则确定构建的该视线估计模型的精度符合要求。若该偏差值大于预设偏差值，则确定该视线估计模型的精度过低，通过步骤101-103的操作来重新构建新的视线估计模型。

为了进一步理解本发明实施例的视线估计过程，下面结合附图进行详细说明。如图2所示，S1：计算当前时间与上次获取人眼图像的时间之间的第一时间差。S2：判断第一时间差是否达到第一频率对应的时间间隔，如果是，则执行步骤S5，如果否，则返回步骤S1。S3：计算当前时间与上次获取眼球电容向量的时间之间的第二时间差。S4：判断第二时间差是否达到第二频率对应的时间间隔，如果是，则执行步骤S6，如果否，则返回步骤S3。S5：获取人眼图像，确定该人眼图像对应的注视信息，然后执行步骤S7。S6：获取用户的眼球电容向量。S7：根据注视信息和眼球电容向量，通过函数拟合方式、机器学习方式或存表方式构建视线估计模型。S8：判断构建的视线估计模型是否满足预设精度要求，如果是，则执行步骤S9，如果否，则返回S1重新构建视线估计模型。S9：通过传感器矩阵包括的多个电容传感器获取用户的眼球电容向量。S10：将该眼球电容向量代入视线估计模型，获得用户的注视信息。

在本发明实施例中，按照第一频率获取用户的人眼图像，确定人眼图像对应的注视信息；按照第二频率获取用户的眼球电容向量；根据眼球电容向量和注视信息，构建视线估计模型；通过视线估计模型对用户进行实时视线估计。本发明基于图像处理方式提供的注视信息，结合用户眼球转动产生的眼球电容向量，构建视线估计模型。在视线估计模型构建完成后，停止采用图像处理方式进行视线估计，而是采用视线估计模型进行实时的视线估计。实现从图像处理方式过渡到采用视线估计模型进行估计，大大提高视线估计速度，降低延时及资源占用率，提高眼动跟踪效率及准确性。

实施例2

参见图3，本发明实施例提供了一种视线估计装置，该装置用于执行上述实施例1所提供的视线估计方法，该装置具体包括：

获取模块20，用于按照第一频率获取用户的人眼图像，确定人眼图像对应的注视信息；按照第二频率获取用户的眼球电容向量；

构建模块21，用于根据眼球电容向量和注视信息，构建视线估计模型；

估计模块22，用于通过视线估计模型对用户进行实时视线估计。

上述构建模块21，用于根据多组满足获取时刻条件的眼球电容向量及注视信息，用函数拟合的方式获得眼球电容向量和注视信息之间的映射关系，从而得到视线估计模型；或者，用于根据多组满足获取时刻条件的眼球电容向量及注视信息，进行神经网络训练得到视线估计模型；或者，将多组满足获取时刻条件的眼球电容向量及注视信息存储在眼球电容向量与注视信息的对应关系中，将该对应关系确定为视线估计模型。

如图4所示，上述估计模块22包括：

获取单元220，用于获取用户当前的眼球电容向量；

计算单元221，用于根据当前的眼球电容向量，通过视线估计模型计算用户当前的注视信息。

如图4所示，上述获取模块20包括：

采集单元200，用于当检测到当前时间与上次获取时间之间的时间差达到第二频率对应的时间间隔时，读取传感器矩阵包括的多个电容传感器采集的电容值；

组成单元201，用于按照多个电容传感器在传感器矩阵中的排列顺序，将读取到的多个电容值组成眼球电容向量。

上述获取模块21可以通过如下方式来确定人眼图像对应的注视信息，包括：从人眼图像中提取眼动特征；根据眼动特征，确定所述人眼图像对应的注视信息。

上述眼动特征包括瞳孔中心的位置及人眼图像中的光斑。其中，人眼图像对应多个光源，光斑为光源在用户眼睛上的成像。具体地，上述获取模块21可以通过如下第一和第二种方式中的任一种方式来确定人眼图像对应的注视信息。

第一，从人眼图像中提取光斑；根据光斑的位置和人眼图像中的瞳孔中心的位置，确定人眼图像对应的注视信息。

第二，从人眼图像中提取光斑；确定光斑的位置及其对应的光源的位置；根据光斑的位置及光源的位置，确定人眼图像对应的注视信息。

在本发明实施例中，该装置还包括：

精度验证模块，用于获取用户的人眼图像及眼球电容向量；根据获取的人眼图像和眼球电容向量，对视线估计模型进行精度验证；若验证视线估计模型不满足预设精度条件，则重新构建视线估计模型。

查表模型，用于查看已存储的眼球电容向量与注视信息的对应关系中是否存在当前的眼球电容向量；如果是，则直接从对应关系中获取当前的眼球电容向量对应的注视信息；如果否，则通过估计模块22通过视线估计模型计算用户当前的注视信息。

插值模块，用于查看已存储的眼球电容向量与注视信息的对应关系中是否存在与当前的眼球电容向量之间的差值小于预设阈值的眼球电容向量；如果是，则根据与当前的眼球电容向量之间的差值小于预设阈值的眼球电容向量，通过插值方式获得当前的眼球电容向量对应的注视信息；如果否，则通过估计模块22通过视线估计模型计算用户当前的注视信息。

存储模块，用于将当前的眼球电容向量及用户当前的注视信息存储在眼球电容向量与注视信息的对应关系中。

在本发明实施例中，按照第一频率获取用户的人眼图像，确定人眼图像对应的注视信息；按照第二频率获取用户的眼球电容向量；根据眼球电容向量和注视信息，构建视线估计模型；通过视线估计模型对用户进行实时视线估计。本发明基于图像处理方式提供的注视信息，结合用户眼球转动产生的眼球电容向量，构建视线估计模型。在视线估计模型构建完成后，停止采用图像处理方式进行视线估计，而是采用视线估计模型进行实时的视线估计。实现从图像处理方式过渡到采用视线估计模型进行估计，大大提高视线估计速度，降低延时及资源占用率，提高眼动跟踪效率及准确性。

本发明实施例所提供的视线估计装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的系统、装置和单元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。

在本发明所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (13)

1.一种视线估计方法，其特征在于，所述方法包括：

按照第一频率获取用户的人眼图像，确定所述人眼图像对应的注视信息；

按照第二频率获取所述用户的眼球电容向量；

根据所述眼球电容向量和所述注视信息，构建视线估计模型；

通过所述视线估计模型对所述用户进行实时视线估计。

2.根据权利要求1所述的方法，其特征在于，所述根据所述眼球电容向量和所述注视信息，构建视线估计模型，包括：

根据多组满足获取时刻条件的所述眼球电容向量及所述注视信息，用函数拟合的方式获得眼球电容向量和注视信息之间的映射关系，从而得到视线估计模型；或者，

根据多组满足获取时刻条件的所述眼球电容向量及所述注视信息，进行神经网络训练得到视线估计模型；或者，

将多组满足获取时刻条件的所述眼球电容向量及所述注视信息存储在眼球电容向量与注视信息的对应关系中，将所述对应关系确定为视线估计模型。

3.根据权利要求1所述的方法，其特征在于，所述通过所述视线估计模型对所述用户进行实时视线估计，包括：

获取所述用户当前的眼球电容向量；

根据所述当前的眼球电容向量，通过所述视线估计模型计算所述用户当前的注视信息。

4.根据权利要求1所述的方法，其特征在于，所述按照第二频率获取所述用户的眼球电容向量，包括：

当检测到当前时间与上次获取时间之间的时间差达到所述第二频率对应的时间间隔时，读取传感器矩阵包括的多个电容传感器采集的电容值；

按照所述多个电容传感器在所述传感器矩阵中的排列顺序，将读取到的多个所述电容值组成眼球电容向量。

5.根据权利要求1所述的方法，其特征在于，所述确定所述人眼图像对应的注视信息，包括：

从所述人眼图像中提取眼动特征；

根据所述眼动特征，确定所述人眼图像对应的注视信息。

6.根据权利要求1所述的方法，其特征在于，所述根据所述眼球电容向量和所述注视信息，构建视线估计模型之后，还包括：

获取用户的人眼图像及眼球电容向量；

根据获取的所述人眼图像和所述眼球电容向量，对所述视线估计模型进行精度验证；

若验证所述视线估计模型不满足预设精度条件，则重新构建所述视线估计模型。

7.根据权利要求3所述的方法，其特征在于，所述根据所述当前的眼球电容向量，通过所述视线估计模型计算所述用户当前的注视信息之前，还包括：

查看已存储的眼球电容向量与注视信息的对应关系中是否存在所述当前的眼球电容向量；

如果是，则直接从所述对应关系中获取所述当前的眼球电容向量对应的注视信息；

如果否，则执行根据所述当前的眼球电容向量，通过所述视线估计模型计算所述用户当前的注视信息。

8.根据权利要求3所述的方法，其特征在于，所述根据所述当前的眼球电容向量，通过所述视线估计模型计算所述用户当前的注视信息之前，还包括：

查看已存储的眼球电容向量与注视信息的对应关系中是否存在与所述当前的眼球电容向量之间的差值小于预设阈值的眼球电容向量；

如果是，则根据与所述当前的眼球电容向量之间的差值小于预设阈值的眼球电容向量，通过插值方式获得所述当前的眼球电容向量对应的注视信息；

如果否，则执行根据所述当前的眼球电容向量，通过所述视线估计模型计算所述用户当前的注视信息。

9.根据权利要求7或8所述的方法，其特征在于，所述根据所述当前的眼球电容向量，通过所述视线估计模型计算所述用户当前的注视信息之后，还包括：

将所述当前的眼球电容向量及所述用户当前的注视信息存储在所述眼球电容向量与注视信息的对应关系中。

10.一种视线估计装置，其特征在于，所述装置包括：

获取模块，用于按照第一频率获取用户的人眼图像，确定所述人眼图像对应的注视信息；按照第二频率获取所述用户的眼球电容向量；

构建模块，用于根据所述眼球电容向量和所述注视信息，构建视线估计模型；

估计模块，用于通过所述视线估计模型对所述用户进行实时视线估计。

11.根据权利要求10所述的装置，其特征在于，所述构建模块，用于根据多组满足获取时刻条件的所述眼球电容向量及所述注视信息，用函数拟合的方式获得眼球电容向量和注视信息之间的映射关系，从而得到视线估计模型；或者，用于根据多组满足获取时刻条件的所述眼球电容向量及所述注视信息，进行神经网络训练得到视线估计模型；或者，将多组满足获取时刻条件的所述眼球电容向量及所述注视信息存储在眼球电容向量与注视信息的对应关系中，将所述对应关系确定为视线估计模型。

12.根据权利要求10所述的装置，其特征在于，所述估计模块包括：

获取单元，用于获取所述用户当前的眼球电容向量；

计算单元，用于根据所述当前的眼球电容向量，通过所述视线估计模型计算所述用户当前的注视信息。

13.根据权利要求10所述的装置，其特征在于，所述获取模块包括：

采集单元，用于当检测到当前时间与上次获取时间之间的时间差达到所述第二频率对应的时间间隔时，读取传感器矩阵包括的多个电容传感器采集的电容值；

组成单元，用于按照所述多个电容传感器在所述传感器矩阵中的排列顺序，将读取到的多个所述电容值组成眼球电容向量。