CN113342157B - 眼球追踪处理方法及相关装置 - Google Patents

Abstract

本申请实施例公开了一种眼球追踪处理方法及相关装置，应用于电子设备，包括：在眼球追踪校准过程中，通过所述眼球追踪组件获取第一人脸图像集合；识别所述第一人脸图像集合包括的M张人脸图像的人眼区域，其中，所述M张人脸图像为在预设时长内连续拍摄到的人脸图像，M为正整数；根据所述M张人脸图像的人眼区域，对所述第一人脸图像集合中的M张人脸图像进行多帧融合，得到包括超像素人脸图像的第二人脸图像集合，其中，所述第二人脸图像集合包括N张人脸图像，N小于M；根据所述第二人脸图像集合得到眼球追踪计算方程，所述计算方程用于在眼球追踪过程中计算用户的注视点。本申请实施例有利于提高眼球追踪的准确度。

Description

眼球追踪处理方法及相关装置

技术领域

本申请涉及移动终端技术领域，具体涉及一种眼球追踪处理方法及相关装置。

背景技术

随着智能手机等移动终端的大量普及应用，智能手机能够支持的应用越来越多，功能越来越强大，智能手机向着多样化、个性化的方向发展，成为用户生活中不可缺少的电子用品。对于具有眼球追踪功能的智能手机，在进行眼球追踪校准点时，由于环境光线、头部姿态的变化、手机姿态的轻微抖动等因素都会影响智能手机对用户眼球注视点的判断，因此眼球追踪校准过程的效率和准确度较低。

发明内容

本申请实施例提供了一种眼球追踪处理方法及相关装置，有利于提高眼球追踪的准确度。

第一方面，本申请实施例提供一种眼球追踪处理方法，其特征在于，应用于电子设备，所述电子设备包括眼球追踪组件；所述方法包括：

在眼球追踪校准过程中，通过所述眼球追踪组件获取第一人脸图像集合；

识别所述第一人脸图像集合包括的M张人脸图像的人眼区域，其中，所述M张人脸图像为在预设时长内连续拍摄到的人脸图像，M为正整数；

根据所述M张人脸图像的人眼区域，对所述第一人脸图像集合中的M张人脸图像进行多帧融合，得到包括超像素人脸图像的第二人脸图像集合，其中，所述第二人脸图像集合包括N张人脸图像，N小于M；

根据所述第二人脸图像集合得到眼球追踪计算方程，所述计算方程用于在眼球追踪过程中计算用户的注视点。

第二方面，本申请实施例提供一种眼球追踪处理装置，应用于电子设备，所述电子设备包括眼球追踪组件；所述眼球追踪处理装置包括处理单元和通信单元，其中，

所述处理单元，用于在眼球追踪校准过程中，通过所述眼球追踪组件获取第一人脸图像集合；以及用于识别所述第一人脸图像集合包括的M张人脸图像的人眼区域，其中，所述M张人脸图像为在预设时长内连续拍摄到的人脸图像，M为正整数；以及用于根据所述M张人脸图像的人眼区域，对所述第一人脸图像集合中的M张人脸图像进行多帧融合，得到包括超像素人脸图像的第二人脸图像集合，其中，所述第二人脸图像集合包括N张人脸图像，N小于M；以及用于根据所述第二人脸图像集合得到眼球追踪计算方程，所述计算方程用于在眼球追踪过程中计算用户的注视点。

第三方面，本申请实施例提供一种电子设备，包括控制器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述控制器执行，上述程序包括用于执行本申请实施例第一方面任一方法中的步骤的指令。

第四方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。

第五方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。

可以看出，本申请实施例中，电子设备首先在眼球追踪校准过程中，通过所述眼球追踪组件获取第一人脸图像集合，其次，识别所述第一人脸图像集合包括的M张人脸图像的人眼区域，其中，所述M张人脸图像为在预设时长内连续拍摄到的人脸图像，M为正整数，然后，根据所述M张人脸图像的人眼区域，对所述第一人脸图像集合中的M张人脸图像进行多帧融合，得到包括超像素人脸图像的第二人脸图像集合，其中，所述第二人脸图像集合包括N张人脸图像，N小于M，最后，根据所述第二人脸图像集合得到眼球追踪计算方程，所述计算方程用于在眼球追踪过程中计算用户的注视点。由于电子设备在校准过程中，获取了包括超像素人脸图像的第二人脸图像集合，提高了人脸图像中人眼区域的分辨率，有助于增加人眼辨识度，从而提高眼球追踪校准的效率和准确度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种电子设备的结构示意图；

图2A是本申请实施例提供的一种眼球追踪处理方法的流程示意图；

图2B是本申请实施例提供的一种参考用户视线向量的示意图；

图2C是本申请实施例提供的一种人脸图像的示意图；

图2D是本申请实施例提供的另一种人脸图像的示意图；

图3是本申请实施例提供的另一种眼球追踪处理方法的流程示意图；

图4是本申请实施例提供的一种电子设备的结构示意图；

图5是本申请实施例提供的一种眼球追踪处理装置的功能单元组成框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备(例如智能手表、智能手环、计步器等)、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(User Equipment，UE)，移动台(Mobile Station，MS)，终端设备(terminal device)等等。为方便描述，上面提到的设备统称为电子设备。

下面对本申请实施例进行详细介绍。

请参阅图1，图1是本申请实施例提供的一种电子设备100的结构示意图，所述电子设备100包括：壳体110、设置于所述壳体110内的电路板120、设置于所述壳体110上的眼球追踪组件130，所述电路板120上设置有处理器121和存储器122，存储器122与所述处理器121连接，所述处理器121连接所述触控显示屏眼球追踪组件；其中，

所述眼球追踪组件130，用于获取第一人脸图像集合；

所述存储器122，用于存储人脸图像；

所述处理器121，用于在眼球追踪校准过程中，通过所述眼球追踪组件获取第一人脸图像集合；以及用于识别所述第一人脸图像集合包括的M张人脸图像的人眼区域，其中，所述M张人脸图像为在预设时长内连续拍摄到的人脸图像，M为正整数；以及用于根据所述M张人脸图像的人眼区域，对所述第一人脸图像集合中的M张人脸图像进行多帧融合，得到包括超像素人脸图像的第二人脸图像集合，其中，所述第二人脸图像集合包括N张人脸图像，N小于M；以及用于根据所述第二人脸图像集合得到眼球追踪计算方程，所述计算方程用于在眼球追踪过程中计算用户的注视点。

其中，眼球追踪主要是研究眼球运动信息的获取、建模和模拟，当人的眼睛看向不同的方向时，眼部会有细微的变化，眼球追踪组件可以获取到这种变化相关的特征信息，如通过图像捕捉或扫描来提取这些变化特征，通过实时追踪眼睛的变化，可以预测用户的状态和需求，并进行响应，达到通过眼睛来控制设备的目的。眼球追踪组件主要包括红外设备(如红外传感器)和图像采集设备(如摄像头)。当用户需要使用电子设备的眼球追踪功能时，需要先打开眼球追踪功能，即此时眼球追踪组件处于可用状态，打开眼球追踪功能后，可先引导用户对眼球追踪功能进行校正，校正过程中收集用户眼球的几何特征和运动特征后可计算出用户在屏幕上的注视点位置，进而确定用户的注视点位置是否为引导用户去注视的位置，从而完成校正过程。

可以看出，本申请实施例中，电子设备首先在眼球追踪校准过程中，通过所述眼球追踪组件获取第一人脸图像集合，其次，识别所述第一人脸图像集合包括的M张人脸图像的人眼区域，其中，所述M张人脸图像为在预设时长内连续拍摄到的人脸图像，M为正整数，然后，根据所述M张人脸图像的人眼区域，对所述第一人脸图像集合中的M张人脸图像进行多帧融合，得到包括超像素人脸图像的第二人脸图像集合，其中，所述第二人脸图像集合包括N张人脸图像，N小于M，最后，根据所述第二人脸图像集合得到眼球追踪计算方程，所述计算方程用于在眼球追踪过程中计算用户的注视点。由于电子设备在校准过程中，获取了包括超像素人脸图像的第二人脸图像集合，根据第二人脸图像集合可以更准确迅速的获取到眼球追踪计算方程，从而提高眼球追踪校准的效率和准确度。

请参阅图2A，图2A是本申请实施例提供了一种眼球追踪处理方法的流程示意图，应用于电子设备，所述电子设备包括眼球追踪组件。如图所示，本眼球追踪处理方法包括：

S201，所述电子设备在眼球追踪校准过程中，通过所述眼球追踪组件获取第一人脸图像集合。

其中，具有眼球追踪功能的电子设备一般采用了硬件红外灯(InfraredRadiation，IR)相机和RGB相机，本申请中的眼球追踪组件包括IR相机等计算硬件。在眼球追踪过程中，眼球追踪组件发出红外光照射到用户的眼睛上，在眼球上形成反光点，可以通过反光点和眼球瞳孔中心的位置关系，推导出人眼视线注释方向，进而计算出人眼注释位置。在眼球追踪技术前期的图像处理阶段，通过多针融合技术，可以提高人脸图像中人眼区域的分辨率，从而有助于增加人眼的辨识度，大大降低人眼瞳孔中心、人眼反光点和人眼区域的确定或提取。

其中，现在大部分方案是通过采样来解决人脸图像中人眼分辨率不足的问题，例如使用上采样法，上采样法方式包括双线性插值、均值插值、中值插值、三次内插法，但是上采样方式无法处理噪点，精确度不高，此外，现有的多帧融常见的方式有像素加权平均、转换域中的融合、对象级融合，以固定全图区域合成，无法准确的对人眼区域做动态的适配，并且无法对指定区域精准高效合成，本申请中的眼球追踪处理方法，由眼球追踪组件获取用户的人脸图像，然后对人脸图像中的人眼进行全局动态检测，在全局动态检测中，通过光流法计算出全图的运动矢量，然后再根据人脸图像中的人眼区域进行多针合成，对合成之后的图像检测人眼特征点，作为眼球追踪计算方程的输入。通过加入超像素人脸图像，提高了眼球追踪的准确性，在保证实时性的基础上增强了眼球追踪的鲁棒性。

其中，在眼球追踪校准过程中，通过眼球追踪组件可以获取包括M张人脸图像的第一人脸图像集合，通过第一人脸图像集合中的M张人脸图像，获取用户的眼球追踪过程中的人眼状态信息。

S202，所述电子设备识别所述第一人脸图像集合包括的M张人脸图像的人眼区域，其中，所述M张人脸图像为在预设时长内连续拍摄到的人脸图像，M为正整数。

其中，人眼区域可以理解为包括人眼图像的区域，由于M张人脸图像为在预设时长内连续拍摄到的人脸图像，因此，可以通过比较相邻两张人脸图像的人眼区域，确定用户的眼部动态。

S203，所述电子设备根据所述M张人脸图像的人眼区域，对所述第一人脸图像集合中的M张人脸图像进行多帧融合，得到包括超像素人脸图像的第二人脸图像集合，其中，所述第二人脸图像集合包括N张人脸图像，N小于M。

其中，根据M张人脸图像的人眼区域，对第一人脸图像集合中的M张人脸图像进行多帧融合，即从M张人脸图像中选取多张人脸图像并将这多张人脸图像合成为一张人脸图像，该合成的人脸图像为超像素人脸图像，超像素人脸图像的像素高于这多张人脸图像，第二人脸图像集合包括超像素人脸图像，且图像数量N小于M。

S204，所述电子设备根据所述第二人脸图像集合得到眼球追踪计算方程，所述计算方程用于在眼球追踪过程中计算用户的注视点。

其中，第二人脸图像集合中的人脸图像作为计算方程的训练集，得到计算方程，通过计算方程可以在眼球追踪过程中得到用户的注视点。

可以看出，本申请实施例中，电子设备首先在眼球追踪校准过程中，通过所述眼球追踪组件获取第一人脸图像集合，其次，识别所述第一人脸图像集合包括的M张人脸图像的人眼区域，其中，所述M张人脸图像为在预设时长内连续拍摄到的人脸图像，M为正整数，然后，根据所述M张人脸图像的人眼区域，对所述第一人脸图像集合中的M张人脸图像进行多帧融合，得到包括超像素人脸图像的第二人脸图像集合，其中，所述第二人脸图像集合包括N张人脸图像，N小于M，最后，根据所述第二人脸图像集合得到眼球追踪计算方程，所述计算方程用于在眼球追踪过程中计算用户的注视点。由于电子设备在校准过程中，获取了包括超像素人脸图像的第二人脸图像集合，根据第二人脸图像集合可以更准确迅速的获取到眼球追踪计算方程，从而提高眼球追踪校准的效率和准确度。

在一个可能的示例中，所述根据所述M张人脸图像的人眼区域，对所述第一人脸图像集合中的M张人脸图像进行多帧融合，得到包括超像素人脸图像的第二人脸图像集合，包括：选取所述M张人脸图像中相邻时刻拍摄的两张人脸图像；计算所述两张人脸图像的人眼区域差值；在检测到所述差值小于第一预设阈值时，将所述两张人脸图像合成为一张人脸图像，得到超像素人脸图像；在所述第一人脸图像集合中删除所述两张人脸图像，添加所述超像素人脸图像，得到所述第二人脸图像集合。

其中，在对第一人脸图像集合中的M张人脸图像进行多帧融合时，可以从中选取相邻时刻拍摄的两张人脸图像，计算这两张人脸图像的人眼区域差值，在检测到差值小于第一预设阈值时，说明这两张人脸图像相似度较高，因此可以将这两张人脸图像合成为一张人脸图像，以得到像素更高的超像素人脸图像，此时，在第一人脸图像集合中删除这两张人脸图像，并添加该超像素人脸图像可得到第二人脸图像集合，若检测到差值大于第一预设阈值时，这则说明这两张人脸图像相似度较低，因此，不需要进行合成。

可见，本示例中，通过计算第一人脸图像集合中的M张人脸图像中的任意两张相邻时刻拍摄的人脸图像得人眼区域差值，可确定该相邻时刻拍摄的两张人脸图像的相似度，根据相似度确定是否需要对两张人脸图像进行合成，若相似度高则表明需要进行合成，若相似度低则表明不需要合成，从而，可以得到像素更高的超像素人脸图像。

在一个可能的示例中，所述人眼区域为将所述M张人脸图像重合后，在同一位置截取的包含人眼图像的区域；所述计算所述两张人脸图像的人眼区域差值，包括：通过预设算法计算所述两张人脸图像的人眼区域的用户视线向量；计算所述用户视线向量差值，得到所述人眼区域差值。

其中，人眼区域为将M张人脸图像重合后，在同一位置截取的包括人眼图像的区域，在两张人脸图像的人眼区域差值时，可通过预设算法计算两张人脸图像的人眼区域的用户视线向量，计算用户视线向量差值，从而得到人眼区域差值。

可见，本示例中，通过预设算法可以计算出两张人脸图像中的人眼区域对应的用户视线向量，从而通过计算用户视线向量之间的差值得到两张人脸图像的人眼区域的差值，进而，可以根据该差值确定两张人脸图像的相似度。

在一个可能的示例中，所述方法还包括：确定所述第二人脸图像集合中的超像素人脸图像数目；在检测到所述数目大于第二预设阈值时，检测是否存在拍摄时刻相邻的两张超像素人脸图像；若是，根据所述两张超像素人脸图像的人眼区域差值，确定是否合成所述两张超像素人脸图像。

其中，可确定第二人脸图像集合中的超像素人脸图像的数目，在检测到数目大于第二预设阈值时，可进一步检测是否存在拍摄时刻相邻的两张超像素人脸图像，若存在，可进一步计算这两张超像素人脸图像的人眼区域差值，从而确定是否需要合成这两张超像素人脸图像。

可见，本示例中，在检测到第二人脸图像集合中的超像素人脸图像数目较多时，可进一步对超像素人脸图像再次进行合成，从而得到像素更高的，更利于对眼球追踪进行计算的超像素人脸图像。

在一个可能的示例中，所述根据所述第二人脸图像集合得到眼球追踪计算方程，包括：根据所述第二人脸图像集合中的N张人脸图像，计算参考用户视线向量和头部姿态向量；根据所述头部姿态向量和人脸图像关联的校准点，将所述参考用户视线向量转换为标准用户视线向量，所述标准用户视线向量用于指示用户头部正对所述电子设备的显示屏时的视线方向；根据所述标准用户视线向量和所述校准点的坐标得到第一参数组，并将所述第一参数组添加的训练集，以通过所述训练集对初始计算方程进行训练，得到训练后的计算方程，其中，所述训练集包括除所述校准点之外的多个校准点的坐标以及关联的标准用户视线向量组成的参数组。

其中，在校准过程中，电子设备通过显示屏输出多个校准点，通过追踪检测用户的视线视线，完成对眼球追踪组件的校准。根据第二人脸图像集合中的N张人脸图像都关联有一个校准点，确定用户双眼的显示区域和瞳孔的红外反射斑点，参考用户视线向量为根据用户双眼的显示面积计算得到，头部姿态向量为根据双眼瞳孔的红外反射斑点计算得到。用户在注释校准点时，头部姿态的不同，也会导致校准过程产生一定的误差，因此，可以把此时获取到的参考用户视线向量转换为标准用户视线向量，标准用户视线向量为用户头部正对眼球追踪组件的获取到的用户视线向量，当用户头部正对眼球追踪组件时，获取到的人脸图像是完整端正的用户人脸正面，且人脸图像的人脸中心同时也是图像的中心，即得到的人脸图像是所能获取到的人脸图像中最标准的人脸图像，根据已知的迭代方程和头部补偿函数，可以将参考用户视线向量准换为标准用户视线向量。

其中，现有的技术方法，由于环境光线、头部姿态的变化、头部的远近、手机姿态的轻微抖动变化都会影响眼球注视点的判断，眼球追踪校准的时候容易受到这些因素的干扰。本申请中通过眼球追踪组件获取人脸图像，在推导出人眼注视的方向，使用拟合方程可以计算出人眼注释位置，在眼球追踪技术校准阶段，需要用户注释屏显示屏上有特定规律的点的同时，采集人脸图像，用人脸图像数据输入方程式进行拟合，在校准阶段，提高传输器输出效率，从而提高数据输入速度，较快校准速度。

其中，训练集中有多个校准点关联的参数组，每个参数组中的校准点的横坐标值可以作为第一输出，校准点的纵坐标可以作为第二输出，然后将每个参数组中的标准视线向量拆分为第一视线向量和第二视线向量，第一视线向量绝对值和第二视线向量绝对值作为输入，输入到校准模型，已知校准模型的多组输入和对应的多组输出，对校准模型进行训练，得到的和第一输出对应的第一校准常数，和第二输出对应的第二校准常数，从而，得到了训练后的校准模型。

举例说明，已知校准模型为：

X＝a0+a1*Vx+a2*Vy+a3*Vx*Vy

Y＝b0+b1*Vx+b2*Vy+b3*Vy*Vy

其中，X标识校准点的横坐标值，Y标识校准点的纵坐标值，Vx表示第一视线向量绝对值，Vy标识第二视线向量绝对值，在训练集中，每个参数组刚好由X、Y、Vx、Vy组成，因此，通过训练集中的多个参数组对校准模型进行训练，得到第一校准常数(a0，a1，a2，a3)，第二校准常数(b0，b1，b3，b4)。

其中，校准的过程是为了得到训练后的校准模型，即得到训练后的模型中的参数方程，从而在初始校准模型的基础上需要计算或更新得到第一校准常数和第二校准常数，从而，在完成眼球追踪校准之后，只需要在用户注释显示屏时，获取用户的标识用户视线向量，即可计算出用户针对显示屏的注视点。

可见，本示例中，每张人脸图像对应一个校准点，通过校准点坐标以及每张人脸图像对应的标准用户视线向量，可得到计算方程，从而可在后续眼球追踪过程中，根据用户视线向量计算得到用户针对显示屏到注视点。

在一个可能的示例中，所述计算参考用户视线向量，包括：获取所述N张人脸图像的左眼球对应的左眼红外反射斑点坐标，以及右眼球对应的右眼红外反射斑点坐标；根据所述左眼红外反射斑点坐标和左眼球瞳孔中心坐标计算得到左眼视线向量，以及根据所述右眼红外反射斑点坐标和右眼球瞳孔中心坐标计算得到右眼视线向量；根据所述左眼视线向量和所述右眼视线向量，确定所述参考用户视线向量。

其中，在获取到校准点对应的人脸图像后，首先获取人脸图像中左眼球的红外反射斑点的坐标，以及右眼球的红外反射斑点左边，根据左眼球的红外反射斑点坐标和左眼球瞳孔中心坐标，可以计算到左眼视线向量，同时，根据右眼球的红外反射斑点坐标和右眼球瞳孔中心坐标，可以计算得到右眼视线向量，根据左眼视线向量和右眼视线向量，可以确定参考用户视线向量。如图2B所示，为本申请实施例提供的一种参考用户视线向量的参考示例图，图中截取了人脸图像中仅包括双眼部分的图像，左眼通孔坐标为p1，左眼的红外反射斑点坐标为g1，右眼通孔坐标为p2，右眼的红外反射斑点坐标为g2，因此计算可计算得到左眼视线向量Vi＝p1-g1，右眼视线向量Vi＝p2-g2。

其中，一般情况下，左眼和右眼的视线是同步的，比如，用户双眼同时看向右方，或者同时看向左方，因此，可以从左眼视线向量和右眼视线向量中选取一个向量作为参考用户视线向量，或者，考虑到可能存在误差，可以根据通过左眼视线向量和右眼视线向量合成参考用户视线向量。

可见，本示例中，由于眼球追踪组件发出的红外光照射到人眼后会形成红外反射斑点，因此，可以获取到的人脸图像中左眼的红外反射斑点的坐标，右眼的红外反射斑点坐标，结合左眼瞳孔中心坐标和右眼瞳孔中心坐标，分别计算出左眼视线向量和右眼视线向量，从而可以确定出参考用户视线向量，该参考用户视线向量可以用于指示用户注释校准点时的人眼实现，从而有利于得到校准数据。

在一个可能的示例中，所述计算头部姿态向量，包括：确定所述N张人脸图像的左眼面积和右眼面积；计算所述左眼面积和所述右眼面积的差值，并根据所述差值查找预设的双眼面积差值和头部姿态向量的映射关系，确定所述差值对应的头部姿态向量。

其中，当用户头部向左偏移时，得到的人脸图像中左眼的面积一般小于右眼面积，当用户头部向右偏移时，得到的人脸图像中左眼的面积一般大于右眼面积，如图2C和图2D所示，均为本申请实施例提供的一种人脸图像的参考示例图，可见，图2C中为用户人脸向右偏转的情况，因此，左眼面积S1大于右眼面积S2，此时左眼面积和右眼面积的差值S1-S2为正数，图2D中为用户人脸向左偏转的情况，因此，左眼面积S3小于右眼面积S4，此时左眼面积和右眼面积的差值S3-S4为负数。因此，可以先提取出人脸图像中的左眼图像和右眼图像，再计算左眼图像和右眼图像的面积，根据面积差值确定可以用于表示用户头部偏转方向的头部姿态向量。如果面积差值大于零，表明人脸朝右，如果面积差值小于零，表明人脸朝左。

其中，电子设备中预设有用户双眼面积差值和头部姿态向量的映射关系，从而，可以根据当前计算到的双眼面积差值，快速确定头部姿态向量，本申请中主要考虑用户头部向左和向右的情况。

可见，本示例中，通过计算人脸图像中左眼面积和右眼面积的差值，可以确定用户在注释校准点时的头部姿态向量，通过头部姿态向量可以确定用户注释第一参考点时的头部姿态，头部姿态会对校准过程产生一定的影响，因此，计算出头部姿态向量后利于提高校准的准确性。

与所述图2A所示的实施例一致的，请参阅图3，图3是本申请实施例提供的一种眼球追踪处理方法的流程示意图，应用于电子设备，所述电子设备包括眼球追踪组件。如图所示，本眼球追踪处理方法包括：

S301，所述电子设备在眼球追踪校准过程中，通过所述眼球追踪组件获取第一人脸图像集合。

S302，所述电子设备识别所述第一人脸图像集合包括的M张人脸图像的人眼区域，其中，所述M张人脸图像为在预设时长内连续拍摄到的人脸图像，M为正整数。

S303，所述电子设备选取所述M张人脸图像中相邻时刻拍摄的两张人脸图像。

S304，所述电子设备计算所述两张人脸图像的人眼区域差值。

S305，所述电子设备在检测到所述差值小于第一预设阈值时，将所述两张人脸图像合成为一张人脸图像，得到超像素人脸图像。

S306，所述电子设备在所述第一人脸图像集合中删除所述两张人脸图像，添加所述超像素人脸图像，得到所述第二人脸图像集合。

S307，所述电子设备根据所述第二人脸图像集合得到眼球追踪计算方程，所述计算方程用于在眼球追踪过程中计算用户的注视点。

可以看出，本申请实施例中，电子设备首先在眼球追踪校准过程中，通过所述眼球追踪组件获取第一人脸图像集合，其次，识别所述第一人脸图像集合包括的M张人脸图像的人眼区域，其中，所述M张人脸图像为在预设时长内连续拍摄到的人脸图像，M为正整数，然后，根据所述M张人脸图像的人眼区域，对所述第一人脸图像集合中的M张人脸图像进行多帧融合，得到包括超像素人脸图像的第二人脸图像集合，其中，所述第二人脸图像集合包括N张人脸图像，N小于M，最后，根据所述第二人脸图像集合得到眼球追踪计算方程，所述计算方程用于在眼球追踪过程中计算用户的注视点。由于电子设备在校准过程中，获取了包括超像素人脸图像的第二人脸图像集合，根据第二人脸图像集合可以更准确迅速的获取到眼球追踪计算方程，从而提高眼球追踪校准的效率和准确度。

此外，通过计算第一人脸图像集合中的M张人脸图像中的任意两张相邻时刻拍摄的人脸图像得人眼区域差值，可确定该相邻时刻拍摄的两张人脸图像的相似度，根据相似度确定是否需要对两张人脸图像进行合成，若相似度高则表明需要进行合成，若相似度低则表明不需要合成，从而，可以得到像素更高的超像素人脸图像。

与所述图2A、图3所示的实施例一致的，请参阅图4，图4是本申请实施例提供的一种电子设备400的结构示意图，该电子设备400运行有一个或多个应用程序和操作系统，如图所示，该电子设备400包括处理器410、存储器420、通信接口430以及一个或多个程序421，其中，所述一个或多个程序421被存储在所述存储器420中，并且被配置由所述处理器410执行，所述一个或多个程序421包括用于执行以下步骤的指令；

在眼球追踪校准过程中，通过所述眼球追踪组件获取第一人脸图像集合；

识别所述第一人脸图像集合包括的M张人脸图像的人眼区域，其中，所述M张人脸图像为在预设时长内连续拍摄到的人脸图像，M为正整数；

根据所述M张人脸图像的人眼区域，对所述第一人脸图像集合中的M张人脸图像进行多帧融合，得到包括超像素人脸图像的第二人脸图像集合，其中，所述第二人脸图像集合包括N张人脸图像，N小于M；

根据所述第二人脸图像集合得到眼球追踪计算方程，所述计算方程用于在眼球追踪过程中计算用户的注视点。

可以看出，本申请实施例中，电子设备首先在眼球追踪校准过程中，通过所述眼球追踪组件获取第一人脸图像集合，其次，识别所述第一人脸图像集合包括的M张人脸图像的人眼区域，其中，所述M张人脸图像为在预设时长内连续拍摄到的人脸图像，M为正整数，然后，根据所述M张人脸图像的人眼区域，对所述第一人脸图像集合中的M张人脸图像进行多帧融合，得到包括超像素人脸图像的第二人脸图像集合，其中，所述第二人脸图像集合包括N张人脸图像，N小于M，最后，根据所述第二人脸图像集合得到眼球追踪计算方程，所述计算方程用于在眼球追踪过程中计算用户的注视点。由于电子设备在校准过程中，获取了包括超像素人脸图像的第二人脸图像集合，根据第二人脸图像集合可以更准确迅速的获取到眼球追踪计算方程，从而提高眼球追踪校准的效率和准确度。

在一个可能的示例中，在所述根据所述M张人脸图像的人眼区域，对所述第一人脸图像集合中的M张人脸图像进行多帧融合，得到包括超像素人脸图像的第二人脸图像集合方面，所述程序中的指令具体用于执行以下操作：选取所述M张人脸图像中相邻时刻拍摄的两张人脸图像；计算所述两张人脸图像的人眼区域差值；在检测到所述差值小于第一预设阈值时，将所述两张人脸图像合成为一张人脸图像，得到超像素人脸图像；在所述第一人脸图像集合中删除所述两张人脸图像，添加所述超像素人脸图像，得到所述第二人脸图像集合。

在一个可能的示例中，所述人眼区域为将所述M张人脸图像重合后，在同一位置截取的包含人眼图像的区域；在所述计算所述两张人脸图像的人眼区域差值方面，所述程序中的指令具体用于执行以下操作：通过预设算法计算所述两张人脸图像的人眼区域的用户视线向量；计算所述用户视线向量差值，得到所述人眼区域差值。

在一个可能的示例中，所述程序中的指令具体用于执行以下操作：确定所述第二人脸图像集合中的超像素人脸图像数目；在检测到所述数目大于第二预设阈值时，检测是否存在拍摄时刻相邻的两张超像素人脸图像；若是，根据所述两张超像素人脸图像的人眼区域差值，确定是否合成所述两张超像素人脸图像。

在一个可能的示例中，在所述根据所述第二人脸图像集合得到眼球追踪计算方程方面，所述程序中的指令具体用于执行以下操作：根据所述第二人脸图像集合中的N张人脸图像，计算参考用户视线向量和头部姿态向量；根据所述头部姿态向量和输出的第一校准点，将所述参考用户视线向量转换为标准用户视线向量，所述标准用户视线向量用于指示用户头部正对所述电子设备的显示屏时的视线方向；根据所述标准用户视线向量和所述第一校准点的坐标得到第一参数组，并将所述第一参数组添加的训练集，以通过所述训练集对初始计算方程进行训练，得到训练后的计算方程，其中，所述训练集包括除所述第一校准点之外的多个校准点的坐标以及关联的标准用户视线向量组成的参数组。

在一个可能的示例中，在所述计算参考用户视线向量方面，所述程序中的指令具体用于执行以下操作：获取所述N张人脸图像的左眼球对应的左眼红外反射斑点坐标，以及右眼球对应的右眼红外反射斑点坐标；根据所述左眼红外反射斑点坐标和左眼球瞳孔中心坐标计算得到左眼视线向量，以及根据所述右眼红外反射斑点坐标和右眼球瞳孔中心坐标计算得到右眼视线向量；根据所述左眼视线向量和所述右眼视线向量，确定所述参考用户视线向量。

在一个可能的示例中，在所述计算头部姿态向量，方面，所述程序中的指令具体用于执行以下操作：确定所述N张人脸图像的左眼面积和右眼面积；计算所述左眼面积和所述右眼面积的差值，并根据所述差值查找预设的双眼面积差值和头部姿态向量的映射关系，确定所述差值对应的头部姿态向量。

上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个控制单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

图5是本申请实施例中所涉及的装置500的功能单元组成框图。该眼球追踪处理装置500应用于电子设备，眼球追踪处理装置500包括处理单元501和通信单元502，其中：

所述处理单元501，用于在眼球追踪校准过程中，通过所述眼球追踪组件获取第一人脸图像集合；以及用于识别所述第一人脸图像集合包括的M张人脸图像的人眼区域，其中，所述M张人脸图像为在预设时长内连续拍摄到的人脸图像，M为正整数；以及用于根据所述M张人脸图像的人眼区域，对所述第一人脸图像集合中的M张人脸图像进行多帧融合，得到包括超像素人脸图像的第二人脸图像集合，其中，所述第二人脸图像集合包括N张人脸图像，N小于M；以及用于根据所述第二人脸图像集合得到眼球追踪计算方程，所述计算方程用于在眼球追踪过程中计算用户的注视点。

可以看出，本申请实施例中，电子设备首先在眼球追踪校准过程中，通过所述眼球追踪组件获取第一人脸图像集合，其次，识别所述第一人脸图像集合包括的M张人脸图像的人眼区域，其中，所述M张人脸图像为在预设时长内连续拍摄到的人脸图像，M为正整数，然后，根据所述M张人脸图像的人眼区域，对所述第一人脸图像集合中的M张人脸图像进行多帧融合，得到包括超像素人脸图像的第二人脸图像集合，其中，所述第二人脸图像集合包括N张人脸图像，N小于M，最后，根据所述第二人脸图像集合得到眼球追踪计算方程，所述计算方程用于在眼球追踪过程中计算用户的注视点。由于电子设备在校准过程中，获取了包括超像素人脸图像的第二人脸图像集合，根据第二人脸图像集合可以更准确迅速的获取到眼球追踪计算方程，从而提高眼球追踪校准的效率和准确度。

在一个可能的示例中，在所述根据所述M张人脸图像的人眼区域，对所述第一人脸图像集合中的M张人脸图像进行多帧融合，得到包括超像素人脸图像的第二人脸图像集合方面，所述处理单元501具体用于：选取所述M张人脸图像中相邻时刻拍摄的两张人脸图像；以及用于计算所述两张人脸图像的人眼区域差值；以及用于在检测到所述差值小于第一预设阈值时，将所述两张人脸图像合成为一张人脸图像，得到超像素人脸图像；以及用于在所述第一人脸图像集合中删除所述两张人脸图像，添加所述超像素人脸图像，得到所述第二人脸图像集合。

在一个可能的示例中，所述人眼区域为将所述M张人脸图像重合后，在同一位置截取的包含人眼图像的区域；在所述计算所述两张人脸图像的人眼区域差值方面，所述处理单元501具体用于：通过预设算法计算所述两张人脸图像的人眼区域的用户视线向量；以及用于计算所述用户视线向量差值，得到所述人眼区域差值。

在一个可能的示例中，所述处理单元501具体用于：确定所述第二人脸图像集合中的超像素人脸图像数目；以及用于在检测到所述数目大于第二预设阈值时，检测是否存在拍摄时刻相邻的两张超像素人脸图像；若是，根据所述两张超像素人脸图像的人眼区域差值，确定是否合成所述两张超像素人脸图像。

在一个可能的示例中，在所述根据所述第二人脸图像集合得到眼球追踪计算方程方面，所述处理单元501具体用于：根据所述第二人脸图像集合中的N张人脸图像，计算参考用户视线向量和头部姿态向量；以及用于根据所述头部姿态向量和输出的第一校准点，将所述参考用户视线向量转换为标准用户视线向量，所述标准用户视线向量用于指示用户头部正对所述电子设备的显示屏时的视线方向；以及用于根据所述标准用户视线向量和所述第一校准点的坐标得到第一参数组，并将所述第一参数组添加的训练集，以通过所述训练集对初始计算方程进行训练，得到训练后的计算方程，其中，所述训练集包括除所述第一校准点之外的多个校准点的坐标以及关联的标准用户视线向量组成的参数组。

在一个可能的示例中，在所述计算参考用户视线向量方面，所述处理单元501具体用于：获取所述N张人脸图像的左眼球对应的左眼红外反射斑点坐标，以及右眼球对应的右眼红外反射斑点坐标；以及用于根据所述左眼红外反射斑点坐标和左眼球瞳孔中心坐标计算得到左眼视线向量，以及根据所述右眼红外反射斑点坐标和右眼球瞳孔中心坐标计算得到右眼视线向量；以及用于根据所述左眼视线向量和所述右眼视线向量，确定所述参考用户视线向量。

在一个可能的示例中，在所述计算头部姿态向量方面，所述处理单元501具体用于：确定所述N张人脸图像的左眼面积和右眼面积；以及用于计算所述左眼面积和所述右眼面积的差值，并根据所述差值查找预设的双眼面积差值和头部姿态向量的映射关系，确定所述差值对应的头部姿态向量。

其中，所述电子设备还可包括存储单元503，处理单元501和通信单元502可以是控制器或处理器，存储单元503可以是存储器。

本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括移动终端。

本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括移动终端。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个控制单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。

以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (8)

1.一种眼球追踪处理方法，其特征在于，应用于电子设备，所述电子设备包括眼球追踪组件；所述方法包括：

在眼球追踪校准过程中，通过所述眼球追踪组件获取第一人脸图像集合；

识别所述第一人脸图像集合包括的M张人脸图像的人眼区域，其中，所述M张人脸图像为在预设时长内连续拍摄到的人脸图像，M为正整数；

根据所述M张人脸图像的人眼区域，对所述第一人脸图像集合中的M张人脸图像进行多帧融合，得到包括超像素人脸图像的第二人脸图像集合，包括：选取所述M张人脸图像中相邻时刻拍摄的两张人脸图像，计算所述两张人脸图像的人眼区域差值，在检测到所述差值小于第一预设阈值时，将所述两张人脸图像合成为一张人脸图像，得到超像素人脸图像，在所述第一人脸图像集合中删除所述两张人脸图像，添加所述超像素人脸图像，得到所述第二人脸图像集合，其中，所述第二人脸图像集合包括N张人脸图像，N小于M；

根据所述第二人脸图像集合得到眼球追踪计算方程，所述计算方程用于在眼球追踪过程中计算用户的注视点；

所述方法还包括：确定所述第二人脸图像集合中的超像素人脸图像数目，在检测到所述数目大于第二预设阈值时，检测是否存在拍摄时刻相邻的两张超像素人脸图像，若是，根据所述两张超像素人脸图像的人眼区域差值，确定是否合成所述两张超像素人脸图像。

2.根据权利要求1所述的方法，其特征在于，所述人眼区域为将所述M张人脸图像重合后，在同一位置截取的包含人眼图像的区域；所述计算所述两张人脸图像的人眼区域差值，包括：

通过预设算法计算所述两张人脸图像的人眼区域的用户视线向量；

计算所述用户视线向量差值，得到所述人眼区域差值。

3.根据权利要求1或2所述的方法，其特征在于，所述根据所述第二人脸图像集合得到眼球追踪计算方程，包括：

根据所述第二人脸图像集合中的N张人脸图像，计算参考用户视线向量和头部姿态向量；

根据所述头部姿态向量和人脸图像关联的校准点，将所述参考用户视线向量转换为标准用户视线向量，所述标准用户视线向量用于指示用户头部正对所述电子设备的显示屏时的视线方向；

根据所述标准用户视线向量和所述校准点的坐标得到第一参数组，并将所述第一参数组添加的训练集，以通过所述训练集对初始计算方程进行训练，得到训练后的计算方程，其中，所述训练集包括除所述校准点之外的多个校准点的坐标以及关联的标准用户视线向量组成的参数组。

4.根据权利要求3所述的方法，其特征在于，所述计算参考用户视线向量，包括：

获取所述N张人脸图像的左眼球对应的左眼红外反射斑点坐标，以及右眼球对应的右眼红外反射斑点坐标；

根据所述左眼红外反射斑点坐标和左眼球瞳孔中心坐标计算得到左眼视线向量，以及根据所述右眼红外反射斑点坐标和右眼球瞳孔中心坐标计算得到右眼视线向量；

根据所述左眼视线向量和所述右眼视线向量，确定所述参考用户视线向量。

5.根据权利要求3所述的方法，其特征在于，所述计算头部姿态向量，包括：

确定所述N张人脸图像的左眼面积和右眼面积；

计算所述左眼面积和所述右眼面积的差值，并根据所述差值查找预设的双眼面积差值和头部姿态向量的映射关系，确定所述差值对应的头部姿态向量。

6.一种眼球追踪处理装置，其特征在于，应用于电子设备，所述电子设备包括眼球追踪组件；所述眼球追踪处理装置包括处理单元和通信单元，其中，

所述处理单元，用于在眼球追踪校准过程中，通过所述眼球追踪组件获取第一人脸图像集合；以及用于识别所述第一人脸图像集合包括的M张人脸图像的人眼区域，其中，所述M张人脸图像为在预设时长内连续拍摄到的人脸图像，M为正整数；以及用于根据所述M张人脸图像的人眼区域，对所述第一人脸图像集合中的M张人脸图像进行多帧融合，得到包括超像素人脸图像的第二人脸图像集合，其中，所述第二人脸图像集合包括N张人脸图像，N小于M；以及用于根据所述第二人脸图像集合得到眼球追踪计算方程，所述计算方程用于在眼球追踪过程中计算用户的注视点；

在所述根据所述M张人脸图像的人眼区域，对所述第一人脸图像集合中的M张人脸图像进行多帧融合，得到包括超像素人脸图像的第二人脸图像集合方面，所述处理单元具体用于：选取所述M张人脸图像中相邻时刻拍摄的两张人脸图像；以及用于计算所述两张人脸图像的人眼区域差值；以及用于在检测到所述差值小于第一预设阈值时，将所述两张人脸图像合成为一张人脸图像，得到超像素人脸图像；以及用于在所述第一人脸图像集合中删除所述两张人脸图像，添加所述超像素人脸图像，得到所述第二人脸图像集合；

所述处理单元具体还用于：确定所述第二人脸图像集合中的超像素人脸图像数目；以及用于在检测到所述数目大于第二预设阈值时，检测是否存在拍摄时刻相邻的两张超像素人脸图像；若是，根据所述两张超像素人脸图像的人眼区域差值，确定是否合成所述两张超像素人脸图像。

7.一种电子设备，其特征在于，包括处理器、存储器、通信接口，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1-5任一项所述的眼球追踪处理方法中的步骤的指令。

8.一种计算机可读存储介质，其特征在于，存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-5任一项所述的眼球追踪处理方法。

Images