CN110780742A - 眼球追踪处理方法及相关装置 - Google Patents
眼球追踪处理方法及相关装置 Download PDFInfo
- Publication number
- CN110780742A CN110780742A CN201911053366.4A CN201911053366A CN110780742A CN 110780742 A CN110780742 A CN 110780742A CN 201911053366 A CN201911053366 A CN 201911053366A CN 110780742 A CN110780742 A CN 110780742A
- Authority
- CN
- China
- Prior art keywords
- calibration
- vector
- sight
- sight line
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
Abstract
本申请实施例公开了一种眼球追踪处理方法及相关装置，应用于电子设备，包括：在以第一校准点进行眼球追踪校准时，通过所述眼球追踪组件获取第一人脸图像；根据所述第一人脸图像计算参考用户视线向量和头部姿态向量；根据所述头部姿态向量和所述第一校准点，将所述参考用户视线向量转换为标准用户视线向量；根据所述标准用户视线向量和所述第一校准点的坐标得到第一参数组，并将所述第一参数组添加的训练集，以通过所述训练集对校准模型进行训练，得到训练后的校准模型。本申请实施例有利于通过提高对眼球追踪进行校准时的处理效率。
Description
技术领域
本申请涉及移动终端技术领域，具体涉及一种眼球追踪处理方法及相关装置。
背景技术
随着智能手机等移动终端的大量普及应用，智能手机能够支持的应用越来越多，功能越来越强大，智能手机向着多样化、个性化的方向发展，成为用户生活中不可缺少的电子用品。对于具有眼球追踪功能的智能手机，在进行眼球追踪校准点时，由于环境光线、头部姿态的变化、手机姿态的轻微抖动等因素都会影响智能手机对用户眼球注视点的判断，因此眼球追踪校准过程的效率和准确度较低。
发明内容
本申请实施例提供了一种眼球追踪处理方法及相关装置，有利于提高对眼球追踪进行校准时的处理效率。
第一方面，本申请实施例提供一种眼球追踪处理方法，其特征在于，应用于电子设备，所述电子设备包括眼球追踪组件；所述方法包括：
在以第一校准点进行眼球追踪校准时，通过所述眼球追踪组件获取第一人脸图像；
根据所述第一人脸图像计算参考用户视线向量和头部姿态向量；
根据所述头部姿态向量和所述第一校准点，将所述参考用户视线向量转换为标准用户视线向量，所述标准用户视线向量用于指示用户头部正对所述电子设备的显示屏时用户的视线方向；
根据所述标准用户视线向量和所述第一校准点的坐标得到第一参数组，并将所述第一参数组添加的训练集，以通过所述训练集对校准模型进行训练，得到训练后的校准模型，其中，所述训练集包括除所述第一校准点之外的多个校准点的坐标和关联的标准用户视线向量组成的参数组。
第二方面，本申请实施例提供一种眼球追踪处理装置，应用于电子设备，所述电子设备包括眼球追踪组件；所述眼球追踪处理装置包括处理单元和通信单元，其中，
所述处理单元，用于在以第一校准点进行眼球追踪校准时，通过所述通信单元通知所述眼球追踪组件获取第一人脸图像；以及用于根据所述第一人脸图像计算参考用户视线向量和头部姿态向量；以及用于根据所述头部姿态向量和所述第一校准点，将所述参考用户视线向量转换为标准用户视线向量，所述标准用户视线向量用于指示用户头部正对所述电子设备的显示屏时用户的视线方向；以及用于根据所述标准用户视线向量和所述第一校准点的坐标得到第一参数组，并将所述第一参数组添加的训练集，以通过所述训练集对校准模型进行训练，得到训练后的校准模型，其中，所述训练集包括除所述第一校准点之外的多个校准点的坐标和关联的标准用户视线向量组成的参数组。
第三方面，本申请实施例提供一种电子设备，包括控制器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述控制器执行，上述程序包括用于执行本申请实施例第一方面任一方法中的步骤的指令。
第四方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。
第五方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
可以看出，本申请实施例中，电子设备首先在以第一校准点进行眼球追踪校准时，通过所述眼球追踪组件获取第一人脸图像，其次，根据所述第一人脸图像计算参考用户视线向量和头部姿态向量，然后，根据所述头部姿态向量和所述第一校准点，将所述参考用户视线向量转换为标准用户视线向量，所述标准用户视线向量用于指示用户头部正对所述电子设备的显示屏时用户的视线方向，最后，根据所述标准用户视线向量和所述第一校准点的坐标得到第一参数组，并将所述第一参数组添加的训练集，以通过所述训练集对校准模型进行训练，得到训练后的校准模型，其中，所述训练集包括除所述第一校准点之外的多个校准点的坐标和关联的标准用户视线向量组成的参数组。由于电子设备在校准过程中，获取了包括第一校准点的多个校准点关联的参数组作为训练集，对校准模型进行训练得到了训练后的校准模型，通过校准后的训练模型可以在眼球追踪过程中快速确定用户的注视点位置，从而提高了眼球追踪校准的效率和准确度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种电子设备的结构示意图；
图2A是本申请实施例提供的一种眼球追踪处理方法的流程示意图；
图2B是本申请实施例提供的一种参考用户视线向量的示意图；
图2C是本申请实施例提供的一种第一人脸图像的示意图；
图2D是本申请实施例提供的另一种第一人脸图像的示意图；
图3是本申请实施例提供的另一种眼球追踪处理方法的流程示意图；
图4是本申请实施例提供的一种电子设备的结构示意图；
图5是本申请实施例提供的一种眼球追踪处理装置的功能单元组成框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备(例如智能手表、智能手环、计步器等)、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(User Equipment，UE)，移动台(Mobile Station，MS)，终端设备(terminal device)等等。为方便描述，上面提到的设备统称为电子设备。
下面对本申请实施例进行详细介绍。
请参阅图1，图1是本申请实施例提供的一种电子设备100的结构示意图，所述电子设备100包括：壳体110、设置于所述壳体110内的电路板120、设置于所述壳体110上的眼球追踪组件130，所述电路板120上设置有处理器121和存储器122，存储器122与所述处理器121连接，所述处理器121连接所述触控显示屏眼球追踪组件；其中，
所述眼球追踪组件130，用于获取用户的人脸图像；
所述存储器122，用于存储所述人脸图像；
所述处理器121，用于在以第一校准点进行眼球追踪校准时，通过所述眼球追踪组件获取第一人脸图像；以及用于根据所述第一人脸图像计算参考用户视线向量和头部姿态向量；以及用于根据所述头部姿态向量和所述第一校准点，将所述参考用户视线向量转换为标准用户视线向量，所述标准用户视线向量用于指示用户头部正对所述电子设备的显示屏时用户的视线方向；以及用于根据所述标准用户视线向量和所述第一校准点的坐标得到第一参数组，并将所述第一参数组添加的训练集，以通过所述训练集对校准模型进行训练，得到训练后的校准模型，其中，所述训练集包括除所述第一校准点之外的多个校准点的坐标和关联的标准用户视线向量组成的参数组。
其中，眼球追踪主要是研究眼球运动信息的获取、建模和模拟，当人的眼睛看向不同的方向时，眼部会有细微的变化，眼球追踪组件可以获取到这种变化相关的特征信息，如通过图像捕捉或扫描来提取这些变化特征，通过实时追踪眼睛的变化，可以预测用户的状态和需求，并进行响应，达到通过眼睛来控制设备的目的。眼球追踪组件主要包括红外设备(如红外传感器)和图像采集设备(如摄像头)。当用户需要使用电子设备的眼球追踪功能时，需要先打开眼球追踪功能，即此时眼球追踪组件处于可用状态，打开眼球追踪功能后，可先引导用户对眼球追踪功能进行校正，校正过程中收集用户眼球的几何特征和运动特征后可计算出用户在屏幕上的注视点位置，进而确定用户的注视点位置是否为引导用户去注视的位置，从而完成校正过程。
可以看出，本申请实施例中，电子设备首先在以第一校准点进行眼球追踪校准时，通过所述眼球追踪组件获取第一人脸图像，其次，根据所述第一人脸图像计算参考用户视线向量和头部姿态向量，然后，根据所述头部姿态向量和所述第一校准点，将所述参考用户视线向量转换为标准用户视线向量，所述标准用户视线向量用于指示用户头部正对所述电子设备的显示屏时用户的视线方向，最后，根据所述标准用户视线向量和所述第一校准点的坐标得到第一参数组，并将所述第一参数组添加的训练集，以通过所述训练集对校准模型进行训练，得到训练后的校准模型，其中，所述训练集包括除所述第一校准点之外的多个校准点的坐标和关联的标准用户视线向量组成的参数组。由于电子设备在校准过程中，获取了包括第一校准点的多个校准点关联的参数组作为训练集，对校准模型进行训练得到了训练后的校准模型，通过校准后的训练模型可以在眼球追踪过程中快速确定用户的注视点位置，从而提高了眼球追踪校准的效率和准确度。
请参阅图2A，图2A是本申请实施例提供了一种眼球追踪处理方法的流程示意图，应用于电子设备，所述电子设备包括眼球追踪组件。如图所示，本眼球追踪处理方法包括：
S201，所述电子设备在以第一校准点进行眼球追踪校准时，通过所述眼球追踪组件获取第一人脸图像。
其中，具有眼球追踪功能的电子设备一般采用了硬件红外灯(InfraredRadiation，IR)相机和RGB相机，本申请中的眼球追踪组件包括IR相机等计算硬件。在眼球追踪过程中，眼球追踪组件发出红外光照射到用户的眼睛上，在眼球上形成反光点，可以通过反光点和眼球瞳孔中心的位置关系，推导出人眼视线注释方向。
其中，在校准过程中，先输出多个校准点，通过追踪检测用户的视线视线，完成对眼球追踪组件的校准。当电子设备的显示屏显示第一校准点后，此时用户的视线注视点为第一校准点，此时通过眼球追踪组件获取第一人脸图像。
S202，所述电子设备根据所述第一人脸图像计算参考用户视线向量和头部姿态向量。
其中，可以根据第一人脸图像，确定用户双眼的显示区域和瞳孔的红外反射斑点，参考用户视线向量为根据用户双眼的显示面积计算得到，头部姿态向量为根据双眼瞳孔的红外反射斑点计算得到。
S203，所述电子设备根据所述头部姿态向量和所述第一校准点，将所述参考用户视线向量转换为标准用户视线向量，所述标准用户视线向量用于指示用户头部正对所述电子设备的显示屏时用户的视线方向。
其中，用户在注释第一校准点时，头部姿态的不同，也会导致校准过程产生一定的误差，因此，可以把此时获取到的参考用户视线向量转换为标准用户视线向量，标准用户视线向量为用户头部正对眼球追踪组件的获取到的用户视线向量，当用户头部正对眼球追踪组件时，获取到的人脸图像是完整端正的用户人脸正面，且人脸图像的人脸中心同时也是图像的中心，即得到的人脸图像是所能获取到的人脸图像中最标准的人脸图像。
其中，根据已知的迭代方程和头部补偿函数，可以将参考用户视线向量准换为标准用户视线向量。
S204，所述电子设备根据所述标准用户视线向量和所述第一校准点的坐标得到第一参数组，并将所述第一参数组添加的训练集，以通过所述训练集对校准模型进行训练，得到训练后的校准模型，其中，所述训练集包括除所述第一校准点之外的多个校准点的坐标和关联的标准用户视线向量组成的参数组。
其中，用户在注释第一校准点时获取到的用户视线向量和第一校准点的坐标组成了第一参数组，第一参数组和其他多个校准点关联的参数组组成的一个训练集，训练集中参数组的数量可以由用户预设，其他多个校准点的参数组的获取过程和第一校准点参数组的获取过程相同。例如，设定参数值为50个，则需要在眼球追踪校准过程中分别显示50个校准点，用和第一校准点同样的方式获取这50个校准点关联的参数组，使用训练集中的参数组对校准模型进行训练，从而得到训练后的校准模型，使用训练后的校准模型，可以在眼球追踪过程中获取到用户的注视点。
其中，训练后的校准模型由参数方程组成，参数方程包括多个常数，参数方位的输入为标准用户视线向量，输出为注视点的坐标值，因此在得到训练后的校准模型之后，只需要获取用户注释某个注视点时的标准用户视线向量，以标准用户视线向量的数据作为输出，训练后的校准模型即可输出注视点的坐标，从而获取到用户此时的注视点信息。
其中，在眼球追踪校准阶段，需要用户依次注释显示屏上显示的多个注视点，同时采集用户的人脸图像，现有技术中，通常用户在一个校准点要注释2秒左右，校准点一般会在屏幕上均匀取9个点，加上中间切换时间，整个校准过程可能在30秒左右。
其中，现有的技术方法，由于环境光线、头部姿态的变化、头部的远近、手机姿态的轻微抖动变化都会影响眼球注视点的判断，眼球追踪校准的时候容易受到这些因素的干扰。本申请中通过眼球追踪组件获取人脸图像，在推导出人眼注视的方向，使用拟合方程可以计算出人眼注释位置，在眼球追踪技术校准阶段，需要用户注释屏显示屏上有特定规律的点的同时，采集人脸图像，用人脸图像数据输入方程式进行拟合，在校准阶段，提高传输器输出效率，从而提高数据输入速度，较快校准速度。
可以看出，本申请实施例中，电子设备首先在以第一校准点进行眼球追踪校准时，通过所述眼球追踪组件获取第一人脸图像，其次，根据所述第一人脸图像计算参考用户视线向量和头部姿态向量，然后，根据所述头部姿态向量和所述第一校准点，将所述参考用户视线向量转换为标准用户视线向量，所述标准用户视线向量用于指示用户头部正对所述电子设备的显示屏时用户的视线方向，最后，根据所述标准用户视线向量和所述第一校准点的坐标得到第一参数组，并将所述第一参数组添加的训练集，以通过所述训练集对校准模型进行训练，得到训练后的校准模型，其中，所述训练集包括除所述第一校准点之外的多个校准点的坐标和关联的标准用户视线向量组成的参数组。由于电子设备在校准过程中，获取了包括第一校准点的多个校准点关联的参数组作为训练集，对校准模型进行训练得到了训练后的校准模型，通过校准后的训练模型可以在眼球追踪过程中快速确定用户的注视点位置，从而提高了眼球追踪校准的效率和准确度。
在一个可能的示例中，所述根据所述第一人脸图像计算参考用户视线向量，包括：获取所述第一人脸图像中左眼球的红外反射斑点坐标，以及右眼球的红外反射斑点坐标；根据所述左眼球的红外反射斑点坐标和左眼球瞳孔中心坐标计算得到左眼视线向量，以及根据所述右眼球的红外反射斑点坐标和右眼球瞳孔中心坐标计算得到右眼视线向量；根据所述左眼视线向量和所述右眼视线向量，确定所述参考用户视线向量。
其中，在获取到第一校准点对应的人脸图像后，首先获取第一人脸图像中左眼球的红外反射斑点的坐标，以及右眼球的红外反射斑点左边，根据左眼球的红外反射斑点坐标和左眼球瞳孔中心坐标，可以计算到左眼视线向量，同时，根据右眼球的红外反射斑点坐标和右眼球瞳孔中心坐标，可以计算得到右眼视线向量，根据左眼视线向量和右眼视线向量，可以确定参考用户视线向量。如图2B所示，为本申请实施例提供的一种参考用户视线向量的参考示例图，图中截取了人脸图像中仅包括双眼部分的图像，左眼通孔坐标为p1，左眼的红外反射斑点坐标为g1，右眼通孔坐标为p2，右眼的红外反射斑点坐标为g2，因此计算可计算得到左眼视线向量Vi＝p1-g1，右眼视线向量Vi＝p2-g2。
其中，一般情况下，左眼和右眼的视线是同步的，比如，用户双眼同时看向右方，或者同时看向左方，因此，可以从左眼视线向量和右眼视线向量中选取一个向量作为参考用户视线向量，或者，考虑到可能存在误差，可以根据通过左眼视线向量和右眼视线向量合成参考用户视线向量。
可见，本示例中，由于眼球追踪组件发出的红外光照射到人眼后会形成红外反射斑点，因此，可以获取到的人脸图像中左眼的红外反射斑点的坐标，右眼的红外反射斑点坐标，结合左眼瞳孔中心坐标和右眼瞳孔中心坐标，分别计算出左眼视线向量和右眼视线向量，从而可以确定出参考用户视线向量，该参考用户视线向量可以用于指示用户注释第一校准点时的人眼实现，从而有利于得到校准数据。
在一个可能的示例中，所述根据所述第一人脸图像计算头部姿态向量，包括：确定所述第一人脸图像中的左眼面积和右眼面积；计算所述左眼面积和所述右眼面积的差值，并根据所述差值查找预设的双眼面积差值和头部姿态向量的映射关系，确定所述差值对应的头部姿态向量。
其中，当用户头部向左偏移时，得到的人脸图像中左眼的面积一般小于右眼面积，当用户头部向右偏移时，得到的人脸图像中左眼的面积一般大于右眼面积，如图2C和图2D所示，均为本申请实施例提供的一种第一人脸图像的参考示例图，可见，图2C中为用户人脸向右偏转的情况，因此，左眼面积S1大于右眼面积S2，此时左眼面积和右眼面积的差值S1-S2为正数，图2D中为用户人脸向左偏转的情况，因此，左眼面积S3小于右眼面积S4，此时左眼面积和右眼面积的差值S3-S4为负数。因此，可以先提取出人脸图像中的左眼图像和右眼图像，再计算左眼图像和右眼图像的面积，根据面积差值确定可以用于表示用户头部偏转方向的头部姿态向量。如果面积差值大于零，表明人脸朝右，如果面积差值小于零，表明人脸朝左。
其中，电子设备中预设有用户双眼面积差值和头部姿态向量的映射关系，从而，可以根据当前计算到的双眼面积差值，快速确定头部姿态向量，本申请中主要考虑用户头部向左和向右的情况。
可见，本示例中，通过计算第一人脸图像中，左眼面积和右眼面积的差值，可以确定用户在注释第一校准点时的头部姿态向量，通过头部姿态向量可以确定用户注释第一参考点时的头部姿态，头部姿态会对校准过程产生一定的影响，因此，计算出头部姿态向量后利于提高校准的准确性。
在一个可能的示例中，所述方法还包括：建立校准坐标系，所述校准坐标系的原点为所述眼球追踪组件在所述电子设备显示屏平面的映射点，第一坐标轴为所述显示屏平面的水平方向，第二坐标轴为所述显示屏平面的竖直方向。
其中，眼球追踪组件一般位于显示屏左上方或右上方，且位于显示屏下方，当用户注释眼球追踪组件在显示屏平面上的映射点时，获取到的人脸图像中，人眼实现是正向注释的，也是最标准的，因此，建立的校准坐标系中，以该映射点为坐标原点，显示屏平面的水平方向作为第一坐标轴，竖直方向作为第二坐标轴，此时，当用户看向的是眼球追踪组件下方时，得到的人脸图像中可以看出人眼视线是朝下的，当用户看向的是眼球追踪组件上方时，得到的人脸图像中可以看出人眼视线是朝上的。
其中，参考人眼视线向量、标准人眼视线向量和头部姿态向量是基于所述校准坐标系建立的。
可见，本示例中，在得到第一校准点对应的第一人脸图像后，需要先建立校准坐标系，并以该校准坐标系确定参考用户视线向量和头部姿态向量，从而，有利于得到第一校准点的参数组。
在一个可能的示例中，所述根据所述标准用户视线向量和所述第一校准点的坐标得到第一参数组，包括：将所述标准用户视线向量映射到所述第一坐标轴得到第一视线向量，以及将所述标准用户视线向量映射到所述第二坐标轴得到第二视线向量；计算所述第一视线向量的绝对值和所述第二视线向量的绝对值，其中，所述第一参数组包括所述第一视线向量的绝对值、所述第二视线向量的绝对值、所述第一校准点的横坐标值以及纵坐标值。
其中，将所述标准用户视线向量分别映射到第一坐标轴和第二坐标轴，得到第一视线向量和第二视线向量，第一视线向量可以表示用户视线向左或向右看的程度，第二视线向量可以表示用户视线向上或向下看的程度。
其中，获取第一视线向量的绝对值和第二视线向量的绝对值，可以组成第一校准点关联的参数组，参数组包括第一视线向量的绝对值、第二视线向量的绝对值和第一校准点的横坐标值以及纵坐标值。
可见，本示例中，通过获取用户注释第一校准点时的人脸图像，可以根据人脸图像确定参考用户视线向量和头部姿态向量，再进一步根据两个向量获取用户头部姿态端正时，注释第一校准点时的标准用户视线向量，从而，可以根据标准用户视线向量得到第一校准点关联的参数组，从而可以将第一校准点的参数组添加到训练集，对校准模型进行训练。
在一个可能的示例中，所述训练后的校准模型包括第一校准常数和第二校准常数；所述方法还包括：获取所述训练集中每个参数组中的校准点横坐标值，纵坐标值，以及校准点关联的标准用户视线向量的第一视线向量绝对值和第二视线向量绝对值；以所述横坐标值和所述纵坐标值作为第一输出和第二输出，以所述第一视线向量绝对值和所述第二视线向量绝对值作为输入，对所述校准模型进行训练，得到所述第一输出对应的第一校准常数，所述第二输出对应的第二校准常数。
其中，训练集中有多个校准点关联的参数组，每个参数组中的校准点的横坐标值可以作为第一输出，校准点的纵坐标可以作为第二输出，然后将每个参数组中的第一视线向量绝对值和第二视线向量绝对值作为输入，输入到校准模型，已知校准模型的多组输入和对应的多组输出，对校准模型进行训练，得到的和第一输出对应的第一校准常数，和第二输出对应的第二校准常数，从而，得到了训练后的校准模型。
举例说明，已知校准模型为：
X＝a0+a1*Vx+a2*Vy+a3*Vx*Vy
Y＝b0+b1*Vx+b2*Vy+b3*Vy*Vy
其中，X标识校准点的横坐标值，Y标识校准点的纵坐标值，Vx表示第一视线向量绝对值，Vy标识第二视线向量绝对值，在训练集中，每个参数组刚好由X、Y、Vx、Vy组成，因此，通过训练集中的多个参数组对校准模型进行训练，得到第一校准常数(a0，a1，a2，a3)，第二校准常数(b0，b1，b3，b4)。
其中，校准的过程是为了得到训练后的校准模型，即得到训练后的模型中的参数方程，从而在初始校准模型的基础上需要计算或更新得到第一校准常数和第二校准尝试，从而，在完成眼球追踪校准之后，只需要在用户注释显示屏时，获取用户的标识用户视线向量，即可计算出用户针对显示屏的注视点。
可见，本示例中，通过包括第一校准点参数组的多个参数组组成的训练集，对校准模型进行训练，得到训练后的校准模型，耗时短，精确度高，误差小，帮助用户快速的实现了最眼球追踪组件的校准。
在一个可能的示例中，所述方法还包括：确定预先设定的所述眼球追踪组件的帧率参数；根据所述帧率参数，确定校准标定时长；在所述校准标定时长内获取所述预设数量的校准点对应的人脸图像，得到预设数量的人脸图像，所述预设数量的校准点包括所述第一校准点；根据所述预设数量的人脸图像确定所述多个校准点关联的参数组。
其中，在校准时，用户可以预先设定眼球追踪组件的帧率参数，例如，可以为30帧每秒，或者，60帧每秒，当帧率为30帧每秒时，对应的校准标定时长为3秒，则可以在3秒内获取到训练集的数据从而完成对眼球追踪组件的校准，当帧率为60帧每秒时，对应的校准标定时间为1.5秒，则可以在1.5秒内获取到训练集的数据从而完成对眼球追踪组件的校准。
可见，本示例中，用户可以通过预先设定眼球追踪组件的帧率参数，确定校准标定时长，从而在校准标定时长内获取对应的人脸图像，根据人脸图像得到训练集中的参数组，实现定期对校准模型进行训练，从而提高校准效率和可靠性。
与所述图2A所示的实施例一致的，请参阅图3，图3是本申请实施例提供的一种眼球追踪处理方法的流程示意图，应用于电子设备，所述电子设备包括眼球追踪组件。如图所示，本眼球追踪处理方法包括：
S301，所述电子设备在以第一校准点进行眼球追踪校准时，通过所述眼球追踪组件获取第一人脸图像。
S302，所述电子设备根据所述第一人脸图像计算参考用户视线向量和头部姿态向量。
S303，所述电子设备根据所述头部姿态向量和所述第一校准点，将所述参考用户视线向量转换为标准用户视线向量，所述标准用户视线向量用于指示用户头部正对所述电子设备的显示屏时用户的视线方向。
S304，所述电子设备将所述标准用户视线向量映射到所述第一坐标轴得到第一视线向量，以及将所述标准用户视线向量映射到所述第二坐标轴得到第二视线向量。
S305，所述电子设备计算所述第一视线向量的绝对值和所述第二视线向量的绝对值，其中，所述第一参数组包括所述第一视线向量的绝对值、所述第二视线向量的绝对值、所述第一校准点的横坐标值以及纵坐标值。
S306，所述电子设备将所述第一参数组添加的训练集，以通过所述训练集对校准模型进行训练，得到训练后的校准模型，其中，所述训练集包括除所述第一校准点之外的多个校准点的坐标和关联的标准用户视线向量组成的参数组。
可以看出，本申请实施例中，电子设备首先在以第一校准点进行眼球追踪校准时，通过所述眼球追踪组件获取第一人脸图像，其次，根据所述第一人脸图像计算参考用户视线向量和头部姿态向量，然后，根据所述头部姿态向量和所述第一校准点，将所述参考用户视线向量转换为标准用户视线向量，所述标准用户视线向量用于指示用户头部正对所述电子设备的显示屏时用户的视线方向，最后，根据所述标准用户视线向量和所述第一校准点的坐标得到第一参数组，并将所述第一参数组添加的训练集，以通过所述训练集对校准模型进行训练，得到训练后的校准模型，其中，所述训练集包括除所述第一校准点之外的多个校准点的坐标和关联的标准用户视线向量组成的参数组。由于电子设备在校准过程中，获取了包括第一校准点的多个校准点关联的参数组作为训练集，对校准模型进行训练得到了训练后的校准模型，通过校准后的训练模型可以在眼球追踪过程中快速确定用户的注视点位置，从而提高了眼球追踪校准的效率和准确度。
此外，通过获取用户注释第一校准点时的人脸图像，可以根据人脸图像确定参考用户视线向量和头部姿态向量，再进一步根据两个向量获取用户头部姿态端正时，注释第一校准点时的标准用户视线向量，从而，可以根据标准用户视线向量得到第一校准点关联的参数组，从而可以将第一校准点的参数组添加到训练集，对校准模型进行训练。
与所述图2A、图3所示的实施例一致的，请参阅图4，图4是本申请实施例提供的一种电子设备400的结构示意图，该电子设备400运行有一个或多个应用程序和操作系统，如图所示，该电子设备400包括处理器410、存储器420、通信接口430以及一个或多个程序421，其中，所述一个或多个程序421被存储在所述存储器420中，并且被配置由所述处理器410执行，所述一个或多个程序421包括用于执行以下步骤的指令；
在以第一校准点进行眼球追踪校准时，通过所述眼球追踪组件获取第一人脸图像；
根据所述第一人脸图像计算参考用户视线向量和头部姿态向量；
根据所述头部姿态向量和所述第一校准点，将所述参考用户视线向量转换为标准用户视线向量，所述标准用户视线向量用于指示用户头部正对所述电子设备的显示屏时用户的视线方向；
根据所述标准用户视线向量和所述第一校准点的坐标得到第一参数组，并将所述第一参数组添加的训练集，以通过所述训练集对校准模型进行训练，得到训练后的校准模型，其中，所述训练集包括除所述第一校准点之外的多个校准点的坐标和关联的标准用户视线向量组成的参数组。
可以看出，本申请实施例中，电子设备首先在以第一校准点进行眼球追踪校准时，通过所述眼球追踪组件获取第一人脸图像，其次，根据所述第一人脸图像计算参考用户视线向量和头部姿态向量，然后，根据所述头部姿态向量和所述第一校准点，将所述参考用户视线向量转换为标准用户视线向量，所述标准用户视线向量用于指示用户头部正对所述电子设备的显示屏时用户的视线方向，最后，根据所述标准用户视线向量和所述第一校准点的坐标得到第一参数组，并将所述第一参数组添加的训练集，以通过所述训练集对校准模型进行训练，得到训练后的校准模型，其中，所述训练集包括除所述第一校准点之外的多个校准点的坐标和关联的标准用户视线向量组成的参数组。由于电子设备在校准过程中，获取了包括第一校准点的多个校准点关联的参数组作为训练集，对校准模型进行训练得到了训练后的校准模型，通过校准后的训练模型可以在眼球追踪过程中快速确定用户的注视点位置，从而提高了眼球追踪校准的效率和准确度。
在一个可能的示例中，在所述根据所述第一人脸图像计算参考用户视线向量方面，所述程序中的指令具体用于执行以下操作：获取所述第一人脸图像中左眼球的红外反射斑点坐标，以及右眼球的红外反射斑点坐标；根据所述左眼球的红外反射斑点坐标和左眼球瞳孔中心坐标计算得到左眼视线向量，以及根据所述右眼球的红外反射斑点坐标和右眼球瞳孔中心坐标计算得到右眼视线向量；根据所述左眼视线向量和所述右眼视线向量，确定所述参考用户视线向量。
在一个可能的示例中，在所述根据所述第一人脸图像计算头部姿态向量方面，所述程序中的指令具体用于执行以下操作：确定所述第一人脸图像中的左眼面积和右眼面积；计算所述左眼面积和所述右眼面积的差值，并根据所述差值查找预设的双眼面积差值和头部姿态向量的映射关系，确定所述差值对应的头部姿态向量。
在一个可能的示例中，所述程序中的指令具体用于执行以下操作：建立校准坐标系，所述校准坐标系的原点为所述眼球追踪组件在所述电子设备显示屏平面的映射点，第一坐标轴为所述显示屏平面的水平方向，第二坐标轴为所述显示屏平面的竖直方向。
在一个可能的示例中，在所述根据所述标准用户视线向量和所述第一校准点的坐标得到第一参数组方面，所述程序中的指令具体用于执行以下操作：将所述标准用户视线向量映射到所述第一坐标轴得到第一视线向量，以及将所述标准用户视线向量映射到所述第二坐标轴得到第二视线向量；计算所述第一视线向量的绝对值和所述第二视线向量的绝对值，其中，所述第一参数组包括所述第一视线向量的绝对值、所述第二视线向量的绝对值、所述第一校准点的横坐标值以及纵坐标值。
在一个可能的示例中，所述训练后的校准模型包括第一校准常数和第二校准常数；所述程序中的指令具体用于执行以下操作：获取所述训练集中每个参数组中的校准点横坐标值，纵坐标值，以及校准点关联的标准用户视线向量的第一视线向量绝对值和第二视线向量绝对值；以所述横坐标值和所述纵坐标值作为第一输出和第二输出，以所述第一视线向量绝对值和所述第二视线向量绝对值作为输入，对所述校准模型进行训练，得到所述第一输出对应的第一校准常数，所述第二输出对应的第二校准常数。
在一个可能的示例中，所述程序中的指令具体用于执行以下操作：确定预先设定的所述眼球追踪组件的帧率参数；根据所述帧率参数，确定校准标定时长；在所述校准标定时长内获取所述预设数量的校准点对应的人脸图像，得到预设数量的人脸图像，所述预设数量的校准点包括所述第一校准点；根据所述预设数量的人脸图像确定所述多个校准点关联的参数组。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个控制单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
图5是本申请实施例中所涉及的装置500的功能单元组成框图。该眼球追踪处理装置500应用于电子设备，眼球追踪处理装置500包括处理单元501和通信单元502，其中：
所述处理单元501，用于在以第一校准点进行眼球追踪校准时，通过所述通信单元通知所述眼球追踪组件获取第一人脸图像；以及用于根据所述第一人脸图像计算参考用户视线向量和头部姿态向量；以及用于根据所述头部姿态向量和所述第一校准点，将所述参考用户视线向量转换为标准用户视线向量，所述标准用户视线向量用于指示用户头部正对所述电子设备的显示屏时用户的视线方向；以及用于根据所述标准用户视线向量和所述第一校准点的坐标得到第一参数组，并将所述第一参数组添加的训练集，以通过所述训练集对校准模型进行训练，得到训练后的校准模型，其中，所述训练集包括除所述第一校准点之外的多个校准点的坐标和关联的标准用户视线向量组成的参数组。
可以看出，本申请实施例中，电子设备首先在以第一校准点进行眼球追踪校准时，通过所述眼球追踪组件获取第一人脸图像，其次，根据所述第一人脸图像计算参考用户视线向量和头部姿态向量，然后，根据所述头部姿态向量和所述第一校准点，将所述参考用户视线向量转换为标准用户视线向量，所述标准用户视线向量用于指示用户头部正对所述电子设备的显示屏时用户的视线方向，最后，根据所述标准用户视线向量和所述第一校准点的坐标得到第一参数组，并将所述第一参数组添加的训练集，以通过所述训练集对校准模型进行训练，得到训练后的校准模型，其中，所述训练集包括除所述第一校准点之外的多个校准点的坐标和关联的标准用户视线向量组成的参数组。由于电子设备在校准过程中，获取了包括第一校准点的多个校准点关联的参数组作为训练集，对校准模型进行训练得到了训练后的校准模型，通过校准后的训练模型可以在眼球追踪过程中快速确定用户的注视点位置，从而提高了眼球追踪校准的效率和准确度。
在一个可能的示例中，在所述根据所述第一人脸图像计算参考用户视线向量方面，所述处理单元501具体用于：获取所述第一人脸图像中左眼球的红外反射斑点坐标，以及右眼球的红外反射斑点坐标；以及用于根据所述左眼球的红外反射斑点坐标和左眼球瞳孔中心坐标计算得到左眼视线向量，以及根据所述右眼球的红外反射斑点坐标和右眼球瞳孔中心坐标计算得到右眼视线向量；以及用于根据所述左眼视线向量和所述右眼视线向量，确定所述参考用户视线向量。
在一个可能的示例中，在所述根据所述第一人脸图像计算头部姿态向量方面，所述处理单元501具体用于：确定所述第一人脸图像中的左眼面积和右眼面积；以及用于计算所述左眼面积和所述右眼面积的差值，并根据所述差值查找预设的双眼面积差值和头部姿态向量的映射关系，确定所述差值对应的头部姿态向量。
在一个可能的示例中，所述处理单元501还用于：建立校准坐标系，所述校准坐标系的原点为所述眼球追踪组件在所述电子设备显示屏平面的映射点，第一坐标轴为所述显示屏平面的水平方向，第二坐标轴为所述显示屏平面的竖直方向。
在一个可能的示例中，在所述根据所述标准用户视线向量和所述第一校准点的坐标得到第一参数组方面，所述处理单元501具体用于：将所述标准用户视线向量映射到所述第一坐标轴得到第一视线向量，以及将所述标准用户视线向量映射到所述第二坐标轴得到第二视线向量；以及用于计算所述第一视线向量的绝对值和所述第二视线向量的绝对值，其中，所述第一参数组包括所述第一视线向量的绝对值、所述第二视线向量的绝对值、所述第一校准点的横坐标值以及纵坐标值。
在一个可能的示例中，所述训练后的校准模型包括第一校准常数和第二校准常数；所述处理单元501还用于：获取所述训练集中每个参数组中的校准点横坐标值，纵坐标值，以及校准点关联的标准用户视线向量的第一视线向量绝对值和第二视线向量绝对值；以及用于以所述横坐标值和所述纵坐标值作为第一输出和第二输出，以所述第一视线向量绝对值和所述第二视线向量绝对值作为输入，对所述校准模型进行训练，得到所述第一输出对应的第一校准常数，所述第二输出对应的第二校准常数。
在一个可能的示例中，所述处理单元501具体用于：确定预先设定的所述眼球追踪组件的帧率参数；以及用于根据所述帧率参数，确定校准标定时长；以及用于在所述校准标定时长内获取所述预设数量的校准点对应的人脸图像，得到预设数量的人脸图像，所述预设数量的校准点包括所述第一校准点；以及用于根据所述预设数量的人脸图像确定所述多个校准点关联的参数组。
其中，所述电子设备还可包括存储单元503，处理单元501和通信单元502可以是控制器或处理器，存储单元503可以是存储器。
本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括移动终端。
本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括移动终端。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个控制单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种眼球追踪处理方法，其特征在于，应用于电子设备，所述电子设备包括眼球追踪组件；所述方法包括：
在以第一校准点进行眼球追踪校准时，通过所述眼球追踪组件获取第一人脸图像；
根据所述第一人脸图像计算参考用户视线向量和头部姿态向量；
根据所述头部姿态向量和所述第一校准点，将所述参考用户视线向量转换为标准用户视线向量，所述标准用户视线向量用于指示用户头部正对所述电子设备的显示屏时用户的视线方向；
根据所述标准用户视线向量和所述第一校准点的坐标得到第一参数组，并将所述第一参数组添加的训练集，以通过所述训练集对校准模型进行训练，得到训练后的校准模型，其中，所述训练集包括除所述第一校准点之外的多个校准点的坐标和关联的标准用户视线向量组成的参数组。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一人脸图像计算参考用户视线向量，包括：
获取所述第一人脸图像中左眼球的红外反射斑点坐标，以及右眼球的红外反射斑点坐标；
根据所述左眼球的红外反射斑点坐标和左眼球瞳孔中心坐标计算得到左眼视线向量，以及根据所述右眼球的红外反射斑点坐标和右眼球瞳孔中心坐标计算得到右眼视线向量；
根据所述左眼视线向量和所述右眼视线向量，确定所述参考用户视线向量。
3.根据权利要求1所述的方法，其特征在于，所述根据所述第一人脸图像计算头部姿态向量，包括：
确定所述第一人脸图像中的左眼面积和右眼面积；
计算所述左眼面积和所述右眼面积的差值，并根据所述差值查找预设的双眼面积差值和头部姿态向量的映射关系，确定所述差值对应的头部姿态向量。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述方法还包括：
建立校准坐标系，所述校准坐标系的原点为所述眼球追踪组件在所述电子设备显示屏平面的映射点，第一坐标轴为所述显示屏平面的水平方向，第二坐标轴为所述显示屏平面的竖直方向。
5.根据权利要求1所述的方法，其特征在于，所述根据所述标准用户视线向量和所述第一校准点的坐标得到第一参数组，包括：
将所述标准用户视线向量映射到所述第一坐标轴得到第一视线向量，以及将所述标准用户视线向量映射到所述第二坐标轴得到第二视线向量；
计算所述第一视线向量的绝对值和所述第二视线向量的绝对值，其中，所述第一参数组包括所述第一视线向量的绝对值、所述第二视线向量的绝对值、所述第一校准点的横坐标值以及纵坐标值。
6.根据权利要求1所述的方法，其特征在于，所述训练后的校准模型包括第一校准常数和第二校准常数；所述方法还包括：
获取所述训练集中每个参数组中的校准点横坐标值，纵坐标值，以及校准点关联的标准用户视线向量的第一视线向量绝对值和第二视线向量绝对值；
以所述横坐标值和所述纵坐标值作为第一输出和第二输出，以所述第一视线向量绝对值和所述第二视线向量绝对值作为输入，对所述校准模型进行训练，得到所述第一输出对应的第一校准常数，所述第二输出对应的第二校准常数。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
确定预先设定的所述眼球追踪组件的帧率参数；
根据所述帧率参数，确定校准标定时长；
在所述校准标定时长内获取所述预设数量的校准点对应的人脸图像，得到预设数量的人脸图像，所述预设数量的校准点包括所述第一校准点；
根据所述预设数量的人脸图像确定所述多个校准点关联的参数组。
8.一种眼球追踪处理装置，其特征在于，应用于电子设备，所述电子设备包括眼球追踪组件；所述眼球追踪处理装置包括处理单元和通信单元，其中，
所述处理单元，用于在以第一校准点进行眼球追踪校准时，通过所述通信单元通知所述眼球追踪组件获取第一人脸图像；以及用于根据所述第一人脸图像计算参考用户视线向量和头部姿态向量；以及用于根据所述头部姿态向量和所述第一校准点，将所述参考用户视线向量转换为标准用户视线向量，所述标准用户视线向量用于指示用户头部正对所述电子设备的显示屏时用户的视线方向；以及用于根据所述标准用户视线向量和所述第一校准点的坐标得到第一参数组，并将所述第一参数组添加的训练集，以通过所述训练集对校准模型进行训练，得到训练后的校准模型，其中，所述训练集包括除所述第一校准点之外的多个校准点的坐标和关联的标准用户视线向量组成的参数组。
9.一种电子设备，其特征在于，包括处理器、存储器、通信接口，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1-7任一项所述的方法中的步骤的指令。
10.一种计算机可读存储介质，其特征在于，存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911053366.4A CN110780742B (zh) | 2019-10-31 | 2019-10-31 | 眼球追踪处理方法及相关装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911053366.4A CN110780742B (zh) | 2019-10-31 | 2019-10-31 | 眼球追踪处理方法及相关装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110780742A true CN110780742A (zh) | 2020-02-11 |
| CN110780742B CN110780742B (zh) | 2021-11-02 |
Family
ID=69388061
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911053366.4A Active CN110780742B (zh) | 2019-10-31 | 2019-10-31 | 眼球追踪处理方法及相关装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110780742B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112104734A (zh) * | 2020-09-15 | 2020-12-18 | 北京百度网讯科技有限公司 | 用于推送信息的方法、装置、设备以及存储介质 |
| CN112799510A (zh) * | 2021-01-27 | 2021-05-14 | 清华大学 | 多风格自然眼球运动的自动化生成方法和装置 |
| CN113342157A (zh) * | 2020-02-18 | 2021-09-03 | Oppo广东移动通信有限公司 | 眼球追踪处理方法及相关装置 |
| CN113573040A (zh) * | 2021-07-07 | 2021-10-29 | 深圳市创鑫未来科技有限公司 | 自动校准人眼追踪裸眼3d显示的立体图案、装置及方法 |
| CN114422686A (zh) * | 2020-10-13 | 2022-04-29 | Oppo广东移动通信有限公司 | 参数调整方法及相关装置 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101872237A (zh) * | 2009-04-23 | 2010-10-27 | 由田新技股份有限公司 | 瞳孔追踪方法与系统及用于瞳孔追踪的校正方法与模组 |
| US20160011658A1 (en) * | 2014-04-11 | 2016-01-14 | Javier San Agustin Lopez | Systems and methods of eye tracking calibration |
| CN105278659A (zh) * | 2014-06-18 | 2016-01-27 | 中国电信股份有限公司 | 基于视线追踪技术的目标定位方法和装置 |
| CN105828702A (zh) * | 2013-12-17 | 2016-08-03 | 埃西勒国际通用光学公司 | 用于校准头戴式眼睛跟踪装置的方法 |
| US9775512B1 (en) * | 2014-03-19 | 2017-10-03 | Christopher W. Tyler | Binocular eye tracking from video frame sequences |
| CN108427503A (zh) * | 2018-03-26 | 2018-08-21 | 京东方科技集团股份有限公司 | 人眼追踪方法及人眼追踪装置 |
| CN108968907A (zh) * | 2018-07-05 | 2018-12-11 | 四川大学 | 眼动数据的校正方法及装置 |
| CN109343700A (zh) * | 2018-08-31 | 2019-02-15 | 深圳市沃特沃德股份有限公司 | 眼动控制校准数据获取方法和装置 |
| CN109375765A (zh) * | 2018-08-31 | 2019-02-22 | 深圳市沃特沃德股份有限公司 | 眼球追踪交互方法和装置 |
| US20190121427A1 (en) * | 2016-06-08 | 2019-04-25 | South China University Of Technology | Iris and pupil-based gaze estimation method for head-mounted device |
| CN109976514A (zh) * | 2019-03-01 | 2019-07-05 | 四川大学 | 基于眼球误差模型的眼动数据校正方法 |
| CN110209277A (zh) * | 2019-05-29 | 2019-09-06 | 华南理工大学 | 一种仅基于瞳孔特征的头戴式视线跟踪方法 |
| CN110276239A (zh) * | 2018-03-15 | 2019-09-24 | 宏达国际电子股份有限公司 | 眼球追踪方法、电子装置及非暂态电脑可读取记录媒体 |
-
2019
- 2019-10-31 CN CN201911053366.4A patent/CN110780742B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101872237A (zh) * | 2009-04-23 | 2010-10-27 | 由田新技股份有限公司 | 瞳孔追踪方法与系统及用于瞳孔追踪的校正方法与模组 |
| CN105828702A (zh) * | 2013-12-17 | 2016-08-03 | 埃西勒国际通用光学公司 | 用于校准头戴式眼睛跟踪装置的方法 |
| US9775512B1 (en) * | 2014-03-19 | 2017-10-03 | Christopher W. Tyler | Binocular eye tracking from video frame sequences |
| US20160011658A1 (en) * | 2014-04-11 | 2016-01-14 | Javier San Agustin Lopez | Systems and methods of eye tracking calibration |
| CN105278659A (zh) * | 2014-06-18 | 2016-01-27 | 中国电信股份有限公司 | 基于视线追踪技术的目标定位方法和装置 |
| US20190121427A1 (en) * | 2016-06-08 | 2019-04-25 | South China University Of Technology | Iris and pupil-based gaze estimation method for head-mounted device |
| CN110276239A (zh) * | 2018-03-15 | 2019-09-24 | 宏达国际电子股份有限公司 | 眼球追踪方法、电子装置及非暂态电脑可读取记录媒体 |
| CN108427503A (zh) * | 2018-03-26 | 2018-08-21 | 京东方科技集团股份有限公司 | 人眼追踪方法及人眼追踪装置 |
| CN108968907A (zh) * | 2018-07-05 | 2018-12-11 | 四川大学 | 眼动数据的校正方法及装置 |
| CN109343700A (zh) * | 2018-08-31 | 2019-02-15 | 深圳市沃特沃德股份有限公司 | 眼动控制校准数据获取方法和装置 |
| CN109375765A (zh) * | 2018-08-31 | 2019-02-22 | 深圳市沃特沃德股份有限公司 | 眼球追踪交互方法和装置 |
| CN109976514A (zh) * | 2019-03-01 | 2019-07-05 | 四川大学 | 基于眼球误差模型的眼动数据校正方法 |
| CN110209277A (zh) * | 2019-05-29 | 2019-09-06 | 华南理工大学 | 一种仅基于瞳孔特征的头戴式视线跟踪方法 |
Non-Patent Citations (1)
| Title |
|---|
| 周小龙 等: "基于3D人眼模型的视线跟踪技术综述", 《计算机辅助设计与图形学学报》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113342157A (zh) * | 2020-02-18 | 2021-09-03 | Oppo广东移动通信有限公司 | 眼球追踪处理方法及相关装置 |
| CN112104734A (zh) * | 2020-09-15 | 2020-12-18 | 北京百度网讯科技有限公司 | 用于推送信息的方法、装置、设备以及存储介质 |
| CN114422686A (zh) * | 2020-10-13 | 2022-04-29 | Oppo广东移动通信有限公司 | 参数调整方法及相关装置 |
| CN112799510A (zh) * | 2021-01-27 | 2021-05-14 | 清华大学 | 多风格自然眼球运动的自动化生成方法和装置 |
| CN112799510B (zh) * | 2021-01-27 | 2022-09-09 | 清华大学 | 多风格自然眼球运动的自动化生成方法和装置 |
| CN113573040A (zh) * | 2021-07-07 | 2021-10-29 | 深圳市创鑫未来科技有限公司 | 自动校准人眼追踪裸眼3d显示的立体图案、装置及方法 |
| CN113573040B (zh) * | 2021-07-07 | 2024-05-03 | 深圳市创鑫未来科技有限公司 | 自动校准人眼追踪裸眼3d显示的立体图案、装置及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110780742B (zh) | 2021-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110780742B (zh) | 眼球追踪处理方法及相关装置 | |
| US11797084B2 (en) | Method and apparatus for training gaze tracking model, and method and apparatus for gaze tracking | |
| CN102274633B (zh) | 图像显示系统、装置以及方法 | |
| CN108184050B (zh) | 一种拍照方法、移动终端 | |
| US11574613B2 (en) | Image display method, image processing method and relevant devices | |
| CN104536579B (zh) | 交互式三维实景与数字图像高速融合处理系统及处理方法 | |
| US20190244369A1 (en) | Display device and method for image processing | |
| US9412190B2 (en) | Image display system, image display apparatus, image display method, and non-transitory storage medium encoded with computer readable program | |
| CN108762496B (zh) | 一种信息处理方法及电子设备 | |
| CN109144252B (zh) | 对象确定方法、装置、设备和存储介质 | |
| CN110286754B (zh) | 基于眼球追踪的投射方法及相关设备 | |
| CN111602139A (zh) | 图像处理方法、装置、控制终端及可移动设备 | |
| CN111290580B (zh) | 基于视线追踪的校准方法及相关装置 | |
| CN109426343B (zh) | 基于虚拟现实的协作训练方法及系统 | |
| US11798177B2 (en) | Hand tracking method, device and system | |
| CN109978996B (zh) | 生成表情三维模型的方法、装置、终端及存储介质 | |
| CN103517060A (zh) | 一种终端设备的显示控制方法及装置 | |
| CN113342157B (zh) | 眼球追踪处理方法及相关装置 | |
| CN110908511B (zh) | 触发重新校正的方法及相关装置 | |
| EP4307220A1 (en) | Method for detecting human body key point and related apparatus | |
| CN112069863B (zh) | 一种面部特征的有效性判定方法及电子设备 | |
| US11531401B2 (en) | Data replacement apparatus, computing device, and program for user and avatar coordination | |
| CN111580665B (zh) | 注视点预测方法、装置、移动终端及存储介质 | |
| CN111610886A (zh) | 触控屏幕亮度的调整方法、设备及计算机可读存储介质 | |
| CN108960097B (zh) | 一种获取人脸深度信息的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |