CN111580665A - 注视点预测方法、装置、移动终端及存储介质 - Google Patents

注视点预测方法、装置、移动终端及存储介质 Download PDF

Info

Publication number
CN111580665A
CN111580665A CN202010392150.7A CN202010392150A CN111580665A CN 111580665 A CN111580665 A CN 111580665A CN 202010392150 A CN202010392150 A CN 202010392150A CN 111580665 A CN111580665 A CN 111580665A
Authority
CN
China
Prior art keywords
point
fixation
historical
fixation point
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010392150.7A
Other languages
English (en)
Other versions
CN111580665B (zh
Inventor
韩世广
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202010392150.7A priority Critical patent/CN111580665B/zh
Publication of CN111580665A publication Critical patent/CN111580665A/zh
Application granted granted Critical
Publication of CN111580665B publication Critical patent/CN111580665B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Telephone Function (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本申请实施例提供一种注视点预测方法、装置、移动终端及存储介质，该方法包括：获取N个历史注视点的位置和对应的生成时间，根据N个历史注视点的位置和对应的生成时间拟合得到注视点的变化趋势曲线，N为大于或等于2的整数；根据注视点的变化趋势曲线计算注视点的运动加速度；根据注视点的运动加速度和变化趋势曲线预测未来时刻的注视点的位置。本申请实施例可以解决输出的注视点出现滞后的问题。

Description

注视点预测方法、装置、移动终端及存储介质
技术领域
本申请涉及终端技术领域，具体涉及一种注视点预测方法、装置、移动终端及存储介质。
背景技术
随着智能手机等移动终端越来越普及，移动终端的功能也越来越多。眼球追踪技术可以通过检测用户眼球的状态来执行相应的控制操作。注视点的获取是眼球追踪的一个重要的步骤。当前存在的技术问题是眼球追踪得到的注视点会有抖动，比如，短时间飞出注视区域(如眨眼时)，导致得到的注视点出现抖动。
目前，为了解决注视点抖动的问题，一般采用滤波算法消除抖动，但是使用滤波算法消除抖动会带来输出的注视点出现滞后性问题。
发明内容
本申请实施例提供一种注视点预测方法、装置、移动终端及存储介质，可以解决输出的注视点出现滞后的问题。
本申请实施例的第一方面提供了一种注视点预测方法，包括：
获取N个历史注视点的位置和对应的生成时间，根据所述N个历史注视点的位置和对应的生成时间拟合得到注视点的变化趋势曲线，N为大于或等于2的整数；
根据注视点的变化趋势曲线计算注视点的运动加速度；
根据所述注视点的运动加速度和所述变化趋势曲线预测未来时刻的注视点的位置。
本申请实施例的第二方面提供了一种注视点预测装置，包括：
获取单元，用于获取N个历史注视点的位置和对应的生成时间；
拟合单元，用于根据所述N个历史注视点的位置和对应的生成时间拟合得到注视点的变化趋势曲线，N为大于或等于2的整数；
计算单元，用于根据注视点的变化趋势曲线计算注视点的运动加速度；
预测单元，用于根据所述注视点的运动加速度和所述变化趋势曲线预测未来时刻的注视点的位置。
本申请实施例的第三方面提供了一种移动终端，包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如本申请实施例第一方面中的步骤指令。
本申请实施例的第四方面提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。
本申请实施例的第五方面提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
本申请实施例中，获取N个历史注视点的位置和对应的生成时间，根据N个历史注视点的位置和对应的生成时间拟合得到注视点的变化趋势曲线；根据注视点的变化趋势曲线计算注视点的运动加速度；根据注视点的运动加速度和变化趋势曲线预测未来时刻的注视点的位置。本申请实施例可以根据历史注视点的位置和对应的生成时间拟合得到注视点的变化趋势曲线，得到注视点在一段时间内的运动加速度，从而可以根据注视点的运动加速度和变化趋势曲线预测未来时刻的注视点的位置，可以在未来时刻及时输出注视点的位置，解决输出的注视点出现滞后的问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种注视点预测方法的流程示意图；
图2a是本申请实施例提供的一种注视点丢帧的示意图；
图2b是本申请实施例提供的一种注视点出现滞后的示意图；
图3a是本申请实施例提供的一种拟合横坐标随时间变化曲线的示意图；
图3b是本申请实施例提供的一种拟合纵坐标随时间变化曲线的示意图；
图4a为本申请实施例提供的一种预测未来时刻的注视点的横坐标的示意图；
图4b为本申请实施例提供的一种预测未来时刻的注视点的纵坐标的示意图；
图5是本申请实施例提供的另一种注视点预测方法的流程示意图；
图6是本申请实施例提供的一种眼球追踪产生输入事件的流程示意图；
图7为本申请实施例提供的一种注视点预测装置的结构示意图；
图8是本申请实施例提供的一种移动终端的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本申请所描述的实施例可以与其它实施例相结合。
本申请实施例所涉及到的移动终端可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(user equipment，UE)，移动台(mobile station，MS)，终端设备(terminaldevice)等等。为方便描述，上面提到的设备统称为移动终端。
请参阅图1，图1是本申请实施例提供的一种注视点预测方法的流程示意图。如图1所示，该注视点预测方法可以包括如下步骤。
101，移动终端获取N个历史注视点的位置和对应的生成时间，根据N个历史注视点的位置和对应的生成时间拟合得到注视点的变化趋势曲线，N为大于或等于2的整数。
本申请实施例中，用户的眼球在显示屏上的视线落点可以称为注视点。移动终端可以通过眼球追踪算法来计算注视点的位置。为了保证眼球追踪功能的正常，移动终端可以周期性的输出注视点的位置。
当出现以下情况时，注视点会短时间飞出注视区域，注视点出现抖动。
(1)移动终端和/或用户头部有轻微抖动；
(2)用户眼球注意力不是持续集中(比如，眨眼)，导致瞳孔抖动；
(3)当前眼球追踪算法在处理红外图像时容易出现一些误差，导致注视点输出抖动。
如果出现注视点抖动，有两种处理方法，一种是忽略抖动，另一种是采用滤波算法消除抖动。忽略抖动会导致移动终端不能周期性的输出注视点，出现注视点丢帧。请参阅图2a，图2a是本申请实施例提供的一种注视点丢帧的示意图。如图2a所示，在t1时刻、t2时刻输出注视点，t3时刻未输出注视点，t4时刻、t5时刻输出注视点。从图2a可以看出，在t3时刻出现注视点丢帧。如果出现注视点丢帧，导致注视点不能按照固定频率周期性的输出，此时注视点会表现卡顿，在丢帧的那个周期，丢失眼球追踪的能力。
采用滤波算法消除抖动会带来注视点出现滞后性问题，由于滤波算法较为复杂，需要较长时间才能计算出滤波后的注视点的位置，等计算得到滤波后的注视点的位置后，用户的眼球早已移动到其他位置了。可见，采用滤波算法消除抖动使得注视点输出会滞后，眼球不能“看哪打哪”，注视点跟随出现滞后，导致用户实际注视点与滤波后输出的注视点的位置出现较大偏差。请参阅图2b，图2b是本申请实施例提供的一种注视点出现滞后的示意图。如图2b所示，实际注视点为P1，滤波后的注视点为P2，二者出现较大偏差。
本申请实施例中，注视点的位置指的是注视点在显示屏上的坐标。注视点的生成时间指的是移动终端生成注视点的时间。历史注视点为移动终端历史生成的注视点。历史生成的注视点必须包含至少一个非预测的注视点。历史生成的注视点可以包含图1的方法预测的注视点，也可以不包含图1的方法预测的注视点。
N至少大于或等于2。在其他条件不变的情况下，N越大，拟合得到注视点的变化趋势曲线越好，越逼近用户在显示屏上的真实注视点的移动变化趋势。注视点的变化趋势曲线是注视点的位置随时间变化的曲线。
102，移动终端根据注视点的变化趋势曲线计算注视点的运动加速度。
本申请实施例中，注视点的变化趋势曲线是注视点的位置随时间变化的曲线，曲线的二阶导数即为加速度。可以在变化趋势曲线上取一定数量的数据点，计算各个数据点的二阶导数的平均值，得到注视点的运动加速度。
103，移动终端根据注视点的运动加速度和变化趋势曲线预测未来时刻的注视点的位置。
本申请实施例中，当确定注视点的运动加速度和变化趋势曲线后，根据注视点的加速度可以计算从当前时刻到未来时刻这段时间在变化趋势曲线上行走的距离，从而可以找到未来时刻在变化趋势曲线上对应的位置，即为未来时刻的注视点的位置。注视点的位置可以包括注视点在显示屏上的横坐标和纵坐标。
其中，未来时刻，可以包括未来需要输出注视点的至少一个时刻，比如，未来时刻可以是下一时刻。由于注视点是周期性的输出的，则下一时刻可以提前获取。
本申请实施例能够基于加速度预测未来时刻的注视点的位置，其原理在于，在一段时间内，人眼的眼球移动的加速度是不变的。
本申请实施例中，可以根据历史注视点的位置和对应的生成时间拟合得到注视点的变化趋势曲线，得到注视点在一段时间内的运动加速度，从而可以根据注视点的运动加速度和变化趋势曲线预测未来时刻的注视点的位置，可以在未来时刻及时输出注视点的位置，解决输出的注视点出现滞后的问题。
可选的，步骤101中，移动终端获取N个历史注视点的位置和对应的生成时间，具体可以包括如下步骤：
移动终端获取生成时间在当前时间之前并且与所述当前时间最近的N个历史注视点的位置和对应的生成时间。
本申请实施例中，由于移动终端可以周期性的输出注视点的位置，每个注视点的生成时间都可以确定。移动终端可以获取在当前时间之前并且与当前时间最近的N个历史注视点的位置和对应的生成时间。获取与当前时间最近的N个历史注视点来拟合注视点的变化趋势曲线，使得拟合的变化趋势曲线更加接近用户在显示屏上的真实注视点的移动变化趋势。
可选的，步骤101中，移动终端根据所述N个历史注视点的位置和对应的生成时间拟合得到注视点的变化趋势曲线，具体可以包括如下步骤：
(11)移动终端根据所述N个历史注视点的横坐标和所述N个历史注视点的生成时间，采用二次函数拟合方法拟合横坐标随时间变化的第一二元二次多项式，得到横坐标随时间变化曲线；
(12)移动终端根据所述N个历史注视点的纵坐标和所述N个历史注视点的生成时间，采用二次函数拟合方法拟合纵坐标随时间变化的第二二元二次多项式，得到纵坐标随时间变化曲线。
本申请实施例中，N个历史注视点的位置包括N个历史注视点的横坐标和纵坐标。历史注视点的横坐标为历史注视点在显示屏的横轴上的坐标，历史注视点的纵坐标为历史注视点在显示屏的纵轴上的坐标。
第一二元二次多项式为x＝ax*t2+bx；其中，x为注视点的横坐标，t为注视点的生成时间，ax、bx为第一二元二次多项式的拟合系数。二次函数拟合方法可以包括最小二乘法。为了得到第一二元二次多项式，需要至少两个历史注视点的横坐标和生成时间。第一二元二次多项式是横坐标随时间变化曲线的数学函数表达式。请参阅图3a，图3a是本申请实施例提供的一种拟合横坐标随时间变化曲线的示意图。如图3a所示，横坐标随时间变化曲线的横坐标为时间，纵坐标为注视点的横坐标。图3a的曲线的函数表达式为x＝ax*t2+bx；基于五个历史注视点的数据拟合得到。其中，五个历史注视点在图3a中的坐标分别为(t1，2)、(t2，1)、(t3，5)、(t4，11)、(t5，13)。
第二二元二次多项式为y＝ay*t2+by；其中，y为注视点的纵坐标，t为注视点的生成时间，ay、by为第二二元二次多项式的拟合系数。二次函数拟合方法可以包括最小二乘法。为了得到第二二元二次多项式，需要至少两个历史注视点的纵坐标和生成时间。第二二元二次多项式是纵坐标随时间变化曲线的数学函数表达式。请参阅图3b，图3b是本申请实施例提供的一种拟合纵坐标随时间变化曲线的示意图。如图3b所示，纵坐标随时间变化曲线的横坐标为时间，纵坐标为注视点的纵坐标。图3b的曲线的函数表达式为y＝ay*t2+by；基于五个历史注视点的数据拟合得到。其中，五个历史注视点在图3b中的坐标分别为(t1，3)、(t2，5)、(t3，8)、(t4，11)、(t5，21)。
可选的，移动终端根据注视点的变化趋势曲线计算注视点的运动加速度，具体可以包括如下步骤：
(21)移动终端获取所述第一二元二次多项式的二次元系数，根据所述第一二元二次多项式的二次元系数计算注视点的在横坐标方向的运动加速度；
(22)移动终端获取所述第二二元二次多项式的二次元系数，根据所述第二二元二次多项式的二次元系数计算注视点的在纵坐标方向的运动加速度。
本申请实施例中，若得到第一二元二次多项式x＝ax*t2+bx，则第一二元二次多项式的二次元系数为ax，注视点的在横坐标方向的运动加速度为2ax。拟合成二元二次多项式的横坐标随时间变化曲线，可以根据曲线的函数表达式快速计算注视点的在横坐标方向的运动加速度。若得到第二二元二次多项式y＝ay*t2+by，则第二二元二次多项式的二次元系数为ay，注视点的在横坐标方向的运动加速度为2ay。拟合成二元二次多项式的纵坐标随时间变化曲线，可以根据曲线的函数表达式快速计算注视点的在纵坐标方向的运动加速度。
可选的，移动终端根据所述注视点的运动加速度和所述变化趋势曲线预测未来时刻的注视点的位置，具体可以包括如下步骤：
(31)移动终端将所述未来时刻的时间点带入所述第一二元二次多项式，根据所述注视点的在横坐标方向的运动加速度计算所述未来时刻的注视点的横坐标；
(32)移动终端将所述未来时刻的时间点带入所述第二二元二次多项式，根据所述注视点的在纵坐标方向的运动加速度计算所述未来时刻的注视点的纵坐标。
本申请实施例中，未来时刻，可以是下一次输出注视点的时刻。由于注视点是周期性的输出，则下一时刻可以提前获取，也即，可以提前预测下一时刻的注视点的坐标，可以在未来时刻及时输出注视点的位置，解决输出的注视点出现滞后的问题。每一个未来时刻的注视点都可以根据之前最近的N个历史注视点预测得到，所以也不会出现注视点丢帧的情况。
若得到第一二元二次多项式为x＝ax*t2+bx，由于ax、bx已知，若未来时刻的时间点为t6，将t6带入该第一二元二次多项式，即可得到x的值，即为未来时刻的注视点的横坐标。请参阅图4a，图4a为本申请实施例提供的一种预测未来时刻的注视点的横坐标的示意图。如图4a所示，确定未来时刻为t6后，找到曲线在t6时刻对应的x的值，即可得到预测的未来时刻的注视点的横坐标值x6。
类似的，若得到第二二元二次多项式为y＝ay*t2+by，由于ay、by已知，若未来时刻的时间点为t6，将t6带入该第二二元二次多项式，即可得到y的值，即为未来时刻的注视点的纵坐标。请参阅图4b，图4b为本申请实施例提供的一种预测未来时刻的注视点的纵坐标的示意图。如图4b所示，确定未来时刻为t6后，找到曲线在t6时刻对应的y的值，即可得到预测的未来时刻的注视点的纵坐标值y6。
请参阅图5，图5是本申请实施例提供的另一种注视点预测方法的流程示意图。如图5所示，该注视点预测方法可以包括如下步骤。
501，移动终端检测生成的注视点是否出现抖动。若是，则执行步骤502，若否，则执行步骤505。
本申请实施例中，注视点抖动，指的是当用户实际注视的点没有发生变化时，移动终端通过步骤505计算得到的注视点的位置出现抖动的现象。出现注视点抖动的原因一般有以下三种：
(1)移动终端和/或用户头部有轻微抖动；
(2)用户眼球注意力不是持续集中(比如，眨眼)，导致瞳孔抖动；
(3)当前眼球追踪算法在处理红外图像时容易出现一些误差，导致注视点输出抖动。
当检测到生成的注视点出现抖动时，则无法使用步骤505的方式输出注视点的坐标，采用步骤502至步骤504的方式预测下一时刻的注视点的坐标，可以在未来时刻及时输出注视点的位置，解决输出的注视点出现滞后的问题。每一个未来时刻的注视点都可以根据之前最近的N个历史注视点预测得到，所以也不会出现注视点丢帧的情况。
502，移动终端获取N个历史注视点的位置和对应的生成时间，根据N个历史注视点的位置和对应的生成时间拟合得到注视点的变化趋势曲线，N为大于或等于2的整数。
503，移动终端根据注视点的变化趋势曲线计算注视点的运动加速度。
504，移动终端根据注视点的运动加速度和变化趋势曲线预测未来时刻的注视点的位置。
其中，步骤502至步骤504的具体实施可以参见图1所示的步骤101至步骤103，此处不再赘述。
505，移动终端获取用户人眼图像，从用户人眼图像提取用户眼部特征数据，将用户眼部特征数据输入眼球追踪模型，得到注视点的坐标。
本申请实施例中，用户人眼图像可以是移动终端通过前置摄像头(比如，红外摄像头)连续拍摄多张人眼图像中的任意一张。用户人眼图像也可以由移动终端通过前置摄像头连续拍摄多张人眼图像合成得到。比如，移动终端可以连续拍摄(比如，前置摄像头采用连拍模式)N张人眼图像，对于N张人眼图像中的每张人眼图像，都可以从中提取用户眼部特征数据，将用户眼部特征数据输入眼球追踪模型，获得注视点在显示屏上的N个坐标，对N个坐标求平均值，即可得到注视点在显示屏上的坐标，即为注视点的坐标。
其中，移动终端可以通过红外光源(infrared light source，IR)摄像头或红绿蓝(red green blue，RGB)摄像头拍摄用户人眼图像。IR摄像头可以发出红外光，红外光照射在人眼上出现光斑，IR摄像头可以拍摄灰度人眼图像。其中，RGB摄像头可以拍摄彩色人眼图像。
一般来说，IR摄像头会瞳孔反射红外光瞳孔图像，IR摄像头会比RGB摄像头更加准确；RGB方案需要更多的图像处理，计算精度和准确性IR摄像头要高于RGB摄像头。在通用性方面，RGB摄像头的结构和方案设计要比IR摄像头更通用。
本申请实施例中，眼部特征数据可以包括用户眼睛的瞳孔中心坐标、用户眼睛的角膜反射光斑中心坐标、用户眼睛的左眼角坐标、右眼角坐标中的一种或多种组合。
比如，眼部特征数据中的X轴坐标可以包括左眼角坐标的X轴坐标与眼球瞳孔中心坐标的X轴坐标的差值；眼部特征数据中的Y轴坐标可以包括左眼角坐标的Y轴坐标与眼球瞳孔中心坐标的Y轴坐标的差值。又比如，眼部特征数据中的X轴坐标可以包括右眼角坐标的X轴坐标与眼球瞳孔中心坐标的X轴坐标的差值；眼部特征数据中的Y轴坐标可以包括右眼角坐标的Y轴坐标与眼球瞳孔中心坐标的Y轴坐标的差值。
眼球追踪模型可以是多元多次多项式函数模型。比如，以二元二次多项式函数模型为例：
Zx＝a0+a1*vx+a2*vy+a3*vx2+a4*vy2+a5*vx*vy
Zy＝b0+b1*vx+b2*vy+b3*vx2+b4*vy2+b5*vx*vy；
其中，在眼球追踪过程中，Zx指的是用户视线注视显示屏上的视线落点(即为注视点)的X轴坐标，Zy指的是注视点的Y轴坐标。vx指的是眼部特征数据中的X轴坐标；vy指的是眼部特征数据中的Y轴坐标。a0、b0、a1、b1、a2、b2、a3、b3、a4、b4、a5、b5为眼球追踪模型的模型参数。这些模型参数在眼球追踪模型的标定过程中确定。
将眼部特征数据中的X轴坐标vx、眼部特征数据中的Y轴坐标vy输入该眼球追踪模型，即可得到注视点的X轴坐标和Y轴坐标。
下面，结合具体的场景来阐述眼球追踪产生输入事件的流程。
请参阅图6，图6是本申请实施例提供的一种眼球追踪产生输入事件的流程示意图。如图6所示，实现眼球追踪需要的硬件包括：红外灯、红外传感器。工作流程如下：(1)红外灯发出红外光；(2)红外传感器获得红外图像；(3)获取瞳孔和亮斑的相关信息；(4)计算注视方法及注视点落点；(5)隔一段时间，根据注视点直接产生同注视点位置的触摸事件；或者经过处理后产生滑动事件等，从而实现眼球追踪的控制操作。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，移动终端为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所提供的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对移动终端进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
与上述一致的，请参阅图7，图7为本申请实施例提供的一种注视点预测装置的结构示意图。该注视点预测装置700可以包括获取单元701、拟合单元702、计算单元703和预测单元704，其中：
获取单元701，用于获取N个历史注视点的位置和对应的生成时间；
拟合单元702，用于根据所述N个历史注视点的位置和对应的生成时间拟合得到注视点的变化趋势曲线，N为大于或等于2的整数；
计算单元703，用于根据注视点的变化趋势曲线计算注视点的运动加速度；
预测单元704，用于根据所述注视点的运动加速度和所述变化趋势曲线预测未来时刻的注视点的位置。
可选的，所述拟合单元702根据所述N个历史注视点的位置和对应的生成时间拟合得到注视点的变化趋势曲线，具体为：根据所述N个历史注视点的横坐标和所述N个历史注视点的生成时间，采用二次函数拟合方法拟合横坐标随时间变化的第一二元二次多项式，得到横坐标随时间变化曲线；根据所述N个历史注视点的纵坐标和所述N个历史注视点的生成时间，采用二次函数拟合方法拟合纵坐标随时间变化的第二二元二次多项式，得到纵坐标随时间变化曲线。
可选的，所述计算单元703根据注视点的变化趋势曲线计算注视点的运动加速度，具体为：获取所述第一二元二次多项式的二次元系数，根据所述第一二元二次多项式的二次元系数计算注视点的在横坐标方向的运动加速度；获取所述第二二元二次多项式的二次元系数，根据所述第二二元二次多项式的二次元系数计算注视点的在纵坐标方向的运动加速度。
可选的，所述预测单元704根据所述注视点的运动加速度和所述变化趋势曲线预测未来时刻的注视点的位置，具体为：将所述未来时刻的时间点带入所述第一二元二次多项式，根据所述注视点的在横坐标方向的运动加速度计算所述未来时刻的注视点的横坐标；将所述未来时刻的时间点带入所述第二二元二次多项式，根据所述注视点的在纵坐标方向的运动加速度计算所述未来时刻的注视点的纵坐标。
可选的，所述获取单元701获取N个历史注视点的位置和对应的生成时间，具体为：获取生成时间在当前时间之前并且与所述当前时间最近的N个历史注视点的位置和对应的生成时间。
可选的，该注视点预测装置700还可以包括检测单元705。
所述检测单元705，还用于在所述获取单元701获取N个历史注视点的位置和对应的生成时间之前，检测生成的注视点是否出现抖动；
所述获取单元701，还用于在所述检测单元705检测到生成的注视点出现抖动的情况下，获取N个历史注视点的位置和对应的生成时间。
可选的，该注视点预测装置700还可以包括注视点生成单元706。
注视点生成单元706，用于在所述检测单元705检测到生成的注视点未出现抖动的情况下，获取用户人眼图像，从所述用户人眼图像提取用户眼部特征数据，将所述用户眼部特征数据输入眼球追踪模型，得到注视点的坐标。
其中，获取单元701、拟合单元702、计算单元703、预测单元704、检测单元705和注视点生成单元706可以是移动终端的处理器。
本申请实施例中，可以根据历史注视点的位置和对应的生成时间拟合得到注视点的变化趋势曲线，得到注视点在一段时间内的运动加速度，从而可以根据注视点的运动加速度和变化趋势曲线预测未来时刻的注视点的位置，可以在未来时刻及时输出注视点的位置，解决输出的注视点出现滞后的问题。
请参阅图8，图8是本申请实施例提供的一种移动终端的结构示意图，如图8所示，该移动终端800包括处理器801和存储器802，处理器801、存储器802可以通过通信总线803相互连接。通信总线803可以是外设部件互连标准(Peripheral Component Interconnect，简称PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，简称EISA)总线等。通信总线803可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。存储器802用于存储计算机程序，计算机程序包括程序指令，处理器801被配置用于调用程序指令，上述程序包括用于执行图1至图5所示的方法。
处理器801可以是通用中央处理器(CPU)，微处理器，特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制以上方案程序执行的集成电路。
存储器802可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(ElectricallyErasable Programmable Read-Only Memory，EEPROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过总线与处理器相连接。存储器也可以和处理器集成在一起。
该移动终端800还可以包括摄像头804和显示屏805。摄像头804可以包括前置摄像头、后置摄像头等。显示屏805可以包括液晶显示屏、LED显示屏、OLED显示屏等。
此外，该移动终端800还可以包括通信接口、天线等通用部件，在此不再详述。
本申请实施例中，可以根据历史注视点的位置和对应的生成时间拟合得到注视点的变化趋势曲线，得到注视点在一段时间内的运动加速度，从而可以根据注视点的运动加速度和变化趋势曲线预测未来时刻的注视点的位置，可以在未来时刻及时输出注视点的位置，解决输出的注视点出现滞后的问题。
本申请实施例还提供一种计算机可读存储介质，其中，该计算机可读存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任何一种注视点预测方法的部分或全部步骤。
本申请实施例还提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，该计算机程序使得计算机执行如上述方法实施例中记载的任何一种注视点预测方法的部分或全部步骤。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在申请明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件程序模块的形式实现。
所述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器、随机存取器、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种注视点预测方法，其特征在于，包括：
获取N个历史注视点的位置和对应的生成时间，根据所述N个历史注视点的位置和对应的生成时间拟合得到注视点的变化趋势曲线，N为大于或等于2的整数；
根据注视点的变化趋势曲线计算注视点的运动加速度；
根据所述注视点的运动加速度和所述变化趋势曲线预测未来时刻的注视点的位置。
2.根据权利要求1所述的方法，其特征在于，所述根据所述N个历史注视点的位置和对应的生成时间拟合得到注视点的变化趋势曲线，包括：
根据所述N个历史注视点的横坐标和所述N个历史注视点的生成时间，采用二次函数拟合方法拟合横坐标随时间变化的第一二元二次多项式，得到横坐标随时间变化曲线；
根据所述N个历史注视点的纵坐标和所述N个历史注视点的生成时间，采用二次函数拟合方法拟合纵坐标随时间变化的第二二元二次多项式，得到纵坐标随时间变化曲线。
3.根据权利要求2所述的方法，其特征在于，所述根据注视点的变化趋势曲线计算注视点的运动加速度，包括：
获取所述第一二元二次多项式的二次元系数，根据所述第一二元二次多项式的二次元系数计算注视点的在横坐标方向的运动加速度；
获取所述第二二元二次多项式的二次元系数，根据所述第二二元二次多项式的二次元系数计算注视点的在纵坐标方向的运动加速度。
4.根据权利要求3所述的方法，其特征在于，所述根据所述注视点的运动加速度和所述变化趋势曲线预测未来时刻的注视点的位置，包括：
将所述未来时刻的时间点带入所述第一二元二次多项式，根据所述注视点的在横坐标方向的运动加速度计算所述未来时刻的注视点的横坐标；
将所述未来时刻的时间点带入所述第二二元二次多项式，根据所述注视点的在纵坐标方向的运动加速度计算所述未来时刻的注视点的纵坐标。
5.根据权利要求1所述的方法，其特征在于，所述获取N个历史注视点的位置和对应的生成时间，包括：
获取生成时间在当前时间之前并且与所述当前时间最近的N个历史注视点的位置和对应的生成时间。
6.根据权利要求1～5任一项所述的方法，其特征在于，所述获取N个历史注视点的位置和对应的生成时间之前，所述方法还包括：
检测生成的注视点是否出现抖动；
若是，则执行所述获取N个历史注视点的位置和对应的生成时间的步骤。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
若所述生成的注视点未出现抖动，则获取用户人眼图像，从所述用户人眼图像提取用户眼部特征数据，将所述用户眼部特征数据输入眼球追踪模型，得到注视点的坐标。
8.一种注视点预测装置，其特征在于，包括：
获取单元，用于获取N个历史注视点的位置和对应的生成时间；
拟合单元，用于根据所述N个历史注视点的位置和对应的生成时间拟合得到注视点的变化趋势曲线，N为大于或等于2的整数；
计算单元，用于根据注视点的变化趋势曲线计算注视点的运动加速度；
预测单元，用于根据所述注视点的运动加速度和所述变化趋势曲线预测未来时刻的注视点的位置。
9.一种移动终端，其特征在于，包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1～7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1～7任一项所述的方法。
CN202010392150.7A 2020-05-11 2020-05-11 注视点预测方法、装置、移动终端及存储介质 Active CN111580665B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010392150.7A CN111580665B (zh) 2020-05-11 2020-05-11 注视点预测方法、装置、移动终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010392150.7A CN111580665B (zh) 2020-05-11 2020-05-11 注视点预测方法、装置、移动终端及存储介质

Publications (2)

Publication Number Publication Date
CN111580665A true CN111580665A (zh) 2020-08-25
CN111580665B CN111580665B (zh) 2023-01-10

Family

ID=72115368

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010392150.7A Active CN111580665B (zh) 2020-05-11 2020-05-11 注视点预测方法、装置、移动终端及存储介质

Country Status (1)

Country Link
CN (1) CN111580665B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112083454A (zh) * 2020-09-18 2020-12-15 北京卡路里信息技术有限公司 轨迹纠偏方法、装置、设备及存储介质
CN112486326A (zh) * 2020-12-14 2021-03-12 安徽鸿程光电有限公司 手势控制运动的位置坐标预测方法、智能终端及介质
CN112714398A (zh) * 2021-01-26 2021-04-27 上海明略人工智能(集团)有限公司 修正室内定位系统定位坐标漂移的方法、装置及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105704471A (zh) * 2014-12-10 2016-06-22 三星电子株式会社 用于预测眼睛位置的设备和方法
CN106648049A (zh) * 2016-09-19 2017-05-10 上海青研科技有限公司 一种基于眼球追踪及眼动点预测的立体渲染方法
US20170193671A1 (en) * 2016-01-06 2017-07-06 Samsung Electronics Co., Ltd. Method and apparatus for predicting eye position
CN107770561A (zh) * 2017-10-30 2018-03-06 河海大学 一种利用眼动跟踪数据的多分辨率虚拟现实设备屏幕内容编码算法
CN110058694A (zh) * 2019-04-24 2019-07-26 腾讯科技（深圳）有限公司 视线追踪模型训练的方法、视线追踪的方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105704471A (zh) * 2014-12-10 2016-06-22 三星电子株式会社 用于预测眼睛位置的设备和方法
US20170193671A1 (en) * 2016-01-06 2017-07-06 Samsung Electronics Co., Ltd. Method and apparatus for predicting eye position
CN106648049A (zh) * 2016-09-19 2017-05-10 上海青研科技有限公司 一种基于眼球追踪及眼动点预测的立体渲染方法
CN107770561A (zh) * 2017-10-30 2018-03-06 河海大学 一种利用眼动跟踪数据的多分辨率虚拟现实设备屏幕内容编码算法
CN110058694A (zh) * 2019-04-24 2019-07-26 腾讯科技（深圳）有限公司 视线追踪模型训练的方法、视线追踪的方法及装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112083454A (zh) * 2020-09-18 2020-12-15 北京卡路里信息技术有限公司 轨迹纠偏方法、装置、设备及存储介质
CN112486326A (zh) * 2020-12-14 2021-03-12 安徽鸿程光电有限公司 手势控制运动的位置坐标预测方法、智能终端及介质
CN112486326B (zh) * 2020-12-14 2022-05-17 安徽鸿程光电有限公司 手势控制运动的位置坐标预测方法、智能终端及介质
CN112714398A (zh) * 2021-01-26 2021-04-27 上海明略人工智能(集团)有限公司 修正室内定位系统定位坐标漂移的方法、装置及设备
CN112714398B (zh) * 2021-01-26 2024-03-29 上海明略人工智能(集团)有限公司 修正室内定位系统定位坐标漂移的方法、装置及设备

Also Published As

Publication number Publication date
CN111580665B (zh) 2023-01-10

Similar Documents

Publication Publication Date Title
EP4113258B1 (en) Neural network training for three dimensional (3d) gaze prediction with calibration parameters
US20210271321A1 (en) Method and apparatus for training gaze tracking model, and method and apparatus for gaze tracking
CN111580665B (zh) 注视点预测方法、装置、移动终端及存储介质
US10650533B2 (en) Apparatus and method for estimating eye gaze location
EP3608755B1 (en) Electronic apparatus operated by head movement and operation method thereof
CN109803574B (zh) 具有显示器、透镜、照明器和图像传感器的可穿戴设备
EP2634727B1 (en) Method and portable terminal for correcting gaze direction of user in image
US11132544B2 (en) Visual fatigue recognition method, visual fatigue recognition device, virtual reality apparatus and storage medium
US11311210B2 (en) Posture analysis systems and methods
US20170163958A1 (en) Method and device for image rendering processing
EP3570145A1 (en) Method to reliably detect correlations between gaze and stimuli
EP3557376A2 (en) Training of a neural network for three dimensional (3d) gaze prediction
US10582116B2 (en) Shooting control method, shooting control apparatus and user equipment
CN110276239B (zh) 眼球追踪方法、电子装置及非暂态电脑可读取记录媒体
US20140043229A1 (en) Input device, input method, and computer program
CN110780742B (zh) 眼球追踪处理方法及相关装置
CN109254662A (zh) 移动设备操作方法、装置、计算机设备及存储介质
CN110706283B (zh) 用于视线追踪的标定方法、装置、移动终端及存储介质
WO2019067903A1 (en) HEAD POSTURE ESTIMATION FROM A LOCAL EYE REGION
JP2015090569A (ja) 情報処理装置及び情報処理方法
CN110597387B (zh) 基于人工智能的画面显示方法和装置、计算设备、存储介质
CN107422844B (zh) 一种信息处理方法及电子设备
CN113342157A (zh) 眼球追踪处理方法及相关装置
CN111240628A (zh) 内容显示方法、装置、移动终端及存储介质
CN112528107A (zh) 内容数据的展示方法、装置和服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant