CN111399658B - 眼球注视点的校准方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请实施例公开了一种眼球注视点的校准方法、装置、电子设备及存储介质，所述方法包括如下步骤：通过在目标对象的眼球注视显示屏时，获取当前时间戳下目标对象的眼球注视显示屏上的当前原始注视点，若当前时间戳为在初始时间戳之后的其他时间戳，根据上一时间戳下的上一原始注视点和上一目标注视点对当前原始注视点进行校准，得到当前目标注视点，在显示屏上显示当前目标注视点，如此，通过根据上一时间戳下的上一原始注视点和上一目标注视点对当前原始注视点进行校准，从而有效降低眼球注视点存在的抖动，提高眼球追踪的跟随性。

Description

眼球注视点的校准方法、装置、电子设备及存储介质

技术领域

本申请涉及眼球追踪技术领域，具体涉及一种眼球注视点的校准方法、装置、电子设备及存储介质。

背景技术

随着电子设备摄影功能越来越强大，通过电子设备上设置的摄像头进行眼球追踪也逐渐进入大众的视线。现阶段，眼球追踪算法存在计算误差，在追踪用户的眼球关注显示屏上的注视点时，通过眼球追踪模块计算出来的注视点往往抖动较大。此外，当用户观看屏幕的时候，若用户的眼球进行转动，电子设备在显示屏上显示注视点跟随眼球转动的跟随性也较差，导致影响用户体验。

发明内容

本申请实施例提供了一种眼球注视点的校准方法、装置、电子设备及存储介质，能够有效降低眼球注视点存在的抖动以及提高眼球追踪的跟随性。

第一方面，本申请实施例提供一种眼球注视点的校准方法，应用于电子设备，所述电子设备包括眼球追踪模块和显示屏，所述方法包括：

在目标对象的眼球注视所述显示屏时，获取当前时间戳下所述目标对象的眼球注视所述显示屏上的当前原始注视点，所述当前原始注视点为当前时间戳下通过所述眼球追踪模块根据眼球追踪算法计算得到的注视点；

若所述当前时间戳为在初始时间戳之后的其他时间戳，根据上一时间戳下的上一原始注视点和上一目标注视点对所述当前原始注视点进行校准，得到当前目标注视点，其中，所述初始时间戳为初次检测到所述目标对象注视所述显示屏上的注视点的时间戳；

在所述显示屏上显示所述当前目标注视点。

第二方面，本申请实施例提供一种眼球注视点的校准装置，应用于电子设备，所述电子设备包括眼球追踪模块和显示屏，所述装置包括：

获取单元，用于在目标对象的眼球注视所述显示屏时，获取当前时间戳下所述目标对象的眼球注视所述显示屏上的当前原始注视点，所述当前原始注视点为当前时间戳下通过所述眼球追踪模块根据眼球追踪算法计算得到的注视点；

校准单元，用于若所述当前时间戳为在初始时间戳之后的其他时间戳，根据上一时间戳下的上一原始注视点和上一目标注视点对所述当前原始注视点进行校准，得到当前目标注视点，其中，所述初始时间戳为初次检测到所述目标对象注视所述显示屏上的注视点的时间戳；

显示单元，用于在所述显示屏上显示所述当前目标注视点。

第三方面，本申请实施例提供一种电子设备，包括眼球追踪模块、显示屏、处理器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行本申请实施例第一方面中的步骤的指令。

第四方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。

第五方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。

实施本申请实施例，具备如下有益效果：

可以看出，本申请实施例中提供的眼球注视点的校准方法、装置、电子设备及存储介质，通过在目标对象的眼球注视显示屏时，获取当前时间戳下目标对象的眼球注视显示屏上的当前原始注视点，若当前时间戳为在初始时间戳之后的其他时间戳，根据上一时间戳下的上一原始注视点和上一目标注视点对当前原始注视点进行校准，得到当前目标注视点，在显示屏上显示当前目标注视点，如此，通过根据上一时间戳下的上一原始注视点和上一目标注视点对当前原始注视点进行校准，从而有效降低眼球注视点存在的抖动，提高眼球追踪的跟随性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1A是本申请实施例提供的一种电子设备的结构示意图；

图1B是本申请实施例提供的一种眼球注视点的校准方法的流程示意图；

图1C是本申请实施例提供的一种将不同时间戳下眼球追踪模块计算得到的注视点依次进行连接形成的轨迹示意图；

图1D是本申请实施例提供的一种S型函数的函数曲线图；

图1E是本申请实施例提供的一种预设映射函数的函数曲线图；

图1F是本申请实施例提供的一种不同时间戳下的目标注视点形成的轨迹示意图；

图2是本申请实施例提供的另一种眼球注视点的校准方法的流程示意图；

图3是本申请实施例提供的一种眼球注视点的校准方法的流程示意图；

图4是本申请实施例提供的一种电子设备的结构示意图；

图5是本申请实施例提供的一种眼球注视点的校准装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

目前眼球追踪技术方兴未艾，由于误差的存在，根据眼球追踪算法计算出的原始注视点往往抖动较大，如果直接在显示屏上显示原始注视点，往往会产生由较大误差导致的注视点的抖动和跟随性较差的问题，从而影响用户体验。其中，抖动性，是指当用户看着屏幕上静止某一点时候，通过眼球追踪算法进行眼球追踪，由于误差的存在，计算出的注视点不能完全静止，而是在一个小区域内抖动；跟随性，是指当用户看着屏幕的时候，注视点从一点移动到另一点，在显示屏上实际显示的注视点跟随眼球转动的敏捷程度。而通过现有的滑动平均滤波等方式无法解决注视点“抖动性”和“跟随性”的问题，因此，本方案提出了一种眼球注视点的校准的方案，能够有效降低眼球注视点存在的抖动以及提高眼球追踪的跟随性能。

本申请实施例所涉及到的电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备(智能手表、智能手环、无线耳机、增强现实/虚拟现实设备、智能眼镜)、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(userequipment，UE)，移动台(mobile station，MS)，终端设备(terminal device)等等。为方便描述，上面提到的设备统称为电子设备。

下面对本申请实施例进行详细介绍。

请参阅图1A，图1A是本申请实施例公开的一种电子设备的结构示意图，电子设备100包括存储和处理电路110，以及与所述存储和处理电路110连接的传感器170，其中：

电子设备100可以包括控制电路，该控制电路可以包括存储和处理电路110。该存储和处理电路110可以包括存储器，例如硬盘驱动存储器，非易失性存储器(例如闪存或用于形成固态驱动器的其它电子可编程只读存储器等)，易失性存储器(例如静态或动态随机存取存储器等)等，本申请实施例不作限制。存储和处理电路110中的处理电路可以用于控制电子设备100的运转。该处理电路可以基于一个或多个微处理器，微控制器，数字信号处理器，基带处理器，功率管理单元，音频编解码器芯片，专用集成电路，显示驱动器集成电路等来实现。

存储和处理电路110可用于运行电子设备100中的软件，例如互联网浏览应用程序，互联网协议语音(Voice over Internet Protocol,VOIP)电话呼叫应用程序，电子邮件应用程序，媒体播放应用程序，操作系统功能等。这些软件可以用于执行一些控制操作，例如，基于照相机的图像采集，基于环境光传感器的环境光测量，基于接近传感器的接近传感器测量，基于诸如发光二极管的状态指示灯等状态指示器实现的信息显示功能，基于触摸传感器的触摸事件检测，与在多个(例如分层的)显示屏上显示信息相关联的功能，与执行无线通信功能相关联的操作，与收集和产生音频信号相关联的操作，与收集和处理按钮按压事件数据相关联的控制操作，以及电子设备100中的其它功能等，本申请实施例不作限制。

电子设备100可以包括输入-输出电路150。输入-输出电路150可用于使电子设备100实现数据的输入和输出，即允许电子设备100从外部设备接收数据和也允许电子设备100将数据从电子设备100输出至外部设备。输入-输出电路150可以进一步包括传感器170。传感器170可以包括超声波指纹识别模组，还可以包括环境光传感器，基于光和电容的接近传感器，触摸传感器(例如，基于光触摸传感器和/或电容式触摸传感器，其中，触摸传感器可以是触控显示屏的一部分，也可以作为一个触摸传感器结构独立使用)，加速度传感器，和其它传感器等，超声波指纹识别模组可以集成于屏幕下方，或者，超声波指纹识别模组可以设置于电子设备的侧面或者背面，在此不作限定，该超声波指纹识别模组可以用于采集指纹图像。

传感器170可以包括第一摄像头和第二摄像头，第一摄像头可以为前置摄像头或者后置摄像头，第二摄像头可以为前置摄像头或者后置摄像头，第二摄像头可以为红外(Infrared Radiation，IR)摄像头或者可见光摄像头，IR摄像头在拍摄时，瞳孔反射红外光，因此IR摄像头在拍摄瞳孔图像会比RGB相机更加准确；可见光摄像头需要进行更多的后续瞳孔检测，计算精度和准确性比IR摄像头要高，通用性比IR摄像头更好，但是计算量大。

输入-输出电路150还可以包括一个或多个显示屏，例如显示屏130。显示屏130可以包括液晶显示屏，有机发光二极管显示屏，电子墨水显示屏，等离子显示屏，使用其它显示技术的显示屏中一种或者几种的组合。显示屏130可以包括触摸传感器阵列(即，显示屏130可以是触控显示屏)。触摸传感器可以是由透明的触摸传感器电极(例如氧化铟锡(ITO)电极)阵列形成的电容式触摸传感器，或者可以是使用其它触摸技术形成的触摸传感器，例如音波触控，压敏触摸，电阻触摸，光学触摸等，本申请实施例不作限制。

电子设备100还可以包括音频组件140。音频组件140可以用于为电子设备100提供音频输入和输出功能。电子设备100中的音频组件140可以包括扬声器，麦克风，蜂鸣器，音调发生器以及其它用于产生和检测声音的组件。

通信电路120可以用于为电子设备100提供与外部设备通信的能力。通信电路120可以包括模拟和数字输入-输出接口电路，和基于射频信号和/或光信号的无线通信电路。通信电路120中的无线通信电路可以包括射频收发器电路、功率放大器电路、低噪声放大器、开关、滤波器和天线。举例来说，通信电路120中的无线通信电路可以包括用于通过发射和接收近场耦合电磁信号来支持近场通信(Near Field Communication，NFC)的电路。例如，通信电路120可以包括近场通信天线和近场通信收发器。通信电路120还可以包括蜂窝电话收发器和天线，无线局域网收发器电路和天线等。

电子设备100还可以进一步包括电池，电力管理电路和其它输入-输出单元160。输入-输出单元160可以包括按钮，操纵杆，点击轮，滚动轮，触摸板，小键盘，键盘，照相机，发光二极管和其它状态指示器等。

用户可以通过输入-输出电路150输入命令来控制电子设备100的操作，并且可以使用输入-输出电路150的输出数据以实现接收来自电子设备100的状态信息和其它输出。

请参阅图1B，图1B是本申请实施例提供的一种眼球注视点的校准方法的流程示意图，应用于如图1A所示的电子设备，所述电子设备包括眼球追踪模块和显示屏，如图1B所示，本申请提供的眼球注视点的校准方法包括：

101、在目标对象的眼球注视所述显示屏时，获取当前时间戳下所述目标对象的眼球注视所述显示屏上的当前原始注视点，所述当前原始注视点为当前时间戳下通过所述眼球追踪模块根据眼球追踪算法计算得到的注视点。

其中，上述目标对象是指注视电子设备的显示屏的用户。

具体实施中，电子设备可通过设置的摄像头采集用户的眼部图像，然后由眼球追踪模块对眼部图像进行处理，首先，确定眼部图像中用户的瞳孔位置；然后，将用户的瞳孔位置转换成用户的眼球注视显示屏上的当前原始注视点，由于误差的存在，当前原始注视点会在一个小区域内抖动，请参阅图1C，图1C为本申请实施例提供的一种将不同时间戳下眼球追踪模块计算得到的注视点依次进行连接形成的轨迹示意图，其中，点与点之间依据时间戳先后顺序进行连接，可以看出，眼球追踪模块计算得到的注视点的波动性较大，因此，可对当前原始注视点进行校准。

102、若所述当前时间戳为在初始时间戳之后的其他时间戳，根据上一时间戳下的上一原始注视点和上一目标注视点对所述当前原始注视点进行校准，得到当前目标注视点，其中，所述初始时间戳为初次检测到所述目标对象注视所述显示屏上的注视点的时间戳。

其中，当前目标注视点为在显示屏上显示目标对象的眼球注视显示屏上的实际显示点。

其中，假定当前原始注视点的位置为(x_i，y_i)，i∈[1，n]，用于表示不同时间戳下当前原始注视点在显示屏上的坐标，i依据时间戳依次增加。当前目标注视点的位置为(a_i，b_i)，i∈[1，n]，代表着不同时间戳下在显示屏上实际显示的注视点的坐标。具体实施中，可根据上一时间戳(i-1)下的上一原始注视点(x_i-1，y_i-1)和上一目标注视点(a_i-1，b_i-1)对当前原始注视点进行校准，具体地，根据当前原始注视点(x_i，y_i)、上一原始注视点(x_i-1，y_i-1)和上一目标注视点(a_i-1，b_i-1)确定当前目标注视点的位置(a_i，b_i)，从而使校准后的当前目标注视点波动较小，且与其他时间戳下的注视点连续。

可选地，若所述当前时间戳为所述初始时间戳，将所述当前原始注视点作为所述当前目标注视点。

具体地，当i＝1时，可设置(x_i,y_i)＝(a_i,b_i)，从而，当i大于1时，可以根据上一时间戳下的上一原始注视点和上一目标注视点对当前原始注视点进行校准。

可选地，上述步骤102中，根据上一时间戳下的上一原始注视点和上一目标注视点对所述当前原始注视点进行校准，得到当前目标注视点，可包括以下步骤：

21、确定所述当前时间戳下所述当前原始注视点与所述上一时间戳下所述上一目标注视点之间分别在坐标系的横坐标方向上的水平距离和纵坐标方向上的垂直距离；

22、根据所述水平距离确定所述当前时间戳下所述当前目标注视点相对于所述当前原始注视点在所述横坐标方向上的水平调整距离；根据所述垂直距离确定所述当前时间戳下所述当前目标注视点相对于所述当前原始注视点在所述纵坐标方向上的垂直调整距离；

23、根据所述水平调整距离、所述垂直调整距离和所述上一时间戳下上一目标注视点确定所述当前目标注视点。

其中，水平调整距离Δa和垂直调整距离Δb均为当前时间戳下注视点在坐标系的横坐标下以及纵坐标下位置调整的距离大小，

其中，当i大于1时，可以根据上一时间戳下上一目标注视点，以及水平调整距离、垂直调整距离确定当前目标注视点，公式如下：

(a_i，b_i)＝(a_i-1，b_i-1)+(Δa，Δb)，i>1

其中，可根据水平距离a_x确定当前时间戳下当前目标注视点相对于当前原始注视点在横坐标方向上的水平调整距离Δa，根据垂直距离b_x确定当前时间戳下当前目标注视点相对于当前原始注视点在纵坐标方向上的垂直调整距离Δb。

可选地，上述步骤21中，确定所述当前时间戳下所述当前原始注视点与所述上一时间戳下所述上一目标注视点之间分别在坐标系的横坐标方向上的水平距离和纵坐标方向上的垂直距离，可包括以下步骤：

2101、根据所述当前时间戳下所述当前原始注视点的横坐标与所述上一时间戳下所述上一目标注视点的横坐标确定所述水平距离；

2102、根据所述当前时间戳下所述当前原始注视点的纵坐标与所述上一时间戳下所述上一目标注视点的纵坐标确定所述垂直距离。

其中，根据当前原始注视点的横坐标与上一目标注视点的横坐标确定水平距离，根据当前原始注视点的纵坐标与上一目标注视点的纵坐标确定垂直距离，具体可根据如下公式确定水平距离a_x和垂直距离b_x：

其中，当前原始注视点的坐标为(x_i，y_i)、上一目标注视点的坐标为(a_i-1，b_i-1)。

可选地，上述步骤22中，根据所述水平距离确定所述当前时间戳下所述当前目标注视点相对于所述当前原始注视点在所述横坐标方向上的水平调整距离，可包括以下步骤：

2201、将所述水平距离输入预设映射函数，得到输出结果；

2202、根据所述输出结果和预设速度阈值确定所述水平调整距离，所述预设速度阈值为针对两个相邻两个时间戳之间的注视点波动速度设置的速度阈值。

其中，上述预设映射函数可以为S型(sigmoid)函数的变体，sigmoid函数是具有S型曲线的函数，该函数的取值范围为[0，1]，如图1D所示，图1D为一种S型函数的函数曲线图，其中，sigmoid函数的函数表达式为：

其中，t为自变量，s(t)为因变量。

通过将该函数进行变型，得到变型后的预设映射函数，例如，预设映射函数可以为

其中，如图1E所示，图1E为一种预设映射函数的函数曲线图，x为正数，计算时将a_x或者b_x带入该函数表达式，横坐标代表a_x或者b_x，a_x和b_x可用于表示目标注视点和原始注视点之间的距离，该距离越大则当前目标注视点点在下一时间戳的移动速度越大(但不会大于预设速度阈值V_max)，如果该距离较小，则f(x)接近于0，V_b是用来衡量最小速度的预设速度控制参数，V_b可用来调整注视点的抖动性，可选地，V_b可以是电子设备中预设的常量。

进一步地，根据所述输出结果和预设速度阈值确定所述水平调整距离，具体可根据如下公式：

其中，V_max可用来调整注视点的跟随性，可选地，V_max可以是电子设备中预设的常量。

具体实施中，可通过调整预设速度阈值V_max和预设速度控制参数V_b这两个参数，可以降低眼球注视点存在的抖动以及提高眼球追踪的跟随性能，达到较好的显示效果，从而提升用户体验。

可选地，所述预设映射函数中包括预设速度控制参数，上述步骤2201之前，还可包括以下步骤：

2211、获取所述当前时间戳之前的多个时间戳对应的多个原始注视点和多个目标注视点，所述多个原始注视点与所述多个目标注视点一一对应；

2212、确定所述多个原始注视点中每一原始注视点与对应的目标注视点之间的抖动距离，得到多个抖动距离；

2213、确定所述多个抖动距离的距离平均值，根据所述距离平均值调整所述预设速度控制参数。

具体实施中，当根据上述方案得到了多个时间戳下的多个原始注视点和多个目标注视点后，可以根据已经检测到的历史数据中的多个原始注视点和多个目标注视点对眼球注视点的抖动性进行判断，具体地，可确定多个原始注视点中每一原始注视点与对应的目标注视点之间的抖动距离，得到多个抖动距离，确定多个抖动距离的距离平均值，其中，距离平均值越大，表示抖动性越大，进而可根据距离平均值调整预设速度控制参数，其中，可以预先获取多个不同的抖动距离下的多个速度控制参数，每一抖动距离对应一个速度控制参数，然后根据该多个不同的抖动距离和多个速度控制参数设置距离与速度控制参数之间的映射关系，该映射关系可以表示为映射曲线，还可以表示为映射关系列表等等，此处不作限制，从而，可以根据该距离与速度控制参数之间的映射关系确定与距离平均值对应的速度控制参数，然后，将该预设映射函数中的预设速度控制参数V_b进行调整，如此，可通过调整预设速度控制参数V_b，降低眼球注视点存在的抖动。

可选地，上述步骤2202之前，还可包括以下步骤：

2214、获取所述当前时间戳之前的多个时间戳对应的多个目标注视点；

2215、确定所述多个目标注视点中每相邻两个时间戳对应的两个目标注视点之间的移动距离，得到多个移动距离；

2216、确定所述多个移动距离的最大移动距离；

2217、根据所述最大移动距离调整所述预设速度阈值。

本申请实施例中，还可根据已经检测到的历史数据中的多个目标注视点对眼球注视点的跟随性进行判断，具体地，可确定多个目标注视点中每相邻两个时间戳对应的两个目标注视点之间的移动距离，得到多个移动距离，其中，移动距离越大，表示眼球注视点的跟随性越差，然后，可确定多个移动距离的最大移动距离，进而可根据最大移动距离调整预设速度阈值，其中，可以预先获取多个不同的移动距离下的多个速度阈值，每一移动距离对应一个速度阈值，然后根据该多个不同的移动距离和多个速度阈值设置移动距离与速度阈值之间的映射关系，从而，可以根据该移动距离与速度阈值之间的映射关系确定与最大移动距离对应的预设速度阈值，然后，根据该预设速度阈值确定水平调整距离，如此，可通过调整预设速度阈值V_max，提高眼球注视点的跟随性。

103、在所述显示屏上显示所述当前目标注视点。

其中，通过对当前原始注视点进行校准，得到当前目标注视点，进而，可以将当前目标注视点显示在显示屏上，具体实施中，通过根据上一时间戳的上一原始注视点和上一目标注视点对当前时间戳的当前原始注视点进行校准，从而，在不同时间戳下，可以依次确定每一时间戳下的目标注视点，如图1F所示，为本申请实施例提供的一种不同时间戳下的目标注视点形成的轨迹示意图，可以看出，相对于图1C，校准后的轨迹中目标对象得以眼球注视点的波动性更小，跟随性更好。

可以看出，本申请实施例中通过在目标对象的眼球注视显示屏时，获取当前时间戳下目标对象的眼球注视显示屏上的当前原始注视点，若当前时间戳为在初始时间戳之后的其他时间戳，根据上一时间戳下的上一原始注视点和上一目标注视点对当前原始注视点进行校准，得到当前目标注视点，在显示屏上显示当前目标注视点，如此，通过根据上一时间戳下的上一原始注视点和上一目标注视点对当前原始注视点进行校准，从而有效降低眼球注视点存在的抖动，提高眼球追踪的跟随性。

请参阅图2，图2为本申请实施例提供的一种眼球注视点的校准方法的流程示意图，应用于电子设备，所述电子设备包括眼球追踪模块和显示屏，所述方法包括：

201、在目标对象的眼球注视所述显示屏时，获取当前时间戳下所述目标对象的眼球注视所述显示屏上的当前原始注视点，所述当前原始注视点为当前时间戳下通过所述眼球追踪模块根据眼球追踪算法计算得到的注视点。

202、若所述当前时间戳为所述初始时间戳，将所述当前原始注视点作为所述当前目标注视点。

203、若所述当前时间戳为在初始时间戳之后的其他时间戳，根据所述当前时间戳下所述当前原始注视点的横坐标与所述上一时间戳下所述上一目标注视点的横坐标确定所述水平距离，其中，所述初始时间戳为初次检测到所述目标对象注视所述显示屏上的注视点的时间戳。

204、根据所述当前时间戳下所述当前原始注视点的纵坐标与所述上一时间戳下所述上一目标注视点的纵坐标确定所述垂直距离。

205、将所述水平距离输入预设映射函数，得到输出结果。

206、根据所述输出结果和预设速度阈值确定所述水平调整距离，所述预设速度阈值为针对两个相邻两个时间戳之间的注视点波动速度设置的速度阈值。

207、根据所述垂直距离确定所述当前时间戳下所述当前目标注视点相对于所述当前原始注视点在所述纵坐标方向上的垂直调整距离。

208、根据所述水平调整距离、所述垂直调整距离和所述上一时间戳下上一目标注视点确定所述当前目标注视点。

209、在所述显示屏上显示所述当前目标注视点。

其中，上述步骤201-209的具体实现过程可参照步骤101-步骤103中相应的描述，在此不再赘述。

可以看出，本申请实施例中通过在目标对象的眼球注视显示屏时，获取当前时间戳下目标对象的眼球注视显示屏上的当前原始注视点，若当前时间戳为初始时间戳，将当前原始注视点作为当前目标注视点，若当前时间戳为在初始时间戳之后的其他时间戳，确定当前时间戳下当前原始注视点与上一时间戳下上一目标注视点之间分别在坐标系的横坐标方向上的水平距离和纵坐标方向上的垂直距离；根据水平距离确定当前时间戳下当前目标注视点相对于当前原始注视点在横坐标方向上的水平调整距离；根据垂直距离确定当前时间戳下当前目标注视点相对于当前原始注视点在纵坐标方向上的垂直调整距离；根据水平调整距离、垂直调整距离和上一时间戳下上一目标注视点确定当前目标注视点，在显示屏上显示当前目标注视点，如此，通过根据上一时间戳下的上一原始注视点和上一目标注视点对当前原始注视点进行校准，从而有效降低眼球注视点存在的抖动，提高眼球追踪的跟随性。

与上述图1B一致的，请参阅图3，图3为本申请实施例提供的另一种眼球注视点的校准方法的流程示意图，应用于电子设备，所述电子设备包括摄像头、眼球追踪模块和显示屏，所述方法包括：

在眼球追踪场景下，电子设备开启摄像头，通过摄像头拍摄目标对象的人眼图像。启动眼球追踪模块，通过眼球追踪模块根据人眼图像对目标对象进行眼球追踪，计算目标对象的人眼关注显示屏上的原始注视点，在不同时间戳下，眼球追踪模块可依次计算得到原始注视点p1，p2，p3，...pn，n为正整数，然后，确定在显示屏上实际显示的与p1，p2，p3，...pn一一对应的目标注视点q1，q2，q3，...qn，其中，可将原始注视点p1与目标注视点q1设置为相同，针对q2，q3，...qn中任一时间戳下的目标注视点q_i，可以根据该任一时间戳的上一时间戳下的上一原始注视点和上一目标注视点对当前时间戳的当前原始注视点进行校准，得到抖动性较低，且跟随性更好的多个目标注视点p1，p2，p3，...pn。

可以看出，本申请实施例中通过在目标对象的眼球注视显示屏时，获取当前时间戳下目标对象的眼球注视显示屏上的当前原始注视点，若当前时间戳为初始时间戳，将当前原始注视点作为当前目标注视点，若当前时间戳为在初始时间戳之后的其他时间戳，根据上一时间戳下的上一原始注视点和上一目标注视点对当前原始注视点进行校准，得到当前目标注视点，在显示屏上显示当前目标注视点，如此，通过根据上一时间戳下的上一原始注视点和上一目标注视点对当前原始注视点进行校准，从而有效降低眼球注视点存在的抖动，提高眼球追踪的跟随性。

以下是实施上述眼球注视点的校准方法的装置，具体如下：

与上述一致地，请参阅图4，图4是本申请实施例提供的一种电子设备的结构示意图，该电子设备包括：处理器410、通信接口430和存储器420；还包括眼球追踪模块440、显示屏450，以及一个或多个程序421，所述一个或多个程序421被存储在所述存储器420中，并且被配置成由所述处理器执行，所述程序421包括用于执行以下步骤的指令：

在目标对象的眼球注视所述显示屏时，获取当前时间戳下所述目标对象的眼球注视所述显示屏上的当前原始注视点，所述当前原始注视点为当前时间戳下通过所述眼球追踪模块根据眼球追踪算法计算得到的注视点；

若所述当前时间戳为在初始时间戳之后的其他时间戳，根据上一时间戳下的上一原始注视点和上一目标注视点对所述当前原始注视点进行校准，得到当前目标注视点，其中，所述初始时间戳为初次检测到所述目标对象注视所述显示屏上的注视点的时间戳；

在所述显示屏上显示所述当前目标注视点。

在一个可能的示例中，所述程序421还包括用于执行以下步骤的指令：

若所述当前时间戳为所述初始时间戳，将所述当前原始注视点作为所述当前目标注视点。

在一个可能的示例中，在所述根据上一时间戳下的上一原始注视点和上一目标注视点对所述当前原始注视点进行校准，得到当前目标注视点方面，所述程序421包括用于执行以下步骤的指令：

确定所述当前时间戳下所述当前原始注视点与所述上一时间戳下所述上一目标注视点之间分别在坐标系的横坐标方向上的水平距离和纵坐标方向上的垂直距离；

根据所述水平距离确定所述当前时间戳下所述当前目标注视点相对于所述当前原始注视点在所述横坐标方向上的水平调整距离；根据所述垂直距离确定所述当前时间戳下所述当前目标注视点相对于所述当前原始注视点在所述纵坐标方向上的垂直调整距离；

根据所述水平调整距离、所述垂直调整距离和所述上一时间戳下上一目标注视点确定所述当前目标注视点。

在一个可能的示例中，在所述确定所述当前时间戳下所述当前原始注视点与所述上一时间戳下所述上一目标注视点之间分别在坐标系的横坐标方向上的水平距离和纵坐标方向上的垂直距离方面，所述程序421包括用于执行以下步骤的指令：

根据所述当前时间戳下所述当前原始注视点的横坐标与所述上一时间戳下所述上一目标注视点的横坐标确定所述水平距离；

根据所述当前时间戳下所述当前原始注视点的纵坐标与所述上一时间戳下所述上一目标注视点的纵坐标确定所述垂直距离。

在一个可能的示例中，在所述根据所述水平距离确定所述当前时间戳下所述当前目标注视点相对于所述当前原始注视点在所述横坐标方向上的水平调整距离方面，所述程序421还包括用于执行以下步骤的指令：

将所述水平距离输入预设映射函数，得到输出结果；

根据所述输出结果和预设速度阈值确定所述水平调整距离，所述预设速度阈值为针对两个相邻两个时间戳之间的注视点波动速度设置的速度阈值。

在一个可能的示例中，所述预设映射函数中包括预设速度控制参数，所述程序421还包括用于执行以下步骤的指令：

获取所述当前时间戳之前的多个时间戳对应的多个原始注视点和多个目标注视点，所述多个原始注视点与所述多个目标注视点一一对应；

确定所述多个原始注视点中每一原始注视点与对应的目标注视点之间的抖动距离，得到多个抖动距离；

确定所述多个抖动距离的距离平均值，根据所述距离平均值调整所述预设速度控制参数。

在一个可能的示例中，所述程序421还包括用于执行以下步骤的指令：

获取所述当前时间戳之前的多个时间戳对应的多个目标注视点；

确定所述多个目标注视点中每相邻两个时间戳对应的两个目标注视点之间的移动距离，得到多个移动距离；

确定所述多个移动距离的最大移动距离；

根据所述最大移动距离调整所述预设速度阈值。

请参阅图5，图5是本实施例提供的一种眼球注视点的校准装置的结构示意图，所述眼球注视点的校准装置500应用于电子设备，所述电子设备包括眼球追踪模块和显示屏，该装置500包括获取单元501、校准单元502和显示单元503，其中，

所述获取单元501，用于在目标对象的眼球注视所述显示屏时，获取当前时间戳下所述目标对象的眼球注视所述显示屏上的当前原始注视点，所述当前原始注视点为当前时间戳下通过所述眼球追踪模块根据眼球追踪算法计算得到的注视点；

所述校准单元502，用于若所述当前时间戳为在初始时间戳之后的其他时间戳，根据上一时间戳下的上一原始注视点和上一目标注视点对所述当前原始注视点进行校准，得到当前目标注视点，其中，所述初始时间戳为初次检测到所述目标对象注视所述显示屏上的注视点的时间戳；

所述显示单元503，用于在所述显示屏上显示所述当前目标注视点。

可选地，所述校准单元502还用于：

若所述当前时间戳为所述初始时间戳，将所述当前原始注视点作为所述当前目标注视点。

可选地，在所述根据上一时间戳下的上一原始注视点和上一目标注视点对所述当前原始注视点进行校准，得到当前目标注视点方面，所述校准单元502具体用于：

确定所述当前时间戳下所述当前原始注视点与所述上一时间戳下所述上一目标注视点之间分别在坐标系的横坐标方向上的水平距离和纵坐标方向上的垂直距离；

根据所述水平距离确定所述当前时间戳下所述当前目标注视点相对于所述当前原始注视点在所述横坐标方向上的水平调整距离；根据所述垂直距离确定所述当前时间戳下所述当前目标注视点相对于所述当前原始注视点在所述纵坐标方向上的垂直调整距离；

根据所述水平调整距离、所述垂直调整距离和所述上一时间戳下上一目标注视点确定所述当前目标注视点。

可选地，在所述确定所述当前时间戳下所述当前原始注视点与所述上一时间戳下所述上一目标注视点之间分别在坐标系的横坐标方向上的水平距离和纵坐标方向上的垂直距离方面，所述校准单元502具体用于：

根据所述当前时间戳下所述当前原始注视点的横坐标与所述上一时间戳下所述上一目标注视点的横坐标确定所述水平距离；

根据所述当前时间戳下所述当前原始注视点的纵坐标与所述上一时间戳下所述上一目标注视点的纵坐标确定所述垂直距离。

可选地，在所述根据所述水平距离确定所述当前时间戳下所述当前目标注视点相对于所述当前原始注视点在所述横坐标方向上的水平调整距离方面，所述校准单元502具体用于：

将所述水平距离输入预设映射函数，得到输出结果；

根据所述输出结果和预设速度阈值确定所述水平调整距离，所述预设速度阈值为针对两个相邻两个时间戳之间的注视点波动速度设置的速度阈值。

可选地，所述预设映射函数中包括预设速度控制参数，所述校准单元502还用于：

获取所述当前时间戳之前的多个时间戳对应的多个原始注视点和多个目标注视点，所述多个原始注视点与所述多个目标注视点一一对应；

确定所述多个原始注视点中每一原始注视点与对应的目标注视点之间的抖动距离，得到多个抖动距离；

确定所述多个抖动距离的距离平均值，根据所述距离平均值调整所述预设速度控制参数。

可选地，所述校准单元502还用于：

获取所述当前时间戳之前的多个时间戳对应的多个目标注视点；

确定所述多个目标注视点中每相邻两个时间戳对应的两个目标注视点之间的移动距离，得到多个移动距离；

确定所述多个移动距离的最大移动距离；

根据所述最大移动距离调整所述预设速度阈值。

可以看出，本申请实施例中所描述的眼球注视点的校准装置，通过在目标对象的眼球注视显示屏时，获取当前时间戳下目标对象的眼球注视显示屏上的当前原始注视点，若当前时间戳为在初始时间戳之后的其他时间戳，根据上一时间戳下的上一原始注视点和上一目标注视点对当前原始注视点进行校准，得到当前目标注视点，在显示屏上显示当前目标注视点，如此，通过根据上一时间戳下的上一原始注视点和上一目标注视点对当前原始注视点进行校准，从而有效降低眼球注视点存在的抖动，提高眼球追踪的跟随性。

可以理解的是，本实施例的眼球注视点的校准装置的各程序模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括电子设备。

本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括电子设备。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。

以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (9)

1.一种眼球注视点的校准方法，其特征在于，应用于电子设备，所述电子设备包括眼球追踪模块和显示屏，所述方法包括：

在目标对象的眼球注视所述显示屏时，获取当前时间戳下所述目标对象的眼球注视所述显示屏上的当前原始注视点，所述当前原始注视点为当前时间戳下通过所述眼球追踪模块根据眼球追踪算法计算得到的注视点；

若所述当前时间戳为在初始时间戳之后的其他时间戳，根据上一时间戳下的上一原始注视点和上一目标注视点对所述当前原始注视点进行校准，得到当前目标注视点，其中，所述初始时间戳为初次检测到所述目标对象注视所述显示屏上的注视点的时间戳；

在所述显示屏上显示所述当前目标注视点；

所述根据上一时间戳下的上一原始注视点和上一目标注视点对所述当前原始注视点进行校准，得到当前目标注视点，包括：

确定所述当前时间戳下所述当前原始注视点与所述上一时间戳下所述上一目标注视点之间分别在坐标系的横坐标方向上的水平距离和纵坐标方向上的垂直距离；

根据所述水平距离确定所述当前时间戳下所述当前目标注视点相对于所述当前原始注视点在所述横坐标方向上的水平调整距离；根据所述垂直距离确定所述当前时间戳下所述当前目标注视点相对于所述当前原始注视点在所述纵坐标方向上的垂直调整距离；

根据所述水平调整距离、所述垂直调整距离和所述上一时间戳下上一目标注视点确定所述当前目标注视点。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若所述当前时间戳为所述初始时间戳，将所述当前原始注视点作为所述当前目标注视点。

3.根据权利要求1所述的方法，其特征在于，所述确定所述当前时间戳下所述当前原始注视点与所述上一时间戳下所述上一目标注视点之间分别在坐标系的横坐标方向上的水平距离和纵坐标方向上的垂直距离，包括：

根据所述当前时间戳下所述当前原始注视点的横坐标与所述上一时间戳下所述上一目标注视点的横坐标确定所述水平距离；

根据所述当前时间戳下所述当前原始注视点的纵坐标与所述上一时间戳下所述上一目标注视点的纵坐标确定所述垂直距离。

4.根据权利要求1所述的方法，其特征在于，所述根据所述水平距离确定所述当前时间戳下所述当前目标注视点相对于所述当前原始注视点在所述横坐标方向上的水平调整距离，包括：

将所述水平距离输入预设映射函数，得到输出结果；

根据所述输出结果和预设速度阈值确定所述水平调整距离，所述预设速度阈值为针对两个相邻两个时间戳之间的注视点波动速度设置的速度阈值。

5.根据权利要求4所述的方法，其特征在于，所述预设映射函数中包括预设速度控制参数，所述方法还包括：

获取所述当前时间戳之前的多个时间戳对应的多个原始注视点和多个目标注视点，所述多个原始注视点与所述多个目标注视点一一对应；

确定所述多个原始注视点中每一原始注视点与对应的目标注视点之间的抖动距离，得到多个抖动距离；

确定所述多个抖动距离的距离平均值，根据所述距离平均值调整所述预设速度控制参数。

6.根据权利要求4所述的方法，其特征在于，所述方法还包括：

获取所述当前时间戳之前的多个时间戳对应的多个目标注视点；

确定所述多个目标注视点中每相邻两个时间戳对应的两个目标注视点之间的移动距离，得到多个移动距离；

确定所述多个移动距离的最大移动距离；

根据所述最大移动距离调整所述预设速度阈值。

7.一种眼球注视点的校准装置，其特征在于，应用于电子设备，所述电子设备包括眼球追踪模块和显示屏，所述装置包括：

获取单元，用于在目标对象的眼球注视所述显示屏时，获取当前时间戳下所述目标对象的眼球注视所述显示屏上的当前原始注视点，所述当前原始注视点为当前时间戳下通过所述眼球追踪模块根据眼球追踪算法计算得到的注视点；

校准单元，用于若所述当前时间戳为在初始时间戳之后的其他时间戳，根据上一时间戳下的上一原始注视点和上一目标注视点对所述当前原始注视点进行校准，得到当前目标注视点，其中，所述初始时间戳为初次检测到所述目标对象注视所述显示屏上的注视点的时间戳；

显示单元，用于在所述显示屏上显示所述当前目标注视点；

所述根据上一时间戳下的上一原始注视点和上一目标注视点对所述当前原始注视点进行校准，得到当前目标注视点，所述校准单元还具体用于：

确定所述当前时间戳下所述当前原始注视点与所述上一时间戳下所述上一目标注视点之间分别在坐标系的横坐标方向上的水平距离和纵坐标方向上的垂直距离；

根据所述水平距离确定所述当前时间戳下所述当前目标注视点相对于所述当前原始注视点在所述横坐标方向上的水平调整距离；根据所述垂直距离确定所述当前时间戳下所述当前目标注视点相对于所述当前原始注视点在所述纵坐标方向上的垂直调整距离；

根据所述水平调整距离、所述垂直调整距离和所述上一时间戳下上一目标注视点确定所述当前目标注视点。

8.一种电子设备，其特征在于，包括处理器、存储器、通信接口，还包括眼球追踪模块、显示屏，以及一个或多个程序，所述存储器用于存储一个或多个程序，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1-6任一项所述的方法中的步骤的指令。

9.一种计算机可读存储介质，其特征在于，存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-6任一项所述的方法。

Images