CN109032351A - 注视点函数确定方法、注视点确定方法、装置及终端设备 - Google Patents

Abstract

本发明公开了注视点函数确定方法、注视点确定方法、装置及终端设备。所述方法包括：获取用户注视校准点时的眼部图像，根据所述眼部图像中的眼部特征和所述校准点的位置信息估计注视点函数，得到所述注视点函数中部分参数的解；获取所述用户的位置信息，根据所述用户的位置信息查找所述注视点函数中其余参数的历史解；将所述注视点函数中各参数的解代入，得到所述注视点函数。利用该方法，能够通过用户眼部图像和校准点的位置信息确定注视点函数部分参数的解，然后基于用户的位置信息确定注视点函数其余参数的历史解，有效的减少了用户注视多个校准点的工作量，提高注视点函数确定的准确性，提升了用户进行注视点校准的体验。

Description

注视点函数确定方法、注视点确定方法、装置及终端设备

技术领域

本发明实施例涉及人机交互技术领域，尤其涉及注视点函数确定方法、注视点确定方法、装置及终端设备。

背景技术

随着人机交互技术的发展，眼球追踪技术得到了广泛的应用。眼球追踪，也称为视线追踪，是通过测量眼睛运动情况来估计眼睛的视线和/或注视点的技术。

目前，在注视点校准过程中，为了测定用于注视点函数中的待求解参数(也称为校准参数，一般对应于用户眼球的某些内在参数，例如角膜反射面曲率等)，常用的方法是：让用户注视显示屏上多个校准点，然后获取用户注视各校准点时的眼部图像，根据各眼部图像的眼部特征和对应的各校准点的位置求解出上述校准参数。

然而，目前在确定用户注视点函数时，需要用户注视显示屏上若干校准点完成校准，用户工作量大，降低了用户体验。

发明内容

本发明提供的注视点函数确定方法、注视点确定方法、装置及终端设备，能够有效节省了注视点函数确定的时间，提升用户校准体验。

第一方面，本发明实施例提供了一种注视点函数确定方法，包括：

获取用户注视校准点时的眼部图像，根据所述眼部图像中的眼部特征和所述校准点的位置信息估计注视点函数，得到所述注视点函数中部分参数的解；

获取所述用户的位置信息，根据所述用户的位置信息查找所述注视点函数中其余参数的历史解；

将所述注视点函数中各参数的解代入，得到所述注视点函数。

第二方面，本发明实施例还提供了一种注视点确定方法，包括：

获取用户的图像信息；

根据所述图像信息和所述用户的注视点函数，确定所述用户的注视点；其中，所述注视点函数采用本发明实施例提供的注视点函数确定方法确定。

第三方面，本发明实施例还提供了一种注视点函数确定装置，包括：

部分参数确定模块，用于获取用户注视校准点时的眼部图像，根据所述眼部图像中的眼部特征和所述校准点的位置信息估计注视点函数，得到所述注视点函数中部分参数的解；

其余参数确定模块，用于获取所述用户的位置信息，根据所述用户的位置信息查找所述注视点函数中其余参数的历史解；

函数确定模块，用于将所述注视点函数中各参数的解代入，得到所述注视点函数。

第四方面，本发明实施例还提供了一种注视点确定装置，包括：

图像信息获取模块，用于获取用户的图像信息；

注视点确定模块，用于根据所述图像信息和所述用户的注视点函数，确定所述用户的注视点；其中，所述注视点函数采用本发明实施例提供的注视点函数确定装置确定。

第五方面，本发明实施例还提供了一种终端设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例提供的注视点函数确定方法或本发明实施例提供的注视点确定方法。

第六方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例提供的注视点函数确定方法或本发明实施例提供的注视点确定方法。

本发明实施例提供了注视点函数确定方法、注视点确定方法、装置及终端设备，首先获取用户注视校准点时的眼部图像，根据所述眼部图像中的眼部特征和所述校准点的位置信息估计注视点函数，得到所述注视点函数中部分参数的解；然后获取所述用户的位置信息，根据所述用户的位置信息查找所述注视点函数中其余参数的历史解；最后将所述注视点函数中各参数的解代入，得到所述注视点函数。利用上述技术方案，能够无需使用用户的眼部图像求解注视点函数的全部未知参数的解，通过用户眼部图像和校准点的位置信息确定注视点函数部分参数的解，然后基于用户的位置信息确定注视点函数其余参数的历史解，有效的减少了用户注视多个校准点的工作量，提升了用户进行注视点校准的体验。此外由于用户在进行注视点函数确定时，部分参数采用用户实测数据，其余参数采用用户历史数据，能够在减少用户工作量的同时，提高注视点函数确定的准确性。

附图说明

图1为本发明实施例一提供的一种注视点函数确定方法的流程示意图；

图2a为本发明实施例二提供的一种注视点函数确定方法的流程示意图；

图2b为本发明实施例二提供的一种注视点函数确定方法的应用场景示意图；

图3为本发明实施例三提供的一种注视点确定方法的流程示意图；

图4为本发明实施例四提供的一种注视点函数确定装置的结构示意图；

图5为本发明实施例五提供的一种注视点确定装置的结构示意图；

图6为本发明实施例六提供的一种终端设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

实施例一

图1为本发明实施例一提供的一种注视点函数确定方法的流程示意图，该方法可适用于用户进行注视点函数确定的情况，如，用户进行视线追踪前，进行注视点函数确定的情况。在确定完用户注视点函数后，可以基于该注视点函数和实测的用户的图像信息(如眼部图像)，确定用户的注视点。

该方法可以由注视点函数确定装置来执行，其中该注视点函数确定装置可由软件和/或硬件实现，并一般集成在终端设备上。在本实施例中终端设备包括但不限于：手机、电脑或个人数字助理等设备。

一般的，终端设备对用户进行视线追踪前，均会进行注视点校准，以确定用户的注视点函数。可以理解的是，不同的终端设备或同一终端设备每次使用前均需要对用户注视点进行校准(即确定注视点函数)。当确定用户的注视点函数后，终端设备可以根据确定好的注视点函数和用户的眼部图像，确定用户的注视点信息。

在确定用户注视点函数时，目前需要用户注视显示屏上多个校准点(可能多达16个)，然后获取用户注视校准点时的眼部图像，以基于多个校准点和对应的眼部图像确定注视点函数中各未知参数。这就导致了用户需要与终端设备进行多次交互，用户工作量大，严重影响了用户的体验。如，现有技术中，用户需要注视显示屏上M个校准点进行校准，终端设备根据用户注视校准点时的眼部图像求解注视点函数中N个待求解的参数，其中，M和N可以为正整数，M通常为16个，2M>＝N。本实施例中的注视点函数确定方法能够有效降低用户与终端设备间交互的工作量。

如图1所示，本发明实施例一提供的一种注视点函数确定方法，包括如下步骤：

S101、获取用户注视校准点时的眼部图像，根据所述眼部图像中的眼部特征和所述校准点的位置信息估计注视点函数，得到所述注视点函数中部分参数的解。

在本实施例中，校准点可以理解为用于校准用户注视点函数的预先定义的待注视点。眼部特征可以理解为眼部图像中能够标识用户视线方向的特征信息。校准点的位置信息可以理解为校准点的坐标信息。注视点函数可以理解为基于用户眼部图像和用户注视点建立的映射模型。部分参数的解可以理解为注视点函数中若干个未知参数的解。

本实施例在确定注视点函数时，可以通过用户实测的用户注视校准点的眼部图像进行部分参数的求解，其余参数可以基于用户历史求解数据进行确定，以节省注视点函数的确定时间。其中，眼部图像可以理解为用户眼部的图像信息，该眼部图像可以涵盖用户两只眼睛；也可以涵盖用户一只眼睛。本领域技术人员可以根据实际需求进行选取。此外，眼部图像可以涵盖整只眼睛，以便于提取该眼睛中的特征信息。可以理解的是，该眼部图像也可以包含有用户面部的一些特征信息，以辅助确定注视点函数。

具体的，本步骤可以获取用户注视校准点时的眼部图像，然后根据该眼部图像中的眼部特征和眼部图像对应的校准点的位置信息估计注视点函数，求解出注视点函数中部分参数的解。眼部特征可以包括但不限于：瞳孔位置、瞳孔形状、虹膜位置、虹膜形状、眼睑位置、眼角位置、光斑(也称为普尔钦斑)位置等。

在本实施例中，注视点函数的形式可以为多项式函数、高斯函数或3D模型函数等。如，注视点函数为多项式函数gaze＝f(x，y)＝a+bx+cy+dxy+ex²y……，其中，gaze可以是个二维变量(在此为方便说明，简单以一维gaze阐释原理)，部分参数的解可以为a、b、c、d、e……中随机选取的若干个未知参数或根据预设规则选取的若干个未知参数。预设规则可以为确定各未知参数中主次程度的规则。部分参数的解的个数不作限定，选取哪个未知参数或选取几个未知参数可以根据注视点函数对应的方程条件数确定。需要说明的是，部分参数的解的确定可以通过用户注视多个校准点，相应的，本步骤可以获取用户注视各校准点时的眼部图像，然后根据各眼部图像中的眼部特征和对应的校准点的位置信息估计注视点函数，得到部分参数的解。由于本实施例中无需利用用户的眼部图像确定注视点函数中全部未知参数的解，故此处并不限制获取用户的眼部图像的数量。

可以理解的是，注视点函数的作用可以是建立用户眼部图像和用户注视点间的映射关系。在获取到眼部图像中的眼部特征和校准点的位置信息(即终端设备指示用户注视的注视点，该位置信息可以为终端设备预先定义的，终端设备能够获取其位置信息)后，根据眼部特征和对应的校准点的位置信息估计注视点函数，即能够求得部分参数的解。如，眼部特征和校准点位置信息可以分别对应x、y和gaze，将其代入上述多项式中相应变量(如x、y和gaze)中，以估计注视点函数，从而可以求得部分参数的解，如参数a的值。

S102、获取所述用户的位置信息，根据所述用户的位置信息查找所述注视点函数中其余参数的历史解。

在本实施例中，位置信息可以理解为用户相对于终端设备的位置。其余参数可以理解为注视点函数的全部未知参数中除部分参数外的所有未知参数。

一般的，在通过用户注视校准点的眼部图像确定部分参数后，本实施例可以根据用户的位置信息查找该注视点函数中其余参数的历史解。如，本实施例可以基于用户的位置信息查找该用户历史求解完成的该注视点函数的其他参数的历史解。

在获取用户历史求解完的该注视点函数的时候，本实施例可以基于用户的位置信息，以更加准确的选取对应于当前位置的历史数据。如当前用户在终端设备正中间1m处，则本步骤可以查找该用户在设备正中间1m处的各历史数据得到该注视点函数中其余参数的历史解。

其中，历史求解数据可以是该用户在其他终端设备或之前使用本终端设备时，已经求解完成的注视点函数，则本步骤可以在历史求解数据中选取其他参数的历史解。

S103、将所述注视点函数中各参数的解代入，得到所述注视点函数。

在本实施例中，各参数可以理解为注视点函数中所有未知参数，如部分参数和其他参数。

一般的，在确定出部分参数的解和其他参数的历史解后，本步骤可以将部分参数的解和其他参数的解代入注视点函数相应位置处，如将部分参数的解和其他参数的解代入部分参数和其他参数位置处，以得到注视点函数。

本发明实施例一提供的一种注视点函数确定方法，首先获取用户注视校准点时的眼部图像，根据所述眼部图像中的眼部特征和所述校准点的位置信息估计注视点函数，得到所述注视点函数中部分参数的解；其次获取所述用户的位置信息，根据所述用户的位置信息查找所述注视点函数中其余参数的历史解；最终将所述注视点函数中各参数的解代入，得到所述注视点函数。利用上述方法，能够无需使用用户的眼部图像求解注视点函数的全部未知参数的解，通过用户眼部图像和校准点的位置信息确定注视点函数部分参数的解，然后基于用户的位置信息确定注视点函数其余参数的历史解，有效的减少了用户注视多个校准点的工作量，提升了用户进行注视点校准的体验。此外由于用户在进行注视点函数确定时，部分参数采用用户实测数据，其余参数采用用户历史数据，能够在减少用户工作量的同时，提高注视点函数确定的准确性。

实施例二

图2a为本发明实施例二提供的一种注视点函数确定方法的流程示意图，本实施例二在上述各实施例的基础上进行优化。在本实施例中，将所述根据所述眼部图像中的眼部特征和所述校准点的位置信息估计注视点函数，得到所述注视点函数中部分参数的解，进一步具体化为：提取所述眼部图像中的眼部特征；根据所述眼部特征和所述校准点的位置信息估计注视点函数，得到所述注视点函数中部分参数的解，其中，所述部分参数可以为所述注视点函数各参数中随机选取的若干个参数或根据所述注视点函数的历史解的主成分分析结果选取的若干个参数。

进一步的，本实施例还将获取所述用户的位置信息，根据所述用户的位置信息查找所述注视点函数中其余参数的历史解，进一步优化为：获取所述用户的位置信息；根据所述用户的位置信息查找所述用户的历史求解数据，得到所述注视点函数中其余参数的历史解。

在上述优化的基础上，在所述获取用户注视校准点时的眼部图像之前，具体优化包括了：根据获取的校准指令，显示校准点。本实施例尚未详尽的内容请参考实施例一。

如图2a所示，本发明实施例二提供的一种注视点函数确定方法，包括如下步骤：

S201、根据获取的校准指令，显示校准点。

在本实施例中，校准指令可以理解为触发终端设备进入注视点校准模式的指令。当终端设备进入注视点校准模式后，终端设备可以将校准点显示在显示屏上，以使用户基于该校准点确定注视点函数。其中，该校准指令可以为用户触发。具体的触发形式并不作限定，可以为声控触发，也可以为按键式触发。

S202、获取用户注视校准点时的眼部图像。

当终端设备显示校准点后，本步骤可以获取用户注视校准点时的眼部图像，从而本实施例能够基于该眼部图像确定注视点函数中部分参数的解。

一般的，本步骤可通过图像采集装置记录用户的眼部图像。图像采集装置包括但不限于：红外摄像设备、红外图像传感器、照相机或摄像机。此外，还可以配置有光源，如红外光源。因为红外光线不会影响眼镜的视觉，并且可以为多个红外光源，以设定的方式排列，如品字形或一字型。

S203、提取所述眼部图像中的眼部特征。

一般的，获取用户注视校准点时的眼部图像后，本步骤可以根据注视点函数中所包含的眼部特征，从该眼部图像中提取相应的眼部特征。此处并不对眼部特征提取方法进行限定，本领域技术人员可以根据实际需求选取适应的方法提取眼部图像中的眼部特征。示例性的，如果注视点函数为瞳孔特征、光斑特征和注视点信息的函数，则本步骤中可以提取眼部图像中的瞳孔特征和光斑特征。

S204、根据所述眼部特征和所述校准点的位置信息估计注视点函数，得到所述注视点函数中部分参数的解。

在获取用户注视校准点时的眼部图像后，本步骤可以根据眼部图像中眼部特征和校准点的位置信息估计注视点函数。其中，校准点的位置信息可以理解为该眼部图像的注视点位置信息。

本步骤确定部分参数的解时，可以获取多次用户注视不同校准点时的眼部图像，然后根据各眼部图像和对应的校准点信息确定部分参数的解。

其中，所述部分参数可以为所述注视点函数各参数中随机选取的若干个参数或根据所述注视点函数的历史解的主成分分析结果选取的若干个参数。主成分分析可以是考察多个变量间相关性的一种多元统计方法，研究如何通过减少几个主成分来揭示多个变量间的内部结构。在很多情形，变量之间是有一定相关关系的，当两个变量间有一定相关关系时，可以解释为这两个变量反映的信息有一定的重叠。主成分分析是对于原先提出的所有变量，将重复的变量删去多余，建立尽可能少的新变量，使得这些新变量是两两不相关的，而且这些新变量反映的信息方面尽可能保持原有的信息。

S205、获取所述用户的位置信息。

在获取用户的部分参数的解后，本步骤可以通过位置传感器或图像采集装置获取用户的位置信息，此处并不对获取位置信息的具体手段进行限定。

其中用户的位置信息可以为用户相对于终端设备的坐标信息。该坐标信息可以包括用户相对于终端设备的距离信息和角度信息。如用户位于终端设备中间区域10度，并且距离终端设备1m位置处。其中，距离终端设备的角度的确定可以根据实际需求进行设定，只要能够标识用户相对于终端设备的位置即可。

S206、根据用户的位置信息查找所述用户的历史求解数据，得到所述注视点函数中其余参数的历史解。

在本实施例中，历史求解数据可以理解为用户历史求解注视点函数的信息。该历史求解数据中可以包括有用户在不同终端设备的不同位置处的注视点函数。在确定用户的位置信息后，本步骤可以根据确定的位置信息查找用户的历史求解数据，得到注视点函数中其余参数的历史解。

可以理解的是，根据用户的历史求解数据确定注视点函数中其余参数的历史解时，可以根据用户的位置信息从用户的历史求解数据中查找该位置信息处的注视点函数的其余参数的历史解。

进一步的，所述根据所述用户的位置信息查找所述用户的历史求解数据，得到所述注视点函数中其余参数的历史解，包括：

根据所述用户的位置信息查找所述用户的历史求解数据，得到所述注视点函数中其余参数的全部解；

将所述注视点函数中其余参数对应的全部解的期望或均值作为所述注视点函数中其余参数的历史解。

具体的，在根据用户的历史求解数据确定注视点函数中其余参数的历史解时，用户的历史求解数据中可能存在该注视点函数的各个参数的多个解(如该用户不同时刻使用不同终端设备确定的注视点函数)，将注视点函数中其余参数对应的全部解的期望或均值作为注视点函数其余参数的历史解。

示例性的，如果该用户本次注视点函数为gaze＝f(x，y)＝a+bx+cy；根据用户注视校准点时的眼部图像确定了a＝1。其中，b和c的解可以查找该用户历史求解数据。在查找的过程中，基于该用户的位置信息进行查找。如果当前用户距离终端设备1m，与终端设备夹角为0度(用户某一固定特征点与相机光心连线相对于相机光轴的偏移角度)，则在该用户的历史求解数据中查找该用户在距离终端设备1m，且与终端设备夹角为0度的该注视点函数其余参数的历史解。

可以理解的是，在查找历史数据时，可能存在多个该注视点函数。如：gaze＝f(x，y)＝1+5x+9y；gaze＝f(x，y)＝1+6x+9y，则本步骤在确定注视点函数其余参数的历史解时，可以将其余参数对应的各个解的均值或期望作为该注视点函数其余参数的历史解。如b历史求解数据的取值为5或6，则b的历史解可以为5和6的均值5.5。c历史求解数据的取值为9，则c的历史解可以为9和9的均值9。

此处并不对如何调取用户的历史求解数据进行限定，本领域技术人员可以根据实际情况进行选择。如对该用户进行身份识别，确定该用户的身份后，调取该用户的历史求解数据。其中，对用户进行身份识别可以通过对该用户指纹识别、声纹识别或虹膜识别等。

S207、将所述注视点函数中各参数的解代入，得到所述注视点函数。

在确定注视点函数部分参数的解和其余参数的历史解后，本步骤可以将部分参数的解和其余参数的解代入相应位置处，得到注视点函数。示例性的，基于上述示例，当根据用户注视校准点的眼部图像确定参数a＝1，根据该用户的历史求解数据确定参数b和c的历史解分别为5.5和9。本步骤则将部分参数和其余参数的解代入gaze＝f(x，y)＝a+bx+cy的a、b和c位置处，得到注视点函数gaze＝f(x，y)＝1+5.5x+9y。

更加具体的，本实施例注视点函数确定方法的流程可以如下：

图2b为本发明实施例二提供的一种注视点函数确定方法的应用场景示意图。如图2b所示，终端设备21可以选取一个待求解的注视点函数，如gaze＝f(x，y)＝a+bx+cy，其中在gaze、x和y可以分别指代注视点信息、瞳孔特征和光斑特征(此处并不限定)。本领域技术人员可以根据具体的应用场景或注视点函数的方程条件数确定该注视点函数中部分参数和其余参数的划分，如，可以利用终端设备21实测的眼部图像确定参数a，利用用户22的历史求解数据确定参数b和c。

具体的，终端设备21在对用户22进行视线追踪前，可以接收用户22触发的校准指令，然后将校准点显示在终端设备21的显示屏上。终端设备21可以通过图像采集装置获取用户22注视校准点时的眼部图像，然后提取该眼部图像中的眼部特征，如，瞳孔特征和光斑特征。确定完眼部特征后可以将该眼部特征和校准点的位置信息代入注视点函数相应变量中，确定a的解。在具体求解时，可以将注视点函数转换为a的函数以得到a的值。

求解完注视点函数中a的解后，终端设备21可以通过位置传感器或图像采集装置获取用户22的位置信息(此处并不对获取用户位置信息的顺序进行限定，用户22位置信息的获取可以在求解其余参数之前的任意时刻获取)，然后根据获取的位置信息查找用户22历史求解数据得到b和c的解(具体求解过程可以参见S206)。在确定了注视点函数中a、b和c的解后，将各解代入对应位置处得到注视点函数。

本发明实施例二提供的一种注视点函数确定方法，具体化了部分参数的解的确定操作和其余参数的历史解的确定操作，还优化包括了校准点显示操作。利用该方法，能够在获取校准指令后，基于显示的校准点获取用户注视校准点时的眼部图像，然后基于眼部图像和对应的校准点对注视点函数中部分参数求解。然后利用该用户的历史求解数据和用户的位置信息确定注视点函数中其余参数的历史解。根据用户实测的眼部图像和用户的历史求解数据能够更加快速的确定注视点函数，减少用户与终端设备间交互的工作量，提升了用户进行注视点校准的体验。

实施例三

图3为本发明实施例三提供的一种注视点确定方法的流程示意图，该方法可适用于应用注视点函数进行注视点确定的情况，如用户确定完注视点函数后，应用该注视点函数进行注视点确定。该方法可以由注视点确定装置执行，其中该注视点确定装置可由软件和/或硬件实现，并一般集成在终端设备上。在本实施例中终端设备包括但不限于：手机、电脑或个人数字助理。

如图3所示，本发明实施例三提供的一种注视点确定方法，包括如下步骤：

S301、获取用户的图像信息。

在本实施例中，图像信息可以为图像采集装置获取的用户的图片。该图像信息可以包括用户的面部图像或用户眼部图像。终端设备对用户进行视线追踪时，可以首先获取用户的图像信息，以基于该图像信息确定用户注视点。

S302、根据所述图像信息和所述用户的注视点函数，确定所述用户的注视点。

在确定用户图像信息后，本步骤可以根据该图像信息和注视点函数确定用户的注视点。其中，所述注视点函数采用本发明实施例提供的注视点函数确定方法确定。具体的，本步骤可以提取图像信息中的特征信息，如眼部特征。然后将眼部特征代入注视点函数，以得到用户的注视点。需要说明的是，图像信息可以包括脸部图像或眼部图像，此处并不对图像信息进行限定只要能够提取用户特征信息即可，其中该特征信息可以根据用户注视点函数中所包含的特征信息确定。

可以理解的是，在确定用户的注视点时，用户可以根据确定的图像信息和用户的位置信息选取对应的注视点函数确定用户的注视点。其中用户的位置信息的获取时机和获取方式并不作限定。

本发明实施例三提供的一种注视点确定方法，首先获取用户的图像信息；然后根据所述图像信息和所述用户的注视点函数，确定所述用户的注视点，注视点函数采用本发明实施例提供的注视点函数确定方法确定。利用上述方法，能够基于用户图像信息和采用本发明实施例确定出的注视点函数，快速、高效的确定用户的注视点，有效的提升了用户的体验。

实施例四

图4为本发明实施例四提供的一种注视点函数确定装置的结构示意图，该注视点函数确定装置可适用于的情况，其中该装置可由软件和/或硬件实现，并一般集成在终端设备上。

如图4所示，该注视点函数确定装置包括：部分参数确定模块41、其余参数确定模块42和函数确定模块43。

部分参数确定模块41，用于获取用户注视校准点时的眼部图像，根据所述眼部图像中的眼部特征和所述校准点的位置信息估计注视点函数，得到所述注视点函数中部分参数的解；

其余参数确定模块42，用于获取所述用户的位置信息，根据所述用户的位置信息查找所述注视点函数中其余参数的历史解；

函数确定模块43，用于将所述注视点函数中各参数的解代入，得到所述注视点函数。

在本实施例中，该注视点函数确定装置首先通过部分参数确定模块41获取用户注视校准点时的眼部图像，根据所述眼部图像中的眼部特征和所述校准点的位置信息估计注视点函数，得到所述注视点函数中部分参数的解；其次通过其余参数确定模块42获取所述用户的位置信息，根据所述用户的位置信息查找所述注视点函数中其余参数的历史解；最后通过函数确定模块43将所述注视点函数中各参数的解代入，得到所述注视点函数。

本实施例提供了一种注视点函数确定装置，能够无需使用用户的眼部图像求解注视点函数的全部未知参数的解，通过用户眼部图像和校准点的位置信息确定注视点函数部分参数的解，然后基于用户的位置信息确定注视点函数其余参数的历史解，有效的减少了用户注视多个校准点的工作量，提升了用户进行注视点校准的体验。此外由于用户在进行注视点函数确定时，部分参数采用用户实测数据，其余参数采用用户历史数据，能够在减少用户工作量的同时，提高注视点函数确定的准确性。

进一步的，部分参数确定模块41，具体用于：提取所述眼部图像中的眼部特征；根据所述眼部特征和所述校准点的位置信息估计注视点函数，得到所述注视点函数中部分参数的解，其中，所述部分参数可以为所述注视点函数各参数中随机选取的若干个参数或根据所述注视点函数的历史解的主成分分析结果选取的若干个参数。

在上述优化的基础上，其余参数确定模块42，具体优化包括：

位置信息获取单元，用于获取所述用户的位置信息；

历史解确定单元，用于根据所述用户的位置信息查找所述用户的历史求解数据，得到所述注视点函数中其余参数的历史解。

基于上述技术方案，历史解确定单元，具体用于：根据所述用户的位置信息查找所述用户的历史求解数据，得到所述注视点函数中其余参数的全部解；将所述全部解的期望或均值作为所述注视点函数中其余参数的历史解。

进一步的，注视点函数确定装置还优化包括了：校准点显示模块44，用于在所述获取用户注视校准点时的眼部图像之前，根据获取的校准指令，显示校准点。

上述注视点函数确定装置可执行本发明任意实施例所提供的注视点函数确定方法，具备执行方法相应的功能模块和有益效果。

实施例五

图5为本发明实施例五提供的一种注视点确定装置的结构示意图，该注视点确定装置可适用于用户进行注视点函数确定的情况，其中该装置可由软件和/或硬件实现，并一般集成在终端设备上。

如图5所示，该注视点确定装置包括：图像信息获取模块51和注视点确定模块52。

其中，图像信息获取模块51，用于获取用户的图像信息；

注视点确定模块52，用于根据所述图像信息和所述用户的注视点函数，确定所述用户的注视点；其中，所述注视点函数采用本发明实施例提供的注视点函数确定装置确定。

在本实施例中，该注视点确定装置首先通过图像信息获取模块51获取用户的图像信息；然后通过注视点确定模块52根据所述图像信息和所述用户的注视点函数，确定所述用户的注视点；其中，所述注视点函数采用本发明实施例提供的注视点函数确定装置确定。

本实施例提供的一种注视点确定装置，能够基于用户图像信息和采用本发明实施例确定出的注视点函数，快速、高效的确定用户的注视点，有效的提升了用户的体验。

上述注视点确定装置可执行本发明任意实施例所提供的注视点确定方法，具备执行方法相应的功能模块和有益效果。

实施例六

图6为本发明实施例六提供的一种终端设备的结构示意图。如图6所示，本发明实施例六提供的终端设备包括：一个或多个处理器61和存储装置62；该终端设备中的处理器61可以是一个或多个，图6中以一个处理器61为例；存储装置62用于存储一个或多个程序；所述一个或多个程序被所述一个或多个处理器61执行，使得所述一个或多个处理器61实现如本发明实施例中任一项所述的注视点函数确定方法或本发明实施例中所述的注视点确定方法。

所述终端设备还可以包括：输入装置63和输出装置64。

终端设备中的处理器61、存储装置62、输入装置63和输出装置64可以通过总线或其他方式连接，图6中以通过总线连接为例。

该终端设备中的存储装置62作为一种计算机可读存储介质，可用于存储一个或多个程序，所述程序可以是软件程序、计算机可执行程序以及模块，如本发明实施例一或二所提供注视点函数确定方法对应的程序指令/模块(例如，附图4所示的注视点函数确定装置中的模块，包括：部分参数确定模块41、其余参数确定模块42和函数确定模块43；还包括：校准点显示模块44)。或如本发明实施例三所提供的注视点确定方法对应的程序指令/或模块(例如，附图5所示的注视点确定装置中的模块，包括：图像信息获取模块51和注视点确定模块52)。

处理器61通过运行存储在存储装置62中的软件程序、指令以及模块，从而执行终端设备的各种功能应用以及数据处理，即实现上述方法实施例中注视点函数确定方法或注视点确定方法。

存储装置62可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储装置62可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置62可进一步包括相对于处理器61远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置63可用于接收输入的数字或字符信息，以及产生与终端设备的用户设置以及功能控制有关的键信号输入、获取用户注视校准点时的眼部图像、获取用户的位置信息及用户的身份标识信息。输入装置63包括但不限于：图像采集装置(如红外摄像头，该红外摄像头配置有红外灯)、按键、位置传感器和/或麦克风等输入设备。输出装置64可包括但不限于：显示屏。

并且，当上述终端设备所包括一个或者多个程序被所述一个或者多个处理器61执行时，程序进行如下操作：

获取用户注视校准点时的眼部图像，根据所述眼部图像中的眼部特征和所述校准点的位置信息估计注视点函数，得到所述注视点函数中部分参数的解；获取所述用户的位置信息，根据所述用户的位置信息查找所述注视点函数中其余参数的历史解；将所述注视点函数中各参数的解代入，得到所述注视点函数；或，程序进行如下操作：

获取用户的图像信息；根据所述图像信息和所述用户的注视点函数，确定所述用户的注视点；其中，所述注视点函数采用本发明实施例提供的注视点函数确定方法确定。

此外，本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时用于执行一种注视点函数确定方法，该方法包括：

获取用户注视校准点时的眼部图像，根据所述眼部图像中的眼部特征和所述校准点的位置信息估计注视点函数，得到所述注视点函数中部分参数的解；获取所述用户的位置信息，根据所述用户的位置信息查找所述注视点函数中其余参数的历史解；将所述注视点函数中各参数的解代入，得到所述注视点函数；或，该程序被处理器执行时还可以执行一种注视点确定方法，该方法包括：

获取用户的图像信息；根据所述图像信息和所述用户的注视点函数，确定所述用户的注视点；其中，所述注视点函数采用本发明实施例提供的注视点函数确定方法确定。

可选的，该程序被处理器执行时还可以用于执行本发明任意实施例所提供的一种注视点函数确定方法或注视点确定方法的技术方案。通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种注视点函数确定方法，其特征在于，包括：

获取用户注视校准点时的眼部图像，根据所述眼部图像中的眼部特征和所述校准点的位置信息估计注视点函数，得到所述注视点函数中部分参数的解；

获取所述用户的位置信息，根据所述用户的位置信息查找所述注视点函数中其余参数的历史解；

将所述注视点函数中各参数的解代入，得到所述注视点函数。

2.根据权利要求1所述的方法，其特征在于，所述根据所述眼部图像中的眼部特征和所述校准点的位置信息估计注视点函数，得到所述注视点函数中部分参数的解，包括：

提取所述眼部图像中的眼部特征；

根据所述眼部特征和所述校准点的位置信息估计注视点函数，得到所述注视点函数中部分参数的解，其中，所述部分参数可以为所述注视点函数各参数中随机选取的若干个参数或根据所述注视点函数的历史解的主成分分析结果选取的若干个参数。

3.根据权利要求1所述的方法，其特征在于，所述获取所述用户的位置信息，根据所述用户的位置信息查找所述注视点函数中其余参数的历史解，包括：

获取所述用户的位置信息；

根据所述用户的位置信息查找所述用户的历史求解数据，得到所述注视点函数中其余参数的历史解。

4.根据权利要求3所述的方法，其特征在于，所述根据所述用户的位置信息查找所述用户的历史求解数据，得到所述注视点函数中其余参数的历史解，包括：

根据所述用户的位置信息查找所述用户的历史求解数据，得到所述注视点函数中其余参数的全部解；

将所述注视点函数中其余参数对应的全部解的期望或均值作为所述注视点函数中其余参数的历史解。

5.根据权利要求1所述的方法，其特征在于，在所述获取用户注视校准点时的眼部图像之前，还包括：

根据获取的校准指令，显示校准点。

6.一种注视点确定方法，其特征在于，包括：

获取用户的图像信息；

根据所述图像信息和所述用户的注视点函数，确定所述用户的注视点；其中，所述注视点函数采用如权利要求1-5任一所述的注视点函数确定方法确定。

7.一种注视点函数确定装置，其特征在于，包括：

部分参数确定模块，用于获取用户注视校准点时的眼部图像，根据所述眼部图像中的眼部特征和所述校准点的位置信息估计注视点函数，得到所述注视点函数中部分参数的解；

其余参数确定模块，用于获取所述用户的位置信息，根据所述用户的位置信息查找所述注视点函数中其余参数的历史解；

函数确定模块，用于将所述注视点函数中各参数的解代入，得到所述注视点函数。

8.一种注视点确定装置，其特征在于，包括：

图像信息获取模块，用于获取用户的图像信息；

注视点确定模块，用于根据所述图像信息和所述用户的注视点函数，确定所述用户的注视点；其中，所述注视点函数采用如权利要求7所述的注视点函数确定装置确定。

9.一种终端设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一项所述的注视点函数确定方法或如权利要求6中所述的注视点确定方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一项所述的注视点函数确定方法或如权利要求6所述的注视点确定方法。