CN109034108A - 一种视线估计的方法、装置和系统 - Google Patents

Abstract

本申请实施例公开了一种视线估计的方法、装置和系统，通过实时采集当前人眼图像，从该当前人眼图像中分析出用于描述椭圆形瞳孔所成像的几何参数的瞳孔形态信息，利用瞳孔所成像所分析出的二维瞳孔形态信息计算三维世界坐标系中瞳孔所在平面法向，记作人眼光轴方向；再以预置补偿角度对该人眼光轴方向进行补偿得到人眼视轴方向，即可根据该人眼视轴方向确定出该当前人眼图像对应的注视方向和/或注视点。这样，通过量化当前人眼图像中的瞳孔形态信息，计算和补偿确定出人眼注视方向和/或注视点，从而可以在更大范围内实现对人眼注视方向和/或注视点的实时、准确的检测。

Description

一种视线估计的方法、装置和系统

技术领域

本申请涉及眼控技术领域，特别是涉及一种视线估计的方法、装置和系统。

背景技术

眼控技术，也称视线估计技术，可以对人眼的视线进行追踪和检测，以使得人眼视线能够用于实现一些应用功能。其中，人眼的视线既可以是人眼的注视方向，也可以是人眼的注视点。目前，注视方向和注视点通常通过角膜反射法进行检测。具体地，在用于拍摄人眼图像的相机两侧部署一对光源。由于人眼的角膜可以近似地认为是个球形镜面，当一对光源照射到角膜上时，角膜上会产生两个镜面反射的光斑，从而这两个光斑能够被相机捕捉到人眼图像中。这样，根据人眼图像中角膜上的两个光斑，可以分析出注视点和注视方向。

但在有些情况下，人眼的注视方向可能过于偏离相机光轴。此时，光源在眼球的反射点可能会落在巩膜或巩膜与角膜的交界处。在巩膜及巩膜与角膜的交界处上的反射点往往难以形成形态理想的光斑，甚至往往无法形成光斑。因此，相机往往无法捕捉到具有两个形态理想光斑的人眼图像，从而使用角膜反射法就无法检测出人眼的注视方向和注视点。

发明内容

本申请所要解决的技术问题是，提供一种视线估计的方法、装置和系统，以使得即使在人眼注视方向过于偏离相机光轴而导致相机无法捕捉到两个光斑的情况下，也能够检测出人眼的注视方向或注视点，从而能够检测出较大范围内的注视方向和注视点。

第一方面，提供了一种视线估计的方法，包括：

从用户的当前人眼图像中分析瞳孔形态信息，其中，所述瞳孔形态信息是用于描述瞳孔所成像的几何参数；

根据所述瞳孔形态信息，计算瞳孔所在平面法向，作为人眼光轴方向；

以预置补偿角度对所述人眼光轴方向进行补偿，得到人眼视轴方向，并根据所述人眼视轴方向确定所述当前人眼图像对应的注视方向和/或注视点。

可选地，所述预置补偿角度是在具有已知注视点的校准过程中根据所述目标用户的瞳孔形态信息和所述已知注视点确定。

可选地，该方法还包括：

从用户的当前人眼图像中识别角膜上的真实光斑；

所述从用户的当前人眼图像中分析瞳孔形态信息，具体为：若所述当前人眼图像中识别不出角膜上的真实光斑，从所述当前人眼图像中分析所述瞳孔形态信息。

可选地，该方法还包括：

确定所述当前人眼图像中两光斑之间的间距；

若所述当前人眼图像中仅识别出一个角膜上的真实光斑，根据所述真实光斑与所述当前人眼图像中两光斑之间的间距，在所述当前人眼图像中确定预测光斑，其中，所述预测光斑与所述真实光斑是两个不同的光斑；

根据所述真实光斑与所述预测光斑，计算所述当前人眼图像对应的注视方向和/或注视点。

可选地，所述确定所述当前人眼图像中两光斑之间的间距，具体为：

根据所述用户的参考人眼图像中两光斑之间的间距，确定所述当前人眼图像中两光斑之间的间距；

其中，所述参考人眼图像包括在所述当前人眼图像之前的n帧人眼图像。

可选地，所述当前人眼图像中两光斑之间的间距为各所述参考人眼图像中两光斑之间的间距按照各所述参考人眼图像的权重进行加权得到的，其中，越接近于所述当前人眼图像的参考人眼图像的权重越大。

可选地，所述确定所述当前人眼图像中两光斑之间的间距，具体为：

根据所述目标用户的瞳孔间距和预置参数，确定所述当前人眼图像中两光斑之间的间距。

可选地，所述预置参数是在具有已知注视点的校准过程中根据所述目标用户的瞳孔间距和所述已知注视点确定。

可选地，该方法还包括：

若所述当前人眼图像中识别出两个角膜上的真实光斑，根据两个所述真实光斑，计算所述当前人眼图像对应的注视方向和/或注视点。

可选地，该方法还包括：

若所述当前人眼图像中在识别出一个角膜上的真实光斑的基础上还识别出一个非角膜上的不理想光斑，向所述不理想光斑对应的光源发出关闭信号，以使得所述不理想光斑对应的光源关闭。

第二方面，还提供了一种视线估计的装置，包括：

分析单元，还用于从用户的当前人眼图像中分析瞳孔形态信息，其中，所述瞳孔形态信息是用于描述椭圆形瞳孔的几何参数；

第一计算单元，用于根据所述瞳孔所成像形态信息，计算瞳孔所在平面法向，作为人眼光轴方向；

补偿单元，用于以预置补偿角度对所述人眼光轴方向进行补偿，得到人眼视轴方向；

第一确定单元，用于根据所述人眼视轴方向确定所述当前人眼图像对应的注视方向和/或注视点。

可选地，所述预置补偿角度是在具有已知注视点的校准过程中根据所述目标用户的瞳孔形态信息和所述已知注视点确定。

可选地，该装置还包括：

识别单元，用于从用户的当前人眼图像中识别角膜上的真实光斑；

所述分析单元，具体用于：若所述当前人眼图像中识别不出角膜上的真实光斑，从所述当前人眼图像中分析所述瞳孔形态信息。

可选地，该装置还包括：

第二确定单元，用于确定所述当前人眼图像中两光斑之间的间距；

第三确定单元，用于若所述当前人眼图像中仅识别出一个角膜上的真实光斑，根据所述真实光斑与所述当前人眼图像中两光斑之间的间距，在所述当前人眼图像中确定预测光斑，其中，所述预测光斑与所述真实光斑是两个不同的光斑；

第二计算单元，用于根据所述真实光斑与所述预测光斑，计算所述当前人眼图像对应的注视方向和/或注视点。

可选地，所述第二确定单元，具体用于：

根据所述用户的参考人眼图像中两光斑之间的间距，确定所述当前人眼图像中两光斑之间的间距；

其中，所述参考人眼图像包括在所述当前人眼图像之前的n帧人眼图像。

可选地，所述当前人眼图像中两光斑之间的间距为各所述参考人眼图像中两光斑之间的间距按照各所述参考人眼图像的权重进行加权得到的，其中，越接近于所述当前人眼图像的参考人眼图像的权重越大。

可选地，所述第二确定单元，具体用于：

根据所述目标用户的瞳孔间距和预置参数，确定所述当前人眼图像中两光斑之间的间距。

可选地，所述预置参数是在具有已知注视点的校准过程中根据所述目标用户的瞳孔间距和所述已知注视点确定。

可选地，该装置还包括：

第三计算单元，用于若所述当前人眼图像中识别出两个角膜上的真实光斑，根据两个所述真实光斑，计算所述当前人眼图像对应的注视方向和/或注视点。

可选地，该装置还包括：

关闭单元，用于若所述当前人眼图像中在识别出一个角膜上的真实光斑的基础上还识别出一个非角膜上的不理想光斑，向所述不理想光斑对应的光源发出关闭信号，以使得所述不理想光斑对应的光源关闭。

第三方面，还提供了一种视线估计的系统，包括处理器、红外成像设备和分别位于所述红外成像设备两侧的两个红外光源；

两个红外光源，用于按照所述处理器发送的输出信号开启或关闭；

所述红外成像设备，用于拍摄人眼图像并向所述处理器发送；

所述处理器，用于执行如前述第一方面提供的视线估计的方法。

在本申请实施例中，如果需要对人眼的视线进行检测，判断人眼的注视方向和/或注视点时，可以通过实时采集当前人眼图像，从该当前人眼图像中分析出用于描述瞳孔所成像的几何参数的瞳孔形态信息，利用所分析出的瞳孔形态信息计算瞳孔所在平面法向，记作人眼光轴方向；再以预置补偿角度对该人眼光轴方向进行补偿得到人眼视轴方向，即可根据该人眼视轴方向确定出该当前人眼图像对应的注视方向和/或注视点。这样，本申请实施例提供的技术方案，弥补了在人眼的注视方向过于偏离相机光轴的情况下，采用现有的角膜反射法由于无法识别出两个真实光斑而无法检测人眼注视方向和/或注视点的问题，可以通过量化当前人眼图像中的瞳孔形态信息，通过计算和补偿确定出人眼注视方向和/或注视点，从而可以在更大范围内实现对人眼注视方向和/或注视点的实时、准确的检测。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本申请实施例中一应用场景所涉及的网络系统框架示意图；

图2为本发明实施例中一种视线估计的方法的流程示意图；

图3为本发明实施例中另一种视线估计的方法的流程示意图；

图4为本发明实施例中一种视线估计的装置的结构示意图；

图5为本发明实施例中一种视线估计的系统的结构示意图。

具体实施方式

发明人经过研究发现，在一些应用功能中，需要对用户人眼的视线(通过注视方向和/或注视点体现)进行追踪和检测。而现有的人眼检测方式包括角膜反射法，即，通过两个光源的照射，使相机采集到的人眼图像中人眼角膜上产生两个镜面反射的光斑，这样，根据人眼图像中角膜上的两个光斑，可以分析出注视点和注视方向。但是，如果人眼的注视方向过于偏离相机光轴，那么，可能导致相机所采集到的人眼图像中不会产生两个形态理想光斑，从而使用现有的角膜反射法就无法检测出人眼的注视方向和注视点。

基于此，在本申请实施例中，为了能够检测出较大范围内的注视方向和注视点，提供了一种视线估计的方法，如果相机采集到当前人眼图像，可以从用户的当前人眼图像中分析瞳孔形态信息，其中，所述瞳孔形态信息是用于描述瞳孔所成像的几何参数；根据所述瞳孔形态信息，计算瞳孔所在平面法向，作为人眼光轴方向；以预置补偿角度对所述人眼光轴方向进行补偿，得到人眼视轴方向，并根据所述人眼视轴方向确定所述当前人眼图像对应的注视方向和/或注视点。这样，克服了在人眼的注视方向过于偏离相机光轴的情况下，采用现有的角膜反射法由于无法识别出两个真实光斑而无法检测人眼注视方向和/或注视点的问题，可以通过量化当前人眼图像中的瞳孔形态信息，通过计算和补偿确定出人眼注视方向和/或注视点，从而可以在更大范围内实现对人眼注视方向和/或注视点的实时、准确的检测。

举例来说，本申请实施例的场景之一，可以是应用到如图1所示的场景中。在该场景中，视线估计设备110上包括相机111和第一光源112和第二光源113，而且，该视线估计设备110与处理器120可以通过USB等实现有线连接，也可以通过蓝牙等实现无线连接。一种情况下，处理器120可以集成于视线估计设备110中，那么，视线估计设备110可以通过内部的处理器120进行数据处理；另一种情况下，处理器120独立于视线估计设备110，那么，处理器120可以与一个视线估计设备110进行数据交互，独立对来自该视线估计设备110的数据进行处理，也可以同时与多个视线估计设备110进行数据交互，负载分别对来自各个视线估计设备110的数据进行处理。

具体实现时，如果用户需要对人眼的视线进行检测，可以打开该视线估计设备110中的第一光源112和第二光源113，并通过相机111实时采集当前人眼图像，该视线估计设备110将采集到的当前人眼图像发送给处理器120，处理器120首先从该当前人眼图像中分析瞳孔形态信息，其中，所述瞳孔形态信息是用于描述瞳孔所成像的几何参数；那么，处理器120可以根据所述瞳孔形态信息，计算瞳孔所在平面法向，作为人眼光轴方向，再以预置补偿角度对所述人眼光轴方向进行补偿，得到人眼视轴方向，并根据所述人眼视轴方向确定所述当前人眼图像对应的注视方向和/或注视点，避免了在人眼的注视方向过于偏离相机110光轴的情况下，由于无法识别出两个真实光斑而无法检测人眼注视方向和/或注视点的问题。

需要说明的是，第一光源112和第二光源113可以通过模组结构114安装或者设置在相机111的两侧。其中，该模组结构114的作用是固定相机111、第一光源112和第二光源113，并且辅助上述部件散热。为了实现良好的散热特性，该模组结构114可以是铝制品。

可以理解的是，上述场景仅是本申请实施例提供的一个场景示例，本申请实施例并不限于此场景。

下面结合附图，通过实施例来详细说明本申请实施例中视线估计方法的具体实现方式。

参见图2，图2示出了本申请实施例中一种视线估计的方法的流程示意图，由于人眼相对于相机，注视方向不同时，相机所捕捉到的瞳孔形态是不同的，故，可以通过瞳孔形态信息来判断用户的视线。那么，如图2所示，该方法具体可以包括：

步骤201，若当前人眼图像中识别不出角膜上的真实光斑，从该当前人眼图像中分析瞳孔形态信息，其中，该瞳孔形态信息是用于描述椭圆形瞳孔的几何参数。

可以理解的是，当人眼的注视方向与相机光轴所成角度超出预设范围，且，两个光源在眼球上的放射点均落入角膜以外的部位时，从当前人眼图像中识别不出角膜上的真实光斑。此时，可以从该当前人眼图像中分析瞳孔形态信息，用于描述椭圆形瞳孔的几何参数。其中，在注视方向越靠近相机时，瞳孔在相机传感器平面上所成的像越接近圆形；在注视方向越远离相机时，所成的像越偏向椭圆。

具体而言，将角膜曲面视作一个球体的一部分，将瞳孔视作一个圆面，该球体的朝向也就是瞳孔圆面的法向。而瞳孔形态信息可以是指相机传感器像平面上瞳孔所成的像的椭圆信息，包括：椭圆长轴、短轴、偏转角、椭圆中心位置。根据当代几何理论，已知瞳孔所成的像的形态信息，即可后续计算出世界坐标系中瞳孔圆面和眼球朝向，进而估计注视点和/或注视方向。

步骤202，根据该瞳孔形态信息，计算瞳孔所在平面法向，作为人眼光轴方向。

可以理解的是，利用步骤202所分析出的瞳孔形态信息，根据几何算法，可以计算出眼球朝向，又称人眼光轴方向，该人眼光轴方向与人眼视轴方向存在一定的偏转，故，在计算出人眼光轴方向后，可以根据后续步骤203得到人眼视轴方向。

步骤203，以预置补偿角度对该人眼光轴方向进行补偿，得到人眼视轴方向，并根据人眼视轴方向确定该当前人眼图像对应的注视方向和/或注视点。

可以理解的是，用户的注视方向，由人眼视轴方向来确定，该人眼视轴方向和步骤202所得的人眼光轴方向一般并不重合，它们之间的夹角叫Kappa角。具体实现时，可以通过预置补偿角kappa和人眼光轴方向，得到人眼视轴方向。其中，预置补偿角kappa可以是在校准过程中，根据目标用户的瞳孔形态信息和已知注视点确定的，即，当目标用户的人眼视轴方向(通过已知注视点得到)和人眼光轴方向(通过瞳孔形态信息得到)均已知时，通过该已知的人眼视轴方向和已知的人眼光轴方向，可以确定出该预置补偿角kappa。

具体实现时，在确定了预置补偿角kappa后，可以将该预置补偿角kappa补偿到步骤202计算所得的人眼光轴方向上，得到人眼视轴方向。此时，可以根据得到的人眼视轴方向确定该当前人眼图像对应的注视方向和/或注视点。作为一个示例，可以直接将人眼视轴方向作为该当前人眼图像对应的注视方向。

由此可知，本实施例中，当从当前人眼图像中没有识别出角膜上的真实光斑时，可以通过从该当前人眼图像中分析出用于描述瞳孔所成像的几何参数的瞳孔形态信息，利用所分析出的瞳孔形态信息计算瞳孔所在平面法向，记作人眼光轴方向；再以预置补偿角度对该人眼光轴方向进行补偿得到人眼视轴方向，即可根据该人眼视轴方向确定出该当前人眼图像对应的注视方向和/或注视点。这样，避免了在人眼的注视方向过于偏离相机光轴的情况下，采用现有的角膜反射法由于无法识别出两个真实光斑而无法检测人眼注视方向和/或注视点的问题，可以通过量化当前人眼图像中的瞳孔形态信息，通过计算和补偿确定出人眼注视方向和/或注视点，从而可以在更大范围内实现对人眼注视方向和/或注视点的实时、准确的检测。

此外，如果从当前人眼图像中识别不出角膜上的真实光斑，那么，可以执行上述步骤201～步骤203，通过从所述当前人眼图像中分析所述瞳孔形态信息，实现对用户视线的检测。但是，还有一种情况下，当人眼的注视方向与相机光轴所成角度超出预设范围时，可能有一个光源在眼球上的放射点落入角膜以外的部位，另一个光源在眼球上的放射点落入角膜上，此时，从当前人眼图像中即可识别出1个角膜上的真实光斑，那么，如图3所示，本申请实施例还可以包括：

步骤301，从当前人眼图像中识别角膜上的真实光斑。

可以理解的是，可以根据图像处理算法，从当前人眼图像中检测并识别出角膜上的真实光斑。识别出的角模上的真实光斑，根据人眼的注视方向与相机光轴所成角度，具体可以是2个、1个或者0个，具体而言，当人眼的注视方向与相机光轴所成角度在预设范围内时，可能一对光源在眼球上的放射点均可以落入角膜上，那么，从当前人眼图像中即可识别出2个角模上的真实光斑；当人眼的注视方向与相机光轴所成角度超出预设范围时，一种情况下，可能有一个光源在眼球上的放射点落入角膜以外的部位，那么，从当前人眼图像中即可识别出1个角膜上的真实光斑，另一种情况下，可能两个光源在眼球上的放射点均落入角膜以外的部位，那么，从当前人眼图像中识别不出角膜上的真实光斑。

可以理解的是，由于人眼的角膜可以近似地认为是个球形镜面，当一对光源照射到角膜上时，角膜上即可产生镜面反射，出现两个形态理想的光斑；而由于人眼的其他部分(例如，巩膜或巩膜与角膜的交界处)表面比较粗糙，光源照射到这些部分时难以出现较为理想的光斑。故，采用一对光源照射人眼采集人眼图像时，一旦有光源在眼球上的放射点落在角膜之外的部分，则由于获得的人眼图像中没有两个角膜上的真实光斑而无法利用现有的角膜反射法检测视线。

其中，当前人眼图像是指采集到的当前时刻待视线估计的人眼图像，是视线估计的依据，可以通过相机等图像采集设备获取到。当人眼的注视方向与相机光轴所成角度在预设范围内时，由于一对光源在眼球上的放射点均可以落入角膜上，从而相机可以采集到具有两个真实光斑的当前人眼图像；当人眼的注视方向与相机光轴所成角度超过预设范围时，由于某个光源在眼球上的放射点可能落入角膜之外的部分上，反射点不会出现或者形态不规则，从而相机难以采集到具有两个真实光斑的当前人眼图像。可以理解的是，真实光斑，即为光源的反射点落在角膜上，形成的形态理想的光斑，该光斑可以用于估计用户的视线。

步骤302，确定该当前人眼图像中两光斑之间的间距。

具体实现时，步骤302可以采用不同的实现方式，下面示例性的对两种可能的实现方式进行说明。

第一种实现方式中，由于在某个短暂的时间段内(例如1秒内)，人眼相对于相机的位置不会明显变化，因此，光斑的相对位置在几帧图像间会相对固定，那么，可以近似的认为当前人眼图像中两光斑之间的间距和该当前人眼图像之前的几帧人眼图像中的光斑之间的距离。故，上述S2具体可以是：根据用户的参考人眼图像中两光斑之间的间距，确定该当前人眼图像中两光斑之间的间距。其中，参考人眼图像包括在当前人眼图像之前的n帧人眼图像。

可以理解的是，相机会不断的采集用户的人眼图像，相对于当前待进行视线估计的当前人眼图像的采集时刻，在该采集时刻之前所采集到的人眼图像记作历史人眼图像。而参考人眼图像可以是历史人眼图像中，在当前人眼图像之前所采集的n帧人眼图像，其中，n可以是用户按照自身的意愿进行设置的，也可以是该视线估计设备出厂时设置好的。

需要说明的是，参考人眼图像存在两个光斑，这两个光斑可以是两个真实光斑，也可以是一个真实光斑和一个预测光斑。用户可以直接设置参考人眼图像的帧数，例如，对于30Hz帧率的相机而言，可以选取过去20帧以内(相当于n＝20)的图像作为参考人眼图像；用户也可以通过设置当前人眼图像之间预设时间，进而达到设置参考人眼图像数量的效果，例如，可以选取当前人眼图像之间1秒内的图像作为参考人眼图像。

具体实现时，可以先对每帧参考人眼图像计算两光斑之间的间距，那么，如果参考人眼图像包括在当前人眼图像之前的n帧人眼图像，则可以计算出n个间距D₁、D₂……、D_n；再根据这n个间距，确定该当前人眼图像中两光斑之间的间距D。

对于根据n个间距，确定该当前人眼图像中两光斑之间的间距D的实现方式，作为一个示例，可以直接将这n个间距取平均，将得到的平均值作为当前人眼图像中两光斑之间的间距D，即，D＝(D₁+D₂+……+D_n)÷n。作为另一个示例，可以按照各参考人眼图像的权重进行加权，得到当前人眼图像中两光斑之间的间距D，其中，越接近于该当前人眼图像的参考人眼图像的权重越大，即，D＝(aD₁+bD₂+……+mD_n)，其中，a＞b＞……＞m，且a+b+……+m＝1，人眼图像采集的时间顺序为：D_n对应的人眼图像、……、D₂对应的人眼图像、D₁对应的人眼图像、当前人眼图像。

举例来说，假设将当前人眼图像x之前的5帧图像作为参考人眼图像，且人眼图像采集的时间顺序为：图像a、图像b、图像c、图像d、图像e和图像x。其中，图像a、图像b、图像c、图像d和图像e中两光斑之间的间距分别为5mm、4.4mm、6mm、5.4mm和5.2mm，如果采用取平均的方式确定图像x中两光斑之间的间距D，可以得到D＝(5mm+4.4mm+6mm+5.4mm+5.2mm)÷5＝5.2mm；如果采用加权算法的方式确定图像x中两光斑之间的间距D，且设置图像a的权重为，图像b的权重为(1/3)，图像c的权重为(1/10)，图像a的权重为(1/20)，图像a的权重为(1/60)，那么，可以得到D＝5mm×(1/2)+4.4mm×(1/3)+6mm×(1/10)+5.4mm×(1/20)+5.2mm×(1/60)≈4.9mm。

第二种实现方式中，经过对人眼和相机的几何模型推算和大量的实验验证，得到瞳孔间距和光斑间距的近似函数关系，该函数关系可以在大部分常用距离和位置体现二者关系。依据于此，上述S2具体的一种可选近似关系可以是：根据目标用户的瞳孔间距和预置参数，确定当前人眼图像中两光斑之间的间距。

可以理解的是，根据数学推算，如下公式可以作为一种估计函数：

其中，该常数对于每个特定用户而言都是固定的，不同用户之间可能存在微小的差异，可以根据大量的实验数据，进行统计和分析，得到固定的经验值作为通用常数，也可以通过校准过程生成对特定个体的用户特定常数。

具体实现时，该预置参数可以是在具有已知注视点的校准过程中，根据目标用户的瞳孔间距和所述已知注视点确定。也就是说，将该当前人眼图像中的用户作为目标用户，获取该目标用户的历史人眼图像中已知注视点的一帧人眼图像，先根据该注视点确定出该人眼图像对应时刻目标用户的两光斑之间的间距，再根据该两光斑之间的间距和瞳孔间距，可以根据上述公式得到预置参数。

在校准过程中得到预置参数后，可以根据该用户的瞳孔间距和该预置参数，根据上述公式的变形得出两光斑之间的间距，作为当前人眼图像中两光斑之间的间距。

根据步骤301可以识别出角膜上的真实光斑，根据步骤302可以确定出当前人眼图像中两光斑之间的间距，为后续进行用户的视线估计提供了数据基础。

需要说明的是，上述步骤301和步骤302的执行没有先后顺序，可以先执行步骤301，再执行步骤302；也可以先执行步骤302，再执行步骤301；还可以同时执行步骤301和步骤302。

步骤303，若该当前人眼图像中仅识别出一个角膜上的真实光斑，根据真实光斑与当前人眼图像中两光斑之间的间距，在该当前人眼图像中确定预测光斑，其中，该预测光斑与真实光斑是两个不同的光斑。

可以理解的是，如果人眼的注视方向与相机光轴所成角度超出预设范围，且，有一个光源在眼球上的放射点落入角膜上，另一个光源在眼球上的放射点落入角膜之外，那么，从当前人眼图像中仅可识别出1个角膜上的真实光斑。此时，可以通过单光斑法估计出另一个光斑，作为预测光斑，替代另一个丢失光斑进行视线估计。

需要说明的是，丢失光斑，是指反射点不会出现或形态不规则的光斑，不同于真实光斑，如果丢失光斑是一个非角膜上的形态不规则的不理想光斑时，由于仍然可以被相机采集到，且可能会对注视点估计造成干扰，故，需要在该不理想光斑可见但是不规则时，向该不理想光斑对应的光源发出关闭信号，以使得该不理想光斑对应的光源关闭，从而稳定所识别出的真实光斑，避免对其造成影响。

具体实现时，可以步骤301中识别出的真实光斑，以及，步骤302确定的当前人眼图像中两光斑之间的间距，在该当前人眼图像中确定预测光斑，其中，该预测光斑与真实光斑是两个不同的光斑。

可以理解的是，该预测光斑，是指估算出的另一个“真实光斑”，那么，该预测光斑和识别到的真实光斑之间的间距应该等于步骤302所确定的当前人眼图像中两光斑之间的间距。

步骤304，根据真实光斑与预测光斑，计算当前人眼图像对应的注视方向和/或注视点。

可以理解的是，当识别出一个真实光斑并确定出一个预测光斑(即另一个“真实光斑”)后，相当于识别出两个光斑，可以直接根据两个光斑计算当前人眼图像对应的注释方向和/或注视点。

由此可知，在本实施例中，当从当前人眼图像中仅仅识别出一个角膜上的真实光斑，则可以根据识别出的该真实光斑与当前人眼图像中两光斑之间的间距，确定当前人眼图像中的没有被识别出的真实光斑的位置，记作预测光斑，这样，即可将预测光斑作为该当前人眼图像中的另一个“真实光斑”，根据识别出的真实光斑与确定的预测光斑，计算该当前人眼图像对应的注视方向和/或注视点。这样，避免了在人眼的注视方向过于偏离相机光轴的情况下，采用现有的角膜反射法由于无法识别出两个真实光斑而无法检测人眼注视方向和/或注视点的问题，可以在更大范围内实现对人眼注视方向和/或注视点的实时、准确的检测。

作为另一种可能的实现方式，如果人眼的注视方向与相机光轴所成角度在预设范围内时，一对光源在眼球上的放射点均可以落入角膜上，那么，从当前人眼图像中即可识别出2个角模上的真实光斑，此时，本实施例还可以包括：根据两个真实光斑，计算该当前人眼图像对应的注视方向和/或注视点。

此外，本申请实施例还提供了一种视线估计的装置，如图4所示。该装置具体可以包括：

分析单元401，还用于从用户的当前人眼图像中分析瞳孔形态信息，其中，所述瞳孔形态信息是用于描述瞳孔的几何参数；

第一计算单元402，用于根据所述瞳孔形态信息，计算瞳孔所在平面法向，作为人眼光轴方向；

补偿单元403，用于以预置补偿角度对所述人眼光轴方向进行补偿，得到人眼视轴方向；

第一确定单元404，用于根据所述人眼视轴方向确定所述当前人眼图像对应的注视方向和/或注视点。

可选地，所述预置补偿角度是在具有已知注视点的校准过程中根据所述目标用户的瞳孔形态信息和所述已知注视点确定。

可选地，该装置还包括：

识别单元，用于从用户的当前人眼图像中识别角膜上的真实光斑；

所述分析单元，具体用于：若所述当前人眼图像中识别不出角膜上的真实光斑，从所述当前人眼图像中分析所述瞳孔形态信息。

可选地，该装置还包括：

第二确定单元，用于确定所述当前人眼图像中两光斑之间的间距；

第三确定单元，用于若所述当前人眼图像中仅识别出一个角膜上的真实光斑，根据所述真实光斑与所述当前人眼图像中两光斑之间的间距，在所述当前人眼图像中确定预测光斑，其中，所述预测光斑与所述真实光斑是两个不同的光斑；

第二计算单元，用于根据所述真实光斑与所述预测光斑，计算所述当前人眼图像对应的注视方向和/或注视点。

可选地，所述第二确定单元，具体用于：

根据所述用户的参考人眼图像中两光斑之间的间距，确定所述当前人眼图像中两光斑之间的间距；

其中，所述参考人眼图像包括在所述当前人眼图像之前的n帧人眼图像。

可选地，所述当前人眼图像中两光斑之间的间距为各所述参考人眼图像中两光斑之间的间距按照各所述参考人眼图像的权重进行加权得到的，其中，越接近于所述当前人眼图像的参考人眼图像的权重越大。

可选地，所述第二确定单元，具体用于：

根据所述目标用户的瞳孔间距和预置参数，确定所述当前人眼图像中两光斑之间的间距。

可选地，所述预置参数是在具有已知注视点的校准过程中根据所述目标用户的瞳孔间距和所述已知注视点确定。

可选地，该装置还包括：

第三计算单元，用于若所述当前人眼图像中识别出两个角膜上的真实光斑，根据两个所述真实光斑，计算所述当前人眼图像对应的注视方向和/或注视点。

可选地，该装置还包括：

关闭单元，用于若所述当前人眼图像中在识别出一个角膜上的真实光斑的基础上还识别出一个非角膜上的不理想光斑，向所述不理想光斑对应的光源发出关闭信号，以使得所述不理想光斑对应的光源关闭。

上述描述为视线估计的装置的相关描述，其中，具体实现方式以及达到的效果，可以参见图2所示的视线估计的方法实施例的描述，这里不再赘述。

此外，本申请实施例还提供了一种视线估计的系统，如图5所示，该系统包括处理器501、红外成像设备502和分别位于所述红外成像设备502两侧的两个红外光源503；

两个红外光源503，用于按照所述处理器501发送的输出信号开启或关闭；

所述红外成像设备502，用于拍摄人眼图像并向所述处理器501发送；

所述处理器501，用于执行如前述第一方面提供的视线估计的方法。

上述描述为视线估计的系统的相关描述，其中，具体实现方式以及达到的效果，可以参见图2所示的视线估计的方法实施例的描述，这里不再赘述。

本申请实施例中提到的“第一计算单元”、“第一确定单元”等名称中的“第一”只是用来做名字标识，并不代表顺序上的第一。该规则同样适用于“第二”等。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到上述实施例方法中的全部或部分步骤可借助软件加通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如只读存储器(英文：read-onlymemory，ROM)/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者诸如路由器等网络通信设备)执行本申请各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于方法实施例和设备实施例而言，由于其基本相似于系统实施例，所以描述得比较简单，相关之处参见系统实施例的部分说明即可。以上所描述的设备及系统实施例仅仅是示意性的，其中作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅是本申请的优选实施方式，并非用于限定本申请的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (12)

1.一种视线估计的方法，其特征在于，包括：

从用户的当前人眼图像中分析瞳孔形态信息，其中，所述瞳孔形态信息是用于描述瞳孔所成像的几何参数；

根据所述瞳孔形态信息，计算世界坐标系中瞳孔所在平面法向，作为人眼光轴方向；

以预置补偿角度对所述人眼光轴方向进行补偿，得到人眼视轴方向，并根据所述人眼视轴方向确定所述当前人眼图像对应的注视方向和/或注视点。

2.根据权利要求1所述的方法，其特征在于，所述预置补偿角度是在具有已知注视点的校准过程中根据所述目标用户的瞳孔形态信息和所述已知注视点确定。

3.根据权利要求1所述的方法，其特征在于，还包括：

从用户的当前人眼图像中识别角膜上的真实光斑；

所述从用户的当前人眼图像中分析瞳孔形态信息，具体为：若所述当前人眼图像中识别不出角膜上的真实光斑，从所述当前人眼图像中分析所述瞳孔形态信息。

4.根据权利要求3所述的方法，其特征在于，还包括：

确定所述当前人眼图像中两光斑之间的间距；

若所述当前人眼图像中仅识别出一个角膜上的真实光斑，根据所述真实光斑与所述当前人眼图像中两光斑之间的间距，在所述当前人眼图像中确定预测光斑，其中，所述预测光斑与所述真实光斑是两个不同的光斑；

根据所述真实光斑与所述预测光斑，计算所述当前人眼图像对应的注视方向和/或注视点。

5.根据权利要求4所述的方法，其特征在于，所述确定所述当前人眼图像中两光斑之间的间距，具体为：

根据所述用户的参考人眼图像中两光斑之间的间距，确定所述当前人眼图像中两光斑之间的间距；

其中，所述参考人眼图像包括在所述当前人眼图像之前的n帧人眼图像。

6.根据权利要求5所述的方法，其特征在于，所述当前人眼图像中两光斑之间的间距为各所述参考人眼图像中两光斑之间的间距按照各所述参考人眼图像的权重进行加权得到的，其中，越接近于所述当前人眼图像的参考人眼图像的权重越大。

7.根据权利要求4所述的方法，其特征在于，所述确定所述当前人眼图像中两光斑之间的间距，具体为：

根据所述目标用户的瞳孔间距和预置参数，确定所述当前人眼图像中两光斑之间的间距。

8.根据权利要求7所述的方法，其特征在于，所述预置参数是在具有已知注视点的校准过程中根据所述目标用户的瞳孔间距和所述已知注视点确定。

9.根据权利要求3所述的方法，其特征在于，还包括：

若所述当前人眼图像中识别出两个角膜上的真实光斑，根据两个所述真实光斑，计算所述当前人眼图像对应的注视方向和/或注视点。

10.根据权利要求3所述的方法，其特征在于，还包括：

若所述当前人眼图像中在识别出一个角膜上的真实光斑的基础上还识别出一个非角膜上的不理想光斑，向所述不理想光斑对应的光源发出关闭信号，以使得所述不理想光斑对应的光源关闭。

11.一种视线估计的装置，其特征在于，包括：

分析单元，还用于从用户的当前人眼图像中分析瞳孔形态信息，其中，所述瞳孔形态信息是用于描述椭圆形瞳孔的几何参数；

第一计算单元，用于根据所述瞳孔形态信息，计算瞳孔所在平面法向，作为人眼光轴方向；

补偿单元，用于以预置补偿角度对所述人眼光轴方向进行补偿，得到人眼视轴方向；

第一确定单元，用于根据所述人眼视轴方向确定所述当前人眼图像对应的注视方向和/或注视点。

12.一种视线估计的系统，其特征在于，包括处理器、红外成像设备和分别位于所述红外成像设备两侧的两个红外光源；

两个红外光源，用于按照所述处理器发送的输出信号开启或关闭；

所述红外成像设备，用于拍摄人眼图像并向所述处理器发送；

所述处理器，用于执行如前述权利要求1至10任意一项所述的方法。