CN115830675B - 一种注视点跟踪方法、装置、智能眼镜及存储介质 - Google Patents

Abstract

本发明涉及视线追踪领域，具体公开一种注视点跟踪方法、装置、智能眼镜及存储介质，方法包括：获取多个人眼图像；对多个人眼图像进行视线跟踪计算，得到人眼图像中的人眼的注视向量和视差图像；提取可见光图像中的突出区域，将突出区域收集于数据集中；将视差图像中的深度信息与多个突出区域对齐，得到突出区域的现实三维坐标并代入数据集中；将数据集中最接近左右人眼的两个注视向量的点作为人眼的注视点。本发明可以注视点追踪过程，通过生成显著图与视差图像的深度信息对齐，然后计算出注视向量便可以与注视目标匹配，根据注视目标快速确定注视点。整个跟踪自动完成，无需设置标记和任何外部协助，提高了视线跟踪的精度和速度。

Description

一种注视点跟踪方法、装置、智能眼镜及存储介质

技术领域

本发明涉及视线跟踪领域，尤其涉及一种注视点跟踪方法、装置、智能眼镜及存储介质。

背景技术

眼动跟踪是一个识别某人在看什么、怎么看的过程，已广泛应用于人机交互、虚拟现实、车辆辅助驾驶、人因分析和心理研究等多个领域。从眼球的生理结构来说，人类主要通过中央凹区域来获取视觉数据，中央凹只能提供约1–2度的视角。虽然该区域仅占视野范围的极□部分，但通过此区域记录的信息却包含了通过视觉神经传递到□脑的有效视觉信息的50％。因此，人类的视觉和注意系统围绕着一个主要目标工作：使感兴趣的目标的光学成像聚焦于中央凹处。这是眼动行为最根本，最主要的原因。

按照使用场景来分类，眼动跟踪设备主要可以分为两种：屏幕式眼动仪和穿戴式眼动仪。屏幕式眼动仪放置在离用户一定距离的地方来跟踪用户的眼球运动。穿戴式眼动仪通过将眼动跟踪系统和场景摄像机集成在轻量化的框架上，例如眼镜或头盔上，来采集用户在真实环境中的眼动行为。

现有的穿戴式眼动跟踪，存在精度误差大、延迟大的问题。

发明内容

鉴于以上技术问题，本发明提供了一种注视点跟踪方法、装置、智能眼镜及存储介质，以提供一种精度高、快速高效地计算人眼注视点的技术方案。

本公开的其他特征和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本发明的一方面，公开一种注视点跟踪方法，所述方法包括：

获取由两个红外摄像头拍摄的被红外光照亮的多个人眼图像；对多个所述人眼图像进行视线跟踪计算，得到所述人眼图像中的人眼的注视向量；获取由两个可见光摄像头拍摄的人眼前方的现实物理世界的可见光图像和所述可见光图像对应的视差图像；提取所述可见光图像中的一个或多个突出区域，将一个或多个所述突出区域收集于数据集中；将所述视差图像中的深度信息与多个所述突出区域对齐，得到所述突出区域的现实三维坐标并代入所述数据集中；将所述注视向量的坐标系和所述数据集的坐标系进行转换，将所述数据集中最接近左右人眼的两个所述注视向量的点作为人眼的注视点。

进一步的，所述对多个所述人眼图像进行视线跟踪计算，得到任一所述人眼图像中的人眼的注视向量，包括：提取多个所述人眼图像中的瞳孔轮廓，得到瞳孔中心；根据人眼图像中的角膜反射光斑确定角膜中心；根据所述瞳孔中心和所述角膜中心确定人眼中心；获取所述人眼中心指向所述人眼图像中的瞳孔中心的直线，对所述直线偏移Kappa角度后作为对应的所述注视向量。

进一步的，所述提取所述可见光图像中的一个或多个突出区域，包括：基于显著性检测算法计算所述可见光图像，得到显著图；提取所述显著图中显著值高于阈值的像素，得到所述突出区域。

进一步的，在提取所述显著图中显著值高于阈值的像素后，基于聚类算法，去除提取的所述像素的噪声。

进一步的，所述视差图像基于以下方法获取：对两个所述可见光摄像头进行标定，得到两个所述可见光摄像头的内参数和外参数；根据标定结果对两个所述可见光摄像头采集的两个所述可见光图像进行校正，使得校正后的两个所述可见光图像位于同一平面内；对校正后两个所述可见光图像进行关键特征点检测；对两个所述可见光图像的所述关键特征点进行匹配，并计算出匹配的两个所述可见光图像的所述关键特征点的坐标差值，得到所述视差图像。

进一步的，所述视差图像的所述深度信息基于以下方法获取：根据公式Z＝F*B/D计算得到所述深度信息，其中，Z为所述深度信息，B为两个所述可见光摄像头的基线长度，F为所述可见光摄像头的焦距，D为两个所述可见光图像对应的所述关键特征点的坐标差值。

进一步的，所述将所述数据集中最接近左右人眼的两个所述注视向量的点作为人眼的注视点，包括：基于最小化方程，定义与转换后的两个所述注视向量之间距离最小的点为所述注视点。

根据本公开的第二方面，提供一种注视点跟踪装置，包括：第一采集模块，用于获取由两个红外摄像头拍摄的被红外光照亮的多个人眼图像；眼动跟踪模块，用于对多个所述人眼图像进行视线跟踪计算，得到所述人眼图像中的人眼的注视向量；第二采集模块，用于获取由两个可见光摄像头拍摄的人眼前方的现实物理世界的可见光图像和所述可见光图像对应的视差图像；图像处理模块，用于将所述可见光图像处理为所述视差图像，和用于提取所述可见光图像中的一个或多个突出区域，将一个或多个所述突出区域收集于数据集中；三维处理模块，用于将所述视差图像中的深度信息与多个所述突出区域对齐，得到所述突出区域的现实三维坐标并代入所述数据集中，将所述注视向量的坐标系和所述数据集的坐标系进行转换，将所述数据集中最接近左右人眼的两个所述注视向量的点作为人眼的注视点。

根据本公开的第三方面，提供一种智能眼镜，包括：至少两个红外摄像头，分别指向左右两个人眼设置；至少两个可见光摄像头，分别指向左右两个人眼前方设置；红外泛光发射器，面向人眼设置；一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如下方法：

获取由所述红外摄像头拍摄的被所述红外泛光发射器照亮的多个人眼图像；对多个所述人眼图像进行视线跟踪计算，得到所述人眼图像中的人眼的注视向量；获取由两个所述可见光摄像头拍摄的人眼前方的现实物理世界的可见光图像和所述可见光图像对应的视差图像；提取所述可见光图像中的一个或多个突出区域，将一个或多个所述突出区域收集于数据集中；将所述视差图像中的深度信息与多个所述突出区域对齐，得到所述突出区域的现实三维坐标并代入所述数据集中；将所述注视向量的坐标系和所述数据集的坐标系进行转换，将所述数据集中最接近左右人眼的两个所述注视向量的点作为人眼的注视点。

根据本公开的第四方面，提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如上述的注视点跟踪方法。

本公开的技术方案具有以下有益效果：

可以简化校准过程并提高系统的灵活性，生成显著图与视差图像的深度信息对齐，并将它们用作可能的注视目标。然后计算出注视向量便可以与注视目标匹配，根据注视目标快速确定注视点。整个跟踪自动完成，无需预先设置标记和任何外部协助，大大提高了视线跟踪的精度和速度。

附图说明

图1为本说明书实施例中的一种注视点跟踪方法的流程图；

图2为本说明书实施例中的人眼模型的原理图；

图3为本说明书实施例中注视点跟踪装置的结构框图；

图4为本说明书实施例中注视点追踪方法的终端设备；

图5为本说明书实施例中智能眼镜的结构框图；

图6为本说明书实施例中的注视点追踪方法的计算机可读存储介质。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特征可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

如图1所示，本说明书实施例提供一种注视点跟踪方法，该方法的执行主体可以为计算机。该方法具体可以包括以下步骤S101～S106：

在步骤S101中，获取由两个红外摄像头拍摄的被红外光照亮的多个人眼图像。

在步骤S102中，对多个所述人眼图像进行视线跟踪计算，得到所述人眼图像中的人眼的注视向量。

作为补充的，在进行后续的视线追踪前，需要先获取左右两个人眼的两个注视向量。示范性的，获取注视向量的过程为：提取多个所述人眼图像中的瞳孔轮廓，得到瞳孔中心；根据人眼图像中的角膜反射光斑确定角膜中心；根据所述瞳孔中心和所述角膜中心确定人眼中心；获取所述人眼中心指向所述人眼图像中的瞳孔中心的直线，对所述直线偏移Kappa角度后作为对应的所述注视向量。

具体的，计算原理可以参阅图2，典型的眼球模型包括眼球200、人眼中心201、角膜中心202、虹膜中心203、瞳孔中心204、角膜205，人眼中心到角膜中心的直线为光轴，对光轴偏移Kappa角度为视轴，即为对应的注视向量。

一般而言，红外摄像头是可以直接从人眼图像中获取瞳孔、虹膜、反射光斑等信息的，但获得精准信息需要对眼球参数进行标定，其过程一般包括相机系统参数标定和用户参数标定两个步骤，典型相机系统参数主要包括焦距、像元尺寸、主点、畸变系数等，通常用摄像头内参矩阵进行描述，这一过程往往需要借助标定板采集多幅图像实现。

该标定过程可以省略，如，在获得的多个左眼和右眼的人眼图像中，先获取基于图像的瞳孔/虹膜、反射光斑等信息；然后，根据左右眼的瞳孔距离和平均经验值，在基于小孔成像原理下，得到便可以得到红外摄像头的成像缩放比例；将缩放比例取代红外摄像头的内参矩阵，使得瞳孔、虹膜、反射光斑等信息被映射至红外摄像头的坐标系中。进而，人眼中心对应于红外摄像头的坐标可以得知，注视向量的坐标也可以得知。

另外的，获取注视向量的过程还可以是：提取多个人眼图像中的瞳孔轮廓，基于反射原理，根据瞳孔轮廓建立眼球的三维模型；将三维模型的中心指向所述人眼图像中的瞳孔的直线偏移Kappa角度，将偏移后的直线作为对应的注视向量。

在步骤S103中，获取由两个可见光摄像头拍摄的人眼前方的现实物理世界的可见光图像和所述可见光图像对应的视差图像。

作为补充的，所述视差图像的获取过程为：事先对两个所述可见光摄像头进行标定，得到两个所述可见光摄像头的内参数和外参数。其中可见光摄像头的内参数主要包括投影矩阵、畸变系数，可见光摄像头的外参数包括旋转矩阵、平移向量等。根据标定结果对两个所述可见光摄像头采集的两个所述可见光图像进行校正，使得校正后的两个所述可见光图像位于同一平面内，主要包括去畸变和立体校正等步骤。对校正后两个所述可见光图像进行关键特征点检测；对两个所述可见光图像的所述关键特征点进行匹配，并计算出匹配的两个所述可见光图像的所述关键特征点的坐标差值，得到所述视差图像。

另外，值得注意的是，可见光摄像头的标定过程为预先进行的，通常来说，进行一次标定后，便可以一直沿用于后续的注视点跟踪过程。

在步骤S104中，提取所述可见光图像中的一个或多个突出区域，将一个或多个所述突出区域收集于数据集中。

作为补充的，步骤S104具体包括：基于显著性检测算法计算所述可见光图像，得到显著图；提取所述显著图中显著值高于阈值的像素，得到所述突出区域。

其中，显著性检测算法可以基于高斯金字塔融合图像颜色、亮度和方向特征的视觉注意力模型，也可以是频域的显著性检测模型，还可以是基于Lab颜色空间像素向量与平均像素向量欧氏距离的的显著性检测算法。

另外，在提取所述显著图中显著值高于阈值的像素后，基于聚类算法，去除突出区域中像素的噪声，进而提高突出区域的可靠性。一个显著图中可能存在多个突出区域，所有的突出区域的像素被同时提取出来。

在步骤S105中，将所述视差图像中的深度信息与多个所述突出区域对齐，得到所述突出区域的现实三维坐标并代入所述数据集中。

其中，所述视差图像的所述深度信息基于以下方法获取：根据公式Z＝F*B/D计算得到所述深度信息，其中，Z为所述深度信息，B为两个所述可见光摄像头的基线长度，F为所述可见光摄像头的焦距，D为两个所述可见光图像对应的所述关键特征点的坐标差值。

在计算数据集时，将各个突出区域的像素点赋予平面坐标(u,v)，每个突出区域的像素点赋予深度Z后，便可以得到像素点的现实三维坐标。该现实三维坐标为可见光摄像头的世界坐标。

在步骤S106中，将所述注视向量的坐标系和所述数据集的坐标系进行转换，将所述数据集中最接近左右人眼的两个所述注视向量的点作为人眼的注视点。

其中，一般而言，在最后的计算过程中，需要将可见光摄像头的坐标系与红外摄像头的坐标系进行转换，使得可以获得人眼坐标系与可见光摄像头的坐标系之间的位置关系，该转换过程可以由已知的相对位置和多次标定获得。但实际中，考虑到人眼和可见光摄像头之间的距离很短，在几厘米以内，而人眼的注视通常位于几米外，因此估算眼球中心与可见光摄像头坐标系的原点重合。因此，可以假设人眼和可见光摄像头以相同的方向进行注视。

示范性的，以下提供人眼坐标系与可见光摄像头坐标系之间的外参数计算过程，并在计算后得到注视向量。

获取第j个带现实三维坐标的数据集为{t_i}j，将目标向量设定为n_lj-e_l，e_l代表着人眼中心位置，l为上述所获取的注视向量，α_l和β_l分别表示注视向量和目标向量之间的垂直和水平角度，注视向量和可见光摄像头坐标系转换矩阵R_lj可以表示为：

设定转换矩阵集：

表示为求解超定线性方程：

通过上述方法，得到了一组旋转矩阵{{R_lj}j}，对应于所有显著图中的所有注视向量和所有提取的突出区域的像素。

基于同样的方法，两个人眼的注视向量可以表达为：

V_li＝e_l+R_l×n_lj

V_ri＝e_r+R_r×n_rj

在一实施方式中，所述将所述数据集中最接近左右人眼的两个所述注视向量的点作为人眼的注视点，包括：基于最小化方程，定义与转换后的两个所述注视向量之间距离最小的点为所述注视点。

具体的，为了估算注视点，设定一个三维向量N通过原点O＝(0,0,0,0)，空间点p到三维向量N的距离可以计算为：

根据现实三维坐标中的两个转换后的注视向量，通过最小化方程计算注视点所在的线段：

pi是数据集中的像素点，d表示从该点到两个旋转的注视向量的距离之和，d取最小时，pi便可以定义为注视点。

本示范性实施方式提出一种注视点跟踪方法，可以简化校准过程并提高系统的灵活性，生成显著图与视差图像的深度信息对齐，并将它们用作可能的注视目标。然后计算出注视向量便可以与注视目标匹配，根据注视目标快速确定注视点。整个跟踪自动完成，无需预先设置标记和任何外部协助，大大提高了视线跟踪的精度和速度。

基于同样的思路，如图3所示，本公开的示例性实施方式还提供了一种注视点跟踪装置，包括：第一采集模块301，用于获取由两个红外摄像头拍摄的被红外光照亮的多个人眼图像；眼动跟踪模块302，用于对多个所述人眼图像进行视线跟踪计算，得到所述人眼图像中的人眼的注视向量；第二采集模块303，用于获取由两个可见光摄像头拍摄的人眼前方的现实物理世界的可见光图像和所述可见光图像对应的视差图像；图像处理模块304，用于将所述可见光图像处理为所述视差图像，和用于提取所述可见光图像中的一个或多个突出区域，将一个或多个所述突出区域收集于数据集中；三维处理模块305，用于将所述视差图像中的深度信息与多个所述突出区域对齐，得到所述突出区域的现实三维坐标并代入所述数据集中，将所述注视向量的坐标系和所述数据集的坐标系进行转换，将所述数据集中最接近左右人眼的两个所述注视向量的点作为人眼的注视点。

上述系统中各模块的具体细节在方法部分实施方式中已经详细说明，未披露的细节内容可以参见方法部分的实施方式内容，因而不再赘述。

基于同样的思路，本说明书实施例还提供一种注视点跟踪设备，如图4所示。

注视点跟踪设备可以为上述实施例提供的终端设备或服务器。

注视点跟踪设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上的处理器401和存储器402，存储器402中可以存储有一个或一个以上存储应用程序或数据。其中，存储器402可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)和/或高速缓存存储单元，还可以进一步包括只读存储单元。存储在存储器402的应用程序可以包括一个或一个以上程序模块(图示未示出)，这样的程序模块包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。更进一步地，处理器401可以设置为与存储器402通信，在注视点跟踪设备上执行存储器402中的一系列计算机可执行指令。注视点跟踪设备还可以包括一个或一个以上电源403，一个或一个以上有线或无线网络接口404，一个或一个以上I/O接口(输入输出接口)405，一个或多个外部设备406(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或一个以上使得用户能与该设备交互的设备通信，和/或与使得该设备能与一个或一个以上其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过I/O接口405进行。并且，设备还可以通过有线或无线接口404与一个或一个以上网络(例如局域网(LAN)通讯。

具体在本实施例中，注视点跟踪设备包括有存储器402，以及一个或一个以上的程序，其中一个或者一个以上程序存储于存储器402中，且一个或者一个以上程序可以包括一个或一个以上模块，且每个模块可以包括对注视点跟踪设备中的一系列计算机可执行指令，且经配置以由一个或者一个以上处理器401执行该一个或者一个以上程序包含用于进行以下计算机可执行指令：

获取由两个红外摄像头拍摄的被红外光照亮的多个人眼图像；对多个所述人眼图像进行视线跟踪计算，得到所述人眼图像中的人眼的注视向量；获取由两个可见光摄像头拍摄的人眼前方的现实物理世界的可见光图像和所述可见光图像对应的视差图像；提取所述可见光图像中的一个或多个突出区域，将一个或多个所述突出区域收集于数据集中；将所述视差图像中的深度信息与多个所述突出区域对齐，得到所述突出区域的现实三维坐标并代入所述数据集中；将所述注视向量的坐标系和所述数据集的坐标系进行转换，将所述数据集中最接近左右人眼的两个所述注视向量的点作为人眼的注视点。

基于同样的思路，本说明书实施例还提供一种智能眼镜，如图5所示，智能眼镜包括：至少两个红外摄像头501，分别指向左右两个人眼设置；至少两个可见光摄像头502，分别指向左右两个人眼前方设置；红外泛光发射器503，面向人眼设置；一个或多个处理器504；存储装置505，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器504实现如下方法：

获取由所述红外摄像头501拍摄的被所述红外泛光发射器503照亮的多个人眼图像；

对多个所述人眼图像进行视线跟踪计算，得到所述人眼图像中的人眼的注视向量；

获取由两个所述可见光摄像头502拍摄的人眼前方的现实物理世界的可见光图像和所述可见光图像对应的视差图像；

提取所述可见光图像中的一个或多个突出区域，将一个或多个所述突出区域收集于数据集中；

将所述视差图像中的深度信息与多个所述突出区域对齐，得到所述突出区域的现实三维坐标并代入所述数据集中；

将所述注视向量的坐标系和所述数据集的坐标系进行转换，将所述数据集中最接近左右人眼的两个所述注视向量的点作为人眼的注视点

基于同样的思路，本公开的示例性实施方式还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。

参考图6所示，描述了根据本公开的示例性实施方式的用于实现上述方法的程序产品900，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言一诸如Java、C++等，还包括常规的过程式程序设计语言一诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开示例性实施方式的方法。

此外，上述附图仅是根据本公开示例性实施方式的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的示例性实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施方式。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施方式仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种注视点跟踪方法，其特征在于，所述方法包括：

获取由两个红外摄像头拍摄的被红外光照亮的多个人眼图像；

对多个所述人眼图像进行视线跟踪计算，得到所述人眼图像中的人眼的注视向量；

获取由两个可见光摄像头拍摄的人眼前方的现实物理世界的可见光图像和所述可见光图像对应的视差图像；

提取所述可见光图像中的一个或多个突出区域，将一个或多个所述突出区域收集于数据集中；

将所述视差图像中的深度信息与多个所述突出区域对齐，得到所述突出区域的现实三维坐标并代入所述数据集中；

将所述注视向量的坐标系和所述数据集的坐标系进行转换，将所述数据集中最接近左右人眼的两个所述注视向量的点作为人眼的注视点。

2.根据权利要求1所述的注视点跟踪方法，其特征在于，所述对多个所述人眼图像进行视线跟踪计算，得到所述人眼图像中的人眼的注视向量，包括：

提取多个所述人眼图像中的瞳孔轮廓，得到瞳孔中心；

根据人眼图像中的角膜反射光斑确定角膜中心；

根据所述瞳孔中心和所述角膜中心确定人眼中心；

获取所述人眼中心指向所述人眼图像中的瞳孔中心的直线，对所述直线偏移Kappa角度后作为对应的所述注视向量。

3.根据权利要求1所述的注视点跟踪方法，其特征在于，所述提取所述可见光图像中的一个或多个突出区域，包括：

基于显著性检测算法计算所述可见光图像，得到显著图；

提取所述显著图中显著值高于阈值的像素，得到所述突出区域。

4.根据权利要求3所述的注视点跟踪方法，其特征在于，在提取所述显著图中显著值高于阈值的像素后，基于聚类算法，去除提取的所述像素的噪声。

5.根据权利要求1所述的注视点跟踪方法，其特征在于，所述视差图像基于以下方法获取：

对两个所述可见光摄像头进行标定，得到两个所述可见光摄像头的内参数和外参数；

根据标定结果对两个所述可见光摄像头采集的两个所述可见光图像进行校正，使得校正后的两个所述可见光图像位于同一平面内；

对校正后两个所述可见光图像进行关键特征点检测；

对两个所述可见光图像的所述关键特征点进行匹配，并计算出匹配的两个所述可见光图像的所述关键特征点的坐标差值，得到所述视差图像。

6.根据权利要求5所述的注视点跟踪方法，其特征在于，所述视差图像的所述深度信息基于以下方法获取：

根据公式Z＝F*B/D计算得到所述深度信息，其中，Z为所述深度信息，B为两个所述可见光摄像头的基线长度，F为所述可见光摄像头的焦距，D为两个所述可见光图像对应的所述关键特征点的坐标差值。

7.根据权利要求1所述的注视点跟踪方法，其特征在于，所述将所述数据集中最接近左右人眼的两个所述注视向量的点作为人眼的注视点，包括：

基于最小化方程，定义与转换后的两个所述注视向量之间距离最小的点为所述注视点。

8.一种注视点跟踪装置，其特征在于，包括：

第一采集模块，用于获取由两个红外摄像头拍摄的被红外光照亮的多个人眼图像；

眼动跟踪模块，用于对多个所述人眼图像进行视线跟踪计算，得到所述人眼图像中的人眼的注视向量；

第二采集模块，用于获取由两个可见光摄像头拍摄的人眼前方的现实物理世界的可见光图像和所述可见光图像对应的视差图像；

图像处理模块，用于将所述可见光图像处理为所述视差图像，和用于提取所述可见光图像中的一个或多个突出区域，将一个或多个所述突出区域收集于数据集中；

三维处理模块，用于将所述视差图像中的深度信息与多个所述突出区域对齐，得到所述突出区域的现实三维坐标并代入所述数据集中，将所述注视向量的坐标系和所述数据集的坐标系进行转换，将所述数据集中最接近左右人眼的两个所述注视向量的点作为人眼的注视点。

9.一种智能眼镜，其特征在于，包括：

至少两个红外摄像头，分别指向左右两个人眼设置；

至少两个可见光摄像头，分别指向左右两个人眼前方设置；

红外泛光发射器，面向人眼设置；

一个或多个处理器；

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如下方法：

获取由所述红外摄像头拍摄的被所述红外泛光发射器照亮的多个人眼图像；

对多个所述人眼图像进行视线跟踪计算，得到所述人眼图像中的人眼的注视向量；

获取由两个所述可见光摄像头拍摄的人眼前方的现实物理世界的可见光图像和所述可见光图像对应的视差图像；

提取所述可见光图像中的一个或多个突出区域，将一个或多个所述突出区域收集于数据集中；

将所述视差图像中的深度信息与多个所述突出区域对齐，得到所述突出区域的现实三维坐标并代入所述数据集中；

将所述注视向量的坐标系和所述数据集的坐标系进行转换，将所述数据集中最接近左右人眼的两个所述注视向量的点作为人眼的注视点。

10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的注视点跟踪方法。

Images