CN112464829A - 一种瞳孔定位方法、设备、存储介质及视线追踪系统 - Google Patents

Abstract

本发明适用于计算机视觉技术领域，提供一种瞳孔定位方法、设备、存储介质及视线追踪系统，瞳孔定位方法包括：获取眼部区域的灰度化图像；对眼部区域的灰度化图像进行第一预处理获得第一预处理图像，第一预处理图像中瞳孔区域与瞳孔外区域的灰度值差大于眼部区域的灰度化图像中瞳孔区域与瞳孔外区域的灰度值差；对第一预处理图像做积分图计算获得积分图像，并根据积分图像确定第一预处理图像中的瞳孔区域；从瞳孔区域中筛选瞳孔。本发明通过对眼部区域的灰度化图像进行第一预处理使得眼部区域的灰度化图像中的瞳孔区域和瞳孔外区域的分度更加明显，通过积分图计算后再根据像素值的差异快速找到瞳孔区域，有效简化瞳孔定位的计算，节省定位时间。

Description

一种瞳孔定位方法、设备、存储介质及视线追踪系统

技术领域

本发明属于计算机视觉技术领域，尤其涉及一种瞳孔定位方法、设备、存储介质及视线追踪系统。

背景技术

视线追踪也称之为眼动跟踪，是利用摄像机设备实时观测人眼球的运动情况，其一般结合摄像头周围的LED光源在摄像头成像的位置，通过一定的方法估算出视线的方向和视线落点坐标的一种技术，其中，视线追踪技术的基础就是瞳孔定位和光斑定位。例如，头戴式波导显示设备中就应用了视线追踪技术。

现有的视线追踪技术中，在瞳孔定位时一般是通过检测器、积分投影方法、多阈值分割、高斯建模等分割方式，实现对孔的定位。

可见，现有的视线追踪技术中瞳孔的定位方法计算程度复杂。

发明内容

本发明实施例的目的在于提供一种瞳孔定位方法，旨在解决现有的视线追踪技术中瞳孔的定位方法计算程度复杂的技术问题。

本发明实施例是这样实现的，所述瞳孔定位方法包括：

获取眼部区域的灰度化图像；

对眼部区域的灰度化图像进行第一预处理获得第一预处理图像，所述第一预处理图像中瞳孔区域与瞳孔外区域的灰度值差大于眼部区域的灰度化图像中瞳孔区域与瞳孔外区域的灰度值差；

对所述第一预处理图像做积分图计算获得积分图像，并根据所述积分图像确定所述第一预处理图像中的瞳孔区域；

从所述瞳孔区域中筛选瞳孔。

本发明实施例的另一目的在于提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述瞳孔定位方法的步骤。

本发明实施例的另一目的在于提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述瞳孔定位方法的步骤。

本发明实施例的另一目的在于提供一种视线追踪系统，所述视线追踪系统包括：

数据采集装置，用于采集眼部区域图像；

上述的一种计算机设备，用于从眼部区域的图像中定位瞳孔；

光斑定位装置，用于从所述眼部区域图像中定位目标光斑，所述目标光斑为参与视线追踪计算的两个光斑；

用户标定装置，用于确定瞳孔中心、目标光斑中心以及预设注视点之的映射关系模型；

视线追踪装置，用于计算用户的视线落点，完成视线追踪。

本发明实施例提供的一种瞳孔定位方法，通过对眼部区域的灰度化图像进行第一预处理使得眼部区域的灰度化图像中的瞳孔区域和瞳孔外区域的分度更加明显，然后再对第一预处理后的图像进行积分图计算，根据积分图的特性可以通过像素值的差异快速找到瞳孔区域，有效简化瞳孔定位的计算，节省瞳孔定位时间。

附图说明

图1为本发明实施例提供的一种瞳孔定位方法的应用环境图；

图2为本发明实施例提供的一种瞳孔定位方法的流程图；

图3为本发明实施例提供的一种第一预处理的流程图；

图4为本发明实施例提供的一种从瞳孔区域中筛选瞳孔的流程图；

图5为本发明实施例提供的一种视线追踪系统的结构框图；

图6为本发明实施例提供的一种光斑定位装置的结构框图；

图7为本发明实施例提供的一种光斑定位装置计算目标光斑轮廓的流程图；

图8为一个实施例中计算机设备的内部结构框图；

图9为眼部区域的灰度化图像；

图10为瞳孔区域和搜索区域的示意图；

图11为眼部区域图像中光斑的灰度化图像。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但除非特别说明，这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一xx脚本称为第二xx脚本，且类似地，可将第二xx脚本称为第一xx脚本。

图1为本发明实施例提供的一种瞳孔定位方法的应用环境图，如图1所示，在该应用环境中，包括数据采集装置110以及计算机设备120。

计算机设备120可以是独立的物理服务器或终端，也可以是多个物理服务器构成的服务器集群，可以是提供云服务器、云数据库、云存储和CDN等基础云计算服务的云服务器。

数据采集装置110包括一个摄像头，摄像头的周围设置有多个光源，本实施例以摄像头周围设置7个光源为例说明，本发明对数据采集装置的具体结构不做限制，例如数据采集装置110可以为相机或者波导显示装置。数据采集装置110和计算机设备120之间可以通过网络进行连接，本发明再次不做限制。

如图2所示，在一个实施例中，提出了一种瞳孔定位方法，本实施例主要以该方法应用于上述图1中的计算机设备120来举例说明。一种瞳孔定位方法，具体可以包括以下步骤：

步骤S202，获取眼部区域的灰度化图像。

在本发明实施例中，对计算机设备120获取眼部区域灰度化图像的具体途径不做限制，例如，可以是通过数据采集装置110采集用户眼部区域的彩色图像后发送给计算机设备120，然后计算机设备120对接收到的眼部区域的彩色图像进行灰度化处理，从而获取眼部区域的灰度化图像，或者数据采集装置采集用户眼部区域的彩色图像后直接进行灰度化处理，然后将眼部区域的灰度化图像发送给计算机设备，从而使计算机设备获得灰度化图像。眼部区域的灰度化图像如图9所示。

步骤S204，对眼部区域的灰度化图像进行第一预处理获得第一预处理图像，所述第一预处理图像中瞳孔区域与瞳孔外区域的灰度值差大于眼部区域的灰度化图像中瞳孔区域与瞳孔外区域的灰度值差。

在本发明实施例中，瞳孔外区域指眼部区域的灰度化图像中除瞳孔外的其他区域。其中对眼部区域的灰度化图像进行第一预处理是为了使眼部区域的灰度化图像中瞳孔区域的灰度值与瞳孔外区域的灰度值之差增大，灰度值差的大小指绝对值之后的数值大小，当两个区域的灰度值差别越大，则该两个区域之间的区分更明显，所以得到的第一预处理图像是其中瞳孔区域与瞳孔外区域区分度更加明显的眼部区域灰度化图像。通过对眼部区域的灰度化图像进行第一预处理使得眼部区域灰度化图像中的瞳孔区域与瞳孔外的其他区域区分度更加明显，便于后续瞳孔区域的确定。

如图3所示，在本发明实施例中，对第一预处理的具体处理步骤不做限制，例如，第一预处理可以包括如下步骤：

步骤S302，对所述眼部区域的灰度化图像取反，获得取反后的灰度化图像，取反公式为：

invImage＝255-grayImage，其中invImage为取反后的灰度化图像，grayImage为眼部区域的灰度化图像。

在本发明实施例中，由于摄像头的成像特点，获取的眼部区域的灰度化图像中瞳孔区域的整体像素偏暗，可以先对眼部区域的灰度化图像做取反处理。

步骤S304，对grayImage和invImage做比较运算，确定最小值图像darkImage，计算公式为：

darkImage(i，j)＝max(min(grayImage(i，j)，invImage(i，j))，th)，其中i，j为对应图像的坐标值，th为图像中瞳孔区域的最小灰度值。

在本发明实施例中，图像中瞳孔区域的最小灰度值th为预设值，本实施例对th的大小不做限制，例如，根据经验一般可以设置为10。

步骤S306，对所述最小值图像darkImage进行处理获得第一预处理图像，对所述最小值图像darkImage进行处理的公式为：

newDarkImage(i，j)＝Tabel[darkImage(i，j)]

其中，g为像素值，i，j为对应图像的坐标值。

在本发明实施例中，对得到的最小值图像darkImage进一步进行处理可以得到瞳孔区域与瞳孔外其他区域区分度更加明显的第一预处理图像。对最小值图像darkImage的进一步处理的具体处理步骤例如，可以首先建立一个函数Tabel[g]，其中g为像素值，其取值范围为0-255，针对0-15以及15-255不同区域之间的数值可以通过不同的计算处理，然后利用建立好的函数Tabel[g]对上一步骤中得到的darkImage(i，j)进行处理，从而得到newDarkImage(i，j)，即得到第一预处理图像。

步骤S206，对所述第一预处理图像做积分图计算获得积分图像，并根据所述积分图像确定所述第一预处理图像中的瞳孔区域。

在本发明实施例中，通过积分图计算得到的积分图像中任意一点(i，j)的值是指从图像的左上角到这个点所构成的矩形区域内所有点的灰度值之和，根据积分图的这一特点，可以通过瞳孔的检测区域和瞳孔的检测区域之外的其他区域之间的差异，然后找到差异中的最大值从而可以快速确定瞳孔区域。通过对第一预处理图像做积分图计算可以方便得到第一预处理图像中任意矩形区域的均值和方差，integralImage(i，j)＝∑_{i′≤i，j′≤ j}newDarkImage(i′，j′)，根据积分图的上述特点，可以快速得到第一预处理图像中某个矩形区域的均值，如图10所示，例如，瞳孔区域为pupilRect，尺寸为100×100，搜索区域为searchRect，尺寸为300×300，为得到pupilRect和searchRect之间的差异值，可以通过如下计算公式计算：

其中，

表示瞳孔区域pupilRect像素的平均值，

表示搜索区域内瞳孔外的其他区域searchRect-pupilRect像素的平均值。搜索的起始点可以根据searchRect的中心半径150得到，由于摄像头采集的数据一般为640×480，所以搜索从(150，150)开始，到(640-150，480-150)结束。通过上面的公式计算找到最大值对应的区域即为瞳孔区域。

步骤S208，从所述瞳孔区域中筛选瞳孔。

在本发明实施例中，由于上面步骤中得到的瞳孔区域是指瞳孔的ROI区域，其只是将瞳孔包含在内的一个大致区域，该区域内还可能含有瞳孔区域周边的其他区域，而且该区域内还可能会含有光斑以及其他倒影图形，所以需要从瞳孔区域中进一步筛选出瞳孔，如图4所示，从所述瞳孔区域中筛选瞳孔可以包括如下步骤：

步骤S402，对所述瞳孔区域做形态学处理，获得形态学处理图像。

在本发明实施例中，对瞳孔区域做形态学处理例如可以包括先做膨胀运算，再做腐蚀运算，算子半径可以为19，从而获得形态学处理图像，通过对瞳孔区域也即瞳孔的ROI区域做形态学处理，可以从该区域图像中提取对表达和描绘区域形状有意义的图像分量，便于后续的筛选识别处理。

步骤S404，对所述形态学处理图像进行阈值分割，并对所述阈值分割生成的二值化图像取反，获得分割后的二值化图像。

在本发明实施例中，对形态学处理图像进行阈值分割的分割阈值是通过外设参数来设定的，例如默认为10，由于形态学图像是对瞳孔区域做形态学处理得到的，瞳孔区域的图像比较暗，所以还需要对阈值分割生成的二值化图像进行取反，得到分割后的二值化图像。

步骤S406，提取分割后的二值化图像中目标的轮廓边缘，所述目标包括瞳孔和光斑。

在本发明实施例中，对提取分割后的二值化图像中目标的轮廓边缘的具体方法不做限制，例如，可以利用Canny算子，但不限制于此。由于摄像头周围的光源会在瞳孔中映出光斑，所以对分割后的二值化图像提取轮廓边缘后得到额不仅有瞳孔的轮廓边缘，至少还有光斑的轮廓边缘，从而需要对其进一步筛选从而获得瞳孔的轮廓边缘。在提取分割后的二值化图像中的目标轮廓边缘之前，还可以对得到的分割后的二值化图像再做一次形态学处理。

步骤S408，按预设瞳孔筛选规则在所述目标的轮廓边缘中筛选瞳孔的轮廓边缘。

在本发明实施例中，预设瞳孔筛选规则可以是根据瞳孔的轮廓特点确定，例如，预设瞳孔筛选规则可以包括：目标轮廓边缘外接矩形的宽高比例，阈值范围在0.5-2内；目标轮廓边缘外接矩形的宽高尺寸范围在30-300内；目标轮廓边缘的边缘点大于10个；目标轮廓边缘的面积大于50×50；以及瞳孔的轮廓边缘在目标轮廓边缘中轮廓边缘最大。本实施例对按上述预设瞳孔筛选规则的具体筛选筛选顺序不做限制，一般将预设瞳孔筛选规则中瞳孔的轮廓边缘在目标轮廓边缘中轮廓边缘最大放在最后一次筛选中，但不限于此。此外预设瞳孔筛选规则中的数据可以通过摄像头的分辨率640×480和多次测量多个用户的瞳孔尺寸数据得到。在确定瞳孔的轮廓边缘后，可以对瞳孔轮廓边缘做椭圆拟合，从而可以得到瞳孔的中心以及通孔的宽、高数据，从而实现瞳孔定位。

本发明实施例提供的一种瞳孔定位方法，通过对眼部区域的灰度化图像进行第一预处理使得眼部区域的灰度化图像中的瞳孔区域和瞳孔外区域的分度更加明显，然后再对第一预处理后的图像进行积分图计算，根据积分图的特性可以通过像素值的差异快速找到瞳孔区域，有效简化瞳孔定位的计算，节省瞳孔定位时间。且通过提取瞳孔区域的目标轮廓边缘，然后在目标轮廓边缘中筛选出瞳孔轮廓边缘，可以更加准确地定位瞳孔，提高瞳孔定位精度。

图8示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的计算机设备120。如图8所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现瞳孔定位方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行瞳孔定位方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提出了一种计算机设备，所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

步骤S202，获取眼部区域的灰度化图像；

步骤S204，对眼部区域的灰度化图像进行第一预处理获得第一预处理图像，所述第一预处理图像中瞳孔区域与瞳孔外区域的灰度值差大于眼部区域的灰度化图像中瞳孔区域与瞳孔外区域的灰度值差；

步骤S206，对所述第一预处理图像做积分图计算获得积分图像，并根据所述积分图像确定所述第一预处理图像中的瞳孔区域；

步骤S208，从所述瞳孔区域中筛选瞳孔。

在一个实施例中，提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时，使得处理器执行以下步骤：

步骤S202，获取眼部区域的灰度化图像；

步骤S204，对眼部区域的灰度化图像进行第一预处理获得第一预处理图像，所述第一预处理图像中瞳孔区域与瞳孔外区域的灰度值差大于眼部区域的灰度化图像中瞳孔区域与瞳孔外区域的灰度值差；

步骤S206，对所述第一预处理图像做积分图计算获得积分图像，并根据所述积分图像确定所述第一预处理图像中的瞳孔区域；

步骤S208，从所述瞳孔区域中筛选瞳孔。

如图5所示，在本发明的另一个实施例中，提供了一种实现追踪系统，所述视线追踪系统包括：

数据采集装置，用于采集眼部区域图像；

上述的一种计算机设备，用于从眼部区域的图像中定位瞳孔；

光斑定位装置，用于从所述眼部区域图像中定位目标光斑，所述目标光斑为参与视线追踪计算的两个光斑；

用户标定装置，用于确定瞳孔中心、目标光斑中心以及预设注视点之的映射关系模型；

视线追踪装置，用于计算用户的视线落点，完成视线追踪。

在本发明实施例中，对数据采集装置的具体结构不做限制，数据采集装置应该至少包括一个摄像头，摄像头的周围设置有多个光源，本实施例以摄像头周围设置7个光源为例说明，例如数据采集装置可以为相机或者波导显示装置，且数据采集装置和计算机设备之间可以通过网络进行连接，实现数据传输。

在本发明实施例中，计算机设备可以是独立的物理服务器或终端，也可以是多个物理服务器构成的服务器集群，可以是提供云服务器、云数据库、云存储和CDN等基础云计算服务的云服务器。计算机设备中包括存储器和处理器，存储器中存储有计算机程序，计算机程序被处理器执行时可以使处理器执行上述通孔定位方法中的步骤，从而可以从眼部区域的图像中定位瞳孔。

在本发明实施例中，由于眼球是转动的，在眼球转动过程中，可能会导致部分光斑随着眼球的转动而消失(由于光源的位置固定，当眼球转动时会有部分光斑会落到白色巩膜上，这时落在巩膜上的光源形成的光斑由于巩膜的亮度高导致光斑很弱或者消失)，为了保障眼球在转动过程中至少有两个光斑能够落在瞳孔附近，选择在数据采集装置的摄像头周围设置多个光源，例如以摄像头周围设置7个光源为例说明，则在眼部区域的图像中应该会有7个或者少于7个光斑，光斑定位装置用于从中找到目标光斑。本实施例对光斑定位装置的具体结构不做限制，例如，如图6所示，光斑定位装置可以包括光斑图像获取模块、第二预处理模块以及计算模块。

在本发明实施例中，图像获取模块用于获取眼部区域图像中光斑的灰度化图像，由于落在瞳孔区域的光斑才会在眼部区域的图像中显示，所以获取眼部区域图像中光斑的灰度化图像即获得瞳孔的ROI区域，即瞳孔区域，如图11所示，例如，可以对眼部区域图像做灰度化处理，获得眼部区域的灰度化图像，然后对眼部区域的灰度化图像做积分图计算，得到眼部区域的灰度化图像中任意矩形区域的均值和方差，integralImage(i，j)＝∑_{i′≤i，j′≤j}newDarkImage(i′，j′)，再通过如下计算公式计算：

其中，

表示瞳孔区域pupilRect像素的平均值，

表示搜索区域内瞳孔外的其他区域searchRect-pupilRect像素的平均值。计算找到最大值对应的区域即为瞳孔区域，从而获得眼部区域图像中光斑的灰度化图像。

在本发明实施例中，第二预处理模块用于对光斑的灰度化图像做第二预处理，第二预处理包括：对光斑的灰度化图像做阈值分割获得光斑二值化图像，然后对光斑二值化图像做形态学处理获得光斑形态学图像，其中对光斑的灰度化图像做阈值分割的分割阈值可以设定为200，但不限于此，对光斑二值化图像做形态学处理可以先做腐蚀运算再做膨胀运算，算子半径可以为5。

在本发明实施例中，计算模块用于确定光斑形态学图像中的光斑轮廓，并计算目标光斑轮廓，从而定位目标光斑。其中确定光斑形态学图像中的光斑轮廓可以先利用Canny算子提取光斑形态学图像中光斑的轮廓边缘，同样在利用Canny算子对光斑形态学图像进行处理时得到的轮廓边缘中可能不仅是光斑的轮廓边缘，还可能会有通孔的轮廓边缘或者其他映像图案的轮廓边缘，所以还需要按照预设的光斑筛选规则进行筛选，例如，光斑的筛选规则可以包括：轮廓面积需要在(10-500)之间；轮廓纵坐标位置区域在0.1×300到0.8×300之间。通过筛选得到的光斑轮廓数量可能在2-7个之间，但是参与实现追踪计算只需要两个光斑的信息，所以还需要从得到的光斑轮廓中计算筛选目标光斑轮廓，且需要两个目标光斑轮廓分别位置瞳孔的两侧，如图7所示，计算目标光斑轮廓可以包括如下步骤：

步骤S502，计算光斑轮廓中心，获得光斑轮廓中心点序列，所述光斑轮廓中心点序列中的光斑轮廓中心点的纵坐标按大小值依次排列。

在本发明实施例中对光斑轮廓中心的具体计算方法不做限制，例如可以利用Opencv中提取图像轮廓中心点的算法，如何提取一个轮廓中心点属于现有技术，本实施例对此不做具体叙述。通过对得到的光斑轮廓中心点的纵坐标按其大小值进行排序从而可以获得光斑轮廓中心点序列。

步骤S504，获取所述光斑轮廓中心点序列中最上面的光斑轮廓中心点，确定光斑Gpoint0；

在本发明实施例中，由于光斑轮廓中心点序列是通过按其中心点纵坐标的大小值排列的，所以得到的光斑轮廓中心点序列是从上到下进行排序的，根据光斑轮廓中心点序列中光斑轮廓中心点的纵坐标数据即可获得最上面的光斑轮廓中心点。

步骤S506，比较所述光斑轮廓中心点序列中光斑轮廓中心点的坐标，计算两个光斑Gpoint1，计算公式为：

其中，n表示检测到的光斑数量，pupilWidth为检测的瞳孔宽度，pupilHeight为检测的瞳孔高度；

步骤S508，根据两个所述光斑Gpoint1的横坐标值确定两个所述光斑Gpoint1分别与瞳孔左右两侧的目标光斑的对应关系，并将位于瞳孔左侧的光斑Gpoint1赋值给Gpoint0，位于瞳孔右侧的光斑Gpoint1赋值给Gpoint1，从而确定目标光斑。

在本发明实施例中，对用户标定装置确定瞳孔中心、目标光斑中心以及预设注视点之的映射关系模型的具体过程不做限制。例如，用户标定可以采用传统的9点法进行标定，然后通过计算机设备和光斑定位装置可以得到用户的每一帧眼部区域的图像中瞳孔中心和两个目标光斑的中心坐标，其中预设注视点即为当数据采集装置为波导显示装置时用户眼睛注视波导屏幕上的点坐标，结合用户眼睛注视波导屏幕上的点坐标，再通过多项拟合的方法获得眼部区域的图像和用户眼睛注视波导屏幕上的点坐标之间的映射关系模型。

在本发明实施例中，对视线追踪装置实现计算用户的视线落点，完成视线追踪的具体过程不做限制，例如，可以利用计算机设备定位瞳孔得到的通孔中心坐标和光斑定位装置得到的两个目标光斑的中心坐标，将目标光斑的中心坐标减去瞳孔中心的坐标可以得到两组矢量坐标值，然后再将这两组矢量坐标值代入到用户标定装置得到的映射关系模型中，从而可以实时计算出用户的实现落点，实现视线追踪。

本发明实施例提供的一种视线追踪系统，通过设置用于实现瞳孔定位的计算机设备和用于确定目标光斑的光斑定位装置，可以快速定位瞳孔，简化瞳孔定位的计算，节省瞳孔定位时间，从而可以提高视线追踪的实时性，且光斑定位装置可以定位目标光斑，使参与视线追踪计算的目标光斑位于瞳孔中心的两侧，提高视线追踪精度。

应该理解的是，虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种瞳孔定位方法，应用于单摄像头多光源，其特征在于，所述瞳孔定位方法包括：

获取眼部区域的灰度化图像；

对眼部区域的灰度化图像进行第一预处理获得第一预处理图像，所述第一预处理图像中瞳孔区域与瞳孔外区域的灰度值差大于眼部区域的灰度化图像中瞳孔区域与瞳孔外区域的灰度值差；

对所述第一预处理图像做积分图计算获得积分图像，并根据所述积分图像确定所述第一预处理图像中的瞳孔区域；

从所述瞳孔区域中筛选瞳孔。

2.根据权利要求1所述的一种瞳孔定位方法，其特征在于，所述第一预处理包括：

对所述眼部区域的灰度化图像取反，获得取反后的灰度化图像，取反公式为：

invImage＝255-grayImage，其中invImage为取反后的灰度化图像，grayImage为眼部区域的灰度化图像；

对grayImage和invImage做比较运算，确定最小值图像darkImage，计算公式为：

darkImage(i，j)＝max(min(grayImage(i，j)，invImage(i，j))，th)，其中i，j为对应图像的坐标值，th为图像中瞳孔区域的最小灰度值；

对所述最小值图像darkImage进行处理获得第一预处理图像，对所述最小值图像darkImage进行处理的公式为：

newDarkImage(i，j)＝Tabel[darkImage(i，j)]

其中，g为像素值，i，j为对应图像的坐标值。

3.根据权利要求2所述的一种瞳孔定位方法，其特征在于，根据所述积分图像确定所述第一预处理图像中的瞳孔区域的计算公式为：

，

其中，

表示瞳孔区域pupilRect像素的平均值，

表示搜索区域内瞳孔区域外的其他区域searchRect-pupilRect像素的平均值。

4.根据权利要求1所述的一种瞳孔定位方法，其特征在于，从所述瞳孔区域中筛选瞳孔，包括：

对所述瞳孔区域做形态学处理，获得形态学处理图像；

对所述形态学处理图像进行阈值分割，并对所述阈值分割生成的二值化图像取反，获得分割后的二值化图像；

提取分割后的二值化图像中目标的轮廓边缘，所述目标包括瞳孔和光斑；

按预设瞳孔筛选规则在所述目标的轮廓边缘中筛选瞳孔的轮廓边缘。

5.根据权利要求4所述的一种瞳孔定位方法，其特征在于，所述预设瞳孔筛选规则包括：

目标轮廓边缘外接矩形的宽高比例，阈值范围在0.5-2内；

目标轮廓边缘外接矩形的宽高尺寸范围在30-300内；

目标轮廓边缘的边缘点大于10个；

目标轮廓边缘的面积大于50*50；以及

瞳孔的轮廓边缘在目标轮廓边缘中轮廓边缘最大。

6.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1至5中任一项权利要求所述瞳孔定位方法的步骤。

7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行权利要求1至5中任一项权利要求所述瞳孔定位方法的步骤。

8.一种视线追踪系统，其特征在于，所述视线追踪系统包括：

数据采集装置，用于采集眼部区域图像；

上述权利要求6所述的一种计算机设备，用于从眼部区域的图像中定位瞳孔；

光斑定位装置，用于从所述眼部区域图像中定位目标光斑，所述目标光斑为参与视线追踪计算的两个光斑；

用户标定装置，用于确定瞳孔中心、目标光斑中心以及预设注视点之的映射关系模型；

视线追踪装置，用于计算用户的视线落点，完成视线追踪。

9.根据权利要求8所述的一种视线追踪系统，其特征在于，所述光斑定位装置包括：

光斑图像获取模块，用于获取眼部区域图像中光斑的灰度化图像；

第二预处理模块，用于对所述光斑的灰度化图像做第二预处理，所述第二预处理包括：

对所述光斑的灰度化图像做阈值分割，获得光斑二值化图像；

对所述光斑二值化图像做形态学处理，获得光斑形态学图像；

计算模块，用于确定所述光斑形态学图像中的光斑轮廓，并计算目标光斑轮廓，从而定位目标光斑。

10.根据权利要求9所述的一种视线追踪系统，其特征在于，所述计算目标光斑轮廓包括：

计算光斑轮廓中心，获得光斑轮廓中心点序列，所述光斑轮廓中心点序列中的光斑轮廓中心点的纵坐标按大小值依次排列；

获取所述光斑轮廓中心点序列中最上面的光斑轮廓中心点，确定光斑Gpoint0；

比较所述光斑轮廓中心点序列中光斑轮廓中心点的坐标，计算两个光斑Gpoint1，计算公式为：

其中，n表示检测到的光斑数量，pupilWidth为检测的瞳孔宽度，pupilHeight为检测的瞳孔高度；

根据两个所述光斑Gpoint1的横坐标值确定两个所述光斑Gpoint1分别与瞳孔左右两侧的目标光斑的对应关系，并将位于瞳孔左侧的光斑Gpoint1赋值给Gpoint0，位于瞳孔右侧的光斑Gpoint1赋值给Gpoint1，从而确定目标光斑。

Images