CN114764944A - 基于角点检测的瞳孔定位方法及装置 - Google Patents

Abstract

本发明涉及机器视觉图像处理领域，具体涉及一种基于角点检测的瞳孔定位方法及装置。该方法及装置首先对人脸图像进行粗定位提取出人眼部分图像；再对人眼部分图像进行分割，提取出左眼图像和右眼图像；最后采用角点联合定位的方式对左眼图像和右眼图像进行瞳孔定位。本发明将角点检测算法应用于眼部图像中，并进行改进，使其在进行瞳孔定位时减小误差，获得更高的精度。

Description

基于角点检测的瞳孔定位方法及装置

技术领域

本发明涉及机器视觉图像处理领域，具体而言，涉及一种基于角点检测的瞳孔定位方法及装置，为单帧检测技术。

背景技术

眼睛是人体一个极为重要的器官，通过人眼可以获取外界的图像文字信息和传达情感；同时，眼睛也包含了丰富的内容，通过眼睛可以了解到一个人的很多信息，如情绪、身份等。视线跟踪是一种追踪人眼视觉方向、眼视觉注意力的技术，用于司机疲劳驾驶检测、注意力分析、身份识别、视线操控设备等诸多应用中，具有极大的研究价值。

视线跟踪在计算机视觉领域中是一个重要的研究课题，从科学研究到商业应用都很有价值，在人机交互、教育、安全驾驶、医疗领域、商业应用等领域都能发挥不可替代的作用。在人机交互方面，可以通过精准的视线数据来帮助行为困难者实现与计算机的交互，也可以为用户带来非接触式的交互体验。在教育方面，视线估计可以用来判断学生上课时注意力集中程度，从而提升教学质量。在安全驾驶方面，高级驾驶辅助系统以驾驶员注意为导向，显著地提高了安全性和舒适性。它们将驾驶员的注意力行为与道路场景一起解析，以预测潜在的不安全情况并通过发送危险信号给驾驶员或紧急刹车。在医疗领域方面，医疗程序和治疗的性能和质量与技术发展密不可分，视线追踪分析有助于揭示眼睛功能的异常，从而确保适当的视觉恢复治疗和训练。在商业应用方面，通过视线估计技术可以判断用户对看到广告及商品等信息的关注程度，从而便于更精准的广告投放和商品推荐。

虽然视线跟踪在现实生活中具有如此广泛的应用以及巨大的应用价值，但目前实现商业应用的视线估计设备只有眼动仪，例如，Tobbi眼动仪、Eye Link眼动仪、Eye TraceXY 1000眼动仪等。这些眼动仪为了实现精准的视线估计都采用了瞳孔角膜反射技术，利用近红外光源照射人眼，然后通过图像传感器搜集人眼瞳孔和角膜对红外光的反射图片，并基于该反射信息定位人眼中的关键点位置完成视线估计。但是复杂的系统设备导致了昂贵的设备成本和繁琐的操作方式，使得眼动仪难以在实际生活中普及。为了实现低成本、操作简单的视线估计，研究者们提出了许多仅通过摄像头拍摄的图片完成视线估计的方法。这些方法仅通过自然光照下拍摄的图片来进行视线估计，从而避免了使用瞳孔角膜反射技术需要的昂贵设备。这些仅仅需在自然光照条件下进行视线估计的方法包括基于眼球形状的视线估计方法和基于图片外观的视线估计方法。

2002年，Jianbo Shi和Carlo Tomasi提出了Shi-Tomasi角点检测算法，在自相关矩阵的基础上，采用高斯滤波和泰勒展开式等方法，使得角点的提取精度得到了提高。通过该算法强角点能得以较好的保留，提取到的角点个数也比较合适，所包含的信息也是足够的，而且占用内存小。Shi-Tomasi算法不再像Morevec算法那样对边缘比较敏感，而且比Harris获得的特征点更加稳定，计算速度也更快。由于人眼巩膜、眼睑边缘的灰度值较高，是人眼区域中较亮的区域，并且瞳孔与虹膜的边界处、眼白和虹膜之间、眼睑边缘和眼白之间灰度存在明显的突变，角点信息较强，而且与其他的图像特征相比，角点特征具有旋转不变性，光照条件的改变的情况下也具有一定的鲁棒性。

发明内容

本发明实施例提供了一种基于角点检测的瞳孔定位方法及装置，以至少解决现有瞳孔定位方法检测速度较低的技术问题。

根据本发明的一实施例，提供了一种基于角点检测的瞳孔定位方法，包括以下步骤：

对人脸图像进行粗定位提取出人眼部分图像；

对人眼部分图像进行分割，提取出左眼图像和右眼图像；

采用角点联合定位的方式对左眼图像和右眼图像进行瞳孔定位。

进一步地，利用Shi-Tomasi角点检测原理，采用多个Shi-Tomasi角点联合定位的方式对左眼图像和右眼图像进行瞳孔定位。

进一步地，利用Shi-Tomasi角点检测原理，采用多个Shi-Tomasi角点联合定位的方式对左眼图像和右眼图像进行瞳孔定位包括：

通过研究左眼和右眼的眼部图像中一个局部窗口内图像亮度值的平均变化来确定角点。

进一步地，通过研究左眼和右眼的眼部图像中一个局部窗口内图像亮度值的平均变化来确定角点包括：

选取一个窗口，如果该窗口在各个方向上移动，灰度变化平均值不变，确定为平坦区域；如果只沿着某一个方向移动，灰度变化平均值不变，确定为直线；如果窗口内包含一个孤立的像素点，并且沿各个方向移动，灰度变化平均值均发生变化，确定为角点，然后将该角点的像素点位置标记出来。

进一步地，采用adaboost算法对人脸图像进行粗定位提取出人眼部分图像。

进一步地，adaboost算法对人脸图像进行粗定位提取具体为：

在用Adaboost算法进行分类器的训练时，将含有眼部特征的图片作为正样本进行训练，将不包含眼部特征的图片作为负样本进行训练；设输入的N个训练样本为：(x₁,y₁)，(x₂,y₂)，...，(x_N,y_N)其中，y_i＝1表示样本为人眼，y_i＝0表示样本为非人眼；设n₁为正样本的数量，n₂为负样本的数量,且N＝n₁+n₂；

1)权重初始化，一开始将每一个训练样本的权值都设置为：

2)最佳弱分类器选择，设原有的弱分类器为N个，从中选取的弱分类器为T个，用t来进行当前弱分类器的计数，则t＝1，2，...，T；

①权重归一化：

②对于每个特征E，生成相应的弱分类器h(x,E,p,θ)，计算相对于当前权重误差：

最小误差：

③将对应最小误差ε_t的弱分类器h(x_i,E_t,p_t,θ_t)加入到强分类器中；

④更新所有样本权值：

其中，当第i个样本被正确分类时，则

反之

3)经过T轮训练之后，将得到T个最佳弱分类器，其中，每个弱分类器有对应的特征、阈值和方向指示符，最后，通过对T个弱分类器进行线性加权合成强分类器：

其中，

进一步地，利用Shi-Tomasi角点检测原理进行瞳孔定位具体为：

Shi-Tomasi算法通过计算局部小窗口W(x,y)在各个方向移动后的灰度变化来检测角点；当局部窗口平移(u,v)后，灰度变化为：

式中：ω(x,y)—加权函数，为高斯加权函数；

I(x,y)—点(x,y)处的灰度值；

根据泰勒展开，得：

其中：

计算自相关函数M的两个特征值，并比较大小；如果较小的特征值仍比给定比阈值大，则这个特征点确定为Shi-Tomasi角点。

进一步地，Shi-Tomasi角点响应函数为：

R＝min(λ₁,λ₂) (10)

其中，λ₁、λ₂为自相关函数M的两个特征值；

多角点联合定位公式为：

其中，R_t为自相关函数M的两个特征值中较小的一个，n为角点的个数，C为最终的角点；最终以C的坐标点标出来的圆点确定为人眼瞳孔中心所在的位置。

进一步地，在对提取出左眼图像和右眼图像之后，方法还包括：

对提取出的左眼图像和右眼图像进行灰度化。

根据本发明的另一实施例，提供了一种基于角点检测的瞳孔定位装置，包括：

粗定位提取单元，用于对人脸图像进行粗定位提取出人眼部分图像；

分割提取单元，用于对人眼部分图像进行分割，提取出左眼图像和右眼图像；

瞳孔定位单元，用于采用角点联合定位的方式对左眼图像和右眼图像进行瞳孔定位。

一种存储介质，存储介质存储有能够实现上述任意一项基于角点检测的瞳孔定位方法的程序文件。

一种处理器，处理器用于运行程序，其中，程序运行时执行上述任意一项的基于角点检测的瞳孔定位方法。

本发明实施例中的基于角点检测的瞳孔定位方法及装置，首先对人脸图像进行粗定位提取出人眼部分图像；再对人眼部分图像进行分割，提取出左眼图像和右眼图像；最后采用角点联合定位的方式对左眼图像和右眼图像进行瞳孔定位。本发明将角点检测算法应用于眼部图像中，并进行改进，使其在进行瞳孔定位时减小误差，获得更高的精度。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明基于角点检测的瞳孔定位方法的流程图；

图2为本发明的技术流程图；

图3为本发明实施例提供的人脸图像图；

图4为本发明实施例提供的人脸眼部特征图像检测效果图；

图5为本发明实施例提供的眼部特征图像裁剪结果图；

图6为本发明实施例提供的Shi-Tomasi角点检测效果图；

图7为本发明实施例提供的Shi-Tomasi角点联合定位后的效果图；

图8为本发明基于角点检测的瞳孔定位装置的模块图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

根据本发明一实施例，提供了一种基于角点检测的瞳孔定位方法，参见图1，包括以下步骤：

S101:对人脸图像进行粗定位提取出人眼部分图像；

S102:对人眼部分图像进行分割，提取出左眼图像和右眼图像；

S103:采用角点联合定位的方式对左眼图像和右眼图像进行瞳孔定位。

本发明实施例中的基于角点检测的瞳孔定位方法，首先对人脸图像进行粗定位提取出人眼部分图像；再对人眼部分图像进行分割，提取出左眼图像和右眼图像；最后采用角点联合定位的方式对左眼图像和右眼图像进行瞳孔定位。本发明将角点检测算法应用于眼部图像中，并进行改进，使其在进行瞳孔定位时减小误差，获得更高的精度。

其中，利用Shi-Tomasi角点检测原理，采用多个Shi-Tomasi角点联合定位的方式对左眼图像和右眼图像进行瞳孔定位。

其中，利用Shi-Tomasi角点检测原理，采用多个Shi-Tomasi角点联合定位的方式对左眼图像和右眼图像进行瞳孔定位包括：

通过研究左眼和右眼的眼部图像中一个局部窗口内图像亮度值的平均变化来确定角点。

其中，通过研究左眼和右眼的眼部图像中一个局部窗口内图像亮度值的平均变化来确定角点包括：

选取一个窗口，如果该窗口在各个方向上移动，灰度变化平均值不变，确定为平坦区域；如果只沿着某一个方向移动，灰度变化平均值不变，确定为直线；如果窗口内包含一个孤立的像素点，并且沿各个方向移动，灰度变化平均值均发生变化，确定为角点，然后将该角点的像素点位置标记出来。

其中，采用adaboost算法对人脸图像进行粗定位提取出人眼部分图像。

其中，adaboost算法对人脸图像进行粗定位提取具体为：

在用Adaboost算法进行分类器的训练时，将含有眼部特征的图片作为正样本进行训练，将不包含眼部特征的图片作为负样本进行训练；设输入的N个训练样本为：(x₁,y₁)，(x₂,y₂)，...，(x_N,y_N)其中，y_i＝1表示样本为人眼，y_i＝0表示样本为非人眼；设n₁为正样本的数量，n₂为负样本的数量,且N＝n₁+n₂；

1)权重初始化，一开始将每一个训练样本的权值都设置为：

2)最佳弱分类器选择，设原有的弱分类器为N个，从中选取的弱分类器为T个，用t来进行当前弱分类器的计数，则t＝1，2，...，T；

①权重归一化：

②对于每个特征E，生成相应的弱分类器h(x,E,p,θ)，计算相对于当前权重误差：

最小误差：

③将对应最小误差ε_t的弱分类器h(x_i,E_t,p_t,θ_t)加入到强分类器中；

④更新所有样本权值：

其中，当第i个样本被正确分类时，则

反之

3)经过T轮训练之后，将得到T个最佳弱分类器，其中，每个弱分类器有对应的特征、阈值和方向指示符，最后，通过对T个弱分类器进行线性加权合成强分类器：

其中，

其中，利用Shi-Tomasi角点检测原理进行瞳孔定位具体为：

Shi-Tomasi算法通过计算局部小窗口W(x,y)在各个方向移动后的灰度变化来检测角点；当局部窗口平移(u,v)后，灰度变化为：

式中：ω(x,y)—加权函数，为高斯加权函数；

I(x,y)—点(x,y)处的灰度值；

根据泰勒展开，得：

其中：

计算自相关函数M的两个特征值，并比较大小；如果较小的特征值仍比给定比阈值大，则这个特征点确定为Shi-Tomasi角点。

其中，Shi-Tomasi角点响应函数为：

R＝min(λ₁,λ₂) (10)

其中，λ₁、λ₂为自相关函数M的两个特征值；

多角点联合定位公式为：

其中，R_t为自相关函数M的两个特征值中较小的一个，n为角点的个数，C为最终的角点；最终以C的坐标点标出来的圆点确定为人眼瞳孔中心所在的位置。

其中，在对提取出左眼图像和右眼图像之后，方法还包括：

对提取出的左眼图像和右眼图像进行灰度化。

下面以具体实施例，对本发明的基于角点检测的瞳孔定位方法进行详细说明：

本发明要解决的技术问题是提供了一种基于Shi-Tomasi角点检测的瞳孔定位方法，可以快速地从人脸图像中检测出人眼并找到虹膜的位置，最终准确地进行瞳孔定位。为了获得更高的精度和更快的检测速度，本发明技术方案将Shi-Tomasi角点检测算法应用于眼部图像中，并进行改进，使其在进行瞳孔定位时减小误差，获得更高的精度。

本发明为了能够快速的检测出人眼，首先利用Adaboost算法实现对人眼区域的粗定位，在人脸图像中提取出人眼部分，即获取其中的ROI(Region Of Interest)区域，ROI在图像处理中为感兴趣区域，然后将提取出的人眼图像再进行分割，分别提取出左眼和右眼图像。

再对提取出的左右眼图像进行灰度化，利用Shi-Tomasi角点检测原理，通过研究眼部灰度图像中一个局部窗口内图像亮度值的平均变化来确定角点。选取一个窗口，如果该窗口在各个方向上移动，灰度变化平均值几乎不变，说明是平坦区域；如果只沿着某一个方向移动，灰度变化平均值几乎不变，说明是直线；如果窗口内包含一个孤立的像素点，并且沿各个方向移动，灰度变化平均值均发生变化，说明是角点。然后就将该像素点位置标记出来。

本发明的Adaboost算法，其理论如下：

在用Adaboost算法进行分类器的训练时，将含有眼部特征的图片作为正样本进行训练，将不包含眼部特征的图片作为负样本进行训练。设输入的N个训练样本为：(x₁,y₁)，(x₂,y₂)，...，(x_N,y_N)其中，y_i＝1表示样本为人眼，y_i＝0表示样本为非人眼。设n₁为正样本的数量，n₂为负样本的数量,且N＝n₁+n₂。

1)权重初始化，一开始就将每一个训练样本的权值都设置为一样的：

2)最佳弱分类器选择，设原有的弱分类器为N个，从中选取的弱分类器为T个，用t来进行当前弱分类器的计数，则t＝1，2，...，T。

①权重归一化：

②对于每个特征E，生成相应的弱分类器h(x,E,p,θ)，计算相对于当前权重误差：

最小误差：

③将对应最小误差ε_t的弱分类器h(x_i,E_t,p_t,θ_t)加入到强分类器中。

④更新所有样本权值：

其中，当第i个样本被正确分类时，则

反之

3)经过T轮训练之后，将得到T个最佳弱分类器，其中，每个弱分类器有对应的特征、阈值和方向指示符，最后，通过对T个弱分类器进行线性加权合成强分类器：

其中，

本发明的Shi-Tomasi角点检测，其理论如下：

Shi-Tomasi算法通过计算局部小窗口W(x,y)在各个方向移动后的灰度变化来检测角点。当局部窗口平移(u,v)后，灰度变化为：

式中：ω(x,y)—加权函数，通常选用高斯加权函数；

I(x,y)—点(x,y)处的灰度值。

根据泰勒展开，得：

其中：

计算自相关函数M的两个特征值，并比较大小。如果较小的特征值仍比给定比阈值大，则这个特征点就是Shi-Tomasi角点。因为该特征点的周围至少存在两个不同方向的强边界，所以这样的特征点易于识别且更加稳定。

参见图2，下面结合附图对本发明进行具体说明：

步骤1：输入人脸图像，如图3所示，采用adaboost算法进行人脸检测，并用方框标出眼部特征图像，检测效果如图4所示。

步骤2：将框出的眼部图像提取出来，然后对提取出的眼部图像进行分割，分成左眼图像和右眼图像，如图5所示。

步骤3：分别针对步骤2分割后的左右眼图像，利用Shi-Tomasi角点检测算法进行角点检测，角点的个数为4个，检测结果如图6所示。

步骤4：在对眼部图像进行Shi-Tomasi角点检测时，由于眼睛部位眉毛，眼角，以及眼部睁开的大小不一定对定位造成较大误差，所以通过改进后，利用多个Shi-Tomasi角点联合定位的方式进行瞳孔定位，以提高瞳孔定位的准确率。

Shi-Tomasi角点响应函数为：

R＝min(λ₁,λ₂) (10)

其中，λ₁、λ₂为自相关函数M的两个特征值。

多角点联合定位公式为：

其中，R_t为自相关函数M的两个特征值中较小的一个，n为角点的个数，C为最终的角点。最终以C的坐标点标出来的圆点即为人眼瞳孔中心所在的位置。联合定位的效果图如图7所示。

与现有技术相比，本发明具有如下优势：

本发明通过计算眼部特征图像中的Shi-Tomasi角点，并进行联合定位，可以更加快速准确地找到瞳孔中心的位置，该方法简单有效，易于实际应用。

实施例2

根据本发明的另一实施例，提供了一种基于角点检测的瞳孔定位装置，参见图8，包括：

粗定位提取单元201，用于对人脸图像进行粗定位提取出人眼部分图像；

分割提取单元202，用于对人眼部分图像进行分割，提取出左眼图像和右眼图像；

瞳孔定位单元203，用于采用角点联合定位的方式对左眼图像和右眼图像进行瞳孔定位。

本发明实施例中的基于角点检测的瞳孔定位装置，粗定位提取单元201首先对人脸图像进行粗定位提取出人眼部分图像；分割提取单元202再对人眼部分图像进行分割，提取出左眼图像和右眼图像；瞳孔定位单元203最后采用角点联合定位的方式对左眼图像和右眼图像进行瞳孔定位。本发明将角点检测算法应用于眼部图像中，并进行改进，使其在进行瞳孔定位时减小误差，获得更高的精度。

下面以具体实施例，对本发明的基于角点检测的瞳孔定位装置进行详细说明：

本发明要解决的技术问题是提供了一种基于Shi-Tomasi角点检测的瞳孔定位装置，可以快速地从人脸图像中检测出人眼并找到虹膜的位置，最终准确地进行瞳孔定位。为了获得更高的精度和更快的检测速度，本发明技术方案将Shi-Tomasi角点检测算法应用于眼部图像中，并进行改进，使其在进行瞳孔定位时减小误差，获得更高的精度。

本发明为了能够快速的检测出人眼，粗定位提取单元201首先利用Adaboost算法实现对人眼区域的粗定位，在人脸图像中提取出人眼部分，即获取其中的ROI(Region OfInterest)区域，ROI在图像处理中为感兴趣区域，然后分割提取单元202将提取出的人眼图像再进行分割，分别提取出左眼和右眼图像。

瞳孔定位单元203再对提取出的左右眼图像进行灰度化，利用Shi-Tomasi角点检测原理，通过研究眼部灰度图像中一个局部窗口内图像亮度值的平均变化来确定角点。选取一个窗口，如果该窗口在各个方向上移动，灰度变化平均值几乎不变，说明是平坦区域；如果只沿着某一个方向移动，灰度变化平均值几乎不变，说明是直线；如果窗口内包含一个孤立的像素点，并且沿各个方向移动，灰度变化平均值均发生变化，说明是角点。然后就将该像素点位置标记出来。

本发明的Adaboost算法，其理论如下：

在用Adaboost算法进行分类器的训练时，将含有眼部特征的图片作为正样本进行训练，将不包含眼部特征的图片作为负样本进行训练。设输入的N个训练样本为：(x₁,y₁)，(x₂,y₂)，...，(x_N,y_N)其中，y_i＝1表示样本为人眼，y_i＝0表示样本为非人眼。设n₁为正样本的数量，n₂为负样本的数量,且N＝n₁+n₂。

1)权重初始化，一开始就将每一个训练样本的权值都设置为一样的：

2)最佳弱分类器选择，设原有的弱分类器为N个，从中选取的弱分类器为T个，用t来进行当前弱分类器的计数，则t＝1，2，...，T。

①权重归一化：

②对于每个特征E，生成相应的弱分类器h(x,E,p,θ)，计算相对于当前权重误差：

最小误差：

③将对应最小误差ε_t的弱分类器h(x_i,E_t,p_t,θ_t)加入到强分类器中。

④更新所有样本权值：

其中，当第i个样本被正确分类时，则

反之

3)经过T轮训练之后，将得到T个最佳弱分类器，其中，每个弱分类器有对应的特征、阈值和方向指示符，最后，通过对T个弱分类器进行线性加权合成强分类器：

其中，

本发明的Shi-Tomasi角点检测，其理论如下：

Shi-Tomasi算法通过计算局部小窗口W(x,y)在各个方向移动后的灰度变化来检测角点。当局部窗口平移(u,v)后，灰度变化为：

式中：ω(x,y)—加权函数，通常选用高斯加权函数；

I(x,y)—点(x,y)处的灰度值。

根据泰勒展开，得：

其中：

计算自相关函数M的两个特征值，并比较大小。如果较小的特征值仍比给定比阈值大，则这个特征点就是Shi-Tomasi角点。因为该特征点的周围至少存在两个不同方向的强边界，所以这样的特征点易于识别且更加稳定。

参见图2，下面结合附图对本发明进行具体说明：

步骤1：输入人脸图像，如图3所示，采用adaboost算法进行人脸检测，并用方框标出眼部特征图像，检测效果如图4所示。

步骤2：将框出的眼部图像提取出来，然后对提取出的眼部图像进行分割，分成左眼图像和右眼图像，如图5所示。

步骤3：分别针对步骤2分割后的左右眼图像，利用Shi-Tomasi角点检测算法进行角点检测，角点的个数为4个，检测结果如图6所示。

步骤4：在对眼部图像进行Shi-Tomasi角点检测时，由于眼睛部位眉毛，眼角，以及眼部睁开的大小不一定对定位造成较大误差，所以通过改进后，利用多个Shi-Tomasi角点联合定位的方式进行瞳孔定位，以提高瞳孔定位的准确率。

Shi-Tomasi角点响应函数为：

R＝min(λ₁,λ₂) (10)

其中，λ₁、λ₂为自相关函数M的两个特征值。

多角点联合定位公式为：

其中，R_t为自相关函数M的两个特征值中较小的一个，n为角点的个数，C为最终的角点。最终以C的坐标点标出来的圆点即为人眼瞳孔中心所在的位置。联合定位的效果图如图7所示。

与现有技术相比，本发明具有如下优势：

本发明通过计算眼部特征图像中的Shi-Tomasi角点，并进行联合定位，可以更加快速准确地找到瞳孔中心的位置，该方法简单有效，易于实际应用。

实施例3

一种存储介质，存储介质存储有能够实现上述任意一项基于角点检测的瞳孔定位方法的程序文件。

实施例4

一种处理器，处理器用于运行程序，其中，程序运行时执行上述任意一项的基于角点检测的瞳孔定位方法。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的系统实施例仅仅是示意性的，例如单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于角点检测的瞳孔定位方法，其特征在于，包括以下步骤：

对人脸图像进行粗定位提取出人眼部分图像；

对人眼部分图像进行分割，提取出左眼图像和右眼图像；

采用角点联合定位的方式对左眼图像和右眼图像进行瞳孔定位。

2.根据权利要求1所述的基于角点检测的瞳孔定位方法，其特征在于，利用Shi-Tomasi角点检测原理，采用多个Shi-Tomasi角点联合定位的方式对左眼图像和右眼图像进行瞳孔定位。

3.根据权利要求2所述的基于角点检测的瞳孔定位方法，其特征在于，利用Shi-Tomasi角点检测原理，采用多个Shi-Tomasi角点联合定位的方式对左眼图像和右眼图像进行瞳孔定位包括：

通过研究左眼和右眼的眼部图像中一个局部窗口内图像亮度值的平均变化来确定角点。

4.根据权利要求3所述的基于角点检测的瞳孔定位方法，其特征在于，通过研究左眼和右眼的眼部图像中一个局部窗口内图像亮度值的平均变化来确定角点包括：

选取一个窗口，如果该窗口在各个方向上移动，灰度变化平均值不变，确定为平坦区域；如果只沿着某一个方向移动，灰度变化平均值不变，确定为直线；如果窗口内包含一个孤立的像素点，并且沿各个方向移动，灰度变化平均值均发生变化，确定为角点，然后将该角点的像素点位置标记出来。

5.根据权利要求1所述的基于角点检测的瞳孔定位方法，其特征在于，采用adaboost算法对人脸图像进行粗定位提取出人眼部分图像。

6.根据权利要求5所述的基于角点检测的瞳孔定位方法，其特征在于，adaboost算法对人脸图像进行粗定位提取具体为：

在用Adaboost算法进行分类器的训练时，将含有眼部特征的图片作为正样本进行训练，将不包含眼部特征的图片作为负样本进行训练；设输入的N个训练样本为：(x₁,y₁)，(x₂,y₂)，...，(x_N,y_N)其中，y_i＝1表示样本为人眼，y_i＝0表示样本为非人眼；设n₁为正样本的数量，n₂为负样本的数量,且N＝n₁+n₂；

1)权重初始化，一开始将每一个训练样本的权值都设置为：

2)最佳弱分类器选择，设原有的弱分类器为N个，从中选取的弱分类器为T个，用t来进行当前弱分类器的计数，则t＝1，2，...，T；

①权重归一化：

②对于每个特征E，生成相应的弱分类器h(x,E,p,θ)，计算相对于当前权重误差：

最小误差：

③将对应最小误差ε_t的弱分类器h(x_i,E_t,p_t,θ_t)加入到强分类器中；

④更新所有样本权值：

其中，当第i个样本被正确分类时，则

反之

3)经过T轮训练之后，将得到T个最佳弱分类器，其中，每个弱分类器有对应的特征、阈值和方向指示符，最后，通过对T个弱分类器进行线性加权合成强分类器：

其中，

7.根据权利要求2所述的基于角点检测的瞳孔定位方法，其特征在于，利用Shi-Tomasi角点检测原理进行瞳孔定位具体为：

Shi-Tomasi算法通过计算局部小窗口W(x,y)在各个方向移动后的灰度变化来检测角点；当局部窗口平移(u,v)后，灰度变化为：

式中：ω(x,y)—加权函数，为高斯加权函数；

I(x,y)—点(x,y)处的灰度值；

根据泰勒展开，得：

其中：

计算自相关函数M的两个特征值，并比较大小；如果较小的特征值仍比给定比阈值大，则这个特征点确定为Shi-Tomasi角点。

8.根据权利要求7所述的基于角点检测的瞳孔定位方法，其特征在于，Shi-Tomasi角点响应函数为：

R＝min(λ₁,λ₂) (10)

其中，λ₁、λ₂为自相关函数M的两个特征值；

多角点联合定位公式为：

其中，R_t为自相关函数M的两个特征值中较小的一个，n为角点的个数，C为最终的角点；最终以C的坐标点标出来的圆点确定为人眼瞳孔中心所在的位置。

9.根据权利要求1所述的基于角点检测的瞳孔定位方法，其特征在于，在对提取出左眼图像和右眼图像之后，所述方法还包括：

对提取出的左眼图像和右眼图像进行灰度化。

10.一种基于角点检测的瞳孔定位装置，其特征在于，包括：

粗定位提取单元，用于对人脸图像进行粗定位提取出人眼部分图像；

分割提取单元，用于对人眼部分图像进行分割，提取出左眼图像和右眼图像；

瞳孔定位单元，用于采用角点联合定位的方式对左眼图像和右眼图像进行瞳孔定位。

Images