CN103093215B - 人眼定位方法及装置 - Google Patents

Abstract

本发明公开了一种人眼定位方法及装置，其中，该方法包括：获取待定位的人脸图像中的眼镜信息；根据眼镜信息初步定位人脸图像中的人眼位置；根据初步定位出的人眼位置确定上述人脸图像中的人眼的睁闭状态；根据该睁闭状态再定位人眼位置。通过本发明，解决了相关技术中人眼定位准确性较差的问题，提升了人眼定位的精度，进而提高了人脸识别的速度和精确性。

Description

人眼定位方法及装置

技术领域

本发明涉及图像处理领域，尤其涉及一种人眼定位方法及装置。

背景技术

随着信息技术的飞速发展，信息安全问题日益突出，已经成为技术发展必须要解决的关键问题，其中对人的身份识别是信息安全领域的重要组成部分。

面相识别是通过提取人脸的特征来验证身份的生物特征识别技术，相对于其它的生物特征识别技术具有直接、友好、方便的特点。因此，近年来在国际上有很多研究者将大量的研究放在了基于人脸特征的身份识别和验证上。

面相识别主要是由人脸检测、人眼定位、面部特征配准、特征提取与识别这四部分构成。

在面相识别中，其中关键的一步就是面部特征配准，也即实现对应位置的配准。目前的面相识别系统虽然主要是通过提取图像的整体信息、局部纹理信息来进行识别，但是两幅图像之间的面部特征是否配准，对最终的识别结果有着重要影响。图像特征配准的准确性，直接影响着最终的识别结果，因此越来越多的学者开始了对面部主要器官定位的研究。而眼睛作为面部区域最重要、最显著的特征，拥有丰富的信息，它的检测与定位的辨识度较高，对最终的识别有较重要的影响；同时，可以根据眼睛与其它面部器官之间的几何关系定位其它面部器官。因此，人眼定位对其它面部器官的定位以及高性能的自动面相识别系统具有极其重要的作用。

在相关技术中，早期的面相识别算法都是在假定眼睛坐标精确定位的前提下进行的。在过去的几十年，人眼定位的方法的研究取得了较大进展，国内外的研究人员提出了一些关于人眼定位的方法，大致可以分为以下四类：

（1）基于先验知识的方法：

眼睛在人脸图像上具有明显的特点，其瞳孔的灰度值一般比周围区域的要低，还有人眼是关于人脸中轴线对称的，可以用这些信息判别人眼的位置。根据这些先验知识简化了定位的难度，减少了误差。

主要的算法有几何投影、二值化定位和广义对称等。基于先验知识的方法构造简单，仅仅使用了人脸图像中一些像素值的低层信息，强烈的依赖于预先设定的先验规则，因此算法的适应性不强，而且极易受外界变化的影响，这类方法适用于人眼的粗定位，需要结合其它方法才能进一步的精确定位。

（2）基于几何形状信息的方法：

主要思想是根据人脸特征的形状特点构造一个可变参数的几何模型，该模型参数反映了特征形状的可变部分，最终通过模型与图像的动态交互来修正。主要算法有Snake模型、可变模板、点分布模型（Point Distribution Model，简称为PDM）、主动形状模型（Active Shape Model，简称为ASM）和主动外观模型（Active Appearance Model，简称为AAM）等。

基于形状信息的方法在原理上较为简单易懂，但是由于面部特征附近的对比度较低，边界搜索过程缓慢，运算量比较大。

（3）基于色彩信息的方法：

这类方法是用统计方法建立起面部特征的色彩模型，在搜索中根据被测点的色彩与模型的匹配度，筛选出人眼的可能位置信息。基于色彩信息的方法对光照条件和图像采集设备的特征较为敏感，易受环境因素的干扰，准确率难以保证，但运行速度快，适用于粗定位或者对定位实时性要求比较高的系统。

（4）基于外观信息的方法：

外观信息方法是用统计方法对其分布规律建模，在搜索过程，通过计算与人眼模板的匹配程度，判断是否存在人眼的区域。这类方法对图像质量、环境条件和目标对象状态具有很好的适应能力。主要的算法有人工神经网络（Artificial Neural Network，简称为ANN）、主成分分析（Principal ComponentAnalysis，简称为PCA）、支持向量机（SupportVector Machine，简称为SVM）和AdaBoost等方法。

基于外观信息的方法具有很好的可扩展性，是解决复杂条件下人眼定位问题的有效途径，不依赖于人脸的先验知识和参数模型，可以避免不精确或不完整知识造成的错误，但是运算量较大，在大型图片库上性能不佳。

但是，上述相关技术中的四类算法都具有相似的缺陷：对于不同的图片没有采用不同的方法进行人眼定位，这样对于不同类型的人脸图片，进行人眼定位的精度就会存在不小的差距。此外，由于人脸是一个复杂多变的非刚性物体，此外人脸表情丰富，加上图像获取过程中外界条件发生变化的影响，给人眼定位带来了困难。因而，单纯依赖某一种方法很难实现精确的人眼定位。上述四类算法的缺陷表明对人眼定位有必要进行系统深入的研究。

针对相关技术中人眼定位准确性较差的问题，目前尚未提出有效的解决方案。

发明内容

本发明的主要目的是提供一种人眼定位方法及装置，以至少解决相关技术中人眼定位准确性较差的问题。

根据本发明的一个方面，提供了一种人眼定位方法，包括：获取待定位的人脸图像中的眼镜信息；根据所述眼镜信息初步定位所述人脸图像中的人眼位置；根据初步定位出的所述人眼位置确定所述人脸图像中的人眼的睁闭状态；根据所述睁闭状态再定位所述人眼位置。

根据本发明的另一方面，提供了一种人眼定位装置，包括：获取模块，用于获取待定位的人脸图像中的眼镜信息；第一定位模块，用于根据所述眼镜信息初步定位所述人脸图像中的人眼位置；确定模块，用于根据初步定位出的所述人眼位置确定所述人脸图像中的人眼的睁闭状态；第二定位模块，用于根据所述睁闭状态再定位所述人眼位置。

根据本发明的技术方案，采用获取待定位的人脸图像中的眼镜信息；根据眼镜信息初步定位人脸图像中的人眼位置；根据初步定位出的人眼位置确定上述人脸图像中的人眼的睁闭状态；根据该睁闭状态再定位人眼位置的方式，解决了相关技术中人眼定位准确性较差的问题，提升了人眼定位的精度，进而提高了人脸识别的速度和精确性。

附图说明

说明书附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的人眼定位方法的流程图；

图2是根据本发明实施例的人眼定位装置的结构框图；

图3是根据本发明优选实施例的人眼定位方法的流程图；

图4是根据本发明优选实施例的眼镜判断以及反光判断的流程图；

图5是根据本发明优选实施例的光照处理效果示意图；

图6是根据本发明优选实施例的人脸对称轴定位的定位效果示意图；

图7是根据本发明优选实施例的二维圆形Gabor滤波器示意图；

图8是根据本发明优选实施例的模板匹配所用的模板示意图；

图9是根据本发明优选实施例的二值化至形态学操作后的处理效果示意图；

图10是根据本发明优选实施例的闭眼再定位的示意图；

图11是根据本发明实施例的人眼定位装置的优选结构框图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

首先，对于本文中需要用到的技术术语进行解释：

人脸配准（也称面部特征配准）：一种图像预处理方法，主要用于面相识别。可以将面部图像的尺度、旋转和平移等变化去除，达到面相识别的要求。

伽马校正：即采用非线性灰度级变化对数变换或幂次规则变换来代替原有的灰度级。

高斯差分滤波器：即用两个不同宽度的高斯函数的差分来产生高斯差分滤波器，产生公式为：

$g(x,y)=\frac{A}{\sqrt{2\mathrm{\π}{\mathrm{\σ}}_1^2}}{e}^{-(x^2+y^2)/2{\mathrm{\σ}}_1^2}-\frac{B}{\sqrt{2\mathrm{\π}{\mathrm{\σ}}_2^2}}{e}^{-(x^2+y^2)/2{\mathrm{\σ}}_2^2}$

对比度：对比度指的是一幅图像中明暗区域最亮的白和最暗的黑之间不同亮度层级的测量，差异范围越大代表对比度越大，差异范围越小代表对比度越小。

非线性函数压缩：即用一个非线性函数去压缩超大值。用的是双曲正切函数：I(x,y)←τtanh(I(x,y)τ)，这样，就可以将图像限制到(-τ,τ)。

二值化阈值：对图像进行二值化时所选用的灰度门限值。

二值化：把整幅图像的所有值转化成只有两种值的过程，一般这两种值为0和1（或者255）。当图像上的值大于等于二值化阈值的时候，该点的值二值化为1（或255）；当图像上的值小于二值化阈值的时候，该点的值二值化为0。

AdaBoost：是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器(强分类器)。

二维圆形Gabor滤波器：

二维Gabor滤波器的表达式为 $G(x,y)=\cos \left(\mathrm{\ω}(x-x_0)\right)e^{-}({(y-y_0)}^2/{\mathrm{\α}}^2+{(x-x_0)}^2/{\mathrm{\β}}^2),$ 其中，α和β是Gabor滤波器的尺度因子，决定了Gabor滤波器的有效作用范围，当α=β时，表示该区域是一个圆形，得到二维圆形Gabor滤波器，这个区域称为Gabor滤波器的有效作用范围。ω是表示频率，决定了Gabor滤波器的频率选择特性；当滤波器有效作用范围内包含的纹理分布与滤波器二维俯视图中的条纹分布越相似则响应越大，反之越小。

随机森林：随机森林是一种组合分类算法，基本思想是将很多弱分类器集构成一个强分类器，具有分类快速且训练简单的特点。

模板匹配：模板匹配是数字图像处理中的一种重要的方法，就是以一幅小图像为模板，在一幅大图像中搜索要找的目标，通过一定的算法可以确定该目标在大图中的位置。

径向对称变换：径向对称变换是一种简单、快速的基于梯度的目标检测算子，该变换主要利用径向对称特性来突出具有圆对称性的区域，从而实现对圆形目标的检测。

同态滤波：是把频率过滤和灰度变换结合起来的一种图像处理方法，它依靠图像的照度/反射率模型作为频域处理的基础，利用压缩亮度范围和增强对比度来改善图像的质量。使用这种方法可以使图像处理符合人眼对于亮度响应的非线性特性，避免了直接对图像进行傅立叶变换处理的失真。

在本实施例中提供了一种人眼定位方法，图1是根据本发明实施例的人眼定位方法的流程图，如图1所示，该方法包括如下步骤：

步骤S102，获取待定位的人脸图像中的眼镜信息；

步骤S104，根据该眼镜信息初步定位人脸图像中的人眼位置；

步骤S106，根据初步定位出的人眼位置确定上述人脸图像中的人眼的睁闭状态；

步骤S108，根据该睁闭状态再定位人眼位置。

本实施例通过上述步骤，在定位之前先对获取到的待定位人眼位置的人脸图像（也称图片）进行处理以得到眼镜信息，例如，可以进行关于是否配戴眼镜的分类，并根据分类结果进一步进行眼镜是否反光的判断，从而确定眼镜信息，并根据该眼镜信息进行人眼位置的初步定位；然后根据人眼位置的初步定位结果进一步进行关于人眼的睁闭状态的分类，并根据该分类结果对人眼位置进行再定位。这种两次分类的人眼定位方式，由粗到细，相比相关技术中在人脸识别时不对人脸图片进行分类而直接定位人眼的方式，避免了获取到的人脸图像中配戴的眼镜以及面部表情所导致的干扰，解决了相关技术中人眼定位准确性较差的问题，提升了人眼定位的精度，进而提高了人脸识别的速度和精确性。

在步骤S102中，获取的眼镜信息至少可以包括：是否配戴眼镜、配戴的眼镜类型、以及眼镜是否反光等，上述眼镜的类型还包括：黑框眼镜、以及非黑框的普通眼镜（如浅色框眼镜、半框眼镜、无框眼镜）。是否配戴眼镜的判断方法在相关技术中有很多，例如申请号为200410067813.9的《基于区域特征元补偿的红外人脸眼镜干扰消除方法》的中国专利，就提供了判断人脸图像是否配戴眼镜的方法，在本文中不做赘述。

判断配戴的眼镜类型以及该眼镜是否反光的方法在相关技术中也有详细说明，本实施例中仅作简要说明。例如，可以从人脸图像中截取的指定区域（比如人脸图像上三分之一的区域），该区域通常包含人眼，也包含配戴的眼镜图像，根据预先设置的反光点灰度阈值和黑框眼镜镜框灰度阈值，分别将灰度值属于指定阈值范围的像素点视为眼镜反光点或黑框眼镜的镜框，根据上述截取的指定区域中包含的灰度值属于指定阈值范围的像素点的个数以及该个数占上述截取的指定区域像素点个数的比例来判断配戴眼镜的类型以及是否反光。比如，上述截取的指定区域的纵向中轴线向左右分别扩充10个像素点，形成一个镜框连接件区域。若在此区域内灰度值小于预先设置的黑框眼镜镜框灰度阈值（如50）的像素点个数满足设定阈值，如大于40个，或者视为黑框眼镜镜框的像素点占上述镜框连接件区域的比例超过预设比例，如20%，则认为眼镜类型为黑框眼镜。同理，将灰度值大于预先设置的反光点灰度阈值（如：200）反光点，计算反光点的个数和占指定区域的比例，判断眼镜是否反光。

经过步骤102，可以得到是否配戴眼镜、配戴的眼镜类型为黑框眼镜或普通眼镜、配戴的眼镜是否反光等眼镜信息。

作为一种优选实施方式，步骤S104中根据上述眼镜信息初步定位人脸图像中的人眼位置的方式可以如下：通过AdaBoost算法检测人脸图像中的人眼位置所在区域（可以简称为第一区域）；如果检测出了第一区域，则通过二维圆形Gabor滤波器初步定位人眼位置，并进行后续处理，如果未检测到第一区域，且人脸图像中配戴了眼镜，则可以根据配戴的眼镜类型来进行人眼位置的初步定位。

优选地，根据配戴的眼镜类型来进行人眼位置定位的方式可以为：

首先判断眼镜是否为黑框眼镜，如果是，则可以判断该黑框眼镜是否反光，如果黑框眼镜反光，则可以直接根据获取到的人脸图像的大小按照位置关系先估计上述第一区域，然后通过预设的匹配模板初步定位出该人眼位置，如果黑框眼镜不反光，可以根据眼镜的位置先按照比例关系估计上述第一区域，然后用二维圆形Gabor滤波器初步定位出人眼位置；

如果上述配戴的眼镜不为黑框眼镜，而是其他的普通眼镜，则可以判断该普通眼镜是否反光，如果普通眼镜反光，则可以直接根据获取到的人脸图像的大小按照位置关系先估计上述第一区域，然后通过预设的匹配模板初步定位出该人眼位置，如果普通眼镜不反光，则可以先根据人脸图像的大小按照位置关系估计上述第一区域，然后通过预设的匹配模板初步定位出人眼位置。

其中，上述的按照位置关系估计第一区域的方式可以例如下：假设人脸图像大小为M×N，则左眼可以定为：行到之间，列到之间的区域；而右眼可以定为：行到之间，列到之间的区域。当然也可以采用其他的位置关系进行估计。

其中，上述的按照比例关系估计第一区域的方式可以例如下：假设黑框眼镜中间点图像坐标为（X，Y），则左眼位置可以为：行X-0.07×M到X+0.1×M之间，列0.1×N到Y-0.15×N之间的区域；右眼位置可以为：行X-0.07×M到X+0.1×M之间，列Y+0.15×N到0.9×N之间的区域。当然也可以采用其他的比例关系进行估计。

人眼的睁闭状态的判断方式在相关技术中也有很多，本实施例可以采用径向对称变化方法（参见《中国科学技术大学学报》2010年05期“基于径向对称变换的眼镜睁闭状态检测”一文），也可以采用申请号为201110278098.3的《一种疲劳驾驶检测方法及装置》的中国专利中提供的检测眼睛睁闭状态的方法，根据初步定位出的人眼位置确定上述人脸图像中的人眼的睁闭状态，本实施例对此不作限定。人眼的睁闭状态可以包括：睁开、闭合两种情况。

作为一种优选实施方式，步骤S108中根据该睁闭状态再定位人眼位置的方式可以如下：

在上述睁闭状态为睁开的情况下，可以首先对获取到的人脸图像（即待定位人脸图像）根据之前初步定位出的人眼位置按照一定预设的比例（简称为第一比例）截取一定区域（可以称为第二区域），并对该第二区域进行同态滤波得到第一图像；使用预设的固定比例（简称为第二比例）对第一图像进行二值化处理得到第二图像；使用区域生长方法对第一图像进行处理得到第三图像；判断第三图像的瞳孔候选区域（即二值化后包含瞳孔一侧的区域）所占比例是否处于预设范围内；如果判断结果为处于预设范围内，则确定第四图像为第二图像与第三图像的瞳孔候选区域的交集部分；如果判断结果为超出预设范围内，则确定第四图像为第二图像；使用圆盘型结构元素对第四图像进行形态学中的先膨胀后腐蚀操作，并找到第四图像中的最大连通区域；在最大连通区域中，使用半径为R的圆形模板进行遍历，并计算圆形模板的响应值；确定圆形模板的最大响应值对应的坐标为人眼位置。其中，上述圆形模板的半径（R）可以根据步骤S104中初步定位出的人眼位置中的双眼距离确定，例如，R可以为步骤S104中初步定位出的人眼位置中的双眼距离的

例如，如果检测为睁眼睛，根据初步定位的结果，进行精确定位，可以分为以下步骤：

步骤S2，对待定位人脸图像截取的包含眼睛的区域eye_img进行同态滤波得到图像img_eye；

步骤S4，利用固定比例对图像img_eye进行二值化处理为eye_img_bw1；

步骤S6，利用区域生长方法再对img_eye进行处理得到eye_img_bw2；

步骤S8，对eye_img_bw2进行判断，如果瞳孔候选区域（即二值化后包含瞳孔一侧的区域）的面积所占比例在一定范围内，就进行交运算：eye_img_bw=eye_img_bw1∩eye_img_bw2，否则，直接利用原来的固定比例二值化图像eye_img_bw=eye_img_bw1；

步骤S10，利用圆盘型结构元素对eye_img_bw进行形态学中的先膨胀后腐蚀操作，并找到二值化图像eye_img_bw中的最大连通区域；

步骤S12，在具有最大连通区域的图像中，利用半径为R的圆形模板circle_temp，在图像上自左向右、自上向下的遍历，计算圆形模板在图像中的响应值，找出最大响应值即为最终的人眼位置，其中，上述圆形模板的半径（R）可以根据步骤S104中定位出的人眼位置中的双眼距离确定，例如，优选地，R可以为步骤S104中初步定位出的人眼位置中的双眼距离的

而在上述睁闭状态为闭合的情况下，可以将待定位的人脸图像根据之前初步定位出的人眼位置按照预设的比例（简称为第三比例）截取一定区域（可以称为第三区域，例如，该第三区域可以小于第二区域），并对该第三区域进行二值化处理得到第五图像，然后将该第五图像中最大连通分量的重心确定为人眼位置。

例如，如果检测为闭眼睛，根据初步定位的结果，进行精确定位，可以分为以下步骤：

步骤S22，将待定位人脸图像截取的包含眼睛的区域eye_img的灰度值归一化到[0,1]区间。将eye-img分成多个小区域，对每一个小区域，都取一定的间隔，对灰度值进行区分，计算落在每个小区域的灰度值的概率；

步骤S24，设定从0开始的灰度值占总灰度值的比例为T-r，当符合公式时，就可以得到阈值T。利用阈值T对图像进行二值化处理，并提取最大连通分量图像eye_img_bw用于定位；

步骤S26，求取最大连通分量的重心，即闭眼睛的位置。

优选地，在判断获取到的人脸图像是否配戴眼镜之前，还可以对获取到的人脸图像进行以下方式的预处理，例如，可以将获取到的人脸图像进行光照处理，并缩放至预设大小；然后使用Sobel算子进行滤波；对人脸图像进行二值化处理；最后计算人脸图像的人脸对称轴，例如可以遍历二值化后的人脸图像中所有可能的中心轴线，计算每个可能的中心轴线两侧含有的对应点个数，并确定对应点个数最多的中心轴线为该人脸图像中的人脸对称轴。通过这种方式，定位过程中的干扰更小，定位更精确。

优选地，在步骤S104根据获得的眼镜信息初步定位出人脸图像中的人眼位置之后，还可以进行简单的校准，使初步定位结果更准确。例如，可以判断初步定位出的人眼位置中的每只眼睛分别与人脸对称轴的距离的差值是否小于预设的第一阈值，和/或，判断初步定位出的人眼位置中的两眼所在直线与人脸对称轴之间的夹角是否小于预设的第二阈值；在初步定位得到的人眼位置中的每只眼睛分别与对称轴的距离的差值小于预设的第一阈值，和/或初步定位得到的人眼位置中的两眼所在直线与对称轴之间的夹角小于预设的第二阈值的情况下，可以认为步骤S104中初步定位出的人眼位置是准确的，否则，可以初步认为步骤S104中初步定位出的人眼位置是不准确的，并可以通过获取人眼位置中的一只眼睛的坐标基于上述人脸对称轴的轴对称坐标，并将该轴对称坐标作为另一只眼睛的坐标的方式来进行简单校准。

优选地，在步骤S108根据睁闭状态再定位人眼位置之后，还可以进一步对再定位结果进行精确验证，并对不正确的再定位结果进行再校准，例如，可以对上述再定位出的人眼位置按照预设的比例（简称为第四比例）截取一定区域（可以称为第四区域，例如，该第四区域可以小于第二区域和第三区域），然后根据训练的随机森林的分类器计算出第四区域中包含的特征与人眼特征相匹配的概率值，并与预设的第三阈值进行比较，在上述概率值大于该预设的第三阈值的情况下，可以确定再定位的人眼位置精确；而在上述概率值小于或等于该预设的第三阈值的情况下，则确定人眼位置定位有误，此时可以再次通过人眼位置中的每只眼睛分别与人脸对称轴的距离的差值以及人眼位置中的两眼所在直线与人脸对称轴之间的夹角来进行校准。例如，可以判断再定位出的人眼位置中的每只眼睛分别与上述人脸对称轴的距离的差值是否小于预设的第一阈值；和/或，判断再定位出的人眼位置中的两眼所在直线与上述人脸对称轴之间的夹角是否小于预设的第二阈值；在判断结果为否的情况下，可以获取人眼位置中的一只眼睛的坐标基于上述人脸对称轴的轴对称坐标，并将该轴对称坐标作为另一只眼睛的坐标。

优选地，在根据训练的随机森林的分类器计算出第四区域中包含的特征与人眼特征相匹配的概率值之前，还可以对随机森林的分类器进行训练，对随机森林的分类器进行训练的方式可以为：获取正样本和负样本建立样本集合；用预先选择的Haar特征模板分别提取上述正样本和负样本的M维Haar特征；随机选取样本集合中的多个样本，并随机不重复选取M维Haar特征中的预设维数特征分别训练弱分类器组成的随机森林中的决策树，其中，正样本为根据人脸图片的大小，按照比例截取出以人眼为中心的矩形区域，负样本是随机选择在人眼附近截取不包括或者不完全包括人眼的矩形区域；M为正整数，且M大于预设维数。

优选地，根据训练的随机森林的分类器计算出所述第四区域中包含的特征与人眼特征相匹配的概率值可以为：根据再定位出的人眼位置截取包含左眼的第五区域以及包含右眼的区第六域；将截取后获得的第五区域以及第六区域归一化到预设大小；将归一化后的第五区域以及第六区域送入预先训练的随机森林分类器进行识别，并根据判别函数分别计算出所述第五区域以及所述第六区域是眼睛的概率，进一步得到所述第四区域中包含的特征与人眼特征相匹配的概率值，该判别函数为：

$P=\left(\frac{1}{N}\right)\underset{n=1}{\overset{N}{\mathrm{\Σ}}}p\left(n\right),$

其中，P表示送入随机森林分类器进行识别的图像区域是眼睛的概率；p(n)表示随机森林中第n棵决策树对归一化后的该区域的决策结果；N是随机森林中决策树的个数。

对应于上述方法，在本实施例中还提供了一种人眼定位装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以是实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件、或者软件和硬件的组合的实现也是可能并被构想的。

图2是根据本发明实施例的人眼定位装置的结构框图，如图2所示，该装置包括：获取模块22、第一定位模块24、确定模块26和第二定位模块28，下面对各个模块进行详细说明。

获取模块22，用于获取待定位的人脸图像中的眼镜信息；第一定位模块24，与获取模块22相连，用于根据获取模块22获得的眼镜信息初步定位人脸图像中的人眼位置；确定模块26，与第一定位模块24相连，用于根据第一定位模块24初步定位出的人眼位置确定人脸图像中的人眼的睁闭状态；第二定位模块28，与确定模块26相连，用于根据确定模块26确定的睁闭状态再定位人眼位置。其中，上述眼镜信息至少可以包括：是否配戴眼镜、配戴的眼镜类型、以及眼镜是否反光等，上述眼镜类型可以包括：黑框眼镜、普通眼镜等。

本实施例通过上述模块，在初步定位之前获取模块22先对获取到的待定位人脸图像（图片）进行关于是否配戴眼镜的分类，第一定位模块24根据分类结果进一步进行眼镜是否反光的判断，从而确定眼镜信息，用于进一步进行人眼位置的初步定位，然后确定模块26根据人眼位置的初步定位结果进一步进行关于人眼的睁闭状态的分类，第二定位模块28根据该分类结果对人眼位置进行再定位，这种两次分类的人眼定位方式，由粗到细，相比相关技术中在人脸识别时不对人脸图片进行分类而直接定位人眼的方式，避免了获取到的人脸图像中配戴的眼镜以及面部表情所导致的干扰，解决了相关技术中人眼定位准确性较差的问题，提升了人眼定位的精度，进而提高了人脸识别的速度和精确性。

图11是根据本发明实施例的人眼定位装置的优选结构框图，优选地，如图11所示，上述第一定位模块24可以包括：检测单元242，用于通过AdaBoost算法检测人脸图像中的人眼位置所在的第一区域；定位单元244，与检测单元242相连，用于在检测到第一区域的情况下，通过二维圆形Gabor滤波器初步定位人眼位置；在未检测到第一区域，且眼镜信息为配戴眼镜的情况下，根据配戴的眼镜类型初步定位出人眼位置。

优选地，如图11所示，上述第二定位模块28可以包括：处理单元282，用于在睁闭状态为睁开的情况下，对获取到的人脸图像根据初步定位出的人眼位置按照预设的第一比例截取第二区域，并对第二区域进行同态滤波得到第一图像；使用预设的第二比例对第一图像进行二值处理得到第二图像；使用区域生长方法对第二图像进行处理得到第三图像；判断第三图像的瞳孔候选区域所占比例是否处于预设范围内；如果判断结果为处于预设范围内，则确定第四图像为第二图像与第三图像的瞳孔候选区域的交集部分；如果判断结果为超出预设范围内，则确定第四图像为第二图像；使用圆盘型结构元素对第四图像进行形态学中的先膨胀后腐蚀操作，并找到第四图像中的最大连通区域；在最大连通区域中，使用半径为R的圆形模板进行遍历，并计算圆形模板的响应值，其中，R可以根据初步定位出的人眼位置中的双眼距离确定，例如，R可以为初步定位出的人眼位置中的双眼距离的确定圆形模板的最大响应值对应的坐标为人眼位置；或者，在睁闭状态为闭合的情况下，将获取到的人脸图像根据初步定位出的人眼位置按照预设的第三比例截取第三区域，并对第三区域进行二值化处理得到第五图像；确定第五图像中最大连通分量的重心为人眼位置。

优选地，如图11所示，该装置还可以包括：预处理模块112，以及第一校准模块114和/或第二校准模块116。其中，预处理模块112与获取模块22相连，用于将人脸图像进行光照处理，并缩放至预设大小；使用Sobel算子对人脸图像进行滤波；对人脸图像进行二值化处理；以及，遍历二值化后的人脸图像中所有可能的中心轴线，计算每个可能的中心轴线两侧含有的对应点个数，并确定对应点个数最多的中心轴线为人脸图像中的人脸对称轴。第一校准模块114，与第一定位模块24和预处理模块112相连，用于判断第一定位模块24初步定位出的人眼位置中的每只眼睛分别与人脸对称轴的距离的差值是否小于预设的第一阈值；和/或，判断初步定位出的人眼位置中的两眼所在直线与人脸对称轴之间的夹角是否小于预设的第二阈值；在判断结果为否的情况下，获取人眼位置中的一只眼睛的坐标基于人脸对称轴的轴对称坐标，并将轴对称坐标作为人眼位置中的另一只眼睛的坐标。第二校准模块116，与第二定位模块28和预处理模块112相连，用于对第二定位模块28再定位出的人眼位置按照预设的第四比例截取第四区域；根据训练的随机森林的分类器计算出第四区域中包含的特征与人眼特征相匹配的概率值，并将概率值与预设的第三阈值进行比较；在概率值小于或等于第三阈值的情况下，判断再定位出的人眼位置中的每只眼睛分别与人脸对称轴的距离的差值是否小于预设的第一阈值；和/或，判断再定位出的人眼位置中的两眼所在直线与人脸对称轴之间的夹角是否小于预设的第二阈值；在判断结果为否的情况下，获取再定位人眼位置中的一只眼睛的坐标基于人脸对称轴的轴对称坐标，并将轴对称坐标作为人眼位置中的另一只眼睛的坐标。

下面结合优选实施例和附图对上述实施例及优选实施方式的实现过程进行详细说明。

本优选实施例提出了一种新的人眼定位方法，一种基于机器学习和灰度分布的人眼定位方法，该方法能够解决面相识别中人脸图像的配准问题，并且该方法既增加了定位的准确性和鲁棒性，又节省了定位的时间。

图3是根据本发明优选实施例的人眼定位方法的流程图，如图3所示，该方法包括以下步骤：

步骤S300，获取到人脸图像；

步骤S302，预处理，可以包括以下分各步骤：

S302-2，获取待定位人脸图像中的眼镜信息，即进行是否戴眼镜、配戴的眼镜类型以及戴眼镜时反光的判断。可以采用申请号为200410067813.9的《基于区域特征元补偿的红外人脸眼镜干扰消除方法》的中国专利中提供的判断人脸图像是否配戴眼镜的方法判断待定位人脸图像中是否配戴眼镜，也可以根据人脸图像估计出人眼所在的区域，然后利用灰度信息和眼镜形状的信息，判断出是否戴有眼镜，本申请对此不作限定；进一步利用图像的灰度信息和眼镜形状的信息判断眼镜的类型，分为戴黑框眼镜和普通的眼镜；在判断出是否戴眼镜以及戴何种眼镜的基础上进行是否反光的判断。图4是根据本发明优选实施例的判断眼镜是否反光的流程图，如图4所示，配戴的眼镜是否反光的判断包括如下步骤：

步骤S402，判断是否配戴黑框眼镜，如果是，进入步骤S406，否则进入步骤S404；

步骤S404，判断是否配戴普通眼镜，如果是，进入步骤S406，否则进入步骤S412；

步骤S406，判断是否反光，如果是，进入步骤S408，否则进入步骤S410；

步骤S408，输出配戴黑框或普通眼镜以及眼镜反光的判断结果；

步骤S410，输出戴普通眼镜但眼镜不反光的判断结果；

步骤S412，输出结果为不戴眼镜。

判断眼镜类型和眼镜是否反光，可以通过以下方法实现。首先，需要确定中间眼部区域。假设人脸图像的大小为M×N，眼部区域的大小为M'×N'，M'可以取与之间的部分，而N可以取1到N之间的部分，那么中间眼部区域的大小为X×Y，X可以取与之间的部分，而Y可以取到之间的部分。

例如，判断眼镜类型的步骤可以包括：

(A)、对获取到的中间眼部区域进行同态滤波处理，增强对比度；

(B)、对经过步骤（A）同态滤波处理后的中间眼部区域利用高斯滤波器进行平滑滤波，消除噪声的干扰，随后采用邻域最小值滤波器遍历该中间眼部区域中的每个像素，突出目标；

(C)、将经过平滑滤波处理后的中间眼部区域的灰度变换到[0,1]，利用统计直方图得到满足比重时对应的灰度值T₀，并采用T₀对经过平滑滤波处理后的中间眼部区域进行二值化处理；

(D)、在经过二值化处理后的中间眼部区域上截取中间部分，其中，中间部分包括：连接左眼镜框和右眼镜框之间卡在鼻梁上的连接件，通过计算连接件所在区域在上述截取的中间部分所占的比重与预设阈值进行比较，进而判断出是否佩戴黑框眼镜；当连接件所在区域在上述截取的中间部分内所占比重大于预设阈值时，即可判断眼镜的类型为黑框眼镜；

(E)、判断中间眼部区域是否佩戴黑框眼镜之外的其他普通眼镜，具体可以包括以下步骤：

(F)、利用Sobel算子滤波，对中间眼部区域进行二值化处理，得到二值化图像img_bw；

(G)、对img_bw进行形态学操作，将img_bw图像中面积较小的部分删除，去掉部分干扰区域；再对中间眼部区域进行闭运算，将临近的分散点连接成连通区域，平滑图像的轮廓；

(H)、对步骤（G）中形态学操作以后的二值化中间眼部区域提取连通分量，确定连通分量的大小以及位置；

(I)、排除干扰连通区域，进一步排除干扰区域，通过标记值判断每个连通区域在图像中的位置，如果该连通区域在图像边界位置附近含有较多的像素点，则删除该连通区域，如果连通区域含有较少的像素点，则删除该连通区域；

(J)、计算积分投影，即分别计算二值化中间眼部区域在水平方向等三处的积分投影的值，以及水平积分投影大于零的个数，并根据积分投影的大小找出该中间眼部区域中的水平长度最长的连通区域；

(K)、综合判断是否佩戴普通眼镜，符合以下三种情况之一即可判断为佩戴普通眼镜：

情况一、如果水平方向或者水平方向处的积分投影值大于2并且连通区域的个数大于或等于4；

情况二、图像中部区域的灰度值为1的个数大于或等于5，水平积分投影大于零的个数大于图像行数的一半，并且连通区域的个数大于或等于2；

情况三、水平长度最长的连通区域大于图像列数的一半。

判断眼镜是否反光，可以包括以下步骤：

(a)、在中间眼部区域上截取反光区域，其中，反光区域的覆盖范围包括：人眼区域，并且反光区域小于中间眼部区域；

(b)、在反光区域中分别确定左眼所在区域和右眼所在区域；

(c)、分别统计出左眼所在区域、右眼所在区域内灰度值大于预设阈值，如250的像素点的个数，即为反光点的个数；

(d)、分别统计左眼所在区域、右眼所在区域的直方图，对于反光的图片，直方图中高灰度级的像素个数或者频率相对较大，利用高灰度级的直方图乘以灰度级以计算反光的程度；例如：取反光点灰度阈值为245，从245开始至255结束依次选取每个正整数分别进行乘积运算，最后再计算各个乘积结果的总和，然后利用上述总和相应地除以左眼所在区域或右眼所在区域的面积，分别对左眼所在区域和右眼所在区域进行归一化处理；

(e)、根据上述步骤中的结果和设定阈值即可判断中间眼部区域是否反光，即当统计出的灰度值大于250的像素点的个数大于预设点数阈值且计算出的归一化结果大于预设面积阈值，即可判断人脸图像中的眼镜在光线照射下反光。

S302-4，光照处理，图5是根据本发明优选实施例的光照处理效果示意图，处理效果如图5所示，光照处理可以分为以下步骤：

步骤S502，对人脸图像进行伽马校正，采用非线性灰度级变化对数变换或幂次变换来代替原有的灰度级I，变换的公式为：其中，λ∈[0,1]，一般c取1。

步骤S504，利用高斯差分滤波器进行滤波，矫正不均匀图像光场照度；

步骤S506，利用二值模板去除一些不相关的或变化太大的面部区域；

步骤S508，均衡化对比度，在全局信息上重新调节图像亮度，对于图像的每个像素I(x,y)的调整分为两步：和其中，a是一个强压缩指数，用于减少较大值的影响，可以取范围为[0,1]的值，优选地可以取0.1；τ是一个阈值，用于第一步的归一化后截断较大值，优选地可以取+10或-10；

步骤S510，用非线性函数压缩超大值，减少极端灰度值的影响。

S302-6，人脸对称轴的定位，图6是根据本发明优选实施例的人脸对称轴定位的定位效果示意图，定位结果如图6所示，可以分为以下步骤：

步骤S602，缩放图像。检测出来的人脸太小，对称信息不明显，检测出来的人脸太大，影响人脸对称轴定位的速度，故在人脸对称轴定位之前可以先将人脸图像缩放到50×50大小；

步骤S604，图像二值化。要尽可能保留图像的对称信息，作为一种优选实施方式，此处首先选择Sobel算子进行滤波，然后再二值化。由于图像的左下角和右下角可能含有衣领等的干扰，因此可以首先将这两部分去掉；

步骤S606，遍历可能的中心轴线，计算其对称相关系数。根据人脸图片的特性，选取人脸的对称轴的中心以及对称轴遍历的角度，如果二值化完整（即二值化像素点个数大于50），那么遍历二值化后的图片中心的[-6,6]之间的像素，遍历之间的角度，如果二值化不完全，那么遍历二值化后的图片中心的[4,4]之间的像素，遍历之间的角度。根据遍历的中心和角度，可以得到一个人脸的对称轴，将左边的点对称到右边，验证是否含有对应的点，统计这些对应点的个数。遍历所有的可能，找出对应点个数最多的那组中心和角度，得到最优的人脸对称轴的参数，如在人脸图像中的位置坐标、与竖直方向的角度；

步骤S608，根据步骤S606得到的人脸对称轴的参数，计算人脸对称轴的线性方程。

步骤S304，眼睛检测及初步定位（即上文中步骤S104的初步定位步骤），具体包括以下步骤：

S304-2，AdaBoost在人脸图像上进行初始人眼区域（即上文中的第一区域）检测，如果检测到该区域，则执行步骤S304-4，如果没有检测到，则执行步骤S304-6；

S304-4，对于AdaBoost检测得到的人眼区域，根据训练样本按照比例得到步骤S104中初步定位的人眼位置（也称人眼初始位置），如果经过步骤S302-2中判断为不反光并且不戴黑框眼镜，那么进一步通过二维圆形Gabor滤波器滤波，取滤波后响应最大的位置，作为人眼初始位置，图7是根据本发明优选实施例的二维圆形Gabor滤波器示意图。

S304-6，对于AdaBoost没有检测到人眼的人脸图像，根据步骤S302-2分为不反光和反光两种情况：1）对于不反光的情况又分为戴黑框眼镜和不带黑框眼镜（配戴普通眼镜）两种情况：对于戴黑框眼镜的人脸图像，根据眼镜的位置估计出初始人眼区域，进一步用二维圆形Gabor滤波器进行人眼初始位置的定位；对于不戴黑框眼镜的人脸图像，用模板匹配进行人眼初始位置的定位；2）对于反光的情况，直接用模板匹配进行人眼初始位置的定位。其中，图8是根据本发明优选实施例的模板匹配所用的模板示意图。

步骤S306，初步定位的调整，利用步骤S302-6中得到的人脸对称轴的参数，以及利用两眼距离和两眼所在直线与人脸对称轴之间的夹角判断初始定位的准确性，并且根据判断出来的结果对定位出的人眼初始位置进行调整，判断以及调整步骤如下：

S306-2，利用点与直线的距离公式分别计算定位出的人眼初始位置中左、右眼分别与人脸对称轴的距离left_dis和right_dis，如果||left_dis-right_dis||<T（T为设定的阈值，在本文中也称第一阈值），则认为定位出的人眼初始位置是准确的；如果||left-dis-right-dis||≥T，（T为设定的阈值），则认为定位出的人眼初始位置是错误的，执行步骤S306-6的调整；

S306-4，计算两眼所在直线与人脸对称轴之间的夹角inc-θ，如果T1<inc-θ<T2，（T1、T2为设定的阈值，在本文中也称第二阈值，且T1<90<T2），即两眼所在直线与人脸对称轴之间的夹角小于预先设定的变化范围90-T1和T2-90，则认为定位出的人眼初始位置是准确的，例如inc-θ等于90度；如果inc-θ≤T1或inc-θ≥T2，（T1、T2为设定的阈值，且T1<90<T2），则认为定位出的人眼初始位置是错误的，执行步骤S306-6的调整；

S306-6，利用人脸对称轴，将一只眼睛的坐标对称到另一边，得到另一个眼睛的坐标，实现对定位出的人眼初始位置的调整。通常90-T1等于T2-90。

步骤S308，精确定位（即上文中步骤S106和S108的再定位步骤），可以包括以下步骤：

S308-2，首先根据定位出的人眼初始位置，利用径向对称变换对人眼的睁闭状态进行检测，如果检测为是睁眼睛，则执行步骤S308-4，如果检测为闭眼睛，则执行步骤S308-6；

S308-4，如果检测为睁眼睛，根据初步定位出的人眼初始位置，进行精确定位（也称再定位），图9是根据本发明优选实施例的二值化至形态学操作后的处理效果示意图，如图9所示，精确定位可以分为以下步骤：

步骤S902，对待定位人脸图像进行预处理后并截取包含眼睛的区域eye_img进行同态滤波得到图像img_eye（也称人眼块）；

步骤S904，利用固定比例对图像img_eye进行二值化处理为eye_img_bw1；

步骤S906，利用区域生长方法再对img_eye进行处理得到eye_img_bw2；

步骤S908，对eye_img_bw2进行判断，如果瞳孔候选区域（即二值化后包含瞳孔一侧的区域，例如图9中的白色区域）的面积所占比例在一定范围内，就进行交运算：eye_img_bw=eye_img_bw1∩eye_img_bw2，否则，直接利用原来的固定比例二值化图像eye_img_bw=eye_img_bw1；得到eye_img_bw，如图9中左侧图所示；

步骤S910，利用圆盘型结构元素对eye_img_bw（如图9左侧所示）进行形态学中的先膨胀后腐蚀操作，并找到二值化图像eye_img_bw中的最大连通区域（如图9右侧所示）；

步骤S912，在具有最大连通区域的图像中，利用半径为R的圆形模板circle_temp，在图像上自左向右、自上向下的遍历，计算圆形模板在图像中的响应值，找出最大响应值即为最终的眼睛位置，其中，上述圆形模板的半径（R）可以根据步骤S304中初步定位出的人眼位置中的双眼距离确定，例如，R可以为初步定位出的人眼位置中的双眼距离的

S308-6，如果检测为闭眼睛，根据定位出的人眼初始位置，进行精确定位（也称再定位），图10是根据本发明优选实施例的闭眼精确定位的示意图，如图10所示，精确定位可以分为以下步骤：

步骤S1002，将待定位人脸图像截取的眼睛区域eye-img的灰度值归一化到[0，1]区间。将eye-img分成多个小区域，对每一个小区域，都取一定的间隔，对灰度值进行区分，计算落在每个小区域的灰度值的概率；

步骤S1004，设定从0开始的灰度值占总灰度值的比例为T_r，当符合公式时，就可以得到阈值T。利用阈值T′对图像进行二值化处理，并提取最大连通分量图像eye_img_bw（如图10左侧所示）用于定位；

步骤S1006，求取最大连通分量的重心（如图10右侧所示），即闭眼睛的位置。

步骤S310，精确定位（即再定位）准确度的判断以及修正，可以包括以下分步骤：

S310-2，根据再定位出的人眼位置截取包含左眼的区域以及包含右眼的区域，根据训练的随机森林的分类器分别计算出包含左、右眼睛区域中包含的特征与左、右眼特征相匹配的概率值，与设定的阈值T³（在本文中也称第三阈值）进行比较，如果概率值大于阈值T³，则可判断眼睛定位准确，否则认为定位错误；

S310-4，根据步骤S302-6中得到的人脸对称轴的参数，利用两眼距离和两眼所在直线与人脸对称轴之间的夹角进一步判断（具体判断方法可以同步骤S306-2、S306-4），使定位结果判断更加准确；

S310-6，根据判断最终得到三种结果：1）两只眼睛都判断为正确，进入步骤S310-8；2）判断一只眼睛正确，另一只眼睛错误，进入步骤S310-10；3）如果两只眼睛都判断错误，进入步骤S310-12；

步骤S310-8，输出眼睛坐标；

步骤S310-10，利用人脸对称轴进行调整，利用正确的一只眼睛坐标对称的得到另一只眼睛的坐标；

步骤S310-12，判定定位结果无法用于识别，进行图像的重新采集。

可以将随机森林处理后得到的定位结果作为最终的定位结果。

上述步骤S310-2具体为：根据再定位出的人眼位置截取包含左眼的区域（即第五区域）以及包含右眼的区域（即第六区域）的图像，这里截取人脸图像的比例大小和训练随机森林时截取样本的比例相同，然后分别将包含左眼的区域的图像以及包含右眼的区域的图像归一化到预设大小（如10×20）；分别将归一化后的图像送入预先训练的随机森林分类器进行识别，并根据判别函数判别再定位是否准确。随机森林的判别基于所有决策树结果的平均，计算公式为：

$P=\left(\frac{1}{N}\right)\underset{n=1}{\overset{N}{\mathrm{\&Sigma;}}}p\left(n\right)$

其中，P表示送入随机森林分类器进行识别的区域（即截取包含左眼的第五区域以及包含右眼的第六区域的图像）是眼睛的概率，即定位准确性的概率；p(n)表示随机森林中第n棵决策树对送入的归一化后的图像决策结果，或者为1或者为0；N是随机森林中决策树的个数，如N=100。当P>0.5时，则认为定位是准确的（其中，0.5相当于预设的第三阈值），否则定位不准确，需要后续的定位或者调整。获得左眼区域和右眼区域是眼睛的概率后，可以取其中一个最小的概率值作为再定位准确度概率值，即第四区域中包含的特征与人眼特征相匹配的概率值。也可以取左眼区域和右眼区域是眼睛的概率值的均值作为再定位准确度概率值，本申请对此不作限定。

随机森林的分类器的具体训练过程如下：

首先，获取正负样本。本实施例中，正样本可以是收集了6000张包含各种姿态、表情以及光照变化的人脸图像，手工标定人眼的位置，然后根据人脸图片的大小，按照比例截取出以人眼为中心的矩形区域作为正样本。负样本可以是随机选择在人眼附近截取不包括或者不完全包括人眼的矩形区域，和正样本个数可以一样，也为6000张。正负样本均归一化到10×20大小。归一化的尺寸可以由实验确定。

其次，提取正负样本的Haar特征。Haar特征是使用矩形黑色区域像素灰度值总和减去白色区域像素灰度值总和作为特征值，包括：边缘特征、线型特征、中心特征和对角线特征等。Haar特征模板可以在检测窗口内以任意尺寸、任意位置进行特征提取，每一种形态即为一个特征。为了快速的完成Haar特征的计算可以利用积分图，只需要对图像进行一次遍历计算，用相同的时间就可以计算出尺度不同的矩形特征值。

对于任何一幅灰度图像，用i(x,y)表示原图像在点(x,y)处的灰度值，ii(x,y)表示积分图像在同一点的灰度值，计算公式为其中i(x′,y′)为点(x,y)处的灰度值。引入积分图以后，可以直接用简单的加减法计算Haar特征值。

利用上述Haar特征的模板，对每个样本提取Haar特征，可以得到一个M维(如13014)的特征向量。每个样本的特征都保存下来，留作下一步随机森林的训练。

最后，训练随机森林分类器。随机森林是由一系列的单株分类器{h(X,θ_K);K=1,…}组成，其中{θ_K}是独立同分布的随机变量。在输入待分类变量X时，每一棵树只投一票给它认为最合适的类。本实施例种K=100。

一个随机森林由N棵决策树构成，决策树的每个节点都是一个弱分类器，每个决策树向下递归以获取最大深度。在训练过程中，随机森林中的每棵决策树的训练样本都是从总样本集中随机选取一个子集，并随机不重复挑选预设维数的特征向量，该树在节点通过寻找数据特征和阈值来最优划分数据到不同的类别，决策树在每个节点都选取分类效果最好的弱分类器。所有决策树的分类器构成一个随机森林分类器。

本实施例中，对于已经提取的所有样本的Haar特征，从6000个正样本和6000个负样本中随机的挑选2000个，从M（M>100）维的特征向量中随机不重复的挑选100维（相当于预设维数）的特征向量，将这2000×100样本数据送入随机森林的一棵决策树，决策树的训练就是从每个节点选取弱分类器，从中挑选对当前样本分类结果最好的一个作为该节点的弱分类器，重复以上过程，直到达到所要求的准确率或树的深度为止。重复以上决策树的训练过程（相当于{θ_K}），训练100棵树为止，这100决策棵树组成一个随机森林的分类器，每一棵决策树都是结构相同的，并且是相互独立的。根据训练样本的数量和特征数量的不同，根据实际需要可以训练任意数量的决策树，组成随机森林。

本优选实施例采用了：

1、“先判断、再分类、由粗到精”的思路进行人眼定位；

2、通过基于图像形态学以及灰度值统计的方法对眼镜以及眼镜反光的进行判断，再对人脸图像进行分类；

3、通过比较对称轴两侧对称点信息的人脸对称轴算法进行定位，实现对人眼定位准确度的判断以及调整；

4、通过机器学习算法对人眼区域进行检测，缩小定位的范围；

5、通过灰度分布以及模板匹配的进行精确再定位；

6、通过随机森林进行定位准确度的判断。

通过以上技术手段，本优选实施例以“先判断、再分类、由粗到精”的思路进行研究，这样既增加了定位的准确性和鲁棒性，又节省了定位的时间。通过测试，使用本优选实施例的方案，在CAS-PEAL-R1（中国科学院技术研究所共享人脸库）数据库上相对误差（定位出的两眼距离与标定的两眼标准距离的差与标定的两眼标准距离的比值）小于0.1的范围内达到了99.43%的定位准确率。

在另外一个实施例中，还提供了一种软件，该软件用于执行上述实施例及优选实施例中描述的技术方案。

在另外一个实施例中，还提供了一种存储介质，该存储介质中存储有上述软件，该存储介质包括但不限于光盘、软盘、硬盘、可擦写存储器等。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (13)

1.一种人眼定位方法，其特征在于，包括：

获取待定位的人脸图像中的眼镜信息；

根据所述眼镜信息初步定位所述人脸图像中的人眼位置；

根据初步定位出的所述人眼位置确定所述人脸图像中的人眼的睁闭状态；

根据所述睁闭状态再定位所述人眼位置；

其中，所述眼镜信息包括是否配戴眼镜以及配戴的眼镜类型。

2.根据权利要求1所述的方法，其特征在于，根据所述眼镜信息初步定位所述人脸图像中的人眼位置包括：

通过AdaBoost算法检测所述人脸图像中的人眼位置所在的第一区域；

在检测到所述第一区域的情况下，通过二维圆形Gabor滤波器初步定位所述人眼位置；

在未检测到所述第一区域，且所述眼镜信息为配戴眼镜的情况下，根据配戴的眼镜类型初步定位出所述人眼位置。

3.根据权利要求2所述的方法，其特征在于，所述眼镜类型包括：黑框眼镜、普通眼镜，所述根据配戴的眼镜类型初步定位出所述人眼位置的步骤包括：

判断所述眼镜是否反光；

在所述眼镜反光的情况下，根据所述人脸图像的大小按照位置关系估计所述第一区域，然后通过预设的匹配模板初步定位出所述人眼位置；

在所述眼镜未反光的情况下，在所述眼镜类型为黑框眼镜的情况下，根据所述眼镜的位置按照比例关系估计所述第一区域，然后用二维圆形Gabor滤波器定位出所述人眼位置；在所述眼镜类型为普通眼镜的情况下，根据所述人脸图像的大小按照位置关系估计所述第一区域，然后通过预设的匹配模板初步定位出所述人眼位置。

4.根据权利要求1所述的方法，其特征在于，根据所述睁闭状态再定位所述人眼位置包括：

在所述睁闭状态为睁开的情况下，对获取到的所述人脸图像根据初步定位出的所述人眼位置按照预设的第一比例截取第二区域，并对所述第二区域进行同态滤波得到第一图像；使用预设的第二比例对所述第一图像进行二值化处理得到第二图像；使用区域生长方法对所述第一图像进行处理得到第三图像；判断所述第三图像的瞳孔候选区域所占比例是否处于预设范围内；如果判断结果为处于所述预设范围内，则确定第四图像为所述第二图像与所述第三图像的瞳孔候选区域的交集部分；如果判断结果为超出所述预设范围内，则确定第四图像为所述第二图像；使用圆盘型结构元素对所述第四图像进行形态学中的先膨胀后腐蚀操作，并找到所述第四图像中的最大连通 区域；在所述最大连通区域中，使用半径为R的圆形模板进行遍历，并计算所述圆形模板的响应值，其中，R根据定位出的所述人眼位置中的双眼距离确定；确定所述圆形模板的最大响应值对应的坐标为所述人眼位置；或者，

在所述睁闭状态为闭合的情况下，将获取到的所述人脸图像根据初步定位出的所述人眼位置按照预设的第三比例截取第三区域，并对所述第三区域进行二值化处理得到第五图像；确定所述第五图像中最大连通分量的重心为所述人眼位置。

5.根据权利要求1至4中任一项所述的方法，其特征在于，在获取待定位的人脸图像中的眼镜信息之前，还包括：

将所述人脸图像进行光照处理，并缩放至预设大小；

使用Sobel算子对所述人脸图像进行滤波；

对所述人脸图像进行二值化处理；

遍历二值化后的人脸图像中所有可能的中心轴线，计算每个所述可能的中心轴线两侧含有的对应点个数，并确定所述对应点个数最多的中心轴线为所述人脸图像中的人脸对称轴。

6.根据权利要求5所述的方法，其特征在于，在根据所述眼镜信息初步定位所述人脸图像中的人眼位置之后，还包括：

判断初步定位出的所述人眼位置中的每只眼睛分别与所述人脸对称轴的距离的差值是否小于预设的第一阈值；和/或，判断初步定位出的所述人眼位置中的两眼所在直线与所述人脸对称轴之间的夹角是否小于预设的第二阈值；

在判断结果为否的情况下，获取所述人眼位置中的一只眼睛的坐标基于所述人脸对称轴的轴对称坐标，并将所述轴对称坐标作为所述人眼位置中的另一只眼睛的坐标。

7.根据权利要求5所述的方法，其特征在于，在根据所述睁闭状态再定位所述人眼位置之后，还包括：

对再定位出的所述人眼位置按照预设的第四比例截取第四区域；

根据训练的随机森林的分类器计算出所述第四区域中包含的特征与人眼特征相匹配的概率值，并将所述概率值与预设的第三阈值进行比较；

在所述概率值小于或等于所述第三阈值的情况下，判断再定位出的所述人眼位置中的每只眼睛分别与所述人脸对称轴的距离的差值是否小于预设的第一阈值；和/或，判断再定位出的所述人眼位置中的两眼所在直线与所述人脸对称轴之间的夹角是否小于预设的第二阈值；

在判断结果为否的情况下，获取所述人眼位置中的一只眼睛的坐标基于所述人脸对称轴的轴对称坐标，并将所述轴对称坐标作为所述人眼位置中的另一只眼睛的坐标。

8.根据权利要求7所述的方法，其特征在于，在根据训练的随机森林的分类器计算出所述第四区域中包含的特征与人眼特征相匹配的概率值之前，还包括：

建立人眼的样本集合，其中，所述样本集合中包括正样本和负样本，所述正样本为根据人脸图像的大小，按照预设的第五比例截取出以人眼为中心的矩形区域，负样本是随机选择在人眼附近截取的不包括或者不完全包括人眼的矩形区域；

用预先选择的Haar特征模板分别提取所述正样本和所述负样本的M维Haar特征；

随机选取所述样本集合中的多个样本，并随机不重复选取所述M维Haar特征中的预设维数特征分别用于训练弱分类器组成的随机森林中的决策树，M为正整数，且M大于所述预设维数。

9.根据权利要求8所述的方法，其特征在于，根据训练的随机森林的分类器计算出所述第四区域中包含的特征与人眼特征相匹配的概率值包括：

根据再定位出的所述人眼位置从所述第四区域中截取包含左眼的第五区域以及包含右眼的第六区域；

将所述第五区域以及所述第六区域归一化到预设大小；

将归一化后的所述第五区域以及所述第六区域送入预先训练的随机森林分类器进行识别，并根据以下判别函数分别计算出所述第五区域以及所述第六区域是眼睛的概率，进一步得到所述第四区域中包含的特征与人眼特征相匹配的概率值：

其中，P表示送入随机森林分类器进行识别的区域是眼睛的概率；p(n)表示随机森林中第n棵决策树对归一化后的区域的决策结果；N是随机森林中决策树的个数。

10.一种人眼定位装置，其特征在于，包括：

获取模块，用于获取待定位的人脸图像中的眼镜信息；

第一定位模块，用于根据所述眼镜信息初步定位所述人脸图像中的人眼位置；

确定模块，用于根据初步定位出的所述人眼位置确定所述人脸图像中的人眼的 睁闭状态；

第二定位模块，用于根据所述睁闭状态再定位所述人眼位置；

其中，所述眼镜信息包括是否配戴眼镜以及配戴的眼镜类型。

11.根据权利要求10所述的装置，其特征在于，所述第一定位模块包括：

检测单元，用于通过AdaBoost算法检测所述人脸图像中的人眼位置所在的第一区域；

定位单元，用于在检测到所述第一区域的情况下，通过二维圆形Gabor滤波器初步定位所述人眼位置；在未检测到所述第一区域，且所述眼镜信息为配戴眼镜的情况下，根据配戴的眼镜类型初步定位出所述人眼位置。

12.根据权利要求10所述的装置，其特征在于，所述第二定位模块包括：

处理单元，用于在所述睁闭状态为睁开的情况下，对获取到的所述人脸图像根据初步定位出的所述人眼位置按照预设的第一比例截取第二区域，并对所述第二区域进行同态滤波得到第一图像；使用预设的第二比例对所述第一图像进行二值处理得到第二图像；使用区域生长方法对所述第二图像进行处理得到第三图像；判断所述第三图像的瞳孔候选区域所占比例是否处于预设范围内；如果判断结果为处于所述预设范围内，则确定第四图像为所述第二图像与所述第三图像的瞳孔候选区域的交集部分；如果判断结果为超出所述预设范围内，则确定第四图像为所述第二图像；使用圆盘型结构元素对所述第四图像进行形态学中的先膨胀后腐蚀操作，并找到所述第四图像中的最大连通区域；在所述最大连通区域中，使用半径为R的圆形模板进行遍历，并计算所述圆形模板的响应值，其中，R根据初步定位出的所述人眼位置中的双眼距离确定；确定所述圆形模板的最大响应值对应的坐标为所述人眼位置；或者，

在所述睁闭状态为闭合的情况下，将获取到的所述人脸图像根据初步定位出的所述人眼位置按照预设的第三比例截取第三区域，并对所述第三区域进行二值化处理得到第五图像；确定所述第五图像中最大连通分量的重心为所述人眼位置。

13.根据权利要求10至12中任一项所述的装置，其特征在于，所述装置还包括：

预处理模块，用于将所述人脸图像进行光照处理，并缩放至预设大小；使用Sobel算子对所述人脸图像进行滤波；对所述人脸图像进行二值化处理；以及，遍历二值化后的人脸图像中所有可能的中心轴线，计算每个所述可能的中心轴线两侧含有的对应点个数，并确定所述对应点个数最多的中心轴线为所述人脸图像中的人脸对称轴；

第一校准模块，用于判断所述第一定位模块初步定位出的所述人眼位置中的每 只眼睛分别与所述人脸对称轴的距离的差值是否小于预设的第一阈值；和/或，判断初步定位出的所述人眼位置中的两眼所在直线与所述人脸对称轴之间的夹角是否小于预设的第二阈值；在判断结果为否的情况下，获取所述人眼位置中的一只眼睛的坐标基于所述人脸对称轴的轴对称坐标，并将所述轴对称坐标作为所述人眼位置中的另一只眼睛的坐标；和/或，

第二校准模块，用于对所述第二定位模块再定位出的所述人眼位置按照预设的第四比例截取第四区域；根据训练的随机森林的分类器计算出所述第四区域中包含的特征与人眼特征相匹配的概率值，并将所述概率值与预设的第三阈值进行比较；在所述概率值小于或等于所述第三阈值的情况下，判断再定位出的所述人眼位置中的每只眼睛分别与所述人脸对称轴的距离的差值是否小于预设的第一阈值；和/或，判断再定位出的所述人眼位置中的两眼所在直线与所述人脸对称轴之间的夹角是否小于预设的第二阈值；在判断结果为否的情况下，获取所述人眼位置中的一只眼睛的坐标基于所述人脸对称轴的轴对称坐标，并将所述轴对称坐标作为所述人眼位置中的另一只眼睛的坐标。