CN105740848B - 一种基于可信度的快速人眼定位方法 - Google Patents

Abstract

本发明公开了一种基于可信度的快速人眼定位方法，包括获取人脸区域R_face，获取人眼的粗糙定位，以左眼为例说明人眼的精确定位，右眼的精确定位与左眼相同，计算左眼粗糙区域R_{left_eye}的垂直和水平梯度积分投影曲线l_left‑ver、l_left‑hor，按比例系数[β₀,β₁,…,β_N‑1]把曲线l_left‑hor划分成N段把曲线l_left‑ver划分成N段依次搜索水平积分投影子向量的最大值及其位置序号搜索垂直积分投影子向量的最大值及其位置序号根据N段水平积分子投影和垂直积分子投影的最大值位置序号和确定筛选算子Q，确定最可信的人眼坐标。本发明的基于可信度的快速人眼定位方法在基于梯度积分投影方法的基础上，做出了大量的改进，性能较好，复杂度很低，比较有利于工程实现，降低产品成本。

Description

一种基于可信度的快速人眼定位方法

技术领域

本发明属于计算机视觉与图像处理领域，具体涉及一种基于可信度的快速人眼定位方法。

背景技术

随机计算机视觉技术的快速发展，人眼定位技术已经广泛用于人脸检测与识别、虹膜识别、视线跟踪、医疗器械等领域中。

目前，主流的人眼定位算法可以分为以下几类：

1、基于边缘检测的方法

该类方法主要是通过各种技术提取虹膜或者瞳孔边缘信息，从而获取准确的眼睛位置。在文献(Kim K N,Ramakrishna R S.Vision-based eye-gaze tracking for humancomputer interface.In Preceedings of the IEEE International Conference onSystems,Man,and Cybernetics(SMC’99),1999,2:324～329)中，Kim和Ramakrishna提出了一种利用边缘检测技术获取虹膜边缘位置。在文献(Daugman J G.High confidencevisual recognition of persons by a test of statistical independence.PatternAnalysis and Machine Inteligence,IEEE Transactions on,1993,15(11):1148～1161)中，Daugman提出了一种经典的瞳孔边缘提取方法。这些边缘提取技术，极易受到眼脸、睫毛遮挡、头部姿势以及光照等因素的影响，对图像分辨率和图像质量要求很高。

2、基于训练的统计方法

该类方法根据训练样本建立分类器。常用的方法有神经网络(Reinders M J T,Koch R W C,Gerbrands J J.Locating facial facial features in image sequencesusing neural networks.In proceedings of the Second International Confernce onIEEE Automatic Face and Gesture Recognition,1996:230～235)、支持向量机(HuangJ,shao X,Wechsler H.Face pose discrimination using support vector machines(SVM).In proceedings.Fourteenth International conference on IEEE PatternRecognition,1998,1:154～156)、隐马尔科夫模型(王洪群，彭嘉雄，于秋则.采用动态HMM概率分布模型的人眼精确定位.中国图像图形学报，2006,11(001):26～32)、AdaBoost(P.Viola,M.Jones.Rapid Object Detection using a Boosted Cascade of SimpleFeatures.In Preceeding IEEE conf.on Computer Vision and Pattern Recognition,Kauai,Hawaii,USA,2001:511-518)、子空间方法(Huang W,Mariani R.Face detectionand precise eye location.In Proceedings.15th International Conference on IEEEPattern Recognition,2000,4:722～727)等。用这些方法进行人脸定位，可以获得较好的性能，但是算法复杂度太高，非常不利于工程产品开发。

3、基于投影的方法

该类方法利用人眼虹膜、巩膜、瞳孔灰度值较小以及虹膜附近灰度值变化频繁等特性，通过水平和垂直积分投影来定位人眼，例如文献：ZhouZH,GengX.ProjectionFunctions for Eye Detection.Pattern Recognition,2004,37(5):1049～1056；孟春宁.人眼检测与跟踪的方法及应用研究:[学位论文]，南开大学。但是，该方法极易受到镜框、眉毛以及多层眼皮的影响，定位性能并不突出。

发明内容

针对现有技术的不足之处，本发明的所要解决的技术问题在于提供一种基于可信度的快速人眼定位方法，可以有效消除基于梯度积分投影的方法极易受到镜框、眉毛、皱纹以及多层眼皮等因素影响的问题，性能好，复杂度很低，有利于工程实现，降低产品成本。

为了解决上述技术问题，本发明可以通过以下技术措施实现：一种基于可信度的快速人眼定位方法，包括以下步骤：

S1、从目标图片中，获取人脸区域R_face(X_face,Y_face,W_face,H_face)；

其中，X_face、Y_face分别为人脸区域R_face左上角的X、Y轴的坐标，W_face、H_face分别为人脸区域R_face的宽和高；

S2、从人脸区域R_face中，获取人眼的粗糙定位；

S3、以左眼为例说明人眼的精确定位，右眼的精确定位与左眼相同，计算左眼粗糙区域R_{left_eye}的垂直和水平梯度积分投影曲线l_left-ver、l_left-hor；

S4、按比例系数[β₀,β₁,…,β_N-1]把曲线l_left-hor划分成N段把曲线l_left-ver划分成N段比例系数[β₀,β₁,…,β_N-1]之和为1；

S5、依次搜索水平积分投影子向量的最大值记录最大值在水平积分投影向量I_hor的位置序号搜索垂直积分投影子向量的最大值及其位置序号其中i∈[0,N-1]；

S6、根据N段水平积分子投影和垂直积分子投影的最大值位置序号和i∈[0,N-1]，确定N²个人眼的候选坐标位置；

S7、确定筛选算子Q，筛选算子Q是直径等于虹膜直径r的圆形区域R_Q，虹膜直径r根据人脸检测算法、图片尺寸和人体生物特征来确定；

S8、分别计算N个候选人眼位置x轴坐标位置的可信度和N个候选人眼位置y轴坐标位置的可信度

S9、确定最可信的人眼坐标；

搜索可信度最高的x轴坐标位置和y轴坐标位置最可信的人眼坐标为

作为本发明的基于可信度的快速人眼定位方法的优选实施方式，在步骤S2中，进一步包括：

以左眼定位为例，根据所采用的人脸检测方法和人体生物特征，确定一组参数(a_eyeX,a_eyeY,a_eyeW,a_eyeH)，左眼的粗糙区域设为Rleft_eye(X_left,Y_left,W_left,H_left)：

X_left＝W_face×a_eyeX (1)

Y_left＝H_face×a_eyeY (2)

W_left＝W_face×a_eyeW (3)

H_left＝H_face×a_eyeH (4)

根据以上算式(1)-(4)得出左眼粗糙区域的坐标以及宽和高。

作为本发明的基于可信度的快速人眼定位方法的优选实施方式，所述的步骤S3中：

R_{left_eye}区域的灰度值矩阵G如下所示：

首先，分别计算左眼区域R_{left_eye}与梯度算子PL的水平卷积C_hor和垂直卷积C_ver；

其中

其中

L＝<n/100>×2+1，然后，分别计算左眼区域R_{left_eye}水平卷积C_hor的积分投影向量I′_hor和垂直卷积C_ver的积分投影向量I′_ver；

再次，获得平滑后的投影向量I_hor、I_ver，平滑算子设为O＝[1 1…1]，1的个数为N，由算式(7)、(8)计算获得投影向量I_hor、I_ver，式中运算符号<*>表示求卷积运算；

I_hor＝I′_hor*O (7)

I_ver＝I′_ver*O (8)

最后，分别把水平积分投影向量Ihor和垂直积分投影向量I_ver的离散点顺次连接成曲线l_left-hor、l_left-ver。

作为本发明的基于可信度的快速人眼定位方法的优选实施方式，所述的步骤S6中：

N²个人眼的候选坐标位置坐标集为Cd，

所述的步骤S8中，进一步包括：

对于任意一个人眼的候选坐标位置把以为中心点的筛选算子Q覆盖的区域称为把以为中心点的筛选算子Q覆盖的区域称为以人眼候选坐标Cd(4)为例进行示意，把以为中心点的筛选算子Q覆盖的区域称为候选人眼位置x轴坐标位置的可信度由式(9)计算：

候选人眼位置y轴坐标位置的可信度由式(10)计算：

其中，β可以根据经验值确定，

实施本发明的基于可信度的快速人眼定位方法的技术方案具有如下有益效果：本发明的基于可信度的快速人眼定位方法在基于梯度积分投影方法的基础上，做出了大量的改进，可以有效消除基于梯度积分投影的方法极易受到镜框、眉毛、皱纹以及多层眼皮等因素影响的问题。同时，本发明公开的一种基于可信度的人眼定位方法，性能较好，复杂度很低，比较有利于工程实现，降低产品成本。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下结合优选实施例，并配合附图，详细说明如下。

附图说明

利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制。

图1是本发明中的人眼定位的目标图片。

图2是本发明中的目标图片中的人脸区域。

图3是本发明的目标图片中的人眼粗糙区域(白色实线所示)。

图4是本发明的左眼粗糙区域的水平梯度积分投影曲线lleft-hor。

图5是本发明的左眼粗糙区域的垂直梯度积分投影曲线lleft-ver。

图6是本发明的水平和垂直梯度积分投影曲线、人眼候选位置示意图。

图7是本发明的可信度算子覆盖区域示意图。

图8是本发明的基于可信度的快速人眼定位方法流程图。

具体实施方式

下面结合附图详细说明本发明的具体实施方式，其作为本说明书的一部分，通过实施例来说明本发明的原理，本发明的其他方面、特征及其优点通过该详细说明将会变得一目了然。在所参照的附图中，不同的图中相同或相似的部件使用相同的附图标号来表示。为使本发明更加容易理解，下面将进一步阐述本发明的具体实施例。

如图1-8所示，本发明的一种基于可信度的快速人眼定位方法包括以下步骤:

S1、从目标图片中，获取人脸区域R_face(X_face,Y_face,W_face,H_face),把目标图片描述为F(X_org,Y_org,W_org,H_org)，其中，(X_org,Y_org)为坐标原点，W_org为目标图片的宽，H_org为目标图片的高，如图1所示，目标图片可以是灰度图,也可以是彩色图。本发明基于Adaboost(P.Viola,M.Jones.Rapid Object Detection using a Boosted Cascade of SimpleFeatures.Inproceeding IEEE conf.on Computer Vision and Pattern Recognition,Kauai,Hawaii,USA,2001:511-518)的人脸检测方法对目标图片进行人脸检测，检测出目标图片中的人脸区域R_face(X_face,Y_face,W_face,H_face)，其中，X_face、Y_face分别为人脸区域R_face左上角的X、Y轴的坐标，W_face、H_face分别为人脸区域R_face的宽和高，如图2中黑色实线框标注的区域。

S2、从人脸区域R_face中，获取人眼的粗糙定位，本发明以左眼定位为例进行说明，根据所采用的人脸检测方法和人体生物特征，确定一组参数(α_eyeX,α_eyeY,α_eyeW,α_eyeH)，左眼的粗糙区域设为R_{left_eye}(X_left,Y_left,W_left,H_left)：

X_left＝W_face×α_eyeX (1)

Y_left＝H_face×α_eyeY (2)

W_left＝W_face×α_eyeW (3)

H_left＝H_face×α_eyeH (4)

根据以上算式(1)-(4)得出左眼粗糙区域的坐标以及宽和高，如图3中白色实线框标注的区域。

S3、以左眼为例说明人眼的精确定位，右眼的精确定位与左眼相同，计算左眼粗糙区域R_{left_eye}的垂直和水平梯度积分投影曲线l_left-ver、l_left-hor，本发明将《孟春宁.人眼检测与跟踪的方法及应用研究:[学位论文]，南开大学》文中提出的基于不变算子的梯度积分投影人眼定位方法延伸到了垂直方向的定位中，同时，引入了平滑技术，消除了多眼皮及眼皮皱纹等因素对人眼检测性能的影响。具体如下：

以左眼粗糙区域R_{left_eye}为例加以说明，R_{left_eye}区域的灰度值矩阵G如下所示：

用行向量的形式表示灰度值矩阵G，G可以写成如下形式，

其中h_j＝[g_j0 g_j1 … g_iWleft]

用列向量的形式表示灰度值矩阵G，G可以写成如下形式，

其中

首先，分别计算左眼区域R_{left_eye}与梯度算子PL的水平卷积C_hor和垂直卷积C_ver；

其中

其中

关于梯度算子的确定方法如下：

L＝〈n/100〉×2+1，其中运算符〈〉表示对操作数进行四舍五入操作。当L＝3时，L＝[1 0 -1]。当L＝5时，L＝[1 1 0 -1 -1]。当L＝7时，[1 1 1 0 -1 -1 -1]。

然后，分别计算左眼区域R_{left_eye}水平卷积C_hor的积分投影向量I′_hor和垂直卷积C_ver的积分投影向量I′_ver；

再次，获得平滑后的投影向量I_hor、I_ver，平滑算子设为O＝[1 1…1]，1的个数为N，由算式(7)、(8)计算获得投影向量I_hor、I_ver，式中运算符号<*>表示求卷积运算；

I_hor＝I′_hor*O (7)

I_ver＝I′_ver*O (8)

最后，分别把水平积分投影向量I_hor和垂直积分投影向量I_ver的离散点顺次连接成曲线l_left-hor、l_left-ver，如图4、图5所示。

S4、按比例系数[β0,β1,…,βN-1]把曲线l_left-hor划分成N段把曲线l_left-ver划分成N段比例系数[β₀,β₁,…,β_N-1]之和为1，如图6所示，在图6中，N设为3。

S5、依次搜索水平积分投影子向量的最大值记录最大值在水平积分投影向量I_hor的位置序号搜索垂直积分投影子向量的最大值及其位置序号其中i∈[0,N-1]，位置序号和i∈[0,N-1]，在图6中用符号标出。

S6、根据N段水平积分子投影和垂直积分子投影的最大值位置序号和i∈[0,N-1]，确定N²个人眼的候选坐标位置；所述N²个人眼的候选坐标位置坐标集为Cd，在图6中用符号标出，

S7、确定筛选算子Q，筛选算子Q是直径等于虹膜直径r(像素个数)的圆形区域R_Q，虹膜直径r根据人脸检测算法、图片尺寸和人体生物特征来确定。

S8、分别计算N个候选人眼位置x轴坐标位置的可信度和N个候选人眼位置y轴坐标位置的可信度对于任意一个人眼的候选坐标位置把以为中心点的筛选算子Q覆盖的区域称为把以为中心点的筛选算子Q覆盖的区域成为在图7中，以人眼候选坐标Cd(4)为例进行示意，把以为中心点的筛选算子Q覆盖的区域称为候选人眼位置x轴坐标位置的可信度由式(9)计算：

候选人眼位置y轴坐标位置的可信度由式(10)计算：

其中，β可以根据经验值确定，

S9、确定最可信的人眼坐标，搜索可信度最高的x轴坐标位置和y轴坐标位置最可信的人眼坐标为

本发明的基于可信度的快速人眼定位方法在基于梯度积分投影方法的基础上，做出了大量的改进，可以有效消除基于梯度积分投影的方法极易受到镜框、眉毛、皱纹以及多层眼皮等因素影响的问题。如图6所示，如果按照文献(孟春宁.人眼检测与跟踪的方法及应用研究:[学位论文]，南开大学)提出的基于梯度积分投影方法，那么定位的人眼位置应该是Cd(7)，显然出错。同时，本发明公开的一种基于可信度的人眼定位方法，性能较好，复杂度很低，比较有利于工程实现，降低产品成本。

最后所应当说明的是，以上实施例仅用以说明本发明的技术方案而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (5)

1.一种基于可信度的快速人眼定位方法，其特征在于，包括以下步骤：

S1、从目标图片中，获取人脸区域R_face(X_face,Y_face,W_face,H_face)；

其中，X_face、Y_face分别为人脸区域R_face左上角的X、Y轴的坐标，W_face、H_face分别为人脸区域R_face的宽和高；

S2、从人脸区域R_face中，获取人眼的粗糙定位；

S3、以左眼为例说明人眼的精确定位，右眼的精确定位与左眼相同，计算左眼粗糙区域R_{left_eye}的垂直和水平梯度积分投影曲线l_left-ver、l_left-hor；

S4、按比例系数[β₀,β₁,…,β_N-1]把曲线l_left-hor划分成N段把曲线l_left-ver划分成N段比例系数[β₀,β₁,…,β_N-1]之和为1；

S5、依次搜索水平积分投影子向量的最大值记录最大值在水平积分投影向量I_hor的位置序号搜索垂直积分投影子向量的最大值及其位置序号其中i∈[0,N-1]；

S6、根据N段水平积分子投影和垂直积分子投影的最大值位置序号和i∈[0,N-1]，确定N²个人眼的候选坐标位置；

S7、确定筛选算子Q，筛选算子Q是直径等于虹膜直径r的圆形区域R_Q，虹膜直径r根据人脸检测算法、图片尺寸和人体生物特征来确定；

S8、分别计算N个候选人眼位置x轴坐标位置的可信度和N个候选人眼位置y轴坐标位置的可信度

S9、确定最可信的人眼坐标；

搜索可信度最高的x轴坐标位置和y轴坐标位置最可信的人眼坐标为

2.根据权利要求1所述的基于可信度的快速人眼定位方法，其特征在于，在步骤S2中，进一步包括：

以左眼定位为例，根据所采用的人脸检测方法和人体生物特征，确定一组参数(a_eyeX,a_eyeY,a_eyeW,a_eyeH)，左眼的粗糙区域设为R_{left_eye}(X_left,Y_left,W_left,H_left)：

X_left＝W_face×a_eyeX (1)

Y_left＝H_face×a_eyeY (2)

W_left＝W_face×a_eyeW (3)

H_left＝H_face×a_eyeH (4)

根据以上算式(1)-(4)得出左眼粗糙区域的坐标以及宽和高。

3.根据权利要求1所述的基于可信度的快速人眼定位方法，其特征在于，所述的步骤S3中：

R_{left_eye}区域的灰度值矩阵G如下所示：

首先，分别计算左眼区域R_{left_eye}与水平卷积梯度算子P_L的水平卷积C_hor和垂直卷积梯度算子P’_L的垂直卷积C_ver；

其中

其中

L＝<n/100>×2+1，然后，分别计算左眼区域R_{left_eye}水平卷积C_hor的积分投影向量I′_hor和垂直卷积C_ver的积分投影向量I′_ver，其中运算符<>表示对操作数进行四舍五入；

再次，获得平滑后的投影向量I_hor、I_ver，平滑算子设为O＝[1 1…1]，1的个数为N，由算式(7)、(8)计算获得投影向量I_hor、I_ver，式中运算符号<*>表示求卷积运算；

I_hor＝I′_hor*O (7)

I_ver＝I′_ver*O (8)

最后，分别把水平积分投影向量I_hor和垂直积分投影向量I_ver的离散点顺次连接成曲线l_left-hor、l_left-ver。

4.根据权利要求1所述的基于可信度的快速人眼定位方法，其特征在于，所述的步骤S6中：

N²个人眼的候选坐标位置坐标集为Cd，

5.根据权利要求1所述的基于可信度的快速人眼定位方法，其特征在于，所述的步骤S8中，进一步包括：

对于任意一个人眼的候选坐标位置把以为中心点的筛选算子Q覆盖的区域称为把以为中心点的筛选算子Q覆盖的区域称为以人眼候选坐标Cd(4)为例进行示意，把以为中心点的筛选算子Q覆盖的区域称为候选人眼位置x轴坐标位置的可信度由式(9)计算：

候选人眼位置y轴坐标位置的可信度由式(10)计算：

其中，β可以根据经验值确定，