CN104063700A - 自然光照正面人脸图像中的眼睛中心点定位的方法 - Google Patents

Abstract

本发明公开了一种自然光照正面人脸图像中的眼睛中心点定位的方法，包括以下步骤：对输入的正面人脸图像，使用自动人脸检测算法，检测人脸区域；在人脸区域的矩形框内使用主动表观模型自动定位人脸上的关键点，确定眼睛区域的初步区域；在眼睛区域的初步定位的基础之上，运用眼睛局部表观模型，进一步确定眼睛定位区域；对进一步确定的眼睛定位区域进行光照处理，去除局部眼睛区域的光照影响，运用边缘算子，检测边缘特征，并使用边缘特征进行眼睛内外眼角点的精确定位；以眼睛区域的内外眼角点的连线作为计算起点，采用圆积分求梯度法计算最大相应点，该点为眼睛的中心点。本发明可实现人眼的精确定位，从而对光照和眼睑遮挡具有一定鲁棒性。

Description

自然光照正面人脸图像中的眼睛中心点定位的方法

技术领域

本发明涉及图像处理及模式识别领域，特别是基于自然光照的人脸图像中的眼睛中心点定位的方法。

背景技术

对图像或摄像头视频中的眼睛中心点进行检测和定位在计算机视觉、人机交互、安全监控、游戏娱乐等领域具有重要的应用价值。在基于自然人机交互的应用中，可以根据视频中人眼的中心点的运动来驱动交互界面相关的操作，例如移动鼠标指针、选择不同的按钮，或者在表情交互游戏中用眼睛的运动驱动一个虚拟角色的表情变化。在助残交互、互动娱乐中具有广泛的应用价值。

在自然光照下，对一般分辨率的人脸视频图像进行眼睛中心定位和注视方向检测在近年来逐渐成为计算机视觉和人机交互的研究热点。相比基于红外光源和高分辨率摄像头的眼动识别仪，具有无需特殊的外部设备、人性化、配置简单等特点。

眼睛定位针对不同的应用场合产生了诸多算法，鉴于眼睛的圆形特征，Khosravi等首先利用模板匹配检测虹膜，并采用主动轮廓模型定位巩膜，采用Hough变换对圆性特征的响应来定位眼睛也是一种常用的方法，这种方法的不足点在于需要检测对象具有较为显著的圆形特征，而人脸中的眼睛区域由于部分被遮挡，往往会导致Hough变换失效。

投影函数具有简单、计算量小的优点，能较准确地定位眼睛虹膜的位置，作为后续工作的基础，可以提供较为准确的初始定位。Zheng Z.L,Yang J,YangL.M等将人脸彩色图像分解到HSV颜色空间，利用H通道实现瞳孔的粗定位，然后使用Gabor滤波器检测左右眼角的位置。Feng G.C,Yuen P.C.等利用方差投影函数实现对眼睛的简单定位。在综合积分投影函数和方差投影函数的优点的基础上，耿新、周志华、陈世福提出了混合投影定位眼睛的方法，杜志军将三种投影函数综合分析，提出了统一的投影函数法，对高分辨率图像和低分辨率图像均获得了较好的定位精度。投影函数只考虑到图像的灰度对比，当眼睛区域出现较大的遮挡或高光亮点时，会出现较大的峰值偏差，眼睛区域由于包含上下眼睑、虹膜等高纹理对比的特征区域，可以通过投影来进行范围限定，投影函数法是广泛使用的优化方法，使用投影函数方法受到眉毛、厚眼睑遮挡的影响较大，当遮挡较为严重时，定位的误差较大。

眼球表面灰度呈现等照度曲率分布，因此Roberto Valenti使用等照度线投票的方法实现对眼睛中心定位和跟踪，由于眼睛的等照度线对线性变化的光照具有较强的鲁棒性，该算法在测试图像集上获得了较高的检测效果。该方法的缺点是当光照高光点位于眼球的上方时，定位的中心点会随之向上方移动，产生偏移。

Iain Matthews使用统计学习的方法可以在人脸的整体范围进行眼睛区域的定位，但是由于主动表观模型是基于全局最优解的，在眼睛的局部区域，其定位的精度并非为最佳位置。

发明内容

本发明针对上述的现有技术的不足，考虑到眼睛区域的遮挡、光照不均匀、眼睛区域的像素点较少等实际问题，同时考虑到在应用的计算速度的要求，实现在自然光照下的人脸图像中自动进行光照均衡处理、自动进行边缘计算以减少局部遮挡影响，并在眼睛虹膜区域的像素点较少、上眼睑对虹膜区域有遮挡的条件下，实现眼睛中心点的定位。本发明提供了一种全自动的鲁棒的自然光照正面人脸图像中的眼睛中心点定位方法。

本发明解决其技术问题所采用的技术方案是：

提供一种自然光照正面人脸图像中的眼睛中心点定位的方法，包括以下步骤：

S1、对输入的正面人脸图像，使用自动人脸检测算法，检测人脸区域；

S2、在人脸区域的矩形框内使用主动表观模型自动定位人脸上的关键点，确定眼睛区域的初步区域；

S3、在眼睛区域的初步定位的基础之上，运用眼睛局部表观模型，进一步确定眼睛定位区域；

S4、对进一步确定的眼睛定位区域进行光照处理，去除局部眼睛区域的光照影响，运用边缘算子，检测边缘特征，并使用边缘特征进行眼睛内外眼角点的精确定位；

S5、以眼睛区域的内外眼角点的连线作为计算起点，采用圆积分求梯度法计算最大相应点，该点为眼睛的中心点。

本发明所述的方法中，步骤S3具体为：

以眼睛区域的局部样本进行关键点标定，标注眉毛、上下眼睑、眼角，带入局部眼睛表观模型训练器获得局部表观模型；

在人脸中对齐的眼睛区域的粗略位置，运行局部表观模型，进一步确定眼睛的定位区域。

本发明所述的方法中，步骤S4具体包括：

S41、对眼睛局部区域进行光照均衡处理，消除左右眼睛光照不均匀问题；

S42、在眼睛局部区域使用canny算子，计算该区域的边缘特征；

S43、结合眼角点局部的边缘特征，使用扇形区域积分定位内外眼角点，实现眼睛内外角点的精确定位；

S44、结合上下眼睑的边缘特征，确定眼睛的上下边界，以在圆积分时对扇形区域进行计算。

本发明所述的方法中，步骤S5具体为：

S51、以眼睛的内外眼角点的连线作为起始计算位置，以内外眼角点连线的1/4作为最大搜索半径r，运行圆积分算法，求解每个像素点处的从1到r的圆形积分；

S52、计算相邻的半径点处的圆形积分的差的绝对值，找出绝对值最大的点；

S53、将绝对值最大的点对应的坐标点作为眼睛中心点输出。

本发明所述的方法中，若存在脸部的面内旋转，还包括步骤：

S6、对眼睛的旋转进行校正处理。

本发明所述的方法中，在运用边缘算子确定图像的边缘点时，在每一点的梯度方向上判断此点强度是否为其领域的最大值来确定该点是否为边缘点，当一个像素满足以下三个条件时，则被认为是图像的边缘点：

(1.1)该点的边缘强度大于沿该点梯度方向的两个相邻像素点的边缘强度；

(1.2)与该点梯度方向上相邻两点方向差小于45°；

(1.3)以该点为中心的3×3领域中的边缘强度极大值小于某个阈值。

本发明所述的方法中，步骤S1具体为：

利用haar特征检测输入图像中的人脸区域，在检测到的人脸区域输出矩形定位框，并将输出的矩形框以中心点为参照将区域向外扩展20％。

本发明产生的有益效果是：本发明通过主动表观模型自动定位进行眼睛区域的初步定位，再通过眼睛局部表观模型，进一步定位眼睛区域，然后对眼睛区域进行光照处理，去除局部眼睛区域的光照影响，运用边缘算子，检测边缘特征，并使用边缘特征进行眼睛内外眼角点的精确定位；最后以眼睛区域的内外眼角点的连线作为计算起点，采用圆积分求梯度法计算最大相应点，该点为眼睛的中心点。本发明可以减少眼睛区域的遮挡和光照对定位精度的影响，能够较好地解决传统的投影函数方法中对于上眼睑厚重、以及自然光照下眼球侧上方的高光点对定位精度的影响，在不借助红外光照仅使用自然光照的条件下，实现人眼的精确定位，从而对光照和眼睑遮挡具有一定鲁棒性，该方法在人脸识别、人机交互，表情分析，游戏娱乐等领域具有较高的实用价值和广泛的应用前景。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例自然光照正面人脸图像中的眼睛中心点定位算法流程图。

图2是本发明实施例中眼睛局部表观模型关键点分布。

图3是本发明实施例中定义的眼睛区域几何模型。

图4是本发明实施例中采用的眼睛位置校正图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明实施例自然光照正面人脸图像中的眼睛中心点定位方法，可结合图1所示，包括以下步骤：

S1、对输入的正面人脸图像，使用自动人脸检测算法，检测人脸区域；本发明的一个实施例中，利用haar特征检测输入图像中的人脸区域，在检测到的人脸区域输出矩形定位框，为提高算法的鲁棒性，将输出的矩形框以中心点为参照将区域向外扩展20％。

S2、在人脸区域的矩形框内使用主动表观模型自动定位人脸上的关键点，确定眼睛区域的初步区域；

S3、在眼睛区域的初步定位的基础之上，运用眼睛局部表观模型，进一步确定眼睛定位区域。该步骤可以改进目前使用的全局表观模型在局部区域的定位未必是最优解的问题，使局部眼睛区域的定位精度进一步提高。

S4、对进一步确定的眼睛定位区域进行光照处理，去除局部眼睛区域的光照影响，运用边缘算子，检测边缘特征，并使用边缘特征进行眼睛内外眼角点的精确定位；在眼睛定位的基础上进行边缘检测，将局部图像的上下眼睑、眼角的边缘图像输出，该步骤考虑到眼睛区域的在线纹理特征，使用边缘图像可以计算出该区域的真实的边缘，确定真正的眼睛的上下眼睑的边缘，以及真实的内外眼角点的边缘图像，因为所输出的图像是在实际图像上进行定位的，因此其精度可以在局部表观模型的基础上再次提高。

在边缘图像上具体可运行角点扇形区域积分，确定精确的眼角点。扇形积分算法包括在左右眼睛的内外眼角共4个区域进行计算，该算法是考虑到眼角点的边缘图像是一段扇形形状，使用扇形区域积分将扇形的起始角点作为眼角点、将扇形的角度作为眼角处上下眼睑夹角，从而实现对眼角点坐标以及眼角点处夹角的精确计算。

S5、以眼睛区域的内外眼角点的连线作为计算起点，采用圆积分求梯度法计算最大相应点，该点为眼睛的中心点。

步骤S3具体为：以眼睛区域的局部样本进行关键点标定，标注眉毛、上下眼睑、眼角，带入局部眼睛表观模型训练器获得局部表观模型；

在人脸中对齐的眼睛区域的粗略位置，运行局部表观模型，进一步确定眼睛的定位区域。

本发明的一个实施例中，步骤S4具体包括：

S41、对眼睛局部区域进行光照均衡处理，消除左右眼睛光照不均匀问题；

S42、在眼睛局部区域使用canny算子，计算该区域的边缘特征；

S43、结合眼角点局部的边缘特征，使用扇形区域积分定位内外眼角点，实现眼睛内外角点的在线精确定位；

S44、考虑到上下眼睑的遮挡，结合上下眼睑的边缘特征，确定眼睛的上下边界，以在圆积分时对扇形区域进行计算。

本发明的一个实施例中，步骤S5具体为：

S51、以眼睛的内外眼角点的连线作为起始计算位置，以内外眼角点连线的1/4作为最大搜索半径r，运行圆积分算法，求解每个像素点处的从1到r的圆形积分；

S52、计算相邻的半径点处的圆形积分的差的绝对值，找出绝对值最大的点；

S53、将绝对值最大的点对应的坐标点作为眼睛中心点输出。

需要进一步说明的是：

1、检测人脸的矩形区域，然后用主动表观模型定位人脸上的特征点的初始位置，为提高眼睛区域定位的精度，使用眼睛局部表观模型进一步定位眼睛区域。基于主动表观模型的人脸对齐算法实现了对人脸关键点的定位，由于对齐算法的目标函数是全局匹配误差最小，因此在眼睛的局部区域存在全局强约束引起的形状定位误差。为了提高眼睛局部区域定位精度，使用眼睛局部主动表观模型，其基本思想是在充分利用统计表观模型的优势，同时兼顾考虑局部部位定位精度，尽可能地保证在全局最优收敛的情况下，提高局部对齐的精度。采用如图2所示的模型对训练样本进行关键点标定，然后训练出局部眼睛主动表观模型。其模型训练过程如下：

(1)在训练样本中用v个关键点的坐标组成的坐标向量表示眼睛局部模型上的关键点：

s＝(x₁,y₁,x₂,y₂,Λ,x_v,y_v)^T

对标记好关键点位置的眼睛训练样本，首先使用Procrustes分析的方法进行形状归一化，然后对归一化后的形状做主成份分析，得到眼睛样本训练集的平均形状，训练集中任意一个眼睛形状即可以用下面的组合表示：

$s=s_0+\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{p}_i{s}_i$

s₀表示眼睛样本的平均形状为平均形状，s_i为与前n个相互正交的最大本征向量，p_i为形状系数。

(2)统计纹理模型用于描述典型的人脸纹理及典型的纹理变化模式。其构建步骤为：先将人脸训练样本按照其形状三角形网格的对应关系变形到平均人脸形状s₀对应的网格内，得到每个训练样本形状无关的纹理图像，再对这些形状无关的纹理图像做主成份分析，即可得到人脸统计纹理模型：

$A=A_0+\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{\mathrm{\λ}}_i{A}_i$

其中A₀为平均形状，A_i为与前n个最大本征值对应的本征向量，它们通常是相互正交的，λ_i为表观系数。

用眼睛区域的局部表观模型去拟合输入图像中的人脸就是要找到一组适当的纹理参数λ＝(λ₁,λ₂,Λ,λ_m)^Τ、形状参数p＝(p₁,p₂,Λ,p_n)^Τ，使合成的眼睛与眼睛图像中的相应形状无关人脸最为接近，就是最小化如下目标函数：

$\min ({\left|\right|A_0\left(x\right)-I\left(W(x,p)\right)\left|\right|}_{{\mathrm{span}\left(A_i\right)}^{\⊥}}^2+{\left|\right|A_0\left(x\right)+{\mathrm{\Σ}}_{i=1}^m{\mathrm{\λ}}_i{A}_i-I\left(W(x,p)\right)\left|\right|}_{\mathrm{span}\left(A_i\right)}^2)$

输出为眼睛局部区域的36个关键点的定位坐标。在图2中以关键点0、2、4、6构成左侧眼睛矩形区域，以关键点8、10、12、14构成右侧眼睛矩形区域，为提高算法鲁棒性，将定位的矩形区域以中心点为定点向外扩展20％的矩形区域作为眼睛区域的定位输出。

2、在提取的双侧眼睛图像上，运行边缘检测算法，对眼睛局部区域做边缘提取，可以获得眼睛的在线边角点特征，从而实现眼睛角点、边缘的精确定位。将眼睛的边缘区域轮廓连接起来作为眼睛中心点精定位的计算依据。其计算步骤如下：

(1)在边缘检测中函数中，利用高斯函数的可分性，将▽G的两个滤波卷积模板分解为两个一维的行列滤波器：

$\frac{\∂G(x,y)}{\∂x}=\mathrm{kx\; exp}(-\frac{x^2}{{2\mathrm{\σ}}^2})\exp (-\frac{y^2}{{2\mathrm{\σ}}^2})=h_1\left(x\right)h_2\left(y\right)$

$\frac{\∂G(x,y)}{\∂y}=\mathrm{ky\; exp}(-\frac{y^2}{{2\mathrm{\σ}}^2})\exp (-\frac{x^2}{{2\mathrm{\σ}}^2})=h_1\left(y\right)h_2\left(x\right)$

其中，

$h_1\left(x\right)=\sqrt{k}\mathrm{x\; exp}(-\frac{x^2}{{2\mathrm{\σ}}^2}),h_1\left(y\right)=\sqrt{k}\mathrm{y\; exp}(-\frac{y^2}{{2\mathrm{\σ}}^2}),$

$h_2\left(x\right)=\sqrt{k}\exp (-\frac{x^2}{2{\mathrm{\σ}}^2}),h_2\left(y\right)=\sqrt{k}\exp (-\frac{y^2}{{2\mathrm{\σ}}^2})$

h₁(x)＝xh₂(x),h₁(y)＝yh₂(y)。

然后把这两个模板分别与f(x,y)进行卷积，得到

$E_x=\frac{\∂G(x,y)}{\∂x}*f;E_y=\frac{\∂G(x,y)}{\∂y}*f$

令：

$A(i,j)=\sqrt{E_x^2+E_y^2},a(i,j)=\arctan \frac{E_y(i,j)}{E_x(i,j)}$

A(i,j)反映边缘强度，a(i,j)为垂直于边缘的方向。

中心边缘点为算子G_n与图像f(x,y)的卷积在边缘梯度方向上的区域中的最大值。这样，就可以在每一点的梯度方向上判断此点强度是否为其领域的最大值来确定该点是否为边缘点。当一个像素满足以下三个条件时，则被认为是图像的边缘点。

(1.1)该点的边缘强度大于沿该点梯度方向的两个相邻像素点的边缘强度；

(1.2)与该点梯度方向上相邻两点方向差小于45°；

(1.3)以该点为中心的3×3领域中的边缘强度极大值小于某个阈值。

如果(1.1)和(1.2)同时被满足，那么在梯度方向上的相邻像素就从候选边缘点中取消，条件(1.3)相当于区域梯度最大值组成的阈值图像与边缘点进行匹配，这一过程消除了许多虚假的边缘点。不容易受噪声的干扰，能够检测到真正的弱边缘。使用两种不同的阈值分别检测强边缘和弱边缘，并且仅当弱边缘与强边缘相连时，才将弱边缘包含在输出图像中，容易检测出眼睛区域真正的弱边缘。

3、对于眼睛区域的边缘图像可以用图3表示，其中的上下眼睑分别与虹膜区域相交于R、U₂、D₁、D₂，而眼角区域表现为上下眼睑的边缘交点。考虑到使用AAM可以对眼睛区域进行粗定位，可以提取其中的眼睛区域(在边界方向扩展若干像素)，并在局部区域进行眼角点检测。

确定眼睛内外眼角时，考虑到边界图像上眼角区域表现为上下眼睑的交点，结合图4，眼角区域可以用两个扇形区域计算积分，眼角处上下两个扇形区域为：

l_u:r∈[0,ρ],α∈[ψ₀,ψ₁]，

在这两个扇形区域，计算眼角边缘图像的积分：

$l_u(x,y)={\∫\∫}_{(x,y)\∈{\mathrm{\ω}}_u}I(x,y)\mathrm{dxdy}={\∫\∫}_{r\∈[0,\mathrm{\ρ}],\mathrm{\θ}\∈[{\mathrm{\ψ}}_0,{\mathrm{\ψ}}_1]}I(r,\mathrm{\θ})\mathrm{rdrd\θ}$

$l_u(x,y)={\∫\∫}_{(x,y)\∈{\mathrm{\ω}}_d}I(x,y)\mathrm{dxdy}={\∫\∫}_{r\∈[0,\mathrm{\ρ}],\mathrm{\θ}\∈[{\mathrm{\φ}}_0,{\mathrm{\φ}}_1]}I(r,\mathrm{\θ})\mathrm{rdrd\θ}$

在计算中眼角的初始位置为使用眼睛局部主动表观模型所检测的眼角位置，考虑到眼角区域的灰度边缘图像会出现较为平缓的区域，因此上式的眼角点的搜索范围可以扩展到一个矩形区域内。使用这种方法计算眼角区域，由于借助了眼睛局部区域的先验信息，排除了非眼睛区域对于检测结果的干扰，结合眼睛在线纹理特征提取其在线边缘图，从而提高了眼角定位的精度，为下一步的眼睛区域特征点计算提供准确的定位信息。

4、用眼睛局部主动表观模型定位的眼睛区域，可以确定两只眼睛的眼角位置，在此基础上可以进一步进行眼睛中心的定位。针对脸部的面内旋转，采用图4的模型对眼睛的旋转进行校正处理。

其中的A₂、B₂为两个眼角区域，0为眼睛的旋转角，眼角连线上下浮动范围取为A₁、B₁、A₃、B₃，依据定位的眼角信息，进行下述处理：

(1)连接内外眼角，计算其连线的中点M及连线的欧式距离

$M_{\mathrm{io}}=(\frac{x_i+x_o}{2},\frac{y_i+y_o}{2})$

$D_{\mathrm{io}}=\sqrt{{(x_i-x_o)}^2+{(y_i-y_o)}^2}$

(2)以M为圆心，D为直径绘制一个圆，这个圆完整地包含眼睛区域。

(3)绘制圆的外接矩形，以A₂、B₂的连线作为直径绘制一个圆，将圆周确定的外接矩形作为眼睛的局部扣取区域。使用这种扣取模型可以完整地保留眼睛的虹膜区域，在脸部发生较大的偏转时仍然可以完整地去除眼睛的局部区域图像作为进一步处理。

5、对于正面人脸的眼睛图像，要求其中的虹膜呈圆形，并且虹膜与巩膜在颜色空间具有比较明显的区分度。而在一般情况下，眼睛的虹膜区域会出现遮挡，不是一个完整的圆形，因此通过对眼睛区域的二值图像求取积分，并对积分函数计算导数，实现眼睛定位。其步骤如下：

(1)假定在(x,y)处虹膜半径值为R，考虑到虹膜区域的边缘处与周围的巩膜区域的边缘特征，使用积分梯度：

$R=\arg \underset{r}{\max }\left(\frac{d}{\mathrm{dr}}f(x,y,r)\right)$

满足上式的点即可以确定为眼睛的虹膜区域的中心点和半径:

$(x_0,y_0,R)=\arg \underset{x,y,r}{\max }\left(\frac{d}{\mathrm{dr}}f(x,y,r)\right)$

(2)使用上述算法，在眼睛的虹膜区域没有比较明显的反光时可以获得较好的定位效果，考虑眼睛区域的光照比较强，出现较为明显的反光时，在计算某一半径上的灰度积分时，同时考虑其与以前的半径搜索路径上的积分均值的差值，也就是对以前的各次积分结果进行平滑，以去除某次半径计算时高光反射点所引入的误差。进一步在公式中加入平滑项，并对平滑项和当前半径计算项取加权：

$(x,y,R)=\arg \underset{x,y,r}{\max }\{{\mathrm{\ω}}_1\left(\frac{d}{\mathrm{dr}}f(x,y,r)\right)+{\mathrm{\ω}}_2(\frac{d}{\mathrm{dr}}f(x,y,r)-\frac{1}{r-r_0}{\∫}_{r_0}^{r-1}f(x,y,r)\mathrm{dr})\}$

在一般情况下，虹膜区域会被上下眼皮所部分遮挡，其中的C区域的上边缘和D区域的下边缘可以近似看作直线，而A、B区域的两侧边缘保持为虹膜的边界区域，在眼睛正常睁开时，A、B区域的范围可以近似为：

${\mathrm{\θ}}_A=\left\{\mathrm{\ω}\right|\mathrm{\ω}\∈[\frac{3}{4}\mathrm{\π},\frac{5}{4}\mathrm{\π}]\},$ ${\mathrm{\θ}}_B=\left\{\mathrm{\ω}\right|\mathrm{\ω}\∈[-\frac{\mathrm{\π}}{4},\frac{\mathrm{\π}}{4}]\}$

在限定的眼睛两侧的扇形区域内，使用圆积分求导，可以对眼睑的遮挡有较好的适应性。

本发明可以实现对输入的人脸图像的全自动计算眼睛区域的中心点。如果输入的图像中不包含人脸图像或包含的人脸图像不是正面的，则人脸定位失败。从而实现对所有图像的自动鲁棒处理；本发明中的算法对眼睛区域的定位精度高，由于采用的多种提高定位精度的算法，可以使最终输出的眼睛区域的中心点精度比目前常见于文献中的投影函数法、肤色方法具有更高的精度；本发明的算法实现速度快，对于奔腾2.0GHz、1G内存以上的计算机，算法可以在毫秒量级完成定位过程。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (7)

1.一种自然光照正面人脸图像中的眼睛中心点定位的方法，其特征在于，包括以下步骤：

S1、对输入的正面人脸图像，使用自动人脸检测算法，检测人脸区域；

S2、在人脸区域的矩形框内使用主动表观模型自动定位人脸上的关键点，确定眼睛区域的初步区域；

S3、在眼睛区域的初步定位的基础之上，运用眼睛局部表观模型，进一步确定眼睛定位区域；

S4、对进一步确定的眼睛定位区域进行光照处理，去除局部眼睛区域的光照影响，运用边缘算子，检测边缘特征，并使用边缘特征进行眼睛内外眼角点的精确定位；

S5、以眼睛区域的内外眼角点的连线作为计算起点，采用圆积分求梯度法计算最大相应点，该点为眼睛的中心点。

2.根据权利要求1所述的方法，其特征在于，步骤S3具体为：

以眼睛区域的局部样本进行关键点标定，标注眉毛、上下眼睑、眼角，带入局部眼睛表观模型训练器获得局部表观模型；

在人脸中对齐的眼睛区域的粗略位置，运行局部表观模型，进一步确定眼睛的定位区域。

3.根据权利要求1所述的方法，其特征在于，步骤S4具体包括：

S41、对眼睛局部区域进行光照均衡处理，消除左右眼睛光照不均匀问题；

S42、在眼睛局部区域使用canny算子，计算该区域的边缘特征；

S43、结合眼角点局部的边缘特征，使用扇形区域积分定位内外眼角点，根据实时图像信息实现眼睛内外角点的精确定位；

S44、结合上下眼睑的边缘特征，确定眼睛的上下边界，以在圆积分时对扇形区域进行计算。

4.根据权利要求1所述的方法，其特征在于，步骤S5具体为：

S51、以眼睛的内外眼角点的连线作为起始计算位置，以内外眼角点连线的1/4作为最大搜索半径r，运行圆积分算法，求解每个像素点处的从1到r的圆形积分；

S52、计算相邻的半径点处的圆形积分的差的绝对值，找出绝对值最大的点；

S53、将绝对值最大的点对应的坐标点作为眼睛中心点输出。

5.根据权利要求1所述的方法，其特征在于，若存在脸部的面内旋转，还包括步骤：

S6、对眼睛的旋转进行校正处理。

6.根据权利要求1所述的方法，其特征在于，在运用边缘算子确定图像的边缘点时，在每一点的梯度方向上判断此点强度是否为其领域的最大值来确定该点是否为边缘点，当一个像素满足以下三个条件时，则被认为是图像的边缘点：

（1.1）该点的边缘强度大于沿该点梯度方向的两个相邻像素点的边缘强度；

（1.2）与该点梯度方向上相邻两点方向差小于45°；

（1.3）以该点为中心的 领域中的边缘强度极大值小于某个阈值。

7.根据权利要求1所述的方法，其特征在于，步骤S1具体为：

利用haar特征检测输入图像中的人脸区域，在检测到的人脸区域输出矩形定位框，并将输出的矩形框以中心点为参照将区域向外扩展20%。