CN104091155B

CN104091155B - 光照鲁棒的虹膜快速定位方法

Info

Publication number: CN104091155B
Application number: CN201410320643.4A
Authority: CN
Inventors: 徐国庆
Original assignee: Wuhan Institute of Technology
Current assignee: Wuhan Institute of Technology
Priority date: 2014-07-04
Filing date: 2014-07-04
Publication date: 2018-05-01
Anticipated expiration: 2034-07-04
Also published as: CN104091155A

Abstract

本发明公开了一种光照鲁棒的虹膜快速定位方法，包括以下步骤：输入一幅正面人脸的自然光照照片，使用局部主动表观模型在输入的人脸图像上检测眼睛区域的位置；对眼睛区域执行边缘算子，获取眼睛区域的边缘图像，计算眼睛边缘的拟合曲线，求出眼睛的内外角点；并以眼角点的连线作为参考线，将人脸进行偏转角度校正；连接内外角点，并以连线的中心点作为起始搜索位置，搜索虹膜区域的边界；检测到的虹膜左右边界点的连线距离为虹膜的直径，连线的中心点为定位到的虹膜中心点，输出虹膜的中心点坐标和直径。本发明在使用自然光照的条件下，实现人眼中心点的定位，从而对光照和眼睑遮挡具有一定鲁棒性。

Description

光照鲁棒的虹膜快速定位方法

技术领域

本发明涉及图像处理及模式识别领域，尤其是指一种在自然光照条件下、正面人脸图像中的眼睛虹膜中心点检测定位方法。

背景技术

在自然光照下，对一般分辨率的人脸图像进行眼睛中心定位和注视方向检测在近年来逐渐成为计算机视觉和人机交互的研究热点。基于红外光源和高分辨率摄像头的眼动识别仪的虹膜检测方法，使用虹膜区域对红外光照的亮瞳特性，实现对虹膜的检测，这种方法的缺点是需要专用的红外光照设备，对光照有特殊要求。

在自然光照条件下，综合眼界局部区域的灰度等特征，使用图像的投影函数可以确定出眼睛的粗略位置，Feng G.C,Yuen P.C利用方差投影函数实现对眼睛的简单定位；耿新,周志华,陈世福比较了积分投影函数和方差投影函数的优缺点，并提出混合投影方法，实现眼睛定位；杜志军等将三种投影函数综合分析，提出了统一的投影函数法，在实验数据上，采用高分辨率图像和低分辨率图像进行测试，均获得了较好的眼睛定位精度。上述方法可以对眼睛区域的粗略位置实现定位，但是对虹膜中心点的定位一般不涉及或定位精度较低。

使用眼睛模型，Khosravi M.H,Safabakhsh R.首先利用模板匹配检测虹膜，并采用主动轮廓模型定位巩膜；考虑到人眼的虹膜部分是一个近似圆形的灰度区域，KawaguchiT,Hidaka D,Rizon M采用Hough变换对圆形特征的响应来定位眼睛也是一种常用的方法。这种方法的不足在于眼睛区域的眼睑会对虹膜产生一定的遮挡，导致虹膜区域的像素减少。使用Hough变换的前提是虹膜区域完整可见并且呈现较为规则的圆形，这一要求在通常的情况下是不满足的，因此检测的结果也会出现加大的偏差。

统计学习的方法在眼睛定位中也得到广泛使用。这些方法计算量较大，在大范围搜索时会出现计算效率较低；眼球表面灰度呈现等照度曲率分布，Roberto Valenti，TheoGevers使用等照度线投票的方法实现对眼睛中心定位和跟踪，由于眼睛的等照度线对光照具有较强的敏感性，当虹膜区域出现较为明显的高光点时，会引起较大的计算误差，而在自然条件下，眼睛的虹膜区域会出现明显的高光点，导致使用该算法的精度降低。

投影函数具有简单、计算量小的优点，能较准确地定位眼睛虹膜的位置，作为后续工作的基础，可以提供较为准确的初始定位。圆积分法在眼睛虹膜区域比较显著显示时可以获得较好的计算定位效果，但是在低分辨率的图像上，由于眼睛区域的像素较少，虹膜不十分明显，会出现较大的偏差。

发明内容

本发明要解决的技术问题在于针对现有技术中虹膜的定位偏差较大的缺陷，提供一种。

本发明解决其技术问题所采用的技术方案是：

提供一种光照鲁棒的虹膜快速定位方法，包括以下步骤：

S1、输入一幅正面人脸的自然光照照片，使用局部主动表观模型在输入的人脸图像上检测眼睛区域的位置；

S2、对眼睛区域执行边缘算子，获取眼睛区域的边缘图像，计算眼睛边缘的拟合曲线，求出眼睛的内外角点；并以眼角点的连线作为参考线，将人脸进行偏转角度校正；

S3、连接内外角点，并以连线的中心点作为起始搜索位置，分别向上方、左上方、右上方、左方、右方进行搜索，搜索虹膜区域的边界；

S4、检测到的虹膜左右边界点的连线距离为虹膜的直径，连线的中心点为定位到的虹膜中心点，输出虹膜的中心点坐标和直径。

本发明所述的方法中，步骤S1中检测眼睛区域的位置具体包括：

S11、使用Adaboost算法进行人脸检测，在检测出的人脸区域输出矩形定位结果；根据预设比例将对齐的人脸区域向外扩展；

S12、在扩展的人脸矩形内，运行局部主动表观模型算法完成对人脸上的主要特征点的对齐；

S13、在对齐的眼睛区域附近，使用局部的眼睛表观模型，进一步确定位眼睛的边界和角点特征点位置，得到人眼区域的粗略位置。

本发明所述的方法中，步骤S2具体包括：

S21、在使用主动表观模型定位的眼睛区域，提取左右眼睛区域的矩形图像；

S22、在提取的眼睛区域使用直方图均衡，滤除眼睛局部区域的高光影响；

S23、使用边缘检测算子，计算眼睛局部区域的边缘图像，在边缘图像上执行眼睛内外眼角点的拟合算法，计算在线的眼睛内外眼角点的精确位置。

S24、确定眼睛的内外眼角点的精确位置，连接左右眼睛的内外眼角，计算左右眼角点连线的中心点,作为眼睛左右中心点，以校正人脸的偏转；

S25、以左右眼睛的中心点的连线，计算其与水平直线的夹角，获得人脸在水平方向的偏转角度；

S26、使人脸向反方向旋转由S35所确定的偏转角度，对人脸进行水平偏转校正。

本发明所述的方法中，步骤S3具体为：

在矫正后的人脸上提取左右眼睛的精确区域图像，在提取的左右眼睛的局部图像上，以内外眼角点的连线中心点为起始搜索位置，分别向上方、左上方、右上方、左方、右方进行搜索，计算相邻的像素点的灰度梯度，搜索算法一直运行下去，计算灰度梯度值最大值点，该最大值点为虹膜边界点，完成搜索。

本发明所述的方法中，步骤S4包括：

S41、连接左右眼睛中的虹膜的左右边界点；将边界点连线的长度作为虹膜的直径；将边界点连线的中心点作为虹膜的中心点；

S42、输出虹膜区域的直径和中心点，完成虹膜中心点的精确定位。

本发明所述的方法中，步骤S13中，在定位眼睛边角位置时，具体将人脸区域进行肤色分割以去除人脸肤色的影响，在分割肤色的人脸上，眼睛、眉毛以及鼻孔、嘴巴区域表现为明显的二值特征，对眼睛局部区域做边缘提取，获得眼睛的边角点特征。

本发明产生的有益效果是：本方法能够较好地解决传统方法中对于上眼睑厚重、以及自然光照下眼球侧上方的高光点对定位精度的影响，在不借助红外光照仅使用自然光照的条件下，实现人眼中心点的定位，从而对光照和眼睑遮挡具有一定鲁棒性，该方法在人脸识别、人机交互，表情分析，游戏娱乐等领域具有较高的实用价值和广泛的应用前景。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例光照鲁棒的虹膜快速定位方法的整体算法流程图；

图2是本发明实施例局部表观模型的部分训练样本；

图3是本发明一个实施例中眼睛局部区域的边缘图像；

图4是本发明一个实施例中眼睛区域独立投影；

图5是本发明一个实施例中眼睛区域的投影定位结果；

图6是本发明一个实施例中人脸图像中虹膜区域的光照影响示意图；

图7是本发明一个实施例中对称边界搜索确定虹膜边缘的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明实施例光照鲁棒的虹膜快速定位方法，如图1所示，包括以下步骤：

本发明的一个较佳实施例中，步骤S1中检测眼睛区域的位置具体包括：

S11、使用Adaboost算法进行人脸检测，在检测出的人脸区域输出矩形定位结果；根据预设比例将对齐的人脸区域向外扩展，如向外扩张20％。

S13、在对齐的眼睛区域附近，使用局部的眼睛表观模型，进一步确定位眼睛的边界和角点特征点位置，得到人眼区域的粗略位置。使用局部的眼睛表观模型是在标定的眼睛局部区域的关键点的图像样本上进行分类器训练得到的识别模型，可以在人脸上对眼睛区域的关键点进行定位，考虑到全局主动表观模型是以人脸上的所有关键点的对齐作为最优解，在局部并非是最优对齐结果，因此，使用局部眼睛区域的主动表观模式可以进一步提高对眼睛的局部定位精度。

本发明的一个较佳实施例中，步骤S2具体包括：

本发明实施例中可使用canny算子计算人脸区域的边缘图像，以将上下眼睑、内外眼角点的位置进行边缘处理，在边缘图像上，使用上下眼睑的曲线拟合算法可以确定眼睛区域的上下眼睑的上下边界；使用内外眼角点区域的角点检测算法，可以准确确定内外眼角点的位置。使用该算法的优点是在初步定位的眼睛区域使用在线眼睛的边缘图像，精确定位上下眼睑和内外眼角点的位置，进一步提高定位的精度。

在线边缘图是在眼睛定位的基础上，进行边缘检测，将局部图像的上下眼睑、眼角的边缘图像输出，该步骤考虑到眼睛区域的在线纹理特征，使用边缘图像可以计算出该区域的真实的边缘，确定真正的眼睛的上下眼睑的边缘，以及真实的内外眼角点的边缘图像，因为所输出的图像是在实际图像上进行定位的，因此其精度可以在局部表观模型的基础上再次提高，在精度上比目前常用的直接使用局部表观模型定位的角点算法高。

步骤S2中对人脸图像旋转校正是考虑到人脸在自然光照采集时，一般会出现不同程度的角点偏转，而人脸上的左右眼睛的位置可以作为人脸是否出现偏转的判断依据，因此，根据眼睛的局部表观模型定位的眼睛位置，来确定人脸的校正角度可以较为准确地对偏转人脸进行旋转校正。

本发明的一个较佳实施例中，步骤S3具体为：在矫正后的人脸上提取左右眼睛的精确区域图像，在提取的左右眼睛的局部图像上，以内外眼角点的连线中心点为起始搜索位置，分别向上方、左上方、右上方、左方、右方进行搜索，计算相邻的像素点的灰度梯度，搜索算法一直运行下去，计算灰度梯度值最大值点，该最大值点为虹膜边界点，完成搜索。

本发明的一个较佳实施例中，步骤S4包括：

虹膜区域边界和中心点搜索算法是在确定眼睛的内外眼角点的基础上，考虑到眼睛区域的局部光照点一般位于眼睛区域中心点的上方，该搜索算法能够较好地避免对高光区的计算，使虹膜区域的定位精度提高，在算法上优于现有的投影算法确定眼睛中心点的方法。

本发明实施例中，需要进一步说明的是：

1、眼睛局部区域的主动表观模型定位方法

眼睛局部区域的主动表观模型定位方法是使用目前国际标准的人脸图像数据库，选区1000幅图像作为训练样本。在其中的人脸图像上的眼睛眉毛区域，釆用手工标注关键点方式标注关键点，在标注关键点时，将眼角外两侧、下方区域扩展8个关键点，一共定义54个关键点，分别表示眼睛区域的边缘角点信息，这些特征点处具有较为显著的局部特征，包括角点、边界，可以提高表观模型算法的对齐精度。图2是标注的部分训练样本。

统计形状模型用于描述一个训练集中的典型形状及典型的形状变化模式。一个形状可以用v个顶点(通常也称为关键点)的坐标组成的坐标向量表示：

s＝(x₁,y₁,x₂,y₂,Λ,x_v,y_v)^T

给定一组标记好形状的人脸训练样本，首先使用Procrustes分析的方法进行形状归一化，然后对归一化后的形状做主成份分析，即可得到这个训练集的平均形状和典型的形状变化模式。有了这些信息后，将训练集中任意一个形状表示为平均形状加上若干形状基向量的线性组合：

其中s为合成的人脸形状，s₀为人脸的平均形状参数，s_i为人脸的形状变化参数，p_i为人脸形状的控制参数。

第二步是构建训练模型的统计纹理模型，描述典型的人脸纹理及典型的纹理变化模式。将人脸训练样本按照其形状三角形网格的对应关系变形到平均人脸形状s₀对应的网格内获得每个训练样本形状无关的纹理图像，再对这些形状无关的纹理图像做主成份分析，即可得到人脸统计纹理模型：

其中A₀为平均形状，A_i为与前n个相互正交的最大本征值对应的本征向量，λ_i为表观系数。

在标注的样本集中使用内外眼角的连线作为对齐标准将眼睛样本做归一化处理。在对齐的样本区域的关键点处，计算其灰度和边缘特征，这些特征具有对光照变化不敏感的特性，可以提高算法的光照鲁棒性。

主动表观模型的求解可以用下式的最优解表示：

其中p₀是局部AAM(主动表观模型)平均形状系数，x_i是局部AAM平均形状上的关键点，p是给定点的形状参数，z_i是匹配到的关键点。可以采用Gauss-Newton优化算法求解初始形状参数p₀。取出全局AAM中与Ω对应的那些关键点，按照局部AAM关键点扩展的方法对这些点进行扩展，得到扩展后的点集。通过对这些点的拟合，得到局部AAM的初始形状参数，使用主动表观模型，可以对正面人脸中的眼睛部分进行定位。

2、眼睛局部区域的在线特征计算

表观模型是基于图像关键点处的x、y方向的梯度特征以及灰度和边缘信息，如果关键点处的上述特征不明显，则仍会出现较大的对齐误差。并且，每次计算均使用平均模板及其PCA分量进行拟合，而基于手工标点的平均模板在其形状角点处并不一定是其实际形状的角点，会使最终的形状收敛到非实际角点处。对输入的人脸图像，使用AAM对齐，获得眼睛区域的初始位置，作为精定位的搜索范围。在局部表观模型定位的眼睛区域基础上，使用在线纹理的边界、角点特征进一步精确定位眼角等关键点，使眼睛形状角点的目标点对应于实际的人脸眼角点。

2.1在线纹理特征的眼角精定位

在人脸的眼睛区域含有丰富的边(眉毛、上下眼睑、虹膜与巩膜边界)和角点(内外眼角)，而眼睛内部区域和人脸其他区域的肤色特征对比明显，为了准确定位眼睛的边角位置，将人脸区域进行肤色分割以去除人脸肤色的影响。在分割肤色的人脸上，眼睛、眉毛以及鼻孔、嘴巴区域表现为明显的二值特征，对眼睛局部区域做边缘提取，可以获得眼睛的边角点特征。将眼睛的边缘区域轮廓连接起来，这个轮廓区域和外接的矩形将作为眼睛精定位的计算依据。

对眼睛局部区域进行边缘(如图3所示)处理后，在眼角的角点处明显地看到上下眼睑的边界特征，确定眼睛内外眼角时，考虑到边界图像上眼角区域表现为上下眼睑的交点，局部近似为一个扇形区域，眼角区域可以用两个扇形区域计算积分，在计算中眼角的初始位置为使用局部AAM模型所检测的眼角位置，考虑到眼角区域的灰度边缘图像会出现较为平缓的区域，因此眼角点的搜索范围可以扩展到一个矩形区域内。使用这种方法计算眼角区域，由于借助了眼睛局部区域的先验信息，排除了非眼睛区域对于检测结果的干扰，结合眼睛在线纹理特征提取其在线边缘图，从而提高了眼角定位的精度，为下一步的眼睛区域特征点计算提供准确的定位信息。

2.2独立投影的眼睛中心检测

局部AAM表观模型定位的眼睛区域，可以确定两只眼睛的眼角位置，在此基础上可以进一步进行眼睛中心的定位。在扣取的眼睛局部区域内，通过灰度投影粗略地确定眼睛的中心位置。灰度投影在图像处理中一般用来确定灰度区域的积分特性，可以给出粗略的局部特征信息。考虑到人脸图像可能出现一定的偏转，针对脸部的面内旋转，采用眼睛区域中心点的初始定位进行人脸的偏转角度校正处理。连接内外眼角，计算其连线的中点及连线的欧式距离，以该中心点为圆心，绘制一个圆，这个圆完整地包含眼睛区域。绘制圆的外接矩形作为眼睛的局部扣取区域。使用这种扣取模型可以完整地保留眼睛的虹膜区域，在脸部发生较大的偏转时仍然可以完整地去除眼睛的局部区域图像作为进一步处理。

在对齐的人脸图像上，由于脸部的面内偏转，使两眼的中心位置不在同一水平直线上，直接使用积分投影，会在垂直方向出现重叠，使眼睛中心位置产生误差。通过对人眼区域进行分割，提取单个眼睛图像，并对其进行逐一投影，可得到比较鲁棒的定位效果，图4右图是经过分割眼睛，得到两条垂直方向的投影曲线，这两条曲线上眼睛中心处有明显的谷值，提高了眼睛定位的精度。在水平方向上，由于两眼的水平距离较远，在小范围的脸部偏转情况下，不会发生水平方向的投影曲线重叠的情况，从图4可以看出，两只眼睛的水平方向上的投影对眼睛中心的响应比较明显，结合上述的垂直方向投影函数，即可实现眼睛中心位置的定位。

为提高积分投影算法的效率，对积分图算法进行改进，在积分图的基础上，通过一次行或列操作，即可获得某列(行)上的投影值，其算法如下：

(1)对原始图像(m行，n列)计算积分图，p(i,j)是(i,j)处的灰度值：

(2)对最后一行(列)执行下述操作：

P_mi＝I_m,i-I_m,i-1,P_jn＝I_j,n-I_j-1,n

(3)P_mi,P_jn即为第i列的投影值、第j行的投影值。

图5是在眼睛区域进行投影的结果，第一行使用未加双眼区分的投影算法，第二行首先对双眼使用局部AAM进行区分，再对双眼分别在垂直、水平方向进行投影，从图可以看出，对于人脸有偏转角度情况时，使用双眼分别投影能够较为准确地实现双眼中心点的粗略定位。

2.3对称边界搜索的虹膜定位

对于人脸对象，由于受到局部光照影响，在眼睛局部区域会出现较强的反光，这给精确定位眼睛带来一定的困难。从图6可以看出，由于在一般情况下，人脸所受到的光照来自前上方，因此在虹膜区域会在中心点偏上方留下一个或多个亮斑，而中心点的下方则不会受到高光亮斑的影响，因此，本文使用基于对称边界搜索的虹膜中心检测算法，该算法从虹膜区域的中心点下方开始搜索，可以在一定程度上减少上方的光照亮斑的影响，进一步提高定位的精度。

对称边界搜索确定虹膜边界的算法如图7表示，从图7可以看出，从眼睛区域的水平投影曲线可以对虹膜的中心位置进行初始定位，连接眼角的直线将虹膜分为上下两个部分，在正立人脸、正视的情况下，虹膜的中心点位于眼角连线的上方，而虹膜的左右区域呈现对称性，因此可以利用此特征，沿着投影确定的虹膜的中心初始位置进行对称搜索，如图所示，两侧的对称方向一共选择了6个：分别为：水平向右、右上方45度、右下方45度、水平向左、左上方45度、左下方45度。其中斜向下方的两个搜索方向可以适应于虹膜中心点位于眼角连线下方的情况。虹膜中心点处向两侧搜索，搜索的方向满足：

I(P_cur)为当前像素点的灰度值，为下一个像素点处的灰度值，在两侧的各三个方向上进行搜索，最匹配点作为下一步前进的方向。权重值ω_i，ω_j是为了提高对不同搜索方向上的鲁棒性。对于一般的正视情况，上方的两个方向φ₂、φ₅的可能性最大，下方的两个方向φ₃、φ₆可能性小，对上方、水平方向、以及下方的三组方向分别赋以权重值ω为1，1.2，1.5。以向右方搜索为例，i＝1,2,3分别表示向右方、右上方、右下方搜索，具体的搜索过程如下：

令：

如果：D₁＜D₂，并且D₁＜D₃，hStep++，水平右移一步，即右方与当前点的灰度差别小于另外两个方向，因此向右方前进；

如果：D₂＜D₁，并且D₂＜D₃，hStep++,vStep--，水平右移一步，垂直上移一步，即右上方与当前点的灰度差别小于另外两个方向，因此向右上方前进；

如果：D₃＜D₁，并且D₃＜D₂，hStep++,vStep++，水平右移一步，垂直下移一步，即右下方与当前点的灰度差别小于另外两个方向，因此向右下方前进；

当上述三步均不满足，则停止搜索，输出定位结果。

每一步搜索的输出结果为前进方向和步长，其中每一步决策输出后，下一步的搜索均在此次定位点的六个方向基础上进行。对称边界搜索算法通过对虹膜区域的灰度特征进行像素搜索，可以比较好的应对虹膜局部区域的光照和遮挡影响，为虹膜区域边界点的确定提供较为鲁棒的定位输出，一般情况下眉毛等遮挡仅在虹膜的上半部分，照明引起的光斑也位于虹膜的上班部分，因此使用对称边界搜索，可以较好地避免对这部分遮挡和高光影响引起的误判。

综上，本发明能够对输入的人脸图像自动进行眼睛区域定位、自动进行偏转角度计算以及对偏转的人脸图像进行角度旋转校正；另外，本发明使用在线的眼睛区域的边缘特征计算眼睛的上下眼睑边界以及内外眼角点的位置，优于引入了在线的边缘图像，使定位的关键点的位置就是实际的眼角点和上下眼睑的边缘位置，精度高于使用表观模型的算法；以及本发明对虹膜区域的中心点的计算是通过简单的像素梯度搜索实现的，该算法实现充分考虑到虹膜区域的实际情况，实现的精度较高、算法的运行速度快。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims

1.一种光照鲁棒的虹膜快速定位方法，其特征在于，包括以下步骤：

S2、对眼睛区域执行边缘算子，以将上下眼睑、内外眼角点的位置进行边缘处理，获取眼睛区域的边缘图像，在边缘图像上，使用上下眼睑的曲线拟合算法确定眼睛区域的上下眼睑的上下边界；使用内外眼角点区域的角点检测算法，确定内外眼角点的位置；并以眼角点的连线作为参考线，将人脸进行偏转角度校正；

2.如权利要求1所述的方法，其特征在于，步骤S1中检测眼睛区域的位置具体包括：

3.如权利要求1所述的方法，其特征在于，步骤S2具体包括：

S23、使用边缘检测算子，计算眼睛局部区域的边缘图像，在边缘图像上执行眼睛内外眼角点的拟合算法，计算在线的眼睛内外眼角点的精确位置；

S26、使人脸向反方向旋转由S25所确定的偏转角度，对人脸进行水平偏转校正。

4.如权利要求1所述的方法，其特征在于，步骤S3具体为：

5.如权利要求1所述的方法，其特征在于，步骤S4包括：

6.如权利要求2所述的方法，其特征在于，步骤S13中，在定位眼睛边角位置时，具体将人脸区域进行肤色分割以去除人脸肤色的影响，在分割肤色的人脸上，眼睛、眉毛以及鼻孔、嘴巴区域表现为明显的二值特征，对眼睛局部区域做边缘提取，获得眼睛的边角点特征。