CN100336071C - 复杂背景图像中鲁棒的眼睛精确定位方法 - Google Patents

Abstract

复杂背景下的眼睛精确定位技术属于人脸识别领域。其特征在于，提出了一种性能鲁棒的复杂背景下图像中的眼睛精确定位方法。它采用高效率和高冗余度的微结构特征来表达眼睛模式局部和全局区域的灰度分布特点；并采用AdaBoost算法从中选择出最具有区分的微结构特征构成强分类器，综合考虑了局部特征以及能够表达这种约束关系的全局特征得到更鲁棒的定位效果。从而以更简单的结构实现复杂背景图像下更高性能的的双眼定位；在多个公开数据库上以及竞赛评测的结果证明了本发明的优异性能。

Description

复杂背景图像中鲁棒的眼睛精确定位方法

技术领域

复杂背景图像中眼睛定位方法属于人脸识别技术领域。

背景技术

本发明提出的方法所要解决的问题是得到人脸位置信息后进行的眼睛精确定位问题。眼睛精确定位是人脸信息处理的一项关键技术，广泛应用于人脸识别、人机交互、智能人机接口等系统中。复杂背景下眼睛精确定位也是一个极具挑战性的问题。这除了是由于光照、尺寸、姿态、平面旋转、图像质量等因素给眼睛外观带来复杂的变化外，眼睛的开闭、眼镜的反光、头发和镜框的遮挡等也给眼睛的精确定位带来很多困难；特别是在眼睛闭合的情况下，眉毛以及粗镜框都会给眼睛定位带来较大干扰。

目前提出的眼睛精确定位主流方法是基于启发式规则的方法。这类方法主要是根据眼睛的先验知识来制定定位规则。这些先验知识包括器官分布知识、形状知识、颜色知识、物理特性等。这类方法一般适应外界变化的能力较差，往往只能处理器官的一种或几种变化，稳定性和精度与实际应用的要求还有差距。造成这个现象的原因主要是它们仅考虑了器官的局部外观，而没有考虑器官与邻近区域或器官间的约束关系。这样当脸部存在与目标器官外观相似的物体时，就会给定位带来影响。比如眼睛闭合时的外观与眉毛、粗镜框很相似。所以要综合考虑器官局部特征以及能够表达这种约束关系的全局特征才能获得更鲁棒的定位效果。

本发明在全面细致考察眼睛定位问题特点的基础上，提出了基于全局和局部特征相结合的眼睛精确定位方法，可以鲁棒地实现复杂背景下高性能的眼睛精确定位，这是目前所有其他文献里没有使用过的方法。

发明内容

本发明的目的在于实现一个能在各种环境下稳定精确地定位人脸双眼中心的方法。它包括训练和检测两个阶段。

在训练阶段，首先采集大量样本，即采用人手工标定的方法，从人脸图像中收集训练样本，然后对样本进行归一化处理。利用采集到的训练样本，进行特征抽取，得到训练样本的特征库。在特征库的基础上，通过实验确定分类器的参数，训练得到眼睛定位分类器。

在检测阶段，对一张输入的人脸图像区域I(x，y)，0≤x＜W_face，0≤y＜H_face，首先估计左右人眼可能存在的区域，然后在两个区域中穷举判断所有的小窗口(定义小窗口为输入图像中的一个矩形区域子图像)，对每一个小窗口抽取特征，然后使用单眼检测器进行判断，从而得到区域中所有人眼候选位置；然后将左右眼睛候选结合起来利用全局性质从中选择出最佳组合方式，定位得到眼睛的最终位置。由此可以得到极好的眼睛定位准确率。该方法已经应用于一个基于人脸的考勤签到系统。

本发明由以下几部分组成：样本采集与归一化、利用投影函数估计左右眼睛所在区域、单眼检测器的训练、眼睛对检测器的训练(如图4)。以下进行详细介绍。

1.样本采集与归一化

1.1样本的采集

为训练单眼检测器，采用人手工标定的方法，从人脸图片中切割出单只眼睛图像，并从人脸图像非眼睛部位随机割取非眼睛样本。单只眼睛图像和非眼睛图像分别作为正例样本和反例样本用于训练单眼检测器。共收集到6800个眼睛样本，随机选择70000张非眼睛样本。一些训练样本如图3(a)所示。

另外为训练眼睛对检测器，还根据人手工标定的眼睛位置，按照图10所示的比例从人脸图像中剪裁得到眼睛对样本，并从人脸图像中随机割取非眼睛对样本。眼睛对图像和非眼睛对图像分别作为正例样本和反例样本用于训练单眼检测器。一些采集到的样本如图3(b)示。这样采集到的样本不只包括两只眼睛还包括眉毛、鼻子等部位，体现了眼睛与周围器官的约束关系。

1.2尺寸归一化

将收集好的各尺寸的样本图像(包括单眼和非单眼、眼睛对和非眼睛对图像)归一化为指定尺寸。设原始样本图像为[F(x，y)]_M×N，图像宽度为M，高度为N，图像位于第x行第y列的象素点的值为F(x，y)(0≤x＜M，0≤y＜N)；设尺寸归一化后图像为[G(x，y)]_W×H，图像宽度为W，高度为H，实验中对单眼样本取W＝24，H＝12，对眼睛对样本取W＝25，H＝15。这样尺寸归一化可以看成是将源图像点阵[F(x，y)]_M×N映射成目标图像点阵[G(x，y)]_W×H的过程。本发明使用反向投影和线性插值将原始样本图像变换到标准尺寸样本图像，则输入图像[F(x，y)]_M×N与归一化后图像[G(x，y)]_W×H之间的对应关系为：

                               G(x，y)＝F(x/r_x，y/r_y)

其中r_x和r_y分别为x和y方向的尺度变换因子：r_x＝N/H，r_y＝M/W。

根据上式，输出图像点阵中的点(x，y)对应于输入图像中的点(x/r_x，y/r_y)。由于x/r_x、y/r_y的取值一般不为整数，故需要根据附近已知离散点处的值来估计F(x/r_x，y/r_y)的取值。根据线性插值方法，对于给定(x，y)，令：

$\left\{\begin{array}{c}x/r_x=x_0+{\mathrm{\&Delta;}}_x\\ y/r_y=y_0+{\mathrm{\&Delta;}}_y\end{array},0\&le;{\mathrm{\&Delta;}}_x,{\mathrm{\&Delta;}}_y<1\right.$

其中： $\left\{\begin{array}{cc}{x}_0=[x/r_x],& {\mathrm{\&Delta;}}_x=x/r_x-x_0\\ y_0=[y/r_y],& {\mathrm{\&Delta;}}_y=y/r_y-y_0\end{array}\right.,$ [·]为取整函数。插值过程可表示为：

G(x，y)＝F(x₀+Δ_x，y₀+Δ_y)＝F(x₀，y₀)Δ_xΔ_y+F(x₀+1，y₀)(1-Δ_x)Δ_y

+F(x₀，y₀+1)Δ_x(1-Δ_y)+F(x₀+1，y₀+1)(1-Δ_x)(1-Δ_y)

1.3灰度归一化

由于外界光照、成像设备等因素可能导致图像亮度或对比度异常，出现强阴影或反光等情况。所以还需要对几何归一化后的样本进行灰度均衡化处理，改善其灰度分布，增强模式间的一致性。本发明采用灰度均值、方差归一化对样本进行灰度均衡化处理，将样本图片灰度的均值μ和方差σ调整到给定值μ₀和σ₀。

首先采用下式计算样本图像G(x，y)(0≤x＜W，0≤y＜H)的均值和方差：

$\stackrel{\&OverBar;}{\mathrm{\&mu;}}=\frac{1}{\mathrm{WH}}\underset{y=0}{\overset{H-1}{\mathrm{\&Sigma;}}}\underset{x=0}{\overset{W-1}{\mathrm{\&Sigma;}}}G(x,y)$

$\stackrel{\&OverBar;}{\mathrm{\&sigma;}}=\sqrt{\frac{1}{\mathrm{WH}}\underset{y=0}{\overset{H-1}{\mathrm{\&Sigma;}}}\underset{x=0}{\overset{W-1}{\mathrm{\&Sigma;}}}{(G(x,y)-\stackrel{\&OverBar;}{\mathrm{\&mu;}})}^2}$

然后对每个像素点的灰度值进行如下变换：

$I(x,y)=\frac{{\mathrm{\&sigma;}}_0}{\stackrel{\&OverBar;}{\mathrm{\&sigma;}}}(G(x,y)-\stackrel{\&OverBar;}{\mathrm{\&mu;}})+{\mathrm{\&mu;}}_0$

从而将图像灰度的均值和方差调整到给定值μ₀和σ₀，完成样本的灰度归一化。

2.估计左右眼睛所在的矩形区域Ω_lefteye和Ω_righteye

本发明使用人脸图像竖直方向投影的均值、方差函数来确定Ω_lefteye和Ω_righteye在水平方向上的分界线，然后根据从训练样本中统计到的眼睛在人脸区域竖直方向上的分布规律，确定Ω_lefteye和Ω_righteye的上下边界，从而估计出Ω_lefteye和Ω_righteye。

2.1竖直方向投影函数

对于灰度图像I(x，y)(0≤x，0≤y)，则[y₁，y₂]和[x₁，x₂]区域内竖直方向投影的均值函数MPF_v(x)和方差函数VPF_v(x)定义为：

$\mathrm{MP}{F}_v\left(x\right)=\frac{1}{y_2-y_1}\underset{y=y_1}{\overset{y_2}{\mathrm{\&Sigma;}}}I(x,y)$

$\mathrm{VP}{F}_v\left(x\right)=\sqrt{\frac{1}{y_2-y_1}\underset{y=y_1}{\overset{y_2}{\mathrm{\&Sigma;}}}[I(x,y)-\mathrm{MP}{F}_v\left(x\right){]}^2}$

MPF_v(x)、VPF_v(x)刻画了图像在竖直方向的平均亮度及亮度的变化程度。

2.2利用投影函数确定眼睛区域

由于人脸区域中额头、鼻梁竖直方向的平均亮度一般比眼睛区域竖直方向的平均亮度高，而竖直方向上的变化却不如眼睛区域的变化剧烈。所以取检测到的人脸区域的上半部分，其垂直方向灰度投影的均值函数与方差函数的比值

在鼻梁附近会存在一个明显的峰值，以此峰的位置作为左右两眼所在区域的竖直分界线，如图5(b)示。有：

$x_{\mathrm{peak}}=\underset{0\&le;x<W_{\mathrm{face}}}{\arg \max }\frac{\mathrm{MP}{F}_v\left(x\right)}{\mathrm{VP}{F}_v\left(x\right)}$

Ω_lefteye、Ω_righteye的上下边界则可以利用人脸样本中眼睛在竖直方向的分布位置统计出来。由以上得到：Ω_lefteye＝[0，0.05H_face；x_peak，0.45H_face]，其中(0，0.05H_face)为区域左上角位置，(x_peak，0.45H_face)为区域右下角位置；Ω_righteye＝[x_peak，0.05H_face；W_face，0.45H_face]；H_face为统计得到的人脸高度，x_peak为所达峰值处的x值。

3.单眼检测器的训练

在Ω_lefteye、Ω_righteye两个区域中分别使用单眼检测器检测给出左右眼睛20个候选位置，并估计出每个候选位置的置信度。

单眼检测器的训练使用归一化后的单眼睛样本和非眼睛样本的微结构特征库，利用AdaBoost算法训练得到单只眼睛检测器；其具体训练过程如下：

3.1特征提取

本发明采用图6中的五种类型微结构模板来提取单眼睛和非单眼样本的高维微结构特征：每一种微结构特征通过计算模板所覆盖图像中黑色区域和白色区域内像素灰度和的差值来得到，并且模板相对于图像的位置以及模板的尺寸可以改变。具体特征提取方式如下：

定义S(x₁，y₁；x₂，y₂)为区域(x₁≤x′≤x₂，y₁≤y′≤y₂)内的像素灰度和

$S(x_1,y_1;x_2,y_2)=\underset{x_1\&le;x^{\&prime;}\&le;x_2}{\mathrm{\&Sigma;}}\underset{y_1\&le;y^{\&prime;}\&le;y_2}{\mathrm{\&Sigma;}}I(x^{\&prime;},y^{\&prime;})$

设微结构模板左上角的像素坐标为(x，y)，则如图4所示五种类型微结构(前四种微结构中黑色区域与白色面积相等，第五种类型微结构中黑色区域在白色区域中的分布对称)分别为：

(a)：S(x，y；x+w-1，y+h-1)-S(x+w，y；x+2w-1，y+h-1)

(b)：S(x，y；x+w-1，y+h-1)-S(x，y+h；x+w-1，y+2h-1)

(c)：2S(x+w，y；x+2w-1，y+h-1)-S(x，y；x+3w-1，y+h-1)

(d)：S(x，y；x+2w-1，y+2h-1)-2S(x，y；x+w-1，y+h-1)-

-2S(x+w，y+h；x+2w-1，y+2h-1)

(e)：S(x，y；x+w-1，y+h-1)-S(x+2，y+2；x+w-3，y+h-3)

由于每一种特征提取只涉及到矩形区域中像素和的计算问题，所以可以利用整幅图像的积分图像(Integral Image)快速得到任意尺度、任意位置的一种微结构特征。

3.1.1积分图像的快速计算

对于一个图像I(x，y)，(x≥0，y≥0)，定义其对应的积分图像II(x，y)为从(0，0)到(x，y)范围内的所有像素之和，即 $\mathrm{II}(x,y)=\underset{0\&le;x^{\&prime;}\&le;x}{\mathrm{\&Sigma;}}\underset{0\&le;y^{\&prime;}\&le;y}{\mathrm{\&Sigma;}}I(x^{\&prime;},y^{\&prime;}),$ 并且定义II(-1，y)＝0，II(x，-1)＝0。

由此有：

S(x₁，y₁；x₂，y₂)＝II(x₂，y₂)+II(x₁-1，y₁-1)-II(x₂，y₁-1)-II(x₁-1，y₂)。

即原始图像I(x，y)中任何一个矩形区域中的像素和S(x₁，y₁；x₂，y₂)通过积分图经3次加减法可以计算出；

同样定义平方积分图像SqrII(x，y)为从(0，0)到(x，y)范围内的所有像素平方之和，即 $\mathrm{SqrII}(x,y)=\underset{0\&le;x^{\&prime;}\&le;x}{\mathrm{\&Sigma;}}\underset{0\&le;y^{\&prime;}\&le;y}{\mathrm{\&Sigma;}}I(x^{\&prime;},y^{\&prime;})\&CenterDot;I(x^{\&prime;},y^{\&prime;}).$ 其中SqrII(-1，y)＝0，SqrII(x，-1)＝0。

平方积分图像可用于计算每个矩形区域的方差(见3.1.3节)。

3.1.2微结构特征的快速提取

由于每一种特征提取只涉及到矩形区域中像素和的计算问题，所以以上任意一种微结构特征可以通过积分图像若干次加减快速计算出，其中第(a)种类型微结构特征的计算公式(图7所示)

g(x，y，w，h)＝2·II(x+w-1，y-1)+II(x+2·w-1，y+h-1)

             +II(x-1，y+h-1)-2·II(x+w-1，y+h-1)

            -II(x+2·w-1，y-1)-II(x-1，y-1)

第(b)种类型微结构特征：

g(x，y，w，h)＝2II(x+w-1，y+h-1)+II(x-1，y-1)-II(x+w-1，y-1)

           -2II(x-1，y+h-1)-II(x+w-1，y+2h-1)+II(x-1，y+2h-1)

第(c)种类型微结构特征：

g(x，y，w，h)＝2II(x+2w-1，y+h-1)+2II(x+w-1，y-1)-2II(x+2w-1，y-1)

         -2II(x+w-1，y+h-1)-II(x+3w-1，y+h-1)-II(x-1，y-1)

         +II(x-1，y+h-1)+II(x+3w-1，y-1)

第(d)种类型微结构特征：

g(x，y，w，h)＝-II(x-1，y-1)-II(x+2w-1，y-1)-II(x-1，y+2h-1)

     -4II(x+w-1，y+h-1)+2II(x+w-1，y-1)+2II(x-1，y+h-1)

     -II(x+2w-1，y+2h-1)+2II(x+2w-1，y+h-1)+2II(x+w-1，y+2h-1)

第(e)种类型微结构特征：

g(x，y，w，h)＝II(x+w-1，y+h-1)+II(x-1，y-1)-II(x+w-1，y-1)-II(x-1，y+h-1)

-II(x+w-3，y+h-3)-II(x+1，y+1)+II(x+1，y+h-3)+II(x+w-1，y+1)

改变参数x，y，w，h可以提取不同位置、不同尺度的特征。对于尺寸归一化为24×12像素的人眼模式，共得到42727个特征，组成该样本的特征矢量 FV(j)，1≤j≤42727。

3.1.3特征的归一化

为了减轻光照对于单眼检测的影响，需要对每一个24×12像素样本图像进行灰度均值和方差的归一化，所以首先要快速计算出小窗口的均值 μ和方差 σ，然后对每一维特征进行归一化，其中的24×12像素小窗口区域(x₀≤x′≤x₀+23，y₀≤y′≤y₀+11)内的像素灰度和的 μ和σ分别为(如图7所示)

μ＝[II(x₀+23，y₀+11)+II(x₀-1，y₀-1)-II(x₀-1，y₀+11)-II(x₀+23，y₀-1)]/288

      σ＝{[SqrII(x₀+23，y₀+11)+SqrII(x₀-1，y₀-1)-SqrII(x₀-1，y₀+11)

         -SqrII(x₀+23，y₀-1)]/288- μ²}^1/2

对每一维微结构特征可以进行如下的归一化：

$\mathrm{FV}\left(j\right)=\frac{{\mathrm{\&sigma;}}_0}{\stackrel{\&OverBar;}{\mathrm{\&sigma;}}}\stackrel{\&OverBar;}{\mathrm{FV}}\left(j\right)$

对于一个24×12像素的样本图像，共得到42727维微结构特征FV(j)，1≤j≤42727。

3.2特征选择和分类器设计

为达到足够快的检测速度，一个单眼检测器必须采用分层结构(如图8所示)，由多层结构从简单到复杂的强分类器级联起来构成。先由结构简单的强分类器排除掉图像中的背景窗口，然后由结构复杂的强分类器对余下窗口进行判断(此处的强分类器是指在训练集上达到足够高性能的分类器；下文中的弱分类器是指在训练集上错误率略低于0.5的分类器)。

本发明使用AdaBoost算法选择特征和训练分类器。一方面AdaBoost算法在每轮迭代中选择出性能最好的基于单个特征的弱分类器，达到特征选择的目的；另一方面把这些弱分类器集成为一个强分类器，并通过将多个强分类器级联起来得到一个性能优秀的眼睛检测器。具体来说，包括以下几个组成部分：

3.2.1弱分类器的构造

本发明中弱分类器是使用一维特征构造的树分类器：

$h_j\left(\mathrm{sub}\right)=\left\{\begin{array}{cc}1,& \mathrm{if}{g}_j\left(\mathrm{sub}\right)<{\mathrm{\&theta;}}_j\mathrm{or}{g}_i\left(\mathrm{sub}\right)>{\mathrm{\&theta;}}_j\\ 0,& \mathrm{otherwise}\end{array}\right.$

其中sub是一个24×12像素的样本，g_j(sub)表示从该样本提取得到的第j个特征，θ_j是第j个特征对应的判决阈值，h_j(sub)表示使用第j个特征构造的树分类器的判决输出。这样每个弱分类器只需要比较一次阈值就可以完成判决；共可得到42727个弱分类器。

3.2.2基于AdaBoost算法的眼睛/非眼睛强分类器设计

将CS-AdaBoost算法结合上述弱分类器构造方法用于训练眼睛/非眼睛强分类器。训练步骤如下(记训练样本集L＝{(sub_i，l_i)}，i＝1，...，n，l_i＝0，1是样本图像sub_i的类别标号，分别对应非眼睛类别和眼睛类别，其中眼睛样本n_eye个，非眼睛样本n_noneye个)：

3.2.2.1参数的初始化

训练样本误分类风险的初始化。对于每个眼睛样本的误分类风险 $C\left(i\right)=\frac{2c}{c+1},$ 对每个非眼睛样本的误分类风险 $C\left(i\right)=\frac{2}{c+1}$ (c是眼睛类别是非眼睛类别的误分类风险倍数，c值应大于1且随着强分类器层数的增多逐渐减小接近于1，具体选择值见表1)；

训练样本权重的初始化。初始每个样本的权重为 $D_1\left(i\right)=\frac{1}{n};$

选择迭代次数T(T即为希望使用的弱分类器的个数)，T应随着强分类器层数的增多逐渐增多，具体选择值见表1；

统计样本集上每个特征分布的极大值Fmax(j)和极小值Fmin(j)(其中j为特征序号，1≤j≤42727)： $F\max \left(j\right)=\underset{1\&le;i\&le;n}{\max }F{V}_i\left(j\right),F\min \left(j\right)=\underset{1\&le;i\&le;n}{\min }F{V}_i\left(j\right);$

3.2.2.2重复以下过程T次(t＝1，...，T)：

a.)使用第j个特征(1≤j≤42727)构造弱分类器h_j，然后在Fmin(j)和Fmax(j)间穷举搜索阈值参数θ_j，使得h_j的错误率ε_j最小，定义 ${\mathrm{\&epsiv;}}_j=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{D}_t\left(i\right)\&CenterDot;|h_j\left(\mathrm{su}{b}_i\right)-l_i|;$

b.)令 ${\mathrm{\&epsiv;}}_t=\underset{1\&le;j\&le;42727}{\arg \min }{\mathrm{\&epsiv;}}_j,$ 并将其对应的弱分类器作为h_t；

c.)计算参数 ${\mathrm{\&alpha;}}_t=\frac{1}{2}\ln \left(\frac{1-{\mathrm{\&epsiv;}}_t}{{\mathrm{\&epsiv;}}_t}\right);$

d.)更新样本的权重 $D_{t+1}\left(i\right)=\frac{D_t\left(i\right)\exp (-{\mathrm{\&alpha;}}_t{y}_i{h}_t\left({\mathrm{sub}}_i\right))}{Z_t},$ 其中i＝1，...，n，

$Z_t=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{D}_t\left(i\right)\exp (-{\mathrm{\&alpha;}}_t{y}_i{h}_t\left({\mathrm{sub}}_i\right)).$

3.2.2.3输出最后的强分类器

对于通过强分类器判断的模式，本发明采用 $P\left(1\right|f\left(\mathrm{sub}\right))=\frac{e^{f\left(\mathrm{sub}\right)}}{e^{f\left(\mathrm{sub}\right)}+e^{-f\left(\mathrm{sub}\right)}}$ 得到模式属于眼睛的后验概率，此处 $f\left(\mathrm{sub}\right)=\underset{t=1}{\overset{T}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_t(h_t\left(\mathrm{sub}\right)-\frac{1}{2}).$

3.2.3多层强分类器的级联

由于单层强分类器很难同时实现高分类速度，极低的FRR和极低的FAR等目标，所以整个眼睛检测器必须采用分层结构，由简单到复杂将多层强分类器级联起来，如图8所示。在检测时只要某个图像窗口不能通过其中任何一层，可立即排除掉，从而大大节省了计算量。

多层强分类器级联的具体训练步骤如下：

a)初始化i＝1；定义每层强分类器的训练目标是在眼睛训练集上FRR≤0.1％，在非眼睛训练集上FAR≤60％；定义整个眼睛检测器在眼睛训练集上的目标FRR≤1％，在非眼睛训练集上的目标FAR≤5×10^-4；

b)使用训练样本集采用3.2.2节中的方法训练第i层强分类器；

c)用训练得到的前i层分类器对样本集进行检测；

d)如果FRR、FAR未达到预定值，则i←i+1，返回步骤(b)继续进行训练；否则停止训练。

共训练得到7层结构从简单到复杂的强分类器；由这些强分类器级联构成一个完整的眼睛检测器。

            表1眼睛/非眼睛强分类器训练结果

层数i	c	T	眼睛FRR训练集	非眼睛FAR验证集
					1	50	1	0.10％	50.6％
2	5	17	0.05％	13.2％
					3	2.5	33	0.0％	4.7％
4	1.5	60	0.0％	1.5％
					5	1.4	81	0.0％	8E-3
6	1.3	110	0.1％	1.9E-3
					7	1.1	130	0.1％	4.3E-4

4.眼睛对分类器的训练

为了排除候选中的虚警和不精确的定位结果，本发明将左右眼睛候选联合起来，使用眼睛对分类器来验证每一对候选，最后根据后验概率从所有候选对中估计出双眼的最佳位置。

眼睛对分类器的训练使用归一化后的眼睛对样本和非眼睛对样本，分别提取两类样本的特征库，利用AdaBoost算法训练得到眼睛对分类器。由于眼睛对分类器所使用微结构特征及训练过程与前文单眼检测器的完全相同，都是使用AdaBoost算法从大量微结构特征中选择基于单个特征的弱分类器来构成强分类器，并将多层强分类器级联在一起。其具体训练过程同样包括特征提取、特征选择、强分类器的训练、多层强分类器的级联。

4.1特征提取

采用图6中的五种类型微结构模板来提取双眼和非眼睛对样本的高维微结构特征。同样可以利用整幅图像的积分图像 $\mathrm{II}(x,y)=\underset{0\&le;x^{\&prime;}\&le;x}{\mathrm{\&Sigma;}}\underset{0\&le;y^{\&prime;}\&le;y}{\mathrm{\&Sigma;}}I(x^{\&prime;},y^{\&prime;})$ 快速得到任意尺度、任意位置的一种微结构特征。同样定义平方积分图像 $\mathrm{SqrII}(x,y)=\underset{0\&le;x^{\&prime;}\&le;x}{\mathrm{\&Sigma;}}\underset{0\&le;y^{\&prime;}\&le;y}{\mathrm{\&Sigma;}}I(x^{\&prime;},y^{\&prime;})\&CenterDot;I(x^{\&prime;},y^{\&prime;}),$ 用于计算每个矩形区域的方差。

由于每一种特征提取只涉及到矩形区域中像素和的计算问题，所以以上任意一种微结构特征可以通过积分图像若干次加减快速计算出，其中第(a)种类型微结构特征的计算公式：

g(x，y，w，h)＝2·II(x+w-1，y-1)+II(x+2·w-1，y+h-1)

               +II(x-1，y+h-1)-2·II(x+w-1，y+h-1)

               -II(x+2·w-1，y-1)-II(x-1，y-1)

第(b)种类型微结构特征：

g(x，y，w，h)＝2II(x+w-1，y+h-1)+II(x-1，y-1)-II(x+w-1，y-1)

           -2II(x-1，y+h-1)-II(x+w-1，y+2h-1)+II(x-1，y+2h-1)

第(c)种类型微结构特征：

g(x，y，w，h)＝2II(x+2w-1，y+h-1)+2II(x+w-1，y-1)-2II(x+2w-1，y-1)

        -2II(x+w-1，y+h-1)-II(x+3w-1，y+h-1)-II(x-1，y-1)

        +II(x-1，y+h-1)+II(x+3w-1，y-1)

第(d)种类型微结构特征：

g(x，y，w，h)＝-II(x-1，y-1)-II(x+2w-1，y-1)-II(x-1，y+2h-1)

     -4II(x+w-1，y+h-1)+2II(x+w-1，y-1)+2II(x-1，y+h-1)

     -II(x+2w-1，y+2h-1)+2II(x+2w-1，y+h-1)+2II(x+w-1，y+2h-1)

第(e)种类型微结构特征：

g(x，y，w，h)＝II(x+w-1，y+h-1)+II(x-1，y-1)-II(x+w-1，y-1)-II(x-1，y+h-1)

-II(x+w-3，y+h-3)-II(x+1，y+1)+II(x+1，y+h-3)+II(x+w-1，y+1)

对于尺寸归一化为25×15像素的眼睛对模式，共得到71210个特征，组成该样本的特征矢量 FV(j)，1≤j≤71210。

为了减轻光照的影响，需要对每一个25×15像素样本图像进行灰度均值和方差的归一化，所以首先要快速计算出小窗口的均值 μ和方差 σ，然后对每一维特征进行归一化，其中的25×15像素小窗口区域(x₀≤x′≤x₀+24，y₀≤y′≤y₀+14)内的像素灰度和的 μ和 σ分别为

μ＝[II(x₀+24，y₀+14)+II(x₀-1，y₀-1)-II(x₀-1，y₀+14)-II(x₀+24，y₀-1)]/365

       σ＝{[SqrII(x₀+24，y₀+14)+SqrII(x₀-1，y₀-1)-SqrII(x₀-1，y₀+14)

          -SqrII(x₀+24，y₀-1)]/365- μ²}^1/2

对每一维微结构特征可以进行如下的归一化：

$\mathrm{FV}\left(j\right)=\frac{{\mathrm{\&sigma;}}_0}{\stackrel{\&OverBar;}{\mathrm{\&sigma;}}}\stackrel{\&OverBar;}{\mathrm{FV}}\left(j\right)$

对于一个25×15像素的样本图像，共得到71210维微结构特征FV(j)，1≤j≤71210。

4.2特征选择和分类器设计

为达到足够快的验证速度，一个眼睛对检测器必须采用分层结构(如图8所示)，先由结构简单的强分类器排除掉图像中的背景窗口，然后由结构复杂的强分类器对余下窗口进行判断。本部分仍然使用AdaBoost算法选择特征和训练分类器。具体来说包括以下几个组成部分：

4.2.1弱分类器的构造

弱分类器仍使用一维特征构造的树分类器：

$h_j\left(\mathrm{sub}\right)=\left\{\begin{array}{cc}1,& \mathrm{if}{g}_j\left(\mathrm{sub}\right)<{\mathrm{\&theta;}}_j\mathrm{or}{g}_j\left(\mathrm{sub}\right)>{\mathrm{\&theta;}}_j\\ 0,& \mathrm{otherwise}\end{array}\right.$

共可得到71210个弱分类器。

4.2.2基于AdaBoost算法的眼睛/非眼睛强分类器设计

将CS-AdaBoost算法结合上述弱分类器构造方法用于训练眼睛对强分类器。训练步骤如下(记训练样本集L＝{(sub_i，l_i)}，i＝1，...，n，l_i＝0，1是样本图像sub_i的类别标号，分别对应非眼睛对类别和眼睛对类别，其中眼睛对样本n_eye个，非眼睛对样本n_noneye个)：

4.2.2.1参数的初始化

训练样本误分类风险的初始化。对于每个眼睛对样本的误分类风险 $C\left(i\right)=\frac{2c}{c+1},$ 对每个非眼睛对样本的误分类风险 $C\left(i\right)=\frac{2}{c+1}$ (c是眼睛对类别是非眼睛对类别的误分类风险倍数，c值应大于1且随着强分类器层数的增多逐渐减小接近于1，具体选择值见表2)；

训练样本权重的初始化。初始每个样本的权重为 $D_1\left(i\right)=\frac{1}{n};$

选择迭代次数T(T即为希望使用的弱分类器的个数)，T应随着强分类器层数的增多逐渐增多，具体选择值见表2；

统计样本集上每个特征分布的极大值Fmax(j)和极小值Fmin(j)(其中j为特征序号，1≤j≤71210)： $F\max \left(j\right)=\underset{1\&le;i\&le;n}{\max }F{V}_i\left(j\right),F\min \left(j\right)=\underset{1\&le;i\&le;n}{\min }F{V}_i\left(j\right);$

4.2.2.2重复以下过程T次(t＝1，...，T)：

a.)使用第j个特征(1≤j≤71210)构造弱分类器h_j，然后在Fmin(j)和Fmax(j)间穷举搜索阈值参数θ_j，使得h_j的错误率ε_j最小，定义 ${\mathrm{\&epsiv;}}_j=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{D}_t\left(i\right)\&CenterDot;|h_j\left({\mathrm{sub}}_i\right)-l_i|;$

b.)令 ${\mathrm{\&epsiv;}}_t=\underset{1\&le;j\&le;71210}{\arg \min }{\mathrm{\&epsiv;}}_j,$ 并将其对应的弱分类器作为h_t；

c.)计算参数 ${\mathrm{\&alpha;}}_t=\frac{1}{2}\ln \left(\frac{1-{\mathrm{\&epsiv;}}_t}{{\mathrm{\&epsiv;}}_t}\right);$

d.)更新样本的权重 $D_{t+1}\left(i\right)=\frac{D_t\left(i\right)\exp (-{\mathrm{\&alpha;}}_t{y}_i{h}_t\left({\mathrm{sub}}_i\right))}{Z_t},$ 其中i＝1，...，n，

$Z_t=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{D}_t\left(i\right)\exp (-{\mathrm{\&alpha;}}_t{y}_i{h}_t\left({\mathrm{sub}}_i\right)).$

4.2.2.3输出最后的强分类器

对于通过强分类器判断的模式，本发明采用 $P\left(1\right|f\left(\mathrm{sub}\right))=\frac{e^{f\left(\mathrm{sub}\right)}}{e^{f\left(\mathrm{sub}\right)}+e^{-f\left(\mathrm{sub}\right)}}$ 得到模式属于眼睛对的后验概率，此处 $f\left(\mathrm{sub}\right)=\underset{t=1}{\overset{T}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_t(h_t\left(\mathrm{sub}\right)-\frac{1}{2}).$

4.2.3多层强分类器的级联

整个眼睛对验证器采用分层结构，如图8所示。

多层强分类器级联的具体训练步骤如下：

a)初始化i＝1；定义每层强分类器的训练目标是在眼睛对训练集上FRR≤0.1％，在非眼睛对训练集上FAR≤50％；定义整个眼睛对检测器在眼睛对训练集上的目标FRR≤1％，在非眼睛对训练集上的目标FAR≤1×10^-3；

b)使用训练样本集采用4.2.2节中的方法训练第i层强分类器；

c)用训练得到的前i层分类器对样本集进行检测；

d)如果FRR、FAR未达到预定值，则i←i+1，返回步骤(b)继续进行训练；否则停止训练。

共训练得到9层结构从简单到复杂的强分类器，使用了1347个特征；由这些强分类器级联构成一个完整的眼睛对检测器。

               表2眼睛对强分类器训练结果

层数i	c	T	眼睛FRR训练集	非眼睛FAR训练集
					1	50	1	0.10％	63.5％
2	3	18	0.05％	30.1％
					5	1.5	145	0.0％	1E-2
8	1.2	277	0.1％	1.8E-3
					9	1.1	330	0.1％	9.1E-4

本发明的特征在于，它是一种能够适应不同情况的鲁棒地精确定位人眼睛的技术。它首先对收集到的眼睛样本和眼睛对样本进行适当的尺寸归一化和光照归一化，以最大限度地消除输入样本因光照和尺寸的不同而造成的类内差异，然后高效率地提取能很好反映模式结构特点的微结构特征，在此基础上利用AdaBoost算法组成具有极低的误检率和低误接受率的强分类器，然后把多层分类器级联成一个完整的眼睛检测器和眼睛对验证器，从候选中得到精确的眼睛位置。

在由图像采集设备和计算机组成的系统中，本检测方法包括训练阶段和检测阶段。其中训练阶段依次含有以下步骤：

1.样本采集与归一化

(1.1)样本的采集

为训练单眼检测器，采用人手工标定的方法，从人脸图片中切割出单只眼睛图像，并从人脸图像非眼睛部位随机割取非眼睛样本。单只眼睛图像和非眼睛图像分别作为正例样本和反例样本用于训练单眼检测器。一些训练样本如图3(a)所示。

另外为训练眼睛对检测器，还根据人手工标定的眼睛位置，按照图10所示的比例从人脸图像中剪裁得到眼睛对样本，并从人脸图像中随机割取非眼睛对样本。眼睛对图像和非眼睛对图像分别作为正例样本和反例样本用于训练单眼检测器。一些采集到的样本如图3(b)示。这样采集到的样本不只包括两只眼睛还包括眉毛、鼻子等部位，体现了眼睛与周围器官的约束关系。

(1.2)尺寸归一化

将收集好的各尺寸的样本图像(包括单眼和非单眼、眼睛对和非眼睛对图像)归一化为指定尺寸。设原始样本图像为[F(x，y)]_M×N，图像宽度为M，高度为N，图像位于第x行第y列的象素点的值为F(x，y)(0≤x＜M，0≤y＜N)；设尺寸归一化后图像为[G(x，y)]_W×H，图像宽度为W，高度为H，实验中对单眼样本取W＝24，H＝12，对眼睛对样本取W＝25，H＝15。这样尺寸归一化可以看成是将源图像点阵[F(x，y)]_M×N映射成目标图像点阵[G(x，y)]_W×H的过程。本发明使用反向投影和线性插值将原始样本图像变换到标准尺寸样本图像，则输入图像[F(x，y)]_M×N与归一化后图像[G(x，y)]_W×H之间的对应关系为：

                                G(x，y)＝F(x/r_x，y/r_y)

其中r_x和r_y分别为x和y方向的尺度变换因子：r_x＝N/H，r_y＝M/W。根据线性插值方法，对于给定(x，y)，令：

$\left\{\begin{array}{c}x/r_x=x_0+{\mathrm{\&Delta;}}_x\\ y/r_y=y_0+{\mathrm{\&Delta;}}_y\end{array},0\&le;{\mathrm{\&Delta;}}_x,{\mathrm{\&Delta;}}_y<1\right.$

其中： $\left\{\begin{array}{cc}{x}_0=[x/r_x],& {\mathrm{\&Delta;}}_x=x/r_x-x_0\\ y_0=[y/r_y],& {\mathrm{\&Delta;}}_y=y/r_y-y_0\end{array}\right.,$ [·]为取整函数。插值过程可表示为：

G(x，y)＝F(x₀+Δ_x，y₀+Δ_y)＝F(x₀，y₀)Δ_xΔ_y+F(x₀+1，y₀)(1-Δ_x)Δ_y

+F(x₀，y₀+1)Δ_x(1-Δ_y)+F(x₀+1，y₀+1)(1-Δ_x)(1-Δ_y)

(1.3)灰度归一化

由于外界光照、成像设备等因素可能导致图像亮度或对比度异常，出现强阴影或反光等情况。所以还需要对几何归一化后的样本进行灰度均衡化处理，改善其灰度分布，增强模式间的一致性。本发明采用灰度均值、方差归一化对样本进行灰度均衡化处理，将样本图片灰度的均值 μ和方差 σ调整到给定值μ₀和σ₀。

首先采用下式计算样本图像G(x，y)(0≤x＜W，0≤y＜H)的均值和方差：

$\stackrel{\&OverBar;}{\mathrm{\&mu;}}=\frac{1}{\mathrm{WH}}\underset{y=0}{\overset{H-1}{\mathrm{\&Sigma;}}}\underset{x=0}{\overset{W-1}{\mathrm{\&Sigma;}}}G(x,y)$

$\stackrel{\&OverBar;}{\mathrm{\&sigma;}}=\sqrt{\frac{1}{\mathrm{WH}}\underset{y=0}{\overset{H-1}{\mathrm{\&Sigma;}}}\underset{x=0}{\overset{W-1}{\mathrm{\&Sigma;}}}}{(G(x,y)-\stackrel{\&OverBar;}{\mathrm{\&mu;}})}^2$

然后对每个像素点的灰度值进行如下变换：

$I(x,y)=\frac{{\mathrm{\&sigma;}}_0}{\stackrel{\&OverBar;}{\mathrm{\&sigma;}}}(G(x,y)-\stackrel{\&OverBar;}{\mathrm{\&mu;}})+{\mathrm{\&mu;}}_0$

从而将图像灰度的均值和方差调整到给定值μ₀和σ₀，完成样本的灰度归一化。

2.单眼检测器的训练

单眼检测器的训练使用归一化后的单眼睛样本和非眼睛样本的微结构特征库，利用AdaBoost算法训练得到单只眼睛检测器；其具体训练过程如下：

(2.1)特征提取

本发明采用图6中的五种类型微结构模板来提取单眼睛和非单眼样本的高维微结构特征：每一种微结构特征通过计算模板所覆盖图像中黑色区域和白色区域内像素灰度和的差值来得到，并且模板相对于图像的位置以及模板的尺寸可以改变。由于每一种特征提取只涉及到矩形区域中像素和的计算问题，所以可以利用整幅图像的积分图像快速得到任意尺度、任意位置的一种微结构特征。

(2.1.1)积分图像的快速计算和微结构特征的快速提取

对于一个图像I(x，y)，(x≥0，y≥0)，定义其对应的积分图像II(x，y)为从(0，0)到(x，y)范围内的所有像素之和，即 $\mathrm{II}(x,y)=\underset{0\&le;x^{\&prime;}\&le;x}{\mathrm{\&Sigma;}}\underset{0\&le;y^{\&prime;}\&le;y}{\mathrm{\&Sigma;}}I(x^{\&prime;},y^{\&prime;}).$ 则原始图像I(x，y)中任何一个矩形区域中的像素和可通过积分图经3次加减法快速计算出。

而以上任意一种微结构特征可以通过对应的积分图像经过若干次加减计算出。

我们以图6第(a)种类型特征的提取过程为例说明微结构特征的快速提取。如图7所示，在计算出整幅图像的积分图像后，对于左上角像素坐标为(x，y)、宽度为w个像素、高度为h个像素的第(a)种类型微结构特征可以如下计算：

g(x，y，w，h)＝2·II(x+w-1，y-1)+II(x+2·w-1，y+h-1)

               +II(x-1，y+h-1)-2·II(x+w-1，y+h-1)

               -II(x+2·w-1，y-1)-II(x-1，y-1)

改变参数x，y，w，h可以提取不同位置、不同尺度的特征。其它类型的特征可以采取类似的方法提取。对于尺寸归一化为24×12像素的人眼模式，共得到42727个特征；

(2.2)特征选择和分类器设计

本发明使用AdaBoost算法选择特征和训练分类器。一方面AdaBoost算法在每轮迭代中选择出性能最好的基于单个特征的弱分类器，达到特征选择的目的；另一方面把这些弱分类器集成为一个强分类器，并通过将多个强分类器级联起来得到一个性能优秀的眼睛检测器。具体来说，包括以下几个组成部分：

(2.2.1)弱分类器的构造

弱分类器要具有非常高的分类速度，整个强分类器才能达到足够高的分类速度。本发明对应于每一维特征构造最简单的树分类器来作为弱分类器：

$h_j\left(\mathrm{sub}\right)=\left\{\begin{array}{cc}1,& \mathrm{if}{g}_j\left(\mathrm{sub}\right)<{\mathrm{\&theta;}}_j\mathrm{or}{g}_j\left(\mathrm{sub}\right)>{\mathrm{\&theta;}}_j\\ 0,& \mathrm{otherwise}\end{array}\right.$

其中sub是一个24×12像素的样本，g_j(sub)表示从该样本提取得到的第j个特征，θ_j是第j个特征对应的判决阈值，h_j(sub)表示使用第j个特征构造的树分类器的判决输出。这样每个弱分类器只需要比较一次阈值就可以完成判决；共可得到42727个弱分类器。

(2.2.2)基于AdaBoost算法的眼睛/非眼睛强分类器设计

本发明将AdaBoost算法结合上述弱分类器构造方法用于训练眼睛/非眼睛强分类器。训练算法步骤如下(记给定训练集L＝{(sub_i，l_i)}，i＝1，...，n，l_i＝0，1是样本图像sub_i的类别标号，分别对应非眼睛类别和眼睛类别)：

(2.2.2.1)参数的初始化

训练样本权重的初始化。初始每个样本的权重为 $D_1\left(i\right)=\frac{1}{n};$

选择迭代次数T(T即为希望使用的弱分类器的个数)，T应随着强分类器层数的增多逐渐增多，具体选择值见表1；

统计样本集上每个特征分布的极大值Fmax(j)和极小值Fmin(j)(其中j为特征序号，1≤j≤42727)；

(2.2.2.2)重复以下过程T次(t＝1，...，T)：

a.)使用第j个特征(1≤j≤42727)构造弱分类器h_j，然后在Fmin(j)和Fmax(j)间穷举搜索阈值参数θ_j，使得h_j的错误率ε_j最小，定义 ${\mathrm{\&epsiv;}}_j=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{D}_t\left(i\right)\&CenterDot;|h_j\left({\mathrm{sub}}_i\right)-l_i|;$

b.)令 ${\mathrm{\&epsiv;}}_t=\underset{1\&le;j\&le;42727}{\arg \min }{\mathrm{\&epsiv;}}_j,$ 并将其对应的弱分类器作为h_t；

c.)计算参数 ${\mathrm{\&alpha;}}_t=\frac{1}{2}\ln \left(\frac{1-{\mathrm{\&epsiv;}}_t}{{\mathrm{\&epsiv;}}_t}\right);$

d.)更新样本的权重 $D_{t+1}\left(i\right)=\frac{D_t\left(i\right)\exp (-{\mathrm{\&alpha;}}_t{y}_i{h}_t\left({\mathrm{sub}}_i\right))}{Z_t},$ 其中i＝1，...，n，

$Z_t=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{D}_t\left(i\right)\exp (-{\mathrm{\&alpha;}}_t{y}_i{h}_t\left({\mathrm{sub}}_i\right)).$

(2.2.2.3)输出最后的强分类器

对于通过强分类器判断的模式，本发明采用 $P\left(1\right|f\left(x\right))=\frac{e^{f\left(x\right)}}{e^{f\left(x\right)}+e^{-f\left(x\right)}}$ 得到模式属于眼睛的后验概率，此处 $f\left(x\right)=\underset{t=1}{\overset{T}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_t(h_t\left(x\right)-\frac{1}{2}).$

(2.2.3)多层强分类器的级联

整个眼睛检测器必须采用分层结构，由简单到复杂将多层强分类器级联起来，如图8所示。

多层强分类器级联的具体训练步骤如下：

a)初始化i＝1；定义每层强分类器的训练目标是在眼睛训练集上FRR≤0.1％，在非眼睛训练集上FAR≤60％；定义整个眼睛检测器在眼睛训练集上的目标FRR≤1％，在非眼睛训练集上的目标FAR≤5×10^-4；

b)使用训练样本集采用(2.2.2)节中的方法训练第i层强分类器；

c)用训练得到的前i层分类器对样本集进行检测；

d)如果FRR、FAR未达到预定值，则i←i+1，返回步骤(b)继续进行训练；否则停止训练。

共训练得到7层结构从简单到复杂的强分类器；由这些强分类器级联构成一个完整的眼睛检测器。

3.眼睛对分类器的训练

眼睛对分类器的训练使用归一化后的眼睛对样本和非眼睛对样本，分别提取两类样本的特征库，利用AdaBoost算法训练得到眼睛对分类器。由于眼睛对分类器所使用微结构特征及训练过程与前文单眼检测器的完全相同，都是使用AdaBoost算法从大量微结构特征中选择基于单个特征的弱分类器来构成强分类器，并将多层强分类器级联在一起。其具体训练过程同样包括特征提取、特征选择、强分类器的训练、多层强分类器的级联。

(3.1)特征提取

采用图6中的五种类型微结构模板来提取双眼和非眼睛对样本的高维微结构特征。同样可以利用整幅图像的积分图像 $\mathrm{II}(x,y)=\underset{0\&le;x^{\&prime;}\&le;x}{\mathrm{\&Sigma;}}\underset{0\&le;y^{\&prime;}\&le;y}{\mathrm{\&Sigma;}}I(x^{\&prime;},y^{\&prime;})$ 快速得到任意尺度、任意位置的一种微结构特征。同样定义平方积分图像 $\mathrm{SqrII}(x,y)=\underset{0\&le;x^{\&prime;}\&le;x}{\mathrm{\&Sigma;}}\underset{0\&le;y^{\&prime;}\&le;y}{\mathrm{\&Sigma;}}I(x^{\&prime;},y^{\&prime;})\&CenterDot;I(x^{\&prime;},y^{\&prime;}),$ 用于计算每个矩形区域的方差。

由于每一种特征提取只涉及到矩形区域中像素和的计算问题，所以以上任意一种微结构特征可以通过积分图像若干次加减快速计算出。对于尺寸归一化为25×15像素的眼睛对模式，共得到71210个特征，组成该样本的特征矢量 FV(j)，1≤j≤71210。

为了减轻光照的影响，需要对每一个25×15像素样本图像进行灰度均值和方差的归一化，所以首先要快速计算出小窗口的均值 μ和方差 σ，然后对每一维特征进行归一化，其中的25×15像素小窗口区域(x₀≤x′≤x₀+24，y₀≤y′≤y₀+14)内的像素灰度和的 μ和 σ分别为

μ＝[II(x₀+24，y₀+14)+II(x₀-1，y₀-1)-II(x₀-1，y₀+14)-II(x₀+24，y₀-1)]/365

        σ＝{[SqrII(x₀+24，y₀+14)+SqrII(x₀-1，y₀-1)-SqrII(x₀-1，y₀+14)

           -SqrII(x₀+24，y₀-1)]/365- μ²}^1/2

对每一维微结构特征可以进行如下的归一化：

$\mathrm{FV}\left(j\right)=\frac{{\mathrm{\&sigma;}}_0}{\stackrel{\&OverBar;}{\mathrm{\&sigma;}}}\stackrel{\&OverBar;}{\mathrm{FV}}\left(j\right)$

对于一个25×15像素的样本图像，共得到71210维微结构特征FV(j)，1≤j≤71210。

(3.2)特征选择和分类器设计

为达到足够快的验证速度，一个眼睛对检测器必须采用分层结构(如图8所示)，先由结构简单的强分类器排除掉图像中的背景窗口，然后由结构复杂的强分类器对余下窗口进行判断。本部分仍然使用AdaBoost算法选择特征和训练分类器。具体来说包括以下几个组成部分：

(3.2.1)弱分类器的构造

弱分类器仍使用一维特征构造的树分类器：

$h_j\left(\mathrm{sub}\right)=\left\{\begin{array}{cc}1,& \mathrm{if}{g}_j\left(\mathrm{sub}\right)<{\mathrm{\&theta;}}_j\mathrm{or}{g}_j\left(\mathrm{sub}\right)>{\mathrm{\&theta;}}_j\\ 0,& \mathrm{otherwise}\end{array}\right.$

共可得到71210个弱分类器。

(3.2.2)基于AdaBoost算法的眼睛/非眼睛强分类器设计

将CS-AdaBoost算法结合上述弱分类器构造方法用于训练眼睛对强分类器。训练步骤如下(记训练样本集L＝{(sub_i，l_i)}，i＝1，...，n，l_i＝0，1是样本图像sub_i的类别标号，分别对应非眼睛对类别和眼睛对类别，其中眼睛对样本n_eye个，非眼睛对样本n_noneye个)：

(3.2.2.1)参数的初始化

训练样本误分类风险的初始化。对于每个眼睛对样本的误分类风险 $C\left(i\right)=\frac{2c}{c+1},$ 对每个非眼睛对样本的误分类风险 $C\left(i\right)=\frac{2}{c+1}$ (c是眼睛对类别是非眼睛对类别的误分类风险倍数，c值应大于1且随着强分类器层数的增多逐渐减小接近于1，具体选择值见表2)；

训练样本权重的初始化。初始每个样本的权重为 $D_1\left(i\right)=\frac{1}{n};$

选择迭代次数T(T即为希望使用的弱分类器的个数)，T应随着强分类器层数的增多逐渐增多，具体选择值见表2；

统计样本集上每个特征分布的极大值Fmax(j)和极小值Fmin(j)(其中j为特征序号，1≤j≤71210)： $F\max \left(j\right)=\underset{1\&le;i\&le;n}{\max }{\mathrm{FV}}_i\left(j\right),F\min \left(j\right)=\underset{1\&le;i\&le;n}{\min }{\mathrm{FV}}_i\left(j\right);$

(3.2.2.2)重复以下过程T次(t＝1，...，T)：

a.)使用第j个特征(1≤j≤71210)构造弱分类器h_j，然后在Fmin(j)和Fmax(j)间穷举搜索阈值参数θ_j，使得h_j的错误率ε_j最小，定义 ${\mathrm{\&epsiv;}}_j=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{D}_t\left(i\right)\&CenterDot;|h_j\left({\mathrm{sub}}_i\right)-l_i|;$

b.)令 ${\mathrm{\&epsiv;}}_t=\underset{1\&le;j\&le;71210}{\arg \min }{\mathrm{\&epsiv;}}_j,$ 并将其对应的弱分类器作为h_t；

c.)计算参数 ${\mathrm{\&alpha;}}_t=\frac{1}{2}\ln \left(\frac{1-{\mathrm{\&epsiv;}}_t}{{\mathrm{\&epsiv;}}_t}\right);$

d.)更新样本的权重 $D_{t+1}\left(i\right)=\frac{D_t\left(i\right)\exp (-{\mathrm{\&alpha;}}_t{y}_i{h}_t\left({\mathrm{sub}}_i\right))}{Z_t},$ 其中i＝1，...，n，

$Z_t=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{D}_t\left(i\right)\exp (-{\mathrm{\&alpha;}}_t{y}_i{h}_t\left({\mathrm{sub}}_i\right)).$

(3.2.2.3)输出最后的强分类器

对于通过强分类器判断的模式，本发明采用 $P\left(1\right|f\left(\mathrm{sub}\right))=\frac{e^{f\left(\mathrm{sub}\right)}}{e^{f\left(\mathrm{sub}\right)}+e^{-f\left(\mathrm{sub}\right)}}$ 得到模式属于眼睛对的后验概率，此处 $f\left(\mathrm{sub}\right)=\underset{t=1}{\overset{T}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_t(h_t\left(\mathrm{sub}\right)-\frac{1}{2}).$

(3.2.3)多层强分类器的级联

整个眼睛对验证器采用分层结构，如图8所示。

多层强分类器级联的具体训练步骤如下：

e)初始化i＝1；定义每层强分类器的训练目标是在眼睛对训练集上FRR≤0.1％，在非眼睛对训练集上FAR≤50％；定义整个眼睛对检测器在眼睛对训练集上的目标FRR≤1％，在非眼睛对训练集上的目标FAR≤1×10^-3；

f)使用训练样本集采用4.2.2节中的方法训练第i层强分类器；

g)用训练得到的前i层分类器对样本集进行检测；

h)如果FRR、FAR未达到预定值，则i←i+1，返回步骤(b)继续进行训练；否则停止训练。

共训练得到9层结构从简单到复杂的强分类器；由这些强分类器级联构成一个完整的眼睛对检测器。

在眼睛检测阶段，对于一张输入的人脸区域，使用以下步骤来精确定位眼睛中心位置：

1.估计左右眼睛所在的区域Ω_lefteye和Ω_righteye

使用人脸图像竖直方向投影的均值、方差函数来确定Ω_lefteye和Ω_righteye在水平方向上的分界线，然后根据从训练样本中统计到的眼睛在人脸区域竖直方向上的分布规律，确定Ω_lefteye和Ω_righteye的上下边界，从而估计出Ω_lefteye和Ω_righteye。

(1.1)利用投影函数确定眼睛区域的左右分界线

取检测到的人脸区域的上半部分，以其垂直方向灰度投影的均值函数与方差函数的比值

的峰值作为左右两眼所在区域的竖直分界线，如图5(b)示。定义此位置为x_peak：

$x_{\mathrm{peak}}=\underset{0\&le;x<w_{\mathrm{face}}}{\arg \max }\frac{\mathrm{MP}{F}_v\left(x\right)}{\mathrm{VP}{F}_v\left(x\right)}$

(1.2)利用样本统计信息得到眼睛区域的上下边界

Ω_lefteye、Ω_righteye的上下边界则可以利用样本中眼睛在人脸竖直方向的分布位置统计出来。有

Ω_lefteye＝(x，y)，0＜x＜x_peak，0.05H_face＜y＜0.45H_face

Ω_righteye＝(x，y)，x_peak＜x＜W_face，0.05H_face＜y＜0.45H_face

2.利用单眼检测器检测眼睛候选

在Ω_lefteye、Ω_righteye两个区域中分别使用单眼检测器检测给出左右眼睛20个候选位置，并估计出每个候选位置的置信度。眼睛候选的具体检测过程如下：

(2.1)输入人脸图像的积分图像的计算

计算输入人脸图像I(x，y)对应的积分图像 $\mathrm{II}(x,y)=\underset{0\&le;x^{\&prime;}\&le;x}{\mathrm{\&Sigma;}}\underset{0\&le;y^{\&prime;}\&le;y}{\mathrm{\&Sigma;}}I(x^{\&prime;},y^{\&prime;})$ 和平方积分图像

$\mathrm{SqrII}(x,y)=\underset{0\&le;x^{\&prime;}\&le;x}{\mathrm{\&Sigma;}}\underset{0\&le;y^{\&prime;}\&le;y}{\mathrm{\&Sigma;}}I(x^{\&prime;},y^{\&prime;})\&CenterDot;I(x^{\&prime;},y^{\&prime;}).$

(2.2)判别左右眼区域中的每一个的小窗口

判别Ω_lefteye、Ω_righteye两个区域中的每一个的24×12像素尺寸的小窗口，对任一个小窗口[x₀，y₀；x₀+23，y₀+11]的处理步骤如下：

(2.2.1).利用整幅图像的积分图II_i(x，y)和平方积分图SqrII_i(x，y)计算小窗口的均值 μ和方差 σ；

μ＝[II(x₀+23，y₀+11)+II(x₀-1，y₀-1)-II(x₀-1，y₀+11)-II(x₀+23，y₀-1)]/288

        σ＝{[SqrII(x₀+23，y₀+11)+SqrII(x₀-1，y₀-1)-SqrII(x₀-1，y₀+11)

           -SqrII(x₀+23，y₀-1)]/288- μ²}^1/2

(2.2.2).利用前文介绍方法快速提取该小窗口的微结构特征，并进行特征归一化处理；

(2.2.3).采用训练好的多层眼睛/非眼睛强分类器对小窗口进行判断；如果通过所有层强分类器的判断，则认为该小窗口包含一个眼睛候选，输出其位置及其置信度；否则抛弃掉该小窗口，不进行后续处理；

根据候选的置信度大小输出最多前20个候选位置。

3.眼睛候选对的验证

为了排除眼睛候选中的误检测和不精确的定位结果，本发明将左右眼睛候选配对，提取候选周围区域更多的特征，然后使用眼睛对分类器来验证每一对候选，最后根据后验概率从所有候选对中估计出双眼的最佳位置。具体来说对每一对眼睛候选，包括以下处理步骤：

(3.1)根据左右眼候选位置割取图像进行尺寸归一化

对每一对眼睛候选，首先根据左右眼候选位置按照模板(图10)所示位置割取图像，然后进行尺寸归一化和光照归一化，得到25×15像素的眼睛候选对图像PI(x，y)；

(3.2)输入图像积分图像的计算

计算图像PI(x，y)对应的积分图像 $\mathrm{PII}(x,y)=\underset{0\&le;x^{\&prime;}\&le;x}{\mathrm{\&Sigma;}}\underset{0\&le;y^{\&prime;}\&le;y}{\mathrm{\&Sigma;}}\mathrm{PI}(x^{\&prime;},y^{\&prime;}).$

(3.3)眼睛候选对图像PI(x，y)的判断

对每一眼睛候选对图像PI(x，y)的验证步骤如下：

(3.3.1).利用整幅图像的积分图提取微结构特征；

(3.3.2).采用训练好的第i层强分类器对图像进行判断；

(3.3.3).如果通过判断，则i←i+1，返回步骤(3.3.1)；否则抛弃掉该眼睛候选对；

如果通过所有层强分类器的判断，则认为该候选对为有效候选对，输出其位置及其置信度；

最后，对所有通过判断的候选对按照置信度从大到小排序，取置信度最大的前3对候选对的平均位置作为眼睛中心位置。输出眼睛位置。

为验证本发明的有效性，我们进行了如下实验：

眼睛定位算法使用的测试集包括如下3部分：

测试集1：由Yale B、AeroInfo、公安部一所人脸数据库组成，共包括209个人的4353张图像。其中Yale B数据库包括15个人，165张图像，其特点是光照变化比较复杂；AeroInfo数据库，由中国航天信息有限公司提供，包括165个人的3740张图像，其特点是外界光照、人脸的姿态变化复杂，并且背景复杂，人脸图像质量差；公安部一所人脸数据库，包括30个人的448张图像，其特点是光照变化复杂，有的人佩戴的眼镜还有强烈的反光；

测试集2：由BANCA人脸数据库的英语部分组成，共包括82个人的6540张图像。其特点是图像背景和图像质量有很大变化，包括受控、降质和恶劣三种场景下采集到的图像，另外光照和人脸姿态变化也很复杂，多人还佩戴有黑框眼镜；

测试集3：JAFFE数据库，包括213张人脸图像，其特点是人脸表情变化丰富；

在来源和变化如此丰富的集合上进行的测试应该能真实反映出一个定位算法的性能：

           表1与其它定位算法在不同允许误差下的性能比较

与其它方法的性能比较如表1所示。其中与Identix^{[http://www.identix.com/]}公司的著名产品FaceIT相比，本文算法在不同测试集上性能稳定，均优于FaceIT的定位精度，而FaceIT在实验中对人眼的开闭、人脸的尺寸等因素比较敏感；与Zhou^{[ZhouZH，Geng X.Projection functions for eye detection.Pattern Recognition，2004]}方法相比，本文方法在JAFFE数据库上误差在0.10内的定位准确率即为98.6％，而其方法误差在0.25内的定位准确率仅为97.2％。

附图说明

图1一个典型的眼睛定位系统的硬件构成。

图2训练样本的收集流程。

图3单个眼睛样本和眼睛对样本示例。

图4眼睛定位系统的结构框图

图5眼睛定位过程示例。

图6采用的五种微结构特征模板。

图7积分图的计算和微结构特征的提取示例。

图8多级强分类器的级联结构。

图9基于AdaBoost算法的强分类器的训练流程。

图10眼睛对模板比例示意图。

图11基于本算法的人脸识别签到系统。

具体实施方式

整个人眼定位系统的硬件结构如图1所示，系统的训练过程和识别过程如图4所示，下面详细介绍系统的各个部分：

系统的输入是单个人脸区域图像。人脸检测部分不包含在本发明中，不进行详细说明。

A)训练系统的实现

A.1样本采集与归一化

A.1.1样本的收集

为训练单眼检测器，采用人手工标定的方法，从人脸图片中切割出单只眼睛图像，并从人脸图像非眼睛部位随机割取非眼睛样本。单只眼睛图像和非眼睛图像分别作为正例样本和反例样本用于训练单眼检测器。一些训练样本如图3(a)所示。

另外为训练眼睛对检测器，还根据人手工标定的眼睛位置，按照图7所示的比例从人脸图像中剪裁得到眼睛对样本，并从人脸图像中随机割取非眼睛对样本。眼睛对图像和非眼睛对图像分别作为正例样本和反例样本用于训练单眼检测器。一些采集到的样本如图3(b)示。这样采集到的样本不只包括两只眼睛还包括眉毛、鼻子等部位，体现了眼睛与周围器官的约束关系。

A.1.2尺寸归一化

将收集好的各尺寸的样本图像(包括单眼和非单眼、眼睛对和非眼睛对图像)归一化为指定尺寸。设原始样本图像为[F(x，y)]_M×N，图像宽度为M，高度为N，图像位于第x行第y列的象素点的值为F(x，y)(0≤x＜M，0≤y＜N)；设尺寸归一化后图像为[G(x，y)]_W×H，图像宽度为W，高度为H，实验中对单眼样本取W＝24，H＝12，对眼睛对样本取W＝25，H＝15。

本发明使用反向投影和线性插值将原始样本图像变换到标准尺寸样本图像，则输入图像[F(x，y)]_M×N与归一化后图像[G(x，y)]_W×H之间的对应关系为：

                               G(x，y)＝F(x/r_x，y/r_y)

其中r_x和r_y分别为x和y方向的尺度变换因子：r_x＝N/H，r_y＝M/W。根据线性插值方法，对于给定(x，y)，令：

$\left\{\begin{array}{c}x/r_x=x_0+{\mathrm{\&Delta;}}_x\\ y/r_y=y_0+{\mathrm{\&Delta;}}_y\end{array},0\&le;{\mathrm{\&Delta;}}_x,{\mathrm{\&Delta;}}_y<1\right.$

其中： $\left\{\begin{array}{cc}{x}_0=[x/r_x],& {\mathrm{\&Delta;}}_x=x/r_x-x_0\\ y_0=[y/r_y],& {\mathrm{\&Delta;}}_y=y/r_y-y_0\end{array},\right.$ [·]为取整函数。插值过程可表示为：

G(x，y)＝F(x₀+Δ_x，y₀+Δ_y)＝F(x₀，y₀)Δ_xΔ_y+F(x₀+1，y₀)(1-Δ_x)Δ_y

+F(x₀，y₀+1)Δ_x(1-Δ_y)+F(x₀+1，y₀+1)(1-Δ_x)(1-Δ_y)

A.1.3灰度归一化

本发明采用灰度均值、方差归一化对样本进行灰度均衡化处理，将样本图片灰度的均值 μ和方差 σ调整到给定值μ₀和σ₀。

首先采用下式计算样本图像G(x，y)(0≤x＜W，0≤y＜H)的均值和方差：

$\stackrel{\&OverBar;}{\mathrm{\&mu;}}=\frac{1}{\mathrm{WH}}\underset{y=0}{\overset{H-1}{\mathrm{\&Sigma;}}}\underset{x=0}{\overset{W-1}{\mathrm{\&Sigma;}}}G(x,y)$

$\stackrel{\&OverBar;}{\mathrm{\&sigma;}}=\sqrt{\frac{1}{\mathrm{WH}}\underset{y=0}{\overset{H-1}{\mathrm{\&Sigma;}}}\underset{x=0}{\overset{W-1}{\mathrm{\&Sigma;}}}{(G(x,y)-\stackrel{\&OverBar;}{\mathrm{\&mu;}})}^2}$

然后对每个像素点的灰度值进行如下变换：

$I(x,y)=\frac{{\mathrm{\&sigma;}}_0}{\stackrel{\&OverBar;}{\mathrm{\&sigma;}}}(G(x,y)-\stackrel{\&OverBar;}{\mathrm{\&mu;}})+{\mathrm{\&mu;}}_0$

从而将图像灰度的均值和方差调整到给定值μ₀和σ₀，完成样本的灰度归一化。

A.2单个眼睛检测器的训练

单眼检测器的训练使用归一化后的单眼睛样本和非眼睛样本的微结构特征库，利用AdaBoost算法训练得到单只眼睛检测器；其具体训练过程如下：

A.2.1特征提取

由于微结构特征可以利用整幅图像的积分图快速得到图像中任意尺度、任意位置的一种微结构特征，从而为眼睛的实时检测提供了可能。本发明采用图6中的五种类型微结构模板来提取人眼模式的高维微结构特征；通过计算图像中对应黑色区域和白色区域内像素灰度的差值得到特征，表达出眼睛模式的特点。

A.2.1.1积分图像的快速计算

对于一个图像I(x，y)，(x≥0，y≥0)，定义其对应的积分图像II(x，y)为从(0，0)到(x，y)范围内的所有像素之和，即 $\mathrm{II}(x,y)=\underset{0\&le;x^{\&prime;}\&le;x}{\mathrm{\&Sigma;}}\underset{0\&le;y^{\&prime;}\&le;y}{\mathrm{\&Sigma;}}I(x^{\&prime;},y^{\&prime;}).$ 则原始图像I(x，y)中任何一个矩形区域中的像素和可通过积分图经3次加减法快速计算出。

A.2.1.2微结构特征的快速提取

以上任意一种微结构特征可以通过对应的积分图像经过若干次加减计算出。

我们以图6第(a)种类型特征的提取过程为例说明微结构特征的快速提取。如图7所示，在计算出整幅图像的积分图像后，对于左上角像素坐标为(x，y)、宽度为w个像素、高度为h个像素的第(a)种类型微结构特征可以如下计算：

g(x，y，w，h)＝2·II(x+w-1，y-1)+II(x+2·w-1，y+h-1)

               +II(x-1，y+h-1)-2·II(x+w-1，y+h-1)

               -II(x+2·w-1，y-1)-II(x-1，y-1)

其中x，y，w，h受到下列约束：

                   x₀≤x，y₀≤y，

             x+2·w≤x₀+24，y+h≤y₀+12

改变参数x，y，w，h可以提取不同位置、不同尺度的特征。其它类型的特征可以采取类似的方法提取。对于尺寸归一化为24×12像素的人眼模式，共得到42727个特征；

A.2.2特征选择和分类器设计

本发明使用AdaBoost算法选择特征和训练分类器。一方面AdaBoost算法在每轮迭代中选择出性能最好的基于单个特征的弱分类器，达到特征选择的目的；另一方面把这些弱分类器集成为一个强分类器，并通过将多个强分类器级联起来得到一个性能优秀的眼睛检测器。具体来说，包括以下几个组成部分：

A.2.2.1弱分类器的构造

弱分类器要具有非常高的分类速度，整个强分类器才能达到足够高的分类速度。本发明对应于每一维特征构造最简单的树分类器来作为弱分类器：

$h_j\left(\mathrm{sub}\right)=\left\{\begin{array}{cc}1,& \mathrm{if}{g}_j\left(\mathrm{sub}\right)<{\mathrm{\&theta;}}_j\mathrm{or}{g}_j\left(\mathrm{sub}\right)>{\mathrm{\&theta;}}_j\\ 0,& \mathrm{otherwise}\end{array}\right.$

其中sub是一个24×12像素的样本，g_j(sub)表示从该样本提取得到的第j个特征，θ_j是第j个特征对应的判决阈值，h_j(sub)表示使用第j个特征构造的树分类器的判决输出。这样每个弱分类器只需要比较一次阈值就可以完成判决；共可得到42727个弱分类器。

A.2.2.2基于AdaBoost算法的眼睛/非眼睛强分类器设计

本发明将AdaBoost算法结合上述弱分类器构造方法用于训练眼睛/非眼睛强分类器。训练算法步骤如下(记给定训练集L＝{(sub_i，l_i)}，i＝1，...，n，l_i＝0，1是样本图像sub_i的类别标号，分别对应非眼睛类别和眼睛类别)：

A.2.2.2.1参数的初始化

训练样本权重的初始化。初始每个样本的权重为 $D_1\left(i\right)=\frac{1}{n};$

选择迭代次数T(T即为希望使用的弱分类器的个数)，T应随着强分类器层数的增多逐渐增多，具体选择值见表1；

统计样本集上每个特征分布的极大值Fmax(j)和极小值Fmin(j)(其中j为特征序号，1≤j≤42727)；

A.2.2.2.2重复以下过程T次(t＝1，...，T)：

a.)使用第j个特征(1≤j≤42727)构造弱分类器h_j，然后在Fmin(j)和Fmax(j)间穷举搜索阈值参数θ_j，使得h_j的错误率ε_j最小，定义 ${\mathrm{\&epsiv;}}_j=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{D}_t\left(i\right)\&CenterDot;|h_j\left({\mathrm{sub}}_i\right)-l_i|;$

b.)令 ${\mathrm{\&epsiv;}}_t=\underset{1\&le;j\&le;42727}{\arg \min }{\mathrm{\&epsiv;}}_j,$ 并将其对应的弱分类器作为h_t；

c.)计算参数 ${\mathrm{\&alpha;}}_t=\frac{1}{2}\ln \left(\frac{1-{\mathrm{\&epsiv;}}_t}{{\mathrm{\&epsiv;}}_t}\right);$

d.)更新样本的权重 $D_{t+1}\left(i\right)=\frac{D_t\left(i\right)\exp (-{\mathrm{\&alpha;}}_t{y}_i{h}_t\left({\mathrm{sub}}_i\right))}{Z_t}$ 其中i＝1，...，n，

$Z_t=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{D}_t\left(i\right)\exp (-{\mathrm{\&alpha;}}_t{y}_i{h}_t\left({\mathrm{sub}}_i\right)).$

A.2.2.2.3输出最后的强分类器

对于通过强分类器判断的模式，本发明采用 $P\left(1\right|f\left(x\right))=\frac{e^{f\left(x\right)}}{e^{f\left(x\right)}+e^{-f\left(x\right)}}$ 得到模式属于眼睛的置信度，此处 $f\left(x\right)=\underset{t=1}{\overset{T}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_t(h_t\left(x\right)-\frac{1}{2}).$

A.2.2.3多层强分类器的级联

由于单层强分类器很难同时实现高分类速度，极低的FRR和极低的FAR等目标，所以整个眼睛检测器必须采用分层结构，由简单到复杂将多层强分类器级联起来，如图8所示。在检测时只要某个图像窗口不能通过其中任何一层，可立即排除掉，从而大大节省了计算量。

多层强分类器级联的具体训练步骤如下：

e)初始化i＝1；定义每层强分类器的训练目标是在眼睛训练集上FRR≤0.1％，在非眼睛训练集上FAR≤60％；定义整个眼睛检测器在眼睛训练集上的目标FRR≤1％，在非眼睛训练集上的目标FAR≤5×10^-4；

f)使用训练样本集采用(2.2.2)节中的方法训练第i层强分类器；

g)用训练得到的前i层分类器对样本集进行检测；

h)如果FRR、FAR未达到预定值，则i←i+1，返回步骤(b)继续进行训练；否则停止训练。

共训练得到7层结构从简单到复杂的强分类器；由这些强分类器级联构成一个完整的眼睛检测器。

A.3利用眼睛对分类器对眼睛候选对的验证

为了排除候选中的虚警和不精确的定位结果，本发明将左右眼睛候选配对，提取候选周围区域更多的特征，然后使用眼睛对分类器来验证每一对候选，最后根据后验概率从所有候选对中估计出双眼的最佳位置。眼睛对分类器的训练包括以下步骤：

A.3.1特征提取

采用图6中的五种类型微结构模板来提取双眼和非眼睛对样本的高维微结构特征。同样可以利用整幅图像的积分图像 $\mathrm{II}(x,y)=\underset{0\&le;x^{\&prime;}\&le;x}{\mathrm{\&Sigma;}}\underset{0\&le;y^{\&prime;}\&le;y}{\mathrm{\&Sigma;}}I(x^{\&prime;},y^{\&prime;})$ 快速得到任意尺度、任意位置的一种微结构特征。同样定义平方积分图像 $\mathrm{SqrII}(x,y)=\underset{0\&le;x^{\&prime;}\&le;x}{\mathrm{\&Sigma;}}\underset{0\&le;y^{\&prime;}\&le;y}{\mathrm{\&Sigma;}}I(x^{\&prime;},y^{\&prime;})\&CenterDot;I(x^{\&prime;},y^{\&prime;}),$ 用于计算每个矩形区域的方差。

由于每一种特征提取只涉及到矩形区域中像素和的计算问题，所以以上任意一种微结构特征可以通过积分图像若干次加减快速计算出。对于尺寸归一化为25×15像素的眼睛对模式，共得到71210个特征，组成该样本的特征矢量 FV(j)，1≤j≤71210。

为了减轻光照的影响，需要对每一个25×15像素样本图像进行灰度均值和方差的归一化，所以首先要快速计算出小窗口的均值 μ和方差 σ，然后对每一维特征进行归一化，其中的25×15像素小窗口区域(x₀≤x′≤x₀+24，y₀≤y′≤y₀+14)内的像素灰度和的 μ和 σ分别为

μ＝[II(x₀+24，y₀+14)+II(x₀-1，y₀-1)-II(x₀-1，y₀+14)-II(x₀+24，y₀-1)]/365

        σ＝{[SqrII(x₀+24，y₀+14)+SqrII(x₀-1，y₀-1)-SqrII(x₀-1，y₀+14)

           -SqrII(x₀+24，y₀-1)]/365- μ²}^1/2

对每一维微结构特征可以进行如下的归一化：

$\mathrm{FV}\left(j\right)=\frac{{\mathrm{\&sigma;}}_0}{\stackrel{\&OverBar;}{\mathrm{\&sigma;}}}\stackrel{\&OverBar;}{\mathrm{FV}}\left(j\right)$

对于一个25×15像素的样本图像，共得到71210维微结构特征FV(j)，1≤j≤71210。

A.3.2特征选择和分类器设计

为达到足够快的验证速度，一个眼睛对检测器必须采用分层结构(如图8所示)，先由结构简单的强分类器排除掉图像中的背景窗口，然后由结构复杂的强分类器对余下窗口进行判断。本部分仍然使用AdaBoost算法选择特征和训练分类器。具体来说包括以下几个组成部分：

A.3.2.1弱分类器的构造

弱分类器仍使用一维特征构造的树分类器：

$h_j\left(\mathrm{sub}\right)=\left\{\begin{array}{cc}1,& {\mathrm{ifg}}_j\left(\mathrm{sub}\right)<{\mathrm{\&theta;}}_j\mathrm{or}{g}_j\left(\mathrm{sub}\right)>{\mathrm{\&theta;}}_j\\ 0,& \mathrm{otherwise}\end{array}\right.$

共可得到71210个弱分类器。

A.3.2.2基于AdaBoost算法的眼睛/非眼睛强分类器设计

将CS-AdaBoost算法结合上述弱分类器构造方法用于训练眼睛对强分类器。训练步骤如下(记训练样本集L＝{(sub_i，l_i)}，i＝1，...，n，l_i＝0，1是样本图像sub_i的类别标号，分别对应非眼睛对类别和眼睛对类别，其中眼睛对样本n_eye个，非眼睛对样本n_noneye个)：

A.3.2.2.1参数的初始化

训练样本误分类风险的初始化。对于每个眼睛对样本的误分类风险 $C\left(i\right)=\frac{2c}{c+1},$ 对每个非眼睛对样本的误分类风险 $C\left(i\right)=\frac{2}{c+1}$ (c是眼睛对类别是非眼睛对类别的误分类风险倍数，c值应大于1且随着强分类器层数的增多逐渐减小接近于1，具体选择值见表2)；

训练样本权重的初始化。初始每个样本的权重为 $D_1\left(i\right)=\frac{1}{n};$

选择迭代次数T(T即为希望使用的弱分类器的个数)，T应随着强分类器层数的增多逐渐增多，具体选择值见表2；

统计样本集上每个特征分布的极大值Fmax(j)和极小值Fmin(j)(其中j为特征序号，1≤j≤71210)： $F\max \left(j\right)=\underset{1\&le;i\&le;n}{\max }F{V}_i\left(j\right),F\min \left(j\right)=\underset{1\&le;i\&le;n}{\min }F{V}_i\left(j\right);$

A.3.2.2.2重复以下过程T次(t＝1，...，T)：

a.)使用第j个特征(1≤j≤71210)构造弱分类器h_j，然后在Fmin(j)和Fmax(j)间穷举搜索阈值参数θ_j，使得h_j的错误率ε_j最小，定义 ${\mathrm{\&epsiv;}}_j=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{D}_t\left(i\right)\&CenterDot;|h_j\left({\mathrm{sub}}_i\right)-l_i|;$

b.)令 ${\mathrm{\&epsiv;}}_t=\underset{1\&le;j\&le;71210}{\arg \min }{\mathrm{\&epsiv;}}_j,$ 并将其对应的弱分类器作为h_t；

c.)计算参数 ${\mathrm{\&alpha;}}_t=\frac{1}{2}\ln \left(\frac{1-{\mathrm{\&epsiv;}}_t}{{\mathrm{\&epsiv;}}_t}\right);$

d.)更新样本的权重 $D_{t+1}\left(i\right)=\frac{D_t\left(i\right)\exp (-{\mathrm{\&alpha;}}_t{y}_i{h}_t\left({\mathrm{sub}}_i\right))}{Z_t},$ 其中i＝1，...，n，

$Z_t=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{D}_t\left(i\right)\exp (-{\mathrm{\&alpha;}}_t{y}_i{h}_t\left({\mathrm{sub}}_i\right)).$

A.3.2.2.3输出最后的强分类器

对于通过强分类器判断的模式，本发明采用 $P\left(1\right|f\left(\mathrm{sub}\right))=\frac{e^{f\left(\mathrm{sub}\right)}}{e^{f\left(\mathrm{sub}\right)}+e^{-f\left(\mathrm{sub}\right)}}$ 得到模式属于眼睛对的后验概率，此处 $f\left(\mathrm{sub}\right)=\underset{t=1}{\overset{T}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_t(h_t\left(\mathrm{sub}\right)-\frac{1}{2}).$

A.3.2.3多层强分类器的级联

整个眼睛对验证器采用分层结构，如图8所示。

多层强分类器级联的具体训练步骤如下：

i)初始化i＝1；定义每层强分类器的训练目标是在眼睛对训练集上FRR≤0.1％，在非眼睛对训练集上FAR≤50％；定义整个眼睛对检测器在眼睛对训练集上的目标FRR≤1％，在非眼睛对训练集上的目标FAR≤1×10^-3；

j)使用训练样本集采用4.2.2节中的方法训练第i层强分类器；

k)用训练得到的前i层分类器对样本集进行检测；

l)如果FRR、FAR未达到预定值，则i←i+1，返回步骤(b)继续进行训练；否则停止训练。

共训练得到9层结构从简单到复杂的强分类器，使用了1347个特征。；由这些强分类器级联构成一个完整的眼睛对检测器。

B)测试系统的实现

而眼睛检测阶段则包括以下步骤：

B.1估计左右眼睛所在的区域Ω_lefteye和Ω_righteye

使用人脸灰度图像竖直方向投影的均值、方差函数来确定Ω_lefteye和Ω_righteye在水平方向上的分界线，然后根据从训练样本中统计到的眼睛在人脸区域竖直方向上的分布规律，确定Ω_lefteye和Ω_righteye的上下边界，从而估计出Ω_lefteye和Ω_righteye。

B.1.1利用投影函数确定眼睛区域的左右分界线

取检测到的人脸区域的上半部分，将垂直方向灰度投影的均值函数与方差函数的比值

的峰值作为左右两眼所在区域的竖直分界线，如图5(b)示。定义此波峰的位置x_peak，即

$x_{\mathrm{peak}}=\underset{0\&le;x<w_{\mathrm{face}}}{\arg \max }\frac{\mathrm{MP}{F}_v\left(x\right)}{\mathrm{VP}{F}_v\left(x\right)}$

B.1.2利用样本统计信息得到眼睛区域的上下边界

Ω_lefteye、Ω_righteye的上下边界则可以利用人脸样本中眼睛位置在竖直方向的分布范围统计出来。有

Ω_lefteye＝(x，y)，0＜x＜x_peak，0.05H_face＜y＜0.45H_face

Ω_righteye＝(x，y)，x_peak＜x＜W_face，0.05H_face＜y＜0.45H_face

B.2利用局部特征检测眼睛候选

在Ω_lefteye、Ω_righteye两个区域中分别使用眼睛检测器检测左右眼睛候选位置，并估计出每个候选位置的置信度。眼睛候选的具体检测过程如下：

B.2.1计算输入人脸图像的积分图像

计算输入人脸图像I(x，y)对应的积分图像II(x，y)和平方积分图像SqrII(x，y)：

B.2.2判别左右眼区域中的每一个的小窗口

判别Ω_lefteye、Ω_righteye两个区域中的每一个的24×12像素尺寸的小窗口，对任一个小窗口[x₀，y₀；x₀+23，y₀+11]的处理步骤如下：

(B.2.2.1).利用整幅图像的积分图和平方积分图计算小窗口的均值和方差；

(B.2.2.2).利用积分图提取小窗口的微结构特征，并进行归一化处理；

(B.2.2.3).采用训练好的第i层强分类器对小窗口进行判断；

(B.2.2.4).如果通过判断，则i←i+1，返回步骤(B.2.2.3)；否则抛弃掉该小窗口；

如果通过所有层强分类器的判断，则认为该小窗口包含一个眼睛候选，输出其位置及

其置信度。否则抛弃掉该小窗口，不进行后续处理；

由于真实的眼睛会在相邻位置处被检测到多次，并且眉毛和境框也常被误认为是眼睛候选。所以本发明根据候选的置信度大小输出最多前20个候选位置。

B.3眼睛候选对的验证

为了排除候选中的虚警和不精确的定位结果，本发明将左右眼睛候选配对，提取候选周围区域更多的特征，然后使用眼睛对分类器来验证每一对候选，最后根据后验概率从所有候选对中估计出双眼的最佳位置。对每一对眼睛候选，处理步骤包括以下：

B.3.1根据左右眼候选位置割取图像进行尺寸归一化

对每一对眼睛候选，首先根据左右眼候选位置按照模板(图10)所示位置割取图像，然后进行尺寸归一化和光照归一化，得到25×15像素的眼睛候选对图像PI(x，y)。

B.3.2输入图像积分图像的计算

用下式分别计算图像PI(x，y)对应的积分图像PII(x，y)：

B.3.3眼睛候选对图像PI(x，y)的判断

对每一个图像的验证步骤如下：

(B.3.3.1).利用整幅图像的积分图PII(x，y)提取微结构特征；

(B.3.3.2).采用训练好的第i层强分类器对图像进行判断；

(B.3.3.3).如果通过判断，则i←i+1，返回步骤(B.3.3.1)；否则抛弃掉该眼睛候选对；如果通过所有层强分类器的判断，则认为该候选对为有效候选对，输出其位置及其置信度；

最后，对所有通过判断的候选对按照置信度从大到小排序，取置信度最大的前3对候选对的平均位置作为眼睛中心位置。输出眼睛位置。

C)眼睛定位误差测试标准

为了比较不同定位算法的精度，本发明采用一种与人脸尺寸无关的定位误差度量标准。由于正面人脸的双眼中心间距一般不随表情等改变，具有相对的稳定性，所以以人工标定的双眼中心间距为基准。

对于一张人脸，设人工标定的左右眼和嘴巴位置分别为P_le、P_re和P_m，自动定位的左右眼和嘴巴位置分别为P_le′、P_re′和P_m′，d_lr是P_le和P_re之间的欧氏距离，d_le为P_le′与P_le间的欧氏距离，d_re为P_re′与P_re间的欧氏距离，d_m为P_m′与P_m间的欧氏距离。

则眼睛定位误差定义为：

$e_{\mathrm{eye}}=\frac{\max (d_{\mathrm{le}},d_{\mathrm{re}})}{d_{\mathrm{lr}}}$

考虑到不同人的手工标定结果之间的差异都可能达到0.10，本文以0.15作为定位准确与否的界限，当眼睛定位误差e_eye＜0.15时，认为双眼的定位是准确的；

实施例1：基于人脸的识别签到系统(如图9)

人脸认证是近来受到广泛关注的生物特征认证技术中最友好的一种认证方式，旨在利用人脸图像进行计算机自动个人身份认证，以代替传统的密码、证件、印章等身份认证方式，具有不易伪造、不会丢失以及方便等优点。本系统利用人脸信息来对人身份进行自动验证。其中使用的人脸检测模块是本文的研究成果。此外本系统还参加了ICPR2004组织的FAT2004竞赛。此次竞赛共有包括来自美国的Carnegie Mellon大学、德国的Neuroinformatik研究所、英国的Surrey大学等11个学术和商业机构的13个人脸识别算法参加。本实验室所提交的系统在三个评价指标上都比第二名以低约50％错误率的结果获得第一名。本文的研究成果应用在本实验实所提交系统的眼睛定位模块中，从而保证了系统的总体性能居于世界先进水平。

综上所述，本发明能够在具有复杂背景的图像中鲁棒精确地定位人脸，在实验中获得了优异的定位结果，具有非常广泛的应用前景。

Claims (1)

1.复杂背景图像中鲁棒的眼睛精确定位方法，其特征在于：

首先对收集到的眼睛样本和眼睛对样本进行尺寸归一化和光照归一化，以消除输入样本因光照和尺寸的不同而造成的类内差异，然后提取能反映模式结构特点的微结构特征，利用AdaBoost算法将基于这些微结构特征的弱分类器组成强分类器，然后把多层强分类器级联成一个完整的眼睛检测器和眼睛对验证器，从候选中得到精确的眼睛位置；

在由图像采集设备和计算机组成的系统中，所述眼睛精确定位方法包括训练阶段和检测阶段，其中训练阶段依次含有以下步骤：

步骤1样本采集与归一化

步骤1.1样本的采集

为训练单眼检测器，采用人手工标定的方法，从人脸图片中切割出单只眼睛图像，并从人脸图像非眼睛部位随机割取非眼睛样本，单只眼睛图像和非眼睛图像分别作为正例样本和反例样本用于训练单眼检测器；

另外为训练眼睛对检测器，还根据人手工标定的眼睛位置，按照设定的比例从人脸图像中剪裁得到眼睛对样本，并从人脸图像中随机割取非眼睛对样本，眼睛对图像和非眼睛对图像分别作为正例样本和反例样本用于训练眼睛对检测器；这样采集到的样本不只包括两只眼睛还包括眉毛、鼻子部位，体现了眼睛与周围器官的约束关系；

所述从人脸图像中剪裁得到眼睛对样本是按下述比例进行的：以双眼眼球中心的连线作为X轴，以垂直于所述双眼眼球中心的连线的垂直线作为Y轴，垂足位于双眼内侧间距¹/₂处的所述中心的连线上；当设定双眼眼球中心的间距为dist时，双眼眼球中心距左、右外边框的水平距离各为^dist/₃，而剪裁时上、下两条边框各距垂足距离为^dist/₂；

步骤1.2尺寸归一化

将收集好的各尺寸的样本图像，包括单眼和非单眼、眼睛对和非眼睛对图像，归一化为指定尺寸：设原始样本图像为[F(x，y)]_M×N，图像宽度为M，高度为N，图像位于第x行第y列的像素点的值为F(x，y)，0≤x＜M，0≤y＜N；设尺寸归一化后图像为[G(x，y)]_W×H，图像宽度为W，高度为H，输入图像[F(x，y)]_M×N与归一化后图像[G(x，y)]_W×H之间的对应关系为：

                      G(x，y)＝F(x/r_x，y/r_y)

其中r_x和r_y分别为x和y方向的尺度变换因子：r_x＝N/H，r_y＝M/W，根据线性插值方法，对于给定(x，y)，令：

$\left\{\begin{array}{c}x/r_x=x_0+{\mathrm{\&Delta;}}_x\\ y/r_y=y_0+{\mathrm{\&Delta;}}_y\end{array}\right.,0\&le;{\mathrm{\&Delta;}}_x,{\mathrm{\&Delta;}}_y<1$

其中： $\left\{\begin{array}{c}{x}_0=[x/r_x],{\mathrm{\&Delta;}}_x=x/r_x-x_0\\ y_0=[y/r_y],{\mathrm{\&Delta;}}_y=y/r_y-y_0\end{array}\right.,$ [·]为取整函数，插值过程可表示为：

        G(x，y)＝F(x₀+Δ_x，y₀+Δ_y)＝F(x₀，y₀)Δ_xΔ_y+F(x₀+1，y₀)(1-Δ_x)Δ_y

        +F(x₀，y₀+1)Δ_x(1-Δ_y)+F(x₀+1，y₀+1)(1-Δ_x)(1-Δ_y)

步骤1.3灰度归一化

由于外界光照、成像设备因素可能导致图像亮度或对比度异常，出现强阴影或反光情况，所以还需要对几何归一化后的样本进行灰度均值、方差归一化处理，将样本图片灰度的均值 μ和方差 σ调整到给定值μ₀和σ₀：

首先采用下式计算样本图像G(x，y)，0≤x＜W，0≤y＜H的均值和方差：

$\stackrel{\&OverBar;}{\mathrm{\&mu;}}=\frac{1}{\mathrm{WH}}\underset{y=0}{\overset{H-1}{\mathrm{\&Sigma;}}}\underset{x=0}{\overset{W-1}{\mathrm{\&Sigma;}}}G(x,y)$

$\stackrel{\&OverBar;}{\mathrm{\&sigma;}}=\sqrt{\frac{1}{\mathrm{WH}}\underset{y=0}{\overset{H-1}{\mathrm{\&Sigma;}}}\underset{x=0}{\overset{W-1}{\mathrm{\&Sigma;}}}{(G(x,y)-\stackrel{\&OverBar;}{\mathrm{\&mu;}})}^2}$

然后对每个像素点的灰度值进行如下变换：

$I(x,y)=\frac{{\mathrm{\&sigma;}}_0}{\stackrel{\&OverBar;}{\mathrm{\&sigma;}}}(G(x,y)-\stackrel{\&OverBar;}{\mathrm{\&mu;}})+{\mathrm{\&mu;}}_0$

从而将图像灰度的均值和方差调整到给定值μ₀和σ₀，完成样本的灰度归一化；

步骤2单眼检测器的训练

单眼检测器的训练使用归一化后的单眼睛样本和非眼睛样本的微结构特征库，利用AdaBoost算法训练得到单只眼睛检测器；其具体训练过程如下：

步骤2.1特征提取

步骤2.1.1设定下述五种类型微结构模板；

设定：用下述五种类型微结构模板来提取人脸样本的五种微结构特征，每一种微结构特征通过计算模板黑色区域和白色区域内所对应图像中像素灰度和的差值来得到，所述五种微结构特征 g(x，y，w，h)分别表示如下：

(a)类：黑色区域和白色区域左右对称且面积相等，用w表示其中各区域的宽，h表示其中各区域的高；

(b)类：黑色区域和白色区域上下对称且面积相等，w、h的定义与(a)类相同；

(c)类：在水平方向，黑色区域位于两块白色区域之间，且黑色区域和每块白色区域的面积相等，w、h的定义与(a)类相同；

(d)类：两块黑色区域分别处于第一象限和第三象限，两块白色区域分别处于第二和第四象限，每块黑色区域和每块白色区域的面积相等，w、h的定义与(a)类相同：

(e)类：黑色区域位于白色区域的中央，且黑色区域的上、下两边，左、右两边分别距离白色区域的上、下两边，左、右两边2个像素，w、h分别表示白色区域周框的宽和高：

步骤2.1.2快速计算积分图像：

对于所述图像I(x，y)，定义其对应的积分图像II(x，y)为从(0，0)到(x，y)范围内的所有像素之和，即 $\mathrm{II}(x,y)=\underset{0\&le;x^{\&prime;}\&le;x}{\mathrm{\&Sigma;}}\underset{0\&le;y^{\&prime;}\&le;y}{\mathrm{\&Sigma;}}I(x^{\&prime;},y^{\&prime;});$

步骤2.1.3提取单眼睛和非单眼样本的高维微结构特征：

每一种微结构特征通过计算模板所覆盖图像中黑色区域和白色区域内像素灰度和的差值来得到，并且模板相对于图像的位置以及模板的尺寸可以改变，由于每一种特征提取只涉及到矩形区域中像素和的计算问题，便于利用整幅图像的积分图像得到任意尺度、任意位置的一种微结构特征；

(a)   g(x，y，w，h)＝2·II(x+w-1，y-1)+II(x+2·w-1，y+h-1)

                  +II(x-1，y+h-1)-2·II(x+w-1，y+h-1)

                  -II(x+2·w-1，y-1)-II(x-1，y-1)

(b)   g(x，y，w，h)＝2II(x+w-1，y+h-1)+II(x-1，y-1)-II(x+w-1，y-1)

                  -2II(x-1，y+h-1)-II(x+w-1，y+2h-1)+II(x-1，y+2h-1)

(c)   g(x，y，w，h)＝2II(x+2w-1，y+h-1)+2II(x+w-1，y-1)-2II(x+2w-1，y-1)

               -2II(x+w-1，y+h-1)-II(x+3w-1，y+h-1)-II(x-1，y-1)

               +II(x-1，y+h-1)+II(x+3w-1，y-1)

(d)   g(x，y，w，h)＝-II(x-1，y-1)-II(x+2w-1，y-1)-II(x-1，y+2h-1)

               -4II(x+w-1，y+h-1)+2II(x+w-1，y-1)+2II(x-1，y+h-1)

               -II(x+2w-1，y+2h-1)+2II(x+2w-1，y+h-1)+2II(x+w-1，y+2h-1)

(e)   g(x，y，w，h)＝II(x+w-1，y+h-1)+II(x-1，y-1)-II(x+w-1，y-1)-II(x-1，y+h-1)

               -II(x+w-3，y+h-3)-II(x+1，y+1)+II(x+1，y+h-3)+II(x+w-1，y+1)

改变参数x，y，w，h的值可提取样本图像不同位置的微结构特征，对于尺寸归一化为24×12的眼睛/非眼睛样本图像可得到42727个特征，从而组成该样本图像的特征量FV(j)，1≤j≤42727；

步骤2.2归一化样本图像特征量

首先计算24×12像素的样本图像区域(x₀≤x′≤x₀+23，y₀≤y′≤y₀+11)内的像素灰度和的均值 μ和方差 σ：

μ＝[II(x₀+23，y₀+11)+II(x₀-1，y₀-1)-II(x₀-1，y₀+11)-II(x₀+23，y₀-1)]/288

      σ＝{[SqrII(x₀+23，y₀+11)+SqrII(x₀-1，y₀-1)-SqrII(x₀-1，y₀+11)

         -SqrII(x₀+23，y₀-1)]/288- μ²}^1/2

其次，对每一个微结构特征进行如下归一化：

$\mathrm{FV}\left(j\right)=\frac{{\mathrm{\&sigma;}}_0}{\stackrel{\&OverBar;}{\mathrm{\&sigma;}}}\stackrel{\&OverBar;}{\mathrm{FV}}\left(j\right),$

对于一个24×12像素的样本图像，共得到42727维微结构特征FV(j)，1≤j≤42727；

步骤2.3特征选择和分类器设计

使用AdaBoost算法选择特征和训练分类器：一方面AdaBoost算法在每轮迭代中选择出性能最好的基于单个特征的弱分类器，达到特征选择的目的；另一方面把这些弱分类器集成为一个强分类器，并通过将多个强分类器级联起来得到一个完整的眼睛检测器；包括以下几个组成部分：

步骤2.3.1弱分类器的构造

对应于每一维特征，构造最简单的树分类器来作为弱分类器：

其中sub是一个24×12像素的样本，g_j(sub)表示从该样本提取得到的第j个特征，θ_j是第j个特征对应的判决阈值，该阈值通过统计所有采集的眼睛和非眼睛样本的第j个特征使得眼睛样本的错误拒绝率FRR满足规定的要求来得到，h_j(sub)表示使用第j个特征构造的树分类器的判决输出，这样每个弱分类器只需要比较一次阈值就可以完成判决；共可得到42727个弱分类器；

步骤2.3.2基于AdaBoost算法的眼睛/非眼睛强分类器设计

将AdaBoost算法结合上述弱分类器构造方法用于训练眼睛/非眼睛强分类器；训练算法步骤如下，记给定训练集L＝{(sub_i，l_i)}，i＝1，...，n，l_i＝0，1是样本图像sub_i的类别标号，分别对应非眼睛类别和眼睛类别，其中眼睛样本n_eye个，非眼睛样本n_noneye个；

步骤2.3.2.1参数的初始化

训练样本权重的初始化，初始每个样本的权重为 $D_1\left(i\right)=\frac{1}{n};$

选择迭代次数T，T是希望使用的弱分类器的个数，T随着强分类器层数的增多逐渐增多；

统计样本集上每个特征分布的极大值Fmax(j)和极小值Fmin(j)，其中j为特征序号，1≤j≤42727；

步骤2.3.2.2重复以下过程T次，t＝1，...，T：

a.)使用第j个特征，1≤j≤42727构造弱分类器h_j，然后在Fmin(j)和Fmax(j)间穷举搜索阈值参数θ_j，使得h_j的错误率ε_j最小，定义 ${\mathrm{\&epsiv;}}_j=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{D}_t\left(i\right)\&CenterDot;|h_j\left({\mathrm{sub}}_i\right)-l_i|;$

b.)令 ${\mathrm{\&epsiv;}}_t=\underset{1\&le;j\&le;42727}{\arg \min }{\mathrm{\&epsiv;}}_j,$ 并将其对应的弱分类器作为h_t；

c.)计算参数 ${\mathrm{\&alpha;}}_t=\frac{1}{2}\ln \left(\frac{1-{\mathrm{\&epsiv;}}_t}{{\mathrm{\&epsiv;}}_t}\right);$

d.)更新样本的权重 $D_{t+1}\left(i\right)=\frac{D_t\left(i\right)\exp (-{\mathrm{\&alpha;}}_t{y}_i{h}_t\left({\mathrm{sub}}_i\right))}{Z_t},$ 其中i＝1，...，n，

$Z_t=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{D}_t\left(i\right)\exp (-{\mathrm{\&alpha;}}_t{y}_i{h}_t\left({\mathrm{sub}}_i\right));$

步骤2.3.2.3输出最后的强分类器

对于通过强分类器判断的模式，采用 $P\left(1\right|f\left(x\right))=\frac{e^{f\left(x\right)}}{e^{f\left(x\right)}+e^{-f\left(x\right)}}$ 得到模式属于眼睛的后验概率，此处 $f\left(x\right)=\underset{t=1}{\overset{T}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_t(h_t\left(x\right)-\frac{1}{2});$

步骤2.3.3多层强分类器的级联

整个眼睛检测器采用分层结构，由简单到复杂将多层强分类器级联起来，多层强分类器级联的具体训练步骤如下：

a)初始化i＝1；定义每层强分类器的训练目标是在眼睛训练集上FRR≤0.1％，在非眼睛训练集上错误接收率FAR≤60％；定义整个眼睛检测器在眼睛训练集上的目标FRR≤1％，在非眼睛训练集上的目标FAR≤5×10^-4；

b)使用训练样本集采用步骤2.3.2所述的基于AdaBoost算法的来训练第i层眼睛/非眼睛强分类器；

c)用训练得到的前i层分类器对样本集进行检测；

d)如果FRR、FAR未达到预定值，则i值增加1，返回步骤(b)继续进行训练；否则停止训练；

共训练得到7层结构从简单到复杂的强分类器；由这些强分类器级联构成一个完整的眼睛检测器；

步骤3眼睛对分类器的训练

眼睛对分类器的训练使用归一化后的眼睛对样本和非眼睛对样本，分别提取两类样本的特征库，利用AdaBoost算法训练得到眼睛对分类器，眼睛对分类器所使用微结构特征及训练过程与单眼检测器的完全相同，都是使用AdaBoost算法从大量微结构特征中选择基于单个特征的弱分类器来构成强分类器，并将多层强分类器级联在一起；眼睛对分类器的具体训练过程同样包括特征提取、特征选择、强分类器的训练、多层强分类器的级联：

步骤3.1特征提取

使用归一化后的眼睛对样本和非眼睛对样本按上述步骤2.1所述的特征提取方法提取眼睛对和非眼睛对样本的高维微结构特征，对于尺寸归一化为25×15像素的样本，共得到71210个特征，组成该样本的特征量是 FV(j)，1≤j≤71210；

步骤3.2为了减轻光照的影响，按步骤2.2所述的归一化样本图像特征量方法对每一个25×15像素样本进行灰度均值和方差的归一化：

首先，计算出所述25×15像素样本的灰度均值 μ和方差 σ，样本在整幅图像中的坐标区域为(x₀≤x′≤x₀+24，y₀≤y′≤y₀+14)，则 μ和 σ分别为：

μ＝[II(x₀+24，y₀+14)+II(x₀-1，y₀-1)-II(x₀-1，y₀+14)-II(x₀+24，y₀-1)]/365

     σ＝{[SqrII(x₀+24，y₀+14)+SqrII(x₀-1，y₀-1)-SqrII(x₀-1，y₀+14)

        -SqrII(x₀+24，y₀-1)]/365- μ²}^1/2

其次对每一个微结构特征进行如下的归一化：

$\mathrm{FV}\left(j\right)=\frac{{\mathrm{\&sigma;}}_0}{\stackrel{\&OverBar;}{\mathrm{\&sigma;}}}\stackrel{\&OverBar;}{\mathrm{FV}}\left(j\right)$

对于一个25×15像素的样本图像，共得到71210维微结构特征FV(j)，1≤j≤71210；

步骤3.3特征选择及分类器设计

眼睛对检测器也采用分层结构，先由结构简单的强分类器排除掉图像中的背景窗口，然后由结构复杂的强分类器对余下窗口进行判断，包括以下组成部分：

步骤3.3.1弱分类器的构造

弱分类器仍使用一维特征构造的树分类器；

共可得到71210个弱分类器；

步骤3.3.2基于AdaBoost算法的眼睛对/非眼睛对强分类器设计

将CS-AdaBoost算法结合上述弱分类器构造方法用于训练眼睛对强分类器，训练步骤如下，记训练样本集L＝{(sub_i，l_i)}，i＝1，...，n，l_i＝0，1是样本图像sub_i的类别标号，分别对应非眼睛对类别和眼睛对类别，其中眼睛对样本n_eye个，非眼睛对样本n_noneye个：

步骤3.3.2.1参数的初始化

训练样本误分类风险的初始化，对于每个眼睛对样本的误分类风险 $C\left(i\right)=\frac{2c}{c+1},$ 对每个非眼睛对样本的误分类风险 $C\left(i\right)=\frac{2}{c+1},$ c是眼睛对类别是非眼睛对类别的误分类风险倍数，c值大于1且随着强分类器层数的增多逐渐减小接近于1；

训练样本权重的初始化，初始每个样本的权重为 $D_1\left(i\right)=\frac{1}{n};$

选择迭代次数T，T即为希望使用的弱分类器的个数，T随着强分类器层数的增多逐渐增多；

统计样本集上每个特征分布的极大值Fmax(j)和极小值Fmin(j)，其中j为特征序号，1≤j≤71210：

$F\max \left(j\right)=\underset{1\&le;i\&le;n}{\max }{\mathrm{FV}}_i\left(j\right),F\min \left(j\right)=\underset{1\&le;i\&le;n}{\min }{\mathrm{FV}}_i\left(j\right);$

步骤3.3.2.2重复以下过程T次，t＝1，...，T：

a.)使用第j个特征，1≤j≤71210，来构造弱分类器h_j，然后在Fmin(j)和Fmax(j)间穷举搜索阈值参数θ_j，使得h_j的错误率ε_j最小，定义 ${\mathrm{\&epsiv;}}_j=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{D}_t\left(i\right)\&CenterDot;|h_j\left({\mathrm{sub}}_i\right)-l_i|;$

b.)令 ${\mathrm{\&epsiv;}}_t=\underset{1\&le;j\&le;71210}{\arg \min }{\mathrm{\&epsiv;}}_j,$ 并将其对应的弱分类器作为h_t；

c.)计算参数 ${\mathrm{\&alpha;}}_t=\frac{1}{2}\ln \left(\frac{1-{\mathrm{\&epsiv;}}_t}{{\mathrm{\&epsiv;}}_t}\right);$

d.)更新样本的权重 $D_{t+1}\left(i\right)=\frac{D_t\left(i\right)\exp (-{\mathrm{\&alpha;}}_t{y}_i{h}_t\left({\mathrm{sub}}_i\right))}{Z_t},$ 其中i＝1，...，n，

$Z_t=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{D}_t\left(i\right)\exp (-{\mathrm{\&alpha;}}_t{y}_i{h}_t\left({\mathrm{sub}}_i\right));$

步骤3.3.2.3输出最后的强分类器

对于通过强分类器判断的模式，采用 $P\left(1\right|f\left(\mathrm{sub}\right))=\frac{e^{f\left(\mathrm{sub}\right)}}{e^{f\left(\mathrm{sub}\right)}+e^{-f\left(\mathrm{sub}\right)}}$ 得到模式属于眼睛对的置信度，此处 $f\left(\mathrm{sub}\right)=\underset{t=1}{\overset{T}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_t(h_t\left(\mathrm{sub}\right)-\frac{1}{2});$

步骤3.3.3多层强分类器的级联

整个眼睛对验证器采用分层结构，多层强分类器级联的训练步骤如下：

a)初始化i＝1；定义每层强分类器的训练目标是在眼睛对训练集上FRR≤0.1％，在非眼睛对训练集上FAR≤50％；定义整个眼睛对检测器在眼睛对训练集上的目标FRR≤1％，在非眼睛对训练集上的目标FAR≤1×10^-3；

b)使用训练样本集采用步骤3.3.2所述的AdaBoost算法来训练第i层眼睛对/非眼睛对强分类器；

c)用训练得到的前i层分类器对样本集进行检测；

d)如果FRR、FAR未达到预定值，则i值增加1，返回步骤(b)继续进行训练；否则停止训练；

共训练得到9层结构从简单到复杂的强分类器；由这些强分类器级联构成一个完整的眼睛对检测器；

在眼睛检测阶段，对于一张输入的人脸区域，使用以下步骤来精确定位眼睛中心位置：

步骤1估计左右眼睛所在的区域Ω_lefteye和Ω_righteye；

使用人脸图像竖直方向投影的均值、方差函数来确定Ω_lefteye和Ω_righteye在水平方向上的分界线，然后根据从训练样本中统计到的眼睛在人脸区域竖直方向上的分布规律，确定Ω_lefteye和Ω_righteye的上下边界，从而估计出Ω_lefteye和Ω_righteye；

步骤1.1利用投影函数确定眼睛区域的左右分界线

取检测到的人脸区域的上半部分，以其垂直方向灰度投影的均值函数与方差函数的比值

$\frac{{\mathrm{MPF}}_v\left(x\right)}{{\mathrm{VPF}}_v\left(x\right)}$ 的峰值作为左右两眼所在区域的竖直分界线，定义此位置为x_peak：

$x_{\mathrm{peak}}=\underset{0\&le;x<W_{\mathrm{face}}}{\arg \max }\frac{{\mathrm{MPF}}_v\left(x\right)}{{\mathrm{VPF}}_v\left(x\right)}$

步骤1.2利用样本统计信息得到眼睛区域的上下边界

Ω_lefteye、Ω_righteye的上下边界则可以利用样本中眼睛在人脸竖直方向的分布位置统计出来；有

        Ω_lefteye＝(x，y)，0＜x＜x_peak，0.05H_face＜y＜0.45H_face

        Ω_righteye＝(x，y)，x_peak＜x＜W_face，0.05H_face＜y＜0.45H_face

其中H_face、W_face为利用样本统计得出的人脸高度和宽度；

步骤2利用单眼检测器检测眼睛候选

在Ω_lefteye、Ω_righteye两个区域中分别使用单眼检测器检测给出左右眼睛20个候选位置，并估计出每个候选位置的置信度，眼睛候选的具体检测过程如下：

步骤2.1输入人脸图像的积分图像的计算

计算输入人脸图像I(x，y)对应的积分图像II(x，y)和平方积分图像SqrII(x，y)；

步骤2.2判别左右眼区域中的每一个的小窗口

判别Ω_lefteye、Ω_righteye两个区域中的每一个的24×12像素尺寸的小窗口，对任一个小窗口[x₀，y₀；x₀+23，y₀+11]的处理步骤如下：

步骤2.2.1.利用整幅图像的积分图II_i(x，y)和平方积分图SqrII_i(x，y)计算小窗口的均值μ和方差 σ；

  μ＝[II(x₀+23，y₀+11)+II(x₀-1，y₀-1)-II(x₀-1，y₀+11)-II(x₀+23，y₀-1)]/288

       σ＝{[SqrII(x₀+23，y₀+11)+SqrII(x₀-1，y₀-1)-SqrII(x₀-1，y₀+11)

          -SqrII(x₀+23，y₀-1)]/288- μ²}^1/2

步骤2.2.2利用训练阶段步骤2.1的特征提取方法提取该小窗口的微结构特征，并进行特征归一化处理；

步骤2.2.3采用训练好的多层眼睛/非眼睛强分类器对小窗口进行判断；如果通过所有层强分类器的判断，则认为该小窗口包含一个眼睛候选，输出其位置及其置信度；否则抛弃掉该小窗口，不进行后续处理；最后根据候选的置信度大小输出最多前20个候选位置；

步骤3眼睛候选对的验证

为了排除眼睛候选中的误检测和不精确的定位结果，将左右眼睛候选配对，提取候选周围区域更多的特征，然后使用眼睛对分类器来验证每一对候选，最后根据后验概率从所有候选对中估计出双眼的最佳位置，对每一对眼睛候选，包括以下处理步骤：

步骤3.1根据左右眼候选位置割取图像进行尺寸归一化

对每一对眼睛候选，首先根据左右眼候选位置按照训练阶段步骤1.1中眼睛对样本的割取方式来割取图像，然后进行尺寸归一化和光照归一化，得到25×15像素的眼睛候选对图像PI(x，y)；

步骤3.2输入图像积分图像的计算

计算图像PI(x，y)对应的积分图像 $\mathrm{PII}(x,y)=\underset{0\&le;x^{\&prime;}\&le;x}{\mathrm{\&Sigma;}}\underset{0\&le;y^{\&prime;}\&le;y}{\mathrm{\&Sigma;}}\mathrm{PI}(x^{\&prime;},y^{\&prime;});$

步骤3.3眼睛候选对图像PI(x，y)的判断

对每一眼睛候选对图像PI(x，y)的验证步骤如下：

步骤3.3.1利用整幅图像的积分图提取微结构特征；

步骤3.3.2采用训练好的第i层强分类器对图像进行判断；

步骤3.3.3如果通过判断，则i值增加1，返回步骤3.3.2；否则抛弃掉该眼睛候选对；如果通过所有层强分类器的判断，则认为该候选对为有效候选对，输出其位置及其置信度；

最后，对所有通过判断的候选对按照置信度从大到小排序，取置信度最大的前3对候选对的平均位置作为眼睛中心位置，输出眼睛位置。

Images