CN104123543A - 一种基于人脸识别的眼球运动识别方法 - Google Patents

Abstract

本发明公开了一种基于人脸识别的眼球运动识别方法，包括：眼球检测，对多幅人脸的图像进行边缘检测，定位眼球的初始化特征点，根据初始化特征点计算眼球相对于人脸的位置与比率，得到人脸尺度角度归一化比率；眼球识别，获取一幅待检测的人脸图像，根据人脸尺度角度归一化比率计算人脸图像中眼球的位置；眼球运动识别，识别两幅以上人脸图像中眼球的位置，根据位置的变化识别眼球运动。本发明能够准确定位眼球在人脸上的位置，不仅支持静态人脸上的眼球识别，还能够支持动态视频中的人脸上的眼球识别。

Description

一种基于人脸识别的眼球运动识别方法

技术领域

本发明涉及人脸识别技术，尤其涉及一种基于人脸识别的眼球运动识别方法。

背景技术

人脸识别是计算机视觉与模式识别领域非常热门的研究课题，在公共安全、通信、虚拟现实、信息检索等方面都有重要应用。在公共安全和信息安全方面，基于人脸识别的五官检测和表情识别，是快速有效的自动身份验证方式。当前，基于生物特征的识别技术主要包括：指纹识别、视网膜识别、虹膜识别、步态识别、静脉识别、人脸识别等。与其他识别方法相比，人脸识别由于具有直接、友好、方便的特点，又不会对使用者造成任何心理障碍，易于为用户所接受。除此之外，通过对人脸识别结果做进一步分析，能得到识别对象的性别、表情、年龄等诸多额外信息，扩展了人脸识别的应用前景，在刑侦破案、证件验证、视频监控、人口控制及表情分析等方面都有实际应用。

但是，现有的眼球识别技术大多是根据图像中眼球与脸部像素之间的差异值来识别眼球的位置，进而识别出眼球的运动。但是由于图像易受拍摄环境的影响，例如强光或阴影等降低了眼球与脸部像素的差异值，使得无法从这些图像中精确地确定眼球的位置。然而对于这类现象，现有技术中大多采用特征提取和分类算法来识别眼球，但是前提都是假定特征点已经被手动标注出来，并且假定被手动标记的特征点定位程度已十分准确，但是实际上手动标记的特征点定位的准确度存在不足，导致其影响了后续算法的准确性，所以目前依靠手动标定的方式必然成为识别系统的瓶颈。另一方面，现有的解决上述问题的方法，如Snake方法、可变型模板法以及弹性图匹配法等都存在处理速度慢、精确度不高和实现复杂度高等方面的问题，其实际的识别效果并不理想。

本发明克服了现有技术中的缺陷，提出了一种基于人脸识别的眼球运动识别方法。本发明眼球运动识别方法基于人脸识别技术，能够准确定位眼球在人脸上的位置，不仅支持静态人脸上的眼球识别，还能够支持动态视频中的人脸上的眼球识别。

发明内容

本发明提出了一种基于人脸识别的眼球运动识别方法，包括如下步骤：

眼球检测，对多幅人脸的图像进行边缘检测，定位眼球的初始化特征点，根据所述初始化特征点计算眼球相对于人脸的位置与比率，得到人脸尺度角度归一化比率；

眼球识别，获取一幅待检测的人脸图像，根据所述人脸尺度角度归一化比率计算所述人脸图像中眼球的位置；

眼球运动识别，识别两幅以上人脸图像中眼球的位置，根据位置的变化识别眼球运动。

本发明提出的所述基于人脸识别的眼球运动识别方法中，基于AMM的特征点定位方法进行眼球检测，其包括如下步骤：

在人脸的图像中搜索眼球的位置；

确定左眼与右眼的眼球中心及其坐标；

根据所述坐标计算人脸的倾斜角度；

计算人脸尺度角度归一化比率。

本发明提出的所述基于人脸识别的眼球运动识别方法中，所述人脸的倾斜角度按如下公式表示：

α＝arctan(y_re-y_le)/(x_re-x_le)；

式中，α表示倾斜角度，x_le和y_le分别表示左眼眼球中心的横坐标和纵坐标，x_re和y_re分别表示右眼眼球中心的横坐标和纵坐标。

本发明提出的所述基于人脸识别的眼球运动识别方法中，人脸尺度角度归一化比率按如下公式表示：

s＝W_f/W_std；其中， $W_f=\left|E_1{E}_2\right|=\sqrt{{(y_{\mathrm{re}}-y_{\mathrm{le}})}^2+{(x_{\mathrm{re}}-x_{\mathrm{le}})}^2};$

式中，s表示归一化比率，W_std表示标准人脸的双眼距离，W_f表示人脸图像的双眼距离，E₁表示左眼眼球中心的坐标，x_le和y_le分别表示左眼眼球中心的横坐标和纵坐标，E₂表示右眼眼球中心的坐标，x_re和y_re分别表示右眼眼球中心的横坐标和纵坐标。

本发明提出的所述基于人脸识别的眼球运动识别方法中，获取待检测的人脸图像的方法包括如下步骤：

人脸检测，从获取的图像中初步检测并定位人脸区域；

特征选取，提取所述人脸区域的Haar特征集，并基于Adaboost构建用于识别人脸图像的多个矩形特征及其弱分类器；

人脸识别，利用所述Haar特征集训练所述弱分类器得出一个最优弱分类器，重复训练后将多个最优弱分类器线性组合成强分类器，利用所述强分类器从所述获取的图像中识别出待检测的人脸图像；

本发明提出的所述基于人脸识别的眼球运动识别方法中，检测并定位人脸区域之后进一步包括：人脸预处理，对所述人脸区域进行归一化和灰度均衡化处理。

本发明提出的所述基于人脸识别的眼球运动识别方法中，所述Haar特征集是利用积分图像算法提取的。

本发明提出的所述基于人脸识别的眼球运动识别方法中，所述弱分类器的函数表达式为：

$h_j\left(x\right)=\left\{\begin{array}{c}1,p_{j}f\left(x_j\right)\≥p_j{\mathrm{\θ}}_j\\ 0,\mathrm{others}\end{array}\right.$

式中，x表示输入的当前帧人脸图像，f(x_j)表示特征feature_j在x上的值，p_j取值+1和-1来控制不等式的方向，θ_j表示阈值。

本发明提出的所述基于人脸识别的眼球运动识别方法中，所述弱分类器的训练过程包括如下步骤：

对于输入所述弱分类器的样本(x₁，y₁)，...，(x_n，y_n)，y_i取值1或者0分别表示图像是正例或是反例；

初始化权重值W_1，i， $W_{1,i}=\left\{\begin{array}{c}1/m,y_i=0\\ 1/n,y_i=1\end{array}\right.;$

t取值为1；

将权重归一化， $W_{t,i}=\frac{W_{t,j}}{\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{W}_{t,j}};$

对每个特征j训练一个只使用单一特征的弱分类器h_j，分别得到所述弱分类器h_j本次分类的误差 $e_j=\underset{i}{\mathrm{\Σ}}{w}_i|h_j\left(x_i\right)-y_i|;$

选择误差e_j最小的弱分类器h_t，更新权重：当x_i分类正确时：v_t＝0；当x_i分类错误v_t＝1，β_t＝e_t/(1-e_t)；

令t＝t+1；

若t＜T，则重新将权重归一化；

直至t＝T，得到最优弱分类器。

本发明提出的所述基于人脸识别的眼球运动识别方法中，所述强分类器的函数表达式为：

$h_j\left(x\right)=\left\{\begin{array}{c}1,\underset{i=1}{\overset{T}{\mathrm{\Σ}}}{\mathrm{\α}}_i{h}_i\left(x\right)\≥\frac{1}{2}\underset{i=1}{\overset{T}{\mathrm{\Σ}}}{\mathrm{\α}}_i\\ 0,\mathrm{others}\end{array}\right.$

式中，α_i＝lg(1/β_i)，α_i表示β_i的负对数形式，β_i表示第i迭代时h_i(x)的权重，h_i(x)表示弱分类器的表达式，T表示取得最优分类器的临界值。

本发明的有益效果包括：利用仿射变换来进行人脸匹配，即通过少量特征点来对应标准化人脸图像，尤其是在人脸位置相对变化较为稳定的条件下可只采用两只眼睛作为定位点，并在连续人脸图像序列中实现眼球运动的识别。本发明能够准确定位眼球在人脸上的位置，不仅支持静态人脸上的眼球识别，还能够支持动态视频中的人脸上的眼球识别，在医学、档案管理、人脸动画、人脸建模、视频会议等方面拥有巨大的应用前景。

附图说明

图1是本发明基于人脸识别的眼球运动识别方法的流程图。

图2是基于Haar的待检测人脸区域以及最小人脸尺度区域示意图。

图3是积分图像的示意图。

图4是人脸识别结果的示意图。

图5是眼球运动识别结果的示意图。

具体实施方式

结合以下具体实施例和附图，对本发明作进一步的详细说明。实施本发明的过程、条件、实验方法等，除以下专门提及的内容之外，均为本领域的普遍知识和公知常识，本发明没有特别限制内容。

本发明基于人脸识别的眼球运动识别方法包括如下步骤：

眼球检测，对人脸图像进行边缘检测，定位眼球的特征点，计算人脸尺度角度归一化比率。人脸尺度角度归一化比率是人脸图像中的双眼距离与标准人脸的双眼距离的比值。

眼球识别，由于人眼在人脸图像中形变最小，受光照和表情等外界干扰最少，采用人脸尺度角度归一化比率能人脸图像中快速计算眼球的位置。获取一幅待识别的人脸图像，利用人脸尺度角度归一化比率能人脸图像中快速计算眼球的位置。

眼球运动识别，在两幅以上人脸图像组成的动态图像中，利用人脸尺度角度归一化比率快速地获得每一帧人脸图像中眼球的位置，得到眼球运动的数据。

其中，本具体实施例是通过改进的Adaboost的方法快速获取待检测的人脸图像，其他任何从拍摄的图像中获取人脸图像的方法均包含在本发明的构思之内。通过改进的Adaboost的方法快速获取待检测的人脸图像的方法包括如下步骤：

人脸检测，从获取的图像中初步检测并定位人脸区域；人脸检测之后进一步包括人脸预处理，将检测到的人脸区域的大小进行归一化和矫正、灰度均衡化等。

特征选取，提取人脸区域的Haar特征集，并基于Adaboost构建用于识别人脸图像的多个矩形特征及其弱分类器，从而将现实的图像映射到机器空间中。

人脸识别，利用Haar特征集训练弱分类器得出一个最优弱分类器，重复训练后将多个最优弱分类器线性组合成强分类器，利用强分类器从获取的图像中识别出人脸图像。人脸识别则是一种分类决策过程，即在样本训练集上确定某一判别规则，按这种判别规则对人脸图像进行分类所造成的错误识别率最小。

以下对于从人脸识别过程直至眼球运动识别过程的每一个步骤的具体实施过程作进一步说明。

(人脸识别过程——初步检测并定位人脸区域)

本发明利用视频图像序列中前后相邻帧图像的相关性，利用差分方法对基于Haar特征的人脸检测优化方法，基本思想是利用采集到的样本图像的Haar特征，基于AdaBoost分类算法进行分类器训练，最后将得到的简单分类器组合得到最终的级联分类器。

基于Haar的人脸检测算法和待检测人脸区域以及最小人脸尺度区域。最小人脸尺度区域与待检测人脸区域有很大相关性。

Haar特征的定义是：

${\mathrm{feature}}_k=\underset{i\∈(1,...,N)}{\mathrm{\Σ}}{\mathrm{\ω}}_i\mathrm{RctSum}\left(r_i\right)$

式中，ω_i∈R为矩形r_i的权；ω_iRctSum(r_i)为r_i所围图像的灰度积分；N为组成feature_k的区域个数。

其中，N＝2，由于Haar特征将对图像多尺度搜索，并且弱分类器会组合而成强分类器，对于单个特征就不必太复杂，保证计算速度；ω_i对于这两个区域必须是异号，并且和区域面积成反比；为便于采用积分图像计算，这两个矩形必须有一个包含于另一个之中。

本发明基于Haar特征对这两种区域的分法如图2所示，其特征为：

$\mathrm{feature}=\frac{1}{S_w}\×S_w\×1-\frac{1}{S_b}\×S_b\×0=1$

其中，白区域面积S_w，每个像素灰度值为1，区域加权黑区域面积每个像素灰度值为0，区域加权这种求和的积分操作，能够保证对光照和噪声的不敏感性。

(提取Haar特征集)

本发明利用积分图像算法提取图像的局部Haar特征，采用局部Haar特征是为了计算方便，适用于多种分辨率分析。上述积分图像的计算方法，假设g(i，j)是原始的图像，I(x，y)是积分图像，点(x，y)的数值等于左上角区域的所有像素总和

$I(x,y)-\underset{i<x,j<y}{\mathrm{\&Sigma;}}g(i,j)$

如图3所示，1点值表示A区域的灰度积分，2点值表示A+B，3点值表示A+C，4点值表示A+B+C+D，那么D区域的积分为D＝(4+1)-(2+3)。可见，本发明利用积分图像算法提取图像的局部Haar特征的过程中，只需要计算一次积分图像，对图像上任意区域的积分都可以快速获得，计算任意矩形区域的像素总和更加快捷，满足视频图像序列中人脸检测的实时性要求。

(构建弱分类器)

本发明中采用AdaBoost学习算法来构建人脸特征分类器。AdaBoost算法是一种放大算法，即对弱分类器(即简单的学习算法)进行加权组合，也就是说，利用简单的、数量很少的弱分类器组合成为强分类器。使用AdaBoost方法就是对弱学习器加上一个限定条件——一个弱学习器对应一个矩形特征，在进行放大的过程中，每一次放大，选择一个学习器就是选择一个特征。对每个特征，弱学习器是的每个分类函数的阈值达到最优。本发明中的弱分类器是指Haar特征直接构成的分类器，函数表达式为：

$h_j\left(x\right)=\left\{\begin{array}{c}1,p_{j}f\left(x_j\right)\&GreaterEqual;p_j{\mathrm{\&theta;}}_j\\ 0,\mathrm{others}\end{array}\right.$

其中，x表示任意输入窗口，f(x_j)表示特征feature_j在x上的值，p_j取值+1和-1控制不等式的方向，θ_j表示阈值。

(训练弱分类器)

弱分类器包含的信息量少，不能用来直接分类。单一特征无法保证分类达到很低的误差，在第一轮的选择特征的错误率可以在0.1-0.3之间，而后一轮的方法会使误差增大，在0.4-0.5之间。具体学习算法如下，假设特征个数为T：

(1)对样本(x₁，y₁)，...，(x_n，y_n)，y_i取值1或者0，表示图像是正例或是反例；

(2)初始化权重值W_1，i

$W_{1,i}=\left\{\begin{array}{c}1/m,y_i=0\\ 1/n,y_i=1\end{array}\right.;$

(3)t取值为1；

(4)将权重归一化： $W_{t,i}=\frac{W_{t,j}}{\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{W}_{t,j}};$

(5)对每个特征j，训练一个只使用某一单一特征的分类器h_j，得到本次分类的误差为

$e_j=\underset{i}{\mathrm{\&Sigma;}}{w}_i|h_j\left(x_i\right)-y_i|;$

(6)选择误差e_j最小的分类器h_t，更新权重：

当x_i分类正确时：v_t＝0。当x_i分类错误v_t＝1，β_t＝e_t/(1-e_t)；

(7)令t＝t+1；

(8)t＜T转向(4)；

(9)得到最后的分类器。

这种方法允许分类器设计者不断加入新的弱分类器，直到达到预设的分类精度，此算法训练过程中，每个样本拥有一个初始权值，表示该样本被某个弱分类器选中的概率。如果某个样本被正确分类，构造下一个训练集时，降低其权值，反之增加其权值。

(最优弱分类器线性组合成强分类器)通过此算法每一轮都会选出一个最优弱分类器，这些弱分类器线性组合而成强分类器：

$h_j\left(x\right)=\left\{\begin{array}{c}1,\underset{i=1}{\overset{T}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_i{h}_i\left(x\right)\&GreaterEqual;\frac{1}{2}\underset{i=1}{\overset{T}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_i\\ 0,\mathrm{others}\end{array}\right.$

式中，α_i＝lg(1/β_i)，α_i表示β_i的负对数形式，β_i表示第i迭代时h_i(x)的权重，h_i(x)表示弱分类器的表达式，T表示取得最优分类器的临界值。算法的构造特征最后大概有200个，对于人脸检测的特征包括眼睛、鼻子、嘴巴等五官特征，AdaBoost选择的权重最高的几个特征如下：第一，眼睛区域比鼻子和面颊的矩形区域亮度上更暗(亮度值小于某个阈值)。这个特征是和人脸大小以及位置无关的。第二，眼睛所在区域总是比鼻梁所在的区域亮度更暗。所以，通过选择和学习后的特征分类器，对于目标检测是非常有效的。在获取了上述特征后，再通过对多个人脸样本的统计，对整个脸部进行识别。本实施例中获得的人脸检测结果如图4所示。

(眼球识别过程——眼球检测)

基于由多幅标准人脸图像所组成的数据库，本发明利用Canny算法对标准人脸数据进行边缘检测，实现准确的初始化特征点定位，再利用AAM(Active Appearance Model，主观表现模型)特征点定位方法，取得令人满意的效果。

其中，Canny边缘检测算法使得寻找给定条件下最优算子的工作转化为一种泛函优化问题。假设滤波器的有限冲击响应为f(x)，x∈[-W，W]′，假设要检测边缘的曲线为G(x)，并且假设边缘在x＝0处，噪声为n(x)。为达到良好的检测效果，需要满足三个条件：

第一，检测结果最优化。利用滤波器对人脸图像中的边缘点进行滤波，提高边缘点的信噪比；计算人脸图像中各个像素点相邻区域的强度变化值，并通过计算梯度幅值获取强度变化值超过预设阈值的像素点；对于强度变化值超过预设阈值却不是边缘点的像素点，计算像素点的梯度幅值闭值来进行检测。通过上述步骤把是边缘但是没有检测出来的边以及不是边缘却被检测为边的概率降到最低。对于这两个概率都随着信噪比提高而单调下降，因此，等价于求f(x)使得检测后的图像在边缘点的信噪比最大化。经过f(x)滤波后，边缘点处的图像信号响应为

$H_G={\&Integral;}_{-W}^{W}G(-x)f\left(x\right)\mathrm{dx}$

而噪声的响应的平方根为

$H_n=n_0{\left[{\&Integral;}_{-W}^W{f}^2\left(x\right)\mathrm{dx}\right]}^{1/2}$

其中，n₀是单位长度上噪声振幅的均方。

那么，Canny第一个准则的数学表达式为：

$\mathrm{SNR}\left(f\right)=\frac{H_G}{H_n}=\frac{\left|{\&Integral;}_{-W}^{W}G(-x)f\left(x\right)\mathrm{dx}\right|}{n_0{\left[{\&Integral;}_{-W}^W{f}^2\left(x\right)\mathrm{dx}\right]}^{1/2}}$

第二，定位准则。设检测出的边缘位置在x₀(实际的边缘在x＝0)，则有：

H_G(x)+H_n(x)在x₀处取得最大值，所以H_G(x₀)+H_n(x₀)＝0；

H_G(x)在x＝0处取得最大值，所以H_G(x₀)＝0；

于是就有

$H_G^{\&prime;}\left(x_0\right)=H_G^{\&prime;}\left(0\right)+H_G^{\&prime;\&prime;}\left(0\right)+O\left(x_0^2\right)\&ap;H_G^{\&prime;\&prime;}\left(0\right)x_0$

即

H″_G(0)x₀＝-H′_G(x₀)

从而

$E\left(x_0^2\right)=\frac{E\left[{\left(H_n^{\&prime;\&prime;}\left(x_0\right)\right)}^2\right]}{{\left(H_n^{\&prime;\&prime;}\left(0\right)\right)}^2}=\frac{n_0^2{\&Integral;}_{-W}^W{f}^{\&prime;2}\left(x\right)\mathrm{dx}}{{\left[{\&Integral;}_{-W}^W{G}^{\&prime;}(-x)f^2\left(x\right)\mathrm{dx}\right]}^2}$

这里，E(x)表示的是x的数学期望。

因为x₀越小定位越准确，所以定位准则的数学表达式定义为

$\mathrm{Loc}\left(f\right)=\frac{\left|{\&Integral;}_{-W}^W{G}^{\&prime;}(-x)f^{\&prime;}\left(x\right)\mathrm{dx}\right|}{n_0{\&Integral;}_{-W}^W{f}^{\&prime;2}\left(x\right)\mathrm{dx}}$

那么，即求一个函数f(x)，使得下式达到最大值：

$J\left(f\right)=\frac{\left|{\&Integral;}_{-W}^{W}G(-x)f\left(x\right)\mathrm{dx}\right|}{n_0{\left[{\&Integral;}_{-W}^W{f}^2\left(x\right)\mathrm{dx}\right]}^{1/2}}\frac{\left|{\&Integral;}_{-W}^W{G}^{\&prime;}(-x)f^{\&prime;}\left(x\right)\mathrm{dx}\right|}{n_0{\&Integral;}_{-W}^W{f}^{\&prime;2}\left(x\right)\mathrm{dx}}$

第三，在理想情况下，用滤波器对噪声响应的两个峰值间的距离来近似滤波器对一个边缘点响应的长度。因为输出信号中相邻两个极大值的距离是相邻两个零交叉点距离的两倍，而高斯噪声在函数g(x)滤波后输出信号中相邻两个交叉点的距离

$x_{\mathrm{ave}}=\mathrm{\&pi;}{\left(\frac{-R\left(0\right)}{R^{\&prime;\&prime;}\left(0\right)}\right)}^{1/2}$

其中， $R\left(0\right)={\&Integral;}_{-\&infin;}^{+\&infin;}{g}^2\left(x\right)\mathrm{dx},R^{\&prime;\&prime;}\left(0\right)={\&Integral;}_{-\&infin;}^{+\&infin;}{g}^{\&prime;2}\left(x\right)\mathrm{dx}$

所以，噪声f(x)在滤波后两个相邻极大值点的距离为

$x_{\mathrm{ave}}=2{\left(\frac{{\&Integral;}_{-\&infin;}^{+\&infin;}{f}^2\left(x\right)\mathrm{dx}}{{\&Integral;}_{-\&infin;}^{+\&infin;}{f}^{\&prime;\&prime;2}\left(x\right)\mathrm{dx}}\right)}^{1/2}\mathrm{kW}$

式中，W为滤波器f(x)的半宽度。所以在2W长的区域里出现最大值的个数的期望为

$N_E=\frac{2W}{x_{\max }}=\frac{2W}{\mathrm{kW}}=\frac{2}{k}$

可见，只要固定了k，就固定了2W长区域中出现最大值的个数。这是第三个准则。有了这三个准则的数学表达式，寻找最优的滤波器的问题即转化为泛函的约束优化问题。

基于AMM的特征点定位方法，基本思想是利用训练图像和模型参数合成表观模型，通过调整模型参数使得模型和实验图像的纹理差达到最小，其模型表达式如下：

$\left\{\begin{array}{c}x=\hat{x}+Q_{x}c\\ g=\hat{g}+Q_{g}c\end{array}\right.$

式中，为模型形状平均向量，通过训练样本中所有模型形状的平均得到；为平均纹理向量，也是通过训练样本中所有模型纹理信息的平均得到；Q_x和Q_g为通过训练样本集得到的描述模型变化的矩阵；c为模型参数，控制模型的形状和纹理的变化，不同的c得到的不同形状和纹理的脸。

对于给定的包含人脸的图像，设人脸图像的高度为h，宽度为w，取左上角点为原点，在左眼[w/7，3h/8]，右眼[11w/21，3h/8]，窗的大小为[w/3，h/5]的位置开始搜索。找到人眼的坐标(瞳孔位置近似眼睛中心)，令其分别为E₁(x_le，y_le)，E₂(x_re，y_re)，后根据标准正面人脸的左右对称轴与两眼中心连线垂直，因而两眼中心连线的倾斜角度就是人脸的倾斜角度，则人脸的倾斜角为α＝arctan(y_re-y_le)/(x_re-x_le)，令W_std为标准人脸的双眼距离，则根据s＝W_f/W_std，其中为图像中人眼的距离，可以得到人脸尺度角度归一化的比率。

(眼球识别)

人眼是人脸图像中形变最小，受光照和表情等外界干扰最小的部位，所以本例中采用眼睛的距离作为人脸尺度角度归一化的标准。根据人脸信息的研究，人眼距离约为人脸宽度的1/3，用统计的方法确定标准人脸的高宽比率为1.05。根据上述原理，获取一幅待识别的人脸图像后，根据人脸图像的像素点坐标与人脸尺度角度归一化使用Haar模板匹配后即可定位每一幅人脸图像中的眼球位置，如图5所示。

本发明可将上述待检测的人脸添加到数据库中，用于进一步完善人脸尺度角度归一化比率，使得人脸尺度角度归一化计算出精度更高的眼球位置。

(眼球运动识别)

本发明眼球运动识别方法可运用于医学、档案管理、人脸动画、人脸建模、视频会议等方面。通过对视频图像中多幅人脸图像构成的动态图像进行逐一检测，从中识别出多个人眼位置的数据来进一步识别人体眼球运动。以对检测自闭症儿童的眼部活动为例。

首先选定视频采集与处理设备。选用高清(分辨率为720p)摄像机，连接到具备高清视频图像采集卡的第一台计算机上，第一台计算机上具有图像分析功能，并搭载有根据本发明眼球运动识别方法所开发的软件程序；将高清摄像机以合适的角度和位置安装在第二台计算机上，使其能够恰好拍摄到自闭症儿童的脸部正面。

采用事先设计的专门用于评价自闭症谱系障碍儿童对颜色敏感度的图像材料，在第二台计算机上播放，同时，由高清摄像机拍摄被试儿童的正脸画面，并以视频形式输入到第一台计算机中，由软件进行处理，记录每一帧画面中眼球的位置，眼球的位置以坐标系中的点来表示。

用于监控自闭症谱系障碍儿童对颜色敏感度的指标包括注视时间和注视点数，注视时间是指被试从第一次注视到目标兴趣区域到离开目标兴趣区域期间所有注视点的持续时间总和；注视点数是指从刺激材料开始呈现时，被试在目标兴趣区域内所有的注视点的个数综合。通过眼球运动识别方法得到全部关于眼球位置的坐标点后，对其进行统计分析和差异性检验，即可得到相应的结论。由于本发明以无接触的方式进行眼球识别，因此不会对被试者造成心理排斥。

本发明的保护内容不局限于以上实施例。在不背离发明构思的精神和范围下，本领域技术人员能够想到的变化和优点都被包括在本发明中，并且以所附的权利要求书为保护范围。

Claims (10)

1.一种基于人脸识别的眼球运动识别方法，其特征在于，包括如下步骤：

眼球检测，对多幅人脸的图像进行边缘检测，定位眼球的初始化特征点，根据所述初始化特征点计算眼球相对于人脸的位置与比率，得到人脸尺度角度归一化比率；

眼球识别，获取一幅待检测的人脸图像，根据所述人脸尺度角度归一化比率计算所述人脸图像中眼球的位置；

眼球运动识别，识别两幅以上人脸图像中眼球的位置，根据位置的变化识别眼球运动。

2.如权利要求1所述的基于人脸识别的眼球运动识别方法，其特征在于，基于AMM的特征点定位方法进行眼球检测，其包括如下步骤：

在人脸的图像中搜索眼球的位置；

确定左眼与右眼的眼球中心及其坐标；

根据所述坐标计算人脸的倾斜角度；

计算人脸尺度角度归一化比率。

3.如权利要求2所述的基于人脸识别的眼球运动识别方法，其特征在于，所述人脸的倾斜角度按如下公式表示：

α＝arctan(y_re-y_le)/(x_re-x_le)；

式中，α表示倾斜角度，x_le和y_le分别表示左眼眼球中心的横坐标和纵坐标，x_re和y_re分别表示右眼眼球中心的横坐标和纵坐标。

4.如权利要求2所述的基于人脸识别的眼球运动识别方法，其特征在于，人脸尺度角度归一化比率按如下公式表示：

s＝W_f/W_std；其中， $W_f=\left|E_1{E}_2\right|=\sqrt{{(y_{\mathrm{re}}-y_{\mathrm{le}})}^2+{(x_{\mathrm{re}}-x_{\mathrm{le}})}^2};$

式中，s表示归一化比率，W_std表示标准人脸的双眼距离，W_f表示人脸图像的双眼距离，E₁表示左眼眼球中心的坐标，x_le和y_le分别表示左眼眼球中心的横坐标和纵坐标，E₂表示右眼眼球中心的坐标，x_re和y_re分别表示右眼眼球中心的横坐标和纵坐标。

5.如权利要求1所述的基于人脸识别的眼球运动识别方法，其特征在于，获取待检测的人脸图像的方法包括如下步骤：

人脸检测，从获取的图像中初步检测并定位人脸区域；

特征选取，提取所述人脸区域的Haar特征集，并基于Adaboost构建用于识别人脸图像的多个矩形特征及其弱分类器；

人脸识别，利用所述Haar特征集训练所述弱分类器得出一个最优弱分类器，重复训练后将多个最优弱分类器线性组合成强分类器，利用所述强分类器从所述获取的图像中识别出待检测的人脸图像。

6.如权利要求5所述的基于人脸识别的眼球运动识别方法，其特征在于，检测并定位人脸区域之后进一步包括：人脸预处理，对所述人脸区域进行归一化和灰度均衡化处理。

7.如权利要求5所述的基于人脸识别的眼球运动识别方法，其特征在于，所述Haar特征集是利用积分图像算法提取的。

8.如权利要求5所述的基于人脸识别的眼球运动识别方法，其特征在于，所述弱分类器的函数表达式为：

$h_j\left(x\right)=\left\{\begin{array}{c}1,p_{j}f\left(x_j\right)\&GreaterEqual;p_j{\mathrm{\&theta;}}_j\\ 0,\mathrm{others}\end{array}\right.$

式中，x表示输入的当前帧人脸图像，f(x_j)表示特征feature_j在x上的值，p_j取值+1和-1来控制不等式的方向，θ_j表示阈值。

9.如权利要求5所述的基于人脸识别的眼球运动识别方法，其特征在于，所述弱分类器的训练过程包括如下步骤：

对于输入所述弱分类器的样本(x₁，y₁)，...，(x_n，y_n)，y_i取值1或者0分别表示图像是正例或是反例；

初始化权重值W_1，i， $W_{1,i}=\left\{\begin{array}{c}1/m,y_i=0\\ 1/n,y_i=1\end{array}\right.;$

t取值为1；

将权重归一化， $W_{t,i}=\frac{W_{t,j}}{\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{W}_{t,j}};$

对每个特征j训练一个只使用单一特征的弱分类器h_j，分别得到所述弱分类器h_j本次分类的误差 $e_j=\underset{i}{\mathrm{\&Sigma;}}{w}_i|h_j\left(x_i\right)-y_i|;$

选择误差e_j最小的弱分类器h_t，更新权重：当x_i分类正确时：v_t＝0；当x_i分类错误v_t＝1，β_t＝e_t/(1-e_t)；

令t＝t+1；

若t＜T，则重新将权重归一化；

直至t＝T，得到最优弱分类器。

10.如权利要求1所述的基于人脸识别的眼球运动识别方法，其特征在于，所述强分类器的函数表达式为：

$h_j\left(x\right)=\left\{\begin{array}{c}1,\underset{i=1}{\overset{T}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_i{h}_i\left(x\right)\&GreaterEqual;\frac{1}{2}\underset{i=1}{\overset{T}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_i\\ 0,\mathrm{others}\end{array}\right.$

式中，α_i＝lg(1/β_i)，α_i表示β_i的负对数形式，β_i表示第i迭代时h_i(x)的权重，h_i(x)表示弱分类器的表达式，T表示取得最优分类器的临界值。