CN105512630A - 近实时效应的人眼检测与定位方法 - Google Patents

Abstract

本发明涉及一种近实时效应的人眼检测与定位方法，首先利用Adaboost算法找到人脸区域，并在此基础上运用先验知识缩小眼睛的位置范围，分别将左右眼睛的位置估计出来；然后进行模板匹配，初步检测到人脸区域，并确定人眼的候选区域，通过计算人眼平均模板和待检测图像之间的相关系数，通过相关程度来最终确定该候选区域是否为人眼区域；当相关系数大于预先设定好的阈值判断该区域为人眼区域，框出此区域，否则便不是人眼的位置。本发明能提高人眼的正确检测率和定位率。

Description

近实时效应的人眼检测与定位方法

技术领域

本发明涉及计算机视觉领域，更具体的是一种具有近实时效应的人眼检测与定位系统的实现。

背景技术

人眼检测技术在当前的计算机视觉领域是最重要的发展趋势之一。随着裸眼3D技术日趋成熟并逐渐走入我们的生活，如何让人们更好地达到视觉上的享受，让人们在全自动的条件之下，得到最身临其境的感受；同时，随着计算机视觉领域的飞速发展，在人脸识别研究中，眼睛作为重要的面部特征在人脸识别系统中也扮演着重要的角色。我们面临的现实情况使得人眼检测与定位成为了我们研究的重要部分。

然而，随着背景复杂度的增强，人眼定位系统的识别率极快的下降同时误检率极大程度地上升。眼睛作为脸部特征的重要组成部分，它的检测对于人脸信息的处理具有重要的意义，因此只要人眼被精确定位，脸部其他各器官的位置定位也就变得简单。眼睛的定位还可以使人脸的归一化得以较好地实现，同时使得预处理的效果更加明显。因而眼睛的定位与人脸分割和人脸识别的结果直接相关。

人脸检测是一种非常复杂的模式识别技术，这是因为人脸是一类具有复杂变化的自然结构目标，并且具有以下特征：(1)可变的模式，这是由于外貌、表情、肤色等的不同而引起的；(2)人脸上可能存在眼镜、胡须等附属物；(3)人脸影像作为一种三维物体，很容易受到光照产生的阴影的影响。目前人脸的检测方法主要有基于知识的方法、基于特征的方法、基于模板匹配的方法和基于外观的方法。基于知识的方法，由于先验知识的不完备性，而使检测能力受到限制；基于模板匹配的方法实现简单，但检测精度较低，且必须使用变形模板才能检测尺寸不同的人脸，而变形模板的参数调整是一个优化的过程，耗时较长，实时性差；基于外观的方法可以达到较高的检测精度，缺点是训练时间长，检测速度慢，同时对训练样本的依赖性较强。

人眼定位是人脸检测中的关键步骤，当前，对于人眼检测定位，主要有两种方式：一种是首先在图像中检测人脸，然后在人脸区域中找到眼睛的位置，以此达到人眼检测的目的；另一种则直接在图像中找到眼睛的位置。目前的人眼检测与定位方法主要分为参数可调的模型法(如霍夫变换、可变形眼睛模板)、眼角检测法、特征眼法和对称性检测法。其中参数可调的模型法需要定义一个能量函数，通过调整模型参数使能量函数最小化，这种思想好，但能量函数中的加权系数只能由经验确定，难以推广，其次能量函数优化过程十分耗时，难以实际应用。眼角检测法通过Gabor滤波器检测眼角，因此要求脸像尺寸较大，对图像质量，尤其是眼角的对比度要求较高。特征眼检测法由于事先不知人眼(或人脸)位置(以及人脸是否倾斜)，因此对图像中对称点的搜索十分耗时。

由于当前的人眼检测技术主要是依赖于人脸检测技术的发展，眼睛区域在整幅图像中的面积较小，直接在图像中实施眼睛检测会因为目标过小，致使精度不高而且人脸检测的效果将直接影响眼睛检测的准确性。与此同时，当前研究主要针对正面人脸图像比较多,在人脸出现偏移和旋转时检测精度不高，因为此时图像中人眼的部分信息会发生变化，很难鲁棒地检测眼睛。

人眼检测涉及人脸检测，当前人脸检测算法存在着一定的局限性制约人眼检测，本发明就此提出了一种将传统、经典的算法同先验知识结合起来的方法从而实现近实时检测和定位人眼的目的。

发明内容

本发明的目的是克服现有技术的上述不足，从鲁棒性和精确性两方面考虑，提供一种基于Adaboost算法和模板匹配的人脸检测和定位方法。在现有有限资源的基础上，实现对于人眼的正确检测率和定位率的提高。本发明的技术方案如下：

一种近实时效应的人眼检测与定位方法，首先利用Adaboost算法找到人脸区域，并在此基础上运用先验知识缩小眼睛的位置范围，分别将左右眼睛的位置估计出来；然后进行模板匹配，初步检测到人脸区域，并确定人眼的候选区域，通过计算人眼平均模板和待检测图像之间的相关系数，通过相关程度来最终确定该候选区域是否为人眼区域；当相关系数大于预先设定好的阈值判断该区域为人眼区域，框出此区域，否则便不是人眼的位置。

其中的具体过程可以如下：

①用Haar特征的位置信息，对训练样本进行统计就可以得到对应的特征参数，一个弱分类器h_j(x)包括一个类Haar特征的特征值f_j，一个分类阈值θ_j和一个分类方向p_j；

②利用Adaboost算法训练强分类器，训练流程如下：

(1)给定一个训练集(x₁,y₁)(x₂,y₂)...(x_i,y_i)...(x_n,y_n)，x_i是输入的训练样本,y_i是分类的类别标志。其中x_i表示第i个样本，y＝0时为负样本,y＝1时为正样本，n为训练样本总数，在人眼检测中，0和1分别表示非人眼与人眼。

(2)初始化权重：设D_t(i)为第t次循环中第i个样本的误差权重，对于负样本，p为负样本个数；对于正样本，q为正样本个数；

(3)对于t＝1,2,3...T，进行迭代训练，选取当轮中的最佳弱分类器，迭代T次即代表选取T个最佳弱分类器；

③通过Adaboost算法，得到弱分类器，以此训练得到强分类器，再利用分类器进行人脸检测；

④令找到的脸部框的上边缘中心为坐标原点，上边缘为x轴，纵向中心对称线为y轴，则可以将左眼镜像的位置缩小为脸部左半边自原点四分之一到二分之一的地方，同理，右眼镜像的位置缩小为脸部右半边自原点四分之一到二分之一的地方，初步确定人眼位置，称之为候选区域；

⑤基于模板匹配的方法，在图像灰度层次上直接比较目标模板和候选区域之间的相似性，计算二者之间的相关系数，衡量T和S_ij之间的误差，公式为：

其中，T(m,n)为模板，S_ij(m,n)为搜索图；

⑥根据不同的匹配方向选取误差阈值E₀，当E(i,j)＞E₀时停止该点的计算，继续下一点的计算。

本发明采用Adaboost训练强分类器的训练流程，将弱分类器提升为强分类器，极大提高了分类器的分类性能。提出的基于Haar-like特征和Adaboost的人脸检测算法能够有效地处理大多数的人脸检测问题，能够在一定角度和距离内较为准确定位人脸的位置。在人眼定位的过程中，本发明采用几何分析和模板匹配相结合的方法可以极大程度的提高检测效率及正确率。

附图说明

图1人眼检测定位系统结构图

图2Adaboost算法训练示意图

图3人脸识别过程

图4模板匹配过程

图5视频人眼定位，其中(a)为脸的位置，(b)为眼睛的确切位置

具体实施方式

首先利用Adaboost算法找到人脸区域，并在此基础上合理运用先验知识缩小眼睛的理论位置范围，分别将左右眼睛的位置估计出来。然后进行模板匹配，通过上面的工作，己经初步检测到了人脸区域，并确定了人眼的大概位置，通过计算人眼平均模板和待检测图像之间的相关系数，通过相关程度来最终确定该候选区域是否为人眼区域。当相关系数大于预先设定好的阈值判断该区域为人眼区域，框出此区域，否则便不是人眼的位置。具体过程如下：

1、首先用Haar特征的位置信息，对训练样本进行统计就可以得到对应的特征参数。一个弱分类器h_j(x)包括一个类Haar特征的特征值f_j，一个分类阈值θ_j和一个分类方向p_j(通常为+1或者-1)，它的形式为

$h_j\left(x\right)=\left\{\begin{array}{c}1(p_j{f}_j\left(x\right)<p_j{\mathrm{\&theta;}}_j)\\ 0\left(otherwise\right)\end{array}\right.$

其中，对于每一个特征，选择阈值θ_j和方向符号p_j的算法为：

(1)计算每一个样本对于特征j的特征值；

(2)对所有特征值进行排序；

(3)Fors＝0...N-1(N为总样本数)

令p_j＝1，将s左边所有负片的权值和右边所有正片的权值求和作为错误率，

令p_j＝-1，将s左边所有正片和右边所有负片的权值求和作为错误率，

选择错误率最小的特征值和方向符号作为弱分类器的阈值和方向符号。

2、然后利用Adaboost算法训练强分类器，训练流程如附图2所示。具体描述如下所示：

(1)给定一个训练集(x₁,y₁)(x₂,y₂)...(x_i,y_i)...(x_n,y_n)，x_i是输入的训练样本,y_i是分类的类别标志。其中x_i表示第i个样本，y＝0时为负样本,y＝1时为正样本，n为训练样本总数；在人眼检测中，0和1分别表示非人眼与人眼。

(2)初始化权重：设D_t(i)为第t次循环中第i个样本的误差权重，对于负样本，p为负样本个数；对于正样本，q为正样本个数；

(3)对于t＝1,2,3...T，进行以下迭代训练，选取当轮中的最佳弱分类器，该算法中，迭代T次即代表选取T个最佳弱分类器；

1)归一化权重： ${\mathrm{\&omega;}}_t\left(i\right)=\frac{D_t\left(i\right)}{\underset{i=1}{\overset{n}{\&Sigma;}}{D}_t\left(i\right)};$

2)对每个Haar特征计算弱分类器h_j的的误检率：

3)选出误检率最低的分类器，设为最佳弱分类器h_t；

4)重新调整权重其中且e_i＝0时表示x_i被正确地分类，e_i＝1表示x_i被错误地分类。

(4)经迭代T次之后，产生了T个最佳弱分类器h₁(x)，h₂(x)…h_t(x)，按照下式加权组成强分类器： $H\left(X\right)=\left\{\begin{array}{c}1\left(\underset{t=1}{\overset{T}{\&Sigma;}}{\mathrm{\&alpha;}}_t{h}_t\right(x)\&GreaterEqual;\frac{1}{2}\underset{t=1}{\overset{T}{\&Sigma;}}{\mathrm{\&alpha;}}_t)\\ 0\left(others\right)\end{array}\right\},$ 其中， ${\mathrm{\&alpha;}}_t=log\frac{1}{{\mathrm{\&beta;}}_t}=log\frac{1-{\mathrm{\&epsiv;}}_t}{{\mathrm{\&epsiv;}}_t}.$

3、通过Adaboost算法，我们可以通过一定的特征得到弱分类器，以此训练得到强分类器，再利用分类器进行人脸检测。人脸检测一般性过程如附图3所示。

4、接着充分利用脸部一般性这个特点，若令找到的脸部框的上边缘中心为坐标原点，上边缘为x轴，纵向中心对称线为y轴，则可以将左眼(镜像)的位置缩小为脸部左半边自原点四分之一到二分之一的地方，同理，右眼(镜像)的位置可缩小为脸部右半边自原点四分之一到二分之一的地方，这可以初步确定人眼位置。

5、基于模板匹配的方法的主要思路就是在图像灰度层次上直接比较目标模板和候选图像区域之间的相似性，计算二者之间的相关系数。模板匹配过程如附图4所示。在本发明中，采用另外一种方法来衡量和之间的误差，公式为：

其中，为模板，为搜索图；

根据不同的匹配方向选取一个误差阈值，当时停止该点的计算，继续下一点的计算。

下面对专利提出的算法进行了验证。通过在视频上进行人眼检测证明该算法对近实时人眼检测与跟踪的有效性。通过将本发明提出的分类器方法与OpenCV自带的原始分类器haarcascade_eye_tree_eyeglasses.xml以及改进的分类器haarcascade_eye.xml进行识别率的对比证实本发明提出的方法拥有较高的定位准确性。

1、基于网上随意下载的视频进行人眼定位，实验结果表明本发明的方法具有一定的普遍性，在摄像头实时采集过程中也可以达到相同的效果。结果如附图5所示。

2、OpenCV自带的原始分类器haarcascade_eye_tree_eyeglasses.xml以及改进的分类器haarcascade_eye.xml与本发明中提出的方法进行的识别率对比，每种分类器检测1000帧(从30帧到1043帧，由于遮挡存在，其中包含无效帧13帧，同时，脸允许有30度以内的转向角)

表一识别率对比

从此表格中可以明显看出，本发明中提出的方法拥有较高的定位准确性。

haarcascade_eye_tree_eyeglasses.xml由于用两只眼睛进行整体定位，因而大大增加了漏检率，将很多眼睛部位误认为不含有眼睛，而haarcascade_eye.xml因仅仅依赖于眼睛于分类器，导致识别时容易产生一定的错误，同时，由于训练图片的局限性，导致其对于闭眼的动作时无法定位眼睛的位置。

Claims (2)

1.一种近实时效应的人眼检测与定位方法，首先利用Adaboost算法找到人脸区域，并在此基础上运用先验知识缩小眼睛的位置范围，分别将左右眼睛的位置估计出来；然后进行模板匹配，初步检测到人脸区域，并确定人眼的候选区域，通过计算人眼平均模板和待检测图像之间的相关系数，通过相关程度来最终确定该候选区域是否为人眼区域；当相关系数大于预先设定好的阈值判断该区域为人眼区域，框出此区域，否则便不是人眼的位置。

2.根据权利要求1所述的近实时效应的人眼检测与定位方法，其特征在于，具体过程如下：

①用Haar特征的位置信息，对训练样本进行统计就可以得到对应的特征参数，一个弱分类器h_j(x)包括一个类Haar特征的特征值f_j，一个分类阈值θ_j和一个分类方向p_j；

②利用Adaboost算法训练强分类器，训练流程如下：

(1)给定一个训练集(x₁,y₁)(x₂,y₂)...(x_i,y_i)...(x_n,y_n)，x_i是输入的训练样本,y_i是分类的类别标志；其中x_i表示第i个样本，y＝0时为负样本,y＝1时为正样本，n为训练样本总数，在人眼检测中，0和1分别表示非人眼与人眼；

(2)初始化权重：设D_t(i)为第t次循环中第i个样本的误差权重，对于负样本，为负样本个数；对于正样本，q为正样本个数；

(3)对于t＝1,2,3...T，进行迭代训练，选取当轮中的最佳弱分类器，迭代T次即代表选取T个最佳弱分类器；

③通过Adaboost算法，得到弱分类器，以此训练得到强分类器，再利用分类器进行人脸检测；

④令找到的脸部框的上边缘中心为坐标原点，上边缘为x轴，纵向中心对称线为y轴，则可以将左眼镜像的位置缩小为脸部左半边自原点四分之一到二分之一的地方，同理，右眼镜像的位置缩小为脸部右半边自原点四分之一到二分之一的地方，初步确定人眼位置，称之为候选区域；

⑤基于模板匹配的方法，在图像灰度层次上直接比较目标模板和候选区域之间的相似性，计算二者之间的相关系数，衡量T和S_ij之间的误差，公式为：

其中，T(m,n)为模板，S_ij(m,n)为搜索图；

⑥根据不同的匹配方向选取误差阈值E₀，当E(i,j)＞E₀时停止该点的计算，继续下一点的计算。