CN105335695A - 一种基于眼镜检测的眼睛定位方法 - Google Patents

Abstract

本发明公开了一种基于眼镜检测的眼睛定位方法，属于图像处理和计算机视觉领域，适用于驾驶员疲劳检测系统、视线跟踪系统等多类智能系统。该方法首先对输入的图像进行人脸定位，再通过对定位到人脸图像进行分析提取眼镜佩戴与否的信息。然后根据是否佩戴眼镜选取最优眼睛检测分类器。最后，根据最优眼睛检测分类器确定眼睛的位置。该方法能有效解决戴眼镜情况下眼睛定位精度下降的问题，实现更鲁棒的眼睛定位效果。

Description

一种基于眼镜检测的眼睛定位方法

技术领域

本发明属于图像处理和计算机视觉领域，具体是一种基于眼镜检测的眼睛定位方法。

背景技术

眼睛定位在计算机视觉领域内有着较广泛的应用。在视线跟踪、疲劳检测等领域，它是进一步分析眼睛状态的前提条件，而在人脸识别，头部姿势估计等问题中，眼睛定位可以起到标定的作用，可以有效提高识别的准确率。因此对眼睛定位算法的研究，能有效的提升多类系统的整体性能。

早期的眼睛定位算法主要针对眼睛的外观和结构特征等人脸的固有属性进行设计的，这类方法在实验室条件下能取得良好的效果，然而由于其利用了太多先验信息和假设，因此往往难以应用于实际环境。为了克服这类算法的局限性，有研究人员提出了基于统计学习方法的眼睛定位算法，其中典型的方法有基于Haar特征的AdaBoost算法及基于Hog特征的SVM算法。这类算法能通过对样本进行学习提取眼睛的隐式特征，当样本有足够代表性的情况下，这类算法有很强的泛化能力。然而，这类算法普遍存在一个问题在于，其适用范围受样本影响，当测试集与训练样本集差异较大时，往往会出现较严重的性能下降。

近年来，戴眼镜的人群越来越多，戴眼镜尤其是黑框眼镜时眼睛图像与不戴眼镜时有较大的差异。因此，针对正常情况下训练的眼睛检测分类器在佩戴眼镜情况下其检测性能会出现严重下降。解决戴眼镜情况下导致眼睛定位精度下降的一个方法是在训练分类器阶段添加戴眼镜情况下的眼睛图像样本。这一方法可以一定程度的解决问题。然而，由于戴眼镜的眼睛图像和不戴眼镜的眼睛图像差异较大，很可能会导致特征维度过高，分类器过于复杂等问题，其检测效果无论实时性还是准确性都并不理想。

因此，需要提出一种在基本不影响检测效率的前提下，对戴眼睛情况和不戴眼睛情况都能有效检测到眼睛的方法。

发明内容

本发明的目的是解决传统眼睛定位算法定位精度易受佩戴眼镜影响的问题。通过设计一种新的眼睛定位框架，先用训练好的眼镜架检测模型分析用户是否有佩戴眼镜，根据该信息选取最优眼睛检测分类器，以保证无论佩戴眼镜与否都能准确的实现眼睛定位。本发明通过如下技术方案实现。

一种基于眼镜检测的眼睛定位方法，该方法包括如下步骤：

步骤1：在训练阶段，通过对样本进行学习，训练一个眼镜检测模型；

步骤2：获取一帧图像进行人脸检测，如果检测成功，则执行步骤3，并使i加1，i为已经检测到的人脸图像帧数；如果检测连续失败，则重新执行步骤2；

步骤3：如果i小于或等于设定阈值n，则对步骤2得到的人脸图像根据步骤1得到的眼镜检测模型分析用户是否有佩戴眼镜，进入步骤4；若i大于设定阈值n，则用户是否配戴眼镜以前n帧人脸图像关于用户是否佩戴眼镜的检测结果为准，进入步骤4；

步骤4：根据步骤3的是否有佩戴眼镜分析结果，选取最优眼睛检测器；

步骤5：根据步骤4选取的最优眼睛检测器对步骤2获得的人脸图像进行眼睛定位，输出定位结果，返回步骤2。

进一步地，步骤1中，眼镜检测模型的训练方法为，分别训练眼镜架检测模型和眼镜架概率模型；利用眼镜架检测模型对眼镜架位置进行预估，再利用眼镜架概率模型判断驾驶员是否佩戴眼镜。

进一步地，在眼镜检测模型训练方法中，将所有训练样本的人脸图像分为正脸、左侧脸、右侧脸三类；对每一类样本，统计眼镜架中心坐标在人脸区域中的相对位置，相对位置的均值即为模型估计的当前人脸朝向对应的眼镜架中心坐标。

进一步地，眼镜架概率模型的训练方法为：记训练样本集为Y＝{0,1}，戴眼镜的人脸图像集为P＝{p|p∈Y,y＝1}，不戴眼镜的人脸图像集为N＝{n|n∈Y,n＝1}，根据眼镜架检测模型分别对P和N样本中眼镜架位置进行估计得到感兴趣区域，然后对感兴趣区域进行特征提取得到特征X，最后采用最小二乘法对输入特征X和输出Y＝{0,1}进行曲线拟合，得到的拟合函数即为眼镜架的概率模型。

进一步地，所述对感兴趣区域进行特征提取的方法为：先采用高斯滤波去除图像噪声，再采用高阈值的Canny边沿检测检测图像中的直线并将图像转换为二值图；最后对得到的二值化图像中亮点数量进行统计以估计边缘面积S_e，计算S_e与整个感兴趣区域面积S的比值X，X即为所提取的特征。

进一步地，步骤3中，用户是否有佩戴眼镜的判断方法为对每帧图像，采用所述的眼镜检测模型进行检测得到当前图像佩戴眼镜的概率p，n帧图像的判断结果如果P大于设定阀值，则判断当前驾驶员有佩戴眼镜，反之则判断当前驾驶员没有佩戴眼镜。

进一步地，步骤4中，最优眼睛检测器的具体选取方法为根据步骤3的分析结果，如果判断当前用户没有佩戴眼镜，则选用未佩戴眼镜情况下训练的眼睛检测分类器，否则选用根据佩戴眼镜样本训练的眼睛检测分类器。

进一步地，步骤(1)还包括训练戴眼镜情况下的基于Haar特征的AdaBoost眼睛检测分类器：对戴眼镜情况，分别选取在实验室环境下录制的不同实验者不同角度下睁闭眼视频，对视频的每一帧图像进行手工标定处理，提取其中的左眼图像作为训练正样本。对每个视频的每帧图像，设定左半脸作为感兴趣区域，随机选取若干张不与眼睛区域相交的图像作为负样本。最后，采用基于Haar特征的AdaBoost算法对正样本和负样本进行训练，以得到特征分类器。对于不戴眼镜的情况，由于传统分类器已经可能达到较高的准确率，因此不进行重新训练。

与现有技术相比，本发明具有如下优点和效果：本发明通过引入眼镜检测模型，只需要简单的对人脸图像进行分析即可以相当高的正确率判断目标是否有佩戴眼镜，在实际测试中正确率达90％以上。根据判断结果，本发明可以选取最优的眼睛检测分类器。本发明提出的眼睛检测框架能有效解决戴眼镜情况下眼睛定位精度下降的问题，基本上不影响检测效率，并且能适用于多种不同的眼睛检测算法，只要是基于统计学习的眼睛定位方法，都可以借助本发明所述的方法提升其在戴眼镜情况下的检测精度。

附图说明

图1是本发明基于眼镜检测的眼睛定位方法的整体流程图。

具体实施方式

下面结合附图对本发明的具体实施方式做进一步说明。

本实施方式中，所提出的基于眼镜检测的眼睛定位方法能克服戴眼镜情况下眼睛定位精度下降的问题。通过对采集到的人脸图像进行分析判断是否有佩戴眼镜，再根据判断结果选取最优眼睛检测分类器。算法的整体流程图如图1所示。本方法能确保无论采集到的人脸图像佩戴眼镜与否，都可以达到较高的检测精度。

本实施方式中，训练阶段在实验室环境下分别采集10个实验者戴眼镜情况下9种姿势的睁闭眼视频，其中9种姿势分为正脸、左侧脸、右侧脸三组，每组包括平视、仰视、俯视三个动作，共计180个视频。对采集到的视频的每一帧图像，提取其左眼区域e及鼻梁上方的眼镜架区域g，并在左脸区域随机选取10个与e不相交的区域n。其中区域e和区域n分别作为正样本和负样本用于训练戴眼镜情况下的眼睛检测分类器。具体所用的算法是基于Haar特征的Adaboost分类算法。而区域g用于训练眼镜架检测模型。

本实施方法中，分别针对正脸，左侧脸，右侧脸训练眼镜架检测模型。对正脸情况，以人脸图像左上角为坐标原点，设眼镜架中心坐标为p_x，p_y，人脸图像的宽为w，高为h。可以计算眼镜架中心对人脸的归一化坐标n_x＝p_x/w，n_y＝p_y/h。通过统计不同头部姿势下眼镜架的归一化坐标，可以得到n_x，n_y的均值。根据这一统计结果，可以估计一个大概率包含眼镜架的感兴趣区域r。对左侧脸和右侧脸也进行同样的操作，可以得到不同角度下人脸图像中的眼镜架检测模型。

本实施方法中，对眼镜架的感兴趣区域r，先对图像进行高斯滤波去除噪声，再采用Canny边沿检测算子对图像进行边沿检测。其中边沿检测设置的上限阈值为300，下限阈值为150。经过高阈值的边沿检测后，大部分不显著的边沿都将被滤除，而如眼镜框这种显著的边沿则可以保留。最后，统计边沿检测后的二值图中亮点的个数，用以估计边沿的面积S_e，计算S_e和感兴趣区域面积S的比值k。将k作为输入的特征X，记训练样本输出Y＝{0,1}，采用最小二乘法Y＝βX+α，求得参数β、α。得到的拟合函数即为眼镜架的概率模型。

本实施方式中，在检测阶段，获取图像后采用基于Haar特征的AdaBoost算法进行人脸检测。在获取人脸图像后，由于佩戴眼镜是一个长时间的过程，本发明中只需检测前n帧中人脸图像来判定是否佩戴眼镜，当前图像佩戴眼镜的概率p。计算n帧图像的判断结果如果P大于设定的阈值，则判断当前用户有佩戴眼镜，反之则判断当前用户没有佩戴眼镜。

本实施方式中，在确定了目标是否有佩戴眼镜后，可以根据该信息选择最优的眼睛检测分类器。如果判断为未佩戴眼镜，则采用传统眼睛检测分类器进行眼睛定位，否则采用本方法中训练的戴眼镜情况下的眼睛检测分类器进行眼睛定位。

Claims (7)

1.一种基于眼镜检测的眼睛定位方法，其特征在于，该方法包括如下步骤：

步骤1：在训练阶段，通过对样本进行学习，训练一个眼镜检测模型；

步骤2：获取一帧图像进行人脸检测，如果检测成功，则执行步骤3，并使i加1，i为已经检测到的人脸图像帧数；如果检测连续失败，则重新执行步骤2；

步骤3：如果i小于或等于设定阈值n，则对步骤2得到的人脸图像根据步骤1得到的眼镜检测模型分析用户是否有佩戴眼镜，进入步骤4；若i大于设定阈值n，则用户是否配戴眼镜以前n帧人脸图像关于用户是否佩戴眼镜的检测结果为准，进入步骤4；

步骤4：根据步骤3的是否有佩戴眼镜分析结果，选取最优眼睛检测器；

步骤5：根据步骤4选取的最优眼睛检测器对步骤2获得的人脸图像进行眼睛定位，输出定位结果，返回步骤2。

2.如权利要求1所述基于眼镜检测的眼睛定位方法，其特征在于步骤1中，眼镜检测模型的训练方法为，分别训练眼镜架检测模型和眼镜架概率模型；利用眼镜架检测模型对眼镜架位置进行预估，再利用眼镜架概率模型判断用户是否佩戴眼镜。

3.如权利要求2所述基于眼镜检测的眼睛定位方法，其特征在于眼镜架检测模型的训练方法为对所有相同朝向的戴眼镜人脸图形训练样本，统计眼镜架中心坐标在人脸区域中的相对位置，相对位置的均值即为模型估计的当前人脸朝向对应的眼镜架中心坐标。

4.如权利要求2所述基于眼镜检测的眼睛定位方法，其特征在于眼镜架概率模型的训练方法为：记训练样本集为Y＝{0,1}，戴眼镜的人脸图像集为P＝{p|p∈Y,y＝1}，不戴眼镜的人脸图像集为N＝{n|n∈Y,n＝1}，根据眼镜架检测模型分别对P和N样本中眼镜架位置进行估计得到感兴趣区域，然后对感兴趣区域进行特征提取得到特征X，最后采用最小二乘法对输入特征X和输出Y＝{0,1}进行曲线拟合，得到的拟合函数即为眼镜架的概率模型。

5.如权利要求4所述所述基于眼镜检测的眼睛定位方法，其特征在于所述对感兴趣区域进行特征提取的方法为：先采用高斯滤波去除图像噪声，再采用高阈值的Canny边沿检测检测图像中的直线并将图像转换为二值图；最后对得到的二值化图像中亮点数量进行统计以估计边缘面积S_e，计算S_e与整个感兴趣区域面积S的比值X，X即为所提取的特征。

6.如权利要求1所述基于眼镜检测的眼睛定位方法，其特征在于步骤3中，用户是否有佩戴眼镜的判断方法为对每帧图像，采用所述的眼镜检测模型进行检测得到当前图像佩戴眼镜的概率p，n帧图像的判断结果如果P大于设定阈值，则判断当前用户有佩戴眼镜，反之则判断当前用户没有佩戴眼镜。

7.如权利要求1所述基于眼镜检测的眼睛定位方法，其特征在于步骤4中，最优眼睛检测器的具体选取方法为根据步骤3的分析结果，如果判断当前用户没有佩戴眼镜，则选用未佩戴眼镜情况下训练的眼睛检测分类器，否则选用根据佩戴眼镜样本训练的眼睛检测分类器。