CN103530595A - 检测眼睛状态的方法和设备 - Google Patents

Abstract

本发明涉及检测眼睛状态的方法和设备。检测眼睛状态的方法包括：在图像中检测角点；以及把以角点为中心的窗口中的像素对的位置和像素对的灰度关系作为特征，利用随机森林分类器，确定每个角点是否为眼睛角点；根据眼睛角点设定眼睛窗口；以及根据眼睛窗口确定眼睛的姿态。

Description

检测眼睛状态的方法和设备

技术领域

本发明涉及信息处理，具体涉及检测眼睛状态的方法和设备。

背景技术

一种传统的眨眼检测方法是基于纹理特征的方法。在该方法中，眨眼图像和闭眼图像被分别标为正样本和负样本以提取纹理特征，在提取出纹理特征后训练分类器来进行眨眼和闭眼的检测。但是这种方法有很高的计算复杂度，不太适用于智能手机或者IPAD这样的掌上智能设备。还有一种传统的眨眼检测方法是基于眼睛轮廓检测的方法。但是这种方法对噪声和光照很敏感，同时涉及较大的计算量。

发明内容

在下文中给出关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

本发明的一个主要目的在于，提供检测眼睛状态的方法和设备。

在本发明中，我们提出了一种结合检测和跟踪的方法来进行眨眼检测。该算法具有计算量小的特点，同时由于本系统使用了合理的分类器，可以保持较高的精度。

根据本发明的一个方面，提供了一种检测眼睛状态的方法，包括：在图像中检测角点；以及把以角点为中心的窗口中的像素对的位置和像素对的灰度关系作为特征，利用随机森林分类器，确定每个角点是否为眼睛角点；根据眼睛角点设定眼睛窗口；以及根据眼睛窗口确定眼睛的姿态。

根据本发明的另一个方面，提供了一种检测眼睛状态的设备，包括：角点检测部，用于在图像中检测角点；以及眼睛角点确定部，用于把以角点为中心的窗口中的像素对的位置和像素对的灰度关系作为特征，利用随机森林分类器，确定每个角点是否为眼睛角点；眼睛窗口设定部，用于根据眼睛角点设定眼睛窗口；以及眼睛姿态确定部，用于根据眼睛窗口确定眼睛的姿态。

根据本发明的又一个方面，提供了一种用于实现检测眼睛状态的方法的计算机程序。

根据本发明的再一个方面，提供了一种计算机可读介质形式的计算机程序产品，其上记录有用于实现检测眼睛状态的方法的计算机程序代码。

附图说明

参照下面结合附图对本发明实施例的说明，会更加容易地理解本发明的以上和其它目的、特点和优点。附图中的部件只是为了示出本发明的原理。在附图中，相同的或类似的技术特征或部件将采用相同或类似的附图标记来表示。

图1示出了根据本发明的一个实施例的检测眼睛状态的方法的流程图；

图2示出了根据本发明的另一个实施例的检测眼睛状态的方法的流程图，在该方法中还可以检测图像中的环境是否暗；

图3示出了图2中的检测暗环境的步骤的一种实施方式的流程图；

图4示出了图1和图2中确定眼睛姿态的步骤的一种实施方式的流程图；

图5A和图5B分别示意性示出了一男士睁着眼睛的图像和该男士闭着眼睛的图像；

图6示出了检测图5A中的男士的面部区域的示意图；

图7A是示出了利用快速角点检测算子检测角点的示意图；

图7B示出了检测面部区域中的角点的示意图；

图8示出了以眼睛角点为中心的窗口的示意图；

图9示出了随机森林分类器的示意图；

图10示出了检测出的眼睛角点的示意图；

图11示出了眼睛窗口的示意图；

图12A和图12B分别示意性示出了通过划分眼睛窗口得到的各个子窗口的八个方向上的梯度直方图；

图13示出了根据本发明的一个实施例的检测眼睛状态的设备的框图；

图14示出了根据本发明的另一个实施例的检测眼睛状态的设备的框图；

图15示出了暗环境判断部的一种配置示例的框图；

图16示出了眼睛姿态确定单元的一种配置示例的框图；

图17示出了根据本发明的又一个实施例的检测眼睛状态的设备的框图；以及

图18示出了可以用于实施根据本发明的实施例的检测眼睛状态的方法和设备的计算设备的举例的结构图。

具体实施方式

下面参照附图来说明本发明的实施例。在本发明的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。应当注意，为了清楚的目的，附图和说明中省略了与本发明无关的、本领域普通技术人员已知的部件和处理的表示和描述。

图1示出了根据本发明的一个实施例的检测眼睛状态的方法100的流程图。

如图1所示，在步骤S102中，可以在图像中检测角点。例如，该图像可以是通过电脑前方的摄像头、安装在手机等移动终端上的摄像头、或其他图像摄取装置拍摄到的图像。或者，该图像可以是预先拍摄的图像。此外，该图像可以是单幅图像，也可以是视频中的一副图像。此处的角点可以是两个或者多个边缘相交处的交点，是感兴趣的点（point of interest）。

可以通过任意适当方法来检测图像中的角点，例如，快速（FAST）角点检测算子，稍后将参照图7A进行详细描述。

接着，在步骤S104中，把以步骤S102中检测出的角点为中心的窗口中的像素对的位置和像素对的灰度关系作为特征，利用随机森林分类器，确定每个角点是否为眼睛角点。换句话说，把以角点为中心的窗口中的像素对的位置和像素对的灰度关系作为随机森林分类器的每个决策树的每个树桩分类器进行分类时所用的特征，来对角点进行分类，即，将角点分类为眼睛角点和非眼睛角点。稍后将参照图8-10来详细描述利用随机森林分类器检测眼睛角点的一种实施方式。

这里的眼睛角点指的是左眼的左眼角和右眼角、以及右眼的左眼角和右眼角。以角点为中心的窗口指的是，以角点为中心并具有预定大小的窗口，这将稍后参照图8详细进行描述。在该窗口中有多个像素。这些像素中的任意两个像素将构成一个像素对。像素对的位置指的是，这两个像素中每个像素在该窗口中的位置。像素对的灰度关系指的是，像素对中一个像素的灰度与该像素对中的另一个像素的灰度之间的关系。

接下来，在步骤S106中，可以根据眼睛角点设定眼睛窗口。由于在步骤S102中已经找到了每个眼睛的左右角点，因而可以根据以左右眼睛角点的几何中心为眼睛中心，距离为窗宽，得到眼睛窗口，如图11所示。

接下来，在步骤S108中，可以根据眼睛窗口确定眼睛的姿态。在得到眼睛窗口之后，可以根据适当的方法来确定眼睛姿态，例如，睁眼或闭眼。稍后将参照图4来详细描述步骤S108的一种实施方式。

图2示出了根据本发明的另一个实施例的检测眼睛状态的方法200的流程图。

如图2所示，在步骤S202中，可以从图像中提取面部区域，如图6所示。

例如，可以按照下式将彩色图像上的每个像素转换为灰度图像。

gray_i,j=(r_i，j-(b_i,j+g_i,j)/2)                （1）

其中，r_i，j、b_i,j和g_i，j分别为坐标为（i,j）的像素的R、G和B的值。然后，可以按照下式对每个像素进行二值化。

bin_i,j=255（如果(gray_i,j＞40&&gray_i，j<110)）

bin_i,j=0（其他情况）                         （2）

其中，bin_i,j表示将坐标为（i,j）的像素二值化得到的值。

如果在二值图上的bin_i,j=255的区域（即，白色区域）大于整张图的预定比例（如1/5），即图像中可能存在肤色区域，则继续面部区域提取的步骤。

或者，可以不进行肤色区域是否存在的判断，而直接继续面部区域提取的步骤。

接着，可以利用各种适当的分类器提取面部区域。例如，可以利用自适应增强（AdaBoost）分类器与类海尔（haar-like）特征提取面部区域。

应当理解到，以上描述的提取面部区域的方法仅是示例性的。实际上，可以通过任意适当的方法来提取面部区域。

接下来，在步骤S204中，在步骤S202中提取出的面部区域中检测角点。步骤S204对应于图1中的步骤S102，这两个步骤的区别仅在于，在步骤S102中在整个图像中检测角点，在步骤S204中在面部区域中检测角点。

步骤S206至步骤S210与图1中的步骤S104至步骤S108分别相同，为了简明起见，在此不再赘述。

接下来，在步骤S212中，可以判断图像中的环境是否暗，稍后将参照图3来描述步骤S212的一种实现方式。

如果在步骤S212中判断出图像中的环境暗时，则可以向特定用户发出图像中的环境暗的提示。该特定用户例如可以是位于该环境中的用户。

图3示出了图2中的检测暗环境的步骤S212的一种实施过程的流程图。

如图3所示，在步骤S212-2中，可以将R、G和B值小于预定值的像素看作黑色像素。例如，如果坐标为(i,j)的像素的R、G、B三个分量值均小于预定值（例如，20），则可以认为这个像素是黑色像素。

在步骤S212-4中，可以计算黑色像素数目占图像的像素总数的比例。

在步骤S212-6中，可以根据步骤S212-4中计算出的比例来判断图像中的环境是否暗。例如，如果该比例大于预定值如1/2，则可以认为图像中的环境暗，即，可以认为图像中的用户正处于暗环境中。

图4示出了图1中确定眼睛姿态的步骤S108的一种实施过程的流程图。

如图4所示，在步骤S108-2中，可以将眼睛窗口划分为多个子窗口。

例如，通过横向划分和纵向划分将眼睛窗口划分为多个子窗口。如图12A和12B所示，将眼睛窗口划分为2*2=4个子窗口。这么划分的优势在于，覆盖眼睛窗口中四个方位的主要信息。

可选地，还可以通过横向划分将眼睛窗口划分为多个子窗口。例如，可以将眼睛窗口划分为上下两个子窗口。

在步骤S108-4中，可以计算每个子窗口中的像素的灰度值在多个方向上的梯度直方图。稍后将参照图12A和图12B来详细描述梯度直方图的一个实施方式。

在步骤S108-6中，可以根据步骤S108-4中计算出的梯度直方图来确定眼睛的姿态。

此外，根据步骤S108和步骤S210的眼睛姿态的确定结果，还可以计算图像中的用户的眨眼频率，并在眨眼频率小于阈值时，向用户发出眨眼频率过低的提示。

干眼症在使用电脑的人群中变得越来越普遍，得这种病的主要原因是：当人把自己的注意力集中在电脑屏幕时，他的眨眼频率会从20次每分钟降低到4～5次每秒。因此，计算眨眼频率并在适当的时候向用户发出提示有助于防止干眼症发生。

以下以男士头像为例，参照图5A、5B、6-11、12A和12B描述检测眼睛状态的方法的一种实施方式。

图5A示出了一男士睁着眼睛的图像，图5B示出了该男士闭着眼睛的图像。以下仅针对图5A来描述后续过程。

图6示出了检测图5A中的男士的面部区域的示意图。图6中的矩形框示出了检测处的面部区域。如图6所示，在检测到的面部区域中包括了人脸的绝大部分和全部五官。尽管以矩形为例示出了面部区域，但是根据需要，面部区域可以是其他形状，如圆形、椭圆形或其他不规则形状。

图7A是示出了利用快速角点检测算子检测角点的示意图。快速角点检测算子是一种由于快速而被广泛使用的角点检测算子。针对输入图像中的每一个像素c，检查像素c周围环（半径为3的柏生汉姆（Bresenham）环)的16个像素的灰度值。如果该16个像素至少有连续的若干个(一般为9~12)像素深于或者亮于像素c的灰度值一预定值（例如，30），则像素c为角点。

图7B示出了检测面部区域中的角点的示意图。如图7B所示，在检测的角点中包括眼睛角点以及眉毛、鼻子和嘴的角点。

图8示出了以眼睛角点为中心的窗口的示意图。图9示出了随机森林分类器的示意图。图9中的随机森林分类器根据图8中的窗口中的像素对（为了简明起见，仅示意性地标出了一个像素对p1和p2）以及像素对之间的灰度关系对窗口中的角点进行分类，即判断窗口中的角点是否为眼睛角点。

如图7B所示，在对面部区域的进行角点检测后，可以发现检测到的角点不仅有眼睛角点，还有非眼睛角点（即噪声角点）。因此，需要在角点中检测眼睛角点。

基于上述考虑，可以抽取检测到的角点得周围的9*9大小的窗，如图8所示。利用像素对特征和随机森林分类器来判断各角点是否为眼睛角点。

首先，从抽取到的9*9窗中随机抽取两个像素，例如，图8中的像素p1和p2，来比较像素p1和像素p2的灰度值。换句话说，以9*9窗口中的任意两个像素（例如，像素p1和p2）的位置和这两个像素的灰度关系作为分类器的特征。这里的9*9窗口仅是示意性的，可以根据需要而选取更大或更小的窗口。

如果像素p1的灰度值大于像素p2的灰度值，则可以认为结果像素p1的灰度值相对于像素p2的灰度值的关系是1，反之则认为像素p1的灰度值相对于像素p2的灰度值的关系是0。

如图9所示，随机森林分类器可以由很多决策（例如，Tn个）树组成。

以下描述随机森林分类器的训练阶段。

首先，准备多个以眼睛角点为中心的窗口以及多个以其他角点为中心的窗口作为训练样本。

然后，为随机森林分类器的每棵决策树抽取预定数量的训练样本。换句话说，为随机森林分类器的每棵决策树抽取训练集。抽取训练集的方法可以为任意适当的方法，例如，利用装袋（bagging）算法抽取属于该决策树的训练集。

最后，以抽取出的训练样本中的像素对的位置和该像素对的灰度关系作为特征训练所述随机森林分类器。具体而言，针对每棵树的每个节点，从点对特征集合中随机抽取一些点对特征，从中挑选出最具有区分力的特征为当前树的节点的树桩分类器。该过程为递归过程，直到树的深度到达阈值或者训练集的样本被全部正确分类结束。

在挑选最具有区分度特征的环节，可以有很多方法来挑选，这里我们选用了基尼指标，我们用‘1’来表示正类，用‘2’来表示负类。则基尼不纯度可以定义为：

$I\left(A\right)=1-\underset{k=1}{\overset{2}{\mathrm{\&Sigma;}}}{p}_k^2$

其中，是观测点中属于第k类的比例的平方。可以注意到：若分类精度能达到100%，则I(A)为0；若分类精度为50%，I(A)则逼近最大值。

在测试阶段，我们利用在每棵树每个节点挑选出的点对特征来进行分类，每颗树都会给出关于该测试样本的类别属性以及他的置信度。我们可以综合这些树的节点输出的结果来进行分类和置信度的判断。

因此，在实际挑选最具有区分度特征的环节中，方法为：遍历所有特征，得到每个特征的I(A)值。挑选时I(A)最小的那个特征，为当前树桩分类器。

经过随机森林分类器，真实的眼睛角点被保留了，而噪声角点被删除了，如图10所示。

图11示出了眼睛窗口的示意图。其中根据图10中的眼睛角点来设定图11中的两个眼睛窗口。可以根据以左右眼睛角点的几何中心为眼睛中心，距离为窗宽，得到眼睛窗口。尽管在图11中将眼睛窗口描绘为矩形，但实际上，眼睛窗口不一定是矩形，还可以是圆形或菱形等其他形状。

图12A和图12B分别示意性示出了通过划分眼睛窗口得到的各个子窗口的八个方向上的梯度直方图。

例如，以梯度直方图为特征，利用任意适当的分类器，将眼睛窗口分类为睁眼和闭眼。因为闭眼状态的梯度直方图（如图12A所示）和睁眼状态的梯度直方图（如图12B所示）明显不同，因此可以将梯度直方图作为特征，利用适当的分类器对眼睛窗口进行分类。例如，该分类器可以是支持向量机（SVM）分类器。

在图12A和图12B中，将眼睛窗口划分为上下左右共四个子窗口，在每个子窗口的八个方向上绘制梯度直方图。这八个方向包括水平向左方向、水平向右方向、竖直向上方向、竖直向下方向、四个对角方向。这样的选择是为了覆盖尽可能多的方向的信息。实际上，可以选择更多或更少的方向。

这样，根据图12A和图12B中的梯度直方图，利用分类器可以判断出图11中的窗口中的眼睛姿态为睁眼。

图13示出了根据本发明的一个实施例的检测眼睛状态的设备1300的框图。

如图13所示，设备1300包括角点检测部1302、眼睛角点确定部1304、眼睛窗口设定部1306和眼睛姿态确定部1308。

角点检测部1302可以在图像中检测角点。眼睛角点确定部1304可以把以检测出的角点为中心的窗口中的像素对的位置和像素对的灰度关系作为特征，利用随机森林分类器，确定每个角点是否为眼睛角点。眼睛窗口设定部1305可以根据眼睛角点设定眼睛窗口。眼睛姿态确定部1308可以根据眼睛窗口确定眼睛的姿态。

图14示出了根据本发明的另一个实施例的检测眼睛状态的设备1300’的框图。

如图14中的设备1300’与图13中的设备1300的区别在于，设备1300’还可以包括面部区域提取部1314、暗环境判断部1310和暗环境提示部1312。

面部区域提取部1314可以从图像中提取面部区域。角点检测部1302’可以从面部区域中检测角点。可见，图14中的角点检测部1302’与图13中的角点检测部1302的区别在于，检测角点的范围不同，前者是针对面部区域提取部1314提取出的面部区域，后者是针对整个图像。

暗环境判断部1310可以判断图像中的环境是否暗。在暗环境判断部1310判断图像中的环境暗时，暗环境提示部1312可以向特定用户发出图像中的环境暗的提示。

以下参照图15对暗环境判断部1310的一种实施方式进行描述。图15示出了暗环境判断部1312的一种实施方式的配置的框图。

暗环境判断部1312可以包括黑色像素确定单元1312-2、比例计算单元1312-4和暗环境判断部1312-6。

黑色像素确定单元1312-2可以将R、G和B值小于预定值的像素看作黑色像素。比例计算单元1312-4可以计算黑色像素数目占图像的像素总数的比例。暗环境判断部1312-6可以根据比例来判断图像中的环境是否暗。

以下参照图16来描述眼睛姿态确定部1308的一种实施方式。

眼睛姿态确定部1308可以根据眼睛窗口中的像素的灰度值的梯度来确定眼睛的姿态。具体而言，眼睛姿态确定部1308可以包括子窗口划分单元1308-2、梯度直方图计算单元1308-4和眼睛姿态确定单元1308-6。

子窗口划分单元1308-2可以将眼睛窗口划分为多个子窗口。例如，子窗口划分单元1308-2可以通过横向划分和纵向划分将眼睛窗口划分为多个子窗口，或者可以通过横向划分将眼睛窗口划分为多个子窗口。

梯度直方图计算单元1308-4可以计算每个子窗口中的像素的灰度值在多个方向上的梯度直方图。

眼睛姿态确定单元1308-6可以根据梯度直方图来确定眼睛的姿态。

例如，眼睛姿态确定单元可以将梯度直方图当作特征，利用任意适当的分类器，将眼睛窗口分类为睁眼和闭眼。

图17示出了根据本发明的又一个实施例的检测眼睛状态的设备1300”的框图。

图17中的设备1300”与图13中的设备1300的区别在于，设备1300”还可以包括眨眼频率计算单元1316和低眨眼频率提示单元1318。

眨眼频率计算单元1316可以根据眼睛姿态的确定结果来计算用户的眨眼频率。低眨眼频率提示单元1318可以在眨眼频率计算单元1316计算出的眨眼频率小于阈值时向特定用户发出眨眼频率过低的提示。

通过本发明可以判断该用户是否在黑暗环境中。此外，利用角点检测算子和随机森林分类器，可以在较小的计算量下得到高精度的人眼角点。此外，利用分类特征和SVM分类器还可以对睁眼和闭眼进行分类。

以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置（包括处理器、存储介质等）或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。

因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。

在通过软件和/或固件实现本发明的实施例的情况下，从存储介质或网络向具有专用硬件结构的计算机，例如图18所示的通用计算机1800安装构成该软件的程序，该计算机在安装有各种程序时，能够执行各种功能等等。

在图18中，中央处理单元(CPU)1801根据只读存储器(ROM)1802中存储的程序或从存储部分1808加载到随机存取存储器(RAM)1803的程序执行各种处理。在RAM 1803中，也根据需要存储当CPU 1801执行各种处理等等时所需的数据。CPU 1801、ROM 1802和RAM 1803经由总线1804彼此链路。输入/输出接口1805也链路到总线1804。

下述部件链路到输入/输出接口1805：输入部分1806（包括键盘、鼠标等等）、输出部分1807（包括显示器，比如阴极射线管(CRT)、液晶显示器(LCD)等，和扬声器等）、存储部分1808（包括硬盘等）、通信部分1809（包括网络接口卡比如LAN卡、调制解调器等）。通信部分1809经由网络比如因特网执行通信处理。根据需要，驱动器1810也可链路到输入/输出接口1805。可拆卸介质1811比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器1810上，使得从中读出的计算机程序根据需要被安装到存储部分1808中。

在通过软件实现上述系列处理的情况下，从网络比如因特网或存储介质比如可拆卸介质1811安装构成软件的程序。

本领域的技术人员应当理解，这种存储介质不局限于图18所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质1811。可拆卸介质1811的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘（包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM 1802、存储部分1808中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。

本发明还提出一种存储有机器可读取的指令代码的程序产品。指令代码由机器读取并执行时，可执行上述根据本发明实施例的方法。

相应地，用于承载上述存储有机器可读取的指令代码的程序产品的存储介质也包括在本发明的公开中。存储介质包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等。

本领域的普通技术人员应理解，在此所例举的是示例性的，本发明并不局限于此。

在本说明书中，“第一”、“第二”以及“第N个”等表述是为了将所描述的特征在文字上区分开，以清楚地描述本发明。因此，不应将其视为具有任何限定性的含义。

作为一个示例，上述方法的各个步骤以及上述设备的各个组成模块和/或单元可以实施为软件、固件、硬件或其组合，并作为相应设备中的一部分。上述装置中各个组成模块、单元通过软件、固件、硬件或其组合的方式进行配置时可使用的具体手段或方式为本领域技术人员所熟知，在此不再赘述。

作为一个示例，在通过软件或固件实现的情况下，可以从存储介质或网络向具有专用硬件结构的计算机（例如图18所示的通用计算机1800）安装构成该软件的程序，该计算机在安装有各种程序时，能够执行各种功能等。

在上面对本发明具体实施例的描述中，针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其他实施方式中使用，与其他实施方式中的特征相组合，或替代其他实施方式中的特征。

应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其他特征、要素、步骤或组件的存在或附加。

此外，本发明的方法不限于按照说明书中描述的时间顺序来执行，也可以按照其他的时间顺序地、并行地或独立地执行。因此，本说明书中描述的方法的执行顺序不对本发明的技术范围构成限制。

本发明及其优点，但是应当理解在不超出由所附的权利要求所限定的本发明的精神和范围的情况下可以进行各种改变、替代和变换。而且，本发明的范围不仅限于说明书所描述的过程、设备、手段、方法和步骤的具体实施例。本领域内的普通技术人员从本发明的公开内容将容易理解，根据本发明可以使用执行与在此的相应实施例基本相同的功能或者获得与其基本相同的结果的、现有和将来要被开发的过程、设备、手段、方法或者步骤。因此，所附的权利要求旨在在它们的范围内包括这样的过程、设备、手段、方法或者步骤。

关于以上实施例的实施方式，还公开以下附记。

附记1.一种检测眼睛状态的方法，包括：

在图像中检测角点；以及

把以所述角点为中心的窗口中的像素对的位置和所述像素对的灰度关系作为特征，利用随机森林分类器，确定每个角点是否为眼睛角点；

根据所述眼睛角点设定眼睛窗口；以及

根据所述眼睛窗口确定所述眼睛的姿态。

附记2.根据附记1所述的方法，在所述在图像中检测角点的步骤之前还包括：从所述图像中提取面部区域；

其中，从所述面部区域中检测所述角点；

所述方法还包括：

判断所述图像中的环境是否暗；

在所述图像暗时，向特定用户发出所述图像中的环境暗的提示。

附记3.根据附记2所述的方法，其中，所述判断所述图像中的环境是否暗的步骤包括：

将R、G和B值小于预定值的像素看作黑色像素；

计算所述黑色像素数目占所述图像的像素总数的比例；以及

根据所述比例来判断所述图像中的环境是否暗。

附记4.根据附记1所述的方法，其中，所述根据所述眼睛窗口确定所述眼睛的姿态的步骤包括：

根据所述眼睛窗口中的像素的灰度值的梯度来确定所述眼睛的姿态。

附记5.根据附记4所述的方法，其中，所述根据所述眼睛窗口中的像素的灰度值的梯度来确定所述眼睛的姿态的步骤包括：

将所述眼睛窗口划分为多个子窗口；

计算每个子窗口中的像素的灰度值在多个方向上的梯度直方图；以及

根据所述梯度直方图来确定所述眼睛的姿态。

附记6.根据附记5所述的方法，其中，所述将所述眼睛窗口划分为多个子窗口的步骤包括：

通过横向划分和纵向划分将所述眼睛窗口划分为所述多个子窗口；或

通过横向划分将所述眼睛窗口划分为所述多个子窗口。

附记7.根据附记6所述的方法，其中，所述根据所述梯度直方图来确定所述眼睛的姿态的步骤包括：

以所述梯度直方图为特征，利用分类器，将所述眼睛窗口分类为睁眼和闭眼。

附记8.根据附记1至7中任一项所述的方法，还包括：

根据所述眼睛姿态的确定结果来计算所述用户的眨眼频率；以及

在所述眨眼频率小于阈值时，向所述特定用户发出所述眨眼频率过低的提示。

附记9.一种检测眼睛状态的设备，包括：

角点检测部，用于在图像中检测角点；以及

眼睛角点确定部，用于把以所述角点为中心的窗口中的像素对的位置和所述像素对的灰度关系作为特征，利用随机森林分类器，确定每个角点是否为眼睛角点；

眼睛窗口设定部，用于根据所述眼睛角点设定眼睛窗口；以及

眼睛姿态确定部，用于根据所述眼睛窗口确定所述眼睛的姿态。

附记10.根据附记9所述的设备，还包括：

面部区域提取部，用于从所述图像中提取面部区域；

其中，所述角点检测部被配置为从所述面部区域中检测所述角点；

所述设备还包括：

暗环境判断部，用于判断所述图像中的环境是否暗；以及

暗环境提示部，用于在所述图像暗时，向特定用户发出所述图像中的环境暗的提示。

附记11.根据附记10所述的设备，其中，所述暗环境判断部包括：

黑色像素确定单元，用于将R、G和B值小于预定值的像素看作黑色像素；

比例计算单元，用于计算所述黑色像素数目占所述图像的像素总数的比例；以及

暗环境判断部，用于根据所述比例来判断所述图像中的环境暗是否暗。

附记12.根据附记9所述的设备，其中，所述眼睛姿态确定部被配置为根据所述眼睛窗口中的像素的灰度值的梯度来确定所述眼睛的姿态。

附记13.根据附记12所述的设备，其中，所述眼睛姿态确定部包括：

子窗口划分单元，用于将所述眼睛窗口划分为多个子窗口；

梯度直方图计算单元，用于计算每个子窗口中的像素的灰度值在多个方向上的梯度直方图；以及

眼睛姿态确定单元，用于根据所述梯度直方图来确定所述眼睛的姿态。

附记14.根据附记13所述的设备，其中，所述子窗口划分单元被配置为通过横向划分和纵向划分将所述眼睛窗口划分为所述多个子窗口，或者被配置为通过横向划分将所述眼睛窗口划分为所述多个子窗口。

附记15.根据附记14所述的设备，其中，所述眼睛姿态确定单元被配置为：以所述梯度直方图为特征，利用分类器，将所述眼睛窗口分类为睁眼和闭眼。

附记16.根据附记9至15中任一项所述的设备，还包括：

眨眼频率计算单元，用于根据所述眼睛姿态的确定结果来计算所述用户的眨眼频率；以及

低眨眼频率提示单元，用于在所述眨眼频率小于阈值时，向所述特定用户发出所述眨眼频率过低的提示。

附记17.一种用于实现根据附记1至8中任一项所述的方法的计算机程序。

附记18.一种计算机可读介质形式的计算机程序产品，其上记录有用于实现根据附记1至8中任一项所述的方法的计算机程序代码。

Claims (10)

1.一种检测眼睛状态的方法，包括：

在图像中检测角点；以及

把以所述角点为中心的窗口中的像素对的位置和所述像素对的灰度关系作为特征，利用随机森林分类器，确定每个角点是否为眼睛角点；

根据所述眼睛角点设定眼睛窗口；以及

根据所述眼睛窗口确定所述眼睛的姿态。

2.根据权利要求1所述的方法，在所述在图像中检测角点的步骤之前还包括：从所述图像中提取面部区域；

其中，从所述面部区域中检测所述角点；

所述方法还包括：

判断所述图像中的环境是否暗；

在所述图像暗中的环境暗时，向特定用户发出所述图像中的环境暗的提示。

3.根据权利要求2所述的方法，其中，所述判断所述图像中的环境是否暗的步骤包括：

将R、G和B值小于预定值的像素看作黑色像素；

计算所述黑色像素数目占所述图像的像素总数的比例；以及

根据所述比例来判断所述图像中的环境是否暗。

4.根据权利要求1所述的方法，其中，所述根据所述眼睛窗口确定所述眼睛的姿态的步骤包括：

根据所述眼睛窗口中的像素的灰度值的梯度来确定所述眼睛的姿态。

5.根据权利要求4所述的方法，其中，所述根据所述眼睛窗口中的像素的灰度值的梯度来确定所述眼睛的姿态的步骤包括：

将所述眼睛窗口划分为多个子窗口；

计算每个子窗口中的像素的灰度值在多个方向上的梯度直方图；以及

根据所述梯度直方图来确定所述眼睛的姿态。

6.根据权利要求5所述的方法，其中，所述将所述眼睛窗口划分为多个子窗口的步骤包括：

通过横向划分和纵向划分将所述眼睛窗口划分为所述多个子窗口；或

通过横向划分将所述眼睛窗口划分为所述多个子窗口。

7.根据权利要求6所述的方法，其中，所述根据所述梯度直方图来确定所述眼睛的姿态的步骤包括：

以所述梯度直方图为特征，利用分类器，将所述眼睛窗口分类为睁眼和闭眼。

8.根据权利要求1至7中任一项所述的方法，还包括：

根据所述眼睛姿态的确定结果来计算所述用户的眨眼频率；以及

在所述眨眼频率小于阈值时，向所述特定用户发出所述眨眼频率过低的提示。

9.一种检测眼睛状态的设备，包括：

角点检测部，用于在图像中检测角点；以及

眼睛角点确定部，用于把以所述角点为中心的窗口中的像素对的位置和所述像素对的灰度关系作为特征，利用随机森林分类器，确定每个角点是否为眼睛角点；

眼睛窗口设定部，用于根据所述眼睛角点设定眼睛窗口；以及

眼睛姿态确定部，用于根据所述眼睛窗口确定所述眼睛的姿态。

10.根据权利要求9所述的设备，还包括：

面部区域提取部，用于从所述图像中提取面部区域；

其中，所述角点检测部被配置为从所述面部区域中检测所述角点；

所述设备还包括：

暗环境判断部，用于判断所述图像中的环境是否暗；以及

暗环境提示部，用于在所述图像中的环境暗时，向特定用户发出所述图像中的环境暗的提示。

Images