CN106650688A - 基于卷积神经网络的眼部特征检测方法，装置及识别系统 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的眼部特征检测方法，包括如下步骤：接收待检测的眼部图像；基于神经网络对所述眼部图像上的特征点进行估计，以从所述眼部图像中提取出所需的特定点；其中，在神经网络训练时，所述神经网络的训练样本的特征点根据预设的几何约束关系进行标定；输出包含有提取到的所述特征点的眼部图像。本发明还公开了一种基于卷积神经网络的眼部特征检测装置及识别系统，本发明可提高特征点的检测准确率，进而提高识别的准确率。

Description

基于卷积神经网络的眼部特征检测方法、装置及识别系统

技术领域

本发明涉及计算机视觉领域，尤其涉及一种基于卷积神经网络的眼部特征检测方法、装置及识别系统。

背景技术

面部特征点是人机交互、人脸识别、表情分析的基础，是计算机视觉领域的研究热点之一。但是由于光照、头部姿势、复杂背景等因素的影响，导致面部特征点的检测精度较低。目前，常用的特征点检测方法大致可以分为两大类：基于模型的方法和基于回归的方法。

基于模型的方法首先训练一个参数模型，然后利用该模型匹配测试图像。经过多次迭代优化模型参数，直至满足特征点匹配要求，迭代停止。主动表观模型(ActiveAppearance Model，AAM)作为一种经典的基于模型的方法，充分利用了全局的形状和纹理信息，成为国内外研究人员广泛使用的面部特征点定位算法。但是为得到较好的结果，基于模型的方法需要多次迭代过程，增加了处理时间。

与基于模型的方法相比，基于回归的方法将特征点检测视为一项回归任务，无需迭代过程，常用的回归估计算法包括：卷积神经网络(Convolutional Neural Network，CNN)，RF以及支持向量机(Support Vector Machine，SVM)等。其中，为得到较好的效果，RF和SVM等分类方法的输入数据首先需要进行特征提取，而CNN无需构造人工特征，具有自主学习深层特征的能力。CNN级联结构采用整体到局部的优化策略，第一级网络初步定位所有特征点位置，之后各级并行网络分别检测局部区域内的特征点。

眼睛作为人脸最显著的特征，是疲劳检测、眼动分析、人机交互等研究关注的重点。在这些应用中往往需要更高的检测精度和更快的处理速度，面部特征点检测中基于模型与基于回归的方法同样适用于眼部特征点检测。而CNN级联结构有较强的鲁棒性，在特征点检测上取得了较好的效果。然而级联结构降低了处理速度，无法满足实时检测的需求，特别是局部区域检测过程无法利用特征点间的几何关系这一重要信息。

发明内容

针对上述问题，本发明的目的在于提供一种基于卷积神经网络的眼部特征检测方法、装置及识别系统，可实现快速、准确的特征点检测。

本发明提供了一种基于卷积神经网络的眼部特征检测方法，包括如下步骤：

接收待检测的眼部图像；

基于神经网络对所述眼部图像上的特征点进行估计，以从所述眼部图像中提取出所需的特定点；其中，在神经网络训练时，所述神经网络的训练样本的特征点根据预设的几何约束关系进行标定；

输出包含有提取到的所述特征点的眼部图像。

优选地，所述特征点包括外眼角点、内眼角点、上眼睑中心点及下眼睑中心点。

优选地，所述几何约束关系为：

上眼睑中心点与下眼睑中心点位于眼睑边缘上，且上眼睑中心点与下眼睑中心点的连线通过外眼角点与内眼角点的连线中点，并垂直于水平线。

优选地，所述几何约束关系为：

上眼睑中心点与下眼睑中心点位于眼睑边缘上，且上眼睑中心点与下眼睑中心点的连线为外眼角点与内眼角点的连线的垂直平分线。

优选地，还包括：

在神经网络训练时，根据为每个特征点配置的局部区域的尺寸，对标定的特征点的坐标进行局部归一化。

优选地，所述卷积神经网络的数目为一个。

本发明还提供了一种基于卷积神经网络的眼部特征检测装置，包括：

输入模块，用于接收待检测的眼部图像

特征点提取模块，用于基于神经网络对所述眼部图像上的特征点进行估计，以从所述眼部图像中提取出所需的特定点；其中，在神经网络训练时，所述神经网络的训练样本的特征点根据预设的几何约束关系进行标定；

输出模块，用于输出包含有提取到的所述特征点的眼部图像。

优选地，还包括：

局部归一化模块，用于在神经网络训练时，根据为每个特征点配置的局部区域的尺寸，对标定出的特征点的坐标进行局部归一化。

优选地，所述特征点提取模块具体用于，基于神经网络对所述眼部图像上的左眼的特征点和右眼的特征点同时进行估计，以从所述眼部图像中提取出所需的特定点；

则所述眼部特征检测装置还包括：

扩充模块，用于将左眼图像扩充到右眼图像数据中。

本发明还提供了一种识别系统，包括采集单元、识别单元以及上述的眼部特征检测装置；其中：

所述采集单元，用于采集目标对象的N帧连续的面部图像，并提取每帧面部图像中的眼部图像；其中，N为大于2的整数；

所述眼部特征检测装置，用于提取每帧眼部图像中的特征点，生成N帧包含有特征点的眼部图像；

所述识别单元，用于根据生成的N帧包含有特征点的眼部图像，获得所述目标对象在每帧眼部图像中的眼部状态变化，并根据所述目标对象的眼部状态变化情况，识别所述目标对象的疲劳度。

本发明提供的基于CNN的眼部特征点检测方法、装置及识别系统，根据特征点之间几何关系约束对特征点进行标定，并基于标定的特征点进行训练学习，实验结果证明CNN对特征点间的明确几何约束关系有较强的学习能力，且能显著提高检测的正确率。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的基于卷积神经网络的眼部特征检测方法的流程示意图；

图2是本发明实施提供的一种卷积神经网络的结构示意图；

图3是本发明实施例提供的训练样本的特征点标定示意图；

图4是本发明实施例提供的一种标定方式的示意图；

图5是本发明实施例提供的另一种标定方式的示意图；

图6(a)和图6(b)是不同误差标准下三种标定方式的检测正确率示意图；

图7是VM-points和PB-points的检测/检验正确率与检测/检验误差关系示意图；

图8是发明与其他系统平均检测正确率的对比示意图；

图9是不同误差标准下采用全局归一化和局部归一化的平均检测正确率示意图；

图10是检测误差为5％时，不同标定方式下，全局归一化和局部归一化的检测结果对比示意图；

图11是本发明实施例提供的基于卷积神经网络的眼部特征检测装置的结构示意图；

图12本发明实施例提供的识别系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明实施例提供了一种基于卷积神经网络的眼部特征检测方法，其至少包括如下步骤：

S101，接收待检测的眼部图像。

在本发明实施例中，所述待检测的眼部图像可从面部图像上提取出来，例如，可采用adaboost人眼检测算法从面部图像中裁剪得到待检测的眼部图像。

S102，基于神经网络对所述眼部图像上的特征点进行估计，以从所述眼部图像中提取出所需的特定点；其中，在神经网络训练时，所述神经网络的训练样本的特征点根据预设的几何约束关系进行标定。

S103，输出包含有提取到的所述特征点的眼部图像。

在本发明实施例中，上述步骤可通过一个卷积神经网络(Convolutional NeuralNetwork，CNN)来实现。CNN主要由输入层(Input layer)、卷积层(Convolutional layer)、池化层(Pooling layer)、全连接层(Full Connection layer)和输出层(Output layer)组成。卷积层又称为特征提取层，其在经过训练后，可以得到输入图像的特定特征点的估计，其输出为原图的特征映射(图像特征点归一化后的坐标值)。像素级或浅层特征主要由低层结构获得，并传送到高层结构。经过多次卷积后，低级特征组合映射为高级特征，从而更好地揭示了输入与输出之间的深层关系。

如图2所示，本发明实施例提供了一个包含3个卷积层和2个池化层的深层网络。表1列出了网络结构中各层映射图的大小及个数、卷积核及池化区域的大小等详细参数(眼部图像尺寸为40*20)，当然，应当理解的是，在本发明的其他实施例中，可以根据实际需要更改卷积层和池化层的数量，此外，表1中的各个参数也可根据图像的大小进行相应调整，本发明不做具体限定。

表1网络的详细参数

在本发明实施中，为了提高网络的非线性映射能力，每个卷积层的输出都经过激活函数处理。目前已有多种类型的激活函数用于分类或回归等问题，如tanh函数、Sigmoid函数、ReLu(Rectified Linear Units)函数、Maxout函数、PReLU(Parametric RectifiedLinear Unit)函数等。针对人眼特征点检测，在自建数据库中经多次实验发现Sigmoid函数在输入图像未经任何处理的情况下可以取得较好的效果。因此在本发明实施例中将Sigmoid函数作为激活函数，则卷积层的最终输出为：

其中，sigm(x)＝1/(1+e^-x)，x^t-1和y^t为第t个卷积层的输入和输出。h_t和w_t是卷积核K的高和宽。c_t为上一层的输出特征图数目，k代表当前卷积层的第k个输出特征图，b_k为偏置项。

池化操作主要用于缩减特征图的维度，防止过拟合。本发明实施例采用了最大池化法，池化层的输出可表示为：

其中d是池化区域的大小。这里采用不重叠池化，因此池化步长也为d。在最大池化中，局部最大值用来表示该池化区域的特征。与平均池化相比，最大池化能更好地表示像素级别的特征，有利于特征点检测。多次实验表明，对于眼部特征点检测，最大池化的效果要优于平均池化。

在本发明实施例中，在采用CNN进行特征点检测前需先利用训练样本进行训练学习。其中，训练样本为各种类型的眼部图像，包括对不同人在不同注视方向、不同开闭状态、不同环境背景，不同光照条件采集的眼部图像，并且允许头部有小幅度转动。

在本发明实施例中，在CNN对训练样本进行训练前，需先标定出每张训练样本中的特征点。如图3所示，本发明实施例定义的眼部的特征点包括外眼角点B、内眼角点A、上眼睑中心点C及下眼睑中心点D。其中，内眼角点A和外眼角点B有比较明显的特征，相对易于标定。但是上眼睑中心点C及下眼睑中心点D相对模糊，不易标定。而特征点的标定是否准确以及是否具有一致性将影响到最终检测的精度，因此，本发明实施例根据预设的几何约束关系对上眼睑中心点C及下眼睑中心点D进行标定，以提高标定的准确性。

在一种标定方式(WL-points)中，所述几何约束关系为：上下眼睑的中心点C和D的连线是上下眼睑的最大距离。

如图4所示，在一种标定方式(VM-points)中，所述几何约束关系为：上眼睑中心点C与下眼睑中心点D位于眼睑边缘上，且上眼睑中心点C与下眼睑中心点D的连线通过外眼角点B与内眼角点A的连线中点，并垂直于水平线。

如图5所示，在一种标定方式(PB-points)中，所述几何约束关系为：上眼睑中心点C与下眼睑中心点D位于眼睑边缘上，且上眼睑中心点C与下眼睑中心点D的连线为外眼角点B与内眼角点A的连线的垂直平分线。

其中，上述的眼睑边缘定义为眼睑与虹膜(或巩膜)的交界线。

可以看出，在WL-points标定方式中，上眼睑中心点C、下眼睑中心点D和内眼角点A、外眼角点B之间不存在任何几何约束关系，而在VM-points和PB-points中，四个特征点之间有较为明确的几何约束关系。

下面将对上述三种标定方式对网络性能的影响进行分析。

其中，网络性能由检测误差、检测正确率或检测错误率估计，以归一化的欧氏距离为标准衡量误差，检测误差定义为：

其中，(x,y)和(x′,y′)分别为标定坐标和检测坐标，w和h为图像的宽和高。如果一次检测中，检测误差小于预定义值，则认为这次检测正确，否则视为错误。检测正确率表示为检测正确的样本数与总样本数的比值。在未做特殊说明的情况下，本发明实施例提到的检测正确率均是检测误差为5％时的结果。

图6(a)展示了四个特征点的检测正确率与检测误差之间的关系。图6(a)为内外眼角点检测结果，从图中可以看出三种标定方式的检测正确率几乎相同，说明不同标定方式对内外眼角点的检测正确率没有影响。另外，外眼角点B的检测正确率明显地低于内眼角点A的正确率，这主要因为外眼角点B的位置相对模糊，在标定阶段就存在相对较大的误差。

然而，图6(b)所示的上眼睑中心点C和下眼睑中心点D的检测正确率却有明显的不同，VM-points和PB-points的检测正确率要远高于WL-points，高约5％。这证明明确的几何约束关系显著提高了网络性能。原因主要有两个方面，首先明确的几何约束关系保证了标定的一致性，使每个特征点对应图像中相同的特征位置。尤其是针对较难确定的上眼睑中心点C和下眼睑中心点D，必要的几何约束关系不仅给出了其标定标准还能尽量确保特征点标定在每个样本中处于相同位置处，从而保证了网络能够学习到每个特征点最有效的特征信息，提高了网络特征选择能力及其性能；其次，网络可以学到四个特征点之间的位置关系，相对稳定的内外眼角点为上下眼睑点的检测提供了很好的引导作用，并且这种几何约束关系促使网络在输出时尽可能保证这种固定关系。与WL-points相比，VM-points的垂直中线和PB-points的垂直平分线都对上下眼睑的位置起到明确的约束作用，从而提高了上下眼睑点的检测正确率。

为验证神经网络对特征点之间几何约束关系的学习能力，本发明假设检测结果作为真值，对比了特征点的检测坐标与检验坐标之间的位置差异，其中检验坐标为利用三个特征点的检测坐标及特征点间的几何关系计算得到的另一个特征点的坐标。网络对特征点间几何关系的学习能力由检验误差和检验正确率衡量，检验误差定义为：

其中，(x′,y′)和(x″,y″)分别为检测坐标与检验坐标，w和h为图像的宽和高。如果检验误差小于预定义值，则认为这次检测到的点之间存在确定的几何关系，否则视为不存在。检验正确率则定义为检测点间几何约束关系存在的样本数与总样本数的比值。

在VM-points和PB-points标定方法中，四个标定的特征点之间有着明确的几何约束关系，使用检测到的上下眼睑中心点与外眼角点(或内眼角点)可计算出内眼角点(或外眼角点)的检验坐标，称之为眼角-检验坐标。在VM-points标定方法中上下眼睑点在同一条垂线上，可以得到其眼睑-检验坐标。由于采用VM-points标定方法时，四个特征点之间只有水平方向上有几何约束，因此只能计算出其检验坐标的水平分量。为保证公式(4)的形式不变，假设VM-points检验坐标的垂直分量与其检测坐标相同。

实验结果如图7所示，从图7中可以看出，VM-points和PB-points都有较高的检验正确率，其中在检验误差分别为2％和5.5％时已达到了100％。VM-points的检验正确率要远高于PB-points的检验正确率，主要是由于VM-points只计算了水平坐标的误差，没有考虑垂直坐标的影响，而PB-points计算了两个坐标方向的误差。从图7中也可看出，各种标定方式中不同特征点的检验正确率要明显高于检测正确率，这证明网络很好地学习到了特征点之间的几何关系。在训练学习中，每次的误差反向传播使网络向真实值收敛的同时，也是网络学习这些特征点之间几何关系的过程，经多次迭代后网络不仅学习了特征点的灰度及位置信息，也学习到了特征点之间的几何约束关系。因此，在每次检测过程中，网络寻找每个特征点位置的同时也尽可能地保证了检测点之间的几何约束关系，实验结果也证明了增加几何约束关系不仅能够提供明确的标定标准，还明显提高了检测结果。分析输出错误样例可发现虽然检测到的点位置相对于标定点有较大差异，但检测点间的相对关系仍然固定，进一步说明了明确的位置关系对基于卷积网络的特征点检测的重要性。

为验证本发明实施例的性能，这里进一步提供了本发明实施例与Face++和LuxandFaceSDK两个比较成熟的检测系统的比较。

图8给出了本发明与这两种检测系统对三个特征点的平均检测正确率(考虑到本发明采用的实验数据对外眼角点的标定与上述系统可能不同，这种差异对这两种方法的外眼角检测结果带来很大的影响，因此将外眼角点B除外)。从图8中可看出本发明实施例在三种标定方式中的检测结果都优于这两种系统。本发明实施例对WL-points的检测正确率较低为93.4％，但仍远高于这两个系统中最好的结果81.1％(Face++的WL-points)，这表明本发明实施例的网络结构设计合理有效。PB-points和VM-points的平均正确率均高于WL-points，进一步说明了采用严格的几何约束可以大幅提高CNN的性能。

综上所述，本发明实施例提供的基于CNN的眼部特征点检测方法，根据特征点之间几何关系约束对特征点进行标定，并基于标定的特征点进行训练学习，实验结果证明CNN对特征点间的明确几何约束关系有较强的学习能力，且能显著提高检测的正确率。实验结果表明明确的几何约束关系使上下眼睑中心点的检测正确率提高了约5％。

为了便于对本发明的理解，下面将对本发明的一些优选实施例做更进一步的描述。

第一个优选实施例：

基于梯度下降的优化算法(Gradient Descent，GD)常被用于优化CNN模型。常用的GD主要有批梯度下降法(Batch Gradient Descent，BGD)、随机梯度下降法(StochasticGradient Descent，SGD)及小批量梯度下降法(Mini-Batch Gradient Descent,MBGD)等。BGD算法每次迭代使用整个数据集中的所有样本计算梯度下降方向，保证了每次迭代都是全局最优解。但当数据集较大时，其需要大量的计算成本。SGD算法每次迭代中使用一个样本对模型参数调整，有较快的收敛速度。但是无法保证每次下降的方向是最优的，容易陷入局部极小。综合考虑BGD与SGD算法的优缺点，MBGD算法随机选取训练样本集中的一个子集计算梯度下降方向。相对于BGD减少了计算成本，与SGD相比保证收敛方向更接近全局最优。本优选实施例采用MBGD算法优化CNN模型参数，其中训练子集设为50个。

第二个优选实施例：

优选地，步骤S102具体为：

基于神经网络对所述眼部图像上的左眼的特征点和右眼的特征点同时进行估计，以从所述眼部图像中提取出所需的特定点；

则在步骤S103之前，还包括：

将左眼图像扩充到右眼图像数据中。

本优选实施例中，由于左右眼有高度的相似对称性，为提高处理速度，本优选实施例使用一个网络同时检测左右眼的特征点。同时，根据双眼的对称性特点，将左眼图像扩充到右眼图像数据中，增加数据量，防止过拟合。

第三个优选实施例：

优选地，还包括：

S104，在神经网络训练时，根据为每个特征点配置的局部区域的尺寸，对标定的特征点的坐标进行局部归一化。

网络的最终输出采用Sigmoid函数作为回归函数，训练时需要对标定点归一化。一般情况下，将标定点的横纵坐标除以输入图像的宽和高进行归一化，即整体归一化(GlobalNormalization，GN)。然而，大部分特征点只可能出现在图像某个局部小区域内，使用整幅图像归一化，特征点只能映射到[0,1]范围内的某个小区间，未能充分利用Sigmoid函数的映射空间。本优选实施例提出根据先验知识粗略地判断各个特征点可能出现在图像中的位置，然后采用局部归一化(Local Normalization，LN)方法扩大特征点在Sigmoid函数上的映射范围，拉大相近点在映射空间中的距离，提高映射能力。

具体地，考虑到上下眼睑中心点、左右眼角点在眼部图像上的位置，分别为四个特征点定义了一个局部区域用于归一化坐标。上眼睑中心点C和下眼睑中心点D分别位于图像的上3/5部分和下3/5部分，内眼角点A和外眼角点B分别位于图像左1/2部分和右1/2部分。如果输入图像大小为40×20，则内眼角点A的坐标定义在大小为20×20的右半部分局部图像中，并且使用20×20局部归一化坐标。归一化时局部图像的大小根据先验知识确定。

如图9所示，图9给出了两种归一化方法下，四个特征点的平均检测正确率与检测误差之间的关系，从图中可以看出，仅检测误差为7.5％时，WL-points的GN方法检测正确率比LN方法高0.15％，其余检测误差下，三种标定方式中LN方法的检测正确率都高于GN方法。与GN方法相比，三种标定方法的检测正确率均提高约1％。

为进一步对比GN和LN方法的效果，图10给出了三种标定方式下，两种归一化方式在检测误差为5％时的检测错误率。从图中可看出LN方法在四个特征点上的错误率都低于GN方法，其中WL-points标定方式在外眼角点上的检测错误率有了最大幅度的下降，降低了4.1％。实验结果表明，相对于GN方法，LN方法将特征点坐标映射到Sigmoid函数输出空间时，可以拉大相近点在输出空间之间的距离，较大的输出空间可以减小映射误差，使输出坐标对输入空间内特征点位置的变换更敏感，从而使其有更强的映射能力。实验结果也证实了LN方法的检测错误率要低于GN方法。

本优选实施例中，考虑到不同特征点在眼部的位置不同，采用局部区域归一化方法，扩大映射空间，减小映射误差，提高检测精度。相对于GN方法，LN方法使特征点检测的错误率最高下降了4.1％。结合几何约束关系与LN方法，对上下眼睑中心点的平均检测正确率提高了7.1％(VM-points)，对眼角点的检测正确率最高达到了95.65％(PB-points内眼角点)，比Face++和LuxandFaceSDK高12％以上，本优选实施例通过采用明确的几何关系约束及局部坐标归一化方法显著提高了网络性能。

第四个优选实施例：

优选地，所述卷积神经网络的数目为一个。

在本优选实施例中，CNN级联结构有较强的鲁棒性，在特征点检测上取得了较好的效果，然而级联结构降低了处理速度，难以满足实时检测的需求。本优选实施例采用单个卷积神经网络进行特征提取，从而大大提升检测速度，虽然单个卷积神经网络在准确率上有所不足，但是结合本发明实施例的特征点标定方法，可在不影响检测准确率的基础上大大提升检测速度(检测速度可达1.5毫秒)，从而达到实时检测的效果。

请参阅图11，本发明实施例还提供了一种基于卷积神经网络的眼部特征检测装置100，包括：

输入模块10，用于接收待检测的眼部图像。

特征点提取模块20，用于基于神经网络对所述眼部图像上的特征点进行估计，以从所述眼部图像中提取出所需的特定点；其中，在神经网络训练时，所述神经网络的训练样本的特征点根据预设的几何约束关系进行标定。

输出模块30，用于输出包含有提取到的所述特征点的眼部图像。

优选地，还包括：

局部归一化模块，用于在神经网络训练时，根据为每个特征点配置的局部区域的尺寸，对标定出的特征点的坐标进行局部归一化。

优选地，所述特征点提取模块20具体用于，基于神经网络对所述眼部图像上的左眼的特征点和右眼的特征点同时进行估计，以从所述眼部图像中提取出所需的特定点；

则所述眼部特征检测装置100还包括：

扩充模块，用于将左眼图像扩充到右眼图像数据中。

本发明提供的基于CNN的眼部特征点检测装置，根据特征点之间几何关系约束对特征点进行标定，并基于标定的特征点进行训练学习，实验结果证明CNN对特征点间的明确几何约束关系有较强的学习能力，且能显著提高检测的正确率。

请一并参阅图12，本发明实施例还提供了一种识别系统，包括采集单元200、识别单元300以及上述任一实施例所述的眼部特征检测装置100；其中：

所述采集单元200，用于采集目标对象的N帧连续的面部图像，并提取每帧面部图像中的眼部图像；其中，N为大于2的整数。

所述眼部特征检测装置100，用于提取每帧眼部图像中的特征点，生成N帧包含有特征点的眼部图像；

所述识别单元300，用于根据生成的N帧包含有特征点的眼部图像，获得所述目标对象在每帧眼部图像中的眼部状态变化，并根据所述目标对象的眼部状态变化情况，识别所述目标对象的疲劳度。

在本发明实施例中，所述眼部状态变化可包括眼睛张开度和注视方向。下面以眼睛张开度为例对本发明实施例做进一步的详细说明。

在一个应用场景中，例如，若要检测处于驾驶中的司机是否疲劳驾驶，则所述采集单元200可拍摄处于驾驶过程中的司机(即目标对象)的N帧连续的面部图像，提取每帧面部图像中的眼部图像，并将这N帧眼部图像发送给所述眼部特征检测装置100。所述眼部特征检测装置100提取每帧眼部图像中的特征点(如上所述，上眼睑中心点C和下眼睑中心点D)，生成N帧包含有特征点的眼部图像。所述识别单元300接收这N帧包含有特征点的眼部图像，并计算所述目标对象在每帧眼部图像中的眼睛张开度。

其中，为了获得眼睛张开度，需先获得这N帧图像中的CD线段的最大值CD_max，然后将每帧眼部图像的CD线段的长度除以CD_max，即得到每帧眼部图像的眼睛张开度S，即S＝CD/CD_max。若S小于预设的阈值(如S<0.5)，则认为在这帧图像中，该司机处于闭眼状态。统计这N帧图像中处于闭眼状态的帧数，如果帧数与总帧数N的比例大于预设的比值(如大于0.5)，则认为该司机处于疲劳状态下，其可能在疲劳驾驶。

在另一个应用场景下，基于本识别系统也可检测员工是否疲劳工作。同样的，所述采集单元200可拍摄处于工作中的员工(即目标对象)的N帧连续的面部图像，提取每帧面部图像中的眼部图像，并将这N帧眼部图像发送给所述眼部特征检测装置100。所述眼部特征检测装置100提取每帧眼部图像中的特征点(如上所述，上眼睑中心点C和下眼睑中心点D)，生成N帧包含有特征点的眼部图像。所述识别单元300接收这N帧包含有特征点的眼部图像，获得所述目标对象在每帧眼部图像中的眼睛张开度。

与上述应用场景不同的是，本应用场景中，CD_max可预先存储好，例如，通过数据库存储每个员工在清醒状态下的CD线段的长度作为CD_max。在计算眼睛张开度时，可从所述数据库中查询所述员工的CD_max，然后将每帧眼部图像的CD长度除以CD_max，即得到每帧的眼睛张开度S，即S＝CD/CD_max。若S小于预设的阈值(如S<0.5)，则认为在当前帧该员工处于闭眼状态。统计这N帧中处于闭眼状态的帧数，如果帧数与总帧数N的比例大于预设的比值(如大于0.5)，则认为该员工处于疲劳状态下，其可能在疲劳工作。

需要说明的是，在本发明的其他实施例中，还可用于识别疲劳阅读等，本发明不做具体的限定。

本发明实施例提供的识别系统，通过准确快速的检测眼部图像的特征点，进而通过特征点识别得到目标对象的疲劳度，从而可以及时对处于疲劳状态下的目标对象进行处理，避免过度疲劳可能产生的危害。例如，可避免因疲劳驾驶产生的车祸或因疲劳工作导致的误操作产生的工伤或诱发疾病等。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

Claims (10)

1.一种基于卷积神经网络的眼部特征检测方法，其特征在于，包括如下步骤：

接收待检测的眼部图像；

基于神经网络对所述眼部图像上的特征点进行估计，以从所述眼部图像中提取出所需的特定点；其中，在神经网络训练时，所述神经网络的训练样本的特征点根据预设的几何约束关系进行标定；

输出包含有提取到的所述特征点的眼部图像。

2.根据权利要求1所述的眼部特征检测方法，其特征在于，所述特征点包括外眼角点、内眼角点、上眼睑中心点及下眼睑中心点。

3.根据权利要求2所述的眼部特征检测方法，其特征在于，所述几何约束关系为：

上眼睑中心点与下眼睑中心点位于眼睑边缘上，且上眼睑中心点与下眼睑中心点的连线通过外眼角点与内眼角点的连线中点，并垂直于水平线。

4.根据权利要求2所述的眼部特征检测方法，其特征在于，所述几何约束关系为：

上眼睑中心点与下眼睑中心点位于眼睑边缘上，且上眼睑中心点与下眼睑中心点的连线为外眼角点与内眼角点的连线的垂直平分线。

5.根据权利要求1所述的眼部特征检测方法，其特征在于，还包括：

在神经网络训练时，根据为每个特征点配置的局部区域的尺寸，对标定的特征点的坐标进行局部归一化。

6.根据权利要求1至5任意一项所述的眼部特征检测方法，其特征在于，所述基于神经网络对所述眼部图像上的特征点进行估计，以从所述眼部图像中提取出所需的特定点，具体为：

基于神经网络对所述眼部图像上的左眼的特征点和右眼的特征点同时进行估计，以从所述眼部图像中提取出所需的特定点；

则在输出包含有提取到的所述特征点的眼部图像之前，还包括：

将左眼图像扩充到右眼图像数据中。

7.根据权利要求1至5任意一项所述的眼部特征检测方法，其特征在于，所述卷积神经网络的数目为一个。

8.一种基于卷积神经网络的眼部特征检测装置，其特征在于，包括：

输入模块，用于接收待检测的眼部图像；

特征点提取模块，用于基于神经网络对所述眼部图像上的特征点进行估计，以从所述眼部图像中提取出所需的特定点；其中，在神经网络训练时，所述神经网络的训练样本的特征点根据预设的几何约束关系进行标定；

输出模块，用于输出包含有提取到的所述特征点的眼部图像。

9.根据权利要求8所述的眼部特征检测装置，其特征在于，还包括：

局部归一化模块，用于在神经网络训练时，根据为每个特征点配置的局部区域的尺寸，对标定出的特征点的坐标进行局部归一化。

10.一种识别系统，其特征在于，包括采集单元、识别单元以及如权利要求8或9所述的眼部特征检测装置；其中：

所述采集单元，用于采集目标对象的N帧连续的面部图像，并提取每帧面部图像中的眼部图像；其中，N为大于2的整数；

所述眼部特征检测装置，用于提取每帧眼部图像中的特征点，生成N帧包含有特征点的眼部图像；

所述识别单元，用于根据生成的N帧包含有特征点的眼部图像，获得所述目标对象在每帧眼部图像中的眼部状态变化，并根据所述目标对象的眼部状态变化情况，识别所述目标对象的疲劳度。