CN104091150B - 一种基于回归的人眼状态判断方法 - Google Patents

Abstract

本发明涉及一种基于回归的人眼状态判断方法。本发明首先对样本中人眼的眼睑位置进行标注；并生成归一化的人眼样本x。其次将人眼样本x，及由上下眼睑距离l计算得到的开合度d作为训练数据(x,d)，输入给统计回归算法进行训练，得到回归模型Μ。然后对于新的人眼图像，归一化为标准输入x_i给回归模型Μ，得到输出开合度d_i。最后根据不同的应用需要，场景和不同的使用者，选择阈值Τ。检测闭眼，如果d_i≤Τ_c，则表示闭眼，Τ_c为闭眼阈值。如果d_i≥Τ_o，则表示开眼，Τ_o为开眼阈值。本发明在不需要精确检测眼睑的情况下，利用统计学习技术自动得到连续的人眼睁闭开合度。该方法易于实现，鲁棒性好，应用灵活。

Description

一种基于回归的人眼状态判断方法

技术领域

本发明属于视频分析技术领域，涉及一种基于回归的人眼状态判断方法。

背景技术

在疲劳检测等人脸图像分析应用中，需要自动检测人眼闭合状态。已有方法可分为两类。一类是通过边缘分析、主动形状模型（ASM）、纹理模型（AAM）等图像分析手段，精确检测出眼睑轮廓线，通过两个眼睑之间的距离，直接判断出眼睛是否闭合；另一类是通过统计学习的方法，利用大量的开眼和闭眼样本，训练出分类器，对人眼状态进行开、合分类。第一类方法直接，而且可以给出眼睛的开合度。但是要准确的检测出眼睑轮廓线，技术要求非常高，且实际应用准确度不高。第二类方法通过特征描述和分类技术对眼睛图像进行分类，技术实现相对成熟。但是应该认识到，人眼的睁闭状态并非是离散的，只有开、合两种状态，而是连续的。特别是驾驶过程中，眼睑的距离是变化的。再加上，即便都是在开眼状态下，不同人眼睛的开合度也有差异。因此，简单用分类器对眼睛状态进行分类并不合理。

发明内容

本发明采用统计学习中的回归技术，对人眼的状态判断输出连续值。在疲劳检测等实际应用中，可以设定不同的阈值，来获得不同灵敏度和对不同人的适用性。

本发明方法具体是：

步骤一：对样本中人眼的眼睑位置进行标注；所述样本至少包含10000张以上的人脸图像，且应该包含不同睁闭状态。

步骤二：生成归一化的人眼样本x。

步骤三：将人眼样本x，及由上下眼睑距离l计算得到的开合度d作为训练数据(x,d)，输入给统计回归算法进行训练，得到回归模型Μ。

步骤四：对于新的人眼图像，采用与步骤二相同方法归一化为标准输入x_i给回归模型Μ，得到输出开合度d_i。

步骤五：根据不同的应用需要，场景和不同的使用者，选择阈值Τ。检测闭眼，如果d_i≤Τ_c，则表示闭眼，Τ_c为闭眼阈值。如果d_i≥Τ_o，则表示开眼，Τ_o为开眼阈值。

进一步说，在步骤一中至少标注上眼睑的最低点和下眼睑的最高点。

进一步说，步骤二具体是：

首先以双眼中心为基准，将所有的人脸进行相似变换，使它们的双眼中心位置对齐。这样所有人脸图像的双眼中心距离一样，用D_{eye_cent}表示，眼睛中心点为两个眼角中线和上下眼睑中线的交点。

然后，以眼睛中心点为中心，切取固定大小区域作为归一化人眼样本，这里区域宽度W = 0.6 D_{eye_cent}，高度H = 0.3D_{eye_cent}。

进一步说，步骤三中的训练过程中将开合度作为训练标签，标签按照开合度范围划分为0~26个等级，训练至样本图像对应预测值为样本标签，则训练结束。

进一步说，步骤三中的统计回归算法采用基于回归算法原理的梯度提升树。

本发明的有益效果：在不需要精确检测眼睑的情况下，利用统计学习技术自动得到连续的人眼睁闭开合度。该方法易于实现，鲁棒性好，应用灵活。

附图说明

图1为人眼样本的选取方式；

图2为根据人眼样本闭合度标签，迭代训练过程。

具体实施方式

下面结合附图对本发明作进一步描述。

步骤一：对样本中人眼的眼睑位置进行标注。所述样本至少包含10000张以上的人脸图像，且应该包含不同睁闭状态；人眼标注上眼睑的最低点和下眼睑的最高点，人眼左右两个眼角。

步骤二：生成归一化的人眼样本x。如图1，首先以双眼中心为基准，将所有的人脸进行相似变换，使它们的双眼中心位置对齐。这样所有人脸图像的双眼中心距离一样，用D_{eye_cent}表示，眼睛中心点为两个眼角中线和上下眼睑中线的交点；

然后，以眼睛中心点为中心，切取固定大小区域作为归一化人眼样本，这里区域宽度W = 0.6 D_{eye_cent}，高度H = 0.3D_{eye_cent}。

步骤三：将人眼样本x，及由上下眼睑距离l计算得到的开合度d作为训练数据(x,d)，训练过程中将开合度作为训练标签，标签按照开合度范围划分为0~26个等级，其中0表示完全眼睛完全闭合，26表示人眼上下眼睑距离为左右眼角距离的0.5倍。假设实际过程中，上下眼睑大于左右眼角的0.5倍，则该人眼样本的类别属于第26个等级。使用这27个等级作为回归算法训练的收敛目标，如图2，举例10000个人眼样本中，闭合度为14、16、24、26的样本训练过程，在流程图第一阶段，闭合度为14、16的样本预测值为15，闭合度24、26的样本预测值为25。可见闭合度为14、16、24和26的样本离目标结果差1，称之为目标残差。将目标残差作为第二轮训练的收敛目标，直至训练残差为0，则训练结束。最终得到回归模型M。

步骤四：对于新的人眼图像，采用与步骤二相同方法归一化为标准输入x_i给回归模型Μ，得到输出开合度d_i。

步骤五：根据不同的应用需要，场景和不同的使用者，选择阈值Τ。检测闭眼，如果d_i≤Τ_c,则表示闭眼，Τ_c为闭眼阈值。如果d_i≥Τ_o, 则表示开眼，Τ_o为开眼阈值。

Claims (5)

1.一种基于回归的人眼状态判断方法，其特征在于该方法的具体步骤如下：

步骤一：对样本中人眼的眼睑位置进行标注；所述样本至少包含10000张以上的人脸图像，且应该包含不同睁闭状态；

步骤二：生成归一化的人眼样本x；

步骤三：将人眼样本x，及由上下眼睑距离l计算得到的开合度d作为训练数据(x,d)，输入给统计回归算法进行训练，得到回归模型Μ；

步骤四：对于新的人眼图像，采用与步骤二相同方法归一化为标准输入x_i给回归模型Μ，得到输出开合度d_i；该输出开合度为连续值；

步骤五：根据不同的应用需要，场景和不同的使用者，选择阈值Τ；检测闭眼，如果d_i≤Τ_c,则表示闭眼，Τ_c为闭眼阈值；如果d_i≥Τ_o,则表示开眼，Τ_o为开眼阈值。

2.根据权利要求1所述的一种基于回归的人眼状态判断方法，其特征在于：在步骤一中至少标注上眼睑的最低点和下眼睑的最高点。

3.根据权利要求1所述的一种基于回归的人眼状态判断方法，其特征在于：步骤二具体是：

首先以双眼中心为基准，将所有的人脸进行相似变换，使它们的双眼中心位置对齐；这样所有人脸图像的双眼中心距离一样，用D_{eye_cent}表示，眼睛中心点为两个眼角中线和上下眼睑中线的交点；

然后，以眼睛中心点为中心，切取固定大小区域作为归一化人眼样本，这里区域宽度W＝0.6D_{eye_cent}，高度H＝0.3D_{eye_cent}。

4.根据权利要求1所述的一种基于回归的人眼状态判断方法，其特征在于：步骤三中的训练过程中将开合度作为训练标签，标签按照开合度范围划分为0～26个等级，训练至样本图像对应预测值为样本标签，则训练结束。

5.根据权利要求1所述的一种基于回归的人眼状态判断方法，其特征在于：步骤三中的统计回归算法采用基于回归算法原理的梯度提升树。