CN109919131A - 一种基于图像处理技术的疲劳检测方法 - Google Patents

Abstract

本发明提供一种基于图像处理技术的疲劳检测方法，首先载入AFW数据集，利用ERT级联回归算法，载入图片后预测生成一个初始人脸形状，然后采用gradient boosting算法减小初始人脸形状和实际图像的平方误差总和。用最小二乘法来最小化误差，得到每一级的级联回归因子，得到检测M个人脸关键点的参数模型；获得需要处理的图像，利用该参数模型处理待处理人脸图像得到M个人脸关键点，将该M个人脸关键点中左右眼以及嘴部关键点的坐标取出后，依靠对眼部关键点拟合的椭圆曲率判断人的开闭眼情况，并计算眼睛的平均眨眼时间，通过嘴部关键点计算嘴巴的张口度，依靠计算所得平均眨眼时间和张口度进行疲劳判断，若疲劳则发出提醒，实现了对手机用户的疲劳检测。

Description

一种基于图像处理技术的疲劳检测方法

技术领域

本发明属于人脸识别技术领域，具体涉及一种基于图像处理技术的疲劳检测方法。

背景技术

随着社会的不断进步，各方面对于智能手机的性能要求不断提高，智能手机的普及率也不断提高。到2016年，中国手机保有量超96台/百人，而智能机普及率也达到了58％。到2018年，中国智能机的普及率就达到了68％。智能手机在为人们的生活带来便利的同时，也让人们对其产生巨大的依赖。由于智能机的易用性和丰富的可玩性，人们往往会长时间的使用手机，而用眼过度则会导致的眼干，眼涩或是眼部炎症，而绝大多数手机用户在使用手机的过程中会忽视眼疲劳的问题。因此针对手机用户的疲劳监测，与提醒的软件是很有必要的。

如今已经存在疲劳监测方面的主要是一些依赖于大量专用硬件并应用在驾驶疲劳的解决方案。缺少应用在智能手机上，针对手机用户疲劳监测的方案。

发明内容

针对上述现有技术的不足，本发明提出一种基于图像处理技术的疲劳检测方法，以实现对使用手机过程中的人们的疲劳程度及用眼健康的把控。

为实现本发明的目的，本发明采用以下技术方案：

一种基于图像处理技术的疲劳检测方法，包括如下步骤：

S1，载入数据集，利用ERT级联回归算法，载入图片后预测生成一个初始人脸形状，然后采用gradient boosting算法减小初始人脸形状和实际图像的平方误差总和。用最小二乘法来最小化误差，得到每一级的级联回归因子，最后得到检测68个人脸关键点的参数模型；

S2，通过手机摄像头获取人脸图像后，载入待处理人脸图像，利用所得到的68个人脸关键点的参数模型处理图片后，得到图片中人脸关键点的位置，将该68个人脸关键点按顺序获得人脸左眼，右眼，嘴巴的关键点坐标；

S3，记录时间，对眼睛与嘴巴的关键点坐标按预定方式处理后得到眨眼的平均时长、张口度，累计TIR值，一秒内重复N次S2中的操作，当一分钟内TIR值大于5，由此判断图像中的人物疲劳，其中，N≥20。

优选地，所述N次获取坐标点至少包括眼睛以及嘴部轮廓。

优选地，所述步骤S3中，按预定方式处理的具体步骤为：

S31，设左眼关键点为p1(x₁，y₁)、p2(x₂，y₂)、p3(x₃，y₃)、p4(x₄，y₄)、p5(x₅，y₅)、p6(x₆，y₆)。

6个特征点p1、p2、p3、p4、p5、p6分别对应眼睛的左眼角、上左眼睑、上右眼睑、右眼角、下右眼睑、下左眼睑6个特征点。通过关键点将眼部形状拟合为椭圆，取出上眼睑轮廓，并计算其曲率

曲率计算公式：

Δα为切线转角，Δs为对应的弧长。闭眼阈值设置为1.2，当K小于1.2时，判断图片中的人物处于闭眼状态。

以十秒为一个单位时间，记录在单位时间内的眨眼次数C，与眨眼所用的时间T，计算得眨眼平均时长。

当眨眼平均时长大于0.5时，初步判断疲劳，TIR值加1；

S32，设右眼关键点为p7(x₇，y₇)、p8(x₈，y₈)、p9(x₉，y₉)、p10(x₁₀，y₁₀)、p11(x₁₁，y₁₁)、p12(x₁₂，y₁₂)。

6个特征点p7、p8、p9、p10、p11、p12分别对应眼睛的左眼角、上左眼睑、上右眼睑、右眼角、下右眼睑、下左眼睑6个特征点。同理S3方法，初步判断疲劳时，TIR值加1；

S33，对嘴巴关键点的处理具体步骤为：

嘴巴轮廓点集合{(x₄₉，y₄₉),(x₅₀，y₅₀),(x₅₁，y₅₁)……(x₆₈，y₆₈)}记为点P49、P50、P51……P68。

基于嘴巴内轮廓的张口度计算公式为：

即，

由实验数据可得当张口度大于0.65时，且累计时间大于2秒时，可以判断为打哈欠。

在区分无哈欠、哈欠、深哈欠时：(利用连续时间的长短区分)一般为3s超过3s为长哈欠(深哈欠)，2-3s为哈欠。

当大于0.65时，初步判断人物疲劳，TIR加1。

S34,累计TIR值，当一分钟内TIR值大于10，,由此判断图像中的人物疲劳。

本发明与现有技术相比，有益效果是：

本发明所述基于图像处理技术的疲劳检测方法，利用ERT算法对人脸进行检测，将检测得到的68个人脸关键点进行分组，并按照一定规则对原人脸图像进行坐标标注，然后依据眼睛上眼睑轮廓的曲率变化、嘴巴内轮廓张口度方程进一步计算，通过一段时间内累计TIR值从而判断疲劳。

附图说明

为了更清楚地说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1：本发明的实施流程图。

具体实施方式

为了使本领域技术人员更好地理解本发明的技术方案，下面将结合附图以及具体的实施方式，对本发明进行详细地介绍说明。

本发明所述基于图像处理技术的疲劳检测方法，步骤如下：

S1，载入AFW数据集数据集，利用ERT算法进行特征点处的局部特征提取和回归，以样本真实值计算与所述特征点的马氏距离作为误差，反向传播微调参数，得到检测68个人脸关键点(landmark)的参数模型。在AFW数据集中，每一个人脸都包含一个长方形边界框，6个地标和相关的姿势角度。

S2，载入待处理人脸图像和所述参数模型，利用该参数模型处理所述待处理人脸图像得到68个人脸关键点，将该68个人脸关键点按顺序获得人脸左眼，右眼，嘴巴的关键点坐标；

S3，记录时间，对眼睛与嘴巴的关键点坐标处理后得到眨眼的平均时长、张口度，累计TIR值，重复N次S2中的操作，当一分钟内TIR值大于10，,由此判断图像中的人物疲劳，其中，N≥30。

S4，处理结束。

本发明所述方法使用到的ERT算法是人脸识别技术中的常用模型，为便于本领域技术人员的理解，本发明对ERT算法模型做出进一步解释：

ERT算法：

ERT(ensemble of regression trees)级联回归，即基于梯度提高学习的回归树方法。该算法使用级联回归因子，首先需要使用一系列标定好的人脸图片作为训练集，然后会生成一个模型。

使用基于特征选择的相关性方法把目标输出ri投影到一个随机方向w上，并且选择一对特征(u,v)，使得Ii(u’)-Ii(v’)与被投影的目标wTri在训练数据上拥有最高的样本相关性。

当获得一张图片后，算法会生成一个initial shape就是首先估计一个大致的特征点位置，然后采用gradient boosting算法减小initial shape和ground truth的平方误差总和。用最小二乘法来最小化误差，得到每一级的级联回归因子。

核心公式为：

使用梯度提高学习的回归树训练每个rt，使用最小二乘法最小化误差。t表示级联序号，rt(·,·)表示当前级的回归器。回归器的输入参数为图像I和上一级回归器更新后的shape,采用的特征可以是灰度值或者其它。每个回归器由很多棵树组成，每棵树参数是根据当前形状和ground truth的坐标差和随机挑选的像素对训练得到的。

与LBF不同，ERT是在学习Tree的过程中，直接将shape的更新值ΔS存入叶子结点leaf node.初始位置S在通过所有学习到的Tree后，meanshape加上所有经过的叶子结点的ΔS，即可得到最终的人脸关键点位置。

本发明采用这种模型可保证对人脸图像的疲劳检测效果，保证上述人脸疲劳检测方法中的数据处理效果。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于图像处理技术的疲劳检测方法，其特征在于，包括如下步骤：

S1，载入数据集，利用ERT级联回归算法，载入图片后预测生成一个初始人脸形状，采用gradient boosting算法减小初始人脸形状和实际图像的平方误差总和，用最小二乘法来最小化误差，计算每一级的级联回归因子，得到检测68个人脸关键点的参数模型；

S2，通过手机摄像头获取人脸图像后，载入待处理人脸图像，利用所述参数模型处理图片后，得到M个人脸关键点，其中，M≥68，所述M个人脸关键点至少包括眼睛和嘴巴，根据M个人脸关键点获取眼睛和嘴巴的关键点坐标，

记录时间，对眼睛与嘴巴的关键点坐标按预定方式处理后得到眨眼的平均时长、嘴巴的张口度；

S3，一秒内重复N次S2中的操作，其中，N≥20；累计TIR值，若一分钟内TIR值大于10，则判断用户疲劳。

2.根据权利要求1所述的基于图像处理技术的疲劳检测方法，其特征在于，所述步骤S2中，M＝68，所述M个人脸关键点还包括人脸。

3.根据权利要求2所述的基于图像处理技术的疲劳检测方法，其特征在于，所述步骤S2中，对眼睛的关键点坐标按预定方式处理的具体步骤为：

S21，设左眼关键点为p1(x1，y1)、p2(x2，y2)、p3(x3，y3)、p4(x4，y4)、p5(x5，y5)、p6(x6，y6)；

p1、p2、p3、p4、p5、p6分别对应眼睛的左眼角、上左眼睑、上右眼睑、右眼角、下右眼睑、下左眼睑6个特征点；

通过关键点将眼部形状拟合为椭圆，取出上眼睑轮廓，并计算其曲率

曲率计算公式：

Δα为切线转角，Δs为对应的弧长；闭眼阈值设置为1.2，当K小于1.2时，判断图片中的人物处于闭眼状态；

以十秒为一个单位时间，记录在单位时间内的眨眼次数C，与眨眼所用的时间T，计算得眨眼平均时长，

当眨眼时长大于0.5时，初步判断疲劳，TIR值加1；

S22，设右眼关键点为p7(x7，y7)、p8(x8，y8)、p9(x9，y9)、p10(x10，y10)、p11(x11，y11)、p12(x12，y12)；

p7、p8、p9、p10、p11、p12分别对应眼睛的左眼角、上左眼睑、上右眼睑、右眼角、下右眼睑、下左眼睑6个特征点；

当K低于1.2时判定为闭眼，

当眨眼时长大于0.5时，TIR值加1；

所述对嘴巴的关键点坐标按预定方式处理的具体步骤为：

S23，嘴巴轮廓点集合{(x49，y49),(x50，y50),(x51，y51)……(x68，y68)}记为点P49、P50、P51……P68，

嘴巴内轮廓的张口度计算公式为：

即，

当张口度大于0.65时，判断为打哈欠；初步判断人物疲劳，TIR值加1。

4.根据权利要求3所述的基于图像处理技术的疲劳检测方法，其特征在于，

当张口度大于0.65时，判断为打哈欠，若哈欠连续时长大于3s，则为长哈欠，若哈欠连续时长为2-3s，则为哈欠。