CN107704805A

CN107704805A - 疲劳驾驶检测方法、行车记录仪及存储装置

Info

Publication number: CN107704805A
Application number: CN201710779077.7A
Authority: CN
Inventors: 杨轶
Original assignee: Shenzhen Aipei Science And Technology Co Ltd
Current assignee: Shenzhen Aipei Science And Technology Co Ltd
Priority date: 2017-09-01
Filing date: 2017-09-01
Publication date: 2018-02-16
Anticipated expiration: 2037-09-01
Also published as: CN107704805B

Abstract

本发明公开了疲劳驾驶检测方法、行车记录仪及存储装置，所述疲劳驾驶检测方法通过开启摄像头拍摄人脸图像；读入一帧人脸图像，并对所述人脸图像进行预处理；采用基于Adaboost算法的Haar分类器对预处理后的图像进行人脸检测，并绘制人脸框；根据人脸框预测得出眼睛和嘴巴周围共16个关键点的坐标信息；根据检测出的关键点的坐标信息计算眼睛区域，并提取左右眼区域的HOG特征，送入SVM分类器，判断眼睛是否为闭合状态；统计预定帧数的人脸图像内眼睛闭合的人脸图像帧数，如果眼睛闭合的人脸图像帧数超过预定阈值，则判定为疲劳驾驶并输出疲劳报警信号。本发明具有能在检测驾驶员的眨眼状况的过程中排除干扰，准确的对驾驶员的疲劳状态进行判定的优点。

Description

疲劳驾驶检测方法、行车记录仪及存储装置

技术领域

本发明涉及机动车疲劳驾驶检测方法领域，特别涉及一种疲劳驾驶检测方法、行车记录仪及存储装置。

背景技术

随着我国汽车保有量的快速提高，我国面临着前所未有的道路交通安全问题。疲劳驾驶是造成交通事故的主要原因之一，据统计约30％的交通事故是由驾驶员疲劳引起的。及时有效地检测出疲劳状态并发出报警信号可以最大程度地减少由疲劳驾驶所引起的交通事故。

疲劳检测的方法主要分为接触式及非接触式两种。采用传感器监测驾驶员生理信号，得到脉搏信号，脑电图，心电图，肌电图，呼吸频率等生理指标对疲劳状态进行分析的方法需要有仪器连接驾驶员身体，称为接触式。通过图像监控驾驶员头部运动和面部表情，进行图像处理，或者通过机械控制监测车辆运行轨迹，分析车辆行驶状态来判断驾驶员状态的方法，称为非接触式。

为了使检测方便，目前多通过非接触式疲劳检测方法对驾驶员状态进行检测。一种非接触式疲劳检测方法为运用计算机视觉方法对驾驶员面部状态进行检测与分析，比如分析驾驶员眨眼、打哈欠、头部状态等，其中在分析驾驶员眨眼时，使用传统的基于灰度投影、求质心或者边缘检测的方法很容易受到驾驶员戴有的如黑框眼睛等物品的干扰。

因而现有技术还有待改进和提高。

发明内容

鉴于上述现有技术的不足之处，本发明的目的在于提供一种疲劳驾驶检测方法、行车记录仪及存储装置，具有能在检测驾驶员的眨眼状况的过程中排除干扰，准确的对驾驶员的疲劳状态进行判定的优点。

为了达到上述目的，本发明采取了以下技术方案：

一种疲劳驾驶检测方法,包括如下步骤:

开启摄像头拍摄人脸图像；

读入一帧人脸图像，并对所述人脸图像进行预处理；

采用基于Adaboost算法的Haar分类器对预处理后的图像进行人脸检测，并绘制人脸框；

根据人脸框预测得出眼睛和嘴巴周围共16个关键点的坐标信息；

根据检测出的关键点的坐标信息计算眼睛区域，并提取左右眼区域的HOG特征，送入SVM分类器，判断眼睛是否为闭合状态；

统计预定帧数的人脸图像内眼睛闭合的人脸图像帧数，如果眼睛闭合的人脸图像帧数超过预定阈值，则判定为疲劳驾驶并输出疲劳报警信号。

所述的疲劳驾驶检测方法中，所述根据人脸框计算得出眼睛和嘴巴周围共16个关键点的坐标信息的步骤包括：

根据人脸框给出人脸的初始形状；

通过多个线性组合的级联回归器对人脸的初始形状不断更新偏移量，预测出正确的人脸的形状，即确定68个关键点的坐标位置；

选取眼睛和嘴巴周围共16个关键点的坐标信息。

所述的疲劳驾驶检测方法中，所述通过多个线性组合的级联回归器对人脸的初始形状不断更新偏移量，预测出正确的人脸形状，即确定68个关键点的坐标位置之前，还包括：

根据当前人脸的关键点的像素差特征，利用随机森林得到局部二值特征；

通过局部二值特征串联组成全值特征后，训练得出映射参数；

提取当前的人脸的形状的各个关键点的特征，并与映射参数相乘形成偏移量。

所述的疲劳驾驶检测方法中，所述像素差特征通过以关键点为圆心，以不断减小的r为半径形成圆，并在该圆内随机选取500对位置，通过500对位置的像素值相减形成像素差值作为像素差特征，且其计算公式为:

其中，I为像素强度，x和y为圆内随机生成点的横坐标和纵坐标值，△和△分别为针对该随机生成点的第一点的横坐标及纵坐标的偏移值，△和△分别为针对该随机生成点的第二点的横坐标及纵坐标的偏移值。

所述的疲劳驾驶检测方法中，所述根据检测出的关键点的坐标信息计算眼睛区域的计算公式为：

其中，与为图像中右眼的眼睛区域的左上角的x和y坐标，与为眼睛区域的长和宽，0～5号位分别为由右眼的眼睛区域最左方开始沿逆时针排列的各个关键点位，为该关键点位x方向的坐标，为该关键点位Y方向的坐标，T为由各关键点的位置上往外扩大形成眼睛区域的值。

所述的疲劳驾驶检测方法中，所述统计预定帧数的人脸图像内眼睛闭合的人脸图像帧数，如果眼睛闭合的人脸图像帧数超过预定阈值，则判定为疲劳驾驶并输出疲劳报警信号的步骤包括：

通过计数器统计30帧人脸图像内眼睛闭合的人脸图像总帧数以及连续闭合的人脸图像帧数，并进行加权平均；

如果加权平均数大于预定阈值，则判定为疲劳驾驶并输出疲劳报警信号。

所述的疲劳驾驶检测方法中，所述对图像进行预处理的步骤包括依次对图像进行缩放、裁剪、灰度化和归一化处理。

一种存储装置，所述存储装置存储有计算机程序，所述计算机程序适于被执行以实现如上述意一项所述的疲劳驾驶检测方法。

一种行车记录仪，包括处理器、与所述处理器通信连接的存储器，所述存储器存储有计算机程序，计算机程序适于被执行以实现如上述任意一项所述的疲劳驾驶检测方法；

所述处理器用于调用所述存储器中的计算机程序，以执行如上述任意一项所述的疲劳驾驶检测方法。

相较于现有技术，本发明提供的疲劳驾驶检测方法、行车记录仪及存储装置，所述疲劳驾驶检测方法通过开启摄像头拍摄人脸图像；读入一帧人脸图像，并对所述人脸图像进行预处理；采用基于Adaboost算法的Haar分类器对预处理后的图像进行人脸检测，并绘制人脸框；根据人脸框预测得出眼睛和嘴巴周围共16个关键点的坐标信息；根据检测出的关键点的坐标信息计算眼睛区域，并提取左右眼区域的HOG特征，送入SVM分类器，判断眼睛是否为闭合状态；统计预定帧数的人脸图像内眼睛闭合的人脸图像帧数，如果眼睛闭合的人脸图像帧数超过预定阈值，则判定为疲劳驾驶并输出疲劳报警信号。本发明具有能在检测驾驶员的眨眼状况的过程中排除干扰，准确的对驾驶员的疲劳状态进行判定的优点，从而可以在驾驶员疲劳驾驶时及时发出疲劳报警信号，最大程度地减少由疲劳驾驶所引起的交通事故。

附图说明

图1为本发明提供的疲劳驾驶检测方法的流程图。

图2为本发明提供的疲劳驾驶检测方法中步骤S40的流程图。

图3为本发明提供的人脸关键点的示意图。

图4为本发明提供的人脸标定方法的流程图示意图。

图5为本发明提供的像素差特征提取的示意图。

图6为本发明提供的局部二值特征提取的示意图。

图7为本发明提供的疲劳驾驶检测方法中步骤S60的流程图。

图8为本发明提供的一种行车记录仪的较佳实施例的运行环境示意图。

图9为本发明安装疲劳驾驶检测程序的行车记录仪较佳实施例的功能模块图。

具体实施方式

鉴于现有技术中分析驾驶员眨眼时使用的基于灰度投影、求质心或者边缘检测的方法很容易受到驾驶员戴有的如黑框眼睛等物品的干扰，本发明的目的在于提供疲劳驾驶检测方法、行车记录仪及存储装置，能在检测驾驶员的眨眼状况的过程中排除干扰并对驾驶员的疲劳状态进行准确的判定，从而可以在驾驶员疲劳驾驶时及时发出疲劳报警信号，最大程度地减少由疲劳驾驶所引起的交通事故。

为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

请参阅图1，为本发明提供的疲劳驾驶检测方法的流程图，其包括以下步骤：

S10、开启摄像头拍摄人脸图像。

其中，摄像头为与行车记录仪连接的车内摄像头，可以预先设置在机动车内后视镜上或者其他能拍摄驾驶员面部的位置。

S20、读入一帧人脸图像，并对所述人脸图像进行预处理。

优选的，所述对图像进行预处理的步骤包括依次对图像进行缩放、裁剪、灰度化和归一化处理。对图像进行缩放和裁剪是为了得到合适尺寸的图像，便于对其后续的处理。灰度化是为了减小图像原始数据量，减少对图像后续处理时的计算量。最后通过对图像进行了一系列标准的处理变换即归一化处理，使图像变换为能被嵌入式模型处理的固定标准形式。

S30、采用基于Adaboost算法的Haar分类器对预处理后的图像进行人脸检测，并绘制人脸框。

Adaboost算法是一种提升算法，其针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器（强分类器）。Haar是最早是由Papageorgiou等应用于人脸表示，Viola和Jones在此基础上，提出的一种简单矩形特征，常用于人脸检测。本实施例给出的人脸检测算法的详细说明如下：

定义Haar人脸检测分类器cv::CascadeClassifier haar_cascade;

加载OpenCV模块训练好的分类器模型bool yes = haar_cascade.load(fn_haar);

调用函数进行人脸检测haar_cascade.detectMultiScale（）

关于haar_cascade.detectMultiScale（）函数补充说明：

haar_cascade.detectMultiScale(resizedFrame, faces, 1.1, 3, 0,

cv::Size(image.rows / 5, image.rows / 5),

cv::Size(image.rows * 2 / 3, image.rows * 2 / 3));

输入：裁剪过的归一化图片。

输出：保存在faces里面，faces是定义的Vector型变量，存储的是一系列人脸框。

BoundingBox 是本实施例定义的类，描述一个矩形框的左上角x,y坐标，长、宽，中心点坐标，可以根据faces坐标来计算。

S40、根据人脸框预测得出眼睛和嘴巴周围共16个关键点的坐标信息。

现有人脸检测技术中需要采用多个关键点信息确定人脸的形状，一般认为68个关键点即可确定人脸的五官轮廓。鉴于本实施例提供的疲劳驾驶检测方法采用的嵌入式模型大小的要求及运行速度的要求，本实施例只采用眼睛和嘴巴周围共16个关键点的位置坐标信息。请参阅图2，其为本发明提供的疲劳驾驶检测方法中步骤S40的流程图。

如图2所示，所述步骤S40包括：

S41、根据人脸框给出人脸的初始形状。

S42、通过多个线性组合的级联回归器对人脸的初始形状不断更新偏移量，预测出正确的人脸的形状，即确定68个关键点的坐标位置。

S43、选取眼睛和嘴巴周围共16个关键点的坐标信息。

通过多个线性组合的级联回归器对人脸的初始形状不断更新偏移量是一个不断迭代的过程。通过给一个人脸初始形状，通过多次回归，每次都向正确方向回归一步。请参阅图3，其为本发明提供的人脸关键点示意图。人脸上68个关键点位置（本实施例只选取眼睛和嘴巴周围共16个关键点）组成人脸特征的形状，其中每一个点都有一个坐标，这68个关键点位置的集合就构成了形状S，S=（x1,y1,x2,y2,…x68,y68），其中△S指的是每一个关键点在更新的时候二维的偏移量(∆x,∆y)。比如初始的时候一个点在位置（x1,y1），需要让这个点移动△S =(∆x,∆y)，通过每一次都移动△S，移动多次，最后这个点就到达了一个正确的位置，比如正好落在了眼角的位置。即每一次都是在原来形状的基础上更新一个△S，直到到达正确位置

本实施例采用的人脸标定方法，即对偏移量△S的确定方法出自Face Alignmentat3000 FPS via Regressing Local Binary Features，简称face alignment 3000，该方法提取的是局部局部二值特征。本实施例给出的人脸关键点检测算法的详细说明如下：

采用face alignment 3000fps人脸标定方法。

cv:Mat_<double> res = cas_load.Predict(image, current_shape, bbox);

输入：图像，初始人脸形状，上一步Haar检测出来的人脸框。

输出：预测出的正确人脸形状，即人脸上68个关键点的坐标信息，并只采用眼睛和嘴巴周围共16个关键点。

请继续参阅图4，其为本发明提供的人脸标定方法流程图，在疲劳驾驶检测方法中步骤S42之前还包括如下步骤：

S401、根据当前人脸的关键点的像素差特征，利用随机森林得到局部二值特征；

S402、通过局部二值特征串联组成全值特征后，训练得出映射参数；

S403、提取当前的人脸的形状的各个关键点的特征，并与映射参数相乘形成偏移量。

本实施例给出的人脸形状的预测函数的详细说明如下：

伪代码：

Input: Image I, initial shape

Output: refined shape S

For t=1:T //总共有T个stage

{

}

进一步的。请继续参阅图5，其为本发明提供的像素差特征提取示意图，所述像素差特征通过以各个关键点为圆心，以不断减小的r为半径形成圆，并在该圆内随机选取500对位置，通过500对位置的像素值相减形成像素差值作为像素差特征，且其计算公式为:

其中，I为像素强度，x和y为由圆内随机生成点的横坐标和纵坐标值，△和△分别为针对该随机生成点的第一点的横坐标及纵坐标的偏移值，△和△分别为针对该随机生成点的第二点的横坐标及纵坐标的偏移值。

更进一步的，请继续参阅图6，其为本实施例中局部二值特征提取的示意图。此外本实施例提供的一种特征提取函数binary_features = GetGlobalBinaryFeatures（）步骤如下：

特征提取：在每一个关键点附近单独提取特征，然后再串联起来，最后形成的是1000010001……等局部二值特征，在每一个关键点是建立随机森林来提取特征，随机森林由决策树组成，决策树建立时所用的分裂节点的特征集合是像素差特征。

创建随机森林的伪代码：

Random Forest由很多tree组成，相比于单棵tree能够防止模型的over fitting。Random Forest能用于regression(本文用到的功能)和classification。那么如何建立Random Forest，主要是如何选择split node，下面以如何构建一颗regression tree为例。首先我们确定一个landmark l，随机产生在l附近的500个pixel difference features的位置，然后对training中的所有images抽取这500个features，确定要构建l的第几个棵树（其他树一样，只是训练数据不一样而已）。

从树根节点开始

var = variance of landmark l of traing images,

var_red = -INFINITY, fea = -1, left_child = NULL, right_child = NULL

For each feature f:

{

threshold = random choose from all images’s feature f

tmp_left_child = images with f < threshold

// 左子节点为所有f小于threshold的图片

// var_tmp_left_child是左子节点landmark l的variance

if ( tmp_var_red > var_red) {

mvar_red = tmp_var_red

fea = f

left_child = tmp_left_child

right_child = tmp_right_child

}

}End For

fea就是最后选择的feature，实际上var是固定的，所以不用算，|left_child|是当前left_child所包含的图片数，|root|表示root包含的图片数，实际计算的时候可以省去，因为是定的。对子节点left_child和right_child做跟3一样的操作，直到达到tree的最大depth，或者对于某一个根节点根据maximum variance reduction找到的feature是恰好一个child包含了所有的图，而另一个child没有图（事实上这个情况基本上不太可能出现），所以训练的时候基本上能够达到定义的max_depth，经验证，max_depth=5,6就可以了，再深很容易出现overfitting的问题landmark l的其他树也一样如上，对其他landmark和对l的操作一样。

至此一个关键点附近的随机森林已经创建好了，接下来是二值特征提取过程：

那么对于每一张图的每一个landmark的每一棵树最后都会输出一个值，第一棵树遍历后来到了最左边的子节点所以记为[1, 0, 0, 0]，对于每一棵树访问到的叶子节点记为1，其他的记为0，然后一个landmark拥有一个forest即有多棵树，那么把所有的结果连起来就是 =[1,0,0,0,0,1,0,0,0,0,1,0,…]，真正的Local Binary Features是将所有的landmark的这些feature都连起来。所以我们可以看出这是一个很稀疏的向量，中间为1的个数是所有landmark中tree的总个数，其余的为0。

应当说明的是，图3、图4、图5和图6仅用于协助更好的理解本发明的技术方案，其对本发明的疲劳驾驶检测方法的技术方案不会造成任何影响。

请继续结合图3，所述根据检测出的关键点的坐标信息计算眼睛区域（图中矩形框）的计算公式为：

其中，与为图像中右眼的眼睛区域的左上角的x和y坐标，与为眼睛区域的长和宽，0～5号位分别为由右眼的眼睛区域最左方开始沿逆时针排列的各个关键点位，为该关键点位x方向的坐标，为该关键点位Y方向的坐标，T为由各关键点的位置上往外扩大形成眼睛区域的值，设置T值的目的是为了完整的把眼睛框出来。

S50、根据检测出的关键点的坐标信息计算眼睛区域，并提取左右眼区域的HOG特征，送入SVM分类器，判断眼睛是否为闭合状态。

SVM分类器是指支持向量机，通俗来讲，它是机器学习里泛化分类能力较好的一个分类器，是一种二分类模型。HOG是指方向梯度直方图（Histogram of Oriented Gradient）特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。它通过计算和统计图像局部区域的梯度方向直方图 (直方图(Histogram)又称质量分布图。是一种统计报告图，由一系列高度不等的纵向条纹或线段表示数据分布的情况。一般用横轴表示数据类型，纵轴表示分布情况) 来构成特征。Hog特征结合SVM分类器已经被广泛应用于图像识别中，在本实施例中被用于判断眼睛是睁开还是闭合。

此外，卡内基梅隆研究所经过反复实验和论证，提出了度量疲劳/瞌睡的物理量（PERCLOS），其定义为单位时间内眼睛闭合所占的百分比，超过阈值就认为发生了瞌睡。故本实施例提供一种人眼睁闭状态检测具体流程如下：

EyesStat = detectEyeVar(image, res, count, leftSvm, rightSvm);

左右眼分别进行提取HOG特征，送入SVM分类器，判断眼睛状态。

以左眼为例：

定义HOG特征描述子HOGDescriptor leftHog；

计算HOG特征leftTestFeatureMat.at<float>(0,i) =left Descriptor [i];

SVM分类器预测int LeftEyeResult = leftsvm.predict(leftTest FeatureMat)，

两只眼睛都为睁开状态判定为睁开，只要有一只眼睛为闭合状态判定为闭合状态。

S60、统计预定帧数的人脸图像内眼睛闭合的人脸图像帧数，如果眼睛闭合的人脸图像帧数超过预定阈值，则判定为疲劳驾驶并输出疲劳报警信号。

请参阅图7，其为本发明提供的疲劳驾驶检测方法中步骤S60的流程图。所述步骤S60包括：

S61、通过计数器统计30帧人脸图像内眼睛闭合的人脸图像总帧数以及连续闭合的人脸图像帧数，并进行加权平均；

S62、如果加权平均数大于预定阈值，则判定为疲劳驾驶并输出疲劳报警信号。

本实施例提供的驾驶员疲劳状态检测具体流程如下：

Eye_Status.checkEyeStat(EyesStat);

EyeCloseNumTab[ ] 设置一段时间内眼睛闭合总次数对疲劳影响程度的权值的数组。

eyeCloseDurationTab[ ] 设置一段时间内眼睛连续闭合次数对疲劳影响程度的权值的数组。

统计30帧内，眼睛闭合总次数，和连续闭合的次数，两者用上面的数组做一个加权，算出一个疲劳值，如果大于疲劳阈值则判定为疲劳，否则为不疲劳。

本发明还提供一种存储装置，所述存储装置存储有计算机程序，所述计算机程序适于被执行以实现上述的基于行车记录仪的疲劳驾驶检测方法

请继续参阅图8，其为本发明提供的行车记录仪的较佳实施例的运行环境示意图，所述行车记录仪包括处理器10、与所述处理器通信连接的存储器20，所述存储器存储有计算机程序，计算机程序适于被执行以实现如上述的基于行车记录仪的疲劳驾驶检测方法。

所述处理器用于调用所述存储器中的计算机程序，以执行上述的基于行车记录仪的疲劳驾驶检测方法。

当然，图8仅示出了行车记录仪的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。比如行车记录仪还包括显示器30。

所述存储器20在一些实施例中可以是所述行车记录仪的各组件的内部存储单元，例如行车记录仪的硬盘或内存。所述存储器20在另一些实施例中也可以是所述行车记录仪的外部存储设备，例如行车记录仪上配备的插接式硬盘，智能存储卡（Smart Media Card,SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）等。进一步地，所述存储器20还可以既包括所述行车记录仪的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述行车记录仪的应用软件及各类数据，例如所述安装行车记录仪的程序代码等。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器20上存储有疲劳驾驶检测程序40，该疲劳驾驶检测程序40可被处理器10所执行，从而实现本申请各实施例的疲劳驾驶检测方法。

所述处理器10在一些实施例中可以是一中央处理器（Central Processing Unit,CPU），微处理器或其他数据处理芯片，用于运行所述存储器20中存储的程序代码或处理数据，例如执行所述权限认证方法等。

所述显示器30在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。所述显示器30用于显示在所述行车记录仪中处理的信息以及用于显示可视化的用户界面，例如指派信息界面、认证报告界面等。所述行车记录仪的部件10-30通过系统总线相互通信。

在一实施例中，当处理器10执行所述存储器20中疲劳驾驶检测程序40时实现以下步骤：

开启摄像头拍摄人脸图像；

读入一帧人脸图像，并对所述人脸图像进行预处理；

根据人脸框计算得出眼睛和嘴巴周围共16个关键点的坐标信息的步骤包括：

根据人脸框给出人脸的初始形状；

选取眼睛和嘴巴周围共16个关键点的坐标信息。

通过多个线性组合的级联回归器对人脸的初始形状不断更新偏移量，预测出正确的人脸形状，即确定68个关键点的坐标位置之前，还包括：

根据当前人脸的关键点的像素差特征，利用随机森林得到二值特征；

通过二值特征串联组成全值特征后，训练得出全局线性投影参数；

提取当前的人脸的形状的各个关键点的特征，并与全局线性投影参数相乘形成偏移量。

所述统计预定帧数的人脸图像内眼睛闭合的人脸图像帧数，如果眼睛闭合的人脸图像帧数超过预定阈值，则判定为疲劳驾驶并输出疲劳报警信号的步骤包括：

请参阅图9，其为本发明安装疲劳驾驶检测程序的行车记录仪较佳实施例的功能模块图。在本实施例中，安装疲劳驾驶检测程序的行车记录仪可以被分割成一个或多个模块，所述一个或者多个模块被存储于所述存储器20中，并由一个或多个处理器（本实施例为所述处理器10）所执行，以完成本发明。例如，在图9中，行车记录仪可以被分割成图像接收模块21、图像处理模块22、分析模块23和报警模块24。本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段，比程序更适合于描述所述微信客户行为反馈程序在所述微信客户行为反馈设备中的执行过程。以下描述将具体介绍所述模块21-24的功能。

图像接收模块21，用于开启摄像头拍摄人脸图像，并将人脸图像输入图像处理模块；

图像处理模块22，用于对人脸图像进行预处理及人脸检测，绘制人脸框并预测得出眼睛和嘴巴周围共16个关键点的坐标信息；

分析模块23，用于根据关键点的坐标信息判断眼睛是否为闭合状态，并统计预定帧数的人脸图像内眼睛闭合的人脸图像帧数，判定是否为疲劳驾驶。

报警模块24，用于输出疲劳报警信号。

当然，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件（如处理器，控制器等）来完成，所述的程序可存储于一计算机可读取的存储装置中，该程序在执行时可包括如上述各方法实施例的流程。其中所述的存储装置可为存储器、磁碟、光盘等。

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims

1.一种疲劳驾驶检测方法，其特征在于，包括如下步骤：

开启摄像头拍摄人脸图像；

读入一帧人脸图像，并对所述人脸图像进行预处理；

2.根据权利要求1所述的疲劳驾驶检测方法，其特征在于，所述根据人脸框计算得出眼睛和嘴巴周围共16个关键点的坐标信息的步骤包括：

根据人脸框给出人脸的初始形状；

选取眼睛和嘴巴周围共16个关键点的坐标信息。

3.根据权利要求2所述的疲劳驾驶检测方法，其特征在于，所述通过多个线性组合的级联回归器对人脸的初始形状不断更新偏移量，预测出正确的人脸形状，即确定68个关键点的坐标位置之前，还包括：

4.根据权利要求3所述的疲劳驾驶检测方法，其特征在于，所述像素差特征通过以关键点为圆心，以不断减小的r为半径形成圆，并在该圆内随机选取500对位置，通过500对位置的像素值相减形成像素差值作为像素差特征，且其计算公式为:

5.根据权利要求1所述的疲劳驾驶检测方法，其特征在于，所述根据检测出的关键点的坐标信息计算眼睛区域的计算公式为：

6.根据权利要求1所述的疲劳驾驶检测方法，其特征在于，所述统计预定帧数的人脸图像内眼睛闭合的人脸图像帧数，如果眼睛闭合的人脸图像帧数超过预定阈值，则判定为疲劳驾驶并输出疲劳报警信号的步骤包括：

7.根据权利要求1所述的疲劳驾驶检测方法，其特征在于，所述对图像进行预处理的步骤包括依次对图像进行缩放、裁剪、灰度化和归一化处理。

8.一种存储装置，其特征在于，所述存储装置存储有计算机程序，所述计算机程序适于被执行以实现如权利要求1~7任意一项所述的疲劳驾驶检测方法。

9.一种行车记录仪，其特征在于，包括处理器、与所述处理器通信连接的存储器，所述存储器存储有计算机程序，计算机程序适于被执行以实现如权利要求1~7任意一项所述的疲劳驾驶检测方法；

所述处理器用于调用所述存储器中的计算机程序，以执行如权利要求1~7任意一项所述的疲劳驾驶检测方法。