CN104574820A - 一种基于眼睛特征的疲劳驾驶检测方法 - Google Patents

Abstract

本发明涉及一种基于眼睛特征的疲劳驾驶检测方法，包括以下步骤：建立人脸检测分类器；实时采集驾驶员的驾驶状态图像；在驾驶状态图像中精确定位驾驶员的眼睛位置；在连续视频图像中，根据上一帧图像中眼睛的位置，准确预测当前帧中眼睛的位置；根据预测的眼睛位置，精确定位眼睛位置，并用新的眼睛位置替换上一帧眼睛位置；判断驾驶员眼睛的开闭状态，根据单位时间内闭眼帧数所占比例，判断驾驶员是否处于疲劳驾驶状态；若驾驶员处于疲劳驾驶状态，则进行报警提示或向远程服务器发送处于疲劳驾驶状态时的实时视频并接收远程命令。本发明具有监控准确度高，漏检误检少，受环境影响小，速度快，成本低等特点。

Description

一种基于眼睛特征的疲劳驾驶检测方法

技术领域

本发明涉及安全驾驶技术领域，具体涉及一种基于眼睛特征的疲劳驾驶检测方法。

背景技术

疲劳驾驶是引发交通事故的重要原因之一，由于它无法像饮酒驾驶或者接打电话驾驶那样，使用交通法规来明令禁止，所以它很容易被人们所忽视，然而，当驾驶员处于疲劳状态时，会出现注意力分散，应变能力下降，对路面情况和周边环境的观察不及时，甚至出现短时间睡眠，完全失去驾驶能力，极易造成交通事故。

对于因疲劳驾驶引起的交通事故，由于无法实时检测驾驶员的疲劳驾驶状态，一些客运和货运企业的监管部门无法进行事前的监控和预防。因此，实时的检测驾驶员的疲劳驾驶状态，及时提醒驾驶员或反馈给运输企业监管部门进行预防，对于避免重大交通事故，起着重要的作用。

目前，对于疲劳驾驶的检测主要有以下几类方法：

1、基于生理信号的检测方法，主要基于驾驶员的脉搏、脑电图、心电图、肌电图等的异常情况来检测疲劳驾驶状态。该类方法的检测结果准确，但是其必须通过直接接触驾驶员身体来采集相关数据，会导致驾驶员的不适，影响驾驶效果，不适合实际的应用。

2、基于驾驶行为的检测方法，主要基于方向盘转动、车辆行驶速度、车道偏移量、油门的控制力度等的异常情况来检测疲劳驾驶状态。该类方法的优点是不需要接触驾驶员身体，检测结果能直接反应驾驶状态，其缺点是判断依据无法确定，对于不同的驾驶员，无法给出明确的临界判断阈值。

3、基于机器视觉的检测方法，主要通过视频图像处理技术，实时监控驾驶员的眼睛开闭状态、点头频率、打哈欠等情况，综合判断是否处于疲劳驾驶状态。该类方法的优点是不需要接触驾驶员身体，不会影响驾驶效果，设备更容易被人们接受，更具发展潜力。

发明内容

本发明的目的在于提供一种基于眼睛特征的疲劳驾驶检测方法，该检测方法通过监控驾驶员的眼睛开闭状态，并根据单位时间内的闭眼率来判断驾驶员是否处于疲劳驾驶状态，具有监控准确度高，漏检误检少，受环境影响小，速度快，成本低等特点。

本发明的技术方案为：

一种基于眼睛特征的疲劳驾驶检测方法，该检测方法包括以下步骤：

(1)建立人脸检测分类器。

(2)实时采集驾驶员的驾驶状态图像。

(3)在驾驶状态图像中精确定位驾驶员的眼睛位置。

(4)在连续视频图像中，根据上一帧图像中眼睛位置，准确预测当前帧图像中的眼睛位置。

(5)根据预测的眼睛位置，精确定位眼睛位置，并用新的眼睛位置替换上一帧中的眼睛位置；同时，判断驾驶员眼睛的开闭状态，并根据单位时间内闭眼帧数所占比例，判断驾驶员是否处于疲劳驾驶状态。

(6)若驾驶员处于疲劳驾驶状态，则进行报警提示或向远程服务器发送处于疲劳驾驶状态时的实时视频并接收远程命令。

步骤(3)中，所述的在驾驶状态图像中精确定位驾驶员的眼睛位置，具体包括以下步骤：

(31)基于harr特征和adaboost分类器，进行人脸定位。

(32)基于人脸的三庭五眼布局规律，粗定位眼睛位置。

(33)精确定位眼睛的位置。

步骤(4)中，所述的在连续视频图像中，根据上一帧图像中眼睛位置，准确预测当前帧图像中的眼睛位置；具体包括以下步骤：

(41)利用以下公式，获取眼睛的跟踪矩形区域rect_track；

$\left\{\begin{array}{c}\mathrm{rect}\_\mathrm{track}.x=\mathrm{rect}\_\mathrm{left}.x\\ \mathrm{rect}\_\mathrm{track}.y=(\mathrm{rect}\_\mathrm{left}.y+\mathrm{rect}\_\mathrm{right}.y)/2\\ \mathrm{rect}\_\mathrm{track}.\mathrm{width}=\mathrm{rect}\_\mathrm{right}.x-\mathrm{rect}\_\mathrm{left}.x+\mathrm{rect}\_\mathrm{right}.\mathrm{width}\\ \mathrm{rect}\_\mathrm{track}.\mathrm{height}=(\mathrm{rect}\_\mathrm{left}.\mathrm{height}+\mathrm{rect}\_\mathrm{right}.\mathrm{height})/2\end{array}\right.$

其中，rect_left、rect_right分别表示左、右眼睛矩形位置区域。

(42)基于上一帧图像，在眼睛的跟踪矩形区域内，以一定间隔进行均匀点采样，获取采样点集point_source。

(43)根据光流法原理，对采样点集point_source进行跟踪，并在当前帧中获取跟踪点集point_track。

(44)去除错误的跟踪点。

(45)依据正确跟踪采样点的前后帧位置，利用以下公式，计算眼睛区域的水平方向运动量D_x和垂直方向运动量D_y；

$\left\{\begin{array}{c}{D}_x=\frac{1}{N}\mathrm{\Σ}(\mathrm{point}\_\mathrm{source}[i].x-\mathrm{point}\_\mathrm{track}[i].x)\\ D_y=\frac{1}{N}\mathrm{\Σ}(\mathrm{point}\_\mathrm{source}[i].y-\mathrm{point}\_\mathrm{track}[i].y)\end{array}\right.$

其中，N表示正确跟踪的采样点数目。

(46)在当前帧中，利用以下公式，预测左、右眼睛的位置区域rect_left_predict和rect_right_predict；

$\left\{\begin{array}{c}\mathrm{rect}\_\mathrm{left}\_\mathrm{predict}.x=\mathrm{rect}\_\mathrm{left}.x+D_x\\ \mathrm{rect}\_\mathrm{left}\_\mathrm{predict}.y=\mathrm{rect}\_\mathrm{left}.y+D_y\\ \mathrm{rect}\_\mathrm{left}\_\mathrm{predict}.\mathrm{width}=\mathrm{rect}\_\mathrm{left}.\mathrm{width}\\ \mathrm{rect}\_\mathrm{left}\_\mathrm{predict}.\mathrm{height}=\mathrm{rect}\_\mathrm{left}.\mathrm{height}\end{array}\right.$

$\left\{\begin{array}{c}\mathrm{rect}\_\mathrm{right}\_\mathrm{predict}.x=\mathrm{rect}\_\mathrm{right}.x+D_x\\ \mathrm{rect}\_\mathrm{right}\_\mathrm{predict}.y=\mathrm{rect}\_\mathrm{right}.y+D_y\\ \mathrm{rect}\_\mathrm{right}\_\mathrm{predict}.\mathrm{width}=\mathrm{rect}\_\mathrm{right}.\mathrm{width}\\ \mathrm{rect}\_\mathrm{right}\_\mathrm{predict}.\mathrm{height}=\mathrm{rect}\_\mathrm{right}.\mathrm{height}.\end{array}\right.$

步骤(5)中，所述的根据预测的眼睛位置，精确定位眼睛位置，并用新的眼睛位置替换上一帧中的眼睛位置；同时，判断驾驶员眼睛的开闭状态，并根据单位时间内闭眼帧数所占比例，判断驾驶员是否处于疲劳驾驶状态；具体包括以下步骤：

(51)精确定位左、右眼睛的矩形位置区域。

(52)基于最大类间距算法，获取眼睛区域的全局二值化图像，并进行反色处理。

(53)获取左、右眼睛的虹膜和瞳孔区域的高度。

(54)采用以下公式，统计单位时间T内，驾驶员处于闭眼状态的帧数；

$\mathrm{Nc}=\left\{\begin{array}{cc}\mathrm{Nc}+1& h\left[i\right]\&GreaterEqual;(\mathrm{To}+\mathrm{Tc})*0.5\\ \mathrm{Nc}& h\left[i\right]<(\mathrm{To}+\mathrm{Tc})*0.5\end{array}\right.$

其中，Nc是单位时间内处于闭眼状态的帧数，h[i]表示高度列表内第i帧的虹膜和瞳孔区域高度，To为正常睁眼时的虹膜和瞳孔区域高度，Tc为闭眼时的虹膜和瞳孔区域高度；

并采用以下公式判断驾驶员是否处于疲劳状态：

$\mathrm{exist}=\left\{\begin{array}{cc}1& \mathrm{Nc}\&GreaterEqual;N*p\\ 0& \mathrm{Nc}<N*p\end{array}\right.$

其中，exist＝1表示驾驶员处于疲劳驾驶状态，N为单位时间内的总帧数，p为单位时间内的闭眼率。

步骤(33)中，精确定位左眼睛和右眼睛的位置的方法相同，其中，精确定位左眼睛的方法具体包括以下步骤：

(331)利用以下公式，对左眼的灰度图像进行增强；

$g(x,y)=\left\{\begin{array}{cc}0& f(x,y)\&le;t_{\min }\\ \frac{f(x,y)-t_{\min }}{t_{\max }-t_{\min }}& t_{\min }<f(x,y)<t_{\max }\\ 255& f(x,y)\&GreaterEqual;t_{\max }\end{array}\right.$

其中，f(x,y)为原图的灰度值，g(x,y)为增强图像的灰度值，t_min为原图灰度最小值加上10，t_max为原图灰度最大值减去15。

(332)基于边缘检测算子式，进行水平边缘检测；所述的边缘检测算子式为：

$K=\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right].$

(333)基于结构元素模板式，进行形态学闭运算；所述的结构元素模板式为：

$K=\left[\begin{array}{ccccccc}0& 0& 0& 1& 0& 0& 0\\ 1& 1& 1& 1& 1& 1& 1\\ 0& 0& 0& 1& 0& 0& 0\end{array}\right].$

(334)去除面积较小的连通区域。

(335)获取左眼的精确位置。

(336)利用以下公式，扩展左眼的精确位置区域，获取最终的左眼矩形位置区域rect_left，

$\left\{\begin{array}{c}\mathrm{rect}\_\mathrm{left}.x=\mathrm{rect}.x-\mathrm{rect}.\mathrm{width}*0.1\\ \mathrm{rect}\_\mathrm{left}.y=\mathrm{rect}.y-\mathrm{rect}.\mathrm{height}*0.14\\ \mathrm{rect}\_\mathrm{left}.\mathrm{width}=\mathrm{rect}.\mathrm{width}*1.2\\ \mathrm{rect}\_\mathrm{left}.\mathrm{height}=\mathrm{rect}.\mathrm{height}*1.3\end{array}\right.$

其中，rect是左眼的精确矩形位置。

步骤(44)中，所述的去除错误的跟踪点，具体包括以下步骤：

(441)交换当前帧图像和上一帧图像的位置。

(442)根据光流法原理，对点集point_track进行反方向跟踪，在上一帧中获取反向跟踪点集point_track_inv。

(443)利用以下公式，进行正确跟踪采样点判断，获取正确跟踪点集point_track_new；

$\mathrm{point}\_\mathrm{track}\_\mathrm{new}\left[i\right]=\left\{\begin{array}{cc}\mathrm{point}\_\mathrm{track}\left[i\right]& D_i<{\mathrm{dis}}_{\mathrm{point}}\\ \mathrm{null}& D_i\&GreaterEqual;{\mathrm{dis}}_{\mathrm{point}}\end{array}\right.$

$\left\{\begin{array}{c}{D}_i\sqrt{{\left({\mathrm{Dx}}_i\right)}^2+{\left({\mathrm{Dy}}_i\right)}^2}\\ {\mathrm{Dx}}_i=\mathrm{point}\_\mathrm{source}\left[i\right].x-\mathrm{point}\_\mathrm{track}\_\mathrm{inv}\left[i\right].x\\ {\mathrm{Dy}}_i=\mathrm{point}\_\mathrm{source}\left[i\right].y-\mathrm{point}\_\mathrm{track}\_\mathrm{inv}\left[i\right].y\end{array}\right.$

其中，dis_point表示预设的距离阈值，Di表示两个点集的对应点的距离。

本发明的有益效果在于：

本发明采用视频图像处理技术，实时监控驾驶员的眼睛开闭状态，并根据单位时间内闭眼率来判断驾驶员是否处于疲劳驾驶状态，具有监控准确度高，漏检误检少，受环境影响小，速度快，成本低等特点。

附图说明

图1是本发明的方法流程图；

图2是左眼精粗定位分割效果图；

图3是左眼睛图像增强效果图；

图4是左眼睛图像边缘检测效果图；

图5是左眼睛边缘连通区域效果图；

图6是左右眼睛精定位效果图；

图7是眼睛区域跟踪效果图，其中，矩形框1表示上一帧中眼睛区域的位置，矩形框2表示本帧中眼睛区域的预测位置，矩形框3表示本帧中眼睛区域校正后的准确位置；

图8是左眼睛的二值化效果图，其中，图(a)对应的是睁眼时的图像，图(b)对应的是闭眼时的图像。

具体实施方式

下面，结合附图和具体实施例进一步说明本发明。

如图1所示，本发明所述系统包含初始化模块、采集模块、定位模块、跟踪模块、检测模块和语音通信模块，该系统具体包括以下顺序的步骤：

S1、执行初始化模块；

初始化模块的功能是，加载系统必需的人脸检测分类器文件。

S2、执行采集模块；

采集模块的功能是，实时采集驾驶员的驾驶状态图像，主要是驾驶员的头部图像，并变换成灰度图像。

S3、判断定位模块的开闭状态，如果处于开启状态，进入步骤S4，否则，进入步骤S6；

S4、执行定位模块；

定位模块的功能是，在图像中精确定位驾驶员的眼睛位置，为初始化跟踪模块做准备，下面以左眼为例叙述精定位过程，右眼的定位过程与之类似，具体的步骤如下：

S41、基于harr特征和adaboost分类器，进行人脸定位；

S42、基于人脸的三庭五眼布局规律，粗定位眼睛位置，效果如图2；

S43、精确定位眼睛的位置，具体步骤如下：

S431、采用公式(1)，对左眼灰度图像进行增强，效果如图3；

$g(x,y)=\left\{\begin{array}{cc}0& f(x,y)\&le;t_{\min }\\ \frac{f(x,y)-t_{\min }}{t_{\max }-t_{\min }}& t_{\min }<f(x,y)<t_{\max }\\ 255& f(x,y)\&GreaterEqual;t_{\max }\end{array}\right.---\left(1\right)$

其中，f(x,y)为原图的灰度值，g(x,y)为增强图像的灰度值，t_min为原图灰度最小值加上10，t_max为原图灰度最大值减去15。

S432、基于边缘检测算子式(2)，进行水平边缘检测，效果如图4；

$K=\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right]---\left(2\right)$

S433、基于结构元素模板式(3)，进行形态学闭运算；

$K=\left[\begin{array}{ccccccc}0& 0& 0& 1& 0& 0& 0\\ 1& 1& 1& 1& 1& 1& 1\\ 0& 0& 0& 1& 0& 0& 0\end{array}\right]---\left(3\right)$

S434、去除面积较小的连通区域；

S435、获取左眼的精确位置，具体的做法是：统计最大连通区域的面积A，选择面积大于0.8*A的连通区域数目；如果数目大于1，选择最下面的连通区域作为左眼候选区域；否则，选择最大连通区域作为左眼候选区域；效果如图5，获取候选区域的最小外接矩形作为左眼的精确位置；

S436、采用公式(4)，扩展左眼精确位置区域，获取最终的左眼矩形位置区域rect_left，效果如图6；

$\left\{\begin{array}{c}\mathrm{rect}\_\mathrm{left}.x=\mathrm{rect}.x-\mathrm{rect}.\mathrm{width}*0.1\\ \mathrm{rect}\_\mathrm{left}.y=\mathrm{rect}.y-\mathrm{rect}.\mathrm{height}*0.14\\ \mathrm{rect}\_\mathrm{left}.\mathrm{width}=\mathrm{rect}.\mathrm{width}*1.2\\ \mathrm{rect}\_\mathrm{left}.\mathrm{height}=\mathrm{rect}.\mathrm{height}*1.3\end{array}\right.---\left(4\right)$

其中，rect表示左眼的精确矩形位置。

S5、判断眼睛是否定位成功，如果成功，关闭定位模块，开启跟踪模块，进入步骤S6；否则，回到步骤S2继续执行定位模块；

S6、执行跟踪模块；

跟踪模块的功能是，在连续视频图像中，根据上一帧的位置，准确的预测当前帧中眼睛的位置，为检测模块做准备，效果如图7，具体的步骤如下：

S61、采用公式(5)，获取眼睛的跟踪矩形区域rect_track；

$\left\{\begin{array}{c}\mathrm{rect}\_\mathrm{track}.x=\mathrm{rect}\_\mathrm{left}.x\\ \mathrm{rect}\_\mathrm{track}.y=(\mathrm{rect}\_\mathrm{left}.y+\mathrm{rect}\_\mathrm{right}.y)/2\\ \mathrm{rect}\_\mathrm{track}.\mathrm{width}=\mathrm{rect}\_\mathrm{right}.x-\mathrm{rect}\_\mathrm{left}.x+\mathrm{rect}\_\mathrm{right}.\mathrm{width}\\ \mathrm{rect}\_\mathrm{track}.\mathrm{height}=(\mathrm{rect}\_\mathrm{left}.\mathrm{height}+\mathrm{rect}\_\mathrm{right}.\mathrm{height})/2\end{array}\right.---\left(5\right)$

其中，rect_left、rect_right分别表示左、右眼睛矩形位置区域；

S62、基于上一帧图像，在眼睛的跟踪矩形区域内，以一定间隔进行均匀点采样，获取采样点集point_source；

S63、根据光流法原理，对采样点集point_source进行跟踪，在当前帧中获取跟踪点集point_track；

S64、去除错误的跟踪点，具体的步骤如下：

S641、交换当前帧图像和上一帧图像的位置；

S642、根据光流法原理，对点集point_track进行反方向跟踪，在上一帧中获取反向跟踪点集point_track_inv；

S643、采用公式(6)和(7)，进行正确跟踪采样点判断，获取正确跟踪点集point_track_new，其理论依据是对于正确跟踪的采样点，点集point_source和点集point_track_new中的对应点的坐标是相同的，为了增加跟踪的鲁棒性，预设一个阈值dis_point，只要两个点集的对应点的距离小于dis_point，可以认为是正确跟踪点；

$\mathrm{point}\_\mathrm{track}\_\mathrm{new}\left[i\right]=\left\{\begin{array}{cc}\mathrm{point}\_\mathrm{track}\left[i\right]& D_i<{\mathrm{dis}}_{\mathrm{point}}\\ \mathrm{null}& D_i\&GreaterEqual;{\mathrm{dis}}_{\mathrm{point}}\end{array}\right.---\left(6\right)$

$\left\{\begin{array}{c}{D}_i\sqrt{{\left({\mathrm{Dx}}_i\right)}^2+{\left({\mathrm{Dy}}_i\right)}^2}\\ {\mathrm{Dx}}_i=\mathrm{point}\_\mathrm{source}\left[i\right].x-\mathrm{point}\_\mathrm{track}\_\mathrm{inv}\left[i\right].x\\ {\mathrm{Dy}}_i=\mathrm{point}\_\mathrm{source}\left[i\right].y-\mathrm{point}\_\mathrm{track}\_\mathrm{inv}\left[i\right].y\end{array}\right.---\left(7\right)$

S65、依据正确跟踪采样点的前后帧位置，采用公式(8)，计算眼睛区域的水平方向运动量D_x和垂直方向运动量D_y；

$\left\{\begin{array}{c}{D}_x=\frac{1}{N}\mathrm{\&Sigma;}(\mathrm{point}\_\mathrm{source}[i].x-\mathrm{point}\_\mathrm{track}[i].x)\\ D_y=\frac{1}{N}\mathrm{\&Sigma;}(\mathrm{point}\_\mathrm{source}[i].y-\mathrm{point}\_\mathrm{track}[i].y)\end{array}\right.---\left(8\right)$

其中，N是正确跟踪的采样点数目。

S66、在当前帧中，采用公式(9)和(10)，预测左右眼睛的位置区域rect_left_predict和rect_right_predict；

$\left\{\begin{array}{c}\mathrm{rect}\_\mathrm{left}\_\mathrm{predict}.x=\mathrm{rect}\_\mathrm{left}.x+D_x\\ \mathrm{rect}\_\mathrm{left}\_\mathrm{predict}.y=\mathrm{rect}\_\mathrm{left}.y+D_y\\ \mathrm{rect}\_\mathrm{left}\_\mathrm{predict}.\mathrm{width}=\mathrm{rect}\_\mathrm{left}.\mathrm{width}\\ \mathrm{rect}\_\mathrm{left}\_\mathrm{predict}.\mathrm{height}=\mathrm{rect}\_\mathrm{left}.\mathrm{height}\end{array}\right.---\left(9\right)$

$\left\{\begin{array}{c}\mathrm{rect}\_\mathrm{right}\_\mathrm{predict}.x=\mathrm{rect}\_\mathrm{right}.x+D_x\\ \mathrm{rect}\_\mathrm{right}\_\mathrm{predict}.y=\mathrm{rect}\_\mathrm{right}.y+D_y\\ \mathrm{rect}\_\mathrm{right}\_\mathrm{predict}.\mathrm{width}=\mathrm{rect}\_\mathrm{right}.\mathrm{width}\\ \mathrm{rect}\_\mathrm{right}\_\mathrm{predict}.\mathrm{height}=\mathrm{rect}\_\mathrm{right}.\mathrm{height}\end{array}\right.---\left(10\right)$

S7、判断眼睛区域是否正确跟踪，具体做法是：判断垂直方向运动量和水平方向运动量是否大于一定阈值；如果大于阈值，说明运动量过大，预测的位置已不可信；还有一种情况是正确跟踪的采样点数目过少，均属于错误跟踪；此时关闭监控模块，开启定位模块，返回执行步骤S2；否则，执行步骤S8；

S8、执行检测模块；

检测模块的功能是，基于预测的眼睛位置，精确定位眼睛的位置，用新的眼睛位置替换上一帧的眼睛位置，为下一帧的持续跟踪做准备；同时判断驾驶员眼睛的开闭状态，依据单位时间内，闭眼帧数所占比例，判断驾驶员是否处于疲劳驾驶状态。该模块的具体步骤如下：

S81、按照步骤S43，精确定位左、右眼睛的矩形区域位置；

S82、基于最大类间距算法，获取眼睛区域的全局二值化图像，并进行反色处理。由于虹膜和瞳孔的灰度值在整个局部图像区域里相对较小，因此，二值图像中的白色部分就是虹膜和瞳孔区域，效果如图8；

S83、获取左、右眼睛虹膜和瞳孔区域的高度，具体方法是：对连通区域进行垂直投影，选取最大投影值作为整个区域的高度，并把左右眼睛高度均值放入高度列表H中；

S84、判断驾驶员是否处疲劳驾驶状态，具体方法是：在单位时间T内，采用公式(11)，统计驾驶员处于闭眼状态的帧数，采用公式(12)，判断驾驶员是否处疲劳状态，实施例中，T的取值范围是10秒到30秒；

$\mathrm{Nc}=\left\{\begin{array}{cc}\mathrm{Nc}+1& h\left[i\right]\&GreaterEqual;(\mathrm{To}+\mathrm{Tc})*0.5\\ \mathrm{Nc}& h\left[i\right]<(\mathrm{To}+\mathrm{Tc})*0.5\end{array}\right.---\left(11\right)$

$\mathrm{exist}=\left\{\begin{array}{cc}1& \mathrm{Nc}\&GreaterEqual;N*p\\ 0& \mathrm{Nc}<N*p\end{array}\right.---\left(12\right)$

其中，exist＝1表示驾驶员处于疲劳驾驶状态，N是单位时间内的总帧数，Nc是单位时间内处于闭眼状态的帧数，h[i]表示高度列表内第i帧的虹膜和瞳孔区域高度，To是正常睁眼时的虹膜和瞳孔区域高度，Tc是闭眼时的虹膜和瞳孔区域高度，p是单位时间内的闭眼率，值越小，系统越灵敏；

S85、更新模块参数，依据当前帧的精确眼睛位置和疲劳驾驶状态判断情况，更新相关状态参数值。

S9、执行语音通讯模块；

语音通讯模块的功能是，当驾驶员处于疲劳驾驶状态时，该模块及时发出报警声，提醒驾驶员已处于疲劳驾驶状态，或者向远程服务器发送处于疲劳驾驶状态时的实时视频，此时运输企业监管部门可以通过该视频进行及时的处理，如果需要和驾驶员通话，还可以通过该模块接受远程命令。

以上所述实施方式仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案作出的各种变形和改进，均应落入本发明的权利要求书确定的保护范围内。

Claims (6)

1.一种基于眼睛特征的疲劳驾驶检测方法，其特征在于：该检测方法包括以下步骤：

(1)建立人脸检测分类器；

(2)实时采集驾驶员的驾驶状态图像；

(3)在驾驶状态图像中精确定位驾驶员的眼睛位置；

(4)在连续视频图像中，根据上一帧图像中眼睛位置，准确预测当前帧图像中的眼睛位置；

(5)根据预测的眼睛位置，精确定位眼睛位置，并用新的眼睛位置替换上一帧中的眼睛位置；同时，判断驾驶员眼睛的开闭状态，并根据单位时间内闭眼帧数所占比例，判断驾驶员是否处于疲劳驾驶状态；

(6)若驾驶员处于疲劳驾驶状态，则进行报警提示或向远程服务器发送处于疲劳驾驶状态时的实时视频并接收远程命令。

2.根据权利要求1所述的一种基于眼睛特征的疲劳驾驶检测方法，其特征在于：步骤(3)中，所述的在驾驶状态图像中精确定位驾驶员的眼睛位置，具体包括以下步骤：

(31)基于harr特征和adaboost分类器，进行人脸定位；

(32)基于人脸的三庭五眼布局规律，粗定位眼睛位置；

(33)精确定位眼睛的位置。

3.根据权利要求1所述的一种基于眼睛特征的疲劳驾驶检测方法，其特征在于：步骤(4)中，所述的在连续视频图像中，根据上一帧图像中眼睛位置，准确预测当前帧图像中的眼睛位置；具体包括以下步骤：

(41)利用以下公式，获取眼睛的跟踪矩形区域rect_track；

$\left\{\begin{array}{c}\mathrm{rect}\_\mathrm{track}.x=\mathrm{rect}\_\mathrm{left}.x\\ \mathrm{rect}\_\mathrm{track}.y=(\mathrm{rect}\_\mathrm{left}.y+\mathrm{reet}\_\mathrm{right}.y)/2\\ \mathrm{rect}\_\mathrm{track}.\mathrm{width}=\mathrm{rect}\_\mathrm{right}.x-\mathrm{rect}\_\mathrm{left}.x+\mathrm{rect}\_\mathrm{right}.\mathrm{width}\\ \mathrm{rect}\_\mathrm{track}.\mathrm{height}=(\mathrm{rect}\_\mathrm{left}.\mathrm{height}+\mathrm{rect}\_\mathrm{right}.\mathrm{height})/2\end{array}\right.$

其中，rect_left、rect_right分别表示左、右眼睛矩形位置区域；

(42)基于上一帧图像，在眼睛的跟踪矩形区域内，以一定间隔进行均匀点采样，获取采样点集point_source；

(43)根据光流法原理，对采样点集point_source进行跟踪，并在当前帧中获取跟踪点集point_track；

(44)去除错误的跟踪点；

(45)依据正确跟踪采样点的前后帧位置，利用以下公式，计算眼睛区域的水平方向运动量D_x和垂直方向运动量D_y；

$\left\{\begin{array}{c}{D}_x=\frac{1}{N}\mathrm{\&Sigma;}(\mathrm{point}\_\mathrm{source}[i].x-\mathrm{point}\_\mathrm{track}[i].x)\\ D_y=\frac{1}{N}\mathrm{\&Sigma;}(\mathrm{point}\_\mathrm{source}[i].y-\mathrm{point}\_\mathrm{track}[i].y)\end{array}\right.$

其中，N表示正确跟踪的采样点数目；

(46)在当前帧中，利用以下公式，预测左、右眼睛的位置区域rect_left_predict和rect_right_predict；

$\left\{\begin{array}{c}\mathrm{rect}\_\mathrm{left}\_\mathrm{predict}.x=\mathrm{rect}\_\mathrm{left}.x+D_x\\ \mathrm{rect}\_\mathrm{left}\_\mathrm{predict}.y=\mathrm{rect}\_\mathrm{left}.y+D_y\\ \mathrm{rect}\_\mathrm{left}\_\mathrm{predict}.\mathrm{width}=\mathrm{rect}\_\mathrm{left}.\mathrm{width}\\ \mathrm{rect}\_\mathrm{left}\_\mathrm{predict}.\mathrm{height}=\mathrm{rect}\_\mathrm{left}.\mathrm{height}\end{array}\right.$

$\left\{\begin{array}{c}\mathrm{rect}\_\mathrm{right}\_\mathrm{predict}.x=\mathrm{rect}\_\mathrm{right}.x+D_x\\ \mathrm{rect}\_\mathrm{right}\_\mathrm{predict}.y=\mathrm{rect}\_\mathrm{right}.y+D_y\\ \mathrm{rect}\_\mathrm{right}\_\mathrm{predict}.\mathrm{width}=\mathrm{rect}\_\mathrm{right}.\mathrm{width}\\ \mathrm{rect}\_\mathrm{right}\_\mathrm{predict}.\mathrm{height}=\mathrm{rect}\_\mathrm{right}.\mathrm{height}\end{array}\right..$

4.根据权利要求1所述的一种基于眼睛特征的疲劳驾驶检测方法，其特征在于：步骤(5)中，所述的根据预测的眼睛位置，精确定位眼睛位置，并用新的眼睛位置替换上一帧中的眼睛位置；同时，判断驾驶员眼睛的开闭状态，并根据单位时间内闭眼帧数所占比例，判断驾驶员是否处于疲劳驾驶状态；具体包括以下步骤：

(51)精确定位左、右眼睛的矩形位置区域；

(52)基于最大类间距算法，获取眼睛区域的全局二值化图像，并进行反色处理；

(53)获取左、右眼睛的虹膜和瞳孔区域的高度；

(54)采用以下公式，统计单位时间T内，驾驶员处于闭眼状态的帧数；

$\mathrm{Nc}=\left\{\begin{array}{cc}\mathrm{Nc}+1& h\left[i\right]\&GreaterEqual;(\mathrm{To}+\mathrm{Tc})*0.5\\ \mathrm{Nc}& h\left[i\right]<(\mathrm{To}+\mathrm{Tc})*0.5\end{array}\right.$

其中，Nc是单位时间内处于闭眼状态的帧数，h[i]表示高度列表内第i帧的虹膜和瞳孔区域高度，To为正常睁眼时的虹膜和瞳孔区域高度，Tc为闭眼时的虹膜和瞳孔区域高度；

并采用以下公式判断驾驶员是否处于疲劳状态：

$\mathrm{exist}=\left\{\begin{array}{cc}1& \mathrm{Nc}\&GreaterEqual;N*p\\ 0& \mathrm{Nc}<N*p\end{array}\right.$

其中，exist＝1表示驾驶员处于疲劳驾驶状态，N为单位时间内的总帧数，p为单位时间内的闭眼率。

5.根据权利要求2所述的一种基于眼睛特征的疲劳驾驶检测方法，其特征在于：步骤(33)中，精确定位左眼睛和右眼睛的位置的方法相同，其中，精确定位左眼睛的方法具体包括以下步骤：

(331)利用以下公式，对左眼的灰度图像进行增强；

$g(x,y)=\left\{\begin{array}{cc}0& f(x,y)\&le;t_{\min }\\ \frac{f(x,y)-t_{\min }}{t_{\max }-t_{\min }}& t_{\min }<f(x,y)<t_{\max }\\ 255& f(x,y)\&GreaterEqual;t_{\max }\end{array}\right.$

其中，f(x,y)为原图的灰度值，g(x,y)为增强图像的灰度值，t_min为原图灰度最小值加上10，t_max为原图灰度最大值减去15；

(332)基于边缘检测算子式，进行水平边缘检测；所述的边缘检测算子式为：

$K=\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right];$

(333)基于结构元素模板式，进行形态学闭运算；所述的结构元素模板式为：

$K=\left[\begin{array}{ccccccc}0& 0& 0& 1& 0& 0& 0\\ 1& 1& 1& 1& 1& 1& 1\\ 0& 0& 0& 1& 0& 0& 0\end{array}\right];$

(334)去除面积较小的连通区域；

(335)获取左眼的精确位置；

(336)利用以下公式，扩展左眼的精确位置区域，获取最终的左眼矩形位置区域rect_left，

$\left\{\begin{array}{c}\mathrm{rect}\_\mathrm{left}.x=\mathrm{rect}.x-\mathrm{rect}.\mathrm{width}*0.1\\ \mathrm{rect}\_\mathrm{left}.y=\mathrm{rect}.y-\mathrm{rect}.\mathrm{height}*0.14\\ \mathrm{rect}\_\mathrm{left}.\mathrm{width}=\mathrm{rect}.\mathrm{width}*1.2\\ \mathrm{rect}\_\mathrm{left}.\mathrm{height}=\mathrm{rect}.\mathrm{height}*1.3\end{array}\right.$

其中，rect是左眼的精确矩形位置。

6.根据权利要求3所述的一种基于眼睛特征的疲劳驾驶检测方法，其特征在于：步骤(44)中，所述的去除错误的跟踪点，具体包括以下步骤：

(441)交换当前帧图像和上一帧图像的位置；

(442)根据光流法原理，对点集point_track进行反方向跟踪，在上一帧中获取反向跟踪点集point_track_inv；

(443)利用以下公式，进行正确跟踪采样点判断，获取正确跟踪点集point_track_new；

$\mathrm{point}\_\mathrm{track}\_\mathrm{new}\left[i\right]=\left\{\begin{array}{cc}\mathrm{point}\_\mathrm{track}\left[i\right]& D_i<{\mathrm{dis}}_{\mathrm{point}}\\ \mathrm{null}& D_i\&GreaterEqual;{\mathrm{dis}}_{\mathrm{point}}\end{array}\right.$

$\left\{\begin{array}{c}{D}_i=\sqrt{{\left({\mathrm{Dx}}_i\right)}^2+{\left({\mathrm{Dy}}_i\right)}^2}\\ {\mathrm{Dx}}_i=\mathrm{point}\_\mathrm{source}\left[i\right].x-\mathrm{point}\_\mathrm{track}\_\mathrm{inv}\left[i\right].x\\ {\mathrm{Dy}}_i=\mathrm{point}\_\mathrm{source}\left[i\right].y-\mathrm{point}\_\mathrm{track}\_\mathrm{inv}\left[i\right].y\end{array}\right.$

其中，dis_point表示预设的距离阈值，Di表示两个点集的对应点的距离。