CN103049740B - 基于视频图像的疲劳状态检测方法及装置 - Google Patents

Abstract

本发明公开了一种基于视频图像的疲劳状态检测方法及装置，方法包括：对实时采集的用户的视频图像进行人脸检测，获取所述用户的脸部图像；通过对所获取的脸部图像进行分析，对用户的眼睛位置进行定位，得到眼睛图像；通过对所述眼睛图像进行分析，确定所述用户的眼睛状态是睁眼状态或闭眼状态；在预设眼睛状态统计时间内，对所述用户的眼睛状态进行统计，并根据统计结果，确定用户是否疲劳。本发明能够完成用户状态的自动识别，并在检测出用户处于疲劳状态后，进行语音提醒或告警。

Description

基于视频图像的疲劳状态检测方法及装置

技术领域

本发明涉及图像处理技术，特别涉及一种基于视频图像的疲劳状态检测方法及其相关装置。

背景技术

疲劳是人体正常的生理反应，只要休息调节适当，本身并没有严重危害性，但人体在疲劳时，客观上会在同等条件下，失去完成原来所从事的正常活动或工作的能力。因此，对于某些岗位的人员来说，疲劳可以说是隐形杀手，每年因疲劳导致的安全事故层出不穷，给国家和人民生命财产安全造成巨大威胁。例如，在公路或铁路交通领域，疲劳驾驶是引发交通事故的主要原因。又如，在安防领域，疲劳使安防人员注意力下降，从而，埋下各类安全隐患。

因此，加强实时疲劳检测，保证用户出现疲劳状态时能够及时进行提示及告警，成为一项非常现实而急迫的实际应用需求。

发明内容

本发明的目的在于提供一种基于视频图像的疲劳状态检测方法及装置，能更好地实现用户疲劳状态检测。

根据本发明的一个方面，提供了一种视频图像的疲劳状态检测方法，包括：

对实时采集的用户的视频图像进行人脸检测，获取所述用户的脸部图像；

通过对所获取的脸部图像进行分析，对用户的眼睛位置进行定位，得到眼睛图像；

通过对所述眼睛图像进行分析，确定所述用户的眼睛状态是睁眼状态或闭眼状态；

在预设眼睛状态统计时间内，对所述用户的眼睛状态进行统计，并根据统计结果，确定用户是否疲劳。

优选地，所述人脸检测的步骤包括：

利用由级联在一起的判别人脸特征的多个强分类器和配置给每个强分类器的辅助判决模块，依次对所述视频图像中属于人脸部分的待检测图像进行人脸真假判决；

若最后一级强分类器的人脸真假判决结果为真，或者最后一级强分类器的辅助判决模块的人脸真假判决结果为真，则将该待检测图像确定为用户的脸部图像。

优选地，某个所述辅助判决模块在其强分类器的人脸真假判决结果为假时，对所述待检测图像进行人脸真假辅助判决，并在人脸真假辅助判决结果为真时，将待检测图像送至下一级强分类器进行人脸真假判决。

优选地，所述得到眼睛图像的步骤包括：

利用角点检测原理，获得左眼角和右眼角的位置，并根据所述左眼角和右眼角的位置，计算眼睛的高度、宽度、眼睛中心位置的垂直坐标；

利用所述高度、宽度、眼睛中心位置的垂直坐标，定位眼睛位置，并在所述脸部图像中提取所述眼睛位置的图像，得到眼睛图像。

优选地，所述确定所述用户的眼睛状态的步骤包括：

对所述眼睛图像的灰度分布进行统计，得到眼睛图像归一化直方图；

将所述眼睛图像归一化直方图分别与睁眼图像集归一化直方图、闭眼图像集归一化直方图进行相似性处理，得到眼睛图像相对睁眼图像集的睁眼相似度和眼睛图像相对闭眼图像集的闭眼相似度；

比较所述睁眼相似度和所述闭眼相似度，并根据比较结果，确定所述眼睛状态是睁眼状态或闭眼状态。

优选地，通过对所述睁眼图像集和所述闭眼图像集的灰度分布分别进行统计，得到睁眼图像集归一化直方图、闭眼图像集归一化直方图。

优选地，所述确定所述用户的眼睛状态的步骤还包括：

对所述眼睛图像的眼睛闭合度进行分析，将得到的分析结果与预设眼睛闭合度阈值进行比较，并根据比较结果，确定所述眼睛状态是睁眼状态或闭眼状态。

优选地，所述确定是否疲劳的步骤包括：

在预设眼睛状态统计时间内，对眼睛图像的闭眼状态进行统计；

当所得到的闭眼状态统计结果大于预设闭眼状态阈值时，或者当预设连续闭眼状态统计时间内连续检测到闭眼状态时，确定用户处于疲劳状态。

优选地，还包括：

当确定用户处于疲劳状态时，发出用户疲劳提醒及报警信息。

根据本发明的另一方面，提供了一种基于视频图像的疲劳状态检测装置，包括：

人脸检测单元，用于对实时采集的用户的视频图像进行人脸检测，获取所述用户的脸部图像；

眼睛状态分析单元，用于通过对所获取的脸部图像进行分析，对用户的眼睛位置进行定位，得到眼睛图像，并通过对所述眼睛图像进行分析，确定所述用户的眼睛状态是睁眼状态或闭眼状态；

疲劳状态分析单元，用于在预设眼睛状态统计时间内，对所述用户的眼睛状态进行统计，并根据统计结果，确定用户是否疲劳。

与现有技术相比较，本发明的有益效果在于：

本发明通过对用户的视频图像进行人脸检测、眼睛位置定位、眼睛状态识别、疲劳状态分析等处理，实现了用户疲劳状态的自动识别。

附图说明

图1是本发明实施例提供的基于视频图像的疲劳状态检测方法原理框图；

图2是本发明实施例提供的基于视频图像的疲劳状态检测装置的结构框图；

图3是图2中眼睛状态分析单元的结构框图；

图4是本发明实施例提供的一维简单特征的类型图；

图5是本发明实施例提供的改进的AdaBoost算法的框架图；

图6是本发明实施例提供的“三庭五眼”原则的基本原理图；

图7是本发明实施例提供的一个典型的用户疲劳状态监控场景；

图8是本发明实施例提供的用户疲劳状态分析结果示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行详细说明，应当理解，以下所说明的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

本发明公开了一种基于视频图像的疲劳状态检测方法及装置，利用人脸检测原理(例如AdaBoost人脸检测算法)，对实时采集的视频图像进行人脸检测；通过对检测到的脸部图像进行分析获得眼睛图像；通过灰度直方图匹配或眼睛闭合程度等对眼睛图像进行分类，判断用户眼睛状态；通过对眼睛状态进行统计判断，获得用户疲劳状态，并进行相应的现场提醒。

图1是本发明实施例提供的基于视频图像的疲劳状态检测方法原理框图，如图1所示，步骤包括：

步骤101、对实时采集的用户的视频图像进行人脸检测，获取所述用户的脸部图像。

在所述步骤101中，所述的人脸检测步骤包括：利用由级联在一起的判别人脸特征的多个强分类器和配置给每个强分类器的辅助判决模块，依次对所述监控视频图像中属于人脸部分的待检测图像进行人脸真假判决；若最后一级强分类器的人脸真假判决结果为真，或者最后一级强分类器的辅助判决模块的人脸真假判决结果为真，则将该待检测图像确定为用户的脸部图像。其中，某个所述辅助判决模块在其强分类器的人脸真假判决结果为假时，对所述待检测图像进行人脸真假辅助判决，并在人脸真假辅助判决结果为真时，将待检测图像送至下一级强分类器进行人脸真假判决。

步骤102、通过对所获取的脸部图像进行分析，对用户的眼睛位置进行定位，得到眼睛图像。

在所述步骤102中，所述得到眼睛图像的步骤包括：利用角点检测原理，获得左眼角和右眼角的位置，并根据所述左眼角和右眼角的位置，计算眼睛的高度、宽度、眼睛中心位置的垂直坐标，并在所述脸部图像中提取所述眼睛位置的图像，得到眼睛图像。

步骤103、通过对所述眼睛图像进行分析，确定所述用户的眼睛状态是睁眼状态或闭眼状态。

在所述步骤103中，所述确定所述用户的眼睛状态的步骤包括：对所述眼睛图像的灰度分布进行统计，得到眼睛图像归一化直方图；将所述眼睛图像归一化直方图分别与睁眼图像集归一化直方图、闭眼图像集归一化直方图进行相似性处理，得到眼睛图像相对睁眼图像集的睁眼相似度和眼睛图像相对闭眼图像集的闭眼相似度；比较所述睁眼相似度和所述闭眼相似度，并根据比较结果，确定所述眼睛状态是睁眼状态或闭眼状态。其中，通过对所述睁眼图像集和所述闭眼图像集的灰度分布分别进行统计，得到睁眼图像集归一化直方图、闭眼图像集归一化直方图。或者，对所述眼睛图像的眼睛闭合度进行分析，将得到的分析结果与预设眼睛闭合度阈值进行比较，并根据比较结果，确定所述眼睛状态是睁眼状态或闭眼状态。

步骤104、在预设眼睛状态统计时间内，对所述用户的眼睛状态进行统计，并根据统计结果，确定用户是否疲劳。

在所述步骤104中，所述确定是否疲劳的步骤包括：在预设眼睛状态统计时间内，对眼睛图像的闭眼状态进行统计；当所得到的闭眼状态统计结果大于预设闭眼状态阈值时，或者当预设连续闭眼状态统计时间内连续检测到闭眼状态时，确定用户处于疲劳状态。

进一步地，当确定用户处于疲劳状态时，发出用户疲劳提醒及报警信息。

图2是本发明实施例提供的基于视频图像的疲劳状态检测装置的结构框图，如图2所示，包括：

视频采集单元，用于实时采集用户的视频图像。

人脸检测单元，用于对实时采集的用户的视频图像进行人脸检测，获取所述用户的脸部图像。

眼睛状态分析单元，用于通过对所获取的脸部图像进行分析，对用户的眼睛位置进行定位，得到眼睛图像，并通过对所述眼睛图像进行分析，确定所述用户的眼睛状态是睁眼状态或闭眼状态。

疲劳状态分析单元，用于在预设眼睛状态统计时间内，对所述用户的眼睛状态进行统计，并根据统计结果，确定用户是否疲劳。

告警单元，用于在确定用户疲劳时，发出用户疲劳提醒及报警信息。

图3显示了图2中的眼睛状态分析单元的结构框图，所述眼睛状态分析单元通过对脸部图像进行处理，得到眼睛图像，并识别出相应的眼睛状态。如图3所示，其包括：

眼睛初步定位子单元，用于在脸部图像上初步定位眼睛位置。

眼睛精确定位子单元，用于利用角点检测原理，在脸部图像上确定眼睛的左眼角和右眼角位置，并根据所述左眼角和右眼角位置，计算眼睛的高度、宽度、眼睛中心位置的垂直坐标，从而精确定位眼睛位置，并从脸部图像中提取眼睛位置的图像，得到眼睛图像。

眼睛状态识别子单元，用于通过对眼睛图像进行灰度直方图匹配或对眼睛闭合度进行分析，确定眼睛状态是睁眼状态或闭眼状态。

下面结合附图4至图6对本发明进行详细说明：

一、对实时采集的监控视频图像进行人脸检测，获得用户的脸部图像。

本发明利用由级联在一起的判别人脸特征的多个强分类器和配置给每个强分类器的辅助判决模块，依次对所述监控视频图像中属于人脸部分的待检测图像进行人脸真假判决；若最后一级强分类器的人脸真假判决结果为真，或者最后一级强分类器的辅助判决模块的人脸真假判决结果为真，则将该待检测图像确定为用户脸部图像。其中，某个所述辅助判决模块在其强分类器的人脸真假判决结果为假时，对所述待检测图像进行人脸真假辅助判决，并在人脸真假辅助判决结果为真时，将待检测图像送至下一级强分类器进行人脸真假判决。

以AdaBoost人脸检测原理为例，所述AdaBoost人脸检测原理是一种基于积分图、级联检测器和AdaBoost算法的人脸检测原理，其基本思想是将大量的分类能力一般的弱分类器通过一定方法叠加起来，构成一个强分类器。AdaBoost人脸检测原理用于人脸检测时，从人脸图像中抽取大量的不同尺度和位置的一维简单特征构成弱分类器。这些简单特征构成的分类器都有一定的人脸和非人脸区分性，最终的分类系统使用数千个这样的一维简单特征分类器组合起来达到很好的分类效果，如图4所示，给出了这些一维简单特征的类型。

所述AdaBoost算法描述如下：

已知有n个训练样本(x₁，y₂)，...，(x_n，y_n)的训练集，其中：

在训练样本中，共有1个正样本，m个负样本，待分类物体有k个不同尺度和位置的简单特征，表示为f_j(x)，其中1≤j≤k。对于第i个样本x_i，它的特征为：

{f₁(x)，f₂(x)，...，f_j(x)，...，f_k(x)}(2)

对应于每个输入特征f_i都有一个简单的二值分类器。第j个特征的弱分类器由一个阈值θ_j、一个特征f_j和一个指示不等式方向的偏置p_j构成：

$h_i\left(x\right)=\left\{\begin{array}{cc}1& if(p_j{f}_j<p_j{\mathrm{\&theta;}}_j)\\ 0& otherwise\end{array}\right.---\left(3\right)$

训练的目标是通过对正负样本进行分析，选择分类错误率最低的T个弱分类器，最终通过级联组合成一个强分类器。

AdaBoost级联结构分类器是由一系列的分类器串联组成。原始的级联在判决过程中，只考虑当前级分类器的判决结果，而忽略了前级分类器的判决结果。另一方面，将各个不同的AdaBoost分类器级联以后，由于每一级均存在误判，使得整个级联分类器的检测率比较低。本实施例采用将AdaBoost算法进行改进，综合考虑这两方面因素，对AdaBoost算法的级联分类器框架进行了改进，增加了一个辅助判决函数来均衡级联分类器的检测率和误检率，新的框架如图5所示：当待检图像被某一级AdaBoost分类器判为假(非人脸)，则利用该级的辅助判决函数对其进行再判决。若辅助判决为真，则将其输入到下一级分类器，否则拒绝该样本。第i级的辅助判断函数可用公式表示如下：

$F_i\left(x\right)={\mathrm{\&alpha;\&Sigma;}}_{t=1}^{T_i}{f}_t\left(x\right)+\mathrm{\&beta;}{\left(\frac{1}{2}\right)}^{count}---\left(4\right)$

其中，x为样本，f_t(x)为第i级AdaBoost分类器中第t个弱分类器对样本x的判决结果，T_i为第i级的弱分类器数量，为第i级强分类器对样本x判决的隶属度，α为当前第i级强分类器判决的权值，0<α<1，β＝1-α，count为样本x被前i-1级强分类器判为假的次数。

第i级辅助判决规则如下：

$D_i\left(x\right)=\left\{\begin{array}{cc}1& if\left(F_i\right(x)>T)\\ 0& otherwise\end{array}\right.---\left(5\right)$

其中，T为第i级判决的阈值。辅助判决函数综合考虑了当前级和前i-1级的判决结果，获得了更加优良的分类效率。

二、通过对人脸检测结果进行分析，确定司机是否离岗，并在确定司机离岗时，发出司机离岗提醒及报警信息。

具体地说，在预设脸部图像统计时间内，对脸部图像的检测结果进行统计；将得到的统计结果与预设脸部图像统计阈值进行比较，并根据比较结果，判断司机的在岗状态，并产生相应的提醒和报警信息。例如，利用视频图像中人脸检测结果对人脸存在时间进行统计，如果连续没有检测到人脸的视频图像帧数超过预设的阈值，则判定用户为离岗状态，并在现场给出离岗提醒及报警信息。

三、通过对检测到的脸部图像进行分析，得到眼睛图像。

在所述脸部图像中，初步定位眼睛位置；利用角点检测原理，获得用户眼睛的左眼角和右眼角的位置，并根据所述左眼角和右眼角的位置，计算眼睛的高度、宽度、眼睛中心位置的垂直坐标；利用所述高度、宽度、眼睛中心位置的垂直坐标，精确定位眼睛位置，从而在脸部图像中提取眼睛位置的图像，即眼睛图像。

例如，首先，在获得脸部图像后，根据“三庭五眼”规则初步定位眼睛所在的图像区域和眼睛图像的大小。具体地说，将人脸图像在垂直方向分成3个高度相同的部分；将眼睛区域的图像在水平方向分成5个宽度相同的部分，即可初度定位人脸图像中左右两个眼睛的位置，基本原理如图6所示。

然后采用角点检测算法对初步的眼睛图像区域进行角点定位，通过分析得到眼睛的精确位置和眼睛图像。例如，通过采用Harris图像角点检测原理对眼睛图像区域进行角点检测，获得左眼角和右眼角的精确位置。本实施例利用左眼角和右眼角的坐标，计算出眼睛的宽度、眼睛的高度、垂直中心位置可以通过如下公式计算得到：

W＝X_R-X_L+e₁(6)

H＝W*e₂(7)

Y_C＝(Y_L+Y_R)/2(8)

其中，e₁和e₂是常数，0.5≤e₁≤1.5，0.5≤e₂<1，优选地，e₁＝1，e₂＝3/5。(X_L，Y_L)和(X_R，Y_R)分别为眼睛图像区域最左边和最右边的两个角点的坐标，即左眼角和右眼角的坐标；W和H分别为计算得到的眼睛图像的宽度和高度；Y_C为眼睛中心位置的垂直坐标。上述参数即可确定眼睛的精确位置，处在该位置区域的图像即为眼睛图像。

四、分析眼睛图像，确定眼睛状态。

1、利用灰度直方图匹配原理对获得的眼睛图像进行分类，获得用户的眼睛状态(闭眼状态或睁眼状态)，即采用灰度直方图匹配原理进行眼睛状态识别。

对所述眼睛图像的灰度分布进行统计，得到眼睛图像归一化直方图；将所述眼睛图像归一化直方图分别与睁眼图像集归一化直方图、闭眼图像集归一化直方图进行相似性处理，得到眼睛图像相对睁眼图像集的睁眼相似度和眼睛图像相对闭眼图像集的闭眼相似度；比较所述睁眼相似度和所述闭眼相似度，并根据比较结果，确定所述眼睛状态是睁眼状态或闭眼状态。

具体地说，为了对眼睛状态进行识别，本发明实施例首先通过上述步骤在各种环境和光照条件下自动收集到大量眼睛图像，接着通过人工筛选得到闭眼图像和睁眼图像各n幅，并将这2n幅图像的尺寸都缩放到a×b，形成闭眼图像集和睁眼图像集。然后，对闭眼图像集和睁眼图像集分别进行灰度直方图统计。

$H_0\left(l\right)=\frac{N_0\left(l\right)}{n\&times;a\&times;b}---\left(9\right)$

$H_1\left(l\right)=\frac{N_1\left(l\right)}{n\&times;a\&times;b}---\left(10\right)$

其中，1＝0，1，2，...，255为图像灰度级；N₀(1)和N₁(1)分别为灰度级1在闭眼图像集和开眼图像集中出现的次数；H₀(1)和H₁(1)分别为闭眼图像和开眼图像的归一化直方图。

当获得一副眼睛图像后，将其尺寸缩放到a×b，对其灰度分布进行统计，获得其直方图如下：

$H\left(l\right)=\frac{N\left(l\right)}{a\&times;b},l=0,1,2,...,255---\left(11\right)$

其中N(1)为灰度级1在眼睛图像中出现的次数。将眼睛图像的归一化直方图H与闭眼图像集的归一化直方图H₀和睁眼图像集的归一化直方图H₁分别进行相关计算获得两个相似度如下：

$S_0=\frac{1}{\exp (\&lsqb;1.0-{\mathrm{\&Sigma;}}_{l=0}^{255}H(l)*H_0\left(l\right)\&rsqb;/\mathrm{\&lambda;})}---\left(12\right)$

$S_1=\frac{1}{\exp (\&lsqb;1.0-{\mathrm{\&Sigma;}}_{l=0}^{255}H(l)*H_1\left(l\right)\&rsqb;/\mathrm{\&lambda;})}---\left(13\right)$

优选地，n＝1000，a×b＝52×36，λ＝0.02。

其中，S₀和S₁分别为眼睛图像与闭眼图像和睁眼图像的相似度。如果S₀大于S₁，则判断该眼睛图像为闭眼状态，否则为睁眼状态。

2、通过分析眼睛闭合度，确定眼睛状态。

对所述眼睛图像的眼睛闭合度进行分析，将得到的分析结果与预设眼睛闭合度阈值进行比较，并根据比较结果，确定所述眼睛状态是睁眼状态或闭眼状态。

本发明实施例在具体实验中有P70、P80和P50三种测量方式，其中，P70、P80和P50中的数字70、80、50分别表示眼皮盖过瞳孔的面积超过70％、80％和50％。这三种方法在不同程度上都能预测用户的疲劳程度，而P80与用户疲劳程度的相关性最好。因此，本发明实施例采用P80作为判定标准，即将眼睛闭合程度大于80％的状态归判定为闭眼状态。

五、统计所述用户的闭眼状态，确定用户是否疲劳。

在预设眼睛状态统计时间内，对闭眼状态进行统计；当所得到的闭眼状态统计结果大于预设闭眼状态阈值时，或者当预设连续闭眼状态统计时间内连续检测到闭眼状态时，确定用户处于疲劳状态。

例如，通过Perclos(PercentageofEyelidClosureOverthePupilOverTime，每秒闭眼次数)算法对眼睛状态进行统计判断，获得用户每秒的闭眼次数，判断用户的疲劳状态，并产生相应的提醒和报警信息。所述Perclos算法是指眼睛闭合时间占某一特定时间的百分率。眼睛闭合时间的长短与疲劳程度有密切关系，用户眼睛闭合时间越长，疲劳程度越严重。因此，通过测量眼睛闭合时间的长短就能确定用户的疲劳程度。疲劳判别依据主要是单位时间内眼睛闭合次数。一般以30秒作为一个测量单元，可得到Perclos值的计算公式如下：

$Perclos=\frac{\underset{{30}_{\sec }}{\&Sigma;}\&lsqb;C\left(t\right)<0.2\&rsqb;}{{30}_{\sec }\&times;fps}---\left(14\right)$

其中，为30秒内眼睛睁开程度小于20％，即眼睛闭合程度大于80％，判定为闭合状态的次数，这里也可以使用通过直方图匹配原理对眼睛状态识别的统计结果；fps为视频帧率，一般为25fps，每秒25帧。如果Perclos值大于预定阈值，或者连续3秒处于闭眼状态，则认为在该检测对象很可能已处于疲劳状态，系统给出疲劳警告和现场语音提醒。

具体实例一

本实例的应用场景是针对安防工作人员，视频采集单元包括多个摄像头，用于从不同角度采集安防工作人员的视频图像，并将角度最佳的视频图像发送至人脸检测单元、眼睛状态分析单元和疲劳状态分析单元进行相应的处理。人脸检测单元对视频采集单元实时采集的视频图像进行处理，获得用户脸部图像。利用眼睛状态分析单元的眼睛初步定位子单元和眼睛精确定位子单元对获得的脸部图像进行分析，定位到眼睛位置，提取眼睛图像，如图7所示，是系统判断用户当前状态为正常时的示意图，大框中是人脸检测的结果，小框中是眼睛定位结果。然后，眼睛状态分析单元的眼睛状态识别子单元通过计算灰度直方图，得到睁眼相似度和闭眼相似度，当睁眼相似度大于闭眼相似度时，确定为睁眼状态，否则，确定为闭眼状态。最后，利用疲劳状态分析单元对预设眼睛状态统计时间内的闭眼状态进行统计，当预设连续闭眼状态统计时间内连续检测到闭眼状态时，确定用户处于疲劳状态，如图8所示，是系统判断用户当前处于疲劳状态时的示意图。

具体实例二

本实例的应用场景是针对汽车司机，视频采集单元包括在汽车内设置的多个摄像头，用于从不同角度采集汽车司机的视频图像，并将角度最佳的视频图像传递至人脸检测单元、眼睛状态分析单元和疲劳状态分析单元进行相应的处理。人脸检测单元对视频采集单元实时采集的视频图像进行处理，获得汽车司机脸部图像。利用眼睛状态分析单元的眼睛初步定位子单元和眼睛精确定位子单元对获得的脸部图像进行分析，定位到眼睛位置，提取眼睛图像。然后，利用眼睛状态分析单元的眼睛状态识别子单元计算眼睛闭合度，当眼皮盖过瞳孔面积的80％时，确定为闭眼状态，否则，确定为睁眼状态。最后，利用疲劳状态分析单元对预设眼睛状态统计时间内的闭眼状态进行统计，当所得到的闭眼状态统计结果大于预设闭眼状态阈值时，确定汽车司机处于疲劳状态。

具体实例三

本实例的应用场景是针对火车司机，视频采集单元实时采集火车司机的视频图像，并传递至人脸检测单元、眼睛状态分析单元和疲劳状态分析单元进行相应的处理。人脸检测单元对视频采集单元实时采集的视频图像进行人脸检测，在预设脸部图像统计时间内，若脸部图像的统计结果小于预设脸部图像统计阈值，则确定火车司机离岗。

本发明在确定用户处于疲劳状态后或用户处于离岗状态时，能够及时对用户进行现场语音提醒及告警，在不同的应用环境下，还可以提供远程视频监控功能，以及远程语音对讲、远程控制等。

本发明能够对用户疲劳状态进行检测，其应用不限于安防工作人员、汽车司机、火车司机，也可应用于夜班工作人员等容易出现疲劳状态的用户。

本发明利用眼睛状态统计结果，确定用户疲劳状态，提高了判断疲劳状态的准确度，具有更高的智能水平和更强的工程适应性。

尽管上文对本发明进行了详细说明，但是本发明不限于此，本技术领域技术人员可以根据本发明的原理进行各种修改。因此，凡按照本发明原理所作的修改，都应当理解为落入本发明的保护范围。

Claims (8)

1.基于视频图像的疲劳状态检测方法，其特征在于，包括：

对实时采集的用户的视频图像中属于人脸部分的待检测图像进行人脸真假判决，获取所述用户的脸部图像；

通过对所获取的脸部图像进行分析，对用户的眼睛位置进行定位，从所述脸部图像中提取位于所述眼睛位置的眼睛图像；

通过对提取的所述眼睛图像进行分析，确定所述用户的眼睛状态是睁眼状态或闭眼状态；

在预设眼睛状态统计时间内，对所述用户的眼睛状态进行统计，并根据统计结果，确定用户是否疲劳；

其中，所述确定所述用户的眼睛状态的步骤包括：

预先对睁眼图像集和闭眼图像集分别进行灰度直方图统计，得到睁眼图像集归一化直方图H₁(1)和闭眼图像集归一化直方图H₀(1)；

对所述眼睛图像的灰度分布进行统计，得到眼睛图像归一化直方图H(1)；

将所述眼睛图像归一化直方图H(1)分别与所述睁眼图像集归一化直方图H₁(1)、闭眼图像集归一化直方图H₀(1)进行相关计算，得到眼睛图像相对睁眼图像集的睁眼相似度和眼睛图像相对闭眼图像集的闭眼相似度；

比较所述睁眼相似度和所述闭眼相似度，并根据比较结果，确定所述眼睛状态是睁眼状态或闭眼状态；

所述所述所述

其中，所述1＝0,1,2,...,255为图像灰度级；N₀(1)和N₁(1)分别为灰度级1在闭眼图像集和睁眼图像集中出现的次数；所述N(1)为灰度级1在眼睛图像中出现的次数；所述n为构成闭眼图像集和睁眼图像集的图像的幅数，所述a×b为每幅图像的尺寸。

2.根据权利要求1所述的方法，其特征在于，所述的对实时采集的用户的视频图像中属于人脸部分的待检测图像进行人脸真假判决，获取所述用户的脸部图像的步骤包括：

利用由级联在一起的判别人脸特征的多个强分类器和配置给每个强分类器的辅助判决模块，依次对所述视频图像中属于人脸部分的待检测图像进行人脸真假判决；

若最后一级强分类器的人脸真假判决结果为真，或者最后一级强分类器的辅助判决模块的人脸真假判决结果为真，则将该待检测图像确定为用户的脸部图像。

3.根据权利要求2所述的方法，其特征在于，某个所述辅助判决模块在其强分类器的人脸真假判决结果为假时，对所述待检测图像进行人脸真假辅助判决，并在人脸真假辅助判决结果为真时，将待检测图像送至下一级强分类器进行人脸真假判决。

4.根据权利要求1所述的方法，其特征在于，所述得到眼睛图像的步骤包括：

利用角点检测原理，获得左眼角和右眼角的位置，并根据所述左眼角和右眼角的位置，计算眼睛的高度、宽度、眼睛中心位置的垂直坐标；

利用所述高度、宽度、眼睛中心位置的垂直坐标，定位眼睛位置，并在所述脸部图像中提取所述眼睛位置的图像，得到眼睛图像。

5.根据权利要求4所述的方法，其特征在于，所述确定所述用户的眼睛状态的步骤还包括：

对所述眼睛图像的眼睛闭合度进行分析，将得到的分析结果与预设眼睛闭合度阈值进行比较，并根据比较结果，确定所述眼睛状态是睁眼状态或闭眼状态。

6.根据权利要求1所述的方法，其特征在于，所述确定是否疲劳的步骤包括：

在预设眼睛状态统计时间内，对眼睛图像的闭眼状态进行统计；

当所得到的闭眼状态统计结果大于预设闭眼状态阈值时，或者当预设连续闭眼状态统计时间内连续检测到闭眼状态时，确定用户处于疲劳状态。

7.根据权利要求6所述的方法，其特征在于，还包括：

当确定用户处于疲劳状态时，发出用户疲劳提醒及报警信息。

8.基于视频图像的疲劳状态检测装置，其特征在于，包括：

人脸检测单元，用于对实时采集的用户的视频图像中属于人脸部分的待检测图像进行人脸真假判决，获取所述用户的脸部图像；

眼睛状态分析单元，用于通过对所获取的脸部图像进行分析，对用户的眼睛位置进行定位，从所述脸部图像中提取位于所述眼睛位置的眼睛图像，并通过对所提取的眼睛图像进行分析，确定所述用户的眼睛状态是睁眼状态或闭眼状态；

疲劳状态分析单元，用于在预设眼睛状态统计时间内，对所述用户的眼睛状态进行统计，并根据统计结果，确定用户是否疲劳；

其中，所述的确定所述用户的眼睛状态包括：

预先对睁眼图像集和闭眼图像集分别进行灰度直方图统计，得到睁眼图像集归一化直方图H₁(1)和闭眼图像集归一化直方图H₀(1)；

对所述眼睛图像的灰度分布进行统计，得到眼睛图像归一化直方图H(1)；

将所述眼睛图像归一化直方图H(1)分别与睁眼图像集归一化直方图H₁(1)、闭眼图像集归一化直方图H₀(1)进行相关计算，得到眼睛图像相对睁眼图像集的睁眼相似度和眼睛图像相对闭眼图像集的闭眼相似度；

比较所述睁眼相似度和所述闭眼相似度，并根据比较结果，确定所述眼睛状态是睁眼状态或闭眼状态；

所述所述所述

其中，所述1＝0,1,2,...,255为图像灰度级；N₀(1)和N₁(1)分别为灰度级1在闭眼图像集和睁眼图像集中出现的次数；所述N(1)为灰度级1在眼睛图像中出现的次数；所述n为构成闭眼图像集和睁眼图像集的图像的幅数，所述a×b为每幅图像的尺寸。