CN103976749A - 一种实时疲劳提示的方法及装置 - Google Patents

Abstract

本发明公开了一种实时疲劳提示的方法及装置。该方法包括：实时监测用户面部状态视频信息；发送视频信息到处理单元；判断用户是否处于疲劳状态；记录下用户每个时刻的状态，若用户在一分钟内疲劳状态次数超过阀值则发出声音或者其它提示。一种实时疲劳提示装置，该装置包括：监测单元、存储单元、输出单元、视频处理单元及接口总成，监测单元，存储单元及输出单元通过接口总成与视频处理单元相连接。本发明的优点是：通过非接触方式连续监测用户的面部状态，在用户处于疲劳状态下提醒用户注意休息并提供长期的用户状态历史信息，帮助用户提高学习或工作效率，同时利于用户避免过度疲劳，保持健康工作习惯。

Description

一种实时疲劳提示的方法及装置

技术领域

本发明涉及电子产品领域，尤其涉及一种实时疲劳提示的方法及装置。

背景技术

疲劳是一种生理、心理异常状态，其表现是：大脑反应迟钝，头麻木或者疼痛，注意力分散，思维滞缓，长期在疲劳状态下工作、学习效率低下，对用户十分不利。

基于图像的疲劳检测算法主要是通过定位并跟踪眼睛及嘴巴。判断眼睛睁开、闭合状态以及嘴巴的张开程度进行判断。但是眼睛瞳孔的精确定位存在困难容易受光照等环境的影响，对嘴巴状态的判断也存在相似的困难。

为了定位眼睛及嘴巴，还需要首先定位人脸。需要一种简单快速的人脸识别方法，因为表情识别阶段需要进行大量计算，因此在人脸定位阶段应当尽量节省计算时间。

本发明从摄像头捕捉的图像，使用基于整数运算的BM_LBP描述符搜索人脸，该方法快速有效，可以节省计算资源用于进行疲劳状态的判断。本发明把整个面部表情作为整体进行疲劳表情判断，并且依据整体的统计信息而非依据眼球、嘴巴的几何形状，因此简化了判断过程并且提高了对光照等外部条件变化下判断用户疲劳的鲁棒性。

发明内容

本发明从监测单元捕捉的图像实时检测出用户的疲劳状态，采用基于整数运算的BM_LBP描述符搜索人脸，该方法快速有效并且可以节省计算资源用于进行疲劳状态的判断。

本发明把整个面部表情作为整体进行疲劳表情判断，并且依据整体的统计信息而非依据眼球、嘴巴的几何形状，因此简化了判断过程并且提高了对光照等外部条件变化下判断用户疲劳的鲁棒性。

为解决现有技术问题，设计了一种实时疲劳提示的方法，该方法包括以下步骤：

1)实时采集用户面部状态视频信息；

2)发送视频信息到视频处理单元；

3)判断用户是否处于疲劳状态；

4)提示用户注意休息。

进一步地，判断用户是否处于疲劳状态包括如下步骤：

3-1)使用级联分类器识别出视频信息里的用户面部；

3-2)将用户面部图像尺寸归一化，然后使用主成分分析法(PCA)提取面部主成分特征；

3-3)根据面部主成分信息，采用基于Fisher线性判别的方法(LDA)判断当前用户是否处于疲劳状态；

3-4)连续记录用户的状态，若用户在设定时间内出现的疲劳状态次数超过设定的疲劳次数提示阀值n则进行提醒。

进一步地，使用级联分类器识别出视频信息里的用户面部的步骤如下：

3-1-1)采用多区块局部二值模式(MB_LBP)算子作为特征描述符；

3-1-2)读取在计算机上离线训练的瀑布型级联分类器；

3-1-3)以24×24的窗口在监视画面进行滑动扫描，在每一个窗口均使用级联分类器判断该窗口位置是否是人脸，若是人脸则标记出人脸位置；

3-1-4)将窗口放大1.2倍重复上述扫描检测，标记较大的人脸位置，重复5次将搜索到的人脸位置进行合并；

进一步地，将用户面部图像尺寸归一化，然后使用主成分分析法(PCA)提取面部主成分特征的步骤如下：

3-2-1)对搜索到的人脸进行尺度归一化为56×56像素；

3-2-2)对归一化后的人脸图像进行直方均衡化等预处理；

3-2-3)将图像矩阵按行拉直成为3136维的列向量Γ；

3-2-4)对拉直后的列向量进行投影：y＝W₁ ^T(Γ-Ψ)其中W₁为PCA投影矩阵，Ψ为平均脸，投影后y降低到20维；

3-2-5)使用PCA法离线计算W₁及Ψ；

进一步地，根据面部主成分信息，采用基于Fisher线性判别的方法(LDA)判断当前用户是否处于疲劳状态的步骤如下：

3-3-1)对主主成分y进行投影z＝W₂ ^Ty，其中W₂是仅有一列的矩阵，z为标量；

3-3-2)z＞0即可认为是疲劳状态，增加一个阀值θ给用户设置以满足不同需求，阀值θ越高则误判越少更加准确，阀值θ越低则漏判越少更加敏感。z＞θ判断处于疲劳状态；

3-3-3)使用标记有非疲劳状态(第一类)及疲劳状态(第二类)的人脸图片根据线性判别的方法离线训练，以得到投影矩阵W₂。

进一步地，该方法还包括以下步骤：在存储单元存储用户状态信息，保存用户每次学习或工作状态的历史记录，帮助用户改善学习或工作计划。

一种实时疲劳提示的装置，该装置包括：监测单元，负责实时采集用户面部状态视频信息并发送视频信息到视频处理单元；视频处理单元，负责通过图像算法处理判断用户是否处于疲劳状态，若用户在设定时间内出现的疲劳状态次数超过设定的疲劳次数提示阀值n则进行提醒；输出单元，负责声音及图像的输出包括发出声音提示用户及显示相关信息；存储单元负责保存记录用户历史信息；接口总成，负责视频处理单元与外部设备的连接及通讯。

进一步地，所述视频处理单元为ARM处理器及DSP数字信号处理器。

进一步地，所述输出单元为LCD显示器及扬声器。

进一步地，所述装置还包括：存储单元，所述存储单元为内置闪存及外部数字存储卡。

上述判断用户是否处于疲劳状态的方法步骤3-1)所述级联分类器需要通过Adaboost离线训练；步骤3-2)所述PCA提取面部主成分需要离线进行PCA训练；3-3)所述LDA判断当前用户是否处于疲劳状态需要离线进行LDA训练。

Adaboost训练用以检测人脸。使用人脸图片(正样本)及背景图片(负样本)通过Adaboost算法得到级联分类器。使用MB_LBP编码作为Adaboost算法中的弱分类器的输入，使用CART算法生成的二叉树作为弱分类器，也就是说，在Adaboost训练中使用分类与回归树(CART)作为弱分类器，该弱分类器以MB_LBP特征的bit位进行分类。

MB-LBP根据3×3个相连接的共9个连续矩形区域，按中心区灰度值之和与8个相邻矩形区灰度值之和的比较，采用和局部二值模式(LBP)相似的方法得到编码。MB_LBP编码的数值大小没有意义而是表示总共256种不同状态中的一种。

使用CART树对样本分类得到弱分类器f_m(x)∈-1，1使正样本映射为1，负样本映射为-1。CART树的构建根据Gini指标，MB_LBP编码8个二进制位中使得整个CART树Gini指标降低量最大的二进制位作为分裂点选取依据。

PCA训练根据大量人脸图片样本计算平均脸Ψ及投影矩阵W₁。投影矩阵W₁由样本协方差矩阵C前20个最大特征值对应的特征向量组成。用以从人脸图像提取主成分并降维。

LDA训练将人脸图片样本分为两类，即非疲劳状态(第一类样本)和疲劳状态(第二类样本)。根据PCA训练的结果将人脸提取主成分y＝W₁ ^T(Γ-Ψ)，对样本主成分y进行训练。根据样本的分类，计算类间散射矩阵S_B和类内散射矩阵S_W。矩阵S_W ^-1S_B最大特征值对应的特征向量组成投影矩阵W₂。投影矩阵W₂用以进行分类投影，z＝W₂ ^Ty实现类间分布最大化，而类内分布最小化。

该方法实时检测包括以下步骤：

从CCD采集用户视频流的一帧到缓存，提取亮度信息得到灰度图像；

用24×24的窗口在灰度图像中进行滑动扫描搜索人脸，窗口连续放大5次以检测不同尺度的人脸，检测完后合并人脸位置；

根据人脸位置提取用户面部图像，并将尺度缩放到56×56像素。对面部图像进行直方均衡化处理然后提取主成分y＝W₁ ^T(Γ-Ψ)；

将主成分投影到一维得到疲劳值z＝W₂ ^Ty；

连续记录用户疲劳值z，若在一分钟内z＞θ的次数达到一定数量则发出声音提醒。在本发明中，我们设定的疲劳监测时间范围以1分钟为一个时间区间，如果用户在在一分钟内疲劳状态出现的次数超过60秒*20帧每秒*15％这个范围，使用该方法的疲劳提示装置就会发出提示。

本发明的有益效果是：通过从摄像头捕捉的图像，使用基于整数运算的BM_LBP描述符搜索人脸，可以节省计算资源用于进行疲劳状态的判断，另外，本发明把整个面部表情作为整体进行疲劳表情判断，并且依据整体的统计信息而非依据眼球、嘴巴的几何形状，因此简化了判断过程并且提高了对光照等外部条件变化下判断用户疲劳的鲁棒性。

本发明里，PCA(Principal Component Analysis)是主成分分析的简称；LDA(Linear Discriminant Analysis)是线性判别分析的简称；CART(Classification And Regression Tree)是分类及回归树的简称；LBP(Local Binary Patterns)是局部二值模式简称；MB_LBP(Multi-scaleBlock Local Binary Patterns)是多区块局部二值模式的简称。

附图说明

图1为本发明的一种实时疲劳提示的方法及装置结构示意图；

图2为本发明MB_LBP编码提取方法示意图及改变矩形区域产生不同MB_LBP特征示意图；

图3为本发明的以MB_LBP编码为特征，以CART树为弱分类器构成的级联型分类器结构示意图；

图4为本发明的矩阵拉直方方法示意图及用PCA离线训练得到的前24个特征脸示意图；

图5为LDA投影实现类间分布最大化，类内分布最小化示意图及LDA离线训练以实现疲劳检测示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明实施例中一种实时疲劳提示的装置的结构示意图。根据该结构图，所述一种实时疲劳提示的装置包括：监测单元101，接口总成102，视频处理单元103，输出单元104及存储单元105。各单元之间具体的工作过程如下，监测单元101把采集到的视频信息通过接口总成102传送到视频处理单元103，视频处理单元完成对视频信号的实时处理，把用户的学习或工作状态信息保存到存储单元105，同时视频处理单元把当前图像和提示语言通过接口总成发送到输出单元105。其中，所述监测单元101可为CCD摄像机或微型摄像头，可通过数据线与视频处理单元相连接，也可集成在该装置的硬件结构上。该装置可以是手机、平板、台式电脑、笔记本电脑、儿童平板、电子书、车载设备、导航设备等。

图2为本发明的MB_LBP编码提取方法示意图及改变矩形区域产生不同MB_LBP特征示意图。MB-LBP根据3×3个相连接的共9个连续矩形区域，按中心区灰度值之和与8个相邻矩形区灰度值之和的比较得到编码。201、202及203所示为改变小方块的尺寸或者位置示意图，这三种不同的选取将产生三种不同的MB_LBP编码。204、205及206所示为提取MB_LBP编码示意图： $\mathrm{MB}\_\mathrm{LBP}(x,y)=\underset{0}{\overset{P-1}{\mathrm{\&Sigma;}}}s{(g_p-g_c)}^{2^P}$ 及 $s\left(x\right)=\left\{\begin{array}{cc}1& x\&GreaterEqual;0\\ 0& x<0\end{array}\right.$ 其中g_c为中心矩形区总灰度，g_p为8个相邻矩形区域之一的总灰度。指数p从左上开始，按顺时针方向从7依次减小到0。MB_LBP编码表示256种不同状态中的一种。

图3所示为级联分类器示意图，其中301所示为以CART弱分类构成强分类器示意图。使用Adaboost算法以CART作为弱分类器离线训练出强分类器的过程如下：

步骤1，给出一组样本集合(x_i，y_i)，其中x_i为图像MB_LBP特征。

y_i＝-1，+1分别表示负样本(背景)及正样本(人脸)。i＝1.2…N，N为样本总数。

步骤2，初始化权重i＝1，2…N

步骤3，对特征m循环，m＝1，2…M，M为特征总数：

步骤3.1，使用CART算法训练出弱分类器f_m(x)∈-1，1使正样本映射为1，负样本映射为-1。

步骤3.2，计算加权错误 ${\mathrm{err}}_m=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_i\&CenterDot;I(y_i\&NotEqual;f_m\left(x_i\right))$ 及 ${\mathrm{\&alpha;}}_m=\log \left(\frac{1-{\mathrm{err}}_m}{{\mathrm{err}}_m}\right)$

步骤3.3，更新权重：ω_i＝ω_i·exp[α_m·I(y_i≠f_m(x_i))]i＝1，2..N并让权重归一化 $\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_i=1$

步骤4得到强分类器： $\mathrm{sign}\left[\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_m{f}_m\left(x\right)\right]$

上述步骤3.1用CART算法训练弱分类器f_m(x)∈-1，1的方法描述如下：

步骤3.1.1，建立根节点，根节点包括全部样本(包括全部正样本与全部负样本)计算初始Gini指标Impurity＝1-P_A ²-P_B ²其中P_A表示正样本在节点中的比例，P_B则表示负样本在节点的比例。

步骤3.1.2，对x的每1个bit位进行分裂(split)，分裂后计算整个树的Gini指标。树的Gini指标等于全部叶子节点Gini指标之和。

步骤3.1.3，选择一个分裂点，该分裂点使得整个树的Gini指标降低量最大。

步骤3.1.4，对每个叶子节点重复步骤3.1.2--步骤3.1.3，直到无法继续分裂或者叶子节点是”纯的”，即叶子节点的Gini指标等于0。

步骤3.1.5得到CART树，对MB_LBP编码的每一状态(总共256种状态)输出-1或者+1。

302所示为整体级联分类器示意图，被检测窗口需要通过全部的强分类器才被认为人脸，本实例中使用了24级。载入离线训练出的24级强分类器，每一级强分类器包括M个矩形框参数用以确定如何进行MB_LBP编码，M个权重系数α_m及M个弱分类器f_m(x)。被检测窗口计算出每一个MB_LBP特征x_m，每个特征根据对应的弱分类器f_m(x)输出-1或者+1，然后进行加权求和得到偌大于0则进入下一级分类器，否则认为是非人脸。被检测窗口通关全部24级分类器则被视为人脸。

图4所示为PCA方法示意图。401为矩阵拉直方法，402为训练得到的前24个特征脸，它们对应于样本协方差矩阵C最大24个特效值对应的特征向量。PCA训练步骤如下：

步骤1，给出一组样本I₁，I₂，...I_M，样本总数M，其中每个样本均是人脸灰度图像，并且尺寸均被缩放到56×56像素

步骤2，将每个图片I_i按矩阵拉直得到向量Γ_i，Γ_i是3136维列向量，记N＝56是图片尺寸，则向量Γ_i为N²维

步骤3，计算平均脸 $\mathrm{\&Psi;}=\frac{1}{M}\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}{\mathrm{\&Gamma;}}_i$

步骤4，计算差值脸Φ_i＝Γ_i-Ψ

步骤5，计算协方差矩阵 $C=\frac{1}{M}\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}{\mathrm{\&Phi;}}_i{{\mathrm{\&Phi;}}_i}^T=\frac{1}{M}A{A}^T,$ 其中A＝[Φ₁，Φ₂，...Φ_M]

步骤6，计算AA^T的特征向量μ_i，AA^T是N²×N²维矩阵规模很大，通过求A^TA(M×M维)的特征向量间接得到：

步骤6.1，求A^TA的特征向量v_i：A^TAv_i＝λ_iv_i

步骤6.2，左乘矩阵A，根据 ${\mathrm{AA}}^T{\mathrm{Av}}_i=A{\mathrm{\&lambda;}}_i{v}_i\&DoubleRightArrow;\left({\mathrm{AA}}^T\right)\left({\mathrm{Av}}_i\right)={\mathrm{\&lambda;}}_i\left({\mathrm{Av}}_i\right)$ 即μ_i＝Av_i

步骤6.3，取最大20个特征值λ_i对应的特征向量μ_i，并让其归一化||μ_i||＝1

步骤7，得到投影矩阵W₁＝[μ₁，μ₁，…μ₂₀]

将搜索到的人脸缩放到56×56像素，然后把人脸图像使用矩阵拉直得到向量Γ，根据投影矩阵求出主成分y＝W₁ ^T(Γ-Ψ)

图5所示为LDA示意图，501所示为LDA投影的目的，即实现不同类的最大分离。

502所示为LDA训练示意图，图中P0，P1，P2为非疲劳样本，P3，P4，P5为疲劳样本，LDA的训练步骤如下：

第1步，给出样本Y＝{Y₁，Y₂}，Y_i＝{y₁，y₂...y_n}其中Y₁表示非疲劳样本(第一类)集合，Y₂表示疲劳样本(第二类)集合。y_i表示样本向量即人脸图像进行PCA投影所得到的列向量。

第2步，计算2个散射矩阵：及 $S_W=\underset{i=1}{\overset{2}{\mathrm{\&Sigma;}}}\underset{v_i\&Element;Y_i}{\mathrm{\&Sigma;}}{(y_j-{\mathrm{\&mu;}}_i)(y_j-{\mathrm{\&mu;}}_i)}^T,$ 其中μ为总平均值： $\mathrm{\&mu;}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{y}_i$ 而μ_i为类平均值：其中N为全部样本数，N₁为第一类样本数，N₂为第二类样本数。

第3步，解方程：S_Bv_i＝λ_iS_Wv_i即求(S_W ^-1S_B)v_i＝λ_iv_i的特征值和特征向量

第4步，得到投影矩阵W₂＝[v₁]，v₁为最大特征值λ₁对应的特征向量

503所示为实现疲劳判断示意图，对人脸主成分再次投影z＝W₂ ^Ty即可判断当前用户是否处于疲劳状态，z＞θ则认为当前用户处于疲劳状态。

存储单元记录下每个时刻的疲劳状态z值信息，该历史记录作为用户长期的学习工作状态的参考，z随时间变化的曲线可以通过输出单元的LCD显示器显示。此外本例中如果1分钟内z＞θ的次数超过180次则通过输出单元的扬声器提醒用户。

本发明所述的技术方案并不限于具体实施方式中所述实施例。本领域技术

人员根据本发明的技术方案得出其他的实施方式，同样属于本发明的技术创新范围。

Claims (10)

1.一种实时疲劳提示的方法，其特征在于，该方法包括以下步骤：

实时采集用户面部状态视频信息；

发送视频信息到视频处理单元；

判断用户是否处于疲劳状态；

提示用户注意休息。

2.根据权利要求1的一种实时疲劳提示的方法，其特征在于，判断用户是否处于疲劳状态包括如下步骤：

使用级联分类器识别出视频信息里的用户面部；

将用户面部图像尺寸归一化，然后使用主成分分析法(PCA)提取面部主成分特征；

根据面部主成分信息，采用基于Fisher线性判别的方法(LDA)判断当前用户是否处于疲劳状态；

在存储单元连续记录用户的状态信息，若用户在设定时间内出现的疲劳状态次数超过设定的疲劳次数提示阀值n则进行提醒。

3.根据权利要求1或2之一所述的一种实时疲劳提示的方法，其特征在于，使用级联分类器识别出视频信息里的用户面部的步骤如下：

采用多区块局部二值模式(MB_LBP)算子作为特征描述符；

读取在计算机上离线训练的瀑布型级联分类器。

以24×24的窗口在监视画面进行滑动扫描，在每一个窗口均使用级联分类器判断该窗口位置是否是人脸，若是人脸则标记出人脸位置；

将窗口放大1.2倍重复上述扫描检测，标记较大的人脸位置，重复5次。将搜索到的人脸位置进行合并。

4.根据权利要求1或2之一所述的一种实时疲劳提示的方法，其特征在于：将用户面部图像尺寸归一化，然后使用主成分分析法提取面部主成分特征的步骤如下：

对搜索到的人脸进行尺度归一化为56×56像素；

对归一化后的人脸图像进行直方均衡化等预处理；

将图像矩阵按行拉直成为3136维的列向量Γ；

对拉直后的列向量进行投影：y＝W₁ ^T(Γ-Ψ)其中W₁为PCA投影矩阵，Ψ为平均脸，投影后y降低到20维；

使用PCA法离线训练W₁及Ψ。

5.根据权利要求1或2之一所述的一种实时监视用户学习或工作状态的方法，其特征在于：根据面部主成分信息，采用LDA方法判断当前用户是否处于疲劳状态的步骤如下：

对主成分y进行投影z＝W₂ ^Ty，其中W₂是仅有一列的矩阵，z为标量；

z＞0即可认为是疲劳状态，增加一个状态阀值θ以提高灵活性，z＞θ判断处于疲劳状态；

使用标记有非疲劳状态(第一类)及疲劳状态(第二类)的人脸图片根据线性判别的方法离线训练得到投影矩阵W₂。

6.根据权利要求1的一种实时疲劳提示的方法，其特征在于，该方法还包括以下步骤：在存储单元存储用户状态信息。

7.一种实时疲劳提示的装置，该装置包括：监测单元，负责实时采集用户面部状态视频信息并发送视频信息到视频处理单元；视频处理单元，负责处理图像，判断用户是否处于疲劳状态；输出单元，负责声音及图像的输出包括发出声音提示用户及显示相关信息；存储单元负责保存记录用户历史信息；接口总成，负责视频处理单元与外部设备的连接及通讯。

8.根据权利要求7所述的一种实时疲劳提示的装置，其特征在于，所述视频处理单元为ARM处理器及DSP数字信号处理器。

9.根据权利要求7所述的一种实时疲劳提示的装置，其特征在于，所述输出单元为LCD显示器及扬声器。

10.根据权利要求7所述的一种实时疲劳提示的装置，其特征在于，所述存储单元为内置闪存及外部数字存储卡。