CN101604382A - 一种基于面部表情识别的学习疲劳识别干预方法 - Google Patents

Abstract

基于面部表情识别的学习疲劳识别干预方法，步骤包括人脸区域检测；面部特征提取，包括建立人脸表情面部模型；表情分类识别，即基于人脸表情面部模型进行分类识别；当识别出疲劳表情或心理疲劳时，进行疲劳干预，并在预设较短时间后返回继续捕捉网络学习者照片图像进行下一次识别；当判定网络学习者呈现中性或专注表情或无心理疲劳时，系统进入暂停，暂停预设较长时间后返回继续捕捉网络学习者照片图像进行下一次识别；当返回错误消息时，返回继续捕捉网络学习者照片图像进行下一次识别。本发明所提供技术方案能够快速识别网络学习者表情，实现实时学习疲劳干预。

Description

一种基于面部表情识别的学习疲劳识别干预方法

技术领域

本发明属于网络学习技术领域，特别是涉及一种基于面部表情识别的学习疲劳识别干预方法。

背景技术

网络学习和人的其他活动一样，都会导致体力和脑力的消耗，从而表现出身体和心理上的紧张或疲惫情绪状态。“学习疲劳”是心理学及教育学中的重要概念。一般地讲，学习疲劳是指由于长时间的持续学习，在生理和心理等方面产生了怠倦，致使学习效率下降，甚至到达不能继续学习的状况。

学习疲劳有多种表现形式。学习疲劳主要可以区分为生理疲劳即身体的疲劳和心理疲劳即大脑的疲劳。有些疲劳现象可以被主体感知，也有些学习疲劳现象未被主体感知而由他人感知。他人通过对学习者学习的外在行为的观察，得出“学习者进入学习疲劳”的结论。通常情况下，身体疲劳易被发觉；但心理疲劳往往不易被发觉，造成学习者记忆力和理解力的减弱，注意力难以集中，反应减慢等等。

目前，在疲劳驾驶检测领域，一些学者尝试运用传感技术、信号检测和采集技术或者面部表情识别技术，进行驾驶员疲劳状态的识别、预测和疲劳干预，主要为生理疲劳的检测。

在网络学习领域，一些学者企图从完善网络课程教学设计的角度，来促进网络学习环境下的情感交流，在一定程度上可以降低学习者进入学习疲劳的可能性；一些学者利用多媒体技术、BBS甚至QQ等聊天工具来促进网络学习环境中的情感交流，起到了一定的防止学习疲劳作用。这些研究主要集中于生理疲劳的识别或检测，没有关注学习疲劳的复杂性，它包含生理疲劳和心理疲劳两种层次的疲劳，对于学习疲劳状态进行主动识别和干预的研究也不多见。

现有的驾驶员疲劳识别和干预方法以及网络课程设计主要的缺点有：

(1)现有的驾驶员或者学习者疲劳识别和干预方法存在一些不足：一些驾驶员疲劳识别方法需要驾驶员的主动参与以采集疲劳特征信号，从而需要驾驶员主动配合或身体接触，会影响驾驶员的驾驶状态；一些基于数字图像处理技术的方法，单纯以眼睛闭合状态和眨眼频率为特征，影响识别系统的实效性；由于图像采集受各种外界条件影响很大，不同的光照条件、视角、距离变化等都会影响人脸图像采集的质量，以及表情程度和表情之间的相似度等因素的影响，导致大部分面部表情识别系统准确率不高，性能不够稳定。并且只关注驾驶员的生理疲劳，对驾驶员的心理疲劳关注不够。

(2)现有的从网络课程教学设计、利用多媒体技术、BBS甚至QQ等聊天工具来促进网络学习环境中情感交流的方法，只是从单方面加强情感交流来防止学习疲劳，仍然不能主动识别学习者是否进入疲劳状态，没有区分讨论生理疲劳和心理疲劳，也没有干预措施。

因此，提供相应技术解决方案是网络学习技术领域亟待解决的问题。

发明内容

本发明目的在于克服现有技术缺点，提供一种基于面部表情识别的学习疲劳识别干预方法。

本发明所提供基于面部表情识别的学习疲劳识别干预方法，包含以下步骤：步骤1，人脸区域检测，即从捕捉的网络学习者照片图像中定位出人脸区域；

步骤2，面部特征提取，包括建立人脸表情面部模型，即定义一维数组X来表示人脸表情面部模型，X＝(x1，x2，x3)，其中x1表示眼高，x2表示嘴高，x3表示嘴宽；然后从图像的人脸区域中提取眼睛特征和嘴巴特征，得到x1、x2和x3的值；

步骤3，表情分类识别，即基于人脸表情面部模型X进行分类识别，具体方式为，

当x1不变时，如果x2变化或者x2不变且x3变化，则返回错误消息；如果x2不变且x3不变，则判定网络学习者呈现中性表情；

当x1变大时，如果x2变化或者x2不变且x3变化，则返回错误消息；如果x2不变且x3不变，则判定网络学习者呈现专注表情；

当x1变小时，如果x2不变或者x2变大且x3不变，则返回错误消息；如果x2变大且x3变大，则判定网络学习者呈现疲劳表情；

步骤4，当识别出疲劳表情时，进行疲劳干预，并在预设较短时间后返回步骤1继续捕捉网络学习者照片图像进行下一次识别；

当判定网络学习者呈现中性或专注表情时，进入心理疲劳测试，即要求学习者回答问题，若回答没有达到预设正确率阀值，则认为学习者进入心理疲劳，进行疲劳干预并在预设较短时间后返回步骤1继续捕捉网络学习者照片图像进行下一次识别；若回答达到预设正确率阀值，则认为学习者没有进入心理疲劳，系统进入暂停，暂停预设较长时间后返回步骤1继续捕捉网络学习者照片图像进行下一次识别；

当返回错误消息时，返回步骤1继续捕捉网络学习者照片图像进行下一次识别。

而且，所述疲劳干预的具体实现方式为，在网络课程学习界面中弹出对话框，同时向网络学习者发出干预，所述干预为播放音乐、发送笑话或要求回答小问题；若网络学习者回应对话框则停止干预，如果网络学习者对对话框无回应则暂停网络课程。

本发明在改进面部表情识别方法的基础上，通过针对网络学习者定义三种基本学习情绪：专注、中性和疲劳，针对网络学习者建立专用于学习的人脸表情面部模型，通过严谨地判断过程识别网络学习者是否处于学习疲劳状态，然后进行学习疲劳干预。因此本发明所提供技术方案能够快速识别网络学习者表情，实现实时学习疲劳干预，在网络学习领域具有重大实用价值。并且，本发明对比现有技术，有明确的识别和干预目的；也不需要学习者主动参与，人机交互友好。

附图说明

图1为本发明实施例的使用流程图。

图2为本发明所建立人脸表情面部模型示意图。

图3为图像4邻域示意图。

图4为本发明的学习情绪分类识别示意图。

具体实施方式

以下结合实施例和附图说明本发明技术方案，包括以下步骤：

步骤1，人脸区域检测，即从捕捉的网络学习者照片图像中定位出人脸区域。

人脸区域检测可参考现有技术实现，为便于本领域技术人员实施参考，现提供实施例的步骤1具体实施方式如下：

(1)图像预处理

为使原始图像有利于后续工作中的分析提取，在正式人脸区域检测前对人脸图像进行预处理。主要预处理步骤如下：

①光线补偿：为了抵消输入图像中存在的色彩偏差而进行光线补偿，将整个图像中所有像素点的亮度按照从高到低的顺序排列，取亮度值前5％的像素点，如果这些像素的数目足够多，我们将它们的亮度值调整为最大值255，光线补偿系数通过前5％像素亮度的平均值与255相除获得，图像中的其他像素点也依据这一系数进行相应的调整和变换，因而整幅待测图像中像素点的RGB值进行了线性放大。

②灰度直方图均衡化：为了减少光照强度和阴影等不利因素对检测图像的干扰，需要对整体图像的灰度分布进行标准化，即均衡直方图。直方图均衡化的基本思想是拓宽图像中像素个数偏多的灰度，缩减像素个数偏少的灰度，使图像的轮廓变得清晰，减少其灰度等级，增加对比度。

③滤波去噪：采用低通滤波的方法可以去除图像中的噪声。采用Box模板对图像进行低通滤波，先提取出图像的R、G、B分量分别采用灰度图的处理方式进行处理，然后进行图像的重构。

(2)肤色分割

为了把人脸区域从非人脸区域分割出来，需要使用适合不同肤色和不同光照条件的可靠的肤色模型。由于YCbCr空间具有将色度与亮度分离的特点，在YCbCr色彩空间中肤色的聚类特性比较好，受亮度变化的影响较小，而且是两维独立分布，能较好地限制肤色分布区域，因此本发明实施例选择YCbCr色彩空间进行肤色区域分割。对输入的彩色图像进行颜色空间转换，将其从相关性较高的RGB空间转换到颜色分量互不相关的YCbCr颜色空间，其转换公式如下：

$\left[\begin{array}{c}Y\\ \mathrm{Cb}\\ \mathrm{Cr}\\ 1\end{array}\right]=\left[\begin{array}{cccc}0.2990& 0.5870& 0.1140& 0\\ -0.1687& -0.3313& 0.5000& 0.5\\ 0.5000& -0.4187& -0.0813& 0.5\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\\ 1\end{array}\right]---\left(1\right)$

通过选取大量肤色样本进行统计，肤色在YCbCr空间中的分布呈现良好的聚类特性。其统计分布满足：77≤Cb≤127，133≤Cr≤170。

高斯模型能很好的表达肤色分布。由统计学知识可知，高斯分布N(m，C)的表达式描述如下：

m＝E{x}  x＝(r，b)^T                          (2)

C＝E{(x-m)(x-m)^T}                            (3)

根据高斯模型，图像中任意像素点的肤色似然度便可以通过概率表达式计算得出。

$P(\mathrm{Cb},\mathrm{Cr})=e^{[-0.5{(x-m)}^T{C}^{-1}(x-m)]}---\left(4\right)$

X＝(Cb，Cr)^T

M是均值，C是协方差，x表示CbCr空间中的任意一个肤色点的像素。

M，C都是通过选取样本的计算得到的。

通过高斯肤色模型将彩色图像转换为相似度灰色图像后，选取合适的阈值，就可以将灰度图像进一步转变为二值图像，分离肤色与非肤色区域。

(3)人脸区域粗定位

经过肤色分割得到一系列的连通区域W1，W2，W3…后，再采取形态学的腐蚀和膨胀的算法对肤色二值图像进行处理。先采用3*3的结构元素对图像进行腐蚀，减少背景肤色的干扰，再采用5*5的结构元素对图像进行膨胀。

①在正常情况下，人脸候选区域外接矩形的长和宽的比值约为1.2，考虑到旋转、倾斜和遮挡等特殊情况，r的取值范围取(0.5，2)。

②通过对区域的长宽比的分析，根据数学中的微积分知识，待选区域的面积可以用下式计算得出。

$A=\underset{y=0}{\overset{l-1}{\mathrm{\Σ}}}\underset{x=0}{\overset{W-1}{\mathrm{\Σ}}}B[x,y]---\left(5\right)$

其中，L和W分别表示区域的长度和宽度，B(x，y)为坐标点(x，y)处的像素值，A表示待选区域面积。

③一块候选人脸区域应该是一个凸多边形，其质心应该在多边形区域内，中心坐标的计算公式如下：

$\stackrel{\‾}{X}=\frac{\underset{X=0}{\overset{L-1}{\mathrm{\Σ}}}\underset{Y=0}{\overset{W-1}{\mathrm{\Σ}}}\mathrm{jB}[x,y]}{A}$ $\stackrel{\‾}{Y}=\frac{\underset{X=0}{\overset{L-1}{\mathrm{\Σ}}}\underset{Y=0}{\overset{W-1}{\mathrm{\Σ}}}\mathrm{yB}[x,y]}{A}---\left(6\right)$

其中，A为待选区域的面积，将上式计算所得的中心坐标与边界统计时所标注出的X轴和Y轴上区域范围进行比较，若中心区域超出了x和y的边界值，则该区域并非人脸区域，可予以排除。

(4)人脸区域的精确定位

分割后的皮肤区域经过以上处理后，利用模板匹配进行人脸区域的精确定位。假设人脸模板的灰度矩阵T[M][N]，灰度均值为μ_T，均方差为δ_T，输入图像区域灰度矩阵为R[M][N]，灰度均值为μ_R，均方差为δ_R，那么它们之间的相关系数r(T，R)和对应像素灰度的平均偏差d(T，R)分别为：

$r(T,R)=\frac{\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}\left(T\right[i\left]\right[j]-{\mathrm{\μ}}_r)\left(R\right[i\left]\right[j]-{\mathrm{\μ}}_r)}{M*N*{\mathrm{\δ}}_T*{\mathrm{\δ}}_R}---\left(7\right)$

$d(T,R)=\sqrt{\frac{\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}{\left(T\right[i\left]\right[j]-R[i\left]\right[j\left]\right)}^2}{M*N}}---\left(8\right)$

将他们综合起来作为匹配程度的度量：

$(T,R)=r(T,R)+\frac{\mathrm{\α}}{1+d(T,R)}---\left(9\right)$

其中α为权重系数。

步骤2，面部特征提取，包括建立人脸表情面部模型，即定义一维数组X来表示人脸表情面部模型，X＝(x1，x2，x3)，其中x1表示眼高，x2表示嘴高，x3表示嘴宽；然后从图像的人脸区域中提取眼睛特征和嘴巴特征，得到x1、x2和x3的值。

本发明考虑到网络学习的特点，发现没有必要研究所有的表情信息，只要能够识别与学习相关的表情信息即可。为了建模的方便，又不失一般性，考虑到网络学习的特点，本发明定义了专注、疲劳和中性3种与学习相关的表情。相应的人脸表情面部模型也进行了简化：人脸表情面部模型X＝(x1，x2，x3)，其中x1表示眼高，x2表示嘴高，x3表示嘴宽，参见附图2。因为如果要看网络学习者出现专注、疲劳还是中性，只需要关注其面部的眼高、嘴高和嘴宽。

实施例中，眼睛特征和嘴巴特征提取过程如下，可参考现有技术：

(1)眼睛特征提取

首先定位眼睛区域。本发明的眼睛定位算法分为两个步骤：眼睛的粗定位和眼睛的精确定位。眼睛的粗定位是指在精确定位眼睛前首先要找到眼睛的大致位置。由于眼睛的灰度不同于肤色，所以在灰度图中，利用灰度投影法初步确定眼睛大致位置。二值图中眼睛被成功地分割出来，所以在初步确定的眼睛区域中，利用4邻域搜索算法和眼睛的限制条件实现眼睛的精确定位，

①眼睛的粗定位。

边缘检测法是人眼定位的重要方法。边缘检测算子检查每个像素的邻域并对灰度变化率进行量化，通常也包括方向的确定。采用sobel边缘算子进行边缘检测。sobel边缘检测算法考虑图像{(i，j)|f(i，j)}内的每一个点，取每个点的上、下、左、右四个方向相邻点的灰度加权差，将各个方向加权差之和作为输出达到提取图像边缘的效果。所以Sobel算子定义为：

E(i，j)≡|Δ_xf|+|Δ_yf|≡|(f(i-1，j-1)+2f(i-1，j)+f(i-1，j+1))-(f(i+1，j-1)+2f(i+1，j)+f(i+1，j+1))|+|(f(i-1，j-1)+2f(i，j-1)+f(i+1，j+1))-(f(i-1，j+1)+2f(i，j+1)+f(i+1，j+1))|        (10)

适当取阈值T，当E(i，j)≥T时，(i，j)为阶跃边缘点；当E(i，j)≤T时，处理后图像仍然保留原图像的灰度值，{(i，j)|f(i，j)}作为检测边缘结构输出。②眼睛的精确定位。

在对图像进行二值化后，再进行腐蚀膨胀运算，从而填充眼睛中部的白点。在此二值图中，在初步定位的眼睛区域中运用搜索算法寻找出连通域，采用4邻域算法。二值图像中，邻接是像素间的基本关系。4邻域认为一个像素的水平和垂直方向上的自然邻点与其相邻。由4个邻点组成的邻域称为4邻域，参见附图3，某坐标为(a，b)像素的4个邻点分别为(a-1，b)、(a，b-1)、(a+1，b)、(a，b+1)。

对搜索出的连通域，再根据眼睛特征进行判断，符合条件的即为眼睛。对人脸生理结构的特征进行分析，发现眼睛具有如下特征：

由于眼睛与眉毛比较接近，而且眼睛与眉毛的灰度值都最小。所以搜索出的连通区域，可能是眼睛，也可能是眉毛。而眼睛在眉毛下面，因此，为了区分眼睛与眉毛，又增加一限定条件：若候选区域多于2个，则比较候选眼睛区域中心点纵坐标的大小，取纵坐标小的两个即为眼睛。

(2)嘴巴特征提取

与眼睛特征提取采用类似方法，对灰度图像进行边缘检测之后，对其进行水平投影，即可确定嘴巴的上下边缘的位置，然后对此区域进行垂直投影，即可确定嘴巴左右嘴角的位置。而嘴巴中心处于左右嘴角的中点。本发明不予赘述。

步骤3，表情分类识别，即基于人脸表情面部模型X进行分类识别。为了避免误判，本发明设定具体方式为，

当x1不变时，如果x2变化或者x2不变且x3变化，则返回错误消息；如果x2不变且x3不变，则判定网络学习者呈现中性表情；

当x 1变大时，如果x2变化或者x2不变且x3变化，则返回错误消息；如果x2不变且x3不变，则判定网络学习者呈现专注表情；

当x1变小时，如果x2不变或者x2变大且x3不变，则返回错误消息；如果x2变大且x3变大，则判定网络学习者呈现疲劳表情。因为人的嘴高和嘴宽在网络学习的过程中基本是不会变小的，在此不需考虑x2和x3变小的情况。

参见附图4，具体实施时可以逐步考察x1、x2、x3，首先根据x1的变化产生三个表情子集，即专注子集、中性子集和疲劳子集；在此基础上，再根据x2和x3的变化进行判断。不符合专注、中性和疲劳的表情表现时就返回错误消息，即时中止判断；否则继续判断，从而现对三种学习表情的识别分类。

步骤4，当识别出疲劳表情时，进行疲劳干预，并在预设较短时间后返回步骤1继续捕捉网络学习者照片图像进行下一次识别；

当判定网络学习者呈现中性或专注表情时，进入心理疲劳测试，即要求学习者回答问题，若回答没有达到预设正确率阀值，则认为学习者进入心理疲劳，进行疲劳干预并在预设较短时间后返回步骤1继续捕捉网络学习者照片图像进行下一次识别；若回答达到预设正确率阀值，则认为学习者没有进入心理疲劳，系统进入暂停，暂停预设较长时间后返回步骤1继续捕捉网络学习者照片图像进行下一次识别；

当返回错误消息时，返回步骤1继续捕捉网络学习者照片图像进行下一次识别。

要求回答小问题，通过学习者的回答正确率能够观察其心理是否疲劳，可预先设置一些简单的小问题，预设正确率阀值大小可以根据具体问题设置。学习者进入生理疲劳或心理疲劳后，即使进行疲劳干预，很容易在短时间内重新感到疲劳；若当前既没有进入生理疲劳也没有进入心理疲劳，在短时间内感到疲劳的可能性则较小。因此，可以预设一个较长时间(建议取18～25分钟)和一个较短时间(建议取10～15分钟)，当判定既没有进入生理疲劳也没有进入心理疲劳时，在较长时间后继续捕捉识别；当识别出学习者进入生理疲劳或者心理疲劳时，在较短时间内就继续捕捉识别。特殊的是，如果步骤3识别后返回错误消息，说明没有成功从照片图像中识别出学习者疲劳信息，则立即返回步骤1继续捕捉网络学习者照片图像进行下一次识别。

因为网络学习者是在自己的客户端学习网络课程，具体疲劳干预方式可以利用现有网络课程系统软件，结合疲劳识别成果进行干预，例如识别出疲劳时，在网络课程系统软件向学习者的客户端视频设备上呈现的网络课程学习界面中弹出对话框，向网络学习者播放音乐、发送笑话。本领域技术人员只需采用软件技术，在网络课程设计中实现由疲劳识别成果进行触发即可。这样学习者可以通过听音乐、读笑话等方式调整学习状态。可以设定由学习者也可以点击对话框进行回应时，停止干预，继续播放网络课程进行网络学习；如果学习者对弹出对话框无回应，则网络课程暂停。

本发明实施简便，在硬件方面只需在学习者的客户端(一般为PC机)外设一个高像素摄像头即可，配合软件实现的学习疲劳识别干预方法一起，即可完成网络学习者是否进入学习疲劳的识别和干预。软件实现的学习疲劳识别干预方法可以称为学习疲劳识别干预系统。参见图1，本发明实施例的实际使用过程非常简便：网络学习者启动客户端，登录网络课程系统软件接受远程推送的网络课程；当网络学习者需要疲劳识别干预时，点击启动学习疲劳识别干预系统，摄像头对网络学习者头部进行图像捕捉，针对图像进行学习疲劳识别(包括人脸检测、特征提取、表情分类)，当识别学习者进入生理疲劳或心理疲劳时，进行疲劳干预，在设定的10分钟后返回进行下一次图像捕捉识别；当判断学习者既没有进入生理疲劳也没有进入心理疲劳时，学习疲劳识别干预系统可以暂停，可在20分钟后返回进行下一次图像捕捉识别。结束学习疲劳识别干预工作，则可以通过学习者自行操作退出，或者在连续几次(一般可预设为2次)判断出学习者表情疲劳时自动退出。因为如果学习者一直疲劳，说明其状态不佳，继续网络课程和疲劳识别无意义。

Claims (2)

1.一种基于面部表情识别的学习疲劳识别干预方法，其特征在于：包括以下步骤，

步骤1，人脸区域检测，即从捕捉的网络学习者照片图像中定位出人脸区域；

步骤2，面部特征提取，包括建立人脸表情面部模型，即定义一维数组X来表示人脸表情面部模型，X＝(x1，x2，x3)，其中x1表示眼高，x2表示嘴高，x3表示嘴宽；然后从图像的人脸区域中提取眼睛特征和嘴巴特征，得到x1、x2和x3的值；

步骤3，表情分类识别，即基于人脸表情面部模型X进行分类识别，具体方式为，

当x1不变时，如果x2变化或者x2不变且x3变化，则返回错误消息；如果x2不变且x3不变，则判定网络学习者呈现中性表情；

当x1变大时，如果x2变化或者x2不变且x3变化，则返回错误消息；如果x2不变且x3不变，则判定网络学习者呈现专注表情；

当x1变小时，如果x2不变或者x2变大且x3不变，则返回错误消息；如果x2变大且x3变大，则判定网络学习者呈现疲劳表情；

步骤4，当识别出疲劳表情时，进行疲劳干预，并在预设较短时间后返回步骤1继续捕捉网络学习者照片图像进行下一次识别；

当判定网络学习者呈现中性或专注表情时，进入心理疲劳测试，即要求学习者回答问题，若回答没有达到预设正确率阀值，则认为学习者进入心理疲劳，进行疲劳干预并在预设较短时间后返回步骤1继续捕捉网络学习者照片图像进行下一次识别；若回答达到预设正确率阀值，则认为学习者没有进入心理疲劳，系统进入暂停，暂停预设较长时间后返回步骤1继续捕捉网络学习者照片图像进行下一次识别；

当返回错误消息时，返回步骤1继续捕捉网络学习者照片图像进行下一次识别。

2.如权利要求1所述学习疲劳识别干预方法，其特征在于：所述疲劳干预的具体实现方式为，在网络课程学习界面中弹出对话框，同时向网络学习者发出干预，所述干预为播放音乐或发送笑话；若网络学习者回应对话框则停止干预，如果网络学习者对对话框无回应则暂停网络课程。

Images