CN104517102B

CN104517102B - 学生课堂注意力检测方法及系统

Info

Publication number: CN104517102B
Application number: CN201410836650.XA
Authority: CN
Inventors: 陈靓影; 刘乐元; 张坤; 杨宗凯; 刘三女牙
Original assignee: Huazhong Normal University
Current assignee: Huazhong Normal University
Priority date: 2014-12-26
Filing date: 2014-12-26
Publication date: 2017-09-29
Anticipated expiration: 2034-12-26
Also published as: CN104517102A

Abstract

本发明公开了一种学生课堂注意力检测方法，具体为：采集教室内场景图像；定位人脸并计算人脸朝向姿态；将人脸在图像中的二维位置换算为其在教室内坐高基准平面的二维位置，并加入学生坐高先验值得到人脸在教室内的三维空间位置；结合人脸三维空间位置和人脸朝向姿态计算学生在教学展示板上的注意力点。本发明还提供了一种实现上述方法的装置，包括：第一摄像头，用于在教室入口处捕获入进学生人脸图像；身份识别模块，用于通过人脸识别获取学生身份；第二摄像头，用于采集教室内场景图像；监控与分析模块，用于计算学生在教学展示板上的注意力点。应用本发明可实时准确地对课堂上学生注意力进行监控，帮助教师及时调整教学方式以提高教学效果。

Description

学生课堂注意力检测方法及系统

技术领域

本发明属于教育信息化技术领域，具体涉及一种学生课堂注意力检测方法及系统。

背景技术

传统教学中，对于教学行为的观察、分析手段大多停留在传统的问卷调查或案例等人工分析的基础上，其评价结果较为主观，且需要经过较长时间的统计分析，不能实时反馈以改善教学行为。如果授课老师能够在课堂上实时了解学生注意力状况，便能及时调整教学方式，势必有效提高教学效果。而现有的教室监控系统中多数围绕对学生的出勤情况进行监控，很少涉及到对学生注意力进行分析。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供一种学生课堂注意力学生课堂注意力检测系统，能够客观地、实时地、准确地对课堂上学生的注意力进行检测与分析，为授课教师提供及实时反馈，帮助其及时调整教学方式以提高教学效果。

一种学生课堂注意力检测方法，包括以下步骤：采集教室内场景图像；在场景图像中计算定位人脸并计算人脸朝向姿态；将人脸在图像中的二维位置换算为其在教室内坐高基准平面的二维位置，并加入学生坐高先验值得到人脸在教室内的三维空间位置；结合人脸在教室内的三维空间位置和人脸朝向姿态计算学生在教学展示板上的注意力点。

作为优化，所述计算学生在教学展示板上的注意力点的具体实现方式为：

确定学生坐高先验值，以该高度的平面作为教室空间坐高基准平面，在坐高基准平面标注采样点，构建采样点与图像点之间的映射变换矩阵；

依据映射变换矩阵，将人脸在图像中的二维位置转换为在教室坐高基准平面的二维位置(B_X,B_Y)，加入学生坐高先验值得到人脸在教室内的三维空间位置(B_X,B_Y,B_Z)；

计算学生i在时刻t在教学展示板上的注意力点式中，θ_yaw和θ_pitch分别为人脸朝向姿态在水平与垂直两个方向的朝向角度。

作为优化，所述计算人脸朝向姿态的具体实现方式为：

提取人脸区域图像子块：

对检测到的人脸区域随机提取M个图像子块，并提取图像子块的纹理特征G_i和几何特征d_i，形成特征组F_i＝{G_i,d_i},i＝1,2…M，纹理特征G_i为图像子块的灰度以及Gabor特征描述符，几何特征d_i为图像子块中心位置到人脸鼻尖点P_t的位移差；

估计水平方向的朝向角度：

基于图像子块采用回归森林法估计人脸的左、中、右三类水平朝向角度；在已估计得到的三类水平朝向角度条件下，再次通过回归森林法细分为左90度、左45度、正中、右45度和右90度五类水平朝向角度θ_yaw；根据鼻尖点坐标P_t与图像子块的几何关系回归学习得到人脸在水平方向朝向角度的条件概率p(θ_yaw|P_t,F_i)；估计的水平连续朝向角度为p(θ_yaw|P_t,F_i)取最大值时的θ_yaw，即

估计竖直方向的朝向角度：

在已知水平朝向角度的条件下，通过回归森林法估计上、中、下三类垂直朝向角度；根据鼻尖点坐标P_t与图像子块的几何关系回归学习得到人脸在竖直方向下的条件概率p(θ_pitch|P_t,θ_yaw,F_i)；估计的竖直连续朝向角度为条件概率p(θ_pitch|P_t,θ_yaw,F_i)取最大值时的θ_pitch，从而获得每个学生的人脸朝向

作为优化，还包括在场景图像中识别学生身份步骤，所述识别学生身份步骤的具体实现方式为：预先在教室入口处捕获入进学生的人脸图像，通过人脸识别获取学生身份并生成人员名单，同时提取学生服装特征并与学生身份一一关联；在场景图像中提取定位学生的服装特征，在人员名单中通过服装特征匹配初步确定候选名单，在候选名单中通过人脸识别精确确定学生身份。

一种学生课堂注意力检测系统，包括：

第一摄像头，用于在教室入口处捕获入进学生的人脸图像；

身份识别模块，用于在所述人脸图像中通过人脸识别获取学生身份并生成学生名单；

第二摄像头，用于采集教室内场景图像；

监控与分析模块，包括人脸跟踪定位模块、身份关联模块、人脸朝向估计模块和注意力分析模块；人脸跟踪定位模块用于在所述场景图像中定位人脸并维持对人脸位置的跟踪；身份关联模块用于对被定位人脸进行识别以从所述人员名单中确定其身份信息；人脸朝向估计模块用于在所述室内场景图像中计算人脸朝向姿态；注意力分析模块用于将人脸在场景图像中二维位置换算为在教室内的二维位置，并加入学生坐高先验值得到人脸在教室内的三维空间位置，结合学生所在的教室空间位置和人脸朝向姿态计算学生在教学展示板上的注意力点。

作为优化，所述注意力分析模块包括：空间位置映射子模块，用于确定学生坐高先验值，以该高度的平面作为教室空间坐高基准平面，在坐高基准平面标注采样点，构建采样点与图像点之间的映射变换矩阵；空间位置估算子模块，用于依据映射变换矩阵，将人脸在图像中的二维位置转换为在教室坐高基准平面的二维位置(B_X,B_Y)，加入学生坐高先验值得到人脸在教室内的三维空间位置(B_X,B_Y,B_Z)；注意力计算子模块，用于计算学生在教学展示板上的注意力点式中，θ_yaw和θ_pitch分别为人脸朝向姿态在水平与垂直两个方向的朝向角度。

作为优化，所述人脸朝向估计模块包括：

人脸区域图像子块提取子模块，用于对检测到的人脸区域随机提取M个图像子块，并提取图像子块的纹理特征G_i和几何特征d_i，形成特征组F_i＝{G_i,d_i},i＝1,2…M，纹理特征G_i为图像子块的灰度以及Gabor特征描述符，几何特征d_i为图像子块中心位置到人脸鼻尖点P_t的位移差；

水平方向朝向角度估计子模块，用于基于图像子块采用回归森林法估计人脸的左、中、右三类水平朝向角度；在已估计得到的三类水平朝向角度条件下，再次通过回归森林法细分为左90度、左45度、正中、右45度和右90度五类水平朝向角度θ_yaw；根据鼻尖点坐标P_t与图像子块的几何关系回归学习得到人脸在水平方向朝向角度的条件概率p(θ_yaw|P_t,F_i)；估计的水平连续朝向角度为p(θ_yaw|P_t,F_i)取最大值时的θ_yaw，即

竖直方向朝向角度估计子模块，用于在已知水平朝向角度的条件下，通过回归森林法估计上、中、下三类垂直朝向角度；根据鼻尖点坐标P_t与图像子块的几何关系回归学习得到人脸在竖直方向下的条件概率p(θ_pitch|P_t,θ_yaw,F_i)；估计的竖直连续朝向角度为条件概率p(θ_pitch|P_t,θ_yaw,F_i)取最大值时的θ_pitch，从而获得每个学生的人脸朝向9、

作为优化，所述身份识别模块还用于提取学生服装特征，并与学生身份一一关联；所述身份关联模块包括初步身份识别模块和精确身份识别模块，初步身份识别模块用于在场景图像中提取定位学生的服装特征，在人员名单中通过服装特征匹配初步确定候选名单；精确身份识别模块用于在候选名单中通过人脸识别精确确定学生身份。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下有益效果：

本发明方法通过捕获大场景图像，利用图像处理与模式识别获知人脸朝向姿态，利用定位跟踪确定学生空间位置，结合人脸在教室内的三维空间位置和人脸朝向姿态计算学生在教学展示板上的注意力点，从而实时了解到所有学生在学习过程中的注意力分布情况，便于老师了解学生的学习行为，调整教学方式，提高学习效果。

本发明视觉处理对象为大场景图像，应用本发明方法能够同时并行地观测多名学生，提高了监控效率，帮助老师瞬间掌握更多信息的学生课堂注意力分布情况。

作为优选，本发明还对学生身份进行识别。考虑到大场景图像低分辨率导致图像学生定位难，本发明在身份识别中采用服装特征匹配和人脸识别技术相结合的方式，首先通过服装特征匹配筛选候选名单，再通过人脸识别精确识别身份，有效提高了识别准确率，降低了对摄像头的性能要求。

作为优选，在人脸朝向姿态计算步骤中，本发明优选从粗到细的金字塔级联学习方法估计人脸水平和垂直两个维度的朝向角度，金字塔式从粗到细级联分布模型，它的当前节点概率是它上一级节点概率的在其相关分支上的结果。因此，在金字塔式回归森林中，只需要计算子层中的当前子树的概率模型，而不需要计算回归森林中所有树的概率模型。由于本发明成像为大场景成像，其分辨率相对较低，本发明上述人脸朝向估计方法可以在大场景下提供更好的准确率和更高的效率。

附图说明

图1为本发明方法流程图；

图2为本发明较佳实施例软件方案模块结构示意图；

图3为本发明较佳实施例身份识别模块人脸识别与跟踪流程图；

图4为本发明较佳实施例身份识别模块服装特征提取算法流程图；

图5为本发明较佳实施例身份识别模块选取合适分割的图像示意图；

图6为本发明较佳实施例身份关联模块服装特征提取和匹配算法流程图；

图7为本发明一实施例注意力分析示意图；

图8为本发明硬件实施例结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，本发明学生课堂注意检测方法的技术思路为：采集教室内场景图像；在场景图像中计算定位人脸并计算人脸朝向姿态；将人脸在图像中的二维位置换算为其在教室内的二维位置，并加入学生坐高先验值得到人脸在教室内的三维空间位置；结合人脸在教室内的三维空间位置和人脸朝向姿态计算学生在教学展示板上的注意力点。

为了实现上述技术思路,图2示出了本发明注意力检测系统较佳实施例结构图，包括第一摄像头、身份识别模块、第二摄像头、监控与分析模块。第一摄像头在教室入口处捕获进入学生的人脸图像，身份识别模块在所述人脸图像中识别学生身份并生成学生名单，第二摄像头采集教室内场景图像，监控与分析模块对场景图像进行注意力分析。下面对各模块详细说明。

第一摄像头，布置在教室入口位置，一一捕获进入学生的人脸图像。第一摄像头可以为普通的具有USB接口的摄像头，也可以为无线摄像头。

身份识别模块，在所述人脸图像中通过人脸识别获取学生身份并生成人员名单。若检测到人脸且人脸的宽度大于N像素(N为经验值，可根据检测结果调整)时进行人脸识别,以人脸识别结果作为学生的身份识别，并维持对检测到的人脸的跟踪。其中，人脸检测可采用层级式AdaBoost、隐马尔科夫模型HMM、SVM等方法，检测所用的特征可以为Haar、Sobel、稀疏特征等；人脸识别可采用LBP(Local Binary Pattern，局部二进制模式)特征和基于卡方距离的直方图匹配算法、几何特征与Hausdorff距离匹配等方法。人脸跟踪可采用基于稀疏表示的Lucas Kanade、Meanshift、Kalman等方法，优选Lucas Kanade跟踪方法，其融入了跟踪、学习与检测机制，确保了鲁棒性。

第二摄像头，根据教室空间大小布置多个安装于天花板上，每个摄像头负责某一区域的场景图像捕获，多个摄像头的拍摄场景尽量遍及整个教室场景，其采集监测区域内含有多名学生的场景图像。

监控与分析模块，包括人脸定位跟踪模块21、身份关联模块22、人脸朝向估计模块23和注意力分析模块24，下面详细说明。

(a)人脸跟踪定位模块

人脸跟踪定位模块用于通过人脸检测和人脸跟踪技术从高清摄像头采集的视频图像中定位学生在教学场景中的位置并维持对学生位置的跟踪。

(b)身份关联模块

身份关联模块用于对被定位学生进行人脸识别以从所述人员名单中确定其身份信息。

(c)人脸朝向估计模块

人脸朝向估计模块用于在所述室内场景图像中计算定位人脸朝向姿态。优选地，采用一种从粗到细的金字塔级联学习方法估计人脸水平和垂直两个维度的朝向角度，具体步骤为：

(c1)人脸区域图像子块F_i提取。

为了保留头部运动姿态多方向的信息，本发明对检测到的人脸区域随机提取M个图像子块，并提取图像子块的纹理特征G_i和几何特征d_i，形成特征组F_i＝{G_i,d_i},i＝1,2…M。纹理特征G_i为图像子块的灰度以及Gabor特征描述符，几何特征d_i为图像子块中心位置到人脸鼻尖点P_t的位移差。

(c2)水平方向的朝向角度估计。

首先，在金字塔的第一层，基于优选的图像子块采用回归森林(RegressionForest)估计人脸的左、中、右三类水平朝向角度；然后，在已估计得到的三类水平朝向角度条件下，再次通过回归森林细分为左90度、左45度、正中、右45度、右90度五类水平朝向角度；最后，根据鼻尖点坐标P_t与图像子块的几何关系回归学习得到人脸在水平方向的条件概率p(θ_yaw|P_t,F_i)。如下式(1)，估计的水平连续朝向角度为p(θ_yaw|P_t,F_i)取最大值时的θ_yaw；

其中，p(θ_yaw/P,F_t)表示鼻尖点坐标P_t与图像子块的几何关系函数。

(c3)竖直方向的朝向角度估计。

首先，在已知水平朝向角度的条件下，通过回归森林估计上、中、下三类垂直朝向角度；然后，根据鼻尖点坐标P_t与图像子块的几何关系回归学习得到人脸在竖直方向下的条件概率p(θ_pitch|P_t,θ_yaw,F_i)。如下式(2)，估计的竖直连续朝向角度为条件概率p(θ_pitch|P_t,θ_yaw,F_i)取最大值时的θ_pitch。从而获得每个学生的人脸朝向θ_yaw,pitch。

其中，p(θ_pitch|P_t,θ_yaw,F_i)表示在水平方向的连续朝向角度θ_yaw下鼻尖点坐标P_t与图像子块的几何关系函数。

金字塔式从粗到细级联分布模型，它的当前节点概率是它上一级节点概率的在其相关分支上的结果。因此，在金字塔式回归森林中，只需要计算子层中的当前子树的概率模型，而不需要计算回归森林中所有树的概率模型。由于本发明成像为大场景成像，其分辨率相对较低，本发明上述人脸朝向估计方法可以在大场景下提供更好的准确率和更高的效率。

(d)注意力分析模块

注意力分析模块用于将人脸在场景图像中二维位置换算为在教室内的二维位置，并加入学生坐高先验值得到人脸在教室内的三维空间位置，结合学生所在的教室空间位置和人脸朝向姿态计算学生在教学展示板上的注意力点。具体的实现方式为：

首先,采样统计学生的坐高，得到教室空间的坐高平面，然后在坐高平面标注采样点，通过采样点与图像点之间的仿射变换计算得到单应性矩阵N。

接着,基于人脸在图像中的坐标通过单应性矩阵N仿射变换计算得到人脸在空间坐高平面的位置，结合学生的坐高获得学生在空间中的位置(Bx,By,Bz)。

最后,根据每个学生的位置(Bx,By,Bz)和人脸朝向估计模块获取的旋转角度(θ_yaw,θ_pitch)计算每个学生i在时刻t在教学白板上的注意力点

其中Bx,By,Bz为学生在教室空间的三个方向的位置分量，θ_yaw和θ_pitch分别为人脸在水平与垂直两个维度的朝向角度(见图7)。

考虑到大场景图像中学生人脸分辨率低、角度不同等因素的影响，难以仅仅通过人脸识别技术以从所述学生名单中确定其身份信息。因此本发明提供一种优选方式，通过服装特征结合人脸识别关联教学场景下的学生身份，从而解决了教学场景下即使采用高清摄像头亦无法单独通过人脸识别技术精确确定学生身份的难题，具体实现方式为：

第一步，利用身份识别模块通过人脸识别获取学生身份并生成人员名单的过程中，同时提取学生服装特征并与学生身份一一对应关联。首先从身份识别模块保存的图像序列中选择适合做服装分割的图像。如图3～6所示，设从摄像头获取的图像宽度为W₀，跟踪到的人脸宽度到W，人脸中心位置到图像左边界的距离为D_L，人脸中心位置到图像右边界的距离为D_R，人脸中心位置到图像下边界的距离为D_B。从保存的图像序列中选取满足W₀/5≤W≤W₀/3,且D_L≥1.5W，D_R≥1.5W，D_B≥2.5W的图像作为适合做服装分割的图像。接着取人脸正下方宽度为2W、高度为2W矩形区域内的像素点作为前景像素点集，取其余区域的像素点作为背景像素点集；之后采用GrabCut算法进行图像分割，并根据肤色模型去除肤色区域，得到服装区域；然后对服装区域提取HOG(Histogram of Oriented Gradient,方向梯度直方图)特征H_HOG并计算HSV颜色直方图H_HS，用为描述已识别身份的学生的服装特征。为避免教室内学生服装的颜色可能会受到室内光照的影响，HSV颜色直方图H_HS仅使用H和S两个通道。最后将识别的学生身份与提取的特征绑定，记为一个三元组F＝<Name,H_HOG，H_HS>。将所有已识别身份的学生身份特征三元组记为S_F＝{F₁,F₂,…,F_n}，并存储。

第二步，身份关联模块首先对高清摄像头采集的视频图像进行运动检测，提取运动历史图像；接着取学生定位与跟踪模块检测或跟踪到的人脸正下方宽度为2W、高度为2W矩形区域内的运动历史像素作为前景像素点位置集，从原图像上取前景像素点位置集对应的像素点作为前景像素点集，取其他像素点作为背景像素集；利用GrabCut算法进行图像分割，并根据肤色模型去除肤色区域，得到服装区域；然后对服装区域提取HOG特征并计算HSV颜色直方图,记为再将提取的服装区域HOG特征和HSV颜色直方图与身份识别模块提取的服装区域HOG特征和HSV颜色直方图使用巴氏相似度进行匹配，取相似度排序为前20％的作为学生的候选关联身份，最后结合人脸识别技术在候选身份内确定学生身份。

本发明将所述身份识别模块和监控与分析模块同时部署一台计算机或两台计算机，并无显著差别。

图8示出本发明一种实现上述系统的硬件布局实施例，本发明实施例由第一摄像头102、身份识别计算机104、第二摄像头101和视频处理计算机103组成。第一摄像头102通过USB接口与所述身份识别计算机相连接，布置在教室入口位置；第一摄像头架设的高度为90厘米至150厘米，以便拍摄到清晰的人脸视频图像。第二摄像头固定于天花板；根据教室面积选用多个高清摄像头以使得整个教室都在高清摄像头的监控范围内。视频处理计算机布置在讲台或机房等位置。所述签到机通过网络与所述视频处理计算机相互传送信息；所述高清摄像头组通过网络向所述视频处理计算机传送其所采集的教学场景视频数据。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种学生课堂注意力检测方法，其特征在于，包括以下步骤：

采集教室内场景图像；

在场景图像中计算定位人脸并计算人脸朝向姿态；

将人脸在图像中的二维位置换算为其在教室内坐高基准平面的二维位置，并加入学生坐高先验值得到人脸在教室内的三维空间位置；

结合人脸在教室内的三维空间位置和人脸朝向姿态计算学生在教学展示板上的注意力点。

2.根据权利要求1所述的学生课堂注意力检测方法，其特征在于，所述计算学生在教学展示板上的注意力点的具体实现方式为：

3.根据权利要求1或2所述的学生课堂注意力检测方法，其特征在于，所述计算人脸朝向姿态的具体实现方式为：

提取人脸区域图像子块：

估计水平方向的朝向角度：

估计竖直方向的朝向角度：

4.根据权利要求1或2所述的学生课堂注意力检测方法，其特征在于，还包括在场景图像中识别学生身份步骤。

5.根据权利要求4所述的学生课堂注意力检测方法，其特征在于，所述识别学生身份步骤的具体实现方式为：

预先在教室入口处捕获入进学生的人脸图像，通过人脸识别获取学生身份并生成人员名单，同时提取学生服装特征并与学生身份一一关联；

在场景图像中提取定位学生的服装特征，在人员名单中通过服装特征匹配初步确定候选名单，在候选名单中通过人脸识别精确确定学生身份。

6.一种学生课堂注意力检测系统，其特征在于，包括：

第一摄像头，用于在教室入口处捕获入进学生的人脸图像；

第二摄像头，用于采集教室内场景图像；

监控与分析模块，包括人脸跟踪定位模块、身份关联模块、人脸朝向估计模块和注意力分析模块；人脸跟踪定位模块用于在所述场景图像中定位人脸并维持对人脸位置的跟踪；身份关联模块用于对被定位人脸进行识别以从人员名单中确定其身份信息；人脸朝向估计模块用于在所述室内场景图像中计算人脸朝向姿态；注意力分析模块用于将人脸在场景图像中二维位置换算为在教室内的二维位置，并加入学生坐高先验值得到人脸在教室内的三维空间位置，结合学生所在的教室空间位置和人脸朝向姿态计算学生在教学展示板上的注意力点。

7.根据权利要求6所述的学生课堂注意力检测系统，其特征在于，所述注意力分析模块包括：空间位置映射子模块，用于确定学生坐高先验值，以该高度的平面作为教室空间坐高基准平面，在坐高基准平面标注采样点，构建采样点与图像点之间的映射变换矩阵；空间位置估算子模块，用于依据映射变换矩阵，将人脸在图像中的二维位置转换为在教室坐高基准平面的二维位置(B_X,B_Y)，加入学生坐高先验值得到人脸在教室内的三维空间位置(B_X,B_Y,B_Z)；注意力计算子模块，用于计算学生在教学展示板上的注意力点式中，θ_yaw和θ_pitch分别为人脸朝向姿态在水平与垂直两个方向的朝向角度。

8.根据权利要求6或7所述的学生课堂注意力检测系统，其特征在于，所述人脸朝向估计模块包括：

竖直方向朝向角度估计子模块，用于在已知水平朝向角度的条件下，通过回归森林法估计上、中、下三类垂直朝向角度；根据鼻尖点坐标P_t与图像子块的几何关系回归学习得到人脸在竖直方向下的条件概率p(θ_pitch|P_t,θ_yaw,F_i)；估计的竖直连续朝向角度为条件概率p(θ_pitch|P_t,θ_yaw,F_i)取最大值时的θ_pitch，从而获得每个学生的人脸朝向

9.根据权利要求6或7所述的学生课堂注意力检测系统，其特征在于，所述身份识别模块还用于提取学生服装特征，并与学生身份一一关联；所述身份关联模块包括初步身份识别模块和精确身份识别模块，初步身份识别模块用于在场景图像中提取定位学生的服装特征，在人员名单中通过服装特征匹配初步确定候选名单；精确身份识别模块用于在候选名单中通过人脸识别精确确定学生身份。