CN107609517B - 一种基于计算机视觉的课堂行为检测系统 - Google Patents

Abstract

本发明公开了一种基于计算机视觉的课堂行为检测系统，属于数字图像处理领域及教育信息化技术领域。本发明系统包括：视频采集模块、数据存储模块和后台处理模块，视频采集模块采集教室视频信息，后台处理模块将视频信息转化为图像信息，并从图像信息中采集学生的姿态信息、学生的位置信息和学生的身份信息，并由学生姿态信息判断学生的行为，将学生行为、学生座位和学生身份相关联。本发明检测系统对硬件要求不高，对普通的二维视频信息就可以进行检测，而且可通过人脸识别算法自动识别学生身份，通过人体位置和座位匹配获得学生位置，可适应不同地点，学生座位动态变化等复杂多变的场景。

Description

一种基于计算机视觉的课堂行为检测系统

技术领域

本发明属于数字图像处理领域及教育信息化技术领域，更具体地，涉及一种基于计算机视觉的课堂行为检测系统。

背景技术

近些年来，随着机器学习，尤其是深度学习的突破性发展，结合大数据时代的优势，数字图像信号处理的技术也有了质的飞跃，在人脸检测，人脸识别，头部姿态估计，以及身体姿态检测等各种技术都慢慢的成熟了起来，甚至达到了超越人类本身的水平。

同时，由于硬件技术的发展，通过更高级的摄像头也能采集到更加完备的信息。比如通过Kinect这种体感设备，除了能够采集到普通的彩色图片外，还能采集到人的三维数据，并且可以直接根据kinect进行人脸检测，人脸表情识别，人的手部姿态估计等各种行为。

随着信息技术的发展，利用计算机监测分析课堂学习行为的方法系统也在不断出现。现有技术利用kinect实现的课堂教学状态监测系统，该系统利用Kinect传感器获取学生听课过程中的彩色、深度、骨骼点图像来分析学生的上课肢体状态、注意力方向,以此反映学生听课状态。同时，系统利用Kinect麦克风阵列采集到的声源信息来统计课堂回答问题的频度和声源位置。通过对上述信息的综合分析，获取学生上课状态的客观指标，从而对课堂教学评估提供数据支撑。然而这种具有红外摄像及深度传感器的摄像头Kinect体积较大，价格较高，现阶段普及率也不高，如何通过普通的摄像头及计算机技术进行课堂学习行为监测是一个非常有价值的问题。

而在专利说明书CN 104463746 A中公开了一种利用普通摄像头监测学生学习行为的系统，通过固定摄像头，固定位置，固定学生的行为方式来监测特定学生的学习行为。但是这种系统对于大学课堂这种学生人数不固定，学生座位不固定，教室环境不固定的情况则无法适应，不具可扩展性。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于计算机视觉的课堂行为检测系统，其目的在于采用基于深度学习的图像处理技术，对图片进行人体姿态检测，由检测到的人体关键点的位置信息和座位位置信息结合得到学生的座位信息，在进行人脸识别获取座位上学生的身份信息，再由检测到的头部姿态结合人体姿态判断学生的行为。

为实现上述目的，提供了一种基于计算机视觉的课堂行为检测系统，所述系统包括以下模块：

视频采集模块，用于采集教室视频信息；

数据存储模块，用于存储教室视频信息，人脸信息和人脸信息对应的学生身份信息，学生身份信息和座位信息的对应关系，学生的行为信息；

后台处理模块，用于根据教室视频信息检测学生位置、身份和行为信息，包括以下子模块：

数据预处理子模块，用于将教室视频信息转化为图像序列，并对图像序列中的图像进行拼接和矫正得到教室的全景图片，再对全景图片进行缩放；

人体姿态估计子模块，用于对全景图片进行2D人体姿态估计，识别图像中人体关键部位的位置信息，所述关键部位包括鼻子、颈部、左右肩、左右手肘、左右手腕、左右臀、左右膝盖、左右脚踝、左右眼和左右耳；

座位信息统计子模块，用于根据人体姿态估计子模块得到的颈部位置信息和教室中所有座位的位置进行匹配，得到学生座位信息，并将学生座位信息和人脸识别子模块获得的学生身份信息结合建立学生身份信息和座位信息的对应关系储存至数据存储模块；

人脸检测子模块，用于根据人体姿态估计子模块得到的鼻子、颈部和左右肩膀位置信息确定人脸框位置信息；

动作检测子模块，用于根据人体姿态估计子模块得到的鼻子、颈部、左肩、左肘、左手腕、右肩、右肘和右手腕位置信息判断学生的动作；

人脸识别子模块，用于根据人脸检测子模块得到的人脸框位置信息获得框内的人脸图像信息，将人脸信息和数据存储模块中人脸信息进行匹配，获得和人脸信息对应的学生身份信息；

头部姿态估计子模块，用于根据人脸检测子模块得到的人脸框位置信息相对于摄像头的偏转角判定学生头部状态，包括左右偏头，低头，抬头和正常状态；

行为判断子模块，用于根据头部姿态估计子模块得到的学生头部状态和动作检测子模块得到的学生动作判断学生在课堂中的行为，并将学生的行为存入数据存储模块。

进一步地，所述数据存储模块包括以下子模块：

视频信息存储子模块，用于储存视频采集模块采集到的教室视频信息；

人脸信息存储子模块，用于储存人脸信息和人脸信息对应的学生身份信息；

座位信息存储子模块，用于储存学生身份信息和座位信息的对应关系；

学生行为信息存储子模块，用于储存学生的行为信息。

进一步地，所述人体姿态估计子模块中2D人体姿态估计具体为：

第k个人的部位j在位置p的真实置信图为：

其中，x_j，k表示第k个人部位j的真实位置，σ表示控制置信度范围的参数。

第k个人肢体c在位置p的部位关系域为：

其中，v是从关键点j1到关键点j2的单位向量，关键点j1和j2在肢体c上；

肢体c位置p真实的部位关系域是所有人在位置p部位关系域的平均值：

其中，n_c(p)是位置p的非零向量的个数；

再通过相同部位关系域的内积分数得到肢体位置，对比每个相同肢体位置的置信图，取最大置信图的肢体位置为关键点位置信息。

进一步地，所述人脸检测子模块将鼻子位置信息作为人脸框的中心，将颈部位置信息的最高点定为人脸框的最低点，肩宽和人脸框宽度成正比。

进一步地，所述动作检测子模块的检测规则为：

无遮挡情况时：若左手腕高于左肘且高于左肩，或者右手腕高于右肘且高于右肩，则判断学生在举手；若左手腕低于左肘，左肘低于左肩，且左手腕、左肘和左肩之间的夹角大于设定角度，或者右手腕低于右肘，右肘低于右肩，且右手腕、右肘和右肩之间的夹角大于设定角度，则判断学生站立；

有遮挡情况下：若左手腕高于鼻子，或者右手腕高于鼻子，则判断学生在举手。

进一步地，所述行为判断子模块的判定规则为：

判断学生是否站立，若是则判定学生行为是回答问题；否则继续判定学生是否举手，若是则判定学生行为是举手申请回答问题；否则进一步判定学生的头部状态，若头部状态为左右偏头，则判定学生行为是与人交流或向外张望；若头部状态为低头，则判定学生行为是玩手机或写字；若头部状态为抬头，则判定学生行为是正常听课；若检测不到头部状态，则判定学生行为是趴着睡觉。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下技术特征及有益效果：

(1)本发明采用2D人体姿态估计识别图像信息中人体的关键点信息，所需图像信息普通的摄像头就可以采集，无需专业的场景采集设备，故本系统可接入现有视频监控系统，无需额外专业硬件设备；

(2)本发明通过人脸识别算法自动识别学生身份，通过人体位置和座位匹配获得学生位置，可适应不同地点，学生座位动态变化等复杂多变的场景。

附图说明

图1是本发明系统结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示为本发明实施例的系统结构图，包括以下部分：

视频采集模块10，用于课堂情况的视频采集，由普通摄像头采集，如果单个摄像头不足以覆盖整个课堂情况，可以使用两个至多个摄像头在相同视角环境下采集教室的不同部分。

数据预处理子模块111，用于对视频采集模块得到的数据进行初步处理，方便后续模块的工作。比如将教室视频信息转化为图像序列；在多个摄像头的情况下，将多张图片拼接构成包含整个教室范围的完整图像；同时需要对图像进行图片矫正，缩放等基本预处理过程。

人体姿态估计子模块112，用于对全景图片进行2D人体姿态估计，识别图像中人体关键部位的位置信息，所述关键部位包括鼻子、颈部、左右肩、左右手肘、左右手腕、左右臀、左右膝盖、左右脚踝、左右眼和左右耳；

所述人体姿态估计子模块112中2D人体姿态估计具体为：

第k个人的部位j在位置p的真实置信图为：

其中，x_j，k表示第k个人部位j的真实位置，σ表示控制置信度范围的参数；

第k个人肢体c在位置p的部位关系域为：

其中，v是从关键点j1到关键点j2的单位向量，关键点j1和j2在肢体c上：

肢体c位置p真实的部位关系域是所有人在位置p部位关系域的平均值：

其中，n_c(p)是位置p的非零向量的个数；

再通过相同部位关系域的内积分数得到肢体位置，对比每个相同肢体位置的置信图，取最大的置信图的肢体位置为关键点位置信息。

座位信息统计子模块113，用于确定课堂上每个学生的座位信息。单取颈部的数量信息，可以判断出学生的数量；由颈部的位置信息和教室中所有座位的位置进行匹配，得到学生座位信息；座位在图像中的情况基本是：前排前后间隔大，左右间隔小，后排相反，由于广角成像机制，前排图像产生扭曲，很难使学生位置呈现出等间距的行列形式，使用透视变换，在应用层面，透视变换时，图像基于4个固定定点的变换，可以基本确定学生的座位号；并将学生座位信息和人脸识别子模块116获得的学生身份信息结合建立学生身份信息和座位信息的对应关系。

人脸检测子模块114，用于定位图像中每个人的人脸位置及人脸框大小。由于人体姿态估计子模块112可以直接取出人体关键点信息，使用鼻子，颈部，左右肩膀4个点确定人脸框，鼻子作为框的中心，肩宽作为人脸框宽度的参考。

人脸识别子模块116和头部姿态估计子模块117都是基于人脸检测子模块114的检测结果。

人脸识别子模块116需要在数据库中保存的人脸信息进行比对，所以在人脸信息存储子模块122中保存了人脸信息和人脸信息对应的学生身份信息，通过人脸识别算法将检测到的人脸和数据库中的人脸进行比对，从而确定学生身份信息，同时结合座位信息统计子模块113得到的学生座位信息，将其通过座位信息存储子模块123保存到数据库中。

头部姿态估计子模块117，用于判断人的头部相对于摄像头的偏转角，从而判定学生的头部状态。一般可以通过PNP算法来实现。

动作检测子模块115，用于确定学生身体行为状态，既站立，举手，坐下等身体行为动作。使用人体的鼻子，脖子，左肩，左肘，左手腕，右肩，右肘，右手腕，8个点进行学生的姿态估计，即用这8个点二维坐标去定义站立和举手两个动作，以下判定皆在相关骨骼点检测到的情况下：

举手的判定：

无遮挡情况，考虑左手右手，手腕高于手肘且高于肩膀，可以认为学生举手；

考虑前排遮挡及前排成像问题，手腕高于鼻子，可以认为学生举手。

站立的判定：

无遮挡情况，当双手下垂，手腕低于手肘，手肘低于肩膀，并且三个点形成的夹角大于130度，认为学生站立。

定义的理由：

由于遮挡，没有腿部信息和躯干信息；站立坐下都会有双手弯曲的情况；坐下双手竖直的情况较少。所以我们认为区分站立和坐下的显著标志是双手是否比较竖直。

行为判断子模块118，用于根据头部姿态估计子模块117得到的学生头部状态和动作检测子模块115得到的学生动作判断学生在课堂中的行为，并将学生的行为存入数据存储模块12。

判断子模块118的判定规则为：

判断学生是否站立，若是则判定学生行为是回答问题；否则继续判定学生是否举手，若是则判定学生行为是举手申请回答问题；否则进一步判定学生的头部状态，若左右偏头，则判定学生行为是与人交流或向外张望；若低头，则判定学生行为是玩手机或写字；若抬头，则判定学生行为是正常听课；若检测不到头部状态，则判定学生行为是趴着睡觉。

另外本系统还包括数据存储模块12，数据存储模块12包括以下子模块：

视频信息存储子模块121，用于储存视频采集模块10采集到的教室视频信息；

人脸信息存储子模块122，用于储存人脸信息和人脸信息对应的学生身份信息；

座位信息存储子模块123，用于储存学生身份信息和座位信息的对应关系；

学生行为信息存储子模块124，用于储存学生的行为信息。

以上内容本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于计算机视觉的课堂行为检测系统，其特征在于，所述系统包括以下模块：

视频采集模块(10)，用于采集教室视频信息；

数据存储模块(12)，用于存储教室视频信息，人脸信息和人脸信息对应的学生身份信息，学生身份信息和座位信息的对应关系，学生的行为信息；

后台处理模块(11)，用于根据教室视频信息检测学生位置、身份和行为信息，包括以下子模块：

数据预处理子模块(111)，用于将教室视频信息转化为图像序列，并对图像序列中的图像进行拼接和矫正得到教室的全景图片，再对全景图片进行缩放；

人体姿态估计子模块(112)，用于对全景图片进行2D人体姿态估计，识别图像中人体关键部位的位置信息，所述关键部位包括鼻子、颈部、左右肩、左右手肘、左右手腕、左右臀、左右膝盖、左右脚踝、左右眼和左右耳；

座位信息统计子模块(113)，用于根据人体姿态估计子模块(112)得到的颈部位置信息和教室中所有座位的位置进行匹配，得到学生座位信息，并将学生座位信息和人脸识别子模块(116)获得的学生身份信息结合建立学生身份信息和座位信息的对应关系储存至数据存储模块(12)；

人脸检测子模块(114)，用于根据人体姿态估计子模块(112)得到的鼻子、颈部和左右肩膀位置信息确定人脸框位置信息；

动作检测子模块(115)，用于根据人体姿态估计子模块(112)得到的鼻子、颈部、左肩、左肘、左手腕、右肩、右肘和右手腕位置信息判断学生的动作；所述动作检测子模块(115)的检测规则为：

无遮挡情况时：若左手腕高于左肘且高于左肩，或者右手腕高于右肘且高于右肩，则判断学生在举手；若左手腕低于左肘，左肘低于左肩，且左手腕、左肘和左肩之间的夹角大于设定角度，或者右手腕低于右肘，右肘低于右肩，且右手腕、右肘和右肩之间的夹角大于设定角度，则判断学生站立；

有遮挡情况下：若左手腕高于鼻子，或者右手腕高于鼻子，则判断学生在举手；

人脸识别子模块(116)，用于根据人脸检测子模块(114)得到的人脸框位置信息获得框内的人脸图像信息，将人脸信息和数据存储模块(12)中人脸信息进行匹配，获得和人脸信息对应的学生身份信息；

头部姿态估计子模块(117)，用于根据人脸检测子模块(114)得到的人脸框位置信息相对于摄像头的偏转角判定学生头部状态，包括左右偏头，低头，抬头和正常状态；

行为判断子模块(118)，用于根据头部姿态估计子模块(117)得到的学生头部状态和动作检测子模块(115)得到的学生动作判断学生在课堂中的行为，并将学生的行为存入数据存储模块(12)；所述行为判断子模块(118)的判定规则为：

判断学生是否站立，若是则判定学生行为是回答问题；否则继续判定学生是否举手，若是则判定学生行为是举手申请回答问题；否则进一步判定学生的头部状态，若头部状态为左右偏头，则判定学生行为是与人交流或向外张望；若头部状态为低头，则判定学生行为是玩手机或写字；若头部状态为抬头，则判定学生行为是正常听课；若检测不到头部状态，则判定学生行为是趴着睡觉。

2.根据权利要求1所述的一种基于计算机视觉的课堂行为检测系统，其特征在于，所述数据存储模块(12)包括以下子模块：

视频信息存储子模块(121)，用于储存视频采集模块(10)采集到的教室视频信息；

人脸信息存储子模块(122)，用于储存人脸信息和人脸信息对应的学生身份信息；

座位信息存储子模块(123)，用于储存学生身份信息和座位信息的对应关系；

学生行为信息存储子模块(124)，用于储存学生的行为信息。

3.根据权利要求1所述的一种基于计算机视觉的课堂行为检测系统，其特征在于，所述人体姿态估计子模块(112)中2D人体姿态估计具体为：

第k个人的部位j在位置p的真实置信图为：

其中，x_j，k表示第k个人部位j的真实位置，σ表示控制置信度范围的参数；

第k个人肢体c在位置p的部位关系域为：

其中，v是从关键点j1到关键点j2的单位向量，关键点j1和j2在肢体c上；

肢体c位置p真实的部位关系域是所有人在位置p部位关系域的平均值：

其中，n_c(p)是位置p的非零向量的个数；

再通过相同部位关系域的内积分数得到肢体位置，对比每个相同肢体位置的置信图，取最大置信图的肢体位置为关键点位置信息。

4.根据权利要求1所述的一种基于计算机视觉的课堂行为检测系统，其特征在于，所述人脸检测子模块(114)将鼻子位置信息作为人脸框的中心，将颈部位置信息的最高点定为人脸框的最低点，肩宽和人脸框宽度成正比。

Images