CN109492594A - 基于深度学习网络的课堂听课者抬头率检测方法 - Google Patents

Abstract

一种基于深度学习网络的课堂听课者抬头率检测方法，其步骤为：1、生成训练集、验证集和测试集；2、构建深度学习网络；3、训练深度学习网络；4、检测人脸的得分值及位置信息；5、设置检测状态；6、获得课堂抬头率。本发明通过搭建两个分支的深度学习网络，保证了深度学习网络对多尺度的人脸的检测，利用随机梯度下降方法对深度学习网络在大数据集上进行训练，保证了深度学习网络对人脸检测的鲁棒性，并且使得训练能够在较短时间内完成，然后利用设置检测状态的方法，有效地区分了抬头和低头两种状态，同时，本发明对课堂听课者抬头率的检测具有很好的实时性，能够对实时视频流进行检测。

Description

基于深度学习网络的课堂听课者抬头率检测方法

技术领域

本发明属于图像处理技术领域，更进一步涉及模式识别技术领域中的一种基于深度学习网络的课堂听课者抬头率检测方法。本发明可对课堂中听课者的抬头率进行实时检测。

技术背景

课堂听课者的抬头率是重要的上课质量评估标准，能够很好地反应听课者的专注度以及教师的上课效果。但是在实际中，人工计算抬头率费时费力，而且很难做到实时检测。为解决上述问题，人们通常设计人脸检测方法，利用计算机对抬头率进行检测。

重庆大争科技有限公司在其申请的专利文献“课堂教学质量评估方法”(申请号：CN201711434131.0，公开号：CN107895244A)中公开了一种课堂教学质量评估方法。该方法的步骤为，首先从数据库中获取教室监控视频，每隔十分钟对视频进行采样，并进行低头状态的检测，通过两次采样之间的状态转换，对低头状态进行判定，并统计处于低头状态的学生数量，通过其与教室内学生总数的比值得到学生的低头率。该方法的不足之处是：由于该方法将检测的间隔设置为十分钟，而无法对视频进行实时处理，丢失了大量的视频信息，使得检测率的不确定性增加。

南京信息工程大学在其申请的专利文献“一种基于课堂学生行为分析的教学质量评估方法及系统”(申请号：CN201710417964.X，公开号：CN107316257A)中提供了一种基于课堂学生行为分析的教学质量评估方法。该方法的步骤为，首先从数据库中获取教室监控视频，然后根据连续的视频图像识别头顶与人脸面部特征的比例，得到当前处于低头状态的学生数量，通过其与授课教室内应到学生总数的比值获得学生低头率。该方法的不足之处是：由于该方法在检测时利用到的头顶特征比较单一，容易与周围环境形成混合，对抬头和低头状态的检测有较大影响。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种基于深度学习网络的课堂听课者抬头率检测方法，通过构建深度学习网络，设置检测状态，实时地检测课堂听课者的抬头率。

本发明实现的具体步骤如下：

(1)生成训练集、验证集和测试集：

采集每张图片均拥有所有人脸的位置信息的至少3万张图片，将所采集的图片组成深度学习数据集，从深度学习数据集中随机提取40％的图片组成训练集，随机提取10％的图片组成验证集，剩余的50％图片组成测试集；

(2)构建深度学习网络：

(2a)搭建一个由主网络和子网络级联组成的深度学习网络，其中，所述基础网络结构依次为：第一卷积层→第二卷积层→第一池化层→第三卷积层→第四卷积层→第二池化层→第五卷积层→第六卷积层→第七卷积层→第三池化层→第八卷积层→第九卷积层→第十卷积层；

所述子网络由分支1和分支2并联，分支1的结构依次为：第一卷积层→第二卷积层→第三卷积层→第四卷积层→输出层；分支2的结构依次为：降维层→第一卷积层→第二卷积层→输出层；

输出层包含两个输出结果，分别为人脸的得分值和人脸的位置信息。

(2b)设置深度学习网络参数；

(3)训练深度学习网络：

(3a)将深度学习网络的网络参数和网络结构加载到电脑内存中；

(3b)将训练集的样本输入到深度学习网络中，采用随机梯度下降方法，对深度学习网络参数进行迭代更新，得到训练好的深度学习网络；

(4)检测人脸的得分值及位置信息：

将待监控教室中的摄像头采集到的课堂图片，实时输入到训练好的深度学习网络中，输出每张图片中所有检测到的人脸的坐标值及其分值的位置信息；

(5)设置检测状态：

将检测到的大于0.15的人脸分值标注为抬头状态，将检测到的人脸分值小于0.15的人脸标注为低头状态；

(6)获得课堂听课者的抬头率：

用抬头状态的人脸总数除以检测到的所有人脸总数，将其商值作为课堂听课者的抬头率。

与现有技术相比本发明有以下优点：

第一，由于本发明搭建了深度学习网络对视频中的人脸进行检测，克服了现有技术因图像中人脸尺度变化导致的识别率低下的问题，使得本发明在课堂听课者的抬头率检测上具有很高的识别率。

第二，由于本发明将训练好的深度学习网络模型与摄像头对接，克服了现有技术因多种特征对比导致的效率低下的问题，使得本发明在抬头率的检测上具有很好的实时性。

附图说明

图1是本发明的流程图；

图2是本发明的仿真图。

具体实施方式

下面结合附图对本发明做进一步的描述。

参照图1，对本发明实现的具体步骤做进一步的详细描述。

步骤1，生成训练集、验证集和测试集。

采集每张图片均拥有所有人脸的位置信息的至少3万张图片，将所采集的图片组成深度学习数据集，从深度学习数据集中随机提取40％的图片组成训练集，随机提取10％的图片组成验证集，剩余的50％图片组成测试集；

步骤2，构建深度学习网络。

搭建一个由主网络和子网络级联组成的深度学习网络，其中，所述基础网络结构依次为：第一卷积层→第二卷积层→第一池化层→第三卷积层→第四卷积层→第二池化层→第五卷积层→第六卷积层→第七卷积层→第三池化层→第八卷积层→第九卷积层→第十卷积层；

所述子网络由分支1和分支2并联，分支1的结构依次为：第一卷积层→第二卷积层→第三卷积层→第四卷积层→输出层；分支2的结构依次为：降维层→第一卷积层→第二卷积层→输出层；

设置深度学习网络参数如下：将主网络中的第一至第十卷积层的卷积核大小均设置为3，步长为1，通道数分别为64,64,128,128,256,256,256,512,512,512；将子网络中分支1的第一至第四卷积层的卷积核大小均设置为3，步长为1，通道数为512，分支2的第一卷积层至第二卷积层的卷积核大小均设置为3，步长为1，通道数为128。

步骤3，训练深度学习网络。

将深度学习网络的网络参数和网络结构加载到电脑内存中；

将训练集的样本输入到深度学习网络中，采用随机梯度下降方法，对深度学习网络参数进行迭代更新，得到训练好的深度学习网络。

所述梯度下降方法的步骤如下：

第一步，在[20000,21000]的范围，任意选取一个值作为深度学习网络的迭代次数，将深度学习网络中所有参数设置为均值0，方差1的随机数，学习速率设置为0.001；

第二步，从深度学习网络的训练集中随机选取4个样本；

第三步，将所选取的样本分别输入到深度学习网络中，输出每个样本人脸的得分值和位置信息；

第四步，利用下述损失函数计算公式，计算所有选取的样本损失值的平均值：

其中，l表示所选样本损失值的平均值，∑表示求和操作，i表示所选样本的序号，i＝1,2,3,4，f(x⁽ⁱ⁾；θ)表示深度学习网络的参数为θ时对样本x⁽ⁱ⁾的输出值，x⁽ⁱ⁾表示所选取的样本，θ表示当前更新前的深度学习网络参数值，y⁽ⁱ⁾表示每个样本对应的标签值；

第五步，按照下式，计算深度学习网络参数的更新值：

其中，θ₁表示深度学习网络参数更新后的值，表示所选样本损失值的平均值对深度学习网络参数的求导值，θ表示当前更新前的深度学习网络参数值；

第六步，判断是否达到设定的深度学习网络的迭代次数，若是，得到训练好的深度学习网络，否则，执行第二步。

步骤4，检测人脸的得分值及位置信息。

将待监控教室中的摄像头采集到的课堂图片，实时输入到训练好的深度学习网络中，输出每张图片中所有检测到的人脸的得分值及其位置信息；

步骤5，设置检测状态。

将检测到的大于0.15的人脸分值标注为抬头状态，将检测到的人脸分值小于0.15的人脸标注为低头状态；

步骤6，获得课堂听课者的抬头率。

用抬头状态的人脸总数除以检测到的所有人脸总数，将其商值作为课堂听课者的抬头率。

下面结合仿真实验对本发明的效果做进一步说明。

1.仿真实验条件：

本发明的仿真实验所用计算机配置如下：处理器为Intel Core i7-6850K CPU，显卡为NVIDIA GeForce GTX 1080Ti，内存为128GB。计算机系统为ubuntu16.04，应用Caffe深度学习网络框架实现仿真实验。

本发明的仿真实验在训练深度学习网络时所使用的深度学习数据集为WiderFace数据集，Wider Face数据集是由香港中文大学创建的，该数据集共包含有32000张图片，393000个标注人脸，标注人脸有较大程度的尺寸、姿态和遮挡等变化。本发明的仿真实验所使用的测试数据为西安电子科技大学C楼实时上课视频，西安电子科技大学C楼实时上课视频的帧率为25帧/秒。

2.仿真实验内容：

本发明的仿真实验是采用本发明的方法，从Wider Face数据集中随机选取其中的40％作为训练集，10％用作验证集，剩余的50％用作测试集，对所搭建的深度学习网络在Wider Face数据集上进行训练，得到训练好的深度学习网络。

将训练好的深度学习网络在西安电子科技大学C楼实时上课视频上进行测试，实时得到课堂中听课者的抬头率，结果如图2所示。

图2中右侧显示的c-129至c-326为教室编号，左上角所显示的西电科大-c楼-326为本发明仿真实验实时检测的教室编号。图2中的上方显示的2018-11-0611:10:39为进行仿真实验的时间，中间显示的为当前教室的实时图像，实时图像中的方框为检测到的人脸区域，下方显示的抬头率：71.4为实时检测到的课堂听课者的抬头率，通过所检测到的抬头状态的人脸数与所检测到的人脸总数做商得到。

从图2中可以得到如下结论：本发明可以很好地实现人脸的检测以及抬头率的检测，且具有很好的实时性。

Claims (3)

1.一种基于深度学习网络的课堂听课者抬头率检测方法，其特征在于，训练构建的深度学习网络，设置检测状态，实时检测课堂抬头率，该方法的步骤包括如下：

(1)生成训练集、验证集和测试集：

采集每张图片均拥有所有人脸的位置信息的至少3万张图片，将所采集的图片组成深度学习数据集，从深度学习数据集中随机提取40％的图片组成训练集，随机提取10％的图片组成验证集，剩余的50％图片组成测试集；

(2)构建深度学习网络：

(2a)搭建一个由主网络和子网络级联组成的深度学习网络；

所述主网络的结构依次为：第一卷积层→第二卷积层→第一池化层→第三卷积层→第四卷积层→第二池化层→第五卷积层→第六卷积层→第七卷积层→第三池化层→第八卷积层→第九卷积层→第十卷积层；

所述子网络由分支1和分支2并联组成，分支1的结构依次为：第一卷积层→第二卷积层→第三卷积层→第四卷积层→输出层；分支2的结构依次为：降维层→第一卷积层→第二卷积层→输出层；

(2b)设置深度学习网络参数；

(3)训练深度学习网络：

将训练集的样本输入到深度学习网络中，采用随机梯度下降方法，对深度学习网络参数进行迭代更新，得到训练好的深度学习网络；

(4)检测人脸的得分值及位置信息：

将待监控教室中的摄像头采集到的课堂图片，实时输入到训练好的深度学习网络中，输出每张图片中所有检测到的人脸的得分值及其位置信息；

(5)设置检测状态：

将检测到的大于0.15的人脸分值标注为抬头状态，将检测到的人脸分值小于0.15的人脸标注为低头状态；

(6)获得课堂抬头率：

用抬头状态的人脸总数除以检测到的所有人脸总数，将其商值作为课堂抬头率。

2.根据权利要求1所述的基于深度学习网络的课堂听课者抬头率检测方法，其特征在于，步骤(2b)中所述设置的深度学习网络参数如下：将主网络中的第一至第十卷积层的所有卷积核大小均设置为3，步长为1，通道数分别为64,64,128,128,256,256,256,512,512,512；将子网络中分支1的第一至第四卷积层的卷积核大小均设置为3，步长为1，通道数为512，分支2的第一卷积层至第二卷积层的卷积核大小均设置为3，步长为1，通道数为128。

3.根据权利要求1所述的基于深度学习网络的课堂听课者抬头率检测方法，其特征在于，步骤(3)中所述梯度下降方法的步骤如下：

第一步，在[20000,21000]的范围，任意选取一个值作为深度学习网络的迭代次数，将深度学习网络中所有参数设置为均值0，方差1的随机数，学习速率设置为0.001；

第二步，从深度学习网络的训练集中随机选取4个样本；

第三步，将所选取的样本分别输入到深度学习网络中，输出每个样本人脸的得分值和位置信息；

第四步，利用下述损失函数计算公式，计算所有选取的样本损失值的平均值：

其中，l表示所选样本损失值的平均值，∑表示求和操作，i表示所选样本的序号，i＝1,2,3,4，f(x⁽ⁱ⁾；θ)表示深度学习网络的参数为θ时对样本x⁽ⁱ⁾的输出值，x⁽ⁱ⁾表示所选取的样本，θ表示当前更新前的深度学习网络参数值，y⁽ⁱ⁾表示每个样本对应的标签值；

第五步，按照下式，计算深度学习网络参数的更新值：

其中，θ₁表示深度学习网络参数更新后的值，表示所选样本损失值的平均值对深度学习网络参数的求导值，θ表示当前更新前的深度学习网络参数值；

第六步，判断是否达到设定的深度学习网络的迭代次数，若是，得到训练好的深度学习网络，否则，执行第二步。