CN115953836A - 线下课堂学生课堂行为智能识别和认知状态关联方法 - Google Patents

Abstract

本发明设计了一种线下课堂学生课堂行为智能识别和认知状态关联方法，该方法通过改进的目标提取算法和目标重识别算法自动分析课堂录播视频中的学生课堂行为，通过设计合适的课堂前测和后测准确评价学生认知状态，最后通过时间序列建模学生课堂行为和认知状态个性化关联模型，该方法可以显著提升课堂视频数据的处理效率，实现跨模态数据间的个性化关联和分析，在人工智能教育应用领域具有广阔的应用前景。

Description

线下课堂学生课堂行为智能识别和认知状态关联方法

技术领域

本发明设计了一种线下课堂学生课堂行为智能识别和认知状态关联方法，该方法通过改进的目标提取算法和目标重识别算法自动分析课堂录播视频中的学生课堂行为，通过设计合适的课堂前测和后测准确评价学生认知状态，最后通过时间序列建模学生课堂行为和认知状态个性化关联模型，该方法可以显著提升课堂视频数据的处理效率，实现跨模态数据间的个性化关联和分析，在人工智能教育应用领域具有广阔的应用前景。

背景技术

随着人工智能技术的发展，将人工智能技术应用于教育和教学过程，促进我国教育事业的发展，提升教学质量已成为教育领域研究的热点问题。在教育信息化2.0时代，教育信息化已然步入了新的发展进程，移动互联网、大数据、人工智能等新兴教育技术手段的大规模应用正在积极推进智慧校园的建立和完善。在教育信息化的众多应用中，利用人工智能技术识别学生课堂行为，通过分析学生课堂行为与学生学业增益的关联，个性化改善教学，是一个值得研究的课题。

当前，我国大多数大学、中小学已经在教室中安装了课堂录播设备，可以对教学过程进行完整的记录，也可以用于后续的研究分析。但在目前的实际教学实践中，一方面由于缺乏专业的数据处理、挖掘和分析手段，只是通过人工手段检测学生的出勤、上课举手、睡觉等简单行为，或者通过课后查看录播视频的方式人工地分析学生课堂行为，录播视频这一宝贵资源没有得到充分的利用；另一方面，虽然不少学者通过线下课堂进行过程性评价来评估学生认知状态，但由于认知状态评估人工参与度大，只能完成对课堂教学的一小部分评价，且没有将认知状态与学生课堂行为个性化关联，难以对高校的所有课堂情境做出科学的评价。

目前，学生学习行为的研究大多通过人工随堂听课、问卷调查或量表等方法进行实证研究，该方法实时性差、人工作业量大。随着深度学习技术的发展，一些学者开始用目标检测算法来识别学生行为，但由于学生目标多、相互遮挡严重、类别不均衡，学生课堂行为间区分难度大等因素，复杂课堂场景下的学生行为识别依然面临挑战，同时由于学生行为和认知状态之间缺乏直接关联，如何利用学生课堂行为来评估认知状态是一个亟待解决的难题。

发明内容

针对上述问题，本发明依托大量可获取的教学视频，研究线下课堂学生课堂行为和认知状态个性化关联方法。首先结合具体教学场景视频数据，探究基于深度学习技术的学生课堂行为自动识别，重点解决场景内容复杂多样的线下课堂学生识别难题；其次设计科学合理的认知状态评测方案，实现学生认知状态的精确评估；最后依托时间序列模型关联学生课堂行为和认知状态，构建学生课堂学习的个性化特征，帮助教师及时掌握学生课堂状态，有效提高课堂教学质量。

本发明针对人工智能教育应用领域中的学生课堂行为识别智能化程度不足、课堂行为与认知状态缺乏关联研究等问题，提出了一种线下课堂学生课堂行为智能识别和认知状态关联方法，并基于高校实际课堂对该方法进行了评估。实验表明：该方法中的学生课堂行为智能识别算法可以有效解决复杂教学场景下的学生课堂行为识别问题，所提的课堂行为和认知状态个性化关联方法可以获取学生个性化特征，有助于教师及时掌握学生状态，提高教学质量。

本发明包含学生课堂行为智能识别、学生目标跟踪与重识别、学生认知状态评估、学生行为与认知状态个性化关联四个步骤，具体如下：

步骤1，学生课堂行为智能识别。首先利用智慧教室课堂影像数据和目标标注工具构建学生行为分类数据集；并构建基于目标识别算法Faster R-CNN和残差网络Resnet50相结合的神经网络；利用学生课堂行为数据集使网络学习课堂影像中的目标特征，最后借助训练好的模型在类别不均衡、学生目标多、相互遮掩严重的线下教室课堂影像中精准地预测出学生目标框与行为类别。

步骤2，学生目标跟踪与重识别。学生目标跟踪与重识别模型综合了目标框相似性和直方图相似性两种方法，旨在解决录播视频中的学生目标对应问题。该方法以课堂录播视频数据学生目标智能识别结果作为输入，以单个学生在整个课堂期间的行为序列特征为输出，信息包括“学生名”、“时间”、“对应时间的位置”、“对应时间的行为”等。

步骤3，学生认知状态评估。本发明通过学生对知识点的理解和掌握程度来评价学生的学习认知状态。首先我们通过授课内容事先设计前测和后测，然后参照设定的评价方案在真实课堂场景获得学习者针对知识点的前后测数据，最后分粗颗粒和细颗粒两个评价维度完成对学习者认知状态的评测。其中，对每个知识点的掌握程度的评价为细颗粒度评价，通过知识点对应答题进行一一对应评估。对学生状态给出简单的数字评价(如答题正确数等)为粗颗粒度评价。通过细颗粒度和粗颗粒度的评价，对学生的学习认知状态进行量化，将学生的学习从宏观概括和微观具体层面进行评估。

步骤4，学生行为与认知状态个性化关联。在学生行为智能识别与认知状态评估的基础上，从粗颗粒行为与认知关联、细颗粒行为与认知关联、个例学生行为与认知关联三个角度进行个性化关联分析。通过饼图、直方图、散点图、多项式回归图等可视化处理，得到行为与认知之间的关联。通过计算皮尔森相关系数，分析行为与认知之间的相关程度。通过对异常行为与认知的研究，分析行为对认知可能产生的影响，通过对同一学生行为与认知长时间的跟踪，分析行为变化对于认知可能产生的影响。

进一步的，步骤1的具体实现方式如下，

步骤1.1，数据集制作，梳理并确定学生课堂行为类别，借助标注工具，在抽取的视频帧图像上标注学生目标框和行为类别，每个标签记录目标框上四个顶点的位置坐标以及所属类别，得到与每张课堂影像一一对应的VOC标准标注xml文件，以此构建课堂行为分类数据集；

步骤1.2，、构建基于目标识别网络和行为分类网络相结合的课堂行为智能识别神经网络，将任务分为学生目标区域检测和行为类别分类两个步骤，减少因学生课堂行为间区分难度大带来的漏检目标过多的问题；其中目标识别网络包括特征提取层、区域建议层、兴趣池化层、边框回归分类层，共4个部分；

步骤1.3，将标注好的课堂行为分类数据集作为神经网络的训练集，采用制作的样本数据集训练步骤1.2的课堂行为智能识别神经网络，迭代反复地输入到神经网络训练并直到收敛；对于待检测的学生课堂影像，加载训练好的神经网络模型参数，得到检测结果，用目标框框选出学生对象并得到该学生的行为类别。

进一步的，步骤1.2中，所述特征提取层通过CNN网络提取特征，提取到原始图片的特征图；区域建议层通过RPN网络生成检测框，RPN网络按照一定的比例在特征图相应位置上生成锚点，每个锚点按照[1:2,1:1,2:1]的长宽比、[128,256,512]的尺度生成9个候选框；兴趣池化层在不同大小的候选框中提取同一尺寸的特征图，得出固定长度的特征向量；和原始的目标检测算法不同，边框回归分类层只进行边框回归，不进行学生行为分类；

特征提取层采用VGG16网络提取特征，该模块包含5层卷积池化单元，前两层包括两个连续堆叠的卷积单元与一个池化单元，而后三层结构包含三个连续堆叠的卷积单元与一个池化单元；

区域建议层在特征提取层获取的特征图上，使用1×1的卷积核进行分类卷积操作，用来预测每一个特征点上生成9个候选框属于前景和背景的二分类预测值；与此同时，通过1×1的卷积核并列执行回归卷积操作，用来输出当前特征点上9个候选框的四个维度坐标信息；兴趣池化层根据输入的影像，将候选框映射到特征图上Roi对应的位置，将映射后的区域划分为相同大小的区域，对每个小区域进行最大池化操作(max pooling)，区域建议层采用RPN网络的损失包含类别损失与边界框损失，其损失计算流程如下：

其中N_reg是特征图的尺寸大小，N_cls是Roi的生成个数，t_i＝{t_x,t_y,t_w,t_h}是一组向量，表示候选框的预测偏移量，

则表示相对于真值的实际偏移量，p_i表示预测候选框包含目标的概率，

则表示真值标签，背景框其值为0，目标框为1，在本方法中λ取为10，保证分类和回归两个损失权重尽可能接近；

进一步的，在经过池化处理后，边框回归层通过三个全连接层计算出更精确地边界框坐标。

进一步的，步骤1.2中，目标检测网络训练完毕后，在此基础上训练行为分类网络，行为分类网络由49个卷积层和1个全连接层组成基于Resnet50的学生行为分类网络，该行为分类网络通过卷积、正则化、激活函数、最大池化的计算，在经过连续的残差卷积模块后通过平均池化操作将大小为1的特征向量输入到全连接层FC，最后由softmax预测出相应的类别概率。

进一步的，步骤2的具体实现方式如下；

步骤2.1，根据一定的时间间隔将视频抽帧为序列影像，使用已经训练好的学生课堂行为智能识别模型对序列影像进行学生目标智能识别处理，获取学生的位置列表；

步骤2.2，以第一帧影像为基准，人工指定每个学生目标信息，形成学生名为键，值为学生位置、图像、行为的三个字典列表，以此作为后续学生目标跟踪与重识别的依据；

步骤2.3，采用融合目标框相似性和直方图相似性的策略进行学生目标跟踪与重识别，其中目标框相似性采用iou指标计算；

步骤2.4，对视频抽取的序列帧影像依次进行步骤2.3的处理，更新位置基准列表，图像基准列表，行为基准列表，实现学生目标重识别；

步骤2.5，图像经过步骤2.4后会得到位置基准列表，与行为基准列表，通过得到的基准，获得每个学生的xml文件，文件包括“学生名”、“时间”、“对应时间的位置”、“对应时间的行为”，不同帧数图像经过步骤2.4都会在原有的学生xml文件写入信息，最终以每个学生的xml文件作为输出。

进一步的，首先获取学生位置列表，将学生位置和位置基准列表依次进行iou指标计算，iou指标计算公式如下：

其中A1为交集框的面积，AU为并集框的面积。

实现A1的计算公式如下：

A1＝W1×H1

其中W1为交集框的宽度，H1为交集框的高度，如果两个框没有并集，W1＝H1＝0，计算公式如下：

W1＝max[min(x2，x2′)-max(x1，x1′)，0]

H1＝max[min(y2，y2′)-max(y1，y1′)，0]

其中，矩形框1左上角的坐标为(x1，y1)，右下角的坐标为(x2，y2)，矩形框2左上角的坐标为(x1′，y1′)，右下角的坐标为(x2′，y2′)，实现AU的计算公式如下：

AU＝w×h+w^′×h′

其中，矩形框1的宽度w＝x2-x1，高度h＝y2-y1，矩形框2的宽度w′＝x2′-x1′，高度h′＝y2′-y1′。

直方图相似性计算时，首先通过学生位置列表裁切学生图像获取图像列表，依次与图像基准列表进行直方图相似性比较，具体操作方法如下：

将图像归一化成(256，256)，分割处理成有16个图像的列表，使用histogram函数得到直方图，通过直方图相关性比较函数compareHist求切割图像的相关性值，获取其平均值得到相似性；其中histogram函数是通过像素点划分直方图，如果输入图片是RGB图片则会将不同通道的直方图进行串联，其中compareHist相关性比较公式如下：

其中H1、H2为图片的一维直方图向量，i为向量的位置坐标，其取值范围为[0，N-1]，其中N是向量长度，

为其平均值，计算方法如下：

目标框相似性和直方图相似性融合计算时，需要设置iou指标权重占比，将学生位置与位置基准计算的iou指标和学生图像与图像基准计算的直方图相似性融合，融合计算方式如下：

P＝P1×q+P2(1-q)

其中P1为iou指标，q为iou指标权重占比，P2为直方图相似性。

学生位置依次与位置基准比较，学生图像依次与图像基准比较，获得融合值列表，设置阈值，如果融合值列表最大值大于阈值，则通过最大值位置将学生位置、图像、行为分别对位置基准、图像基准、行为基准进行更新，直至学生位置列表，图像列表依次对比完毕。

进一步的，步骤3的具体实现方式如下；

步骤3.1，根据授课内容划分知识点，并针对知识点设计前测和后测，知识点分布在整个课堂授课时间段内均匀分布，以便分析学生在不同时间段的行为和认知状态；

步骤3.2，根据前测和后测进行课堂评测；

步骤3.3，根据评测结果统计学生认知状态情况；将学生的每个知识点掌握情况依据前后测答题情况分为前测正确后测错误、前测正确后测正确、前测错误后测错误、前测错误后测正确四类，其中后测正确即为掌握；

步骤3.4，输出细颗粒度评价和粗颗粒度评价，细颗粒度评价按照评测知识点讲授的具体时间段统计学生行为，用于从细节层面构建行为和认知之间的关联程度；粗颗粒度评价对整个课堂过程中的学生行为进行统计，和前后测结果数据一起对学生进行综合评价。

进一步的，步骤4的具体实现方式如下；

步骤4.1，粗颗粒行为认知关联；通过饼图，直方图对异常学生和正常学生的行为进行可视化处理，将两者之间的行为与认知进行对比，分析两者之间的差异，异常学生分为行为异常学生，和认知异常学生，通过对于异常学生特性的分析，找到行为对认知可能存在的影响，即分析学生的认知异常是否为异常的课堂行为导致的，学生的异常行为是否对学生认知造成了影响；

步骤4.2，细颗粒行为认知关联；分析教师讲授知识点过程中学生行为和认知的关联，将智慧课堂录得的上课视频，按照教师讲授知识点的起始时间和结束时间，划分为不同的片段，识别这些片段中学生的行为，得到知识点对应的学生行为数据，学生的细颗粒认知评估结果为学生对于某一知识点，前测错误，后测正确的个数；将知识点对应的学生行为数据与学生细颗粒认知评估结果作为两个变量进行相关性分析，得到散点图、多项式回归图、皮尔森相关系数结果，若散点图呈现出散点趋近于一条直线的效果，皮尔森相关系数绝对值趋近于1，则学生的行为与认知具备线性相关性，若多项式回归图呈现散点趋近于某一曲线的效果，则学生的行为与认知具备非线性相关性；

步骤4.3，学生个性化特征分析；对某一学生进行多个不同课堂情况进行统计，构建其多个不同课堂的行为直方图，记录其对每个知识点的认知情况，分析单个学生的课堂行为与认知关联的个性化特征，在此基础上，有助于通过视频中视觉信息及时发现个别学生认知状态异常情况，并采取合适的干预措施。

进一步的，特征提取层中卷积单元中的卷积核均为3×3，步长均为1，池化单元采用的均是2×2的最大池化方法。

进一步的，行为分类网络中使用3×3的最大池化与7×7的平均池化操作。

与现有技术相比，本发明的优点和有益效果如下：

1.将目标识别分为框优化和目标分类两个步骤，有效解决了真实课堂场景下学生目标类别不平衡、学生目标间差异小等造成的学生目标识别结果不理想问题，显著提升了目标识别性能；

2.综合运用框重叠度和直方图相似性等特征，解决了课堂中的学生目标追踪与重识别问题；

3.提出了基于时间序列的学生行为与认知状态个性化关联模型，构建了基于视觉特征评估认知状态的全新方案。

附图说明

图1是本发明的总体流程图。

图2是发明的学生课堂行为智能识别流程图。

图3是本发明的学生目标跟踪与重识别流程图。

图4是本发明的学生认知状态评估方法流程图。

图5是学生行为和认知关联饼状图。

具体实施方式

下面通过以智慧教室下的真实课堂场景作为实施例，并结合附图，对本发明的技术方案作进一步的具体说明。

本发明采用的技术方案如下：步骤1，学生课堂行为智能识别。基于改进的FasterR-CNN算法，准确识别出单帧影像学生目标和对应的行为类型。步骤2，学生目标跟踪与重识别。在单帧影像学生课堂行为智能识别的基础上，实现多帧影像间学生目标的跟踪与重识别，按时间序列输出每个学生的课堂行为序列特征，其中学生重识别主要针对摄像头角度变化较快的课堂场景。步骤3，学生认知状态评估。设计科学合理的前测和后测，评价学生对课堂知识点的掌握情况，准确评估学生在课堂各时间段的认知状态情况。步骤4，学生行为与认知状态个性化关联。以时间序列模型建模学生行为与认知状态间的个性化关联方法，重点寻找学生认知状态不佳情况下的个性化行为特征，构建基于视觉特征评估认知状态的新方案。

在上述步骤中，步骤1和步骤2实现了学生课堂行为识别和不同序列数据间的学生目标跟踪与重识别，可以完整地反应每个学生在课堂各时间段内的行为状态，步骤3从教学评价角度对学生在课堂各时间段内的认知状态进行评估，步骤4是本发明的重点，主要实现步骤1和步骤2获取的学生行为与步骤3获取的认知状态之间的个性化关联。

步骤1的具体实现包括如下子步骤：

步骤1.1，数据集制作。梳理并确定学生课堂行为类别，借助标注工具，在抽取的视频帧图像上标注学生目标框和行为类别，每个标签记录目标框上四个顶点的位置坐标以及所属类别，得到与每张课堂影像一一对应的VOC(PASCAL Visual Object Classes)标准标注xml文件，以此构建课堂行为分类数据集。

步骤1.2，神经网络构建。构建基于目标识别网络和行为分类网络相结合的课堂行为智能识别神经网络，将任务分为学生目标区域检测和行为类别分类两个步骤，减少因学生课堂行为间区分难度大带来的漏检目标过多等问题。

目标识别网络包括特征提取层(Features Extraction Layer)、区域建议层(Region Proposal Layer)、兴趣池化层(Roi Pooling)、边框回归分类层(ClassificationLayer)，共4个部分。特征提取部分通过CNN网络提取特征，提取到原始图片的特征图。区域建议层通过RPN网络生成检测框，RPN网络按照一定的比例在特征图相应位置上生成锚点，每个锚点按照[1:2,1:1,2:1]的长宽比、[128,256,512]的尺度生成九个候选框；兴趣池化层在不同大小的候选框中提取同一尺寸的特征图，得出固定长度的特征向量；和原始的目标检测算法不同，本发明中边框回归分类层只进行边框回归，不进行学生行为分类。

进一步的，特征提取层采用VGG16网络提取特征，该模块包含5层卷积池化单元，前两层包括两个连续堆叠的卷积单元与一个池化单元，而后三层结构包含三个连续堆叠的卷积单元与一个池化单元。该部分卷积核均为3×3，步长均为1，pooling采用的均是2×2的最大池化方法。

进一步的，区域建议层在特征提取层获取的特征图上，使用1×1的卷积核进行分类卷积操作，用来预测每一个特征点上生成9个候选框属于前景和背景的二分类预测值；与此同时，通过1×1的卷积核并列执行回归卷积操作，用来输出当前特征点上9个候选框的四个维度坐标信息。兴趣池化层根据输入的影像，将候选框映射到特征图上Roi对应的位置，将映射后的区域划分为相同大小的区域，对每个小区域进行最大池化操作(max pooling)。区域建议层采用RPN网络的损失包含类别损失与边界框损失，其损失计算流程如下：

其中N_reg是特征图的尺寸大小，N_cls是Roi的生成个数，t_i＝{t_x,t_y,t_w,t_h}是一组向量，表示候选框的预测偏移量，

则表示相对于真值的实际偏移量，p_i表示预测候选框包含目标的概率，

则表示真值标签，背景框其值为0，目标框为1，在本方法中λ取为10，保证分类和回归两个损失权重尽可能接近。

进一步的，在经过池化处理后，边框回归层通过三个全连接层计算出更精确地边界框坐标。

目标检测网络训练完毕后，在此基础上训练行为分类网络。行为分类网络由49个卷积层和1个全连接层组成基于Resnet50的学生类别分类网络，该网络通过卷积、正则化、激活函数、最大池化的计算，在经过连续的残差卷积模块后通过平均池化操作将大小为1的特征向量输入到全连接层FC，最后由softmax预测出相应的类别概率，该部分使用3×3的最大池化与7×7的平均池化操作。

步骤1.3，学生课堂行为预测。将标注好的课堂行为分类数据集作为网络模型的训练集，采用制作的样本数据集训练步骤1.2的课堂行为智能识别模型，迭代反复地输入到网络训练并直到模型收敛。对于待检测的学生课堂影像，加载训练好的模型参数，得到检测结果，用目标框框选出学生对象并得到该学生的行为类别。

进一步的，步骤2进一步包括以下子步骤：

步骤2.1，根据一定的时间间隔(如1秒)将视频抽帧为序列影像，使用已经训练好的学生课堂行为智能识别模型对序列影像进行学生目标智能识别处理，获取学生的位置列表；

步骤2.2，以第一帧影像为基准，人工指定每个学生目标信息，形成学生名为键，值为学生位置、图像、行为的三个字典列表，以此作为后续学生目标跟踪与重识别的依据；

步骤2.3，采用融合目标框相似性和直方图相似性的策略进行学生目标跟踪与重识别，其中目标框相似性采用iou指标计算。在具体操作上首先获取学生位置列表，将学生位置和位置基准列表依次进行iou指标计算，iou指标计算公式如下：

其中A1为交集框的面积，AU为并集框的面积。

实现A1的计算公式如下：

A1＝W1×H1

其中W1为交集框的宽度，H1为交集框的高度，如果两个框没有并集，W1＝H1＝0，计算公式如下：

W1＝max[min(x2，x2′)-max(x1，x1′)，0]

H1＝max[min(y2，y2′)-max(y1，y1′)，0]

实现AU的计算公式如下：

AU＝w×h+w^′×h′

具体数据的含义如表1所示。

表1iou计算数据

直方图相似性计算时，首先通过学生位置列表裁切学生图像获取图像列表，依次与图像基准列表进行直方图相似性比较，具体操作方法如下：

将图像归一化成(256，256)，分割处理成有16个图像的列表，使用histogram函数得到直方图，通过直方图相关性比较函数compareHist求切割图像的相关性值，获取其平均值得到相似性。其中histogram函数是通过像素点划分直方图，如果输入图片是RGB图片则会将不同通道的直方图进行串联，其中compareHist相关性比较公式如下：

其中H1、H2为图片的一维直方图向量，i为向量的位置坐标，其取值范围为[0，N-1]，其中N是向量长度，

为其平均值，计算方法如下：

目标框相似性和直方图相似性融合计算时，需要设置iou指标权重占比，将学生位置与位置基准计算的iou指标和学生图像与图像基准计算的直方图相似性融合，融合计算方式如下：

P＝P1×q+P2(1-q)

其中P1为iou指标，q为iou指标权重占比，P2为直方图相似性。

学生位置依次与位置基准比较，学生图像依次与图像基准比较，获得融合值列表，设置阈值0.8，如果融合值列表最大值大于阈值，则通过最大值位置将学生位置，图像，行为分别对位置基准，图像基准，行为基准进行更新，直至学生位置列表，图像列表依次对比完毕。

步骤2.4，对视频抽取的序列帧影像依次进行步骤2.3处理，更新位置基准列表，图像基准列表，行为基准列表，实现学生目标重识别；

步骤2.5，图像经过步骤2.4后会得到位置基准列表，与行为基准列表，通过得到的基准，获得每个学生的xml文件，文件包括“学生名”、“时间”、“对应时间的位置”、“对应时间的行为”，不同帧数图像经过步骤2.4都会在原有的学生xml文件写入信息，最终以每个学生的xml文件作为输出。

进一步的，步骤3进一步包括以下子步骤：

步骤3.1，根据授课内容划分知识点，并针对知识点设计前测和后测，知识点分布应该在整个课堂授课时间段内均匀分布，以便分析学生在不同时间段的行为和认知状态；

步骤3.2，根据前测和后测进行课堂评测；

步骤3.3，根据评测结果统计学生认知状态情况。将学生的每个知识点掌握情况依据前后测答题情况分为前测正确后测错误、前测正确后测正确、前测错误后测错误、前测错误后测正确四类，其中后测正确即为掌握；

步骤3.4，输出细颗粒度评价和粗颗粒度评价。细颗粒度评价按照评测知识点讲授的具体时间段统计学生行为特征，用于从细节层面构建行为和认知之间的关联程度。粗颗粒度评价对整个课堂过程中的学生行为进行统计，和前后测结果等数据一起对学生进行综合评价。

进一步的，步骤4进一步包括以下子步骤：

步骤4.1，粗颗粒行为认知关联。通过饼图，直方图对异常学生和正常学生的行为进行可视化处理，将两者之间的行为与认知进行对比，分析两者之间的差异。异常学生分为行为异常学生，和认知异常学生。行为异常学生为一堂课中某一行为，行为总数格外突出的学生，或者，在某一时间段中绝大部分学生保持某一行为(如低头)，而只有该学生保持另一种或几种行为(如抬头，偏头)。认知异常学生为课堂后测成绩突出的学生。学生的认知异常是否为异常的课堂行为导致的，学生的异常行为是否对学生认知造成了较大的影响。通过对于异常学生特性的分析，找到行为对认知可能存在的影响。

步骤4.2，细颗粒行为认知关联。分析教师讲授知识点过程中学生行为和认知的关联。将智慧课堂录得的上课视频，按照教师讲授知识点的起始时间和结束时间，划分为不同的片段。识别这些片段中学生的行为，得到知识点对应的学生行为数据。学生的细颗粒认知评估结果为学生对于某一知识点，前测错误，后测正确的个数。将知识点对应的学生行为数据与学生细颗粒认知评估结果作为两个变量进行相关性分析。得到散点图、多项式回归图、皮尔森相关系数等结果。若散点图呈现出散点趋近于一条直线的效果，皮尔森相关系数绝对值趋近于1，则学生的行为与认知具备线性相关性。若多项式回归图呈现散点趋近于某一曲线的效果，则学生的行为与认知具备非线性相关性。

步骤4.3，学生个性化特征分析。对某一学生进行多个不同课堂情况进行统计，构建其多个不同课堂的行为直方图，记录其对每个知识点的学习情况，分析单个学生的课堂行为与认知关联的个性化特征。在此基础上，有助于通过视频中视觉信息及时发现个别学生认知状态异常情况，并采取合适的干预措施。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (10)

1.线下课堂学生课堂行为智能识别和认知状态关联方法，其特征在于，包括如下步骤：

步骤1，学生课堂行为智能识别；首先利用智慧教室课堂影像数据和目标标注工具构建学生行为分类数据集，并构建基于目标识别算法Faster R-CNN和残差网络Resnet50相结合的神经网络；利用神经网络对学生课堂行为数据集中的课堂影像中的目标特征，最后借助训练好的模型在线下教室课堂影像中精准地预测出学生目标框与行为类别；

步骤2，学生目标跟踪与重识别；在单帧影像学生课堂行为智能识别的基础上，实现多帧影像间学生目标的跟踪与重识别，按时间序列输出每个学生的课堂行为序列特征，以单个学生在整个课堂期间的行为序列特征为输出，输出的信息包括学生名、时间、对应时间的位置、对应时间的行为；

步骤3，学生认知状态评估；首先通过授课内容事先设计前测和后测，然后在真实课堂场景获得学习者针对知识点的前后测数据，最后分粗颗粒和细颗粒两个评价维度完成对学习者认知状态的评测；其中，对每个知识点的掌握程度的评价为细颗粒度评价，通过知识点对应答题进行一一对应评估，对学生状态给出总体的数字评价为粗颗粒度评价；通过细颗粒度和粗颗粒度的评价，对学生的学习认知状态进行量化，将学生的学习从宏观概括和微观具体层面进行评估；

步骤4，学生行为与认知状态个性化关联；在学生行为智能识别与认知状态评估的基础上，从粗颗粒行为与认知关联、细颗粒行为与认知关联、个例学生行为与认知关联三个角度进行个性化关联分析，通过可视化处理，得到行为与认知之间的关联，并通过计算皮尔森相关系数，分析行为与认知之间的相关程度。

2.如权利要求1所述的线下课堂学生课堂行为智能识别和认知状态关联方法，其特征在于：步骤1的具体实现方式如下，

步骤1.1，数据集制作，梳理并确定学生课堂行为类别，借助标注工具，在抽取的视频帧图像上标注学生目标框和行为类别，每个标签记录目标框上四个顶点的位置坐标以及所属类别，得到与每张课堂影像一一对应的VOC标准标注xml文件，以此构建课堂行为分类数据集；

步骤1.2，构建基于目标识别网络和行为分类网络相结合的课堂行为智能识别神经网络，将任务分为学生目标区域检测和行为类别分类两个步骤，减少因学生课堂行为间区分难度大带来的漏检目标过多的问题；其中目标识别网络包括特征提取层、区域建议层、兴趣池化层、边框回归分类层，共4个部分；

步骤1.3，将标注好的课堂行为分类数据集作为神经网络的训练集，采用制作的样本数据集训练步骤1.2的课堂行为智能识别神经网络，迭代反复地输入到神经网络训练并直到收敛；对于待检测的学生课堂影像，加载训练好的神经网络模型参数，得到检测结果，用目标框框选出学生对象并得到该学生的行为类别。

3.如权利要求2所述的线下课堂学生课堂行为智能识别和认知状态关联方法，其特征在于：步骤1.2中，所述特征提取层通过CNN网络提取特征，提取到原始图片的特征图；区域建议层通过RPN网络生成检测框，RPN网络按照一定的比例在特征图相应位置上生成锚点，每个锚点按照[1:2,1:1,2:1]的长宽比、[128,256,512]的尺度生成9个候选框；兴趣池化层在不同大小的候选框中提取同一尺寸的特征图，得出固定长度的特征向量；和原始的目标检测算法不同，边框回归分类层只进行边框回归，不进行学生行为分类；

特征提取层采用VGG16网络提取特征，该模块包含5层卷积池化单元，前两层包括两个连续堆叠的卷积单元与一个池化单元，而后三层结构包含三个连续堆叠的卷积单元与一个池化单元；

区域建议层在特征提取层获取的特征图上，使用1×1的卷积核进行分类卷积操作，用来预测每一个特征点上生成9个候选框属于前景和背景的二分类预测值；与此同时，通过1×1的卷积核并列执行回归卷积操作，用来输出当前特征点上9个候选框的四个维度坐标信息；兴趣池化层根据输入的影像，将候选框映射到特征图上Roi对应的位置，将映射后的区域划分为相同大小的区域，对每个小区域进行最大池化操作，区域建议层采用RPN网络的损失包含类别损失与边界框损失，其损失计算流程如下：

其中N_reg是特征图的尺寸大小，N_cls是Roi的生成个数，t_i＝{t_x,t_y,t_w,t_h}是一组向量，表示候选框的预测偏移量，

则表示相对于真值的实际偏移量，p_i表示预测候选框包含目标的概率，

则表示真值标签，背景框其值为0，目标框为1，λ为权重系数；进一步的，在经过池化处理后，边框回归层通过三个全连接层计算出更精确的边界框坐标。

4.如权利要求2所述的线下课堂学生课堂行为智能识别和认知状态关联方法，其特征在于：步骤1.2中，目标检测网络训练完毕后，在此基础上训练行为分类网络，行为分类网络由49个卷积层和1个全连接层组成基于Resnet50的学生行为分类网络，该行为分类网络通过卷积、正则化、激活函数、最大池化的计算，在经过连续的残差卷积模块后通过平均池化操作将大小为1的特征向量输入到全连接层FC，最后由softmax预测出相应的类别概率。

5.如权利要求2所述的线下课堂学生课堂行为智能识别和认知状态关联方法，其特征在于：步骤2的具体实现方式如下；

步骤2.1，根据一定的时间间隔将视频抽帧为序列影像，使用已经训练好的学生课堂行为智能识别模型对序列影像进行学生目标智能识别处理，获取学生的位置列表；

步骤2.2，以第一帧影像为基准，人工指定每个学生目标信息，形成学生名为键，值为学生位置、图像、行为的三个字典列表，以此作为后续学生目标跟踪与重识别的依据；

步骤2.3，采用融合目标框相似性和直方图相似性的策略进行学生目标跟踪与重识别，其中目标框相似性采用iou指标计算；

步骤2.4，对视频抽取的序列帧影像依次进行步骤2.3的处理，更新位置基准列表，图像基准列表，行为基准列表，实现学生目标重识别；

步骤2.5，图像经过步骤2.4后会得到位置基准列表，与行为基准列表，通过得到的基准，获得每个学生的xml文件，文件包括“学生名”、“时间”、“对应时间的位置”、“对应时间的行为”，不同帧数图像经过步骤2.4都会在原有的学生xml文件写入信息，最终以每个学生的xml文件作为输出。

6.如权利要求5所述的线下课堂学生课堂行为智能识别和认知状态关联方法，其特征在于：首先获取学生位置列表，将学生位置和位置基准列表依次进行iou指标计算，iou指标计算公式如下：

其中A1为交集框的面积，AU为并集框的面积；

实现A1的计算公式如下：

A1＝W1×H1

其中W1为交集框的宽度，H1为交集框的高度，如果两个框没有并集，W1＝H1＝0，计算公式如下：

W1＝max[min(x2,x2')max(x1,x1'),0]

H1＝max[min(y2,y2')-max(y1,y1'),0]

其中，矩形框1左上角的坐标为(x1，y1)，右下角的坐标为(x2，y2)，矩形框2左上角的坐标为(x1′，y1′)，右下角的坐标为(x2′，y2′)，实现AU的计算公式如下：

AU＝w×h+w'×h'

其中，矩形框1的宽度w＝x2-x1，高度h＝y2-y1，矩形框2的宽度w′＝x2′-x1′，高度h′＝y2′-y1′；

直方图相似性计算时，首先通过学生位置列表裁切学生图像获取图像列表，依次与图像基准列表进行直方图相似性比较，具体操作方法如下：

将图像归一化成(256，256)，分割处理成有16个图像的列表，使用histogram函数得到直方图，通过直方图相关性比较函数compareHist求切割图像的相关性值，获取其平均值得到相似性；其中histogram函数是通过像素点划分直方图，如果输入图片是RGB图片则会将不同通道的直方图进行串联，其中compareHist相关性比较公式如下：

其中H1、H2为图片的一维直方图向量，i为向量的位置坐标，其取值范围为[0，N-1]，其中N是向量长度，

为其平均值，计算方法如下：

目标框相似性和直方图相似性融合计算时，需要设置iou指标权重占比，将学生位置与位置基准计算的iou指标和学生图像与图像基准计算的直方图相似性融合，融合计算方式如下：

P＝P1×q+P2(1-q)

其中P1为iou指标，q为iou指标权重占比，P2为直方图相似性；

学生位置依次与位置基准比较，学生图像依次与图像基准比较，获得融合值列表，设置阈值，如果融合值列表最大值大于阈值，则通过最大值位置将学生位置、图像、行为分别对位置基准、图像基准、行为基准进行更新，直至学生位置列表，图像列表依次对比完毕。

7.如权利要求1所述的线下课堂学生课堂行为智能识别和认知状态关联方法，其特征在于：步骤3的具体实现方式如下；

步骤3.1，根据授课内容划分知识点，并针对知识点设计前测和后测，知识点分布在整个课堂授课时间段内均匀分布，以便分析学生在不同时间段的行为和认知状态；

步骤3.2，根据前测和后测进行课堂评测；

步骤3.3，根据评测结果统计学生认知状态情况，将学生的每个知识点掌握情况依据前后测答题情况分为前测正确后测错误、前测正确后测正确、前测错误后测错误、前测错误后测正确四类，其中后测正确即为掌握；

步骤3.4，输出细颗粒度评价和粗颗粒度评价，细颗粒度评价按照评测知识点讲授的具体时间段统计学生行为，用于从细节层面构建行为和认知之间的关联程度；粗颗粒度评价对整个课堂过程中的学生行为进行统计，和前后测结果数据一起对学生进行综合评价。

8.如权利要求7所述的线下课堂学生课堂行为智能识别和认知状态关联方法，其特征在于：步骤4的具体实现方式如下；

步骤4.1，粗颗粒行为认知关联；通过饼图，直方图对异常学生和正常学生的行为进行可视化处理，将两者之间的行为与认知进行对比，分析两者之间的差异，异常学生分为行为异常学生，和认知异常学生，通过对于异常学生特性的分析，找到行为对认知可能存在的影响，即分析学生的认知异常是否为异常的课堂行为导致的，学生的异常行为是否对学生认知造成了影响；

步骤4.2，细颗粒行为认知关联；分析教师讲授知识点过程中学生行为和认知的关联，将智慧课堂录得的上课视频，按照教师讲授知识点的起始时间和结束时间，划分为不同的片段，识别这些片段中学生的行为，得到知识点对应的学生行为数据，学生的细颗粒认知评估结果为学生对于某一知识点，前测错误，后测正确的个数；将知识点对应的学生行为数据与学生细颗粒认知评估结果作为两个变量进行相关性分析，得到散点图、多项式回归图、皮尔森相关系数结果，若散点图呈现出散点趋近于一条直线的效果，皮尔森相关系数绝对值趋近于1，则学生的行为与认知具备线性相关性，若多项式回归图呈现散点趋近于某一曲线的效果，则学生的行为与认知具备非线性相关性；

步骤4.3，学生个性化特征分析；对某一学生进行多个不同课堂情况进行统计，构建其多个不同课堂的行为直方图，记录其对每个知识点的认知情况，分析单个学生的课堂行为与认知关联的个性化特征，在此基础上，有助于通过视频中视觉信息及时发现个别学生认知状态异常情况，并采取合适的干预措施。

9.如权利要求3所述的线下课堂学生课堂行为智能识别和认知状态关联方法，其特征在于：特征提取层中卷积单元中的卷积核均为3×3，步长均为1，池化单元采用的均是2×2的最大池化方法。

10.如权利要求4所述的线下课堂学生课堂行为智能识别和认知状态关联方法，其特征在于：行为分类网络中使用3×3的最大池化与7×7的平均池化操作。

Images