CN112733806B - 基于表情识别的课堂中学生实时分类与遴选方法 - Google Patents

基于表情识别的课堂中学生实时分类与遴选方法 Download PDF

Info

Publication number
CN112733806B
CN112733806B CN202110186381.7A CN202110186381A CN112733806B CN 112733806 B CN112733806 B CN 112733806B CN 202110186381 A CN202110186381 A CN 202110186381A CN 112733806 B CN112733806 B CN 112733806B
Authority
CN
China
Prior art keywords
expression
students
student
vector
class
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110186381.7A
Other languages
English (en)
Other versions
CN112733806A (zh
Inventor
陈红倩
孙丽萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dragon Totem Technology Hefei Co ltd
Original Assignee
Beijing Technology and Business University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Technology and Business University filed Critical Beijing Technology and Business University
Priority to CN202110186381.7A priority Critical patent/CN112733806B/zh
Publication of CN112733806A publication Critical patent/CN112733806A/zh
Application granted granted Critical
Publication of CN112733806B publication Critical patent/CN112733806B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明涉及一种基于表情识别的课堂中学生实时分类与遴选方法，属于计算机学科下的计算机视觉领域。实现步骤为：获取含有标签的人脸表情数据集，设计表情识别模型，使用人脸表情数据集训练和验证表情识别模型；为课堂中每名学生建立表情向量循环队列，根据设定的间隔时间G，每隔G秒获取头部区域图片并进行表情识别，将识别获得的表情向量保存至表情向量循环队列中；当教师提问或课堂交流时，对每名学生读取其最近一段时间内的表情向量，拼接成表情组合向量；对所有学生的表情组合向量进行聚类，计算每类别的表情组合均值向量；对每一类别，基于各学生的表情组合向量与该类别的表情组合均值向量的相似度，遴选具有代表性的学生。

Description

基于表情识别的课堂中学生实时分类与遴选方法
技术领域
本发明属于计算机学科下的计算机视觉领域，具体涉及一种基于课堂听课状态的学生的实时分类与遴选方法。
背景技术
课堂中的学生听课状态与学生的听课效果有重要关系，也是课堂中教师提问或其他交流的重要参考依据。根据课堂中的学生听课过程中一段时间内的表情变化，对学生进行分类，并在每类中遴选最具代表性的学生，能够在教师提问或课堂交流时提供实时遴选结果，并为教师快速了解课堂授课效果提供技术支持。
在课堂中，提问学生或课堂交流是教师了解学生对课堂知识掌握情况的重要方式之一。由于教师无法记忆课堂中每个学生连续的状态信息，在提问或交流时，往往只能根据学生在某个时刻下的状态进行选择学生，使得这样的选择方式具有一定的局限性，不能很好的反应整体学生的学习情况。
随着计算机视觉的发展，表情识别被广泛应用。利用表情识别技术记录学生在课堂中一段时间内的连续状态，并进行学生的分类与遴选，能更好的评价学生的课堂学习效果，为教师选择提问或交流的学生提供更好的参照，同时能够实现监督课堂提升课堂授课效率的作用。但在目前计算机视觉的研究成果中，通过表情识别对学生进行分类，并遴选提问或交流的学生的研究较少。
发明内容
有鉴于此，本发明提供了一种基于表情识别的课堂中学生实时分类与遴选方法。实现本发明的技术方案如下：
步骤一、建立表情识别模型；具体建立步骤为：
步骤1.1、获取含有标签的人脸表情数据集，并将数据集分为训练集和验证集，训练集和验证集分割比例有8∶2或9∶1两种选择；
步骤1.2、设计表情识别模型，表情识别模型分为输入流、中间流和输出流，表情识别模型的结构如表1所示；
输入流的设计：共包含这3层卷积层，首先使用1*1的卷积核激活明显特征，然后使用两层3*3的卷积核提取特征；
中间流的设计：共设计了4层混合层，每一混合层的卷积核个数不同，利用了深度可分离卷积-池化模块和残差模块分开提取特征，两个模块处理的特征进行融合输入下一层；
输出流的设计：包含一个卷积层、一个全局池化层和一个Softmax层，卷积层使用7个3*3的卷积核提取特征，全局池化层对提取的特征进行降维，降维后的特征输入Softmax层进行表情识别，Sotfmax层的函数如公式1所示；
其中p(j|g)表示输入图片g是表情种类j的概率；e是自然对数函数的底数；d表示表情类别总数；Zj表示全局池化后的特征；
表1表情识别模型的结构
步骤1.3、使用训练集训练表情识别模型；
使用Adam优化算法更新表情识别模型的权重和偏置，训练使用的损失函数如公式2所示，当损失函数的值趋于稳定时停止训练，保存表情识别模型；
其中Loss是损失值，[a0，a1，a2，a3，a4，a5，a6]是人脸表情图片标签的实际向量，当人脸表情图片样本属于第i类表情时，ai＝1，否则ai＝0；[b0，b1，b2，b3，b4，b5，b6]是一个概率分布，每个元素bi表示人脸表情图片经表情识别模型识别属于第i类表情的概率；
步骤1.4、使用验证集验证表情识别模型；
若正确率大于等于60％，即可被后续步骤采用；若正确率小于60％，则需要更换数据集重新训练表情识别模型；
步骤二、对课堂中所有学生进行实时表情识别，并将识别结果进行保存；具体步骤为：
步骤2.1、针对一个课堂中的所有学生，定义课堂中的上课人数为m，学生的编号依次为1至m；
步骤2.2、为每名学生建立一个存储表情向量的循环队列，称为表情向量循环队列，每名学生的表情向量循环队列的容量大小NQ可根据如下公式3设定；
其中ceiling()函数为向上取整函数，TV为希望保存的学生听课状态的总时间长度，单位为秒，当课堂时间长度大于TV时，将会循环覆盖学生最早的听课状态对应的表情向量；G为进行头部图像获取的间隔时间，单位为秒；
步骤2.3、每隔G秒钟执行一次步骤三，为每名学生识别其表情向量，并保存至该名学生对应的表情向量循环队列中，直至下课；
当教师需要进行课堂提问或课堂交流时，触发执行步骤四，进行学生分类与遴选；
需要说明的是，步骤四的执行过程不影响步骤三的循环执行，即保持每隔G秒钟执行一次步骤三，直至下课；
步骤三、为每名学生识别其表情向量，并保存至该名学生对应的表情向量循环队列中；以编号为i的学生Si为例，具体步骤为步骤3.1至步骤3.3：
步骤3.1、从课堂视频流中截取一帧包含学生Si头部区域的图片；
在线课堂中，可以从学生Si的摄像头的视频流中截取头部区域图片；普通教室课堂中可以从教室监控摄像机的视频流中截取课堂图片，然后再根据学生Si的固定位置，从课堂图片中截取学生Si的头部区域图片；
步骤3.2、使用表情识别模型识别出学生Si头部区域图片的表情向量；
通过表情识别模型，对学生Si头部区域图片识别所得的表情向量为7维，即表情向量有7个分量；命名学生Si在t时刻的头部区域图片识别所得的表情向量为Ei，t；若在该头部区域图片中未检测到人脸，则表情向量Ei，t为[0，0，0，0，0，0，0]；
步骤3.3、将学生Si头部区域图片识别所得的表情向量Ei，t，存入学生Si对应的表情向量循环队列中；如队列已存满，则循环使用其存储空间，即自动覆盖时间最早的表情向量；
步骤四、当教师需要进行课堂提问或课堂交流时，触发学生分类与遴选过程，对课堂中的所有学生进行分类，并为教师从每类学生中遴选出具有代表性的学生；学生分类与遴选的具体实现步骤为：
步骤4.1、从每名学生的表情向量循环队列中，读取当前时刻与当前时刻之前的(n-1)个表情向量，即共读取n个表情向量，其中n可根据如下公式4设定；
其中ceiling()函数为向上取整函数，TS为进行学生听课状态分类与遴选时所需考虑的时间长度，单位为秒，TS需小于或等于步骤2.2中的TV；G是进行头部图像获取的间隔时间，单位为秒，与步骤2.2中相同；
如表情向量循环队列中已存储的表情向量数量小于n，则以全零向量[0，0，0，0，0，0，0]补充；
步骤4.2、针对每名学生，将步骤4.1中读取到的n个表情向量拼接组成7n维的表情组合向量；
步骤4.3、将课堂中所有学生的表情组合向量聚为k类，聚类算法为k-means算法，其中k是一个参数，可设置范围为3至5；
步骤4.4、针对每个类别，遴选出最具有代表性的w名学生，其中w为自由设定的参数，可以设置为1至4；以第i个类别为例，遴选出最具有代表性的w名学生的步骤如步骤4.5至步骤4.7；
步骤4.5、计算当前类别对应的表情组合均值向量，命名当前类别的表情组合均值向量为A；表情组合均值向量A的各维数值的计算方法如公式5所示；
其中r为表情组合均值向量A的维数，范围为1至7n，Ar为类别i的表情组合均值向量A的第r维数值，x表示当前类别中包含的学生数量，为当前类别中的第j个学生的表情组合向量的第r维数值；
步骤4.6、计算当前类别中所有学生的表情组合向量与表情组合均值向量A的相似度，相似度计算方法如公式6所示；
其中，学生i的表情组合向量为Ci，P(A，Ci)代表表情组合向量Ci与表情组合均值向量A的相似度，Cov()函数表示协方差函数，D()函数表示方差函数；
步骤4.7、根据相似度，从当前类别的所有学生中遴选出相似度最高的w名学生，即为当前类别中最具有代表性的w名学生；每个类别挑选了w名学生，k个类别共挑选k×w名学生；如当前类别中的学生数量小于w，则所有学生均进入遴选结果即可；
步骤五、对学生分类情况及每类别中的遴选结果，通过表格的形式进行展示；对每类别中未被遴选出的学生，根据每名学生的表情组合向量与所属类别的表情组合均值向量的相似度，由高到低依次排序展示，教师可以根据展示的结果，挑选一名或多名学生进行课堂提问或课堂交流；
步骤六、教师结束本轮课堂提问或课堂交流，继续课堂其他内容；课堂进行过程中，步骤三依旧保持每隔G秒钟执行一次，直至下课；
课堂结束，基于表情识别的课堂中学生实时分类与遴选过程结束；
至此，基于表情识别的课堂中学生实时分类与遴选方法完成；通过本方法，能够实现监督课堂提升课堂授课效率的作用。
有益效果：
本发明所提出的方法，能够使用表情识别模型，识别学生听课状态，分析课堂一段时间内学生的连续状态，实时分类与遴选学生能够为教师选择课堂提问或课堂交流的学生提供更好的参考。
附图说明
图1为本发明的表情识别与存储过程的流程图
图2为本发明的学生分类与遴选过程的流程图
图3为本发明针对学生的表情识别模型结构图
具体实施方式
下面结合附图并举实施例，对本发明进行详细描述：
步骤一、建立表情识别模型；具体建立步骤为：
步骤1.1、获取含有标签的人脸表情数据集，并将数据集分为训练集和验证集，训练集和验证集分割比例有8∶2或9∶1两种选择；
本实施例中，使用公开的表情数据集Fer2013数据集，训练集和验证集按8∶2进行分割；
步骤1.2、设计表情识别模型，表情识别模型分为输入流、中间流和输出流，表情识别模型的详细结构如附图3所示；
步骤1.3、使用训练集训练表情识别模型；
使用Adam优化算法更新表情识别模型的权重和偏置，当损失函数的值趋于稳定时停止训练，保存表情识别模型；
本实施例中，Adam优化算法的参数配置如表2所示；
表2 Adam优化算法的参数配置
参数名 参数值
lr 0.001
beta1 0.9
beta2 0.999
epsilon 1e-08
本实施例中，在训练表情识别模型的过程中，表情识别模型训练至102次时，损失值趋于稳定停止训练，保存表情识别模型；
步骤1.4、使用验证集验证表情识别模型；若正确率大于等于60％，即可被后续步骤采用；
本实施例中，经训练获得的表情识别模型，在验证集上的正确率达到66％，被后续步骤采用；
步骤二、对课堂中所有学生进行实时表情识别，并将识别结果进行保存；具体步骤为：
步骤2.1、针对一个课堂中所有学生，定义课堂中的上课人数为m，学生的编号依次为1至m；
本实施例中，课堂中的学生为45人，即，m＝45，学生的编号依次为1至45；
步骤2.2、为每名学生建立一个表情向量循环队列；
本实施例中，希望保存的学生听课状态的总时间长度TV为600秒，进行头部图像获取的间隔时间G为20秒，每名学生的表情向量循环队列的容量大小NQ根据如下公式7设定；
即，每名学生的表情向量循环队列的容量大小NQ为30；
步骤2.3、每隔G秒钟执行一次步骤三，为每名学生识别其表情向量，并保存至该名学生对应的表情向量循环队列中，直至下课；
本实施例中，每隔20秒钟执行依次步骤三；
当教师需要进行课堂提问或课堂交流时，触发执行步骤四，进行学生分类与遴选；
需要说明的是，步骤四的执行过程不影响步骤三的循环执行，即保持每隔20秒钟执行一次步骤三，直至下课；
步骤三、为每名学生识别其表情向量，并保存至该名学生对应的表情向量循环队列中；
本实施例中，以编号为5的学生S5为例，具体步骤为步骤3.1至步骤3.3：
步骤3.1、从课堂视频流中截取一帧包含学生Si头部区域的图片；
本实施例中为在线课堂，从学生S5的摄像头的视频流中截取头部区域图片；
步骤3.2、使用表情识别模型识别出学生S5的头部区域图片的表情向量；
通过表情识别模型，学生S5在某时刻的头部区域图片识别所得的表情向量为[0.294，0.039，0.205，0.026，0.238，0.015，0.183]；
步骤3.3、将学生S5头部区域图片识别所得的表情向量存入学生S5对应的表情向量循环队列中；
步骤四、当教师需要进行课堂提问或课堂交流时，触发学生分类与遴选过程，对课堂中的所有学生进行分类，并为教师从每类学生中遴选出具有代表性的学生；学生分类与遴选的具体实现步骤为：
步骤4.1、本实施例中，选取课堂进行20分钟(即1200秒)时进行学生分类和遴选；学生听课状态分类和遴选时所需的时间长度TS为140秒，头部图像获取的间隔时间G为20秒，则从每名学生的表情向量循环队列中读取的表情向量个数n根据公式8设定；
即，从每名学生的循环队列中读取当前时刻与当前时刻之前的6个表情向量，共读取了7个表情向量；
步骤4.2、针对每名学生，将步骤4.1中读取到的n个表情向量拼接成7n维的表情组合向量；
本实施例中，n＝7，即，将步骤4.1中读取到的7个表情向量拼接成49维的表情组合向量；
步骤4.3、将课堂中所有学生的表情组合向量聚为k类；
本实施例中，k设定为3，使用k-means算法聚类所有学生的表情组合向量；
步骤4.4、针对每个类别，遴选出最具有代表性的w名学生；
本实施例中，w设定为2，以第一类别为例，遴选出最具代表性的2名学生的步骤如步骤4.5至步骤4.7；
步骤4.5、计算当前类别对应的表情组合均值向量；
本实施例中，以第一类别为例，第一类别中包含的学生数量11名，学生编号分别为：3、7、9、12、25、28、32、34、35、41、42；根据公式5计算得出表情组合均值向量A如公式9所示；
步骤4.6、本实施例中，根据公式6计算所得第一类别中所有学生的表情组合向量与表情组合均值向量A的相似度如表3所示；
表3第一类别中学生的表情组合向量和表情组合均值向量A的相似度
步骤4.7、根据相似度，从当前类别的所有学生中遴选出相似度最高的w名学生；每个类别中挑选了w名学生，k个类别共挑选k×w名学生；
本实施例中，每个类别挑选了2名学生，3个类别中共挑选了6名学生；以第一类别为例，从该类别的所有学生中遴选出相似度最高的2名学生，即，遴选出编号为25和28的学生；
步骤五、对学生分类情况及每类别中的遴选结果，通过表格的形式进行展示；对每类别中未被遴选出的学生，根据每名学生的表情组合向量与所属类别的表情组合均值向量的相似度，由高到低依次排序展示，教师可以根据展示的结果，挑选学生进行课堂提问或课堂交流；
本实施例中，遴选结果如表4所示；
表4本实施例的遴选结果展示
步骤六、教师结束本轮课堂提问或课堂交流，继续课堂其他内容；课堂进行过程中，步骤三依旧保持每隔20秒钟执行一次，直至下课；
课堂结束，基于表情识别的课堂中学生实时分类与遴选过程结束；
至此，基于表情识别的课堂中学生实时分类与遴选方法完成。

Claims (1)

1.基于表情识别的课堂中学生实时分类与遴选方法，其特征在于，包括以下步骤：
步骤一、建立表情识别模型；具体建立步骤为：
步骤1.1、获取含有标签的人脸表情数据集，并将数据集分为训练集和验证集，训练集和验证集分割比例有8∶2或9∶1两种选择；
步骤1.2、设计表情识别模型，表情识别模型分为输入流、中间流和输出流；
输入流的设计：共包含这3层卷积层，首先使用1*1的卷积核激活明显特征，然后使用两层3*3的卷积核提取特征；
中间流的设计：共设计了4层混合层，每一混合层的卷积核个数不同，利用了深度可分离卷积-池化模块和残差模块分开提取特征，两个模块处理的特征进行融合输入下一层；
输出流的设计：包含一个卷积层、一个全局池化层和一个Softmax层，卷积层使用7个3*3的卷积核提取特征，全局池化层对提取的特征进行降维，降维后的特征输入Softmax层进行表情识别；
步骤1.3、使用训练集训练表情识别模型；
使用Adam优化算法更新表情识别模型的权重和偏置，当损失函数的值趋于稳定时停止训练，保存表情识别模型；
步骤1.4、使用验证集验证表情识别模型；
若正确率大于等于60％，即可被后续步骤采用；若正确率小于60％，则需要更换数据集重新训练表情识别模型；
步骤二、对课堂中所有学生进行实时表情识别，并将识别结果进行保存；具体步骤为：
步骤2.1、针对一个课堂中的所有学生，定义课堂中的上课人数为m，学生的编号依次为1至m；
步骤2.2、为每名学生建立一个存储表情向量的循环队列，称为表情向量循环队列；
步骤2.3、每隔G秒钟执行一次步骤三，为每名学生识别其表情向量，并保存至该名学生对应的表情向量循环队列中，直至下课；参数G为进行头部图像获取的间隔时间，单位为秒，可设置范围为10至120；
当教师需要进行课堂提问或课堂交流时，触发执行步骤四，进行学生分类与遴选；
需要说明的是，步骤四的执行过程不影响步骤三的循环执行，即保持每隔G秒钟执行一次步骤三，直至下课；
步骤三、为每名学生识别其表情向量，并保存至该名学生对应的表情向量循环队列中；以编号为i的学生Si为例，具体步骤为步骤3.1至步骤3.3：
步骤3.1、从课堂视频流中截取一帧包含学生Si头部区域的图片；
在线课堂中，可以从学生Si的摄像头的视频流中截取头部区域图片；普通教室课堂中可以从教室监控摄像机的视频流中截取课堂图片，然后再根据学生Si的固定位置，从课堂图片中截取学生Si的头部区域图片；
步骤3.2、使用表情识别模型识别出学生Si头部区域图片的表情向量；
通过表情识别模型，对学生Si头部区域图片识别所得的表情向量为7维，即表情向量有7个分量；命名学生Si在t时刻的头部区域图片识别所得的表情向量为Ei，t；若在该头部区域图片中未检测到人脸，则表情向量Ei，t为[0，0，0，0，0，0，0]；
步骤3.3、将学生Si头部区域图片识别所得的表情向量Ei，t，存入学生Si对应的表情向量循环队列中；如队列已存满，则循环使用其存储空间，即自动覆盖时间最早的表情向量；
步骤四、当教师需要进行课堂提问或课堂交流时，触发学生分类与遴选过程，对课堂中的所有学生进行分类，并为教师从每类学生中遴选出具有代表性的学生；学生分类与遴选的具体实现步骤为：
步骤4.1、从每名学生的表情向量循环队列中，读取当前时刻与当前时刻之前的(n-1)个表情向量，即共读取n个表情向量；
如表情向量循环队列中已存储的表情向量数量小于n，则以全零向量[0，0，0，0，0，0，0]补充；
步骤4.2、针对每名学生，将步骤4.1中读取到的n个表情向量拼接组成7n维的表情组合向量；
步骤4.3、将课堂中所有学生的表情组合向量聚为k类，聚类算法为k-means算法，其中k是一个参数，可设置范围为3至5；
步骤4.4、针对每个类别，遴选出最具有代表性的w名学生，其中w为自由设定的参数，可设置范围为1至4；以第i个类别为例，遴选出最具有代表性的w名学生的步骤如步骤4.5至步骤4.7；
步骤4.5、计算当前类别对应的表情组合均值向量，命名当前类别的表情组合均值向量为A；
步骤4.6、计算当前类别中所有学生的表情组合向量与表情组合均值向量A的相似度；
步骤4.7、根据相似度，从当前类别的所有学生中遴选出相似度最高的w名学生，即为当前类别中最具有代表性的w名学生；每个类别挑选了w名学生，k个类别共挑选k×w名学生；如当前类别中的学生数量小于w，则所有学生均进入遴选结果即可；
步骤五、对学生分类情况及每类别中的遴选结果，通过表格的形式进行展示；对每类别中未被遴选出的学生，根据每名学生的表情组合向量与所属类别的表情组合均值向量的相似度，由高到低依次排序展示，教师可以根据展示的结果，挑选一名或多名学生进行课堂提问或课堂交流；
步骤六、教师结束本轮课堂提问或课堂交流，继续课堂其他内容；课堂进行过程中，步骤三依旧保持每隔G秒钟执行一次，直至下课；
课堂结束，基于表情识别的课堂中学生实时分类与遴选过程结束；
至此，基于表情识别的课堂中学生实时分类与遴选方法完成。
CN202110186381.7A 2021-02-18 2021-02-18 基于表情识别的课堂中学生实时分类与遴选方法 Active CN112733806B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110186381.7A CN112733806B (zh) 2021-02-18 2021-02-18 基于表情识别的课堂中学生实时分类与遴选方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110186381.7A CN112733806B (zh) 2021-02-18 2021-02-18 基于表情识别的课堂中学生实时分类与遴选方法

Publications (2)

Publication Number Publication Date
CN112733806A CN112733806A (zh) 2021-04-30
CN112733806B true CN112733806B (zh) 2023-07-28

Family

ID=75596706

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110186381.7A Active CN112733806B (zh) 2021-02-18 2021-02-18 基于表情识别的课堂中学生实时分类与遴选方法

Country Status (1)

Country Link
CN (1) CN112733806B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105184285A (zh) * 2015-10-20 2015-12-23 南京信息工程大学 直推式迁移组稀疏判别分析的跨姿态彩色图像表情识别
CN106778539A (zh) * 2016-11-25 2017-05-31 鲁东大学 教学效果信息获取方法及装置
CN109359521A (zh) * 2018-09-05 2019-02-19 浙江工业大学 基于深度学习的课堂质量双向评估系统
CN110287792A (zh) * 2019-05-23 2019-09-27 华中师范大学 一种处于自然教学环境的课堂中学生学习状态实时分析方法
CN111178242A (zh) * 2019-12-27 2020-05-19 上海掌学教育科技有限公司 一种面向在线教育的学生人脸表情识别方法及系统
CN112101241A (zh) * 2020-09-17 2020-12-18 西南科技大学 一种基于深度学习的轻量级表情识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109117731B (zh) * 2018-07-13 2022-02-18 华中师范大学 一种课堂教学认知负荷测量系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105184285A (zh) * 2015-10-20 2015-12-23 南京信息工程大学 直推式迁移组稀疏判别分析的跨姿态彩色图像表情识别
CN106778539A (zh) * 2016-11-25 2017-05-31 鲁东大学 教学效果信息获取方法及装置
CN109359521A (zh) * 2018-09-05 2019-02-19 浙江工业大学 基于深度学习的课堂质量双向评估系统
CN110287792A (zh) * 2019-05-23 2019-09-27 华中师范大学 一种处于自然教学环境的课堂中学生学习状态实时分析方法
CN111178242A (zh) * 2019-12-27 2020-05-19 上海掌学教育科技有限公司 一种面向在线教育的学生人脸表情识别方法及系统
CN112101241A (zh) * 2020-09-17 2020-12-18 西南科技大学 一种基于深度学习的轻量级表情识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于人工智能视频处理的课堂学生状态分析;贾鹂宇;张朝晖;赵小燕;闫晓炜;;现代教育技术(第12期);全文 *

Also Published As

Publication number Publication date
CN112733806A (zh) 2021-04-30

Similar Documents

Publication Publication Date Title
WO2020010785A1 (zh) 一种课堂教学认知负荷测量系统
CN111611924B (zh) 一种基于深度迁移学习模型的蘑菇识别方法
CN111027865B (zh) 基于行为和表情识别的教学分析与质量评估系统及方法
CN111915460B (zh) 基于ai视觉的实验考试智能评分系统
US20180285739A1 (en) Deep learning for characterizing unseen categories
CN110503000B (zh) 一种基于人脸识别技术的教学抬头率测量方法
WO2021077382A1 (zh) 一种学习状态的判断方法、装置及智能机器人
CN111401105B (zh) 一种视频表情识别方法、装置及设备
CN116311483B (zh) 基于局部面部区域重构和记忆对比学习的微表情识别方法
CN111126552A (zh) 一种智能学习内容推送方法及系统
CN115909443A (zh) 基于多头注意力机制的表情识别模型及其训练方法
CN112528777A (zh) 一种用于课堂环境下的学生面部表情识别方法及系统
CN114898460B (zh) 一种基于图卷积神经网络的教师非言语行为检测方法
CN110941976A (zh) 一种基于卷积神经网络的学生课堂行为识别方法
CN112733806B (zh) 基于表情识别的课堂中学生实时分类与遴选方法
CN111160124A (zh) 一种基于知识重组的深度模型定制方法
CN114358988B (zh) 基于ai技术的教学方式推送方法及装置
CN113688789B (zh) 一种基于深度学习的在线学习投入度识别方法及系统
CN109726690B (zh) 基于DenseCap网络的学习者行为图像多区域描述方法
CN113919983A (zh) 试题画像方法、装置、电子设备和存储介质
Kousalya et al. Prediction of Best Optimizer for Facial Expression Detection using Convolutional Neural Network
González-Meneses et al. Automatic Recognition of Learning-Centered Emotions
AU2020101294A4 (en) Student’s physiological health behavioural prediction model using svm based machine learning algorithm
CN115358605B (zh) 一种基于多模态融合的职业规划辅助方法、设备及介质
CN116503674B (zh) 一种基于语义指导的小样本图像分类方法、装置及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240301

Address after: 230000 floor 1, building 2, phase I, e-commerce Park, Jinggang Road, Shushan Economic Development Zone, Hefei City, Anhui Province

Patentee after: Dragon totem Technology (Hefei) Co.,Ltd.

Country or region after: China

Address before: 100048 Beijing Business University, 11 Fucheng Road, Haidian District, Beijing

Patentee before: BEIJING TECHNOLOGY AND BUSINESS University

Country or region before: China

TR01 Transfer of patent right