CN111291613A - 一种课堂表现评价方法及系统 - Google Patents
一种课堂表现评价方法及系统 Download PDFInfo
- Publication number
- CN111291613A CN111291613A CN201911387754.6A CN201911387754A CN111291613A CN 111291613 A CN111291613 A CN 111291613A CN 201911387754 A CN201911387754 A CN 201911387754A CN 111291613 A CN111291613 A CN 111291613A
- Authority
- CN
- China
- Prior art keywords
- student
- point
- behavior
- classroom
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 23
- 230000006399 behavior Effects 0.000 claims abstract description 92
- 230000014509 gene expression Effects 0.000 claims abstract description 55
- 230000008921 facial expression Effects 0.000 claims abstract description 26
- 238000013135 deep learning Methods 0.000 claims abstract description 20
- 238000004458 analytical method Methods 0.000 claims abstract description 17
- 238000013528 artificial neural network Methods 0.000 claims abstract description 11
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 7
- 210000000707 wrist Anatomy 0.000 claims description 40
- 238000000034 method Methods 0.000 claims description 29
- 230000001815 facial effect Effects 0.000 claims description 16
- 210000004247 hand Anatomy 0.000 claims description 9
- 206010028813 Nausea Diseases 0.000 claims description 5
- 230000008693 nausea Effects 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims description 3
- 210000003128 head Anatomy 0.000 description 24
- 230000009471 action Effects 0.000 description 6
- 210000005069 ears Anatomy 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000003556 assay Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Abstract
本发明涉及一种课堂表现评价方法及系统，包括：采集课堂图像，识别课堂图像中的每个学生的人体骨骼点位置；根据识别出的每个学生的人体骨骼点位置预估对应的人脸位置并获取该位置的人脸图像；将获取到的每个人脸图像与预先存储的班级学生人脸图像进行对比，确定该人脸图像对应的学生身份；基于学生行为分析模型，确定每个身份的学生对应的人体骨骼点位置信息对应的学生行为类型；基于深度学习的人脸表情神经网络，确定每个身份的学生对应的人脸图像对应的表情类型；学生成绩预估，包括，收集单个学生一个时间段的学生行为类型、表情类型以及学生成绩构建行为成绩模型，利用最优算法求取权重，构建出行为成绩模型；利用行为成绩模型，预估该单个学生的学习成绩。
Description
技术领域
本发明涉及人工智能技术领域，具体涉及一种课堂表现评价方法及系统。
背景技术
随着社会经济的发展，学校、家长对学生的教育重视程度越来越高，而在目前的教学过程中，学校缺乏有效的量化方法来辅助老师对学生进行因材施教，及时发现“教”与“学”过程中存在的问题。幸运的是，随着计算机硬件、计算机视觉技术的发展，通过视频的方式，可以采集到学生在课堂上的表现，通过后台的AI技术，分析学生的课堂表现，转换成数据，辅助学校提高教学质量。
在目前的技术中，有基于Kinect传感器实现课堂的教学状态监测，该系统能获取学生听课过程中的彩色、深度、骨骼点图像，从而分析上课肢体状态、注意力方向，然而其刻画的学生行为维度太过简单，无法实现更深维度的行为识别，比如举手、起立、趴桌子玩手机等，同时这种具有红外摄像头及深度传感器，体积大，价格高，无法普及。
中国专利CN201811534533.2公开了一种课堂学生行为分析方法和装置，通过刻画课堂图像中的人体轮廓图像，获取到人脸图像，基于人体轮廓图像，利用深度学习技术，确定学生的行为类型，包括起立和/或举手、扭头、交谈和打闹，从而评价学生的行为，但该专利存在着刻画维度单一，且无法深度反馈具体单个学生学习行为与成绩的关联，评价学生的课堂表现，个性化的给予学习指导。
发明内容
本发明的目的在于，提出一种在复杂课堂场景下进行学生的身份信息识别以及多维度特征来辅助分析学生的课堂表现，有效的对学生进行引导，且可基于大数据分析来实现对学生的兴趣度、课堂效率评估的课堂表现评价方法及系统。
为了实现上述目的，本发明所采用的技术方案为：
一种基于人工智能的课堂表现评价方法，包括：
采集课堂图像，识别课堂图像中的每个学生的人体骨骼点位置；
根据识别出的每个学生的人体骨骼点位置预估对应的人脸位置并获取该位置的人脸图像；
将获取到的每个人脸图像与预先存储的班级学生人脸图像进行对比，确定该人脸图像对应的学生身份；
基于学生行为分析模型，确定每个身份的学生对应的人体骨骼点位置信息对应的学生行为类型；
基于深度学习的人脸表情神经网络，确定每个身份的学生对应的人脸图像对应的表情类型；
学生成绩预估，包括，收集单个学生一个时间段的学生行为类型、表情类型以及学生成绩构建行为成绩模型，所述行为成绩模型构建为：
Y＝[x1,x2,…xn]*[w0,w1,w2,…wn]T
其中，
Y为学生成绩；
[x1,x2,…xn]为学生行为类型以及表情类型特征；
[w0,w1,w2,…wn]为学生行为类型以及表情类型特征对应的权重；
利用最优算法求取权重，构建出行为成绩模型；
利用行为成绩模型，预估该单个学生的学习成绩。
其中，所述确定每个身份的学生对应的人脸图像对应的表情类型包括，基于开眼的人脸表情库，训练深度学习网络作为人脸表情神经网络；表情类型包括正常、开心、生气、惊讶、悲伤、恶心以及害怕。
其中，所述学生行为包括抬头或低头中任意一种，以及举手、起立、趴桌子、学习以及玩手机中任意一种，所述人体骨骼点位置包括了脖子点、鼻子点、左右肩膀点、左右手肘点、左右手腕点、左右眼睛点以及左右耳朵点的位置。
其中，所述学生行为分析模型包括：
低头或抬头判别，若人体骨骼点中鼻子点低于脖子点和/或鼻子点低于左右肩膀点中任意一点和/或左右耳朵点中任意一点低于脖子点，则判定为低头，反之，则判定为抬头；
举手判别，若左右手腕点中任意一点高于鼻子点且该高于鼻子点的手腕点与鼻子点的距离不低于一预定值和/或手腕点与对应一侧的手肘点的连线与桌面的夹角在预设的角度内，则判定为举手；
起立判别，起立判别，在非低头的情况下，若其中一只手臂处于自然下垂状态，则判定为起立，所述手臂处于自然下垂状态判定方法为：若手肘点和对应侧的肩膀点的连线与该手肘点和对应侧的手腕点的连线构成的夹角为180度减去一偏差角；
趴桌子判别，若满足预估的人脸位置识别不到鼻子点以及左和/或右眼睛点和/或鼻子点低于脖子点一预定距离，则判定为趴桌子；
玩手机判别模型，在非举手情况下，分别识别左右手腕点位置并分别以所述左右手腕点为中心按预设距离构建两个手机预选框，若所述两个手机预选框相交面积大于预设的阈值，则融和两个手机预选框成为一个手机预选框，利用预训练完成的手机深度学习网络模型分别对所述手机预选框进行是否存在手机的分类，若分类结果中存在手机，则判定为玩手机；
学习状态判别，若判定出的学生行为非玩手机以及非趴桌子，则判定为学习。
其中，所述根据每个学生的人体骨骼点位置预估对应的人脸位置的方法为：
获取人体骨骼点中脸部特征点，求取脸部特征点位置区域的最小外接矩形作为人脸位置矩形框，所述脸部特征点包括脖子点、鼻子点、左右眼睛点以及左右耳朵点；
若脸部特征点均未识别到，则获取人体骨骼点中身体特征点，求取身体特征点位置区域的最小外接矩形后按预设定的规则作变换获得的矩形作为人脸位置矩形框，所述身体特征点包括左右肩膀点、左右手肘点、左右手腕点。
其中，所述将获取到的每个人脸图像与预先存储的班级学生人脸图像进行对比后，若该人脸图像匹配失败，则提取出一段时间内该人脸图像位置附近出现过且未被识别到的班级学生的人脸图像进行比对，若匹配失败，则放弃该人脸图像的匹配。
其中，所述学生成绩预估步骤前还包括计算学生兴趣度得分，包括，对每种学生行为类型以及表情类型分别设置权重参数，基于课堂时间段内每帧课堂图像，计算每个学生每种学生行为出现的占比以及每种表情类型出现的占比，并将所述每种学生行为出现的占比以及每种表情类型出现的占比与对应的权重参数相乘后进行加和得出学生兴趣度得分；
计算教学质量得分，包括，将每个学生兴趣度得分进行平均作为教学质量得分。
其中，所述计算学生兴趣度得分公式为：
其中，ei为不同表情类型在全部表情中的占比，hj为低头或抬头在全部学生行为中的占比，bk为举手、起立、趴桌子、学习以及玩手机在学生行为中的占比；
本发明还提供一种课堂表现评价系统，包括，课堂图形采集单元，用于识别课堂图像中的每个学生的人体骨骼点位置；人脸图像对比单元，用于将获取到的每个人脸图像与预先存储的班级学生人脸图像进行对比，确定该人脸图像对应的学生身份；学生行为分析单元，用于基于学生行为分析模型来确定每个身份的学生对应的人体骨骼点位置信息对应的学生行为类型；人脸表情识别单元，用于基于深度学习的人脸表情神经网络，确定每个身份的学生对应的人脸图像对应的表情类型；学生成绩预估单元，用于收集单个学生一个时间段的学生行为类型、表情类型以及学生成绩后构建行为成绩模型，利用行为成绩模型，预估该单个学生的学习成绩。
本发明还提供一种计算机存储介质，用于存储计算机程序，其中，所述计算机程序被处理器执行以实现本发明上述方法的步骤。
本发明的有益效果为：
利用深度学习方法，识别课堂图像中每个学生的人体骨骼点位置，通过对人体骨骼点位置的检测，利用神经网络方法以及配合人工判别规则，实现快速的识别每个学生的学生课堂行为类型，以及通过人体骨骼点预估人脸位置，进行人脸表情识别，细致的刻画学生课堂上的上课状态；融合个人的学生行为类型以及表情类型多个维度，通过一段时间(长期的)的数据累积，结合该学生的成绩表现，构建学生成绩预估模型，从而可以利用学生成绩预估模型预测学生的成绩表现，并结合个体学习预估模型的各个权重参数与成绩，针对性的指导个体学生进行有效学习，辅助提升教室的教学质量；
在单个课堂或预设的某个周期内，还可以通过对学生的不同学生行为以及表情类型设置权重，构建学生兴趣模型，计算学生课堂的兴趣度，另外，根据所有学生在课堂上的兴趣度大得分均值，计算教学质量得分，从而从多个维度对课堂师生行为进行评价；
在通过人体骨骼点预估人脸位置后，进行人脸识别，确定学生身份，在识别失败的情况下，辅助班级人员上课的历史位置信息，极大程度可以正确识别相关位置的人员身份信息。
附图说明
图1为本发明一实施例的课堂表现评价方法的流程图；
图2为本发明一实施例的学生行为分析模型的结构框图；
图3为本发明一实施例中课堂表现评价系统的结构框图。
具体实施方式
以下将结合附图所示的具体实施方式对本发明进行详细描述。但这些实施方式并不限制本发明，本领域的普通技术人员根据这些实施方式所做出的结构、方法、或功能上的变换均包含在本发明的保护范围内。
应当予以说明的是，本发明中例如左右眼睛点应理解为包括左眼睛点和右眼睛点，其他的如左右耳朵点、左右肩膀点、左右手腕点等均同上理解。
参见图1，本发明一种实施例的一种基于人工智能的课堂行为分析方法，包括：
S1：采集课堂图像，识别课堂图像中的每个学生的人体骨骼点位置；
关于本实施例总的课堂图像，可以通过架设在教室前端一定高度的摄像头获得，具体的，通过摄像头取得在预设的课堂时段内的课堂视频，将采集课堂视频中切割成多帧课堂图像，从而针对每帧课堂图像进行操作；
关于获得课堂图像中每个学生的人体骨骼点位置的方法，本实施例中，可以利用人体骨骼点估计模型，可以基于目前业界开源的几大人体骨骼点估计系统，比如1、美国卡耐基梅隆大学开源的openpose，该系统基于C++，同时拥有丰富的接口，支持不同框架比如caffe\pytorch\tensorflow等，可以实时进行人体骨骼点估计；2、facebook开源的mask-Rcnn,也就是densepose人体骨骼点估计系统，基于python以及caffe2框架；3、上海交通大学的alphapose, 基于python以及pytorch、tensorflow，准确率高，同时可以达到实时人体关键点检测。
S2：根据识别出的每个学生的人体骨骼点位置预估对应的人脸位置并获取该位置的人脸图像；
本实施例中，所述根据每个学生的人体骨骼点位置预估对应的人脸位置的方法为：
获取人体骨骼点中脸部特征点，求取脸部特征点位置区域的最小外接矩形作为人脸位置矩形框，所述脸部特征点包括脖子点、鼻子点、左右眼睛点以及左右耳朵点；
本发明的一种实施例中，上述这脸部特征些点的最小外接矩形为 [xmin,y_min,x_max,y_max]，其中:
x_min＝min(x:{脖子点、鼻子点、左右眼睛、左右耳朵})
y_min＝min(y:{脖子点、鼻子点、左右眼睛、左右耳朵})
x_max＝max(x:{脖子点、鼻子点、左右眼睛、左右耳朵})
y_max＝max(y:{脖子点、鼻子点、左右眼睛、左右耳朵})
若脸部特征点均未识别到，则获取人体骨骼点中身体特征点，求取身体特征点位置区域的最小外接矩形后按预设定的规则作变换获得的矩形作为人脸位置矩形框，所述身体特征点包括左右肩膀点、左右手肘点、左右手腕点。
本发明的一种实施例中，利用同上方法获得左右肩膀点、左右手肘点、左右手腕点6个骨骼点位置的最小外接矩形[x_min,y_min,x_max,y_max]，在获得最小外接矩形的基础上，将以上最小外接矩形按照预设定的规则变换获得人脸位置矩形框，其最终人脸位置矩形框为 [x_min’,y_min’,x_max’,y_max’]，
其中人脸位置矩形框和最小外接矩形的变换规则如下：
x_min’＝x_min+(x_max-x_min)/4
x_max’＝x_max-(x_max-x_min)/4
y_min’＝y_min-(y_max-y_min)/5
y_max’＝y_min+(y_max-y_min)/5
S3：将获取到的每个人脸图像与预先存储的班级学生人脸图像进行对比，确定该人脸图像对应的学生身份；
一种实施例中，所述将获取到的每个人脸图像与预先存储的班级学生人脸图像进行对比后，若该人脸图像匹配失败，则提取出一段时间内该人脸图像位置附近出现过的且未被识别到的班级学生的人脸图像进行比对，若匹配失败，有可能是误检，则放弃该人脸图像的匹配。
S4：基于学生行为分析模型，参见图2，确定每个身份的学生对应的人体骨骼点位置信息对应的学生行为类型；
一种实施例中，所述学生行为类型包括抬头或低头中任意一种，以及举手、起立、趴桌子、学习以及玩手机中任意一种，所述人体骨骼点位置包括了脖子点、鼻子点、左右肩膀点、左右手肘点、左右手腕点、左右眼睛点以及左右耳朵点的位置。本发明中，左右肩膀点理解为包括左肩膀点和右肩膀点两个骨骼点，同理，左右手肘点、左右手腕点、左右眼睛点以及左右耳朵点均同上。
利用人体骨骼点位置，采用一些判别规则，可以快速的对一些人体行为进行判别，所述学生行为分析模型包括：
低头或抬头判别，若人体骨骼点中鼻子点低于脖子点和/或鼻子点低于左右肩膀点中任意一点和/或左右耳朵点中任意一点低于脖子点，则判定为低头，反之，若非低头状态，则判定为抬头；
举手判别，若左右手腕点中任意一点高于鼻子点且该高于鼻子点的手腕点与鼻子点的距离不低于一预定值，本实施例中该预定值设置为肩膀点到脖子点距离的一半；和/或手腕点与对应一侧的手肘点的连线与桌面的夹角在预设的角度内，则判定为举手；即左手腕点与左手肘点的连线与桌面的夹角在预设的角度内和/或右手腕点与右手肘点的连线与桌面的夹角在预设的角度内，即近乎垂直状态，但实际举手时角度不会是90度，本发明的一种实施例中，该预设的角度为60-90度；
起立判别，在非低头的情况下，若其中一只手臂处于自然下垂状态，则判定为起立，一种实施例中，所述手臂处于自然下垂状态判定方法为：若手肘点和对应侧的肩膀点的连线与该手肘点和对应侧的手腕点的连线构成的夹角为180度减去一偏差角，本实施例中，所述偏差角不大于10度；
趴桌子判别，若预估的人脸位置识别不到鼻子点，则判定为趴桌子，以及左和/或右眼睛点和/或鼻子点低于脖子点一预定距离，即，左、右眼睛点、鼻子点中任意一个或几个点低于脖子点一预定距离，一实施例中所述预定距离设置为肩膀点跟手肘点的距离的一半，则判定为趴桌子；
玩手机判别，在非举手情况下，分别识别左右手腕点位置并分别以所述左右手腕点为中心点按预设距离为边长构建两个手机预选框，若所述两个手机预选框相交程度大于预设的阈值，这里的相交程度计算准则为，相交程度 u＝左右相交面积/(左手机判别框面积+右手机判别框面积-相交面积),这里的相交程度合并阈值可设定为[0.3-0.6]，则融和两个手机预选框成为一个手机预选框，利用预训练完成的手机深度学习网络模型分别对所述手机预选框进行是否存在手机的分类，若分类结果中存在手机，则判定为玩手机。手机深度学习网络模型的训练数据为上述步骤中构建出的手机预选框，通过人工筛选并标注出有手机或无手机，进行深度学习网络训练得到手机深度学习网络模型。
学习状态判别，若判定出的学生行为非玩手机以及非趴桌子，则判定为学习。
S5：基于深度学习的人脸表情神经网络，确定每个身份的学生对应的人脸图像对应的表情类型；
本发明的一些实施例中，所述确定每个身份的学生对应的人脸图像对应的表情类型包括正常、开心、生气、惊讶、悲伤、恶心以及害怕，这里对于表情的识别是基于开源的人脸表情库，训练深度学习网络作为人脸表情神经网络；
关于表情类型的确定，具体方法为：将获取的人脸图像输入人脸表情识别模型，获取7种人脸表情的匹配度face_score，7种人脸表情包括正常、开心、生气、惊讶、悲伤、恶心、害怕，若得到face_score小于一定阈值，则统一将该表情置为正常，这里的经验阈值可以设[0.6-0.8]之间。
人脸表情识别，类似人脸识别模型的方法，可以采用开源的人脸表情库，如Fer2013人脸表情数据集，结合深度学习网络进行训练，得到人脸表情模型，其深度学习网络，主要为卷积神经网络CNN网络模型。
S6：学生成绩预估，包括，收集单个学生一个时间段的学生行为类型、表情类型以及学生成绩构建行为成绩模型，
具体方法包括：假设一堂课45分钟，我们每10秒抓取一次，则一堂课正常每个学生会被抓取270次，上述步骤中所说的一段时间可选为半个学期或者一个学期获取一个学年甚至更长。在模型建立前，对数据进行清洗：由于课堂可能分布着一个或是两个摄像头，因此对于摄像头内的学生可能有重叠，需要清除同一次抓拍上来的同一学生的多组相同数据，只保留一组数据，包括一种表情类型、两种学生行为类型：1、低头或是抬头其中之一；2、举手、起立、趴桌子、玩手机、学习其中之一。
其中，所述行为成绩模型构建为：
Y＝[x1,x2,…xn]*[w0,w1,w2,…wn]T
其中，
Y为学生成绩；
[x1,x2,…xn]为学生行为类型以及表情类型特征；
[w0,w1,w2,…wn]为学生行为类型以及表情类型特征对应的权重；
求解权重W可以归结为求目标函数的极值问题，即最优化问题：
利用最优算法求取权重，比如梯度下降法、拉格朗日算法、adam算法等，获取最优下的权重，构建出行为成绩模型；
利用行为成绩模型，预估该单个学生的学习成绩。
结合成绩进行权重模型的估计，意义在于，每个学生的表现不尽相同，有些人也许就是不习惯于微笑，而有些人也许就是习惯于沉默自学，因此结合行为表现以及个体成绩表现，可以个体化的估计每个学生的行为表现与成绩关联模型，后续利用模型结合学生的行为表现，可以预测学生的成绩表现，并结合个体权重参数与成绩，指导个体进行有效学习，做到个性化的学习指导。
本发明在预估学生成绩前，还包括，计算学生兴趣度得分，包括，对每种学生行为类型以及表情类型分别设置权重参数，基于课堂时间段内每帧课堂图像，计算每个学生每种学生行为出现的占比以及每种表情类型出现的占比，并将所述每种学生行为出现的占比以及每种表情类型出现的占比与对应的权重参数相乘后进行加和得出学生兴趣度得分；
对于单个课堂的评价，由于无法用学生成绩参与构建模型，利用7种面部表情、6种课堂行为数据构建兴趣度模型，体现学生的上课兴趣度，学生的兴趣度构建方法如下，假设一堂课45分钟，我们每10秒抓取一次，则一堂课正常每个学生会被抓取270次，同样，数据也需进行清洗；
统计学生在一堂课下来，7种不同面部表情在总表情中的占比ei,低头或是抬头在头部状态中的占比hj，举手、起立等5种行为的占比bk，每项占比都属于[0,1]之间。
为不同表情、学生行为分别分配权重w，这里，对每个行为类别都会有不同权重倾斜，如在表情类别中，正常表情会占大多数，因此其权重参数会偏低，而开心、恶心、惊讶等明显感情色彩的而出现次数可能较低则权重应该偏高；同样举手、起立、趴桌子、玩手机等明显兴趣度表现而次数不多的权重应该偏高，而学习状态的权重应该偏低。这里举例权重参数分布：
学生的兴趣度得分计算
学生兴趣度的归一化处理
将学生兴趣进行归一化，便于比较，这里根据理论最高分已经理论最低分进行归一化
在得到每个学生的兴趣度得分后，统计整个班级的学生得分分布情况，就可以得到老师的教学质量评分，例如，将班级学生的兴趣度得分进行平均就可以得到老师的教学得分:
fteature＝mean(f′)。
参见图3，本发明还提供了一种课堂表现评价系统，包括，
课堂图像采集单元31，用于识别课堂图像中的每个学生的人体骨骼点位置；人脸图像对比单元32，用于将获取到的每个人脸图像与预先存储的班级学生人脸图像进行对比，确定该人脸图像对应的学生身份；学生行为分析单元33，用于基于学生行为分析模型来确定每个身份的学生对应的人体骨骼点位置信息对应的学生行为类型；人脸表情识别单元34，用于基于深度学习的人脸表情神经网络，确定每个身份的学生对应的人脸图像对应的表情类型；学生成绩预估单元35，用于收集单个学生一个时间段的学生行为类型、表情类型以及学生成绩后构建行为成绩模型，利用行为成绩模型，预估该单个学生的学习成绩，所述行为成绩模型构建为：
Y＝[x1,x2,…xn]*[w0,w1,w2,…wn]T
其中，
Y为学生成绩；
[x1,x2,…xn]为学生行为一段时间内学生的行为类型以及表情类型特征；
[w0,w1,w2,…wn]为学生行为类型以及表情类型特征对应的权重；
利用最优算法求取权重，构建出行为成绩模型。
进一步的，课堂表现评价系统还包括学生兴趣度得分单元，用于对每种学生行为类型以及表情类型分别设置权重参数，基于课堂时间段内每帧课堂图像，计算每个学生每种学生行为出现的占比以及每种表情类型出现的占比，并将所述每种学生行为出现的占比以及每种表情类型出现的占比与对应的权重参数相乘后进行加和得出学生兴趣度得分；
进一步的，课堂表现评价系统还包括教学质量得分单元，用于将每个学生兴趣度得分进行平均作为教学质量得分。
进一步的，所述学生行为包括抬头或低头中任意一种，以及举手、起立、趴桌子、学习以及玩手机中任意一种，所述人体骨骼点位置包括了脖子点、鼻子点、左右肩膀点、左右手肘点、左右手腕点、左右眼睛点以及左右耳朵点的位置。
进一步的，所述学生行为分析模型包括：
低头或抬头判别，若人体骨骼点中鼻子点低于脖子点和/或鼻子点低于左右肩膀点中任意一点和/或左右耳朵点中任意一点低于脖子点，则判定为低头，反之，则判定为抬头；
举手判别，若左右手腕点中任意一点高于鼻子点且该高于鼻子点的手腕点与鼻子点的距离不低于一预定值和/或手腕点与对应一侧的手肘点的连线与桌面的夹角在预设的角度内，则判定为举手；
起立判别，起立判别，在非低头的情况下，若其中一只手臂处于自然下垂状态，则判定为起立，所述手臂处于自然下垂状态判定方法为：若手肘点和对应侧的肩膀点的连线与该手肘点和对应侧的手腕点的连线构成的夹角为180度减去一偏差角；
趴桌子判别，若满足预估的人脸位置识别不到鼻子点以及左和/或右眼睛点和/或鼻子点低于脖子点一预定距离中任意一种，则判定为趴桌子；
玩手机判别模型，在非举手情况下，分别识别左右手腕点位置并分别以所述左右手腕点为中心按预设距离构建两个手机预选框，若所述两个手机预选框相交面积大于预设的阈值，则融和两个手机预选框成为一个手机预选框，利用预训练完成的手机深度学习网络模型分别对所述手机预选框进行是否存在手机的分类，若分类结果中存在手机，则判定为玩手机；
学习状态判别，若未被判定为举手、起立、趴桌子以及玩手机中任意一种，则判定为学习。
本发明还提供一种计算机存储介质，可以用于实现上述实施例中的方法步骤。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。
Claims (10)
1.一种课堂表现评价方法，其特征在于，包括：
采集课堂图像，识别课堂图像中的每个学生的人体骨骼点位置；
根据识别出的每个学生的人体骨骼点位置预估对应的人脸位置并获取该位置的人脸图像；
将获取到的每个人脸图像与预先存储的班级学生人脸图像进行对比，确定该人脸图像对应的学生身份；
基于学生行为分析模型，确定每个身份的学生对应的人体骨骼点位置信息对应的学生行为类型；
基于深度学习的人脸表情神经网络，确定每个身份的学生对应的人脸图像对应的表情类型；
学生成绩预估，包括，收集单个学生一个时间段的学生行为类型、表情类型以及学生成绩构建行为成绩模型，所述行为成绩模型构建为：
Y＝[x1,x2,…xn]*[w0,w1,w2,…wn]T
其中，
Y为学生成绩；
[x1,x2,…xn]为学生行为一段时间内学生的行为类型以及表情类型特征；
[w0,w1,w2,…wn]为学生行为类型以及表情类型特征对应的权重；
利用最优算法求取权重，构建出行为成绩模型；
利用行为成绩模型，预估该单个学生的学习成绩。
2.如权利要求1所述的一种课堂表现评价方法，其特征在于，所述确定每个身份的学生对应的人脸图像对应的表情类型包括，基于开源的人脸表情库，训练深度学习网络作为人脸表情神经网络；表情类型包括正常、开心、生气、惊讶、悲伤、恶心以及害怕。
3.如权利要求2所述的一种课堂表现评价方法，其特征在于，所述学生行为包括抬头或低头中任意一种，以及举手、起立、趴桌子、学习以及玩手机中任意一种，所述人体骨骼点位置包括了脖子点、鼻子点、左右肩膀点、左右手肘点、左右手腕点、左右眼睛点以及左右耳朵点的位置。
4.如权利要求3所述的一种课堂表现评价方法，其特征在于，所述学生行为分析模型包括：
低头或抬头判别，若人体骨骼点中鼻子点低于脖子点和/或鼻子点低于左右肩膀点中任意一点和/或左右耳朵点中任意一点低于脖子点，则判定为低头，反之，则判定为抬头；
举手判别，若左右手腕点中任意一点高于鼻子点且该高于鼻子点的手腕点与鼻子点的距离不低于一预定值和/或手腕点与对应一侧的手肘点的连线与桌面的夹角在预设的角度内，则判定为举手；
起立判别，起立判别，在非低头的情况下，若其中一只手臂处于自然下垂状态，则判定为起立，所述手臂处于自然下垂状态判定方法为：若手肘点和对应侧的肩膀点的连线与该手肘点和对应侧的手腕点的连线构成的夹角为180度减去一偏差角；
趴桌子判别，若满足预估的人脸位置识别不到鼻子点以及左和/或右眼睛点和/或鼻子点低于脖子点一预定距离中任意一种，则判定为趴桌子；
玩手机判别模型，在非举手情况下，分别识别左右手腕点位置并分别以所述左右手腕点为中心按预设距离构建两个手机预选框，若所述两个手机预选框相交面积大于预设的阈值，则融和两个手机预选框成为一个手机预选框，利用预训练完成的手机深度学习网络模型分别对所述手机预选框进行是否存在手机的分类，若分类结果中存在手机，则判定为玩手机；
学习状态判别，若未被判定为举手、起立、趴桌子以及玩手机中任意一种，则判定为学习。
5.如权利要求1所述的一种课堂表现评价方法，其特征在于，所述根据每个学生的人体骨骼点位置预估对应的人脸位置的方法为：
获取人体骨骼点中脸部特征点，求取脸部特征点位置区域的最小外接矩形作为人脸位置矩形框，所述脸部特征点包括脖子点、鼻子点、左右眼睛点以及左右耳朵点；
若脸部特征点均未识别到，则获取人体骨骼点中身体特征点，求取身体特征点位置区域的最小外接矩形后按预设定的规则作变换获得的矩形作为人脸位置矩形框，所述身体特征点包括左右肩膀点、左右手肘点、左右手腕点。
6.如权利要求5所述的一种课堂表现评价方法，其特征在于，所述将获取到的每个人脸图像与预先存储的班级学生人脸图像进行对比后，若该人脸图像匹配失败，则提取出一段时间内该人脸图像位置附近出现过且未被识别到的班级学生的人脸图像进行比对，若匹配失败，则放弃该人脸图像的匹配。
7.如权利要求1至6任一权利要求所述的一种课堂表现评价方法，其特征在于，所述学生成绩预估步骤前还包括计算学生兴趣度得分，包括，对每种学生行为类型以及表情类型分别设置权重参数，基于课堂时间段内每帧课堂图像，计算每个学生每种学生行为出现的占比以及每种表情类型出现的占比，并将所述每种学生行为出现的占比以及每种表情类型出现的占比与对应的权重参数相乘后进行加和得出学生兴趣度得分；
计算教学质量得分，包括，将每个学生兴趣度得分进行平均作为教学质量得分。
8.如权利要求7所述的一种课堂表现评价方法，其特征在于，所述计算学生兴趣度得分公式为：
其中，ei为不同表情类型在全部表情中的占比，hj为低头或抬头在全部学生行为中的占比，bk为举手、起立、趴桌子、学习以及玩手机在学生行为中的占比。
9.一种课堂表现评价系统，包括，课堂图形采集单元，用于识别课堂图像中的每个学生的人体骨骼点位置；人脸图像对比单元，用于将获取到的每个人脸图像与预先存储的班级学生人脸图像进行对比，确定该人脸图像对应的学生身份；学生行为分析单元，用于基于学生行为分析模型来确定每个身份的学生对应的人体骨骼点位置信息对应的学生行为类型；人脸表情识别单元，用于基于深度学习的人脸表情神经网络，确定每个身份的学生对应的人脸图像对应的表情类型；学生成绩预估单元，用于收集单个学生一个时间段的学生行为类型、表情类型以及学生成绩后构建行为成绩模型，利用行为成绩模型，预估该单个学生的学习成绩。
10.一种计算机存储介质，用于存储计算机程序，其中，所述计算机程序被处理器执行以实现权利要求1至8中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911387754.6A CN111291613B (zh) | 2019-12-30 | 2019-12-30 | 一种课堂表现评价方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911387754.6A CN111291613B (zh) | 2019-12-30 | 2019-12-30 | 一种课堂表现评价方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111291613A true CN111291613A (zh) | 2020-06-16 |
| CN111291613B CN111291613B (zh) | 2024-04-23 |
Family
ID=71021583
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911387754.6A Active CN111291613B (zh) | 2019-12-30 | 2019-12-30 | 一种课堂表现评价方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111291613B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112132009A (zh) * | 2020-09-22 | 2020-12-25 | 湖南惟楚有才教育科技有限公司 | 课堂行为分析方法、系统及电子设备 |
| CN112287891A (zh) * | 2020-11-23 | 2021-01-29 | 福州大学 | 基于表情及行为特征提取的通过视频评估学习专注力的方法 |
| CN112732770A (zh) * | 2021-02-05 | 2021-04-30 | 嘉兴南洋职业技术学院 | 基于人工智能的教务管理系统及方法 |
| CN112819665A (zh) * | 2021-01-29 | 2021-05-18 | 上海商汤科技开发有限公司 | 课堂状态的评估方法和相关装置、设备 |
| CN112990735A (zh) * | 2021-03-30 | 2021-06-18 | 东营职业学院 | 基于数学教学的课堂质量反馈评价方法及装置 |
| CN115019570A (zh) * | 2021-03-03 | 2022-09-06 | 北京七鑫易维信息技术有限公司 | 一种智能教学系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107316261A (zh) * | 2017-07-10 | 2017-11-03 | 湖北科技学院 | 一种基于人脸分析的教学质量评估系统 |
| CN107609517A (zh) * | 2017-09-15 | 2018-01-19 | 华中科技大学 | 一种基于计算机视觉的课堂行为检测系统 |
| CN108230480A (zh) * | 2018-03-09 | 2018-06-29 | 成都主题智链信息技术有限公司 | 一种教学数据挖掘分析系统 |
| CN109359606A (zh) * | 2018-10-24 | 2019-02-19 | 江苏君英天达人工智能研究院有限公司 | 一种课堂实时监测与评估系统及其工作方法、创建方法 |
| CN110287792A (zh) * | 2019-05-23 | 2019-09-27 | 华中师范大学 | 一种处于自然教学环境的课堂中学生学习状态实时分析方法 |
-
2019
- 2019-12-30 CN CN201911387754.6A patent/CN111291613B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107316261A (zh) * | 2017-07-10 | 2017-11-03 | 湖北科技学院 | 一种基于人脸分析的教学质量评估系统 |
| CN107609517A (zh) * | 2017-09-15 | 2018-01-19 | 华中科技大学 | 一种基于计算机视觉的课堂行为检测系统 |
| CN108230480A (zh) * | 2018-03-09 | 2018-06-29 | 成都主题智链信息技术有限公司 | 一种教学数据挖掘分析系统 |
| CN109359606A (zh) * | 2018-10-24 | 2019-02-19 | 江苏君英天达人工智能研究院有限公司 | 一种课堂实时监测与评估系统及其工作方法、创建方法 |
| CN110287792A (zh) * | 2019-05-23 | 2019-09-27 | 华中师范大学 | 一种处于自然教学环境的课堂中学生学习状态实时分析方法 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112132009A (zh) * | 2020-09-22 | 2020-12-25 | 湖南惟楚有才教育科技有限公司 | 课堂行为分析方法、系统及电子设备 |
| CN112287891A (zh) * | 2020-11-23 | 2021-01-29 | 福州大学 | 基于表情及行为特征提取的通过视频评估学习专注力的方法 |
| CN112287891B (zh) * | 2020-11-23 | 2022-06-10 | 福州大学 | 基于表情行为特征提取的通过视频评估学习专注力的方法 |
| CN112819665A (zh) * | 2021-01-29 | 2021-05-18 | 上海商汤科技开发有限公司 | 课堂状态的评估方法和相关装置、设备 |
| CN112732770A (zh) * | 2021-02-05 | 2021-04-30 | 嘉兴南洋职业技术学院 | 基于人工智能的教务管理系统及方法 |
| CN115019570A (zh) * | 2021-03-03 | 2022-09-06 | 北京七鑫易维信息技术有限公司 | 一种智能教学系统 |
| CN112990735A (zh) * | 2021-03-30 | 2021-06-18 | 东营职业学院 | 基于数学教学的课堂质量反馈评价方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111291613B (zh) | 2024-04-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111291613A (zh) | 一种课堂表现评价方法及系统 | |
| CN108399376B (zh) | 学生课堂学习兴趣智能分析方法及系统 | |
| CN109522815B (zh) | 一种专注度评估方法、装置及电子设备 | |
| CN110349667B (zh) | 结合调查问卷及多模态范式行为数据分析的孤独症评估系统 | |
| CN108805009A (zh) | 基于多模态信息融合的课堂学习状态监测方法及系统 | |
| WO2021077382A1 (zh) | 一种学习状态的判断方法、装置及智能机器人 | |
| WO2020082566A1 (zh) | 基于生物识别的远程教学方法、装置、设备及存储介质 | |
| Hu et al. | Research on abnormal behavior detection of online examination based on image information | |
| CN110135282B (zh) | 一种基于深度卷积神经网络模型的考生回头抄袭作弊检测方法 | |
| CN111275345B (zh) | 一种基于深度学习的课堂信息化评价及管理的系统及方法 | |
| CN109902912B (zh) | 一种基于性格特征的个性化图像美学评价方法 | |
| CN112183238B (zh) | 一种远程教育注意力检测方法及系统 | |
| CN109885595A (zh) | 基于人工智能的课程推荐方法、装置、设备及存储介质 | |
| CN105893942B (zh) | 一种基于eSC和HOG的自适应HMM的手语识别方法 | |
| CN109377429A (zh) | 一种人脸识别素质教育智慧评价系统 | |
| JP2018032164A (ja) | 面接システム | |
| CN111523444A (zh) | 基于改进的Openpose模型和面部微表情的课堂行为检测的方法 | |
| CN112883867A (zh) | 一种基于图像情感分析的学生在线学习评估方法及系统 | |
| CN115205764B (zh) | 基于机器视觉的在线学习专注度监测方法、系统及介质 | |
| WO2020007097A1 (zh) | 数据处理方法、存储介质和电子设备 | |
| CN115937928A (zh) | 基于多视觉特征融合的学习状态监测方法及系统 | |
| CN111523445A (zh) | 一种基于改进的Openpose模型和面部微表情的考试行为检测方法 | |
| CN111666829A (zh) | 多场景多主体身份行为情绪识别分析方法及智能监管系统 | |
| Villegas-Ch et al. | Identification of emotions from facial gestures in a teaching environment with the use of machine learning techniques | |
| CN112926364B (zh) | 头部姿态的识别方法及系统、行车记录仪和智能座舱 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |