CN114677751B - 学习状态的监控方法、监控装置及存储介质 - Google Patents
学习状态的监控方法、监控装置及存储介质 Download PDFInfo
- Publication number
- CN114677751B CN114677751B CN202210578060.6A CN202210578060A CN114677751B CN 114677751 B CN114677751 B CN 114677751B CN 202210578060 A CN202210578060 A CN 202210578060A CN 114677751 B CN114677751 B CN 114677751B
- Authority
- CN
- China
- Prior art keywords
- face
- image
- information
- feature
- feature extraction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000012544 monitoring process Methods 0.000 title claims abstract description 33
- 238000003860 storage Methods 0.000 title claims abstract description 9
- 238000012806 monitoring device Methods 0.000 title claims description 12
- 238000000605 extraction Methods 0.000 claims abstract description 124
- 238000005520 cutting process Methods 0.000 claims description 36
- 238000012545 processing Methods 0.000 claims description 35
- 238000012795 verification Methods 0.000 claims description 33
- 238000012216 screening Methods 0.000 claims description 19
- 238000006243 chemical reaction Methods 0.000 claims description 18
- 238000007781 pre-processing Methods 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 17
- 230000004927 fusion Effects 0.000 claims description 14
- 238000005457 optimization Methods 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 4
- 239000002131 composite material Substances 0.000 claims 2
- 230000008569 process Effects 0.000 abstract description 11
- 239000011159 matrix material Substances 0.000 description 12
- 230000001815 facial effect Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种学习状态的监控方法、监控装置及存储介质,该方法包括:获取上课视频;对上课视频进行人脸特征提取,获得人脸特征;基于人脸特征对上课视频进行人脸分类,获得对应的人脸分类结果;基于人脸分类结果对预处理后视频进行人脸手势识别,并基于人脸手势识别结果生成初步学生状态信息;获取综合识别模型,基于综合识别模型对初步学生状态信息进行综合识别,获得学生状态识别结果。通过预先创建基于多特征的综合识别模型,在后续的学生学习状态识别过程中,实时获取学生的上课视频,并对学生的人脸特征进行提取和识别,结合学生的手势特征对学生的学习状态进行综合识别,大大提高了识别的实时性,提高了识别精确性,满足了实际需求。
Description
技术领域
本发明涉及教学监控技术领域,具体地涉及一种学习状态的监控方法、一种学习状态的监控装置以及一种计算机可读存储介质。
背景技术
教育是提高国民素质、提高国家竞争力的有力途径,因此良好、有效的教育必不可少。传统的教育过程往往是基于线下的面对面教育,即老师与学生面对面进行教育内容的传递,在此情况下,老师能够及时对学生的学习状态进行获知和监督。
而随着科技的不断发展,以及人们的生活需求的不断变化,人们对线上教育的需求也越来越高,例如随着通信技术的不断发展,线上视频教育被广泛应用。
然而在实际的应过程中,技术人员发现在线视频教育过程至少存在如下技术问题:
由于老师与学生并不是面对面的教育沟通,因此老师无法及时对学生的学习状态进行监督和管理,往往需要在课后通过人工查阅对应的教学录像视频,以对学生的学习状态进行判断,然而一方面,由于上课视频往往持续时间较长,因此该监督方法费时费力;另一方面,课后的监督判断时效性较差,无法满足实际需求。
发明内容
为了克服现有技术中存在的上述技术问题,本发明实施例提供一种学习状态的监控方法,通过在人脸识别的基础上,进一步结合手势识别综合对学生的学习状态进行识别,从而在满足实时监控的同时,实现更精确的学生状态识别效果。
为了实现上述目的,本发明实施例提供一种学习状态的监控方法,所述监控方法包括:获取上课视频;对所述上课视频进行人脸特征提取,获得人脸特征;基于所述人脸特征对所述上课视频进行人脸分类,获得对应的人脸分类结果;基于所述人脸分类结果对所述上课视频进行人脸手势识别,并基于人脸手势识别结果生成初步学生状态信息;获取综合识别模型,基于所述综合识别模型对所述初步学生状态信息进行综合识别,获得学生状态识别结果。
优选地,所述对所述上课视频进行人脸特征提取,获得人脸特征,包括:对所述上课视频进行预处理操作,获得预处理后图像;获取预设人脸特征提取模型;基于所述预设人脸特征提取模型对所述预处理后图像进行人脸特征提取,获得人脸特征。
优选地,所述对所述上课视频进行预处理操作,获得预处理后图像,包括:按照预设频率对所述上课视频进行图像抽取,获得对应的图像集;对所述图像集中的每张图像进行裁剪,获得每张图像对应的预设数量的裁剪图,其中当前图像对应的裁剪图中的每张裁剪图与当前图像对应的其他裁剪图存在重叠区域;分别基于每张图像以及每张图像对应的裁剪图创建多个目标图像集;对所述目标图像集中的每张图像执行归一化处理,获得对应的第一处理后图像;对所述第一处理后图像执行灰度化处理,获得第二处理后图像;对所述第二处理后图像执行图像增强处理,获得预处理后图像。
优选地,所述基于所述人脸特征对所述上课视频进行人脸分类,获得人脸分类结果,包括:对所述人脸特征进行初始权重计算,获得对应的初始特征权重;基于所述初始特征权重对所述人脸特征进行优化,获得优化后特征;获取预设约束条件,基于所述预设约束条件对所述优化后特征进行约束操作,获得约束后特征;对所述约束后特征执行人脸分类识别,获得对应的人脸分类结果。
优选地,所述上课视频包括验证视频,所述方法还包括:确定与所述预设人脸特征提取模型对应的多个模型参数;基于所述验证视频对所述预设人脸特征提取模型在每个模型参数下进行验证操作,获得验证结果;基于所述验证结果在所述多个模型参数中确定最佳模型参数;基于所述最佳模型参数对所述预设人脸特征提取模型进行优化,获得优化后模型。
优选地,所述基于所述人脸分类结果对所述上课视频进行人脸手势识别,并基于人脸手势识别结果生成初步学生状态信息,包括:基于所述人脸分类结果在所述预处理后图像中提取人脸图像;按照预设筛选规则对所述人脸图像进行筛选,获得筛选后人脸图像;对所述筛选后人脸图像进行特征提取,获得对应的特征提取信息;基于所述特征提取信息对所述筛选后人脸图像进行人脸手势识别,获得人脸手势识别结果;基于所述人脸手势识别结果生成初步学生状态信息。
优选地,所述对所述筛选后人脸图像进行特征提取,获得对应的特征提取信息,包括:对所述筛选后人脸图像进行格式转换,获得转换后图像;基于预设肤色模型对所述筛选后人脸图像进行特征提取,获得初步特征信息;计算确定所述筛选后人脸图像的中间参数值;基于所述初步特征信息和所述中间参数值计算确定所述转换后图像的第一特征值和第二特征值;基于所述转换后图像、所述第一特征值以及所述第二特征值确定所述筛选后人脸图像对应的特征提取信息。
优选地,所述转换后图像包括亮度特征信息,所述基于所述转换后图像、所述第一特征值以及所述第二特征值确定所述筛选后人脸图像对应的特征提取信息,包括:基于所述亮度特征信息、所述第一特征值以及所述第二特征值生成所述筛选后人脸图像的融合特征信息;获取预设特征约束范围;基于所述预设特征约束范围对每张筛选后人脸图像的融合特征信息进行灰度转换处理,获得对应的特征提取信息。
优选地,所述基于所述特征提取信息对所述筛选后人脸图像进行人脸手势识别,获得人脸手势识别结果,包括:基于所述特征提取信息判断所述筛选后人脸图像中人脸与手部是否存在重合区域;若是,则获取人脸与手部的相对位置,基于所述相对位置对所述筛选后人脸图像进行人脸手势识别,生成对应的人脸手势识别结果;否则,对所述筛选后人脸图像进行人脸手势识别,获得人脸手势识别结果。
优选地,所述获取综合识别模型,包括:获取样本数据;依次计算所述样本数据中每个样本的信息熵;基于所述信息熵确定对应的信息增益;基于所述信息增益创建多个决策随机模型;基于所述多个决策随机模型生成综合识别模型。
优选地,所述基于所述综合识别模型对所述初步学生状态信息进行综合识别,获得学生状态识别结果,包括:对所述初步学生状态信息进行统计,获得状态统计信息;获取每个学生的复购信息、课堂评分信息以及预设状态分类规则;基于所述预设状态分类规则、所述复购信息、所述课堂评分信息以及所述状态统计信息对学生进行分类,获得学生初步分类;基于所述综合识别模型对所述状态统计信息和所述学生初步分类进行分析处理,获得学生状态识别结果。
相应的,本发明实施例还提供一种学习状态的监控装置,所述监控装置包括:视频获取单元,用于获取上课视频;特征提取单元,用于对所述上课视频进行人脸特征提取,获得人脸特征;分类单元,用于基于所述人脸特征对所述上课视频进行人脸分类,获得对应的人脸分类结果;初步识别单元,用于基于所述人脸分类结果对所述上课视频进行人脸手势识别,并基于人脸手势识别结果生成初步学生状态信息;状态识别单元,用于获取综合识别模型,基于所述综合识别模型对所述初步学生状态信息进行综合识别,获得学生状态识别结果。
优选地,所述特征提取单元包括:预处理模块,用于对所述上课视频进行预处理操作,获得预处理后图像;第一模型获取模块,用于获取预设人脸特征提取模型;第一特征提取模块,用于基于所述预设人脸特征提取模型对所述预处理后图像进行人脸特征提取,获得人脸特征。
优选地,所述对所述上课视频进行预处理操作,获得预处理后图像,包括:按照预设频率对所述上课视频进行图像抽取,获得对应的图像集;对所述图像集中的每张图像进行裁剪,获得每张图像对应的预设数量的裁剪图,其中当前图像对应的裁剪图中的每张裁剪图与当前图像对应的其他裁剪图存在重叠区域;分别基于每张图像以及每张图像对应的裁剪图创建多个目标图像集;对所述目标图像集中的每张图像执行归一化处理,获得对应的第一处理后图像;对所述第一处理后图像执行灰度化处理,获得第二处理后图像;对所述第二处理后图像执行图像增强处理,获得预处理后图像。
优选地,所述分类单元包括:权重计算模块,用于对所述人脸特征进行初始权重计算,获得对应的初始特征权重;优化模块,用于基于所述初始特征权重对所述人脸特征进行优化,获得优化后特征;约束模块,用于获取预设约束条件,基于所述预设约束条件对所述优化后特征进行约束操作,获得约束后特征;分类模块,用于对所述约束后特征执行人脸分类识别,获得对应的人脸分类结果。
优选地,所述上课视频包括验证视频,所述监控装置还包括优化单元,所述优化单元具体用于:确定与所述预设人脸特征提取模型对应的多个模型参数;基于所述验证视频对所述预设人脸特征提取模型在每个模型参数下进行验证操作,获得验证结果;基于所述验证结果在所述多个模型参数中确定最佳模型参数;基于所述最佳模型参数对所述预设人脸特征提取模型进行优化,获得优化后模型。
优选地,所述初步识别单元包括:图像提取模块,用于基于所述人脸分类结果在所述预处理后图像中提取人脸图像;筛选模块,用于按照预设筛选规则对所述人脸图像进行筛选,获得筛选后人脸图像;第二特征提取模块,用于对所述筛选后人脸图像进行特征提取,获得对应的特征提取信息;第一识别模块,用于基于所述特征提取信息对所述筛选后人脸图像进行人脸手势识别,获得人脸手势识别结果;第二识别模块,用于基于所述人脸手势识别结果生成初步学生状态信息。
优选地,所述对所述筛选后人脸图像进行特征提取,获得对应的特征提取信息,包括:对所述筛选后人脸图像进行格式转换,获得转换后图像;基于预设肤色模型对所述筛选后人脸图像进行特征提取,获得初步特征信息;计算确定所述筛选后人脸图像的中间参数值;基于所述初步特征信息和所述中间参数值计算确定所述转换后图像的第一特征值和第二特征值;基于所述转换后图像、所述第一特征值以及所述第二特征值确定所述筛选后人脸图像对应的特征提取信息。
优选地,所述转换后图像包括亮度特征信息,所述基于所述转换后图像、所述第一特征值以及所述第二特征值确定所述筛选后人脸图像对应的特征提取信息,包括:基于所述亮度特征信息、所述第一特征值以及所述第二特征值生成所述筛选后人脸图像的融合特征信息;获取预设特征约束范围;基于所述预设特征约束范围对每张筛选后人脸图像的融合特征信息进行灰度转换处理,获得对应的特征提取信息。
优选地,所述基于所述特征提取信息对所述筛选后人脸图像进行人脸手势识别,获得人脸手势识别结果,包括:基于所述特征提取信息判断所述筛选后人脸图像中人脸与手部是否存在重合区域;若是,则获取人脸与手部的相对位置,基于所述相对位置对所述筛选后人脸图像进行人脸手势识别,生成对应的人脸手势识别结果;否则,对所述筛选后人脸图像进行人脸手势识别,获得人脸手势识别结果。
优选地,所述状态识别单元包括第二模型获取模块,所述第二模型获取模块具体用于:获取样本数据;依次计算所述样本数据中每个样本的信息熵;基于所述信息熵确定对应的信息增益;基于所述信息增益创建多个决策随机模型;基于所述多个决策随机模型生成综合识别模型。
优选地,所述状态识别单元包括状态识别模块,所述状态识别模块具体用于:对所述初步学生状态信息进行统计,获得状态统计信息;获取每个学生的复购信息、课堂评分信息以及预设状态分类规则;基于所述预设状态分类规则、所述复购信息、所述课堂评分信息以及所述状态统计信息对学生进行分类,获得学生初步分类;基于所述综合识别模型对所述状态统计信息和所述学生初步分类进行分析处理,获得学生状态识别结果。
另一方面,本发明实施例还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本发明实施例提供的方法。
通过本发明提供的技术方案,本发明至少具有如下技术效果:
通过预先创建基于多特征的综合识别模型,在后续的学生学习状态识别过程中,一方面实时获取学生的上课视频,并对学生的人脸特征进行提取和识别,另一方面结合学生的手势特征对学生的学习状态进行综合识别,从而大大提高了识别的实时性,提高了识别精确性,满足了实际需求。
本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明实施例的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本发明实施例,但并不构成对本发明实施例的限制。在附图中:
图1是本发明实施例提供的学习状态的监控方法的具体实现流程图;
图2是本发明实施例提供的学习状态的监控方法中进行人脸特征提取获得人脸特征的具体实现流程图;
图3是本发明实施例提供的学习状态的监控方法中进行人脸分类获得人脸分类结果的具体实现流程图;
图4是本发明实施例提供的学习状态的监控方法中生成初步学生状态信息的具体实现流程图;
图5是本发明实施例提供的学习状态的监控方法中针对识别结果的细分示意图;
图6是本发明实施例提供的学习状态的监控方法中获取综合识别模型的具体实现流程图;
图7是本发明实施例提供的学习状态的监控装置的结构示意图。
具体实施方式
以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本发明实施例,并不用于限制本发明实施例。
本发明实施例中的术语“系统”和“网络”可被互换使用。“多个”是指两个或两个以上,鉴于此,本发明实施例中也可以将“多个”理解为“至少两个”。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,字符“/”,如无特殊说明,一般表示前后关联对象是一种“或”的关系。另外,需要理解的是,在本发明实施例的描述中,“第一”、“第二”等词汇,仅用于区分描述的目的,而不能理解为指示或暗示相对重要性,也不能理解为指示或暗示顺序。
请参见图1,本发明实施例提供一种学习状态的监控方法,所述监控方法包括:
S10)获取上课视频;
S20)对所述上课视频进行人脸特征提取,获得人脸特征;
S30)基于所述人脸特征对所述上课视频进行人脸分类,获得对应的人脸分类结果;
S40)基于所述人脸分类结果对所述上课视频进行人脸手势识别,并基于人脸手势识别结果生成初步学生状态信息;
S50)获取综合识别模型,基于所述综合识别模型对所述初步学生状态信息进行综合识别,获得学生状态识别结果。
在一种可能的实施方式中,为了实现对学生的上课状态的实时、精确的监控,首先获取上课视频,并将该上课视频存储至学生视频数据库。此时对该上课视频进行人脸特征提取,以获得对应的人脸特征。
请参见图2,在本发明实施例中,所述对所述上课视频进行人脸特征提取,获得人脸特征,包括:
S21)对所述上课视频进行预处理操作,获得预处理后图像;
S22)获取预设人脸特征提取模型;
S23)基于所述预设人脸特征提取模型对所述预处理后图像进行人脸特征提取,获得人脸特征。
进一步地,在本发明实施例中,所述对所述上课视频进行预处理操作,获得预处理后图像,包括:按照预设频率对所述上课视频进行图像抽取,获得对应的图像集;对所述图像集中的每张图像进行裁剪,获得每张图像对应的预设数量的裁剪图,其中当前图像对应的裁剪图中的每张裁剪图与当前图像对应的其他裁剪图存在重叠区域;分别基于每张图像以及每张图像对应的裁剪图创建多个目标图像集;对所述目标图像集中的每张图像执行归一化处理,获得对应的第一处理后图像;对所述第一处理后图像执行灰度化处理,获得第二处理后图像;对所述第二处理后图像执行图像增强处理,获得预处理后图像。
在一种可能的实施方式中,首先对上述上课视频进行预处理操作,具体的,可以截取学生视频数据库中的视频数据,例如按照预设频率对上课视频进行图像抽取,该预设视频优选为0.5s,以获得对应的图像集,将上述图像集存储至图像数据库中,上述图像集可以根据实际需求被划分为训练集、验证集和测试集,例如可以按照6:3:1的比例将上述图像集随机划分为上述三个子集。
此时对上述图像集中的每张图像进行裁剪,以获得对应的预设数量的多张裁剪图,例如将每帧图像裁剪为4张裁剪图,每张裁剪图与其他裁剪图存在重叠区域,此时将当前帧图像与对应的4张裁剪图创建为目标图像集,即为图像集中的每张图像均创建了对应的目标图像集,此时进一步对每个目标图像集中的每张图像进行归一化处理。具体的,首先计算一个均值像素值矩阵,然后对于每个均值像素值矩阵减去对应位置的像素均值,然后将所有图片的每个像素的标准差设置为1,从而实现了对目标图像集中每张图像的归一化处理,以获得对应的多张第一处理后图像。
此时对每张第一处理后图像进行灰度化处理,具体的,可以根据预设公式计算输入图像的原始灰度矩阵,例如该预设计算公式为:f(i,j)=(R(i,j)+G(i,j)+B(i,j)) /3,例如在一种实施例中,将当前目标图像集中的每张图像分别表示为C0,C1,C2,C3,C4,将其对应的原始灰度矩阵表征为g0,g1,g2,g3,g4,并获得对应的第二处理后图像,然后对每张第二处理后图像进行图像增强处理,以获得预处理后图像,具体的,通过对每张图像的大小进行调整,以使得每张图像的像素相同,例如将当前帧图像的裁剪图像的灰度矩阵进行扩大至当前帧图像的灰度矩阵大小,在扩大的过程中,可以用0来补充所扩充的行和列,并获得处理后的灰度矩阵G0,G1,G2,G3,G4。请参见表1和表2,为灰度矩阵g1以及处理后灰度矩阵G1的一种具体实施例。
60 | 800 | 0 | 8 | 1 |
90 | 7 | 0 | 5 | 0 |
70 | 56 | 66 | 0 | 5 |
57 | 78 | 0 | 9 | 4 |
98 | 9 | 4 | 8 | 0 |
表1灰度矩阵g1
0 | 0 | 0 | 0 | 0 | 0 | 0 |
0 | 60 | 800 | 0 | 8 | 1 | 0 |
0 | 90 | 7 | 0 | 5 | 0 | 0 |
0 | 70 | 56 | 66 | 0 | 5 | 0 |
0 | 57 | 78 | 0 | 9 | 4 | 0 |
0 | 98 | 9 | 4 | 8 | 0 | 0 |
0 | 0 | 0 | 0 | 0 | 0 | 0 |
表2处理后灰度矩阵G1
根据上述处理后灰度矩阵G0,G1,G2,G3,G4即获得了当前目标图像集对应的预处理后图像,基于同样的原理,可以获得所有目标图像集对应的预处理后图像,此时可以将上述预处理后图像输入预设人脸特征提取模型,例如输入预训练好的CNN卷积神经网络中进行人脸特征提取,该CNN卷积神经网络中包括依次连接的卷积层、池化层和连接层,通过卷积层可以提取每张预处理后图像的图像特征;每个连接层可以包括512个神经元,用于得到面部样本集的512维的特征向量,即获得对应的人脸特征,当前目标图像集中每张图像的特征集可以表示为T0,T1,T2,T3,T4。根据上述提取出的人脸特征,可以对上课视频进行人脸分类,以获得对应的人脸分类结果。
请参见图3,在本发明实施例中,所述基于所述人脸特征对所述上课视频进行人脸分类,获得人脸分类结果,包括:
S31)对所述人脸特征进行初始权重计算,获得对应的初始特征权重;
S32)基于所述初始特征权重对所述人脸特征进行优化,获得优化后特征;
S33)获取预设约束条件,基于所述预设约束条件对所述优化后特征进行约束操作,获得约束后特征;
S34)对所述约束后特征执行人脸分类识别,获得对应的人脸分类结果。
在一种可能的实施方式中,首先对人脸特征进行初始权重计算,例如在该CNN卷积神经网络中包括权重层,通过该权重层对人脸特征进行初始权重计算以获得对应的初始特征权重,具体的,将上述人脸特征输入权重层中,并对不同学生、老师的图像特征权重进行学习,表情特征权重计算公式表示为:qi = L(A2*R(A1*zi)),其中:L:;R:a=g(x)=max(0,z),其中zi为上述人脸特征中任一人脸特征对应的全局特征,qi为任一目标图像集中任一图像的表情特征权重,R为ReLU激活函数,L为logsig激活函数,在本发明实施例中,将该表情特征权重作为人脸特征的初始特征权重。此时基于该初始特征权重对人脸特征进行优化,以获得优化后特征,具体的,可以通过如下计算公式进行优化:
其中,Fm为优化后特征,Fi为人脸特征,c为每个目标图像集中的图像数量。
此时进一步获取预设约束条件,例如该预设约束条件为约束性损失函数,优选地,该约束性损失函数为max-margin函数,该预设约束条件可以表征为:L1=MAX(0,margin-q max +q 1 ),其中q max 为目标图像集中各图像的权重最大值,q l 为当前计算的具有遮挡的图像的权重,margin为预设阈值。经过上述预设约束条件的约束,得到对应的约束后特征,此时对该约束后特征进行人脸分类识别,例如将上述约束后特征输入SoftMax分类器以进行表情分类识别,从而获得对应的人脸分类结果。
在本发明实施例中,通过采用约束性损失函数将权重的差值控制在一个合理的范围内,从而有效控制了人脸特征提取以及人脸识别的误差,提高了人脸识别精确性。
在本发明实施例中,所述上课视频包括验证视频,所述方法还包括:确定与所述预设人脸特征提取模型对应的多个模型参数;基于所述验证视频对所述预设人脸特征提取模型在每个模型参数下进行验证操作,获得验证结果;基于所述验证结果在所述多个模型参数中确定最佳模型参数;基于所述最佳模型参数对所述预设人脸特征提取模型进行优化,获得优化后模型。
在一种可能的实施方式中,在通过预设人脸特征提取模型进行人脸特征提取的过程中,为了进一步提高人脸识别结果的精确性,还需要对该预设人脸特征提取模型进行优化。具体的,首先确定与该预设人脸特征提取模型对应的多个模型参数,例如将该模型的margin分别设置为0. 03、0. 08 和 0. 1,并分别进行验证操作,并判断验证结果的精确性,例如在本发明实施例中,当margin的值为0.08值时该预设人脸特征提取模型的精确性和稳定性最佳,即margin=0.08为最佳模型参数,此时基于该最佳模型参数对预设人脸特征提取模型进行优化,获得优化后模型,通过上述优化后模型对人脸进行分类,可以获得对应的人脸分类结果,例如在本发明实施例中,人脸分类结果包括人脸类和非人脸类,其中非人脸类识别结果包括低头,仰头,转头等;人脸类识别结果包括中立(即无表情)微笑,大笑,皱眉等。
然而在实际应用过程中,技术人员发现采用单一的特征识别虽然可以识别学生的上课状态,但存在较大的误差和偏差,因此为了进一步提高对学生学习状态的识别精确性,采用多特征融合进行综合分析的方法进行识别。
请参见图4,在本发明实施例中,所述基于所述人脸分类结果对所述上课视频进行人脸手势识别,并基于人脸手势识别结果生成初步学生状态信息,包括:
S41)基于所述人脸分类结果在所述预处理后图像中提取人脸图像;
S42)按照预设筛选规则对所述人脸图像进行筛选,获得筛选后人脸图像;
S43)对所述筛选后人脸图像进行特征提取,获得对应的特征提取信息;
S44)基于所述特征提取信息对所述筛选后人脸图像进行人脸手势识别,获得人脸手势识别结果;
S45)基于所述人脸手势识别结果生成初步学生状态信息。
在一种可能的实施方式中,首先根据上述人脸识别结果从预处理后图像中提取人脸图像以进一步进行识别。然后按照预设筛选规则对人脸图像进行筛选,由于手势不属于人脸部分,且可能存在遮挡人脸的情况,因此将导致人脸识别的权重分配占比较低的情况,因此可将手势识别的范围缩小至人脸表情识别后人脸类图像的权重最小的某些图像中进行,例如在本发明实施例中,可以基于上述计算出的初始特征权重,获取在每个目标图像集中权重最小的几张图像(例如取权重最小的3张图像)来进行手势识别,经过上述筛选,获得筛选后人脸图像。此时进一步进行特征提取,以获得对应的特征提取信息。
在本发明实施例中,所述对所述筛选后人脸图像进行特征提取,获得对应的特征提取信息,包括:对所述筛选后人脸图像进行格式转换,获得转换后图像;基于预设肤色模型对所述筛选后人脸图像进行特征提取,获得初步特征信息;计算确定所述筛选后人脸图像的中间参数值;基于所述初步特征信息和所述中间参数值计算确定所述转换后图像的第一特征值和第二特征值;基于所述转换后图像、所述第一特征值以及所述第二特征值确定所述筛选后人脸图像对应的特征提取信息。
在一种可能的实施方式中,首先对该筛选后人脸图像进行格式转换,例如在本发明实施例中,上述筛选后人脸图像均为RGB格式的图像,将上述筛选后人脸图像转换为HSV图像,以利用HSV颜色直方图将手势区域与背景区域进行分割,具体的,可以采用如下公式进行转换计算:
V=max(R,G,B);
此时另一方面,基于预设肤色模型对筛选后人脸图像进行特征提取,以获得初步特征信息,例如该预设肤色模型为椭圆肤色模型,具体的,基于该椭圆肤色模型将筛选后图像从RGB颜色空间图像转换至YUV颜色空间图像,转换公式表示为:
Y = 0.299R + 0.587G + 0.114B
U = -0.147R - 0.289G + 0.436B
V = 0.615R - 0.515G - 0.100B
其中,Y为亮度,U表示图像中的红色分量,V表示图像中的蓝色分量,例如在本发明实施例中,将该图像中的红色分量和蓝色分量作为该图像的初步特征信息。此时进一步计算该筛选后图像的中间参数值,例如该中间参数值包括中间值L、Cb分量、Cr分量以及平均UV值,其中该中间值L表征为L=(B-(0.239*R+0.578*G+0.115*B));此时基于中间值L可以计算出Cb分量和Cr分量,具体的,Cb分量表征为:Cb=L*0.556+128;Cr分量表征为:Cr=L*0.718+128,此时根据上述参数进一步计算出平均UV值,例如该平均UV值表征为:U’=(U+ Cb)/2,V’=(V+Cr)/2,此时可以基于转换后图像中的亮度特征H、平均红色分量U’(即第一特征值)以及平均蓝色分量V’(即第二特征值)确定筛选后人脸图像对应的特征提取信息。
在本发明实施例中,所述转换后图像包括亮度特征信息,所述基于所述转换后图像、所述第一特征值以及所述第二特征值确定所述筛选后人脸图像对应的特征提取信息,包括:基于所述亮度特征信息、所述第一特征值以及所述第二特征值生成所述筛选后人脸图像的融合特征信息;获取预设特征约束范围;基于所述预设特征约束范围对每张筛选后人脸图像的融合特征信息进行灰度转换处理,获得对应的特征提取信息。
在一种可能的实施方式中,首先根据筛选后人脸图像中的亮度信息H、平均红色分量U’以及平均蓝色分量V’生成筛选后人脸图像的融合特征信息,然后获取预设特征约束范围,例如在本发明实施例中,该预设特征约束范围分别为:5≤H≤28;130≤U’≤175;77≤V’≤129;此时根据上述预设特征预设范围对每张筛选后人脸图像的上述三个值进行灰度转换处理,具体的,通过遍历筛选后图像中的每个像素点,当该像素点的像素值落在上述区域内时,将该像素点的特征值标记为0,否则标记为255,从而实现对筛选后图像的灰度转换处理,并获得对应的灰度图像,在本发明实施例中,将该灰度图像作为针对筛选后人脸图像的特征提取信息。此时可以根据上述特征提取信息对筛选后人脸图像进行人脸手势识别,以获得人脸手势识别结果。
在本发明实施例中,所述基于所述特征提取信息对所述筛选后人脸图像进行人脸手势识别,获得人脸手势识别结果,包括:基于所述特征提取信息判断所述筛选后人脸图像中人脸与手部是否存在重合区域;若是,则获取人脸与手部的相对位置,基于所述相对位置对所述筛选后人脸图像进行人脸手势识别,生成对应的人脸手势识别结果;否则,对所述筛选后人脸图像进行人脸手势识别,获得人脸手势识别结果。
在一种可能的实施方式中,首先根据该灰度图像判断人脸与手部是否存在重合区域,若是,则根据人脸与手部的相对位置进行人脸手势识别,并生成对应的人脸手势识别结果;否则,直接进行人脸手势识别,并生成对应的人脸手势识别结果。在具体的识别过程中,可以将上述灰度图像、人脸识别结果等数据输入SoftMax分类器进行人脸手势分类识别,并获得对应的人脸手势识别结果。此时进一步根据人脸手势识别结果生成初步学生状态信息,例如可以根据输出的手势数据以及人脸表情数据(人脸识别结果)对识别结果进行细分,例如请参见图5,为本发明实施例提供的针对识别结果的细分示意图,将上述细分结果作为初步学生状态信息。此时可以通过预先创建的综合识别模型对学生状态进行综合识别。因此,首先需要创建综合识别模型。
请参见图6,在本发明实施例中,所述获取综合识别模型,包括:
S51)获取样本数据集;
S52)计算所述样本数据集的信息熵;
S53)基于所述信息熵确定对应的信息增益;
S54)基于所述信息增益创建多个决策随机模型;
S55)基于所述多个决策随机模型生成综合识别模型。
在一种可能的实施方式中,该综合识别模型为基于决策随机模型的综合识别模型。首先获取样本数据集,该样本数据集中包括每个学生的学习状态以及特征集(人脸手势识别结果),然后计算样本数据集的信息熵。具体的,首先从样本数据集中抽取80%的样本数据作为第一个决策随机模型的输入数据D,并计算第一个决策随机模型的信息熵,在本发明实施例中,该输入数据D中的状态为1的样本占比p1,状态为2的样本占比为p2…则该信息熵P可以表征为:
例如该输入数据D的特征集为{ smile_time,laugh_time,help_face_frown,shake_head_time,raise_quiet,miss_time},其中laugh_time有3个离值:{[0,30),[30,240),[240,3600)},为了让特征作用显著,把数值相差较大的连续性特征转化为离散的程度数据,用不同值代表一个个连续的区间,可以令区间小于30帧对应级别为1,区间大于等于30帧且小于240帧对应级别为2,区间大于等于240帧且小于3600帧对应级别为3,转化结果如下:
当laugh_time<30时,值改变=1
当30<=laugh_time<240时, 值改变=2……
此时,基于上述信息熵可以计算出对应的信息增益,例如使用“laugh_time”对数据集D进行划分,则可得到3个子集,分别为:D1(“laugh_time” =1)、D2(“laugh_time”=2)、D3(“laugh_time”=3)。 D1共包含k1个样本,满意样本占比为q1;D2包含k2个样本,满意样本占比为q2;D3包含了k3个样本,满意样本占比为q3。基于此,可以计算出用“laugh_time”划分之后所获得的3个分支结点的信息熵分别为P1,P2,P3,计算过程如下:
进一步地,可以计算出特征”laugh_time”的信息增益为:
GAIN(D,laugh_time)= P-(P1+P2+P3)=0.108;基于同样的原理,可以计算得到其他特征的信息增益,例如根据计算结果可确定特征“shake_head_time”的信息增益最大,因此将特征“shake_head_time”作为第一决策随机模型的第一个划分属性,此时根据shake_head_time将样本数据集进一步划分为多个子集,例如划分为h1,h2,h3三个子集,然后进一步计算每个子集的信息熵,继续划分直至集合中所有元素属于相同的状态分类或集合为空,得到最终的第一决策随机模型。
然后基于同样的原理,构建K个决策随机模型,例如在本发明实施例中,构建128个决策随机模型,并根据最终获得的K个决策随机模型生成综合识别模型。在创建综合识别模型后,可以对学生进行综合状态识别。
在本发明实施例中,所述基于所述综合识别模型对所述初步学生状态信息进行综合识别,获得学生状态识别结果,包括:对所述初步学生状态信息进行统计,获得状态统计信息;获取每个学生的复购信息、课堂评分信息以及预设状态分类规则;基于所述预设状态分类规则、所述复购信息、所述课堂评分信息以及所述状态统计信息对学生进行分类,获得学生初步分类;基于所述综合识别模型对所述状态统计信息和所述学生初步分类进行处理,获得学生状态识别结果。
在一种可能的实施方式中,首先对所获得的初步学生状态信息进行统计,以获得状态统计信息,该状态统计信息包括每种状态在所有状态中的占比,以及每种状态在上课视频中的帧数,其中包括学生不在屏幕中出现的图像帧数。然后获取每个学生在学习过程中的复购信息、课堂评分信息以及预设状态分类规则,然后对学生进行分类,例如在一种实施例中,该预设分类规则表示为:
状态1(一般):课堂评分范围为score∈[0,3)或课堂评分范围为score∈[3,8),且不复购;
状态2(良好):课堂评分范围为score∈[3,8),且复购或课堂评分范围为score∈[8,10),且不复购;
状态3(优秀):课堂评分范围为score∈[8,10),且复购。
此时基于上述综合识别模型对上述状态统计信息和学生初步分类进行分析处理,从而获得学生状态识别结果。例如在对某3个学生进行状态分析的过程中,获得如下数据:
Student_id | smile_time | laugh_time | help_face_frown | shake_head_time | raise_quiet | miss_time |
00356 | 563 | 32 | 34 | 290 | 65 | 96 |
01275 | 354 | 63 | 21 | 98 | 27 | 133 |
00933 | 25 | 3 | 267 | 345 | 5 | 47 |
将上述数据输入综合识别模型后,得到学生00356在128个决策随机模型中的分类结果为:状态1:14%;状态2:78%;状态3:8%,因此可以确定该学生的学生状态识别结果为状态2。
在本发明实施例中,通过采用基于多特征的学生状态识别方法,能够大大提高对学生上课学习状态的识别精确性,能够在实时进行的识别的基础上,实现准确的学生学习状态识别结果,满足了实际需求。
根据上述预设状态分类规则对学生进行分类,获得学生初步分类。
下面结合附图对本发明实施例所提供的学习状态的监控装置进行说明。
请参见图7,基于同一发明构思,本发明实施例提供一种学习状态的监控装置,所述监控装置包括:视频获取单元,用于获取上课视频;特征提取单元,用于对所述上课视频进行人脸特征提取,获得人脸特征;分类单元,用于基于所述人脸特征对所述上课视频进行人脸分类,获得对应的人脸分类结果;初步识别单元,用于基于所述人脸分类结果对所述上课视频进行人脸手势识别,并基于人脸手势识别结果生成初步学生状态信息;状态识别单元,用于获取综合识别模型,基于所述综合识别模型对所述初步学生状态信息进行综合识别,获得学生状态识别结果。
在本发明实施例中,所述特征提取单元包括:预处理模块,用于对所述上课视频进行预处理操作,获得预处理后图像;第一模型获取模块,用于获取预设人脸特征提取模型;第一特征提取模块,用于基于所述预设人脸特征提取模型对所述预处理后图像进行人脸特征提取,获得人脸特征。
在本发明实施例中,所述对所述上课视频进行预处理操作,获得预处理后图像,包括:按照预设频率对所述上课视频进行图像抽取,获得对应的图像集;对所述图像集中的每张图像进行裁剪,获得每张图像对应的预设数量的裁剪图,其中当前图像对应的裁剪图中的每张裁剪图与当前图像对应的其他裁剪图存在重叠区域;分别基于每张图像以及每张图像对应的裁剪图创建多个目标图像集;对所述目标图像集中的每张图像执行归一化处理,获得对应的第一处理后图像;对所述第一处理后图像执行灰度化处理,获得第二处理后图像;对所述第二处理后图像执行图像增强处理,获得预处理后图像。
在本发明实施例中,所述分类单元包括:权重计算模块,用于对所述人脸特征进行初始权重计算,获得对应的初始特征权重;优化模块,用于基于所述初始特征权重对所述人脸特征进行优化,获得优化后特征;约束模块,用于获取预设约束条件,基于所述预设约束条件对所述优化后特征进行约束操作,获得约束后特征;分类模块,用于对所述约束后特征执行人脸分类识别,获得对应的人脸分类结果。
在本发明实施例中,所述上课视频包括验证视频,所述监控装置还包括优化单元,所述优化单元具体用于:确定与所述预设人脸特征提取模型对应的多个模型参数;基于所述验证视频对所述预设人脸特征提取模型在每个模型参数下进行验证操作,获得验证结果;基于所述验证结果在所述多个模型参数中确定最佳模型参数;基于所述最佳模型参数对所述预设人脸特征提取模型进行优化,获得优化后模型。
在本发明实施例中,所述初步识别单元包括:图像提取模块,用于基于所述人脸分类结果在所述预处理后图像中提取人脸图像;筛选模块,用于按照预设筛选规则对所述人脸图像进行筛选,获得筛选后人脸图像;第二特征提取模块,用于对所述筛选后人脸图像进行特征提取,获得对应的特征提取信息;第一识别模块,用于基于所述特征提取信息对所述筛选后人脸图像进行人脸手势识别,获得人脸手势识别结果;第二识别模块,用于基于所述人脸手势识别结果生成初步学生状态信息。
在本发明实施例中,所述对所述筛选后人脸图像进行特征提取,获得对应的特征提取信息,包括:对所述筛选后人脸图像进行格式转换,获得转换后图像;基于预设肤色模型对所述筛选后人脸图像进行特征提取,获得初步特征信息;计算确定所述筛选后人脸图像的中间参数值;基于所述初步特征信息和所述中间参数值计算确定所述转换后图像的第一特征值和第二特征值;基于所述转换后图像、所述第一特征值以及所述第二特征值确定所述筛选后人脸图像对应的特征提取信息。
在本发明实施例中,所述转换后图像包括亮度特征信息,所述基于所述转换后图像、所述第一特征值以及所述第二特征值确定所述筛选后人脸图像对应的特征提取信息,包括:基于所述亮度特征信息、所述第一特征值以及所述第二特征值生成所述筛选后人脸图像的融合特征信息;获取预设特征约束范围;基于所述预设特征约束范围对每张筛选后人脸图像的融合特征信息进行灰度转换处理,获得对应的特征提取信息。
在本发明实施例中,所述基于所述特征提取信息对所述筛选后人脸图像进行人脸手势识别,获得人脸手势识别结果,包括:基于所述特征提取信息判断所述筛选后人脸图像中人脸与手部是否存在重合区域;若是,则获取人脸与手部的相对位置,基于所述相对位置对所述筛选后人脸图像进行人脸手势识别,生成对应的人脸手势识别结果;否则,对所述筛选后人脸图像进行人脸手势识别,获得人脸手势识别结果。
在本发明实施例中,所述状态识别单元包括第二模型获取模块,所述第二模型获取模块具体用于:获取样本数据;依次计算所述样本数据中每个样本的信息熵;基于所述信息熵确定对应的信息增益;基于所述信息增益创建多个决策随机模型;基于所述多个决策随机模型生成综合识别模型。
在本发明实施例中,所述状态识别单元包括状态识别模块,所述状态识别模块具体用于:对所述初步学生状态信息进行统计,获得状态统计信息;获取每个学生的复购信息、课堂评分信息以及预设状态分类规则;基于所述预设状态分类规则、所述复购信息、所述课堂评分信息以及所述状态统计信息对学生进行分类,获得学生初步分类;基于所述综合识别模型对所述状态统计信息和所述学生初步分类进行分析处理,获得学生状态识别结果。
进一步地,本发明实施例还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本发明实施例所述的方法。
以上结合附图详细描述了本发明实施例的可选实施方式,但是,本发明实施例并不限于上述实施方式中的具体细节,在本发明实施例的技术构思范围内,可以对本发明实施例的技术方案进行多种简单变型,这些简单变型均属于本发明实施例的保护范围。
另外需要说明的是,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合。为了避免不必要的重复,本发明实施例对各种可能的组合方式不再另行说明。
本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序存储在一个存储介质中,包括若干指令用以使得单片机、芯片或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
此外,本发明实施例的各种不同的实施方式之间也可以进行任意组合,只要其不违背本发明实施例的思想,其同样应当视为本发明实施例所公开的内容。
Claims (17)
1.一种学习状态的监控方法,其特征在于,所述监控方法包括:
获取上课视频;
对所述上课视频进行人脸特征提取,获得人脸特征;
基于所述人脸特征对所述上课视频进行人脸分类,获得对应的人脸分类结果;
基于所述人脸分类结果对所述上课视频进行人脸手势识别,并基于人脸手势识别结果生成初步学生状态信息;
获取综合识别模型,基于所述综合识别模型对所述初步学生状态信息进行综合识别,获得学生状态识别结果;
所述获取综合识别模型,包括:
获取样本数据;
依次计算所述样本数据中每个样本的信息熵;
基于所述信息熵确定对应的信息增益;
基于所述信息增益创建多个决策随机模型;
基于所述多个决策随机模型生成综合识别模型;
所述对所述上课视频进行人脸特征提取,获得人脸特征,包括:
对所述上课视频进行预处理操作,获得预处理后图像;
所述对所述上课视频进行预处理操作,获得预处理后图像,包括:
按照预设频率对所述上课视频进行图像抽取,获得对应的图像集;
所述基于所述人脸分类结果对所述上课视频进行人脸手势识别,并基于人脸手势识别结果生成初步学生状态信息,包括:
基于所述人脸分类结果在所述预处理后图像中提取人脸图像;
按照预设筛选规则对所述人脸图像进行筛选,获得筛选后人脸图像;
对所述筛选后人脸图像进行特征提取,获得对应的特征提取信息;
基于所述特征提取信息对所述筛选后人脸图像进行人脸手势识别,获得人脸手势识别结果;
基于所述人脸手势识别结果生成初步学生状态信息;
所述人脸识别结果包括所述人脸特征的初始特征权重,所述按照预设筛选规则对所述人脸图像进行筛选,获得筛选后人脸图像,包括:
基于所述初始特征权重在所述人脸图像中获取权重最小的预设数量的图像作为所述筛选后人脸图像;
所述对所述筛选后人脸图像进行特征提取,获得对应的特征提取信息,包括:
对所述筛选后人脸图像进行格式转换,获得转换后图像;
基于预设肤色模型对所述筛选后人脸图像进行特征提取,获得初步特征信息;
计算确定所述筛选后人脸图像的中间参数值;
基于所述初步特征信息和所述中间参数值计算确定所述转换后图像的第一特征值和第二特征值;
基于所述转换后图像、所述第一特征值以及所述第二特征值确定所述筛选后人脸图像对应的特征提取信息。
2.根据权利要求1所述的监控方法,其特征在于,所述对所述上课视频进行人脸特征提取,获得人脸特征,还包括:
获取预设人脸特征提取模型;
基于所述预设人脸特征提取模型对所述预处理后图像进行人脸特征提取,获得人脸特征。
3.根据权利要求2所述的监控方法,其特征在于,所述对所述上课视频进行预处理操作,获得预处理后图像,还包括:
对所述图像集中的每张图像进行裁剪,获得每张图像对应的预设数量的裁剪图,其中当前图像对应的裁剪图中的每张裁剪图与当前图像对应的其他裁剪图存在重叠区域;
分别基于每张图像以及每张图像对应的裁剪图创建多个目标图像集;
对所述目标图像集中的每张图像执行归一化处理,获得对应的第一处理后图像;
对所述第一处理后图像执行灰度化处理,获得第二处理后图像;
对所述第二处理后图像执行图像增强处理,获得预处理后图像。
4.根据权利要求2所述的监控方法,其特征在于,所述基于所述人脸特征对所述上课视频进行人脸分类,获得人脸分类结果,包括:
对所述人脸特征进行初始权重计算,获得对应的初始特征权重;
基于所述初始特征权重对所述人脸特征进行优化,获得优化后特征;
获取预设约束条件,基于所述预设约束条件对所述优化后特征进行约束操作,获得约束后特征;
对所述约束后特征执行人脸分类识别,获得对应的人脸分类结果。
5.根据权利要求2所述的监控方法,其特征在于,所述上课视频包括验证视频,所述方法还包括:
确定与所述预设人脸特征提取模型对应的多个模型参数;
基于所述验证视频对所述预设人脸特征提取模型在每个模型参数下进行验证操作,获得验证结果;
基于所述验证结果在所述多个模型参数中确定最佳模型参数;
基于所述最佳模型参数对所述预设人脸特征提取模型进行优化,获得优化后模型。
6.根据权利要求1所述的监控方法,其特征在于,所述转换后图像包括亮度特征信息,所述基于所述转换后图像、所述第一特征值以及所述第二特征值确定所述筛选后人脸图像对应的特征提取信息,包括:
基于所述亮度特征信息、所述第一特征值以及所述第二特征值生成所述筛选后人脸图像的融合特征信息;
获取预设特征约束范围;
基于所述预设特征约束范围对每张筛选后人脸图像的融合特征信息进行灰度转换处理,获得对应的特征提取信息。
7.根据权利要求1所述的监控方法,其特征在于,所述基于所述特征提取信息对所述筛选后人脸图像进行人脸手势识别,获得人脸手势识别结果,包括:
基于所述特征提取信息判断所述筛选后人脸图像中人脸与手部是否存在重合区域;
若是,则获取人脸与手部的相对位置,基于所述相对位置对所述筛选后人脸图像进行人脸手势识别,生成对应的人脸手势识别结果;
否则,对所述筛选后人脸图像进行人脸手势识别,获得人脸手势识别结果。
8.根据权利要求1所述的监控方法,其特征在于,所述基于所述综合识别模型对所述初步学生状态信息进行综合识别,获得学生状态识别结果,包括:
对所述初步学生状态信息进行统计,获得状态统计信息;
获取每个学生的复购信息、课堂评分信息以及预设状态分类规则;
基于所述预设状态分类规则、所述复购信息、所述课堂评分信息以及所述状态统计信息对学生进行分类,获得学生初步分类;
基于所述综合识别模型对所述状态统计信息和所述学生初步分类进行分析处理,获得学生状态识别结果。
9.一种学习状态的监控装置,其特征在于,所述监控装置包括:
视频获取单元,用于获取上课视频;
特征提取单元,用于对所述上课视频进行人脸特征提取,获得人脸特征;
分类单元,用于基于所述人脸特征对所述上课视频进行人脸分类,获得对应的人脸分类结果;
初步识别单元,用于基于所述人脸分类结果对所述上课视频进行人脸手势识别,并基于人脸手势识别结果生成初步学生状态信息;
状态识别单元,用于获取综合识别模型,基于所述综合识别模型对所述初步学生状态信息进行综合识别,获得学生状态识别结果;
所述状态识别单元包括第二模型获取模块,所述第二模型获取模块具体用于:
获取样本数据;
依次计算所述样本数据中每个样本的信息熵;
基于所述信息熵确定对应的信息增益;
基于所述信息增益创建多个决策随机模型;
基于所述多个决策随机模型生成综合识别模型;
所述特征提取单元包括:
预处理模块,用于对所述上课视频进行预处理操作,获得预处理后图像;
所述对所述上课视频进行预处理操作,获得预处理后图像,包括:
按照预设频率对所述上课视频进行图像抽取,获得对应的图像集;
所述初步识别单元包括:
图像提取模块,用于基于所述人脸分类结果在所述预处理后图像中提取人脸图像;
筛选模块,用于按照预设筛选规则对所述人脸图像进行筛选,获得筛选后人脸图像;
第二特征提取模块,用于对所述筛选后人脸图像进行特征提取,获得对应的特征提取信息;
第一识别模块,用于基于所述特征提取信息对所述筛选后人脸图像进行人脸手势识别,获得人脸手势识别结果;
第二识别模块,用于基于所述人脸手势识别结果生成初步学生状态信息;
所述人脸识别结果包括所述人脸特征的初始特征权重,所述筛选模块用于:
基于所述初始特征权重在所述人脸图像中获取权重最小的预设数量的图像作为所述筛选后人脸图像;
所述对所述筛选后人脸图像进行特征提取,获得对应的特征提取信息,包括:
对所述筛选后人脸图像进行格式转换,获得转换后图像;
基于预设肤色模型对所述筛选后人脸图像进行特征提取,获得初步特征信息;
计算确定所述筛选后人脸图像的中间参数值;
基于所述初步特征信息和所述中间参数值计算确定所述转换后图像的第一特征值和第二特征值;
基于所述转换后图像、所述第一特征值以及所述第二特征值确定所述筛选后人脸图像对应的特征提取信息。
10.根据权利要求9所述的监控装置,其特征在于,所述特征提取单元还包括:
第一模型获取模块,用于获取预设人脸特征提取模型;
第一特征提取模块,用于基于所述预设人脸特征提取模型对所述预处理后图像进行人脸特征提取,获得人脸特征。
11.根据权利要求10所述的监控装置,其特征在于,所述对所述上课视频进行预处理操作,获得预处理后图像,还包括:
对所述图像集中的每张图像进行裁剪,获得每张图像对应的预设数量的裁剪图,其中当前图像对应的裁剪图中的每张裁剪图与当前图像对应的其他裁剪图存在重叠区域;
分别基于每张图像以及每张图像对应的裁剪图创建多个目标图像集;
对所述目标图像集中的每张图像执行归一化处理,获得对应的第一处理后图像;
对所述第一处理后图像执行灰度化处理,获得第二处理后图像;
对所述第二处理后图像执行图像增强处理,获得预处理后图像。
12.根据权利要求10所述的监控装置,其特征在于,所述分类单元包括:
权重计算模块,用于对所述人脸特征进行初始权重计算,获得对应的初始特征权重;
优化模块,用于基于所述初始特征权重对所述人脸特征进行优化,获得优化后特征;
约束模块,用于获取预设约束条件,基于所述预设约束条件对所述优化后特征进行约束操作,获得约束后特征;
分类模块,用于对所述约束后特征执行人脸分类识别,获得对应的人脸分类结果。
13.根据权利要求10所述的监控装置,其特征在于,所述上课视频包括验证视频,所述监控装置还包括优化单元,所述优化单元具体用于:
确定与所述预设人脸特征提取模型对应的多个模型参数;
基于所述验证视频对所述预设人脸特征提取模型在每个模型参数下进行验证操作,获得验证结果;
基于所述验证结果在所述多个模型参数中确定最佳模型参数;
基于所述最佳模型参数对所述预设人脸特征提取模型进行优化,获得优化后模型。
14.根据权利要求9所述的监控装置,其特征在于,所述转换后图像包括亮度特征信息,所述基于所述转换后图像、所述第一特征值以及所述第二特征值确定所述筛选后人脸图像对应的特征提取信息,包括:
基于所述亮度特征信息、所述第一特征值以及所述第二特征值生成所述筛选后人脸图像的融合特征信息;
获取预设特征约束范围;
基于所述预设特征约束范围对每张筛选后人脸图像的融合特征信息进行灰度转换处理,获得对应的特征提取信息。
15.根据权利要求9所述的监控装置,其特征在于,所述基于所述特征提取信息对所述筛选后人脸图像进行人脸手势识别,获得人脸手势识别结果,包括:
基于所述特征提取信息判断所述筛选后人脸图像中人脸与手部是否存在重合区域;
若是,则获取人脸与手部的相对位置,基于所述相对位置对所述筛选后人脸图像进行人脸手势识别,生成对应的人脸手势识别结果;
否则,对所述筛选后人脸图像进行人脸手势识别,获得人脸手势识别结果。
16.根据权利要求9所述的监控装置,其特征在于,所述状态识别单元包括状态识别模块,所述状态识别模块具体用于:
对所述初步学生状态信息进行统计,获得状态统计信息;
获取每个学生的复购信息、课堂评分信息以及预设状态分类规则;
基于所述预设状态分类规则、所述复购信息、所述课堂评分信息以及所述状态统计信息对学生进行分类,获得学生初步分类;
基于所述综合识别模型对所述状态统计信息和所述学生初步分类进行分析处理,获得学生状态识别结果。
17.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1-8中任一项权利要求所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210578060.6A CN114677751B (zh) | 2022-05-26 | 2022-05-26 | 学习状态的监控方法、监控装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210578060.6A CN114677751B (zh) | 2022-05-26 | 2022-05-26 | 学习状态的监控方法、监控装置及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114677751A CN114677751A (zh) | 2022-06-28 |
CN114677751B true CN114677751B (zh) | 2022-09-09 |
Family
ID=82080238
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210578060.6A Active CN114677751B (zh) | 2022-05-26 | 2022-05-26 | 学习状态的监控方法、监控装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114677751B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112001826A (zh) * | 2020-08-26 | 2020-11-27 | 重庆满惠网络科技有限公司 | 一种基于大数据的教育信息智能分类系统 |
CN112819665A (zh) * | 2021-01-29 | 2021-05-18 | 上海商汤科技开发有限公司 | 课堂状态的评估方法和相关装置、设备 |
CN114358988A (zh) * | 2022-03-11 | 2022-04-15 | 深圳市中文路教育科技有限公司 | 基于ai技术的教学方式推送方法及装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110363084A (zh) * | 2019-06-10 | 2019-10-22 | 北京大米科技有限公司 | 一种上课状态检测方法、装置、存储介质及电子 |
CN111611940A (zh) * | 2020-05-22 | 2020-09-01 | 西安佐尔电子技术有限公司 | 一种基于大数据处理的快速视频人脸识别方法 |
CN111553323A (zh) * | 2020-05-22 | 2020-08-18 | 北京市商汤科技开发有限公司 | 视频处理方法及装置、电子设备和存储介质 |
CN111783830A (zh) * | 2020-05-29 | 2020-10-16 | 平安科技(深圳)有限公司 | 基于oct的视网膜分类方法、装置、计算机设备及存储介质 |
CN112506342B (zh) * | 2020-12-04 | 2022-01-28 | 郑州中业科技股份有限公司 | 基于动态手势识别的人机交互方法及系统 |
CN113450369B (zh) * | 2021-04-20 | 2023-08-04 | 广州铁路职业技术学院(广州铁路机械学校) | 一种基于人脸识别技术的课堂分析系统及方法 |
-
2022
- 2022-05-26 CN CN202210578060.6A patent/CN114677751B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112001826A (zh) * | 2020-08-26 | 2020-11-27 | 重庆满惠网络科技有限公司 | 一种基于大数据的教育信息智能分类系统 |
CN112819665A (zh) * | 2021-01-29 | 2021-05-18 | 上海商汤科技开发有限公司 | 课堂状态的评估方法和相关装置、设备 |
CN114358988A (zh) * | 2022-03-11 | 2022-04-15 | 深圳市中文路教育科技有限公司 | 基于ai技术的教学方式推送方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN114677751A (zh) | 2022-06-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106803257B (zh) | 一种作物病害叶片图像中病斑的分割方法 | |
CN112287941B (zh) | 一种基于自动字符区域感知的车牌识别方法 | |
CN108710893B (zh) | 一种基于特征融合的数字图像相机源模型分类方法 | |
CN112541422A (zh) | 光照和头部姿态鲁棒的表情识别方法、设备及存储介质 | |
CN110969171A (zh) | 基于改进卷积神经网络的图像分类模型、方法及应用 | |
CN109145964B (zh) | 一种实现图像颜色聚类的方法和系统 | |
CN101615244A (zh) | 手写板坯号自动识别方法及识别装置 | |
CN113657168B (zh) | 基于卷积神经网络的学生学习情绪的识别方法 | |
CN113450369B (zh) | 一种基于人脸识别技术的课堂分析系统及方法 | |
US20230290118A1 (en) | Automatic classification method and system of teaching videos based on different presentation forms | |
CN112883867A (zh) | 一种基于图像情感分析的学生在线学习评估方法及系统 | |
CN111507227A (zh) | 基于深度学习的多学生个体分割及状态自主识别方法 | |
CN113762107A (zh) | 对象状态评估方法、装置、电子设备及可读存储介质 | |
CN106570503A (zh) | 识别车身颜色的方法和系统 | |
CN114299036A (zh) | 电子元件的检测方法及装置、存储介质、电子设备 | |
CN114463843A (zh) | 一种基于深度学习的多特征融合鱼类异常行为检测方法 | |
CN111582654B (zh) | 基于深度循环神经网络的服务质量评价方法及其装置 | |
CN114663392A (zh) | 一种基于知识蒸馏的工业图像缺陷检测方法 | |
CN117765480B (zh) | 一种道路沿线野生动物迁徙预警方法及系统 | |
CN112446417B (zh) | 基于多层超像素分割的纺锤形果实图像分割方法及系统 | |
CN107145888A (zh) | 视频字幕实时翻译方法 | |
CN114187640A (zh) | 一种基于线上课堂的学情观察方法、系统、设备及介质 | |
CN114677751B (zh) | 学习状态的监控方法、监控装置及存储介质 | |
CN113486857A (zh) | 一种基于YOLOv4的登高安全检测方法及系统 | |
CN116596891B (zh) | 基于半监督多任务检测的木地板颜色分类及缺陷检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |