CN109784312A - 教学管理方法及装置 - Google Patents

教学管理方法及装置 Download PDF

Info

Publication number
CN109784312A
CN109784312A CN201910120212.6A CN201910120212A CN109784312A CN 109784312 A CN109784312 A CN 109784312A CN 201910120212 A CN201910120212 A CN 201910120212A CN 109784312 A CN109784312 A CN 109784312A
Authority
CN
China
Prior art keywords
expression
weight
data
statistical data
summary data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910120212.6A
Other languages
English (en)
Inventor
杨邵华
廖海
徐崇
丁兆柱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHENZHEN REACH INFORMATION TECHNOLOGY Co Ltd
Original Assignee
SHENZHEN REACH INFORMATION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHENZHEN REACH INFORMATION TECHNOLOGY Co Ltd filed Critical SHENZHEN REACH INFORMATION TECHNOLOGY Co Ltd
Priority to CN201910120212.6A priority Critical patent/CN109784312A/zh
Publication of CN109784312A publication Critical patent/CN109784312A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种教学管理方法及装置,所述教学管理方法包括:首先,实时采集多个人的多个标准人脸灰度图;根据卷积神经网络和多个标准人脸灰度图获取多个特征向量;其次,将多个特征向量输入至分类器以确定多个表情分类结果;表情分类结果包括愉快、惊奇、厌恶、愤怒、惧怕以及悲伤;然后,根据多个表情分类结果计算表情统计数据;最终,根据预设时间段内的表情统计数据确定课堂特征信息;课堂特征信息包括学生关注度、学生参与度和课程疑难程度。本发明提高了人脸表情检测的准确率和鲁棒性,并提高了教学管理中人脸表情的识别的精度和兼容性,且提高了教师教学质量以及学生学习效率。

Description

教学管理方法及装置
技术领域
本发明属于人脸识别技术领域,尤其涉及一种教学管理方法及装置。
背景技术
人体的脸部表情能够反应人体的真实内部情感,进而根据人体的表情变化能够判断出人体内心的情感波动;然而由于人体内心的情感活动具有多变性以及复杂性,与此相对应的,人体的脸部表情也具有多种多样性;在日常交流过程中,交流的双方通过彼此脸部表情的变化可实时判断出人体的情感信息,结合人体表情变化能够有助于双方理解交谈的内容,避免出现交流沟通障碍的问题;人脸表情在反映人体内心情感信息中起到了关键的作用,相关技术人员逐渐开始研究人脸表情识别技术,其中所述人脸表情识别技术是一种基于人的脸部特征信息进行身份识别的生物特征识别技术;与其他生物识别技术相比,人脸表情识别具有友好、简便、准确、经济及可扩展性良好等优势;因此人脸表情识别技术逐渐在开始应用于出入境检验检疫、金融、警务等多个领域。
在人脸表情识别过程中,人体的脸部表情在瞬间会发生较大的变化,那么人体的脸部表情特征在提取过程中将产生极大地数据量,且容易受到背景、光照、角度等外界因素的影响,识别精确度很难提高,进而导致人脸表情识别技术无法普适性地适用于各个工业技术领域;以教育领域的表情识别技术为例,由于课堂环境中包括多个同学和老师,若能够利用人脸表情识别技术对课堂上老师和学生的动作、情绪等情况进行识别和记录,建立智能化的教学管理系统,统计老师及学生一学期的表现情况,对教师业务素质提高、教学质量提升和掌控学生的学习状态具有重要的意义;然而传统技术中的教学管理方法无法精确地对于复杂环境下的人体脸部特征进行动态识别,进而无法判断出同学和教师的内心情感变化,并且传统技术中的人脸表情识别方法也无法深入地获取人脸表情蕴含的内心情感活动,对于表情的智能分析程度不高。
综上所述,传统的教学管理技术对于人脸表情的识别结果精度较低,兼容性较差。
发明内容
有鉴于此,本发明实施例提供了一种教学管理方法及装置,旨在解决传统的技术方案中教学管理方法对于人脸表情的动态识别精度和准确率较低,兼容性较差的问题。
本发明实施例的第一方面提供了一种教学管理方法,包括:
实时采集多个人的多个标准人脸灰度图;
根据卷积神经网络和多个所述标准人脸灰度图获取多个特征向量;
将多个特征向量输入至分类器以确定多个表情分类结果;所述表情分类结果包括愉快、惊奇、厌恶、愤怒、惧怕以及悲伤;
根据多个表情分类结果计算表情统计数据;
根据预设时间段内的所述表情统计数据确定课堂特征信息;所述课堂特征信息包括学生关注度、学生参与度和课程疑难程度。
在其中的一个实施例中,所述根据卷积神经网络和多个所述标准人脸灰度图获取多个特征向量包括:
根据所述标准人脸灰度图和m个卷积核进行卷积运算,卷积结果加上偏置,再经过激活函数得到第一特征图谱;
采用第一预设最大池化规模和第一预设步长进行采样对所述第一特征图谱进行统计计算,以获取第二特征图谱;
根据所述第二特征图谱和n个卷积核进行卷积运算,卷积结果加上偏置,再经过激活函数得到第三特征图谱;
采用第二预设最大池化规模和第二预设步长进行采样对所述第三特征图谱进行统计计算,以获取多个特征;
根据全连接网络将多个所述特征映射为特征向量;
其中,所述m为大于或者等于2的正整数,所述n为大于或者等于2的正整数。
在其中的一个实施例中,所述将多个特征向量输入至分类器以确定多个表情分类结果包括:
通过多个原始人脸表情图像和深度信念网络获取抽象特征;
根据所述抽象特征初始化多层感知器;
将初始化后的所述多层感知器作为分类器,对多个特征向量进行识别以以确定多个表情分类结果。
在其中的一个实施例中,所述根据预设时间段内的所述表情统计数据确定课堂特征信息包括:
获取各个表情分类结果对应的权重;
根据预设时间段内的所述表情统计数据计算表情总计数据;
根据所述权重和所述表情总计数据获取课堂特征信息。
在其中的一个实施例中,表情统计数据包括愉快统计数据、惊奇统计数据、厌恶统计数据、愤怒统计数据、惧怕统计数据以及悲伤统计数据;所述根据预设时间段内的所述表情统计数据计算表情总计数据具体为:
根据预设时间段内的愉快统计数据计算平均愉快统计数据,并将平均愉快统计数据作为愉快总计数据;所述愉快统计数据为愉快的表情分类结果在总的表情分类结果所在的百分比;
根据预设时间段内的惊奇统计数据计算平均愉快统计数据,并将平均惊奇统计数据作为惊奇总计数据;所述惊奇统计数据为惊奇的表情分类结果在总的表情分类结果所在的百分比;
根据预设时间段内的厌恶统计数据计算平均厌恶统计数据,并将平均厌恶统计数据作为厌恶总计数据;所述厌恶统计数据为厌恶的表情分类结果在总的表情分类结果所在的百分比;
根据预设时间段内的愤怒统计数据计算平均愤怒统计数据,并将平均愤怒统计数据作为愤怒总计数据;所述愤怒统计数据为愤怒的表情分类结果在总的表情分类结果所在的百分比;
根据预设时间段内的惧怕统计数据计算平均惧怕统计数据,并将平均惧怕统计数据作为惧怕总计数据;所述惧怕统计数据为惧怕的表情分类结果在总的表情分类结果所在的百分比;
根据预设时间段内的悲伤统计数据计算平均悲伤统计数据,并将平均悲伤统计数据作为悲伤总计数据;所述悲伤统计数据为悲伤的表情分类结果在总的表情分类结果所在的百分比;
所述获取各个表情分类结果对应的权重包括:
获取第一愉快权重、第一惊奇权重、第一厌恶权重、第一愤怒权重、第一惧怕权重以及第一悲伤权重;
获取第二愉快权重、第二惊奇权重、第二厌恶权重、第二愤怒权重、第二惧怕权重以及第二悲伤权重;
获取第三愉快权重、第三惊奇权重、第三厌恶权重、第三愤怒权重、第三惧怕权重以及第三悲伤权重。
在其中的一个实施例中,所述根据所述权重和所述表情总计数据获取课堂特征信息包括:
根据所述愉快总计数据、所述惊奇总计数据、所述厌恶总计数据、所述愤怒总计数据怒、所述惧怕总计数据、所述悲伤总计数据、所述第一愉快权重、所述第一惊奇权重、所述第一厌恶权重、所述第一愤怒权重、所述第一惧怕权重以及所述第一悲伤权重计算所述学生关注度;
根据所述愉快总计数据、所述惊奇总计数据、所述厌恶总计数据、所述愤怒总计数据怒、所述惧怕总计数据、所述悲伤总计数据、所述第二愉快权重、所述第二惊奇权重、所述第二厌恶权重、所述第二愤怒权重、所述第二惧怕权重以及所述第二悲伤权重计算所述学生参与度;
根据所述愉快总计数据、所述惊奇总计数据、所述厌恶总计数据、所述愤怒总计数据怒、所述惧怕总计数据、所述悲伤总计数据、所述第三愉快权重、所述第三惊奇权重、所述第三厌恶权重、所述第三愤怒权重、所述第三惧怕权重以及所述第三悲伤权重计算课程疑难程度。
本发明实施例的第二方面提供了一种教学管理装置,包括:
标准人脸灰度图采集模块,用于实时采集多个人的多个标准人脸灰度图;
特征向量获取模块,用于根据卷积神经网络和多个所述标准人脸灰度图获取多个特征向量;
表情分类结果确定模块,用于将多个特征向量输入至分类器以确定多个表情分类结果;所述表情分类结果包括愉快、惊奇、厌恶、愤怒、惧怕以及悲伤;
表情统计数据计算模块,用于根据多个表情分类结果计算表情统计数据;以及
课堂特征信息确定模块,用于根据预设时间段内的所述表情统计数据确定课堂特征信息;所述课堂特征信息包括学生关注度、学生参与度和课程疑难程度。
在其中的一个实施例中,所述课堂特征信息确定模块包括:
权重获取模块,用于获取各个表情分类结果对应的权重;
表情总计数据计算模块,用于根据预设时间段内的所述表情统计数据计算表情总计数据;以及
课堂特征信息获取模块,用于根据所述权重和所述表情总计数据获取课堂特征信息。
本发明实施例的第三方面提供了一种教学管理装置,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上所述教学管理方法的步骤。
本发明实施例的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上所述教学管理方法的步骤。
上述教学管理方法获取标准人脸灰度图,通过该灰度图能够得到人脸表情特征的外在变化情况,利用卷积神经网络对人脸灰度图进行特征提取,以获取能够完全反应人脸表情特征变化的特征向量,通过该特征向量进行自我学习和自我训练,能够精确地得出人的内心情感变化;然后利用分类器按照预设的分类模型对多个特征向量中的特征信息进行数据分类,根据特征向量中数据的本身规律归纳出各种类型的表情分类结果,该表情分类结果能够更加直观地反应出人的内心情感变化信息;通过在长时间内对于人的表情特征信息变化情况得出课堂特征信息,所述表情分类结果与人的学习状态具有一一对应关系,实现了对于人脸表情特征数据的深度处理、分析功能;进而检测得到的课堂特征信息为教师教学质量以及学生学习效率提供了准确的理论依据;因此本发明实施例利用卷积神经网络和分类器对于人脸的特征数据进行探索训练,提高了对于人脸表情数据的处理速度,并且所述教学管理方法对于人脸表情的检测结果具有较高的安全性和鲁棒性,检测的精度高;因此本实施例中的教学管理方法能够应用在教学互动系统的人脸表情识别,为同学们的学习质量研究提供理论指导,为学生的上课质量提供了科学研究基础,人脸表情智能检测的效率高,实现对于人脸表情特征的全面挖掘分析。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的教学管理方法的具体流程图;
图2为本发明一实施例提供的步骤S102的具体流程图;
图3为本发明一实施例提供的步骤S103的具体流程图;
图4为本发明一实施例提供的步骤S104的具体流程图;
图5是本发明一实施例提供的教学管理装置的结构示意图;
图6是本发明一实施例提供的教学管理特征向量获取模块的结构示意图;
图7是本发明一实施例提供的教学管理表情分类结果确定模块的结构示意图;
图8是本发明一实施例提供的教学管理课堂特征信息确定模块的结构示意图;
图9是本发明一实施例提供的教学管理装置的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
请参阅图1,本发明实施例提供的教学管理方法的具体流程,通过该教学管理方法能够对于人脸的表情特征进行自主训练,以得到人脸的表情包含的内心情感信息,进而实现对于用户的表情的智能识别功能;并且根据该表情识别结果与人的学习状态之间的对应关系,可准确地得到人的学习状态;为了便于说明,仅示出了与本实施例相关的部分,如1所示,详述如下:
S101:实时采集多个人的多个标准人脸灰度图。
由于在课堂上存在多名学生和一位老师,每一个人的脸上具有不同的表情动作及其包括的表情信息,通过灰度图能够直接反应人脸各个部分的特征变化信息,进而所述标准人脸灰度图包含了人体的所有表情变化信息,有利于实现对于人脸中多个特征信息的采集,提高了人脸表情的检测精度;需要说明的是,所述标准人脸灰度图作为最原始的人体表情数据,标准人脸灰度图包含人脸各个部位的具体图像数据,通过该图像数据能够实际量化人脸不同部位的特征信息,以实现对于人脸表情动作的全方位检测;示例性的,所述标准人脸灰度图包括:人体脸部的眉毛、眼睛、鼻子和嘴等部位的姿态变化情况,当人的脸部表情发生变化时;采集该用户的表情中各个部位的灰度信息后,通过脸部的初级灰度特征能够精确地得到人的情感信息变化;因此本实施例中的教学管理方法能够对于人脸表情的微小变化进行精确采集,以全面地得出用户的脸部表情变化信息,该表情的灰度值作为输入量,能够准确地反应出用户脸部表情数据的波动量,保障了对于人脸表情的检测灵敏度和检测精度,避免出现人脸表情检测误差。
S102:根据卷积神经网络和多个所述标准人脸灰度图获取多个特征向量。
其中,所述卷积神经网络具有自学习和自训练的功能,所述卷积神经网络能够找出标准人脸灰度图中数据的变化规律,通过该数据的变化规律能够精确地提取出相应的特征信息,该特征信息能够更加准确地反应出人脸表情的特征变化特性;需要说明的是,卷积神经网络(Convolutional Neural Network,CNN)是一类包含卷积计算且具有深度结构的前馈神经网络,是深度学习的算法。通过卷积神经网络中的2个卷积层、2个池化层和全连接层对标准人脸灰度图进行处理以获取多个特征向量。
示例性的,其中卷积神经网络作为第一层次的自主学习主体,通过卷积神经网络能够实现对于表情的人脸灰度图中的大量数据进行及时的处理与分析,以寻找到多个数据之间的关联以及每一个数据之间的相同属性,基于多个数据之间具有相同的属性,则建立用户的不同数据之间的关联性,那么多个数据之间就能够精确地分为不同类别以及不同特征信息的数据集合体,得到特征向量,通过该特征向量能够得到不同表情数据之间内在联系,以及标准人脸灰度图中相似的数据包含的特殊表情含义,通过该特征向量能够合理地简化用户表情的数据结构及其容量,为表情的初级特征信息的处理提供更加便利的条件;因此本实施例利用卷积神经网络能够完全模拟生物大脑处理方式,以实现对于多个灰度值的并行处理效率,尽量地减少不同类别的表情数据所引起的特征信息差异,以实现对于用户的表情的差异化信息处理功能。
S103:将多个特征向量输入至分类器以确定多个表情分类结果;所述表情分类结果包括愉快、惊奇、厌恶、愤怒、惧怕以及悲伤。
需要说明的是,所述分类器具有数据分类预测的功能,该分类器能够识别每一个特征向量中的特征信息,并且根据所述特征信息具有的不同数据属性,那么每一种表情分类结果代表人的内心情感状态;因此通过分类器能够根据特征向量中的特征信息识别出表情含义,进而完成对于人的脸部表情识别功能;其中所述分类器作为第二层次的自主学习主体,所述分类器中预先存储了特征相连与人脸表情结果的一一对照规则,该对照规则作为表情结果输出的中介,对于人脸的特征数据进行学习、训练完成后,每当特征向量传输至分类器时,所述分类器将特征向量包含的数据与本身的存储数据进行匹配识别,直至找出与该特征向量匹配的语义,输出相应的表情分类结果;那么该表情分类结果就是用户的内心真实情感;那么通过分类器能够预先分析出用户的表情动作所蕴含的内在信息,根据人脸表情特征匹配规则,特征向量在分类器中进行自我深度学习,挖掘出用户的表情特征在现实环境中包含的实际思想内容,以使完成对于人脸表情的精确识别功能;根据分类器对于用户脸部的表情特征值进行验证和识别,可快速地得到人脸表情特征的精确检测结果,所述人脸表情特征信息的精确检测能力更强。
其中在本实施例中,所述人脸表情结果是用户内心真实情感的内在体现,进而本实施例中的教学管理方法对于用户的表情特征进行采集、分析、训练以及识别后,可精确地得到不同的人脸表情分类结果;根据表情的特征向量能够实时、精确地分析出用户的内在情感属于哪一种,进而根据该表情分类结果能够得出此时用户的生理状态和心理状态,以对于人脸表情特征的深度、多层次分析、处理功能;因此本实施例中的人脸表结果具有多种多样,能够贴合用户的多种情感表达,所述教学管理方法对于脸部动作特征进行处理分析后,得到的表情检测结果能够完全符合用户内心的情感变化,检测的精度极高,所述教学管理方法对于脸部的特征信息进行学习后,可适用于不同的用户中,根据用户的脸部表情实时得出真实的表情语义。
S104:根据多个表情分类结果计算表情统计数据。
作为一种可选的实施方式,所述表情统计数据包括:愉快统计数据、惊奇统计数据、厌恶统计数据、愤怒统计数据、惧怕统计数据以及悲伤统计数据;通过该表情统计数据能够得到人在一段时间内各种表情的实际变化状态,为人的内心情感变化提供科学的数据支撑。
其中在连续的时间内,学生的表情状态和教师的表情状态会随着教学时间以及教学内容的变化而发生自适应改变;如上所述,表情分类结果能够反应人在某一时刻内的情感变化信息,本实施例通过多个表情分类结果能够综合计算出表情统计数据;通过该表情统计数据能够得出在连续一段时间内的人情感变化信息;比如根据表情分类结果可计算出在连续一端时间内人的愉快心情的总数量;进而根据该表情统计数据能够更加精确地得出人的内心情感变化状态,避免了偶然误差所引起的人的情感信息检测误差和识别误差。
S105:根据预设时间段内的所述表情统计数据确定课堂特征信息;所述课堂特征信息包括学生关注度、学生参与度和课程疑难程度。
其中,所述表情统计数据能够反应人的学习状态的变化情况,因此在本实施例中,根据表情统计数据与课堂特征信息之间的一一对应关系,可精确地得出同学的学习状态的波动情况,当同学在学习过程中的脸部表情发生改变时,那么同学的内部情感信息也会发生相应的变化;通过对于人的表情统计数据进行大数据统计分析后,能够分析获得相应的课堂特征信息,该课堂特征信息作为同学学习效率以及教师的教学质量的重要参考,基于该课堂特征信息能够协助老师、家长及时地了解到同学的学习状态、心理变化并辅助校长针对老师进行教学评估和职称评估;因此本实施例可根据表情识别的统计数据精确反应出学生的学习状态,实现了对于人脸表情数据的深度处理和挖掘,在智能化的教学管理系统中得到普遍的应用。
在图1示出的教学管理方法中,根据表情的灰度值能够全面地获取用户的表情变化信息,以根据标准人脸灰度图能够准确地检测用户的内在思想含义;分别通过卷积神经网络和分类器对于用户的表情特征数据进行深度学习和自主分类,在脸部特征的灰度值中找出数据的规律变化,生成多个特征向量,将特征向量进行拟合以及标准化处理,以使用户的脸部表情特征值具有更高的数值变化规律以及数值标签性,那么特征向量能够实时地反应用户脸部特征信息的变化情况,并且特征向量中的数据具有更佳的数据代表性能,以实现对于人脸表情特征信息的科学化评价标准;进一步地,通过分类器能够对于人脸表情特征数据中的动作信息进行判别和分类,从多层次的脸部表情分类模型抽取相应的表情分类结果,那么根据该表情分类结果就能够智能地分析出用户此时内心的思想含义,通过人脸的表情特征信息能够更加准确地识别出用户的情感波动值,实现了对于表情的初级特征的智能化数据学习过程;本实施例中的教学管理方法利用两层自主学习结构能够对于表情数据进行特征学习以及分类,并建立人体的表情分类结果与课堂特征信息之间的映射关系,根据人脸表情检测结果能够准确地得出学生的学习状态,以评价课堂中同学在一段时间的表现情况,为提升同学的学习效率设置理论参考;上述人脸表情的检测精度较高,能够更加快速、精确地检测出人脸表情包含的实质情感信息,检测的准确率较高,兼容性极强,可广泛地适用于教学系统质量评价体系,给用户带来良好的使用体验,弥补了传统技术在教学领域中难以使用人脸检测方法的不足之处;有效地解决了传统技术对于人脸表情检测的精确不高,误差率较大,难以根据用户的表情特征深入挖掘出用户内心的情感信息,无法适用于一些复杂环境中的人脸识别中,对于脸部特征的自主学习能力不强,实用价值不高的问题。
作为一种可选的实施方式,图2示出了本实施例提供的步骤S102的具体实现流程,其中,本实施例中的卷积神经网络包括:2个卷积层(第一卷积层和第二卷积层)、2个池化层(第一池化层和第二池化层)和1和连接层,请参阅图2;所述步骤S102包括:
S1021:根据所述标准人脸灰度图和m个卷积核进行卷积运算,卷积结果加上偏置,再经过激活函数得到第一特征图谱。
在本实施例中,第一卷积层包括:第一卷积核和第一激活函数,卷积运算利用第一卷积核对人脸灰度图中的灰度值进行模式识别,以得出多个标准人脸灰度图中的特征数据信息,该卷积结果能够更加精确地人脸部的特征点动作变化信息;具体的,当标准人脸灰度图输入至第一卷积核,通过卷积运算将人脸部的每一类别的数据存储至第一卷积核中,通过偏置操作能够使第一卷积核中的数据能接逼近人脸表情的本质特征信息;通过第一激活函数能够将将第一卷积核输入端的数据映射到第一卷积核输出端的数据,以使人的脸部数据在神经网络中能够得到自适应的线性传输以及自身感知;示例性的,第一激活函数为S型生长曲线,如下所示:
在上式(1)中,所述x为第一激活函数输入的数据,所述f(x)为第一激活函数输出的数据;通过第一激活函数对于人脸特征信息的非线性调节后,所述第一特征图谱具有更加精确的数据,有助于本实施例中卷积神经网络对于标准人脸灰度值的自适应训练性能,所述第一特征图谱能够集合更多人脸特征信息的数据内容。
S1022:采用第一预设最大池化规模和第一预设步长进行采样对所述第一特征图谱进行统计计算,以获取第二特征图谱。
第一池化层包括:第一预设最大池化规模和第一预设步长;其中第一特征图谱中的数据都是离散的,并且都是无规则的;当第一池化层接入第一特征图谱时,通过第一预设最大池化规模设置人脸特征数据中的最大容量,并且第一预设步长能够使第一特征图谱中不同类型的数据进行相互隔离,以使每一种类别的数据具有各自的特征信息,加快对于人脸表情数据的训练速度;一般的,当第一预设步长的幅值越大时,则人脸表情数据的进化速度更快,第一特征图谱中的数据进行统计计算后,人脸特征信息具有更高的集中性,第二特征图谱中的表情数据能够完全体现人脸的表情特征信息,提高了本实施例中教学管理方法对于人脸特征信息的检测精度和精确性。
S1023:根据所述第二特征图谱和n个卷积核进行卷积运算,卷积结果加上偏置,再经过激活函数得到第三特征图谱。
在经过S1022后,第二卷积层包括:第二卷积核和第二激活函数,由于对于人脸的表情数据进行了集中转换,这种集中转换可能会对人脸的表情数据的固有分布规律造成一定的影响,甚至会完全打乱标准人脸灰度图中数据的集成分布性;因此在S1023中,通过对于第二特征图谱中的数据进行第二次卷积运算,以保留人脸数据中的数据集合分布规律,通过第二激活函数能够实现输入数据与输出数据之间的自适应转换,在神经网络中能够完全保留人脸各个部位的动作数据信息,第三特征图谱中的数据与人脸的表情特征存在对照关系,减少了人脸表情的识别误差。
S1024:采用第二预设最大池化规模和第二预设步长进行采样对所述第三特征图谱进行统计计算,以获取多个特征。
第二池化层包括:第二预设最大池化规模和第二预设步长,当第二池化层接入所述第三特征图谱时,通过第二预设步长对第三特征图谱中的数据进行自适应训练,根据第三特征图谱中的特征信息按照第二预设最大池化规模进行数据的阈值采样,采样后的数据分为不同的数值区间,其中位于不同数值区间的数据具有特定的表情特征;第三特征图谱中的数据具有不同的特征信息,在每一类别的特征信息中抽取最具有代表性的特征作为统计计算的输出结果;在S1024中获取的特征能够代表脸部中每一个部位的动作信息,进而结合多个特征就能够得出在某一时刻内人体脸部的表情状态,以使各个特征的整合分析、研究功能。
S1025:根据全连接网络将多个所述特征映射为特征向量。
其中,全连接网络包括连接层,全连接网络可实现能够实现反向非线性计算,当多个特征传输至全连接网络时,全连接网络将各个特征中的元素映射至一个特定区域的数据集合体,形成特征向量;那么通过得非线性转换会去除特征中数据的位置信息,特征向量中的数据能够只保留人脸特征数据本身的图像分类信息,排除干扰因素对于特征向量中脸部特征信息造成的干扰;经过精确地映射后的特征向量能够更加精确地反应人脸表情动作的实时变化状态;进而每当人脸的表情发生变化时,神经网络利用自身的数据特征训练能力,就能够输出向对应的特征向量,通过该特征向量极大地提高了人脸表情的特征识别精确和效率。
其中,所述m为大于或者等于2的正整数,所述n为大于或者等于2的正整数。
可选的,所述m和所述n相同或者不相同,因此本实施例中的卷积神经网络具有多层感知以及深度学习性能。
作为一种可选的实施方式,图3示出了本实施例提供的步骤S103的具体实现流程,请参阅图3;所述步骤S103包括:
S1031:通过多个原始人脸表情图像和深度信念网络获取抽象特征。
其中原始人脸表情包含人脸表情的基本信息特征,因此通过该基本信息特征能够精确地反应出人脸的动作变化特征,并据此总结出人脸的表情变化规律;需要说明的是,深度信念网络通过采用逐层训练的方式,解决了深层次神经网络的数据优化问题,通过逐层训练为整个网络赋予了较好的初始权值,使得网络只要经过微调就可以达到最优数据分类效果;本实施例中深度信念网络能够实现对于原始人脸表情图像中数据的无监督学习和特征分类,以图像数据中的某一类特征信息作为训练参数,以该特征信息作为中心点对于领域范围内的数据进行隐含信息提取操作,以得到抽象特征,该抽象特征能够全方位地体现人脸的各个区域的动作信息;通过深度信念网络能够深度解析人脸表情图像中的数据的分布变化规律,进而实现对于人的脸部动作的信息全方位检测、识别功能,加强自主学习性能。
S1032:根据所述抽象特征初始化多层感知器。
在本实施例中,多层感知器作为信号感知机体,能够实现对于多个输入数据的自启发式搜索以及不同类型数据之间的关联性建立;其中多层感知器是一种前馈人工神经网络模型,其将输入的多个数据集映射到单一的输出的数据集上;感知器是单个神经元模型,它是较大神经网络的前身;当人脸表情信息中的抽象特征传输至多层感知器时,多层感知器能够将抽象特征中的多个数据集统一映射至单一的数据集合上,以实现抽象特征数据的自我识别以及自我训练过程;通过抽象特征中的数据能够设定多层感知器中每一个数据处理层的数据分类功能,多层感知器中的参数值能够完全符合表情数据变化的需求,进而通过该多层感知器的数据训练功能能够完全符合人脸表情变化的检测规律,保障了表情分类结果的精确性和准确性。
S1033:将初始化后的所述多层感知器作为分类器,对多个所述特征向量进行识别以确定多个所述表情分类结果。
其中多层感知器具有特定的数据刷选模块,通过分类器能够确定数据的筛选阈值,分类器对于输入的特征信息能够逐层进行学习、归类处理,并且实时更新每一层特征数据,以得到与人脸表情数据完全匹配的表情分类结果;示例性的,当多个特征向量传输至多层感知器时,将特征向量中的数据按照不同的阈值划分为不同的数据类别,每一种数据类别分别代表不同的表情含义;然后将特定的数据转换得到相应的表情语义,表情语义符合人们在日常环境中对于内心情感的认知水平,比如愉快、惊奇、厌恶等;进而本实施例通过多层感知器能够翻译出特征向量对应的特殊表情分类结果,准确率极高,教学管理方法对于人脸表情特征实现了最佳的智能学习性能。
作为一种可选的实施方式,图4示出了本实施例提供的步骤S105的具体实现流程,请参阅图4;所述步骤S105包括:
S1051:获取各个表情分类结果对应的权重。
在对于人脸表情检测过程中,通过为每一种人脸表情分类结果设定权重,以使对于人脸检测的结果具有更高的目的性和鲁棒性,通过人脸表情检测后得到的检测结果能够更加贴合技术人员的实际需要;假设所有类型的表情分类结果的总权重为1,那么各种类型的表情分类结果的权重如下表1所示。
表1各种类型的表情分类结果
表情分类结果 愉快 惊奇 厌恶 愤怒 惧怕 悲伤
权重 0.3 0.3 0.1 0.1 0.1 0.1
因此通过设置权重能够实时是学生的表情分类结果能够更加符合课堂的上课环境,以及教学评价指标中各种参数的合理性,教学管理方法具有更高的兼容性和实用价值。
S1052:根据预设时间段内的所述表情统计数据计算表情总计数据。
在预设时间段内,学生的脸部表情会呈现多种多样的变化,比如连续100天内,对于同学们的脸部表情采取100次人脸表情检测,在连续100天内,分别计算学生的愉快、惊奇、厌恶、愤怒、惧怕以及悲伤这6种表情中每一种表情的总的数量,比如愉快出现20次,惊奇出现15次等;通过对于表情统计数据的计算,可得出学生在连续一段时间内的内心情感波动状态,进而根据该表情总计数据能够更加准确地分析出相应课堂内的学生们的学习效率波动情况,精确度更高。
S1053:根据所述权重和所述表情总计数据获取课堂特征信息。
在一段时间内,对于多次人脸表情检测结果及相应的权重可得出教师的内心情感变化情况以及学生的内心情感变化情况;并且由于人的内心情感变化与学习状态存在一定的关联,那么根据表情总计数据中数据的曲线变化情况能够直观地、准确地得出教学质量以及教学效率;示例性的,若学生在连续100天内出现“愉快”的次数最多,那么通过表情总计数据能够得出:在100内学生的积极性较高,学习效率较佳,学生关注度、学生参与度和课程疑难程度这三者都处于一个比较佳的水平;因此本实施例中的人脸检测方法在教学质量评估中得到了极为广泛的应用,实现了对于课堂内同学地表情特征数据的大数据报表分析以及深度挖掘。
作为一种可选的实施方式,表情统计数据包括愉快统计数据、惊奇统计数据、厌恶统计数据、愤怒统计数据、惧怕统计数据以及悲伤统计数据;由于对于人脸表情进行检测后,可得出在一段时间内各种类型的表情的总数据,因此根据每一种类型表情的统计数据可得出人的内心情感变化情况,根据表情统计数据能够对于人的表情进行更加深度、细致的分析以及探索,以使人脸的各种类型表情的统计数据具有更加合理的参考价值,排除其他干扰因素对于人脸表情检测结果所造成的误差。
在各种类型表情的统计数据中,可分别计算每一种表情的总计数据;具体的,所述步骤S1052具体包括:
根据预设时间段内的愉快统计数据计算平均愉快统计数据,并将平均愉快统计数据作为愉快总计数据;所述愉快统计数据为愉快的表情分类结果在总的表情分类结果所在的百分比。
示例性的,愉快统计数据代表在一段时间内“愉快”出现的频率,通过将“愉快”出现的总次数除以人脸检测的检测总次数,那么就得到愉快统计数据,平均愉快统计数据代表“愉快”在一段时间的波动情况;示例性的,在连续100次的人脸表情检测中,得到100个表情分类结果,其中愉快总共出现10次,则愉快统计数据为0.1,平均愉快统计数据为0.001;因此在每次人脸检测过程中,可得出“愉快”在人内心情感过程中占据的比重,进而综合分析出人的内心学习状态和学习效率,实现了对于人脸表情的智能、动态分析过程。
根据预设时间段内的惊奇统计数据计算平均愉快统计数据,并将平均惊奇统计数据作为惊奇总计数据;所述惊奇统计数据为惊奇的表情分类结果在总的表情分类结果所在的百分比。
根据预设时间段内的厌恶统计数据计算平均厌恶统计数据,并将平均厌恶统计数据作为厌恶总计数据;所述厌恶统计数据为厌恶的表情分类结果在总的表情分类结果所在的百分比。
根据预设时间段内的愤怒统计数据计算平均愤怒统计数据,并将平均愤怒统计数据作为愤怒总计数据;所述愤怒统计数据为愤怒的表情分类结果在总的表情分类结果所在的百分比。
根据预设时间段内的惧怕统计数据计算平均惧怕统计数据,并将平均惧怕统计数据作为惧怕总计数据;所述惧怕统计数据为惧怕的表情分类结果在总的表情分类结果所在的百分比。
根据预设时间段内的悲伤统计数据计算平均悲伤统计数据,并将平均悲伤统计数据作为悲伤总计数据;所述悲伤统计数据为悲伤的表情分类结果在总的表情分类结果所在的百分比。
因此本实施例通过计算得到:愉快总计数据、惊奇总计数据、厌恶总计数据、愤怒总计数据、惧怕总计数据以及悲伤总计数据这六种表情的总计数据,根据这六种表情的总计数据能够得到人的每一种表情特征在一段时间内的波动情况,进而感知人脸的表情特征的细微变化,根据表情的总计数据可排除人脸表情检测过程中的外在干扰误差,能够更加科学地评价出每一种表情蕴含的情感内涵。
所述获取各个表情分类结果对应的权重包括:
获取第一愉快权重、第一惊奇权重、第一厌恶权重、第一愤怒权重、第一惧怕权重以及第一悲伤权重。
获取第二愉快权重、第二惊奇权重、第二厌恶权重、第二愤怒权重、第二惧怕权重以及第二悲伤权重。
获取第三愉快权重、第三惊奇权重、第三厌恶权重、第三愤怒权重、第三惧怕权重以及第三悲伤权重。
当所述教学管理方法应用在不同的教学系统中,需要实现不同的教学目标评价方法,在不同的教学目标评价体系中,针对每一个教学目标,分别设置不同的评价系数,其中所述评价系数包括:第一愉快权重、第二愉快权重、第三愉快权重等;分别在不同的评价系数下,对人脸的表情总计数据进行分别列评价,以得到学生们在各个方面的学习效率和学习质量,教学管理方法在教学质量评估中具有更高的目的性和判断性,能够兼容地适用于各个不同的教学评价系统中,得到的教学质量评价结果的可信度更高,教学管理方法可根据用户的实际需要科学地评价各个教学目标的质量,灵活性更佳。
作为一种可选的实施方式,步骤S1053具体包括:
根据所述愉快总计数据、所述惊奇总计数据、所述厌恶总计数据、所述愤怒总计数据怒、所述惧怕总计数据、所述悲伤总计数据、所述第一愉快权重、所述第一惊奇权重、所述第一厌恶权重、所述第一愤怒权重、所述第一惧怕权重以及所述第一悲伤权重计算所述学生关注度。
根据所述愉快总计数据、所述惊奇总计数据、所述厌恶总计数据、所述愤怒总计数据怒、所述惧怕总计数据、所述悲伤总计数据、所述第二愉快权重、所述第二惊奇权重、所述第二厌恶权重、所述第二愤怒权重、所述第二惧怕权重以及所述第二悲伤权重计算所述学生参与度。
根据所述愉快总计数据、所述惊奇总计数据、所述厌恶总计数据、所述愤怒总计数据怒、所述惧怕总计数据、所述悲伤总计数据、所述第三愉快权重、所述第三惊奇权重、所述第三厌恶权重、所述第三愤怒权重、所述第三惧怕权重以及所述第三悲伤权重计算课程疑难程度。
其中学生关注度、学生参与度以及课程疑难程度分别作为三种不同的课堂教学质量评价指标,在不同评价系数下可结合6种表情特征在人内心情感中所占的比重综合分析出用户所需的教学评价指标;在各种教学质量评价指标中,每一种表情的总计数据分别如下所示:
图2每一种表情的总计数据
示例性的,在不同的教学质量指标下,每一种评价系数的幅值如下所示:
表3在学生关注度条件下每一种评价系数的具体取值
评价系数 第一愉快权重 第一惊奇权重 第一厌恶权重 第一愤怒权重 第一惧怕权重 第一悲伤权重
幅值 0.1 0.3 0.2 0.1 0.2 0.1
表4在学生参与度条件下每一种评价系数的具体取值
评价系数 第二愉快权重 第二惊奇权重 第二厌恶权重 第二愤怒权重 第二惧怕权重 第二悲伤权重
幅值 0.2 0.1 0.1 0.3 0.1 0.2
表5在课程疑难程度条件下每一种评价系数的具体取值
评价系数 第三愉快权重 第三惊奇权重 第三厌恶权重 第三愤怒权重 第三惧怕权重 第三悲伤权重
幅值 0.1 0.1 0.2 0.2 0.2 0.2
结合上述表2和上述表3可得到相应的学生关注度,如下所述:
学生关注度=愉快总计数据*第一愉快权重+惊奇总计数据*第一惊奇权重+厌恶总计数据*第一厌恶权重+愤怒总计数据怒*第一愤怒权重+惧怕总计数据*第一惧怕权重+悲伤总计数据*第一悲伤权重=0.1*0.1+0.3*0.3+0.3*0.2+0.1*0.1+0.1*0.2+0.1*0.1=0.01+0.09+0.06+0.01+0.02+0.01=0.2。
结合上述表2和上述表4可得到相应的学生参与度,如下所述:
学生参与度=愉快总计数据*第二愉快权重+惊奇总计数据*第二惊奇权重+厌恶总计数据*第二厌恶权重+愤怒总计数据怒*第二愤怒权重+惧怕总计数据*第二惧怕权重+悲伤总计数据*第二悲伤权重=0.1*0.2+0.3*0.1+0.3*0.1+0.1*0.3+0.1*0.1+0.1*0.2=0.02+0.03+0.03+0.03+0.01+0.02=0.14。
结合上述表2和上述表5可得到相应的课程疑难程度,如下所述:
课程疑难程度=愉快总计数据*第三愉快权重+惊奇总计数据*第三惊奇权重+厌恶总计数据*第三厌恶权重+愤怒总计数据怒*第三愤怒权重+惧怕总计数据*第三惧怕权重+悲伤总计数据*第三悲伤权重=0.1*0.1+0.3*0.1+0.3*0.2+0.1*0.2+0.1*0.2+0.1*0.2=0.01+0.03+0.06+0.02+0.02+0.02=0.16。
因此根据上述每一种教学评价指标下各个评价系数的取值,这两者之间的对应关系,就能够完全得出相应的教学评价指标,根据每一种教学评价指标的具体数值可精确地得出学生的上课效率以及教师的教课质量,进而本实施中的教学管理方法能够根据人脸的表情变化精确地获悉学生的上课状态以及内心情感波动,为课堂的教学质量评价提供了清晰、明确的评价标准,实现了对于人脸表情的大数据智能分析评价,并且获取得到的课堂特征信息具有较高的精度,对于课堂的上课质量提供了最优的检测评价性能。
图5示出了本实施例提供的教学管理装置50的结构示意,如图5所示,教学管理装置50包括:标准人脸灰度图采集模块501、特征向量获取模块502以及表情分类结果确定模块503、表情统计数据计算模块504以及课堂特征信息确定模块505。
其中,标准人脸灰度图采集模块501用于实时采集多个人的多个标准人脸灰度图。
特征向量获取模块502用于根据卷积神经网络和多个所述标准人脸灰度图获取多个特征向量。
表情分类结果确定模块503用于将多个特征向量输入至分类器以确定多个表情分类结果;所述表情分类结果包括愉快、惊奇、厌恶、愤怒、惧怕以及悲伤。
表情统计数据计算模块504用于根据多个表情分类结果计算表情统计数据。
课堂特征信息确定模块505用于根据预设时间段内的所述表情统计数据确定课堂特征信息;所述课堂特征信息包括学生关注度、学生参与度和课程疑难程度。
作为一种可选的实施方式,图6示出了本实施例提供的特征向量获取模块502的结构示意,如图6所示,特征向量获取模块502包括:第一卷积运算模块5021、第一统计运算模块5022、第二卷积运算模块5023、第二统计运算模块5024以及特征映射模块5025。
其中,第一卷积运算模块5021,用于根据所述标准人脸灰度图和m个卷积核进行卷积运算,卷积结果加上偏置,再经过激活函数得到第一特征图谱。
第一统计运算模块5022,用于采用第一预设最大池化规模和第一预设步长进行采样对所述第一特征图谱进行统计计算,以获取第二特征图谱。
第二卷积运算模块5023,用于根据所述第二特征图谱和n个卷积核进行卷积运算,卷积结果加上偏置,再经过激活函数得到第三特征图谱。
第二统计运算模块5024,用于采用第二预设最大池化规模和第二预设步长进行采样对所述第三特征图谱进行统计计算,以获取多个特征。
特征映射模块5025,用于根据全连接网络将多个所述特征映射为特征向量。
其中,所述m为大于或者等于2的正整数,所述n为大于或者等于2的正整数。
作为一种可选的实施方式,图7示出了本实施例提供的表情分类结果确定模块503的结构示意,如图7所示,表情分类结果确定模块503包括:特征抽取模块5031、感知模块5032以及分类模块5033。
其中,特征抽取模块5031,用于通过多个原始人脸表情图像和深度信念网络获取抽象特征。
感知模块5032,用于根据所述抽象特征初始化多层感知器。
分类模块5033,用于将初始化后的所述多层感知器作为分类器,对多个所述特征向量进行识别以确定多个所述表情分类结果。
作为一种可选的实施方式,图8示出了本实施例提供的课堂特征信息确定模块505的结构示意,如图8所示,课堂特征信息确定模块505包括:权重获取模块5051、表情总计数据计算模块5052以及课堂特征信息获取模块5053。
权重获取模块5051用于获取各个表情分类结果对应的权重。
表情总计数据计算模块5052用于根据预设时间段内的所述表情统计数据计算表情总计数据。
课堂特征信息获取模块5053用于根据所述权重和所述表情总计数据获取课堂特征信息。
需要说明的是,图5至图8中教学管理装置50的结构与图1至图4中教学管理方法相对应,因此关于图5至图8中各个模块的具体实施方式可参照图1至图4的实施例,此处将不再赘述。
在本实施例中,教学管理装置50能够对于人脸灰度特征值进行采集并且分析后,利用神经网络的自主学习功能,对于人脸灰度特征值进行自我训练,以得到相应的特征信息,该特征信息代表人脸部的部位的动作信息,通过对于特征信息中的数据进行数据类型划分后,获取相应的表情分类结果;用户根据该表情分类结果能够精确地得出用户内心的真实情感变化,根据在一段时间内的各种类型表情的统计数据,可直观地反应出学生在上课阶段的内心状态变化情况,通过建立表情特征信息与课堂特征信息之间的映射关系,教学管理装置50能够可根据人脸表情的波动情况准确地获知同学上课状态的波动情况,以得到学生的上课效率的波动情况;因此本实施例中的教学管理装置50可兼容应用于在教学环境中,获取的课堂特征信息能够为教学质量的评估以及学习效率的评价提供科学的理论参考,实现了对于同学在课堂上表情的大数据分析,相关技术人员可实时监控同学们的学习状态及其学习效率,实用价值极高;有效地解决了传统技术中教学管理装置对于人脸的表情识别精度较低,无法实现对于表情数据的深度挖掘分析,难以适用于教学环境的教学质量评估的问题。
图9是本发明一实施例提供的教学管理装置90的示意图。如图9所示,该实施例的教学管理装置90包括:处理器901、存储器902以及存储在所述存储器902中并可在所述处理器901上运行的计算机程序903。所述处理器901执行所述计算机程序903时实现上述各个教学管理方法实施例中的步骤,例如图1所示的S101至S105,或者图2所示的S1021至S1025。或者,所述处理器901执行所述计算机程序903时实现上述各教学管理装置50实施例中各模块的功能,例如图5所示标准人脸灰度图采集模块501至课堂特征信息确定模块505的功能。
示例性的,所述计算机程序903可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器902中,并由所述处理器901执行,以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序903在所述教学管理装置90中的执行过程。例如,所述计算机程序903可以被分割成标准人脸灰度图采集模块、特征向量获取模块以及表情分类结果确定模块、表情统计数据计算模块以及课堂特征信息确定模块。
所述教学管理装置90可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述教学管理装置90可包括,但不仅限于,处理器901、存储器902。本领域技术人员可以理解,图9仅仅是教学管理装置90的示例,并不构成对教学管理装置90的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述教学管理装置90还可以包括输入输出设备、网络接入设备、总线等。
所称处理器901可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器902可以是所述教学管理装置90的内部存储单元,例如教学管理装置90的硬盘或内存。所述存储器902也可以是所述教学管理装置90的外部存储设备,例如所述教学管理装置90上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器902还可以既包括所述教学管理装置90的内部存储单元也包括外部存储设备。所述存储器902用于存储所述计算机程序以及所述教学管理装置90所需的其他程序和数据。所述存储器902还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中,应该理解到,所揭露的装置/终端设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/终端设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例教学管理方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个教学管理方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
综上所述,本发明中的教学管理方法能够提取人脸表情中的特征信息,并且对于人脸表情的特征信息进行多次训练,以识别出与人脸表情特征对应的表情分类结果,该表情分类结果能够直观地反应人的内心情感变化,精确高;进而根据人脸的表情统计数据与学生学习效率之间的对照关系,可精确地得出学生的上课效果,为教学质量的提升发挥了重要的作用;进而本发明中的教学管理方法能够对于学生的学习效率以及教师的教学质量进行科学、智能的评价,简化了课堂教学过程的管理步骤,使用体验极佳;填补了传统技术中的人脸表情检测技术无法应用于教学环境中,兼容性较差的缺陷。
以上仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种教学管理方法,其特征在于,包括:
实时采集多个人的多个标准人脸灰度图;
根据卷积神经网络和多个所述标准人脸灰度图获取多个特征向量;
将多个特征向量输入至分类器以确定多个表情分类结果;所述表情分类结果包括愉快、惊奇、厌恶、愤怒、惧怕以及悲伤;
根据多个表情分类结果计算表情统计数据;
根据预设时间段内的所述表情统计数据确定课堂特征信息;所述课堂特征信息包括学生关注度、学生参与度和课程疑难程度。
2.根据权利要求1所述的教学管理方法,其特征在于,所述根据卷积神经网络和多个所述标准人脸灰度图获取多个特征向量包括:
根据所述标准人脸灰度图和m个卷积核进行卷积运算,卷积结果加上偏置,再经过激活函数得到第一特征图谱;
采用第一预设最大池化规模和第一预设步长进行采样对所述第一特征图谱进行统计计算,以获取第二特征图谱;
根据所述第二特征图谱和n个卷积核进行卷积运算,卷积结果加上偏置,再经过激活函数得到第三特征图谱;
采用第二预设最大池化规模和第二预设步长进行采样对所述第三特征图谱进行统计计算,以获取多个特征;
根据全连接网络将多个所述特征映射为特征向量;
其中,所述m为大于或者等于2的正整数,所述n为大于或者等于2的正整数。
3.根据权利要求1所述的教学管理方法,其特征在于,所述将多个特征向量输入至分类器以确定多个表情分类结果包括:
通过多个原始人脸表情图像和深度信念网络获取抽象特征;
根据所述抽象特征初始化多层感知器;
将初始化后的所述多层感知器作为分类器,对多个所述特征向量进行识别以确定多个所述表情分类结果。
4.根据权利要求1所述的教学管理方法,其特征在于,所述根据预设时间段内的所述表情统计数据确定课堂特征信息包括:
获取各个表情分类结果对应的权重;
根据预设时间段内的所述表情统计数据计算表情总计数据;
根据所述权重和所述表情总计数据获取课堂特征信息。
5.根据权利要求4所述的教学管理方法,其特征在于,表情统计数据包括愉快统计数据、惊奇统计数据、厌恶统计数据、愤怒统计数据、惧怕统计数据以及悲伤统计数据;所述根据预设时间段内的所述表情统计数据计算表情总计数据具体为:
根据预设时间段内的愉快统计数据计算平均愉快统计数据,并将平均愉快统计数据作为愉快总计数据;所述愉快统计数据为愉快的表情分类结果在总的表情分类结果所在的百分比;
根据预设时间段内的惊奇统计数据计算平均愉快统计数据,并将平均惊奇统计数据作为惊奇总计数据;所述惊奇统计数据为惊奇的表情分类结果在总的表情分类结果所在的百分比;
根据预设时间段内的厌恶统计数据计算平均厌恶统计数据,并将平均厌恶统计数据作为厌恶总计数据;所述厌恶统计数据为厌恶的表情分类结果在总的表情分类结果所在的百分比;
根据预设时间段内的愤怒统计数据计算平均愤怒统计数据,并将平均愤怒统计数据作为愤怒总计数据;所述愤怒统计数据为愤怒的表情分类结果在总的表情分类结果所在的百分比;
根据预设时间段内的惧怕统计数据计算平均惧怕统计数据,并将平均惧怕统计数据作为惧怕总计数据;所述惧怕统计数据为惧怕的表情分类结果在总的表情分类结果所在的百分比;
根据预设时间段内的悲伤统计数据计算平均悲伤统计数据,并将平均悲伤统计数据作为悲伤总计数据;所述悲伤统计数据为悲伤的表情分类结果在总的表情分类结果所在的百分比;
所述获取各个表情分类结果对应的权重包括:
获取第一愉快权重、第一惊奇权重、第一厌恶权重、第一愤怒权重、第一惧怕权重以及第一悲伤权重;
获取第二愉快权重、第二惊奇权重、第二厌恶权重、第二愤怒权重、第二惧怕权重以及第二悲伤权重;
获取第三愉快权重、第三惊奇权重、第三厌恶权重、第三愤怒权重、第三惧怕权重以及第三悲伤权重。
6.根据权利要求5所述的教学管理方法,其特征在于,所述根据所述权重和所述表情总计数据获取课堂特征信息包括:
根据所述愉快总计数据、所述惊奇总计数据、所述厌恶总计数据、所述愤怒总计数据怒、所述惧怕总计数据、所述悲伤总计数据、所述第一愉快权重、所述第一惊奇权重、所述第一厌恶权重、所述第一愤怒权重、所述第一惧怕权重以及所述第一悲伤权重计算所述学生关注度;
根据所述愉快总计数据、所述惊奇总计数据、所述厌恶总计数据、所述愤怒总计数据怒、所述惧怕总计数据、所述悲伤总计数据、所述第二愉快权重、所述第二惊奇权重、所述第二厌恶权重、所述第二愤怒权重、所述第二惧怕权重以及所述第二悲伤权重计算所述学生参与度;
根据所述愉快总计数据、所述惊奇总计数据、所述厌恶总计数据、所述愤怒总计数据怒、所述惧怕总计数据、所述悲伤总计数据、所述第三愉快权重、所述第三惊奇权重、所述第三厌恶权重、所述第三愤怒权重、所述第三惧怕权重以及所述第三悲伤权重计算课程疑难程度。
7.一种教学管理装置,其特征在于,包括:
标准人脸灰度图采集模块,用于实时采集多个人的多个标准人脸灰度图;
特征向量获取模块,用于根据卷积神经网络和多个所述标准人脸灰度图获取多个特征向量;
表情分类结果确定模块,用于将多个特征向量输入至分类器以确定多个表情分类结果;所述表情分类结果包括愉快、惊奇、厌恶、愤怒、惧怕以及悲伤;
表情统计数据计算模块,用于根据多个表情分类结果计算表情统计数据;以及
课堂特征信息确定模块,用于根据预设时间段内的所述表情统计数据确定课堂特征信息;所述课堂特征信息包括学生关注度、学生参与度和课程疑难程度。
8.根据权利要求7所述的教学管理装置,其特征在于,所述课堂特征信息确定模块包括:
权重获取模块,用于获取各个表情分类结果对应的权重;
表情总计数据计算模块,用于根据预设时间段内的所述表情统计数据计算表情总计数据;以及
课堂特征信息获取模块,用于根据所述权重和所述表情总计数据获取课堂特征信息。
9.一种教学管理装置,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述教学管理方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述教学管理方法的步骤。
CN201910120212.6A 2019-02-18 2019-02-18 教学管理方法及装置 Pending CN109784312A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910120212.6A CN109784312A (zh) 2019-02-18 2019-02-18 教学管理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910120212.6A CN109784312A (zh) 2019-02-18 2019-02-18 教学管理方法及装置

Publications (1)

Publication Number Publication Date
CN109784312A true CN109784312A (zh) 2019-05-21

Family

ID=66504539

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910120212.6A Pending CN109784312A (zh) 2019-02-18 2019-02-18 教学管理方法及装置

Country Status (1)

Country Link
CN (1) CN109784312A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110287792A (zh) * 2019-05-23 2019-09-27 华中师范大学 一种处于自然教学环境的课堂中学生学习状态实时分析方法
CN110363084A (zh) * 2019-06-10 2019-10-22 北京大米科技有限公司 一种上课状态检测方法、装置、存储介质及电子
CN111027865A (zh) * 2019-12-12 2020-04-17 山东大学 一种基于行为和表情智能识别的课堂教学分析与质量评估系统及方法
CN111178263A (zh) * 2019-12-30 2020-05-19 湖北美和易思教育科技有限公司 一种实时表情分析方法及其装置
CN112085392A (zh) * 2020-09-10 2020-12-15 北京易华录信息技术股份有限公司 一种学习参与度确定方法、装置及计算机设备
WO2020253363A1 (zh) * 2019-06-19 2020-12-24 深圳壹账通智能科技有限公司 产品认可度分析方法、装置、终端及计算机可读存储介质
CN112667776A (zh) * 2020-12-29 2021-04-16 重庆科技学院 一种智能教学评估与分析方法
CN113393160A (zh) * 2021-07-09 2021-09-14 北京市博汇科技股份有限公司 一种课堂专注度分析方法、装置、电子设备及介质
CN113535982A (zh) * 2021-07-27 2021-10-22 南京邮电大学盐城大数据研究院有限公司 一种基于大数据的教学系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103793718A (zh) * 2013-12-11 2014-05-14 台州学院 一种基于深度学习的人脸表情识别方法
US20160217321A1 (en) * 2015-01-23 2016-07-28 Shindig. Inc. Systems and methods for analyzing facial expressions within an online classroom to gauge participant attentiveness
CN106570474A (zh) * 2016-10-27 2017-04-19 南京邮电大学 一种基于3d卷积神经网络的微表情识别方法
CN106778539A (zh) * 2016-11-25 2017-05-31 鲁东大学 教学效果信息获取方法及装置
US20170177943A1 (en) * 2015-12-21 2017-06-22 Canon Kabushiki Kaisha Imaging system and method for classifying a concept type in video
CN108961115A (zh) * 2018-07-02 2018-12-07 百度在线网络技术(北京)有限公司 教学数据分析的方法、装置、设备及计算机可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103793718A (zh) * 2013-12-11 2014-05-14 台州学院 一种基于深度学习的人脸表情识别方法
US20160217321A1 (en) * 2015-01-23 2016-07-28 Shindig. Inc. Systems and methods for analyzing facial expressions within an online classroom to gauge participant attentiveness
US20170177943A1 (en) * 2015-12-21 2017-06-22 Canon Kabushiki Kaisha Imaging system and method for classifying a concept type in video
CN106570474A (zh) * 2016-10-27 2017-04-19 南京邮电大学 一种基于3d卷积神经网络的微表情识别方法
CN106778539A (zh) * 2016-11-25 2017-05-31 鲁东大学 教学效果信息获取方法及装置
CN108961115A (zh) * 2018-07-02 2018-12-07 百度在线网络技术(北京)有限公司 教学数据分析的方法、装置、设备及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
施徐敢等: "融合深度信念网络和多层感知器的人脸表情识别", 《小型微型计算机系统》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110287792A (zh) * 2019-05-23 2019-09-27 华中师范大学 一种处于自然教学环境的课堂中学生学习状态实时分析方法
CN110363084A (zh) * 2019-06-10 2019-10-22 北京大米科技有限公司 一种上课状态检测方法、装置、存储介质及电子
WO2020253363A1 (zh) * 2019-06-19 2020-12-24 深圳壹账通智能科技有限公司 产品认可度分析方法、装置、终端及计算机可读存储介质
CN111027865A (zh) * 2019-12-12 2020-04-17 山东大学 一种基于行为和表情智能识别的课堂教学分析与质量评估系统及方法
CN111027865B (zh) * 2019-12-12 2024-04-02 山东大学 基于行为和表情识别的教学分析与质量评估系统及方法
CN111178263B (zh) * 2019-12-30 2023-09-05 武汉美和易思数字科技有限公司 一种实时表情分析方法及其装置
CN111178263A (zh) * 2019-12-30 2020-05-19 湖北美和易思教育科技有限公司 一种实时表情分析方法及其装置
CN112085392A (zh) * 2020-09-10 2020-12-15 北京易华录信息技术股份有限公司 一种学习参与度确定方法、装置及计算机设备
CN112667776A (zh) * 2020-12-29 2021-04-16 重庆科技学院 一种智能教学评估与分析方法
CN112667776B (zh) * 2020-12-29 2022-05-10 重庆科技学院 一种智能教学评估与分析方法
CN113393160A (zh) * 2021-07-09 2021-09-14 北京市博汇科技股份有限公司 一种课堂专注度分析方法、装置、电子设备及介质
CN113535982B (zh) * 2021-07-27 2022-05-24 南京邮电大学盐城大数据研究院有限公司 一种基于大数据的教学系统
CN113535982A (zh) * 2021-07-27 2021-10-22 南京邮电大学盐城大数据研究院有限公司 一种基于大数据的教学系统

Similar Documents

Publication Publication Date Title
CN109784312A (zh) 教学管理方法及装置
Lee Artificial intelligence in daily life
Hussain et al. Prediction model on student performance based on internal assessment using deep learning
CN108229268A (zh) 表情识别及卷积神经网络模型训练方法、装置和电子设备
CN106407889A (zh) 基于光流图深度学习模型在视频中人体交互动作识别方法
US20210312288A1 (en) Method for training classification model, classification method, apparatus and device
Cheng et al. Classification of long sequential data using circular dilated convolutional neural networks
Gallagher Multi-layer perceptron error surfaces: visualization, structure and modelling
CN109086837A (zh) 基于卷积神经网络的用户属性分类方法、存储介质、装置及电子设备
CN112348417A (zh) 一种基于主成分分析算法的营销价值评估方法及装置
Hu Tolerance rough sets for pattern classification using multiple grey single-layer perceptrons
Bosch et al. Unsupervised deep autoencoders for feature extraction with educational data
Lones et al. Characterising neurological time series data using biologically motivated networks of coupled discrete maps
Herasymova et al. Development of Intelligent Information Technology of Computer Processing of Pedagogical Tests Open Tasks Based on Machine Learning Approach.
Liu et al. Forecast and evaluation of educational economic contribution based on fuzzy neural network
Khodke et al. Neuro fuzzy intelligent e-learning systems
Zheng et al. A data-driven emotion model for english learners based on machine learning
Vinokurov et al. A metacognitive classifier using a hybrid ACT-R/Leabra architecture
Wei et al. (Retracted) Image analysis and pattern recognition method of three-dimensional process in physical education teaching based on big data
CN111754370A (zh) 一种基于人工智能的在线教育课程管理方法及系统
CN109243573A (zh) 一种综合体育教育锻炼设备
Chen Hotel management evaluation index system based on data mining and deep neural network
Chen et al. Learning disability early warning system based on classification algorithm
Vibhute et al. Color image processing approach for nitrogen estimation of vineyard
Shang et al. Design of the Music Intelligent Management System Based on a Deep CNN

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190521

RJ01 Rejection of invention patent application after publication