CN115689340A - 一种基于彩色动态人脸特征的课堂质量监控系统 - Google Patents
一种基于彩色动态人脸特征的课堂质量监控系统 Download PDFInfo
- Publication number
- CN115689340A CN115689340A CN202211280297.2A CN202211280297A CN115689340A CN 115689340 A CN115689340 A CN 115689340A CN 202211280297 A CN202211280297 A CN 202211280297A CN 115689340 A CN115689340 A CN 115689340A
- Authority
- CN
- China
- Prior art keywords
- data
- module
- classroom
- evaluation
- teaching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明属于课堂质量监控技术领域，公开了一种基于彩色动态人脸特征的课堂质量监控系统，所述基于彩色动态人脸特征的课堂质量监控系统包括：人脸图像采集模块、主控模块、图像特征提取模块、人脸识别模块、知识考核模块、课堂质量评估模块、评级模块、显示模块。本发明通过人脸识别模块用四元数矩阵表示彩色图像，充分利用了图像的颜色信息和空间特征，使针对彩色图像的识别更加准确；同时，通过课堂质量评估模块可以对教师的课堂教学质量自动进行准确地评估，进而解决了教师课堂教学质量由学校教师互评、领导打分造成的受评分人的主观性影响，以及评估周期长，难以反映长期教学质量的技术问题；形成了评价主体与评价内容多元化的模式。
Description
技术领域
本发明属于课堂质量监控技术领域，尤其涉及一种基于彩色动态人脸特征的课堂质量监控系统。
背景技术
课堂是学生学习的场所。因此，在教学中，要根据教学实际，创设必要的课堂环境，给学生提供课内实践的机会，让学生在特定的环境中进行实践体验，使他们在活动中感悟道理，体验情感，规范行为。
彩色人脸识别是模式识别领域的重要研究课题之一；线性判别分析(LinearDiscriminant Analy-sis，LDA)及其变体是图像处理中的一种特征提取算法，在模式识别等新兴研究领域中发挥着重要作用；LDA的目标之一是求解矩阵对的广义特征值问题；迄今为止，对四元数矩阵广义特征值的研究并不成熟；然而，现有基于彩色动态人脸特征的课堂质量监控系统对人脸识别不准确；同时，目前课堂教师教学质量评估多由学校教师互评、领导打分，这样的评估方式容易受评分人的主观性影响，且存在评估周期长，难以反映长期教学质量等问题。
通过上述分析，现有技术存在的问题及缺陷为：
(1)现有基于彩色动态人脸特征的课堂质量监控系统对人脸识别不准确。
(2)目前课堂教师教学质量评估多由学校教师互评、专家打分，这样的评估方式容易受评分人的主观性影响，且存在评估周期长，难以反映长期教学质量等问题。
发明内容
针对现有技术存在的问题，本发明提供了一种基于彩色动态人脸特征的课堂质量监控系统。
本发明是这样实现的，一种基于彩色动态人脸特征的课堂质量监控系统包括：
人脸图像采集模块、主控模块、图像特征提取模块、人脸识别模块、知识考核模块、课堂质量评估模块、评级模块、显示模块；
人脸图像采集模块，与主控模块连接，用于通过摄像设备采集学生人脸图像，摄像设备采集到的人脸在摄像设备中为电信号的形式，经由A/D转换器转换为计算机可识别的数字信号图像，经过传输线传输至主控模块；
主控模块，与人脸图像采集模块、图像特征提取模块、人脸识别模块、知识考核模块、课堂质量评估模块、评级模块、显示模块连接，用于控制各个模块正常工作，主控制器对各模块传输的数据以及请求进行采集，通过分析处理后输出给输出通道；当各模块需要模拟量输出时，中央处理模块的指令经过D/A转换器转换成标准电信号进行输出；
图像特征提取模块，与主控模块连接，用于通过提取程序提取人脸图像特征信息，首先图像特征提取模块向主控模块发送请求人脸图像数据的请求，主控模块接到请求后将数据以数字信号包的形式传输至图像特征提取模块，图像特征提取模块将接收到的数据包进行解包，将人脸图像数据输入提取程序中提取特征；
人脸识别模块，与主控模块连接，用于通过识别程序对人脸进行识别，首先人脸识别模块向主控模块发送请求人脸图像数据与人脸特征数据的请求，主控模块接到请求后将数据以数字信号包的形式传输至人脸识别模块，人脸识别模块将接收到的数据输入识别程序中，识别程序使用识别方法对人脸进行识别；
知识考核模块，与主控模块连接，用于通过考核程序对课堂知识进行考核，考核程序使用随机算法生成考核题，学生在试题界面输入相应答案，答案立刻与后台数据库中的答案进行对比，若相同，返回True，否则数据库返回False；
课堂质量评估模块，与主控模块连接，用于通过评估程序对课堂教学质量进行评估，课堂质量评估模块获取评估需要的数据输入评估程序中，评估程序使用评估方法对课堂质量进行评估；
评级模块，与主控模块连接，用于通过评级程序对课堂教学质量进行评级，首先评级模块从主控模块获取课堂质量评估结果，将评估结果输入评级程序，评级程序根据预先设定的标准进行评级；
显示模块，与主控模块连接，用于通过显示器实时显示人脸图像、人脸识别信息、考核信息、评估结果、评级结果，主控模块模块将信息以数字信号的形式传送至显示模块，显示模块将数字信号通过DVI接口传入显示屏，以供显示。
进一步，所述人脸识别模块识别方法如下：
1)采集学生彩色人脸图像，并对人脸图像进行增强处理后存入彩色学生人脸数据库中，将彩色学生人脸数据库中随机选取样本图像，将样本图像分为训练样本集合A和测试样本B；
2)计算训练样本集合A的平均图像和协方差矩阵；
其中，平均图像记为
协方差矩阵记为G；
3)对协方差矩阵G执行四元数特征分解，计算得到特征脸空间；
其中，特征脸空间记为
其中W为加权矩阵，W＝D(1：r,1:r)＝diag(λ1,λ2,......λr)，r为指定特征脸空间维数，1≤r≤n；
4)计算样本图像的特征矩阵；用最近邻分类器进行彩色学生人脸识别；输出测试样本集合中图像所属类别。
进一步，所述计算训练样本集合A的平均图像和协方差矩阵中：
其中j为样本所属的人的序号，j＝1,2,...,M；N＝11+12+...+1M为总的图像张数，1j为第j个人图像的张数；
为属于第j个人的第i张样本；Qm×n为m×n的四元数矩阵集合。
进一步，所述对协方差矩阵G四元数特征分解满足V*GV＝D,V*V＝I,I为单位矩阵，D＝diag(λ1,λ2,……λn)，即取协方差矩阵G的对角线特征值构成的对角矩阵作为加权矩阵W。
进一步，所述样本图像的特征矩阵，其中训练样本集合A中
的特征矩阵
计算方法如下：
其中j＝1,2,...,M，i＝1,2,...,1j；测试样本B的特征矩阵p计算方法如下：
进一步，所述用最近邻分类器进行彩色学生人脸识别的具体方法为发现最近的特征矩阵
满足
以此确定待测试图像类别K，||·||F表示Frobenius范数。
进一步，所述课堂质量评估模块评估方法如下：
(1)构建课堂数据库，采集目标教师的教学数据、学生听课数据以及课程板书数据以及课标中的数据，便于与教师手写板书内容和PPT内容进行对比，所述学生听课数据包括学生上课的视频数据以及音频数据，所述课程板书数据为教师在讲课过程中黑板上的手写内容和教师所使用的PPT上的内容；将采集的数据存入课堂数据库中；确定课堂教学质量评估的评测维度；
(2)根据所述评测维度分别对所述教学数据、所述学生听课数据以及所述课程板书数据进行处理，评估所述目标教师的课堂教学质量。
进一步，所述评测维度包括以下至少之一：语言合规性、板书合规性、课堂活跃度、仪容仪表合规度；
在所述评测维度包括语言合规性时，根据所述评测维度分别对所述教学数据、所述学生听课数据以及所述课程板书数据进行处理，评估所述目标教师的课堂教学质量，包括：
根据所述教学数据中的教师音频数据对教学思路流畅度进行检测以及对教学思路流畅度进行等级划分，确定所述目标教师的教学思路流畅得分；和/或，根据所述教学数据中的教师音频数据对红线词进行检测，所述红线词为教师音频数据中出现的不符合教学内容的语言错误，比如将“昨日黄花”说成“明日黄花”等带有误导性的语言，确定所述目标教师的语言合规性得分；所述语言合规性得分是在原始分值100分上扣除红线词分值后的最终得分，所述红线词分值为每一个0.5分，上不封顶；
在所述评测维度包括板书合规性时，根据所述评测维度分别对所述教学数据、所述学生听课数据以及所述课程板书数据进行处理，评估所述目标教师的课堂教学质量，包括：
根据所述课程板书数据对黑板上的手写内容或者教师PPT上的内容进行识别，其中，在所述手写内容为无法识别或者字体过小而无法识别或者大段手写内容不整齐或者字迹不连续，则确定所述目标教师的手写板书的字迹工整度/排版不合格，或者，在识别出所述手写内容或者教师PPT上的内容时，则将识别出的所述手写内容与课表中要求的本节课需要掌握的知识点进行对比，确定所述目标教师的教学流畅度得分；
根据所述课程板书数据对涂抹痕迹进行检测，确定所述目标教师的教学流畅度得分，包括：
将所述课程板书数据输入识别模型，由所述识别模型输出所述课程板书数据对应的涂抹痕迹次数，所述识别模型为使用多组数据通过机器学习训练得出的，所述多组数据中的每组数据均包括：所述课程板书数据和所述课程板书数据对应的涂抹痕迹次数；
确定所述涂抹痕迹次数大于或者等于预设的涂抹痕迹次数阈值，则对所述目标教师的教学流畅度得分进行扣分处理，所述预设的涂抹痕迹次数阈值为20次，大于阈值后以每次涂抹0.5分的标准在原始分值100分上进行扣分。
进一步，所述在所述评测维度包括课堂活跃度时，根据所述评测维度分别对所述教学数据、所述学生听课数据以及所述课程板书数据进行处理，评估所述目标教师的课堂教学质量，包括：
根据所述学生听课数据中的学生视频数据对学生人数进行检测，确定学生的出勤率；
和/或，根据所述学生听课数据中的学生音频数据对学生音量进行检测，确定学生的回答音量；和/或，根据所述学生听课数据中的学生视频数据对学生人脸表情进行检测并分类，判断学生人脸表情属于开心或者难过或者疑惑或者生气或者郁闷或者专注，确定学生的专注度；和/或，根据所述学生听课数据中的学生视频数据对学生回答问题的次数以及回答问题的学生人数进行检测，确定课堂的教学活跃程度以及小组讨论的激烈程度；
进一步，所述在所述评测维度包括仪容仪表合规度时，根据所述评测维度分别对所述教学数据、所述学生听课数据以及所述课程板书数据进行处理，评估所述目标教师的课堂教学质量，包括：
根据所述教学数据中的教师视频数据对所述目标教师的异常仪容和/或异常姿态进行检测，确定所述目标教师的仪容仪表得分，所述异常仪容包括佩戴奇形怪状的饰品、妆容夸张艳丽，所述异常姿态是与教学无关的极其夸张的动作，所述异常仪容与异常姿态扣分标准为10分，异常姿态每出现一次就在原始分值100分上进行扣分；和/或，根据所述学生听课数据中的学生视频数据对学生的异常仪容和/或异常姿态进行检测，确定所述学生的仪容仪表得分，所述异常仪容包括佩戴奇形怪状的饰品、妆容夸张艳丽，所述异常姿态是与学习无关的极其夸张的动作，所述学生异常仪容或者异常姿态扣分标准同教师扣分标准。。
本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述基于彩色动态人脸特征的课堂质量监控系统的功能。
结合上述的技术方案和解决的技术问题，请从以下几方面分析本发明所要保护的技术方案所具备的优点及积极效果为：
第一、针对上述现有技术存在的技术问题以及解决该问题的难度，紧密结合本发明的所要保护的技术方案以及研发过程中结果和数据等，详细、深刻地分析本发明技术方案如何解决的技术问题，解决问题之后带来的一些具备创造性的技术效果。具体描述如下：
本发明通过人脸识别模块用四元数矩阵表示彩色图像，充分利用了图像的颜色信息和空间特征，使针对彩色图像的识别更加准确；同时，通过课堂质量评估模块可以对教师的课堂教学质量自动进行准确地评估，进而解决了教师课堂教学质量由学校教师互评、领导打分造成的受评分人的主观性影响，以及评估周期长，难以反映长期教学质量的技术问题；同时形成了评价主体与评价内容多元化的模式，使得课堂教学质量可以被全面评价。
第二，把技术方案看做一个整体或者从产品的角度，本发明所要保护的技术方案具备的技术效果和优点，具体描述如下：
本发明通过人脸识别模块用四元数矩阵表示彩色图像，充分利用了图像的颜色信息和空间特征，使针对彩色图像的识别更加准确；同时，通过课堂质量评估模块可以对教师的课堂教学质量自动进行准确地评估，进而解决了教师课堂教学质量由学校教师互评、领导打分造成的受评分人的主观性影响，以及评估周期长，难以反映长期教学质量的技术问题；同时形成了评价主体与评价内容多元化的模式，使得课堂教学质量可以被全面评价。
附图说明
图1是本发明实施例提供的基于彩色动态人脸特征的课堂质量监控系统结构框图。
图2是本发明实施例提供的人脸识别模块识别方法流程图。
图3是本发明实施例提供的课堂质量评估模块评估方法流程图。：
图1中：1、人脸图像采集模块；2、主控模块；3、图像特征提取模块；4、人脸识别模块；5、知识考核模块；6、课堂质量评估模块；7、评级模块；8、显示模块。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
一、解释说明实施例。为了使本领域技术人员充分了解本发明如何具体实现，该部分是对权利要求技术方案进行展开说明的解释说明实施例。
如图1所示，本发明实施例提供的基于彩色动态人脸特征的课堂质量监控系统包括：人脸图像采集模块1、主控模块2、图像特征提取模块3、人脸识别模块4、知识考核模块5、课堂质量评估模块6、评级模块7、显示模块8。
人脸图像采集模块1，与主控模块2连接，用于通过摄像设备采集学生人脸图像，摄像设备采集到的人脸在摄像设备中为电信号的形式，经由A/D转换器转换为计算机可识别的数字信号图像，经过传输线传输至主控模块；
主控模块2，与人脸图像采集模块1、图像特征提取模块3、人脸识别模块4、知识考核模块5、课堂质量评估模块6、评级模块7、显示模块8连接，用于控制各个模块正常工作，主控制器对各模块传输的数据以及请求进行采集，通过分析处理后输出给输出通道；当各模块需要模拟量输出时，中央处理模块的指令经过D/A转换器转换成标准电信号进行输出；
图像特征提取模块3，与主控模块2连接，用于通过提取程序提取人脸图像特征信息，首先图像特征提取模块向主控模块发送请求人脸图像数据的请求，主控模块接到请求后将数据以数字信号包的形式传输至图像特征提取模块，图像特征提取模块将接收到的数据包进行解包，将人脸图像数据输入提取程序中提取特征；
人脸识别模块4，与主控模块2连接，用于通过识别程序对人脸进行识别，首先人脸识别模块向主控模块发送请求人脸图像数据与人脸特征数据的请求，主控模块接到请求后将数据以数字信号包的形式传输至人脸识别模块，人脸识别模块将接收到的数据输入识别程序中，识别程序使用识别方法对人脸进行识别；
知识考核模块5，与主控模块2连接，用于通过考核程序对课堂知识进行考核，考核程序使用随机算法生成考核题，学生在试题界面输入相应答案，答案立刻与后台数据库中的答案进行对比，若相同，返回True，否则数据库返回False；
课堂质量评估模块6，与主控模块2连接，用于通过评估程序对课堂教学质量进行评估，课堂质量评估模块获取评估需要的数据输入评估程序中，评估程序使用评估方法对课堂质量进行评估；
评级模块7，与主控模块2连接，用于通过评级程序对课堂教学质量进行评级，首先评级模块从主控模块获取课堂质量评估结果，将评估结果输入评级程序，评级程序根据预先设定的标准进行评级；
显示模块8，与主控模块2连接，用于通过显示器实时显示人脸图像、人脸识别信息、考核信息、评估结果、评级结果，主控模块模块将信息以数字信号的形式传送至显示模块，显示模块将数字信号通过DVI接口传入显示屏，以供显示。
如图2所示，本发明提供的人脸识别模块4识别方法如下：
S101，采集学生彩色人脸图像，并对人脸图像进行增强处理后存入彩色学生人脸数据库中，将彩色学生人脸数据库中随机选取样本图像，将样本图像分为训练样本集合A和测试样本B；
S102，计算训练样本集合A的平均图像和协方差矩阵；
其中，平均图像记为
协方差矩阵记为G；
S103，对协方差矩阵G执行四元数特征分解，计算得到特征脸空间；
其中，特征脸空间记为
其中W为加权矩阵，W＝D(1：r,1:r)＝diag(λ1,λ2,......λr)，r为指定特征脸空间维数1≤r≤n；
S104，计算样本图像的特征矩阵；用最近邻分类器进行彩色学生人脸识别；输出测试样本集合中图像所属类别。
本发明提供的计算训练样本集合A的平均图像和协方差矩阵中：
其中j为样本所属的人的序号，j＝1,2,......，M；N＝11+12+......+1M为总的图像张数，lj为第j个人图像的张数；
为属于第j个人的第i张样本；Qm×n为m×n的四元数矩阵集合。
本发明提供的对协方差矩阵G四元数特征分解满足V*GV＝D,V*V＝I,I为单位矩阵，D＝diag(λ1,λ2,……λn)，即取协方差矩阵G的对角线特征值构成的对角矩阵作为加权矩阵W。
本发明提供的样本图像的特征矩阵，其中训练样本集合A中
的特征矩阵
计算方法如下：
其中j＝1,2,...,M,i＝1,2,...,1j；
测试样本B的特征矩阵P计算方法如下：
本发明提供的用最近邻分类器进行彩色学生人脸识别的具体方法为发现最近的特征矩阵
满足
以此确定待测试图像类别K，||·||F表示Frobenius范数。
如图3所示，本发明提供的课堂质量评估模块6评估方法如下：
S201，构建课堂数据库，采集目标教师的教学数据、学生听课数据以及课程板书数据以及课标中的数据，便于与教师手写板书内容和PPT内容进行对比，所述学生听课数据包括学生上课的视频数据以及音频数据，所述课程板书数据为教师在讲课过程中黑板上的手写内容和教师所使用的PPT上的内容；将采集的数据存入课堂数据库中；确定课堂教学质量评估的评测维度；
S202，根据所述评测维度分别对所述教学数据、所述学生听课数据以及所述课程板书数据进行处理，评估所述目标教师的课堂教学质量。
本发明提供的评测维度包括以下至少之一：语言合规性、板书合规性、课堂活跃度、仪容仪表合规度；
在所述评测维度包括语言合规性时，根据所述评测维度分别对所述教学数据、所述学生听课数据以及所述课程板书数据进行处理，评估所述目标教师的课堂教学质量，包括：
根据所述教学数据中的教师音频数据对教学思路流畅度进行检测以及对教学思路流畅度进行等级划分，确定所述目标教师的教学思路流畅得分；和/或，根据所述教学数据中的教师音频数据对红线词进行检测，所述红线词为教师音频数据中出现的不符合教学内容的语言错误，比如将“昨日黄花”说成“明日黄花”等带有误导性的语言，确定所述目标教师的语言合规性得分；所述语言合规性得分是在原始分值100分上扣除红线词分值后的最终得分，所述红线词分值为每一个0.5分，上不封顶；
在所述评测维度包括板书合规性时，根据所述评测维度分别对所述教学数据、所述学生听课数据以及所述课程板书数据进行处理，评估所述目标教师的课堂教学质量，包括：
根据所述课程板书数据对黑板上的手写内容或者教师PPT上的内容进行识别，其中，在所述手写内容为无法识别或者字体过小而无法识别或者大段手写内容不整齐或者字迹不连续，则确定所述目标教师的手写板书的字迹工整度/排版不合格，或者，在识别出所述手写内容或者教师PPT上的内容时，则将识别出的所述手写内容与课表中要求的本节课需要掌握的知识点进行对比，确定所述目标教师的教学流畅度得分；
根据所述课程板书数据对涂抹痕迹进行检测，确定所述目标教师的教学流畅度得分，包括：
将所述课程板书数据输入识别模型，由所述识别模型输出所述课程板书数据对应的涂抹痕迹次数，所述识别模型为使用多组数据通过机器学习训练得出的，所述多组数据中的每组数据均包括：所述课程板书数据和所述课程板书数据对应的涂抹痕迹次数；
确定所述涂抹痕迹次数大于或者等于预设的涂抹痕迹次数阈值，则对所述目标教师的教学流畅度得分进行扣分处理，所述预设的涂抹痕迹次数阈值为20次，大于阈值后以每次涂抹0.5分的标准在原始分值100分上进行扣分。
本发明提供的在所述评测维度包括课堂活跃度时，根据所述评测维度分别对所述教学数据、所述学生听课数据以及所述课程板书数据进行处理，评估所述目标教师的课堂教学质量，包括：
根据所述学生听课数据中的学生视频数据对学生人数进行检测，确定学生的出勤率；
和/或，根据所述学生听课数据中的学生音频数据对学生音量进行检测，确定学生的回答音量；和/或，根据所述学生听课数据中的学生视频数据对学生人脸表情进行检测并分类，判断学生人脸表情属于开心或者难过或者疑惑或者生气或者郁闷或者专注，确定学生的专注度；和/或，根据所述学生听课数据中的学生视频数据对学生回答问题的次数以及回答问题的学生人数进行检测，确定课堂的教学活跃程度以及小组讨论的激烈程度。
本发明提供的在所述评测维度包括仪容仪表合规度时，根据所述评测维度分别对所述教学数据、所述学生听课数据以及所述课程板书数据进行处理，评估所述目标教师的课堂教学质量，包括：
根据所述教学数据中的教师视频数据对所述目标教师的异常仪容和/或异常姿态进行检测，确定所述目标教师的仪容仪表得分，所述异常仪容包括佩戴奇形怪状的饰品、妆容夸张艳丽，所述异常姿态是与教学无关的极其夸张的动作，所述异常仪容与异常姿态扣分标准为10分，异常姿态每出现一次就在原始分值100分上进行扣分；和/或，根据所述学生听课数据中的学生视频数据对学生的异常仪容和/或异常姿态进行检测，确定所述学生的仪容仪表得分，所述异常仪容包括佩戴奇形怪状的饰品、妆容夸张艳丽，所述异常姿态是与学习无关的极其夸张的动作，所述学生异常仪容或者异常姿态扣分标准同教师扣分标准。
二、应用实施例。为了证明本发明的技术方案的创造性和技术价值，该部分是对权利要求技术方案进行具体产品上或相关技术上的应用实施例。
实施例：
本发明工作时，首先，通过人脸图像采集模块1利用摄像设备采集学生人脸图像；其次，主控模块2通过图像特征提取模块3利用提取程序提取人脸图像特征信息；通过人脸识别模块4利用识别程序对人脸进行识别；通过知识考核模块5利用考核程序对课堂知识进行考核；通过课堂质量评估模块6利用评估程序对课堂教学质量进行评估；然后，通过评级模块7利用评级程序对课堂教学质量进行评级；最后，通过显示模块8利用显示器实时显示人脸图像、人脸识别信息、考核信息、评估结果、评级结果。
应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
三、实施例相关效果的证据。本发明实施例在研发或者使用过程中取得了一些积极效果，和现有技术相比的确具备很大的优势，下面内容结合试验过程的数据、图表等进行描述。
本发明通过人脸识别模块用四元数矩阵表示彩色图像，充分利用了图像的颜色信息和空间特征，使针对彩色图像的识别更加准确；同时，通过课堂质量评估模块可以对教师的课堂教学质量自动进行准确地评估，进而解决了教师课堂教学质量由学校教师互评、领导打分造成的受评分人的主观性影响，以及评估周期长，难以反映长期教学质量的技术问题；同时形成了评价主体与评价内容多元化的模式，使得课堂教学质量可以被全面评价。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种基于彩色动态人脸特征的课堂质量监控系统，其特征在于，所述基于彩色动态人脸特征的课堂质量监控系统包括：
人脸图像采集模块，与主控模块连接，用于通过摄像设备采集学生人脸图像，摄像设备采集到的人脸在摄像设备中为电信号的形式，经由A/D转换器转换为计算机可识别的数字信号图像，经过传输线传输至主控模块；
主控模块，与人脸图像采集模块、图像特征提取模块、人脸识别模块、知识考核模块、课堂质量评估模块、评级模块、显示模块连接，用于控制各个模块正常工作，主控制器对各模块传输的数据以及请求进行采集，通过分析处理后输出给输出通道；当各模块需要模拟量输出时，中央处理模块的指令经过D/A转换器转换成标准电信号进行输出；
图像特征提取模块，与主控模块连接，用于通过提取程序提取人脸图像特征信息，首先图像特征提取模块向主控模块发送请求人脸图像数据的请求，主控模块接到请求后将数据以数字信号包的形式传输至图像特征提取模块，图像特征提取模块将接收到的数据包进行解包，将人脸图像数据输入提取程序中提取特征；
人脸识别模块，与主控模块连接，采集学生彩色人脸图像，并对人脸图像进行增强处理后存入彩色学生人脸数据库中，将彩色学生人脸数据库中随机选取样本图像，将样本图像分为训练样本集合A和测试样本B
计算训练样本集合A的平均图像和协方差矩阵；平均图像记为
协方差矩阵记为G；
对协方差矩阵G执行四元数特征分解，计算得到特征脸空间；特征脸空间记为
其中W为加权矩阵，W＝D(1:r,1:r)＝diag(λ1,λ2,...,λr)，r为指定特征脸空间维数，1≤r≤n；计算样本图像的特征矩阵；用最近邻分类器进行彩色学生人脸识别；输出测试样本集合中图像所属类别；最终实现人脸识别；
知识考核模块，与主控模块连接，用于通过考核程序对课堂知识进行考核，考核程序使用随机算法生成考核题，学生在试题界面输入相应答案，答案立刻与后台数据库中的答案进行对比，若相同，返回True，否则数据库返回False；
课堂质量评估模块，与主控模块连接，用于通过评估程序对课堂教学质量进行评估，课堂质量评估模块获取评估需要的数据输入评估程序中，评估程序使用评估方法对课堂质量进行评估；
评级模块，与主控模块连接，用于通过评级程序对课堂教学质量进行评级，首先评级模块从主控模块获取课堂质量评估结果，将评估结果输入评级程序，评级程序根据预先设定的标准进行评级；
显示模块，与主控模块连接，用于通过显示器实时显示人脸图像、人脸识别信息、考核信息、评估结果、评级结果，主控模块模块将信息以数字信号的形式传送至显示模块，显示模块将数字信号通过DVI接口传入显示屏，以供显示。
2.如权利要求1所述基于彩色动态人脸特征的课堂质量监控系统，其特征在于，所述计算训练样本集合A的平均图像和协方差矩阵中：
其中j为样本所属的人的序号,j＝1,2,...,M,i＝1,2,...,1j为总的图像张数，lj为第j个人图像的张数；
为属于第j个人的第i张样本；Qm×n为m×n的四元数矩阵集合。
3.如权利要求1所述基于彩色动态人脸特征的课堂质量监控系统，其特征在于，所述对协方差矩阵G四元数特征分解满足V*GV＝D,V*V＝I,I为单位矩阵，D＝diag(λ1,λ2,...,λ3)，即取协方差矩阵G的对角线特征值构成的对角矩阵作为加权矩阵W。
4.如权利要求1所述基于彩色动态人脸特征的课堂质量监控系统，其特征在于，所述样本图像的特征矩阵，其中训练样本集合A中
的特征矩阵
计算方法如下：
其中j＝1,2,...,M,i＝1,2,...,1j；
测试样本B的特征矩阵P计算方法如下：
5.如权利要求1所述基于彩色动态人脸特征的课堂质量监控系统，其特征在于，所述用最近邻分类器进行彩色学生人脸识别的具体方法为发现最近的特征矩阵
满足
以此确定待测试图像类别K，||·||F表示Frobenius范数。
6.如权利要求1所述基于彩色动态人脸特征的课堂质量监控系统，其特征在于，所述课堂质量评估模块评估方法如下：
(1)构建课堂数据库，采集目标教师的教学数据、学生听课数据以及课程板书数据以及课标中的数据，便于与教师手写板书内容和PPT内容进行对比，所述学生听课数据包括学生上课的视频数据以及音频数据，所述课程板书数据为教师在讲课过程中黑板上的手写内容和教师所使用的PPT上的内容；将采集的数据存入课堂数据库中；确定课堂教学质量评估的评测维度；
(2)根据所述评测维度分别对所述教学数据、所述学生听课数据以及所述课程板书数据进行处理，评估所述目标教师的课堂教学质量。
7.如权利要求6所述基于彩色动态人脸特征的课堂质量监控系统，其特征在于，所述评测维度包括以下至少之一：语言合规性、板书合规性、课堂活跃度、仪容仪表合规度。
8.如权利要求6所述基于彩色动态人脸特征的课堂质量监控系统，其特征在于，
在所述评测维度包括语言合规性时，根据所述评测维度分别对所述教学数据、所述学生听课数据以及所述课程板书数据进行处理，评估所述目标教师的课堂教学质量，包括：
根据所述教学数据中的教师音频数据对教学思路流畅度进行检测以及对教学思路流畅度进行等级划分，确定所述目标教师的教学思路流畅得分；和/或，根据所述教学数据中的教师音频数据对红线词进行检测，确定所述目标教师的语言合规性得分；所述红线词为教师音频数据中出现的不符合教学内容的语言错误；所述语言合规性得分是在原始分值100分上扣除红线词分值后的最终得分，所述红线词分值为每一个0.5分，上不封顶；
在所述评测维度包括板书合规性时，根据所述评测维度分别对所述教学数据、所述学生听课数据以及所述课程板书数据进行处理，评估所述目标教师的课堂教学质量，包括：
根据所述课程板书数据对黑板上的手写内容或者教师PPT上的内容进行识别，其中，在所述手写内容为无法识别或者字体过小而无法识别或者大段手写内容不整齐或者字迹不连续，则确定所述目标教师的手写板书的字迹工整度/排版不合格，或者，在识别出所述手写内容或者教师PPT上的内容时，则将识别出的所述手写内容与课表中要求的本节课需要掌握的知识点进行对比，确定所述目标教师的教学流畅度得分；
根据所述课程板书数据对涂抹痕迹进行检测，确定所述目标教师的教学流畅度得分，包括：
将所述课程板书数据输入识别模型，由所述识别模型输出所述课程板书数据对应的涂抹痕迹次数，所述识别模型为使用多组数据通过机器学习训练得出的，所述多组数据中的每组数据均包括：所述课程板书数据和所述课程板书数据对应的涂抹痕迹次数；
确定所述涂抹痕迹次数大于或者等于预设的涂抹痕迹次数阈值，则对所述目标教师的教学流畅度得分进行扣分处理。
9.如权利要求6所述基于彩色动态人脸特征的课堂质量监控系统，其特征在于，所述在所述评测维度包括课堂活跃度时，根据
所述评测维度分别对所述教学数据、所述学生听课数据以及所述课程板书数据进行处理，评估所述目标教师的课堂教学质量，包括：
根据所述学生听课数据中的学生视频数据对学生人数进行检测，确定学生的出勤率；
和/或，根据所述学生听课数据中的学生音频数据对学生音量进行检测，确定学生的回答音量；和/或，根据所述学生听课数据中的学生视频数据对学生人脸表情进行检测，确定学生的专注度；
所述在所述评测维度包括仪容仪表合规度时，根据所述评测维度分别对所述教学数据、所述学生听课数据以及所述课程板书数据进行处理，评估所述目标教师的课堂教学质量，包括：
根据所述教学数据中的教师视频数据对所述目标教师的异常仪容和/或异常姿态进行检测，确定所述目标教师的仪容仪表得分；和/或，根据所述学生听课数据中的学生视频数据对学生的异常仪容和/或异常姿态进行检测，确定所述学生的仪容仪表得分。
10.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1～9任意一项所述基于彩色动态人脸特征的课堂质量监控系统的功能。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211280297.2A CN115689340A (zh) | 2022-10-19 | 2022-10-19 | 一种基于彩色动态人脸特征的课堂质量监控系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211280297.2A CN115689340A (zh) | 2022-10-19 | 2022-10-19 | 一种基于彩色动态人脸特征的课堂质量监控系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115689340A true CN115689340A (zh) | 2023-02-03 |
Family
ID=85065878
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211280297.2A Withdrawn CN115689340A (zh) | 2022-10-19 | 2022-10-19 | 一种基于彩色动态人脸特征的课堂质量监控系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115689340A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117114495A (zh) * | 2023-09-11 | 2023-11-24 | 湖南软件职业技术大学 | 一种能力生成分析的职业本科教育质量评估方法 |
-
2022
- 2022-10-19 CN CN202211280297.2A patent/CN115689340A/zh not_active Withdrawn
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117114495A (zh) * | 2023-09-11 | 2023-11-24 | 湖南软件职业技术大学 | 一种能力生成分析的职业本科教育质量评估方法 |
| CN117114495B (zh) * | 2023-09-11 | 2024-01-26 | 湖南软件职业技术大学 | 一种能力生成分析的职业本科教育质量评估方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110992741B (zh) | 一种基于课堂情绪和行为分析的学习辅助方法及系统 | |
| Whitehill et al. | The faces of engagement: Automatic recognition of student engagementfrom facial expressions | |
| Kocdar et al. | Analysis of the Difficulty and Discrimination Indices of Multiple-Choice Questions According to Cognitive Levels in an Open and Distance Learning Context. | |
| CN108898115B (zh) | 数据处理方法、存储介质和电子设备 | |
| CN115239527A (zh) | 基于知识库的教学特征融合与建模的教学行为分析系统 | |
| EP3567597A1 (en) | Method and apparatus of diagnostic test | |
| CN110059978B (zh) | 一种基于云计算辅助教学测评的教师评价系统 | |
| Randeniya et al. | Virtual reality based maintenance training effectiveness measures–a novel approach for rail industry | |
| WO2020007097A1 (zh) | 数据处理方法、存储介质和电子设备 | |
| CN114820248A (zh) | 一种基于学生能力画像的工作内推方法 | |
| CN115082266A (zh) | 一种基于深度学习的学生教育学科综合化发展分析评价系统 | |
| Soloviev | Machine learning approach for student engagement automatic recognition from facial expressions | |
| CN116452022A (zh) | 教师教学效果的评价方法、装置及电子设备 | |
| CN115689340A (zh) | 一种基于彩色动态人脸特征的课堂质量监控系统 | |
| Villegas-Ch et al. | Identification of emotions from facial gestures in a teaching environment with the use of machine learning techniques | |
| KR102330159B1 (ko) | 수업 행동 패턴 분석을 통한 온라인 수업 집중도 평가 시스템 및 그 평가 방법 | |
| Simonson | Attitude measurement: Why and how | |
| Dempster et al. | Inter-rater agreement in assigning cognitive demand to Life Sciences examination questions | |
| CN112464774A (zh) | 一种基于眼动测量的视频学习中的情感识别方法 | |
| Wahlen et al. | Automated scoring of teachers’ pedagogical content knowledge–a comparison between human and machine scoring | |
| MacIntyre | The idiodynamic method | |
| KR20180072956A (ko) | 취학연령기 유아의 학교 준비도 검사 로봇 | |
| Alkhowarizmi et al. | The effect of using self-assessment technique towards EFL students’ writing skill | |
| Hirt et al. | Measuring emotions during learning: lack of coherence between automated facial emotion recognition and emotional experience | |
| Yao | RETRACTED ARTICLE: Assistive Technology-Based Analysis of Students’ Foreign Language Anxiety Using Distributed Machine Learning and Intelligent Affective Computing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20230203 |
|
| WW01 | Invention patent application withdrawn after publication |