CN108875606A - 一种基于表情识别的课堂教学评价方法及系统 - Google Patents

一种基于表情识别的课堂教学评价方法及系统 Download PDF

Info

Publication number
CN108875606A
CN108875606A CN201810558159.3A CN201810558159A CN108875606A CN 108875606 A CN108875606 A CN 108875606A CN 201810558159 A CN201810558159 A CN 201810558159A CN 108875606 A CN108875606 A CN 108875606A
Authority
CN
China
Prior art keywords
student
classroom
image
teacher
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810558159.3A
Other languages
English (en)
Inventor
周明强
张申申
张程
刘慧君
朱庆生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN201810558159.3A priority Critical patent/CN108875606A/zh
Publication of CN108875606A publication Critical patent/CN108875606A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Tourism & Hospitality (AREA)
  • Data Mining & Analysis (AREA)
  • Primary Health Care (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Educational Administration (AREA)
  • Strategic Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Educational Technology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于表情识别的课堂教学评价方法及系统。该方法包括如下步骤：S1，将教师授课图像与时间标签关联存储；S2，对学生课堂图像进行处理，对每个学生的每个采集时间点的听课状态和/或理解程度进行课堂表现达标判断，若不达标则标记该采集时间点为该学生的一个视频段标签；S3，获得该学生的课堂表现评价；S4，计算每个知识点的密集程度并将所有知识点按照密集程度进行排序；基于学生集合中的课堂表现评价进行课堂教学质量评价。对教学评估细化到课堂上每个知识点；对于每个学生课堂表现不达标的时间段通过视频段标签记录下来，便于掌握每个学生的学习效果和学生课后复习，通过听课状态和理解程度对课堂教学质量进行准确评价。

Description

一种基于表情识别的课堂教学评价方法及系统
技术领域
本发明涉及智能教育领域，特别是涉及一种基于表情识别的课堂教学评价方法及系统。
背景技术
现有技术中，公开号为CN107169902A的中国专利申请中披露了“一种基于人工智能的微表情分析的课堂教学评价系统，其特征在于:由视频输入模块、云处理系统和输出模块组成，所述云处理系统包括服务器、GPU加速人工智能计算模块、微表情模块、考勤模块、座位位置信息模块、人际关系模块、学工系统、教务系统和评价评估系统组成。”该专利申请运用人工智能深度学习的技术手段，通过上课过程中的综合信息分析全面反映堂教学的信息，从而给教师，教务，家长等提供科学的决策依据来提高教学质量。公开号为CN106878677A的中国专利申请中披露了“一种基于多传感器的学生课堂掌握程度评估系统，其特征在于，信息来源模块有3个，分别是视频采集模块、音频采集模块、成绩录入模块，其中视频采集模块和面部表情分类器模块连接输出面部表情分类结果，音频采集模块和语音分类器模块连接输出语音分类结果，成绩录入模块和成绩分类器模块连接输出成绩分类结果，......课堂教学学生反映评估及建议模块，用于对融合结果进行分析，并给出学生在课堂掌握情况的反映和建议。”该专利申请主要应用于课堂教学学生反映评估，它的实际意义是更客观、更准确的评估课堂学生掌握状况，能对课堂上学生的掌握状祝作出判断并给出教学评估结果及相应建议。
上述两个专利申请对于教学的评估只是针对该课程，没有细化到课堂教学内容，更没有细化到课堂教学内容中的知识点，不利于掌握学生具体的学习效果。另外，高校课程繁重而且课时有限，教师需要在较短的时间内完成教学任务，而高校课程学生逃课、上课瞌睡、走神的现象时有发生，为了保证课堂教学质量，高校教师经常与学生教学互动，例如要求学生现场回答问题，维持课堂纪律，提醒瞌睡、走神的学生，记录学生课堂表现等，无疑给教师增加了授课难度，降低了课堂授课的连贯性，影响授课质量；以及每个学生对于知识的理解程度不同，如何了解每个学生的学习进度进行个性化的指导也一直困扰着老师。因此，研究基于表情识别的课堂教学评价方法及系统具有重要的现实意义。
发明内容
本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种基于表情识别的课堂教学评价方法及系统。
为了实现本发明的上述目的，根据本发明的第一个方面，本发明公开了一种基于表情识别的课堂教学评价方法，包括如下步骤：
S1，间隔时间采集教师授课图像，为每次采集的教师授课图像设置时间标签，将教师授课图像与时间标签关联存储；
S2，以相同或不相同的时间间隔采集学生课堂图像，对学生课堂图像进行处理，获得所有学生在每个采集时间点的出勤状态、听课状态和理解程度，对每个学生在每个采集时间点的听课状态和/或理解程度进行课堂表现达标判断，若不达标则标记该采集时间点为该学生的一个视频段标签；
S3，基于学生所有采集时间点的出勤状态、听课状态和理解程度，获得该学生的课堂表现评价，利用学生信息、课程信息、课堂表现评价和视频段标签创建学生集合；
S4，将学生集合中的视频段标签转换为时间标签，提取与所述时间标签关联的教师授课图像中的知识点，计算每个知识点的密集程度并将所有知识点按照密集程度进行排序；
和/或基于学生集合中的课堂表现评价进行课堂教学质量评价。
上述技术方案的有益技术效果为：将每个知识点的密集程度进行排序，对教学评估细化到课堂上每个知识点；对于每个学生课堂表现不达标的时间段通过视频段标签记录下来，便于掌握每个学生具体的学习效果，便于课后学生有针对性地复习。基于所有学生的听课状态和理解程度进行课堂教学质量评价，使教学质量评估更准确，具有重要的现实意义。
在本发明的一种优选实施方式中，所述步骤S1包括：
S11，提取教师授课图像中课堂PPT图像上的标题作为该教师授课图像的知识点，并将教师授课图像的采集时间标记为时间标签；
S12，合并知识点相同的教师授课图像的时间标签，获得新的时间标签，每个知识点记作一个包含时间标签的元组对(Ki，[ts,td])，整个课堂知识点保存为一张可查询的时间表：
ktable＝{(k1,[ts1,td1]),(k2,[ts2,td2]),…(ki,[tsi,tdi])}；
其中，ki表示第i个知识点；i为大于等于1的整数；[tsi,tdi]表示第i个知识点的时间标签；tsi、tdi分别表示第i个知识点在教师授课视频中的开始时间和截止时间，并且ts1<td1<ts2<…tsi<tdi。
上述技术方案的有益技术效果为：将教师授课图像按照知识点和其持续时间的时间标签关联存储，有利于后续通过视频段标签计算知识点密集程度，提高计算效率。
在本发明的一种优选实施方式中，所述步骤S2包括：
S21，对采集时间点tj采集的学生课堂图像进行多目标人脸检测，获取多个人脸图像；其中，tj为第j次采集学生课堂图像的时间，j为大于等于1的整数；
S22,对人脸图像进行识别，获得每个人脸图像对应的学生信息sm和出勤状态Amj；提取每个人脸图像中的表情特征，基于表情特征判定该人脸图像对应的学生在采集时间点tj的听课表情emj；
其中，sm表示第m个学生的信息；Amj表示第m个学生在tj时刻的出勤状态；emj表示第m个学生在tj时刻的听课表情；m为大于等于1的整数；
S23，通过听课表情emj计算该学生在采集时间点tj的听课状态Lmj和理解程度Umj；
其中，Lmj表示第m个学生在tj时刻的听课状态，Umj表示第m个学生在tj时刻的理解程度；
S24，依据听课状态Lmj和/或理解程度Umj判定第m个学生在采集时间点tj的课堂表现是否达标，若不达标，将采集时间点tj标记为第m个学生的一个视频段标签，若达标，重复执行步骤S22、S23和S24直至处理完步骤S21中的所有人脸图像；
S25,令j＝j+1,返回步骤S21，直到整个课堂的学生课堂图像处理完成。
上述技术方案的有益技术效果为：公开了步骤S2中的一种实时处理学生课堂图像的过程，该过程以学生课堂图像的采集时间点为处理节点，效率高。
在本发明的一种优选实施方式中，所述步骤S22中对人脸图像进行识别，获得每个人脸图像对应的学生信息sm和出勤状态Amj的步骤包括：
S221,将课堂所有应到学生的预先采集的人脸图像作为训练样本，基于训练样本获得PCA特征空间，所述训练样本中每个个体关联有对应的学生信息；
S222,将步骤S21中获得的所有人脸图像作为训练样本；
S223,分别将训练样本和测试样本投影到PCA特征空间，并基于欧式距离法对测试样本中的个体进行分类，若分类成功，获取关联的学生信息，将该学生的出勤状态赋值为1，若分类失败，进入下一个测试样本个体分类直至测试样本中所有个体分类完成；
S224，获取训练样本中没有与测试样本分类关联的所有个体对应的学生信息，并将这些学生的出勤状态均赋值为0。
上述技术方案的有益技术效果为：公开了一种从学生课堂图像中快速进行人脸识别的方法，该方法基于PCA原理，本身具有降噪功能，不需要对学生课堂图像进行过多的预处理，处理过程比较简单，运算量较少，运行速度快。
在本发明的一种优选实施方式中，在所述步骤S22中表情特征包括头部特征、眼部特征和唇部特征；
所述头部特征为两个内眼角连线与水平线之间的夹角；
所述眼部特征为右眉的内外两端分别与右眼内外眼角连线中点的连线的夹角，或者为左眉的内外两端分别与左眼内外眼角连线中点的连线的夹角；
所述唇部特征为嘴角特征线与嘴角平分线的夹角；
在所述步骤S22中听课表情emj的判定公式为：
其中，αmj表示第m个学生在tj时刻的头部特征，当无法识别出面部信息，认为学生为走神状态，定义αmj＝-1；βmj表示第m个学生在tj时刻的眼部特征，定义βmj＝120表示眼部特征不明显；fmj表示第m个学生在tj时刻的唇部特征，当唇部特征不明显时，定义fmj＝0。
上述技术方案的有益技术效果为：听课表情基于头部特征、眼部特征和唇部特征进行判定，准确有效，且将头部特征、眼部特征和唇部特征具体到角度计算，运算量较少，运算速度快。
在本发明的一种优选实施方式中，在所述步骤S23中，听课状态Lmj的计算公式为：
理解程度Umj的计算公式为：
或者，在所述步骤S24中依据听课状态Lmj和/或理解程度Umj判定第m个学生在采集时间点tj的课堂表现是否达标的方法为：
当Lmj和/或Umj为1时，认为第m个学生在采集时间点tj时的课堂表现达标，当Lmj和/或Umj为0时，认为第m个学生在采集时间点tj时的课堂表现不达标；
或者，在所述步骤S3中，基于学生所有采集时间点的出勤状态、听课状态和理解程度，获得该学生的课堂表现评价的公式为：
其中，Vm表示第m个学生的课堂表现评价；Am为第m个学生的课堂出勤状态，所述τ表示判定学生出勤状态的系数，0≤τ≤1；N为整个课堂学生课堂图像的采样次数；γ为教师自定义的权重参数，0≤γ≤1。
上述技术方案的有益技术效果为：公开了基于学习表情计算听课状态、理解程度的公式，以及每个学生的课堂表现评价公式。
在本发明的一种优选实施方式中，所述学生集合为：
S＝{S1,...,Sm,...,SM}；
其中，元素Sm表示第m个学生的学生集合元素，Sm为包含学生信息、课程信息、课堂表现评价和该学生的所有视频段标签的四元属性组；1≤m≤M；M表示课堂上所有应到学生的总数。
上述技术方案的有益技术效果为：便于查询。
在本发明的一种优选实施方式中，所述知识点的密集程度为：
其中，di表示第i个知识点的密集程度，i为大于等于1的整数；M表示课堂上所有应到学生的总数，m表示第m个学生，1≤m≤M；nim表示第i个知识点在第m个学生的视频标签中出现的频次；Km表示第m个学生视频段标签中包含的知识点总数；
或者，课堂教学质量评价公式为：
R为课堂教学质量评价结果；表示课堂中所有学生的平均课堂表现评价；Vm表示第m个学生的课堂表现评价；M表示课堂上所有应到学生的总数，1≤m≤M；项表示学生课堂表现评价的分布情况。
上述技术方案的有益技术效果为：提供了具体的知识点密集度计算公式以及课堂教学质量评价公式。对所有的知识点密集度排序即可了解学生们对知识点的理解情况，便于教师把握教学难点。根据学生课堂整体表现初步评价课堂教学质量，综合考量了学生的平均接受程度以及差异化程度。
为了实现本发明的上述目的，根据本发明的第二个方面，本发明公开了一种基于上述任一方法进行课堂教学评价系统，包括用于采集教师授课图像的视频监控模块、用于采集学生课堂图像的图像采集模块和服务器，所述服务器包括图像处理模块和存储模块；
所述视频监控模块输出端与图像处理模块第一视频输入端连接，所述图像采集模块输出端与图像处理模块第二视频输入端连接，所述图像处理模块的数据接口与存储模块的数据接口连接；所述图像处理模块接收到教师授课图像和学生课堂图像后按照上述任一方法进行处理，获得课堂知识点的密集程度排序和/或课堂教学质量评价。
上述技术方案的有益技术效果为：将每个知识点的密集程度进行排序，对教学评估细化到课堂上每个知识点；对于每个学生课堂表现不达标的时间段通过视频段标签记录下来，便于掌握每个学生具体的学习效果，便于课后学生有针对性地复习。基于所有学生的听课状态和理解程度进行课堂教学质量评价，使教学质量评估更准确，具有重要的现实意义。
在本发明的一种优选实施方式中，还包括智能终端，所述服务器还包括通信模块，所述通信模块数据端与图像处理模块数据端连接，所述智能终端与通信模块网络连接；
所述智能终端包括一个教师智能终端和多个学生智能终端；当学生在任一课堂图像采集时间点的学生课堂表现不达标时，图像处理模块发送第一提醒信号至通信模块，由通信模块传送第一提醒信号至学生智能终端；当同一学生连续两个或两个以上学生课堂图像采集时间点的学生课堂表现不达标时，图像处理模块发送第二提醒信号至通信模块，由通信模块传送第二提醒信号至教师智能终端。
上述技术方案的有益技术效果为：当学生课堂表现不达标时，能及时提醒学生；当同一学生连续两个或两个以上学生课堂图像采集时间点的学生课堂表现不达标时，才提醒教师注意，保证了课堂授课的连续性，节约了教师的时间和精力，提高了教学质量。
附图说明
图1是本发明一种实施方式中课堂教学评价系统的布局示意图；
图2是本发明一种实施方式中课堂教学评价系统的连接示意图；
图3是本发明一种实施方式中课堂教学评价方法的脸部特征点图。
附图标记：
1视频监控模块；2图像采集模块；3服务器；4智能终端。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
本发明公开了一种基于表情识别的课堂教学评价方法，在一种优选实施方式中，该方法包括如下步骤：
S1，间隔时间采集教师授课图像，为每次采集的教师授课图像设置时间标签，将教师授课图像与时间标签关联存储；
S2，以相同或不相同的时间间隔采集学生课堂图像，对学生课堂图像进行处理，获得所有学生在每个采集时间点的出勤状态、听课状态和理解程度，对每个学生在每个采集时间点的听课状态和/或理解程度进行课堂表现达标判断，若不达标则标记该采集时间点为该学生的一个视频段标签；
S3，基于学生所有采集时间点的出勤状态、听课状态和理解程度，获得该学生的课堂表现评价，利用学生信息、课程信息、课堂表现评价和视频段标签创建学生集合；
S4，将学生集合中的视频段标签转换为时间标签，提取与所述时间标签关联的教师授课图像中的知识点，计算每个知识点的密集程度并将所有知识点按照密集程度进行排序；
和/或基于学生集合中的课堂表现评价进行课堂教学质量评价。
在本实施方式中，教师授课图像和学生课堂图像均可为间隔10-20s采集；教师授课图像应包含显示屏幕上的授课PPT图像。视频段标签转换为时间标签即为：将视频段标签的时间与时间标签的时间关联，当时间标签为具体时间点时，以频段标签的时间为中心，有较小正负偏移值的区间范围内包含的所有时间标签与该视频段标签关联。
在本发明的一种优选实施方式中，步骤S1包括：
S11，提取教师授课图像中课堂PPT图像上的标题作为该教师授课图像的知识点，并将教师授课图像的采集时间标记为时间标签；
S12，合并知识点相同的教师授课图像的时间标签，获得新的时间标签，每个知识点记作一个包含时间标签的元组对(Ki，[ts,td])，整个课堂知识点保存为一张可查询的时间表：
ktable＝{(k1,[ts1,td1]),(k2,[ts2,td2]),…(ki,[tsi,tdi])}；
其中，ki表示第i个知识点；i为大于等于1的整数；[tsi,tdi]表示第i个知识点的时间标签；tsi、tdi分别表示第i个知识点在教师授课视频中的开始时间和截止时间，并且ts1<td1<ts2<…tsi<tdi。
在本实施方式中，在图像采集过程中，每个采集点采集教师教学的PPT图像，提取PPT图像中标题的关键字作为知识点，并且标记采集的时间信息。优选的，相同的知识点可以合并时间区域，每个知识点信息记做一个包含时间信息的元组对(K，[ts,td])，整个课程知识点保存为一张可查询的时间表。优选的，在提取视频段标签关联的教师授课图像中的知识点时，只需要判断该视频段标签的时间落在哪一个时间标签的区间[ts,td]中，只要落入该区间，则该时间标签关联的知识点K即为这个视频段标签关联的知识点。当时间标签为时间区间时，视频段标签转换为时间标签的方式为：只要视频段标签的时间点落入一个时间标签的时间区间中，则该视频段标签可用这个时间标签表示，可以对落入同一个时间区间的多个视频段标签进行合并。
在本发明的一种优选实施方式中，步骤S2包括：
S21，对采集时间点tj采集的学生课堂图像进行多目标人脸检测，获取多个人脸图像；其中，tj为第j次采集学生课堂图像的时间，j为大于等于1的整数；
S22,对人脸图像进行识别，获得每个人脸图像对应的学生信息sm和出勤状态Amj；提取每个人脸图像中的表情特征，基于表情特征判定该人脸图像对应的学生在采集时间点tj的听课表情emj；
其中，sm表示第m个学生的信息；Amj表示第m个学生在tj时刻的出勤状态；emj表示第m个学生在tj时刻的听课表情；m为大于等于1的整数；
S23，通过听课表情emj计算该学生在采集时间点tj的听课状态Lmj和理解程度Umj；
其中，Lmj表示第m个学生在tj时刻的听课状态，Umj表示第m个学生在tj时刻的理解程度；
S24，依据听课状态Lmj和/或理解程度Umj判定第m个学生在采集时间点tj的课堂表现是否达标，若不达标，将采集时间点tj标记为第m个学生的一个视频段标签，若达标，重复执行步骤S22、S23和S24直至处理完步骤S21中的所有人脸图像；
S25,令j＝j+1,返回步骤S21，直到整个课堂的学生课堂图像处理完成。
在本实施方式中，步骤S21中从学生课堂图像中获取多个人脸图像的区域检测方法为：
每次采集的学生课堂图像中通常包括多个学生的面部图像以及环境图像。人脸区域检测就是从整张图片中提取出学生脸部图像区域的技术。人脸检测技术主要有基于特征的方法和基于图像的方法两大类。基于特征的方法较为简单，运算速度快，适用于面部方向、环境光照较为固定的情形。由于教室环境相对固定，光照影响不大，因此实施方案中选取基于特征的方法。
人脸的肤色、对称性、结构性都是人脸模式特征，其中肤色是最主要的特征，采用高斯模型对肤色建模：
其中，x为学生课堂图像中像素点的色度向量，S为样本点协方差矩阵，μ为样本点均值向量，肤色似然概率P(X)表示像素点与肤色的相似程度，其值越大，表示属于肤色的可能性越大，反之越小。优选的，设定P(X)大于0.9时，即像素点相似度大于90％的区域认定为面部区域，依照上述方法提取所有人脸区域，获得多个人脸图像。
在本发明的一种优选实施方式中，步骤S22中对人脸图像进行识别，获得每个人脸图像对应的学生信息sm和出勤状态Amj的步骤包括：
S221,将课堂所有应到学生的预先采集的人脸图像作为训练样本，基于训练样本获得PCA特征空间，训练样本中每个个体关联有对应的学生信息；
S222,将步骤S21中获得的所有人脸图像作为训练样本；
S223,分别将训练样本和测试样本投影到PCA特征空间，并基于欧式距离法对测试样本中的个体进行分类，若分类成功，获取关联的学生信息，将该学生的出勤状态赋值为1，若分类失败，进入下一个测试样本个体分类直至测试样本中所有个体分类完成；
S224，获取训练样本中没有与测试样本分类关联的所有个体对应的学生信息，并将这些学生的出勤状态均赋值为0。
在本实施方式中，采用PCA(Principal Component Analysis，PCA，主成分分析)方法进行降维处理，PCA的思想是将P维的特征映射到Q维上，P和Q为正整数，且P大于等于Q，且这Q维是全新的正交特征，成为主元。基于PCA人脸特征提取的操作流程大致如下：
将预先存储的课堂所有学生的注册照片(或者为预先采集的图像)作为训练样本。将学生课堂图像中所有人脸图像作为测试样本。将训练样本中人脸的像素保存到一个二维数组中，将该数组按列构成列向量，即每一列表示一张图像的像素信息。如果有M张人脸图像，则X＝[MN,M]；每一行取得均值，每行的元素减去均值，得到每张人脸与平均人脸的差值，组成新矩阵X1；计算X1的协方差矩阵C，大小为MN*MN；计算C的特征值即特征向量，共有MN个特征值及特征向量；选择主成分，把特征值从大到小排序，选择前R个特征值使得R个特征值占所有特征值的90％以上，随后将特征向量按行排列，则P＝[R,MN]；将训练集投影到特征空间，Y＝PX＝[R,M]。
基于PCA算法的人脸特征提取方法对应的特征对比方法如下：
将人脸检测阶段分割出的人脸图像(即测试样本)投影到特征空间，假如有K张人脸图像，那么降维后矩阵为[R,K]；
每一张图像[R,1]与特征空间[R,S]用欧氏距离法求出与其最相近即欧式距离最小的一个图像，识别为该类。
欧式距离求解公式：
其中x，y为Q维特征向量，分别为xq、yq的第q维分量。
在本发明的一种优选实施方式中，在步骤S22中表情特征包括头部特征、眼部特征和唇部特征；
头部特征为两个内眼角连线与水平线之间的夹角；
眼部特征为右眉的内外两端分别与右眼内外眼角连线中点的连线的夹角，或者为左眉的内外两端分别与左眼内外眼角连线中点的连线的夹角；
唇部特征为嘴角特征线与嘴角平分线的夹角；
在步骤S22中听课表情emj的判定公式为：
其中，αmj表示第m个学生在tj时刻的头部特征，当无法识别出面部信息，此时学生状态为遮面或者趴着，认为学生为走神状态，定义αmj＝-1；βmj表示第m个学生在tj时刻的眼部特征，定义βmj＝120表示眼部特征不明显；fmj表示第m个学生在tj时刻的唇部特征，当唇部特征不明显时，此时，学生可能挡住嘴部、抿嘴等，定义fmj＝0。
在本实施方式中，基于ASM(即主动形状模型)进行人脸特征点定位，是一种物体形状描述技术。ASM是一种基于模型的特征匹配方法。基本思想是选取一组训练样本，用一组特征点来描述样本的形状，然后对样本的形状进行配准，定位到目标物体。训练样本的特征点可以人工标注。具体的标注点如下图：如图3所示。
人脸特征提取包括：
建立模型：
假设n1个点组成一个物体，N1是所有训练图像的个数，向量X代表平面形状：
其中(xw,yw)代表第w个标注点的坐标，1≤w≤n1，n1是组成形状的所有点的个数。
计算平均形状：
Xv表示第v个训练图像的平面形状向量；
搜索匹配：
遍历测试图片像素点表示，构建出以当前点为基准点的平面形状向量。计算该向量与平均形状向量的欧式距离，取欧式距离最小的形状向量作为结果向量，则结果向量中对应标注点的向量分量坐标代表当前测试图片中特征点的坐标。
计算头部特征：
如图3所示，从图像中匹配到的人脸模板，有可能与图像水平线存在一定夹角。头部特征使用两个内眼角连线与水平线H之间的夹角计算得出。两个内眼角连线为图3所示的模板匹配形状向量中对应的B和B1两点的连线，记为BB1；水平线可由设备采集图像的第一行的前后两个像素点连线表示，记为HL，
则头部特征夹角计算公式为：α＝acos(HL,BB1)，即头部特征夹角可通过以水平线HL和BB1为两个邻边的角度的余弦值的反余弦函数求得。
计算眼部特征：
眼部特征为右眉内外两端分别与右眼内外眼角连线中点的连线的夹角。右眉两端分别指图示D、E两点。右眼眼角内外眼角连线中点指右眼外、内眼角A、B连线的中点，记为O。
则眼部特征夹角计算公式为：β＝acos(OD,OE)，即眼部特征夹角可通过以OD和OE为两个邻边的角度的余弦值的反余弦函数求得；
计算唇部特征：
唇部特征需要判断嘴角在嘴角平分线的上方还是下方，以及计算嘴角特征线与嘴角平分线的夹角。考虑到对称性以及计算的方便，可通过计算右嘴角特征线与嘴角平分线的夹角。首先确定嘴角竖直中点P(即图3中K，L连线的中点)，接着计算右嘴角I与P的连线PI和竖直连线PK的夹角，PI为嘴角特征线，PK为嘴角平分线。
θ＝acos(PI,PK)；即PI和PK的夹角可通过以PI和PK为两个邻边的角度的余弦值的反余弦函数求得；
则唇部特征夹角计算公式为f＝90°-θ。
f为正代表嘴角在平分线上方，为负代表在平分线下方。f的绝对值|f|为偏移度数。
在本发明的一种优选实施方式中，在步骤S23中，听课状态Lmj的计算公式为：
理解程度Umj的计算公式为：
或者，在步骤S24中依据听课状态Lmj和/或理解程度Umj判定第m个学生在采集时间点tj的课堂表现是否达标的方法为：
当Lmj和/或Umj为1时，认为第m个学生在采集时间点tj时的课堂表现达标，当Lmj和/或Umj为0时，认为第m个学生在采集时间点tj时的课堂表现不达标；
或者，在步骤S3中，基于学生所有采集时间点的出勤状态、听课状态和理解程度，获得该学生的课堂表现评价的公式为：
其中，Vm表示第m个学生的课堂表现评价；Am为第m个学生的课堂出勤状态，τ表示判定学生出勤状态的系数，0≤τ≤1；N为整个课堂学生课堂图像的采样次数；γ为教师自定义的权重参数，0≤γ≤1。
在本实施方式中，优选的，τ取值为0.9或者0.8；γ的取值依据教师的考量选取。
在本发明的一种优选实施方式中，学生集合为：
S＝{S1,...,Sm,...,SM}；
其中，元素Sm表示第m个学生的学生集合元素，Sm为包含学生信息、课程信息、课堂表现评价和该学生的所有视频段标签的四元属性组；1≤m≤M；M表示课堂上所有应到学生的总数。学生信息至少包括学生姓名、学号、班级信息。
在本发明的一种优选实施方式中，知识点的密集程度为：
其中，di表示第i个知识点的密集程度，i为大于等于1的整数；M表示课堂上所有应到学生的总数，m表示第m个学生，1≤m≤M；nim表示第i个知识点在第m个学生的视频标签中出现的频次；Km表示第m个学生视频段标签中包含的知识点总数；
或者，课堂教学质量评价公式为：
R为课堂教学质量评价结果；表示课堂中所有学生的平均课堂表现评价；Vm表示第m个学生的课堂表现评价；M表示课堂上所有应到学生的总数，1≤m≤M；项表示学生课堂表现评价的分布情况。
在本实施方式中，优选的，nim的取值为0或1。Km的数量可通过将该学生的所有视频段标签与时间标签关联，即视频段标签落入的时间区间的个数，即为Km。
本发明公开了一种基于上述任一方法进行课堂教学评价系统，如图1和图2所示，该系统包括用于采集教师授课图像的视频监控模块1、用于采集学生课堂图像的图像采集模块2和服务器3，服务器3包括图像处理模块和存储模块；
视频监控模块1输出端与图像处理模块第一视频输入端连接，图像采集模块2输出端与图像处理模块第二视频输入端连接，图像处理模块的数据接口与存储模块的数据接口连接；图像处理模块接收到教师授课图像和学生课堂图像后按照上述任一方法进行处理，获得课堂知识点的密集程度排序和/或课堂教学质量评价。
在本实施方式中，视频监控模块1和图像采集模块2可为高清晰摄像头。视频监控模块1安装在教室后方，正对黑板；图像采集模块2安装在黑板上方，正对教室学生，以能采集到全部学生图像为基准。图像处理模块可为具有快速运算功能的MCU+FPGA异构处理器，存储模块可为flash、RAM。
在本发明的一种优选实施方式中，还包括智能终端4，服务器3还包括通信模块，通信模块数据端与图像处理模块数据端连接，智能终端4与通信模块网络连接；
智能终端4包括一个教师智能终端和多个学生智能终端；当学生在任一课堂图像采集时间点的学生课堂表现不达标时，图像处理模块发送第一提醒信号至通信模块，由通信模块传送第一提醒信号至学生智能终端；当同一学生连续两个或两个以上学生课堂图像采集时间点的学生课堂表现不达标时，图像处理模块发送第二提醒信号至通信模块，由通信模块传送第二提醒信号至教师智能终端。
在本实施方式中，学生智能终端接收到第一提醒信号后，发送振动或者短消息提醒，教师智能终端接收到第二提醒信号后，可推送不达标学生的照片或者姓名。智能终端可为智能手机。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (10)

1.一种基于表情识别的课堂教学评价方法，其特征在于，包括如下步骤：
S1，间隔时间采集教师授课图像，为每次采集的教师授课图像设置时间标签，将教师授课图像与时间标签关联存储；
S2，以相同或不相同的时间间隔采集学生课堂图像，对学生课堂图像进行处理，获得所有学生在每个采集时间点的出勤状态、听课状态和理解程度，对每个学生在每个采集时间点的听课状态和/或理解程度进行课堂表现达标判断，若不达标则标记该采集时间点为该学生的一个视频段标签；
S3，基于学生所有采集时间点的出勤状态、听课状态和理解程度，获得该学生的课堂表现评价，利用学生信息、课程信息、课堂表现评价和视频段标签创建学生集合；
S4，将学生集合中的视频段标签转换为时间标签，提取与所述时间标签关联的教师授课图像中的知识点，计算每个知识点的密集程度并将所有知识点按照密集程度进行排序；
和/或基于学生集合中的课堂表现评价进行课堂教学质量评价。
2.如权利要求1所述的基于表情识别的课堂教学评价方法，其特征在于，所述步骤S1包括：
S11，提取教师授课图像中课堂PPT图像上的标题作为该教师授课图像的知识点，并将教师授课图像的采集时间标记为时间标签；
S12，合并知识点相同的教师授课图像的时间标签，获得新的时间标签，每个知识点记作一个包含时间标签的元组对(Ki，[ts,td])，整个课堂知识点保存为一张可查询的时间表：
ktable＝{(k1,[ts1,td1]),(k2,[ts2,td2]),…(ki,[tsi,tdi])}；
其中，ki表示第i个知识点；i为大于等于1的整数；[tsi,tdi]表示第i个知识点的时间标签；tsi、tdi分别表示第i个知识点在教师授课视频中的开始时间和截止时间，并且ts1<td1<ts2<…tsi<tdi。
3.如权利要求1所述的基于表情识别的课堂教学评价方法，其特征在于，所述步骤S2包括：
S21，对采集时间点tj采集的学生课堂图像进行多目标人脸检测，获取多个人脸图像；其中，tj为第j次采集学生课堂图像的时间，j为大于等于1的整数；
S22,对人脸图像进行识别，获得每个人脸图像对应的学生信息sm和出勤状态Amj；提取每个人脸图像中的表情特征，基于表情特征判定该人脸图像对应的学生在采集时间点tj的听课表情emj；
其中，sm表示第m个学生的信息；Amj表示第m个学生在tj时刻的出勤状态；emj表示第m个学生在tj时刻的听课表情；m为大于等于1的整数；
S23，通过听课表情emj计算该学生在采集时间点tj的听课状态Lmj和理解程度Umj；
其中，Lmj表示第m个学生在tj时刻的听课状态，Umj表示第m个学生在tj时刻的理解程度；
S24，依据听课状态Lmj和/或理解程度Umj判定第m个学生在采集时间点tj的课堂表现是否达标，若不达标，将采集时间点tj标记为第m个学生的一个视频段标签，若达标，重复执行步骤S22、S23和S24直至处理完步骤S21中的所有人脸图像；
S25,令j＝j+1,返回步骤S21，直到整个课堂的学生课堂图像处理完成。
4.如权利要求3所述的基于表情识别的课堂教学评价方法，其特征在于，所述步骤S22中对人脸图像进行识别，获得每个人脸图像对应的学生信息sm和出勤状态Amj的步骤包括：
S221,将课堂所有应到学生的预先采集的人脸图像作为训练样本，基于训练样本获得PCA特征空间，所述训练样本中每个个体关联有对应的学生信息；
S222,将步骤S21中获得的所有人脸图像作为训练样本；
S223,分别将训练样本和测试样本投影到PCA特征空间，并基于欧式距离法对测试样本中的个体进行分类，若分类成功，获取关联的学生信息，将该学生的出勤状态赋值为1，若分类失败，进入下一个测试样本个体分类直至测试样本中所有个体分类完成；
S224，获取训练样本中没有与测试样本分类关联的所有个体对应的学生信息，并将这些学生的出勤状态均赋值为0。
5.如权利要求3所述的基于表情识别的课堂教学评价方法，其特征在于，在所述步骤S22中表情特征包括头部特征、眼部特征和唇部特征；
所述头部特征为两个内眼角连线与水平线之间的夹角；
所述眼部特征为右眉的内外两端分别与右眼内外眼角连线中点的连线的夹角，或者为左眉的内外两端分别与左眼内外眼角连线中点的连线的夹角；
所述唇部特征为嘴角特征线与嘴角平分线的夹角；
在所述步骤S22中听课表情emj的判定公式为：
其中，αmj表示第m个学生在tj时刻的头部特征，当无法识别出面部信息，认为学生为走神状态，定义αmj＝-1；βmj表示第m个学生在tj时刻的眼部特征，定义βmj＝120表示眼部特征不明显；fmj表示第m个学生在tj时刻的唇部特征，当唇部特征不明显时，定义fmj＝0。
6.如权利要求5所述的基于表情识别的课堂教学评价方法，其特征在于，在所述步骤S23中，听课状态Lmj的计算公式为：
理解程度Umj的计算公式为：
或者，在所述步骤S24中依据听课状态Lmj和/或理解程度Umj判定第m个学生在采集时间点tj的课堂表现是否达标的方法为：
当Lmj和/或Umj为1时，认为第m个学生在采集时间点tj时的课堂表现达标，当Lmj和/或Umj为0时，认为第m个学生在采集时间点tj时的课堂表现不达标；
或者，在所述步骤S3中，基于学生所有采集时间点的出勤状态、听课状态和理解程度，获得该学生的课堂表现评价的公式为：
其中，Vm表示第m个学生的课堂表现评价；Am为第m个学生的课堂出勤状态，所述τ表示判定学生出勤状态的系数，0≤τ≤1；N为整个课堂学生课堂图像的采样次数；γ为教师自定义的权重参数，0≤γ≤1。
7.如权利要求1所述的基于表情识别的课堂教学评价方法，其特征在于，所述学生集合为：
S＝{S1,...,Sm,...,SM}；
其中，元素Sm表示第m个学生的学生集合元素，Sm为包含学生信息、课程信息、课堂表现评价和该学生的所有视频段标签的四元属性组；1≤m≤M；M表示课堂上所有应到学生的总数。
8.如权利要求6所述的基于表情识别的课堂教学评价方法，其特征在于，所述知识点的密集程度为：
其中，di表示第i个知识点的密集程度，i为大于等于1的整数；M表示课堂上所有应到学生的总数，m表示第m个学生，1≤m≤M；nim表示第i个知识点在第m个学生的视频标签中出现的频次；Km表示第m个学生视频段标签中包含的知识点总数；
或者，课堂教学质量评价公式为：
R为课堂教学质量评价结果；表示课堂中所有学生的平均课堂表现评价；Vm表示第m个学生的课堂表现评价；M表示课堂上所有应到学生的总数，1≤m≤M；项表示学生课堂表现评价的分布情况。
9.一种利用权利要求1-8中任一所述方法进行课堂教学评价系统，其特征在于，包括用于采集教师授课图像的视频监控模块、用于采集学生课堂图像的图像采集模块和服务器，所述服务器包括图像处理模块和存储模块；
所述视频监控模块输出端与图像处理模块第一视频输入端连接，所述图像采集模块输出端与图像处理模块第二视频输入端连接，所述图像处理模块的数据接口与存储模块的数据接口连接；所述图像处理模块接收到教师授课图像和学生课堂图像后按照上述任一方法进行处理，获得课堂知识点的密集程度排序和/或课堂教学质量评价。
10.如权利要求9所述的课堂教学评价系统，其特征在于，还包括智能终端，所述服务器还包括通信模块，所述通信模块数据端与图像处理模块数据端连接，所述智能终端与通信模块网络连接；
所述智能终端包括一个教师智能终端和多个学生智能终端；当学生在任一课堂图像采集时间点的学生课堂表现不达标时，图像处理模块发送第一提醒信号至通信模块，由通信模块传送第一提醒信号至学生智能终端；当同一学生连续两个或两个以上学生课堂图像采集时间点的学生课堂表现不达标时，图像处理模块发送第二提醒信号至通信模块，由通信模块传送第二提醒信号至教师智能终端。
CN201810558159.3A 2018-06-01 2018-06-01 一种基于表情识别的课堂教学评价方法及系统 Pending CN108875606A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810558159.3A CN108875606A (zh) 2018-06-01 2018-06-01 一种基于表情识别的课堂教学评价方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810558159.3A CN108875606A (zh) 2018-06-01 2018-06-01 一种基于表情识别的课堂教学评价方法及系统

Publications (1)

Publication Number Publication Date
CN108875606A true CN108875606A (zh) 2018-11-23

Family

ID=64336237

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810558159.3A Pending CN108875606A (zh) 2018-06-01 2018-06-01 一种基于表情识别的课堂教学评价方法及系统

Country Status (1)

Country Link
CN (1) CN108875606A (zh)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740498A (zh) * 2018-12-28 2019-05-10 广东新源信息技术有限公司 一种基于人脸识别技术的智慧教室
CN109817041A (zh) * 2019-01-07 2019-05-28 北京汉博信息技术有限公司 多功能教学系统
CN109858809A (zh) * 2019-01-31 2019-06-07 浙江传媒学院 基于课堂学生行为分析的学习质量评估方法和系统
CN109862375A (zh) * 2019-01-07 2019-06-07 北京汉博信息技术有限公司 云录播系统
CN109889916A (zh) * 2019-01-07 2019-06-14 北京汉博信息技术有限公司 录播数据的应用系统
CN110008886A (zh) * 2019-03-29 2019-07-12 联想(北京)有限公司 一种信息处理方法及信息处理装置
CN110246385A (zh) * 2019-05-16 2019-09-17 杭州博世数据网络有限公司 基于关键授课点评价的互联网教学辅助教学系统
CN110443226A (zh) * 2019-08-16 2019-11-12 重庆大学 一种基于姿态识别的学生状态评价方法及系统
CN111027941A (zh) * 2019-12-19 2020-04-17 重庆电子工程职业学院 一种基于stm32单片机的教学实验平台
CN111242049A (zh) * 2020-01-15 2020-06-05 武汉科技大学 一种基于面部识别的学生网课学习状态评价方法及系统
CN111243373A (zh) * 2020-03-27 2020-06-05 上海乂学教育科技有限公司 全景化的模拟教学系统
CN111275345A (zh) * 2020-01-22 2020-06-12 重庆大学 一种基于深度学习的课堂信息化评价及管理的系统及方法
CN111339939A (zh) * 2020-02-26 2020-06-26 中国工商银行股份有限公司 基于图像识别的考勤方法及装置
CN111586493A (zh) * 2020-06-01 2020-08-25 联想(北京)有限公司 一种多媒体文件的播放方法及装置
CN112116181A (zh) * 2019-06-20 2020-12-22 北京新唐思创教育科技有限公司 课堂质量模型的训练方法、课堂质量评价方法及装置
CN112270231A (zh) * 2020-10-19 2021-01-26 北京大米科技有限公司 一种确定目标视频属性特征的方法、存储介质、电子设备
WO2021047185A1 (zh) * 2019-09-12 2021-03-18 深圳壹账通智能科技有限公司 基于人脸识别的监测方法、装置、存储介质及计算机设备
CN112686232A (zh) * 2021-03-18 2021-04-20 平安科技（深圳）有限公司 基于微表情识别的教学评价方法、装置、电子设备及介质
CN112818761A (zh) * 2021-01-15 2021-05-18 深圳信息职业技术学院 一种基于人工智能的在线教育人机交互方法与系统
CN112911326A (zh) * 2021-01-29 2021-06-04 平安科技（深圳）有限公司 弹幕信息处理方法、装置、电子设备和存储介质
CN113610676A (zh) * 2021-07-08 2021-11-05 湖南电子科技职业学院 一种基于云平台的计算机教学授课系统
CN113657302A (zh) * 2021-08-20 2021-11-16 重庆电子工程职业学院 基于表情识别的状态分析系统
CN114049669A (zh) * 2021-11-15 2022-02-15 海信集团控股股份有限公司 确定学习效果的方法及装置
CN114219224A (zh) * 2021-11-24 2022-03-22 慧之安信息技术股份有限公司 一种用于智慧教室的教学质量检测方法和系统
CN117095464A (zh) * 2023-09-12 2023-11-21 广州乐庚信息科技有限公司 一种基于图像识别的学生课堂学习习惯分析方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102945624A (zh) * 2012-11-14 2013-02-27 南京航空航天大学 基于云计算模型和表情信息反馈的智能化视频教学系统
CN105844562A (zh) * 2016-05-23 2016-08-10 华中师范大学 基于课程教学模型的学习者学习表现分析方法
CN106296503A (zh) * 2015-06-29 2017-01-04 科大讯飞股份有限公司 教师评价方法及系统
CN106778539A (zh) * 2016-11-25 2017-05-31 鲁东大学 教学效果信息获取方法及装置
CN107316257A (zh) * 2017-06-06 2017-11-03 南京信息工程大学 一种基于课堂学生行为分析的教学质量评估方法及系统
CN107590247A (zh) * 2017-09-18 2018-01-16 杭州博世数据网络有限公司 一种基于群体知识诊断的智能组卷方法
CN107609478A (zh) * 2017-08-09 2018-01-19 广州思涵信息科技有限公司 一种匹配课堂知识内容的实时学情分析系统及方法
CN108090857A (zh) * 2017-12-29 2018-05-29 复旦大学 一种多模态的学生课堂行为分析系统和方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102945624A (zh) * 2012-11-14 2013-02-27 南京航空航天大学 基于云计算模型和表情信息反馈的智能化视频教学系统
CN106296503A (zh) * 2015-06-29 2017-01-04 科大讯飞股份有限公司 教师评价方法及系统
CN105844562A (zh) * 2016-05-23 2016-08-10 华中师范大学 基于课程教学模型的学习者学习表现分析方法
CN106778539A (zh) * 2016-11-25 2017-05-31 鲁东大学 教学效果信息获取方法及装置
CN107316257A (zh) * 2017-06-06 2017-11-03 南京信息工程大学 一种基于课堂学生行为分析的教学质量评估方法及系统
CN107609478A (zh) * 2017-08-09 2018-01-19 广州思涵信息科技有限公司 一种匹配课堂知识内容的实时学情分析系统及方法
CN107590247A (zh) * 2017-09-18 2018-01-16 杭州博世数据网络有限公司 一种基于群体知识诊断的智能组卷方法
CN108090857A (zh) * 2017-12-29 2018-05-29 复旦大学 一种多模态的学生课堂行为分析系统和方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
何祎: ""基于情感的课堂教学评价方法研究"", 《中国优秀硕士学位论文全文数据库（电子期刊）》 *
冯伯麟: "《教育科学分支学科丛书 教育统计学》", 30 April 2014, 人民教育出版社 *
雷鸣 等: "《概率论与数理统计学习指导》", 31 August 2017, 中国农业大学出版社 *
韩丽等: ""课堂环境中基于面部表情的教学效果分析"", 《技术应用》 *

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740498A (zh) * 2018-12-28 2019-05-10 广东新源信息技术有限公司 一种基于人脸识别技术的智慧教室
CN109817041A (zh) * 2019-01-07 2019-05-28 北京汉博信息技术有限公司 多功能教学系统
CN109862375A (zh) * 2019-01-07 2019-06-07 北京汉博信息技术有限公司 云录播系统
CN109889916A (zh) * 2019-01-07 2019-06-14 北京汉博信息技术有限公司 录播数据的应用系统
CN109889916B (zh) * 2019-01-07 2023-04-07 北京汉博信息技术有限公司 录播数据的应用系统
CN109858809A (zh) * 2019-01-31 2019-06-07 浙江传媒学院 基于课堂学生行为分析的学习质量评估方法和系统
CN110008886A (zh) * 2019-03-29 2019-07-12 联想(北京)有限公司 一种信息处理方法及信息处理装置
CN110246385A (zh) * 2019-05-16 2019-09-17 杭州博世数据网络有限公司 基于关键授课点评价的互联网教学辅助教学系统
CN112116181A (zh) * 2019-06-20 2020-12-22 北京新唐思创教育科技有限公司 课堂质量模型的训练方法、课堂质量评价方法及装置
CN110443226A (zh) * 2019-08-16 2019-11-12 重庆大学 一种基于姿态识别的学生状态评价方法及系统
CN110443226B (zh) * 2019-08-16 2022-01-25 重庆大学 一种基于姿态识别的学生状态评价方法及系统
WO2021047185A1 (zh) * 2019-09-12 2021-03-18 深圳壹账通智能科技有限公司 基于人脸识别的监测方法、装置、存储介质及计算机设备
CN111027941A (zh) * 2019-12-19 2020-04-17 重庆电子工程职业学院 一种基于stm32单片机的教学实验平台
CN111242049A (zh) * 2020-01-15 2020-06-05 武汉科技大学 一种基于面部识别的学生网课学习状态评价方法及系统
CN111275345A (zh) * 2020-01-22 2020-06-12 重庆大学 一种基于深度学习的课堂信息化评价及管理的系统及方法
CN111275345B (zh) * 2020-01-22 2023-08-08 重庆大学 一种基于深度学习的课堂信息化评价及管理的系统及方法
CN111339939A (zh) * 2020-02-26 2020-06-26 中国工商银行股份有限公司 基于图像识别的考勤方法及装置
CN111339939B (zh) * 2020-02-26 2023-09-26 中国工商银行股份有限公司 基于图像识别的考勤方法及装置
CN111243373A (zh) * 2020-03-27 2020-06-05 上海乂学教育科技有限公司 全景化的模拟教学系统
CN111586493A (zh) * 2020-06-01 2020-08-25 联想(北京)有限公司 一种多媒体文件的播放方法及装置
CN112270231A (zh) * 2020-10-19 2021-01-26 北京大米科技有限公司 一种确定目标视频属性特征的方法、存储介质、电子设备
CN112818761A (zh) * 2021-01-15 2021-05-18 深圳信息职业技术学院 一种基于人工智能的在线教育人机交互方法与系统
CN112911326A (zh) * 2021-01-29 2021-06-04 平安科技（深圳）有限公司 弹幕信息处理方法、装置、电子设备和存储介质
CN112686232A (zh) * 2021-03-18 2021-04-20 平安科技（深圳）有限公司 基于微表情识别的教学评价方法、装置、电子设备及介质
CN112686232B (zh) * 2021-03-18 2021-06-29 平安科技（深圳）有限公司 基于微表情识别的教学评价方法、装置、电子设备及介质
CN113610676A (zh) * 2021-07-08 2021-11-05 湖南电子科技职业学院 一种基于云平台的计算机教学授课系统
CN113610676B (zh) * 2021-07-08 2022-10-04 湖南电子科技职业学院 一种基于云平台的计算机教学授课系统
CN113657302B (zh) * 2021-08-20 2023-07-04 重庆电子工程职业学院 基于表情识别的状态分析系统
CN113657302A (zh) * 2021-08-20 2021-11-16 重庆电子工程职业学院 基于表情识别的状态分析系统
CN114049669A (zh) * 2021-11-15 2022-02-15 海信集团控股股份有限公司 确定学习效果的方法及装置
CN114219224A (zh) * 2021-11-24 2022-03-22 慧之安信息技术股份有限公司 一种用于智慧教室的教学质量检测方法和系统
CN117095464A (zh) * 2023-09-12 2023-11-21 广州乐庚信息科技有限公司 一种基于图像识别的学生课堂学习习惯分析方法及系统

Similar Documents

Publication Publication Date Title
CN108875606A (zh) 一种基于表情识别的课堂教学评价方法及系统
CN110991381B (zh) 一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒系统和方法
CN108805009A (zh) 基于多模态信息融合的课堂学习状态监测方法及系统
Dewan et al. A deep learning approach to detecting engagement of online learners
CN110443226A (zh) 一种基于姿态识别的学生状态评价方法及系统
CN106033435B (zh) 物品识别方法和装置，室内地图生成方法和装置
CN109635727A (zh) 一种人脸表情识别方法及装置
Lim et al. Automated classroom monitoring with connected visioning system
CN112183238B (zh) 一种远程教育注意力检测方法及系统
CN110175534A (zh) 基于多任务级联卷积神经网络的授课辅助系统
CN110119672A (zh) 一种嵌入式疲劳状态检测系统及方法
CN111931598A (zh) 一种基于人脸识别的课堂智能实时分析方法及系统
CN104778466B (zh) 一种联合多种上下文线索的图像关注区域检测方法
CN109034099A (zh) 一种表情识别方法及装置
CN106846949A (zh) 一种远程情感教学系统
CN109284713A (zh) 一种基于摄像头采集表情数据的情绪识别分析系统
CN110163567A (zh) 基于多任务级联卷积神经网络的课堂点名系统
CN112949622A (zh) 融合文本与图像的双模态性格分类方法及装置
CN113657168A (zh) 基于卷积神经网络的学生学习情绪的识别方法
CN108549901A (zh) 一种基于深度学习的快速迭代目标检测方法
CN108875564A (zh) 一种宠物面部识别方法
CN106803377A (zh) 一种英语学习管理机器人
CN106652605A (zh) 一种远程情感教学方法
Agarwal et al. Face recognition based smart and robust attendance monitoring using deep CNN
Gao et al. Application of posture recognition service system based on information fusion smart sensor in dance training

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination