CN107169902A - 基于人工智能的微表情分析的课堂教学评价系统 - Google Patents

基于人工智能的微表情分析的课堂教学评价系统 Download PDF

Info

Publication number
CN107169902A
CN107169902A CN201710412077.3A CN201710412077A CN107169902A CN 107169902 A CN107169902 A CN 107169902A CN 201710412077 A CN201710412077 A CN 201710412077A CN 107169902 A CN107169902 A CN 107169902A
Authority
CN
China
Prior art keywords
expression
micro
module
information
artificial intelligence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710412077.3A
Other languages
English (en)
Inventor
杨帆
万仁卓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Textile University
Original Assignee
Wuhan Textile University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Textile University filed Critical Wuhan Textile University
Priority to CN201710412077.3A priority Critical patent/CN107169902A/zh
Publication of CN107169902A publication Critical patent/CN107169902A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression

Abstract

本发明公开了一种基于人工智能的微表情分析的课堂教学评价系统，由视频输入模块、云处理系统和输出模块组成，所述云处理系统包括服务器、GPU加速人工智能计算模块、微表情模块、考勤模块、座位位置信息模块、人际关系模块、学工系统、教务系统和评价评估系统组成。本发明通过课堂实时监控，实时动态捕获学生的表情及微表情，座位位置信息，人际关系等综合信息，通过对接教务信息，学工信息，心理健康中心等数据库，通过大数据处理反映出学生课堂效果，学生认知与心理状态等，作为教师、教务、学工、家长等各方的重要科学分析与决策依据。

Description

基于人工智能的微表情分析的课堂教学评价系统
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于人工智能的微表情分析的课堂教学评价系统。
背景技术
课堂质量评价是教育教学系统的关键环节，是反映教师的“教”与学生的“学”的动态过程综合的结果。教师的教学水平通过学生的认知和接受能力间接反应，课堂氛围和活动均体现在学生课堂上的动态的心理行为和表情或微表情。但是如何科学的衡量课堂质量评价，
现有的评价方法和手段建立在传统教学质量评价体系基础上，通过抽样调查、访谈、考试测评等手段，投入大量的教辅人员以及财力物力等的基础上，其评价结果的准确性和可靠性受诸多外部环境制约，无法准确实时跟踪课堂实效，关键是忽略了学生学习过程中的认知、感受及心态等关键要素。
发明内容
本发明的目的就在于为了解决上述问题而提供一种基于人工智能的微表情分析的课堂教学评价系统。
本发明通过以下技术方案来实现上述目的：
本发明由视频输入模块、云处理系统和输出模块组成，所述云处理系统包括服务器、GPU加速人工智能计算模块、微表情模块、考勤模块、座位位置信息模块、人际关系模块、学工系统、教务系统和评价评估系统组成。
进一步，所述服务器包括姓名、学号、照片信息、课程系统、教师服务、学工测评信息、学工综合信息、教务综合信息。
进一步，所述GPU加速人工智能计算模块包括课堂目标自动识别、座位位置信息、人际关系、表情信息、人工智能深度学习、微表情信息、表情与微表情的自学习、历史数据更新与关联处理和其他信息的对接融合分析。
本发明的有益效果在于：
本发明是一种基于人工智能的微表情分析的课堂教学评价系统，与现有技术相比，本发明运用人工智能深度学习的技术手段，通过上课过程中的综合信息分析全面反映课堂教学的信息，从而给教师，教务，家长等提供科学的决策依据。表情与微表情的自学习能力，即系统自动捕获不能分析的表情或微表情，通过大量数据获取，进行自学习能力，然后将特征数据保存入数据库。
通过课堂实时监控，实时动态捕获学生的表情及微表情，座位位置信息，人际关系等综合信息，通过对接教务信息，学工信息，心理健康中心等数据库，通过大数据处理反映出学生课堂效果，学生认知与心理状态等，作为教师、教务、学工、家长等各方的重要科学分析与决策依据。
附图说明
图1是本发明的整体结构原理框图；
图2是本发明的服务器运行系统原理框图；
图3是本发明的GPU加速人工智能计算模块运行原理框图。
具体实施方式
下面结合附图对本发明作进一步说明：
如图1所示：本发明由视频输入模块、云处理系统和输出模块组成，所述云处理系统包括服务器、GPU加速人工智能计算模块、微表情模块、考勤模块、座位位置信息模块、人际关系模块、学工系统、教务系统和评价评估系统组成。
结合学工部学生信息数据库，导入学生的姓名，学号，照片等信息；结合教务系统，导入学生的课程系统，教师信息；通过对上述数据分析，并通过人工智能训练，提取照片的特征信息，并建立初始数据库，并与学号、姓名等其他信息关联；
如图2所示：所述服务器包括姓名、学号、照片信息、课程系统、教师服务、学工测评信息、学工综合信息、教务综合信息。借助学校已经建立的视频采集网络，在上课期间自动启动运行，其数据直接传送至学校中央服务器。取决于服务器的计算能力，采取低频取样，约10Hz～20Hz采样频率，即每0.1s至0.05s采样一次，用于分析提取学生表情，座位位置信息等；
如图3所示：所述GPU加速人工智能计算模块包括课堂目标自动识别、座位位置信息、人际关系、表情信息、人工智能深度学习、微表情信息、表情与微表情的自学习、历史数据更新与关联处理和其他信息的对接融合分析。
课堂目标自动识别；
根据前期人工智能训练的结果，根据视频流信息实时进行课堂目标任务的自动识别与追踪；将每节课的开始和结束时的照片取样，通过目标识别后标注日期、识别目标的学号、姓名等信息，并存储于中央服务器，用于备份和取证；
座位位置信息；
获取班级位置的分布，比如是正三角，倒三角，均匀分布，前排空后排集中式等，通过分析学生上课历史的课堂特点，以及任课教师历史上课特点，定性判断学生与教师的特点和行为；获取学生的位置信息，综合分析学生的个人座位喜好，通过对学生历史上该课程的座位情况，间接反映学生的学习习惯、生活习惯；获取学生附近人员位置信息，比如和谁同桌，以及最相邻学生信息，通过多次数据统计反映学生的人际交往情况；
表情信息；
根据照片提取学生面部表情，嘴角表情，眼睛状态等信息；通过上述信息，与学生的学习状态建立关联；
微表情信息；
进行高频取样，比如50Hz至100Hz的取样，记录学生上课过程中的微表情，即时反映学生瞬时心态或情绪；建立微表情与师生互动的关联。学生的微笑、严肃等，间接反映老师课堂中的兴奋点，课堂活跃程度，或者教学激发学生的思考；通过对任课教师所担任课程的历史课堂学生的微表情分析，反映教师的教学技能和特点；
表情/微表情自学习能力；
由于初始的学生信息是静态的，所分析的表情及微表情的数据不完整，故而开发算法，进行表情/微表情的自学习；即通过自动捕获学生学习过程中的没有识别的表情，进行智能学习，实现自学习能力。与历史数据的更新、关联与处理；实时处理与在线云处理结合，通过(1)-(5)跟踪，更新，分析历史数据，反映教学课堂综合情况。
与其他信息的对接与融合分析；
实时将处理结果与教务、学工信息的对接，综合输出结果；在课堂情况恶化或达到某一阈值时，启动课堂自动报警功能；
输出综合分析结果
通过各种信息技术手段(短信，邮件，电话)，将数据实时反馈给教务，学工，家长等；为避免任何人为的干预，保证数据的真实性与可靠性，所有照片信息，和综合分析算法均公开；
综合分析结果用于评价学生的生活习惯，学习习惯，学习能力，课程的偏好，学习兴趣等，并根据上述结果做出指导与干预；
综合分析结果用于评价教师的课程与课堂特点，并根据学生的分析结果做出对教师，以及课程的综合评价，用于教师能力评估以及课程的安排与调整；
综合分析结果用于教务处，学工等部门的政策制定和修改依据；
综合分析结果反馈给家长，在家长配合下，干预和参与学生教育的全过程。
以上显示和描述了本发明的基本原理和主要特征及本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (3)

1.一种基于人工智能的微表情分析的课堂教学评价系统，其特征在于：由视频输入模块、云处理系统和输出模块组成，所述云处理系统包括服务器、GPU加速人工智能计算模块、微表情模块、考勤模块、座位位置信息模块、人际关系模块、学工系统、教务系统和评价评估系统组成。
2.根据权利要求1所述的基于人工智能的微表情分析的课堂教学评价系统，其特征在于：所述服务器包括姓名、学号、照片信息、课程系统、教师服务、学工测评信息、学工综合信息、教务综合信息。
3.根据权利要求1所述的基于人工智能的微表情分析的课堂教学评价系统，其特征在于：所述GPU加速人工智能计算模块包括课堂目标自动识别、座位位置信息、人际关系、表情信息、人工智能深度学习、微表情信息、表情与微表情的自学习、历史数据更新与关联处理和其他信息的对接融合分析。
CN201710412077.3A 2017-06-02 2017-06-02 基于人工智能的微表情分析的课堂教学评价系统 Pending CN107169902A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710412077.3A CN107169902A (zh) 2017-06-02 2017-06-02 基于人工智能的微表情分析的课堂教学评价系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710412077.3A CN107169902A (zh) 2017-06-02 2017-06-02 基于人工智能的微表情分析的课堂教学评价系统

Publications (1)

Publication Number Publication Date
CN107169902A true CN107169902A (zh) 2017-09-15

Family

ID=59825273

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710412077.3A Pending CN107169902A (zh) 2017-06-02 2017-06-02 基于人工智能的微表情分析的课堂教学评价系统

Country Status (1)

Country Link
CN (1) CN107169902A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107832976A (zh) * 2017-12-01 2018-03-23 合肥亚慕信息科技有限公司 一种基于感知分析的课堂教学质量分析系统
CN108596395A (zh) * 2018-04-28 2018-09-28 北京比特智学科技有限公司 课程的分配方法和装置
CN109214664A (zh) * 2018-08-21 2019-01-15 重庆乐教科技有限公司 一种基于人工智能的情绪行为综合分析系统
CN109859078A (zh) * 2018-12-24 2019-06-07 山东大学 一种学生学习行为分析干预方法、装置及系统
CN110755091A (zh) * 2018-07-26 2020-02-07 杨万友 一种个人心理健康监测系统及方法
CN110781320A (zh) * 2019-11-01 2020-02-11 广州云蝶科技有限公司 基于家庭反馈的学生情绪定位方法
CN111861146A (zh) * 2020-06-29 2020-10-30 武汉科技大学 一种基于微表情识别的教学评价和实时反馈系统
CN112131938A (zh) * 2020-08-14 2020-12-25 天津大学 基于TensorFlow框架下的课堂考勤督导方法、系统与存储介质
CN112819665A (zh) * 2021-01-29 2021-05-18 上海商汤科技开发有限公司 课堂状态的评估方法和相关装置、设备
CN115631074A (zh) * 2022-12-06 2023-01-20 南京熊大巨幕智能科技有限公司 一种基于信息化的网络科教方法、系统及设备
CN116402391A (zh) * 2023-04-07 2023-07-07 长沙民政职业技术学院 基于大数据的综合能力评价方法及系统
US11734589B2 (en) 2018-11-07 2023-08-22 Industrial Technology Research Institute Virtual assistant negotiation system and method thereof
CN116757524A (zh) * 2023-05-08 2023-09-15 广东保伦电子股份有限公司 一种教师授课质量评价方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103021038A (zh) * 2012-12-03 2013-04-03 福州开普软件信息技术有限公司 校园课堂考勤考核的系统及用该系统实现考勤考核的方法
CN104517323A (zh) * 2013-09-28 2015-04-15 黄石高新科技企业加速器发展有限公司 一种上课签到系统
CN104915800A (zh) * 2015-07-02 2015-09-16 安徽状元郎电子科技有限公司 一种校园班级考核模块
CN106127630A (zh) * 2016-06-13 2016-11-16 华中师范大学 一种课堂教学交互行为的云模型量化分析方法
CN106127139A (zh) * 2016-06-21 2016-11-16 东北大学 一种mooc课程中学生面部表情的动态识别方法
CN106778539A (zh) * 2016-11-25 2017-05-31 鲁东大学 教学效果信息获取方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103021038A (zh) * 2012-12-03 2013-04-03 福州开普软件信息技术有限公司 校园课堂考勤考核的系统及用该系统实现考勤考核的方法
CN104517323A (zh) * 2013-09-28 2015-04-15 黄石高新科技企业加速器发展有限公司 一种上课签到系统
CN104915800A (zh) * 2015-07-02 2015-09-16 安徽状元郎电子科技有限公司 一种校园班级考核模块
CN106127630A (zh) * 2016-06-13 2016-11-16 华中师范大学 一种课堂教学交互行为的云模型量化分析方法
CN106127139A (zh) * 2016-06-21 2016-11-16 东北大学 一种mooc课程中学生面部表情的动态识别方法
CN106778539A (zh) * 2016-11-25 2017-05-31 鲁东大学 教学效果信息获取方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
于大鹏等: "《物联网社区服务集成方案和模式研究》", 31 July 2015, 国防工业出版社 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107832976A (zh) * 2017-12-01 2018-03-23 合肥亚慕信息科技有限公司 一种基于感知分析的课堂教学质量分析系统
CN107832976B (zh) * 2017-12-01 2021-12-28 合肥亚慕信息科技有限公司 一种基于感知分析的课堂教学质量分析系统
CN108596395A (zh) * 2018-04-28 2018-09-28 北京比特智学科技有限公司 课程的分配方法和装置
CN110755091A (zh) * 2018-07-26 2020-02-07 杨万友 一种个人心理健康监测系统及方法
CN109214664A (zh) * 2018-08-21 2019-01-15 重庆乐教科技有限公司 一种基于人工智能的情绪行为综合分析系统
US11734589B2 (en) 2018-11-07 2023-08-22 Industrial Technology Research Institute Virtual assistant negotiation system and method thereof
CN109859078A (zh) * 2018-12-24 2019-06-07 山东大学 一种学生学习行为分析干预方法、装置及系统
CN110781320A (zh) * 2019-11-01 2020-02-11 广州云蝶科技有限公司 基于家庭反馈的学生情绪定位方法
CN110781320B (zh) * 2019-11-01 2022-03-18 广州云蝶科技有限公司 基于家庭反馈的学生情绪定位方法
CN111861146A (zh) * 2020-06-29 2020-10-30 武汉科技大学 一种基于微表情识别的教学评价和实时反馈系统
CN112131938A (zh) * 2020-08-14 2020-12-25 天津大学 基于TensorFlow框架下的课堂考勤督导方法、系统与存储介质
CN112819665A (zh) * 2021-01-29 2021-05-18 上海商汤科技开发有限公司 课堂状态的评估方法和相关装置、设备
CN115631074B (zh) * 2022-12-06 2023-06-09 南京熊大巨幕智能科技有限公司 一种基于信息化的网络科教方法、系统及设备
CN115631074A (zh) * 2022-12-06 2023-01-20 南京熊大巨幕智能科技有限公司 一种基于信息化的网络科教方法、系统及设备
CN116402391A (zh) * 2023-04-07 2023-07-07 长沙民政职业技术学院 基于大数据的综合能力评价方法及系统
CN116402391B (zh) * 2023-04-07 2023-11-10 长沙民政职业技术学院 基于大数据的综合能力评价方法及系统
CN116757524A (zh) * 2023-05-08 2023-09-15 广东保伦电子股份有限公司 一种教师授课质量评价方法和装置
CN116757524B (zh) * 2023-05-08 2024-02-06 广东保伦电子股份有限公司 一种教师授课质量评价方法和装置

Similar Documents

Publication Publication Date Title
CN107169902A (zh) 基于人工智能的微表情分析的课堂教学评价系统
Vinopal Understanding individual and organizational level representation: The case of parental involvement in schools
Wei et al. Neighborhood, race and educational inequality
Amelia et al. Meta-analysis of student performance assessment using fuzzy logic
Spikol et al. Estimation of success in collaborative learning based on multimodal learning analytics features
WO2021017733A1 (zh) 发病率监测方法、装置、设备存储介质
Emery et al. The reciprocal effects of self-view as a leader and leadership emergence
Shrestha et al. Machine Learning algorithm in educational data
Isidro et al. Dropout detection in MOOCs: An exploratory analysis
Figueroa Cañas et al. Predicting early dropout students is a matter of checking completed quizzes: The case of an online statistics module
Song et al. IN ASIA
CN107170069A (zh) 基于人工智能的智能课堂点名系统
Denisova Big Data technology: assessing the quality of the educational environment
Bukralia et al. Using academic analytics to predict dropout risk in e-Learning courses
Dahiya A survey on educational data mining
Matthews et al. 22 Evaluation of Behavior Change Interventions
Mukala et al. Uncovering learning patterns in a MOOC through conformance alignments
Sartori et al. Validation study of a model for the assessment of potential in Italian Young Professionals working in medium-sized to large companies in different business sectors
CN114626654A (zh) 基于职业技能培训人员管理系统的人员培训预警分析方法
Barthakur et al. Challenges in Assessments of Soft Skills: Towards Unobtrusive Approaches to Measuring Student Success
González-Marcos et al. Predicting Students' Performance in a Virtual Experience for Project Management Learning.
Faridizad et al. Exploring the relationship between learners gender differences and communication apprehension considering the class participation in Iranian EFL context
Bacaksizlar Understanding Social Movements through Simulations of Anger Contagion in Social Media
Bosio et al. Mobile ethnography: A customer experience research method for innovation
Alrmah et al. Predicting student performance in massive open online courses (MOOCs) using big data analysis and convolutional neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170915

RJ01 Rejection of invention patent application after publication