CN111860156A - 基于学生表情识别的教学监控系统及方法 - Google Patents

基于学生表情识别的教学监控系统及方法 Download PDF

Info

Publication number
CN111860156A
CN111860156A CN202010542286.1A CN202010542286A CN111860156A CN 111860156 A CN111860156 A CN 111860156A CN 202010542286 A CN202010542286 A CN 202010542286A CN 111860156 A CN111860156 A CN 111860156A
Authority
CN
China
Prior art keywords
student
expression
module
face
analysis processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010542286.1A
Other languages
English (en)
Inventor
胡二琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Bigeng Software Co ltd
Original Assignee
Anhui Bigeng Software Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Bigeng Software Co ltd filed Critical Anhui Bigeng Software Co ltd
Priority to CN202010542286.1A priority Critical patent/CN111860156A/zh
Publication of CN111860156A publication Critical patent/CN111860156A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Educational Administration (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Educational Technology (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了基于学生表情识别的教学监控系统及方法，涉及教学监控技术领域。本发明包括视频采集器、视频图像预处理模块、人脸识别模块、分析处理模块以及输出模块；视频采集器，用于采集教室内学生视频图像并传递至视频图像预处理模块；视频图像预处理模块，用于对学生视频图像进行分帧处理获得学生人脸图像并传递至人脸识别模块；分析处理模块，用于建立时间‑表情‑学习状态表。本发明通过时间‑表情‑学习状态表可以观察不同时间段学生的学习状态，以保证教师能够根据学生的学习状态调整教学方式，提高教学质量。

Description

基于学生表情识别的教学监控系统及方法
技术领域
本发明属于教学监控技术领域，特别是涉及一种基于学生表情识别的教学监控系统及方法。
背景技术
随着物联网以及智能教学进入校园，智慧教室也应运而生；现有的智慧教室常通过在教学过程中监控学生听课状态，对教学效果的评估，有利于调整教学模式和教学方法，以提高学生整体教学质量。
而现有的这种方式不能很好的通过学生上课的表情状态建立起与学习状态、学习成绩的关系；导致不能很好的调整教学方式。解决上述问题，本发明提供一种基于学生表情识别的教学监控系统及方法，用于建立时间-表情-学习状态表并获取学习状态与表情的关系。
发明内容
本发明的目的在于提供基于学生表情识别的教学监控系统及方法，通过建立时间-表情-学习状态表获取学习状态与表情的关系，以及学生抬头率p以及疑惑表情率q与学习成绩G的关系函数，解决了现有不能通过学生表情调节教学模式和教学方法，以提高学生整体教学质量的问题。
为解决上述技术问题，本发明是通过以下技术方案实现的：
本发明为基于学生表情识别的教学监控系统，包括：视频采集器、视频图像预处理模块、人脸识别模块、分析处理模块以及输出模块；所述视频采集器，用于采集教室内学生视频图像并传递至视频图像预处理模块；所述视频图像预处理模块，用于对所述学生视频图像进行分帧处理获得学生人脸图像并传递至人脸识别模块；
所述人脸识别模块，用于对所述学生人脸图像进行特征提取获取人脸特征信息；所述人脸识别模块，用于根据所述人脸特征信息获取表情识别结果；所述人脸识别模块，用于传递人脸特征信息以及表情识别结果至分析处理模块；所述分析处理模块，用于根据人脸特征信息从数据库中查询获取学生基础信息；所述学生基础信息包括基本信息以及学习成绩信息；所述分析处理模块，分析表情识别结果获取学习状态；所述分析处理模块，用于建立时间-表情-学习状态表并通过所述输出模块展示出来。
优选地，所述分析处理模块，用于根据人脸特征信息获取单位时间内学生抬头率p并存储到学生数据库。
优选地，所述分析处理模块，用于根据表情识别结果建立时间表情统计表并存储到学生数据库；所述分析处理模块，根据所述时间表情统计表计算疑惑表情率q。
优选地，所述分析处理模块，用于建立关于学生抬头率p以及疑惑表情率q与学习成绩G的关系函数：
Figure BDA0002539397800000021
其中，k为线性系数。
优选地，所述数据库中存储人脸特征集合、表情集合以及学习状态集合；所述人脸特征集合为人脸特征信息的集合；所述表情集合为表情识别结果的结合；所述学习状态集合为学习状态的集合；所述人脸特征信息对应表情识别结果；所述表情识别结果对应学习状态。
基于学生表情识别的教学监控方法，包括如下过程：
A00：视频采集器实时采集教室内学生视频图像并传递至视频图像预处理模块；
A01：视频图像预处理模块对学生视频图像进行分帧处理获得学生人脸图像并传递至人脸识别模块；
A02：人脸识别模块对学生人脸图像进行特征提取获取人脸特征信息；
A03：人脸识别模块根据人脸特征信息获取表情识别结果；
A04：人脸识别模块传递人脸特征信息以及表情识别结果至分析处理模块；
A05：分析处理模块根据人脸特征信息从数据库中查询获取学生基础信息；
A06：分析处理模块分析表情识别结果获取学习状态并建立时间-表情-学习状态表。
优选地，A06还包括分析处理模块根据人脸特征信息获取单位时间内学生抬头率p并存储到学生数据库。
优选地，A06还包括分析处理模块根据表情识别结果建立时间表情统计表并根据时间表情统计表计算疑惑表情率q。
优选地，A06还包括建立关于学生抬头率p以及疑惑表情率q与学习成绩G的关系函数。
本发明具有以下有益效果：
1、本发明通过时间-表情-学习状态表可以观察不同时间段学生的学习状态，以保证教师能够根据学生的学习状态调整教学方式，提高教学质量。
2、本发明根据学生抬头率p以及疑惑表情率q与学习成绩G的关系函数，通过调整教学方式，提高学生抬头率p并降低疑惑表情率q；提高教学质量和提高成绩效率。
当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的基于学生表情识别的教学监控系统的结构示意图；
图2为本发明的基于学生表情识别的教学监控方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1所示，本发明为基于学生表情识别的教学监控系统，包括：视频采集器、视频图像预处理模块、人脸识别模块、分析处理模块以及输出模块；视频采集器，用于采集教室内学生视频图像并传递至视频图像预处理模块；视频图像预处理模块，用于对学生视频图像进行分帧处理获得学生人脸图像并传递至人脸识别模块；
人脸识别模块，用于对学生人脸图像进行特征提取获取人脸特征信息；人脸识别模块，用于根据人脸特征信息获取表情识别结果；人脸识别模块，用于传递人脸特征信息以及表情识别结果至分析处理模块；分析处理模块，用于根据人脸特征信息从数据库中查询获取学生基础信息；学生基础信息包括基本信息以及学习成绩信息；分析处理模块，分析表情识别结果获取学习状态；分析处理模块，用于建立时间-表情-学习状态表并通过输出模块展示出来；输出模块可以为本领域常用的智能显示器；具体的，数据库中存储人脸特征集合、表情集合以及学习状态集合；人脸特征集合为人脸特征信息的集合；表情集合为表情识别结果的结合；学习状态集合为学习状态的集合；人脸特征信息对应表情识别结果；表情识别结果对应学习状态；实际使用时，通过时间-表情-学习状态表可以观察不同时间段学生的学习状态，以保证教师能够根据学生的学习状态调整教学方式，提高教学质量。
另外，分析处理模块，用于根据人脸特征信息获取单位时间内学生抬头率p并存储到学生数据库；分析处理模块，用于根据表情识别结果建立时间表情统计表并存储到学生数据库；分析处理模块，根据时间表情统计表计算疑惑表情率q；分析处理模块，用于建立关于学生抬头率p以及疑惑表情率q与学习成绩G的关系函数：
Figure BDA0002539397800000051
其中，k为线性系数。
实际使用时，根据学生抬头率p以及疑惑表情率q与学习成绩G的关系函数，通过调整教学方式，提高学生抬头率p并降低疑惑表情率q；提高教学质量和提高成绩效率。
请参阅图2所示，基于学生表情识别的教学监控方法，包括如下过程：
A00：视频采集器实时采集教室内学生视频图像并传递至视频图像预处理模块；
A01：视频图像预处理模块对学生视频图像进行分帧处理获得学生人脸图像并传递至人脸识别模块；
A02：人脸识别模块对学生人脸图像进行特征提取获取人脸特征信息；
A03：人脸识别模块根据人脸特征信息获取表情识别结果；
A04：人脸识别模块传递人脸特征信息以及表情识别结果至分析处理模块；
A05：分析处理模块根据人脸特征信息从数据库中查询获取学生基础信息；
A06：分析处理模块分析表情识别结果获取学习状态并建立时间-表情-学习状态表。
具体的，A06还包括分析处理模块根据人脸特征信息获取单位时间内学生抬头率p并存储到学生数据库；A06还包括分析处理模块根据表情识别结果建立时间表情统计表并根据时间表情统计表计算疑惑表情率q；A06还包括建立关于学生抬头率p以及疑惑表情率q与学习成绩G的关系函数。
值得注意的是，上述系统实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
另外，本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，相应的程序可以存储于一计算机可读取存储介质中。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (9)

1.基于学生表情识别的教学监控系统，其特征在于，包括：视频采集器、视频图像预处理模块、人脸识别模块、分析处理模块以及输出模块；
所述视频采集器，用于采集教室内学生视频图像并传递至视频图像预处理模块；所述视频图像预处理模块，用于对所述学生视频图像进行分帧处理获得学生人脸图像并传递至人脸识别模块；
所述人脸识别模块，用于对所述学生人脸图像进行特征提取获取人脸特征信息；所述人脸识别模块，用于根据所述人脸特征信息获取表情识别结果；所述人脸识别模块，用于传递人脸特征信息以及表情识别结果至分析处理模块；
所述分析处理模块，用于根据人脸特征信息从数据库中查询获取学生基础信息；所述学生基础信息包括基本信息以及学习成绩信息；所述分析处理模块，分析表情识别结果获取学习状态；所述分析处理模块，用于建立时间-表情-学习状态表并通过所述输出模块展示出来。
2.根据权利要求1所述的基于学生表情识别的教学监控系统，其特征在于，所述分析处理模块，用于根据人脸特征信息获取单位时间内学生抬头率p并存储到学生数据库。
3.根据权利要求1或2所述的基于学生表情识别的教学监控系统，其特征在于，所述分析处理模块，用于根据表情识别结果建立时间表情统计表并存储到学生数据库；所述分析处理模块，根据所述时间表情统计表计算疑惑表情率q。
4.根据权利要求3所述的基于学生表情识别的教学监控系统，其特征在于，所述分析处理模块，用于建立关于学生抬头率p以及疑惑表情率q与学习成绩G的关系函数：
Figure FDA0002539397790000021
其中，k为线性系数。
5.根据权利要求4所述的基于学生表情识别的教学监控系统，其特征在于，所述数据库中存储人脸特征集合、表情集合以及学习状态集合；所述人脸特征集合为人脸特征信息的集合；所述表情集合为表情识别结果的结合；所述学习状态集合为学习状态的集合；所述人脸特征信息对应表情识别结果；所述表情识别结果对应学习状态。
6.如权利要求1-5任意一所述的基于学生表情识别的教学监控方法，其特征在于，包括如下过程：
A00：视频采集器实时采集教室内学生视频图像并传递至视频图像预处理模块；
A01：视频图像预处理模块对学生视频图像进行分帧处理获得学生人脸图像并传递至人脸识别模块；
A02：人脸识别模块对学生人脸图像进行特征提取获取人脸特征信息；
A03：人脸识别模块根据人脸特征信息获取表情识别结果；
A04：人脸识别模块传递人脸特征信息以及表情识别结果至分析处理模块；
A05：分析处理模块根据人脸特征信息从数据库中查询获取学生基础信息；
A06：分析处理模块分析表情识别结果获取学习状态并建立时间-表情-学习状态表。
7.根据权利要求6所述的基于学生表情识别的教学监控方法，其特征在于，A06还包括分析处理模块根据人脸特征信息获取单位时间内学生抬头率p并存储到学生数据库。
8.根据权利要求6所述的基于学生表情识别的教学监控方法，其特征在于，A06还包括分析处理模块根据表情识别结果建立时间表情统计表并根据时间表情统计表计算疑惑表情率q。
9.根据权利要求7或8所述的基于学生表情识别的教学监控方法，其特征在于，A06还包括建立关于学生抬头率p以及疑惑表情率q与学习成绩G的关系函数。
CN202010542286.1A 2020-06-15 2020-06-15 基于学生表情识别的教学监控系统及方法 Withdrawn CN111860156A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010542286.1A CN111860156A (zh) 2020-06-15 2020-06-15 基于学生表情识别的教学监控系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010542286.1A CN111860156A (zh) 2020-06-15 2020-06-15 基于学生表情识别的教学监控系统及方法

Publications (1)

Publication Number Publication Date
CN111860156A true CN111860156A (zh) 2020-10-30

Family

ID=72986630

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010542286.1A Withdrawn CN111860156A (zh) 2020-06-15 2020-06-15 基于学生表情识别的教学监控系统及方法

Country Status (1)

Country Link
CN (1) CN111860156A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112464896A (zh) * 2020-12-14 2021-03-09 北京易华录信息技术股份有限公司 一种基于学生行为的身心状态分析系统
CN112732770A (zh) * 2021-02-05 2021-04-30 嘉兴南洋职业技术学院 基于人工智能的教务管理系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112464896A (zh) * 2020-12-14 2021-03-09 北京易华录信息技术股份有限公司 一种基于学生行为的身心状态分析系统
CN112732770A (zh) * 2021-02-05 2021-04-30 嘉兴南洋职业技术学院 基于人工智能的教务管理系统及方法

Similar Documents

Publication Publication Date Title
CN110991381B (zh) 一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒系统和方法
CN111931598B (zh) 一种基于人脸识别的课堂智能实时分析方法及系统
CN111915148B (zh) 一种基于信息技术的课堂教学评价方法和系统
CN105205646A (zh) 自动点名系统及实现自动点名系统的方法
CN111860156A (zh) 基于学生表情识别的教学监控系统及方法
WO2021047185A1 (zh) 基于人脸识别的监测方法、装置、存储介质及计算机设备
CN112183238B (zh) 一种远程教育注意力检测方法及系统
CN108154304A (zh) 具有教学质量评估功能的服务器
CN107798318A (zh) 一种机器人识别面部快乐微表情的方法及其装置
CN111428175A (zh) 基于微表情识别的在线课程推荐方法及相关设备
CN109685692A (zh) 一种多维度学生学习行为的无感采集及分析系统
CN109326160A (zh) 一种英语口语发音校对系统
US20230110002A1 (en) Video highlight extraction method and system, and storage medium
CN111931608A (zh) 基于学生姿态以及学生人脸识别的操行管理的方法和系统
CN103561259B (zh) 面向应用共享服务的网络会议视觉质量自动化评估方法
CN113762107A (zh) 对象状态评估方法、装置、电子设备及可读存储介质
DE112022000166T5 (de) Verfahren und System zur intelligenten Verwaltung und Steuerung der Nutzung von Bildschirmterminals durch Kinder
CN112085883A (zh) 一种智慧监考反作弊系统
CN111523445A (zh) 一种基于改进的Openpose模型和面部微表情的考试行为检测方法
CN110399810A (zh) 一种辅助点名方法及装置
CN113837907A (zh) 一种英语教学人机互动系统及其方法
CN110135274B (zh) 一种基于人脸识别的人流量统计方法
CN103345625B (zh) 一种三维图像分析方法及系统
CN111814581A (zh) 基于课堂场景的学生行为识别方法及系统
CN110992627A (zh) 基于视觉终端-平台近视分析预警系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20201030

WW01 Invention patent application withdrawn after publication