CN111275345B - 一种基于深度学习的课堂信息化评价及管理的系统及方法 - Google Patents

一种基于深度学习的课堂信息化评价及管理的系统及方法 Download PDF

Info

Publication number
CN111275345B
CN111275345B CN202010074080.0A CN202010074080A CN111275345B CN 111275345 B CN111275345 B CN 111275345B CN 202010074080 A CN202010074080 A CN 202010074080A CN 111275345 B CN111275345 B CN 111275345B
Authority
CN
China
Prior art keywords
recognition
rate
classroom
time
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010074080.0A
Other languages
English (en)
Other versions
CN111275345A (zh
Inventor
何伟
金小淞
林英撑
刘平净
梁松红
伍名美
刘永兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN202010074080.0A priority Critical patent/CN111275345B/zh
Publication of CN111275345A publication Critical patent/CN111275345A/zh
Application granted granted Critical
Publication of CN111275345B publication Critical patent/CN111275345B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Educational Administration (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Multimedia (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Marketing (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Educational Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Primary Health Care (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于深度学习的课堂信息化评价及管理的系统及方法，包括边缘计算模块、服务器和客户端，所述边缘计算模块包括摄像头和开发板，所述摄像头采集和传输教室不同区域的坐标数据以及课堂上学生的静态图像和实时图像，所述开发板对接收到的数据进行分析得到人脸图像和不同动作的识别结果和识别时间，并以文档形式传输给服务器，所述服务器分析统计接收到的人脸图像、识别结果和识别时间文档得到考勤结果、课堂环节丰富程度指标，并根据考勤结果得到出勤率指标，并根据课堂环节丰富程度指标和出勤率指标得到最终的课堂质量评价结果，本发明自动进行课堂信息化评价及管理，评价结果客观、高效。

Description

一种基于深度学习的课堂信息化评价及管理的系统及方法
技术领域
本发明涉及课堂管理设备领域，具体涉及一种基于深度学习的课堂信息化评价及管理的系统及方法。
背景技术
课堂教学作为一种最主要的教学形式受到广泛重视，因此对于如何有效的管理课堂纪律，提高课堂教学质量及教学效率是非常重要的且需要进行深度探讨研究的。目前对于课堂教学的评价和管理问题尚未存在一种客观、全面、智能、高效的方法。
随着人工智能技术的推广应用，一系列基于人工智能的课堂教学评价及管理的相关方法和系统大量涌现，这种基于专用系统的方式在很大程度上提高了课堂教学评价的客观性，但这些方法与系统在信息全面性和系统功能和性能方面均存在一定缺陷。
赵埕萱、吴迪所著“一种多用途课堂抬头率监测设备”描述了包括用于采集图像的视频采集装置、用于传输图像信号的图像无线传输装置、用于接收分析图像并生成和发送抬头率统计数据或发出作弊嫌疑报警信号的交互平台。但是该设备只能检测抬头率这一种指标，而无法通过多种指标得出更全面的课堂评价结果。
发明内容
本发明所要解决的技术问题是现有的基于人工智能的课堂评价及管理方法和系统只能通过采集单一的指标对课堂教学进行评价以及管理，而缺少多样化、全面性的指标，使得课堂的评价和管理更加客观、全面、智能且高效，同时现有的系统对于需要进行高效评价的指标数据在进行加载对于网络带宽的需求过大的问题，目的在于提供一种基于深度学习的课堂信息化评价及管理的系统及方法，解决上述问题。
本发明通过下述技术方案实现：
一种基于深度学习的课堂信息化评价及管理的系统，包括边缘计算模块、服务器和客户端；
所述边缘计算模块包括摄像头和开发板；
所述摄像头采集教室的区域坐标数据、讲台数据、课堂的静态图像和实时图像，并将所述各种数据保存到云台以及传输给所述开发板；
所述开发板加载人脸检测算法、抬头识别网络模型、表情识别网络模型和动作识别网络模型对接收到的数据进行分析识别，得到人脸图像、和抬头率识别、表情识别和动作识别的识别结果及识别时间；
将所述人脸图像传输给所述服务器，将所述识别结果和识别时间以文档形式保存并传输给所述服务器；
所述服务器加载人脸识别网络模型对接收到的人脸图像进行识别，得到考勤结果，并对考勤结果进行分析得到出勤率指标；
所述服务器分析接收到的识别结果和识别时间文档得到课堂质量评定结果的不同指标，并根据不同指标得出最终的课堂质量评定结果；
所述客户端下载所述服务器分析后的识别结果和识别时间文档，显示考勤结果、出勤率、课堂质量评定结果。
本发明中边缘计算模块的摄像头主要为带PTZ云台、可变焦、支持ONVIF协议的球型网络摄像头，开发板搭载神经网络推理引擎的嵌入式ARM开发板，可对训练好的神经网络模型进行推理实现，搭载神经网络推理引擎的高性能服务器，可对训练好的神经网络模型进行推理实现，实现对不同类型数据的存储和管理，可同时处理多组边缘计算端传来的数据。
本发明通过由包括摄像头、开发板的边缘计算模块、服务器和客户端组成一种基于深度学习的课堂信息化评价及管理的系统以及方法，不需要人工统计，且数据客观高效，因为本发明整个课堂评价过程都是通过对摄像头采集的数据进行处理分析得到的结果，在相同的课堂时间内，只需要绑定课堂信息系统就会自动进行整个课堂时间内的不同数据的分析，全程不需要人工参与，当课程结束就可以得到详细的结果，提高了课堂信息化评价的效率，且参考的信息化指标不是单一指标，从而使得评价结果更为客观准确，且在短时间内得到的数据更加全面详细，服务器在进行人脸识别得到的考勤结果包括考勤日期、考勤星期、考勤时间、课程地点、课程名称和学生学号、学生姓名、学生性别，更方便查阅，人脸图像主要是用于得到考勤结果，因此以可识别的低分辨率JPEG图片格式进行保存和传输，降低了网络带宽的需求。
一种基于深度学习的课堂信息化评价及管理的方法，当教室为第一次使用时，将所述教室的座位分为多个区域，采集每个区域的坐标数据并存储到云台；
加载课程信息，并与当地时间进行同步，当到达课程开始时间时，控制系统自动启动；
当系统启动后，对云台进行控制，并调节摄像头的角度到可以拍摄到讲台；
对采集的讲台数据进行判断，当判断结果为有人时，开始进行考勤操作；
当开始进行考勤操作时，进行所述摄像头焦距的调节；
分别对划分的采集区域的静态图像进行采集，并将采集的静态图像进行传输；
使用人脸检测算法对接收到的静态图像中的人脸进行框选，得到所有人脸图像并进行保存和传输；
对所有人脸图像进行人脸识别考勤得到考勤结果，并调整所述摄像头的角度至可以采集到教室里的所有学生；
对所有学生进行实时图像采集，并将采集的实时图像进行传输；
对接收到的实时图像进行抬头率识别、表情识别和动作识别，并将识别结果和识别时间以文本形式进行保存以及传输；
分析考勤结果、识别结果和识别时间文档得到课堂质量评定结果的不同指标得分，并根据不同指标得分进行加权平均得出最终的课堂质量评定结果。
进一步的，当接收到所有人脸图像后，加载人脸识别网络模型，将所有人脸图像与保存的正面人脸照片进行比对识别，将识别后的学生姓名和识别时的时间以文档形式进行保存；
将文档中的学生姓名和存储的学生信息进行匹配，得到考勤结果并进行保存；
将考勤结果中的学生信息与存储的选择课程的学生信息进行对比，得到缺勤结果；
将识别的人数和记录的课程人数进行对比，得出当堂课程的出勤率指标，并根据课堂总分数得到出勤率得分。
进一步的，当接收到实时图像后，加载抬头识别网络模型、表情识别网络模型和动作识别网络模型；
对实时图像每30秒等间隔取一帧进行抬头率识别、表情识别和动作识别，得到识别结果和识别时间，并以文本形式保存和传输。
进一步的，分析接收到的识别结果和识别时间文档；
通过每30秒识别到的抬头人数与总人数的比值得到每30秒的抬头率，将课程后40分钟内的每30秒抬头率进行平均值计算，得到当堂课程的抬头率得分；
通过每30秒识别到的笑脸人数与总人数的比值得到每30秒的笑脸率，当笑脸率大于或等于三分之一时开始计时，当笑脸率小于三分之一时停止计时，统计时段数，进行计算得到当堂课程的笑脸率得分。
进一步的，分析接收到的识别结果和识别时间文档；
分析每30秒识别到的动作，当识别动作全部为坐下时，将课堂状态记录为教师讲课；
当有识别动作为举手或者站立时，将课堂状态记录为师生互动；
当有三分之二的识别动作为写字时，将课堂状态记录为课堂作业；
统计三种状态的时间得出当堂课程的课堂环节丰富程度指标。
进一步的，在课程记录的上课时间内，当识别动作先出现举手后出现站立时，将课堂状态记录为学生自主回答问题；
当识别动作只出现站立动作时，将课堂状态记录为老师点名回答问题；
当在识别动作为坐下后的30秒内有识别动作为举手或站立时，将课堂状态记录为师生互动；
当在识别动作为坐下后的30秒内没有出现识别动作为举手或站立时，将课堂状态记录为教师讲课。
进一步的，课堂质量评定结果的计算过程包括：
课堂评价结果的满分为Y，出勤率、抬头率、笑脸率和课堂环节丰富度的权值分别为W1、W2、W3、W4，其中
W1+W2+W3+W4＝1；
记出勤率为A，则出勤率得分
SA＝A×Y×W1；
记抬头率为H，抬头率得分为SH，笑脸率为X，笑脸率得分为SX；
抬头率得分SH的计算如下：
45分钟课堂中取后40分钟的每30秒为一个时间点，第i个时间点抬头率记为Hi，该时间点抬头率得分
SHi＝Hi×W2×Y/80，
则抬头率得分
笑脸率得分SX的计算如下：
45分钟课堂中取后40分钟，当课堂上第i次识别出笑脸率大于或等于三分之一时开始计时，当笑脸率小于三分之一时停止计时，并将该段时间记为ti；
取持续时间最大值为5分钟，记笑容时间段总数为n，则笑脸率得分
，
当时取最大值5；
记课堂环节丰富程度得分为ST，记教师讲课、师生互动、课堂作业的分值分别为s1、s2、s3，师生互动中的学生自主回答问题和老师点名回答问题的分值分别为f1和f2，则课堂环节丰富程度得分
ST＝(s1+s2×max(f1，f2)+s3)×Y×W4；
当堂课程结束后，完成上述指标计算，则课堂总体质量评价结果
S＝SA+SH+SX+ST。
进一步的，所述开发板的模型训练包括：
准备待训练的人脸图像数据集、抬头和非抬头图像数据集、表情图像数据集、动作图像数据集，并将每个数据集进行预处理操作；
将每个数据集分别输入用于人脸检测、人脸识别、抬头识别、表情识别、动作识别的神经网络正向传播，得到得分；
将得分输入误差函数，与期待值比较得到误差，将多个误差求和，通过误差判断识别程度；
将每个数据集分别输入用于人脸检测、人脸识别、抬头识别、表情识别、动作识别的神经网络反向传播，得到梯度向量；
通过梯度向量调整每一个权值，使得分的误差趋于0或收敛；
重复上述过程直到设定次数或误差的平均值不再下降，此时训练完成；
将训练完成后得到的模型文件存储到边缘端的开发板中。
进一步的，下载抬头识别结果、表情识别结果和动作识别的识别结果和识别时间文档，显示考勤结果、出勤率和课堂质量评定结果。
本发明与现有技术相比，具有如下的优点和有益效果：
1、本发明一种基于深度学习的课堂信息化评价及管理的系统及方法，可以在课程开始时自动开始课堂考勤，在课程结束后直接得出该堂课程的考勤结果和课堂质量评价结果，且可以通过用户交互界面查看结果。
2、本发明一种基于深度学习的课堂信息化评价及管理的系统及方法，通过多种指标的采集综合得出课堂质量评价结果，且得到的课堂质量评价结果客观、全面、智能且高效。
3、本发明一种基于深度学习的课堂信息化评价及管理的系统及方法；在数据传输的过程中采用txt文件以及低分辨率图片，降低了传输过程中所需网络带宽。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：
图1为本发明系统结构框图；
图2为本发明系统应用场景示意图；
图3为本发明方法流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
实施例1
如图1所示，一种基于深度学习的课堂信息化评价及管理的系统，包括边缘计算模块、服务器和客户端；
所述边缘计算模块包括摄像头和开发板；
所述摄像头采集教室的区域坐标数据、讲台数据、课堂的静态图像和实时图像，并将所述各种数据保存到云台以及传输给所述开发板；
所述开发板加载人脸检测算法、抬头识别网络模型、表情识别网络模型和动作识别网络模型对接收到的数据进行分析识别，得到人脸图像、和抬头率识别、表情识别和动作识别的识别结果及识别时间；
将所述人脸图像传输给所述服务器，将所述识别结果和识别时间以文档形式保存并传输给所述服务器；
所述服务器加载人脸识别网络模型对接收到的人脸图像进行识别，得到考勤结果，并对考勤结果进行分析得到出勤率指标；
所述服务器分析接收到的识别结果和识别时间文档得到课堂质量评定结果的不同指标，并根据不同指标得出最终的课堂质量评定结果；
所述客户端下载所述服务器分析后的识别结果和识别时间文档，显示考勤结果、出勤率、课堂质量评定结果。
如图1、图2和图3所示，一种基于深度学习的课堂信息化评价及管理的方法，当教室为第一次使用时，将所述教室的座位分为多个区域，采集每个区域的坐标数据并存储到云台；
加载课程信息，并与当地时间进行同步，当到达课程开始时间时，控制系统自动启动；
当系统启动后，对云台进行控制，并调节摄像头的角度到可以拍摄到讲台；
对采集的讲台数据进行判断，当判断结果为有人时，开始进行考勤操作；
当开始进行考勤操作时，进行所述摄像头焦距的调节；
分别对划分的采集区域的静态图像进行采集，并将采集的静态图像进行传输；
使用人脸检测算法对接收到的静态图像中的人脸进行框选，得到所有人脸图像并进行保存和传输；
对所有人脸图像进行人脸识别考勤得到考勤结果，并调整所述摄像头的角度至可以采集到教室里的所有学生；
对所有学生进行实时图像采集，并将采集的实时图像进行传输；
对接收到的实时图像进行抬头率识别、表情识别和动作识别，并将识别结果和识别时间以文本形式进行保存以及传输；
分析考勤结果、识别结果和识别时间文档得到课堂质量评定结果的不同指标得分，并根据不同指标得分进行加权平均得出最终的课堂质量评定结果。
进一步的，当接收到所有人脸图像后，加载人脸识别网络模型，将所有人脸图像与保存的正面人脸照片进行比对识别，将识别后的学生姓名和识别时的时间以文档形式进行保存；
将文档中的学生姓名和存储的学生信息进行匹配，得到考勤结果并进行保存；
将考勤结果中的学生信息与存储的选择课程的学生信息进行对比，得到缺勤结果；
将识别的人数和记录的课程人数进行对比，得出当堂课程的出勤率指标，并根据课堂总分数得到出勤率得分。
进一步的，当接收到实时图像后，加载抬头识别网络模型、表情识别网络模型和动作识别网络模型；
对实时图像每30秒等间隔取一帧进行抬头率识别、表情识别和动作识别，得到识别结果和识别时间，并以文本形式保存和传输。
进一步的，分析接收到的识别结果和识别时间文档；
通过每30秒识别到的抬头人数与总人数的比值得到每30秒的抬头率，将课程后40分钟内的每30秒抬头率进行平均值计算，得到当堂课程的抬头率得分；
通过每30秒识别到的笑脸人数与总人数的比值得到每30秒的笑脸率，当笑脸率大于或等于三分之一时开始计时，当笑脸率小于三分之一时停止计时，统计时段数，进行计算得到当堂课程的笑脸率得分。
进一步的，分析接收到的识别结果和识别时间文档；
分析每30秒识别到的动作，当识别动作全部为坐下时，将课堂状态记录为教师讲课；
当有识别动作为举手或者站立时，将课堂状态记录为师生互动；
当有三分之二的识别动作为写字时，将课堂状态记录为课堂作业；
统计三种状态的时间得出当堂课程的课堂环节丰富程度指标。
进一步的，在课程记录的上课时间内，当识别动作先出现举手后出现站立时，将课堂状态记录为学生自主回答问题；
当识别动作只出现站立动作时，将课堂状态记录为老师点名回答问题；
当在识别动作为坐下后的30秒内有识别动作为举手或站立时，将课堂状态记录为师生互动；
当在识别动作为坐下后的30秒内没有出现识别动作为举手或站立时，将课堂状态记录为教师讲课。
进一步的，课堂质量评定结果的计算过程包括：
课堂评价结果的满分为100，出勤率、抬头率、笑脸率和课堂环节丰富度的权值分别为W1、W2、W3、W4，其中
W1+W2+W3+W4＝1；
记出勤率为A，则出勤率得分
SA＝A×100×W1；
记抬头率为H，抬头率得分为SH，笑脸率为X，笑脸率得分为SX；
抬头率得分SH的计算如下：
45分钟课堂中取后40分钟的每30秒为一个时间点，第i个时间点抬头率记为Hi，该时间点抬头率得分
则抬头率得分
笑脸率得分SX的计算如下：
45分钟课堂中取后40分钟，当课堂上第i次识别出笑脸率大于或等于三分之一时开始计时，当笑脸率小于三分之一时停止计时，并将该段时间记为ti；
取持续时间最大值为5分钟，记笑容时间段总数为n，则笑脸率得分
，当时取最大值5；
记课堂环节丰富程度得分为ST，记教师讲课、师生互动、课堂作业的分值分别为s1、s2、s3，师生互动中的学生自主回答问题和老师点名回答问题的分值分别为f1和f2，则课堂环节丰富程度得分
ST＝(s1+s2×max(f1，f2)+s3)×100×W4；
当堂课程结束后，完成上述指标计算，则课堂总体质量评价结果
S＝SA+SH+SX+ST。
进一步的，所述开发板的模型训练包括：
准备待训练的人脸图像数据集、抬头和非抬头图像数据集、表情图像数据集、动作图像数据集，并将每个数据集进行预处理操作；
将每个数据集分别输入用于人脸检测、人脸识别、抬头识别、表情识别、动作识别的神经网络正向传播，得到得分；
将得分输入误差函数，与期待值比较得到误差，将多个误差求和，通过误差判断识别程度；
将每个数据集分别输入用于人脸检测、人脸识别、抬头识别、表情识别、动作识别的神经网络反向传播，得到梯度向量；
通过梯度向量调整每一个权值，使得分的误差趋于0或收敛；
重复上述过程直到设定次数或误差的平均值不再下降，此时训练完成；
将训练完成后得到的模型文件存储到边缘端的开发板中。
进一步的，下载抬头识别结果、表情识别结果和动作识别的识别结果和识别时间文档，显示考勤结果、出勤率和课堂质量评定结果。
实施例2
在实施例1的基础上，所述摄像头选择带PTZ云台，可变焦，支持ONVIF协议的球型网络摄像头，开发板选择搭载神经网络推理引擎的嵌入式ARM开发板，可对训练好的神经网络模型进行推理实现，服务器选择搭载神经网络推理引擎的高性能服务器，可对训练好的神经网络模型进行推理实现，实现不同类型数据的存储和管理，可同时处理多组边缘计算端传来的数据。
在本实施例中，采用海康威视DS-2DC4420IW-D球型网络摄像头，搭载Tengine推理引擎的ARMEAIDK开发板，IntelFPGA加速云平台，搭载Arria 10FPGA加速卡和OpenVINO开发工具的服务器，选择当堂课程的有120人且该堂课的教室的座位共120个，且所述教室第一次使用所述系统；
将所述教室的座位分为多个区域，采集每个区域的坐标数据并存储到云台；
绑定课程信息，并与当地时间进行同步，当到达课程开始时间时，控制系统自动启动；
当系统启动后，对云台进行控制，并调节摄像头的角度到可以拍摄到讲台；
对采集的讲台数据进行判断，当判断结果为有人时，开始进行考勤操作；
当开始进行考勤操作时，进行所述摄像头焦距的调节；
分别对划分的采集区域的静态图像进行采集，并将采集的静态图像进行传输；
使用人脸检测算法对接收到的静态图像中的人脸进行框选，得到115个人脸图像并进行保存和传输；
对115个人脸图像进行人脸识别考勤得到考勤结果，并调整所述摄像头的角度至可以采集到教室里的115个学生；
对115个学生进行实时图像采集，并将采集的实时图像进行传输；
对接收到的实时图像进行抬头率识别、表情识别和动作识别，并将识别结果和识别时间以文本形式进行保存以及传输；
分析考勤结果、识别结果和识别时间文档得到课堂质量评定结果的不同指标，并根据不同指标得出最终的课堂质量评定结果。
进一步的，当接收到115个人脸图像后，加载人脸识别网络模型，将115个人脸图像与保存的选择所述课程的120个学生的正面人脸照片进行比对识别，将识别后的学生姓名和识别时的时间以文档形式进行保存；
将文档中的学生姓名和存储的学生信息进行匹配，得到考勤结果并进行保存；
服务器保存的考勤结果包括课程ID、课程名称、当堂课程时间、当堂课程地点、到课学生ID、到课学生姓名、到课学生性别；
将考勤结果中的学生信息与存储的选择课程的学生信息进行对比，得到缺勤结果；
服务器保存的缺勤结果包括课程ID、课程名称、当堂课程时间、当堂课程地点、缺课学生ID、缺课学生姓名、缺课学生性别；
将识别的人数115人和记录的课程人数120人进行对比，得出当堂课程的出勤率指标并根据课堂总分数100得到出勤率得分。
进一步的，当接收到实时图像后，加载抬头识别网络模型、表情识别网络模型和动作识别网络模型；
对实时图像每30秒等间隔取一帧进行抬头率识别、表情识别和动作识别，得到识别结果和识别时间，并以文本形式保存和传输。
进一步的，分析接收到的识别结果和识别时间文档；
通过每30秒识别到的抬头人数与总人数的比值得到每30秒的抬头率，将课程后40分钟内的每30秒抬头率进行平均值计算，得到当堂课程的抬头率得分；
通过每30秒识别到的笑脸人数与总人数的比值得到每30秒的笑脸率，当笑脸率大于或等于三分之一时开始计时，当笑脸率小于三分之一时停止计时，统计时段数，进行计算得到当堂课程的笑脸率得分。
进一步的，分析接收到的识别结果和识别时间文档；
分析每30秒识别到的动作，当识别动作全部为坐下时，将课堂状态记录为教师讲课；
当有识别动作为举手或者站立时，将课堂状态记录为师生互动；
当有三分之二的识别动作为写字时，将课堂状态记录为课堂作业；
统计三种状态的时间得出当堂课程的课堂环节丰富程度指标。
本实施例中当堂课程的抬头率为90％，笑脸率为85％，课堂环节丰富程度指标为88％；
进一步的，在课程记录的上课时间内，当识别动作先出现举手后出现站立时，将课堂状态记录为学生自主回答问题；
当识别动作只出现站立动作时，将课堂状态记录为老师点名回答问题；
当在识别动作为坐下后的30秒内有识别动作为举手或站立时，将课堂状态记录为师生互动；
当在识别动作为坐下后的30秒内没有出现识别动作为举手或站立时，将课堂状态记录为教师讲课。
进一步的，课堂质量评定结果的计算过程包括：
课堂评价结果的满分为100，出勤率、抬头率、笑脸率和课堂环节丰富度的权值分别为0.2、0.3、0.2、0.3；
记出勤率为则出勤率得分
记抬头率为H，抬头率得分为SH，笑脸率为X，笑脸率得分为SX；
抬头率得分SH的计算如下：
45分钟课堂中取后40分钟的每30秒为一个时间点，第5个时间点抬头率记为H5＝90％，该时间点抬头率得分
则抬头率得分
笑脸率得分SX的计算如下：
45分钟课堂中取后40分钟，当课堂上第10次识别出笑脸率大于或等于三分之一时开始计时，当笑脸率小于三分之一时停止计时，当笑脸数低于到课人数三分之一时停止计时，并将该段时间记为ti＝0.2；
取持续时间最大值为5分钟，记笑容时间段总数为n＝20，则笑脸率得分
，
当时取最大值5；
记课堂环节丰富程度得分为ST，记教师讲课、师生互动、课堂作业的分值分别为 师生互动中的学生自主回答问题和老师点名回答问题的分值分别为/>和/>则课堂环节丰富程度得分
当堂课程结束后，完成上述指标计算，则课堂总体质量评价结果
S＝SA+SH+SX+ST
＝19+27+28+16＝90。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于深度学习的课堂信息化评价及管理的方法，其特征在于，当教室为第一次使用时，将所述教室的座位分为多个区域，采集每个区域的坐标数据并存储到云台；
加载课程信息，并与当地时间进行同步，当到达课程开始时间时，控制系统自动启动；
当系统启动后，对云台进行控制，并调节摄像头的角度到可以拍摄到讲台；
对采集的讲台数据进行判断，当判断结果为有人时，开始进行考勤操作；
当开始进行考勤操作时，进行所述摄像头焦距的调节；
分别对划分的采集区域的静态图像进行采集，并将采集的静态图像进行传输；
使用人脸检测算法对接收到的静态图像中的人脸进行框选，得到所有人脸图像并进行保存和传输；
对所有人脸图像进行人脸识别考勤得到考勤结果，并调整所述摄像头的角度至可以采集到教室里的所有学生；
对所有学生进行实时图像采集，并将采集的实时图像进行传输；
对接收到的实时图像进行抬头率识别、表情识别和动作识别，并将识别结果和识别时间以文本形式进行保存以及传输；
分析考勤结果、识别结果和识别时间文档得到课堂质量评定结果的不同指标得分，并根据不同指标得分进行加权平均得出最终的课堂质量评定结果；
其中，课堂质量评定结果的计算过程包括：
课堂评价结果的满分为Y，出勤率、抬头率、笑脸率和课堂环节丰富度的权值分别为W1、W2、W3、W4，其中
W1+W2+W3+W4＝1；
记出勤率为A，则出勤率得分
SA＝A×Y×W1；
记抬头率为H，抬头率得分为SH，笑脸率为X，笑脸率得分为SX；
抬头率得分SH的计算如下：
45分钟课堂中取后40分钟的每30秒为一个时间点，第i个时间点抬头率记为Hi，该时间点抬头率得分
SHi＝Hi×W2×Y/80，
则抬头率得分
笑脸率得分SX的计算如下：
45分钟课堂中取后40分钟，当课堂上第i次识别出笑脸率大于或等于三分之一时开始计时，当笑脸率小于三分之一时停止计时，并将该段时间记为ti；
取持续时间最大值为5分钟，记笑容时间段总数为n，则笑脸率得分
当时取最大值5；
记课堂环节丰富程度得分为ST，记教师讲课、师生互动、课堂作业的分值分别为s1、s2、s3，师生互动中的学生自主回答问题和老师点名回答问题的分值分别为f1和f2，则课堂环节丰富程度得分
ST＝(s1+s2×max(f1，f2)+s3)×Y×W4；
当堂课程结束后，完成上述指标计算，则课堂总体质量评价结果
S＝SA+SH+SX+ST。
2.根据权利要求1所述的一种基于深度学习的课堂信息化评价及管理的方法，其特征在于，当接收到所有人脸图像后，加载人脸识别网络模型，将所有人脸图像与保存的正面人脸照片进行比对识别，将识别后的学生姓名和识别时的时间以文档形式进行保存；
将文档中的学生姓名和存储的学生信息进行匹配，得到考勤结果并进行保存；
将考勤结果中的学生信息与存储的选择课程的学生信息进行对比，得到缺勤结果；
将识别的人数和记录的课程人数进行对比，得出当堂课程的出勤率指标，并根据课堂总分数得到出勤率得分。
3.根据权利要求1所述的一种基于深度学习的课堂信息化评价及管理的方法，其特征在于，当接收到实时图像后，加载抬头识别网络模型、表情识别网络模型和动作识别网络模型；
对实时图像每30秒等间隔取一帧进行抬头率识别、表情识别和动作识别，得到识别结果和识别时间，并以文本形式保存和传输。
4.根据权利要求1所述的一种基于深度学习的课堂信息化评价及管理的方法，其特征在于，分析接收到的识别结果和识别时间文档；
通过每30秒识别到的抬头人数与总人数的比值得到每30秒的抬头率，将课程后40分钟内的每30秒抬头率进行平均值计算，得到当堂课程的抬头率得分；
通过每30秒识别到的笑脸人数与总人数的比值得到每30秒的笑脸率，当笑脸率大于或等于三分之一时开始计时，当笑脸率小于三分之一时停止计时，统计时段数，进行计算得到当堂课程的笑脸率得分。
5.根据权利要求1所述的一种基于深度学习的课堂信息化评价及管理的方法，其特征在于，分析接收到的识别结果和识别时间文档；
分析每秒识别到的动作，当识别动作全部为坐下时，将课堂状态记录为教师讲课；
当有识别动作为举手或者站立时，将课堂状态记录为师生互动；
当有三分之二的识别动作为写字时，将课堂状态记录为课堂作业；
统计三种状态的时间得出当堂课程的课堂环节丰富程度指标。
6.根据权利要求5所述的一种基于深度学习的课堂信息化评价及管理的方法，其特征在于，在课程记录的上课时间内，当识别动作先出现举手后出现站立时，将课堂状态记录为学生自主回答问题；
当识别动作只出现站立动作时，将课堂状态记录为老师点名回答问题；
当在识别动作为坐下后的30秒内有识别动作为举手或站立时，将课堂状态记录为师生互动；
当在识别动作为坐下后的30秒内没有出现识别动作为举手或站立时，将课堂状态记录为教师讲课。
7.根据权利要求1所述的一种基于深度学习的课堂信息化评价及管理的方法，其特征在于，下载抬头识别结果、表情识别结果和动作识别的识别结果和识别时间文档，显示考勤结果、出勤率和课堂质量评定结果。
CN202010074080.0A 2020-01-22 2020-01-22 一种基于深度学习的课堂信息化评价及管理的系统及方法 Active CN111275345B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010074080.0A CN111275345B (zh) 2020-01-22 2020-01-22 一种基于深度学习的课堂信息化评价及管理的系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010074080.0A CN111275345B (zh) 2020-01-22 2020-01-22 一种基于深度学习的课堂信息化评价及管理的系统及方法

Publications (2)

Publication Number Publication Date
CN111275345A CN111275345A (zh) 2020-06-12
CN111275345B true CN111275345B (zh) 2023-08-08

Family

ID=71001183

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010074080.0A Active CN111275345B (zh) 2020-01-22 2020-01-22 一种基于深度学习的课堂信息化评价及管理的系统及方法

Country Status (1)

Country Link
CN (1) CN111275345B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112287767A (zh) * 2020-09-30 2021-01-29 北京大米科技有限公司 交互控制方法、装置、存储介质以及电子设备
CN112613342A (zh) * 2020-11-27 2021-04-06 深圳市捷视飞通科技股份有限公司 行为分析方法、装置、计算机设备和存储介质
CN112634096A (zh) * 2020-12-07 2021-04-09 江苏欧帝电子科技有限公司 一种基于智能黑板的课堂管理方法及系统
CN113065441A (zh) * 2021-03-25 2021-07-02 开放智能机器（上海）有限公司 一种基于边缘设备的图像处理系统及方法
CN115829234A (zh) * 2022-11-10 2023-03-21 武汉天天互动科技有限公司 基于课堂检测的自动化督导系统及其工作方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007102344A (ja) * 2005-09-30 2007-04-19 Fujifilm Corp 自動評価装置、プログラムおよび方法
CN103839301A (zh) * 2014-03-19 2014-06-04 山东大学 基于视频跟踪和人脸识别的智能考勤系统的工作方法
CN107316261A (zh) * 2017-07-10 2017-11-03 湖北科技学院 一种基于人脸分析的教学质量评估系统
CN108154304A (zh) * 2017-12-26 2018-06-12 重庆大争科技有限公司 具有教学质量评估功能的服务器
CN108765611A (zh) * 2018-05-21 2018-11-06 中兴智能视觉大数据技术（湖北）有限公司 一种动态人脸识别考勤管理系统及其管理方法
CN108875606A (zh) * 2018-06-01 2018-11-23 重庆大学 一种基于表情识别的课堂教学评价方法及系统
CN109345156A (zh) * 2018-12-12 2019-02-15 范例 一种基于机器视觉的课堂教学质量评价系统
CN109359579A (zh) * 2018-10-10 2019-02-19 红云红河烟草(集团)有限责任公司 一种基于机器深度学习算法的人脸识别系统
CN109359521A (zh) * 2018-09-05 2019-02-19 浙江工业大学 基于深度学习的课堂质量双向评估系统
CN109948506A (zh) * 2019-03-14 2019-06-28 南通大学 一种基于深度学习的多角度垃圾分类云平台
CN110059614A (zh) * 2019-04-16 2019-07-26 广州大学 一种基于人脸情绪识别的智能辅助教学方法及系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007102344A (ja) * 2005-09-30 2007-04-19 Fujifilm Corp 自動評価装置、プログラムおよび方法
CN103839301A (zh) * 2014-03-19 2014-06-04 山东大学 基于视频跟踪和人脸识别的智能考勤系统的工作方法
CN107316261A (zh) * 2017-07-10 2017-11-03 湖北科技学院 一种基于人脸分析的教学质量评估系统
CN108154304A (zh) * 2017-12-26 2018-06-12 重庆大争科技有限公司 具有教学质量评估功能的服务器
CN108765611A (zh) * 2018-05-21 2018-11-06 中兴智能视觉大数据技术（湖北）有限公司 一种动态人脸识别考勤管理系统及其管理方法
CN108875606A (zh) * 2018-06-01 2018-11-23 重庆大学 一种基于表情识别的课堂教学评价方法及系统
CN109359521A (zh) * 2018-09-05 2019-02-19 浙江工业大学 基于深度学习的课堂质量双向评估系统
CN109359579A (zh) * 2018-10-10 2019-02-19 红云红河烟草(集团)有限责任公司 一种基于机器深度学习算法的人脸识别系统
CN109345156A (zh) * 2018-12-12 2019-02-15 范例 一种基于机器视觉的课堂教学质量评价系统
CN109948506A (zh) * 2019-03-14 2019-06-28 南通大学 一种基于深度学习的多角度垃圾分类云平台
CN110059614A (zh) * 2019-04-16 2019-07-26 广州大学 一种基于人脸情绪识别的智能辅助教学方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
机房教学自动监控系统开发与应用;陈彬杰;田生伟;易大强;常朋肖;;中国教育技术装备(第10期);全文 *

Also Published As

Publication number Publication date
CN111275345A (zh) 2020-06-12

Similar Documents

Publication Publication Date Title
CN111275345B (zh) 一种基于深度学习的课堂信息化评价及管理的系统及方法
CN108648757B (zh) 一种基于多维度课堂信息的分析方法
CN110443226B (zh) 一种基于姿态识别的学生状态评价方法及系统
CN110991381A (zh) 一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒系统和方法
CN107958351A (zh) 教学质量评估云服务平台
CN111027865B (zh) 基于行为和表情识别的教学分析与质量评估系统及方法
CN108009754A (zh) 教学质量评估方法
CN111915148B (zh) 一种基于信息技术的课堂教学评价方法和系统
CN108171414A (zh) 教学质量评估系统
CN108154304A (zh) 具有教学质量评估功能的服务器
CN111898881B (zh) 一种课堂教学质量评估方法、装置、设备及存储介质
CN111242049A (zh) 一种基于面部识别的学生网课学习状态评价方法及系统
CN111291613B (zh) 一种课堂表现评价方法及系统
CN109685007B (zh) 用眼习惯的预警方法、用户设备、存储介质及装置
CN111523444B (zh) 基于改进的Openpose模型和面部微表情的课堂行为检测的方法
CN109685692A (zh) 一种多维度学生学习行为的无感采集及分析系统
CN112862639B (zh) 一种基于大数据分析的在线教育平台的教育方法
CN113139885A (zh) 教学管理系统及其管理方法
CN206557851U (zh) 一种教学听课情况采集装置
CN109754653B (zh) 一种个性化教学的方法及系统
CN111523445A (zh) 一种基于改进的Openpose模型和面部微表情的考试行为检测方法
CN111325853A (zh) 一种基于增强现实眼镜的远程辅导系统及方法
CN107958500A (zh) 一种用于教学实境信息实时采集的监控系统
CN110660285A (zh) 场景自适应的定制化智能培训方法及系统
CN113989608A (zh) 基于顶部视觉的学生实验课堂行为识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant