CN110619460A - 基于深度学习目标检测的教室课堂质量评估系统及方法 - Google Patents
基于深度学习目标检测的教室课堂质量评估系统及方法 Download PDFInfo
- Publication number
- CN110619460A CN110619460A CN201910838429.0A CN201910838429A CN110619460A CN 110619460 A CN110619460 A CN 110619460A CN 201910838429 A CN201910838429 A CN 201910838429A CN 110619460 A CN110619460 A CN 110619460A
- Authority
- CN
- China
- Prior art keywords
- real
- classroom
- video stream
- monitoring video
- time monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 85
- 238000013135 deep learning Methods 0.000 title claims abstract description 38
- 238000001303 quality assessment method Methods 0.000 title claims abstract description 33
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000012544 monitoring process Methods 0.000 claims abstract description 72
- 230000000694 effects Effects 0.000 claims abstract description 23
- 238000007781 pre-processing Methods 0.000 claims abstract description 20
- 238000011156 evaluation Methods 0.000 claims abstract description 15
- 238000004364 calculation method Methods 0.000 claims abstract description 13
- 238000010972 statistical evaluation Methods 0.000 claims abstract description 6
- 238000012545 processing Methods 0.000 claims description 30
- 238000004422 calculation algorithm Methods 0.000 claims description 22
- 238000005516 engineering process Methods 0.000 claims description 14
- 238000013136 deep learning model Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 7
- 230000009286 beneficial effect Effects 0.000 abstract description 8
- 238000000605 extraction Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013441 quality evaluation Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06395—Quality analysis or management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Educational Administration (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Tourism & Hospitality (AREA)
- Economics (AREA)
- Educational Technology (AREA)
- Multimedia (AREA)
- Marketing (AREA)
- Entrepreneurship & Innovation (AREA)
- Development Economics (AREA)
- General Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- General Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于深度学习目标检测的教室课堂质量评估系统及方法，其中，系统包括：数据获取模块，用于获取教室的实时监控视频流和对应的时间戳；视频预处理模块，用于对实时监控视频流进行预处理；检测计算模块，用于根据预处理后的实时监控视频流输入预先训练的视频帧送入模型，以检测教室监控视频画面的出勤人数和/或抬头人数；统计评估模块，用于根据出勤人数和/或抬头人数生成评估结果。该系统使用深度学习目标检测模型来获取教室的实时出勤情况和抬头率，并利用特征金字塔检测多尺度特征以提高检测效果，从而实现了计算量和准确性的较好平衡，且可以对整堂课的情况进行统计，有助于授课教师调整教学方式，实现最佳教学效果。
Description
技术领域
本发明涉及深度学习技术领域，特别涉及一种基于深度学习目标检测的教室课堂质量评估系统及方法。
背景技术
智慧教室是数字教室向未来发展的一种形式，其运用现代化手段切入整个教学过程，让课堂变得简单、高效、智能，能够更好地满足学校和师生的需求。随着各高校的智慧教室建设逐渐深入，智慧教室成为了其中非常重要的应用。目前的高校教学主要以教室面授为主，为实现良好的教学效果，保证课堂教学质量至关重要。因此，采用合理的教学质量评估方式了解课堂状态，将有助于及时调整教学方式，提高教学效果。
然而，目前的高校教学系统中，评估课堂教学质量的手段主要有：
(1)利用评教和问卷调查等人工分析方式。目前，高校使用的大多是此类传统评估方法，这些手段通常都在课后进行。评教方法需要参与课程的学生主动登录评教系统，对课堂教学的质量进行评价和提出建议；问卷调查方法则需要手工制作课堂教学反馈调查问卷，通过书面或网络的形式进行发放，实现教学质量评估的目的。
(2)利用人脸识别和行为识别等技术的自动评估方式。这类方法通常在上课时进行分析，需要额外的设备支持。使用人脸识别技术进行出勤统计的方案需要预先录入学生的姓名和人脸等个人信息，然后使用人脸识别技术统计教室出勤人数。使用行为识别判断课堂情况的方案通常包含多个模块，对上课时的学生姿态情况进行分析计算，实时反馈给老师。
发明内容
本申请是基于发明人对以下问题的认识和发现做出的：
目前高校用于评估课堂教学质量的方式主要有：1)使用评教和问卷调查等人工分析方式；2)利用人脸识别和行为识别等技术的自动评估方式。方式1)简单，无需较多额外技术和设备辅助，但其方法普遍耗时长、实时性差，且结果带有较强的主观性，不利于准确反映课堂质量和实时提供教学反馈。方式2)需要预先采集录入学生信息，因此带来了更多的安全和隐私问题；算法具有较大的计算量，且只能反映某一时刻的状态，无法提供整堂课的统计反馈。
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种基于深度学习目标检测的教室课堂质量评估系统，该系统实现了计算量和准确性的较好平衡，且可以对整堂课的情况进行统计，有助于授课教师调整教学方式，实现最佳教学效果。
本发明的另一个目的在于提出一种基于深度学习目标检测的教室课堂质量评估系方法。
为达到上述目的，本发明一方面实施例提出了一种基于深度学习目标检测的教室课堂质量评估系统，包括：数据获取模块，用于获取教室的实时监控视频流和对应的时间戳；视频预处理模块，用于对所述实时监控视频流进行预处理；检测计算模块，用于根据预处理后的实时监控视频流输入预先训练的视频帧送入模型，以检测教室监控视频画面的出勤人数和/或抬头人数；统计评估模块，用于根据所述出勤人数和/或抬头人数生成评估结果。
本发明实施例的基于深度学习目标检测的教室课堂质量评估系统，利用深度学习中的图像目标检测算法，对教室监控视频进行实时分析，计算课堂的出勤率和抬头率，实现了计算量和准确性的较好平衡；具有统计和反馈模块，对整堂课的情况进行统计，有助于授课教师调整教学方式，实现最佳教学效果。
另外，根据本发明上述实施例的基于深度学习目标检测的教室课堂质量评估系统还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，还包括：展示输出模块，用于展示所述评估结果。
进一步地，在本发明的一个实施例中，所述数据获取模块还包括将所述实时监控视频流和对应的时间戳转化为预设格式。
进一步地，在本发明的一个实施例中，所述视频预处理模块包括：第一处理单元，用于对所述实时监控视频流进行解码和转码，以将所述实时监控视频流转换为目标环境和配置下支持的格式；第二处理单元，用于利用关键帧截取技术，使用预设的时间间隔对所述时监控视频流进行截取，获得可送至深度学习模型处理的视频帧；第三处理单元，用于对所述视频帧进行归一化处理。
进一步地，在本发明的一个实施例中，所述检测计算模块具体用于采用SSD(Single Shot MultiBox Detector，单射多框检测算法)算法以通过从不同尺度特征图上预定义的默认边界框中估计对象类别，实时检测对象。
进一步地，在本发明的一个实施例中，所述检测计算模块具体用于采用S3FD(Single shot scale-invariant face detector，尺度不变人脸检测器)检测算法以利用尺度不变框架进行检测，利用尺度补偿边界框匹配策略提高小尺度目标的检测效果。
为达到上述目的，本发明另一方面实施例提出了一种基于深度学习目标检测的教室课堂质量评估方法，采用上述实施例所述的系统，其中，方法包括以下步骤：获取教室的实时监控视频流和对应的时间戳；对所述实时监控视频流进行预处理；根据预处理后的实时监控视频流输入预先训练的视频帧送入模型，以检测教室监控视频画面的出勤人数和/或抬头人数；根据所述出勤人数和/或抬头人数生成评估结果。
本发明实施例的基于深度学习目标检测的教室课堂质量评估方法，利用深度学习中的图像目标检测算法，对教室监控视频进行实时分析，计算课堂的出勤率和抬头率，实现了计算量和准确性的较好平衡；具有统计和反馈模块，对整堂课的情况进行统计，有助于授课教师调整教学方式，实现最佳教学效果。
另外，根据本发明上述实施例的基于深度学习目标检测的教室课堂质量评估方法还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述获取教室的实时监控视频流和对应的时间戳，还包括：将所述实时监控视频流和对应的时间戳转化为预设格式。
进一步地，在本发明的一个实施例中，所述对所述实时监控视频流进行预处理，还包括：对所述实时监控视频流进行解码和转码，以将所述实时监控视频流转换为目标环境和配置下支持的格式；利用关键帧截取技术，使用预设的时间间隔对所述时监控视频流进行截取，获得可送至深度学习模型处理的视频帧；对所述视频帧进行归一化处理。
进一步地，在本发明的一个实施例中，所述根据预处理后的实时监控视频流输入预先训练的视频帧送入模型，以检测教室监控视频画面的出勤人数和/或抬头人数，具体包括：采用SSD算法以通过从不同尺度特征图上预定义的默认边界框中估计对象类别，实时检测对象；采用S3FD检测算法以利用尺度不变框架进行检测，利用尺度补偿边界框匹配策略提高小尺度目标的检测效果。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明实施例的基于深度学习目标检测的教室课堂质量评估系统的结构示意图；
图2为根据一个本发明实施例的基于深度学习目标检测的教室课堂质量评估系统的结构示意图；
图3为根据本发明实施例的S3FD算法框架示意图；
图4为根据本发明实施例的系统界面示意图；
图5为根据本发明实施例的基于深度学习目标检测的教室课堂质量评估方法流程图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
当前高校用于评估课堂教学质量的方式存在较为明显的不足，而课堂教学作为高校教学的主要部分，对提升教学质量起着至关重要的作用。因此，评估和改善教学质量已经成为了学校和师生的共同需求。随着监控设备的不断发展，校园监控视频的画面质量不断提高，然而目前为止这部分数据并未被充分利用；同时，深度学习近年来在图像识别领域的突出表现，为处理和利用高校教室监控视频提供了可能。因此，本发明实施例使用深度学习中的图像目标检测技术，对教室监控视频进行识别和计算，用于课堂教学质量评估。
下面参照附图描述根据本发明实施例提出的基于深度学习目标检测的教室课堂质量评估系统及方法，首先将参照附图描述根据本发明实施例提出的基于深度学习目标检测的教室课堂质量评估系统。
图1是本发明一个实施例的基于深度学习目标检测的教室课堂质量评估系统的结构示意图。
如图1所示，该基于深度学习目标检测的教室课堂质量评估系统10包括：数据获取模块100、视频预处理模块200、检测计算模块300和统计评估模块400。
其中，数据获取模块100用于获取教室的实时监控视频流和对应的时间戳；视频预处理模块200用于对实时监控视频流进行预处理；检测计算模块300用于根据预处理后的实时监控视频流输入预先训练的视频帧送入模型，以检测教室监控视频画面的出勤人数和/或抬头人数；统计评估模块400用于根据出勤人数和/或抬头人数生成评估结果。本发明实施例的系统10针对教室课堂质量评估，使用深度学习目标检测模型来获取教室的实时出勤情况和抬头率，并针对教室待检目标的尺度较小的问题，利用特征金字塔检测多尺度特征以提高检测效果，从而实现了计算量和准确性的较好平衡，且可以对整堂课的情况进行统计，有助于授课教师调整教学方式，实现最佳教学效果。
下面将结合图2对本发明实施例的系统10中的各个模块进行详细介绍。
进一步地，在本发明的一个实施例中，数据获取模块100还包括将实时监控视频流和对应的时间戳转化为预设格式。
具体而言，如图2所示，数据获取模块100为整个系统的数据输入模块，该模块与高校信息化系统对接，或直接从教室监控摄像头获取教室的实时监控视频流和对应的时间戳，并按照系统目标格式输入系统。
进一步地，在本发明的一个实施例中，视频预处理模块200包括：第一处理单元、第二处理单元和第三处理单元。
其中，第一处理单元，用于对实时监控视频流进行解码和转码，以将实时监控视频流转换为目标环境和配置下支持的格式；第二处理单元，用于利用关键帧截取技术，使用预设的时间间隔对时监控视频流进行截取，获得可送至深度学习模型处理的视频帧；第三处理单元，用于对视频帧进行归一化处理。
具体而言，如图2所示，视频预处理模块200使用成熟的可移植多媒体处理框架FFmpeg，对数据获取模块中的视频流进行预处理操作，具体包含：
a)解码和转码，将视频流转换为目标环境和配置下支持的格式，便于进行后续处理。
b)视频帧截取，利用关键帧截取技术，使用固定的时间间隔对视频文件进行截取，获得可送至深度学习模型处理的视频帧。
c)对截取的视频帧图像进行归一化处理。
进一步地，在本发明的一个实施例中，检测计算模块300具体用于采用SSD算法以通过从不同尺度特征图上预定义的默认边界框中估计对象类别，实时检测对象；且用于采用S3FD检测算法以利用尺度不变框架进行检测，利用尺度补偿边界框匹配策略提高小尺度目标的检测效果。
具体而言，如图2所示，检测计算模块300分为出勤检测和抬头检测两个部分。具体实现方案为，构建深度学习目标检测模型，针对不同任务使用不同的数据集对目标检测模型进行训练，将预处理模块获得的视频帧送入模型，检测教室监控视频画面中的出勤人数或抬头人数。对于出勤检测，使用高校教室的人头标注数据集；对于抬头检测，使用大规模人脸检测基准数据集。
基于高校教室场景监控视频的现状，出勤人数统计面临如下问题：1)待检对象具有高遮挡、高密度的特点；2)待检对象尺度较小。
针对高遮挡、高密度待检对象的问题，提高对象检测准确率的方法主要包括提高区域提取的质量、充分利用图片的上下文信息、设计高质量的特征提取模型等。本发明实施例中的出勤检测和抬头检测主要为基于目标检测的方法。目标检测的框架主要包括区域提取、特征提取、分类器、回归器等四个部分。为了在实现高质量特征提取的同时，最大程度降低目标检测的时间消耗，本发明实施例采用SSD算法，通过直接从预定义的默认边界框中估计对象类别和边界框偏移，并在多个不同特征图上进行预测，完成实时的目标检测。
针对尺度问题，解决方法包括改变输入图片的尺度以及获取高质量的区域提取。基于CNN(Convolutional Neural Networks，卷积神经网络)的对象检测模型完成多尺度对象检测的方法是将区域提取算法整合到模型中，然后固定滑动窗口大小，通过改变输入图片的尺寸来实现。例如，基于卷积神经网络的MTCNN模型使用图像金字塔将原始图像缩放到不同的尺度，然后将不同尺度的图像送入这子网络中进行训练，因此可以检测到不同大小的目标。本发明实施例采用S3FD检测算法，利用尺度不变框架中的特征金字塔进行检测，核心思想是利用CNN中不同深度的特征图检测不同尺度的目标，同时利用尺度补偿边界框匹配策略，如图3所示，这样的设计充分提高了不同尺度尤其是小尺度特征的提取效果，显著提高了小尺度目标的检测率。
本发明实施例设计的基于多尺度特征和具有遮挡鲁棒性的课堂质量评估算法，解决了教室场景监控的目标检测面临的核心问题。
进一步地，如图2所示，统计评估模块400将一堂课的模型计算结果存储记录，并实时进行统计。具体为，根据整堂课的抬头率平均值，进行课堂教学情况评估，规则如表1所示，其中，表1为教学质量评估方案表。
表1
| 课堂平均抬头率 | 课堂质量评估 |
| <40％ | 较差 |
| 40％～70％ | 一般 |
| ≥70％ | 良好 |
同时，根据教室不同区域的抬头检测结果情况，可以生成课堂注意力热图，授课教师可以根据热图情况对教学进行实施改进。
进一步地，在本发明的一个实施例中，本发明实施例的系统10还包括：展示输出模块。其中，展示输出模块，用于展示评估结果。
具体而言，如图2所示，展示输出模块在Web页面上以图表的方式对统计结果进行展示，同时提供对用户友好的界面，便于用户学习和使用。用户可以通过访问网址登录系统，系统界面如图4所示：
页面左侧为图片展示区域，主体为经过实时处理后的教室图片，使用高亮的边框直观地标出检测到人头和人脸的区域；图片下方显示当前图像帧的信息分辨率、时间等信息；页面右侧为教室情况展示区域，以列表的形式分别呈现了教室当前状态下的抬头率、出勤人数、抬头人数，并在下方以统计图记录抬头人数占比，方便用户查看和参考。除此之外，用户可点击右侧的“出勤人数”、“抬头人数”和“查看原图”，切换图片中的高亮边框区域显示。
综上，(1)现有技术方案大多只使用简单的人脸识别方法进行出勤统计，由于人脸在教室监控视频中尺度较小，因此效果不佳；另一方面，该方案需要预先录入学生的姓名和人脸等个人信息，增加了人工操作成本。本发明实施例使用人脸检测技术进行出勤统计，增加了检测的效率，同时针对教室场景中的尺度问题，采用多尺度的检测框架提高了统计效果。
(2)现有技术方案大多使用行为识别判断课堂情况，这类方案通常包含多个模块，对上课时的学生姿态情况进行分析计算，计算量较大，实时性差。本发明实施例充分考虑设备的计算敏感性，能够以较小的计算量实现实时检测和统计的效果。
根据本发明实施例提出的基于深度学习目标检测的教室课堂质量评估系统，利用深度学习中的图像目标检测算法，对教室监控视频进行实时分析，计算课堂的出勤率和抬头率，实现了计算量和准确性的较好平衡；具有统计和反馈模块，对整堂课的情况进行统计，有助于授课教师调整教学方式，实现最佳教学效果。
其次参照附图描述根据本发明实施例提出的基于深度学习目标检测的教室课堂质量评估方法。
图5是本发明一个实施例的基于深度学习目标检测的教室课堂质量评估方法的流程图。
如图5所示，该基于深度学习目标检测的教室课堂质量评估方法，采用上述实施例的系统，其中，方法包括以下步骤：
在步骤S501中，获取教室的实时监控视频流和对应的时间戳。
在步骤S502中，对实时监控视频流进行预处理。
在步骤S503中，根据预处理后的实时监控视频流输入预先训练的视频帧送入模型，以检测教室监控视频画面的出勤人数和/或抬头人数。
在步骤S504中，根据出勤人数和/或抬头人数生成评估结果。
进一步地，在本发明的一个实施例中，获取教室的实时监控视频流和对应的时间戳，还包括：将实时监控视频流和对应的时间戳转化为预设格式。
进一步地，在本发明的一个实施例中，对实时监控视频流进行预处理，还包括：对实时监控视频流进行解码和转码，以将实时监控视频流转换为目标环境和配置下支持的格式；利用关键帧截取技术，使用预设的时间间隔对时监控视频流进行截取，获得可送至深度学习模型处理的视频帧；对视频帧进行归一化处理。
进一步地，在本发明的一个实施例中，根据预处理后的实时监控视频流输入预先训练的视频帧送入模型，以检测教室监控视频画面的出勤人数和/或抬头人数，具体包括：采用SSD算法以通过从不同尺度特征图上预定义的默认边界框中估计对象类别，实时检测对象；采用S3FD检测算法以利用尺度不变框架进行检测，利用尺度补偿边界框匹配策略提高小尺度目标的检测效果。
需要说明的是，前述对基于深度学习目标检测的教室课堂质量评估系统实施例的解释说明也适用于该实施例的基于深度学习目标检测的教室课堂质量评估方法，此处不再赘述。
根据本发明实施例提出的基于深度学习目标检测的教室课堂质量评估方法，利用深度学习中的图像目标检测算法，对教室监控视频进行实时分析，计算课堂的出勤率和抬头率，实现了计算量和准确性的较好平衡；具有统计和反馈模块，对整堂课的情况进行统计，有助于授课教师调整教学方式，实现最佳教学效果。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或N个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种基于深度学习目标检测的教室课堂质量评估系统，其特征在于，包括：
数据获取模块，用于获取教室的实时监控视频流和对应的时间戳；
视频预处理模块，用于对所述实时监控视频流进行预处理；
检测计算模块，用于根据预处理后的实时监控视频流输入预先训练的视频帧送入模型，以检测教室监控视频画面的出勤人数和/或抬头人数；
统计评估模块，用于根据所述出勤人数和/或抬头人数生成评估结果。
2.根据权利要求1所述的系统，其特征在于，还包括：
展示输出模块，用于展示所述评估结果。
3.根据权利要求1所述的系统，其特征在于，所述数据获取模块还包括将所述实时监控视频流和对应的时间戳转化为预设格式。
4.根据权利要求1所述的系统，其特征在于，所述视频预处理模块包括：
第一处理单元，用于对所述实时监控视频流进行解码和转码，以将所述实时监控视频流转换为目标环境和配置下支持的格式；
第二处理单元，用于利用关键帧截取技术，使用预设的时间间隔对所述时监控视频流进行截取，获得可送至深度学习模型处理的视频帧；
第三处理单元，用于对所述视频帧进行归一化处理。
5.根据权利要求1所述的系统，其特征在于，所述检测计算模块具体用于采用SSD算法以通过从不同尺度特征图上预定义的默认边界框中估计对象类别，实时检测对象。
6.根据权利要求1所述的系统，其特征在于，所述检测计算模块具体用于采用S3FD检测算法以利用尺度不变框架进行检测，利用尺度补偿边界框匹配策略提高小尺度目标的检测效果。
7.一种基于深度学习目标检测的教室课堂质量评估方法，其特征在于，采用如权利要求1-6任意一项所述的系统，其中，方法包括以下步骤：
获取教室的实时监控视频流和对应的时间戳；
对所述实时监控视频流进行预处理；
根据预处理后的实时监控视频流输入预先训练的视频帧送入模型，以检测教室监控视频画面的出勤人数和/或抬头人数；
根据所述出勤人数和/或抬头人数生成评估结果。
8.根据权利要求7所述的方法，其特征在于，所述获取教室的实时监控视频流和对应的时间戳，还包括：
将所述实时监控视频流和对应的时间戳转化为预设格式。
9.根据权利要求7所述的方法，其特征在于，所述对所述实时监控视频流进行预处理，还包括：
对所述实时监控视频流进行解码和转码，以将所述实时监控视频流转换为目标环境和配置下支持的格式；
利用关键帧截取技术，使用预设的时间间隔对所述时监控视频流进行截取，获得可送至深度学习模型处理的视频帧；
对所述视频帧进行归一化处理。
10.根据权利要求7所述的方法，其特征在于，所述根据预处理后的实时监控视频流输入预先训练的视频帧送入模型，以检测教室监控视频画面的出勤人数和/或抬头人数，具体包括：
采用SSD算法以通过从不同尺度特征图上预定义的默认边界框中估计对象类别，实时检测对象；
采用S3FD检测算法以利用尺度不变框架进行检测，利用尺度补偿边界框匹配策略提高小尺度目标的检测效果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910838429.0A CN110619460A (zh) | 2019-09-05 | 2019-09-05 | 基于深度学习目标检测的教室课堂质量评估系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910838429.0A CN110619460A (zh) | 2019-09-05 | 2019-09-05 | 基于深度学习目标检测的教室课堂质量评估系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110619460A true CN110619460A (zh) | 2019-12-27 |
Family
ID=68922452
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910838429.0A Pending CN110619460A (zh) | 2019-09-05 | 2019-09-05 | 基于深度学习目标检测的教室课堂质量评估系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110619460A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111507227A (zh) * | 2020-04-10 | 2020-08-07 | 南京汉韬科技有限公司 | 基于深度学习的多学生个体分割及状态自主识别方法 |
| CN111639565A (zh) * | 2020-05-19 | 2020-09-08 | 重庆大学 | 音视频结合的课堂质量综合评估方法 |
| CN111753633A (zh) * | 2020-03-30 | 2020-10-09 | 杭州海康威视数字技术股份有限公司 | 目标检测方法及装置 |
| CN112084990A (zh) * | 2020-09-16 | 2020-12-15 | 重庆科技学院 | 一种基于卷积神经网络及回溯的课堂抬头率统计系统 |
| CN112270264A (zh) * | 2020-10-28 | 2021-01-26 | 杭州海康威视数字技术股份有限公司 | 一种多方互动教学系统 |
| CN113065441A (zh) * | 2021-03-25 | 2021-07-02 | 开放智能机器（上海）有限公司 | 一种基于边缘设备的图像处理系统及方法 |
| CN113329139A (zh) * | 2020-02-28 | 2021-08-31 | 中国电信股份有限公司 | 视频流处理方法、装置及计算机可读存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109034036A (zh) * | 2018-07-19 | 2018-12-18 | 青岛伴星智能科技有限公司 | 一种视频分析方法、教学质量评估方法及系统、计算机可读存储介质 |
| CN109101899A (zh) * | 2018-07-23 | 2018-12-28 | 北京飞搜科技有限公司 | 一种基于卷积神经网络的人脸检测方法及系统 |
| CN109741318A (zh) * | 2018-12-30 | 2019-05-10 | 北京工业大学 | 基于有效感受野的单阶段多尺度特定目标的实时检测方法 |
| CN110059733A (zh) * | 2019-04-01 | 2019-07-26 | 苏州科达科技股份有限公司 | 卷积神经网络的优化及快速目标检测方法、装置 |
| CN110134459A (zh) * | 2019-05-15 | 2019-08-16 | Oppo广东移动通信有限公司 | 应用启动方法及相关产品 |
-
2019
- 2019-09-05 CN CN201910838429.0A patent/CN110619460A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109034036A (zh) * | 2018-07-19 | 2018-12-18 | 青岛伴星智能科技有限公司 | 一种视频分析方法、教学质量评估方法及系统、计算机可读存储介质 |
| CN109101899A (zh) * | 2018-07-23 | 2018-12-28 | 北京飞搜科技有限公司 | 一种基于卷积神经网络的人脸检测方法及系统 |
| CN109741318A (zh) * | 2018-12-30 | 2019-05-10 | 北京工业大学 | 基于有效感受野的单阶段多尺度特定目标的实时检测方法 |
| CN110059733A (zh) * | 2019-04-01 | 2019-07-26 | 苏州科达科技股份有限公司 | 卷积神经网络的优化及快速目标检测方法、装置 |
| CN110134459A (zh) * | 2019-05-15 | 2019-08-16 | Oppo广东移动通信有限公司 | 应用启动方法及相关产品 |
Non-Patent Citations (1)
| Title |
|---|
| 王纯: ""基于深度学习的人脸识别在彩铃视频审核中的应用"", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113329139A (zh) * | 2020-02-28 | 2021-08-31 | 中国电信股份有限公司 | 视频流处理方法、装置及计算机可读存储介质 |
| CN113329139B (zh) * | 2020-02-28 | 2023-11-03 | 天翼云科技有限公司 | 视频流处理方法、装置及计算机可读存储介质 |
| CN111753633A (zh) * | 2020-03-30 | 2020-10-09 | 杭州海康威视数字技术股份有限公司 | 目标检测方法及装置 |
| CN111753633B (zh) * | 2020-03-30 | 2023-08-29 | 杭州海康威视数字技术股份有限公司 | 目标检测方法及装置 |
| CN111507227A (zh) * | 2020-04-10 | 2020-08-07 | 南京汉韬科技有限公司 | 基于深度学习的多学生个体分割及状态自主识别方法 |
| CN111507227B (zh) * | 2020-04-10 | 2023-04-18 | 南京汉韬科技有限公司 | 基于深度学习的多学生个体分割及状态自主识别方法 |
| CN111639565A (zh) * | 2020-05-19 | 2020-09-08 | 重庆大学 | 音视频结合的课堂质量综合评估方法 |
| CN112084990A (zh) * | 2020-09-16 | 2020-12-15 | 重庆科技学院 | 一种基于卷积神经网络及回溯的课堂抬头率统计系统 |
| CN112270264A (zh) * | 2020-10-28 | 2021-01-26 | 杭州海康威视数字技术股份有限公司 | 一种多方互动教学系统 |
| CN113065441A (zh) * | 2021-03-25 | 2021-07-02 | 开放智能机器（上海）有限公司 | 一种基于边缘设备的图像处理系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110619460A (zh) | 基于深度学习目标检测的教室课堂质量评估系统及方法 | |
| CN110334610B (zh) | 一种基于计算机视觉的多维度课堂量化系统及方法 | |
| CN108399376B (zh) | 学生课堂学习兴趣智能分析方法及系统 | |
| CN109284737A (zh) | 一种用于智慧教室的学生行为分析和识别系统 | |
| WO2019028592A1 (zh) | 一种教学辅助方法及采用该方法的教学辅助系统 | |
| CN109727167B (zh) | 一种教学辅助系统 | |
| CN109034036B (zh) | 一种视频分析方法、教学质量评估方法及系统、计算机可读存储介质 | |
| WO2020010785A1 (zh) | 一种课堂教学认知负荷测量系统 | |
| CN111652189A (zh) | 一种智能化教学的学生管理系统 | |
| CN111242962A (zh) | 远程培训视频的生成方法、装置、设备及存储介质 | |
| CN110175534A (zh) | 基于多任务级联卷积神经网络的授课辅助系统 | |
| CN113762107B (zh) | 对象状态评估方法、装置、电子设备及可读存储介质 | |
| US20150279222A1 (en) | Method and system for enhancing interactions between teachers and students | |
| CN113705349B (zh) | 一种基于视线估计神经网络的注意力量化分析方法及系统 | |
| CN110163567A (zh) | 基于多任务级联卷积神经网络的课堂点名系统 | |
| CN108304779B (zh) | 一种学生教育管理的智能化调控方法 | |
| US8611698B2 (en) | Method for image reframing | |
| CN111160277A (zh) | 行为识别分析方法和系统、计算机可读存储介质 | |
| CN112101074A (zh) | 一种在线教育辅助评分方法和系统 | |
| CN114677644A (zh) | 一种基于教室监控视频的学生入座分布识别方法及系统 | |
| CN113989608A (zh) | 基于顶部视觉的学生实验课堂行为识别方法 | |
| CN111611854A (zh) | 一种基于模式识别的课堂情况评价方法 | |
| CN115862172A (zh) | 一种带有表情识别的考勤系统 | |
| Miniakhmetova et al. | An approach to personalized video summarization based on user preferences analysis | |
| CN111327943B (zh) | 信息管理方法及装置、系统、计算机设备、存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191227 |
|
| RJ01 | Rejection of invention patent application after publication |