CN111639565A - 音视频结合的课堂质量综合评估方法 - Google Patents
音视频结合的课堂质量综合评估方法 Download PDFInfo
- Publication number
- CN111639565A CN111639565A CN202010422369.7A CN202010422369A CN111639565A CN 111639565 A CN111639565 A CN 111639565A CN 202010422369 A CN202010422369 A CN 202010422369A CN 111639565 A CN111639565 A CN 111639565A
- Authority
- CN
- China
- Prior art keywords
- classroom
- video
- video stream
- audio
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 30
- 238000012544 monitoring process Methods 0.000 claims abstract description 64
- 238000007781 pre-processing Methods 0.000 claims abstract description 37
- 230000006399 behavior Effects 0.000 claims abstract description 36
- 230000002159 abnormal effect Effects 0.000 claims abstract description 29
- 238000013528 artificial neural network Methods 0.000 claims abstract description 21
- 238000004458 analytical method Methods 0.000 claims abstract description 20
- 238000000034 method Methods 0.000 claims abstract description 20
- 238000012545 processing Methods 0.000 claims description 36
- 238000001514 detection method Methods 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 15
- 238000013441 quality evaluation Methods 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 3
- 239000012634 fragment Substances 0.000 claims description 3
- 238000005457 optimization Methods 0.000 description 9
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000010419 fine particle Substances 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Economics (AREA)
- Tourism & Hospitality (AREA)
- Educational Administration (AREA)
- Multimedia (AREA)
- General Business, Economics & Management (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Development Economics (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Marketing (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Primary Health Care (AREA)
- Educational Technology (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
一种音视频结合的课堂质量综合评估方法，采取的步骤为：一：获取课堂实时监控视频流；二：对视频数据进行预处理；三：采用预先训练的神经网络，计算识别出课堂出勤率；四：采用预先训练的神经网络识别检测课堂视频数据中的非正常学习行为；五：音频片段和视频帧送入预先训练的神经网络，结合音、视频的分析结果实现对课堂氛围的综合评估；六：对所述出勤率、非正常学习行为人数以及课堂氛围评估结果进行加权处理，得到课堂质量的综合得分；七：输出报告。本发明通过对视频的数据的分析，能快速得出出勤率、课堂异常行为数量、课堂氛围评估以及基于以上三部分结果得到的课堂综合得分。
Description
技术领域
本发明涉及教学评估技术领域，具体涉及一种音视频结合的课堂质量综合评估方法。
背景技术
教学质量评价是高校教育体系中重要的一个环节，现阶段高校的教育评价体系存在下列问题：
1、评价指标单一，多以学生的期末考试成绩为重要参考指标，抑或是采用学生评价体系。这两种方式均在某种程度上导致了部分教师降低授课质量、期末放水的行为，而学生又乐意选高分课程，形成恶性循环；
2、采用督导的方式人工监督课堂质量，需要大量的人力资源，无法长期维持，且评价结果存在个体差异性；
3、为了避免占用大量上课时间，老师无法每节课点到，学校无法掌握学生的真实到课情况；
4、缺少相对统一且合理的标准，来对课堂的氛围及质量进行量化评估随着计算机技术的发展，也有采用智能方式进行评估的方法，如使用人脸识别的方式，统计相关信息。
但是仍然存在诸多不足，1、需要预先录入学生的姓名和人脸等相关信息；绝大部分高校现有的硬件条件不足以实现精确的人脸识别，需要额外配备相关的硬件设备。且此种方法所需要的算力较大。
2、以个体为单位记录存储相关信息，存在侵犯学生隐私的问题，容易引起学生的反感
3、只能反映某一时刻或时间段的状态，没有对整堂课的课堂综合质量给出量化结果，不能实现同一课堂不同日期的纵向对比或同一日期不同课堂的横向比较
4、仅有人脸识别、姿态识别等数据，没有针对于教师的分析，不足以完整代表整个课堂的质量。
发明内容
本发明针对现有技术的不足，提出一种音视频多模结合，建立一套课堂质量全面评估方法，使得评价体系更加多元化、合理化、标准化，从而促进课堂质量的提高，具体技术方案如下：
一种音视频结合的课堂质量综合评估方法，采取的步骤为：
步骤一：获取课堂实时监控视频流；
步骤二：对视频数据进行预处理；
步骤三：采用预先训练的神经网络，计算识别出课堂出勤率；
步骤四：采用预先训练的神经网络识别检测课堂视频数据中的非正常学习行为；
步骤五：音频片段和视频帧送入预先训练的神经网络，结合音、视频的分析结果实现对课堂氛围的综合评估；
步骤六：对所述出勤率、非正常学习行为人数以及课堂氛围评估结果进行加权处理，得到课堂质量的综合得分；
步骤七：输出报告。
作为优化：所述步骤一具体为，设置有第一处理单元，用于调用相关函数将视频流和和对应的时间戳存储到本地；
设置有第二处理单元，用于对监控视频流进行解码和转码，以将监控视频流转换为目标环境和配置下支持的格式。
作为优化：所述步骤二具体为，设置第一预处理单元，用于对时监控视频流进行帧截取，获得可送至目标检测网络处理的视频帧；
第二预处理单元，用于调整视频帧大小，以适应网络输入；
第三预处理单元，用于在视频流中随机截取短时视频片段，并将提取到的视频片段转化为音频格式，获得可送至课堂氛围评估的分类网络处理的音频片段。
作为优化：所述步骤三具体为，
3.1获取课堂实时监控视频流；
3.2对输入的实时监控视频流进行预处理操作；
3.3将预处理后得到的实时监控视频流送入训练好的神经网络，以检测教室视频监控画面中的到课学生；
3.4统计出勤人数并计算出勤率，存储数据。
作为优化：所述步骤3.1具体为，输入课堂的监控视频流，具体包括，调用设备商提供的函数，以获取课堂实时监控视频流和对应的时间戳；
步骤3.2具体为，对监控视频流进行解码和转码，以将监控视频流转换为目标环境和配置下支持的格式，对时监控视频流进行帧截取，获得可送至目标检测网络处理的视频帧，调整视频帧大小，以适应网络输入；
步骤3.3具体为，将预处理得到的视频流送入预先训练好的目标检测网络，以检测教室视频监控画面中的到课学生，具体包括：采用YoloV3目标检测算法，把目标判定和目标识别两个步骤合二为一，通过从不同尺度特征图上预定义的默认边界框中估计预先设定好的对象类别，实时检测对象；
步骤3.4具体为，对教室视频监控画面帧中的检测到的目标进行统计，进而计算出课堂出勤率；将数据存储至Excel表格，供后期分析使用。
作为优化：所述步骤四具体为，4.1中获取课堂实时监控视频流；4.2对输入的实时监控视频流进行预处理操作；4.3中将预处理后得到的实时监控视频流送入训练好的神经网络，以检测教室视频监控画面中的非正学习行为；4.4统计非正常学习行为人数，存储数据。
作为优化：所述步骤4.1具体具体包括：调用设备商提供的相关函数，以获取课堂实时监控视频流和对应的时间戳；
步骤4.2具体包括：对监控视频流进行解码和转码，以将监控视频流转换为目标环境和配置下支持的格式；对时监控视频流进行帧截取，获得可送至目标检测网络处理的视频帧；调整视频帧大小，以适应网络输入；
步骤4.3具体包括：用于特征提取的网络框架参考darknet-53，在实现对课堂中到课学生的检测之后，继续收集课堂学生正常学习行为样本与非正常学习行为样本，并进一步加深网络结构，对目标进行细粒度划分，得到一个更细致的二分类网络，实现对课堂中非正常学习行为的识别；
步骤4.4具体包括：对教室视频监控画面帧中的检测到的非正常学习行为进行统计，并将数据存储至Excel表格，供后期分析使用。
作为优化：所述步骤五具体为，
5.1中获取课堂实时监控视频流；
5.2中对输入的实时监控视频流进行预处理操作；
5.3中对预处理得到的音频片段进行短时傅里叶变换，获得语谱图；
5.4中将视频帧和语谱图送入神经网络，结合对音、视频的分析结果，对课堂氛围进行综合评估，存储数据。
作为优化：所述步骤5.1具体包括，调用设备商提供的相关函数，以获取课堂实时监控视频流和对应的时间戳；
所述步骤5.2具体包括，对监控视频流进行解码和转码，以将监控视频流转换为目标环境和配置下支持的格式，对时监控视频流进行帧截取，获得可送至目标检测网络处理的视频帧，调整视频帧大小，以适应网络输入；
所述步骤5.3具体包括，编写脚本，调用库函数实现对输入音频片段进行短时傅里叶变换，生成语谱图，其中横轴为时间，纵轴为频率，像素点的亮度代表在该时刻，该频率上语音信号能量大小；
所述步骤5.4具体包括，用于特征提取的分类网络框架参考VGG16网络，将经过短时傅里叶变换得到的语谱图和预处理得到的视频帧送入训练好的分类网络中，分别得到对课堂音、视频的评估结果；结合音、视频两方面结果对课堂氛围进行综合评估，并将数据存储至Excel表格，供后期分析使用。
作为优化：所述步骤六中加权处理具体为，设置有加权第一处理单元，用于把出勤率统计、非正常学习行为检测和课堂氛围评估的算法集成整合至一个文件；加权第二处理单元，用于将课堂实时监控视频流计算所得的课堂出勤率、非正常学习行为统计、课堂氛围评估结果量化加权处理，得到对课堂质量评估的综合得分；
加权第三处理单元，用于将课堂质量评估的综合得分存储至Excel表格，供后期分析使用。
本发明的有益效果为：通过对视频的数据的分析，能快速得出出勤率、课堂异常行为数量、课堂氛围评估以及基于以上三部分结果得到的课堂综合得分；所有的数据不以学生个体为单位，仅以课堂总体数据为单位进行存储至Excel表格，方便随时查阅，并自动绘制相关图形化显示结果，直观清晰；便于对教学行为的精准管理，提高教学质量。
附图说明
图1为本发明的流程示意图。
图2为本发明中出勤率统计流程图。
图3为本发明中非正常学习行为检测流程图。
图4为本发明中darknet-53网络结构图。
图5为本发明中课堂氛围评估流程图。
图6为本发明中傅里叶变换语谱图。
图7为本发明中VGG16网络结构图。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
如图1所示：一种音视频结合的课堂质量综合评估方法采取的步骤为：
步骤一：获取课堂实时监控视频流，设置有第一处理单元，用于调用相关函数将视频流和和对应的时间戳存储到本地；设置有第二处理单元，用于对监控视频流进行解码和转码，以将监控视频流转换为目标环境和配置下支持的格式。
步骤二：对视频数据进行预处理，设置第一预处理单元，用于对时监控视频流进行帧截取，获得可送至目标检测网络处理的视频帧；第二预处理单元，用于调整视频帧大小，以适应网络输入；第三预处理单元，用于在视频流中随机截取短时视频片段，并将提取到的视频片段转化为音频格式，获得可送至课堂氛围评估的分类网络处理的音频片段。
步骤三：采用预先训练的神经网络，计算识别出课堂出勤率，具体图图2所示：
3.1获取课堂实时监控视频流；
3.2对输入的实时监控视频流进行预处理操作；
3.3将预处理后得到的实时监控视频流送入训练好的神经网络，以检测教室视频监控画面中的到课学生；
3.4统计出勤人数并计算出勤率，存储数据。
其中所述步骤3.1具体为，输入课堂的监控视频流，具体包括，调用设备商提供的函数，以获取课堂实时监控视频流和对应的时间戳；
步骤3.2具体为，对监控视频流进行解码和转码，以将监控视频流转换为目标环境和配置下支持的格式，对时监控视频流进行帧截取，获得可送至目标检测网络处理的视频帧，调整视频帧大小，以适应网络输入；
步骤3.3具体为，将预处理得到的视频流送入预先训练好的目标检测网络，以检测教室视频监控画面中的到课学生，具体包括：采用YoloV3即You Only Look Once目标检测算法，把目标判定和目标识别两个步骤合二为一，通过从不同尺度特征图上预定义的默认边界框中估计预先设定好的对象类别，实时检测对象；
步骤3.4具体为，对教室视频监控画面帧中的检测到的目标进行统计，进而计算出课堂出勤率；将数据存储至Excel表格，供后期分析使用。
步骤四：采用预先训练的神经网络识别检测课堂视频数据中的非正常学习行为，如图3所示具体为，4.1中获取课堂实时监控视频流；4.2对输入的实时监控视频流进行预处理操作；4.3中将预处理后得到的实时监控视频流送入训练好的神经网络，以检测教室视频监控画面中的非正学习行为；4.4统计非正常学习行为人数，存储数据。
其中所述步骤4.1具体具体包括：调用设备商提供的相关函数，以获取课堂实时监控视频流和对应的时间戳；
步骤4.2具体包括：对监控视频流进行解码和转码，以将监控视频流转换为目标环境和配置下支持的格式；对时监控视频流进行帧截取，获得可送至目标检测网络处理的视频帧；调整视频帧大小，以适应网络输入；
步骤4.3具体包括：如图4所示，用于特征提取的网络框架参考darknet-53，在实现对课堂中到课学生的检测之后，继续收集课堂学生正常学习行为样本与非正常学习行为样本，并进一步加深网络结构，对目标进行细粒度划分，得到一个更细致的二分类网络，实现对课堂中非正常学习行为的识别；
步骤4.4具体包括：对教室视频监控画面帧中的检测到的非正常学习行为进行统计，并将数据存储至Excel表格，供后期分析使用。
步骤五：音频片段和视频帧送入预先训练的神经网络，结合音、视频的分析结果实现对课堂氛围的综合评估；
如图5所示，所述步骤五具体为，
5.1中获取课堂实时监控视频流；
5.2中对输入的实时监控视频流进行预处理操作；
5.3中对预处理得到的音频片段进行短时傅里叶变换，获得语谱图；
5.4中将视频帧和语谱图送入神经网络，结合对音、视频的分析结果，对课堂氛围进行综合评估，存储数据。
其中步骤5.1具体包括，调用设备商提供的相关函数，以获取课堂实时监控视频流和对应的时间戳；
所述步骤5.2具体包括，对监控视频流进行解码和转码，以将监控视频流转换为目标环境和配置下支持的格式，对时监控视频流进行帧截取，获得可送至目标检测网络处理的视频帧，调整视频帧大小，以适应网络输入；
所述步骤5.3具体包括，编写脚本，调用库函数实现对输入音频片段进行短时傅里叶变换，生成如图6所示的语谱图，其中横轴为时间，纵轴为频率，像素点的亮度代表在该时刻，该频率上语音信号能量大小；
所述步骤5.4具体包括，用于特征提取的分类网络框架参考如图7所示的VGG16网络，将经过短时傅里叶变换得到的语谱图和预处理得到的视频帧送入训练好的分类网络中，分别得到对课堂音、视频的评估结果；结合音、视频两方面结果对课堂氛围进行综合评估，并将数据存储至Excel表格，供后期分析使用。
步骤六：对所述出勤率、非正常学习行为人数以及课堂氛围评估结果进行加权处理，得到课堂质量的综合得分，加权处理具体为，设置有加权第一处理单元，用于把出勤率统计、非正常学习行为检测和课堂氛围评估的算法集成整合至一个文件；加权第二处理单元，用于将课堂实时监控视频流计算所得的课堂出勤率、非正常学习行为统计、课堂氛围评估结果量化加权处理，得到对课堂质量评估的综合得分；加权第三处理单元，用于将课堂质量评估的综合得分存储至Excel表格，供后期分析使用。
步骤七：输出报告。
Claims (10)
1.一种音视频结合的课堂质量综合评估方法，其特征在于，采取的步骤为：
步骤一：获取课堂实时监控视频流；
步骤二：对视频数据进行预处理；
步骤三：采用预先训练的神经网络，计算识别出课堂出勤率；
步骤四：采用预先训练的神经网络识别检测课堂视频数据中的非正常学习行为；
步骤五：音频片段和视频帧送入预先训练的神经网络，结合音、视频的分析结果实现对课堂氛围的综合评估；
步骤六：对所述出勤率、非正常学习行为人数以及课堂氛围评估结果进行加权处理，得到课堂质量的综合得分；
步骤七：输出报告。
2.根据权利要求1所述音视频结合的课堂质量综合评估方法，其特征在于：所述步骤一具体为，设置有第一处理单元，用于调用相关函数将视频流和和对应的时间戳存储到本地；
设置有第二处理单元，用于对监控视频流进行解码和转码，以将监控视频流转换为目标环境和配置下支持的格式。
3.根据权利要求1所述音视频结合的课堂质量综合评估方法，其特征在于：所述步骤二具体为，设置第一预处理单元，用于对时监控视频流进行帧截取，获得可送至目标检测网络处理的视频帧；
第二预处理单元，用于调整视频帧大小，以适应网络输入；
第三预处理单元，用于在视频流中随机截取短时视频片段，并将提取到的视频片段转化为音频格式，获得可送至课堂氛围评估的分类网络处理的音频片段。
4.根据权利要求1所述音视频结合的课堂质量综合评估方法，其特征在于：所述步骤三具体为，
3.1获取课堂实时监控视频流；
3.2对输入的实时监控视频流进行预处理操作；
3.3将预处理后得到的实时监控视频流送入训练好的神经网络，以检测教室视频监控画面中的到课学生；
3.4统计出勤人数并计算出勤率，存储数据。
5.根据权利要求4所述音视频结合的课堂质量综合评估方法，其特征在于：所述步骤3.1具体为，输入课堂的监控视频流，具体包括，调用设备商提供的函数，以获取课堂实时监控视频流和对应的时间戳；
步骤3.2具体为，对监控视频流进行解码和转码，以将监控视频流转换为目标环境和配置下支持的格式，对时监控视频流进行帧截取，获得可送至目标检测网络处理的视频帧，调整视频帧大小，以适应网络输入；
步骤3.3具体为，将预处理得到的视频流送入预先训练好的目标检测网络，以检测教室视频监控画面中的到课学生，具体包括：采用YoloV3目标检测算法，把目标判定和目标识别两个步骤合二为一，通过从不同尺度特征图上预定义的默认边界框中估计预先设定好的对象类别，实时检测对象；
步骤3.4具体为，对教室视频监控画面帧中的检测到的目标进行统计，进而计算出课堂出勤率；将数据存储至Excel表格，供后期分析使用。
6.根据权利要求1所述音视频结合的课堂质量综合评估方法，其特征在于：所述步骤四具体为，4.1中获取课堂实时监控视频流；4.2对输入的实时监控视频流进行预处理操作；4.3中将预处理后得到的实时监控视频流送入训练好的神经网络，以检测教室视频监控画面中的非正学习行为；4.4统计非正常学习行为人数，存储数据。
7.根据权利要求6所述音视频结合的课堂质量综合评估方法，其特征在于：所述步骤4.1具体具体包括：调用设备商提供的相关函数，以获取课堂实时监控视频流和对应的时间戳；
步骤4.2具体包括：对监控视频流进行解码和转码，以将监控视频流转换为目标环境和配置下支持的格式；对时监控视频流进行帧截取，获得可送至目标检测网络处理的视频帧；调整视频帧大小，以适应网络输入；
步骤4.3具体包括：用于特征提取的网络框架参考darknet-53，在实现对课堂中到课学生的检测之后，继续收集课堂学生正常学习行为样本与非正常学习行为样本，并进一步加深网络结构，对目标进行细粒度划分，得到一个更细致的二分类网络，实现对课堂中非正常学习行为的识别；
步骤4.4具体包括：对教室视频监控画面帧中的检测到的非正常学习行为进行统计，并将数据存储至Excel表格，供后期分析使用。
8.根据权利要求1所述音视频结合的课堂质量综合评估方法，其特征在于：所述步骤五具体为，
5.1中获取课堂实时监控视频流；
5.2中对输入的实时监控视频流进行预处理操作；
5.3中对预处理得到的音频片段进行短时傅里叶变换，获得语谱图；
5.4中将视频帧和语谱图送入神经网络，结合对音、视频的分析结果，对课堂氛围进行综合评估，存储数据。
9.根据权利要求8所述音视频结合的课堂质量综合评估方法，其特征在于：所述步骤5.1具体包括，调用设备商提供的相关函数，以获取课堂实时监控视频流和对应的时间戳；
所述步骤5.2具体包括，对监控视频流进行解码和转码，以将监控视频流转换为目标环境和配置下支持的格式，对时监控视频流进行帧截取，获得可送至目标检测网络处理的视频帧，调整视频帧大小，以适应网络输入；
所述步骤5.3具体包括，编写脚本，调用库函数实现对输入音频片段进行短时傅里叶变换，生成语谱图，其中横轴为时间，纵轴为频率，像素点的亮度代表在该时刻，该频率上语音信号能量大小；
所述步骤5.4具体包括，用于特征提取的分类网络框架参考VGG16网络，将经过短时傅里叶变换得到的语谱图和预处理得到的视频帧送入训练好的分类网络中，分别得到对课堂音、视频的评估结果；结合音、视频两方面结果对课堂氛围进行综合评估，并将数据存储至Excel表格，供后期分析使用。
10.根据权利要求1所述音视频结合的课堂质量综合评估方法，其特征在于：所述步骤六中加权处理具体为，设置有加权第一处理单元，用于把出勤率统计、非正常学习行为检测和课堂氛围评估的算法集成整合至一个文件；加权第二处理单元，用于将课堂实时监控视频流计算所得的课堂出勤率、非正常学习行为统计、课堂氛围评估结果量化加权处理，得到对课堂质量评估的综合得分；
加权第三处理单元，用于将课堂质量评估的综合得分存储至Excel表格，供后期分析使用。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010422369.7A CN111639565A (zh) | 2020-05-19 | 2020-05-19 | 音视频结合的课堂质量综合评估方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010422369.7A CN111639565A (zh) | 2020-05-19 | 2020-05-19 | 音视频结合的课堂质量综合评估方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111639565A true CN111639565A (zh) | 2020-09-08 |
Family
ID=72331151
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010422369.7A Pending CN111639565A (zh) | 2020-05-19 | 2020-05-19 | 音视频结合的课堂质量综合评估方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111639565A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112257591A (zh) * | 2020-10-22 | 2021-01-22 | 安徽天盛智能科技有限公司 | 一种基于机器视觉的远程视频教学质量评定方法与系统 |
| CN113989608A (zh) * | 2021-12-01 | 2022-01-28 | 西安电子科技大学 | 基于顶部视觉的学生实验课堂行为识别方法 |
| CN115810163A (zh) * | 2022-11-17 | 2023-03-17 | 云启智慧科技有限公司 | 一种基于ai课堂行为识别的教学评估方法和系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107491890A (zh) * | 2017-08-29 | 2017-12-19 | 广州思涵信息科技有限公司 | 一种可量化课堂教学质量评估系统及方法 |
| CN107895244A (zh) * | 2017-12-26 | 2018-04-10 | 重庆大争科技有限公司 | 课堂教学质量评估方法 |
| CN109035089A (zh) * | 2018-07-25 | 2018-12-18 | 重庆科技学院 | 一种在线课堂氛围评估系统及方法 |
| CN109359521A (zh) * | 2018-09-05 | 2019-02-19 | 浙江工业大学 | 基于深度学习的课堂质量双向评估系统 |
| CN109800663A (zh) * | 2018-12-28 | 2019-05-24 | 华中科技大学鄂州工业技术研究院 | 基于语音和视频特征的教师教学评估方法及设备 |
| CN109889881A (zh) * | 2019-01-21 | 2019-06-14 | 广东精标科技股份有限公司 | 一种教师课堂教学数据采集系统 |
| CN110619460A (zh) * | 2019-09-05 | 2019-12-27 | 北京邮电大学 | 基于深度学习目标检测的教室课堂质量评估系统及方法 |
-
2020
- 2020-05-19 CN CN202010422369.7A patent/CN111639565A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107491890A (zh) * | 2017-08-29 | 2017-12-19 | 广州思涵信息科技有限公司 | 一种可量化课堂教学质量评估系统及方法 |
| CN107895244A (zh) * | 2017-12-26 | 2018-04-10 | 重庆大争科技有限公司 | 课堂教学质量评估方法 |
| CN109035089A (zh) * | 2018-07-25 | 2018-12-18 | 重庆科技学院 | 一种在线课堂氛围评估系统及方法 |
| CN109359521A (zh) * | 2018-09-05 | 2019-02-19 | 浙江工业大学 | 基于深度学习的课堂质量双向评估系统 |
| CN109800663A (zh) * | 2018-12-28 | 2019-05-24 | 华中科技大学鄂州工业技术研究院 | 基于语音和视频特征的教师教学评估方法及设备 |
| CN109889881A (zh) * | 2019-01-21 | 2019-06-14 | 广东精标科技股份有限公司 | 一种教师课堂教学数据采集系统 |
| CN110619460A (zh) * | 2019-09-05 | 2019-12-27 | 北京邮电大学 | 基于深度学习目标检测的教室课堂质量评估系统及方法 |
Non-Patent Citations (2)
| Title |
|---|
| 刘娜,等: "高校教师教学质量的神经网络综合评价研究" * |
| 张明伟;蔡坚勇;李科;程玉;曾远强;: "基于DE-YOLO的室内人员检测方法" * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112257591A (zh) * | 2020-10-22 | 2021-01-22 | 安徽天盛智能科技有限公司 | 一种基于机器视觉的远程视频教学质量评定方法与系统 |
| CN113989608A (zh) * | 2021-12-01 | 2022-01-28 | 西安电子科技大学 | 基于顶部视觉的学生实验课堂行为识别方法 |
| CN115810163A (zh) * | 2022-11-17 | 2023-03-17 | 云启智慧科技有限公司 | 一种基于ai课堂行为识别的教学评估方法和系统 |
| CN115810163B (zh) * | 2022-11-17 | 2023-09-05 | 云启智慧科技有限公司 | 一种基于ai课堂行为识别的教学评估方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111639565A (zh) | 音视频结合的课堂质量综合评估方法 | |
| CN109034036B (zh) | 一种视频分析方法、教学质量评估方法及系统、计算机可读存储介质 | |
| CN111915148B (zh) | 一种基于信息技术的课堂教学评价方法和系统 | |
| CN110837795A (zh) | 基于课堂监控视频的教学情况智能监测方法、装置及设备 | |
| CN111931598B (zh) | 一种基于人脸识别的课堂智能实时分析方法及系统 | |
| US11436714B2 (en) | Method and apparatus for estimating emotional quality using machine learning | |
| CN107918821A (zh) | 基于人工智能技术的教师课堂教学过程分析方法和系统 | |
| CN110633610A (zh) | 一种基于yolo的学员状态检测算法 | |
| CN108764047A (zh) | 群体情绪行为分析方法和装置、电子设备、介质、产品 | |
| CN108229441A (zh) | 一种基于图像和语音分析的课堂教学自动反馈系统和反馈方法 | |
| CN110619460A (zh) | 基于深度学习目标检测的教室课堂质量评估系统及方法 | |
| CN112084994A (zh) | 一种在线监考远程视频作弊研判系统及方法 | |
| CN114071232B (zh) | 音视频质量可视化方法及其装置、设备、介质、产品 | |
| CN111985807A (zh) | 一种基于大数据的校园安防远程监控管理系统 | |
| CN111860457A (zh) | 一种斗殴行为识别预警方法及其识别预警系统 | |
| CN115907507B (zh) | 一种联合课堂场景的学生课堂行为检测和学情分析方法 | |
| CN110930781A (zh) | 录播系统 | |
| CN112418814A (zh) | 无人化模式的教学培训、训练考核的系统及方法 | |
| CN111861204A (zh) | 基于智能平台的课程移动学习评价系统及方法 | |
| CN109697982A (zh) | 一种讲授场景中的说话人语音识别系统 | |
| CN108600254A (zh) | 一种音视频识别系统 | |
| CN112885356B (zh) | 一种基于声纹的语音识别方法 | |
| CN115278272A (zh) | 一种教育实践在线指导系统及方法 | |
| CN111327943B (zh) | 信息管理方法及装置、系统、计算机设备、存储介质 | |
| CN114005054A (zh) | 一种ai智能评分系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200908 |
|
| RJ01 | Rejection of invention patent application after publication |