CN108229441B - 一种基于图像和语音分析的课堂教学自动反馈系统和反馈方法 - Google Patents

一种基于图像和语音分析的课堂教学自动反馈系统和反馈方法 Download PDF

Info

Publication number
CN108229441B
CN108229441B CN201810119500.5A CN201810119500A CN108229441B CN 108229441 B CN108229441 B CN 108229441B CN 201810119500 A CN201810119500 A CN 201810119500A CN 108229441 B CN108229441 B CN 108229441B
Authority
CN
China
Prior art keywords
student
class
classroom teaching
image
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810119500.5A
Other languages
English (en)
Other versions
CN108229441A (zh
Inventor
金晖
何洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University City College ZUCC
Original Assignee
Zhejiang University City College ZUCC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University City College ZUCC filed Critical Zhejiang University City College ZUCC
Priority to CN201810119500.5A priority Critical patent/CN108229441B/zh
Publication of CN108229441A publication Critical patent/CN108229441A/zh
Application granted granted Critical
Publication of CN108229441B publication Critical patent/CN108229441B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Educational Administration (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Educational Technology (AREA)
  • Strategic Management (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开一种基于图像和语音分析的课堂教学自动反馈系统和反馈方法，该系统包括课堂教学反馈信息采集模块、无线网络和计算机信息管理模块，课堂教学反馈信息采集模块又包括监控摄像头、声音传感器、信号变换处理单元、嵌入式控制单元和WIFI发射单元，监控摄像头和声音传感器均与所述的信号变换处理单元相连接，信号变换处理单元、嵌入式控制单元、WIFI发射单元依次相连。通过实时采集每个学生上课时的图像和声音，并与系统中预存的标注图像和每个学生相关频率分量环境声压级进行比对，判定该学生课堂表现。本发明的系统和方法，可对课堂教学进行更加科学的评估，从而更加有效地提高和改善教学质量。

Description

一种基于图像和语音分析的课堂教学自动反馈系统和反馈 方法
技术领域
本发明涉及信息处理与管理领域，具体涉及一种基于图像和语音分析的课堂教学自动反馈系统和反馈方法。
背景技术
课堂教学中，课堂纪律以及课堂教学反馈效果的评估对课堂教学质量的影响是非常大的。通常的做法采用教师点名以及教师目测跟踪课堂教学质量，可是非常费时，而且对上课的教师也不可能全面监控学生的上课情况，如看手机、睡觉、说话等影响教学效果的行为。现有的课堂教学跟踪系统通常仅采用摄像头进行监控，但获得图像却需要人工处理，费时费力，且不能及时掌握每位学生的上课情况。
发明内容
针对现有技术的不足，本发明提出一种基于图像和语音分析的课堂教学自动反馈系统和反馈方法，该反馈系统通过监控摄像头以及声传感器结合WIFI网络将课堂的教学情况反馈到计算机后台数据库处理系统，实现整堂课程的教学情况实时反馈，这些信息为教学质量跟踪，实时监控学生上课情况提供了技术手段，为更好的提升课堂教学质量提供条件。
具体技术方案如下：
一种基于图像和语音分析的课堂教学自动反馈系统，其特征在于，该系统包括课堂教学反馈信息采集模块、无线网络和计算机信息管理模块；
所述的课堂教学反馈信息采集模块包括监控摄像头、声音传感器、信号变换处理单元、嵌入式控制单元和WIFI发射单元，所述的监控摄像头和声音传感器均与所述的信号变换处理单元相连接，所述的信号变换处理单元、嵌入式控制单元、WIFI发射单元依次相连；所述的监控摄像头用于采集学生的图像信息，所述的声音传感器用于采集学生的声音信息，所述的信号变换处理单元用于将监控摄像头采集的视频信息和声音传感器采集的声音信息进行信号转换，所述的嵌入式控制单元用于将转换后的信号与预存的每个学生上课时的标准信号进行比对和判定，所述的WIFI发射单元用于将嵌入式控制单元判定后的结果发送给所述的无线网络；
所述的计算机信息管理模块通过所述的无线网络接收所述的课堂教学反馈信息采集模块发送的信息，并将其存储在该学生对应的数据库中，并对所有学生的课题教学信息进行统计分析。
进一步地，所述的学生上课时的学生上课时标准信号包括抬头听讲的图像、上课写笔记的图像、上课时拿手机的图像以及各自学生说话相关频率合成的环境A计权声压级。
进一步地，所述的计算机信息管理模块对每个学生的如下信息进行统计：(1)点名情况，包括缺课、迟到、早退；(2)上课抬头听讲时间统计；(3)上课写笔记的时间统计；(4)上课玩手机的时间统计；(5)上课讲话时间统计。
进一步地，所述的WIFI发射单元采用ESP8266来实现。
一种基于图像和语音分析的课堂教学自动反馈方法，其特征在于，该方法基于权利要求1所述的系统来实现，该方法具体包括如下步骤：
步骤一：通过监控摄像头采集学生上课时的标准图像，包括抬头听讲的图像、上课写笔记的图像、上课时拿手机的图像，通过声音传感器采集系统环境的A计权声压级，并将采集的图像和声音存入嵌入式控制单元中；
步骤二：通过监控摄像头和声传感器连续监控并采集每个学生上课时的图像和声音；
步骤三：对采集到的图像和声音进行信号变换处理；
步骤四；将步骤二变换处理后的图像与该学生上课时的标准图像进行识别和判定，并记录每个图像处理后的图像和标准图像相同时的累积时间；将步骤二变换处理后的声音信号进行识别和判定，当判定该学生在讲话时，记录讲话的时长；
步骤五：将步骤四获得的信息通过WIFI发射单元发送到无线网络中；
步骤六：所述的计算机信息管理模块通过所述的无线网络接收来自于步骤四获得的信息，并将其记录在该学生的信息管理数据库中，并对所有的学生的课题教学信息进行统计和分析，给出该课堂教学效果评价。
进一步地，该方法中的图像识别和判定的具体过程如下：
(1)将变换处理后的图像分别转换到YCbCr颜色空间和H-SV-V颜色空间；
(2)利用基于肤色的二阶高斯混合模型检测肤色区域；
(3)对步骤(2)检测到的肤色区域进行腐蚀、膨胀处理，以去除噪声；
(4)当检测到的肤色区域的长宽比值在[1,1.5]范围内时，继续检测人脸候选区域尺寸，对于长宽比值不在[1,1.5]范围内的肤色区域进行丢弃；
(5)当人脸候选区域尺寸大于24x24时，即人脸距离摄像头的距离较近，为大脸，此时使用Adaboost算法进行人脸确认，并对不是人脸的区域进行丢弃；
(6)当人脸候选区域尺寸不大于24x24时，即人脸距离摄像头的距离较近远，为小脸，再次利用基于肤色的二阶高斯混合模型检测肤色区域，对人脸进行确认，并对不是人脸的区域进行丢弃；
(7)将步骤(5)和(6)检测到的人脸区域与标准图像进行比对，当相似度超过85％时，即认为和标准图像相同。
进一步地，该方法中声音信号的识别和判定的具体过程如下：
(1)在采集之前，使每位学生通过自己桌面的课堂教学反馈信息采集模块，将自己的声音进行采集操作，即按照平时说话的声音朗读一段文字，然后所述的课堂教学反馈信息采集模块获取该座位学生的声音信息，并通过声音传感器获得模拟信号，并通过信号变换后送入嵌入式控制单元，所述的嵌入式控制单元对该模拟信号进行1/3倍频程的A计权数字频谱分析，取大于50％的功率谱上的频率分量进行保存到该学生的课堂教学反馈信息采集模块中去；
(2)上课过程中，首先每位学生各自课堂教学反馈信息采集模块检测每个学生学习得到的频率分量合成的环境声压级，然后实时检测每个座位的学生的声音信息，并通过1/3倍频程的A计权数字频谱分析，对每个学生学习得到的频率分量的声压级测量并进行合成总的声压级，将总的声压级与各自的环境声压级进行比较，当该学生的总的声压级大于环境声压级5分贝以上的，即判定该学生上课讲话。
与现有技术相比，本发明的有益效果如下：
本发明采用监控摄像头以及声传感器结合WIFI网络将课堂的教学情况反馈到计算机后台数据库处理系统，实现整堂课程的教学情况实时反馈，大量的节省了教师人为管理的时间，同时对课堂的教学进行全面跟踪，及时掌握每位学生的上课情况，对课堂教学进行更加科学的评估，从而更加有效的提高和改善教学质量。
附图说明
图1为本发明的基于图像和语音分析的课堂教学自动反馈系统的模块示意图；
图2为课堂教学反馈信息采集模块的结构示意图。
具体实施方式
下面根据附图和优选实施例详细描述本发明，本发明的目的和效果将变得更加明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，本发明的基于图像和语音分析的课堂教学自动反馈系统，包括课堂教学反馈信息采集模块、无线网络和计算机信息管理模块，所述的课堂教学反馈信息采集模块安装在每张课桌上，其内置有监控摄像头、声音传感器、信号变换处理电路、嵌入式控制单元和WIFI发射单元，监控摄像头和声音传感器均与信号变换处理单元相连接，信号变换处理单元、嵌入式控制单元、WIFI发射单元依次相连。监控摄像头用于实时采集学生的视频信息，声音传感器用于实时采集学生的声音信息，信号变换处理单元用于将监控摄像头采集的视频信息和声音传感器采集的声音信息进行信号转换，嵌入式控制单元用于将转换后的信号与预存的每个学生上课时的标准信号进行比对和判定，WIFI发射单元用于将嵌入式控制单元判定后的结果接入无线网络；计算机信息管理模块通过无线网络接收来自于课堂教学反馈信息采集模块的信息，并将其存储在该学生对应的数据库中，并对所有学生的课题教学信息进行统计分析。
学生上课时的学生上课时标准信号包括抬头听讲的图像、上课写笔记的图像、上课时拿手机的图像以及各自学生说话相关频率合成的环境A计权声压级。
一种基于图像和语音分析的课堂教学自动反馈方法，该方法基于本发明的基于图像和语音分析的课堂教学自动反馈系统来实现，该方法具体包括如下步骤：
步骤一：首先监控摄像头采集学生上课时的标准图像，包括抬头听讲的图像、上课写笔记的图像、上课时拿手机的图像，通过声音传感器采集系统环境的A计权声压级，并将采集的图像和声音存入嵌入式控制单元中；
步骤二：通过监控摄像头和声传感器连续监控并采集每个学生上课时的图像和声音；
步骤三：对采集到的图像和声音进行信号变换处理；
步骤四；将步骤二变换处理后的图像与该学生上课时的标准图像进行识别和判定，并记录每个图像处理后的图像和标准图像相同时的累积时间；(表明玩手机等图像保持的时间)将步骤二变换处理后的声音信号进行识别和判定，当判定该学生在讲话时，记录讲话的时长；
步骤五：将步骤四获得的信息通过WIFI发射单元发送到无线网络中；
步骤六：所述的计算机信息管理模块通过所述的无线网络接收来自于步骤四获得的信息，并将其记录在该学生的信息管理数据库中，并对所有的学生的课题教学信息进行统计和分析，给出该课堂教学效果评价。
由于教室环境变化较大，包括光照条件以及距离多变等等各种因素的影响。远距离时，由于光照条件的多变等各种因素，一般图片的分辨率较低，这时利用基于肤色的二阶高斯混合模型进行人脸检测，效果相对较好。在近距离时，图像的分辨率相对较高，这时更为有效的却是Adaboost算法。本发明的基于图像和语音分析的课堂教学自动反馈方法中，人脸的识别过程同时兼顾了这两种算法，不管是近距离还是远距离都能够获得稳定的检测效果。具体的人脸图像的识别过程如下：
(1)将变换处理后的图像分别转换到YCbCr颜色空间和H-SV-V颜色空间；
(2)利用基于肤色的二阶高斯混合模型检测肤色区域；
(3)对步骤(2)检测到的肤色区域进行腐蚀、膨胀处理，以去除噪声；
(4)当检测到的肤色区域的长宽比值在[1,1.5]范围内时，继续检测人脸候选区域尺寸，对于长宽比值不在[1,1.5]范围内的肤色区域进行丢弃；
(5)当人脸候选区域尺寸大于24x24时，即人脸距离摄像头的距离较近，为大脸，此时使用Adaboost算法进行人脸确认，并对不是人脸的区域进行丢弃；
(6)当人脸候选区域尺寸不大于24x24时，即人脸距离摄像头的距离较远，为小脸，再次利用基于肤色的二阶高斯混合模型检测肤色区域，对人脸进行确认，并对不是人脸的区域进行丢弃；
(7)将步骤(5)和(6)检测到的人脸区域与标准图像进行比对，当相似度超过85％时，即认为和标准图像相同。
本发明的基于图像和语音分析的课堂教学自动反馈方法中，声音信号的识别和判定的具体过程如下：
(1)在采集之前，使每位学生通过自己桌面的课堂教学反馈信息采集模块，将自己的声音进行采集操作，即按照平时说话的声音朗读一段文字，然后所述的课堂教学反馈信息采集模块获取该座位学生的声音信息，并通过声音传感器获得模拟信号，并通过信号变换后送入嵌入式控制单元，所述的嵌入式控制单元对该模拟信号进行1/3倍频程的A计权数字频谱分析，取大于50％的功率谱上的频率分量进行保存；
(2)上课过程中，首先检测教室内无人说话的环境声压级，然后实时检测每个座位的学生的声音信息，并通过1/3倍频程的A计权数字频谱分析，对每个学生学习得到的频率分量的声压值测量并进行合成总的声压级，将总的声压级与环境声压值进行比较，当该学生的总的声压级大于环境声压5分贝以上的，即判定该学生上课讲话。
通过上述的基于图像和语音分析的课堂教学自动反馈系统，能够实现如下功能：
(1)自动点名；上课开始，监控该座位的学生图像与系统的特征信息进行判定，如果没有匹配，认为该学生缺课，通过课堂教学反馈信息采集模块处理传输到计算机信息管理系统中去，实现了自动点名功能，节省了教学点名占用课堂教学的时间。(2)上课抬头听讲时间，进行课堂整体抬头率评估，实现学生是否专心听课的判断。实现方法通过监控该座位的学生图像与系统的特征信息进行判定，根据判定相同的时间来计算上课整体抬头听讲时间。通过课堂教学反馈信息采集模块中的嵌入式控制单元处理传输到计算机信息管理系统中去，实现上课专心听讲的判据。(3)上课玩手机等课堂违纪现象的跟踪监控。上课开始，通过监控该座位的学生图像与系统的特征信息进行判定，根据判定相同的时间来计算上课玩手机等违纪时间。(4)上课讲话等违纪现象的跟踪监控。上课开始，通过课堂教学反馈信息采集系统实时测量学生上课时的相关频率分量的A计权声压级，如果超出相关频率分量的系统环境的A计权声压级一定的分贝数后进行时间计算，将计算的时间反馈到计算机信息管理系统中去，实现上课讲话等违纪时间的统计。
本发明采用图像监控摄像头结合SPI接口，将图像数据采集到以STM32F103ZET6为核心的嵌入式系统中，采用驻极体传声器实现A计权的声压级的提取，通过24位A/D转换，将转换的结果采集到以STM32F103ZET6为核心的嵌入式系统中去，进行处理，处理后的数据通过以ESP8266来实现WIFI通信。
本发明的计算机信息管理模块是以Delphi为开发工具，以paradox为数据库的一个系统，用于对每个学生的课堂教学的信息进行统计分析，包括如下信息：(1)点名情况，包括缺课、迟到、早退；(2)上课抬头听讲时间统计；(3)上课写笔记的时间统计；(4)上课玩手机的时间统计；(5)上课讲话时间统计。通过这些信息反馈给教学质量监控小组以及教师，为提升课堂教学质量以及高效管理课堂提供了技术手段。
本领域普通技术人员可以理解，以上所述仅为发明的优选实例而已，并不用于限制发明，尽管参照前述实例对发明进行了详细的说明，，对于本领域的技术人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内，所做的修改、等同替换等均应包含在发明的保护范围之内。

Claims (5)

1.一种基于图像和语音分析的课堂教学自动反馈系统，其特征在于，该系统包括课堂教学反馈信息采集模块、无线网络和计算机信息管理模块；
所述的课堂教学反馈信息采集模块包括监控摄像头、声音传感器、信号变换处理单元、嵌入式控制单元和WIFI发射单元，所述的监控摄像头和声音传感器均与所述的信号变换处理单元相连接，所述的信号变换处理单元、嵌入式控制单元、WIFI发射单元依次相连；所述的监控摄像头用于采集学生的图像信息，所述的声音传感器用于采集学生的声音信息，所述的信号变换处理单元用于将监控摄像头采集的视频信息和声音传感器采集的声音信息进行信号转换，所述的嵌入式控制单元用于将转换后的信号与预存的每个学生上课时的标准信号进行比对和判定，所述的WIFI发射单元用于将嵌入式控制单元判定后的结果发送给所述的无线网络；
所述的计算机信息管理模块通过所述的无线网络接收所述的课堂教学反馈信息采集模块发送的信息，并将其存储在该学生对应的数据库中，并对所有学生的课题教学信息进行统计分析；
所述的学生上课时的学生上课时标准信号包括抬头听讲的图像、上课写笔记的图像、上课时拿手机的图像以及各自学生说话相关频率合成的环境A计权声压级；
所述嵌入式控制单元对声音信号的识别和判定的具体过程如下：
（1）在采集之前，使每位学生通过自己桌面的课堂教学反馈信息采集模块，将自己的声音进行采集操作，即按照平时说话的声音朗读一段文字，然后所述的课堂教学反馈信息采集模块获取该座位学生的声音信息，并通过声音传感器获得模拟信号，并通过信号变换后送入嵌入式控制单元，所述的嵌入式控制单元对该模拟信号进行1/3倍频程的A计权数字频谱分析，取大于50%的功率谱上的频率分量进行保存到该学生的课堂教学反馈信息采集模块中去；
（2）上课过程中，首先每位学生各自课堂教学反馈信息采集模块检测每个学生学习得到的频率分量合成的环境声压级，然后实时检测每个座位的学生的声音信息，并通过1/3倍频程的A计权数字频谱分析，对每个学生学习得到的频率分量的声压级测量并进行合成总的声压级，将总的声压级与各自的环境声压级进行比较，当该学生的总的声压级大于环境声压级5分贝以上的，即判定该学生上课讲话。
2.根据权利要求1所述的基于图像和语音分析的课堂教学自动反馈系统，其特征在于，所述的计算机信息管理模块对每个学生的如下信息进行统计：（1）点名情况，包括缺课、迟到、早退；（2）上课抬头听讲时间统计；（3）上课写笔记的时间统计；（4）上课玩手机的时间统计；（5）上课讲话时间统计。
3.根据权利要求1所述的基于图像和语音分析的课堂教学自动反馈系统，其特征在于，所述的WIFI发射单元采用ESP8266来实现。
4.一种基于图像和语音分析的课堂教学自动反馈方法，其特征在于，该方法基于权利要求1所述的系统来实现，该方法具体包括如下步骤：
步骤一：通过监控摄像头采集学生上课时的标准图像，包括抬头听讲的图像、上课写笔记的图像、上课时拿手机的图像，通过声音传感器采集系统环境的A计权声压级，并将采集的图像和声音存入嵌入式控制单元中；
步骤二：通过监控摄像头和声传感器连续监控并采集每个学生上课时的图像和声音；
步骤三：对采集到的图像和声音进行信号变换处理；
步骤四；将步骤二变换处理后的图像与该学生上课时的标准图像进行识别和判定，并记录每个图像处理后的图像和标准图像相同时的累积时间；将步骤二变换处理后的声音信号进行识别和判定，当判定该学生在讲话时，记录讲话的时长；
步骤五：将步骤四获得的信息通过WIFI发射单元发送到无线网络中；
步骤六：所述的计算机信息管理模块通过所述的无线网络接收来自于步骤四获得的信息，并将其记录在该学生的信息管理数据库中，并对所有的学生的课题教学信息进行统计和分析，给出该课堂教学效果评价；
该方法中对声音信号的识别和判定的具体过程如下：
（1）在采集之前，使每位学生通过自己桌面的课堂教学反馈信息采集模块，将自己的声音进行采集操作，即按照平时说话的声音朗读一段文字，然后所述的课堂教学反馈信息采集模块获取该座位学生的声音信息，并通过声音传感器获得模拟信号，并通过信号变换后送入嵌入式控制单元，所述的嵌入式控制单元对该模拟信号进行1/3倍频程的A计权数字频谱分析，取大于50%的功率谱上的频率分量进行保存到该学生的课堂教学反馈信息采集模块中去；
（2）上课过程中，首先每位学生各自课堂教学反馈信息采集模块检测每个学生学习得到的频率分量合成的环境声压级，然后实时检测每个座位的学生的声音信息，并通过1/3倍频程的A计权数字频谱分析，对每个学生学习得到的频率分量的声压级测量并进行合成总的声压级，将总的声压级与各自的环境声压级进行比较，当该学生的总的声压级大于环境声压级5分贝以上的，即判定该学生上课讲话。
5.根据权利要求4所述的基于图像和语音分析的课堂教学自动反馈方法，其特征在于，该方法中的图像识别和判定的具体过程如下：
（1）将变换处理后的图像分别转换到YCbCr颜色空间和H-SV-V颜色空间；
（2）利用基于肤色的二阶高斯混合模型检测肤色区域；
（3）对步骤（2）检测到的肤色区域进行腐蚀、膨胀处理，以去除噪声；
（4）当检测到的肤色区域的长宽比值在[1,1.5]范围内时，继续检测人脸候选区域尺寸，对于长宽比值不在[1,1.5]范围内的肤色区域进行丢弃；
（5）当人脸候选区域尺寸大于24x24时，即人脸距离摄像头的距离较近，为大脸，此时使用Adaboost算法进行人脸确认，并对不是人脸的区域进行丢弃；
（6）当人脸候选区域尺寸不大于24x24时，即人脸距离摄像头的距离较近远，为小脸，再次利用基于肤色的二阶高斯混合模型检测肤色区域，对人脸进行确认，并对不是人脸的区域进行丢弃；
（7）将步骤（5）和（6）检测到的人脸区域与标准图像进行比对，当相似度超过85%时，即认为和标准图像相同。
CN201810119500.5A 2018-02-06 2018-02-06 一种基于图像和语音分析的课堂教学自动反馈系统和反馈方法 Active CN108229441B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810119500.5A CN108229441B (zh) 2018-02-06 2018-02-06 一种基于图像和语音分析的课堂教学自动反馈系统和反馈方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810119500.5A CN108229441B (zh) 2018-02-06 2018-02-06 一种基于图像和语音分析的课堂教学自动反馈系统和反馈方法

Publications (2)

Publication Number Publication Date
CN108229441A CN108229441A (zh) 2018-06-29
CN108229441B true CN108229441B (zh) 2022-03-29

Family

ID=62669758

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810119500.5A Active CN108229441B (zh) 2018-02-06 2018-02-06 一种基于图像和语音分析的课堂教学自动反馈系统和反馈方法

Country Status (1)

Country Link
CN (1) CN108229441B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109637097B (zh) * 2018-12-12 2021-01-12 深圳市沃特沃德股份有限公司 学习状态监测方法、装置及智能设备
CN111311981A (zh) * 2018-12-12 2020-06-19 范例 一种多数据支持的智能教室
CN109800663A (zh) * 2018-12-28 2019-05-24 华中科技大学鄂州工业技术研究院 基于语音和视频特征的教师教学评估方法及设备
CN109949191B (zh) * 2019-03-27 2021-07-13 山东金榜苑文化传媒有限责任公司 一种计算机软件教学分析系统
CN110298537A (zh) * 2019-05-21 2019-10-01 威比网络科技(上海)有限公司 基于交流的网络教室建立方法、系统、设备及存储介质
CN112633083A (zh) * 2020-12-04 2021-04-09 南通大学 一种基于改进的Openpose 考试多人异常行为及口罩佩戴检测方法
CN112819665A (zh) * 2021-01-29 2021-05-18 上海商汤科技开发有限公司 课堂状态的评估方法和相关装置、设备
CN114999529B (zh) * 2022-08-05 2022-11-01 中国民航大学 一种面向机场航空噪声的机型分类方法
CN115327150B (zh) * 2022-10-13 2023-01-31 山东省地质矿产勘查开发局八〇一水文地质工程地质大队(山东省地矿工程勘察院) 一种控制调节系统和方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101882315A (zh) * 2009-05-04 2010-11-10 青岛海信数字多媒体技术国家重点实验室有限公司 肤色区域的检测方法
CN105606209A (zh) * 2016-03-14 2016-05-25 南京铁道职业技术学院 用于监测室内噪声的系统
CN106851216A (zh) * 2017-03-10 2017-06-13 山东师范大学 一种基于人脸和语音识别的课堂行为监控系统及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107341618A (zh) * 2017-07-14 2017-11-10 安徽智星交通科技股份有限公司 课堂管理方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101882315A (zh) * 2009-05-04 2010-11-10 青岛海信数字多媒体技术国家重点实验室有限公司 肤色区域的检测方法
CN105606209A (zh) * 2016-03-14 2016-05-25 南京铁道职业技术学院 用于监测室内噪声的系统
CN106851216A (zh) * 2017-03-10 2017-06-13 山东师范大学 一种基于人脸和语音识别的课堂行为监控系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
网络监控系统中人脸检测和识别技术的研究;袁社锋;《中国优秀硕士学位论文全文数据库信息科技辑》;20120415;第22-30页 *

Also Published As

Publication number Publication date
CN108229441A (zh) 2018-06-29

Similar Documents

Publication Publication Date Title
CN108229441B (zh) 一种基于图像和语音分析的课堂教学自动反馈系统和反馈方法
CN109300471B (zh) 融合声音采集识别的场区智能视频监控方法、装置及系统
US9595259B2 (en) Sound source-separating device and sound source-separating method
CN107799126A (zh) 基于有监督机器学习的语音端点检测方法及装置
US20110035221A1 (en) Monitoring An Audience Participation Distribution
CN112634924B (zh) 基于语音通话的噪声过滤方法、装置和计算机设备
CN100356446C (zh) 近端讲话人检测方法
CN109829691B (zh) 基于位置和深度学习多重生物特征的c/s打卡方法和装置
JP2019095552A (ja) 音声解析システム、音声解析装置、および音声解析プログラム
US20200251120A1 (en) Method and system for individualized signal processing of an audio signal of a hearing device
CN117577098B (zh) 一种卫星宽带短报文通信的语音通信方法及系统
CN107592600B (zh) 一种基于分布式麦克风的拾音筛选方法及拾音装置
CN109994129A (zh) 语音处理系统、方法和设备
CN111429916B (zh) 一种声音信号记录系统
CN113709291A (zh) 音频处理方法、装置、电子设备及可读存储介质
CN114252906A (zh) 声音事件的检测方法和装置、计算机设备和存储介质
CN110556114B (zh) 基于注意力机制的通话人识别方法及装置
CN112331208A (zh) 人身安全监控方法、装置、电子设备和存储介质
van Hengel et al. Verbal aggression detection in complex social environments
CN115049970A (zh) 一种基于多模态音视频技术的学生课堂表现评估方法
CN111863031A (zh) 加载于已有摄像头网络的音频监测装置及其监测方法
US7418385B2 (en) Voice detection device
CN111782860A (zh) 一种音频检测方法及装置、存储介质
CN115953874B (zh) 一种音箱智能告警方法
WO2019142231A1 (ja) 音声分析装置、音声分析方法、音声分析プログラム及び音声分析システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant