CN114974309B - 一种基于智能班牌的师生教学情况自动提醒方法 - Google Patents

一种基于智能班牌的师生教学情况自动提醒方法 Download PDF

Info

Publication number
CN114974309B
CN114974309B CN202210904606.2A CN202210904606A CN114974309B CN 114974309 B CN114974309 B CN 114974309B CN 202210904606 A CN202210904606 A CN 202210904606A CN 114974309 B CN114974309 B CN 114974309B
Authority
CN
China
Prior art keywords
information
students
teacher
image
student
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210904606.2A
Other languages
English (en)
Other versions
CN114974309A (zh
Inventor
张�杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Laiwan Technology Co ltd
Original Assignee
Guangzhou Laiwan Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Laiwan Technology Co ltd filed Critical Guangzhou Laiwan Technology Co ltd
Priority to CN202210904606.2A priority Critical patent/CN114974309B/zh
Publication of CN114974309A publication Critical patent/CN114974309A/zh
Application granted granted Critical
Publication of CN114974309B publication Critical patent/CN114974309B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/60—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for measuring the quality of voice signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06398—Performance of employee with respect to a job function
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/21—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being power information

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Development Economics (AREA)
  • Quality & Reliability (AREA)
  • Educational Administration (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Game Theory and Decision Science (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种基于智能班牌的师生教学情况自动提醒方法，涉及信息处理技术领域，包括每节课教室内摄像头获取到的图像信息和拾音器采集到的音频信息；将所述图像信息进行学生位置比对和学生运动曲线模拟，得到每个学生的位置变化信息和运动曲线信息；基于语音清晰度算法对所述第二信息进行语音清晰度计算，得到老师讲课的语音清晰度值；将所有学生的位置变化信息、所有学生的运动曲线信息和老师讲课的语音清晰度值进行分析，并基于分析结果发送提醒信号。本发明通过对师生教学情况进行评分，然后基于评分进行实时达标判断，若实时判断师生教学情况不合格，则发送提醒信息至智能班牌上进行提醒，大量减少人力物力，并提高教学质量。

Description

一种基于智能班牌的师生教学情况自动提醒方法
技术领域
本发明涉及信息处理技术领域，具体而言，涉及基于智能班牌的师生教学情况自动提醒方法。
背景技术
在学生上学过程中，师生教学情况往往是学校和家长最重视的一环，但是师生教学状况往往都是人为进行评价，并且评价方法不一，而且在评价老师的教学状况往往需要多个老师进行评价，这样就导致了老师资源的浪费，往往评价过程中如果其他老师进行提醒往往会打断教学，进而造成教学中断的情况，现需要一种能够智能评价老师上课时师生状况，并能够进行显示提醒的智能班牌。
发明内容
本发明的目的在于提供一种基于智能班牌的师生教学情况自动提醒方法，以改善上述问题。为了实现上述目的，本发明采取的技术方案如下：
一方面，本申请提供了一种基于智能班牌的师生教学情况自动提醒方法，包括：
获取第一信息和第二信息，所述第一信息为每节课教室内摄像头获取到的图像信息，所述第二信息为所有学生佩戴的拾音器采集到的音频信息；
基于所述第一信息进行学生位置比对和学生运动曲线模拟，得到每个学生的位置变化信息和运动曲线信息；
基于语音清晰度算法对所述第二信息进行语音清晰度计算，得到老师讲课的语音清晰度值；
将所有学生的位置变化信息、所有学生的运动曲线信息和老师讲课的语音清晰度值进行分析，并基于分析结果发送提醒信号。
另一方面，本申请还提供了一种基于智能班牌的师生教学情况自动提醒装置，包括：
获取单元，用于获取第一信息和第二信息，所述第一信息为每节课教室内摄像头获取到的图像信息，所述第二信息为所有学生佩戴的拾音器采集到的音频信息；
处理单元，用于基于所述第一信息进行学生位置比对和学生运动曲线模拟，得到每个学生的位置变化信息和运动曲线信息；
计算单元，用于基于语音清晰度算法对所述第二信息进行语音清晰度计算，得到老师讲课的语音清晰度值；
分析单元，用于将所有学生的位置变化信息、所有学生的运动曲线信息和老师讲课的语音清晰度值进行分析，并基于分析结果发送提醒信号。
本发明的有益效果为：
本发明通过对教学过程中教室内学生在上课时的图像和老师讲课时的声音进行处理，对学生在上课时的动作和位置变化进行分析，判断学生的位置是否离开座位，并且判断学生的头部动作是否离开黑板或者老师，判断老师讲课的声音是否达到预设的清晰度，进而判断师生教学情况是否符合要求，进而教学情况进行自动评分和提醒，减少需要用到的老师资源和减少人力物力，并且可以客观的评价老师的教学质量。
本发明的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例中所述的基于智能班牌的师生教学情况自动提醒方法流程示意图；
图2为本发明实施例中所述的基于智能班牌的师生教学情况自动提醒装置结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
实施例1：
本实施例提供了一种基于智能班牌的师生教学情况自动提醒方法。
参见图1，图中示出了本方法包括步骤S1、步骤S2、步骤S3、步骤S4、步骤S5。
步骤S1、获取第一信息和第二信息，所述第一信息为每节课教室内摄像头获取到的图像信息，所述第二信息为所有学生佩戴的拾音器采集到的音频信息；
可以理解的是本步骤通过在教室内设置摄像头，并通过摄像头实时获取老师上课时的图像，并进行上传和存储，而且本步骤中的第二信息是通过在学生的校牌内设置一个拾音器进行音频采集，本发明还可以将拾音器设置在每个学生的课桌内或者学生坐凳的其他位置，这样可以监测到每个学生是否都能听清楚老师讲课。
步骤S2、基于所述第一信息进行学生位置比对和学生运动曲线模拟，得到每个学生的位置变化信息和运动曲线信息；
可以理解的是本步骤通过对摄像头获取到老师上课时的图像进行实时处理，进而实时判断学生是否在认真听讲，进而判断学生的上课情况，本步骤中步骤S2包括步骤S21、步骤S22和步骤S23。
步骤S21、基于所述第一信息建立三维空间直角坐标系，并确定每个学生在所述三维空间直角坐标系内的位置，得到每帧图像内所有学生的位置信息；
可以理解的是本步骤通过建立三维空间直角坐标系来确定每个学生所属的区域和位置，本步骤中步骤S21包括步骤S211、步骤S212、步骤S213和步骤S214。
将所述第一信息内的图像信息进行边缘检测，得到教室的边缘信息，所述边缘信息为教室的四个顶角信息和四个底角信息；
可以理解的是本步骤通过边缘检测，确定教室的顶角和底角，为建立直角坐标系提供坐标原点和坐标轴的方向。
基于所述教室的边缘信息建立三维空间直角坐标系，其中，以所述边缘信息中任一底角作为坐标原点，建立三维空间直角坐标系，得到教室的三维空间模型；
将第一信息内的每帧图像信息发送至所述教室的三维空间模型进行目标识别，得到每帧图像信息内所有学生的位置信息；
将所述每帧图像信息内学生的位置信息进行标号，得到标号后的学生位置信息。
可以理解的是本步骤通过目标识别确定教室内所有学生的位置，其中首先通过目标识别，识别第一信息的图像内所有课桌的位置，进而将课桌和学生进行一一对应，进而识别出学生位置，并将学生位置进行标号，相当于将每个学生位置发送至三维空间模型，并对每个学生的位置进行区域划分和标记。
步骤S22、将相邻帧图像内所有学生的位置信息进行对比，得到相邻帧图像内所有学生的位置信息的变化信息；
可以理解的是本步骤通过将相邻帧图像内的对应的学生位置进行对比，判断所述学生的位置信息变化，其中可以通过相邻帧图像的学生图像的像素点变化，判断学生的位置是否变化，并基于图像和现实中教室的比例进行计算，确定学生的移动距离，进而得到所有学生的位置信息的变化信息，其中所述变化信息包括学生的像素点变化信息和学生的移动距离信息。
步骤S23、将所述第一信息和所述三维空间直角坐标系进行关键点处理，并基于关键点处理得到的所有学生的头部关键点图像和手部关键点图像确定每帧图像内所有学生的头部运动曲线和手部运动曲线。
可以理解的是本步骤通过对第一信息进行关键点处理，判断学生的头部动作和手部动作，进而判读学生是否在认真听讲，本步骤中步骤S23包括步骤S231、步骤S232、步骤S233、步骤S234和步骤S235。
步骤S231、将所述每帧图像内所有学生的头部图像的像素点和手部图像的像素点进行二值化处理，得到二值化的头部图像和手部图像；
可以理解的是本步骤通过将所述所有学生的头部图像的像素点和手部图像的像素点进行二值化处理，进而将手部图像和头部图像的背景图像转化为同一像素点，这样可以快速确定学生手部图像轮廓和头部图像轮廓。
步骤S232、将所述二值化的头部图像和手部图像依次进行膨胀处理和腐蚀处理，得到去除噪声后的二值化图像；
可以理解的是本步骤通过对二值化的图像进行膨胀处理和腐蚀处理，消除掉图像内的噪声像素点，这样可以减少关键点信息的计算量，提高关键点的确定效率。
步骤S233、基于多元自适应回归样条算法对所述去除噪声后的二值化图像进行计算，得到拟合曲线的关键点信息。
可以理解的是本步骤中的自适应回归样条算法的计算公式如下：
Figure 805116DEST_PATH_IMAGE001
其中，
Figure 225733DEST_PATH_IMAGE002
为算法输出的关键点的纵轴数值，
Figure 901565DEST_PATH_IMAGE003
为样条曲线的选择次数，选择为3，
Figure 280593DEST_PATH_IMAGE004
为第i个像素点的纵坐标数值，
Figure 533720DEST_PATH_IMAGE005
为第i个样条曲线函数，
Figure 23607DEST_PATH_IMAGE006
存在三种形式：常数1；hinge函数，max（0，x-constant）或max（0，x-constant）；两个或多个hinge函数相乘；其中，constant需要在输入数据前选择，策略采用十分法，x的最大值，x的最小值，x的最大值和最小值之间距离均分为十份后得到九个点。
步骤S234、将所有的所述拟合曲线的关键点信息分别发送三维空间直角坐标系进行坐标计算，得到所有的拟合曲线的关键点信息的坐标；
可以理解的是将所述关键点经过两次求导得到每个点的曲率，并将整个曲率数组进行均分成多份，计算每份的平均值，然后通过平均值的大小变化来找出曲线的驻点数量，对驻点所在区间内的点进行选择，进而反算出贝塞尔曲线的控制点，按照这些控制点，得到学生行为的动作模拟曲线。
步骤S235、基于贝塞尔曲线对所有的拟合曲线的关键点信息的坐标运动轨迹拟合，得到每帧图像内所有学生的头部运动曲线和手部运动曲线。
可以理解的是上述步骤内的运动轨迹拟合模型是通过贝塞尔曲线对关键点的坐标进行轨迹拟合，得到学生行为的动作模拟曲线，进而可以通过动作模拟曲线来判断学生动作是什么动作，这样可以简单快捷的对学生行为进行判断，判断学生是否正在听讲，例如学生转头或者手部在做传递动作代表学生没有听讲在聊天或者传递纸条。
步骤S3、基于语音清晰度算法对所述第二信息进行语音清晰度计算，得到老师讲课的语音清晰度值；
可以理解的是本步骤是为了判断老师讲课的声音每个学生是否都能听见，进而对老师讲课质量进行判断，防止学生是因为听不清楚老师讲课导致不专心听讲的情况出现，本步骤中步骤S3包括步骤S31、步骤S32、步骤S33和步骤S34。
步骤S31、将所有学生佩戴的拾音器采集到的音频信息发送至IIR带通滤波器进行频率段划分，得到至少两个频率段的音频信息；
可以理解的是上述的IIR带通滤波器可称为无限冲激响应滤波器，具有计算量小的特点，其中IIR带通滤波器的参数可通过matlab实现，其中频率段划分的步骤具体为躲避噪声音频中的能量高点，并在其他频段以倍频的方式进行输出，确定中心频点，进而划分频率段。
步骤S32、将至少两个频率段的音频信息和预设的老师音频信息进行对比，得到每个拾音器采集到的老师的音频信息和噪声的音频信息；
可以理解的是本步骤中的噪声包括学生的交谈声，桌椅移动产生的噪声等声音。
步骤S33、基于语音清晰度算法对每个拾音器采集到的老师的音频信息和噪声的音频信息进行计算，得到每个拾音器采集到的老师的音频信息的清晰度值；
可以理解的是语音清晰度算法包括建立噪声对老师的语音清晰度SII影响的关系公式：
Figure 85104DEST_PATH_IMAGE007
其中，下标i表示第i个频带，I为不同频带的权重系数，L表示语音失真度，K表示噪声对老师的音频信息的遮掩效应；
令
Figure 572717DEST_PATH_IMAGE008
其中，E为频带内的语音信号能量，U为正常语音能量的标准值。
Figure 250823DEST_PATH_IMAGE009
其中，D为噪声对老师的音频信息的掩蔽效应后的等效噪声功率，并且D满足公式：
Figure 606718DEST_PATH_IMAGE010
其中，
Figure 53880DEST_PATH_IMAGE011
又为：
Figure 446815DEST_PATH_IMAGE012
，
上述，下标
Figure 940114DEST_PATH_IMAGE013
表示第
Figure 771803DEST_PATH_IMAGE013
个频带，且
Figure 73472DEST_PATH_IMAGE014
、
Figure 637308DEST_PATH_IMAGE013
均作为变量指示计算中应使用第几个频带的对应数值，差异在于，下标
Figure 290006DEST_PATH_IMAGE014
对应的为外层循环时的变量，下标
Figure 987704DEST_PATH_IMAGE013
对应的为内层循环时的变量，上述
Figure 143879DEST_PATH_IMAGE015
表示第i个频带的噪声功率，
Figure 940934DEST_PATH_IMAGE016
表示第
Figure 753032DEST_PATH_IMAGE013
个频带的噪声功率，
Figure 192103DEST_PATH_IMAGE017
表示第i个频带的中心频率，
Figure 796260DEST_PATH_IMAGE018
表示第
Figure 967478DEST_PATH_IMAGE013
频带的上截止频率，
Figure 329190DEST_PATH_IMAGE019
表示第
Figure 368690DEST_PATH_IMAGE013
频带的下截止频率。
步骤S34、将所有的清晰度值进行对比，并将最小的清晰度值作为老师讲课的语音清晰度值。
可以理解的是本步骤通过将每个学生接收到的老师的音频信息的清晰度值进行对比，选取最小的作为老师讲课的语音清晰度值，防止老师讲课出现有些同学听着清晰有些同学听着不清晰的情况出现，本发明还可以在最边缘的四个角落设置拾音器，进而在计算四个角落的语音清晰度值，进而确定每个学生是否都能听到。
步骤S4、将所有学生的位置变化信息、所有学生的运动曲线信息和老师讲课的语音清晰度值进行分析，并基于分析结果发送提醒信号。
可以理解的是本步骤通过对师生教学情况中的所有学生的位置变化信息、所有学生的运动曲线信息和老师讲课的语音清晰度值这三个指标进行分析，判断这三个指标是否符合要求，本步骤中步骤S4包括步骤S41、步骤S42、步骤S43、步骤S44和步骤S45。
步骤S41、将所有学生的位置变化信息、所有学生的运动曲线信息和老师讲课的语音清晰度值建立层次结构模型；
步骤S42、基于所述层次结构模型，逐层对所述因素的重要性进行比较，构造判别矩阵；
步骤S43、基于所述判别矩阵分别计算特征向量，并基于所述特征向量得到所有学生的位置变化信息的权重值、所有学生的运动曲线信息的权重值和老师讲课的语音清晰度值的权重值；
可以理解的是本步骤通过层次分析法确定所述判别矩阵分别计算特征向量，并基于所述特征向量得到所有学生的位置变化信息的权重值、所有学生的运动曲线信息的权重值和老师讲课的语音清晰度值的权重值，进而将上述所有权重值对上述三个指标进行打分，打分可以基于预设的分值范围，例如，学生的位置变化距离为0-10CM，得10分，10-50CM得5分，50CM以上得0分，将学生的运动曲线进行动作模拟，并将模拟的动作进行与预设动作进行对应，其中如学生的头部模拟动作为左右晃动、上下晃动为得0分，平视前方则得10分，学生的手部模拟动作为传递东西为得0分，学生的手部模拟动作为平铺桌面则得10分，老师讲课的语音清晰度值位于预设的范围得10分，小于预设的范围则得0分，所述预设的范围为学生能听清楚声音的范围。
步骤S44、并基于所有学生的位置变化信息的权重值、所有学生的运动曲线信息的权重值和老师讲课的语音清晰度值的权重值对师生教学情况进行评分，得到师生教学情况总分值；
可以理解的是本步骤经过对应预设的分值范围获取师生教学情况的实时分值，并将所述实时分值与权重相乘，确定实时的师生教学情况的总分值。
步骤S45、将所述师生教学情况总分值与预设的阈值进行对比，若所述师生教学情况总分值小于预设的阈值，则发送提醒教室上课质量不达标的信息至班牌进行显示。
可以理解的是本步骤通过判断实时的师生教学情况的总分值是否大于预设的分值，进而判断实时的师生教学情况是否符合要求，如果不符合要求，则通过智能班牌进行显示，其中可以在智能班牌上设置信号灯，若师生教学情况不符合要求，则显示红灯，并提示老师。
实施例2：
如图2所示，本实施例提供了一种基于智能班牌的师生教学情况自动提醒装置，所述装置包括获取单元701、处理单元702、计算单元703和分析单元704。
获取单元701，用于获取第一信息和第二信息，所述第一信息为每节课教室内摄像头获取到的图像信息，所述第二信息为所有学生佩戴的拾音器采集到的音频信息；
处理单元702，用于基于所述第一信息进行学生位置比对和学生运动曲线模拟，得到每个学生的位置变化信息和运动曲线信息；
优选地，所述处理单元702包括第一处理子单元7021、第一对比子单元7022和第二处理子单元7023。
第一处理子单元7021，用于基于所述第一信息建立三维空间直角坐标系，并确定每个学生在所述三维空间直角坐标系内的位置，得到每帧图像内所有学生的位置信息；
优选地，所述第一处理子单元7021包括第三处理子单元70211、第四处理子单元70212、第一发送子单元70213和第五处理子单元70214。
第三处理子单元70211，用于将所述第一信息内的图像信息进行边缘检测，得到教室的边缘信息，所述边缘信息为教室的四个顶角信息和四个底角信息；
第四处理子单元70212，用于基于所述教室的边缘信息建立三维空间直角坐标系，其中，以所述边缘信息中任一底角作为坐标原点，建立三维空间直角坐标系，得到教室的三维空间模型；
第一发送子单元70213，用于将第一信息内的每帧图像信息发送至所述教室的三维空间模型进行目标识别，得到每帧图像信息内所有学生的位置信息；
第五处理子单元70214，用于将所述每帧图像信息内学生的位置信息进行标号，得到标号后的学生位置信息。
第一对比子单元7022，用于将相邻帧图像内所有学生的位置信息进行对比，得到相邻帧图像内所有学生的位置信息的变化信息；
第二处理子单元7023，用于将所述第一信息和所述三维空间直角坐标系进行关键点处理，并基于关键点处理得到的所有学生的头部关键点图像和手部关键点图像确定每帧图像内所有学生的头部运动曲线和手部运动曲线。
优选地，所述第二处理子单元7023包括第六处理子单元70231、第七处理子单元70232、第一计算子单元70233、第二计算子单元70234和第八处理子单元70235。
第六处理子单元70231，用于将所述每帧图像内所有学生的头部图像的像素点和手部图像的像素点进行二值化处理，得到二值化的头部图像和手部图像；
第七处理子单元70232，用于将所述二值化的头部图像和手部图像依次进行膨胀处理和腐蚀处理，得到去除噪声后的二值化图像；
第一计算子单元70233，用于基于多元自适应回归样条算法对所述去除噪声后的二值化图像进行计算，得到拟合曲线的关键点信息。
第二计算子单元70234，用于将所有的所述拟合曲线的关键点信息分别发送三维空间直角坐标系进行坐标计算，得到所有的拟合曲线的关键点信息的坐标；
第八处理子单元70235，用于基于贝塞尔曲线对所有的拟合曲线的关键点信息的坐标运动轨迹拟合，得到每帧图像内所有学生的头部运动曲线和手部运动曲线。
计算单元703，用于基于语音清晰度算法对所述第二信息进行语音清晰度计算，得到老师讲课的语音清晰度值；
优选地，所述计算单元703包括第二发送子单元7031、第二对比子单元7032、第三计算子单元7033和第三对比子单元7034。
第二发送子单元7031，用于将所有学生佩戴的拾音器采集到的音频信息发送至IIR带通滤波器进行频率段划分，得到至少两个频率段的音频信息；
第二对比子单元7032，用于将至少两个频率段的音频信息和预设的老师音频信息进行对比，得到每个拾音器采集到的老师的音频信息和噪声的音频信息；
第三计算子单元7033，用于基于语音清晰度算法对每个拾音器采集到的老师的音频信息和噪声的音频信息进行计算，得到每个拾音器采集到的老师的音频信息的清晰度值；
第三对比子单元7034，用于将所有的清晰度值进行对比，并将最小的清晰度值作为老师讲课的语音清晰度值。
分析单元704，用于将所有学生的位置变化信息、所有学生的运动曲线信息和老师讲课的语音清晰度值进行分析，并基于分析结果发送提醒信号。
优选地，所述分析单元704包括第九处理子单元7041、第四对比子单元7042、第四计算子单元7043、第十处理子单元7044和第五对比子单元7045。
第九处理子单元7041，用于将所有学生的位置变化信息、所有学生的运动曲线信息和老师讲课的语音清晰度值建立层次结构模型；
第四对比子单元7042，用于基于所述层次结构模型，逐层对所述因素的重要性进行比较，构造判别矩阵；
第四计算子单元7043，用于基于所述判别矩阵分别计算特征向量，并基于所述特征向量得到所有学生的位置变化信息的权重值、所有学生的运动曲线信息的权重值和老师讲课的语音清晰度值的权重值；
第十处理子单元7044，用于并基于所有学生的位置变化信息的权重值、所有学生的运动曲线信息的权重值和老师讲课的语音清晰度值的权重值对师生教学情况进行评分，得到师生教学情况总分值；
第五对比子单元7045，用于将所述师生教学情况总分值与预设的阈值进行对比，若所述师生教学情况总分值小于预设的阈值，则发送提醒教师上课质量不达标的信息至班牌进行显示。
需要说明的是，关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (8)

1.一种基于智能班牌的师生教学情况自动提醒方法，其特征在于，包括：
获取第一信息和第二信息，所述第一信息为每节课教室内摄像头获取到的图像信息，所述第二信息为所有学生佩戴的拾音器采集到的音频信息；
基于所述第一信息进行学生位置比对和学生运动曲线模拟，得到每个学生的位置变化信息和运动曲线信息；
将每帧图像内所有学生的头部图像的像素点和手部图像的像素点进行二值化处理，得到二值化的头部图像和手部图像；
将所述二值化的头部图像和手部图像依次进行膨胀处理和腐蚀处理，得到去除噪声后的二值化图像；
基于多元自适应回归样条算法对所述去除噪声后的二值化图像进行计算，得到拟合曲线的关键点信息；
将所有的所述拟合曲线的关键点信息分别发送三维空间直角坐标系进行坐标计算，得到所有的拟合曲线的关键点信息的坐标；
基于贝塞尔曲线对所有的拟合曲线的关键点信息的坐标运动轨迹拟合，得到每帧图像内所有学生的头部运动曲线和手部运动曲线；
基于语音清晰度算法对所述第二信息进行语音清晰度计算，得到老师讲课的语音清晰度值；
将所有学生的位置变化信息、所有学生的运动曲线信息和老师讲课的语音清晰度值进行分析，并基于分析结果发送提醒信号。
2.根据权利要求1所述的基于智能班牌的师生教学情况自动提醒方法，其特征在于,基于所述第一信息进行学生位置比对和学生运动曲线模拟，得到每个学生的位置变化信息和运动曲线信息，包括：
基于所述第一信息建立三维空间直角坐标系，并确定每个学生在所述三维空间直角坐标系内的位置，得到每帧图像内所有学生的位置信息；
将相邻帧图像内所有学生的位置信息进行对比，得到相邻帧图像内所有学生的位置信息的变化信息；
将所述第一信息和所述三维空间直角坐标系进行关键点处理，并基于关键点处理得到的所有学生的头部关键点图像和手部关键点图像确定每帧图像内所有学生的头部运动曲线和手部运动曲线。
3.根据权利要求2所述的基于智能班牌的师生教学情况自动提醒方法，其特征在于，基于所述第一信息建立三维空间直角坐标系，并确定每个学生在所述三维空间直角坐标系内的位置，得到每帧图像内所有学生的位置信息，包括:
将所述第一信息内的图像信息进行边缘检测，得到教室的边缘信息，所述边缘信息为教室的四个顶角信息和四个底角信息；
基于所述教室的边缘信息建立三维空间直角坐标系，其中，以所述边缘信息中任一底角作为坐标原点，建立三维空间直角坐标系，得到教室的三维空间模型；
将第一信息内的每帧图像信息发送至所述教室的三维空间模型进行目标识别，得到每帧图像信息内所有学生的位置信息；
将所述每帧图像信息内学生的位置信息进行标号，得到标号后的学生位置信息。
4.根据权利要求1所述的基于智能班牌的师生教学情况自动提醒方法，其特征在于,基于语音清晰度算法对所述第二信息进行语音清晰度计算，得到老师讲课的语音清晰度值，包括：
将所有学生佩戴的拾音器采集到的音频信息发送至IIR带通滤波器进行频率段划分，得到至少两个频率段的音频信息；
将至少两个频率段的音频信息和预设的老师音频信息进行对比，得到每个拾音器采集到的老师的音频信息和噪声的音频信息；
基于语音清晰度算法对每个拾音器采集到的老师的音频信息和噪声的音频信息进行计算，得到每个拾音器采集到的老师的音频信息的清晰度值；
将所有的清晰度值进行对比，并将最小的清晰度值作为老师讲课的语音清晰度值。
5.一种基于智能班牌的师生教学情况自动提醒装置，其特征在于，包括：
获取单元，用于获取第一信息和第二信息，所述第一信息为每节课教室内摄像头获取到的图像信息，所述第二信息为所有学生佩戴的拾音器采集到的音频信息；
处理单元，用于基于所述第一信息进行学生位置比对和学生运动曲线模拟，得到每个学生的位置变化信息和运动曲线信息；
处理单元包括第二处理子单元；第二处理子单元包括第六处理子单元、第七处理子单元、第一计算子单元、第二计算子单元和第八处理子单元；
第六处理子单元，用于将每帧图像内所有学生的头部图像的像素点和手部图像的像素点进行二值化处理，得到二值化的头部图像和手部图像；
第七处理子单元，用于将所述二值化的头部图像和手部图像依次进行膨胀处理和腐蚀处理，得到去除噪声后的二值化图像；
第一计算子单元，用于基于多元自适应回归样条算法对所述去除噪声后的二值化图像进行计算，得到拟合曲线的关键点信息；
第二计算子单元，用于将所有的所述拟合曲线的关键点信息分别发送三维空间直角坐标系进行坐标计算，得到所有的拟合曲线的关键点信息的坐标；
第八处理子单元，用于基于贝塞尔曲线对所有的拟合曲线的关键点信息的坐标运动轨迹拟合，得到每帧图像内所有学生的头部运动曲线和手部运动曲线；
计算单元，用于基于语音清晰度算法对所述第二信息进行语音清晰度计算，得到老师讲课的语音清晰度值；
分析单元，用于将所有学生的位置变化信息、所有学生的运动曲线信息和老师讲课的语音清晰度值进行分析，并基于分析结果发送提醒信号。
6.根据权利要求5所述的基于智能班牌的师生教学情况自动提醒装置，其特征在于，所述装置包括：
第一处理子单元，用于基于所述第一信息建立三维空间直角坐标系，并确定每个学生在所述三维空间直角坐标系内的位置，得到每帧图像内所有学生的位置信息；
第一对比子单元，用于将相邻帧图像内所有学生的位置信息进行对比，得到相邻帧图像内所有学生的位置信息的变化信息；
第二处理子单元，用于将所述第一信息和所述三维空间直角坐标系进行关键点处理，并基于关键点处理得到的所有学生的头部关键点图像和手部关键点图像确定每帧图像内所有学生的头部运动曲线和手部运动曲线。
7.根据权利要求6所述的基于智能班牌的师生教学情况自动提醒装置，其特征在于，所述装置包括：
第三处理子单元，用于将所述第一信息内的图像信息进行边缘检测，得到教室的边缘信息，所述边缘信息为教室的四个顶角信息和四个底角信息；
第四处理子单元，用于基于所述教室的边缘信息建立三维空间直角坐标系，其中，以所述边缘信息中任一底角作为坐标原点，建立三维空间直角坐标系，得到教室的三维空间模型；
第一发送子单元，用于将第一信息内的每帧图像信息发送至所述教室的三维空间模型进行目标识别，得到每帧图像信息内所有学生的位置信息；
第五处理子单元，用于将所述每帧图像信息内学生的位置信息进行标号，得到标号后的学生位置信息。
8.根据权利要求5所述的基于智能班牌的师生教学情况自动提醒装置，其特征在于，所述装置包括：
第二发送子单元，用于将所有学生佩戴的拾音器采集到的音频信息发送至IIR带通滤波器进行频率段划分，得到至少两个频率段的音频信息；
第二对比子单元，用于将至少两个频率段的音频信息和预设的老师音频信息进行对比，得到每个拾音器采集到的老师的音频信息和噪声的音频信息；
第三计算子单元，用于基于语音清晰度算法对每个拾音器采集到的老师的音频信息和噪声的音频信息进行计算，得到每个拾音器采集到的老师的音频信息的清晰度值；
第三对比子单元，用于将所有的清晰度值进行对比，并将最小的清晰度值作为老师讲课的语音清晰度值。
CN202210904606.2A 2022-07-29 2022-07-29 一种基于智能班牌的师生教学情况自动提醒方法 Active CN114974309B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210904606.2A CN114974309B (zh) 2022-07-29 2022-07-29 一种基于智能班牌的师生教学情况自动提醒方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210904606.2A CN114974309B (zh) 2022-07-29 2022-07-29 一种基于智能班牌的师生教学情况自动提醒方法

Publications (2)

Publication Number Publication Date
CN114974309A CN114974309A (zh) 2022-08-30
CN114974309B true CN114974309B (zh) 2022-11-08

Family

ID=82970302

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210904606.2A Active CN114974309B (zh) 2022-07-29 2022-07-29 一种基于智能班牌的师生教学情况自动提醒方法

Country Status (1)

Country Link
CN (1) CN114974309B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110991381A (zh) * 2019-12-12 2020-04-10 山东大学 一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒系统和方法
CN111757235A (zh) * 2020-06-15 2020-10-09 杭州艾力特数字科技有限公司 一种具有教室语言清晰度测量功能的扩声系统
CN112597814A (zh) * 2020-12-04 2021-04-02 南通大学 一种基于改进的Openpose课堂多人异常行为及口罩佩戴检测方法
CN114120349A (zh) * 2022-01-10 2022-03-01 深圳市菁优智慧教育股份有限公司 基于深度学习的试卷识别方法及系统
CN114550740A (zh) * 2022-04-26 2022-05-27 天津市北海通信技术有限公司 噪声下的语音清晰度算法及其列车音频播放方法、系统
CN114679647A (zh) * 2022-05-30 2022-06-28 杭州艾力特数字科技有限公司 无线麦拾音距离的确定方法、装置、设备及可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11485384B2 (en) * 2020-05-11 2022-11-01 Zoox, Inc. Unstructured vehicle path planner

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110991381A (zh) * 2019-12-12 2020-04-10 山东大学 一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒系统和方法
CN111757235A (zh) * 2020-06-15 2020-10-09 杭州艾力特数字科技有限公司 一种具有教室语言清晰度测量功能的扩声系统
CN112597814A (zh) * 2020-12-04 2021-04-02 南通大学 一种基于改进的Openpose课堂多人异常行为及口罩佩戴检测方法
CN114120349A (zh) * 2022-01-10 2022-03-01 深圳市菁优智慧教育股份有限公司 基于深度学习的试卷识别方法及系统
CN114550740A (zh) * 2022-04-26 2022-05-27 天津市北海通信技术有限公司 噪声下的语音清晰度算法及其列车音频播放方法、系统
CN114679647A (zh) * 2022-05-30 2022-06-28 杭州艾力特数字科技有限公司 无线麦拾音距离的确定方法、装置、设备及可读存储介质

Also Published As

Publication number Publication date
CN114974309A (zh) 2022-08-30

Similar Documents

Publication Publication Date Title
CN110991381B (zh) 一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒系统和方法
CN107030691B (zh) 一种看护机器人的数据处理方法及装置
CN110443226B (zh) 一种基于姿态识别的学生状态评价方法及系统
CN111915148B (zh) 一种基于信息技术的课堂教学评价方法和系统
JP6892558B2 (ja) 教学補助方法およびその方法を採用する教学補助システム
CN108399376A (zh) 学生课堂学习兴趣智能分析方法及系统
CN112183238B (zh) 一种远程教育注意力检测方法及系统
CN111242049A (zh) 一种基于面部识别的学生网课学习状态评价方法及系统
CN106982357A (zh) 一种基于分布云的智能拍摄系统
CN110930781B (zh) 录播系统
CN116109455B (zh) 一种基于人工智能的语言教学辅助系统
CN110134863A (zh) 应用程序推荐的方法及装置
CN111666829A (zh) 多场景多主体身份行为情绪识别分析方法及智能监管系统
CN107844762A (zh) 信息处理方法及系统
CN115936944A (zh) 一种基于人工智能的虚拟教学管理方法及装置
CN111178263A (zh) 一种实时表情分析方法及其装置
CN109886255A (zh) 一种具有面部情绪识别功能的智能互动教学系统
CN104505089A (zh) 口语纠错方法及设备
CN114974309B (zh) 一种基于智能班牌的师生教学情况自动提醒方法
CN111199378A (zh) 学员管理方法、装置、电子设备及存储介质
CN113688739A (zh) 基于情绪识别和视觉分析的课堂学习效率预测方法及系统
CN111860294A (zh) 一种便于跟踪的人脸捕捉设备
Xiaoning Application of artificial neural network in teaching quality evaluation
CN110837790A (zh) 一种识别方法
CN110648563A (zh) 基于智能音箱的远程在线培训系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant