CN110991381A - 一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒系统和方法 - Google Patents

Abstract

本发明涉及一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒系统和方法，多模态数据智能识别模块对学生原始图像和语音数据进行分类识别；课堂上下文知识库模块提供判断依据及分析的具体算法指导；学生课堂状态判断模块判断学生的课堂状态；学生课堂状态调整模块用于教师或学生根据学生状态的显示进行调整；多模态数据分析模块分析学生课堂行为表现和师生语音互动的表现；课堂状态报告输出模块输出课堂状态报告。本发明解决了当前高效课堂中学生上课不专心、课堂学习效果差等问题，对教师课堂教学的改进具有较大的参考价值。

Description

一种基于行为和语音智能识别的实时课堂学生状态分析与指 示提醒系统和方法

技术领域

本发明涉及一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒系统和方法，属于人工智能和教学新技术应用技术领域。

背景技术

目前，现有的学生课堂学习质量评价系统多通过统计分析学生上课的某些参数来进行学生的学习质量评价，但该评价方法基本都是单一的基于学生的行为或表情，没有综合考虑课堂的各种其他因素，也不能进行实时的反馈和调整，对课堂教学的评价不够全面。

如何利用信息技术手段来实现学生课堂状态的实时指示与分析，已经成为当前提升课堂教学质量的迫切需求。在教育信息化的背景下，基于教室监控系统和各种人工智能开展课堂教学实时监测，并在此技术上实现教师纠正和学生改正的目标是实现课堂教学质量提升的有效手段，其将被广泛地应用于教育改革和教学实践中。

发明内容

针对当前在校学生课堂学习中普遍存在的听讲不认真等问题，本发明提供了一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒系统；

本发明还提供了一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒方法；

本发明依托教室监控系统、语音采集器和计算机等硬件设备，聚焦课堂中学生行为和师生语音互动的数据采集、分类识别、状态判断指示与提醒、数据分析与课堂教学深度融合，提出了一种基于行为和语音互动智能识别的实时课堂学生状态分析与指示提醒系统。本发明建立于课堂教学过程中的行为和语音数据采集的基础上，准确获取课堂教学过程学生行为和语音互动两种主要的数据，通过识别课堂教学过程中学生的行为来判断学生的课堂状态(定义三种课堂状态：全学习状态、间歇性学习状态和非学习状态，即全学习状态指学生的课堂行为在规定更新的时间内是学习行为；间歇性学习状态指学生的课堂行为在规定更新的时间内既有学习行为也有非学习行为；非学习状态指学生的课堂行为在规定更新的时间内是非学习行为)，可为教师和学生提供多种指示设备(如教室多媒体电脑/大屏、教师手机、教师端LCD显示器)直观地了解课堂学生的学习状态，从而动态调整教学活动和教学模式，纠正学生的不当课堂行为，系统也可通过学生座位上的状态指示灯(非学习状态时指示灯会持续闪烁)提醒学生调整课堂状态。同时，通过采集的语音数据对师生的课堂语音互动进行识别和分析，最后结合学生课堂行为和师生语音互动的分析形成学生课堂状态报告。该系统可以部分解决当前学校课堂中学生上课不专心、课堂学习效果差等突出问题，同时通过基于学生行为和师生语音互动两种主要的数据进行分析形成报告，对学生课堂考评和教师教学的改进具有一定的实用价值。

术语解释：

1、数字图像处理技术：数字图像是指由模拟图像数字化得到的、以像素为基本单位的、可以用数字计算机或数字电路存储和处理的图像。数字图像处理技术包括对模拟图像进行数字化转换、对图像的空间域进行变换、对模糊图像进行图像增强处理、通过机器学习算法对图像中的目标物体进行分类识别等。

2、计算机视觉算法：计算机视觉就是通过模拟生物的视觉，让计算机真正能“看见”的过程。即，由摄像头拍摄图像或视频，通过计算机视觉中的算法对图像中的目标进行分析处理的过程。计算机视觉算法特指机器学习算法在视觉领域的应用，包括支持向量机(SVM,Support Vector Machine)、K-近邻(KNN,K-Nearest Neighbor)、人工神经网络(ANN,Artificial Neural Networks)算法等。机器学习算法通过对给定的数据样本做训练，得到训练好的网络模型，然后将待测数据样本输入到已训练好的模型中做分类等处理。

3、人脸识别技术：人脸识别技术是基于人的脸部特征，对输入的人脸图像或者视频流进行处理。首先判断图像中是否存在人脸，如果存在人脸，则进一步的给出每张脸的位置、大小和各个主要面部器官的位置信息。并依据这些信息，进一步提取每个人脸中所蕴涵的身份特征，并将其与已知的人脸信息进行对比，从而识别每个人脸对应的身份。

4、数据采集技术：又称数据获取，是指从传感器和其它待测设备等模拟和数字被测单元中自动采集信息的过程。

5、SIFT(Scale-Invariant Feature Transform，尺度不变特征变换)：是用于图像处理领域的一种技术，该技术具有尺度不变特性，能检测图像中的关键点，是一种局部特征描述的算法。

6、HOG(Histogram of Oriented Gradients，方向梯度直方图)：以统计图像中局部区域的梯度方向信息作为该局部区域的表征，具有旋转不变性和尺度不变性。

7、语义识别技术：一种描述语句深层语义结构的简明语句分类序列和表示式，并建立了可由计算机接受和操作的公式和分析模式，使计算机具有理解自然语言的智能。语义识别的核心除了理解文本词汇的含义，还要理解这个词语在语句、篇章中所代表的意思，这意味着语义识别从技术上要做到：词汇、词法、句法、篇章(段落)层面的语义分析和歧义消除，以及对应的含义重组，以达到识别本身的目的。

本发明的技术方案为：

一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒系统，包括多模态信息感知与采集模块、多模态数据智能识别模块、课堂上下文知识库模块、多模态数据分析模块、学生课堂状态报告输出模块、学生课堂状态判断模块、学生课堂状态指示模块和学生课堂状态调整模块；

所述多模态信息感知与采集模块、多模态数据智能识别模块、课堂上下文知识库模块、多模态数据分析模块、学生课堂状态报告输出模块依次连接；所述多模态数据智能识别模块、学生课堂状态判断模块、学生课堂状态指示模块和学生课堂状态调整模块依次相连；所述学生课堂状态报告输出模块、课堂上下文知识库模块、学生课堂状态判断模块依次相连；

所述多模态信息感知与采集模块用于对教学过程中学生原始图像和语音数据的感知和采集，并将采集到的学生原始图像和语音数据发送至所述多模态数据智能识别模块。所述学生原始图像是指学生以及课堂环境的图像，所述语音数据是指课堂教学时师生互动时产生的语音数据。学生原始图像和语音数据的采集时间为整个课堂过程。其中，图像数据的采集先利用教室摄像头采集整个课堂的视频，并将视频剪成一帧一帧的图片，从而完成对原始数据的采集；语音数据的音频采样频率可设置为16KHz，即1s时间内采样16000个数据点。

所述多模态数据智能识别模块用于将采集到的学生原始图像和语音数据进行分类识别。该模块在图像和语音数据采集的基础上，利用现有数字图像处理技术、计算机视觉算法、语义识别技术对采集的数据进行处理，完成对学生行为、师生语音互动的智能分类识别。

所述学生课堂状态判断模块用于从学生行为方面判断学生的课堂状态，即通过学生课堂行为的智能识别来判断学生处于何种学习状态。

所述学生课堂状态指示模块用于基于已判定的学生课堂状态实现学生课堂状态的指示。该模块针对学生课堂状态，结合所述课堂上下文知识库模块中的学生基本信息知识库单元，显示具体的学生信息及实时的课堂状态。设定判定状态的时间间隔即状态更新时间(如每分钟、每3分钟等)。所述学生课堂状态指示模块主要包括计算机、连接线、教师端LCD触控显示器或教室多媒体电脑/大屏、教师手机、学生端LED指示灯等(具体终端及型号可根据功能和需求实现配置)和相关的软件。

所述学生课堂状态调整模块用于让教师根据学生状态的指示，进行干预调整。根据教师讲桌上的LCD触控显示器指示的学生姓名及状态，对没有处于学习状态的学生，教师将通过手动触控屏点名的方式进行手动调整。学生也可根据课桌上安装同步指示示状态的LED指示灯，学生收到提示后，提醒修正自己的课堂状态。学生端的指示灯也具有三种状态的指示功能，如计算机系统判定学生在课堂教学中处于非学习状态(系统根据学生非学习行为持续的时间判定，非学习行为如趴桌子、聊天、玩手机等)，则会通过课桌指示灯不间断闪烁的方式提醒学生注意听课。

所述课堂上下文知识库模块为所述多模态数据智能识别模块提供特征参数及具体识别算法的指导，同时为所述多模态数据分析模块和所述学生课堂状态指示模块提供历史课堂上下文及各种既定指标要求。另一方面，所述多模态数据智能识别模块、多模态数据分析模块和学生课堂状态指示模块将系统运行过程中产生的各类课堂上下文信息存储到所述课堂上下文知识库模块以作为历史课堂上下文为系统提供参考。所述学生课堂状态报告输出模块将分析结果形成输出报告反馈到所述课堂上下文知识库模块以实时调整系统状态，实现系统的自适应性。

所述多模态数据分析模块用于分析和评价学生参与课堂学习的情况。学生参与课堂学习的情况包括学生个体有效学习行为指数、课堂学生平均有效学习行为指数、课堂瞬时学生学习行为效率指数、师生语音互动时间、课堂师生语音互动总时间和课堂师生语音互动效率，最终通过大数据处理反映学生课堂的学习效果，分析得到科学的课堂质量指标数据；所述学生课堂数据分析模块还通过记录学生课堂中不同行为和与师生语言互动的次数和时间，包括具体的互动人数和互动学生名字，为教师讲评学生课堂表现提供数据。

所述学生课堂状态报告输出模块用于在多模态数据分析模块分析数据的基础上进行具体阐述并输出报告。

根据本发明优选的，所述多模态信息感知与采集模块包括图像感知采集单元和语音感知采集单元，所述图像感知采集单元和语音感知采集单元同步感知并采集原始数据。

所述图像感知采集单元利用教室摄像监控系统感知采集学生原始图像；所述语音感知采集单元利用录音设备感知采集课堂教学的语音数据。

根据本发明优选的，所述多模态数据智能识别模块包括学生实时定位单元、学生实时行为分类识别单元和师生实时语音互动分类识别单元。

所述学生实时定位单元用于确定教室中每名学生的座位位置，所述学生实时定位单元在课堂开始后即启动运行；在教室摄像设备基础上，采用基于大数据的人脸识别技术，在学生进入课堂时，采集学生的实时人脸图像，从人脸图像中提取特征值，分析学生的人脸图像数据，将识别结果结合所述课堂上下文知识库模块，从而确定课堂学生的位置和基本信息，基本信息包括学生姓名、学号、专业、班级、课程名称。

所述学生实时行为分类识别单元用于对学生课堂行为进行实时的分类识别，即在前期数据采集的基础上，利用数字图像处理技术和计算机视觉算法对采集的数据进行处理，完成对学生行为的智能分类识别，区分多种学习行为和多种非学习行为；学习行为如听课、举手、阅读等体现学生学习的行为，非学习行为包括玩手机、趴桌子、聊天等体现与学习无关的行为。所述学生行为分类识别单元还记录学生各种行为的持续时间，并上传至课堂上下文知识库模块存储后进行后续分析。

所述师生实时语音互动分类识别单元用于实时识别并记录课堂师生语音互动，该师生语音互动分类识别单元的录音设备安置在教室内，在上课后即启动运行，直接将采集到的语音数据上传至所述课堂上下文知识库模块中语音知识库单元中存储，利用语义识别技术自动识别教师和学生语音互动信号，并统计识别到的师生语音互动的时间点和时间段，此类型语义识别区分多种学习性语音互动和非学习性语音互动。语音分类大数据标准根据授课类型和教学特点灵活设定，并存储于所述语音知识库单元。如按照语音中的关键词实现分类，学习性语音互动包括“明白吗”、“懂吗”、“理解吗”、“不懂”、“不太明白”、以及涉及学习的讨论等两人以上的交替语音，除了一些特征明显的学习性语音互动外均可定义为非学习性语音互动。

根据本发明优选的，所述学生课堂状态判断模块包括全学习状态单元、间歇性学习状态单元和非学习状态单元。

所述全学习状态单元通过数据采集和分类识别判定某学生的课堂行为在规定更新的时间内(如间隔1分钟或3分钟)是学习行为，则判定为学习状态。

所述间歇性学习状态单元通过数据采集的和分类识别判定某学生的课堂行为在规定更新的时间内(如间隔1分钟或3分钟)既有学习行为也有非学习行为，则判定为间歇性学习状态。

所述非学习状态单元通过数据采集的和分类识别判定某学生的课堂行为在规定更新的时间内(如间隔1分钟或3分钟)是非学习行为，则判定为非学习状态。

根据本发明优选的，所述学生课堂状态指示模块包括教师端指示单元和学生端指示单元。

所述教师端指示单元将学生的位置和定义的三种学生课堂状态通过讲桌上单独的可触控LCD显示器或教室多媒体电脑/大屏、教师手机等(具体终端及型号可根据功能和需求实现配置)和相关的软件直观地向教师进行指示，教师根据显示结果及时做出触控点名式的干预。

可触控LCD显示器主要为一种指示具体位置状态信息的LCD显示器。主体电路包括CPU控制电路、位置信息指示电路、位置输入及指示电路和串行数据通信电路，CPU控制电路通过串行数据通信电路接收所述学生实时定位单元的位置状态信息，位置状态信息则结合人脸识别技术实现位置定位。驱动位置信息指示屏指示出每个学生的课堂状态：当对应姓名以绿色指示时，表示该位置的学生处于全学习状态；当对应姓名以黄色指示时，表示该位置的学生处于间歇性学习状态；当对应姓名以红色指示时，表示该位置的学生处于非学习状态。也就是说，所述课堂状态输出模块用红、黄、绿三种颜色表示该位置学生的三种学习状态。

所述学生端指示单元安装于学生的课桌上，是同样具有红、黄、绿三种显示功能LCD显示屏的，包括控制器、译码器、信号接收器和LCD显示屏，当判定学生为某一课堂状态时，计算机系统给所述学生端指示单元中控制器一个脉冲信号，该脉冲信号用于控制LCD显示屏的状态显示。

根据本发明优选的，所述学生课堂状态调整模块包括手动调整单元和自动调整单元。

所述手动调整单元是通过教师讲桌上的LCD触控式液晶指示器显示的学生姓名及状态，对处于非学习状态的学生，由教师对相应的学生通过触控屏的点名督促学生调整学习状态。

所述自动调整单元是通过学生课桌上安装同步显示状态的LCD显示屏，自行调整课堂状态。即如计算机系统判定学生在课堂教学中处于非学习状态，则会通过课桌LCD显示屏闪烁的方式提醒学生注意听课，以此达到自动调整的目的。

根据本发明优选的，所述课堂上下文知识库模块包括行为知识库单元、语音知识库单元、学生基本信息知识库单元、状态分析知识库单元。

所述行为知识库单元用于存储行为的数量和种类，并存储所述学生实时行为分类识别单元得到的学生的学习行为和多种非学习行为以及学生各种行为的持续时间。行为的数量和种类根据具体学科和教学特点灵活设定。

所述语音知识库单元用于存储采集到的语音数据，以及所述师生实时互动语音分类识别单元得到的多种学习性语音互动和非学习性语音互动，以及师生语音互动交流的时间点和时间段。

所述学生基本信息知识库单元用于存储学生的姓名、学号、班级、课程名称。

所述状态分析知识库单元用于存储学生行为分类识别的数据并进行状态判断和存储。具体通过将学生行为的数据与规定的状态判断标准进行比较，输出判断结果，并将判断显示的结果进行存储，用于下一步的状态数据比较分析。

根据本发明优选的，所述多模态数据分析模块包括学生行为分析单元和师生语音互动分析单元。

所述学生行为分析单元用于对学生课堂行为进行分析，通过统计每个学生在课堂教学过程中的各种学习行为和非学习行为及其持续的时间，分析不同行为在课堂学习过程中的不同时间占比，从行为方面展现课堂中每个学生和所有学生整体的学习情况，包括学生个体有效学习行为指数、课堂学生平均有效学习行为指数和课堂瞬时学生学习行为效率指数三个指标。

学生个体有效学习行为指数的计算公式定义为：

式(1)中，I_si表示第i个学生个体有效学习行为指数，i＝1,2,…,N_s；T表示课堂持续时间(例如50min)，T_{si_j}表示第i个学生在课堂中第j次学习行为所用的时间，j＝1,2,…,N_bi；N_bi表示第i个学生课堂中所出现学习行为的总的次数；

课堂学生平均有效学习行为指数的计算公式定义为：

式(2)中，I_se表示课堂学生平均有效学习行为指数；I_si表示课堂中第i个学生的学生个体有效学习行为指数，i＝1,2,…,N_s，N_s表示参与课堂的学生总人数。

课堂瞬时学生学习行为效率指数的计算公式定义为：

式(3)中，E_sb表示课堂瞬时学生学习行为效率指数；N_ss表示课堂中某一时刻有学习行为的学生人数，N_s表示参与课堂的学生总人数；

利用课堂数据智能识别出的师生语言互动的时间和次数，通过以下指标分析除了一些特征明显的学习性语音互动外均可定义为非学习性语音互动，指标包括学生课堂师生语音互动时间、课堂师生语音互动总时间和课堂师生语音互动效率三个指标。

师生语音互动时间的计算公式定义为：

式(4)中，T_si-t表示第i个学生课堂师生语音互动总时间，i＝1,2,…,N_s；T_si-tj表示第i个学生在课堂中与教师的第j次语音互动的时间，j＝1,2,…,N_vi。N_vi表示第i个学生在课堂中与教师的语音互动次数，第i个学生课堂师生语音互动时间与公式(1)求得的第i个学生个体有效学习行为指数共同形成对第i个学生课堂表现的分析指标；

课堂师生语音互动总时间计算公式定义为：

式(5)中，T_{s_t}表示课堂师生语音互动总时间，T_{si_t}表示课堂中第i个学生与教师语音互动总时间，i＝1,2,…,N_s。课堂师生语音互动总时间与公式(2)中课堂学生平均有效学习行为指数共同形成对课堂学习表现的分析指标。

课堂师生语音互动效率计算公式定义为：

式(6)中，E_st表示课堂师生语音互动效率，T_s-t表示课堂师生语音互动总时间。N_s表示参与课堂的学生总人数，T表示课堂持续时间(例如50min)。课堂师生语音互动效率与公式(3)中课堂瞬时学生行为效率共同组成对课堂学习效率的分析指标。

课堂状态报告包括基于学生行为的学生个体有效学习行为指数、课堂学生平均有效学习行为指数和课堂瞬时学生学习行为效率指数三个指标和基于语义识别的学生课堂师生语音互动时间、课堂师生语音互动总时间和课堂师生语音互动效率三个指标的分析阐述。同时，结合所述学生课堂状态显示模块对每个学生的上课状态进行数据化的呈现及分析阐述。所述学生课堂状态报告输出模块将在各种指标数据的基础上，结合对应报告建议的数据库给予相应的分析及教学评价和改进建议。

一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒方法，包括步骤如下：

S01：多模态信息感知与采集

利用教室的摄像头监控设备，首先，采集每个座位学生的人脸图像；其次，开始定时采集(采集的时间间隔可以根据系统要求设置，如每秒钟、每10秒、每分钟等)课堂的视频数据，与此同时，利用安置在教室内的录音设备，在上课期间自动启动并全程运行，采集语音数据；最后将采集到的语音数据和图像数据上传至服务器中存储。

S02：多模态数据检测

将步骤S01获取的学生课堂行为原始图像数据进行图像数据数字化处理，即其次利用计算机视觉算法、数字图像处理技术对该原始图像进行采样、量化、编码，得到有限数字数值像素表示的二维数字图像。同时，对所采集到的声音信号进行滤波、分帧等预处理工作，把要识别的信号从原始信号中提取出来。

S03：学生实时定位

在课堂开始后即启动实时定位，结合学生基本信息知识库，在教室摄像设备基础上，利用基于深度学习的先进人脸识别算法，实现对学生身份的精准认证，并结合学生基本信息知识库单元导入学生的姓名、学号、班级、课程等信息。实现了学生课堂实时定位及记录考勤的功能。

S04：多模态数据智能识别

学生实时行为分类识别是在图像数据采集的基础上，对课堂学生行为进行实时的分类识别。为下一步实现学生行为的分析提供数据支撑。

通过步骤S02获取的图像数据对学生的课堂行为进行分类识别，即利用人工智能技术中的数字图像处理算法和计算机视觉算法对步骤S02获取的帧图像数据进行处理，完成对学生行为的智能分类识别，区分多种学习行为和多种非学习行为；

进一步优选的，所述步骤S04，通过步骤S02获取的帧图像数据对学生的课堂行为进行分类识别，包括步骤如下：

a、通过提取步骤S02二维数字图像中学生的课堂行为信息的尺度不变特征变换(SIFT,Scale-Invariant Feature Transform)特征和方向梯度直方图(HOG,Histogram ofOriented Gradients)特征，得到特征矩阵；

b、将特征矩阵输入到SVM分类器和KNN分类器中进行学生若干学习行为、非学习行为的识别。

将同步采集的语音数据上传至服务器的数据库中存储，利用人工智能语义识别技术自动识别教师和学生交流语音信号，并统计识别到的师生语音互动交流的时间点和时间段，此类型语义识别区分多种学习性语音互动和非学习性语音互动；如区分讲解性语音互动和讨论性语音互动，语音分类大数据标准根据授课类型和教学机构灵活设定。

S05：课堂状态判断和师生互动判断

通过步骤S04中得到的学生行为，从学生行为方面判断学生的课堂状态，具体通过识别的学生行为并结合状态上下文知识库的判断依据来判断学生何种学习状态；通过数据采集的和分类识别判定某学生的课堂行为在规定更新的时间内(如间隔1分钟或3分钟)是学习行为，则判定为学习状态；通过数据采集的和分类识别判定某学生的课堂行为在规定更新的时间内(如间隔1分钟或3分钟)既有学习行为也有非学习行为，则判定为间歇性学习状态；通过数据采集的和分类识别判定某学生的课堂行为在规定更新的时间内(如间隔1分钟或3分钟)是非学习行为，则判定为非学习状态。

通过步骤S04中得到的师生互动语音数据，结合语义上下文知识库中师生互动语音的判断依据，判定语音数据是否为师生互动语音，如判定为是，则进行存储；如判定为否，则不进行存储记录。

S06：学生课堂状态指示及存储

通过步骤S05中学生课堂状态判断，基于学生行为的智能识别实现学生课堂状态的指示；

区分教师指示端和学生指示端。教师指示端主要依托一种指示具体位置状态信息的可触摸式LCD显示器。主体电路由CPU控制电路，位置信息指示电路，位置输入及指示电路和串行数据通信电路组成。CPU控制电路通过串行数据通信电路接收所述学生实时定位单元的位置状态信息，位置状态信息则结合人脸识别技术实现位置定位。最终，LCD显示器上显示某个位置的某个同学的姓名、学习状态以及实时的图像框体，也可显示该学生的证件照。当对应姓名以绿色指示时，表示该位置的学生处于全学习状态；当对应姓名以黄色指示时，表示该位置的学生处于间歇性学习状态；当对应姓名以红色指示时，表示该位置的学生处于非学习状态。也就是说，所述课堂状态输出模块用红、黄、绿三种颜色表示该位置学生的三种学习状态。

学生指示端将安装于学生的课桌上，是具有红、黄、绿三种显示功能的LED指示灯，其由控制器、译码器、信号接收器和LED指示灯组成。当计算机判定学生为某一课堂状态时，计算机系统会给学生显示单元中控制器一个信号，该信号将被用于控制LED指示灯的显示。当指示灯是以绿色指示时，表示该位置的学生处于全学习状态；当指示灯是黄色指示时，表示该位置的学生处于间歇性学习状态；当指示灯是红色指示时，表示该位置的学生处于非学习状态。

同步，将实现的学生课堂状态和师生语音互动的判断结果上传至状态上下文知识库和语音知识库进行存储，为下一步的多模态数据分析提供数据。

S07：学生课堂状态调整、多模态数据分析

将步骤S06的指示结果显示在教师端显示器和学生端指示灯上，教师通过讲桌上的LCD触控显示器，对没有处于学习状态的学生，教师将通过手动触控屏点名的方式进行手动调整。或者，学生根据课桌上安装同步显示状态的LED指示灯，通过LED指示灯的闪烁提醒自我调整课堂状态。如果系统判定学生在课堂教学中处于非学习状态，则会通过课桌指示灯不间断闪烁的方式提醒学生调整课堂状态。

同时，在步骤S06通过记录学生课堂中不同行为和师生语音互动的人数及具体学生姓名，用于评价学生参与课堂学习的情况，如学习行为效率、参与程度、语音互动等，最终通过大数据分析处理反映课堂学生的学习效果，为教务、教师、学生和家长提供学生在课堂学习过程中的主要表现数据。

通过统计每个学生在课堂教学过程中的各种学习行为和非学习行为以及行为持续的时间，分析不同行为在课堂学习过程中的不同时间占比，分析同一类学习行为或非学习行为的不同时间占比，从行为方面展现课堂中每个学生和所有学生整体的学习情况，包括学生个体有效学习行为指数、课堂学生平均有效学习行为指数和课堂瞬时学生学习行为效率指数三个指标。

学生个体有效学习行为指数的计算公式如式(1)所示：

式(1)中，I_si表示第i个学生个体有效学习行为指数，i＝1,2,…,N_s；T表示课堂持续时间(例如50min)，T_si-j表示第i个学生在课堂中第j次学习行为所用的时间，j＝1,2,…,N_bi；N_bi表示第i个学生课堂中所出现学习行为的总的数量；

课堂学生平均有效学习行为指数的计算公式如式(2)所示：

式(2)中，I_se表示课堂学生平均有效学习行为指数；I_si表示课堂中第i个学生的学生个体有效学习行为指数，i＝1,2,…,N_s，N_s表示参与课堂的学生总人数。

课堂瞬时学生学习行为效率指数的计算公式如式(3)所示：

式(3)中，E_sb表示课堂瞬时学生学习行为效率指数；N_ss表示课堂中某一时刻有学习行为的学生人数，N_s表示参与课堂的学生总人数；

利用课堂数据智能识别出的师生语言互动的时间和次数，通过以下指标分析除了一些特征明显的学习性语音互动外均可定义为非学习性语音互动，指标包括学生课堂师生语音互动时间、课堂师生语音互动总时间和课堂师生语音互动效率三个指标。

师生语音互动时间的计算公式如式(4)所示：

式(4)中，T_{si_t}表示第i个学生课堂师生语音互动总时间，i＝1,2,…,N_s；T_{si_tj}表示第i个学生在课堂中与教师的第j次语音互动的时间，j＝1,2,…,N_vi。N_vi表示第i个学生在课堂中与教师的语音互动次数，第i个学生课堂师生语音互动时间与公式(1)求得的第i个学生个体有效学习行为指数共同形成对第i个学生课堂表现的分析指标；

课堂师生语音互动总时间计算公式如式(5)所示：

式(5)中，T_{s_t}表示课堂师生语音互动总时间，T_{si_t}表示课堂中第i个学生与教师语音互动总时间，i＝1,2,…,N_s；。课堂师生语音互动总时间与公式(2)中课堂学生平均有效学习行为指数共同形成对课堂学习表现的分析指标。

课堂师生语音互动效率计算公式如式(6)所示：

式(6)中，E_st表示课堂师生语音互动效率，T_{s_t}表示课堂师生语音互动总时间。N_s表示参与课堂的学生总人数，T表示课堂持续时间(例如50min)。课堂师生语音互动效率与公式(3)中课堂瞬时学生行为效率共同组成对课堂学习效率的分析指标。

S08：学生课堂状态报告输出

在S07分析数据的基础上进行具体阐述并输出教学报告。该报告主要包括：单个学生课堂学生情况，主要包括学生个体有效学习行为指数、师生语音互动时间，从这两项指标阐述单个学生的课堂学习情况及需要课堂注意的事项，并通过记录非学习状态的时间提醒学生遗漏的课堂内容。课堂整体学习情况，包括课堂学生平均有效学习行为指数、课堂瞬时学生学习行为效率、课堂师生语音互动总时间和课堂师生语音互动效率。

同时，所述学生课堂状态报告输出模块将在各种指标数据的基础上，针对出现的单个学生学习情况和整体学习情况可结合报告建议知识库或人为给予相应的分析及教学评价和改进建议。

本发明的有益效果为：

1、本发明立足课堂教学，利用基于深度学习的先进人脸识别算法，完成对人员身份的精准认证，并在此基础上实现了学生课堂实时状态的判断，并听过教师端的LCD显示器和学生端LED指示灯进行了直观的指示提醒，对课堂教学动态调整提供了实时的依据。

2、本发明实现了基于行为和师生语音互动相结合的学生课堂表现的数据分析，此种分析依托课堂学生行为和师生语音互动两种主要表现形式进行的，分析结果比较全面客观。

3、本发明从单个学生的行为分析到课堂整体学生行为的分析都有涉及，最终的分析结果既有单个学生的数据，可发送至学生手机；也有课堂所有学生整体的行为分析，可发送至老师和教学机构，对学生和教师两个主体都有帮助。

4、本发明通过师生语音互动的识别和分析，能一定程度上反映课堂学生学习的积极性和教师教学的多样性和吸引力。

附图说明

图1为本发明基于行为和语音智能识别的实时课堂学生状态分析与指示提醒系统框架结构示意图；

图2为本发明基于行为和语音智能识别的实时课堂学生状态分析与指示提醒系统的工作流程框图；

具体实施方式

下面结合说明书附图和实施例对本发明作进一步限定，实际应用不限于此。

实施例1

一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒系统，如图1所示，包括多模态信息感知与采集模块、多模态数据智能识别模块、课堂上下文知识库模块、多模态数据分析模块、学生课堂状态报告输出模块、学生课堂状态判断模块、学生课堂状态指示模块和学生课堂状态调整模块；

多模态信息感知与采集模块、多模态数据智能识别模块、课堂上下文知识库模块、多模态数据分析模块、学生课堂状态报告输出模块依次连接；多模态数据智能识别模块、学生课堂状态判断模块、学生课堂状态指示模块和学生课堂状态调整模块依次相连；学生课堂状态报告输出模块、课堂上下文知识库模块、学生课堂状态判断模块依次相连；

多模态信息感知与采集模块用于对教学过程中学生原始图像和语音数据的感知和采集，并将采集到的学生原始图像和语音数据发送至多模态数据智能识别模块。学生原始图像是指学生以及课堂环境的图像，语音数据是指课堂教学时师生互动时产生的语音数据。学生原始图像和语音数据的采集时间为整个课堂过程。其中，图像数据的采集先利用教室摄像头采集整个课堂的视频，并将视频剪成一帧一帧的图片，从而完成对原始数据的采集；语音数据的音频采样频率可设置为16KHz，即1s时间内采样16000个数据点。

多模态数据智能识别模块用于将采集到的学生原始图像和语音数据进行分类识别。该模块在图像和语音数据采集的基础上，利用现有数字图像处理技术、计算机视觉算法、语义识别技术对采集的数据进行处理，完成对学生行为、师生语音互动的智能分类识别。

学生课堂状态判断模块用于从学生行为方面判断学生的课堂状态，即通过学生课堂行为的智能识别来判断学生处于何种学习状态。

学生课堂状态指示模块用于基于已判定的学生课堂状态实现学生课堂状态的指示。该模块针对学生课堂状态，结合所述课堂上下文知识库模块中的学生基本信息知识库单元，显示具体的学生信息及实时的课堂状态。设定判定状态的时间间隔即状态更新时间(如每分钟、每3分钟等)。所述学生课堂状态指示模块主要包括计算机、连接线、教师端LCD触控显示器或教室多媒体电脑/大屏、教师手机、学生端LED指示灯等(具体终端及型号可根据功能和需求实现配置)和相关的软件。

学生课堂状态调整模块用于让教师根据学生状态的指示，进行干预调整。根据教师讲桌上的LCD触控显示器指示的学生姓名及状态，对没有处于学习状态的学生，教师将通过手动触控屏点名的方式进行手动调整。学生也可根据课桌上安装同步指示示状态的LED指示灯，学生收到提示后，提醒修正自己的课堂状态。学生端的指示灯也具有三种状态的指示功能，如计算机系统判定学生在课堂教学中处于非学习状态(系统根据学生非学习行为持续的时间判定，非学习行为如趴桌子、聊天、玩手机等)，则会通过课桌指示灯不间断闪烁的方式提醒学生注意听课。

课堂上下文知识库模块为所述多模态数据智能识别模块提供特征参数及具体识别算法的指导，同时为多模态数据分析模块和所述学生课堂状态指示模块提供历史课堂上下文及各种既定指标要求。另一方面，多模态数据智能识别模块、多模态数据分析模块和学生课堂状态指示模块将系统运行过程中产生的各类课堂上下文信息存储到课堂上下文知识库模块以作为历史课堂上下文为系统提供参考。学生课堂状态报告输出模块将分析结果形成输出报告反馈到课堂上下文知识库模块以实时调整系统状态，实现系统的自适应性。

多模态数据分析模块用于分析和评价学生参与课堂学习的情况。学生参与课堂学习的情况包括学生个体有效学习行为指数、课堂学生平均有效学习行为指数、课堂瞬时学生学习行为效率指数、师生语音互动时间、课堂师生语音互动总时间和课堂师生语音互动效率，最终通过大数据处理反映学生课堂的学习效果，分析得到科学的课堂质量指标数据；学生课堂数据分析模块还通过记录学生课堂中不同行为和与师生语言互动的次数和时间，包括具体的互动人数和互动学生名字，为教师讲评学生课堂表现提供数据。

学生课堂状态报告输出模块用于在多模态数据分析模块分析数据的基础上进行具体阐述并输出报告。

实施例2

根据实施例1所述的一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒系统，其区别在于：

多模态信息感知与采集模块包括图像感知采集单元和语音感知采集单元，图像感知采集单元和语音感知采集单元同步感知并采集原始数据。

图像感知采集单元利用教室摄像监控系统感知采集学生原始图像；语音感知采集单元利用录音设备感知采集课堂教学的语音数据。

多模态数据智能识别模块包括学生实时定位单元、学生实时行为分类识别单元和师生实时语音互动分类识别单元。

学生实时定位单元用于确定教室中每名学生的座位位置，所述学生实时定位单元在课堂开始后即启动运行；在教室摄像设备基础上，采用基于大数据的人脸识别技术，在学生进入课堂时，采集学生的实时人脸图像，从人脸图像中提取特征值，分析学生的人脸图像数据，将识别结果结合课堂上下文知识库模块，从而确定课堂学生的位置和基本信息，基本信息包括学生姓名、学号、专业、班级、课程名称。

学生实时行为分类识别单元用于对学生课堂行为进行实时的分类识别，即在前期数据采集的基础上，利用数字图像处理技术和计算机视觉算法对采集的数据进行处理，完成对学生行为的智能分类识别，区分多种学习行为和多种非学习行为；学习行为如听课、举手、阅读等体现学生学习的行为，非学习行为包括玩手机、趴桌子、聊天等体现与学习无关的行为。学生行为分类识别单元还记录学生各种行为的持续时间，并上传至课堂上下文知识库模块存储后进行后续分析。

师生实时语音互动分类识别单元用于实时识别并记录课堂师生语音互动，该师生语音互动分类识别单元的录音设备安置在教室内，在上课后即启动运行，直接将采集到的语音数据上传至课堂上下文知识库模块中语音知识库单元中存储，利用语义识别技术自动识别教师和学生语音互动信号，并统计识别到的师生语音互动的时间点和时间段，此类型语义识别区分多种学习性语音互动和非学习性语音互动。语音分类大数据标准根据授课类型和教学特点灵活设定，并存储于所述语音知识库单元。如按照语音中的关键词实现分类，学习性语音互动包括“明白吗”、“懂吗”、“理解吗”、“不懂”、“不太明白”、以及涉及学习的讨论等两人以上的交替语音，除了一些特征明显的学习性语音互动外均可定义为非学习性语音互动。

学生课堂状态判断模块包括全学习状态单元、间歇性学习状态单元和非学习状态单元。

全学习状态单元通过数据采集和分类识别判定某学生的课堂行为在规定更新的时间内(如间隔1分钟或3分钟)是学习行为，则判定为学习状态。

间歇性学习状态单元通过数据采集的和分类识别判定某学生的课堂行为在规定更新的时间内(如间隔1分钟或3分钟)既有学习行为也有非学习行为，则判定为间歇性学习状态。

非学习状态单元通过数据采集的和分类识别判定某学生的课堂行为在规定更新的时间内(如间隔1分钟或3分钟)是非学习行为，则判定为非学习状态。

学生课堂状态指示模块包括教师端指示单元和学生端指示单元。

教师端指示单元将学生的位置和定义的三种学生课堂状态通过讲桌上单独的可触控LCD显示器或教室多媒体电脑/大屏、教师手机等(具体终端及型号可根据功能和需求实现配置)和相关的软件直观地向教师进行指示，教师根据显示结果及时做出触控点名式的干预。

可触控LCD显示器主要为一种指示具体位置状态信息的LCD显示器。主体电路包括CPU控制电路、位置信息指示电路、位置输入及指示电路和串行数据通信电路，CPU控制电路通过串行数据通信电路接收所述学生实时定位单元的位置状态信息，位置状态信息则结合人脸识别技术实现位置定位。驱动位置信息指示屏指示出每个学生的课堂状态：当对应姓名以绿色指示时，表示该位置的学生处于全学习状态；当对应姓名以黄色指示时，表示该位置的学生处于间歇性学习状态；当对应姓名以红色指示时，表示该位置的学生处于非学习状态。也就是说，所述课堂状态输出模块用红、黄、绿三种颜色表示该位置学生的三种学习状态。

学生端指示单元安装于学生的课桌上，是同样具有红、黄、绿三种显示功能LCD显示屏的，包括控制器、译码器、信号接收器和LCD显示屏，当判定学生为某一课堂状态时，计算机系统给所述学生端指示单元中控制器一个脉冲信号，该脉冲信号用于控制LCD显示屏的状态显示。

学生课堂状态调整模块包括手动调整单元和自动调整单元。

手动调整单元是通过教师讲桌上的LCD触控式液晶指示器显示的学生姓名及状态，对处于非学习状态的学生，由教师对相应的学生通过触控屏的点名督促学生调整学习状态。

自动调整单元是通过学生课桌上安装同步显示状态的LCD显示屏，自行调整课堂状态。即如计算机系统判定学生在课堂教学中处于非学习状态，则会通过课桌LCD显示屏闪烁的方式提醒学生注意听课，以此达到自动调整的目的。

课堂上下文知识库模块包括行为知识库单元、语音知识库单元、学生基本信息知识库单元、状态分析知识库单元。

行为知识库单元用于存储行为的数量和种类，并存储所述学生实时行为分类识别单元得到的学生的学习行为和多种非学习行为以及学生各种行为的持续时间。行为的数量和种类根据具体学科和教学特点灵活设定。

语音知识库单元用于存储采集到的语音数据，以及所述师生实时互动语音分类识别单元得到的多种学习性语音互动和非学习性语音互动，以及师生语音互动交流的时间点和时间段。

学生基本信息知识库单元用于存储学生的姓名、学号、班级、课程名称。

状态分析知识库单元用于存储学生行为分类识别的数据并进行状态判断和存储。具体通过将学生行为的数据与规定的状态判断标准进行比较，输出判断结果，并将判断显示的结果进行存储，用于下一步的状态数据比较分析。

实施例3

根据实施例2所述的一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒系统，其区别在于：

多模态数据分析模块包括学生行为分析单元和师生语音互动分析单元。

学生行为分析单元用于对学生课堂行为进行分析，通过统计每个学生在课堂教学过程中的各种学习行为和非学习行为及其持续的时间，分析不同行为在课堂学习过程中的不同时间占比，从行为方面展现课堂中每个学生和所有学生整体的学习情况，包括学生个体有效学习行为指数、课堂学生平均有效学习行为指数和课堂瞬时学生学习行为效率指数三个指标。

学生个体有效学习行为指数的计算公式定义为：

式(1)中，I_si表示第i个学生个体有效学习行为指数，i＝1,2,…,N_s；T表示课堂持续时间(例如50min)，T_si-j表示第i个学生在课堂中第j次学习行为所用的时间，j＝1,2,…,N_bi；N_bi表示第i个学生课堂中所出现学习行为的总的次数；

课堂学生平均有效学习行为指数的计算公式定义为：

式(2)中，I_se表示课堂学生平均有效学习行为指数；I_si表示课堂中第i个学生的学生个体有效学习行为指数，i＝1,2,…,N_s，N_s表示参与课堂的学生总人数。

课堂瞬时学生学习行为效率指数的计算公式定义为：

式(3)中，E_sb表示课堂瞬时学生学习行为效率指数；N_ss表示课堂中某一时刻有学习行为的学生人数，N_s表示参与课堂的学生总人数；

利用课堂数据智能识别出的师生语言互动的时间和次数，通过以下指标分析除了一些特征明显的学习性语音互动外均可定义为非学习性语音互动，指标包括学生课堂师生语音互动时间、课堂师生语音互动总时间和课堂师生语音互动效率三个指标。

师生语音互动时间的计算公式定义为：

式(4)中，T_{si_t}表示第i个学生课堂师生语音互动总时间，i＝1,2,…,N_s，T_{si_tj}表示第i个学生在课堂中与教师的第j次语音互动的时间，j＝1,2,…,N_vi。N_vi表示第i个学生在课堂中与教师的语音互动次数，第i个学生课堂师生语音互动时间与公式(1)求得的第i个学生个体有效学习行为指数共同形成对第i个学生课堂表现的分析指标；

课堂师生语音互动总时间计算公式定义为：

式(5)中，T_{s_t}表示课堂师生语音互动总时间，T_{si_t}表示课堂中第i个学生与教师语音互动总时间，i＝1,2,…,N_s。课堂师生语音互动总时间与公式(2)中课堂学生平均有效学习行为指数共同形成对课堂学习表现的分析指标。

课堂师生语音互动效率计算公式定义为：

式(6)中，E_st表示课堂师生语音互动效率，T_{s_t}表示课堂师生语音互动总时间。N_s表示参与课堂的学生总人数，T表示课堂持续时间(例如50min)。课堂师生语音互动效率与公式(3)中课堂瞬时学生行为效率共同组成对课堂学习效率的分析指标。

课堂状态报告包括基于学生行为的学生个体有效学习行为指数、课堂学生平均有效学习行为指数和课堂瞬时学生学习行为效率指数三个指标和基于语义识别的学生课堂师生语音互动时间、课堂师生语音互动总时间和课堂师生语音互动效率三个指标的分析阐述。同时，结合所述学生课堂状态显示模块对每个学生的上课状态进行数据化的呈现及分析阐述。所述学生课堂状态报告输出模块将在各种指标数据的基础上，结合对应报告建议的数据库给予相应的分析及教学评价和改进建议。

实施例5

一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒方法，包括步骤如下：

S01：多模态信息感知与采集

利用教室的摄像头监控设备，首先，采集每个座位学生的人脸图像；其次，开始定时采集(采集的时间间隔可以根据系统要求设置，如每秒钟、每10秒、每分钟等)课堂的视频数据，与此同时，利用安置在教室内的录音设备，在上课期间自动启动并全程运行，采集语音数据；最后将采集到的语音数据和图像数据上传至服务器中存储。

S02：多模态数据检测

将步骤S01获取的学生课堂行为原始图像数据进行图像数据数字化处理，即其次利用计算机视觉算法、数字图像处理技术对该原始图像进行采样、量化、编码，得到有限数字数值像素表示的二维数字图像。同时，对所采集到的声音信号进行滤波、分帧等预处理工作，把要识别的信号从原始信号中提取出来。

S03：学生实时定位

在课堂开始后即启动实时定位，结合学生基本信息知识库，在教室摄像设备基础上，利用基于深度学习的先进人脸识别算法，实现对学生身份的精准认证，并结合学生基本信息知识库单元导入学生的姓名、学号、班级、课程等信息。实现了学生课堂实时定位及记录考勤的功能。

S04：多模态数据智能识别

学生实时行为分类识别是在图像数据采集的基础上，对课堂学生行为进行实时的分类识别。为下一步实现学生行为的分析提供数据支撑。

通过步骤S02获取的图像数据对学生的课堂行为进行分类识别，即利用人工智能技术中的数字图像处理算法和计算机视觉算法对步骤S02获取的帧图像数据进行处理，完成对学生行为的智能分类识别，区分多种学习行为和多种非学习行为；

步骤S04，通过步骤S02获取的帧图像数据对学生的课堂行为进行分类识别，包括步骤如下：

a、通过提取步骤S02二维数字图像中学生的课堂行为信息的尺度不变特征变换(SIFT,Scale-Invariant Feature Transform)特征和方向梯度直方图(HOG,Histogram ofOriented Gradients)特征，得到特征矩阵；

b、将特征矩阵输入到SVM分类器和KNN分类器中进行学生若干学习行为、非学习行为的识别。

将同步采集的语音数据上传至服务器的数据库中存储，利用人工智能语义识别技术自动识别教师和学生交流语音信号，并统计识别到的师生语音互动交流的时间点和时间段，此类型语义识别区分多种学习性语音互动和非学习性语音互动；如区分讲解性语音互动和讨论性语音互动，语音分类大数据标准根据授课类型和教学机构灵活设定。

S05：课堂状态判断和师生互动判断

通过步骤S04中得到的学生行为，从学生行为方面判断学生的课堂状态，具体通过识别的学生行为并结合状态上下文知识库的判断依据来判断学生何种学习状态；通过数据采集的和分类识别判定某学生的课堂行为在规定更新的时间内(如间隔1分钟或3分钟)是学习行为，则判定为学习状态；通过数据采集的和分类识别判定某学生的课堂行为在规定更新的时间内(如间隔1分钟或3分钟)既有学习行为也有非学习行为，则判定为间歇性学习状态；通过数据采集的和分类识别判定某学生的课堂行为在规定更新的时间内(如间隔1分钟或3分钟)是非学习行为，则判定为非学习状态。

通过步骤S04中得到的师生互动语音数据，结合语义上下文知识库中师生互动语音的判断依据，判定语音数据是否为师生互动语音，如判定为是，则进行存储；如判定为否，则不进行存储记录。

S06：学生课堂状态指示及存储

通过步骤S05中学生课堂状态判断，基于学生行为的智能识别实现学生课堂状态的指示；

区分教师指示端和学生指示端。教师指示端主要依托一种指示具体位置状态信息的可触摸式LCD显示器。主体电路由CPU控制电路，位置信息指示电路，位置输入及指示电路和串行数据通信电路组成。CPU控制电路通过串行数据通信电路接收所述学生实时定位单元的位置状态信息，位置状态信息则结合人脸识别技术实现位置定位。最终，LCD显示器上显示某个位置的某个同学的姓名、学习状态以及实时的图像框体，也可显示该学生的证件照。当对应姓名以绿色指示时，表示该位置的学生处于全学习状态；当对应姓名以黄色指示时，表示该位置的学生处于间歇性学习状态；当对应姓名以红色指示时，表示该位置的学生处于非学习状态。也就是说，所述课堂状态输出模块用红、黄、绿三种颜色表示该位置学生的三种学习状态。

学生指示端将安装于学生的课桌上，是具有红、黄、绿三种显示功能的LED指示灯，其由控制器、译码器、信号接收器和LED指示灯组成。当计算机判定学生为某一课堂状态时，计算机系统会给学生显示单元中控制器一个信号，该信号将被用于控制LED指示灯的显示。当指示灯是以绿色指示时，表示该位置的学生处于全学习状态；当指示灯是黄色指示时，表示该位置的学生处于间歇性学习状态；当指示灯是红色指示时，表示该位置的学生处于非学习状态。

同步，将实现的学生课堂状态和师生语音互动的判断结果上传至状态上下文知识库和语音知识库进行存储，为下一步的多模态数据分析提供数据。

S07：学生课堂状态调整、多模态数据分析

将步骤S06的指示结果显示在教师端显示器和学生端指示灯上，教师通过讲桌上的LCD触控显示器，对没有处于学习状态的学生，教师将通过手动触控屏点名的方式进行手动调整。或者，学生根据课桌上安装同步显示状态的LED指示灯，通过LED指示灯的闪烁提醒自我调整课堂状态。如果系统判定学生在课堂教学中处于非学习状态，则会通过课桌指示灯不间断闪烁的方式提醒学生调整课堂状态。

同时，在步骤S06通过记录学生课堂中不同行为和师生语音互动的人数及具体学生姓名，用于评价学生参与课堂学习的情况，如学习行为效率、参与程度、语音互动等，最终通过大数据分析处理反映课堂学生的学习效果，为教务、教师、学生和家长提供学生在课堂学习过程中的主要表现数据。

通过统计每个学生在课堂教学过程中的各种学习行为和非学习行为以及行为持续的时间，分析不同行为在课堂学习过程中的不同时间占比，分析同一类学习行为或非学习行为的不同时间占比，从行为方面展现课堂中每个学生和所有学生整体的学习情况，包括学生个体有效学习行为指数、课堂学生平均有效学习行为指数和课堂瞬时学生学习行为效率指数三个指标。

学生个体有效学习行为指数的计算公式如式(1)所示：

式(1)中，I_si表示第i个学生个体有效学习行为指数，i＝1,2,…,N_s，；T表示课堂持续时间(例如50min)，T_si-j表示第i个学生在课堂中第j次学习行为所用的时间，j＝1,2,…,N_bi；N_bi表示第i个学生课堂中所出现学习行为的总的数量；

课堂学生平均有效学习行为指数的计算公式如式(2)所示：

式(2)中，I_se表示课堂学生平均有效学习行为指数；I_si表示课堂中第i个学生的学生个体有效学习行为指数，i＝1,2,…,N_s，N_s表示参与课堂的学生总人数。

课堂瞬时学生学习行为效率指数的计算公式如式(3)所示：

式(3)中，E_sb表示课堂瞬时学生学习行为效率指数；N_ss表示课堂中某一时刻有学习行为的学生人数，N_s表示参与课堂的学生总人数；

利用课堂数据智能识别出的师生语言互动的时间和次数，通过以下指标分析除了一些特征明显的学习性语音互动外均可定义为非学习性语音互动，指标包括学生课堂师生语音互动时间、课堂师生语音互动总时间和课堂师生语音互动效率三个指标。

师生语音互动时间的计算公式如式(4)所示：

式(4)中，T_si-t表示第i个学生课堂师生语音互动总时间，，i＝1,2,…,N_s，T_si-tj表示第i个学生在课堂中与教师的第j次语音互动的时间，j＝1,2,…,N_vi。N_vi表示第i个学生在课堂中与教师的语音互动次数，第i个学生课堂师生语音互动时间与公式(1)求得的第i个学生个体有效学习行为指数共同形成对第i个学生课堂表现的分析指标；

课堂师生语音互动总时间计算公式定义为：

式(5)中，T_{s_t}表示课堂师生语音互动总时间，T_{si_t}表示课堂中第i个学生与教师语音互动总时间，i＝1,2,…,N_s。课堂师生语音互动总时间与公式(2)中课堂学生平均有效学习行为指数共同形成对课堂学习表现的分析指标。

课堂师生语音互动效率计算公式如式(6)所示：

式(6)中，E_st表示课堂师生语音互动效率，T_s-t表示课堂师生语音互动总时间。N_s表示参与课堂的学生总人数，T表示课堂持续时间(例如50min)。课堂师生语音互动效率与公式(3)中课堂瞬时学生行为效率共同组成对课堂学习效率的分析指标。

S08：学生课堂状态报告输出

在S07分析数据的基础上进行具体阐述并输出教学报告。该报告主要包括：单个学生课堂学生情况，主要包括学生个体有效学习行为指数、师生语音互动时间，从这两项指标阐述单个学生的课堂学习情况及需要课堂注意的事项，并通过记录非学习状态的时间提醒学生遗漏的课堂内容。课堂整体学习情况，包括课堂学生平均有效学习行为指数、课堂瞬时学生学习行为效率、课堂师生语音互动总时间和课堂师生语音互动效率。

同时，所述学生课堂状态报告输出模块将在各种指标数据的基础上，针对出现的单个学生学习情况和整体学习情况可结合报告建议知识库或人为给予相应的分析及教学评价和改进建议。

实施例5

一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒系统和方法，如图1及图2所示；

学生的学习行为规定为：听课、举手、阅读，非学习行为规定为：玩手机、趴桌子、聊天。

师生语音互动规定为：懂了吗、明白了吗、懂了、明白了、以及涉及学习的讨论等两人以上的交替语音。

课堂人数为70人，课堂持续时间为50分钟，主要过程如下：

S01：多模态信息感知与采集

在教室的摄像头监控设备的支撑下，首先，采集某专业课堂到课的70个学生的人脸图像；其次，开始定时采集课堂的视频数据，采集的时间间隔为10秒钟。与此同时，利用安置在教室内的录音设备，在上课期间自动启动并全程运行，采集语音数据，录音设备的音频采样频率为16KHz，即1s时间内采样16000个数据点。然后将采集到的语音数据和图像数据上传至服务器中存储。

S02：多模态数据检测

将步骤S01获取的学生课堂行为原始图像数据进行图像数据数字化处理，即其次利用计算机视觉算法、数字图像处理技术对该原始图像进行采样、量化、编码，得到有限数字数值像素表示的二维数字图像。同时，对所采集到的声音信号进行滤波、分帧等预处理工作，把要识别的信号从原始信号中提取出来。

S03：学生实时定位

在课堂开始后即启动实时定位，结合学生基本信息知识库，在教室摄像设备基础上，利用基于深度学习的先进人脸识别算法，实现对学生身份的精准认证，并结合学生基本信息知识库单元导入学生的姓名、学号、班级、课程等信息。实现学生课堂实时定位及记录考勤的功能。

S04：多模态数据智能识别

学生实时行为分类识别是在图像数据采集的基础上，对课堂学生行为进行实时的分类识别。为下一步实现学生行为的分析提供数据支撑。

通过步骤S02获取的图像数据对学生的课堂行为进行分类识别，即利用数字图像处理技术和计算机视觉算法对步骤S02获取的帧图像数据进行处理，完成对学生行为的智能分类识别，区分多种学习行为和多种非学习行为；

步骤S04，通过步骤S02获取的帧图像数据对学生的课堂行为进行分类识别，包括步骤如下：

a、通过提取步骤S02中二维数字图像中学生的课堂行为信息的尺度不变特征变换SIFT特征和方向梯度直方图HOG特征，得到特征矩阵；

b、将特征矩阵输入到SVM分类器和KNN分类器中进行学生若干学习行为、非学习行为的识别。

将同步采集的语音数据上传至服务器的数据库中存储，利用语义识别技术自动识别教师和学生语音互动信号，并统计识别到的师生语音互动的时间点和时间段，此类型语义识别区分多种学习性语音互动和非学习性语音互动；如区分讲解性语音互动和讨论性语音互动，语音分类大数据标准根据授课类型和教学机构灵活设定。

S05：课堂状态判断和师生互动判断

通过步骤S04中得到的学生行为，从学生行为方面判断学生的课堂状态，具体通过识别的学生行为并结合状态上下文知识库的判断依据来判断学生何种学习状态。所述全学习状态单元如通过数据采集的和分类识别判定某学生的课堂行为在规定更新的时间内(如间隔1分钟或3分钟)是学习行为，则判定为学习状态；所述间歇性学习状态单元通过数据采集的和分类识别判定某学生的课堂行为在规定更新的时间内(如间隔1分钟或3分钟)既有学习行为也有非学习行为，则判定为间歇性学习状态；所述非学习状态单元通过数据采集的和分类识别判定某学生的课堂行为在规定更新的时间内(如间隔1分钟或3分钟)是非学习行为，则判定为非学习状态。

同时，通过步骤S04中得到的师生语音互动数据，结合语音知识库单元中师生语音互动的判断依据，判定语音数据是否为师生语音互动，如判定为是，则进行存储；如判定为否，则不进行存储记录。

S06：学生课堂状态指示及存储

通过步骤S05中学生课堂状态判断，并结合学生基本信息知识库单元，区分教师指示端和学生指示端。

教师指示端主要依托一种指示具体位置状态信息的可触摸式LCD显示器。主体电路由CPU控制电路，位置信息指示电路，位置输入及指示电路和串行数据通信电路组成。CPU控制电路通过串行数据通信电路接收所述学生实时定位单元的位置状态信息，位置状态信息则结合人脸识别技术实现位置定位。最终，LCD显示器上显示某个位置的某个同学的姓名、学习状态以及实时的图像框体，也可显示该学生的证件照。当对应姓名以绿色指示时，表示该位置的学生处于全学习状态；当对应姓名以黄色指示时，表示该位置的学生处于间歇性学习状态；当对应姓名以红色指示时，表示该位置的学生处于非学习状态。也就是说，所述课堂状态输出模块用绿、黄、红三种颜色表示该位置学生的三种学习状态。

学生指示端将安装于学生的课桌上，是具有绿、黄、红三种显示功能的LED指示灯，其由控制器、译码器、信号接收器和LED指示灯组成。当计算机判定学生为某一课堂状态时，计算机系统会给学生显示单元中控制器一个信号，该信号将被用于控制LED指示灯的显示。当指示灯是以绿色指示时，表示该位置的学生处于全学习状态；当指示灯是黄色指示时，表示该位置的学生处于间歇性学习状态；当指示灯是红色指示时，表示该位置的学生处于非学习状态。

通过判定，某一时刻70名学生中，有45名学生处于学习状态，其教师端LCD显示和学生端LED指示灯均为绿色；有15名学生处于间歇性学习状态，即在规定的时间内既有学习行为，也有非学习行为，教师端LCD显示和学生端LED指示灯均为黄色；有10名学生处于非学习状态，课堂中一直做与学习无关的行为，其教师端LCD显示和学生LED指示灯均为红色，且学生端显示为闪烁状态红色，提示学生自行调整课堂行为。

同步，将实现的学生课堂状态和师生语音互动的判断结果上传至状态上下文知识库和语音知识库进行存储，为下一步的多模态数据分析提供数据。

S07：学生课堂状态调整、多模态数据分析

将步骤S06的指示结果显示在教师端显示器和学生端指示灯上，教师通过讲桌上的LCD触控显示器，对没有处于学习状态的学生，教师将通过手动触控屏点名的方式进行手动调整。学生也可根据课桌上安装同步显示状态的LED指示灯，通过指示灯的闪烁提醒自我调整课堂状态。如果系统判定学生在课堂教学中处于非学习状态，则会通过课桌指示灯不间断闪烁的方式提醒学生调整课堂状态。

针对10名处于非学习状态的学生，教师通过教师端的LCD显示屏上对应的名字，通过触屏相应学生的姓名提醒其中4人注意上课纪律，要求其积极参与课堂学习。另外6名非学习状态的学生通过课桌上的红色闪烁的LED指示灯，自行纠正了与学习无关的行为。

同时，步骤S06后，通过记录学生课堂中不同行为和师生语音互动的人数及具体学生名字，为教师讲评提供学生课堂表现的数据统计分析，用于评价学生参与课堂学习的情况，如学习行为效率、参与程度、语音互动效率等，最终通过大数据分析处理反映课堂学生的学习效果，为教务、教师、学生和家长提供学生在课堂学习过程中的主要表现数据。

通过统计每个学生在课堂教学过程中的各种学习行为和非学习行为以及行为持续的时间，分析不同行为在课堂学习过程中的不同时间占比，分析同一类学习行为或非学习行为的不同时间占比，从行为方面展现课堂中每个学生和所有学生整体的学习情况，包括学生个体有效学习行为指数、课堂学生平均有效学习行为指数和课堂瞬时学生学习行为效率指数三个指标。

第i个学生课堂三种学习行为依次出现的时间段为3min、5min、10min、3min、2min、6min，即整堂课依次出现的6个时间段的学习行为及持续时间，故第i个学生个体有效学习行为指数的计算公式如式(1)所示：学生个体有效学习行为指数

i＝1,2,…,70，该数据可理解成第i个学生课堂的课堂学习效率，作为学生课堂状态报告的一部分。

经检测，70个学生均存在不同时间的学习行为，同理可得，其余69个学生的分别为0.64、0.58、0.77、0.62、0.83、0.79、……、0.80、0.85等

课堂学生平均有效学习行为指数的计算公式如式(2)所示：课堂学生平均有效学习行为指数

i＝1,2,…,70，同时，经学生课堂行为的识别统计，某一时刻，课堂中有60名学生存在学习行为，由此可得：

课堂瞬时学生学习行为效率指数的计算公式如式(3)所示：

课堂瞬时学生学习行为效率

利用语义识别技术识别出的学生与教师的师生语音互动的时间和次数，通过以下指标分析，除了一些特征明显的学习性语音互动外均可定义为非学习性语音互动，指标包括师生语音互动时间和课堂师生互动总时间。

通过语音数据的采集和识别，共有40个学生课堂期间和教师有语音互动交流，第i个学生课堂期间和教师的语音互动有两次，时间持续分别为3min和2min，因此，第i个学生课堂师生语音互动时间的计算公式如式(4)所示：

师生语音互动时间T_{si_t}＝T_{si_t1}+T_{si_t2}+＝3+2＝5 (4)

i＝1,2,…,40，同理，可得另外39名学生与教师的语音互动时间分别为：5min、2min、4min、……、7min、3min等。

课堂师生语音互动总时间公式如式(5)所示：

课堂师生语音互动总时间T_{s_t}＝T_{s1_t}+T_{s2_t}+T_{s3_t}+…+T_{si_t}+…+T_{s40_t}＝5+5+2+4+…+7+3＝235 (5)

课堂师生语音互动效率计算公式如式(6)所示：

课堂师生语音互动效率

S08：学生课堂状态报告输出

在S07分析数据的基础上进行具体阐述并输出教学报告。该报告主要包括：单个学生课堂学生情况，主要包括学生个体有效学习行为指数、师生语音互动时间和课堂师生语音互动效率，从这三项指标阐述单个学生的课堂学习情况及需要课堂注意的事项，并通过记录非学习状态的时间提醒学生遗漏的课堂内容。课堂整体学习情况包括：课堂学生平均有效学习行为指数、课堂瞬时学生学习行为效率、课堂师生语音互动总时间和课堂师生语音互动效率。

同时，所述学生课堂状态报告输出模块将在各种指标数据的基础上，针对出现的单个学生学习情况和整体学习情况分别可结合报告建议知识库或人为给予相应的分析及教学评价和改进建议。

实施例6

一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒系统和方法，如图1及图2所示；

学生的学习行为规定为：听课、举手、阅读，非学习行为规定为：玩手机、趴桌子、聊天。

师生语音互动规定为：懂了吗、明白了吗、懂了、明白了、以及涉及学习的讨论等两人以上的交替语音。

课堂人数为120人，课堂持续时间为50分钟，主要过程如下：

S01：多模态信息感知与采集

在教室的摄像头监控设备的支撑下，首先，采集某公共课堂到课的120个学生的人脸图像；其次，开始定时采集课堂的视频数据，采集的时间间隔为10秒。与此同时，利用安置在教室内的录音设备，在上课期间自动启动并全程运行，采集语音数据，录音设备的音频采样频率为16KHz，即1s时间内采样16000个数据点。然后将采集到的语音数据和图像数据上传至服务器中存储。

S02：多模态数据检测

将步骤S01获取的学生课堂行为原始图像数据进行图像数据数字化处理，即其次利用计算机视觉算法、数字图像处理技术对该原始图像进行采样、量化、编码，得到有限数字数值像素表示的二维数字图像。同时，对所采集到的声音信号进行滤波、分帧等预处理工作，把要识别的信号从原始信号中提取出来。

S03：学生实时定位

在课堂开始后即启动实时定位，结合学生基本信息知识库，在教室摄像设备基础上，利用基于深度学习的先进人脸识别算法，实现对学生身份的精准认证，并结合学生基本信息知识库单元导入学生的姓名、学号、班级、课程等信息。实现学生课堂实时定位及记录考勤的功能。

S04：多模态数据智能识别

学生实时行为分类识别是在图像数据采集的基础上，对课堂学生行为进行实时的分类识别。为下一步实现学生行为的分析提供数据支撑。

通过步骤S02获取的图像数据对学生的课堂行为进行分类识别，即利用数字图像处理技术和计算机视觉算法对步骤S02获取的帧图像数据进行处理，完成对学生行为的智能分类识别，区分多种学习行为和多种非学习行为；

步骤S04，通过步骤S02获取的帧图像数据对学生的课堂行为进行分类识别，包括步骤如下：

a、通过提取步骤S02中二维数字图像中学生的课堂行为信息的尺度不变特征变换SIFT特征和方向梯度直方图HOG特征，得到特征矩阵；

b、将特征矩阵输入到SVM分类器和KNN分类器中进行学生若干学习行为、非学习行为的识别。

将同步采集的语音数据上传至服务器的数据库中存储，利用语义识别技术自动识别教师和学生语音互动信号，并统计识别到的师生语音互动的时间点和时间段，此类型语义识别区分多种学习性语音互动和非学习性语音互动；如区分讲解性语音互动和讨论性语音互动，语音分类大数据标准根据授课类型和教学机构灵活设定。

S05：课堂状态判断和师生互动判断

通过步骤S04中得到的学生行为，从学生行为方面判断学生的课堂状态，具体通过识别的学生行为并结合状态上下文知识库的判断依据来判断学生何种学习状态。所述全学习状态单元如通过数据采集的和分类识别判定某学生的课堂行为在规定更新的时间内(如间隔1分钟或3分钟)是学习行为，则判定为学习状态所述间歇性学习状态单元通过数据采集的和分类识别判定某学生的课堂行为在规定更新的时间内(如间隔1分钟或3分钟)既有学习行为也有非学习行为，则判定为间歇性学习状态。所述非学习状态单元通过数据采集的和分类识别判定某学生的课堂行为在规定更新的时间内(如间隔1分钟或3分钟)是非学习行为，则判定为非学习状态。

同时，通过步骤S04中得到的师生语音互动数据，结合语音知识库单元中师生语音互动的判断依据，判定语音数据是否为师生语音互动，如判定为是，则进行存储；如判定为否，则不进行存储记录。

S06：学生课堂状态指示及存储

通过步骤S05中学生课堂状态判断，并结合学生基本信息知识库单元，区分教师指示端和学生指示端。

教师指示端主要依托一种指示具体位置状态信息的可触摸式LCD显示器。主体电路由CPU控制电路，位置信息指示电路，位置输入及指示电路和串行数据通信电路组成。CPU控制电路通过串行数据通信电路接收所述学生实时定位单元的位置状态信息，位置状态信息则结合人脸识别技术实现位置定位。最终，LCD显示器上显示某个位置的某个同学的姓名、学习状态以及实时的图像框体，也可显示该学生的证件照。当对应姓名以绿色指示时，表示该位置的学生处于全学习状态；当对应姓名以黄色指示时，表示该位置的学生处于间歇性学习状态；当对应姓名以红色指示时，表示该位置的学生处于非学习状态。也就是说，所述课堂状态输出模块用绿、黄、红三种颜色表示该位置学生的三种学习状态。

学生指示端将安装于学生的课桌上，是具有绿、黄、红三种显示功能的LED指示灯，其由控制器、译码器、信号接收器和LED指示灯组成。当计算机判定学生为某一课堂状态时，计算机系统会给学生显示单元中控制器一个信号，该信号将被用于控制LED指示灯的显示。当指示灯是以绿色指示时，表示该位置的学生处于全学习状态；当指示灯是黄色指示时，表示该位置的学生处于间歇性学习状态；当指示灯是红色指示时，表示该位置的学生处于非学习状态。

通过判定，某一时刻120名学生中，有75名学生处于学习状态，其教师端LCD显示和学生端LCD显示均为绿色；有25名学生处于间歇性学习状态，即在规定的时间内既有学习行为，也有非学习行为，教师端LCD显示和学生端LED指示灯均为黄色；有20名学生处于非学习状态，课堂中一直做与学习无关的行为，其教师端LCD显示和学生端LED指示灯均为红色，且学生端显示为闪烁状态红色，提示学生调整课堂行为。

同步，将实现的学生课堂状态和师生语音互动的判断结果上传至状态上下文知识库和语音知识库进行存储，为下一步的多模态数据分析提供数据。

S07：学生课堂状态调整、多模态数据分析

针对20名处于非学习状态的学生，教师通过教师端的LCD显示屏上对应的名字，通过触屏相应学生的姓名提醒其中4人注意上课纪律，要求其积极参与课堂学习。另外16名非学习状态的学生通过课桌上的红色闪烁的LED指示灯，自行纠正了与学习无关的行为。

同时，在步骤S06通过记录学生课堂中不同行为和师生语音互动的人数及具体学生姓名，用于评价学生参与课堂学习的情况，如学习行为效率、参与程度、语音互动等，最终通过大数据分析处理反映课堂学生的学习效果，为教务、教师、学生和家长提供学生在课堂学习过程中的主要表现数据。

通过统计每个学生在课堂教学过程中的各种学习行为和非学习行为以及行为持续的时间，分析不同行为在课堂学习过程中的不同时间占比，分析同一类学习行为或非学习行为的不同时间占比，从行为方面展现课堂中每个学生和所有学生整体的学习情况，包括学生个体有效学习行为指数、课堂学生平均有效学习行为指数和课堂瞬时学生学习行为效率指数三个指标。

第i个学生课堂三种学习行为依次出现的时间段为4min、2min、8min、3min、7min、6min，10min，即整堂课依次出现的7个时间段的学习行为及持续时间，故第i个学生个体有效学习行为指数的计算公式如式(1)所示：

学生个体有效学习行为指数

i＝1,2,…,120，该数据可理解成第i个学生课堂的课堂学习效率，作为学生课堂状态报告的一部分。

经检测识别，120名学生均存在学习行为。同理可得，其余119个学生的分别为0.32、0.48、0.79、0.61、0.53、0.48、……、0.80、0.74等

课堂学生平均有效学习行为指数的计算公式如式(2)所示：

课堂学生平均有效学习行为指数

同时，经学生课堂行为的识别统计，某一时刻，课堂中有75名学生存在学习行为，由此可得：

课堂瞬时学生学习行为效率指数的计算公式如式(3)所示：

课堂瞬时学生学习行为效率

利用语义识别技术识别出的学生与教师的师生语言互动的时间和次数，通过以下指标分析，除了一些特征明显的学习性语音互动外均可定义为非学习性语音互动，指标包括师生语音互动时间和课堂师生语音互动总时间。

通过语音数据的采集和识别，共有70个学生课堂期间和教师有语音互动交流，第i个学生课堂期间和教师的语音互动有三次，时间持续分别为1min、2min和2min，第i个学生课堂师生语音互动时间的计算公式如式(4)所示：

师生语音互动时间T_{si_t}＝T_{si_t1}+T_{si_t2}+T_{si_t3}＝1+2+2＝5 (4)

i＝1,2,…,70，同理，可得另外69名学生与教师的语音互动时间分别为：3min、2min、1min、2min、……、1min、1min等。

课堂师生语音互动总时间公式如式(5)所示：

课堂师生语音互动总时间T_{s_t}＝T_{s1_t}+T_{s2_t}+T_{s3_t}+…+T_{si_t}+…+T_s70-t＝5+3+2+1+2+…+1+1＝200 (5)

课堂师生语音互动效率计算公式如式(6)所示：

课堂师生语音互动效率

S08：学生课堂状态报告输出

在S07分析数据的基础上进行具体阐述并输出教学报告。该报告主要包括：单个学生课堂学生情况，主要包括学生个体有效学习行为指数、师生语音互动时间和课堂师生语音互动效率，从这三项指标阐述单个学生的课堂学习情况及需要课堂注意的事项，并通过记录非学习状态的时间提醒学生遗漏的课堂内容。课堂整体学习情况包括：课堂学生平均有效学习行为指数、课堂瞬时学生学习行为效率、课堂师生语音互动总时间和课堂师生语音互动效率。

同时，所述学生课堂状态报告输出模块将在各种指标数据的基础上，针对出现的单个学生学习情况和整体学习情况分别可结合报告建议知识库或人为给予相应的分析及教学评价和改进建议。

Claims (10)

1.一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒系统，其特征在于，包括多模态信息感知与采集模块、多模态数据智能识别模块、课堂上下文知识库模块、多模态数据分析模块、学生课堂状态报告输出模块、学生课堂状态判断模块、学生课堂状态指示模块和学生课堂状态调整模块；

所述多模态信息感知与采集模块、多模态数据智能识别模块、课堂上下文知识库模块、多模态数据分析模块、学生课堂状态报告输出模块依次连接；所述多模态数据智能识别模块、学生课堂状态判断模块、学生课堂状态指示模块和学生课堂状态调整模块依次相连；所述学生课堂状态报告输出模块、课堂上下文知识库模块、学生课堂状态判断模块依次相连；

所述多模态信息感知与采集模块用于对教学过程中学生原始图像和语音数据的感知和采集，并将采集到的学生原始图像和语音数据发送至所述多模态数据智能识别模块；所述学生原始图像是指学生以及课堂环境的图像，所述语音数据是指课堂教学时师生互动时产生的语音数据；

所述多模态数据智能识别模块用于将采集到的学生原始图像和语音数据进行分类识别；

所述学生课堂状态判断模块用于从学生行为方面判断学生的课堂状态，即通过学生课堂行为的智能识别来判断学生处于何种学习状态；

所述学生课堂状态指示模块用于基于已判定的学生课堂状态实现学生课堂状态的指示；

所述学生课堂状态调整模块用于让教师根据学生状态的指示，进行干预调整；

所述课堂上下文知识库模块为所述多模态数据智能识别模块提供特征参数及具体识别算法的指导，同时为所述多模态数据分析模块和所述学生课堂状态指示模块提供历史课堂上下文及各种既定指标要求；另一方面，所述多模态数据智能识别模块、多模态数据分析模块和学生课堂状态指示模块将系统运行过程中产生的各类课堂上下文信息存储到所述课堂上下文知识库模块以作为历史课堂上下文为系统提供参考；所述学生课堂状态报告输出模块将分析结果形成输出报告反馈到所述课堂上下文知识库模块以实时调整系统状态，实现系统的自适应性；

所述多模态数据分析模块用于分析和评价学生参与课堂学习的情况；学生参与课堂学习的情况包括学生个体有效学习行为指数、课堂学生平均有效学习行为指数、课堂瞬时学生学习行为效率指数、师生语音互动时间、课堂师生语音互动总时间和课堂师生语音互动效率，最终通过大数据处理反映学生课堂的学习效果，分析得到科学的课堂质量指标数据；所述学生课堂数据分析模块还通过记录学生课堂中不同行为和与师生语言互动的次数和时间，包括具体的互动人数和互动学生名字，为教师讲评学生课堂表现提供数据；

所述学生课堂状态报告输出模块用于在多模态数据分析模块分析数据的基础上进行具体阐述并输出报告。

2.根据权利要求1所述的一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒系统，其特征在于，所述多模态信息感知与采集模块包括图像感知采集单元和语音感知采集单元，所述图像感知采集单元和语音感知采集单元同步感知并采集原始数据；

所述图像感知采集单元利用教室摄像监控系统感知采集学生原始图像；所述语音感知采集单元利用录音设备感知采集课堂教学的语音数据。

3.根据权利要求1所述的一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒系统，其特征在于，所述多模态数据智能识别模块包括学生实时定位单元、学生实时行为分类识别单元和师生实时语音互动分类识别单元；

所述学生实时定位单元用于确定教室中每名学生的座位位置，所述学生实时定位单元在课堂开始后即启动运行；在教室摄像设备基础上，采用基于大数据的人脸识别技术，在学生进入课堂时，采集学生的实时人脸图像，从人脸图像中提取特征值，分析学生的人脸图像数据，将识别结果结合所述课堂上下文知识库模块，从而确定课堂学生的位置和基本信息，基本信息包括学生姓名、学号、专业、班级、课程名称；

所述学生实时行为分类识别单元用于对学生课堂行为进行实时的分类识别，即在前期数据采集的基础上，利用数字图像处理技术和计算机视觉算法对采集的数据进行处理，完成对学生行为的智能分类识别，区分多种学习行为和多种非学习行为；所述学生行为分类识别单元还记录学生各种行为的持续时间，并上传至课堂上下文知识库模块存储后进行后续分析；

所述师生实时语音互动分类识别单元用于实时识别并记录课堂师生语音互动，该师生语音互动分类识别单元的录音设备安置在教室内，在上课后即启动运行，直接将采集到的语音数据上传至所述课堂上下文知识库模块中语音知识库单元中存储，利用语义识别技术自动识别教师和学生语音互动信号，并统计识别到的师生语音互动的时间点和时间段，此类型语义识别区分多种学习性语音互动和非学习性语音互动。

4.根据权利要求1所述的一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒系统，其特征在于，所述学生课堂状态判断模块包括全学习状态单元、间歇性学习状态单元和非学习状态单元；

所述全学习状态单元通过数据采集和分类识别判定某学生的课堂行为在规定更新的时间内是学习行为，则判定为学习状态；

所述间歇性学习状态单元通过数据采集的和分类识别判定某学生的课堂行为在规定更新的时间内既有学习行为也有非学习行为，则判定为间歇性学习状态；

所述非学习状态单元通过数据采集的和分类识别判定某学生的课堂行为在规定更新的时间内是非学习行为，则判定为非学习状态。

5.根据权利要求1所述的一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒系统，其特征在于，所述学生课堂状态指示模块包括教师端指示单元和学生端指示单元；

所述教师端指示单元将学生的位置和定义的三种学生课堂状态通过讲桌上单独的可触控LCD显示器或教室多媒体电脑/大屏、教师手机和相关的软件直观地向教师进行指示，教师根据显示结果及时做出触控点名式的干预；

所述学生端指示单元安装于学生的课桌上，包括控制器、译码器、信号接收器和LCD显示屏，当判定学生为某一课堂状态时，给所述学生端指示单元中控制器一个脉冲信号，该脉冲信号用于控制LCD显示屏的状态显示。

6.根据权利要求1所述的一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒系统，其特征在于，所述学生课堂状态调整模块包括手动调整单元和自动调整单元；

所述手动调整单元是通过教师讲桌上的LCD触控式液晶指示器显示的学生姓名及状态，对处于非学习状态的学生，由教师对相应的学生通过触控屏的点名督促学生调整学习状态；

所述自动调整单元是通过学生课桌上安装同步显示状态的LCD显示屏，自行调整课堂状态。

7.根据权利要求1所述的一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒系统，其特征在于，所述课堂上下文知识库模块包括行为知识库单元、语音知识库单元、学生基本信息知识库单元、状态分析知识库单元；

所述行为知识库单元用于存储行为的数量和种类，并存储所述学生实时行为分类识别单元得到的学生的学习行为和多种非学习行为以及学生各种行为的持续时间；

所述语音知识库单元用于存储采集到的语音数据，以及所述师生实时互动语音分类识别单元得到的多种学习性语音互动和非学习性语音互动，以及师生语音互动交流的时间点和时间段；

所述学生基本信息知识库单元用于存储学生的姓名、学号、班级、课程名称；

所述状态分析知识库单元用于存储学生行为分类识别的数据并进行状态判断和存储。

8.根据权利要求1-7任一所述的一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒系统，其特征在于，所述多模态数据分析模块包括学生行为分析单元和师生语音互动分析单元；

所述学生行为分析单元用于对学生课堂行为进行分析，通过统计每个学生在课堂教学过程中的各种学习行为和非学习行为及其持续的时间，分析不同行为在课堂学习过程中的不同时间占比，从行为方面展现课堂中每个学生和所有学生整体的学习情况，包括学生个体有效学习行为指数、课堂学生平均有效学习行为指数和课堂瞬时学生学习行为效率指数三个指标；

学生个体有效学习行为指数的计算公式定义为：

式(1)中，I_si表示第i个学生个体有效学习行为指数；T表示课堂持续时间，T_{si_j}表示第i个学生在课堂中第j次学习行为所用的时间，j＝1,2,…,N_bi；N_bi表示第i个学生课堂中所出现学习行为的总的次数；

课堂学生平均有效学习行为指数的计算公式定义为：

式(2)中，I_se表示课堂学生平均有效学习行为指数；I_si表示课堂中第i个学生的学生个体有效学习行为指数，i＝1,2,…,N_s，N_s表示参与课堂的学生总人数；

课堂瞬时学生学习行为效率指数的计算公式定义为：

式(3)中，E_sb表示课堂瞬时学生学习行为效率指数；N_ss表示课堂中某一时刻有学习行为的学生人数，N_s表示参与课堂的学生总人数；

利用课堂数据智能识别出的师生语言互动的时间和次数，通过以下指标分析除了一些特征明显的学习性语音互动外均可定义为非学习性语音互动，指标包括学生课堂师生语音互动时间、课堂师生语音互动总时间和课堂师生语音互动效率三个指标；

师生语音互动时间的计算公式定义为：

式(4)中，T_{si_t}表示第i个学生课堂师生语音互动总时间，T_{si_tj}表示第i个学生在课堂中与教师的第j次语音互动的时间，j＝1,2,…,N_vi；N_vi表示第i个学生在课堂中与教师的语音互动次数，第i个学生课堂师生语音互动时间与公式(1)求得的第i个学生个体有效学习行为指数共同形成对第i个学生课堂表现的分析指标；

课堂师生语音互动总时间计算公式定义为：

式(5)中，T_{s_t}表示课堂师生语音互动总时间，T_{si_t}表示课堂中第i个学生与教师语音互动总时间，i＝1,2,…,N_s，课堂师生语音互动总时间与公式(2)中课堂学生平均有效学习行为指数共同形成对课堂学习表现的分析指标；

课堂师生语音互动效率计算公式定义为：

式(6)中，E_st表示课堂师生语音互动效率，T_{s_t}表示课堂师生语音互动总时间；N_s表示参与课堂的学生总人数，T表示课堂持续时间，课堂师生语音互动效率与公式(3)中课堂瞬时学生行为效率共同组成对课堂学习效率的分析指标。

9.一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒方法，其特征在于，包括步骤如下：

S01：多模态信息感知与采集

利用教室的摄像头监控设备，首先，采集每个座位学生的人脸图像；其次，开始定时采集课堂的视频数据，与此同时，利用安置在教室内的录音设备，在上课期间自动启动并全程运行，采集语音数据；

S02：多模态数据检测

将步骤S01获取的学生课堂行为原始图像数据进行图像数据数字化处理，即其次利用计算机视觉算法、数字图像处理技术对该原始图像进行采样、量化、编码，得到有限数字数值像素表示的二维数字图像；同时，对所采集到的声音信号进行滤波、分帧预处理工作，把要识别的信号从原始信号中提取出来；

S03：学生实时定位

在课堂开始后即启动实时定位，结合学生基本信息知识库，在教室摄像设备基础上，利用基于深度学习的先进人脸识别算法，实现对学生身份的精准认证，并结合学生基本信息知识库单元导入学生的姓名、学号、班级、课程信息；

S04：多模态数据智能识别

通过步骤S02获取的图像数据对学生的课堂行为进行分类识别，即利用人工智能技术中的数字图像处理算法和计算机视觉算法对步骤S02获取的帧图像数据进行处理，完成对学生行为的智能分类识别，区分多种学习行为和多种非学习行为；

S05：课堂状态判断和师生互动判断

通过步骤S04中得到的学生行为，从学生行为方面判断学生的课堂状态，具体通过识别的学生行为并结合状态上下文知识库的判断依据来判断学生何种学习状态；通过数据采集的和分类识别判定某学生的课堂行为在规定更新的时间内是学习行为，则判定为学习状态；通过数据采集的和分类识别判定某学生的课堂行为在规定更新的时间内既有学习行为也有非学习行为，则判定为间歇性学习状态；通过数据采集的和分类识别判定某学生的课堂行为在规定更新的时间内是非学习行为，则判定为非学习状态；

通过步骤S04中得到的师生互动语音数据，结合语义上下文知识库中师生互动语音的判断依据，判定语音数据是否为师生互动语音，如判定为是，则进行存储；如判定为否，则不进行存储记录；

S06：学生课堂状态指示及存储

通过步骤S05中学生课堂状态判断，基于学生行为的智能识别实现学生课堂状态的指示；

S07：学生课堂状态调整、多模态数据分析

教师通过讲桌上的LCD触控显示器，对没有处于学习状态的学生，教师将通过手动触控屏点名的方式进行手动调整；或者，学生根据课桌上安装同步显示状态的LED指示灯，通过LED指示灯的闪烁提醒自我调整课堂状态；

通过统计每个学生在课堂教学过程中的各种学习行为和非学习行为以及行为持续的时间，分析不同行为在课堂学习过程中的不同时间占比，分析同一类学习行为或非学习行为的不同时间占比，从行为方面展现课堂中每个学生和所有学生整体的学习情况，包括学生个体有效学习行为指数、课堂学生平均有效学习行为指数和课堂瞬时学生学习行为效率指数三个指标；

学生个体有效学习行为指数的计算公式如式(1)所示：

式(1)中，I_si表示第i个学生个体有效学习行为指数；T表示课堂持续时间，T_{si_j}表示第i个学生在课堂中第j次学习行为所用的时间，j＝1,2,…,N_bi；N_bi表示第i个学生课堂中所出现学习行为的总的数量；

课堂学生平均有效学习行为指数的计算公式如式(2)所示：

式(2)中，I_se表示课堂学生平均有效学习行为指数；I_si表示课堂中第i个学生的学生个体有效学习行为指数，i＝1,2,…,N_s，N_s表示参与课堂的学生总人数；

课堂瞬时学生学习行为效率指数的计算公式如式(3)所示：

式(3)中，E_sb表示课堂瞬时学生学习行为效率指数；N_ss表示课堂中某一时刻有学习行为的学生人数，N_s表示参与课堂的学生总人数；

利用课堂数据智能识别出的师生语言互动的时间和次数，通过以下指标分析除了一些特征明显的学习性语音互动外均可定义为非学习性语音互动，指标包括学生课堂师生语音互动时间、课堂师生语音互动总时间和课堂师生语音互动效率三个指标；

师生语音互动时间的计算公式如式(4)所示：

式(4)中，T_{si_t}表示第i个学生课堂师生语音互动总时间，T_{si_tj}表示第i个学生在课堂中与教师的第j次语音互动的时间，j＝1,2,…,N_vi；N_vi表示第i个学生在课堂中与教师的语音互动次数，第i个学生课堂师生语音互动时间与公式(1)求得的第i个学生个体有效学习行为指数共同形成对第i个学生课堂表现的分析指标；

课堂师生语音互动总时间计算公式如式(5)所示：

式(5)中，T_{s_t}表示课堂师生语音互动总时间，T_{si_t}表示课堂中第i个学生与教师语音互动总时间，i＝1,2,…,N_s；课堂师生语音互动总时间与公式(2)中课堂学生平均有效学习行为指数共同形成对课堂学习表现的分析指标；

课堂师生语音互动效率计算公式如式(6)所示：

式(6)中，E_st表示课堂师生语音互动效率，T_{s_t}表示课堂师生语音互动总时间；N_s表示参与课堂的学生总人数，T表示课堂持续时间，课堂师生语音互动效率与公式(3)中课堂瞬时学生行为效率共同组成对课堂学习效率的分析指标；

S08：学生课堂状态报告输出

在S07分析数据的基础上进行具体阐述并输出教学报告。

10.根据权利要求9所述的一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒方法，其特征在于，所述步骤S04，通过步骤S02获取的帧图像数据对学生的课堂行为进行分类识别，包括步骤如下：

a、通过提取步骤S02二维数字图像中学生的课堂行为信息的尺度不变特征变换特征和方向梯度直方图特征，得到特征矩阵；

b、将特征矩阵输入到SVM分类器和KNN分类器中进行学生若干学习行为、非学习行为的识别。

Images