CN109800663A - 基于语音和视频特征的教师教学评估方法及设备 - Google Patents

Abstract

本发明实施例提供了一种基于语音和视频特征的教师教学评估方法及设备。其中，所述方法包括：实时检测教师的肢体状态和/或语音状态；根据检测到的教师的肢体状态和/或语音状态，对教师的教学进行打分评估。本发明实施例提供的基于语音和视频特征的教师教学评估方法及设备，通过采集教师在教学中的视频和语音信息，并根据视频和语音信息进行教师教学评估打分，可以保持对教师教学的精确有效打分，并且不受教师肢体动作和复杂场景的影响，评估打分具有鲁棒性。

Description

基于语音和视频特征的教师教学评估方法及设备

技术领域

本发明实施例涉及视觉及语音处理技术领域，尤其涉及一种基于语音和视频特征的教师教学评估方法及设备。

背景技术

随着教室监控设备的增多，通过有视频监控对教师教学水平的评价方式变得越来越多。现有的方法包括：通过各种传感器获取行为信息，提取分析信息；通过人脸识别方法来实现教师行为和学生行为的监控。分析以上背景技术之后我们发现，采用传感器思路成本太高，收集信息太繁琐，精确度不高，但是通过单一的人脸特征，又很容易导致目标丢失，一旦教师低头或者背对学生板书就丢失目标。因此，提出一种加入了对老师本人的分割，关键点的检测，人物跟踪，并且保证在任一时刻都能保持对老师的跟踪，能挖掘除了人脸特征之外的动作特征，同时能够克服复杂环境影响(如光照和影子)，具有较强鲁棒性的教师教学评估方法，就成为业界广泛关注的技术问题。

发明内容

针对现有技术存在的上述问题，本发明实施例提供了一种基于语音和视频特征的教师教学评估方法及设备。

第一方面，本发明的实施例提供了一种基于语音和视频特征的教师教学评估方法，包括：实时检测教师的肢体状态和/或语音状态；根据检测到的教师的肢体状态和/或语音状态，对教师的教学进行打分评估。

进一步地，所述实时检测教师的肢体状态和/或语音状态，包括：采用人脸检测模型检测教师的脸部状态；采用关键点检测模型检测教师肢体上的关键点；采用目标分割模型将教师从背景中分割出来。

进一步地，所述教师的肢体状态，包括：站立抬头、坐下抬头、背对学生板书、坐下低头和/或离开教室。

进一步地，所述的基于语音和视频特征的教师教学评估方法，还包括：根据所述站立抬头、坐下抬头、背对学生板书、坐下低头或离开教室占总视频的比例，获取所述站立抬头、坐下抬头、背对学生板书、坐下低头或离开教室消耗的时长。

进一步地，所述教师的语音状态，包括：教师与学生对话的时长和/或教师单独讲话的时长，用于分析教师授课是否生动及课堂的活跃程度。

进一步地，所述的基于语音和视频特征的教师教学评估方法，还包括：构建高斯混合模型GMM，对教师和学生的语音进行分类。

第二方面，本发明的实施例提供了一种基于语音和视频特征的教师教学评估系统，包括：

交互终端、文件服务模块、视频服务器和Web服务器；

所述交互终端，接入视频和语音采集设备后，用于采集教师的视频和语音信息，并根据教师的视频和语音信息对教师教学进行评估打分；

所述文件服务模块，通过与大数据结合，用于分析交互终端采集的教师的视频和语音信息；

所述视频服务器，用于接收并传输并发视频或语音信息，并将视频或语音信息切片传输；

所述Web服务器，用于将教师的视频信息传输至Web客户端，并对教师的教学再一次进行评估打分；

其中，所述视频信息录制有教师的肢体状态，所述语音信息录制有教师的语音状态。

第三方面，本发明的实施例提供了一种基于语音和视频特征的教师教学评估装置，包括：

教师肢体状态和/或语音状态获取模块，用于实时检测教师的肢体状态和/或语音状态；

教师教学评分获取模块，用于根据检测到的教师的肢体状态和/或语音状态，对教师的教学进行打分评估。

第四方面，本发明的实施例提供了一种电子设备，包括：

至少一个处理器；以及

与处理器通信连接的至少一个存储器，其中：

存储器存储有可被处理器执行的程序指令，处理器调用程序指令能够执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的基于语音和视频特征的教师教学评估方法。

第五方面，本发明的实施例提供了一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令使计算机执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的基于语音和视频特征的教师教学评估方法。

本发明实施例提供的基于语音和视频特征的教师教学评估方法及设备，通过采集教师在教学中的视频和语音信息，并根据视频和语音信息进行教师教学评估打分，可以保持对教师教学的精确有效打分，并且不受教师肢体动作和复杂场景的影响，评估打分具有鲁棒性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单的介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的基于语音和视频特征的教师教学评估方法流程图；

图2为本发明实施例提供的基于语音和视频特征的教师教学评估系统的架构示意图；

图3为本发明实施例提供的基于语音和视频特征的教师教学评估装置结构示意图；

图4为本发明实施例提供的电子设备的实体结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。另外，本发明提供的各个实施例或单个实施例中的技术特征可以相互任意结合，以形成可行的技术方案，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时，应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

本发明实施例提供了一种基于语音和视频特征的教师教学评估方法，参见图1，该方法包括：

101、实时检测教师的肢体状态和/或语音状态；

102、根据检测到的教师的肢体状态和/或语音状态，对教师的教学进行打分评估。

在上述实施例的基础上，本发明实施例中提供的基于语音和视频特征的教师教学评估方法，所述实时检测教师的肢体状态和/或语音状态，包括：采用人脸检测模型(SSD，Single Shot MultiBox Detector)检测教师的脸部状态；采用关键点检测模型检测教师肢体上的关键点；采用目标分割模型(Mask R-CNN，Mask Region-Based ConvolutionalNeural Networks)将教师从背景中分割出来，从而实时获取教师的空间位置信息。

在上述实施例的基础上，本发明实施例中提供的基于语音和视频特征的教师教学评估方法，所述教师的肢体状态，包括：站立抬头、坐下抬头、背对学生板书、坐下低头和/或离开教室。

在上述实施例的基础上，本发明实施例中提供的基于语音和视频特征的教师教学评估方法，还包括：根据所述站立抬头、坐下抬头、背对学生板书、坐下低头或离开教室占总视频的比例，获取所述站立抬头、坐下抬头、背对学生板书、坐下低头或离开教室消耗的时长，以及每个动作在总视频中的时长。

在上述实施例的基础上，本发明实施例中提供的基于语音和视频特征的教师教学评估方法，所述教师的语音状态，包括：教师与学生对话的时长和/或教师单独讲话的时长，用于分析教师授课是否生动及课堂的活跃程度。

在上述实施例的基础上，本发明实施例中提供的基于语音和视频特征的教师教学评估方法，还包括：构建高斯混合模型GMM，通过语音特征提取，对教师和学生的语音进行分类。

在完成了对教师的语音和视频信息的检测后，将检测得到的数据进行打分，初步打分的信息和添加教师状态的视频文件经过文件系统的处理发送到web服务器端，服务器端对所有的教师授课的打分信息进行汇总排序，并根据教师授课情况的排名，系统再进行一次打分，得到教师的最终评价分。

本发明实施例提供的基于语音和视频特征的教师教学评估方法，通过采集教师在教学中的视频和语音信息，并根据视频和语音信息进行教师教学评估打分，可以保持对教师教学的精确有效打分，并且不受教师肢体动作和复杂场景的影响，评估打分具有鲁棒性。

在实际应用中，本发明实施例中提供的基于语音和视频特征的教师教学评估方法，是通过基于语音和视频特征的教师教学评估系统实现的，具体可以参见图2，图2中包括：

交互终端、文件服务模块、视频服务器和Web服务器；

所述交互终端，接入视频和语音采集设备后，用于采集教师的视频和语音信息，并根据教师的视频和语音信息对教师教学进行评估打分；具体地，若干台交互终端接入视频和语音采集设备，并设置账户系统，老师为获取的视频录入相关信息，并将视频经过压缩后存入本地待处理文件夹。本地工作站对文件进行处理，这部分包括对音频中的视频(不含语音)和语音的分别处理，根据处理的结果会对教师上课情况进行一次打分，打分方法在后面我们会介绍。最后我们将处理后的结果上传到视频服务器(包括打分信息和经过处理的视频文件)。交互终端还用于本地保存视频，配置脚本当磁盘容量超过80％或者日期超过七天开始删除相关视频，保证本地工作站有足够的空间存储新的视频文件。视频终端最后还用于视频断点上传，可以做到断网后视频停止上传，但是联网后可以继续上传。

所述文件服务模块，通过与大数据结合，用于分析交互终端采集的教师的视频和语音信息；具体地，文件服务模块用于为海量视频数据建立文件系统，后期可以使用hadoop/ceph等大数据技术。通过大数据平台，可以更好更快对视频文件进行分析，并且建立数据库记录每节课的视频分析结果。

所述视频服务器，用于接收并传输并发视频或语音信息，并将视频或语音信息切片传输；具体地，视频服务器用来应对有多个交互终端同时上传视频的需求，通过建立视频服务器来处理高并发视频。对于视频文件的传输，通过实现视频的切片上传，断点传输等，使用户有极佳的体验。视频处理方面还会考虑到视频编码和解码问题，从而实现分析数据和视频文件的处理。

所述Web服务器，用于将教师的视频信息传输至Web客户端，并对教师的教学再一次进行评估打分。具体地，Web服务器具有在线的视频播放功能，处理视频图像中包含的丰富处理信息，还可以查看每个教师的历史统计数据进行分析，对教师的表现进行打分。对教师之间的教学情况进行比较分析(进行数据分析及对比情况)。最后，还能够对视频信息进行编辑，对错误处理的数据进行纠正，并且可以进行基本信息维护，这些信息包括：教室信息，课程信息，课程打分和教师信息，并将相关数据导入数据库。

其中，所述视频信息录制有教师的肢体状态，所述语音信息录制有教师的语音状态。

本发明实施例提供的基于语音和视频特征的教师教学评估系统，目标是通过视频中人的姿态、动作以及位置(和其他特定物体之间的空间关系)信息，去理解(推测)学生和教师在课堂上的行为与表现。此外，我们会结合语音信息去评估教师与学生的互动情况，判断课堂的活跃程度。为了方便管理，除了需要客户端的数据处理分析，Web云端管理数据信息(即Web服务器)也是必不可少。

通过机器视觉技术监控老师的位置，表情，讲课状态，学生是否抬头专注。通过语音信息了解老师与学生的互动程度，讲课时长，情绪状态，内容是否有趣。对于这些指标信息我们提出一种量化评价方法来计算最后得分。

本发明各个实施例的实现基础是通过具有处理器功能的设备进行程序化的处理实现的。因此在工程实际中，可以将本发明各个实施例的技术方案及其功能封装成各种模块。基于这种现实情况，在上述各实施例的基础上，本发明的实施例提供了一种基于语音和视频特征的教师教学评估装置，该装置用于执行上述方法实施例中的基于语音和视频特征的教师教学评估方法。参见图3，该装置包括：

教师肢体状态和/或语音状态获取模块301，用于实时检测教师的肢体状态和/或语音状态；

教师教学评分获取模块302，用于根据检测到的教师的肢体状态和/或语音状态，对教师的教学进行打分评估。

本发明实施例提供的基于语音和视频特征的教师教学评估装置，采用师肢体状态和/或语音状态获取模块和教师教学评分获取模块，通过采集教师在教学中的视频和语音信息，并根据视频和语音信息进行教师教学评估打分，可以保持对教师教学的精确有效打分，并且不受教师肢体动作和复杂场景的影响，评估打分具有鲁棒性。

本发明实施例的方法是依托电子设备实现的，因此对相关的电子设备有必要做一下介绍。基于此目的，本发明的实施例提供了一种电子设备，如图4所示，该电子设备包括：至少一个处理器(processor)401、通信接口(Communications Interface)404、至少一个存储器(memory)402和通信总线403，其中，至少一个处理器401，通信接口404，至少一个存储器402通过通信总线403完成相互间的通信。至少一个处理器401可以调用至少一个存储器402中的逻辑指令，以执行如下方法：实时检测教师的肢体状态和/或语音状态；根据检测到的教师的肢体状态和/或语音状态，对教师的教学进行打分评估。

此外，上述的至少一个存储器402中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。例如包括：实时检测教师的肢体状态和/或语音状态；根据检测到的教师的肢体状态和/或语音状态，对教师的教学进行打分评估。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于语音和视频特征的教师教学评估方法，其特征在于，包括：

实时检测教师的肢体状态和/或语音状态；

根据检测到的教师的肢体状态和/或语音状态，对教师的教学进行打分评估。

2.根据权利要求1所述的基于语音和视频特征的教师教学评估方法，其特征在于，所述实时检测教师的肢体状态和/或语音状态，包括：

采用人脸检测模型检测教师的脸部状态；

采用关键点检测模型检测教师肢体上的关键点；

采用目标分割模型将教师从背景中分割出来。

3.根据权利要求1或2所述的基于语音和视频特征的教师教学评估方法，其特征在于，所述教师的肢体状态，包括：

站立抬头、坐下抬头、背对学生板书、坐下低头和/或离开教室。

4.根据权利要求3所述的基于语音和视频特征的教师教学评估方法，其特征在于，还包括：根据所述站立抬头、坐下抬头、背对学生板书、坐下低头或离开教室占总视频的比例，获取所述站立抬头、坐下抬头、背对学生板书、坐下低头或离开教室消耗的时长。

5.根据权利要求1或2所述的基于语音和视频特征的教师教学评估方法，其特征在于，所述教师的语音状态，包括：

教师与学生对话的时长和/或教师单独讲话的时长，用于分析教师授课是否生动及课堂的活跃程度。

6.根据权利要求5所述的基于语音和视频特征的教师教学评估方法，其特征在于，还包括：

构建高斯混合模型GMM，对教师和学生的语音进行分类。

7.一种基于语音和视频特征的教师教学评估系统，用于实现如权利要求1至6任一项所述的方法，其特征在于，包括：

交互终端、文件服务模块、视频服务器和Web服务器；

所述交互终端，接入视频和语音采集设备后，用于采集教师的视频和语音信息，并根据教师的视频和语音信息对教师教学进行评估打分；

所述文件服务模块，通过与大数据结合，用于分析交互终端采集的教师的视频和语音信息；

所述视频服务器，用于接收并传输并发视频或语音信息，并将视频或语音信息切片传输；

所述Web服务器，用于将教师的视频信息传输至Web客户端，并对教师的教学再一次进行评估打分；

其中，所述视频信息录制有教师的肢体状态，所述语音信息录制有教师的语音状态。

8.一种基于语音和视频特征的教师教学评估装置，其特征在于，包括：

教师肢体状态和/或语音状态获取模块，用于实时检测教师的肢体状态和/或语音状态；

教师教学评分获取模块，用于根据检测到的教师的肢体状态和/或语音状态，对教师的教学进行打分评估。

9.一种电子设备，其特征在于，包括：

至少一个处理器、至少一个存储器、通信接口和总线；其中，

所述处理器、存储器、通信接口通过所述总线完成相互间的通信；

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令，以执行如权利要求1至6任一项所述的方法。

10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至6中任一项所述的方法。