CN111785108A

CN111785108A - 数据处理方法、装置、电子设备及机器可读存储介质

Info

Publication number: CN111785108A
Application number: CN202010569060.0A
Authority: CN
Inventors: 沈鹏辉; 周理孟; 胡康颖
Original assignee: Hangzhou Hikvision System Technology Co Ltd
Current assignee: Hangzhou Hikvision System Technology Co Ltd
Priority date: 2020-06-19
Filing date: 2020-06-19
Publication date: 2020-10-16
Anticipated expiration: 2040-06-19
Also published as: CN111785108B

Abstract

本申请提供一种数据处理方法、装置、电子设备及机器可读存储介质，该方法包括：获取主教室的音视频信息和从教室的音视频信息；基于所述主教室的音视频信息确定教师行为属性，以及，基于所述从教室的音视频信息确定从教室的学生行为属性；基于所述教师行为属性，以及所述从教室的学生行为属性，确定所述从教室的学生听课状态。该方法可以实现从教室的学生听课状态的自动确定，为教师对从教室的管理提供数据支持。

Description

数据处理方法、装置、电子设备及机器可读存储介质

技术领域

本申请涉及互动教学技术领域，尤其涉及一种数据处理方法、装置、电子设备及机器可读存储介质。

背景技术

传统的互动录播系统依赖简单的音视频双向互动，但是受限于互动教室内部署的显示器的尺寸，在1对多互动时，即1个主教室(也可以称为主讲教室)对多个从教室(也可以称为听讲教室)，主教室的教师无法同时看清各从教室内学生的听课状态，从而授课时很难实现对从教室学生的管控。

发明内容

有鉴于此，本申请提供一种数据处理方法、装置、电子设备及机器可读存储介质。

根据本申请实施例的第一方面，提供一种数据处理方法，包括：

获取主教室的音视频信息和从教室的音视频信息；

基于所述主教室的音视频信息确定教师行为属性，以及，基于所述从教室的音视频信息确定从教室的学生行为属性；

基于所述教师行为属性，以及所述从教室的学生行为属性，确定所述从教室的学生听课状态。

根据本申请实施例的第二方面，提供一种数据处理装置，包括：

获取单元，用于获取主教室的音视频信息和从教室的音视频信息；

行为分析单元，用于基于所述主教室的音视频信息确定教师行为属性，以及，基于所述从教室的音视频信息确定从教室的学生行为属性；

处理单元，用于基于所述教师行为属性，以及所述从教室的学生行为属性，确定所述从教室的学生听课状态。

根据本申请实施例的第三方面，提供一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现第一方面的数据处理方法。

根据本申请实施例的第四方面，提供一种计算机可读存储介质，计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时实现第一方面的数据处理方法。

本申请实施例的数据处理方法，通过获取主教室的音视频信息和从教室的音视频信息，并基于主教室的音视频信息确定教师行为属性，以及，基于从教室的音视频信息确定从教室的学生行为属性，进而，基于教师行为属性，以及从教室的学生行为属性，确定从教室的学生听课状态，实现了从教室的学生听课状态的自动确定，为教师对从教室的管理提供了数据支持。

附图说明

图1是本申请一示例性实施例示出的一种数据处理方法的流程示意图；

图2是本申请一示例性实施例示出的一种确定从教室的学生听课状态的流程示意图；

图3是本申请一示例性实施例示出的一种确定从教室的学生听课状态的流程示意图；

图4是本申请一示例性实施例示出的一种互动录播音视频交互系统的架构示意图；

图5是本申请一示例性实施例示出的一种数据处理装置的结构示意图；

图6是本申请一示例性实施例示出的一种电子设备的硬件结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

为了使本领域技术人员更好地理解本申请实施例提供的技术方案，并使本申请实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请实施例中技术方案作进一步详细的说明。

请参见图1，为本申请实施例提供的一种数据处理方法的流程示意图，如图1所示，该数据处理方法可以包括以下步骤：

步骤S100、获取主教室的音视频信息和从教室的音视频信息。

本申请实施例中，可以通过主教室安装的视频采集设备和音频采集设备，分别采集主教室的视频信息和音频信息；并通过从教室安装的视频采集设备和音频采集设备分别采集从教室的视频信息和音频信息。

示例性的，一个主教室对应的从教室的数量可以为一个或多个。

步骤S110、基于主教室的音视频信息确定教师行为属性，以及，基于从教室的音视频信息确定从教室的学生行为属性。

本申请实施例中，可以基于所获取的主教室的音视频信息确定教师行为属性，并基于所获取的从教师的音视频信息确定从教室的学生行为属性。

示例性的，教师行为属性可以包括但不限于：讲授、演示、写板书、师生互动、巡视、等待等。

学生行为属性可以包括但不限于：起立回答、举手、书写、听讲、趴桌子、左顾右盼、生生交流、齐读等。

在一个示例中，基于主教室的音视频信息确定教师行为属性，可以包括：

基于主教室的视频画面，以及音频信号强度，确定主教室的教师行为属性。

示例性的，可以基于主教室的视频画面确定教师在主教室的位置信息，以及，基于主教室的音频信息，确定教师是否发出声音，以及音频信号强度(声音大小)，进而，基于教师的位置信息，以及音频信号强度，确定主教室的教师行为属性，其具体实现可以在下文中结合实例进行说明，本申请实施例在此不做赘述。

在一个示例中，基于从教室的音视频信息确定从教室的学生行为属性，可以包括：

对于任一从教室，基于该从教室学生区域的视频画面，以及学生区域的音频信号分布情况，确定该从教室的学生行为属性。

示例性的，对于任一从教室，可以基于该从教室学生区域的视频画面确定学生是否处于听课状态或存在其它行为，如趴桌子、看向其它学生、起立或举手等，并基于该从教室学生区域的音频信息，确定学生区域的音频信号的分布情况，进而，基于学生的行为画面，以及音频信号分布情况，确定该从教室的学生行为属性，其具体实现可以在下文中结合实例进行说明，本申请实施例在此不做赘述。

步骤S120、基于教师行为属性，以及从教室的学生行为属性，确定从教室的学生听课状态。

本申请实施例中，考虑到在学生正常听课的情况下，教师的行为与学生的行为是存在一定的对应关系的。

例如，正常情况下，当教师在讲授时，学生的行为应该是听讲或书写等；当教师在巡视时，学生的行为应该是书写、生生交流或齐读等。

而当教师在讲授，而学生的行为是趴桌子或者左顾右盼时，可以确定学生的听课状态较差。

因此，可以基于所确定的教师行为属性，以及从教室的学生行为属性，确定从教室的学生听课状态。

需要说明的是，在本申请实施例中，由于授课过程中，教师行为属性以及学生行为属性均可能会随着时间推移而发生变化，因此，在确定学生听课状态时，可以基于预设时间段内教师行为属性以及学生行为属性来确定，并持续基于最新获取到的主教室音视频信息和从教室音视频信息，对学生听课状态进行更新。

例如，可以基于所获取的每分钟主教室的音视频信息和从教室的音视频信息，按照图1所示方法，确定该分钟内学生听课状态。

可见，在图1所示方法流程中，通过获取主教室的音视频信息和从教室的音视频信息，并基于主教室的音视频信息确定教师行为属性，以及，基于从教室的音视频信息确定从教室的学生行为属性，进而，基于教师行为属性，以及从教室的学生行为属性，确定从教室的学生听课状态，实现了从教室的学生听课状态的自动确定，为教师对从教室的管理提供了数据支持。

在一些实施例中，本申请实施例提供的技术方案还可以包括：

基于主教室的音视频信息确定主教室的学生行为属性；

基于教师行为属性，以及主教室的学生行为属性，确定主教室的学生听课状态评分。

上述基于教师行为属性，以及从教室的学生行为属性，确定从教室的学生听课状态，可以包括：

当基于主教室的学生听课状态评分确定主教室的学生听课状态正常时，基于教师行为属性、主教室的学生行为属性以及从教室的学生行为属性，确定从教室的学生听课状态；

当基于主教室的学生听课状态评分确定主教室的学生听课状态异常时，基于教师行为属性，以及从教室的学生行为属性，确定从教室的学生听课状态。

示例性的，由于主教室是教师所在的教室，因此，正常情况下，主教室的学生行为属性应该是与教师行为属性相匹配的，且主教室的学生听课状态可以作为对从教室的学生听课状态进行评判的基准，以提高从教室的学生听课状态确定的精准性。

获取到主教室的音视频信号时，还可以基于所获取的主教室的音视频信息，确定主教室的学生行为属性。

需要说明的是，基于所获取的主教室的音视频信息，确定主教室的学生行为属性的具体实现，与基于所获取的从教室的音视频信息，确定从教室的学生行为属性的实现类似，本申请实施例在此不再赘述。

当确定了主教室的学生行为属性时，可以基于教师行为属性，以及主教室的学生行为属性，确定主教室的学生听课状态评分。

在一个示例中，基于教师行为属性，以及主教室的学生行为属性，确定主教室的学生听课状态评分，可以包括：

基于教师行为属性，以及主教室的学生行为属性，查询预设赋分策略，以确定主教室的学生听课状态评分。

示例性的，为了实现对学生听课状态进行评分，可以预先设置不同教师行为属性与不同学生行为属性的匹配分值(本文中称为预设赋分策略)。

例如，当教师行为属性为讲授时，学生行为属性为起立回答的匹配分值可以为S1，学生行为属性为举手的匹配分值可以为S2。

当确定了教师行为属性以及主教室的学生行为属性时，可以基于教师行为属性，以及主教室的学生行为属性，查询预设赋分策略，确定主教室的学生听课状态评分，并基于主教室的学生听课状态评分确定主教室的学生听课状态是否正常。

例如，可以比较主教室的学生听课状态评分与预设阈值，当主教室的听课状态评分大于等于预设阈值时，确定主教室的学生听课状态评分正常；否则，确定主教室的学生听课状态评分不正常。

当主教室的学生听课状态正常时，可以基于教师行为属性、主教室的学生行为属性以及从教室的学生行为属性，确定从教室的学生听课状态。

当主教室的学习听课状态不正常时，主教室的学生听课状态不具有参考意义，此时，可以基于教师行为属性，以及从教室的学生行为属性，确定从教室的学生听课状态。

在一个示例中，如图2所示，基于教师行为属性、主教室的学生行为属性以及从教室的学生行为属性，确定从教室的学生听课状态，可以通过以下步骤实现：

步骤S200、对于任一从教室，基于教师行为属性，以及该从教室的学生行为属性，查询预设赋分策略，以确定该从教室的第一学生听课状态评分。

步骤S210、基于主教室的学生听课状态评分，以及该从教室的第一学生听课状态评分，确定该从教室的第二学生听课状态评分。

步骤S220、基于该从教室的第二学生听课状态评分，确定该从教室的学生听课状态。

示例性的，对于任一从教室，为了确定该从教室的学生听课状态，可以基于教师行为属性，以及该从教室的学生行为属性，查询预设赋分策略，以确定该从教室的学生听课状态评分(本文中称为第一学生听课状态评分)。

进而，可以基于主教室的学生听课状态评分，以及该从教室的第一学生听课状态评分，确定该从教室的学生听课状态评分(本文中称为第二学生听课状态评分)，并基于该从教室的第二学生听课状态评分，确定该从教室的学生听课状态。

在一个示例中，如图3所示，基于教师行为属性以及从教室的学生行为属性，确定从教室的学生听课状态，可以通过以下步骤实现：

步骤S300、对于任一从教室，基于教师行为属性，以及该从教室的学生行为属性，查询预设赋分策略，以确定该从教室的第三学生听课状态评分。

步骤S310、基于该从教室的第三学生听课状态评分，确定该从教室的学生听课状态。

示例性的，当主教室的学生听课状态异常时，可以基于教师行为属性，以及从教室的学生行为属性，查询预设赋分策略，以确定该从教室的学生听课状态评分(本文中称为第三学生听课状态评分)，并基于该从教室的第三学生听课状态评分，确定该从教室的学生听课状态。

在一些实施例中，步骤S120中，确定从教室的学生听课状态之后，还可以包括：

对于任一从教室，基于该从教室的学生听课状态，以及预设听课状态显示策略，在主教室的显示装置的指定区域对该从教室的学生听课状态进行显示。

示例性的，为了使教师可以更直观地确定从教室的学生听课状态，在确定了从教室的学生听课状态之后，可以基于从教室的学生听课状态，以及预设听课状态显示策略，在主教室的显示装置的指定区域对该从教室的学生听课状态进行显示。

例如，可以基于从教室的学生听课状态评分与预设阈值的比较结果，将从教室的学生听课状态划分为不同状态，如状态好、状态正常以及状态不佳等，并分别通过不同颜色的矩形条表征不同的状态，如绿色表征状态好、黄色表征状态正常，红色表征状态不佳，进而，通过在主教室的显示装置中该从教室视频画面的显示区域的指定位置显示不同颜色的矩形条的方式，来显示该从教室的学生听课状态。

在一个示例中，对于任一从教室，当确定该从教室的学生听课状态满足告警条件，例如，连续N1次确定的该从教室的学生听课状态为状态不佳，或者，N2次确定的该从教室的学生听课状态中状态不佳的次数超过N3次时，进行告警处理。

在一些实施例中，步骤S120中，基于教师行为属性，以及从教室的学生行为属性，确定从教室的学生听课状态之前，还可以包括：

基于主教室的教师音频信号，识别教师的授课指令；

当针对主教室的授课指令与针对从教室的授课指令的类别相同时，确定执行基于教师行为属性，以及从教室的学生行为属性，确定从教室的学生听课状态的步骤。

示例性的，考虑到授课过程中，教师可能会给主教室和从教室的学生下达不同的授课指令，在该情况下，基于教师行为属性与从教室的学生行为属性确定的从教室学生听课状态通常并不准确。

因此，当获取到主教室的音视频信号时，可以基于主教室的教师音频信号，识别教师的授课指令。

当针对主教室的授课指令与针对从教室的授课指令的类别相同时，按照上述实施例中描述的方式，基于教师行为属性，以及从教室的学生行为属性，确定从教室的学生听课状态。

当针对主教室的授课指令与针对从教师的授课指令的类别不同时，可以先不进行从教室的学生听课状态的确定，直至再次识别到教室的授课指令时，基于授课指令确定是否需要确定从教室的学生听课状态。

为了使本领域技术人员更好地理解本申请实施例提供的技术方案，下面结合具体应用场景对本申请实施例提供的技术方案进行说明。

请参见图4，为本申请实施例提供的一种互动录播音视频交互系统的架构示意图，如图4所示，该系统包括部署在主教室的学生相机、教师相机、录播主机(也可以称为互动主机)、音频采集设备、音频输出设备(如音响，下同)、视频输出设备(如抬头电视，下同)，部署在从教室的学生相机、教师相机、录播主机、音频采集设备、音频输出设备、视频输出设备(系统中可以包括多个从教室，各从教室均部署上述设备，图4中以1个从教室为例)。中心端部署互动服务器和中心分析设备。

主教室的教师相机和学生相机可以采集教师和学生行为和脸部，同时音频采集设备可以分别采集学生区域和教师区域的音频信息；

主教室的视频输出设备可以输出显示从教室学生画面和互动学情反馈和提醒数据；

从教室的学生相机可以清晰采集每个学生的行为和脸部，同时音频采集设备可以采集学生区域的音频信息；

从教室的视频输出设备可以显示主讲教室授课画面。

在该实施例中，一个主教室可以对应一个或多个从教室，相对应的主教室和从教室可以被划分至同一个互动组，互动服务器中可以存储互动组与互动组中包括的主教室和从教室的信息，例如，互动组的编号，以及该互动组中主教室的ID，以及从教室的ID。

需要说明的是，教室的ID可以固定不变，教室所属的互动组可以根据实际授课情况更新。

下面对互动录播音视频交互系统中实现学情反馈提醒的具体实现进行说明：

一、音视频传输

当发起互动教学后，参与互动教学的主教室和从教室加入同一互动组，主教室和从教室的音视频信息互相传送。即每一个从教室的学生画面会传送到中心的互动服务器，并且标记每路上传图像的ID号(可以为从教室的ID)，最终传送到主教室的视频输出设备显示输出；主讲教室同理。

二、师生行为音视频分析

针对主教室进行教师和学生的音视频分析，针对从教室进行学生的音视频分析。

1、学生音视频分析

学生的视频分析主要目的为确定群体学生的行为属性作为该教室的学生行为属性，包括：起立回答、举手、书写、听讲、趴桌子、左顾右盼、生生交流、齐读。

示例性的，可以对学生行为按照个体行为和群体行为进行分类。

例如，个体行为可以包括但不限于：起立回答、举手以及趴桌子等；

群体行为可以包括但不限于：书写、听讲、左顾右盼、生生交流以及齐读等。

对学生的行为属性进行分析时，可以先检测是否存在个体行为，若存在，则以识别到的个体行为作为行为判定。

当多个个体行为同时存在的时，可以根据不同个体行为数量进行分类统计，行为数量最多者认定为当前学生的学生行为属性。

若不存在个体行为，则依据学生行为统计数量最多的属性，作为学生当前的学生行为属性。

教室内(包括主教室和从教室)可以部署多个采集麦克风，形成阵列。根据阵列部署和音频激励的音频大小，可以实现对学生声音进行分析，从而实现对学生视频分析结果进行校验。

例如，通过视频分析，容易混淆左顾右盼和生生交流(即学生与学生之间讨论)、齐读和听讲，以及起立回答和罚站等行为。

可以按照下述方式，基于音频分析确定具体的行为：

(1)左顾右盼和生生交流：若教室内检测到音频为部分区域为小声音(例如采集到的声音处于10dB～25dB的区域小于整个教室采集区域的50％)，则确定教室内学生的学生行为属性为左顾右盼伴随学生窃窃私语；若检测到大部分区域小声音(例如采集到的声音处于10dB～25dB的区域大于整个教室采集区域的50％)或者部分区域大声音(例如采集到的声音大于25dB的区域大于整个教室采集区域的50％)，则确定教室内学生的学生行为属性为生生交流。

(2)齐读和听讲：若检测到教室内大部分区域声音都很大(例如采集到的声音大于35dB的区域大于整个教室采集区域的60％)，则确定教室内学生的学生行为属性为齐读，否则，确定教室内学生的学生行为属性为学生听讲。

(3)起立回答和罚站：检测到学生起立后可识别起立学生在教室内的坐标，若教室内检测到的有单一声音激励，且激励音源坐标与视频检测到的学生起立坐标之前空间距离差小于预设距离阈值，如0.3m，则确定教室内学生的学生行为属性为起立回答。

2、教师音视频分析

教师视频分析的主要目的为确定教师行为属性：讲授、演示、写板书、师生互动、巡视、等待等行为动作。

示例性的，上述行为属性可以分为三类：传授类(讲授、演示、写板书)、交互类(师生互动、巡视)、等待类(等待)。

教师的音频分析的目的在于依据教师是否发声和关键字识别来校正教师视频分析结果，增加教师行为属性识别的精准性。示例性的，可以在教师授课区域部署单个采集麦克风，用于采集确认教师是否有说话，从而实现对教师视频分析结果进行校验。

例如，通过视频分析，容易混淆讲授和等待这类行为。

可以按照下述方式，基于音频分析确定具体的行为：

(1)讲授和等待：在教师面向学生时，若每预设周期(例如2分钟)内在授课区域检测到教师的音频信号强度大于预设强度阈值(例如35dB)的时间大于预设时长(例如60秒)，则确定教师行为属性为讲授；否则，确定教师行为属性为等待。

示例性的，为了区分讲授和等待，还可以对检测到的音频进行关键字识别，若识别到“现在开始上课”、“这节课我们来讲第*单元”、“同学们认真听讲”等关键字，则可以确定教师行为属性为讲授；或者，识别到“现在大家思考一下这道题”、“同学们一起读一下这一段”等关键字时，则可以确定教师行为属性为“等待”；否则，在未识别到指向性较强的关键字时，可以按照上述方式进行区分。

三、学情判断归一化模型

1、异步指令剔除

异步指令剔除的主要目的是剔除教师针对主教室和从教室下发不同的授课指令的情况，如让主教室的学生思考黑板上的题目，让从教室的学生听自己的讲解等。

示例性的，可以采用语音识别技术来区分异步指令。语音输入前后缓存识别区间为30秒，当检测到“我们班学生/班级/同学”、“本班级学生/班级/同学”“远端学生/班级/同学”、“远程班学生/班级/同学”或“听讲端学生/班级/同学”等关键字时，自动识别教师发出的授课指令，例如“思考”、“先写”、“请回答”、“跟我读”或“朗读”等关键字，并对主教室或从教室与授课指令进行匹配。

举例来说，如表1所示，可以依据语音和语义分析识别，提取第一层关键词并进行归类定性：

表1

如表2所示，可以依据语音和语义分析识别，提取第二层关键词并进行归类定性：

表2

若最终确定针对主教室和从教室的授课指令的类别不同，则本次学生听课状态确定流程中止；若针对主教室和从教室的授课指令的类别相同，则继续执行学生听课状态确定流程，其示意图可以如表3所示。

表3

2、师生学情状态匹配判断

在确定从教室学生听课状态前，需要先确定主教室的学生听课状态是否正常，若主教室的学生听课状态异常，则主教室的学生听课状态不作为基准参考标准。

主教室的学生听课状态：基于主教室的音视频信息确定教师行为属性，以及主教室的学生行为属性，并按照表4所示例的赋值策略，确定主教室的学生听课状态评分。

示例性的，可以每10秒确定一次主教室的学生听课状态评分，并将1分钟内6次学生听课状态评分的平均值作为主教室的学生听课状态评分，即

表4

3、从教室学生-主教室老师维度学情判断

若S_平均＜3.5，则不将主教室的学生听课状态作为从教室的学生听课状态的判断基准，采用从教室的学生行为属性和教师行为属性进行匹配赋分方式，具体策略如下：

其中，S_从平均的计算方式同S_平均，n为第n个从教室，N为教室总数(同一互动分组的教室总数，包括主教室和从教室)，130为表4所示例的赋值策略中各匹配分值的赋值总分，48为可能的赋分情况(以表4为例，教师行为属性的数量*学生行为属性的数量＝6*8＝48)。

从教室n的学生听课状态评分：

S_从n＝S′_从n

4、从教室学生-主教室学生-主教室老师维度学情判断

若S_平均≥3.5，则以主教室的学生听课状态作为从教室的学生听课状态的判断基准，具体策略如下：

其中，S_δ为S’_从n和S_主的差值的绝对值，S_主为主教室的学生听课状态评分，计算方式同S_平均。

从教室n的学生听课状态评分：

S_从n＝S”_从n

四、学情输出显示

基于从教室的学生听课状态评分，可以按照表5匹配得到学生听课状态颜色，针对匹配到的学生听课状态颜色，系统自动在主教室的视频输出设备中各从教室的画面顶部按照每分钟叠加的方式，显示学生听课状态(叠加的最大长度不超过预设长度，当达到预设长度时，自动去除最先叠加的学生听课状态颜色)。

表5

S<sub>从n</sub>≥4	绿
		3＜S<sub>从n</sub>＜4	黄
S<sub>从n</sub>≤3	红

其中，绿色代表听课状态好，黄色代表听课状态正常，红色代表听课状态不佳，每分钟的叠加会按照课程的进行形成听课状态条。

示例性的，当系统自动检测到连续3分钟听课状态不佳或者5分钟内出现3次以上的听课状态不佳，系统会自动在该从教室画面闪烁听课状态条，提醒教师及时干预。

本申请实施例中，通过获取主教室的音视频信息和从教室的音视频信息，并基于主教室的音视频信息确定教师行为属性，以及，基于从教室的音视频信息确定从教室的学生行为属性，进而，基于教师行为属性，以及从教室的学生行为属性，确定从教室的学生听课状态，实现了从教室的学生听课状态的自动确定，为教师对从教室的管理提供了数据支持。

以上对本申请提供的方法进行了描述。下面对本申请提供的装置进行描述：

请参见图5，为本申请实施例提供的一种数据处理装置的结构示意图，如图5所示，该数据处理装置可以包括：

获取单元510，用于获取主教室的音视频信息和从教室的音视频信息；

行为分析单元520，用于基于所述主教室的音视频信息确定教师行为属性，以及，基于所述从教室的音视频信息确定从教室的学生行为属性；

处理单元530，用于基于所述教师行为属性，以及所述从教室的学生行为属性，确定所述从教室的学生听课状态。

在一些实施例中，所述行为分析单元520基于所述主教室的音视频信息确定教师行为属性，包括：

基于所述主教室的视频画面，以及音频信号强度，确定所述主教室的教师行为属性。

在一些实施例中，所述行为分析单元520基于所述从教室的音视频信息确定从教室的学生行为属性，包括：

在一些实施例中，所述行为分析单元520，还用于基于所述主教室的音视频信息确定所述主教室的学生行为属性；基于所述教师行为属性，以及所述主教室的学生行为属性，确定所述主教室的学生听课状态评分；

所述处理单元530基于所述教师行为属性，以及所述从教室的学生行为属性，确定所述从教室的学生听课状态，包括：

当基于所述主教室的学生听课状态评分确定所述主教室的学生听课状态正常时，基于所述教师行为属性、所述主教室的学生行为属性以及所述从教室的学生行为属性，确定所述从教室的学生听课状态；

当基于所述主教室的学生听课状态评分确定所述主教室的学生听课状态异常时，基于所述教师行为属性，以及所述从教室的学生行为属性，确定所述从教室的学生听课状态。

在一些实施例中，所述行为分析单元520基于所述教师行为属性，以及所述主教室的学生行为属性，确定所述主教室的学生听课状态评分，包括：

基于所述教师行为属性，以及所述主教室的学生行为属性，查询预设赋分策略，以确定所述主教室的学生听课状态评分；其中，所述预设赋分策略包括不同教师行为属性与不同学生行为属性的匹配分值。

在一些实施例中，所述处理单元530基于所述教师行为属性、所述主教室的学生行为属性以及所述从教室的学生行为属性，确定所述从教室的学生听课状态，包括：

对于任一从教室，基于所述教师行为属性，以及该从教室的学生行为属性，查询预设赋分策略，以确定该从教室的第一学生听课状态评分；其中，所述预设赋分策略包括不同教师行为属性与不同学生行为属性的匹配分值；

基于所述主教室的学生听课状态评分，以及该从教室的第一学生听课状态评分，确定该从教室的第二学生听课状态评分；

基于该从教室的第二学生听课状态评分，确定该从教室的学生听课状态。

在一些实施例中，所述处理单元530基于所述教师行为属性，以及所述从教室的学生行为属性，确定所述从教室的学生听课状态，包括：

对于任一从教室，基于所述教师行为属性，以及该从教室的学生行为属性，查询所述预设赋分策略，以确定该从教室的第三学生听课状态评分；

基于该从教室的第三学生听课状态评分，确定该从教室的学生听课状态。

在一些实施例中，所述处理单元530确定所述从教室的学生听课状态之后，还包括：

对于任一从教室，基于该从教室的学生听课状态，以及预设听课状态显示策略，在所述主教室的显示装置的指定区域对该从教室的学生听课状态进行显示。

在一些实施例中，所述处理单元530，还用于对于任一从教室，当确定该从教室的学生听课状态满足告警条件时，进行告警处理。

在一些实施例中，所述处理单元530基于所述教师行为属性，以及所述从教室的学生行为属性，确定所述从教室的学生听课状态之前，还包括：

基于所述主教室的教师音频信号，识别所述教师的授课指令；

当针对所述主教室的授课指令与针对所述从教室的授课指令的类别相同时，确定执行所述基于所述教师行为属性，以及所述从教室的学生行为属性，确定所述从教室的学生听课状态的步骤。

请参见图6，为本申请实施例提供的一种电子设备的硬件结构示意图。该电子设备可以包括处理器601、通信接口602、存储器603和通信总线604。处理器601、通信接口602以及存储器603通过通信总线604完成相互间的通信。其中，存储器603上存放有计算机程序；处理器601可以通过执行存储器603上所存放的程序，执行上文描述的数据处理方法。

本文中提到的存储器603可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，存储器602可以是：RAM(Radom AccessMemory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。

本申请实施例还提供了一种存储有计算机程序的机器可读存储介质，例如图6中的存储器603，该计算机程序可由图6所示电子设备中的处理器601执行以实现上文中描述的数据处理方法。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims

1.一种数据处理方法，其特征在于，包括：

获取主教室的音视频信息和从教室的音视频信息；

2.根据权利要求1所述的方法，其特征在于，所述基于所述主教室的音视频信息确定教师行为属性，包括：

基于所述主教室的视频画面，以及音频信号强度，确定所述主教室的教师行为属性；

或/和，

所述基于所述从教室的音视频信息确定从教室的学生行为属性，包括：

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

基于所述主教室的音视频信息确定所述主教室的学生行为属性；

基于所述教师行为属性，以及所述主教室的学生行为属性，确定所述主教室的学生听课状态评分；

所述基于所述教师行为属性，以及所述从教室的学生行为属性，确定所述从教室的学生听课状态，包括：

4.根据权利要求3所述的方法，其特征在于，所述基于所述教师行为属性，以及所述主教室的学生行为属性，确定所述主教室的学生听课状态评分，包括：

5.根据权利要求3所述的方法，其特征在于，所述基于所述教师行为属性、所述主教室的学生行为属性以及所述从教室的学生行为属性，确定所述从教室的学生听课状态，包括：

6.根据权利要求3所述的方法，其特征在于，所述基于所述教师行为属性，以及所述从教室的学生行为属性，确定所述从教室的学生听课状态，包括：

7.根据权利要求1-6任一项所述的方法，其特征在于，所述确定所述从教室的学生听课状态之后，还包括：

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

对于任一从教室，当确定该从教室的学生听课状态满足告警条件时，进行告警处理。

9.根据权利要求1-6任一项所述的方法，其特征在于，所述基于所述教师行为属性，以及所述从教室的学生行为属性，确定所述从教室的学生听课状态之前，还包括：

10.一种数据处理装置，其特征在于，包括：

11.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1-9任一项所述的方法。

12.一种机器可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-9任一项所述的方法。