CN114299617A - 一种教学互动情况识别方法、装置、设备及存储介质 - Google Patents
一种教学互动情况识别方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN114299617A CN114299617A CN202111667058.8A CN202111667058A CN114299617A CN 114299617 A CN114299617 A CN 114299617A CN 202111667058 A CN202111667058 A CN 202111667058A CN 114299617 A CN114299617 A CN 114299617A
- Authority
- CN
- China
- Prior art keywords
- teacher
- student
- teaching
- interaction
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
本公开提供了一种教学互动情况识别方法、装置、设备及存储介质，应用于设置有音频采集设备和视频采集设备的教学场景中，通过音频采集设备和视频采集设备采集到在教学场景中进行教学活动的教学视频，再从教学视频中解析得到教师动作和学生动作，并对教师动作和学生动作进行整合处理，得到师生互动行为，基于师生互动行为，可以有效识别得到教学互动情况，不仅可以综合各个师生的动作行为和言语行为带来的影响，综合识别得到师生互动行为，还可以依据师生互动行为分析总结出师生互动行为对应的教学互动情况，提升检测师生互动行为的种类，满足复杂的教学活动中对互动行为识别的要求，识别准确率高，识别速度快，大大提升对教学互动情况的识别能力。
Description
技术领域
本公开涉及互联网技术领域，具体而言，涉及一种教学互动情况识别方法、装置、设备及存储介质。
背景技术
随着时代的发展和进步，加强青少年的综合素质教育和思想道德教育，成为人们愈发重视的问题，智慧课堂的教学模式也应运而生。智慧课堂是指涉及信息技术应用的教学媒体所构成的课堂学习环境，在整个教学过程中引入信息技术和终端设备，实现现代化技术驱动下的教学，让课堂变得更加智能、高效。
在现有的教学方式中，对于教学活动中师生互动情况的识别，主要是通过人工观察记录的方式，对教学活动中的互动情况进行评估和识别，其识别方式具有一定的主观性和局限性，并且需要经过较长的时间才能得到识别结果，耗费大量时间和精力，难以满足复杂的教学活动中对互动情况识别的要求，识别准确率低，耗时较长，对教学活动中师生互动情况识别的覆盖率不高。
发明内容
本公开实施例至少提供一种教学互动情况识别方法、装置、设备及存储介质。
本公开实施例提供了一种教学互动情况识别方法，应用于设置有音频采集设备和视频采集设备的教学场景中，所述方法包括：
获取通过所述音频采集设备和所述视频采集设备采集的、在所述教学场景中进行教学活动的教学视频；
针对所述教学视频进行处理，得到至少一个教师动作和至少一个学生动作，其中，所述教师动作和所述学生动作互为对应的关系；
基于所述教师动作和所述学生动作，整合得到师生互动行为；
基于所述师生互动行为，确定教学互动情况。
一种可选的实施方式中，所述获取通过所述音频采集设备和所述视频采集设备采集的、在所述教学场景中进行教学活动的教学视频，包括：
确定在所述教学场景中设置的所述音频采集设备和所述视频采集设备；
获取所述音频采集设备采集的音频数据和所述视频采集设备采集的图像数据；
针对采集的音频数据进行筛选和降噪处理，得到处理后的音频数据；
针对采集的图像数据进行区域划分处理，得到处理后的图像数据，所述处理后的图像数据中的图像划分为学生所在的信息区和教师所在的讲授区；
将处理后的图像数据和处理后的音频数据进行整合，得到所述教学视频。
一种可选的实施方式中，所述针对所述教学视频进行处理，得到至少一个教师动作和至少一个学生动作，包括：
针对所述教学视频，从所述教学视频中提取得到视频图像文件和视频音频文件；
基于预设的时间间隔，将所述视频图像文件按照预设的时间间隔进行切片处理，得到图像分片文件；
针对所述视频音频文件，从所述视频音频文件中获取存在师生交互的交互音频文件；
针对所述交互音频文件，进行切片处理，得到音频分片文件；
针对所述图像分片文件和所述音频分片文件，分别进行识别处理，得到至少一个教师动作和至少一个学生动作。
一种可选的实施方式中，所述针对所述图像分片文件进行识别处理，得到至少一个教师动作和至少一个学生动作，包括：
针对所述图像分片文件，通过对所述图像分片文件的画面进行分类，得到教师图像分片文件和学生图像分片文件；
针对所述教师图像分片文件，识别得到教师处于信息区、所述信息区中至少存在一人、教师手持智能移动终端、教师转头角度不小于四十五度、以及教师低头的动作；
针对所述学生图像分片文件，识别得到所述信息区中至少存在一人、以及学生手持智能移动终端的动作。
一种可选的实施方式中，所述基于所述教师动作和所述学生动作，整合得到师生互动行为，包括：
基于所述教师处于信息区、所述信息区中至少存在一人、教师手持智能移动终端、教师转头角度不小于四十五度、以及教师低头的动作，确定得到教师操纵技术的互动行为；
基于所述信息区中至少存在一人、以及学生手持智能移动终端的动作，确定得到学生操纵技术的互动行为。
一种可选的实施方式中，所述基于所述师生互动行为，确定教学互动情况，包括：
基于所述教师操纵技术的互动行为和所述学生操纵技术的互动行为，得到教师和学生在所述教学活动中应用技术进行互动的判定，确定在所述教学活动中教师和学生之间的氛围融洽。
一种可选的实施方式中，所述针对所述音频分片文件进行识别处理，得到至少一个教师动作，包括：
针对所述音频分片文件，从所述音频分片文件中提取出至少一个关键词；
基于预设的交互情景，判断所述音频分片文件是否匹配所述交互情景；
若匹配，基于预设的关联词库中存储的多个关联样本词语，确定所述至少一个关键词匹配的至少一个所述关联样本词语；
若不匹配，基于预设的公共词库中存储的多个公共样本词语，确定所述至少一个关键词匹配的至少一个所述公共样本词语；
基于匹配的所述关联样本词语和所述公共样本词语，确定得到教师说话的动作。
一种可选的实施方式中，所述基于所述教师动作和所述学生动作，整合得到师生互动行为，包括：
基于所述教师说话的动作，确定得到教师言语维度的互动行为，所述教师言语维度的互动行为包括教师接收情感、教师表扬或鼓励、教师采纳学生观点、教师提问、教师讲授、教师指令、以及教师批评或维护教师权威中的一种或者多种，所述教师提问的互动行为包括提问开放性问题和提问封闭性问题。
一种可选的实施方式中，所述方法包括：
在确定得到教师提问的互动行为情况下，对出现所述教师提问的时刻进行定位；
针对所述图像分片文件，判断是否识别得到学生举手的动作；
若学生未举手，确定得到学生被动应答的互动行为；
若学生举手，确定得到学生主动说话的互动行为。
一种可选的实施方式中，所述方法包括：
在确定得到学生主动说话的互动行为的情况下，判断所述学生主动说话的互动行为对应的音频分片文件中是否存在所述定位；
若存在所述定位，确定得到学生主动应答的互动行为；
若未存在所述定位，确定得到学生主动提问的互动行为。
一种可选的实施方式中，所述基于所述师生互动行为，确定教学互动情况，包括：
基于针对教师的互动行为和针对学生的互动行为，确定在所述教学活动中教师和学生的参与率、教师对于学生的引导情况以及学生对于教师的反馈情况。
一种可选的实施方式中，所述方法包括：
针对所述音频分片文件，判断所述音频是否无声；
若音频是无声，基于所述音频分片文件对应的图像分片文件，判断是否识别得到学生低头的动作；
若学生低头，确定得到有益于教学的沉寂的互动行为；
若音频是有声，判断是否声音嘈杂；
若是，判断学生是否出现混乱情况；
若学生出现混乱情况，确定得到无助于教学的混乱的互动行为。
若学生未出现混乱情况，判断学生是否出现分组现象；
若是，确定得到学生与同伴讨论的互动行为。
一种可选的实施方式中，所述基于所述师生互动行为，确定教学互动情况，包括：
基于所述有益于教学的沉寂的互动行为、无助于教学的混乱的互动行为以及学生与同伴讨论的互动行为，确定在所述教学活动中学生有序的情况和混乱的情况所占的比率；
基于所述比率，确定在所述教学活动中教师和学生之间互动融洽或存在隔阂。
一种可选的实施方式中，在所述基于所述教师动作和所述学生动作，整合得到师生互动行为之后，所述方法包括：
将所述师生互动行为对应的视频图像文件和视频音频文件依照时间顺序进行处理，得到处理后的新视频图像文件和新视频音频文件；
针对处理后的新视频图像文件和新视频音频文件，判断是否出现重复、缺失的情况；
若存在重复、缺失的情况，针对出现重复、缺失的情况的所述新视频图像文件和/或所述新视频音频文件进行调整；
若不存在重复、缺失的情况，确定所述新视频图像文件和所述新视频音频文件对应的师生互动行为。
本公开实施例还提供一种教学互动情况识别装置，应用于设置有音频采集设备和视频采集设备的教学场景中，所述装置包括：
采集模块，用于获取通过所述音频采集设备和所述视频采集设备采集的、在所述教学场景中进行教学活动的教学视频；
处理模块，用于针对所述教学视频进行处理，得到至少一个教师动作和至少一个学生动作，其中，所述教师动作和所述学生动作互为对应的关系；
整合模块，用于基于所述教师动作和所述学生动作，整合得到师生互动行为；
判断模块，基于所述师生互动行为，确定教学互动情况。
一种可选的实施方式中，所述采集模块具体用于：
确定在所述教学场景中设置的所述音频采集设备和所述视频采集设备；
获取所述音频采集设备采集的音频数据和所述视频采集设备采集的图像数据；
针对采集的音频数据进行筛选和降噪处理，得到处理后的音频数据；
针对采集的图像数据进行区域划分处理，得到处理后的图像数据，所述处理后的图像数据中的图像划分为学生所在的信息区和教师所在的讲授区；
将处理后的图像数据和处理后的音频数据进行整合，得到所述教学视频。
一种可选的实施方式中，所述处理模块具体用于：
针对所述教学视频，从所述教学视频中提取得到视频图像文件和视频音频文件；
基于预设的时间间隔，将所述视频图像文件按照预设的时间间隔进行切片处理，得到图像分片文件；
针对所述视频音频文件，从所述视频音频文件中获取存在师生交互的交互音频文件；
针对所述交互音频文件，进行切片处理，得到音频分片文件；
针对所述图像分片文件和所述音频分片文件，分别进行识别处理，得到至少一个教师动作和至少一个学生动作。
一种可选的实施方式中，所述处理模块在用于针对所述图像分片文件进行识别处理，得到至少一个教师动作和至少一个学生动作时，具体用于：
针对所述图像分片文件，通过对所述图像分片文件的画面进行分类，得到教师图像分片文件和学生图像分片文件；
针对所述教师图像分片文件，识别得到教师处于信息区、所述信息区中至少存在一人、教师手持智能移动终端、教师转头角度不小于四十五度、以及教师低头的动作；
针对所述学生图像分片文件，识别得到所述信息区中至少存在一人、以及学生手持智能移动终端的动作。
一种可选的实施方式中，所述整合模块具体用于：
基于所述教师处于信息区、所述信息区中至少存在一人、教师手持智能移动终端、教师转头角度不小于四十五度、以及教师低头的动作，确定得到教师操纵技术的互动行为；
基于所述信息区中至少存在一人、以及学生手持智能移动终端的动作，确定得到学生操纵技术的互动行为。
一种可选的实施方式中，所述判断模块具体用于：
基于所述教师操纵技术的互动行为和所述学生操纵技术的互动行为，得到教师和学生在所述教学活动中应用技术进行互动的判定，确定在所述教学活动中教师和学生之间的氛围融洽。
一种可选的实施方式中，所述处理模块在用于针对所述音频分片文件进行识别处理，得到至少一个教师动作时，具体用于：
针对所述音频分片文件，从所述音频分片文件中提取出至少一个关键词；
基于预设的交互情景，判断所述音频分片文件是否匹配所述交互情景；
若匹配，基于预设的关联词库中存储的多个关联样本词语，确定所述至少一个关键词匹配的至少一个所述关联样本词语；
若不匹配，基于预设的公共词库中存储的多个公共样本词语，确定所述至少一个关键词匹配的至少一个所述公共样本词语；
基于匹配的所述关联样本词语和所述公共样本词语，确定得到教师说话的动作。
一种可选的实施方式中，所述整合模块具体用于：
基于所述教师说话的动作，确定得到教师言语维度的互动行为，所述教师言语维度的互动行为包括教师接收情感、教师表扬或鼓励、教师采纳学生观点、教师提问、教师讲授、教师指令、以及教师批评或维护教师权威中的一种或者多种，所述教师提问的互动行为包括提问开放性问题和提问封闭性问题。
一种可选的实施方式中，所述整合模块还用于：
在确定得到教师提问的互动行为情况下，对出现所述教师提问的时刻进行定位；
针对所述图像分片文件，判断是否识别得到学生举手的动作；
若学生未举手，确定得到学生被动应答的互动行为；
若学生举手，确定得到学生主动说话的互动行为。
一种可选的实施方式中，所述整合模块还用于：
在确定得到学生主动说话的互动行为的情况下，判断所述学生主动说话的互动行为对应的音频分片文件中是否存在所述定位；
若存在所述定位，确定得到学生主动应答的互动行为；
若未存在所述定位，确定得到学生主动提问的互动行为。
一种可选的实施方式中，所述判断模块具体用于：
基于针对教师的互动行为和针对学生的互动行为，确定在所述教学活动中教师和学生的参与率、教师对于学生的引导情况以及学生对于教师的反馈情况。
一种可选的实施方式中，所述整合模块具体用于：
针对所述音频分片文件，判断所述音频是否无声；
若音频是无声，基于所述音频分片文件对应的图像分片文件，判断是否识别得到学生低头的动作；
若学生低头，确定得到有益于教学的沉寂的互动行为；
若音频是有声，判断是否声音嘈杂；
若是，判断学生是否出现混乱情况；
若学生出现混乱情况，确定得到无助于教学的混乱的互动行为。
若学生未出现混乱情况，判断学生是否出现分组现象；
若是，确定得到学生与同伴讨论的互动行为。
一种可选的实施方式中，所述判断模块具体用于：
基于所述有益于教学的沉寂的互动行为、无助于教学的混乱的互动行为以及学生与同伴讨论的互动行为，确定在所述教学活动中学生有序的情况和混乱的情况所占的比率；
基于所述比率，确定在所述教学活动中教师和学生之间互动融洽或存在隔阂。
一种可选的实施方式中，所述装置还包括检测模块，所述检测模块用于：
将所述师生互动行为对应的视频图像文件和视频音频文件依照时间顺序进行处理，得到处理后的新视频图像文件和新视频音频文件；
针对处理后的新视频图像文件和新视频音频文件，判断是否出现重复、缺失的情况；
若存在重复、缺失的情况，针对出现重复、缺失的情况的所述新视频图像文件和/或所述新视频音频文件进行调整；
若不存在重复、缺失的情况，确定所述新视频图像文件和所述新视频音频文件对应的师生互动行为。
本公开实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述的教学互动情况识别方法的步骤。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述的教学互动情况识别方法的步骤。
本公开实施例提供的教学互动情况识别方法、装置、设备及存储介质，应用于设置有音频采集设备和视频采集设备的教学场景中，可以获取通过所述音频采集设备和所述视频采集设备采集的、在所述教学场景中进行教学活动的教学视频；针对所述教学视频进行处理，得到至少一个教师动作和至少一个学生动作，其中，所述教师动作和所述学生动作互为对应的关系；基于所述教师动作和所述学生动作，整合得到师生互动行为；基于所述师生互动行为，确定教学互动情况。
这样，通过音频采集设备和视频采集设备采集到在教学场景中进行教学活动的教学视频，再从教学视频中解析得到教师动作和学生动作，并对教师动作和学生动作进行整合处理，得到师生互动行为，基于师生互动行为，可以有效识别得到教学互动情况，通过应用智慧课堂的教学模式，在传统教学过程中引入信息技术和终端设备作为识别和呈现教学互动情况的载体，不仅可以综合各个师生的动作行为和言语行为带来的影响，综合识别得到师生互动行为，还可以依据师生之间的互动行为和师生与智慧学习环境的互动情况，分析总结出师生互动行为对应的教学互动情况，对教学活动中师生的具体行为做出准确的判断，为教学活动中的师生互动情况识别提供更加客观量化的分析结果，提升检测师生互动行为的种类，满足复杂的教学活动中对互动行为识别的要求，识别准确率高，识别速度快，大大提升对教学互动情况的识别能力。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种应用场景示意图；
图2示出了本公开实施例所提供的一种教学互动情况识别方法的流程图；
图3示出了本公开实施例所提供的另一种教学互动情况识别方法的流程图；
图4示出了本公开实施例提供的教学互动情况识别方法中，一种识别师生互动行为具体方法的流程图；
图5示出了本公开实施例提供的教学互动情况识别方法中，另一种识别师生互动行为具体方法的流程图；
图6示出了本公开实施例提供的教学互动情况识别方法中，又一种识别师生互动行为具体方法的流程图；
图7示出了本公开实施例所提供的一种教学互动情况识别装置的示意图之一；
图8示出了本公开实施例所提供的一种教学互动情况识别装置的示意图之二；
图9示出了本公开实施例所提供的一种电子设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
经研究发现，在现有的教学方式中，对于教学活动中师生互动情况的识别，主要是通过人工观察记录的方式，例如以公开课的形式，通过旁听人员在教学活动中人为观察并总结，其识别方式具有一定的主观性和局限性，并且需要经过较长的时间才能得到识别结果，耗费大量时间和精力，难以满足复杂的教学活动中对互动情况识别的要求，识别准确率低，耗时较长，对教学活动中师生互动情况识别的覆盖率不高。
基于上述研究，本公开提供了一种教学互动情况识别方法，应用于设置有音频采集设备和视频采集设备的教学场景中，可以获取通过所述音频采集设备和所述视频采集设备采集的、在所述教学场景中进行教学活动的教学视频；针对所述教学视频进行处理，得到至少一个教师动作和至少一个学生动作，其中，所述教师动作和所述学生动作互为对应的关系；基于所述教师动作和所述学生动作，整合得到师生互动行为；基于所述师生互动行为，确定教学互动情况。
这样，通过音频采集设备和视频采集设备采集到在教学场景中进行教学活动的教学视频，再从教学视频中解析得到教师动作和学生动作，并对教师动作和学生动作进行整合处理，得到师生互动行为，基于师生互动行为，可以有效识别得到教学互动情况，通过应用智慧课堂的教学模式，在传统教学过程中引入信息技术和终端设备作为识别和呈现教学互动情况的载体，不仅可以综合各个师生的动作行为和言语行为带来的影响，综合识别得到师生互动行为，还可以依据师生之间的互动行为和师生与智慧学习环境的互动情况，分析总结出师生互动行为对应的教学互动情况，对教学活动中师生的具体行为做出准确的判断，为教学活动中的师生互动情况识别提供更加客观量化的分析结果，提升检测师生互动行为的种类，满足复杂的教学活动中对互动行为识别的要求，识别准确率高，识别速度快，大大提升对教学互动情况的识别能力。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种教学互动情况识别方法进行详细介绍，本公开实施例所提供的教学互动情况识别方法的执行主体一般为具有一定计算能力的电子设备，该电子设备例如包括：终端设备或服务器或其它处理设备。在一些可能的实现方式中，该教学互动情况识别方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
请参阅图1，图1为本公开实施例提供的一种应用场景示意图。如图1中所示，在教学活动中，互动的主体是学生，与之发生互动的有教师、教学内容、学习环境，以及学生与学生之间的互动，其中，教学内容主要包括教材和资源，教材可以包括纸质教材和电子教材，资源可以包括文字、图片、音频以及视频等，此外，学习环境主要包括信息技术和终端设备，信息技术主要涉及互联网、大数据、物联网以及人工智能等，终端设备可以包括手机、平板电脑、电子白板、教育机器人等。
在教学活动中，教师和学生之间可以进行反馈、提问和应答，学生之间可以进行合作和讨论，教师可以对教学内容进行教学设计，教学内容可以供学生进行自学和观看，教师可以对学习环境进行情境创设，学习环境可以供学生进行操作和试验，此外，教学内容需要学习环境作为知识和资源呈现的载体，同时学习环境也可以提供相应的功能来支持教学的开展。
请参阅图2，图2为本公开实施例提供的一种教学互动情况识别方法的流程图。如图2所示，本公开实施例提供的教学互动情况识别方法，包括：
S201：获取通过所述音频采集设备和所述视频采集设备采集的、在所述教学场景中进行教学活动的教学视频。
该步骤中，在需要对教学场景中进行的教学活动进行教学互动情况识别，以确定所述教学活动中的教学互动情况时，可以通过在所述教学场景中设置的所述音频采集设备和所述视频采集设备，获取通过所述音频采集设备和所述视频采集设备采集的、在所述教学场景中进行教学活动的教学视频，从而可以在后续对所述教学视频进行解析以得到教学互动情况。
可以理解，所述教学场景中设置有所述音频采集设备和所述视频采集设备，所以才可以借助所述音频采集设备和所述视频采集设备获得所述教学视频。
可选地，所述音频采集设备和所述视频采集设备可以是预先设置在所述教学场景中的。示例性的，在需要对教学场景中进行的教学活动进行教学互动情况识别，以确定所述教学活动中的教学互动情况时，所述教学场景可以为预先安装有所述音频采集设备和所述视频采集设备的多媒体教室，这样可以通过所述多媒体教室中预先安装的所述音频采集设备和所述视频采集设备实现所述教学视频的采集。
可选地，还可以是在需要记录所述教学场景中进行的教学活动时，在记录前设置好所述音频采集设备和所述视频采集设备。示例性的，在需要对教学场景中进行的教学活动进行教学互动情况识别，以确定所述教学活动中的教学互动情况时，所述教学场景可以为未预先安装有所述音频采集设备和所述视频采集设备的普通教室，此时可以通过临时设置所述音频采集设备和所述视频采集设备的方式，实现所述教学视频的采集。
其中，教师和学生可以将所述音频采集设备佩戴在身上，此时所述音频采集设备可以为话筒或者耳麦，此外，所述音频采集设备可以固定在讲台、书桌或者墙壁上，此时所述音频采集设备还可以是吊杆麦或者升降麦，在此并不做任何限定。
其中，所述视频采集设备可以为安装在教学场景中不同区域的固定摄像头，也可以为安装在教学场景中固定区域的可以按照预设角度摆动的摄像头，在此并不做任何限定。
S202：针对所述教学视频进行处理，得到至少一个教师动作和至少一个学生动作，其中，所述教师动作和所述学生动作互为对应的关系。
该步骤中，在采集到所述教学视频的情况下，可以通过解析处理等方式，从所述教学视频中得到至少一个教师动作和至少一个学生动作。
可以理解，所述教师动作可以为以教师为动作主体识别得到的动作，所述学生动作可以为以学生为动作主体识别得到的动作，所述教师动作和所述学生动作可以为一组连续动作中的一部分，因此，所述教师动作和所述学生动作互为对应的关系。
示例性的，针对教师提问的教师动作和学生举手的学生动作，两个动作可以衔接成为一组连续动作，并且两个动作互为对应的关系。
在确定所述教学视频的情况下，为了解析得到所述教师动作和所述学生动作，在一些可能的实施方式中，所述针对所述教学视频进行处理，得到至少一个教师动作和至少一个学生动作，包括：
针对所述教学视频，从所述教学视频中提取得到视频图像文件和视频音频文件；
基于预设的时间间隔，将所述视频图像文件按照预设的时间间隔进行切片处理，得到图像分片文件；
针对所述视频音频文件，从所述视频音频文件中获取存在师生交互的交互音频文件；
针对所述交互音频文件，进行切片处理，得到音频分片文件；
针对所述图像分片文件和所述音频分片文件，分别进行识别处理，得到至少一个教师动作和至少一个学生动作。
该步骤中，在确定所述教学视频的情况下，可以理解，所述教学视频即为待分析的视频，为了对所述教学视频进行分析，可以先对所述教学视频分别进行图像和音频的提取，得到从所述教学视频中提取出的视频图像文件和视频音频文件，然后，针对所述视频图像文件，可以按照预设的时间间隔对所述视频图像文件进行切片处理，从而得到切片处理后的图像分片文件，针对所述视频音频文件，可以基于预设的交互情境，将所述视频音频文件与所述交互情境进行匹配，得到满足所述交互情境的交互音频文件，再对所述交互音频文件进行切片处理，从而得到切片处理后的音频分片文件，进而可以对所述图像分片文件和所述音频分片文件分别进行识别处理，以得到至少一个教师动作和至少一个学生动作。
需要说明的是，所述预设的时间间隔的具体时长设定，可以是针对实际情况而定，以切片处理后的图像分片文件可以被准确识别和解析为准，在此并不做任何限定。示例性的，在预设的时间间隔为三秒的情况下，针对所述视频图像文件每三秒进行一次图像切片，从而得到所述图像分片文件。
S203：基于所述教师动作和所述学生动作，整合得到师生互动行为。
该步骤中，在确定所述教师动作和所述学生动作的情况下，将存在联系的所述教师动作和所述学生动作进行整合处理，得到师生互动行为。
示例性的，在得到教师提问的教师动作和学生举手的学生动作的情况下，基于所述教师提问的教师动作和学生举手的学生动作，可以整合得到学生主动应答的互动行为。
这里，所述师生互动行为包括针对教师的互动行为和针对学生的互动行为，所述针对教师的互动行为可以包括教师动作行为和教师言语行为，所述针对学生的互动行为可以包括学生动作行为和学生言语行为。
S204：基于所述师生互动行为，确定教学互动情况。
该步骤中，在得到所述师生互动行为的情况下，可以针对所述师生互动行为中教师和学生之间的互动情况，确定所述教学活动中的教学互动情况。
进一步的，在得到针对所述教学场景中的教学活动的教学互动情况后，还可以生成教学互动情况反馈信息，反馈给授课的教师，以便教师针对所述教学互动情况对教学方法和教学进度进行适应性的调整。
本公开实施例提供的教学互动情况识别方法，应用于设置有音频采集设备和视频采集设备的教学场景中，可以获取通过所述音频采集设备和所述视频采集设备采集的、在所述教学场景中进行教学活动的教学视频；针对所述教学视频进行处理，得到至少一个教师动作和至少一个学生动作，其中，所述教师动作和所述学生动作互为对应的关系；基于所述教师动作和所述学生动作，整合得到师生互动行为；基于所述师生互动行为，确定教学互动情况。
这样，通过音频采集设备和视频采集设备采集到在教学场景中进行教学活动的教学视频，再从教学视频中解析得到教师动作和学生动作，并对教师动作和学生动作进行整合处理，得到师生互动行为，基于师生互动行为，可以有效识别得到教学互动情况，不仅可以综合各个师生的动作行为和言语行为带来的影响，综合识别得到师生互动行为，还可以依据师生互动行为分析总结出师生互动行为对应的教学互动情况，提升检测师生互动行为的种类，满足复杂的教学活动中对互动行为识别的要求，识别准确率高，识别速度快，大大提升对教学互动情况的识别能力。
请参阅图3，图3为本公开实施例提供的另一种教学互动情况识别方法的流程图。如图3所示，本公开实施例提供的教学互动情况识别方法，包括：
S301：获取通过所述音频采集设备和所述视频采集设备采集的、在所述教学场景中进行教学活动的教学视频。
S302：针对所述教学视频进行处理，得到至少一个教师动作和至少一个学生动作，其中，所述教师动作和所述学生动作互为对应的关系。
S303：基于所述教师动作和所述学生动作，整合得到师生互动行为。
S304：将所述师生互动行为对应的视频图像文件和视频音频文件依照时间顺序进行处理，得到处理后的新视频图像文件和新视频音频文件。
该步骤中，在得到所述师生互动行为的情况下，可以先确定所述师生互动行为对应的视频图像文件和视频音频文件，然后按照在所述教学活动中所述师生互动行为发生的时间顺序，对所述视频图像文件和视频音频文件进行梳理，得到处理后的新视频图像文件和新视频音频文件。
在实际处理过程中，每个师生互动行为可以对应一个互动行为编码数据，在得到所述师生互动行为的情况下，可以读取所述师生互动行为对应的互动行为编码数据，然后可以按照时间顺序对所述互动行为编码数据进行梳理，得到梳理后的互动行为编码数据以及其对应的新视频图像文件和新视频音频文件。
S305：针对处理后的新视频图像文件和新视频音频文件，判断是否出现重复、缺失的情况。
该步骤中，在得到处理后的新视频图像文件和新视频音频文件的情况下，可以判断所述新视频图像文件和所述新视频音频文件是否出现重复、缺失的情况。
在实际处理过程中，可以对梳理后的互动行为编码数据按照预设的时间间隔进行节点划分处理，得到划分后的编码数据节点，从而基于所述编码数据节点判断是否出现重合、缺失的情况。
S306：若存在重复、缺失的情况，针对出现重复、缺失的情况的所述新视频图像文件和/或所述新视频音频文件进行调整。
该步骤中，若存在重复、缺失的情况，可以对出现重复、缺失情况的位置进行定位，针对出现重复、缺失的情况的所述新视频图像文件和/或所述新视频音频文件进行调整。
在实际处理过程中，若存在重复、缺失的情况，可以对出现重合、缺失的节点进行定位，并通过所述新视频图像文件和/或所述新视频音频文件进行调整。
S307：若不存在重复、缺失的情况，确定所述新视频图像文件和所述新视频音频文件对应的师生互动行为。
该步骤中，若不存在重复、缺失的情况，可以理解，此时所述新视频图像文件和所述新视频音频文件对应的师生互动行为和按照时间顺序调整前的所述视频图像文件和所述视频音频文件对应的师生互动行为相同，因此，可以确定所述新视频图像文件和所述新视频音频文件对应的师生互动行为，以在后续处理中基于所述新视频图像文件和所述新视频音频文件对应的师生互动行为，确定教学互动情况。
S308：基于所述师生互动行为，确定教学互动情况。
其中，步骤S301至步骤S303和步骤S308的描述可以参照步骤S201至步骤S204的描述，并且可以达到相同的技术效果和解决相同的技术问题，在此不做赘述。
下面，将结合具体实施方式对上述方案进行说明。
为了得到教学视频，在一些可能的实施方式中，所述获取通过所述音频采集设备和所述视频采集设备采集的、在所述教学场景中进行教学活动的教学视频，包括：
确定在所述教学场景中设置的所述音频采集设备和所述视频采集设备；
获取所述音频采集设备采集的音频数据和所述视频采集设备采集的图像数据；
针对采集的音频数据进行筛选和降噪处理，得到处理后的音频数据；
针对采集的图像数据进行区域划分处理，得到处理后的图像数据，所述处理后的图像数据中的图像划分为学生所在的信息区和教师所在的讲授区；
将处理后的图像数据和处理后的音频数据进行整合，得到所述教学视频。
该步骤中，为了得到教学视频，可以先确定所述教学场景中设置的所述音频采集设备和所述视频采集设备，可以理解，所述音频采集设备可以采集在所述教学场景中进行教学活动的音频数据，所述视频采集设备可以采集在所述教学场景中进行教学活动的图像数据，因此可以获取所述音频采集设备采集的音频数据和所述视频采集设备采集的图像数据，这里，为了得到更高质量、便于后续识别处理的所述音频数据和所述图像数据，针对所述音频数据，可以筛选并去除无效音频，并对筛选后的所述音频数据进行降噪处理，针对所述图像数据，可以对所述图像数据中的图像进行区域划分，划分得到学生所在的信息区和教师所在的讲授区，进而可以将处理后的图像数据和处理后的音频数据进行整合，得到所述教学视频。
可选地，所述图像数据可以包括针对教师的全景图像和针对学生的全景图像，也可以包括针对教师的特写图像和针对学生的特写图像，在此并不做任何限定。
进一步的，响应于管理人员的操作，可以对所述教学视频进行修改或删除等操作，也可以供管理人员对所述教学视频的处理状态及详情进行查看。
一些可能的实施方式中，所述针对所述图像分片文件进行识别处理，得到至少一个教师动作和至少一个学生动作，包括：
针对所述图像分片文件，通过对所述图像分片文件的画面进行分类，得到教师图像分片文件和学生图像分片文件；
针对所述教师图像分片文件，识别得到教师处于信息区、所述信息区中至少存在一人、教师手持智能移动终端、教师转头角度不小于四十五度、以及教师低头的动作；
针对所述学生图像分片文件，识别得到所述信息区中至少存在一人、以及学生手持智能移动终端的动作。
该步骤中，在获取所述图像分片文件的情况下，可以提取所述图像分片文件的画面，并根据所述画面中显示的是教师或学生，对所述图像分片文件进行分类，从而可以得到教师图像分片文件和学生图像分片文件，针对所述教师图像文件，可以识别得到教师处于信息区、所述信息区中至少存在一人、教师手持智能移动终端、教师转头角度不小于四十五度、以及教师低头的动作，针对所述学生图像分片文件，可以识别得到所述信息区中至少存在一人、以及学生手持智能移动终端的动作。
这里，需要说明的是，在开展所述教学活动前，可以预先为所述教学场景中的教师和学生配备所述智能移动终端，针对学生，所述智能移动终端可以包括手机、平板电脑等学习工具，针对教师，所述智能移动终端可以包括手机、平板电脑、电子白板、教育机器人等授课工具。
一些可能的实施方式中，所述基于所述教师动作和所述学生动作，整合得到师生互动行为，包括：
基于所述教师处于信息区、所述信息区中至少存在一人、教师手持智能移动终端、教师转头角度不小于四十五度、以及教师低头的动作，确定得到教师操纵技术的互动行为；
基于所述信息区中至少存在一人、以及学生手持智能移动终端的动作，确定得到学生操纵技术的互动行为。
这里，可以同时参阅图4，图4为本公开实施例提供的教学互动情况识别方法中，一种识别师生互动行为具体方法的流程图，如图4中所示，在识别得到教师处于信息区、所述信息区中至少存在一人、教师手持智能移动终端、教师转头角度不小于四十五度、以及教师低头的动作的情况下，可以确定得到教师操纵技术的互动行为，在识别得到所述信息区中至少存在一人、以及学生手持智能移动终端的动作的情况下，可以确定得到学生操纵技术的互动行为。
一些可能的实施方式中，所述基于所述师生互动行为，确定教学互动情况，包括：
基于所述教师操纵技术的互动行为和所述学生操纵技术的互动行为，得到教师和学生在所述教学活动中应用技术进行互动的判定，确定在所述教学活动中教师和学生之间的氛围融洽。
该步骤中，在得到所述教师操纵技术的互动行为和所述学生操纵技术的互动行为的情况下，可以判定教师和学生在所述教学活动中应用技术进行互动。进一步的，可以确定教师和学生应用技术进行互动的频率，若所述频率满足预设阈值，确定在所述教学活动中教师和学生之间的氛围融洽。
进一步的，基于教师和学生应用技术进行互动的频率，若所述频率未满足所述预设阈值，确定在所述教学活动中教师和学生之间存在交流隔阂。
一些可能的实施方式中，所述针对所述音频分片文件进行识别处理，得到至少一个教师动作，包括：
针对所述音频分片文件，从所述音频分片文件中提取出至少一个关键词；
基于预设的交互情景，判断所述音频分片文件是否匹配所述交互情景；
若匹配，基于预设的关联词库中存储的多个关联样本词语，确定所述至少一个关键词匹配的至少一个所述关联样本词语；
若不匹配，基于预设的公共词库中存储的多个公共样本词语，确定所述至少一个关键词匹配的至少一个所述公共样本词语；
基于匹配的所述关联样本词语和所述公共样本词语，确定得到教师说话的动作。
该步骤中，在获取所述音频分片文件的情况下，可以提取所述音频分片文件包含的至少一个关键词，并基于预设的交互情景，判断所述音频分片文件是否匹配所述交互情景，即从所述音频分片文件中提取的至少一个关键词是否匹配所述交互情景。若匹配，基于预设的关联词库，这里，所述关联词库中存储多个关联样本词语，将所述至少一个关键词与所述多个关联样本词语进行匹配，以得到所述至少一个关键词匹配的至少一个所述关联样本词语；若不匹配，基于预设的公共词库，这里，所述公共词库中存储多个公共样本词语，将所述至少一个关键词与所述多个公共样本词语进行匹配，以得到所述至少一个关键词匹配的至少一个所述公共样本词语，从而可以基于匹配的所述关联样本词语和所述公共样本词语，确定得到教师说话的动作。
这里，所述预设的交互情境可以为与所述教学活动相关的情境。
示例性，在所述教学活动为数学课的情况下，所述预设的交互情境即为教师为学生讲授数学的交互情境。
一些可能的实施方式中，所述基于所述教师动作和所述学生动作，整合得到师生互动行为，包括：
基于所述教师说话的动作，确定得到教师言语维度的互动行为，所述教师言语维度的互动行为包括教师接收情感、教师表扬或鼓励、教师采纳学生观点、教师提问、教师讲授、教师指令、以及教师批评或维护教师权威中的一种或者多种，所述教师提问的互动行为包括提问开放性问题和提问封闭性问题。
该步骤中，在确定教师说话的动作的情况下，可以基于所述音频分片文件匹配到的所述关联样本词语和所述公共样本词语，确定得到教师言语维度的互动行为。
进一步的，在通过音频分片文件识别得到教师的语言表述后，还可以结合所述图像分片文件，共同分析得到教师言语维度的互动行为，进一步保证了行为识别的准确性和完整度。
进一步的，根据教师言语维度的互动行为，可以判定得到教师的课堂教学状态，例如教师采用引导性的语言引导学生、教师对学生缺乏引导、教师对学生的回答施加积极引导、教师对学生的回答施加消极引导等。
一些可能的实施方式中，所述方法包括：
在确定得到教师提问的互动行为情况下，对出现所述教师提问的时刻进行定位；
针对所述图像分片文件，判断是否识别得到学生举手的动作；
若学生未举手，确定得到学生被动应答的互动行为；
若学生举手，确定得到学生主动说话的互动行为。
这里，可以同时参阅图5，图5为本公开实施例提供的教学互动情况识别方法中，另一种识别师生互动行为具体方法的流程图，如图5中所示，在确定得到教师提问的互动行为情况下，可以对出现所述教师提问的时刻进行定位，从而针对所述图像分片文件的图像，判断学生是否举手，若是，确定得到学生被动应答的互动行为；若不是，确定得到学生主动说话的互动行为。
一些可能的实施方式中，所述方法包括：
在确定得到学生主动说话的互动行为的情况下，判断所述学生主动说话的互动行为对应的音频分片文件中是否存在所述定位；
若存在所述定位，确定得到学生主动应答的互动行为；
若未存在所述定位，确定得到学生主动提问的互动行为。
这里，在确定得到学生主动说话的互动行为的情况下，进一步的，可以判断所述学生主动说话的互动行为对应的音频分片文件中是否存在所述定位，可以理解，若存在所述定位，意味着学生的举手动作是对教师提问的回应，从而确定得到学生主动应答的互动行为，若未存在所述定位，意味着学生的举手动作是对进行教师提问，从而确定得到学生主动提问的互动行为。
一些可能的实施方式中，所述基于所述师生互动行为，确定教学互动情况，包括：
基于针对教师的互动行为和针对学生的互动行为，确定在所述教学活动中教师和学生的参与率、教师对于学生的引导情况以及学生对于教师的反馈情况。
该步骤中，在确定针对教师的互动行为和针对学生的互动行为的情况下，可以确定在所述教学活动中教师和学生分别的参与率，进一步的，针对教师的互动行为可以得到教师对于学生的引导情况，基于针对学生的互动行为可以得到学生对于教师的反馈情况。
可选地，可以应用扇形图、柱状图等图表，从教师言语比例、教师行为比例、学生言语比例、学生行为比例等方面进行教学情况分析结果的呈现。
一些可能的实施方式中，所述方法包括：
针对所述音频分片文件，判断所述音频是否无声；
若音频是无声，基于所述音频分片文件对应的图像分片文件，判断是否识别得到学生低头的动作；
若学生低头，确定得到有益于教学的沉寂的互动行为；
若音频是有声，判断是否声音嘈杂；
若是，判断学生是否出现混乱情况；
若学生出现混乱情况，确定得到无助于教学的混乱的互动行为。
若学生未出现混乱情况，判断学生是否出现分组现象；
若是，确定得到学生与同伴讨论的互动行为。
这里，可以同时参阅图6，图6为本公开实施例提供的教学互动情况识别方法中，又一种识别师生互动行为具体方法的流程图，如图6中所示，读取所述音频分片文件，判断所述音频是否安静无声，若音频是无声，基于所述音频分片文件对应的图像分片文件，判断学生是否低头。若学生低头，确定得到有益于教学的沉寂的互动行为，这里，可以理解，学生低头且安静无声，意味着学生可以是在学习或写字等状态中，所以此时的沉寂对于教学活动是有益的。
进一步的，若音频是有声，判断是否声音嘈杂，若声音嘈杂，再判断学生是否出现混乱情况，若学生出现混乱情况，这里，可以理解，声音嘈杂且学生混乱的情况无益于教学活动的开展的，从而确定得到无助于教学的混乱的互动行为，若学生未出现混乱情况，判断学生是否出现分组现象，若是，可以理解，所述声音嘈杂是由于学生进行分组讨论所产生的，从而可以确定得到学生与同伴讨论的互动行为。
一些可能的实施方式中，所述基于所述师生互动行为，确定教学互动情况，包括：
基于所述有益于教学的沉寂的互动行为、无助于教学的混乱的互动行为以及学生与同伴讨论的互动行为，确定在所述教学活动中学生有序的情况和混乱的情况所占的比率；
基于所述比率，确定在所述教学活动中教师和学生之间互动融洽或存在隔阂。
该步骤中，在确定所述有益于教学的沉寂的互动行为、无助于教学的混乱的互动行为以及学生与同伴讨论的互动行为的情况下，可以得到在所述教学活动中学生有序的情况和混乱的情况，从而可以得到有序的情况和混乱的情况所占的比率，基于预设的预设比率，将针对所述教学活动的比率和所述预设比率进行比较，进而确定在所述教学活动中教师和学生之间互动融洽或存在隔阂。
进一步的，针对每次所述教学活动，可以生成针对每次所述教学活动的课堂报告，所述课堂报告可以将所述教学互动情况进行数据可视化的转换和呈现，所述课堂报告可以包括课堂时间线、课堂迁移矩阵和课堂行为比例，所述课堂时间线可以用于描述所述教学活动中师生互动的变化情况，所述课堂迁移矩阵可以用于描述所述教学活动中的教学结构，所述课堂行为分析比例可以用于描述所述教学活动的整体结构。
进一步的，针对例如同一班级、同一教师、同一学科、同一年级等的课堂报告，可以整合得到班级报告、教师报告、学科报告、年级报告等，便于教师通过不同角度直观地了解教学情况。
本公开实施例提供的教学互动情况识别方法，应用于设置有音频采集设备和视频采集设备的教学场景中，可以获取通过所述音频采集设备和所述视频采集设备采集的、在所述教学场景中进行教学活动的教学视频；针对所述教学视频进行处理，得到至少一个教师动作和至少一个学生动作，其中，所述教师动作和所述学生动作互为对应的关系；基于所述教师动作和所述学生动作，整合得到师生互动行为；基于所述师生互动行为，确定教学互动情况。
这样，通过音频采集设备和视频采集设备采集到在教学场景中进行教学活动的教学视频，再从教学视频中解析得到教师动作和学生动作，并对教师动作和学生动作进行整合处理，得到师生互动行为，基于师生互动行为，可以有效识别得到教学互动情况，通过应用智慧课堂的教学模式，在传统教学过程中引入信息技术和终端设备作为识别和呈现教学互动情况的载体，不仅可以综合各个师生的动作行为和言语行为带来的影响，综合识别得到师生互动行为，还可以依据师生之间的互动行为和师生与智慧学习环境的互动情况，分析总结出师生互动行为对应的教学互动情况，对教学活动中师生的具体行为做出准确的判断，为教学活动中的师生互动情况识别提供更加客观量化的分析结果，满足复杂的教学活动中对互动行为识别的要求，识别准确率高，识别速度快，提升对教学互动情况的识别能力。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思，本公开实施例中还提供了与教学互动情况识别方法对应的教学互动情况识别装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述教学互动情况识别方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
请参阅图7和图8，图7为本公开实施例提供的一种教学互动情况识别装置的示意图之一，图8为本公开实施例提供的一种教学互动情况识别装置的示意图之二。如图7中所示，本公开实施例提供的教学互动情况识别装置700包括：
采集模块710，用于获取通过所述音频采集设备和所述视频采集设备采集的、在所述教学场景中进行教学活动的教学视频。
处理模块720，用于针对所述教学视频进行处理，得到至少一个教师动作和至少一个学生动作，其中，所述教师动作和所述学生动作互为对应的关系。
整合模块730，用于基于所述教师动作和所述学生动作，整合得到师生互动行为。
判断模块740，基于所述师生互动行为，确定教学互动情况。
一种可选的实施方式中，所述采集模块710具体用于：
确定在所述教学场景中设置的所述音频采集设备和所述视频采集设备；
获取所述音频采集设备采集的音频数据和所述视频采集设备采集的图像数据；
针对采集的音频数据进行筛选和降噪处理，得到处理后的音频数据；
针对采集的图像数据进行区域划分处理，得到处理后的图像数据，所述处理后的图像数据中的图像划分为学生所在的信息区和教师所在的讲授区；
将处理后的图像数据和处理后的音频数据进行整合，得到所述教学视频。
一种可选的实施方式中，所述处理模块720具体用于：
针对所述教学视频，从所述教学视频中提取得到视频图像文件和视频音频文件；
基于预设的时间间隔，将所述视频图像文件按照预设的时间间隔进行切片处理，得到图像分片文件；
针对所述视频音频文件，从所述视频音频文件中获取存在师生交互的交互音频文件；
针对所述交互音频文件，进行切片处理，得到音频分片文件；
针对所述图像分片文件和所述音频分片文件，分别进行识别处理，得到至少一个教师动作和至少一个学生动作。
一种可选的实施方式中，所述处理模块720在用于针对所述图像分片文件进行识别处理，得到至少一个教师动作和至少一个学生动作时，具体用于：
针对所述图像分片文件，通过对所述图像分片文件的画面进行分类，得到教师图像分片文件和学生图像分片文件；
针对所述教师图像分片文件，识别得到教师处于信息区、所述信息区中至少存在一人、教师手持智能移动终端、教师转头角度不小于四十五度、以及教师低头的动作；
针对所述学生图像分片文件，识别得到所述信息区中至少存在一人、以及学生手持智能移动终端的动作。
一种可选的实施方式中，所述整合模块730具体用于：
基于所述教师处于信息区、所述信息区中至少存在一人、教师手持智能移动终端、教师转头角度不小于四十五度、以及教师低头的动作，确定得到教师操纵技术的互动行为；
基于所述信息区中至少存在一人、以及学生手持智能移动终端的动作，确定得到学生操纵技术的互动行为。
一种可选的实施方式中，所述判断模块740具体用于：
基于所述教师操纵技术的互动行为和所述学生操纵技术的互动行为，得到教师和学生在所述教学活动中应用技术进行互动的判定，确定在所述教学活动中教师和学生之间的氛围融洽。
一种可选的实施方式中，所述处理模块720在用于针对所述音频分片文件进行识别处理，得到至少一个教师动作时，具体用于：
针对所述音频分片文件，从所述音频分片文件中提取出至少一个关键词；
基于预设的交互情景，判断所述音频分片文件是否匹配所述交互情景；
若匹配，基于预设的关联词库中存储的多个关联样本词语，确定所述至少一个关键词匹配的至少一个所述关联样本词语；
若不匹配，基于预设的公共词库中存储的多个公共样本词语，确定所述至少一个关键词匹配的至少一个所述公共样本词语；
基于匹配的所述关联样本词语和所述公共样本词语，确定得到教师说话的动作。
一种可选的实施方式中，所述整合模块730具体用于：
基于所述教师说话的动作，确定得到教师言语维度的互动行为，所述教师言语维度的互动行为包括教师接收情感、教师表扬或鼓励、教师采纳学生观点、教师提问、教师讲授、教师指令、以及教师批评或维护教师权威中的一种或者多种，所述教师提问的互动行为包括提问开放性问题和提问封闭性问题。
一种可选的实施方式中，所述整合模块730还用于：
在确定得到教师提问的互动行为情况下，对出现所述教师提问的时刻进行定位；
针对所述图像分片文件，判断是否识别得到学生举手的动作；
若学生未举手，确定得到学生被动应答的互动行为；
若学生举手，确定得到学生主动说话的互动行为。
一种可选的实施方式中，所述整合模块730还用于：
在确定得到学生主动说话的互动行为的情况下，判断所述学生主动说话的互动行为对应的音频分片文件中是否存在所述定位；
若存在所述定位，确定得到学生主动应答的互动行为；
若未存在所述定位，确定得到学生主动提问的互动行为。
一种可选的实施方式中，所述判断模块740具体用于：
基于针对教师的互动行为和针对学生的互动行为，确定在所述教学活动中教师和学生的参与率、教师对于学生的引导情况以及学生对于教师的反馈情况。
一种可选的实施方式中，所述整合模块730具体用于：
针对所述音频分片文件，判断所述音频是否无声；
若音频是无声，基于所述音频分片文件对应的图像分片文件，判断是否识别得到学生低头的动作；
若学生低头，确定得到有益于教学的沉寂的互动行为；
若音频是有声，判断是否声音嘈杂；
若是，判断学生是否出现混乱情况；
若学生出现混乱情况，确定得到无助于教学的混乱的互动行为。
若学生未出现混乱情况，判断学生是否出现分组现象；
若是，确定得到学生与同伴讨论的互动行为。
一种可选的实施方式中，所述判断模块740具体用于：
基于所述有益于教学的沉寂的互动行为、无助于教学的混乱的互动行为以及学生与同伴讨论的互动行为，确定在所述教学活动中学生有序的情况和混乱的情况所占的比率；
基于所述比率，确定在所述教学活动中教师和学生之间互动融洽或存在隔阂。
一种可选的实施方式中，如图8所示，所述装置还包括检测模块750，所述检测模块750用于：
将所述师生互动行为对应的视频图像文件和视频音频文件依照时间顺序进行处理，得到处理后的新视频图像文件和新视频音频文件；
针对处理后的新视频图像文件和新视频音频文件，判断是否出现重复、缺失的情况；
若存在重复、缺失的情况，针对出现重复、缺失的情况的所述新视频图像文件和/或所述新视频音频文件进行调整；
若不存在重复、缺失的情况，确定所述新视频图像文件和所述新视频音频文件对应的师生互动行为。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
本公开实施例提供的教学互动情况识别装置，应用于设置有音频采集设备和视频采集设备的教学场景中，可以获取通过所述音频采集设备和所述视频采集设备采集的、在所述教学场景中进行教学活动的教学视频；针对所述教学视频进行处理，得到至少一个教师动作和至少一个学生动作，其中，所述教师动作和所述学生动作互为对应的关系；基于所述教师动作和所述学生动作，整合得到师生互动行为；基于所述师生互动行为，确定教学互动情况。
这样，通过音频采集设备和视频采集设备采集到在教学场景中进行教学活动的教学视频，再从教学视频中解析得到教师动作和学生动作，并对教师动作和学生动作进行整合处理，得到师生互动行为，基于师生互动行为，可以有效识别得到教学互动情况，通过应用智慧课堂的教学模式，在传统教学过程中引入信息技术和终端设备作为识别和呈现教学互动情况的载体，不仅可以综合各个师生的动作行为和言语行为带来的影响，综合识别得到师生互动行为，还可以依据师生之间的互动行为和师生与智慧学习环境的互动情况，分析总结出师生互动行为对应的教学互动情况，对教学活动中师生的具体行为做出准确的判断，为教学活动中的师生互动情况识别提供更加客观量化的分析结果，提升检测师生互动行为的种类，满足复杂的教学活动中对互动行为识别的要求，识别准确率高，识别速度快，大大提升对教学互动情况的识别能力。
对应于图2和图3中的教学互动情况识别方法，本公开实施例还提供了一种电子设备900，如图9所示，为本公开实施例提供的电子设备900结构示意图，包括：
处理器910、存储器920、和总线930；存储器920用于存储执行指令，包括内存921和外部存储器922；这里的内存921也称内存储器，用于暂时存放处理器910中的运算数据，以及与硬盘等外部存储器922交换的数据，处理器910通过内存921与外部存储器922进行数据交换，当所述电子设备900运行时，所述处理器910与所述存储器920之间通过总线930通信，使得所述处理器910可以执行上述的教学互动情况识别方法的步骤。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的教学互动情况识别方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品，该计算机程序产品包括有计算机指令，所述计算机指令被处理器执行时可以执行上述方法实施例中所述的教学互动情况识别方法的步骤，具体可参见上述方法实施例，在此不再赘述。
其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random AccessMemory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种教学互动情况识别方法，其特征在于，应用于设置有音频采集设备和视频采集设备的教学场景中，所述方法包括：
获取通过所述音频采集设备和所述视频采集设备采集的、在所述教学场景中进行教学活动的教学视频；
针对所述教学视频进行处理，得到至少一个教师动作和至少一个学生动作，其中，所述教师动作和所述学生动作互为对应的关系；
基于所述教师动作和所述学生动作，整合得到师生互动行为；
基于所述师生互动行为，确定教学互动情况。
2.根据权利要求1所述的方法，其特征在于，所述针对所述教学视频进行处理，得到至少一个教师动作和至少一个学生动作，包括：
针对所述教学视频，从所述教学视频中提取得到视频图像文件和视频音频文件；
基于预设的时间间隔，将所述视频图像文件按照预设的时间间隔进行切片处理，得到图像分片文件；
针对所述视频音频文件，从所述视频音频文件中获取存在师生交互的交互音频文件；
针对所述交互音频文件，进行切片处理，得到音频分片文件；
针对所述图像分片文件和所述音频分片文件，分别进行识别处理，得到至少一个教师动作和至少一个学生动作。
3.根据权利要求2所述的方法，其特征在于，所述针对所述图像分片文件进行识别处理，得到至少一个教师动作和至少一个学生动作，包括：
针对所述图像分片文件，通过对所述图像分片文件的画面进行分类，得到教师图像分片文件和学生图像分片文件；
针对所述教师图像分片文件，识别得到教师处于信息区、所述信息区中至少存在一人、教师手持智能移动终端、教师转头角度不小于四十五度、以及教师低头的动作；
针对所述学生图像分片文件，识别得到所述信息区中至少存在一人、以及学生手持智能移动终端的动作。
4.根据权利要求3所述的方法，其特征在于，所述基于所述教师动作和所述学生动作，整合得到师生互动行为，包括：
基于所述教师处于信息区、所述信息区中至少存在一人、教师手持智能移动终端、教师转头角度不小于四十五度、以及教师低头的动作，确定得到教师操纵技术的互动行为；
基于所述信息区中至少存在一人、以及学生手持智能移动终端的动作，确定得到学生操纵技术的互动行为。
5.根据权利要求2所述的方法，其特征在于，所述针对所述音频分片文件进行识别处理，得到至少一个教师动作，包括：
针对所述音频分片文件，从所述音频分片文件中提取出至少一个关键词；
基于预设的交互情景，判断所述音频分片文件是否匹配所述交互情景；
若匹配，基于预设的关联词库中存储的多个关联样本词语，确定所述至少一个关键词匹配的至少一个所述关联样本词语；
若不匹配，基于预设的公共词库中存储的多个公共样本词语，确定所述至少一个关键词匹配的至少一个所述公共样本词语；
基于匹配的所述关联样本词语和所述公共样本词语，确定得到教师说话的动作。
6.根据权利要求5所述的方法，其特征在于，所述基于所述教师动作和所述学生动作，整合得到师生互动行为，包括：
基于所述教师说话的动作，确定得到教师言语维度的互动行为，所述教师言语维度的互动行为包括教师接收情感、教师表扬或鼓励、教师采纳学生观点、教师提问、教师讲授、教师指令、以及教师批评或维护教师权威中的一种或者多种，所述教师提问的互动行为包括提问开放性问题和提问封闭性问题。
7.根据权利要求2所述的方法，其特征在于，在所述基于所述教师动作和所述学生动作，整合得到师生互动行为之后，所述方法包括：
将所述师生互动行为对应的视频图像文件和视频音频文件依照时间顺序进行处理，得到处理后的新视频图像文件和新视频音频文件；
针对处理后的新视频图像文件和新视频音频文件，判断是否出现重复、缺失的情况；
若存在重复、缺失的情况，针对出现重复、缺失的情况的所述新视频图像文件和/或所述新视频音频文件进行调整；
若不存在重复、缺失的情况，确定所述新视频图像文件和所述新视频音频文件对应的师生互动行为。
8.一种教学互动情况识别装置，其特征在于，应用于设置有音频采集设备和视频采集设备的教学场景中，所述装置包括：
采集模块，用于获取通过所述音频采集设备和所述视频采集设备采集的、在所述教学场景中进行教学活动的教学视频；
处理模块，用于针对所述教学视频进行处理，得到至少一个教师动作和至少一个学生动作，其中，所述教师动作和所述学生动作互为对应的关系；
整合模块，用于基于所述教师动作和所述学生动作，整合得到师生互动行为；
判断模块，基于所述师生互动行为，确定教学互动情况。
9.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至7中任一项所述的教学互动情况识别方法的步骤。
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至7中任一项所述的教学互动情况识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111667058.8A CN114299617A (zh) | 2021-12-31 | 2021-12-31 | 一种教学互动情况识别方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111667058.8A CN114299617A (zh) | 2021-12-31 | 2021-12-31 | 一种教学互动情况识别方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114299617A true CN114299617A (zh) | 2022-04-08 |
Family
ID=80974493
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111667058.8A Pending CN114299617A (zh) | 2021-12-31 | 2021-12-31 | 一种教学互动情况识别方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114299617A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116402647A (zh) * | 2023-02-22 | 2023-07-07 | 广州冠科技术股份有限公司 | 一种基于虚拟现实的教学机器人智能调控系统及方法 |
| CN117195892A (zh) * | 2023-11-08 | 2023-12-08 | 山东十二学教育科技有限公司 | 一种基于大数据的课堂教学评测方法及系统 |
| CN117391900A (zh) * | 2023-11-23 | 2024-01-12 | 重庆第二师范学院 | 基于大数据分析的学习效率检测系统及方法 |
-
2021
- 2021-12-31 CN CN202111667058.8A patent/CN114299617A/zh active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116402647A (zh) * | 2023-02-22 | 2023-07-07 | 广州冠科技术股份有限公司 | 一种基于虚拟现实的教学机器人智能调控系统及方法 |
| CN116402647B (zh) * | 2023-02-22 | 2023-12-05 | 广州冠科技术股份有限公司 | 一种基于虚拟现实的教学机器人智能调控系统及方法 |
| CN117195892A (zh) * | 2023-11-08 | 2023-12-08 | 山东十二学教育科技有限公司 | 一种基于大数据的课堂教学评测方法及系统 |
| CN117195892B (zh) * | 2023-11-08 | 2024-01-26 | 山东十二学教育科技有限公司 | 一种基于大数据的课堂教学评测方法及系统 |
| CN117391900A (zh) * | 2023-11-23 | 2024-01-12 | 重庆第二师范学院 | 基于大数据分析的学习效率检测系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108648757B (zh) | 一种基于多维度课堂信息的分析方法 | |
| CN114299617A (zh) | 一种教学互动情况识别方法、装置、设备及存储介质 | |
| Lynch et al. | Listening | |
| CN109727167B (zh) | 一种教学辅助系统 | |
| CN111046819A (zh) | 一种行为识别处理方法及装置 | |
| CN109872587A (zh) | 多维教学数据的处理系统 | |
| Temkar et al. | Internet of things for smart classrooms | |
| CN111027486A (zh) | 一种中小学课堂教学效果大数据辅助分析评价系统及其方法 | |
| WO2020214316A1 (en) | Artificial intelligence-based generation of event evaluation report | |
| CN114298497A (zh) | 教师课堂教学质量的评估方法以及装置 | |
| CN110531849A (zh) | 一种基于5g通信的增强现实的智能教学系统 | |
| CN111666820B (zh) | 一种讲话状态识别方法、装置、存储介质及终端 | |
| CN112949461A (zh) | 一种学习状态的分析方法、装置以及电子设备 | |
| Baecher | Video in teacher learning: Through their own eyes | |
| Morency et al. | ICMI 2013 grand challenge workshop on multimodal learning analytics | |
| Shahrokhian Ghahfarokhi et al. | Toward an automatic speech classifier for the teacher | |
| Jain et al. | Student’s Feedback by emotion and speech recognition through Deep Learning | |
| CN116416839A (zh) | 一种基于物联网实训系统的实训辅助教学的方法 | |
| CN111078010A (zh) | 一种人机交互方法、装置、终端设备及可读存储介质 | |
| WO2023079370A1 (en) | System and method for enhancing quality of a teaching-learning experience | |
| US10593366B2 (en) | Substitution method and device for replacing a part of a video sequence | |
| CN114297418A (zh) | 一种识别学习情绪进行个性化推荐的系统及方法 | |
| CN114332719A (zh) | 一种学生课堂学习动机分析方法、装置、设备及存储介质 | |
| CN111667128A (zh) | 教学质量评估方法、装置及系统 | |
| Knapp | Teaching nonverbal communication |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |