CN110287947A - 互动课堂中的互动教室确定方法及装置 - Google Patents

互动课堂中的互动教室确定方法及装置 Download PDF

Info

Publication number
CN110287947A
CN110287947A CN201910669932.8A CN201910669932A CN110287947A CN 110287947 A CN110287947 A CN 110287947A CN 201910669932 A CN201910669932 A CN 201910669932A CN 110287947 A CN110287947 A CN 110287947A
Authority
CN
China
Prior art keywords
classroom
interaction
target
mode
recognition result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910669932.8A
Other languages
English (en)
Inventor
陈浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Codyy Education Technology Co Ltd
Original Assignee
Codyy Education Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Codyy Education Technology Co Ltd filed Critical Codyy Education Technology Co Ltd
Priority to CN201910669932.8A priority Critical patent/CN110287947A/zh
Publication of CN110287947A publication Critical patent/CN110287947A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Human Computer Interaction (AREA)
  • Economics (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请涉及一种互动课堂中的互动教室确定方法及装置，属于计算机技术领域，该方法包括：获取主讲教室和听讲教室的多媒体信息和设备操作信息；使用多媒体信息中的视频信息进行人脸识别和行为识别、使用多媒体信息中的音频信息进行语音语义识别、并使用设备操作信息进行鼠标识别；结合人脸识别结果、行为识别结果、语音语义识别结果和鼠标识别结果，确定互动课堂中参与互动的目标教室以及目标教室的互动方式；按照目标教室的数量和互动方式确定各个教室中拼接视频的显示方式；可以解决多个教室之间互动效率较低的问题；由于可以自动确定互动教室以及互动教室的互动方式，因此，可以提高多个教室之间的互动效率。

Description

互动课堂中的互动教室确定方法及装置
技术领域
本申请涉及一种互动课堂中的互动教室确定方法及装置，属于计算机技术领域。
背景技术
互联网和移动通信网络的智能化技术正在迅速影响着各行各业，让新一代信息化教学产品快速发展。现有的教学产品包括设置在主讲教室和听讲教室的班班通(或称常规教学屏、教学一体机)、设置在主讲教室中的抬头屏(或称辅助教学屏)。基于现有的教学产品可以实现在不同地域、不同教室的学生和教师之间建立互动课堂。
在现有的互动课堂中，默认所有听讲教室的常规教学屏上显示的是主讲教室的画面，如果某个听讲教室想参与互动，可以通过如下两种方式参与互动：一、需要该教室的学生或者教师采用手势、声音等，表示本教室的学生希望参与互动，主讲教师再通过观看音视频接收到信息，并在屏幕上选择该教室参与互动。二、主讲教师根据课程的安排主动选择某个教室的学生参与互动。
然而，主讲教师需要在辅助教学屏上捕捉到哪些教室需要参与互动，导致多个教室之间互动效率较低的问题。
发明内容
本申请提供了一种互动课堂中的互动教室确定方法及装置，可以解决多个教室之间互动效率较低的问题。本申请提供如下技术方案：
第一方面，提供了一种互动课堂中的互动教室确定方法，所述方法包括：
获取主讲教室和听讲教室的多媒体信息和设备操作信息；
使用所述多媒体信息中的视频信息进行人脸识别和行为识别、使用所述多媒体信息中的音频信息进行语音语义识别、并使用所述设备操作信息进行鼠标识别；
结合人脸识别结果、行为识别结果、语音语义识别结果和鼠标识别结果，确定互动课堂中参与互动的目标教室以及所述目标教室的互动方式；
按照所述目标教室的数量和所述互动方式确定各个教室中拼接视频的显示方式。
可选地，所述按照所述目标教室的数量和所述互动方式确定各个教室中拼接视频的显示方式，包括：
根据所述目标教室的数量确定拼接视频中的画面数量；
对于每个目标教室，确定所述目标教室的互动方式对应的显示优先级；
按照所述显示优先级在所述拼接视频中显示各个目标教室的画面，每个目标教室的画面的尺寸与显示优先级呈正相关关系。
可选地，所述互动方式包括：学生大笑互动、随堂测验互动、教师走动互动、教师抬手互动、学生走动互动、学生站立互动、学生抬手互动、学生集体说话互动、移动鼠标互动；
移动鼠标互动的显示优先级高于其它互动方式，其它互动方式的显示优先级相同。
可选地，对于每个教室，所述结合人脸识别结果、行为识别结果、语音语义识别结果和鼠标识别结果，确定互动课堂中参与互动的目标教室以及所述目标教室的互动方式，包括：
在所述教室中各个学生的人脸识别结果为超过一半的学生大笑、语音语义识别结果为笑声时，确定所述教室为目标教室，且所述目标教室的互动方式为学生大笑互动；
在所述教室中各个学生的人脸识别结果为超过一半的学生低头时，确定所述教室为目标教室，且所述目标教室的互动方式为随堂测验互动；
在所述教室为主讲教室，且所述主讲教师的行为识别结果为走动时，确定所述主讲教室为目标教室，且所述目标教室的互动方式为教师走动互动；
在所述教室为主讲教室，且所述主讲教师的行为识别结果为抬手时，确定所述主讲教室为目标教室，且所述目标教室的互动方式为教师抬手互动；
在所述教室学生的行为识别结果为走动时，确定所述教室为目标教室，且所述目标教室的互动方式为学生走动互动；
在所述教室学生的行为识别结果为站立时，确定所述教室为目标教室，且所述目标教室的互动方式为学生站立互动；
在所述教室学生的行为识别结果为抬手时，确定所述教室为目标教室，且所述目标教室的互动方式为学生抬手互动；
在所述教室学生的人脸识别结果为嘴张开、语音语义识别结果为讲话、行为识别结果为超过一半的学生端坐时，确定所述教室为目标教室，且所述目标教室的互动方式为学生集体说话互动；
在所述教室的鼠标识别结果为移动鼠标时，确定所述教室为目标教室，且所述目标教室的互动方式为移动鼠标互动。
可选地，所述方法还包括：
获取模式选择信息；
在所述模式选择信息指示自动确定互动课堂中参与互动的目标教室时执行所述获取主讲教室和听讲教室的多媒体信息和设备操作信息的步骤。
可选地，所述获取模式选择信息之后，还包括：
在所述模式选择信息指示不选择听讲教室和主讲教室互动时，获取所述主讲教室讲台区域的多媒体信息。
可选地，所述获取模式选择信息之后，还包括：
在所述模式选择信息指示不选择主讲教室互动时，获取各个听讲教室的画面和主讲教室讲台区域的多媒体信息，且各个教室的视频在拼接视频中的显示方式为等分显示。
可选地，所述获取模式选择信息之后，还包括：
在所述模式选择信息指示选择主讲教室和听讲教室互动时，获取各个听讲教室的多媒体信息和主讲教室的多媒体信息，且主讲教室的视频画面在拼接视频中的尺寸大于听讲教室的视频画面在拼接视频中的尺寸。
可选地，所述方法还包括：
在互动课堂结束后生成互动报告，所述互动报告包括互动时间、目标教室的教室标识和互动方式；
获取对所述互动报告的标记操作，所述标记操作用于指示所述互动报告中的错误识别项和/或多余识别项；
根据所述标记操作更新确定所述目标教室以及所述目标教室的互动方式的策略。
第二方面，提供了一种互动课堂中的互动教室确定装置，所述装置包括：
信息获取模块，用于获取主讲教室和听讲教室的多媒体信息和设备操作信息；
智能识别模块，用于使用所述多媒体信息中的视频信息进行人脸识别和行为识别、使用所述多媒体信息中的音频信息进行语音语义识别、并使用所述设备操作信息进行鼠标识别；
第一确定模块，用于结合人脸识别结果、行为识别结果、语音语义识别结果和鼠标识别结果，确定互动课堂中参与互动的目标教室以及所述目标教室的互动方式；
第二确定模块，用于按照所述目标教室的数量和所述互动方式确定各个教室中拼接视频的显示方式。
第三方面，提供一种互动课堂中的互动教室确定装置，所述装置包括处理器和存储器；所述存储器中存储有程序，所述程序由所述处理器加载并执行以实现第一方面所述的互动课堂中的互动教室确定方法。
第四方面，提供一种计算机可读存储介质，所述存储介质中存储有程序，所述程序由所述处理器加载并执行以实现第一方面所述的互动课堂中的互动教室确定方法。
本申请的有益效果在于：通过获取主讲教室和听讲教室的多媒体信息和设备操作信息；使用多媒体信息中的视频信息进行人脸识别和行为识别、使用多媒体信息中的音频信息进行语音语义识别、并使用设备操作信息进行鼠标识别；结合人脸识别结果、行为识别结果、语音语义识别结果和鼠标识别结果，确定互动课堂中参与互动的目标教室以及目标教室的互动方式；按照目标教室的数量和互动方式确定各个教室中拼接视频的显示方式；可以解决多个教室之间互动效率较低的问题；由于可以自动确定互动教室以及互动教室的互动方式，因此，可以提高多个教室之间的互动效率。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，并可依照说明书的内容予以实施，以下以本申请的较佳实施例并配合附图详细说明如后。
附图说明
图1是本申请一个实施例提供的互动课堂中的互动教室确定系统的结构示意图；
图2是本申请一个实施例提供的互动课堂中的互动教室确定方法的流程图；
图3是本申请一个实施例提供的互动课堂中的拼接视频的显示方式的示意图；
图4是本申请另一个实施例提供的互动课堂中的拼接视频的显示方式的示意图；
图5是本申请另一个实施例提供的互动课堂中的拼接视频的显示方式的示意图；
图6是本申请另一个实施例提供的互动课堂中的拼接视频的显示方式的示意图；
图7是本申请另一个实施例提供的互动课堂中的拼接视频的显示方式的示意图；
图8是本申请另一个实施例提供的互动课堂中的拼接视频的显示方式的示意图；
图9是本申请一个实施例提供的互动课堂中的互动教室确定装置的框图。
具体实施方式
下面结合附图和实施例，对本申请的具体实施方式作进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。
首先，对本申请涉及的若干名词进行解释。
互动课堂：是指通过互动软件以及音视频硬件设备，实现多个教室之间同上一节课、且支持多个教室之间互动的在线教学场景。示意性地，互动课堂包括一个主讲教室和多个听讲教室，比如：9个听讲教室、6个听讲教室等，本申请不对互动课堂中听讲教室的数量作限定。
主讲教室：在互动课堂中作为主讲方的教室。
听讲教室：在互动课堂中作为听讲方的教室。
主讲教师：主讲教室中负责授课、使用教学产品的教师。
听讲教师：听讲教室中负责维护课堂秩序、使用教学产品的教师。
常规教学屏：又称班班通或者教学一体机，在教室中安装在黑板旁朝向学生。对于主讲教室主要用于演示课件，对于听讲教室主要用于展示主讲教室或者其它教室的视频画面。
辅助教学屏：又称抬头屏，在主讲教室中悬挂在教室正中央朝向讲台，主要用于展示远端听讲教室视频画面。可选地，由于听讲教室没有负责授课的教师，因此，听讲教室不安装辅助教学屏。
摄像机：摄像机用于采集讲台区域、学生区域的视频。根据实际上课需要，摄像机的安装数量可以为一台或者多台。比如：摄像机为5台，分别为：朝向讲台用于跟踪教师(或者称为教师特写)的摄像机、教师全景摄像机、教师板书摄像机、朝向学生的用于跟踪学生(或者称为学生特写)的摄像机、学生全景摄像机。
麦克风：麦克风用于采集讲台区域、学生区域的音频。根据实际上课需要，麦克风的安装数量可以为一台或者多台。比如麦克风的数量为1至6个。
图1是本申请一个实施例提供的互动课堂中的互动教室确定系统的结构示意图，如图1所示，该系统至少包括：主讲教室终端110、主讲教室中的摄像机120和麦克风130、多媒体服务器140、听讲教室终端150、听讲教室中的摄像机160和麦克风170。
主讲教室终端110包括：常规教学屏、辅助教学屏等位于主讲教室中的终端。其中，常规教学屏接收到主讲教师的设备操作时，可以将该设备操作对应的设备操作信息发送至多媒体服务器140。设备操作信息包括但不限于：鼠标信息、触屏信息等。
听讲教室终端150包括：辅助教学屏等位于听讲教室中的终端。
主讲教室终端110基于互联网与多媒体服务器140相连、听讲教室终端150基于互联网与多媒体服务器140相连。多媒体服务器140用于为主讲教室终端110和听讲教室终端150提供数据传输服务。
其中，数据传输服务包括：传输视频信息、音频信息的服务和/或设备操作信息。
可选地，摄像机120可以将采集到的视频信息发送至主讲教室终端110，由主讲教室终端110通过多媒体服务器140将该视频信息发送至听讲教室终端150；或者，摄像机120可以将采集到的视频信息发送至多媒体服务器140，由多媒体服务器140将该视频信息发送至听讲教室终端150。同理，摄像机160可以将采集到的视频信息发送至听讲教室终端150，由听讲教室终端150通过多媒体服务器140将该视频信息发送至主讲教室终端110和其它听讲教室终端150；或者，摄像机160可以将采集到的视频信息发送至多媒体服务器140，由多媒体服务器140将该视频信息发送至主讲教室终端110和其它听讲教室终端150。
可选地，麦克风130可以将采集到的音频信息发送至主讲教室终端110，由主讲教室终端110通过多媒体服务器140将该音频信息发送至听讲教室终端150；或者，摄像机120可以将采集到的音频信息发送至多媒体服务器140，由多媒体服务器140将该音频信息发送至听讲教室终端150。同理，麦克风170可以将采集到的音频信息发送至听讲教室终端150，由听讲教室终端150通过多媒体服务器140将该音频信息发送至主讲教室终端110和其它听讲教室终端150；或者，麦克风170可以将采集到的音频信息发送至多媒体服务器140，由多媒体服务器140将该音频信息发送至主讲教室终端110和其它听讲教室终端150。
可选地，本实施例中，多媒体服务器140用于获取主讲教室和听讲教室的多媒体信息和设备操作信息；使用多媒体信息中的视频信息进行人脸识别和行为识别、使用多媒体信息中的音频信息进行语音语义识别、并使用设备操作信息进行鼠标识别；结合人脸识别结果、行为识别结果、语音语义识别结果和鼠标识别结果，确定互动课堂中参与互动的目标教室以及目标教室的互动方式；按照目标教室的数量和互动方式确定各个教室中拼接视频的显示方式。
当然，上述过程也可以在主讲教室终端110或者听讲教室终端150执行，而不在多媒体服务器140执行，本实施例对此不作限定。
需要补充说明的是，图1中以听讲教室的数量为2个为例进行说明，在实际实现时，听讲教室的数量也可以为1个或者2个以上，本实施例不对听讲教室的数量作限定。
图2是本申请一个实施例提供的互动课堂中的互动教室确定方法的流程图。该方法至少包括以下几个步骤：
步骤201，获取主讲教室和听讲教室的多媒体信息和设备操作信息。
步骤202，使用多媒体信息中的视频信息进行人脸识别和行为识别、使用多媒体信息中的音频信息进行语音语义识别、并使用设备操作信息进行鼠标识别。
可选地，人脸识别的方式包括但不限于：多任务卷积神经网络(Multi-taskconvolutional neural network，MTCNN)、实用的面部标志物检测器(A Practical FacialLandmark Detector，PFLD)、虹软人脸识别算法等，本实施例在此不再一一列举。
可选地，行为识别的方式包括但不限于：改进的密集轨迹(improved densetrajectories，iDT)算法、密集轨迹(dense trajectories，DT)算法、双流网络(Two-StreamConvolutional Networks)等，本实施例在此不再一一列举。
可选地，语音语义识别的方式包括但不限于：基于动态时间规整(Dynamic TimeWarping，DTW)算法、基于非参数模型的矢量量化(Vector Quantization，VQ)方法、基于参数模型的隐马尔可夫模型(Hidden Markov Model，HMM)的方法、基于人工神经网络(Artificial Neural Network，ANN)和支持向量机等，本实施例在此不再一一列举。
可选地，鼠标识别的方式包括：在设备操作信息中搜索是否包括操作鼠标的信息。
步骤203，结合人脸识别结果、行为识别结果、语音语义识别结果和鼠标识别结果，确定互动课堂中参与互动的目标教室以及目标教室的互动方式。
可选地，互动方式包括：学生大笑互动、随堂测验互动、教师走动互动、教师抬手互动、学生走动互动、学生站立互动、学生抬手互动、学生集体说话互动、移动鼠标互动。
在教室中各个学生的人脸识别结果为超过一半的学生大笑、语音语义识别结果为笑声时，确定教室为目标教室，且目标教室的互动方式为学生大笑互动。
在教室中各个学生的人脸识别结果为超过一半的学生低头时，确定教室为目标教室，且目标教室的互动方式为随堂测验互动。
在教室为主讲教室，且主讲教师的行为识别结果为走动时，确定主讲教室为目标教室，且目标教室的互动方式为教师走动互动。
在教室为主讲教室，且主讲教师的行为识别结果为抬手时，确定主讲教室为目标教室，且目标教室的互动方式为教师抬手互动。
在教室学生的行为识别结果为走动时，确定教室为目标教室，且目标教室的互动方式为学生走动互动。
在教室学生的行为识别结果为站立时，确定教室为目标教室，且目标教室的互动方式为学生站立互动。
在教室学生的行为识别结果为抬手时，确定教室为目标教室，且目标教室的互动方式为学生抬手互动。
在教室学生的人脸识别结果为嘴张开、语音语义识别结果为讲话、行为识别结果为超过一半的学生端坐时，确定教室为目标教室，且目标教室的互动方式为学生集体说话互动。
在教室的鼠标识别结果为移动鼠标时，确定教室为目标教室，且目标教室的互动方式为移动鼠标互动。
示意性地，参考下表一所示的互动方式确定方法：
表一：
需要补充说明的是，在实际实现时，可以不按照表一所列举的场景进行识别，也可以按照其它场景划分方式进行互动识别。
步骤204，按照目标教室的数量和互动方式确定各个教室中拼接视频的显示方式。
根据目标教室的数量确定拼接视频中的画面数量；对于每个目标教室，确定目标教室的互动方式对应的显示优先级；按照显示优先级在拼接视频中显示各个目标教室的画面，每个目标教室的画面的尺寸与显示优先级呈正相关关系。
比如，在步骤203列举的互动方式中，移动鼠标互动的显示优先级高于其它互动方式，其它互动方式的显示优先级相同。当然，显示优先级也可以按照其它方式划分，本实施例在此不作限定。参考图3-图8所示的拼接视频的显示方式，图3表示在没有任何目标教室时，拼接视频默认显示主讲教室讲台区域的视频画面；图4表示主讲教师表演舞蹈、主讲教室学生和2个听讲教室的学生起立学习舞蹈的拼接视频的显示方式；图5表示主讲教师布置随堂测验，3个听讲教室的学生埋头答题的拼接视频的显示方式；图6表示主讲教室播放视频(使用鼠标)，主讲教室学生以及4个听讲教室学生大笑的拼接视频的显示方式；图7表示2个听讲教室的学生同时上讲台写板书，听讲教室的学生和主讲教室的学生大笑的拼接视频的显示方式；图8表示主讲教室学生与1个听讲教室学生分组讨论的拼接视频的显示方式。
综上所述，本实施例提供的互动课堂中的互动教室确定方法，通过获取主讲教室和听讲教室的多媒体信息和设备操作信息；使用多媒体信息中的视频信息进行人脸识别和行为识别、使用多媒体信息中的音频信息进行语音语义识别、并使用设备操作信息进行鼠标识别；结合人脸识别结果、行为识别结果、语音语义识别结果和鼠标识别结果，确定互动课堂中参与互动的目标教室以及目标教室的互动方式；按照目标教室的数量和互动方式确定各个教室中拼接视频的显示方式；可以解决多个教室之间互动效率较低的问题；由于可以自动确定互动教室以及互动教室的互动方式，因此，可以提高多个教室之间的互动效率。
本申请中，通过自动选择参与互动的教室，减轻了教师开展互动课的负担；所有教室的学生好像在一间教室里上课，大家的目光可以时刻停留在值得关注的地方，比如：某个教室的学生站起来，系统会自动选择该教室参与互动，所有教室的学生都可以立即看到该教室该学生的表现。
可选地，基于上述实施例，方法还包括：获取模式选择信息；在模式选择信息指示自动确定互动课堂中参与互动的目标教室时执行获取主讲教室和听讲教室的多媒体信息和设备操作信息的步骤。
可选地，在模式选择信息指示不选择听讲教室和主讲教室互动时，获取主讲教室讲台区域的多媒体信息。
可选地，在模式选择信息指示不选择主讲教室互动时，获取各个听讲教室的画面和主讲教室讲台区域的多媒体信息，且各个教室的视频在拼接视频中的显示方式为等分显示。
可选地，在模式选择信息指示选择主讲教室和听讲教室互动时，获取各个听讲教室的多媒体信息和主讲教室的多媒体信息，且主讲教室的视频画面在拼接视频中的尺寸大于听讲教室的视频画面在拼接视频中的尺寸。
可选地，基于上述实施例，在互动课堂结束后生成互动报告，互动报告包括互动时间、目标教室的教室标识和互动方式；获取对互动报告的标记操作，标记操作用于指示互动报告中的错误识别项和/或多余识别项；根据标记操作更新确定目标教室以及目标教室的互动方式的策略。此时，教师接收到报告后，可以判断识别项的正确性以及必要性，可以手动标记某些识别项，并填写标记原因，比如：错误识别项、多余识别项。教师对触发互动报告标记后，多媒体服务器会将大量的触发互动报告汇总，分析错误识别项、多余识别项，并将标记较多的错误识别项、多余识别项调整或者去除，从而持续优化识别策略，识别策略优化后会下发到每个教室终端。
图9是本申请一个实施例提供的互动课堂中的互动教室确定装置的框图。该装置至少包括以下几个模块：信息获取模块910、智能识别模块920、第一确定模块930和第二确定模块940。
信息获取模块910，用于获取主讲教室和听讲教室的多媒体信息和设备操作信息；
智能识别模块920，用于使用所述多媒体信息中的视频信息进行人脸识别和行为识别、使用所述多媒体信息中的音频信息进行语音语义识别、并使用所述设备操作信息进行鼠标识别；
第一确定模块930，用于结合人脸识别结果、行为识别结果、语音语义识别结果和鼠标识别结果，确定互动课堂中参与互动的目标教室以及所述目标教室的互动方式；
第二确定模块940，用于按照所述目标教室的数量和所述互动方式确定各个教室中拼接视频的显示方式。
相关细节参考上述方法实施例。
需要说明的是：上述实施例中提供的互动课堂中的互动教室确定装置在确定互动课堂中的互动教室时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将互动课堂中的互动教室确定装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的互动课堂中的互动教室确定装置与互动课堂中的互动教室确定方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
可选地，本申请还提供有一种计算机可读存储介质，所述计算机可读存储介质中存储有程序，所述程序由处理器加载并执行以实现上述方法实施例的互动课堂中的互动教室确定方法。
可选地，本申请还提供有一种计算机产品，该计算机产品包括计算机可读存储介质，所述计算机可读存储介质中存储有程序，所述程序由处理器加载并执行以实现上述方法实施例的互动课堂中的互动教室确定方法。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种互动课堂中的互动教室确定方法，其特征在于，所述方法包括：
获取主讲教室和听讲教室的多媒体信息和设备操作信息；
使用所述多媒体信息中的视频信息进行人脸识别和行为识别、使用所述多媒体信息中的音频信息进行语音语义识别、并使用所述设备操作信息进行鼠标识别；
结合人脸识别结果、行为识别结果、语音语义识别结果和鼠标识别结果，确定互动课堂中参与互动的目标教室以及所述目标教室的互动方式；
按照所述目标教室的数量和所述互动方式确定各个教室中拼接视频的显示方式。
2.根据权利要求1所述的方法，其特征在于，所述按照所述目标教室的数量和所述互动方式确定各个教室中拼接视频的显示方式，包括：
根据所述目标教室的数量确定拼接视频中的画面数量；
对于每个目标教室，确定所述目标教室的互动方式对应的显示优先级；
按照所述显示优先级在所述拼接视频中显示各个目标教室的画面，每个目标教室的画面的尺寸与显示优先级呈正相关关系。
3.根据权利要求2所述的方法，其特征在于，所述互动方式包括：学生大笑互动、随堂测验互动、教师走动互动、教师抬手互动、学生走动互动、学生站立互动、学生抬手互动、学生集体说话互动、移动鼠标互动；
移动鼠标互动的显示优先级高于其它互动方式，其它互动方式的显示优先级相同。
4.根据权利要求3所述的方法，其特征在于，对于每个教室，所述结合人脸识别结果、行为识别结果、语音语义识别结果和鼠标识别结果，确定互动课堂中参与互动的目标教室以及所述目标教室的互动方式，包括：
在所述教室中各个学生的人脸识别结果为超过一半的学生大笑、语音语义识别结果为笑声时，确定所述教室为目标教室，且所述目标教室的互动方式为学生大笑互动；
在所述教室中各个学生的人脸识别结果为超过一半的学生低头时，确定所述教室为目标教室，且所述目标教室的互动方式为随堂测验互动；
在所述教室为主讲教室，且所述主讲教师的行为识别结果为走动时，确定所述主讲教室为目标教室，且所述目标教室的互动方式为教师走动互动；
在所述教室为主讲教室，且所述主讲教师的行为识别结果为抬手时，确定所述主讲教室为目标教室，且所述目标教室的互动方式为教师抬手互动；
在所述教室学生的行为识别结果为走动时，确定所述教室为目标教室，且所述目标教室的互动方式为学生走动互动；
在所述教室学生的行为识别结果为站立时，确定所述教室为目标教室，且所述目标教室的互动方式为学生站立互动；
在所述教室学生的行为识别结果为抬手时，确定所述教室为目标教室，且所述目标教室的互动方式为学生抬手互动；
在所述教室学生的人脸识别结果为嘴张开、语音语义识别结果为讲话、行为识别结果为超过一半的学生端坐时，确定所述教室为目标教室，且所述目标教室的互动方式为学生集体说话互动；
在所述教室的鼠标识别结果为移动鼠标时，确定所述教室为目标教室，且所述目标教室的互动方式为移动鼠标互动。
5.根据权利要求1至4任一所述的方法，其特征在于，所述方法还包括：
获取模式选择信息；
在所述模式选择信息指示自动确定互动课堂中参与互动的目标教室时执行所述获取主讲教室和听讲教室的多媒体信息和设备操作信息的步骤。
6.根据权利要求5所述的方法，其特征在于，所述获取模式选择信息之后，还包括：
在所述模式选择信息指示不选择听讲教室和主讲教室互动时，获取所述主讲教室讲台区域的多媒体信息。
7.根据权利要求5所述的方法，其特征在于，所述获取模式选择信息之后，还包括：
在所述模式选择信息指示不选择主讲教室互动时，获取各个听讲教室的画面和主讲教室讲台区域的多媒体信息，且各个教室的视频在拼接视频中的显示方式为等分显示。
8.根据权利要求5所述的方法，其特征在于，所述获取模式选择信息之后，还包括：
在所述模式选择信息指示选择主讲教室和听讲教室互动时，获取各个听讲教室的多媒体信息和主讲教室的多媒体信息，且主讲教室的视频画面在拼接视频中的尺寸大于听讲教室的视频画面在拼接视频中的尺寸。
9.根据权利要求1至4任一所述的方法，其特征在于，所述方法还包括：
在互动课堂结束后生成互动报告，所述互动报告包括互动时间、目标教室的教室标识和互动方式；
获取对所述互动报告的标记操作，所述标记操作用于指示所述互动报告中的错误识别项和/或多余识别项；
根据所述标记操作更新确定所述目标教室以及所述目标教室的互动方式的策略。
10.一种互动课堂中的互动教室确定装置，其特征在于，所述装置包括：
信息获取模块，用于获取主讲教室和听讲教室的多媒体信息和设备操作信息；
智能识别模块，用于使用所述多媒体信息中的视频信息进行人脸识别和行为识别、使用所述多媒体信息中的音频信息进行语音语义识别、并使用所述设备操作信息进行鼠标识别；
第一确定模块，用于结合人脸识别结果、行为识别结果、语音语义识别结果和鼠标识别结果，确定互动课堂中参与互动的目标教室以及所述目标教室的互动方式；
第二确定模块，用于按照所述目标教室的数量和所述互动方式确定各个教室中拼接视频的显示方式。
CN201910669932.8A 2019-07-24 2019-07-24 互动课堂中的互动教室确定方法及装置 Pending CN110287947A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910669932.8A CN110287947A (zh) 2019-07-24 2019-07-24 互动课堂中的互动教室确定方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910669932.8A CN110287947A (zh) 2019-07-24 2019-07-24 互动课堂中的互动教室确定方法及装置

Publications (1)

Publication Number Publication Date
CN110287947A true CN110287947A (zh) 2019-09-27

Family

ID=68022306

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910669932.8A Pending CN110287947A (zh) 2019-07-24 2019-07-24 互动课堂中的互动教室确定方法及装置

Country Status (1)

Country Link
CN (1) CN110287947A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110730306A (zh) * 2019-10-30 2020-01-24 阔地教育科技有限公司 互动课堂中的对象展示方法、装置及系统
CN111046819A (zh) * 2019-12-18 2020-04-21 浙江大华技术股份有限公司 一种行为识别处理方法及装置
CN111787053A (zh) * 2020-05-18 2020-10-16 深圳市东微智能科技股份有限公司 远程教育共享方法、设备及可读存储介质
CN112073668A (zh) * 2020-08-25 2020-12-11 恒峰信息技术有限公司 一种远程教室互动方法、系统、装置和存储介质
CN112702416A (zh) * 2020-12-21 2021-04-23 泰康保险集团股份有限公司 一种在线教学的互动方法和装置
CN113296727A (zh) * 2021-05-08 2021-08-24 广州市奥威亚电子科技有限公司 声音控制方法、装置、电子设备及存储介质
CN113384249A (zh) * 2021-05-25 2021-09-14 湖州普康智慧养老产业科技有限公司 一种智慧养老的大数据管理系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015024301A1 (zh) * 2013-08-14 2015-02-26 苏州阔地网络科技有限公司 一种网络同步课堂实现方法及系统
CN106781770A (zh) * 2016-12-28 2017-05-31 航天海鹰光电信息技术（天津）有限公司 一种常态化互动录播系统
CN108108903A (zh) * 2017-12-26 2018-06-01 重庆大争科技有限公司 课堂教学质量评估系统
CN109448470A (zh) * 2018-11-09 2019-03-08 杭州赛鲁班网络科技有限公司 一种在线课堂智能互动装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015024301A1 (zh) * 2013-08-14 2015-02-26 苏州阔地网络科技有限公司 一种网络同步课堂实现方法及系统
CN106781770A (zh) * 2016-12-28 2017-05-31 航天海鹰光电信息技术（天津）有限公司 一种常态化互动录播系统
CN108108903A (zh) * 2017-12-26 2018-06-01 重庆大争科技有限公司 课堂教学质量评估系统
CN109448470A (zh) * 2018-11-09 2019-03-08 杭州赛鲁班网络科技有限公司 一种在线课堂智能互动装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110730306A (zh) * 2019-10-30 2020-01-24 阔地教育科技有限公司 互动课堂中的对象展示方法、装置及系统
CN111046819A (zh) * 2019-12-18 2020-04-21 浙江大华技术股份有限公司 一种行为识别处理方法及装置
CN111046819B (zh) * 2019-12-18 2023-09-05 浙江大华技术股份有限公司 一种行为识别处理方法及装置
CN111787053A (zh) * 2020-05-18 2020-10-16 深圳市东微智能科技股份有限公司 远程教育共享方法、设备及可读存储介质
CN112073668A (zh) * 2020-08-25 2020-12-11 恒峰信息技术有限公司 一种远程教室互动方法、系统、装置和存储介质
CN112073668B (zh) * 2020-08-25 2023-10-31 恒峰信息技术有限公司 一种远程教室互动方法、系统、装置和存储介质
CN112702416A (zh) * 2020-12-21 2021-04-23 泰康保险集团股份有限公司 一种在线教学的互动方法和装置
CN113296727A (zh) * 2021-05-08 2021-08-24 广州市奥威亚电子科技有限公司 声音控制方法、装置、电子设备及存储介质
CN113296727B (zh) * 2021-05-08 2024-05-14 广州市奥威亚电子科技有限公司 声音控制方法、装置、电子设备及存储介质
CN113384249A (zh) * 2021-05-25 2021-09-14 湖州普康智慧养老产业科技有限公司 一种智慧养老的大数据管理系统

Similar Documents

Publication Publication Date Title
CN110287947A (zh) 互动课堂中的互动教室确定方法及装置
CN113593351B (zh) 一种立体综合教学场系统的工作方法
CN110570698B (zh) 一种在线教学控制方法、装置、存储介质以及终端
EP3998550A1 (en) Scene interaction method and apparatus, electronic device, and computer storage medium
CN104575142B (zh) 体验式数字化多屏无缝跨媒体互动开放教学实验室
CN109801194B (zh) 一种具有远程评价功能的跟随教学方法
WO2018036149A1 (zh) 一种多媒体交互教学系统及方法
CN108833941A (zh) 人机交互处理方法、装置、用户终端、处理服务器及系统
US10855785B2 (en) Participant engagement detection and control system for online sessions
CN112652200A (zh) 人机交互系统、方法、服务器、交互控制设备及存储介质
JP2016100033A (ja) 再生制御装置
CN110062290A (zh) 视频互动内容生成方法、装置、设备和介质
WO2022193635A1 (zh) 客服服务系统、方法、装置、电子设备及存储介质
CN108881996A (zh) 生成和显示多媒体片段的序列的方法、装置、设备和介质
CN113850898A (zh) 场景渲染方法及装置、存储介质及电子设备
CN104424825A (zh) 远端教学方法和系统
CN208569905U (zh) 远程教学系统
CN103944888B (zh) 一种资源共享的方法、装置及系统
CN109886255A (zh) 一种具有面部情绪识别功能的智能互动教学系统
CN109255997A (zh) 一种电子教材备课授课方法及装置
CN108924648A (zh) 用于向用户播放视频数据的方法、装置、设备和介质
JP2022075661A (ja) 情報抽出装置
JP2022075662A (ja) 情報抽出装置
CN112597912A (zh) 一种会议内容的记录方法、装置、设备及存储介质
CN110650369B (zh) 一种视频处理方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190927