CN111757140A - 一种基于直播课堂的教学方法及装置 - Google Patents
一种基于直播课堂的教学方法及装置 Download PDFInfo
- Publication number
- CN111757140A CN111757140A CN202010646931.4A CN202010646931A CN111757140A CN 111757140 A CN111757140 A CN 111757140A CN 202010646931 A CN202010646931 A CN 202010646931A CN 111757140 A CN111757140 A CN 111757140A
- Authority
- CN
- China
- Prior art keywords
- classroom
- live
- interactive
- video
- teacher
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000002452 interceptive effect Effects 0.000 claims abstract description 112
- 230000003993 interaction Effects 0.000 claims abstract description 108
- 230000004044 response Effects 0.000 claims abstract description 19
- 230000001815 facial effect Effects 0.000 claims description 24
- 238000013507 mapping Methods 0.000 claims description 24
- 238000004422 calculation algorithm Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 11
- 238000013473 artificial intelligence Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 5
- 238000012544 monitoring process Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 5
- 238000012545 processing Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000012141 concentrate Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
- G09B5/14—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations with provision for individual teacher-student communication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/441—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
- H04N21/4415—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card using biometric characteristics of the user, e.g. by voice recognition or fingerprint scanning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/454—Content or additional data filtering, e.g. blocking advertisements
- H04N21/4542—Blocking scenes or portions of the received content, e.g. censoring scenes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
本发明提供了一种基于直播课堂的教学方法及装置，其中，该基于直播课堂的教学方法包括：在接收到互动指令后，从直播课堂传输至老师端的课堂直播视频中，识别出所述互动指令对应的互动学生；从所述课堂直播视频中，提取出所述互动学生的视频，在所述老师端播放所述互动学生的视频，以使所述老师依据所述互动学生的视频中的互动响应，采取与所述互动响应相匹配的教学策略。可以提高互动效果。
Description
技术领域
本发明涉及教育技术领域，具体而言，涉及一种基于直播课堂的教学方法及装置。
背景技术
随着互联网技术的不断发展，网络传输速度越来越高，能够实现音视频的实时同步传输，使得远程直播教学成为可能。在直播课堂中，若老师需要和学生进行音视频互动时，通过控制麦克风的权限，将麦克风权限授予互动的学生，从而实现老师与学生的互动。但该基于直播课堂的教学方法，在老师与学生互动时，直播课堂呈现的是老师端的直播画面或直播课堂的画面，老师不能详细获取到互动学生的动态，因而，不能获知学生对互动的实时反应，例如，在提问互动环节，不能获得学生对互动问题的反应，例如，思索、茫然或忽略，而是一直等待学生的回答，使得互动效果不佳。
发明内容
有鉴于此，本发明的目的在于提供基于直播课堂的教学方法及装置，以提高互动效果。
第一方面，本发明实施例提供了基于直播课堂的教学方法，包括：
在接收到互动指令后，从直播课堂传输至老师端的课堂直播视频中，识别出所述互动指令对应的互动学生；
从所述课堂直播视频中，提取出所述互动学生的视频，在所述老师端播放所述互动学生的视频，以使所述老师依据所述互动学生的视频中的互动响应，采取与所述互动响应相匹配的教学策略。
结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述在接收到互动指令后，从直播课堂传输至老师端的课堂直播视频中，识别出所述互动指令对应的互动学生，包括：
在接收到老师触发互动控件输出的互动指令后，监测所述老师在所述课堂直播视频中的操作；
在监测到所述老师在所述课堂直播视频中的互动操作后，获取所述互动操作在所述课堂直播视频中的操作位置坐标；
依据所述直播课堂的标识，查询预先存储的直播课堂标识、位置坐标与学生的映射关系，获取所述直播课堂的标识和操作位置坐标映射的互动学生。
结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，构建所述播课堂标识、位置坐标与学生的映射关系，包括：
在接收到老师输出的上课指令后，从直播课堂传输至老师端的课堂直播视频中，利用人工智能头肩算法，确定该课堂直播视频中包含的待识别人物及每一待识别人物的位置坐标；
针对课堂直播视频中包含的每一待识别人物，利用人脸识别算法，识别出该待识别人物的脸部特征，与预先存储的人脸特征与学生的对应关系库进行相似度计算，得到与该待识别人物的脸部特征相似度最高的人脸特征；
基于所述直播课堂的标识、待识别人物的位置坐标以及与该待识别人物的脸部特征相似度最高的人脸特征对应的学生，构建所述映射关系。
结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述在接收到互动指令后，从直播课堂传输至老师端的课堂直播视频中，识别出所述互动指令对应的互动学生，包括：
从老师的音频中识别出包含互动学生的互动指令，查询预先存储的直播课堂标识、位置坐标与学生的映射关系，确定所述互动学生映射的位置坐标。
结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述从所述课堂直播视频中，提取出所述互动学生的视频，包括：
从所述课堂直播视频顺序对应的视频帧中，针对每一视频帧，剪取包含所述互动学生的区域，得到目标帧；
依据顺序剪取得到的目标帧，生成所述互动学生的视频。
结合第一方面、第一方面的第一种可能的实施方式至第四种可能的实施方式中的任一种可能的实施方式，本发明实施例提供了第一方面的第五种可能的实施方式，其中，所述方法还包括：
将所述互动学生的视频与从所述老师端传输至所述直播课堂的教学直播视频进行融合，在所述直播课堂播放融合的视频。
结合第一方面、第一方面的第一种可能的实施方式至第四种可能的实施方式中的任一种可能的实施方式，本发明实施例提供了第一方面的第六种可能的实施方式，其中，所述方法还包括：
在接收到互动结束指令后，终止从所述课堂直播视频中提取所述互动学生的视频，将从直播课堂传输至老师端的课堂直播视频在所述老师端播放；以及，
终止所述融合，在所述直播课堂播放所述老师端传输至所述直播课堂的教学直播视频。
第二方面，本发明实施例还提供了一种基于直播课堂的教学装置，包括：
识别模块，用于在接收到互动指令后，从直播课堂传输至老师端的课堂直播视频中，识别出所述互动指令对应的互动学生；
互动视频生成模块，用于从所述课堂直播视频中，提取出所述互动学生的视频，在所述老师端播放所述互动学生的视频，以使所述老师依据所述互动学生的视频中的互动响应，采取与所述互动响应相匹配的教学策略。
第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述的方法的步骤。
本发明实施例提供的基于直播课堂的教学方法及装置，通过在接收到互动指令后，从直播课堂传输至老师端的课堂直播视频中，识别出所述互动指令对应的互动学生；从所述课堂直播视频中，提取出所述互动学生的视频，在所述老师端播放所述互动学生的视频，以使所述老师依据所述互动学生的视频中的互动响应，采取与所述互动响应相匹配的教学策略。这样，通过提取互动学生的视频，便于获取学生的互动反应，依据互动反应及时调整教学策略，从而有效提升互动效果，进而提升教学质量。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例所提供的基于直播课堂的教学方法流程示意图；
图2示出了本发明实施例所提供的基于直播课堂的教学装置结构示意图；
图3为本申请实施例提供的一种计算机设备300的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
现有基于直播课堂的教学方法，在老师和学生进行音视频互动时，由于直播课堂呈现的直播画面是老师端的视频画面或直播课堂的视频画面，老师不能详细获取到互动学生的动态，因而，不能获知学生对互动的实时反应，使得互动效果不佳，进而影响教学质量。本发明实施例中，在老师和学生进行音视频互动时，从传输的视频中，提取出学生的视频并呈现在直播课堂，使得老师能够获取到学生详细的动态，并依据学生动态采取对应的教学策略，从而提升互动效果。
本发明实施例提供了一种基于直播课堂的教学方法及装置，下面通过实施例进行描述。
图1示出了本发明实施例所提供的基于直播课堂的教学方法流程示意图。如图1所示，该方法包括：
步骤101，在接收到互动指令后，从直播课堂传输至老师端的课堂直播视频中，识别出所述互动指令对应的互动学生；
本发明实施例中，在直播课堂的直播教学中，老师对应的老师端将老师的直播教学传输至直播课堂进行播放，并播放直播课堂传输过来的课堂直播视频，以便老师能够了解直播课堂内各学生的实时情形，在直播课堂中，播放从老师端传输过来的教学直播视频，实现在线实时教学，其中，课堂直播视频和教学直播视频通过互联网的直播课堂服务器进行传输和转发。在教学的互动环节中，老师可以向学生发起互动请求，学生也可以向老师发起互动请求，若老师需要与学生进行互动，则通过向直播课堂服务器触发输出互动指令，以使直播课堂服务器依据接收的互动指令进行相应处理。
本发明实施例中，老师可以通过老师端的互动控件向直播课堂服务器发起互动请求，并通过点击课堂直播视频中的学生，从而实现与该学生的互动，例如，在讲解正误判断题时，可以先让一个或多个学生进行判断，并对其判断进行点评。因而，作为一可选实施例，在接收到互动指令后，从直播课堂传输至老师端的课堂直播视频中，识别出所述互动指令对应的互动学生，包括：
A11，在接收到老师触发互动控件输出的互动指令后，监测所述老师在所述课堂直播视频中的操作；
A12，在监测到所述老师在所述课堂直播视频中的互动操作后，获取所述互动操作在所述课堂直播视频中的操作位置坐标；
A13，依据所述直播课堂的标识，查询预先存储的直播课堂标识、位置坐标与学生的映射关系，获取所述直播课堂的标识和操作位置坐标映射的互动学生。
本发明实施例中，老师可以通过按压下或点击老师端中设置的互动控件，触发向直播课堂服务器输出互动指令，直播课堂服务器接收到互动指令后，监测老师对显示器屏幕上播放的课堂直播视频或展示的课堂直播画面的操作，例如，若监测到老师在课堂直播视频中有点击操作后，确认有互动操作，并获取该点击操作在课堂直播视频对应的视频帧中的位置坐标，从而依据该位置坐标确定该位置的学生。
本发明实施例中，直播课堂服务器中预先存储有映射关系。作为一可选实施例，构建所述播课堂标识、位置坐标与学生的映射关系，包括：
B11，在接收到老师输出的上课指令后，从直播课堂传输至老师端的课堂直播视频中，利用人工智能头肩算法，确定该课堂直播视频中包含的待识别人物及每一待识别人物的位置坐标；
本发明实施例中，直播课堂服务器利用人工智能(AI，Artificial Intelligence)头肩算法，从课堂直播视频中识别出参与上课的每一人物(待识别人物)，以确定该直播课堂参与上课的人数，并依据识别出的参与上课的人物，确定该参与上课的人物的位置坐标。作为一可选实施例，可以将识别出的参与上课的人物的中心位置作为该参与上课的人物的位置坐标。
B12，针对课堂直播视频中包含的每一待识别人物，利用人脸识别算法，识别出该待识别人物的脸部特征，与预先存储的人脸特征与学生的对应关系库进行相似度计算，得到与该待识别人物的脸部特征相似度最高的人脸特征；
本发明实施例中，直播课堂服务器中预先存储有学生与人脸特征的对应关系库。利用人脸识别算法，对待识别人物的脸部特征进行识别，然后，将识别出的脸部特征与对应关系库中的每一人脸特征分别进行相似度计算，选取相似度最高的人脸特征作为与该识别出的脸部特征相匹配的人脸特征。作为一可选实施例，在利用人工智能头肩算法以及人脸识别算法进行相应识别时，还可以对人工智能头肩算法以及人脸识别算法中不同位置及通道的输入特征设置相应的注意力权重信息，以突出头肩部分的特征，降低背景部分的特征，从而在提高检测精度的同时，降低误检。
B13，基于所述直播课堂的标识、待识别人物的位置坐标以及与该待识别人物的脸部特征相似度最高的人脸特征对应的学生，构建所述映射关系。
本发明实施例中，通过与对应关系库中各脸部特征的相似度计算，依据相似度最高的人脸特征，可以确定具体的学生。作为一可选实施例，为了减少后续进行人脸特征匹配的运算量，每一直播课堂对应一映射关系，映射关系中，学生与该学生在直播课堂中的位置坐标构成映射。作为另一可选实施例，对于同一直播课堂，在不同的时间段会有不同的学生上课，因而，在映射关系中，包含有直播课堂标识、时间段标识、位置坐标与学生的映射。
本发明实施例中，对于不同的直播课堂，直播课堂的背景相差较大，因而，作为一可选实施例，在获取对应关系库中各脸部特征的过程中，还可以将各脸部特征对应的样本进行分割，并将分割的样本嵌入到不同的直播课堂的背景中，这样，可以增加样本复杂度，减少后续脸部特征匹配时的人物误检。
本发明实施例中，在互动时，老师也可以通过语音的方式发起互动请求，例如，在讲解正误判断题时，可以通过语音“下面请XXX同学来判断一下该题的对错”发起互动请求。因而，作为另一可选实施例，在接收到互动指令后，从直播课堂传输至老师端的课堂直播视频中，识别出所述互动指令对应的互动学生，包括：
从老师的音频中识别出包含互动学生的互动指令，查询预先存储的直播课堂标识、位置坐标与学生的映射关系，确定所述互动学生映射的位置坐标。
本发明实施例中，直播课堂服务器对来自老师端的音频流进行监测，例如，若音频流中包含有“XXX同学”、“回答”、“判断”、“讲解”等表征互动的特征词，则表示老师发起互动请求。
步骤102，从所述课堂直播视频中，提取出所述互动学生的视频，在所述老师端播放所述互动学生的视频，以使所述老师依据所述互动学生的视频中的互动响应，采取与所述互动响应相匹配的教学策略。
本发明实施例中，直播课堂服务器依据识别出的互动学生在课堂直播视频中的位置坐标，将该互动学生的视频从课堂直播视频中提取出来，生成该互动学生的视频或视频特写，在老师端播放互动学生的视频，用以替换原先在老师端播放的课堂直播视频。这样，老师依据互动学生的视频中的互动学生的互动响应(实时表情)，采取与实时表情相匹配的教学策略进行互动。例如，在进行正误判断题互动时，若学生的眼神游离不定，则可以确定该学生没有集中注意力，可以提示该学生将注意力集中到判断题上；若学生的眼神较为茫然，则可以确定该学生对该判断题涉及的基础知识缺乏了解，可以对该判断题涉及的一些知识要点进行说明等，可以提升直播课堂互动的效率。
本发明实施例中，当老师开启音视频互动功能后，选出对应的互动学生，直播课堂服务器依据选取的互动学生在直播课堂视频中的位置坐标，对直播课堂视频进行剪辑，得到互动学生的视频特写，并将视频特写转发给前端的老师端，由前端展示对应的互动学生的视频特写。
本发明实施例中，作为一可选实施例，直播课堂服务器为云端的流媒体服务器，例如，京东云上的图形处理器(GPU，Graphics Processing Unit)，云端的流媒体服务器可以提供高吞吐、低延迟的实时音视频传输及处理服务，位置坐标的识别精准度高。作为另一可选实施例，直播课堂服务器也为对直播课堂或老师的教学进行摄像的摄像机，例如，利用摄像机内置的GPU进行互动请求的处理，这样，可以降低互动教学的成本。
本发明实施例中，作为一可选实施例，直播课堂服务器可以设置为一个或多个，对于设置为多个的情形，可以基于服务器负载均衡(SLB，Server Load Balancing)技术提供对客户端(老师端、直播课堂)透明的高并发连接需求，将互动请求分散到不同的直播课堂服务器上进行处理，从而降低单台直播课堂服务器的访问压力。其中，作为一可选实施例，对于多个直播课堂服务器构成的直播课堂服务器集群，可以通过信令集群的方式，对直播课堂服务器集群进行高可靠的业务逻辑控制，控制集群内各直播课堂服务器的分配与使用，传输互动请求、直播课堂视频、教学直播视频。作为另一可选实施例，直播课堂服务器还可以利用链路加速，提高老师或学生访问的成功率，从而缓解访问压力，同时，对映射关系等静态内容进行缓存，以进一步减少进行相应匹配时的耗时。
本发明实施例中，作为一可选实施例，从所述课堂直播视频中，提取出所述互动学生的视频，包括：
C11，从所述课堂直播视频顺序对应的视频帧中，针对每一视频帧，剪取包含所述互动学生的区域，得到目标帧；
C12，依据顺序剪取得到的目标帧，生成所述互动学生的视频。
本发明实施例中，对课堂直播视频中的各视频帧进行图像剪辑，即顺序提取课堂直播视频中的视频帧，针对每一提取的视频帧，对提取的视频帧进行剪辑，得到以互动学生的区域为中心的视频帧，依据剪辑得到的视频帧生成该互动学生的视频。
本发明实施例中，作为另一可选实施例，从所述课堂直播视频中，提取出所述互动学生的视频，也可以是依据预先设置的位置坐标与相机聚焦角度的对应关系，获取待识别人物(互动学生)的位置坐标对应的相机聚焦角度，将摄像机的摄像角度调至该获取的相机聚焦角度，从而实现对该互动学生的视频拍摄。这样，能够使得老师更加容易观察学生的表情细节，便于依据表情细节采取相应教学措施。
本发明实施例中，作为一可选实施例，该方法还包括：
将所述互动学生的视频与从所述老师端传输至所述直播课堂的教学直播视频进行融合，在所述直播课堂播放融合的视频。
本发明实施例中，将互动学生的视频特写叠加在老师的教学直播视频中，从而实现与老师的音视频互动，用以模拟真实的上课互动场景。
本发明实施例中，教学直播视频为以老师为中心的视频，作为一可选实施例，由于是直播课堂，因而，可以依据老师讲课时的音频，对音频对应的音源进行定位，得到老师的位置信息，以该位置信息为中心进行摄像，得到教学直播视频。
本发明实施例中，作为另一可选实施例，该方法还包括：
在接收到互动结束指令后，终止从所述课堂直播视频中提取所述互动学生的视频，将从直播课堂传输至老师端的课堂直播视频在所述老师端播放；以及，
终止所述融合，在所述直播课堂播放所述老师端传输至所述直播课堂的教学直播视频。
本发明实施例中，在互动结束后，进行正常的直播教学。
图2示出了本发明实施例所提供的基于直播课堂的教学装置结构示意图。如图2所示，该教学装置为直播课堂服务器，包括：
识别模块201，用于在接收到互动指令后，从直播课堂传输至老师端的课堂直播视频中，识别出所述互动指令对应的互动学生；
本发明实施例中，老师可以通过老师端的互动控件向直播课堂服务器发起互动请求，并通过点击课堂直播视频中的学生，从而实现与该学生的互动。
本发明实施例中，作为一可选实施例，识别模块201包括：
监测单元(图中未示出)，用于在接收到老师触发互动控件输出的互动指令后，监测所述老师在所述课堂直播视频中的操作；
位置坐标获取单元，用于在监测到所述老师在所述课堂直播视频中的互动操作后，获取所述互动操作在所述课堂直播视频中的操作位置坐标；
映射关系查询单元，用于依据所述直播课堂的标识，查询预先存储的直播课堂标识、位置坐标与学生的映射关系，获取所述直播课堂的标识和操作位置坐标映射的互动学生。
本发明实施例中，老师可以通过按压下或点击老师端中设置的互动控件，触发向直播课堂服务器输出互动指令，直播课堂服务器接收到互动指令后，监测老师对显示器屏幕上播放的课堂直播视频或展示的课堂直播画面的操作，并获取该操作在课堂直播视频对应的视频帧中的位置坐标，从而依据该位置坐标确定该位置的学生。
本发明实施例中，作为一可选实施例，识别模块201还包括：
映射关系构建单元，用于在接收到老师输出的上课指令后，从直播课堂传输至老师端的课堂直播视频中，利用人工智能头肩算法，确定该课堂直播视频中包含的待识别人物及每一待识别人物的位置坐标；
针对课堂直播视频中包含的每一待识别人物，利用人脸识别算法，识别出该待识别人物的脸部特征，与预先存储的人脸特征与学生的对应关系库进行相似度计算，得到与该待识别人物的脸部特征相似度最高的人脸特征；
基于所述直播课堂的标识、待识别人物的位置坐标以及与该待识别人物的脸部特征相似度最高的人脸特征对应的学生，构建所述映射关系。
本发明实施例中，作为另一可选实施例，识别模块201包括：
音频识别单元，用于从老师的音频中识别出包含互动学生的互动指令，查询预先存储的直播课堂标识、位置坐标与学生的映射关系，确定所述互动学生映射的位置坐标。
本发明实施例中，在互动时，老师也可以通过语音的方式发起互动请求。直播课堂服务器对来自老师端的音频流进行监测，例如，若音频流中包含有“XXX同学”、“回答”、“判断”、“讲解”等表征互动的特征词，则表示老师发起互动请求。
互动视频生成模块202，用于从所述课堂直播视频中，提取出所述互动学生的视频，在所述老师端播放所述互动学生的视频，以使所述老师依据所述互动学生的视频中的互动响应，采取与所述互动响应相匹配的教学策略。
本发明实施例中，直播课堂服务器依据识别出的互动学生在课堂直播视频中的位置坐标，将该互动学生的视频从课堂直播视频中提取出来，生成该互动学生的视频或视频特写，在老师端播放互动学生的视频，用以替换原先在老师端播放的课堂直播视频。
本发明实施例中，从所述课堂直播视频中，提取出所述互动学生的视频，包括：
从所述课堂直播视频顺序对应的视频帧中，针对每一视频帧，剪取包含所述互动学生的区域，得到目标帧；
依据顺序剪取得到的目标帧，生成所述互动学生的视频。
本发明实施例中，作为一可选实施例，教学装置还包括：
视频融合模块(图中未示出)，用于将所述互动学生的视频与从所述老师端传输至所述直播课堂的教学直播视频进行融合，在所述直播课堂播放融合的视频。
本发明实施例中，作为另一可选实施例，教学装置还包括：
视频切换模块，用于在接收到互动结束指令后，终止从所述课堂直播视频中提取所述互动学生的视频，将从直播课堂传输至老师端的课堂直播视频在所述老师端播放；以及，
终止所述融合，在所述直播课堂播放所述老师端传输至所述直播课堂的教学直播视频。
如图3所示，本申请一实施例提供了一种计算机设备300，用于执行图1中的基于直播课堂的教学方法，该设备包括存储器301、处理器302及存储在该存储器301上并可在该处理器302上运行的计算机程序，其中，上述处理器302执行上述计算机程序时实现上述基于直播课堂的教学方法的步骤。
具体地，上述存储器301和处理器302能够为通用的存储器和处理器，这里不做具体限定，当处理器302运行存储器301存储的计算机程序时，能够执行上述基于直播课堂的教学方法。
对应于图1中的基于直播课堂的教学方法，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述基于直播课堂的教学方法的步骤。
具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述基于直播课堂的教学方法。
在本申请所提供的实施例中，应该理解到，所揭露系统和方法，可以通过其它的方式实现。以上所描述的系统实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种基于直播课堂的教学方法，其特征在于，包括：
在接收到互动指令后，从直播课堂传输至老师端的课堂直播视频中，识别出所述互动指令对应的互动学生；
从所述课堂直播视频中，提取出所述互动学生的视频，在所述老师端播放所述互动学生的视频，以使所述老师依据所述互动学生的视频中的互动响应，采取与所述互动响应相匹配的教学策略。
2.根据权利要求1所述的方法，其特征在于，所述在接收到互动指令后，从直播课堂传输至老师端的课堂直播视频中，识别出所述互动指令对应的互动学生，包括：
在接收到老师触发互动控件输出的互动指令后，监测所述老师在所述课堂直播视频中的操作；
在监测到所述老师在所述课堂直播视频中的互动操作后，获取所述互动操作在所述课堂直播视频中的操作位置坐标；
依据所述直播课堂的标识，查询预先存储的直播课堂标识、位置坐标与学生的映射关系，获取所述直播课堂的标识和操作位置坐标映射的互动学生。
3.根据权利要求2所述的方法，其特征在于，构建所述播课堂标识、位置坐标与学生的映射关系，包括：
在接收到老师输出的上课指令后，从直播课堂传输至老师端的课堂直播视频中，利用人工智能头肩算法，确定该课堂直播视频中包含的待识别人物及每一待识别人物的位置坐标；
针对课堂直播视频中包含的每一待识别人物，利用人脸识别算法，识别出该待识别人物的脸部特征，与预先存储的人脸特征与学生的对应关系库进行相似度计算，得到与该待识别人物的脸部特征相似度最高的人脸特征；
基于所述直播课堂的标识、待识别人物的位置坐标以及与该待识别人物的脸部特征相似度最高的人脸特征对应的学生，构建所述映射关系。
4.根据权利要求1所述的方法，其特征在于，所述在接收到互动指令后，从直播课堂传输至老师端的课堂直播视频中，识别出所述互动指令对应的互动学生，包括：
从老师的音频中识别出包含互动学生的互动指令，查询预先存储的直播课堂标识、位置坐标与学生的映射关系，确定所述互动学生映射的位置坐标。
5.根据权利要求1所述的方法，其特征在于，所述从所述课堂直播视频中，提取出所述互动学生的视频，包括：
从所述课堂直播视频顺序对应的视频帧中，针对每一视频帧，剪取包含所述互动学生的区域，得到目标帧；
依据顺序剪取得到的目标帧，生成所述互动学生的视频。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述方法还包括：
将所述互动学生的视频与从所述老师端传输至所述直播课堂的教学直播视频进行融合，在所述直播课堂播放融合的视频。
7.根据权利要求1至5任一项所述的方法，其特征在于，所述方法还包括：
在接收到互动结束指令后，终止从所述课堂直播视频中提取所述互动学生的视频，将从直播课堂传输至老师端的课堂直播视频在所述老师端播放；以及，
终止所述融合，在所述直播课堂播放所述老师端传输至所述直播课堂的教学直播视频。
8.一种基于直播课堂的教学装置，其特征在于，包括：
识别模块，用于在接收到互动指令后，从直播课堂传输至老师端的课堂直播视频中，识别出所述互动指令对应的互动学生；
互动视频生成模块，用于从所述课堂直播视频中，提取出所述互动学生的视频，在所述老师端播放所述互动学生的视频，以使所述老师依据所述互动学生的视频中的互动响应，采取与所述互动响应相匹配的教学策略。
9.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至7任一所述的基于直播课堂的教学方法的步骤。
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至7任一所述的基于直播课堂的教学方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010646931.4A CN111757140B (zh) | 2020-07-07 | 2020-07-07 | 一种基于直播课堂的教学方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010646931.4A CN111757140B (zh) | 2020-07-07 | 2020-07-07 | 一种基于直播课堂的教学方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111757140A true CN111757140A (zh) | 2020-10-09 |
| CN111757140B CN111757140B (zh) | 2021-08-10 |
Family
ID=72679953
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010646931.4A Active CN111757140B (zh) | 2020-07-07 | 2020-07-07 | 一种基于直播课堂的教学方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111757140B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112788361A (zh) * | 2020-10-15 | 2021-05-11 | 聚好看科技股份有限公司 | 一种直播课回看方法、显示设备及服务器 |
| CN113490002A (zh) * | 2021-05-26 | 2021-10-08 | 深圳点猫科技有限公司 | 一种在线教学的交互方法、装置、系统及介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108010530A (zh) * | 2017-11-30 | 2018-05-08 | 武汉东信同邦信息技术有限公司 | 一种基于语音识别技术的学生发言检测跟踪装置 |
| CN108766113A (zh) * | 2018-05-25 | 2018-11-06 | 讯飞幻境(北京)科技有限公司 | 学生课堂表现的监测方法及装置 |
| CN108961880A (zh) * | 2018-08-03 | 2018-12-07 | 青岛华师京城网络科技有限公司 | 一种联系课堂的实现方法 |
| CN109191970A (zh) * | 2018-10-29 | 2019-01-11 | 衡阳师范学院 | 一种基于云平台的计算机教学授课系统及方法 |
| CN109257559A (zh) * | 2018-09-28 | 2019-01-22 | 苏州科达科技股份有限公司 | 一种全景视频会议的图像显示方法、装置及视频会议系统 |
| CN111176596A (zh) * | 2019-12-24 | 2020-05-19 | 北京大米未来科技有限公司 | 一种图像显示区域切换方法、装置、存储介质及电子设备 |
| CN111242962A (zh) * | 2020-01-15 | 2020-06-05 | 中国平安人寿保险股份有限公司 | 远程培训视频的生成方法、装置、设备及存储介质 |
-
2020
- 2020-07-07 CN CN202010646931.4A patent/CN111757140B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108010530A (zh) * | 2017-11-30 | 2018-05-08 | 武汉东信同邦信息技术有限公司 | 一种基于语音识别技术的学生发言检测跟踪装置 |
| CN108766113A (zh) * | 2018-05-25 | 2018-11-06 | 讯飞幻境(北京)科技有限公司 | 学生课堂表现的监测方法及装置 |
| CN108961880A (zh) * | 2018-08-03 | 2018-12-07 | 青岛华师京城网络科技有限公司 | 一种联系课堂的实现方法 |
| CN109257559A (zh) * | 2018-09-28 | 2019-01-22 | 苏州科达科技股份有限公司 | 一种全景视频会议的图像显示方法、装置及视频会议系统 |
| CN109191970A (zh) * | 2018-10-29 | 2019-01-11 | 衡阳师范学院 | 一种基于云平台的计算机教学授课系统及方法 |
| CN111176596A (zh) * | 2019-12-24 | 2020-05-19 | 北京大米未来科技有限公司 | 一种图像显示区域切换方法、装置、存储介质及电子设备 |
| CN111242962A (zh) * | 2020-01-15 | 2020-06-05 | 中国平安人寿保险股份有限公司 | 远程培训视频的生成方法、装置、设备及存储介质 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112788361A (zh) * | 2020-10-15 | 2021-05-11 | 聚好看科技股份有限公司 | 一种直播课回看方法、显示设备及服务器 |
| CN112788361B (zh) * | 2020-10-15 | 2023-04-07 | 聚好看科技股份有限公司 | 一种直播课回看方法、显示设备及服务器 |
| CN113490002A (zh) * | 2021-05-26 | 2021-10-08 | 深圳点猫科技有限公司 | 一种在线教学的交互方法、装置、系统及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111757140B (zh) | 2021-08-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107292271B (zh) | 学习监控方法、装置及电子设备 | |
| Ochoa et al. | The RAP system: Automatic feedback of oral presentation skills using multimodal analysis and low-cost sensors | |
| CN111274910B (zh) | 场景互动方法、装置及电子设备 | |
| Bidwell et al. | Classroom analytics: Measuring student engagement with automated gaze tracking | |
| CN109064811A (zh) | 一种基于vr虚拟课堂的教学系统 | |
| WO2019090479A1 (zh) | 一种互动型视频授课方法及系统 | |
| CN107316520B (zh) | 视频教学互动方法、装置、设备及存储介质 | |
| CN107067853B (zh) | 一种基于网络的在线互动语言学习系统 | |
| CN110992222A (zh) | 教学交互方法、装置、终端设备及存储介质 | |
| CN111757140B (zh) | 一种基于直播课堂的教学方法及装置 | |
| CN111914811B (zh) | 图像数据处理方法、装置、计算机设备以及存储介质 | |
| CN111709362A (zh) | 用于确定重点学习内容的方法、装置、设备及存储介质 | |
| CN112331001A (zh) | 一种基于虚拟现实技术的教学系统 | |
| CN112287767A (zh) | 交互控制方法、装置、存储介质以及电子设备 | |
| CN114267213B (zh) | 实训的实时演示方法、装置、设备及存储介质 | |
| Blascovich et al. | Immersive virtual environments and education simulations | |
| Steptoe et al. | Multimodal data capture and analysis of interaction in immersive collaborative virtual environments | |
| CN113268626A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| CN115937961B (zh) | 一种线上学习识别方法及设备 | |
| CN114697685A (zh) | 解说视频生成方法、装置、服务器及存储介质 | |
| CN116259104A (zh) | 一种智能舞蹈动作质量评估方法、装置及系统 | |
| CN111402651B (zh) | 一种基于vr技术的智能教学系统 | |
| CN115272019A (zh) | 基于vr的教学评估方法及装置 | |
| CN113128421A (zh) | 学习状态检测方法、系统、学习终端、服务器及电子设备 | |
| CN116909406B (zh) | 一种基于元宇宙的虚拟课堂显示方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220507 Address after: 518000 1309, Qianhai Xiangbin building, No. 18, Zimao West Street, Nanshan street, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong Province Patentee after: Shenzhen baishilian Technology Co.,Ltd. Address before: 210000 room 2301, South Building, D2, 32 Dazhou Road, Yuhuatai District, Nanjing City, Jiangsu Province Patentee before: Nanjing baijiayun Technology Co.,Ltd. |
|
| TR01 | Transfer of patent right |