CN112565914B - 在线课堂的视频展示方法、装置、系统和存储介质 - Google Patents

Abstract

本申请实施例提供了一种在线课堂的视频展示方法、装置、系统和存储介质，该方法应用于学生端时包括：获取包括学生参与在线课堂的视频图像的学生视频流；按照采样周期从学生视频流中采集视频帧；将视频帧输入预先训练的评分模型，获得认真度评分，其中认真度评分用于表征学生参与在线课堂的认真程度；将学生视频流和认真度评分发送给服务端；接收来自服务端的聚合视频流，其中聚合视频流由服务端根据至少两个学生端所发送的认真度评分，对多个第一学生端发送的学生视频流进行视频流聚合而生成，第一学生端为发送较高认真度评分的学生端；基于聚合视频流展示学生视频流对应的学生视频。本方案能够提高多学生参与在线课堂的学习氛围。

Description

在线课堂的视频展示方法、装置、系统和存储介质

技术领域

本申请涉及计算机技术领域，特别涉及一种在线课堂的视频展示方法、装置、系统和存储介质。

背景技术

随着互联网技术的不断发展和智能终端的普及，远程教育越来越普遍，而在线课堂是远程教育的一种重要形式。采用在线课堂进行教学时，学生端采集学生视频发送给服务端，教师端采集教师视频发送给服务端，服务端通过对学生视频和教师视频进行转发，使得教师端展示学生视频，并使学生端展示教师视频，进而教师与学生之间可通过视频进行互动，实现远程教学。

目前，当教师通过在线课堂同时对多个学生进行教学时，服务端不仅会将教师视频转发给学生端，还会将每个学生端采集的学生视频转发给其他各学生端，因此每个学生端不仅会展示教师视频，还会展示其他学生端采集到的学生视频，即学生通过学生端能够看到同学的视频。

在多学生参与的在线课堂中，一些不认真听讲的学生会出现离开座位、走神、睡觉甚至捣乱的行为，由于学生通过学生端能够看到同学的视频，所以这些不认真听讲学生的行为会被所有学生看到，因此会导致在线课堂的学习氛围较差。

发明内容

有鉴于此，本申请实施例提供了一种在线课堂的视频展示方法、装置、系统和存储介质，能够提高多学生参与在线课堂的学习氛围。

第一方面，本申请实施例提供了一种在线课堂的视频展示方法，应用于学生端，包括：

获取所述学生端上摄像头采集到的学生视频流，其中，所述学生视频流包括学生参与在线课堂的视频图像；

按照预设的采样周期从所述学生视频流中采集视频帧；

将所述视频帧输入预先训练的评分模型，获得所述评分模型输出的认真度评分，其中，所述认真度评分用于表征学生参与所述在线课堂的认真程度；

将所述学生视频流和所述认真度评分发送给服务端；

接收来自所述服务端的聚合视频流，其中，所述聚合视频流由所述服务端根据至少两个学生端所发送的所述认真度评分，对至少一个第一学生端发送的所述学生视频流进行视频流聚合而生成，所述第一学生端为发送较高所述认真度评分的学生端；

基于所述聚合视频流，展示所述学生视频流对应的学生视频。

在第一种可能的实现方式中，结合上述第一方面，所述按照预设的采样周期从所述学生视频流中采集视频帧，包括：

每经过一个预设的采样周期，从所述学生视频流中采集至少两个相邻的视频帧；

所述将所述视频帧输入预先训练的评分模型，获得所述评分模型输出的认真度评分，包括：

将所述至少两个相邻的视频帧输入所述评分模型，其中，所述评分模型用于分别对每个所述视频帧中学生参与所述在线课堂的认真程度进行评分，并将针对所述至少两个视频帧进行评分所获得分数的平均值作为所述认真度评分输出；

获取所述评分模型输出的所述认真度评分。

在第二种可能的实现方式中，结合上述第一方面，所述方法还包括：

响应于所述学生端上学生视频区域尺寸的改变，向所述服务端发送第一聚合指令，其中，所述学生视频区域用于展示所述学生视频，所述第一聚合指令用于指示所述服务端根据所述学生视频区域的尺寸，选择相应数量的所述第一学生端发送的所述学生视频流进行聚合，生成所述聚合视频流。

在第三种可能的实现方式中，结合上述第二种可能的实现方式，所述方法还包括：

响应于对所述学生视频区域进行翻页操作的触发，向所述服务端发送第二聚合指令，其中，所述第二聚合指令用于指示所述服务端选择至少一个第二学生端发送的所述学生视频流进行视频流聚合，生成所述聚合视频流，所述第二学生端为所述至少两个学生端中除所述第一学生端之外，向所述服务端发送较大所述认真度评分的学生端。

在第四种可能的实现方式中，结合上述第一方面，所述方法还包括：

基于所述聚合视频流，对所述学生端获取到的所述学生视频流对应的学生视频进行展示。

在第五种可能的实现方式中，结合上述第一方面及第一方面的第一种可能的实现方式、第二种可能的实现方式、第三种可能的实现方式和第四种可能的实现方式中的任意一个，所述方法还包括：

基于所述聚合视频流，对教师端发送给所述服务端的教师视频流对应的教师视频进行展示，其中，所述教师视频流包括教师参与所述在线课堂的视频图像。

在第六种可能的实现方式中，结合上述第一方面及第一方面的第一种可能的实现方式、第二种可能的实现方式、第三种可能的实现方式和第四种可能的实现方式中的任意一个，所述方法还包括：

基于所述聚合视频流，对所述教师端发送给所述服务端的课件视频流对应的课件视频进行展示，其中，所述课件视频流包括教师所演示课件的视频图像。

第二方面，本申请实施例还提供了一种在线课堂的视频展示方法，应用于服务端，包括：

针对至少两个学生端中的每个学生端，接收来自该学生端的学生视频流和认真度评分，其中，所述学生视频流包括学生参与在线课堂的视频图像，所述认真度评分用于表征学生参与所述在线课堂的认真程度；

针对每个所述学生端，均执行：

将所述至少两个学生端中发送较高所述认真度评分的至少一个学生端，确定为该学生端对应的第一学生端；

对该学生端对应的所述第一学生端发送的所述学生视频流进行视频流聚合，生成该学生端对应的聚合视频流；

将该学生端对应的所述聚合视频流发送给该学生端，使该学生端基于接收到的所述聚合视频流展示所述学生视频流对应的学生视频。

在第一种可能的实现方式中，结合上述第二方面，所述针对每个所述学生端，将所述至少两个学生端中发送较高所述认真度评分的至少一个学生端，确定为该学生端对应的第一学生端，包括：

针对每个所述学生端，每经过一个预先设定的参考时间区间，计算该学生端在该参考时间区间内所发送的至少两个所述认真度评分的平均值，作为该学生端在该参考时间区间对应的认真度平均分；

针对每个所述学生端，每经过一个所述参考时间区间，按照在该参考时间区间对应的所述认真度平均分由高至低的顺序对各所述学生端进行排序，将排序靠前的至少一个所述学生端，确定为该学生端对应的所述第一学生端。

在第二种可能的实现方式中，结合上述第一种可能的实现方式，所述将排序靠前的至少一个所述学生端，确定为该学生端对应的所述第一学生端，包括：

判断该学生端的排序是否位于前n，其中，n为该学生端上学生视频区域所能容纳所述学生视频的个数；

如果该学生端的排序位于前n，则将前n个所述学生端中除该学生端之外的其余n-1个所述学生端，确定为该学生端对应的所述第一学生端；

如果该学生端的排序位于n之后，则将前n-1个所述学生端确定为该学生端对应的所述第一学生端。

在第三种可能的实现方式中，结合上述第二种可能的实现方式，所述对该学生端对应的所述第一学生端发送的所述学生视频流进行视频流聚合，生成该学生端对应的聚合视频流，包括：

对该学生端发送的所述学生视频流、学生端对应的所述第一学生端发送的所述学生视频流、来自教师端的教师视频流及来自教师端的课件视频流进行视频流聚合，生成该学生端对应的所述聚合视频流，其中，所述教师视频流包括教师参与所述在线课堂的视频图像，所述课件视频流包括教师所演示课件的视频图像。

在第四种可能的实现方式中，结合上述第二方面及第二方面的第一种可能的实现方式、第二种可能的实现方式和第三种可能的实现方式中的任意一个，所述方法还包括：

接收来自一个第三学生端的第一聚合指令，其中，所述第一聚合指令由所述第三学生端响应于所述第三学生端上学生视频区域尺寸的改变而发送，所述学生视频区域用于展示所述学生视频；

根据所述第一聚合指令，根据所述第三学生端上所述学生视频区域的尺寸，更新所述第三学生端对应的所述第一学生端的数量。

在第五种可能的实现方式中，结合上述第四种可能的实现方式，所述方法还包括：

接收来自一个第四学生端的第二聚合指令，其中，所述第二聚合指令由所述第四学生端响应于对所述第四学生端上所述学生视频区域翻页操作的触发而发送；

根据所述第二聚合指令，将除所述第四学生端对应的所述第一学生端之外，所发送较大所述认真度评分的至少一个所述学生端确定为第二学生端，并利用所述第二学生端发送的所述学生视频流进行视频流聚合，生成所述第四学生端对应的所述聚合视频流。

第三方面，本申请实施例还提供了一种学生端，包括：

一个获取模块，用于获取所述学生端上摄像头采集到的学生视频流，其中，所述学生视频流包括学生参与在线课堂的视频图像；

一个采样模块，用于按照预设的采样周期，从所述获取模块获取到的所述学生视频流中采集视频帧；

一个评分模块，用于将所述采样模块采集到的所述视频帧输入预先训练的评分模型，获得所述评分模型输出的认真度评分，其中，所述认真度评分用于表征学生参与所述在线课堂的认真程度；

一个通信模块，用于将所述获取模块获取到的所述学生视频流，及所述评分模块获取到的所述认真度评分发送给服务端，并接收来自所述服务端的聚合视频流，其中，所述聚合视频流由所述服务端根据至少两个学生端所发送的所述认真度评分，对至少一个第一学生端发送的所述学生视频流进行视频流聚合而生成，所述第一学生端为发送较高所述认真度评分的学生端；

一个展示模块，用于基于所述通信模块获取到的所述聚合视频流，展示所述学生视频流对应的学生视频。

第四方面，本申请实施例还提供了一种服务端，包括：

一个接收模块，用于针对至少两个学生端中的每个学生端，接收来自该学生端的学生视频流和认真度评分，其中，所述学生视频流包括学生参与在线课堂的视频图像，所述认真度评分用于表征所述学生参与所述在线课堂的认真程度；

一个排序模块，用于针对每个所述学生端，根据所述接收模块接收到的所述认真度评分，将所述至少两个学生端中发送较高所述认真度评分的至少一个学生端，确定为该学生端对应的第一学生端；

一个聚合模块，用于针对每个所述学生端，对所述排序模块确定出的与该学生端对应的所述第一学生端发送的所述学生视频流进行视频流聚合，生成该学生端对应的聚合视频流；

一个发送模块，用于针对每个所述学生端，将所述聚合模块生成的与该学生端对应的所述聚合视频流发送给该学生端，使该学生端基于接收到的所述聚合视频流展示所述学生视频流对应的学生视频。

第五方面，本申请实施例还提供了一种在线课堂的视频展示系统，包括：一个服务端和至少两个学生端，其中，所述服务端为上述第四方面提供的服务端，所述学生端为上述第三方面提供的学生端。

第六方面，本申请实施例还提供了一种电子设备，包括：处理器和存储器，所述处理器和所述存储器连接，所述存储器存储有计算机程序，所述处理器用于执行所述计算机程序实现上述第一方面及第一方面的任一可能实现方式提供的在线课堂的视频展示方法，或者实现上述第二方面及第二方面的任一可能实现方式提供的在线课堂的视频展示方法。

第七方面，本申请实施例还提供了一种计算机存储介质，包括：所述计算机存储介质存储有计算机程序，在处理器执行所述计算机程序时，实现上述第一方面及第一方面的任一可能实现方式提供的在线课堂的视频展示方法，或者实现上述第二方面及第二方面的任一可能实现方式提供的在线课堂的视频展示方法。

由上述技术方案可知，学生端将学生视频流发送给服务端的同时，会从学生视频流中采集视频帧，并通过视频帧确定用于表征学生参与在线课堂认真度的认真度评分，将认真度评分也发送给服务端。服务端则可以根据各个学生端发送的认真度评分，对认真度评分较高的学生视频流进行视频流聚合，分别生成每个学生端对应的聚合视频流，并将聚合视频流发送给对应的学生端。学生端基于接收到的聚合视频流进行视频展示时，会展示认真度评分较高的学生视频流对应的学生视频，即展示认真听讲学生的视频画面，使参与在线课堂的学生感觉同学都在认真听讲，而没有不认真听讲的学生，从而能够提高多学生参与在线课堂的学习氛围。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例一提供的一种实施环境的示意图；

图2是本申请实施例二提供的一种在线课堂的视频展示方法的流程图；

图3是本申请实施例三提供的一种在线课堂的视频展示方法的流程图；

图4是本申请实施例四提供的一种在线课堂的视频展示方法的信令交互图；

图5是本申请实施例四提供的一种聚合视频流中视频帧的示意图；

图6是本申请实施例四提供的一种学生端所展示视频的示意图；

图7是本申请实施例四提供的另一种学生端所展示视频的示意图；

图8是本申请实施例五提供的一种学生端的示意图；

图9是本申请实施例六提供的一种服务端的示意图；

图10是本申请实施例八提供的一种电子设备的示意图。

具体实施方式

为了使本领域的人员更好地理解本申请实施例中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请所提供的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本申请实施例保护的范围。

实施例一

图1是本申请实施一例提供的一种在线课堂的视频展示方法的实施环境示意图，参见图1，该实施环境可以包括：至少两个学生端101、一个教师端102和一个服务端103。

服务端103通过有线或无线通信方式分别与每个学生端101和教师端102直接或间接相连接。学生端101和教师端102均可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能电视等，但并不局限于此。

学生端101上安装并运行供学生参与在线课堂的在线直播类应用程序，学生端101接收服务端103转发的教师视频数据，以便学生通过学生端101观看教师讲课。学生端101可以采集学生参与在线课堂的学生视频流，并采集到的学生视频流发送给服务端103。本申请实施例对应的场景为多学生参与在线课堂，因此学生端101的数量至少为两个，比如学生端101的数量可以为几十个或几百个，或者多更数量，本申请实施例对学生端101的数量不加以限定。

教师端102上安装并运行供教师参与在线课堂的在线直播类应用程序，教师端102通过摄像头采集教师教课过程的视频图像，获得教师视频流，并将教师视频流发送给服务端103。教师端102可以接收服务端103转发的学生视频数据，并基于学生视频数据展示学生参与在线课堂的视频图像，以便教师与学生进行互动，并确定学生的上课状态。本申请实施例对应的场景为一个教师为多个学生进行讲课，因此教师端102的数量为一个。

服务端103可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务器、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络（Content Delivery Network，CDN）、以及大数据和人工智能平台等基础云计算服务的云服务器。服务端103可以接收学生端101上传的学生视频流和教师端102上传的教师视频流，通过对所接收到的部分或全部视频流进行视频流聚合获得聚合视频流，将聚合视频流发送给学生端101和教师端102，使得学生通过学生端101可以看到教师和其他学生的视频图像，使得教师通过教师端102可以看到所有学生的视频图像。本领域技术人员可以知晓，上述服务器的数量可以更多或更少，本申请对此不加以限定。当然，服务端103还可以包括其他功能的服务器，以便提供更全面且多样化的服务。

需要说明的是，除有特殊说明外，下述在线课堂的视频展示方法实施例中涉及的学生端可为上述的学生端101，下述在线课堂的视频展示方法实施例中涉及的教师端可为上述的教师端102，下述在线课堂的视频展示方法实施例中涉及的服务端可为上述的服务端103。

实施例二

图2是本申请实施二例提供的一种在线课堂的视频展示方法的流程图，该方法应用于学生端。参见图2，该方法包括如下步骤：

201、获取学生端上摄像头采集到的学生视频流，其中，学生视频流包括学生参与在线课堂的视频图像。

学生端为在线课堂系统中的学生用户端。在多学生参与的在线课堂中，每个学生使用一个学生端接入在线课堂系统，不同的学生使用不同的学生端接入在线课堂系统。在线课堂进行过程中，学生端调用摄像头采集学生参与在线课堂的视频图像，进而获得摄像头所采集到的学生视频流。在线课堂开始后，学生可调整学生端上摄像头的角度，以使摄像头所采集到的学生视频流至少包括学生面部或上半身的图像。

202、按照预设的采样周期从学生视频流中采集视频帧。

预先设定从学生视频流中采集视频帧的采样周期，在学生端通过摄像头采集学生视频流的过程中，每经过一个采样周期，从学生视频流中采集视频帧。比如预先设定的采样周期为5秒，则每经过5秒进行一次视频帧采集，每次采集至少一个视频帧。

203、将视频帧输入预先训练的评分模型，获得评分模型输出的认真度评分，其中，认真度评分用于表征学生参与在线课堂的认真程度。

评分模型用于基于输入的图像输出相应的认真度评分，认真度评分用于表征学生参与在线课堂的认真程度，即可以通过认真度评分来评价学生是否认真听讲。在训练评分模型时，首先获取用于训练评分模型的样本图像，样本图像为在线课堂中学生的图像，其中包括学生吃东西、戴面具、背景闪烁、无人、注意力不集中等的图像，然后根据样本图像中学生的行为，通过人工标注的方式对样本图像设置相应的分数，然后基于样本图像和样本图像的分数训练神经网络，获得可以基于所输入图像输出认真度评分的评分模型。在一种可能的实现方式中，评分模型可以基于循环神经网络（Convolutional Neural Networks,CNN）训练获得。

在对样本图像设置分数时，根据样本图像中学生行为的不同，为样本图像设置不同的分数，样本图像中学生听课的认真程度越高，则样本图像的分数越高。比如，如果样本图像中学生吃东西，则将样本图像的分数设置为70；如果样本图像中学生戴面具，则将样本图像的分数设置为50；如果样本图像中无人，则将样本图像的分数设置为0。

在每次从学生视频流中采集视频帧后，将所采集到的视频帧输入评分模型，获得评分模型输出的认真度评分。

204、将学生视频流和认真度评分发送给服务端。

对于学生端从摄像头获取到的学生视频流，在按照采样周期采集视频帧的同时，实时将获取到的学生视频流发送给服务端。在将采集到的视频帧输入评分模型获得认真度评分后，将所获得的认真度评分发送给服务端。

205、接收来自服务端的聚合视频流。

在将学生视频流和认真度评分发送给服务端后，服务端针对每个学生端生成相对应的聚合视频流，并分别向每个学生端发送相对应的聚合视频流。具体地，对每个学生端，服务端根据各学生端所发送的认真度评分，从各学生端中选择发送较高认真度评分的至少一个学生端作为该学生端对应的第一学生端，然后对该学生端对应的第一学生端发送的学生视频流进行视频流聚合，生成该学生端对应的聚合视频流，然后将该学生端对应的聚合视频流发送给该学生端。

学生端实时向服务端发送学生视频流，并周期性向服务端发送认真度评分。服务端基于已接收到的认真度评分，选择全部或部分接收到的学生视频流进行视频流聚合，分别生成对应于每个学生端的聚合视频流，将实时将生成的聚合视频流发送给相应的学生端。

206、基于聚合视频流，展示学生视频流对应的学生视频。

学生端接收到来自服务端的聚合视频流后，通过对聚合视频流进行解码，展示学生视频流对应的学生视频。对于每个学生端，服务端将该学生端对应的第一学生端发送的学生视频流进行视频流聚合，生成该学生端对应的聚合视频流，并将该学生端对应的聚合视频流发送给该学生端，因此该学生端基于接收到的聚合视频流进行视频图像展示时，会展示相应第一学生端所发送学生视频流对应的学生视频。

本申请实施例提供的方案，学生端将学生视频流发送给服务端的同时，会从学生视频流中采集视频帧，并通过视频帧确定用于表征学生参与在线课堂认真度的认真度评分，将认真度评分也发送给服务端。服务端则可以根据各个学生端发送的认真度评分，对认真度评分较高的学生视频流进行视频流聚合，分别生成每个学生端对应的聚合视频流，并将聚合视频流发送给对应的学生端。学生端基于接收到的聚合视频流进行视频展示时，会展示认真度评分较高的学生视频流对应的学生视频，即展示认真听讲学生的视频画面，使参与在线课堂的学生感觉同学都在认真听讲，而没有不认真听讲的学生，从而能够提高多学生参与在线课堂的学习氛围。

实施例三

图3是本申请实施例三提供的一种在线课堂的视频展示方法的流程图，该方法应用于服务端，参见图3，该方法包括如下步骤：

301、针对至少两个学生端中的每个学生端，接收来自该学生端的学生视频流和认真度评分。

在线课堂进行过程中，服务端实时接收来自多个学生端的学生视频流，并周期性接收来自多个学生端的认真度评分。学生视频流由相应学生端采集，学生视频流包括学生参与在线课堂的视频图像。认真度评分由相应学生端根据学生视频流确定，认真度评分用于表征学生参与在线课堂的认真程度。

302、针对每个学生端，将各学生端中发送较高认真度评分的至少一个学生端，确定为该学生端对应的第一学生端。

在本申请实施例中，针对每个学生端，基于此前各学生端发送的认真度评分，将发送较高认真度评分的至少一个学生端确定为该学生端对应的第一学生端。当学生参与在线课堂的认真程序发生变化时，学生端发送给服务端的认真度评分相应的发生变化，进而每个学生端对应的第一学生端也会发生相应的变化。

根据各学生端所发送认真度评分的大小，以及学生端上所能展示学生视频的个数，每个学生端对应的第一学生端的数量可以为一个或多个，不同学生端所对应第一学生端的数量可以相同或不同。

303、针对每个学生端，对该学生端对应的第一学生端发送的学生视频流进行视频流聚合，生成该学生端对应的聚合视频流。

针对每个学生端，服务端在确定出该学生端所对应的第一学生端后，对该学生端对应的第一学生端所发送的学生视频流进行视频流聚合，生成该学生端对应的聚合视频流。由于不同学生端可能对应不同的第一学生端，因此不同学生端对应的聚合视频流可能不同。

由于学生端通常通过一个播放器来播放在线课堂的视频图像，为此在对多个学生视频流进行视频流聚合时，将各学生视频流中对应同一时刻的视频帧，按照一定的顺序列后聚合到一起，聚合形成一个新的视频帧，按时间顺序对聚合形成的视频帧排列形成聚合视频流。

304、针对每个学生端，将该学生端对应的聚合视频流发送给该学生端，使该学生端基于接收到的聚合视频流展示学生视频流对应的学生视频。

对于每个学生端，服务端对该学生端对应的第一学生端发送的学生视频流进行视频流聚合，生成该学生端对应的聚合视频流后，实时将生成的聚合视频流发送给该学生端。一个学生端在接收到来自服务端的聚合视频流后，基于接收到的聚合视频流展示相应第一学生端所发送学生视频流对应的学生视频。

本申请实施例提供的方案，服务端在接收到各学生端发送的学生视频流和认真度评分后，基于认真度评分分别为每个学生端确定相对应的至少一个第一学生端，而第一学生端为所发送认真度评分较高的学生端。对于每个学生端，服务端对该学生端对应的第一学生端所发送的学生视频流进行视频流聚合，生成该学生端对应的聚合视频流，并将聚合视频流发送给该学生端进行视频展示。由于聚合视频流通过对第一学生端发送的学生视频流进行聚合而获得，而第一学生端所发送学生视频流对应较高的认真度评分，即第一学生端所发送的学生视频流包括认真听讲学生的视频画面，所以学生端基于聚合视频流展示视频画面时，会展示认真听讲学生的视频画满，使参与在线课堂的学生感觉同学都在认真听讲，而没有不认真听讲的学生，从而能够提高多学生参与在线课堂的学习氛围。

实施例四

图4是本申请实施例四提供的一种在线课堂的视频展示方法的信令交互图，该申请实施例一学生端、服务端和教师端之间的交互为例进行说明，参见图4，该方法包括如下步骤：

401、学生端获取摄像头采集到的学生视频流。

在学生端加入在线课堂后，学生端上的摄像头采集学生参与在线课堂的视频图像，获得学生视频流，学生端获取摄像头采集到的学生视频流。在一种可能的实现方式中，学生端通过网页实时通信（Web Real-Time Communication，WebRTC）获取摄像头采集到的学生视频流。

例如，教师通过在线课堂为20个学生讲授英语课，每个学生通过自己的学生端加入在线课堂，此时有20个学生端和1个教师端与服务端相连接。对于20个学生端中的每一个学生端，该学生端通过摄像头采集相应学生的学生视频流。

402、学生端按照预设的采样周期，从学生视频流中采集视频帧。

学生端在持续获取学生视频流的过程中，每经过一个预先设定的采样周期，从获取到的学生视频流中采集一次视频帧，每次采集视频帧可以仅采集一个视频帧，也可以采集相邻的多个视频帧。学生端从学生视频流中采集视频帧时，所采集的视频帧包括对应于当前时刻的视频帧。比如，预先设定的采样周期为5秒，则每经过5秒，学生端从获取到的学生视频流中采集一次视频帧。

学生端在从学生视频流中采集视频帧时，可以将学生视频流图像画面映射到画布（canvas），将视频帧转换为画面采样图像数据（像素点数组），之后便可以将像素点数组中的图像数据输入评分模型。

需要说明的是，各学生端可同步进行视频帧采集，即各学生端在相同的时刻从各自获取到的学生视频流中采集视频帧。

403、学生端将采集到的视频帧输入评分模型，获得认真度评分。

学生端每次从学生视频流中采集视频帧后，将所采集的视频帧输入预先训练的评分模型，根据评分模型的输出获得用于表征学生参与在线课堂的认真程度的认真度评分。比如，学生1通过学生端1加入在线课堂，学生端1上的摄像头采集学生1参与在线课堂的视频图像，获得相应的学生数据流1，学生端1从学生数据流1中采集视频帧后，将所采集的视频帧输入评分模型，获得用于表征学生1参与在线课堂的认真程度的认真度评分。

评分模型用于基于输入图像输出相应的认真度评分，认真度评分用于表征学生参与在线课堂的认真程度，输入图像中学生参与在线课堂的认真程度越高，评分模型输出的认真度评分越高。如果输入图像存在学生吃东西、学生戴面具、学生东张西望、图像背景闪烁、图像中无人等情况，评分模型会输出较低的认真度评分。

在学生端上部署有智能在线推理引擎，智能在线推理引擎是评分模型的执行器，可以实时执行评分模型并将视频帧输入评分模型，以进行神经网络逐层数据计算获得认真度评分。智能在线推理引擎可以为paddle.js、paddle lite、tensorflowjs、tensorflowlite等在线神经网络推理引擎。

根据每次采集视频帧时所采集视频帧数量的不同，学生端可以通过不同的是方式来获取认真度评分，下面对两种获取认真度评分的方式进行分别说明：

方式一：当每次采集视频帧时仅采集一个视频帧时，将所采集到的一个视频帧输入评分模型，获得评分模型输出的认真度评分。

每经过一个采样周期，从学生视频流中采集一个视频帧，将所采集到的额一个视频帧输入评分模型，获得用于表征学生听讲认真程度的认真度评分。由于仅需要采集一个视频帧，而且仅需要将一个视频帧输入评分模型获得认真度评分，节省了视频帧采集和通过评分模型对视频帧进行处理的时间，可以提高本申请实施例所提供视频展示方法的响应速度。

方式二：当每次采集视频帧时采集至少两个相邻的视频帧时，分别将所采集到的每个视频帧输入评分模型，获得评分模型针对每个视频帧输出的评分，计算评分模型针对每个视频帧所输出评分的平均值，作为认真度评分。

每经过一个采样周期，从学生视频流中采集相邻的多个视频帧，分别将每个视频帧输入评分模型，获得评分模型针对每个视频帧输出的评分，将评分模型所输出各评分的平均值作为认真度评分。由于认真度评分综合了多个视频帧中学生的行为状态，因此认真度评分可以更加准确地反映学生参与在线课堂的认真程序，进而保证后续在学生端所展示的学生视频为认真听讲学生的视频图像。

404、学生端将获取到的学生视频流和认真度评分发送给服务端。

学生端在获取到学生视频流后，实时将获取到的学生视频流发送给服务端。学生端每次获取到认真度评分后，将获取到的认真度评分发送给服务端。

405、教师端将教师视频流和课件视频流发送给服务端。

教师端加入在线课堂后，教师端上的摄像头采集教师参与在线课堂的视频数据，获得教师视频流，教师端获取摄像头采集到的教师视频流。另外，教师端还获取教师所演示课件的课件视频流。教师端在获取到教师视频流和课件视频流的过程中，实时将获取到的教师视频流和课件视频流发送给服务端。

需要说明的是，上述步骤404和步骤405是同步执行的。

406、服务端接收来自每个学生端的学生视频流和认真度评分，并接收来自教师端的教师视频流和课件视频流。

在学生端和教师端与服务端建立通信连接后，服务端实时接收来自学生端的学生视频流和认真度评分，并实时接收来自教师端的教师视频流和课件视频流。

在一种可能的实现方式中，服务端针对每个学生端创建数据数组，在数据数组中保存相应学生端所上传认真度评分的序列，以便后续根据认真度评分生成相应学生端对应的聚合视频流。

407、服务端根据各学生端发送的认真度评分，对各学生端进行排序。

服务端可以基于各学生端发送的认真度评分，对各学生端进行排序，进而可以基于对学生端的排序结果，分别为每个学生端确定相对应的第一学生端，即确定每个学生端上要展示哪些学生端所采集的学生视频。

根据认真度评分对学生端进行排序具有多种实现方式，下面对两种可能的实现方式进行说明。

在第一种可能的实现方式中，服务端每次接收到各学生端所发送的认真度评分后，按照对应认真度评分由高至低的顺序，对各学生端进行排序。比如，预先设定的采样周期为5秒，则各学生端每隔5秒向服务端上传依次认真度评分，服务端则每隔5秒根据最新接收到的来自各认真度评分对各学生端进行依次排序。

在本申请实施例中，由于后续需要根据对学生端的排序结果，确定在每个学生端上所要展示的学生视频，每次接收到认真度评分后，根据最新接收到的认真度评分对学生端的排序结果进行更新，可以及时对学生端上所展示学生视频的来源进行更新，从而及时停止在学生端上展示不认真听讲学生的视频图像，有助于进一步提高多学生参与在线课堂的学习氛围。

在第二种可能的实现方式中，预先设定有参考时间区间，在每个参考时间区间内每个学生端会向服务端发送至少两次认真度评分。针对每个学生端，每经过一个参考时间区间，服务端会计算该学生端在该参考时间区间内发送的各认真度评分的平均值，作为该学生端在该参考时间区间对应的认真度平均分。服务端在获取到每个学生端对应的认真度平均分后，按照对应认真度平均分由高至低的顺序，对各学生端进行排序。

比如，预先设定的采样周期为5秒，预先设定的参考时间区间为1分钟，则每个学生端在每个参考时间区间会向服务端发送12个认真度评分，在一个参考时间区间结束后，服务端计算每个学生端在该参考时间区间内所发送的12个认真度评分的平均值，作为相应学生端在该参考时间区间内的认真度平均分，然后根据按照对应认真度平均分由高至低的顺序，对各学生端进行排序。

服务端会创建一个计时器，计时器的计时长度未达到参考时间区间时，服务端不会对学生端进行重新排序，当计时器的计时长度达到参考时间区间时，服务端开始计算每个学生端的认真度平均分，基于计算出的认真度平均分对各学生端进行重新排序，并将计时器归零，重新开始计时。

在本申请实施例中，预先创建一个参考时间区间，在一个参考时间区间内每个学生端会向服务端发送至少两次认真度评分，服务端根据每个学生端在一个参考时间区间内发送的至少两个认真度评分的平均值，对学生端进行排序。由于每经过一个参考时间区间对学生端排序进行一次更新，降低了对学生端上所展示学生视频来源进行更新的频率，避免了学生端上所展示学生视频频繁排序抖动而分散学生注意力的问题。另外，根据学生端在一个参考时间区间内发送的多个认真度评分，计算学生端的认真度平均分，进而根据各学生端的认真度平均分对各学生端进行排序，保证排序结果能够更加真实的反映各学生听讲认真程度的排序。

408、服务端根据对各学生端的排序结果，分别确定每个学生端对应的第一学生端。

服务端每次对各学生端进行排序后，分别为每个学生端确定对应的第一学生端，第一学生端为向服务端发送较高认真度评分的学生端，由于不同学生端的排序结果不同，所以不同学生端对应的第一学生端可能不同。

针对各学生端中的每个学生端，可以通过如下方式确定该学生端对应的第一学生端：

S1、判断该学生端的排序是否位于前n，如果是，执行S2，否则执行S3，其中，n为该学生端上学生视频区域所能容纳学生视频的个数。

学生视频区域为学生端上用于展示学生视频的区域。在一种可能的实现方式中，所有学生端的学生视频区域所能容纳学生视频的数量相同，比如每个学生端的学生视频区域均能够容纳6个学生视频，即学生视频区域可以通过6个视频窗口播放6个学生端所采集到的学生视频。在另一种可能的实现方式中，用户可以对学生视频区域的尺寸进行调整，以改变学生视频区域所能容纳学生视频的数量，此时各学生端的学生视频区域所能容纳学生视频的数量可能不同。

当用户可以对学生视频区域的尺寸进行调整时，各学生端中的任意一个第三学生端可以响应于用户对学生视频区域尺寸的改变，向服务端发送第一聚合指令。服务端在接收到来自第三学生端的第一聚合指令后，确定第三学生端上学生视频区域的尺寸，进而根据第三学生端上学生视频区域的尺寸和展示每个学生视频所需的面积，确定第三学生端上学生视频区域所能容纳学生视频的数量。

S2、将前n个学生端中除该学生端之外的其余n-1个学生端，确定为该学生端对应的第一学生端，并结束当前流程。

一个学生端除了可以展示认真听讲学生的学生视频外，还可以展示使用该学生端所采集到的学生视频，学生在通过学生端参与在线课堂时，不仅能够看到认真听讲学生的视频图像，还能够看到自己的视频图像，可以起到对学生进行提醒和警示的作用，从而提高学生参与在线课堂的积极性和认真程度。

由于每个学生端需要展示其自身通过摄像头采集到的学生视频，如果该学生端排序位于前n，则将前n个学生端中除该学生端之外的其余n-1个学生端，确定为该学生端对应的第一学生端，此时该学生端和其对应的各第一学生端刚好可以全部展示在学生视频区域中。

例如，当前学生端为20个学生端中的学生端5，学生端5上学生视频区域所能容纳学生视频的数量为6，20个学生端的排序为学生端1-学生端3-学生端5-学生端6-学生端8-学生端9…，由于学生端5排序位于前6，因此将学生端1、学生端3、学生端6、学生端8和学生端9确定为学生端5对应的第一学生端。

S3、将前n-1个学生端确定为该学生端对应的第一学生端。

如果该学生端排序位于n之后，则将排序靠前的n-1个学生端确定为该学生端对应的第一学生端，此时该学生端和其对应的各第一学生端也刚好可以全部展示在学生视频区域中。

例如，当前学生端为20个学生端中的学生端10，学生端10上学生视频区域所能容纳学生视频的数量为6，20个学生端的排序为学生端1-学生端3-学生端5-学生端6-学生端8-学生端9…，由于学生端10的排序位于6之后，因此将学生端1、学生端3、学生端5、学生端6和学生端8确定为学生端10对应的第一学生端。

409、服务端通过视频流聚合，分别生成对应每个学生端的聚合视频流。

对于每个学生端，服务端对该学生端发送的学生视频流、该学生端对应的第一学生端发送的学生视频流，及教师端发送的教师视频流和课件视频流进行视频流聚合，生成对应于该学生端的聚合视频流。

服务端在进行视频流聚合时，将各待聚合视频流中对应同一时刻的视频帧按照一定顺序进行排布，并将排布完成的各视频帧聚合成一个新的视频帧，将聚合形成的视频帧顺序编码生成聚合视频流。在对各待聚合视频流中对应同一时刻的视频帧进行排布时，可以在学生视频区域内的首位排布当前学生端所发送学生视频流中的视频帧，之后按照学生端的排序结果，将在学生视频区域内顺次排布当前学生端所对应各第一学生端发送的学生视频流中的视频帧，教师视频流排布在教师视频区，课件视频流排布在课件视频区。

图5是本申请实施例提供了一种聚合视频流中视频帧的示意图。参见图5，该视频帧为学生端10所对应聚合视频流中的视频帧，学生端10的排序位于6之后，学生端10对应的第一学生端为学生端1、学生端3、学生端5、学生端6和学生端8，学生端10所对应5个第一学生端的排序为学生端1-学生端3-学生端5-学生端6-学生端8。学生端10所发送学生视频流中的视频帧P10、学生端1所发送学生视频流中的视频帧P1、学生端3所发送学生视频流中的视频帧P3、学生端5所发送学生视频流中的视频帧P5、学生端6所发送学生视频流中的视频帧P6和学生端8所发送学生视频流中的视频帧P8顺次排布在学生视频区域501。教师视频流中的视频帧Pt排布在教师视频区域502。课件视频流中的视频帧Pk排布在课件视频区域503。

410、服务端对教师视频流、课件视频流和各学生端所发送学生视频流进行视频流聚合，获得教师端对应的聚合视频流。

服务端在生成每个学生端所对应聚合视频流的同时，对教师视频流、课件视频流和各学生端所发送学生视频流进行聚合，获得教师端对应的聚合视频流。在生成教师端所对应聚合视频流时，可以按照各学生端的排序结果对各学生端所发送学生视频流中的视频帧进行排布，也可以按照学生的学号、姓名等顺序对各学生端所发送学生视频流中的视频帧进行排布，对此本申请实施例不加以限定。

需要说明的是，上述步骤409与步骤410同步执行。

411、服务端向每个学生端发送对应的聚合视频流。

针对每个学生端，服务端在生成该学生端对应的聚合视频流后，实时将该学生端对应的聚合视频流发送给该学生端。

412、服务端向教师端发送对应的聚合视频流。

服务端在生成教师端对应的聚合视频流后，实时将教师端对应的聚合视频流发送给教师端。

需要说明的是，上述步骤411和步骤412同步执行。

413、学生端基于接收到的聚合视频流，展示学生视频、教师视频和课件视频。

对于每个学生端，该学生端接收到来自服务端的聚合视频流后，通过对聚合视频流进行解码，在学生视频区域展示该学生端及该学生端所对应个第一学生端发送的学生视频流对应的学生视频，在教师视频区域展示教师视频流对应的教师视频，在课件视频区域展示课件视频流对应的课件视频。

图6是本申请实施例提供的一种学生端所展示视频的示意图。参见图6，学生视频区域501展示学生视频1至学生视频6，教师视频区域502展示教师视频，课件视频区域503展示课件视频。

在本申请实施例中，各学生端中的任意一个第四学生端可以响应于对学生视频区域进行翻页操作的触发，向服务端发送第二聚合指令。服务端在接收到来自第四学生端的第二聚合指令后，将除第四学生端所对应第一学生端之外，发送较大认真度评分的至少一个学生端确定为第二学生端，然后利用第二学生端所发送的学生端视频流进行视频流聚合，生成第四学生端对应的聚合视频流。

当参与在线课堂的学生数量较多时，学生端上学生视频区域无法同时显示全部学生视频，此时可以通过翻页的方式查看全部学生视频。除当前学生端所采集的学生视频展示在学生视频区域的首页外，其他学生端采集的学生视频按学生端的排序依次展示在学生视频区域的各页。通过对学生视频区域进行翻页的方式展示全部学生视频，不仅能够使学生视频区域的首页展示认真听讲学生的视频图像，以提高在线课堂的学习氛围，还能够使学生查看全部学生视频，有助于提高用户的使用体验。

图7是本申请实施例提供的另一种学生端所展示视频的示意图。当用户触发图6中学生视频区域501对应的下翻页按钮5011后，学生视频区域501展示学生视频7至学生视频12，而除学生视频1为当前学生端所采集学生视频外，学生视频2至学生视频12的认真度评分依次递减。

需要说明的是，学生端上的学生视频区域除了可以通过翻页方式展示全部学生视频外，还可以通过滚动条的形式展示全部学生视频。在学生端上的学生视频区域通过滚动条的形式展示全部学生视频时，服务端需要按照学生端的排序对全部学生端发送的学生视频流进行视频流聚合，生成聚合视频流。

414、教师端基于接收到的聚合视频流，展示学生视频、教师视频和课件视频。

教师端在接收到来自服务端的聚合视频流后，通过对聚合视频流进行解码，展示教师视频流对应的教师视频、每个学生端发送的视频流对应的学生视频、及课件视频流对应的课件视频。

需要说明的是，上述步骤413与步骤414同步执行。

另外需要说明的是，上述各个方法实施例中所有的可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。

实施例五

图8是本申请实施例五提供的一种学生端的示意图，参见图8，该学生端包括：

一个获取模块801，用于获取学生端上摄像头采集到的学生视频流，其中，学生视频流包括学生参与在线课堂的视频图像；

一个采样模块802，用于按照预设的采样周期，从获取模块801获取到的学生视频流中采集视频帧；

一个评分模块803，用于将采样模块802采集到的视频帧输入预先训练的评分模型，获得评分模型输出的认真度评分，其中，认真度评分用于表征学生参与在线课堂的认真程度；

一个通信模块804，用于将获取模块801获取到的学生视频流，及评分模块803获取到的认真度评分发送给服务端，并接收来自服务端的聚合视频流，其中，聚合视频流由服务端根据至少两个学生端所发送的认真度评分，对至少一个第一学生端发送的学生视频流进行视频流聚合而生成，第一学生端为发送较高认真度评分的学生端；

一个展示模块805，用于基于通信模块获取到的聚合视频流，展示学生视频流对应的学生视频。

在本申请实施例中，学生端将学生视频流发送给服务端的同时，会从学生视频流中采集视频帧，并通过视频帧确定用于表征学生参与在线课堂认真度的认真度评分，将认真度评分也发送给服务端。服务端则可以根据各个学生端发送的认真度评分，对认真度评分较高的学生视频流进行视频流聚合，分别生成每个学生端对应的聚合视频流，并将聚合视频流发送给对应的学生端。学生端基于接收到的聚合视频流进行视频展示时，会展示认真度评分较高的学生视频流对应的学生视频，即展示认真听讲学生的视频画面，使参与在线课堂的学生感觉同学都在认真听讲，而没有不认真听讲的学生，从而能够提高多学生参与在线课堂的学习氛围。

在一种可能的实现方式中，采样模块802用于每经过一个预设的采样周期，从学生视频流中采集至少两个相邻的视频帧；评分模块803用于将至少两个相邻的视频帧输入评分模型，其中，评分模型用于分别对每个视频帧中学生参与在线课堂的认真程度进行评分，并将针对至少两个视频帧进行评分所获得分数的平均值作为认真度评分输出。

在一种可能的实现方式中，通信模块804还用于响应于学生端上学生视频区域尺寸的改变，向服务端发送第一聚合指令，其中，学生视频区域用于展示学生视频，第一聚合指令用于指示服务端根据学生视频区域的尺寸，选择相应数量的第一学生端发送的学生视频流进行聚合，生成聚合视频流。

在一种可能的实现方式中，通信模块804还用于响应于对学生视频区域进行翻页操作的触发，向服务端发送第二聚合指令，其中，第二聚合指令用于指示服务端选择至少一个第二学生端发送的学生视频流进行视频流聚合，生成聚合视频流，第二学生端为至少两个学生端中除第一学生端之外，向服务端发送较大认真度评分的学生端。

在一种可能的实现方式中，展示模块805还用于基于聚合视频流，对学生端获取到的学生视频流对应的学生视频进行展示。

在一种可能的实现方式中，展示模块805还用于基于聚合视频流，对教师端发送给服务端的教师视频流对应的教师视频进行展示，其中，教师视频流包括教师参与在线课堂的视频图像。

在一种可能的实现方式中，展示模块805还用于基于聚合视频流，对教师端发送给服务端的课件视频流对应的课件视频进行展示，其中，课件视频流包括教师所演示课件的视频图像。

实施例六

图9是本申请实施例六提供的一种服务端的示意图，参见图9，该服务端包括：

一个接收模块901，用于针对至少两个学生端中的每个学生端，接收来自该学生端的学生视频流和认真度评分，其中，学生视频流包括学生参与在线课堂的视频图像，认真度评分用于表征学生参与在线课堂的认真程度；

一个排序模块902，用于针对每个学生端，根据接收模块901接收到的认真度评分，将至少两个学生端中发送较高认真度评分的至少一个学生端，确定为该学生端对应的第一学生端；

一个聚合模块903，用于针对每个学生端，对排序模块902确定出的与该学生端对应的第一学生端发送的学生视频流进行视频流聚合，生成该学生端对应的聚合视频流；

一个发送模块904，用于针对每个学生端，将聚合模块903生成的与该学生端对应的聚合视频流发送给该学生端，使该学生端基于接收到的聚合视频流展示学生视频流对应的学生视频。

在本申请实施例中，服务端在接收到各学生端发送的学生视频流和认真度评分后，基于认真度评分分别为每个学生端确定相对应的至少一个第一学生端，而第一学生端为所发送认真度评分较高的学生端。对于每个学生端，服务端对该学生端对应的第一学生端所发送的学生视频流进行视频流聚合，生成该学生端对应的聚合视频流，并将聚合视频流发送给该学生端进行视频展示。由于聚合视频流通过对第一学生端发送的学生视频流进行聚合而获得，而第一学生端所发送学生视频流对应较高的认真度评分，即第一学生端所发送的学生视频流包括认真听讲学生的视频画面，所以学生端基于聚合视频流展示视频画面时，会展示认真听讲学生的视频画满，使参与在线课堂的学生感觉同学都在认真听讲，而没有不认真听讲的学生，从而能够提高多学生参与在线课堂的学习氛围。

在一种可能的实现方式中，排序模块902用于针对每个学生端，每经过一个预先设定的参考时间区间，计算该学生端在该参考时间区间内所发送的至少两个认真度评分的平均值，作为该学生端在该参考时间区间对应的认真度平均分；针对每个学生端，每经过一个参考时间区间，按照在该参考时间区间对应的认真度平均分由高至低的顺序对各学生端进行排序，将排序靠前的至少一个学生端，确定为该学生端对应的第一学生端。

在一种可能的实现方式中，排序模块902用于判断该学生端的排序是否位于前n，其中，n为该学生端上学生视频区域所能容纳学生视频的个数；如果该学生端的排序位于前n，则将前n个学生端中除该学生端之外的其余n-1个学生端，确定为该学生端对应的第一学生端；如果该学生端的排序位于n之后，则将前n-1个学生端确定为该学生端对应的第一学生端。

在一种可能的实现方式中，聚合模块903用于对该学生端发送的学生视频流、学生端对应的第一学生端发送的学生视频流、来自教师端的教师视频流及来自教师端的课件视频流进行视频流聚合，生成该学生端对应的聚合视频流，其中，教师视频流包括教师参与在线课堂的视频图像，课件视频流包括教师所演示课件的视频图像。

在一种可能的实现方式中，接收模块901还用于接收来自一个第三学生端的第一聚合指令，其中，第一聚合指令由第三学生端响应于第三学生端上学生视频区域尺寸的改变而发送，学生视频区域用于展示学生视频；排序模块902还用于根据第一聚合指令，根据第三学生端上学生视频区域的尺寸，更新第三学生端对应的第一学生端的数量。

在一种可能的实现方式中，接收模块901还用于接收来自一个第四学生端的第二聚合指令，其中，第二聚合指令由第四学生端响应于对第四学生端上学生视频区域翻页操作的触发而发送；聚合模块903还用于根据第二聚合指令，将除第四学生端对应的第一学生端之外，所发送较大认真度评分的至少一个学生端确定为第二学生端，并利用第二学生端发送的学生视频流进行视频流聚合，生成第四学生端对应的聚合视频流。

实施例七

本申请实施例七提供了一种在线课堂的视频展示系统，该系统包括：一个服务端和至少两个学生端，其中，服务端为上述实施例六提供的任意一种服务端，学生端为上述实施例五提供的任意一种学生端。

在一种可能的实现方式中，在线课堂的视频展示系统还包括教师端，教师端采集教师视频流和课件视频流发送给服务端，并接收来自服务端的聚合视频流，根据接收到的聚合视频流展示视频。

需要说明的是，由于本申请实施例提供的在线课堂的视频展示系统与前述各实施例提供的在线课堂的视频展示方法基于同一构思，具体内容可参见前述方法实施例中的描述，在此不再进行赘述。

实施例八

基于上述实施例二、实施例三和实施例四所描述的在线课堂的视频展示方法，本申请实施例提供了一种电子设备，用于执行上述实施例二或实施例四中由学生端执行的在线课堂的视频展示方法，或者用于执行上述实施例三或实施例四中由服务端执行的在线课堂的视频展示方法。图10是本申请实施例八提供的一种电子设备的示意图。参见图10，本申请实施例八提供的电子设备100包括：至少一个处理器(processor)1002、存储器(memory)1004、总线1006及通信接口(CommunicationsInterface)1008。其中，

处理器1002、通信接口1008、以及存储器1004通过通信总线1006完成相互间的通信。

通信接口1008，用于与其它设备进行通信。

处理器1002，用于执行程序1010，具体可以执行上述实施例一、实施例二和实施例三所描述的方法中的相关步骤。

具体地，程序1010可以包括程序代码，该程序代码包括计算机操作指令。

处理器1002可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecificIntegratedCircuit)，或者是被配置成实施本申请实施例的一个或多个集成电路。电子设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。

存储器1004，用于存放程序1010。存储器1004可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。

实施例九

本申请实施例提供一种计算机存储介质，包括：计算机存储介质存储有计算机程序，在处理器执行计算机程序时，实现如本申请任一实施例所描述的在线课堂的视频展示方法。

本申请实施例中，学生端将学生视频流发送给服务端的同时，会从学生视频流中采集视频帧，并通过视频帧确定用于表征学生参与在线课堂认真度的认真度评分，将认真度评分也发送给服务端。服务端则可以根据各个学生端发送的认真度评分，对认真度评分较高的学生视频流进行视频流聚合，分别生成每个学生端对应的聚合视频流，并将聚合视频流发送给对应的学生端。学生端基于接收到的聚合视频流进行视频展示时，会展示认真度评分较高的学生视频流对应的学生视频，即展示认真听讲学生的视频画面，使参与在线课堂的学生感觉同学都在认真听讲，而没有不认真听讲的学生，从而能够提高多学生参与在线课堂的学习氛围。

至此，已经对本申请的特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作可以按照不同的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序，以实现期望的结果。在某些实施方式中，多任务处理和并行处理可以是有利的。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本申请的实施例可提供为方法、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flashRAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定事务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行事务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (15)

1.一种在线课堂的视频展示方法，应用于学生端，其特征在于，包括：

获取所述学生端上摄像头采集到的学生视频流，其中，所述学生视频流包括学生参与在线课堂的视频图像；

按照预设的采样周期从所述学生视频流中采集视频帧；

将所述视频帧输入预先训练的评分模型，获得所述评分模型输出的认真度评分，其中，所述认真度评分用于表征学生参与所述在线课堂的认真程度；

将所述学生视频流和所述认真度评分发送给服务端；

接收来自所述服务端的聚合视频流，其中，所述聚合视频流由所述服务端根据至少两个学生端所发送的所述认真度评分，对至少一个第一学生端发送的所述学生视频流进行视频流聚合而生成，所述第一学生端为发送较高所述认真度评分的学生端；

基于所述聚合视频流，展示所述学生视频流对应的学生视频；

所述方法还包括：响应于对所述学生端上学生视频区域进行翻页操作的触发，向所述服务端发送第二聚合指令，其中，所述学生视频区域用于展示所述学生视频，所述第二聚合指令用于指示所述服务端选择至少一个第二学生端发送的所述学生视频流进行视频流聚合，生成所述聚合视频流，所述第二学生端为所述至少两个学生端中除所述第一学生端之外，向所述服务端发送较大所述认真度评分的学生端。

2.根据权利要求1所述的方法，其特征在于，

所述按照预设的采样周期从所述学生视频流中采集视频帧，包括：

每经过一个预设的采样周期，从所述学生视频流中采集至少两个相邻的视频帧；

所述将所述视频帧输入预先训练的评分模型，获得所述评分模型输出的认真度评分，包括：

将所述至少两个相邻的视频帧输入所述评分模型，其中，所述评分模型用于分别对每个所述视频帧中学生参与所述在线课堂的认真程度进行评分，并将针对所述至少两个视频帧进行评分所获得分数的平均值作为所述认真度评分输出；

获取所述评分模型输出的所述认真度评分。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

响应于所述学生端上学生视频区域尺寸的改变，向所述服务端发送第一聚合指令，其中，所述学生视频区域用于展示所述学生视频，所述第一聚合指令用于指示所述服务端根据所述学生视频区域的尺寸，选择相应数量的所述第一学生端发送的所述学生视频流进行聚合，生成所述聚合视频流。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

基于所述聚合视频流，对所述学生端获取到的所述学生视频流对应的学生视频进行展示。

5.根据权利要求1至4中任一所述的方法，其特征在于，所述方法还包括：

基于所述聚合视频流，对教师端发送给所述服务端的教师视频流对应的教师视频进行展示，其中，所述教师视频流包括教师参与所述在线课堂的视频图像；

和/或，

基于所述聚合视频流，对所述教师端发送给所述服务端的课件视频流对应的课件视频进行展示，其中，所述课件视频流包括教师所演示课件的视频图像。

6.一种在线课堂的视频展示方法，应用于服务端，其特征在于，包括：

针对至少两个学生端中的每个学生端，接收来自该学生端的学生视频流和认真度评分，其中，所述学生视频流包括学生参与在线课堂的视频图像，所述认真度评分用于表征学生参与所述在线课堂的认真程度；

针对每个所述学生端，均执行：

将所述至少两个学生端中发送较高所述认真度评分的至少一个学生端，确定为该学生端对应的第一学生端；

对该学生端对应的所述第一学生端发送的所述学生视频流进行视频流聚合，生成该学生端对应的聚合视频流；

将该学生端对应的所述聚合视频流发送给该学生端，使该学生端基于接收到的所述聚合视频流展示所述学生视频流对应的学生视频；

所述方法还包括：接收来自一个第四学生端的第二聚合指令，其中，所述第二聚合指令由所述第四学生端响应于对所述第四学生端上学生视频区域翻页操作的触发而发送，所述学生视频区域用于展示所述学生视频；根据所述第二聚合指令，将除所述第四学生端对应的所述第一学生端之外，所发送较大所述认真度评分的至少一个所述学生端确定为第二学生端，并利用所述第二学生端发送的所述学生视频流进行视频流聚合，生成所述第四学生端对应的所述聚合视频流。

7.根据权利要求6所述的方法，其特征在于，所述针对每个所述学生端，将所述至少两个学生端中发送较高所述认真度评分的至少一个学生端，确定为该学生端对应的第一学生端，包括：

针对每个所述学生端，每经过一个预先设定的参考时间区间，计算该学生端在该参考时间区间内所发送的至少两个所述认真度评分的平均值，作为该学生端在该参考时间区间对应的认真度平均分；

针对每个所述学生端，每经过一个所述参考时间区间，按照在该参考时间区间对应的所述认真度平均分由高至低的顺序对各所述学生端进行排序，将排序靠前的至少一个所述学生端，确定为该学生端对应的所述第一学生端。

8.根据权利要求7所述的方法，其特征在于，所述将排序靠前的至少一个所述学生端，确定为该学生端对应的所述第一学生端，包括：

判断该学生端的排序是否位于前n，其中，n为该学生端上学生视频区域所能容纳所述学生视频的个数；

如果该学生端的排序位于前n，则将前n个所述学生端中除该学生端之外的其余n-1个所述学生端，确定为该学生端对应的所述第一学生端；

如果该学生端的排序位于n之后，则将前n-1个所述学生端确定为该学生端对应的所述第一学生端。

9.根据权利要求8所述的方法，其特征在于，所述对该学生端对应的所述第一学生端发送的所述学生视频流进行视频流聚合，生成该学生端对应的聚合视频流，包括：

对该学生端发送的所述学生视频流、学生端对应的所述第一学生端发送的所述学生视频流、来自教师端的教师视频流及来自教师端的课件视频流进行视频流聚合，生成该学生端对应的所述聚合视频流，其中，所述教师视频流包括教师参与所述在线课堂的视频图像，所述课件视频流包括教师所演示课件的视频图像。

10.根据权利要求6至9中任一所述的方法，其特征在于，所述方法还包括：

接收来自一个第三学生端的第一聚合指令，其中，所述第一聚合指令由所述第三学生端响应于所述第三学生端上学生视频区域尺寸的改变而发送，所述学生视频区域用于展示所述学生视频；

根据所述第一聚合指令，根据所述第三学生端上所述学生视频区域的尺寸，更新所述第三学生端对应的所述第一学生端的数量。

11.一种学生端，其特征在于，包括：

一个获取模块，用于获取所述学生端上摄像头采集到的学生视频流，其中，所述学生视频流包括学生参与在线课堂的视频图像；

一个采样模块，用于按照预设的采样周期，从所述获取模块获取到的所述学生视频流中采集视频帧；

一个评分模块，用于将所述采样模块采集到的所述视频帧输入预先训练的评分模型，获得所述评分模型输出的认真度评分，其中，所述认真度评分用于表征学生参与所述在线课堂的认真程度；

一个通信模块，用于将所述获取模块获取到的所述学生视频流，及所述评分模块获取到的所述认真度评分发送给服务端，并接收来自所述服务端的聚合视频流，其中，所述聚合视频流由所述服务端根据至少两个学生端所发送的所述认真度评分，对至少一个第一学生端发送的所述学生视频流进行视频流聚合而生成，所述第一学生端为发送较高所述认真度评分的学生端；

一个展示模块，用于基于所述通信模块获取到的所述聚合视频流，展示所述学生视频流对应的学生视频；

所述通信模块，还用于响应于对所述学生端上学生视频区域进行翻页操作的触发，向所述服务端发送第二聚合指令，其中，所述学生视频区域用于展示所述学生视频，所述第二聚合指令用于指示所述服务端选择至少一个第二学生端发送的所述学生视频流进行视频流聚合，生成所述聚合视频流，所述第二学生端为所述至少两个学生端中除所述第一学生端之外，向所述服务端发送较大所述认真度评分的学生端。

12.一种服务端，其特征在于，包括：

一个接收模块，用于针对至少两个学生端中的每个学生端，接收来自该学生端的学生视频流和认真度评分，其中，所述学生视频流包括学生参与在线课堂的视频图像，所述认真度评分用于表征所述学生参与所述在线课堂的认真程度；

一个排序模块，用于针对每个所述学生端，根据所述接收模块接收到的所述认真度评分，将所述至少两个学生端中发送较高所述认真度评分的至少一个学生端，确定为该学生端对应的第一学生端；

一个聚合模块，用于针对每个所述学生端，对所述排序模块确定出的与该学生端对应的所述第一学生端发送的所述学生视频流进行视频流聚合，生成该学生端对应的聚合视频流；

一个发送模块，用于针对每个所述学生端，将所述聚合模块生成的与该学生端对应的所述聚合视频流发送给该学生端，使该学生端基于接收到的所述聚合视频流展示所述学生视频流对应的学生视频；

所述接收模块，还用于接收来自一个第四学生端的第二聚合指令，其中，所述第二聚合指令由所述第四学生端响应于对所述第四学生端上学生视频区域翻页操作的触发而发送，所述学生视频区域用于展示所述学生视频；

所述聚合模块，还用于根据所述第二聚合指令，将除所述第四学生端对应的所述第一学生端之外，所发送较大所述认真度评分的至少一个所述学生端确定为第二学生端，并利用所述第二学生端发送的所述学生视频流进行视频流聚合，生成所述第四学生端对应的所述聚合视频流。

13.一种在线课堂的视频展示系统，其特征在于，包括：一个服务端和至少两个学生端，其中，所述服务端为权利要求12所述的服务端，所述学生端为权利要求11所述的学生端。

14.一种电子设备，其特征在于，包括：处理器和存储器，所述处理器和所述存储器连接，所述存储器存储有计算机程序，所述处理器用于执行所述计算机程序实现上述权利要求1-5中任一项所述的在线课堂的视频展示方法，或者实现上述权利要求6-10中任一项所述的在线课堂的视频展示方法。

15.一种计算机存储介质，其特征在于，包括：所述计算机存储介质存储有计算机程序，在处理器执行所述计算机程序时，实现上述权利要求1-5中任一项所述的在线课堂的视频展示方法，或者实现上述权利要求6-10中任一项所述的在线课堂的视频展示方法。

Images