CN116682052A - 一种基于云服务的教学服务平台 - Google Patents

Abstract

本发明属于云计算领域，公开了一种基于云服务的教学服务平台，包括学员终端和云服务器；学员终端用于获取学员终端的硬件信息和学员的课堂图像，用于基于硬件信息判断课堂图像是否需要上传至云服务器进行识别，用于将课堂图像发送至云服务器或用于对课堂图像进行识别，获得识别结果；云服务器用于接收课堂图像，用于用于对课堂图像进行识别，获得识别结果以及用于将识别结果发送至学员终端。本发明的教学服务平台能够利用性能较高的学员终端的硬件性能来进行课堂图像的识别，降低了云服务器的计算压力，使得本发明的教学服务平台有效地提高了在同时接入的学员的人数非常大时对学员上课时的课堂图像进行识别的效率。

Description

一种基于云服务的教学服务平台

技术领域

本发明涉及云计算领域，尤其涉及一种基于云服务的教学服务平台。

背景技术

远程教学服务平台在教学的过程中需要实时掌握学员的状态，而现有的远程教学服务平台，一般是通过人脸识别的方式来获取学员在上课时的姿态、脸部表情等图像，从而判断学员是否集中精神在听课。但是，当同时接入的学员人数非常大时，例如接入数量达到最高接入数量的95％以上，这就导致同一时间需要处理的图像的数量会比较多，如果全都上传至云服务器进行识别，那么由于上传图像、图像识别和接收识别结果都需要时间，而云服务器同一个时间的算力有限，那么就会导致不能及时地对没有集中精神在听课的学员进行提醒，而如果全都在本地进行识别，那么部分设备由于计算能力比较低，容易使得该设备在运行远程教学服务平台的相关的程序时，出现卡顿等情况，影响学员的上课体验。

发明内容

本发明的目的在于公开一种基于云服务的教学服务平台，解决如何在同时接入的学员人数非常大时，提高对学员上课时的课堂图像进行识别的效率的问题。

为了达到上述目的，本发明提供如下技术方案：

一种基于云服务的教学服务平台，包括学员终端和云服务器；

学员终端包括设备信息获取模块、摄像头模块、计算模块和第一通信模块；

设备信息获取模块用于获取学员终端的硬件信息；

摄像头模块用于获取学员的课堂图像；

计算模块用于基于硬件信息判断课堂图像是否需要上传至云服务器进行识别；

第一通信模块用于在课堂图像需要上传至云服务器进行识别时，将课堂图像发送至云服务器；

计算模块还用于在课堂图像不需要上传至云服务器进行识别时，对课堂图像进行识别，获得识别结果；

云服务器包括第二通信模块和图像识别模块；

第二通信模块用于接收第一通信模块发送的课堂图像；

图像识别模块用于对课堂图像进行识别，获得识别结果；

第二通信模块还用于将识别结果发送至第一通信模块。

可选的，还包括教学终端；

教学终端包括显示模块、输入模块和第三通信模块；

第二通信模块还用于将识别结果发送至第三通信模块；

第三通信模块用于接收第二通信模块发送的识别结果；

显示模块用于显示识别结果；

输入模块用于教师根据识别结果输入提示指令；

第三通信模块用于将提示指令发送至第二通信模块。

可选的，第二通信模块用于将提示指令转发至第一通信模块。

可选的，识别结果为存在分心行为或没有存在分心行为。

可选的，学员终端还包括提示模块，

提示模块用于在识别结果为存在分心行为时，向学员发出提示，以及用于根据第一通信模块接收到的提示指令，向学员发出提示。

可选的，基于硬件信息判断课堂图像是否需要上传至云服务器进行识别，包括：

基于硬件信息计算学员终端的性能系数；

若性能系数大于设定的性能阈值，则课堂图像不需要上传至云服务器进行识别；若性能系数小于等于设定的性能阈值，则课堂图像需要上传至云服务器进行识别。

可选的，运行设备的硬件信息包括CPU的硬件参数、内存条的硬件参数和硬盘的硬件参数。

可选的，CPU的硬件参数包括主频、工作电压和缓存容量；

内存条的硬件参数包括内存容量和内存频率；

硬盘的硬件参数包括随机读写速度、4K读写速度和硬盘容量。

可选的，基于硬件信息计算学员终端的性能系数，包括：

使用如下函数计算性能系数：

其中，perfcoef为性能系数，w₁为CPU方面的权重，w₂为内存条方面的权重，w₃为硬盘方面的权重，cpus为主频、工作电压和缓存容量的集合，wgt_i为硬件参数i的权重，perf_i为硬件参数i的数值，odd_i为预设的硬件参数i的数值的对比值；

mers为内存容量和内存频率的集合，wgt_j为硬件参数j的权重，perf_j为硬件参数j的数值，odd_j为预设的硬件参数j的数值的对比值；

hdks为随机读写速度、4K读写速度和硬盘容量的集合，wgt_k为硬件参数k的权重，perf_k为硬件参数k的数值，odd_k为预设的硬件参数k的数值的对比值。

可选的，获取学员的课堂图像，包括：

第一步，基于自适应的拍摄周期对学员进行拍摄，获得拍摄图像；

第二步，基于拍摄图像判断学员是否位于座位上，若是，则将拍摄图像作为课堂图像，若否，则进入第一步。

本发明在对学员的课堂图像进行识别的过程中，通过学员终端的硬件性能来判断是否需要将课堂图像发送至云服务器进行识别，从而使得本发明的教学服务平台能够利用性能较高的学员终端的硬件性能来进行课堂图像的识别，降低了云服务器的计算压力，使得本发明的教学服务平台有效地提高了在同时接入的学员的人数非常大时对学员上课时的课堂图像进行识别的效率。

附图说明

从下文给出的详细描述和附图中将更充分地理解本公开，附图仅以说明的方式给出，因此不限制本公开，并且其中：

图1为本发明一种基于云服务的教学服务平台的一种示意图。

图2为本发明一种基于云服务的教学服务平台的另一种示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

如图1所示的一种实施例，本发明提供了一种基于云服务的教学服务平台，包括

一种基于云服务的教学服务平台，包括学员终端和云服务器；

学员终端包括设备信息获取模块、摄像头模块、计算模块和第一通信模块；

设备信息获取模块用于获取学员终端的硬件信息；

摄像头模块用于获取学员的课堂图像；

计算模块用于基于硬件信息判断课堂图像是否需要上传至云服务器进行识别；

第一通信模块用于在课堂图像需要上传至云服务器进行识别时，将课堂图像发送至云服务器；

计算模块还用于在课堂图像不需要上传至云服务器进行识别时，对课堂图像进行识别，获得识别结果；

云服务器包括第二通信模块和图像识别模块；

第二通信模块用于接收第一通信模块发送的课堂图像；

图像识别模块用于对课堂图像进行识别，获得识别结果；

第二通信模块还用于将识别结果发送至第一通信模块。

本发明在对学员的课堂图像进行识别的过程中，通过学员终端的硬件性能来判断是否需要将课堂图像发送至云服务器进行识别，从而使得本发明的教学服务平台能够利用性能较高的学员终端的硬件性能来进行课堂图像的识别，降低了云服务器的计算压力，使得本发明的教学服务平台有效地提高了在同时接入的学员的人数非常大时对学员上课时的课堂图像进行识别的效率。

学员终端可以包括手机、平板、台式电脑、笔记本电脑等，不同类型的学员终端的硬件性能并不一致，但是即使是好几年前的电脑，其性能显然是超过最新的手机、平板等的。因此，当有学员使用这些类型的终端时，本发明可以利用这些终端来进行对课堂图像进行本地识别，从而降低云服务器的识别压力，而对于部分性能较差的手机，则是通过将课堂图像转发至云服务器进行识别。

可选的，如图2所示，还包括教学终端；

教学终端包括显示模块、输入模块和第三通信模块；

第二通信模块还用于将识别结果发送至第三通信模块；

第三通信模块用于接收第二通信模块发送的识别结果；

显示模块用于显示识别结果；

输入模块用于教师根据识别结果输入提示指令；

第三通信模块用于将提示指令发送至第二通信模块。

具体的，根据识别结果输入提示指令，包括：

教师在看到识别结果为存在分心行为时，可以通过直接点名的方式对学员进行提示，也可以通过输入模块来输入提示指令，从而避免公开地对该学员进行提示。

提示指令可以包括提示方式和提示内容；

提示方式包括窗口振动、语音提示、屏幕闪烁提示等，提示内容包括提示文字。例如，提示文字可以包括：xxx(学员名称)，请认真听课。

可选的，教学终端还包括拍摄模块；

拍摄模块用于获取教师上课的视频流；

第三通信模块还用于将视频流传输至云服务器；

云服务器还用于通过第二通信模块将视频流分别发送至每个学员终端的第一通信模块。

可选的，学员终端还包括实践模块；

实践模块用于学员根据教学内容进行模拟实践，便于学员充分理解教学内容。例如，当上环保课程时，对环境进行治理一般分为多个步骤。

实践模块中设置与每个步骤相关的动作、每个动作的参数和每个动作执行后产生的变化。

学员在实践时，可以通过实践模块中的按钮来执行步骤，然后实践模块会根据执行步骤来显示最终的结果。这样便能够使得学员快速且直观地知道自己是否已经掌握相关的知识。

可选的，第二通信模块用于将提示指令转发至第一通信模块。

具体的，第二通信模块也负责视频流的转发。

可选的，识别结果为存在分心行为或没有存在分心行为。

具体的，当课堂图像中存在玩手机、低头不看屏幕、打瞌睡等行为时，则表示学员存在分心行为。

可选的，学员终端还包括提示模块，

提示模块用于在识别结果为存在分心行为时，向学员发出提示，以及用于根据第一通信模块接收到的提示指令，向学员发出提示。

具体的，在识别结果为存在分心行为时，向学员发出提示，包括：

通过窗口振动、语音提示、屏幕闪烁等任一种方式向学员发出提示。

具体的，根据第一通信模块接收到的提示指令，向学员发出提示，包括：

获取提示指令中包含的提示方式和提示内容；

使用提示指令中的提示方式向学员发出提示；

若提示方式为窗口振动或屏幕闪烁提示，则同时在屏幕上显示提示内容；若提示方式为语音提示，则将提示内容转换为语音后进行播放。

可选的，基于硬件信息判断课堂图像是否需要上传至云服务器进行识别，包括：

基于硬件信息计算学员终端的性能系数；

若性能系数大于设定的性能阈值，则课堂图像不需要上传至云服务器进行识别；若性能系数小于等于设定的性能阈值，则课堂图像需要上传至云服务器进行识别。

可选的，运行设备的硬件信息包括CPU的硬件参数、内存条的硬件参数和硬盘的硬件参数。

具体的，硬件信息还可以包括其它的类型的信息，例如网速、设备类型等，网速越慢、设备类型的对应的性能越弱，则性能系数越低。

可选的，CPU的硬件参数包括主频、工作电压和缓存容量；

内存条的硬件参数包括内存容量和内存频率；

硬盘的硬件参数包括随机读写速度、4K读写速度和硬盘容量。

具体的，除了上面列举的硬件参数之外，硬件参数还可以包括其它能够表示硬件的性能的参数。

可选的，基于硬件信息计算学员终端的性能系数，包括：

使用如下函数计算性能系数：

其中，perfcoef为性能系数，w₁为CPU方面的权重，w₂为内存条方面的权重，w₃为硬盘方面的权重，cpus为主频、工作电压和缓存容量的集合，wgt_i为硬件参数i的权重，perf_i为硬件参数i的数值，odd_i为预设的硬件参数i的数值的对比值；

mers为内存容量和内存频率的集合，wgt_j为硬件参数j的权重，perf_j为硬件参数j的数值，odd_j为预设的硬件参数j的数值的对比值；

hdks为随机读写速度、4K读写速度和硬盘容量的集合，wgt_k为硬件参数k的权重，perf_k为硬件参数k的数值，odd_k为预设的硬件参数k的数值的对比值。

具体的，性能系数从多个方面进行综合计算得到，每个硬件参数均设置了相应的对比值，从而使得求和时都是比值来相加，避免了单位不同不能相加的问题的发生。而且本发明分别为三种不同类型的硬件设置了不同的权重值，而每种硬件的具体的每种参数，又设置了不同的权重，从而避免对不同类型的硬件使用相同权重进行性能的计算，提高了性能系数的准确性。

可选的，获取学员的课堂图像，包括：

第一步，基于自适应的拍摄周期对学员进行拍摄，获得拍摄图像；

第二步，基于拍摄图像判断学员是否位于座位上，若是，则将拍摄图像作为课堂图像，若否，则进入第一步。

通过自适应的拍摄周期来获取拍摄图像，避免了对所有的学员均采用固定的周期进行拍摄，另外，本发明还通过判断学员是否在座位上来判断是否产生课堂图像，从而有效地降低了课堂图像的数量，进一步降低了云服务器的计算压力。

当学员不在座位上时，便不属于是否集中精神了，而直接就是考勤的问题了，对于这种情况，可以通过向学员的手机发送通知短信的方式来让其尽快回到座位上进行听课。

可选的，自适应的拍摄周期的计算函数为：

其中，adptyc_d和adptyc_d-1分别为第d个和第d-1个拍摄周期，shot_d-1为第d-1个拍摄周期的结束时刻，snum(shot_d-1-S,shot_d-1)为[shot_d-1-S,shot_d-1]的时刻区间内，学员产生分心行为的次数，S为设定的统计时长，maxS为设定的统计时长内产生分心行为的次数的最大值，cgepx为拍摄周期的变化时长，def为行为判断函数，当snum(shot_d-1-S,shot_d-1)小于设定的阈值时，def的值为2，当snum(shot_d-1-S,shot_d-1)大于等于设定的阈值时，def的值为1。第一个拍摄周期为预先设定的数值。

拍摄周期在计算时，通过对统计时长范围内的产生分心行为的次数进行统计，然后再基于统计结果选择不同的计算函数来计算第d个拍摄周期，从而提高了拍摄周期的自适应性。在累计产生分心行为的次数小于阈值时，本发明一直延长拍摄周期，而且累计的次数越小，则延长的幅度就越大。这样便能够快速地延长认真听听课的学员的拍摄周期。降低课堂图像的数量。因为如果对这些认真听课的学员采用与不认真听课的学员一样的拍摄周期的话，那么显然会导致无效的课堂图像的数量的增加，因为认真听课的学员大概率是不存在分心行为的。

而在累计产生分心行为的次数大于等于阈值时，本发明则会对拍摄周期进行缩短，累计的次数越大，则缩短的速度就越快，从而使得本发明能够及时地发现不认真听课的学员的分心行为。

因此，通过上面的设置方式，本发明在降低课堂图像的数量的同时，也保证了对学员的分心行为及时发现的概率。

进一步的，拍摄周期设置有上限值和下限值，当超出上限值时，通过计算函数得到的计算周期为上限值，当超出下限值时，通过计算函数得到的计算周期为下限值。

可选的，基于拍摄图像判断学员是否位于座位上，包括：

将拍摄图像分为多个大小一致的区域；

分别计算每个区域的降噪面积；

基于降噪面积分别对每个区域进行降噪处理，得到降噪图像；

将降噪图像输入到预先训练好的神经网络模型中进行识别，判断学员是否位于座位上。

现有技术中，一般都是直接对像素点进行降噪，但是不同区域中，噪声的含量并不相同，对噪声含量较低的像素点和噪声含量较高的像素点采用同一种降噪方式的话，不利于提高降噪的速度，因此，本发明通过对拍摄图像进行分区，然后再分别计算每个分区的降噪面积，基于降噪面积分别对同一个区域中的每个像素点进行降噪处理，从而提高了降噪的速度。

可选的，降噪面积的计算函数为：

其中，rednoiS为降噪面积，α、β分别为第一系数和第二系数，α+β＝1，maxnois为预设的噪声方差的标准值，noisc为区域的噪声方差的估计值，qset为区域的像素点的集合，Nq为区域的像素点的总数，flor_u为像素点u的梯度值，maxflor为预设的梯度值方差的标准值，Sq为区域的面积，σ为降噪系数，σ∈(0,0.1)。

在本发明中，降噪面积与噪声方差，梯度值的方差相关；噪声方差的估计值越大，梯度值的方差越大，则降噪面积越大，从而使得对像素点进行降噪处理时，考虑了更多的邻域信息，使得降噪结果更为准确，反之，则缩小降噪面积，从而提高降噪效率。而由于属于噪声的像素点的数量一般显著小于正常的像素点的数量，因此，本发明能够在保证降噪结果的准确率的同时，提高降噪的速度。

可选的，基于降噪面积分别对每个区域进行降噪处理，得到降噪图像，包括：

对区域中的像素点g的降噪过程为：

获取像素点g的参考像素点的集合cset；

用cset代替NML算法中的邻域窗口的像素点的集合，使用NML算法对像素点g进行降噪处理，得到降噪结果。

其中，NML算法一般会设定两个固定大小的窗口，一个大的搜索窗口(D×D)和一个小的邻域窗口(dl×dl)，邻域窗口在搜索窗口中进行滑动，根据邻域间的相似性来确定对应中心像素对当前像素的影响度，也就是权值。

NLM算法执行时，大窗口是以目标像素点x为中心的搜索窗口，两个小窗口分别是以x，y为中心的邻域窗口。其中以y为中心的邻域窗口在搜索窗口中滑动，通过计算两个邻域窗口间的相似程度为y赋以权值w(x,y)。本发明替换的是以x为中心的邻域窗口的像素点的集合。

另外，本发明还可以用集合cset代替其它降噪算法中的邻域窗口，从而实现邻域窗口的自适应变化，提高降噪效率。

可选的，获取像素点g的参考像素点的集合cset，包括：

根据降噪面积计算降噪距离值dist：

与像素点g之间距离小于降噪距离值的像素点均为集合cset中的像素点。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种基于云服务的教学服务平台，其特征在于，包括学员终端和云服务器；

学员终端包括设备信息获取模块、摄像头模块、计算模块和第一通信模块；

设备信息获取模块用于获取学员终端的硬件信息；

摄像头模块用于获取学员的课堂图像；

计算模块用于基于硬件信息判断课堂图像是否需要上传至云服务器进行识别；

第一通信模块用于在课堂图像需要上传至云服务器进行识别时，将课堂图像发送至云服务器；

计算模块还用于在课堂图像不需要上传至云服务器进行识别时，对课堂图像进行识别，获得识别结果；

云服务器包括第二通信模块和图像识别模块；

第二通信模块用于接收第一通信模块发送的课堂图像；

图像识别模块用于对课堂图像进行识别，获得识别结果；

第二通信模块还用于将识别结果发送至第一通信模块。

2.根据权利要求1所述的一种基于云服务的教学服务平台，其特征在于，还包括教学终端；

教学终端包括显示模块、输入模块和第三通信模块；

第二通信模块还用于将识别结果发送至第三通信模块；

第三通信模块用于接收第二通信模块发送的识别结果；

显示模块用于显示识别结果；

输入模块用于教师根据识别结果输入提示指令；

第三通信模块用于将提示指令发送至第二通信模块。

3.根据权利要求2所述的一种基于云服务的教学服务平台，其特征在于，第二通信模块用于将提示指令转发至第一通信模块。

4.根据权利要求1所述的一种基于云服务的教学服务平台，其特征在于，识别结果为存在分心行为或没有存在分心行为。

5.根据权利要求3或4所述的一种基于云服务的教学服务平台，其特征在于，学员终端还包括提示模块，

提示模块用于在识别结果为存在分心行为时，向学员发出提示，以及用于根据第一通信模块接收到的提示指令，向学员发出提示。

6.根据权利要求1所述的一种基于云服务的教学服务平台，其特征在于，基于硬件信息判断课堂图像是否需要上传至云服务器进行识别，包括：

基于硬件信息计算学员终端的性能系数；

若性能系数大于设定的性能阈值，则课堂图像不需要上传至云服务器进行识别；若性能系数小于等于设定的性能阈值，则课堂图像需要上传至云服务器进行识别。

7.根据权利要求6所述的一种基于云服务的教学服务平台，其特征在于，运行设备的硬件信息包括CPU的硬件参数、内存条的硬件参数和硬盘的硬件参数。

8.根据权利要求7所述的一种基于云服务的教学服务平台，其特征在于，CPU的硬件参数包括主频、工作电压和缓存容量；

内存条的硬件参数包括内存容量和内存频率；

硬盘的硬件参数包括随机读写速度、4K读写速度和硬盘容量。

9.根据权利要求8所述的一种基于云服务的教学服务平台，其特征在于，基于硬件信息计算学员终端的性能系数，包括：

使用如下函数计算性能系数：

其中，perfcoef为性能系数，w₁为CPU方面的权重，w₂为内存条方面的权重，w₃为硬盘方面的权重，cpus为主频、工作电压和缓存容量的集合，wgt_i为硬件参数i的权重，perf_i为硬件参数i的数值，odd_i为预设的硬件参数i的数值的对比值；

mers为内存容量和内存频率的集合，wgt_j为硬件参数j的权重，perf_j为硬件参数j的数值，odd_j为预设的硬件参数j的数值的对比值；

hdks为随机读写速度、4K读写速度和硬盘容量的集合，wgt_k为硬件参数k的权重，perf_k为硬件参数k的数值，odd_k为预设的硬件参数k的数值的对比值。

10.根据权利要求1所述的一种基于云服务的教学服务平台，其特征在于，获取学员的课堂图像，包括：

第一步，基于自适应的拍摄周期对学员进行拍摄，获得拍摄图像；

第二步，基于拍摄图像判断学员是否位于座位上，若是，则将拍摄图像作为课堂图像，若否，则进入第一步。