CN115937961B - 一种线上学习识别方法及设备 - Google Patents

Abstract

本申请公开了一种线上学习识别方法及设备，属于识别技术领域，用于解决线上学习识别正确率低的问题，方法包括：根据预设时间间隔，获取用户在观看线上课程时的连续多帧人脸图像；确定人脸图像对应的人眼关键点，提取人脸图像中用户人眼的人眼位置；从用户在本次观看线上课程时，所生成的历史人脸图像队列中，获取预设分析周期内的历史人脸图像；根据历史人脸图像，生成用户的历史人眼运动轨迹；根据人眼位置与历史人眼运动轨迹，确定用户的人眼运动轨迹；根据人眼运动轨迹，判断用户是否为虚拟用户；若否，则根据人眼运动轨迹，确定用户观看线上课程过程中的线上学习行为等级，对用户的线上学习行为进行识别。提高线上学习识别的正确率。

Description

一种线上学习识别方法及设备

技术领域

本申请涉及识别技术领域，尤其涉及一种线上学习识别方法及设备。

背景技术

在线教育即e-Learning，或称远程教育、在线学习，现行概念中一般指的是一种基于网络的学习行为，与网络培训概念相似，通过应用信息科技和互联网技术进行内容传播和快速学习的方法。

目前，在线上学习过程中，教师在线上教学的过程中由于是远程视频操作，导致无法实时识别学生在线下的学习行为情况，同时也导致了在完成线上课程的学习任务过程中，让其他用户代替进行刷课，甚至学生全程或者中途采用虚拟用户（比如，用户图像、录制的用户观看行为视频）代替进行刷课等现象。

但是，在线课程平台系统也还未能对学生线上学习行为（即，学生线下的观看行为）进行全方位识别，只是通过简单的拍照，或者有限次数的发送测试题，确认学生是否正在观看播放的线上课程，从而导致线上学习识别正确率低。

发明内容

本申请实施例提供一种线上学习识别方法及设备，用于解决线上学习识别正确率低的问题。

本申请实施例采用下述技术方案：

一方面，本申请实施例提供了一种线上学习识别方法，该方法包括：确定用户将要学习的待播放的线上课程，并判断预设图标是否从播放设备的初始位置移动到指定位置；若是，则在所述播放设备上播放所述线上课程；根据预设时间间隔，获取用户在观看所述线上课程时的连续多帧人脸图像；对每帧所述人脸图像进行目标检测，确定所述人脸图像对应的人眼关键点，并根据所述人眼关键点的坐标，提取所述人脸图像中用户人眼的人眼位置；根据所述用户的身份标识，从所述用户在本次观看所述线上课程时，所生成的历史人脸图像队列中，获取预设分析周期内的历史人脸图像；根据所述历史人脸图像，生成所述用户的历史人眼运动轨迹；其中，所述历史人眼运动轨迹中包括所述用户在所述历史人脸图像中的人眼位置；根据所述人眼位置与所述历史人眼运动轨迹，确定所述用户的人眼运动轨迹；根据所述人眼运动轨迹，判断所述用户是否为虚拟用户；所述虚拟用户是指与所述用户相关的图像或者视频；若否，则根据所述人眼运动轨迹，确定所述用户观看所述线上课程过程中的线上学习行为等级；根据所述线上学习行为等级，对所述用户的线上学习行为进行识别。

一个示例中，所述根据所述人眼运动轨迹，判断所述用户是否为虚拟用户，具体包括：根据所述人眼运动轨迹，确定所述用户在固定时长内的的人眼位置偏移量序列；所述人眼位置偏移量序列中包括所述用户人眼的多个人眼位置偏移量；通过预先训练的神经网络模型，将所述人眼位置偏移量序列作为输入，输出得到所述用户在固定的时长内，针对不同时间段内的偏移偏好；所述偏移偏好用于表示所述用户在每个时间段内观看所述线上课程时，多个人眼位移偏移量之间符合预先设定的规律性规则；确定所述线上课程在所述每个时间段内对应的指定课程内容；根据所述偏移偏好与所述指定课程内容，确定所述用户在每个时间段内与所述指定课程内容之间的关注度等级；通过将所述关注度等级与预设关注等级进行对比，判断所述用户是否为虚拟用户。

一个示例中，所述则根据所述人眼运动轨迹，确定所述用户的线上学习行为等级，具体包括：根据预设目标时长，依次将所述人眼位置偏移量序列划分为多组人眼位置偏移量数据；对每组人眼位置偏移量数据进行识别，将识别结果属于晃动反应的每组位置偏移量数据，标记为晃动组；按照生成各组位置偏移量数据的时间顺序，依次对各组位置偏移量数据进行组合，得到多个组合；其中，每个组合中的组数量相差小于预设差值阈值；分别确定所述多个组合中晃动组的比例，并根据所述比例确定各组合的晃动率；根据预先构建的决策树与所述各组合的晃动率，生成所述用户的晃动状态；其中，通过将各组合的晃动率作为节点，将各节点之间的关联作为边，构建决策树，所述晃动状态包括所述用户的晃动频率与晃动幅度中的至少一种；根据预先构建的线上学习行为等级表对所述晃动状态进行匹配，确定所述用户的线上学习行为等级。

一个示例中，所述根据所述线上学习行为等级，对所述用户的线上学习行为进行识别，具体包括：若所述线上学习行为等级高于预设行为等级，则通过对每帧所述人脸图像进行目标检测，提取所述用户的头部倾斜角度；若所述头部倾斜角度大于预设角度阈值，则对所述用户发出姿态提醒；若所述线上学习行为等级低于所述预设行为等级，则向所述用户发出晃动提醒。

一个示例中，所述人眼关键点包括上眼皮最高点，下眼皮最低点，左眼角关键点、右眼角关键点；所述则对每帧所述人脸图像进行目标检测，提取所述用户的头部倾斜角度之后，所述方法还包括：若所述头部倾斜角度小于或等于所述预设角度阈值，则确定所述左眼角关键点与右眼角关键点之间的水平差值以及所述上眼皮最高点与所述下眼皮最低点之间的高度差值；计算所述水平差值与所述高度差值之间的比值，并通过将所述比值与预设开合阈值进行对比，确定所述用户的人眼开合状态；根据所述人眼开合状态，对所述用户的线上学习行为进行识别。

一个示例中，所述通过将所述比值与预设开合阈值进行对比，确定所述用户的人眼开合状态，具体包括：判断所述比值是否大于预设开合阈值；若所述比值小于所述预设开合阈值，则确定所述用户为闭眼状态；若所述比值大于或等于所述预设开合阈值，则确定所述用户为睁眼状态；所述根据所述人眼开合状态，对所述用户的线上学习行为进行识别，具体包括：若所述用户为闭眼状态，则向所述用户发出走神提醒；若所述用户为睁眼状态，则确定所述用户的睁眼时长，并在所述睁眼时长大于指定时长时，向所述用户发出走神提醒。

一个示例中，所述通过预先训练的神经网络模型，将所述人眼位置偏移量序列作为输入，输出得到所述用户在固定的时长内，针对不同时间段内的偏移偏好之前，所述方法还包括：获取样本用户的样本人眼运动轨迹，根据所述样本人眼运动轨迹，确定样本用户在固定时长内的样本人眼位置偏移量序列；以所述样本人眼位置偏移量序列作为输入样本，以所述样本用户在固定的时长内，针对不同时间段内的偏移偏好作为样本标签，对所述神经网络模型进行监督训练。

一个示例中，所述根据所述历史人脸图像，生成所述用户的历史人眼运动轨迹之后，所述方法还包括：根据所述人眼位置与所述历史人眼运动轨迹，生成所述用户在预设未来时长内的人眼预测位置；判断所述人眼预测位置是否在所述播放设备的预设拍摄范围内；若否，则确定所述线上课程是否为录播课程；若所述线上课程为录播课程，则将播放所述线上课程的时间点，确定为第一时间点，将所述人眼预测位置的时间点，确定为第二时间点；根据所述第一时间点与所述线上课程的指定学习时长，确定结束所述线上课程的时间点，并将所述结束所述线上课程的时间点，作为第三时间点；若所述第二时间点小于所述第三时间点，则确定所述第二时间点与所述第三时间点之间的时间差；获取所述线上课程在所述时间差内的课程内容，确定所述课程内容的学习价值等级；若所述课程内容的学习价值等级高于预设价值等级，则暂停所述线上课程；判断所述预设图标是否从播放设备的初始位置移动到指定位置，若是，则重新播放所述线上课程。

一个示例中，所述对每帧所述人脸图像进行目标检测，确定所述人脸图像对应的人眼关键点，具体包括：通过第一残差网络，对所述人脸图像进行预处理，提取所述人脸图像的第一人眼特征；通过最大池化对所述人脸图像进行降采样，得到降采样的人脸图像；通过第二残差网络，提取所述降采样的人脸图像的第二人眼特征；通过反卷积网络对所述第二人眼特征进行升采样，得到第三人眼特征；对所述第一人眼特征与所述第三人眼特征进行融合，确定所述人脸图像对应的人眼关键点。

另一方面，本申请实施例提供了一种线上学习识别设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：确定用户将要学习的待播放的线上课程，并判断预设图标是否从播放设备的初始位置移动到指定位置；若是，则在所述播放设备上播放所述线上课程；根据预设时间间隔，获取用户在观看所述线上课程时的连续多帧人脸图像；对每帧所述人脸图像进行目标检测，确定所述人脸图像对应的人眼关键点，并根据所述人眼关键点的坐标，提取所述人脸图像中用户人眼的人眼位置；根据所述用户的身份标识，从所述用户在本次观看所述线上课程时，所生成的历史人脸图像队列中，获取预设分析周期内的历史人脸图像；根据所述历史人脸图像，生成所述用户的历史人眼运动轨迹；其中，所述历史人眼运动轨迹中包括所述用户在所述历史人脸图像中的人眼位置；根据所述人眼位置与所述历史人眼运动轨迹，确定所述用户的人眼运动轨迹；根据所述人眼运动轨迹，判断所述用户是否为虚拟用户；所述虚拟用户是指与所述用户相关的图像或者视频；若否，则根据所述人眼运动轨迹，确定所述用户观看所述线上课程过程中的线上学习行为等级；根据所述线上学习行为等级，对所述用户的线上学习行为进行识别。

本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：

通过获取人脸图像，能够及时检测出中途学习过程中，代替用户刷课的其他真实用户，通过提取人脸图像中用户人眼的人眼位置，能够避免用户人脸被遮挡，然后无法实现对人脸图像进行人脸识别的问题，由于用户在观看线上课程的过程中，不可能一直完全静止不动，所以连续性的用户动作行为，更能说明用户在该时间段内的学习行为，因此通过生成用户的历史人眼运动轨迹，能够实现获取到连续性的用户动作行为，由于虚拟用户与真实用户在观看线上课程过程中所生成的学习行为，必然是有区别的，因此通过生成用户的人眼运动轨迹，判断用户是否为虚拟用户，能够及时验证用户的真实性，从而及时监督用户进行线上学习，并在验证通过后，继续确定用户的线上学习行为，对线上学习行为进行识别，从而提高了线上学习识别的正确率。

附图说明

为了更清楚地说明本申请的技术方案，下面将结合附图来对本申请的部分实施例进行详细说明，附图中：

图1为本申请实施例提供的一种线上学习识别方法的流程示意图；

图2为本申请实施例提供的一种线上学习识别设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合具体实施例及相应的附图对本申请的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

下面参照附图来对本申请的一些实施例进行详细说明。

图1为本申请实施例提供的一种线上学习识别方法的流程示意图。该方法可以应用于不同的业务领域，比如，互联网金融业务领域、电商业务领域、即时通讯业务领域、游戏业务领域、公务业务领域等。该流程可以由相应领域的计算设备（比如，电商业务对应的线上学习识别服务器或者智能移动终端等）执行，流程中的某些输入参数或者中间结果允许人工干预调节，以帮助提高准确性。

需要说明的是，该服务器可以是单独的一台设备，可以是有多台设备组成的系统，即，分布式服务器，本申请对此不做具体限定。

图1中的流程可以包括以下步骤：

S101：确定用户将要学习的待播放的线上课程，并判断预设图标是否从播放设备的初始位置移动到指定位置。

其中，在用户开始观看线上课程之前，接收用户的观看指令时，在播放设备的初始位置（比如，屏幕中央）采用拖动鼠标移动预设图标到指定位置进行解锁的方式，能够使用户进行聚焦至当前线上课程，作为开始正常观看线上课程视频的依据。其中，线上课程可以是直播课程或者录播课程。

S102：若是，则在所述播放设备上播放所述线上课程。

在本申请的一些实施例中，为了避免刚开始学习时，用户让真实的其他用户代替刷课，用户开始学习时进行指纹认证或者人脸认证进行校验当前用户信息，验证通过后，才在播放设备上播放线上课程。

S103：根据预设时间间隔，获取用户在观看线上课程时的连续多帧人脸图像。

需要说明的是，由于用户在观看线上课程的过程中，用户做出的某些动作一般是连续且短暂的，比如，用户持续晃动几分钟。而仅获取一帧人脸图像，不能辨别出用户是在不认真学习，还是由于某些特殊的外界原因，改变当前的观看动作，因此，为了有效保证线上学习识别的准确率，需要连续获取多帧人脸图像。同时，预设时间间隔不宜过长。

需要说明的是，通过获取人脸图像，能够及时检测出中途学习过程中，代替用户刷课的其他真实用户。

S104：对每帧所述人脸图像进行目标检测，确定所述人脸图像对应的人眼关键点，并根据所述人眼关键点的坐标，提取所述人脸图像中用户人眼的人眼位置。

在本申请的一些实施例中，通常在对人脸识别时，由于需要有完整的人脸特征，所以必须在非遮挡条件下才可以进行。当面部被口罩等遮挡的情况，则无法实现对人脸图像进行人脸识别，因此，为了避免上述情况，将人脸图像中用户人眼的位置作为依据，对用户的线上学习行为进行识别。

需要说明的是，在生成用户人眼的人眼位置时，可以采用用户的左眼位置，或者采用用户的右眼位置，或者采用左眼位置与右眼位置之间的中心位置，即，其中三种方式的任意一种方式，可以根据实际需要进行设置，在此不作限定。

具体地，预先构建第一残差网络、第二残差网络以及反卷积网络，首先通过第一残差网络，对人脸图像进行预处理，提取人脸图像的第一人眼特征。需要说明的是，第一残差网络是对人脸图像进行简单抽取特征。

然后，通过最大池化对人脸图像进行降采样，得到降采样的人脸图像，通过第二残差网络，提取降采样的人脸图像的第二人眼特征。然后，通过反卷积网络对第二人眼特征进行升采样，得到第三人眼特征，对第一人眼特征与第三人眼特征进行融合，确定人脸图像对应的人眼关键点。最后，根据人眼关键点，提取人脸图像对应的人眼位置。比如，人眼关键点包括上眼皮最高点，下眼皮最低点，左眼角关键点、右眼角关键点。

需要说明的是，可以是以人眼关键点为依据，确定人眼区域，将人眼区域的中心位置作为人眼位置。

S105：根据所述用户的身份标识，从所述用户在本次观看所述线上课程时，所生成的历史人脸图像队列中，获取预设分析周期内的历史人脸图像。

在本申请一些实施例中，通过用户的身份标识，为用户建立历史人脸图像队列。其中，在每次获取连续多帧人脸图像时，根据该多帧人脸图像对用户的线上学习行为进行识别，然后将该多帧人脸图像放入历史人脸图像队列，作为历史人脸图像。需要说明的是，当每次播放线上课程时，将对应生成该用户本次的一个历史人脸图像队列。

其中，用户的身份标识可以为用户的账号、身份证号等等。比如，预设分析周期为10分钟，则根据用户的账号，查找到该用户的历史人脸图像队列，然后在历史人脸图像队列中，从最新一张历史人脸图像的时间戳为起点，选取过去10分钟内的历史人脸图像。

需要说明的是，在预设分析周期的时长小于预设时间间隔的时长时，在获取预设分析周期内的历史人脸图像时，实际上获取的是上次上传的连续多帧人脸图像。

S106：根据所述历史人脸图像，生成所述用户的历史人眼运动轨迹；其中，所述历史人眼运动轨迹中包括所述用户在所述历史人脸图像中的人眼位置。

其中，针对历史人脸图像而言，之前已经提取到历史人脸图像中用户人眼的人眼位置，即，人眼历史运动轨迹中包括用户在历史人脸图像中的人眼位置。

S107：根据所述人眼位置与所述历史人眼运动轨迹，确定所述用户的人眼运动轨迹。

考虑到线上学习的过程中，用户可能将用户图像放置到播放设备前面，替代用户进行观看线上课程，或者将预先录制用户的观看动作视频，将视频放置到播放设备的前面，替代用户进行观看线上课程。当然，用户可能一直用虚拟用户进行观看，此时，可以理解为使用虚拟用户进行刷课。也可能线上课程的中途，使用虚拟用户进行观看，后续用户又回来继续观看剩下的线上课程，为了避免上述各种情况的发生，需要验证用户的真实性，继续执行S108。

S108：根据所述人眼运动轨迹，判断所述用户是否为虚拟用户；所述虚拟用户是指与所述用户相关的图像或者视频。

S109：若否，则根据所述人眼运动轨迹，确定所述用户观看所述线上课程过程中的线上学习行为等级。

比如，线上学习等级包括较低等级、低等级、中等级、较高等级、高等级等。

S110：根据所述线上学习行为等级，对所述用户的线上学习行为进行识别。

其中，线上学习行为等级越高，说明用户的线上学习行为越好，即，通常情况下，越能够集中注意力，达到较好的学习效果。

需要说明的是，虽然本申请实施例是参照图1来对步骤S101至步骤S110依次进行介绍说明的，但这并不代表步骤S101至步骤S110必须按照严格的先后顺序执行。本申请实施例之所以按照图1中所示的顺序对步骤S101至步骤S110依次进行介绍说明，是为了方便本领域技术人员理解本申请实施例的技术方案。换句话说，在本申请实施例中，步骤S101至步骤S110之间的先后顺序可以根据实际需要进行适当调整。

通过图1的方法，通过提取人脸图像中用户人眼的人眼位置，能够避免用户人脸被遮挡，然后无法实现对人脸图像进行人脸识别的问题，由于用户在观看线上课程的过程中，不可能一直完全静止不动，所以连续性的用户动作行为，更能说明用户在该时间段内的学习行为，因此通过生成用户的历史人眼运动轨迹，能够实现获取到连续性的用户动作行为，由于虚拟用户与真实用户在观看线上课程过程中所生成的学习行为，必然是有区别的，因此通过生成用户的人眼运动轨迹，判断用户是否为虚拟用户，能够及时验证用户的真实性，从而及时监督用户进行线上学习，并在验证通过后，继续确定用户的线上学习行为，对线上学习行为进行识别，从而提高了线上学习识别的正确率。

基于图1的方法，本申请实施例还提供了该方法的一些具体实施方案和扩展方案，下面继续进行说明。

在本申请的一些实施例中，在判断用户是否为虚拟用户时，考虑到由于人眼运动轨迹实际上为用户的头部移动轨迹。那么在观看线上课程时，用户的移动轨迹通常不会具有科学规律性，比如，用户不可能一直保持一个位置，或者用户不会以固定的频率进行移动，或者用户以匀速加速度、匀速减速度进行移动，而虚拟用户则需要预先设定好移动规律。

基于此，在判断用户是否为虚拟用户时，首先根据人眼运动轨迹，确定用户在固定时长内的人眼位置偏移量序列。其中，人眼位置偏移量序列中包括用户人眼的多个人眼位置偏移量。

然后，通过预先训练的神经网络模型，将人眼位置偏移量序列作为输入，输出得到用户在固定的时长内，针对不同时间段内的偏移偏好。其中，偏移偏好用于表示用户在每个时间段内观看线上课程时，多个人眼位移偏移量之间符合预先设定的规律性规则。

需要说明的是，在构建神经网络模型时，获取样本用户的样本人眼运动轨迹，根

据样本人眼运动轨迹确定样本用户在固定时长内的样本人眼位置偏移量序列；以样本人眼位置偏移量序列作为输入样本，以样本用户在固定的时长内，针对不同时间段内的偏移偏好作为样本标签，对神经网络模型进行监督训练。

比如，在固定时长内，只有一个时间段内的偏移偏好，用户的人眼位置偏移量为0，或者用户的多个偏移量是相同的，即，此种情况，可以确定用户一直使用虚拟用户进行刷课。又比如，在G时间段内，用户的人眼位置偏移量为0，在H时间段内，用户多个人眼位置偏移量是相同的，G时间段内与H时间段不相连，那么此种情况下，如果G时间段与H时间段的时长不长，可能G时间段，用户使用了虚拟用户，也可能没有使用，同样，在H时间段，用户可能使用了虚拟用户，也可能没有使用虚拟用户，但是，即使短时间内，用户保持多个偏移量相同仍然比较困难，因此，H时间段内使用虚拟用户的概率更大。

基于此，为了避免上述情况，更准确地验证用户的真实性，与指定课程内容进行结合，判断用户的学习行为是否根据指定课程内容进行相应的变化。

具体地，将确定线上课程在每个时间段内对应的指定课程内容，然后根据偏移偏好与指定课程内容，确定用户在每个时间段内与指定课程内容之间的关注度等级，然后通过将关注度等级与预设关注等级进行对比，判断用户是否为虚拟用户。比如，关注度等级低于预设关注等级，则确定用户为虚拟用户，反之，则确定用户为真实用户。

其中，在确定关注度等级时，可以根据指定课程内容在让用户执行某些对应的动作时，用户的理论学习行为的反应程度与用户的偏移偏好，来确定关注度等级。那么，由于此时用户的偏移偏好可以反映出用户的实际学习行为的反映程度，因此，理论学习行为的反映程度与用户的偏移偏好越匹配，则关注度等级越高，反之，则越低。需要说明的是，可以预先构建匹配关系表，构建指定课程内容、用户的偏移偏好以及关注度等级之间的关系。

比如，在家政培训课程中，通常需要培训用户礼仪。比如，站立微笑，并要求用户跟着线上教师做动作，那么此时用户如果还是在保持相同频率在晃动，即，多个偏移量相同。则关注度等级相对较低，结合由于即使短时间内，用户保持多个偏移量相同仍然比较困难的情况，那么此时便可以确定虚拟用户在观看线上课程。

在本申请的一些实施例中，在确定用户不是虚拟用户后，则需要确定用户的线上学习行为等级，由于用户在观看线上课程过程中，通常存在动态动作与静态动作，而头部移动过快，会分散用户的学习注意力，说明用户没有在认真学习，首先从用户的动态动作考虑用户的线上学习行为等级，实现识别用户的动态动作。

具体地，首先根据预设目标时长，依次将人眼位置偏移量序列划分为多组人眼位置偏移量数据。

然后，对每组人眼位置偏移量数据进行识别，将识别结果属于晃动反应的每组位置偏移量数据，标记为晃动组。也就是说，每组人眼位置偏移量的偏移情况是不同的。比如，一组人眼位置偏移量数据中，人眼位置偏移量为0，则说明用户未进行晃动。考虑到用户在观看线上课程的过程中，存在用户为了缓解持久保持一个动作带来的不适感，会短时间内活动颈部的情况。

因此，可以将每组人眼位置偏移量数据中，确定人眼位置偏移量超过预设偏移阈值的数量，若数量超过预设数量阈值，则将该组人眼位置偏移量数据识别为晃动反应。也可以构建支持向量机模型，通过支持向量机模型与每组人眼位置偏移量数据，输出每组人眼位置偏移量数据的识别结果。

也就是说，如果是用户几乎没有晃动，那么用户人眼的人眼位置几乎都是重合的，那么位置偏移量的数量越多，说明用户的晃动频率越大，而位置偏移量的数值越大，说明用户的晃动幅度越大。

然后，按照生成各组位置偏移量数据的时间顺序，依次对各组位置偏移量数据进行组合，得到多个组合；其中，每个组合中的组数量相差小于预设差值阈值。比如，A、B、C、D、E、F组，则组合后，得到AB、CD、EF三个组合。

然后，分别确定多个组合中晃动组的比例，并根据比例确定各组合的晃动率。比如，A、B组均为非晃动组，则AB组的晃动率为0，C组为非晃动组、D组为晃动组，则CD组合的晃动率为50%，E、F组均为晃动组，则EF组合的晃动率为100%。

然后，根据预先构建的决策树与各组合的晃动率，生成用户的晃动状态；其中，通过将各组合的晃动率作为节点，将各节点之间的关联作为边，构建决策树，晃动状态包括用户的晃动频率与晃动幅度中的至少一种。

比如，有3个组合，若第一个组合的晃动率、第二个组合的晃动率以及第三个组合的晃动率越高，则表示用户的晃动状态越强烈，即晃动频率与晃动幅度都较高。其中，晃动状态可以包括晃动非常强烈，晃动一般强烈、晃动不强烈、不晃动四种状态。需要说明的是，各节点之间的关联则为是否超过或低于相应指定晃动率阈值。比如，第一个组合的晃动率高于90%，第二个组合的晃动率高于90%，第三个组合的晃动率高于90%，则输出结果为用户晃动非常强烈。

最后，根据预先构建的线上学习行为等级表对晃动状态进行匹配，确定用户的线上学习行为等级。其中，晃动状态越强烈，则对应线上学习行为等级越低。其中，在线上学习行为等级表中，每个线上学习行为等级都对应着相应的晃动状态。

在本申请的一些实施例中，在确定用户的线上学习行为等级之后，考虑到即使用户当前未频繁晃动，但是，观看线上课程的姿态可能不正确，因此基于通常情况下，为了保护用户的视力同时提高用户观看线上课程的效果，对用户姿态进行识别。

具体地，若线上学习行为等级高于预设行为等级，则通过对每帧人脸图像进行目标检测，提取用户的头部倾斜角度。需要说明的是，头部倾斜角度是指用户的头部偏离竖直方向的角度。若头部倾斜角度大于预设角度阈值，则对用户发出姿态提醒，若头部倾斜角度小于或等于预设角度阈值，则不作处理。

反之，若线上学习行为等级等级低于所述预设行为等级，则向用户发出晃动提醒。

在本申请的一些实施例中，除了上述用户晃动，用户姿态不正确的场景，还可能存在用户发呆、走神的学习行为情况，通常情况下会影响用户针对线上课程的学习效果。

因此，从静态动作的角度考虑来识别用户的线上学习，具体地，针对于在用户发呆、走神的情况，在人眼关键点包括上眼皮最高点，下眼皮最低点，左眼角关键点、右眼角关键点时，首先确定左眼角关键点与右眼角关键点之间的水平差值以及上眼皮最高点与下眼皮最低点之间的高度差值，然后计算水平差值与高度差值之间的比值，并通过将比值与预设开合阈值进行对比，确定用户的人眼开合状态，最后根据人眼开合状态，对用户的线上学习行为进行识别。

进一步地，判断比值是否大于预设开合阈值，若比值小于预设开合阈值，则确定用户为闭眼状态，若比值大于或等于预设开合阈值，则确定用户为睁眼状态。

根据人眼开合状态，对用户的线上学习行为进行识别时，若用户为闭眼状态，则向用户发出走神提醒。若用户为睁眼状态，则确定用户的睁眼时长，并在睁眼时长大于指定时长时，向用户发出走神提醒。也就是说，比如，在连续多帧人脸图像中，用户均为睁眼状态，此时睁眼时长大于指定时长，则认为用户正在走神。其中，在发现用户走神发呆后，可以通过再次判断预设图标是否从播放设备的初始位置移动到指定位置，吸引用户视线重新回到屏幕，或者通过需要聚焦视线的小游戏、试题问答等形式，吸引用户视线重新回到屏幕。

可以理解的是，通过计算水平差值与高度差值之间的比值，实现了人眼关键点之间的关联性，然后能够实现在关键点预测一般的情况下，也能实现较好的人眼状态估计，有效保证人眼状态估计的准确率。

在本申请的一些实施例中，由于在获取连续多帧人脸图像时，用户的位置很可能已经发生细微变化。基于此，为了克服传输时间与检测时间所带来的时间差，导致预测用户位置不准确的情况，通过生成用户预设未来时长的人眼预测位置，在确定用户在播放设备的预设拍摄范围内，若是，则执行S109，若否，则说明用户不能清楚地观看到线上课程，此时可以认为用户离开播放设备，况且用户在中途离开时，必然出现上述情况。需要说明的是，由于为了防止系统发现线上学习作弊的情况，虚拟用户一般会被用户设置在预设拍摄范围内，因此，此时不再判断用户的真实性。

需要说明的是，预设拍摄范围可以根据实际需要进行设置，在此不作限定。服务器可以根据人眼预测位置的坐标是否在拍摄图像区域中，确定用户在播放设备的拍摄范围内，或者通过拍摄图像的四个顶点的坐标，确定获取播放设备的四个顶点的位置坐标，其中，以拍摄图像的某个顶点为原点，进行建立坐标系。然后，根据人眼预测位置的坐标与拍摄设备各顶点的位置坐标之间的水平夹角值，确定用户观看线上课程的视觉角度。最后，在视觉角度符合预先设定的视觉角度范围内时，确定用户在播放设备的拍摄范围内。

需要说明的是，在视觉角度符合预先设定的视觉角度范围内时，则说明用户可以清楚地观看到播放设备所播放的线上课程，基于此，为了提高用户的线上学习效率，以视觉角度范围为参考标准，能够对用户的线上学习行为进行识别。

在本申请的一些实施例中，在确定人眼预测位置时，首先获取用户的样本人脸图像，并根据样本人脸图像，确定用户在预设未来时长内的样本人眼轨迹序列。然后，以样本人眼轨迹序列作为输入样本，以用户在预设未来时长内的人眼预测位置作为样本标签，对神经网络模型进行监督训练。

基于此，由于线上课程可能为直播课程，也可能为录播课程。针对于录播课程而言，由于可以获取录播课程的培训内容，因此若线上课程为录播课程，将播放线上课程的时间点，作为第一时间点，将人眼预测位置的时间点，作为第二时间点。其中，人眼预测位置的时间点可以在生成人眼预测位置时得到。

若视觉角度超出预设阈值，则根据第一时间点与线上课程的指定学习时长，确定结束线上课程的时间点，并将结束线上课程的时间点，作为第三时间点。

若第二时间点小于第三时间点，则确定第二时间点与第三时间点之间的时间差。其中，第二时间点小于第三时间点，则说明该线上课程将要结束。

然后，获取线上课程在时间差内的课程内容，确定课程内容的学习价值等级，并根据课程内容的学习价值等级，确定是否向用户发出离开提醒。其中，学习价值等级越低，该课程内容对用户的参考意义不大。比如，在线上课程结尾时的谢幕视频。比如，在学习价值等级高于预设价值等级时，则向用户发出离开提醒。

若第二时间点大于或等于第三时间点，则说明在第二时间点时，课程已经结束。即，此时不再向用户发出离开提醒。

其中，若线上课程为直播课程，则直接向用户发出离开提醒，并暂停线上课程，并且判断预设图标是否从播放设备的初始位置移动到指定位置，若是，则重新播放线上课程。

基于同样的思路，本申请的一些实施例还提供了上述方法对应的设备和非易失性计算机存储介质。

图2为本申请实施例提供的一种线上学习识别设备的结构示意图，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：

确定用户将要学习的待播放的线上课程，并判断预设图标是否从播放设备的初始位置移动到指定位置；

若是，则在所述播放设备上播放所述线上课程；

根据预设时间间隔，获取用户在观看所述线上课程时的连续多帧人脸图像；

对每帧所述人脸图像进行目标检测，确定所述人脸图像对应的人眼关键点，并根据所述人眼关键点的坐标，提取所述人脸图像中用户人眼的人眼位置；

根据所述用户的身份标识，从所述用户在本次观看所述线上课程时，所生成的历史人脸图像队列中，获取预设分析周期内的历史人脸图像；

根据所述历史人脸图像，生成所述用户的历史人眼运动轨迹；其中，所述历史人眼运动轨迹中包括所述用户在所述历史人脸图像中的人眼位置；

根据所述人眼位置与所述历史人眼运动轨迹，确定所述用户的人眼运动轨迹；

根据所述人眼运动轨迹，判断所述用户是否为虚拟用户；所述虚拟用户是指与所述用户相关的图像或者视频；

若否，则根据所述人眼运动轨迹，确定所述用户观看所述线上课程过程中的线上学习行为等级；

根据所述线上学习行为等级，对所述用户的线上学习行为进行识别。

本申请的一些实施例提供的一种线上学习识别非易失性计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为：

确定用户将要学习的待播放的线上课程，并判断预设图标是否从播放设备的初始位置移动到指定位置；

若是，则在所述播放设备上播放所述线上课程；

根据预设时间间隔，获取用户在观看所述线上课程时的连续多帧人脸图像；

对每帧所述人脸图像进行目标检测，确定所述人脸图像对应的人眼关键点，并根据所述人眼关键点的坐标，提取所述人脸图像中用户人眼的人眼位置；

根据所述用户的身份标识，从所述用户在本次观看所述线上课程时，所生成的历史人脸图像队列中，获取预设分析周期内的历史人脸图像；

根据所述历史人脸图像，生成所述用户的历史人眼运动轨迹；其中，所述历史人眼运动轨迹中包括所述用户在所述历史人脸图像中的人眼位置；

根据所述人眼位置与所述历史人眼运动轨迹，确定所述用户的人眼运动轨迹；

根据所述人眼运动轨迹，判断所述用户是否为虚拟用户；所述虚拟用户是指与所述用户相关的图像或者视频；

若否，则根据所述人眼运动轨迹，确定所述用户观看所述线上课程过程中的线上学习行为等级；

根据所述线上学习行为等级，对所述用户的线上学习行为进行识别。

本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备和介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本申请实施例提供的设备和介质与方法是一一对应的，因此，设备和介质也具有与其对应的方法类似的有益技术效果，由于上面已经对方法的有益技术效果进行了详细说明，因此，这里不再赘述设备和介质的有益技术效果。

Claims (8)

1.一种线上学习识别方法，其特征在于，所述方法包括：

确定用户将要学习的待播放的线上课程，并判断预设图标是否从播放设备的初始位置移动到指定位置；

若是，则在所述播放设备上播放所述线上课程；

根据预设时间间隔，获取用户在观看所述线上课程时的连续多帧人脸图像；

对每帧所述人脸图像进行目标检测，确定所述人脸图像对应的人眼关键点，并根据所述人眼关键点的坐标，提取所述人脸图像中用户人眼的人眼位置；

根据所述用户的身份标识，从所述用户在本次观看所述线上课程时，所生成的历史人脸图像队列中，获取预设分析周期内的历史人脸图像；

根据所述历史人脸图像，生成所述用户的历史人眼运动轨迹；其中，所述历史人眼运动轨迹中包括所述用户在所述历史人脸图像中的人眼位置；

根据所述人眼位置与所述历史人眼运动轨迹，确定所述用户的人眼运动轨迹；

根据所述人眼运动轨迹，判断所述用户是否为虚拟用户；所述虚拟用户是指与所述用户相关的图像或者视频；

若否，则根据所述人眼运动轨迹，确定所述用户观看所述线上课程过程中的线上学习行为等级；

根据所述线上学习行为等级，对所述用户的线上学习行为进行识别；

所述根据所述人眼运动轨迹，判断所述用户是否为虚拟用户，具体包括：

根据所述人眼运动轨迹，确定所述用户在固定时长内的人眼位置偏移量序列；所述人眼位置偏移量序列中包括所述用户人眼的多个人眼位置偏移量；

通过预先训练的神经网络模型，将所述人眼位置偏移量序列作为输入，输出得到所述用户在固定的时长内，针对不同时间段内的偏移偏好；所述偏移偏好用于表示所述用户在每个时间段内观看所述线上课程时，多个人眼位移偏移量之间符合预先设定的规律性规则；

确定所述线上课程在所述每个时间段内对应的指定课程内容；

根据所述偏移偏好与所述指定课程内容，确定所述用户在所述每个时间段内与所述指定课程内容之间的关注度等级；

通过将所述关注度等级与预设关注等级进行对比，判断所述用户是否为虚拟用户；

所述则根据所述人眼运动轨迹，确定所述用户的线上学习行为等级，具体包括：

根据预设目标时长，依次将所述人眼位置偏移量序列划分为多组人眼位置偏移量数据；

对每组人眼位置偏移量数据进行识别，将识别结果属于晃动反应的每组位置偏移量数据，标记为晃动组；

按照生成各组位置偏移量数据的时间顺序，依次对各组位置偏移量数据进行组合，得到多个组合；其中，每个组合中的组数量相差小于预设差值阈值；

分别确定多个组合中晃动组的比例，并根据所述比例确定各组合的晃动率；

根据预先构建的决策树与所述各组合的晃动率，生成所述用户的晃动状态；其中，通过将各组合的晃动率作为节点，将各节点之间的关联作为边，构建决策树，所述晃动状态包括所述用户的晃动频率与晃动幅度中的至少一种；

根据预先构建的线上学习行为等级表对所述晃动状态进行匹配，确定所述用户的线上学习行为等级。

2.根据权利要求1所述的方法，其特征在于，所述根据所述线上学习行为等级，对所述用户的线上学习行为进行识别，具体包括：

若所述线上学习行为等级高于预设行为等级，则通过对每帧所述人脸图像进行目标检测，提取所述用户的头部倾斜角度；其中，所述头部倾斜角度是指所述用户的头部偏离竖直方向的角度；

若所述头部倾斜角度大于预设角度阈值，则对所述用户发出姿态提醒；

若所述线上学习行为等级低于所述预设行为等级，则向所述用户发出晃动提醒。

3.根据权利要求2所述的方法，其特征在于，所述人眼关键点包括上眼皮最高点，下眼皮最低点，左眼角关键点、右眼角关键点；

所述则对每帧所述人脸图像进行目标检测，提取所述用户的头部倾斜角度之后，所述方法还包括：

若所述头部倾斜角度小于或等于所述预设角度阈值，则确定所述左眼角关键点与所述右眼角关键点之间的水平差值以及所述上眼皮最高点与所述下眼皮最低点之间的高度差值；

计算所述水平差值与所述高度差值之间的比值，通过将所述比值与预设开合阈值进行对比，确定所述用户的人眼开合状态；

根据所述人眼开合状态，对所述用户的线上学习行为进行识别。

4.根据权利要求3所述的方法，其特征在于，所述通过将所述比值与预设开合阈值进行对比，确定所述用户的人眼开合状态，具体包括：

判断所述比值是否大于预设开合阈值；

若所述比值小于所述预设开合阈值，则确定所述用户为闭眼状态；

若所述比值大于或等于所述预设开合阈值，则确定所述用户为睁眼状态；

所述根据所述人眼开合状态，对所述用户的线上学习行为进行识别，具体包括：

若所述用户为闭眼状态，则向所述用户发出走神提醒；

若所述用户为睁眼状态，则确定所述用户的睁眼时长，并在所述睁眼时长大于指定时长时，向所述用户发出走神提醒。

5.根据权利要求1所述的方法，其特征在于，所述通过预先训练的神经网络模型，将所述人眼位置偏移量序列作为输入，输出得到所述用户在固定的时长内，针对不同时间段内的偏移偏好之前，所述方法还包括：

获取样本用户的样本人眼运动轨迹，根据所述样本人眼运动轨迹，确定样本用户在固定时长内的样本人眼位置偏移量序列；

以所述样本人眼位置偏移量序列作为输入样本，以所述样本用户在固定的时长内，针对不同时间段内的偏移偏好作为样本标签，对所述神经网络模型进行监督训练。

6.根据权利要求1所述的方法，其特征在于，所述根据所述历史人脸图像，生成所述用户的历史人眼运动轨迹之后，所述方法还包括：

根据所述人眼位置与所述历史人眼运动轨迹，生成所述用户在预设未来时长内的人眼预测位置；

判断所述人眼预测位置是否在所述播放设备的预设拍摄范围内；

若否，则确定所述线上课程是否为录播课程；

若所述线上课程为录播课程，则将播放所述线上课程的时间点，确定为第一时间点，将所述人眼预测位置的时间点，确定为第二时间点；

根据所述第一时间点与所述线上课程的指定学习时长，确定结束所述线上课程的时间点，并将所述结束所述线上课程的时间点，作为第三时间点；

若所述第二时间点小于所述第三时间点，则确定所述第二时间点与所述第三时间点之间的时间差；

获取所述线上课程在所述时间差内的课程内容，确定所述课程内容的学习价值等级；

若所述课程内容的学习价值等级高于预设价值等级，则暂停所述线上课程；

判断所述预设图标是否从播放设备的初始位置移动到指定位置，若是，则重新播放所述线上课程。

7.根据权利要求1所述的方法，其特征在于，所述对每帧所述人脸图像进行目标检测，确定所述人脸图像对应的人眼关键点，具体包括：

通过第一残差网络，对所述人脸图像进行预处理，提取所述人脸图像的第一人眼特征；

通过最大池化对所述人脸图像进行降采样，得到降采样的人脸图像；

通过第二残差网络，提取所述降采样的人脸图像的第二人眼特征；

通过反卷积网络对所述第二人眼特征进行升采样，得到第三人眼特征；

对所述第一人眼特征与所述第三人眼特征进行融合，确定所述人脸图像对应的人眼关键点。

8.一种线上学习识别设备，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：

确定用户将要学习的待播放的线上课程，并判断预设图标是否从播放设备的初始位置移动到指定位置；

若是，则在所述播放设备上播放所述线上课程；

根据预设时间间隔，获取用户在观看所述线上课程时的连续多帧人脸图像；

对每帧所述人脸图像进行目标检测，确定所述人脸图像对应的人眼关键点，并根据所述人眼关键点的坐标，提取所述人脸图像中用户人眼的人眼位置；

根据所述用户的身份标识，从所述用户在本次观看所述线上课程时，所生成的历史人脸图像队列中，获取预设分析周期内的历史人脸图像；

根据所述历史人脸图像，生成所述用户的历史人眼运动轨迹；其中，所述历史人眼运动轨迹中包括所述用户在所述历史人脸图像中的人眼位置；

根据所述人眼位置与所述历史人眼运动轨迹，确定所述用户的人眼运动轨迹；

根据所述人眼运动轨迹，判断所述用户是否为虚拟用户；所述虚拟用户是指与所述用户相关的图像或者视频；

若否，则根据所述人眼运动轨迹，确定所述用户观看所述线上课程过程中的线上学习行为等级；

根据所述线上学习行为等级，对所述用户的线上学习行为进行识别；

所述根据所述人眼运动轨迹，判断所述用户是否为虚拟用户，具体包括：

根据所述人眼运动轨迹，确定所述用户在固定时长内的人眼位置偏移量序列；所述人眼位置偏移量序列中包括所述用户人眼的多个人眼位置偏移量；

通过预先训练的神经网络模型，将所述人眼位置偏移量序列作为输入，输出得到所述用户在固定的时长内，针对不同时间段内的偏移偏好；所述偏移偏好用于表示所述用户在每个时间段内观看所述线上课程时，多个人眼位移偏移量之间符合预先设定的规律性规则；

确定所述线上课程在所述每个时间段内对应的指定课程内容；

根据所述偏移偏好与所述指定课程内容，确定所述用户在所述每个时间段内与所述指定课程内容之间的关注度等级；

通过将所述关注度等级与预设关注等级进行对比，判断所述用户是否为虚拟用户；

所述则根据所述人眼运动轨迹，确定所述用户的线上学习行为等级，具体包括：

根据预设目标时长，依次将所述人眼位置偏移量序列划分为多组人眼位置偏移量数据；

对每组人眼位置偏移量数据进行识别，将识别结果属于晃动反应的每组位置偏移量数据，标记为晃动组；

按照生成各组位置偏移量数据的时间顺序，依次对各组位置偏移量数据进行组合，得到多个组合；其中，每个组合中的组数量相差小于预设差值阈值；

分别确定多个组合中晃动组的比例，并根据所述比例确定各组合的晃动率；

根据预先构建的决策树与所述各组合的晃动率，生成所述用户的晃动状态；其中，通过将各组合的晃动率作为节点，将各节点之间的关联作为边，构建决策树，所述晃动状态包括所述用户的晃动频率与晃动幅度中的至少一种；

根据预先构建的线上学习行为等级表对所述晃动状态进行匹配，确定所述用户的线上学习行为等级。

Images