CN112801052A - 一种用户专注度检测方法及用户专注度检测系统 - Google Patents

Abstract

本申请提供了一种用户专注度检测方法及用户专注度检测系统，所述方法包括：接收专注度检测请求，专注度检测请求中携带有检测时间信息，确定与检测时间信息对应的待检测用户的目标面部状态数据，以及与检测时间信息对应的待检测用户在所持有的终端上执行的目标操作状态数据，基于目标面部状态数据和目标操作状态数据，确定待检测用户的专注状态信息，输出待检测用户的专注状态信息。本申请可以利用与检测时间信息对应的面部状态数据和在终端上执行的操作状态数据来综合分析待检测用户的专注状态信息，可以提高专注度检测的精确度，使得在线教学中能够简单灵活的了解用户专注度的问题，进而提高教学效果。

Description

一种用户专注度检测方法及用户专注度检测系统

技术领域

本申请涉及在线教学技术领域，具体而言，涉及一种用户专注度检测方法及用户专注度检测系统。

背景技术

随着信息科技和计算机技术的不断进步，在线教学或直播课堂等形式的互联网远程教育得到快速发展。但是由于互联网远程教育无法像传统教育那样使老师与学生能够面对面的接触与交流，使得教学者无法了解那些通过互联网学习的学生是否在认真学习，是否出现一边收听或播放教学内容一边在上网聊天或打游戏的情况，从而可能影响教学进度和教学效果。

因此，如何能够在在线教学或直播课堂等形式的互联网远程教学活动中简单灵活地检测出学生是否专注于学习是目前该领域亟待解决的问题。

发明内容

有鉴于此，本申请的目的在于提供一种用户专注度检测方法及用户专注度检测系统，结合用户的面部状态数据和操作状态数据以提高专注度检测的精确度。

第一方面，本申请提供了一种用户专注度检测方法，所述方法包括：

接收专注度检测请求，所述专注度检测请求中携带有检测时间信息；

确定与所述检测时间信息对应的待检测用户的目标面部状态数据，以及与所述检测时间信息对应的待检测用户在所持有的终端上执行的目标操作状态数据；

基于所述目标面部状态数据和所述目标操作状态数据，确定所述待检测用户的专注状态信息；

输出所述待检测用户的专注状态信息。

优选地，通过以下步骤确定与所述检测时间信息对应的待检测用户的目标面部状态数据：

获取与所述检测时间信息对应的待检测用户的视频图像；

检测是否预存有所述待检测用户的人脸信息；

若检测到预存有待检测用户的人脸信息，则采用第一人脸识别模型对所述视频图像进行人脸识别，获得识别人脸信息，将所述识别人脸信息与预存的所述待检测用户的人脸信息进行比对，根据比对结果，确定待检测用户的第一面部状态数据，将所述第一面部状态数据确定为所述待检测用户的目标面部状态数据；

若未检测到预存有待检测用户的人脸信息，则采用第二人脸识别模型对所述视频图像进行人脸识别，获得识别人脸信息，将所述识别人脸信息确定为待检测用户的第二面部状态数据，将所述第二面部状态数据确定为所述待检测用户的目标面部状态数据。

优选地，通过以下步骤训练所述第一人脸识别模型：

获取视频图像样本，所述视频图像样本中包括第一目标用户的视频图像样本以及非第一目标用户的视频图像样本；

将所述视频图像样本输入至预先构建好的神经网络中，提取所述视频图像样本中第一目标用户的人脸特征信息和非第一目标用户的人脸特征信息；

计算所述第一目标用户的人脸特征信息与预存的第一目标用户的人脸信息之间的第一相似度，以及所述非第一目标用户的人脸特征信息与预存的第一目标用户的人脸信息之间的第二相似度；

分别计算所述第一相似度低于第一相似度阈值的第一数量与计算出的第一相似度对应的总数之间的第一数量比值，以及所述第二相似度不低于第二相似度阈值的第二数量与计算出的第二相似度对应的总数之间的第二数量比值；

当所述第一数量比值低于第一设定阈值，且所述第二数量比值低于第二设定阈值时，确定所述第一人脸识别模型训练完成。

优选地，通过以下步骤训练所述第二人脸识别模型：

获取第二目标用户的视频图像样本；

将所述视频图像样本输入至预先构建好的神经网络中，提取所述视频图像样本中第二目标用户的人脸特征信息；

计算所述第二目标用户的人脸特征信息与预存的第二目标用户的人脸信息之间的第三相似度；

计算所述第三相似度低于第三相似度阈值的第三数量与计算出的第三相似度对应的总数之间的第三数量比值；

当所述第三数量比值低于第三设定阈值时，确定所述第二人脸识别模型训练完成。

优选地，通过以下步骤确定与所述检测时间信息对应的待检测用户在所持有的终端上执行的目标操作状态数据：

获取与所述检测时间信息对应的目标界面信息、目标界面所处的显示位置和显示比例，以及除目标界面之外的其他界面是否在虚拟机中处于打开状态的信息；

根据检测到的检测时间信息对应的目标界面处于关闭状态、目标界面所处的显示位置未在屏幕焦点处、目标界面占屏幕的比例不超过设定阈值，以及除目标界面之外的其他界面在虚拟机中处于打开状态中的任意一项或多项所对应的动作信息，生成与所述检测时间信息对应的待检测用户在所述终端上执行的目标操作状态数据。

优选地，通过以下步骤确定与所述检测时间信息对应的待检测用户在所持有的终端上执行的目标操作状态数据：

获取与所述检测时间信息对应的目标界面是否切到后台的信息，以及系统层级的分屏是否应用在除了目标界面之外的其他界面的信息；

根据检测到的所述检测时间信息对应的目标界面切到后台，和/或系统层级的分屏应用在除了目标界面之外的其他界面所对应的动作信息，生成与所述检测时间信息对应的待检测用户在所述终端上执行的目标操作状态数据。

优选地，所述基于所述目标面部状态数据和所述目标操作状态数据，确定所述待检测用户的专注状态信息，包括：

将所述检测时间信息对应的目标面部状态数据与预设面部状态阈值进行比对，且将所述检测时间信息对应的目标操作状态数据与预设操作状态阈值进行比对；其中，所述预设面部状态阈值根据检测时间信息所属的专注时间段中的初始时间段所对应的面部状态数据来确定，所述预设操作状态阈值根据检测时间信息所属的专注时间段中的初始时间段所对应的操作状态数据来确定；

若所述目标面部状态数据与所述预设面部状态阈值之间的差值绝对值大于面部偏差阈值，和/或，所述目标操作状态数据与所述预设操作状态阈值之间的差值绝对值大于操作偏差阈值，则确定所述检测时间信息下的待检测用户处于不专注状态。

优选地，所述基于所述目标面部状态数据和所述目标操作状态数据，确定所述待检测用户的专注状态信息，包括：

对所述目标面部状态数据和所述目标操作状态数据进行特征提取，得到面部表情信息、面部位置信息、视线焦点信息以及操作记录信息；

将所述面部表情信息、所述面部位置信息、所述视线焦点信息以及所述操作记录信息分别与面部表情信息指标、面部位置信息指标、视线焦点信息指标以及操作记录信息指标进行比对，得到面部表情比对结果、面部位置比对结果、视线焦点比对结果以及操作记录比对结果；

确定所述面部表情比对结果对应的第一权重值、所述面部位置比对结果对应的第二权重值、所述视线焦点比对结果对应的第三权重值以及所述操作记录比对结果对应的第四权重值；

基于所述面部表情比对结果和所述第一权重值、所述面部位置比对结果和所述第二权重值、所述视线焦点比对结果和所述第三权重值以及所述操作记录比对结果和所述第四权重值，确定所述待检测用户的专注状态信息。

优选地，所述输出所述待检测用户的专注状态信息，包括：

将所述待检测用户的专注状态信息发送给监测终端，以使所述监测终端根据接收到的专注状态信息判断是否对所述待检测用户进行干预。

第二方面，本申请提供了一种用户专注度检测系统，所述系统包括：用户终端和监测终端；

所述用户终端，用于接收专注度检测请求，所述专注度检测请求中携带有检测时间信息，确定与所述检测时间信息对应的待检测用户的目标面部状态数据，以及与所述检测时间信息对应的待检测用户在用户终端上执行的目标操作状态数据，基于所述目标面部状态数据和所述目标操作状态数据，确定所述待检测用户的专注状态信息，输出所述待检测用户的专注状态信息；

所述监测终端，用于接收所述待检测用户的专注状态信息，并根据接收到的专注状态信息判断是否对所述待检测用户进行干预。

第三方面，本申请还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述的用户专注度检测方法的步骤。

第四方面，本申请还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述的用户专注度检测方法的步骤。

本申请提供了一种用户专注度检测方法及用户专注度检测系统，所述方法包括：接收专注度检测请求，专注度检测请求中携带有检测时间信息，确定与检测时间信息对应的待检测用户的目标面部状态数据，以及与检测时间信息对应的待检测用户在所持有的终端上执行的目标操作状态数据，基于目标面部状态数据和目标操作状态数据，确定待检测用户的专注状态信息，输出待检测用户的专注状态信息。

这样一来，本申请可以利用与检测时间信息对应的面部状态数据和在终端上执行的操作状态数据来综合分析待检测用户的专注状态信息，即通过结合用户的面部状态数据和操作状态数据，可以提高专注度检测的精确度，使得在线教学中能够简单灵活的了解用户专注度的问题，进而提高教学效果。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例所提供的一种用户专注度检测方法的流程图；

图2为本申请实施例所提供的一种用户专注度检测装置的结构示意图；

图3为本申请实施例所提供的一种用户专注度检测系统的结构示意图；

图4为本申请实施例所提供的一种电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的每个其他实施例，都属于本申请保护的范围。

首先，对本申请可适用的应用场景进行介绍。本申请可应用于在线教学技术领域。随着信息科技和计算机技术的不断进步，在线教学或直播课堂等形式的互联网远程教育得到快速发展。但是由于互联网远程教育无法像传统教育那样使老师与学生能够面对面的接触与交流，使得教学者无法了解那些通过互联网学习的学生是否在认真学习，是否出现一边收听或播放教学内容一边在上网聊天或打游戏的情况，具体地，在线上教学的场景中，学生在上课时非常容易出现将上课工具窗口化、最小化、切到管理进行看网页，打游戏等影响教学进度和效果的行为，从而可能影响教学进度和教学效果。

进而，在线教学或直播课堂等形式的互联网远程教学活动中提出了专注度检测技术，专注度是检测人工作和学习效率的有效方式，专注度检测在教学等领域中有着重要意义，如在线课程学习中判断学生的专注度，家用教育机器人设备在辅助教学授课的过程中判断学生的专注度等，这些场景中专注度检测的介入应用，一方面有助于在发现使用者不专注时可以实时提醒使用者，另一方面也有助于产品方对相关场景的数据进行统计分析后进行相关的后续改善以提高用户的使用感。现有的专注度检测方法包括专家在线监测方法；通过可穿戴设备监测检测对象的眼睛视线、脑电波等数据，从而根据这些数据计算专注度；但这种方式需要佩戴可穿戴设备，不仅不舒适还提高了检测成本，同时这种方式缺乏自动化监测，容易受主观因素影响，所获得的专注度的准确率较低。因此，如何能够在在线教学或直播课堂等形式的互联网远程教学活动中简单灵活地检测出学生是否专注于学习是目前该领域亟待解决的问题。

基于此，本申请实施例提供了一种用户专注度检测方法及用户专注度检测系统，结合用户的面部状态数据和操作状态数据以提高专注度检测的精确度，使得在线教学中能够简单灵活的了解用户专注度的问题，进而提高教学效果。

请参阅图1，图1为本申请实施例所提供的一种用户专注度检测方法的流程图，用户专注度检测方法可以以用户终端为执行主体，也可以以监测终端为执行主体，如图1中所示，本申请实施例提供的方法，包括：

S110、接收专注度检测请求，所述专注度检测请求中携带有检测时间信息。

该步骤中，监测终端可以通过点击按钮的方式接收其自身产生的专注度检测请求，并将该专注度检测请求发送给用户终端。具体地，当执行主体为用户终端时，用户终端接收监测终端发送的专注度检测请求；当执行主体为监测终端时，监测终端接收其自身产生的专注度检测请求。

这里，专注度检测请求中携带有检测时间信息，该检测时间信息是在专注度检测请求发起后开始计时的，可以是一段时间，也可以是全部时间。

举例说明：老师在线教学时，为了检测学生是否在专注听课，可以在一节课刚开始的时候就发起专注度检测请求，然后检测这一节课中学生是否在专注听课，其中，可以将一节课所对应的总时间分成几个时间段来分别检测学生的专注状态；也可以是老师在课堂进行过程中，抽调其中的一段时间来检测学生是否在专注听课等。

S120、确定与所述检测时间信息对应的待检测用户的目标面部状态数据，以及与所述检测时间信息对应的待检测用户在所持有的终端上执行的目标操作状态数据。

该步骤中，先获取检测时间信息对应的待检测用户的视频图像，对该视频图像进行图像识别处理，可以得到待检测用户的目标面部状态数据；获取检测时间信息对应的待检测用户执行各项操作所对应的动作信息，对该动作信息进行实时采集分析，可以得到待检测用户在用户终端上执行的目标操作状态数据。

具体地，如果检测时间信息指示的时间长度小于第一时间阈值，则获取该时间长度内的面部状态数据和操作状态数据，并输出该时间长度的结束时刻的专注度检测结果；如果检测时间信息指示的时间长度大于第一时间阈值，则将该时间长度划分为多个时间段，针对每个时间段，获取该时间段内的面部状态数据和操作状态数据，并输出该时间段的结束时刻的专注度检测结果。

举例说明，老师在线教学过程中，如果指定一节课的时间长度为50分钟，在这一节课的时间内，老师可以发起多次专注度检测请求，也可以在课程刚开始的时候发起一次全程课程的专注度检测请求。其中，第一时间阈值可以定义为15分钟，如果老师发起的专注度检测请求里面携带的检测时间信息指示的时间长度为8分钟，由于8分钟小于15分钟（第一时间阈值），则获取这8分钟内的面部状态数据和操作状态数据，并输出第8分钟结束时刻的专注度检测结果。如果老师发起的专注度检测请求里面携带的检测时间信息指示的时间长度为20分钟，由于20分钟大于15分钟（第一时间阈值），则可以将这20分钟划分为2个10分钟，一个10分钟对应一个时间段，针对每个时间段来说，获取两个10分钟内的面部状态数据和操作状态数据，并输出第10分钟结束时刻以及第20分钟结束时刻的专注度检测结果。

这里，待检测用户可以为学生，办公室人员等，本申请实施例以学生为例，主要是以对学生在线学习时的专注度进行检测为例。

S130、基于所述目标面部状态数据和所述目标操作状态数据，确定所述待检测用户的专注状态信息。

该步骤中，可以采用算术平均滤波算法或数据融合算法对目标面部状态数据和所述目标操作状态数据进行分析，也可以采用专注度检测模型对目标面部状态数据和所述目标操作状态数据进行分析，无论采用哪种方式，最后都会得到待检测用户的专注状态信息。

这里，专注状态信息包括待检测用户处于专注状态和待检测用户处于不专注状态两种情况。

S140、输出所述待检测用户的专注状态信息。

这里，当执行主体是用户终端的时候，用户终端输出待检测用户的专注状态信息给监测终端，以使监测终端判断是否对待检测用户进行干预；当执行主体是监测终端的时候，监测终端输出待检测用户的专注状态信息给用户终端，以提醒用户终端根据专注状态信息自行调整。

请参阅图2，图2为本申请实施例所提供的一种用户专注度检测装置的结构示意图，如图2中所示，用户专注度检测装置200包括人脸采集模块210、动作采集模块220、数据处理模块230、数据分析模块240和数据上报模块250；其中，人脸采集模块210用于获取待检测用户的人脸信息，动作采集模块220用于获取待检测用户的动作信息，然后人脸采集模块210将采集到的人脸信息以及动作采集模块220采集到的动作信息发送给数据处理模块230，数据处理模块230用于对接收到的人脸信息和动作信息进行处理，其中，数据处理模块230中预先保存有本申请实施例中的人脸识别算法和动作路径识别算法，经过数据处理模块230对人脸信息和动作信息的处理，可以得到目标面部状态数据和目标操作状态数据；数据处理模块230将该目标面部状态数据和目标操作状态数据发送给数据分析模块240，数据分析模块240用于对接收到的目标面部状态数据和目标操作状态数据进行分析，其中，数据分析模块240中预存有专注度检测算法，经过数据分析模块240对目标面部状态数据和操作状态数据的分析处理，得到待检测用户的专注状态信息，数据分析模块240将该专注状态信息发送至数据上报模块250，数据上报模块250用于将专注状态信息发送给用户终端或监测终端。

本申请实施例提供的用户专注度检测方法，包括接收专注度检测请求，专注度检测请求中携带有检测时间信息，确定与检测时间信息对应的待检测用户的目标面部状态数据，以及与检测时间信息对应的待检测用户在所持有的终端上执行的目标操作状态数据，基于目标面部状态数据和目标操作状态数据，确定待检测用户的专注状态信息，输出待检测用户的专注状态信息。这样一来，利用与检测时间信息对应的面部状态数据和在终端上执行的操作状态数据来综合分析待检测用户的专注状态信息，这样一来，通过结合用户的面部状态数据和操作状态数据，可以提高专注度检测的精确度，使得在线教学中能够简单灵活的了解用户专注度的问题，进而提高教学效果。

在本申请实施例中，作为一种优选的实施例，步骤S120通过以下步骤确定与所述检测时间信息对应的待检测用户的目标面部状态数据：

获取与所述检测时间信息对应的待检测用户的视频图像；检测是否预存有所述待检测用户的人脸信息；若检测到预存有待检测用户的人脸信息，则采用第一人脸识别模型对所述视频图像进行人脸识别，获得识别人脸信息，将所述识别人脸信息与预存的所述待检测用户的人脸信息进行比对，根据比对结果，确定待检测用户的第一面部状态数据，将所述第一面部状态数据确定为所述待检测用户的目标面部状态数据；若未检测到预存有待检测用户的人脸信息，则采用第二人脸识别模型对所述视频图像进行人脸识别，获得识别人脸信息，将所述识别人脸信息确定为待检测用户的第二面部状态数据，将所述第二面部状态数据确定为所述待检测用户的目标面部状态数据。

这里，视频图像可以通过电脑的摄像头或是手机的摄像头采集，在采集视频图像前，需要先征求待检测用户的同意。其中，待检测用户的视频图像中可以是全部都包括人脸图像信息，也可以是部分包括人脸图像信息，即由于待检测用户可能出现离开电脑前或手机前的情况发生，从而导致部分视频图像中不会出现人脸图像信息或是出现部分人脸图像信息，也或是出现模糊的人脸图像信息等，除此之外，待检测用户的视频图像也可能出现非待检测用户的人脸图像信息，如待检测用户在进行听课的过程中，有可能会出现父母，姐妹甚至玩偶的人脸图像信息等。具体地，视频图像由多帧图片组成。

该步骤中，预先判断终端上是否保存有待检测用户的人脸信息，这里的终端可以为用户终端，也可以为监测终端。如果终端上保存有待检测用户的人脸信息，就可以通过人脸识别确定待检测用户的身份信息，如果终端上没有保存有待检测用户的人脸信息，那么只能识别出视频图像中是否出现过人，而无法确定待检测用户的身份信息。

具体地，如果终端上预存有待检测用户的人脸信息，则需要将视频图像中识别出的识别人脸信息与预存的人脸信息进行比对，不仅能够确定出待检测用户的身份信息，还能确定识别出的哪些识别人脸信息不属于待检测用户。这里，采用第一人脸识别模型对视频图像进行人脸识别，获得识别人脸信息，然后将识别人脸信息与预存的所述待检测用户的人脸信息进行比对，若人脸比对相似度大于预设相似度阈值，则确定识别人脸信息属于待检测用户，反之，则确定识别人脸信息不属于待检测用户，其中，预设相似度阈值可以根据实际需要进行修改。当确定完待检测用户的识别人脸信息后，将待检测用户的识别人脸信息确定待检测用户的第一面部状态数据，也即目标面部状态数据。

进一步地，由于待检测用户的视频图像除了包括自身的人脸图像信息，还可能包括非自身的人脸图像信息，即可能出现多个用户的人脸图像信息，所以在进行人脸识别时，采用第一人脸识别模型。

在本申请实施例中，通过以下步骤训练所述第一人脸识别模型：

获取视频图像样本，所述视频图像样本中包括第一目标用户的视频图像样本以及非第一目标用户的视频图像样本；将所述视频图像样本输入至预先构建好的神经网络中，提取所述视频图像样本中第一目标用户的人脸特征信息和非第一目标用户的人脸特征信息；计算所述第一目标用户的人脸特征信息与预存的第一目标用户的人脸信息之间的第一相似度，以及所述非第一目标用户的人脸特征信息与预存的第一目标用户的人脸信息之间的第二相似度；分别计算所述第一相似度低于第一相似度阈值的第一数量与计算出的第一相似度对应的总数之间的第一数量比值，以及所述第二相似度不低于第二相似度阈值的第二数量与计算出的第二相似度对应的总数之间的第二数量比值；当所述第一数量比值低于第一设定阈值，且所述第二数量比值低于第二设定阈值时，确定所述第一人脸识别模型训练完成。

进一步地，如果终端上未预存有待检测用户的人脸信息，则采用第二人脸识别模型对视频图像进行人脸识别以获得识别人脸信息，然后直接将该识别人脸信息确定为待检测用户的第二面部状态数据，也即目标面部状态数据。

这里，第二人脸识别模型只能识别出视频图像中有没有用户，但是无法识别出用户的身份，导致识别出的识别人脸信息中可能出现非待检测用户的人脸信息，所以在使用第二人脸识别模型时，需要保证待检测用户的视频图像中不会出现非待检测用户的人脸信息。

具体地，在本申请实施例中，通过以下步骤训练所述第二人脸识别模型：

获取第二目标用户的视频图像样本；将所述视频图像样本输入至预先构建好的神经网络中，提取所述视频图像样本中第二目标用户的人脸特征信息；计算所述第二目标用户的人脸特征信息与预存的第二目标用户的人脸信息之间的第三相似度；计算所述第三相似度低于第三相似度阈值的第三数量与计算出的第三相似度对应的总数之间的第三数量比值；当所述第三数量比值低于第三设定阈值时，确定所述第二人脸识别模型训练完成。

这样一来，本申请实施例根据数据类型的不同，选择不同的人脸识别模型进行人脸识别，可以提高人脸图像识别时的准确度。

在本申请实施例中，作为一种优选的实施例，步骤S120通过以下步骤确定与所述检测时间信息对应的待检测用户在所持有的终端上执行的目标操作状态数据：

获取与所述检测时间信息对应的目标界面信息、目标界面所处的显示位置和显示比例，以及除目标界面之外的其他界面是否在虚拟机中处于打开状态的信息；根据检测到的检测时间信息对应的目标界面处于关闭状态、目标界面所处的显示位置未在屏幕焦点处、目标界面占屏幕的比例不超过设定阈值，以及除目标界面之外的其他界面在虚拟机中处于打开状态中的任意一项或多项所对应的动作信息，生成与所述检测时间信息对应的待检测用户在所述终端上执行的目标操作状态数据。

这里，目标界面可以为手机网页，电脑网页、直播程序和微信程序等，目标界面所处的显示位置为目标界面在屏幕上所处的位置，目标界面的显示比例为目标界面占屏幕的比例，除目标界面之外的其他界面是否在虚拟机中处于打开状态为是否在虚拟机中开启了其他界面，即同一时刻开启了多个界面。

其中，通过桌面端（Windows）检测目标界面是否被关闭，是否当前目标页面在焦点位置，是否在虚拟机中打开其他界面，是否将目标界面全屏，目标界面占屏幕的比例是否超过设定阈值等，来判定待检测用户是否专注。

优选地，步骤S120还可以通过以下步骤确定与所述检测时间信息对应的待检测用户在所持有的终端上执行的目标操作状态数据：

获取与所述检测时间信息对应的目标界面是否切到后台的信息，以及系统层级的分屏是否应用在除了目标界面之外的其他界面的信息；根据检测到的所述检测时间信息对应的目标界面切到后台，和/或系统层级的分屏应用在除了目标界面之外的其他界面所对应的动作信息，生成与所述检测时间信息对应的待检测用户在所述终端上执行的目标操作状态数据。

这里，安卓（Android）系统或苹果（iOS）系统可以通过检测判断待检测用户是否将直播程序等切到后台，或者通过系统层级的分屏应用在多开其他页面。除此之外，如果待检测用户开启了强制禁用检测，也可以认为该待检测用户处于不专注状态。

在本申请实施例中，作为一种优选的实施例，步骤S130包括：

将所述检测时间信息对应的目标面部状态数据与预设面部状态阈值进行比对，且将所述检测时间信息对应的目标操作状态数据与预设操作状态阈值进行比对；其中，所述预设面部状态阈值根据检测时间信息所属的专注时间段中的初始时间段所对应的面部状态数据来确定，所述预设操作状态阈值根据检测时间信息所属的专注时间段中的初始时间段所对应的操作状态数据来确定；若所述目标面部状态数据与所述预设面部状态阈值之间的差值绝对值大于面部偏差阈值，和/或，所述目标操作状态数据与所述预设操作状态阈值之间的差值绝对值大于操作偏差阈值，则确定所述检测时间信息下的待检测用户处于不专注状态。

这里，将预设面部状态阈值和预设操作状态阈值作为比对标准，将得到的所有目标面部状态数据都与预设面部状态阈值进行比对，同理，将得到的所有目标操作状态数据都与预设操作状态阈值进行比对。这里，专注时间段是指用户本应该专注的时长，如学生上课时，专注时间段就对应一节课的时长。初始时间段处于专注时间段中的初始位置，可以认为用户在刚开始工作或者学习时，都是专注的。

举例说明，在刚上课时，老师要求打开直播课的这段时间内，可以认为学生们都是专注的，即从开始上课到直播课打开的这段时长可以认为是专注时间段的初始时间段。根据这段时间内的面部状态数据和操作状态数据来分别确定预设面部状态阈值和预设操作状态阈值，从而将得到的预设面部状态阈值和预设操作状态阈值来评估待检测用户其他时间段内的专注情况是比较准确的，即可以用来表征学生处于专注状态。

该步骤中，若目标面部状态数据与预设面部状态阈值之间的差值绝对值大于面部偏差阈值，和/或，目标操作状态数据与预设操作状态阈值之间的差值绝对值大于操作偏差阈值，则认为待检测用户的面部状态和操作状态偏离了专注状态，从而确定检测时间信息下的待检测用户处于不专注状态。

需要补充的是，若所述目标面部状态数据与所述预设面部状态阈值之间的差值绝对值不大于面部偏差阈值，且，所述目标操作状态数据与所述预设操作状态阈值之间的差值绝对值不大于操作偏差阈值，则确定所述检测时间信息下的待检测用户处于专注状态。

优选地，步骤S130还包括：

对所述目标面部状态数据和所述目标操作状态数据进行特征提取，得到面部表情信息、面部位置信息、视线焦点信息以及操作记录信息；将所述面部表情信息、所述面部位置信息、所述视线焦点信息以及所述操作记录信息分别与面部表情信息指标、面部位置信息指标、视线焦点信息指标以及操作记录信息指标进行比对，得到面部表情比对结果、面部位置比对结果、视线焦点比对结果以及操作记录比对结果；确定所述面部表情比对结果对应的第一权重值、所述面部位置比对结果对应的第二权重值、所述视线焦点比对结果对应的第三权重值以及所述操作记录比对结果对应的第四权重值；基于所述面部表情比对结果和所述第一权重值、所述面部位置比对结果和所述第二权重值、所述视线焦点比对结果和所述第三权重值以及所述操作记录比对结果和所述第四权重值，确定所述待检测用户的专注状态信息。

这里，面部表情信息可以包括微笑、皱眉、悲伤、平静、惊讶、紧张、愁苦等；面部位置信息是指面部出现在视频图像中的位置，即面部出现在摄像头中的位置；视线焦点信息是指视线焦点在屏幕上的位置信息；操作记录信息是指待检测用户的操作记录，如点击多少次鼠标，打开了多少次网页，键盘敲击了多少次等。

面部表情信息指标、面部位置信息指标、视线焦点信息指标以及操作记录信息指标是能够评估待检测用户是否专注的指标，这些指标已经经过实践的验证，可以取得比较精确的评估结果。

在进行专注度检测时，可以根据实际情况，为面部表情信息、面部位置信息、视线焦点信息以及操作记录信息分别设置权重值，权重值越大，表示该信息对专注度的影响结果越大，同时也是专注度检测过程中比较重要的参数。本申请实施例中的权重值根据实际情况进行设置和调整。

具体地，分别对面部表情比对结果和第一权重值、面部位置比对结果和第二权重值、视线焦点比对结果和第三权重值，以及操作记录比对结果和第四权重值进行求积，然后在将所有的求积结果进行求和，将求和结果与预先设置的评估阈值进行比对，若求和结果大于评估阈值，则认为待检测用户处于专注状态，若求和结果不大于评估阈值，则认为待检测用户处于不专注状态。其中，根据实际情况可知，面部表情信息和视线焦点信息最能反映出待检测用户的专注状态，所以可以将面部表情信息对应的第一权重值和视线焦点信息对应的第三权重值调大，相应的，面部位置比对结果和第二权重值和操作记录比对结果和第四权重值调小，但要保证第一权重值、第二权重值、第三权重值和第四权重值的和为1。

除此之外，本申请实施例在进行专注度检测时，也可以利用专注度检测模型对获取到的面部状态数据和操作状态数据进行专注度检测，从而输出专注状态信息。具体地，在专注度检测模型中预设有一些面部表情信息指标、面部位置信息指标、视线焦点信息指标以及操作记录信息指标，这些指标是经过大量的实践总结出的结论，这些指标可以用于直接判断待检测用户的面部表情信息、面部位置信息、视线焦点信息以及操作记录信息来判断待检测用户是否专注，且在判断待检测用户是否专注上是比较精确的。

进而，本申请实施例可以通过专注度检测模型对目标面部状态数据和目标操作状态数据进行特征提取，得到面部表情信息、面部位置信息、视线焦点信息以及操作记录信息；将得到的面部表情信息、面部位置信息、视线焦点信息以及操作记录信息与所述专注度检测模型中预存的面部表情信息指标、面部位置信息指标、视线焦点信息指标以及操作记录信息指标分别进行比对，根据比对结果判断待检测用户的专注状态信息。

在本申请实施例中，作为一种优选的实施例，步骤S140包括：

将所述待检测用户的专注状态信息发送给监测终端，以使所述监测终端根据接收到的专注状态信息判断是否对所述待检测用户进行干预。

该步骤以用户终端为执行主体，用户终端将待检测用户的专注状态信息发送给监测终端，以使监测终端根据接收到的专注状态信息判断是否对待检测用户进行干预。

当执行主体为监测终端时，监测终端将待检测用户的专注状态信息发送给用户终端，以使用户终端根据接收到的专注状态信息调整自身状态。

具体地，本申请还列举了如下实施例：

（1）采集视频图像数据：视频流数据的采集基于KNN神经网络和NEAT神经网络配合实现；

（2）采集系统行为数据，通过终端的行为分析模块收集用户操作数据。

（3）分析数据：基于KNN神经网络实时分析，通过Logistic回归算法进行分类归纳，得到学生的面部状态数据和操作状态数据；

举例说明：视频图像传过来以后，终端会分析视频的每一帧，即每一张图片。在上课一分钟整的时候，分析得到了一个数据，然后过了5秒钟，再重复一遍，相当于得到了学生在一段时间内的面部状态数据和操作状态数据。通过分析该数据判断学生是否专注，如可以通过视线在多久时间内是停留的，多长时间内视线处于固定的位置，或者是视线发生了偏移，发生了多大角度的偏移等，通过这些变化情况来判断学生是否专注。

具体地，如果面部状态数据和操作状态数据在大多数情况下是没有什么波动的，即处于一个均值水平，可以认为学生是专注的，如果偏离均值很大，可以认为学生是不专注的。具体地，学生看屏幕的状态，不见得都是正脸，学生用手机去上网课的话，可能只能拍到半张脸，长期得到的数据就是半张脸，这个学生的面部状态数据相对于其他学生的面部状态数据来说是不一样的，但是不能认为别人使用电脑都是全张脸，而这个学生使用手机是半张脸，就认为个学生是不专注的。

（4）专注度检测：举例：通过面部状态数据判断学生是不是脸正常对着屏幕在上课，通过操作状态数据判断用户有没有切到后台等，最终得到专注度检测结果，共同判断学生是否是专注的。

这里，将面部状态数据和操作状态数据作为NEAT神经网络的输入，将专注度指标（是专注状态还是不专注状态）作为NEAT神经网络的输出，对NEAT神经网络进行训练，并得到训练好的NEAT神经网络，来判断学生是否专注。

本申请实施例提供的用户专注度检测方法，利用与检测时间信息对应的面部状态数据和在终端上执行的操作状态数据来综合分析待检测用户的专注状态信息，这样一来，通过结合用户的面部状态数据和操作状态数据，可以提高专注度检测的精确度，使得在线教学中能够简单灵活的了解用户专注度的问题，进而提高教学效果。

基于同一发明构思，本申请实施例中还提供了与终端中的用户专注度检测方法对应的终端中的用户专注度检测系统，由于本申请实施例中的系统解决问题的原理与本申请实施例上述方法相似，因此系统的实施可以参见方法的实施，重复之处不再赘述。

请参阅图3，图3为本申请实施例所提供的一种用户专注度检测系统的结构示意图，如图3中所示，用户专注度检测系统300包括：用户终端310和监测终端320；

所述用户终端310，用于接收专注度检测请求，所述专注度检测请求中携带有检测时间信息，确定与所述检测时间信息对应的待检测用户的目标面部状态数据，以及与所述检测时间信息对应的待检测用户在用户终端上执行的目标操作状态数据，基于所述目标面部状态数据和所述目标操作状态数据，确定所述待检测用户的专注状态信息，输出所述待检测用户的专注状态信息；

所述监测终端320，用于接收所述待检测用户的专注状态信息，并根据接收到的专注状态信息判断是否对所述待检测用户进行干预。

这里，用户专注度检测方法的执行主体是用户终端，当用户终端接收到监测终端发送的专注度检测请求后，开始进行专注度检测，然后将检测出的专注状态信息再发送给监测终端，以使监测终端判断是否对待检测用户进行干预。

除此之外，用户专注度检测方法的执行主体还可以是监测终端，当监测终端发送专注度检测请求后，用户终端接收专注度检测请求，然后将获取的面部状态数据和操作状态数据发送给监测终端，监测终端对获取到的面部状态数据和操作状态数据进行专注度检测得到专注状态信息并输出给用户终端，以提醒用户终端根据专注状态信息自行调整。

本申请实施例提供的终端中的用户专注度检测系统，利用与检测时间信息对应的面部状态数据和在终端上执行的操作状态数据来综合分析待检测用户的专注状态信息，这样一来，通过结合用户的面部状态数据和操作状态数据，可以提高专注度检测的精确度，使得在线教学中能够简单灵活的了解用户专注度的问题，进而提高教学效果。

请参阅图4，图4为本申请实施例所提供的一种电子设备的结构示意图。如图4中所示，所述电子设备400包括处理器410、存储器420和总线430。

所述存储器420存储有所述处理器410可执行的机器可读指令，当电子设备400运行时，所述处理器410与所述存储器420之间通过总线430通信，所述机器可读指令被所述处理器410执行时，可以执行如上述图1所示方法实施例中的终端中的用户专注度检测方法的步骤，具体实现方式可参见方法实施例，在此不再赘述。

本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时可以执行如上述图1所示方法实施例中的终端中的用户专注度检测方法的步骤，具体实现方式可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-OnlyMemory，ROM）、随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种用户专注度检测方法，其特征在于，所述方法包括：

接收专注度检测请求，所述专注度检测请求中携带有检测时间信息；

确定与所述检测时间信息对应的待检测用户的目标面部状态数据，以及与所述检测时间信息对应的待检测用户在所持有的终端上执行的目标操作状态数据；

基于所述目标面部状态数据和所述目标操作状态数据，确定所述待检测用户的专注状态信息；

输出所述待检测用户的专注状态信息。

2.根据权利要求1所述的方法，其特征在于，通过以下步骤确定与所述检测时间信息对应的待检测用户的目标面部状态数据：

获取与所述检测时间信息对应的待检测用户的视频图像；

检测是否预存有所述待检测用户的人脸信息；

若检测到预存有待检测用户的人脸信息，则采用第一人脸识别模型对所述视频图像进行人脸识别，获得识别人脸信息，将所述识别人脸信息与预存的所述待检测用户的人脸信息进行比对，根据比对结果，确定待检测用户的第一面部状态数据，将所述第一面部状态数据确定为所述待检测用户的目标面部状态数据；

若未检测到预存有待检测用户的人脸信息，则采用第二人脸识别模型对所述视频图像进行人脸识别，获得识别人脸信息，将所述识别人脸信息确定为待检测用户的第二面部状态数据，将所述第二面部状态数据确定为所述待检测用户的目标面部状态数据。

3.根据权利要求2所述的方法，其特征在于，通过以下步骤训练所述第一人脸识别模型：

获取视频图像样本，所述视频图像样本中包括第一目标用户的视频图像样本以及非第一目标用户的视频图像样本；

将所述视频图像样本输入至预先构建好的神经网络中，提取所述视频图像样本中第一目标用户的人脸特征信息和非第一目标用户的人脸特征信息；

计算所述第一目标用户的人脸特征信息与预存的第一目标用户的人脸信息之间的第一相似度，以及所述非第一目标用户的人脸特征信息与预存的第一目标用户的人脸信息之间的第二相似度；

分别计算所述第一相似度低于第一相似度阈值的第一数量与计算出的第一相似度对应的总数之间的第一数量比值，以及所述第二相似度不低于第二相似度阈值的第二数量与计算出的第二相似度对应的总数之间的第二数量比值；

当所述第一数量比值低于第一设定阈值，且所述第二数量比值低于第二设定阈值时，确定所述第一人脸识别模型训练完成。

4.根据权利要求2所述的方法，其特征在于，通过以下步骤训练所述第二人脸识别模型：

获取第二目标用户的视频图像样本；

将所述视频图像样本输入至预先构建好的神经网络中，提取所述视频图像样本中第二目标用户的人脸特征信息；

计算所述第二目标用户的人脸特征信息与预存的第二目标用户的人脸信息之间的第三相似度；

计算所述第三相似度低于第三相似度阈值的第三数量与计算出的第三相似度对应的总数之间的第三数量比值；

当所述第三数量比值低于第三设定阈值时，确定所述第二人脸识别模型训练完成。

5.根据权利要求1所述的方法，其特征在于，通过以下步骤确定与所述检测时间信息对应的待检测用户在所持有的终端上执行的目标操作状态数据：

获取与所述检测时间信息对应的目标界面信息、目标界面所处的显示位置和显示比例，以及除目标界面之外的其他界面是否在虚拟机中处于打开状态的信息；

根据检测到的检测时间信息对应的目标界面处于关闭状态、目标界面所处的显示位置未在屏幕焦点处、目标界面占屏幕的比例不超过设定阈值，以及除目标界面之外的其他界面在虚拟机中处于打开状态中的任意一项或多项所对应的动作信息，生成与所述检测时间信息对应的待检测用户在所述终端上执行的目标操作状态数据。

6.根据权利要求1或5所述的方法，其特征在于，通过以下步骤确定与所述检测时间信息对应的待检测用户在所持有的终端上执行的目标操作状态数据：

获取与所述检测时间信息对应的目标界面是否切到后台的信息，以及系统层级的分屏是否应用在除了目标界面之外的其他界面的信息；

根据检测到的所述检测时间信息对应的目标界面切到后台，和/或系统层级的分屏应用在除了目标界面之外的其他界面所对应的动作信息，生成与所述检测时间信息对应的待检测用户在所述终端上执行的目标操作状态数据。

7.根据权利要求1所述的方法，其特征在于，所述基于所述目标面部状态数据和所述目标操作状态数据，确定所述待检测用户的专注状态信息，包括：

将所述检测时间信息对应的目标面部状态数据与预设面部状态阈值进行比对，且将所述检测时间信息对应的目标操作状态数据与预设操作状态阈值进行比对；其中，所述预设面部状态阈值根据检测时间信息所属的专注时间段中的初始时间段所对应的面部状态数据来确定，所述预设操作状态阈值根据检测时间信息所属的专注时间段中的初始时间段所对应的操作状态数据来确定；

若所述目标面部状态数据与所述预设面部状态阈值之间的差值绝对值大于面部偏差阈值，和/或，所述目标操作状态数据与所述预设操作状态阈值之间的差值绝对值大于操作偏差阈值，则确定所述检测时间信息下的待检测用户处于不专注状态。

8.根据权利要求1所述的方法，其特征在于，所述基于所述目标面部状态数据和所述目标操作状态数据，确定所述待检测用户的专注状态信息，包括：

对所述目标面部状态数据和所述目标操作状态数据进行特征提取，得到面部表情信息、面部位置信息、视线焦点信息以及操作记录信息；

将所述面部表情信息、所述面部位置信息、所述视线焦点信息以及所述操作记录信息分别与面部表情信息指标、面部位置信息指标、视线焦点信息指标以及操作记录信息指标进行比对，得到面部表情比对结果、面部位置比对结果、视线焦点比对结果以及操作记录比对结果；

确定所述面部表情比对结果对应的第一权重值、所述面部位置比对结果对应的第二权重值、所述视线焦点比对结果对应的第三权重值以及所述操作记录比对结果对应的第四权重值；

基于所述面部表情比对结果和所述第一权重值、所述面部位置比对结果和所述第二权重值、所述视线焦点比对结果和所述第三权重值以及所述操作记录比对结果和所述第四权重值，确定所述待检测用户的专注状态信息。

9.根据权利要求1所述的方法，其特征在于，所述输出所述待检测用户的专注状态信息，包括：

将所述待检测用户的专注状态信息发送给监测终端，以使所述监测终端根据接收到的专注状态信息判断是否对所述待检测用户进行干预。

10.一种用户专注度检测系统，其特征在于，所述系统包括：用户终端和监测终端；

所述用户终端，用于接收专注度检测请求，所述专注度检测请求中携带有检测时间信息，确定与所述检测时间信息对应的待检测用户的目标面部状态数据，以及与所述检测时间信息对应的待检测用户在用户终端上执行的目标操作状态数据，基于所述目标面部状态数据和所述目标操作状态数据，确定所述待检测用户的专注状态信息，输出所述待检测用户的专注状态信息；

所述监测终端，用于接收所述待检测用户的专注状态信息，并根据接收到的专注状态信息判断是否对所述待检测用户进行干预。

Images