CN109635725A

CN109635725A - 检测学生专注度的方法、计算机存储介质及计算机设备

Info

Publication number: CN109635725A
Application number: CN201811510934.4A
Authority: CN
Inventors: 冯伟; 熊新红; 张艳辉; 冯亚春; 吴新宇; 梁国远; 张晨宁
Original assignee: Shenzhen Institute of Advanced Technology of CAS
Current assignee: Shenzhen Institute of Advanced Technology of CAS
Priority date: 2018-12-11
Filing date: 2018-12-11
Publication date: 2019-04-16
Anticipated expiration: 2038-12-11
Also published as: WO2020118669A1; CN109635725B

Abstract

本发明公开了一种检测学生专注度的方法，方法包括：获取多个学生中每个学生的学生姿态数据、学生视线方向向量及学生位置坐标；根据每个学生的视线方向向量获得每个学生的初始专注度；根据每个学生的学生姿态数据、学生视线方向向量及学生位置坐标对每个学生的初始专注度进行修正，以获得每个学生的修正专注度。本发明还公开了一种计算机可读存储介质。本发明还公开了一种计算机设备。本发明通过在检测时刻获取多个学生中每个学生的学生姿态数据、学生视线方向向量及学生位置坐标，对每个学生的初始专注度进行修正，可以判断学生的实时专注度情况，并且使用学生课堂行为检测的结果来对专注度检测的结果进行修正，可以提高检测结果的准确性。

Description

检测学生专注度的方法、计算机存储介质及计算机设备

技术领域

本发明属于学生专注度检测领域，具体地，涉及一种检测学生专注度的方法、计算机存储介质及计算机设备。

背景技术

学生的专注度是影响学生听课效果的重要因素。听课的效果将直接影响到学生的考试成绩及学习效果。现有技术的专注度的检测方法主要有以下两种：方法一、采用身份已经确定的学生的人脸图像，通过判断人脸图像是否完整，来判断学生是否处于专注状态。如果检测到的人脸图像是完整的人脸，则判定该学生在采样时刻处于专注状态；否则，则判定该学生在采样时刻为不专注状态。方法二、根据不同的学习品质测试维度，建立测试题库，并设计专注度测试游戏。通过学生在游戏当中的答题情况对被测试学生进行专注度评测。根据评测的结果，生成能力优化发展建议报告。

现有的技术方案都难以客观的评价学生在课堂上的专注度情况。方法一使用能否检测到完整的人脸作为学生专注度的唯一判断标准，忽略了课堂讨论和授课教师布置课堂作业等情况下的学生专注度的评判，使得检测结果不够客观。方法二则无法反应学生在课堂上的实时的专注度情况。

因此，如何客观并实时地检测学生的专注度是本领域技术人员亟待解决的问题。

发明内容

为解决上述现有技术存在的问题，本发明提供了一种可以客观并实时地检测学生专注度的检测学生专注度的方法、计算机存储介质及计算机设备。

为了达到上述发明目的，本发明采用了如下的技术方案：

根据本发明的一方面，提供了一种检测学生专注度的方法，所述方法包括：

获取多个学生中每个学生的学生姿态数据、学生视线方向向量及学生位置坐标；

根据每个学生的视线方向向量获得每个学生的初始专注度；

根据每个学生的学生姿态数据、学生视线方向向量及学生位置坐标对每个学生的初始专注度进行修正，以获得每个学生的修正专注度。

进一步地，根据每个学生的学生姿态数据、学生视线方向向量及学生位置坐标对每个学生的初始专注度进行修正的具体方法包括：

根据每个学生的学生姿态数据、学生视线方向向量及学生位置坐标判断每个学生是否处于特定状态；

获取处于特定状态的学生的数量与所有学生的数量的第一比值；

在所述第一比值大于预设阈值的情况下将处于特定状态的学生的初始专注度修正为专注。

进一步地，所述特定状态指的是学生的视线方向未指向指定参照面的状态。

进一步地，所述特定状态包括交谈状态或低头状态。

进一步地，所述获取学生视线方向向量的具体方法包括：

获取每个学生的人脸图像；

根据每个学生的人脸图像确定每个学生的视线方向；

根据每个学生的位置坐标和视线方向确定每个学生的视线方向的终点的位置坐标，从而确定每个学生的视线方向向量；其中，所述终点位于与指定参照面处于同一平面的平面上。

进一步地，所述根据每个学生的视线方向向量获得每个学生的初始专注度的具体方法包括：

根据每个学生的视线方向向量的终点的位置坐标是否位于所述指定参照面内来确定每个学生的初始专注度。

进一步地，所述每个学生的学生姿态数据的获取方法包括：

获取每个学生的身姿图像；

将获取的每个学生的身姿图像输入到训练好的身姿模型，以得到每个学生的姿态数据。

进一步地，所述学生的姿态数据包括：低头、趴倒、侧身斜坐、立身端坐及扭头中的一种。

根据本发明的另一方面，还提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有检测学生专注度的程序，所述检测学生专注度的的程序被处理器执行时实现如上述的检测学生专注度的步骤。

根据本发明的又一方面，还提供了一种计算机设备，所述计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的检测学生专注度的程序，其特征在于，所述检测学生专注度的程序被处理器执行时实现如上述的检测学生专注度的步骤。

本发明的有益效果：本发明通过在检测时刻获取多个学生中每个学生的学生姿态数据、学生视线方向向量及学生位置坐标，并根据每个学生的学生姿态数据、学生视线方向向量及学生位置坐标对每个学生的初始专注度进行修正，以获得每个学生的修正专注度，可以判断学生的实时专注度情况，并且使用学生课堂行为检测的结果来对专注度检测的结果进行修正，可以对检测结果进行进一步的数据剔除操作，减少误判。

附图说明

通过结合附图进行的以下描述，本发明的实施例的上述和其它方面、特点和优点将变得更加清楚，附图中：

图1是根据本发明的实施例的检测学生专注度的方法的流程示意图；

图2是根据本发明的实施例的学生姿态数据对应的学生身姿图像的示意图；

图3是根据本发明的实施例的对学生的视线方向向量进行规范化获得的示意图；

图4是根据本发明的实施例的学生在课堂的示意图。

图5是根据本发明的实施例的学生与的学生坐姿数据均为斜坐的示意图；

图6根据本发明的实施例的一个检测周期的学生的专注状态的折线图；

图7是根据本发明的实施例的学生在检测周期内的数学课的专注率的折线图。

具体实施方式

以下，将参照附图来详细描述本发明的实施例。然而，可以以许多不同的形式来实施本发明，并且本发明不应该被解释为限制于这里阐述的具体实施例。相反，提供这些实施例是为了解释本发明的原理及其实际应用，从而使本领域的其他技术人员能够理解本发明的各种实施例和适合于特定预期应用的各种修改。在附图中，为了清楚起见，可以夸大元件的形状和尺寸，并且相同的标号将始终被用于表示相同或相似的元件。

在本发明中，如涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义至少两个，例如两个、三个等，除非另有明确具体的限定。

另外，在本发明的各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无爱实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

实施例一

图1是根据本发明的实施例的检测学生专注度的方法的流程示意图。

参照图1所示，本发明的第一实施例公开了一种检测学生专注度的方法，所述方法包括步骤：

S100、获取多个学生中每个学生的学生姿态数据、学生视线方向向量及学生位置坐标；

S200、根据每个学生的视线方向向量获得每个学生的初始专注度；

S300、根据每个学生的学生姿态数据、学生视线方向向量及学生位置坐标对每个学生的初始专注度进行修正，以获得每个学生的修正专注度。

本发明的实施例通过获取检测时刻的学生的学生姿态数据、学生视线方向向量及学生位置坐标，通过学生视线方向向量判断学生的初始的专注度，又根据课堂上学生的姿态数据、学生视线方向向量及学生位置坐标，再对每个学生的初始度进行修正，从而使检测结果更加客观准确。

图2是根据本发明的实施例的学生姿态数据对应的学生身姿图像的示意图。

具体地，参照图2所示，在本实施例中学生姿态数据M包括低头、趴倒、侧身斜坐、立身端坐及扭头。

进一步地，作为本发明的一种实施方式，每个学生的学生姿态数据的获取方法包括：

获取每个学生的身姿图像；

将获取的每个学生的身姿图像输入到训练好的身姿模型，以得到每个学生的学生姿态数据。

具体地，提前采集信息通过深度神经网络对身姿模型进行训练，对每一种学生姿态数据都采集几千张图片，用这些标记好的图片来训练身姿模型。实际检测时，将采集到的学生的身姿图像输入到训练好的身姿模型，身姿模型通过计算输出与学生的身姿图像对应的学生姿态数据。

作为本发明的一种实施方式，学生的视线方向向量的获取方法包括：

获取每个学生的人脸图像；

根据每个学生的人脸图像确定每个学生的视线方向。具体地，在本实施例中通过检测每个学生的人脸图像来检测每个学生的人脸朝向，学生的人脸朝向即为每个学生的视线方向，即为学生的视线方向向量的方向。

根据每个学生的位置坐标和视线方向确定每个学生的视线方向的终点的位置坐标，从而确定每个学生的视线方向向量。其中，所述终点位于与指定参照面处于同一平面的平面上。具体地，以学生的位置坐标为起点，沿着学生的视线方向进行延伸，与指定参照面处于同一平面的平面相交的点即为视线方向向量的终点。

在本实施例中，指定参照平面是有边界限制的平面区域。指定参照平面可以为以黑板的边界为边界的平面区域或者以投影幕的边界为边界的平面区域。学生的视线方向向量与指定参照平面位于同一平面的平面相交。

通常学生在课堂上的学生位置坐标是固定的，可以通过采集课堂上的图像确定每个学生的方位，选定一个参考点确定全部学生的位置坐标。在其他实施方式中可以通过两台不同位置的摄像机获得的两幅图像来确定全部学生的学生位置坐标，本发明对此不作限制，其他可以求出学生的学生位置坐标的方法都可以用于本发明的实施例中。

作为本发明的一种实施方式，根据每个学生的视线方向向量获得每个学生的初始专注度的具体方法包括：

根据每个学生的视线方向向量的终点的位置坐标是否位于指定参照面内来确定每个学生的初始专注度。在本实施例中，我们界定学生的视线方向向量的终点的位置坐标位于指定参照面内，则学生处于专注状态，学生的初始专注度设置为1；否则，学生处于不专注状态，学生的初始专注度设置为0。可以理解的是，在其他实施例中可以采用0代表专注状态，1代表不专注状态；或者采用其它标记代表专注状态和不专注状态，本发明对此不作限制。

此外，为了使所有的学生通过同一个标准来判断视线方向向量的终点位置是否位于指定参照面内，可以对得出的检测时刻t学生的视线方向向量进行规范化获得具体地，假设空间中参考点X₀，采用公式1对学生的视线方向向量进行规范化。

其中，X₀可以选取所有学生的位置坐标的平均值。

图3是根据本发明的实施例的对学生的视线方向向量进行规范化获得的示意图。通过结合学生位置坐标和参考点信息对视线方向向量进行规范后，所有的学生都可以通过同一个标准来判断其视线方向向量的终点位置是否位于指定参照面内。

获取学生的初始专注度之后，进一步地，作为本发明的一种实施方式，根据每个学生的学生姿态数据、学生视线方向向量及学生位置坐标对每个学生的初始专注度进行修正的具体方法包括：

获取初始专注度时，我们仅关注学生的视线是否集中于黑板或投影幕，以此来判定学生是否处于专注状态。实际上，初始专注度的数据还包括了部分存在误判的可能性的检测结果。比如：教师布置课堂作业，学生需要进行低头书写动作，这时学生的视线集中于课本上，但是学生是处于专注状态。如果按照初始专注度的检测结果，学生的专注度会被误判为不专注。这种情况需要进行剔除，将学生的初始专注度进行修正。

作为本发明的一种实施方式，特定状态指的是学生的视线方向未指向指定参照面的状态。优选地，特定姿态包括交谈状态或低头状态。

下面将结合具体的实施例对学生的初始度进行修正的方法进行阐述。

图4是根据本发明的实施例的学生在课堂的示意图。

通常课程上的学生是以n行m列的形式分布，如图4所示，学生以两行三列的形式分布。在本实施例中，假设课堂上有n×m个学生，n×m个学生以n行m列的形式分布，学生位于第j行第i列(其中1≤j≤m，1≤i≤n)。则在检测时刻t，学生的学生姿态数据用表示，的取值为集合M中的一种，M＝{低头，趴倒，侧身斜坐，立身端坐，扭头}。学生的学生位置坐标为学生的学生视线方向向量为学生的视线方向向量进行规范化获得学生的初始专注度为

因此，在检测时刻t，课堂上所有学生的位置坐标组成矩阵X_t；

课堂上所有学生的学生姿态数据组成矩阵A_t；

课堂上所有学生的学生视线方向向量规范化组成矩阵

课堂上所有学生的初始专注度组成矩阵Y_t；

作为本发明的一种实施方式，特定状态为交谈状态，通过对所有学生遍历运算，判断学生中处于交谈状态的学生占学生总人数的第一比例。如果第一比例超过预设阈值，则认为此时出现了满足一定比例要求的学生之间存在互动交流，可以合理的推断出，教师布置了小组讨论活动。所以将t时刻的处于交谈状态的学生的初始专注度需要进行修正。具体地，将t时刻的处于交谈状态的学生的初始专注度修正为专注，获得修正专注度。其中，交谈状态被定义为学生与其相邻学生的坐姿数据均为侧身斜坐，并且学生的规范后的视线方向向量与其邻学生的规范后的视线方向向量的方向由该学生指向其相邻的学生。

图5是根据本发明的实施例的学生与的学生坐姿数据均为斜坐的示意图。

具体地，可以采用如下伪代码计算学生中处于交谈状态的学生的人数。

伪代码1：

count1＝0；

for j＝1:1:m

for i＝1:2:n

if//参照图4所示，图4示出了学生与的学生坐姿数据均为斜坐的情况；

的水平分量为正//其中，指向的方向为正方向

count1＝count1+1；

end if

end for

通过伪代码1，可以求出所有学生中，处于交谈状态的学生的人数为2×count1。其中，当n为奇数时，第m列的学生不进行交谈状态的判断。则若第一比例大于预设阈值，则将交谈的学生的专注度修正为专注获得修正专注度，其余学生的专注度不变，其余学生的修正专注度仍为初始专注度。其中0＜第一比例＜1，第一比例的取值范围可以根据实际需要进行设置。

当n为偶数时，若第一比例大于预设阈值，则将处于交谈状态的学生的专注度修正为专注，从而获得修正专注度。其余学生的专注度不变，其余学生的修正专注度仍为初始专注度。其中0＜第一比例＜1，第一比例的取值范围可以根据实际需要进行设置。

当然可以理解的是，判断学生是否处于交谈状态的方法还可以采用其它实施方式，例如，只要学生与相邻学生之一的学生坐姿数据都处于侧身斜坐并且该学生的规范后的视线方向向量与其邻学生的规范后的视线方向向量的方向由该学生指向其相邻的学生。则判定该学生处于交谈状态；当然还可以有其它实施方式，本发明对此不作限制。

此外，学生还可能由于教师布置了课堂作业，需要进行低头书写，从而进行低头书写的处于专注状态的学生的初始专注度被判定为不专注。因此，作为本发明的另一种实施方式，特定状态为低头状态。通过对所有学生遍历运算，判断学生中处于低头状态的学生占学生总人数的第一比例。如果第一比例超过预设阈值，则认为此时出现了满足一定比例要求的学生出现低头行为，可以合理的推断出，教师布置了课堂作业，所以检测时刻t所检测到的处于低头状态的学生的初始专注度应该修正为专注，获得修正专注度。

具体地，可以采用如下伪代码计算学生中处于低头状态的学生的人数。

伪代码2：

通过伪代码2，可以求出所有学生中，处于低头状态的学生人数为count2。则若第一比例大于预设阈值，则将处于低头状态的学生的专注度修正为专注，其余学生的专注度不变。其余学生的修正专注度仍为初始专注度。其中0＜第一比例＜1，第一比例的取值范围可以根据实际需要进行设置。

可以理解的是，本发明仅示例性的提供了需要进行专注度修正的情况，本发明还适用于其他需要专注度修正的情况，对此并不作限制。

本发明通过在检测时刻获取多个学生中每个学生的学生姿态数据、学生视线方向向量及学生位置坐标，并根据每个学生的学生姿态数据、学生视线方向向量及学生位置坐标对每个学生的初始专注度进行修正，以获得每个学生的修正专注度，可以判断学生的实时专注度情况，并且使用学生课堂行为检测的结果来对专注度检测的结果进行修正，可以提高检测结果的准确性。

实施例二

本实施例公开了一种获取检测周期内学生的专注率的方法。本实施例的方法是基于实施例一检测t时刻的学生专注的方法，获取一个检测周期内的学生的修正专注度。其中一个检测周期包括多个检测时刻，每个检测时刻的学生的专注度采用实施例一的方法获取。

图6根据本发明的实施例的一个检测周期的学生的专注状态的折线图。图7是根据本发明的实施例的学生在检测周期内的数学课的专注率的折线图。

参照图5所示，根据本发明的一种实施方式，一个检测周期包括19个检测时刻，0表示学生处于非专注状态，1表示学生处于专注状态。

通过统计一个检测周期内学生的专注状态与不专注状态的频数，得到学生在一个检测周期内的专注率。

定义专注率如下：

例如，在图5中，在一个检测周期内，学生有7个检测时刻处于专注状态，12个检测时刻处于非专注状态。则在一个检测周期内，学生的专注率为0.368。

一个检测周期可以以一节课为单位，通过计算学生一天当中每一节课的专注率，可以得到学生一天当中的专注率变化情况。

同理可以得到一周、半个月、一个季度或者一个学期，学生的专注率变化情况。此外在更长的时间维度上，针对某一具体的科目，可以生成学生的专注率变化情况，如图6所示，展示了学生I在从2月11日到2月24日的数学课的专注率的变化情况。

本实施例通过对课堂上的学生的修正专注度检测结果进行统计分析，生成更加详细的学生专注度检测结果，方便教师、学生、家长针对学生的听课状态进行有针对性的纠正。

实施例三

本实施例公开了一种获取检测周期内班级整体学生的专注率的方法。本实施例的方法是基于实施例一检测t时刻的学生专注的方法，获取一个检测周期内班级的所有学生的I_t的修正专注度。其中一个检测周期包括多个检测时刻，每个检测时刻的班级内的所有学生的I_t的修正专注度都采用实施例一的方法获取。

本实施例公开了一种获取检测周期内学生的专注率的方法。本实施例的方法是基于实施例一检测t时刻的学生专注的方法，获取一个检测周期内的学生的专注度。其中一个检测周期包括检测时刻，每个检测时刻的学生的专注度采用实施例一的方法获取。

定义班级专注率如下：

通过计算一个检测周期每一个检测时刻的班级专注率，可以得到班级专注率的变化曲线。

本实施例通过对课堂上的全班学生的修正专注度检测结果进行统计分析，生成更加详细的学生专注度检测结果，方便教师、学生、家长针对学生的听课状态进行有针对性的纠正。

实施例四

本发明还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有检测学生专注度的程序，所述检测学生专注度的程序可被至少一个处理器执行，以使所述至少一个处理器执行如下步骤：

S200根据每个学生的视线方向向量获得每个学生的初始专注度；

S300根据每个学生的学生姿态数据、学生视线方向向量及学生位置坐标对每个学生的初始专注度进行修正，以获得每个学生的修正专注度。

上述步骤的详细说明请参阅上述第一实施例，在此不再赘述。

实施例五

参照图所示，本发明的第五实施例提出一种计算机设备。所述计算机设备可以是笔记本电脑等计算机设备。所述计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的检测学生专注度的程序。

其中，所述存储器至少包括一种类型的可读存储介质，用于存储安装于所述计算机设备的操作系统和各类应用软件，例如检测学生专注度的程序代码等。此外，所述存储器还可以用于暂时地存储已经输出或者将要输出的各类数据。

所述处理器在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器22通常用于控制所述移动终端2的总体操作。本实施例中，所述处理器22用于运行所述存储器中存储的程序代码或者处理数据，例如运行所述检测学生专注度的程序等。

所述检测学生专注度的程序用于检测学生专注度情况。所述检测学生专注度的程序被所述处理器执行时，实现如下步骤：

本领域技术人员可以理解，图1中示出的结构并不构成对所述计算机设备2的限定，所述计算机设备还可以包括其他必要部件，或者组合某些部件，或者不同的部件布置。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内

虽然已经参照特定实施例示出并描述了本发明，但是本领域的技术人员将理解：在不脱离由权利要求及其等同物限定的本发明的精神和范围的情况下，可在此进行形式和细节上的各种变化。

Claims

1.一种检测学生专注度的方法，其特征在于，所述方法包括：

根据每个学生的视线方向向量获得每个学生的初始专注度；

2.根据权利要求1所述的方法，其特征在于，根据每个学生的学生姿态数据、学生视线方向向量及学生位置坐标对每个学生的初始专注度进行修正的具体方法包括：

3.根据权利要求2所述的方法，其特征在于，所述特定状态指的是学生的视线方向未指向指定参照面的状态。

4.根据权利要求3所述的检测方法，其特征在于，所述特定状态包括交谈状态或低头状态。

5.根据权利要求1所述的方法，其特征在于，所述获取学生视线方向向量的具体方法包括：

获取每个学生的人脸图像；

根据每个学生的人脸图像确定每个学生的视线方向；

6.根据权利要求5所述的方法，其特征在于，所述根据每个学生的视线方向向量获得每个学生的初始专注度的具体方法包括：

7.根据权利要求1所述的方法，其特征在于，所述每个学生的学生姿态数据的获取方法包括：

获取每个学生的身姿图像；

8.根据权利要求7所述的方法，其特征在于，所述学生的姿态数据包括：低头、趴倒、侧身斜坐、立身端坐及扭头中的一种。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有检测学生专注度的程序，所述检测学生专注度的的程序被处理器执行时实现如权利要求1至8任一项所述的检测学生专注度的步骤。

10.一种计算机设备，所述计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的检测学生专注度的程序，其特征在于，所述检测学生专注度的程序被处理器执行时实现如权利要求1至8任一项所述的检测学生专注度的步骤。