CN110135380A - 一种基于人脸检测的课堂专注度识别的方法 - Google Patents

Abstract

本发明提供一种基于人脸检测的课堂专注度识别的方法，涉及机器学习技术领域。本发明通过建立数据存储区、按固定采样率截取视频帧图片、检测截取的帧图片中人脸基本坐标信息、检测每帧图片中每个人脸特征点坐标、计算每人特征点距离、计算每名学生基本特征点距离、计算特征点距离和基本特征点距离之间偏移量、特征点距离偏移量数据拟合、分析每人听课状态、联合分析多人听课状态，对视频中学生课堂专注度进行有效识别，识别出课堂中学生的听课状态，得出学生课堂专注度的分布情况。本发明提供的方法能够帮助教师针对学生的专注度分布情况，调整学生的听课状态，构建更加科学的教学体系，设置更合理的教学方案，从而提高学生课堂专注度。

Description

一种基于人脸检测的课堂专注度识别的方法

技术领域

本发明涉及机器学习技术领域，尤其涉及一种基于人脸检测的课堂专注度识别的方法。

背景技术

教育问题关乎民生，想要提高学生的教育，在课堂上就要充分调动学生的积极性，最重要的是提高学生听课时的专注度。如何在课堂上有效的识别学生上课时的专注度逐渐成为研究的热点问题。不同的研究学者对学生课堂专注度的研究方法不同，当前主要采用问卷调查法、访谈法、课堂实际考察等研究方法对学生在课堂中的听课状态进行研究。上述关于学生课堂专注度研究的方法有自己的优点，但是也存在各自的缺陷，其中，调查问卷法研究学生课堂专注度，获取数据简单快捷，但是获得的数据真实性存在一定的问题，导致得出学生课堂专注度不够准确、访谈法得到的数据受被访者的主观因素影响较大，课堂实际考察法耗时长久，人力投入大，而且一次观察的人数有限，得出的学生课堂专注度不具有说服力。

近年来，随着机器学习的快速发展，人脸检测技术日益成熟，人脸作为一种有效的生物特征被广泛应用于生活的各个方面。硬件处理性能的提升很好的促进了人脸图像处理相关的应用发展，因而人脸图像处理在当今应用和研究也显得愈发重要。

发明内容

本发明要解决的技术问题是针对上述现有技术的不足，提供一种基于人脸检测的课堂专注度识别的方法，对视频中学生课堂专注度进行有效识别，识别出课堂中学生的听课状态，得出学生课堂专注度的分布情况，根据学生的专注度分布情况，调整学生的听课状态，构建更加科学的教学体系，设置更合理的教学方案，从而提高学生课堂专注度。

为解决上述技术问题，本发明所采取的技术方案是：

一种基于人脸检测的课堂专注度识别的方法，包括如下步骤：

步骤1、建立数据存储区；

数据存储区包括视频存储区、图片存储区、参数表存储区，其中图片存储区包括帧图像存储区和结果图像存储区，参数表存储区包括偏移量斜率要求；建立参数表，参数表中存储主机和视频的基本参数；

所述基本参数包括视频路径、截取帧图片路径、结果图片路径、本地主机名、用户名、密码、偏移量斜率要求；

步骤2、按固定采样率截取视频帧图片；

读取所述视频路径下的视频文件，并按一定频率截取帧图片，将截取出的帧图片存放在截取帧图片路径下的文件夹中；

步骤3、检测截取的帧图片中人脸基本坐标信息；

分析截取出的全部帧图片，对帧图片进行人脸检测，对于人脸数最多的一张帧图片中的每张人脸均检测出一个方形框，对方形框的坐标信息进行放大，得到该张帧图片中每张人脸对应的标准坐标，并使用标准坐标的横坐标大小顺序生成学生序列号，作为基本坐标信息，存到基本信息表中；所述基本信息表设置自增主键，其余属性为坐标点信息和特征点距离值；

一个学生的基本坐标信息是视频中该学生人脸活动的最大检测范围；所述学生序列号是视频中每名学生唯一的标识符；

步骤4、检测每帧图片中每个人脸特征点坐标；

对截取出的全部帧图片进行人脸检测，得到每张图片人脸数，循环一张图片中的每个学生进行分析，每个学生对应一张特征点坐标表，将检测到的人脸特征点坐标存到特征点坐标表中；所述特征点坐标表中主键为图片帧数，其余属性为特征点坐标信息；

所述人脸特征点包括左眼最外侧一点和右眼最外侧一点、左脸边缘的中间一点和右脸边缘的中间一点、下巴正下方的一点和鼻尖的一点；

步骤5、计算每人特征点距离；

通过每名学生的特征点坐标表中的人脸特征点坐标信息，以每名学生的鼻尖的一点的特征点作为基准，计算每帧图片中每名学生的左眼最外侧一点和右眼最外侧一点、左脸边缘的中间一点和右脸边缘的中间一点、下巴正下方的一点这5个人脸特征点坐标与鼻尖的一点坐标的距离，存入特征点距离表中；所述特征点距离表设置自增主键，其余属性为特征点间距离值；

步骤6、计算每名学生基本特征点距离；

根据特征点距离表中全部帧的特征点间距离值计算一个视频中每名学生每个特征点距离的基本值，该基本值称作基本特征点距离，将每名学生的5个基本特征点距离作为标准态存到基本信息表中，属性为5个距离值；

每个视频每个学生的每个特征点距离都存在一个标准状态，所述基本特征点距离为该标准状态下的特征点距离；

步骤7、计算特征点距离和基本特征点距离之间偏移量；

计算每名学生每帧的5个特征点距离和对应的标准态5个基本特征点距离之间的欧几里得距离值，即为偏移量，对应存入特征点距离表中；

步骤8、特征点距离偏移量数据拟合；

将每个学生的每帧偏移量的值进行顺序排序，然后对顺序排序的数据进行多项式拟合，得到每个学生偏移量数据对应的多项式函数；

步骤9、分析每人听课状态；

对同一个人的偏移量数据对应的多项式函数的斜率进行分析，根据多组训练集训练得出多项式函数斜率临界值，将该斜率值保存到参数表中，并将该学生某时刻对应的斜率值大于该斜率值对应的时刻做标记；

步骤10、联合分析多人听课状态；

对不同学生同一时刻的听课状态标记值进行分析，经过分析比较找出某学生不同于其他学生听课状态标记值，将对应的学生标记为不听课状态，其余学生为听课状态，并将不听课学生该时刻的个人图片从整张帧图片上截取出来，存到结果图片路径的文件夹中。

采用上述技术方案所产生的有益效果在于：本发明提供的一种基于人脸检测的课堂专注度识别的方法，对视频中学生课堂专注度进行有效识别，识别出课堂中学生的听课状态，得出学生课堂专注度的分布情况。教师可以针对学生的专注度分布情况，调整学生的听课状态，构建更加科学的教学体系，设置更合理的教学方案，从而提高学生课堂专注度。

附图说明

图1为本发明实施例提供的基于人脸检测的课堂专注度识别的方法流程图；

图2为本发明实施例提供的数据存储区表关系建模图；

图3为本发明实施例提供的人脸特征点分布图；

图4为本发明实施例提供的偏移量数量图；

图5为本发明实施例提供的偏移量排序图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

TensorFlow框架是一个为使用用户利用数学方法，从无到有开始定义函数和类的广泛套件，这使得有一定知识背景的研究人员可以很快创建自定、具有高灵活性的模型。适合研究、开发新的机器学习架构、实现已有的复杂架构或者为移动、嵌入式系统创建和训练模型等多种应用场景。运用TensorFlow框架对学生课堂专注度研究的传统方法存在的一些弊端问题进行改进。

如图1所示，本实施例的方法如下所述。

本实施例以某小学相关上课视频为例，视频长度为一节课45分钟、视频名为89.MTS。针对上述视频，对视频中学生课堂专注度识别的具体流程图如图1所示，其具体实现步骤如下：

步骤1、根据视频89.MTS建立对应数据存储区。

在数据存储区中建立参数表para89，包括视频路径video_path、截取帧图片路径frame_path、结果图片路径image_path、本地主机名localhost、用户名、密码、偏移量斜率要求slope。

步骤2、按固定采样率截取视频帧图片。

读取video_path路径下的89.MTS视频文件，视频帧频率为一秒50帧，本实施例中每隔5帧取一张图像，将截取出的帧图片每1000张存放在图片路径frame_path下的一个子文件夹中，这样可以防止由于过多帧图片在同一个文件夹下出现的问题。

步骤3、检测截取的帧图片中人脸基本坐标信息。

循环frame_path下的所有子文件夹，分析截取出的全部帧图片，找到检测出人脸最多的一帧图片，将该帧中检测到的信息作为学生的标准坐标信息。但由于图片数量较大，所以对于每张帧图片先生成一个随机数，设置当随机数小于0.1时，对该帧图片进行人脸检测，得到该帧图片检测到的人脸数存到数组face_count中，找到face_count数组中的最大数，对应找到检测出人脸数最多的一帧，将该帧图片检测到的每张人脸的坐标信息进行放大，得到该学生对应的标准坐标，并按照标准坐标的横坐标大小顺序生成学生序列号，作为基本坐标信息，存到基本信息表video89中，基本信息表video89如图2所示。

得到标准坐标的坐标信息放大方法如下：分析检测出人脸数最多的一帧图片，对于每个人脸均可检测出一个方形框，将方形框放大成正方形。放大的方法是首先找到检测出的每个人脸方形框的中心，然后找到距离每个中心点最近的一个中心点，也就是距离最近的人。

例如，对于方形框a来说，首先找到方形框a的中心点，依次找到方形框b、c、d的中心点，分别将b、c、d方形框中心点与方形框a中心点相连，比较得到距离最短的线段。假设最短距离为d，那么增大后的正方形框a的边长就是实际上这个框就是以方形框a中心为圆心，半径为d/2的圆内接正方形。所以确定该张人脸的标准坐标为正方形框的左上角一点(x₁，y₁)和右下角一点(x₂，y₂)。该坐标也是该张人脸在每帧图像中的最大活动范围。按照x₁的大小顺序生成学生序列号。

步骤4、检测每帧图片中每个人脸特征点坐标。

对截取出的全部帧图片进行人脸检测，得到每张图片人脸数，循环一张图片中的每个学生进行分析，每人对应一张特征点坐标表，特征点坐标表如图2所示，例如stu1、stu2，将检测到的人脸关键点坐标存到数据库表中，本实施例取6个特征点，特征点分布如图3所示，分别是左眼(m_左眼，n_左眼)、右眼(m_右眼，n_右眼)、左脸(m_左脸，n_左脸)、右脸(m_右脸，n_右脸)、下巴(m_下巴，n_下巴)和鼻子(m_鼻子，n_鼻子)，将每个人的坐标信息分别存储在对应特征点坐标表中，主键为图片帧数，其余属性为6个特征点坐标。

步骤5、计算每名学生特征点距离。

计算每帧每名学生的左右眼、左右脸、下巴5个特征点坐标与鼻子特征点坐标的距离d₁、d₂、d₃、d₄、d₅，存入特征点距离表中，特征点距离表如图2所示。以一帧图片中的某张人脸为例，假设左眼A(m_左眼，n_左眼)、鼻子F(m_鼻子，n_鼻子)，两点间距离公式为：将每帧图片这5个距离值记为向量v₁[d₁，d₂，d₃，d₄，d₅]。

步骤6、计算每名学生基本特征点距离。

根据特征点距离表中全部帧的距离值计算一个视频中每名学生每个特征点距离的基本值，称作基本特征点距离，将每名学生的5个基本特征点距离作为标准态存到基本信息表中，属性为5个距离值，将标准态的5个距离值记为向量v₂。

取一名学生特征点距离表的五个距离中的一个距离，比如d₁，取出特征点距离表中d₁属性中所有帧的距离作为一个数组α，并对该数组进行从小到大排序，得到一个新数组β，对数组β进行阶段距离帧图片频数统计，阶段步长定为0.5，计算每个步长中数据的频数，找到最高频数帧图像对应的距离长度范围，统计该频数是否达到总数的1/2，如果最高频数超过总频数的1/2，则返回最高频数对应的距离长度取值范围的中间数，否则比较最高频数相邻两个频数的大小，取较高的一个相邻频数与最高频数相加，总频数是否达到总数的1/2，达到则返回两频数对应的距离长度取值范围的中间数，未达到则重复上一步骤，直到最高频数超过总频数的1/2。得到标准态特征点距离值t1。同样分别求出其余4个距离值对应的标准态特征点距离值t₂、t₃、t₄、t₅存到基本信息表video89中。将标准态特征点距离值记为向量v₂[t₁，t₂，t₃，t₄，t₅]。

步骤7、计算特征点距离和基本特征点距离之间偏移量。

计算每名学生每帧图像的向量v₁和标准态向量v₂之间的欧几里得距离值，即为每帧偏移量。将其存入特征点距离表中对应的flag属性中。以向量v₁[d₁，d₂，d₃，d₄，d₅]和向量v₂[t₁，t₂，t₃，t₄，t₅]为例，其欧几里得距离值如下：

步骤8、特征点距离偏移量数据拟合。

将数据库中一个学生的每帧偏移量取出放到数组中得偏移量数量图如图4所示，并对数组数据进行顺序排序，得到偏移量排序图，如图5所示，然后将顺序数据进行多项式拟合，得到一个学生偏移量数据对应的多项式函数。多项式函数如下：

F_(x)＝Ax¹⁰+Bx⁹+Cx⁸+......+Fx+G

将偏移量数据带入多项式函数，得出函数系数A、B......G，从而得出多项式函数F_(x)。

步骤9、每人听课状态纵向对比分析。

对多项式函数F_(x)的斜率进行判断，分析多个视频多个学生的偏移量数据，找出与标准态相差较多的时刻的偏移量大小，并求出函数中对该点的斜率作为参数值slope，作为标准值将状态保存到基本信息表中。将斜率大于slope的偏移量在特征点距离表中标记为1(该学生听课状态相对较差)，小于slope的偏移量在特征点距离表中标记为0(该学生听课状态相对较好)。

听课状态纵向对比：以时间为v轴，学生为x轴，对同一学生不同时间的听课状态进行分析称为纵向对比。

步骤10、多人听课状态横向对比分析。

除了对一个学生的不同时间学习状态进行分析，还要对不同学生在同一时间的状态做横向对比。对不同学生同一时刻的听课状态标记值进行分析，经过分析比较找出某学生不同于其他学生听课状态标记值，将对应的学生标记为不听课状态，其余学生标记为听课状态。并将不听课学生该时刻的个人图片从整张帧图片上截取出来，存到对应路径image_path下的文件夹。

听课状态横向对比：以时间为v轴，学生为x轴，对不同学生同一时间的听课状态进行分析称为横向对比。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

Claims (1)

1.一种基于人脸检测的课堂专注度识别的方法，其特征在于：包括如下步骤：

步骤1、建立数据存储区；

数据存储区包括视频存储区、图片存储区、参数表存储区，其中图片存储区包括帧图像存储区和结果图像存储区，参数表存储区包括偏移量斜率要求；建立参数表，参数表中存储主机和视频的基本参数；

所述基本参数包括视频路径、截取帧图片路径、结果图片路径、本地主机名、用户名、密码、偏移量斜率要求；

步骤2、按固定采样率截取视频帧图片；

读取所述视频路径下的视频文件，并按一定频率截取帧图片，将截取出的帧图片存放在截取帧图片路径下的文件夹中；

步骤3、检测截取的帧图片中人脸基本坐标信息；

分析截取出的全部帧图片，对帧图片进行人脸检测，对于人脸数最多的一张帧图片中的每张人脸均检测出一个方形框，对方形框的坐标信息进行放大，得到该张帧图片中每张人脸对应的标准坐标，并使用标准坐标的横坐标大小顺序生成学生序列号，作为基本坐标信息，存到基本信息表中；所述基本信息表设置自增主键，其余属性为坐标点信息和特征点距离值；

一个学生的基本坐标信息是视频中该学生人脸活动的最大检测范围；所述学生序列号是视频中每名学生唯一的标识符；

步骤4、检测每帧图片中每个人脸特征点坐标；

对截取出的全部帧图片进行人脸检测，得到每张图片人脸数，循环一张图片中的每个学生进行分析，每个学生对应一张特征点坐标表，将检测到的人脸特征点坐标存到特征点坐标表中；所述特征点坐标表中主键为图片帧数，其余属性为特征点坐标信息；

所述人脸特征点包括左眼最外侧一点和右眼最外侧一点、左脸边缘的中间一点和右脸边缘的中间一点、下巴正下方的一点和鼻尖的一点；

步骤5、计算每人特征点距离；

通过每名学生的特征点坐标表中的人脸特征点坐标信息，以每名学生的鼻尖的一点的特征点作为基准，计算每帧图片中每名学生的左眼最外侧一点和右眼最外侧一点、左脸边缘的中间一点和右脸边缘的中间一点、下巴正下方的一点这5个人脸特征点坐标与鼻尖的一点坐标的距离，存入特征点距离表中；所述特征点距离表设置自增主键，其余属性为特征点间距离值；

步骤6、计算每名学生基本特征点距离；

根据特征点距离表中全部帧的特征点间距离值计算一个视频中每名学生每个特征点距离的基本值，该基本值称作基本特征点距离，将每名学生的5个基本特征点距离作为标准态存到基本信息表中，属性为5个距离值；

每个视频每个学生的每个特征点距离都存在一个标准状态，所述基本特征点距离为该标准状态下的特征点距离；

步骤7、计算特征点距离和基本特征点距离之间偏移量；

计算每名学生每帧的5个特征点距离和对应的标准态5个基本特征点距离之间的欧几里得距离值，即为偏移量，对应存入特征点距离表中；

步骤8、特征点距离偏移量数据拟合；

将每个学生的每帧偏移量的值进行顺序排序，然后对顺序排序的数据进行多项式拟合，得到每个学生偏移量数据对应的多项式函数；

步骤9、分析每人听课状态；

对同一个人的偏移量数据对应的多项式函数的斜率进行分析，根据多组训练集训练得出多项式函数斜率临界值，将该斜率值保存到参数表中，并将该学生某时刻对应的斜率值大于该斜率值对应的时刻做标记；

步骤10、多人听课状态联合分析；

对不同学生同一时刻的听课状态标记值进行分析，经过分析比较找出某学生不同于其他学生听课状态标记值，将对应的学生标记为不听课状态，其余学生为听课状态，并将不听课学生该时刻的个人图片从整张帧图片上截取出来，存到结果图片路径的文件夹中。