CN113435267B - 一种基于改进的卷积神经网络的在线教育学生专注力判别方法 - Google Patents

Abstract

本发明公开了一种基于改进的卷积神经网络的在线教育学生专注力判别方法。该方法包括以下步骤：步骤1，采集训练样本：获取学生不同状态的图像，其中的状态包括：发呆、打哈欠、眨眼、打瞌睡、聚精会神和离开；步骤2，样本预处理：利用非线性算法对原始图像进行缩放处理和对图像中的五官特征进行提取并制作相应的标签；步骤3，模型离线训练：利用已标记的训练样本对改进的卷积神经网络进行训练，直至模型达到收敛条件；步骤4，模型在线应用：将训练好的模型实际应用，实现对学生在线学习专注力的判别。本发明所述方法能准确有效的对学生在线学习状态进行判别，具有良好的实际应用价值。

Description

一种基于改进的卷积神经网络的在线教育学生专注力判别 方法

技术领域

本发明涉及在线教育学生专注力判别领域，特别是涉及一种基于改进的卷积神经网络的在线教育学生专注力判别方法。

背景技术

根据相关数据显示，2015-2019年中国在线教育市场规模保持20％以上的增速，2019年中国在线教育市场规模达3468亿元，同比增长21.47％，用户规模达2.69亿人，同比增长33.83％，2020年在线教育市场刚性需求更是快速增长，在线教育使用人数激增，用户规模呈倍数增长，市场规模空前扩大。在此新常态下，教育教学已改变了旧的传统课堂形态，未来教育的新形态将是“线上线下+智能教育”。

在线教育中仍存在较大的弊端，在线教育的师生时空分离导致学生课堂情感分析缺失的问题，教师无法实时与学生交互，无法及时获取学生的认知状态、课堂专注度以及课堂效果。所以在线课堂中学生的情感状态获取、如何改善等问题是当前函待解决的，并且在情感状态中学生的专注度更是首要需要关注的重点，这直接代表了学生对课程的投入程度，对于实时反馈和课程评价都有着重要的意义。

国内涉及在线教育的专利有“一种基于教师背景的在线教育互动系统及方法”(202011633466.7)，该发明包括：用户意图识别模块，用于根据用户输入的文字\语音信息，识别用户聊天意图；场景提供模块，用于根据用户意图识别模块识别的用户聊天意图提供对应的互动场景模式，但该专利所述的深度学习模型中为解决激活函数反向修正时存在的问题。国家发明专利“一种督导式智能在线教学系统及其作用方法”(202110024436.4)，该系统包括通过网络连接的教师端和学生端，教师主机内安装在线教学软件，学生主机内安装在线教学软件，学生主机内设置写字板输入模块、写字板存储模块、信息发送模块，教师主机内设置信息接收模块、信息存储模块、信息展示模块、关键字提取模块、信息对比模块、计数模块、统计模块，但该专利中未详细说明在线督导的处理算法。

发明内容

为解决上述问题，本发明在卷积神经网络的基础上，提出了一种基于改进的卷积神经网络的在线教育学生专注力判别方法。考虑到不同图像人脸特征程度存在差异和防止图像特征过小无法计算这两种情况，本专利提出了非线性算法对原始图像进行缩放处理；同时，考虑到传统的Max Pooling池化和Average Pooling采用固定方式对图像进行处理不具有自适应的缺点，本专利提出了一种自适应池化算法，该算法在图像不同局部区域都具有优异的自适应性；另外，考虑到传统的sigmoid激活函数存在计算量大和反向传播时容易出现梯度消失的缺点，本专利提出了完全非线性激活函数(Completely non-linear，CNL)，可以提高网络的收敛速度和逻辑回归精度。为达此目的，本发明提供一种基于改进的卷积神经网络的在线教育学生专注力判别方法，具体步骤如下，其特征在于：

步骤1，采集训练样本：获取学生不同状态的图像，其中的状态包括：发呆、打哈欠、眨眼、打瞌睡、聚精会神和离开；

步骤2，样本预处理：提出非线性算法对原始图像进行缩放处理和对图像中的五官特征进行提取并制作相应的标签；

步骤3，模型离线训练：利用已标记的训练样本对改进的卷积神经网络进行训练，直至模型达到收敛条件；

步骤4，模型在线应用：将训练好的模型实际应用，实现对学生在线学习专注力的判别。

进一步，步骤2中所提出的非线性算法对原始图像进行缩放处理的计算过程为：

式中，o_s和z_s分别表示原始图像和缩放后图像的规格大小，s_min表示人为设置的最小缩放尺寸，本专利设置为16，d_min表示所检测的图像的最小规格，f表示缩放因子，本专利设置为0.6，n表示缩放的次数。

图像中眼睛区域提取的计算公式如下：

式中，x_rk、x_lk分别表示右眼和左眼的关键点横坐标，d_e表示两眼间的距离，w₁、w₂和w₃分别表示间距加权系数，本专利设置为0.63、0.81和0.50，y_lk表示左眼关键点的纵坐标，x_l和y_l分别表示所求的左眼框的左上角的横纵坐标。

同样的，用相同的计算原理提取嘴巴所在的区域。

进一步，步骤3中对改进的卷积神经网络进行训练的具体步骤为：

步骤3.1，将已标记的人脸图像输入到第一层卷积进行处理，获得滤波增强的图像；

步骤3.2，利用所提的自适应池化算法处理卷积层输出图像以获得降维后的图像，其中自适应池化算法的处理步骤可表述如下：

步骤3.2.1，确定池化层的规格大小m×n和池化层所在区域内图像像素点的值v₁、v₂、...、v_mn；

步骤3.2.2，利用e指数非线性映射求得各像素点对应的初始权重系数w₁、w₂、...、w_mn，其中

步骤3.2.3，对各初始权重系数w_i进行归一化处理以得到归一化的权重系数

计算公式如下：

步骤3.2.4，利用归一化的权重系数

对卷积层输出图像进行降维处理，得到池化后的像素点dr_j，计算公式如下：

步骤3.3，继续利用步骤3.1和步骤3.2所述的卷积-池化算法对图像进行进一步的处理，具体过程为：卷积-池化-卷积-池化，得到最后的特征图像；

步骤3.4，将特征图像以Flatten形式展开，并利用两层全连接层进行进一步降维处理；

步骤3.5，利用Softmax逻辑回归对降维后的图像进行分类识别，其中提出完全非线性激活函数(Completely non-linear，CNL)，CNL的表达式为：

式中，α为权重系数，本专利设置为0.01。

步骤3.6，重复步骤3.1～步骤3.5，直至损失函数收敛或者迭代达到既定次数100，其中的损失函数为交叉熵损失项与L2范数正则项之和。

本发明一种基于改进的卷积神经网络的在线教育学生专注力判别方法，有益效果：本发明的技术效果在于：

1.本发明提出了非线性算法对原始图像进行缩放处理，解决了在图像预处理阶段不同图像人脸特征程度存在差异和防止图像特征过小无法计算的两种情况；

2.本发明提出了一种自适应池化算法，该算法在图像不同局部区域都具有优异的自适应性，解决了传统的Max Pooling池化和Average Pooling采用固定方式对图像进行处理不具有自适应的缺点；

3.本发明提出了完全非线性激活函数(Completely non-linear，CNL)，解决了传统的sigmoid激活函数存在计算量大和反向传播时容易出现梯度消失的缺点，可以提高网络的收敛速度和逻辑回归精度。

附图说明

图1为本发明的流程图；

图2为本发明所用的改进的卷积神经网络的结构图。

具体实施方式

下面结合附图与具体实施方式对本发明作进一步详细描述：

本发明提出了一种基于改进的卷积神经网络的在线教育学生专注力判别方法，旨在实现对学生在线学习专注状态的判别，提高在线教育质量。图1为本发明的流程图，下面结合流程图对本发明的步骤作详细介绍。

步骤1，采集训练样本：获取学生不同状态的图像，其中的状态包括：发呆、打哈欠、眨眼、打瞌睡、聚精会神和离开；

步骤2，样本预处理：提出非线性算法对原始图像进行缩放处理和对图像中的五官特征进行提取并制作相应的标签；

步骤2中所提出的非线性算法对原始图像进行缩放处理的计算过程为：

式中，o_s和z_s分别表示原始图像和缩放后图像的规格大小，s_min表示人为设置的最小缩放尺寸，本专利设置为16，d_min表示所检测的图像的最小规格，f表示缩放因子，本专利设置为0.6，n表示缩放的次数。

图像中眼睛区域提取的计算公式如下：

式中，x_rk、x_lk分别表示右眼和左眼的关键点横坐标，d_e表示两眼间的距离，w₁、w₂和w₃分别表示间距加权系数，本专利设置为0.63、0.81和0.50，y_lk表示左眼关键点的纵坐标，x_l和y_l分别表示所求的左眼框的左上角的横纵坐标。

同样的，用相同的计算原理提取嘴巴所在的区域。

步骤3，模型离线训练：利用已标记的训练样本对改进的卷积神经网络进行训练，直至模型达到收敛条件；

步骤3中对改进的卷积神经网络进行训练的具体步骤为：

步骤3.1，将已标记的人脸图像输入到第一层卷积进行处理，获得滤波增强的图像；

步骤3.2，利用所提的自适应池化算法处理卷积层输出图像以获得降维后的图像，其中自适应池化算法的处理步骤可表述如下：

步骤3.2.1，确定池化层的规格大小m×n和池化层所在区域内图像像素点的值v₁、v₂、...、v_mn；

步骤3.2.2，利用e指数非线性映射求得各像素点对应的初始权重系数w₁、w₂、...、w_mn，其中

步骤3.2.3，对各初始权重系数w_i进行归一化处理以得到归一化的权重系数

计算公式如下：

步骤3.2.4，利用归一化的权重系数

对卷积层输出图像进行降维处理，得到池化后的像素点dr_j，计算公式如下：

步骤3.3，继续利用步骤3.1和步骤3.2所述的卷积-池化算法对图像进行进一步的处理，具体过程为：卷积-池化-卷积-池化，得到最后的特征图像；

步骤3.4，将特征图像以Flatten形式展开，并利用两层全连接层进行进一步降维处理；

步骤3.5，利用Softmax逻辑回归对降维后的图像进行分类识别，其中提出完全非线性激活函数(Completely non-linear，CNL)，CNL的表达式为：

式中，α为权重系数，本专利设置为0.01。

步骤3.6，重复步骤3.1～步骤3.5，直至损失函数收敛或者迭代达到既定次数100，其中的损失函数为交叉熵损失项与L2范数正则项之和。

步骤4，模型在线应用：将训练好的模型实际应用，实现对学生在线学习专注力的判别。

图2为本发明所用的改进的卷积神经网络的结构图，从该结构图中可以看出两大模块：图像预处理模块和改进的卷积神经网络模块。在图像预处理模块中采用了非线性的图像缩放处理技术以获得不同尺寸的图像，解决了在图像预处理阶段不同图像人脸特征程度存在差异和防止图像特征过小无法计算的两种情况；在改进的卷积神经网络模块中，网络的结构为卷积层1-自适应池化层1-卷积层2-自适应池化层2-卷积层3-自适应池化层3-全连接层1-全连接层2-softmax层，其中采用了自适应的池化算法，该算法在图像不同局部区域都具有优异的自适应性，解决了传统的Max Pooling池化和Average Pooling采用固定方式对图像进行处理不具有自适应的缺点，另外在全连接层2与softmax层中间采用了提出的完全非线性激活函数，解决了传统的sigmoid激活函数存在计算量大和反向传播时容易出现梯度消失的缺点，可以提高网络的收敛速度和逻辑回归精度。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作任何其他形式的限制，而依据本发明的技术实质所作的任何修改或等同变化，仍属于本发明所要求保护的范围。

Claims (1)

1.一种基于改进的卷积神经网络的在线教育学生专注力判别方法，具体步骤如下，其特征在于：

步骤1，采集训练样本：获取学生不同状态的图像，其中的状态包括：发呆、打哈欠、眨眼、打瞌睡、聚精会神和离开；

步骤2，样本预处理：提出非线性算法对原始图像进行缩放处理和对图像中的五官特征进行提取并制作相应的标签；

步骤2中所提出的非线性算法对原始图像进行缩放处理的计算过程为：

式中，o_s和z_s分别表示原始图像和缩放后图像的规格大小，s_min表示人

为设置的最小缩放尺寸，设置为16，d_min表示所检测的图像的最小规格，f

表示缩放因子，设置为0.6，n表示缩放的次数；

图像中眼睛区域提取的计算公式如下：

式中，x_rk、x_lk分别表示右眼和左眼的关键点横坐标，d_e表示两眼间的距离，w₁、w₂和w₃分别表示间距加权系数，设置为0.63、0.81和0.50，y_lk

表示左眼关键点的纵坐标，x_l和y_l分别表示所求的左眼框的左上角的横纵坐

标；

同样的，用相同的计算原理提取嘴巴所在的区域；

步骤3，模型离线训练：利用已标记的训练样本对改进的卷积神经网络进行训练，直至模型达到收敛条件；

步骤3中对改进的卷积神经网络进行训练的具体步骤为：

步骤3.1，将已标记的人脸图像输入到第一层卷积进行处理，获得滤波

增强的图像；

步骤3.2，利用所提的自适应池化算法处理卷积层输出图像以获得降维后的图像，其中自适应池化算法的处理步骤可表述如下：

步骤3.2.1，确定池化层的规格大小m×n和池化层所在区域内图像像素

点的值v₁、v₂、...、v_mn；

步骤3.2.2，利用e指数非线性映射求得各像素点对应的初始权重系数w₁、w₂、...、w_mn，其中

(i＝1,2,...,mn)；

步骤3.2.3，对各初始权重系数w_i进行归一化处理以得到归一化的权重

系数

计算公式如下：

步骤3.2.4，利用归一化的权重系数

对卷积层输出图像进行降维处理，

得到池化后的像素点dr_j，计算公式如下：

步骤3.3，继续利用步骤3.1和步骤3.2中算法对图像进行进一步的处理，

具体过程为：卷积-池化-卷积-池化，得到最后的特征图像；

步骤3.4，将特征图像以Flatten形式展开，并利用两层全连接层进行进

一步降维处理；

步骤3.5，利用Softmax逻辑回归对降维后的图像进行分类识别，其中提出完全非线性激活函数CNL，CNL的表达式为：

式中，α为权重系数，设置为0.01；

步骤3.6，重复步骤3.1～步骤3.5，直至损失函数收敛或者迭代达到既定

次数100，其中的损失函数为交叉熵损失项与L2范数正则项之和；

步骤4，模型在线应用：将训练好的模型实际应用，实现对学生在线学习专注力的判别。

Images