CN110458206A - 一种基于深度学习的注意行为模型 - Google Patents

Abstract

本发明公开了一种基于深度学习的注意行为模型，包括数据采集单元、深度学习算法单元以及结果显示单元，所述数据采集模块至少包括一个摄像头和键盘模块，所述深度学习算法模块至少包括一个处理器，所述结果显示单元至少包括一个显示器，所述数据采集单元采集到的数据传送到所述深度学习算法单元的输入端，所述深度学习算法模块的输出端连接到所述结果显示单元的输入端，所述键盘模块的输出端与所述深度学习算法模块的输入端通过数据线连接。所述深度学习算法模块的内部通过编程软件装有深度学习算法。本发明通过建立这个深度学习的注意行为模型，对学生的个人行为进行分析，在学生分心、开小差的时候能够及时的提醒到学生。

Description

一种基于深度学习的注意行为模型

技术领域

本发明涉及深度学习技术领域，尤其涉及一种基于深度学习的注意行为 模型。

背景技术

现有的中学教育都是老师在讲台上教授课本内容，学生坐在课桌上听讲， 但是有时候学生上课的时候容易走神或者发呆，老师在讲台上并不能直接了 解到学生的神态，当讲到重点内容时，如果发呆容易学生造成不够了解教学 内容，老师不能时刻提醒到走神的学生。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种基于深度学习的注意行为模型， 解决了现在中学教育体系中，学生在走神的状况下，老师不能快速了解到学 生的神态的问题。

(二)技术方案

为实现上述目的，本发明提供如下技术方案：一种基于深度学习的注意 行为模型，包括数据采集单元、深度学习算法单元以及结果显示单元，所述 数据采集模块至少包括一个摄像头和键盘模块，所述深度学习算法模块至少 包括一个处理器，所述结果显示单元至少包括一个显示器，所述数据采集单 元采集到的数据传送到所述深度学习算法单元的输入端，所述深度学习算法 模块的输出端连接到所述结果显示单元的输入端，所述键盘模块的输出端与 所述深度学习算法模块的输入端通过数据线连接。

优选的，所述深度学习算法模块的内部通过编程软件装有深度学习算法， 所述深度学习算法的工作方法包括如下步骤：

(1)构建注意行为特征库：首先利用数据采集单元不停的拍摄被注意人 的行为日常，并且将拍摄的图像传送到深度学习算法模块，然后通过键盘模 块对这些图像进行分类，构建注意行为图谱，选出注意行为的特征描述作为 研究对象构建注意行为特征库，构建出不同的注意行为的特征描述，为深度 学习网络模型对注意行为图像识别的准确度提供视觉依据；

(2)注意行为图像特征库的构建：根据注意行为图谱分类，编写爬虫软 件在权威图库中按照常见的注意行为类别下载图像，经过数据清洗，得到有 效图像，构建了注意行为图像数据库

(3)注意行为图像识别模型构建与分析：包括如下步骤：

(A)：首先从注意行为特征库中取出样本图像，进行数据扩增，先应用 双线性插值方法将图像缩小到256×256大小，然后按照224×224大小截取 图像中左上角、右上角、左下角、右下角和中间部分图像块，最后将截取后 的图像块进行水平翻转，总共有10张子图像块输入到卷积网络模型的第一卷 积层，达到数据集扩增效果；

(B)：数据扩增后进行ReLU非线性激活，激活后进行归一化处理，归 一化处理是为了提高模型的泛化能力；然后再将数据输入到第二、第三卷积 层，第二、第三卷积层直接相连，在进行归一化层和池化层之后，启用了9 个Inception模块，模型在不同深度处增加了两个辅助性的分类量词来保证 梯度回传消失；在初期模块操作之后，经过平均池化，降低特征维度，最后 进行一个1024个神经元的全连接层和一个8类别输出的softmax函数，softmax函数产生8个注意行为类别的概率值，使用Top-1错误率，即将网络 输出的8个概率值中最高值映射为1，表示深度学习网络将输入图像识别为该 类，其余7个概率值映射为0，表示该输入图像不属于这些类别，最终测试 值和真值进行比较，判别网络图像识别是否准确。

优选的，在步骤(3)中的步骤(A)中，第一卷积层使用的卷积核大小 为7×7，步长为2，一共设置了64个卷积核，生成64幅特征图；第一卷积 层之后连接的是最大池化层，在卷积层输出基础上用64个大小为3×3的滤 波核来降低学习特征的维数，并使池化后的特征表达具有一定的平移不变性， 在平均意义上，与平均池化层近似，在局部意义上，则服从最大池化层的准 则，最大池化层的结果是使得特征减少，参数减少，最大池化层目的是为了 保持某种不变性。

优选的，在步骤(3)中的步骤(B)中，第二卷积层使用了64个卷积核， 大小为1×1，步长为1。第三卷积层使用了192个卷积核，大小为3×3，步 长为1。

优选的，在步骤(3)中，所述卷积网络模型的梯度反向传播过程中，第 l层的梯度定义如式(1)所示：

其中w_l第l层的滤波权值参数，b_l是l层的偏置，y_l是第l层输出特征图像， f(·)是激活函数，f′是f的梯度，权值w_l和偏置b_l的更新如式(2)、(3)所示：

其中μ为动量变量，α是动量因子，是权重延时，η为学习率，是目标函数L对w在第i次迭代下批量样本D_i的平均梯度。

优选的，所述学习率η的计算公式如式(4)所示：

其中base_lr＝0.01，power＝0.5，t是当前迭代次数，T是最大迭代次数。

(三)有益效果

本发明提供了一种基于深度学习的注意行为模型，具备有以下有益效果： 本发明基于深度学习的机器学习技术为图像自动识别提供了强有力的支持。 与传统手工提取图像特征进行图像分类和识别的方式不同，深度学习通过建 立类似于人脑的分层模型结构，自动对输入图像逐级提取从底层到高层的特 征，从而能很好地建立从底层信号到高层语义的映射关系。深度学习应用于 图像识别不但大大提升了准确性，而且避免了人工特征抽取的时间消耗，从 而大大提高了在线计算效率，适合于学生行为的自动识别与分类。本发明根 据注意行为图谱分类，选出常见的8类行为类别，通过数据采集模块不断的 采集到图像数据，经过数据清洗，得到注意行为图像库。本发明采用深度卷 积神经网络网络模型，使用数据集扩增(Data augmentation)技术，运用 fine-tune方法将注意行为图像输入模型中进行训练，再用不同于训练集中的 图像数据集进行网络测试，达到收敛为止。该网络模型识别精度高，可为学 生行为远程自动诊断提供关键技术支持。通过对学生行为的不断分析，将学 生的行为进行分类，当学生出现分心、开小差或者发呆的时候，能够及时提 醒到学生，使老师督促学生恢复正常上课的状态。

具体实施方式

下面将对本发明实施例中的技术方案进行清楚、完整地描述，显 然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施 例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性 劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

现提出下述实施例：一种基于深度学习的注意行为模型，包括数据采集 单元、深度学习算法单元以及结果显示单元，所述数据采集模块至少包括一 个摄像头和键盘模块，所述深度学习算法模块至少包括一个处理器，所述结 果显示单元至少包括一个显示器，所述数据采集单元采集到的数据传送到所 述深度学习算法单元的输入端，所述深度学习算法模块的输出端连接到所述 结果显示单元的输入端，所述键盘模块的输出端与所述深度学习算法模块的 输入端通过数据线连接。

优选的，所述深度学习算法模块的内部通过编程软件装有深度学习算法， 所述深度学习算法的工作方法包括如下步骤：

(1)构建注意行为特征库：首先利用数据采集单元不停的拍摄被注意人 的行为日常，并且将拍摄的图像传送到深度学习算法模块，然后通过键盘模 块对这些图像进行分类，构建注意行为图谱，选出注意行为的特征描述作为 研究对象构建注意行为特征库，构建出不同的注意行为的特征描述，为深度 学习网络模型对注意行为图像识别的准确度提供视觉依据；

(2)注意行为图像特征库的构建：根据注意行为图谱分类，编写爬虫软 件在权威图库中按照常见的注意行为类别下载图像，经过数据清洗，得到有 效图像，构建了注意行为图像数据库

(3)注意行为图像识别模型构建与分析：包括如下步骤：

(A)：首先从注意行为特征库中取出样本图像，进行数据扩增，先应用 双线性插值方法将图像缩小到256×256大小，然后按照224×224大小截取 图像中左上角、右上角、左下角、右下角和中间部分图像块，最后将截取后 的图像块进行水平翻转，总共有10张子图像块输入到卷积网络模型的第一卷 积层，达到数据集扩增效果，第一卷积层使用的卷积核大小为7×7，步长为 2，一共设置了64个卷积核，生成64幅特征图；第一卷积层之后连接的是最 大池化层，在卷积层输出基础上用64个大小为3×3的滤波核来降低学习特 征的维数，并使池化后的特征表达具有一定的平移不变性，在平均意义上， 与平均池化层近似，在局部意义上，则服从最大池化层的准则，最大池化层 的结果是使得特征减少，参数减少，最大池化层目的是为了保持某种不变性；； 所述卷积网络模型的梯度反向传播过程中，第l层的梯度定义如式(1)所示：

其中w_l第l层的滤波权值参数，b_l是l层的偏置，y_l是第l层输出特征图像， f(·)是激活函数，f′是f的梯度，权值w_l和偏置b_l的更新如式(2)、(3)所示：

其中μ为动量变量，α是动量因子，是权重延时weight decay，η为学 习率，是目标函数L对w在第i次迭代下批量样本D_i的平均梯度。其中 所述学习率η的计算公式如式(4)所示：

其中base_lr＝0.01，power＝0.5，t是当前迭代次数，T是最大迭代次数。

(B)：数据扩增后进行ReLU非线性激活，激活后进行归一化处理，归 一化处理是为了提高模型的泛化能力；然后再将数据输入到第二、第三卷积 层，第二、第三卷积层直接相连，在进行归一化层和池化层之后，启用了9 个Inception模块，模型在不同深度处增加了两个辅助性的分类量词来保证 梯度回传消失；在初期模块操作之后，经过平均池化，降低特征维度，最后 进行一个1024个神经元的全连接层和一个8类别输出的softmax函数，softmax函数产生8个注意行为类别的概率值，使用Top-1错误率，即将网络 输出的8个概率值中最高值映射为1，表示深度学习网络将输入图像识别为该 类，其余7个概率值映射为0，表示该输入图像不属于这些类别，最终测试值 和真值进行比较，判别网络图像识别是否准确。

本发明基于深度学习的机器学习技术为图像自动识别提供了强有力的支 持。与传统手工提取图像特征进行图像分类和识别的方式不同，深度学习通 过建立类似于人脑的分层模型结构，自动对输入图像逐级提取从底层到高层 的特征，从而能很好地建立从底层信号到高层语义的映射关系。深度学习应 用于图像识别不但大大提升了准确性，而且避免了人工特征抽取的时间消耗， 从而大大提高了在线计算效率，适合于学生行为的自动识别与分类。本发明 根据注意行为图谱分类，选出常见的8类行为类别，通过数据采集模块不断 的采集到图像数据，经过数据清洗，得到注意行为图像库。本发明采用深度 卷积神经网络网络模型，使用数据集扩增(Data augmentation)技术，运用 fine-tune方法将注意行为图像输入模型中进行训练，再用不同于训练集中的 图像数据集进行网络测试，达到收敛为止。该网络模型识别精度高，可为学 生行为远程自动诊断提供关键技术支持。通过对学生行为的不断分析，将学 生的行为进行分类，当学生出现分心、开小差或者发呆的时候，能够及时提 醒到学生，使老师督促学生恢复正常上课的状态。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来 将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示 这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、 “包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系 列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明 确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有 的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素， 并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同 要素。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而 言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行 多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限 定。

Claims (6)

1.一种基于深度学习的注意行为模型，其特征在于：包括数据采集单元、深度学习算法单元以及结果显示单元，所述数据采集模块至少包括一个摄像头和键盘模块，所述深度学习算法模块至少包括一个处理器，所述结果显示单元至少包括一个显示器，所述数据采集单元采集到的数据传送到所述深度学习算法单元的输入端，所述深度学习算法模块的输出端连接到所述结果显示单元的输入端，所述键盘模块的输出端与所述深度学习算法模块的输入端通过数据线连接。

2.根据权利要求1所述的一种基于深度学习的注意行为模型，其特征在于：所述深度学习算法模块的内部通过编程软件装有深度学习算法，所述深度学习算法的工作方法包括如下步骤：

(1)构建注意行为特征库：首先利用数据采集单元不停的拍摄被注意人的行为日常，并且将拍摄的图像传送到深度学习算法模块，然后通过键盘模块对这些图像进行分类，构建注意行为图谱，选出注意行为的特征描述作为研究对象构建注意行为特征库，构建出不同的注意行为的特征描述，为深度学习网络模型对注意行为图像识别的准确度提供视觉依据；

(2)注意行为图像特征库的构建：根据注意行为图谱分类，编写爬虫软件在权威图库中按照常见的注意行为类别下载图像，经过数据清洗，得到有效图像，构建了注意行为图像数据库

(3)注意行为图像识别模型构建与分析：包括如下步骤：

(A)：首先从注意行为特征库中取出样本图像，进行数据扩增，先应用双线性插值方法将图像缩小到256×256大小，然后按照224×224大小截取图像中左上角、右上角、左下角、右下角和中间部分图像块，最后将截取后的图像块进行水平翻转，总共有10张子图像块输入到卷积网络模型的第一卷积层，达到数据集扩增效果；

(B)：数据扩增后进行ReLU非线性激活，激活后进行归一化处理，归一化处理是为了提高模型的泛化能力；然后再将数据输入到第二、第三卷积层，第二、第三卷积层直接相连，在进行归一化层和池化层之后，启用了9个Inception模块，模型在不同深度处增加了两个辅助性的分类量词来保证梯度回传消失；在初期模块操作之后，经过平均池化，降低特征维度，最后进行一个1024个神经元的全连接层和一个8类别输出的softmax函数，softmax函数产生8个注意行为类别的概率值，使用Top-1错误率，即将网络输出的8个概率值中最高值映射为1，表示深度学习网络将输入图像识别为该类，其余7个概率值映射为0，表示该输入图像不属于这些类别，最终测试值和真值进行比较，判别网络图像识别是否准确。

3.根据权利要求2所述的一种基于深度学习的注意行为模型，其特征在于：在步骤(3)中的步骤(A)中，第一卷积层使用的卷积核大小为7×7，步长为2，一共设置了64个卷积核，生成64幅特征图；第一卷积层之后连接的是最大池化层，在卷积层输出基础上用64个大小为3×3的滤波核来降低学习特征的维数，并使池化后的特征表达具有一定的平移不变性，在平均意义上，与平均池化层近似，在局部意义上，则服从最大池化层的准则，最大池化层的结果是使得特征减少，参数减少，最大池化层目的是为了保持某种不变性。

4.根据权利要求2所述的一种基于深度学习的注意行为模型，其特征在于：在步骤(3)中的步骤(B)中，第二卷积层使用了64个卷积核，大小为1×1，步长为1。第三卷积层使用了192个卷积核，大小为3×3，步长为1。

5.根据权利要求2所述的一种基于深度学习的注意行为模型，其特征在于：在步骤(3)中，所述卷积网络模型的梯度反向传播过程中，第l层的梯度定义如式(1)所示：

其中ω_l第l层的滤波权值参数，b_l是l层的偏置，y_l是第l层输出特征图像，f(·)是激活函数，f′是f的梯度，权值ω_l和偏置b_l的更新如式(2)、(3)所示：

其中μ为动量变量，α是动量因子，是权重延时，η为学习率，是目标函数L对ω在第i次迭代下批量样本D_i的平均梯度。

6.根据权利要求5所述的一种基于深度学习的注意行为模型，其特征在于：所述学习率η的计算公式如式(4)所示：

其中base_lr＝0.01，power＝0.5，t是当前迭代次数，T是最大迭代次数。