CN110751289A - 基于Bagging_BP算法的在线学习行为分析方法 - Google Patents

Abstract

本发明属于数据分析技术领域，具体涉及一种基于Bagging_BP算法的在线学习行为分析方法；该方法利用学习者在网络学习平台的学习数据，采用一种Bagging集成学习方法集成BP神经网络算法，通过学习者的学习行为训练算法，通过训练后的算法对新的学习者进行预测，进一步的通过预测的结果反馈给学习者对学习者的学习行为进行改进并提升学习者的学习效率和成绩；本发明提升了在线学习行为分析的准确率和效率，为学习者提供更加有效预测和反馈。

Description

基于Bagging_BP算法的在线学习行为分析方法

技术领域

本发明涉及数据分析领域，具体涉及一种基于Bagging_BP算法的在线学习行为分析方法。

背景技术

随着在线学习用户数量增多，学习效果收到愈来愈多师生的关注，然而大量的在线学习行为数据被积累，如何利用数据挖掘技术分析积累的大数据，从而为教学决策和学习优化提供服务，已成为新的研究重点。因此针对大规模的网络在线学习者，分析在线学习的行为特征，自动监督学习者的学习行为，评价其学习效果并将结果反馈给学习者，激发学习者的学习主动性，用以指导学习者进行有效的自主学习，是高校教学工作者和学习者关心的热点问题，也成为计算机智能信息处理的重要内容。但是现有对在线学习行为分析的方法都是使用单个算法进行分析，这样在数据过大的情况下会存在预测准确率低、预测效率低等问题，因此使用集成的学习方法能够更加高效的完成对在线学习行为数据的分析，给学习者反馈更高质量的预测信息。

发明内容

针对上述存在的问题，本发明提出一种基于Bagging_BP算法的在线学习行为分析方法，以提高预测准确率和预测效率。

为实现上述目的，本发明具体技术方案如下：一种基于Bagging_BP算法的在线学习行为分析方法，包括以下步骤：

1)从在线学习平台采集学习者的学习行为数据和学习成绩数据，其中，学习行为数据包括登录次数UN、停留时间ST、已浏览的媒体类型数MN、提交作业的次数SN、参与检测次数TN、浏览资源次数RN、下载资源次数DN、讨论发言次数TN和在线交流时间CN；学习成绩数据为在线学习平台上学习者的测试考核成绩，学习成绩的等级分为优秀EL、良好GL、中等ML、偏差PL；

2)构建学习行为特征向量S、学习成绩特征向量L和学习行为数据集X，其中，学习行为特征向量表示为：S＝(UN,ST,MN,SN,TN,RN,DN,TN,CN)；

学习成绩特征向量表示为：L＝(EL,GL,ML,PL)；学习行为数据集X由学习行为特征向量组成，表示为：X＝{S₁,S₂,…,S_n}；

3)对学习行为数据集X中的特征值进行归一化处理，即分别对学习行为特征值UN、ST、MN、SN、TN、RN、DN、TN、CN进行归一化处理，归一化处理的公式如下：

式中，x_i为学习行数据集X中的特征值，x_max、x_min分别为该特征值的最大值和最小值，r_i为该特征值的归一化结果；

4)用Bagging集成学习方法对学习行为数据集X进行自助采样，构建自助采样集Y；

5)对自助采样集Y按照9:1的比例分为训练数据集TR和验证数据集TE；

6)用Adam方法通过训练数据集TR对BP神经网络分类器进行分类训练；

7)预测学习成绩，即利用每一组训练好的BP神经网络对验证数据集TE进行验证，得到验证数据集TE中学习行为数据对应的学习成绩初始预测值h；

8)将初始预测值h按照多数投票法的结合策略进行结合，得到最终预测值H，其中，结合公式如下：

式中，

表示为H取

的最大值；

9)学习行为分析，即根据最终预测函数H与学习成绩的四个分类指标进行分析，得到分析结果。

进一步的，上述步骤4)中，对数据集X进行自助采样，构建自助采样集Y包括以下步骤：

4.1)从学习行为数据集X中按照有放回取样的方法随机取出一个样本S_i放入采样集y 中，经过m次随机采样操作，得到含有m个样本的采样集y；

4.2)依照此方法重复T次，得到T个包含m个训练样本的采样集y；

4.3)构建自助采样集Y，自助采样集Y由T个采样集y组成，表示为：

Y＝{y₁,y₂,...,y_T}。

进一步的，上述步骤6)中，对BP神经网络分类器进行分类训练，包括如下步骤：

6.1)确定BP神经网络的结构，即确定输入层节点数、输出层个数和隐含层节点数；其中，输入层节点数与学习行为特征向量S的维数相同，输出层个数与学习成绩特征向量L的维数相同，隐含层节点数由以下公式确定：

式中，n_i、n_o、n_h分别表示BP神经网络输入层、输出层和隐含层的节点数，α为[0,1]之间的随机数；

6.2)初始化BP神经网络输入层到隐含层权值w_ij、隐含层到输出层w_jk、阀值θ和学习率η的初始值以及迭代次数N；

6.3)计算隐含层的输出h_j，计算公式如下：

式中，f表示Sigmoid函数，H_j表示隐含层中第j个节点的输出，w_ij表示输入层第i个节点到隐含层第j个节点的权值，r_i表示输入层第i个节点的归一化输入，θ_j表示隐含层第j个节点的阀值；

6.4)计算输出层的输出O_k，计算公式如下：

式中，f表示Sigmoid函数，O_k表示输出层第k个节点的输出，h_j表示隐含层中第j个节点的输出，w_jk表示隐含层第j个节点到输出层第k个节点的权值，θ_k表示输出层第k个节点的阀值；

6.5)计算误差函数E，计算公式如下：

式中，Z_k为学习成绩类标即输出层第k个节点的期望输出，O_k表示输出层第k个节点的实际输出，m表示样本个数，E表示误差；

6.6)计算误差函数E与权值w_ij的梯度

计算公式如下：

6.7)计算误差函数E与权值w_jk的梯度

计算公式如下：

6.8)用Adam算法更新权值w_jk，公式如下：

式中，δ为数值稳定量，具体实施例中，δ取值为10^-8，

为更新衰减一阶动量值，

为更新衰减二阶动量值，

和

的计算公式如下：

式中，S为衰减一阶动量值，R为衰减二阶动量值，公式如下：

S＝ρ₁S+(1-ρ₁)G；

R＝ρ₂+(1-ρ₂)G²；

式中，ρ₁为一阶动量衰减系数，ρ₂为二阶动量衰减系数，具体实施例中，S和R的初始化值为0，ρ₁取值为0.9，ρ₂取值为0.999，G为m个样本梯度和的平均值，公式如下：

6.9)判断是否达到预设迭代次数N，如迭代次数达到N，则停止训练转步骤7)，否则转步骤6.3)继续训练。

进一步的，上述步骤9)中，学习行为分析如下：

9.1)学习成绩最终预测H为EL的学习者，将其学习行为推荐给学习成绩最终预测H为 PL的学习者；

9.2)学习成绩最终预测H为GL的学习者，将学习成绩最终预测H反馈给学习者以提醒学习者改进自己的学习行为；

9.3)学习成绩最终预测H为ML的学习者，将学习成绩最终预测H反馈给学习者以提醒学习者改进自己的学习行为；

9.4)学习成绩最终预测H为PL的学习者，将其学习成绩最终预测H反馈给学习者并推荐学习成绩最终预测H为EL的学习者的学习行为，以提醒这类学习者借鉴好的学习行为从而改进学习行为提升学习成绩。

进一步的，上述步骤6.8)中，更新衰减一阶动量值

的计算公式如下：

更新衰减二阶动量值

的计算公式如下：

式中，S为衰减一阶动量值，R为衰减二阶动量值，计算公式如下：

S＝ρ₁S+(1-ρ₁)G；

R＝ρ₂+(1-ρ₂)G²；

式中，ρ₁为一阶动量衰减系数，ρ₂为二阶动量衰减系数，G为m个样本梯度和的平均值。

本发明的有益效果在于克服神经网络训练时间长效率低下和准确率低下的问题，使得学习行为与学生成绩更精准的产生映射且提高了映射的准确率，从而使得学生可以预测自己现行的学习行为可能产生的学习成绩，并根据这个结果对自己的学习行为进行改善，提升自己的学习方法学习效率，最终提高自己的学习成绩。

附图说明

图1是学习行为分析流程图。

图2是训练BP流程图。

图3是预测结合流程图。

具体实施方式

下面结合附图以及具体实施例对本发明作进一步的说明，需要指出的是，下面仅以一种最优化的技术方案对本发明的技术方案以及设计原理进行详细阐述，但本发明的保护范围并不限于此。

所述实施例为本发明的优选的实施方式，但本发明并不限于上述实施方式，在不背离本发明的实质内容的情况下，本领域技术人员能够做出的任何显而易见的改进、替换或变型均属于本发明的保护范围。

如图1所示，发明提出一种基于Bagging_BP算法的在线学习行为分析方法，包括以下几个步骤：

1)从在线学习平台采集学习者学习行为数据和学习成绩数据，其中，学习行为数据包括登录次数UN、停留时间ST、已浏览的媒体类型数MN、提交作业的次数SN、参与检测次数 TN、浏览资源次数RN、下载资源次数DN、讨论发言次数TN和在线交流时间CN；学习成绩数据为在线学习平台上学习者的测试考核成绩，学习成绩的等级包括优秀EL、良好GL、中等ML、偏差PL；

2)构建学习行为特征向量S、学习成绩特征向量L和学习行为数据集X，其中，学习行为特征向量表示为：S＝(UN,ST,MN,SN,TN,RN,DN,TN,CN)，

学习成绩特征向量表示为：L＝(EL,GL,ML,PL)，学习行为数据集X由学习行为特征向量组成，表示为：X＝{S₁,S₂,…,S_n}；

3)对学习行为数据集X中的特征值进行归一化处理，即分别对特征值UN、ST、MN、SN、TN、RN、DN、TN、CN进行归一化处理，归一化处理的公式如下：

式中，x_i为学习行数据集X中的特征值，x_max、x_min分别为该特征值的最大值和最小值，r_i为该特征值的归一化结果；

4)用Bagging集成学习方法对学习行为数据集X进行自助采样，自助采样方法包括如下步骤：

4.1)从学习行为数据集X中按照有放回取样的方法随机取出一个样本S_i放入采样集y 中，经过m次随机采样操作，得到含有m个样本的采样集y；

4.2)依照此方法重复T次，得到T个包含m个训练样本的采样集y；

4.3)构建自助采样集Y，自助采样集Y由T个采样集y组成，表示为：

Y＝{y₁,y₂,...,y_T}；

5)对自助采样集Y按照9:1的比例分为训练数据集TR和验证数据集TE；

6)用Adam方法通过训练数据集TR对BP神经网络分类器进行分类训练，训练方法如图 2所示，包括如下步骤：

6.1)确定BP神经网络的结构，即确定输入层节点数、输出层个数和隐含层节点数；其中，输入层节点数与学习行为特征向量S的维数相同，输出层个数与学习成绩特征向量L的维数相同，隐含层节点数由以下公式确定：

式中，n_i、n_o、n_h分别表示BP神经网络输入层、输出层和隐含层的节点数，α为[0,1]之间的随机数；

6.2)初始化BP神经网络输入层到隐含层权值w_ij、隐含层到输出层w_jk、阀值θ和学习率η的初始值以及迭代次数N；具体实施例中，BP神经网络的初始权值w_ij和w_jk初始化为[0,1]之间的随机数，BP神经网络的阀值θ初始化为[0,1]之间的随机数，学习率η初始值为0.25，迭代次数N设置为10000次；

6.3)计算隐含层的输出h_j，计算公式如下：

式中，f表示Sigmoid函数，H_j表示隐含层中第j个节点的输出，w_ij表示输入层第i个节点到隐含层第j个节点的权值，r_i表示输入层第i个节点的归一化输入，θ_j表示隐含层第j个节点的阀值；

6.4)计算输出层的输出O_k，计算公式如下：

式中，f表示Sigmoid函数，O_k表示输出层第k个节点的输出，h_j表示隐含层中第j个节点的输出，w_jk表示隐含层第j个节点到输出层第k个节点的权值，θ_k表示输出层第k个节点的阀值；

6.5)计算误差函数E，计算公式如下：

式中，Z_k为学习成绩类标即输出层第k个节点的期望输出，O_k表示输出层第k个节点的实际输出，m表示样本个数，E表示误差；

6.6)计算误差函数E与权值w_ij的梯度

计算公式如下：

6.7)计算误差函数E与权值w_jk的梯度

计算公式如下：

6.8)用Adam算法更新权值w_jk，公式如下：

式中，δ为数值稳定量，具体实施例中，δ取值为10^-8，

为更新衰减一阶动量值，为更新衰减二阶动量值，

和

的计算公式如下：

式中，S为衰减一阶动量值，R为衰减二阶动量值，公式如下：

S＝ρ₁S+(1-ρ₁)G；

R＝ρ₂+(1-ρ₂)G²；

式中，ρ₁为一阶动量衰减系数，ρ₂为二阶动量衰减系数，具体实施例中，S和R的初始化值为0，ρ₁取值为0.9，ρ₂取值为0.999，G为m个样本梯度和的平均值，公式如下：

6.9)判断是否达到预设迭代次数N，如迭代次数达到N，则停止训练转步骤7)，否则转步骤6.3)继续训练；

7)预测学习成绩，如图3所示，预测方法为：利用每一组训练好的BP神经网络对验证数据集TE进行验证，得到验证数据集TE中学习行为数据对应的学习成绩初始预测值h；

8)将初始预测值h按照多数投票法的结合策略进行结合，得到最终预测值H，结合公式如下：

式中，

表示为H取

的最大值；

9)学习行为分析，根据最终预测函数H与学习成绩的四个分类指标进行分析，得到分析结果，其中，分析方法如下：

9.1)学习成绩最终预测H为EL的学习者，其学习行为具有一定的推荐性可将其学习行为推荐给学习成绩最终预测H为PL的学习者；

9.2)学习成绩最终预测H为GL的学习者，其学习行为存在一定的问题可将学习成绩最终预测H反馈给学习者以提醒学习者改进自己的学习行为；

9.3)学习成绩最终预测H为ML的学习者，其学习行为也存在一定的问题，可将学习成绩最终预测H反馈给学习者以提醒学习者改进自己的学习行为；

9.4)学习成绩最终预测H为PL预测学习成绩分类为偏差的学习者，其学习行为存在较大的问题，可将其学习成绩最终预测H反馈给学习者并推荐学习成绩最终预测H为EL的学习者的学习行为，以提醒这类学习者借鉴好的学习行为从而改进学习行为提升学习成绩。

Claims (5)

1.一种基于Bagging_BP算法的在线学习行为分析方法，其特征在于包括以下步骤：

1)从在线学习平台采集学习者的学习行为数据和学习成绩数据，其中，所述学习行为数据包括登录次数UN、停留时间ST、已浏览的媒体类型数MN、提交作业的次数SN、参与检测次数TN、浏览资源次数RN、下载资源次数DN、讨论发言次数TN和在线交流时间CN；所述学习成绩数据为在线学习平台上学习者的测试考核成绩，学习成绩的等级分为优秀EL、良好GL、中等ML、偏差PL；

2)构建学习行为特征向量S、学习成绩特征向量L和学习行为数据集X，其中，所述学习行为特征向量表示为：S＝(UN,ST,MN,SN,TN,RN,DN,TN,CN)；

所述学习成绩特征向量表示为：L＝(EL,GL,ML,PL)；所述学习行为数据集X由学习行为特征向量组成，表示为：X＝{S₁,S₂,…,S_n}；

3)对学习行为数据集X中的特征值进行归一化处理，即分别对学习行为特征值UN、ST、MN、SN、TN、RN、DN、TN、CN进行归一化处理，归一化处理的公式如下：

式中，x_i为学习行数据集X中的特征值，x_max、x_min分别为该特征值的最大值和最小值，r_i为该特征值的归一化结果；

4)用Bagging集成学习方法对学习行为数据集X进行自助采样，构建自助采样集Y；

5)对自助采样集Y按照9:1的比例分为训练数据集TR和验证数据集TE；

6)用Adam方法通过训练数据集TR对BP神经网络分类器进行分类训练；

7)预测学习成绩，即利用每一组训练好的BP神经网络对验证数据集TE进行验证，得到验证数据集TE中学习行为数据对应的学习成绩初始预测值h；

8)将初始预测值h按照多数投票法的结合策略进行结合，得到最终预测值H，其中，结合公式如下：

式中，

表示为H取

的最大值；

9)学习行为分析，即根据最终预测函数H与学习成绩的四个分类指标进行分析，得到分析结果。

2.如权利要求1所述的基于Bagging_BP算法的在线学习行为分析方法，其特征在于所述步骤4)中，对数据集X进行自助采样，构建自助采样集Y包括以下步骤：

4.1)从学习行为数据集X中按照有放回取样的方法随机取出一个样本S_i放入采样集y中，经过m次随机采样操作，得到含有m个样本的采样集y；

4.2)依照此方法重复T次，得到T个包含m个训练样本的采样集y；

4.3)构建自助采样集Y，自助采样集Y由T个采样集y组成，表示为：Y＝{y₁,y₂,...,y_T}。

3.如权利要求1所述的基于Bagging_BP算法的在线学习行为分析方法，其特征在于所述步骤6)中，对BP神经网络分类器进行分类训练，包括如下步骤：

6.1)确定BP神经网络的结构，即确定输入层节点数、输出层个数和隐含层节点数；其中，输入层节点数与学习行为特征向量S的维数相同，输出层个数与学习成绩特征向量L的维数相同，隐含层节点数由以下公式确定：

式中，n_i、n_o、n_h分别表示BP神经网络输入层、输出层和隐含层的节点数，α为[0,1]之间的随机数；

6.2)初始化BP神经网络输入层到隐含层权值w_ij、隐含层到输出层w_jk、阀值θ和学习率η的初始值以及迭代次数N；

6.3)计算隐含层的输出h_j，计算公式如下：

式中，f表示Sigmoid函数，H_j表示隐含层中第j个节点的输出，w_ij表示输入层第i个节点到隐含层第j个节点的权值，r_i表示输入层第i个节点的归一化输入，θ_j表示隐含层第j个节点的阀值；

6.4)计算输出层的输出O_k，计算公式如下：

式中，f表示Sigmoid函数，O_k表示输出层第k个节点的输出，h_j表示隐含层中第j个节点的输出，w_jk表示隐含层第j个节点到输出层第k个节点的权值，θ_k表示输出层第k个节点的阀值；

6.5)计算误差函数E，计算公式如下：

式中，Z_k为学习成绩类标即输出层第k个节点的期望输出，O_k表示输出层第k个节点的实际输出，m表示样本个数，E表示误差；

6.6)计算误差函数E与权值w_ij的梯度

计算公式如下：

6.7)计算误差函数E与权值w_jk的梯度

计算公式如下：

6.8)用Adam算法更新权值w_jk，公式如下：

式中，δ为数值稳定量，具体实施例中，δ取值为10^-8，为更新衰减一阶动量值，

为更新衰减二阶动量值，

和

的计算公式如下：

式中，S为衰减一阶动量值，R为衰减二阶动量值，公式如下：

S＝ρ₁S+(1-ρ₁)G；

R＝ρ₂+(1-ρ₂)G²；

式中，ρ₁为一阶动量衰减系数，ρ₂为二阶动量衰减系数，具体实施例中，S和R的初始化值为0，ρ₁取值为0.9，ρ₂取值为0.999，G为m个样本梯度和的平均值，公式如下：

6.9)判断是否达到预设迭代次数N，如迭代次数达到N，则停止训练转步骤7)，否则转步骤6.3)继续训练。

4.如权利要求1所述的基于Bagging_BP算法的在线学习行为分析方法，其特征在于所述步骤9)中，学习行为分析如下：

9.1)学习成绩最终预测H为EL的学习者，将其学习行为推荐给学习成绩最终预测H为PL的学习者；

9.2)学习成绩最终预测H为GL的学习者，将学习成绩最终预测H反馈给学习者以提醒学习者改进自己的学习行为；

9.3)学习成绩最终预测H为ML的学习者，将学习成绩最终预测H反馈给学习者以提醒学习者改进自己的学习行为；

9.4)学习成绩最终预测H为PL的学习者，将其学习成绩最终预测H反馈给学习者并推荐学习成绩最终预测H为EL的学习者的学习行为，以提醒这类学习者借鉴好的学习行为从而改进学习行为提升学习成绩。

5.如权利要求3所述的基于Bagging_BP算法的在线学习行为分析方法，其特征在于所述步骤6.8)中，更新衰减一阶动量值

的计算公式如下：

更新衰减二阶动量值

的计算公式如下：

式中，S为衰减一阶动量值，R为衰减二阶动量值，计算公式如下：

S＝ρ₁S+(1-ρ₁)G；

R＝ρ₂+(1-ρ₂)G²；

式中，ρ₁为一阶动量衰减系数，ρ₂为二阶动量衰减系数，G为m个样本梯度和的平均值。

Images