具体实施方式
为了便于理解本发明,下面将参照说明书附图对本发明的具体实施例进行更详细的描述。
除非特别说明或另有定义,本文所使用的所有技术和科学术语与所属技术领域的技术人员通常理解的含义相同。在结合本发明的技术方案以现实的场景的情况下,本文所使用的所有技术和科学术语也可以具有与实现本发明的技术方案的目的相对应的含义。本文所使用的“第一、第二…”仅仅是用于对名称的区分,不代表具体的数量或顺序。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
需要说明的是,当元件被认为“固定于”另一个元件,它可以是直接固定在另一个元件上,也可以是存在居中的元件;当一个元件被认为是“连接”另一个元件,它可以是直接连接到另一个元件,也可以是同时存在居中元件;当一个元件被认为是“安装在”另一个元件,它可以是直接安装在另一个元件,也可以是同时存在居中元件。当一个元件被认为是“设在”另一个元件,它可以是直接设在另一个元件,也可以是同时存在居中元件。
除非特别说明或另有定义,本文所使用的“所述”、“该”为相应位置之前所提及或描述的技术特征或技术内容,该技术特征或技术内容与其所提及的技术特征或技术内容可以是相同的,也可以是相似的。此外,本文所使用的术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
毫无疑义,与本发明的目的相违背,或者明显矛盾的技术内容或技术特征,应被排除在外。
如图1所示,本发明实施例公开一种基于机器学习的学习评价方法。该方法的执行主体可为如计算机电脑、笔记本电脑、平板电脑等电子设备,或内嵌于电子设备中的基于机器学习的学习评价装置,本发明对此不作限定。该方法包括以下步骤110~150:
110、对若干历史学情数据进行标注,获得每个历史学情数据的标签信息。
在该步骤中,收集历史学情数据,形成包括涵盖情感态度、课程学习、协作学习、学习结果方面的相关20个评价有关指标的指标特征值。评价指标实现自动获取并且量化,消除人为主观性以及大量劳动带来的不稳定性,保证了评价的适应面和可操作性。然后,通过专家标注,即根据教师经验以及实际学习情况,给出评价结果(即标注信息),作为训练模型和测试模型的依据。
优选的,在获取用户对每个历史学情数据的标注信息之后,可以根据标注信息生成每个历史学情数据的独热(one-hot)编码作为标签信息。该独热编码可表示为:OneHotEncoder().fit_transform(ya.reshape(-1,1))。通过采用独热编码进行数据的分类标注,可以让特征之间的距离计算更加合理,避免不同标签信息之间干扰计算,使计算结果更加准确。
由于数据并不一定满足正态分布,可通过Normalization特征正则化处理normalize(X,axis=0,norm='max'),将数据归到制定的区间[0,1]内,该Normalization特征正则化方法不受任何特定分布的约束,可以在一定程度上抑制了异常值的影响。正则化处理公式如式(1)所示:
其中X为原始数据(即历史学情数据中的各个指标特征值),Xmin和Xmax为其中的最大值和最小值,Xnorm为正则化结果。
在正则化处理后,将历史学情数据划分:train_test_split(X,y,test_size=0.2,random_state=1),将80%的历史学情数据作为训练集用于模型训练,20%的历史学情数据作为测试集用于模型测试。
120、根据历史学情数据及其标签信息,对线性回归模型进行有监督训练获得评分模型。
其中,评分模型用于评价学生的总评分,采用多级线性回归模型Multi_level_LinearRegression()。线性回归的基本思想是建立评价指标与评价得分的线性关系。在评分模型中,多级线性回归可以用于拟合不同级别的特征,特征包括一级指标和二级指标,将这些特征映射到对应的分数上;多级评分将影响评价结论的一级指标再细分二级指标,先对二级指标评价得到各个一级指标结论,再对一级指标综合评价得带最终结论。
例如,当我们需要对一个学生的学习综合情况进行评价时,使用线性回归模型将学生的情感态度、课程学习、协作学习、学习结果等一级指标转化为一个综合评分。其中,情感态度特征由登录次数、学习反思个数、提出问题次数、笔记字数、上传/下载资源次数等二级指标综合评分;课程学习特征由登录平台时长、观看视频总时长、近三次作业平均分、观看视频个数以及笔记测评完成作业次数、预习任务清单正确率、参与小组任务次数等二级指标综合评分;协作学习特征由担任任务组长次数、回答问题次数、查看问题次数、小组任务完成度等二级指标综合评分;学习结果特征由近三次测评结果平均分、学习进度、学习反思总字数、拓展知识完成度、回答问题被点赞数等二级指标综合评分。
线性回归模型的可解释性非常好,可以帮助理解模型对于评价结果的贡献,从而对模型进行改进和优化。线性回归模型通过对现有样本进行回归,进而计算出回归系数以确定线性的评分模型,最后使用该评分模型对未知样本进行预测。其中,该线性回归模型如式(2)所示:
其中xi表示第i个特征值(即一级指标或二级指标的值),wi表示第i个特征对应的权重系数,b表示偏置值,y表示预测分数。
在具体实践中,可以使用LinearRegression类创建了一个线性回归模型,并使用fit()方法对该线性回归模型进行训练。在训练完成后,通过访问模型的coef_属性和intercept_属性来获取模型的参数。其中,coef_属性包含输入的特征的权重系数;intercept_属性包含模型的截距参数,也就是模型的偏置值。
在训练完成后,得到的每个一级指标相应的二级指标特征回归系数和偏置值如表1所示。一级指标特征回归系数和偏置值如表2所示。
表1二级指标线性回归系数表
表2一级指标线性回归系数表
作为一种可选的实施例,在执行步骤110之后,还可以根据历史学情数据及其标签信息,对随机森林模型RandomForestRegressor()进行有监督训练获得评级模型。该评级模型用于评价学生的总评等级。
随机森林是一种基于决策树的集成学习方法,它可以处理高维、非线性和复杂的数据,并且具有很好的泛化能力。在多级学习评价模型中,随机森林可以用于构建多个决策树,并将它们的预测结果进行加权平均,从而得到最终的评价结果。相对于单一的决策树模型,随机森林具有更好的鲁棒性和稳定性,可以有效避免过拟合问题,并且可以处理不平衡数据集的情况。
随机森林算法的基本思想是:通过集成学习的思想将多棵树集成,它的基本单元是决策树,每棵决策树都是一个分类器,对于一个输入样本,N棵树会有N个分类结果。而随机森林集成了所有的分类投票结果,将投票次数最多的类别指定为最终的输出。
在训练评级模型的过程中,可以采用测试集对模型性能进行评估,以保证训练模型的有效性。优选的,用于性能评估的评估指标包括均方误差(mean-squareerror,MSE)和决定系数R2。其中,均方误差MSE,是指模型预测结果与实际观测值之间差的平方的均值。它衡量了模型的预测值和真实值之间的平均偏差程度,因此可以用来评估模型的准确性。具体来说,均方误差越小,表示模型预测结果与实际观测值越接近,模型的拟合效果越好。
均方误差MSE的计算如式(3)所示:
MSE取值范围[0,+∞),m为元素个数,当标注值yi与预测值完全吻合时等于0,即完美模型;误差越大,该值越大。本模型得到的训练模型MSE值为0.002,测试模型MSE值为0.011。
决定系数R2,如式(4)所示:
其中,yi为标准值、为预测值、/>为预测值均值。R2值为0-1,代表模型的好坏程度。本模型得到的训练模型R2值为0.070。
均方差可以评估模型的准确性,而决定系数可以评估模型的解释能力。同时使用这两个指标,可以更全面地评估模型的拟合效果。
从评估结果可以看出,本学习评价模型具有很好的有效性。
130、获取用户的当前学习时长以及多个当前学情数据。
在实际应用中,可以以预设时间间隔获取用户的当前学习时长以及多个当前学情数据,进行学习评价。或者,也可以在检测到用户输入的学习评价指令时,获取用户的当前学习时长以及多个当前学情数据,进行学习评价。
140、根据预设学习总时长、当前学习时长和当前学情数据,计算获得用户的多个学情目标预测值。其中,多个学情目标预测值与多个当前学情数据一一对应。
为保证评价可以嵌入学习过程,即在学习过程中随时可以对当前学习行为进行评价,需要实时采集到的用户的当前学情数据进行换算处理。也即,在学习过程中,将需要累积的用户的多个当前学情数据换算成一一对应的多个学情目标预测值,该学情目标预测值视为基于当前学习行为和进度得到最终学情数据预测。
其中,需要累积的多个当前学情数据包括表1中的多个二级指标的值。如表1中的:登录次数、学习反思个数、提出问题次数、笔记字数、上传/下载资源次数、登录平台时长、观看视频总时长、观看视频个数以及笔记测评完成作业次数、参与小组任务次数、担任任务组长次数、回答问题次数、查看问题次数、学习进度、学习反思总字数、回答问题被点赞数。
其余的特定二级指标,包括近三次作业平均分、预习任务清单正确率、小组任务完成度、近三次测评结果平均分、拓展知识完成度则不需要换算。其对应的值可以直接作为其对应的学情目标预测值参与评分计算。
因此在执行步骤140之前,还可以先判断多个当前学情数据是否包括上述的特定二级指标,该特定二级指标携带有无需换算的提示信息;若属于,则直接将各个当前学情数据作为其对应的学情目标预测值;若不属于,则执行步骤140,对当前学情数据进行换算处理。
对于各个二级指标的值进行换算,可获得各个二级指标对应的学情目标预测值,以此进行学习行为评价,作为指导下一步学习的依据。具体的,可以通过以下公式(5)计算获得用户的多个学情目标预测值:
其中,Df为学情目标预测值,Dn为当前学情数据(即二级指标的值),Tf为预设学习总时长,Tn为当前学习时长。一般预设学习总时长为教学总天数,例如一个学期18周共126天,而当前学习时长为当前开课天数。
如评价某同学某科目的总评价时,该科目学习总时长Tf即教学总天数为18周共126天,当前日期为4月23日,距离开学日2月17日共67天,即当前学习时长Tn为67。下面分别以表1所示的以下三个二级指标“观看视频总时长”、“回答问题次数”和“学习反思总字数”进行举例说明。
举例来说,在换算“观看视频总时长”指标时,同学A当前观看视频累计350分钟,则其“观看视频总时长”指标的学情目标预测值为(分钟);同学B在同日观看视频累计320分钟,同理则其“观看视频总时长”指标的学情目标预测值为602分钟;过了10天,同学A的观看视频时长没有增加,而当前学习时长增加了10天,则其观看视频预测时长的学情目标预测值会随着教学时间进度推进下降为/>(分钟)。
再举例来说,在换算“回答问题次数”指标时,同学A当前回答问题次数为12次,则其“回答问题次数”指标的学情目标预测值为次;过了10天,同学A的回答问题次数为15次,则其“回答问题次数”指标的学情目标预测值随着学习行为变化,预测为次。
又举例来说,在换算“学习反思总字数”指标时,同学A当前学习反思字数为2800字,则其“学习反思总字数”指标的学情目标预测值为 字;过了10天,同学A的学习反思字数为2900字,则其“学习反思总字数”指标的学情目标预测值随着学习行为变化,预测为/>字。
由上述指标数据换算预处理过程可见,在学生学习过程中,针对各个二级指标的学情目标预测值随着学习行为变化不断变化,最终的预测学习评价也会不同,从而实现嵌入式的学习评价,帮助指导调整学习行为。
作为一种可选的实施方式,在执行步骤140之前,还可以先在用户操作界面上输出评分提示信息和评级提示信息;若在预设时长(如10秒或20秒)内检测到用户输入的针对评分提示信息的选择指令时,执行步骤140。
进一步优选的,若在预设时长内检测到用户输入的针对评级提示信息的选择指令时,则利用上述对随机森林模型进行有监督训练所获得的评级模型、根据多个学情目标预测值计算获得用户的总评等级。
150、利用评分模型根据多个学情目标预测值,计算获得用户的评价分数。
在实际应用中,可能采集的某一用户的多个当前学情数据未包括表1中所列的全部二级指标,例如仅包括表1所列的部分二级指标时。可以仅针对采集到的二级指标的值进行计算。
具体的在步骤150中,可包括以下步骤1501~1504:
1501、确定各个学情目标预测值对应的学情类别。
其中,用户的多个当前学情数据包括多个二级指标的值,相应的,学情类别可包括多个二级指标对应的一级指标。
1502、根据评分模型的模型参数,确定各个学情类别对应的第一偏置值、各个学情目标预测值对应的第一权重系数、各个学情类别对应的第二权重系数、第二偏置值。
1503、根据各个学情类别对应的第一偏置值、各个学情目标预测值及其对应的第一权重系数,计算获得用户在各个学情类别下的类别指标值。
各个一级指标的值(即类别指标值)由其包含的二级指标的值进行计算。步骤1503中,可根据式(2)得到下式(6),通过式(6)计算用户在各个学情类别下的类别指标值,也即,将各个学情类别下的各个学情目标预测值作为特征值、以及表1中相应的一级指标的偏置值,输入式(6)计算获得用户在各个学情类别下的类别指标值,该类别指标值指的是对应的一级指标的值。
式中,wj代表第j个一级指标的值,b1j代表第j个一级指标对应的第一偏置值,wi代表第j个一级指标下的第i个二级指标的值,xi代表第j个一级指标下的第i个二级指标的值对应的第一权重系数。
1504、根据第二偏置值、各个类别指标值及其对应的第二权重系数,计算获得用户的评价分数。
步骤1504中,可根据式(2)得到下式(7),通过式(7)计算用户的评价分数。也即,将各个类别指标值作为特征值、以及表2中的偏置值输入式(7)计算获得用户的评价分数。
式中,s代表用户的评价分数,b2代表第二偏置值,wj代表第j个一级指标的值,xj代表第j个一级指标对应的第二权重系数。
为了验证评价结果的准确度,由教育专家和任课教师组成10人专家小组对学情数据进行评判,得出评价结果,与训练模型得到的评价结果相比对。
专家组评价采用delphi方法,也就是专家调查法。delphi方法利用专家的知识和经验,在对新技术进行评估时是一种有效的方法,也是唯一可选用的调查方法。
首先将学情数据中考虑的4个一级指标和20个二级指标向专家组介绍,明确本次评价的目标是得出总的学习评价得分与等级。然后专家组每位专家独立匿名评价。收集专家组的评价,对其中评价结果有较大差异的部分学情数据打乱,再次分别征询意见、收集评价结果。如此反复进行三轮匿名评价。最后对所有专家所有学情数据的末次评价整理统计,采用中位数法,得到专家组的最终评价得分与等级。
delphi方法能使每一位专家独立自由地作出自己的判断,经过预测过程几轮反馈,使专家的意见逐渐趋同。克服了在专家会议法中经常发生的专家们不能充分发表意见、权威人物的意见左右其他人的意见等弊病,各位专家能真正充分地发表自己的预测意见。
基于随机森林模型得到的评价等级结果和专家组得到的评价等级结果采用一一比较的方式,具有93.3%的一致性。
基于多级线性回归模型得到的评价评分结果和专家组得到的评价评分结果采用值方差(value square deviation,VSD)方法验证得分的相似程度。值方差计算公式如式(8)所示,值越小序列越相似。
其中n为评价人数,A、B为分别存放两种评价结果的两个数列,A[i]、B[i]分别表示数列A和数列B中的第i位的数字。经计算,本评分结果与专家评分结果的值方差为0.51,准确程度高。
由此可见,实施本发明实施例,采用机器学习的方法实现嵌入学习过程的学习评分模型和分级模型,无论学习进度如何,均可进行与当前进度相符的学习评价,用户在学习过程中能够随时了解当前学习行为的评价结果,也即,可以实现嵌入学习过程的实时评价,进而提高学习评价的有效性。除此之外,还能够充分考虑评价指标与评价结果的相关性,而不考虑因果关系,更符合现实;而且采用多级评价模型,将评价指标分类,分类评价,再汇总评价,能够实现评价指标的精细化处理。
如图2所示,本发明实施例公开一种基于机器学习的学习评价装置,包括标注单元201、训练单元202、获取单元203、换算单元204、评分单元205,其中,
标注单元201,用于对若干历史学情数据进行标注,获得每个历史学情数据的标签信息;
训练单元202,用于根据历史学情数据及其标签信息,对线性回归模型进行有监督训练获得评分模型;
获取单元203,用于获取用户的当前学习时长以及多个当前学情数据;
换算单元204,用于根据预设学习总时长、当前学习时长和当前学情数据,计算获得用户的多个学情目标预测值;其中,多个学情目标预测值与多个当前学情数据一一对应;
评分单元205,用于利用评分模型根据多个学情目标预测值,计算获得用户的评价分数。
作为一种可选的实施方式,基于机器学习的学习评价装置还可以包括未图示的提示单元,用于在评分单元205利用评分模型根据多个学情目标预测值,计算获得用户的评价分数之前,在用户操作界面上输出评分提示信息和评级提示信息;以及,若在预设时长内检测到用户输入的针对评分提示信息的选择指令,触发评分单元205执行利用评分模型根据多个学情目标预测值,计算获得用户的评价分数的操作。
相应的,基于机器学习的学习评价装置还可以包括未图示的评级单元,用于在提示单元在用户操作界面上输出评分提示信息和评级提示信息之后,若在预设时长内检测到用户输入的针对评级提示信息的选择指令,利用评级模型根据多个学情目标预测值计算获得用户的总评等级;其中,评级模型根据历史学情数据及其标签信息,对随机森林模型进行有监督训练所获得。
进一步优选的,标注单元201具体用于获取用户对每个历史学情数据的标注信息;根据所述标注信息,生成每个历史学情数据的独热编码作为标签信息。
进一步优选的,评分单元205,具体包括以下未图示的子单元:
分类子单元,用于确定各个学情目标预测值对应的学情类别;
确定子单元,用于根据所述评分模型的模型参数,确定各个学情类别对应的第一偏置值、各个学情目标预测值对应的第一权重系数、各个学情类别对应的第二权重系数、第二偏置值;
第一计算子单元,用于根据各个学情类别对应的第一偏置值、各个学情目标预测值及其对应的第一权重系数,计算获得用户在各个学情类别下的类别指标值;
第二计算子单元,用于根据所述第二偏置值、各个类别指标值及其对应的第二权重系数,计算获得用户的评价分数。
如图3所示,本发明实施例公开一种电子设备,包括存储有可执行程序代码的存储器301以及与存储器301耦合的处理器302;
其中,处理器302调用存储器301中存储的可执行程序代码,执行上述各实施例中描述的基于机器学习的学习评价方法。
本发明实施例还公开一种计算机可读存储介质,其存储计算机程序,其中,该计算机程序使得计算机执行上述各实施例中描述的基于机器学习的学习评价方法。
以上实施例的目的,是对本发明的技术方案进行示例性的再现与推导,并以此完整的描述本发明的技术方案、目的及效果,其目的是使公众对本发明的公开内容的理解更加透彻、全面,并不以此限定本发明的保护范围。
以上实施例也并非是基于本发明的穷尽性列举,在此之外,还可以存在多个未列出的其他实施方式。在不违反本发明构思的基础上所作的任何替换与改进,均属本发明的保护范围。