CN107123068A - 一种面向程序设计语言课程个性化学习效果分析系统及方法 - Google Patents

一种面向程序设计语言课程个性化学习效果分析系统及方法 Download PDF

Info

Publication number
CN107123068A
CN107123068A CN201710280214.2A CN201710280214A CN107123068A CN 107123068 A CN107123068 A CN 107123068A CN 201710280214 A CN201710280214 A CN 201710280214A CN 107123068 A CN107123068 A CN 107123068A
Authority
CN
China
Prior art keywords
student
ability
msub
practice
knowledge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710280214.2A
Other languages
English (en)
Other versions
CN107123068B (zh
Inventor
吴文峻
王珊珊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201710280214.2A priority Critical patent/CN107123068B/zh
Publication of CN107123068A publication Critical patent/CN107123068A/zh
Application granted granted Critical
Publication of CN107123068B publication Critical patent/CN107123068B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/20Education
    • G06Q50/205Education administration or guidance

Abstract

本发明涉及一种面向程序设计语言课程个性化学习效果分析系统及方法,包括学生认知能力评估、实践能力评估模块、反馈模块;所述方法基于学生面向程序设计语言课程的普通作业和程序作业答题行为,利用数学模型训练学习方法评估学生的认知能力以及实践能力;利用数据统计方法处理认知能力与实践能力数据并向学生反馈学习效果信息,实现个性化展示。本发明能够判定学生的认知与实践双向学习效果,不仅能够更加准确的给出学生公正的评分,还可以指示教师找到学生存在的知识薄弱部分,及时向学生个性化反馈知识不扎实的地方,实现面向程序设计语言课程知识点粒度的微观学习效果评价与学习轨迹建立。

Description

一种面向程序设计语言课程个性化学习效果分析系统及方法
技术领域
本发明涉及一种面向程序设计语言课程个性化学习效果分析系统及方法,属于计算机应用技术领域。
背景技术
教育性的数据挖掘和学习分析可以更好的了解学生的行为和知识状态,学生的学习效果研究一直是教育学一个重要的环节。准确评判学生的认知能力,不仅可以更加准确的给出学生更加公正的评分,还可以指示教师找到学生存在的知识薄弱部分;能够及时向学生个性化反馈学习过程中知识不扎实的地方,以促进学生加强此方向的练习。
随着在线教育与在线考试机构的不断发展,日益增大的学生、课程规模以及课程复杂度的加深给当前的教育领域的数据分析和模型学习工作带来机遇和挑战。然而大部分机构侧重于单一的测量分析,课程数量也较为简单与单一特性,远不能满足对学生全面的学习效果和能力评价。程序设计语言不仅是专业人员的入门必备的基础,也是越来越多的非专业人员必须要掌握的一门技能,同时程序设计语言课程的学习也是掌握其他计算机技术的基石。但准确判定一个学生程序设计语言的掌握情况,不仅需要判定其知识点认知能力,也要考虑实践应用能力。然而,现如今的教育测评机制已经不适用需要判定学生实践能力的课程,这对如何正确判定学生的实践能力,在传授知识的同时强化实践能力的培养提出新的要求。
目前的学习效果分析系统主要分为基于智能教学系统的经典教育数据分析和基于慕课(MOOC)的学习效果分析。这两大类的学习效果分析依然存在如下的不足之处:(1)当前学习效果分析系统尚未把学习者的认知轨迹、教学内容的知识体系和软件项目实践活动进行时空维度的关联和融合,造成片面反映学习规律;(2)当前系统未有特定的面向程序设计语言课程知识点粒度的微观学习效果评价体系;(3)当前系统忽视了学生和题目之间的差异化,未能针对学生个体提供个性化反馈信息。
发明内容
本发明技术解决问题:克服现有技术的不足,提供一种面向程序设计语言课程个性化学习效果分析系统及方法,立足于探索研究学生的认知能力与实践能力的结合比较,挖掘学生的学习特点和模式,追踪学生学习状态轨迹变化,提高评判学生的认知与实践学习效果的准确性,建立起学生对整个程序设计语言课程的从认知能力到实践能力双重方向的评价体系,并实现个性化学习轨迹效果的展示以及学生学习规律的揭示。
本发明技术解决方案:一种面向程序设计语言课程个性化学习效果分析系统,包括:认知能力评估、实践能力评估模块、反馈模块;其中:
认知能力评估模块,通过项目反应理论模型训练出的学生参数和项目参数,作为先验数据对学生的普通作业答题表现进行个性化处理,实现个性化知识跟踪模型,再通过模型训练和推断过程,获取学生的面向程序设计语言课程的认知能力水平数据;
实践能力评估模块,根据基于SFL技术的学生实践能力评估算法(SFL-basedPractical Ability Assessment Algorithm,简称SFL-PAA算法)对学生的程序作业语句集进行处理,利用获得的单元识点分布作为部分观察变量建立多知识点追踪模型对学生程序作业的答题表现进行进一步处理,后根据模型训练和推断过程,获得学生最终的实践能力水平;
反馈模块,针对学生的双重能力值分布做出分析,即对认知能力评估模块得到学生的认知能力水平和实践能力评估模块得到的实践能力进行分析,将实践能力不足的知识点反馈给学生;可视化学生的认知能力轨迹和实践能力轨迹,实现个性化学习轨迹展示,描绘各知识点二维能力分布图,并根据此图分析学生学习特点。
所述认知能力评估模块的项目反应理论模型具体实现步骤如下:
(1)依据学生在普通作业的答题表现,设学生i在项目j上的答题表现为Yij,答题正确的概率为p(Yij),D为常数,k为循环次数下标,k的初始值为1,设待求的参数为每个学生的能力参数θi以及每个项目参数βj=(aj,bj,cj),其中aj表示区分度、bj表示难度、cj为猜测系数),待求参数与答题正确概率的关系公式如下:
(2)求第k次循环的学生参数θk,首先从正态分布qθ中随机抽样θ*~qθk-1,θ),当满足接受率的范围之内时,则接受此次采样,令θk=θ*,否则θk=θk-1
(3)求第k次循环的项目参数βk,从正态分布qβ中随机抽样β*~qβk-1,β),当满足接受率时,则接受此次采样令βk=β*,否则βk=βk-1
(4)令k=k+1,重复执行步骤(2)和(3),获得采样样本θBB+1,…,θT;βBB+1,…,βT;其中设达到抽样稳定条件的下限为B=900,上限T=1000,根据大数定律,取样本的均值作参数的估计值,获得学生i的参数值为项目j的参数值为
(5)应用五折交叉验证法,更换训练集和测试集,重复执行步骤(2)~(4),选择最优的学生参数和项目参数作为最后所求结果。
所述D的取值为1.7。
所述认知能力评估模块的个性化知识跟踪模型具体实现步骤如下:
(1)基于可观察的学生的普通作业答题序列信息,将学生参数和项目参数作为先验数据应用到期望最大化算法中,个性化地训练出知识跟踪模型的学习参数:初始知识水平P(L0)、学习转化率P(T)以及表现参数:猜对概率P(G)、失误概率P(S);
(2)设回答第i题后的知识状态后验概率为P(Li|evidencei),P(Li)为回答第i道题前的知识状态先验概率,为1-P(Li),为没有失误的概率,为猜错概率,i初始值为0。若第i题回答正确,知识状态后验概率回答错误则
(3)设在回答第i+1题前的知识状态先验概率为P(Li+1),则根据回答第i题后的知识状态后验概率推导可得获得回答第i+1题前的知识状态先验概率P(Li+1)为:
(4)重复执行步骤(2)和(3),获得学生答完最后一道题目的知识状态后验概率,将其作为学生认知能力水平数据;
(5)对比模型预测率,选择最佳的学习训练模型;
(6)将最佳的学生认知能力水平估计值存储在系统的数据库中。
所述实践能力评估模块中的基于错误定位技术实现学生实践能力评估具体实现步骤如下:
(1)利用基于程序谱的错误定位技术对学生的程序作业语句集进行错误定位:执行测试用例并收集代码覆盖信息,根据覆盖信息计算各覆盖元素可疑度,根据可疑度从大到小将各覆盖元素排序,逐个排查出错位置进行错误定位;
(2)用定位效率作为测试标准验证SFL技术的有效性,若有效则进入步骤(3),若无效则回步骤(1)调整可疑度计算方法;
(3)根据错误知识点标注规范人工标注步骤(1)得出的错误定位排序结果,收集单元知识点分布;
(4)通过SFL-PAA算法估计学生实践能力水平:根据人工标注的结果,将学生在一单元中知识点被标注错误的频数除以该单元程序作业数目作为该生未能在这单元正确实践应用知识点的概率估计,知识点被标注到的频数越高,说明学生在这个知识点上实践犯错的概率越大,真实的实践能力值就越低,把上述概率估计值的补数作为学生在这一单元的实践能力水平估计值。
所述实践能力评估模块的多知识点追踪模型的具体实现步骤如下:
(1)将单元知识点分布作为观察变量构建(Logistic Regression-DynamicBayesian Network,LR-DBN)模型;
(2)基于学生程序作业的答题表现,应用期望最大化算法计算出知识点j的模型参数:初始状态水平P(L0,j)、学习转化率P(Tj)、猜对概率P(Gj)、失误概率P(Sj);
(3)设回答第t道程序作业题目后在知识点j上的实践能力状态后验概率为Pposterior(Kj,t),t初始值为0,若第t道程序作业题目回答正确,则该道题目所含的知识点j的实践能力状态后验概率若第t道程序作业题回答错误,则
(4)设回答第t+1道程序作业题前在知识点j上的实践能力状态先验概率为P(Kj,t+1),根据步骤(3)所得的Pposterior(Kj,t),求得实践能力状态先验概率P(Kj,t+1)公式如下:
P(Kj,t+1)=Pposterior(Kj,t)+(1-Pposterior(Kj,t))*P(Tj)
(5)重复执行步骤(3)和步骤(4),获得学生答完最后一道程序作业题目的知识状态后验概率,将其作为学生在知识点j上的实践能力水平数据;
(6)对比模型预测率,根据分知识点场景进行出最佳模型学习效果,并获得最佳的学生实践能力水平评估数据;
(7)将最佳的学生实践能力水平估计值存储在系统的数据库中。
所述反馈模块实现步骤如下:
(1)将学生的能力值分布看作是正态随机变量,设认知能力评估模块所获得的学生认知能力水平为随机变量X1,设实践能力评估模块所得的学生实践能力水平为随机变量X2,对两个随机变量进行相关性分析,求得各知识点的Pearson系数,公式如下式,ρ介于-1到1之间,绝对值越大相关性越强,ρ>0正相关,ρ<0为负相关;
(2)反馈实践能力不足的知识点,设定实践能力临界阈值δ,若学生的实践能力小于该临界阈值δ,则判定该生存在实践能力不足的现象,应及时向学生反馈不足之处;
(3)应用作图工具,可视化显示学生的认知能力轨迹和实践能力轨迹,实现个性化学习轨迹图示;
(4)展示各知识点的二维能力分布图,并根据分布图分类学生的学习规律。
根据大量试验和经验数据,δ设定范围为0.5~0.6。
一种面向程序设计语言课程个性化学习效果分析方法,步骤如下:
(1)通过项目反应理论建立被测者项目反应与项目参数、被测者能力水平之间的非线性学习效果模型,设计合理的项目反应理论模型,采用吉布斯采样参数估计方法,估计出项目参数以及被测试者个人的能力水平;
(2)利用学生普通作业的答题序列信息建立知识跟踪模型,并通过期望最大化算法求得模型学习参数和表现参数,后利用概率推断获得学生的认知能力水平数据;
(3)个性化知识跟踪模型,利用项目反应理论模型学习出的参数作为知识跟踪模型的先验数据实现个性化学生和个性化题目处理,以期得到更高学生认知能力评估的预测准确率;
(4)利用SFL技术实现各程序语句的错误可疑度排序,对学生程序作业错误进行定位,对可疑度排序结果人工标注错误知识点,后应用SFL-PAA算法评估学生的实践能力水平;
(5)通过SFL-PAA算法得到各单元知识点分布,再将其作为观察变量构建LR-DBN模型分析学生程序作业表现信息,利用期望最大化算法对LR-DBN模型进行参数学习后根据概率推断获得实践能力估计值,将LR-DBN模型与SFL-PAA算法应用到相应的场景中实现模型选择,最终判定学生的实践能力;
(6)对学生各知识点认知能力分布和实践能力分布做相关性分析,比较实践能力值低于经验阈值的知识点,将实践能力不足的知识点反馈给学生,可视化学生的认知能力轨迹和实践能力轨迹,实现个性化学习轨迹以及各知识点的二维能力分布图的展示,后根据学生二维能力分布图,分类学生的学习规律。
本发明与现有技术相比的优点在于:本发明针对当前的学习效果模型在面向程序设计语言课程方面的认知与实践双重方向的知识点粒度建模以及个性化学习研究的缺乏,通过项目反应理论模型和知识跟踪模型的训练学习,以及将项目反应理论模型的参数结果作为先验数据去个性化知识跟踪模型以获得更加准确的认知能力评估,通过程序错误定位模型结合人工标注提出学生对各知识点实践能力的估计算法,再建立多知识点追踪模型来分析学生程序作业表现数据,判定学生最终的实践能力,个性化反馈学生实践能力不足的知识点,展示学生学习轨迹。
本发明与现有技术相比的优点在于:
(1)由于现有的技术尚未把学习者的认知轨迹、教学内容的知识体系和软件项目实践活动进行时空维度的关联和融合,造成片面反映学习规律。本发明的实践能力评估模块中的SFL-PAA算法以及LR-DBN模型对学生的实践能力进行估计,使得学生不仅限于了解知识点认知能力水平,更加全面的了解自己的学习效果以及规律。同时本发明的反馈模块中实现学生的认知轨迹展示,有助于将学生学习知识体系与实践轨迹活动进行关联和融合,反映出更加全面的学习规律;
(2)现有技术未有特定的面向程序设计语言课程知识点粒度的微观学习效果评价体系,而本发明将研究对象划分出细粒度的知识点,针对每一个知识点进行认知能力评估和实践能力评估,双向建立微观学习效果评价体系,更加细致全面体现学生学习效果知识体系。
(3)现有技术忽视了学生和题目之间的差异化,未能针对学生个体提供个性化反馈信息。本发明通过提供先验数据分别实现个性化学生知识跟踪模型和个性化题目知识跟踪模型,针对学习效果的评估情况,及时个性化反馈学习信息,指示学生加强薄弱知识点的学习,能够个性化提高学生学习体验。
附图说明
图1为本发明系统组成框图;
图2为本发明中的认知能力评估模块的实现流程图;
图3为个性化学生知识跟踪模型图;
图4为个性化题目知识跟踪模型图;
图5为本发明中的实践能力评估模块的实现流程图;
图6为基于程序谱的错误定位技术流程图;
图7为基于错误定位技术实现学生实践能力估计流程图
图8为LR-DBN模型图;
具体实施方式
为了使本发明的目的、技术方案和发明优势更加清楚明白,以下对本发明的实施方式做具体介绍。
本发明基于项目反应理论、知识跟踪模型、错误定位技术、多知识点追踪、数据统计等技术,充分利用学生的程序设计语言课程的作业数据以及表现信息,对学生进行各知识点的认知能力以及实践能力评估,并向学生个性化反馈学习效果信息。最终实现面向程序设计语言课程个性化学习效果分析。如图1所示,本发明系统组成包括:认知能力评估模块、实践能力评估模块、反馈模块;其中:
1.认知能力评估模块
认知能力评估模块的实现流程图如图2所示,在整个认知能力评估模块设计中,主要是两种模型的训练和验证测试,从中选择最优的模型进行最终认知能力估计值的判定,并形成个人知识点认知轨迹。
训练阶段:项目反应理论模型采用吉布斯采样算法训练求得学生参数和题目参数;知识跟踪模型使用期望最大化算法进行学习,结合项目反应理论模型的参数进行个性化设置。
验证测试阶段:项目反应理论模型采用五折交叉验证法,选择最合适的模型参数。知识跟踪模型通过概率推断获得认知能力估计值。对两类模型做预测正确率的比较,选择正确率最高的模型。最后将最佳的认知能力估计值存储在系统的数据库中。
其中认知能力评估模块分为项目反应理论分析模块和个性化知识跟踪模型模块:
1.1 项目反应理论分析模块
项目反应理论分析的具体步骤如下:
(1)依据学生在普通作业的答题表现,设学生i在项目j上的答题表现为Yij,答题正确的概率为p(Yij),D为常数(一般情况下取值1.7),k为循环次数下标,k的初始值为1。设待求的参数为每个学生的能力参数θi以及每个项目参数βj=(aj,bj,cj),其中aj表示区分度、bj表示难度、cj为猜测系数),待求参数与答题正确概率的关系公式如下:
(2)求第k次循环的学生参数θk,首先从正态分布qθ中随机抽样θ*~qθk-1,θ),当满足接受率的范围之内时,则接受此次采样,令θk=θ*,否则θk=θk-1
(3)求第k次循环的项目参数βk,从正态分布qβ中随机抽样β*~qβk-1,β),当满足接受率时,则接受此次采样令βk=β*,否则βk=βk-1
(4)令k=k+1,重复执行步骤(2)和(3),获得采样样本θBB+1,…,θT;βBB+1,…,βT;其中设达到抽样稳定条件的下限为B=900,上限T=1000,根据大数定律,取样本的均值作参数的估计值,获得学生i的参数值为项目j的参数值为
(5)应用五折交叉验证法,更换训练集和测试集,重复执行步骤(2)~(4),选择最优的学生参数和项目参数作为最后所求结果。
1.2 个性化知识跟踪模型模块
个性化知识跟踪模型模块的具体步骤如下:
(1)构造个性化学生知识跟踪模型(图3)和个性化题目知识跟踪模型(图4);
(2)基于可观察的学生的普通作业答题序列信息,将学生参数和项目参数作为先验数据应用到期望最大化算法中,个性化地训练出知识跟踪模型的学习参数:初始知识水平P(L0)、学习转化率P(T)以及表现参数:猜对概率P(G)、失误概率P(S);
(3)设回答第i题后的知识状态后验概率为P(Li|evidencei),P(Li)为回答第i道题前的知识状态先验概率,为1-P(Li),为没有失误的概率,为猜错概率,i初始值为0。若第i题回答正确,知识状态后验概率回答错误则
(4)设在回答第i+1题前的知识状态先验概率为P(Li+1),则根据回答第i题后的知识状态后验概率推导可得获得回答第i+1题前的知识状态先验概率P(Li+1)为:
(5)重复执行步骤(3)和(4),获得学生答完最后一道题目的知识状态后验概率,将其作为学生认知能力水平数据;
(6)对比模型预测率,选择最佳的学习训练模型;
(7)将最佳的学生认知能力估计值存储在系统的数据库中。
2.实践能力评估模块
实践能力评估模块的实现流程图如图5所示,整个实践能力评估模块设计中,主要也为两种模型的训练和验证测试过程,从中选择适合各种场景的最优模型进行最终学生知识点实践能力估计值的判定,并形成个人知识点实践轨迹。
训练阶段:基于程序谱的错误定位模型的实现流程图如图6所示,模型需要进行有效性验证方可进行下一步人工标注实验,如无效则要进行计算方法调整;将人工标注产生的单元知识点分布作观察变量建立LR-DBN模型并采用期望最大化算法进行参数学习。
测试阶段:人工标注后用SFL-PAA算法获得学生的实践能力估计值并预测期末程序作业正确率;LR-DBN模型通过概率推断后获得实践能力估计值并与SFL-PAA算法预测结果做比较,根据各知识点场景进行模型选择出最佳的评估模型,后存储最佳的实践能力估计值在系统的数据库中。
实践能力评估模块分为基于程序谱的错误定位技术、基于错误定位技术实现学生实践能力评估模块、多知识点追踪模型模块:
2.1 基于程序谱的错误定位技术
基于程序谱的错误定位模型的实现流程图如图6所示,其具体的实现步骤如下所示:
(1)执行程序测试用例应用GCOV工具收集代码覆盖信息;
(2)根据覆盖信息应用Tarantula和Ochiai算法计算各覆盖元素可疑度;
(3)根据可疑度从大到小将各覆盖元素排序,逐个排查出错位置进行错误定位。
2.2 基于错误定位技术实现学生实践能力评估模块
基于错误定位技术实现学生实践能力估计流程图如图7所示,其具体的实现步骤如下所示:
(1)利用基于程序谱的错误定位技术对学生的程序作业语句集进行错误定位:执行测试用例并收集代码覆盖信息,根据覆盖信息计算各覆盖元素可疑度,根据可疑度从大到小将各覆盖元素排序,逐个排查出错位置进行错误定位;
(2)用定位效率作为测试标准验证SFL技术的有效性,若有效则进入步骤(3),若无效则回步骤(1)调整可疑度计算方法;
(3)根据错误知识点标注规范人工标注步骤(1)得出的错误定位排序结果,收集单元知识点分布;
(4)通过SFL-PAA算法估计学生实践能力水平:根据人工标注的结果,将学生在一单元中知识点被标注错误的频数除以该单元程序作业数目作为该生未能在这单元正确实践应用知识点的概率估计,知识点被标注到的频数越高,说明学生在这个知识点上实践犯错的概率越大,真实的实践能力值就越低,因此把上述概率估计值的补数作为学生在这一单元的实践能力估计值。
2.3 多知识点追踪模型模块
多知识点追踪模型模块的具体实现步骤如下:
(1)将单元知识点分布作为观察变量构建(Logistic Regression-DynamicBayesian Network,LR-DBN)模型如图8所示,深色的点表示观察变量,白色的点表示隐藏变量,S表示子节点标识符,K表示实践能力状态,Y表示程序题答题表现;
(2)基于学生程序作业的答题表现,应用期望最大化算法计算出知识点j的模型参数:初始状态水平P(L0,j)、学习转化率P(Tj)、猜对概率P(Gj)、失误概率P(Sj);
(3)设回答第t道程序作业题目后在知识点j上的实践能力状态后验概率为Pposterior(Kj,t),t初始值为0。若第t道程序作业题目回答正确,则该道题目所含的知识点j的实践能力状态后验概率若第t道程序作业题回答错误,则
(4)设回答第t+1道程序作业题前在知识点j上的实践能力状态先验概率为P(Kj,t+1),根据步骤(3)所得的Pposterior(Kj,t),求得实践能力状态先验概率P(Kj,t+1)公式推导如下:
P(Kj,t+1)=Pposterior(Kj,t)+(1-Pposterior(Kj,t))*P(Tj)
(5)重复执行步骤(3)和步骤(4),获得学生答完最后一道程序作业题目的知识状态后验概率,将其作为学生在知识点j上的实践能力水平数据;
(6)对比模型预测率,根据分知识点场景进行出最佳模型学习效果,并获得最佳的学生实践能力评估数据;
(7)将最佳的学生实践能力水平估计值存储在系统的数据库中。
3.反馈模块
反馈模块的具体实现步骤如下所示:
(1)将学生的能力值分布看作是正态随机变量,设认知能力评估模块所获得的学生认知能力水平为随机变量X1,设实践能力评估模块所得的学生实践能力水平为随机变量X2。对两个随机变量进行相关性分析,求得各知识点的Pearson系数,公式如下表示。ρ介于-1到1之间,绝对值越大相关性越强,ρ>0正相关,ρ<0为负相关;
(2)反馈实践能力不足的知识点,设定实践能力临界阈值δ,若学生的实践能力小于该临界阈值,则判定该生存在实践能力不足的现象,系统应及时向学生反馈不足之处,阈值的设定,根据经验数据,δ设定在0.5~0.6之间;
(3)应用作图工具,可视化显示学生的认知能力轨迹和实践能力轨迹,实现个性化学习轨迹图示;
(4)展示各知识点的二维能力分布图,并根据分布图分类学生的学习规律。
提供以上实施例仅仅是为了描述本发明的目的,而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改,均应涵盖在本发明的范围之内。

Claims (9)

1.一种面向程序设计语言课程个性化学习效果分析系统,其特征在于包括:认知能力评估、实践能力评估模块、反馈模块;其中:
认知能力评估模块,通过项目反应理论模型训练出的学生参数和项目参数,作为先验数据对学生的普通作业答题表现进行个性化处理,实现个性化知识跟踪模型,再通过模型训练和推断过程,获取学生的面向程序设计语言课程的认知能力水平数据;
实践能力评估模块,根据基于SFL技术的学生实践能力评估算法(SFL-basedPractical Ability Assessment Algorithm,简称SFL-PAA算法)对学生的程序作业语句集进行处理,利用获得的单元识点分布作为部分观察变量建立多知识点追踪模型对学生程序作业的答题表现进行进一步处理,后根据模型训练和推断过程,获得学生最终的实践能力水平;
反馈模块,针对学生的双重能力值分布做出分析,即对认知能力评估模块得到学生的认知能力水平和实践能力评估模块得到的实践能力进行分析,将实践能力不足的知识点反馈给学生;可视化学生的认知能力轨迹和实践能力轨迹,实现个性化学习轨迹展示,描绘各知识点二维能力分布图,并根据此图分析学生学习特点。
2.根据权利要求1所述的一种面向程序设计语言课程个性化学习效果分析系统,其特征在于:所述认知能力评估模块的项目反应理论模型具体实现步骤如下:
(1)依据学生在普通作业的答题表现,设学生i在项目j上的答题表现为Yij,答题正确的概率为p(Yij),D为常数,k为循环次数下标,k的初始值为1,设待求的参数为每个学生的能力参数θi以及每个项目参数βj=(aj,bj,cj),其中aj表示区分度、bj表示难度、cj为猜测系数),待求参数与答题正确概率的关系公式如下:
<mrow> <mi>p</mi> <mrow> <mo>(</mo> <msub> <mi>Y</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mo>=</mo> <mn>1</mn> <mo>|</mo> <msub> <mi>&amp;theta;</mi> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>a</mi> <mi>j</mi> </msub> <mo>,</mo> <msub> <mi>b</mi> <mi>j</mi> </msub> <mo>,</mo> <msub> <mi>c</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <msub> <mi>c</mi> <mi>j</mi> </msub> <mo>+</mo> <mfrac> <mrow> <mn>1</mn> <mo>-</mo> <msub> <mi>c</mi> <mi>j</mi> </msub> </mrow> <mrow> <mn>1</mn> <mo>+</mo> <mi>exp</mi> <mrow> <mo>(</mo> <mo>-</mo> <msub> <mi>Da</mi> <mi>j</mi> </msub> <mo>(</mo> <msub> <mi>&amp;theta;</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>b</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> <mo>)</mo> </mrow> </mfrac> </mrow>
(2)求第k次循环的学生参数θk,首先从正态分布qθ中随机抽样θ*~qθk-1,θ),当满足接受率的范围之内时,则接受此次采样,令θk=θ*,否则θk=θk-1
(3)求第k次循环的项目参数βk,从正态分布qβ中随机抽样β*~qβk-1,β),当满足接受率时,则接受此次采样令βk=β*,否则βk=βk-1
(4)令k=k+1,重复执行步骤(2)和(3),获得采样样本θBB+1,…,θT;βBB+1,…,βT;其中设达到抽样稳定条件的下限为B=900,上限T=1000,根据大数定律,取样本的均值作参数的估计值,获得学生i的参数值为项目j的参数值为
(5)应用五折交叉验证法,更换训练集和测试集,重复执行步骤(2)~(4),选择最优的学生参数和项目参数作为最后所求结果。
3.根据权利要求2所述的一种面向程序设计语言课程个性化学习效果分析系统,其特征在于:所述D的取值为1.7。
4.根据权利要求1所述的一种面向程序设计语言课程个性化学习效果分析系统,其特征在于:所述认知能力评估模块的个性化知识跟踪模型具体实现步骤如下:
(1)基于可观察的学生的普通作业答题序列信息,将学生参数和项目参数作为先验数据应用到期望最大化算法中,个性化地训练出知识跟踪模型的学习参数:初始知识水平P(L0)、学习转化率P(T)以及表现参数:猜对概率P(G)、失误概率P(S);
(2)设回答第i题后的知识状态后验概率为P(Li|evidencei),P(Li)为回答第i道题前的知识状态先验概率,为1-P(Li),为没有失误的概率,为猜错概率,i初始值为0,若第i题回答正确,知识状态后验概率回答错误则
(3)设在回答第i+1题前的知识状态先验概率为P(Li+1),则根据回答第i题后的知识状态后验概率推导可得获得回答第i+1题前的知识状态先验概率P(Li+1)为:
(4)重复执行步骤(2)和(3),获得学生答完最后一道题目的知识状态后验概率,将其作为学生认知能力水平数据;
(5)对比模型预测率,选择最佳的学习训练模型;
(6)将最佳的学生认知能力水平估计值存储在系统的数据库中。
5.根据权利要求1所述的一种面向程序设计语言课程个性化学习效果分析系统,其特征在于:所述实践能力评估模块中的基于错误定位技术实现学生实践能力评估具体实现步骤如下:
(1)利用基于程序谱的错误定位技术对学生的程序作业语句集进行错误定位:执行测试用例并收集代码覆盖信息,根据覆盖信息计算各覆盖元素可疑度,根据可疑度从大到小将各覆盖元素排序,逐个排查出错位置进行错误定位;
(2)用定位效率作为测试标准验证SFL技术的有效性,若有效则进入步骤(3),若无效则回步骤(1)调整可疑度计算方法;
(3)根据错误知识点标注规范人工标注步骤(1)得出的错误定位排序结果,收集单元知识点分布;
(4)通过SFL-PAA算法估计学生实践能力水平:根据人工标注的结果,将学生在一单元中知识点被标注错误的频数除以该单元程序作业数目作为该生未能在这单元正确实践应用知识点的概率估计,知识点被标注到的频数越高,说明学生在这个知识点上实践犯错的概率越大,真实的实践能力值就越低,把上述概率估计值的补数作为学生在这一单元的实践能力水平估计值。
6.根据权利要求1所述的一种面向程序设计语言课程个性化学习效果分析系统,其特征在于:所述实践能力评估模块的多知识点追踪模型的具体实现步骤如下:
(1)将单元知识点分布作为观察变量构建(Logistic Regression-Dynamic BayesianNetwork,LR-DBN)模型;
(2)基于学生程序作业的答题表现,应用期望最大化算法计算出知识点j的模型参数:初始状态水平P(L0,j)、学习转化率P(Tj)、猜对概率P(Gj)、失误概率P(Sj);
(3)设回答第t道程序作业题目后在知识点j上的实践能力状态后验概率为Pposterior(Kj,t),t初始值为0,若第t道程序作业题目回答正确,则该道题目所含的知识点j的实践能力状态后验概率若第t道程序作业题回答错误,则
(4)设回答第t+1道程序作业题前在知识点j上的实践能力状态先验概率为P(Kj,t+1),根据步骤(3)所得的Pposterior(Kj,t),求得实践能力状态先验概率P(Kj,t+1)公式如下:
P(Kj,t+1)=Pposterior(Kj,t)+(1-Pposterior(Kj,t))*P(Tj)
(5)重复执行步骤(3)和步骤(4),获得学生答完最后一道程序作业题目的知识状态后验概率,将其作为学生在知识点j上的实践能力水平数据;
(6)对比模型预测率,根据分知识点场景进行出最佳模型学习效果,并获得最佳的学生实践能力水平评估数据;
(7)将最佳的学生实践能力水平估计值存储在系统的数据库中。
7.根据权利要求1所述的一种面向程序设计语言课程个性化学习效果分析系统,其特征在于:所述反馈模块实现步骤如下:
(1)将学生的能力值分布看作是正态随机变量,设认知能力评估模块所获得的学生认知能力水平为随机变量X1,设实践能力评估模块所得的学生实践能力水平为随机变量X2,对两个随机变量进行相关性分析,求得各知识点的Pearson系数,公式如下式,ρ介于-1到1之间,绝对值越大相关性越强,ρ>0正相关,ρ<0为负相关;
<mrow> <msub> <mi>&amp;rho;</mi> <mrow> <msub> <mi>X</mi> <mn>1</mn> </msub> <mo>,</mo> <msub> <mi>X</mi> <mn>2</mn> </msub> </mrow> </msub> <mo>=</mo> <mfrac> <mrow> <mi>&amp;Sigma;</mi> <mrow> <mo>(</mo> <msub> <mi>X</mi> <mn>1</mn> </msub> <mo>-</mo> <mover> <msub> <mi>X</mi> <mn>1</mn> </msub> <mo>&amp;OverBar;</mo> </mover> <mo>)</mo> </mrow> <mrow> <mo>(</mo> <msub> <mi>X</mi> <mn>2</mn> </msub> <mo>-</mo> <mover> <msub> <mi>X</mi> <mn>2</mn> </msub> <mo>&amp;OverBar;</mo> </mover> <mo>)</mo> </mrow> </mrow> <msqrt> <mrow> <mi>&amp;Sigma;</mi> <msup> <mrow> <mo>(</mo> <msub> <mi>X</mi> <mn>1</mn> </msub> <mo>-</mo> <mover> <msub> <mi>X</mi> <mn>1</mn> </msub> <mo>&amp;OverBar;</mo> </mover> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mi>&amp;Sigma;</mi> <msup> <mrow> <mo>(</mo> <msub> <mi>X</mi> <mn>2</mn> </msub> <mo>-</mo> <mover> <msub> <mi>X</mi> <mn>2</mn> </msub> <mo>&amp;OverBar;</mo> </mover> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> </mfrac> </mrow>
(2)反馈实践能力不足的知识点,设定实践能力临界阈值δ,若学生的实践能力小于该临界阈值δ,则判定该生存在实践能力不足的现象,应及时向学生反馈不足之处;
(3)应用作图工具,可视化显示学生的认知能力轨迹和实践能力轨迹,实现个性化学习轨迹图示;
(4)展示各知识点的二维能力分布图,并根据分布图分类学生的学习规律。
8.根据权利要求7所述的一种面向程序设计语言课程个性化学习效果分析系统,其特征在于:根据大量试验和经验数据,δ设定范围为0.5~0.6。
9.一种面向程序设计语言课程个性化学习效果分析方法,其特征在于步骤如下:
(1)通过项目反应理论建立被测者项目反应与项目参数、被测者能力水平之间的非线性学习效果模型,设计合理的项目反应理论模型,采用吉布斯采样参数估计方法,估计出项目参数以及被测试者个人的能力水平;
(2)利用学生普通作业的答题序列信息建立知识跟踪模型,并通过期望最大化算法求得模型学习参数和表现参数,后利用概率推断获得学生的认知能力水平数据;
(3)个性化知识跟踪模型,利用项目反应理论模型学习出的参数作为知识跟踪模型的先验数据实现个性化学生和个性化题目处理,以期得到更高学生认知能力评估的预测准确率;
(4)利用SFL技术实现各程序语句的错误可疑度排序,对学生程序作业错误进行定位,对可疑度排序结果人工标注错误知识点,后应用SFL-PAA算法评估学生的实践能力水平;
(5)通过SFL-PAA算法得到各单元知识点分布,再将其作为观察变量构建LR-DBN模型分析学生程序作业表现信息,利用期望最大化算法对LR-DBN模型进行参数学习后根据概率推断获得实践能力估计值,将LR-DBN模型与SFL-PAA算法应用到相应的场景中实现模型选择,最终判定学生的实践能力;
(6)对学生各知识点认知能力分布和实践能力分布做相关性分析,比较实践能力值低于经验阈值的知识点,将实践能力不足的知识点反馈给学生,可视化学生的认知能力轨迹和实践能力轨迹,实现个性化学习轨迹以及各知识点的二维能力分布图的展示,后根据学生二维能力分布图,分类学生的学习规律。
CN201710280214.2A 2017-04-26 2017-04-26 一种面向程序设计语言课程个性化学习效果分析系统及方法 Active CN107123068B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710280214.2A CN107123068B (zh) 2017-04-26 2017-04-26 一种面向程序设计语言课程个性化学习效果分析系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710280214.2A CN107123068B (zh) 2017-04-26 2017-04-26 一种面向程序设计语言课程个性化学习效果分析系统及方法

Publications (2)

Publication Number Publication Date
CN107123068A true CN107123068A (zh) 2017-09-01
CN107123068B CN107123068B (zh) 2021-01-01

Family

ID=59724897

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710280214.2A Active CN107123068B (zh) 2017-04-26 2017-04-26 一种面向程序设计语言课程个性化学习效果分析系统及方法

Country Status (1)

Country Link
CN (1) CN107123068B (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108257052A (zh) * 2018-01-16 2018-07-06 中南大学 一种在线学生知识评估方法及其系统
CN108269014A (zh) * 2018-01-18 2018-07-10 安徽聚润互联信息技术有限公司 一种远程教育学生学习状况评估方法
CN108364512A (zh) * 2018-02-27 2018-08-03 清华大学 一种基于mooc的英语自适应学习系统
CN108694501A (zh) * 2018-05-04 2018-10-23 北京航空航天大学 一种面向xAPI的个性化学习效果分析系统及方法
CN108734370A (zh) * 2017-12-27 2018-11-02 上海储翔信息科技有限公司 一种基于机器学习、大数据挖掘的智能课程评分系统
CN108897879A (zh) * 2018-07-04 2018-11-27 北京希子教育科技有限公司 一种通过人机交互实现个性化教学的方法
CN109035083A (zh) * 2018-06-22 2018-12-18 电子科技大学 一种适用于自适应在线学习的测评方法、移动终端及介质
CN109086523A (zh) * 2018-08-02 2018-12-25 湘潭大学 基于认知计算模型的电源设计性实验题目自动生成方法
CN109726392A (zh) * 2018-12-13 2019-05-07 井冈山大学 一种基于大数据的智能语言认知信息处理系统及方法
CN110070773A (zh) * 2019-04-25 2019-07-30 温树彬 一种技能训练平台的推送方法及系统
CN110348577A (zh) * 2019-06-26 2019-10-18 华中师范大学 一种基于融合认知计算的知识跟踪方法
CN110473127A (zh) * 2019-08-21 2019-11-19 上海信立德教育科技集团有限公司 一种教师培养方法、装置、系统及存储介质
CN110930274A (zh) * 2019-12-02 2020-03-27 中山大学 一种基于认知诊断的实践效果评估及学习路径推荐系统和方法
CN111275239A (zh) * 2019-12-20 2020-06-12 西安电子科技大学 一种基于多模态的网络化教学数据分析方法及系统
CN112035337A (zh) * 2020-05-29 2020-12-04 广州番禺职业技术学院 一种软件开发能力与测试能力分析方法及装置
CN112149994A (zh) * 2020-09-22 2020-12-29 黄秋英 一种基于统计分析的英语个人能力追踪学习系统
CN116151701A (zh) * 2023-04-17 2023-05-23 巨成铭医(北京)医学模拟技术研究院有限公司 一种可进行结构化设计的医学模拟课程开发方法及系统
CN116664013A (zh) * 2023-07-24 2023-08-29 西南林业大学 协作学习模式的效果评估方法、泛在智慧学习系统及介质
CN117035693A (zh) * 2023-09-28 2023-11-10 北京未来基因教育科技有限公司 一种课程生成方法、装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102750223A (zh) * 2012-06-06 2012-10-24 东南大学 一种基于面向对象程序切片谱的错误定位方法
CN106205248A (zh) * 2016-08-31 2016-12-07 北京师范大学 一种表征学习者在特定领域知识学习掌握状态的在线学习认知地图生成系统及方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102750223A (zh) * 2012-06-06 2012-10-24 东南大学 一种基于面向对象程序切片谱的错误定位方法
CN106205248A (zh) * 2016-08-31 2016-12-07 北京师范大学 一种表征学习者在特定领域知识学习掌握状态的在线学习认知地图生成系统及方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SHANSHAN WANG等: "Modeling Student Learning Outcomes in Studying Programming Language Course", 《2017 SEVENTH INTERNATIONAL CONFERENCE ON INFORMATION SCIENCE AND TECHNOLOGY》 *
XU Y等: "Using item response theory to refine knowledge tracing", 《EDUCATIONAL DATA MINING 2013》 *
蔡烨挺等: "基于程序谱的错误定位技术的研究", 《电子技术与软件工程》 *

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108734370A (zh) * 2017-12-27 2018-11-02 上海储翔信息科技有限公司 一种基于机器学习、大数据挖掘的智能课程评分系统
CN108257052A (zh) * 2018-01-16 2018-07-06 中南大学 一种在线学生知识评估方法及其系统
CN108257052B (zh) * 2018-01-16 2022-04-22 中南大学 一种在线学生知识评估方法及其系统
CN108269014A (zh) * 2018-01-18 2018-07-10 安徽聚润互联信息技术有限公司 一种远程教育学生学习状况评估方法
CN108364512A (zh) * 2018-02-27 2018-08-03 清华大学 一种基于mooc的英语自适应学习系统
CN108694501A (zh) * 2018-05-04 2018-10-23 北京航空航天大学 一种面向xAPI的个性化学习效果分析系统及方法
CN109035083A (zh) * 2018-06-22 2018-12-18 电子科技大学 一种适用于自适应在线学习的测评方法、移动终端及介质
CN108897879B (zh) * 2018-07-04 2020-11-10 北京希子教育科技有限公司 一种通过人机交互实现个性化教学的方法
CN108897879A (zh) * 2018-07-04 2018-11-27 北京希子教育科技有限公司 一种通过人机交互实现个性化教学的方法
CN109086523A (zh) * 2018-08-02 2018-12-25 湘潭大学 基于认知计算模型的电源设计性实验题目自动生成方法
CN109086523B (zh) * 2018-08-02 2022-11-11 湘潭大学 基于认知计算模型的电源设计性实验题目自动生成方法
CN109726392B (zh) * 2018-12-13 2023-10-10 井冈山大学 一种基于大数据的智能语言认知信息处理系统及方法
CN109726392A (zh) * 2018-12-13 2019-05-07 井冈山大学 一种基于大数据的智能语言认知信息处理系统及方法
CN110070773A (zh) * 2019-04-25 2019-07-30 温树彬 一种技能训练平台的推送方法及系统
CN110348577A (zh) * 2019-06-26 2019-10-18 华中师范大学 一种基于融合认知计算的知识跟踪方法
CN110473127A (zh) * 2019-08-21 2019-11-19 上海信立德教育科技集团有限公司 一种教师培养方法、装置、系统及存储介质
CN110930274B (zh) * 2019-12-02 2023-04-28 中山大学 一种基于认知诊断的实践效果评估及学习路径推荐系统和方法
CN110930274A (zh) * 2019-12-02 2020-03-27 中山大学 一种基于认知诊断的实践效果评估及学习路径推荐系统和方法
CN111275239A (zh) * 2019-12-20 2020-06-12 西安电子科技大学 一种基于多模态的网络化教学数据分析方法及系统
CN111275239B (zh) * 2019-12-20 2023-09-29 西安电子科技大学 一种基于多模态的网络化教学数据分析方法及系统
CN112035337A (zh) * 2020-05-29 2020-12-04 广州番禺职业技术学院 一种软件开发能力与测试能力分析方法及装置
CN112035337B (zh) * 2020-05-29 2021-06-22 广州番禺职业技术学院 一种软件开发能力与测试能力分析方法及装置
CN112149994B (zh) * 2020-09-22 2023-07-21 黄秋英 一种基于统计分析的英语个人能力追踪学习系统
CN112149994A (zh) * 2020-09-22 2020-12-29 黄秋英 一种基于统计分析的英语个人能力追踪学习系统
CN116151701A (zh) * 2023-04-17 2023-05-23 巨成铭医(北京)医学模拟技术研究院有限公司 一种可进行结构化设计的医学模拟课程开发方法及系统
CN116151701B (zh) * 2023-04-17 2023-08-22 巨成铭医(北京)医学模拟技术研究院有限公司 一种可进行结构化设计的医学模拟课程开发方法及系统
CN116664013A (zh) * 2023-07-24 2023-08-29 西南林业大学 协作学习模式的效果评估方法、泛在智慧学习系统及介质
CN116664013B (zh) * 2023-07-24 2023-09-22 西南林业大学 协作学习模式的效果评估方法、泛在智慧学习系统及介质
CN117035693A (zh) * 2023-09-28 2023-11-10 北京未来基因教育科技有限公司 一种课程生成方法、装置
CN117035693B (zh) * 2023-09-28 2024-02-09 北京未来基因教育科技有限公司 一种课程生成方法、装置

Also Published As

Publication number Publication date
CN107123068B (zh) 2021-01-01

Similar Documents

Publication Publication Date Title
CN107123068A (zh) 一种面向程序设计语言课程个性化学习效果分析系统及方法
Liu et al. Multiple features fusion attention mechanism enhanced deep knowledge tracing for student performance prediction
CN108694501A (zh) 一种面向xAPI的个性化学习效果分析系统及方法
CN107274020B (zh) 一种基于协同过滤思想的学习者学科总测成绩预测系统及方法
CN109858797A (zh) 基于知识网络精准在线教育系统的多维度信息学情分析方法
CN104239969A (zh) 一种个性化教育的评测和推题系统
CN110197340A (zh) 一种面向在线教育平台的学习者学习能力评估方法
CN107544973A (zh) 一种对数据进行处理的方法和装置
CN110473123A (zh) 一种多元智能教育方法及系统
CN113344053B (zh) 一种基于试题异构图表征与学习者嵌入的知识追踪方法
CN106095812A (zh) 一种基于相似性度量的智能试卷生成方法
Ding et al. Why Deep Knowledge Tracing Has Less Depth than Anticipated.
CN107133196A (zh) 一种基于大数据的知识点掌握概率计算方法
CN114595923B (zh) 一种基于深度强化学习的群体教学推荐系统
CN113033808A (zh) 一种基于习题难度和学生能力的深度嵌入知识追踪方法
CN107909267A (zh) 基于统计数据的营销服务移动交互式实训评价方法及系统
CN108764718A (zh) 基于深度学习算法的高考分数预估及志愿选择方法、系统
Liu et al. Towards Reliable and Valid Measurement of Individualized Student Parameters.
CN105631536A (zh) 基于半监督学习的大规模网络开放课程退课预测算法
Huo et al. Towards personalized learning through class contextual factors-based exercise recommendation
OROZOVA et al. Generalized net model for dynamic decision making and prognoses
CN105336235A (zh) 一种用于智能学习系统的分值设定方法
CN109800880A (zh) 基于动态学习风格信息的自适应学习特征提取系统及应用
CN112001536B (zh) 基于机器学习的中小学数学能力点缺陷极小样本高精度发现方法
Wu et al. Contrastive Personalized Exercise Recommendation With Reinforcement Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant