CN112905784A - 基于学生画像的个性化试题推荐方法 - Google Patents
基于学生画像的个性化试题推荐方法 Download PDFInfo
- Publication number
- CN112905784A CN112905784A CN202110300356.7A CN202110300356A CN112905784A CN 112905784 A CN112905784 A CN 112905784A CN 202110300356 A CN202110300356 A CN 202110300356A CN 112905784 A CN112905784 A CN 112905784A
- Authority
- CN
- China
- Prior art keywords
- student
- parameters
- test
- students
- question
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 121
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000001149 cognitive effect Effects 0.000 claims abstract description 15
- 238000003745 diagnosis Methods 0.000 claims abstract description 12
- 239000011159 matrix material Substances 0.000 claims description 27
- 238000009826 distribution Methods 0.000 claims description 18
- 238000005070 sampling Methods 0.000 claims description 18
- 238000011835 investigation Methods 0.000 claims description 12
- 238000011156 evaluation Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 10
- 229910052814 silicon oxide Inorganic materials 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 9
- 238000002474 experimental method Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 4
- 239000004576 sand Substances 0.000 claims description 4
- 238000009827 uniform distribution Methods 0.000 claims description 3
- 238000012827 research and development Methods 0.000 abstract description 2
- 241001649081 Dina Species 0.000 abstract 1
- 238000012549 training Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000006399 behavior Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000002405 diagnostic procedure Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/335—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Educational Administration (AREA)
- Tourism & Hospitality (AREA)
- Marketing (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Entrepreneurship & Innovation (AREA)
- General Business, Economics & Management (AREA)
- Development Economics (AREA)
- Game Theory and Decision Science (AREA)
- Educational Technology (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Computational Mathematics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Algebra (AREA)
- Software Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
一种基于学生画像的个性化试题推荐方法,针对当前学生学习过程中容易迷失和学习状态难以准确评判的客观现状,通过集成现有系统和研发新系统,构建校园大数据平台,进而刻画学生精准画像。在此基础上,提出一种模糊认知诊断模型来合理判断学生的学习状态属性,并结合试题对学生学习状态的要求来预测学生的答题情况。基于预测信息,设计一种基于效用的试题推荐方法,向学生推荐其作答效用高的试题。相较于传统的DINA方法和DINO方法,本专利所提出的FDINA方法不仅在试题作答预测结果上达到了更低的均方根误差和平均绝对误差,而且在推荐结果上,取得了更高的精确度、召回率和F1值,此外,FDINA方法还能够有效提高学生作答试题的收益。
Description
技术领域
本发明涉及一种试题推荐方法,尤其是一种基于学生画像的个性化试题推荐方法。
背景技术
随着大数据的发展,特别是人工智能和大数据在教育领域的应用,个性化教育受到越来越多的关注,但其发展过程中暴露了一些问题:首先,对学生的数据挖掘力度不够,主要依赖于学生的学习成绩,缺乏能反映其实践能力等数据,而这些数据能够更精准地刻画学生,在个性化教育过程中具有更重要的作用;其次,学生在创新创业教育活动中的学习情况难以判断;最后,对于学生学习过程缺乏个性化推荐,例如不能向学生推荐更合适的题目。
为学生提供个性化推荐方案首先要准确掌握其学习状态属性,建立精准的学生画像。认知诊断模型是连接学生的内在属性掌握模式和外在题目反应之间的桥梁。DINA模型和DINO模型均为一种已被广泛使用的认知诊断模型,但二者均为典型的离散型认知诊断模型,不能精准诊断学生的学习状态。
当前推荐技术虽研究广泛,但整体上相对缺乏从效用角度来评价推荐对象,从而导致用户需要进一步挑选推荐结果。因此,向学生推荐答题收益高的试题,如何提高学生的学习效用这一问题引发了人们的关注。
发明内容
为了解决上述存在的问题,我们提供一种基于学生画像的个性化试题推荐方法。首先通过集成现有系统和研发新系统,构建了基于IPv6的校园大数据平台,进一步分析平台采集的学生理论学习和实践学习等数据,精准刻画学生画像;然后,提出了一种模糊认知诊断模型以合理诊断学生的学习状态属性;最后设计了一种基于效用理论的试题推荐方法,根据学生的学习状态和试题属性,向学生推荐答题收益高的试题,以提高其学习效用。
为了实现上述目的,本发明创造采用了如下技术方案:
一种基于学生画像的个性化试题推荐方法,其步骤为:
步骤(1)收集学生数据,构建得分矩阵R,构建知识点考察矩阵Q:通过校园大数据平台提取出学生的提交代码、系统评判记录、作答记录及学生实验的完成情况,得出学生在试题或者实验中的各项得分构建得分矩阵R;对每道试题或每条实验记录,通过专家评判方式对其所涉及知识点进行评估,构建知识点考察矩阵Q;
步骤(2)采用模糊认知诊断模型合理诊断学生的学习状态:根据构建得分矩阵R和知识点考察矩阵Q,通过模糊认知诊断方法获得学生的学习状态矩阵α,判断学生的学习状态,即学生的知识点掌握情况,向量中每个元素代表了学生在每个知识点上的掌握程度;
步骤(3)马尔科夫链蒙特卡洛算法(MCMC)估计参数:真实环境下,学生作答试题的得分结果的影响因素是多方面的,不仅仅依赖于学生的学习状态,学生的粗心或猜测也会对作答产生影响;因此,每道试题Vm都假设其拥有猜测参数gm、失误参数sm,试题归一化参数σ2,对学生在试题上的得分情况产生影响。使用MCMC算法来估计猜测参数、失误参数和试题归一化参数。
在MCMC算法的t次迭代中,从正态分布N(αt-1,σα 2)中对学生的学习状态采样,计算学生学习状态的接受概率P(αt-1,αt);分别从均匀分布U(gt-1-δg,gt-1+δg)、U(st-1-δs,st-1+δs)和U((σ2)t-1-δσ,(σ2)t-1+δσ)中对试题的猜错参数、失误参数以及试题归一化方差采样,计算试题的猜错参数、失误参数以及试题归一化方差参数的接受概率P(gt-1,gt)、P(st-1,st)和P((σ2)t-1,(σ2)t);直到达到最大迭代次数Nt,获得MCMC算法估计出参数和
步骤(4)基于效用理论进行试题推荐:根据效用理论设计了一个效用函数,根据效用函数计算试题的效用值,并对试题的效用值进行排名,将效用值排名前N的试题推荐给学生,提升学生作答试题的收益。
所述的步骤(3)中具体方法为:
3.1)设FDINA模型中学习状态矩阵α、试题Vm的猜测参数g、失误参数s和试题归一化方差σ2参数的先验分布由式(1)-(4)计算:
α~U(0,1) (1)
s~Beta(xs,ys,mins,maxs) (2)
g~Beta(xg,yg,ming,maxg) (3)
其中,U(0,1)为一个均匀分布,Beta(x,y,min,max)为一个定义在[min,max]区间的四参数贝塔(Beta)分布,x和y为贝塔分布的形状因子,Γ(a,b)为形状因子为a,缩放因子为b的伽马分布;
3.2)根据得分矩阵R,参数α、s、g和σ2的联合后验概率可由式(5)计算;模型的似然函数L(α,s,g,σ2)计算方式如式(6)所示,其中,Nv为试题的数量,Ns为学生的个数;
P(α,s,g,σ2|R)∝L(α,s,g,σ2)P(α)P(s)P(g)P(σ2) (5)
3.3)参数α、s、g和σ2的条件分布概率计算方式如式(7)-(9)所示:
P(α|R,s,g,σ2)∝L(α,s,g,σ2)P(α) (7)
P(s,g|R,s,g,σ2)∝L(α,s,g,σ2)P(s)P(g) (8)
P(σ2|R,s,g,σ2)∝L(α,s,g,σ2)P(σ2) (9)
3.4)参数α、s、g和σ2参数的采样:根据Metropolis-Hastings的MCMC算法迭代估计参数,具体方法如算法1中第3-13行所示。在算法1中的第t轮迭代,参数αt、gt、st和(σ2)t随机采样计算方式分别如式(10)-(13):
αt~N(αt-1,σα 2) (10)
st~U(st-1-δs,st-1+δs) (11)
gt~U(gt-1-δg,gt-1+δg) (12)
σ2~U((σ2)t-1-δσ,(σ2)t-1+δσ) (13)
其中,δg、δs和δσ分别为g、s和σ2的采样区间参数,限定采样区间。
3.5)参数αt、gt、st和(σ2)t的接受概率分别计算方式如式(14)-(16):
所述的步骤(4)中,具体方法为:
学生Si在学习状态αi情况下,作答试题Vm的效用函数如式(17)所示:
其中,和是估计出的试题Vm的猜测参数和失误参数,是估计出的学生Si的学习状态向量;ηim为为学生Si在试题Vm上的潜在作答情况,如式(18)所示;θm为试题Vm的综合通过率,如式(19)所示;为学生Si在学习状态αi下与试题Vm所考察知识点Qm的知识点相似度,如式(20)所示:
在学习状态αi下,学生Si在试题Vm上的潜在作答情况ηim由式(18)计算:
其中,αi为学生Si的知识点掌握向量,Qm为试题Vm的知识点考察向量,αi·Qm为学生Si在试题Vm所要求对应知识点掌握程度的和,||Qm||为试题Vm所要求知识点向量Qm的范数。
θm为试题Vm的综合通过率由式(19)计算:
本发明创造的有益效果:
专利提出的基于学生画像的个性化推荐试题方法不仅在试题作答预测结果上可以达到更低的均方根误差和平均绝对误差,而且在推荐结果上,取得更高的精确度、召回率和F1值,能够有效提高学生作答试题的收益。
附图说明
图1是学生画像构建流程图。
图2是FDINA认知诊断过程图。
图3是数据集中试题知识点的大致对应情况图。
图4a是猜测参数收敛情况图。
图4b是失误参数收敛情况图。
图4c是试题归一化方差收敛情况图。
图5a是试题得分预测均方根误差比较图。
图5b是试题得分预测平均绝对误差比较图。
图6a是推荐系统精确度指标表现图。
图6b是推荐系统召回率指标表现图。
图6c是推荐系统F1值指标表现图。
图7是效用对比图。
具体实施方式
下面将结合本发明创造实施例中的附图,对本发明创造实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明创造一部分实施例,而不是全部的实施例。
DINA(deterministic inputs;noise“and”gate,确定性输入;噪音“与”门模型)
DINO(deterministic inputs;noise“or”gate,确定性输入;噪音“或”门模型)
FDINA(fuzzy deterministic inputs;noise“and”gate,模糊确定性输入;噪音“与”门模型)
MCMC(markov chain monte carlo,马尔科夫链蒙特卡罗算法)
一种基于学生画像的个性化试题推荐方法,其方法实现步骤如下:
(1)收集学生数据,构建得分矩阵:通过校园大数据平台提取出学生的提交代码、系统评判记录、作答记录及学生实验的完成情况,得出学生在试题或者实验中的各项得分构建得分矩阵R,矩阵中的每个元素Rim代表学生Si在试题Vm上的得分;对每道试题或每条实验记录,通过专家评判方式对其所涉及知识点进行评估,得到知识点考察矩阵Q,矩阵中的每个元素Qmn代表试题Vm在知识点Kn的考察情况,1为考察,0为不考察。学生画像的构建流程如图1所示。
(2)采用模糊认知诊断模型合理诊断学生的学习状态:首先,根据构建得分矩阵R和知识点考察矩阵Q,通过FDINA认知诊断方法获得学生的学习状态矩阵α,判断学生的学习状态。FDINA认知诊断过程如图2所示。
(3)MCMC算法估计参数:MCMC算法对多参数的参数估计具有明显优势,本专利采用MCMC算法估计参数。真实环境下,学生作答试题的得分结果的影响因素是多方面的,不仅仅依赖于学生的学习状态,学生的粗心或猜测也会对作答产生影响,因此,每道试题都假设其拥有猜测参数gm、失误参数sm,试题归一化参数σ2,对学生在试题上的得分情况产生影响。使用MCMC算法来估计猜测参数、失误参数和试题归一化参数。在MCMC算法的t次迭代中,从正态分布N(αt-1,σα 2)中对学生的学习状态采样,计算学生学习状态的接受概率P(αt-1,αt);分别从均匀分布U(gt-1-δg,gt-1+δg)、U(st-1-δs,st-1+δs)和U((σ2)t-1-δσ,(σ2)t-1+δσ)中对试题的猜错参数、失误参数以及试题归一化方差采样,计算试题的猜错参数、失误参数以及试题归一化方差参数的接受概率P(gt-1,gt)、P(st-1,st)和P((σ2)t-1,(σ2)t);直到达到最大迭代次数Nt,获得MCMC算法估计出参数和
(i)本专利假设FDINA参数的先验分布由式(1)-(4)计算:
α~U(0,1) (1)
s~Beta(xs,ys,mins,maxs) (2)
g~Beta(xg,yg,ming,maxg) (3)
其中,U(0,1)为一个均匀分布,Beta(x,y,min,max)为一个定义在[min,max]区间的四参数贝塔(Beta)分布,x和y为贝塔分布的形状因子。Γ(a,b)为形状因子为a,缩放因子为b的伽马分布。
(ii)根据得分矩阵R,参数α、s、g和σ2的联合后验概率可由式(5)计算。模型的似然函数L(α,s,g,σ2)计算方式如式(6)所示,其中,Nv为试题的数量,Ns为学生的个数。
P(α,s,g,σ2|R)∝L(α,s,g,σ2)P(α)P(s)P(g)P(σ2) (5)
(iii)参数α、s、g和σ2的条件分布概率计算方式如式(7)-(9):
P(α|R,s,g,σ2)∝L(α,s,g,σ2)P(α) (7)
P(s,g|R,s,g,σ2)∝L(α,s,g,σ2)P(s)P(g) (8)
P(σ2|R,s,g,σ2)∝L(α,s,g,σ2)P(σ2) (9)
(iv)参数α、s、g和σ2的采样:根据Metropolis-Hastings的MCMC算法迭代估计参数,具体方法如算法1中第3-13行所示。在算法1中的第t轮迭代,参数αt、gt、st和(σ2)t随机采样计算方式分别如式(10)-(13):
αt~N(αt-1,σα 2) (10)
st~U(st-1-δs,st-1+δs) (11)
gt~U(gt-1-δg,gt-1+δg) (12)
σ2~U((σ2)t-1-δσ,(σ2)t-1+δσ) (13)
其中,δg、δs和δσ分别为g、s和σ2的采样区间参数,限定采样区间。
(v)参数αt、gt、st和(σ2)t的接受概率计算方式分别如式(14)-(16):
(4)基于效用理论的试题推荐方法:我们采用模糊认知诊断模型来合理判断学生的学习状态属性,结合试题对学生学习状态的要求情况预测学生的答题情况。基于预测信息,我们设计一种基于效用的试题推荐方法,向学生推荐其作答效用高的试题,提高学习效用。学生Si在学习状态αi情况下,作答试题Vm的效用如式(17)所示。
其中,和是估计出的试题Vm的猜测参数和失误参数,是估计出的学生Si的学习状态向量。ηim为在学习状态αi下,学生Si在试题Vm上的潜在作答情况,由式(18)计算;θm为试题Vm的综合通过率,如式(19)所示。为学生Si在学习状态αi下与试题Vm所考察知识点Qm的知识点相似度,如式(20)所示。
在学习状态αi下,学生Si在试题Vm上的潜在作答情况ηim,由式(18)计算:
其中,αi为学生Si的知识点掌握向量,Qm为试题Vm的知识点考察向量,αi·Qm为学生Si在试题Vm所要求对应知识点掌握程度的和,||Qm||为试题Vm所要求知识点向量Qm的范数。
基于学生画像的个性化试题推荐方法具体算法为:
算法1中,第1行表示随机初始化先验分布的参数;在第t轮迭代中,第4-7行表示根据正态分布N(αt-1,σα 2)随机抽取学生的学习状态参数αt,计算学生学习状态αt的接受概率P(αt-1,αt);第8-13行表示分别从均匀分布U(gt-1-δg,gt-1+δg)和U(st-1-δs,st-1+δs)中随机采样猜测参数gt和失误参数st,根据P(gt-1,gt)和P(st-1,st)获得试题的猜错参数gt、失误参数的接受概率st;第14-17行表示从试题归一化方差(σ2)t从U((σ2)t-1-δσ,(σ2)t-1+δσ)中随机抽取,根据P((σ2)t-1,(σ2)t)得到试题归一化方差(σ2)t的接受概率;第20行为获取经过Nt次迭代MCMC算法估计出的参数和第21-23行,根据计算试题对学生的效用,把效用高的试题推荐给学生。
实施例1:
1实验场景设置
本实验数据集为大数据平台中收集的部分学生答题记录和实验记录。其中学生数量是193,知识点数量是40,试题数量是50。数据集中试题和知识点的大致对应情况如图3所示,黑色为试题考察该知识点,白色为不考察。
2对比算法
本专利使用DINA模型和DINO模型作为对比方法。DINA模型是一种参数定义在题目水平上的非补偿模型,对每个试题只需估计失误参数和猜测参数。其认为依照测验实际情况,所有属性均已掌握的学生即使有失误答对的概率也应该高于属性未掌握的学生猜对题目的概率。DINO是一种参数定义在题目水平的补偿模型,适用于学生只要掌握题目所考查的任意一个属性就有较高作答概率的测验情境,在此基础上多掌握考查的属性对作答概率不构成影响。二者均为可描述学生学习状态的离散认知诊断模型。
3性能指标
为全面评估性能,我们采用四类性能指标。
(1)验证模型参数收敛性的指标:猜测参数、失误参数和试题归一化方差。
(2)验证模型预测试题得分准确性的指标:均方根误差(Root Mean SquareError,RMSE)和平均绝对误差(Mean Absolute Error,MAE)。
(3)验证推荐系统性能的指标:准确率(Precision)、召回率(Recall)和F1值。
其中,TP为应被推荐且实际被推荐试题的个数,FP为不应被推荐但实际被推荐的试题的个数,FN为应被推荐而实际并未被推荐的试题的个数。
(4)推荐试题的平均效用,验证推荐试题的效用。
FDINA模型参数设置如表1所示。
表1 FDINA模型参数表
4实验分析
我们从FDINA模型中参数的收敛情况,得分性能,推荐系统评价指标表现情况和平均效用情况四个方面来验证本专利提出试题推荐方法的有效性:
(1)模型中参数的收敛情况
模型中的猜测参数、失误参数和试题归一化方差参数的收敛情况如图4a-图4c所示。三个参都在经历了很少的迭代次数后就趋于稳定。说明该模型能够应用于推荐系统。
(2)得分性能
FDINA、DINA和DINO在不同的训练集比例下在预测试题得分性能上的比较如图5a-图5b所示。显然,随着训练集比例增加,三个模型的误差都逐渐减小。FDINA的均方根误差和平均决定误差一般都小于另外两个模型,因为它更能精确地表示学生的学习状态。与DINA不同,DINO是补偿模型,在不考虑猜测和失误的情况下,认为学生至少掌握考察试题的一个属性就可答对该试题,难以做出准确的模式判断,所以DINA的性能略优于DINO。
(3)推荐系统中评价指标表现情况
FDINA、DINA和DINO在推荐系统中评价指标中的表现情况如图6a-图6c所示。图6a所示为三种模型的精确度情况。在不同训练集比例下,DINA和DINO的精确度差别很小,FDINA相对二者具有更高的精确度。图6b所示为在不同训练集比例下三种模型的召回率情况,FDINA具有更好的召回率性能表现。图6c所示为三种模型的F1值。在不同训练集比例下,FDINA的F1值均高于DINA和DINO。可见,相较于DINA和DINO,FDINA有更优的推荐性能,因为FDINA对学生的学习状态诊断更为细致,且对试题作答情况拥有更高的准确性,因此在基于效用的推荐方法中拥有更好的性能表现。
(4)平均效用情况
FDINA、DINA和DINO在不同训练集比例下所推荐的试题的平均效用如图7所示。显然,FDINA具有较高的平均效用,特别是当训练集比例超过60%时,FDINA的平均效用约为DINA与DINO平均效用之和。可见,使用FDINA对学生进行学习状态诊断并对学生试题得分进行预测从而向学生推荐试题,学生可以获得更大收益。
Claims (3)
1.一种基于学生画像的个性化试题推荐方法,其特征在于,其步骤为:
步骤(1)收集学生数据,构建得分矩阵R,构建知识点考察矩阵Q:通过校园大数据平台提取出学生的提交代码、系统评判记录、作答记录及学生实验的完成情况,得出学生在试题或者实验中的各项得分构建得分矩阵R;对每道试题或每条实验记录,通过专家评判方式对其所涉及知识点进行评估,构建知识点考察矩阵Q;
步骤(2)采用模糊认知诊断模型合理诊断学生的学习状态:根据构建得分矩阵R和知识点考察矩阵Q,通过模糊认知诊断方法获得学生的学习状态矩阵α,判断学生的学习状态,即学生的知识点掌握情况,向量中每个元素代表了学生在每个知识点上的掌握程度;
步骤(3)马尔科夫链蒙特卡洛算法MCMC估计参数:真实环境下,学生作答试题的得分结果的影响因素是多方面的,不仅仅依赖于学生的学习状态,学生的粗心或猜测也会对作答产生影响,因此,每道试题Vm都假设其拥有猜测参数gm、失误参数sm,试题归一化参数σ2,会对学生在试题上的得分情况产生影响;使用MCMC算法来估计猜测参数g、失误参数s和试题归一化参数σ2;
在MCMC算法的t次迭代中,从正态分布N(αt-1,σα 2)中对学生的学习状态采样,计算学生学习状态的接受概率P(αt-1,αt);分别从均匀分布U(gt-1-δg,gt-1+δg)、U(st-1-δs,st-1+δs)和U((σ2)t-1-δσ,(σ2)t-1+δσ)中对试题的猜错参数g、失误参数s以及试题归一化方差σ2采样,计算试题的猜错参数、失误参数以及试题归一化方差参数的接受概率P(gt-1,gt)、P(st-1,st)和P((σ2)t-1,(σ2)t);直到达到最大迭代次数Nt,由MCMC算法估计出参数和
其中:猜测参数g是学生通过猜测正确作答试题的概率;失误参数s为学生本应能正确作答试题,由于失误而未能正确作答试题概率;试题归一化参数σ2表示为试题得分的归一化方差;Vm为题库中的第m道试题;t为第t次迭代;Nt为最大迭代次数;α为学生的学习状态,即学生的知识点掌握情况,向量中每个元素代表了学生在每个知识点上的掌握程度;δg、δs和δσ分别为参数g、s和σ2的采样区间参数,限定采样区间;参数和是经过MCMC迭代Nt次估计出的试题Vm猜测参数、失误参数和归一化参数;
步骤(4)基于效用理论进行试题推荐:根据效用理论设计一个效用函数,根据效用函数计算试题的效用值,并对试题的效用值进行排名,将效用值排名前N的试题推荐给学生,提升学生作答试题的收益。
2.根据权利要求1所述的一种基于学生画像的个性化试题推荐方法,其特征在于,所述的步骤(3)中具体方法为:
3.1)设FDINA模型中学习状态矩阵α、试题Vm的猜测参数g、失误参数s和试题归一化方差σ2参数的先验分布由式(1)-(4)计算:
α~U(0,1) (1)
s~Beta(xs,ys,mins,maxs) (2)
g~Beta(xg,yg,ming,maxg) (3)
其中,U(0,1)为一个均匀分布,Beta(x,y,min,max)为一个定义在[min,max]区间的四参数贝塔(Beta)分布,x和y为贝塔分布的形状因子,Γ(a,b)为形状因子为a,缩放因子为b的伽马分布;
3.2)根据得分矩阵R,参数α、s、g和σ2的联合后验概率可由式(5)计算;模型的似然函数L(α,s,g,σ2)计算方式如式(6)所示,其中,Nv为试题的数量,Ns为学生的个数;
P(α,s,g,σ2|R)∝L(α,s,g,σ2)P(α)P(s)P(g)P(σ2) (5)
3.3)参数α、s、g和σ2的条件分布概率计算方式如式(7)-(9)所示:
P(α|R,s,g,σ2)∝L(α,s,g,σ2)P(α) (7)
P(s,g|R,s,g,σ2)∝L(α,s,g,σ2)P(s)P(g) (8)
P(σ2|R,s,g,σ2)∝L(α,s,g,σ2)P(σ2) (9)
3.4)参数α、s、g和σ2参数的采样:根据Metropolis-Hastings的MCMC算法迭代估计参数,具体方法如算法1中第3-13行所示;在算法1中的第t轮迭代,参数αt、gt、st和(σ2)t随机采样计算方式分别如式(10)-(13):
αt~N(αt-1,σα 2) (10)
st~U(st-1-δs,st-1+δs) (11)
gt~U(gt-1-δg,gt-1+δg) (12)
σ2~U((σ2)t-1-δσ,(σ2)t-1+δσ) (13)
其中,δg、δs和δσ分别为g、s和σ2的采样区间参数,限定采样区间;
3.5)参数αt、gt、st和(σ2)t的接受概率分别计算方式如式(14)-(16):
3.根据权利要求1所述的一种基于学生画像的个性化试题推荐方法,其特征在于,所述的步骤(4)中,具体方法为:
学生Si在学习状态αi情况下,作答试题Vm的效用函数如式(17)所示:
其中,和是估计出的试题Vm的猜测参数和失误参数;是估计出的学生Si的学习状态向量;ηim为为学生Si在试题Vm上的潜在作答情况,如式(18)所示;θm为试题Vm的综合通过率,如式(19)所示;为学生Si在学习状态αi下与试题Vm所考察知识点Qm的知识点相似度,如式(20)所示;
在学习状态αi下,学生Si在试题Vm上的潜在作答情况ηim由式(18)计算:
其中,αi为学生Si的知识点掌握向量,Qm为试题Vm的知识点考察向量,αi·Qm为学生Si在试题Vm所要求对应知识点掌握程度的和,||Qm||为试题Vm所要求知识点向量Qm的范数;
θm为试题Vm的综合通过率由式(19)计算:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110300356.7A CN112905784A (zh) | 2021-03-22 | 2021-03-22 | 基于学生画像的个性化试题推荐方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110300356.7A CN112905784A (zh) | 2021-03-22 | 2021-03-22 | 基于学生画像的个性化试题推荐方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112905784A true CN112905784A (zh) | 2021-06-04 |
Family
ID=76105827
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110300356.7A Pending CN112905784A (zh) | 2021-03-22 | 2021-03-22 | 基于学生画像的个性化试题推荐方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112905784A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113590961A (zh) * | 2021-08-03 | 2021-11-02 | 浙江工商大学 | 基于认知与状态评价的个性化习题推荐方法、装置及智能终端 |
CN115935032A (zh) * | 2022-12-29 | 2023-04-07 | 北京十六进制科技有限公司 | 一种基于智能推荐习题发布个性化作业的方法及装置 |
CN115952838A (zh) * | 2023-02-03 | 2023-04-11 | 黑盒科技(广州)有限公司 | 一种基于自适应学习推荐系统生成方法及系统 |
CN116383481A (zh) * | 2023-02-09 | 2023-07-04 | 四川云数赋智教育科技有限公司 | 一种基于学生画像的个性化试题推荐方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109509126A (zh) * | 2018-11-02 | 2019-03-22 | 中山大学 | 一种基于用户学习行为的个性化试题推荐方法 |
KR20190064911A (ko) * | 2017-12-01 | 2019-06-11 | 한국전자통신연구원 | 학습 문항 추천 장치 및 그 방법 |
-
2021
- 2021-03-22 CN CN202110300356.7A patent/CN112905784A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190064911A (ko) * | 2017-12-01 | 2019-06-11 | 한국전자통신연구원 | 학습 문항 추천 장치 및 그 방법 |
CN109509126A (zh) * | 2018-11-02 | 2019-03-22 | 中山大学 | 一种基于用户学习行为的个性化试题推荐方法 |
Non-Patent Citations (3)
Title |
---|
吴松林: "基于学生画像的个性化推荐和学生团队匹配的研究", 中国优秀硕士学位论文全文数据库信息科技辑, pages 4 * |
李全;刘兴红;许新华;林松;: "基于联合概率矩阵分解的个性化试题推荐方法", 计算机应用, no. 03 * |
王超;刘淇;陈恩红;黄振亚;朱天宇;苏喻;胡国平;: "面向大规模认知诊断的DINA模型快速计算方法研究", 电子学报, no. 05 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113590961A (zh) * | 2021-08-03 | 2021-11-02 | 浙江工商大学 | 基于认知与状态评价的个性化习题推荐方法、装置及智能终端 |
CN115935032A (zh) * | 2022-12-29 | 2023-04-07 | 北京十六进制科技有限公司 | 一种基于智能推荐习题发布个性化作业的方法及装置 |
CN115952838A (zh) * | 2023-02-03 | 2023-04-11 | 黑盒科技(广州)有限公司 | 一种基于自适应学习推荐系统生成方法及系统 |
CN115952838B (zh) * | 2023-02-03 | 2024-01-30 | 黑盒科技(广州)有限公司 | 一种基于自适应学习推荐系统生成方法及系统 |
CN116383481A (zh) * | 2023-02-09 | 2023-07-04 | 四川云数赋智教育科技有限公司 | 一种基于学生画像的个性化试题推荐方法及系统 |
CN116383481B (zh) * | 2023-02-09 | 2024-03-29 | 四川云数赋智教育科技有限公司 | 一种基于学生画像的个性化试题推荐方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112905784A (zh) | 基于学生画像的个性化试题推荐方法 | |
US10885803B2 (en) | System and method for real-time analysis and guidance of learning | |
CN109509126A (zh) | 一种基于用户学习行为的个性化试题推荐方法 | |
Schafer et al. | Average causal effects from nonrandomized studies: a practical guide and simulated example. | |
CN112508334B (zh) | 融合认知特性及试题文本信息的个性化组卷方法及系统 | |
CN109919810A (zh) | 在线学习系统中的学生建模与个性化课程推荐方法 | |
CN107122452A (zh) | 时序化的学生认知诊断方法 | |
Theobald et al. | Beyond linear regression: A reference for analyzing common data types in discipline based education research | |
CN111651677B (zh) | 课程内容推荐方法、装置、计算机设备和存储介质 | |
CN111159419A (zh) | 基于图卷积的知识追踪数据处理方法、系统和存储介质 | |
CN114429212A (zh) | 智能学习知识能力跟踪方法、电子设备及存储介质 | |
Desmarais et al. | A Bayesian student model without hidden nodes and its comparison with item response theory | |
Hirose | Dually Adaptive Online IRT Testing System | |
Mead | Assessment of fit of data to the Rasch model through analysis of residuals. | |
Ak | Development of Internet literacy self-efficacy scale for pre-service teachers | |
CN111898803A (zh) | 一种习题预测方法、系统、设备及存储介质 | |
Thompson | Bayesian psychometrics for diagnostic assessments: A proof of concept | |
Hirose | More accurate evaluation of student’s ability based on a newly proposed ability equation | |
CN112765830A (zh) | 基于学习者认知反应模型的认知诊断方法 | |
Chen et al. | Research on Cognitive Diagnostic Model Based on BP Neural Network | |
CN110046147A (zh) | 适用自适应系统的用户学习能力值获取方法及其应用 | |
CN117556381B (zh) | 一种面向跨学科主观试题的知识水平深度挖掘方法及系统 | |
Jamieson et al. | Towards a better graphlet-based mind map metric for automating student feedback | |
Nurgabyl et al. | Construction of a mathematical model for calibrating test task parameters and the knowledge level scale of university students by means of testing | |
CN111160444B (zh) | 一种基于贝叶斯原理的试卷难易程度分析方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210604 |
|
WD01 | Invention patent application deemed withdrawn after publication |