CN112905784A - 基于学生画像的个性化试题推荐方法 - Google Patents

基于学生画像的个性化试题推荐方法 Download PDF

Info

Publication number
CN112905784A
CN112905784A CN202110300356.7A CN202110300356A CN112905784A CN 112905784 A CN112905784 A CN 112905784A CN 202110300356 A CN202110300356 A CN 202110300356A CN 112905784 A CN112905784 A CN 112905784A
Authority
CN
China
Prior art keywords
student
parameters
test
students
question
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110300356.7A
Other languages
English (en)
Inventor
曲大鹏
张蕊
吕国鑫
王芮
吴松林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Liaoning University
Original Assignee
Liaoning University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Liaoning University filed Critical Liaoning University
Priority to CN202110300356.7A priority Critical patent/CN112905784A/zh
Publication of CN112905784A publication Critical patent/CN112905784A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/335—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Educational Administration (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Educational Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Computational Mathematics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Algebra (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

一种基于学生画像的个性化试题推荐方法，针对当前学生学习过程中容易迷失和学习状态难以准确评判的客观现状，通过集成现有系统和研发新系统，构建校园大数据平台，进而刻画学生精准画像。在此基础上，提出一种模糊认知诊断模型来合理判断学生的学习状态属性，并结合试题对学生学习状态的要求来预测学生的答题情况。基于预测信息，设计一种基于效用的试题推荐方法，向学生推荐其作答效用高的试题。相较于传统的DINA方法和DINO方法，本专利所提出的FDINA方法不仅在试题作答预测结果上达到了更低的均方根误差和平均绝对误差，而且在推荐结果上，取得了更高的精确度、召回率和F1值，此外，FDINA方法还能够有效提高学生作答试题的收益。

Description

基于学生画像的个性化试题推荐方法
技术领域
本发明涉及一种试题推荐方法，尤其是一种基于学生画像的个性化试题推荐方法。
背景技术
随着大数据的发展，特别是人工智能和大数据在教育领域的应用，个性化教育受到越来越多的关注，但其发展过程中暴露了一些问题：首先，对学生的数据挖掘力度不够，主要依赖于学生的学习成绩，缺乏能反映其实践能力等数据，而这些数据能够更精准地刻画学生，在个性化教育过程中具有更重要的作用；其次，学生在创新创业教育活动中的学习情况难以判断；最后，对于学生学习过程缺乏个性化推荐，例如不能向学生推荐更合适的题目。
为学生提供个性化推荐方案首先要准确掌握其学习状态属性，建立精准的学生画像。认知诊断模型是连接学生的内在属性掌握模式和外在题目反应之间的桥梁。DINA模型和DINO模型均为一种已被广泛使用的认知诊断模型，但二者均为典型的离散型认知诊断模型，不能精准诊断学生的学习状态。
当前推荐技术虽研究广泛，但整体上相对缺乏从效用角度来评价推荐对象，从而导致用户需要进一步挑选推荐结果。因此，向学生推荐答题收益高的试题，如何提高学生的学习效用这一问题引发了人们的关注。
发明内容
为了解决上述存在的问题，我们提供一种基于学生画像的个性化试题推荐方法。首先通过集成现有系统和研发新系统，构建了基于IPv6的校园大数据平台，进一步分析平台采集的学生理论学习和实践学习等数据，精准刻画学生画像；然后，提出了一种模糊认知诊断模型以合理诊断学生的学习状态属性；最后设计了一种基于效用理论的试题推荐方法，根据学生的学习状态和试题属性，向学生推荐答题收益高的试题，以提高其学习效用。
为了实现上述目的，本发明创造采用了如下技术方案：
一种基于学生画像的个性化试题推荐方法，其步骤为：
步骤(1)收集学生数据，构建得分矩阵R，构建知识点考察矩阵Q：通过校园大数据平台提取出学生的提交代码、系统评判记录、作答记录及学生实验的完成情况，得出学生在试题或者实验中的各项得分构建得分矩阵R；对每道试题或每条实验记录，通过专家评判方式对其所涉及知识点进行评估，构建知识点考察矩阵Q；
步骤(2)采用模糊认知诊断模型合理诊断学生的学习状态：根据构建得分矩阵R和知识点考察矩阵Q，通过模糊认知诊断方法获得学生的学习状态矩阵α，判断学生的学习状态，即学生的知识点掌握情况，向量中每个元素代表了学生在每个知识点上的掌握程度；
步骤(3)马尔科夫链蒙特卡洛算法(MCMC)估计参数：真实环境下，学生作答试题的得分结果的影响因素是多方面的，不仅仅依赖于学生的学习状态，学生的粗心或猜测也会对作答产生影响；因此，每道试题Vm都假设其拥有猜测参数gm、失误参数sm，试题归一化参数σ2，对学生在试题上的得分情况产生影响。使用MCMC算法来估计猜测参数、失误参数和试题归一化参数。
在MCMC算法的t次迭代中，从正态分布N(αt-1,σα 2)中对学生的学习状态采样，计算学生学习状态的接受概率P(αt-1,αt)；分别从均匀分布U(gt-1-δg,gt-1+δg)、U(st-1-δs,st-1+δs)和U((σ2)t-1-δσ,(σ2)t-1+δσ)中对试题的猜错参数、失误参数以及试题归一化方差采样，计算试题的猜错参数、失误参数以及试题归一化方差参数的接受概率P(gt-1,gt)、P(st-1,st)和P((σ2)t-1,(σ2)t)；直到达到最大迭代次数Nt，获得MCMC算法估计出参数
Figure BDA0002985992900000021
和
Figure BDA0002985992900000022
步骤(4)基于效用理论进行试题推荐：根据效用理论设计了一个效用函数，根据效用函数计算试题的效用值，并对试题的效用值进行排名，将效用值排名前N的试题推荐给学生，提升学生作答试题的收益。
所述的步骤(3)中具体方法为：
3.1)设FDINA模型中学习状态矩阵α、试题Vm的猜测参数g、失误参数s和试题归一化方差σ2参数的先验分布由式(1)-(4)计算：
α～U(0,1) (1)
s～Beta(xs,ys,mins,maxs) (2)
g～Beta(xg,yg,ming,maxg) (3)
Figure BDA0002985992900000023
其中，U(0,1)为一个均匀分布，Beta(x,y,min,max)为一个定义在[min,max]区间的四参数贝塔(Beta)分布，x和y为贝塔分布的形状因子，Γ(a,b)为形状因子为a，缩放因子为b的伽马分布；
3.2)根据得分矩阵R，参数α、s、g和σ2的联合后验概率可由式(5)计算；模型的似然函数L(α,s,g,σ2)计算方式如式(6)所示，其中，Nv为试题的数量，Ns为学生的个数；
P(α,s,g,σ2|R)∝L(α,s,g,σ2)P(α)P(s)P(g)P(σ2) (5)
Figure BDA0002985992900000024
3.3)参数α、s、g和σ2的条件分布概率计算方式如式(7)-(9)所示：
P(α|R,s,g,σ2)∝L(α,s,g,σ2)P(α) (7)
P(s,g|R,s,g,σ2)∝L(α,s,g,σ2)P(s)P(g) (8)
P(σ2|R,s,g,σ2)∝L(α,s,g,σ2)P(σ2) (9)
3.4)参数α、s、g和σ2参数的采样：根据Metropolis-Hastings的MCMC算法迭代估计参数，具体方法如算法1中第3-13行所示。在算法1中的第t轮迭代，参数αt、gt、st和(σ2)t随机采样计算方式分别如式(10)-(13)：
αt～N(αt-1,σα 2) (10)
st～U(st-1-δs,st-1+δs) (11)
gt～U(gt-1-δg,gt-1+δg) (12)
σ2～U((σ2)t-1-δσ,(σ2)t-1+δσ) (13)
其中，δg、δs和δσ分别为g、s和σ2的采样区间参数，限定采样区间。
3.5)参数αt、gt、st和(σ2)t的接受概率分别计算方式如式(14)-(16)：
Figure BDA0002985992900000031
Figure BDA0002985992900000032
Figure BDA0002985992900000033
所述的步骤(4)中，具体方法为：
学生Si在学习状态αi情况下，作答试题Vm的效用函数如式(17)所示：
Figure BDA0002985992900000034
其中，
Figure BDA0002985992900000035
和
Figure BDA0002985992900000036
是估计出的试题Vm的猜测参数和失误参数，
Figure BDA0002985992900000037
是估计出的学生Si的学习状态向量；ηim为为学生Si在试题Vm上的潜在作答情况，如式(18)所示；θm为试题Vm的综合通过率，如式(19)所示；
Figure BDA0002985992900000038
为学生Si在学习状态αi下与试题Vm所考察知识点Qm的知识点相似度，如式(20)所示:
在学习状态αi下，学生Si在试题Vm上的潜在作答情况ηim由式(18)计算：
Figure BDA0002985992900000039
其中，αi为学生Si的知识点掌握向量，Qm为试题Vm的知识点考察向量，αi·Qm为学生Si在试题Vm所要求对应知识点掌握程度的和，||Qm||为试题Vm所要求知识点向量Qm的范数。
θm为试题Vm的综合通过率由式(19)计算：
Figure BDA0002985992900000041
知识点相似度
Figure BDA0002985992900000042
由式(20)计算:
Figure BDA0002985992900000043
其中，
Figure BDA0002985992900000044
为所有学生在试题Vm提交程序中完全通过的数量，
Figure BDA0002985992900000045
为试题Vm提交程序的总数量；
Figure BDA0002985992900000046
为
Figure BDA0002985992900000047
和Qm的余弦相似度，其值域为[-1,1]，式(20)将其值域归为[0,1]。
本发明创造的有益效果：
专利提出的基于学生画像的个性化推荐试题方法不仅在试题作答预测结果上可以达到更低的均方根误差和平均绝对误差，而且在推荐结果上，取得更高的精确度、召回率和F1值，能够有效提高学生作答试题的收益。
附图说明
图1是学生画像构建流程图。
图2是FDINA认知诊断过程图。
图3是数据集中试题知识点的大致对应情况图。
图4a是猜测参数收敛情况图。
图4b是失误参数收敛情况图。
图4c是试题归一化方差收敛情况图。
图5a是试题得分预测均方根误差比较图。
图5b是试题得分预测平均绝对误差比较图。
图6a是推荐系统精确度指标表现图。
图6b是推荐系统召回率指标表现图。
图6c是推荐系统F1值指标表现图。
图7是效用对比图。
具体实施方式
下面将结合本发明创造实施例中的附图，对本发明创造实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明创造一部分实施例，而不是全部的实施例。
DINA(deterministic inputs；noise“and”gate,确定性输入；噪音“与”门模型)
DINO(deterministic inputs；noise“or”gate,确定性输入；噪音“或”门模型)
FDINA(fuzzy deterministic inputs；noise“and”gate，模糊确定性输入；噪音“与”门模型)
MCMC(markov chain monte carlo,马尔科夫链蒙特卡罗算法)
一种基于学生画像的个性化试题推荐方法，其方法实现步骤如下：
(1)收集学生数据，构建得分矩阵：通过校园大数据平台提取出学生的提交代码、系统评判记录、作答记录及学生实验的完成情况，得出学生在试题或者实验中的各项得分构建得分矩阵R，矩阵中的每个元素Rim代表学生Si在试题Vm上的得分；对每道试题或每条实验记录，通过专家评判方式对其所涉及知识点进行评估，得到知识点考察矩阵Q，矩阵中的每个元素Qmn代表试题Vm在知识点Kn的考察情况，1为考察，0为不考察。学生画像的构建流程如图1所示。
(2)采用模糊认知诊断模型合理诊断学生的学习状态：首先，根据构建得分矩阵R和知识点考察矩阵Q，通过FDINA认知诊断方法获得学生的学习状态矩阵α，判断学生的学习状态。FDINA认知诊断过程如图2所示。
(3)MCMC算法估计参数：MCMC算法对多参数的参数估计具有明显优势，本专利采用MCMC算法估计参数。真实环境下，学生作答试题的得分结果的影响因素是多方面的，不仅仅依赖于学生的学习状态，学生的粗心或猜测也会对作答产生影响，因此，每道试题都假设其拥有猜测参数gm、失误参数sm，试题归一化参数σ2，对学生在试题上的得分情况产生影响。使用MCMC算法来估计猜测参数、失误参数和试题归一化参数。在MCMC算法的t次迭代中，从正态分布N(αt-1,σα 2)中对学生的学习状态采样，计算学生学习状态的接受概率P(αt-1,αt)；分别从均匀分布U(gt-1-δg,gt-1+δg)、U(st-1-δs,st-1+δs)和U((σ2)t-1-δσ,(σ2)t-1+δσ)中对试题的猜错参数、失误参数以及试题归一化方差采样，计算试题的猜错参数、失误参数以及试题归一化方差参数的接受概率P(gt-1,gt)、P(st-1,st)和P((σ2)t-1,(σ2)t)；直到达到最大迭代次数Nt，获得MCMC算法估计出参数
Figure BDA0002985992900000051
和
Figure BDA0002985992900000052
(i)本专利假设FDINA参数的先验分布由式(1)-(4)计算：
α～U(0,1) (1)
s～Beta(xs,ys,mins,maxs) (2)
g～Beta(xg,yg,ming,maxg) (3)
Figure BDA0002985992900000061
其中，U(0,1)为一个均匀分布,Beta(x,y,min,max)为一个定义在[min,max]区间的四参数贝塔(Beta)分布，x和y为贝塔分布的形状因子。Γ(a,b)为形状因子为a，缩放因子为b的伽马分布。
(ii)根据得分矩阵R，参数α、s、g和σ2的联合后验概率可由式(5)计算。模型的似然函数L(α,s,g,σ2)计算方式如式(6)所示，其中，Nv为试题的数量，Ns为学生的个数。
P(α,s,g,σ2|R)∝L(α,s,g,σ2)P(α)P(s)P(g)P(σ2) (5)
Figure BDA0002985992900000062
(iii)参数α、s、g和σ2的条件分布概率计算方式如式(7)-(9)：
P(α|R,s,g,σ2)∝L(α,s,g,σ2)P(α) (7)
P(s,g|R,s,g,σ2)∝L(α,s,g,σ2)P(s)P(g) (8)
P(σ2|R,s,g,σ2)∝L(α,s,g,σ2)P(σ2) (9)
(iv)参数α、s、g和σ2的采样：根据Metropolis-Hastings的MCMC算法迭代估计参数，具体方法如算法1中第3-13行所示。在算法1中的第t轮迭代，参数αt、gt、st和(σ2)t随机采样计算方式分别如式(10)-(13)：
αt～N(αt-1,σα 2) (10)
st～U(st-1-δs,st-1+δs) (11)
gt～U(gt-1-δg,gt-1+δg) (12)
σ2～U((σ2)t-1-δσ,(σ2)t-1+δσ) (13)
其中，δg、δs和δσ分别为g、s和σ2的采样区间参数，限定采样区间。
(v)参数αt、gt、st和(σ2)t的接受概率计算方式分别如式(14)-(16)：
Figure BDA0002985992900000063
Figure BDA0002985992900000071
Figure BDA0002985992900000072
(4)基于效用理论的试题推荐方法：我们采用模糊认知诊断模型来合理判断学生的学习状态属性，结合试题对学生学习状态的要求情况预测学生的答题情况。基于预测信息，我们设计一种基于效用的试题推荐方法，向学生推荐其作答效用高的试题，提高学习效用。学生Si在学习状态αi情况下，作答试题Vm的效用如式(17)所示。
Figure BDA0002985992900000073
其中，
Figure BDA0002985992900000074
和
Figure BDA0002985992900000075
是估计出的试题Vm的猜测参数和失误参数，
Figure BDA0002985992900000076
是估计出的学生Si的学习状态向量。ηim为在学习状态αi下，学生Si在试题Vm上的潜在作答情况，由式(18)计算；θm为试题Vm的综合通过率，如式(19)所示。
Figure BDA0002985992900000077
为学生Si在学习状态αi下与试题Vm所考察知识点Qm的知识点相似度，如式(20)所示。
在学习状态αi下，学生Si在试题Vm上的潜在作答情况ηim，由式(18)计算：
Figure BDA0002985992900000078
其中，αi为学生Si的知识点掌握向量，Qm为试题Vm的知识点考察向量，αi·Qm为学生Si在试题Vm所要求对应知识点掌握程度的和，||Qm||为试题Vm所要求知识点向量Qm的范数。
θm为试题Vm的综合通过率，如式(19)所示；
Figure BDA0002985992900000079
为学生Si在学习状态αi下与试题Vm所考察知识点Qm的知识点相似度，如式(20)所示。
Figure BDA00029859929000000710
Figure BDA00029859929000000711
其中，
Figure BDA00029859929000000712
为所有学生在试题Vm提交程序中完全通过的数量，
Figure BDA00029859929000000713
为试题Vm提交程序的总数量。
Figure BDA00029859929000000714
为
Figure BDA00029859929000000715
和Qm的余弦相似度，其值域为[-1,1]，式(20)将其值域归为[0,1]。
基于学生画像的个性化试题推荐方法具体算法为：
Figure BDA0002985992900000081
算法1中，第1行表示随机初始化先验分布的参数；在第t轮迭代中，第4-7行表示根据正态分布N(αt-1,σα 2)随机抽取学生的学习状态参数αt,计算学生学习状态αt的接受概率P(αt-1,αt)；第8-13行表示分别从均匀分布U(gt-1-δg,gt-1+δg)和U(st-1-δs,st-1+δs)中随机采样猜测参数gt和失误参数st，根据P(gt-1,gt)和P(st-1,st)获得试题的猜错参数gt、失误参数的接受概率st；第14-17行表示从试题归一化方差(σ2)t从U((σ2)t-1-δσ,(σ2)t-1+δσ)中随机抽取，根据P((σ2)t-1,(σ2)t)得到试题归一化方差(σ2)t的接受概率；第20行为获取经过Nt次迭代MCMC算法估计出的参数
Figure BDA0002985992900000091
和
Figure BDA0002985992900000092
第21-23行，根据
Figure BDA0002985992900000093
计算试题对学生的效用，把效用高的试题推荐给学生。
实施例1：
1实验场景设置
本实验数据集为大数据平台中收集的部分学生答题记录和实验记录。其中学生数量是193，知识点数量是40，试题数量是50。数据集中试题和知识点的大致对应情况如图3所示，黑色为试题考察该知识点，白色为不考察。
2对比算法
本专利使用DINA模型和DINO模型作为对比方法。DINA模型是一种参数定义在题目水平上的非补偿模型，对每个试题只需估计失误参数和猜测参数。其认为依照测验实际情况，所有属性均已掌握的学生即使有失误答对的概率也应该高于属性未掌握的学生猜对题目的概率。DINO是一种参数定义在题目水平的补偿模型，适用于学生只要掌握题目所考查的任意一个属性就有较高作答概率的测验情境，在此基础上多掌握考查的属性对作答概率不构成影响。二者均为可描述学生学习状态的离散认知诊断模型。
3性能指标
为全面评估性能，我们采用四类性能指标。
(1)验证模型参数收敛性的指标：猜测参数、失误参数和试题归一化方差。
Figure BDA0002985992900000094
Figure BDA0002985992900000095
Figure BDA0002985992900000101
(2)验证模型预测试题得分准确性的指标：均方根误差(Root Mean SquareError,RMSE)和平均绝对误差(Mean Absolute Error,MAE)。
Figure BDA0002985992900000102
Figure BDA0002985992900000103
其中，
Figure BDA0002985992900000104
和
Figure BDA0002985992900000105
分别代表学生的真实得分情况和预测得分情况。
(3)验证推荐系统性能的指标：准确率(Precision)、召回率(Recall)和F1值。
Figure BDA0002985992900000106
Figure BDA0002985992900000107
Figure BDA0002985992900000108
其中，TP为应被推荐且实际被推荐试题的个数，FP为不应被推荐但实际被推荐的试题的个数，FN为应被推荐而实际并未被推荐的试题的个数。
(4)推荐试题的平均效用，验证推荐试题的效用。
Figure BDA0002985992900000109
其中，
Figure BDA00029859929000001010
为推荐试题的数量，
Figure BDA00029859929000001011
为该试题的效用值。
FDINA模型参数设置如表1所示。
表1 FDINA模型参数表
Figure BDA00029859929000001012
Figure BDA0002985992900000111
4实验分析
我们从FDINA模型中参数的收敛情况，得分性能，推荐系统评价指标表现情况和平均效用情况四个方面来验证本专利提出试题推荐方法的有效性：
(1)模型中参数的收敛情况
模型中的猜测参数、失误参数和试题归一化方差参数的收敛情况如图4a-图4c所示。三个参都在经历了很少的迭代次数后就趋于稳定。说明该模型能够应用于推荐系统。
(2)得分性能
FDINA、DINA和DINO在不同的训练集比例下在预测试题得分性能上的比较如图5a-图5b所示。显然，随着训练集比例增加，三个模型的误差都逐渐减小。FDINA的均方根误差和平均决定误差一般都小于另外两个模型，因为它更能精确地表示学生的学习状态。与DINA不同，DINO是补偿模型，在不考虑猜测和失误的情况下，认为学生至少掌握考察试题的一个属性就可答对该试题，难以做出准确的模式判断，所以DINA的性能略优于DINO。
(3)推荐系统中评价指标表现情况
FDINA、DINA和DINO在推荐系统中评价指标中的表现情况如图6a-图6c所示。图6a所示为三种模型的精确度情况。在不同训练集比例下，DINA和DINO的精确度差别很小，FDINA相对二者具有更高的精确度。图6b所示为在不同训练集比例下三种模型的召回率情况，FDINA具有更好的召回率性能表现。图6c所示为三种模型的F1值。在不同训练集比例下，FDINA的F1值均高于DINA和DINO。可见，相较于DINA和DINO，FDINA有更优的推荐性能，因为FDINA对学生的学习状态诊断更为细致，且对试题作答情况拥有更高的准确性，因此在基于效用的推荐方法中拥有更好的性能表现。
(4)平均效用情况
FDINA、DINA和DINO在不同训练集比例下所推荐的试题的平均效用如图7所示。显然，FDINA具有较高的平均效用，特别是当训练集比例超过60％时，FDINA的平均效用约为DINA与DINO平均效用之和。可见，使用FDINA对学生进行学习状态诊断并对学生试题得分进行预测从而向学生推荐试题，学生可以获得更大收益。

Claims (3)

1.一种基于学生画像的个性化试题推荐方法，其特征在于，其步骤为：
步骤(1)收集学生数据，构建得分矩阵R，构建知识点考察矩阵Q：通过校园大数据平台提取出学生的提交代码、系统评判记录、作答记录及学生实验的完成情况，得出学生在试题或者实验中的各项得分构建得分矩阵R；对每道试题或每条实验记录，通过专家评判方式对其所涉及知识点进行评估，构建知识点考察矩阵Q；
步骤(2)采用模糊认知诊断模型合理诊断学生的学习状态：根据构建得分矩阵R和知识点考察矩阵Q，通过模糊认知诊断方法获得学生的学习状态矩阵α，判断学生的学习状态，即学生的知识点掌握情况，向量中每个元素代表了学生在每个知识点上的掌握程度；
步骤(3)马尔科夫链蒙特卡洛算法MCMC估计参数：真实环境下，学生作答试题的得分结果的影响因素是多方面的，不仅仅依赖于学生的学习状态，学生的粗心或猜测也会对作答产生影响，因此，每道试题Vm都假设其拥有猜测参数gm、失误参数sm，试题归一化参数σ2，会对学生在试题上的得分情况产生影响；使用MCMC算法来估计猜测参数g、失误参数s和试题归一化参数σ2；
在MCMC算法的t次迭代中，从正态分布N(αt-1,σα 2)中对学生的学习状态采样，计算学生学习状态的接受概率P(αt-1,αt)；分别从均匀分布U(gt-1-δg,gt-1+δg)、U(st-1-δs,st-1+δs)和U((σ2)t-1-δσ,(σ2)t-1+δσ)中对试题的猜错参数g、失误参数s以及试题归一化方差σ2采样，计算试题的猜错参数、失误参数以及试题归一化方差参数的接受概率P(gt-1,gt)、P(st-1,st)和P((σ2)t-1,(σ2)t)；直到达到最大迭代次数Nt，由MCMC算法估计出参数
Figure FDA0002985992890000011
和
Figure FDA0002985992890000012
其中：猜测参数g是学生通过猜测正确作答试题的概率；失误参数s为学生本应能正确作答试题，由于失误而未能正确作答试题概率；试题归一化参数σ2表示为试题得分的归一化方差；Vm为题库中的第m道试题；t为第t次迭代；Nt为最大迭代次数；α为学生的学习状态，即学生的知识点掌握情况，向量中每个元素代表了学生在每个知识点上的掌握程度；δg、δs和δσ分别为参数g、s和σ2的采样区间参数，限定采样区间；参数
Figure FDA0002985992890000013
和
Figure FDA0002985992890000014
是经过MCMC迭代Nt次估计出的试题Vm猜测参数、失误参数和归一化参数；
步骤(4)基于效用理论进行试题推荐：根据效用理论设计一个效用函数，根据效用函数计算试题的效用值，并对试题的效用值进行排名，将效用值排名前N的试题推荐给学生，提升学生作答试题的收益。
2.根据权利要求1所述的一种基于学生画像的个性化试题推荐方法，其特征在于，所述的步骤(3)中具体方法为：
3.1)设FDINA模型中学习状态矩阵α、试题Vm的猜测参数g、失误参数s和试题归一化方差σ2参数的先验分布由式(1)-(4)计算：
α～U(0,1) (1)
s～Beta(xs,ys,mins,maxs) (2)
g～Beta(xg,yg,ming,maxg) (3)
Figure FDA0002985992890000021
其中，U(0,1)为一个均匀分布，Beta(x,y,min,max)为一个定义在[min,max]区间的四参数贝塔(Beta)分布，x和y为贝塔分布的形状因子，Γ(a,b)为形状因子为a，缩放因子为b的伽马分布；
3.2)根据得分矩阵R，参数α、s、g和σ2的联合后验概率可由式(5)计算；模型的似然函数L(α,s,g,σ2)计算方式如式(6)所示，其中，Nv为试题的数量，Ns为学生的个数；
P(α,s,g,σ2|R)∝L(α,s,g,σ2)P(α)P(s)P(g)P(σ2) (5)
Figure FDA0002985992890000022
3.3)参数α、s、g和σ2的条件分布概率计算方式如式(7)-(9)所示：
P(α|R,s,g,σ2)∝L(α,s,g,σ2)P(α) (7)
P(s,g|R,s,g,σ2)∝L(α,s,g,σ2)P(s)P(g) (8)
P(σ2|R,s,g,σ2)∝L(α,s,g,σ2)P(σ2) (9)
3.4)参数α、s、g和σ2参数的采样：根据Metropolis-Hastings的MCMC算法迭代估计参数，具体方法如算法1中第3-13行所示；在算法1中的第t轮迭代，参数αt、gt、st和(σ2)t随机采样计算方式分别如式(10)-(13)：
αt～N(αt-1,σα 2) (10)
st～U(st-1-δs,st-1+δs) (11)
gt～U(gt-1-δg,gt-1+δg) (12)
σ2～U((σ2)t-1-δσ,(σ2)t-1+δσ) (13)
其中，δg、δs和δσ分别为g、s和σ2的采样区间参数，限定采样区间；
3.5)参数αt、gt、st和(σ2)t的接受概率分别计算方式如式(14)-(16)：
Figure FDA0002985992890000023
Figure FDA0002985992890000031
Figure FDA0002985992890000032
3.根据权利要求1所述的一种基于学生画像的个性化试题推荐方法，其特征在于，所述的步骤(4)中，具体方法为：
学生Si在学习状态αi情况下，作答试题Vm的效用函数如式(17)所示：
Figure FDA0002985992890000033
其中，
Figure FDA0002985992890000034
和
Figure FDA0002985992890000035
是估计出的试题Vm的猜测参数和失误参数；
Figure FDA0002985992890000036
是估计出的学生Si的学习状态向量；ηim为为学生Si在试题Vm上的潜在作答情况，如式(18)所示；θm为试题Vm的综合通过率，如式(19)所示；
Figure FDA0002985992890000037
为学生Si在学习状态αi下与试题Vm所考察知识点Qm的知识点相似度，如式(20)所示；
在学习状态αi下，学生Si在试题Vm上的潜在作答情况ηim由式(18)计算：
Figure FDA0002985992890000038
其中，αi为学生Si的知识点掌握向量，Qm为试题Vm的知识点考察向量，αi·Qm为学生Si在试题Vm所要求对应知识点掌握程度的和，||Qm||为试题Vm所要求知识点向量Qm的范数；
θm为试题Vm的综合通过率由式(19)计算：
Figure FDA0002985992890000039
知识点相似度
Figure FDA00029859928900000310
由式(20)计算:
Figure FDA00029859928900000311
其中，
Figure FDA00029859928900000312
为所有学生在试题Vm提交程序中完全通过的数量，
Figure FDA00029859928900000313
为试题Vm提交程序的总数量；
Figure FDA00029859928900000314
为
Figure FDA00029859928900000315
和Qm的余弦相似度，其值域为[-1,1]，式(20)将其值域归为[0,1]。
CN202110300356.7A 2021-03-22 2021-03-22 基于学生画像的个性化试题推荐方法 Pending CN112905784A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110300356.7A CN112905784A (zh) 2021-03-22 2021-03-22 基于学生画像的个性化试题推荐方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110300356.7A CN112905784A (zh) 2021-03-22 2021-03-22 基于学生画像的个性化试题推荐方法

Publications (1)

Publication Number Publication Date
CN112905784A true CN112905784A (zh) 2021-06-04

Family

ID=76105827

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110300356.7A Pending CN112905784A (zh) 2021-03-22 2021-03-22 基于学生画像的个性化试题推荐方法

Country Status (1)

Country Link
CN (1) CN112905784A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113590961A (zh) * 2021-08-03 2021-11-02 浙江工商大学 基于认知与状态评价的个性化习题推荐方法、装置及智能终端
CN115935032A (zh) * 2022-12-29 2023-04-07 北京十六进制科技有限公司 一种基于智能推荐习题发布个性化作业的方法及装置
CN115952838A (zh) * 2023-02-03 2023-04-11 黑盒科技(广州)有限公司 一种基于自适应学习推荐系统生成方法及系统
CN116383481A (zh) * 2023-02-09 2023-07-04 四川云数赋智教育科技有限公司 一种基于学生画像的个性化试题推荐方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109509126A (zh) * 2018-11-02 2019-03-22 中山大学 一种基于用户学习行为的个性化试题推荐方法
KR20190064911A (ko) * 2017-12-01 2019-06-11 한국전자통신연구원 학습 문항 추천 장치 및 그 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190064911A (ko) * 2017-12-01 2019-06-11 한국전자통신연구원 학습 문항 추천 장치 및 그 방법
CN109509126A (zh) * 2018-11-02 2019-03-22 中山大学 一种基于用户学习行为的个性化试题推荐方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
吴松林: "基于学生画像的个性化推荐和学生团队匹配的研究", 中国优秀硕士学位论文全文数据库信息科技辑, pages 4 *
李全;刘兴红;许新华;林松;: "基于联合概率矩阵分解的个性化试题推荐方法", 计算机应用, no. 03 *
王超;刘淇;陈恩红;黄振亚;朱天宇;苏喻;胡国平;: "面向大规模认知诊断的DINA模型快速计算方法研究", 电子学报, no. 05 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113590961A (zh) * 2021-08-03 2021-11-02 浙江工商大学 基于认知与状态评价的个性化习题推荐方法、装置及智能终端
CN115935032A (zh) * 2022-12-29 2023-04-07 北京十六进制科技有限公司 一种基于智能推荐习题发布个性化作业的方法及装置
CN115952838A (zh) * 2023-02-03 2023-04-11 黑盒科技(广州)有限公司 一种基于自适应学习推荐系统生成方法及系统
CN115952838B (zh) * 2023-02-03 2024-01-30 黑盒科技(广州)有限公司 一种基于自适应学习推荐系统生成方法及系统
CN116383481A (zh) * 2023-02-09 2023-07-04 四川云数赋智教育科技有限公司 一种基于学生画像的个性化试题推荐方法及系统
CN116383481B (zh) * 2023-02-09 2024-03-29 四川云数赋智教育科技有限公司 一种基于学生画像的个性化试题推荐方法及系统

Similar Documents

Publication Publication Date Title
CN112905784A (zh) 基于学生画像的个性化试题推荐方法
US10885803B2 (en) System and method for real-time analysis and guidance of learning
CN109509126A (zh) 一种基于用户学习行为的个性化试题推荐方法
Schafer et al. Average causal effects from nonrandomized studies: a practical guide and simulated example.
CN112508334B (zh) 融合认知特性及试题文本信息的个性化组卷方法及系统
CN109919810A (zh) 在线学习系统中的学生建模与个性化课程推荐方法
CN107122452A (zh) 时序化的学生认知诊断方法
Theobald et al. Beyond linear regression: A reference for analyzing common data types in discipline based education research
CN111651677B (zh) 课程内容推荐方法、装置、计算机设备和存储介质
CN111159419A (zh) 基于图卷积的知识追踪数据处理方法、系统和存储介质
CN114429212A (zh) 智能学习知识能力跟踪方法、电子设备及存储介质
Desmarais et al. A Bayesian student model without hidden nodes and its comparison with item response theory
Hirose Dually Adaptive Online IRT Testing System
Mead Assessment of fit of data to the Rasch model through analysis of residuals.
Ak Development of Internet literacy self-efficacy scale for pre-service teachers
CN111898803A (zh) 一种习题预测方法、系统、设备及存储介质
Thompson Bayesian psychometrics for diagnostic assessments: A proof of concept
Hirose More accurate evaluation of student’s ability based on a newly proposed ability equation
CN112765830A (zh) 基于学习者认知反应模型的认知诊断方法
Chen et al. Research on Cognitive Diagnostic Model Based on BP Neural Network
CN110046147A (zh) 适用自适应系统的用户学习能力值获取方法及其应用
CN117556381B (zh) 一种面向跨学科主观试题的知识水平深度挖掘方法及系统
Jamieson et al. Towards a better graphlet-based mind map metric for automating student feedback
Nurgabyl et al. Construction of a mathematical model for calibrating test task parameters and the knowledge level scale of university students by means of testing
CN111160444B (zh) 一种基于贝叶斯原理的试卷难易程度分析方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210604

WD01 Invention patent application deemed withdrawn after publication