CN111813921A - 题目推荐方法、电子设备及计算机可读存储介质 - Google Patents

题目推荐方法、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN111813921A
CN111813921A CN202010845635.7A CN202010845635A CN111813921A CN 111813921 A CN111813921 A CN 111813921A CN 202010845635 A CN202010845635 A CN 202010845635A CN 111813921 A CN111813921 A CN 111813921A
Authority
CN
China
Prior art keywords
knowledge
student
question
title
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010845635.7A
Other languages
English (en)
Other versions
CN111813921B (zh
Inventor
王伟松
周玉立
金苍宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Xuehai Education Technology Co ltd
Original Assignee
Zhejiang Xuehai Education Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Xuehai Education Technology Co ltd filed Critical Zhejiang Xuehai Education Technology Co ltd
Priority to CN202010845635.7A priority Critical patent/CN111813921B/zh
Publication of CN111813921A publication Critical patent/CN111813921A/zh
Application granted granted Critical
Publication of CN111813921B publication Critical patent/CN111813921B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/335—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Business, Economics & Management (AREA)
  • Animal Behavior & Ethology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及题目推荐方法、电子设备及计算机可读存储介质，属于数据挖掘技术领域，该方法包括：获取学生的历史做题信息；根据知识点对历史做题信息中的题目进行重新聚合，并针对各知识点构建知识图谱；根据知识图谱计算各知识点的向量表征，并计算学生的知识点认知与题目难度之间的关系；基于学生的知识点认知与题目难度之间的关系，通过相似度函数构造学生做题状态表征；将知识点的向量表征和学生做题状态表征利用带有注意力机制的神经网络进行数据融合来更新学生做题状态表征；在马尔科夫决策过程中，基于更新的学生做题状态表征来推荐题目。能够根据学生的能力个性化推荐作业题目，从而能够提高学习效率、评估学习成绩并减轻教师的负担。

Description

题目推荐方法、电子设备及计算机可读存储介质
技术领域
本发明涉及数据挖掘技术领域，尤其涉及一种题目推荐方法、电子设备及计算机可读存储介质。
背景技术
互联网的发展使得在线学习成为可能，实体的教室正开始失去其作为学习场所的垄断地位，以前学生幻想的在家中学习的方式现在可以通过在线学习来实现。许多研究者和教育工作者对在线学习感兴趣，希望通过借助在线学习来提高和改善学生的学习成果，同时应对实体教育资源减少的问题。其中，就在线作业而言，如在线测验、课后练习、虚拟实验室和在线文学搜索等在在线学习中扮演着重要的角色。例如，教师使用在线问题生成器为学生产生题目，并可以从中获得反馈来激励学生，但是该方法的缺陷是增加了教师的负担，而且由于测验的内容可能是不同的，难以发现学生潜在的能力和认知水平。
因此，如何根据学生的能力个性化推荐作业题目从而提高学习效率、评估学习成绩及减轻教师的负担，成为本领域亟待解决的问题。
发明内容
为了解决上述问题，第一方面，本发明实施例提供一种题目推荐方法，包括：获取学生的历史做题信息；根据知识点对所述历史做题信息中的题目进行重新聚合，并针对各所述知识点构建知识图谱；根据所述知识图谱计算各所述知识点的向量表征，并计算所述学生的知识点认知与所述题目难度之间的关系；基于所述学生的知识点认知与所述题目难度之间的关系，通过相似度函数构造学生做题状态表征；将所述知识点的向量表征和所述学生做题状态表征利用带有注意力机制的神经网络进行数据融合来更新学生做题状态表征；在马尔科夫决策过程中，基于更新的学生做题状态表征来推荐题目。
可选的，所述的根据所述知识图谱计算各所述知识点的向量表征，具体为：根据所述知识图谱，通过TransE来计算各所述知识点的向量表征。
可选的，所述的通过相似度函数构造学生做题状态表征，包括：通过相似度函数从所述历史做题信息中选择题目，并根据欧几里得距离、皮尔森相似度、曼哈顿距离或余弦相似度对选择的题目进行排序；对排序的题目计算正确率以得到学生做题状态表征。
可选的，所述的将所述知识点的向量表征和所述学生的做题状态表征利用带有注意力机制的神经网络进行数据融合来更新学生做题状态表征，包括：基于注意力机制三元组（q，k，v），利用TransR训练各所述知识点的嵌入数据k，其中q表示所述题目，v表示与所述题目对应的奖励设置；将各所述知识点的嵌入数据k合并到所述学生做题状态表征中以更新学生做题状态表征。
可选的，所述的马尔科夫决策过程，包括：
定义状态
Figure 492216DEST_PATH_IMAGE001
是一组状态，用于说明当前赋值的环境，
Figure 265000DEST_PATH_IMAGE002
代表当前状态下的第
Figure 946649DEST_PATH_IMAGE003
个步骤， 对于模型
Figure 121278DEST_PATH_IMAGE004
，
Figure 862969DEST_PATH_IMAGE005
是最初作为一个给定的任务
Figure 123049DEST_PATH_IMAGE006
，
Figure 342809DEST_PATH_IMAGE007
是剩下的被需要排名的题目
Figure 371945DEST_PATH_IMAGE008
；
动作
Figure 409171DEST_PATH_IMAGE009
是一个智能体可以采取的一组离散的动作，其可用的操作取决于所述状态S，记 为
Figure 766334DEST_PATH_IMAGE010
，即在第
Figure 914419DEST_PATH_IMAGE003
步，根据每个动作
Figure 532482DEST_PATH_IMAGE011
计算
Figure 881555DEST_PATH_IMAGE006
中每个题目
Figure 585069DEST_PATH_IMAGE012
，并选择在排序中第（
Figure 412210DEST_PATH_IMAGE013
）未知的题目
Figure 150359DEST_PATH_IMAGE014
，由动作
Figure 794967DEST_PATH_IMAGE015
选择题目的下标
Figure 126722DEST_PATH_IMAGE016
。
转换
Figure 882189DEST_PATH_IMAGE017
表示映射状态
Figure 361929DEST_PATH_IMAGE002
和动作
Figure 177438DEST_PATH_IMAGE010
到新的状态
Figure 730911DEST_PATH_IMAGE018
，在第
Figure 290068DEST_PATH_IMAGE003
步，动作
Figure 737230DEST_PATH_IMAGE015
选择题 目
Figure 67848DEST_PATH_IMAGE014
，将其从题目
Figure 498829DEST_PATH_IMAGE008
中按照下式移除：
Figure 471465DEST_PATH_IMAGE019
价值函数R是状态价值函数
Figure 304291DEST_PATH_IMAGE020
是基于输入状态
Figure 71390DEST_PATH_IMAGE001
评估整个题目排序质量的赋值方法。该 价值函数表达式如下：
Figure 989668DEST_PATH_IMAGE021
其中
Figure 765994DEST_PATH_IMAGE022
是选择的题目
Figure 187748DEST_PATH_IMAGE014
的相关性标签，且根据学生的做题情况来计算
Figure 250382DEST_PATH_IMAGE022
，题目
Figure 265742DEST_PATH_IMAGE012
的难度
Figure 704814DEST_PATH_IMAGE023
被定义如下：
Figure 981075DEST_PATH_IMAGE024
其中r=0表示题目做错，而r=1表示题目做对，并且
Figure 355555DEST_PATH_IMAGE022
被定义为：
Figure 717266DEST_PATH_IMAGE025
策略
Figure 694450DEST_PATH_IMAGE026
定义一个函数，该函数将状态作为输入，并将所有可能的操作
Figure 966162DEST_PATH_IMAGE027
上的 分布作为输出，且策略计算当前排名中每个题目选择的概率:
Figure 636178DEST_PATH_IMAGE028
其中
Figure 626131DEST_PATH_IMAGE029
是模型的参数，并且维度与训练样本的特征数目相同。
可选的，所述的题目推荐方法，还包括：
计算最大化长期收益
Figure 407005DEST_PATH_IMAGE030
：
Figure 533224DEST_PATH_IMAGE031
其中M为问题的长度，且梯度
Figure 374141DEST_PATH_IMAGE032
按照以下方式计算：
Figure 851390DEST_PATH_IMAGE033
在每次迭代中，将使用当前策略对一个情节进行采样，且在每个步骤t，根据
Figure 45742DEST_PATH_IMAGE034
调整参数w，使状态
Figure 416680DEST_PATH_IMAGE035
处重复动作的概率最大化。
可选的，所述的题目推荐方法，还包括：采用归一化折损累计增益作为推荐结果的评价指标。
可选的，所述历史做题信息包括学生信息、题目、所述题目包含的知识点、做题结果和做题时间。
第二方面，本发明实施例提供一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一项所述的题目推荐方法。
第三方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述任一项所述的题目推荐方法
根据上述内容，采用本发明实施例的题目推荐方法，需要获取学生的历史做题信息，根据知识点对历史做题信息中的题目进行重新聚合，并针对各知识点构建知识图谱，所以能够根据学生的历史做题情况，对学生进行有针对性的题目推荐。而且，本发明实施例还根据知识图谱计算各知识点的向量表征，并计算学生的知识点认知与所述题目难度之间的关系；基于学生的知识点认知与题目难度之间的关系，通过相似度函数构造学生做题状态表征；将知识点的向量表征和学生的做题状态表征利用带有注意力机制的神经网络进行数据融合来更新学生做题状态表征；在马尔科夫决策过程中，基于更新的学生做题状态表征来推荐题目。能够发现学生潜在的做题能力和知识点认知水平，从而能够根据学生的能力个性化推荐作业题目，达到了提高学习效率、评估学习成绩及减轻教师负担的有益效果。
附图说明
图1是本发明一实施形态的题目推荐方法的流程示意图；
图2是本发明实施例1的KFRank的架构示意图；
图3是本发明实施例1的KFRank中知识融合的示意图；
图4是本发明实施例1的KFRank中马尔可夫决策过程的排序示意图；
图5是本发明实施例1的KFRank学习的算法示意图；
图6是本发明实施例1的KFRank中用于更新状态的算法示意图；
图7是本发明实施例1的KFRank 与其他方法进行比较的表格示意图；
图8是本发明实施例1中应用于优等生的KFRank与LambdaMART 及 Random Forest在不同nDCG值上比较的示意图；
图9是本发明实施例1中应用于中等生的KFRank与LambdaMART 及 Random Forest在不同nDCG值上比较的示意图；
图10是本发明实施例1中应用于后进生的KFRank与LambdaMART 及 Random Forest在不同nDCG值上比较的示意图；
图11是本发明实施例2的电子设备的示意框图。
具体实施方式
以下将结合附图，对本发明进行更为详细的描述，需要说明的是，以下参照附图对本发明进行的描述仅是示意性的，而非限制性的。各个不同实施例之间可以进行相互组合，以构成未在以下描述中示出的其他实施例。
请参阅图1所示，本发明一实施形态的题目推荐方法包括以下步骤：
S1：获取学生的历史做题信息；
S2：根据知识点对所述历史做题信息中的题目进行重新聚合，并针对各所述知识点构建知识图谱；
S3：根据所述知识图谱计算各所述知识点的向量表征，并计算所述学生知识点认知与所述题目难度之间的关系；
S4：基于所述学生的知识点认知与所述题目难度之间的关系，通过相似度函数构造学生做题状态表征；
S5：将所述知识点的向量表征和所述学生的做题状态表征利用带有注意力机制的神经网络进行数据融合来更新学生做题状态表征；
S6：在马尔科夫决策过程中，基于更新的学生做题状态表征来推荐题目。
通过上述方式，能够发现学生潜在的做题能力和知识点认知水平，从而能够根据学生的能力个性化推荐作业题目，达到了提高学习效率、评估学习成绩及减轻教师负担的有益效果。
实施例1
本实施例需要获取学生的历史做题信息，并根据学生和题目进行重新聚合。以人工标注的方式获得题目中的知识点以及知识点之间的关系，建立知识图谱，从而根据学生历史做题情况计算各个题目的难度和学生自身的能力（即学生做题状态表征）。在本实施例中，例如将学生的作业根据时间以及教师布置的批次划分，共得到40次作业，然后用正确率来估计每个问题的难度。对每个学生来说，他们的知识认知能力是根据他们完成的所有基于知识点的作业的平均分来衡量的，因此，学生的知识认知是动态的，且在学习过程中是不断更新的。如果一个学生在一次作业中表现很好，那么所有相关的认知水平都会迅速提高。另外，一个问题的难度是固定的或不容易改变的，因为它取决于所有学生的表现。基于学生的知识认知和问题的难度，可以利用相似度函数来计算特征以构造学生学生做题状态表征，例如，按照传统的排序学习方法（包括欧几里得距离、皮尔森相似度、曼哈顿距离、余弦相似度等）进行排序，同时加入题目本身的信息，例如用可以来评估题目的难度的正确率作为特征。学生做题不论对错都可以得到一定的奖励，根据奖励的不同来让模型学习如何决策。例如，可以将奖励定义为：题目难度（正确率）乘以5。
作为一个示例，通过日志回流获取学生的历史做题情况，并对学生和题目进行聚合，从而计算题目的难度和学生做题状态表征，根据标注的知识点和知识之间的关系构建知识图谱。例如，针对一个题目：解方程∣2X∣=5，其解题过程为：当2X≥0，时，原方程可化为一元一次方程2X=5，解得X=2.5；当2X＜0时，原方程可化为一元一次方程-2X=5，解得X=-2.5，其中，该题目的知识点包括一元一次方程和绝对值，与该题目相关的问题例如有解方程3∣X-1∣-2=10。可见，一个问题可以包含多个知识点，而一个知识点可能有许多相关的问题。因此，对于具有多个知识点的给定问题，我们首先计算每个知识点的状态，然后合并所有相关的状态。根据问题中知识点之间的关系，可以得到知识图谱中的许多基本三元组，通过这些三元组，可以使用TransR训练出知识点的嵌入表示（即嵌入数据），使用注意力机制融合进知识点的信息，得到新的学生做题状态表征，最后通过马尔科夫决策过程排序MDPRank来排序并给学生做题推荐题目，本申请将这种题目推荐的架构命名为带有注意力机制的知识融合排序模型(Attention-based Knowledge Fusion Rank Model，简称KFRank)。
以下对该KFRank进行详细说明。
请参阅图2所示，是本发明一实施形态的KFRank的架构示意图。通过日志回流获取学生的历史做题情况，并对学生和题目进行聚合，以人工标注的方式获得题目中的知识点以及知识点之间的关系，建立知识图谱，并使用TransE来计算出各个知识点的向量表征。根据学生历史做题情况计算各个题目的难度和学生自身的能力。本申请中使用正确率来估计每个问题的难度。基于学生的知识认知和问题的难度，通过相似度函数从所述历史做题信息中选择题目，并根据欧几里得距离、皮尔森相似度、曼哈顿距离或余弦相似度对选择的题目进行排序，然后对排序的题目计算正确率以得到学生做题状态表征，同时加入题目本身的信息，例如用可以来评估题目的难度的正确率作为特征。学生做题不论对错都可以得到一定的奖励，根据奖励的不同来让模型学习如何决策。
针对计算出来的学生做题状态表征和知识点的向量表征，利用带有注意力机制的神经网络进行数据融合来更新学生做题状态表征。例如，Q是学生当前的知识认知，而k是利用TransR训练的嵌入数据，在注意力机制的三元组（q，k，v）中，即，将Q设置为k，将题目设置为q，将与该题目对应的奖励设置为v，其中q是query的缩写，k是key的缩写，v是value的缩写。请参阅图3所示，通过注意机制将多个知识点的向量表征合并到基础学习状态中从而更新学生做题状态表征，等效于将不同知识点的信息集成到基础学习状态，并获得一个新的向量来表示新的学生做题状态表征。对于每一道题目，从知识图谱中选择已经训练好的知识点的向量表征和学生当前的知识认知Q1以编码的方式进行自注意力（Self-Attention）计算，得到学生新的知识认知R1、R2和R3，然后合并R1、R2和R3从而得到新的学生做题状态表征。
根据更新后的学生做题状态表征，使用马尔科夫决策过程的排序方法来对题目进行排序和推荐，在该马尔科夫决策过程中的所有定义如下：
状态
Figure 303865DEST_PATH_IMAGE001
是一组状态，用于说明当前赋值的环境。在排名过程中，智能体不仅要知道位 置，还要知道剩余的问题。因此，状态
Figure 861885DEST_PATH_IMAGE002
代表的是当前状态下的第
Figure 125507DEST_PATH_IMAGE003
个步骤，可以被定义为
Figure 85373DEST_PATH_IMAGE004
，
Figure 2514DEST_PATH_IMAGE005
是最初作为一个给定的任务
Figure 454355DEST_PATH_IMAGE006
，
Figure 115143DEST_PATH_IMAGE007
是剩下的被需要排名的问题
Figure 929515DEST_PATH_IMAGE008
。
动作
Figure 424082DEST_PATH_IMAGE009
是一个智能体可以采取的一组离散的动作。可用的操作可能取决于状态S， 被记为
Figure 956694DEST_PATH_IMAGE010
，在第
Figure 421174DEST_PATH_IMAGE003
步，每个动作
Figure 230998DEST_PATH_IMAGE011
计算了
Figure 755520DEST_PATH_IMAGE006
中每个问题
Figure 41008DEST_PATH_IMAGE012
的值，并选择在排序中
Figure 918965DEST_PATH_IMAGE013
未知的问题
Figure 707930DEST_PATH_IMAGE014
，由动作
Figure 668932DEST_PATH_IMAGE015
选择的问题的下标
Figure 785924DEST_PATH_IMAGE016
。
转换
Figure 592206DEST_PATH_IMAGE017
表示映射状态
Figure 766835DEST_PATH_IMAGE002
和动作
Figure 242947DEST_PATH_IMAGE010
到新的状态
Figure 503027DEST_PATH_IMAGE018
，在第
Figure 847421DEST_PATH_IMAGE003
步，动作
Figure 751923DEST_PATH_IMAGE015
选择问 题
Figure 523570DEST_PATH_IMAGE014
，将其从问题
Figure 146312DEST_PATH_IMAGE008
中按照下式移除：
Figure 825555DEST_PATH_IMAGE019
价值函数R是状态价值函数
Figure 584564DEST_PATH_IMAGE020
是基于输入状态
Figure 792691DEST_PATH_IMAGE001
评估整个题目排序质量的赋值方法。本 发明将该价值函数定义为DCG：
Figure 637151DEST_PATH_IMAGE036
式中
Figure 323347DEST_PATH_IMAGE022
是选择的问题
Figure 61496DEST_PATH_IMAGE014
的相关性标签。在本发明中，可以根据学生的做对 做错情况和问题的难度来计算
Figure 112628DEST_PATH_IMAGE022
。问题
Figure 444384DEST_PATH_IMAGE012
的难度
Figure 934271DEST_PATH_IMAGE023
被定义如下：
Figure 667872DEST_PATH_IMAGE024
其中r=0表示题目做错了，而r=1表示题目做对了，并且
Figure 889906DEST_PATH_IMAGE022
被定义为：
Figure 833591DEST_PATH_IMAGE025
策略
Figure 861590DEST_PATH_IMAGE026
定义一个函数，该函数将状态作为输入，并将所有可能的操作
Figure 449697DEST_PATH_IMAGE027
上的 分布作为输出。策略计算当前排名中每个问题选择的概率:
Figure 170528DEST_PATH_IMAGE037
其中
Figure 476876DEST_PATH_IMAGE029
是模型的参数，它的维度与训练样本的特征数目相同。
历史日志
Figure 308566DEST_PATH_IMAGE038
是学生历史做题记录的集合，
Figure 875813DEST_PATH_IMAGE039
表示学生p做题目q的记录。
Figure 896773DEST_PATH_IMAGE038
是按照信息检索系统日志来设置的，包括学生信息、题目、题目包含的知识点、做题结果和 做题时间。
请参阅图4至图6所示，在此可以设置重建器
Figure 549471DEST_PATH_IMAGE040
，其作用是把当前状态
Figure 919272DEST_PATH_IMAGE041
更新到新的 状态
Figure 216392DEST_PATH_IMAGE042
，即根据学生历史做题的表现和当前要做的题目中的知识点来更新状态，对一个学生 给定的一次作业是一个查询ω，是一组长度为M的问题Q，初始状态为
Figure 544606DEST_PATH_IMAGE043
，在每一 步t = 0，...，M -1，决策体会选择最佳行动，从问题集Q中选择
Figure 419021DEST_PATH_IMAGE044
作为排名t（请见图5 中算法1的第7和8行），将动作从
Figure 999038DEST_PATH_IMAGE045
中移除（请见图5中算法1的第9行和第10行），本申请计算
Figure 275298DEST_PATH_IMAGE046
并计算长期回报，重复该过程，直到选择了所有M个问题。
基于上述内容，本申请的题目推荐方法还使用基于强化学习的策略梯度算法来学 习KFRank中的参数w，该算法的目标是最大化长期收益
Figure 649779DEST_PATH_IMAGE030
，表达式为：
Figure 11490DEST_PATH_IMAGE031
在该算法中，梯度
Figure 988673DEST_PATH_IMAGE032
按照以下方式计算：
Figure 260386DEST_PATH_IMAGE047
在每次迭代中，将使用当前策略对一个情节进行采样，在每个步骤t，根据
Figure 664822DEST_PATH_IMAGE034
调整参数w，这使状态
Figure 779409DEST_PATH_IMAGE035
处重复动作的概率最大化。通过这种方式，
Figure 170070DEST_PATH_IMAGE030
会 在为操作提供最大回报的方向上移动参数。
作为一个示例，还可以采用归一化折损累计增益（normalized Discounted Cumulative Gain，nDCG） 作为结果评价指标。首先计算DCG，如下文公式所示，其中
Figure 420923DEST_PATH_IMAGE048
为推荐 列表中题目的排名，
Figure 261840DEST_PATH_IMAGE049
为推荐列表的长度，
Figure 473510DEST_PATH_IMAGE050
为排序函数或算法，
Figure 58075DEST_PATH_IMAGE051
为第
Figure 163434DEST_PATH_IMAGE048
项的值，
Figure 50619DEST_PATH_IMAGE052
为折扣。需要说明的是，iDCG是理想的折损累计增益，iDCG@k也是同样的由 这样的方式计算。在iDCG@k中，推荐列表中的问题按照它们的原始值进行排序，也就是得到 的是最理想化的结果，而不是按照排序算法进行排序。其中DCG和nDCG的表达式分别为：
Figure 608639DEST_PATH_IMAGE053
Figure 731316DEST_PATH_IMAGE054
如果nDCG值越大，那么说明模型给出的排序结果越接近于最理想化的排序。
作为一个示例，此次发明所提出的模型及算法与其他各种方法进行了评估对比，主要是在nDCG@5和nDCG@10上进行比较。nDCG的计算是对所有的学生作业上的表现取的平均值，最终的实验结果请参阅图7（为KFRank与其他方法的比较）所示，可见，本发明实施例的KFRank应用在中等生和后进生上的表现要显著优于其他排序学习和强化学习的方法。这表明本发明实施例的KFRank对知识认知不足的学生有更大的帮助，从实际角度去看，这也是更有意义的，因为对于优等生来说，想要得到较大的提升是比较困难的。
另外，本发明的KFRank还与表现较好的LambdaMart和Random Forest在更多的nDCG值上进行了比较以评估稳定性。请参阅图8至图10所示，其中，图8应用于优等生，图9应用于中等生，图10应用于后进生。在此，本申请选取了k等于5、7、10、13、15、17、20这七组不同的指标，可见，在传统的学习排序方法中，KFRank的性能通常比Random Forest和LambdaMART更好且更稳定，其中Random Forest和LambdaMART都会在不同的k取值上有一些波动。
因此，采用本发明各种实施例的题目推荐方法，能够发现学生潜在的做题能力和知识点认知水平，从而能够根据学生的能力个性化推荐作业题目，达到了提高学习效率、评估学习成绩及减轻教师负担的有益效果。
实施例2
请参阅图11所示，为电子设备的结构示意图，该电子设备包括处理器610、存储器620、输入装置630和输出装置640；计算机设备中处理器610的数量可以是一个或多个；电子设备中的处理器610、存储器620、输入装置630和输出装置640可以通过总线或其他方式连接。
处理器610通过运行存储在存储器620中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现本发明各种实施形态的题目推荐方法。
存储器620可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器620可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器620可进一步包括相对于处理器610远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置630可用于接收实体编码数据、实体等。输出装置640可包括显示屏等显示装备。
实施例3
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器（Read-Only Memory， ROM）、随机存取存储器（Random AccessMemory， RAM）、闪存（FLASH）、硬盘或光盘等，包括若干指令用以使得一台电子设备（可以是手机，个人计算机，服务端，或者网络设备等）执行本发明各种实施形态的题目推荐方法
对本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及形变，而所有的这些改变以及形变都应该属于本发明权利要求的保护范围之内。

Claims (10)

1.一种题目推荐方法，其特征在于，包括：
获取学生的历史做题信息；
根据知识点对所述历史做题信息中的题目进行重新聚合，并针对各所述知识点构建知识图谱；
根据所述知识图谱计算各所述知识点的向量表征，并计算学生的知识点认知与题目难度之间的关系；
基于学生的所述知识点认知与所述题目难度之间的关系，通过相似度函数构造学生做题状态表征；
将所述知识点的向量表征和所述学生做题状态表征利用带有注意力机制的神经网络进行数据融合来更新学生做题状态表征；
在马尔科夫决策过程中，基于更新的学生做题状态表征来推荐题目。
2.根据权利要求1所述的题目推荐方法，其特征在于，所述的根据所述知识图谱计算各所述知识点的向量表征，具体为：
根据所述知识图谱，通过TransE来计算各所述知识点的向量表征。
3.根据权利要求1所述的题目推荐方法，其特征在于，所述的通过相似度函数构造学生做题状态表征，包括：
通过相似度函数从所述历史做题信息中选择题目，并根据欧几里得距离、皮尔森相似度、曼哈顿距离或余弦相似度对选择的题目进行排序；
对排序的题目计算正确率以得到学生做题状态表征。
4.根据权利要求1所述的题目推荐方法，其特征在于，所述的将所述知识点的向量表征和所述学生做题状态表征利用带有注意力机制的神经网络进行数据融合来更新学生做题状态表征，包括：
基于注意力机制三元组（q，k，v），利用TransR训练各所述知识点的嵌入数据k，其中q表示所述题目，v表示与所述题目对应的奖励设置；
将各所述知识点的嵌入数据k合并到所述学生做题状态表征中以更新学生做题状态表征。
5.根据权利要求4所述的题目推荐方法，其特征在于，所述的马尔科夫决策过程，包括：
定义状态
Figure 703617DEST_PATH_IMAGE001
是一组状态，用于说明当前赋值的环境，
Figure 761703DEST_PATH_IMAGE002
代表当前状态下的第
Figure 72599DEST_PATH_IMAGE003
个步骤，对 于模型
Figure 733387DEST_PATH_IMAGE004
，
Figure 688705DEST_PATH_IMAGE005
是最初作为一个给定的任务
Figure 42326DEST_PATH_IMAGE006
，
Figure 715884DEST_PATH_IMAGE007
是剩下的被需要排名的题目
Figure 914784DEST_PATH_IMAGE008
；
动作
Figure 849242DEST_PATH_IMAGE009
是一个智能体可以采取的一组离散的动作，其可用的操作取决于所述状态S，记 为
Figure 514710DEST_PATH_IMAGE010
，即在第
Figure 269039DEST_PATH_IMAGE003
步，根据每个动作
Figure 537209DEST_PATH_IMAGE011
计算
Figure 326174DEST_PATH_IMAGE006
中每个题目
Figure 896963DEST_PATH_IMAGE012
，并选择在排序中第
Figure 404168DEST_PATH_IMAGE013
的未知题目
Figure 351396DEST_PATH_IMAGE014
，由动作
Figure 994867DEST_PATH_IMAGE015
选择题目的下标
Figure 861191DEST_PATH_IMAGE016
；
转换
Figure 731058DEST_PATH_IMAGE017
表示映射状态
Figure 341031DEST_PATH_IMAGE002
和动作
Figure 104588DEST_PATH_IMAGE010
到新的状态
Figure 17180DEST_PATH_IMAGE018
，在第
Figure 498977DEST_PATH_IMAGE003
步，动作
Figure 912641DEST_PATH_IMAGE015
选择题目
Figure 406070DEST_PATH_IMAGE014
，将其从题目
Figure 614198DEST_PATH_IMAGE008
中按照下式移除：
Figure 458657DEST_PATH_IMAGE019
价值函数R是状态价值函数
Figure 410433DEST_PATH_IMAGE020
是基于输入状态
Figure 148581DEST_PATH_IMAGE001
评估题目排序质量的赋值方法，将该状态 价值函数定义为DCG，表达式如下：
Figure 402976DEST_PATH_IMAGE021
其中
Figure 593786DEST_PATH_IMAGE022
是选择的题目
Figure 349253DEST_PATH_IMAGE014
的相关性标签，且根据学生的做题情况来计算
Figure 817274DEST_PATH_IMAGE022
，题目
Figure 367204DEST_PATH_IMAGE012
的难度
Figure 45310DEST_PATH_IMAGE023
被定义如下：
Figure 214255DEST_PATH_IMAGE024
其中r=0表示题目做错了，而r=1表示题目做对了，k表示第k个题目，N表示题目总数，并 且
Figure 926996DEST_PATH_IMAGE022
被定义为：
Figure 647827DEST_PATH_IMAGE025
策略
Figure 954175DEST_PATH_IMAGE026
是一个函数，该函数将状态作为输入，并将所有可能的操作
Figure 785864DEST_PATH_IMAGE027
上的分布 作为输出，且策略计算当前排名中每个题目选择的概率:
Figure 228478DEST_PATH_IMAGE028
其中w是模型的参数，并且维度与训练样本的特征数目相同。
6.根据权利要求5所述的题目推荐方法，其特征在于，所述的题目推荐方法，还包括：
计算最大化长期收益
Figure 120211DEST_PATH_IMAGE029
：
Figure 507330DEST_PATH_IMAGE030
其中M为题目的长度，且梯度
Figure 283656DEST_PATH_IMAGE031
按照以下方式计算：
Figure 705410DEST_PATH_IMAGE032
其中γ表示在每次迭代中将使用当前策略对一个情节进行的采样，且在每个步骤t，根 据
Figure 33623DEST_PATH_IMAGE033
调整参数w，使状态
Figure 48984DEST_PATH_IMAGE034
处重复动作的概率最大化。
7.根据权利要求6所述的题目推荐方法，其特征在于，所述的题目推荐方法，还包括:
采用归一化折损累计增益作为推荐结果的评价指标。
8.根据权利要求1所述的题目推荐方法，其特征在于，所述历史做题信息包括学生信息、题目、所述题目包含的知识点、做题结果和做题时间。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8中任一项所述的题目推荐方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至8中任一项所述的题目推荐方法。
CN202010845635.7A 2020-08-20 2020-08-20 题目推荐方法、电子设备及计算机可读存储介质 Active CN111813921B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010845635.7A CN111813921B (zh) 2020-08-20 2020-08-20 题目推荐方法、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010845635.7A CN111813921B (zh) 2020-08-20 2020-08-20 题目推荐方法、电子设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111813921A true CN111813921A (zh) 2020-10-23
CN111813921B CN111813921B (zh) 2020-12-22

Family

ID=72860563

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010845635.7A Active CN111813921B (zh) 2020-08-20 2020-08-20 题目推荐方法、电子设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111813921B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112597392A (zh) * 2020-12-25 2021-04-02 厦门大学 一种基于动态注意力和分层强化学习的推荐系统
CN112732908A (zh) * 2020-12-28 2021-04-30 科大讯飞股份有限公司 试题新颖度评估方法、装置、电子设备和存储介质
CN113051379A (zh) * 2021-02-24 2021-06-29 南京审计大学 一种知识点推荐方法、装置、电子设备及存储介质
CN113282723A (zh) * 2021-05-21 2021-08-20 上海伯禹信息科技有限公司 基于图神经网络的深度知识追踪预训练方法
CN113297338A (zh) * 2021-07-27 2021-08-24 平安科技（深圳）有限公司 产品推荐路径生成方法、装置、设备及存储介质
CN113327473A (zh) * 2021-05-26 2021-08-31 武汉理工大学 一种虚拟仿真教学实训系统、控制方法、装置及存储介质
CN113421175A (zh) * 2021-07-05 2021-09-21 赛飞特工程技术集团有限公司 一种能力测试分级方法和装置
CN113779396A (zh) * 2021-09-10 2021-12-10 平安科技（深圳）有限公司 题目推荐方法和装置、电子设备、存储介质
CN114048377A (zh) * 2021-11-08 2022-02-15 网易有道信息技术（北京）有限公司 题目推荐方法、装置、电子设备及存储介质
CN114282531A (zh) * 2021-08-24 2022-04-05 腾讯科技（深圳）有限公司 一种题目检测方法、装置、电子设备和存储介质
CN114372518A (zh) * 2021-12-28 2022-04-19 江苏大学 一种基于解题思路和知识点的试题相似度计算方法
CN115935032A (zh) * 2022-12-29 2023-04-07 北京十六进制科技有限公司 一种基于智能推荐习题发布个性化作业的方法及装置
CN117557425A (zh) * 2023-12-08 2024-02-13 广州市小马知学技术有限公司 基于智慧题库系统的题库数据优化方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109360457A (zh) * 2018-09-03 2019-02-19 浙江学海教育科技有限公司 一种题目推送方法、存储介质、及应用系统
US10379995B1 (en) * 2018-07-06 2019-08-13 Capital One Services, Llc Systems and methods to identify breaking application program interface changes
CN110659311A (zh) * 2019-09-30 2020-01-07 浙江学海教育科技有限公司 题目推送方法、装置、电子设备及存储介质
CN111563037A (zh) * 2020-04-26 2020-08-21 顾海蝶 基于测试试题的测试优化方法及装置、存储介质、终端

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10379995B1 (en) * 2018-07-06 2019-08-13 Capital One Services, Llc Systems and methods to identify breaking application program interface changes
CN109360457A (zh) * 2018-09-03 2019-02-19 浙江学海教育科技有限公司 一种题目推送方法、存储介质、及应用系统
CN110659311A (zh) * 2019-09-30 2020-01-07 浙江学海教育科技有限公司 题目推送方法、装置、电子设备及存储介质
CN111563037A (zh) * 2020-04-26 2020-08-21 顾海蝶 基于测试试题的测试优化方法及装置、存储介质、终端

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112597392B (zh) * 2020-12-25 2022-09-30 厦门大学 一种基于动态注意力和分层强化学习的推荐系统
CN112597392A (zh) * 2020-12-25 2021-04-02 厦门大学 一种基于动态注意力和分层强化学习的推荐系统
CN112732908A (zh) * 2020-12-28 2021-04-30 科大讯飞股份有限公司 试题新颖度评估方法、装置、电子设备和存储介质
CN112732908B (zh) * 2020-12-28 2023-12-01 科大讯飞股份有限公司 试题新颖度评估方法、装置、电子设备和存储介质
CN113051379A (zh) * 2021-02-24 2021-06-29 南京审计大学 一种知识点推荐方法、装置、电子设备及存储介质
CN113051379B (zh) * 2021-02-24 2023-08-04 南京审计大学 一种知识点推荐方法、装置、电子设备及存储介质
CN113282723A (zh) * 2021-05-21 2021-08-20 上海伯禹信息科技有限公司 基于图神经网络的深度知识追踪预训练方法
CN113327473A (zh) * 2021-05-26 2021-08-31 武汉理工大学 一种虚拟仿真教学实训系统、控制方法、装置及存储介质
CN113327473B (zh) * 2021-05-26 2023-02-28 武汉理工大学 一种虚拟仿真教学实训系统、控制方法、装置及存储介质
CN113421175A (zh) * 2021-07-05 2021-09-21 赛飞特工程技术集团有限公司 一种能力测试分级方法和装置
CN113297338A (zh) * 2021-07-27 2021-08-24 平安科技（深圳）有限公司 产品推荐路径生成方法、装置、设备及存储介质
CN113297338B (zh) * 2021-07-27 2022-03-29 平安科技（深圳）有限公司 产品推荐路径生成方法、装置、设备及存储介质
CN114282531A (zh) * 2021-08-24 2022-04-05 腾讯科技（深圳）有限公司 一种题目检测方法、装置、电子设备和存储介质
CN113779396A (zh) * 2021-09-10 2021-12-10 平安科技（深圳）有限公司 题目推荐方法和装置、电子设备、存储介质
CN113779396B (zh) * 2021-09-10 2023-09-01 平安科技（深圳）有限公司 题目推荐方法和装置、电子设备、存储介质
CN114048377A (zh) * 2021-11-08 2022-02-15 网易有道信息技术（北京）有限公司 题目推荐方法、装置、电子设备及存储介质
CN114048377B (zh) * 2021-11-08 2024-05-03 网易有道信息技术（北京）有限公司 题目推荐方法、装置、电子设备及存储介质
CN114372518A (zh) * 2021-12-28 2022-04-19 江苏大学 一种基于解题思路和知识点的试题相似度计算方法
CN114372518B (zh) * 2021-12-28 2024-03-22 江苏大学 一种基于解题思路和知识点的试题相似度计算方法
CN115935032A (zh) * 2022-12-29 2023-04-07 北京十六进制科技有限公司 一种基于智能推荐习题发布个性化作业的方法及装置
CN117557425A (zh) * 2023-12-08 2024-02-13 广州市小马知学技术有限公司 基于智慧题库系统的题库数据优化方法及系统
CN117557425B (zh) * 2023-12-08 2024-04-16 广州市小马知学技术有限公司 基于智慧题库系统的题库数据优化方法及系统

Also Published As

Publication number Publication date
CN111813921B (zh) 2020-12-22

Similar Documents

Publication Publication Date Title
CN111813921B (zh) 题目推荐方法、电子设备及计算机可读存储介质
CN111460249B (zh) 一种基于学习者偏好建模的个性化学习资源推荐方法
Imran et al. PLORS: a personalized learning object recommender system
Fan et al. Autofs: Automated feature selection via diversity-aware interactive reinforcement learning
Chai et al. Predicting the Risk of Attrition for Undergraduate Students with Time Based Modelling.
Polyzou et al. Scholars Walk: A Markov Chain Framework for Course Recommendation.
Capuano et al. Elicitation of latent learning needs through learning goals recommendation
Tam et al. A new framework of concept clustering and learning path optimization to develop the next-generation e-learning systems
Li et al. Deep reinforcement learning for adaptive learning systems
Wei et al. Personalized online learning resource recommendation based on artificial intelligence and educational psychology
CN111581545A (zh) 一种召回文档的排序方法及相关设备
CN115577185B (zh) 基于混合推理和中智群决策的慕课推荐方法及装置
Zhang et al. STR-SA: Session-based thread recommendation for online course forum with self-attention
Zhong et al. Design of a personalized recommendation system for learning resources based on collaborative filtering
Li et al. MOOC-FRS: A new fusion recommender system for MOOCs
CN115249072A (zh) 一种基于生成对抗用户模型的强化学习路径规划方法
Tzeng et al. Massive open online course recommendation system based on a reinforcement learning algorithm
Yang et al. Finding experts in community question answering based on topic-sensitive link analysis
Li et al. Research on the strategy of E-Learning resources recommendation based on learning context
CN113742591B (zh) 学习伙伴推荐方法和装置、电子设备、存储介质
Lian et al. Jointly recommending library books and predicting academic performance: A mutual reinforcement perspective
Wu et al. Contrastive Personalized Exercise Recommendation With Reinforcement Learning
CN112818196B (zh) 基于电子学习平台的数据处理方法、设备、电子装置及存储介质
Bourkoukou et al. Weighting based approach for learning resources recommendations
Liu et al. SARLR: Self-adaptive Recommendation of Learning Resources.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant