CN115017321A - 一种知识点预测方法、装置、存储介质以及计算机设备 - Google Patents

一种知识点预测方法、装置、存储介质以及计算机设备 Download PDF

Info

Publication number
CN115017321A
CN115017321A CN202110237420.1A CN202110237420A CN115017321A CN 115017321 A CN115017321 A CN 115017321A CN 202110237420 A CN202110237420 A CN 202110237420A CN 115017321 A CN115017321 A CN 115017321A
Authority
CN
China
Prior art keywords
sample
vector
vectors
target
knowledge points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110237420.1A
Other languages
English (en)
Inventor
林鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Guangzhou Shiyuan Artificial Intelligence Innovation Research Institute Co Ltd
Original Assignee
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Guangzhou Shiyuan Artificial Intelligence Innovation Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Shiyuan Electronics Thecnology Co Ltd, Guangzhou Shiyuan Artificial Intelligence Innovation Research Institute Co Ltd filed Critical Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority to CN202110237420.1A priority Critical patent/CN115017321A/zh
Publication of CN115017321A publication Critical patent/CN115017321A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/194—Calculation of difference between files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Strategic Management (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Computing Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Animal Behavior & Ethology (AREA)
  • Databases & Information Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请公开了一种知识点预测方法、装置、存储介质和计算机设备，其中方法包括：获取待预测习题，并从图注意力神经网络中抽取与所述待预测习题对应的习题向量，计算所述习题向量与所述图神经网络中所有知识点向量之间的距离，在所述距离中筛选出小于距离阈值的目标距离，确定所述目标距离指示的目标知识点向量，将所述目标知识点向量对应的知识点作为所述待预测习题的知识点。采用本申请，基于一种半监督分类的图注意力神经网络获取待预测习题和知识点的向量表示，通过计算待预测习题和知识点之间的距离并根据所述距离为习题打上合适且准确的知识点标签。

Description

一种知识点预测方法、装置、存储介质以及计算机设备
技术领域
本申请涉及计算机技术领域，具体而言，涉及一种知识点预测方法、装置、 存储介质和计算机设备。
背景技术
随着在线教育的蓬勃发展，在线题库逐渐成为学生做题的重要方式。这些 在线题库具有海量的习题以及海量的学生做题记录，因此往往可以有一些相关 的习题推荐算法为学生做出合适的习题推荐，而习题是否有足够的知识点标签、 知识点标签打的是否准确对于习题推荐的质量有着重要影响。因此，如何为海 量的习题打上合适、准确的知识点标签是一个待解决的难题。
发明内容
本申请提供一种知识点预测方法、装置、存储介质以及计算机设备，可以 解决如何为海量的习题打上合适、准确的知识点标签的技术问题。
第一方面，本申请实施例提供一种知识点预测方法，该方法包括：
获取待预测习题，从图注意力神经网络中抽取与所述待预测习题对应的习 题向量，所述图注意力神经网络基于对习题与知识点的关系图谱的训练生成， 所述习题与知识点的关系图谱基于样本习题与样本知识点之间的关联关系生成； 基于所述专业集合生成各所述专业之间的第一关联关系；
计算所述习题向量与所述图神经网络中所有知识点向量之间的距离；
在所述距离中筛选出小于距离阈值的目标距离，确定所述目标距离指示的 目标知识点向量；
将所述目标知识点向量对应的知识点作为所述待预测习题的知识点。
第二方面，本申请实施例提供一种知识点预测装置，包括：
习题获取模块，用于获取待预测习题，从图注意力神经网络中抽取与所述 待预测习题对应的习题向量，所述图注意力神经网络基于对习题与知识点的关 系图谱的训练生成，所述习题与知识点的关系图谱基于样本习题与样本知识点 之间的关联关系生成；
距离计算模块，用于计算所述习题向量与所述图神经网络中所有知识点向 量之间的距离；
距离筛选模块，用于在所述距离中筛选出小于距离阈值的目标距离，确定 所述目标距离指示的目标知识点向量；
知识点确定模块，用于将所述目标知识点向量对应的知识点作为所述待预 测习题的知识点。
第三方面，本申请实施例提供一种存储介质，所述存储介质存储有计算机 程序，所述计算机程序适于由处理器加载并执行上述方法的步骤。
第四方面，本申请实施例提供一种计算机设备，包括存储器、处理器及存 储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时 实现上述的方法的步骤。
在本申请实施例中，通过获取待预测习题，从图注意力神经网络中抽取与 所述待预测习题对应的习题向量，并计算所述习题向量与所述图神经网络中所 有知识点向量之间的距离，进而在所述距离中筛选出小于距离阈值的目标距离， 通过确定所述目标距离指示的目标知识点向量，并将所述目标知识点向量对应 的知识点作为所述待预测习题的知识点，为习题打上合适、准确的知识点标签。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施 例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述 中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创 造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种知识点预测方法的流程示意图；
图2为本申请实施例提供的一种知识点预测方法的流程示意图；
图3为本申请实施例提供的一种生成习题向量和知识点向量的举例示意图；
图4为本申请实施例提供的一种生成第一关联关系的流程示意图；
图5为本申请实施例提供的一种部分第一关联关系的举例示意图；
图6为本申请实施例提供的一种习题知识点预测的流程示意图；
图7为本申请实施例提供的一种习题知识点预测结果的举例示意图；
图8为本申请实施例提供的一种知识点预测装置的结构示意图；
图9为本申请实施例提供的一种知识点预测装置的结构示意图；
图10为本申请实施例提供的一种向量转换模块的结构示意图；
图11为本申请实施例提供的一种关联关系模块的结构示意图；
图12为本申请实施例提供的一种图谱训练模块的结构示意图；
图13是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
为使得本申请的特征和优点能够更加的明显和易懂，下面将结合本申请实 施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然， 所描述的实施例仅仅是本申请一部分实施例，而非全部实施例。基于本申请中 的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实 施例，都属于本申请保护的范围。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同 或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一 致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本申请的 一些方面相一致的装置和方法的例子。附图中所示的流程图仅是示例性说明， 不是必须按照所示步骤执行。例如，有的步骤是并列的，在逻辑上并没有严格 的先后关系，因此实际执行顺序是可变的。另外，术语“第一”、“第二”、 “第三”仅是为了区分的目的，不应作为本公开内容的限制。
本申请实施例公开的知识点预测方法和知识点预测装置可以应用于在线教 育领域，例如在线题库的习题知识点预测、教育APP中的习题知识点预测等， 也可以应用于线下习题的知识点预测，通过将线下习题的文本信息输入到所述 知识点预测装置即可预测习题的知识点。所述知识点预测装置，可以包括但不 限于手机、个人电脑、笔记本电脑等智能终端。
在本申请实施例中，知识点预测装置可以基于一种半监督分类的图注意力 神经网络获取待预测习题和知识点的向量表示，所述图注意力神经网络基于对 习题与知识点的关系图谱的训练生成，而所述习题与知识点的关系图谱基于样 本习题与样本知识点之间的关联关系生成，所述知识点预测装置计算所述习题 向量与所述图注意力神经网络中所有知识点向量之间的距离，并在所述距离中 筛选出小于距离阈值的目标距离，确定所述目标距离指示的目标知识点向量， 然后将所述目标知识点向量对应的知识点作为所述待预测习题的知识点。
下面将结合图1～图7，对本申请实施例提供的知识点预测方法进行详细介 绍。
请参见图1，为本申请实施例提供了一种知识点预测方法的流程示意图。 如图1所示，所述方法可以包括以下步骤S101～步骤S104。
S101，获取待预测习题，从图注意力神经网络中抽取与所述待预测习题对 应的习题向量，所述图注意力神经网络基于对习题与知识点的关系图谱的训练 生成，所述习题与知识点的关系图谱基于样本习题与样本知识点之间的关联关 系生成；
具体的，所述待预测习题包括线上习题和线下习题，所述线上习题可以是 在线题库、教育APP中的缺少知识点标签的习题，所述线下习题可以是书本上 的习题。
所述图注意力神经网络是基于对习题与知识点的关系图谱的训练生成，而 所述习题与知识点的关系图谱基于样本习题与样本知识点之间的关联关系生成， 所述图注意力神经网络中包含有大量的习题向量和知识点向量，采用文本匹配 的方式从所述图注意力神经网络中找到与所述待预测习题对应的目标样本习题， 从所述图注意力神经网络中抽取与所述目标样本习题对应的习题向量。
S102，计算所述习题向量与所述图注意力神经网络中所有知识点向量之间 的距离；
具体的，依次计算所述习题向量与所述图注意力神经网络中每个知识点向 量之间的距离，所述距离可以是余弦相似度、欧氏距离、曼哈顿距离、切比雪 夫距离等。
在本申请实施例中，可优先采用余弦相似度进行计算。所述余弦相似度是 指通过计算两个向量的夹角余弦值来评估他们的相似度，通常用于正空间，两 个向量夹角的余弦值越趋近于1，说明夹角角度越接近0°，也就是两个向量越 接近。
S103，在所述距离中筛选出小于距离阈值的目标距离，确定所述目标距离 指示的目标知识点向量；
具体的，预先设置距离阈值，若习题向量与知识点向量之间的距离小于距 离阈值，说明所述习题向量与所述知识点向量足够接近，则将所述习题向量与 所述知识点向量之间的距离作为目标距离，所述知识点向量即为目标距离知识 的目标知识点向量。
所述距离阈值具体作用是，若习题向量和知识点向量之间的距离大于距离 阈值，则所述知识点向量与所述习题向量之间的距离不能作为目标距离，若习 题向量与知识点向量之间的距离小于目标距离，则将所述知识点向量与所述习 题向量之间的距离作为目标距离。
S104，将所述目标知识点向量对应的知识点作为所述待预测习题的知识点。
在本申请实施例中，通过获取待预测习题，并从图注意力神经网络中抽取 与所述待预测习题对应的习题向量，然后计算所述习题向量与所述图神经网络 中所有知识点向量之间的距离，通过准确设置距离阈值在所述距离中筛选出小 于距离阈值的目标距离，再确定所述目标距离指示的目标知识点向量，提高了 选取目标知识点向量的准确度，最后根据目标知识点向量对应的知识点为习题 打上合适且准确的知识点标签。
请参见图2，为本申请实施例提供了一种知识点预测方法的流程示意图。 如图2所示，所述方法可以包括以下步骤S201～步骤S208。
S201，获取样本习题和样本知识点，采用预训练语言模型将所述样本习题 转换为习题向量以及将所述样本知识点转换为知识点向量；
具体的，获取样本习题和样本知识点，所述样本习题可以是一些在线题库 的习题，所述样本知识点可以从知识点知识图谱中获取，然后对所述样本习题 进行数据预处理，所述预处理主要包括去除所述样本习题的题目文本数据的标 点符号、html符号，并根据规则将所述题目文本数据中可能包含的数学公式转 化成对应的自然语言，例如“x^2”转化为“x的平方”；
所述预训练语言模型可以是BERT模型，所述BERT模型已在外部的数据 集上经过训练，具有较好的语义信息，但是所述语义信息不是教育领域，为了 使所述BERT模型更契合教育领域，采用所述预处理后的样本习题对所述预训 练语言模型进行迁移训练，然后用所述BERT模型将所述预处理后的样本习题 转换为习题向量以及将所述样本知识点转换为知识点向量。
请一并参见图3，本申请实施例提供的一种生成习题向量和知识点向量的 举例示意图。
S202,获取所述样本习题与所述样本知识点之间的关联关系，所述关联关系 包括所述样本习题之间的第一关联关系、所述样本习题与所述样本知识点之间 的第二关联关系、所述样本知识点之间的第三关联关系；
具体的，计算与所述样本习题对应的习题向量之间的相似度，并基于所述 相似度生成所述样本习题之间的第一关联关系；一些在线题库中的部分习题已 经存在知识点标签，从这些在线题库中获取已存在知识点标签的习题与知识点 的第一对应关系，基于所述第一对应关系生成所述样本习题与所述样本知识点 之间的第二关联关系；从知识点的知识图谱中获取所述样本知识点之间的第二 对应关系，基于所述第二对应关系生成所述样本知识点之间的第三关联关系。
所述计算与所述样本习题对应的习题向量之间的相似度，并基于所述相似 度生成所述样本习题之间的第一关联关系，具体是指从所述习题向量中选取目 标习题向量，接着计算所述目标习题向量与除所述目标习题以外的所有习题向 量之间的余弦相似度，并按照余弦相似度的高低顺序从各所述相似度中选取排 列在前的预设个数的目标相似度，将各所述目标相似度对应的习题向量作为所 述目标习题向量的相似习题向量，然后确定所述习题向量中的下一个习题向量， 将所述下一个习题向量作为所述目标习题向量，并执行所述计算所述目标习题 向量与除所述目标习题以外的所有习题向量之间的相似度，按照余弦相似度的 高低顺序从各所述相似度中选取排列在前的预设个数的目标相似度，将各所述 目标相似度对应的习题向量作为所述目标习题向量的相似习题向量的步骤，当 不存在下一个习题向量时，基于各所述习题向量以及各所述习题向量的相似习 题向量生成第一关联关系。
所述余弦相似度是指通过计算两个向量的夹角余弦值来评估他们的相似度， 通常用于正空间，两个向量夹角的余弦值越趋近于1，说明夹角角度越接近0°， 也就是两个向量越接近。
请一并参见图4，为本申请实施例提供的一种生成第一关联关系的流程示 意图。如图4所示，将习题向量1作为目标习题向量，计算目标习题向量与除 习题向量1以外的其余所有习题向量之间的余弦相似度，然后按照相似度的高 低顺序从各所述相似度中选取排列在前的5个目标余弦相似度，将5个目标余 弦相似度对应的习题向量作为习题向量1的相似习题向量，然后可以得到习题 1的5个关联习题，可以参见图5，为本申请实施例提供的一种的部分第一关联 关系的举例示意图。
S203,基于所述习题向量、所述知识点向量以及所述关联关系生成习题与知 识点的关系图谱；
S204,采用多头自注意力机制和损失函数训练所述关系图谱，生成图注意力 神经网络；
具体的，所述关系图谱中选取目标节点向量，采用多头自注意力机制训练 所述目标节点向量，得到更新的第一节点向量，并基于所述第一节点向量通过 损失函数得到训练后的第二节点向量，然后确定所述关系图谱中的下一个节点 向量，将所述下一个节点向量作为目标节点向量，并执行所述采用多头注意力 机制训练所述目标节点向量的步骤，当不存在下一个节点向量时，基于各所述 第二节点向量生成图注意力神经网络。
所述损失函数可以用如下所示的交叉熵损失函数：
Figure BDA0002960114370000071
其中
Figure BDA0002960114370000072
是指所述第一节点向量，
Figure BDA0002960114370000073
是指所述第一节点向量对应的 知识点向量，基于上述交叉熵损失函数可以对所述第一节点向量进行训练。
所述采用采用多头自注意力机制训练所述目标节点向量，得到更新的第一 节点向量，具体包括初始化权重矩阵，基于所述权重矩阵计算所述目标节点向 量对于除所述目标节点向量以外的所有节点向量的权重系数，可参照如下公式 进行计算：
Figure RE-GDA0003086327630000081
其中，hi是第i个节点的向量，W是对应节点的权重矩阵，a是对应节点 的权重向量，LeakyReLU是对应节点的激活函数，通过如上所述的公式，可以 得到第i个节点对于第j个节点的权重系数
Figure BDA0002960114370000082
对各所述权重系数进行加权求和并进行非线性映射，得到目标节点向量的 第一节点表征，可参照如下公式：
Figure BDA0002960114370000083
通过上述公式可以得到所述第一节点表征h′i。
重复执行所述初始化权重矩阵，基于所述权重矩阵计算所述目标节点向量 对于除所述目标节点向量以外的所有节点向量的权重系数，对各所述权重系数 进行加权求和并进行非线性映射，得到目标节点向量的第一节点表征的步骤, 当重复次数达到预设次数时，计算所述预设次数的第一节点表征的平均值并进 行非线性映射，得到所述第一节点向量，在本申请实施例中预设次数为K次， 公式如下所示：
Figure BDA0002960114370000084
通过上述公式可以得到所述第一节点向量h″i。
S205,获取待预测习题，从图注意力神经网络中抽取与所述待预测习题对应 的习题向量，所述图注意力神经网络基于对习题与知识点的关系图谱的训练生 成，所述习题与知识点的关系图谱基于样本习题与样本知识点之间的关联关系 生成；
具体的，从在线题库中获取待预测习题，从所述图注意力神经网络中抽取 与所述待预测习题对应的习题向量。
S206,计算所述习题向量与所述图注意力神经网络中所有知识点向量之间 的距离；
具体的，在本申请实施例中优先采用计算余弦相似度的方式计算所述习题 向量与所述图注意力神经网络中所有知识点向量之间的距离。
所述余弦相似度是指通过计算两个向量的夹角余弦值来评估他们的相似度， 通常用于正空间，两个向量夹角的余弦值越趋近于1，说明夹角角度越接近0°， 也就是两个向量越接近。
S207,在所述距离中筛选出小于距离阈值的目标距离，确定所述目标距离指 示的目标知识点向量；
具体的，预先设置距离阈值，若习题向量与知识点向量之间的距离小于距 离阈值，说明所述习题向量与所述知识点向量足够接近，则将所述习题向量与 所述知识点向量之间的距离作为目标距离，所述知识点向量即为目标距离指示 的目标知识点向量。
S208,将所述目标知识点向量对应的知识点作为所述待预测习题的知识点。
步骤S205到步骤S208可一并参见图6，为本申请实施例提供的一种习题 知识点预测的流程示意图。如图6所示，从图神经网路中获取与待预测习题对 应的习题向量，计算所述习题向量与所有知识点向量的余弦相似度，从所述各 余弦相似度中筛选出小于预设余弦相似度阈值的目标余弦相似度，如图所示目 标余弦相似度包括：余弦相似度5、余弦相似度9、余弦相似度14和余弦相似 度35。确定各所述目标余弦相似度对应的目标知识点向量，确定各所述目标知 识点向量对应的目标知识点，如图所示目标知识点包括知识点5、知识点9、知 识点14和知识点35。综上，可以得到待预测习题的知识点标签包括知识点5、 知识点9、知识点14和知识点35。请一并参见图7，为本申请实施例提供的一 种习题知识点预测结果的举例示意图。
在本申请实施例中，通过获取样本习题和样本知识点，并使用BERT语言 模型将所述样本习题转换为习题向量以及将所述样本知识点转换为知识点向量， 考虑了丰富的语义信息，提高了知识点预测的准确性；通过获取所述样本习题 与所述样本知识点之间的关联关系，考虑了习题与习题、习题与知识点、知识 点与知识点等三个维度的关联关系，进一步提升知识点预测的效果；然后基于 所述习题向量、所述知识点向量以及所述关联关系生成习题与知识点的关系图 谱，并采用多头自注意力机制和损失函数训练所述关系图谱，进而生成图注意 力神经网络，避免节点表征方差过大的问题，进一步提升模型对知识点预测的 准确效果；然后获取待预测习题，并从图注意力神经网络中抽取与所述待预测 习题对应的习题向量，再计算所述习题向量与所述图神经网络中所有知识点向 量之间的距离，基于距离阈值在所述距离中筛选出小于距离阈值的目标距离， 再确定所述目标距离指示的目标知识点向量，根据目标知识点向量对应的知识 点为习题打上合适且准确的知识点标签。
下面将结合附图8～附图13本申请实施例提供的知识点预测装置进行详细 介绍。需要说明的是，附图8～附图13知识点预测装置，用于执行本申请图1～ 图7所示实施例的方法，为了便于说明，仅示出了与本申请实施例相关的部分， 具体技术细节未揭示的，请参照本申请图1～图7所示的实施例。
请参见图8，为本申请实施例提供了一种知识点预测装置的结构示意图。 如图8所示，本申请实施例的所述知识点预测装置1可以包括：习题获取模块 101、距离计算模块102、距离筛选模块103、知识点确定模块104。
习题获取模块101，用于获取待预测习题，从图注意力神经网络中抽取与 所述待预测习题对应的习题向量，所述图注意力神经网络基于对习题与知识点 的关系图谱的训练生成，所述习题与知识点的关系图谱基于样本习题与样本知 识点之间的关联关系生成；
距离计算模块102，用于计算所述习题向量与所述图注意力神经网络中所 有知识点向量之间的距离；
距离筛选模块103，用于在所述距离中筛选出小于距离阈值的目标距离， 确定所述目标距离指示的目标知识点向量；
知识点确定模块104，用于将所述目标知识点向量对应的知识点作为所述 待预测习题的知识点。
在本申请实施例中，通过获取待预测习题，并从图注意力神经网络中抽取 与所述待预测习题对应的习题向量，然后计算所述习题向量与所述图神经网络 中所有知识点向量之间的距离，通过准确设置距离阈值在所述距离中筛选出小 于距离阈值的目标距离，再确定所述目标距离指示的目标知识点向量，提高了 选取目标知识点向量的准确度，最后根据目标知识点向量对应的知识点为习题 打上合适且准确的知识点标签。
请参见图9，为本申请实施例提供了一种知识点预测装置的结构示意图。 如图9所示，本申请实施例的所述知识点预测装置1可以包括：习题获取模块 101、距离计算模块102、距离筛选模块103、知识点确定模块104、向量转换 模块105、关联关系模块106、图谱构建模块107以及图谱训练模块108。
习题获取模块101，用于获取待预测习题，从图注意力神经网络中抽取与 所述待预测习题对应的习题向量，所述图注意力神经网络基于对习题与知识点 的关系图谱的训练生成，所述习题与知识点的关系图谱基于样本习题与样本知 识点之间的关联关系生成；
距离计算模块102，用于计算所述习题向量与所述图注意力神经网络中所 有知识点向量之间的距离；
距离筛选模块103，用于在所述距离中筛选出小于距离阈值的目标距离， 确定所述目标距离指示的目标知识点向量；
知识点确定模块104，用于将所述目标知识点向量对应的知识点作为所述 待预测习题的知识点；
向量转换模块105，用于获取样本习题和样本知识点，采用预训练语言模 型将所述样本习题转换为习题向量以及将所述样本知识点转换为知识点向量；
请一并参见图10，为本申请实施例提供了一种向量转换模块的结构示意图。 如图10所示，所述向量转换模块105可以包括：
样本获取单元1051，用于获取样本习题和样本知识点，对所述样本习题进 行数据预处理；
迁移训练单元1052，用于采用所述预处理后的样本习题对所述预训练语言 模型进行迁移训练，
向量生成单元1053，用于采用预训练语言模型将所述预处理后的样本习题 转换为习题向量以及将所述样本知识点转换为知识点向量。
关联关系模块106，用于获取所述样本习题与所述样本知识点之间的关联 关系，所述关联关系包括所述样本习题之间的第一关联关系、所述样本习题与 所述样本知识点之间的第二关联关系、所述样本知识点之间的第三关联关系；
请一并参见图11，为本申请实施例提供了一种关联关系模块的结构示意图。 如图11所示，所述关联关系模块106可以包括：
第一单元1061，用于计算与所述样本习题对应的习题向量之间的相似度， 并基于所述相似度生成所述样本习题之间的第一关联关系；
第二单元1062，用于获取所述样本习题与所述样本知识点的第一对应关系， 基于所述第一对应关系生成所述样本习题与所述样本知识点之间的第二关联关 系；
第三单元1063，用于获取所述样本知识点之间的第二对应关系，基于所述 第二对应关系生成所述样本知识点之间的第三关联关系。
图谱构建模块107，用于基于所述习题向量、所述知识点向量以及所述关 联关系生成习题与知识点的关系图谱；
图谱训练模块108，用于采用多头自注意力机制和损失函数训练所述关系 图谱，生成图注意力神经网络。
请一并参见图12，为本申请实施例提供了一种图谱训练模块的结构示意图。 如图12所示，所述图谱训练模块108可以包括：
向量选取单元1081，用于从所述关系图谱中选取目标节点向量；
向量训练单元1082，用于确定所述关系图谱中的下一个节点向量，将所述 下一个节点向量作为目标节点向量，并执行所述采用多头注意力机制训练所述 目标节点向量的步骤；
步骤执行单元1083，用于确定所述关系图谱中的下一个节点向量，将所述 下一个节点向量作为目标节点向量，并执行所述采用多头注意力机制训练所述 目标节点向量的步骤；
网络生成单元1084，用于当不存在下一个节点向量时，基于各所述第二节 点向量生成图注意力神经网络。
在本申请实施例中，通过获取样本习题和样本知识点，并使用BERT语言 模型将所述样本习题转换为习题向量以及将所述样本知识点转换为知识点向量， 考虑了丰富的语义信息，提高了知识点预测的准确性；通过获取所述样本习题 与所述样本知识点之间的关联关系，考虑了习题与习题、习题与知识点、知识 点与知识点等三个维度的关联关系，进一步提升知识点预测的效果；然后基于 所述习题向量、所述知识点向量以及所述关联关系生成习题与知识点的关系图 谱，并采用多头自注意力机制和损失函数训练所述关系图谱，进而生成图注意 力神经网络，避免节点表征方差过大的问题，进一步提升模型对知识点预测的 准确效果；然后获取待预测习题，并从图注意力神经网络中抽取与所述待预测 习题对应的习题向量，再计算所述习题向量与所述图神经网络中所有知识点向 量之间的距离，基于距离阈值在所述距离中筛选出小于距离阈值的目标距离， 再确定所述目标距离指示的目标知识点向量，根据目标知识点向量对应的知识 点为习题打上合适且准确的知识点标签。
本申请实施例还提供了一种存储介质，所述存储介质可以存储有多条程序 指令，所述程序指令适于由处理器加载并执行如上述图1～图7所示实施例的 方法步骤，具体执行过程可以参见图1～图7所示实施例的具体说明，在此不 进行赘述。
请参见图13，为本申请实施例提供了一种计算机设备的结构示意图。如图 13所示，所述计算机设备1000可以包括：至少一个处理器1001，至少一个存 储器1002，至少一个网络接口1003，至少一个输入输出接口1004，至少一个 通讯总线1005和至少一个显示单元1006。其中，处理器1001可以包括一个或 者多个处理核心。处理器1001利用各种接口和线路连接整个计算机设备1000 内的各个部分，通过运行或执行存储在存储器1002内的指令、程序、代码集或 指令集，以及调用存储在存储器1002内的数据，执行终端1000的各种功能和 处理数据。存储器1002可以是高速RAM存储器，也可以是非不稳定的存储器 (non-volatile memory)，例如至少一个磁盘存储器。存储器1002可选的还可 以是至少一个位于远离前述处理器1001的存储装置。其中，网络接口1003可 选的可以包括标准的有线接口、无线接口(如WI-FI接口)。通信总线1005 用于实现这些组件之间的连接通信。如图13所示，作为一种终端设备存储介质 的存储器1002中可以包括操作系统、网络通信模块、输入输出接口模块以及知 识点预测程序。
在图13所示的计算机设备1000中，输入输出接口1004主要用于为用户以 及接入设备提供输入的接口，获取用户以及接入设备输入的数据。
在一个实施例中。
处理器1001可以用于调用存储器1002中存储的知识点预测程序，并具体 执行以下操作：
获取待预测习题，从图注意力神经网络中抽取与所述待预测习题对应的习 题向量，所述图注意力神经网络基于对习题与知识点的关系图谱的训练生成， 所述习题与知识点的关系图谱基于样本习题与样本知识点之间的关联关系生成；
计算所述习题向量与所述图注意力神经网络中所有知识点向量之间的距离；
在所述距离中筛选出小于距离阈值的目标距离，确定所述目标距离指示的 目标知识点向量；
将所述目标知识点向量对应的知识点作为所述待预测习题的知识点。
可选的，所述处理器1001在执行基于所述获取待预测习题，从图注意力神 经网络中抽取与所述待预测习题对应的习题向量之前，还执行以下操作：
获取样本习题和样本知识点，采用预训练语言模型将所述样本习题转换为 习题向量以及将所述样本知识点转换为知识点向量；
获取所述样本习题与所述样本知识点之间的关联关系，所述关联关系包括 所述样本习题之间的第一关联关系、所述样本习题与所述样本知识点之间的第 二关联关系、所述样本知识点之间的第三关联关系；
基于所述习题向量、所述知识点向量以及所述关联关系生成习题与知识点 的关系图谱；
采用多头自注意力机制和损失函数训练所述关系图谱，生成图注意力神经 网络。
可选的，所述处理器1001在执行获取样本习题和样本知识点，采用预训练 语言模型将所述样本习题转换为习题向量以及将所述样本知识点转换为知识点 向量时，具体执行以下操作：
获取样本习题和样本知识点，对所述样本习题进行数据预处理；
采用所述预处理后的样本习题对预训练语言模型进行迁移训练；
采用所述练语言模型将所述预处理后的样本习题转换为习题向量以及将所 述样本知识点转换为知识点向量。
可选的，所述处理器1001在执行获取所述样本习题与所述样本知识点之间 的关联关系，所述关联关系包括所述样本习题之间的第一关联关系、所述样本 习题与所述样本知识点之间的第二关联关系、所述样本知识点之间的第三关联 关系时，具体执行以下操作：
计算与所述样本习题对应的习题向量之间的相似度，并基于所述相似度生 成所述样本习题之间的第一关联关系；
获取所述样本习题与所述样本知识点的第一对应关系，基于所述第一对应 关系生成所述样本习题与所述样本知识点之间的第二关联关系；
获取所述样本知识点之间的第二对应关系，基于所述第二对应关系生成所 述样本知识点之间的第三关联关系。
可选的，所述处理器1001在执行采用多头自注意力机制和损失函数训练所 述关系图谱，生成图注意力神经网络时，还执行以下操作：
从所述关系图谱中选取目标节点向量；
采用多头自注意力机制训练所述目标节点向量，得到更新的第一节点向量， 并基于所述第一节点向量通过损失函数得到训练后的第二节点向量；
确定所述关系图谱中的下一个节点向量，将所述下一个节点向量作为目标 节点向量，并执行所述采用多头注意力机制训练所述目标节点向量的步骤；
当不存在下一个节点向量时，基于各所述第二节点向量生成图注意力神经 网络。
在本申请实施例中，通过获取样本习题和样本知识点，并使用BERT语言 模型将所述样本习题转换为习题向量以及将所述样本知识点转换为知识点向量， 考虑了丰富的语义信息，提高了知识点预测的准确性；通过获取所述样本习题 与所述样本知识点之间的关联关系，考虑了习题与习题、习题与知识点、知识 点与知识点等三个维度的关联关系，进一步提升知识点预测的效果；然后基于 所述习题向量、所述知识点向量以及所述关联关系生成习题与知识点的关系图 谱，并采用多头自注意力机制和损失函数训练所述关系图谱，进而生成图注意 力神经网络，避免节点表征方差过大的问题，进一步提升模型对知识点预测的 准确效果；然后获取待预测习题，并从图注意力神经网络中抽取与所述待预测 习题对应的习题向量，再计算所述习题向量与所述图神经网络中所有知识点向 量之间的距离，基于距离阈值在所述距离中筛选出小于距离阈值的目标距离， 再确定所述目标距离指示的目标知识点向量，根据目标知识点向量对应的知识 点为习题打上合适且准确的知识点标签。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述 为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的 动作顺序的限制，因为依据本申请，某些步骤可以采用其它顺序或者同时进行。 其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施 例，所涉及的动作和模块并不一定都是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详 述的部分，可以参见其它实施例的相关描述。
以上为对本申请所提供的一种知识点预测方法、装置、存储介质及设备的 描述，对于本领域的技术人员，依据本申请实施例的思想，在具体实施方式及 应用范围上均会有改变之处，综上，本说明书内容不应理解为对本申请的限制。

Claims (12)

1.一种知识点预测方法，其特征在于，所述方法包括：
获取待预测习题，从图注意力神经网络中抽取与所述待预测习题对应的习题向量，所述图注意力神经网络基于对习题与知识点的关系图谱的训练生成，所述习题与知识点的关系图谱基于样本习题与样本知识点之间的关联关系生成；
计算所述习题向量与所述图注意力神经网络中所有知识点向量之间的距离；
在所述距离中筛选出小于距离阈值的目标距离，确定所述目标距离指示的目标知识点向量；
将所述目标知识点向量对应的知识点作为所述待预测习题的知识点。
2.根据权利要求1所述的知识点预测方法，其特征在于，所述获取待预测习题，从图注意力神经网络中抽取与所述待预测习题对应的习题向量之前，还包括：
获取样本习题和样本知识点，采用预训练语言模型将所述样本习题转换为习题向量以及将所述样本知识点转换为知识点向量；
获取所述样本习题与所述样本知识点之间的关联关系，所述关联关系包括所述样本习题之间的第一关联关系、所述样本习题与所述样本知识点之间的第二关联关系、所述样本知识点之间的第三关联关系；
基于所述习题向量、所述知识点向量以及所述关联关系生成习题与知识点的关系图谱；
采用多头自注意力机制和损失函数训练所述关系图谱，生成图注意力神经网络。
3.根据权利要求2所述的知识点预测方法，其特征在于，所述获取样本习题和样本知识点，采用预训练语言模型将所述样本习题转换为习题向量以及将所述样本知识点转换为知识点向量，包括：
获取样本习题和样本知识点，对所述样本习题进行数据预处理；
采用预训练语言模型将所述预处理后的样本习题转换为习题向量以及将所述样本知识点转换为知识点向量。
4.根据权利要求3所述的方法，其特征在于，所述采用预训练语言模型将所述预处理后的样本习题转换为习题向量以及将所述样本知识点转换为知识点向量之前，还包括：
采用所述预处理后的样本习题对所述预训练语言模型进行迁移训练。
5.根据权利要求2所述的知识点预测方法，其特征在于，所述获取所述样本习题与所述样本知识点之间的关联关系，所述关联关系包括所述样本习题之间的第一关联关系、所述样本习题与所述样本知识点之间的第二关联关系、所述样本知识点之间的第三关联关系，包括：
计算与所述样本习题对应的习题向量之间的相似度，并基于所述相似度生成所述样本习题之间的第一关联关系；
获取所述样本习题与所述样本知识点的第一对应关系，基于所述第一对应关系生成所述样本习题与所述样本知识点之间的第二关联关系；
获取所述样本知识点之间的第二对应关系，基于所述第二对应关系生成所述样本知识点之间的第三关联关系。
6.根据权利要求5所述的知识点预测方法，其特征在于，所述计算与所述样本习题对应的习题向量之间的相似度，并基于所述相似度生成所述习题之间的第一关联关系，包括：
从各所述习题向量中选取目标习题向量；
计算所述目标习题向量与除所述目标习题以外的所有习题向量之间的相似度，按照相似度的高低顺序从各所述相似度中选取排列在前的预设个数的目标相似度，将各所述目标相似度对应的习题向量作为所述目标习题向量的相似习题向量；
确定所述习题向量中的下一个习题向量，将所述下一个习题向量作为所述目标习题向量，并执行所述计算所述目标习题向量与除所述目标习题以外的所有习题向量之间的相似度的步骤；
当不存在下一个习题向量时，基于各所述习题向量以及各所述习题向量的相似习题向量生成第一关联关系。
7.根据权利要求2所述的知识点预测方法，其特征在于，所述采用多头自注意力机制和损失函数训练所述关系图谱，生成图注意力神经网络，包括：
从所述关系图谱中选取目标节点向量；
采用多头自注意力机制训练所述目标节点向量，得到更新的第一节点向量，并基于所述第一节点向量通过损失函数得到训练后的第二节点向量；
确定所述关系图谱中的下一个节点向量，将所述下一个节点向量作为目标节点向量，并执行所述采用多头注意力机制训练所述目标节点向量的步骤；
当不存在下一个节点向量时，基于各所述第二节点向量生成图注意力神经网络。
8.根据权利要求7所述的知识点预测方法，其特征在于，所述采用多头注意力机制训练所述关系图谱中的目标节点向量，得到更新的第一节点向量，包括：
初始化权重矩阵，基于所述权重矩阵计算所述目标节点向量对于除所述目标节点向量以外的所有节点向量的权重系数，对各所述权重系数进行加权求和并进行非线性映射，得到目标节点向量的第一节点表征；
重复执行所述初始化权重矩阵，基于所述权重矩阵计算所述目标节点向量对于除所述目标节点向量以外的所有节点向量的权重系数，对各所述权重系数进行加权求和并进行非线性映射，得到目标节点向量的第一节点表征的步骤；
当重复次数达到预设次数时，计算所述预设次数的第一节点表征的平均值并进行非线性映射，得到所述第一节点向量。
9.一种知识点预测装置，其特征在于，包括：
习题获取模块，用于获取待预测习题，从图注意力神经网络中抽取与所述待预测习题对应的习题向量，所述图注意力神经网络基于对习题与知识点的关系图谱的训练生成，所述习题与知识点的关系图谱基于样本习题与样本知识点之间的关联关系生成；
距离计算模块，用于计算所述习题向量与所述图注意力神经网络中所有知识点向量之间的距离；
距离筛选模块，用于在所述距离中筛选出小于距离阈值的目标距离，确定所述目标距离指示的目标知识点向量；
知识点确定模块，用于将所述目标知识点向量对应的知识点作为所述待预测习题的知识点。
10.根据权利要求9所述的知识点预测装置，其特征在于，所述知识点预测装置还包括：
向量转换模块，用于获取样本习题和样本知识点，采用预训练语言模型将所述样本习题转换为习题向量以及将所述样本知识点转换为知识点向量；
关联关系模块，用于获取所述样本习题与所述样本知识点之间的关联关系，所述关联关系包括所述样本习题之间的第一关联关系、所述样本习题与所述样本知识点之间的第二关联关系、所述样本知识点之间的第三关联关系；
图谱构建模块，用于基于所述习题向量、所述知识点向量以及所述关联关系生成习题与知识点的关系图谱；
图谱训练模块，用于采用多头自注意力机制和损失函数训练所述关系图谱，生成图注意力神经网络。
11.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1～8中任一项所述的知识点预测方法。
12.一种计算机设备，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1～8任意一项所述方法的步骤。
CN202110237420.1A 2021-03-03 2021-03-03 一种知识点预测方法、装置、存储介质以及计算机设备 Pending CN115017321A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110237420.1A CN115017321A (zh) 2021-03-03 2021-03-03 一种知识点预测方法、装置、存储介质以及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110237420.1A CN115017321A (zh) 2021-03-03 2021-03-03 一种知识点预测方法、装置、存储介质以及计算机设备

Publications (1)

Publication Number Publication Date
CN115017321A true CN115017321A (zh) 2022-09-06

Family

ID=83064723

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110237420.1A Pending CN115017321A (zh) 2021-03-03 2021-03-03 一种知识点预测方法、装置、存储介质以及计算机设备

Country Status (1)

Country Link
CN (1) CN115017321A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115186780A (zh) * 2022-09-14 2022-10-14 江西风向标智能科技有限公司 学科知识点分类模型训练方法、系统、存储介质及设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115186780A (zh) * 2022-09-14 2022-10-14 江西风向标智能科技有限公司 学科知识点分类模型训练方法、系统、存储介质及设备

Similar Documents

Publication Publication Date Title
JP6916383B2 (ja) 画像質問応答方法、装置、システムおよび記憶媒体
CN110287312B (zh) 文本相似度的计算方法、装置、计算机设备及计算机存储介质
CN111444340B (zh) 文本分类方法、装置、设备及存储介质
CN108959246B (zh) 基于改进的注意力机制的答案选择方法、装置和电子设备
CN107480144B (zh) 具备跨语言学习能力的图像自然语言描述生成方法和装置
CN109471945B (zh) 基于深度学习的医疗文本分类方法、装置及存储介质
WO2023024412A1 (zh) 基于深度学习模型的视觉问答方法及装置、介质、设备
CN112329476B (zh) 一种文本纠错方法及装置、设备、存储介质
CN110598603A (zh) 人脸识别模型获取方法、装置、设备和介质
CN112381079A (zh) 图像处理方法和信息处理设备
CN111475622A (zh) 一种文本分类方法、装置、终端及存储介质
CN113240510B (zh) 异常用户预测方法、装置、设备及存储介质
CN110968725B (zh) 图像内容描述信息生成方法、电子设备及存储介质
CN112861518B (zh) 文本纠错方法、装置和存储介质及电子装置
CN111105013A (zh) 对抗网络架构的优化方法、图像描述生成方法和系统
CN114021524A (zh) 一种情感识别方法、装置、设备及可读存储介质
CN113053395A (zh) 发音纠错学习方法、装置、存储介质及电子设备
CN110852071A (zh) 知识点检测方法、装置、设备及可读存储介质
CN113435531B (zh) 零样本图像分类方法、系统、电子设备及存储介质
CN113609819B (zh) 标点符号确定模型及确定方法
CN113723077A (zh) 基于双向表征模型的句向量生成方法、装置及计算机设备
CN115017321A (zh) 一种知识点预测方法、装置、存储介质以及计算机设备
CN111445545B (zh) 一种文本转贴图方法、装置、存储介质及电子设备
CN113010687B (zh) 一种习题标签预测方法、装置、存储介质以及计算机设备
CN115906861A (zh) 基于交互方面信息融合的语句情感分析方法以及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination