CN111460101A - 知识点类型的识别方法、装置及处理器 - Google Patents

知识点类型的识别方法、装置及处理器 Download PDF

Info

Publication number
CN111460101A
CN111460101A CN202010238510.8A CN202010238510A CN111460101A CN 111460101 A CN111460101 A CN 111460101A CN 202010238510 A CN202010238510 A CN 202010238510A CN 111460101 A CN111460101 A CN 111460101A
Authority
CN
China
Prior art keywords
feature vector
text
knowledge point
sample
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010238510.8A
Other languages
English (en)
Other versions
CN111460101B (zh
Inventor
李智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Original Assignee
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Shiyuan Electronics Thecnology Co Ltd filed Critical Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority to CN202010238510.8A priority Critical patent/CN111460101B/zh
Publication of CN111460101A publication Critical patent/CN111460101A/zh
Application granted granted Critical
Publication of CN111460101B publication Critical patent/CN111460101B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3346—Query execution using probabilistic model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Strategic Management (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Biomedical Technology (AREA)
  • Human Resources & Organizations (AREA)
  • Probability & Statistics with Applications (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Economics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Machine Translation (AREA)

Abstract

本申请公开了一种知识点类型的识别方法、装置及处理器。其中，该方法包括：获取待测试的题目文本；将题目文本输入至语义表示模型进行分析，得到题目文本对应的特征向量；将特征向量输入至神经网络学习模型进行分析，得到题目文本在各个知识点的概率，其中，神经网络学习模型是基于第一特征向量和与第一特征向量对应的第二特征向量训练得到的，第一特征向量和第二特征向量分别为样本题目文本对应的特征向量和样本知识点文本对应的特征向量，且第一特征向量和第二特征向量是基于同一个语义表示模型确定的；基于题目文本在各个知识点的概率，确定并输出题目文本所属的知识点类型。本申请解决了在对题目所属知识点类型进行预测时，准确率低的技术问题。

Description

知识点类型的识别方法、装置及处理器
技术领域
本申请涉及计算机技术领域，具体而言，涉及一种题目知识点的确定方法、装置、存储介质及处理器。
背景技术
知识点预测是教育行业题库资源中的一个较为广泛的应用，是给定一条题目，去预测该题目最有可能考察的知识点的任务。在实际教育平板的业务中，一方面可以应用于对教师所出的习题进行知识点预测，能够让学生了解所做习题所考察的知识点，以便于对自身所薄弱的知识点进行自我复习；另一方面，也可以应用于题库中题目知识点标签的丰富和实际业务中根据知识点推送习题，让学生和老师不仅能够依据章节来选择习题，还能够从习题考察的知识点进行筛选习题，给用户提供更加准确的习题资源推荐。
目前的一种主流方法，是利用长短期记忆网络(Long Short-Term Memory，简称LSTM)训练模型对题目文本的特征词向量进行训练，对题目进行知识点的分类，这种方法优点是不依赖于题目的章节信息，能够节省一些人力成本，但使用上述方法对题目所属知识点类型进行预测时存在准确率较低的问题。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种知识点类型的识别方法、装置及处理器，以至少解决在对题目所属知识点类型进行预测时，准确率低的技术问题。
根据本申请实施例的一个方面，提供了一种知识点类型的识别方法，包括：获取待测试的题目文本；将题目文本输入至语义表示模型进行分析，得到题目文本对应的特征向量；将特征向量输入至神经网络学习模型进行分析，得到题目文本在各个知识点的概率，其中，神经网络学习模型是基于第一特征向量和与第一特征向量对应的第二特征向量训练得到的，第一特征向量和第二特征向量分别为样本题目文本对应的特征向量和样本知识点文本对应的特征向量，且第一特征向量和第二特征向量是基于同一个语义表示模型确定的；基于题目文本在各个知识点的概率，确定并输出题目文本所属的知识点类型。
可选地，基于题目文本在各个知识点的概率，确定并输出题目文本所属的知识点类型，包括：确定题目文本在各个知识点类型上的概率中的最大概率，并将最大概率所对应的知识点类型作为题目文本所属的知识点类型。
可选地，神经网络学习模型通过以下方式训练得到：获取样本文本，其中，样本文本至少包括：样本题目文本和样本知识点文本；将样本题目文本和样本知识点文本输入至同一个语义表示模型进行分析，分别得到样本题目文本对应的第一特征向量以及样本知识点文本对应的第二特征向量；基于第一特征向量和第二特征向量对神经网络学习模型进行训练，并基于第一损失函数对神经网络模型的模型参数进行调整；确定在第一损失函数的函数值收敛时，神经网络学习模型的第一模型参数，将第一模型参数作为对神经网络学习模型再次训练时的初始模型参数，并利用第一特征向量和第二特征向量对神经网络学习模型再次进行训练；计算再次对神经网络学习模型训练时的单向排名损失函数，该单向排名损失函数用于指示第一特征向量与至少一个第二特征向量的相似度大小排名；基于第一损失函数和单向排名损失函数确定第二损失函数；在第二损失函数收敛时，将第二损失函数对应的模型函数作为神经网络学习模型的最终模型参数。
可选地，计算再次对神经网络学习模型训练时的单向排名损失函数，包括：从样本知识点文本中选择目标负样本；基于目标负样本计算单向排名损失函数。
可选地，从样本知识点文本中选择目标负样本，包括：计算样本知识点文本中各个负样本与样本题目之间的相似度，得到多个相似度；确定多个相似度中的最大相似度，并将最大相似度对应的负样本作为目标负样本。
可选地，第一损失函数为基于以下两个损失函数确定的：基于第一特征向量对应的知识点类型确定的损失函数；基于第二特征向量对应的知识点类型确定的损失函数。
可选地，第一特征向量和第二特征向量为同一特征空间中的特征向量。
根据本申请实施例的另一方面，提供了一种模型参数的确定方法，包括：获取样本文本，其中，样本文本至少包括：样本题目文本和样本知识点文本；将样本题目文本和样本知识点文本输入至同一个语义表示模型进行分析，分别得到样本题目文本对应的第一特征向量以及样本知识点文本对应的第二特征向量；基于第一特征向量和第二特征向量对神经网络学习模型进行训练，并基于第一损失函数对神经网络模型的模型参数进行调整；确定在第一损失函数的函数值收敛时，神经网络学习模型的第一模型参数，将第一模型参数作为对神经网络学习模型再次训练时的初始模型参数，并利用第一特征向量和第二特征向量对神经网络学习模型再次进行训练；计算再次对神经网络学习模型训练时的单向排名损失函数，该单向排名损失函数用于指示第一特征向量与至少一个第二特征向量的相似度大小排名；基于第一损失函数和单向排名损失函数确定第二损失函数；在第二损失函数收敛时，将第二损失函数对应的模型函数作为神经网络学习模型的最终模型参数。
根据本申请实施例的另一方面，提供了一种知识点类型的识别装置，包括：获取模块，用于获取待测试的题目文本；第一分析模块，用于将题目文本输入至语义表示模型进行分析，得到题目文本对应的特征向量；第二分析模块，用于将特征向量输入至神经网络学习模型进行分析，得到题目文本在各个知识点的概率，其中，神经网络学习模型是基于第一特征向量和与第一特征向量对应的的第二特征向量训练得到的，第一特征向量和第二特征向量分别为样本题目文本对应的特征向量和样本知识点文本对应的特征向量，且第一特征向量和第二特征向量是基于同一个语义表示模型确定的；输出模块，用于基于题目文本在各个知识点的概率，确定并输出题目文本所属的知识点类型。
根据本申请实施例的另一方面，提供了一种知识点类型的识别装置，包括：获取模块，用于获取样本文本，其中，样本文本至少包括：样本题目文本和样本知识点文本；分析装置，用于将样本题目文本和样本知识点文本输入至同一个语义表示模型进行分析，分别得到样本题目文本对应的第一特征向量以及样本知识点文本对应的第二特征向量；训练装置，用于基于第一特征向量和第二特征向量对神经网络学习模型进行训练，并基于第一损失函数对神经网络模型的模型参数进行调整；第一确定装置，用于确定在第一损失函数的函数值收敛时，神经网络学习模型的第一模型参数，将第一模型参数作为对神经网络学习模型再次训练时的初始模型参数，并利用第一特征向量和第二特征向量对神经网络学习模型再次进行训练；计算装置，用于计算再次对神经网络学习模型训练时的单向排名损失函数，该单向排名损失函数用于指示第一特征向量与至少一个第二特征向量的相似度大小排名；第二确定装置，用于基于第一损失函数和单向排名损失函数确定第二损失函数；第三确定装置，用于在第二损失函数收敛时，将第二损失函数对应的模型函数作为神经网络学习模型的最终模型参数。
根据本申请实施例的另一方面，提供了一种非易失性存储介质，其特征在于，存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行以上所述的知识点类型的识别方法。
根据本申请实施例的另一方面，提供了一种处理器，该处理器用于运行存储在存储器中的程序，其中，程序运行时执行以上所述的知识点类型的识别方法。
在本申请实施例中，采用获取待测试的题目文本；将题目文本输入至语义表示模型进行分析，得到题目文本对应的特征向量；将特征向量输入至神经网络学习模型进行分析，得到题目文本在各个知识点类型上的概率；基于题目文本在各个知识点的概率确定目标文本所属的知识点类型的方式，通过利用语义表示模型对题目文本进行分析，将语义信息也应用到题目知识点预测当中，从而实现了提升知识点预测精度的技术效果，进而解决了在对题目所属知识点类型进行预测时，准确率低的技术问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的一种知识点类型的识别方法的流程示意图；
图2是根据本申请实施例的第一阶段双路网络模型图；
图3是根据本申请实施例的第二阶段双路网络模型图；
图4是根据本申请实施例的一种模型参数的确定方法的流程示意图；
图5是根据本申请实施例的一种知识点类型的识别装置的结构示意图；
图6是根据本申请实施例的另一种知识点类型的识别装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本申请实施例，提供了一种题目知识点确定的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本申请实施例的一种题目知识点的确定方法，如图1所示，该方法包括如下步骤：
步骤S102，获取待测试的题目文本。
步骤S104，将题目文本输入至语义表示模型进行分析，得到题目文本对应的特征向量。
步骤S106，将特征向量输入至神经网络学习模型进行分析，得到样本题目文本在各个知识点的概率，其中，神经网络学习模型是基于第一特征向量和与第一特征向量对应的第二特征向量训练得到的，第一特征向量和第二特征向量分别为样本题目文本对应的特征向量和样本知识点文本对应的特征向量，且第一特征向量和第二特征向量是基于同一个语义表示模型确定的。
步骤S108，基于样本题目文本在各个知识点的概率，确定并输出样本题目文本所属的知识点类型。
采用上述处理步骤，通过利用由样本题目特征向量和样本知识点特征向量训练得到的神经网络学习模型，对待测试的题目文本特征向量进行分析，得到题目文本在各个知识点的概率，基于概率确定题目考察的知识点类型，本申请将知识点文本信息也应用到知识点类型预测当中，优化了神经网络模型，从而实现了提升知识点预测精度的技术效果，进而解决了在对题目所属知识点类型进行预测时，准确率低的技术问题。
在本申请的一些实施例中，在根据题目文本在各个知识点的概率确定目标文本所属的知识点类型时，可以执行以下步骤：确定题目文本在各个知识点类型上的概率中的最大概率，并将最大概率所对应的知识点类型作为题目文本所属的知识点类型。其中，题目文本的内容包括以下至少之一：题目的题干、题目的选项、题目的答案和题目的解析内容，其中，题目的解析内容是对题目的题干、选项及答案的分析后得到的内容。
在本申请的一些实施例中，神经网络学习模型需要经过两次训练得到：
第一次神经网络模型训练可以通过以下步骤完成：获取样本文本，其中，样本文本至少包括：样本题目文本和样本知识点文本，在获取到样本文本后，将样本题目文本和样本知识点文本输入至同一个语义表示模型进行分析，分别得到样本题目文本对应的第一特征向量以及样本知识点文本对应的第二特征向量，其中，第一特征向量和第二特征向量为同一特征空间中的特征向量；基于第一特征向量和第二特征向量对神经网络学习模型进行训练，并基于第一损失函数对神经网络模型的模型参数进行调整；确定在第一损失函数的函数值收敛时，神经网络学习模型的第一模型参数。其中，第一损失函数是基于第一特征向量对应的知识点类型确定的损失函数和基于第二特征向量对应的知识点类型确定的损失函数共同确定的。
第二次神经网络模型训练可以通过以下步骤完成：将第一模型参数作为对神经网络学习模型再次训练时的初始模型参数，并利用第一特征向量和第二特征向量对神经网络学习模型再次进行训练；计算再次对神经网络学习模型训练时的单向排名损失函数，该步骤包括：从样本知识点文本中选择目标负样本，并基于目标负样本计算单向排名损失函数；基于第一损失函数和单向排名损失函数确定第二损失函数；在第二损失函数收敛时，将第二损失函数对应的模型函数作为神经网络学习模型的最终模型参数。
具体地，两次训练过程中的语义表示训练模型可以为无标注语料训练(Bidirectional Encoder Representations from Transformer，简称BERT)模型；神经网络学习模型可以为LSTM训练模型；第一损失函数可以为：Loss＝NLL Loss(y， predict_yq)+NLL Loss(y，predict_yk)，其中predict_yq和predict_yk分别为题目文本特征向量和知识点文本特征向量所预测的知识点类别；单向排名损失函数是用来估量模型预测值与真实值的不一致程度，单向排名损失函数可以为：Lrank＝max(α-dp+ dn，0)，其中，α为超参数，表示为间隔大小，dp为f_q和f_k特征向量之间的余弦距离，表示为题目文本和对应的知识点之间的距离，dn为f_q和f_kn特征向量之间的余弦距离，表示为题目文本和训练的同批数据中和题目特征向量距离最近的负样本之间的距离；第二损失函数为：Loss＝NLL Loss(y，predict_yq)+NLL Loss(y， predict_yk)+Lrank。
其中，单向排名损失用于指示第一特征向量与至少一个第二特征向量的相似度大小排名，即单向排名损失会约束某知识点和与该知识点对应的批量题目中相似性最高的题目的距离尽可能接近，且该知识点和对应的批量题目中除距离最近的以外的题目的距离尽可能远。本申请使用单向的排名损失来约束题目特征和对应的知识点特征之间的距离，提高了题目和知识点对的区分性，从而提升题目的知识点预测准确率，无需计算整个双向的排名损失，并且使用单向的排名损失还能够降低损失函数的计算复杂度，提高了计算效率。
在本申请一些实施例中，可以通过以下步骤从样本知识点文本中选择目标负样本：计算样本知识点文本中各个负样本与样本题目之间的相似度，得到多个相似度；确定多个相似度中的最大相似度，并将最大相似度对应的负样本作为目标负样本。其中，计算负样本与知识点之间的相似度可以通过计算二者的余弦距离来表示，例如：假设从数据库中抽取的是初中数学所有具有知识点的习题50万个，知识点个数为467个，在训练过程中已经获取到所有题目和知识点的特征向量f_q和f_k，其中知识点特征向量中的负向量有n个，负向量与题目特征向量之间的余弦距离d_n即为知识点与题目之间的相似度，此时可以得到n个相似度：d_n1、d_n2…，然后对n个相似度进行比较，相似度的最大值对应的负向量即为目标负样本。
下面结合具体的实施例和附图对目标文本所属知识点类型的确定过程以及神经网络模型的训练过程进行阐述，大致分为以下几个步骤：
第一步是从存储题目内容的数据库中取出某一个学科学段下所有存在知识点标签的题目内容和知识点名称，在训练过程中，模型的输入是题目的提干、题目的选项、题目的答案和题目的解析四部分文本结合起来的文本和题目的知识点文本，模型的输出是题目的预测知识点类别。在获取到题目和知识点对之后，首先对题目的内容进行清洗，只保留题目内容中的文本信息，去除超文本标记语言(Hyper Text Markup Language，简称HTML)标签等无效信息，再利用预训练的中文BERT模型分别提取题目和知识点的文本特征向量，获得768维的第一特征向量和第二特征向量(即题目文本和知识点文本的初始特征向量)，并将第一特征向量和第二特征向量存储下来作为下一步骤的输入数据。其中，使用预训练的中文BERT模型进行题目和文本的特征向量提取是一个离线过程。
第二步是将第一步中获得的768维的题目文本和知识点文本特征向量输入到同一个LSTM网络中进行训练，此处使用同一个LSTM网络是为了让模型学习到题目和知识点相同模态下的特征，以加强题目和知识点在同一个特征空间下的映射关系；然后提取题目和知识点在LSTM网络中最后一层隐藏层的特征h_q和h_k，并将题目和知识点的特征向量h_q和h_k分别输入到线性层中，该线性层所提取的特征维度设置为 512维，作用是将提取得到的题目特征向量h_q和知识点特征向量h_k同时嵌入到同一个特征空间，题目特征向量h_q和知识点特征向量h_k经过线性层的映射后得到最终的特征向量表示f_q和f_k，该线性层学习的参数矩阵大小为512×512维。
第三步是直接利用log_softmax层来分别输出第二步中得到的题目特征向量表示f_q和知识点的特征向量表示f_k在每个知识点类别上的概率分布情况P(q)和P(k)，其中P(q)中取概率最大的类别predict_yq为预测的知识点类别；在计算损失函数时，使用的损失函数是Negative log-likehood(NLL)损失函数，并同时考虑题目文本特征向量和知识点文本特征向量所预测的知识点类别predict_yq和predict_yk，第一阶段模型的损失计算公式如下所示：Loss＝NLL Loss(y，predict_yq)+NLL Loss(y，predict_yk)。
第四步，当第二步和第三步的训练过程收敛以后，保存模型训练好的最佳参数，完成第一阶段的训练过程，该阶段训练过程的网络模型图如图2所示。本申请结合了题目的文本特征和知识点的文本特征，并使得两种特征在同一个特征空间进行计算，同时约束两种特征进行分类，能够使得题目内容到知识点的映射性更强，从而实现知识点预测的精度提升。
第五步，加载第四步中的模型参数作为网络的初始化参数，重复第二步训练过程，将第一步获得的768维题目文本和知识点文本特征向量输入到网络模型中，在经过 LSTM网络和添加的线性层之后，得到题目和知识点在同一个特征空间下的特征向量表示f_q和f_k；在训练的一批数据中，对于一个题目特征向量来说，抽取一个负样本，要求该负样本满足其特征向量f_kn和f_q之间的余弦距离d_n在整批训练数据中最大，然后分别计算题目特征向量f_q和其对应的知识点特征向量f_k之间的余弦距离d_p，以及题目特征向量f_q和抽取出来的负样本特征向量f_kn之间的余弦距离d_n，并计算单向的相似度排名损失，计算公式如下所示：Lrank＝max(α-dp+dn，0)，其中，α为超参数，表示为间隔大小。
第六步，计算第二阶段模型训练的总损失函数，即将第五步中计算的排名损失和第三步中的NLL损失相加，从而计算混合的损失函数，并约束模型训练，直到模型收敛；保存最优训练模型参数，完成第二阶段的训练过程；至此，模型的训练过程已经全部完成，第二阶段训练过程的网络模型图如图3所示。
第七步，当获得第六步的第二阶段模型训练参数后，可以对没有知识点的题目进行测试过程。首先重复第一步操作，对题目文本数据进行清洗，并用预训练中文BERT 模型提取768维特征，然后将768维特征向量输入到神经网络模型中，得到该题目在每个知识点上的概率分布情况，选择概率最大的知识点作为该题目的预测知识点，即完成了模型的测试过程。
通过上述步骤，可以解决在对题目所属知识点类型进行预测时，准确率低的技术问题。
图4是根据本申请实施例的一种模型参数的确定方法，如图4所示，该方法包括如下步骤：
步骤S402，获取样本文本，其中，所述样本文本至少包括：样本题目文本和样本知识点文本。
具体地，样本题目文本的内容包括以下至少之一：题目的题干、题目的选项、题目的答案和题目的解析内容。
步骤S404，将样本题目文本和样本知识点文本输入至同一个语义表示模型进行分析，分别得到样本题目文本对应的第一特征向量以及样本知识点文本对应的第二特征向量。
具体地，语义表示训练模型可以为BERT模型。
步骤S406，基于第一特征向量和第二特征向量对神经网络学习模型进行训练，并基于第一损失函数对神经网络模型的模型参数进行调整。
具体地，神经网络学习模型可以为LSTM训练模型；第一损失函数可以为： Loss＝NLL Loss(y，predict_yq)+NLL Loss(y，predict_yk)，其中predict_yq和predict_yk分别为题目文本特征向量和知识点文本特征向量所预测的知识点类别；第一特征向量和第二特征向量为同一特征空间中的特征向量。
步骤S408，确定在第一损失函数的函数值收敛时，神经网络学习模型的第一模型参数，将第一模型参数作为对神经网络学习模型再次训练时的初始模型参数，并利用第一特征向量和第二特征向量对神经网络学习模型再次进行训练。
具体地，计算再次对神经网络学习模型训练时的单向排名损失函数，该步骤包括：从知识点文本中选择目标负样本，并基于目标负样本计算单向排名损失函数。
步骤S410，计算再次对神经网络学习模型训练时的单向排名损失函数，其中，该单向排名损失函数用于指示第一特征向量与至少一个第二特征向量的相似度大小排名。
具体地，单向排名损失函数是用来估量模型预测值与真实值的不一致程度，单向排名损失函数可以为：Lrank＝max(α-dp+dn，0)，其中，α为超参数，表示为间隔大小，dp为f_q和f_k特征向量之间的余弦距离，表示为题目文本和对应的知识点之间的距离，dn为f_q和f_kn特征向量之间的余弦距离，表示为题目文本和训练的同批数据中和题目特征向量距离最近的负样本之间的距离。
步骤S412，基于第一损失函数和单向排名损失函数确定第二损失函数；在第二损失函数收敛时，将第二损失函数对应的模型函数作为神经网络学习模型的最终模型参数。
具体地，第二损失函数为：Loss＝NLL Loss(y，predict_yq)+NLL Loss(y，predict_yk)+Lrank。
本实施例的优选实施例可参考图1所示实施例的相关描述，此处不再进行赘述。
图5是根据本申请实施例的一种知识点类型的识别装置，该装置用于实现图1所示的方法，如图5所示，该装置包括：
获取模块51，用于获取样本文本，其中，样本文本至少包括：样本题目文本和样本知识点文本。
分析模块52，用于将样本题目文本和样本知识点文本输入至同一个语义表示模型进行分析，分别得到样本题目文本对应的第一特征向量以及样本知识点文本对应的第二特征向量。
训练模块53，用于基于第一特征向量和第二特征向量对神经网络学习模型进行训练，并基于第一损失函数对神经网络模型的模型参数进行调整。
第一确定模块54，用于确定在第一损失函数的函数值收敛时，神经网络学习模型的第一模型参数，将第一模型参数作为对神经网络学习模型再次训练时的初始模型参数，并利用第一特征向量和第二特征向量对神经网络学习模型再次进行训练。
计算模块55，用于计算再次对神经网络学习模型训练时的单向排名损失函数，该单向排名损失函数用于指示第一特征向量与至少一个第二特征向量的相似度大小排名。
第二确定模块56，用于基于第一损失函数和单向排名损失函数确定第二损失函数。
第三确定模块57，用于在第二损失函数收敛时，将第二损失函数对应的模型函数作为神经网络学习模型的最终模型参数。
本实施例的优选实施例可参考图1和图4所示实施例的相关描述，此处不再进行赘述。
图6是根据本申请实施例的另一种知识点类型的识别装置，该装置用于实现图1所示的方法，如图6所示，该装置包括：
获取模块62，用于获取待测试的题目文本。
第一分析模块64，用于将题目文本输入至语义表示模型进行分析，得到题目文本对应的特征向量。
第二分析模块66，用于将特征向量输入至神经网络学习模型进行分析，得到题目文本在各个知识点的概率，其中，神经网络学习模型是基于第一特征向量和与第一特征向量对应的的第二特征向量训练得到的，所述第一特征向量和第二特征向量分别为样本题目文本对应的特征征向量和样本知识点文本对应的特征向量，且第一特征向量和第二特征向量是基于同一个语义表示模型确定的。
输出模块68，用于基于题目文本在各个知识点的概率，确定并输出题目文本所属的知识点类型。
本实施例的优选实施例可参考图1和图4所示实施例的相关描述，此处不再进行赘述。
根据本申请实施例的另一方面，还提供了一种非易失性存储介质，包括存储的程序，其中，在程序运行时控制非易失性存储介质所在设备执行一种题目知识点的确定方法。例如，可以包括：获取待测试的题目文本；将题目文本输入至语义表示模型进行分析，得到题目文本对应的特征向量；将特征向量输入至神经网络学习模型进行分析，得到题目文本在各个知识点类型上的概率；基于题目文本在各个知识点类型上的概率确定目标文本所属的知识点类型。
根据本申请实施例的另一方面，提供了一种处理器，其中，程序运行时执行一种题目知识点的确定方法。例如，可以包括：获取待测试的题目文本；将题目文本输入至语义表示模型进行分析，得到题目文本对应的特征向量；将特征向量输入至神经网络学习模型进行分析，得到题目文本在各个知识点类型上的概率；基于题目文本在各个知识点类型上的概率确定目标文本所属的知识点类型。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种知识点类型的识别方法，其特征在于，包括：
获取待测试的题目文本；
将所述题目文本输入至语义表示模型进行分析，得到所述题目文本对应的特征向量；
将所述特征向量输入至神经网络学习模型进行分析，得到所述题目文本在各个知识点的概率，其中，所述神经网络学习模型是基于第一特征向量和与所述第一特征向量对应的第二特征向量训练得到的，所述第一特征向量和所述第二特征向量分别为样本题目文本对应的特征征向量和样本知识点文本对应的特征向量，且所述第一特征向量和所述第二特征向量是基于同一个所述语义表示模型确定的；
基于所述题目文本在各个知识点的概率，确定并输出所述题目文本所属的知识点类型。
2.根据权利要求1所述的方法，其特征在于，基于所述题目文本在各个知识点的概率，确定并输出所述题目文本所属的知识点类型，包括：
确定所述题目文本在各个知识点类型上的概率中的最大概率，并将所述最大概率所对应的知识点类型作为所述题目文本所属的知识点类型。
3.根据权利要求1所述的方法，其特征在于，所述神经网络学习模型通过以下方式训练得到：
获取样本文本，其中，所述样本文本至少包括：样本题目文本和样本知识点文本；
将所述样本题目文本和所述样本知识点文本输入至同一个所述语义表示模型进行分析，分别得到所述样本题目文本对应的第一特征向量以及所述样本知识点文本对应的第二特征向量；
基于所述第一特征向量和所述第二特征向量对所述神经网络学习模型进行训练，并基于第一损失函数对所述神经网络模型的模型参数进行调整；
确定在所述第一损失函数的函数值收敛时，所述神经网络学习模型的第一模型参数，将所述第一模型参数作为对所述神经网络学习模型再次训练时的初始模型参数，并利用所述第一特征向量和第二特征向量对所述神经网络学习模型再次进行训练；
计算再次对所述神经网络学习模型训练时的单向排名损失函数，该单向排名损失函数用于指示所述第一特征向量与至少一个所述第二特征向量的相似度大小排名；
基于所述第一损失函数和单向排名损失函数确定第二损失函数；
在所述第二损失函数收敛时，将所述第二损失函数对应的模型函数作为所述神经网络学习模型的最终模型参数。
4.根据权利要求3所述的方法，其特征在于，计算再次对所述神经网络学习模型训练时的单向排名损失函数，包括：从所述样本知识点文本中选择目标负样本；基于所述目标负样本计算所述单向排名损失函数。
5.根据权利要求4所述的方法，其特征在于，从所述样本知识点文本中选择目标负样本，包括：
计算所述样本知识点文本中各个负样本与样本题目之间的相似度，得到多个相似度；
确定所述多个相似度中的最大相似度，并将所述最大相似度对应的负样本作为所述目标负样本。
6.根据权利要求3所述的方法，其特征在于，所述第一损失函数为基于以下两个损失函数确定的：基于所述第一特征向量对应的知识点类型确定的损失函数；基于第二特征向量对应的知识点类型确定的损失函数。
7.根据权利要求3所述的方法，其特征在于，所述第一特征向量和所述第二特征向量为同一特征空间中的特征向量。
8.一种模型参数的确定方法，其特征在于，
获取样本文本，其中，所述样本文本至少包括：样本题目文本和样本知识点文本；
将所述样本题目文本和所述样本知识点文本输入至同一个语义表示模型进行分析，分别得到所述样本题目文本对应的第一特征向量以及所述样本知识点文本对应的第二特征向量；
基于所述第一特征向量和所述第二特征向量对神经网络学习模型进行训练，并基于第一损失函数对所述神经网络模型的模型参数进行调整；
确定在所述第一损失函数的函数值收敛时，所述神经网络学习模型的第一模型参数，将所述第一模型参数作为对所述神经网络学习模型再次训练时的初始模型参数，并利用所述第一特征向量和第二特征向量对所述神经网络学习模型再次进行训练；
计算再次对所述神经网络学习模型训练时的单向排名损失函数，该单向排名损失函数用于指示所述第一特征向量与至少一个所述第二特征向量的相似度大小排名；
基于所述第一损失函数和单向排名损失函数确定第二损失函数；
在所述第二损失函数收敛时，将所述第二损失函数对应的模型函数作为所述神经网络学习模型的最终模型参数。
9.一种知识点类型的识别装置，其特征在于，包括：
获取模块，用于获取待测试的题目文本；
第一分析模块，用于将所述题目文本输入至语义表示模型进行分析，得到所述题目文本对应的特征向量；
第二分析模块，用于将所述特征向量输入至神经网络学习模型进行分析，得到所述题目文本在各个知识点的概率，其中，所述神经网络学习模型是基于第一特征向量和与所述第一特征向量对应的的第二特征向量训练得到的，所述第一特征向量和所述第二特征向量分别为所述样本题目文本对应的特征征向量和样本知识点文本对应的特征向量，且所述第一特征向量和所述第二特征向量是基于同一个所述语义表示模型确定的；
输出模块，用于基于所述题目文本在各个知识点的概率，确定并输出所述题目文本所属的知识点类型。
10.一种处理器，其特征在于，所述处理器用于运行存储在存储器中的程序，其中，所述程序运行时执行权利要求1至7中任意一项所述知识点类型的识别方法。
CN202010238510.8A 2020-03-30 2020-03-30 知识点类型的识别方法、装置及处理器 Active CN111460101B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010238510.8A CN111460101B (zh) 2020-03-30 2020-03-30 知识点类型的识别方法、装置及处理器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010238510.8A CN111460101B (zh) 2020-03-30 2020-03-30 知识点类型的识别方法、装置及处理器

Publications (2)

Publication Number Publication Date
CN111460101A true CN111460101A (zh) 2020-07-28
CN111460101B CN111460101B (zh) 2023-09-15

Family

ID=71685164

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010238510.8A Active CN111460101B (zh) 2020-03-30 2020-03-30 知识点类型的识别方法、装置及处理器

Country Status (1)

Country Link
CN (1) CN111460101B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111932418A (zh) * 2020-09-09 2020-11-13 中山大学深圳研究院 一种学生学习情况识别方法、系统、教学终端及存储介质
CN111968625A (zh) * 2020-08-26 2020-11-20 上海依图网络科技有限公司 融合文本信息的敏感音频识别模型训练方法及识别方法
CN112182237A (zh) * 2020-09-21 2021-01-05 深圳中兴网信科技有限公司 题目知识点关联方法、题目知识点关联系统和存储介质
CN112417132A (zh) * 2020-12-17 2021-02-26 南京大学 一种利用谓宾信息筛选负样本的新意图识别方法
CN112559749A (zh) * 2020-12-18 2021-03-26 深圳赛安特技术服务有限公司 在线教育师生智能匹配方法、装置及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9659248B1 (en) * 2016-01-19 2017-05-23 International Business Machines Corporation Machine learning and training a computer-implemented neural network to retrieve semantically equivalent questions using hybrid in-memory representations
CN107038154A (zh) * 2016-11-25 2017-08-11 阿里巴巴集团控股有限公司 一种文本情感识别方法和装置
CN107967254A (zh) * 2017-10-31 2018-04-27 科大讯飞股份有限公司 知识点预测方法及装置、存储介质、电子设备
CN108021934A (zh) * 2017-11-23 2018-05-11 阿里巴巴集团控股有限公司 多要素识别的方法及装置
CN110134944A (zh) * 2019-04-08 2019-08-16 国家计算机网络与信息安全管理中心 一种基于强化学习的指代消解方法
CN110543600A (zh) * 2019-09-11 2019-12-06 上海携程国际旅行社有限公司 基于神经网络的搜索排序方法、系统、设备和存储介质
CN110659352A (zh) * 2019-10-10 2020-01-07 浙江蓝鸽科技有限公司 试题考点识别方法及其系统
CN110717039A (zh) * 2019-09-17 2020-01-21 平安科技（深圳）有限公司 文本分类方法和装置、电子设备、计算机可读存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9659248B1 (en) * 2016-01-19 2017-05-23 International Business Machines Corporation Machine learning and training a computer-implemented neural network to retrieve semantically equivalent questions using hybrid in-memory representations
CN107038154A (zh) * 2016-11-25 2017-08-11 阿里巴巴集团控股有限公司 一种文本情感识别方法和装置
CN107967254A (zh) * 2017-10-31 2018-04-27 科大讯飞股份有限公司 知识点预测方法及装置、存储介质、电子设备
CN108021934A (zh) * 2017-11-23 2018-05-11 阿里巴巴集团控股有限公司 多要素识别的方法及装置
CN110134944A (zh) * 2019-04-08 2019-08-16 国家计算机网络与信息安全管理中心 一种基于强化学习的指代消解方法
CN110543600A (zh) * 2019-09-11 2019-12-06 上海携程国际旅行社有限公司 基于神经网络的搜索排序方法、系统、设备和存储介质
CN110717039A (zh) * 2019-09-17 2020-01-21 平安科技（深圳）有限公司 文本分类方法和装置、电子设备、计算机可读存储介质
CN110659352A (zh) * 2019-10-10 2020-01-07 浙江蓝鸽科技有限公司 试题考点识别方法及其系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111968625A (zh) * 2020-08-26 2020-11-20 上海依图网络科技有限公司 融合文本信息的敏感音频识别模型训练方法及识别方法
CN111932418A (zh) * 2020-09-09 2020-11-13 中山大学深圳研究院 一种学生学习情况识别方法、系统、教学终端及存储介质
CN111932418B (zh) * 2020-09-09 2021-01-15 中山大学深圳研究院 一种学生学习情况识别方法、系统、教学终端及存储介质
CN112182237A (zh) * 2020-09-21 2021-01-05 深圳中兴网信科技有限公司 题目知识点关联方法、题目知识点关联系统和存储介质
CN112417132A (zh) * 2020-12-17 2021-02-26 南京大学 一种利用谓宾信息筛选负样本的新意图识别方法
CN112417132B (zh) * 2020-12-17 2023-11-17 南京大学 一种利用谓宾信息筛选负样本的新意图识别方法
CN112559749A (zh) * 2020-12-18 2021-03-26 深圳赛安特技术服务有限公司 在线教育师生智能匹配方法、装置及存储介质
CN112559749B (zh) * 2020-12-18 2024-04-09 深圳赛安特技术服务有限公司 在线教育师生智能匹配方法、装置及存储介质

Also Published As

Publication number Publication date
CN111460101B (zh) 2023-09-15

Similar Documents

Publication Publication Date Title
US11475273B1 (en) Deep convolutional neural networks for automated scoring of constructed responses
Grimm et al. Growth modeling: Structural equation and multilevel modeling approaches
US20210256354A1 (en) Artificial intelligence learning-based user knowledge tracing system and operating method thereof
CN111460101A (zh) 知识点类型的识别方法、装置及处理器
CN112508334A (zh) 融合认知特性及试题文本信息的个性化组卷方法及系统
CN114254208A (zh) 薄弱知识点的识别方法、学习路径的规划方法与装置
CN114913729A (zh) 一种选题方法、装置、计算机设备和存储介质
Hamim et al. Student profile modeling using boosting algorithms
El Fouki et al. Multidimensional Approach Based on Deep Learning to Improve the Prediction Performance of DNN Models.
CN115455186A (zh) 一种基于多模型的学情分析方法
George et al. Validating theoretical assumptions about reading with cognitive diagnosis models
CN110852071A (zh) 知识点检测方法、装置、设备及可读存储介质
Barkaoui Using multilevel modeling in language assessment research: A conceptual introduction
CN112015760B (zh) 基于候选答案集重排序的自动问答方法、装置和存储介质
CN116521872A (zh) 一种认知和情感的联合识别方法、系统及电子设备
CN116361541A (zh) 基于知识追踪与相似度分析的试题推荐方法
JP7303243B2 (ja) 試験問題予測システム及び試験問題予測方法
CN112785039B (zh) 一种试题作答得分率的预测方法及相关装置
US20210358317A1 (en) System and method to generate sets of similar assessment papers
CN115687910A (zh) 一种数据处理方法、装置、计算机设备以及可读存储介质
CN110334353A (zh) 词序识别性能的分析方法、装置、设备及存储介质
Pavlekovic et al. Comparison of intelligent systems in detecting a child’s mathematical gift
Benedetto An assessment of recent techniques for question difficulty estimation from text
Dalton et al. Machine learning to predict college course success
Lee Comparative Study on Predicting Student Grades using Five Machine Learning Algorithms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant