CN114417785A - 知识点标注方法、模型的训练方法、计算机设备及存储介质 - Google Patents

知识点标注方法、模型的训练方法、计算机设备及存储介质 Download PDF

Info

Publication number
CN114417785A
CN114417785A CN202111614301.XA CN202111614301A CN114417785A CN 114417785 A CN114417785 A CN 114417785A CN 202111614301 A CN202111614301 A CN 202111614301A CN 114417785 A CN114417785 A CN 114417785A
Authority
CN
China
Prior art keywords
knowledge point
representation
target text
text
knowledge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111614301.XA
Other languages
English (en)
Inventor
汪意发
巩捷甫
盛志超
王士进
胡国平
秦兵
刘挺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei Xunfei Institute Of Artificial Intelligence
Zhongke Xunfei Internet Beijing Information Technology Co ltd
iFlytek Co Ltd
Original Assignee
Hebei Xunfei Institute Of Artificial Intelligence
Zhongke Xunfei Internet Beijing Information Technology Co ltd
iFlytek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei Xunfei Institute Of Artificial Intelligence, Zhongke Xunfei Internet Beijing Information Technology Co ltd, iFlytek Co Ltd filed Critical Hebei Xunfei Institute Of Artificial Intelligence
Priority to CN202111614301.XA priority Critical patent/CN114417785A/zh
Publication of CN114417785A publication Critical patent/CN114417785A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/103—Formatting, i.e. changing of presentation of documents
    • G06F40/117—Tagging; Marking up; Designating a block; Setting of attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例提供了一种知识点标注方法、模型的训练方法、计算机设备及存储介质，标注方法包括：获取目标文本；将目标文本输入预设的深层语言模型，得到目标文本对应的文本内容表征；获取预设的知识点标签集合对应的知识点表征，知识点表征是基于深层语言模型对知识点标签集合中的知识点标签进行处理得到的；对文本内容表征和知识点表征进行匹配处理，得到目标文本对应的知识点标签。基于深层语言模型可以对目标文本进行更深层的语义建模，得到的文本内容表征也可以更好地适应多标签分类任务；知识点表征包含了知识点体系的信息，与文本内容表征结合，可以提升知识点的识别效果。

Description

知识点标注方法、模型的训练方法、计算机设备及存储介质
技术领域
本申请涉及自然语言处理技术领域，尤其涉及一种知识点标注方法、模型的训练方法、计算机设备及存储介质。
背景技术
学科体系建设对于教师日常教学、学生掌握学科能力以及积极备考有着至关重要的作用，其中学科知识点体系对应考试大纲，能够帮助老师科学地制定教学计划，合理安排教学进度。试题对应知识点标签可以方便学生快速定位到自己薄弱点以便查漏补缺，提升考试成绩。
对于现有覆盖各类题型、各种知识点的海量试题，如果要求其知识点标签实时更新与最新考试大纲，即知识点体系同步，使用人工标注需要耗费大量精力和成本且工作繁杂存在冗余。因此机器代替人工自动进行知识点标注也逐步成为重要探索方向。
目前通常将知识点自动标注抽象为一个有监督的多标签多分类文本分类任务，知识点标签个数即类别数一般多达几百个，一道题通常带有二个以上的知识点标签。但因为类别标签较多，且为多标签分类，因此对于传统的机器学习模型是一项具有挑战的工作。同时作为有监督任务，训练集标签稀疏问题比较常见，会显著影响模型效果。
发明内容
本申请实施例提供一种知识点标注方法、模型的训练方法、计算机设备及存储介质，能够更准确的识别目标文本对应的知识点标签。
第一方面，本申请提供了一种知识点标注方法，所述方法包括：
获取目标文本；
将所述目标文本输入预设的深层语言模型，得到所述目标文本对应的文本内容表征；
获取预设的知识点标签集合对应的知识点表征，所述知识点表征是基于所述深层语言模型对所述知识点标签集合中的知识点标签进行处理得到的；
对所述文本内容表征和所述知识点表征进行匹配处理，得到所述目标文本对应的知识点标签。
第二方面，本申请提供了一种知识点标注模型的训练方法，包括：
获取预设的知识点标签集合对应的知识点表征，所述知识点表征是基于深层语言模型对所述知识点标签集合中的知识点标签进行处理得到的；
获取目标文本和所述目标文本的知识点标注；
将所述目标文本输入所述知识点标注模型的深层语言模型，得到所述目标文本对应的文本内容表征；
对所述文本内容表征和所述知识点表征进行匹配处理，得到所述目标文本对应的知识点标签；
基于预设的损失函数，根据所述目标文本的知识点标注和所述目标文本对应的知识点标签，确定模型损失值；
根据所述模型损失值，调整所述知识点标注模型的参数。
第三方面，本申请提供了一种计算机设备，所述计算机设备包括存储器和处理器；所述存储器用于存储计算机程序；所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现上述任一种方法的步骤。
第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，若所述计算机程序被处理器执行，实现上述任一种方法的步骤。
本申请公开了一种知识点标注方法、模型的训练方法、计算机设备及存储介质，基于深层语言模型获取目标文本对应的文本内容表征，且对文本内容表征以及知识点标签集合对应的知识点表征进行匹配处理，得到目标文本对应的知识点标签；基于深层语言模型可以对目标文本进行更深层的语义建模，得到的文本内容表征也可以更好地适应多标签分类任务；知识点表征包含了知识点体系的信息，与文本内容表征结合，可以提升知识点的识别效果。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为现有技术一种知识点标注流程的示意图；
图2为现有技术另一种知识点标注流程的示意图；
图3为本申请一实施例的知识点标注方法的流程示意图；
图4为一实施方式中知识点标注方法的应用场景示意图；
图5为一实施方式中基于知识点标注模型进行知识点标注的示意图；
图6为本申请另一实施例的知识点标注模型的训练方法的流程示意图；
图7为本申请一实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
本申请的实施例提供了一种知识点标注方法、模型的训练方法、计算机设备及存储介质，能够更准确的识别目标文本对应的知识点标签。
如图1所示为基于传统特征与机器学习模型进行知识点标注的方案。通过分析现有学科体系知识点，对每个知识点制定规则和特征抽取方法，例如文本关键字拓展和题干命题句式类型，对具体知识点的命题方法做以详细阐述。之后对试题文本进行依次对每个知识点抽取多维特征，根据提取的多维特征使用机器学习模型进行文本分类。例如，通过逐个分析知识点，量身定制出不同的特征抽取规则，拓展对应的关键字词表和命题句式类型。该方案的优势在于能够较好的把握知识点自身的特点，但是需要耗费人力成本较多，知识点体系变更需要重新设计规则，对于舍弃删减的知识点的规则无法有效复用，在考试大纲频繁进行修订时，知识点体系需要同步更新，因此系统后续维护成本也是重要考量之一。而且该方案的预测效果同时受到机器学习模型的限制，无法捕捉更深层的语义，对于部分理解型知识点诸如“理解文中重要概念的含义”，“理解文中重要句子的含意”难以做到正确区分。同时机器学习模型对于多标签分类任务表现比较一般。
如图2所示为目前一种基于端到端神经网络模型进行知识点标注的方案。通过拼接试题文本或者层级式建模对试题进行语义捕捉，模型使用神经网络模型诸如循环神经网络(RNN)，卷积神经网络(CNN)，或者预训练语言模型，获得隐层表示后使用softmax激活函数或者sigmoid激活函数进行分类。基于端到端神经网络的方案虽然能够进行更深层的语义建模，也更适应多标签分类任务，通过调整网络结果以及使用sigmoid激活函数可以预测出较多知识点标签，且知识点体系变更对于系统不需要太多维护成本；但是未能考虑知识点体系本身的层级结构和/或不同知识点标签之间存在的关联关系。
基于此，本申请的发明人对知识点标注方法进行改进，该知识点标注方法可以充分利用不同知识点标签之间存在的关联关系这一有效信息，使得知识点识别的准确性更高，标注效果更好。
本申请实施例提供的知识点标注方法、模型的训练方法可以应用于终端或服务器中。终端可以是手机、平板电脑、笔记本电脑、台式电脑、个人数字助理等电子设备；服务器可以为独立的服务器，也可以为服务器集群。但为了便于理解，以下实施例将以应用于服务器的方法进行详细介绍。
请参阅图3，图3是本申请的实施例提供的一种知识点标注方法的流程示意图。
在一些实施方式中，如图4所示，服务器从终端获取目标文本，根据知识点标注方法生成所述目标文本对应的知识点标签，将对应的知识点标签发送给终端。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
如图3所示，知识点标注方法包括以下步骤S110至步骤S150。
步骤S110、获取目标文本。
在一些可选的实施例中，目标文本为用于实现知识点标注方法的装置在本地存储的文本、该装置从网络获取的文本、该装置从与其连接的输入装置获取的文本、该装置从其他电子设备获取的文本、该装置根据语音信息转成的文本等。
在一些实施方式中，所述获取目标文本，包括：获取试题题干和试题答案；根据预设的起始字符、所述试题题干、预设的间隔字符、所述试题答案，生成所述目标文本。
示例性的，试题题目为选择题时，可以将试题选项和答案拼接得到试题答案，试题题目为非选择题如判断题、填空题、问答题等时，则可以将回答的内容作为试题答案。
试题题干作为目标文本的第一部分，在句首补充所述起始字符，如[CLS]；试题答案作为目标文本的第二部分，在第一部分和第二部分之间使用间隔字符，如[SEP]填充。
通过将试题题干和试题答案等试题中可利用的全部文本，如题干、选项、答案作为目标文本，进行知识点标注，可以利用更丰富的信息，提高标注的准确性。
步骤S120、将所述目标文本输入预设的深层语言模型，得到所述目标文本对应的文本内容表征。
在一些实施方式中，深层语言模型为BERT模型(Bidirectional EncoderRepresentations from Transformers)，可选的，深层语言模型为预训练的BERT 模型，当然深层语言模型也不限于为BERT模型，例如还可以为循环神经网络模型，卷积神经网络模型，或者为多种模型/网络的组合。BERT模型是一个双向语言表征模型。以Transformer网络(基于自注意力的神经网络)作为单元模块，在大规模语料上使用字掩码预测(MLM)以及上下句连贯性分类(Next Sentence Prediction，NSP)两个上游任务进行预训练，相较循环神经网络，卷积神经网络有着更强的语义建模能力，在下游任务上只需要简单微调即可达到较好的效果。使用预训练的BERT模型等深层语言模型，可以进行更深层的语义建模，同时可以更好地适应知识点标注这一多标签分类任务。
其中，上下句连贯性分类是BERT模型的上游任务之一，用于预测第二句是否为第一句的后续，在常见的QA(问答)任务中，往往将问题Q与答案A拼接作为BERT模型的输入，BERT模型预测答案A是否能够回答该问题Q。本申请实施例中则利用BERT模型对目标文本进行语义建模，得到所述目标文本对应的文本内容表征。
在一些实施方式中，所述将所述目标文本输入预设的深层语言模型，得到所述目标文本对应的文本内容表征，包括：基于所述深层语言模型的词嵌入层，对所述目标文本进行词嵌入处理，得到文本向量；基于所述深层语言模型的多头自注意力网络，对所述文本向量进行处理，得到所述目标文本对应的文本内容表征。
示例性的，针对某道试题，试题题干字数为m，试题答案(如选项加答案) 字数为n，加上起始字符、间隔字符，目标文本的字数为m+n+2。首先目标文本中的每个字都会被转换成嵌入(embedding)向量，所述文本向量包括m+n +2个embedding向量，例如表示为：H0＝[e1,e2,…,em+n+2]，其中ei表示目标文本中第i个字符对应的embedding向量。
BERT模型是一个深度的语言模型，拥有12层Transformer(多头自注意力网络)且不共享参数，上一层Transformer的输出会作为下一层Transformer 的输入，表示如下：
Hi+1＝Transformer(Hi)
第一层Transformer的输入为所述文本向量H0＝[e1,e2,…,em+n+2]，Hi为每一层Transformer的输出，最后一层输出
Figure BDA0003436257160000061
包含了目标文本中全部字符的隐层表示；其中
Figure BDA0003436257160000062
表示第i个字符的上下文语义信息，可以选取所述起始字符[CLS]的向量表示
Figure BDA0003436257160000063
作为整个所述目标文本对应的文本内容表征(或可称为语义表示)。
其中，Transformer采用多头注意力(Multi-head Attention)机制对向量进行处理，Transformer会在每个Head(头)里都计算一次，最终拼接起来，可以表示如下：
MultiHead(Q,K,V)＝Concat(head1,head2,…,headp)W
Figure BDA0003436257160000064
Figure BDA0003436257160000065
其中，Q＝K＝V＝[e1,e2,…,em+n+2]，W为模型参数，Concat()表示向量拼接。
步骤S130、获取预设的知识点标签集合对应的知识点表征，所述知识点表征是基于所述深层语言模型对所述知识点标签集合中的知识点标签进行处理得到的。
示例性的，所述知识点标签集合包括学科体系中所有知识点的标签： C1,C2,…,CN。将所述知识点标签集合中的知识点标签输入所述深层语言模型，可以得到所述所有知识点的语义表征，即知识点表征。所述深层语言模型对知识点标签进行语义建模的原理、步骤，与前述对所述目标文本的处理相同，在此不做赘述，例如同样取起始字符[CLS]的向量作为所述知识点表征。
示例性的，对于学科体系中所有知识点C1,C2,…,CN，首先我们已经通过BERT 模型进行语义建模，得到所述知识点表征，所述知识点表征中包括各知识点对应的表征向量c1,c2,…,cN。
在一些实施方式中，请参阅图5，所述获取预设的知识点标签集合对应的知识点表征，包括：获取预设的知识点标签集合对应的第二知识点表征，所述第二知识点表征是基于图神经网络对第一知识点表征进行语义增强得到的，所述第一知识点表征是基于所述深层语言模型对所述知识点标签集合中的知识点标签进行处理得到的。
示例性的，基于图神经网络，根据知识点标签集合中不同知识点标签之间的关系，对所述第一知识点表征进行语义增强，得到所述第二知识点表征。通过引入图神经网络，对知识点体系进行编码，可以获取信息更详尽的知识点表示，即第二知识点表征，通过将第二知识点表征与目标文本的语义表示结合，可以提升知识点的识别准确性。
示例性的，请参阅图5，所述获取预设的知识点标签集合对应的第二知识点表征，包括步骤S131至步骤S133。
步骤S131、将预设的知识点标签集合中的知识点标签输入所述深层语言模型，得到所述第一知识点表征，所述第一知识点表征包括各知识点标签的表征向量。
示例性的，将所述知识点标签集合中的知识点标签输入所述深层语言模型，可以得到所述所有知识点的语义表征，即第一知识点表征。所述深层语言模型对知识点标签进行语义建模的原理、步骤，与前述对所述目标文本的处理相同，在此不做赘述，例如同样取起始字符[CLS]的向量作为所述第一知识点表征。
步骤S132、获取所述知识点标签集合中知识点标签的关联信息。
本申请实施例的方法，面向初高中语文学科体系下的试题自动处理和归类，根据已有的语文知识点体系结构，对试题文本进行分析处理，自动标注对应的知识点标签。在一些实施方式中，所述关联信息用于描述所述知识点标签集合中知识点标签的树状结构。
举例而言，语文学科的知识点是体系化的，呈现树状结构，几个根节点包含子节点，子节点再向下拓展更多节点直到末级。初高中语文学科知识点体系以题型为大类，以树状结构展开，上级节点下包含多个子节点，知识点之间不存在显式的前后继关系，且仅区分初中与高中，不区分年级，与数学等理科知识点体系存在明显区别。举例而言，初高中知识点覆盖了五种能力，代表物种层级：识记，指识别和记忆；理解，指领会并能作简单的解释；分析综合，指分解剖析和归纳整理；表达应用，指对语文知识和能力的运用；鉴赏评价，指对阅读材料的鉴别、赏析和评说。例如一种高中知识点体系包含“语言文字运用”、“现代文阅读”、“古代诗文阅读”、“整本书阅读”、“写作”等五大根节点，其下知识点例如“辨析并修改病句”、“正确使用标点符号”与试题题型密切相关，且与题干命题方式存在强相关关系；知识点例如“理解文中重要句子的含意”、“分析文章的语言特色”则与试题考查角度，设问方式有着极大关系；而同一上级知识点所属的兄弟知识点之间拥有相似的考查方法。
示例性的，所述树状结构中包括互为兄弟节点的知识点标签，其中，兄弟节点指的是同一上级节点下包含的不同子节点。举例而言，“辨析并修改病句”下包含多个知识点：“搭配不当”，“语序不当”，“成分残缺或赘余”，“结构混乱”，“不合逻辑”，“表意不明”等，它们互为兄弟节点。
步骤S133、基于图神经网络，根据所述关联信息对所述第一知识点表征中的表征向量进行语义增强，得到所述第一知识点表征对应的第二知识点表征。
树结构是图的一种，可以通过图神经网络去进行建模。示例性的，所述图神经网络为图注意力神经网络(Graph Attention Networks，GAT)，同时修改了知识点树的结构，去建模不同知识点之间的关联关系，如兄弟关系，当然也不限于此，例如关联关系还可以包括上下级关系等。
示例性的，将知识点标签集合中的多个，如数百个知识点标签使用深层语言模型建模后，得到的各知识点标签的表征向量输入到GAT中，将这些知识点标签用节点表示，将这些知识点标签之间的兄弟关系用图节点之间的边描述，使用注意力机制进行编码，得到增强语义表示的第二知识点表征。
在一些实施方式中，对于某一个知识点的表征向量Ci，假设拥有的一个兄弟知识点的表征向量Cj，我们使用注意力机制去计算Cj对Ci的重要性，如下式所示：
eij＝Attention(ci,c)
Figure BDA0003436257160000091
其中，Softmax()表示正则化函数，可选的，Attention函数的具体做法如下：
eij＝LeakyReLU(aT[Wci||Wcj])
其中，LeakyReLU()表示非线性激活函数，W表示线性变换的参数，||表示向量拼接。
在使用注意力机制计算Cj对Ci的重要性后，可以根据所述重要性确定所述第二知识点表征中知识点对应的表征向量c′i，如下式所示：
Figure BDA0003436257160000092
其中，Ni代表知识点Ci的所有兄弟知识点的数目，σ()表示激活函数。
类似于BERT模型的Transformer，图注意力神经网络也拥有多头机制，不同Head独立计算后拼接得到表征向量c′i：
Figure BDA0003436257160000093
可选的，在图注意力神经网络的最后一层，不同Head的计算结果可以使用求均值代表拼接：
Figure BDA0003436257160000094
在得到知识点标签集合中各知识点标签对应的语义增强后的表征向量 c′1,c′ 2,…,c′ N后，即得到所述知识点标签集合对应的第二知识点表征。
可以理解的，在根据所述知识点标签集合得到对应的第二知识点表征后，可以存储所述第二知识点表征，在后续对所述目标文本进行标注时，可以直接获取所述第二知识表征。在知识点标签集合中的知识点标签修改时，或者调整不同知识点标签的关系时，再次根据修改/调整后的知识点标签生成和存储所述第二知识点表征。
步骤S140、对所述文本内容表征和所述知识点表征进行匹配处理，得到所述目标文本对应的知识点标签。
示例性的，所述对所述文本内容表征和所述知识点表征进行匹配处理，得到所述目标文本对应的知识点标签，包括：对所述文本内容表征和所述第二知识点表征进行匹配处理，得到所述目标文本对应的知识点标签。
本申请实施例中，文本内容表征包含了目标文本，如试题题干、试题答案的信息，第二知识点表征则融合了不同知识点之间关联关系的信息，能够同时包含自身信息与兄弟节点信息，可以使得知识点识别的准确性更高，标注效果更好。举例而言，同一上级知识点所属的兄弟知识点之间拥有相似的考查方法，基于所述第二知识点表征可以更准确的判断所述目标文本是否标记为所述兄弟知识点之间的一个或多个。
在一些实施方式中，可以基于注意力网络模型，对所述文本内容表征和所述第二知识点表征进行匹配处理，得到所述目标文本对应的知识点标签。当然也不限于此，需要说明的是，对所述文本内容表征和所述第二知识点表征进行匹配处理，可以是语义匹配，或者也可以是其他文本匹配等方式。
示例性的，所述对所述文本内容表征和所述第二知识点表征进行匹配处理，得到所述目标文本对应的知识点标签，包括：基于注意力网络模型，根据所述文本内容表征和所述第二知识点表征，计算所述目标文本与每个知识点标签的语义匹配度；以及根据所述目标文本与每个知识点标签的语义匹配度，得到所述目标文本对应的知识点标签。
示例性的，所述基于注意力网络模型，根据所述文本内容表征和所述第二知识点表征，计算所述目标文本与每个知识点标签的语义匹配度，包括：基于注意力网络模型的注意力机制子模型，根据所述文本内容表征和所述第二知识点表征，计算所述目标文本与每个知识点标签的语义匹配度。
所述语义匹配度可以用于指示所述目标文本与各知识点标签的匹配程度，可选的，可以将语义匹配度大于预设阈值的知识点标签作为所述目标文本的标记结果，当然也不限于此。
示例性的，使用预训练的BERT模型得到了文本内容表征HQ，使用GAT得到了全部知识点的语义增强后的表征向量c′1,c′2,…,c′N，可以再次使用注意力机制计算目标文本与每个知识点标签的语义匹配度，如目标文本与第i个知识点标签的语义匹配度αi可以表示如下：
Figure BDA0003436257160000111
ei＝VTTanh(WHQ+Uc′i)
其中，Tanh()表示激活函数，W、U为模型参数。
示例性的，所述根据所述目标文本与每个知识点标签的语义匹配度，得到所述目标文本对应的知识点标签，包括：根据所述知识点标签的语义匹配度，对所述第二知识点表征中各知识点标签的表征向量进行加权求和，得到所述目标文本对应的知识点整体表征；基于所述注意力网络模型的分类子模型，对所述知识点整体表征和所述文本内容表征进行分类，得到所述目标文本对应的知识点标签。
通过计算目标文本与各知识点标签的语义匹配度，加权求和得到知识点整体表征，有利于模型确定该目标文本最适合的若干知识点标签。
举例而言，对所述第二知识点表征中各知识点标签的表征向量进行加权求和，得到所述目标文本对应的知识点整体表征C，可以表示如下：
C＝i∈Nαic′i
请参阅图5，将所述知识点整体表征和所述文本内容表征拼接，得到整个模型的最终表征向量O，如表示为O＝C||HQ。
示例性的，基于所述注意力网络模型的分类子模型处理所述最终表征向量O，得到所述目标文本对应的知识点标签。举例而言，所述分类子模型包括全连接层和Sigmoid函数，当然也不限于此。
需要说明的是，本申请实施例也不限于对所述文本内容表征和所述第二知识点表征进行处理，得到所述目标文本对应的知识点标签，例如可以对所述文本内容表征和所述第一知识点表征进行处理，得到所述目标文本对应的知识点标签，也可以实现充分利用不同知识点标签之间存在的关联关系这一有效信息，使得知识点识别的准确性更高，标注效果更好；处理的原理、步骤与对所述文本内容表征和所述第二知识点表征进行处理相同，在此不做赘述。
本申请实施例提供的知识点标注方法，基于深层语言模型获取目标文本对应的文本内容表征，且对文本内容表征以及知识点标签集合对应的知识点表征进行匹配处理，得到目标文本对应的知识点标签；基于深层语言模型可以对目标文本进行更深层的语义建模，得到的文本内容表征也可以更好地适应多标签分类任务；知识点表征包含了知识点体系的信息，与文本内容表征结合，可以提升知识点的识别效果。
在一些实施方式中，本申请实施例可以实现一种结合预训练语言模型和图神经网络的知识点自动标注系统。示例性的，引入图神经网络，对知识点体系进行编码，获取更好的知识点表示，与文本内容表征结合，提升识别效果。
示例性的，图神经网络对知识点体系进行编码时，可以融合知识点体系本身的层级结构，如不同知识点标签存在关联关系，尤其是同一上级知识点所属的兄弟知识点之间拥有相似的考查方法这一有效信息，可以提升识别效果。
请结合前述实施例参阅图6，本申请实施例还提供了一种知识点标注模型的训练方法。请参阅图5和图6，训练方法包括步骤S210至步骤S260。
步骤S210、获取预设的知识点标签集合对应的知识点表征，所述知识点表征是基于深层语言模型对所述知识点标签集合中的知识点标签进行处理得到的。
示例性的，获取预设的知识点标签集合对应的第一知识点表征或所述知识点标签集合对应的第二知识点表征。
举例而言，示例性的，所述获取预设的知识点标签集合对应的知识点表征，包括：将预设的知识点标签集合中的知识点标签输入所述深层语言模型，得到所述知识点标签集合对应的第一知识点表征，所述第一知识点表征包括各知识点标签的表征向量；获取所述知识点标签集合中知识点标签的关联信息，所述关联信息用于描述所述知识点标签集合中知识点标签的树状结构，且所述树状结构中包括互为兄弟节点的知识点标签；基于所述知识点标注模型的图神经网络，根据所述关联信息对所述第一知识点表征中的表征向量进行语义增强，得到所述第一知识点表征对应的第二知识点表征。
步骤S220、获取目标文本和所述目标文本的知识点标注。
所述目标文本的知识点标注例如为人工标注的知识点标签，一个目标文本标记的知识点标签可以为一个或多个。
示例性的，是目标文本包括预设的起始字符、试题题干、预设的间隔字符、试题答案。
步骤S230、将所述目标文本输入所述知识点标注模型的深层语言模型，得到所述目标文本对应的文本内容表征。
在一些实施方式中，所述深层语言模型为预训练的BERT模型，当然也不限于此。
步骤S240、对所述文本内容表征和所述知识点表征进行匹配处理，得到所述目标文本对应的知识点标签。
示例性的，所述对所述文本内容表征和所述知识点表征进行匹配处理，得到所述目标文本对应的知识点标签，包括：对所述文本内容表征和所述第二知识点表征进行匹配处理，得到所述目标文本对应的知识点标签。
在一些实施方式中，基于所述知识点标注模型的注意力网络模型，对所述文本内容表征和所述知识点表征进行匹配处理，得到所述目标文本对应的知识点标签。示例性的，基于注意力网络模型，根据所述文本内容表征和所述第二知识点表征，计算所述目标文本与每个知识点标签的语义匹配度；以及根据所述目标文本与每个知识点标签的语义匹配度，得到所述目标文本对应的知识点标签。
举例而言，基于注意力网络模型的注意力机制子模型，根据所述文本内容表征和所述第二知识点表征，计算所述目标文本与每个知识点标签的语义匹配度。
举例而言，根据所述知识点标签的语义匹配度，对所述第二知识点表征中各知识点标签的表征向量进行加权求和，得到所述目标文本对应的知识点整体表征；基于所述注意力网络模型的分类子模型，对所述知识点整体表征和所述文本内容表征进行分类，得到所述目标文本对应的知识点标签。
步骤S250、基于预设的损失函数，根据所述目标文本的知识点标注和所述目标文本对应的知识点标签，确定模型损失值。
举例而言，使用二进制交叉熵损失函数(BinaryCrossEntropy)来确定所述模型损失值L(loss)，如下式所示：
L＝ynlogxn+(1-yn)log(1-xn)
步骤S260、根据所述模型损失值，调整所述知识点标注模型的参数。
在一些实施方式中，可以调整知识点标注模型中深层语言模型、注意力网络模型、图神经网络中至少一者的参数；例如固定深层语言模型和图神经网络的参数，调整注意力网络模型的参数，当然也不限于此。
示例性的，当模型损失值收敛至预设范围时，结束训练，得到训练好的知识点标注模型。基于训练好的知识点标注模型，可以执行前述的知识点标注方法的步骤。
本申请实施例提供的知识点标注模型的训练方法的具体原理和实现方式均与前述实施例的知识点标注方法类似，此处不再赘述。
本申请的方法可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、机顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
示例性的，上述的方法可以实现为一种计算机程序的形式，该计算机程序可以在如图7所示的计算机设备上运行。
请参阅图7，图7是本申请实施例提供的一种计算机设备的结构示意图。该计算机设备可以是服务器或终端。
参阅图7，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口，其中，存储器可以包括非易失性存储介质和内存储器。
非易失性存储介质可存储操作系统和计算机程序。该计算机程序包括程序指令，该程序指令被执行时，可使得处理器执行前述任意一种方法的步骤。
处理器用于提供计算和控制能力，支撑整个计算机设备的运行。
内存储器为非易失性存储介质中的计算机程序的运行提供环境，该计算机程序被处理器执行时，可使得处理器执行前述任意一种方法的步骤。
该网络接口用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，该计算机设备的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
应当理解的是，处理器可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit， ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
其中，在一个实施例中，所述处理器用于运行存储在存储器中的计算机程序，以实现如下步骤：
获取目标文本；
将所述目标文本输入预设的深层语言模型，得到所述目标文本对应的文本内容表征；
获取预设的知识点标签集合对应的知识点表征，所述知识点表征是基于所述深层语言模型对所述知识点标签集合中的知识点标签进行处理得到的；
对所述文本内容表征和所述知识点表征进行匹配处理，得到所述目标文本对应的知识点标签。
其中，在一个实施例中，所述处理器用于运行存储在存储器中的计算机程序，以实现如下步骤：
获取预设的知识点标签集合对应的知识点表征，所述知识点表征是基于深层语言模型对所述知识点标签集合中的知识点标签进行处理得到的；
获取目标文本和所述目标文本的知识点标注；
将所述目标文本输入所述知识点标注模型的深层语言模型，得到所述目标文本对应的文本内容表征；
对所述文本内容表征和所述知识点表征进行匹配处理，得到所述目标文本对应的知识点标签；
基于预设的损失函数，根据所述目标文本的知识点标注和所述目标文本对应的知识点标签，确定模型损失值；
根据所述模型损失值，调整所述知识点标注模型的参数。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法，如：
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序中包括程序指令，所述处理器执行所述程序指令，实现本申请实施例提供的任一项方法的步骤。
其中，所述计算机可读存储介质可以是前述实施例所述的计算机设备的内部存储单元，例如所述计算机设备的硬盘或内存。所述计算机可读存储介质也可以是所述计算机设备的外部存储设备，例如所述计算机设备上配备的插接式硬盘，智能存储卡(SmartMedia Card，SMC)，安全数字(Secure Digital， SD)卡，闪存卡(Flash Card)等。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (11)

1.一种知识点标注方法，其特征在于，包括：
获取目标文本；
将所述目标文本输入预设的深层语言模型，得到所述目标文本对应的文本内容表征；
获取预设的知识点标签集合对应的知识点表征，所述知识点表征是基于所述深层语言模型对所述知识点标签集合中的知识点标签进行处理得到的；
对所述文本内容表征和所述知识点表征进行匹配处理，得到所述目标文本对应的知识点标签。
2.如权利要求1所述的知识点标注方法，其特征在于，所述获取目标文本，包括：
获取试题题干和试题答案；
根据预设的起始字符、所述试题题干、预设的间隔字符、所述试题答案，生成所述目标文本。
3.如权利要求2所述的知识点标注方法，其特征在于，所述将所述目标文本输入预设的深层语言模型，得到所述目标文本对应的文本内容表征，包括：
基于所述深层语言模型的词嵌入层，对所述目标文本进行词嵌入处理，得到文本向量；
基于所述深层语言模型的多头自注意力网络，对所述文本向量进行处理，得到所述目标文本对应的文本内容表征。
4.如权利要求1所述的知识点标注方法，其特征在于，所述获取预设的知识点标签集合对应的知识点表征，包括：
获取预设的知识点标签集合对应的第二知识点表征，所述第二知识点表征是基于图神经网络对第一知识点表征进行语义增强得到的，所述第一知识点表征是基于所述深层语言模型对所述知识点标签集合中的知识点标签进行处理得到的；
所述对所述文本内容表征和所述知识点表征进行匹配处理，得到所述目标文本对应的知识点标签，包括：
对所述文本内容表征和所述第二知识点表征进行匹配处理，得到所述目标文本对应的知识点标签。
5.如权利要求4所述的知识点标注方法，其特征在于，所述获取预设的知识点标签集合对应的第二知识点表征，包括：
将预设的知识点标签集合中的知识点标签输入所述深层语言模型，得到所述第一知识点表征，所述第一知识点表征包括各知识点标签的表征向量；
获取所述知识点标签集合中知识点标签的关联信息；
基于图神经网络，根据所述关联信息对所述第一知识点表征中的表征向量进行语义增强，得到所述第一知识点表征对应的第二知识点表征。
6.如权利要求4所述的知识点标注方法，其特征在于，所述对所述文本内容表征和所述第二知识点表征进行匹配处理，得到所述目标文本对应的知识点标签，包括：
基于注意力网络模型，根据所述文本内容表征和所述第二知识点表征，计算所述目标文本与每个知识点标签的语义匹配度；以及
根据所述目标文本与每个知识点标签的语义匹配度，得到所述目标文本对应的知识点标签。
7.如权利要求6所述的知识点标注方法，其特征在于，所述基于注意力网络模型，根据所述文本内容表征和所述第二知识点表征，计算所述目标文本与每个知识点标签的语义匹配度，包括：
基于注意力网络模型的注意力机制子模型，根据所述文本内容表征和所述第二知识点表征，计算所述目标文本与每个知识点标签的语义匹配度；
所述根据所述目标文本与每个知识点标签的语义匹配度，得到所述目标文本对应的知识点标签，包括：
根据所述知识点标签的语义匹配度，对所述第二知识点表征中各知识点标签的表征向量进行加权求和，得到所述目标文本对应的知识点整体表征；
基于所述注意力网络模型的分类子模型，对所述知识点整体表征和所述文本内容表征进行分类，得到所述目标文本对应的知识点标签。
8.一种知识点标注模型的训练方法，其特征在于，包括：
获取预设的知识点标签集合对应的知识点表征，所述知识点表征是基于深层语言模型对所述知识点标签集合中的知识点标签进行处理得到的；
获取目标文本和所述目标文本的知识点标注；
将所述目标文本输入所述知识点标注模型的深层语言模型，得到所述目标文本对应的文本内容表征；
对所述文本内容表征和所述知识点表征进行匹配处理，得到所述目标文本对应的知识点标签；
基于预设的损失函数，根据所述目标文本的知识点标注和所述目标文本对应的知识点标签，确定模型损失值；
根据所述模型损失值，调整所述知识点标注模型的参数。
9.如权利要求8所述的训练方法，其特征在于，所述获取预设的知识点标签集合对应的知识点表征，包括：
将预设的知识点标签集合中的知识点标签输入所述深层语言模型，得到所述知识点标签集合对应的第一知识点表征，所述第一知识点表征包括各知识点标签的表征向量；
获取所述知识点标签集合中知识点标签的关联信息；
基于所述知识点标注模型的图神经网络，根据所述关联信息对所述第一知识点表征中的表征向量进行语义增强，得到所述第一知识点表征对应的第二知识点表征；
所述对所述文本内容表征和所述知识点表征进行匹配处理，得到所述目标文本对应的知识点标签，包括：
对所述文本内容表征和所述第二知识点表征进行匹配处理，得到所述目标文本对应的知识点标签。
10.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器；
所述存储器用于存储计算机程序；
所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现：
如权利要求1-7中任一项所述的知识点标注方法的步骤；或者
如权利要求8或9所述的知识点标注模型的训练方法的步骤。
11.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，若所述计算机程序被处理器执行，实现：
如权利要求1-7中任一项所述的知识点标注方法的步骤；或者
如权利要求8或9所述的知识点标注模型的训练方法的步骤。
CN202111614301.XA 2021-12-27 2021-12-27 知识点标注方法、模型的训练方法、计算机设备及存储介质 Pending CN114417785A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111614301.XA CN114417785A (zh) 2021-12-27 2021-12-27 知识点标注方法、模型的训练方法、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111614301.XA CN114417785A (zh) 2021-12-27 2021-12-27 知识点标注方法、模型的训练方法、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN114417785A true CN114417785A (zh) 2022-04-29

Family

ID=81269523

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111614301.XA Pending CN114417785A (zh) 2021-12-27 2021-12-27 知识点标注方法、模型的训练方法、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN114417785A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115688920A (zh) * 2022-11-22 2023-02-03 百度国际科技（深圳）有限公司 知识抽取方法、模型的训练方法、装置、设备和介质
CN117421426A (zh) * 2023-12-18 2024-01-19 广东信聚丰科技股份有限公司 基于人工智能辅助的知识点标注方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115688920A (zh) * 2022-11-22 2023-02-03 百度国际科技（深圳）有限公司 知识抽取方法、模型的训练方法、装置、设备和介质
CN115688920B (zh) * 2022-11-22 2023-08-25 百度国际科技（深圳）有限公司 知识抽取方法、模型的训练方法、装置、设备和介质
CN117421426A (zh) * 2023-12-18 2024-01-19 广东信聚丰科技股份有限公司 基于人工智能辅助的知识点标注方法及系统
CN117421426B (zh) * 2023-12-18 2024-03-05 广东信聚丰科技股份有限公司 基于人工智能辅助的知识点标注方法及系统

Similar Documents

Publication Publication Date Title
CN110502749B (zh) 一种基于双层注意力机制与双向gru的文本关系抽取方法
CN110851596B (zh) 文本分类方法、装置及计算机可读存储介质
CN109992664B (zh) 争议焦点的标注分类方法、装置、计算机设备和存储介质
CN110232114A (zh) 语句意图识别方法、装置及计算机可读存储介质
CN111966812B (zh) 一种基于动态词向量的自动问答方法和存储介质
CN112632226B (zh) 基于法律知识图谱的语义搜索方法、装置和电子设备
CN112052684A (zh) 电力计量的命名实体识别方法、装置、设备和存储介质
CN115599901B (zh) 基于语义提示的机器问答方法、装置、设备及存储介质
CN114358007A (zh) 多标签识别方法、装置、电子设备及存储介质
CN110705490B (zh) 视觉情感识别方法
CN114417785A (zh) 知识点标注方法、模型的训练方法、计算机设备及存储介质
CN110968725B (zh) 图像内容描述信息生成方法、电子设备及存储介质
Siddique et al. English to bangla machine translation using recurrent neural network
CN113849648A (zh) 分类模型训练方法、装置、计算机设备和存储介质
CN112000778A (zh) 一种基于语义识别的自然语言处理方法、装置和系统
Alon et al. Deep-hand: a deep inference vision approach of recognizing a hand sign language using american alphabet
Inunganbi et al. Handwritten Meitei Mayek recognition using three‐channel convolution neural network of gradients and gray
CN108875024B (zh) 文本分类方法、系统、可读存储介质及电子设备
CN113705207A (zh) 语法错误识别方法及装置
CN116089605A (zh) 基于迁移学习和改进词袋模型的文本情感分析方法
CN113722477B (zh) 基于多任务学习的网民情绪识别方法、系统及电子设备
CN114936274A (zh) 模型训练方法、对话生成方法和装置、设备及存储介质
CN114357964A (zh) 主观题评分方法、模型的训练方法、计算机设备及存储介质
Tolegen et al. Voted-perceptron approach for Kazakh morphological disambiguation
Asha et al. Artificial Neural Networks based DIGI Writing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 230000 666 Wangjiang West Road, Hefei hi tech Development Zone, Anhui

Applicant after: IFLYTEK Co.,Ltd.

Applicant after: Hebei Xunfei Institute of Artificial Intelligence

Applicant after: iFLYTEK (Beijing) Co.,Ltd.

Address before: 230000 No. 666, Wangjiang West Road, Hefei hi tech Development Zone, Hefei, Anhui

Applicant before: IFLYTEK Co.,Ltd.

Applicant before: Hebei Xunfei Institute of Artificial Intelligence

Applicant before: Zhongke Xunfei Internet (Beijing) Information Technology Co.,Ltd.