CN115438152A - 一种基于多神经网络与知识图谱的简答题评分方法及系统 - Google Patents

Abstract

本发明涉及一种基于多神经网络与知识图谱的简答题评分方法及系统，该方法包括：根据原始学科知识点图谱中知识点及知识点关系得到多个初始三元组，对知识点关系进行聚类；将目标学科知识语料作为样本，将聚类后知识点及其关系三元组作为标签对神经网络模型进行训练，得到知识点关系提取网络模型；根据目标学科知识语料得到当前学科知识点关系图神经网络；根据题目、标答和应试者作答内容分别生成题目、标答和作答内容知识点关系图谱借助图神经网络进行区域匹配，进行综合评分；根据题目类型选择评分策略，得到评分结果。本发明综合考虑题目类型、标答评分点匹配和相关学科知识的内在逻辑关系，评分结果更准确。

Description

一种基于多神经网络与知识图谱的简答题评分方法及系统

技术领域

本发明涉及智慧教育和自然语言处理技术领域，特别是涉及一种基于多神经网络与知识图谱的简答题评分方法及系统。

背景技术

当前，随着人工智能技术发展和向教育领域的渗透融合，教学过程正在进行全面的自动化和智能化转型。学生试卷的自动批改问题是智慧教育关注的焦点之一。

现有简答题自动评分技术主要使用关键词匹配方法。该方法首先对学生答卷的内容进行拆词，将拆解后的词语与简答题标准评分答案中的关键词语进行词义匹配，以此作为简答题作答的给分依据。该评分方法简单直接，可以对通过分散的知识点匹配进行评分的简答题做出较为精确的判断和评分，适合列举、简单术语解释等确定性较强的试题。这种方法的缺点是没有考虑试题标准答案中的内在逻辑。

目前最新的简答题自动评分方法开始使用神经网络对标准答案中涉及的知识点及其关系进行提取，并以提取结果作为评分依据。该方法适用于答案较为确定，涉及知识点较少的试题，但是依然没有考虑评分点关键词相关的概念或者内容的辐射性和连接性。这造成自动批改与教师人工批改相比，准确性与和合理性均有所欠缺。而且题目越具有开放性，二者的差距越大。

以上分析可以看出，由于简答题的类型、风格不同，使用单一评分策略评分效果不佳。简答题自动评分需要一套可以同时适应确定性问题和开放式问题，同时能够从学科知识点关系整体角度对简答题作答内容进行系统评价的方案。

发明内容

本发明的目的是提供一种基于多神经网络与知识图谱的简答题评分方法及系统，能够提取题目综合特征，综合考虑题目类型、标答评分点匹配和相关学科知识的内在逻辑关系等因素，评分结果更准确。

为实现上述目的，本发明提供了如下方案：

本发明提供了一种基于多神经网络与知识图谱的简答题评分方法，所述方法包括：

获取原始学科知识点图谱中所有知识点以及知识点之间的关系，整理形成多个初始三元组，作为原始学科知识点关系数据集，并对所述初始三元组中的所有初始知识点关系进行聚类，形成聚类后的知识点及其关系三元组；

获取目标学科知识语料，搭建神经网络模型，将所述目标学科知识语料作为样本数据，将所述聚类后的知识点及其关系三元组作为标签数据，对所述神经网络模型进行训练，得到知识点关系提取网络模型；

采用所述知识点关系提取网络模型对所述目标学科知识语料进行知识点关系提取，得到多个目标学科知识点及其关系三元组，并将所述目标学科知识点及其关系三元组补充到所述原始学科知识点关系数据集中，形成当前学科知识点及其关系数据集；

根据所述当前学科知识点关系数据集生成当前学科知识点关系图谱，并将所述当前学科知识点关系图谱转换成COO向量矩阵，根据所述COO向量矩阵得到当前学科知识点关系的图神经网络模型；

获取待评分简答题的题目内容和标准答案，采用所述知识点关系提取网络模型分别对所述题目内容和所述标准答案进行知识点关系提取，得到题目知识点关系图谱和标答知识点关系图谱；

计算所述题目知识点关系图谱和所述标答知识点关系图谱的全局空间向量，并对所述当前学科知识关系的图神经网络模型进行局部空间向量提取，得到与所述全局空间向量匹配的相关评分区域，并生成对应的评分知识点关系图谱；其中，计算所述题目知识点关系图谱和所述标答知识点关系图谱的全局空间向量时，根据题目知识点关系图谱生成题目知识点关系图神经网络以及根据标答知识点关系图谱生成标答知识点关系图神经网络，并根据所述题目知识点关系图神经网络以及所述标答知识点关系图神经网络计算得到包含标答知识点关系和题目知识点关系的全局空间向量；

基于所述题目内容对所述题目进行分类，确定题目类型以及所述题目内容归属不同题目类型的概率值；所述题目类型包括确定性题目和非确定性题目；

获取学生对所述待评分简答题的作答内容，得到作答知识点关系图谱；

根据所述题目类型选择对应的评分策略，根据选择的评分策略对所述作答内容进行评分，得到评分结果；所述评分策略由所述题目知识点关系图谱、所述标答知识点关系图谱、所述评分知识点关系图谱以及所述作答知识点关系图谱确定。

可选地，所述根据所述题目类型选择对应的评分策略，根据选择的评分策略对所述作答内容进行评分，得到评分结果，具体包括：

当所述题目类型为确定性题目时，所述评分策略具体包括：根据所述题目知识点关系图谱和所述标答知识点关系图谱的差集确定给分点，并对所述作答知识点关系图谱进行匹配评分，得到评分结果；所述评分结果包括评分分数和评分依据；

当所述题目类型为非确定性题目时，所述评分策略具体包括：基于加权法，根据所述题目知识点关系图谱与所述标答知识点关系图谱的差集、所述评分知识点关系图谱与所述题目知识点关系图谱的差集确定得分点，并对所述作答知识点关系图谱进行匹配评分，得到评分结果。

可选地，当所述题目类型为确定性题目时，所述评分分数Scr的计算公式为：

Scr＝[f_{特征相似度}(G₂-G₁,G₃)]·M_iscr

其中，G₁表示题目知识点关系图谱，G₂表示标答知识点关系图谱，G₃表示作答知识点关系图谱，M_iscr表示包含第i道题的评分标准具体分值的评分矩阵，f_{特征相似度}表示两个图谱间的特征相似度；

当所述题目类型为非确定性题目时，所述评分分数Scr的计算公式为：

Scr＝[α_k·f_{特征相似度}(G₂-G₁,G₃)+(1-α_k)·f_{特征相似度}(G₄-G₁,G₃)]·M_kscr

其中，G₄表示评分知识点关系图谱，α_k＝e^-3V为权重系数，V为题目开放程度概率值，M_kscr为包含第k道题的评分标准具体分值的评分矩阵。

可选地，所述特征相似度f_{特征相似度}的计算公式为：

其中，G_i和G_j表示不同的图谱，i和j表示不同图谱的标号，β和γ表示图谱中的不同知识点，θ表示两个知识点之间的关系指向。

为实现上述目的，本发明还提供了如下方案：

一种基于多神经网络与知识图谱的简答题评分系统，所述系统包括：

学科知识点获取和聚类单元，用于获取原始学科知识点图谱中所有知识点以及知识点之间的关系，整理形成多个初始三元组，作为原始学科知识点关系数据集，并对所述初始三元组中的所有初始知识点关系进行聚类，形成聚类后的知识点及其关系三元组；

知识点关系提取网络模型确定单元，用于获取目标学科知识语料，搭建神经网络模型，将所述目标学科知识语料作为样本数据，将所述聚类后的知识点及其关系三元组作为标签数据，对所述神经网络模型进行训练，得到知识点关系提取网络模型；

当前学科知识点及其关系数据集确定单元，用于采用所述知识点关系提取网络模型对所述目标学科知识语料进行知识点关系提取，得到多个目标学科知识点及其关系三元组，并将所述目标学科知识点及其关系三元组补充到所述原始学科知识点关系数据集中，形成当前学科知识点及其关系数据集；

当前学科知识点关系图谱和图神经网络模型生成单元，用于根据所述当前学科知识点关系数据集生成当前学科知识点关系图谱，并将所述当前学科知识点关系图谱转换成COO向量矩阵，根据所述COO向量矩阵得到当前学科知识点关系的图神经网络模型；

题目知识点关系图谱和标答知识点关系图谱确定单元，用于获取待评分简答题的题目内容和标准答案，采用所述知识点关系提取网络模型分别对所述题目内容和所述标准答案进行知识点关系提取，得到题目知识点关系图谱和标答知识点关系图谱；

评分知识点关系图谱生成单元，用于计算所述题目知识点关系图谱和所述标答知识点关系图谱的全局空间向量，并对所述当前学科知识关系的图神经网络模型进行局部空间向量提取，得到与所述全局空间向量匹配的相关评分区域，并生成对应的评分知识点关系图谱；其中，计算所述题目知识点关系图谱和所述标答知识点关系图谱的全局空间向量时，根据题目知识点关系图谱生成题目知识点关系图神经网络以及根据标答知识点关系图谱生成标答知识点关系图神经网络，并根据所述题目知识点关系图神经网络以及所述标答知识点关系图神经网络计算得到包含标答知识点关系和题目知识点关系的全局空间向量；

题目类型确定单元，用于基于所述题目内容对所述题目进行分类，确定题目类型以及所述题目内容归属不同题目类型的概率值；所述题目类型包括确定性题目和非确定性题目；

作答知识点关系图谱确定单元，用于获取学生对所述待评分简答题的作答内容，得到作答知识点关系图谱；

评分结果确定单元，用于根据所述题目类型选择对应的评分策略，根据选择的评分策略对所述作答内容进行评分，得到评分结果；所述评分策略由所述题目知识点关系图谱、所述标答知识点关系图谱、所述评分知识点关系图谱以及所述作答知识点关系图谱确定。

可选地，所述评分结果确定单元，具体包括：

确定性题目评分结果确定子单元，用于当所述题目类型为确定性题目时，根据所述题目知识点关系图谱和所述标答知识点关系图谱的差集确定给分点，并对所述作答知识点关系图谱进行匹配评分，得到评分结果；所述评分结果包括评分分数和评分依据；

非确定性题目评分结果确定子单元，用于当所述题目类型为非确定性题目时，基于加权法，根据所述题目知识点关系图谱与所述标答知识点关系图谱的差集、所述评分知识点关系图谱与所述题目知识点关系图谱的差集确定得分点，并对所述作答知识点关系图谱进行匹配评分，得到评分结果。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明提供了一种基于多神经网络与知识图谱的简答题评分方法及系统，所述方法包括：获取原始学科知识点图谱中所有知识点以及知识点之间的关系，整理成多个初始三元组，作为原始学科知识点关系数据集，并对初始三元组中的所有初始知识点关系进行聚类，形成聚类后的知识点及其关系三元组；获取目标学科知识语料，搭建神经网络模型，将目标学科知识语料作为样本数据，将聚类后的知识点及其关系三元组作为标签数据，对神经网络模型进行训练，得到知识点关系提取网络模型；采用知识点关系提取网络模型对目标学科知识语料进行知识点关系提取，得到多个目标学科知识点及其关系三元组，并将目标学科知识点及其关系三元组补充到原始学科知识点关系数据集中，形成当前学科知识点及其关系数据集；根据当前学科知识点及其关系数据集，生成当前学科知识点关系图谱和图神经网络；获取待评分简答题的题目内容和标准答案，采用知识点关系提取网络模型分别对题目内容和标准答案进行知识点关系提取，得到题目知识点关系图谱和标答知识点关系图谱；计算题目知识点关系图谱和标答知识点关系图谱的全局空间向量，并对当前学科知识关系图谱进行局部空间向量提取，得到与所述全局空间向量匹配的相关评分区域，并生成对应的评分知识点关系图谱；基于题目内容对题目进行分类，确定题目类型；题目类型包括确定性题目和非确定性题目；获取学生对待评分简答题的作答内容，得到作答知识点关系图谱；根据题目类型选择对应的评分策略，根据选择的评分策略对所述作答内容进行评分，得到评分结果；评分策略由题目知识点关系图谱、标答知识点关系图谱、评分知识点关系图谱以及作答知识点关系图谱确定。本发明能够综合考虑题目类型、标答评分点匹配和相关学科知识的内在逻辑关系等因素，评分结果更准确。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种基于多神经网络与知识图谱的简答题评分方法的流程图；

图2为本发明一种基于多神经网络与知识图谱的简答题评分系统的模块结构示意图；

图3为本发明知识点关系提取网络模型的网络结构示意图；

图4为本发明评分结果确定单元的工作过程示意图；

图5为本发明具体实施例中数据集补充前的COO矩阵示意图；

图6为本发明具体实施例中数据集补充后的COO矩阵示意图。

符号说明：

学科知识获取和聚类单元-1，知识点关系提取网络模型确定单元-2，当前学科知识点及其关系数据集确定单元-3，当前学科知识点关系图谱和图神经网络模型生成单元-4，题目知识点关系图谱和标答知识点关系图谱确定单元-5，评分知识点关系图谱生成单元-6，题目类型确定单元-7，作答知识点关系图谱确定单元-8，评分结果确定单元-9。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于多神经网络与知识图谱的简答题评分方法及系统，能够提取题目综合特征，综合考虑题目类型、标答评分点匹配和相关学科知识的内在逻辑关系等因素，评分结果更准确。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1所示，本发明一种基于多神经网络与知识图谱的简答题评分方法，包括：

S1：获取原始学科知识点图谱中所有知识点以及知识点之间的关系，整理形成多个初始三元组，作为原始学科知识点关系数据集，并对所述初始三元组中的所有初始知识点关系进行聚类，形成聚类后的知识点及其关系三元组；其中，所述初始三元组包括头知识实体、初始知识点关系和尾知识实体，初始三元组表示成<KW_i,R_初始ij,KW_j>形式，KW_i与KW_j表示学科课程中两个不同的知识点。由于知识点之间关系具有指向性，所以KW_i和KW_j的逻辑顺序决定了关系R_初始ij的指向性，KW_i是头知识实体，KW_j是尾知识实体。

将整理出的初始知识点关系进行聚类，划分为X个适合评分的种类，X＝1，2，3…N，其中，关系R_ij是X的子集。在知识点关系聚类过程中，考虑到KW_i到KW_j可能存在多种关系指向，将聚类后表述知识点之间关系R_ij转换成M维的词向量，聚合后的R_ij涵盖所有原始列出的知识点关系。聚合后的知识点及其关系三元组以<KW_i,R_ij,KW_j>形式作为标签数据。聚类操作有助于克服知识点关系碎片化问题，可以有效抑制后续GRU抽取知识点及其关系三元组时所产生的噪声数据，提高GRU知识点关系抽取模型的鲁棒性。

S2：获取目标学科知识语料，搭建神经网络模型，将所述目标学科知识语料作为样本数据，将所述聚类后的知识点及其关系三元组作为标签数据，对所述神经网络模型进行训练，得到知识点关系提取网络模型(Gate Recurrent Unit，GRU)。

S3：采用所述知识点关系提取网络模型对所述目标学科知识语料进行知识点关系提取，得到多个目标学科知识点及其关系三元组，并将所述目标学科知识点及其关系三元组补充到所述原始学科知识点关系数据集中，形成当前学科知识点及其关系数据集。

S4：根据所述当前学科知识点关系数据集生成当前学科知识点关系图谱，将所述当前学科知识点关系图谱转换成COO向量矩阵，根据所述COO向量矩阵得到当前学科知识点关系的图神经网络模型；

具体地，将所述当前学科知识点关系数据集中的三元组转换成COO向量矩阵，呈现知识点及其关系的多维度特征，并基于此扩展生成当前学科知识点关系的图神经网络模型，将扩展后的当前学科知识点关系的图神经网络模型转化为知识图谱数据形式用于后续分析。COO向量矩阵是图神经网络(GNN)所需的数据形式，图神经网络负责评分区域匹配、知识点及关系扩充等功能。在当前学科知识点关系图谱中，课程目标和教学内容会以图形化方式体现。图谱将会作为简答题评分内容的知识背景支撑，用于解决在半开放和开放式简答题中评分不准确的问题。

至此，课程准备阶段的知识点+内在关系的描述模型建立，采用知识图谱的三元组方式表达。

考虑到试题的题干部分同时包含了题目涉及领域和作答要求的重要信息，提取这部分特征纳入评分模型，可提升评分系统的针对性和准确性。具体步骤如下：

S5：当考试题目准备完成后，获取待评分简答题的题目内容和标准答案，采用所述知识点关系提取网络模型分别对所述题目内容和所述标准答案进行知识点关系提取，得到题目知识点关系图谱和标答知识点关系图谱；其中，题目知识点关系图谱和标答知识点关系图谱均以多组三元组方式呈现。

S6：计算所述题目知识点关系图谱和所述标答知识点关系图谱的全局空间向量，并对所述当前学科知识关系的图神经网络模型进行局部空间向量提取，得到与所述全局空间向量匹配的相关评分区域，并生成对应的评分知识点关系图谱；其中，计算所述题目知识点关系图谱和所述标答知识点关系图谱的全局空间向量时，根据题目知识点关系图谱生成题目知识点关系图神经网络以及根据标答知识点关系图谱生成标答知识点关系图神经网络，并根据所述题目知识点关系图神经网络以及所述标答知识点关系图神经网络计算得到包含标答知识点关系和题目知识点关系的全局空间向量。

具体地，首先使用图卷积神经网络计算题目知识点关系图谱和G₁和所述标答知识点关系图谱G₂的全局空间向量K，同时当前学科知识点关系图谱进行局部空间向量抽取，匹配得到与K空间向量最为相近的图谱局部区域Q(即相关评分区域)，这就是与标答文字描述相关联的学科(课程)知识背景空间，也是评分过程中考虑的知识和逻辑相关评分区域。相关评分区域Q对应的评分知识点及其关系图谱G₄将作为下一步实际评分过程中“评分结果确定单元”的输入。相较于直接从知识点查询学科知识图谱的方法，本发明首先得到简答题信息高维特征，再计算K进行图形映射，得到的评分区域会更加全面准确。

S7：基于所述题目内容对所述题目进行分类，确定题目类型以及所述题目内容归属不同题目类型的概率值；所述题目类型包括确定性题目和非确定性题目。

S8：获取学生对所述待评分简答题的作答内容，得到作答知识点关系图谱。

S9：根据所述题目类型选择对应的评分策略，根据选择的评分策略对所述作答内容进行评分，得到评分结果；所述评分策略由所述题目知识点关系图谱、所述标答知识点关系图谱、所述评分知识点关系图谱以及所述作答知识点关系图谱确定。进一步地，所述评分策略由题目知识点关系图神经网络、标答知识点关系图神经网络、评分知识点关系图神经网络以及作答知识点关系图神经网络确定。

具体地，对学生答卷进行评分时，先要根据学生的作答内容生成该生的作答知识点关系图谱G₃，输入评分结果确定单元得到简答题得分Scr和评分依据说明。评分过程中同时需要输入评分结果确定单元的数据换还包括：评分细则、评分知识点关系图谱G₄、题型T、题型T的概率V以及评分矩阵M_Scr，其中评分矩阵M_Scr是由评分细则生成的稀疏矩阵。

进一步地，将简答题进行分类，不同类型简答题采用不同评分策略。例如，根据题目正确答案的确定性程度，可将试题分为确定性试题、半开放试题和开放性试题。确定性试题只要将学生作答结果G₃和标答知识点关系图G₂进行比对即可。半开放题目和开放性试题需要考虑题干信息，并在评分区域G₄内进行匹配评分。

进一步地，步骤S9中，所述根据所述题目类型选择对应的评分策略，根据选择的评分策略对所述作答内容进行评分，得到评分结果，具体包括：

当所述题目类型为确定性题目时，需要考虑题目和标准答案匹配评分。所述评分策略具体包括：根据所述题目知识点关系图谱和所述标答知识点关系图谱的差集确定给分点，并对所述作答知识点关系图谱进行匹配评分，得到评分结果；所述评分结果包括评分分数和评分依据。此时，第i道题的评分分数Scr的计算公式为：

Scr＝[f_{特征相似度}(G₂-G₁,G₃)]·M_iscr

其中，G₁表示题目知识点关系图谱，G₂表示标答知识点关系图谱，G₃表示作答知识点关系图谱，M_iscr表示包含第i道题的评分标准具体分值的评分矩阵，f_{特征相似度}表示两个图谱间的特征相似度。

当所述题目类型为非确定性题目(半开放和开放性试题)时，需要综合考虑题目和标准答案匹配评分和学科知识区域相关评分的影响，为此用加权机制同时引入基于G₂和G₄两个标准的评分。不同题型的评分策略决定权重α_k的分配。此时，所述评分策略具体包括：

基于加权法，根据所述题目知识点关系图谱与所述标答知识点关系图谱的差集、所述评分知识点关系图谱与所述题目知识点关系图谱的差集所转换成的COO向量矩阵确定得分点，并基于图神经网络对所述作答知识点关系图谱进行匹配评分，得到评分结果。此时，所述评分分数Scr的计算公式为：

Scr＝[α_k·f_{特征相似度}(G₂-G₁,G₃)+(1-α_k)·f_{特征相似度}(G₄-G₁,G₃)]·M_kscr

其中，G₄表示评分知识点关系图谱，α_k＝e^-3V为权重系数，V为题目开放程度概率值，M_kscr为包含第k道题的评分标准具体分值的评分矩阵。

其中，α_k可以依据简答题类型分析模块输出出的题目开放程度概率值V值进行计算，也可以由教师主观给定。V的取值范围在0到1之间，V值越大说明该题的开放程度越高，则学科知识区域G₄在评分时的影响越高，相应的α_k权重值越小。

进一步地，f_{特征相似度}是用空间向量表示的两个图之间的关系，分别对知识点β、知识点关系γ、知识点关系指向θ三个特征进行相似计算。两个向量的距离越小则相似度越高，将欧氏距离使用e^x映射为0至1的相似度。所述特征相似度f_{特征相似度}的计算公式为：

其中，G_i和G_j表示不同的图谱，i和j表示不同图谱的标号，β和γ表示图谱中的不同知识点，θ表示两个知识点之间的关系指向。

如果COO数据中出现的知识点及其关系未出现在评分细则中，则将评分矩阵相应分值位置“0”。

使用上述方法对学生作答内容进行评分时，会逐个计算并记录各个得分点与学生答卷内容的相似度，并将评分的分项相似度与评分细则中的给分点说明一并输出这组信息可以作为该简答题答卷的评分说明，为简答题自动评分提供了可解释性。

如图2所示，本发明一种基于多神经网络与知识图谱的简答题评分系统，包括：学科知识点获取和聚类单元1、知识点关系提取网络模型确定单元2、当前学科知识点及其关系数据集确定单元3、当前学科知识点关系图谱和图神经网络模型生成单元4、题目知识点关系图谱和标答知识点关系图谱确定单元5、评分知识点关系图谱生成单元6、题目类型确定单元7、作答知识点关系图谱确定单元8和评分结果确定单元9。

学科知识点获取和聚类单元1，用于获取原始学科知识点图谱中所有知识点以及知识点之间的关系，整理形成多个初始三元组，作为原始学科知识点关系数据集，并对所述初始三元组中的所有初始知识点关系进行聚类，形成聚类后的知识点及其关系三元组。

知识点关系提取网络模型确定单元2，用于获取目标学科知识语料，搭建神经网络模型，将所述目标学科知识语料作为样本数据，将所述聚类后的知识点及其关系三元组作为标签数据，对所述神经网络模型进行训练，得到知识点关系提取网络模型；该模型主要应用于两个场景，一是从学科语料库抽取出该学科知识点关系数据集，该数据集后续用于生成学科知识点关系图谱。二是用于抽取简答题标答和题干的知识点关系。其网络结构分为输入层、Bert层、GRU层、attention层、全连接层以及softmax层，其具体网络结构如图3所示。

当前学科知识点及其关系数据集确定单元3，用于采用所述知识点关系提取网络模型对所述目标学科知识语料进行知识点关系提取，得到多个目标学科知识点及其关系三元组，并将所述目标学科知识点及其关系三元组补充到所述原始学科知识点关系数据集中，形成当前学科知识点及其关系数据集；由于在学科知识点及其关系数据集中，知识点与知识点之间的关系以三元组<KW_i,R_ij,KW_j>形式存在，需要将三元组形式的知识点关系列表装换成COO数据集生成学科知识点关系图谱。COO数据使用空间向量对进行表示，包含了节点信息、边的索引以及被索引边的属性。其中，知识点会在当前学科知识点及其关系数据集确定单元3中被编码为空间向量的形式，以便更好的扩展节点信息，三元组中的关系R_ij作为边的属性信息，关系的方向作为边索引信息进行存储。

当前学科知识点关系图谱和图神经网络模型生成单元4，用于根据所述当前学科知识点关系数据集生成当前学科知识点关系图谱，将所述当前学科知识点关系图谱转换成COO向量矩阵，根据所述COO向量矩阵得到当前学科知识点关系的图神经网络模型。

题目知识点关系图谱和标答知识点关系图谱确定单元5，用于获取待评分简答题的题目内容和标准答案，采用所述知识点关系提取网络模型分别对所述题目内容和所述标准答案进行知识点关系提取，得到题目知识点关系图谱和标答知识点关系图谱。

评分知识点关系图谱生成单元6，用于计算所述题目知识点关系图谱和所述标答知识点关系图谱的全局空间向量，并对所述当前学科知识关系的图神经网络模型进行局部空间向量提取，得到与所述全局空间向量匹配的相关评分区域，并生成对应的评分知识点关系图谱；其中，计算所述题目知识点关系图谱和所述标答知识点关系图谱的全局空间向量时，根据题目知识点关系图谱生成题目知识点关系图神经网络以及根据标答知识点关系图谱生成标答知识点关系图神经网络，并根据所述题目知识点关系图神经网络以及所述标答知识点关系图神经网络计算得到包含标答知识点关系和题目知识点关系的全局空间向量；作用在于将简答题所考察的知识点映射到学科知识点关系图谱中，使得简答题的评分依据不仅仅只依靠于标准答案，利用学科知识图谱对简答题标答相关联的知识点关系进行补充。因为考虑了知识点的逻辑性和相关性，得到的评分将更加准确客观，尤其是对非确定性的半开放和开放性题目改善更为明显。

题目类型确定单元7，用于基于所述题目内容对所述题目进行分类，确定题目类型以及所述题目内容归属不同题目类型的概率值；所述题目类型包括确定性题目和非确定性题目。对简答题目内容进行分析，并得出被分析简答题的题目类型。该单元会将简答题具体分为确定性题目、半开放性题目、开放性题目三类。其网络共分为输入层、Bert层、两个CNN层、全连接层以及最后的softmax层，其中Bert层对简答题题目原始语料中的词语进行编码，并将生成的词向量传入后面的CNN层，两个CNN层对题目词向量进行两次卷积，提取简答题目的深层次特征，最后通过全连接层得到该题目的分类可能性大小，通过softmax输出该题目归属确定性和非确定性两类题目类型T及其概率值V。

作答知识点关系图谱确定单元8，用于获取学生对所述待评分简答题的作答内容，得到作答知识点关系图谱。

评分结果确定单元9，用于根据所述题目类型选择对应的评分策略，根据选择的评分策略对所述作答内容进行评分，得到评分结果；所述评分策略由所述题目知识点关系图谱、所述标答知识点关系图谱、所述评分知识点关系图谱以及所述作答知识点关系图谱确定。该单元的工作流程如图4所示。

进一步地，所述评分结果确定单元9，具体包括：

确定性题目评分结果确定子单元，用于当所述题目类型为确定性题目时，根据所述题目知识点关系图谱和所述标答知识点关系图谱的差集确定给分点，并对所述作答知识点关系图谱进行匹配评分，得到评分结果；所述评分结果包括评分分数和评分依据。

非确定性题目评分结果确定子单元，用于当所述题目类型为非确定性题目时，基于加权法，根据所述题目知识点关系图谱与所述标答知识点关系图谱的差集、所述评分知识点关系图谱与所述题目知识点关系图谱的差集确定得分点，并对所述作答知识点关系图谱进行匹配评分，得到评分结果。

以下列举具体实施例来对本发明的上述技术方案进行进一步阐述。

以控制学科的《自控原理课程》的简答题自动评分作为实施例。

S101、通过课程原始知识点关系图谱抽取知识点及其之间的关系形成多个三元组<KW_i,R_ij,KW_j>，利用Bert预训练网络将每个三元组中的头知识点KW_i、知识点之间关系R_ij、尾知识点KW_j表示为多维度空间向量，其中KW_i与KW_j有相同维度，而R_ij的维度不一定与知识点KW的维度相同。

S102、以每个三元组中R的空间向量之间的欧式距离作为知识点关系聚类的标准，并选举聚类后距离该类最靠中心位置的知识点之间关系作为新聚类关系R，并将聚类后的三元组作为远程监督的监督数据。

S103、将自控原理的学科语料作为GRU知识点关系提取网络模型的训练数据，使用远程监督的方法提取各知识点及其之间关系，形成多个词袋，再利用S102中的监督数据对词袋标签进行校准。利用训练好的GRU知识点关系提取网络模型抽取自控原理的学科语料的知识点及其之间点关系的三元组，将未出现在S102三元组的关系补充到学科知识点关系数据集中，完成对于原始知识点图谱中知识点及其关系数据的补充和扩展。

S104、将S103得到的知识点及其之间关系数据的三元组形式转化成COO矩阵数据集以构建学科知识点关系图谱，该图谱将作为除简单题标准答案字面描述外的另一个评分依据。

通过上述S101至S104可以建立用于学科(课程)评分的知识点关系图谱，该学科知识点关系图谱不仅仅是本发明简单题自动评分方法必要的一个评分依据，也可以用于其他学科(课程)题目评分的依据。

具体实施例1

以确定性简答题评分为例，实例题目为“衡量一个自动控制系统的性能指标有哪些？”，该题目标答为“衡量自动控制系统性能的基本指标有稳定性、快速性、准确性”，评分细则为“稳定性：2分、准确性：2分、快速性：2分”。某个学生对该题目的作答内容为“衡量系统性能的基本指标包括稳定性、快速性”。

S105、CNN题型分析单元对通过Bert网络编码后的实例题目和标答信息进行卷积，并将卷积后的张量通过全连接网络并最后经过softmax输出，该题目属于确定性题目和开放性题目的概率值分别为76.8％以及23.2％，根据概率值最大的规则判断，该题目属于确定性题目。

S106、使用GRU提取标答和题干中的知识点及其关系的三元组，形式为<系统性能，评价，稳定性>，<系统性能，评价，快速性>，<系统性能，评价，准确性>。

使用GRU提取学生作答内容三元组关系<系统性能，评价，稳定性>，<系统性能，评价，快速性>。

S107、通过知识点关系图谱生成模块将标答和学生作答内容的三元组转化成COO矩阵并利用Bert将知识点以及关系向量化，其中标答COO矩阵A为[[[1],[2],[3],[4]],[[1],[1],[1]],[[1,2],[1,3],[1,4]]]，如图5所示，该实例中作答内容为低维矩阵，故对其使用相同维数0向量进行增补后标答COO矩阵B(如图6所示)为[[1],[2],[3],[0]],[[1],[1],[1]],[[1,2],[1,3],[0,0]]]。

S108、简答题评分模块根据属于的题目类型，即确定性题目使用针对确定性题目的评分策略，即根据标准答案与答卷进行直接评分的权值为1。故计算简答题标答COO矩阵与作答内容COO矩阵后，可计算得出相似度矩阵中只有评分点“准确性”二者的距离不为0，相似度与评分稀疏矩阵相乘后，可以计算出该作答内容评分为4分。进一步地，该学生输出评分依据解释为“稳定性：2分、准确性：0分、快速性：2分”。

具体实施例2

当测试题目是开放性题目时，相较于确定性题目评分，开放性题目标准答案所涉及的知识点关键词不能覆盖所有合理答案的可能性，还需要进一步考虑学科知识点图谱中映射出评分区域Q，根据由Q得到的知识点关系图谱G₄与作答知识点关系图谱G₃进行补充评分。由于开放性题目一般涉及知识点较多，同时可能存在知识之间跨度较大的情况，故GCN可能会映射出多个评分区域Q₁，Q₂，…，Q_m。

以开放性简答题评分为例，实例题目为“除了基本的开环和闭环控制，请阐述两种常见的实用控制方法及其各自特点？(请以“；”分割不同控制方法)”，该题目标答为“包括PID控制、串级控制、预测控制、神经网络控制等，回答正确两种即给满分。”，评分细则为“控制方法：1分、特点：2分，控制方法等于或多于两种即给满分6分”。某个学生对该题目的作答内容为“PID控制：结构简单，易于实现；神经网络控制：具有高度的非线性逼近映射能力，可解决复杂的非线性系统控制问题，不具备可解释性。”

S105、通过CNN题型分析单元得到题目为确定性和开放性题目的概率分别为17.4％和82.6％，根据概率值最大的规则判断，该题目属于开放性题目，并根据计算出α_k的权重约为0.08(结果保留两位小数)。

S106、使用GRU抽取标答和题干中的知识点及其关系的三元组，形式为<PID，特性，0>，<串级控制，特性，0><预测控制，特性，0><神经网络控制，特性，0>。

使用GRU抽取学生作答内容三元组关系<PID，特性，结构简单>，<PID,特性，易于实现><神经网络控制，特性，非线性逼近映射能力>，<神经网络控制，特性，复杂的非线性系统控制><神经网络控制，特性，不具备可解释性>。

S107、将GRU抽取标答和题目中的知识点及其关系的三元组转化成COO数据并计算映射出学科知识图谱中以PID控制方法为核心的评分区域Q₁、以神经网络控制方法为核心的评分区域Q₂和以模糊控制方法为核心的评分区域Q₃，其中Q₃由学科知识图谱补充得到。

抽取Q₁，Q₂，Q₃评分区域中关系为R_ij＝“特性”的知识点及其关系三元组，将抽取后的三元组作为对标答三元组的补充，形式如下<PID，特性，结构简单>，<PID，特性，鲁棒性强>，<神经网络控制，特性，强耦合>，<神经网络控制，特性，非线性强>，<神经网络控制，特性，可解释性差>等，最后将三元组转换成COO数据矩阵形式G₄与实施例1中图5和图6的COO数据矩阵相似。

S108、评分结果确定单元根据属于的题目类型，即开放性题目使用针对开放性题目的评分策略。评分依据标答所分配权值为0.08，依据学科知识图谱所分配权值为0.92。

计算标答COO矩阵与作答内容COO矩阵得到的分数，<PID，特性，结构简单>为1分，<神经网络控制，特性，非线性强>,<神经网络控制，特性，不可解释>为0分；再计算评分区域Q的COO矩阵与作答内容COO矩阵得到的分数，<PID，特性，结构简单>为3分，<神经网络控制，特性，非线性强>，<神经网络控制，特性，不可解释>为3分。最后将两者得到的分数按照权重值0.08和0.92进行加权，则该学生B得分为5.6分，若进行四舍五入运算取整，结果整数则为6分，得到的自动评分结果与人工阅卷的6分基本一致。

本发明的技术效果：

1)本发明通过GRU神经网络抽取学科语料库与已有知识点图谱共同建立学科知识点关系图谱，作为简答题评分的一个补充依据。不是用简答题作答内容直接匹配标答中的关键词，而是先抽取知识点与其之间关系再扩展成为空间向量的形式，用知识点向量与关系向量的相似度作为评分依据。

2)为了解决标准答案匹配评分办法在解决半开放和开放性问题时的局限，本发明将简答题所考查的知识点以及作答内容映射到学科知识图谱中，得到一个评分区域，以该区域内知识点及其关系作为标准答案评分的补充依据。同时为了使评分策略更加客观，根据简答题题型不同分别制定了不同的评分策略，综合考虑了题目类型、标答评分点匹配和相关学科知识的内在逻辑关系等因素，使得评分结果更真实和准确。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种基于多神经网络与知识图谱的简答题评分方法，其特征在于，所述方法包括：

获取原始学科知识点图谱中所有知识点以及知识点之间的关系，整理形成多个初始三元组，作为原始学科知识点关系数据集，并对所述初始三元组中的所有初始知识点关系进行聚类，形成聚类后的知识点及其关系三元组；

获取目标学科知识语料，搭建神经网络模型，将所述目标学科知识语料作为样本数据，将所述聚类后的知识点及其关系三元组作为标签数据，对所述神经网络模型进行训练，得到知识点关系提取网络模型；

采用所述知识点关系提取网络模型对所述目标学科知识语料进行知识点关系提取，得到多个目标学科知识点及其关系三元组，并将所述目标学科知识点及其关系三元组补充到所述原始学科知识点关系数据集中，形成当前学科知识点及其关系数据集；

根据所述当前学科知识点关系数据集生成当前学科知识点关系图谱，并将所述当前学科知识点关系图谱转换成COO向量矩阵，根据所述COO向量矩阵得到当前学科知识点关系的图神经网络模型；

获取待评分简答题的题目内容和标准答案，采用所述知识点关系提取网络模型分别对所述题目内容和所述标准答案进行知识点关系提取，得到题目知识点关系图谱和标答知识点关系图谱；

计算所述题目知识点关系图谱和所述标答知识点关系图谱的全局空间向量，并对所述当前学科知识关系的图神经网络模型进行局部空间向量提取，得到与所述全局空间向量匹配的相关评分区域，并生成对应的评分知识点关系图谱；其中，计算所述题目知识点关系图谱和所述标答知识点关系图谱的全局空间向量时，根据题目知识点关系图谱生成题目知识点关系图神经网络以及根据标答知识点关系图谱生成标答知识点关系图神经网络，并根据所述题目知识点关系图神经网络以及所述标答知识点关系图神经网络计算得到包含标答知识点关系和题目知识点关系的全局空间向量；

基于所述题目内容对所述题目进行分类，确定题目类型以及所述题目内容归属不同题目类型的概率值；所述题目类型包括确定性题目和非确定性题目；

获取学生对所述待评分简答题的作答内容，得到作答知识点关系图谱；

根据所述题目类型选择对应的评分策略，根据选择的评分策略对所述作答内容进行评分，得到评分结果；所述评分策略由所述题目知识点关系图谱、所述标答知识点关系图谱、所述评分知识点关系图谱以及所述作答知识点关系图谱确定。

2.根据权利要求1所述的基于多神经网络与知识图谱的简答题评分方法，其特征在于，所述根据所述题目类型选择对应的评分策略，根据选择的评分策略对所述作答内容进行评分，得到评分结果，具体包括：

当所述题目类型为确定性题目时，所述评分策略具体包括：根据所述题目知识点关系图谱和所述标答知识点关系图谱的差集确定给分点，并对所述作答知识点关系图谱进行匹配评分，得到评分结果；所述评分结果包括评分分数和评分依据；

当所述题目类型为非确定性题目时，所述评分策略具体包括：根据所述题目知识点关系图谱与所述标答知识点关系图谱的差集、所述评分知识点关系图谱与所述题目知识点关系图谱的差集确定得分点，并对所述作答知识点关系图谱进行匹配评分，得到评分结果。

3.根据权利要求2所述的基于多神经网络与知识图谱的简答题评分方法，其特征在于，当所述题目类型为确定性题目时，所述评分分数Scr的计算公式为：

Scr＝[f_{特征相似度}(G₂-G₁,G₃)]·M_iscr

其中，G₁表示题目知识点关系图谱，G₂表示标答知识点关系图谱，G₃表示作答知识点关系图谱，M_iscr表示包含第i道题的评分标准具体分值的评分矩阵，f_{特征相似度}表示两个图谱间的特征相似度；

当所述题目类型为非确定性题目时，所述评分分数Scr的计算公式为：

Scr＝[α_k·f_{特征相似度}(G₂-G₁,G₃)+(1-α_k)·f_{特征相似度}(G₄-G₁,G₃)]·M_kscr

其中，G₄表示评分知识点关系图谱，α_k＝e^-3V为权重系数，V为题目开放程度概率值，M_kscr为包含第K道题的评分标准具体分值的评分矩阵。

4.根据权利要求3所述的基于多神经网络与知识图谱的简答题评分方法，其特征在于，所述特征相似度f_{特征相似度}的计算公式为：

其中，G_i和G_j表示不同的图谱，i和j表示不同图谱的标号，β和γ表示图谱中的不同知识点，θ表示两个知识点之间的关系指向。

5.一种基于多神经网络与知识图谱的简答题评分系统，其特征在于，所述系统包括：

学科知识点获取和聚类单元，用于获取原始学科知识点图谱中所有知识点以及知识点之间的关系，整理形成多个初始三元组，作为原始学科知识点关系数据集，并对所述初始三元组中的所有初始知识点关系进行聚类，形成聚类后的知识点及其关系三元组；

知识点关系提取网络模型确定单元，用于获取目标学科知识语料，搭建神经网络模型，将所述目标学科知识语料作为样本数据，将所述聚类后的知识点及其关系三元组作为标签数据，对所述神经网络模型进行训练，得到知识点关系提取网络模型；

当前学科知识点及其关系数据集确定单元，用于采用所述知识点关系提取网络模型对所述目标学科知识语料进行知识点关系提取，得到多个目标学科知识点及其关系三元组，并将所述目标学科知识点及其关系三元组补充到所述原始学科知识点关系数据集中，形成当前学科知识点及其关系数据集；

当前学科知识点关系图谱和图神经网络模型生成单元，用于根据所述当前学科知识点关系数据集生成当前学科知识点关系图谱，将所述当前学科知识点关系图谱转换成COO向量矩阵，根据所述COO向量矩阵得到当前学科知识点关系的图神经网络模型；

题目知识点关系图谱和标答知识点关系图谱确定单元，用于获取待评分简答题的题目内容和标准答案，采用所述知识点关系提取网络模型分别对所述题目内容和所述标准答案进行知识点关系提取，得到题目知识点关系图谱和标答知识点关系图谱；

评分知识点关系图谱生成单元，用于计算所述题目知识点关系图谱和所述标答知识点关系图谱的全局空间向量，并对所述当前学科知识关系的图神经网络模型进行局部空间向量提取，得到与所述全局空间向量匹配的相关评分区域，并生成对应的评分知识点关系图谱；其中，计算所述题目知识点关系图谱和所述标答知识点关系图谱的全局空间向量时，根据题目知识点关系图谱生成题目知识点关系图神经网络以及根据标答知识点关系图谱生成标答知识点关系图神经网络，并根据所述题目知识点关系图神经网络以及所述标答知识点关系图神经网络计算得到包含标答知识点关系和题目知识点关系的全局空间向量；

题目类型确定单元，用于基于所述题目内容对所述题目进行分类，确定题目类型以及所述题目内容归属不同题目类型的概率值；所述题目类型包括确定性题目和非确定性题目；

作答知识点关系图谱确定单元，用于获取学生对所述待评分简答题的作答内容，得到作答知识点关系图谱；

评分结果确定单元，用于根据所述题目类型选择对应的评分策略，根据选择的评分策略对所述作答内容进行评分，得到评分结果；所述评分策略由所述题目知识点关系图谱、所述标答知识点关系图谱、所述评分知识点关系图谱以及所述作答知识点关系图谱确定。

6.根据权利要求5所述的基于多神经网络与知识图谱的简答题评分系统，其特征在于，所述评分结果确定单元，具体包括：

确定性题目评分结果确定子单元，用于当所述题目类型为确定性题目时，根据所述题目知识点关系图谱和所述标答知识点关系图谱的差集确定给分点，并对所述作答知识点关系图谱进行匹配评分，得到评分结果；所述评分结果包括评分分数和评分依据；

非确定性题目评分结果确定子单元，用于当所述题目类型为非确定性题目时，基于加权法，根据所述题目知识点关系图谱与所述标答知识点关系图谱的差集、所述评分知识点关系图谱与所述题目知识点关系图谱的差集确定得分点，并对所述作答知识点关系图谱进行匹配评分，得到评分结果。

Images