CN116029306A - 一种限定域文科简答题自动评分方法 - Google Patents
一种限定域文科简答题自动评分方法 Download PDFInfo
- Publication number
- CN116029306A CN116029306A CN202310322691.6A CN202310322691A CN116029306A CN 116029306 A CN116029306 A CN 116029306A CN 202310322691 A CN202310322691 A CN 202310322691A CN 116029306 A CN116029306 A CN 116029306A
- Authority
- CN
- China
- Prior art keywords
- knowledge
- similarity
- entity
- graph
- text
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013077 scoring method Methods 0.000 title claims abstract description 7
- 238000004458 analytical method Methods 0.000 claims abstract description 30
- 238000000034 method Methods 0.000 claims abstract description 29
- 230000015654 memory Effects 0.000 claims abstract description 18
- 238000013441 quality evaluation Methods 0.000 claims abstract description 5
- 230000004927 fusion Effects 0.000 claims abstract description 4
- 239000013598 vector Substances 0.000 claims description 37
- 238000012545 processing Methods 0.000 claims description 11
- 238000012937 correction Methods 0.000 claims description 10
- 230000007246 mechanism Effects 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 abstract description 8
- 238000013528 artificial neural network Methods 0.000 abstract description 4
- 238000013507 mapping Methods 0.000 description 25
- 238000005065 mining Methods 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 238000010276 construction Methods 0.000 description 6
- 238000011160 research Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 235000019580 granularity Nutrition 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000001788 irregular Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Machine Translation (AREA)
Abstract
本发明提出了一种限定域文科简答题自动评分方法，涉及答题自动评分领域。包括基于知识图谱的文本相似度计算，建立文科专业的语料库，收集文科专业相关知识点；根据实体关系提取多元组，对多元组进行知识融合，将其存入知识库的模式层和数据层；对所有多元组进行质量评估，将不合格的多元组剔除，确定最终的知识图谱；基于知识图谱的同义概念链接，利用双向长短期记忆网络对实体关系提及语境进行语义依存分析，利用图卷积神经网络构建语义依存图；采用图注意网络计算实体与各个候选实体之间的语义相似度，选择相似度最高的实体关系作为实体链接的结果。解决了语义理解、句子结构特征分析、考生答题内容完整性与逻辑性评估难的问题。
Description
技术领域
本发明涉及答题自动评分领域，具体而言，涉及一种限定域文科简答题自动评分方法。
背景技术
在限定域文科简答题进行评分时，由于语言表达的多样性导致语义理解难、句子结构特征分析难、考生答题内容完整性与逻辑性评估难等科学问题。因此，目前需要一种限定域文科简答题自动评分方法以解决上述问题。
发明内容
本发明的目的在于提供一种限定域文科简答题自动评分方法，其能够攻克基于知识图谱与多层级语义模型的学生答案语义相似度评估、基于依存句法分析的得分点文本匹配、基于自然语言推理的考生答案与标答之间的文本逻辑一致性判定等关键技术的难点，在限定域文科简答题进行评分时，解决了由于语言表达的多样性导致语义理解难、句子结构特征分析难、考生答题内容完整性与逻辑性评估难等科学问题。
本发明的实施例是这样实现的：
本申请实施例提供一种限定域文科简答题自动评分方法，其包括如下步骤，S1基于知识图谱的文本相似度计算，S1-1文科知识图谱构建，建立一个文科专业的语料库，收集文科专业相关知识点；从中根据实体关系提取多元组，对多元组进行知识融合，并将其存入知识库的模式层和数据层；对所有多元组进行质量评估，将质量不合格的多元组剔除后，确定最终形成的知识图谱；S1-2基于知识图谱的同义概念链接，利用双向长短期记忆网络对实体关系提及语境进行语义依存分析，进而利用图卷积神经网络构建语义依存图；采用图注意网络计算实体与各个候选实体之间的语义相似度，选择相似度最高的实体关系作为实体链接的结果；S1-3基于知识图谱语义向量的生成，S1-3-1通过知识点编号将上述语料库以知识点为单位进行数据分类，获得每个知识点的历史记录；将历史记录中出现的词语，加入该知识点的第一个关键词集合X；S1-3-2根据集合X中的词语，在知识图谱中匹配与之直接相联的实体词，将匹配到的实体词加入该知识点的第二个关键词集合Y；S1-3-3将集合X与集合Y合并，得到用户的第三个关键词集合Z；S1-3-4，分别使用知识点关键词集合X、Y和Z中的词语，从训练好的词向量模型中获取该词语的词向量，并求得知识点对应关键词集合的平均词向量VX、VY和VZ作为知识点的关键词向量；S1-4基于知识图谱的文本相似度计算，首先处理知识图谱中的初始数据，把整段文字分成多个词组，并且在此过程中剔除不同词性的词组，将得到的词组构成特征向量的长度，提取的特征作为各类型属性值的相似度；S2答题得分点映射模式挖掘，S2-1基于知识图谱的文本纠错，使用基于知识图谱的常识纠错模型，上述常识纠错模型包括抽取文本知识和相似度匹配两个步骤；S2-2基于句法分析的短语结构特征匹配，采用自顶向下法对短语结构分析，具体根据规则库中的规则对整个句子进行短语结构分析；S2-3基于知识图谱文本表示的多维文本映射，将步骤S1中提取到的特征处理成标准的输入模式后输入到BERT模型，后进行训练；S3主观简答题多级评分机制研究，S3-1采用基于深度学习的长难句压缩模型提取语句重要信息，模型在长短期记忆网络LSTM的基础上建立，输入为对原句进行预处理后得到的词向量和词性向量，输出为压缩句；S3-2句子级文本语义逻辑推理，引入Attention机制以获取句子的局部特征，并对得到的特征计算概率分布；S3-3主观简答题多维评分，以文本相似度g1、语义相似度g2和关键词相似度g3三个维度，对学生主观简答题进行评分。
在本发明的一些实施例中，上述步骤S2-1中，上述抽取文本知识借助CNN-Attention模型完成，包括对头实体s进行抽取，利用抽取的头实体s预测尾实体o和关系p，组成三元组(s,o,p)；上述相似度匹配包括将抽取的三元组与现有知识库进行匹配，验证是否具有常识性错误。
在本发明的一些实施例中，上述步骤S2-2具体包括如下内容，首先查看顶层结构的规则，然后分析顶层结构的子结构规则，重复这两步直到输入句子的结构被建立起来为止；如果该句子与输入数据相匹配，分析便结束，如果不匹配，便重新从顶层开始分析，生成另外一种句子结构，直到这个句子结构与输入数据相匹配后，得到一个完整的句法树。
在本发明的一些实施例中，上述步骤S2-3中，以模型输出的隐藏向量作为分类标准，并利用全连接层作为分类器，输出一个C维的向量，第i个维度表示输入被分为第i个类别的概率。
在本发明的一些实施例中，上述步骤S3-1中，词性编解码器采用双向LSTM结构，单词解码器部分在原本的三层LSTM中最后一层加入语法门控；将词性序列编解码产生的输出作为模型额外输入。
在本发明的一些实施例中，上述步骤S3-3中，以文本相似度、语义相似度和关键词相似度三个相似度均基于学生回答与参考答案，数值介于0-1之间。
在本发明的一些实施例中，上述步骤S3-3中，当文本相似度、语义相似度和关键词相似度中的任意一个大于预设阈值时，该简答题得到满分，其他情况则取三者中的最大值乘以满分得到结果。
相对于现有技术，本发明的实施例至少具有如下优点或有益效果：
本申请中，步骤S1基于知识图谱的文本相似度计算，面对文科学科专业术语多、同义概念表达多样等问题，攻克基于知识图谱的语义相似度计算存在同义概念匹配错误等难点，重点研究了：1）文科知识图谱构建；2）基于知识图谱的同义概念链接；3）基于知识图谱的语义向量生成；4）基于知识图谱的文本相似度计算。构建文科知识图谱和同义概念映射，挖掘深层语义向量表示，并融合多层文本特征进行相似度计算。步骤S2答题得分点映射模式挖掘，针对答题答案中存在的用词不规范、文本错误等问题，攻克文本映射模式挖掘中存在的浅层文本特征难以匹配等难点，重点研究了：1) 基于知识图谱的文本纠错；2) 基于句法分析的短语结构特征匹配；3）基于知识图谱文本表示的多维文本映射。利用答题语句依存语法树结构挖掘隐式映射关系；采用基于知识图谱的文本相似度计算方法挖掘短语级得分点与篇章级答题间多维映射模式。步骤S3主观简答题多级评分机制研究，面向主观简答题中存在用词随意、文本逻辑混乱、语义逻辑发散等问题，攻克篇章级主观简答题评分的答题答案与给定例文间词语语义分布差异性大、语义相关性弱等难点，重点研究：1）采用基于深度学习的长难句压缩模型提取语句重要信息；2）句子级文本语义逻辑推理；3）主观简答题多维评分。利用深度神经网络抽取样文主题；采用自然语言推理技术判定语义逻辑关系；实现答题得分点映射模式挖掘，基于知识图谱的文本相似度计算其多级语义相关性。本发明能够攻克基于知识图谱与多层级语义模型的学生答案语义相似度评估、基于依存句法分析的得分点文本匹配、基于自然语言推理的考生答案与标答之间的文本逻辑一致性判定等关键技术的难点，在限定域文科简答题进行评分时，解决由于语言表达的多样性导致语义理解难、句子结构特征分析难、考生答题内容完整性与逻辑性评估难等科学问题。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例1限定域文科简答题自动评分方法的原理图；
图2为本发明实施例1限定域文科简答题自动评分方法的流程图；
图3为本发明实施例1中知识图谱构建的流程图；
图4为本发明实施例2电子设备的原理示意图。
实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
实施例1
请参阅图1～图3，图1～图3所示为本申请实施例提供的限定域文科简答题自动评分方法的示意图。限定域文科简答题自动评分方法，其包括如下步骤，S1基于知识图谱的文本相似度计算，S1-1文科知识图谱构建，建立一个文科专业的语料库，收集文科专业相关知识点；从中根据实体关系提取多元组，对多元组进行知识融合，并将其存入知识库的模式层和数据层；对所有多元组进行质量评估，将质量不合格的多元组剔除后，确定最终形成的知识图谱；S1-2基于知识图谱的同义概念链接，利用双向长短期记忆网络对实体关系提及语境进行语义依存分析，进而利用图卷积神经网络构建语义依存图；采用图注意网络计算实体与各个候选实体之间的语义相似度，选择相似度最高的实体关系作为实体链接的结果；S1-3基于知识图谱语义向量的生成，S1-3-1通过知识点编号将上述语料库以知识点为单位进行数据分类，获得每个知识点的历史记录；将历史记录中出现的词语，加入该知识点的第一个关键词集合X；S1-3-2根据集合X中的词语，在知识图谱中匹配与之直接相联的实体词，将匹配到的实体词加入该知识点的第二个关键词集合Y；S1-3-3将集合X与集合Y合并，得到用户的第三个关键词集合Z；S1-3-4，分别使用知识点关键词集合X、Y和Z中的词语，从训练好的词向量模型中获取该词语的词向量，并求得知识点对应关键词集合的平均词向量VX、VY和VZ作为知识点的关键词向量；S1-4基于知识图谱的文本相似度计算，首先处理知识图谱中的初始数据，把整段文字分成多个词组，并且在此过程中剔除不同词性的词组，将得到的词组构成特征向量的长度，提取的特征作为各类型属性值的相似度；S2答题得分点映射模式挖掘，S2-1基于知识图谱的文本纠错，使用基于知识图谱的常识纠错模型，上述常识纠错模型包括抽取文本知识和相似度匹配两个步骤；S2-2基于句法分析的短语结构特征匹配，采用自顶向下法对短语结构分析，具体根据规则库中的规则对整个句子进行短语结构分析；S2-3基于知识图谱文本表示的多维文本映射，将步骤S1中提取到的特征处理成标准的输入模式后输入到BERT模型，后进行训练；S3主观简答题多级评分机制研究，S3-1采用基于深度学习的长难句压缩模型提取语句重要信息，模型在长短期记忆网络LSTM的基础上建立，输入为对原句进行预处理后得到的词向量和词性向量，输出为压缩句；S3-2句子级文本语义逻辑推理，引入Attention机制以获取句子的局部特征，并对得到的特征计算概率分布；S3-3主观简答题多维评分，以文本相似度g1、语义相似度g2和关键词相似度g3三个维度，对学生主观简答题进行评分。
本申请中，步骤S1基于知识图谱的文本相似度计算，面对文科学科专业术语多、同义概念表达多样等问题，攻克基于知识图谱的语义相似度计算存在同义概念匹配错误等难点，重点研究了：1）文科知识图谱构建；2）基于知识图谱的同义概念链接；3）基于知识图谱的语义向量生成；4）基于知识图谱的文本相似度计算。构建文科知识图谱和同义概念映射，挖掘深层语义向量表示，并融合多层文本特征进行相似度计算。步骤S2答题得分点映射模式挖掘，针对答题答案中存在的用词不规范、文本错误等问题，攻克文本映射模式挖掘中存在的浅层文本特征难以匹配等难点，重点研究了：1) 基于知识图谱的文本纠错；2) 基于句法分析的短语结构特征匹配；3）基于知识图谱文本表示的多维文本映射。利用答题语句依存语法树结构挖掘隐式映射关系；采用基于知识图谱的文本相似度计算方法挖掘短语级得分点与篇章级答题间多维映射模式。步骤S3主观简答题多级评分机制研究，面向主观简答题中存在用词随意、文本逻辑混乱、语义逻辑发散等问题，攻克篇章级主观简答题评分的答题答案与给定例文间词语语义分布差异性大、语义相关性弱等难点，重点研究：1）采用基于深度学习的长难句压缩模型提取语句重要信息；2）句子级文本语义逻辑推理；3）主观简答题多维评分。利用深度神经网络抽取样文主题；采用自然语言推理技术判定语义逻辑关系；实现答题得分点映射模式挖掘，基于知识图谱的文本相似度计算其多级语义相关性。本发明能够攻克基于知识图谱与多层级语义模型的学生答案语义相似度评估、基于依存句法分析的得分点文本匹配、基于自然语言推理的考生答案与标答之间的文本逻辑一致性判定等关键技术的难点，在限定域文科简答题进行评分时，解决由于语言表达的多样性导致语义理解难、句子结构特征分析难、考生答题内容完整性与逻辑性评估难等科学问题。
文科知识图谱构建通常包括知识获取、知识提取、知识表示、实体对齐、知识模型构建、知识推理和质量评估；上述知识获取用于收集原始知识数据源建立文科专业语料库；上述知识提取用于根据上述文科专业语料库的实体关系提取多元组数据；上述知识表示用于根据上述多元组数据进行数据挖掘；上述实体对齐用于对挖掘后的数据进行整合校正；上述知识模型构建用于将多元组数据进行知识融合，并将其存入模式层和数据层，得到文科知识训练模型；上述知识推理用于根据上述文科知识训练模型的训练结果进行知识推理；上述质量评估根据上述知识推理结果评估上述文科知识训练模型的质量，将不合格的上述多元组数据筛除后，形成最终知识图谱。可选的，上述多元组为三元组。
步骤S1-4中，首先处理知识图谱中的初始数据，把整段文字分成多个词组，在此过程中剔除不同词性的词组，然后得到最大化存储的词组构成了特征向量的长度，最后将提取的特征作为各类型属性值的相似度。
在计算文本相似度时，构建合适的知识图谱对结果的准确与否起着决定性作用。通过收集数据集构建知识图谱之后，之后的步骤都依赖于步骤S1构建好的知识图谱。
步骤S3-2中，为了减小高维输入数据带来的计算资源损耗，引入Attention机制以获取句子的局部特征，并对得到的特征计算概率分布，可以提高推理结果的准确性。可选的，然后在不同层次句子建模过程中运用不同的交互策略，利用不同层次和不同粒度之间的信息交互获取丰富的语义信息，使得句子与上下文之间的关系快速被连接起来，极大的缩短了不同粒度特征间的距离。
在本发明的一些实施例中，上述步骤S2-1中，上述抽取文本知识借助CNN-Attention模型完成，包括对头实体s进行抽取，利用抽取的头实体s预测尾实体o和关系p，组成三元组(s,o,p)；上述相似度匹配包括将抽取的三元组与现有知识库进行匹配，验证是否具有常识性错误。
在本发明的一些实施例中，上述步骤S2-2具体包括如下内容，首先查看顶层结构的规则，然后分析顶层结构的子结构规则，重复这两步直到输入句子的结构被建立起来为止；如果该句子与输入数据相匹配，分析便结束，如果不匹配，便重新从顶层开始分析，生成另外一种句子结构，直到这个句子结构与输入数据相匹配后，得到一个完整的句法树。
在本发明的一些实施例中，上述步骤S2-3中，以模型输出的隐藏向量作为分类标准，并利用全连接层作为分类器，输出一个C维的向量，第i个维度表示输入被分为第i个类别的概率。
步骤S2对短语结构进行句法分析后，能优化文本分类的结果，对解决文本信息过载起着关键性的作用。
在本发明的一些实施例中，上述步骤S3-1中，词性编解码器采用双向LSTM结构，单词解码器部分在原本的三层LSTM中最后一层加入语法门控；将词性序列编解码产生的输出作为模型额外输入。
对于词性序列而言，由于词性编解码器采用了双向LSTM结构，故可以精准的捕捉词性序列的特征；但对于单词序列而言，其结构没有此行序列规则，直接编解码得到的结果较差，所以将此行序列编解码产生的输出作为其额外输入，以此更准确的得到语句中的重要信息。
在本发明的一些实施例中，上述步骤S3-3中，以文本相似度、语义相似度和关键词相似度三个相似度均基于学生回答与参考答案，数值介于0-1之间。
在本发明的一些实施例中，上述步骤S3-3中，当文本相似度、语义相似度和关键词相似度中的任意一个大于预设阈值时，该简答题得到满分，其他情况则取三者中的最大值乘以满分得到结果。可选的，上述预设阈值为0.9。
步骤S3主观题的评分依赖于将学生回答以及参考答案中的长难句进行压缩，压缩得到的结果更准确，学生回答与参考答案之间的相似度更精准，从而得到更合理的评分。
本发明解决了文科简答题语义分析及逻辑判定模型构建及同义概念在不同粒度下的挖掘匹配。实现了学科知识图谱的知识表示，在大语料库下的词性标注和主观简答题多维评分。针对难以得到可靠的知识向量化表示的问题，采用在复矢量空间中的知识表示学习方法，构建高质量的知识向量化表示，采用自对抗负采样技术。针对答题答案与得分点间的文本映射难等问题，基于隐式马尔可夫模型实现词性标注，采用依存关系解析句法结构构建答题答案与得分点间的文本映射。针对主观简答题中文本逻辑混乱、语义逻辑发散等问题，采用基于自然语言推理的语义逻辑判定方法，构建样文与答案间的隐式映射关系，实现对简答题的多维评分。
实施例2
请参阅图4，图4为本申请实施例提供的电子设备的一种示意性结构框图。电子设备包括存储器101、处理器102和通信接口103，该存储器101、处理器102和通信接口103相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器101可用于存储软件程序及模块，如本申请实施例所提供的实现限定域文科简答题自动评分方法对应的程序指令/模块，处理器102通过执行存储在存储器101内的软件程序及模块，从而执行各种功能应用以及数据处理。该通信接口103可用于与其他节点设备进行信令或数据的通信。
其中，存储器101可以是但不限于，随机存取存储器（Random Access Memory，RAM），只读存储器（Read Only Memory，ROM），可编程只读存储器（Programmable Read-OnlyMemory，PROM），可擦除只读存储器（Erasable Programmable Read-Only Memory，EPROM），电可擦除只读存储器（Electric Erasable Programmable Read-Only Memory，EEPROM）等。
处理器102可以是一种集成电路芯片，具有信号处理能力。该处理器102可以是通用处理器，包括中央处理器（Central Processing Unit，CPU）、网络处理器（NetworkProcessor，NP）等；还可以是数字信号处理器（Digital Signal Processing，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field－Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，上述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
上述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
综上，本申请实施例提供的一种限定域文科简答题自动评分方法：本申请中，步骤S1基于知识图谱的文本相似度计算，面对文科学科专业术语多、同义概念表达多样等问题，攻克基于知识图谱的语义相似度计算存在同义概念匹配错误等难点，重点研究了：1）文科知识图谱构建；2）基于知识图谱的同义概念链接；3）基于知识图谱的语义向量生成；4）基于知识图谱的文本相似度计算。构建文科知识图谱和同义概念映射，挖掘深层语义向量表示，并融合多层文本特征进行相似度计算。步骤S2答题得分点映射模式挖掘，针对答题答案中存在的用词不规范、文本错误等问题，攻克文本映射模式挖掘中存在的浅层文本特征难以匹配等难点，重点研究了：1) 基于知识图谱的文本纠错；2) 基于句法分析的短语结构特征匹配；3）基于知识图谱文本表示的多维文本映射。利用答题语句依存语法树结构挖掘隐式映射关系；采用基于知识图谱的文本相似度计算方法挖掘短语级得分点与篇章级答题间多维映射模式。步骤S3主观简答题多级评分机制研究，面向主观简答题中存在用词随意、文本逻辑混乱、语义逻辑发散等问题，攻克篇章级主观简答题评分的答题答案与给定例文间词语语义分布差异性大、语义相关性弱等难点，重点研究：1）采用基于深度学习的长难句压缩模型提取语句重要信息；2）句子级文本语义逻辑推理；3）主观简答题多维评分。利用深度神经网络抽取样文主题；采用自然语言推理技术判定语义逻辑关系；实现答题得分点映射模式挖掘，基于知识图谱的文本相似度计算其多级语义相关性。本发明能够攻克基于知识图谱与多层级语义模型的学生答案语义相似度评估、基于依存句法分析的得分点文本匹配、基于自然语言推理的考生答案与标答之间的文本逻辑一致性判定等关键技术的难点，在限定域文科简答题进行评分时，解决由于语言表达的多样性导致语义理解难、句子结构特征分析难、考生答题内容完整性与逻辑性评估难等科学问题。
以上上述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (7)
1.一种限定域文科简答题自动评分方法，其特征在于，包括如下步骤，
S1-1建立一个文科专业的语料库，收集文科专业相关知识点；从中根据实体关系提取多元组，对多元组进行知识融合，并将其存入知识库的模式层和数据层；对所有多元组进行质量评估，将质量不合格的多元组剔除后，确定最终形成的知识图谱；
S1-2利用双向长短期记忆网络对实体关系提及语境进行语义依存分析，进而利用图卷积神经网络构建语义依存图；采用图注意网络计算实体与各个候选实体之间的语义相似度，选择相似度最高的实体关系作为实体链接的结果；
S1-3-1通过知识点编号将所述语料库以知识点为单位进行数据分类，获得每个知识点的历史记录；将历史记录中出现的词语，加入该知识点的第一个关键词集合X；
S1-3-2根据集合X中的词语，在知识图谱中匹配与之直接相联的实体词，将匹配到的实体词加入该知识点的第二个关键词集合Y；
S1-3-3将集合X与集合Y合并，得到用户的第三个关键词集合Z；
S1-3-4分别使用知识点关键词集合X、Y和Z中的词语，从训练好的词向量模型中获取该词语的词向量，并求得知识点对应关键词集合的平均词向量VX、VY和VZ作为知识点的关键词向量；
S1-4首先处理知识图谱中的初始数据，把整段文字分成多个词组，并且在此过程中剔除不同词性的词组，将得到的词组构成特征向量的长度，提取的特征作为各类型属性值的相似度；
S2-1使用基于知识图谱的常识纠错模型，所述常识纠错模型包括抽取文本知识和相似度匹配两个步骤；
S2-2采用自顶向下法对短语结构分析，具体根据规则库中的规则对整个句子进行短语结构分析；
S2-3将步骤S1中提取到的特征处理成标准的输入模式后输入到BERT模型，然后进行训练；
S3-1模型在长短期记忆网络LSTM的基础上建立，输入为对原句进行预处理后得到的词向量和词性向量，输出为压缩句；
S3-2引入Attention机制以获取句子的局部特征，并对得到的特征计算概率分布；
S3-3以文本相似度g1、语义相似度g2和关键词相似度g3三个维度，对学生主观简答题进行评分。
2.如权利要求1所述的一种限定域文科简答题自动评分方法，其特征在于，步骤S2-1中，所述抽取文本知识借助CNN-Attention模型完成，包括对头实体s进行抽取，利用抽取的头实体s预测尾实体o和关系p，组成三元组(s,o,p)；所述相似度匹配包括将抽取的三元组与现有知识库进行匹配，验证是否具有常识性错误。
3.如权利要求1所述的一种限定域文科简答题自动评分方法，其特征在于，步骤S2-2具体包括如下内容，首先查看顶层结构的规则，然后分析顶层结构的子结构规则，重复这两步直到输入句子的结构被建立起来为止；如果该句子与输入数据相匹配，分析便结束，如果不匹配，便重新从顶层开始分析，生成另外一种句子结构，直到这个句子结构与输入数据相匹配后，得到一个完整的句法树。
4.如权利要求1所述的一种限定域文科简答题自动评分方法，其特征在于，步骤S2-3中，以模型输出的隐藏向量作为分类标准，并利用全连接层作为分类器，输出一个C维的向量，第i个维度表示输入被分为第i个类别的概率。
5.如权利要求1所述的一种限定域文科简答题自动评分方法，其特征在于，步骤S3-1中，词性编解码器采用双向LSTM结构，单词解码器部分在原本的三层LSTM中最后一层加入语法门控；将词性序列编解码产生的输出作为模型额外输入。
6.如权利要求1所述的一种限定域文科简答题自动评分方法，其特征在于，步骤S3-3中，以文本相似度、语义相似度和关键词相似度三个相似度均基于学生回答与参考答案，数值介于0-1之间。
7.如权利要求1所述的一种限定域文科简答题自动评分方法，其特征在于，步骤S3-3中，当文本相似度、语义相似度和关键词相似度中的任意一个大于预设阈值时，该简答题得到满分，其他情况则取三者中的最大值乘以满分得到结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310322691.6A CN116029306A (zh) | 2023-03-30 | 2023-03-30 | 一种限定域文科简答题自动评分方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310322691.6A CN116029306A (zh) | 2023-03-30 | 2023-03-30 | 一种限定域文科简答题自动评分方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116029306A true CN116029306A (zh) | 2023-04-28 |
Family
ID=86070905
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310322691.6A Pending CN116029306A (zh) | 2023-03-30 | 2023-03-30 | 一种限定域文科简答题自动评分方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116029306A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116226355A (zh) * | 2023-05-04 | 2023-06-06 | 北京智齿众服技术咨询有限公司 | 一种智能客服方法、系统、电子设备及可读存储介质 |
| CN116597461A (zh) * | 2023-07-14 | 2023-08-15 | 广东信聚丰科技股份有限公司 | 基于人工智能的题目知识点关联方法及系统 |
| CN117252209A (zh) * | 2023-11-15 | 2023-12-19 | 暗物智能科技(广州)有限公司 | 一种理科大题自动评分方法、系统、存储介质及处理终端 |
| CN118261163A (zh) * | 2024-05-30 | 2024-06-28 | 杭州容博教育科技有限公司 | 基于transformer结构的智能评价报告生成方法及系统 |
-
2023
- 2023-03-30 CN CN202310322691.6A patent/CN116029306A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116226355A (zh) * | 2023-05-04 | 2023-06-06 | 北京智齿众服技术咨询有限公司 | 一种智能客服方法、系统、电子设备及可读存储介质 |
| CN116597461A (zh) * | 2023-07-14 | 2023-08-15 | 广东信聚丰科技股份有限公司 | 基于人工智能的题目知识点关联方法及系统 |
| CN116597461B (zh) * | 2023-07-14 | 2023-09-22 | 广东信聚丰科技股份有限公司 | 基于人工智能的题目知识点关联方法及系统 |
| CN117252209A (zh) * | 2023-11-15 | 2023-12-19 | 暗物智能科技(广州)有限公司 | 一种理科大题自动评分方法、系统、存储介质及处理终端 |
| CN117252209B (zh) * | 2023-11-15 | 2024-03-19 | 暗物智能科技(广州)有限公司 | 一种理科大题自动评分方法、系统、存储介质及处理终端 |
| CN118261163A (zh) * | 2024-05-30 | 2024-06-28 | 杭州容博教育科技有限公司 | 基于transformer结构的智能评价报告生成方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110096570B (zh) | 一种应用于智能客服机器人的意图识别方法及装置 | |
| CN111708873B (zh) | 智能问答方法、装置、计算机设备和存储介质 | |
| CN111221939B (zh) | 评分方法、装置和电子设备 | |
| CN111738004A (zh) | 一种命名实体识别模型的训练方法及命名实体识别的方法 | |
| Boltužić et al. | Fill the gap! analyzing implicit premises between claims from online debates | |
| CN116029306A (zh) | 一种限定域文科简答题自动评分方法 | |
| CN111209384A (zh) | 基于人工智能的问答数据处理方法、装置及电子设备 | |
| CN111814454B (zh) | 一种社交网络上的多模态网络欺凌检测模型 | |
| CN114547298B (zh) | 基于多头注意力和图卷积网络结合R-Drop机制的生物医学关系抽取方法、装置和介质 | |
| CN112307364B (zh) | 一种面向人物表征的新闻文本发生地抽取方法 | |
| CN113806493A (zh) | 一种用于互联网文本数据的实体关系联合抽取方法、装置 | |
| CN114818717A (zh) | 融合词汇和句法信息的中文命名实体识别方法及系统 | |
| CN116244448A (zh) | 基于多源数据信息的知识图谱构建方法、设备及系统 | |
| CN115390806A (zh) | 基于双模态联合建模的软件设计模式推荐方法 | |
| CN110852071B (zh) | 知识点检测方法、装置、设备及可读存储介质 | |
| CN116361472A (zh) | 社交网络评论热点事件舆情大数据分析系统 | |
| CN113836321B (zh) | 一种医学知识表示的生成方法和装置 | |
| CN114330483A (zh) | 数据处理方法及模型训练方法、装置、设备、存储介质 | |
| Shen et al. | A Multimodal Approach to Assessing Document Quality. | |
| Pogorilyy et al. | Assessment of Text Coherence by Constructing the Graph of Semantic, Lexical, and Grammatical Consistancy of Phrases of Sentences | |
| CN117312562A (zh) | 内容审核模型的训练方法、装置、设备及存储介质 | |
| Shen et al. | A general approach to multimodal document quality assessment | |
| CN112765940B (zh) | 一种基于主题特征和内容语义的网页去重方法 | |
| Ulianovska et al. | Study of the process of identifying the authorship of texts written in natural language | |
| CN111858961B (zh) | 用于知识图谱中节点和链接的多语言知识匹配方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230428 |