CN113934814A - 古诗文主观题自动评分方法 - Google Patents

Abstract

本发明公开了古诗文主观题自动评分方法，通过对语文古诗文阅读类主观题的分析，提出了结合学科情感分析模型与依存关系的相似度评分算法。以中文维基百科语料为基础，扩充了与评分相关的古诗文，共计81927条，通过Word2vec模型进行词向量训练，构建了古诗文基础语料库；基于学科评分特性建立了对应的古诗文过滤词表；针对情感分析模型对古诗文语句分析不准确的问题，结合同义词词林，建立了古诗文情感词库；构建了学科情感分析模型，将其与StanfordCoreNLP的依存句法分析相结合，实现了相似度评分算法，并将其应用于古诗文的阅卷评分。实验表明，该算法的平均评分准确率达到了89.42％。

Description

古诗文主观题自动评分方法

技术领域

本发明涉及自然语言处理、机器学习领域，尤其涉及古诗文主观题自动评分方法。

背景技术

主观题自动评分技术是教育智能化发展的一个难题和挑战。在国内外的各类主观题测试中，基本使用传统人工批改，但该方法效率低下，且具有很强的主观性，随着教学规模的扩大，测试和考试的数量也日益增多，这是教师了解学生对于知识掌握程度的一种重要路径。传统教育中，试题的评阅尤其是大型考试中的阅卷工作需要消耗大量人力物力资源，由于工作量大，教师很可能不能及时给予学生反馈。并且因为全程人工阅卷，每份试卷都需要教师结合学科背景，将学生答案与标准答案进行比对，在评阅过程中，评阅者极易受到主观判断、教学经验、考生字体规范程度以及卷面整洁度的影响。因此，作为智能教育软件的关键技术之一的主观题自动阅卷技术吸引了很多研究者的目光。这项技术不但能够提高阅卷效率、立即反馈考试成绩，还可作为人工评阅的有效补充、帮助检查人工评分的错漏、有效提高评分工作的信度，因此具有较高的研究价值。

如何利用计算机对主观题进行评判是自然语言处理领域的一个热点问题。国内虽然有一定的成果出现，但是由于研究的问题有很大的难度，想要实现非常理想的实用性很高的系统，需要进一步的深入研究。主观题自动评分的实现，既增加了评阅的准确性和公正性，还可以将老师从繁重的批阅任务中解放出来，更能反馈学生真实的学习效果。学生在课余时间进行主观题作答时，可以快速且准确的获得反馈，加深对知识的理解。其有助于推动教育智能化的发展，并有效的提高学生学习效率以及教师教学质量。因此，研究如何实现主观题的自动评分具有很大的现实意义。

发明内容

基于匹配的自动评分方法，通过对古诗文主观题自动评分中的关键技术及教师评分思路方法的研究，将本文提出的相似度计算方法进行融合，从多个维度得到标准答案与学生答案文本之间的加权语义相似度，提出了结合学科情感分析与依存关系的相似度评分算法，并将其应用于古诗文的自动评分中，有良好的应用前景。

通过对语文古诗文阅读类主观题的分析，提出了结合学科情感分析模型与依存关系的相似度评分算法。以中文维基百科语料为基础，扩充了与评分相关的古诗文，共计81927条，通过Word2vec模型进行词向量训练，构建了古诗文基础语料库；基于学科评分特性建立了对应的古诗文过滤词表；针对情感分析模型对古诗文语句分析不准确的问题，结合同义词词林，建立了古诗文情感词库；构建了学科情感分析模型，将其与StanfordCoreNLP的依存句法分析相结合，实现了相似度评分算法，并将其应用于古诗文的阅卷评分。实验表明，该算法的评分准确率达到了89.42％。

古诗文主观题自动评分方法，包括如下步骤：

步骤一，古诗文语料库的构建，具体为将中文维基百科作为初始语料，收集整理了包含初中、高中课本内全部古诗词和文言文，并经学科专家审核，生成了古诗文语料，通过Jieba工具包对语料进行分词及词性标注，过滤标点、停用词、去重后，将其存入古诗文基础语料，将古诗文基础语料，通过文本向量化算法Word2vec中的CBOW(Continuous Bag-of-Word)模型来进行词向量的训练，构建了古诗文语料库；

步骤二，古诗文情感词库的建立，Word2vec训练的词向量模型，只是提供两个词语之间空间位置上的相关性，对于语义相似度的计算并不准确，例如“喜欢”，通过模型的wv.most_similar方法找出与其相似度最高的十个词，其中相似度最高的词语是“讨厌”，显然这两个词语义相反，在古诗文阅读题的评分过程中，语义相反的词语是不能进行得分操作，所以仅仅通过词向量模型进行相似度计算是不准确的。因此本文将古诗文语料中带有情感倾向的词语进行收集和整理，并结合《哈工大同义词词林扩展版》进行情感词库的构建；

步骤三，构建学科情感分析模型，SnowNlp情感分析模型常用于购物类评价，其语料库中相关学科词条较少，将其用于古诗文阅读题的情感分析是不恰当的。本文以SnowNlp的情感分析模型为基础，设计并构建了学科情感分析模型，将其用于对古诗文阅读题答案的情感分析和评价；

步骤四，基于关键词提取的相似度计算方法，传统意义上的关键词提取方法通常是通过词频或是提取文档中的主题来进行，但是学生答案属于短文本，且用词比较单一和平均，用已有关键词提取算法显然是不能满足需求的。因此根据学科特征，将学生答案和标准答案进行拆分，拆分后的词语，如“表达”、“体现”等不是得分点，且会对评分造成影响的词语，将其通过古诗文过滤词表进行过滤，并按照词性进行关键词的提取，后基于古诗文语料库将提取的关键词表示为词向量，并将其通过相加求和再平均得出句向量，利用Tanimoto系数得出两个句向量之间的相似度；

步骤五，基于学科情感分析模型的相似度计算方法，通过对学生答案和标准答案的情感倾向分析，结合古诗文情感词库与学科情感分析模型分别计算两个文本对应的积极情感数值，实现相似度评分计算；

步骤六，基于依存关系的相似度计算方法，在学生作答过程中，有时会出现对应于相同的宾语，谓语动词的情感完全相反的情况，若不考虑词语的顺序，很有可能会造成误判。如“诗人热爱国家，对贼寇的痛恨”为得分答案，学生作答为“诗人痛恨国家，对贼寇的热爱”，若不考虑词语在句子中的结构信息，两个句子会得到相同的分数，显然不合理，因此，需要对重点词语进行所属关系定位。依存句法分析主要任务是识别出句子所包含的句法成分以及这些成分之间的关系。本文采用StanfordCoreNLP的依存句法分析进行相似度的计算，先将句子的主谓、动宾关系找到，并将其通过主语和宾语进行定位，以此来确定谓语词的情感倾向，实现相似度计算；

步骤七，结合学科情感分析与依存关系的相似度计算方法，将构建的古诗文语料库、古诗文情感词库和学科情感分析模型，用于主观题的相似度评分算法，更加符合语文学科背景。本文通过关键词词向量相似度、情感分析模型的相似度以及依存句法分析的相似度的多维度相似度计算，从多个维度得到学生答案与标准答案文本之间的加权语义相似度。实现了结合学科情感分析模型与依存关系的相似度评分算法。

与现有技术相比，本发明的方法具有以下优点：

针对中文分词对古诗文主观题中词语识别不准确的问题，收集了大量与古诗文评分相关的语料，通过分词、词性标注等预处理操作后，放入Word2Vec模型中进行词向量的训练，完成古诗文语料库的构建，基于学科评分特性建立了对应的古诗文过滤词表。根据词性标注与学科题型特征，提出了面向古诗文的关键词提取与词向量的相似度评分算法。在古诗文主观题评分过程中发现，答案中所表达的情感在评分中是不可或缺的。针对现有情感分析模型对古诗文语句分析不准确的问题，结合古诗文语料与同义词词林建立了古诗文情感词库，并构建了学科情感分析模型，设计并实现了基于学科情感分析模型的相似度算法，结合StanfordCoreNLP中的依存句法分析，实现了结合学科情感分析模型与依存关系的相似度评分方法。

附图说明

图1为古诗文基础语料(部分)；

图2为古诗文语料的词性分布统计图；

图3为古诗文语料库构建流程图；

图4为关键词提取算法流程图；

图5为关键词词向量的相似度计算流程图；

图6为词语入库树状图；

图7为情感词库构建流程图；

图8为教师评分细则；

图9为学科情感分析模型模块图；

图10为学科情感分析模型构建流程图；

图11为基于学科情感分析模型的相似度计算流程图；

图12为评分数据级分数统计散点图；

图13为基于依存关系的相似度计算流程图；

图14为基于学科情感分析模型与依存关系的相似度计算流程图；

图15为不同评分模型之间的评分对比图；

图16为不同评分模型之间的分差-人数分布图；

图17为本文相似度评分算法与教师评分对比；

图18为本文相似度评分算法与教师评分准确率图；

具体实施方式

下面结合附图和具体实施方式对本发明做进一步的描述。

本发明所涉及方法的流程包括以下步骤：

1、古诗文语料库的构建方法具体如下：

a、进行数据抽取操作，由于维基百科语料库有很多符号，使用场景不同过滤的内容也不同；

b、进行二次处理操作，当使用Wikipedia Extractor方法进行数据抽取时，中文维基百科语料库中会有一些特殊符号，可以将抽取出来的标签和一些空括号、「」、『』、空书名号等去除掉即可；

c、进行繁体转简体操作，维基百科语料库中包含了一部分的繁体中文，所以，根据本课题的应用场景，需要将其转换成为简体中文，这里使用langconv模块中的Converter方法，并基于zh_wiki文件中总结的繁体文字转简体文字的对照表，来进行文字的转换；

d、中文维基百科作为初始语料，将收集到的古诗文基础语料与其进行融合，生成古诗文语料；

e、进行分词、去英文操作，利用Jieba分词工具包对古诗文语料中的句子进行分词，并利用正则表达式，将语料中的英文全部去除，最终，得到预处理后的的全中文语料，并将其保存到文件中，之后会将预处理后的语料放入文本向量化算法中去训练；

f、将古诗文语料通过文本向量化算法Word2vec中的CBOW(Continuous Bag-of-Word)模型来训练词向量，构建了古诗文语料库。

2、古诗文情感词库的建立步骤如下：

a、预处理后的古诗文语料按照词性进行分类，词性为动词的词语归为一类并写入文件，将文件中古诗文原文中的词语及重复的词语删除，剩下的词语存入情感词库中，每个词占一行。

b、基于学科情感分析模型，将情感词库中所有词语进行情感倾向分析，数值大于等于0.6的认定该词为积极词语，相反为消极词语，进行重新定义和排序。

c、根据《哈工大同义词词林扩展版》的层次结构，将词林中每一行第八位为“＝”的所有词语存入同义词列表中，并在列表中查找与词库中相同的词，将其相同词语的全部同义词存入情感词库中相对应词语的后面，词语之间以空格分开。

d、将词林中每一行第八位为“#”(“#”代表不等，属于相关词语)的所有词语存入反义词列表中，并在列表中查找与词库中相同的词，对情感词库进行检验和补充

e、对于情感词库中有歧义的词语，进行人工校验，并在实验中不断补充和调整，构成一个完整的情感词库。

3、构建学科情感分析模型的步骤如下：

a、收集了陕西省某重点高中近五年全部考试中的古诗文类阅读题，整理了学生答案与教师评分，将其融入古诗文语料，生成带标注的基础数据。

b、根据学生分数分布规律，基于分数来判定情感分类。判定时以标准答案中的情感词语为基准，高分代表情感更趋向于标准答案情感，低分代表情感与其差别较大，以此确定判决分数，将标注数据集中的学生答案按照判决分数分别存为积极数据集train.positive.txt和消极数据集train.negative.txt，并将其作为模型训练的初始语料。

c、将SnowNlp情感分析模型的积极数据集与消极数据集分别替换为train.positive.txt和train.negative.txt，通过sentiment中的train方法进行训练，并保存模型为GswSen.marshal。

d、修改sentiment中的模型路径，将新模型进行替换，模型构建完成。

4、基于关键词提取的相似度计算方法如下：

(1)关键词提取计算方法如下：

(2)关键词词向量相似度计算方法如下：

5、基于学科情感分析模型的相似度计算方法如下：

6、基于依存关系的相似度计算方法如下：

7、结合学科情感模型与依存关系相似度评分方法如下：

以陕西省某高中语文期末考试的诗歌鉴赏题和古文翻译题为实验对象，共采集学生答案和教师得分(满分为6分)1348条作为实验数据，构建实验测试数据集，验证基于学科情感分析模型与依存关系的相似度评分算法的可靠性。

将SnowNlp情感分析模型、HanLp自然语言处理情感分析模型与本文构建的学科情感分析模型GswJieSen分别进行古诗文主观题相似度评分算法的实现，比较它们在评分上的效果。将三个评分模型与教师评分分差对应的准确率进行统计，如表1所示，

表1不同评分模型的准确率对比

Claims (4)

1.古诗文主观题自动评分方法，其特征在于，包括如下步骤：

步骤一，古诗文语料库的构建，将中文维基百科作为初始语料，收集整理了包含初中、高中课本内全部古诗词和文言文，生成古诗文语料，通过Jieba工具包对语料进行分词及词性标注，过滤标点、停用词、去重后存入古诗文基础语料；将古诗文基础语料通过文本向量化算法Word2vec中的CBOW模型来进行词向量的训练，构建古诗文语料库；

步骤二，古诗文情感词库的建立，找出与词向量模型相似度最高的十个词，将古诗文语料中带有情感倾向的词语进行收集和整理，并进行情感词库的构建；

步骤三，构建学科情感分析模型，以SnowNlp的情感分析模型为基础，设计并构建学科情感分析模型，用于对古诗文阅读题答案的情感分析和评价；

步骤四，基于关键词提取的相似度计算方法，根据学科特征，将学生答案和标准答案进行拆分，拆分后的词语不是得分点且会对评分造成影响的词语，将通过古诗文过滤词表进行过滤，并按照词性进行关键词的提取，后基于古诗文语料库将提取的关键词表示为词向量，并通过相加求和再平均得出句向量，利用Tanimoto系数得出两个句向量之间的相似度；

步骤五，基于学科情感分析模型的相似度计算方法，通过对学生答案和标准答案的情感倾向分析，结合古诗文情感词库与学科情感分析模型分别计算两个文本对应的积极情感数值，实现相似度评分计算；

步骤六，基于依存关系的相似度计算方法，在学生作答过程中，有时会出现对应于相同的宾语，谓语动词的情感完全相反的情况，依存句法分析任务是识别出句子所包含的句法成分以及这些成分之间的关系，采用StanfordCoreNLP的依存句法分析进行相似度的计算，先将句子的主谓、动宾关系找到，通过主语和宾语进行定位，确定谓语词的情感倾向，实现相似度计算；

步骤七，结合学科情感分析与依存关系的相似度计算方法，将构建的古诗文语料库、古诗文情感词库和学科情感分析模型，用于主观题的相似度评分算法；通过关键词词向量相似度、情感分析模型的相似度以及依存句法分析的相似度的多维度相似度计算，从多个维度得到学生答案与标准答案文本之间的加权语义相似度，实现结合学科情感分析模型与依存关系的相似度评分。

2.根据权利要求1所述的古诗文主观题自动评分方法，其特征在于，步骤一中所述古诗文语料库的构建方法具体如下：

a、进行数据抽取操作，由于维基百科语料库有很多符号，使用场景不同过滤的内容也不同；

b、进行二次处理操作，当使用Wikipedia Extractor方法进行数据抽取时，中文维基百科语料库中会有一些特殊符号，将抽取出来的标签和一些空括号、「」、『』、空书名号等去除掉即可；

c、进行繁体转简体操作，维基百科语料库中包含了一部分的繁体中文，所以，根据本课题的应用场景，需要将其转换成为简体中文，这里使用langconv模块中的Converter方法，并基于zh_wiki文件中总结的繁体文字转简体文字的对照表，来进行文字的转换；

d、中文维基百科作为初始语料，将收集到的古诗文基础语料与其进行融合，生成古诗文语料；

e、进行分词、去英文操作，利用Jieba分词工具包对古诗文语料中的句子进行分词，并利用正则表达式，将语料中的英文全部去除，最终，得到预处理后的的全中文语料，并将其保存到文件中，之后会将预处理后的语料放入文本向量化算法中去训练；

f、将古诗文语料通过文本向量化算法Word2vec中的CBOW模型来训练词向量，构建古诗文语料库。

3.根据权利要求1所述的古诗文主观题自动评分方法，其特征在于，步骤二中所述的古诗文情感词库的建立步骤如下：

a、预处理后的古诗文语料按照词性进行分类，词性为动词的词语归为一类并写入文件，将文件中古诗文原文中的词语及重复的词语删除，剩下的词语存入情感词库中，每个词占一行。

b、基于学科情感分析模型，将情感词库中所有词语进行情感倾向分析，数值大于等于0.6的认定该词为积极词语，相反为消极词语，进行重新定义和排序。

c、根据层次结构，将词林中每一行第八位为“＝”的所有词语存入同义词列表中，并在列表中查找与词库中相同的词，将其相同词语的全部同义词存入情感词库中相对应词语的后面，词语之间以空格分开。

d、将词林中每一行第八位为“#”的所有词语存入反义词列表中，并在列表中查找与词库中相同的词，对情感词库进行检验和补充；，“#”代表不等，属于相关词语；

e、对于情感词库中有歧义的词语，进行人工校验，并在实验中不断补充和调整，构成一个完整的情感词库。

4.根据权利要求1所述的古诗文主观题自动评分方法，其特征在于，步骤三中所述的构建学科情感分析模型的步骤如下：

a、收集了陕西省某重点高中近五年全部考试中的古诗文类阅读题，整理了学生答案与教师评分，将其融入古诗文语料，生成带标注的基础数据。

b、根据学生分数分布规律，基于分数来判定情感分类。判定时以标准答案中的情感词语为基准，高分代表情感更趋向于标准答案情感，低分代表情感与其差别较大，以此确定判决分数，将标注数据集中的学生答案按照判决分数分别存为积极数据集train.positive.txt和消极数据集train.negative.txt，并将其作为模型训练的初始语料。

c、将SnowNlp情感分析模型的积极数据集与消极数据集分别替换为train.positive.txt和train.negative.txt，通过sentiment中的train方法进行训练，并保存模型为GswSen.marshal。

d、修改sentiment中的模型路径，将新模型进行替换，模型构建完成。

Images