CN115659954A - 一种基于多阶段学习的作文自动评分方法 - Google Patents

Abstract

本发明公开了一种基于多阶段学习的作文自动评分方法，该方法包括：S1特征提取，提取作文的浅层语言特征、情感特征和主题相关度特征；S2：主题相关度特征提取；S3:优美句识别模型构建和作文文采特征提取；S4：基学习器的训练；S5：作文向量分布式表示及特征融合模型训练预测。本发明应用在自动作文评分领域，针对中文作文评分设计了较为全面的、多维度的作文评分特征，实现对作文优美句的检测与发现，更好地考虑了作文中语言表达的优美程度；同时提出了基于多阶段学习的作文自动评分，有效结合了多角度的作文特征进行作文评分。

Description

一种基于多阶段学习的作文自动评分方法

技术领域

本发明涉及人工智能领域下的自然语言处理技术，特别涉及一种基于多阶段学习的作文自动评分方法。

背景技术

自动作文评分是自然语言处理在教育领域的重要应用。一篇高质量作文不仅要关注单词、短语及句法结构的使用，还要注重作文局部关键信息和上下文之间的逻辑结构与关系。自动作文评分能够自动判断学生作文的质量，有利于减轻教师作文评分负担，并为学生提供快速学习反馈。

现有主流自动作文评分方法可分为两类：基于特征工程和基于神经网络的方法。其中，特征工程的方法通过文章长度或拼写错误等手工特征来预测分数。这种方法的优点是具有可解释性和灵活性。近年来，基于深度神经网络的自动作文评分方法已经被应用，并取得了比传统方法更优越的性能，许多研究中也提出了改进的深度神经网络方法。然而，尽管深度学习模型擅长提取深度语义特征，但它们很难集成像作文长度和成语数量这样的手工特征，而这些特征已被证明对自动作文评分模型的有效性至关重要，可以被用来增强自动作文评分模型。

普通的作文特征无法综合评价一篇作文的优劣。通过进一步计算，提取主题相关度特征，并且通过训练优美句识别模型，提取作文的文采特征，可以更加全面考量作文内容。将综合特征用于多个基学习器的训练预测，可以得到多方面考虑的结果。然而，作文的深层语言特征是需要经过深度学习模型才能获取的，通过将基学习器的预测特征融合到深度学习特征中，可以更加全面评测作文分数。

发明内容

本发明目的是解决现有技术中的问题，提出了基于多阶段学习的作文自动评分方法。

本发明的技术方案将作文的浅层语言特征、深层语义特征有效结合，提高了评分的准确性。

为了实现上述目的，本发明的第一方面的实施例提出了一种基于语义加权的作文主题相关度特征提取方法，该方法包括以下步骤：

基于知识图谱的主题词扩展；

增强权重系数并提取主题词集；

基于加权词向量的文本距离算法；

基于加权句向量的文本距离算法；

本发明的第二方面的实施例提出了一种作文优美句识别模型，该方法包括以下步骤：

优美句语料库构建步骤，用于构建优美句语料库；

模型训练步骤，用于将双向GRU提取的作文长距离语义信息和三层空洞卷积模块提取的短语级别语义信息结合进行训练，通过训练模型得到作文的评分结果。

本发明第三方面的实施例提出了一种多阶段学习的作文自动评分方法，该方法包括以下步骤：

浅层语言特征提取步骤，提取作文的浅层语言特征；

情感特征提取步骤，提取作文中的积极情感和消极情感特征；

主题相关度特征提取步骤，由作文题目要求和作文内容提取作文的主题相关度特征；

文采特征提取步骤，根据优美句识别模型预测的作文句子优美概率统计，提取作文文采特征；

基学习器的学习步骤，将作文特征输入基学习器得到作文分数的预测特征；

将ERNIE层和双向长短时记忆网络层表示的作文深层语义特征与基学习器的预测特征拼接，得到最终的特征集输入模型进行评分学习，以获得评分模型。

本发明的有益效果是：

(1)本发明针对作文的主题相关度提取，引入了知识图谱，并通过语义加权的方式计算得到了题目要求与作文内容的语义相似度。

(2)本发明针对人工提取作文文采特征困难，传统词向量表示语义单一的问题，设计了优美句识别模型，更加方便地完成优美句识别，进而完成文采特征的提取。

(3)本发明针对中文作文评分设计了较为全面的、多维度的作文评分特征集，按该方案抽取中文作文的浅层语言特征、情感特征、主题相关度特征和文采特征，通过多阶段学习的方式，将深层语义特征有效结合，可以科学、合理地衡量中文作文的语言运用能力。

(4)本发明的自动评分方法，可以获得和人类行为相对一致的评分结果，改善中文作文考试中只能依靠人工评分的现状，减轻人工阅卷的压力，降低作文评测成本，提高测评精度。

附图说明

图1是根据本发明一个实施例的基于多阶段学习的作文自动评分方法的流程示意图；

图2是根据本发明一个实施例的优美句识别模型示意图；

图3是根据本发明一个实施例的基学习器的训练流程图。

具体实施方式

下面将结合本发明实施例中的附图，将本发明实施例中的技术方案进行清楚、完整地描述。为了解释的明确性而言，阐述了特定的数目、配置和顺序，但是很明显，在没有这些特定细节的情况下也可以实时本发明。在其他情况下，为了不混淆本发明，对于一些众所周知的特征将不再进行详细阐述。

根据本发明提出了一种基于多阶段学习的作文自动评分方法，如图1所示，包括：

S1、特征提取，提取作文的浅层语言特征、情感特征和主题相关度特征；

S2、优美句识别，通过训练优美句识别模型，学习并提取作文文采特征；

S3、基学习器的训练，根据特征信息与优美文采特征训练基学习器；

S4、特征融合模型训练预测，将基学习器预测特征与深层作文特征输入评分模型，获得分数。

下面具体说明特征的含义及获得方法。

浅层语言特征的获取，首先通过LTP语言技术平台进行作文文本分词以及命名实体识别，获取浅层语言特征。

情感特征的获取，基于cnsenti提取带有情感色彩的词语数量、积极情感词比例、积极情感得分、消极情感词比例和消极情感得分。

主题相关度特征的获取，主题相关度的获取步骤包括：

1、基于知识图谱的主题词扩展。原作文题目文本首先经过语言技术平台LTP进行分词并标注词性、去停用词，接着通过TextRank提取题目关键词，该算法在提取关键词的时候每个关键词都有一个主题权重值，取前10个关键词作为题目主题词。

为实现主题词语义的扩展，引入了两种知识图谱ConceptNet和知网HowNet，以及分布式词向量语料库，由于这三种方式提供的语义信息的可信程度不同，所以分别设定置信度，即ConceptNet提供的扩展主题词置信度为0.8，知网HowNet提供的扩展主题词置信度为0.5，语料库扩展主题词置信度为0.3。具体算法如下：

Step1算法输入：含主题权重的主题词集合titleList；

Step2初始化：ConceptNet知识库conceptLib，HowNet知识库hnLib，词向量语料库wvmodel；

Step3遍历titleList，将原始主题词添加到扩展后的主题词列表extendList；

Step4遍历titleList，查询conceptLib中关联的前10个词作为扩展主题词，如果存在，则每个扩展主题词在原始主题词权重基础上乘置信度0.8作为扩展主题词权重，并添加到扩展后的主题词列表extendList；

Step5遍历titleList，查询hnLib中关联的前5个词作为扩展主题词，如果存在，则每个扩展主题词在原始主题词权重基础上乘置信度0.5作为扩展主题词权重，并添加到扩展后的主题词列表extendList；

Step6遍历titleList，查询wvmodel中是否存在当前主题词，如果存在，通过wvmodel取余弦相似度最大的3个词作为扩展主题词，每个扩展词在原始主题词权重基础上乘置信度0.3作为扩展主题词权重，并添加到扩展后的主题词列表extendList；

Step7输出扩展后的题目主题词集合：extendList。

2、增强权重系数。对于一篇学生作文来说，不同词语以及词语所处的整篇文章的位置不同，对整篇文章的主题贡献程度也不同。因此，对权重系数进行了改进：综合考虑了词语的词频系数、词性系数和位置系数。

Step1根据汉语词性在现代汉语中的分布以及语法规则，设置词性权重。其中，动词权重为0.75，名词权重为0.25，副词权重为0.1，形容词权重为0.4，其他词性权重均设为0，即不将其他词性的词作为主题词。

Step2一篇学生文章中，为了揭示主旨通常会在段首和段尾提出观点或进行总结，因此可根据句子的位置对词语和句子进行加权，对文章处于段首和段尾的词语和句子赋予较高的权重，词语和句子采用相同的位置权重公式，词语i和句子S的位置权重分别由p_i和p_s表示，加权公式如下(1)所示：

其中，p表示词语或句子在文档中所在位置的百分比，a₁和a₂为可调整的参数，本文中和a₂取值0.4和0.7时性能最佳。

Step3由以上对词语的词频系数、词性权重系数和位置权重系数，最终词语的增强权重系数有词频系数、词性系数和位置系数三者相乘得到。词语i在文章D中的增强权重系数计算公式如公式(2)所示。

W_i|D＝Frep_i×speech_i×pos_i (2)

3、主题词集的提取。通常学生根据题目要求写作的文章主题就是学生要表达的直接主题，这个主题可能与题目要求的某个方面切合。因此，从学生作文主题词出发，从题目整体的主题集合中提取出学生作文最切合的主题信息。具体算法如下：

Step1算法输入：扩展后的题目主题词集合extendList＝{tw₁,tw₂,…,tw_n}和学生作文主题词集合cntList＝{cw₁,cw₂,…,cw_m}；

Step2遍历cntList，将cw_i依次与extendList中的词语tw_j计算相似度sim＝wordSim(cw_i,tw_j)，并标记最大相似度主题词为max Tw；

Step3将相似度最大的主题词max Tw添加到最佳主题集合mSimList中；

Step4输出最佳主题集合mSimList。

4、基于加权词向量的文本距离算法。一篇学生作文中的词语并不是同等重要的，因此，根据上述方式，从词语对整体文章的主题贡献度提取到一定量的主题词来代表这篇文章。原始的WMD距离计算两篇文本中两两词语的转移代价，在本文中只计算学生作文主题词以及题目中学生作文最切合的主题词之间的转移代价，记题目主题词集mSimList和学生作文主题词集cntList中的关键词为M_i,M_j，主题词两两计算转移代价，转移代价使用欧式距离计算，公式(3)如下所示：

构造主题词转移矩阵T_MiMj表示mSimList中的主题词M_i转移到cntList中的主题词M_j中的比例。为了将mSimList完全转移到cntList中，要确保从主题词M_i转移出的总和等于其增强权重系数，转移入主题词M_j的总和等于M_i的增强权重系数，如公式(4)(5)所示：

最后计算将mSimList中所有主题词完全转移到cntList的主题词所需要的词转移成本I_c，如公式(6)所示：

5、基于加权句向量的文本距离算法。一篇学生作文为了揭示主旨通常在段首和段尾提出观点或进行总结，对作文处于段首和段尾的句子赋予较高的权重，位置权重公式同样使用公式(1)。

本文中，对于句向量的表示使用到了BERT预训练语言表征模型。传统的句向量生成方式，更多的是采用word embedding的方式取加权平均，该方法的最大弊端是无法理解上下文的语义，同一个词在不同的语境意思可能不一样，但是却会被表示成同样的wordembedding，BERT生成句向量的优点在于可理解句意，并且排除了词向量加权引起的误差。谷歌官方发布的BERT-base Chinese中，中文是以字为粒度进行切分的，没有考虑到传统NLP中的中文分词。因此这里我使用到的是哈工大发布的Chinese-BERT-wwm，将全词Mask的方法应用在了中文中，使用了中文维基百科(包括简体和繁体)进行训练，该模型是经过中文分词后训练的，所以可以更好地结合到汉语中词的语义，并且训练数据更大(包括中文维基百科、其他百科、新闻、问答等数据，总词数达54亿词汇量)。本文取Chinese-BERT-wwm12层的最后四层取均值作为句向量的表示。

原始的WMD距离计算两篇文本中两两词语的转移，词语通过词向量的方式计算语义相似度。基于上述思想，本文通过滑窗的方式提取文本，尝试从题目主题词和学生作文主题词序列中获取句向量的表示形式，进而通过WMD算法进行计算。算法具体步骤如下：

Step1算法输入：学生作文主题词序列Cnt，题目中学生作文最切合的主题词序列Title，主题词转移成本I_c；

Step2使用窗口win，步长step，分别提取Cnt和Title的文本序列，提取后的序列表示为Cnt＝{sc₁,sc₂,…,sc_m}，Title＝{st₁,st₂,…,st_m}；

Step3对Cnt和Title处于首部和尾部的序列赋予较高的权重，位置权重公式同样使用公式(1)；

Step4使用2.5节中同样的方式构造句嵌入转移矩阵

表示Cnt中的句子sc_i转移到Title的句子st_j中的量。Cnt中的句子转移到Title所需的句转移成本I_s要满足以下条件，如公式(7)所示：

Step5综合考虑最小的词和句转移成本I_c和I_s，题目和学生作文的距离使用公式(8)计算。

Step6根据Step5中计算的距离进行题目和作文间的相似度度量，公式(9)如下：

Step7输出题目与作文的相似度：sim(Cnt,Title)。

最终根据题目和作文内容，提取到的主题相关度特征包括：题目与作文的相似度、主题相关度特征包括全文TextRank关键词提取相同数、相同关键词占总词数比例、扩展主题词相同数、扩展主题词相同数占总词数比例和相同的四种词性词语在对应词性词汇数占比。

优美句识别模型为二分类模型，如图2所示，优选的，包括ERNIE模型、双向GRU层、三层空洞卷积模块和全连接层，ERNIE模型为预训练的中文ERNIE模型，其激活函数设置为sigmoid函数。优美句识别模型的训练步骤如下：

(1)数据集选取的是公开的学生作文练习批改网站乐乐课堂收集的语料数据，抽取划线句子作为优美句正例，随机从未划线句子抽取作为负例，共11万句，其中，训练集为9万句，优美句和非优美句的比例是1比2，测试集为2万句，优美句一共占到了20％。

(2)使用上述数据集训练优美句识别模型，实验参数设置为：最大序列文本长度为70个字符，batch_size大小为64，卷积核数量256，学习率为5e-6，神经元失活率为0.5，三层空洞层的空洞率分别为1、2、3。将句子输入优美句识别模型，即可从sigmoid函数处获得0-1之间的实数作为输出，这个数值即句子优美概率。

作文文采特征根据作文按句子输入优美句识别模型得到的概率统计，得到特征：所有句子优美概率最大值、优美概率最小值、优美概率平均值、优美句比例、优美概率前10的平均值以及优美概率前10大于0.5的个数。

本发明选择随机森林RFR、GBDT和Xgboost三个单模型作为基学习器.训练的基本流程如图3所示，对作文集中每一篇作文提取特征，其中F_pi表示浅层语言特征和情感特征，F_ti表示主题相关度特征，F_ei表示文采特征，合并后的特征分别输入到三个基学习器中进行模型训练，P_ri表示随机森林RFR的预测特征，P_gi为GBDT模型的预测特征，P_xi表示Xgboost模型的预测特征。

作文自动评分模型的训练步骤如下：

(1)作文评分数据集，本发明使用的是现代汉语水平考试下的公开作文集数据，数据包括原始学生作文以及对应的评分。首先通过爬虫爬取8个主题的作文数据，然后再整理成训练和测试所需要的文本格式。采用八折交叉验证的方式，也就是将目标作文集作为测试集数据，然后将其他7个作文集作为训练数据，并从训练集中按照8:1:1的比例随机抽取得到验证集，8个数据集上取得结果的平均值作为最终实验结果。

(2)使用上述数据集训练优美句识别模型，实验参数设置为：batch-size为100，学习率为1e-4，神经元失活率为0.5。将拼接的作文特征向量输入作文自动评分模型，获取模型的作文分数预测。

以上对本发明所提出的基于多阶段学习的作文自动评分方法进行了详细介绍，本文中对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (5)

1.一种基于多阶段学习的作文自动评分方法，其特征在于，包括以下步骤：

S1、特征提取，提取作文的浅层语言特征和情感特征；

S2、主题相关度提取，通过分析题目要求和作文内容提取主题相关度特征；

S3、优美句识别，通过训练优美句识别模型，学习并提取作文文采特征；

S4、基学习器的训练，根据特征信息与优美文采特征训练基学习器；

S5、特征融合模型训练预测，将基学习器预测特征与深层作文特征输入评分模型，获得分数；

所述浅层语言特征包括词法特征和句法特征；所述情感特征包括作文的积极情感和消极情感；词法特征包括词语总数、去停用词后的词数、词表大小、词表大小占作文词数的比例、四种词性词语占比、成语数、命名实体数和汉语六级词汇数，句法特征包括作文总长度、总句数和平均句子长度，浅层语言特征记为X1；

情感特征包括带有情感色彩的词语数量、积极情感词比例、积极情感得分、消极情感词比例和消极情感得分，情感特征记为X2。

2.根据权利要求1所述的评分方法，其中，主题相关度特征用于反映作文与题目要求的写作范围的相关程度；所述主题相关度的获取步骤包括：

S61、基于知识图谱的主题词扩展；原作文题目文本首先经过语言技术平台LTP进行分词并标注词性、去停用词，接着通过TextRank提取题目关键词，该算法在提取关键词的时候每个关键词都有一个主题权重值，取前10个关键词作为题目主题词；

引入了两种知识图谱ConceptNet和知网HowNet，以及分布式词向量语料库，分别设定置信度，即ConceptNet提供的扩展主题词置信度为0.8，知网HowNet提供的扩展主题词置信度为0.5，语料库扩展主题词置信度为0.3；具体算法如下：

Step1算法输入：含主题权重的主题词集合titleList；

Step2初始化：ConceptNet知识库conceptLib，HowNet知识库hnLib，word2Vec词向量语料库wvmodel；

Step3遍历titleList，将原始主题词添加到扩展后的主题词列表extendList；

Step4遍历titleList，查询conceptLib中关联的前10个词作为扩展主题词，如果存在，则每个扩展主题词在原始主题词权重基础上乘置信度0.8作为扩展主题词权重，并添加到扩展后的主题词列表extendList；

Step5遍历titleList，查询hnLib中关联的前5个词作为扩展主题词，如果存在，则每个扩展主题词在原始主题词权重基础上乘置信度0.5作为扩展主题词权重，并添加到扩展后的主题词列表extendList；

Step6遍历titleList,，查询wvmodel中是否存在当前主题词，如果存在，通过wvmodel取余弦相似度最大的3个词作为扩展主题词，每个扩展词在原始主题词权重基础上乘置信度0.3作为扩展主题词权重，并添加到扩展后的主题词列表extendList；

Step7输出扩展后的题目主题词集合：extendList；

S62、增强权重系数；对于一篇学生作文来说，不同词语以及词语所处的整篇文章的位置不同，对整篇文章的主题贡献程度也不同；因此，对权重系数进行了改进：综合考虑了词语的词频系数、词性系数和位置系数；

Step1根据汉语词性在现代汉语中的分布以及语法规则，设置词性权重；其中，动词权重为0.75，名词权重为0.25，副词权重为0.1，形容词权重为0.4，其他词性权重均设为0，即不将其他词性的词作为主题词；

Step2对文章处于段首和段尾的词语和句子赋予较高的权重，词语和句子采用相同的位置权重公式，词语i和句子S的位置权重分别由p_i和p_s表示，加权公式如下(1)所示：

其中，p表示词语或句子在文档中所在位置的百分比，a₁和a₂为可调整的参数，本文中和a₂取值0.4和0.7时性能最佳；

Step3词语的增强权重系数由词频系数、词性系数和位置系数三者相乘得到；词语i在文章D中的增强权重系数计算公式如公式(2)所示；

W_i|D＝Frep_i×speech_i×pos_i (2)

S63、主题词集的提取；从学生作文主题词出发，从题目整体的主题集合中提取出学生作文最切合的主题信息；具体算法如下：

Step1算法输入：扩展后的题目主题词集合extendList＝{tw₁,tw₂,…,tw_n}和学生作文主题词集合cntList＝{cw₁,cw₂,…,cw_m}；

Step2遍历cntList，将cw_i依次与extendList中的词语tw_j计算相似度sim＝wordSim(cw_i,tw_j)，并标记最大相似度主题词为maxTw；

Step3将相似度最大的主题词maxTw添加到最佳主题集合mSimList中；

Step4输出最佳主题集合mSimList；

S64、基于加权词向量的文本距离算法；一篇学生作文中的词语并不是同等重要的，因此，根据上述方式，从词语对整体文章的主题贡献度提取到一定量的主题词来代表这篇文章；原始的WMD距离计算两篇文本中两两词语的转移代价，只计算学生作文主题词以及题目中学生作文最切合的主题词之间的转移代价，记题目主题词集mSimList和学生作文主题词集cntList中的关键词为M_i,M_j，主题词两两计算转移代价，转移代价使用欧式距离计算，公式(3)如下所示：

构造主题词转移矩阵

表示mSimList中的主题词M_i转移到cntList中的主题词M_j中的比例；为了将mSimList完全转移到cntList中，要确保从主题词M_i转移出的总和等于其增强权重系数，转移入主题词M_j的总和等于M_i的增强权重系数，如公式(4)(5)所示：

最后计算将mSimList中所有主题词完全转移到cntList的主题词所需要的词转移成本I_c，如公式(6)所示：

S65、基于加权句向量的文本距离算法；一篇学生作文为了揭示主旨通常在段首和段尾提出观点或进行总结，对作文处于段首和段尾的句子赋予较高的权重，位置权重公式同样使用公式(1)；

对于句向量的表示使用到了BERT预训练语言表征模型；取Chinese-BERT-wwm12层的最后四层取均值作为句向量的表示；

原始的WMD距离计算两篇文本中两两词语的转移，词语通过词向量的方式计算语义相似度；通过滑窗的方式提取文本，尝试从题目主题词和学生作文主题词序列中获取句向量的表示形式，进而通过WMD算法进行计算；算法具体步骤如下：

Step1算法输入：学生作文主题词序列Cnt，题目中学生作文最切合的主题词序列Title，主题词转移成本I_s；

Step2使用窗口win为5-字符，步长step为40，分别提取Cnt和Title的文本序列，提取后的序列表示为Cnt＝{sc₁,sc₂,…,sc_m}，Title＝{st₁,st₂,…,st_m}；

Step3对Cnt和Title处于首部和尾部的序列赋予较高的权重，位置权重公式同样使用公式(1)；

Step4使用步骤S64中同样的方式构造句嵌入转移矩阵

表示Cnt中的句子sc_i转移到Title的句子st_j中的量；Cnt中的句子转移到Title所需的句转移成本I_s要满足以下条件，如公式(7)所示：

Step5综合考虑最小的词和句转移成本I_c和I_s，题目和学生作文的距离使用公式(8)计算；

Step6根据Step5中计算的距离进行题目和作文间的相似度度量，公式(9)如下：

Step7输出题目与作文的相似度：sim(Cnt,Title)；

最终根据题目和作文内容，提取到的主题相关度特征包括：题目与作文的相似度、全文TextRank关键词提取相同数、相同关键词占总词数比例、扩展主题词相同数、扩展主题词相同数占总词数比例和相同的四种词性词语在对应词性词汇数占比，主题相关度特征记为X3。

3.根据权利要求1所述的评分方法，其特征在于：在所述步骤S3中，所述优美句识别模型为二分类模型，所述步骤S3具体为：

S71、将作文文本按照句子粒度进行划分，得到单个句子，记为{s₁,s₂,…,s_n}，n表示句子个数，将每个句子依次通过词的id化和生成位置编码步骤，输入到ERNIE预训练模型中，取ERNIE模型最后一层的输出作为句子中每个词的向量化表示，即句s_i的输出为{w₁,w₂,…,w_m},i＝1,2,…,n；其中，w_j为句s_i中第j个位置词的向量表示，m表示第i个句子里面词的个数；j＝1,2,…,m；为了得到句向量表示，将句中词向量进行平均池化，即

其中，v_i为句s_i的向量表示，由此，即可得到文章中每个句子的向量表示，为{v₁,v₂,…,v_n}；

S72、对于一个句子sent_i∈R^ser*768，第一维度ser表示归一化的句子序列长度，第二维度表示经过ERNIE模型后句中每个词的向量表示；接着经过双向GRU层，提取到句子长距离上下文语义特征biGru∈R^ser*512；同时，经过三层空洞卷积模块，在空洞卷积模块，首先升维得到cnn1∈R^1*ser*768，接着经过三层空洞卷积层，采用空洞率为1、空洞率为2、空洞率为3的空洞卷积层，卷积核为为2*2；在每一层卷积层中，具体处理方式为：经过卷积层得到cnn2∈R^256*ser*768，再经过一个最大池化层得到cnn3∈R^256*ser*1，接着降维为cnn4∈R^256*ser，再经过最大池化操作得到cnn5∈R^256*1，降维后得到cnn6∈R²⁵⁶，i＝1,2,3；将三层空洞卷积得到的输出拼接，得到cnn7∈R⁷⁶⁸，最后经过全连接层得到cnn8∈R^ser；空洞卷积模块的输出经过softmax函数得到cnn9∈R^ser，再经过升维得到cnn10∈R^ser*1，此输出要与双向GRU模块的输出biGru∈R^ser*512相乘，得到eOut1∈R^ser*512，在第二维度进行求和得到eOut2∈R⁵¹²，通过Relu激活函数得到eOut3∈R⁵¹²，再经过全连接层得到eOut4∈R⁶⁴，最后经过全连接层得到输出eOut5∈R²，即最终的二分类预测值；

S73、根据文章所有句子经过优美句识别模型后的概率统计，获取到作文文采特征，具体特征包含：所有句子优美概率最大值、优美概率最小值、优美概率平均值、优美句比例、优美概率前10的平均值以及优美概率前10大于0.5的个数，作文文采特征记为X4。

4.根据权利要求1所述的评分方法，其特征在于：在所述步骤S4中，选择随机森林回归模型、GBDT模型和Xgboost模型作为基学习器进行训练，将步骤4中得到的作文浅层语言特征X1、步骤5得到的作文情感特征X2、步骤6得到的主题相关度特征X3和步骤7中得到的文采特征X4合并为{X1,X2,X3,X4}，分别输入到三个基学习器中进行训练，最终得到三个学习器对作文的预测特征，记为{p_r,p_g,p_x}。

5.根据权利要求1所述的评分方法，其特征在于：所述步骤S5具体为：

S91、由于ERNIE模型对文本长度的限制，因此设定作文的切分长度为500字符，如果长度超过500，那么剩余部分进行截断作为下一部分，设置作文中每个词的维度为64，将作文切分为{p₁,p₂,…,p_n}，n表示切分段落个数，将每个段落依次通过词的id化和生成位置编码步骤，输入到ERNIE预训练模型中，取ERNIE模型最后一层的输出作为段落中每个词的向量化表示，即段落p_i的输出为{w₁,w₂,…,w_m},i＝1,2,…,n；其中，w_j为段落中第j个位置词的向量表示，m表示第i个段落里面词的个数；j＝1,2,…,m；为了得到作文向量表示，将段落的向量表示进行拼接，得到作文深层语义特征向量表示，记为

其中，p_i表示段落，v表示段落的向量表示；

S92、记步骤8中得到的基学习器预测特征{p_r,p_g,p_x}为base1∈R³，先升维并在第二维度进行复制操作，得到为base2∈R^3*64，步骤S91中得到的作文深层语义特征向量表示

记为lstm1∈R^ser*64，其中，第一维度ser为作文特征向量维度，第二维度表示作文的每个词向量维度为64；将基学习器预测特征与深层语义特征在第二维度进行合并，得到multi1∈R^conc*64，

其中conc＝ser+3；接着合并后的向量要经过自注意力机制模块，multi2∈R^conc*64分别经过三个线性层得到Q∈R^conc*64，K∈R^conc*64，V∈R^conc*64，随后，通过自注意力的计算公式计算每个向量的自注意力分数，并对其进行归一化，将注意力分数通过softmax激活函数，与V∈R^conc*64，相乘后得到自注意力模块的结果Attention∈R^conc*64，计算公式如式(11)：

其中，d_k为归一化过程中使用的模型向量维度；

S93、通过双向长短时记忆网络层，即将自注意力模块的输出Attention∈R^conc*64作为双向长短时记忆网络层的输入，与其权重矩阵相乘得到multiOut1∈R^conc*128，在第二维度进行求和，得到multiOut2∈R¹²⁸，最后经过一个全连接层得到multiOut3∈R¹，通过sigmoid函数进行作文分数的预测。

Images