CN110413741B - 一种面向主观题的智能阅卷方法 - Google Patents

Abstract

一种面向主观题的智能阅卷方法，包括对考生答案文本和参考答案文本分别进行预处理，以获得二者对应的词向量序列表示；利用语义特征抽取网络提取考生答案和参考答案中句子的语义向量；利用融合注意力机制计算考生答案和参考答案句向量的语义匹配程度；利用此匹配结果，计算考生答案加权句向量；针对完整考生答案的句向量序列和基于融合注意力机制的加权句向量序列；利用语义特征抽取网络分别计算完整答案的语义向量和基于参考答案注意力的语义向量；将两个向量进行粘接，形成考生答案的最终向量表示。利用多层前馈神经网络对所述考生答案的最终向量表示进行评分。利用本发明，可实现主观题的自动阅卷，大幅提高阅卷效率。

Description

一种面向主观题的智能阅卷方法

技术领域

本发明涉及一种面向主观题的智能阅卷方法，属于自然语言处理的技术领域。

背景技术

随着信息技术的发展和无纸化考试的推进，多项权威资格考试要求考生在计算机上进行作答。传统阅卷方法主要依靠大量经过培训的阅卷人员进行人工阅卷，经济成本高且效率低，而且还会因为阅卷人员的主观差异性及生理疲惫等因素影响阅卷质量的稳定性。机器自动阅卷不仅可以节省经济成本和人力成本，提高阅卷效率，还可以辅助监管阅卷过程，提高整体阅卷质量。随着自然语言处理和人工智能技术的发展，机器智能阅卷已成相关领域的研究重点，部分自动阅卷方法及系统已经引入不同规模的资格考试中，以提高阅卷效率和质量。

现有的阅卷方法及系统大多是面向阅卷流程的，即将试卷图像采集、考生答案字符识别等阅卷流程整合到一套系统中。而对阅卷方法及系统的改进也是针对阅卷流程中的部分环节进行的，比如从提高扫描质量和速度方面改善考生答案图像采集环节，或者是从提高图文转换准确率和识别速度方面改善考生答案字符识别环节，或者是直接识别考生答案中的选择题选项从而省去考生涂答题卡的环节。

在主观题自动阅卷方面，已经有相关申请人公开了相关的技术内容：

中国专利CN107832768A于2018-03-23公开了基于深度学习的高效阅卷方法和阅卷系统通过将多份考生答案和参考答案进行词条匹配来建立“答案库”，在理论上该方法仍属于朴素词形匹配的范围。但是依然无法从整体文本上进行答案语义和逻辑上的推理分析，无法解决有些匹配了部分词条，但是文本整体逻辑不对的情况。

中国专利CN108734153A于2018-11-02公开的一种高效电脑阅卷的方法和系统，通过同义词、近义词匹配将考生答案划分为若干类别，分别由阅卷老师给每个类别打分以减轻阅卷压力，该方法适用于填空题、翻译题等答案变化少且文本较短的题目，在理论上该方法也属于朴素词形匹配的范围，且难以应用到较长的答案文本评阅中。

综上所述，虽然现有的阅卷系统做到了部分阅卷过程的自动化，但具体到最为核心的主观题答案的阅卷环节，仍然停留在基础的词形匹配层面，并没有深入到文本语义，尤其是面对答案文本较长、答案变化多样的主观题，仍然需要由经过专业培训的阅卷人员进行人工批阅。

发明内容

针对现有技术的不足，本发明公开一种面向主观题的智能阅卷方法。本发明所述方法能够高准确率、高效率的实现主观题的自动化评阅，以提高主观题的阅卷效率及阅卷质量。

本发明的技术方案如下：

一种面向主观题的智能阅卷方法，其特征在于，至少包括：

对考生答案文本和参考答案文本分别进行预处理，以获得二者对应的词向量序列表示；

利用语义特征抽取网络提取考生答案和参考答案中句子的语义向量；

利用融合注意力机制计算考生答案和参考答案句向量的语义匹配程度；利用此匹配结果，计算考生答案加权句向量，其中，所述考生答案加权句向量是指考生答案匹配参考答案的加权句向量。

针对完整考生答案的句向量序列和基于融合注意力机制的加权句向量序列，其中，所述融合注意力机制是指一方面度量学生答案匹配参考答案的程度，另一方面从参考答案的角度度量答案的每一个要点被匹配到的程度；利用语义特征抽取网络分别计算完整答案的语义向量和基于参考答案注意力的语义向量；将两个向量进行粘接，形成考生答案的最终向量表示。

利用多层前馈神经网络对所述考生答案的最终向量表示进行评分。

根据本发明优选的，所述对考生答案文本和参考答案文本进行预处理获得二者对应的词向量序列表示的方法包括：

将考生答案文本和参考答案文本进行分句、分词处理，将考生答案文本和参考答案文本按照逗号、句号、冒号和分号切分成短句；

使用预训练的词向量表示考生答案和参考答案中的词汇，对于不存在词向量的词汇进行二次分词，得到子词，将所得子词的词向量的均值作为该词汇的词向量；若该词汇的子词仍没有词向量，则对该子词继续进行拆分，直至拆分到有对应的词向量表示为止。本发明采用该技术特征的原因在于：在专业领域中，存在许多重要的专业词汇缺少词向量的情况。虽然，理论上可以采用基于语料库的词向量方法训练专业词向量，但是包含专业词汇的语料库常常数量较少，难以学到稳定的词向量。因此，本发明特意提出的此类方法实现降阶分词过程，比现有的采用UNK(缺失标记)的处理方式，能够最大程度地利用现有的词汇语义向量，因此，保留了更多的文本语义内容。

根据本发明优选的，所述利用语义特征抽取网络提取考生答案和参考答案句子的语义向量的方法包括：

将考生答案和参考答案分别输入语义特征抽取网络，得到考生答案和参考答案每句话的句向量；

语义特征抽取网络选取循环神经网络或卷积神经网络；

所述循环神经网络可选取单向及双向长短时记忆神经网络、单向及双向门控神经网络、普通循环神经网络；卷积神经网络可选取单层及多层卷积网络。

本发明采用双向长短时记忆神经网络BiLSTM作为语义特征抽取网络，即BiLSTM通过粘结网络最后节点的状态向量形成句向量。

根据本发明优选的，所述双向长短时记忆神经网络BiLSTM包括三个门和一个记忆存储单元c_t的循环网络，分别是输入门i_t、遗忘门f_t和输出门o_t，对于考生答案和参考答案中的每条句子，w_t是词序列中第t个词的词向量，记忆存储单元为c_t，用来计算和存储第t步的信息，h_t是第t步的隐藏状态向量，各个存储单元的更新计算如公式(1)至公式(5)：

tanh (4)

tanh (5)

其中W_f、W_i、W_o、U_f、U_i、U_o分别是LSTM中三个门对应于输入w和隐藏状态h的权重矩阵，b_f、b_i、b_o分别是LSTM中三个门的偏移量，其中所述LSTM是指双向长短时记忆神经网络(BiLSTM)中两个不同方向独立链的一个链；σ和tanh为激活函数，计算方法如公式(6)和(7)，其中e为自然常数，x为输入值：

relu(x)＝max{0,x} (6)

tanh (7)

对于考生答案和参考答案每句话中的词向量通过BiLSTM计算后，得到一个前向输出向量序列

和一个后向输出向量序列

得到该句的句向量表示：

取所有输出向量的均值；

或是拼接前向传播输出向量

和后向传播输出向量

或是每一维度的最大值。

本发明选用在每一维度上进行MaxPooling操作，即选用每一维度的最大值，然后拼接前向和后向所得的向量作为编码后的考生答案和参考答案的句向量，计算如公式(8)和(9)，分别得到学生答案和参考答案的句向量x和a；

x＝[h′；h″]_x a＝[h′；h″]_a (9)

利用上述语义特征抽取网络处理考生答案和参考答案，得到考生答案和参考答案每句话的句向量，公式(24)为其计算公式；

X＝BiLSTM(X_e),A＝BiLSTM(A_e) (24)

其中X_e和A_e分别表示预处理后得到的考生答案和参考答案的词向量序列表示，X和A分别表示经语义特征抽取网络处理后的考生答案和参考答案的语义特征向量表示，BiLSTM表示采用双向长短时记忆神经网络作为语义特征抽取网络。

发明采用该技术特征的原因在于：长短时记忆神经网络LSTM能够保留较长距离的语义依赖关系，而双向LSTM能够兼顾语句的正向和反向的语义关联关系。针对输出序列采用MaxPooling选取向量，能够保留文本序列的双向最大关注语义，而且降低了模型复杂度，即后继模型部分用到的参数数量。

根据本发明优选的，所述计算考生答案和参考答案的匹配程度方法包括：

所述融合注意力机制优选为双向互注意力机制，利用双向互注意力机制计算考生答案和参考答案的匹配程度，得到特定于该考生答案的参考答案的语义向量表示，具体包括：

其中，所述双向互注意力机制计算包含以下三个部分，

第一部分：计算考生答案对参考答案的单向注意力：

首先，对考生答案和参考答案的语义特征向量表示X和A进行矩阵乘法，得到考生答案和参考答案的语义相似度矩阵M，如公式(10)所示，采用n表示参考答案所切分的句子数量，m表示考生答案所切分的句子数量，M为n*m的实数矩阵，M_p,q表示参考答案第p句话和考生答案第q句话的语义相似系数,p∈[1..n],q∈[1..m]；

M＝A·X^T (10)

然后，对语义相似度矩阵M的每一列通过softmax函数进行列归一化，softmax计算过程如公式(11)和公式(12)所示，其中M_i,q表示参考答案第i句话和考生答案第q句话的语义相似系数；公式(13)给出得到的考生答案对参考答案的单向注意力矩阵α；

α(q)＝softmax(M_1,q,M_2,q,…,M_i,q,…,M_n,q) (11)

α＝[α(1),…,α(m)] (13)

第二部分，计算参考答案对考生答案的单向注意力：

首先对第一部分所得的语义相似度矩阵M的每一行通过softmax函数进行行归一化，得到参考答案对考生答案的单向注意力矩阵β，如公式(14)和公式(15)所示；然后将参考答案对考生答案的单向注意力矩阵β在列方向上求均值，得到参考答案对考生答案的单向注意力权重向量β_ave，如公式(16)所示；

β(p)＝softmax(M_p,1,M_p,2,…,M_p,j,…M_p,m) (14)

β＝[β(1),…,β(p),…β(n)] (15)

第三部分，计算考生答案和参考答案的互注意力，得到对应于该考生答案的参考答案向量表示：

将考生答案对参考答案的单向注意力矩阵α和参考答案对考生答案的单向注意力权重向量β_ave相乘，得到考生答案对参考答案的匹配权重向量α_{A_x}，如公式(17)所示；将考生答案对参考答案的匹配权重向量α_{A_X}和参考答案的语义特征向量表示A相乘，得到对应于该考生答案的参考答案关注向量表示A_X，如公式(18)所示。

α_{A_X}＝α·β_ave ^T (17)

A_X＝A×α_{A_X} (18)

本发明采用上述双向互注意力机制的原因在于：相较于普通的注意力机制，即是考生答案对参考答案的单向注意力矩阵α中的每一行相加或者求均值作为注意力权重向量，在主观题评阅任务中，对于考生答案的第q句话X_q，即使这句话的内容与参考答案完全不相干，在对语义相似度矩阵M进行列归一化之后，X_q在参考答案中的每句话上的匹配程度之和仍为1，导致模型在阅卷时不能有效地识别出考生答案中无用的句子，进而影响阅卷效果。本发明所述的双向互注意力机制通过计算考生答案和参考答案之间的双向互注意力，计算考生答案中的每句话在参考答案整体上的匹配权重系数，通过为考生答案中不相关的话赋予较小的权重，从而解决上述问题。

根据本发明优选的，利用语义特征抽取网络分别计算完整答案的语义向量和基于参考答案注意力的语义向量；将两个向量进行粘接，形成考生答案的最终向量v表示包括：

提取考生答案和参考答案的句向量序列特征过程如下：将考生答案语义特征向量表示X和对应于该考生答案的参考答案关注向量表示A_X分别输入语义特征抽取网络，得到考生答案向量v_X和参考答案关注向量v_A，本发明采用双向长短时记忆神经网络BiLSTM，计算过程如公式(1)-(9)所示，简化表示为公式(19)；语义特征抽取网络还可以选取循环神经网络或卷积神经网络；循环神经网络可选取单向及双向长短时记忆神经网络、单向及双向门控单元神经网络、普通循环神经网络；卷积神经网络可选取单层及多层卷积网络；

v_X＝BiLSTM(X),v_A＝BiLSTM(A_X) (19)

将考生答案向量v_X和参考答案关注向量v_A进行拼接得到考生答案的最终向量表示v，如公式(20)所示：

本发明采用该技术特征的原因在于：长短时记忆神经网络LSTM能够保留较长距离的语义依赖关系，而双向LSTM能够兼顾语句的正向和反向的语义关联关系。针对输出序列采用MaxPooling选取向量，能够保留文本序列的双向最大关注语义，而且降低了模型复杂度，即后继模型部分用到的参数数量。

根据本发明优选的，所述利用多层前馈神经网络对最终的考生答案向量进行评分方法包括：

将考生答案最终向量表示v输入到多层全连接神经网络，W₁、b₁分别为第一层全连接网络的权重矩阵和偏置向量，W₂、b₂为第二层全连接网络的权重矩阵和偏置向量，v₁和v₂分别表示第一层全连接网络和第二层全连接网络的输出,如公式(21)和公式(22)所示：

v₁＝relu(W₁·v+b₁) (21)

v₂＝relu(W₂·v₁+b₂) (22)

其中多层全连接神经网络的激活函数为relu函数、tanh函数或者其他激活函数；

其中，

relu(x)＝max(0,x) (25)

tanh (26)

公式(25)、公式(26)和公式(27)分别为relu函数、tanh函数和sigmoid函数的计算公式，其中e为自然常数，x为输入值；

最后，针对专业主观题的评分特点，即专家按照考生答案的知识点进行评阅，分数是离散数据且总体分数不高，可以选用离散区间分类方式或是连续回归数值方式进行评阅。

根据本发明优选的，选用离散区间分类方式进行评阅的方法包括：

依据参考答案的得分点，划分不同的分数段作为不同类别，选用softmax函数给出考生答案得分c，如公式(23)所示：

c＝softmax(v₂) (23)。

本发明采用该技术特征的原因在于：相对于数值回归方式进行分数预测，难以兼顾分数的上下边界和中间取值的不同分布，采用在不同分数段进行分类的方法，能够更好地适配不同题目下学生成绩分布差异大的情况。

本发明的技术优势在于：

1)本发明所述方法应用在阅卷过程中，对主观题的审阅，只需给定参考答案和少量训练数据,便可对考生答案进行自动评阅，解决传统阅卷方法效率低下的问题；本发明可用于辅助监督阅卷过程，解决因阅卷人的主观性及生理疲劳导致的阅卷质量参差不齐的问题。

2)本发明所述方法能有效解决词向量缺失问题。在专业领域中，存在许多重要的专业词汇缺少词向量的情况。虽然，理论上可以采用基于语料库的词向量方法训练专业词向量，但是包含专业词汇的语料库数量较少，难以学到稳定的词向量。本文提出的这种通过降阶分词获取词向量的方法，相较于现有的采用UNK(缺失标记)的处理方式，能够最大程度地利用现有的词汇语义向量，保留更多的文本语义内容，从而提升在各不同领域考试中的阅卷效果。

3)本发明通过注意力机制计算考生答案对参考答案的匹配程度。在主观题考试中，逻辑错误的考生答案可能命中了多个参考答案中的词汇，导致二者在词汇甚至短语级别上十分相似，现有的基于词形匹配的方法不能有效处理此类问题而产生误判。本发明通过计算考生答案对参考答案的注意力及参考答案对考生答案的注意力，从语义层面给出二者的匹配程度，进而克服上述误判问题，提升阅卷质量。

4)本发明能有效解决少量训练样本下的主观题评阅问题。基于深度学习的模型通常需要大量的训练数据来训练模型，但是在真实的阅卷场景中，机器阅卷可供学习的样本来源于少量专业阅卷人的人工标注，因此可供机器学习的样本数量相对较少。本发明一是通过降阶分词获取词向量及注意力机制，能从语义层面捕获考生答案和参考答案的匹配程度；二是，通过复用语义提取网络的权重，即学生答案向量和关注参考答案的加权向量生成网络，不仅复用了语义关联的隐含知识而且减少了参数数量；再者，针对输出序列采用MaxPooling选取向量，不仅保留了文本序列的双向最大关注语义，而且降低了模型复杂度，即后继模型部分用到的参数数量。从而使得模型在较少训练样本的情况下依然取得较好的阅卷效果。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明的一种面向主观题的智能阅卷方法的整体流程图；

图2是本发明中利用循环神经网络提取考生答案和参考答案句子的语义特征的流程图；

图3是本发明中考生答案和参考答案匹配程度的计算流程图；

图4是本发明中考生答案的最终向量表示的计算流程图。

具体实施方式

为了使本技术领域的人员更好地理解本发明实施例的方案，下面结合附图和实施方式对本发明实施例作进一步的详细说明。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

对于某专业资格考试的某道主观题，给定参考答案、45000份考生答案及相应考生答案得分，其中考生答案得分是由专业阅卷人给出的。

为验证本发明所述方法的有效性，同时采用本发明所提出的阅卷方法对考生答案结合参考答案进行自动评阅，具体实施过程如下:

如图1所示，一种面向主观题的智能阅卷方法，包括：

对考生答案文本和参考答案文本分别进行预处理，以获得二者对应的词向量序列表示；

利用语义特征抽取网络提取考生答案和参考答案中句子的语义向量；

利用融合注意力机制计算考生答案和参考答案句向量的语义匹配程度；利用此匹配结果，计算考生答案加权句向量，其中，所述考生答案加权句向量是指考生答案匹配参考答案的加权句向量。

针对完整考生答案的句向量序列和基于融合注意力机制的加权句向量序列，其中，所述融合注意力机制是指一方面度量学生答案匹配参考答案的程度，另一方面从参考答案的角度度量答案的每一个要点被匹配到的程度；利用语义特征抽取网络分别计算完整答案的语义向量和基于参考答案注意力的语义向量；将两个向量进行粘接，形成考生答案的最终向量表示。

利用多层前馈神经网络对所述考生答案的最终向量表示进行评分。

如图2所示，所述对考生答案文本和参考答案文本进行预处理获得二者对应的词向量序列表示的方法包括：

将考生答案文本和参考答案文本进行分句、分词处理，将考生答案文本和参考答案文本按照逗号、句号、冒号和分号切分成短句；

使用预训练的词向量表示考生答案和参考答案中的词汇，对于不存在词向量的词汇进行二次分词，得到子词，将所得子词的词向量的均值作为该词汇的词向量；若该词汇的子词仍没有词向量，则对该子词继续进行拆分，直至拆分到有对应的词向量表示为止。例如：将考生答案和参考答案按照逗号、句号、冒号和分号切分成短句进行分句，分句数量分别为20和10，句子数量不足的用零向量补齐。该步骤中用“jieba分词工具”对考生答案和参考答案的短句进行分词处理，分词数量为20，词汇数量不足的用零向量填充。使用预训练的词向量表示词汇，对不存在词向量的词汇，通过降阶分词方法获取其词向量。

如图2所示，所述利用语义特征抽取网络提取考生答案和参考答案句子的语义向量的方法包括：

将考生答案和参考答案分别输入语义特征抽取网络，得到考生答案和参考答案每句话的句向量；

将考生答案和参考答案分别输入语义特征抽取网络，得到考生答案和参考答案每句话的句向量，公式(24)为其计算公式；

X＝BiLSTM(X_e),A＝BiLSTM(A_e) (24)

其中X_e和A_e分别表示预处理后得到的考生答案和参考答案的词向量序列表示，X和A分别表示经语义特征抽取网络处理后的考生答案和参考答案的语义特征向量表示，BiLSTM表示采用双向长短时记忆神经网络作为语义特征抽取网络。

语义特征抽取网络选取循环神经网络或卷积神经网络；

所述循环神经网络可选取单向及双向长短时记忆神经网络、单向及双向门控神经网络、普通循环神经网络；卷积神经网络可选取单层及多层卷积网络。

本发明采用双向长短时记忆神经网络BiLSTM作为语义特征抽取网络，通过粘结网络最后节点的状态向量形成句向量。

所述双向长短时记忆神经网络BiLSTM包括三个门和一个记忆存储单元c_t的循环网络，分别是输入门i_t、遗忘门f_t和输出门o_t，对于考生答案和参考答案中的每条句子，w_t是词序列中第t个词的词向量，记忆存储单元为c_t，用来计算和存储第t步的信息，h_t是第t步的隐藏状态向量，各个存储单元的更新计算如公式(1)至公式(5)：

tanh (4)

tanh (5)

其中W_f、W_i、W_o、U_f、U_i、U_o分别是LSTM中三个门对应于输入w和隐藏状态h的权重矩阵，b_f、b_i、b_o分别是LSTM中三个门的偏移量，σ和tanh为激活函数，计算方法如公式(6)和(7)，其中e为自然常数，x为输入值：

relu(x)＝max{0,x} (6)

tanh (7)

对于考生答案和参考答案每句话中的词向量通过BiLSTM计算后，得到一个前向输出向量序列

和一个后向输出向量序列

得到该句的句向量表示：

取所有输出向量的均值；

或是拼接前向传播输出向量

和后向传播输出向量

或是每一维度的最大值。

本发明选用在每一维度上进行MaxPooling操作，即选用每一维度的最大值，然后拼接前向和后项所得的向量作为编码后的考生答案和参考答案的句向量，计算如公式(8)和(9)，分别得到学生答案和参考答案的句向量x和a；

x＝[h′；h″]_x a＝[h′；h″]_a (9)

利用上述语义特征抽取网络处理考生答案和参考答案，得到完整答案的句向量矩阵X和A，如公式(24)。

如图3所示，所述计算考生答案和参考答案的匹配程度方法包括：

所述融合注意力机制优选为双向互注意力机制，利用双向互注意力机制计算考生答案和参考答案的匹配程度，得到特定于该考生答案的参考答案的语义向量表示，具体包括：

其中，所述双向互注意力机制计算包含以下三个部分，

第一部分：计算考生答案对参考答案的单向注意力：

首先，对考生答案和参考答案的语义特征向量表示X和A进行矩阵乘法，得到考生答案和参考答案的语义相似度矩阵M,如公式(10)所示，采用n表示参考答案所切分的句子数量，m表示考生答案所切分的句子数量，M为n*m的实数矩阵，M_p,q表示参考答案第p句话和考生答案第q句话的语义相似系数,p∈[1..n],q∈[1..m]；

M＝A·X^T (10)

然后，对语义相似度矩阵M的每一列通过softmax函数进行列归一化，softmax计算过程如公式(11)和公式(12)所示，其中M_i,q表示参考答案第i句话和考生答案第q句话的语义相似系数；公式(13)给出得到的考生答案对参考答案的单向注意力矩阵α；

α(q)＝softmax(M_1,q,M_2,q,…,M_i,q,…,M_n,q) (11)

α＝[α(1),…,α(m)] (13)

第二部分，计算参考答案对考生答案的单向注意力：

首先对第一部分所得的语义相似度矩阵M的每一行通过softmax函数进行行归一化，得到参考答案对考生答案的单向注意力矩阵β，如公式(14)和公式(15)所示；然后将参考答案对考生答案的单向注意力矩阵β在列方向上求均值，得到参考答案对考生答案的单向注意力权重向量β_ave，如公式(16)所示；

β(p)＝softmax(M_p,1,M_p,2,…,M_p,j,…M_p,m) (14)

β＝[β(1),…,β(p),…β(n)](15)

第三部分，计算考生答案和参考答案的互注意力，得到对应于该考生答案的参考答案向量表示：

将考生答案对参考答案的单向注意力矩阵α和参考答案对考生答案的单向注意力权重向量β_ave相乘，得到考生答案对参考答案的匹配权重向量α_{A_X}，如公式(17)所示；将考生答案对参考答案的匹配权重向量α_{A_X}和参考答案的语义特征向量表示A相乘，得到对应于该考生答案的参考答案向量表示A_X，如公式(18)所示。

α_{A_X}＝α·β_ave ^T (17)

A_X＝A×α_{A_X} (18)。

如图4所示，利用语义特征抽取网络分别计算完整答案的语义向量和基于参考答案注意力的语义向量；将两个向量进行粘接，形成考生答案的最终向量v表示包括：

提取考生答案和参考答案的句向量序列特征过程如下：将考生答案语义特征向量表示X和特定于该考生答案的参考答案关注向量表示A_X分别输入语义特征抽取网络，得到考生答案向量v_X和参考答案关注向量v_A，本发明采用双向长短时记忆神经网络BiLSTM，计算过程如公式(1)-(9)所示，简化表示为公式(19)；语义特征抽取网络还可以选取循环神经网络或卷积神经网络；循环神经网络可选取单向及双向长短时记忆神经网络、单向及双向门控单元神经网络、普通循环神经网络；卷积神经网络可选取单层及多层卷积网络；

v_X＝BiLSTM(X),v_A＝BiLSTM(A_x) (19)

将考生答案向量v_X和参考答案关注向量v_A进行拼接得到考生答案的最终向量表示v，如公式(20)所示：

所述利用多层前馈神经网络对最终的考生答案向量进行评分方法包括：

将考生答案最终向量表示v输入到多层全连接神经网络，W₁、b₁分别为第一层全连接网络的权重矩阵和偏置向量，W₂、b₂为第二层全连接网络的权重矩阵和偏置向量，v₁和v₂分别表示第一层全连接网络和第二层全连接网络的输出,如公式(21)和公式(22)所示：

v₁＝relu(W₁·v+b₁) (21)

n₂＝relu(W₂·v₁+b₂) (22)

其中多层全连接神经网络的激活函数为relu函数、tanh函数或者其他激活函数；

其中，

relu(x)＝max(0,x) (25)

tanh (26)

公式(25)、公式(26)和公式(27)分别为relu函数、tanh函数和sigmoid函数的计算公式，其中e为自然常数，x为输入值。

最后，选用离散区间分类方式或是连续回归数值方式进行评阅。

选用离散区间分类方式进行评阅的方法包括：

依据参考答案的得分点，划分不同的分数段作为不同类别，选用softmax函数给出考生答案得分c，如公式(23)所示：

c＝softmax(v₂) (23)。

以考生答案和专业阅卷人对应给出的得分作为整体实例，整体实例中的一部分为训练集和验证集，整体实例中的另一部分为测试集，为验证本发明在较少的训练样本下的阅卷效果，选取总数据量的0.5％，1％，5％，10％和30％构建不同大小的训练集，以准确率作为阅卷效果评价依据。

另，只有当本发明所述方法阅卷给出的考生答案得分与专业阅卷人给出的得分完全一致时，才认定为机器对该考生答案打分正确。

本发明所述方法具有较高的阅卷效率：利用本发明所述方法对主观题进行阅卷，在半小时内即可完成45000份考生答案的训练和打分过程。

针对考生答案分别进行人为打分和本发明自动阅卷打分，将两者的准确率进行比较，结果如下：

当训练数据量为0.5％时，本发明打分结果相比于人为打分准确率达到85.1％；

当训练数据量为1％时，本发明打分结果相比于人为打分准确率达到85.6％；

当训练数据量为5％时，本发明打分结果相比于人为打分准确率达到88％；

当训练数据量为10％时，本发明打分结果相比于人为打分准确率达到88.2％；

当训练数据量为30％时，本发明打分结果相比于人为打分准确率达到88.4％。

通过上述实际阅卷比对，可知本发明所述的智能阅卷方法在较少训练样本下也具有较好的阅卷效果。

Claims (6)

1.一种面向主观题的智能阅卷方法，其特征在于，至少包括：

对考生答案文本和参考答案文本分别进行预处理，以获得二者对应的词向量序列表示；

将二者对应的词向量序列输入到第一语义特征抽取网络，利用第一语义特征抽取网络计算提取考生答案和参考答案中句子的语义向量，其中，句子的语义向量简记为句向量；利用融合注意力机制计算考生答案和参考答案句向量的语义匹配程度；利用此匹配结果，计算考生答案加权句向量，其中，所述考生答案加权句向量是指考生答案匹配参考答案的加权句向量；其中，所述融合注意力机制是指一方面度量考生答案匹配参考答案的程度，另一方面从参考答案的角度度量答案的每一个要点被匹配到的程度；

针对考生答案的句向量序列和基于融合注意力机制的加权句向量序列，将考生答案的句向量序列和基于融合注意力机制的加权句向量序列输入到第二语义特征向量，利用第二语义特征抽取网络分别计算提取考生答案句向量序列的语义向量和基于融合注意力机制的加权句向量序列的语义向量；将两个向量进行粘接，形成考生答案的最终向量表示；利用多层前馈神经网络对所述考生答案的最终向量表示进行；

所述对考生答案文本和参考答案文本进行预处理获得二者对应的词向量序列表示的方法包括：

将考生答案文本和参考答案文本进行分句、分词处理，将考生答案文本和参考答案文本按照逗号、句号、冒号和分号切分成短句；

使用预训练的词向量表示考生答案和参考答案中的词汇，对于不存在词向量的词汇进行二次分词，得到子词，将所述子词的词向量的均值作为该词汇的词向量；若该词汇的子词仍没有词向量，则对该子词继续进行拆分，直至拆分到有对应的词向量表示为止。

2.根据权利要求1所述的一种面向主观题的智能阅卷方法，其特征在于，所述利用第一语义特征抽取网络计算提取考生答案和参考答案句子的语义向量的方法包括：

将考生答案和参考答案的词向量序列分别输入第一语义特征抽取网络，得到考生答案和参考答案每句话的句向量；

第一语义特征抽取网络选取循环神经网络或卷积神经网络；

所述循环神经网络可选取单向或双向长短时记忆神经网络、单向或双向门控神经网络、普通循环神经网络；卷积神经网络可选取单层或多层卷积网络。

3.根据权利要求1所述的一种面向主观题的智能阅卷方法，其特征在于，所述计算考生答案和参考答案的语义匹配程度方法包括：

所述融合注意力机制优选为双向互注意力机制，利用双向互注意力机制计算考生答案和参考答案的匹配程度，得到特定于该考生答案的参考答案的语义向量表示，具体包括：

其中，所述双向互注意力机制计算包含以下三个部分，

第一部分：计算考生答案对参考答案的单向注意力：

首先，对考生答案和参考答案的句向量表示X和A进行矩阵乘法，得到考生答案和参考答案的语义相似度矩阵M，如公式(10)所示，采用n表示参考答案所切分的句子数量，m表示考生答案所切分的句子数量，M为n*m的实数矩阵，M_p，q表示参考答案第p句话和考生答案第q句话的语义相似系数，p∈[1..n]，q∈[1..m]；

M＝A·X^T (10)

然后，对语义相似度矩阵M的每一列通过softmax函数进行列归一化，softmax计算过程如公式(11)和公式(12)所示，其中M_i，q表示参考答案第i句话和考生答案第q句话的语义相似系数；公式(13)给出得到的考生答案对参考答案的单向注意力矩阵α；

α(q)＝softmax(M_1，q，M_2，q，...，M_i，q，...，M_n，q) (11)

α＝[α(1)，...，α(m)] (13)

第二部分，计算参考答案对考生答案的单向注意力：

首先对第一部分所得的语义相似度矩阵M的每一行通过softmax函数进行行归一化，得到参考答案对考生答案的单向注意力矩阵β，如公式(14)和公式(15)所示；然后将参考答案对考生答案的单向注意力矩阵β在列方向上求均值，得到参考答案对考生答案的单向注意力权重向量β_ave，如公式(16)所示；

β(p)＝softmax(M_p，1，M_p，2，...，M_p，j，...M_p，m) (14)

β＝[β(1)，...，β(p)，...β(n)] (15)

第三部分，计算考生答案和参考答案的互注意力，得到对应于该考生答案的参考答案向量表示：

将考生答案对参考答案的单向注意力矩阵α和参考答案对考生答案的单向注意力权重向量β_ave相乘，得到考生答案对参考答案的匹配权重向量α_{A_X}，如公式(17)所示；将考生答案对参考答案的匹配权重向量α_{A_X}和参考答案的语义特征向量表示A相乘，得到对应于该考生答案的参考答案关注向量表示A_X，即考生答案匹配参考答案的加权句向量，如公式(18)所示：

α_{A_x}＝α·β_ave ^T (17)

A_X＝A×α_{A_X} (18)。

4.根据权利要求3所述的一种面向主观题的智能阅卷方法，其特征在于，利用第二语义特征抽取网络分别计算提取考生答案句向量的语义向量和基于融合注意力机制的加权句向量的语义向量；将两个向量进行粘接，形成考生答案的最终向量v表示包括：

提取考生答案和参考答案的语义向量特征过程如下：将考生答案句向量表示X和对应于该考生答案的加权句向量Ax分别输入第二语义特征抽取网络，得到完整考生答案的语义向量v_X和基于融合注意力机制的加权句向量的语义向量v_A，采用双向长短时记忆网络BiLSTM，计算过程表示为公式(19)；第二语义特征抽取网络还可以选取循环神经网络或卷积神经网络；循环神经网络可选取单向或双向长短时记忆神经网络、单向或双向门控单元神经网络、普通循环神经网络；卷积神经网络可选取单层或多层卷积网络；

v_X＝BiLSTM(X)，v_A＝BiLSTM(A_X) (19)

将考生答案向量v_X和参考答案关注向量v_A进行拼接得到考生答案的最终向量表示v，如公式(20)所示：

5.根据权利要求4所述的一种面向主观题的智能阅卷方法，其特征在于，所述利用多层前馈神经网络对最终的考生答案向量进行评分方法包括：

将考生答案最终向量表示v输入到多层全连接神经网络，W₁、b₁分别为第一层全连接网络的权重矩阵和偏置向量，W₂、b₂为第二层全连接网络的权重矩阵和偏置向量，v₁和v₂分别表示第一层全连接网络和第二层全连接网络的输出，如公式(21)和公式(22)所示：

v₁＝relu(W₁·v+b₁) (21)

v₂＝relu(W₂·v₁+b₂) (22)

其中多层全连接神经网络的激活函数为relu函数、tanh函数或者其他激活函数；其中，

relu(x)＝max(0，x) (25)

公式(25)、公式(26)和公式(27)分别为relu函数、tanh函数和sigmoid函数的计算公式，其中e为自然常数，x为输入值；

最后，选用离散区间分类方式或是连续回归数值方式进行评阅。

6.根据权利要求5所述的一种面向主观题的智能阅卷方法，其特征在于，选用离散区间分类方式进行评阅的方法包括：

依据参考答案的得分点，划分不同的分数段作为不同类别，选用softmax函数给出考生答案得分c，如公式(23)所示：

c＝softmax(v₂) (23)。

Images