CN113935459A - 一种基于bert的深度神经网络模型的自动评卷方法 - Google Patents

一种基于bert的深度神经网络模型的自动评卷方法 Download PDF

Info

Publication number
CN113935459A
CN113935459A CN202111115698.8A CN202111115698A CN113935459A CN 113935459 A CN113935459 A CN 113935459A CN 202111115698 A CN202111115698 A CN 202111115698A CN 113935459 A CN113935459 A CN 113935459A
Authority
CN
China
Prior art keywords
bert
answer
layer
network
test paper
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111115698.8A
Other languages
English (en)
Other versions
CN113935459B (zh
Inventor
朱新华
吴晗
张兰芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Zhaoji Biotechnology Co ltd
Original Assignee
Guangxi Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangxi Normal University filed Critical Guangxi Normal University
Priority to CN202111115698.8A priority Critical patent/CN113935459B/zh
Publication of CN113935459A publication Critical patent/CN113935459A/zh
Application granted granted Critical
Publication of CN113935459B publication Critical patent/CN113935459B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明公开了一种基于BERT的深度神经网络模型的自动评卷方法，在编码答案文本的微调BERT模型之上，构建一个语义细化层来细化BERT输出的语义，为BERT模型的隐藏状态提取相关的局部上下文。其次，引入一个多头注意力来融合从BERT输出中提取的全局上下文和局部上下文，作为学生答案和参考答案的句子对的最终表示。再者，本发明为简答题自动评卷提出了一种三重热点的策略，它将标准交叉熵损失函数中的计算标签从单独热点黄金分布改进为三重热点黄金分布。通过本发明实现端到端的简答题自动阅卷，以更有效的方法解决简答题自动评卷问题。

Description

一种基于BERT的深度神经网络模型的自动评卷方法
技术领域
本发明涉及教育技术与计算机应用技术领域，尤其是一种基于BERT的深度神经网络模型的自动评卷方法，可广泛应用于各个领域的简答题计算机自动阅卷系统中。
背景技术
考试试卷中的试题从答案组成的形式上，被普遍分为客观题与主观题两大类。答案以选项编号表示的单选题、多选题、判断题等试题被称为客观题，而答案采用自然语言表示的简答题、名词解释和论述题等试题被称为主观题。由于单选题、多选题、判断题等客观题目的答案都是以选项编号表示，目前计算机对于此类题型进行自动阅卷时，只需将标准答案的选项编号与学生答案的选项编号进行简单的匹配运算，匹配成功则答案正确，该处理技术已经取得较好的成果。但对于答案采用自然语言表示的主观题自动阅卷技术,如：对简答题、名词解释和论述题等自动评卷，由于其受到自然语言理解、模式识别等理论与技术瓶颈影响,效果不是很理想。
主观题不同于客观题，不仅需要采用自然语言表示答案，而且具有一定的主观性，允许学生在一定的范围内答题，因此答案往往不是唯一的，而且学生答题的方式会有多种形式。另一方面，教师在批阅试卷的时候，还可能会受到主观因素的影响，以及学生字体是否美观、卷面是否整洁等的影响，使得教师在评卷时，出现不合理的加分或扣分现象，有失考试的公正性和公平性。主观题的计算机自动阅卷，既减轻了教师人工阅卷的劳动强度，又减少人为因素的影响，保证了阅卷的客观性、公正性，因此对主观题计算机自动阅卷技术的研究，具有重要的意义。然而，由于主观题学生答案的多样性与随意性，目前还没有使用计算机对主观题进行自动阅卷的成熟技术，并且普遍仅关注于答案文本较短的简答题。
在传统的简答题计算机自动阅卷系统中，普遍采用关键字匹配技术进行主观题自动阅卷，即在答案中标注出若干关键字或关键词，将其与学生答案进行匹配，并根据匹配成功的多少对学生答案进行评卷，由于自然语言的多样性与随意性，这种方法的评卷准确率非常低。为提高评卷的准确率，出现了一些基于句法分析与语义分析的主观题自动阅卷方法，这类评卷方法虽然可以在评卷过程中融入语义分析，提高了评卷的准确率，但由于句法分析自身的准确率不高，以及语义分析无法处理句子的时序性，这极大地限制了这类系统的应用范围与实用性。
随着人工神经网络技术的不断发展，许多深度学习模型如基于LSTM的模型、基于CNN&LSTM的模型和基于Transformer的模型被应用于简答题评卷。这些深度学习模型利用不同的神经网络从转换为词嵌入序列的答案文本中自动提取局部和全局语义信息，从而提供一种无需任何特征工程工作的端到端方法。然而，简答题自动评卷的深度学习方法仍然具有挑战性，主要有两个原因：首先，学生通常使用不同的自由文本来回答同一个问题，学生的答案在句子结构、语言风格和文本长度上可能存在显着差异。因此，有必要利用先进的学习技术在简答题自动评卷任务中结合不同的深度神经网络，以实现对学生答案更深入的语义理解；其次，简答题自动评卷的深度学习方法是一种全监督机器学习，需要为训练语料中的每个学生答案分配一个标签分数，如表1所示。自由表达的学生答案，简答题自动评卷的训练语料库通常很小。因此，如何在小语料库上训练出稳定有效的深度神经网络模型是简答题自动评卷深度学习方法面临的一大挑战。
表1在Mohler数据集中的简答题语料
Figure BDA0003275172080000021
发明内容
本发明公开了一种基于BERT的深度神经网络模型的自动评卷方法，采用了基于BERT的自动简答题评卷深度神经网络模型，实现端到端的简答题自动阅卷，以更有效的方法解决简答题自动评卷问题。
为实现上述目的，本发明的技术方案为：
一种基于BERT的深度神经网络模型的自动评卷方法，包括以下步骤：
S1.BERT编码层：将输入序列s送入BERT编码层进行处理，所述BERT编码层以微调的方式运行，得到BERT编码层的输出OBERT，并把OBERT作为简答题评卷的初始编码；
S2.语义细化层：使用Bi-LSTM网络为BERT编码层的输出OBERT提取精细的全局上下文，使用Capsule网络为BERT编码层隐藏状态提取相关局部上下文，Bi-LSTM网络和Capsule网络并行工作，得到输出
Figure BDA0003275172080000031
和OCaps；
S3.语义融合层：通过语义融合层将语义细化层的三种输出语义
Figure BDA0003275172080000032
和OCaps整合在一起，得到简答题评卷的连接语义表示X；使用一个多头注意力共同关注X中不同位置的信息，得到简答题评卷的融合语义表示X(h)；
S4.预测层：对简答题评卷的融合语义表示X(h)执行一个最大池化操作，得到简答题评卷的最终语义表示Z，将Z输入到一个线性变换层，进行评卷区间的预测概率计算，获得使预测概率为最大值的评卷区间；
S5.将标准交叉熵损失函数中的计算标签改进为三重热点黄金分布，训练实现最小化Ω中所有训练学生答案的损失误差，Ω是自动简答题评卷任务中的训练学生答案的集合。
进一步的，所述步骤S1具体包括：
S1.1 BERT编码层的输入序列s是由学生答案和参考答案的句子对所组成，如下所示：
Figure BDA0003275172080000033
其中，w[CLS]是BERT分类符[CLS]的编码，q是学生答案，
Figure BDA0003275172080000034
是参考答案的字词编码序列，p是主观题题目T的参考答案，
Figure BDA0003275172080000035
是参考答案的字词编码序列，w[SEP]是BERT分隔符[SEP]的编码,u是学生答案中字词的个数，v是参考答案中字词的个数,n是输入序列s的长度，且n＝u+v+3，dw是BERT中字符编码的维度；所述“字词”是指文本经Bert的分词器Tokenzier分离出的语言片段；
S1.2将输入序列s送入BERT编码层进行处理，得到BERT编码层的输出OBERT，并把OBERT作为简答题评卷的初始编码，计算过程如下：
Figure BDA0003275172080000036
其中，BERT(·)表示BERT编码层,
Figure BDA0003275172080000037
是BERT编码层的第i个隐藏状态,db是BERT编码层的隐藏单元数。
进一步的，所述步骤S2具体包括：
Figure BDA0003275172080000038
Figure BDA0003275172080000039
Figure BDA0003275172080000041
其中，
Figure BDA0003275172080000042
表示一个按从左到右时序处理OBERT的LSTM网络，
Figure BDA0003275172080000043
表示一个按从右到左时序处理OBERT的LSTM网络，
Figure BDA0003275172080000044
表示
Figure BDA0003275172080000045
网络的输出，
Figure BDA0003275172080000046
表示
Figure BDA0003275172080000047
网络的输出，Capsules(OBERT)表示一个输入为OBERT的Capsule网络，OCaps表示Capsules(OBERT)网络的输出，
Figure BDA0003275172080000048
分别表示
Figure BDA0003275172080000049
和
Figure BDA00032751720800000410
网络中第i个时间步的隐藏状态，
Figure BDA00032751720800000411
表示Capsule网络中卷积胶囊层的第i个输出向量，dL是LSTM网络中隐藏单元的数量,dc是Capsule网络中卷积核的数量；
对
Figure BDA00032751720800000412
和OCaps使用layer normalization进行层归一化处理，处理为-1和1之间的不饱和值。
所述步骤S3中，所述语义融合层的具体处理步骤包括：
将层归一化处理后的
Figure BDA00032751720800000413
和OCaps连接在一起，得到简答题评卷的连接语义表示X，计算过程如下：
Figure BDA00032751720800000414
Figure BDA00032751720800000415
Figure BDA00032751720800000416
Figure BDA00032751720800000417
其中，d＝2dL+dc，xi为输入序列s中第i个字词所对应的连接语义，
Figure BDA00032751720800000418
为输入序列s中第i个字词所对应的全局上下文表示，
Figure BDA00032751720800000419
为输入序列s中第i个字词所对应的局部上下文表示。
更进一步的，所述使用一个多头注意力共同关注X中不同位置的信息具体包括：
Figure BDA00032751720800000420
其中，MHA(X,X,X)表示输入Q＝K＝V＝X的多头注意力MHA(Q,K,V)，多头注意力MHA(Q,K,V)的计算过程如下：
MHA(Q,K,V)＝tanh([head1；head2；...；headh]wR) (11)
headi＝Attention(Qi,Ki,Vi)＝Attention(QwQ,KwK,VwV) (12)
Figure BDA00032751720800000421
其中，
Figure BDA0003275172080000051
是多头注意力的三个输入，headi表示多头注意力中的第i个头，tanh(·)表示双曲正切函数，
Figure BDA0003275172080000052
是可学习的参数矩阵dK＝dV＝d÷h，h是多头注意力中头的数量。
进一步的，所述步骤S4中，最大池化操作的具体步骤包括：
Figure BDA0003275172080000053
其中，zj是Z的第j个元素，计算过程如下：
Figure BDA0003275172080000054
其中，Max(·)表示求最大值的函数，
Figure BDA0003275172080000055
为X(h)的第i行第j列的元素，Z是给定简答题评卷的最终语义表示。
更进一步的，线性变换层的具体步骤包括：
o＝MZT+b (16)
Figure BDA0003275172080000056
Figure BDA0003275172080000057
其中，
Figure BDA0003275172080000058
是评卷区间表示矩阵，ZT表示对Z进行转置，
Figure BDA0003275172080000059
是一个偏置向量，dy是评卷区间的个数，o是表示所有评卷区间置信分数的向量，oy表示标注为评卷区间y的样本的置信分数，oi表示样本在第i个评卷区间上的置信分数，pr(y|Z)表示给定简答题评卷的最终语义表示Z在评卷区间y上的预测概率，Y是所有评卷区间按从低分到高分排列的列表，y*为最终评定的评卷区间，
Figure BDA00032751720800000510
表示返回使得pr(y|Z)为最大值的评卷区间,exp(·)表示以自然常数e为底的指数函数，θ是所有可学习的参数集合。
进一步的，所述步骤S5具体包括：
Figure BDA00032751720800000511
其中，Ω是自动简答题评卷任务中的训练学生答案的集合，yi是Ω中第i个训练学生答案的标注标签，Zi是Ω中第i个训练学生答案的简答题评卷的最终语义表示,
Figure BDA00032751720800000512
和
Figure BDA00032751720800000513
分别代表在所有评卷区间的列表Y中yi的左、右相邻区间；
训练实现最小化Ω中所有训练学生答案的损失误差。
为解决简答题自动评卷中深入理解答案语义与语料集过小之间的矛盾，本发明提出了一种基于BERT的自动简答题评卷深度神经网络模型，在编码答案文本的微调BERT模型之上，构建一个语义细化层来细化BERT输出的语义，包括使用一个Bi-LSTM网络为BERT输出提取精细的全局上下文和一个带有位置信息的Capsule网络，为BERT模型的隐藏状态提取相关的局部上下文。其次，引入一个多头注意力来融合从BERT输出中提取的全局上下文和局部上下文，作为学生答案和参考答案的句子对的最终表示。再者，本发明为简答题自动评卷提出了一种三重热点的策略，它将标准交叉熵损失函数中的计算标签从单独热点黄金分布改进为三重热点黄金分布。最终，本发明将预训练的BERT模型在自动简答题评卷任务中的应用从微调方法扩展到与双向LSTM和胶囊网络的结合。
本发明具有以下优点：
(1)通过一个被广泛预训练与任务微调的BERT模型，为答案文本动态编码，可有效克服简答题自动评卷语料集过小的问题，以及传统词嵌入在不同语境中一成不变的缺点；
(2)利用Bi-LSTM网络中复杂的门结构为BERT输出提取精细的全局上下文，并在Capsule网络中使用卷积胶囊为BERT模型的隐藏状态提取相关的局部上下文，从而为BERT编码产生更为细腻的语义表示；
(3)利用一个多头注意力融合细腻的全局上下文和局部上下文，为简答题自动评卷生成强大的语义表示。
(4)通过本发明的方法，能有效地解决简答题自动评卷中深入理解答案语义与语料集过小之间的矛盾。
附图说明
图1是本发明的方法流程示意图。
具体实施方式
以下结合具体实施例对本发明作进一步说明，但本发明的保护范围不限于以下实施例。
设主观题题目T的参考答案为p，评分区间集合为y，则本实施例对于学生答案q的自动评卷过程如下：
S1.BERT编码层：将输入序列s送入BERT编码层进行处理，所述BERT编码层以微调的方式运行，得到BERT编码层的输出OBERT，并把OBERT作为简答题评卷的初始编码；
S2.语义细化层：使用Bi-LSTM网络为BERT编码层的输出OBERT提取精细的全局上下文，使用Capsule网络为BERT编码层隐藏状态提取相关局部上下文，Bi-LSTM网络和Capsule网络并行工作，得到输出
Figure BDA0003275172080000071
和OCaps；
S3.语义融合层：通过语义融合层将语义细化层的三种输出语义
Figure BDA0003275172080000072
和OCaps整合在一起，得到简答题评卷的连接语义表示X；使用一个多头注意力共同关注X中不同位置的信息，得到简答题评卷的融合语义表示X(h)；
S4.预测层：对简答题评卷的融合语义表示X(h)执行一个最大池化操作，得到简答题评卷的最终语义表示Z，将Z输入到一个线性变换层，进行评卷区间的预测概率计算，获得使预测概率为最大值的评卷区间；
S5.将标准交叉熵损失函数中的计算标签改进为三重热点黄金分布，训练实现最小化Ω中所有训练学生答案的损失误差，Ω是自动简答题评卷任务中的训练学生答案的集合。
进一步的，步骤S1具体包括：
S1.1本实施例的BERT编码层以微调的方式运行，所述微调的方式运行是指BERT编码层的所有参数均从预训练的BERT模型初始化，并且这些参数需要与系统模型中的其他层共同训练和微调，BERT是指Google AI Language在文献“Devlin J,Chang MW,Lee K,Toutanova K(2019)BERT:Pre-training of Deep Bidirectional Transformers forLanguage Understanding.In:Proceedings of the 2019Conference of NAACL,pp 4171–4186”中提出的BERT:Bidirectional Encoder Representations from Transformers语言模型。
BERT编码层的输入序列s是由学生答案和参考答案的句子对所组成，如下所示：
Figure BDA0003275172080000073
其中，w[CLS]是BERT分类符[CLS]的编码，
Figure BDA0003275172080000074
是学生答案的字词编码序列，q是学生答案，
Figure BDA0003275172080000075
是参考答案的字词编码序列，p是主观题题目T的参考答案，w[SEP]是BERT分隔符[SEP]的编码,u是学生答案中字词的个数，v是参考答案中字词的个数,n是输入序列s的长度，且n＝u+v+3，dw是BERT中字符编码的维度；所述“字词”是指文本经Bert的分词器Tokenzier分离出的语言片段；
S1.2将输入序列s送入BERT编码层进行处理，得到BERT编码层的输出OBERT，并把OBERT作为简答题评卷的初始编码，计算过程如下：
Figure BDA0003275172080000076
其中，BERT(·)表示BERT编码层,
Figure BDA0003275172080000077
是BERT编码层的第i个隐藏状态,db是BERT编码层的隐藏单元数。
进一步的，语义细化层由一个Bi-LSTM网络和一个带有位置信息的Capsule网络组成，Bi-LSTM网络是指文献“SeppHochreiter and Jürgen Schmidhuber.1997.Longshort-term memory.Neural computation,9(8):1735–1780.”所提出的双向长短时记忆Bidirectional Long Short-Term Memory网络，所述Capsule网络是指文献“21.Zhao W,YeJ,Yang M,Lei Z,Zhang S,Zhao Z(2018)Investigating Capsule Networks withDynamic Routing for Text Classification.In:Proceeding of the 2018 Conferenceon Empirial Methods in Natural Language Processing,pp 43-48”所提出的Capsule胶囊网络。其中，使用Bi-LSTM网络为BERT编码层的输出OBERT提取精细的全局上下文，使用Capsule网络为BERT编码层隐藏状态提取相关局部上下文，Bi-LSTM网络和Capsule网络并行工作。
步骤S2具体包括：
Figure BDA0003275172080000081
Figure BDA0003275172080000082
Figure BDA0003275172080000083
其中，
Figure BDA0003275172080000084
表示一个按从左到右时序处理OBERT的LSTM网络，
Figure BDA0003275172080000085
表示一个按从右到左时序处理OBERT的LSTM网络，
Figure BDA0003275172080000086
表示
Figure BDA0003275172080000087
网络的输出，
Figure BDA0003275172080000088
表示
Figure BDA0003275172080000089
网络的输出，Capsules(OBERT)表示一个输入为OBERT的Capsule网络，
OCaps表示Capsules(OBERT)网络的输出，
Figure BDA00032751720800000810
分别表示
Figure BDA00032751720800000811
和
Figure BDA00032751720800000812
网络中第i个时间步的隐藏状态，
Figure BDA00032751720800000813
表示Capsule网络中卷积胶囊层的第i个输出向量，dL是LSTM网络中隐藏单元的数量,dc是Capsule网络中卷积核的数量；
对
Figure BDA00032751720800000814
和OCaps使用layer normalization进行层归一化处理，处理为-1和1之间的不饱和值。所述layer normalization是文献“Ba J L,Kiros J R,Hinton GE.Layer normalization.in:arXiv:1607.06450,2016.”所提出的层归一化layernormalization算法。
语义融合层按如下步骤将语义细化层的三种输出语义
Figure BDA00032751720800000815
和OCaps整合在一起。步骤S3中，语义融合层的具体处理步骤包括：
将层归一化处理后的
Figure BDA0003275172080000091
和OCaps连接在一起，得到简答题评卷的连接语义表示X，计算过程如下：
Figure BDA0003275172080000092
Figure BDA0003275172080000093
Figure BDA0003275172080000094
Figure BDA0003275172080000095
其中，d＝2dL+dc，xi为输入序列s中第i个字词所对应的连接语义，
Figure BDA0003275172080000096
为输入序列s中第i个字词所对应的全局上下文表示，
Figure BDA0003275172080000097
为输入序列s中第i个字词所对应的局部上下文表示。
更进一步的，使用一个多头注意力共同关注X中不同位置的信息具体包括：
Figure BDA0003275172080000098
其中，MHA(X,X,X)表示输入Q＝K＝V＝X的多头注意力MHA(Q,K,V)，多头注意力MHA(Q,K,V)的计算过程如下：
MHA(Q,K,V)＝tanh([head1；head2；...；headh]wR) (11)
headi＝Attention(Qi,Ki,Vi)＝Attention(QwQ,KwK,VwV) (12)
Figure BDA0003275172080000099
其中，
Figure BDA00032751720800000910
是多头注意力的三个输入，headi表示多头注意力中的第i个头，tanh(·)表示双曲正切函数，
Figure BDA00032751720800000911
是可学习的参数矩阵dK＝dV＝d÷h，h是多头注意力中头的数量。
进一步的，预测层先对融合语义表示X(h)执行最大池化操作，再输入到线性变换层，进行评卷区间的概率计算。
步骤S4中，最大池化操作的具体步骤包括：
Figure BDA00032751720800000912
其中，zj是Z的第j个元素，计算过程如下：
Figure BDA00032751720800000913
其中，Max(·)表示求最大值的函数，
Figure BDA0003275172080000101
为X(h)的第i行第j列的元素，Z是给定简答题评卷的最终语义表示。
更进一步的，线性变换层的具体步骤包括：
o＝MZT+b (16)
Figure BDA0003275172080000102
Figure BDA0003275172080000103
其中，
Figure BDA0003275172080000104
是评卷区间表示矩阵，ZT表示对Z进行转置，
Figure BDA0003275172080000105
是一个偏置向量，dy是评卷区间的个数，o是表示所有评卷区间置信分数的向量，oy表示标注为评卷区间y的样本的置信分数，oi表示样本在第i个评卷区间上的置信分数，Pr(y|Z)表示给定简答题评卷的最终语义表示Z在评卷区间y上的预测概率，Y是所有评卷区间按从低分到高分排列的列表，y*为最终评定的评卷区间，
Figure BDA0003275172080000106
表示返回使得Pr(y|Z)为最大值的评卷区间,exp(·)表示以自然常数e为底的指数函数，θ是所有可学习的参数集合。
进一步的，步骤S5具体包括：
Figure BDA0003275172080000107
其中，Ω是自动简答题评卷任务中的训练学生答案的集合，yi是Ω中第i个训练学生答案的标注标签，Zi是Ω中第i个训练学生答案的简答题评卷的最终语义表示,
Figure BDA0003275172080000108
和
Figure BDA0003275172080000109
分别代表在所有评卷区间按从低分到高分排列的列表Y中yi的左、右相邻区间；
训练实现最小化Ω中所有训练学生答案的损失误差。
本实施例将预训练的BERT模型在自动简答题评卷任务中的应用从微调方法扩展到与双向LSTM和胶囊网络的结合。
应用实例
1.实例环境
本实例使用Google AI Language开发的BERT-BASE版本作为BERT编码层的预训练模型，该BERT模型包括12层Transformers，768个隐藏单元，12个多头，以及总参数＝110M)；本实例将每个LSTM网络中隐藏单元的数量设置为200，并返回所有时间步中的隐藏状态；本实例将Capsule网络中的卷积核数设置为400，每个卷积核的大小为3，Capsule网络中的动态路由数为3；在多头注意力中，设置了注意力的头数为2，每个头分配400维的参数；本实例在Bi-LSTM网络、Capsule网络和预测层中将dropout rate设置为0.1；为了最小化损失值，本实例使用了Adam Optimizer优化器，并将学习率设置为2e-5，batch size大小设置为64；在训练期间，本实例将epochs从5增加到10。
2.数据集
本实例使用在国际上广泛使用的Mohler数据集作为评测基准，该数据集由美国北德克萨斯大学Mohler等人创建，是一个关于计算机科学的简答题数据集。它包含80个问题和2,273个学生答案，每个学生的答案由两位老师按0到5的整数打分。本实例取两个标记分数的平均值作为学生答案的真实分数，得到11个评卷区间，从0到5，间隔为0.5。
Mohler数据集仅包含2273个学生答案与参考答案对，这对于深度学习模型来说太少了。为了扩展数据集，本实例从每道题中选择一个正确的学生答案作为补充参考答案，将训练集从2083对扩展到大约3300对。本实例采用12折交叉验证法进行模型的评估，并报告预测分数与真实分数之间的Pearson相关系数(Pearson's r)、平均绝对误差(MAE)和均方根误差(RMSE)。
3.对比方法
本实例将本发明的模型与6种消融模型与11种同类方法进行比较，对比方法如下所示：
(1)消融模型
消融模型是本发明模型的简化版，它去除了本发明模型的某种功能，用于检测被去除的功能在本发明模型中的作用，本实例为本发明的模型设计了如下6种消融模型：
·w/o refinement：意味着语义细化层从本发明的模型中移除，模型退化为微调的BERT-BASE。
·w/o multi-head：意味着语义融合层中的多头自注意力从本发明的模型中移除。
·w/o Bi-LSTM with BERT：意味着语义细化层中的Bi-LSTM网络从本发明的模型中移除，其输出被BERT编码层的输出替换。
·w/o Capsule with BERT：意味着语义细化层中的Capsule网络从本发明的模型中移除，其输出被BERT编码层的输出替换。
·w/o Capsule with CNN：意味着语义细化层中的Capsule网络从本发明的模型中移除，并替换为CNN网络。
·w/o triple-hot loss：意味着三重热点损失函数从本发明的模型中删除，并由标准的单独热点损失函数代替。
(2)同类方法
·LSTM-EMD[1]：一种深度学习方法，它使用基于推土机距离(earth-moverdistance)的池化层将Bi-LSTM框架用于简答题自动评卷。本实例还引用了它报告的三个模型结果：仅使用最后一个隐藏状态的LSTM-Last、使用最大池化的LSTM-Max和使用平均池化的LSTM-Avg。
·基于特征的预训练模型[2]：使用各种预训练的迁移学习模型，例如ELMo[3]、GPT[4]、BERT[5]和GPT-2[6]，为简答题自动评卷抽取句子嵌入。
·Bi-LSTM+Capsule(CNN)：为了与传统深度学习的评卷效果进行比较，本实例在本发明的模型中使用Glove[7]词嵌入代替BERT编码层，形成一个基于词嵌入、与本发明的总体结构相同的深度学习模型。
·微调的BERT-BASE：为了与BERT模型的评卷效果进行比较，本实例只在预训练的BERT-BASE之上增加了一个分类层来进行简答题自动评卷，并联合对分类层和所有预训练参数进行了微调。
其中，上述关联的文献分别为：
1.Kumar S,Chakrabarti S,Roy S(2017)Earth movers distance pooling overSiamese lstms for automatic short answer grading.In:Proceedings of theInternational Joint Conference on Artificial Intelligence,pp 2046–2052
2.Gaddipati SK,Nair D,Plger PG(2020)Comparative Evaluation ofPretrained Transfer Learning Models on Automatic Short Answer Grading.In:arXiv:2009.01303v1
3.Peters ME,Neumann M,Iyyer M,Gardner M,Clark C,Lee K,Zettlemoyer L(2018)Deep contextualized word representations.In:NAACL,pp 2227–2237.
4.Radford A,Narasimhan K,Salimans T,Sutskever I(2018)Improvinglanguage understanding by generative pre-training.In:OpenAI Blog
5.Devlin J,Chang MW,Lee K,Toutanova K(2019)BERT:Pre-training of DeepBidirectional Transformers for Language Understanding.In:Proceedings of the2019Conference of NAACL,pp 4171-4186
6.Radford A,Wu J,Child R,Luan D,Amodei D,Sutskever I(2019)Languagemodels are unsupervised multitask learners.In:OpenAI Blog,1(8):9
7.https://github.com/maciejkula/glove-python
4.实例对比结果
表2与消融模型的对比结果(平均绝对误差(MAE)和均方根误差(RMSE)越低越好；Pearson相关系数(Pearson r)越高越好)
Figure BDA0003275172080000131
在表2中，w/o refinement的消融结果表明，本实施例的语义细化层显着提高了BERT模型在简答题评卷任务中的分级精度。Mohler数据集上的测试题和训练题来自同一个领域。因此，这个消融结果意味着本发明的语义细化层可以显着提高BERT模型对领域特征的泛化能力。w/o Bi-LSTM with BERT的消融结果表明，直接用BERT的输出替换Bi-LSTM后，模型在简答题评卷任务中的分级精度出现下降。这意味着Bi-LSTM网络中的复杂门结构可以从BERT模型的输出中提取更精细的上下文信息。w/o Capsule with BERT的消融结果表明，直接用BERT的输出替换Capsule网络后，模型在简答题评卷任务中的分级精度有明显下降。这意味着Capsule网络可以从BERT模型的输出中提取更精细的局部信息。w/oCapsulewith CNN的消融结果表明，在基于BERT的深度神经网络中，带有位置信息的Capsule网络的性能优于普通CNN网络。w/o multi-head的消融结果表明，语义融合层中的多头注意力机制对提高模型性能起到了重要作用。此外，w/o triple-hot loss的消融结果表明，所提出的三重热点损失策略将我们模型在Mohler数据集上的Pearson r从0.837显着提高到0.897。
表3与同类方法的对比结果(平均绝对误差(MAE)和均方根误差(RMSE)越低越好；Pearson相关系数(Pearson r)越高越好；*表示模型为本实例实现)
Figure BDA0003275172080000141
表3的实验结果表明，本发明提出的基于BERT的自动简答题评卷深度神经网络模型，实现了0.897、0.827和0.248的最佳Pearson r、RMSE和MAE结果，显然超过了所有同类方法的结果，这充分说明了本发明方法是可行和优秀的。同时，表3的实验结果表明通过添加语义细化层，本发明的模型在简答题评卷任务中将微调BERT模型的Pearson's r从0.801显着提高到0.897，这表明本发明的语义细化层可以显着提高BERT模型泛化领域特征的能力。

Claims (8)

1.一种基于BERT的深度神经网络模型的自动评卷方法，其特征在于包括以下步骤：
S1.BERT编码层：将输入序列s送入BERT编码层进行处理，所述BERT编码层以微调的方式运行，得到BERT编码层的输出OBERT，并把OBERT作为简答题评卷的初始编码；
S2.语义细化层：使用Bi-LSTM网络为BERT编码层的输出OBERT提取精细的全局上下文，使用Capsule网络为BERT编码层隐藏状态提取相关局部上下文，Bi-LSTM网络和Capsule网络并行工作，得到输出
Figure FDA0003275172070000011
和OCaps；
S3.语义融合层：通过语义融合层将语义细化层的三种输出语义
Figure FDA0003275172070000012
和OCaps整合在一起，得到简答题评卷的连接语义表示X；使用一个多头注意力共同关注X中不同位置的信息，得到简答题评卷的融合语义表示X(h)；
S4.预测层：对简答题评卷的融合语义表示X(h)执行一个最大池化操作，得到简答题评卷的最终语义表示Z，将Z输入到一个线性变换层，进行评卷区间的预测概率计算，获得使预测概率为最大值的评卷区间；
S5.将标准交叉熵损失函数中的计算标签改进为三重热点黄金分布，训练实现最小化Ω中所有训练学生答案的损失误差，Ω是自动简答题评卷任务中的训练学生答案的集合。
2.根据权利要求1所述的自动评卷方法，其特征在于：
所述步骤S1具体包括：
S1.1 BERT编码层的输入序列s是由学生答案和参考答案的句子对所组成，如下所示：
Figure FDA0003275172070000013
其中，w[CLS]是BERT分类符[CLS]的编码，
Figure FDA0003275172070000014
是学生答案的字词编码序列，q是学生答案，
Figure FDA0003275172070000015
是参考答案的字词编码序列，p是主观题题目T的参考答案，w[SEP]是BERT分隔符[SEP]的编码,u是学生答案中字词的个数，v是参考答案中字词的个数,n是输入序列s的长度，且n＝u+v+3，dw是BERT中字符编码的维度；所述“字词”是指文本经Bert的分词器Tokenzier分离出的语言片段；
S1.2将输入序列s送入BERT编码层进行处理，得到BERT编码层的输出OBERT，并把OBERT作为简答题评卷的初始编码，计算过程如下：
Figure FDA0003275172070000016
其中，BERT(·)表示BERT编码层,
Figure FDA0003275172070000017
是BERT编码层的第i个隐藏状态,db是BERT编码层的隐藏单元数。
3.根据权利要求2所述的自动评卷方法，其特征在于：
所述步骤S2具体包括：
Figure FDA0003275172070000021
Figure FDA0003275172070000022
Figure FDA0003275172070000023
其中，
Figure FDA0003275172070000024
表示一个按从左到右时序处理OBERT的LSTM网络，
Figure FDA0003275172070000025
表示一个按从右到左时序处理OBERT的LSTM网络，
Figure FDA0003275172070000026
表示
Figure FDA0003275172070000027
网络的输出，
Figure FDA0003275172070000028
表示
Figure FDA0003275172070000029
网络的输出，Capsules(OBERT)表示一个输入为OBERT的Capsule网络，OCaps表示Capsules(OBERT)网络的输出，
Figure FDA00032751720700000210
分别表示
Figure FDA00032751720700000211
和
Figure FDA00032751720700000212
网络中第i个时间步的隐藏状态，
Figure FDA00032751720700000213
表示Capsule网络中卷积胶囊层的第i个输出向量，dL是LSTM网络中隐藏单元的数量,dc是Capsule网络中卷积核的数量；
对
Figure FDA00032751720700000214
和OCaps使用layer normalization进行层归一化处理，处理为-1和1之间的不饱和值。
4.根据权利要求3所述的自动评卷方法，其特征在于：
所述步骤S3中，语义融合层的具体处理步骤包括：
将层归一化处理后的
Figure FDA00032751720700000215
和OCaps连接在一起，得到简答题评卷的连接语义表示X，计算过程如下：
Figure FDA00032751720700000216
Figure FDA00032751720700000217
Figure FDA00032751720700000218
Figure FDA00032751720700000219
其中，d＝2dL+dc，xi为输入序列s中第i个字词所对应的连接语义，
Figure FDA00032751720700000220
为输入序列s中第i个字词所对应的全局上下文表示，
Figure FDA00032751720700000221
为输入序列s中第i个字词所对应的局部上下文表示。
5.根据权利要求4所述的自动评卷方法，其特征在于：
所述使用一个多头注意力共同关注X中不同位置的信息具体包括：
Figure FDA0003275172070000031
其中，MHA(X,X,X)表示输入Q＝K＝V＝X的多头注意力MHA(Q,K,V)，多头注意力MHA(Q,K,V)的计算过程如下：
MHA(Q,K,V)＝tanh([head1；head2；...；headh]wR) (11)
headi＝Attention(Qi,Ki,Vi)＝Attention(QwQ,KwK,VwV) (12)
Figure FDA0003275172070000032
其中，
Figure FDA0003275172070000033
是多头注意力的三个输入，headi表示多头注意力中的第i个头，tanh(·)表示双曲正切函数，
Figure FDA0003275172070000034
是可学习的参数矩阵dK＝dV＝d÷h，h是多头注意力中头的数量。
6.根据权利要求5所述的自动评卷方法，其特征在于：
所述步骤S4中，最大池化操作的具体步骤包括：
Figure FDA0003275172070000035
其中，zj是Z的第j个元素，计算过程如下：
Figure FDA0003275172070000036
其中，Max(·)表示求最大值的函数，
Figure FDA0003275172070000037
为X(h)的第i行第j列的元素，Z是给定简答题评卷的最终语义表示。
7.根据权利要求6所述的自动评卷方法，其特征在于：
线性变换层的具体步骤包括：
o＝MZT+b (16)
Figure FDA0003275172070000038
Figure FDA0003275172070000039
其中，
Figure FDA00032751720700000310
是评卷区间表示矩阵，ZT表示对Z进行转置，
Figure FDA00032751720700000311
是一个偏置向量，dy是评卷区间的个数，o是表示所有评卷区间置信分数的向量，oy表示标注为评卷区间y的样本的置信分数，oi表示样本在第i个评卷区间上的置信分数，pr(y|Z)表示给定简答题评卷的最终语义表示Z在评卷区间y上的预测概率，Y是所有评卷区间按从低分到高分排列的列表，y*为最终评定的评卷区间，
Figure FDA0003275172070000041
表示返回使得pr(y|Z)为最大值的评卷区间,exp(·)表示以自然常数e为底的指数函数，θ是所有可学习的参数集合。
8.根据权利要求7所述的自动评卷方法，其特征在于：
所述步骤S5具体包括：
Figure FDA0003275172070000042
其中，Ω是自动简答题评卷任务中的训练学生答案的集合，yi是Ω中第i个训练学生答案的标注标签，Zi是Ω中第i个训练学生答案的简答题评卷的最终语义表示,
Figure FDA0003275172070000043
和
Figure FDA0003275172070000044
分别代表在所有评卷区间按从低分到高分排列的列表Y中yi的左、右相邻区间；
训练实现最小化Ω中所有训练学生答案的损失误差。
CN202111115698.8A 2021-09-23 2021-09-23 一种基于bert的深度神经网络模型的自动评卷方法 Active CN113935459B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111115698.8A CN113935459B (zh) 2021-09-23 2021-09-23 一种基于bert的深度神经网络模型的自动评卷方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111115698.8A CN113935459B (zh) 2021-09-23 2021-09-23 一种基于bert的深度神经网络模型的自动评卷方法

Publications (2)

Publication Number Publication Date
CN113935459A true CN113935459A (zh) 2022-01-14
CN113935459B CN113935459B (zh) 2022-11-04

Family

ID=79276559

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111115698.8A Active CN113935459B (zh) 2021-09-23 2021-09-23 一种基于bert的深度神经网络模型的自动评卷方法

Country Status (1)

Country Link
CN (1) CN113935459B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114579707A (zh) * 2022-03-07 2022-06-03 桂林旅游学院 一种基于bert神经网络与多语义学习的方面级情感分析方法
CN114579706A (zh) * 2022-03-07 2022-06-03 桂林旅游学院 一种基于bert神经网络和多任务学习的主观题自动评阅方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111914085A (zh) * 2020-06-18 2020-11-10 华南理工大学 文本细粒度情感分类方法、系统、装置及存储介质
CN113011196A (zh) * 2021-04-28 2021-06-22 广西师范大学 一种概念增强表示与单向蕴含注意力的主观题自动阅卷神经网络模型
US20210216862A1 (en) * 2020-01-15 2021-07-15 Beijing Jingdong Shangke Information Technology Co., Ltd. System and method for semantic analysis of multimedia data using attention-based fusion network
CN113312918A (zh) * 2021-06-10 2021-08-27 临沂大学 融合部首向量的分词和胶囊网络法律命名实体识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210216862A1 (en) * 2020-01-15 2021-07-15 Beijing Jingdong Shangke Information Technology Co., Ltd. System and method for semantic analysis of multimedia data using attention-based fusion network
CN111914085A (zh) * 2020-06-18 2020-11-10 华南理工大学 文本细粒度情感分类方法、系统、装置及存储介质
CN113011196A (zh) * 2021-04-28 2021-06-22 广西师范大学 一种概念增强表示与单向蕴含注意力的主观题自动阅卷神经网络模型
CN113312918A (zh) * 2021-06-10 2021-08-27 临沂大学 融合部首向量的分词和胶囊网络法律命名实体识别方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114579707A (zh) * 2022-03-07 2022-06-03 桂林旅游学院 一种基于bert神经网络与多语义学习的方面级情感分析方法
CN114579706A (zh) * 2022-03-07 2022-06-03 桂林旅游学院 一种基于bert神经网络和多任务学习的主观题自动评阅方法
CN114579707B (zh) * 2022-03-07 2023-07-28 桂林旅游学院 一种基于bert神经网络与多语义学习的方面级情感分析方法
CN114579706B (zh) * 2022-03-07 2023-09-29 桂林旅游学院 一种基于bert神经网络和多任务学习的主观题自动评阅方法

Also Published As

Publication number Publication date
CN113935459B (zh) 2022-11-04

Similar Documents

Publication Publication Date Title
CN110781680B (zh) 基于孪生网络和多头注意力机制的语义相似度匹配方法
CN110490946B (zh) 基于跨模态相似度和生成对抗网络的文本生成图像方法
CN110287323B (zh) 一种面向目标的情感分类方法
CN110502753A (zh) 一种基于语义增强的深度学习情感分析模型及其分析方法
CN111368086A (zh) 一种基于CNN-BiLSTM+attention模型的涉案新闻观点句情感分类方法
Zhang et al. Dense video captioning using graph-based sentence summarization
CN113935459B (zh) 一种基于bert的深度神经网络模型的自动评卷方法
Rouvier Lia at semeval-2017 task 4: An ensemble of neural networks for sentiment classification
Song et al. avtmNet: adaptive visual-text merging network for image captioning
Prasad et al. A multimodal classification of noisy hate speech using character level embedding and attention
Jin Application optimization of nlp system under deep learning technology in text semantics and text classification
CN111581364A (zh) 一种面向医疗领域的中文智能问答短文本相似度计算方法
Singh et al. Question answering chatbot using deep learning with NLP
CN112231476B (zh) 一种改进的图神经网络科技文献大数据分类方法
Elleuch et al. The Effectiveness of Transfer Learning for Arabic Handwriting Recognition using Deep CNN.
Zheng et al. Optimizing the online learners’ verbal intention classification efficiency based on the multi-head attention mechanism algorithm
CN114579706B (zh) 一种基于bert神经网络和多任务学习的主观题自动评阅方法
CN111737467A (zh) 一种基于分段卷积神经网络的对象级情感分类方法
Yousif Neural computing based part of speech tagger for Arabic language: a review study
KR102569381B1 (ko) 테이블 중심의 웹 문서를 위한 기계독해 시스템 및 방법
CN113239678A (zh) 一种面向答案选择的多角度注意力特征匹配方法及系统
Pei et al. Visual relational reasoning for image caption
CN112749556A (zh) 多语言模型的训练方法和装置、存储介质和电子设备
CN110888996A (zh) 一种基于范围卷积神经网络的文本分类方法
CN111259650A (zh) 基于类标序列生成式对抗模型的文本自动生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230614

Address after: Room 801, 85 Kefeng Road, Huangpu District, Guangzhou City, Guangdong Province

Patentee after: Yami Technology (Guangzhou) Co.,Ltd.

Address before: 541004 No. 15 Yucai Road, Qixing District, Guilin, the Guangxi Zhuang Autonomous Region

Patentee before: Guangxi Normal University

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231128

Address after: Room 20, 1st Floor, Entrepreneurship Building, Jinfeng Zhongchuang Park, No. 2 Jinda Road, Beidou Industrial Park, Jinfeng Development Zone, Xiangcheng District, Zhangzhou City, Fujian Province, 363099

Patentee after: Fujian Jinzhao Biotechnology Co.,Ltd.

Address before: Room 801, 85 Kefeng Road, Huangpu District, Guangzhou City, Guangdong Province

Patentee before: Yami Technology (Guangzhou) Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240520

Address after: 510075 No. n2248, floor 3, Xingguang Yingjing, No. 117, Shuiyin Road, Yuexiu District, Guangzhou City, Guangdong Province

Patentee after: GUANGZHOU ZHAOJI BIOTECHNOLOGY CO.,LTD.

Country or region after: China

Address before: Room 20, 1st Floor, Entrepreneurship Building, Jinfeng Zhongchuang Park, No. 2 Jinda Road, Beidou Industrial Park, Jinfeng Development Zone, Xiangcheng District, Zhangzhou City, Fujian Province, 363099

Patentee before: Fujian Jinzhao Biotechnology Co.,Ltd.

Country or region before: China