CN113011196A - 一种概念增强表示与单向蕴含注意力的主观题自动阅卷神经网络模型 - Google Patents

一种概念增强表示与单向蕴含注意力的主观题自动阅卷神经网络模型 Download PDF

Info

Publication number
CN113011196A
CN113011196A CN202110468336.0A CN202110468336A CN113011196A CN 113011196 A CN113011196 A CN 113011196A CN 202110468336 A CN202110468336 A CN 202110468336A CN 113011196 A CN113011196 A CN 113011196A
Authority
CN
China
Prior art keywords
concept
answer
layer
attention
answers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110468336.0A
Other languages
English (en)
Other versions
CN113011196B (zh
Inventor
朱新华
关波旭
张兰芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaanxi Wendu Education Technology Co ltd
Original Assignee
Guangxi Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangxi Normal University filed Critical Guangxi Normal University
Priority to CN202110468336.0A priority Critical patent/CN113011196B/zh
Publication of CN113011196A publication Critical patent/CN113011196A/zh
Application granted granted Critical
Publication of CN113011196B publication Critical patent/CN113011196B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Abstract

本发明公开了一种概念增强表示与单向蕴含注意力的主观题自动阅卷神经网络模型，结合双向长短时记忆神经网络BiLSTM和机器学习的条件随机场CRF的方法自动识别题目中的概念系列；通过多头注意力机制实现概念字嵌入向量序列对答案字嵌入向量序列的增强表示建模；并通过BiLSTM对答案上下文信息进行编码；通过一种单向注意力蕴含匹配的方式，估算出学生答案对参考答案的语义包含，进而在单向蕴含匹配向量的基础上聚集信息并进行学生答案得分区间的概率分布预测。包含概念提取层、答案表示层、概念增强表示层、上下文表示层、单向蕴含注意力层、聚集层和预测层。具有以下优点：无需额外的语义分析和人为规则；提高评卷的匹配精度；扩展评卷系统的自适应性与实用性。

Description

一种概念增强表示与单向蕴含注意力的主观题自动阅卷神经 网络模型
技术领域
本发明涉及教育技术与计算机应用技术领域中的考试阅卷自动化，具体是一种概念增强表示与单向蕴含注意力的主观题自动阅卷神经网络模型。该模型将计算机作为工具，以随机输入的学生答案作为处理对象，通过神经网络实现端到端的主观题自动阅卷，可广泛应用于各个领域的主观题计算机自动阅卷系统中。
背景技术
考试试卷中的试题从答案组成的形式上，被普遍分为客观题与主观题两大类。客观题的特征为：答案以选项编号表示的单选题、多选题、判断题等试题。主观题的特征为：答案采用自然语言表示的简答题、名词解释和论述题等试题。由于单选题、多选题、判断题等客观题目的答案都是以选项编号表示，目前计算机对于此类题型进行自动阅卷时，只需将标准答案的选项编号与学生答案的选项编号进行简单的匹配运算，匹配成功则答案正确，该处理技术已经取得较好的成果。
但是，由于主观题不同于客观题，不仅需要采用自然语言表示答案，而且具有一定的主观性，允许学生在一定的范围内答题，因此答案往往不是唯一的，而且学生答题的方式会有多种形式。另一方面，教师在批阅试卷的时候，还可能会受到主观因素的影响，以及学生字体是否美观、卷面是否整洁等的影响，使得教师在评分时，出现不合理的加分或扣分现象，有失考试的公正性和公平性。采用主观题的计算机自动阅卷，既减轻了教师人工阅卷的劳动强度，又减少人为因素的影响，保证了阅卷的客观性、公正性，因此主观题计算机自动阅卷技术的研究，具有重要的意义。
然而，对主观题的答案，即采用自然语言表示的答案使用自动阅卷技术,如对简答题、名词解释和论述题等自动评分时，学生答案具有的多样性与随意性，且受到自然语言理解、模式识别等理论与技术瓶颈影响，目前还没有使用计算机对主观题进行自动阅卷的成熟技术。
目前在传统的计算机自动阅卷系统中，普遍采用关键字匹配技术进行主观题自动阅卷，即在答案中标注出若干关键字或关键词，将其与学生答案进行匹配，并根据匹配成功的多少对学生答案进行评分，由于自然语言的多样性与随意性，这种方法的评分准确率非常低。
为提高评卷的准确率，出现了一些基于句法分析与语义分析的主观题自动阅卷方法，这类评卷方法虽然可以在评卷过程中融入语义分析，提高了评卷的准确率，但由于句法分析自身的准确率不高，以及语义分析无法处理句子的时序性，这极大地限制了这类系统的应用范围与实用性。
随着基于神经网络的深度学习在自然语言中的广泛应用，目前出现了一些基于神经网络的主观题自动评卷的方法与系统，在评卷精度的提高与减化预处理方面取得了较好的成绩。这些方法普遍采用应用于文本匹配测量的神经网络技术，如通用的CNN、BiLSTM、交互匹配等。但是，主观题自动评卷与文本匹配测量是两种不同的应用场景，主观题自动评卷有着许多独有的特点，例如，试题文本中给出了答卷的概念序列，学生答案与参考答案之间是单向蕴含关系而非平等关系。因此，如何充分考虑主观题自动评卷的特点，构建出更高质量的评卷神经网络模型成为当前迫切需要解决的问题。
发明内容
本发明的目的是提供一种概念增强表示与单向蕴含注意力的主观题自动阅卷神经网络模型。
技术原理为，首先充分利用题目概念信息的主导作用，通过多头注意力机制实现概念信息对答案文本的增强表示，并以学生答案对参考答案的单向蕴含注意力匹配的方式，估算出学生答案对参考答案的语义包含程度，从而可极大地增强计算机主观题评卷系统的自适应性与准确度。
为了实现上述发明目的，本发明采用的技术方案如下。
一种概念增强表示与单向蕴含注意力的主观题自动阅卷神经网络模型，首先结合双向长短时记忆神经网络(BiLSTM)和机器学习的条件随机场(CRF)的方法自动识别题目中的概念系列；然后通过多头注意力机制实现概念字嵌入向量序列对答案字嵌入向量序列的增强表示建模；并通过一个BiLSTM对答案上下文信息进行编码；最后通过一种单向注意力蕴含匹配的方式，估算出学生答案对参考答案的语义包含，进而在单向蕴含匹配向量的基础上进行学生答案得分区间的概率分布预测。
概念增强表示与单向蕴含注意力的主观题自动阅卷神经网络模型包含概念提取层、答案表示层、概念增强表示层、上下文表示层、单向蕴含注意力层、聚集层和预测层。
所述答案表示层为，将题目、参考答案、学生答案转换为维度为d的预训练的字嵌入向量序列T、P、Q，主观题题目T的参考答案为P，评分等级集合为Y，则将对于学生答案Q的评卷过程，转换为通过一个神经网络模型预测概率分布Pr(y|T,P,Q)，y∈Y；
所述概念提取层为，结合BiLSTM和CRF的方法，自动识别和提取题目中的概念系列；
所述概念增强表示层为，通过多头注意力机制，计算出答案字嵌入与概念字嵌入向量序列的相关度，将与答案字嵌入最为相关的概念序列信息整合到答案字嵌入中，实现概念字嵌入向量序列对参考答案和学生答案的字嵌入向量序列的增强表示建模；
所述上下文表示层为，采用一个相同的BiLSTM，分别对参考答案和学生答案的上下文信息进行编码；
所述单向蕴含注意力层为，采用一种学生答案对参考答案的单向蕴含注意力匹配的方式，估算出学生答案对参考答案的语义包含程度，得到学生答案对参考答案的单向蕴含匹配矩阵M；
所述聚集层为，使用一个双向长短期记忆神经网络，完成学生答案对参考答案匹配矩阵M的聚集与转换，得到一个固定长度的匹配向量
Figure BDA0003043706070000031
其中L为聚集层每个时间步中隐藏层的节点数；
所述预测层为，使用一个全接连的两层前馈神经网络来计算固定长度的匹配向量
Figure BDA0003043706070000032
并在输出层中应用softmax(·)函数评估学生答案在各得分区间的概率分布Pr(y|T,P,Q)，将概率最高的标签设置为最终结果。
所述概念提取层实现的方法为，基于BiLSTM神经网络和条件随机场的题目概念自动识别方法，对主观题题目中的概念，采用在自然语言处理中广泛使用的BiLSTM和CRF的方法，将其从试题题目中识别与提取出来，具体过程为，
(1)将试题题目中每个字的字嵌入向量作为输入送入一个双向长短时记忆神经网络，
(2)双向长短时记忆神经网络计算出题目中每个字的各种概念标注特征的概率，并将这些概念标注概率送往一个条件随机场，
(3)条件随机场根据字的概念标注特征的概率，最终得出每个字的概念标注特征，其中B表示这个字处于一个概念的开始(Begin)，I表示内部(inside)，O表示外部(outside)，
(4)根据题目中每个字的概念标注特征，识别出题目中的概念，
(5)若题目中只包含一个概念，则将该概念的字嵌入向量序列作为题目最终的概念字嵌入向量序列，转步骤7，
(6)若题目中包含多个概念，则按照概念在题目中出现的顺序，依次将每个概念的字嵌入向量序列首尾相接，形成题目最终的概念字嵌入向量序列，
(7)得到题目的概念字嵌入向量序列
Figure BDA0003043706070000041
s表示概念序列中字的个数，d为字嵌入向量的维度。
所述概念增强层实现的方法为，是指使用题目的概念字嵌入向量序列来增强学生答案与参考答案中的字嵌入表示，以突出与概念相关联的词在评卷中的作用，设题目的概念字嵌入向量序列
Figure BDA0003043706070000042
为参考答案字嵌入向量序列，n为参考答案中字的个数，d为字嵌入向量的维度，则概念字嵌入向量序列C对P的增强表示，具体过程为，
(1)使用缩放点积注意力机制，实现概念字嵌入向量序列C对参考答案字嵌入向量序列P的增强表示的建模，缩放点积注意力机制的注意力函数为：
Figure BDA0003043706070000043
其中，Q、K、V分别为缩放点积注意力机制的查询(queries)、关键字(keys)和值(values)，dq为查询Q的向量维度，T表示矩阵的转置操作，softmax(·)为神经网络中的归一化指数函数，用于计算Q与K之间的相关度，
在建模过程中，将缩放点积注意力的查询Q设置为参考答案字嵌入向量序列P，将缩放点积注意力的关键字K和值V都设置为概念字嵌入向量序列C，因此公式(1)转换为如下的公式(2)：
Figure BDA0003043706070000051
其中，
Figure BDA0003043706070000052
用于计算参考答案中的字嵌入与概念字嵌入向量序列的相关度，d为字嵌入向量的维度，
(2)在步骤1的建模过程中，使用多头注意力从不同语义子空间捕获序列信息：首先，对于由h个头组成的多头注意力结构，使用h个不同的线性变换将查询、关键字和值分别转换为d/h维；其次，并行执行h个投影，实现按比例缩放点积注意力，然后将h个头的所有输出连接起来并线性投影到表示空间，具体将步骤1建模过程中的多头注意力表达如下，
MultiHead(Q,K,V)＝[H1,H2,...,Hh]WO (3)
Figure BDA0003043706070000053
P(x)＝Multihead(P,C,C) (4)
其中，
Figure BDA0003043706070000054
表示概念字嵌入向量序列C对参考答案字嵌入向量序列P的增强表示，MultiHead(·)表示多头注意力，H1,H2,...,Hh表示多头注意力中的h个头，
Figure BDA0003043706070000055
是第i个线性变换的参数矩阵，
Figure BDA0003043706070000056
是缩放点乘注意力拼接结果的线性变换参数矩阵，都是可学习的参数，[,]表示拼接运算，Attention(·)表示多头注意力的注意力函数，由公式(2)，
(3)使用层归一化(Layer Normaliztion)的方法实现参考答案字嵌入向量序列P的增强表示更新，即：
P(c)＝LayerNorm(P(x)+P) (5)
其中，
Figure BDA0003043706070000061
表示P更新后的增强向量序列，LayerNorm(·)表示实现神经网络中层归一化方法的函数，
Figure BDA0003043706070000062
为待更新的参考答案字嵌入向量序列，
Figure BDA0003043706070000063
表示概念字嵌入向量序列C对嵌入向量序列P的增强表示，由公式(4)计算得到，
(4)将参考答案字嵌入向量序列
Figure BDA0003043706070000064
替换为学生答案字嵌入向量序列
Figure BDA0003043706070000065
重复上述步骤(1)到步骤(3)，得到学生答案的概念增强表示更新序列
Figure BDA0003043706070000066
所述上下文表示层实现的方法为，上下文表示层的目的是将答案上下文信息合并到答案的每个时间步中，采用BiLSTM对答案上下文信息进行编码，对于参考答案概念增强表示序列
Figure BDA0003043706070000067
利用一个双向长短期记忆神经网络BiLSTM1对P(c)的每个时间步进行如下的上下文嵌入编码：
Figure BDA0003043706070000068
其中，
Figure BDA0003043706070000069
分别代表BiLSTM1的前向和后向长短期记忆神经网络，
Figure BDA00030437060700000610
Figure BDA00030437060700000611
分别代表P(c)在BiLSTM1中第i个前向和后向的时间步，
同时，BiLSTM1对于学生答案概念增强表示序列
Figure BDA00030437060700000612
的每个时间步进行如下的上下文嵌入编码：
Figure BDA00030437060700000613
所述单向蕴含注意力层实现的方法为，通过学生答案对参考答案的语义包含，实现对学生答案正确程度的评估，并且采用一种学生答案对参考答案的单向注意力蕴含匹配的方式，估算出学生答案对参考答案的语义包含程度，所述的单向注意力蕴含匹配是指只考虑学生答案对参考答案的语义包含，而不考虑参考答案对学生答案的语义包含，其计算过程如下，
(1)首先分别计算参考答案P的每个前向、后向上下文嵌入
Figure BDA0003043706070000071
和学生答案句子Q中所有前向、后向上下文嵌入
Figure BDA0003043706070000072
之间的余弦相似性：
Figure BDA0003043706070000073
(2)以
Figure BDA0003043706070000074
作为
Figure BDA0003043706070000075
的权重，加权求和学生答案Q的所有上下文嵌入
Figure BDA0003043706070000076
Figure BDA0003043706070000077
分别计算出
Figure BDA0003043706070000078
在学生答案句子Q中的注意向量
Figure BDA0003043706070000079
Figure BDA00030437060700000710
(3)将参考答案P的每个前向、后向上下文嵌入
Figure BDA00030437060700000711
与其相对应的注意向量
Figure BDA00030437060700000712
Figure BDA00030437060700000713
进行匹配，分别得到两个k种视角的匹配向量
Figure BDA00030437060700000714
和
Figure BDA00030437060700000715
Figure BDA00030437060700000716
其中，
Figure BDA00030437060700000717
为k种视角的向量匹配函数，其计算公式为：
Figure BDA0003043706070000081
其中，v1、v2为任意两个维度为d的向量，
Figure BDA0003043706070000082
是一个形状为k×d的可训练的多视角参数矩阵，k是多视角的数目，wr为W的第r行，ο表示向量的逐元素相乘，
(4)重复步骤(1)到(3)，计算出参考答案P的每个前向及后向上下文嵌入与其在学生答案Q中相对应的注意向量，得到一个学生答案Q对参考答案P的单向蕴含匹配矩阵
Figure BDA0003043706070000083
其中
Figure BDA0003043706070000084
表示向量
Figure BDA0003043706070000085
和
Figure BDA0003043706070000086
相连接，n为参考答案中字的个数。
所述聚集层实现的方法为，聚集层的作用是将在在评卷过程中，不同尺寸的参考答案的匹配矩阵M转换成固定长度的匹配向量Mv，使用另一个双向长短期记忆神经网络BiLSTM2，完成学生答案对参考答案匹配矩阵M的转换，其转换过程如下，
(1)将单向注意力蕴含匹配层得到的单向蕴含匹配矩阵
Figure BDA0003043706070000087
中的每一行向量Ωi作为BiLSTM2网络的一个输入；
(2)BiLSTM2对M的每个时间步进行如下的聚集嵌入编码：
Figure BDA0003043706070000088
其中，
Figure BDA0003043706070000089
分别代表BiLSTM2的前向和后向长短期记忆神经网络，
Figure BDA00030437060700000810
Figure BDA00030437060700000811
分别代表M在BiLSTM2中第i个前向和后向的时间步，
(3)连接BiLSTM2的前向和后向的最后一个时间步
Figure BDA00030437060700000812
和
Figure BDA00030437060700000813
得到聚集层的输出匹配向量
Figure BDA00030437060700000814
其中L为BiLSTM2网络每个时间步中隐藏层的节点数。
所述预测层实现的方法为，预测层的目的是评估概率分布Pr(y|T,P,Q),y∈Y，其中，T为主观题题目，P为参考答案，Q为学生答案，Y为评分等级集合，使用一个全接连的两层前馈神经网络来计算固定长度的匹配向量
Figure BDA00030437060700000815
并在输出层中应用softmax(·)函数评估概率分布Pr(y|T,P,Q)，其中，根据评分等级集合Y的大小|Y|设置输出层中的节点数量。
本发明具有以下优点：
提出的概念增强表示的主观题自动阅卷神经网络模型，通过多头注意力机制实现概念信息对答案文本的增强表示，并以学生答案对参考答案的单向注意力蕴含匹配的方式，估算出学生答案对参考答案的语义包含，从而可极大地增强计算机主观题评卷系统的自适应性与实用性，具体体现在：
(1)本发明提出的概念增强表示的主观题自动阅卷神经网络模型，完全实现端到端，无需额外的语义分析和人为规则；
(2)本发明在评卷过程中，充分利用题目概念信息的主导作用，通过计算答案字嵌入与概念字嵌入信息的相关度，将概念信息整合到答案表示中，从而有效提高了评卷的匹配精度；
(3)不同于传统文本蕴含推理中的双向交互匹配，本发明在评估学生答案正确程度的过程中，仅考虑学生答案对参考答案的语义包含，并且采用一种学生答案对参考答案的单向注意力蕴含的单向匹配的方式，估算出学生答案对参考答案的语义包含程度，从而扩展了评卷系统的自适应性与实用性。
附图说明
图1为实施例中的概念增强表示的主观题自动阅卷神经网络模型；
图2为实施例中的基于Bi-LSTM与CRF的概念识别与标注；
图3为实施例中的多头注意力的结构示意图；
图4为实施例中的softmax预测层示意图。
具体实施方式
本发明通过实施例，结合说明书附图对本发明内容作进一步详细说明，但不是对本发明的限定。
实施例
一种概念增强表示与单向蕴含注意力的主观题自动阅卷神经网络模型，由概念提取层、答案表示层、概念增强表示层、上下文表示层、单向蕴含注意力层、聚集层和预测层构成。
所述答案表示层实现的方法为，将题目、参考答案、学生答案转换为维度为d的预训练的字嵌入向量序列T、P、Q，主观题题目T的参考答案为P，评分等级集合为Y，则将对于学生答案Q的评卷过程，转换为通过一个神经网络模型预测概率分布Pr(y|T,P,Q)，y∈Y。
所述概念提取层实现的方法为，基于BiLSTM神经网络和条件随机场的题目概念自动识别方法，对主观题题目中的概念，采用在自然语言处理中广泛使用的BiLSTM和CRF的方法，将其从试题题目中识别与提取出来，如图2所示，具体过程为，
(1)将试题题目中每个字的字嵌入向量作为输入送入一个双向长短时记忆神经网络；
(2)双向长短时记忆神经网络计算出题目中每个字的各种概念标注特征的概率，并将这些概念标注概率送往一个条件随机场；
(3)条件随机场根据字的概念标注特征的概率，最终得出每个字的概念标注特征，如图1所示，其中B表示这个字处于一个概念的开始(Begin)，I表示内部(inside)，O表示外部(outside)；
(4)根据题目中每个字的概念标注特征，识别出题目中的概念；
(5)若题目中只包含一个概念，则将该概念的字嵌入向量序列作为题目最终的概念字嵌入向量序列，转步骤7；
(6)若题目中包含多个概念，则按照概念在题目中出现的顺序，依次将每个概念的字嵌入向量序列首尾相接，形成题目最终的概念字嵌入向量序列；
(7)得到题目的概念字嵌入向量序列
Figure BDA0003043706070000101
s表示概念序列中字的个数，d为字嵌入向量的维度。
所述概念增强层实现的方法为，是指使用题目的概念字嵌入向量序列来增强学生答案与参考答案中的字嵌入表示，以突出与概念相关联的词在评卷中的作用，设题目的概念字嵌入向量序列
Figure BDA0003043706070000111
为参考答案字嵌入向量序列，n为参考答案中字的个数，d为字嵌入向量的维度，则概念字嵌入向量序列C对P的增强表示，具体过程为，
(1)使用缩放点积注意力机制，实现概念字嵌入向量序列C对参考答案字嵌入向量序列P的增强表示的建模，缩放点积注意力机制的注意力函数为：
Figure BDA0003043706070000112
其中，Q、K、V分别为缩放点积注意力机制的查询(queries)、关键字(keys)和值(values)，dq为查询Q的向量维度，T表示矩阵的转置操作，softmax(·)为神经网络中的归一化指数函数，用于计算Q与K之间的相关度，
在建模过程中，将缩放点积注意力的查询Q设置为参考答案字嵌入向量序列P，将缩放点积注意力的关键字K和值V都设置为概念字嵌入向量序列C，因此公式(1)转换为如下的公式(2)：
Figure BDA0003043706070000113
其中，
Figure BDA0003043706070000114
用于计算参考答案中的字嵌入与概念字嵌入向量序列的相关度，d为字嵌入向量的维度；
(2)在步骤1的建模过程中，使用多头注意力从不同语义子空间捕获序列信息：首先，对于由h个头组成的多头注意力结构，使用h个不同的线性变换将查询、关键字和值分别转换为d/h维；其次，并行执行h个投影，实现按比例缩放点积注意力，然后将h个头的所有输出连接起来并线性投影到表示空间，如图3所示，具体将步骤1建模过程中的多头注意力表达如下，
MultiHead(Q,K,V)＝[H1,H2,...,Hh]WO (3)
Figure BDA0003043706070000121
P(x)＝Multihead(P,C,C) (4)
其中，
Figure BDA0003043706070000122
表示概念字嵌入向量序列C对参考答案字嵌入向量序列P的增强表示，MultiHead(·)表示多头注意力，H1,H2,...,Hh表示多头注意力中的h个头，
Figure BDA0003043706070000123
是第i个线性变换的参数矩阵，
Figure BDA0003043706070000124
是缩放点乘注意力拼接结果的线性变换参数矩阵，都是可学习的参数，[,]表示拼接运算，Attention(·)表示多头注意力的注意力函数，由公式(2)；
(3)使用层归一化(Layer Normaliztion)的方法实现参考答案字嵌入向量序列P的增强表示更新，即：
P(c)＝LayerNorm(P(x)+P) (5)
其中，
Figure BDA0003043706070000125
表示P更新后的增强向量序列，LayerNorm(·)表示实现神经网络中层归一化方法的函数，
Figure BDA0003043706070000126
为待更新的参考答案字嵌入向量序列，
Figure BDA0003043706070000127
表示概念字嵌入向量序列C对嵌入向量序列P的增强表示，由公式(4)计算得到；
(4)将参考答案字嵌入向量序列
Figure BDA0003043706070000128
替换为学生答案字嵌入向量序列
Figure BDA0003043706070000129
重复上述步骤(1)到步骤(3)，得到学生答案的概念增强表示更新序列
Figure BDA00030437060700001210
所述上下文表示层实现的方法为，上下文表示层的目的是将答案上下文信息合并到答案的每个时间步中，采用BiLSTM对答案上下文信息进行编码，对于参考答案概念增强表示序列
Figure BDA0003043706070000131
利用一个双向长短期记忆神经网络BiLSTM1对P(c)的每个时间步进行如下的上下文嵌入编码：
Figure BDA0003043706070000132
其中，
Figure BDA0003043706070000133
分别代表BiLSTM1的前向和后向长短期记忆神经网络，
Figure BDA0003043706070000134
Figure BDA0003043706070000135
分别代表P(c)在BiLSTM1中第i个前向和后向的时间步，
同时，BiLSTM1对于学生答案概念增强表示序列
Figure BDA0003043706070000136
的每个时间步进行如下的上下文嵌入编码：
Figure BDA0003043706070000137
所述单向蕴含注意力层实现的方法为，通过学生答案对参考答案的语义包含，实现对学生答案正确程度的评估，并且采用一种学生答案对参考答案的单向注意力蕴含匹配的方式，估算出学生答案对参考答案的语义包含程度，所述的单向注意力蕴含匹配是指只考虑学生答案对参考答案的语义包含，而不考虑参考答案对学生答案的语义包含，其计算过程如下，
(1)首先分别计算参考答案P的每个前向、后向上下文嵌入
Figure BDA0003043706070000138
和学生答案句子Q中所有前向、后向上下文嵌入
Figure BDA0003043706070000139
之间的余弦相似性：
Figure BDA00030437060700001310
(2)以
Figure BDA00030437060700001311
作为
Figure BDA00030437060700001312
的权重，加权求和学生答案Q的所有上下文嵌入
Figure BDA00030437060700001313
Figure BDA00030437060700001314
分别计算出
Figure BDA00030437060700001315
在学生答案句子Q中的注意向量
Figure BDA00030437060700001316
Figure BDA0003043706070000141
(3)将参考答案P的每个前向、后向上下文嵌入
Figure BDA0003043706070000142
与其相对应的注意向量
Figure BDA0003043706070000143
Figure BDA0003043706070000144
进行匹配，分别得到两个k种视角的匹配向量
Figure BDA0003043706070000145
和
Figure BDA0003043706070000146
Figure BDA0003043706070000147
其中，
Figure BDA0003043706070000148
为k种视角的向量匹配函数，其计算公式为：
Figure BDA0003043706070000149
其中，v1、v2为任意两个维度为d的向量，
Figure BDA00030437060700001410
是一个形状为k×d的可训练的多视角参数矩阵，k是多视角的数目，wr为W的第r行，ο表示向量的逐元素相乘；
(4)重复步骤(1)到(3)，计算出参考答案P的每个前向及后向上下文嵌入与其在学生答案Q中相对应的注意向量，得到一个学生答案Q对参考答案P的单向蕴含匹配矩阵
Figure BDA00030437060700001411
其中
Figure BDA00030437060700001412
表示向量
Figure BDA00030437060700001413
和
Figure BDA00030437060700001414
相连接，n为参考答案中字的个数。
所述聚集层实现的方法为，聚集层的作用是将在在评卷过程中，不同尺寸的参考答案的匹配矩阵M转换成固定长度的匹配向量Mv，使用另一个双向长短期记忆神经网络BiLSTM2，完成学生答案对参考答案匹配矩阵M的转换，其转换过程如下，
(1)将单向注意力蕴含匹配层得到的单向蕴含匹配矩阵
Figure BDA00030437060700001415
中的每一行向量作为BiLSTM2网络的一个输入；
(2)BiLSTM2对M的每个时间步进行如下的聚集嵌入编码：
Figure BDA0003043706070000151
其中，
Figure BDA0003043706070000152
分别代表BiLSTM2的前向和后向长短期记忆神经网络，
Figure BDA0003043706070000153
Figure BDA0003043706070000154
分别代表M在BiLSTM2中第i个前向和后向的时间步；
(3)连接BiLSTM2的前向和后向的最后一个时间步
Figure BDA0003043706070000155
和
Figure BDA0003043706070000156
得到聚集层的输出匹配向量
Figure BDA0003043706070000157
其中L为BiLSTM2网络每个时间步中隐藏层的节点数。
所述预测层实现的方法为，预测层的目的是评估概率分布Pr(y|T,P,Q),y∈Y，其中，T为主观题题目，P为参考答案，Q为学生答案，Y为评分等级集合，使用一个全接连的两层前馈神经网络来计算固定长度的匹配向量
Figure BDA0003043706070000158
并在输出层中应用softmax(·)函数评估概率分布Pr(y|T,P,Q)，其中，根据评分等级集合Y的大小|Y|设置输出层中的节点数量，如图4所示。

Claims (9)

1.一种概念增强表示与单向蕴含注意力的主观题自动阅卷神经网络模型，其特征在于：首先结合双向长短时记忆神经网络BiLSTM和机器学习的条件随机场CRF的方法自动识别题目中的概念系列；然后通过多头注意力机制实现概念字嵌入向量序列对答案字嵌入向量序列的增强表示建模；并通过一个BiLSTM对答案上下文信息进行编码；最后通过一种单向注意力蕴含匹配的方式，估算出学生答案对参考答案的语义包含，进而在单向蕴含匹配向量的基础上聚集信息并进行学生答案得分区间的概率分布预测。
2.根据权利要求1所述的概念增强表示与单向蕴含注意力的主观题自动阅卷神经网络模型，其特征在于：包含概念提取层、答案表示层、概念增强表示层、上下文表示层、单向蕴含注意力层、聚集层和预测层。
3.根据权利要求2所述的概念增强表示与单向蕴含注意力的主观题自动阅卷神经网络模型，其特征在于：
所述答案表示层为，将题目、参考答案、学生答案转换为维度为d的预训练的字嵌入向量序列T、P、Q，主观题题目T的参考答案为P，评分等级集合为Y，则将对于学生答案Q的评卷过程，转换为通过一个神经网络模型预测概率分布Pr(y|T,P,Q)，y∈Y；
所述概念提取层为，结合BiLSTM和CRF的方法，自动识别和提取题目中的概念系列；
所述概念增强表示层为，通过多头注意力机制，计算出答案字嵌入与概念字嵌入向量序列的相关度，将与答案字嵌入最为相关的概念序列信息整合到答案字嵌入中，实现概念字嵌入向量序列对参考答案和学生答案的字嵌入向量序列的增强表示建模；
所述上下文表示层为，采用一个相同的BiLSTM，分别对参考答案和学生答案的上下文信息进行编码；
所述单向蕴含注意力层为，采用一种学生答案对参考答案的单向蕴含注意力匹配的方式，估算出学生答案对参考答案的语义包含程度，得到学生答案对参考答案的单向蕴含匹配矩阵M；
所述聚集层为，使用一个双向长短期记忆神经网络，完成学生答案对参考答案匹配矩阵M的聚集与转换，得到一个固定长度的匹配向量
Figure FDA0003043706060000011
其中L为聚集层每个时间步中隐藏层的节点数；
所述预测层为，使用一个全接连的两层前馈神经网络来计算固定长度的匹配向量
Figure FDA0003043706060000012
并在输出层中应用softmax(·)函数评估学生答案在各得分区间的概率分布Pr(y|T,P,Q)，将概率最高的标签设置为最终结果。
4.根据权利要求3所述的概念增强表示与单向蕴含注意力的主观题自动阅卷神经网络模型，其特征在于：所述概念提取层实现的方法为，基于BiLSTM神经网络和条件随机场的题目概念自动识别方法，对主观题题目中的概念，采用在自然语言处理中广泛使用的BiLSTM和CRF的方法，将其从试题题目中识别与提取出来，具体过程为，
(1)将试题题目中每个字的字嵌入向量作为输入送入一个双向长短时记忆神经网络，
(2)双向长短时记忆神经网络计算出题目中每个字的各种概念标注特征的概率，并将这些概念标注概率送往一个条件随机场，
(3)条件随机场根据字的概念标注特征的概率，最终得出每个字的概念标注特征，其中B表示这个字处于一个概念的开始(Begin)，I表示内部(inside)，O表示外部(outside)，
(4)根据题目中每个字的概念标注特征，识别出题目中的概念，
(5)若题目中只包含一个概念，则将该概念的字嵌入向量序列作为题目最终的概念字嵌入向量序列，转步骤7，
(6)若题目中包含多个概念，则按照概念在题目中出现的顺序，依次将每个概念的字嵌入向量序列首尾相接，形成题目最终的概念字嵌入向量序列，
(7)得到题目的概念字嵌入向量序列
Figure FDA0003043706060000021
s表示概念序列中字的个数，d为字嵌入向量的维度。
5.根据权利要求3所述的概念增强表示与单向蕴含注意力的主观题自动阅卷神经网络模型，其特征在于：所述概念增强层实现的方法为，是指使用题目的概念字嵌入向量序列来增强学生答案与参考答案中的字嵌入表示，以突出与概念相关联的词在评卷中的作用，设题目的概念字嵌入向量序列
Figure FDA0003043706060000022
为参考答案字嵌入向量序列，n为参考答案中字的个数，d为字嵌入向量的维度，则概念字嵌入向量序列C对P的增强表示，具体过程为，
(1)使用缩放点积注意力机制，实现概念字嵌入向量序列C对参考答案字嵌入向量序列P的增强表示的建模，缩放点积注意力机制的注意力函数为：
Figure FDA0003043706060000023
其中，Q、K、V分别为缩放点积注意力机制的查询(queries)、关键字(keys)和值(values)，dq为查询Q的向量维度，T表示矩阵的转置操作，softmax(·)为神经网络中的归一化指数函数，用于计算Q与K之间的相关度，
在建模过程中，将缩放点积注意力的查询Q设置为参考答案字嵌入向量序列P，将缩放点积注意力的关键字K和值V都设置为概念字嵌入向量序列C，因此公式(1)转换为如下的公式(2)：
Figure FDA0003043706060000024
其中，
Figure FDA0003043706060000031
用于计算参考答案中的字嵌入与概念字嵌入向量序列的相关度，d为字嵌入向量的维度，
(2)在步骤1的建模过程中，使用多头注意力从不同语义子空间捕获序列信息：首先，对于由h个头组成的多头注意力结构，使用h个不同的线性变换将查询、关键字和值分别转换为d/h维；其次，并行执行h个投影，实现按比例缩放点积注意力，然后将h个头的所有输出连接起来并线性投影到表示空间，具体将步骤1建模过程中的多头注意力表达如下，
MultiHead(Q,K,V)＝[H1,H2,...,Hh]WO (3)
Figure FDA0003043706060000032
P(x)＝Multihead(P,C,C) (4)
其中，
Figure FDA0003043706060000033
表示概念字嵌入向量序列C对参考答案字嵌入向量序列P的增强表示，MultiHead(·)表示多头注意力，H1,H2,...,Hh表示多头注意力中的h个头，
Figure FDA0003043706060000034
是第i个线性变换的参数矩阵，
Figure FDA0003043706060000035
是缩放点乘注意力拼接结果的线性变换参数矩阵，都是可学习的参数，[,]表示拼接运算，Attention(·)表示多头注意力的注意力函数，由公式(2)，
(3)使用层归一化(Layer Normaliztion)的方法实现参考答案字嵌入向量序列P的增强表示更新，即：
P(c)＝LayerNorm(P(x)+P) (5)
其中，
Figure FDA0003043706060000036
表示P更新后的增强向量序列，LayerNorm(·)表示实现神经网络中层归一化方法的函数，
Figure FDA0003043706060000037
为待更新的参考答案字嵌入向量序列，
Figure FDA0003043706060000038
表示概念字嵌入向量序列C对嵌入向量序列P的增强表示，由公式(4)计算得到，
(4)将参考答案字嵌入向量序列
Figure FDA0003043706060000039
替换为学生答案字嵌入向量序列
Figure FDA00030437060600000310
重复上述步骤(1)到步骤(3)，得到学生答案的概念增强表示更新序列
Figure FDA00030437060600000311
6.根据权利要求3所述的概念增强表示与单向蕴含注意力的主观题自动阅卷神经网络模型，其特征在于：所述上下文表示层实现的方法为，上下文表示层的目的是将答案上下文信息合并到答案的每个时间步中，采用BiLSTM对答案上下文信息进行编码，对于参考答案概念增强表示序列
Figure FDA00030437060600000312
利用一个双向长短期记忆神经网络BiLSTM1对P(c)的每个时间步进行如下的上下文嵌入编码：
Figure FDA0003043706060000041
其中，
Figure FDA0003043706060000042
分别代表BiLSTM1的前向和后向长短期记忆神经网络，
Figure FDA0003043706060000043
Figure FDA0003043706060000044
分别代表P(c)在BiLSTM1中第i个前向和后向的时间步，
同时，BiLSTM1对于学生答案概念增强表示序列
Figure FDA0003043706060000045
的每个时间步进行如下的上下文嵌入编码：
Figure FDA0003043706060000046
7.根据权利要求3所述的概念增强表示与单向蕴含注意力的主观题自动阅卷神经网络模型，其特征在于：所述单向蕴含注意力层实现的方法为，通过学生答案对参考答案的语义包含，实现对学生答案正确程度的评估，并且采用一种学生答案对参考答案的单向注意力蕴含匹配的方式，估算出学生答案对参考答案的语义包含程度，所述的单向注意力蕴含匹配是指只考虑学生答案对参考答案的语义包含，而不考虑参考答案对学生答案的语义包含，其计算过程如下，
(1)首先分别计算参考答案P的每个前向、后向上下文嵌入
Figure FDA0003043706060000047
和学生答案句子Q中所有前向、后向上下文嵌入
Figure FDA0003043706060000048
之间的余弦相似性：
Figure FDA0003043706060000049
(2)以
Figure FDA00030437060600000410
作为
Figure FDA00030437060600000411
的权重，加权求和学生答案Q的所有上下文嵌入
Figure FDA00030437060600000412
Figure FDA00030437060600000413
分别计算出
Figure FDA00030437060600000414
在学生答案句子Q中的注意向量
Figure FDA00030437060600000415
Figure FDA00030437060600000416
(3)将参考答案P的每个前向、后向上下文嵌入
Figure FDA00030437060600000417
与其相对应的注意向量
Figure FDA00030437060600000418
Figure FDA0003043706060000051
进行匹配，分别得到两个k种视角的匹配向量
Figure FDA0003043706060000052
和
Figure FDA0003043706060000053
Figure FDA0003043706060000054
其中，
Figure FDA0003043706060000055
为k种视角的向量匹配函数，其计算公式为：
Figure FDA0003043706060000056
其中，v1、v2为任意两个维度为d的向量，
Figure FDA0003043706060000057
是一个形状为k×d的可训练的多视角参数矩阵，k是多视角的数目，wr为W的第r行，
Figure FDA0003043706060000058
表示向量的逐元素相乘，
(4)重复步骤(1)到(3)，计算出参考答案P的每个前向及后向上下文嵌入与其在学生答案Q中相对应的注意向量，得到一个学生答案Q对参考答案P的单向蕴含匹配矩阵
Figure FDA0003043706060000059
其中
Figure FDA00030437060600000510
表示向量
Figure FDA00030437060600000511
和
Figure FDA00030437060600000512
相连接，n为参考答案中字的个数。
8.根据权利要求3所述的概念增强表示与单向蕴含注意力的主观题自动阅卷神经网络模型，其特征在于：所述聚集层实现的方法为，聚集层的作用是将在在评卷过程中，不同尺寸的参考答案的匹配矩阵M转换成固定长度的匹配向量Mv，使用另一个双向长短期记忆神经网络BiLSTM2，完成学生答案对参考答案匹配矩阵M的转换，其转换过程如下，
(1)将单向注意力蕴含匹配层得到的单向蕴含匹配矩阵
Figure FDA00030437060600000513
中的每一行向量Ωi作为BiLSTM2网络的一个输入；
(2)BiLSTM2对M的每个时间步进行如下的聚集嵌入编码：
Figure FDA00030437060600000514
其中，
Figure FDA00030437060600000515
分别代表BiLSTM2的前向和后向长短期记忆神经网络，
Figure FDA00030437060600000516
Figure FDA00030437060600000517
分别代表M在BiLSTM2中第i个前向和后向的时间步，
(3)连接BiLSTM2的前向和后向的最后一个时间步
Figure FDA00030437060600000518
和
Figure FDA00030437060600000519
得到聚集层的输出匹配向量
Figure FDA00030437060600000520
其中L为BiLSTM2网络每个时间步中隐藏层的节点数。
9.根据权利要求3所述的概念增强表示与单向蕴含注意力的主观题自动阅卷神经网络模型，其特征在于：所述预测层实现的方法为，预测层的目的是评估概率分布Pr(y|T,P,Q),y∈Y，其中，T为主观题题目，P为参考答案，Q为学生答案，Y为评分等级集合，使用一个全接连的两层前馈神经网络来计算固定长度的匹配向量
Figure FDA0003043706060000061
并在输出层中应用softmax(·)函数评估概率分布Pr(y|T,P,Q)，其中，根据评分等级集合Y的大小|Y|设置输出层中的节点数量。
CN202110468336.0A 2021-04-28 2021-04-28 一种概念增强表示与单向蕴含注意力的主观题自动阅卷神经网络模型 Active CN113011196B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110468336.0A CN113011196B (zh) 2021-04-28 2021-04-28 一种概念增强表示与单向蕴含注意力的主观题自动阅卷神经网络模型

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110468336.0A CN113011196B (zh) 2021-04-28 2021-04-28 一种概念增强表示与单向蕴含注意力的主观题自动阅卷神经网络模型

Publications (2)

Publication Number Publication Date
CN113011196A true CN113011196A (zh) 2021-06-22
CN113011196B CN113011196B (zh) 2023-01-10

Family

ID=76380419

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110468336.0A Active CN113011196B (zh) 2021-04-28 2021-04-28 一种概念增强表示与单向蕴含注意力的主观题自动阅卷神经网络模型

Country Status (1)

Country Link
CN (1) CN113011196B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113779360A (zh) * 2021-08-18 2021-12-10 深圳技术大学 基于多头问答模型的解题方法、装置、设备及存储介质
CN113935459A (zh) * 2021-09-23 2022-01-14 广西师范大学 一种基于bert的深度神经网络模型的自动评卷方法

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3156949A2 (en) * 2015-10-16 2017-04-19 Baidu USA LLC Systems and methods for human inspired simple question answering (hisqa)
CN107480133A (zh) * 2017-07-25 2017-12-15 广西师范大学 一种基于答案蕴涵与依存关系的主观题自适应阅卷方法
CN108875074A (zh) * 2018-07-09 2018-11-23 北京慧闻科技发展有限公司 基于交叉注意力神经网络的答案选择方法、装置和电子设备
CN110413741A (zh) * 2019-08-07 2019-11-05 山东山大鸥玛软件股份有限公司 一种面向主观题的智能阅卷方法
CN110929515A (zh) * 2019-11-21 2020-03-27 中国民航大学 基于协同注意力和自适应调整的阅读理解方法及系统
CN111160000A (zh) * 2019-12-10 2020-05-15 深圳信息职业技术学院 作文自动评分方法、装置终端设备及存储介质
CN111160017A (zh) * 2019-12-12 2020-05-15 北京文思海辉金信软件有限公司 关键词抽取方法、话术评分方法以及话术推荐方法
CN111310458A (zh) * 2020-03-20 2020-06-19 广东工业大学 一种基于多特征融合的主观题自动评分方法
CN111506722A (zh) * 2020-06-16 2020-08-07 平安科技（深圳）有限公司 基于深度学习技术的知识图谱问答方法、装置及设备
WO2020185321A1 (en) * 2019-03-12 2020-09-17 Microsoft Technology Licensing, Llc Matching based intent understanding with transfer learning
CN111783466A (zh) * 2020-07-15 2020-10-16 电子科技大学 一种面向中文病历的命名实体识别方法
CN111814036A (zh) * 2019-12-10 2020-10-23 北京嘀嘀无限科技发展有限公司 基于搜索引擎的无线热点与兴趣点匹配方法、电子设备及存储介质
CN111858857A (zh) * 2020-07-31 2020-10-30 前海企保科技（深圳）有限公司 一种跨文档长文本的分层融合阅读理解方法及系统
US20200380213A1 (en) * 2018-02-09 2020-12-03 Salesforce.Com, Inc. Multitask Learning As Question Answering
CN112100351A (zh) * 2020-09-11 2020-12-18 陕西师范大学 一种通过问题生成数据集构建智能问答系统的方法及设备
CN112199472A (zh) * 2020-10-12 2021-01-08 山东山大鸥玛软件股份有限公司 一种基于迁移学习的主观题智能评卷方法、系统及设备
CN112329442A (zh) * 2020-10-13 2021-02-05 电子科技大学 面向异构法律数据的多任务阅读系统及方法
CN112417104A (zh) * 2020-12-04 2021-02-26 山西大学 一种句法关系增强的机器阅读理解多跳推理模型及方法

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3156949A2 (en) * 2015-10-16 2017-04-19 Baidu USA LLC Systems and methods for human inspired simple question answering (hisqa)
CN107480133A (zh) * 2017-07-25 2017-12-15 广西师范大学 一种基于答案蕴涵与依存关系的主观题自适应阅卷方法
US20200380213A1 (en) * 2018-02-09 2020-12-03 Salesforce.Com, Inc. Multitask Learning As Question Answering
CN108875074A (zh) * 2018-07-09 2018-11-23 北京慧闻科技发展有限公司 基于交叉注意力神经网络的答案选择方法、装置和电子设备
WO2020185321A1 (en) * 2019-03-12 2020-09-17 Microsoft Technology Licensing, Llc Matching based intent understanding with transfer learning
CN110413741A (zh) * 2019-08-07 2019-11-05 山东山大鸥玛软件股份有限公司 一种面向主观题的智能阅卷方法
CN110929515A (zh) * 2019-11-21 2020-03-27 中国民航大学 基于协同注意力和自适应调整的阅读理解方法及系统
CN111814036A (zh) * 2019-12-10 2020-10-23 北京嘀嘀无限科技发展有限公司 基于搜索引擎的无线热点与兴趣点匹配方法、电子设备及存储介质
CN111160000A (zh) * 2019-12-10 2020-05-15 深圳信息职业技术学院 作文自动评分方法、装置终端设备及存储介质
CN111160017A (zh) * 2019-12-12 2020-05-15 北京文思海辉金信软件有限公司 关键词抽取方法、话术评分方法以及话术推荐方法
CN111310458A (zh) * 2020-03-20 2020-06-19 广东工业大学 一种基于多特征融合的主观题自动评分方法
CN111506722A (zh) * 2020-06-16 2020-08-07 平安科技（深圳）有限公司 基于深度学习技术的知识图谱问答方法、装置及设备
CN111783466A (zh) * 2020-07-15 2020-10-16 电子科技大学 一种面向中文病历的命名实体识别方法
CN111858857A (zh) * 2020-07-31 2020-10-30 前海企保科技（深圳）有限公司 一种跨文档长文本的分层融合阅读理解方法及系统
CN112100351A (zh) * 2020-09-11 2020-12-18 陕西师范大学 一种通过问题生成数据集构建智能问答系统的方法及设备
CN112199472A (zh) * 2020-10-12 2021-01-08 山东山大鸥玛软件股份有限公司 一种基于迁移学习的主观题智能评卷方法、系统及设备
CN112329442A (zh) * 2020-10-13 2021-02-05 电子科技大学 面向异构法律数据的多任务阅读系统及方法
CN112417104A (zh) * 2020-12-04 2021-02-26 山西大学 一种句法关系增强的机器阅读理解多跳推理模型及方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
LINQIN CAI等: "A Stacked BiLSTM Neural Network Based on Coattention Mechanism for Question Answering", 《COMPUTATIONAL INTELLIGENCE AND NEUROSCIENCE》 *
YUFENG DIAO等: "A Multi-Dimension Question Answering Network for Sarcasm Detection", 《IEEE ACCESS》 *
冯姝桦: "专业主观题自动评阅关键技术研究和应用", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *
张旭东等: "数据库原理在线考试系统核心功能研究与设计", 《甘肃科技》 *
谭红叶等: "基于代表性答案选择与注意力机制的短答案自动评分", 《中文信息学报》 *
赵丹: "主观题自动评分系统的研究与实现", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *
陈志豪等: "基于注意力和字嵌入的中文医疗问答匹配方法", 《计算机应用》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113779360A (zh) * 2021-08-18 2021-12-10 深圳技术大学 基于多头问答模型的解题方法、装置、设备及存储介质
CN113935459A (zh) * 2021-09-23 2022-01-14 广西师范大学 一种基于bert的深度神经网络模型的自动评卷方法

Also Published As

Publication number Publication date
CN113011196B (zh) 2023-01-10

Similar Documents

Publication Publication Date Title
CN111554268B (zh) 基于语言模型的语言识别方法、文本分类方法和装置
CN111625641B (zh) 一种基于多维度语义交互表征模型的对话意图识别方法及系统
CN110298037B (zh) 基于增强注意力机制的卷积神经网络匹配的文本识别方法
CN110781680B (zh) 基于孪生网络和多头注意力机制的语义相似度匹配方法
CN108549658B (zh) 一种基于语法分析树上注意力机制的深度学习视频问答方法及系统
CN111414461B (zh) 一种融合知识库与用户建模的智能问答方法及系统
CN110609891A (zh) 一种基于上下文感知图神经网络的视觉对话生成方法
CN111339281B (zh) 一种多视角融合的阅读理解选择题的答案选择方法
CN110134946B (zh) 一种针对复杂数据的机器阅读理解方法
CN112990296B (zh) 基于正交相似度蒸馏的图文匹配模型压缩与加速方法及系统
CN110222163A (zh) 一种融合cnn与双向lstm的智能问答方法及系统
CN111985239A (zh) 实体识别方法、装置、电子设备及存储介质
CN113011196B (zh) 一种概念增强表示与单向蕴含注意力的主观题自动阅卷神经网络模型
CN114297399A (zh) 知识图谱生成方法、系统、存储介质及电子设备
CN115599899A (zh) 基于飞行器知识图谱的智能问答方法、系统、设备及介质
Liu et al. Research on online learning resource recommendation method based on wide & deep and elmo model
CN116975288A (zh) 文本处理方法及文本处理模型训练方法
CN112966518B (zh) 一种面向大规模在线学习平台的优质答案识别方法
CN113641809A (zh) 一种基于XLNet-BiGRU-CRF的智能问答方法
CN114579706B (zh) 一种基于bert神经网络和多任务学习的主观题自动评阅方法
CN114117033B (zh) 知识追踪方法及系统
CN115905187A (zh) 一种面向云计算工程技术人员认证的智能化命题系统
CN116151242B (zh) 一种编程学习场景的智能习题推荐方法、系统及储存介质
CN113361261B (zh) 一种基于enhance matrix的法律案件候选段落的选取方法及装置
CN114840697B (zh) 一种云服务机器人的视觉问答方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220915

Address after: Room 801, 85 Kefeng Road, Huangpu District, Guangzhou City, Guangdong Province

Applicant after: Yami Technology (Guangzhou) Co.,Ltd.

Address before: 541004 No. 15 Yucai Road, Qixing District, Guilin, the Guangxi Zhuang Autonomous Region

Applicant before: Guangxi Normal University

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20221129

Address after: 710000 No. 1901, Floor 19, Saige International Shopping Center, northeast corner of Xiaozhai Cross, Yanta District, Xi'an, Shaanxi

Applicant after: Shaanxi Wendu Education Technology Co.,Ltd.

Address before: Room 801, 85 Kefeng Road, Huangpu District, Guangzhou City, Guangdong Province

Applicant before: Yami Technology (Guangzhou) Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant