CN112199472A - 一种基于迁移学习的主观题智能评卷方法、系统及设备 - Google Patents

一种基于迁移学习的主观题智能评卷方法、系统及设备 Download PDF

Info

Publication number
CN112199472A
CN112199472A CN202011086881.5A CN202011086881A CN112199472A CN 112199472 A CN112199472 A CN 112199472A CN 202011086881 A CN202011086881 A CN 202011086881A CN 112199472 A CN112199472 A CN 112199472A
Authority
CN
China
Prior art keywords
data
training
model
score
intelligent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011086881.5A
Other languages
English (en)
Other versions
CN112199472B (zh
Inventor
马磊
郭成锋
袁峰
薛勇
韩百龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANDONG SHANDA OUMA SOFTWARE CO Ltd
Original Assignee
SHANDONG SHANDA OUMA SOFTWARE CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANDONG SHANDA OUMA SOFTWARE CO Ltd filed Critical SHANDONG SHANDA OUMA SOFTWARE CO Ltd
Priority to CN202011086881.5A priority Critical patent/CN112199472B/zh
Publication of CN112199472A publication Critical patent/CN112199472A/zh
Application granted granted Critical
Publication of CN112199472B publication Critical patent/CN112199472B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明提出的一种基于迁移学习的主观题智能评卷方法、系统及设备，包括：基于遮挡语言模型，构建语义特征提取网络，采用自监督学习方式，对语义特征提取网络进行预训练；在预训练语义特征提取网络的基础上构建多得分点评分模型，并选取经由专家评阅的考生数据，对多得分点评分模型进行有监督精调训练；利用精调训练后的多得分点评分模型对待评分考生数据进行评分。本发明能够解决小样本学习的问题，依据本发明所述方法构建的智能评卷系统具有高准确率和高评阅效率，同时具有一定的可解释性。

Description

一种基于迁移学习的主观题智能评卷方法、系统及设备
技术领域
本发明涉及教育考试评测技术领域，更具体的说是涉及一种基于迁移学习的主观题智能评卷方法、系统及设备。
背景技术
近年来，随着自然语言处理的发展，基于深度学习的计算机辅助智能评卷技术已成为教育考试评测领域的研究热点。计算机辅助智能评卷技术是利用计算机技术对考生答案进行评价和打分。相对于人工评卷，计算机辅助智能评卷技术有明显的优势。首先，评卷过程的可复现性，一致性、客观性，计算机系统不存在生理影响因素，一方面避免了因疲劳产生的疏忽，另一方面避免了因个人认知水平的不同导致的偏差，保证了评卷的公平性。其次，评卷过程的高效性，计算机在保证一致性、客观性、公平性的基础上，具有非常高的评卷效率，能适应各种考试规模的效率要求。
但是基于深度学习的处理技术同样有不足之处，首先，基于深度学习的模型通常需要大量的训练数据进行训练模型，但是在真实的评卷场景中，机器评卷可供学习的样本来源于少量专业评卷人的人工标注，因此可供机器学习的样本数量相对较少，基于小样本的智能评卷技术有待进一步研究。其次是评卷系统的解释性，众所周知，神经网络的可解释性通常比较差，特征提取和预测都由神经网络完成，模型的内部工作难以理解，很难估计每个特征对模型预测的重要性，也不容易理解不同特征之间如何相互作用，如何改善评卷系统对答案的解释性也有待进一步研究。
发明内容
针对以上问题，本发明的目的在于提供一种基于迁移学习的主观题智能评卷方法、系统及设备，能够解决小样本学习的问题，依据本发明所述方法构建的智能评卷系统具有高准确率和高评阅效率，同时具有一定的可解释性。
本发明为实现上述目的，通过以下技术方案实现：一种基于迁移学习的主观题智能评卷方法，包括如下步骤：
S1：基于遮挡语言模型，构建语义特征提取网络，采用自监督学习方式，对语义特征提取网络进行预训练；
S2：在预训练语义特征提取网络的基础上构建多得分点评分模型，并选取经由专家评阅的考生数据，对多得分点评分模型进行有监督精调训练；
S3：利用精调训练后的多得分点评分模型对待评分考生数据进行评分。
进一步，所述步骤S1包括：
S11：采用遮挡文本数据中部分词汇并预测被遮挡词汇的方式构建自监督学习任务；
S12：采用多头自注意力机制网络模型为语义特征提取网络主干层的方式进行神经网络模型设计；
S13：通过对题干、参考答案文本和考生答案全量文本进行词汇遮挡的方式构建自监督训练数据；
S14：采用神经网络模型训练方式对待训练数据进行遍历，直至完成模型训练。
进一步，所述神经网络模型训练方式包括：
对数据随机混洗，每次随机选取一小批样本数据，输入进模型，通过反向传播算法计算误差梯度，并采用Adam规则更新模型参数。
进一步，所述神经网络模型包括：输入层、词嵌入层、位置嵌入层、语义特征提取层和分类预测层。
进一步，所述多头自注意力机制网络模型的计算公式如下：
multiheads＝contact(head1，head2，head3，…，headh)Wc (1)
公式(1)中contact函数表示矩阵拼接操作，Wc是待优化的模型权重矩阵，headi表示第i个自注意力计算，自注意力计算方法如下公式：
Figure BDA0002720673280000031
公式(2)中dk表示输入词向量X的维度长度，Q，K和V分别表示Query，key和Value矩阵，T表示矩阵转置，所述三个矩阵分别是由输入词向量X与待优化的模型权重WQ、Wk、WV进行矩阵乘法得到：
Q＝XWQ (3)
K＝XWk (4)
V＝XWV (5)
公式(2)中的softmax函数计算方式如下：
Figure BDA0002720673280000032
其中e是自然常数。
进一步，所述步骤S13包括：
S131：对题干、参考答案文本和考生答案全量文本进行分词，形成词汇数据；
S132：统计所有词汇并添加符号[MASK]形成词汇表，由词汇表生成词序表；
S133：对每一条词汇数据，任意选取其中15％的数据；
记录下选取的位置信息和被选取的词汇，将记录下来的数据作为训练数据的标签数据；
从被选取的数据中再选取80％的词汇替换为符号[MASK]，10％的词汇被替换为词汇表中的其他任意词汇，剩余10％的数据不做处理，将含有遮挡和替换的词汇数据作为训练数据的特征数据；
S134：利用词序表将训练数据中的词汇数据转化为模型可读入的词序数据。
进一步，所述步骤S2包括：
S21：选取由专家评阅过的考生答案数据，通过预测考生答案的多个得分点分数构建有监督学习任务；
S22；共享神经网络模型中的词嵌入层、位置嵌入层和语义特征抽取层，然后添加得分点分数预测网络构成多得分点评分网络模型；
S23：对考生答案文本数据进行分词，利用词序表将分词数据转化为词序数据，将其作为训练数据的特征数据；对相应的考生答案得分点分数进行分段处理，统计得到分值-标签映射表，利用分值-标签映射表将得分点分数转化为离散标签数据，作为训练数据的标签数据；
S24：采用神经网络模型训练方式对训练数据进行遍历，直至完成模型训练。
进一步，所述步骤S3包括：
S31：对待评分考生答案文本数据进行分词，利用词序表将分词数据转化为词序数据；
S32：将待评分考生答案词序数据输入到精调训练后的多得分点评分模型得到各个得分点的预测标签；
S33：利用分值-标签映射表将各个得分点的预测标签转化为相应的分值，并累加各个得分点的分值，得到该题的总预测分数。
相应的，本发明还公开了一种基于迁移学习的主观题智能评卷系统，包括：
第一训练模块，基于遮挡语言模型，构建语义特征提取网络，采用自监督学习方式，对语义特征提取网络进行预训练；
第二训练模块，用于在预训练语义特征提取网络的基础上构建多得分点评分模型，并选取经由专家评阅的考生数据，对多得分点评分模型进行有监督精调训练；
评分模块，用于利用精调训练后的多得分点评分模型对待评分考生数据进行评分。
相应的，本发明还公开了一种基于迁移学习的主观题智能评卷设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上文任一项所述基于迁移学习的主观题智能评卷方法步骤。
对比现有技术，本发明有益效果在于：
1、本发明能有效解决少量训练样本下的主观题评阅问题。基于深度学习的模型通常需要大量的训练数据来训练模型，但是在真实的评卷场景中，机器评卷可供学习的样本来源于少量专业评卷人的人工标注，可供机器学习的样本数量相对较少。本发明提出的采用自监督预训练的迁移学习方式，能够有效利用未经标注的考生数据，除此之外，本发明同时将题干数据和参考答案数据加入到自监督学习中，进一步增加样本数据的多样性。评分模型在精调阶段之前基础模型已经对相关上下文中有用的语义进行了有效学习，从而使得模型在较少训练样本的情况下依然取得较好的评卷效果。
2、本发明提出的多得分点评分模型具有预测考生答案在得分点分值的能力，通过对得分点分值的分析，可直观观察到总分分值的构成情况，相比于直接预测考生答案的总分值，本发明提供了更好的解释性。
由此可见，本发明与现有技术相比，具有突出的实质性特点和显著的进步，其实施的有益效果也是显而易见的。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
附图1是本发明的方法流程图；
附图2是本发明的网络模型结构图；
附图3是本发明的评分网络模型结构图；
附图4是本发明的系统结构图。
具体实施方式
下面结合附图对本发明的具体实施方式做出说明。
如图1所示的一种基于迁移学习的主观题智能评卷方法，包括如下步骤：
S1：基于遮挡语言模型，构建语义特征提取网络，采用自监督学习方式，对语义特征提取网络进行预训练。
具体来说，S1包括如下步骤：
S11：无监督任务建模。采用遮挡文本数据中部分词汇并预测被遮挡词汇的方式构建自监督学习任务。
S12：神经网络模型设计。优选采用多头自注意力机制网络模型为语义特征提取网络主干层，模型包括输入层、词嵌入层、位置嵌入层、语义特征提取层和分类预测层，模型示意图如图2所示，语义特征提取层可以堆叠多层，本实施例中堆叠2层。
S13：训练数据构建。通过对题干、参考答案文本和考生答案全量文本进行词汇遮挡的方式构建自监督训练数据。
S14：神经网络模型训练。对数据随机混洗，每次随机选取一小批样本数据，输入进模型，通过反向传播算法计算误差梯度，并采用Adam规则更新模型参数，基于这种训练方式对全部训练数据进行多次遍历，直至完成模型训练。
其中，S12中的多头自注意力机制网络模型的计算公式如下：
multiheads＝contact(head1，head2，head3，…，headh)Wc (1)
公式(1)中的contact函数表示矩阵拼接操作，Wc是待优化的模型权重矩阵，headi表示第i个自注意力计算，自注意力计算方法优选如下公式：
Figure BDA0002720673280000071
公式(2)中的dk表示输入词向量X的维度长度，Q，K和V分别表示Query，key和Value矩阵，T表示矩阵转置，这三个矩阵分别是由输入词向量X与待优化的模型权重WQ、Wk、WV进行矩阵乘法得到：
Q＝XWQ (3)
K＝XWk (4)
V＝XWV (5)
公式(2)中的softmax函数计算方式如下：
Figure BDA0002720673280000072
其中e是自然常数。
在上述基础上，步骤S13包括：
首先，对题干、参考答案文本和考生答案全量文本进行分词，形成词汇数据。
然后，统计所有词汇并添加符号’[MASK]’形成词汇表，由词汇表生成词序表。
下一步，对每一条数据，任意选取其中15％的数据：
1)记录下选取的位置信息和被选取的词汇，将记录下来的数据作为训练数据的标签数据。
2)从被选取这15％的数据中再选取80％的词汇替换为符号’[MASK]’，10％的词汇被替换为词汇表中的其他任意词汇，剩余10％的数据不做处理，将含有遮挡和替换的词汇数据作为训练数据的特征数据。
最后，利用词序表将训练数据中的词汇数据转化为模型可读入的词序数据。
S2：在预训练语义特征提取网络的基础上构建多得分点评分模型，并选取经由专家评阅的考生数据，对多得分点评分模型进行有监督精调训练。
本步骤具体包括：
S21：有监督任务建模。选取由专家评阅过的考生答案数据，通过预测考生答案的多个得分点分数构建有监督学习任务；
S22：网络模型设计。共享神经网络模型中的词嵌入层、位置嵌入层和语义特征抽取层，并添加得分点分数预测网络构成评分网络模型,模型示意图如图3所示。
S23：训练数据构建：对考生答案文本数据进行分词，利用词序表将分词数据转化为词序数据，将其作为训练数据的特征数据；对相应的考生答案得分点分数进行分段处理，统计得到分值-标签映射表，利用分值-标签映射表将得分点分数转化为离散标签数据，作为训练数据的标签数据；本实施例中分别选取了1000、2000和3000的训练样本数量进行测试。
S14：网络模型训练。对数据随机混洗，每次随机选取一小批样本数据，输入进模型，通过反向传播算法计算误差梯度，并采用Adam规则更新模型参数，基于这种训练方式对全部训练数据进行多次遍历，直至完成模型训练。
S3：利用精调训练后的多得分点评分模型对待评分考生数据进行评分。
本步骤具体包括：
S31：对待评分考生答案文本数据进行分词，利用词序表将分词数据转化为词序数据
S32：将待评分考生答案词序数据输入到精调训练后的多得分点评分模型得到各个得分点的预测标签
S32：利用分值-标签映射表将各个得分点的预测标签转化为相应的分值，并累加各个得分点的分值，得到该小题的总预测分值。
以下是利用上述方法得到的实验计算结果：
表1-1 1000样本多得分点模型预测结果与人工评分的一致率
Figure BDA0002720673280000091
表1-2 2000样本多得分点模型预测结果与人工评分的一致率
Figure BDA0002720673280000092
表1-3 3000样本多得分点模型预测结果与人工评分的一致率
Figure BDA0002720673280000093
Figure BDA0002720673280000101
上述三个表格中独立学习一栏的一致率是直接利用标定数据从头训练模型得到的结果，迁移学习一栏的一致率是利用本发明提供的训练得到的结果，可以明显看出，迁移学习的一致率普遍高于独立学习的结果，并且随着样本量的减少，迁移学习的一致率下降的程度也相应较低，证明本发明提供的基于迁移学习的主观题智能评卷方法的有效性。
相应的，如图2所示，本发明还公开了一种基于迁移学习的主观题智能评卷系统，包括：
第一训练模块，基于遮挡语言模型，构建语义特征提取网络，采用自监督学习方式，对语义特征提取网络进行预训练。
第二训练模块，用于在预训练语义特征提取网络的基础上构建多得分点评分模型，并选取经由专家评阅的考生数据，对多得分点评分模型进行有监督精调训练。
评分模块，用于利用精调训练后的多得分点评分模型对待评分考生数据进行评分。
相应的，本发明还公开了一种基于迁移学习的主观题智能评卷设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上文任一项所述基于迁移学习的主观题智能评卷方法步骤。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中如U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，包括若干指令用以使得一台计算机终端(可以是个人计算机，服务器，或者第二终端、网络终端等)执行本发明各个实施例所述方法的全部或部分步骤。本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于终端实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统、系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。
同理，在本发明各个实施例中的各处理单元可以集成在一个功能模块中，也可以是各个处理单元物理存在，也可以两个或两个以上处理单元集成在一个功能模块中。
结合附图和具体实施例，对本发明作进一步说明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所限定的范围。

Claims (10)

1.一种基于迁移学习的主观题智能评卷方法，其特征在于，包括如下步骤：
S1：基于遮挡语言模型，构建语义特征提取网络，采用自监督学习方式，对语义特征提取网络进行预训练；
S2：在预训练语义特征提取网络的基础上构建多得分点评分模型，并选取经由专家评阅的考生数据，对多得分点评分模型进行有监督精调训练；
S3：利用精调训练后的多得分点评分模型对待评分考生数据进行评分。
2.根据权利要求1所述的基于迁移学习的主观题智能评卷方法，其特征在于，所述步骤S1包括：
S11：采用遮挡文本数据中部分词汇并预测被遮挡词汇的方式构建自监督学习任务；
S12：采用多头自注意力机制网络模型为语义特征提取网络主干层的方式进行神经网络模型设计；
S13：通过对题干、参考答案文本和考生答案全量文本进行词汇遮挡的方式构建自监督训练数据；
S14：采用神经网络模型训练方式对待训练数据进行遍历，直至完成模型训练。
3.根据权利要求2所述的基于迁移学习的主观题智能评卷方法，其特征在于，所述神经网络模型训练方式包括：
对数据随机混洗，每次随机选取一小批样本数据，输入进模型，通过反向传播算法计算误差梯度，并采用Adam规则更新模型参数。
4.根据权利要求2所述的基于迁移学习的主观题智能评卷方法，其特征在于，所述神经网络模型包括：输入层、词嵌入层、位置嵌入层、语义特征提取层和分类预测层。
5.根据权利要求2所述的基于迁移学习的主观题智能评卷方法，其特征在于，所述多头自注意力机制网络模型的计算公式如下：
multiheads＝contact(head1，head2，head3，…，headh)Wc (1)
公式(1)中contact函数表示矩阵拼接操作，Wc是待优化的模型权重矩阵，headi表示第i个自注意力计算，自注意力计算方法如下公式：
Figure FDA0002720673270000021
公式(2)中dk表示输入词向量X的维度长度，Q，K和V分别表示Query，key和Value矩阵，T表示矩阵转置，所述三个矩阵分别是由输入词向量X与待优化的模型权重WQ、Wk、WV进行矩阵乘法得到：
Q＝XWQ (3)
K＝XWk (4)
V＝XWV (5)
公式(2)中的softmax函数计算方式如下：
Figure FDA0002720673270000022
其中e是自然常数。
6.根据权利要求4所述的基于迁移学习的主观题智能评卷方法，其特征在于，所述步骤S13包括：
S131：对题干、参考答案文本和考生答案全量文本进行分词，形成词汇数据；
S132：统计所有词汇并添加符号[MASK]形成词汇表，由词汇表生成词序表；
S133：对每一条词汇数据，任意选取其中15％的数据；
记录下选取的位置信息和被选取的词汇，将记录下来的数据作为训练数据的标签数据；
从被选取的数据中再选取80％的词汇替换为符号[MASK]，10％的词汇被替换为词汇表中的其他任意词汇，剩余10％的数据不做处理，将含有遮挡和替换的词汇数据作为训练数据的特征数据；
S134：利用词序表将训练数据中的词汇数据转化为模型可读入的词序数据。
7.根据权利要求6所述的基于迁移学习的主观题智能评卷方法，其特征在于，所述步骤S2包括：
S21：选取由专家评阅过的考生答案数据，通过预测考生答案的多个得分点分数构建有监督学习任务；
S22；共享神经网络模型中的词嵌入层、位置嵌入层和语义特征抽取层，然后添加得分点分数预测网络构成多得分点评分网络模型；
S23：对考生答案文本数据进行分词，利用词序表将分词数据转化为词序数据，将其作为训练数据的特征数据；对相应的考生答案得分点分数进行分段处理，统计得到分值-标签映射表，利用分值-标签映射表将得分点分数转化为离散标签数据，作为训练数据的标签数据；
S24：采用神经网络模型训练方式对训练数据进行遍历，直至完成模型训练。
8.根据权利要求7所述的基于迁移学习的主观题智能评卷方法，其特征在于，所述步骤S3包括：
S31：对待评分考生答案文本数据进行分词，利用词序表将分词数据转化为词序数据；
S32：将待评分考生答案词序数据输入到精调训练后的多得分点评分模型得到各个得分点的预测标签；
S33：利用分值-标签映射表将各个得分点的预测标签转化为相应的分值，并累加各个得分点的分值，得到该题的总预测分数。
9.一种基于迁移学习的主观题智能评卷系统，其特征在于，包括：
第一训练模块，基于遮挡语言模型，构建语义特征提取网络，采用自监督学习方式，对语义特征提取网络进行预训练；
第二训练模块，用于在预训练语义特征提取网络的基础上构建多得分点评分模型，并选取经由专家评阅的考生数据，对多得分点评分模型进行有监督精调训练；
评分模块，用于利用精调训练后的多得分点评分模型对待评分考生数据进行评分。
10.一种基于迁移学习的主观题智能评卷设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至8任一项所述基于迁移学习的主观题智能评卷方法步骤。
CN202011086881.5A 2020-10-12 2020-10-12 一种基于迁移学习的主观题智能评卷方法、系统及设备 Active CN112199472B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011086881.5A CN112199472B (zh) 2020-10-12 2020-10-12 一种基于迁移学习的主观题智能评卷方法、系统及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011086881.5A CN112199472B (zh) 2020-10-12 2020-10-12 一种基于迁移学习的主观题智能评卷方法、系统及设备

Publications (2)

Publication Number Publication Date
CN112199472A true CN112199472A (zh) 2021-01-08
CN112199472B CN112199472B (zh) 2021-07-20

Family

ID=74008580

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011086881.5A Active CN112199472B (zh) 2020-10-12 2020-10-12 一种基于迁移学习的主观题智能评卷方法、系统及设备

Country Status (1)

Country Link
CN (1) CN112199472B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113011196A (zh) * 2021-04-28 2021-06-22 广西师范大学 一种概念增强表示与单向蕴含注意力的主观题自动阅卷神经网络模型
CN113554327A (zh) * 2021-07-29 2021-10-26 上海千内云教育软件科技有限公司 一种基于深度学习的素描作品智能分档以及量化评分方法
CN115827879A (zh) * 2023-02-15 2023-03-21 山东山大鸥玛软件股份有限公司 基于样本增强和自训练的低资源文本智能评阅方法和装置
CN117252739A (zh) * 2023-11-17 2023-12-19 山东山大鸥玛软件股份有限公司 一种评卷方法、系统、电子设备及存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105224818A (zh) * 2015-11-10 2016-01-06 北京科技大学 一种作业程序自动评分方法及系统
CN105989347A (zh) * 2015-02-28 2016-10-05 科大讯飞股份有限公司 客观题智能阅卷方法及系统
CN107273861A (zh) * 2017-06-20 2017-10-20 广东小天才科技有限公司 一种主观题阅卷评分方法、装置及终端设备
CN107657255A (zh) * 2017-09-18 2018-02-02 哈尔滨成长科技有限公司 网络阅卷方法、装置、可读存储介质以及电子设备
CN108363687A (zh) * 2018-01-16 2018-08-03 深圳市脑洞科技有限公司 主观题评分及其模型的构建方法、电子设备及存储介质
CN108959261A (zh) * 2018-07-06 2018-12-07 京工博创（北京）科技有限公司 基于自然语言的试卷主观题判题装置及方法
CN110309503A (zh) * 2019-05-21 2019-10-08 昆明理工大学 一种基于深度学习bert--cnn的主观题评分模型及评分方法
CN110413741A (zh) * 2019-08-07 2019-11-05 山东山大鸥玛软件股份有限公司 一种面向主观题的智能阅卷方法
CN110413783A (zh) * 2019-07-23 2019-11-05 银江股份有限公司 一种基于注意力机制的司法文本分类方法及系统
CN110717339A (zh) * 2019-12-12 2020-01-21 北京百度网讯科技有限公司 语义表示模型的处理方法、装置、电子设备及存储介质
CN111108501A (zh) * 2019-12-25 2020-05-05 深圳市优必选科技股份有限公司 一种基于上下文的多轮对话方法、装置、设备及存储介质
WO2020123207A1 (en) * 2018-12-11 2020-06-18 Salesforce.Com, Inc. Structured text translation
CN111324692A (zh) * 2020-01-16 2020-06-23 深圳市芥菜种科技有限公司 基于人工智能的主观题自动评分方法和装置

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105989347A (zh) * 2015-02-28 2016-10-05 科大讯飞股份有限公司 客观题智能阅卷方法及系统
CN105224818A (zh) * 2015-11-10 2016-01-06 北京科技大学 一种作业程序自动评分方法及系统
CN107273861A (zh) * 2017-06-20 2017-10-20 广东小天才科技有限公司 一种主观题阅卷评分方法、装置及终端设备
CN107657255A (zh) * 2017-09-18 2018-02-02 哈尔滨成长科技有限公司 网络阅卷方法、装置、可读存储介质以及电子设备
CN108363687A (zh) * 2018-01-16 2018-08-03 深圳市脑洞科技有限公司 主观题评分及其模型的构建方法、电子设备及存储介质
CN108959261A (zh) * 2018-07-06 2018-12-07 京工博创（北京）科技有限公司 基于自然语言的试卷主观题判题装置及方法
WO2020123207A1 (en) * 2018-12-11 2020-06-18 Salesforce.Com, Inc. Structured text translation
CN110309503A (zh) * 2019-05-21 2019-10-08 昆明理工大学 一种基于深度学习bert--cnn的主观题评分模型及评分方法
CN110413783A (zh) * 2019-07-23 2019-11-05 银江股份有限公司 一种基于注意力机制的司法文本分类方法及系统
CN110413741A (zh) * 2019-08-07 2019-11-05 山东山大鸥玛软件股份有限公司 一种面向主观题的智能阅卷方法
CN110717339A (zh) * 2019-12-12 2020-01-21 北京百度网讯科技有限公司 语义表示模型的处理方法、装置、电子设备及存储介质
CN111108501A (zh) * 2019-12-25 2020-05-05 深圳市优必选科技股份有限公司 一种基于上下文的多轮对话方法、装置、设备及存储介质
CN111324692A (zh) * 2020-01-16 2020-06-23 深圳市芥菜种科技有限公司 基于人工智能的主观题自动评分方法和装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ALI ALSHAHRANI 等: ""Identifying Optimism and Pessimism in Twitter Messages Using XLNet and Deep Consensus"", 《2020 INTERNATIONAL JOINT CONFERENCE ON NEURAL NETWORKS (IJCNN)》 *
ASHISH VASWANI 等: ""Attention Is All You Need"", 《HTTP://ARXIV.ORG/ABS/1706.03762》 *
王逸凡 等: ""基于语义相似度及命名实体识别的主观题自动评分方法"", 《电子测量技术》 *
罗俊 等: ""基于BERT的不完全数据情感分类"", 《计算机应用》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113011196A (zh) * 2021-04-28 2021-06-22 广西师范大学 一种概念增强表示与单向蕴含注意力的主观题自动阅卷神经网络模型
CN113011196B (zh) * 2021-04-28 2023-01-10 陕西文都教育科技有限公司 一种概念增强表示与单向蕴含注意力的主观题自动阅卷神经网络模型
CN113554327A (zh) * 2021-07-29 2021-10-26 上海千内云教育软件科技有限公司 一种基于深度学习的素描作品智能分档以及量化评分方法
CN115827879A (zh) * 2023-02-15 2023-03-21 山东山大鸥玛软件股份有限公司 基于样本增强和自训练的低资源文本智能评阅方法和装置
CN117252739A (zh) * 2023-11-17 2023-12-19 山东山大鸥玛软件股份有限公司 一种评卷方法、系统、电子设备及存储介质
CN117252739B (zh) * 2023-11-17 2024-03-12 山东山大鸥玛软件股份有限公司 一种评卷方法、系统、电子设备及存储介质

Also Published As

Publication number Publication date
CN112199472B (zh) 2021-07-20

Similar Documents

Publication Publication Date Title
CN112199472B (zh) 一种基于迁移学习的主观题智能评卷方法、系统及设备
CN111444709B (zh) 文本分类方法、装置、存储介质及设备
CN110264091B (zh) 学生认知诊断方法
CN107967318A (zh) 一种采用lstm神经网络的中文短文本主观题自动评分方法和系统
CN111241243A (zh) 面向知识测量的试题、知识、能力张量构建与标注方法
Malik et al. Applied unsupervised learning with R: Uncover hidden relationships and patterns with k-means clustering, hierarchical clustering, and PCA
CN112257966B (zh) 模型处理方法、装置、电子设备及存储介质
JP6977901B2 (ja) 学習材推薦方法、学習材推薦装置および学習材推薦プログラム
CN109739995B (zh) 一种信息处理方法及装置
CN110019736A (zh) 基于语言模型的问答匹配方法、系统、设备及存储介质
CN110309201A (zh) 作业定制方法及系统
CN108491515B (zh) 一种用于校园心理咨询的句对匹配度预测方法
CN113254675B (zh) 基于自适应少样本关系抽取的知识图谱构建方法
CN112527821A (zh) 一种学生布鲁姆掌握度评估方法、系统及存储介质
Hung et al. Improving predictive power through deep learning analysis of K-12 online student behaviors and discussion board content
Casalino et al. Incremental and adaptive fuzzy clustering for virtual learning environments data analysis
CN110826315A (zh) 使用神经网络系统识别短文本时效性的方法
CN109033378A (zh) 一种Zero-shot Learning在智能客服系统中的应用方法
CN112052663A (zh) 客服语句质检方法及相关设备
Chopra et al. Data Science with Python: Combine Python with machine learning principles to discover hidden patterns in raw data
CN112732908B (zh) 试题新颖度评估方法、装置、电子设备和存储介质
CN115034847A (zh) 基于深度学习的产品推荐方法、系统、存储介质及设备
Khor et al. A learning analytics approach to model and predict learners’ success in digital learning
Antverg et al. Idani: Inference-time domain adaptation via neuron-level interventions
JP6509391B1 (ja) 計算機システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant