CN113505603A - 适用于司法考试主观题的多任务学习智能阅卷方法及装置 - Google Patents

适用于司法考试主观题的多任务学习智能阅卷方法及装置 Download PDF

Info

Publication number
CN113505603A
CN113505603A CN202110778630.1A CN202110778630A CN113505603A CN 113505603 A CN113505603 A CN 113505603A CN 202110778630 A CN202110778630 A CN 202110778630A CN 113505603 A CN113505603 A CN 113505603A
Authority
CN
China
Prior art keywords
score
text
task
point
score point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110778630.1A
Other languages
English (en)
Inventor
王加伟
杜向阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Aijuesi Information Technology Co ltd
Original Assignee
Shanghai Aijuesi Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Aijuesi Information Technology Co ltd filed Critical Shanghai Aijuesi Information Technology Co ltd
Priority to CN202110778630.1A priority Critical patent/CN113505603A/zh
Publication of CN113505603A publication Critical patent/CN113505603A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/42—Data-driven translation
    • G06F40/44—Statistical methods, e.g. probability models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种适用于司法考试主观题的多任务学习智能阅卷方法及装置，其中方法包括：采集司法考试主观题对应的学生作答文本和各标准得分点，拼接后作为预训练语言模型BERT的输入文本，进行隐层语义交互及编码，得到文本隐层语义表示；确定得分点抽取任务，逐字预测学生作答文本中各得分点的开始位置和结束位置；确定得分点评判任务，评判学生作答文本中的各得分点和各得分点的得分信息；采用多任务联合学习框架和BERT语义标识层，对得分点抽取任务和得分点评判任务的联合损失函数进行优化，根据联合优化后的各得分点的得分信息计算总分，以实现智能阅卷。本发明实现了对法考主观题场景进行有效判分，达到了提升法考学员学习效率的目的。

Description

适用于司法考试主观题的多任务学习智能阅卷方法及装置
技术领域
本发明涉及计算机辅助阅卷领域，具体涉及一种适用于司法考试主观题的多任务学习智能阅卷方法及装置。
背景技术
近年来，人工智能技术发展迅速，正逐步融入金融、司法、教育等众多领域，而司法考试(简称法考)作为国家统一法律职业资格考试，近阶段报考热度持续高升，传统人工阅卷方式已难以满足现在的高效需求，为了减轻教师背负的高负荷试卷评阅压力，常常结合计算机人工智能技术进行智能阅卷。
现有的智能阅卷系统大多侧重于基于OCR技术的文本识别及基础客观题答案比对，未将智能评阅重点聚焦于复杂、灵活、开放的主观题评阅场景；少量面向主观题题型的智能阅卷方案中，也没有面向司法考试主观题场景的智能阅卷方案。
在相近相关场景中，传统的面向主观题的智能阅卷系统基于关键词的模式匹配策略，采用基于关键词提取及句法分析实现学生答案与标准答案的相似度计算，以实现智能阅卷。然而，这种方法的准确率较大程度上依赖于句法分析算法及关键词抽取算法的性能表现，而其关键词抽取算法则是依赖于无监督的分词与字典匹配，准确率无法保证；并且，该方法停留在浅层模式关键词匹配，未考虑到复杂的深层语义交互，对于文字表征存在差异但语义相同的场景无法有效判分，而司法考试这类逻辑复杂、理论完备的场景更依赖于复杂的深度语义交互。
发明内容
本发明的主要目的在于提供一种适用于司法考试主观题的多任务学习智能阅卷方法及装置，以解决现有基于关键词的模式匹配策略无法对法考主观题场景进行有效判分的问题。
为了实现上述目的，本发明的第一方面提供了一种适用于司法考试主观题的多任务学习智能阅卷方法，包括：
采集司法考试主观题对应的学生作答文本和各标准得分点；
将所述学生作答文本和各标准得分点拼接后作为预训练语言模型BERT的输入文本，进行隐层语义交互及编码，得到文本隐层语义表示；
基于片段抽取型机器阅读理解任务确定得分点抽取任务，采用二元分类器逐字预测所述文本隐层语义表示对应的学生作答文本中各得分点的开始位置和结束位置；
基于文本蕴含任务确定得分点评判任务，利用BERT自注意力机制，评判所述文本隐层语义表示对应的学生作答文本中的各得分点和各得分点的得分信息；
采用多任务联合学习框架和BERT语义标识层，对所述得分点抽取任务和得分点评判任务的联合损失函数进行优化，得到联合优化后的各得分点的开始位置和结束位置、各得分点和各得分点的得分信息；
根据联合优化后的各得分点的得分信息计算总分，以实现智能阅卷。
可选地，所述将所述学生作答文本和各标准得分点拼接后作为预训练语言模型BERT的输入文本，进行隐层语义交互及编码，得到文本隐层语义表示，包括：
拼接所述学生作答文本和各标准得分点，得到预训练语言模型BERT的输入文本；
读取BERT词表，以字符为单位，将所述输入文本分别转化为字符对应的768维度隐层向量、段向量和位置编码，将所述字符对应的768维度隐层向量、段向量和位置编码相加，得到输入向量；
将所述输入向量输入到12层Transformer模块，进行隐层语义交互及编码。
进一步地，所述将所述输入向量输入到12层Transformer模块，进行隐层语义交互及编码，包括：
利用BERT自注意力机制，将输入向量投影到h个子空间，其中，h为自注意力机制多头数量；
采用嵌入变换权重矩阵对输入向量进行点乘映射；
根据点乘映射的结果，利用BERT自注意力机制，确定自注意力机制单头的输入向量上下文信息交互及加权表示和自注意力机制多头的输入向量上下文信息交互及加权表示；
采用向量拼接方式将自注意力机制多头的输入向量上下文信息交互及加权表示进行级联，以融合多头并行计算结果；
将融合多头并行计算结果连接残差连接结构，进行编码，并将编码串行迭代12层，分别得到各层对应的文本表示；
将各层对应的文本表示进行线性组合，得到文本隐层语义表示。
可选地，所述基于片段抽取型机器阅读理解任务确定得分点抽取任务，采用二元分类器逐字预测所述文本隐层语义表示对应的学生作答文本中各得分点的开始位置和结束位置，包括：
将所述学生作答文本作为片段抽取型机器阅读理解任务中的背景材料，并将所述各标准得分点作为片段抽取型机器阅读理解任务中的问题，确定得分点抽取任务，以抽取学生作答文本中各得分点的开始位置和结束位置；
采用两个二元分类器，分别逐字判断所述文本隐层语义表示对应的学生作答文本中的字符是否为对应得分点的开始位置或结束位置；
按下式预测学生作答文本中当前第i个字符为对应得分点的开始位置或结束位置的概率Pi：
Figure BDA0003156794580000031
其中，Pi∈(0,1)，
Figure BDA0003156794580000032
是第i个字符经BERT隐层语义交互及编码后对应的隐层语义表示，Wi是第i个字符的可训练的权重参数；
如果Pi大于位置阈值，则将所述第i个字符作为学生作答文本中对应得分点的开始位置或结束位置；
如果Pi小于等于位置阈值，则继续判断学生作答文本中的下一字符是否为对应得分点的开始位置或结束位置。
可选地，所述基于文本蕴含任务确定得分点评判任务，利用BERT自注意力机制，评判所述文本隐层语义表示对应的学生作答文本中的各得分点和各得分点的得分信息，包括：
将所述学生作答文本作为文本蕴含任务中的前提，并将所述各标准得分点作为文本蕴含任务中的假说，确定得分点评判任务，以评判学生作答文本中的各得分点和各得分点的得分信息；
选择起始位置标识作为全句的语义标识，以通过BERT自注意力机制对全句中除起始位置标识对应字符外的其他所有字符对应的向量进行加权合并；
按下式预测学生作答文本中蕴含对应得分点的概率S：
Figure BDA0003156794580000041
其中，<CLS>为起始位置标识，
Figure BDA0003156794580000042
为起始位置标识对应的字符经BERT隐层语义交互及编码后对应的隐层语义表示，W<CLS>为全连接层的权重矩阵；
如果概率S大于得分阈值，则评判所述文本隐层语义表示对应的学生作答文本中蕴含对应得分点，得分；
如果概率S小于等于得分阈值，则评判所述文本隐层语义表示对应的学生作答文本中没有对应得分点，不得分。
可选地，所述采用多任务联合学习框架和BERT语义标识层，对所述得分点抽取任务和得分点评判任务的联合损失函数进行优化，得到联合优化后的各得分点的开始位置和结束位置、各得分点和各得分点的得分信息，包括：
采用多任务联合学习框架，对所述得分点抽取任务和得分点评判任务进行联合学习；
采用BERT语义标识层，优化联合损失函数Lossall：
Lossall＝Lossextract+Lossentailment
Lossextract＝Lossstart+Lossend
Figure BDA0003156794580000043
Figure BDA0003156794580000051
其中，Lossextract是得分点抽取任务的损失函数，Lossentailment是得分点评判任务的交叉熵损失函数，Lossstart是对应得分点开始位置的损失函数，Lossend是对应得分点结束位置的损失函数，n是学生作答文本的字符个数，
Figure BDA0003156794580000052
是第i个字符经sigmoid激活函数映射后的预测置信值；
针对联合损失函数，批次训练并使用反向传播算法更新全局网络权重，得到联合优化后的各得分点的开始位置和结束位置、各得分点和各得分点的得分信息。
可选地，在根据联合优化后的各得分点的得分信息计算总分之前，所述方法还包括：
根据所述得分点评判任务评判的学生作答文本中蕴含的各得分点，判断所述得分点抽取任务抽取的对应得分点的开始位置或结束位置是否缺失；
如果缺失，则将对应得分点的开始位置或结束位置补全。
本发明的第二方面提供了一种适用于司法考试主观题的多任务学习智能阅卷装置，包括：
采集单元，用于采集司法考试主观题对应的学生作答文本和各标准得分点；
语义交互单元，用于将所述学生作答文本和各标准得分点拼接后作为预训练语言模型BERT的输入文本，进行隐层语义交互及编码，得到文本隐层语义表示；
抽取单元，用于基于片段抽取型机器阅读理解任务确定得分点抽取任务，采用二元分类器逐字预测所述文本隐层语义表示对应的学生作答文本中各得分点的开始位置和结束位置；
评判单元，用于基于文本蕴含任务确定得分点评判任务，利用BERT自注意力机制，评判所述文本隐层语义表示对应的学生作答文本中的各得分点和各得分点的得分信息；
联合优化单元，用于采用多任务联合学习框架和BERT语义标识层，对所述得分点抽取任务和得分点评判任务的联合损失函数进行优化，得到联合优化后的各得分点的开始位置和结束位置、各得分点和各得分点的得分信息；
总分计算单元，用于根据联合优化后的各得分点的得分信息计算总分，以实现智能阅卷。
本发明的第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使计算机执行第一方面任意一项提供的适用于司法考试主观题的多任务学习智能阅卷方法。
本发明的第四方面提供了一种电子设备，所述电子设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器执行第一方面任意一项提供的适用于司法考试主观题的多任务学习智能阅卷方法。
在本发明实施例提供的面向司法考试主观题的多任务学习智能阅卷方法中，以得分点为最小语义匹配粒度，相较于传统基于关键词的模式匹配策略，可以充分建模出学生作答得分点与标准得分点的深度语义交互，构建作答得分点抽取及得分点评判多任务学习模型；
多任务学习框架的引入能有效实现得分点抽取与得分点评判任务的规约关系，符合人工阅卷的评判逻辑；通过深度语义交互和多任务联合学习，解决了现有基于关键词的模式匹配策略无法对法考主观题场景进行有效判分的技术问题，达到了提高法考主观题判分准确率的效果。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的多任务学习智能阅卷方法流程图；
图2为本发明实施例提供的抽取判别模型结构图；
图3为本发明实施例提供的多任务学习智能阅卷方法流程示意图；
图4为本发明实施例提供的得分点抽取任务的说明图；
图5为本发明实施例提供的多任务学习智能阅卷装置框图；
图6为本发明实施例提供的电子设备框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
本发明提供的一种适用于司法考试主观题的多任务学习智能阅卷方法，流程图如图1所示，包含得分点抽取任务和得分点评判任务的抽取判别模型结构图如图2所示；本发明以得分点为最小语义匹配粒度，构建包含作答得分点抽取任务及得分点评判任务的多任务学习模型，将得分点的语义评判任务切分为得分点抽取任务和得分点评判任务，并提供了一种多任务并行学习的模型框架将其融合；
得分点抽取任务定性为片段抽取型机器阅读理解任务，该任务的目的是通过<学生作答文本,各标准得分点>的语义交互计算出学生作答文本中各span(片段)的语义重要程度，并召回学生作答文本中语义权重较大的span作为得分点，以确定得分点的开始位置和结束位置，定位得分点；得分点评判任务定性为学生作答文本与各标准得分点语义关联判别的文本蕴含任务，确定学生作答文本中包含的得分点的分数；
确定出所有得分点的定位和分数后，将各得分点的分数相加，计算所有得分点的总得分。
本发明实施例提供了一种适用于司法考试主观题的多任务学习智能阅卷方法，流程示意图如图3所示，该方法包括如下的步骤S101至步骤S106：
步骤S101：采集司法考试主观题对应的学生作答文本和各标准得分点；采集的数据中，司法考试主观题为近年来的国家司法考试真题，学生作答文本来源于法考培训机构合作方的法考答题平台，每份作答文本已经由专家结合各标准答案得分点进行精准评阅及核验；本发明获取学生作答文本和各标准得分点后进行数据清洗或清洗过滤，以使获得的学生作答文本和各标准得分点数据规范化。
步骤S102：将所述学生作答文本和各标准得分点拼接后作为预训练语言模型BERT的输入文本，进行隐层语义交互及编码，得到文本隐层语义表示；
本发明采用基于Transformer的双向编码表示模型BERT(Bidirectional EncoderRepresentation from Transformers)进行下游任务微调，获取法考学生作答文本与各标准得分点的深层语义嵌入表示。通过预训练语言模型BERT，可以使用海量数据训练语言模型，BERT庞大的参数规模储存了较多先验语义知识，有利于克服法考学生作答文本不足的小样本学习问题；并且，BERT框架中包含多层self-attention自注意力机制，能有效关注到文本的上下文信息及各span的语义重要程度，有利于得分点抽取任务及得分点评判任务。
具体的，所述步骤S102包括：
拼接所述学生作答文本和各标准得分点，得到预训练语言模型BERT的输入文本；拼接学生作答文本与各标准得分点作为预训练的输入文本，以便后续文本编码过程中，利用BERT中自注意力机制进行学生作答文本与各标准得分点的语义交互；
读取BERT词表，以字符为单位，将所述输入文本分别转化为字符对应的768维度隐层向量(Token Embeddings)、段向量(Segment Embeddings)和位置编码(PositionEmbeddings)，将所述字符对应的768维度隐层向量、段向量和位置编码相加，得到输入向量；其中，段向量用于表示当前片段属于学生作答文本还是标准得分点，将输入文本分别转化为当前字符wi对应的768维度隐层向量TE(wi)、段向量SE(wi)和位置编码PE(wi)，按下式确定输入向量E：
E＝TE(wi)+SE(wi)+PE(wi)
将所述输入向量输入到12层Transformer模块，进行隐层语义交互及编码。在每层Transformer结构中，自底向上分别是：多头注意力层、正则化层、前馈网络层、正则化层。
具体的，所述将所述输入向量输入到12层Transformer模块，进行隐层语义交互及编码，包括：
利用BERT自注意力机制，将输入向量投影到h个子空间，其中，h为自注意力机制多头数量；
采用嵌入变换权重矩阵对输入向量进行点乘映射；按下式分别使用嵌入变换权重矩阵WQ、WK和WV对所述输入向量E进行点乘映射，依次得到查询向量Q、键向量K和值向量V：
Q＝E·WQ
K＝E·WK
V＝E·WV
根据点乘映射的结果，利用BERT自注意力机制，确定自注意力机制单头的输入向量上下文信息交互及加权表示和自注意力机制多头的输入向量上下文信息交互及加权表示；利用BERT自注意力机制，按下式得到输入向量上下文信息交互及加权表示F：
Figure BDA0003156794580000091
其中，dk是权重放缩因子，softmax函数是归一化指数函数；依次确定自注意力机制单头的输入向量上下文信息交互及加权表示和自注意力机制多头的输入向量上下文信息交互及加权表示；
采用向量拼接方式将自注意力机制多头的输入向量上下文信息交互及加权表示进行级联，以融合多头并行计算结果；包括：采用向量拼接方式进行级联，按下式确定融合多头并行计算结果MultiHead(Q,K,V)：
MultiHead(Q,K,V)＝concatenate(F1,...,Fh)
其中，F1为自注意力机制1头的输入向量上下文信息交互及加权表示，Fh为自注意力机制h头的输入向量上下文信息交互及加权表示；
将融合多头并行计算结果连接残差连接结构，进行编码，并将编码串行迭代12层，分别得到各层对应的文本表示；残差连接结构：LayerNorm(x+SubLayer(x))，用以避免神经网络参数优化过程中的梯度消失风险，同时，把输入信息和中间网络层输出叠加可以减少拟合需要的信息量，前馈网络层用于将上述编码结果进行输出全连接映射；上述编码过程串行迭代12层即可分别得到不同层次的文本表示L1,...,L12,每层关注的语义也不相同，底层网络L1～L4关注文本表层特征，中间层网络L5～L8关注句法特征，高层网络L9～L12关注深度语义特征。
将各层对应的文本表示进行线性组合，得到文本隐层语义表示。分别提取第L1、L6和L12进行线性组合，作为最终文本隐层语义表示Lall，此时，Lall中蕴含了充分的语法、语义信息，供后续得分点抽取任务及得分点评判任务使用。
步骤S103：基于片段抽取型机器阅读理解任务确定得分点抽取任务，采用二元分类器逐字预测所述文本隐层语义表示对应的学生作答文本中各得分点的开始位置和结束位置；
本发明实施例提供的得分点抽取任务的说明图如图4所示，图4所示的片段中，标准得分点为“甲承担违约责任”，学生作答文本为“钟某可以向甲主张赔偿，请求权基础…”，采用二元分类器(binary classifier)逐字预测判别出学生作答文本中得分点的开始位置对应字符为“钟”，结束位置对应字符为“偿”。
具体的，所述步骤S103包括：
将所述学生作答文本作为片段抽取型机器阅读理解任务中的背景材料，并将所述各标准得分点作为片段抽取型机器阅读理解任务中的问题，确定得分点抽取任务，以抽取学生作答文本中各得分点的开始位置和结束位置；片段抽取型机器阅读理解任务给定问题和背景材料，旨在让机器充分理解材料文本语义后，针对问题从材料原文中定位出问题的答案；在得分点抽取任务中，背景材料对应为学生作答文本，问题对应为各标准得分点，抽取目标是学生作答文本中对应的得分点描述。
根据所述输入文本构造文本输入模式，并利用BERT自注意力机制进行所述学生作答文本和各标准得分点的深度语义交互；在编码层中，使用预训练语言模型BERT完成深度语义理解及<学生作答文本,各标准得分点>语义交互的过程，具体为：在输入部分，将学生作答文本和各标准得分点作为句子对，构造[<CLS>学生作答文本<SEP>各标准得分点]模式，利用自注意力机制softmax
Figure BDA0003156794580000111
完成字符级别的点对点语义交互；其中，<CLS>为起始位置标识，放在前一句子的首位，<SEP>为分隔位置标识，用于分开两个句子。
采用两个二元分类器，分别逐字判断所述文本隐层语义表示对应的学生作答文本中的字符是否为对应得分点的开始位置或结束位置；在预测部分，构造指针网络(pointer-network)抽取学生作答文本中对应的得分点描述，在图4所示的片段中，标准得分点为“甲承担违约责任”，学生作答文本为“钟某可以向甲主张赔偿，请求权基础…”，采用两个二元分类器分别逐字预测判别出学生作答文本中得分点的开始位置对应字符为“钟”，结束位置对应字符为“偿”。
按下式预测学生作答文本中当前第i个字符为对应得分点的开始位置或结束位置的概率Pi：
Figure BDA0003156794580000112
其中，Pi∈(0,1)，
Figure BDA0003156794580000113
是第i个字符经BERT隐层语义交互及编码后对应的隐层语义表示，Wi是第i个字符的可训练的权重参数；
如果Pi大于位置阈值，则将所述第i个字符作为学生作答文本中对应得分点的开始位置或结束位置；
如果Pi小于等于位置阈值，则继续判断学生作答文本中的下一字符是否为对应得分点的开始位置或结束位置。
例如，可以将位置阈值设为0.5，如果当前字符的预测概率Pi大于0.5，则将当前字符作为对应得分点的开始位置或者结束位置；如果当前字符的预测概率Pi小于等于0.5，则说明当前字符不是对应得分点的开始位置或者结束位置，继续判断学生作答文本中的下一字符是否为对应得分点的开始位置或结束位置。
步骤S104：基于文本蕴含任务确定得分点评判任务，利用BERT自注意力机制，评判所述文本隐层语义表示对应的学生作答文本中的各得分点和各得分点的得分信息；
具体的，所述步骤S104包括：
将所述学生作答文本作为文本蕴含任务中的前提，并将所述各标准得分点作为文本蕴含任务中的假说，确定得分点评判任务，以评判学生作答文本中的各得分点和各得分点的得分信息；文本蕴含任务是判断句子对中的后一句子(假说)能否从前一句子(前提)中推断出来，在得分点评判任务中，将前提设定为学生作答文本，假说设定为各标准得分点，目标是判断学生作答文本(前提)中是否蕴含当前对应标准得分点(假说)；这样设定得分点评判任务，也可与得分点抽取任务共用相同的[<CLS>学生答案<SEP>参考得分点]输入模式及文本隐层语义表示。
选择起始位置标识作为全句的语义标识，以通过BERT自注意力机制对全句中除起始位置标识对应字符外的其他所有字符对应的向量进行加权合并；对应的向量包括对应的768维度隐层向量、段向量和位置编码；
按下式预测学生作答文本中蕴含对应得分点的概率S：
Figure BDA0003156794580000121
其中，<CLS>为起始位置标识，
Figure BDA0003156794580000131
为起始位置标识对应的字符经BERT隐层语义交互及编码后对应的隐层语义表示，W<CLS>为全连接层的权重矩阵；
如果概率S大于得分阈值，则评判所述文本隐层语义表示对应的学生作答文本中蕴含对应得分点，得分；
如果概率S小于等于得分阈值，则评判所述文本隐层语义表示对应的学生作答文本中没有对应得分点，不得分。
例如，可以将得分阈值设为0.8，如果预测概率结果大于0.8，则学生作答文本中蕴含对应得分点，得1分；如果预测概率结果小于等于0.8，则学生作答文本中不含对应得分点，得0分。
结合图2、步骤S103和步骤S104，基于片段抽取型机器阅读理解任务确定得分点抽取任务，基于文本蕴含任务确定得分点评判任务，根据得分点抽取任务和得分点评判任务构建<输入文本-标签>标准数据集格式，其中，输入文本包括拼接后的学生作答文本和各标准得分点，标签包括将输入文本输入预训练语言模型BERT后得到的位置标签和得分标签；得分点抽取任务得出的位置标签包括得分点的开始位置和结束位置，以定位得分点的具体位置；得分点评判任务得出的得分标签包括学生作答文本是否得分或得分的概率。确定所有得分点的定位和得分后，可以基于所有得分点的定位和各标准得分点得出错误定位，将错误定位和总分结果反馈给法考学生参考，以达到提高学习效率的目标。
以图2为例，学生作答文本即学生答案全文D(document)，各标准得分点即标准得分点Qi(question)，将学生作答文本和各标准得分点作为句子对，构建[<CLS>学生作答文本<SEP>各标准得分点]输入模式，<CLS>为起始位置标识，放在前一句子的首位，<SEP>为分隔位置标识，用于分开句子对，将学生作答文本和各标准得分点拼接后作为预训练语言模型BERT的输入文本，并将所述输入文本分别转化为字符对应的768维度隐层向量(TokenEmbeddings)、段向量(Segment Embeddings)和位置编码(Position Embeddings)，wi为第i个字符，段向量用于表示当前片段属于学生作答文本还是标准得分点，E0表示当前片段属于学生作答文本，E1表示当前片段属于标准得分点，Pi表示第i个位置编码，i为非负整数；
在图2所示的片段中，标准得分点为“甲承担违约责任”，学生作答文本为“钟某可以向甲主张赔偿，请求权基础是租赁合同的违约赔偿”，BERT预训练文本编码后，通过得分点抽取任务得出得分点的开始位置和结束位置，定位出得分点的具体位置为“钟某可以向甲主张赔偿”，通过得分点评判任务得出学生作答文本得分的置信值为0.98，大于得分阈值0.8，因此评判结果为得分。
步骤S105：采用多任务联合学习框架和BERT语义标识层，对所述得分点抽取任务和得分点评判任务的联合损失函数进行优化，得到联合优化后的各得分点的开始位置和结束位置、各得分点和各得分点的得分信息；
具体的，所述步骤S105包括：
采用多任务联合学习框架，对所述得分点抽取任务和得分点评判任务进行联合学习；
在多任务学习策略中，任务的权重偏向性有差，因此在共享层的局部极小值的收敛位置不同；多任务之间不相关的部分相互作用，有助于逃离损失函数的局部极小值点，多任务之间相关的部分则有利于底部共享层对通用特征表示的学习，因此通常多任务能够取得比单任务模型更好的效果；此外，多任务学习相较于单任务学习，其占用内存量减少，多个任务一次前向计算得出结果使得推理速度提升。
采用BERT语义标识层，优化联合损失函数Lossall：
Lossall＝Lossextract+Lossentailment
Lossextract＝Lossstart+Lossend
Figure BDA0003156794580000141
Figure BDA0003156794580000142
其中，Lossextract是得分点抽取任务的损失函数，Lossentailment是得分点评判任务的交叉熵损失函数，
Figure BDA0003156794580000151
Figure BDA0003156794580000152
Lossstart是对应得分点开始位置的损失函数，Lossend是对应得分点结束位置的损失函数，n是学生作答文本的字符个数，
Figure BDA0003156794580000153
是第i个字符经sigmoid激活函数映射后的预测置信值；
针对联合损失函数，批次训练并使用反向传播算法更新全局网络权重，优化函数为Adam优化器，迭代轮次设定为10，得到联合优化后的各得分点的开始位置和结束位置、各得分点和各得分点的得分信息。
步骤S106：根据联合优化后的各得分点的得分信息计算总分，以实现智能阅卷。
具体的，在步骤S106中的根据联合优化后的各得分点的得分信息计算总分之前，所述方法还包括：
根据所述得分点评判任务评判的学生作答文本中蕴含的各得分点，判断所述得分点抽取任务抽取的对应得分点的开始位置或结束位置是否缺失；
如果缺失，则将对应得分点的开始位置或结束位置补全。
本发明在足量真实测试样本数据中进行了测试，预训练语言模型BERT的整体准确率达到了93％，通过对预测错误样本的分析，在输出部分进行逻辑优化；由于得分点抽取任务和得分点评判任务是并行设置的，两个任务没有时间顺序或逻辑关系，各自分别得出得分点的位置和得分点的得分，因此，可以根据得分点评判任务的判定结果，确定得分点的开始位置或结束位置；
在得分点抽取任务中，对于偶尔出现的缺失开始位置或者缺失结束位置的情形，此时根据得分点评判任务的判定结果，如果根据得分点评判任务的结果判定当前句中蕴含对应得分点描述，则进行开始位置或结束位置补全。
本发明提供的适用于司法考试主观题的多任务学习智能阅卷方法，可用于辅助法考阅卷，如阅卷偏离度检测：当机器评阅与人工评阅得分偏差较大时，预警当前试卷以供复核，即，将机器阅卷结果作为人工阅卷的辅助，对于同一份作答，若机器判分与人工判分差异较大，则立即记录并预警，提示人工判卷人员该阅卷可能存在问题，需要重复核验；
也可用于司法考试教辅机构对海量用户作答智能评判，并以得分点为基准提供错误定位及错误反馈，此场景应用于法考教辅机构，在模拟测试环节，不仅能根据得分点评判任务给出作答得分，还能结合得分点抽取任务模型，给出作答错误句的定位，供学员参考，以达到提高学习效率的目标。
从以上的描述中，可以看出，本发明实现了如下技术效果：
本发明将法考主观题阅卷准确建模为得分点抽取任务和得分点评判任务，并提供了一种多任务并行学习的模型框架将其融合，相较于传统基于关键词的模式匹配策略，本方法可以充分建模出学生答案全文与标准得分点的深度语义交互，因此取得了较大的性能领先；
本方明可用于大规模司法考试阅卷或培训机构的法考模拟题阅卷场景，在大幅提升判卷效率的同时，能在得分点粒度上予以学员答题反馈，也可以进行同卷不同判的批阅预警，藉以提升法考场景的试卷评阅质量，达到了提升法考学员学习效率、降低教师批阅人工成本和避免判分的主观性偏差的目的。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本发明实施例还提供了一种用于实施上述适用于司法考试主观题的多任务学习智能阅卷方法的适用于司法考试主观题的多任务学习智能阅卷装置，如图5所示，该装置包括：
采集单元51，用于采集司法考试主观题对应的学生作答文本和各标准得分点；
语义交互单元52，用于将所述学生作答文本和各标准得分点拼接后作为预训练语言模型BERT的输入文本，进行隐层语义交互及编码，得到文本隐层语义表示；
抽取单元53，用于基于片段抽取型机器阅读理解任务确定得分点抽取任务，采用二元分类器逐字预测所述文本隐层语义表示对应的学生作答文本中各得分点的开始位置和结束位置；
评判单元54，用于基于文本蕴含任务确定得分点评判任务，利用BERT自注意力机制，评判所述文本隐层语义表示对应的学生作答文本中的各得分点和各得分点的得分信息；
联合优化单元55，用于采用多任务联合学习框架和BERT语义标识层，对所述得分点抽取任务和得分点评判任务的联合损失函数进行优化，得到联合优化后的各得分点的开始位置和结束位置、各得分点和各得分点的得分信息；
总分计算单元56，用于根据联合优化后的各得分点的得分信息计算总分，以实现智能阅卷。
本发明实施例还提供了一种电子设备，如图6所示，该电子设备包括一个或多个处理器61以及存储器62，图6中以一个处理器61为例。
该控制器还可以包括：输入装置63和输出装置64。
处理器61、存储器62、输入装置63和输出装置64可以通过总线或者其他方式连接，图6中以通过总线连接为例。
处理器61可以为中央处理器(Central Processing Unit，简称为CPU)，处理器61还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，简称为DSP)、专用集成电路(Application Specific Integrated Circuit，简称为ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称为FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合，通用处理器可以是微处理器或者任何常规的处理器。
存储器62作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的控制方法对应的程序指令/模块。处理器61通过运行存储在存储器62中的非暂态软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的适用于司法考试主观题的多任务学习智能阅卷方法。
存储器62可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据服务器操作的处理装置的使用所创建的数据等。此外，存储器62可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器62可选包括相对于处理器61远程设置的存储器，这些远程存储器可以通过网络连接至网络连接装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置63可接收输入的数字或字符信息，以及产生与服务器的处理装置的用户设置以及功能控制有关的键信号输入。输出装置64可包括显示屏等显示设备。
一个或者多个模块存储在存储器62中，当被一个或者多个处理器61执行时，执行如图3所示的方法。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成的，程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各电机控制方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，简称为ROM)、随机存储记忆体(Random AccessMemory，简称为RAM)、快闪存储器(Flash Memory，简称为FM)、硬盘(Hard Disk Drive，简称为HDD)或固态硬盘(Solid-State Drive，简称为SSD)等；存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种适用于司法考试主观题的多任务学习智能阅卷方法，其特征在于，包括：
采集司法考试主观题对应的学生作答文本和各标准得分点；
将所述学生作答文本和各标准得分点拼接后作为预训练语言模型BERT的输入文本，进行隐层语义交互及编码，得到文本隐层语义表示；
基于片段抽取型机器阅读理解任务确定得分点抽取任务，采用二元分类器逐字预测所述文本隐层语义表示对应的学生作答文本中各得分点的开始位置和结束位置；
基于文本蕴含任务确定得分点评判任务，利用BERT自注意力机制，评判所述文本隐层语义表示对应的学生作答文本中的各得分点和各得分点的得分信息；
采用多任务联合学习框架和BERT语义标识层，对所述得分点抽取任务和得分点评判任务的联合损失函数进行优化，得到联合优化后的各得分点的开始位置和结束位置、各得分点和各得分点的得分信息；
根据联合优化后的各得分点的得分信息计算总分，以实现智能阅卷。
2.根据权利要求1所述的方法，其特征在于，所述将所述学生作答文本和各标准得分点拼接后作为预训练语言模型BERT的输入文本，进行隐层语义交互及编码，得到文本隐层语义表示，包括：
拼接所述学生作答文本和各标准得分点，得到预训练语言模型BERT的输入文本；
读取BERT词表，以字符为单位，将所述输入文本分别转化为字符对应的768维度隐层向量、段向量和位置编码，将所述字符对应的768维度隐层向量、段向量和位置编码相加，得到输入向量；
将所述输入向量输入到12层Transformer模块，进行隐层语义交互及编码。
3.根据权利要求2所述的方法，其特征在于，所述将所述输入向量输入到12层Transformer模块，进行隐层语义交互及编码，包括：
利用BERT自注意力机制，将输入向量投影到h个子空间，其中，h为自注意力机制多头数量；
采用嵌入变换权重矩阵对输入向量进行点乘映射；
根据点乘映射的结果，利用BERT自注意力机制，确定自注意力机制单头的输入向量上下文信息交互及加权表示和自注意力机制多头的输入向量上下文信息交互及加权表示；
采用向量拼接方式将自注意力机制多头的输入向量上下文信息交互及加权表示进行级联，以融合多头并行计算结果；
将融合多头并行计算结果连接残差连接结构，进行编码，并将编码串行迭代12层，分别得到各层对应的文本表示；
将各层对应的文本表示进行线性组合，得到文本隐层语义表示。
4.根据权利要求1所述的方法，其特征在于，所述基于片段抽取型机器阅读理解任务确定得分点抽取任务，采用二元分类器逐字预测所述文本隐层语义表示对应的学生作答文本中各得分点的开始位置和结束位置，包括：
将所述学生作答文本作为片段抽取型机器阅读理解任务中的背景材料，并将所述各标准得分点作为片段抽取型机器阅读理解任务中的问题，确定得分点抽取任务，以抽取学生作答文本中各得分点的开始位置和结束位置；
采用两个二元分类器，分别逐字判断所述文本隐层语义表示对应的学生作答文本中的字符是否为对应得分点的开始位置或结束位置；
按下式预测学生作答文本中当前第i个字符为对应得分点的开始位置或结束位置的概率Pi：
Figure FDA0003156794570000021
其中，Pi∈(0,1)，
Figure FDA0003156794570000022
是第i个字符经BERT隐层语义交互及编码后对应的隐层语义表示，Wi是第i个字符的可训练的权重参数；
如果Pi大于位置阈值，则将所述第i个字符作为学生作答文本中对应得分点的开始位置或结束位置；
如果Pi小于等于位置阈值，则继续判断学生作答文本中的下一字符是否为对应得分点的开始位置或结束位置。
5.根据权利要求1所述的方法，其特征在于，所述基于文本蕴含任务确定得分点评判任务，利用BERT自注意力机制，评判所述文本隐层语义表示对应的学生作答文本中的各得分点和各得分点的得分信息，包括：
将所述学生作答文本作为文本蕴含任务中的前提，并将所述各标准得分点作为文本蕴含任务中的假说，确定得分点评判任务，以评判学生作答文本中的各得分点和各得分点的得分信息；
选择起始位置标识作为全句的语义标识，以通过BERT自注意力机制对全句中除起始位置标识对应字符外的其他所有字符对应的向量进行加权合并；
按下式预测学生作答文本中蕴含对应得分点的概率S：
Figure FDA0003156794570000031
其中，<CLS>为起始位置标识，
Figure FDA0003156794570000032
为起始位置标识对应的字符经BERT隐层语义交互及编码后对应的隐层语义表示，W<CLS>为全连接层的权重矩阵；
如果概率S大于得分阈值，则评判所述文本隐层语义表示对应的学生作答文本中蕴含对应得分点，得分；
如果概率S小于等于得分阈值，则评判所述文本隐层语义表示对应的学生作答文本中没有对应得分点，不得分。
6.根据权利要求1所述的方法，其特征在于，所述采用多任务联合学习框架和BERT语义标识层，对所述得分点抽取任务和得分点评判任务的联合损失函数进行优化，得到联合优化后的各得分点的开始位置和结束位置、各得分点和各得分点的得分信息，包括：
采用多任务联合学习框架，对所述得分点抽取任务和得分点评判任务进行联合学习；
采用BERT语义标识层，优化联合损失函数Lossall：
Lossall＝Lossextract+Lossentailment
Lossextract＝Lossstart+Lossend
Figure FDA0003156794570000041
Figure FDA0003156794570000042
其中，Lossextract是得分点抽取任务的损失函数，Lossentailment是得分点评判任务的交叉熵损失函数，Lossstart是对应得分点开始位置的损失函数，Lossend是对应得分点结束位置的损失函数，n是学生作答文本的字符个数，
Figure FDA0003156794570000043
是第i个字符经sigmoid激活函数映射后的预测置信值；
针对联合损失函数，批次训练并使用反向传播算法更新全局网络权重，得到联合优化后的各得分点的开始位置和结束位置、各得分点和各得分点的得分信息。
7.根据权利要求1所述的方法，其特征在于，在根据联合优化后的各得分点的得分信息计算总分之前，所述方法还包括：
根据所述得分点评判任务评判的学生作答文本中蕴含的各得分点，判断所述得分点抽取任务抽取的对应得分点的开始位置或结束位置是否缺失；
如果缺失，则将对应得分点的开始位置或结束位置补全。
8.一种适用于司法考试主观题的多任务学习智能阅卷装置，其特征在于，包括：
采集单元，用于采集司法考试主观题对应的学生作答文本和各标准得分点；
语义交互单元，用于将所述学生作答文本和各标准得分点拼接后作为预训练语言模型BERT的输入文本，进行隐层语义交互及编码，得到文本隐层语义表示；
抽取单元，用于基于片段抽取型机器阅读理解任务确定得分点抽取任务，采用二元分类器逐字预测所述文本隐层语义表示对应的学生作答文本中各得分点的开始位置和结束位置；
评判单元，用于基于文本蕴含任务确定得分点评判任务，利用BERT自注意力机制，评判所述文本隐层语义表示对应的学生作答文本中的各得分点和各得分点的得分信息；
联合优化单元，用于采用多任务联合学习框架和BERT语义标识层，对所述得分点抽取任务和得分点评判任务的联合损失函数进行优化，得到联合优化后的各得分点的开始位置和结束位置、各得分点和各得分点的得分信息；
总分计算单元，用于根据联合优化后的各得分点的得分信息计算总分，以实现智能阅卷。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使计算机执行权利要求1-7任意一项所述的适用于司法考试主观题的多任务学习智能阅卷方法。
10.一种电子设备，其特征在于，所述电子设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器执行权利要求1-7任意一项所述的适用于司法考试主观题的多任务学习智能阅卷方法。
CN202110778630.1A 2021-07-09 2021-07-09 适用于司法考试主观题的多任务学习智能阅卷方法及装置 Pending CN113505603A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110778630.1A CN113505603A (zh) 2021-07-09 2021-07-09 适用于司法考试主观题的多任务学习智能阅卷方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110778630.1A CN113505603A (zh) 2021-07-09 2021-07-09 适用于司法考试主观题的多任务学习智能阅卷方法及装置

Publications (1)

Publication Number Publication Date
CN113505603A true CN113505603A (zh) 2021-10-15

Family

ID=78012474

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110778630.1A Pending CN113505603A (zh) 2021-07-09 2021-07-09 适用于司法考试主观题的多任务学习智能阅卷方法及装置

Country Status (1)

Country Link
CN (1) CN113505603A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117252739A (zh) * 2023-11-17 2023-12-19 山东山大鸥玛软件股份有限公司 一种评卷方法、系统、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117252739A (zh) * 2023-11-17 2023-12-19 山东山大鸥玛软件股份有限公司 一种评卷方法、系统、电子设备及存储介质
CN117252739B (zh) * 2023-11-17 2024-03-12 山东山大鸥玛软件股份有限公司 一种评卷方法、系统、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN110413741B (zh) 一种面向主观题的智能阅卷方法
CN113836298A (zh) 基于视觉增强的文本分类方法和系统
CN112508334A (zh) 融合认知特性及试题文本信息的个性化组卷方法及系统
CN110866542A (zh) 一种基于特征可控融合的深度表示学习方法
CN115599901B (zh) 基于语义提示的机器问答方法、装置、设备及存储介质
CN114926150A (zh) 一种变压器技术符合性评估数字化智能审核方法与装置
CN111553159B (zh) 一种问句生成方法及系统
CN113822026A (zh) 一种多标签实体标注方法
CN114818717A (zh) 融合词汇和句法信息的中文命名实体识别方法及系统
CN114756687A (zh) 基于自学习实体关系联合抽取的钢铁产线设备诊断方法
CN113111152A (zh) 一种基于知识蒸馏和情绪集成模型的抑郁症检测方法
CN113343690A (zh) 一种文本可读性自动评估方法及装置
CN113742733A (zh) 阅读理解漏洞事件触发词抽取和漏洞类型识别方法及装置
CN114841151B (zh) 基于分解-重组策略的医学文本实体关系联合抽取方法
CN113408287A (zh) 实体识别方法、装置、电子设备及存储介质
CN112966518B (zh) 一种面向大规模在线学习平台的优质答案识别方法
CN113505603A (zh) 适用于司法考试主观题的多任务学习智能阅卷方法及装置
CN117807232A (zh) 商品分类方法、商品分类模型构建方法及装置
CN112015760A (zh) 基于候选答案集重排序的自动问答方法、装置和存储介质
CN116881689A (zh) 知识增强的用户多模态在线评论质量评估方法和系统
CN117216617A (zh) 文本分类模型训练方法、装置、计算机设备和存储介质
CN115221284A (zh) 文本相似度的计算方法、装置、电子设备及存储介质
CN114358579A (zh) 评阅方法、评阅装置、电子设备以及计算机可读存储介质
CN115293133A (zh) 一种基于抽取文本因子增强的车险欺诈行为识别方法
CN115687910A (zh) 一种数据处理方法、装置、计算机设备以及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination