CN109670168B - 基于特征学习的短答案自动评分方法、系统及存储介质 - Google Patents

基于特征学习的短答案自动评分方法、系统及存储介质 Download PDF

Info

Publication number
CN109670168B
CN109670168B CN201811355345.3A CN201811355345A CN109670168B CN 109670168 B CN109670168 B CN 109670168B CN 201811355345 A CN201811355345 A CN 201811355345A CN 109670168 B CN109670168 B CN 109670168B
Authority
CN
China
Prior art keywords
answer
word
answers
short
standard
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811355345.3A
Other languages
English (en)
Other versions
CN109670168A (zh
Inventor
朱佳
伦家琪
肖菁
余伟浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Normal University
Original Assignee
South China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Normal University filed Critical South China Normal University
Priority to CN201811355345.3A priority Critical patent/CN109670168B/zh
Publication of CN109670168A publication Critical patent/CN109670168A/zh
Application granted granted Critical
Publication of CN109670168B publication Critical patent/CN109670168B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了基于特征学习的短答案自动评分方法、系统及存储介质，方法包括：对短答案的问题、标准答案以及回答答案进行分词操作，生成词序列；对词序列进行向量化表示，生成映射矩阵；对映射矩阵进行词语级别的特征抽取，生成词语特征；对映射矩阵进行句子级别的特征抽取，生成句子特征；根据词语特征和句子特征，通过深度学习分类器模型预测短答案的文本类别；基于文本类别与分值的映射关系，确定短答案的分数。本发明无需进行人工处理，大大提高了工作效率，同时参考了词语因素和句子因素，提高了分类准确率，进而提高了评分的准确率，可广泛应用于深度学习技术领域。

Description

基于特征学习的短答案自动评分方法、系统及存储介质
技术领域
本发明涉及深度学习技术领域，尤其是基于特征学习的短答案自动评分方法、系统及存储介质。
背景技术
近年来，教育界的自动短答案评分技术吸引了大量学者的研究兴趣，该技术旨在自动评估自然语言的短答案。然而，简短的答案一般仅由几个单词或几个句子组成，只包含很少的有用信息。传统的短答案评分技术严重依赖于特征工程来评估来分配短答案的分数，这需要大量的劳动力来手工设计最有价值的特征，并且在大多数情况下需要专家的知识，评分效率较低；另外，传统的短答案评分方法将评分过程视为一个分类任务，直接将学生的答案与给定问题的标准答案进行相似度匹配，得到答案对应的分数类别，进而计算得到最终得分，这种方法的准确率较低。
发明内容
为解决上述技术问题，本发明的目的在于：提供一种效率高且准确率高的，基于特征学习的短答案自动评分方法、系统及存储介质。
本发明一方面所采取的技术方案为：
基于特征学习的短答案自动评分方法，包括以下步骤：
对短答案的问题、标准答案以及回答答案进行分词操作，生成词序列；
对词序列进行向量化表示，生成映射矩阵；
对映射矩阵进行词语级别的特征抽取，生成词语特征；
对映射矩阵进行句子级别的特征抽取，生成句子特征；
根据词语特征和句子特征，通过深度学习分类器模型预测短答案的文本类别；
基于文本类别与分值的映射关系，确定短答案的分数。
进一步，所述对词序列进行向量化表示，生成映射矩阵这一步骤，包括以下步骤：
通过文本分类器训练词语库；
根据训练好的词语库，对词序列中的每个词语进行多维向量化表示，生成映射矩阵。
进一步，所述对映射矩阵进行词语级别的特征抽取，生成词语特征这一步骤，包括以下步骤：
对映射矩阵进行词语重叠特征提取；
对映射矩阵进行问题类型特征提取，生成问题类型集合；
根据映射矩阵，生成回答答案和标准答案之间的相似词性标记；
对词语重叠特征、问题类型集合和相似词性标记进行结合，生成词语特征。
进一步，所述对映射矩阵进行句子级别的特征抽取，生成句子特征这一步骤，包括以下步骤：
对映射矩阵进行句子级别的特征抽取，分别得到短答案的问题的语义特征向量、标准答案的语义特征向量和回答答案的语义特征向量；
对短答案的问题的语义特征向量、标准答案的语义特征向量和回答答案的语义特征向量进行向量运算特征转换，生成句子特征。
进一步，所述对映射矩阵进行句子级别的特征抽取，得到标准答案的语义特征向量这一步骤，其具体为：
通过Bi-LSTM神经网络对标准答案的映射矩阵进行运算，生成标准答案的语义特征向量；
所述通过Bi-LSTM神经网络对标准答案的映射矩阵进行运算，生成标准答案的语义特征向量这一步骤，包括以下步骤：
通过第一LSTM单元，基于第一顺序对映射矩阵中的词语进行处理，得到第一输出；
通过第二LSTM单元，基于第二顺序对映射矩阵中的词语进行处理，得到第二输出；
对第一输出和第二输出进行拼接处理，得到第三输出；
通过最大池化算法对第三输出进行下采样处理，得到标准答案的语义特征向量。
进一步，还包括对训练数据进行增强这一步骤。
进一步，所述对训练数据进行增强这一步骤，包括以下步骤：
获取短文本的问题和标准答案；
根据短文本的问题和标准答案，逐一对回答答案进行评分；
若回答答案的得分为满分，则将所述回答答案作为标准答案，并返回执行根据短文本的问题和标准答案，逐一对回答答案进行评分这一步骤，直至所有回答答案遍历结束。
本发明另一方面所采取的技术方案是：
基于特征学习的短答案自动评分系统，包括：
分词模块，用于对短答案的问题、标准答案以及回答答案进行分词操作，生成词序列；
向量化模块，用于对词序列进行向量化表示，生成映射矩阵；
词语特征抽取模块，用于对映射矩阵进行词语级别的特征抽取，生成词语特征；
句子特征抽取模块，用于对映射矩阵进行句子级别的特征抽取，生成句子特征；
预测模块，用于根据词语特征和句子特征，通过深度学习分类器模型预测短答案的文本类别；
评分模块，用于基于文本类别与分值的映射关系，确定短答案的分数。
本发明另一方面所采取的技术方案是：
基于特征学习的短答案自动评分系统，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现所述的基于特征学习的短答案自动评分方法。
本发明另一方面所采取的技术方案是：
一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行所述的基于特征学习的短答案自动评分方法。
本发明的有益效果是：本发明分别抽取了词语特征和句子特征，根据词语特征和句子特征进行文本类别预测，进而对短答案进行评分，本发明无需进行人工处理，大大提高了工作效率；另外，本发明同时参考了词语因素和句子因素，提高了分类准确率，进而提高了评分的准确率。
附图说明
图1为本发明实施例的步骤流程图。
具体实施方式
下面结合说明书附图和具体实施例对本发明作进一步解释和说明。对于本发明实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
本发明实施例提供了一种基于特征学习的短答案自动评分方法，包括以下步骤：
S1、对短答案的问题、标准答案以及回答答案进行分词操作，生成词序列；
S2、对词序列进行向量化表示，生成映射矩阵；
具体地，本实施例的每个单词的向量化表示使用fastText中的预训练好的词库crawl-300d-2M.vec对每个单词进行300维的向量化表示，每个单词映射为300维的向量，并构建短答案文本映射矩阵。
S3、对映射矩阵进行词语级别的特征抽取，生成词语特征；
进一步作为步骤S3的优选实施方式，所述步骤S3包括：
S31、对映射矩阵进行词语重叠特征提取；
S32、对映射矩阵进行问题类型特征提取，生成问题类型集合；
S33、根据映射矩阵，生成回答答案和标准答案之间的相似词性标记；
S34、对词语重叠特征、问题类型集合和相似词性标记进行结合，生成词语特征。
具体地，本实施例对构建好的短答案文本映射矩阵进行词语级别的特征抽取，具体包括三个部分：1)词语重叠特征(WO)：获取3个特征；2)问题类型标记处理特征(QT)：获取问题类型集合{How,What,Why,Who,Which,When,Where,Whom}的8个特征；3)获取学生答案和标准答案之间的相似词性标记(POS)：获取学生答案和标准答案之间的5种词性标记——动词、名词、形容词、副词和其他的5个特征。因此，对于词语级别的特征为3+8+5＝16个特征。
单词级别特性的概念很大程度上源于这样一个事实：在基于对话框的辅导场景中，学生通常只提到重要的单词，这种回答虽然正确，但是没有构成完整的句子结构，不一定可以从标准答案进行推理。计算单词级别特征的预处理步骤首先涉及从标准答案和学生答案中删除停止词；随后，进行问题降级，从标准答案和学生答案中删除同样出现在问题中的单词。这就产生了两袋单词，一袋是标准答案，另一袋是学生答案。单词级别的特性基于以下三个关键点。
S4、对映射矩阵进行句子级别的特征抽取，生成句子特征；
进一步作为步骤S4的优选实施方式，所述步骤S4包括：
S41、对映射矩阵进行句子级别的特征抽取，分别得到短答案的问题的语义特征向量、标准答案的语义特征向量和回答答案的语义特征向量；
进一步作为优选的实施方式，所述步骤S41具体为：
通过Bi-LSTM神经网络对标准答案的映射矩阵进行运算，生成标准答案的语义特征向量；
所述通过Bi-LSTM神经网络对标准答案的映射矩阵进行运算，生成标准答案的语义特征向量这一步骤，包括以下步骤：
通过第一LSTM单元，基于第一顺序对映射矩阵中的词语进行处理，得到第一输出；
通过第二LSTM单元，基于第二顺序对映射矩阵中的词语进行处理，得到第二输出；
对第一输出和第二输出进行拼接处理，得到第三输出；
通过最大池化算法对第三输出进行下采样处理，得到标准答案的语义特征向量。
本实施例采用Bi-LSTM神经网络对短答案文本标准答案(r)，学生答案(a)，问题(q)映射矩阵进行运算；具体地：
本实施例中一个样本标准答案句子(r)有4个timestep(单词)的输入w1,w2,w3,w4。现在有两个互相分离的LSTMCell：
1)、对于前向的fw_cell(即第一LSTM单元)，样本按照w1,w2,w3,w4的顺序(即第一顺序)输入cell中，得到第一组状态输出{h1,h2,h3,h4}；
2)、对于反向的bw_cell(即第二LSTM单元)，样本按照w4,w3,w2,w1的顺序(即第二顺序)输入cell中，得到第一组状态输出{h4,h3,h2,h1}；
3)、得到的两组状态输出的每个元素是一个长度为hidden_size的向量(一般情况下，前向的h1和反向的h1长度相等)。现在按照下面的形式把两组状态变量拼起来{[h1,h1],[h2,h2],[h3,h3],[h4,h4]}；
4)、最后对于每个timestep的输入wt,都得到一个长度为2*hidden_size的状态输出Ht＝[ht,ht],获取所有隐含层的输出；
5)、利用max-pooling池化算法对所述语义特征矩阵进行下采样得到所述标准答案(r)文本的语义特征向量。
本发明基于上述1)-5)的步骤，分别对短答案的问题、标准答案和回答答案进行运算。
S42、对短答案的问题的语义特征向量、标准答案的语义特征向量和回答答案的语义特征向量进行向量运算特征转换，生成句子特征。
具体地，本实施例将步骤S41获得的短答案文本的语义特征向量r,a,q进行向量运算特征转换，Sfeat(q,r,a)＝(r,a,q,r*a,|r-a|,r*q,|r-q|,a*q,|a-q|)，其中r,a,q表示三个短答案文本的语义特征向量(r,a,q)的连接，r*a表示语义特征向量r和a的元素相乘，|r-a|表示r和a在语义特征向量表示方面的绝对差异，r*q表示语义特征向量r和q的元素相乘，|r-q|表示r和q在语义特征向量表示方面的绝对差异，a*q表示语义特征向量a和q的元素相乘，|a-q|表示a和q在语义特征向量表示方面的绝对差异；Sfeat(q,r,a)代表转换后得到的特征。经过转换运算之后的特征包括以下三个特点：1)表达了学生和标准答案之间的信息差距(r*a,|r-a|)；2)表达了答案中预期的新信息(r*q,|r-q|)；3)表达了学生答案中的新信息(a*q,|a-q|)。其中，每个句子特征是一个S维向量，所以句子级别特征大小为9S维。
S5、根据词语特征和句子特征，通过深度学习分类器模型预测短答案的文本类别；
具体地，本实施例将步骤S3的词语级别特征和步骤S4的句子级别特征进行融合连接，一共是16+9S的特征向量赋予三层全连接层神经网络多分类器，对短答案文本的类别进行预测；
本实施例使用InferSent来编码标准答案和学生答案作为在句子级别特征中描述的特征。对于基于句子嵌入的表示，可以是学生答案嵌入与标准答案嵌入的区别。在任何一种情况下，成对的表示形式都是基础。本发明最终特征表示是单词和句子级别特征的组合。单词级特征表示是3个重复特征、8个问题类型特征和5个相似特征的连接，每个句子嵌入是一个S维向量，使我们的句子级别特征大小为9S维。因此，最终的组合特征表示是9S+16维。
S6、基于文本类别与分值的映射关系，确定短答案的分数。
具体地，本实施例根据预设的短答案文本所属类别与得分的映射关系，确定答案文本的得分。
另外，本发明还包括：
步骤S7、对训练数据进行增强。
具体地，训练神经模型通常需要大量的训练数据，这些数据很难在公共和公共数据集中获得。本实施例从SemEval-2013任务中获得的主要数据集只有4969对(标准答案，学生答案)。在计算机视觉中，图像很容易通过缩放、旋转和亮度和对比度的变化来增强。而在本实施例的数据集中有相当多的答案是根据教师给出的完美分数。本实施例假设学生的答案得到了老师的完美分数，就将所述满分的学生答案作为老师提供的新的标准答案。例如，如果n个学生中的m得到满分(m<n)，那么通过以上策略，我们可以生成m*(n-1)新(标准答案，学生答案)训练对。增加SemEval-2013数据集将训练对从5000增加到75000。在测试过程中，我们只使用老师提供的标准答案。
例如：对应一个问题的学生答案有36个，其中有20个答案为满分答案，于是，在本实施例中，这个20个满分答案即被认为新的标准答案，而对应于每一个新的满分答案，其他答案的个数则为36-1＝35个，也就是说，本实施例的答案文本增加了20*35＝700对(每个标准答案和学生回答答案)。
本发明利用数据增强的方法，使训练的模型更加准确有效的学习到数据的特征，测试集的准确率会提高很多。
本发明实施例还提供了一种基于特征学习的短答案自动评分系统，包括：
分词模块，用于对短答案的问题、标准答案以及回答答案进行分词操作，生成词序列；
向量化模块，用于对词序列进行向量化表示，生成映射矩阵；
词语特征抽取模块，用于对映射矩阵进行词语级别的特征抽取，生成词语特征；
句子特征抽取模块，用于对映射矩阵进行句子级别的特征抽取，生成句子特征；
预测模块，用于根据词语特征和句子特征，通过深度学习分类器模型预测短答案的文本类别；
评分模块，用于基于文本类别与分值的映射关系，确定短答案的分数。
本发明实施例还提供了一种基于特征学习的短答案自动评分系统，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现所述的基于特征学习的短答案自动评分方法。
上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
本发明实施例还提供了一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行所述的基于特征学习的短答案自动评分方法。
综上所述，本发明基于特征学习的短答案自动评分方法、系统及存储介质具有以下优点：
1)、本发明对词语重叠特征、问题类型特征以及相似词性特征进行提取，提高了后续模型训练的准确度。
2)、本发明结合词语特征和句子特征进行深度训练学习，提高后续评分的准确度。
3)、本发明无需进行人工处理，大大提高了工作效率。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (8)

1.基于特征学习的短答案自动评分方法，其特征在于：包括以下步骤：
对短答案的问题、标准答案以及回答答案进行分词操作，生成词序列；
对词序列进行向量化表示，生成映射矩阵；
对映射矩阵进行词语级别的特征抽取，生成词语特征；所述词语级别的特征包括词语重叠特征、问题类型特征及回答答案和标准答案之间的相似词性标记；
对由映射矩阵提取得到的短答案的问题的语义特征向量、标准答案的语义特征向量和回答答案的语义特征向量进行向量运算特征转换，生成句子特征；
根据词语特征和句子特征，通过深度学习分类器模型预测短答案的文本类别；
基于文本类别与分值的映射关系，确定短答案的分数。
2.根据权利要求1所述的基于特征学习的短答案自动评分方法，其特征在于：所述对词序列进行向量化表示，生成映射矩阵这一步骤，包括以下步骤：
通过文本分类器训练词语库；
根据训练好的词语库，对词序列中的每个词语进行多维向量化表示，生成映射矩阵。
3.根据权利要求1所述的基于特征学习的短答案自动评分方法，其特征在于：所述标准答案的语义特征向量的确定过程，其具体为：
通过Bi-LSTM神经网络对标准答案的映射矩阵进行运算，生成标准答案的语义特征向量；
所述通过Bi-LSTM神经网络对标准答案的映射矩阵进行运算，生成标准答案的语义特征向量这一步骤，包括以下步骤：
通过第一LSTM单元，基于第一顺序对映射矩阵中的词语进行处理，得到第一输出；
通过第二LSTM单元，基于第二顺序对映射矩阵中的词语进行处理，得到第二输出；
对第一输出和第二输出进行拼接处理，得到第三输出；
通过最大池化算法对第三输出进行下采样处理，得到标准答案的语义特征向量。
4.根据权利要求1所述的基于特征学习的短答案自动评分方法，其特征在于：还包括对训练数据进行增强这一步骤。
5.根据权利要求4所述的基于特征学习的短答案自动评分方法，其特征在于：所述对训练数据进行增强这一步骤，包括以下步骤：
获取短文本的问题和标准答案；
根据短文本的问题和标准答案，逐一对回答答案进行评分；
若回答答案的得分为满分，则将所述回答答案作为标准答案，并返回执行根据短文本的问题和标准答案，逐一对回答答案进行评分这一步骤，直至所有回答答案遍历结束。
6.基于特征学习的短答案自动评分系统，其特征在于：包括：
分词模块，用于对短答案的问题、标准答案以及回答答案进行分词操作，生成词序列；
向量化模块，用于对词序列进行向量化表示，生成映射矩阵；
词语特征抽取模块，用于对映射矩阵进行词语级别的特征抽取，生成词语特征；所述词语级别的特征包括词语重叠特征、问题类型特征及回答答案和标准答案之间的相似词性标记；
句子特征抽取模块，用于对由映射矩阵提取得到的短答案的问题的语义特征向量、标准答案的语义特征向量和回答答案的语义特征向量进行向量运算特征转换，生成句子特征；
预测模块，用于根据词语特征和句子特征，通过深度学习分类器模型预测短答案的文本类别；
评分模块，用于基于文本类别与分值的映射关系，确定短答案的分数。
7.基于特征学习的短答案自动评分系统，其特征在于：包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-5中任一项所述的基于特征学习的短答案自动评分方法。
8.一种存储介质，其中存储有处理器可执行的指令，其特征在于：所述处理器可执行的指令在由处理器执行时用于执行如权利要求1-5中任一项所述的基于特征学习的短答案自动评分方法。
CN201811355345.3A 2018-11-14 2018-11-14 基于特征学习的短答案自动评分方法、系统及存储介质 Active CN109670168B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811355345.3A CN109670168B (zh) 2018-11-14 2018-11-14 基于特征学习的短答案自动评分方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811355345.3A CN109670168B (zh) 2018-11-14 2018-11-14 基于特征学习的短答案自动评分方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN109670168A CN109670168A (zh) 2019-04-23
CN109670168B true CN109670168B (zh) 2023-04-18

Family

ID=66142140

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811355345.3A Active CN109670168B (zh) 2018-11-14 2018-11-14 基于特征学习的短答案自动评分方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN109670168B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110414819B (zh) * 2019-07-19 2023-05-26 中国电信集团工会上海市委员会 一种工单评分方法
CN110717023B (zh) * 2019-09-18 2023-11-07 平安科技（深圳）有限公司 面试回答文本的分类方法及装置、电子设备、存储介质
CN110929524A (zh) * 2019-10-16 2020-03-27 平安科技（深圳）有限公司 数据筛选方法、装置、设备及计算机可读存储介质
CN111402659B (zh) * 2020-04-07 2022-04-22 科大讯飞股份有限公司 填空题标准答案确定方法、装置、电子设备和存储介质
CN113672694A (zh) * 2020-05-13 2021-11-19 武汉Tcl集团工业研究院有限公司 一种文本处理方法、终端以及存储介质
CN111985238B (zh) * 2020-06-30 2024-07-26 联想(北京)有限公司 一种答案生成方法及设备
CN111881694B (zh) * 2020-08-05 2024-08-23 科大讯飞股份有限公司 篇章要点检测方法、装置、设备及存储介质
CN112100329B (zh) * 2020-08-31 2024-06-21 武汉美和易思数字科技有限公司 一种基于大数据的学习心得评测方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106997376A (zh) * 2017-02-28 2017-08-01 浙江大学 一种基于多级特征的问题和答案句子相似度计算方法
CN107239445A (zh) * 2017-05-27 2017-10-10 中国矿业大学 一种基于神经网络的新闻事件抽取的方法及系统
CN107480133A (zh) * 2017-07-25 2017-12-15 广西师范大学 一种基于答案蕴涵与依存关系的主观题自适应阅卷方法
CN107967318A (zh) * 2017-11-23 2018-04-27 北京师范大学 一种采用lstm神经网络的中文短文本主观题自动评分方法和系统
CN108681538A (zh) * 2018-05-28 2018-10-19 哈尔滨工业大学 一种基于深度学习的动词短语省略消解方法
CN110990559A (zh) * 2018-09-29 2020-04-10 北京国双科技有限公司 用于对文本进行分类的方法和装置、存储介质及处理器

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106997376A (zh) * 2017-02-28 2017-08-01 浙江大学 一种基于多级特征的问题和答案句子相似度计算方法
CN107239445A (zh) * 2017-05-27 2017-10-10 中国矿业大学 一种基于神经网络的新闻事件抽取的方法及系统
CN107480133A (zh) * 2017-07-25 2017-12-15 广西师范大学 一种基于答案蕴涵与依存关系的主观题自适应阅卷方法
CN107967318A (zh) * 2017-11-23 2018-04-27 北京师范大学 一种采用lstm神经网络的中文短文本主观题自动评分方法和系统
CN108681538A (zh) * 2018-05-28 2018-10-19 哈尔滨工业大学 一种基于深度学习的动词短语省略消解方法
CN110990559A (zh) * 2018-09-29 2020-04-10 北京国双科技有限公司 用于对文本进行分类的方法和装置、存储介质及处理器

Also Published As

Publication number Publication date
CN109670168A (zh) 2019-04-23

Similar Documents

Publication Publication Date Title
CN109670168B (zh) 基于特征学习的短答案自动评分方法、系统及存储介质
US11620449B2 (en) Method for machine reading comprehension
CN108363743B (zh) 一种智能问题生成方法、装置和计算机可读存储介质
CN111339281B (zh) 一种多视角融合的阅读理解选择题的答案选择方法
CN110083710B (zh) 一种基于循环神经网络与潜变量结构的词语定义生成方法
Sonkar et al. qdkt: Question-centric deep knowledge tracing
CN108959246A (zh) 基于改进的注意力机制的答案选择方法、装置和电子设备
CN110825867B (zh) 相似文本推荐方法、装置、电子设备和存储介质
CN109739995B (zh) 一种信息处理方法及装置
CN112257966B (zh) 模型处理方法、装置、电子设备及存储介质
CN112926655B (zh) 一种图像内容理解与视觉问答vqa方法、存储介质和终端
CN109766407A (zh) 数据处理方法和系统
CN111145914B (zh) 一种确定肺癌临床病种库文本实体的方法及装置
CN112905762B (zh) 一种基于同等注意力图网络的视觉问答方法
CN112069815A (zh) 成语填空题的答案选择方法、装置和计算机设备
CN116385937B (zh) 一种基于多粒度的跨模态交互框架解决视频问答的方法及系统
CN113283488A (zh) 一种基于学习行为的认知诊断方法及系统
CN112349294A (zh) 语音处理方法及装置、计算机可读介质、电子设备
CN116311312A (zh) 视觉问答模型的训练方法和视觉问答方法
CN110969005A (zh) 一种确定实体语料之间的相似性的方法及装置
CN113239678A (zh) 一种面向答案选择的多角度注意力特征匹配方法及系统
CN110334204B (zh) 一种基于用户记录的习题相似度计算推荐方法
CN112785039B (zh) 一种试题作答得分率的预测方法及相关装置
CN107274077B (zh) 课程先后序计算方法和设备
CN114238587A (zh) 阅读理解方法、装置、存储介质及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant