CN113536808A - 引入多重文本关系的阅读理解试题难度自动预测方法 - Google Patents

引入多重文本关系的阅读理解试题难度自动预测方法 Download PDF

Info

Publication number
CN113536808A
CN113536808A CN202110950774.0A CN202110950774A CN113536808A CN 113536808 A CN113536808 A CN 113536808A CN 202110950774 A CN202110950774 A CN 202110950774A CN 113536808 A CN113536808 A CN 113536808A
Authority
CN
China
Prior art keywords
layer
text
question
difficulty
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110950774.0A
Other languages
English (en)
Inventor
何珺
张迎辉
孙波
余乐军
彭丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Normal University
Original Assignee
Beijing Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Normal University filed Critical Beijing Normal University
Priority to CN202110950774.0A priority Critical patent/CN113536808A/zh
Publication of CN113536808A publication Critical patent/CN113536808A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/205Parsing
    • G06F40/211Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/048Activation functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/20Education
    • G06Q50/205Education administration or guidance
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00Electrically-operated teaching apparatus or devices working with questions and answers

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Educational Administration (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Educational Technology (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种引入多重文本关系的阅读理解试题难度自动预测方法,涉及试题难度自动预测技术领域,包括:建立基于多视角注意力的MACNN模型,包括输入层、编码层、交互层、融合层和预测层,获取输入文本,包括问题文本qi、对应文档di及问题的候选选项oi;将获取的输入文本作为MACNN模型的输入;利用编码层对输入文本进行卷积操作,提取输入文本的上下文表示;通过交互层分别获取问题文本与对应文档、问题文本与候选选项、候选选项与候选选项间的交互关系信息;利用融合层将交互层获取的交互关系信息进行整合,并通过预测层预测试题难度。本发明可自动预测试题难度,辅助或替代传统人工试题难度评估工作,减少人力和财力资源的消耗。

Description

引入多重文本关系的阅读理解试题难度自动预测方法
技术领域
本发明涉及试题难度自动预测技术领域,更具体的说是涉及一种引入多重文本关系的阅读理解试题难度自动预测方法。
背景技术
试题难度是教育考试和个性化试题推荐的重要指标,试题难度预测指在未进行真实试题测试或未得出试题测试结果之前,仅根据试题的形式、内容等特征信息,预测某试题的难度。以往的方法主要基于专家经验,人力和时间成本、财力资源损耗较高。近年来,利用神经网络预测试题难度的研究越来越受到重视,然而,这些方法虽然提高了难度预测的效率,但只是将难度预测任务看作一个简单的分类或预测任务,而忽略了输入文本之间的关系对难度预测的影响,比如只关注问题与文档文本之间的关系,而没有考虑阅读理解多项选择题中选项内容之间的混淆关系对难度预测的影响。
因此,如何提出一种可以减少人力和财力资源消耗,克服传统人工试题难度评估工作的不足,同时考虑输入文本之间关系的试题难度预测模型是本领域技术人员亟需解决的问题。
发明内容
有鉴于此,本发明提供了一种引入多重文本关系的阅读理解试题难度自动预测方法,考虑了输入文本之间的关系,克服了传统人工试题难度评估工作的不足,减少了人力和财力资源消耗。
为了实现上述目的,本发明提供如下技术方案:
一种引入多重文本关系的阅读理解试题难度自动预测方法,包括以下步骤:
建立基于多视角注意力的MACNN模型,所述MACNN模型包括输入层、编码层、交互层、融合层和预测层;
获取输入文本,所述输入文本包括问题文本qi、对应文档di及问题的候选选项oi
将获取的所述输入文本作为所述MACNN模型的输入送到所述输入层;
利用所述编码层对所述输入文本进行卷积操作,提取所述输入文本的上下文表示;
通过所述交互层分别获取问题文本与对应文档、问题文本与候选选项、候选选项与候选选项之间的交互关系信息;
利用所述融合层将交互层获取的所述交互关系信息进行整合,并通过所述预测层预测试题难度。
上述的技术方案公开了本发明中对阅读理解难度进行自动预测的具体步骤,提出了一种具有多角度注意机制的卷积神经网络MACNN,在阅读理解中从不同输入文本中提取不同交互关系信息,可以达到自动预测试题难度的目的。
优选的,所述对应文档di以句子序列形式表示为di={s1,s2,...,sn,...,sN},N表示句子序列的长度,sn表示第n个句子,1≤n≤N;每个句子由有限个单词组成,表示为sn={w1,w2,...,wm,...,wM},M表示句子的长度,wm表示第m个单词,1≤m≤M,wm∈Rd通过d维预训练的单词嵌入初始化,其中Rd表示d维矩阵。
优选的,利用所述编码层对所述输入文本进行卷积操作,将连续的k个单词组合成一个局部语义表示,获得一个新的隐藏序列为
Figure BDA0003218368640000021
其中,
Figure BDA0003218368640000022
其中:h表示得到的新隐藏层向量,σ表示sigmoid函数,wm-k+1表示第(m-k+1)个单词,wm表示第m个单词,b表示第一参数矩阵;
G∈Rd1×kd,G表示权重矩阵,d1表示输出编码维度,b∈Rd1是卷积参数,
Figure BDA0003218368640000031
是将k个向量拼接的操作。
上述的技术方案中公开了输入文本在输入层和编码层的主要形式,对于给定的问题文本、对应文档和候选选项,使用CNN提取上下文表示,从阅读习惯的角度来看,CNN更适合从局部到整体捕捉每个句子的关键信息。
优选的,所述交互层包括阅读模块、回忆模块和混淆模块;
利用所述阅读模块通过注意力评估所述问题文本和对应文档之间的语义相关性:
Figure BDA0003218368640000032
其中,注意力权重
Figure BDA0003218368640000033
Figure BDA0003218368640000034
是文档D中的第j个句子,
Figure BDA0003218368640000035
是问题文本qi的句子向量表示,d是维度,LD表示文档最大长度;
利用所述回忆模块提取所述问题文本和候选选项之间的交互关系信息,得到问题相关文档语义表示
Figure BDA0003218368640000036
为:
Figure BDA0003218368640000037
其中,注意力权重
Figure BDA0003218368640000038
Lo表示选项最大长度,
Figure BDA0003218368640000039
是第j个选项文本的向量表示;通过所述混淆模块获取所述候选选项与候选选项之间的混淆信息
Figure BDA00032183686400000310
为:
Figure BDA00032183686400000311
其中,注意力权重
Figure BDA00032183686400000312
SA是正确答案。
上述的技术方案将教育理论证明的影响难度预测的关键因素:阅读、回忆、困惑等相关信息融入模型,通过交互层设计的三个模块采用不同的注意力机制,分别从问题文本、对应文档和候选选项两两之间提取不同的交互关系信息。
优选的,利用所述融合层通过拼接方式将交互层获取的所述交互关系信息进行整合,利用全连接层的输出p0预测试题难度
Figure BDA0003218368640000041
Figure BDA0003218368640000042
其中:W1表示第二参数矩阵,b1表示第三参数矩阵;
利用logistic函数计算
Figure BDA0003218368640000043
为:
Figure BDA0003218368640000044
其中:W2表示第四参数矩阵,b2表示第五参数矩阵;
将训练损失定义为最小方差损失的总和:
Figure BDA0003218368640000045
其中:Pi是真实难度标签,N(Q)代表问题总数,θM表示模型中所有的参数,γ是权重超参数。
上述的技术方案公开了通过设置的融合层和预测层对不同的交互关系信息进行整合并最终预测试题难度的计算过程,可以达到自动预测阅读理解试题难度的目的。
经由上述的技术方案可知,与现有技术相比,本发明公开提供了一种引入多重文本关系的阅读理解试题难度自动预测方法,具有以下有益技术效果:
(1)本发明建立的阅读理解试题难度预测模型,能够辅助或替代传统人工试题难度评估工作,进而减少人力和财力资源的消耗;
(2)本发明中将教育理论证明的影响难度预测的关键因素(阅读、回忆、困惑等相关信息)融入模型,建立的MACNN模型的性能更好,提高了预测结果的准确性;
(3)本发明可以用于自适应学习系统中习题难度迭代更新,为题库中难度自动化标注提高效率,便于管理者使用;有利于在线教育资源的有效管理、精确检索和精准个性化推荐,自动化难度预测可以为练习题自动分配难度值,为不同知识水平学生个性化推荐不同难度的练习题,提升在线学习效率以及练习效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1是本发明中引入多重文本关系的阅读理解试题难度自动预测方法的流程图;
图2是MACNN模型的整体框架图;
图3是阅读模块框架图;
图4是回忆模块框架图;
图5是混淆模块框架图;
图6是一实施例中注意力权重可视化的示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例公开了一种引入多重文本关系的阅读理解试题难度自动预测方法,如图1所示,包括以下步骤:
建立基于多视角注意力的MACNN模型,如图2所示,MACNN模型包括输入层、编码层、交互层、融合层和预测层;
获取输入文本,输入文本包括问题文本qi、对应文档di及问题的候选选项oi
将获取的输入文本作为MACNN模型的输入送到输入层;
利用编码层对输入文本进行卷积操作,提取输入文本的上下文表示;
通过交互层分别获取问题文本与对应文档、问题文本与候选选项、候选选项与候选选项之间的交互关系信息;
利用融合层将交互层获取的交互关系信息进行整合,并通过预测层预测试题难度。
进一步的,对应文档di以句子序列形式表示为di={s1,s2,...,sn,...,sN},N表示句子序列的长度,sn表示第n个句子,1≤n≤N;每个句子由有限个单词组成,表示为sn={w1,w2,...,wm,...,wM},M表示句子的长度,wm表示第m个单词,1≤m≤M,wm∈Rd通过d维预训练的单词嵌入初始化,其中Rd表示d维矩阵。
然后,利用编码层对输入文本进行卷积操作,将连续的k个单词组合成一个局部语义表示,获得一个新的隐藏序列为
Figure BDA0003218368640000061
其中,
Figure BDA0003218368640000062
其中:h表示得到的新隐藏层向量,σ表示sigmoid函数,wm-k+1表示第(m-k+1)个单词,wm表示第m个单词,b表示第一参数矩阵;
G∈Rd1×kd,G表示权重矩阵,d1表示输出编码维度,b∈Rd1是卷积参数,
Figure BDA0003218368640000063
是将k个向量拼接的操作。
在一实施例中,交互层包括阅读模块、回忆模块和混淆模块;
如图3所示是阅读模块框架图,利用阅读模块通过注意力评估问题文本和对应文档之间的语义相关性:
Figure BDA0003218368640000071
其中,注意力权重
Figure BDA0003218368640000072
Figure BDA0003218368640000073
是文档D中的第j个句子,
Figure BDA0003218368640000074
是问题文本qi的句子向量表示,d是维度,LD表示文档的最大长度;
利用如图4所示的回忆模块提取问题文本和候选选项之间的交互关系信息,得到问题相关文档语义表示
Figure BDA0003218368640000075
为:
Figure BDA0003218368640000076
其中,注意力权重
Figure BDA0003218368640000077
Lo表示选项的最大长度,
Figure BDA0003218368640000078
是第j个选项文本的向量表示;
再通过如图5所示的混淆模块获取候选选项与候选选项之间的混淆信息
Figure BDA0003218368640000079
为:
Figure BDA00032183686400000710
其中,注意力权重
Figure BDA00032183686400000711
SA是正确答案。
之后,利用融合层通过拼接方式将交互层获取的交互关系信息进行整合,利用全连接层的输出p0预测试题难度
Figure BDA00032183686400000712
Figure BDA00032183686400000713
其中:W1表示第二参数矩阵,b1表示第三参数矩阵;
利用logistic函数计算
Figure BDA00032183686400000714
为:
Figure BDA00032183686400000715
其中:W2表示第四参数矩阵,b2表示第五参数矩阵;
将训练损失定义为最小方差损失的总和:
Figure BDA0003218368640000081
其中:Pi是真实难度标签,N(Q)代表问题总数,θM表示模型中所有的参数,γ是权重超参数。
下面通过具体的实施例,对本发明中的预测方法进行解释说明。
由于教育领域数据隐私问题,我们的实验数据集从中国最大的在线主题教育网站之一(http://www.tiku.cn/)收集,包括1万多个问题。现分两步对收集的数据进行处理:首先,删除一些重复的问题;其次,过滤图片等非文本信息。因为本发明是基于文本来预测问题难度的,所以只关注纯文本问题。最后得到如表1中的试题样例,其数据集的统计信息见表2。
表1英语阅读试题样例
Figure BDA0003218368640000082
Figure BDA0003218368640000091
表2数据集的统计信息
Figure BDA0003218368640000092
模型详细信息和训练过程中的参数设置是通过真实数据集训练得到,从五折交叉验证获得的最佳实验结果中选择的超参数。表3中列出了MACNN模型当中的超参数,其他参数与TACNN相同。
表3模型超参数展示
Figure BDA0003218368640000093
实验基线主要包括以下几种:
TF IDF+SVM:通过TFIDF获取统计信息,然后将其转换为矩阵,最后使用SVM来预测难度。
CNN:许多研究将CNN作为基本框架。在此基础上比较注意机制的有效性,在本发明中选择它作为基准方法,利用其获取局部特征的优势对测试内容进行编码,获取语义,然后利用全连接层来预测难度。
TACNN:在CNN网络框架的基础上,增加了注意力机制(A),以获取文档问题之间的交互语义,并在训练中加入测试独立策略(T)。但是,由于其数据集是基于测试单元收集的。且本发明没有此数据集及以测试单元为基础收集特性,因此,不会在实验时加入T策略。
Bi LSTM:自然语言处理中的一种常用方法。为了帮助理解任务的总体难度并证明三个难度模块的有效性,选择它作为另一个基准方法。
为了测量MACNN模型的性能,从回归角度评估所有模型在QDP上的精度,本实验中使用平均平方根误差(RMSE)和平均绝对误差(MAE)来评估预测难度和实际难度之间的差距。简言之,RMSE和MAE越小,预测性能就越好。
在数据集中复现上述的基线方法,由于问题难度预测数据集在国内外很少公开,数据集的大小也不均匀,因此本实施例中采用已公布的代码方法,在所收集的数据集上,利用不同基线方法进行优化并取得最佳效果再进行比较,实验结果见表4。
表4 MACNN实验结果
Figure BDA0003218368640000101
从表4中可以了解到,本发明的预测方法优于以往基线,且优于最新的TACNN和Bi-LSTM方法。本实施例中复现TACNN得出的结果是0.226,是因为没有使用根据真实世界的数据提出的测试独立策略,参考文献中给出的结果是0.204左右,与此相比,本发明建立的MACNN模型略微领先。但是,TACNN的实验数据是在线独立测试数据,其答案记录约为2880,000,问题约为30,000。在数据不太丰富的情况下,也进一步证明了本发明中建立的模型MACNN的有效性。
此外,为了进一步证明本发明中设计的具有多视角注意机制的三个模块的有效性,现增加几组对比实验,如表5所示。因为以前的方法也利用注意力来获得问题与文档之间的相关信息。因此,本实施例中只讨论添加的回忆模块和混淆模块的贡献。根据表5可知,混淆难度模块对整体模型贡献很大,可以绝对提高预测性能约2%。这可能是由于英语阅读理解问题的特点:四个选项,其中一个是正确的,另外三个是具有干扰性的,因此混淆信息比较丰富。同时,删除回忆模块后,性能下降约1%,也验证此模块的有效性。
表5回忆模块和混淆模块的对比实验
(-R:去掉回忆模块,-C:去掉混淆模块)
Figure BDA0003218368640000111
为了进一步分析,现随机可视化一个问题训练后的注意力权重。如图6所示,颜色越深,权重越高,即关注度越高。从图6中可以发现,对于问题文本,可以关注相应文档中的不同相关句子,建立它们与相关文本的关系,并得到不同的关注度。与TACNN相比,本发明建立的模型MACNN更关注四个选项中的一些相关信息,即混淆信息。例如,TACNN预测0.29,这认为该问题很简单。采用本发明的MACNN模型的预测是0.43,融合了阅读,回忆和困惑的注意力权重,提高了对这个问题难度预测的准确性。
现有技术中利用神经网络预测试题难度的方法只是将难度预测任务看作一个简单的分类或预测任务,而忽略了输入文本之间的关系对难度预测的影响,比如只关注问题与文档文本之间的关系,而没有考虑阅读理解多项选择题中选项内容之间的混淆关系对难度预测的影响。本发明建立的基于多视角注意力的MACNN模型,能够辅助或替代传统人工试题难度评估工作,进而减少人力和财力资源的消耗;还将教育理论证明的影响难度预测的关键因素(阅读、回忆、困惑等相关信息)融入模型,模型的性能更好,提高了预测结果的准确性。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (5)

1.一种引入多重文本关系的阅读理解试题难度自动预测方法,其特征在于,包括以下步骤:
建立基于多视角注意力的MACNN模型,所述MACNN模型包括输入层、编码层、交互层、融合层和预测层;
获取输入文本,所述输入文本包括问题文本qi、对应文档di及问题的候选选项oi
将获取的所述输入文本作为所述MACNN模型的输入送到所述输入层;
利用所述编码层对所述输入文本进行卷积操作,提取所述输入文本的上下文表示;
通过所述交互层分别获取问题文本与对应文档、问题文本与候选选项、候选选项与候选选项之间的交互关系信息;
利用所述融合层将交互层获取的所述交互关系信息进行整合,并通过所述预测层预测试题难度。
2.根据权利要求1所述的一种引入多重文本关系的阅读理解试题难度自动预测方法,其特征在于,所述对应文档di以句子序列形式表示为di={s1,s2,...,sn,...,sN},N表示句子序列的长度,sn表示第n个句子,1≤n≤N;每个句子由有限个单词组成,其中sn={w1,w2,...,wm,...,wM},M表示句子的长度,wm表示第m个单词,1≤m≤M,wm∈Rd通过d维预训练的单词嵌入初始化,其中Rd表示d维矩阵。
3.根据权利要求1所述的一种引入多重文本关系的阅读理解试题难度自动预测方法,其特征在于,利用所述编码层对所述输入文本进行卷积操作,将连续的k个单词组合成一个局部语义表示,获得一个新的隐藏序列为
Figure FDA0003218368630000011
其中,
Figure FDA0003218368630000012
其中:h表示得到的新隐藏层向量,σ表示sigmoid函数,wm-k+1表示第(m-k+1)个单词,wm表示第m个单词,b表示第一参数矩阵;
G∈Rd1×kd,G表示权重矩阵,d1表示输出编码维度,b∈Rd1是卷积参数,
Figure FDA0003218368630000021
是将k个向量拼接的操作。
4.根据权利要求1所述的一种引入多重文本关系的阅读理解试题难度自动预测方法,其特征在于,所述交互层包括阅读模块、回忆模块和混淆模块;
利用所述阅读模块通过注意力评估所述问题文本和对应文档之间的语义相关性:
Figure FDA0003218368630000022
其中,注意力权重
Figure FDA0003218368630000023
Figure FDA0003218368630000024
是文档D中的第j个句子,
Figure FDA0003218368630000025
是问题文本qi的句子向量表示,d是维度,LD表示文档的最大长度;
利用所述回忆模块提取所述问题文本和候选选项之间的交互关系信息,得到问题相关文档语义表示
Figure FDA0003218368630000026
为:
Figure FDA0003218368630000027
其中,注意力权重
Figure FDA0003218368630000028
Lo表示选项的最大长度,
Figure FDA0003218368630000029
是第j个选项文本的向量表示;
通过所述混淆模块获取所述候选选项与候选选项之间的混淆信息
Figure FDA00032183686300000210
为:
Figure FDA00032183686300000211
其中,注意力权重
Figure FDA00032183686300000212
SA是正确答案。
5.根据权利要求1所述的一种引入多重文本关系的阅读理解试题难度自动预测方法,其特征在于,利用所述融合层通过拼接方式将交互层获取的所述交互关系信息进行整合,利用全连接层的输出p0预测试题难度
Figure FDA00032183686300000213
Figure FDA00032183686300000214
其中:W1表示第二参数矩阵,b1表示第三参数矩阵;
利用logistic函数计算
Figure FDA0003218368630000031
为:
Figure FDA0003218368630000032
其中:W2表示第四参数矩阵,b2表示第五参数矩阵;
将训练损失定义为最小方差损失的总和:
Figure FDA0003218368630000033
其中:Pi是真实难度标签,N(Q)代表问题总数,θM表示模型中所有的参数,γ是权重超参数。
CN202110950774.0A 2021-08-18 2021-08-18 引入多重文本关系的阅读理解试题难度自动预测方法 Pending CN113536808A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110950774.0A CN113536808A (zh) 2021-08-18 2021-08-18 引入多重文本关系的阅读理解试题难度自动预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110950774.0A CN113536808A (zh) 2021-08-18 2021-08-18 引入多重文本关系的阅读理解试题难度自动预测方法

Publications (1)

Publication Number Publication Date
CN113536808A true CN113536808A (zh) 2021-10-22

Family

ID=78091217

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110950774.0A Pending CN113536808A (zh) 2021-08-18 2021-08-18 引入多重文本关系的阅读理解试题难度自动预测方法

Country Status (1)

Country Link
CN (1) CN113536808A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114528821A (zh) * 2022-04-25 2022-05-24 中国科学技术大学 辅助理解的对话系统人工评估方法、装置及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHENYA HUANG 等: "Question Difficulty Prediction for READING Problems in Standard Tests", 《PROCEEDINGS OF THE THIRTY-FIRST AAAI CONFERENCE ON ARTIFICIAL INTELLIGENCE》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114528821A (zh) * 2022-04-25 2022-05-24 中国科学技术大学 辅助理解的对话系统人工评估方法、装置及存储介质
CN114528821B (zh) * 2022-04-25 2022-09-06 中国科学技术大学 辅助理解的对话系统人工评估方法、装置及存储介质

Similar Documents

Publication Publication Date Title
Zobel Writing for computer science
CN110633730A (zh) 一种基于课程学习的深度学习机器阅读理解训练方法
CN113569001A (zh) 文本处理方法、装置、计算机设备及计算机可读存储介质
CN110457585B (zh) 负面文本的推送方法、装置、系统及计算机设备
CN113392651A (zh) 训练词权重模型及提取核心词的方法、装置、设备和介质
Rithish et al. Automated assessment of question quality on online community forums
Das et al. An examination system automation using natural language processing
CN112069781A (zh) 一种评语生成方法、装置、终端设备及存储介质
Das et al. A hybrid deep learning technique for sentiment analysis in e-learning platform with natural language processing
Tian et al. Research on MOOC teaching mode in higher education based on deep learning
CN113283488B (zh) 一种基于学习行为的认知诊断方法及系统
CN113536808A (zh) 引入多重文本关系的阅读理解试题难度自动预测方法
Du et al. Structure-discourse hierarchical graph for conditional question answering on long documents
CN111951079A (zh) 一种基于知识图谱的信用评级方法、装置及电子设备
Bai et al. Gated character-aware convolutional neural network for effective automated essay scoring
Tan et al. Does informativeness matter? Active learning for educational dialogue act classification
Dimitrovski et al. Courses content classification based on Wikipedia and CIP taxonomy
CN114547435A (zh) 内容质量的识别方法、装置、设备及可读存储介质
Zhao et al. Investigating the Validity and Reliability of a Comprehensive Essay Evaluation Model of Integrating Manual Feedback and Intelligent Assistance.
Kumar et al. A finetuned language model for recommending cQA-QAs for enriching textbooks
Askari et al. Answer Retrieval in Legal Community Question Answering
CN117573851B (zh) 一种期货领域的生成式自动问答方法和系统
KR20190052320A (ko) 개인화된 콘텐츠 제공 장치
Gao et al. Machine reading comprehension based on hybrid attention and controlled generation
CN113268651B (zh) 一种搜索信息的摘要自动生成方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination