CN111310463B - 试题难度预估方法、装置、电子设备和存储介质 - Google Patents

试题难度预估方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN111310463B
CN111310463B CN202010084814.3A CN202010084814A CN111310463B CN 111310463 B CN111310463 B CN 111310463B CN 202010084814 A CN202010084814 A CN 202010084814A CN 111310463 B CN111310463 B CN 111310463B
Authority
CN
China
Prior art keywords
test question
difficulty
text
difficulty estimation
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010084814.3A
Other languages
English (en)
Other versions
CN111310463A (zh
Inventor
吴及
周梦强
刘喜恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
iFlytek Co Ltd
Original Assignee
Tsinghua University
iFlytek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University, iFlytek Co Ltd filed Critical Tsinghua University
Priority to CN202010084814.3A priority Critical patent/CN111310463B/zh
Publication of CN111310463A publication Critical patent/CN111310463A/zh
Application granted granted Critical
Publication of CN111310463B publication Critical patent/CN111310463B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明实施例提供一种试题难度预估方法、装置、电子设备和存储介质，其中方法包括：确定试题文本的试题特征，试题特征包括记忆力特征和/或逻辑推理特征；其中，记忆力特征表征试题文本与教学文本之间的相关性，逻辑推理特征表征试题文本中各关键词之间的关联性；将试题特征输入至试题难度预估模型，得到试题难度预估模型输出的难度预估结果；其中，试题难度预估模型是基于样本试题文本的样本试题特征以及样本难度预估结果训练得到的。本发明实施例提供的方法、装置、电子设备和存储介质，通过模拟考生的解题过程，使得试题难度预估能够贴合考生的解题思维，反映真实的试题难度，提高试题难度预估的可靠性和准确性。

Description

试题难度预估方法、装置、电子设备和存储介质
技术领域
本发明涉及自然语言处理技术领域，尤其涉及一种试题难度预估方法、装置、电子设备和存储介质。
背景技术
试题难度预估是指在未进行真实试题测试或未得出试题测试结果之前，仅根据试题的形式、内容等信息，判断特定目标群体对某试题答对的概率。
在命题工作中，试题难度预估不准确会影响整体试卷的合理性和权威性。而当前的试题难度预估方法包括基于知识点统计的方法、基于神经网络的方法，均是从试题自身的属性进行难度预估，不符合实际考试的场景，也无法反应真实参考考生对试题难度的表现，导致预估的结果不准确。
发明内容
本发明实施例提供一种试题难度预估方法、装置、电子设备和存储介质，用以解决现有的试题难度预估可靠性低的问题。
第一方面，本发明实施例提供一种试题难度预估方法，包括：
确定试题文本的试题特征，所述试题特征包括记忆力特征和/或逻辑推理特征；其中，所述记忆力特征表征所述试题文本与教学文本之间的相关性，所述逻辑推理特征表征所述试题文本中各关键词之间的关联性；
将所述试题特征输入至试题难度预估模型，得到所述试题难度预估模型输出的难度预估结果；其中，所述试题难度预估模型是基于样本试题文本的样本试题特征以及样本难度预估结果训练得到的。
优选地，所述确定试题文本的试题特征，具体包括：
确定所述试题文本中的若干个关键词；
基于预设教学文本索引对所述若干个关键词进行检索，得到检索结果，基于所述检索结果确定所述记忆力特征；
和/或，基于预设知识图谱，确定所述若干个关键词对应的知识子图，基于所述知识子图确定所述逻辑推理特征。
优选地，所述基于所述检索结果确定所述记忆力特征，具体包括：
基于所述检索结果中每一教学文本与所述若干个关键词的相关性评分，确定预设数量个最高相关性评分；
基于所述预设数量个最高相关性评分，确定所述记忆力特征。
优选地，所述基于所述知识子图确定所述逻辑推理特征，具体包括：
将所述知识子图输入至逻辑推理模型中，得到所述逻辑推理模型输出的逻辑推理特征。
优选地，所述试题难度预估模型包括多个考生群体分别对应的难度预估层，以及与每一难度预估层连接的难度输出层。
优选地，所述将所述试题特征输入至试题难度预估模型，得到所述试题难度预估模型输出的难度预估结果，具体包括：
将所述试题特征输入至任一考生群体对应的难度预测层，得到所述任一考生群体对应的难度预测层输出的任一考生群体的预估难度；
将每一考生群体的预估难度输入至所述难度输出层，得到所述难度输出层输出的难度预估结果。
优选地，所述将每一考生群体的预估难度输入至所述难度输出层，得到所述难度输出层输出的难度预估结果，具体包括：
基于每一考生群体对应的权重，对每一考生群体的预估难度进行加权求和，得到所述难度预估结果；
其中，每一考生群体对应的权重是基于每一考生群体的人数占比确定的。
第二方面，本发明实施例提供一种试题难度预估装置，包括：
试题特征确定单元，用于确定试题文本的试题特征，所述试题特征包括记忆力特征和/或逻辑推理特征；其中，所述记忆力特征表征所述试题文本与教学文本之间的相关性，所述逻辑推理特征表征所述试题文本中各关键词之间的关联性；
难度预估单元，用于将所述试题特征输入至试题难度预估模型，得到所述试题难度预估模型输出的难度预估结果；其中，所述试题难度预估模型是基于样本试题文本的样本试题特征以及样本难度预估结果训练得到的。
第三方面，本发明实施例提供一种电子设备，包括处理器、通信接口、存储器和总线，其中，处理器，通信接口，存储器通过总线完成相互间的通信，处理器可以调用存储器中的逻辑命令，以执行如第一方面所提供的方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的方法的步骤。
本发明实施例提供的一种试题难度预估方法、装置、电子设备和存储介质，通过确定包含记忆力特征和/或逻辑推理特征的试题特征，来模拟考生的解题过程，进而使得试题难度预估能够贴合考生的解题思维，反映真实的试题难度，提高试题难度预估的可靠性和准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的试题难度预估方法的流程示意图；
图2为本发明实施例提供的试题特征确定方法的流程示意图；
图3为本发明实施例提供的记忆力特征确定方法的流程示意图；
图4为本发明实施例提供的知识子图的示意图；
图5为本发明实施例提供的试题难度预估模型的结构示意图；
图6为本发明实施例提供的试题难度预估模型的运行流程示意图；
图7为本发明实施例提供的试题难度预估装置的结构示意图；
图8为本发明实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在命题工作中，试题难度预估不准确会影响整体试卷的合理性和权威性。而当前的试题难度预估方法包括人工预估方法、基于知识点统计的方法、基于神经网络的方法等，其中人工预估的准确性依赖于命题专家的专业背景以及对目标考生的理解程度，预估过程费时费力，且预估结果的稳定性差。基于知识点统计的方法和基于神经网络的方法均是从试题自身的属性，例如试题覆盖的知识点、试题题型、试题结构等方面进行难度预估，虽然能够客观地从试题属性的角度进行难度预估，但是并不符合实际考试的场景，无法反应真实参考考生对试题难度的表现，导致预估的结果不准确。
针对上述问题，本发明实施例提供一种试题难度预估方法。图1为本发明实施例提供的试题难度预估方法的流程示意图，如图1所示，该方法包括：
步骤110，确定试题文本的试题特征，试题特征包括记忆力特征和/或逻辑推理特征；其中，记忆力特征表征试题文本与教学文本之间的相关性，逻辑推理特征表征试题文本中各关键词之间的关联性。
具体地，试题文本即需要进行难度预估的试题所对应的文本，试题文本可以是相关人员直接输入的文本，也可以是通过从电子版试卷中提取的，还可以是通过光学字符识别OCR技术从纸质版试卷所对应的图像中提取的，本发明实施例对此不作具体限定。
在考生解题时，通常可以将考生的能力划分为记忆能力和逻辑推理能力两类，其中记忆能力体现为考生所掌握的用于解题的知识的多少，以及根据试题文本对相关知识进行回顾检索的能力；逻辑推理能力体现为考生对于知识点之间内在联系的掌握程度，以及根据试题文本中各关键词推理归纳相关逻辑的能力。
试题特征中，记忆力特征用于表征试题对考生记忆能力的考察情况，试题文本与教学文本之间的相关性越高，则试题对考生记忆能力的考察越偏重，考生的记忆能力越强，则答对该试题的概率越高，相应的试题难度越低。此处，教学文本即与试题文本相关联的文本，例如试题相关专业的教材文本、讲义文本、模拟试题文本等。此处，记忆力特征可以是通过计算试题文本与预先存储的每一教学文本的相关性得到的。
逻辑推理特征用于表征试题对于考生逻辑推理能力的考察情况，试题文本中各关键词之间的关联性越强，则试题对考生逻辑推理能力的考察越偏重，考生的逻辑推理能力越强，则答对该试题的概率越高，相应的试题难度越低。此处，试题文本中的关键词可以是试题中包含的知识点，关键词之间的关联即为知识点之间的关联逻辑。此处，逻辑推理特征可以是将试题文本中的关键词，与预先设定的关键词之间的关联性进行匹配得到的。
步骤120，将试题特征输入至试题难度预估模型，得到试题难度预估模型输出的难度预估结果；其中，试题难度预估模型是基于样本试题文本的样本试题特征以及样本难度预估结果训练得到的。
具体地，将包含记忆力特征和/或逻辑推理特征的试题特征应用于试题难度预估，从而能够贴合考生解题思维，提高试题难度预估的可靠性和准确性。此处，试题难度预估模型用于根据输入的试题特征进行难度预估，并输出难度预估结果。其中，难度预估结果为对试题文本进行难度预估最终得到的结果，难度预估结果表征试题文本所对应的难度，具体可以是考生答对该试题的概率，也可以是不同类别的考生分别答对该试题的概率等，本发明实施例对此不作具体限定。
在执行步骤120之前，还可以预先训练得到试题难度预估模型，具体可以通过如下方式训练得到试题难度预估模型：首先，收集大量样本试题文本，确定样本试题文本的样本试题特征，并通过人工标注得到样本试题文本的样本难度预估结果。随即，将样本试题文本的样本试题特征以及样本难度预估结果输入至初始模型进行训练，从而得到试题难度预估模型。
本发明实施例提供的方法，通过确定包含记忆力特征和/或逻辑推理特征的试题特征，来模拟考生的解题过程，进而使得试题难度预估能够贴合考生的解题思维，反映真实的试题难度，提高试题难度预估的可靠性和准确性。
基于上述实施例，图2为本发明实施例提供的试题特征确定方法的流程示意图，如图2所示，步骤110具体包括：
步骤111，确定试题文本中的若干个关键词。
具体地，可以通过对试题文本进行分词、去停词、文本结构化等操作提取出关键词，由此得到的关键词至少有一个，通常为多个。例如试题文本“类风湿性关节炎最早出现的关节症状是什么”中的关键词包括“类风湿性关节炎”、“最早”、“出现”、“关节”和“症状”。
步骤112，基于预设教学文本索引对若干个关键词进行检索，得到检索结果，基于检索结果确定记忆力特征。
其中，预设教学文本索引为预先基于大量教学文本创建的搜索引擎。在确定试题文本的若干个关键词之后，可以基于预设教学文本索引对上述若干个关键词进行检索，从而得到检索结果。具体在进行检索时，可以将上述若干个关键词进行同义词、缩写、英文等形式的词语扩展，得到扩展后的检索词用于检索，还可以根据每个关键词的重要程度确定对应的检索权重，并将检索权重用于检索。
此处的检索结果可以包括从大量教学文本中检索得到的与上述若干个关键词相关联的教学文本，还可以包括预设教学文本索引计算得到的相关联的教学文本与上述若干个关键词之间的相关性评分等。在确定检索结果之后，即可通过检索结果得到试题文本与教学文本之间的相关性，进而确定记忆力特征。
和/或，步骤113，基于预设知识图谱，确定若干个关键词对应的知识子图，基于知识子图确定逻辑推理特征。
此处，预设知识图谱为预先设定的对应于试题文本所属领域的知识图谱，预设知识图谱中包含有节点以及连接节点的边，其中节点表示知识点，边表示知识点之间的关联性。作为优选，边值可以表示为两个相连节点之间的共现情况PMI(Point-wise MutualInformation)。
在确定试题文本的若干个关键词之后，可以确定每一关键词在预设知识图谱中对应的知识点，从而得到包含有上述若干个关键词对应知识点的知识子图。此处，知识子图能够反映试题文本中每一关键词所对应的知识点，以及知识点之间的关联性。在得到知识子图之后，即可基于知识子图得到试题文本中各关键词之间的关联性，进而确定逻辑推理特征。
需要说明的是，步骤112用于确定试题特征中的记忆力特征，步骤113用于确定试题特征中的逻辑推理特征，可以仅执行步骤112或仅执行步骤113，也可以既执行步骤112也执行步骤113，且本发明实施例不对步骤112和步骤113的执行顺序作具体限定。
本发明实施例提供的方法，基于预设教学文本索引确定记忆力特征，基于预设知识图谱确定逻辑推理特征，进而实现了基于考生答题思维的试题特征提取，有助于实现高稳定性和高准确率的试题难度预估。
基于上述任一实施例，步骤112中，所述基于检索结果确定记忆力特征，具体包括：基于检索结果中每一教学文本与若干个关键词的相关性评分，确定预设数量个最高相关性评分；基于预设数量个最高相关性评分，确定记忆力特征。
具体地，预设教学文本索引本身具备相关性计算功能，因此预设教学文本索引输出的检索结果中，也包含有每一教学文本与若干个关键词的相关性评分。此处，任一教学文本与若干个关键词的相关性评分是针对于该教学文本与若干个关键词的相关性进行评分得到的结果，相关性评分越高，则说明该教学文本与上述若干个关键词的相关性越强，即该教学文本与试题文本的相关性越强。
在得到检索结果后，可以从中选取预设数量个最高相关性评分，并基于预设数量个最高相关性评分，确定记忆力特征。例如，假设预设数量为10，可以从检索结果中选取10个最高的相关性评分，并将上述10个最高的相关性评分进行归一化并拼接，得到记忆力特征；又例如，假设预设数量为10，可以从检索结果中选取10个最高的相关性评分，并将上述10个最高的相关性评分的最大值、最小值、平均值和中间值分别进行归一化并拼接，得到记忆力特征。
基于上述任一实施例，图3为本发明实施例提供的记忆力特征确定方法的流程示意图，如图3所示，预设教学文本索引可以是针对于不同类型或者不同来源的教学文本创建的多源索引，例如可以将教学文本划分为“教科书”、“讲义”和“模拟题”三类后创建多源索引。预设教学文本索引可以是Lucene引擎，也可以是其余类型的引擎，本发明实施例对此不作具体限定。
在确定关键词后，通过对关键词进行扩充得到检索词，并基于预设教学文本索引进行检索，分别得到对应于“教科书”、“讲义”和“模拟题”的检索结果，基于上述各类检索结果中预设数量个最高的相关性评分，确定记忆力特征。
基于上述任一实施例，预设教学文本索引中相关性评分的计算，可以基于各关键词在教学文本中的占比、各关键词的检索权重、各关键词的逆文档频度、各关键词的教学文本中的长度加权因子等确定。
例如，可以通过如下公式确定相关性评分：
Figure BDA0002381663390000081
式中，score(q,d)为若干个关键词构成的查询内容q与教学文本d的相关性评分；coord(q,d)表示查询覆盖率，即查询内容q在教学文本d中的覆盖率占比，越多的关键词t在同一教学文本中出现，说明该教学文本的匹配程度越高。queryNorm(q)表示查询内容q中每一关键词的检索权重的标准化结果；tf(t in d)为关键词t在教学文本d中出现的次数；idf(t)表示逆文档频度，即库中所有出现过关键词t的教学文本数量；t.getBoost为关键词t的检索权重；norm(t,d)为关键词t的长度加权因子。
基于上述任一实施例，针对试题文本“类风湿性关节炎最早出现的关节症状是什么”，得到关键词“类风湿性关节炎”、“最早”、“出现”、“关节”和“症状”后，可以对上述关键词进行扩展，得到“类风湿性关节炎”的缩写为“RA”，对“最早”进行同义词扩展为“早期”、“最先”。最终得到检索词“类风湿性关节炎”、“RA”、“最早”、“早期”、“最先”、“出现”、“关节”和“症状”。
基于预设教学文本索引对上述检索词进行检索，得到检索结果，并从中选取10个最高的相关性评分“12.8 11.7 11.4 11.0 10.3 8.5 7.6 7.1 5.5 5.2”，经过归一化得到记忆力特征如下“0.141 0.128 0.125 0.121 0.113 0.093 0.083 0.078 0.060 0.057”。
基于上述任一实施例，步骤113中，所述基于知识子图确定逻辑推理特征，具体包括：将知识子图输入至逻辑推理模型中，得到逻辑推理模型输出的逻辑推理特征。
此处，逻辑推理模型用于分析输入的知识子图中各个知识点之间的关联性，并将各个知识点之间的关联性作为逻辑推理特征输出。由此得到的逻辑推理特征，可以包括每个知识点与其余各知识点之间的关联性。此处，各个知识点之间的关联性，不仅包括任一知识点与该知识点的一阶邻居知识点之间的关联性，还包括该知识点与该知识点的高阶邻居知识点之间的关联性。其中，一阶邻居知识点是指直接与该知识点连接的知识点，高阶邻居知识点是指间接与该知识点连接的知识点。
例如，图4为本发明实施例提供的知识子图的示意图，如图4所示，关键词所对应的知识点包括“类风湿性关节炎”、“最早”、“出现”、“关节”和“症状”，两个知识点之间的边上的数值表示两个知识点之间的关联权重。针对于知识点“关节”，其对应的一阶邻居知识点为“类风湿性关节炎”，二阶邻居知识点为“最早”和“症状”，三阶邻居知识点为“出现”。通过将图4示出的知识子图输入到逻辑推理模型中，不仅可以得到每个知识点的一阶邻居知识点的信息，还可以得到每个知识点的高阶邻居知识点的信息。
需要说明的是，逻辑推理模型可以是预训练得到的，也可以是与试题难度预估模型联合训练得到的，本发明实施例对此不作具体限定。
本发明实施例提供的方法，通过逻辑推理模型实现了知识子图中各个知识点之间关联性的深度挖掘，从而得到能够准确反映试题文本内部逻辑的逻辑推理特征，以实现准确稳定的试题难度预估。
基于上述任一实施例，逻辑推理模型可以包括图卷积神经网络(GraphConvolution Network，GCN)，通过知识子图中的边进行相邻节点的消息传递，得到试题文本的逻辑推理特征。进一步地，逻辑推理模型可以通过叠加多层GCN来聚合高阶邻居知识点的信息，最终得到知识子图中每一知识点的语义表示，随即通过mean-pooling将所有知识点的语义表示合并为试题文本的语义表示，作为逻辑推理特征输出。
在实际考试场景中，不同的考生对于试题的理解和知识点的掌握程度均存在差异，针对同一试题所反馈的难度也不相同。将所有考生作为一个整体进行试题难度预估，难以反映真实情况下不同时能够考生对于试题难度的表现，难以保证试题难度预估的准确性。针对这一问题，基于上述任一实施例，图5为本发明实施例提供的试题难度预估模型的结构示意图，如图5所示，试题难度预估模型包括多个考生群体分别对应的难度预估层，以及与每一难度预估层连接的难度输出层。
具体地，试题难度预估模型中，针对于不同的考生群体设置有不同的难度预估层，考生群体与难度预估层一一对应。任一考生群体所对应的难度预估层用于对输入的试题特征进行难度分析，得到针对于该考生群体的试题难度。随即由难度输出层对于不同考生群体分别对应的试题难度进行汇总分析，得到难度预估结果。
其中，考生群体是预先划分的，例如可以基于考生的学历进行划分，将考生划分为研究生及以上、本科生、专科生、其他学历四个群体，或者考虑不同地域的教育资源和教学方式的不同，基于考生所处地域进行划分。
本发明实施例提供的方法，在试题难度预估模型中，针对不同考生群体分别设置对应的难度预估层，从而预估对应不同考生群体的试题难度，以提高难度预估结果的准确性。
基于上述任一实施例，图6为本发明实施例提供的试题难度预估模型的运行流程示意图，如图6所示，步骤120具体包括：
步骤121，将试题特征输入至任一考生群体对应的难度预测层，得到该考生群体对应的难度预测层输出的该考生群体的预估难度。
具体地，针对于任一考生群体，将试题特征输入至该考生群体对应的难度预测层，由该考生群体对应的难度预测层基于试题特征对试题难度进行预估，并输出该考生群体的预估难度。此处，该考生群体的预估难度为0至1之间的数值，表示针对于该考生群体，答对该试题的预估概率。
步骤122，将每一考生群体的预估难度输入至难度输出层，得到难度输出层输出的难度预估结果。
具体地，将每一考生群体对应的难度预测层输出的预估难度输入至难度输出层，由难度输出层对各个考生群体的预估难度进行分析，得到难度预估结果。此处，难度预估结果可以是包含针对于不同考生群体的预估难度，还可以包含针对于考生整体的试题预估难度，本发明实施例对此不作具体限定。
基于上述任一实施例，步骤122具体包括：基于每一考生群体对应的权重，对每一考生群体的预估难度进行加权求和，得到难度预估结果；其中，每一考生群体对应的权重是基于每一考生群体的人数占比确定的。
具体地，针对于任一考生群体，该考生群体的人数占比即该考生群体的人数与考生总人数的比值。对每一考生群体的预估难度进行加权求和可以表示为如下公式：
d＝∑di*wi
式中，d为难度预估结果，di为第i个考生群体的预估难度，wi为第i个考生群体的人数占比。
例如，对某执业资格考试实际参加考试的考生群体的人数占比分别为“本科生：研究生：其他学历＝0.5：0.3：0.2”，对应其考生群体的预估难度分别为“0.7，0.4，0.8”，则最终的难度预估结果为“0.7*0.5+0.4*0.3+0.8*0.2＝0.63”。
基于上述任一实施例，图7为本发明实施例提供的试题难度预估装置的结构示意图，如图7所示，该装置包括试题特征确定单元710和难度预估单元720；
其中，试题特征确定单元710用于确定试题文本的试题特征，所述试题特征包括记忆力特征和/或逻辑推理特征；其中，所述记忆力特征表征所述试题文本与教学文本之间的相关性，所述逻辑推理特征表征所述试题文本中各关键词之间的关联性；
难度预估单元720用于将所述试题特征输入至试题难度预估模型，得到所述试题难度预估模型输出的难度预估结果；其中，所述试题难度预估模型是基于样本试题文本的样本试题特征以及样本难度预估结果训练得到的。
本发明实施例提供的装置，通过确定包含记忆力特征和/或逻辑推理特征的试题特征，来模拟考生的解题过程，进而使得试题难度预估能够贴合考生的解题思维，反映真实的试题难度，提高试题难度预估的可靠性和准确性。
基于上述任一实施例，试题特征确定单元710包括关键词确定子单元，以及记忆力特征确定子单元和/或逻辑推理特征确定子单元；
其中，关键词确定子单元，用于确定所述试题文本中的若干个关键词；
记忆力特征确定子单元包括检索模块和记忆力确定模块：
其中，检索模块用于基于预设教学文本索引对所述若干个关键词进行检索，得到检索结果；
记忆力确定模块用于基于所述检索结果确定所述记忆力特征；
逻辑推理特征确定子单元包括子图确定模块和逻辑推理模块：
其中，子图确定模块用于基于预设知识图谱，确定所述若干个关键词对应的知识子图；
逻辑推理模块用于基于所述知识子图确定所述逻辑推理特征。
基于上述任一实施例，记忆力确定模块具体用于：
基于所述检索结果中每一教学文本与所述若干个关键词的相关性评分，确定预设数量个最高相关性评分；
基于所述预设数量个最高相关性评分，确定所述记忆力特征。
基于上述任一实施例，逻辑推理模块具体用于：
将所述知识子图输入至逻辑推理模型中，得到所述逻辑推理模型输出的逻辑推理特征。
基于上述任一实施例，所述试题难度预估模型包括多个考生群体分别对应的难度预估层，以及与每一难度预估层连接的难度输出层。
基于上述任一实施例，难度预估单元720包括：
群体难度预估模块，用于将所述试题特征输入至任一考生群体对应的难度预测层，得到所述任一考生群体对应的难度预测层输出的任一考生群体的预估难度；
难度输出模块，用于将每一考生群体的预估难度输入至所述难度输出层，得到所述难度输出层输出的难度预估结果。
基于上述任一实施例，难度输出模块具体用于：
基于每一考生群体对应的权重，对每一考生群体的预估难度进行加权求和，得到所述难度预估结果；
其中，每一考生群体对应的权重是基于每一考生群体的人数占比确定的。
图8为本发明实施例提供的电子设备的结构示意图，如图8所示，该电子设备可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑命令，以执行如下方法：确定试题文本的试题特征，所述试题特征包括记忆力特征和/或逻辑推理特征；其中，所述记忆力特征表征所述试题文本与教学文本之间的相关性，所述逻辑推理特征表征所述试题文本中各关键词之间的关联性；将所述试题特征输入至试题难度预估模型，得到所述试题难度预估模型输出的难度预估结果；其中，所述试题难度预估模型是基于样本试题文本的样本试题特征以及样本难度预估结果训练得到的。
此外，上述的存储器830中的逻辑命令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干命令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的方法，例如包括：确定试题文本的试题特征，所述试题特征包括记忆力特征和/或逻辑推理特征；其中，所述记忆力特征表征所述试题文本与教学文本之间的相关性，所述逻辑推理特征表征所述试题文本中各关键词之间的关联性；将所述试题特征输入至试题难度预估模型，得到所述试题难度预估模型输出的难度预估结果；其中，所述试题难度预估模型是基于样本试题文本的样本试题特征以及样本难度预估结果训练得到的。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干命令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种试题难度预估方法，其特征在于，包括：
确定试题文本的试题特征，所述试题特征包括记忆力特征和/或逻辑推理特征；其中，所述记忆力特征表征所述试题文本与教学文本之间的相关性，所述逻辑推理特征表征所述试题文本中各关键词之间的关联性，所述关键词为所述试题文本中包含的知识点，所述各关键词之间的关联为知识点之间的关联逻辑；
将所述试题特征输入至试题难度预估模型，得到所述试题难度预估模型输出的难度预估结果；其中，所述试题难度预估模型是基于样本试题文本的样本试题特征以及样本难度预估结果训练得到的；
所述确定试题文本的试题特征，具体包括：
确定所述试题文本中的若干个关键词；
基于预设教学文本索引对所述若干个关键词进行检索，得到检索结果，基于所述检索结果确定所述记忆力特征；
和/或，基于预设知识图谱，确定所述若干个关键词对应的知识子图，基于所述知识子图确定所述逻辑推理特征。
2.根据权利要求1所述的试题难度预估方法，其特征在于，所述基于所述检索结果确定所述记忆力特征，具体包括：
基于所述检索结果中每一教学文本与所述若干个关键词的相关性评分，确定预设数量个最高相关性评分；
基于所述预设数量个最高相关性评分，确定所述记忆力特征。
3.根据权利要求1所述的试题难度预估方法，其特征在于，所述基于所述知识子图确定所述逻辑推理特征，具体包括：
将所述知识子图输入至逻辑推理模型中，得到所述逻辑推理模型输出的逻辑推理特征。
4.根据权利要求1至3中任一项所述的试题难度预估方法，其特征在于，所述试题难度预估模型包括多个考生群体分别对应的难度预估层，以及与每一难度预估层连接的难度输出层。
5.根据权利要求4所述的试题难度预估方法，其特征在于，所述将所述试题特征输入至试题难度预估模型，得到所述试题难度预估模型输出的难度预估结果，具体包括：
将所述试题特征输入至任一考生群体对应的难度预测层，得到所述任一考生群体对应的难度预测层输出的所述任一考生群体的预估难度；
将每一考生群体的预估难度输入至所述难度输出层，得到所述难度输出层输出的难度预估结果。
6.根据权利要求5所述的试题难度预估方法，其特征在于，所述将每一考生群体的预估难度输入至所述难度输出层，得到所述难度输出层输出的难度预估结果，具体包括：
基于每一考生群体对应的权重，对每一考生群体的预估难度进行加权求和，得到所述难度预估结果；
其中，每一考生群体对应的权重是基于每一考生群体的人数占比确定的。
7.一种试题难度预估装置，其特征在于，包括：
试题特征确定单元，用于确定试题文本的试题特征，所述试题特征包括记忆力特征和/或逻辑推理特征；其中，所述记忆力特征表征所述试题文本与教学文本之间的相关性，所述逻辑推理特征表征所述试题文本中各关键词之间的关联性，所述关键词为所述试题文本中包含的知识点，所述各关键词之间的关联为知识点之间的关联逻辑；
难度预估单元，用于将所述试题特征输入至试题难度预估模型，得到所述试题难度预估模型输出的难度预估结果；其中，所述试题难度预估模型是基于样本试题文本的样本试题特征以及样本难度预估结果训练得到的；
所述试题特征确定单元，具体用于：
确定所述试题文本中的若干个关键词；
基于预设教学文本索引对所述若干个关键词进行检索，得到检索结果，基于所述检索结果确定所述记忆力特征；
和/或，基于预设知识图谱，确定所述若干个关键词对应的知识子图，基于所述知识子图确定所述逻辑推理特征。
8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6中任一项所述的试题难度预估方法的步骤。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6中任一项所述的试题难度预估方法的步骤。
CN202010084814.3A 2020-02-10 2020-02-10 试题难度预估方法、装置、电子设备和存储介质 Active CN111310463B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010084814.3A CN111310463B (zh) 2020-02-10 2020-02-10 试题难度预估方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010084814.3A CN111310463B (zh) 2020-02-10 2020-02-10 试题难度预估方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN111310463A CN111310463A (zh) 2020-06-19
CN111310463B true CN111310463B (zh) 2022-08-05

Family

ID=71156545

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010084814.3A Active CN111310463B (zh) 2020-02-10 2020-02-10 试题难度预估方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN111310463B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111784048A (zh) * 2020-06-30 2020-10-16 科大讯飞股份有限公司 试题难度预测方法、装置、电子设备和存储介质
CN112184089B (zh) * 2020-11-27 2021-03-09 北京世纪好未来教育科技有限公司 试题难度预测模型的训练方法、装置、设备及存储介质
CN112732908B (zh) * 2020-12-28 2023-12-01 科大讯飞股份有限公司 试题新颖度评估方法、装置、电子设备和存储介质
CN112612909B (zh) * 2021-01-06 2022-06-07 杭州恒生数字设备科技有限公司 一种基于知识图谱的智能试卷质量评测方法
CN113743083B (zh) * 2021-09-06 2024-03-12 东北师范大学 一种基于深度语义表征的试题难度预测方法及系统
CN117556381B (zh) * 2024-01-04 2024-04-02 华中师范大学 一种面向跨学科主观试题的知识水平深度挖掘方法及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103208211A (zh) * 2012-01-13 2013-07-17 深圳市育才幻音信息技术有限公司 网络教育考试选题方法及装置
JP2016040580A (ja) * 2014-08-12 2016-03-24 Kddi株式会社 難易度推定装置、問題生成装置、問題出題装置、難易度推定方法、問題生成方法、問題出題方法およびプログラム
CN106846975A (zh) * 2015-12-07 2017-06-13 刘满根 一种k12阶段数据处理及学生学习情况的智能诊断方法
CN107038508A (zh) * 2017-06-06 2017-08-11 海南大学 基于知识图谱的学习能力建模及动态自适应的目标驱动的学习点组织及执行路径推荐方法
CN107301165A (zh) * 2016-04-14 2017-10-27 科大讯飞股份有限公司 一种试题难度分析方法及系统
CN108389147A (zh) * 2018-02-26 2018-08-10 浙江创课教育科技有限公司 试题难度分级处理方法及系统
CN109255031A (zh) * 2018-09-20 2019-01-22 苏州友教习亦教育科技有限公司 基于知识图谱的数据处理方法
CN109857835A (zh) * 2018-12-28 2019-06-07 北京红山瑞达科技有限公司 一种基于认知诊断理论的自适应网络安全知识测评方法
CN109977291A (zh) * 2019-03-20 2019-07-05 武汉市软迅科技有限公司 基于物理知识图谱的检索方法、装置、设备及存储介质
CN110009957A (zh) * 2019-04-10 2019-07-12 上海乂学教育科技有限公司 自适应学习中数学大知识图谱测试系统及方法
CN110135754A (zh) * 2019-05-22 2019-08-16 安徽爱学堂教育科技有限公司 试题评估方法及装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090102059A (ko) * 2008-03-25 2009-09-30 한국청소년상담원 최적 자동화 문제 선정 방법
US20150100537A1 (en) * 2013-10-03 2015-04-09 Microsoft Corporation Emoji for Text Predictions
US10424030B2 (en) * 2015-06-05 2019-09-24 International Business Machines Corporation Evaluation of document difficulty
CN106407237B (zh) * 2015-08-03 2020-02-07 科大讯飞股份有限公司 在线学习试题推荐方法及系统
CN107506359B (zh) * 2016-06-14 2020-02-07 科大讯飞股份有限公司 试题高阶属性挖掘方法及系统
CN106682768B (zh) * 2016-12-08 2018-05-08 北京粉笔蓝天科技有限公司 一种答题分数的预测方法、系统、终端及服务器
CN108510816A (zh) * 2018-03-30 2018-09-07 重庆智考信息技术有限公司 在线学习系统及方法
CN110443427B (zh) * 2019-08-12 2023-11-07 浙江蓝鸽科技有限公司 基于认知知识谱的成绩预测方法及其系统
CN110765241B (zh) * 2019-11-01 2022-09-06 科大讯飞股份有限公司 推荐题的超纲检测方法、装置、电子设备和存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103208211A (zh) * 2012-01-13 2013-07-17 深圳市育才幻音信息技术有限公司 网络教育考试选题方法及装置
JP2016040580A (ja) * 2014-08-12 2016-03-24 Kddi株式会社 難易度推定装置、問題生成装置、問題出題装置、難易度推定方法、問題生成方法、問題出題方法およびプログラム
CN106846975A (zh) * 2015-12-07 2017-06-13 刘满根 一种k12阶段数据处理及学生学习情况的智能诊断方法
CN107301165A (zh) * 2016-04-14 2017-10-27 科大讯飞股份有限公司 一种试题难度分析方法及系统
CN107038508A (zh) * 2017-06-06 2017-08-11 海南大学 基于知识图谱的学习能力建模及动态自适应的目标驱动的学习点组织及执行路径推荐方法
CN108389147A (zh) * 2018-02-26 2018-08-10 浙江创课教育科技有限公司 试题难度分级处理方法及系统
CN109255031A (zh) * 2018-09-20 2019-01-22 苏州友教习亦教育科技有限公司 基于知识图谱的数据处理方法
CN109857835A (zh) * 2018-12-28 2019-06-07 北京红山瑞达科技有限公司 一种基于认知诊断理论的自适应网络安全知识测评方法
CN109977291A (zh) * 2019-03-20 2019-07-05 武汉市软迅科技有限公司 基于物理知识图谱的检索方法、装置、设备及存储介质
CN110009957A (zh) * 2019-04-10 2019-07-12 上海乂学教育科技有限公司 自适应学习中数学大知识图谱测试系统及方法
CN110135754A (zh) * 2019-05-22 2019-08-16 安徽爱学堂教育科技有限公司 试题评估方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于模糊规则的学习者认知水平估算方法;孙家振 等;《计算机应用研究》;20140418;第31卷(第09期);2652-2655 *

Also Published As

Publication number Publication date
CN111310463A (zh) 2020-06-19

Similar Documents

Publication Publication Date Title
CN111310463B (zh) 试题难度预估方法、装置、电子设备和存储介质
CN110096702B (zh) 一种主观题评分方法及装置
CN110427463B (zh) 搜索语句响应方法、装置及服务器和存储介质
US9959776B1 (en) System and method for automated scoring of texual responses to picture-based items
US9020805B2 (en) Context-based disambiguation of acronyms and abbreviations
Sunilkumar et al. A survey on semantic similarity
CN112667794A (zh) 一种基于孪生网络bert模型的智能问答匹配方法及系统
US20090198488A1 (en) System and method for analyzing communications using multi-placement hierarchical structures
US20080126319A1 (en) Automated short free-text scoring method and system
Sato et al. End-to-end argument generation system in debating
Rokade et al. Automated grading system using natural language processing
CN116227466B (zh) 一种语义不同措辞相似的句子生成方法、装置及设备
Pramukantoro et al. Comparative analysis of string similarity and corpus-based similarity for automatic essay scoring system on e-learning gamification
CN113342958A (zh) 问答匹配方法、文本匹配模型的训练方法和相关设备
Dumal et al. Adaptive and automated online assessment evaluation system
CN111813993A (zh) 视频内容的拓展方法、装置、终端设备及存储介质
CN110765241A (zh) 推荐题的超纲检测方法、装置、电子设备和存储介质
Alrehily et al. Intelligent electronic assessment for subjective exams
Rahman et al. An Automated Approach for Answer Script Evaluation Using Natural Language Processing
CN114491060B (zh) 动态联想知识网络的更新方法、语义纠错方法
Aliyanto et al. Supervised probabilistic latent semantic analysis (sPLSA) for estimating technology readiness level
Alobed et al. A comparative analysis of Euclidean, Jaccard and Cosine similarity measure and arabic wordnet for automated arabic essay scoring
Khandait et al. Automatic question generation through word vector synchronization using lamma
CN112989001A (zh) 一种问答处理方法、装置、介质及电子设备
Kumari et al. Automatic Subjective Answer Evaluation.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant