CN115984053A

CN115984053A - 试题推荐方法、装置、电子设备和存储介质

Info

Publication number: CN115984053A
Application number: CN202211712736.2A
Authority: CN
Inventors: 李睿琪; 沙晶; 王士进
Original assignee: iFlytek Co Ltd
Current assignee: iFlytek Co Ltd
Priority date: 2022-12-29
Filing date: 2022-12-29
Publication date: 2023-04-18

Abstract

本发明提供一种试题推荐方法、装置、电子设备和存储介质，其中方法包括：构建知识体系，基于知识体系下各知识点的知识点信息，以及各知识点关联试题的试题信息，对各知识点进行聚合，得到多个知识点簇；基于历史作答信息以及任一试题的试题信息，进行得分预测，得到该试题的预测得分，基于该试题对应知识点簇下多个试题的预测得分，确定该试题对应知识点簇的掌握度；基于各试题的预测得分以及各试题对应知识点簇的掌握度，进行试题推荐，克服了传统方案中薄弱点诊断的有效性待定，推荐试题的知识覆盖面不足，学习效率低下的缺陷，实现了薄弱知识点的全面诊断，以及关联知识点的全方位掌握，提升了知识点簇的学习效率，拓宽了所学知识点的覆盖面。

Description

试题推荐方法、装置、电子设备和存储介质

技术领域

本发明涉及信息处理技术领域，尤其涉及一种试题推荐方法、装置、电子设备和存储介质。

背景技术

近年来，随着学生学习的线上迁移，其对于学生类电子设备的使用频率和使用需求在逐步提升，此种情况下，为保证学生良好的学习状况，提升其学习效率，电子设备可以为其进行试题推荐。

目前，学习类电子设备的试题推荐是基于其内置的试题推荐方案进行的，而该试题推荐方案多依赖于人工，即由人工制作讲义，并由教研专家标注从习题库中整理合适的配套习题，由于学生使用电子设备学习的时间有限，因而在学习过程中设置测评环节，以根据测评环节的答题表现，推荐答错测评题对应知识点的配套习题供学生学习。

然而，上述方案过于依赖专家水平/经验，推广性和延续性较差；并且，测评环节诊断薄弱点时难以规避偶然性，薄弱点的真实性有待商榷。此外，仅基于诊断的薄弱点进行试题练习，易导致所学知识点相对于完备知识体系的覆盖度不足，学习难度加大，学习效率不佳。

发明内容

本发明提供一种试题推荐方法、装置、电子设备和存储介质，用以解决现有技术中薄弱点诊断的有效性待定，推荐试题的知识覆盖面不足，学习效率低下的缺陷，提升了知识点簇的学习效果，保证有限时间内的最大学习效率。

本发明提供一种试题推荐方法，包括：

构建知识体系，所述知识体系下包括多个试题、多个知识点，以及各试题与各知识点之间的关联关系；

基于所述知识体系下各知识点的知识点信息，以及所述各知识点关联试题的试题信息，对所述各知识点进行聚合，得到多个知识点簇；

基于历史作答信息，以及任一试题的试题信息，进行得分预测，得到所述任一试题的预测得分，基于所述任一试题对应知识点簇下多个试题的预测得分，确定所述任一试题对应知识点簇的掌握度；

基于所述各试题的预测得分，以及所述各试题对应知识点簇的掌握度，进行试题推荐。

根据本发明提供的一种试题推荐方法，所述基于所述各试题的预测得分，以及所述各试题对应知识点簇的掌握度，进行试题推荐，包括：

基于所述各试题的预测得分，以及所述各试题对应知识点簇的掌握度，确定练习所述各试题对于掌握对应知识点簇的预测增益；

基于所述各试题的预测增益，进行试题推荐。

根据本发明提供的一种试题推荐方法，所述基于所述各试题的预测得分，以及所述各试题对应知识点簇的掌握度，确定练习所述各试题对于掌握对应知识点簇的预测增益，包括：

基于所述各试题的预测得分，确定所述各试题的作答正确率；

基于所述各试题对应知识点簇下多个试题的预测得分，确定所述各试题作答正确情况下所述各试题对应知识点簇的第一掌握度，以及所述各试题作答错误情况下所述各试题对应知识点簇的第二掌握度；

基于所述各试题的作答正确率，以及所述第一掌握度和所述第二掌握度，确定练习所述各试题对于掌握对应知识点簇的预测增益。

根据本发明提供的一种试题推荐方法，所述基于历史作答信息，以及任一试题的试题信息，进行得分预测，得到所述任一试题的预测得分，包括：

分别对任一试题的试题信息和试题难度进行特征编码，基于编码所得的试题文本特征和试题难度特征，确定所述任一试题的试题特征；

分别对所述历史作答信息中各作答试题的试题信息、作答信息和试题难度，以及所述各作答试题关联知识点的知识点信息和知识点难度进行特征编码，基于编码所得的各项作答特征确定历史作答特征；

基于所述各作答试题的历史作答特征，与所述任一试题的试题文本特征之间的相关性，对所述各作答试题的历史作答特征和所述任一试题的试题文本特征进行融合，得到学生作答特征，基于所述学生作答特征，以及所述任一试题的试题特征，进行得分预测，得到所述任一试题的预测得分。

根据本发明提供的一种试题推荐方法，所述基于所述知识体系下各知识点的知识点信息，以及所述各知识点关联试题的试题信息，对所述各知识点进行聚合，得到多个知识点簇，包括：

基于所述知识体系下各知识点的知识点信息，以及所述各知识点关联试题的试题信息，进行知识点对齐，得到所述各知识点中两两知识点之间的相似度；

基于所述各知识点中两两知识点之间的相似度，以及预设相似度阈值，对所述各知识点进行聚合，得到粒度不同的多个知识点簇。

根据本发明提供的一种试题推荐方法，所述基于所述知识体系下各知识点的知识点信息，以及所述各知识点关联试题的试题信息，进行知识点对齐，得到所述各知识点中两两知识点之间的相似度，包括：

分别对所述各知识点的知识点信息和知识点属性，以及所述各知识点关联试题的试题信息进行特征编码，得到所述各知识点的知识点文本特征和知识点属性特征，以及关联试题的试题文本特征；

基于所述各知识点中两两知识点分别对应的知识点文本特征和知识点属性特征，以及各自关联试题的试题文本特征，进行特征匹配，得到两两知识点的知识点匹配特征、属性匹配特征和试题匹配特征；

基于两两知识点的知识点匹配特征、属性匹配特征和试题匹配特征，进行知识点对齐，得到所述各知识点中两两知识点之间的相似度。

根据本发明提供的一种试题推荐方法，所述基于两两知识点的知识点匹配特征、属性匹配特征和试题匹配特征，进行知识点对齐，得到所述各知识点中两两知识点之间的相似度，包括：

在所述两两知识点的属性匹配特征有多个情况下，基于各属性匹配特征之间的相关性，确定所述各属性匹配特征的权重；

基于所述各属性匹配特征的权重，以及所述各属性匹配特征，确定各加权属性匹配特征；

基于所述两两知识点的知识点匹配特征、各加权属性匹配特征和试题匹配特征，进行知识点对齐，得到所述两两知识点之间的相似度。

根据本发明提供的一种试题推荐方法，所述构建知识体系，包括：

确定试题库，所述试题库中包括多个候选试题及其试题信息；

将各候选试题的试题信息输入至知识点预测模型，得到所述知识点预测模型输出的所述各候选试题与各知识点之间的关联关系，以及关联置信度，所述知识点预测模型基于样本试题，以及所述样本试题与各知识点之间的关联关系训练得到；

基于所述关联置信度，和/或所述各候选试题的试题信息，对所述各候选试题进行过滤，基于过滤所得的各试题、各知识点，以及所述各试题与知识点之间的关联关系，构建知识体系。

本发明还提供一种试题推荐装置，包括：

构建单元，用于构建知识体系，所述知识体系下包括多个试题、多个知识点，以及各试题与各知识点之间的关联关系；

聚合单元，用于基于所述知识体系下各知识点的知识点信息，以及所述各知识点关联试题的试题信息，对所述各知识点进行聚合，得到多个知识点簇；

预测单元，用于基于历史作答信息，以及任一试题的试题信息，进行得分预测，得到所述任一试题的预测得分，基于所述任一试题对应知识点簇下多个试题的预测得分，确定所述任一试题对应知识点簇的掌握度；

推荐单元，用于基于所述各试题的预测得分，以及所述各试题对应知识点簇的掌握度，进行试题推荐。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述的试题推荐方法。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述的试题推荐方法。

本发明提供的试题推荐方法、装置、电子设备和存储介质，将构建的知识体系中的相似知识点聚合成簇，得到多个不同粒度的知识点簇，并在知识点簇粒度遍历试题，以根据试题的预测得分计算知识点簇的掌握度，据此两者进行试题推荐，克服了传统试题推荐方案中薄弱点诊断的有效性待定，推荐试题的知识覆盖面不足，学习效率低下的缺陷，实现了薄弱知识点的全面诊断，以及关联知识点的全方位掌握，提升了知识点簇的学习效果，以及所学知识点的覆盖度，通过精准学习薄弱项，减少无效练习，保证学生在使用电子设备的有限时间内的最大学习效率。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的试题推荐方法的流程示意图；

图2是本发明提供的试题推荐方法中步骤140的流程示意图；

图3是本发明提供的试题推荐方法中步骤141的流程示意图；

图4是本发明提供的得分预测过程的流程示意图；

图5是本发明提供的得分预测过程的框架示意图；

图6是本发明提供的试题推荐方法中步骤120的流程示意图；

图7是本发明提供的试题推荐方法中步骤121的流程示意图；

图8是本发明提供的试题推荐方法中步骤121-3的流程示意图；

图9是本发明提供的知识融合过程的框架示意图；

图10是本发明提供的试题推荐方法中步骤110的流程示意图；

图11是本发明提供的知识点预测模型的框架示意图；

图12是本发明提供的试题推荐装置的结构示意图；

图13是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

随着学生学习和家长办公的线上迁移，学生的网络课程和家长的居家办公都进一步激活了家庭对电子设备的使用需求，此种环境下，家长和学生极易在电子设备的使用上发生冲突，从而导致家庭对于学习类电子设备的购置率提升。

目前，学习类电子设备的试题推荐依赖于其内置的知识图谱，以及试题推荐方案，其知识图谱多为人工制作讲义，知识点与试题的关联则需由教研专家标注完成，教研专家还需根据教学经验，从习题库中整理合适的配套习题，以供学习练习。又由于学生使用电子设备的时长有限，因此在学习过程中往往设置有测评环节，根据测评环节下学生的答题表现，推荐答错测评题对应知识点的配套习题供学生学习。

然而，上述方案对于教研专家的专业水平和教学经验的依赖度过高，成本高昂、波动幅度大，推广性和延续性较差；并且，测评环节通过测评题作答正误诊断薄弱点的方法过于简单，学生作答测评题时的偶然性难以规避，因此，诊断的薄弱点的真实性有待商榷。

此外，学生仅基于诊断的薄弱点进行练习，极易导致学生所学的知识点相对于完备知识体系的覆盖度不足，并且此种练习忽略了不同知识点之间的相互依赖关系，在知识体系上学习路径的可解释性较差，增大了学生的学习难度，降低了学生的参与程度，以致学习效率不佳。

对此，本发明提供一种试题推荐方法，旨在将构建的完备的知识体系中的相似知识点聚合成簇，得到多个不同粒度的知识点簇，并在知识点簇粒度遍历试题，以根据试题的预测得分计算知识点簇的掌握度，据此两者进行试题推荐，实现了薄弱知识点的全面诊断，以及关联知识点的全方位掌握，提升了知识点簇的学习效果，以及所学知识点的覆盖度，保证有限时间内的最大学习效率。

图1是本发明提供的试题推荐方法的流程示意图，如图1所示，该方法应用于学习类电子设备，例如，新一代的人工智能学习机、家教机等。区别于传统的电子设备，该学习机或家教机融入了人工智能和大数据技术，可以基于预置的知识图谱和累积的历史作答信息，为每个学生打造适配于自身的学习方案，能够全面检测学生的薄弱点，从而精准学习薄弱项，减少无效练习，提高学习效率。该方法包括：

步骤110，构建知识体系，知识体系下包括多个试题、多个知识点，以及各试题与各知识点之间的关联关系；

具体地，由于试题推荐是在完备知识体系的基础上进行的，因此，本发明实施例中，在进行试题推荐之前，首先需构建完备的知识体系，该知识体系下需要包括多个试题、多个知识点，以及各试题与各知识点之间的关联关系，简而言之，构建得到的知识体系下包含有多个试题，以及各试题关联的知识点。

此处，知识体系的构建可以是在多种教育场景下的基础知识体系的基础上进行的，即可以先将多种教育场景(如在线教育场景、线下教学场景等)预置的基础知识体系作为标注数据，以提供基础知识体系下知识点和少量试题之间的关联关系，使自然语言处理模型能够学习这一关联关系，从而可以在应用过程中凭借此关系，对预先确定的试题库中大量的候选试题进行知识点预测，从而得到各候选试题与各知识点之间的关联关系，以此即可构建得到知识体系。

进一步地，在通过试题库中的候选试题构建知识体系时，考虑到部分候选试题的试题信息并不完备，例如，题面、选项、答案、解析等文本信息的质量较差(信息缺失、信息模糊等)，和/或，部分候选试题与知识点之间的关联关系较弱，即关联置信度较低，因此，可以对此部分候选试题进行过滤，即滤除低关联置信度、题面、选项、答案、解析等文本信息的质量较差的候选试题，以保证知识体系下试题的清楚完备和关联关系的稳定，提升了构建得到的知识体系的质量。

步骤120，基于知识体系下各知识点的知识点信息，以及各知识点关联试题的试题信息，对各知识点进行聚合，得到多个知识点簇；

具体地，在构建得到知识体系之后，即可执行步骤120，根据知识体系下各知识点的知识点信息，以及各知识点关联试题的试题信息，对各知识点进行聚合，从而得到多个知识点簇，具体过程包括：

此处，可以使用知识融合算法，依据知识体系下各知识点的知识点信息，以及各知识点关联试题的试题信息，获知知识点间的相似度，以将相似知识点聚合成簇，从而得到多个不同粒度的知识点簇，此处，知识融合过程实质上是实体间的对齐，即在各知识点的知识点信息，以及各知识点关联试题的试题信息的基础上，通过实体对齐算法，计算知识点两两之间的相似度，对相似知识点进行聚合，从而获得细粒度知识点簇和粗粒度知识点簇并存的多层级知识体系。

具体而言，本发明实施例中首先可以基于完备的知识体系，使用基于文本匹配的实体对齐模型，获取知识点两两之间的相似度，然后参照相似度对知识体系下的各知识点进行聚合，从而得到由相似知识点聚合成的知识点簇，此处得到的多个知识点簇亦可称之为片状图谱。

进一步地，考虑到各教育场景的基础知识体系间的一致性较低，且同一知识点的具体描述、配套试题、标称属性等差异均较大，因而在对在线教育场景、线下教学场景等多来源知识点进行实体对齐时，针对于各知识点的聚合，既要关注不同来源的相同知识点，也要关注同一来源的相近知识点，如此即可保证聚合所得的知识点簇的准确性。

本发明实施例中，通过知识融合可以获得细粒度知识点簇和粗粒度知识点簇并存的多层级知识体系，较之原始的知识体系，聚合了关联知识点，强化了知识点之间的相互依赖关系，规避了学生对于相似知识点的重复学习，能够在相同时间内接触更多的差异知识点，拓宽了知识点学习的覆盖面，为学习效率的提升提供了关键性的助力。

步骤130，基于历史作答信息，以及任一试题的试题信息，进行得分预测，得到该试题的预测得分，基于该试题对应知识点簇下多个试题的预测得分，确定该试题对应知识点簇的掌握度；

具体地，在得到多层级知识体系之后，即可在此多层级知识体系的基础上，结合学生的历史作答信息，进行试题的得分预测，以及对应知识点簇的掌握度的求解，这一过程具体包括如下步骤：

此处，可以先利用学生的历史作答信息建模学生表征，再在此基础上，利用多层级知识体系下试题的试题信息，进行得分预测，通过学生在不同试题上的预测得分，计算学生对于此部分试题对应知识点簇的掌握程度，以备后续基于此的试题推荐。

具体而言，首先可以依据历史作答信息，以及多层级知识体系下任一试题的试题信息，进行得分预测，以得到该试题的预测得分，具体可以是，通过学生的历史作答信息中各作答试题的试题信息、作答信息、各作答试题关联知识点的知识点信息等，建模学生表征；然后据此学生表征以及该试题的试题信息，对学生对于该试题的得分进行预测，从而得到学生对于该试题的预测得分；

随即，可以根据该试题对应知识点簇下多个试题的预测得分，确定该试题对应知识点簇的掌握度，具体可以是，先根据试题来源，将知识点簇关联的试题分为两类：分别为真题(历年真题、联考试题等大规模标准化考试题)和非真题(除真题外的试题)；再从知识点簇关联的试题中随机选取若干道真题，并在真题题型、真题难度等的基础上，结合学生在这若干道真题上的预测得分，计算该试题对应知识点簇的掌握度，此处可以通过加权求平均的方式计算得到学生对于该知识点簇的掌握度，以备后续基于此的试题推荐。

本发明实施例中，基于历史作答信息和试题信息的得分预测，以及基于多个试题预测得分的知识点簇的掌握度计算，实现了薄弱知识点的全面诊断，保证了薄弱知识点的真实性，为后续基于预测得分和知识点掌握度的试题推荐提供了数据支撑。

步骤140，基于各试题的预测得分，以及各试题对应知识点簇的掌握度，进行试题推荐。

具体地，经过上述步骤得到各试题的预测得分，以及各试题对应知识点簇的掌握度后，即可据此两者进行试题推荐，具体过程包括：

首先，可以依据各试题的预测得分，以及各试题对应知识点簇的掌握度，诊断薄弱点，以全方位了解学生对于知识点学习的薄弱项，即以各试题的预测得分，以及各试题对应知识点簇的掌握度为参考，进行薄弱点的诊断，从而得到学生对于知识点学习的薄弱项；

接着，可以以此知识点学习的薄弱项为基准，参照多层级知识体系下各知识点簇所体现的知识点间的相互依赖关系，进行试题推荐，即依据知识点间的相互依赖关系，从各试题中选取对应于薄弱项的试题，作为推荐试题并向学生推荐，如此即可保证推荐试题对应知识点间的非独立性可以有效的针对于知识点簇进行学习，保证了知识点簇的学习效率，提升了所学知识的覆盖度。

或者，根据各试题的预测得分，以及各试题对应知识点簇的掌握度，进行增益预测，以得到各试题的预测增益，即在知识点簇粒度遍历试题，通过试题的预测得分和试题对应知识点簇的掌握度，预测学生学习各试题的增益，从而得到各试题的预测增益；

然后，利用各试题的预测增益，在多层级知识体系下的试题中进行试题推荐，即可以在各试题的预测增益的基础上，根据增益最大化原则，从多层级知识体系下的试题中选取推荐试题，以向学生推荐。

此后，即可根据筛选得到推荐试题，制定个性化的试题练习策略，并引导学生按照此策略进行试题练习，具体可以是，根据选取出的推荐试题的试题数目、试题类型、试题难度等，为学生制定适配于自身学情的试题练习方案，对此方案进行展示和推送，以引导学生照此方案进行试题练习和观看配套的讲解视频。

本发明实施例中，通过各试题的预测得分，以及各试题对应知识点簇的掌握度，进行试题推荐，避免了推荐试题的知识点覆盖面不足的问题，能使学生在有限时间内接触更多的知识点簇，涉及更多的差异知识点，提升了知识点簇的学习效率，拓宽了所学知识点的覆盖面。

本发明提供的试题推荐方法，将构建的知识体系中的相似知识点聚合成簇，得到多个不同粒度的知识点簇，并在知识点簇粒度遍历试题，以根据试题的预测得分计算知识点簇的掌握度，据此两者进行试题推荐，克服了传统试题推荐方案中薄弱点诊断的有效性待定，推荐试题的知识覆盖面不足，学习效率低下的缺陷，实现了薄弱知识点的全面诊断，以及关联知识点的全方位掌握，提升了知识点簇的学习效果，以及所学知识点的覆盖度，通过精准学习薄弱项，减少无效练习，保证学生在使用电子设备的有限时间内的最大学习效率。

基于上述实施例，图2是本发明提供的试题推荐方法中步骤140的流程示意图。如图2所示，步骤140包括：

步骤141，基于各试题的预测得分，以及各试题对应知识点簇的掌握度，确定练习各试题对于掌握对应知识点簇的预测增益；

步骤142，基于各试题的预测增益，进行试题推荐。

具体地，步骤140中，依据各试题的预测得分，以及各试题对应知识点簇的掌握度，进行试题推荐的过程，具体包括如下步骤：

步骤141，首先可以利用各试题的预测得分，以及各试题对应知识点簇的掌握度，进行增益预测，以得到各试题的预测增益，具体可以是，在知识点簇粒度遍历试题，通过深度学习算法，结合各试题的预测得分和各试题对应知识点簇的掌握度，预测学习各试题的收益，从而得到各试题的学习收益，此处的学习收益可以理解为预测的学生练习各试题对于掌握试题对应知识点簇的增益；

步骤142，随即可以利用各试题的预测增益，进行试题推荐，即可以参照各试题的预测增益，在多层级知识体系下的试题中确定推荐试题，以向学生推荐，具体可以是，以增益最大化原则为基准，从各试题的预测增益中选取出最大预测增益，并将最大预测增益对应的试题作为推荐试题，向学生推荐；或者，可以将最大预测增益对应的试题，以及该试题所属知识点簇下知识点相似度较高的其他试题，一同作为推荐试题以向学生推荐；又或者，可以对各试题的预测增益进行排序，从序列中按照预测增益从高到低的顺序选取多个预测增益，并将此多个预测增益对应的试题作为推荐试题，向学生推荐。

本发明实施例中，通过遍历知识点簇关联的试题，根据各试题的预测得分，以及各试题对应知识点簇的掌握度，计算学习各试题的预测增益，并根据增益最大化原则进行试题推荐，避免了学生在冗余试题上的重复无效练习，提升了知识点簇的触及率，以及所涉的知识点间的差异度，保证了知识点簇的学习效率和所学知识点的覆盖深广度。

基于上述实施例，图3是本发明提供的试题推荐方法中步骤141的流程示意图，如图3所示，步骤141包括：

步骤141-1，基于各试题的预测得分，确定各试题的作答正确率；

步骤141-2，基于各试题对应知识点簇下多个试题的预测得分，确定各试题作答正确情况下各试题对应知识点簇的第一掌握度，以及各试题作答错误情况下各试题对应知识点簇的第二掌握度；

步骤141-3，基于各试题的作答正确率，以及第一掌握度和第二掌握度，确定练习各试题对于掌握对应知识点簇的预测增益。

具体地，步骤141，根据各试题的预测得分，以及各试题对应知识点簇的掌握度，确定各试题的预测增益的过程，具体可以包括：

步骤141-1，首先可以依据各试题的预测得分，确定各试题的作答正确率，具体可以是，根据学生对于各道试题的预测得分，预估学生对于对应试题答对答错的概率，即答题正确率，此处可以是借助分数阈值评估答题正确率，即根据预测得分和分数阈值之间的大小、分差值、差值百分比等，评估各试题的作答正确率；

步骤141-2，随即可以利用各试题对应知识点簇下多个试题的预测得分，分别计算各试题作答正确和作答错误情况下，学生对于该试题对应知识点簇的掌握度，具体可以是，假设某一试题的作答正确，则依据该试题对应知识点簇下多个试题的预测得分，计算该试题对应知识点簇的掌握度，此处，将这一情况下的掌握度称为第一掌握度；同理，假设某一试题的作答错误，则依据该试题对应知识点簇下多个试题的预测得分，计算对应知识点簇的掌握度，即第二掌握度；

步骤141-3，此后即可依据各试题的作答正确率，以及各试题作答正确和作答错误情况下学生对于各试题对应知识点簇的掌握度，计算学习各试题的增益，即以各试题的作答正确率，以及第一掌握度和第二掌握度为基准，预测学生学习各试题的收益，从而得到练习各试题对于掌握对应知识点簇的预测增益。

基于上述实施例，预测增益的计算公式可以表示为：

Y＝P*M₊+(1-P)*M_-

式中，Y表示预测增益，P表示对应试题的作答正确率，M₊和M_-分别表示作答正确和作答错误情况下学生对于该试题对应知识点簇的掌握度。

基于上述实施例，图4是本发明提供的得分预测过程的流程示意图，如图4所示，步骤130中，基于历史作答信息，以及任一试题的试题信息，进行得分预测，得到该试题的预测得分，包括：

步骤410，分别对任一试题的试题信息和试题难度进行特征编码，基于编码所得的试题文本特征和试题难度特征，确定该试题的试题特征；

步骤420，分别对历史作答信息中各作答试题的试题信息、作答信息和试题难度，以及各作答试题关联知识点的知识点信息和知识点难度进行特征编码，基于编码所得的各项作答特征确定历史作答特征；

步骤430，基于各作答试题的历史作答特征，与该试题的试题文本特征之间的相关性，对各作答试题的历史作答特征和该试题的试题文本特征进行融合，得到学生作答特征，基于学生作答特征，以及该试题的试题特征，进行得分预测，得到该试题的预测得分。

具体地，步骤130中，根据历史作答信息，以及任一试题的试题信息进行得分预测，以得到该试题的预测得分的过程，具体可以包括：

步骤410，首先需分别对任一试题的试题信息和试题难度进行特征编码，通过特征编码提取试题信息中与试题有关的文本信息(如题面、选项、答案、解析等)，提取试题难度中表征试题难易等级/程度的信息，分别得到该试题的试题文本特征和试题难度特征；

值得注意的是，此处为推进试题推荐进程，缩减运算时间，此处的试题文本特征可以直接应用知识融合过程中提取得到的对应试题的试题文本特征，如此即可避免针对于同一试题信息的重复编码，保证了试题推荐效率。

接着，可以通过试题文本特征和试题难度特征，确定该试题的试题特征，具体可以是，以该试题的试题文本特征和试题难度特征为基准，进行特征融合，从而得到该试题的试题特征，此处特征融合的方式可以是级联、拼接、加权融合等。

步骤420，同时可以利用学生的历史作答信息建模历史作答表征，具体可以是，分别对历史作答信息中各作答试题的试题信息、作答信息和试题难度，以及各作答试题关联知识点的知识点信息和知识点难度进行特征编码，通过特征编码提取试题有关的文本信息、答题信息(如答题得分、答题正确率等)、试题难易等级/程度信息、知识点有关的文本信息、知识点难以等级/程度信息，从而得到各项作答特征；

由于知识点本身是固定的，因此，此处在针对知识点信息进行特征编码所得的知识点文本特征，同样可以直接应用知识融合过程中提取得到的对应知识点的知识点文本特征，如此即可避免针对于同一至知识点信息的重复编码，提升了试题推荐效率。

然后，可根据编码所得的各作答试题对应的各项作答特征，确定学生对于各道作答试题的历史作答特征，具体可以是，对每一作答试题的各项作答特征进行融合，从而得到各作答试题的历史作答特征，此处特征融合的方式可以是级联、拼接、加权融合等。

步骤430，随后可以利用各作答试题的历史作答特征和该试题的试题文本特征之间的相关性，进行特征融合，得到学生作答特征(学生表征)，具体可以是，由于实际使用中预测得分需要实时计算，因此出于计算效率的考量，此处可以引入Bi-LSTM(Bi-directional Long Short-Term Memory，双向长短期记忆)模型，以各作答试题的历史作答特征为输入，使用该模型Last hidden states的输出作为中间结果，在此基础上，结合注意力机制(Attention)融合试题文本特征，从而建模得到学生表征(历史作答特征)；

此后，即可利用学生作答特征，以及该试题的试题特征，进行得分预测，以得到该试题的预测得分，具体可以是，在学生作答特征的基础上，结合该试题的试题特征，预测学生在该试题上答题得分，从而得到学生对于该试题的预测得分。

基于上述实施例，图5是本发明提供的得分预测过程的框架示意图，如图5所示，考虑到电子设备在线实时计算的效率要求，本发明实施例中，在进行得分预测时，可以引入双层Bi-LSTM模型和注意力机制Attention，复用知识融合过程提取的知识点文本特征、试题文本特征，并基于学生的历史作答信息，建模计算学生对于某道试题的预测得分。其中，模型以各作答试题的历史作答特征为输入，使用该模型Last hidden states的输出作为中间结果，在此基础上Attention融合试题文本特征，从而建模得到学生表征。

基于上述实施例，图6是本发明提供的试题推荐方法中步骤120的流程示意图，如图6所示，步骤120包括：

步骤121，基于知识体系下各知识点的知识点信息，以及各知识点关联试题的试题信息，进行知识点对齐，得到各知识点中两两知识点之间的相似度；

步骤122，基于各知识点中两两知识点之间的相似度，以及预设相似度阈值，对各知识点进行聚合，得到粒度不同的多个知识点簇。

具体地，步骤120中，依据知识体系下各知识点的知识点信息，以及各知识点关联试题的试题信息，对各知识点进行聚合，从而得到多个知识点簇的过程，具体包括以下步骤：

步骤121，首先可以以各知识点的知识点信息，以及各知识点关联试题的试题信息为基准，进行知识点对齐，具体可以是，在各知识点的知识点信息，以及各知识点关联试题的试题信息的基础上，使用基于文本匹配的实体对齐模型，以获取知识点两两之间的相似度，从而得到模型输出的各知识点中两两知识点之间的相似度；

步骤122，随即可以利用两两知识点之间的相似度，以及预设相似度阈值，对各知识点进行聚合，从而得到粒度不同的多个知识点簇，具体可以是，参照两两知识点之间的相似度，通过预设相似度阈值进行知识点聚合，以将相似知识点聚合成簇，从而得到多个不同粒度的知识点簇，此处得到的多个知识点簇亦可以称之为片状图谱，；简而言之，通过基于文本匹配的知识融合，可以在知识体系的基础上建设得到细粒度知识点簇和粗粒度知识点簇并存的多层级知识体系。

值得注意的是，本发明实施例中知识融合过程中除了重点关注行知识点对齐，即既关注不同来源的相同知识点，也关注同一来源的相近知识点之外，还可以进行试题对齐、知识点属性对齐、属性值对齐等，重点关注知识点之间的对齐。

基于上述实施例，图7是本发明提供的试题推荐方法中步骤121的流程示意图，如图7所示，步骤121包括：

步骤121-1，分别对各知识点的知识点信息和知识点属性，以及各知识点关联试题的试题信息进行特征编码，得到各知识点的知识点文本特征和知识点属性特征，以及关联试题的试题文本特征；

步骤121-2，基于各知识点中两两知识点分别对应的知识点文本特征和知识点属性特征，以及各自关联试题的试题文本特征，进行特征匹配，得到两两知识点的知识点匹配特征、属性匹配特征和试题匹配特征；

步骤121-3，基于两两知识点的知识点匹配特征、属性匹配特征和试题匹配特征，进行知识点对齐，得到各知识点中两两知识点之间的相似度。

具体地，步骤121中，利用各知识点的知识点信息，以及各知识点关联试题的试题信息，进行知识点对齐，从而得到两两知识点之间的相似度的过程，具体可以包括以下步骤：

步骤121-1，首先可以对各知识点的知识点信息和知识点属性，以及各知识点关联试题的试题信息，分别进行特征编码，通过特征编码提取知识点有关的文本信息(如知识点名称)、知识点的属性名+SEP+属性值(如知识点所属教材版本、章节等属性信息)、试题有关的文本信息(如题面、选项、答案、解析等)，从而得到各知识点的知识点文本特征和知识点属性特征，以及关联试题的试题文本特征；

具体而言，此处的特征编码可以使用基于文本匹配的实体对齐模型中的Transformer Encoder完成，图8是本发明提供的实体对齐模型的框架示意图，如图8所示，编码器的输入为各知识点的知识点信息和知识点属性，输出为各知识点的知识点文本特征和知识点属性特征，以及关联试题的试题文本特征。此处，特征编码均通过TransformerEncoder取CLS token(Class Token)作为对应信息的特征。

步骤121-2，接着可以利用各知识点中两两知识点各自对应的知识点文本特征和知识点属性特征，以及关联试题的试题文本特征，进行特征匹配，从而得到两两知识点的知识点匹配特征、属性匹配特征和试题匹配特征，即在两两知识点分别对应的各项特征的基础上，在知识点层面、知识点属性层面和试题层面，分别进行特征匹配，以计算两两知识点在各个层面的交互特征，从而得到两两知识点的知识点匹配特征、属性匹配特征和试题匹配特征；

步骤121-3，此后即可依据两两知识点的知识点匹配特征、属性匹配特征和试题匹配特征，进行知识点对齐，得到各知识点中两两知识点之间的相似度，具体可以是，先对两两知识点的知识点匹配特征、属性匹配特征和试题匹配特征进行融合，从而得到融合特征，然后可将融合特征输入至MLP(Multilayer Perceptron，多层感知机)，最后通过Softmax即可得到两两知识点之间的相似度。

基于上述实施例，图9是本发明提供的试题推荐方法中步骤121-3的流程示意图，如图9所示，步骤121-3包括：

步骤121-31，在两两知识点的属性匹配特征有多个情况下，基于各属性匹配特征之间的相关性，确定各属性匹配特征的权重；

步骤121-32，基于各属性匹配特征的权重，以及各属性匹配特征，确定各加权属性匹配特征；

步骤121-33，基于两两知识点的知识点匹配特征、各加权属性匹配特征和试题匹配特征，进行知识点对齐，得到两两知识点之间的相似度。

具体地，步骤121-3中，依据两两知识点的知识点匹配特征、属性匹配特征和试题匹配特征，进行知识点对齐，以得到各知识点中两两知识点之间的相似度的过程，具体包括以下步骤：

步骤121-31，首先在两两知识点的匹配属性特征有多个情况下，可以利用各个匹配属性特征之间的相关性，求得各匹配属性特征的权重，具体可以是，此处通过MaskedMulti-Head Attention，自动学习知识点的关键属性，简而言之，掩码多头注意力机制可以通过各个属性匹配特征，计算得到各个属性匹配特征的权重；

步骤121-32，随即利用各属性匹配特征的权重，以及各属性匹配特征，确定各加权属性匹配特征，即在各属性匹配特征的权重，以及各属性匹配特征的基础上，通过加权的方式求得各加权属性匹配特征；而因为可能存在多个关键属性，因而保留多个加权结果(Multi-Head)；通过Mask可将空属性值的权重设置为0；

步骤121-33，此后即可利用两两知识点的知识点匹配特征、各加权属性匹配特征和试题匹配特征，进行知识点对齐，以得到两两知识点之间的相似度，具体可以是，先对两两知识点的知识点匹配特征、各加权属性匹配特征和试题匹配特征进行融合，从而得到融合特征，然后可将融合特征输入至MLP，最后通过Softmax即可得到两两知识点之间的相似度；此处特征融合的方式可以是级联、拼接、加权融合等；而作为优选，本发明实施例中将融合方式确定为拼接。

基于上述实施例，图10是本发明提供的试题推荐方法中步骤110的流程示意图，如图10所示，步骤110包括：

步骤111，确定试题库，试题库中包括多个候选试题及其试题信息；

步骤112，将各候选试题的试题信息输入至知识点预测模型，得到知识点预测模型输出的各候选试题与各知识点之间的关联关系，以及关联置信度，知识点预测模型基于样本试题，以及样本试题与各知识点之间的关联关系训练得到；

步骤113，基于关联置信度，和/或各候选试题的试题信息，对各候选试题进行过滤，基于过滤所得的各试题、各知识点，以及各试题与知识点之间的关联关系，构建知识体系。

具体地，步骤110，构建完备的知识体系的过程，具体可以包括：

考虑到当下学习类电子设备内置的知识体系的建设，高度依赖于教研专家的专业水平和教学经验，构建的成本高昂、波动幅度较大；并且，缺乏延续性，不利于大规模推广，以及版本迭代与功能演进。

鉴于此，本发明实施例中，使用自然语言处理模型，学习人工标注的知识点与部分试题之间的关联关系，从而应用训练好的知识点预测模型，对试题库中的海量候选试题进行知识点预测，从而得到各候选试题关联的知识点，以建设得到完备的知识体系。

具体而言，首先需确定试题库，该试题库中包含有多个候选试题，以及各候选试题的试题信息，接着可以应用训练好的知识点预测模型，通过各候选试题的试题信息，对各候选试题进行知识点预测，从而得到各候选试题与各知识点之间的关联关系，以及关联置信度，即可以将各候选试题的试题信息输入至知识点预测模型，知识点预测模型可根据输入的试题信息，对各候选试题进行知识点预测，并输出各候选试题与各知识点之间的关联关系，以及关联置信度。

图11是本发明提供的知识点预测模型的框架示意图，如图11所示，在通过知识点预测模型进行知识点预测时，可以以候选试题的试题信息中的体面、选项、答案和解析作为输入，通过特征捕捉可以进行知识点预测，从而输出各候选试题关联的知识点，以及关联置信度。

而在将各候选试题的试题信息输入至知识点预测模型之前，还可以将人工标注的样本试题与各知识点之间的关联关系作为标注数据，预先训练得到知识点预测模型。模型训练过程包括：首先，收集样本试题，并标注其与各知识点之间的关联关系，此处标注数据可以来源于多种教育场景(如在线教育场景、线下教学场景等)预置的基础知识体系；随即，可以基于样本试题，以及样本试题与各知识点之间的关联关系，对初始预测模型进行训练，从而得到训练完成的知识点预测模型。此处的初始预测模型是在自然语言处理模型的基础上构建的。

这一过程中，模型尝试了RoBERTa(ARobustly Optimized BERT)、BERT(Bidirectional Encoder Representation from Transformers)、RoBERTa-large三种，由于BERT的每一层能够捕捉到不同的特征，尝试不同层输出的结果，如图11所示，包括只取最后一层CLS token，取首尾两层CLS token做均值池化(mean pooling)，取最后四层CLStoken做最大池化(max pooling)等方法，最终权衡精度和效率，取RoBERTa接最后一层CLStoken(Last Layer CLS)的方法，作为最终用于知识点预测的预测模型。

并且，在模型的嵌入层(embedding layer)中增添了FGM(Fast Gradient Method，快速梯度法)，往增大损失的方向增加扰动，同时，模型在参数上进行梯度下降，以此达到对参数进行正则化的目的，从而提升了模型鲁棒性和泛化能力，优化了模型性能。

此处，通过知识点预测模型进行知识点预测，可以保证知识点预测的准确性，即在评价指标上可以达到不低于或接近大规模数据标注的效果，为完备性较高的知识体系构建提供了关键助力。

而后，考虑到部分候选试题的试题信息并不完备，例如，题面、选项、答案、解析等文本信息的质量较差(信息缺失、信息模糊等)，和/或，部分候选试题与知识点之间的关联关系较弱，即关联置信度较低，因此，在根据知识点预测模型的输出构建知识体系之前，还可以对此部分候选试题进行过滤，以保证知识体系中信息的可信度。

具体而言，可以依据关联置信度，和/或，各候选试题的试题信息，对各候选试题进行过滤，即滤除低关联置信度，和/或题面、选项、答案、解析等文本信息的质量较差的候选试题，并根据过滤所得的各试题、各知识点，以及各试题与知识点之间的关联关系，构建知识体系，如此即可保证知识体系下试题的清楚完备和关联关系的稳定，提升了构建得到的知识体系的质量。

下面对本发明提供的试题推荐装置进行描述，下文描述的试题推荐装置与上文描述的试题推荐方法可相互对应参照。

图12是本发明提供的试题推荐装置的结构示意图，如图12所示，该装置包括：

构建单元1210，用于构建知识体系，所述知识体系下包括多个试题、多个知识点，以及各试题与各知识点之间的关联关系；

聚合单元1220，用于基于所述知识体系下各知识点的知识点信息，以及所述各知识点关联试题的试题信息，对所述各知识点进行聚合，得到多个知识点簇；

预测单元1230，用于基于历史作答信息，以及任一试题的试题信息，进行得分预测，得到所述任一试题的预测得分，基于所述任一试题对应知识点簇下多个试题的预测得分，确定所述任一试题对应知识点簇的掌握度；

推荐单元1240，用于基于所述各试题的预测得分，以及所述各试题对应知识点簇的掌握度，进行试题推荐。

本发明提供的试题推荐装置，将构建的知识体系中的相似知识点聚合成簇，得到多个不同粒度的知识点簇，并在知识点簇粒度遍历试题，以根据试题的预测得分计算知识点簇的掌握度，据此两者进行试题推荐，克服了传统试题推荐方案中薄弱点诊断的有效性待定，推荐试题的知识覆盖面不足，学习效率低下的缺陷，实现了薄弱知识点的全面诊断，以及关联知识点的全方位掌握，提升了知识点簇的学习效果，以及所学知识点的覆盖度，通过精准学习薄弱项，减少无效练习，保证学生在使用电子设备的有限时间内的最大学习效率。

基于上述实施例，推荐单元1240用于：

基于所述各试题的预测增益，进行试题推荐。

基于上述实施例，推荐单元1240用于：

基于上述实施例，预测单元1230用于：

基于上述实施例，聚合单元1220用于：

基于上述实施例，构建单元1210用于：

图13示例了一种电子设备的实体结构示意图，如图13所示，该电子设备可以包括：处理器(processor)1310、通信接口(Communications Interface)1320、存储器(memory)1330和通信总线1340，其中，处理器1310，通信接口1320，存储器1330通过通信总线1340完成相互间的通信。处理器1310可以调用存储器1330中的逻辑指令，以执行试题推荐方法，该方法包括：构建知识体系，所述知识体系下包括多个试题、多个知识点，以及各试题与各知识点之间的关联关系；基于所述知识体系下各知识点的知识点信息，以及所述各知识点关联试题的试题信息，对所述各知识点进行聚合，得到多个知识点簇；基于历史作答信息，以及任一试题的试题信息，进行得分预测，得到所述任一试题的预测得分，基于所述任一试题对应知识点簇下多个试题的预测得分，确定所述任一试题对应知识点簇的掌握度；基于所述各试题的预测得分，以及所述各试题对应知识点簇的掌握度，进行试题推荐。

此外，上述的存储器1330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的试题推荐方法，该方法包括：构建知识体系，所述知识体系下包括多个试题、多个知识点，以及各试题与各知识点之间的关联关系；基于所述知识体系下各知识点的知识点信息，以及所述各知识点关联试题的试题信息，对所述各知识点进行聚合，得到多个知识点簇；基于历史作答信息，以及任一试题的试题信息，进行得分预测，得到所述任一试题的预测得分，基于所述任一试题对应知识点簇下多个试题的预测得分，确定所述任一试题对应知识点簇的掌握度；基于所述各试题的预测得分，以及所述各试题对应知识点簇的掌握度，进行试题推荐。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法所提供的试题推荐方法，该方法包括：构建知识体系，所述知识体系下包括多个试题、多个知识点，以及各试题与各知识点之间的关联关系；基于所述知识体系下各知识点的知识点信息，以及所述各知识点关联试题的试题信息，对所述各知识点进行聚合，得到多个知识点簇；基于历史作答信息，以及任一试题的试题信息，进行得分预测，得到所述任一试题的预测得分，基于所述任一试题对应知识点簇下多个试题的预测得分，确定所述任一试题对应知识点簇的掌握度；基于所述各试题的预测得分，以及所述各试题对应知识点簇的掌握度，进行试题推荐。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种试题推荐方法，其特征在于，包括：

2.根据权利要求1所述的试题推荐方法，其特征在于，所述基于所述各试题的预测得分，以及所述各试题对应知识点簇的掌握度，进行试题推荐，包括：

基于所述各试题的预测增益，进行试题推荐。

3.根据权利要求2所述的试题推荐方法，其特征在于，所述基于所述各试题的预测得分，以及所述各试题对应知识点簇的掌握度，确定练习所述各试题对于掌握对应知识点簇的预测增益，包括：

4.根据权利要求1至3中任一项所述的试题推荐方法，其特征在于，所述基于历史作答信息，以及任一试题的试题信息，进行得分预测，得到所述任一试题的预测得分，包括：

5.根据权利要求1至3中任一项所述的试题推荐方法，其特征在于，所述基于所述知识体系下各知识点的知识点信息，以及所述各知识点关联试题的试题信息，对所述各知识点进行聚合，得到多个知识点簇，包括：

6.根据权利要求5所述的试题推荐方法，其特征在于，所述基于所述知识体系下各知识点的知识点信息，以及所述各知识点关联试题的试题信息，进行知识点对齐，得到所述各知识点中两两知识点之间的相似度，包括：

7.根据权利要求6所述的试题推荐方法，其特征在于，所述基于两两知识点的知识点匹配特征、属性匹配特征和试题匹配特征，进行知识点对齐，得到所述各知识点中两两知识点之间的相似度，包括：

8.根据权利要求1至3中任一项所述的试题推荐方法，其特征在于，所述构建知识体系，包括：

9.一种试题推荐装置，其特征在于，包括：

10.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至8任一项所述的试题推荐方法。

11.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的试题推荐方法。