CN112257966A

CN112257966A - 模型处理方法、装置、电子设备及存储介质

Info

Publication number: CN112257966A
Application number: CN202011498612.XA
Authority: CN
Inventors: 王喆; 吴丹; 王凯夫; 彭守业; 李日霞
Original assignee: Beijing Century TAL Education Technology Co Ltd
Current assignee: Beijing Century TAL Education Technology Co Ltd
Priority date: 2020-12-18
Filing date: 2020-12-18
Publication date: 2021-01-22
Anticipated expiration: 2040-12-18
Also published as: CN112257966B

Abstract

本申请提出一种模型处理方法、装置、电子设备及存储介质，该方法包括：获取当前样本题目的信息，当前样本题目的信息至少包括题目文本特征、题目知识点特征和作答结果；题目知识点特征是基于题目文本特征和当前样本题目所对应的预设知识点特征得到的，预设知识点特征包含所表征的知识点与其它知识点之间的关系信息；至少将当前样本题目的信息所包括的题目文本特征和题目知识点特征，输入知识点掌握状态评价模型，得到答对当前样本题目的预测概率；根据当前样本题目的信息所包括的作答结果和预测概率，计算损失函数，并基于损失函数训练知识点掌握状态评价模型至收敛。考虑的因素更加精细，提高了知识点掌握状态评价模型的准确性。

Description

模型处理方法、装置、电子设备及存储介质

技术领域

本申请涉及在线教育技术，尤其涉及一种模型处理方法、装置、电子设备及存储介质。

背景技术

现阶段，在线教育已然成为学生一种主流学习形式。为实现在线教育，知识追踪技术开始被人们提出，并得到了一定量的学术研究与实际应用。知识追踪是对学生的知识基于时间建模，预测学生对于知识点的掌握状态，以及学生在下一次的表现。但是，由于考虑的因素不全面，导致得出的学生的知识点掌握状态的准确性较差。

发明内容

本申请实施例提供一种模型处理方法、装置、电子设备及存储介质，以解决相关技术存在的问题，技术方案如下：

第一方面，本申请实施例提供了一种模型处理方法，所述方法包括：

获取当前样本题目的信息，当前样本题目的信息至少包括题目文本特征、题目知识点特征和作答结果；题目知识点特征是基于题目文本特征和当前样本题目所对应的预设知识点特征得到的，预设知识点特征包含所表征的知识点与其它知识点之间的关系信息；

至少将当前样本题目的信息所包括的题目文本特征和题目知识点特征，输入知识点掌握状态评价模型，得到答对当前样本题目的预测概率；

根据当前样本题目的信息所包括的作答结果和预测概率，计算损失函数，并基于损失函数训练知识点掌握状态评价模型至收敛。

在一种实施方式中，还包括：

将上一道样本题目的信息，输入知识点掌握状态评价模型，得到当前知识点掌握能力特征；

得到答对当前样本题目的预测概率，包括：

基于当前知识点掌握能力特征，上一道样本题目的信息所包括的题目知识点特征，以及当前样本题目的信息所包括的题目文本特征和题目知识点特征，计算当前样本题目的预测概率。

在一种实施方式中，得到当前知识点掌握能力特征，包括：

基于上一道样本题目的信息所包括的题目文本特征、题目知识点特征、作答结果以及作答形式，得到当前知识点掌握能力特征。

在一种实施方式中，将上一道样本题目的信息，输入知识点掌握状态评价模型，得到当前知识点掌握能力特征，包括：

将上一道样本题目的信息，输入知识点掌握状态模型，得到基于时间的第一掌握能力特征，并基于第一掌握能力特征和预设知识点关系矩阵，得到基于知识点之间关系的第二掌握能力特征，将基于知识点之间关系的第二掌握能力特征作为当前知识点掌握能力特征。

在一种实施方式中，基于当前知识点掌握能力特征，上一道样本题目的信息所包括的题目知识点特征，以及当前样本题目的信息所包括的题目文本特征和题目知识点特征，计算当前样本题目的预测概率，包括：

基于上一道样本题目的信息所包括的题目知识点特征，计算上一道样本题目包含的知识点与其它知识点的相关系数；

基于相关系数和当前知识点掌握能力特征，计算作答当前样本题目综合所需的第三掌握能力特征；

基于第三掌握能力特征，以及当前样本题目的信息所包括的题目文本特征和题目知识点特征，计算当前样本题目的预测概率。

在一种实施方式中，还包括：

获取所有样本题目包含的知识点；

建立每个知识点的初始特征；

获取包含全部知识点之间关系的预设知识点关系矩阵；

基于知识点关系矩阵，更新每个知识点的初始特征，以得到每个知识点所对应的预设知识点特征。

在一种实施方式中，还包括：

获取所有样本题目的题目文本；

对所有样本题目的题目文本进行清洗并分词，得到词集合；

为词集合中每个词分配编号，得到词与编号的映射关系；

基于映射关系，将每道样本题目转化为由编号形成的序列；

对每道样本题目对应的序列，利用文本特征提取模型进行提取，得到每道样本题目的题目文本特征。

在一种实施方式中，还包括：

基于样本题目所包含的每个知识点的预设知识点特征和题目文本特征，计算样本题目所包含的每个知识点在本样本题目中的占比；

基于样本题目所包含的每个知识点的预设知识点特征和占比，计算样本题目的题目知识点特征。

在一种实施方式中，还包括：

至少将当前实际作答题目的信息所包括的题目知识点特征，输入知识点掌握状态评价模型，得到当前每个知识点的掌握状态评价。

在一种实施方式中，还包括：

将当前实际作答题目的信息所包括的题目文本特征、作答结果以及作答形式，输入知识点掌握状态评价模型，以基于当前实际作答题目的信息所包括的题目文本特征、题目知识点特征、作答结果以及作答形式得到当前知识点掌握能力特征；

得到当前每个知识点的掌握状态评价，包括：

基于当前知识点掌握能力特征，以及当前实际作答题目的信息所包括的题目知识点特征，得到当前每个知识点的掌握状态评价。

第二方面，本申请实施例提供了一种模型处理装置，该装置包括：

获取模块，用于获取当前样本题目的信息，当前样本题目的信息至少包括题目文本特征、题目知识点特征和作答结果；题目知识点特征是基于题目文本特征和当前样本题目所对应的预设知识点特征得到的，预设知识点特征包含所表征的知识点与其它知识点之间的关系信息；

预测模块，用于至少将当前样本题目的信息所包括的题目文本特征和题目知识点特征，输入知识点掌握状态评价模型，得到答对当前样本题目的预测概率；

训练模块，用于根据当前样本题目的信息所包括的作答结果和预测概率，计算损失函数，并基于损失函数训练知识点掌握状态评价模型至收敛。

在一种实施方式中，预测模块，还用于：

在一种实施方式中，预测模块具体用于：

在一种实施方式中，还包括第一预处理模块，用于：

获取所有样本题目包含的知识点；

建立每个知识点的初始特征；

获取包含全部知识点之间关系的预设知识点关系矩阵；

在一种实施方式中，还包括第二预处理模块，用于：

获取所有样本题目的题目文本；

对所有样本题目的题目文本进行清洗并分词，得到词集合；

为词集合中每个词分配编号，得到词与编号的映射关系；

基于映射关系，将每道样本题目转化为由编号形成的序列；

在一种实施方式中，还包括第三预处理模块，用于：

在一种实施方式中，预测模块，还用于：

第三方面，本申请实施例还提供了一种电子设备，包括：

至少一个处理器；以及

与至少一个处理器通信连接的存储器；其中，

存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行第一方面任一的模型处理方法。

第四方面，本申请实施例还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，计算机指令用于使计算机执行第一方面任一的模型处理方法。

上述技术方案中的优点或有益效果至少包括：

本方案中，由于输入知识点掌握状态评价模型中的当前样本题目的信息至少包括题目文本特征、题目知识点特征和作答结果，如此，区分了不同作答题目，考虑了题目的知识点含量、题目文本的差异性和题目难度，又由于题目知识点特征是基于题目文本特征和当前样本题目所对应的预设知识点特征得到的，该预设知识点特征包含所表征的知识点与其它知识点之间的关系信息，如此，还区分了不同的知识点，考虑了知识点之间的关系，各个知识点不再是相互独立的，使得考虑的因素更加精细，从而提高了训练的知识点掌握评价模型的准确性。

上述概述仅仅是为了说明书的目的，并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外，通过参考附图和以下的详细描述，本申请进一步的方面、实施方式和特征将会是容易明白的。

附图说明

在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本申请公开的一些实施方式，而不应将其视为是对本申请范围的限制。

图1示出根据本申请一实施例的模型处理方法的流程图；

图2示出根据本申请一实施例的模型处理方法的流程图；

图3示出根据本申请一实施例的ELMo模型的示意图；

图4示出根据本申请一实施例的模型处理装置的结构框图；

图5示出根据本申请一实施例的电子设备的结构框图。

具体实施方式

在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本申请的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。

在教育领域中，对于学生各维度能力（包括知识点等）的刻画大多都来自于教师日常教学动作，一般包括：课上提问、课后作业以及日常测验等行为。而采取这样的动作对学生进行评价，具有一定主观性以及不可复制性，例如，教师对于所能了解学生数量有一定限制，且不同教师对相同学生评价结果不一致，这样的过程会导致对于学生日常教学行为的差异性。而这种人为的天然差异性，在结果的评判性具有负面作用，无法进行精确有效的个性化教学而导致教学效率低下。

在心理测量学领域，例如经典项目反应理论（Item Response Theory，IRT），是一种现代心理测量理论，利用主动测评的方式对学生进行评价。一方面，这种方式中，需提前设计评价所需题目，并且对于题目合理性需进行专业性保证，对于进行日常教学过程的普通人民教师而言，这种施策方式的专业性无法保证，也变无法保证最后的评价效果及质量。另一方面，这种方式中，一般都是以施策题目为最小粒度的，而非以知识点为最小粒度的，导致学生能力也无法进行更高维的真实划分与评价，另外一个重要因素，这类方法并未考虑学生随时间进程的进退步变化，这些因素极大限制了这类方法的应用范围。

现阶段，在线教育已然成为学生一种主流学习形式。用于在线教育的在线学习系统较传统线下学习系统形成鲜明对比，在线学习系统具有在线化、可记录、批量化等互联网化特点，在线学习系统中，可清晰记录学生日常学习行为数据。对于记录的这多模态的学习行为数据，加之有效利用，可以利用先进智能数据挖掘系统得到客观真实的学生知识点掌握状态，从而可以基于此产生高效的教学行为。

为实现在线教育，在人工智能领域，知识追踪技术开始被人们提出，并得到了一定量的学术研究与实际应用。知识追踪是对学生的知识基于时间建模，预测学生对于知识点的掌握状态，以及学生在下一次的表现。也就是说，可以利用学生的作答数据，反推学生的学习情况。该技术因具有时变性、客观性等特点而得到广泛应用，其中以深度知识追踪技术（Deep Knowledge Tracing，DKT）为代表，DKT利用学生的作答数据，并根据所做题目所含知识点信息，采用作答反推学生知识点掌握的方式，从而得到学生对各个知识点的掌握状态，这种方式，会伴随着学生答题序列的更新而更新学生的知识点掌握状态，即以学生作答数据来刻画学生知识点掌握状态。对于在线学习系统，对学生知识点掌握的刻画已经成为一个重要课题。对于智能教学系统、智能练习系统以及智能测试系统都具有重要意义。

对于以心理测量学为代表的主动有感知的知识点评价系统，其具有高度专业性、不可量产性、以及时不变的特性。而对于以DKT为代表的被动无感知评价系统，具有更好的模拟学生真实进退步的时变性的特点，且对于实际使用情况门槛更低，更适用于无心理测量经验的教师进行使用。但是，这些知识点评价系统由于考虑的因素不全面，导致得出的学生的学习知识点掌握状态的准确性较差。例如，基于DKT的预测类系统，具有一定模型误差，可能会与学生作答行为产生一定矛盾现象，例如，学生作答结果与预测的学生掌握状态高低成反比趋势。

为此，本申请实施例在经典DKT的基础上，充分考虑各方面的因素，以更真实刻画的学生学习行为，来评价学生真实知识点掌握状态，以提高评价的准确性。下面对本申请实施例的方案进行详细地介绍。

图1示出根据本申请一实施例的模型处理方法的流程图。如图1所示，该方法包括：

步骤S101：获取当前样本题目的信息，当前样本题目的信息至少包括题目文本特征、题目知识点特征和作答结果；题目知识点特征是基于题目文本特征和当前样本题目所对应的预设知识点特征得到的，预设知识点特征包含所表征的知识点与其它知识点之间的关系信息。

步骤S102：至少将当前样本题目的信息所包括的题目文本特征和题目知识点特征，输入知识点掌握状态评价模型，得到答对当前样本题目的预测概率。

步骤S103：根据当前样本题目的信息所包括的作答结果和预测概率，计算损失函数，并基于损失函数训练知识点掌握状态评价模型至收敛。

以上预设知识点特征表征知识点的信息，其中包含所表征的知识点与其它知识点之间的关系信息，可以体现出知识点之间的关系，包括知识点之间的各种关系，例如前后置关系、层级关系以及相似关系，等等。知识点之间的前后置关系可以包括学习知识点的先后关系，例如先学一次函数这个知识点，再学习二次函数这个知识点。知识点之间的层级关系可以包括知识点之间的包含与被包含的关系，例如，二次函数这个知识点又包含二次函数的概念、二次函数的应用这些小知识点。知识点之间的相似关系可以包括知识点之间的相似性，例如二次函数和三次函数的相似性。

题目知识点特征表征题目所包含的知识点的信息，可以体现出题目的知识点含量。

题目文本特征表征题目文本信息，可以体现出不同题目的差异性。对于包含的知识点相同的题目来说，差异在于题目文本不同，相应的作答情况可能也不同，进而体现出了题目难度。

其中，图是在拓扑空间内按图结构组织以进行关系推理的函数集合。

图2示出根据本申请一实施例的模型处理方法的流程图。

实际应用中，会预先收集样本题目，对收集的样本题目进行预处理，得到预设知识点特征以及样本题目的题目文本特征、题目知识点特征。下面对以上预处理过程进行详细介绍。

一、题目文本预处理

如图2所示，题目文本预处理过程包括：

步骤S201：获取所有样本题目的题目文本。

本步骤中，从智能题库中获取所有样本题目的题目文本，包括题目题干、题目选项以及题目解析信息。

步骤S202：对所有样本题目的题目文本进行清洗并分词，得到词集合。

清洗时，可以去除无意义的词或者符号，例如，“了”、“的”、“/”等。分词时，可以利用已有的分词器进行分词，得到词集合。

步骤S203：为词集合中每个词分配编号，得到词与编号的映射关系。

本步骤中，对词集合中的词，根据词频（即词在所有样本题目中出现的次数）排序得到词汇表，并添加“<UNK>”字符，作为未知词汇的标记，以应对未知词汇情况，另外，一些词频较低的词（即不常见的词）也可以标记为未知词汇。然后，为每个词分配编号。其中，标记为未知词汇的词使用同一编号。

步骤S204：基于上述映射关系，将每道样本题目转化为由编号形成的序列。

步骤S205：对每道样本题目对应的序列，利用文本特征提取模型进行提取，得到每道样本题目的题目文本特征。

实施中，可以利用的文本特征提取模型包括语言模型嵌入（Embeddings fromLanguage Models，ELMo）模型，如图3所示，该模型包括两个双向长短期记忆网络（LSTM，Long Short-Term Memory，LSTM）和最大池化层（Max Pooling）和输出层（Embedding）。

假设一道样本题目有N个词，建立相应的初始词向量矩阵，即N个初始词向量Word_₁、Word_₂、……、Word__N形成的初始词向量矩阵。将初始词向量矩阵输入ELMo模型，以对题目进行文本结构化表征，得到N个考虑了上下文的词向量Vector_₁、Vector_₂、……、Vector__N，然后输入最大池化层进行最大池化技术处理，然后经输出层输出，得到最后的向量，即题目文本特征e。

由于不同的样本题目的词的数量不同，得到的考虑了上下文的词向量的个数也不同，不方便计算，所以需要利用最大池化技术将N个词向量处理成一个预设长度的向量，如此，最终得到的每道样本题目的题目文本特征是长度相同的向量，方便后续计算。

另外，通过以上题目文本的预处理得到题目文本特征的方案，可以建立起相似题目之间的联系，对于作答过于稀疏的题目，即作答较少的题目，也可以通过相似题目间接反映出该题目的作答情况。

二、知识点预处理

如图2所示，知识点预处理过程包括：

步骤S206：获取所有样本题目包含的知识点。

步骤S207：建立每个知识点的初始特征。

本步骤中，可以建立每个知识点的初始向量，其中第i个知识点的初始特征为k _i。

步骤S208：获取包含全部知识点之间关系的预设知识点关系矩阵。

本步骤中，主要考虑知识点之间的前后置关系和知识点之间的层级关系。可以预先建立知识点关系矩阵，以获取该知识点关系矩阵。该知识点关系矩阵包括知识点之间的前后关系矩阵W₁和知识点之间的层级关系矩阵W₂。该知识点关系矩阵可以预先根据专业人员的经验设置。

步骤S209：基于上述知识点关系矩阵，更新每个知识点的初始特征，以得到每个知识点所对应的预设知识点特征。

具体的，按照如下公式更新每个知识点的初始特征，得到每个知识点所对应的预设知识点特征。

（1）

其中，j表示与知识点i具有知识点前后置关系的知识点。 l表示与知识点i具有知识点层级关系的知识点。σ为激活函数。

表示模型参数属于模型的隐藏层，也即并非模型最后的输出层。

表示知识点i所对应的预设知识点特征。

如此，通过知识点关系矩阵得到知识点特征，各个知识点特征不再是相互独立的特征，而是具有图拓扑的表征形式，从高维度表征知识点，更加真实准确。

三、单个样本题目知识点预处理

如图2所示，单个样本题目知识点预处理过程包括：

步骤S210：基于样本题目所包含的每个知识点的预设知识点特征和题目文本特征，计算样本题目所包含的每个知识点在本样本题目中的占比。

一道样本题目中至少有一个知识点，一般多于一个知识点。

具体的，对样本题目所包含的每个知识点i计算预设知识点表征

与题目文本表征e的相关性

，

为指函数，T为转置符号。然后，将样本题目中的所有知识点对应的相关性求和

。计算每个知识点i的预设知识点表征

与相关性求和结果

的比值，得到每个知识点i在本样本题目中的占比

，公式如下：

（2）

步骤S211：基于样本题目所包含的每个知识点的预设知识点特征和占比，计算样本题目的题目知识点特征。

具体的，计算每个知识点i的预设知识点表征

与对应的占比

的乘积

，然后求和

，得到样本题目的题目知识点特征

，公式如下：

（3）

如此，基于题目文本特征和样本题目所对应的预设知识点特征得到了单个样本题目的题目知识点特征，通过知识点、题目文本建立了不同样本题目之间的联系。

在一些实施例中，上述方法还可以包括：将上一道样本题目的信息，输入知识点掌握状态评价模型，得到当前知识点掌握能力特征。相应的，步骤S102中，得到答对当前样本题目的预测概率，具体可以包括：基于当前知识点掌握能力特征，上一道样本题目的信息所包括的题目知识点特征，以及当前样本题目的信息所包括的题目文本特征和题目知识点特征，计算当前样本题目的预测概率。

由于知识点掌握能力是通过作答的题目的情况反推出来的，所以可以根据作答的上一道样本题目更新知识点掌握能力，再基于当前的知识点掌握能力去预测下一道样本题目的作答情况，以实现对知识点掌握状态评价模型的训练。

在一些实施例中，以上得到当前知识点掌握能力特征，具体实现方式可以包括：基于上一道样本题目的信息所包括的题目文本特征、题目知识点特征、作答结果以及作答形式，得到当前知识点掌握能力特征。

其中，作答形式可以包括课中作答、课后作业以及日常测验等形式。

具体的，可以基于上一道样本题目的信息建立上一道样本题目的作答情况向量。

（4）

其中，t表示当前样本题目的作答时刻，t-1表示上一道样本题目的作答时刻，

表示上一道样本题目的作答情况向量。

表示上一道样本题目的题目文本表征。

表示上一道样本题目的题目知识点表征。

表示上一道样本题目的作答形式向量，为

=[m₁,m₂, m₃]，m₁为课中作答向量，m₂为课后作业作答向量，以及m₃为日常测验向量。

表示上一道样本题目是否答对。可以设置

的值为1表示答对，0表示答错。

之后，将上一道样本题目的作答情况向量输入到知识点掌握状态评价模型中，得到当前知识点掌握能力特征。

本实施例中，精细考虑了学生真实学习、作答情况，即考虑了不同作答形式的客观差异性，因为不同的作答形式下，学生反映出的知识点掌握情况是不同的，对不同作答形式进行了区分，进一步提高了知识点掌握状态评价模型的准确性。

在一些实施例中，如图2所示，将上一道样本题目的信息，输入知识点掌握状态评价模型，得到当前知识点掌握能力特征，具体可以包括：

步骤S212：将上一道样本题目的信息，输入知识点掌握状态模型，得到基于时间的第一掌握能力特征。

实际应用中，可以先建立学生的各个知识点对应的知识点掌握能力特征的初始向量h。预先建立神经网络模型，该神经网络模型用于对知识点掌握能力特征进行时间序列的更新。因此，该神经网络模型也称时间延迟递归模型（Delay Recurrent Unit，DRU）。

实施中，神经网络模型可以包括：

（5）

（6）

（7）

（8）

（9）

（10）

（11）

其中，

为上一道样本题目的作答时刻t-1对应的神经网络模型的一个隐藏层的状态。

表示上一道样本题目的作答时刻t-1对应的第一掌握能力特征。

、

、

均为当前样本题目的作答时刻t对应的神经网络模型的隐藏层的状态。

、

、

均为相应的权重系数。σ为激活函数。

和

为偏置项。

表示当前样本题目的作答时刻t的第一掌握能力特征。

为状态变化评价函数，比如可以为

的线性函数。

从以上模型可以看出，最终，当前第一掌握能力特征

是基于上一道样本题目的作答时刻t-1对应的第一掌握能力特征

和状态变化评价函数

得到的。该

是一个分段函数，包括两个部分，如果

的取值

大于第一阈值M小于第二阈值

，说明知识点掌握能力特征发生了变化，如果取值为常数1，更新后

，说明知识点掌握能力特征没有发生变化。其中，M和

可以根据实际需要设置，比如设置M为0.2，

为0.8。

值得注意的是，相关技术中，并未考虑批量作答的同状态性，比如，如果连续作答多道知识点相同的不同题目，知识点掌握好之后，知识点掌握状态一般就比较稳定了，不再发生明显变化。本实施例中，可以基于状态变化评价函数，得到知识点掌握能力特征的变化，如果知识点掌握能力特征发生变化，反映出知识点掌握状态发生了变化，如果知识点掌握能力特征没有发生变化，反映出知识点掌握状态比较稳定，可以认为学生目前的学习状态比较稳定，或者是处于批量作答的状态，如此，训练出的模型知识点掌握状态评价结果更加准确。

还值得注意的是，相关技术中，虽然考虑了时变性，但是关注的是先作答第一道题目、然后作答第二道题目、最后作答第三道题目这种作答题目的时序，并未考虑学生作答客观时间的不均匀性，比如，相邻两道题目之间的时间间隔不同，哪个时刻作答的第一道题目，哪个时刻作答的第二道题目，哪个时刻作答的第三道题目，对此并未做关注。实际上，作答题目的时间间隔也可以反映出知识点掌握状态，对于掌握不好的知识点，可能会耗费较长的时间。本实施例提供的以上神经网络模型，考虑了上一道样本题目的作答时刻t-1和当前样本题目的作答时刻t，也即，考虑了学生作答客观时间的不均匀性，基于此，进行时间序列的更新，训练出的模型知识点掌握状态评价结果更加准确。

步骤S213：基于第一掌握能力特征和预设知识点关系矩阵，得到基于知识点之间关系的第二掌握能力特征，将基于知识点之间关系的第二掌握能力特征作为当前知识点掌握能力特征。

其中，预设知识点关系矩阵可以包括上述知识点之间的前后关系矩阵W₁和知识点之间的层级关系矩阵W₂。

具体的，可以按照如下计算公式计算第二掌握能力特征。

（12）

其中，

表示知识点i的第一掌握能力特征。

表示与知识点i具有知识点前后置关系的知识点j的第一掌握能力特征。

表示与知识点i具有知识点层级关系的知识点l的第一掌握能力特征。

表示知识点i的第二掌握能力特征，也即当前知识点掌握能力特征。

以上得到的当前知识点掌握能力特征，通过各知识点之间的关系，建立了各知识点掌握能力之间的关系，因此，可以认为得到了知识点能力向量图的表征，也即建立了高维度的学生知识点掌握刻画图表征。如此，解除了传统使用向量刻画学生所有知识点能力的表示方法，而使用向量刻画学生单一知识点掌握能力，并根据知识点关系，来建立学生各维度知识点掌握能力向量，从而得到更加真实有效的高维知识点能力向量图的表征，提高了模型评价结果的准确性。

在一些实施例中，基于当前知识点掌握能力特征，上一道样本题目的信息所包括的题目知识点特征，以及当前样本题目的信息所包括的题目文本特征和题目知识点特征，计算当前样本题目的预测概率，如图2所示，具体可以包括：

步骤S214：基于上一道样本题目的信息所包括的题目知识点特征，计算上一道样本题目包含的知识点与其它知识点的相关系数。

对上一道样本题目所包含的每个知识点，计算预设知识点表征

和题目知识点表征

的相关性

，

为指函数，T为转置符号，

也即

，此处

表示位于隐藏层的

。然后，将上一道样本题目中的所有知识点对应的相关性求和

。计算上一道样本题目中每个知识点对应的相关性

与相关性求和结果

的比值，得到每个知识点与其它知识点的相关系数

，公式如下：

（13）

步骤S215：基于上述相关系数和当前知识点掌握能力特征，计算作答当前样本题目综合所需的第三掌握能力特征。

具体的，对上一道样本题目的每个知识点，计算知识点i对应的相关系数

与当前知识点掌握能力特征

的乘积

，然后求和

，得到计算作答当前样本题目综合所需的第三掌握能力特征

，计算公式如下：

（14）

步骤S216：基于第三掌握能力特征，以及当前样本题目的信息所包括的题目文本特征和题目知识点特征，计算当前样本题目的预测概率。

具体的，按照如下公式计算当前样本题目的预测概率。

（15）

（16）

其中，

为线性整流函数。

和

为模型中的权重系数。

和

为偏置项。

为模型中的隐藏层的预测概率。

为模型的输出层最终输出的当前样本题目的预测概率。

由于本实施例的预设知识点特征和知识点掌握能力特征都考虑了知识点之间的关系，上一道样本题目的题目知识点表征又是基于预设知识点特征和题目文本特征得到的，所以可以通过上一道样本题目的知识点关联到其它知识点，基于此，可以基于作答的上一道样本题目的信息，得到当前样本题目答对的预测概率，预测结果更加准确。

相应的，上步骤S103中，根据当前样本题目的信息所包括的作答结果和预测概率，计算损失函数，并基于损失函数训练知识点掌握状态评价模型至收敛，如图2所示，具体实现方式可以包括：

步骤S217：根据当前样本题目的信息所包括的作答结果和预测概率，计算损失函数。计算公式如下：

（17）

其中，

表示损失函数。

表示当前样本题目的信息所包括的作答结果。

步骤218：基于反向传播算法，学习更新模型中的所有参数。当损失函数降低到预设阈值时，则停止训练。否则，继续返回步骤S212，进行训练。

当通过以上实施例的模型参数训练过程将知识点掌握状态评价模型的参数训练好之后，就可以应用该知识点掌握状态评价模型，来评价学生实际作答一道题目之后的学生知识点掌握状态了。基于此，在一些实施例中，至少将当前实际作答题目的信息所包括的题目知识点特征，输入知识点掌握状态评价模型，得到当前每个知识点的掌握状态评价。由于关注的是知识点掌握状态，与题目文本无关，所以模型应用时，输入题目知识点特征即可。

在一些实施例中，还将当前实际作答题目的信息所包括的题目文本特征、作答结果以及作答形式，输入知识点掌握状态评价模型，以基于当前实际作答题目的信息所包括的题目文本特征、题目知识点特征、作答结果以及作答形式得到当前知识点掌握能力特征。相应的，以上得到当前每个知识点的掌握状态评价，具体可以包括：基于当前知识点掌握能力特征，以及当前实际作答题目的信息所包括的题目知识点特征，得到当前每个知识点的掌握状态评价。

下面对模型应用的过程进行具体说明。

当学生采用各种作答形式作答题目时，如图2所示，知识点掌握状态评价的计算过程如下：

步骤S219：基于当前实际作答题目的信息所包括的题目文本特征、题目知识点特征、作答结果以及作答形式，建立当前实际作答题目的作答情况向量。

（18）

其中，e表示当前实际作答题目的题目文本特征。

表示当前实际作答题目的题目知识点特征。r表示当前实际作答题目的作答结果。m表示当前实际作答题目的作答形式。

表示当前实际作答题目的作答情况向量。

步骤S220：将作答情况向量

输入知识点掌握状态评价模型，得到当前知识点掌握能力特征

。

步骤S221：基于当前知识点掌握能力特征

和当前实际作答题目的信息所包括的题目知识点特征

，计算学生单个知识点掌握状态的评分，作为每个知识点掌握状态的评价。具体公式如下：

（19）

（20）

为模型中的隐藏层的知识点掌握状态的评分。

为模型的输出层最终输出的知识点掌握状态的评分。这里

是知识点i的掌握状态的评分，可以设置为0~1的评分。基于此，可以准确的了解到知识点掌握状态。

从以上公式可以看出，本步骤中利用的是步骤S216公式（15）和（16）的模型参数，由于关注的是知识点的掌握状态，所以题目文本特征的输入项为0。

当学生用户停止作答时，停止以上应用过程。

图4示出根据本申请一实施例的模型处理装置的结构框图，如图4所示，该装置包括：

获取模块410，用于获取当前样本题目的信息，当前样本题目的信息至少包括题目文本特征、题目知识点特征和作答结果；题目知识点特征是基于题目文本特征和当前样本题目所对应的预设知识点特征得到的，预设知识点特征包含所表征的知识点与其它知识点之间的关系信息；

预测模块420，用于至少将当前样本题目的信息所包括的题目文本特征和题目知识点特征，输入知识点掌握状态评价模型，得到答对当前样本题目的预测概率；

训练模块430，用于根据当前样本题目的信息所包括的作答结果和预测概率，计算损失函数，并基于损失函数训练知识点掌握状态评价模型至收敛。

在一种实施方式中，预测模块420，还用于：

在一种实施方式中，预测模块420具体用于：

在一种实施方式中，还包括第一预处理模块，用于：

获取所有样本题目包含的知识点；

建立每个知识点的初始特征；

获取包含全部知识点之间关系的预设知识点关系矩阵；

在一种实施方式中，还包括第二预处理模块，用于：

获取所有样本题目的题目文本；

对所有样本题目的题目文本进行清洗并分词，得到词集合；

为词集合中每个词分配编号，得到词与编号的映射关系；

基于映射关系，将每道样本题目转化为由编号形成的序列；

在一种实施方式中，还包括第三预处理模块，用于：

在一种实施方式中，预测模块420，还用于：

本申请实施例各装置中的各模块的功能可以参见上述模型处理方法中的对应描述，在此不再赘述。

图5示出根据本申请一实施例的电子设备设备的结构框图。

本申请实施例还提供了一种电子设备，如图5所示，该电子设备，包括：

至少一个处理器510；以及

与至少一个处理器510通信连接的存储器520；其中，

存储器520存储有可被至少一个处理器510执行的指令，指令被至少一个处理器510执行，以使至少一个处理器510能够执行以上实施例中的模型处理方法。

该设备还包括：

通信接口530，用于与外界设备进行通信，进行数据交互传输。

如果存储器520、处理器510和通信接口530独立实现，则存储器520、处理器510和通信接口530可以通过总线相互连接并完成相互间的通信。该总线可以是工业标准体系结构（Industry Standard Architecture，ISA）总线、外部设备互连（PeripheralComponentInterconnect，PCI）总线或扩展工业标准体系结构（Extended IndustryStandard Architecture，EISA）总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

可选的，在具体实现上，如果存储器520、处理器510及通信接口530集成在一块芯片上，则存储器520、处理器510及通信接口530可以通过内部接口完成相互间的通信。

本申请实施例还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使所述计算机执行以上实施例中的模型处理方法。

本申请实施例还提供了一种芯片，该芯片包括，包括处理器，用于从存储器中调用并运行存储器中存储的指令，使得安装有芯片的通信设备执行本申请实施例提供的模型处理方法。

本申请实施例还提供了一种芯片，包括：输入接口、输出接口、处理器和存储器，输入接口、输出接口、处理器以及存储器之间通过内部连接通路相连，处理器用于执行存储器中的代码，当代码被执行时，处理器用于执行申请实施例提供的模型处理方法。

应理解的是，上述处理器可以是中央处理器(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(digital signal processing，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现场可编程门阵列(fieldprogrammablegate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者是任何常规的处理器等。值得说明的是，处理器可以是支持进阶精简指令集机器(advanced RISC machines，ARM)架构的处理器。

进一步地，可选的，上述存储器可以包括只读存储器和随机存取存储器，还可以包括非易失性随机存取存储器。该存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以包括只读存储器(read-onlymemory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以包括随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用。例如，静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic random access memory，DRAM) 、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data dateSDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhancedSDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(directrambus RAM，DR RAM)。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包括于本申请的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分。并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。

应理解的是，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。上述实施例方法的全部或部分步骤是可以通过程序来指令相关的硬件完成，该程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。上述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中。该存储介质可以是只读存储器，磁盘或光盘等。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims

1.一种模型处理方法，其特征在于，所述方法包括：

获取当前样本题目的信息，所述当前样本题目的信息至少包括题目文本特征、题目知识点特征和作答结果；所述题目知识点特征是基于所述题目文本特征和所述当前样本题目所对应的预设知识点特征得到的，所述预设知识点特征包含所表征的知识点与其它知识点之间的关系信息；

至少将所述当前样本题目的信息所包括的题目文本特征和题目知识点特征，输入知识点掌握状态评价模型，得到答对所述当前样本题目的预测概率；

根据所述当前样本题目的信息所包括的作答结果和所述预测概率，计算损失函数，并基于所述损失函数训练所述知识点掌握状态评价模型至收敛。

2.根据权利要求1所述的方法，其特征在于，还包括：

将上一道样本题目的信息，输入所述知识点掌握状态评价模型，得到当前知识点掌握能力特征；

所述得到答对所述当前样本题目的预测概率，包括：

基于所述当前知识点掌握能力特征，所述上一道样本题目的信息所包括的题目知识点特征，以及所述当前样本题目的信息所包括的题目文本特征和题目知识点特征，计算所述当前样本题目的所述预测概率。

3.根据权利要求2所述的方法，其特征在于，所述得到当前知识点掌握能力特征，包括：

基于所述上一道样本题目的信息所包括的题目文本特征、题目知识点特征、作答结果以及作答形式，得到所述当前知识点掌握能力特征。

4.根据权利要求2所述的方法，其特征在于，所述将上一道样本题目的信息，输入所述知识点掌握状态评价模型，得到当前知识点掌握能力特征，包括：

将所述上一道样本题目的信息，输入所述知识点掌握状态模型，得到基于时间的第一掌握能力特征，并基于所述第一掌握能力特征和预设知识点关系矩阵，得到基于知识点之间关系的第二掌握能力特征，将所述基于知识点之间关系的第二掌握能力特征作为所述当前知识点掌握能力特征。

5.根据权利要求2所述的方法，其特征在于，所述基于所述当前知识点掌握能力特征，所述上一道样本题目的信息所包括的题目知识点特征，以及所述当前样本题目的信息所包括的题目文本特征和题目知识点特征，计算所述当前样本题目的所述预测概率，包括：

基于所述上一道样本题目的信息所包括的题目知识点特征，计算所述上一道样本题目包含的知识点与其它知识点的相关系数；

基于所述相关系数和所述当前知识点掌握能力特征，计算作答所述当前样本题目综合所需的第三掌握能力特征；

基于所述第三掌握能力特征，以及所述当前样本题目的信息所包括的题目文本特征和题目知识点特征，计算所述当前样本题目的所述预测概率。

6.根据权利要求1所述的方法，其特征在于，还包括：

获取所有样本题目包含的知识点；

建立每个知识点的初始特征；

获取包含全部知识点之间关系的预设知识点关系矩阵；

基于所述知识点关系矩阵，更新每个知识点的所述初始特征，以得到每个知识点所对应的预设知识点特征。

7.根据权利要求1所述的方法，其特征在于，还包括：

获取所有样本题目的题目文本；

对所有样本题目的题目文本进行清洗并分词，得到词集合；

为所述词集合中每个词分配编号，得到词与编号的映射关系；

基于所述映射关系，将每道样本题目转化为由编号形成的序列；

8.根据权利要求1所述的方法，其特征在于，还包括：

基于样本题目所包含的每个知识点的预设知识点特征和所述占比，计算样本题目的题目知识点特征。

9.根据权利要求1-8任一项所述的方法，其特征在于，还包括：

至少将当前实际作答题目的信息所包括的题目知识点特征，输入所述知识点掌握状态评价模型，得到当前每个知识点的掌握状态评价。

10.根据权利要求9所述的方法，其特征在于，还包括：

将所述当前实际作答题目的信息所包括的题目文本特征、作答结果以及作答形式，输入所述知识点掌握状态评价模型，以基于所述当前实际作答题目的信息所包括的题目文本特征、题目知识点特征、作答结果以及作答形式得到当前知识点掌握能力特征；

所述得到当前每个知识点的掌握状态评价，包括：

基于当前知识点掌握能力特征，以及所述当前实际作答题目的信息所包括的题目知识点特征，得到所述当前每个知识点的掌握状态评价。

11.一种模型处理装置，其特征在于，所述装置包括：

获取模块，用于获取当前样本题目的信息，所述当前样本题目的信息至少包括题目文本特征、题目知识点特征和作答结果；所述题目知识点特征是基于所述题目文本特征和所述当前样本题目所对应的预设知识点特征得到的，所述预设知识点特征包含所表征的知识点与其它知识点之间的关系信息；

预测模块，用于至少将所述当前样本题目的信息所包括的题目文本特征和题目知识点特征，输入知识点掌握状态评价模型，得到答对所述当前样本题目的预测概率；

训练模块，用于根据所述当前样本题目的信息所包括的作答结果和所述预测概率，计算损失函数，并基于所述损失函数训练所述知识点掌握状态评价模型至收敛。

12.根据权利要求11所述的装置，其特征在于，所述预测模块，还用于：

13.根据权利要求12所述的装置，其特征在于，所述预测模块具体用于：

14.根据权利要求12所述的装置，其特征在于，所述预测模块具体用于：

15.根据权利要求12所述的装置，其特征在于，所述预测模块具体用于：

16.根据权利要求11所述的装置，其特征在于，还包括第一预处理模块，用于：

获取所有样本题目包含的知识点；

建立每个知识点的初始特征；

获取包含全部知识点之间关系的预设知识点关系矩阵；

17.根据权利要求11所述的装置，其特征在于，还包括第二预处理模块，用于：

获取所有样本题目的题目文本；

对所有样本题目的题目文本进行清洗并分词，得到词集合；

18.根据权利要求11所述的装置，其特征在于，还包括第三预处理模块，用于：

19.根据权利要求11-18任一项所述的装置，其特征在于，所述预测模块，还用于：

20.根据权利要求19所述的装置，其特征在于，所述预测模块，还用于：

21.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-10任一项所述的方法。

22.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-10任一项所述的方法。